记录一次Node.js编写爬虫的经历

** 代码如下：**

js：

const https = require('https');
const cheerio = require('cheerio');
const fs = require('fs');
const path = require('path');
const mysql = require('mysql');

// 要获取的网页 URL
const baseUrl = 'https://www.baiyunu.edu.cn/';
const basePath = path.join(__dirname, 'download');

// 检查并创建 download 目录如果不存在
if (!fs.existsSync(basePath)) {
  fs.mkdirSync(basePath, { recursive: true });
}

// 配置 MySQL 连接
const connection = mysql.createConnection({
  host: '127.0.0.1',//如果是本机，那同上
  user: 'root',
  password: 'xxxxxx',//根据自己的情况来
  database: 'xiaoyuantiqu'
});

connection.connect((err) => {
  if (err) {
    console.error('数据库连接错误：', err);
  } else {
    console.log('成功连接到 MySQL 数据库。');
  }
});

https.get(baseUrl, (res) => {
  let data = '';

  res.on('data', (chunk) => {
    data += chunk;
  });

  res.on('end', () => {
    const $ = cheerio.load(data);

    // 提取所有图片地址
    const imgUrls = [];
    $('img').each((index, element) => {
      let imgUrl = $(element).attr('src');
      // 处理相对地址
      if (imgUrl) {
        imgUrl = new URL(imgUrl, baseUrl).href;
        imgUrls.push(imgUrl);
      }
    });

    // 打印所有图片地址并下载图片
    imgUrls.forEach((imgUrl, index) => {
      console.log(imgUrl);
      downloadImg(imgUrl, index);
    });

    // 获取校园快讯标题并逐一插入数据库
    $('#message a').each((index, element) => {
      let title = $(element).text().trim(); // 使用.trim()去除潜在的空格
      insertNews('campus_news', title); // 插入校园新闻
    });

    // 获取媒体白云标题并逐一插入数据库
    $('#media a').each((index, element) => {
      let title = $(element).text().trim();
      insertNews('media_news', title); // 插入媒体新闻
    });
  });

}).on('error', (err) => {
  console.error(`请求错误: ${err.message}`);
});

function downloadImg(url, filename) {
  let ext = url.split('.').pop();
  filename += '.' + ext;
  console.log(`开始下载图片 ${filename}...`);
  https.get(url, (res) => {
    const file = fs.createWriteStream(path.join(basePath, filename));
    res.pipe(file);
    file.on('finish', () => {
      console.log(`图片 ${filename} 下载完成.`);
    });
  }).on('error', (err) => {
    console.error(`图片 ${filename} 下载失败: ${err.message}`);
  });
}

function insertNews(tableName, title) {
  connection.query(`INSERT INTO ${tableName} (title) VALUES (?)`, [title], (err) => {
    if (err) {
      console.error(`插入${tableName}标题错误：`, err);
    } else {
      console.log(`${tableName}标题已插入到数据库。`);
    }
  });
}

mysql:

CREATE DATABASE xiaoyuantiqu;

USE xiaoyuantiqu

     CREATE TABLE campus_news (
       id INT AUTO_INCREMENT PRIMARY KEY,
       title VARCHAR(1000) NOT NULL
     );

     CREATE TABLE media_news (
       id INT AUTO_INCREMENT PRIMARY KEY,
       title VARCHAR(1000) NOT NULL
     );

   //SELECT USER,HOST FROM mysql.`user`;
   //TRUNCATE TABLE campus_news;
   //TRUNCATE TABLE media_news;

运行结果：

方法二（不连接Mysql）：

提前配置好Node.js环境，提前在路径上创建文件夹download（方便读取图片），记事本（读取所需标题并保存）。

代码如下：

const https = require('https');
const cheerio = require('cheerio');
const fs = require('fs');
const path = require('path');

// 要获取的网页 URL
const baseUrl = 'https://www.baiyunu.edu.cn/';
const basePath = path.join(__dirname, 'download');

// 检查并创建 download 目录如果不存在
if (!fs.existsSync(basePath)) {
  fs.mkdirSync(basePath, { recursive: true });
}

https.get(baseUrl, (res) => {
  let data = '';

  // 接收数据
  res.on('data', (chunk) => {
    data += chunk;
  });

  // 请求结束后处理数据
  res.on('end', () => {
    const $ = cheerio.load(data);

    // 提取所有图片地址
    const imgUrls = [];
    $('img').each((index, element) => {
      let imgUrl = $(element).attr('src');
      // 处理相对地址
      if (imgUrl) {
        imgUrl = new URL(imgUrl, baseUrl).href;
        imgUrls.push(imgUrl);
      }
    });

    // 打印所有图片地址并下载图片
    imgUrls.forEach((imgUrl, index) => {
      console.log(imgUrl);
      downloadImg(imgUrl, index);
    });

    // 获取校园快讯标题并写入记事本
    const newsTitles1 = $('#message').map((index, element) => $(element).text()).get();
    fs.writeFile('校园快讯.txt', newsTitles1.join('\n'), (err) => {
      if (err) {
        console.error('写入文件错误：', err);
      } else {
        console.log('校园快讯标题已写入 校园快讯.txt 文件。');
      }
    });

    // 获取媒体白云标题并写入记事本
    const newsTitles2 = $('#media').map((index, element) => $(element).text()).get();
    fs.writeFile('媒体白云.txt', newsTitles2.join('\n'), (err) => {
      if (err) {
        console.error('写入文件错误：', err);
      } else {
        console.log('媒体白云标题已写入 媒体白云.txt 文件。');
      }
    });
  });

}).on('error', (err) => {
  console.error(`请求错误: ${err.message}`);
});

function downloadImg(url, filename) {
  let ext = url.split('.').pop();
  filename += '.' + ext;
  console.log(`开始下载图片 ${filename}...`);
  https.get(url, (res) => {
    const file = fs.createWriteStream(path.join(basePath, filename));
    res.pipe(file);
    file.on('finish', () => {
      console.log(`图片 ${filename} 下载完成.`);
    });
  }).on('error', (err) => {
    console.error(`图片 ${filename} 下载失败: ${err.message}`);
  });
} 

如果不读取图片只是单纯读取标题

const axios = require('axios');
const fs = require('fs');

const url = "https://www.baiyunu.edu.cn/";

axios.get(url)
  .then(response => {
    const html = response.data;
    const cheerio = require('cheerio');
    const $ = cheerio.load(html);

    const titles = $('#message');

    let content = '';
    titles.each((index, element) => {
      content += $(element).text() + '\n';
    });

    // 写入到记事本文件
    fs.writeFileSync('校园快讯.txt', content);
  })
  .catch(error => {
    console.error('Error fetching data:', error);
  });

运行结果：

四、总结

    通过这段 Node.js 代码，我们成功地实现了从学院官网爬取图片和新闻标题，并将其存储到 MySQL 数据库中。这个过程展示了 Node.js 在网络数据爬取和数据库操作方面的灵活性和高效性。我们可以根据实际需求进一步扩展这个代码，比如添加错误处理机制、优化数据库插入操作等。希望这个示例能够为大家在 Node.js 数据爬取和数据库操作方面提供一些参考和启示。祝同学们学业进步，事事顺心！