前言
在数据驱动的时代，网页爬虫技术已成为获取公开网络信息的重要手段。crawlee 是一个专为 Node.js 环境打造的现代网页爬虫框架，提供了任务调度、请求队列、浏览器控制、持久化存储等一整套解决方案，适用于从简单页面抓取到复杂动态网站解析等多种场景。
该框架基于 Puppeteer 和 Playwright 构建，支持 Headless 浏览器操作，同时具备良好的异步处理能力和结构化数据提取能力，极大提升了爬虫开发效率和稳定性。本文将围绕 crawlee 的安装配置、核心组件及使用方法展开详细说明，帮助开发者全面掌握其应用技巧。
crawlee 简介
crawlee 是由 Apex 团队开发并维护的一个开源爬虫库，旨在简化网页抓取流程并提高开发者的生产力。它提供了一套统一的 API 接口，屏蔽了底层浏览器控制与 HTTP 请求的复杂性，使开发者能够专注于业务逻辑的实现。
crawlee 支持多种运行模式，包括静态 HTML 抓取、JavaScript 渲染页面抓取、多线程并发执行等，并内置了去重机制、失败重试策略、代理轮换等功能，适用于大规模数据采集任务。
与传统的爬虫工具相比，crawlee 更加注重模块化设计与可扩展性，开发者可以根据需求灵活组合各类中间件和服务，构建出高度定制化的爬虫系统。
安装与初始化
crawlee 可通过 npm 快速安装，适用于各种 Node.js 项目结构和运行环境。
使用 npm 安装
推荐使用 npm 进行安装：
npm install crawlee
该命令会自动下载 crawlee 及其依赖项（如 Puppeteer、Playwright 等），并将其集成到当前项目中。
初始化基础项目结构
安装完成后，建议创建一个独立的项目目录，并建立如下基本文件结构：
my-crawlee-project/
├── main.js # 主程序入口
└── package.json # 项目描述文件
在 main.js 中编写一个简单的示例代码以测试 crawlee 是否正常运行：
import { CheerioCrawler } from 'crawlee';
const crawler = new CheerioCrawler({
requestHandler: async ({ request, $ }) => {
const title = $('head > title').text();
console.log(`URL: ${request.url} | 标题: ${title}`);
},
});
await crawler.run(['https://example.com']);
运行该脚本后，crawlee 将访问指定 URL 并输出页面标题信息。
核心组件与工作原理
crawlee 提供了多个核心类和接口，用于构建不同类型的爬虫任务。以下是主要组件及其用途说明。
Crawler 类型
crawlee 支持多种 Crawler 类型，每种类型适用于不同的抓取场景：
- CheerioCrawler：用于静态 HTML 页面抓取，速度快、资源占用低。
- PuppeteerCrawler：基于 Puppeteer 控制 Headless Chrome，适合 JavaScript 动态渲染页面。
- PlaywrightCrawler：基于 Playwright 实现，支持多浏览器引擎，性能更优。
示例代码：
import { PuppeteerCrawler } from 'crawlee';
const crawler = new PuppeteerCrawler({
launchContext: {
launcher: puppeteer,
headless: true,
},
requestHandler: async ({ page, request }) => {
const url = request.url;
const title = await page.title();
console.log(`页面标题：${title}（URL: ${url}）`);
},
});
await crawler.run(['https://example.com']);
RequestQueue
RequestQueue 是 crawlee 的核心调度机制，用于管理待抓取的请求队列。每个请求可以设置优先级、最大重试次数、超时时间等参数。
import { RequestQueue } from 'crawlee';
const queue = new RequestQueue();
await queue.addRequest({ url: 'https://example.com', userData: { label: 'start' } });
const request = await queue.fetchNextRequest();
console.log(request.url);
ProxyConfiguration
为了防止 IP 被封禁，crawlee 提供了 ProxyConfiguration 类，用于配置代理服务器池，实现请求的负载均衡与轮换。
import { ProxyConfiguration } from 'crawlee';
const proxyConfiguration = new ProxyConfiguration({
proxies: [
'http://user1:pass1@proxy1.example.com:8000',
'http://user2:pass2@proxy2.example.com:8000'
]
});
在 Crawler 配置中启用代理：
const crawler = new PuppeteerCrawler({
proxyConfiguration,
// ...其他配置
});
KeyValueStore 与 Dataset
crawlee 内置了 KeyValueStore 和 Dataset 模块，用于临时或永久存储抓取结果。
import { KeyValueStore } from 'crawlee';
const store = await KeyValueStore.open('my-store');
await store.setValue('result', { data: 'example' });
const value = await store.getValue('result');
console.log(value);
Dataset 用于批量存储结构化数据：
import { Dataset } from 'crawlee';
const dataset = await Dataset.open('results');
await dataset.pushData({ url: 'https://example.com', title: 'Example Domain' });
数据提取与处理
crawlee 提供了多种方式用于从页面中提取数据，开发者可根据页面类型选择合适的解析工具。
使用 Cheerio 解析 HTML
对于静态页面，通常使用 Cheerio 库进行 DOM 操作：
const title = $('h1').text();
使用 Page 对象操作 DOM
在 Puppeteer 或 Playwright 模式下，可通过 page.evaluate() 执行自定义 JS 代码提取数据：
const pageTitle = await page.evaluate(() => document.title);
正则表达式匹配内容
对于非结构化文本内容，可结合正则表达式提取关键信息：
const match = body.match(/订单号：(\d+)/);
if (match) {
console.log(`提取到订单号：${match[1]}`);
}
错误处理与重试机制
crawlee 提供了完善的错误处理机制，开发者可以通过事件监听和回调函数对失败请求进行处理。
设置最大重试次数
在 Crawler 配置中设置最大重试次数：
maxRequestRetries: 3
自定义错误处理
监听错误事件并执行自定义逻辑：
crawler.on('requestFailed', ({ request }) => {
console.error(`请求失败：${request.url}`);
});
多任务与并发控制
crawlee 支持并发执行多个爬虫任务，并可通过配置限制并发数量以避免资源耗尽。
concurrency: 5
上述配置表示最多同时运行 5 个浏览器实例。
日志与调试支持
crawlee 提供了详细的日志输出功能，开发者可通过设置日志级别来查看运行状态。
import { log } from 'crawlee';
log.setLevel(log.LEVELS.DEBUG);
log.debug('调试信息');
此外，在 Puppeteer 或 Playwright 模式下，还可以开启 Headless 模式进行可视化调试：
headless: false
这将打开实际浏览器窗口，便于观察页面加载过程和调试交互行为。
总结
crawlee 是一款面向 Node.js 开发者的现代化网页爬虫框架，凭借其丰富的功能集、灵活的调度机制以及良好的浏览器集成能力，成为构建高可用数据采集系统的理想选择。通过合理使用 Crawler 类型、请求队列、代理配置及数据存储模块，开发者可以高效地实现从单页面抓取到分布式大规模采集的各类任务。
