Puppeteer 终极指南：开启浏览器自动化的无限可能

在 Web 开发领域，如果说有什么工具能让你像“操纵木偶”一样精准控制浏览器，那一定是 Puppeteer。

由 Google Chrome 团队维护的 Puppeteer，是一个 Node.js 库，它提供了一个高级 API 来通过 DevTools 协议控制无头（Headless）Chrome 或 Chromium。

1. Puppeteer 能做什么？

几乎所有你可以在浏览器中手动完成的操作，Puppeteer 都可以自动完成：

  • 生成页面的 PDF 或截图：非常适合生成合同、发票或监控网页视觉变化。
  • 抓取 SPA（单页应用）：能够处理 JavaScript 渲染的动态内容，这是传统爬虫（如 Python 的 Requests）的痛点。
  • 自动化表单提交、UI 测试、键盘输入等。
  • 捕获时间轴跟踪：帮助诊断网站性能问题。

2. 基础入门：Hello World

首先，安装依赖：

npm install puppeteer

示例：保存网页截图

const puppeteer = require('puppeteer');

(async () => {
  // 启动浏览器
  const browser = await puppeteer.launch({ headless: "new" });
  const page = await browser.newPage();
  
  // 设置视口大小
  await page.setViewport({ width: 1280, height: 800 });
  
  // 导航到目标页面
  await page.goto('https://www.google.com');
  
  // 保存截图
  await page.screenshot({ path: 'google.png' });

  await browser.close();
  console.log('✅ 截图已保存！');
})();

3. 核心能力深度解析

3.1 动态内容抓取

Puppeteer 最强大的地方在于它可以等待元素加载完成。

await page.goto('https://example.com');
// 等待特定的 CSS 选择器出现
await page.waitForSelector('.dynamic-content');

// 获取页面数据
const data = await page.evaluate(() => {
  return document.querySelector('.dynamic-content').innerText;
});

3.2 PDF 打印

对于生成报表的业务，Puppeteer 的 PDF 渲染效果是工业级的：

await page.pdf({
  path: 'report.pdf',
  format: 'A4',
  printBackground: true,
  margin: { top: '20px', bottom: '20px' }
});

4. 性能与稳定性的最佳实践

运行一个完整的浏览器实例是非常耗费资源的，如果不加注意，你的服务器可能会迅速内存爆满。

4.1 资源拦截 (Resource Interception)

如果你只是想抓取文字，可以拦截并禁用图片、字体和 CSS 的加载，以极大提高速度：

await page.setRequestInterception(true);
page.on('request', (request) => {
  if (['image', 'stylesheet', 'font'].includes(request.resourceType())) {
    request.abort();
  } else {
    request.continue();
  }
});

4.2 浏览器实例复用

不要为每一个请求都 puppeteer.launch() 一个新浏览器。建议使用一个单例的浏览器实例，并为每个任务创建新的 BrowserContext 或 Page。

4.3 显式等待 vs 隐式等待

尽量避免使用 page.waitForTimeout(3000) 这种固定等待。使用 page.waitForSelector() 或 page.waitForNavigation() 能让你的代码既快又稳。

5. Puppeteer vs Playwright：我该选哪个？

  • Puppeteer：由 Google 维护，对 Chrome 的支持最完美，API 更轻量，适合专注于 Chrome 生态的项目。
  • Playwright：由原 Puppeteer 核心团队在 Microsoft 开发，支持跨浏览器（Chromium, WebKit, Firefox），API 功能更丰富，适合需要多端兼容性的自动化测试。

总结

Puppeteer 不仅仅是一个爬虫工具，它是 Web 自动化的瑞士军刀。无论你是想构建自动化的 SEO 审计系统，还是想为用户提供实时的网页快照服务，Puppeteer 都能以其极高的控制精度满足你的需求。

现在，拿起你的“木偶线”，开始编写你的第一个自动化脚本吧！