JavaScript で動的に生成されたページをスクレイピング

単純にURLを取得しただけだと、JavaScript で動的に生成される要素が取得できない。

JavaScript で動的にDOMが生成されるページをスクレイピングするには、Node のライブラリ Puppeteer が便利。

基本的な使い方

インストール

yarn add puppeteer

サンプルコード

main.js

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://ecpplus.net');
  const footer = await page.evaluate('document.querySelector("footer").innerText')
  console.log(footer)
  await browser.close();
})();

実行

node main.js

© 2022 chu