INI
Webスクレイピングツール - INI
Webスクレイピングツールは、インターネット上のWebサイトから構造化データを自動的に収集するためのソフトウェアやライブラリです。静的HTMLの解析から動的JavaScriptレンダリング、ブラウザ自動化まで、様々なアプローチと用途に対応したツールが存在します。Python、JavaScript、Javaなど複数のプログラミング言語で実装されており、小規模なデータ収集から大規模なクローリングプロジェクトまで幅広く利用されています。
Webスクレイピング
データ収集
クローリング
自動化
Python
JavaScript
[item.scrapy]
code=01
slug=scrapy
name=Scrapy
description=Python製の高機能Webクローリング・スクレイピングフレームワーク
githubUrl=https://github.com/scrapy/scrapy
javascriptSupport=false
language=Python
officialUrl=https://scrapy.org/
type=Framework
[item.beautifulsoup]
code=02
slug=beautifulsoup
name=BeautifulSoup
description=Python製のHTML/XMLパースライブラリ
githubUrl=
javascriptSupport=false
language=Python
officialUrl=https://www.crummy.com/software/BeautifulSoup/
type=Library
[item.selenium]
code=03
slug=selenium
name=Selenium
description=ブラウザ自動化のためのクロスプラットフォームツール
githubUrl=https://github.com/SeleniumHQ/selenium
javascriptSupport=true
language=Multi-language
officialUrl=https://www.selenium.dev/
type=Framework
[item.playwright]
code=04
slug=playwright
name=Playwright
description=Microsoft製のエンドツーエンドテスト・自動化フレームワーク
githubUrl=https://github.com/microsoft/playwright
javascriptSupport=true
language=Multi-language
officialUrl=https://playwright.dev/
type=Framework
[item.puppeteer]
code=05
slug=puppeteer
name=Puppeteer
description=Google製のNode.js Chrome/Firefox自動化ライブラリ
githubUrl=https://github.com/puppeteer/puppeteer
javascriptSupport=true
language=JavaScript/Node.js
officialUrl=https://pptr.dev/
type=Library
[item.octoparse]
code=06
slug=octoparse
name=Octoparse
description=ノーコードのビジュアルWebスクレイピングツール
githubUrl=
javascriptSupport=true
language=N/A
officialUrl=https://www.octoparse.com/
type=No-code Tool
[item.apify]
code=07
slug=apify
name=Apify
description=クラウドベースのWebスクレイピング・自動化プラットフォーム
githubUrl=https://github.com/apify
javascriptSupport=true
language=JavaScript/Node.js
officialUrl=https://apify.com/
type=Cloud Platform
[item.parsehub]
code=08
slug=parsehub
name=ParseHub
description=機械学習搭載のクラウドベーススクレイピングツール
githubUrl=
javascriptSupport=true
language=N/A
officialUrl=https://www.parsehub.com/
type=Cloud Tool