Webクローラーの基礎知識
Webクローラーとは、インターネット上からページ情報や画像、テキストなどのデータを収集(クローリング)するソフトウェアのことです。
Webクローラーによりサイトの規模・情報更新の把握やデータの収集などが可能ですが、
・Webサイトの規約上でクローリングが禁止されている
・個人情報の取得
・著作権に触れるデータの取得
・クローリング先のサーバーへの負荷
などにより、違法とされるケースもあるので注意が必要です。
Webクローラーの機能一覧
基本機能
機能![]() |
解説![]() |
Webページ上のデータを抽出、収集 |
Webサイトを周期的にクローリング(巡回)し、Webページ上の画像やテキスト(商品価格、レビュー、企業情報、ニュース記事)を自動で収集する |
スケジュール設定機能 |
Webクローリングを実施する日時を月単位、曜日単位、時間単位などで設定できる |
通知機能 |
サイト内に任意のキーワードが出現した、対象商品の価格に変化があった場合などにメール通知を行う |
データ抽出レポート機能 |
収集したデータをレポート化して可視化できる |