注目の検索ワード
注目の会社
Webクローラーとは、インターネット上からページ情報や画像、テキストなどのデータを収集(クローリング)するソフトウェアのことです。
Webクローラーによりサイトの規模・情報更新の把握やデータの収集などが可能ですが、 ・Webサイトの規約上でクローリングが禁止されている ・個人情報の取得 ・著作権に触れるデータの取得 ・クローリング先のサーバーへの負荷 などにより、違法とされるケースもあるので注意が必要です。