Webスクレイピングとは？

WikiでWebスクレイピングがWebクローラと呼ばれるのを記載します。実際に、両者にはちょっとだけ差別があります。スクレイピングとクローリングはどちらもインターネット上の情報を収集することですが、スクレイピングは取得した情報の加工ができます。より詳しくデータを抽出すると、より深いデータ分析を行います。
データスクレイピングは今様々分野に活躍しています。これから、幾つかのScrapeStormのスクレイピング活用事例を紹介します。

1.Google/Yahoo

SEOとは、“Search Engine Optimization”の略で、検索エンジンに向けてWebサイトを最適な状態に近づけること（検索エンジン最適化）を意味します。自分のサイトを検索エンジンに上位表示させるため、キーワードの収集は不可欠です。Webスクレイピングを通じて、検索エンジンでキーワードのトップを収得できます。自分もよくGoogleまたはYahooでキーワードをスクレイピングして、競争者サイトはどんなキーワードを持っていますか、今人気があるキーワードは何ですか、ユーザさんはよく検索するキーワードにも、スクレイピングされたデータから分析できます。
複数のGoogle検索結果URLをスクレイピングする
Yahooの検索結果をスクレイピングする

2.ネットショッピング

ネットショッピングは人々に大歓迎される以来、Amazon、Yahoo！ショッピング、楽天市場、色々なネットショッピングサイトが我々の日常生活に進入します。ではデータ収集はネット通販でどのような役割を果たしているのでしょうか？買主にとって、お金を節約、価格の比較は一番関心になるでしょう。スクレイピングを通じて、全ての目標商品の価格を取得します。売り手にとって、価格の監視、商品詳細、商品レビューなどの収集はマーケティングに大切なものです。
Amazonの商品価格をスクレイピングして監視する
楽天市場から商品最安価格をスクレイピングする

3.株価指数

株式市場は目まぐるしく変動しています。定時的に株価指数を収集する、MySQL、SQLサーバーにエクスポートすることもできます。リアルタイムで株価指数を把握します。Yahoo！ファイナンスで株価予想と言う項目があります。株式の数か月以来のデータと予想を分析して、株式の購入に役立つかもしれません。
株価投資メモで複数のURLから株価指数をスクレイピングする
Yahoo!ファイナンスから単元株価格上位情報をスクレピングする

4.ホテル情報

自分も旅行好きですが、旅に行く前の準備は十分面倒だと思います。特にホテルの選択は、旅行に大きな影響を与えるでしょう。ならば、どうやって適当なホテルを選択するか？これがスクレイピングの番だ！ホテルの施設、近頃の交通、駐車場、朝食など、全部手に入れます！
Bookingからホテル情報をスクレイピングする
Tripadvisorからホテル情報をスクレイピングする

価格監視や研究用途、情報分析するといった際に必要なデータを収集するのにスクレイピングが活躍します。今回は、SEO、E-コマースなどの活用事例を紹介しますが、もちろん、以上の領域しかありません。一つ注意すべきところがありますが、スクレイピングで悪意のあるリクエストを送ることはダメです！正しい容量・用法を守った上で利用してみてください。