我々が現在にいる社会はすでに「ビッグデータ」という言葉があたり前のように見聞きする時代になりました。近い将来、テクノロジー、ビジネス、金融、法律、人々の暮らしなど、ビッグデータによって大きく変わっていくのでしょう。

それで、ビッグデータの中で最も重要なものとも言えるデータインテリジェンスは、既存のビジネス世界に新たな成長をもたらすだけでなく、さらに企業の意思決定を左右する役割にもなってくると思います。

そのような「ビッグデータ」時代においては、最新のデータを取得して分析し、マーケティングの動向を一番早く把握して対応できる企業だけがこの世に生き残れます。

では、この世に生き残れることを目指している企業にとっては、どのようなデータを取得しなければならないのかというと、これからこの記事で、大企業がデータを取得している人気サイトをジャンル別に紹介したいと思います。まだまだたくさんのサイトがあると思いますが、コメントをいただければ幸いです。

1. ECサイト（５選）

Amazon、楽天市場、ヨドバシカメラ、ZOZOTOWN、Yahoo!ショッピングなど

主なデータ：商品名、URL、価格、画像URL、ASIN番号、送料、カラー、サイズ、ブランド、店舗名、在庫、購入数、レビュー、スターランキングなど

データ用途：価格比較、競合調査

・アマゾン(Amazon)

・Rakuten

・ヨドバシカメラ

・ZOZOTOWN

2. 転職求人サイト（4選）

リクナビNEXT、マイナビ転職、Doda転職、Indeed

主なデータ：会社ホームページ、会社名、会社情報、会社所在地、メールアドレス、掲載期間、仕事の内容、求めている人材、勤務地、給与、勤務時間、休日休暇、採用予定人数、待遇福利厚生など。

データ用途：企業調査、業界研究、競合調査

・リクナビNEXT

・マイナビ転職

・Doda転職

・Indeed

3. 不動産サイト（4選）

SUUMO、HOME’S、at home、マイナビ賃貸

主なデータ：物件名、住所、交通、販売価格、敷金、保証金、物件画像、土地面積、建物面積、築年月、階建、間取り、方角、車内施設、周辺環境、駐車場、契約期間、保険、問い合わせ先など。

データ用途：価格調査、不動産業界研究、競合調査、市場調査

・SUUMO

・HOME’S

・at home

・マイナビ賃貸

4. ソーシャルサイト（4選）

Facebook、Twitter、Instagram、Youtube

主なデータ:投稿者、投稿内容、いいね、コメント内容、コメント数、シェア数、グループ、投稿日、画像URL、ビデオURLなど。

データ用途：口コミ調査、世論調査、感情分析

・Facebook

・Twitter

・Instagram

・Youtube

5. 検索サイト（3選）

Google検索、Yahoo Japan、Bing

主なデータ：タイトル、ページリンク、内容概要など。

データ用途：SEO検索エンジン最適化

・Google検索

・Yahoo Japan

・Bing

6. 企業情報サイト（1選）

iタウンページ

主なデータ：企業名、特徴、住所、電話番号、会社詳細リンク、HPなど。

データ用途：営業リスト作成、企業調査

・iタウンページ

7. 暮らし・生活・口コミサイト（3選）

Googleマップ、食べログ、Booking

主なデータ：タイトル、スターランキング、レビュー件数、カテゴリー、HP、電話番号、場所など。

データ用途：関連情報取得、口コミ調査、価格調査、市場調査

・Googleマップ

・食べログ

・Booking

どうやってデータを取得するか？

それで、企業がどのようにこれらのサイトからデータを取得しているのかと疑問しませんか。
もちろん、プログラム(Pythonなど)を書いてデータを取得する方法はよく知られていますが、それに詳しい職員がいない企業なら、どうすればいいでしょうか。コピペなら効率低すぎませんか？またデータ取得そのものを外注するか、プログラミングの知識のある職員を募集するか、どちらもコストがかかりますね。 ここではOctoparseという無料Webスクレイピングツールを紹介します。

1. 全世界にわたって150万以上のユーザーが利用している便利なツールで、データ収集の自動化を簡単に実現してくれます。ビデオやチュートリアルなどが基本操作コースを準備してくれたので、素人には心配なく！

2. 前に述べた人気サイトから主なデータを抽出するタスクテンプレートもありますので、完全な素人でも、キーワードかURLかを入力するだけでデータをすぐ抽出できる。

3. Excel、CSVやデータベースへの出力、クラウドサービス、APIアクセスやスケジュール設定などもできる。

4. チームワークを必要とする企業には法人プランをオススメ！膨大なデータを抽出することを簡単に実現するだけでなく、そのデータをチーム内に共有することもできる。

いかがでしょう。素人の私でも、一ヶ月の時間を利用してOctoparseを上達できました。ここまで読んでくれたあなたはもっと短い時間で上達できるのではないでしょうか。早速お試してみましょうか。