スクレイピングツール

Octoparse Japanは1周年を迎えました!

2018年から、新たな成長戦略の一環として、Octoparseは日本市場に進出し始めました。今年の7月、Octoparseは日本語サービスをリリースしてから一年になりました。ご利用いただいた皆さんには大変感謝しております。感謝の気持ちを込めまして、2019年7月18日(木)~7月26日(金)の期間で1周年記念セールを開催いたします。(セールの詳細はこちら)

Octoparseについて

世界中の

もっとみる

清華大学の科学研究におけるWebスクレイピングの役割

2017年から、Octoparseは清華大学と共同で社会科学および経済関連分野の科学研究を行っています。清華大学の中で、経済研究所は社会科学部およびデータサイエンス研究所と連携して、インターネットから有用なデータを収集し分析することを目的とした「iCPI研究グループ」と呼ばれる共同研究チームを組織して、研究活動を行います。Octoparseがビッグデータを大規模に収集し、清華大学はビッグデータを分

もっとみる

PHPで簡単なWebクローラーを作ってみた

Webサイトから必要な情報を収集ことと言えば、近年流行りのPythonだよね!今回は初心者がPHPで簡単なクローラーを作り、わかりやすくスクレイピングの方法についてご紹介します。

始める前に、WebスクレイピングとWebクローラーの概要を説明します。

Webスクレイピングとは、WebページのHTML内から情報を抽出することです。

Webクローラーとは、一般的にWEB上を巡回してWebサイトの

もっとみる

業界初!Webデータを自動収集できるWebスクレイピングテンプレート

今では、副業としてAmazonと楽天市場に出店している人がたくさんいるでしょう。Amazonの販売者だった場合、競合店がどのような価格で同様の製品を販売しているのかを調査しなければなりませんね。Amazonデータベースに直接アクセスすることはできないので、出品者と価格のテーブルを作成するためにすべてのページを閲覧する必要があります。もちろん、Pythonを書いて、製品名、レビュー、価格などのような

もっとみる

無料で使えるスクレイピングツール9選

世の中には様々なスクレイピングツールがあります。しかし、すべてのWebスクレイピングツールが非プログラマーに向けるものではありません。この記事では、初心者向けに無料で利用できるWebスクレイピングツールをご紹介します。

ソフトウェア型

1. Octoparse

Octoparseは、個人や企業にもデータ抽出サービスを提供する日本語スクレイピングツールです。ソーシャルメディア、Eコーマス、マー

もっとみる

注目のWebスクレイピングツール5選を徹底比較!

Webスクレイピングツールとは?

Webスクレイピングツールは、Web上に表示されるデータをすばやく取得してExcel、テキスト、CVSなどの構造化形式に変換するのに役立つツールとして簡単に理解できます。Webスクレイピングツールの最も認識されている価値の1つは、面倒なコピペ作業から解放されることです。このプロセスは、必要なデータが必要な形式でスケジュールどおりに配信されるまで自動化できます。

もっとみる

2019年スクレイピングツールトップ10

Webクローリング、またはWebデータ抽出とも呼ばれるWebスクレイピングは、単にWebサイトからデータを収集してローカルデータベースまたはスプレッドシートに保存するプロセスです。Webスクレイピングを初心者が聞いたら、遠ざけていく専門用語だと思われるかもしれないですが、実はあなたが思っている以上、実用しやすいものです。スクレイピングツールは、求人情報だけでなく、マーケティング、経済やeコマース、

もっとみる

Webスクレイピングで知るべき5つのCAPTCHA知識

Webサイトにログインしようとしますが、読みにくい文字を入力するように求められたことがありませんか。これらの判読しにくい文字をCAPTCHAと呼ばれます。ユーザーにとって少し面倒な存在です。さらにWebスクレイパーにとっても利用環境が厳しくなったので、その扱い方に困りますね。

今日はWebスクレイピングでどうすればCAPTCHAをうまく回避するかを知るべき5つの知識についてお話しましょう。

1

もっとみる

Webスクレイピングに関するよくある質問

最近では、ビッグデータ分析のため、データ集めにWebスクレイピングが行われることも増えており、スクレイピングという言葉も一般に認知されるようになってきましたが、ほかの分野の多くの人にとって謎のままです。Webスクレイピングサービスプロバイダとして、この謎を解けるために、一般的なWebスクレイピングの質問をまとめて紹介したいと思います。

1. Webスクレイピングとは何ですか?

Webスクレイピ

もっとみる

Octoparse法人様向けプラン

3周年を迎える際に、Octoparseは法人様向けプランをリリースしました!法人様向けプランは複数ユーザーのアクセス、Webベースのデータ管理と検索、拡張性のあるクラウドリソースを特徴として、あらゆる規模のデータスクレイピングを達成できます。

Octoparse 法人様向けプランは、様々な大規模なデータ抽出プロジェクトを通じて、法人顧客にWebスクレイピングを簡単にご使用いただくことを 目的とし

もっとみる