クローラーとは世界中のサイトを巡回してサイトに掲載されている情報を集めるロボットのことです。自社サイトをGoogle検索で上位表示させるにはクローラビリティを高める必要があります。クローラーについて解説したうえで、クローラビリティを高める施策を紹介します。

クローラーとは

「クローラー」とは、Webサイトの情報を収集して検索データベースを作成する自動巡回ロボットのことです。「這い回る」という意味のcrawlからクローラーと呼ばれています。

クローラーの種類

検索エンジンを運営している会社ごとにクローラーが存在するわけですが、いずれも役割はほぼ同じです。

主な検索エンジンのクローラーは以下の通りです。

・Google→Googlebot

・bing →Bingbot

・Baidu（百度）→Baiduspider

・Yahoo!（日本以外）→Yahoo! Slurp

・Naver →Yetibot

以上のクローラー以外にも、SEOツールのクローラーや画像専門のクローラー、広告専門のクローラーが存在します。

複数ある検索エンジンの中でもGoogleのシェアは世界トップで、日本でも80％以上のシェアを誇っています。Yahoo! JapanもGoogleの検索エンジンを使用しています。

そのためSEO対策は「Googleに対して行ったほうがよい」といってよく、つまりGoogleのクローラーであるGooglebot対策が必要である、ということになります。

クローリングの対象

クローラーはリンクを辿（たど）ってサイトを巡回して（クローリングして）ソースを解析した後、次のファイルを収集します。

収集したファイルは検索アルゴリズムが扱いやすいデータに変換し、データベースにその結果を登録します。

クローラビリティとは

クローラーはサイト内の様々なファイルを収集・解析して、データベースに結果を登録します。

サイト内のクローラビリティがしっかりしていれば、クローラーがサイトの情報を適切に収集してくれます。

そのため自社サイトの価値を100％過不足なく伝えるにはクローラビリティを高める必要があり、それにはサイト内をクローラーが巡回しやすくなるようにサイトの構造を整える施策が重要になります。

クローラーの重要性

自社サイトにおいてクローラーを意識した施策が重要になるのは、それにより自社サイトを検索上位に表示させることができるからです。

自社サイトにどれだけ価値の高い情報を掲載しても、また、どれだけ興味深いコンテンツを載せても、クローラーがそれらを認知しないと検索結果に影響を与えることができません。したがって自社サイトが上位表示されることはなく、ユーザーに閲覧してもらえません。

自社サイトの上位表示を狙うなら、多くのユーザーに自社サイトを閲覧してもらいたいのなら、自社サイトのクローラビリティを向上させる必要があるわけです。

クロールバジェットとは

クロールバジェットとは、検索エンジン側（例えばGoogle）が定めた、1つのサイトに対するクロールの回数です。インターネット上のサイトはほぼ無限に存在するので、さすがのGoogleもそれらに対して何度もクロールさせることはできません。

そこでクロールバジェットを設定することにしたのです。つまり1つのサイトに対するクロール回数の上限を定めたのです。

一般的にクロール回数が多いほどサイトにとって有利であると考えられるので、クロール回数が多くなる施策は重要です。

Googleは「どうすればクロール回数が上がるか」は示していませんが、例えばページ表示速度が速いとクロール回数が増え、遅いとクロール回数が減る傾向がみられます。

次章で詳しく紹介しますが、ページ表示速度を高めることがクローラビリティを上げる施策になるのはそのためです。

クローラビリティを上げるための6つのポイント

クローラビリティを上げるには、サイトに対する施策が必要です。次に挙げる6つのポイントが重要施策になります。

・XMLサイトマップの作成

・内部リンクを最適化

・パンくずリストの設置

・ページ表示速度を高める

・重複ページをなくす

・Googleにクロールリクエストを送る

1つずつ確認していきます。

XMLサイトマップの作成

Googleのクローラーは、XMLサイトマップに設定されているURLをクローリングの手掛かりにして巡回しています。新規記事やリライトなどの更新があっても、XMLサイトマップを設置していれば検索エンジンに伝わります。クロールさせたいページはXMLサイトマップに登録しておくようにしましょう。

内部リンクを最適化

クローラーはリンクを辿ってサイト内をクローリングします。そのため、内部リンクが必要でない箇所を除き、内部リンクがないページを作らないようにしましょう。

また、リンクは画像よりもテキストリンクでの設定がおすすめです。テキストリンクの方が、クローラーの巡回率は高いといわれています。

パンくずリストの設置

パンくずリストとは、ユーザーが現在サイト内のどの位置にいるかを示したリストのこと。ページの上部または下部で階層順にリンクが並べられていることが多いです。パンくずリストが正しく設置されていると、クローラーもサイト内の現在地を認識できるためクローラビリティが上がります。

ページ表示速度を高める

ページの表示速度が高まるとクロールの速度も上がり、クローラビリティが向上します。クロールの速度が上がれば、余ったクロールのリソースを他のページに充当できるという利点もあります。

表示速度を高めるには、ファイルのサイズを減らすことが有効です。画像やCSS、JavaScriptなどのファイルを圧縮するだけでなく、不要なソースコードを削除しても表示速度の向上が見込めます。

重複ページをなくす

サイトの中には、同じページであっても「www.」が含まれるURLと含まれないURLが重複していることがあります。この場合、Googleは重複コンテンツとみなし評価を下げる可能性があるので注意が必要です。

さらに、全ての重複ページがクロールされるため、他のページにクロールするのに時間がかかったり、クローリングできなくなってしまったりします。重複ページは1つのURLに統一し、クローラビリティを上げましょう。

Googleにクロールリクエストを送る