クローリングのプログラムを試したくなるもの

あまり続けるとDOS攻撃とみなされちゃいます。

同じサイトにアクセスするときは、時間間隔をあける
 30秒くらい

 クローリングと判断されたら遮断されます

Googleの作法は次の場所にあります。

ここを参考にしましょう。