クローラーとは

Webクローラとは、インターネット上のWebサーバからWebページを 網羅的に収集し、検索エンジンのデータベースに反映させるためのシステムです。 「ichiro」は、NTTレゾナント株式会社が運用しているWebクローラの名称です。

■ichiro は、皆様の Webサーバに負担をかけないために、以下のルールに従います。

1.robots.txt に従います
認識するのは、"User-agent:"、 "Disallow:"、 "Allow:" です。
robots.txt の書き方については、 こちらを参照してください。

2. META TAG による収集制限に従います
認識するのは、"NOFOLLOW"、 "NOARCHIVE"、 "NOIMAGEINDEX"、 "NONE"、 "FOLLOW"、 "INDEX"、 "ALL"、 "NOSERVE"、 "SERVE"、 "ARCHIVE"、 "NOIMAGECLICK"です。 　META TAG の書き方については、 こちらを参照して下さい。

3. 同一の Webサーバに対しては、一度に 1ページしか Webページを収集しません
これは、複数のドメイン名を持つ Webサーバに対しても同様です。ある Webサーバが、A と B という二つのドメイン名を持っていても、A と B に同時に接続する事は致しません。

4. 適切な間隔で収集します

収集間隔は状況によって変更されますが、動画等のファイルを収集した後は、長めに間隔をあける等の制御を行っています。

※「ichiro」に関するお問い合わせの際は、件名または本文に「ichiroについて」とお書き添えください。

■「wakame」はNTTレゾナント株式会社が運用するデータ解析用Webクローラのうちのひとつです。

1. クローラのIPアドレス
210.165.39.36
210.165.39.37

2. ユーザーエージェント
WakameCrawler/0.01(+http://help.goo.ne.jp/help/article/1142)

3. robots.txt に従います
認識するのは、"User-agent:"、 "Disallow:"、 "Allow:" です。

4. META TAG による収集制限に従います
認識するのは、"NOFOLLOW"、 "NOARCHIVE"、 "NOIMAGEINDEX"、 "NONE"、 "FOLLOW"、 "INDEX"、 "ALL"、 "NOSERVE"、 "SERVE"、 "ARCHIVE"、 "NOIMAGECLICK"です。
META TAG の書き方については、 こちらを参照して下さい。

5. 適切な収集間隔
同一の Webサーバに対しては、一度に 1ページしか Webページを収集しません。
また収集間隔は状況によって変更されますが、同一ホストに対して概ね数秒程度 の間隔をあけるよう制御を行っています。

※「wakame」に関するお問い合わせの際は、件名または本文に「wakameについて」とお書き添えください。

■「gooblogsearch」はNTTレゾナント株式会社が運用するブログ検索用Webクローラのうちのひとつです。

1. ユーザーエージェント
gooblogsearch/[バージョン]
例：gooblogsearch/2.0

2. robots.txt に従います
認識するのは、"User-agent:"、 "Disallow:"です。

3. META TAG による収集制限に従います
認識するのは、"NOINDEX"です。

■モバイルgooのロボット検索型クローラは、日々膨大な量の携帯サイトの情報を収集しています。しかしながら、アクセス制限等を設けている携帯サイトの場合、巡回したクローラがそのサイトをはじいてしまいます。
モバイルgooでは、アクセス制限等を行っている携帯サイトでも、アクセス許可の設定を行えば、ロボットが巡回しサイト情報を取得できるよう、ＩＰアドレスの帯域情報とユーザーエージェントの情報を公開します。
また、モバイル検索サービスの研究開発のための収集も行っており、そちらのＩＰアドレスの帯域情報とユーザーエージェントの情報も公開します。
なお、ＩＰアドレス帯域やユーザーエージェントにつきましては、都合により変更となることがありますので、ご了承ください。
変更した場合には、このヘルプページにてお知らせします。

1. クローラのＩＰアドレス
・モバイルgoo、モバイル検索サービス研究開発
218.213.128.0/20　（218.213.128.1 - 218.213.143.254)
218.213.24.0/21 （218.213.24.1 - 218.213.31.254）