クローラーとは
Webクローラとは、インターネット上のWebサーバからWebページを 網羅的に収集し、検索エンジンのデータベースに反映させるためのシステムです。
「ichiro」は、NTTレゾナント株式会社が運用しているWebクローラの名称です。
■ichiro が収集した Webページは下記サイトでの検索サービスに使用させて頂きます。
(1) http://bsearch.goo.ne.jp/
(2) http://mobile.goo.ne.jp/
(1)は、画像、動画、音楽（音声）の検索サービスですので、HTML ページだけでなく、画像、動画、音楽（音声）も収集させて頂きます。
また、システムの研究開発のための収集をさせて頂く場合もあります。
■ichiro は、皆様の Webサーバに負担をかけないために、以下のルールに従います。
1.robots.txt に従います
認識するのは、"User-agent:"、 "Disallow:"、 "Allow:" です。
robots.txt の書き方については、 こちらを参照してください。
2. META TAG による収集制限に従います
認識するのは、"NOINDEX"、"NOFOLLOW"、 "NOARCHIVE"、 "NOIMAGEINDEX"、 "NONE"、
"FOLLOW"、 "INDEX"、 "ALL"、 "NOSERVE"、 "SERVE"、 "ARCHIVE"、 "NOIMAGECLICK"です。
META TAG の書き方については、 こちらを参照して下さい。
3. 同一の Webサーバに対しては、一度に 1ページしか Webページを収集しません
これは、複数のドメイン名を持つ Webサーバに対しても同様です。ある Webサーバが、A と B という二つのドメイン名を持っていても、A と B に同時に接続する事は致しません。
4. 適切な間隔で収集します
収集間隔は状況によって変更されますが、動画等のファイルを収集した後は、長めに間隔をあける等の制御を行っています。
※「ichiro」に関するお問い合わせの際は、件名または本文に「ichiroについて」とお書き添えください。
「goo_vsearch」は、NTTレゾナント株式会社が運用しているWebクローラの名称です。
■goo_vsearch が収集した Webページは下記サイトでの検索サービスに使用させて頂きます。
(1) http://bsearch.goo.ne.jp/ （goo画像・動画・音楽検索）
(2) http://bsearch.mobile.goo.ne.jp/ （モバイルgoo画像検索）
(3) http://search.mobile.goo.ne.jp/ （モバイルgoo画像検索）
また、システムの研究開発のための収集をさせて頂く場合もあります。
■goo_vsearch は、皆様の Webサーバに負担をかけないために、以下のルールに従います。
1.robots.txt に従います
認識するのは、"User-agent:"、 "Disallow:"、 "Allow:" です。
robots.txt の書き方については、 こちらを参照してください。
2. META TAG による収集制限に従います
認識するのは、"NOFOLLOW"、 "NOINDEX" です。META TAG の書き方については、
こちらを参照して下さい。
3. 同一の Webサーバに対しては、一度に 1ページしか Webページを収集しません。
これは、複数のドメイン名を持つ Webサーバに対しても同様です。ある Webサーバが、
A と B という二つのドメイン名を持っていても、A と B に同時に接続する事は致しません。
4. 適切な間隔で収集します
収集間隔は状況によって変わりますが、webページを収集した後は、一定間隔をあける等の制御を行っています。
※「goo_vsearch」に関するお問い合わせの際は、件名または本文に「goo_vsearchについて」とお書き添えください。
■「wakame」はNTTレゾナント株式会社が運用するデータ解析用Webクローラのうちのひとつです。
1. クローラのIPアドレス
210.165.39.36
210.165.39.37
2. ユーザーエージェント
WakameCrawler/0.01(+http://help.goo.ne.jp/help/article/1142)
3. robots.txt に従います
認識するのは、"User-agent:"、 "Disallow:"、 "Allow:" です。
4. META TAG による収集制限に従います
認識するのは、"NOFOLLOW"、 "NOARCHIVE"、 "NOIMAGEINDEX"、 "NONE"、 "FOLLOW"、 "INDEX"、 "ALL"、 "NOSERVE"、 "SERVE"、 "ARCHIVE"、 "NOIMAGECLICK"です。
META TAG の書き方については、 こちらを参照して下さい。
5. 適切な収集間隔
同一の Webサーバに対しては、一度に 1ページしか Webページを収集しません。
また収集間隔は状況によって変更されますが、同一ホストに対して概ね数秒程度
の間隔をあけるよう制御を行っています。
※「wakame」に関するお問い合わせの際は、件名または本文に「wakameについて」とお書き添えください。
■「gooblogsearch」はNTTレゾナント株式会社が運用するブログ検索用Webクローラのうちのひとつです。
1. ユーザーエージェント
gooblogsearch/[バージョン]
例：gooblogsearch/2.0
2. robots.txt に従います
認識するのは、"User-agent:"、 "Disallow:"です。
3. META TAG による収集制限に従います
認識するのは、"NOINDEX"です。
■モバイルgooのロボット検索型クローラは、日々膨大な量の携帯サイトの情報を収集しています。しかしながら、アクセス制限等を設けている携帯サイトの場合、巡回したクローラがそのサイトをはじいてしまいます。
モバイルgooでは、アクセス制限等を行っている携帯サイトでも、アクセス許可の設定を行えば、ロボットが巡回しサイト情報を取得できるよう、ＩＰアドレスの帯域情報とユーザーエージェントの情報を公開します。
また、モバイル検索サービスの研究開発のための収集も行っており、そちらのＩＰアドレスの帯域情報とユーザーエージェントの情報も公開します。
なお、ＩＰアドレス帯域やユーザーエージェントにつきましては、都合により変更となることがありますので、ご了承ください。
変更した場合には、このヘルプページにてお知らせします。
1. クローラのＩＰアドレス
・モバイルgoo、モバイル検索サービス研究開発
218.213.128.0/20 （218.213.128.1 - 218.213.143.254)
218.213.24.0/21 （218.213.24.1 - 218.213.31.254）
・モバイルgoo
・モバイル検索サービス研究開発
モバイルgooの検索エンジンへのサイト登録を申請することができます。サイトを新しく作成したときなどにご利用ください。 URL登録申請画面はこちらです。 なお、クロールやインデックス登録を保証するわけではございませんので、あらかじめご了承ください。
※携帯検索クローラに関するお問い合わせの際は、件名または本文に「携帯検索クローラ」とお書き添えください。また、アクセス元のＩＰアドレスがお分かりになる場合は、あわせてお書きください。
