Europe Google
Googleは7月1日(現地時間)、検索エンジンがWEBサイトをクロールする際の動作を制御するRobots Exclusion Protocol (REP) の標準化を目指すと発表しました。すでにドラフト文書をIETF(Internet Engineering Task Force、インターネットで利用される技術の標準を策定する組織)に提出したとのこと。

一般には聞きなれないREPですが、WEBサイトにかかわった人ならrobots.txtは聞いたことがあるかもしれません。検索エンジンにインデックスして欲しくないディレクトリなどを記述しておくものですが、この仕様がREPです。

REPは、1994年にMartijn Koster氏によって考案され、事実上の標準として扱われているものの、公式にはインターネット標準ではありません。このため、クローラーによっては扱いが異なるなど、WEBマスターにとってはその記述に迷うこともありました。

Googleとしては、こういった心配をなくすことで、WEBマスターやツールの開発者らを支援したいとしています。このため、IETFにドラフトを提出するだけではなく、Googleがrobots.txtの解析とマッチングに利用しているC++ライブラリをオープンソースとして公開しています。

提出されたドラフトが標準化されるとは限りませんが、検索エンジンにかかわらず、WEBマスターの希望通りに検索結果に表示される(インデックスされる)ようになるのは、WEBマスターのみならず、閲覧者にとっても有用と言えそうです。