用語集

クローラー

検索サイトには、人が投稿されたURLなどの情報を元に審査を行い、サイトを掲載するものと、プログラムが投稿されたURLにアクセスして、自動的に情報を登録するタイプのものがあります。
後者のサイトで利用されるのがクローラーと呼ばれるものです。クローラーはサイトにアクセスした後、そのサイトに記録されているリンク先にもアクセスして、ページのソースなど、様々な情報を検索サイトに送ります。
検索サイトは、クローラーから送られてきた情報を、別のプログラムで解析して、ページの重要度などを割り出し、ランクを決めていきます。
ランクが高い、つまり価値があると認められたページほど、検索順位が上位になり、閲覧者が増えていきます。

お役立ち情報

まだ制作段階の状況などで、ウェブサイトを他人には見られたくないと考えたとしても、なんらかの理由でクローラーにURLを知られてしまうと、ページの情報が検索サイトに送られて、特定のキーワードでアドレスが表示されてしまいます。
こうした自体を防ぐためには、クローラーを拒否するしかありません。
拒否の方法には様々なものがありますが、よく利用されるのがrobots.txtというファイルをサーバーに置くという方法と、サーバープログラム上で利用出来るmod rewriteというモジュールを使う方法です。