検索エンジンガイドrobots.txtファイル

が、実際にサイトやページの数が多いに潜入されている力は、我々は通常に表示されない場合、彼らは通常、非常に失礼な場合、ほとんどの人々さえ、我々は、実際には、誤解されることはありませんが存在するか分からない私は右の検索エンジンのクローラロボットであるアム。毎日、これらの爬虫類の何百ものクイック検索のためのサイトが出てくる。かどうかのインデックスには、ネットワーク全体、またはスパムのロボットのメールアドレスは通常、彼らのような大規模な数を収集しようとするGoogleのためのものではない散漫な目的です。サイトの所有者として、我々はロボットを行うことができる操作を制御するためのrobots.txtという名前のファイルを使用することができます。 robots.txtファイルを作成し、今は行動する良いです。名前を奪うを作成します。