robots.txtのは何ですか？

robots.txtのは、自分のWebサイトへのアクセスを承認するには、ウェブロボットを制限する方法でのみ使用可能なテキストファイルです。

これは、全体のWebサイトからGoogleのrobots.txtファイルをブロックImagebot ：

 ユーザーエージェント： Googlebotの画像 
 のDisallow ： /

robots.txtの詳細情報については、標準ロボットの除外を読む。

あなたのrobots.txtの構文チェック

いくつかのWebベースのツールは、お客様のウェブサイトからは、 robots.txtファイルを取得し、構文エラーを確認するがご利用いただけます。

一方、 Webサイト所有者に実用的なメリットがほとんどあるいは全く返す一部のウェブロボット、帯域幅とシステムリソースのかなりの金額を使用します。

ご参考までに、 robots.txtの形式で悪いロボットの一部の人のリストを維持します。

ブックマークrobots.txtのは何ですか？