robots.txtのは何ですか?

robots.txtのは、自分のWebサイトへのアクセスを承認するには、ウェブロボットを制限する方法でのみ使用可能なテキストファイルです。

これは、全体のWebサイトからGoogleのrobots.txtファイルをブロックImagebot :

 ユーザーエージェント: Googlebotの画像 
 のDisallow : / 

robots.txtの詳細情報については、 標準ロボットの除外を読む

あなたのrobots.txtの構文チェック

いくつかのWebベースのツールは、お客様のウェブサイトからは、 robots.txtファイルを取得し、構文エラーを確認するがご利用いただけます。

悪いロボット

一方、 Webサイト所有者に実用的なメリットがほとんどあるいは全く返す一部のウェブロボット、帯域幅とシステムリソースのかなりの金額を使用します。

ご参考までに、 robots.txtの形式で悪いロボットの一部の人のリストを維持します。



上位5つの無料ネットワークツール

ブックマークrobots.txtは何です

最新のブログの投稿


英語 英語 ドイツ語 ドイツ語 スペイン語 スペイン語 フランス語 フランス語 イタリア語 イタリア語 ポルトガル語 ポルトガル語 ロシア語 ロシア語 オランダ語 オランダ語
ギリシャ語 ギリシャ語 ヒンディー語 ヒンディー語 日本語 日本語 韓国語 韓国語 中国語 中国語 中国語(簡体字) 中国語(簡体字) アラビア語 アラビア語

著作権2009 技術に関するよくある質問。 版権所有。 プライバシーポリシー。