クローキングでは、人間の訪問者が、実際のWebページが表示され、検索エンジンがスパム9技術のキーワードの水増しなどの完全されているWebページが表示されています。

ユーザーエージェントによってクローキング

を効果的に、 Webページのマントは、 Webサーバーの場合は、訪問者かどうかを判断できるようにしなければならないのか、検索エンジンの人間。

これを行うための手法の1つは、 HTTPリクエストのユーザエージェントのフィールドに注目することです。

人間の訪問者のためのユーザーエージェントフィールド通常、このようなWebブラウザとして使用されていますが、ソフトウェアのリスト：

" Mozilla/4.0 （互換; MSIE 6.0 ;のWindows NT 5.1 ） "

検索エンジンのためのユーザーエージェントフィールド通常ヤフーすするこのユーザーエージェントフィールドなどの検索エンジンのロボットを識別する：

" Mozilla/5.0 （互換;ヤフー！すする; http://help.yahoo.com/help/us/ysearch/slurp ） "

IPアドレスまたはホスト名でクローキング

検索エンジンからのトラフィックを識別するためのもう一つの手法のマントは、 IPトラフィックの検索エンジン事業者またはドメインからの検索エンジン事業者が使用するアドレスです。