robots.txt

Googleクローラーとは、検索結果に情報を登録するために膨大なサイトを駆け巡っている仕組みを指します。Googleにインデックス登録（検索結果に載せる）してもらうために、サイトマップとrobots....