#robots.txt

robots.txt とは？書き方とやりがちな失敗

robots.txtは検索エンジンのクローラーにサイト内のクロール範囲を指示するファイルです。役割とインデックス制御との違い、User-agentやDisallowなど基本の書き方、全ページブロックなどのよくある失敗までを解説します。