検索エンジンがWebサイトを巡回する際、特定のページを巡回させないように指示するファイルはどれか。

クローラーに対して巡回禁止エリアなどを伝えるテキストファイルがrobots.txtである。