検索エンジンのクローラーに対して、特定のディレクトリやページのクロール(巡回)を拒否するために設置するファイルはどれか。

`robots.txt` はサイトのルートディレクトリに配置し、User-agentごとにクロールを許可・拒否するパスを指定する。