検索エンジンのクローラーに対して、特定のページのクロールを拒否する設定ファイルはどれか。

robots.txtに記述することで、クローラーに対して特定のディレクトリやファイルへのアクセスを制限できる。