Webサイトのルートディレクトリに配置され、検索エンジンのクローラーに対してアクセスを許可または拒否する範囲を指示するファイルはどれか。

robots.txtはクローラーのアクセス制御を記述するテキストファイルであり、診断時には隠しディレクトリの発見に役立つことがある。