robots.txtファイルを使用してクローラに対して行えることはどれか。

Disallow指示を用いることで、クローラに特定のページを巡回しないよう伝えることができる。

関連記事

関連記事はありません。