X-Robots-Tagはどこに記述するものか。

無限スクロールを実装したページを正しくクロールさせるために推奨される方法はどれか。