クローラーに対して特定のページの巡回を拒否する指示を出すファイルはどれか。

ユーザーの検索履歴や位置情報に基づいて検索結果を最適化する機能を何と呼ぶか。