クローラ（Crawler）の役割はどれか。

検索エンジンのデータベース作成のために、Web上の情報を自動収集するプログラム。