Databricksの「Auto Loader」が、S3などのオブジェクトストレージのディレクトリリスティング(List API)よりも効率的である理由はどれか。

大量のファイルがあるバケットで通常のListコマンドを実行すると非常に時間がかかるが、Auto Loaderは新規ファイルのみを効率的に特定する仕組みを持っている。