Databricks SQLのクエリパフォーマンスを診断する際、「Query Profile」で確認できる「Spilled to Disk」が意味するものはどれか。

2026年3月8日

スピル（Spill）はメモリ不足を示唆し、ディスクI/Oが発生するため処理速度が大幅に低下する要因となる。

SparkのDataFrame操作において、`withColumn` を連鎖させて多数（数百以上）の列を追加した場合のパフォーマンスへの影響はどれか。

失敗したジョブのトラブルシューティングにおいて、ドライバーログ（Driver Logs）の「Log4j」出力を確認する主な目的はどれか。