HOMELv017 「UDF (User Defined Function)」を使用する際、Catalyst Optimizerが最適化できない部分はどこか。 2026年3月8日 UDFの中身はSparkのオプティマイザにとって未知のコード(ブラックボックス)であるため、SQLのような述語プッシュダウンや式の簡約化が適用されにくい。 Kafkaソースのオプション `startingOffsets` に “earliest” を設定した場合の挙動はどれか。 DLTパイプラインで「cdc」を使用せず、手動で `MERGE` 文を書く場合に、更新順序を保証するために必要なものはどれか。