HOMELv026 DLTパイプラインのソースコード(ノートブック)内で `spark.read` を使用してCSVを読み込んだ場合、DLTの依存関係グラフ(Lineage)はどうなるか。 2026年3月8日 DLTは `dlt.read()` や `dlt.read_stream()` 経由で定義された依存関係を解析するため、通常のSpark APIを直接呼ぶと、DLTのオートスケーリングやリネージ機能の恩恵を十分に受けられない場合がある。 PySparkで、`repartition()` を使用してデータを特定カラムでパーティショニングした後に書き込むと、どのようなディレクトリ構造になるか。 Delta Lakeの「Generated Columns(生成列)」を使用する主な利点はどれか。