HOMELv020 「Silver」層のテーブルにおいて、重複排除(Deduplication)を行う際に使用するSpark関数はどれか。 2026年3月8日 `dropDuplicates([‘key_col’])` を使用することで、指定したキーに基づいて重複行を削除し、ユニークなレコードのみを保持することができる。 Databricks Jobsで、Gitリポジトリ上の「特定のタグ(Release v1.0など)」を指定して実行することは可能か。 PySparkの `cache()` メソッドを呼び出した後、実際にデータがキャッシュされるタイミングはいつか。