HOME
Databricks Certified Data Engineer Professional

「Databricks Certified Data Engineer Professional」の記事一覧

Deltaテーブルから特定の条件に合致するデータを物理的に削除し、GDPRなどの「忘れられる権利」に対応するためのコマンドはどれか。

`DELETE` 文で論理削除を行った後、`VACUUM` を実行して即座に（または保持期間後に）物理ファイルを削除…

2026年3月8日

クラスターの「Init Scripts（初期化スクリプト）」が格納されるべき推奨場所はどこか。

セキュリティと管理の観点から、以前のDBFS配置は非推奨となり、現在はWorkspace FilesやUnity Catalog Vo…

2026年3月8日

PySparkコード内で、意図的に例外（エラー）を発生させてジョブを失敗させたい場合に使用するキーワードはどれか。

Python標準の `raise` を使用して例外を投げると、Sparkタスクは失敗し、リトライ上限に達するとジョブ全…

2026年3月8日

ディメンショナルモデリングにおいて、「Surrogate Key（サロゲートキー）」を使用する主な利点はどれか。

ビジネス上の意味を持たないシステム生成の連番やUUIDを主キーとすることで、ソースデータの変更や重複に…

2026年3月8日

Unity Catalogの「System Tables」に含まれる `system.access.table_lineage` は何を示すか。

クエリ履歴を分析し、データの出所（ソース）と行き先（ターゲット）の関係、つまりデータリネージを記録…

2026年3月8日

Databricks Jobsにおいて、複数のタスクで同じ「Job Cluster」を共有する設定にした場合の結果はどれか。

ジョブクラスターの共有は、一連のタスク実行における総起動待ち時間を短縮し、リソース使用効率を高める…

2026年3月8日

JSONデータの読み込み時に、列の一部が欠損していたり型が異なったりする場合、`permissive` モード（デフォルト）はどう振る舞うか。

Permissiveモードは可能な限りデータを読み込もうとし、型が合わない値はNULLとして扱う（`columnNameOfCo…

2026年3月8日

Structured Streamingの `foreachBatch` 内で、書き込み操作を「冪等（Idempotent）」にするための一般的な方法はどれか。

リトライ時に同じバッチが再処理される可能性があるため、batchIdを確認するか、`MERGE` 文を使用して重複…

2026年3月8日

Spark設定 `spark.sql.files.maxRecordsPerFile` を調整する主な目的はどれか。

書き込み時に1ファイルあたりの行数を制限することで、巨大なファイルが生成されるのを防ぎ、後の読み取り…

2026年3月8日

Delta Lakeの `CONVERT TO DELTA` コマンドが実行することとして正しいものはどれか。

既存のParquetテーブルに対し、データファイルをそのまま利用しつつDeltaのメタデータを生成（インデック…

2026年3月8日