HOME
Databricks Certified Data Engineer Professional

「Databricks Certified Data Engineer Professional」の記事一覧

Spark UIにおいて、DAGのステージが分割されるきっかけとなる操作はどれか。

Wide Dependencyを伴うShuffle操作（GroupByKeyやJoinなど）が発生すると、新しいステージが作成される。

2026年3月8日

Slowly Changing Dimension (SCD) Type 2を実装する際、必須となるカラムはどれか。

SCD Type 2では履歴を保持するため、各レコードの有効期間を示す開始日と終了日（または現行フラグ）が必…

2026年3月8日

Unity Catalogにおいて、メタストア内の最上位のコンテナオブジェクトはどれか。

Unity Catalogの3層名前空間（catalog.schema.table）において、最上位の階層はカタログである。

2026年3月8日

Databricks Jobsにおいて、タスク間の依存関係を定義することで可能になることはどれか。

タスク間の依存関係を設定することで、前のタスクの成功・失敗に応じた実行フローや順序制御が可能になる。

2026年3月8日

Delta Live Tables (DLT) パイプラインで、データ品質制約に違反した際に行を削除する指定はどれか。

expect_or_dropを使用すると、制約条件を満たさないレコードはターゲットテーブルから除外（削除）される。

2026年3月8日

Structured Streamingにおいて、新規ファイルのみを処理するために使用される読み込みオプションはどれか。

maxFilesPerTriggerを設定することで、1回のバッチで処理するファイル数を制限し、順次処理を行うことがで…

2026年3月8日

Deltaテーブルに対してVACUUMコマンドを実行した際の挙動として正しいものはどれか。

VACUUMは保持期間（デフォルト7日）を超えた、現在は参照されていない古いデータファイルを物理的に削除す…

2026年3月8日

SparkのJoin操作において、データスキュー（偏り）が原因で発生する一般的な現象はどれか。

特定のパーティションにデータが集中することで、その処理を担当するタスクだけが極端に遅くなる現象が発…

2026年3月8日

Delta Lakeにおいて、タイムトラベル機能を使用するために参照されるログファイルはどれか。

Delta Lakeは_delta_logディレクトリ内のトランザクションログを使用して、テーブルのバージョン管理やタ…

2026年3月8日

メダリオンアーキテクチャにおいて、Bronze層の主な役割として最も適切なものはどれか。

Bronze層はソースシステムからの生データをそのままの状態（Raw）で保持し、履歴管理を行う役割を持つ。

2026年3月8日