HOME
Databricks Certified Data Engineer Professional

「Databricks Certified Data Engineer Professional」の記事一覧

DLTパイプラインのソースコード（ノートブック）内で `spark.read` を使用してCSVを読み込んだ場合、DLTの依存関係グラフ（Lineage）はどうなるか。

DLTは `dlt.read()` や `dlt.read_stream()` 経由で定義された依存関係を解析するため、通常のSpark APIを…

2026年3月8日

Delta Lakeの「Generated Columns（生成列）」を使用する主な利点はどれか。

日付から抽出した「年」や「月」などを生成列として定義しパーティション化すると、元のタイムスタンプ列…

2026年3月8日

「Inmon」型アーキテクチャ（企業データウェアハウスアプローチ）の特徴として適切なものはどれか。

Inmonモデルは、データの整合性と一貫性を重視し、企業全体で統合・正規化されたEDWを構築した後、部門ご…

2026年3月8日

PySparkで、`repartition()` を使用してデータを特定カラムでパーティショニングした後に書き込むと、どのようなディレクトリ構造になるか。

`df.write.partitionBy("col")` を使用した場合、`col=value1/`, `col=value2/` のようにHive形式のパーテ…

2026年3月8日

Databricks Jobsの「Notifications」設定で、ジョブ開始時（On start）に通知を送ることの潜在的なデメリットはどれか。

頻繁に実行されるジョブですべての開始通知を受け取ると、アラート疲労（Alert Fatigue）を引き起こし、本…

2026年3月8日

Auto Loaderの `cloudFiles.allowOverwrites` オプションを `true` に設定した場合の挙動はどれか。

デフォルトではファイルの上書きはエラーや無視の原因となるが、このオプションにより同一パスのファイル…

2026年3月8日

Unity Catalogの「External Location」に対する権限を持つユーザーができる操作はどれか。

External Locationへの `CREATE EXTERNAL TABLE` や `CREATE EXTERNAL VOLUME` 権限を持つユーザーは、そ…

2026年3月8日

Structured Streamingで `flatMapGroupsWithState` を使用する際、ステートのエンコーディング形式（GroupStateTimeout）として選択できるものはどれか。

ステートの有効期限管理には、データ内のイベント時間に基づく `EventTimeTimeout` か、システム時計に基…

2026年3月8日

Adaptive Query Execution (AQE) が「Join Strategy」を動的に変更する条件として正しいものはどれか。

AQEはシャッフル後のデータサイズを監視し、当初の計画よりもデータが小さければ、より高速なBroadcast Jo…

2026年3月8日

Databricks Certified Data Engineer Professional試験の準備において、実務経験として推奨される期間はどのくらいか。

Professionalレベルは、単純な知識だけでなくトラブルシューティングや設計判断を問うため、通常1年程度の…

2026年3月8日