HOME
Databricks Certified Data Engineer Professional

「Databricks Certified Data Engineer Professional」の記事一覧

「Deletion Vectors」を有効にしたテーブルで `REORG TABLE APPLY (PURGE)` を実行する目的はどれか。

Deletion Vectorsにより論理削除された行（削除マーク付き）が含まれるファイルを、マークされた行を除外…

2026年3月8日

「Hub-and-Spoke」型データアーキテクチャにおいて、中央のハブ（Hub）が提供する機能はどれか。

ハブは組織全体で共有される信頼性の高いデータ（共通ディメンションやマスターデータ）を提供し、各スポ…

2026年3月8日

Databricksの「Serverless SQL Warehouse」が、クエリ実行時に自動的に使用するパフォーマンス最適化機能はどれか。

Predictive I/Oは、機械学習を用いて次に必要となるデータを予測し、読み取りを高速化・最適化するServerl…

2026年3月8日

PySparkのUDF内で、大きな辞書データなどを参照する際に、単なるグローバル変数として定義するのではなく `Broadcast Variable` を使うべき理由はどれか。

ブロードキャストしない場合、変数はタスク（スレッド）ごとにシリアライズされて送られる可能性があり、…

2026年3月8日

Databricks Asset Bundles (DABs) で、ワークフロー定義を記述するために使用される言語フォーマットはどれか。

DABsの設定ファイル（databricks.yml）はYAML形式で記述され、シンプルかつ可読性の高い構成管理を提供す…

2026年3月8日

`readStream` で Deltaテーブルをソースにする際、`ignoreDeletes` オプションを `true` に設定する理由はどれか。

デフォルトでは、ソーステーブルでのDelete操作はストリームにとって「処理できない変更」としてエラーに…

2026年3月8日

Unity Catalogの「Grants（権限）」において、`SELECT` 権限をビュー（View）に対して付与した場合の挙動はどれか。

ビューへのアクセス権があれば、その定義内で参照されている基底テーブルへの権限をユーザーが持っていな…

2026年3月8日

「Skew Join」が発生しているかどうかをSpark UIで判断する際の指標として適切なものはどれか。

データスキューがある場合、偏ったデータを受け取った一部のタスク（straggler）だけが長時間稼働し続け、…

2026年3月8日

Databricksにおける「Meditator（仲介者）」パターンや「Multiplexing」パターンにおいて、複数のストリームを1つのDeltaテーブルに統合する主な理由はどれか。

多数の小規模なストリームを個別のテーブルに書くと大量の小ファイルが発生するため、一度共通のテーブル…

2026年3月8日

「Photon」エンジンがサポートしていない操作が含まれるクエリを実行した際、Databricksはどのような挙動をとるか。

PhotonはSparkと完全に互換性があり、Photonで処理できない演算子は自動的にSpark（JVM）実行にフォールバ…

2026年3月8日