HOME
Databricks Certified Data Engineer Associate

「Databricks Certified Data Engineer Associate」の記事一覧

Auto Loaderが初めてディレクトリをスキャンする際、大量の既存ファイルを効率的に処理するためのオプションはどれか。

maxFilesPerTriggerを設定することで、1回のマイクロバッチで処理するファイル数を制限し安定させます。

2026年3月8日

Unity Catalogで「外部テーブル」を定義する際、絶対に必要なものはどれか。

外部テーブルを作成する際は、データの所在を示すクラウドストレージのパスをLOCATIONで指定します。

2026年3月8日

Deltaテーブルにおいて、削除（DELETE）操作を行った後でもタイムトラベルでデータを参照できるのはなぜか。

VACUUMを実行するまでは物理ファイルがストレージに残っているため、過去の状態を参照可能です。

2026年3月8日

テーブルの統計情報を最新の状態に更新し、クエリプランナーを補助するコマンドはどれか。

ANALYZE TABLEコマンドは列やテーブルの統計を収集し、結合順序などの最適化に貢献します。

2026年3月8日

ストリーミング処理で一定時間ごとに計算をまとめる「ウィンドウ処理」において、時間が重なり合わない窓を何というか。

タンブリングウィンドウは固定の長さで隙間なく重なり合わない時間枠を指します。

2026年3月8日

ブロンズ層のテーブルにおいて、最も重視されるべき性質はどれか。

ブロンズ層は元の生データを欠落なく保持し、後続の処理でいつでも再試行できるようにすべきです。

2026年3月8日

行に順位を付ける際、同じ値がある場合に次の順位を飛ばさずに連続させる関数はどれか。

DENSE_RANKは同順位があっても次の数値をスキップせずに順位を割り当てます。

2026年3月8日

DLTパイプラインを「継続的（Continuous）」ではなく、実行完了後にリソースを解放するように設定する実行モードはどれか。

トリガーモードでは利用可能なデータを一度だけ処理してパイプラインを停止し、コストを抑えます。

2026年3月8日

Unity Catalogにおいて、管理者が「誰がいつどのデータにアクセスしたか」を確認するためのログはどれか。

監査ログはメタストア内のすべての操作やアクセスに関する詳細な記録を保持します。

2026年3月8日

Delta Lakeにおいて、複数のデータファイルを1つの大きなファイルにまとめる物理的なプロセスは何と呼ばれるか。

コンパクションはOPTIMIZEコマンドによって行われ、小さなファイルを結合してI/O効率を高めます。

2026年3月8日