HOME
Databricks Certified Data Engineer Associate

「Databricks Certified Data Engineer Associate」の記事一覧

Auto Loaderを使用してデータを読み取る際、ソースデータの形式を指定するためのオプションはどれか。

cloudFiles.formatオプションでjsonやcsv、parquetなどのソース形式を指定します。

2026年3月8日

Unity Catalogにおいて、管理者がユーザーではなく「サービスプリンシパル」に権限を付与する主な理由はどれか。

サービスプリンシパルを使用することで、個人の資格情報に依存しないセキュアな自動化が可能になります。

2026年3月8日

DLTでデータ品質ルールに違反した際に、パイプラインの実行自体を停止させる制約（Expectation）の記述はどれか。

ON VIOLATION FAIL UPDATEを指定すると、制約違反が発生した時点でパイプラインの更新が失敗します。

2026年3月8日

SQLウェアハウスで実行された長時間のクエリを中断するために必要な権限はどれか。

CAN MANAGE権限を持つユーザーは、実行中のクエリのキャンセルやウェアハウスの再起動が可能です。

2026年3月8日

シルバー層で実施される「データクレンジング」の代表的な処理はどれか。

シルバー層ではデータの品質を向上させるためにNULL値の処理やデータ型の修正が行われます。

2026年3月8日

ストリーミングクエリのチェックポイントディレクトリに含まれている、処理済みのソースオフセットを記録するファイルはどれか。

offsetsディレクトリには、各マイクロバッチで読み取られたソースのオフセット位置が記録されます。

2026年3月8日

複数の列を1つのMap型（キーと値のペア）にまとめるために使用する関数はどれか。

create_map関数は指定された複数の列を交互にキーと値としてMap形式に変換します。

2026年3月8日

Unity Catalogにおいて、特定のストレージの資格情報をカプセル化し、外部ロケーション作成に使用するオブジェクトはどれか。

ストレージ資格情報は、クラウドストレージへのアクセスに必要な認証情報を安全に保持するオブジェクトで…

2026年3月8日

Deltaテーブルにおいて、削除されたデータの物理ファイルを即座に削除するためにVACUUMに指定するリテンション時間はどれか。

リテンションを0に設定すると即時削除が可能ですが、実行には特定のSpark設定の変更が必要です。

2026年3月8日

2つのデータセットを結合する際、一方が十分に小さい場合にSparkが選択する高速な結合アルゴリズムはどれか。

Broadcast Hash Joinは、小さいテーブルを各ノードに配布することでシャッフルを回避し高速化します。

2026年3月8日