HOME
Databricks Certified Data Engineer Professional

「Databricks Certified Data Engineer Professional」の記事一覧

Databricksにおける「Lakehouse」の概念を一言で表すとどれか。

レイクハウスは、データレイク（安価なストレージ、非構造化データ対応）の上に、Delta LakeやUnity Catal…

2026年3月8日

スタースキーマにおいて、結合パフォーマンスを向上させるために、小さなディメンションテーブルに対して推奨されるDelta Lakeの最適化はどれか。

非常に小さなディメンションテーブル（数MB〜数百MB程度）は、Sparkが自動的にブロードキャスト結合を行う…

2026年3月8日

TerraformなどのIaCツールを使用してDatabricksワークスペースを管理する際、ステート（State）ファイルに注意すべき理由はどれか。

Terraformのstateファイルにはリソースの属性情報が保存されるため、S3バックエンドの暗号化やアクセス制…

2026年3月8日

クラスター設定における「Auto Termination（自動終了）」の主な目的はどれか。

指定した時間（分）の間、クラスターがアイドル状態（アクティブなコマンドがない状態）であれば自動的に…

2026年3月8日

Databricks Jobsの「Matrix Syntax（マトリックス構文）」を使用する目的はどれか。

マトリックス機能を使用すると、パラメータの組み合わせを定義し、それに基づいて複数のジョブ実行（Run）…

2026年3月8日

Unity Catalogの「Row Filter」と「Column Mask」の違いはどれか。

Row Filterは条件（例：部門IDが一致）を満たさない行そのものを結果セットから除外するのに対し、Column …

2026年3月8日

Delta Live Tablesで、既存のテーブルを完全に再構築し、履歴をクリアして最初から処理し直す操作はどれか。

Full Refresh（完全更新）を選択すると、ターゲットテーブルが一度ドロップ（またはクリア）され、ソース…

2026年3月8日

「Broadcast Hash Join」が行われる条件として、デフォルトのテーブルサイズ閾値はいくらか。

`spark.sql.autoBroadcastJoinThreshold` のデフォルト値は10MBであり、統計情報に基づくサイズがこれ以下…

2026年3月8日

Delta Lakeの `VACUUM` コマンドがデフォルトで削除を防止するための安全機構（Safety Check）は何か。

誤って最近の履歴を削除してデータ破損や整合性エラーが起きるのを防ぐため、保持期間（retention hours）…

2026年3月8日

Structured Streamingで、処理の進捗状況（オフセットなど）を監視するためのリスナーインターフェースはどれか。

`StreamingQueryListener` を実装してSparkセッションに登録することで、ストリーミングクエリの開始、進…

2026年3月8日