HOME
Databricks Certified Data Engineer Professional

「Databricks Certified Data Engineer Professional」の記事一覧

Databricksの「Serverless Real-Time Inference」エンドポイントの主な用途はどれか。

トレーニング済みモデルをワンクリックでスケーラブルなREST APIエンドポイントとしてデプロイし、リアル…

2026年3月8日

Delta Lake 3.0の「Liquid Clustering」が解決する、従来のZ-Orderの課題はどれか。

Liquid Clusteringは、書き込み時に低コストで部分的なクラスタリングを行い、バックグラウンドで段階的に…

2026年3月8日

PySparkコードの単体テスト（Unit Test）を行う際、SparkSessionをどのように扱うのがベストプラクティスか。

SparkSessionの起動コストは高いため、テストスイートの開始時に1つ作成し（`spark-master = local`）、全…

2026年3月8日

Databricks Terraform Providerを使用してワークスペースをデプロイする際、`databricks_mws_workspaces` リソースは何を作成するか。

`mws` (Multi-Workspace Services) プレフィックスのリソースは、アカウントAPIを使用して新しいワークス…

2026年3月8日

「Slowly Changing Dimension (SCD) Type 3」の特徴はどれか。

SCD Type 3は、完全な履歴ではなく、特定の属性について「一つ前の値」のみを保持したい場合に、列を追加…

2026年3月8日

Unity Catalogで、ユーザー自身のクエリ履歴やアクセス履歴を隠蔽することは可能か。

セキュリティとコンプライアンスの観点から、Databricks上の操作ログは監査対象として記録され、ユーザー…

2026年3月8日

Databricks Jobsの「Concurrency Control」で、重複実行を防ぐために設定すべき項目はどれか。

最大同時実行数を1に設定することで、前の実行が終わっていない場合に新しい実行がキューイングまたはスキ…

2026年3月8日

Sparkの「Adaptive Query Execution (AQE)」を無効にすべきケースは存在するか。

基本的には有効（デフォルト）が推奨されるが、特定の複雑なクエリやカスタムロジックにおいてAQEの判断が…

2026年3月8日

Auto Loaderで「File Notification」モードを使用する際、バケット内の既存ファイル（Backfill）はどう処理されるか。

通知設定以前に存在したファイルはイベントが発生しないため、通常は初回起動時にディレクトリリスティン…

2026年3月8日

Deltaテーブルの `ZORDER BY` で指定する列の数は、パフォーマンスの観点から推奨される上限はあるか。

Z-Orderingは多次元の局所性を高める技術だが、列数が増えるほど効果が希薄化するため、フィルタ頻度の高…

2026年3月8日