HOME
Databricks Certified Data Engineer Professional

「Databricks Certified Data Engineer Professional」の記事一覧

「Cluster Policies」でユーザーにタグ付け（custom_tags）を強制する主な目的はどれか。

各部署やプロジェクトのタグを強制することで、クラウドベンダーの請求レポート上でコストを正確に分類・…

2026年3月8日

Databricks REST APIのトークン管理において、セキュリティリスクを軽減するために推奨される「OAuth (M2M)」の特徴はどれか。

OAuth M2M（Machine to Machine）認証は、サービスプリンシパルを使用して一時的なアクセストークンを動的…

2026年3月8日

スタースキーマにおいて、ファクトテーブルとディメンションテーブルを結合する際、参照整合性が崩れている（ディメンションにキーがない）レコードを特定する結合タイプはどれか。

ファクトテーブルを左側（Left）にしてLeft Joinを行い、ディメンション側のカラムがNULLになるレコードを…

2026年3月8日

PySparkで、ドライバのローカルディスクにあるファイルを読み込むために使用するパスのプレフィックスはどれか。

`file:///` スキームを使用すると、分散ストレージではなく、ドライバーノードのローカルファイルシステム…

2026年3月8日

Databricks Jobsの「Max Concurrent Runs（最大同時実行数）」設定の役割はどれか。

ストリーミングジョブや頻繁なトリガージョブにおいて、前の実行が終わる前に次の実行が開始されるのを制…

2026年3月8日

Delta Live Tables (DLT) で、ソースデータが破損していてもパイプラインを停止させず、エラー行を隔離して処理を継続したい場合のデザインパターンはどれか。

主テーブルにはクリーンなデータのみを入れ（`expect_or_drop`等）、違反データは別のルールで「隔離テー…

2026年3月8日

Unity Catalogにおいて、メタストア（Metastore）を作成できるのはどの権限を持つユーザーか。

メタストアはアカウントレベルのオブジェクトであり、複数のワークスペースに割り当て可能なため、Databri…

2026年3月8日

Structured Streamingにおいて、メモリ使用量が無制限に増加する「ステート爆発（State Explosion）」を防ぐために必須の設定はどれか。

Watermarkを設定しないと、エンジンは「遅れたデータがいつか来るかもしれない」と判断し、古いステートを…

2026年3月8日

「Spark UI」のSQLタブで、ノードの色が「赤色」で表示されている場合、何を示唆しているか。

特定のオペレータやステージが赤く表示される場合、そこが処理のボトルネックになっているか、データの偏…

2026年3月8日

Delta Lakeの `OPTIMIZE` コマンドが実行された際、統計情報（Statistics）はどうなるか。

`OPTIMIZE` によるファイルコンパクション時には、新しいデータファイルの統計情報（Min/Maxなど）が自動…

2026年3月8日