HOME
Databricks Certified Data Engineer Professional

「Databricks Certified Data Engineer Professional」の記事一覧

PythonでDelta Live Tablesを記述する際、`dlt.table` デコレータの `comment` 引数の役割はどれか。

comment引数に記述された内容は、Unity CatalogやHive Metastoreなどのデータカタログ上でテーブルの説明…

2026年3月8日

Join操作における「BroadcastTimeout」のエラーを回避するための対処法として適切でないものはどれか。

Broadcast Joinはドライバーからエグゼキュータへデータを送る処理であり、シャッフルパーティション数を…

2026年3月8日

Databricks Jobsにおいて、Git連携（Git Integration）を使用する最大のメリットはどれか。

Git連携により、特定のブランチやタグのコードを使用してジョブを実行でき、CI/CDパイプラインとの統合や…

2026年3月8日

Deltaテーブルのプロパティ `delta.logRetentionDuration` の役割はどれか。

このプロパティは、履歴メタデータであるトランザクションログをどれくらいの期間保持するかを制御する（…

2026年3月8日

Data Vaultモデリングにおける「Hub」テーブルの役割はどれか。

Hubはビジネスエンティティ（顧客、製品など）の一意なビジネスキーのみを管理し、他のテーブル（Link, Sa…

2026年3月8日

Photonエンジンが従来のSparkエンジンより高速に動作する主な理由はどれか。

PhotonはネイティブC++で実装されたベクトル化クエリエンジンであり、最新のCPUアーキテクチャを活用して…

2026年3月8日

Kafkaソースからデータを読み込む際、データの損失を防ぐために推奨される「failOnDataLoss」の設定はどれか。

本番運用では、Kafkaのオフセット期限切れ等でデータ欠損があっても処理を継続させるため、意図的にfalse…

2026年3月8日

Databricks REST APIを使用してクラスターを作成する際、必須となる設定項目はどれか。

Sparkのランタイムバージョンを指定するspark_versionは、クラスター作成APIにおいて必須のパラメータであ…

2026年3月8日

動的ビュー（Dynamic View）を使用して列レベルのマスキングを行う際に使用される関数はどれか。

is_member()関数を使用してユーザーのグループ所属を確認し、条件分岐（CASE WHEN）で特定の列の値をNULL…

2026年3月8日

小さなファイルが大量に発生する「Small File Problem」を解決するために有効なDelta Lakeの機能はどれか。

Auto Optimize（書き込み時の最適化）やAuto Compact（書き込み後の小ファイル併合）により、読み取り効率…

2026年3月8日