HOME
Databricks Certified Data Engineer Professional

「Databricks Certified Data Engineer Professional」の記事一覧

Python UDF（User Defined Function）がSparkのネイティブ関数より遅い主な理由はどれか。

標準のPython UDFは、JVM（Executor）とPythonワーカー間で行ごとにデータを転送・変換するオーバーヘッド…

2026年3月8日

Databricks Repos（Git連携）において、「Sparse Checkout」が役立つシナリオはどれか。

Sparse Checkoutを使用すると、リポジトリ全体ではなく必要なサブディレクトリのみをチェックアウトできる…

2026年3月8日

DLTで `dlt.apply_changes` 関数を使用する際、`sequence_by` パラメータの役割はどれか。

CDC処理において、ソースデータの到着順序が前後した場合でも、`sequence_by`（通常はタイムスタンプやバ…

2026年3月8日

SCD Type 1（Slowly Changing Dimension Type 1）の動作はどれか。

SCD Type 1は「最新状態のみを保持」する方式であり、変更があった場合は既存のレコードを上書き（Overwri…

2026年3月8日

「Dynamic Views」を使用してPII（個人情報）列をマスクする場合、元のテーブルへのアクセス権限はどうあるべきか。

セキュリティを担保するため、ユーザーにはフィルタリングロジックを含むビューへのアクセス権のみを付与…

2026年3月8日

Databricks Asset Bundles (DABs) で、開発(dev)、ステージング(staging)、本番(prod)ごとの設定切り替えを定義するセクションはどれか。

`databricks.yml` ファイル内の `targets` セクションで、各環境（ターゲット）ごとのワークスペースURL、…

2026年3月8日

`COPY INTO` コマンドが Auto Loader と比較して有利な点はどれか。

`COPY INTO` は既に存在するファイルのバッチロードにおいて、冪等性を保ちつつシンプルなSQLコマンドで実…

2026年3月8日

Structured Streamingで、イベント時間（Event Time）に基づいて遅れて到着したデータを破棄するための機能はどれか。

Watermark（透かし）を定義することで、システムは「これ以上古いデータは到着しない（または処理しない）…

2026年3月8日

「Disk Spill（ディスクスピル）」が発生していることを示すSpark UIのメトリクスはどれか。

ExecutorタブやStage詳細で「Spill (Memory)」および「Spill (Disk)」の値が0より大きい場合、メモリ不足…

2026年3月8日

「Identity Columns」（`GENERATED ALWAYS AS IDENTITY`）を持つDeltaテーブルへのデータ挿入時の制約はどれか。

`GENERATED ALWAYS` で定義されたIdentity列は、データベースが自動的に値を生成するため、INSERT文でユー…

2026年3月8日