HOME
Databricks Certified Data Engineer Professional

「Databricks Certified Data Engineer Professional」の記事一覧

Structured Streamingで `trigger(once=True)`（Trigger Once）を使用すべきシナリオはどれか。

Trigger Onceは全データを1バッチで処理しようとするためメモリ圧迫のリスクがあるが、定期バッチ処理とし…

2026年3月8日

Databricks SQLの「Query History」APIを使用して取得できる情報は、最大過去何日間か。

Query Historyデータは通常30日間保持され、それ以上の期間の分析が必要な場合は、System Tablesや定期的…

2026年3月8日

「Databricks Runtime (DBR)」のバージョンアップを行う際、最も注意すべき点はどれか。

DBRのバージョンが変わると、含まれるApache SparkやPython、およびプリインストールライブラリのバージョ…

2026年3月8日

「Data Vault」における「Link」テーブルの主な役割はどれか。

Linkテーブルは2つ以上のHubのキーを含み、顧客と製品（購入）、社員と部署（所属）などの多対多の関係を…

2026年3月8日

PySparkで、複雑なネストされたJSON構造（StructType）を平坦化（Flatten）するために有用なアプローチはどれか。

構造体（Struct）のフィールドを列として展開するには `col.*` が有効であり、階層が深い場合はスキーマを…

2026年3月8日

Unity Catalogの「Privilege Model」において、`ALL PRIVILEGES` に含まれない（別途付与が必要な）権限はあるか。

`GRANT ALL PRIVILEGES` はそのオブジェクトに対する操作権限を付与するが、オブジェクトの所有者変更や、…

2026年3月8日

Databricks Jobsの「Task parameter variables」で使用できる `{{job_id}}` や `{{start_time}}` はいつ評価されるか。

これらの変数は動的参照であり、実際にジョブやタスクが実行されるタイミングで具体的な値（IDやタイムス…

2026年3月8日

Spark設定 `spark.databricks.io.cache.enabled` (Disk Caching / Delta Cache) が有効な場合、データはどこにキャッシュされるか。

Disk Cache（旧Delta Cache）は、リモートデータをローカルディスク（SSD）に高速な中間形式でコピーし、2…

2026年3月8日

Delta Live Tablesパイプラインで「Development」モードを選択した場合、データの保持ポリシーはどうなるか。

Developmentモードでもデータはターゲットスキーマに書き込まれるが、開発サイクルを速めるためにコンピュ…

2026年3月8日

Structured Streamingで、Kafkaのメッセージキー（Key）と値（Value）はデフォルトでどのデータ型として読み込まれるか。

Kafkaソースから読み込まれる `key` と `value` 列は、どのようなデータでも扱えるようにデフォルトで `Bi…

2026年3月8日