HOME
Databricks Certified Data Engineer Professional

「Databricks Certified Data Engineer Professional」の記事一覧

「Unity Catalog」が管理対象とするスコープはどれか。

Unity CatalogはDatabricksアカウントレベルで機能し、1つのメタストアを複数のワークスペースに割り当て…

2026年3月8日

Deltaテーブルの `delta.columnMapping.mode` を `name` に設定することで解決できる問題はどれか。

Column Mapping（Name mode）を使用すると、物理ファイル内の列名にUUIDを使用し、論理的な列名としてスペ…

2026年3月8日

Databricks SQL Warehouseの「Scaling（スケーリング）」設定における「Min/Max clusters」の意味はどれか。

同時実行クエリ数が増加した際に、自動的にロードバランシングを行うためのクラスターインスタンスの数を…

2026年3月8日

Pandas UDF（Vectorized UDF）のタイプとして存在しないものはどれか。

Pandas UDFには、Scalar、Iterators、Grouped Map、Grouped Aggなどがあるが、「MapReduce」という名称の…

2026年3月8日

DLTにおいて、`dlt.read_stream` で読み込んだテーブルに対し、集計（Aggregation）を行うと、そのテーブルの種類はどうなるか。

（注：用語の正確性として）ストリームソースからの集計結果を保持するには、状態を持つ必要があるため、…

2026年3月8日

Databricks Jobsのクラスター設定で「Job Cluster（ジョブクラスター）」を使用する最大のメリットはどれか。

Job Clusterは、そのジョブ実行専用に作成され、完了後に破棄されるため、リソース競合がなく、All-purpos…

2026年3月8日

Structured Streamingで、書き込み先（Sink）がDeltaテーブルの場合、`processingTime` トリガーを使用しなくてもデータの整合性は保たれるか。

Delta LakeはACID準拠であるため、ストリーミングのトリガータイプに関わらず、コミットごとの原子性と整…

2026年3月8日

Unity Catalogの「Foreign Catalog」機能を使用する目的はどれか。

Lakehouse Federationの一環として、外部システムへの接続を定義し、そのデータベース構造をUnity Catalog…

2026年3月8日

Auto Loader (`cloudFiles`) の `cloudFiles.inferColumnTypes` オプションを有効にした場合の挙動はどれか。

Auto Loaderは初期読み込み時にデータの一部をサンプリングし、JSONやCSVなどのデータ型を自動的に推論し…

2026年3月8日

SparkのJoin戦略において、「Sort Merge Join」が選択される主な条件はどれか。

Sort Merge Joinは、大規模なデータセット同士の結合における標準的な戦略であり、シャッフル後にキーでソ…

2026年3月8日