HOME
Lv019

「Lv019」の記事一覧

Sparkにおける「Skew Join」対策として、ソルト（Salting）技術を使う目的はどれか。

特定の値にデータが集中している場合、そのキーにランダムな接尾辞（ソルト）をつけてキーの種類を増やし…

2026年3月8日

Databricksの「Auto Loader」が、S3などのオブジェクトストレージのディレクトリリスティング（List API）よりも効率的である理由はどれか。

大量のファイルがあるバケットで通常のListコマンドを実行すると非常に時間がかかるが、Auto Loaderは新規…

2026年3月8日

Structured Streamingで `trigger(processingTime=’5 seconds’)` と設定した場合の挙動はどれか。

ProcessingTimeトリガーは、前回のバッチ終了から指定時間が経過したタイミングで次のバッチを開始する（…

2026年3月8日

Deltaテーブルの `delta.enableChangeDataFeed` を後から有効にした場合、それ以前の変更履歴はどうなるか。

CDF（Change Data Feed）は有効化された時点からの書き込み操作に対して追加のメタデータを記録し始めるた…

2026年3月8日

ジョブのスケジュール設定において、特定の時間が経過しても完了しない場合にタスクを強制終了させる設定はどれか。

Timeout設定により、ハングアップしたタスクや予想外に長時間実行されているタスクを停止できます。

2026年3月8日

Delta Lakeの「Liquid Clustering」が従来のパーティショニングよりも優れている点はどれか。

Liquid Clusteringは、データのスキューやクエリパターンの変化に柔軟に対応し、最適なクラスタリングを維…

2026年3月8日

JSONデータなどの半構造化データから、すべてのキーを展開して列にするための関数はどれか。

json_tuple関数を使用すると、指定した複数のトップレベルキーの値を一度に抽出して複数の列として返せま…

2026年3月8日

Databricks SQLにおいて、複数のクエリ結果を組み合わせて1つの統合されたビューを作成する機能はどれか。

ダッシュボードを使用すると、異なるクエリによる複数の可視化パーツを一画面にまとめて表示できます。

2026年3月8日

Auto Loaderの「スキーマヒント」機能を使用する主な目的はどれか。

スキーマヒントにより、特定の列のデータ型を強制的に指定し、自動推論の誤りを修正できます。

2026年3月8日

DLTパイプラインでストリーミングテーブルを定義する際、Python APIで使用するデコレータはどれか。

dlt.tableデコレータ内で読み取り側にread_streamを使用することでストリーミングテーブルが定義されます。

2026年3月8日