HOME
Lv002

「Lv002」の記事一覧

Sparkの設定「spark.sql.shuffle.partitions」のデフォルト値は通常いくつか。

デフォルトは200だが、データ量に応じてこの値を調整することがパフォーマンスチューニングの重要なステッ…

2026年3月8日

Databricks Jobsの「Repair and Rerun」機能が役立つのはどのような場面か。

失敗したタスクのみを再実行し、すでに成功している依存タスクの再計算を避けることでリカバリ時間を短縮…

2026年3月8日

Delta Live Tablesで「APPLY CHANGES INTO」構文を使用する主な目的はどれか。

APPLY CHANGES INTOは、CDCフィードを処理し、Type 1またはType 2のSCDロジックを簡潔に実装するために使…

2026年3月8日

Silver層のテーブル設計において、最も推奨されるデータ形式はどれか。

Silver層ではクレンジング済みデータを扱うため、ACIDトランザクションとパフォーマンスに優れたDelta形式…

2026年3月8日

Databricks SQLのクエリ履歴（Query History）で確認できない情報はどれか。

クエリ履歴はパフォーマンス分析用であり、インフラレベルのセキュリティ情報（SSHキー等）は含まれない。

2026年3月8日

ブロードキャストハッシュ結合（Broadcast Hash Join）が有効なシナリオはどれか。

片方のテーブルが各ノードのメモリに収まるほど小さい場合、それを全ノードに転送することでシャッフルを…

2026年3月8日

Unity Catalogで管理されるテーブルに対し、行レベルのアクセス制御を行うためのSQL句はどれか。

Databricks SQLでは、CREATE ROW FILTER関数を使用して行レベルのセキュリティポリシーを定義し、テーブル…

2026年3月8日

Auto Loaderにおいて、スキーマの変更を検知して自動的に対応する機能はどれか。

Auto LoaderのSchema Evolution機能は、入力データのスキーマ変更を検知し、ターゲットテーブルに自動的に…

2026年3月8日

OPTIMIZEコマンド実行時に、Z-Orderingを併用することによる主なメリットはどれか。

Z-Orderingは指定された列のデータを物理的にクラスタリングし、クエリ時のデータスキップ効率を大幅に向…

2026年3月8日

Structured Streamingの出力モードにおいて、集計結果の全体を毎回書き出すモードはどれか。

Complete Modeは、更新のたびに集計テーブル全体を外部ストレージに書き出す動作を行う。

2026年3月8日