HOME
Lv021

「Lv021」の記事一覧

「Control Plane（コントロールプレーン）」と「Data Plane（データプレーン）」の分離において、顧客のデータ（S3/ADLS上の実データ）が存在するのはどちらか。

Databricksのアーキテクチャでは、実際のデータ処理とストレージは顧客のクラウド環境（Data Plane）内に…

2026年3月8日

「Liquid Clustering」を有効にしたテーブルで、従来の `OPTIMIZE … ZORDER BY` コマンドを実行するとどうなるか。

Liquid Clusteringを使用しているテーブルでは、Z-OrderやHiveパーティショニングとの併用はできず、Liqui…

2026年3月8日

PySparkで、ドライバ側にあるローカルのPython変数（リストや辞書など）を、全エグゼキュータに効率的に配布して共有するための機能はどれか。

`sc.broadcast(variable)` を使用することで、変数をシリアライズして各エグゼキュータに一度だけ転送し、…

2026年3月8日

レイクハウスにおける「Bronze層」のデータ保持ポリシーとして、最も推奨されるアプローチはどれか。

Bronze層は「真実の源（Single Source of Truth）」としての生データアーカイブの役割も兼ねるため、スト…

2026年3月8日

Databricks Jobsにおいて、タスクAの成功・失敗にかかわらず常にタスクBを実行したい場合、依存関係の設定（Run if）をどうすべきか。

「All dependencies done」を選択すると、先行タスクの状態（成功、失敗、キャンセルなど）に関わらず、完…

2026年3月8日

Delta Live Tables (DLT) パイプラインで、Pythonライブラリ（PyPIパッケージ）を追加インストールする推奨方法はどれか。

DLTパイプラインのソースノートブック内で `%pip install ` を記述することで、パイプライン専用の環境に…

2026年3月8日

Unity Catalogにおいて、テーブルの「Lineage（リネージ）」情報を自動的にキャプチャして表示するための要件はどれか。

Unity Catalogは、対応するコンピュートリソース上で実行された読み書き操作を解析し、自動的にテーブルや…

2026年3月8日

Spark UIの「Storage」タブにデータが表示されるのは、どのような操作を行った時か。

Storageタブは、キャッシュされたRDDやDataFrameのメモリ/ディスク使用状況を表示する場所であり、永続化…

2026年3月8日

Delta Lakeの `VACUUM` コマンドで保持期間（Retention）のチェックを強制的に無効化し、直近のデータを削除するための設定はどれか。

デフォルトの安全機構（7日未満の削除禁止）を回避するには、Spark設定で `retentionDurationCheck.enable…

2026年3月8日

Structured Streamingで、ウィンドウ集計時に「Watermark」を使用せず、単純な固定ウィンドウ（Tumbling Window）のみを使用した場合のリスクはどれか。

Watermarkがないと、システムは「いつ古いステートを破棄してよいか」を判断できず、無限にステートを保持…

2026年3月8日