HOME
Lv027

「Lv027」の記事一覧

Delta Lakeの「Optimized Writes（最適化された書き込み）」機能が自動的に行うことはどれか。

Optimized Writesは、各エグゼキュータが書き込むデータ量を調整（シャッフル）し、128MB程度の最適なサイ…

2026年3月8日

Databricks SQL Warehouseの「Spot Instance Policy」の設定において、「Cost Optimized」を選択した場合のリスクはどれか。

コスト最適化モードでは安価なスポットインスタンスを積極利用するため、クラウドプロバイダによるインス…

2026年3月8日

「Databricks Marketplace」の主な機能はどれか。

Marketplaceを利用することで、外部ベンダーやパートナーが提供するデータやソリューションを、データのコ…

2026年3月8日

PySparkで、データフレームの `cache()` を解除し、メモリを解放するメソッドはどれか。

`df.unpersist()` を呼び出すことで、キャッシュされたデータフレームをメモリおよびディスクから即座に削…

2026年3月8日

スタースキーマにおいて「Role-Playing Dimension」とは何か。

例えば「日付ディメンション」は、注文日、出荷日、配送日などとして、一つのファクトテーブルから複数の…

2026年3月8日

Databricks Jobsで「Job Cluster」を使用している際、ジョブ内の全タスクでライブラリを有効にするにはどこで定義すべきか。

ジョブクラスターの定義はジョブレベルで行われるため、そこで「Dependent Libraries」を追加すれば、その…

2026年3月8日

Delta Live Tablesで「Expectation（期待値）」を定義する際、`expect_all` と `expect` の違いは何か。

`expect_all({"rule1": "cond1", "rule2": "cond2"})` のように、複数の品質ルールを一度に適用し、いずれ…

2026年3月8日

Unity Catalogの「Volume」にアップロードされたファイル（PDFなど）にアクセスするために使用できるAPI/機能はどれか。

Volumes内のファイルは、Databricks上の任意の言語（Python, SQL等）やREST APIを通じて、通常のファイル…

2026年3月8日

Structured Streamingで「RocksDB」をステートストアとして使用する設定はどれか。

（構成は簡略化される傾向にあるが）明示的に指定する場合、StateStoreプロバイダクラスをRocksDB実装に切…

2026年3月8日

「UDF」よりも「Higher-Order Functions（高階関数）」を使用すべき理由はどれか。

`transform`, `filter`, `aggregate` などの高階関数は、配列やマップ型データに対してSQL式内で直接処理…

2026年3月8日