HOME
Lv009

「Lv009」の記事一覧

Databricks SQLのクエリパフォーマンスを診断する際、「Query Profile」で確認できる「Spilled to Disk」が意味するものはどれか。

スピル（Spill）はメモリ不足を示唆し、ディスクI/Oが発生するため処理速度が大幅に低下する要因となる。

2026年3月8日

失敗したジョブのトラブルシューティングにおいて、ドライバーログ（Driver Logs）の「Log4j」出力を確認する主な目的はどれか。

Standard Error/OutputやLog4jログには、PythonやScalaコードが吐き出した例外情報の詳細や、カスタムログ…

2026年3月8日

「Data Clean Room」の主な用途はどれか。

Data Clean Roomは、生データを相手に見せることなく、許可された集計や分析結果のみを共有するためのセキ…

2026年3月8日

SparkのDataFrame操作において、`withColumn` を連鎖させて多数（数百以上）の列を追加した場合のパフォーマンスへの影響はどれか。

`withColumn`の多用は内部的な論理プランを複雑化させるため、`select`内で一度に式を記述する方がパフォ…

2026年3月8日

Delta Live Tablesで、意図的に「Full Refresh（完全更新）」をトリガーする方法はどれか。

DLTは通常増分処理を行うが、ロジック変更などで全データを再計算したい場合は、チェックポイントをクリア…

2026年3月8日

Structured Streamingにおいて、ソースデータが利用可能になるまで無期限に待機せず、空のマイクロバッチを作成しないためのトリガー設定はどれか。

（注：文脈によるが）ProcessingTime指定でデータがない場合でも空バッチが走るのを防ぐには、ロジック側…

2026年3月8日

Unity Catalogの「Privilege Inheritance（権限継承）」の仕組みとして正しいものはどれか。

Unity Catalogでは、カタログに対する権限は配下のスキーマに、スキーマに対する権限は配下のテーブルやビ…

2026年3月8日

「Photon」エンジンがサポートしていないデータ型や機能が含まれるクエリを実行した場合の挙動はどれか。

Photonは互換性を重視しており、サポートしていない演算子やデータ型に遭遇した場合は、シームレスに従来…

2026年3月8日

Deltaテーブルのプロパティ `delta.appendOnly=true` を設定する目的はどれか。

この設定を有効にすると、DELETEやUPDATE操作がブロックされ、追記（Append）のみが許可されるため、厳格…

2026年3月8日

Sparkドライバーでの「OutOfMemoryError: Java heap space」の一般的な原因はどれか。

`collect()`は分散データを全てドライバーのメモリに集める操作であり、データ量がヒープサイズを超えると…

2026年3月8日