HOME
Lv016

「Lv016」の記事一覧

Structured Streamingにおいて、メモリ使用量が無制限に増加する「ステート爆発（State Explosion）」を防ぐために必須の設定はどれか。

Watermarkを設定しないと、エンジンは「遅れたデータがいつか来るかもしれない」と判断し、古いステートを…

2026年3月8日

「Spark UI」のSQLタブで、ノードの色が「赤色」で表示されている場合、何を示唆しているか。

特定のオペレータやステージが赤く表示される場合、そこが処理のボトルネックになっているか、データの偏…

2026年3月8日

Delta Lakeの `OPTIMIZE` コマンドが実行された際、統計情報（Statistics）はどうなるか。

`OPTIMIZE` によるファイルコンパクション時には、新しいデータファイルの統計情報（Min/Maxなど）が自動…

2026年3月8日

Auto Loaderを使用してデータを読み取る際、ソースデータの形式を指定するためのオプションはどれか。

cloudFiles.formatオプションでjsonやcsv、parquetなどのソース形式を指定します。

2026年3月8日

Unity Catalogにおいて、管理者がユーザーではなく「サービスプリンシパル」に権限を付与する主な理由はどれか。

サービスプリンシパルを使用することで、個人の資格情報に依存しないセキュアな自動化が可能になります。

2026年3月8日

DLTでデータ品質ルールに違反した際に、パイプラインの実行自体を停止させる制約（Expectation）の記述はどれか。

ON VIOLATION FAIL UPDATEを指定すると、制約違反が発生した時点でパイプラインの更新が失敗します。

2026年3月8日

SQLウェアハウスで実行された長時間のクエリを中断するために必要な権限はどれか。

CAN MANAGE権限を持つユーザーは、実行中のクエリのキャンセルやウェアハウスの再起動が可能です。

2026年3月8日

シルバー層で実施される「データクレンジング」の代表的な処理はどれか。

シルバー層ではデータの品質を向上させるためにNULL値の処理やデータ型の修正が行われます。

2026年3月8日

ストリーミングクエリのチェックポイントディレクトリに含まれている、処理済みのソースオフセットを記録するファイルはどれか。

offsetsディレクトリには、各マイクロバッチで読み取られたソースのオフセット位置が記録されます。

2026年3月8日

複数の列を1つのMap型（キーと値のペア）にまとめるために使用する関数はどれか。

create_map関数は指定された複数の列を交互にキーと値としてMap形式に変換します。

2026年3月8日