HOME
Lv020

「Lv020」の記事一覧

大規模なモデル学習中にドライバーノードで「OutOfMemoryError: Java heap space」が発生した。最も疑うべき原因の一つはどれか。

分散処理の結果をドライバーに全件集める`collect()`は、ドライバーのメモリ許容量を超えやすく、OOMの典…

2026年3月8日

Unity Catalog環境でFeature Storeを利用する場合、特定の特徴量テーブルへのアクセス制御はどのように行われるか。

Unity Catalogでは、特徴量テーブルも通常のテーブルと同様に扱われるため、標準的なSQLベースの権限管理…

2026年3月8日

Databricksの「System Tables」で、特定のテーブルへのアクセス履歴（誰がいつクエリしたか）を確認できるテーブルはどれか。

（注：名称はプレビュー状況により異なる場合があるが）監査ログ系のシステムテーブル（audit logs）に、Q…

2026年3月8日

Databricks Certified Data Engineer Professional認定試験において、実技試験（コーディング）はあるか。

Professional認定は、現在はコンピュータベースの選択式テスト（約60問/120分）であり、実際にコードを書…

2026年3月8日

「Silver」層のテーブルにおいて、重複排除（Deduplication）を行う際に使用するSpark関数はどれか。

`dropDuplicates(['key_col'])` を使用することで、指定したキーに基づいて重複行を削除し、ユニークなレ…

2026年3月8日

PySparkの `cache()` メソッドを呼び出した後、実際にデータがキャッシュされるタイミングはいつか。

Sparkの変換操作は遅延評価（Lazy Evaluation）されるため、アクションがトリガーされて初めて計算が走り…

2026年3月8日

Unity Catalogで「SCIM Provisioning」を使用する主な目的はどれか。

SCIMを使用することで、企業の中央ID管理システムでのユーザー追加・削除が自動的にDatabricksアカウント…

2026年3月8日

Databricks Jobsで、Gitリポジトリ上の「特定のタグ（Release v1.0など）」を指定して実行することは可能か。

Git連携機能では、不変性を担保するために特定のタグやコミットハッシュを指定してジョブを実行することが…

2026年3月8日

「Cartesian Product（直積）」が発生し、クエリが著しく遅延している警告が出た場合の対処法はどれか。

意図しない直積（全行×全行の組み合わせ）は、通常JOIN条件の記述ミスで発生するため、まずはロジックを見…

2026年3月8日

DLT (Delta Live Tables) パイプラインで、機密データを誤ってログに出力しないために注意すべき点はどれか。

データ品質制約（Expectation）の違反メッセージなどはログに記録されるため、そこに個人情報などの具体的…

2026年3月8日