HOME
Databricks Certified Data Engineer Professional

「Databricks Certified Data Engineer Professional」の記事一覧

Databricksの「System Tables」で、特定のテーブルへのアクセス履歴（誰がいつクエリしたか）を確認できるテーブルはどれか。

（注：名称はプレビュー状況により異なる場合があるが）監査ログ系のシステムテーブル（audit logs）に、Q…

2026年3月8日

Databricks Certified Data Engineer Professional認定試験において、実技試験（コーディング）はあるか。

Professional認定は、現在はコンピュータベースの選択式テスト（約60問/120分）であり、実際にコードを書…

2026年3月8日

「Silver」層のテーブルにおいて、重複排除（Deduplication）を行う際に使用するSpark関数はどれか。

`dropDuplicates(['key_col'])` を使用することで、指定したキーに基づいて重複行を削除し、ユニークなレ…

2026年3月8日

PySparkの `cache()` メソッドを呼び出した後、実際にデータがキャッシュされるタイミングはいつか。

Sparkの変換操作は遅延評価（Lazy Evaluation）されるため、アクションがトリガーされて初めて計算が走り…

2026年3月8日

Unity Catalogで「SCIM Provisioning」を使用する主な目的はどれか。

SCIMを使用することで、企業の中央ID管理システムでのユーザー追加・削除が自動的にDatabricksアカウント…

2026年3月8日

Databricks Jobsで、Gitリポジトリ上の「特定のタグ（Release v1.0など）」を指定して実行することは可能か。

Git連携機能では、不変性を担保するために特定のタグやコミットハッシュを指定してジョブを実行することが…

2026年3月8日

「Cartesian Product（直積）」が発生し、クエリが著しく遅延している警告が出た場合の対処法はどれか。

意図しない直積（全行×全行の組み合わせ）は、通常JOIN条件の記述ミスで発生するため、まずはロジックを見…

2026年3月8日

DLT (Delta Live Tables) パイプラインで、機密データを誤ってログに出力しないために注意すべき点はどれか。

データ品質制約（Expectation）の違反メッセージなどはログに記録されるため、そこに個人情報などの具体的…

2026年3月8日

Delta Lakeの `VACUUM` コマンドを実行しても、ディスク容量が即座に解放されない場合の原因として考えられるものはどれか。

`VACUUM` をデフォルトで実行すると、実際には削除せずに対象ファイルを表示するだけのDRY RUNになること…

2026年3月8日

Structured Streamingで、Kafkaからの読み込みオフセットを「リセット」して最初から再処理したい場合の正しい手順はどれか。

ストリーミングの状態（どこまで読んだか）はチェックポイントに保存されているため、これを削除すること…

2026年3月8日