「Databricks Certified Machine Learning Professional」の記事一覧

【シナリオ】Lakehouse Monitoringのダッシュボードで、ある特徴量の「NULL率」が急増したアラートを受け取った。原因を追うと、上流のETLジョブでスキーマ変更があったことが判明した。今後これを防ぐための、MLパイプラインとデータパイプラインの連携手法はどれか。

【シナリオ】PyTorchの `DataLoader` において、`num_workers > 0` を設定すると、Databricks環境では「Shared Memory (limit)」のエラーが出ることがある。これをOSレベルの設定変更なしに解決する一般的な方法はどれか。

【シナリオ】AutoMLで時系列予測を行っているが、「コロナ禍」のような異常な期間のデータが学習に含まれており、将来予測が歪んでいる。データ自体を削除せずに、この期間の影響を軽減するAutoML（Prophet等）の機能はどれか。

【シナリオ】超高次元の疎行列（Sparse Vector）データを扱う分類モデルで、学習は成功するが、推論時に `OutOfMemoryError` が発生する。原因として考えられるモデルの内部構造（Dense化）の問題はどれか。

【シナリオ】MLflow Model Registryに登録されたモデルをデプロイする際、そのモデルが「どのGitコミットのコードで」「どのデータセットを使って」学習されたかを、デプロイパイプライン内で自動的に検証（Gate Check）したい。どう実装すべきか。

【シナリオ】Feature Storeの特徴量計算ロジック内で、Window関数を使用した集計（例：過去30日間の平均）を行っている。日次バッチで更新する場合、データ量が増えるにつれて再計算コストが爆発する。これを防ぐためのDelta Live Tables (DLT) との連携機能はどれか。

【シナリオ】Hyperoptの `SparkTrials` を使用しているが、Sparkクラスタのオートスケーリングが頻繁に発生し、逆に効率が悪い。安定した探索を行うためのクラスタ設定の推奨はどれか。

【シナリオ】非常に複雑なDAGを持つWorkflowsジョブがあり、一部のタスクは失敗してもジョブ全体を失敗させず、警告のみで後続に進ませたい。これを実現するタスク設定はどれか。

【シナリオ】Lakehouse Monitoringで、モデルの「予測の確信度（Confidence Score）」が時間の経過とともに低下していることを検知したい。これを監視するための設定はどれか。

【シナリオ】複数のストリーミングジョブが同時に同一のDeltaテーブルに書き込みを行っており、`ConcurrentAppendException` が時々発生する。これを回避し、リトライなしで書き込みを成功させるための最適化はどれか。