「Lv030」の記事一覧

【シナリオ】`BisectingKMeans` は通常の `KMeans` と比較して、どのような特徴を持つ階層的クラスタリング手法か。

【シナリオ】Workflowsジョブのコスト管理において、ジョブごとの正確なコストを把握するために「Job Tags」や「Cluster Tags」を活用する際、Databricksの請求レポート（Billable Usage Logs）でこれらはどのように表示されるか。

【シナリオ】Feature Storeの特徴量を、Databricks外の推論システム（AWS Lambdaなど）から低レイテンシで取得したい。Feature Storeの「Online Store」としてサポートされている外部データベースはどれか（代表例）。

【シナリオ】Deltaテーブルの `Liquid Clustering`（リキッドクラスタリング）機能は、従来の `Partitioning` + `Z-Ordering` と比較して、どのようなメリットがあるか。

【シナリオ】Hyperoptでの探索が終了した後、MLflowに記録された数百のRunの中から、「パレート最適（精度は高いが推論速度も速い）」なモデル群を選び出したい。どうすればよいか。

【シナリオ】Databricks Model Servingにおいて、カスタムコンテナ（Custom Docker Container）を使用する必要があるのはどのようなケースか。

【シナリオ】Lakehouse Monitoringのダッシュボードで、ある特徴量の「NULL率」が急増したアラートを受け取った。原因を追うと、上流のETLジョブでスキーマ変更があったことが判明した。今後これを防ぐための、MLパイプラインとデータパイプラインの連携手法はどれか。

【シナリオ】AutoMLで時系列予測を行っているが、「コロナ禍」のような異常な期間のデータが学習に含まれており、将来予測が歪んでいる。データ自体を削除せずに、この期間の影響を軽減するAutoML（Prophet等）の機能はどれか。

【シナリオ】PyTorchの `DataLoader` において、`num_workers > 0` を設定すると、Databricks環境では「Shared Memory (limit)」のエラーが出ることがある。これをOSレベルの設定変更なしに解決する一般的な方法はどれか。

【シナリオ】MLflow Model Registryに登録されたモデルをデプロイする際、そのモデルが「どのGitコミットのコードで」「どのデータセットを使って」学習されたかを、デプロイパイプライン内で自動的に検証（Gate Check）したい。どう実装すべきか。