「Lv029」の記事一覧

【シナリオ】超高次元の疎行列（Sparse Vector）データを扱う分類モデルで、学習は成功するが、推論時に `OutOfMemoryError` が発生する。原因として考えられるモデルの内部構造（Dense化）の問題はどれか。

【シナリオ】Feature Storeの特徴量計算ロジック内で、Window関数を使用した集計（例：過去30日間の平均）を行っている。日次バッチで更新する場合、データ量が増えるにつれて再計算コストが爆発する。これを防ぐためのDelta Live Tables (DLT) との連携機能はどれか。

【シナリオ】Hyperoptの `SparkTrials` を使用しているが、Sparkクラスタのオートスケーリングが頻繁に発生し、逆に効率が悪い。安定した探索を行うためのクラスタ設定の推奨はどれか。

【シナリオ】非常に複雑なDAGを持つWorkflowsジョブがあり、一部のタスクは失敗してもジョブ全体を失敗させず、警告のみで後続に進ませたい。これを実現するタスク設定はどれか。

【シナリオ】複数のストリーミングジョブが同時に同一のDeltaテーブルに書き込みを行っており、`ConcurrentAppendException` が時々発生する。これを回避し、リトライなしで書き込みを成功させるための最適化はどれか。

【シナリオ】Lakehouse Monitoringで、モデルの「予測の確信度（Confidence Score）」が時間の経過とともに低下していることを検知したい。これを監視するための設定はどれか。

【シナリオ】AutoMLが生成したモデル（XGBoost）をベースに開発を進めているが、推論時に特定の特徴量値の組み合わせで予測値が不安定になる（異常値が出る）。モデルの堅牢性（Robustness）を高めるために、生成コードに追加すべき処理はどれか。

【シナリオ】高負荷なServingエンドポイントにおいて、コンテナの起動時間（Cold Start）が遅く、スケールアウト時のレイテンシ悪化が問題になっている。これを改善するためのモデル最適化手法はどれか。

【シナリオ】カスタムTransformerを実装し、Pipeline内で `save` したが、ロード時に `java.lang.ClassNotFoundException` が発生した。Python側だけでなくScala/Java側の実装も必要なのか？

【シナリオ】GPUクラスタ上で、巨大なデータセットに対する推論（Inference）を行う際、GPU使用率が低く、ディスクI/O（読み込み）がボトルネックになっている。`Petastorm` を使用して改善を試みる際、Parquetデータの最適な行グループサイズ（Row Group Size）の考え方はどれか。