HOMELv010 カスタムTransformerを作成しており、`transform`メソッド内で外部の巨大な辞書データを使用してマッピングを行う必要がある。この辞書を各ワーカーに効率的に配布するSparkの機能はどれか。 2026年3月8日 巨大な読み取り専用データ(辞書など)を各ノードにコピーする場合、`spark.sparkContext.broadcast(variable)`を使用することで、通信コストを抑えて効率的に配布できる。 【シナリオ】トレーニング時にはバッチ処理で作成された特徴量を使用し、推論時にはリアルタイムで計算される特徴量(例:セッション中のクリック数)を使用したい。Feature Storeでこれを実現する概念はどれか。 【シナリオ】制限されたネットワーク環境(VPC内)で、外部インターネットへのアクセスがないDatabricksワークスペースを使用している。MLflowでパブリックなリポジトリからライブラリをインストールしようとすると失敗する。モデル提供のために推奨される対処法はどれか。