【シナリオ】カスタムTransformerを実装し、Pipeline内で `save` したが、ロード時に `java.lang.ClassNotFoundException` が発生した。Python側だけでなくScala/Java側の実装も必要なのか？

2026年3月8日

Spark MLlibのパイプライン永続化はJVM側で行われるため、純粋なPythonロジック（Pickle依存）でないカスタムTransformerを標準的な `save/load` で扱うには、対応するScalaクラスの実装と登録が必要になる高度なケースがある。

【シナリオ】企業全体のMLflow Tracking Serverを中央集権化（Centralized）しており、数千人のユーザーがいる。特定の機密プロジェクトの実験記録だけは、他のプロジェクトのメンバーから完全に見えないようにしたい。どう構成すべきか。

【シナリオ】GPUクラスタ上で、巨大なデータセットに対する推論（Inference）を行う際、GPU使用率が低く、ディスクI/O（読み込み）がボトルネックになっている。`Petastorm` を使用して改善を試みる際、Parquetデータの最適な行グループサイズ（Row Group Size）の考え方はどれか。