Hyperoptの `SparkTrials` を使用している際、ドライバノードで「Broadcasting large task binary」という警告が出た。これは何を示唆しており、どう対処すべきか。

2026年3月8日

Hyperoptは目的関数（とそれがクロージャとして捕捉している変数）をシリアライズしてワーカーに送るため、巨大なデータフレームなどを不用意に参照しているとタスクサイズが肥大化する。