PySparkのUDF内で、大きな辞書データなどを参照する際に、単なるグローバル変数として定義するのではなく `Broadcast Variable` を使うべき理由はどれか。

ブロードキャストしない場合、変数はタスク（スレッド）ごとにシリアライズされて送られる可能性があり、ネットワーク転送量とメモリ消費が激増する。

関連記事

関連記事はありません。