PyTorchのDataLoaderが`multiprocessing`を使用する場合、Sparkの接続オブジェクトなどを子プロセスにシリアライズ(Pickle)して渡すことができず、エラーになることがある(通常は`num_workers=0`にするか、Petastorm/TorchDistributorの適切な設定が必要)。
PyTorchのDataLoaderが`multiprocessing`を使用する場合、Sparkの接続オブジェクトなどを子プロセスにシリアライズ(Pickle)して渡すことができず、エラーになることがある(通常は`num_workers=0`にするか、Petastorm/TorchDistributorの適切な設定が必要)。