HOMELv029 【シナリオ】Hyperoptの `SparkTrials` を使用しているが、Sparkクラスタのオートスケーリングが頻繁に発生し、逆に効率が悪い。安定した探索を行うためのクラスタ設定の推奨はどれか。 2026年3月8日 反復的な探索タスクでは、ノードの追加・削除に伴うオーバーヘッドやタスクの再スケジューリングを避けるため、必要な並列度(parallelism)に合わせて固定サイズのクラスタを使用する方が安定する場合が多い。 【シナリオ】複数のストリーミングジョブが同時に同一のDeltaテーブルに書き込みを行っており、`ConcurrentAppendException` が時々発生する。これを回避し、リトライなしで書き込みを成功させるための最適化はどれか。 【シナリオ】非常に複雑なDAGを持つWorkflowsジョブがあり、一部のタスクは失敗してもジョブ全体を失敗させず、警告のみで後続に進ませたい。これを実現するタスク設定はどれか。