レイヤー間の衝突判定の有無を設定する場所はどこか。

Project Settings > Physics の Collision Matrix（Layer Collision Matrix）で設定する。