S3バケットの「ブロックパブリックアクセス」設定にある「新しいパブリックACLおよびアップロードされたオブジェクトのパブリックアクセスをブロックする」オプションを有効にするとどうなりますか。

BPAでS3の誤公開をアカウントで防止