カスタムオブジェクトで、1つのレコードが関連付けられる「ファイル（ContentDocument）」の数に制限はあるか。

オブジェクト単位の制限ではなく、組織全体のContentDocument数やContentVersion数の制限（ガバナ制限）が適用されます。