文を単語やサブワード、文字などの最小単位に分割する工程を何と呼ぶか。

トークナイゼーションは自然言語処理における最初期の前処理ステップである。

関連記事

関連記事はありません。