AIによる自然言語処理(NLP)において、入力された文章(テキスト)を、意味を持つ最小単位(例:単語、形態素)に分割(区切る)する前処理の工程を何と呼ぶか。

文章を単語などの最小単位(トークン)に分割する。