HOMELv013 自然言語処理において、文章を単語や文字などの最小単位に分割する処理を何と呼ぶか。 2026年3月11日 トークン化は、テキストデータを機械学習モデルが処理できる単位（トークン）に分解する最初のステップである。 MindSporeにおいて、演算子（Operator）を定義する際に、自動微分を無効にして定数として扱いたい場合に使用するデコレータまたは機能はどれか。 CANNのTBE（Tensor Boost Engine）を使用してカスタム演算子を開発する際、DSL（Domain Specific Language）とかみ合わせて使用されるスケジューリング機能はどれか。
