HOME
Lv021

「Lv021」の記事一覧

自動微分における「フォワードモード」が「リバースモード」に比べて非効率になるのはどのような場合か。

入力数分だけ計算を繰り返す必要があるため、入力が多いディープラーニングではリバースモードが使われる。

2026年4月3日

知識蒸留において、教師モデルが出力する「ソフトターゲット」とは何か。

温度パラメータ T を用いて分布を滑らかにしたもので、各クラスの相関情報を含む。

2026年4月3日

次元圧縮手法のISOMAPにおいて、データ間の距離として用いられるものはどれか。

近傍グラフを作成し、その上の最短経路を距離と見なして低次元化する。

2026年4月3日

SPP-net (Spatial Pyramid Pooling) が解決した、従来のCNNの制約はどれか。

任意のサイズのマップを固定長のベクトルに変換し、全結合層へ繋げることを可能にした。

2026年4月3日

不均衡データ対策の「SMOTE」とはどのような手法か。

特徴空間上で近接するデータ間に新たな点を生成し、多様性を保ちつつ増やす。

2026年4月3日

Diffusion Modelの逆過程において、ノイズから画像を生成する際に推定する対象はどれか。

各ステップで混入しているノイズをUNet等で推定し、それを取り除くことで画像を復元する。

2026年4月3日

重みの初期化手法である「Heの初期値」において、分散を算出する際に用いられる係数はどれか。

ReLUでの信号減衰を考慮し、Xavier（1/n）の2倍の分散を与える。

2026年4月3日

確率変数 X が自由度 ν の χ^2 分布に従うとき、その期待値 E[X] はいくらか。

カイ二乗分布の期待値は自由度そのものに等しい。

2026年4月3日

Transformerの「Multi-head Attention」を用いる主な理由はどれか。

アテンションを並列化することで、多様な関係性を同時に学習できる。

2026年4月3日

行列 A がべき零行列（A^k = 0となる正の整数kが存在）であるとき、その固有値はすべていくつか。

べき零行列の固有値はすべて0である性質を持つ。

2026年4月3日