G検定 用語解説
蒸留とは
規模が大きく精度の高い教師モデルの出力を模倣するように、より小さな生徒モデルを学習させる手法。教師モデルが持つ知識を軽量なモデルへ転移させることで、精度を保ちながら計算量や推論コストを抑えられる（知識蒸留とも呼ぶ）。
まず押さえる結論
蒸留は、G検定の「大項目6 ディープラーニングの応用例」で確認しておきたい用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。
情報源と編集区分
公式範囲を確認し、具体例・誤答例・判断手順は当サイトが編集。 一次情報確認日: 2026-07-03。
試験概要（公式）試験での問われ方
定義の言い換え
用語そのものではなく、説明文の一部を言い換えて出されることがあります。
似た概念との比較
同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。
具体例からの判断
問題文の事例が、定義のどの部分に対応しているかを先に確認します。
誤答しやすいポイント
×物体検出（R-CNN系/YOLO/SSD）とセグメンテーション（セマンティック＝画素単位の塗り分け、インスタンス＝個体ごとに区別）の混同。
×word2vec・BERT・GPTの違い（BERT＝前後両方向、GPT＝一方向・自己回帰）。
×強化学習の応用（DQN、AlphaGo）と画像/言語タスクの取り違え。
関連する確認問題
大項目6 ディープラーニングの応用例 / 生成AI・基盤モデル
学習済みの大きなモデル（教師）の出力を、より小さなモデル（生徒）に模倣させて学習させることで、精度をできるだけ保ちながらモデルを軽量化する手法はどれか。
正解は「蒸留」である。蒸留は教師となる大きなモデルの出力を生徒となる小さなモデルに学習させ、精度を保ちつつ軽量化する手法（distillation）である。転移学習は学習済みモデルを別タスクに再利用する枠組み、ファインチューニングは学習済みモデルの重みを新タスク向けに微調整する手法、データ拡張は学習データを水増しする手法であり、いずれもモデルの小型化を目的とした教師生徒の枠組みではない。設問は「教師モデルの出力を生徒モデルに模倣させて軽量化する」という枠組みを問うており、これに該当するのは蒸留だけである。
大項目6 ディープラーニングの応用例 / 生成AI・基盤モデル
大きな教師モデルの出力や知識を使って、小さなモデルを学習させるモデル圧縮の考え方はどれか。
正解は「蒸留（distillation）」である。蒸留は、大きな教師モデルの出力や知識を利用して、より小さなモデルを学習させるモデル圧縮の考え方である。転移学習は別タスクの知識を活用する考え方、ファインチューニングは学習済みモデルを追加学習で調整する方法、ミニバッチ学習は小分けのデータで更新する方法である。 再利用するものと目的を分ける。転移学習は別タスクへの知識移転、ファインチューニングは学習済みモデル自体の追加調整、ミニバッチは更新時のデータ分割である。教師モデルの予測を教師信号にして小型モデルへ知識を写すのは蒸留である。
同じ章で確認したい用語
到達チェック
- 蒸留を一文で説明できる
- 同じ章の似た用語と違いを説明できる
- 問題文の具体例から、蒸留に関係する論点を拾える
- 関連問題を解き、誤答した選択肢の理由を確認できる
執筆: ミナト編集部（運営者情報を見る）