大項目6 ディープラーニングの応用例
G検定のモデルの軽量化とエッジAI｜蒸留・プルーニング・量子化
G検定の大項目6「ディープラーニングの応用例」には、中項目「モデルの解釈性・軽量化」があります。軽量化の手法は、何を小さくするのかで分けると、蒸留・プルーニング・量子化・軽量な畳み込みの混同を防げます。
当サイトの出題範囲表で、この中項目のキーワード欄に載る軽量化関連の語はエッジAIです。このページは、エッジAIの解説に加えて、モデルを小さくする代表的な手法の原論文の要旨を読み直し、選択肢で間違えやすい違いだけを取り出しています。
公式情報の確認
試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。 当サイトの一次情報確認日: 2026-10-02。
試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。
結論
- エッジAIは、クラウドと通信せず、近くの装置だけでAIの動作が完結する形。応答の遅れがない
- 蒸留は、複数モデルの知識を展開しやすい1つのモデルへ移す手法
- プルーニングは接続を減らし、量子化は各接続を表すビット数を減らす
- MobileNetsは、深さ方向に分離可能な畳み込みで軽量なネットワークを作る
エッジAIとは：クラウドとの違い
産総研の解説は、エッジAIを、スマホなど身近な電子機器をAIソフトウェアの実行に活用することと説明しています。クラウドと通信せず、近くにある装置だけでAIの動作が完結する点が、クラウドで動くAIとの違いです。
- クラウド上で動くAIは、質問をクラウドに送って返事が返るまでに遅れが生じる。エッジAIにはこの遅れがなく、高速な応答が可能
- エッジ側の機器は使える電力に限りがあるため、専用半導体（NPU）が必要になる
一次資料: 産総研「エッジAIとは？」（2025年1月22日。2026-10-25に確認）
軽量化の手法：何を小さくするか
機器の中でAIを動かすには、モデルを小さくする必要があります。次の4つは、小さくする対象が違います。
| 手法 | 何を小さくするか | 確認した論文 |
|---|---|---|
| 蒸留 | 複数モデルのアンサンブルの知識を、展開しやすい1つのモデルへ移す | Hintonほか（arXiv:1503.02531） |
| プルーニング | 重要な接続だけを学習で残し、不要な接続を減らす | Hanほか『Deep Compression』（arXiv:1510.00149） |
| 量子化 | 各接続を表すビット数を減らす（同論文では32ビットから5ビット） | 同上 |
| 軽量な畳み込み | 深さ方向に分離可能な畳み込みで、軽量なネットワークそのものを作る | Howardほか『MobileNets』（arXiv:1704.04861） |
当サイトの出題範囲表で、中項目「モデルの解釈性・軽量化」のキーワード欄に載る軽量化関連の語はエッジAIです。蒸留は、別の中項目「生成AI・基盤モデル」のキーワードに載っています。プルーニング、量子化、MobileNetsはキーワード欄にありません。 このページは、4つを「モデルを小さくする手法」という同じ観点で、一次資料をもとに並べています。公式シラバスでの置き場所は、公式の本文を取得できなかったため確認できていません。
場面別の選び方
- 複数のモデルを組み合わせた予測が重すぎて配備できない場合は、蒸留で1つのモデルに知識を移す
- 学習済みのネットワークの保存容量を減らしたい場合は、プルーニングで接続を減らし、量子化でビット数を減らす
- スマホや組み込み機器で動かす前提で、最初から軽いモデルを作る場合は、MobileNetsのような軽量な畳み込みを使う
- 通信の遅れをなくし、クラウドを介さず機器の中で完結させたい場合は、エッジAIの形にする
蒸留：複数モデルの知識を1つにまとめる
Hinton、Vinyals、Deanの論文の要旨は、アンサンブル全体で予測するのは扱いにくく、特に個々のモデルが大きなニューラルネットのときは、計算量が大きすぎて多くの利用者への展開に向かないと述べています。アンサンブルの知識を、展開しやすい1つのモデルへ圧縮する方法を発展させたものが蒸留です。
同じ要旨は、商用で多用されている音響モデルを、複数モデルの知識を単一モデルへ蒸留することで大きく改善できたとも述べています。ファインチューニングとの使い分けは蒸留とファインチューニングの比較で確認できます。
一次資料: Hinton, Vinyals, Dean「Distilling the Knowledge in a Neural Network」（arXiv:1503.02531。2026-10-25に確認）
プルーニングと量子化：Deep Compressionの3段階
Han、Mao、Dallyの論文は、プルーニング、学習済み量子化、ハフマン符号化の3段階で、ニューラルネットワークの保存容量を精度を損なわず35倍から49倍に減らしたと述べています。プルーニングは重要な接続だけを残し、量子化は各接続を表すビット数を32から5に減らします。
| モデル（ImageNet） | 圧縮前 | 圧縮後 | 倍率 |
|---|---|---|---|
| AlexNet | 240MB | 6.9MB | 35倍 |
| VGG-16 | 552MB | 11.3MB | 49倍 |
ビット数を減らすと、モデルをオンチップのSRAMキャッシュに収められるようになる、と同論文は説明しています。AlexNetとVGGの構造はVGGとResNetの違いで確認できます。
一次資料: Han, Mao, Dally「Deep Compression」（arXiv:1510.00149。2026-10-25に確認）
MobileNets：軽いネットワークを最初から作る
MobileNetsの論文は、モバイル・組み込み向けの画像認識モデルとして、深さ方向に分離可能な畳み込み（depth-wise separable convolutions）で軽量なディープニューラルネットワークを作ると述べています。学習済みのモデルを小さくする蒸留・プルーニング・量子化と違い、構造そのものを軽くする方法です。
さらに、遅延と精度のトレードオフを調整する2つの単純なグローバルハイパーパラメータを導入したと述べています。畳み込みの基本は畳み込みとプーリングの整理にあります。
一次資料: Howardほか「MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications」（arXiv:1704.04861。2026-10-25に確認）
選択肢の読み方
一次資料の記載から、選択肢を次のように読みます。
- 「エッジAIは、データをクラウドに送って処理する」は、クラウドと通信せず近くの装置で完結するという説明と合わない
- 「蒸留は、重要でない接続を取り除く手法」は、複数モデルの知識を1つに移すという説明と合わない。接続を減らすのはプルーニング
- 「量子化は、ネットワークの層の数を減らす」は、各接続を表すビット数を減らすという説明と合わない
- 「MobileNetsは、学習済みモデルのビット数を減らす手法」は、軽量な畳み込みで構造そのものを作るという説明と合わない
ここで挙げた読み方は、一次資料の記載から導いたこのページの整理で、出題を予想するものではありません。同じ中項目にある解釈性の手法は解釈性とXAIにまとめています。
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
よくある質問
G検定の軽量化は、どの手法まで覚える必要がありますか？
当サイトの出題範囲表では、エッジAIが「モデルの解釈性・軽量化」、蒸留が「生成AI・基盤モデル」のキーワードに載っています。プルーニング、量子化、MobileNetsはキーワード欄にありません。出題されるかは示されていないため、各手法が何を小さくするのかという違いの理解にとどめて読んでください。
蒸留とプルーニングは何が違いますか？
蒸留は、複数モデルの知識を展開しやすい1つのモデルへ移す手法です。プルーニングは、1つのネットワークから重要でない接続を減らす手法です。前者はモデルの数を、後者は接続の数を小さくします。
量子化は何を減らしますか？
各接続を表すビット数を減らします。Deep Compressionでは、32ビットから5ビットに減らしたと報告されています。
エッジAIとクラウドのAIは何が違いますか？
エッジAIは、インターネットでつながったクラウドと通信せず、近くにある装置だけでAIの動作が完結します。クラウドで動くAIは、質問を送って返事が返るまでに遅れが生じますが、エッジAIにはその遅れがありません。
エッジAIでは、なぜ軽量化が必要ですか？
産総研の解説は、クラウドで実行するAIは時にパラメータが1兆を超えるほど大きく、そのままではエッジ側で実行できないと述べています。エッジ側は使える電力に限りがあり、専用半導体（NPU）が必要になります。同解説は、計算に使う数字の精度を落とす方法として、クラウド側の32ビットや16ビットに対し、エッジ側では8ビット、極端な場合は1ビットまで減らす提案を挙げています。ビット数を減らすほどNPUの電力が減り、速度が高まるためです。