AI資格ドリル
資格を選ぶ↓

ディープラーニングの応用例

G検定の説明可能AI（XAI）5手法の違い

G検定の大項目6「ディープラーニングの応用例」の33.モデルの解釈性には、CAM、Grad-CAM、LIME、Permutation Importance、SHAP、説明可能AI（XAI）がキーワードとして載っています。5つの手法は、何を対象に何を計算するかで区別できます。

このページは、各手法の原論文とscikit-learn公式文書の記述をもとに、画像の注目領域を示す手法、1件の予測を説明する手法、特徴量の重要度をスコアの悪化で測る手法を整理しています。

公式情報の確認

試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。 当サイトの一次情報確認日: 2026-10-02。

試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。

結論

  1. 説明可能AI（XAI）は、機械学習モデルの予測根拠を説明するための技術・研究分野
  2. CAMは、全体平均プーリング（GAP）を持つ構成で、識別に使われた画像領域を示す
  3. Grad-CAMは、勾配を使い、構造の変更や再学習なしで重要な画像領域を示す
  4. LIMEは、予測の周辺で解釈可能なモデルを局所的に学習して説明する
  5. SHAPは、各特徴量に重要度の値を割り当てる。値はシャープレイ値に基づく
  6. Permutation Importanceは、特徴量をシャッフルしたときのスコアの悪化を見る

なぜ説明が必要か

総務省の令和元年版情報通信白書は、深層学習では、AIがどのような根拠により判断を行ったかを人間が理解することが難しいという点も指摘されていると述べます。 J-STAGEの解説『XAI技術の研究動向』も、深層学習モデルなどは人がその動作の全容を把握するのが困難で、実質的なブラックボックスになっていると述べています。

そのため、機械学習モデルの予測根拠を説明する説明可能AI（XAI）の研究が進みました。同じ解説は、XAI技術を、既存の機械学習モデルを説明するブラックボックス型と、学習過程や構造が人にとって解釈可能なトランスペアレント型に大別しています。 このページのLIME・SHAP・Permutation Importanceは、学習済みのモデルを後から説明する手法です（CAMは特定の構成を前提にします）。

一次資料: 総務省 令和元年版情報通信白書、J-STAGE『XAI(eXplainable AI)技術の研究動向』

5つの手法の比較

各手法の原論文とscikit-learn公式文書の記述を、対象と計算の中身で並べると次のとおりです。

手法主な対象何をするか補足
CAM画像分類のCNN出力層の重みを畳み込み特徴マップへ射影し直し、識別に使われた画像領域を示す最終出力層の直前で全体平均プーリング（GAP）を行う構成を前提とする
Grad-CAMCNN系のモデル目的の概念に対する勾配が最終畳み込み層へ流れ込む量から、重要な画像領域を強調する粗い位置特定マップを作る構造の変更や再学習なしで適用でき、論文はCAMの一般化と位置づける
LIMEあらゆる分類器予測の周辺で、解釈可能なモデルを局所的に学習して説明する元のモデルをブラックボックスとして扱う（model-agnostic）
SHAP個々の予測各特徴量に、その予測に対する重要度の値を割り当てるSHAP値は、条件付き期待値関数のシャープレイ値
Permutation Importance表形式データの学習済みモデル1つの特徴量の値をランダムにシャッフルし、モデルのスコアの悪化を見る特徴量と目的変数の関係を壊し、モデルがその特徴量にどれだけ依存するかを調べる

まず対象で分けます。画像の注目領域はCAMとGrad-CAM、1件の予測の理由はLIMEとSHAP、特徴量の依存度はPermutation Importanceです。

CAMとGrad-CAM

CAM（Class Activation Mapping）の論文は、最終出力層の直前で畳み込み特徴マップに全体平均プーリング（GAP）を行い、その特徴を全結合層へ入力する構成を使います。 出力層の重みを畳み込み特徴マップへ射影し直すと、そのカテゴリを識別するために使われた画像領域が分かります。

Grad-CAMの論文は、目的とする概念に対する勾配が最終畳み込み層へ流れ込む量を使い、その概念を予測するうえで重要な領域を強調する粗い位置特定マップを作ると述べます。 全結合層を持つCNN（VGGなど）にも、構造の変更や再学習なしで適用でき、CAMの一般化と位置づけられています。

CAMは構造に制約があり、Grad-CAMは勾配を使うことでその制約を外した、と順に覚えます。

一次資料: Zhou et al. (2015) Learning Deep Features for Discriminative Localization, arXiv:1512.04150 / Selvaraju et al. Grad-CAM, arXiv:1610.02391

LIMEとSHAP

LIMEの論文は、あらゆる分類器の予測を、その予測の周辺で解釈可能なモデルを局所的に学習することで、解釈可能かつ忠実に説明する手法として提案します。 説明器は任意のモデルを説明でき、元のモデルをブラックボックスとして扱う（model-agnostic）べきだと述べ、説明には少なくとも局所的な忠実性が必要だとしています。

SHAP（SHapley Additive exPlanations）の論文は、特定の予測に対して、各特徴量に重要度の値を割り当てる枠組みを提案します。 SHAP値は、元のモデルの条件付き期待値関数のシャープレイ値（協力ゲーム理論に由来する値）です。

LIMEは「周辺で作る簡単なモデル」、SHAPは「特徴量ごとのシャープレイ値」と、説明の作り方で区別します。2つだけを並べて確認したいときはLIMEとSHAPの違いのページで確認できます。

一次資料: Ribeiro et al. (2016) "Why Should I Trust You?", arXiv:1602.04938 / Lundberg & Lee (2017) A Unified Approach to Interpreting Model Predictions, arXiv:1705.07874

Permutation Importance

scikit-learn公式文書は、Permutation feature importanceを、表形式データ上で学習済みモデルの統計的性能への各特徴量の寄与を測る検査手法と説明します。 非線形または不透明な推定器に特に有用で、1つの特徴量の値をランダムにシャッフルし、モデルのスコアの悪化を観察します。

特徴量と目的変数の関係を壊すことで、モデルがその特徴量にどれだけ依存しているかを調べる手法です。画像の注目領域や1件の予測の理由ではなく、特徴量ごとの依存度をスコアの低下で測る点が、他の4つとの違いです。

一次資料: scikit-learn公式ドキュメント Permutation feature importance

シラバスのどこに出るか

JDLA公式シラバス（G2024#6）では、関連語は次の大項目に載っています。

場所内容
大項目6「ディープラーニングの応用例」の33.モデルの解釈性キーワード欄は、CAM、Grad-CAM、LIME、Permutation Importance、SHAP、説明可能AI（XAI）
大項目7「AIの社会実装に向けて」AIのガバナンスや倫理の文脈でも、透明性・説明可能性が別の観点として登場する

個々の用語はGrad-CAM、LIME、SHAPの用語解説で確認できます。10大項目全体の位置づけは出題範囲の整理にまとめています。

選択肢の読み方

原論文の記載から、選択肢を次のように読みます。

  • 「全体平均プーリングを前提に、出力層の重みから注目領域を示す」は、CAMの説明
  • 「勾配を使い、構造の変更や再学習なしで重要な画像領域を示す」は、Grad-CAMの説明
  • 「予測の周辺で解釈可能なモデルを局所的に学習する」は、LIMEの説明
  • 「各特徴量に重要度の値を割り当て、シャープレイ値に基づく」は、SHAPの説明
  • 「特徴量の値をシャッフルしてスコアの悪化を見る」は、Permutation Importanceの説明

ここで挙げた読み方は、一次資料の記載から導いたこのページの整理で、出題を予想するものではありません。

G検定の学習に使う書籍（Amazon）

試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。

PR
深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第3版 の表紙深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第3版試験を実施する日本ディープラーニング協会が監修した公式テキストです。Amazonで見る

ほかの資格を含む参考書・問題集の一覧を見る

よくある質問

CAMとGrad-CAMの違いは何ですか？

CAMは、最終出力層の直前で全体平均プーリング（GAP）を行う構成を前提に、出力層の重みを使って注目領域を示します。Grad-CAMは勾配を使うので、全結合層を持つCNNでも、構造の変更や再学習なしで適用できます。

LIMEとSHAPは、どちらも1件の予測を説明する手法ですか？

どちらも特定の予測を説明する手法です。LIMEは予測の周辺で解釈可能なモデルを局所的に学習し、SHAPは各特徴量に重要度の値を割り当てます。割り当てる値の定義が、SHAPはシャープレイ値に基づく点で異なります。

Permutation Importanceは、なぜ「シャッフル」するのですか？

特徴量の値をランダムに入れ替えると、その特徴量と目的変数の関係が壊れます。そのときモデルのスコアがどれだけ悪化するかで、モデルがその特徴量にどれだけ依存しているかが分かります。

説明可能AI（XAI）は、どのようなものを指しますか？

機械学習モデルの予測根拠を説明するための技術・研究分野です。J-STAGEの解説は、既存のモデルを説明するブラックボックス型と、構造が人にとって解釈可能なトランスペアレント型に大別されると述べています。

5つの手法は、すべて覚える必要がありますか？

シラバスのキーワード欄には5つの手法と説明可能AIが並んでいます。何を対象にして（画像か、1件の予測か、データ全体か）、何を計算するかの2点で区別すると、選択肢を読み分けやすくなります。

次に読むと効率的なページ

CNNの畳み込みとプーリング物体検出とセグメンテーション説明可能AIの用語解説章別に演習する（560問）
シェア:XでシェアLINEでシェア

執筆: ミナト編集部（運営者情報を見る）