G検定 用語解説
Permutation Importanceとは
学習済みモデルの性能への各特徴量の寄与を測る検査手法。1つの特徴量の値をランダムにシャッフルして特徴量と目的変数の関係を壊し、モデルのスコアがどれだけ悪化するかでその特徴量への依存度を調べる。表形式データで、非線形や不透明なモデルに特に有用とされる。
まず押さえる結論
Permutation Importanceは、G検定の「大項目6 ディープラーニングの応用例」で確認しておきたい用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。
情報源と編集区分
公式範囲を確認し、具体例・誤答例・判断手順は当サイトが編集。 一次情報確認日: 2026-07-03。
試験概要（公式）具体例から判断の境界を固める
Permutation Importanceを、役割と隣接概念の境界から捉える
学習済みモデルの性能への各特徴量の寄与を測る検査手法。1つの特徴量の値をランダムにシャッフルして特徴量と目的変数の関係を壊し、モデルのスコアがどれだけ悪化するかでその特徴量への依存度を調べる。表形式データで、非線形や不透明なモデルに特に有用とされる。 試験では名称だけでなく、処理の対象、目的、使う段階を別概念と入れ替えた選択肢が出るため、定義の主語と動作を分けて確認します。
- 問題文で見る箇所
- 1つの特徴量の値をランダムにシャッフルし、学習済みモデルのスコアがどれだけ悪化するかで特徴量への依存度を測る手法かを確認します。
- 隣接概念との境界
- Permutation Importanceは特徴量をシャッフルしたときのモデル性能の悪化で寄与を測ります。SHAPはシャープレイ値に基づいて特定の予測への各特徴量の寄与を割り当て、LIMEは予測の周辺で解釈しやすいモデルを局所的に学習します。
誤答しやすい選択肢
- 個別の予測に対する寄与をシャープレイ値で割り当てる手法としてPermutation Importanceを選ぶ。定義の主語と処理対象を確認します。
- Permutation Importanceの目的だけを見て、同じ目的を持つ別手法まで同じ用語とする。具体的な処理を比較します。
- Permutation Importanceを使えば目的が必ず達成されると断定する。適用条件や評価を別に確認します。
4段階の判断手順
- 01問題文が状態、手法、評価指標、制度のどれを説明しているか決める。
- 02定義の中心となる対象と動作がPermutation Importanceに一致するか確認する。
- 03隣接概念と共通する目的ではなく、処理や条件の違いを見る。
- 04必ず・完全に・だけでよいという過度な断定がないか見直す。
到達条件: Permutation Importanceを一文で説明し、最も混同しやすい隣接概念との違いを処理または条件から言える。
試験での問われ方
定義の言い換え
用語そのものではなく、説明文の一部を言い換えて出されることがあります。
似た概念との比較
同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。
具体例からの判断
問題文の事例が、定義のどの部分に対応しているかを先に確認します。
誤答しやすいポイント
×物体検出（R-CNN系/YOLO/SSD）とセグメンテーション（セマンティック＝画素単位の塗り分け、インスタンス＝個体ごとに区別）の混同。
×word2vec・BERT・GPTの違い（BERT＝前後両方向、GPT＝一方向・自己回帰）。
×強化学習の応用（DQN、AlphaGo）と画像/言語タスクの取り違え。
関連する確認問題
大項目6 ディープラーニングの応用例 / モデルの解釈性・軽量化
学習済みモデルと表形式のデータを使い、特徴量を1つずつ選んでその値をランダムにシャッフルし、モデルのスコアがどれだけ悪化するかを見て、モデルがその特徴量にどれだけ依存しているかを調べる手法はどれか。
正解はPermutation Importance。scikit-learn公式ドキュメントは、Permutation feature importanceを、表形式データ上で学習済みモデルの統計的性能への各特徴量の寄与を測る検査手法とし、非線形または不透明な推定器に特に有用で、1つの特徴量の値をランダムにシャッフルしてモデルのスコアの悪化を観察する手法だと説明している。特徴量と目的変数の関係を壊すことで、モデルがその特徴量にどれだけ依存しているかが分かる。Breimanのランダムフォレストの論文にも、out-of-bagデータ内のm番目の変数の値をランダムに並べ替えて誤分類率の増加を見る手順が示されている。CAMとGrad-CAMは画像のCNNで重要領域を示す手法、SHAPはシャープレイ値に基づいて特徴量ごとの寄与を割り当てる手法である。
大項目6 ディープラーニングの応用例 / モデルの解釈性・軽量化
CAMとGrad-CAMの違いを説明したものとして、最も適切なものはどれか。
正解は、CAMは全体平均プーリングを含む構成を前提に出力層の重みを使い、Grad-CAMは勾配を使うためCAMの一般化として全結合層を持つCNNにも構造変更や再学習なしで適用できる、という説明。Zhouらは、最終出力層の直前に全体平均プーリングを置く構成で、出力層の重みを畳み込み特徴マップへ射影し直す手法をCAMと呼んだ。Selvarajuらは、目的の概念に対する勾配が最終畳み込み層へ流れ込む量を使い、VGGのように全結合層を持つCNNなど幅広いモデルに構造変更や再学習なしで適用できるGrad-CAMを提案し、CAMの一般化と位置づけている。他の選択肢が挙げるシャッフル、局所モデルの学習、シャープレイ値は、それぞれPermutation Importance、LIME、SHAPの説明である。
大項目6 ディープラーニングの応用例 / モデルの解釈性・軽量化
全結合層を持つ学習済みのCNN（VGGなど）が「犬」と判定した根拠を、モデルの構造変更や再学習をせずに画像上で示したい。目的のクラスに対する勾配が最終畳み込み層へ流れ込む量を使って、重要な領域を粗い位置特定マップとして示す手法はどれか。
正解はGrad-CAM（Gradient-weighted Class Activation Mapping）。Selvarajuらの論文は、目的とする概念に対する勾配が最終畳み込み層へ流れ込む量を使い、その概念を予測するうえで重要な画像領域を強調する粗い位置特定マップを作る手法だと述べている。全結合層を持つCNN（VGGなど）にも、構造の変更や再学習なしで適用できるとされる。CAMは全体平均プーリングを含む構成を前提とするため、VGGのように全結合層を持つ既存のモデルをそのまま説明する用途には当てはめにくい。LIMEは予測の周辺で解釈しやすいモデルを学習する手法、Permutation Importanceは特徴量の値をシャッフルして性能の悪化を見る手法で、勾配や最終畳み込み層の情報は使わない。
同じ章で確認したい用語
到達チェック
- Permutation Importanceを一文で説明できる
- 同じ章の似た用語と違いを説明できる
- 問題文の具体例から、Permutation Importanceに関係する論点を拾える
- 関連問題を解き、誤答した選択肢の理由を確認できる
執筆: ミナト編集部（運営者情報を見る）