用語比較
状態価値関数と行動価値関数の違い｜状態だけの価値か、状態と行動の組の価値か（G検定）
強化学習の価値関数には、状態価値関数と行動価値関数があります。状態価値関数は、ある状態から方策に従って進んだときの期待収益です。行動価値関数は、ある状態でまず特定の行動をとり、その後は方策に従ったときの期待収益です。
違いは、価値を測る対象に行動が入るかどうかです。状態だけで決まるなら状態価値、状態と行動の組で決まるなら行動価値と覚えると、選択肢を整理できます。Q学習のQは、この行動価値を指します。
このページは、Sutton・Bartoの教科書『Reinforcement Learning: An Introduction』第2版の3.5節・3.6節をもとに、定義・引数・推定の仕方・最適行動の選びやすさで比べます。数値の例は、説明用の架空の値です。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。
結論
状態価値関数
v_π(s)。状態sから始めて、その後に方策πに従うときの期待収益。引数は状態だけ。
行動価値関数
q_π(s,a)。状態sで行動aをとり、その後に方策πに従うときの期待収益。引数は状態と行動の組。
見分け方
価値が状態だけに付くなら状態価値、状態と行動の組に付くなら行動価値。
違いを表で確認
| 比較軸 | 状態価値関数 | 行動価値関数 |
|---|---|---|
| 何の価値か | 状態価値関数：ある状態にいること自体の価値 | 行動価値関数：ある状態で、ある行動をとることの価値 |
| 記号と引数 | 状態価値関数：v_π(s)。引数は状態s | 行動価値関数：q_π(s,a)。引数は状態sと行動a |
| 最初の一手 | 状態価値関数：最初の行動も方策πに従って選ぶ | 行動価値関数：最初の行動はaに固定し、その後からπに従う |
| 最適行動の選びやすさ | 状態価値関数：行動を選ぶには、後続の状態の価値や環境の動きの情報が要る | 行動価値関数：行動ごとの値を比べるだけで選べ、環境の動きを知らなくてよい |
| 名前が出る手法の例 | 状態価値関数：価値関数 v を推定する説明で使われる | 行動価値関数：Q学習やSarsaのQ（行動価値）として使われる |
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
価値関数とQ関数が同じものか迷う人
どちらも期待収益を表しますが、引数が違います。状態だけを受け取るのが状態価値関数、状態と行動の組を受け取るのが行動価値関数で、Q学習のQは後者です。
v_π と q_π の関係を式で聞かれて困る人
状態価値は、その状態での各行動の行動価値を、方策がその行動を選ぶ確率で重みづけして足した期待値です。方策が決定的なら、選ばれる行動の行動価値と等しくなります。
なぜQ学習は行動価値を学ぶのか疑問に思う人
教科書は、最適行動価値関数があれば、後続の状態やその価値、つまり環境のダイナミクスを知らなくても最適な行動を選べると述べます。行動ごとの値を比べるだけで行動を決められるため、環境のモデルを持たない学習に向きます。
具体例で使い分ける
例 1
状態価値を行動価値から求める場合（架空の数値）
状態sに行動が2つあり、方策πはそれぞれ確率0.5で選びます。q_π(s,a1)=4、q_π(s,a2)=2です。v_π(s)はいくつでしょうか。
- 状態価値は、各行動の行動価値を、その行動が選ばれる確率で重みづけして足したものです。
- 0.5×4＋0.5×2を計算します。
結論: v_π(s)は3になります。
例 2
最適な行動を選ぶ場合（架空の数値）
ある状態で、最適行動価値が行動Aで5、行動Bで7、行動Cで6と推定されています。どの行動を選びますか。
- 行動価値は、行動ごとの期待収益です。
- 値が最大の行動を選べば、後続の状態の価値を別に調べなくても、最良の行動が決まります。
結論: 行動Bを選びます。最適な状態価値v*(s)は、この最大値の7に等しくなります。
例 3
経験から状態価値を推定する場合（教科書の説明）
方策πに従うエージェントが、ある状態に遭遇するたびに、その後に実際に得られた収益を記録します。
- 状態ごとに、実際に得られた収益の平均を保ちます。
- その状態に遭遇する回数が無限に近づくにつれ、平均は状態価値v_π(s)に収束します。
結論: 価値関数は、経験した収益の平均から推定できます。行動ごとに平均を保てば、行動価値も同じ考え方で推定できます。
問題文から答えを選ぶ手順
- 1
引数を見る
価値の関数が状態だけを受け取るなら状態価値、状態と行動の組を受け取るなら行動価値です。
- 2
最初の行動を見る
最初の行動が方策に任されていれば状態価値、固定されていれば行動価値です。
- 3
手法名を見る
Q学習やSarsaのQは行動価値です。
- 4
最適化の話か確かめる
最適な状態価値は、その状態での最適行動価値の最大値です。
試験での見分け方
- 1状態価値関数v_π(s)は、sから始めてその後πに従うときの期待収益である。
- 2行動価値関数q_π(s,a)は、sから始めて行動aをとり、その後πに従うときの期待収益である。
- 3終端状態の価値は常にゼロである。
- 4最適な状態価値は、その状態での行動価値の最大値に等しい。
- 5最適行動価値関数があれば、環境のダイナミクスを知らなくても最適な行動を選べる。
誤答しやすい選択肢
価値と報酬を同じものとして扱う
修正: 報酬は1ステップで受け取る値、価値は将来に累積して見込める報酬の総量（期待収益）です。
行動価値の「その後」も行動aを続けると考える
修正: 行動aをとるのは最初の1回だけで、その後は方策πに従います。
Q学習のQを状態価値と答える
修正: Q学習のQは、状態と行動の組に付く行動価値です。
確認問題
Q1状態sで行動aをとり、その後に方策に従うときの期待収益を表す関数は？
答え: 行動価値関数 q_π(s,a)
引数に行動aが入り、最初の行動が固定されています。
Q2方策が2つの行動を確率0.5ずつで選び、行動価値が6と2のとき、状態価値は？
答え: 4
0.5×6＋0.5×2＝4です。方策の確率で重みづけした期待値になります。
Q3環境のダイナミクスを知らなくても最適な行動を選びやすいのは、状態価値と行動価値のどちらを持つ場合か？
答え: 最適行動価値関数
行動ごとの値を比べるだけで、最良の行動を選べるためです。
到達チェック
- 状態価値と行動価値の引数の違いを言える
- 状態価値を行動価値の期待値として説明できる
- Q学習のQが行動価値だと言える
関連ページで確認する
同じ資格で次に知りたいこと
- 感度と特異度の違い｜陽性を見つける力か、陰性を正しく除く力か（G検定・DS検定）
感度と特異度の違いを、式(TP/(TP+FN)とTN/(TN+FP))・再現率との関係・偽陽性率との関係・均衡正解率で整理。混同行列の数字から計算する例と確認問題つきで、G検定・DS検定の評価指標の問題に備えられる。
- AdaGradとRMSpropの違い｜過去の勾配を全部足すか、古い分を薄めるか（G検定）
AdaGradとRMSpropの違いを、勾配の2乗の貯め方、学習率の変化、登場した年、Adamとの関係で整理。G検定の最適化手法の問題で迷わない見分け方と確認問題つき。
- LoRAとフルファインチューニングの違い｜学習する重みと運用の差（AI・大規模言語モデル）
LoRAとフルファインチューニングの違いを、更新する重み・学習パラメータ数・メモリ・推論時の遅延・複数タスクの運用で整理。凍結した重みに低ランクの行列を足す仕組みと、確認問題つき。G検定などAI系の学習に使える。
よくある質問
Q状態価値関数と行動価値関数の違いは？
状態価値関数は状態だけを引数に取り、行動価値関数は状態と行動の組を引数に取ります。行動価値は、最初の行動を固定した期待収益です。
QQ学習のQは何を指しますか？
状態と行動の組に付く行動価値（Q値）を指します。
Q状態価値と行動価値はどう関係しますか？
状態価値は、各行動の行動価値を方策の選択確率で重みづけした期待値です。最適な場合は、行動価値の最大値になります。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部（運営者情報を見る）