Actor-Criticとは

まず押さえる結論

Actor-Criticは、G検定の「大項目3 機械学習の概要」で確認しておきたい用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。

具体例から判断の境界を固める

Actor-Criticを、役割と隣接概念の境界から捉える

方策を表すActorと、行動の価値を推定するCriticを分けて持ち、Criticの評価をもとにActorの方策を更新していく強化学習の枠組み。方策勾配法の一種。 試験では名称だけでなく、処理の対象、目的、使う段階を別概念と入れ替えた選択肢が出るため、定義の主語と動作を分けて確認します。

問題文で見る箇所

方策を表すActorと、行動の価値を推定するCriticを分けて持ち、Criticの評価をもとにActorの方策を更新しているかを確認します。

隣接概念との境界

Actor-Criticは方策勾配法にCriticによる価値推定を組み合わせた枠組みで、Criticを持たない方策勾配法とは、学習に価値関数の推定を使うかどうかで区別します。

誤答しやすい選択肢

• ×価値関数の推定を使わない素の方策勾配法を、CriticがActorを評価するActor-Criticと同じ枠組みとして扱う。定義の主語と処理対象を確認します。
• ×Actor-Criticの目的だけを見て、同じ目的を持つ別手法まで同じ用語とする。具体的な処理を比較します。
• ×Actor-Criticを使えば目的が必ず達成されると断定する。適用条件や評価を別に確認します。

4段階の判断手順

1. 01問題文が状態、手法、評価指標、制度のどれを説明しているか決める。
2. 02定義の中心となる対象と動作がActor-Criticに一致するか確認する。
3. 03隣接概念と共通する目的ではなく、処理や条件の違いを見る。
4. 04必ず・完全に・だけでよいという過度な断定がないか見直す。

到達条件: Actor-Criticを一文で説明し、最も混同しやすい隣接概念との違いを処理または条件から言える。

試験での問われ方

誤答しやすいポイント

関連する確認問題

同じ章で確認したい用語