AIの基礎
ニューラルネットワークの学習の仕組み（損失・勾配降下法・誤差逆伝播法）
損失関数、勾配降下法、誤差逆伝播法、活性化関数は、2027年2月試験から適用される生成AIパスポートの公式シラバスで、第1章の中項目「ニューラルネットワーク」の詳細キーワードに並ぶ用語です。損失で予測のずれを測り、勾配降下法で重みを少しずつ直し、誤差逆伝播法でそれを多層に広げる、という一つの流れで覚えます。
このページは、公式シラバスとGoogleの機械学習教材の範囲で、4つの用語の役割、学習率、手掛かり語での見分け方、出る章を整理しています。ニューラルネットワークそのものの定義は用語集のニューラルネットワークで確認できます。
公式情報の確認
試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。 当サイトの一次情報確認日: 2026-08-31。
試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。
結論
- 損失は、モデルの予測が正解からどれだけ外れているかを表す数値。訓練の目標は損失を小さくすること
- 勾配降下法は、損失が小さくなるように重みとバイアスを少しずつ動かす手順を繰り返す手法
- 学習率は、その1回の更新で動かす大きさ。低すぎると遅く、高すぎると収束しない
- 誤差逆伝播法は、多層ニューラルネットワークで勾配降下法を使えるようにする、最も一般的な訓練アルゴリズム
- 活性化関数は、各ノードの出力を非線形に変換する。これがないと層を重ねても線形のまま
損失と損失関数
Googleの機械学習教材は、損失を、モデルの予測の精度がどの程度低いかを表す数値指標と説明します。予測と実際のラベルの間の距離を測るもので、モデルを訓練する目標は、この損失を可能な限り小さくすることです。
損失が見るのは差の向きではなく距離です。たとえば予測が2で実際の値が5のとき、差は負の数になりますが、大事なのは距離が3であることです。そのため、符号を取り除く方法が使われます。教材は、最も一般的な方法として、差の絶対値を取る方法と、差を2乗する方法の2つを挙げています。
損失を計算する式が損失関数です。教材は、損失関数を選ぶときの観点として、平均二乗誤差（MSE）は外れ値に近づきやすく、絶対値にもとづく損失はそうならないと比べています。設問で「予測と正解のずれを数値で表す」とあれば、損失（損失関数）です。
一次資料: Google「Machine Learning Crash Course 線形回帰: 損失」
勾配降下法と学習率
勾配降下法は、損失が最小になるモデルを生む重みとバイアスを、反復して見つける数学的手法です。Googleの教材によると、モデルはゼロに近いランダムな重みとバイアスから訓練を始め、次の手順を繰り返します。
- 現在の重みとバイアスで損失を計算する
- 損失を減らす向きを決める
- その向きへ、重みとバイアスを少しだけ動かす
モデルが損失をさらに減らせなくなるまで、この繰り返しは続きます。ここでの「向き」を決めるのが、損失関数の傾き（勾配）です。
手順3で「少しだけ」動かす大きさを決めるのが学習率です。教材は、学習率が低すぎると収束に時間がかかり、高すぎると収束せず損失を最小にする重みとバイアスの周りを飛び回ると説明します。古い値と新しい値の差は損失関数の傾きに比例し、傾きが大きければ大きなステップ、小さければ小さなステップになります。「少しずつ」「向き」「繰り返す」は勾配降下法、「動かす大きさ」は学習率と対にします。
一次資料: Google「Machine Learning Crash Course 線形回帰: 勾配降下法」「同: ハイパーパラメータ」
誤差逆伝播法
Googleの教材は、誤差逆伝播（バックプロパゲーション）を、ニューラルネットワークの最も一般的な訓練アルゴリズムと説明します。これにより、多層ニューラルネットワークで勾配降下法を使えるようになります。勾配の微積分の考え方を使い、損失を小さくするようにモデルの重みを調整します。Kerasなど多くの機械学習ライブラリは誤差逆伝播を自動で処理するため、基盤の計算を自分で行う必要はないとされています。
同じ教材は、誤差逆伝播がうまくいかない例として勾配消失を挙げています。入力に近い下位の層の勾配が非常に小さくなり、その層の訓練が非常に遅い、またはまったく進まなくなる現象です。ReLU活性化関数は、勾配消失を防ぐのに役立つとされています。逆に重みが非常に大きいと勾配が大きくなりすぎ、収束しない勾配爆発が起きます。「多層」「勾配降下法を使えるようにする」が出たら誤差逆伝播法です。勾配消失問題と勾配爆発問題はCNN・RNN・LSTMとはでも扱っています。
一次資料: Google「Machine Learning Crash Course ニューラルネットワーク: 誤差逆伝播を使用したトレーニング」
活性化関数
Googleの教材は、ネットワークに隠れ層を足すだけでは非線形性を表現できないと説明します。線形演算に対して実行される線形演算は、依然として線形だからです。そこで、各ノードの出力値が次の層へ渡される前に、非線形変換を行います。この変換が活性化関数です。
活性化関数として一般的に使われる数学関数は、シグモイド、tanh、ReLUの3つです。シグモイドは出力が0から1、tanhは−1から1の範囲です。ReLU（修正線形ユニット）は、入力が0未満なら0を返し、0以上ならその入力値をそのまま返します。教材は、まずReLUから始めることを勧めています。「各ノードの出力を非線形に変換」が活性化関数、「予測のずれを測る」が損失関数、と役割で切り分けます。
一次資料: Google「Machine Learning Crash Course ニューラルネットワーク: 活性化関数」
手掛かり語で見分ける
説明文のどの語に反応するかで、5つの用語を切り分けます。
| 用語 | 手掛かり語 | 役割の要点 |
|---|---|---|
| 損失（損失関数） | 予測と正解の距離、最小にする、平均二乗誤差 | モデルの予測がどれだけ外れているかを数値で測る。訓練の目標は損失を小さくすること |
| 勾配降下法 | 重みとバイアスを反復して見つける、傾き、少しずつ動かす | 損失が小さくなる方向へ重みとバイアスを少しずつ動かす手順を繰り返す |
| 学習率 | ステップの大きさ、高すぎると収束しない | 勾配降下法の1回の更新で、重みとバイアスを動かす大きさを決める |
| 誤差逆伝播法 | 多層、勾配を計算、最も一般的な訓練アルゴリズム | 多層ニューラルネットワークで勾配降下法を使えるようにする |
| 活性化関数 | 非線形変換、シグモイド、tanh、ReLU | 各ノードの出力を非線形に変換し、層を重ねる効果を生む |
損失を測り、勾配降下法で重みを動かし、誤差逆伝播法で多層に広げる流れが学習です。過学習を避ける手法は過学習とはに、学習方法の分類は学習方法の違いにまとめています。
シラバスのどこに出るか
2027年2月試験から適用される公式シラバスでは、第1章の中項目「ニューラルネットワーク」に、次の語が並んでいます。
| 場所 | 内容 |
|---|---|
| 第1章 中項目「ニューラルネットワーク」の詳細キーワード（前半） | ニューラルネットワーク、入力層、隠れ層、出力層、重み、活性化関数、損失関数が並ぶ |
| 第1章 中項目「ニューラルネットワーク」の詳細キーワード（後半） | 誤差逆伝播法（バックプロパゲーション）、勾配降下法、過学習（オーバーフィッティング）が並ぶ |
用語の定義を、入力層から出力層までの流れと結びつけて読みます。章立ての変更は2027年2月試験の新シラバスに整理しています。試験での出題を予想するものではありません。
よくある質問
損失とは、一言でいうと何ですか？
モデルの予測の精度がどの程度低いかを表す数値指標です。Googleの機械学習教材は、予測と実際のラベルの間の距離を測るものと説明し、モデルを訓練する目標は損失を可能な限り小さくすることだとしています。
勾配降下法は何をする手法ですか？
損失が最小になるモデルを生む重みとバイアスを、反復して見つける数学的手法です。ゼロに近いランダムな値から始め、損失の計算、動かす向きの決定、少しだけ動かす、の3つを繰り返します。
学習率が高すぎるとどうなりますか？
モデルが収束せず、損失を最小にする重みとバイアスの周りを飛び回ります。Googleの教材は、低すぎると収束に時間がかかり、高すぎると収束しないと説明し、迅速に収束する値を選ぶことが目標だとしています。
誤差逆伝播法と勾配降下法は、どう違いますか？
勾配降下法は重みを動かす手順そのもの、誤差逆伝播法は多層ニューラルネットワークでその勾配降下法を使えるようにする訓練アルゴリズムです。Googleの教材は、誤差逆伝播をニューラルネットワークの最も一般的な訓練アルゴリズムとしています。
活性化関数がないとどうなりますか？
層を重ねても非線形な関係を表現できません。Googleの教材は、線形演算に対して実行される線形演算は依然として線形だと説明し、各ノードの出力に非線形変換を入れるのが活性化関数の役割だとしています。
生成AIパスポートの学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
