用語比較
ニュートン法と最急降下法の違い｜2階微分まで使うか、勾配だけで進むか（DS検定）
最急降下法は、勾配(1階微分)だけを使い、関数が最も速く減る向きへ少しずつ進む方法です。ニュートン法は、2階微分(曲がり方)まで使って、次に進む点を決める方法です。
勾配だけを使うのが最急降下法、曲がり方まで使うのがニュートン法と区別するのが出発点です。DS検定のチェックリストは、制約なしの連続最適化で使えるアルゴリズムとして、この2つを名前で挙げています。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。
最急降下法とニュートン法の要点
最急降下法
微分可能な多変数関数を最小にする、1次の反復法。勾配の向きと逆へ、小さな歩幅(学習率)で進む。
ニュートン法
2階微分まで使い、2次のテイラー近似の最小点を次の点にする反復法。多変数では、ヘッセ行列の逆行列を使う。
違いを表で確認
| 比較軸 | 最急降下法 | ニュートン法 |
|---|---|---|
| 使う微分 | 勾配(1階微分)だけを使う | 勾配に加えて、2階微分(多変数ではヘッセ行列)を使う |
| 進む向きと歩幅 | 勾配の向きと逆へ、学習率という歩幅で進む | 2次のテイラー近似(曲がり方の情報)の最小点を、次の点にする |
| 1回の計算 | 勾配を計算すればよい | 高次元では、ヘッセ行列の逆行列を求める計算が重くなりうる |
| 2次関数のとき | 歩幅(学習率)を決めて、更新を繰り返す | 関数が2次関数なら、1回で正確な最小点が見つかる |
| 見つかる点 | 局所的な最小点へ向かう | 導関数が0になる点を探すので、最小点だけでなく最大点や鞍点のこともある |
| 試験で探す語 | 勾配、学習率、1次の方法 | 2階微分、ヘッセ行列、2次のテイラー近似 |
DS検定の学習に使う書籍（Amazon）
PR
どこで迷っているかを切り分ける
どちらも「最適化のアルゴリズム」で、見分けがつかない人
チェックリストは、制約なしの連続最適化問題で使えるアルゴリズムとして、ニュートン法と最急降下法を並べています。見分けるときの軸は、2階微分を使うかどうかです。
機械学習の学習率とのつながりを知りたい人
最急降下法の更新式には、歩幅にあたる学習率が入ります。学習率が十分小さければ、更新のたびに関数の値は減ります。歩幅の決め方は、最急降下法を使うときの要点です。
ニュートン法は2階微分まで使うので、いつもそちらでよいのかと考える人
ニュートン法は2階微分の情報を使います。一方で、高次元ではヘッセ行列の逆行列を求める計算が重くなりえます。使う情報の多さと、1回の計算の重さを、両方見て比べます。
具体例で使い分ける
例 1
関数が下に凸の2次関数の場合
最小にしたい関数が、下に凸の2次関数(谷の形の放物線)です。
- ニュートン法は、2次のテイラー近似の最小点を次の点にします。
- 関数がもともと2次関数なら、近似が元の関数と一致します。
- そのため、1回の更新で、正確な最小点が見つかります。
結論: 2次関数では、ニュートン法は1回で正確な最小点を見つけます。最急降下法は、歩幅を決めて更新を繰り返す方法です。
例 2
変数の数が多い関数の場合
変数が非常に多く、ヘッセ行列が大きくなる場面です。
- ニュートン法は、ヘッセ行列の逆行列を使って、進む向きを決めます。
- 高次元では、逆行列を求める計算が重くなりえます。
- 最急降下法は、勾配だけを計算するので、1回の計算は軽く済みます。
結論: 変数が多いときは、1回の計算の重さが、ニュートン法を選ぶかどうかの比べどころになります。
問題文から答えを選ぶ手順
- 1
使う微分を確かめる
勾配だけを使うのか、2階微分まで使うのかを確認します。
- 2
進む向きの決め方を確かめる
勾配の向きと逆へ、歩幅を決めて進むのか、2次のテイラー近似の最小点へ進むのかを見ます。
- 3
変数の数と計算の重さを見る
高次元では、ヘッセ行列の逆行列の計算が重くなりえます。変数の数を確認します。
- 4
目的の点を確かめる
ニュートン法が探すのは導関数が0になる点で、最小点とは限りません。最小点を求めたいときの注意点です。
試験での見分け方
- 1最急降下法は、微分可能な多変数関数を最小にする、1次の反復法である。
- 2最急降下法は、関数が最も速く減る向き、つまり勾配の向きと逆へ進む。
- 3ニュートン法は、2階微分まで使い、2次のテイラー近似の最小点を次の点にする。
- 4関数が2次関数なら、ニュートン法は1回で正確な最小点を見つける。
- 5高次元のニュートン法は、ヘッセ行列の逆行列を求める計算が重くなりうる。
誤答しやすい選択肢
ニュートン法も、勾配だけを使う方法だと考える
修正: ニュートン法は、勾配に加えて、2階微分(多変数ではヘッセ行列)を使います。曲がり方の情報を使う点が、最急降下法との違いです。
最急降下法も、2次関数なら1回の更新で最小点に着くと考える
修正: 最急降下法は、学習率という歩幅で進み、更新を繰り返す方法です。関数が2次関数のとき、1回で正確な最小点が見つかると説明されているのは、ニュートン法です。
ニュートン法が見つける点は、必ず最小点だと考える
修正: ニュートン法は導関数が0になる点を探すので、最小点だけでなく、最大点や鞍点のこともあります。
ニュートン法は、どんな場面でも最急降下法より計算が軽いと考える
修正: 高次元では、ヘッセ行列の逆行列を求める計算が重くなりえます。1回あたりの計算は、勾配だけを使う最急降下法のほうが軽く済みます。
確認問題
Q1ニュートン法と最急降下法で、ニュートン法だけが使う微分は何ですか？
答え: 2階微分(多変数ではヘッセ行列)
最急降下法は勾配(1階微分)だけを使い、ニュートン法は2階微分も使って次の点を決めます。
Q2最小にしたい関数が下に凸の2次関数のとき、1回の更新で正確な最小点が見つかると説明されるのは、どちらの方法ですか？
答え: ニュートン法
ニュートン法は2次のテイラー近似の最小点を次の点にするので、関数が2次関数なら近似が元の関数と一致します。
Q3最急降下法の更新式で、進む歩幅にあたる値を何と呼びますか？
答え: 学習率(ステップ幅)
勾配の向きと逆へ進むとき、学習率が歩幅を決めます。
到達チェック
- 最急降下法とニュートン法で、使う微分の違いを言える
- 最急降下法の更新で、進む向きと歩幅を説明できる
- 2次関数でのニュートン法の振る舞いを答えられる
- 高次元でニュートン法の1回の計算が重くなる理由を言える
関連ページで確認する
同じ資格で次に知りたいこと
- A/Bテストと多腕バンディットの違い｜結果を比べてから決めるか、試しながら配分を変えるか（DS検定）
A/Bテストと多腕バンディットの違いを、目的、判断のタイミング、探索と活用の扱い、使う場面から解説。DS検定の解析技術（オペレーションズリサーチ）で問われる最適化の2項目の使い分けと確認問題つきです。
- MLOpsとDevOpsの違い｜検証の対象と再学習（DS検定）
MLOpsとDevOpsの違いを、自動で検証する対象（コードだけか、データ・モデルも含むか）・デプロイするもの・継続的トレーニング（CT）・本番での見張り方で整理。架空の例と確認問題つき。DS検定のAIシステム運用（MLOps）の設問に使える。
- オブジェクトストレージとDWHの違い｜置く場所と分析の場所（DS検定）
オブジェクトストレージ（Amazon S3など）とデータウェアハウス（BigQueryなど）の違いを、データの持ち方、操作の動詞、問い合わせ方法から解説。DS検定のクラウド上のデータ蓄積の判断手順と確認問題つきです。
よくある質問
Qニュートン法と最急降下法の一番大きな違いは何ですか？
使う微分です。最急降下法は勾配(1階微分)だけを使い、ニュートン法は2階微分(多変数ではヘッセ行列)まで使います。
Qニュートン法の弱点は何ですか？
高次元では、ヘッセ行列の逆行列を求める計算が重くなりえます。また、探すのは導関数が0になる点なので、最小点以外の点のこともあります。
Q最急降下法の学習率とは何ですか？
更新式で、勾配の向きと逆へ進む歩幅にあたる値です。十分小さければ、更新のたびに関数の値は減ります。
QDS検定にこの内容は出ますか？
データサイエンティスト協会のスキルチェックリストの解析技術(オペレーションズリサーチ)に、制約なしの連続最適化で使えるアルゴリズムとしてニュートン法と最急降下法を説明する力が、★2つの項目として含まれます。出題の形式は、受験前に公式の案内で確認してください。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: AI資格ドリル編集部（運営者情報を見る）