用語比較
勾配ブースティングとランダムフォレストの違い｜木の作り方と予測の合わせ方（G検定）
ランダムフォレストと勾配ブースティングは、どちらも決定木をたくさん集めて予測する手法です。違いは、木の作り方と、予測の合わせ方です。
ランダムフォレストは、木を互いに独立に作り、予測を平均します。勾配ブースティングは、木を1本ずつ順番に足し、直前までの予測の誤差を次の木で埋めます。
G検定の機械学習の「代表的な手法」には、ランダムフォレストと勾配ブースティングの両方が出ます。このページでは、scikit-learn公式ドキュメントの説明を土台に、3件のデータで誤差が減る様子を手計算で確かめます。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。
結論
ランダムフォレスト
各木を、重複を許して取り出した標本（ブートストラップ標本）で作り、分割には特徴量の一部だけを使う。木を平均して予測する。
勾配ブースティング
弱い木を1本ずつ足していく。新しい木は、損失の負の勾配（二乗誤差なら残差）を予測するように学習する。
覚え方
ランダムフォレストは「並べて平均」、勾配ブースティングは「順番に足して直す」。
違いを表で確認
| 比較軸 | ランダムフォレスト | 勾配ブースティング |
|---|---|---|
| 木の作り方 | ランダムフォレスト：木を互いに独立に作る | 勾配ブースティング：前の木の結果を使って、次の木を順番に作る |
| 各木の学習データ | ランダムフォレスト：ブートストラップ標本と、特徴量のランダムな部分集合 | 勾配ブースティング：全体のデータで、直前までのモデルの誤差（負の勾配）を予測する |
| 予測の合わせ方 | ランダムフォレスト：木の予測を平均する | 勾配ブースティング：木の予測に学習率をかけて足し合わせる |
| 主な調整項目 | ランダムフォレスト：木の数（n_estimators）、分割で見る特徴量の数（max_features） | 勾配ブースティング：木の数（n_estimators）と学習率（learning_rate）、木の大きさ |
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
バギングとブースティングの違いは分かるが、具体的な手法名と結びつかない人
バギングの代表がランダムフォレスト、ブースティングの代表の1つが勾配ブースティングです。「独立に作って平均」か「順番に足して直す」かで見分けます。
「勾配」が何の勾配なのか分からない人
損失関数の勾配です。scikit-learnは、各反復で新しい木が、サンプルごとの損失の負の勾配を予測するように学習すると説明しています。二乗誤差なら、負の勾配は残差に当たります。
学習率と木の数の関係を問われて迷う人
学習率は、新しい木の寄与を何倍して足すかを決めます。公式ドキュメントは、学習率を小さくすると、同じ訓練誤差に届くまでに必要な木の数が増えると述べています。
具体例で使い分ける
例 1
ランダムフォレスト：独立に作った3本の木を平均する
ある家の価格を予測します。3本の木の予測が8、10、9（単位は百万円、架空の値）だったとします。
- 3本は互いに独立に作られているので、予測の合わせ方は平均です。
- (8+10+9)÷3=9です。
結論: ランダムフォレストの予測は9です。1本ごとの予測のぶれが、平均でならされます。
例 2
勾配ブースティング：残差を1本ずつ埋める
x=1,2,3 の目的変数が 3,5,10 のデータ（架空の値）。損失は二乗誤差、学習率は0.5、木は「x≦2か、x=3か」で分ける1回分割の木とします。
- 最初の予測は平均で、(3+5+10)÷3=6です。残差は 3−6=−3、5−6=−1、10−6=4 で、二乗誤差の合計は9+1+16=26です。
- 1本目の木は残差を予測します。x≦2の2件は残差の平均が(−3−1)÷2=−2、x=3は4です。
- 学習率0.5をかけて足すと、予測は6+0.5×(−2)=5（x=1,2）、6+0.5×4=8（x=3）です。
- 新しい残差は 3−5=−2、5−5=0、10−8=2 で、二乗誤差の合計は4+0+4=8です。
結論: 1本足しただけで、二乗誤差の合計が26から8に減りました。2本目の木は、残った −2、0、2 を予測します。
例 3
学習率を変えると、同じ1本でどこまで埋まるか
同じデータで、学習率を1.0にした場合を考えます。
- 1本目の寄与をそのまま足すので、予測は6+(−2)=4（x=1,2）と、6+4=10（x=3）です。
- 残差は 3−4=−1、5−4=1、10−10=0 で、二乗誤差の合計は1+1+0=2です。
結論: 学習率が大きいほど、1本で大きく近づきます。ただし公式ドキュメントは、小さな学習率の方がテスト誤差が良い傾向があるという経験的な証拠を挙げ、小さな学習率に十分な数の木を組み合わせる設定を推奨しています。
問題文から答えを選ぶ手順
- 1
木が独立に作られているかを読む
各木を独立に作り、予測を平均する手法はランダムフォレストです。
- 2
前の木の誤差を使って次の木を作っているかを読む
直前までの誤差（負の勾配）を次の木が予測するなら、勾配ブースティングです。
- 3
問われているパラメータを結びつける
学習率は、新しい木の寄与にかける係数で、勾配ブースティングの項目です。max_featuresのように分割で見る特徴量を絞る設定は、ランダムフォレストの特徴です。
試験での見分け方
- 1ランダムフォレスト＝木を独立に作って平均する（バギングの仲間）。
- 2勾配ブースティング＝木を順番に足して、損失の負の勾配（二乗誤差なら残差）を埋める。
- 3学習率が小さいほど、同じ精度に届くまでに多くの木が必要になる。
- 4どちらが常に高精度とは言えない。データと設定で決まる。
誤答しやすい選択肢
勾配ブースティングも木を独立に作ると考える
修正: 勾配ブースティングは、前のモデルの誤差を使って次の木を作るので、順番に作ります。並列に独立して作る手法はランダムフォレストです。
ランダムフォレストに学習率があると考える
修正: 学習率は、新しい木の寄与を何倍して足すかを決める係数で、足し合わせる勾配ブースティングの項目です。ランダムフォレストは木を平均します。
「勾配」を重みの勾配降下法と同じものと考える
修正: 木の追加を、関数の空間での勾配降下法とみなす説明です。ニューラルネットワークの重みを更新する勾配降下法とは、更新するものが違います。
どちらかが必ず精度が高いと覚える
修正: どちらが常に勝つとは言えません。データと課題で結果が変わるので、問題では仕組みの違いを答えます。
確認問題
Q1例の勾配ブースティングで、最初の予測（平均）はいくつ？
答え: 6
(3+5+10)÷3=6です。
Q21本目の木を足したあとの、x=3の予測は？
答え: 8
6+0.5×4=8です。
Q31本足したあとの二乗誤差の合計は？
答え: 8
残差が−2、0、2なので、4+0+4=8です。
Q4各木を独立に作り、予測を平均するのはどちらの手法？
答え: ランダムフォレスト
木を順番に足す勾配ブースティングとの違いです。
Q5学習率を小さくすると、同じ訓練誤差に届くのに必要な木の数はどうなる？
答え: 増える
scikit-learnの公式ドキュメントが述べる関係です。
到達チェック
- ランダムフォレストを「独立に作って平均」と説明できる
- 勾配ブースティングを「順番に足して負の勾配を埋める」と説明できる
- 二乗誤差のとき、負の勾配が残差に当たることを言える
- 学習率と木の数の関係を説明できる
関連ページで確認する
同じ資格で次に知りたいこと
- リスクベースアプローチとアジャイル・ガバナンスの違い｜対策の強さと見直しの回し方で見分ける（G検定）
リスクベースアプローチとアジャイル・ガバナンスの違いを、総務省・経済産業省のAI事業者ガイドライン（第1.2版）の記述で整理。対策の程度をリスクの大きさに合わせる考え方と、環境・リスク分析から評価までのサイクルを回し続ける考え方の区別を、確認問題つきで確認します。
- SVMの線形カーネルとRBFカーネルの違い｜類似度の式と、γ・Cの役割を数値例で比較（G検定）
SVMの線形カーネルは内積、RBFカーネルはexp(−γ‖x−x'‖²)で2点の類似度を測ります。距離の2乗が1と4の点で、γ=1なら0.368と0.018、γ=0.5なら0.607と0.135になる手計算と、Cとγの役割を整理します。
- スタッキングとバギングの違い｜予測をつなぐ方法と分散・バイアスの狙い（G検定）
スタッキングとバギングの違いを、scikit-learn公式ドキュメントの記述で整理。バギングは部分集合で作った同種のモデルの予測を集約して分散を減らし、スタッキングは複数モデルの予測を最終推定器の入力にして、交差検証で訓練する点を、判断手順と確認問題つきで確認します。
よくある質問
Q勾配ブースティングとランダムフォレストの違いは？
ランダムフォレストは木を独立に作って予測を平均します。勾配ブースティングは木を順番に足し、直前までの誤差（損失の負の勾配）を次の木で埋めます。
Q勾配ブースティングの「勾配」とは？
損失関数の勾配です。各反復で新しい木が、サンプルごとの損失の負の勾配を予測するように学習します。二乗誤差なら残差に当たります。
Q学習率は何のためのパラメータ？
新しい木の寄与にかける係数です。小さいほど、同じ訓練誤差に届くまでに必要な木の数が増えます。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部（運営者情報を見る）