機械学習の具体的手法
G検定の線形回帰とロジスティック回帰：回帰と分類の違い
線形回帰は数値を予測する手法、ロジスティック回帰は確率を出して分類する手法です。どちらも、G検定の機械学習の代表的な手法として出題範囲にあります。このページでは、学習時間と点数の5つのデータで直線を引き、データの範囲の外を予測するとどうなるかを確かめます。そのあと、シグモイド関数で合格の確率を出す例と、損失関数が違う理由を、実際に計算して示します。覚えるのは、連続値は線形回帰、区分はロジスティック回帰であること、後者は名前に回帰と付くが分類であること、損失関数が別であることの3つです。
このページは試験の学習用の整理です。学習時間・点数・係数はすべて説明用の架空の例です。
公式情報の確認
試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。 当サイトの一次情報確認日: 2026-10-02。
試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。
結論
- 線形回帰は、予測値を特徴量の線形結合で表し、残差の二乗和が最小になる直線を引く。出力は連続した数値
- 学習したデータの範囲の外を予測すると外れやすい。点数の例で、10時間の予測は満点を超える139点になる
- ロジスティック回帰は、線形結合をシグモイド関数に通して0から1の確率にし、しきい値で分類する
- 損失関数は、線形回帰が二乗誤差、ロジスティック回帰が交差エントロピーで、外れた予測への罰の大きさが違う
- ロジスティック回帰は名前に回帰と付くが、用途は分類
線形回帰：最小二乗法で直線を引く
scikit-learnの公式ドキュメントは、線形回帰を、予測値を特徴量の線形結合（w0 + w1x1 + … + wpxp）で表すモデルとしています。通常の最小二乗法は、観測値と予測値の差（残差）の二乗和が最小になる係数を選びます。
学習時間が1・2・3・4・5時間の人の点数が、40・50・65・70・85点だったとします。学習時間の平均は3時間、点数の平均は62点です。傾きは、（学習時間の平均からの差）×（点数の平均からの差）の合計110を、（学習時間の平均からの差）の2乗の合計10で割った11になります。切片は、62 − 11×3 = 29です。直線は「点数 = 29 + 11×学習時間」になります。
| 学習時間（時間） | 実際の点数 | 直線の予測 | 残差 | 残差の2乗 |
|---|---|---|---|---|
| 1 | 40 | 40 | 0 | 0 |
| 2 | 50 | 51 | -1 | 1 |
| 3 | 65 | 62 | +3 | 9 |
| 4 | 70 | 73 | -3 | 9 |
| 5 | 85 | 84 | +1 | 1 |
残差の2乗を合計すると20、5で割った平均は4です。この平均が平均二乗誤差で、小さいほど直線がデータに合っています。残差の合計は+3と−3などが打ち消し合って0になるので、2乗してから足すのが最小二乗法の考え方です。
データの範囲の外は当たりにくい
この直線に当てはめると、6時間なら29 + 11×6 = 95点です。学習に使った範囲（1〜5時間）をほんの少し出ただけですが、点数には上限があります。10時間なら29 + 11×10 = 139点となり、満点を超えます。0時間なら29点です。線形回帰の直線は、どこまでも伸びるので、学習したデータの範囲の外は当たりにくくなります。直線が使える範囲を確かめずに、遠い値を予測する使い方は避けます。
もう一つの注意は、特徴量どうしの関係です。公式ドキュメントは、特徴量が互いにほぼ一次の関係にあるとき、最小二乗法の推定が観測値の小さな誤差に敏感になり、ばらつきが大きくなる（多重共線性）と述べています。この対策として、係数の大きさに罰則を付けるリッジ回帰などの正則化があります。
ロジスティック回帰：確率にして分類する
合格か不合格かのような区分を当てるときは、ロジスティック回帰を使います。公式ドキュメントは、1回の試行の結果が起きる確率を、ロジスティック関数（シグモイド関数）でモデル化すると説明しています。線形回帰と同じように線形結合zを作り、それを確率p = 1 ÷ (1 + e−z) に変えます。
合格の確率を、z = −5 + 1.5×学習時間 とした例です。zが0のとき、確率はちょうど0.5になり、これは学習時間が約3.33時間のときです。
| 学習時間（時間） | z | 合格の確率p | オッズ（p÷(1−p)） | しきい値0.5の分類 |
|---|---|---|---|---|
| 1 | -3.5 | 0.029 | 0.03 | 不合格 |
| 2 | -2.0 | 0.119 | 0.14 | 不合格 |
| 3 | -0.5 | 0.378 | 0.61 | 不合格 |
| 4 | 1.0 | 0.731 | 2.72 | 合格 |
| 5 | 2.5 | 0.924 | 12.18 | 合格 |
| 6 | 4.0 | 0.982 | 54.60 | 合格 |
出力は6時間でも0.982と、1を超えません。これが、線形回帰で0と1を予測したときとの大きな違いです。また、学習時間が1時間増えるごとに、オッズは約4.48倍（e1.5）になります。zはオッズの対数なので、係数1.5は「1時間増えたときの対数オッズの増え方」を表します。
損失関数が違う理由
学習は、予測の外れ具合を表す損失を小さくするように係数を調整して進めます。線形回帰は残差の二乗、ロジスティック回帰は、正解の区分に付けた確率の対数にマイナスを付けた値（交差エントロピー）を使います。実際は合格のデータ1件で、2つの損失を比べます。
| 場合 | 交差エントロピー | 二乗誤差 |
|---|---|---|
| 実際は合格(1)で、確率0.731と予測 | 0.313 | 0.072 |
| 実際は合格(1)なのに、確率0.119と予測 | 2.127 | 0.776 |
外れた予測（0.119）の罰は、交差エントロピーでは2.127、二乗誤差では0.776です。倍率は交差エントロピーが約6.8倍、二乗誤差が約10.7倍ですが、罰そのものの大きさは交差エントロピーのほうが大きくなっています。二乗誤差は、確率をどれだけ外しても罰が最大1で頭打ちになります。交差エントロピーは、正解の区分に付けた確率が0に近づくほど罰が限りなく大きくなるので、自信を持って間違えた予測を強く罰します。どちらの損失も、勾配降下法で係数を少しずつ更新して小さくしていきます。
名前の取り違えに注意
2つの手法は、線形結合を作る点が共通で、出力の扱いが違います。線形回帰は線形結合をそのまま数値として出し、ロジスティック回帰は線形結合をシグモイド関数で確率に変えてから分類します。問題文が「連続した数値を予測」なら線形回帰、「合格か不合格か」「迷惑メールかどうか」などの区分なら、ロジスティック回帰です。ロジスティック回帰は、決定木やSVMと同じ分類の手法として、正解のラベルを使う教師あり学習に入ります。
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
よくある質問
ロジスティック回帰は、回帰と分類のどちらですか？
名前に回帰と付きますが、使い道は分類です。scikit-learnの公式ドキュメントも、線形モデルで分類をするときの手法としてロジスティック回帰を挙げています。結果が連続した数値なら線形回帰、合格か不合格かのような区分なら、ロジスティック回帰を選びます。
線形回帰で、合格か不合格かを0と1にして予測してはいけませんか？
予測値が0より小さくなったり、1より大きくなったりして、確率として読めなくなります。上の例の直線は、学習時間が10時間なら139点と、満点を超える値を出します。ロジスティック回帰はシグモイド関数を通すので、出力は必ず0から1の間に収まります。
ロジスティック回帰の「しきい値」は0.5で固定ですか？
0.5は最もよく使う基準ですが、固定ではありません。見逃しを減らしたい場面ではしきい値を下げ、誤検知を減らしたい場面では上げます。しきい値を動かしたときの見え方は、混同行列やROC曲線で整理します。
特徴量が互いに似ているとき、線形回帰で困ることはありますか？
あります。公式ドキュメントは、特徴量どうしの相関が強くて、ほぼ一次の関係にあると、最小二乗法の推定が観測値の小さな誤差に敏感になり、ばらつきが大きくなると説明しています。これが多重共線性です。係数に罰則を付けるリッジ回帰などの正則化で対処する場面があります。