第5章 データ準備・可視化技法とモデル化（モデル化）
DS検定の回帰分析と決定係数の計算例
DS検定（リテラシーレベル）の公式スキルチェックリストのモデル化には、単回帰分析・重回帰分析・線形回帰とロジスティック回帰の違い、そして回帰の誤差を測る評価尺度が、★1つ星の項目として入っています。決定係数やRMSEは、名前を覚えただけでは数字を示されたときに手が止まるので、このページでは5点の小さなデータで、回帰直線から評価尺度までを1回ずつ計算します。回帰分析は、直線を引く作業と、その直線がどれだけ当たっているかを測る作業の2段でできています。
このページは試験の学習用の整理です。数字はすべて説明用の架空の値です。
公式情報の確認
試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。 当サイトの一次情報確認日: 2026-10-02。
試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。
結論
- 単回帰は、最小二乗法で「誤差の2乗の合計」が最も小さくなる直線を引く。5点の例では、勉強1時間あたり4.8点増える直線になる
- 決定係数は、実測値のばらつきのうち回帰式で説明できた割合。例では約0.985
- MAE・RMSE・MAPEは、予測の誤差を測る尺度。RMSEは大きな誤差を重く、MAPEは割合で見る
- 重回帰で説明変数を足すと決定係数は上がるが、自由度調整済み決定係数は下がることがある
- 数値を予測するのが線形回帰、2つの区分のどちらになるかの確率を予測するのがロジスティック回帰
単回帰の回帰直線と決定係数
公式チェックリストは、単回帰分析で最小二乗法・回帰係数・標準誤差・決定係数を理解し、モデルを構築できることを★1つ星としています。勉強時間x（時間）と得点y（点）の5人分のデータで計算します。
- 平均は、xが(1＋2＋3＋4＋5)÷5＝3、yが(52＋58＋61＋68＋71)÷5＝62
- xの偏差（平均との差）は−2、−1、0、1、2で、2乗の合計は10。yの偏差は−10、−4、−1、6、9で、2乗の合計は234
- xとyの偏差の積の合計は20＋4＋0＋6＋18＝48
- 回帰係数（傾き）は48÷10＝4.8。切片は62−4.8×3＝47.6。回帰直線はy＝47.6＋4.8x
最小二乗法は、実測値と回帰直線の値との差（残差）を2乗して合計した値が最小になるように、傾きと切片を決める方法です。この直線で各人の値を出し、残差を並べると次の表になります。
| 勉強時間x | 実測の得点y | 回帰直線の値 | 残差（y−直線の値） |
|---|---|---|---|
| 1時間 | 52点 | 52.4点 | −0.4 |
| 2時間 | 58点 | 57.2点 | ＋0.8 |
| 3時間 | 61点 | 62.0点 | −1.0 |
| 4時間 | 68点 | 66.8点 | ＋1.2 |
| 5時間 | 71点 | 71.6点 | −0.6 |
残差を2乗して合計すると0.16＋0.64＋1.00＋1.44＋0.36＝3.6です。yのばらつき全体（偏差の2乗の合計）は234なので、回帰式で説明できた分は234−3.6＝230.4になります。決定係数は、説明できた分を全体で割った230.4÷234で、約0.985です。得点のばらつきの約98.5％を、勉強時間の直線で説明できたという読み方です。
標準誤差は、推定した値のぶれの大きさを表します。傾きの標準誤差は、残差の2乗の合計を（件数−2）で割った分散1.2（＝3.6÷3）を、xの偏差の2乗の合計10で割って平方根を取った√0.12で、約0.35です。傾き4.8に対して標準誤差が小さいので、勉強時間と得点の関係は安定して見えます。
誤差の評価尺度
公式チェックリストは、RMSE・MAE・MAPE・決定係数といった評価尺度を理解し、精度を評価できることを★1つ星としています。上の表の残差（−0.4、＋0.8、−1.0、＋1.2、−0.6）で、3つの尺度を計算します。
| 尺度 | 計算 | 結果 | 読み方 |
|---|---|---|---|
| MAE（平均絶対誤差） | (0.4＋0.8＋1.0＋1.2＋0.6)÷5＝0.8 | 0.8点 | 誤差の絶対値の平均。元の単位で読める |
| RMSE（二乗平均平方根誤差） | √(3.6÷5)＝√0.72 | 約0.85点 | 誤差を2乗して平均し平方根。大きな誤差を重く見る |
| MAPE（平均絶対パーセント誤差） | 各回の誤差÷実測値の割合の平均 | 約1.28％ | 誤差を実測値に対する割合で見る |
MAPEは、5回の誤差を実測値で割ると、0.4÷52＝約0.77％、0.8÷58＝約1.38％、1.0÷61＝約1.64％、1.2÷68＝約1.76％、0.6÷71＝約0.85％で、平均が約1.28％です。同じ誤差でも、RMSEはMAEより大きく出ます。誤差を2乗する分、大きな誤差の影響が増えるためで、この例でも0.8に対して約0.85です。決定係数は誤差の大きさそのものではなく、説明できた割合を表す点が、この3つとの違いです。
重回帰と自由度調整済み決定係数
公式チェックリストは、重回帰分析について、次の4つを説明できることを★1つ星としています。偏回帰係数、標準偏回帰係数、重相関係数、自由度調整済み決定係数です。重回帰は、説明変数が2つ以上の回帰です。偏回帰係数は、ほかの説明変数を一定にしたときの、その説明変数1単位あたりの変化量です。重相関係数は、実測値と回帰式の値の相関係数で、決定係数の平方根にあたります。
自由度調整済み決定係数は、「1−(1−決定係数)×(n−1)÷(n−p−1)」で求めます。nは件数、pは説明変数の数です。件数20で説明変数が3つ、決定係数が0.80のモデルでは、1−0.20×19÷16＝約0.763です。ここに説明変数を1つ足して、決定係数が0.81に上がったとします。
- 説明変数3つ：決定係数0.80、自由度調整済み決定係数は1−0.20×19÷16＝約0.763
- 説明変数4つ：決定係数0.81、自由度調整済み決定係数は1−0.19×19÷15＝約0.759
決定係数は上がったのに、自由度調整済み決定係数は下がりました。足した変数が、件数に対して少ししか説明を増やさなかったためです。説明変数の数が違うモデルを比べるときは、決定係数でなく自由度調整済み決定係数を見ます。
線形回帰とロジスティック回帰
公式チェックリストは、線形回帰分析とロジスティック回帰分析が予測する対象の違いを理解し、適切に使い分けられることを★1つ星としています。違いは、予測する対象です。
- 線形回帰：得点、売上、気温のような数値そのものを予測する。上の勉強時間と得点の例が当てはまる
- ロジスティック回帰：合格か不合格か、購入するかしないかのような2つの区分のどちらになるかの確率を予測する。出力は0から1の間に収まる
同じ勉強時間のデータでも、予測したいのが「得点」なら線形回帰、「合格する確率」ならロジスティック回帰を使います。回帰係数とオッズ比の関係や、最尤法を使う利点は★2つ星の項目なので、1つ星の範囲では、予測する対象の違いを言えれば十分です。
DS検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
よくある質問
DS検定で、回帰分析はどこまで必要ですか？
公式スキルチェックリスト（data_science.csv）で★1つ星なのは、単回帰分析で最小二乗法・回帰係数・標準誤差・決定係数を理解してモデルを構築できること、重回帰分析で偏回帰係数・重相関係数・自由度調整済み決定係数を説明できること、線形回帰とロジスティック回帰の予測する対象の違いを理解することです。多重共線性の評価や正則化は★2つ星に入っています。
決定係数が1に近ければ、よいモデルですか？
1に近いほど、実測値のばらつきを回帰式で説明できている割合が大きいという意味です。ただし、説明変数を足せば決定係数は下がらないので、重回帰では自由度調整済み決定係数も合わせて見ます。データが5点しかない例のように、件数が少ないと高い値が出やすい点にも注意が必要です。
RMSEとMAEは、どう使い分けますか？
どちらも元の単位で誤差の大きさを表します。RMSEは誤差を2乗してから平均するので、大きな外れを重く見ます。MAEは絶対値の平均で、外れの影響が比較的小さくなります。公式チェックリストは、RMSE・MAE・MAPE・決定係数といった評価尺度を理解し、精度を評価できることを★1つ星としています。
ロジスティック回帰は、名前に回帰とあるのに分類に使うのですか？
予測する対象が、合格か不合格かのような2つの区分のどちらになるかの確率です。式の上では説明変数の線形結合を使うので回帰と呼ばれますが、出力は0から1の確率で、その確率を基準で区切って分類に使います。得点のような数値そのものを予測するのは線形回帰です。