統計検定2級のRの出力の読み方（係数表とF統計量）

結論

1. 係数表のt値は、推定値（Estimate）を標準誤差（Std. Error）で割った値。p値は両側p値で、有意水準と比べて判断する
2. Residual standard errorは、残差の平均平方の平方根。自由度は 標本サイズ − 係数の個数
3. 説明変数が1つの単回帰では、F統計量は傾きのt値の2乗に等しく、p値も同じになる
4. 分散分析表では、Mean Sq = Sum Sq ÷ Df、F値 = 回帰のMean Sq ÷ 残差のMean Sq
5. 信頼区間は平均の不確実さ、予測区間は新しい1個の観測値まで含むので、同じxと同じ水準なら予測区間のほうが広い

例にする出力

標本サイズ12の単回帰 lm(y ~ x) で、次の出力が得られたとします（このページの架空の例です。実際の試験の出力ではありません）。

Coefficients:
            Estimate Std. Error t value Pr(>|t|)
(Intercept)   4.0000     2.0000   2.000  0.07339
x             2.5000     0.5000   5.000  0.00054

Residual standard error: 1.8 on 10 degrees of freedom
Multiple R-squared:  0.7143,  Adjusted R-squared:  0.6857
F-statistic:    25 on 1 and 10 DF,  p-value: 0.00054

以降は、この出力の数字が互いにどうつながっているかを順に確かめます。

係数表の読み方

R公式のsummary.lm文書は、係数表を、推定値、標準誤差、t統計量、対応する両側p値の列を持つ行列と定義しています。各行が回帰式の項に対応し、(Intercept) が切片、x が傾きです。

• 回帰式は ŷ = 4.0 + 2.5 × x。xが1増えると、yは平均で2.5増えると読む
• 傾きのt値は 2.5 ÷ 0.5 = 5.0、切片のt値は 4.0 ÷ 2.0 = 2.0
• 自由度は 12 − 2 = 10。両側p値は、傾きが0.00054、切片が0.07339
• 有意水準5%なら、傾きは帰無仮説「傾き = 0」を棄却できる。切片は0.07339 > 0.05なので、5%では棄却できない

p値が有意水準より大きいことは、「係数が0である」と証明されたことではなく、このデータでは0でないとまでは言えない、ということです。検定の手順は仮説検定のページ、回帰係数の標準誤差の計算は単回帰分析のページで確認できます。

下の3行の読み方

係数表の下には、モデル全体の当てはまりを示す3行が出ます。

• Residual standard error: 1.8 on 10 degrees of freedom は、残差の大きさの目安と自由度。1.8² × 10 = 32.4 が残差平方和になる
• Multiple R-squared: 0.7143 は決定係数。単回帰では t² ÷ (t² + 自由度) = 25 ÷ 35 ≒ 0.7143 とも計算できる
• Adjusted R-squared: 0.6857 は自由度調整済み決定係数。1 − (1 − 0.7143) × 11 ÷ 10 ≒ 0.6857
• F-statistic: 25 on 1 and 10 DF は、分子の自由度が1、分母の自由度が10。傾きのt値 5.0 の2乗 = 25 と一致し、p値も同じ0.00054

説明変数が1つのときは、傾きのt検定とモデル全体のF検定は同じ結論になりますが、説明変数が2つ以上の重回帰では、F検定は「すべての傾きが0」を一度に検定するので、個々のt値とは別の検定です。用語は決定係数とF統計量の用語集で確認できます。重回帰の調整済み決定係数は重回帰分析のページに計算例があります。

分散分析表との対応

R公式のanova.lm文書によると、単一モデルの分散分析表は、式へ項を順に追加したときの残差平方和の減少を各行に示し、各行の平均平方と残差平均平方を比べるF統計量とp値を含みます。同じ例で anova(lm(y ~ x)) を実行したとすると、次の表になります（架空の例）。

Analysis of Variance Table

Response: y
          Df Sum Sq Mean Sq F value Pr(>F)
x          1   81.0   81.00      25 0.00054
Residuals 10   32.4    3.24

• Residualsの行: 平方和32.4は、前の節の 1.8² × 10。平均平方は 32.4 ÷ 10 = 3.24
• xの行: 平均平方は 81.0 ÷ 1 = 81.00。F値は 81.00 ÷ 3.24 = 25
• 全平方和は 81.0 + 32.4 = 113.4。決定係数は 81.0 ÷ 113.4 ≒ 0.7143 で、summaryの値と一致する

summary(lm)の下の3行と分散分析表は、同じ平方和と自由度から作られているので、どちらか一方の数字から、もう一方の欠けた数字を逆算できます。平方和と平均平方の関係は分散分析のページで確認できます。

信頼区間と予測区間

R公式のpredict.lm文書では、intervalにnone・confidence・predictionを指定でき、levelの既定は0.95です。区間を指定した結果は、fit（予測値）、lwr（下限）、upr（上限）の列で返ります。

• confidence（信頼区間）: 特定のxでの平均的な応答の区間
• prediction（予測区間）: 同じxで新しく得られる1個の観測値の区間。平均の不確実さに個々のばらつきが加わるので、同じxと同じ信頼水準の信頼区間より常に広い

出力にfit・lwr・uprが2組あり、片方の幅がもう片方より広いときは、広いほうが予測区間です。用語は予測区間と信頼区間の用語集で確認できます。

問題文から読み取る

出力の読み取りでは、次の手順で足りない数字を埋めます。このページの計算例から導いた読み方で、出題を予想するものではありません。

• t値が空欄なら、Estimate ÷ Std. Error で埋める
• 自由度が空欄なら、標本サイズ − 係数の個数（切片を含む）。標本サイズ12の単回帰なら10
• 「有意水準5%で、傾きは0と異なるか」とあれば、傾きの行のp値を0.05と比べる
• F値が空欄なら、回帰のMean Sq ÷ 残差のMean Sq。単回帰ならt値の2乗でも確かめられる
• 表題が z value のときは、summary(glm) のように分散パラメータが固定された族の出力を疑う

よくある質問

次に読むと効率的なページ