統計検定2級の残差プロットと変数変換

結論

1. 残差 = 観測値 − 予測値。残差プロットは、残差を説明変数や予測値に対して描いた図
2. 規則的な並びがなく正負がほぼ半々なら、直線のモデルで当てはまりがよい
3. U字は曲がりの見落とし、ラッパ型は分散が一定でないことを示す
4. ばらつきをそろえる変換は、平方根・自然対数・逆数の3つから試す

残差を計算する例

x=1から5、y=1、4、9、16、25の5点(yはxの2乗に当たる値)に、直線を当てはめます。xの平均は3、yの平均は11です。偏差の積の和Sxy=20+7+0+5+28=60、xの偏差平方和Sxx=10なので、傾きは60÷10=6、切片は11−6×3=−7です。

全変動は100+49+4+25+196=374、残差平方和は4+1+4+1+4=14なので、決定係数は1−14÷374≒0.963です。決定係数は0.96と高いのに、残差は正、負、負、負、正のU字に並び、直線では曲がりを表せていません。NISTは、決定係数だけでモデルを正当化できないのと同じく、1つの残差プロットだけでもモデルを正当化できないと述べ、使える変数すべてに対して残差を描くよう勧めています。決定係数の求め方は単回帰分析で確認できます。

残差プロットの形と読み方

NISTは、残差を説明変数や予測値に対して描いた散布図が、関数の形の十分さと、誤差の標準偏差が一定かどうかを調べる主な道具だと説明しています。形は次の3つに分けられます。

NISTの例では、ばらつきが一定でないデータの残差は、横軸の小さい側で狭く、大きい側で広がるラッパ型になります。元のデータの散布図では差が目立たなくても、残差プロットなら分散の不均一が見えます。ただし、関数の形が合っていないと、ラッパ型が見かけだけのものになることもあります。NISTは、まず関数の形が十分かを確かめてから、分散の一定さを調べるよう注意しています。

変数変換で直す手順

NISTは、分散が一定でないときの対処に、データを変換する方法と、重みを付けて推定する方法の2つを挙げています。変換の手順は次のとおりです。

• 被説明変数を変換し、説明変数の水準ごとのばらつきをそろえる
• 必要なら説明変数も変換し、回帰関数を単純な形に戻す
• 変換後の変数で当てはめ、残差プロットで再び確かめる

ばらつきをそろえる変換として、NISTはyの平方根、yの自然対数、yの逆数をまず試すよう勧めています。上の例は、yがxの2乗に当たるので、yの平方根をとるとx=1から5に一致し、傾き1・切片0の直線になって残差はすべて0です(このページの計算)。変換後の予測は、逆変換で元の単位に戻します。√yで当てはめたなら、予測値を2乗します。回帰の前提や検定の流れは重回帰分析にもつながります。

間違えやすい点

取り違えを、このページの例で4つ挙げます。

• 決定係数0.963だから直線で十分と判断する: 残差が2、−1、−2、−1、2とU字に並びます。
• 残差を観測値−予測値の逆に計算する: 残差は観測値から予測値を引いた値です。
• 残差の合計が0なら当てはまりがよいと考える: 切片を含む回帰では合計は常に0で、U字でも0になります(上の例も2−1−2−1+2=0)。
• 変換した予測値をそのまま元の単位で読む: √yの予測値は2乗して戻します。

合計0は当てはまりの証拠にならないので、並び方で判断します。

問題文から読み取る

問題文の言い回しから、読み取る内容を選べます。このページの整理から導いた読み方で、出題を予想するものではありません。

• 「残差が予測値とともに広がっている」とあれば、誤差の分散が一定でない
• 「残差が曲線状に並んでいる」とあれば、説明変数の変換や2乗の項を検討する
• 「残差に規則性がなく、ほぼ正負半々」とあれば、直線のモデルは妥当
• 「yを対数変換して当てはめた」とあれば、自然対数なら予測値を指数関数(exp)で元の単位に戻す

よくある質問

次に読むと効率的なページ