統計検定2級のロジスティック回帰

結論

1. オッズ = p÷(1−p)、対数オッズ = log(p÷(1−p))で、ロジスティック回帰は対数オッズを説明変数の1次式で表す
2. 係数b = 説明変数が1増えたときの対数オッズの増加量、exp(b) = オッズが何倍になるか(オッズ比)
3. 係数表の3列目 = 推定値÷標準誤差で、ロジスティック回帰ではz value、4列目はPr(>|z|)
4. 係数は最尤法で推定し、計算はソフトウェアが行う
5. 係数0.8は「確率が0.8増える」でなく「オッズが約2.23倍になる」

モデルの形と確率の計算

英語版Wikipediaは、ロジスティックモデルを、事象の対数オッズを説明変数の1次式で表すモデルと説明しています。対数オッズを確率に直す関数がロジスティック関数で、名前の由来です。scikit-learnの公式ドキュメントも、ロジスティック関数で結果の確率をモデル化すると述べています。R公式文書では、glmの二項分布の族の既定のリンク関数がlogitです。

勉強時間hours(時間)と合否(合格が1)のモデルで、対数オッズ = −4.0 + 0.8×hours と推定されたとします(説明用の架空の値です)。

対数オッズが0のとき、オッズは1、確率は0.5です。5時間のとき対数オッズは−4.0+0.8×5=0になります。確率は0〜1に収まり、直線ではなくS字に増えます。3時間から5時間までの2時間で約0.17から0.5へ、5時間から8時間までの3時間で0.5から約0.92へ増えます。

summary(glm)の係数表

同じモデルのsummary(glm)の係数表は、次の形になります(推定値と標準誤差は架空の値、残りは計算です)。

hoursのz値は0.8÷0.25=3.2で、両側p値は約0.0014です。有意水準5%なら、勉強時間の係数は0と異なると判断します。切片のz値は−4.0÷1.2≒−3.33です。R公式のsummary.glm文書は、3列目は分散パラメータを推定するときt比、既知または固定のときz比で、4列目はそれぞれt分布または正規分布にもとづく両側p値としています。lmの係数表の読み方はRの出力の読み方のページにあります。

オッズ比と信頼区間

勉強時間が1時間増えるとき、対数オッズは0.8増え、オッズはexp(0.8)≒2.23倍になります。たとえば5時間(オッズ1)から6時間(オッズ約2.23)です。2時間増えるなら、2.23を2回掛けて約4.95倍です。

係数の95%信頼区間は、推定値±1.96×標準誤差で、0.8±1.96×0.25から約0.31〜1.29です。両端をexpに通すと、オッズ比の95%信頼区間は約1.36〜3.63になります。区間が1をまたがないので、オッズ比は1と異なると読めます。係数の区間が0をまたがないことと同じ意味です。信頼区間の考え方は信頼区間のページで計算しています。

lmの係数表との違い

lmとglm(二項分布)の違いを表にします。表はこのページでの整理です。

「z value」の表題があれば、二項分布やポアソン分布のglmの出力だと見当がつきます。単回帰の計算は単回帰分析の計算手順のページにあります。

間違えやすい点

取り違えを、このページの例で4つ挙げます。

• 係数を確率の増え方とする: 0.8は対数オッズの増え方で、オッズ比はexp(0.8)≒2.23です。
• オッズと確率を同じものとする: 確率0.69のオッズは0.69÷0.31≒2.23で、別の値です。
• glmの3列目をt値とする: 二項分布の族では分散パラメータが1に固定され、z値になります。
• オッズ比の信頼区間で0を基準にする: オッズ比の基準は1で、係数の基準が0です。

確率、オッズ、対数オッズのどれを問われているかを、先に確かめます。

問題文から読み取る

問題文の言い回しから、答え方を選べます。このページの整理から導いた読み方で、出題を予想するものではありません。

• 「係数が0.8のとき、説明変数が1増えるとオッズは何倍か」とあれば、exp(0.8)
• 「z valueが3.2、有意水準5%」とあれば、絶対値が1.96より大きいので係数は0と異なる
• 「オッズ比の95%信頼区間が1.36〜3.63」とあれば、1を含まないので有意
• 「対数オッズが0」とあれば、オッズは1で確率は0.5
• 「結果が2値で、説明変数から確率を予測する」とあれば、ロジスティック回帰

よくある質問

次に読むと効率的なページ