用語比較
Xavier初期化とHe初期化の違い｜ReLUを使うときの重みの初期値の選び方（G検定）
Xavier初期化は、Glorot and Bengio(2010)が提案した重みの初期化で、層の入力数と出力数から初期値の範囲を決めます。He初期化は、He・Zhang・Ren・Sun(2015)が、ReLUを使う場合を考えて導いた初期化です。
どちらがReLU向けかは、取り違えやすい点です。線形を仮定したのがXavier、ReLUを考慮したのがHeと覚えると、選択肢を整理できます。
このページは、教科書『Deep Learning』8.4節とHe初期化の原論文をもとに、導出の前提・式・向く活性化関数の3点で比べます。数値の例は、説明用の架空のデータです。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。
結論
Xavier初期化
入力数と出力数から範囲を決める一様分布。論文は、導出が活性化の線形性を仮定しており、ReLUでは成り立たないと述べる。
He初期化
ReLUを考慮して導いた、平均0のガウス分布で標準偏差が√(2/入力数)。バイアスは0で初期化する。
見分け方
ReLU系ならHe、シグモイドやtanhのように線形に近い領域を使うならXavierが基本。
違いを表で確認
| 比較軸 | Xavier初期化 | He初期化 |
|---|---|---|
| 導出の前提 | Xavier：活性化が線形という仮定。教科書は、行列の積の連鎖だけのネットワークを仮定して導かれたと述べる | He：ReLU/PReLUの非線形性を考慮して導いた |
| 使う分布と式 | Xavier：一様分布U(−√(6/(m+n)), √(6/(m+n)))。mは入力数、nは出力数 | He：平均0のガウス分布で、標準偏差が√(2/n)。nは1ユニットが受ける入力の数 |
| 分散を決める数 | Xavier：入力数と出力数の両方(分散は2/(m+n)) | He：入力数だけ(分散は2/n) |
| 狙い | Xavier：全層の活性化の分散と、全層の勾配の分散の、折衷 | He：ReLUでも、信号の大きさが層を通るたびに指数的に小さくも大きくもならないようにする |
| 深いネットワークでの結果 | Xavier：論文の実験で、30層のモデルは収束しなかった | He：同じ30層のモデルが収束した。22層では両方とも収束するが、Heのほうが早く誤差が下がり始めた |
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
ReLUを使うのに、Xavier初期化でよいか迷う人
He初期化の論文は、Xavier初期化の導出が活性化の線形性を仮定しており、この仮定はReLUでは成り立たないと述べています。ReLUを使う層では、Heのほうが論文の想定に合います。
「入力数」と「出力数」のどちらを使う式か聞かれる人
Xavierは、入力数mと出力数nの和を使います。Heの式で使うのは、1ユニットが受ける入力の数だけです。設問が「入力数と出力数の両方」ならXavierです。
初期化を、ただ小さい乱数にすればよいと考える人
教科書は、初期の重みの大きさを決める経験則として、U(−1/√m, 1/√m)やGlorotらの式を挙げています。大きさは、層の幅に合わせて決めます。
勾配消失との関係を聞かれる人
論文は、初期化が不適切だと、信号が層を通るたびに指数的に小さくなったり大きくなったりすることを避けたいと述べています。初期化は、勾配が消えにくい学習の出発点を整える工夫です。
具体例で使い分ける
例 1
256入力・128出力の層での初期値の大きさ(架空のデータ)
入力m＝256、出力n＝128の全結合層で、XavierとHeの初期値の大きさを比べる。
- Xavierの一様分布の上限は√(6／384)＝0.125です。重みはU(−0.125, 0.125)から取り、分散は2／384≒0.005208です。
- Heは、標準偏差が√(2／256)≒0.0884、分散は2／256＝0.0078125です。
結論: この層では、Heの分散はXavierの1.5倍です。比は(m＋n)／mなので、入力数に対して出力数が多いほど、差は開きます。
例 2
入力数と出力数が同じ層での比較(架空のデータ)
入力m＝出力n＝256の層で、分散を比べる。
- Xavierの分散は、2／(256＋256)＝2／512＝0.00390625です。
- Heの分散は、2／256＝0.0078125です。
結論: 入力数と出力数が同じなら、Heの分散はXavierのちょうど2倍です。比が(m＋n)／mになるためです。
問題文から答えを選ぶ手順
- 1
活性化関数を読む
ReLUやPReLUならHe、線形に近い扱いができるシグモイド型ならXavierが基本です。
- 2
式の中身を読む
入力数と出力数の和が出てくればXavier、入力数だけで2を掛けていればHeです。
- 3
分布の名前を読む
一様分布の式はXavier、平均0のガウス分布で標準偏差が√(2/n)ならHeです。
試験での見分け方
- 1ReLUを考慮して導いたのは、He初期化。
- 2活性化の線形性を仮定して導いたのは、Xavier初期化。
- 3Xavierは入力数と出力数の両方、Heは入力数を使う。
- 4He初期化は、標準偏差√(2/入力数)の、平均0のガウス分布。
誤答しやすい選択肢
XavierとHeは、名前が違うだけで同じ式だと考える
修正: 導出の前提も式も違います。Xavierは線形の仮定、HeはReLUを考慮した導出で、分散は2/(m+n)と2/nです。
He初期化は、一様分布だと考える
修正: 論文は、平均0のガウス分布で、標準偏差が√(2/n)になると述べています。一様分布で書かれるのはGlorotらの式です。
Xavier初期化では、ReLUのネットワークが学習できないと考える
修正: 論文では、22層のモデルは両方とも収束しています。30層のような極めて深いモデルで、Xavierは収束しませんでした。
確認問題
Q1ReLUを考慮して導かれた重みの初期化は？
答え: He初期化
Xavier初期化は、活性化が線形という仮定で導かれました。
Q2He初期化で、入力数がnのとき、重みの標準偏差は？
答え: √(2／n)
平均0のガウス分布から取ります。バイアスは0で初期化します。
Q3入力256、出力128の層で、Xavierの一様分布の上限は？
答え: 0.125
√(6／(256＋128))＝√(6／384)＝√0.015625＝0.125です。
到達チェック
- ReLU向けがHe、線形の仮定がXavierだと言える
- Xavierは入力数と出力数、Heは入力数を使うと言える
- Heの標準偏差が√(2/n)だと言える
関連ページで確認する
同じ資格で次に知りたいこと
- 交差エントロピーと平均二乗誤差の違い｜分類と回帰で損失関数を使い分ける（G検定）
交差エントロピーと平均二乗誤差の違いを、使う場面(分類か回帰か)・勾配の大きさ・出力層との相性で整理。シグモイド出力での勾配の計算例、確認問題つき。G検定の損失関数の設問に使える。
- 探索と活用の違い｜ε-greedy法で両者を両立する仕組み（G検定・強化学習）
強化学習の探索と活用の違いを、選ぶ行動・短期と長期の報酬・ε-greedy法での選択確率で整理。行動が10個でε=0.1のときの選択確率の計算例と確認問題つき。G検定の強化学習の設問に使える。
- オンポリシーとオフポリシーの違い｜学ぶ方策と行動する方策が同じかで見分ける（G検定）
強化学習のオンポリシーとオフポリシーの違いを、対象方策と行動方策が同じか別かで整理。被覆の仮定、重要度の比の計算例、SarsaとQ学習の1回の更新の比較、確認問題つき。G検定の強化学習の設問に使える。
よくある質問
QXavier初期化はなぜ「Xavier」と呼ばれる？
He初期化の論文は、Glorot and Bengioが提案した適切に拡大縮小した一様分布による初期化を、文献[14]で「Xavier」初期化と呼んでいると述べています。
QHe初期化でバイアスはどう初期化する？
論文は、バイアスは0で初期化すると述べています。
QPReLUを使う場合のHe初期化は同じ式？
論文は、PReLUの場合は条件が(1／2)×(1＋a²)×n×Var[w]＝1になると述べています。a＝0のReLUでは、n×Var[w]＝2、つまり標準偏差√(2／n)になります。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部（運営者情報を見る）