用語比較
ジニ不純度とエントロピーの違い｜決定木の分割基準を10個のデータで手計算（G検定）
ジニ不純度とエントロピーは、どちらも決定木が「このノードにクラスがどれだけ混ざっているか」を測る尺度です。値が小さいほど1つのクラスにそろっていて、分割は不純度の減少が最大になるものが選ばれます。
scikit-learn公式ドキュメント（Decision Trees）は、ノードmでクラスkの割合をp_mkとするとき、ジニ係数をH=Σp_mk(1−p_mk)、対数損失（エントロピー）をH=−Σp_mk log(p_mk)と示しています。G検定の出題範囲には、決定木とランダムフォレストが挙がっています。
このページでは、10個のデータを使って2つの尺度を手計算し、同じ分割が選ばれることと、値の大きさが違うことを確かめます。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。
結論
ジニ不純度
Σp(1−p)。2クラスなら最大0.5、1クラスだけなら0。
エントロピー
−Σp log p。底を2にすると、2クラスの最大は1、1クラスだけなら0。
共通点
どちらも混ざり具合の尺度で、分割は不純度の減少が最大になるものを選ぶ。
違いを表で確認
| 比較軸 | ジニ不純度 | エントロピー |
|---|---|---|
| 式 | ジニ不純度：Σp(1−p) | エントロピー：−Σp log p |
| 2クラスが半々のとき（底2） | ジニ不純度：0.5 | エントロピー：1 |
| クラスが6対4のとき（底2） | ジニ不純度：0.48 | エントロピー：約0.971 |
| 計算に使う演算 | ジニ不純度：掛け算と引き算だけ | エントロピー：対数が必要 |
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
「不純度」という言葉で、ジニとエントロピーが別物に見える人
どちらもノードのクラスの混ざり具合を測る尺度で、役割は同じです。違うのは式の形と、値の大きさです。
不純度の減少を、分割前の不純度と取り違える人
選ぶ基準は、分割前の不純度から、分割後の子ノードの不純度を件数で重みづけして平均した値を引いた減少量です。
ジニ不純度とジニ係数が同じものか迷う人
scikit-learnの文書では、Giniの名でΣp(1−p)の式が示されています。経済学の格差を測るジニ係数とは別の文脈の式です。
具体例で使い分ける
例 1
ノードの不純度を計算する（6対4と半々）
クラスAが6件、クラスBが4件のノードを考えます（架空の値）。底は2とします。
- ジニ不純度：1−(0.6²+0.4²)=1−(0.36+0.16)=0.48です。
- エントロピー：−0.6×log₂0.6−0.4×log₂0.4≒0.6×0.737+0.4×1.322≒0.971です。
- 5件ずつの半々なら、ジニ不純度は0.5、エントロピーは1です。1つのクラスだけなら、どちらも0です。
結論: 混ざるほど値は大きくなり、半々で最大になります。
例 2
2通りの分割を比べる（ジニ不純度）
5対5の10件（不純度0.5）を、分割Xと分割Yで分けます（架空の値）。Xは左4件（4対0）・右6件（1対5）、Yは左5件（4対1）・右5件（1対4）です。
- X：右の不純度は1−(1/36+25/36)=10/36≒0.278。重みづけ平均は6/10×0.278≒0.167で、減少は0.5−0.167≒0.333です。
- Y：左右とも1−(0.64+0.04)=0.32。重みづけ平均は0.32で、減少は0.5−0.32=0.18です。
結論: 減少が大きいXが選ばれます。
例 3
同じ2通りの分割を比べる（エントロピー）
上と同じ分割を、エントロピー（底2）で計算します。
- X：右は−(1/6)log₂(1/6)−(5/6)log₂(5/6)≒0.431+0.219≒0.650。重みづけ平均は0.6×0.650≒0.390で、減少は1−0.390≒0.610です。
- Y：左右とも−0.8log₂0.8−0.2log₂0.2≒0.257+0.464≒0.722。減少は1−0.722≒0.278です。
結論: ここでも減少が大きいXが選ばれ、ジニ不純度と同じ結論です。値の大きさは違っても、この例では分割の優劣は変わりません。
問題文から答えを選ぶ手順
- 1
各ノードのクラスの割合pを出す
件数をノードの総数で割り、クラスごとの割合を求めます。
- 2
尺度の式に入れる
ジニ不純度はΣp(1−p)、エントロピーは−Σp log pに入れます。
- 3
子ノードの不純度を件数で重みづけして平均する
大きい子ノードの不純度ほど、平均への影響が大きくなります。
- 4
分割前から引いて減少量を比べる
減少が最大の分割を選びます。
試験での見分け方
- 1ジニ不純度はH=Σp(1−p)、エントロピーはH=−Σp log p。
- 2分割は、不純度の減少が最大になるものを選ぶ。
- 32クラスが半々のとき不純度は最大、1クラスだけのとき0。
- 4決定木は、複雑すぎる木を作って過学習になりやすい（枝刈りや深さの制限で防ぐ）。
誤答しやすい選択肢
エントロピーのほうが必ず大きい値になると考える
修正: 底を2にすると2クラスの最大は1で、ジニの0.5より大きくなります。ただし底をeにすると、半々のエントロピーは約0.693になります。値は底の選び方で変わります。
不純度が小さいほど分割が良いと、分割前後を比べずに考える
修正: 比べるのは、分割前からの減少量です。例では、Xの減少0.333がYの0.18より大きいため、Xを選びました。
子ノードの不純度を単純平均する
修正: 件数で重みづけします。例のXでは、右の6件に0.6、左の4件に0.4をかけて足しました（左は不純度0）。
ジニ不純度とエントロピーで、選ばれる分割が必ず違うと考える
修正: 例では、2つの尺度が同じXを選びました。式が違うので値は同じになりませんが、この例では分割の優劣は入れ替わりませんでした。
確認問題
Q1クラスが6対4のノードのジニ不純度は？
答え: 0.48
1−(0.6²+0.4²)=1−0.52=0.48です。
Q22クラスが半々のノードのジニ不純度と、底2のエントロピーは？
答え: ジニ不純度0.5、エントロピー1
ジニは1−(0.25+0.25)=0.5、エントロピーは−2×0.5×log₂0.5=1です。
Q31つのクラスだけのノードの不純度は？
答え: ジニ不純度もエントロピーも0
p=1のとき、1×(1−1)=0、1×log1=0です。
Q4決定木は、どんな分割を選ぶ？
答え: 不純度の減少が最大になる分割
scikit-learn公式ドキュメントの、不純度を最小にする分割を選ぶという説明を言い換えたものです。
Q5決定木の欠点として、公式ドキュメントが挙げる2つは？
答え: 過学習と、データの小さな変化で全く違う木ができる不安定さ
後者はアンサンブルの中で決定木を使うことで和らげられます。
到達チェック
- ジニ不純度とエントロピーの式を書ける
- 6対4のノードのジニ不純度を計算できる
- 不純度の減少を、件数の重みづけつきで計算できる
- 2つの尺度の役割は同じで、値の大きさは違うと説明できる
関連ページで確認する
同じ資格で次に知りたいこと
- モーメンタム付きSGDと通常のSGDの違い｜更新式と3ステップの手計算で比較（G検定）
通常のSGDはθ←θ−ε×勾配、モーメンタム付きSGDは速度vを使ってv←αv−ε×勾配、θ←θ+vと更新します。学習率0.1・α=0.9で勾配が2のまま続くと、更新量が0.2、0.38、0.542と増える手計算で違いを整理します。
- ストライドとパディングの違い｜CNNの出力サイズを7×7の入力で手計算（G検定）
ストライドはフィルタを動かす幅、パディングは入力のまわりに値を足す幅です。出力の幅は(W−F+2P)/S+1。7×7の入力に3×3のフィルタを当て、S=1・P=0で5、P=1で7、S=2・P=0で3になる手計算で違いを整理します。
- 特許の新規性と進歩性の違い｜特許法29条1項と2項の条文で比較（G検定）
特許の新規性は特許法29条1項（出願前に公知・公然実施・刊行物記載の発明は特許を受けられない）、進歩性は29条2項（通常の知識を有する者が容易に発明できたときは特許を受けられない）です。条文の構造と、30条の1年の例外を事例で整理します。
よくある質問
Qジニ不純度とエントロピーの違いは？
ジニ不純度はΣp(1−p)、エントロピーは−Σp log pです。どちらもノードのクラスの混ざり具合を測り、値が小さいほど1つのクラスにそろっています。
Q決定木はどちらの尺度を使う？
scikit-learnの決定木では、ジニ係数と対数損失（エントロピー）のどちらも不純度の尺度として示されています。分割は不純度の減少が最大になるものを選びます。
Q決定木はG検定で問われる？
公式の出題範囲に、決定木とランダムフォレストがキーワードとして挙がっています。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部（運営者情報を見る）