AI資格ドリル
資格を選ぶ

用語比較

AlexNetとVGGの違い|11×11フィルタの8層と、3×3フィルタの16〜19層(G検定)

AlexNetとVGGの違いは、フィルタの大きさと層の深さです。AlexNetは2012年のILSVRC優勝モデルで学習する層は8つ、VGGは3×3の小さなフィルタを重ねて16〜19層まで深くしました。

11×11のフィルタとdropoutならAlexNet、3×3を重ねた16〜19層ならVGGと覚えると、G検定の選択肢を切り分けられます。

この記事の根拠と出典

各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。

AlexNetとVGGの要点

AlexNet

ILSVRC-2012でtop-5誤り率15.3%(2位は26.2%)で優勝。学習する層は8つ(畳み込み5・全結合3)、パラメータ6000万。第1層は11×11のフィルタをストライド4で適用し、ReLU・GPU実装・dropoutを使う。

VGG

非常に小さい3×3のフィルタを重ね、深さを16〜19の重み層まで押し進めた。ILSVRC 2014の提出で、位置特定1位・分類2位。

見分け方

選択肢に「ILSVRC-2012の優勝」「11×11」「dropout」があればAlexNet、「3×3」「16〜19層」「深さの影響の評価」があればVGG。

違いを表で確認

比較軸AlexNetVGG
フィルタの大きさAlexNet:第1層は11×11×3のフィルタ96個を、ストライド4で224×224×3の入力に適用するVGG:すべての層で非常に小さい3×3のフィルタを使い、ストライド1で入力の全画素に適用する
層の数AlexNet:学習する層は8つ(畳み込み層5・全結合層3)VGG:深さを16〜19の重み層まで押し進めた。畳み込み層の後に3つの全結合層(4096・4096・1000チャネル)が続く
論文の中心AlexNet:非飽和ニューロン(ReLU)、畳み込みの効率的なGPU実装、全結合層のdropoutで大規模な分類に成功したVGG:畳み込みネットワークの深さが精度に与える影響を、3×3フィルタの構成で系統的に評価した
学習の工夫AlexNet:ReLUで学習を速め、GTX 580(3GB)2枚で5〜6日かけて学習。dropoutで全結合層の過学習を減らすVGG:すべての隠れ層にReLUを使う。2×2の窓・ストライド2の最大プーリングを5層入れる
ILSVRCでの成績AlexNet:変種をILSVRC-2012に出し、top-5誤り率15.3%(2位は26.2%)で優勝VGG:ILSVRC 2014の提出で、位置特定で1位、分類で2位

どこで迷っているかを切り分ける

01

「2012年の優勝」「dropout」という語が出る人

AlexNetです。全結合層の過学習を減らすためにdropoutを使い、変種をILSVRC-2012に出してtop-5誤り率15.3%で優勝しました。

02

「3×3のフィルタ」「16〜19層」という語が出る人

VGGです。小さな3×3のフィルタを重ねる構成で、深さを16〜19の重み層まで押し進めると大きな改善が得られると示しました。

03

フィルタの大きさと層の数を逆に覚えてしまう人

AlexNetは大きなフィルタ(第1層は11×11)で8層、VGGは小さなフィルタ(3×3)で16〜19層です。「大きいフィルタで浅い、小さいフィルタで深い」と対にして覚えます。

具体例で使い分ける

例 1

選択肢に「第1層に11×11のフィルタ」が出る場合(架空の場面)

「第1層に11×11のフィルタをストライド4で使い、ReLUとdropoutでILSVRC-2012に優勝したモデルはどれか」という問いがあります。

  • 第1層の11×11のフィルタとストライド4は、AlexNetの構成です。VGGの論文も、AlexNetの例として「11×11でストライド4」を挙げています。
  • ReLU・dropout・ILSVRC-2012の優勝も、AlexNetの記述です。

結論: 11×11のフィルタとILSVRC-2012の優勝が並べばAlexNetです。

例 2

選択肢に「3×3のフィルタを重ねて深くした」が出る場合(架空の場面)

「3×3の小さな畳み込みフィルタを用い、深さを16〜19の重み層まで押し進めたモデルはどれか」という問いがあります。

  • 非常に小さい3×3のフィルタと、16〜19の重み層はVGGの論文の抄録そのものです。
  • VGGの論文は、3×3の畳み込み層を2つ重ねると5×5の受容野と同じ範囲を見られると説明しています。小さなフィルタでも、重ねれば広い範囲を見られます。

結論: 3×3のフィルタを重ねた16〜19層ならVGGです。

例 3

ILSVRCでの成績を問われる場合

AlexNetとVGGの大会での成績を取り違えない問いです。

  • AlexNetは変種をILSVRC-2012に出して優勝しました。top-5誤り率は15.3%で、2位は26.2%でした。
  • VGGはILSVRC 2014の提出で、位置特定が1位、分類が2位でした。分類で優勝したのはVGGではありません。

結論: 2012年の優勝はAlexNet、2014年は位置特定1位・分類2位のVGGです。

問題文から答えを選ぶ手順

  1. 1

    フィルタの大きさを見る

    「11×11」「ストライド4」ならAlexNet、「3×3」「小さなフィルタ」ならVGGです。

  2. 2

    層の数を見る

    学習する層が8つ(畳み込み5・全結合3)ならAlexNet、16〜19の重み層ならVGGです。

  3. 3

    工夫を見る

    「dropout」「GPU」「非飽和ニューロン」が論文の中心ならAlexNet、「深さの影響の評価」が中心ならVGGです。

  4. 4

    年と成績を見る

    2012年のILSVRCで15.3%の優勝ならAlexNet、2014年の位置特定1位・分類2位ならVGGです。

試験での見分け方

  • 1AlexNetは、学習する層が8つ(畳み込み5・全結合3)で、第1層に11×11のフィルタをストライド4で使う。
  • 2AlexNetはReLUで学習を速め、dropoutで全結合層の過学習を減らし、ILSVRC-2012で15.3%(2位は26.2%)の優勝をした。
  • 3VGGは、3×3の小さなフィルタを重ねて、深さを16〜19の重み層まで押し進めた。
  • 4VGGはILSVRC 2014の提出で、位置特定1位・分類2位だった。

誤答しやすい選択肢

VGGをILSVRC-2014の分類の優勝モデルと考える

修正: VGGの論文は、2014年の提出で位置特定が1位、分類が2位だったと述べています。分類で1位ではありません。

AlexNetのフィルタをVGGと同じ3×3と考える

修正: AlexNetの第1層は11×11のフィルタをストライド4で使います。3×3を全体で使うのはVGGです。

ReLUをVGGの発明と考える

修正: VGGの論文は、ReLUをAlexNetの論文(Krizhevskyら、2012)の引用として使っています。ReLUで学習を速めたことが、AlexNetの論文の中心の1つです。

確認問題

Q1第1層に11×11のフィルタをストライド4で使い、ILSVRC-2012でtop-5誤り率15.3%で優勝したCNNは?

答え: AlexNet

学習する層は畳み込み5・全結合3の8つで、2位の誤り率は26.2%でした。

Q2非常に小さい3×3のフィルタで深さを16〜19の重み層まで押し進めたCNNは?

答え: VGG

ILSVRC 2014の提出で、位置特定が1位、分類が2位でした。

Q3AlexNetが全結合層の過学習を減らすために使った正則化手法は?

答え: dropout

ReLUは学習を速めるために使いました。過学習を減らすのはdropoutです。

到達チェック

  • AlexNetの第1層の11×11・ストライド4を言える
  • VGGの3×3フィルタと16〜19層を言える
  • ILSVRC-2012の優勝(AlexNet)と、2014年の位置特定1位・分類2位(VGG)を取り違えない

同じ資格で次に知りたいこと

よくある質問

QAlexNetとVGGの違いは?

A

AlexNetは第1層に11×11のフィルタを使う8層のCNNで、ILSVRC-2012で優勝しました。VGGは3×3の小さなフィルタを重ねて16〜19層まで深くしたCNNで、ILSVRC 2014の提出で位置特定1位・分類2位でした。

QVGGの3×3フィルタにはどんな意味がありますか?

A

VGGの論文は、3×3の畳み込み層を2つ重ねると5×5の受容野と同じ範囲を見られると説明しています。大きなフィルタを1つ使う代わりに、小さなフィルタを重ねて深くする設計です。

QAlexNetの層の数は?

A

原論文は、学習する層は8つ(畳み込み層5・全結合層3)と述べています。パラメータは6000万、ニューロンは65万です。

次に見る比較

執筆: AI資格ドリル編集部(運営者情報を見る)