用語比較
CNNとVision Transformerの違い（画像の見方で比較）
CNN（畳み込みニューラルネットワーク）とVision Transformer（ViT）は、どちらも画像認識に使われるモデルで、G検定の大項目6「ディープラーニングの応用例」に出てきます。違いは、画像の構造をモデルの側にあらかじめ組み込んでいるか、画像を小さなパッチに分けた系列として扱うかです。
CNNは局所性と平行移動への対応を各層に組み込み、ViTは画像をパッチの系列にして自己注意（Self-Attention）で処理します。用語集では、Vision Transformerは画像を小さなパッチに分割して系列として扱い、自己注意の仕組みを画像認識に応用したモデルとされています。
ViTの原論文は、CNNに頼らなくても、画像パッチの系列に純粋なTransformerを直接適用して画像分類で高い性能を出せると述べています。同時に、ImageNetのような中規模のデータで強い正則化なしに学習すると、同程度の大きさのResNetを数ポイント下回ると報告しています。
このページは、ViTを「CNNの改良版」と考えている人や、設問の説明文からCNNとViTを選べない人を対象にしています。見分けるポイントは、画像をパッチの系列として扱うかと、局所性や平行移動への対応を各層に組み込むかです。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。
結論
CNN
畳み込み層とプーリング層を重ねて画像の特徴を取り出すモデル。原論文の整理では、局所性、2次元の近傍構造、平行移動への対応（同変性）がモデル全体の各層に組み込まれている。
Vision Transformer（ViT）
画像を固定サイズの小さなパッチに分け、平らに並べた系列としてTransformerに入力するモデル。自己注意の層は画像全体を対象にし、画像特有の前提はCNNよりずっと少ない。
違いを表で確認
| 比較軸 | CNN | Vision Transformer（ViT） |
|---|---|---|
| 画像の扱い方 | 画像を2次元の格子のまま、畳み込みで局所領域ごとに処理する | 画像を小さなパッチに分け、平らにした系列として入力する |
| 画像向けの前提（帰納バイアス） | 局所性、2次元の近傍構造、平行移動への対応が各層に組み込まれている | CNNよりずっと少ない。MLP層だけが局所的で平行移動に同変、自己注意の層は全体を見る |
| 中核の仕組み | 畳み込み層とプーリング層 | 自己注意（Self-Attention）を持つTransformer |
| 2次元構造の使い方 | 各層で近傍構造を使う | モデルの入り口で画像をパッチに切るときと、微調整で位置埋め込みを合わせるときにだけ使う |
| 中規模のデータでの学習 | ResNetは、同程度の大きさのViTより数ポイント高い精度を示した | ImageNetのような中規模のデータで強い正則化なしに学習すると、ResNetを数ポイント下回った |
| 試験での手掛かり | 「畳み込み」「局所的な特徴」「プーリング」 | 「パッチに分割」「系列として扱う」「自己注意」 |
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
ViTをCNNの一種だと思っている人
ViTは畳み込み層を中核にしません。画像をパッチの系列にして、自然言語処理で使われるTransformerを画像認識に応用したモデルです。
ViTが常にCNNより高精度だと覚えている人
原論文は、中規模のデータではResNetを下回り、大規模なデータで事前学習すると最先端に並ぶか上回ると報告しています。データの規模を抜いて優劣は決められません。
Transformerを文章専用だと思っている人
Transformerは自然言語処理で標準的な構造になりましたが、ViTは同じ構造を画像のパッチの系列に適用しました。入力の作り方を変えれば、画像にも使えます。
具体例で使い分ける
例 1
画像をパッチに分割して系列として扱う
設問文に、画像を小さなパッチに分け、自己注意の仕組みで処理する、とある場面です。
- 入力が、パッチを並べた系列になっています。
- 自己注意を画像認識に応用するのは、Vision Transformerの特徴です。
結論: パッチの系列に自己注意を使うので、Vision Transformerです。
例 2
畳み込みとプーリングで特徴を取り出す
設問文に、畳み込み層で局所的な特徴を取り出し、プーリング層で情報をまとめる、とある場面です。
- 局所領域ごとに処理する流れです。
- 自己注意やパッチの系列には触れていません。
結論: 畳み込みとプーリングが中心なので、CNNです。
例 3
大規模なデータで事前学習すると性能が出る
設問文に、大規模なデータで事前学習してから小さなデータへ転移すると、CNNに並ぶ結果が得られた、とある場面です。
- 原論文は、14M〜300M枚の規模の学習では、画像向けの前提が少ないことの不利を大規模な学習が上回ったと述べています。
- この条件は、ViTの報告に当たります。
結論: 大規模な事前学習が効く話なので、Vision Transformerです。
問題文から答えを選ぶ手順
- 1
入力の形を見る
画像をパッチに分けて系列として扱う説明ならVision Transformer、畳み込みで局所領域を処理する説明ならCNNです。
- 2
中核の仕組みを確認する
畳み込み層とプーリング層ならCNN、自己注意ならViTです。「Transformer」の語があれば、ViTの側を疑います。
- 3
画像向けの前提を確認する
局所性や平行移動への対応を層に組み込んでいるのはCNNです。ViTはその前提が少ないぶん、大量のデータで補う考え方です。
- 4
データの規模を条件として読む
性能の優劣は、学習データの規模で変わります。設問が規模に触れていないときは、優劣ではなく仕組みの違いを答えます。
試験での見分け方
- 1画像をパッチに分けて系列として扱い、自己注意で処理するならVision Transformer。
- 2畳み込み層とプーリング層で局所的な特徴を取り出すならCNN。
- 3局所性と平行移動への対応を各層に組み込んでいるのはCNN。
- 4ViTは画像向けの前提が少なく、大規模なデータでの事前学習で性能を出す。
- 5中規模のデータでは、同程度の大きさのResNetを下回ることがある。
誤答しやすい選択肢
ViTを畳み込みを使うモデルだと考える
修正: ViTは、画像パッチの系列に純粋なTransformerを適用するモデルです。原論文は、画像認識にCNNへ頼る必要はないと述べています。
ViTがどんな条件でもCNNより高精度だと考える
修正: 原論文は、ImageNetのような中規模のデータで強い正則化なしに学習すると、同程度のResNetを数ポイント下回ると報告しています。大規模なデータで事前学習したときに、最先端に並ぶか上回ります。
CNNの局所性をTransformerも同じように持つと考える
修正: ViTでは、局所的で平行移動に同変なのはMLP層だけで、自己注意の層は画像全体を対象にします。
Transformerを文章にしか使えない構造だと考える
修正: ViTは、Transformerの入力を画像のパッチの系列にして、画像分類に使ったモデルです。
確認問題
Q1画像を小さなパッチに分割して系列として扱い、自己注意を使うモデルは？
答え: Vision Transformer（ViT）
パッチの系列に自己注意を適用する点が、ViTの特徴です。
Q2局所性や平行移動への対応を各層に組み込んでいるモデルは？
答え: CNN
原論文は、CNNでは局所性、2次元の近傍構造、平行移動への対応がモデル全体の各層に組み込まれていると述べています。
Q3ViTの原論文で、中規模のデータでの学習の結果はどう報告された？
答え: 同程度の大きさのResNetを数ポイント下回った
画像向けの前提が少ないため、データが足りないと一般化しにくいと説明されています。
Q4ViTが最先端に並ぶ、または上回るのはどんなときか？
答え: 大規模なデータで事前学習し、小さなタスクへ転移したとき
原論文は、大規模な学習が画像向けの前提を上回ると述べています。
到達チェック
- ViTを、画像パッチの系列に自己注意を使うモデルとして説明できる
- CNNが各層に組み込んでいる前提（局所性・平行移動への対応）を説明できる
- ViTが中規模のデータでResNetを下回る理由を説明できる
- 大規模な事前学習がViTに効く点を説明できる
- 畳み込み層とプーリング層、自己注意を手掛かりに設問を読み分けられる
関連ページで確認する
同じ資格で次に知りたいこと
- YOLOとFaster R-CNNの違い（領域提案の有無で比較）
YOLOとFaster R-CNNの違いを、領域提案の有無、1回の評価で予測するか二段階か、原論文の記述から解説。G検定の物体検出で問われる判断手順と確認問題つきです。
- 拡散モデルとGANの違い（ノイズ除去と敵対的学習で比較）
拡散モデルとGANの違いを、ノイズを加える過程を逆にたどるか、生成器と識別器を競わせるかから解説。G検定の画像生成で問われる判断手順と確認問題つきです。
- SVMとロジスティック回帰の違い（マージンの最大化と、確率のモデル化）
サポートベクターマシン（SVM）とロジスティック回帰の違いを、決定に使うデータ、確率の扱い、カーネルの使い方、G検定での判断手順と確認問題まで解説します。どちらも分類に使う教師あり学習の手法です。
よくある質問
QCNNとViTは何が違う？
CNNは畳み込みで局所領域を処理し、ViTは画像をパッチの系列にして自己注意で処理します。画像向けの前提は、CNNが各層に組み込み、ViTは少なめです。
QViTは何の略？
Vision Transformerの略です。Transformerの構造を画像認識に応用したモデルです。
QViTはCNNより精度が高い？
条件によります。原論文は、中規模のデータではResNetを数ポイント下回り、大規模なデータで事前学習すると最先端に並ぶか上回ると報告しています。
QViTはなぜパッチに分ける？
標準的なTransformerは、トークンの1次元の系列を入力にします。2次元の画像を扱うため、画像を平らにしたパッチの系列に変換します。
QCNNの局所性とは？
近くの画素どうしを組にして特徴を取り出す性質です。原論文は、CNNでは局所性が各層に組み込まれていると述べています。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部（運営者情報を見る）