ディープラーニングの概要・要素技術

G検定のオートエンコーダ4つの型の違い

G検定のシラバスには、キーワードとして「積層オートエンコーダ」（大項目4）と「変分オートエンコーダ（VAE）」（大項目5）が載っています。どちらも、オートエンコーダという共通の土台の上にあります。オートエンコーダは、入力を符号に圧縮するエンコーダと、符号から入力を作り直すデコーダの2部分で作る、入力を再現するニューラルネットワークです。

このページは、教科書『Deep Learning』第14章とVAEの原論文の記述をもとに、不完備型・スパース型・ノイズ除去型・積層型の違いと、VAEとのつながりを整理しています。

公式情報の確認

試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。当サイトの一次情報確認日: 2026-10-02。

試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。

結論

オートエンコーダは、エンコーダ（入力から符号を作る）とデコーダ（符号から再構成を作る）の2部分からなる
完全なコピーを学んでも役に立たないので、近似的にしかコピーできないよう制限をかける
不完備型は、符号の次元を入力より小さくする。線形ならPCAと同じ部分空間になる
スパース型は符号へのペナルティを足し、ノイズ除去型は壊した入力から元を当てさせる
積層型は、浅いオートエンコーダを積み重ねる事前学習で深い構造を作る
VAEは、潜在変数を持つ生成モデルをオートエンコーダの一形態と見なせる例

エンコーダとデコーダ

教科書『Deep Learning』の第14章は、オートエンコーダを、入力を出力へ写し取ろうと訓練されるニューラルネットワークと説明します。内部に、入力を表す符号（code）を持つ隠れ層hがあり、ネットワークは2つの部分に分かれます。

エンコーダ関数 h=f(x)。入力から符号を作る
デコーダ。符号から再構成 r=g(h) を作る

同書は、g(f(x))=x をどんな入力でも成り立たせるだけでは特に役に立たないと述べます。そこでオートエンコーダは、完全にはコピーできないように設計され、通常は近似的にしかコピーできない制限を受けます。モデルは、入力のどの側面をコピーすべきかを優先づけざるを得なくなり、結果としてデータの有用な性質を学ぶことが多い、という説明です。

関心があるのはデコーダの出力そのものではなく、途中の符号hが持つ性質です。同書は、理論上の例として、符号が1次元でも非常に強力な非線形のエンコーダがあれば、各訓練例を番号で表し、デコーダがその番号から訓練例へ戻せると述べます。実際には起きない場面ですが、容量が大きすぎると、コピーの訓練をしてもデータについて何も学べない可能性があることを示す例です。この「容量を制限する方法」の違いが、次の4つの型の違いになります。

一次資料: Goodfellow, Bengio, Courville『Deep Learning』第14章

4つの型の比較

容量を制限する方法と、それが何を狙うかを並べると次のとおりです。

型	制限のかけ方	狙い	補足
不完備型	符号の次元を入力の次元より小さくする	学習データの最も顕著な特徴を捉えさせる	デコーダが線形で損失が平均二乗誤差なら、PCAと同じ部分空間を張る
スパース型	再構成誤差に加えて、符号の層へスパース性のペナルティを足す	データの固有の統計的特徴に反応させ、恒等関数になるのを避ける	分類など別の課題のための特徴を学ぶのに典型的に使われる
ノイズ除去型	ノイズで壊した入力を与え、壊す前の入力を出力させる	壊れた入力を元に戻す過程で、データの構造を学ぶ	入力をただ写し取るだけでは解けない課題になる
積層型	浅いオートエンコーダを積み重ねる	深い構造を、浅いものの貪欲な事前学習で作る	シラバスのキーワード欄に「積層オートエンコーダ」が載る

最初に見るのは、何を変えて制限しているかです。符号の次元、損失関数へのペナルティ、入力そのもの、層の積み方の4つに分かれます。

不完備型とPCA

有用な特徴を得る1つの方法は、符号hの次元を入力xより小さくすることです。符号の次元が入力の次元より小さいオートエンコーダを、不完備（undercomplete）オートエンコーダと呼びます。教科書は、不完備型の学習が、学習データの最も顕著な特徴を捉えさせることになると述べます。

学習は、損失関数 L(x, g(f(x))) の最小化です。たとえば平均二乗誤差を使います。デコーダが線形で、損失が平均二乗誤差なら、不完備型は主成分分析（PCA）と同じ部分空間を張ります。非線形のエンコーダとデコーダを使うと、PCAの非線形な一般化を学べる、というのが同書の説明です。

「次元を減らして圧縮する」「線形ならPCAに一致する」が、不完備型の2つの手がかりです。従来のオートエンコーダは、次元削減や特徴学習に使われてきたと同書は述べています。 PCAそのものはk-meansとPCAのページで確認できます。

一次資料: 『Deep Learning』14.1節 Undercomplete Autoencoders

スパース型とノイズ除去型

符号の次元を小さくしなくても、別の方法で有用な特徴を学ばせられます。教科書は、この仲間を正則化されたオートエンコーダとして扱い、スパース型とノイズ除去型を挙げています。

スパース型は、ペナルティを足す

スパース・オートエンコーダは、再構成誤差に加えて、符号の層hへのスパース性のペナルティΩ(h)を学習の基準に含めたものです。損失は L(x, g(f(x))) + Ω(h) の形になります。教科書は、分類のような別の課題のための特徴を学ぶのに、典型的に使われると述べます。スパースになるよう正則化されたオートエンコーダは、単に恒等関数として働くのではなく、訓練したデータセット固有の統計的特徴に反応しなければならなくなります。

ノイズ除去型は、入力を壊す

ノイズ除去オートエンコーダ（DAE）は、ペナルティを足さず、コスト関数の再構成誤差の項を変えます。通常のオートエンコーダは L(x, g(f(x))) を最小化しますが、DAEは、何らかのノイズで壊したxのコピーを入力にして、L(x, g(f(x̃))) を最小化します。壊れた入力から壊す前のデータ点を予測するよう訓練されるので、単に入力を写し取るのではなく、壊れ方を取り消す必要があります。同書は、この訓練によって、fとgがデータの分布の構造を暗黙のうちに学ぶことになると述べます。

「符号にペナルティ」ならスパース型、「入力を壊して元に戻す」ならノイズ除去型と、変えている場所で見分けます。

一次資料: 『Deep Learning』14.2節 Regularized Autoencoders、14.5節 Denoising Autoencoders

積層型と事前学習

オートエンコーダのエンコーダとデコーダは、どちらも1層に限りません。教科書は、深いオートエンコーダは、浅いものや線形のものよりずっと良い圧縮を実験的に得られると述べ、Hinton and Salakhutdinov（2006）を挙げています。

深いオートエンコーダを訓練する一般的な戦略は、浅いオートエンコーダを積み重ねて、深い構造を貪欲に事前学習することです。そのため、最終的な目標が深いオートエンコーダでも、浅いオートエンコーダに出会うことがよくある、という説明です。このサイトの用語集も、積層オートエンコーダを、オートエンコーダの隠れ層を積み重ねた構造で、1層ずつ順番に学習させてから全体を結合する手法と説明しています。

積層型は新しい種類の損失ではなく、層の積み方と学習の順番の話です。事前学習そのものは積層オートエンコーダの用語解説で確認できます。

一次資料: 『Deep Learning』14.3節 Representational Power, Layer Size and Depth

VAEとの関係

教科書は、従来のオートエンコーダが次元削減や特徴学習に使われてきたのに対し、近年は潜在変数モデルとの理論的な結びつきから、生成モデルの前面に出てきたと述べます。現代のオートエンコーダは、決定論的な関数から、確率的な写像 p_encoder(h|x) と p_decoder(x|h) へ一般化されているとも述べます。

VAEの原論文（Kingma and Welling、『Auto-Encoding Variational Bayes』）は、近似推論モデル（認識モデルとも呼ぶ）を学習して、ニューラルネットワークで構成した場合が変分オートエンコーダだと述べます。観測されない変数zは、符号化理論の観点から、潜在表現または符号と解釈でき、認識モデルq(z|x)は確率的エンコーダ、p(x|z)は確率的デコーダと呼ばれます。

通常のオートエンコーダは符号を1つの値として返し、VAEは符号の分布を扱う、と整理します。VAEの位置づけとGAN・拡散モデルとの違いは生成モデルのページ、2つの違いだけを確認したいときはオートエンコーダとVAEの違いで確認できます。

一次資料: 『Deep Learning』第14章、Kingma and Welling, arXiv:1312.6114

シラバスのどこに出るか

JDLA公式シラバスでは、オートエンコーダに関わるキーワードは次の2か所に載っています。

場所	内容
大項目4「ディープラーニングの概要」の学習の仕組み	キーワード欄に「積層オートエンコーダ」が並ぶ。誤差逆伝播法や事前学習と同じ並び
大項目5「ディープラーニングの要素技術」の生成モデルと注意機構	キーワード欄に「変分オートエンコーダ（VAE）」が並ぶ。Attention・Transformerと同じ並び

10大項目全体の位置づけは出題範囲の整理にまとめています。