G検定 大項目5 ディープラーニングの要素技術 予想問題（2/2）

この事例では「変分推論を用いるエンコーダ・デコーダ型生成モデルか」を確認すると、変分オートエンコーダ（VAE）に絞れる。正解は「変分オートエンコーダ（VAE）」である。変分オートエンコーダ（VAE）は、エンコーダで入力を潜在ベクトル（潜在空間）に圧縮し、デコーダで復元する構造を持つ生成モデルで、潜在空間からサンプリングして新しいデータを生成できる。CNNは主に画像認識、SVM・決定木は分類・回帰の手法で、生成モデルではない。 圧縮・復元の構造と生成可能な潜在空間を一組で照合する。CNNは局所特徴の抽出、SVMと決定木は主に分類・回帰を行う手法であり、エンコーダで分布を表現し潜在空間からサンプリングする変分オートエンコーダが該当する。 比較対象には「畳み込みニューラルネットワーク（CNN）」、「サポートベクターマシン（SVM）」も含まれる。

https://www.jdla.org/certificate/general/ ／ G検定シラバス2024（第1.4版・2026-07-05照合）

この事例では「離れたトークン間の依存関係を直接計算するか」を確認すると、系列内の各要素が、同じ系列内の他の要素とどれだけ関連するかを計算し、文脈に応じた表現を作るに絞れる。正解は「系列内の各要素が、同じ系列内の他の要素とどれだけ関連するかを計算し、文脈に応じた表現を作る」である。自己注意（Self-Attention）は、系列内の各要素が同じ系列内の他の要素とどれだけ関連するか（注意の重み）を計算し、文脈に応じた表現を作る仕組みである。畳み込みはCNN、1つずつ順番に処理して状態を渡すのはRNN、ランダムに間引くのはドロップアウトの説明であり、いずれも自己注意とは異なる。処理の違いを、画像の局所処理、時系列の逐次処理、過学習対策、系列内の関連計算に分ける。Transformerの自己注意に対応するのは、同じ系列の要素同士を比較して文脈を作る処理である。

https://www.jdla.org/certificate/general/ ／ G検定シラバス2024（第1.4版・2026-07-05照合）

この事例では「系列の位置をモデルへ明示する情報か」を確認すると、再帰や畳み込みを使わず要素を並列に扱うため、単語の順序（位置）の情報が失われるからに絞れる。正解は「再帰や畳み込みを使わず要素を並列に扱うため、単語の順序（位置）の情報が失われるから」である。Transformerは再帰（RNN）や畳み込みを使わず、系列の要素を並列に処理するため、そのままでは単語の順序（位置）の情報が失われてしまう。そこで各要素に位置情報を付与する位置エンコーディングが用いられる。正規化・学習率調整・メモリ記録とは無関係。設問では、Transformerの並列処理によって不足する情報と、それを補う処理を対応させる。画像の値、学習率、GPUメモリではなく、系列内で単語がどの位置にあるかという情報を付ける必要がある。

https://www.jdla.org/certificate/general/ ／ G検定シラバス2024（第1.4版・2026-07-05照合）

この事例では「潜在分布を学習して新規標本を生成するか」を確認すると、変分オートエンコーダ（VAE）に絞れる。正解は「変分オートエンコーダ（VAE）」である。変分オートエンコーダ（VAE）は、エンコーダで入力を潜在ベクトル（潜在空間）に圧縮し、デコーダで復元する構造を持つ生成モデルで、潜在空間からサンプリングして新しいデータを生成できる。CNNは主に画像認識、SVM・決定木は分類・回帰の手法で、生成モデルではない。 圧縮・復元の構造と生成可能な潜在空間を一組で照合する。CNNは局所特徴の抽出、SVMと決定木は主に分類・回帰を行う手法であり、エンコーダで分布を表現し潜在空間からサンプリングする変分オートエンコーダが該当する。 比較対象には「畳み込みニューラルネットワーク（CNN）」、「サポートベクターマシン（SVM）」も含まれる。

https://www.jdla.org/certificate/general/ ／ G検定シラバス2024（第1.4版・2026-07-05照合）

この事例では「要素間の関連を注意の重みとして求めるか」を確認すると、系列内の各要素が、同じ系列内の他の要素とどれだけ関連するかを計算し、文脈に応じた表現を作るに絞れる。正解は「系列内の各要素が、同じ系列内の他の要素とどれだけ関連するかを計算し、文脈に応じた表現を作る」である。自己注意（Self-Attention）は、系列内の各要素が同じ系列内の他の要素とどれだけ関連するか（注意の重み）を計算し、文脈に応じた表現を作る仕組みである。畳み込みはCNN、1つずつ順番に処理して状態を渡すのはRNN、ランダムに間引くのはドロップアウトの説明であり、いずれも自己注意とは異なる。処理の違いを、画像の局所処理、時系列の逐次処理、過学習対策、系列内の関連計算に分ける。Transformerの自己注意に対応するのは、同じ系列の要素同士を比較して文脈を作る処理である。

https://www.jdla.org/certificate/general/ ／ G検定シラバス2024（第1.4版・2026-07-05照合）

この事例では「同じ語集合でも並び順を区別させるか」を確認すると、再帰や畳み込みを使わず要素を並列に扱うため、単語の順序（位置）の情報が失われるからに絞れる。正解は「再帰や畳み込みを使わず要素を並列に扱うため、単語の順序（位置）の情報が失われるから」である。Transformerは再帰（RNN）や畳み込みを使わず、系列の要素を並列に処理するため、そのままでは単語の順序（位置）の情報が失われてしまう。そこで各要素に位置情報を付与する位置エンコーディングが用いられる。正規化・学習率調整・メモリ記録とは無関係。設問では、Transformerの並列処理によって不足する情報と、それを補う処理を対応させる。画像の値、学習率、GPUメモリではなく、系列内で単語がどの位置にあるかという情報を付ける必要がある。

https://www.jdla.org/certificate/general/ ／ G検定シラバス2024（第1.4版・2026-07-05照合）