生成AIパスポート 第2章 生成AI（ジェネレーティブAI） 予想問題（3/3）

この事例では「データセットではなく学習で更新される内部変数か」を確認すると、パラメータとは、AIモデルの学習（訓練）に用いるために集められた、データの集まりであるに絞れる。正解は「パラメータとは、AIモデルの学習（訓練）に用いるために集められた、データの集まりである」（誤り）である。パラメータは、GPTモデルの世代が進むにつれて一般に増加してきた、モデルの規模を表す指標でモデル内部で調整される値であり、設問の説明はデータセットの定義をパラメータに誤って当てはめている。自然言語処理・データセット・ハルシネーションの説明はいずれも正しい。パラメータ数はモデルの表現力に関わる指標として、GPTモデルの世代比較でもしばしば言及される。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-010/019/026/001)の定義との整合性確認

この事例では「アラインメントとプロンプトエンジニアリングの目的を区別するか」を確認すると、プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みであるに絞れる。正解は「プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みである」（誤り）である。プロンプトエンジニアリングは、生成AIから望ましい出力を得るために指示（プロンプト）の与え方を工夫・設計する取り組みであり、設問の説明はアライメントの定義をプロンプトエンジニアリングに誤って当てはめている。転移学習・ファインチューニング・アライメントの説明はいずれも正しい。プロンプトエンジニアリングは、モデル自体を再学習させずに出力を改善できる手軽な手法として広く使われている。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch1-010/ch2-008/ch5-004/ch2-025)の定義との整合性確認

正解は「生成器」です。GANの生成器はノイズから候補データを作り、識別器がその候補を訓練データ由来だと誤って判定する確率を高めるように学習する。識別器は候補を作る側ではなく、標本が訓練データ由来か生成器由来かを推定する側である。VAEのエンコーダは観測データから潜在表現を推論し、デコーダは潜在表現から観測データ側を生成・復元する。設問では、入力がノイズであることと、相手の判定を誤らせる目的の両方を確認すると生成器に絞れる。候補作成と由来判定を一組として覚えると、二つの役割を逆にする誤答を除ける。

https://arxiv.org/abs/1406.2661 （Generative Adversarial Networks原論文、2026-08-31確認）

正解は「識別器は訓練データと生成器の候補の由来を見分けるよう更新し、生成器は識別器の誤判定を増やすよう更新する」です。GANの原論文では、識別器Dは標本が訓練データ由来か生成器G由来かの確率を推定し、生成器GはDが誤る確率を高めるよう学習する。この二つの目的を対立させるため、Dには実データと生成候補の双方が必要になる。候補だけを見せる手順や両者を固定する手順では対立学習が成立しない。エンコーダとデコーダで潜在表現を扱う手順はVAE側であり、識別器を用いるGANのデータフローとは別である。

https://arxiv.org/abs/1406.2661 （Generative Adversarial Networks原論文、2026-08-31確認）

正解は「エンコーダ」です。VAEでは、エンコーダに当たる認識モデルが観測データを受け取り、そのデータに対応する潜在変数の近似事後分布を推論する。デコーダに当たる生成モデルは逆向きに、潜在変数から観測データの分布を表す。生成器と識別器はGANの対立学習を構成する役割である。設問では、処理の向きが観測データから潜在側へ進むことを確認すると、デコーダとの取り違えを防げる。入力と出力の向きを矢印で整理し、観測データ→潜在側ならエンコーダ、潜在側→観測データならデコーダと対応させる。

https://arxiv.org/abs/1312.6114 （Auto-Encoding Variational Bayes原論文、2026-08-31確認）

正解は「確率的な潜在変数を含む目的を勾配法で最適化できる形にするため」です。VAEの原論文が示す再パラメータ化では、潜在変数の確率的な標本化を入力とは独立なノイズへ分け、エンコーダが出す値との決定的な変換として表す。これにより、確率的な潜在変数を含む変分下限の推定量を通常の確率的勾配法で最適化しやすくなる。識別器と生成器の競合はGAN、系列を順番に処理するのはRNN、局所特徴の畳み込みはCNNの仕組みであり、いずれもVAEでノイズを分けて表す目的ではない。

https://arxiv.org/abs/1312.6114 （Auto-Encoding Variational Bayes原論文、2026-08-31確認）

正解は「visible-hidden間を結合し、同じ層のunit同士には直接結合を置かない」です。RBMは、観測されるvisible unitと特徴を表すhidden unitからなる2層ネットワークで、両層の間には対称な重み付き結合がある。一方、hidden unit同士にもvisible unit同士にも直接結合を置かないことが『制約付き』の構造に当たる。片方の層だけで結ぶ説明では2層間の関係を表せず、すべてを相互接続する説明では制約がなくなる。どこを結び、どこを結ばないかを一組で確認する。

https://www.cs.toronto.edu/~hinton/absps/guideTR.pdf （A Practical Guide to Training Restricted Boltzmann Machines、2026-08-31確認）

正解は「Query＝照合したい要求、Key＝各要素を照合する手掛かり、Value＝重みに応じて集約する内容」です。Scaled Dot-Product Attentionでは、ある位置のQueryと各位置のKeyの類似度から注意の重みを作り、その重みで各位置のValueを集約する。したがって、QueryとKeyはどこをどれだけ参照するかを決め、Valueは参照結果として運ばれる内容に当たる。出力順序は位置情報、学習率と損失関数は学習の設定、正解ラベルと訓練データは教師や入力のデータであり、Query・Key・Valueの三役ではない。

https://arxiv.org/abs/1706.03762 （Attention Is All You Need原論文、2026-08-31確認）

正解は「11」です。Attentionの出力は、softmaxで正規化された注意重みを各Valueへ掛けて足し合わせる。この場合は0.75×8＋0.25×20＝6＋5＝11となる。14はValueの単純平均(8＋20)÷2で、注意重みの違いを無視している。28はValueをそのまま足した値、7は注意重みをValueへ掛けずに別々の数だけを操作した値である。重みの合計が0.75＋0.25＝1であることを確かめてから、重みとValueの対応を崩さず各積を合計する。この順に計算すれば、単純平均や単純合計との違いも検算できる。

https://arxiv.org/abs/1706.03762 （Scaled Dot-Product Attention、2026-08-31確認）

正解は「次元が大きいと内積が過大になり、softmaxの勾配が極めて小さくなりやすい影響を抑えるため」です。原論文ではKeyの次元が大きいとQueryとKeyの内積も大きくなりやすく、softmaxが飽和して勾配が非常に小さくなるため、内積をKeyの次元数の平方根で割る。これは数値の尺度を調整する処理であり、RNNのような逐次処理を強制するものではない。Valueを教師ラベルへ変換する処理でも、語順を伝える位置エンコーディングを置き換える処理でもない。

https://arxiv.org/abs/1706.03762 （Scaled Dot-Product Attention、2026-08-31確認）

正解は「Query・Key・Valueを異なる線形射影へ写した各headで並列計算し、異なる位置や表現部分空間の情報を扱う」です。Multi-Head Attentionでは、複数組の学習済み線形射影でQuery・Key・Valueを変換し、各headのAttentionを並列に計算してから結果を連結する。単なる同一結果の複製や多数決ではなく、異なる関係を捉えられることが要点である。また、head同士で再帰状態を順番に渡すRNNの構造ではなく、位置情報以外のheadでAttentionを停止する仕組みでもない。

https://arxiv.org/abs/1706.03762 （Multi-Head Attention、2026-08-31確認）

正解は「現在位置より後にある、まだ生成していない出力位置の参照」です。decoderのmasked self-attentionは、ある位置から見て後続する位置への接続をsoftmax前に遮断し、その位置の予測が既に生成された位置までの出力だけに依存するようにする。これにより、訓練時に正解系列全体が与えられていても未来の正解を先読みできず、生成時と整合する自己回帰性が保たれる。「現在位置より前に生成済みの出力位置の参照」と「現在位置自身の情報の参照」は許され、「encoderが作った入力系列の表現の参照」はencoder-decoder attentionで別に行える。

https://arxiv.org/abs/1706.03762 （Transformer decoder masking、2026-08-31確認）

正解は「6」です。Scaled Dot-Product Attentionでは、QueryとKeyの内積をKeyの次元数の平方根で割ってからsoftmaxへ渡す。Keyの次元数は9なので平方根は3となり、18÷√9＝18÷3＝6である。2は18を次元数9で直接割った値、3は√9だけを求めて内積18を割っていない値、18はスケーリング前の内積をそのまま残した値である。分母が次元数そのものではなく、その平方根であることを先に確認して計算する。

https://arxiv.org/abs/1706.03762 （Scaled Dot-Product Attention、2026-08-31確認）

正解は「12本」です。RBMはvisible unitとhidden unitの層間を結び、visible同士とhidden同士には直接結合を置かない。設問では4個のvisible unitそれぞれが3個のhidden unitすべてと1本ずつ結ばれるため、層間結合は4×3＝12本になる。7本はunit数4＋3の合計、16本は4×4、21本は7×3であり、いずれも二つの層の全組合せを数えていない。どの層同士を結ぶかを確定してから、片方の個数と他方の個数を掛ける。

https://www.cs.toronto.edu/~hinton/absps/guideTR.pdf （A Practical Guide to Training Restricted Boltzmann Machines、2026-08-31確認）

正解は「4個」です。decoderの因果マスクは、現在位置より後の未来位置を参照できないようにする一方、現在位置自身とそれ以前の位置は参照できる。4番目の位置から参照可能なのは1番目、2番目、3番目、4番目の4個であり、5番目と6番目は未来位置として遮断される。これは、次の出力を予測するときに、すでに得られた位置までの情報だけを使う自己回帰生成と訓練時の参照条件をそろえるためである。2個は遮断される未来位置だけを数え、3個は現在位置自身を除外し、6個はマスクを適用せず全位置を数えた値である。現在の番号までを含め、番号より後だけを除くことが要点になる。

https://arxiv.org/abs/1706.03762 （Transformer decoder masking、2026-08-31確認）

正解は「(7, 7, 16)」です。padding='valid'は画像の外側へパディングを加えない。dilationを使わない3×3カーネルをstride 1で9画素の方向へ動かせる位置数は、(9-3)÷1+1＝7なので、高さと幅はどちらも7になる。Conv2Dのfiltersは出力空間の次元、すなわち出力チャネル数なので16である。(3, 3, 16)はカーネルの大きさを出力の空間サイズと取り違え、(7, 7, 3)は入力チャネル数をそのまま出力チャネル数にし、(9, 9, 16)はpadding='same'かつstride 1の場合の空間サイズと混同している。空間サイズとチャネル数を別々に計算することが要点である。

https://guga.or.jp/assets/syllabus.pdf; https://www.tensorflow.org/api_docs/python/tf/keras/layers/Conv2D; https://docs.pytorch.org/docs/stable/generated/torch.nn.modules.conv.Conv2d.html （Conv2D出力形状、2026-08-31確認）

正解は「224」です。TensorFlowの2次元畳み込みカーネルは[高さ, 幅, 入力チャネル, 出力チャネル]の形を持つ。したがってカーネル重みは3×3×3×8=216個である。use_bias=Trueなので、8個の出力チャネルそれぞれにbiasが1個ずつあり、216+8=224個となる。72は3×3×8で入力3チャネルを掛けていない値、216はカーネル重みだけでbias 8個を加えていない値、648はカーネル重み216個をさらに入力チャネル数3で掛け、入力チャネルを二重に数えた値である。入力画像の高さ・幅や出力特徴マップの空間サイズは、同じカーネルを各位置で共有するため、パラメータ数へ掛けない。出力形状を求める既存問とは異なり、カーネルの各次元とbiasの有無を分けて数えることが要点である。

https://guga.or.jp/assets/syllabus.pdf; https://www.tensorflow.org/api_docs/python/tf/nn/conv2d; https://www.tensorflow.org/api_docs/python/tf/keras/layers/Conv2D （カーネル形状とbias、2026-08-31確認）

正解は「10」です。softmaxでは各スコアの指数をその合計で割る。指数は順に1と3なので、注意重みは1/(1+3)=0.25と3/(1+3)=0.75になる。対応するValueを同じ順序で重み付けすると、0.25×4+0.75×12=1+9=10である。6は重みとValueの対応を逆にして0.75×4+0.25×12とした値、8はsoftmax重みを求めずValueを単純平均した値、16はValueを単純合計した値である。指数化、合計1への正規化、対応するValueの加重和という三段階を分ければ、softmax後の重みが与えられた既存問より一段前から注意出力を再現できる。

https://guga.or.jp/assets/syllabus.pdf; https://arxiv.org/abs/1706.03762 （Scaled Dot-Product AttentionのsoftmaxとValue集約、2026-08-31確認）