生成AIパスポート 第2章 生成AI（2027年2月試験の新シラバス）一問一答

正解は「6」です。Scaled Dot-Product Attentionでは、QueryとKeyの内積をKeyの次元数の平方根で割ってからsoftmaxへ渡す。Keyの次元数は9なので平方根は3となり、18÷√9＝18÷3＝6である。2は18を次元数9で直接割った値、3は√9だけを求めて内積18を割っていない値、18はスケーリング前の内積をそのまま残した値である。分母が次元数そのものではなく、その平方根であることを先に確認して計算する。

https://arxiv.org/abs/1706.03762 （Scaled Dot-Product Attention）

正解は「12本」です。RBMはvisible unitとhidden unitの層間を結び、visible同士とhidden同士には直接結合を置かない。設問では4個のvisible unitそれぞれが3個のhidden unitすべてと1本ずつ結ばれるため、層間結合は4×3＝12本になる。7本はunit数4＋3の合計、16本は4×4、21本は7×3であり、いずれも二つの層の全組合せを数えていない。どの層同士を結ぶかを確定してから、片方の個数と他方の個数を掛ける。

https://www.cs.toronto.edu/~hinton/absps/guideTR.pdf （A Practical Guide to Training Restricted Boltzmann Machines）

正解は「4個」です。decoderの因果マスクは、現在位置より後の未来位置を参照できないようにする一方、現在位置自身とそれ以前の位置は参照できる。4番目の位置から参照可能なのは1番目、2番目、3番目、4番目の4個であり、5番目と6番目は未来位置として遮断される。これは、次の出力を予測するときに、すでに得られた位置までの情報だけを使う自己回帰生成と訓練時の参照条件をそろえるためである。2個は遮断される未来位置だけを数え、3個は現在位置自身を除外し、6個はマスクを適用せず全位置を数えた値である。現在の番号までを含め、番号より後だけを除くことが要点になる。

https://arxiv.org/abs/1706.03762 （Transformer decoder masking）

正解は「片方を基準値へ戻し、もう片方だけを変えて出力を比較する」です。TemperatureとTop-pはいずれも生成のランダム性に関係するが、Temperatureは確率分布のランダム性を調整し、Top-pは累積確率質量で考慮する候補集合を限定する。両方を同時に変えると、出力差がどちらの変更によるものか切り分けにくい。OpenAI公式API文書も、一般には両方ではなくどちらか一方を変えるよう案内している。同時に乱数で変える、同じ数値へそろえる、文字数だけを数える方法では、片方の設定変更と出力差の対応を比較できない。

https://guga.or.jp/assets/syllabus.pdf; https://developers.openai.com/api/reference/cli/resources/responses/methods/create （Temperature・Top-p）

正解は「(7, 7, 16)」です。padding='valid'は画像の外側へパディングを加えない。dilationを使わない3×3カーネルをstride 1で9画素の方向へ動かせる位置数は、(9-3)÷1+1＝7なので、高さと幅はどちらも7になる。Conv2Dのfiltersは出力空間の次元、すなわち出力チャネル数なので16である。(3, 3, 16)はカーネルの大きさを出力の空間サイズと取り違え、(7, 7, 3)は入力チャネル数をそのまま出力チャネル数にし、(9, 9, 16)はpadding='same'かつstride 1の場合の空間サイズと混同している。空間サイズとチャネル数を別々に計算することが要点である。

https://guga.or.jp/assets/syllabus.pdf; https://www.tensorflow.org/api_docs/python/tf/keras/layers/Conv2D; https://docs.pytorch.org/docs/stable/generated/torch.nn.modules.conv.Conv2d.html （Conv2D出力形状）

正解は「0.40」です。平滑化を行わないbigramモデルの最尤推定では、前のトークンがAIであるという条件のもとで次が「活用」になる確率を、bigram「AI 活用」の回数C(AI 活用)÷「AI」から始まる全bigramの度数合計Σw C(AI w)で求める。したがって4÷10＝0.40となる。0.04は4回を根拠のない100回で割った値、0.10は分母10の逆数だけを取りbigramの4回を使っていない。0.60はAIの後に「活用」以外が続いた6回の確率であり、求める事象の補集合に当たる。分母にはコーパス全体のトークン数や、文末にあって後続語を持たないAIまで含む曖昧な出現数ではなく、条件として固定したAIから始まる全bigramの度数を置くことが判断の要点である。この計算は生成時に候補を累積確率で絞るTop-pの設定とは異なり、コーパス度数からモデルの条件付き確率を推定している。

https://guga.or.jp/assets/syllabus.pdf; https://web.stanford.edu/~jurafsky/slp3/3.pdf （n-gram最尤推定式）

正解は「224」です。TensorFlowの2次元畳み込みカーネルは[高さ, 幅, 入力チャネル, 出力チャネル]の形を持つ。したがってカーネル重みは3×3×3×8=216個である。use_bias=Trueなので、8個の出力チャネルそれぞれにbiasが1個ずつあり、216+8=224個となる。72は3×3×8で入力3チャネルを掛けていない値、216はカーネル重みだけでbias 8個を加えていない値、648はカーネル重み216個をさらに入力チャネル数3で掛け、入力チャネルを二重に数えた値である。入力画像の高さ・幅や出力特徴マップの空間サイズは、同じカーネルを各位置で共有するため、パラメータ数へ掛けない。出力形状を求める既存問とは異なり、カーネルの各次元とbiasの有無を分けて数えることが要点である。

https://guga.or.jp/assets/syllabus.pdf; https://www.tensorflow.org/api_docs/python/tf/nn/conv2d; https://www.tensorflow.org/api_docs/python/tf/keras/layers/Conv2D （カーネル形状とbias）

正解は「10」です。softmaxでは各スコアの指数をその合計で割る。指数は順に1と3なので、注意重みは1/(1+3)=0.25と3/(1+3)=0.75になる。対応するValueを同じ順序で重み付けすると、0.25×4+0.75×12=1+9=10である。6は重みとValueの対応を逆にして0.75×4+0.25×12とした値、8はsoftmax重みを求めずValueを単純平均した値、16はValueを単純合計した値である。指数化、合計1への正規化、対応するValueの加重和という三段階を分ければ、softmax後の重みが与えられた既存問より一段前から注意出力を再現できる。

https://guga.or.jp/assets/syllabus.pdf; https://arxiv.org/abs/1706.03762 （Scaled Dot-Product AttentionのsoftmaxとValue集約）

正解は「GPT-3を人間のフィードバックを用いた強化学習（RLHF）でファインチューニングして指示に従う能力を高めたモデル群であり、1.3BパラメータのInstructGPTの出力の方が175BパラメータのGPT-3の出力より人間の評価者に好まれたと報告されている」である。InstructGPTは、GPT-3をRLHFでファインチューニングし、指示に従う能力を高めたモデル群で、2022年1月にOpenAIが発表した。決定条件は、パラメータ数の小さいInstructGPTの出力の方が、パラメータ数の大きいGPT-3の出力より人間の評価者に好まれたという報告である。パラメータ数を増やすことではなく、人間のフィードバックによる調整が指示への追従を高めた点が要点である。画像入力に対応した初のモデルはGPT-4、回答前に時間をかけて考える推論モデルシリーズの最初のモデルはGPT-o1の説明である。

https://openai.com/index/instruction-following/ （OpenAI公式「Aligning language models to follow instructions」、第2章 ChatGPT）