生成AIパスポート 第2章 生成AI（2027年2月試験の新シラバス）一問一答

正解は「GPT-2」である。GPT-2は2019年2月14日に発表され、フェイクニュース生成等の悪用リスクを理由に、当初はフルモデルではなく性能を抑えた縮小版のみを公開する「段階的公開」の方針を採用した（フルモデルは同年11月に公開された）。GPT-1は2018年に発表された最初のGPTモデル、GPT-3は2020年に発表されたFew-Shot学習の実証モデル、GPT-4は2023年に公開されたモデルであり、いずれも段階的公開の方針で知られるモデルではない。

https://openai.com/index/better-language-models/

正解は「GPT-3.5」である。GPT-3.5は2022年11月30日に公開されたChatGPTの初期バージョンに搭載されたモデルであり、GPT-3を人間のフィードバックを用いた強化学習（RLHF）で対話向けに調整したモデル群を指す。GPT-3はGPT-3.5の元になったモデル、GPT-4は2023年3月に公開されたマルチモーダル対応モデル、GPT-o1は2024年9月に公開された推論モデルであり、いずれもChatGPTの初期バージョンに搭載されたモデルではない。

OpenAI公式「Introducing ChatGPT」（https://openai.com/index/chatgpt/。GPT-3.5シリーズ（GPT-3をRLHFで調整、InstructGPTの兄弟モデル）からのファインチューニングと明記）

正解は「GPT-4」である。GPT-4は2023年3月14日に公開された、テキストに加えて画像入力にも対応した初のマルチモーダル対応GPTモデルであり、出力はテキストのみで、専門的・学術的なベンチマークで人間レベルの推論性能を示した。GPT-3.5・GPT-3・GPT-2はいずれもGPT-4より前に公開されたテキスト専用のモデルであり、画像入力に対応したマルチモーダルモデルではない。GPT-4はテキストに加えて画像も入力として受け取れる点で、それまでのモデルから大きく機能が拡張された。

https://openai.com/index/gpt-4-research/

正解は「Webサイトの予約フォームへの入力作業を自動で代行させたい場合に使うのは、Codexである」（誤り）である。Webブラウザの画面を見て入力やクリックを自律的に代行するのはOperatorであり、Codexは自然言語の指示からプログラムのコードを生成するツールである。設問の説明はOperatorの利用シーンをCodexに誤って当てはめている。残る3つは、業務に合わせた対話AIを作って共有する場面がGPTs、アップロードしたデータの分析とグラフ作成がCode Interpreter、自然言語の指示からコードを書かせる場面がCodexと、それぞれ機能の用途に合っている。ChatGPTの各機能は目的に応じて使い分けることで、コード生成・データ分析・ブラウザ操作といった幅広い作業を効率化できる。

https://guga.or.jp/assets/syllabus.pdf （第2章 ChatGPT）

正解は「次の単語の候補を、出現確率の高いものから累積して一定の割合まで絞り込みたいので、Temperatureを調整するのは適切である」（誤り）である。出現確率の高い候補を累積して一定の割合まで絞り込む機能はTop-pが担うものであり、Temperatureは出力のランダム性・多様性を調整するパラメータである。設問の説明はTop-pの機能をTemperatureの調整に誤って当てはめている。残る3つは、創造的で多様な文章を生成させたいときにTemperatureを大きくする調整、一貫性のある回答を得たいときにTemperatureを小さくする調整、利用者が外から設定するTemperatureやTop-pをハイパーパラメータと呼ぶ説明で、いずれも正しい。TemperatureとTop-pはいずれも出力のランダム性を調整するハイパーパラメータだが、調整の仕組みが異なる点に注意したい。

https://guga.or.jp/assets/syllabus.pdf （第5章 LMとLLM）

正解は「回答前に時間をかけて考える、推論モデルシリーズの最初のモデルは、GPT-4である」（誤り）である。回答前に時間をかけて考える推論モデルシリーズの最初のモデルはGPT-o1であり、GPT-4は画像入力に対応した初のマルチモーダルモデルである。設問の組み合わせはGPT-o1とGPT-4を取り違えている。残る3つは、画像入力にも対応した初のマルチモーダルモデルがGPT-4、応答の速さと深い推論を自動で切り替える統合システムがGPT-5、最大100万トークンを扱えるAPI向け強化モデルがGPT-4.1と、それぞれモデルの特徴に合っている。GPT-o1とGPT-4はいずれも2023年以降に登場したモデルだが、開発の主眼が推論力の強化かマルチモーダル対応かという点で異なる。

https://guga.or.jp/assets/syllabus.pdf （第2章 ChatGPT）

この事例では「破壊過程と復元過程を学ぶためランダムな乱れを加えるか」を確認すると、「データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる」という説明が正しいと分かる。正解は「データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる」である。VAE等の生成モデルにおけるノイズは、データに段階的なランダムな乱れを加えて情報を崩し、その逆の過程（ノイズを取り除く過程）をモデルに学習させるための材料として使われる。品質チェックの基準値、データセットのフィルタ、出力結果の注釈という説明は、いずれもこの文脈での「ノイズ」の役割と一致しない。この仕組みは拡散モデルと呼ばれる画像生成手法の中核をなす考え方である。

https://guga.or.jp/assets/syllabus.pdf （第2章 生成AIの誕生まで・VAE/ノイズ）

この事例では「画像の局所特徴を畳み込みで抽出するCNNか」がポイントになる。正解は「CNN（畳み込みニューラルネットワーク）とは、文章や時系列のような順序のある系列データを、隠れ層（リカレント層）で前の情報を保持しながら順に処理していくニューラルネットワークである」（誤り）である。CNNは画像認識などで広く使われ、フィルタを用いた畳み込みによって画像の局所的な特徴を抽出することを中核とするニューラルネットワークであり、設問の説明は系列データを扱うRNNの定義をCNNに誤って当てはめている。GAN・RNN・LSTMの説明はいずれも正しい。

本サイトの既存問題の定義との整合性確認

この事例では「マスクした語の予測を用いるBERTか」がポイントになる。正解は「NSP（Next Sentence Prediction）とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである」（誤り）である。NSPは、与えられた2つの文が文章内で連続しているかどうかを判定させる事前学習タスクであり、設問の説明はALBERTの定義をNSPに誤って当てはめている。MLM・RoBERTa・ALBERTの説明はいずれも正しい。BERTはTransformerの一部（エンコーダ）を用いた双方向の文脈理解に強みを持つモデルとして知られる。

本サイトの既存問題の定義との整合性確認

この事例では「各トークンの位置を入力表現へ付加するか」がポイントになる。正解は「位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである」（誤り）である。位置エンコーディングは、Transformerモデルで入力された単語の並び順（位置）の情報をモデルに伝えるために加えられる仕組みであり、設問の説明はAttention Mechanismの定義を位置エンコーディングに誤って当てはめている。アーキテクチャ・Attention Mechanism・ニューラルネットワークの説明はいずれも正しい。

本サイトの既存問題の定義との整合性確認。アーキテクチャの定義はソフトウェア工学における一般的な用法に基づく。

この事例では「訓練を通じて最適化されるモデル内部の値か」がポイントになる。正解は「パラメータとは、AIモデルの学習（訓練）に用いるために集められた、データの集まりである」（誤り）である。パラメータは、GPTモデルの世代が進むにつれて一般に増加してきた、モデルの規模を表す指標でモデル内部で調整される値であり、設問の説明はデータセットの定義をパラメータに誤って当てはめている。自然言語処理・データセット・ハルシネーションの説明はいずれも正しい。パラメータ数はモデルの表現力に関わる指標として、GPTモデルの世代比較でもしばしば言及される。

本サイトの既存問題の定義との整合性確認

この事例では「逆拡散を学習する起点として利用される乱れか」を確認すると、「データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる」という説明が正しいと分かる。正解は「データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる」である。VAE等の生成モデルにおけるノイズは、データに段階的なランダムな乱れを加えて情報を崩し、その逆の過程（ノイズを取り除く過程）をモデルに学習させるための材料として使われる。品質チェックの基準値、データセットのフィルタ、出力結果の注釈という説明は、いずれもこの文脈での「ノイズ」の役割と一致しない。この仕組みは拡散モデルと呼ばれる画像生成手法の中核をなす考え方である。

https://guga.or.jp/assets/syllabus.pdf （第2章 生成AIの誕生まで・VAE/ノイズ）

この事例では「系列処理のRNNと画像処理のCNNを役割で区別するか」がポイントになる。正解は「CNN（畳み込みニューラルネットワーク）とは、文章や時系列のような順序のある系列データを、隠れ層（リカレント層）で前の情報を保持しながら順に処理していくニューラルネットワークである」（誤り）である。CNNは画像認識などで広く使われ、フィルタを用いた畳み込みによって画像の局所的な特徴を抽出することを中核とするニューラルネットワークであり、設問の説明は系列データを扱うRNNの定義をCNNに誤って当てはめている。GAN・RNN・LSTMの説明はいずれも正しい。

本サイトの既存問題の定義との整合性確認

この事例では「文同士の連続関係を予測するNSPか」がポイントになる。正解は「NSP（Next Sentence Prediction）とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである」（誤り）である。NSPは、与えられた2つの文が文章内で連続しているかどうかを判定させる事前学習タスクであり、設問の説明はALBERTの定義をNSPに誤って当てはめている。MLM・RoBERTa・ALBERTの説明はいずれも正しい。BERTはTransformerの一部（エンコーダ）を用いた双方向の文脈理解に強みを持つモデルとして知られる。

本サイトの既存問題の定義との整合性確認

この事例では「注意機構と位置エンコーディングの役割を分けるか」がポイントになる。正解は「位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである」（誤り）である。位置エンコーディングは、Transformerモデルで入力された単語の並び順（位置）の情報をモデルに伝えるために加えられる仕組みであり、設問の説明はAttention Mechanismの定義を位置エンコーディングに誤って当てはめている。アーキテクチャ・Attention Mechanism・ニューラルネットワークの説明はいずれも正しい。

本サイトの既存問題の定義との整合性確認。アーキテクチャの定義はソフトウェア工学における一般的な用法に基づく。

この事例では「モデルがデータから獲得する重み等のパラメータか」がポイントになる。正解は「パラメータとは、AIモデルの学習（訓練）に用いるために集められた、データの集まりである」（誤り）である。パラメータは、GPTモデルの世代が進むにつれて一般に増加してきた、モデルの規模を表す指標でモデル内部で調整される値であり、設問の説明はデータセットの定義をパラメータに誤って当てはめている。自然言語処理・データセット・ハルシネーションの説明はいずれも正しい。パラメータ数はモデルの表現力に関わる指標として、GPTモデルの世代比較でもしばしば言及される。

本サイトの既存問題の定義との整合性確認

この事例では「ファインチューニングとプロンプト設計を更新対象で分けるか」がポイントになる。正解は「プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みである」（誤り）である。プロンプトエンジニアリングは、生成AIから望ましい出力を得るために指示（プロンプト）の与え方を工夫・設計する取り組みであり、設問の説明はアライメントの定義をプロンプトエンジニアリングに誤って当てはめている。転移学習・ファインチューニング・アライメントの説明はいずれも正しい。プロンプトエンジニアリングは、モデル自体を再学習させずに出力を改善できる手軽な手法として広く使われている。

本サイトの既存問題の定義との整合性確認

この事例では「ノイズ付加と除去の過程を利用する拡散モデルか」を確認すると、「データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる」という説明が正しいと分かる。正解は「データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる」である。VAE等の生成モデルにおけるノイズは、データに段階的なランダムな乱れを加えて情報を崩し、その逆の過程（ノイズを取り除く過程）をモデルに学習させるための材料として使われる。品質チェックの基準値、データセットのフィルタ、出力結果の注釈という説明は、いずれもこの文脈での「ノイズ」の役割と一致しない。この仕組みは拡散モデルと呼ばれる画像生成手法の中核をなす考え方である。

https://guga.or.jp/assets/syllabus.pdf （第2章 生成AIの誕生まで・VAE/ノイズ）

この事例では「過去の状態を再帰的に次の処理へ渡すRNNか」を確認すると、「CNN（畳み込みニューラルネットワーク）とは、文章や時系列のような順序のある系列データを、隠れ層（リカレント層）で前の情報を保持しながら順に処理していくニューラルネットワークである」という説明が誤りだと分かる。正解は「CNN（畳み込みニューラルネットワーク）とは、文章や時系列のような順序のある系列データを、隠れ層（リカレント層）で前の情報を保持しながら順に処理していくニューラルネットワークである」（誤り）である。CNNは画像認識などで広く使われ、フィルタを用いた畳み込みによって画像の局所的な特徴を抽出することを中核とするニューラルネットワークであり、設問の説明は系列データを扱うRNNの定義をCNNに誤って当てはめている。GAN・RNN・LSTMの説明はいずれも正しい。

本サイトの既存問題の定義との整合性確認

この事例では「双方向の文脈を学ぶBERTか」を確認すると、「NSP（Next Sentence Prediction）とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである」という説明が誤りだと分かる。正解は「NSP（Next Sentence Prediction）とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである」（誤り）である。NSPは、与えられた2つの文が文章内で連続しているかどうかを判定させる事前学習タスクであり、設問の説明はALBERTの定義をNSPに誤って当てはめている。MLM・RoBERTa・ALBERTの説明はいずれも正しい。BERTはTransformerの一部（エンコーダ）を用いた双方向の文脈理解に強みを持つモデルとして知られる。

本サイトの既存問題の定義との整合性確認

この事例では「トークンの並び位置を符号化するか」を確認すると、「位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである」という説明が誤りだと分かる。正解は「位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである」（誤り）である。位置エンコーディングは、Transformerモデルで入力された単語の並び順（位置）の情報をモデルに伝えるために加えられる仕組みであり、設問の説明はAttention Mechanismの定義を位置エンコーディングに誤って当てはめている。アーキテクチャ・Attention Mechanism・ニューラルネットワークの説明はいずれも正しい。

本サイトの既存問題の定義との整合性確認。アーキテクチャの定義はソフトウェア工学における一般的な用法に基づく。

この事例では「データセットではなく学習で更新される内部変数か」を確認すると、「パラメータとは、AIモデルの学習（訓練）に用いるために集められた、データの集まりである」という説明が誤りだと分かる。正解は「パラメータとは、AIモデルの学習（訓練）に用いるために集められた、データの集まりである」（誤り）である。パラメータは、GPTモデルの世代が進むにつれて一般に増加してきた、モデルの規模を表す指標でモデル内部で調整される値であり、設問の説明はデータセットの定義をパラメータに誤って当てはめている。自然言語処理・データセット・ハルシネーションの説明はいずれも正しい。パラメータ数はモデルの表現力に関わる指標として、GPTモデルの世代比較でもしばしば言及される。

本サイトの既存問題の定義との整合性確認

この事例では「数値尺度の調整とコンテンツ修復を区別するか」を確認すると、「昔録音した音源のノイズを取り除き、生成AIの技術でより聞き取りやすい音質に仕上げる作業は、正規化にあたる」という説明が誤りだと分かる。正解は「昔録音した音源のノイズを取り除き、生成AIの技術でより聞き取りやすい音質に仕上げる作業は、正規化にあたる」（誤り）である。古い音源の画質・音質を生成AIの技術で補正し高品質に作り直す作業はリマスタリングにあたり、値の尺度をそろえる作業が正規化である。設問の組み合わせはリマスタリングと正規化を取り違えている。残る3つは、犬の写真を回転・反転させて学習データを増やす作業がデータの水増し、単位や範囲が異なる項目の尺度をそろえる作業が正規化、縦長の写真を正方形の比率へ変更する作業が画像のリサイズで、いずれも正しい。データの水増し・正規化・リマスタリング・画像のリサイズは、いずれも機械学習や生成AIの前処理で使われる技術だが、それぞれ目的が異なる。

本サイトの既存問題の定義との整合性確認

この事例では「値のスケール調整を正規化として捉えるか」を確認すると、「昔録音した音源のノイズを取り除き、生成AIの技術でより聞き取りやすい音質に仕上げる作業は、正規化にあたる」という説明が誤りだと分かる。正解は「昔録音した音源のノイズを取り除き、生成AIの技術でより聞き取りやすい音質に仕上げる作業は、正規化にあたる」（誤り）である。古い音源の画質・音質を生成AIの技術で補正し高品質に作り直す作業はリマスタリングにあたり、値の尺度をそろえる作業が正規化である。設問の組み合わせはリマスタリングと正規化を取り違えている。残る3つは、犬の写真を回転・反転させて学習データを増やす作業がデータの水増し、単位や範囲が異なる項目の尺度をそろえる作業が正規化、縦長の写真を正方形の比率へ変更する作業が画像のリサイズで、いずれも正しい。データの水増し・正規化・リマスタリング・画像のリサイズは、いずれも機械学習や生成AIの前処理で使われる技術だが、それぞれ目的が異なる。

本サイトの既存問題の定義との整合性確認

この事例では「累積確率にもとづいて候補集合を決めるTop-pか」を確認すると、「次の単語の候補を、出現確率の高いものから累積して一定の割合まで絞り込みたいので、Temperatureを調整するのは適切である」という説明が誤りだと分かる。正解は「次の単語の候補を、出現確率の高いものから累積して一定の割合まで絞り込みたいので、Temperatureを調整するのは適切である」（誤り）である。出現確率の高い候補を累積して一定の割合まで絞り込む機能はTop-pが担うものであり、Temperatureは出力のランダム性・多様性を調整するパラメータである。設問の説明はTop-pの機能をTemperatureの調整に誤って当てはめている。他の3つの説明はいずれも正しい。TemperatureとTop-pはいずれも出力のランダム性を調整するハイパーパラメータだが、調整の仕組みが異なる点に注意したい。

本サイトの既存問題の定義との整合性確認

この事例では「候補確率の平滑化と候補集合の切り方を分けるか」を確認すると、「次の単語の候補を、出現確率の高いものから累積して一定の割合まで絞り込みたいので、Temperatureを調整するのは適切である」という説明が誤りだと分かる。正解は「次の単語の候補を、出現確率の高いものから累積して一定の割合まで絞り込みたいので、Temperatureを調整するのは適切である」（誤り）である。出現確率の高い候補を累積して一定の割合まで絞り込む機能はTop-pが担うものであり、Temperatureは出力のランダム性・多様性を調整するパラメータである。設問の説明はTop-pの機能をTemperatureの調整に誤って当てはめている。他の3つの説明はいずれも正しい。TemperatureとTop-pはいずれも出力のランダム性を調整するハイパーパラメータだが、調整の仕組みが異なる点に注意したい。

本サイトの既存問題の定義との整合性確認

この事例では「確率の累積値をしきい値にするTop-pか」を確認すると、「次の単語の候補を、出現確率の高いものから累積して一定の割合まで絞り込みたいので、Temperatureを調整するのは適切である」という説明が誤りだと分かる。正解は「次の単語の候補を、出現確率の高いものから累積して一定の割合まで絞り込みたいので、Temperatureを調整するのは適切である」（誤り）である。出現確率の高い候補を累積して一定の割合まで絞り込む機能はTop-pが担うものであり、Temperatureは出力のランダム性・多様性を調整するパラメータである。設問の説明はTop-pの機能をTemperatureの調整に誤って当てはめている。他の3つの説明はいずれも正しい。TemperatureとTop-pはいずれも出力のランダム性を調整するハイパーパラメータだが、調整の仕組みが異なる点に注意したい。

本サイトの既存問題の定義との整合性確認

正解は「最新の情報」です。テキスト生成AIは、学習時点より後に変化した情報を必ずしも把握しているとは限らないため、今日改定された規程のような最新の情報は外部の正しい情報源で確認する必要がある。文章の要約、箇条書きを文章に変換、アジェンダの作成は、入力された内容を整理・変換する活用例である。設問では、文章を作れるかではなく、時間の経過で更新される事実を正確に扱えるかを問うている。規程のように誤ると影響が出る情報は、生成結果をそのまま使わず、正しい情報源で確認する。

https://guga.or.jp/assets/syllabus.pdf （第5章 テキスト生成AIの不得意なこと）

正解は「生成器」です。GANの生成器はノイズから候補データを作り、識別器がその候補を訓練データ由来だと誤って判定する確率を高めるように学習する。識別器は候補を作る側ではなく、標本が訓練データ由来か生成器由来かを推定する側である。VAEのエンコーダは観測データから潜在表現を推論し、デコーダは潜在表現から観測データ側を生成・復元する。設問では、入力がノイズであることと、相手の判定を誤らせる目的の両方を確認すると、「生成器」が当てはまると分かる。候補作成と由来判定を一組として覚えると、二つの役割を逆にする誤答を除ける。

https://arxiv.org/abs/1406.2661 （Generative Adversarial Networks原論文）

正解は「識別器は訓練データと生成器の候補の由来を見分けるよう更新し、生成器は識別器の誤判定を増やすよう更新する」です。GANの原論文では、識別器Dは標本が訓練データ由来か生成器G由来かの確率を推定し、生成器GはDが誤る確率を高めるよう学習する。この二つの目的を対立させるため、Dには実データと生成候補の双方が必要になる。候補だけを見せる手順や両者を固定する手順では対立学習が成立しない。エンコーダとデコーダで潜在表現を扱う手順はVAE側であり、識別器を用いるGANのデータフローとは別である。

https://arxiv.org/abs/1406.2661 （Generative Adversarial Networks原論文）

正解は「エンコーダ」です。VAEでは、エンコーダに当たる認識モデルが観測データを受け取り、そのデータに対応する潜在変数の近似事後分布を推論する。デコーダに当たる生成モデルは逆向きに、潜在変数から観測データの分布を表す。生成器と識別器はGANの対立学習を構成する役割である。設問では、処理の向きが観測データから潜在側へ進むことを確認すると、デコーダとの取り違えを防げる。入力と出力の向きを矢印で整理し、観測データ→潜在側ならエンコーダ、潜在側→観測データならデコーダと対応させる。

https://arxiv.org/abs/1312.6114 （Auto-Encoding Variational Bayes原論文）

正解は「確率的な潜在変数を含む目的を勾配法で最適化できる形にするため」です。VAEの原論文が示す再パラメータ化では、潜在変数の確率的な標本化を入力とは独立なノイズへ分け、エンコーダが出す値との決定的な変換として表す。これにより、確率的な潜在変数を含む変分下限の推定量を通常の確率的勾配法で最適化しやすくなる。識別器と生成器の競合はGAN、系列を順番に処理するのはRNN、局所特徴の畳み込みはCNNの仕組みであり、いずれもVAEでノイズを分けて表す目的ではない。

https://arxiv.org/abs/1312.6114 （Auto-Encoding Variational Bayes原論文）

正解は「visible-hidden間を結合し、同じ層のunit同士には直接結合を置かない」です。RBMは、観測されるvisible unitと特徴を表すhidden unitからなる2層ネットワークで、両層の間には対称な重み付き結合がある。一方、hidden unit同士にもvisible unit同士にも直接結合を置かないことが『制約付き』の構造に当たる。片方の層だけで結ぶ説明では2層間の関係を表せず、すべてを相互接続する説明では制約がなくなる。どこを結び、どこを結ばないかを一組で確認する。

https://www.cs.toronto.edu/~hinton/absps/guideTR.pdf （A Practical Guide to Training Restricted Boltzmann Machines）

正解は「Query＝照合したい要求、Key＝各要素を照合する手掛かり、Value＝重みに応じて集約する内容」です。Scaled Dot-Product Attentionでは、ある位置のQueryと各位置のKeyの類似度から注意の重みを作り、その重みで各位置のValueを集約する。したがって、QueryとKeyはどこをどれだけ参照するかを決め、Valueは参照結果として運ばれる内容に当たる。出力順序は位置情報、学習率と損失関数は学習の設定、正解ラベルと訓練データは教師や入力のデータであり、Query・Key・Valueの三役ではない。

https://arxiv.org/abs/1706.03762 （Attention Is All You Need原論文）

正解は「11」です。Attentionの出力は、softmaxで正規化された注意重みを各Valueへ掛けて足し合わせる。この場合は0.75×8＋0.25×20＝6＋5＝11となる。14はValueの単純平均(8＋20)÷2で、注意重みの違いを無視している。28はValueをそのまま足した値、7は注意重みをValueへ掛けずに別々の数だけを操作した値である。重みの合計が0.75＋0.25＝1であることを確かめてから、重みとValueの対応を崩さず各積を合計する。この順に計算すれば、単純平均や単純合計との違いも検算できる。

https://arxiv.org/abs/1706.03762 （Scaled Dot-Product Attention）

正解は「次元が大きいと内積が過大になり、softmaxの勾配が極めて小さくなりやすい影響を抑えるため」です。原論文ではKeyの次元が大きいとQueryとKeyの内積も大きくなりやすく、softmaxが飽和して勾配が非常に小さくなるため、内積をKeyの次元数の平方根で割る。これは数値の尺度を調整する処理であり、RNNのような逐次処理を強制するものではない。Valueを教師ラベルへ変換する処理でも、語順を伝える位置エンコーディングを置き換える処理でもない。

https://arxiv.org/abs/1706.03762 （Scaled Dot-Product Attention）

正解は「Query・Key・Valueを異なる線形射影へ写した各headで並列計算し、異なる位置や表現部分空間の情報を扱う」です。Multi-Head Attentionでは、複数組の学習済み線形射影でQuery・Key・Valueを変換し、各headのAttentionを並列に計算してから結果を連結する。単なる同一結果の複製や多数決ではなく、異なる関係を捉えられることが要点である。また、head同士で再帰状態を順番に渡すRNNの構造ではなく、位置情報以外のheadでAttentionを停止する仕組みでもない。

https://arxiv.org/abs/1706.03762 （Multi-Head Attention）

正解は「現在位置より後にある、まだ生成していない出力位置の参照」です。decoderのmasked self-attentionは、ある位置から見て後続する位置への接続をsoftmax前に遮断し、その位置の予測が既に生成された位置までの出力だけに依存するようにする。これにより、訓練時に正解系列全体が与えられていても未来の正解を先読みできず、生成時と整合する自己回帰性が保たれる。「現在位置より前に生成済みの出力位置の参照」と「現在位置自身の情報の参照」は許され、「encoderが作った入力系列の表現の参照」はencoder-decoder attentionで別に行える。

https://arxiv.org/abs/1706.03762 （Transformer decoder masking）

正解は「AとB」です。Top-pによるnucleus samplingでは、確率の高い候補から順に累積し、指定した確率質量へ達する候補集合を考慮する。「Aのみ」の累積確率は0.45で0.75に届かないが、「AとB」では0.45+0.30＝0.75へ達する。「AとBとC」は累積0.90、「A・B・C・Dのすべて」は累積1.00であり、どちらも本問が指定する最小集合より広い。Top-pの値は候補数を直接2個などと指定する数ではなく、候補確率を高い順に足した累積確率質量の基準である。

https://guga.or.jp/assets/syllabus.pdf; https://developers.openai.com/api/reference/cli/resources/responses/methods/create （Top-p）