生成AIパスポート 第2章 生成AI（ジェネレーティブAI） 予想問題（2/3）

正解は「Attention Mechanism（注意機構）」である。Attention Mechanismは、Transformerモデルにおいて文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである。正則化とドロップアウトはニューラルネットワークの過学習を抑えるための手法、データ拡張技術は既存データを加工して学習データを水増しする手法であり、いずれも単語間の関連度に重みづけをして文脈を捉える仕組みそのものを指す語ではない。

https://guga.or.jp/assets/syllabus.pdf （第2章 生成AIの誕生まで）

正解は「GPT-2 → GPT-3.5 → GPT-4」である。GPTモデルはGPT-2（2019年）、GPT-3.5（2022年11月）、GPT-4（2023年3月）の順に公開された。他の選択肢はこの公開順と一致しない。GPTモデルは世代を追うごとに対応できるタスクの幅や性能が向上しており、公開時期の把握は各モデルの特徴を理解するうえでの基準になる。公開年を軸に整理すると、各モデルの性能差や対応範囲の変化を追いやすくなり、出題でも頻出の知識である。

OpenAI公式「Better language models and their implications」（https://openai.com/index/better-language-models/）、「Introducing ChatGPT」（https://openai.com/index/chatgpt/）、「GPT-4」（https://openai.com/index/gpt-4-research/）（確認日2026-09-24。公開順GPT-2→GPT-3.5→GPT-4はWikipedia等複数独立ソースとも整合）

正解は「即座に回答するのではなく、回答前に時間をかけて考える（推論する）ことで複雑な課題への対応力を高めている」である。GPT-o1は、2024年9月にプレビュー版が公開されたOpenAIの「推論モデル」シリーズの最初のモデルであり、即座に回答するのではなく回答前に時間をかけて考える（推論する）ことで、複雑な科学・プログラミング等の課題への対応力を高めた点が特徴である。画像・音声を一切扱えないとする説明、事前学習を行わないとする説明、OpenAI以外が開発したとする説明は、いずれもGPT-o1の特徴と一致しない。

https://en.wikipedia.org/wiki/OpenAI_o1 （2026-07-31確認）

正解は「データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる」である。VAE等の生成モデルにおけるノイズは、データに段階的なランダムな乱れを加えて情報を崩し、その逆の過程（ノイズを取り除く過程）をモデルに学習させるための材料として使われる。品質チェックの基準値、データセットのフィルタ、出力結果の注釈という説明は、いずれもこの文脈での「ノイズ」の役割と一致しない。この仕組みは拡散モデルと呼ばれる画像生成手法の中核をなす考え方である。

https://guga.or.jp/assets/syllabus.pdf （第2章 生成AIの誕生まで・VAE/ノイズ）

正解は「GPT-4.1」である。GPT-4.1は2025年4月14日に公開されたモデルで、最大100万トークンという大きなコンテキストウィンドウを扱える点が特徴であり、主にAPI利用者向けの性能強化に主眼が置かれた。GPT-2・GPT-3.5はGPT-4.1より前に公開されたモデル、GPT-o1は回答前に時間をかけて考える推論モデルシリーズであり、いずれも大きなコンテキストウィンドウとAPI向け性能強化を特徴とするモデルではない。長い文書やコードベース全体を一度に処理したい用途に適している。

https://en.wikipedia.org/wiki/GPT-4.1 （2026-07-31確認）

正解は「GPT-5」である。GPT-5は2025年8月7日に公開されたモデルで、質問の複雑さに応じて高速な応答と深い推論のどちらを使うかを自動的に判断する「ルーター」を備えた統合システムである点が特徴である。GPT-4・GPT-3.5はGPT-5より前に公開されたモデル、GPT-o1は常に回答前に時間をかけて考える推論専用のモデルシリーズであり、いずれも高速応答と深い推論を自動的に切り替えるルーターを備えた統合システムではない。用途に応じた処理速度と推論精度の両立を狙った設計である。

https://openai.com/index/introducing-gpt-5/ ／ https://en.wikipedia.org/wiki/GPT-5 （2026-07-31確認）

正解は「GPT-o3は複雑な段階的論理推論により多くの検討時間をかけて取り組む推論モデルであり、GPT-o4-miniは高速かつ低コストな推論に最適化された小型モデルである」である。GPT-o3とGPT-o4-miniはいずれも2025年4月16日に公開された推論モデルであり、GPT-o3は複雑な段階的な論理的推論を要する課題により多くの検討時間をかけて取り組むことに主眼が置かれ、GPT-o4-miniは高速かつ低コストな推論に最適化された小型モデルという位置づけである。画像生成/テキスト生成への特化とする説明、開発元が異なるとする説明、2019年公開とする説明は、いずれも実際の位置づけと一致しない。

https://en.wikipedia.org/wiki/OpenAI_o3 ／ https://en.wikipedia.org/wiki/OpenAI_o4-mini （2026-07-31確認）

正解は「CNN（畳み込みニューラルネットワーク）とは、文章や時系列のような順序のある系列データを、隠れ層（リカレント層）で前の情報を保持しながら順に処理していくニューラルネットワークである」（誤り）である。CNNは画像認識などで広く使われ、フィルタを用いた畳み込みによって画像の局所的な特徴を抽出することを中核とするニューラルネットワークであり、設問の説明は系列データを扱うRNNの定義をCNNに誤って当てはめている。GAN・RNN・LSTMの説明はいずれも正しい。

https://guga.or.jp/assets/syllabus.pdf （第2章 生成AIの誕生まで）

正解は「Code Interpreterとは、自然言語での指示からプログラムのコードを生成・記述することを主な用途とするものである」（誤り）である。Code Interpreterは、ChatGPT上でアップロードしたファイルのデータを解析したり、プログラムを実行してグラフを作成したりできる機能であり、設問の説明はCodexの定義をCode Interpreterに誤って当てはめている。GPTs・Codex・Operatorの説明はいずれも正しい。

https://guga.or.jp/assets/syllabus.pdf （第2章 ChatGPT）

正解は「NSP（Next Sentence Prediction）とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである」（誤り）である。NSPは、与えられた2つの文が文章内で連続しているかどうかを判定させる事前学習タスクであり、設問の説明はALBERTの定義をNSPに誤って当てはめている。MLM・RoBERTa・ALBERTの説明はいずれも正しい。BERTはTransformerの一部（エンコーダ）を用いた双方向の文脈理解に強みを持つモデルとして知られる。

https://guga.or.jp/assets/syllabus.pdf （第2章 生成AIの誕生まで）

正解は「位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである」（誤り）である。位置エンコーディングは、Transformerモデルで入力された単語の並び順（位置）の情報をモデルに伝えるために加えられる仕組みであり、設問の説明はAttention Mechanismの定義を位置エンコーディングに誤って当てはめている。アーキテクチャ・Attention Mechanism・ニューラルネットワークの説明はいずれも正しい。

https://guga.or.jp/assets/syllabus.pdf （第2章 生成AIの誕生まで）

正解は「パラメータとは、AIモデルの学習（訓練）に用いるために集められた、データの集まりである」（誤り）である。パラメータは、GPTモデルの世代が進むにつれて一般に増加してきた、モデルの規模を表す指標でモデル内部で調整される値であり、設問の説明はデータセットの定義をパラメータに誤って当てはめている。自然言語処理・データセット・ハルシネーションの説明はいずれも正しい。パラメータ数はモデルの表現力に関わる指標として、GPTモデルの世代比較でもしばしば言及される。

https://guga.or.jp/assets/syllabus.pdf （第2章 ChatGPT）

正解は「プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みである」（誤り）である。プロンプトエンジニアリングは、生成AIから望ましい出力を得るために指示（プロンプト）の与え方を工夫・設計する取り組みであり、設問の説明はアライメントの定義をプロンプトエンジニアリングに誤って当てはめている。転移学習・ファインチューニング・アライメントの説明はいずれも正しい。プロンプトエンジニアリングは、モデル自体を再学習させずに出力を改善できる手軽な手法として広く使われている。

https://guga.or.jp/assets/syllabus.pdf （第2章 ChatGPT／第5章 LMとLLM）

正解は「事前学習済みの単一モデルを様々な自然言語処理タスクにファインチューニングして応用できることを示した研究成果として位置づけられる」である。GPT-1は2018年6月にOpenAIが発表した最初のGPTモデルであり、消費者向け製品としてではなく、事前学習済みの単一モデルを様々な自然言語処理タスクにファインチューニングして応用できることを示した研究成果として位置づけられる。統合システムはGPT-5、大きなコンテキストウィンドウはGPT-4.1、推論モデルシリーズの最初のモデルはGPT-o1の特徴であり、いずれもGPT-1の説明ではない。

https://en.wikipedia.org/wiki/GPT-1 （2026-08-01確認）

正解は「GPT-3」である。GPT-3は2020年7月にOpenAIが発表したモデルで、少数の例示（Few-Shot）や例示なし（Zero-Shot）だけで、追加学習なしに多様なタスクをこなせることを示した論文「Language Models are Few-Shot Learners」の対象モデルとして知られる。GPT-1は2018年に発表された最初のGPTモデル、GPT-2は2019年に公開されたモデル、GPT-4は2023年3月に公開されたモデルであり、いずれもFew-Shot/Zero-Shot学習能力を示した2020年発表のモデルではない。

https://en.wikipedia.org/wiki/GPT-3 （2026-08-01確認）

正解は「GPT-2」である。GPT-2は2019年2月14日に発表され、フェイクニュース生成等の悪用リスクを理由に、当初はフルモデルではなく性能を抑えた縮小版のみを公開する「段階的公開」の方針を採用した（フルモデルは同年11月に公開された）。GPT-1は2018年に発表された最初のGPTモデル、GPT-3は2020年に発表されたFew-Shot学習の実証モデル、GPT-4は2023年に公開されたモデルであり、いずれも段階的公開の方針で知られるモデルではない。

https://en.wikipedia.org/wiki/GPT-2 （2026-08-01確認）

正解は「GPT-3.5」である。GPT-3.5は2022年11月30日に公開されたChatGPTの初期バージョンに搭載されたモデルであり、GPT-3を人間のフィードバックを用いた強化学習（RLHF）で対話向けに調整したモデル群を指す。GPT-3はGPT-3.5の元になったモデル、GPT-4は2023年3月に公開されたマルチモーダル対応モデル、GPT-o1は2024年9月に公開された推論モデルであり、いずれもChatGPTの初期バージョンに搭載されたモデルではない。

OpenAI公式「Introducing ChatGPT」（https://openai.com/index/chatgpt/、確認日2026-09-24。GPT-3.5シリーズ（GPT-3をRLHFで調整、InstructGPTの兄弟モデル）からのファインチューニングと明記）

正解は「GPT-4」である。GPT-4は2023年3月14日に公開された、テキストに加えて画像入力にも対応した初のマルチモーダル対応GPTモデルであり、出力はテキストのみで、専門的・学術的なベンチマークで人間レベルの推論性能を示した。GPT-3.5・GPT-3・GPT-2はいずれもGPT-4より前に公開されたテキスト専用のモデルであり、画像入力に対応したマルチモーダルモデルではない。GPT-4はテキストに加えて画像も入力として受け取れる点で、それまでのモデルから大きく機能が拡張された。

https://en.wikipedia.org/wiki/GPT-4 （2026-08-01確認）

正解は「Webサイトの予約フォームへの入力作業を自動で代行させたい場合に使うのは、Codexである」（誤り）である。Webブラウザの画面を見て入力やクリックを自律的に代行するのはOperatorであり、Codexは自然言語の指示からプログラムのコードを生成するツールである。設問の説明はOperatorの利用シーンをCodexに誤って当てはめている。他の3つの組み合わせはいずれも正しい。ChatGPTの各機能は目的に応じて使い分けることで、コード生成・データ分析・ブラウザ操作といった幅広い作業を効率化できる。

https://guga.or.jp/assets/syllabus.pdf （第2章 ChatGPT）

正解は「回答前に時間をかけて考える、推論モデルシリーズの最初のモデルは、GPT-4である」（誤り）である。回答前に時間をかけて考える推論モデルシリーズの最初のモデルはGPT-o1であり、GPT-4は画像入力に対応した初のマルチモーダルモデルである。設問の組み合わせはGPT-o1とGPT-4を取り違えている。他の3つの組み合わせはいずれも正しい。GPT-o1とGPT-4はいずれも2023年以降に登場したモデルだが、開発の主眼が推論力の強化かマルチモーダル対応かという点で異なる。

https://guga.or.jp/assets/syllabus.pdf （第2章 ChatGPT）

正解は「Few-Shotプロンプティング」である。Few-Shotでは、実行してほしいタスクの少数の入出力例をプロンプト内に示し、モデルの重みを更新せず、テキストによる指示と例示だけで回答させる。GPT-3原論文でも、勾配更新やファインチューニングを行わず、タスクと少数例をテキストで与える設定が評価された。ファインチューニングはタスク向けデータでモデルのパラメータを追加学習する。転移学習は別タスクで得た知識を新しいタスクへ利用する広い枠組みで、プロンプト内の例示だけを指す名称ではない。ドロップアウトは学習中に一部のノードを無効化して過学習を抑える手法である。

https://arxiv.org/abs/2005.14165

この事例では「破壊過程と復元過程を学ぶためランダムな乱れを加えるか」を確認すると、データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われるに絞れる。正解は「データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる」である。VAE等の生成モデルにおけるノイズは、データに段階的なランダムな乱れを加えて情報を崩し、その逆の過程（ノイズを取り除く過程）をモデルに学習させるための材料として使われる。品質チェックの基準値、データセットのフィルタ、出力結果の注釈という説明は、いずれもこの文脈での「ノイズ」の役割と一致しない。この仕組みは拡散モデルと呼ばれる画像生成手法の中核をなす考え方である。

https://guga.or.jp/assets/syllabus.pdf （第2章 生成AIの誕生まで・VAE/ノイズ）

この事例では「画像の局所特徴を畳み込みで抽出するCNNか」を確認すると、CNN（畳み込みニューラルネットワーク）とは、文章や時系列のような順序のある系列データを、隠れ層（リカレント層）で前の情報を保持しながら順に処理していくニューラルネットワークであるに絞れる。正解は「CNN（畳み込みニューラルネットワーク）とは、文章や時系列のような順序のある系列データを、隠れ層（リカレント層）で前の情報を保持しながら順に処理していくニューラルネットワークである」（誤り）である。CNNは画像認識などで広く使われ、フィルタを用いた畳み込みによって画像の局所的な特徴を抽出することを中核とするニューラルネットワークであり、設問の説明は系列データを扱うRNNの定義をCNNに誤って当てはめている。GAN・RNN・LSTMの説明はいずれも正しい。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-003/011/012/013)の定義との整合性確認

この事例では「マスクした語の予測を用いるBERTか」を確認すると、NSP（Next Sentence Prediction）とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルであるに絞れる。正解は「NSP（Next Sentence Prediction）とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである」（誤り）である。NSPは、与えられた2つの文が文章内で連続しているかどうかを判定させる事前学習タスクであり、設問の説明はALBERTの定義をNSPに誤って当てはめている。MLM・RoBERTa・ALBERTの説明はいずれも正しい。BERTはTransformerの一部（エンコーダ）を用いた双方向の文脈理解に強みを持つモデルとして知られる。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-016/017)の定義との整合性確認

この事例では「各トークンの位置を入力表現へ付加するか」を確認すると、位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みであるに絞れる。正解は「位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである」（誤り）である。位置エンコーディングは、Transformerモデルで入力された単語の並び順（位置）の情報をモデルに伝えるために加えられる仕組みであり、設問の説明はAttention Mechanismの定義を位置エンコーディングに誤って当てはめている。アーキテクチャ・Attention Mechanism・ニューラルネットワークの説明はいずれも正しい。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-015/040/034)の定義との整合性確認。アーキテクチャの定義はソフトウェア工学における一般的な用法に基づく。

この事例では「訓練を通じて最適化されるモデル内部の値か」を確認すると、パラメータとは、AIモデルの学習（訓練）に用いるために集められた、データの集まりであるに絞れる。正解は「パラメータとは、AIモデルの学習（訓練）に用いるために集められた、データの集まりである」（誤り）である。パラメータは、GPTモデルの世代が進むにつれて一般に増加してきた、モデルの規模を表す指標でモデル内部で調整される値であり、設問の説明はデータセットの定義をパラメータに誤って当てはめている。自然言語処理・データセット・ハルシネーションの説明はいずれも正しい。パラメータ数はモデルの表現力に関わる指標として、GPTモデルの世代比較でもしばしば言及される。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-010/019/026/001)の定義との整合性確認

この事例では「プロンプトの設計によって出力を調整するか」を確認すると、プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みであるに絞れる。正解は「プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みである」（誤り）である。プロンプトエンジニアリングは、生成AIから望ましい出力を得るために指示（プロンプト）の与え方を工夫・設計する取り組みであり、設問の説明はアライメントの定義をプロンプトエンジニアリングに誤って当てはめている。転移学習・ファインチューニング・アライメントの説明はいずれも正しい。プロンプトエンジニアリングは、モデル自体を再学習させずに出力を改善できる手軽な手法として広く使われている。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch1-010/ch2-008/ch5-004/ch2-025)の定義との整合性確認

この事例では「少数の入出力例を文脈内に提示するか」を確認すると、Few-Shotプロンプティングに絞れる。正解は「Few-Shotプロンプティング」である。Few-Shotでは、実行してほしいタスクの少数の入出力例をプロンプト内に示し、モデルの重みを更新せず、テキストによる指示と例示だけで回答させる。GPT-3原論文でも、勾配更新やファインチューニングを行わず、タスクと少数例をテキストで与える設定が評価された。ファインチューニングはタスク向けデータでモデルのパラメータを追加学習する。転移学習は別タスクで得た知識を新しいタスクへ利用する広い枠組みで、プロンプト内の例示だけを指す名称ではない。ドロップアウトは学習中に一部のノードを無効化して過学習を抑える手法である。

https://arxiv.org/abs/2005.14165

この事例では「逆拡散を学習する起点として利用される乱れか」を確認すると、データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われるに絞れる。正解は「データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる」である。VAE等の生成モデルにおけるノイズは、データに段階的なランダムな乱れを加えて情報を崩し、その逆の過程（ノイズを取り除く過程）をモデルに学習させるための材料として使われる。品質チェックの基準値、データセットのフィルタ、出力結果の注釈という説明は、いずれもこの文脈での「ノイズ」の役割と一致しない。この仕組みは拡散モデルと呼ばれる画像生成手法の中核をなす考え方である。

https://guga.or.jp/assets/syllabus.pdf （第2章 生成AIの誕生まで・VAE/ノイズ）

この事例では「系列処理のRNNと画像処理のCNNを役割で区別するか」を確認すると、CNN（畳み込みニューラルネットワーク）とは、文章や時系列のような順序のある系列データを、隠れ層（リカレント層）で前の情報を保持しながら順に処理していくニューラルネットワークであるに絞れる。正解は「CNN（畳み込みニューラルネットワーク）とは、文章や時系列のような順序のある系列データを、隠れ層（リカレント層）で前の情報を保持しながら順に処理していくニューラルネットワークである」（誤り）である。CNNは画像認識などで広く使われ、フィルタを用いた畳み込みによって画像の局所的な特徴を抽出することを中核とするニューラルネットワークであり、設問の説明は系列データを扱うRNNの定義をCNNに誤って当てはめている。GAN・RNN・LSTMの説明はいずれも正しい。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-003/011/012/013)の定義との整合性確認

この事例では「文同士の連続関係を予測するNSPか」を確認すると、NSP（Next Sentence Prediction）とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルであるに絞れる。正解は「NSP（Next Sentence Prediction）とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである」（誤り）である。NSPは、与えられた2つの文が文章内で連続しているかどうかを判定させる事前学習タスクであり、設問の説明はALBERTの定義をNSPに誤って当てはめている。MLM・RoBERTa・ALBERTの説明はいずれも正しい。BERTはTransformerの一部（エンコーダ）を用いた双方向の文脈理解に強みを持つモデルとして知られる。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-016/017)の定義との整合性確認

この事例では「注意機構と位置エンコーディングの役割を分けるか」を確認すると、位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みであるに絞れる。正解は「位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである」（誤り）である。位置エンコーディングは、Transformerモデルで入力された単語の並び順（位置）の情報をモデルに伝えるために加えられる仕組みであり、設問の説明はAttention Mechanismの定義を位置エンコーディングに誤って当てはめている。アーキテクチャ・Attention Mechanism・ニューラルネットワークの説明はいずれも正しい。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-015/040/034)の定義との整合性確認。アーキテクチャの定義はソフトウェア工学における一般的な用法に基づく。

この事例では「モデルがデータから獲得する重み等のパラメータか」を確認すると、パラメータとは、AIモデルの学習（訓練）に用いるために集められた、データの集まりであるに絞れる。正解は「パラメータとは、AIモデルの学習（訓練）に用いるために集められた、データの集まりである」（誤り）である。パラメータは、GPTモデルの世代が進むにつれて一般に増加してきた、モデルの規模を表す指標でモデル内部で調整される値であり、設問の説明はデータセットの定義をパラメータに誤って当てはめている。自然言語処理・データセット・ハルシネーションの説明はいずれも正しい。パラメータ数はモデルの表現力に関わる指標として、GPTモデルの世代比較でもしばしば言及される。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-010/019/026/001)の定義との整合性確認

この事例では「ファインチューニングとプロンプト設計を更新対象で分けるか」を確認すると、プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みであるに絞れる。正解は「プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みである」（誤り）である。プロンプトエンジニアリングは、生成AIから望ましい出力を得るために指示（プロンプト）の与え方を工夫・設計する取り組みであり、設問の説明はアライメントの定義をプロンプトエンジニアリングに誤って当てはめている。転移学習・ファインチューニング・アライメントの説明はいずれも正しい。プロンプトエンジニアリングは、モデル自体を再学習させずに出力を改善できる手軽な手法として広く使われている。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch1-010/ch2-008/ch5-004/ch2-025)の定義との整合性確認

この事例では「例示を少数与えて追加学習なしにタスクを示すか」を確認すると、Few-Shotプロンプティングに絞れる。正解は「Few-Shotプロンプティング」である。Few-Shotでは、実行してほしいタスクの少数の入出力例をプロンプト内に示し、モデルの重みを更新せず、テキストによる指示と例示だけで回答させる。GPT-3原論文でも、勾配更新やファインチューニングを行わず、タスクと少数例をテキストで与える設定が評価された。ファインチューニングはタスク向けデータでモデルのパラメータを追加学習する。転移学習は別タスクで得た知識を新しいタスクへ利用する広い枠組みで、プロンプト内の例示だけを指す名称ではない。ドロップアウトは学習中に一部のノードを無効化して過学習を抑える手法である。

https://arxiv.org/abs/2005.14165

この事例では「ノイズ付加と除去の過程を利用する拡散モデルか」を確認すると、データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われるに絞れる。正解は「データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる」である。VAE等の生成モデルにおけるノイズは、データに段階的なランダムな乱れを加えて情報を崩し、その逆の過程（ノイズを取り除く過程）をモデルに学習させるための材料として使われる。品質チェックの基準値、データセットのフィルタ、出力結果の注釈という説明は、いずれもこの文脈での「ノイズ」の役割と一致しない。この仕組みは拡散モデルと呼ばれる画像生成手法の中核をなす考え方である。

https://guga.or.jp/assets/syllabus.pdf （第2章 生成AIの誕生まで・VAE/ノイズ）

この事例では「過去の状態を再帰的に次の処理へ渡すRNNか」を確認すると、CNN（畳み込みニューラルネットワーク）とは、文章や時系列のような順序のある系列データを、隠れ層（リカレント層）で前の情報を保持しながら順に処理していくニューラルネットワークであるに絞れる。正解は「CNN（畳み込みニューラルネットワーク）とは、文章や時系列のような順序のある系列データを、隠れ層（リカレント層）で前の情報を保持しながら順に処理していくニューラルネットワークである」（誤り）である。CNNは画像認識などで広く使われ、フィルタを用いた畳み込みによって画像の局所的な特徴を抽出することを中核とするニューラルネットワークであり、設問の説明は系列データを扱うRNNの定義をCNNに誤って当てはめている。GAN・RNN・LSTMの説明はいずれも正しい。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-003/011/012/013)の定義との整合性確認

この事例では「双方向の文脈を学ぶBERTか」を確認すると、NSP（Next Sentence Prediction）とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルであるに絞れる。正解は「NSP（Next Sentence Prediction）とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである」（誤り）である。NSPは、与えられた2つの文が文章内で連続しているかどうかを判定させる事前学習タスクであり、設問の説明はALBERTの定義をNSPに誤って当てはめている。MLM・RoBERTa・ALBERTの説明はいずれも正しい。BERTはTransformerの一部（エンコーダ）を用いた双方向の文脈理解に強みを持つモデルとして知られる。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-016/017)の定義との整合性確認

この事例では「トークンの並び位置を符号化するか」を確認すると、位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みであるに絞れる。正解は「位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである」（誤り）である。位置エンコーディングは、Transformerモデルで入力された単語の並び順（位置）の情報をモデルに伝えるために加えられる仕組みであり、設問の説明はAttention Mechanismの定義を位置エンコーディングに誤って当てはめている。アーキテクチャ・Attention Mechanism・ニューラルネットワークの説明はいずれも正しい。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-015/040/034)の定義との整合性確認。アーキテクチャの定義はソフトウェア工学における一般的な用法に基づく。