AI資格ドリル
資格を選ぶ↓

生成AIパスポート 第2章 生成AI(ジェネレーティブAI) 予想問題(2/2

43問〜第80問を掲載しています。答えを開き、誤答選択肢との違いまで確認してください。

43 ・ 生成AIの誕生まで

画像を生成する仕組みの一つとして、データに段階的にノイズを加えて情報を崩し、その逆の過程(ノイズを取り除く過程)を学習することで新しいデータを生成する手法がある。この手法における「ノイズ」の役割の説明として、最も適切なものはどれか。

  • データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる
  • 生成された画像の品質を最終的にチェックするための基準値として使われる
  • 学習用データセットの中から不要なデータを自動的に除外するためのフィルタとして使われる
  • モデルの出力結果をユーザーに分かりやすく説明するための注釈として使われる
答えと解説を見る
データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる正解
解説

正解は「データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる」である。VAE等の生成モデルにおけるノイズは、データに段階的なランダムな乱れを加えて情報を崩し、その逆の過程(ノイズを取り除く過程)をモデルに学習させるための材料として使われる。品質チェックの基準値、データセットのフィルタ、出力結果の注釈という説明は、いずれもこの文脈での「ノイズ」の役割と一致しない。この仕組みは拡散モデルと呼ばれる画像生成手法の中核をなす考え方である。

https://guga.or.jp/assets/syllabus.pdf (第2章 生成AIの誕生まで・VAE/ノイズ)

44 ・ ChatGPT

2025年4月14日に公開された、最大100万トークンという大きなコンテキストウィンドウを扱える点を特徴とし、主にAPI利用者向けの性能強化に主眼が置かれたモデルはどれか。

  • GPT-4.1
  • GPT-2
  • GPT-3.5
  • GPT-o1
答えと解説を見る
GPT-4.1正解
解説

正解は「GPT-4.1」である。GPT-4.1は2025年4月14日に公開されたモデルで、最大100万トークンという大きなコンテキストウィンドウを扱える点が特徴であり、主にAPI利用者向けの性能強化に主眼が置かれた。GPT-2・GPT-3.5はGPT-4.1より前に公開されたモデル、GPT-o1は回答前に時間をかけて考える推論モデルシリーズであり、いずれも大きなコンテキストウィンドウとAPI向け性能強化を特徴とするモデルではない。長い文書やコードベース全体を一度に処理したい用途に適している。

https://en.wikipedia.org/wiki/GPT-4.1 (2026-07-31確認)

45 ・ ChatGPT

2025年8月7日に公開された、質問の複雑さに応じて高速な応答と深い推論のどちらを使うかを自動的に判断する「ルーター」を備えた統合システムであることを特徴とするモデルはどれか。

  • GPT-5
  • GPT-4
  • GPT-o1
  • GPT-3.5
答えと解説を見る
GPT-5正解
解説

正解は「GPT-5」である。GPT-5は2025年8月7日に公開されたモデルで、質問の複雑さに応じて高速な応答と深い推論のどちらを使うかを自動的に判断する「ルーター」を備えた統合システムである点が特徴である。GPT-4・GPT-3.5はGPT-5より前に公開されたモデル、GPT-o1は常に回答前に時間をかけて考える推論専用のモデルシリーズであり、いずれも高速応答と深い推論を自動的に切り替えるルーターを備えた統合システムではない。用途に応じた処理速度と推論精度の両立を狙った設計である。

https://openai.com/index/introducing-gpt-5/ / https://en.wikipedia.org/wiki/GPT-5 (2026-07-31確認)

46 ・ ChatGPT

2025年4月16日に同日公開された「GPT-o3」と「GPT-o4-mini」の位置づけの違いとして、最も適切なものはどれか。

  • GPT-o3は複雑な段階的論理推論により多くの検討時間をかけて取り組む推論モデルであり、GPT-o4-miniは高速かつ低コストな推論に最適化された小型モデルである
  • GPT-o3は画像生成に特化したモデルであり、GPT-o4-miniはテキスト生成に特化したモデルである
  • GPT-o3はOpenAIが開発したモデルであり、GPT-o4-miniはGoogleが開発したモデルである
  • GPT-o3とGPT-o4-miniはいずれも2019年に公開された初期のモデルである
答えと解説を見る
GPT-o3は複雑な段階的論理推論により多くの検討時間をかけて取り組む推論モデルであり、GPT-o4-miniは高速かつ低コストな推論に最適化された小型モデルである正解
解説

正解は「GPT-o3は複雑な段階的論理推論により多くの検討時間をかけて取り組む推論モデルであり、GPT-o4-miniは高速かつ低コストな推論に最適化された小型モデルである」である。GPT-o3とGPT-o4-miniはいずれも2025年4月16日に公開された推論モデルであり、GPT-o3は複雑な段階的な論理的推論を要する課題により多くの検討時間をかけて取り組むことに主眼が置かれ、GPT-o4-miniは高速かつ低コストな推論に最適化された小型モデルという位置づけである。画像生成/テキスト生成への特化とする説明、開発元が異なるとする説明、2019年公開とする説明は、いずれも実際の位置づけと一致しない。

https://en.wikipedia.org/wiki/OpenAI_o3 / https://en.wikipedia.org/wiki/OpenAI_o4-mini (2026-07-31確認)

47 ・ 生成AIの誕生まで

生成AIを支えるニューラルネットワークの種類に関する次の説明のうち、誤っているものはどれか。

  • GAN(敵対的生成ネットワーク)とは、2つのネットワークを競い合わせることで本物らしいデータを生成する、生成器と識別器から成るモデルである
  • CNN(畳み込みニューラルネットワーク)とは、文章や時系列のような順序のある系列データを、隠れ層(リカレント層)で前の情報を保持しながら順に処理していくニューラルネットワークである
  • RNN(回帰型ニューラルネットワーク)とは、文章や時系列のような順序のある系列データを、隠れ層(リカレント層)で前の情報を保持しながら順に処理していくニューラルネットワークである
  • LSTM(長・短期記憶)とは、系列データを扱うニューラルネットワークのうち、RNNを改良し、長い系列でも情報を保持しやすくしたモデルである
答えと解説を見る
CNN(畳み込みニューラルネットワーク)とは、文章や時系列のような順序のある系列データを、隠れ層(リカレント層)で前の情報を保持しながら順に処理していくニューラルネットワークである正解
解説

正解は「CNN(畳み込みニューラルネットワーク)とは、文章や時系列のような順序のある系列データを、隠れ層(リカレント層)で前の情報を保持しながら順に処理していくニューラルネットワークである」(誤り)である。CNNは画像認識などで広く使われ、フィルタを用いた畳み込みによって画像の局所的な特徴を抽出することを中核とするニューラルネットワークであり、設問の説明は系列データを扱うRNNの定義をCNNに誤って当てはめている。GAN・RNN・LSTMの説明はいずれも正しい。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-003/011/012/013)の定義との整合性確認

48 ・ ChatGPT

OpenAIが提供するツール・機能に関する次の説明のうち、誤っているものはどれか。

  • GPTsとは、ChatGPT上で利用者が用途に合わせて独自にカスタマイズした対話AIを作成・公開できる機能である
  • Code Interpreterとは、自然言語での指示からプログラムのコードを生成・記述することを主な用途とするものである
  • Codexとは、自然言語での指示からプログラムのコードを生成・記述することを主な用途とするものである
  • Operatorとは、人がWebブラウザの画面を見て入力やクリックを行うように操作し、Web上のタスクを自律的に代行するものである
答えと解説を見る
Code Interpreterとは、自然言語での指示からプログラムのコードを生成・記述することを主な用途とするものである正解
解説

正解は「Code Interpreterとは、自然言語での指示からプログラムのコードを生成・記述することを主な用途とするものである」(誤り)である。Code Interpreterは、ChatGPT上でアップロードしたファイルのデータを解析したり、プログラムを実行してグラフを作成したりできる機能であり、設問の説明はCodexの定義をCode Interpreterに誤って当てはめている。GPTs・Codex・Operatorの説明はいずれも正しい。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-020/021/022/023)の定義との整合性確認

49 ・ 生成AIの誕生まで

BERTモデルとその関連概念に関する次の説明のうち、誤っているものはどれか。

  • MLM(Masked Language Model)とは、文章中の一部の単語を隠し、その単語が何であるかを予測させる事前学習タスクである
  • NSP(Next Sentence Prediction)とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである
  • RoBERTaとは、BERTモデルの学習方法や学習データ量を改良し、性能を高めた派生モデルである
  • ALBERT(a Lite BERT)とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである
答えと解説を見る
NSP(Next Sentence Prediction)とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである正解
解説

正解は「NSP(Next Sentence Prediction)とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである」(誤り)である。NSPは、与えられた2つの文が文章内で連続しているかどうかを判定させる事前学習タスクであり、設問の説明はALBERTの定義をNSPに誤って当てはめている。MLM・RoBERTa・ALBERTの説明はいずれも正しい。BERTはTransformerの一部(エンコーダ)を用いた双方向の文脈理解に強みを持つモデルとして知られる。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-016/017)の定義との整合性確認

50 ・ 生成AIの誕生まで

Transformerモデルの構造に関する次の説明のうち、誤っているものはどれか。

  • アーキテクチャとは、モデルを構成する層の種類・数・接続方法など、モデル全体の設計・構造を指す語である
  • 位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである
  • Attention Mechanism(注意機構)とは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである
  • ニューラルネットワークとは、脳の神経細胞(ニューロン)とその結合(シナプス)の仕組みを模し、人工ニューロン(ノード)を多数つなぎ合わせて情報を処理するモデルである
答えと解説を見る
位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである正解
解説

正解は「位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである」(誤り)である。位置エンコーディングは、Transformerモデルで入力された単語の並び順(位置)の情報をモデルに伝えるために加えられる仕組みであり、設問の説明はAttention Mechanismの定義を位置エンコーディングに誤って当てはめている。アーキテクチャ・Attention Mechanism・ニューラルネットワークの説明はいずれも正しい。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-015/040/034)の定義との整合性確認。アーキテクチャの定義はソフトウェア工学における一般的な用法に基づく。

51 ・ ChatGPT

生成AI・機械学習の基礎用語に関する次の説明のうち、誤っているものはどれか。

  • 自然言語処理(NLP)とは、人間が日常的に使う言葉(自然言語)をコンピュータに処理・理解させる技術分野である
  • パラメータとは、AIモデルの学習(訓練)に用いるために集められた、データの集まりである
  • データセットとは、AIモデルの学習(訓練)に用いるために集められた、データの集まりである
  • ハルシネーションとは、生成AIが、事実と異なる内容をもっともらしい文章として出力してしまう現象である
答えと解説を見る
パラメータとは、AIモデルの学習(訓練)に用いるために集められた、データの集まりである正解
解説

正解は「パラメータとは、AIモデルの学習(訓練)に用いるために集められた、データの集まりである」(誤り)である。パラメータは、GPTモデルの世代が進むにつれて一般に増加してきた、モデルの規模を表す指標でモデル内部で調整される値であり、設問の説明はデータセットの定義をパラメータに誤って当てはめている。自然言語処理・データセット・ハルシネーションの説明はいずれも正しい。パラメータ数はモデルの表現力に関わる指標として、GPTモデルの世代比較でもしばしば言及される。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-010/019/026/001)の定義との整合性確認

52 ・ ChatGPT

AIモデルを目的に応じて調整する取り組みに関する次の説明のうち、誤っているものはどれか。

  • 転移学習とは、ある課題を学習して得たモデルや知識を、別の関連する課題の学習に応用する手法である
  • ファインチューニングとは、事前学習済みモデルを特定の用途やタスク向けに追加で学習させて調整することである
  • プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みである
  • アライメントとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みである
答えと解説を見る
プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みである正解
解説

正解は「プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みである」(誤り)である。プロンプトエンジニアリングは、生成AIから望ましい出力を得るために指示(プロンプト)の与え方を工夫・設計する取り組みであり、設問の説明はアライメントの定義をプロンプトエンジニアリングに誤って当てはめている。転移学習・ファインチューニング・アライメントの説明はいずれも正しい。プロンプトエンジニアリングは、モデル自体を再学習させずに出力を改善できる手軽な手法として広く使われている。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch1-010/ch2-008/ch5-004/ch2-025)の定義との整合性確認

53 ・ ChatGPT

2018年6月にOpenAIが発表した最初のGPTモデルの説明として、最も適切なものはどれか。

  • 事前学習済みの単一モデルを様々な自然言語処理タスクにファインチューニングして応用できることを示した研究成果として位置づけられる
  • 質問の複雑さに応じて高速な応答と深い推論のどちらを使うかを自動的に判断する統合システムである
  • 最大100万トークンという大きなコンテキストウィンドウを扱えるAPI利用者向けの性能強化モデルである
  • 回答前に時間をかけて考える推論に特化した、OpenAIの「推論モデル」シリーズの最初のモデルである
答えと解説を見る
事前学習済みの単一モデルを様々な自然言語処理タスクにファインチューニングして応用できることを示した研究成果として位置づけられる正解
解説

正解は「事前学習済みの単一モデルを様々な自然言語処理タスクにファインチューニングして応用できることを示した研究成果として位置づけられる」である。GPT-1は2018年6月にOpenAIが発表した最初のGPTモデルであり、消費者向け製品としてではなく、事前学習済みの単一モデルを様々な自然言語処理タスクにファインチューニングして応用できることを示した研究成果として位置づけられる。統合システムはGPT-5、大きなコンテキストウィンドウはGPT-4.1、推論モデルシリーズの最初のモデルはGPT-o1の特徴であり、いずれもGPT-1の説明ではない。

https://en.wikipedia.org/wiki/GPT-1 (2026-08-01確認)

54 ・ ChatGPT

2020年7月にOpenAIが発表した、少数の例示(Few-Shot)や例示なし(Zero-Shot)だけで、追加学習なしに多様なタスクをこなせることを示したGPTモデルはどれか。

  • GPT-3
  • GPT-1
  • GPT-2
  • GPT-4
答えと解説を見る
GPT-3正解
解説

正解は「GPT-3」である。GPT-3は2020年7月にOpenAIが発表したモデルで、少数の例示(Few-Shot)や例示なし(Zero-Shot)だけで、追加学習なしに多様なタスクをこなせることを示した論文「Language Models are Few-Shot Learners」の対象モデルとして知られる。GPT-1は2018年に発表された最初のGPTモデル、GPT-2は2019年に公開されたモデル、GPT-4は2023年3月に公開されたモデルであり、いずれもFew-Shot/Zero-Shot学習能力を示した2020年発表のモデルではない。

https://en.wikipedia.org/wiki/GPT-3 (2026-08-01確認)

55 ・ ChatGPT

2019年2月に発表された際、フェイクニュース生成等の悪用リスクを理由に、当初は性能を抑えた縮小版のみを公開する「段階的公開」の方針が採られたGPTモデルはどれか。

  • GPT-2
  • GPT-1
  • GPT-3
  • GPT-4
答えと解説を見る
GPT-2正解
解説

正解は「GPT-2」である。GPT-2は2019年2月14日に発表され、フェイクニュース生成等の悪用リスクを理由に、当初はフルモデルではなく性能を抑えた縮小版のみを公開する「段階的公開」の方針を採用した(フルモデルは同年11月に公開された)。GPT-1は2018年に発表された最初のGPTモデル、GPT-3は2020年に発表されたFew-Shot学習の実証モデル、GPT-4は2023年に公開されたモデルであり、いずれも段階的公開の方針で知られるモデルではない。

https://en.wikipedia.org/wiki/GPT-2 (2026-08-01確認)

56 ・ ChatGPT

2022年11月30日に公開されたChatGPTの初期バージョンに搭載されたモデルで、GPT-3を人間のフィードバックを用いた強化学習(RLHF)で対話向けに調整したモデル群を指すのはどれか。

  • GPT-3.5
  • GPT-3
  • GPT-4
  • GPT-o1
答えと解説を見る
GPT-3.5正解
解説

正解は「GPT-3.5」である。GPT-3.5は2022年11月30日に公開されたChatGPTの初期バージョンに搭載されたモデルであり、GPT-3を人間のフィードバックを用いた強化学習(RLHF)で対話向けに調整したモデル群を指す。GPT-3はGPT-3.5の元になったモデル、GPT-4は2023年3月に公開されたマルチモーダル対応モデル、GPT-o1は2024年9月に公開された推論モデルであり、いずれもChatGPTの初期バージョンに搭載されたモデルではない。

複数の技術メディア(GPT-3.5の公開時期と経緯、2026-08-01にWebSearchで確認)

57 ・ ChatGPT

2023年3月14日に公開された、テキストに加えて画像入力にも対応した初のマルチモーダル対応GPTモデルはどれか。

  • GPT-4
  • GPT-3.5
  • GPT-3
  • GPT-2
答えと解説を見る
GPT-4正解
解説

正解は「GPT-4」である。GPT-4は2023年3月14日に公開された、テキストに加えて画像入力にも対応した初のマルチモーダル対応GPTモデルであり、出力はテキストのみで、専門的・学術的なベンチマークで人間レベルの推論性能を示した。GPT-3.5・GPT-3・GPT-2はいずれもGPT-4より前に公開されたテキスト専用のモデルであり、画像入力に対応したマルチモーダルモデルではない。GPT-4はテキストに加えて画像も入力として受け取れる点で、それまでのモデルから大きく機能が拡張された。

https://en.wikipedia.org/wiki/GPT-4 (2026-08-01確認)

58 ・ ChatGPT

ChatGPTの機能に関する「利用シーンの説明」と「該当する機能名」の組み合わせに関する次の説明のうち、誤っているものはどれか。

  • 自分の業務に合わせてカスタマイズした対話AIを作成し、社内で共有したい場合に使うのは、GPTsである
  • アップロードした売上データのExcelファイルを分析し、グラフを自動作成させたい場合に使うのは、Code Interpreterである
  • Webサイトの予約フォームへの入力作業を自動で代行させたい場合に使うのは、Codexである
  • 自然言語での指示だけでプログラムのコードを書かせたい場合に使うのは、Codexである
答えと解説を見る
Webサイトの予約フォームへの入力作業を自動で代行させたい場合に使うのは、Codexである正解
解説

正解は「Webサイトの予約フォームへの入力作業を自動で代行させたい場合に使うのは、Codexである」(誤り)である。Webブラウザの画面を見て入力やクリックを自律的に代行するのはOperatorであり、Codexは自然言語の指示からプログラムのコードを生成するツールである。設問の説明はOperatorの利用シーンをCodexに誤って当てはめている。他の3つの組み合わせはいずれも正しい。ChatGPTの各機能は目的に応じて使い分けることで、コード生成・データ分析・ブラウザ操作といった幅広い作業を効率化できる。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-020/021/022/023)の定義との整合性確認

59 ・ ChatGPT

GPTモデルに関する「特徴の説明」と「該当するモデル」の組み合わせに関する次の説明のうち、誤っているものはどれか。

  • 画像入力にも対応した初のマルチモーダルモデルは、GPT-4である
  • 回答前に時間をかけて考える、推論モデルシリーズの最初のモデルは、GPT-4である
  • 高速な応答と深い推論を自動的に切り替えるルーターを備えた統合システムは、GPT-5である
  • 最大100万トークンのコンテキストウィンドウを扱えるAPI向け強化モデルは、GPT-4.1である
答えと解説を見る
回答前に時間をかけて考える、推論モデルシリーズの最初のモデルは、GPT-4である正解
解説

正解は「回答前に時間をかけて考える、推論モデルシリーズの最初のモデルは、GPT-4である」(誤り)である。回答前に時間をかけて考える推論モデルシリーズの最初のモデルはGPT-o1であり、GPT-4は画像入力に対応した初のマルチモーダルモデルである。設問の組み合わせはGPT-o1とGPT-4を取り違えている。他の3つの組み合わせはいずれも正しい。GPT-o1とGPT-4はいずれも2023年以降に登場したモデルだが、開発の主眼が推論力の強化かマルチモーダル対応かという点で異なる。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-042/044/045/057)の定義との整合性確認

60 ・ ChatGPT

事前学習済み言語モデルに少数の入出力例をプロンプト内で示し、モデルのパラメータを追加学習せずに新しいタスクへ対応させる方法はどれか。

  • Few-Shotプロンプティング
  • ファインチューニング
  • 転移学習
  • ドロップアウト
答えと解説を見る
Few-Shotプロンプティング正解
解説

正解は「Few-Shotプロンプティング」である。Few-Shotでは、実行してほしいタスクの少数の入出力例をプロンプト内に示し、モデルの重みを更新せず、テキストによる指示と例示だけで回答させる。GPT-3原論文でも、勾配更新やファインチューニングを行わず、タスクと少数例をテキストで与える設定が評価された。ファインチューニングはタスク向けデータでモデルのパラメータを追加学習する。転移学習は別タスクで得た知識を新しいタスクへ利用する広い枠組みで、プロンプト内の例示だけを指す名称ではない。ドロップアウトは学習中に一部のノードを無効化して過学習を抑える手法である。

https://arxiv.org/abs/2005.14165

61 ・ 生成AIの誕生まで

画像生成モデルが訓練画像を徐々に乱し、その乱れを逆向きに除く手順を学ぶ。この方式でノイズが果たす役割の説明はどれか。

  • データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる
  • 生成された画像の品質を最終的にチェックするための基準値として使われる
  • 学習用データセットの中から不要なデータを自動的に除外するためのフィルタとして使われる
  • モデルの出力結果をユーザーに分かりやすく説明するための注釈として使われる
答えと解説を見る
データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる正解
解説

この事例では「破壊過程と復元過程を学ぶためランダムな乱れを加えるか」を確認すると、データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われるに絞れる。正解は「データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる」である。VAE等の生成モデルにおけるノイズは、データに段階的なランダムな乱れを加えて情報を崩し、その逆の過程(ノイズを取り除く過程)をモデルに学習させるための材料として使われる。品質チェックの基準値、データセットのフィルタ、出力結果の注釈という説明は、いずれもこの文脈での「ノイズ」の役割と一致しない。この仕組みは拡散モデルと呼ばれる画像生成手法の中核をなす考え方である。

https://guga.or.jp/assets/syllabus.pdf (第2章 生成AIの誕生まで・VAE/ノイズ)

62 ・ 生成AIの誕生まで

写真から局所的な模様を捉える層を重ね、物体を分類するモデルを選びたい。ニューラルネットワークの説明として正しいものはどれか。

  • GAN(敵対的生成ネットワーク)とは、2つのネットワークを競い合わせることで本物らしいデータを生成する、生成器と識別器から成るモデルである
  • CNN(畳み込みニューラルネットワーク)とは、文章や時系列のような順序のある系列データを、隠れ層(リカレント層)で前の情報を保持しながら順に処理していくニューラルネットワークである
  • RNN(回帰型ニューラルネットワーク)とは、文章や時系列のような順序のある系列データを、隠れ層(リカレント層)で前の情報を保持しながら順に処理していくニューラルネットワークである
  • LSTM(長・短期記憶)とは、系列データを扱うニューラルネットワークのうち、RNNを改良し、長い系列でも情報を保持しやすくしたモデルである
答えと解説を見る
CNN(畳み込みニューラルネットワーク)とは、文章や時系列のような順序のある系列データを、隠れ層(リカレント層)で前の情報を保持しながら順に処理していくニューラルネットワークである正解
解説

この事例では「画像の局所特徴を畳み込みで抽出するCNNか」を確認すると、CNN(畳み込みニューラルネットワーク)とは、文章や時系列のような順序のある系列データを、隠れ層(リカレント層)で前の情報を保持しながら順に処理していくニューラルネットワークであるに絞れる。正解は「CNN(畳み込みニューラルネットワーク)とは、文章や時系列のような順序のある系列データを、隠れ層(リカレント層)で前の情報を保持しながら順に処理していくニューラルネットワークである」(誤り)である。CNNは画像認識などで広く使われ、フィルタを用いた畳み込みによって画像の局所的な特徴を抽出することを中核とするニューラルネットワークであり、設問の説明は系列データを扱うRNNの定義をCNNに誤って当てはめている。GAN・RNN・LSTMの説明はいずれも正しい。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-003/011/012/013)の定義との整合性確認

63 ・ 生成AIの誕生まで

文章の前後関係を双方向から捉えるため、一部の単語を隠して元の語を予測する学習を使うモデルを確認したい。説明はどれか。

  • MLM(Masked Language Model)とは、文章中の一部の単語を隠し、その単語が何であるかを予測させる事前学習タスクである
  • NSP(Next Sentence Prediction)とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである
  • RoBERTaとは、BERTモデルの学習方法や学習データ量を改良し、性能を高めた派生モデルである
  • ALBERT(a Lite BERT)とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである
答えと解説を見る
NSP(Next Sentence Prediction)とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである正解
解説

この事例では「マスクした語の予測を用いるBERTか」を確認すると、NSP(Next Sentence Prediction)とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルであるに絞れる。正解は「NSP(Next Sentence Prediction)とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである」(誤り)である。NSPは、与えられた2つの文が文章内で連続しているかどうかを判定させる事前学習タスクであり、設問の説明はALBERTの定義をNSPに誤って当てはめている。MLM・RoBERTa・ALBERTの説明はいずれも正しい。BERTはTransformerの一部(エンコーダ)を用いた双方向の文脈理解に強みを持つモデルとして知られる。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-016/017)の定義との整合性確認

64 ・ 生成AIの誕生まで

Transformerへ同じ単語列でも順番を区別させる情報を加えた。この機構の説明はどれか。

  • アーキテクチャとは、モデルを構成する層の種類・数・接続方法など、モデル全体の設計・構造を指す語である
  • 位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである
  • Attention Mechanism(注意機構)とは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである
  • ニューラルネットワークとは、脳の神経細胞(ニューロン)とその結合(シナプス)の仕組みを模し、人工ニューロン(ノード)を多数つなぎ合わせて情報を処理するモデルである
答えと解説を見る
位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである正解
解説

この事例では「各トークンの位置を入力表現へ付加するか」を確認すると、位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みであるに絞れる。正解は「位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである」(誤り)である。位置エンコーディングは、Transformerモデルで入力された単語の並び順(位置)の情報をモデルに伝えるために加えられる仕組みであり、設問の説明はAttention Mechanismの定義を位置エンコーディングに誤って当てはめている。アーキテクチャ・Attention Mechanism・ニューラルネットワークの説明はいずれも正しい。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-015/040/034)の定義との整合性確認。アーキテクチャの定義はソフトウェア工学における一般的な用法に基づく。

65 ・ ChatGPT

学習中に更新され、モデルの出力を左右する重みなどの値を指す用語の説明はどれか。

  • 自然言語処理(NLP)とは、人間が日常的に使う言葉(自然言語)をコンピュータに処理・理解させる技術分野である
  • パラメータとは、AIモデルの学習(訓練)に用いるために集められた、データの集まりである
  • データセットとは、AIモデルの学習(訓練)に用いるために集められた、データの集まりである
  • ハルシネーションとは、生成AIが、事実と異なる内容をもっともらしい文章として出力してしまう現象である
答えと解説を見る
パラメータとは、AIモデルの学習(訓練)に用いるために集められた、データの集まりである正解
解説

この事例では「訓練を通じて最適化されるモデル内部の値か」を確認すると、パラメータとは、AIモデルの学習(訓練)に用いるために集められた、データの集まりであるに絞れる。正解は「パラメータとは、AIモデルの学習(訓練)に用いるために集められた、データの集まりである」(誤り)である。パラメータは、GPTモデルの世代が進むにつれて一般に増加してきた、モデルの規模を表す指標でモデル内部で調整される値であり、設問の説明はデータセットの定義をパラメータに誤って当てはめている。自然言語処理・データセット・ハルシネーションの説明はいずれも正しい。パラメータ数はモデルの表現力に関わる指標として、GPTモデルの世代比較でもしばしば言及される。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-010/019/026/001)の定義との整合性確認

66 ・ ChatGPT

追加学習を行わず、指示文の書き方を工夫して回答形式を安定させる取り組みを選びたい。説明はどれか。

  • 転移学習とは、ある課題を学習して得たモデルや知識を、別の関連する課題の学習に応用する手法である
  • ファインチューニングとは、事前学習済みモデルを特定の用途やタスク向けに追加で学習させて調整することである
  • プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みである
  • アライメントとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みである
答えと解説を見る
プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みである正解
解説

この事例では「プロンプトの設計によって出力を調整するか」を確認すると、プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みであるに絞れる。正解は「プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みである」(誤り)である。プロンプトエンジニアリングは、生成AIから望ましい出力を得るために指示(プロンプト)の与え方を工夫・設計する取り組みであり、設問の説明はアライメントの定義をプロンプトエンジニアリングに誤って当てはめている。転移学習・ファインチューニング・アライメントの説明はいずれも正しい。プロンプトエンジニアリングは、モデル自体を再学習させずに出力を改善できる手軽な手法として広く使われている。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch1-010/ch2-008/ch5-004/ch2-025)の定義との整合性確認

67 ・ ChatGPT

分類例を三つプロンプトへ示し、その規則に従って新しい文を分類させた。この方法の説明はどれか。

  • Few-Shotプロンプティング
  • ファインチューニング
  • 転移学習
  • ドロップアウト
答えと解説を見る
Few-Shotプロンプティング正解
解説

この事例では「少数の入出力例を文脈内に提示するか」を確認すると、Few-Shotプロンプティングに絞れる。正解は「Few-Shotプロンプティング」である。Few-Shotでは、実行してほしいタスクの少数の入出力例をプロンプト内に示し、モデルの重みを更新せず、テキストによる指示と例示だけで回答させる。GPT-3原論文でも、勾配更新やファインチューニングを行わず、タスクと少数例をテキストで与える設定が評価された。ファインチューニングはタスク向けデータでモデルのパラメータを追加学習する。転移学習は別タスクで得た知識を新しいタスクへ利用する広い枠組みで、プロンプト内の例示だけを指す名称ではない。ドロップアウトは学習中に一部のノードを無効化して過学習を抑える手法である。

https://arxiv.org/abs/2005.14165

68 ・ 生成AIの誕生まで

ランダムな画像から少しずつ乱れを除去し、意味のある画像へ近づける生成方式を理解したい。ノイズの説明はどれか。

  • データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる
  • 生成された画像の品質を最終的にチェックするための基準値として使われる
  • 学習用データセットの中から不要なデータを自動的に除外するためのフィルタとして使われる
  • モデルの出力結果をユーザーに分かりやすく説明するための注釈として使われる
答えと解説を見る
データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる正解
解説

この事例では「逆拡散を学習する起点として利用される乱れか」を確認すると、データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われるに絞れる。正解は「データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる」である。VAE等の生成モデルにおけるノイズは、データに段階的なランダムな乱れを加えて情報を崩し、その逆の過程(ノイズを取り除く過程)をモデルに学習させるための材料として使われる。品質チェックの基準値、データセットのフィルタ、出力結果の注釈という説明は、いずれもこの文脈での「ノイズ」の役割と一致しない。この仕組みは拡散モデルと呼ばれる画像生成手法の中核をなす考え方である。

https://guga.or.jp/assets/syllabus.pdf (第2章 生成AIの誕生まで・VAE/ノイズ)

69 ・ 生成AIの誕生まで

文章を時系列順に処理して前の状態を次へ渡すネットワークと、画像の局所特徴を扱うネットワークを区別したい。正しい説明はどれか。

  • GAN(敵対的生成ネットワーク)とは、2つのネットワークを競い合わせることで本物らしいデータを生成する、生成器と識別器から成るモデルである
  • CNN(畳み込みニューラルネットワーク)とは、文章や時系列のような順序のある系列データを、隠れ層(リカレント層)で前の情報を保持しながら順に処理していくニューラルネットワークである
  • RNN(回帰型ニューラルネットワーク)とは、文章や時系列のような順序のある系列データを、隠れ層(リカレント層)で前の情報を保持しながら順に処理していくニューラルネットワークである
  • LSTM(長・短期記憶)とは、系列データを扱うニューラルネットワークのうち、RNNを改良し、長い系列でも情報を保持しやすくしたモデルである
答えと解説を見る
CNN(畳み込みニューラルネットワーク)とは、文章や時系列のような順序のある系列データを、隠れ層(リカレント層)で前の情報を保持しながら順に処理していくニューラルネットワークである正解
解説

この事例では「系列処理のRNNと画像処理のCNNを役割で区別するか」を確認すると、CNN(畳み込みニューラルネットワーク)とは、文章や時系列のような順序のある系列データを、隠れ層(リカレント層)で前の情報を保持しながら順に処理していくニューラルネットワークであるに絞れる。正解は「CNN(畳み込みニューラルネットワーク)とは、文章や時系列のような順序のある系列データを、隠れ層(リカレント層)で前の情報を保持しながら順に処理していくニューラルネットワークである」(誤り)である。CNNは画像認識などで広く使われ、フィルタを用いた畳み込みによって画像の局所的な特徴を抽出することを中核とするニューラルネットワークであり、設問の説明は系列データを扱うRNNの定義をCNNに誤って当てはめている。GAN・RNN・LSTMの説明はいずれも正しい。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-003/011/012/013)の定義との整合性確認

70 ・ 生成AIの誕生まで

二つの文が連続する関係かを予測する課題を、BERTの事前学習で使った。該当する概念の説明はどれか。

  • MLM(Masked Language Model)とは、文章中の一部の単語を隠し、その単語が何であるかを予測させる事前学習タスクである
  • NSP(Next Sentence Prediction)とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである
  • RoBERTaとは、BERTモデルの学習方法や学習データ量を改良し、性能を高めた派生モデルである
  • ALBERT(a Lite BERT)とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである
答えと解説を見る
NSP(Next Sentence Prediction)とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである正解
解説

この事例では「文同士の連続関係を予測するNSPか」を確認すると、NSP(Next Sentence Prediction)とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルであるに絞れる。正解は「NSP(Next Sentence Prediction)とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである」(誤り)である。NSPは、与えられた2つの文が文章内で連続しているかどうかを判定させる事前学習タスクであり、設問の説明はALBERTの定義をNSPに誤って当てはめている。MLM・RoBERTa・ALBERTの説明はいずれも正しい。BERTはTransformerの一部(エンコーダ)を用いた双方向の文脈理解に強みを持つモデルとして知られる。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-016/017)の定義との整合性確認

71 ・ 生成AIの誕生まで

各語が他のどの語を参照するか重み付けする仕組みと、語順を示す仕組みを区別したい。正しい説明はどれか。

  • アーキテクチャとは、モデルを構成する層の種類・数・接続方法など、モデル全体の設計・構造を指す語である
  • 位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである
  • Attention Mechanism(注意機構)とは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである
  • ニューラルネットワークとは、脳の神経細胞(ニューロン)とその結合(シナプス)の仕組みを模し、人工ニューロン(ノード)を多数つなぎ合わせて情報を処理するモデルである
答えと解説を見る
位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである正解
解説

この事例では「注意機構と位置エンコーディングの役割を分けるか」を確認すると、位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みであるに絞れる。正解は「位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである」(誤り)である。位置エンコーディングは、Transformerモデルで入力された単語の並び順(位置)の情報をモデルに伝えるために加えられる仕組みであり、設問の説明はAttention Mechanismの定義を位置エンコーディングに誤って当てはめている。アーキテクチャ・Attention Mechanism・ニューラルネットワークの説明はいずれも正しい。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-015/040/034)の定義との整合性確認。アーキテクチャの定義はソフトウェア工学における一般的な用法に基づく。

72 ・ ChatGPT

同じ構造のモデルでも学習後に異なる予測をする原因となる、訓練で調整された内部値は何か。説明を選べ。

  • 自然言語処理(NLP)とは、人間が日常的に使う言葉(自然言語)をコンピュータに処理・理解させる技術分野である
  • パラメータとは、AIモデルの学習(訓練)に用いるために集められた、データの集まりである
  • データセットとは、AIモデルの学習(訓練)に用いるために集められた、データの集まりである
  • ハルシネーションとは、生成AIが、事実と異なる内容をもっともらしい文章として出力してしまう現象である
答えと解説を見る
パラメータとは、AIモデルの学習(訓練)に用いるために集められた、データの集まりである正解
解説

この事例では「モデルがデータから獲得する重み等のパラメータか」を確認すると、パラメータとは、AIモデルの学習(訓練)に用いるために集められた、データの集まりであるに絞れる。正解は「パラメータとは、AIモデルの学習(訓練)に用いるために集められた、データの集まりである」(誤り)である。パラメータは、GPTモデルの世代が進むにつれて一般に増加してきた、モデルの規模を表す指標でモデル内部で調整される値であり、設問の説明はデータセットの定義をパラメータに誤って当てはめている。自然言語処理・データセット・ハルシネーションの説明はいずれも正しい。パラメータ数はモデルの表現力に関わる指標として、GPTモデルの世代比較でもしばしば言及される。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-010/019/026/001)の定義との整合性確認

73 ・ ChatGPT

モデル自体の重みを更新し、特定業務へ適応させる方法と、入力文だけを工夫する方法を区別したい。正しい説明はどれか。

  • 転移学習とは、ある課題を学習して得たモデルや知識を、別の関連する課題の学習に応用する手法である
  • ファインチューニングとは、事前学習済みモデルを特定の用途やタスク向けに追加で学習させて調整することである
  • プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みである
  • アライメントとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みである
答えと解説を見る
プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みである正解
解説

この事例では「ファインチューニングとプロンプト設計を更新対象で分けるか」を確認すると、プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みであるに絞れる。正解は「プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みである」(誤り)である。プロンプトエンジニアリングは、生成AIから望ましい出力を得るために指示(プロンプト)の与え方を工夫・設計する取り組みであり、設問の説明はアライメントの定義をプロンプトエンジニアリングに誤って当てはめている。転移学習・ファインチューニング・アライメントの説明はいずれも正しい。プロンプトエンジニアリングは、モデル自体を再学習させずに出力を改善できる手軽な手法として広く使われている。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch1-010/ch2-008/ch5-004/ch2-025)の定義との整合性確認

74 ・ ChatGPT

翻訳の見本を二組示した後、新しい一文を同じ形式で翻訳させた。この手法はどれか。

  • Few-Shotプロンプティング
  • ファインチューニング
  • 転移学習
  • ドロップアウト
答えと解説を見る
Few-Shotプロンプティング正解
解説

この事例では「例示を少数与えて追加学習なしにタスクを示すか」を確認すると、Few-Shotプロンプティングに絞れる。正解は「Few-Shotプロンプティング」である。Few-Shotでは、実行してほしいタスクの少数の入出力例をプロンプト内に示し、モデルの重みを更新せず、テキストによる指示と例示だけで回答させる。GPT-3原論文でも、勾配更新やファインチューニングを行わず、タスクと少数例をテキストで与える設定が評価された。ファインチューニングはタスク向けデータでモデルのパラメータを追加学習する。転移学習は別タスクで得た知識を新しいタスクへ利用する広い枠組みで、プロンプト内の例示だけを指す名称ではない。ドロップアウトは学習中に一部のノードを無効化して過学習を抑える手法である。

https://arxiv.org/abs/2005.14165

75 ・ 生成AIの誕生まで

学習データへ段階的にランダムな乱れを加え、元へ戻す操作をモデルへ習得させる。この生成法の説明はどれか。

  • データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる
  • 生成された画像の品質を最終的にチェックするための基準値として使われる
  • 学習用データセットの中から不要なデータを自動的に除外するためのフィルタとして使われる
  • モデルの出力結果をユーザーに分かりやすく説明するための注釈として使われる
答えと解説を見る
データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる正解
解説

この事例では「ノイズ付加と除去の過程を利用する拡散モデルか」を確認すると、データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われるに絞れる。正解は「データにランダムな乱れを加えて情報を崩し、それを取り除く過程をモデルに学習させるための材料として使われる」である。VAE等の生成モデルにおけるノイズは、データに段階的なランダムな乱れを加えて情報を崩し、その逆の過程(ノイズを取り除く過程)をモデルに学習させるための材料として使われる。品質チェックの基準値、データセットのフィルタ、出力結果の注釈という説明は、いずれもこの文脈での「ノイズ」の役割と一致しない。この仕組みは拡散モデルと呼ばれる画像生成手法の中核をなす考え方である。

https://guga.or.jp/assets/syllabus.pdf (第2章 生成AIの誕生まで・VAE/ノイズ)

76 ・ 生成AIの誕生まで

時系列の売上を順番に読み、直前までの情報を内部状態へ保持するネットワークを判断したい。正しい説明はどれか。

  • GAN(敵対的生成ネットワーク)とは、2つのネットワークを競い合わせることで本物らしいデータを生成する、生成器と識別器から成るモデルである
  • CNN(畳み込みニューラルネットワーク)とは、文章や時系列のような順序のある系列データを、隠れ層(リカレント層)で前の情報を保持しながら順に処理していくニューラルネットワークである
  • RNN(回帰型ニューラルネットワーク)とは、文章や時系列のような順序のある系列データを、隠れ層(リカレント層)で前の情報を保持しながら順に処理していくニューラルネットワークである
  • LSTM(長・短期記憶)とは、系列データを扱うニューラルネットワークのうち、RNNを改良し、長い系列でも情報を保持しやすくしたモデルである
答えと解説を見る
CNN(畳み込みニューラルネットワーク)とは、文章や時系列のような順序のある系列データを、隠れ層(リカレント層)で前の情報を保持しながら順に処理していくニューラルネットワークである正解
解説

この事例では「過去の状態を再帰的に次の処理へ渡すRNNか」を確認すると、CNN(畳み込みニューラルネットワーク)とは、文章や時系列のような順序のある系列データを、隠れ層(リカレント層)で前の情報を保持しながら順に処理していくニューラルネットワークであるに絞れる。正解は「CNN(畳み込みニューラルネットワーク)とは、文章や時系列のような順序のある系列データを、隠れ層(リカレント層)で前の情報を保持しながら順に処理していくニューラルネットワークである」(誤り)である。CNNは画像認識などで広く使われ、フィルタを用いた畳み込みによって画像の局所的な特徴を抽出することを中核とするニューラルネットワークであり、設問の説明は系列データを扱うRNNの定義をCNNに誤って当てはめている。GAN・RNN・LSTMの説明はいずれも正しい。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-003/011/012/013)の定義との整合性確認

77 ・ 生成AIの誕生まで

文章の左側と右側の両方を参照して、隠された単語を当てる事前学習モデルを選ぶ。説明はどれか。

  • MLM(Masked Language Model)とは、文章中の一部の単語を隠し、その単語が何であるかを予測させる事前学習タスクである
  • NSP(Next Sentence Prediction)とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである
  • RoBERTaとは、BERTモデルの学習方法や学習データ量を改良し、性能を高めた派生モデルである
  • ALBERT(a Lite BERT)とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである
答えと解説を見る
NSP(Next Sentence Prediction)とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである正解
解説

この事例では「双方向の文脈を学ぶBERTか」を確認すると、NSP(Next Sentence Prediction)とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルであるに絞れる。正解は「NSP(Next Sentence Prediction)とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである」(誤り)である。NSPは、与えられた2つの文が文章内で連続しているかどうかを判定させる事前学習タスクであり、設問の説明はALBERTの定義をNSPに誤って当てはめている。MLM・RoBERTa・ALBERTの説明はいずれも正しい。BERTはTransformerの一部(エンコーダ)を用いた双方向の文脈理解に強みを持つモデルとして知られる。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-016/017)の定義との整合性確認

78 ・ 生成AIの誕生まで

語を並列処理するTransformerが文頭と文末を識別するために必要な要素は何か。正しい説明を選べ。

  • アーキテクチャとは、モデルを構成する層の種類・数・接続方法など、モデル全体の設計・構造を指す語である
  • 位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである
  • Attention Mechanism(注意機構)とは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである
  • ニューラルネットワークとは、脳の神経細胞(ニューロン)とその結合(シナプス)の仕組みを模し、人工ニューロン(ノード)を多数つなぎ合わせて情報を処理するモデルである
答えと解説を見る
位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである正解
解説

この事例では「トークンの並び位置を符号化するか」を確認すると、位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みであるに絞れる。正解は「位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである」(誤り)である。位置エンコーディングは、Transformerモデルで入力された単語の並び順(位置)の情報をモデルに伝えるために加えられる仕組みであり、設問の説明はAttention Mechanismの定義を位置エンコーディングに誤って当てはめている。アーキテクチャ・Attention Mechanism・ニューラルネットワークの説明はいずれも正しい。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-015/040/034)の定義との整合性確認。アーキテクチャの定義はソフトウェア工学における一般的な用法に基づく。

79 ・ ChatGPT

訓練用の画像集合そのものと、訓練で変化するモデル内部の数値を区別したい。パラメータの説明はどれか。

  • 自然言語処理(NLP)とは、人間が日常的に使う言葉(自然言語)をコンピュータに処理・理解させる技術分野である
  • パラメータとは、AIモデルの学習(訓練)に用いるために集められた、データの集まりである
  • データセットとは、AIモデルの学習(訓練)に用いるために集められた、データの集まりである
  • ハルシネーションとは、生成AIが、事実と異なる内容をもっともらしい文章として出力してしまう現象である
答えと解説を見る
パラメータとは、AIモデルの学習(訓練)に用いるために集められた、データの集まりである正解
解説

この事例では「データセットではなく学習で更新される内部変数か」を確認すると、パラメータとは、AIモデルの学習(訓練)に用いるために集められた、データの集まりであるに絞れる。正解は「パラメータとは、AIモデルの学習(訓練)に用いるために集められた、データの集まりである」(誤り)である。パラメータは、GPTモデルの世代が進むにつれて一般に増加してきた、モデルの規模を表す指標でモデル内部で調整される値であり、設問の説明はデータセットの定義をパラメータに誤って当てはめている。自然言語処理・データセット・ハルシネーションの説明はいずれも正しい。パラメータ数はモデルの表現力に関わる指標として、GPTモデルの世代比較でもしばしば言及される。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch2-010/019/026/001)の定義との整合性確認

80 ・ ChatGPT

人間の意図や価値観へ応答を近づける調整と、プロンプトの記述改善を区別する。正しい説明はどれか。

  • 転移学習とは、ある課題を学習して得たモデルや知識を、別の関連する課題の学習に応用する手法である
  • ファインチューニングとは、事前学習済みモデルを特定の用途やタスク向けに追加で学習させて調整することである
  • プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みである
  • アライメントとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みである
答えと解説を見る
プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みである正解
解説

この事例では「アラインメントとプロンプトエンジニアリングの目的を区別するか」を確認すると、プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みであるに絞れる。正解は「プロンプトエンジニアリングとは、生成AIの出力や振る舞いを、人間の意図や価値観に沿うように調整しようとする取り組みである」(誤り)である。プロンプトエンジニアリングは、生成AIから望ましい出力を得るために指示(プロンプト)の与え方を工夫・設計する取り組みであり、設問の説明はアライメントの定義をプロンプトエンジニアリングに誤って当てはめている。転移学習・ファインチューニング・アライメントの説明はいずれも正しい。プロンプトエンジニアリングは、モデル自体を再学習させずに出力を改善できる手軽な手法として広く使われている。

content/gen-ai-passport/questions/sample-questions.json 内の既存問題(gaip-ch1-010/ch2-008/ch5-004/ch2-025)の定義との整合性確認

章別問題ページ