G検定 大項目5 ディープラーニングの要素技術 予想問題と解説
G検定「大項目5 ディープラーニングの要素技術」の予想問題を54問収録しています。このページでは代表39問を解説つきで掲載し、全問は演習画面で解けます。出題は公式シラバスの範囲内です。
この章の要点
畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、生成モデルと注意機構、最適化と汎化などを扱う分野です。全54問（基礎3問・標準29問・応用22問）を収録しています。
- 畳み込みニューラルネットワーク
- 再帰型ニューラルネットワーク
- 生成モデルと注意機構
- 最適化と汎化
情報源と編集区分
公式範囲を確認し、問題数・難易度・確認点は当サイトが集計・編集。
試験概要（公式）確認しておきたいポイント
当サイトの作問時に観察した、取り違えやすい論点です（公式の統計ではありません）。
- CNN（画像・畳み込み/プーリング）とRNN（時系列・系列データ）の使い分けを取り違える。
- LSTMとGRUのゲート数を混同する（LSTM＝3ゲート＋記憶セル、GRU＝2ゲートに簡略化）。
- 最適化手法を取り違える（モメンタム＝慣性、AdaGrad/RMSProp＝適応学習率、Adam＝両方）。
- GAN・VAE・拡散モデルの生成方式を混同する。
この章の関連用語
この分野の問題で扱う用語です。意味があいまいなものは、用語集で定義を確認できます。
この章に関連する比較記事
混同しやすい2つの概念を並べて整理した記事です。
よくある質問
Q大項目5 ディープラーニングの要素技術は何問収録されていますか？
現在54問を収録しています。内訳は基礎3問・標準29問・応用22問です。
Q大項目5 ディープラーニングの要素技術の頻出論点は何ですか？
畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、生成モデルと注意機構、最適化と汎化などが出題対象です（当サイト収録問題に基づく編集部集計）。
Q間違えた問題はどう復習すればいいですか？
誤答した選択肢のどこがずれていたかを解説で確認し、関連用語がある場合は用語集で定義に戻ってから再演習することをおすすめします。
CNNにおいて、特徴マップの縦横サイズを縮小して計算量を抑えつつ、対象の位置が多少ずれても出力が変化しにくい性質（位置不変性）を高める働きを主に担う層はどれか。
答えと解説を見る
正解は「プーリング層」である。プーリング層は特徴マップを一定領域ごとに集約してダウンサンプリング（縮小）し、対象の位置が多少ずれても同じ特徴として検出できる位置不変性を高める層である。畳み込み層はフィルタで特徴を抽出する層、全結合層は抽出済みの特徴を統合して分類などの出力につなげる層、出力層は最終的な予測値を出す層であり、いずれもサイズ縮小と位置不変性の付与という2条件を同時には満たさない。設問はこの2条件をともに満たす層を問うており、両方を満たすのはプーリング層だけである。
https://www.jdla.org/certificate/general/ （大項目5 ディープラーニングの要素技術）
生物の視覚野における単純型細胞と複雑型細胞の働きに着想を得て提案された、現在の畳み込みニューラルネットワークの原型とされる初期の階層型モデルはどれか。
答えと解説を見る
正解は「ネオコグニトロン」である。ネオコグニトロンは視覚野の単純型細胞・複雑型細胞の階層構造に着想を得た初期モデルで、現在のCNNの原型とされる。LeNetは誤差逆伝播法で学習する初期のCNNだが視覚野の細胞への着想から生まれた原型モデルそのものではなく、AlexNetはILSVRCで注目された深いCNN、ResNetは残差接続を導入したより新しいモデルであり、いずれも視覚野の細胞に着想した最初期の原型とは言えない。設問は「原型」という時系列上の位置づけを問うており、これに該当するのはネオコグニトロンだけである。
https://www.jdla.org/certificate/general/ （大項目5 ディープラーニングの要素技術）
畳み込み演算において、フィルタを入力データ上でずらしながら適用する際の、1回あたりの移動幅を指す用語はどれか。
答えと解説を見る
正解は「ストライド」である。ストライドは畳み込みでフィルタを入力データ上でずらす際の1回あたりの移動幅を指す語で、値を大きくすると出力サイズが小さくなる。フィルタ（カーネル）は特徴抽出に用いる重みのまとまりを指す語、プーリングは特徴マップを縮小する処理、パディングは入力の周囲に画素を補って出力サイズを調整する処理であり、いずれも移動幅そのものを表す語ではない。設問は「1回あたりの移動幅」という量を問うており、これに対応する語はストライドだけである。
https://www.jdla.org/certificate/general/ （大項目5 ディープラーニングの要素技術）
ある時刻の中間層の状態を次の時刻の入力として再び取り込む構造を持ち、文章や音声のような前後関係のある可変長の系列データを扱うのに適したニューラルネットワークはどれか。
答えと解説を見る
正解は「リカレントニューラルネットワーク（RNN）」である。RNNはある時刻の中間層の状態を次の時刻の入力として再び取り込む再帰構造を持ち、文章や音声のような前後関係のある可変長の系列データを扱うのに適する。CNNは画像など空間的データの特徴をフィルタで抽出するモデル、GANは生成器と識別器を競わせてデータを生成するモデル、VAEは確率的な潜在変数を介して符号化・生成を行うモデルであり、いずれも時刻をまたいで中間層の状態を再帰的に渡す構造を本質としない。設問は「前の時刻の状態を次の時刻に取り込む再帰構造」を問うており、これに該当するのはRNNだけである。
https://www.jdla.org/certificate/general/ （大項目5 ディープラーニングの要素技術）
通常の再帰型ニューラルネットワークが長い系列を扱うと勾配消失が起きやすい問題に対し、入力・出力・忘却の3種類のゲートと記憶セルを備えて長期の依存関係を保持できるようにした手法はどれか。
答えと解説を見る
正解は「LSTM」である。LSTMは入力・出力・忘却の3つのゲートと記憶セルを持ち、長期依存を保持して勾配消失を緩和する。GRUも勾配消失対策の手法だがゲートはリセット・更新の2つで独立した記憶セルを持たず、3ゲートと記憶セルを備えるという条件に一致しない。双方向RNNは系列を前後両方向から処理する構造、BPTTは時間方向に展開して誤差逆伝播を行う学習法であり、いずれもゲート機構による記憶保持の手法ではない。設問は「3種類のゲートと記憶セル」という具体的な構造を問うており、これに一致するのはLSTMだけである。
https://www.jdla.org/certificate/general/ （大項目5 ディープラーニングの要素技術）
データに少しずつノイズを加えていく過程を逆向きにたどり、ランダムなノイズから段階的にデータを復元するように学習して、画像などを生成するモデルはどれか。
答えと解説を見る
正解は「拡散モデル（Diffusion Model）」である。拡散モデルはデータへ徐々にノイズを加える過程を逆にたどり、ノイズから段階的に復元して画像などを生成する。VAEは潜在変数を介した符号化と復元、GANは生成器と識別器の競合、RNNは系列の再帰処理であり、いずれもノイズ除去の過程を逆にたどって生成する仕組みではない。設問は「ノイズを加える過程を逆向きにたどって段階的に復元する」という仕組みを問うており、これに該当するのは拡散モデルだけである。
https://www.jdla.org/certificate/general/ （大項目5 ディープラーニングの要素技術）
再帰や畳み込みの構造を用いず、系列内の各要素が互いにどれだけ関連するかを表す重みを計算する注意の仕組みを全面的に採用した、系列データを扱う多くのタスクで主流となったモデルはどれか。
答えと解説を見る
正解は「Transformer」である。Transformerは再帰や畳み込みの構造を用いず、系列内の各要素が互いにどれだけ関連するかを表す自己注意（Self-Attention）を計算して情報を重み付けし、系列データを扱う多くのタスクで主流となったモデルである。LSTM・GRU・双方向RNNはいずれも再帰構造を基礎とする手法であり、注意機構を全面的に採用したモデルではない。設問は「再帰や畳み込みを用いず注意機構を全面採用」という構造を問うており、これに該当するのはTransformerだけである。
https://www.jdla.org/certificate/general/ （大項目5 ディープラーニングの要素技術）
入力データをエンコーダで潜在ベクトルに圧縮し、デコーダで復元する構造を持ち、潜在空間からのサンプリングによってデータを生成する生成モデルはどれか。
答えと解説を見る
正解は「変分オートエンコーダ（VAE）」である。変分オートエンコーダ（VAE）は、エンコーダで入力を潜在ベクトル（潜在空間）に圧縮し、デコーダで復元する構造を持つ生成モデルで、潜在空間からサンプリングして新しいデータを生成できる。CNNは主に画像認識、SVM・決定木は分類・回帰の手法で、生成モデルではない。 見分けるには、圧縮・復元の構造と、潜在空間からの生成ができるかをあわせて確かめる。CNNは局所特徴の抽出、SVMと決定木は分類・回帰が主な用途で、潜在空間からサンプリングして生成できるのは変分オートエンコーダだけである。 比較対象には「畳み込みニューラルネットワーク（CNN）」、「サポートベクターマシン（SVM）」も含まれる。
https://www.jdla.org/certificate/general/ ／ G検定シラバス2024（第1.4版）
Transformerで用いられる自己注意（Self-Attention）機構が行うことの説明として、最も適切なものはどれか。
答えと解説を見る
正解は「系列内の各要素が、同じ系列内の他の要素とどれだけ関連するかを計算し、文脈に応じた表現を作る」である。自己注意（Self-Attention）は、系列内の各要素が同じ系列内の他の要素とどれだけ関連するか（注意の重み）を計算し、文脈に応じた表現を作る仕組みである。畳み込みはCNN、1つずつ順番に処理して状態を渡すのはRNN、ランダムに間引くのはドロップアウトの説明であり、いずれも自己注意とは異なる。処理の違いを、画像の局所処理、時系列の逐次処理、過学習対策、系列内の関連計算に分ける。Transformerの自己注意に対応するのは、同じ系列の要素同士を比較して文脈を作る処理である。
https://www.jdla.org/certificate/general/ ／ G検定シラバス2024（第1.4版）
Transformerに「位置エンコーディング（位置情報の付与）」が必要とされる理由として、最も適切なものはどれか。
答えと解説を見る
正解は「再帰や畳み込みを使わず要素を並列に扱うため、単語の順序（位置）の情報が失われるから」である。Transformerは再帰（RNN）や畳み込みを使わず、系列の要素を並列に処理するため、そのままでは単語の順序（位置）の情報が失われてしまう。そこで各要素に位置情報を付与する位置エンコーディングが用いられる。正規化・学習率調整・メモリ記録とは無関係。設問では、Transformerの並列処理によって不足する情報と、それを補う処理を対応させる。画像の値、学習率、GPUメモリではなく、系列内で単語がどの位置にあるかという情報を付ける必要がある。
https://www.jdla.org/certificate/general/ ／ G検定シラバス2024（第1.4版）
畳み込みニューラルネットワーク（CNN）の畳み込み層で、入力データ上を移動しながら局所的な特徴を抽出するために用いられるものはどれか。
答えと解説を見る
正解は「フィルタ（カーネル）」である。畳み込み層では、フィルタ（カーネル）と呼ばれる小さな重みの窓を入力データ上で移動させながら適用し、エッジや模様などの局所的な特徴を抽出する。損失関数は誤差の指標、活性化関数は非線形変換、エポックは学習データを何回学習したかの単位であり、いずれも局所特徴を抽出する窓ではない。 CNNの各用語は働く場所と役割で区別する。学習目標を数値化する損失関数、非線形変換を行う活性化関数、データ全体を学習した回数を表すエポックではなく、入力上を走査してエッジや模様へ反応するフィルタを選ぶ。
https://www.jdla.org/certificate/general/
畳み込み演算で、入力データの周囲にあらかじめ値（0など）を追加しておく処理（パディング）の主な目的として、最も適切なものはどれか。
答えと解説を見る
正解は「出力される特徴マップのサイズが小さくなりすぎるのを防ぎ、端の情報も扱えるようにする」である。パディングは、入力データの周囲に値（多くは0）を追加してから畳み込みを行う処理で、出力の特徴マップが小さくなりすぎるのを防ぎ、入力の端にある情報も適切に扱えるようにする目的がある。学習率の調整・ノイズ付与・メモリ計測とは無関係。設問の操作は畳み込み前に入力の周囲へ値を加えることなので、直接変わるのは特徴マップの大きさと端の扱いである。最適化設定、過学習の発生、計算資源の監視を目的とする処理ではない。
https://www.jdla.org/certificate/general/
一般的な畳み込みニューラルネットワークで、畳み込み層やプーリング層で抽出した特徴を統合し、最終的な分類などの出力を行うために終盤に置かれることが多い層はどれか。
答えと解説を見る
正解は「全結合層」である。全結合層は、すべてのノードが次の層のすべてのノードと結合した層で、畳み込み層やプーリング層で抽出された特徴を統合し、最終的な分類などの出力を行うためにネットワークの終盤に置かれることが多い。畳み込み層は特徴抽出、プーリング層はサイズ縮小と位置不変性、入力層はデータの入り口であり、いずれも特徴を統合して出力する役割の層ではない。 CNNの層は処理順と役割で並べる。入力層から受けたデータを畳み込み層が特徴へ変換し、プーリング層が空間サイズを縮小する。その後、抽出済み特徴を統合して分類出力へ結び付けるのが全結合層である。
https://www.jdla.org/certificate/general/
LSTMを簡略化し、ゲートの数を2つに減らして計算量を抑えつつ、長い系列の学習における勾配消失を緩和することを狙った再帰型ニューラルネットワークの仕組みはどれか。
答えと解説を見る
正解は「GRU」である。GRU（Gated Recurrent Unit）は、3つのゲートと記憶セルを持つLSTMを簡略化し、ゲートを2つに減らした構造で、計算量を抑えつつ長い系列での勾配消失を緩和することを狙った再帰型ニューラルネットワークの一種である。CNNは画像向け、SVMは分類手法、k-means法はクラスタリング手法であり、いずれも系列を扱うゲート機構ではない。 候補は扱うデータと内部機構で切り分ける。CNNは主に空間的特徴、SVMは識別境界、k-means法はクラスタ中心を扱う。LSTMを簡略化し、更新ゲートとリセットゲートで系列情報を制御するGRUだけが設問の構造に合う。
https://www.jdla.org/certificate/general/ ／ G検定シラバス2024（第1.4版）
系列データを前から後ろへ処理する方向と、後ろから前へ処理する方向の両方を組み合わせ、ある時点の前後両方の文脈を利用できるようにした再帰型ニューラルネットワークはどれか。
答えと解説を見る
正解は「双方向RNN（Bidirectional RNN）」である。双方向RNN（Bidirectional RNN）は、系列を前方向と後方向の両方から処理し、ある時点の前後両方の文脈を利用できるようにした再帰型ニューラルネットワークである。前後の文脈が手がかりになる自然言語処理などで有効となる。単純パーセプトロン・オートエンコーダ・決定木はいずれも系列を双方向に処理する仕組みではない。 系列の処理方向が決定語である。単純パーセプトロンと決定木は系列の前後を再帰的に処理せず、オートエンコーダは入力の圧縮・復元が中心である。二つの方向のRNN出力を組み合わせる双方向RNNが一致する。
https://www.jdla.org/certificate/general/ ／ G検定シラバス2024（第1.4版）
あるタスクで学習済みのモデルが獲得した知識を、別の関連するタスクの学習に応用することで、少ないデータや短い時間で高い性能を得ることを狙う手法はどれか。
答えと解説を見る
正解は「転移学習」である。転移学習は、あるタスクで学習済みのモデルが獲得した知識を別の関連タスクに応用し、少ないデータや短い学習時間でも高い性能を得ることを狙う手法である。交差検証は汎化性能の評価法、アンサンブル学習は複数モデルの組み合わせ、正規化は尺度をそろえる前処理であり、いずれも学習済みモデルの知識を別タスクに転用する手法ではない。 工程のどこを再利用するかを見る。交差検証は評価用の分割、アンサンブルは複数モデルの予測統合、正規化は入力尺度の調整である。既存モデルの重みや表現を新しい関連タスクへ移すのは転移学習である。
https://www.jdla.org/certificate/general/
層を飛び越えて入力を先の層の出力に加える接続を導入し、深いネットワークで生じる劣化問題に対応して最適化しやすくした仕組みはどれか。
答えと解説を見る
正解は「スキップ結合（残差接続）」である。ResNet原論文は、深い通常型ネットワークで深さを増すと訓練誤差まで悪化する劣化問題を示し、積層層に目的写像そのものではなく残差を学習させる枠組みを提案した。スキップ結合は、いくつかの層を飛び越えて入力を後段の出力へ直接加え、残差学習の経路を作る。プーリングは特徴マップの縮小、ワンホットエンコーディングはカテゴリ変換、エルボー法はクラスタ数の決定法であり、いずれも層を飛び越える接続ではない。ネットワーク内のデータ経路と最適化対象に注目し、残差経路を作る接続を選ぶ。
https://www.jdla.org/certificate/general/
RNNを時間方向に展開し、各時刻の出力誤差を過去の時刻へ伝えて重みを更新する学習方法はどれか。
答えと解説を見る
正解は「BPTT」である。BPTT（Backpropagation Through Time）は、RNNを時間方向に展開し、系列の各時刻における誤差を過去の時刻へ伝播させて重みを更新する学習方法である。パディングやプーリング層は主に畳み込みニューラルネットワークで扱う概念、条件付きGANは生成モデルの一種であり、RNNの時間方向の誤差逆伝播を指すものではない。 誤差を伝える軸を見る。パディングは入力周囲の補完、プーリングは特徴マップの要約、Conditional GANは条件付き生成である。系列の計算グラフを時刻ごとに展開し、後の誤差を過去へ逆伝播する方法はBPTTである。
https://www.jdla.org/certificate/general/ ／ G検定シラバス2024（第1.4版）
RNNで長い系列を扱う際に勾配消失問題が起きやすい。この問題を緩和するため、ゲート構造を使って長期依存を扱いやすくした代表的なモデルはどれか。
答えと解説を見る
正解は「LSTM」である。LSTMはゲート構造を持つRNN系のモデルで、長い時系列データにおける依存関係を扱いやすくする。CNNは主に画像などの局所的な特徴抽出に使われる構造、k-means法はクラスタリング、ナイーブベイズは確率に基づく分類手法であり、RNNの長期依存を扱うモデルではない。 候補の内部構造とデータ型を照合する。CNNは空間特徴、k-meansはクラスタ中心、ナイーブベイズは条件付き確率による分類を扱う。入力・忘却・出力ゲートと記憶セルで系列情報を制御するLSTMが該当する。
https://www.jdla.org/certificate/general/ ／ G検定シラバス2024（第1.4版）
大量データで事前に学習したモデルを別のタスクへ利用し、必要に応じて一部を追加学習して目的のタスクに合わせる考え方として最も近いものはどれか。
答えと解説を見る
正解は「転移学習」である。転移学習は、あるタスクで得たモデルや表現を別のタスクに活用する考え方で、必要に応じてファインチューニングで調整する。データ拡張は訓練データを加工して増やす方法、ミニバッチ学習はデータを小分けにして更新する方法、エルボー法はクラスタ数などを検討する際に使われる。 学習資源の再利用対象を分ける。データ拡張は入力例を加工して増やし、ミニバッチ学習は更新単位を小分けにし、エルボー法はクラスタ数を選ぶ。事前学習済みの重み・表現を新タスクへ移す転移学習を選ぶ。
https://www.jdla.org/certificate/general/
CNNで、特徴マップの位置ずれにある程度強くし、空間サイズを小さくするために使われる層はどれか。
答えと解説を見る
正解は「プーリング層」である。プーリング層はCNNで特徴マップの空間サイズを縮小し、局所的な位置ずれにある程度頑健にする役割を持つ。全結合層は特徴をまとめて出力に接続する層、生成器はGANの構成要素、自己注意はTransformerで重要な仕組みであり、CNNのサイズ縮小を担う層ではない。 各部品が扱う情報と位置を分ける。全結合層は終盤で特徴を統合し、生成器はGANでデータを作り、自己注意は要素間の関係を重み付けする。局所領域を最大値や平均値で要約して空間サイズを下げるのはプーリング層である。
https://www.jdla.org/certificate/general/
画像を回転・反転・切り抜きするなどして訓練データのバリエーションを増やし、汎化性能を高めるために使う方法はどれか。
答えと解説を見る
正解は「データ拡張（データオーグメンテーション）」である。データ拡張は、画像の回転や反転などにより訓練データの見かけ上の多様性を増やし、汎化性能の向上を狙う方法である。ミニバッチ学習は小分けのデータで更新する方法、重みの初期化は学習開始時の設定、方策勾配法は強化学習の手法であり、データを加工して増やす方法ではない。 変更する対象がデータか学習規則かを確認する。ミニバッチは更新時のデータ単位、重み初期化は学習開始時の値、方策勾配法は強化学習の方策更新である。ラベルを保つ変換で画像例を増やすのはデータ拡張である。
https://www.jdla.org/certificate/general/
前方向だけでなく後方向の系列情報も使い、文脈を両側から考慮するRNN系の構造はどれか。
答えと解説を見る
正解は「双方向RNN（Bidirectional RNN）」である。双方向RNNは、系列を前方向と後方向の両方から処理し、前後の文脈を利用できる構造である。GRUはゲートを持つRNN系モデル、DCGANとPix2Pixは生成モデルに関係する手法であり、系列を双方向に処理する構造ではない。 系列モデルはゲートの種類と処理方向を分ける。GRUはゲートで長期依存を扱う簡略型RNNだが、両方向処理を意味しない。DCGANとPix2Pixは画像生成・変換手法であり、前向きと後ろ向きのRNNを組み合わせる双方向RNNが一致する。
https://www.jdla.org/certificate/general/ ／ G検定シラバス2024（第1.4版）
LSTMより構造を簡略化しつつ、ゲートを使って系列データの依存関係を扱うRNN系モデルはどれか。
答えと解説を見る
正解は「GRU」である。GRUはゲートを持つRNN系モデルで、LSTMより構造を簡略化しながら系列データの依存関係を扱う。双方向RNNは前後両方向から系列を処理する構造、DCGANとStyleGANは画像生成系のGANモデルであり、RNNのゲート付き簡略モデルではない。 RNN系の違いは簡略化の対象で見る。双方向RNNは処理方向を二つにする構造で、LSTMのゲート数削減を表さない。DCGANとStyleGANは画像生成モデルである。更新ゲートとリセットゲートを持つGRUが設問に対応する。
https://www.jdla.org/certificate/general/
CNNで、入力画像の局所領域に同じ小さな重み行列を滑らせ、エッジなどの特徴を抽出する処理に関係するものはどれか。
答えと解説を見る
正解は「フィルタ（カーネル）」である。フィルタ（カーネル）は、CNNで画像の局所領域に適用され、エッジなどの特徴を抽出する畳み込み処理に関係する。全結合層は特徴をまとめて出力へ接続する層、位置エンコーディングはTransformerで順序情報を与える仕組み、方策勾配法は強化学習の手法である。 ネットワーク部品が使われる位置を区別する。全結合層は抽出済み特徴を統合し、位置エンコーディングは系列順序を与え、方策勾配法は強化学習の更新手法である。画像上を走査して局所的な積和を計算するのはフィルタである。
https://www.jdla.org/certificate/general/
Transformerで用いられ、複数の注意機構を並列に適用して、系列内の単語どうしの関係を異なる観点から同時に捉える仕組みはどれか。
答えと解説を見る
正解はマルチヘッドアテンション。自己注意を複数のヘッドに分けて並列に計算し、それぞれが異なる観点で単語間の関係を捉えたうえで統合することで、豊かな表現を得る仕組みである。位置エンコーディングは単語の並び順の情報をベクトルに加える工夫、プーリング層は畳み込みで特徴マップを縮約する層、スキップ結合は層を飛び越えて入力を足し込む接続で、いずれも注意を多頭で並列化するこの仕組みとは異なる。 Transformerの部品は付加する情報と計算経路で区別する。位置エンコーディングは順序情報、プーリングは空間要約、スキップ結合は層を越す経路を与える。異なる射影ごとに注意を計算し結果を結合するのがマルチヘッドアテンションである。
https://www.jdla.org/certificate/general/ （大項目5 ディープラーニングの要素技術）
画像の訓練集合の多様性を増やすため、評価用の画像は変換せず、訓練時だけ現実的な画像の揺らぎを与えたい。最も適切な実装はどれか。
答えと解説を見る
正解は「訓練時だけRandomFlipやRandomRotationを適用し、評価・予測時には無効にする」である。TensorFlow公式チュートリアルは、データ拡張を、ランダムで現実的な変換によって訓練集合の多様性を増やす方法と説明している。Kerasのデータ拡張レイヤーは学習中だけ有効になり、評価や予測では無効になる。評価用データまで変換すると、元の条件で性能を測るという評価の役割が変わってしまう。正解ラベルの入れ替えは、入力の現実的な揺らぎを増やす処理ではなく、誤った教師情報を作るため不適切である。
https://www.tensorflow.org/tutorials/images/data_augmentation （TensorFlow公式チュートリアル『データ増強』）／https://www.jdla.org/certificate/general/ （JDLA公式G検定試験範囲、大項目5）
ResNetの残差ブロックで、積層層が目的写像H(x)そのものではなく残差F(x)=H(x)-xを学習し、入力と出力の次元が同じ場合、ブロックの出力として正しいものはどれか。
答えと解説を見る
正解は「shortcutで通した入力xをF(x)へ加え、F(x)+xを出力する」である。ResNet原論文は、目的写像H(x)を直接学習する代わりに、積層層へ残差F(x)=H(x)-xを学習させる。恒等shortcutが入力xをそのまま通し、積層層の出力F(x)へ要素ごとに加えるため、ブロック全体の出力はF(x)+xとなる。入力を捨てる、次元方向に連結する、入力を引くという処理ではない。入出力の次元が異なる場合には射影shortcutで次元を合わせられるが、本問は次元が同じ場合を問うている。
https://arxiv.org/abs/1512.03385 （He et al.『Deep Residual Learning for Image Recognition』3.1節・3.2節）／https://www.jdla.org/certificate/general/ （JDLA公式G検定試験範囲、大項目5）
ICLR 2015で発表されたBahdanauらのニューラル機械翻訳の論文は、原文全体を固定長ベクトルへ符号化する基本のエンコーダ・デコーダを性能向上のボトルネックと推測した。この論文が提案した拡張の内容として最も適切なものはどれか。
答えと解説を見る
正解は「目的の単語を予測するたびに、原文中の関連する部分をモデルが自動でソフトに探索して参照できるようにする」である。同論文は、符号化器が原文を固定長ベクトルに符号化する方式の固定長ベクトルが性能向上のボトルネックだと推測し、目的の単語の予測に関係する原文の部分を、硬い区切りを作らずに自動で探索できるよう拡張した。これが翻訳における注意機構の出発点である。この拡張は、符号化器が作る固定長ベクトル1本に原文のすべてを押し込む負担を減らし、長い文でも訳す語に関係する部分を参照できるようにする点が要点である。のちのTransformerの注意機構につながる。
https://arxiv.org/abs/1409.0473 （Bahdanau・Cho・Bengio『Neural Machine Translation by Jointly Learning to Align and Translate』の要旨）／https://www.jdla.org/certificate/general/ （JDLA公式G検定試験範囲、大項目5）
多層LSTMで入力系列を固定次元のベクトルに写像し、別のLSTMで目的の系列を復号する系列から系列への学習の論文は、原文だけの語順を逆にすると性能が大きく改善したと報告している。この改善の理由として論文が述べるものはどれか。
答えと解説を見る
正解は「原文と目的文の間に短期の依存関係が多く生じ、最適化の問題が易しくなるため」である。Sutskeverらは、原文の語順だけを逆にする（目的文は逆にしない）と、原文と目的文の対応する語の間に短期の依存関係が多く導入され、最適化が易しくなって性能が大きく改善したと述べる。この論文の方式は、入力系列を固定次元のベクトルに写像してから復号する基本のエンコーダ・デコーダであり、語順の逆転は構造を変えず入力の並べ方だけで最適化を助ける工夫として報告された。注意機構とは別の改善である。
https://arxiv.org/abs/1409.3215 （Sutskever・Vinyals・Le『Sequence to Sequence Learning with Neural Networks』の要旨）／https://www.jdla.org/certificate/general/ （JDLA公式G検定試験範囲、大項目5）
Transformerのスケール付き内積注意で、クエリとキーの内積をキーの次元d_kの平方根で割る目的として、原論文が述べる推測に最も近いものはどれか。
答えと解説を見る
正解は「d_kが大きいと内積が大きくなり、ソフトマックスが勾配の極めて小さい領域に入るのを防ぐため」である。原論文は、d_kが大きい場合に内積の大きさが増してソフトマックスが勾配の極めて小さい領域に入ると推測し、これを打ち消すために内積を1/√d_kで割ると述べる。d_kは各ヘッドでクエリとキーが持つ次元の数で、原論文の設定では64である。次元が大きいほど内積の値が大きくなりやすいため、割り算で値の大きさを抑えてからソフトマックスにかける。
https://arxiv.org/abs/1706.03762 （Vaswani他『Attention Is All You Need』）／https://www.jdla.org/certificate/general/ （JDLA公式G検定試験範囲、大項目5）
Transformerのデコーダの自己注意で、ソフトマックスの入力のうち後続の位置に当たる値を−∞にするマスクをかける目的として、最も適切なものはどれか。
答えと解説を見る
正解は「位置iの予測が位置iより前の既知の出力だけに依存するようにして、自己回帰の性質を保つため」である。原論文は、デコーダの自己注意で後続の位置を参照しないようにマスクし、出力の埋め込みを1位置ずらすことと合わせて、位置iの予測が位置iより前の既知の出力だけに依存するようにすると述べる。このマスクは学習時にも使われ、系列全体を並列に処理しても、各位置が未来の正解を見て答えを写すことにならないようにする。エンコーダ側の自己注意にはこの制限は置かれない。
https://arxiv.org/abs/1706.03762 （Vaswani他『Attention Is All You Need』）／https://www.jdla.org/certificate/general/ （JDLA公式G検定試験範囲、大項目5）
Transformerのマルチヘッド注意が、単一ヘッドの注意に比べて可能にすることとして、原論文が述べるものはどれか。
答えと解説を見る
正解は「異なる位置の異なる表現部分空間の情報へ同時に注目する」である。原論文は、クエリ・キー・値を異なる学習済みの線形射影でh回射影して注意を並列に計算し、単一ヘッドでは平均化がこれを妨げると述べる。各ヘッドの次元が小さいため、総計算量は全次元の単一ヘッドの注意と同程度である。ヘッドごとに別の射影を学習するため、ある語が文中の別の語とどの観点で関係するかを、複数の見方で並行してとらえられる。結果は連結して再び射影され、1つの出力にまとめられる。
https://arxiv.org/abs/1706.03762 （Vaswani他『Attention Is All You Need』）／https://www.jdla.org/certificate/general/ （JDLA公式G検定試験範囲、大項目5）
Transformerのエンコーダの各副層（自己注意や位置ごとの順伝播網）の出力の計算として、原論文の記述に合うものはどれか。xは副層への入力、Sublayer(x)は副層自身が実装する関数とする。
答えと解説を見る
正解は「xにSublayer(x)を加えたものに、層正規化をかけて出力する」である。原論文では各副層の周りに残差接続を置いたうえで層正規化をかけ、出力はLayerNorm(x + Sublayer(x))となる。残差接続を成立させるため、埋め込み層を含むすべての副層の出力の次元は同じ512にそろえている。残差接続は深い構造でも情報と勾配が通りやすくなる工夫で、ResNetの考え方をTransformerの各副層にも取り入れたものである。足し算の後に層正規化をかける点が式の見分けどころになる。
https://arxiv.org/abs/1706.03762 （Vaswani他『Attention Is All You Need』）／https://www.jdla.org/certificate/general/ （JDLA公式G検定試験範囲、大項目5）
KerasのConv2D層でpadding="same"、strides=1としたとき、出力の高さと幅は入力に対してどうなるか。
答えと解説を見る
正解は「入力と同じ大きさになる」である。Keras公式ドキュメントでは、padding="same"は入力の左右または上下に均等にパディングを入れ、strides=1のとき出力が入力と同じ大きさになると説明される。出力の大きさを入力にそろえたいときは、padding="same"にしてstrides=1にすると覚えておくとよい。ただしstridesを2以上にすると、sameでも出力は入力より小さくなる。一方、paddingを指定しない既定値の"valid"ではパディングが入らないため、カーネルが1より大きいと出力は入力より小さくなる。
https://keras.io/api/layers/convolution_layers/convolution2d/ （Keras公式ドキュメント Conv2D層）／https://www.jdla.org/certificate/general/ （JDLA公式G検定試験範囲、大項目5）
KerasのConv2D層でpaddingを指定しなかったときの既定値"valid"の動作として、正しいものはどれか。
答えと解説を見る
正解は「パディングを行わない」である。Keras公式ドキュメントでは、paddingは"valid"か"same"のどちらかで、"valid"はパディングなしを意味し、これが既定値である。パディングがないため、カーネルの大きさが1より大きければ出力は入力より小さくなる。paddingの選択肢は"valid"と"same"の2つだけである。出力の大きさを保ちたい場合は、既定値のままにせず、明示的にpadding="same"を指定する必要がある。
https://keras.io/api/layers/convolution_layers/convolution2d/ （Keras公式ドキュメント Conv2D層）／https://www.jdla.org/certificate/general/ （JDLA公式G検定試験範囲、大項目5）
KerasのConv2D層のfilters引数が指定するものとして、正しいものはどれか。
答えと解説を見る
正解は「出力空間の次元（畳み込みのフィルタの数）」である。Keras公式ドキュメントでは、filtersは出力空間の次元、つまり畳み込みのフィルタの数を表す整数であり、畳み込み窓の大きさはkernel_size、移動幅はstridesで指定する。Conv2D層では、filters（フィルタの数）、kernel_size（窓の大きさ）、strides（移動幅）が別々の引数になっている。filtersを増やすと、出力の特徴マップの枚数（チャネル数）が増える。
https://keras.io/api/layers/convolution_layers/convolution2d/ （Keras公式ドキュメント Conv2D層）／https://www.jdla.org/certificate/general/ （JDLA公式G検定試験範囲、大項目5）
KerasのConv2D層でdata_format="channels_last"としたとき、入力データの形の並びとして正しいものはどれか。
答えと解説を見る
正解は「（バッチサイズ, 高さ, 幅, チャネル数）」である。Keras公式ドキュメントでは、"channels_last"は入力の形を（batch_size, height, width, channels）の並びとし、"channels_first"は（batch_size, channels, height, width）の並びとする。channels_lastは画像の各画素にチャネルの値が並ぶ並び、channels_firstはチャネルごとに画像全体を並べる並びである。どちらもバッチサイズが先頭で、違いはチャネル数を最後に置くか、高さと幅の前に置くかだけである。
https://keras.io/api/layers/convolution_layers/convolution2d/ （Keras公式ドキュメント Conv2D層）／https://www.jdla.org/certificate/general/ （JDLA公式G検定試験範囲、大項目5）
LeCunらが1998年の論文で、手書き文字認識の成功例として示した畳み込みネットワークが組み合わせている3つの設計の組み合わせとして、正しいものはどれか。
答えと解説を見る
正解は次のとおりです。局所受容野、重みの共有、サブサンプリングです。サブサンプリングは、空間的なものでも時間的なものでもかまいません。LeCunらの『Gradient-Based Learning Applied to Document Recognition』は、畳み込みネットワークがこの3つの設計を組み合わせると述べ、代表としてLeNet-5を説明する。LeNet-5は畳み込み層・サブサンプリング層・全結合層で構成される。LeNet-5は入力を除いて7層で、畳み込み層、サブサンプリング層、全結合層で構成される。局所受容野と重みの共有で必要なパラメータ数を抑え、サブサンプリングで位置ずれに強くするのが畳み込みネットワークの考え方である。
LeCun・Bottou・Bengio・Haffner『Gradient-Based Learning Applied to Document Recognition』、Proceedings of the IEEE 86(11), pp.2278-2324、1998（書誌と、LeNet-5の構成図で畳み込み層とサブサンプリング層が交互に並ぶこと。NYU公開のPDF https://cs.nyu.edu/~yann/2010f-G22-2565-001/diglib/lecun-98.pdf）。JDLA公式G検定試験範囲の大項目5（https://www.jdla.org/certificate/general/）
