G検定 大項目4 ディープラーニングの概要 予想問題（2/2）

この事例では「入力と出力の間に中間層を持つパーセプトロンか」を確認すると、「多層パーセプトロン」が当てはまると分かる。正解は「多層パーセプトロン」である。入力層と出力層の間に中間の層（隠れ層）を追加した多層パーセプトロンは、単純パーセプトロンでは解けなかったXORのような線形分離できない問題も表現できる。決定木・サポートベクターマシン・k近傍法はいずれも別の機械学習手法であり、パーセプトロンに隠れ層を加えた構造ではない。 選択肢ごとの差は次のように整理できる。「決定木」は誤り。多層パーセプトロンとは別の機械学習手法であり、単純パーセプトロンでは解けなかったXOR問題を扱うために入力層と出力層の間に隠れ層を加えた構造ではない。「サポートベクターマシン」は誤り。多層パーセプトロンとは別の機械学習手法であり、入力層と出力層の間に隠れ層を持つ構造ではない。「多層パーセプトロン」が正解。入力層と出力層の間に隠れ層を追加した構造であり、単純パーセプトロンでは解けなかったXORのような線形分離できない問題も表現できる。「k近傍法」は誤り。多層パーセプトロンとは別の機械学習手法であり、単純パーセプトロンでは解けなかったXOR問題を扱うために入力層と出力層の間に隠れ層を加えた構造ではない。

https://www.jdla.org/certificate/general/ ／ G検定シラバス2024（第1.4版）

この事例では「ニューラルネットワークによる連続関数の近似可能性か」を確認すると、「万能近似定理」が当てはまると分かる。正解は「万能近似定理」である。万能近似定理は、隠れ層を持つニューラルネットワークが十分な数のニューロンを備えれば任意の連続関数を任意の精度で近似できることを示す定理である。ノーフリーランチ定理はあらゆる問題に万能なアルゴリズムは存在しないという主張、ベイズの定理は確率の更新、中心極限定理は標本平均の分布に関する定理であり、いずれも近似能力に関する本定理とは異なる。 選択肢ごとの差は次のように整理できる。「ノーフリーランチ定理」は誤り。あらゆる問題に万能なアルゴリズムは存在しないという主張であり、関数を近似できる能力について述べた定理ではない。「ベイズの定理」は誤り。確率を新たな情報で更新するための定理であり、ニューラルネットワークの近似能力について述べた定理ではない。「万能近似定理」が正解。隠れ層を持つニューラルネットワークが十分な数のニューロンを備えれば任意の連続関数を任意の精度で近似できることを示す定理である。「中心極限定理」は誤り。標本平均の分布に関する定理であり、ニューラルネットワークの近似能力について述べた定理ではない。

https://www.jdla.org/certificate/general/

この事例では「線形分離不能なXORの条件か」を確認すると、「XOR（排他的論理和）のような線形分離できない問題」という説明が正しいと分かる。正解は「XOR（排他的論理和）のような線形分離できない問題」である。単純パーセプトロンは直線（超平面）で分離できる線形分離可能な問題しか解けず、XOR（排他的論理和）のように1本の直線では分けられない問題は解けない。これがパーセプトロンの限界として知られ、中間層を持つ多層パーセプトロンによって解決された。線形分離可能な問題は単純パーセプトロンでも解ける。 線形分離の問題では、入力の組み合わせで出力が反転し、直線を一本引いても正例と負例が分かれない例を探す。足し算や画面表示のように分類の枠組みに当てはまらない選択肢と、直線で分けられる問題を挙げた選択肢は、設問の条件を満たさないため外せる。

https://www.jdla.org/certificate/general/

この事例では「隠れ層を追加して非線形な境界を表現するか」を確認すると、「多層パーセプトロン」が当てはまると分かる。正解は「多層パーセプトロン」である。入力層と出力層の間に中間の層（隠れ層）を追加した多層パーセプトロンは、単純パーセプトロンでは解けなかったXORのような線形分離できない問題も表現できる。決定木・サポートベクターマシン・k近傍法はいずれも別の機械学習手法であり、パーセプトロンに隠れ層を加えた構造ではない。 選択肢ごとの差は次のように整理できる。「決定木」は誤り。多層パーセプトロンとは別の機械学習手法であり、単純パーセプトロンでは解けなかったXOR問題を扱うために入力層と出力層の間に隠れ層を加えた構造ではない。「サポートベクターマシン」は誤り。多層パーセプトロンとは別の機械学習手法であり、入力層と出力層の間に隠れ層を持つ構造ではない。「多層パーセプトロン」が正解。入力層と出力層の間に隠れ層を追加した構造であり、単純パーセプトロンでは解けなかったXORのような線形分離できない問題も表現できる。「k近傍法」は誤り。多層パーセプトロンとは別の機械学習手法であり、単純パーセプトロンでは解けなかったXOR問題を扱うために入力層と出力層の間に隠れ層を加えた構造ではない。

https://www.jdla.org/certificate/general/ ／ G検定シラバス2024（第1.4版）

この事例では「排他的論理和で線形分離できないか」を確認すると、「XOR（排他的論理和）のような線形分離できない問題」という説明が正しいと分かる。正解は「XOR（排他的論理和）のような線形分離できない問題」である。単純パーセプトロンは直線（超平面）で分離できる線形分離可能な問題しか解けず、XOR（排他的論理和）のように1本の直線では分けられない問題は解けない。これがパーセプトロンの限界として知られ、中間層を持つ多層パーセプトロンによって解決された。線形分離可能な問題は単純パーセプトロンでも解ける。 線形分離の問題では、入力の組み合わせで出力が反転し、直線を一本引いても正例と負例が分かれない例を探す。足し算や画面表示のように分類の枠組みに当てはまらない選択肢と、直線で分けられる問題を挙げた選択肢は、設問の条件を満たさないため外せる。

https://www.jdla.org/certificate/general/

この事例では「隠れ層を持つ複数層のパーセプトロンか」を確認すると、「多層パーセプトロン」が当てはまると分かる。正解は「多層パーセプトロン」である。入力層と出力層の間に中間の層（隠れ層）を追加した多層パーセプトロンは、単純パーセプトロンでは解けなかったXORのような線形分離できない問題も表現できる。決定木・サポートベクターマシン・k近傍法はいずれも別の機械学習手法であり、パーセプトロンに隠れ層を加えた構造ではない。 選択肢ごとの差は次のように整理できる。「決定木」は誤り。多層パーセプトロンとは別の機械学習手法であり、単純パーセプトロンでは解けなかったXOR問題を扱うために入力層と出力層の間に隠れ層を加えた構造ではない。「サポートベクターマシン」は誤り。多層パーセプトロンとは別の機械学習手法であり、入力層と出力層の間に隠れ層を持つ構造ではない。「多層パーセプトロン」が正解。入力層と出力層の間に隠れ層を追加した構造であり、単純パーセプトロンでは解けなかったXORのような線形分離できない問題も表現できる。「k近傍法」は誤り。多層パーセプトロンとは別の機械学習手法であり、単純パーセプトロンでは解けなかったXOR問題を扱うために入力層と出力層の間に隠れ層を加えた構造ではない。

https://www.jdla.org/certificate/general/ ／ G検定シラバス2024（第1.4版）

この事例では「ニューラルネットワークの関数近似能力を述べるか」を確認すると、「万能近似定理」が当てはまると分かる。正解は「万能近似定理」である。万能近似定理は、隠れ層を持つニューラルネットワークが十分な数のニューロンを備えれば任意の連続関数を任意の精度で近似できることを示す定理である。ノーフリーランチ定理はあらゆる問題に万能なアルゴリズムは存在しないという主張、ベイズの定理は確率の更新、中心極限定理は標本平均の分布に関する定理であり、いずれも近似能力に関する本定理とは異なる。 選択肢ごとの差は次のように整理できる。「ノーフリーランチ定理」は誤り。あらゆる問題に万能なアルゴリズムは存在しないという主張であり、関数を近似できる能力について述べた定理ではない。「ベイズの定理」は誤り。確率を新たな情報で更新するための定理であり、ニューラルネットワークの近似能力について述べた定理ではない。「万能近似定理」が正解。隠れ層を持つニューラルネットワークが十分な数のニューロンを備えれば任意の連続関数を任意の精度で近似できることを示す定理である。「中心極限定理」は誤り。標本平均の分布に関する定理であり、ニューラルネットワークの近似能力について述べた定理ではない。

https://www.jdla.org/certificate/general/

この事例では「データが一本の直線で分離できないか」を確認すると、「XOR（排他的論理和）のような線形分離できない問題」という説明が正しいと分かる。正解は「XOR（排他的論理和）のような線形分離できない問題」である。単純パーセプトロンは直線（超平面）で分離できる線形分離可能な問題しか解けず、XOR（排他的論理和）のように1本の直線では分けられない問題は解けない。これがパーセプトロンの限界として知られ、中間層を持つ多層パーセプトロンによって解決された。線形分離可能な問題は単純パーセプトロンでも解ける。 線形分離の問題では、入力の組み合わせで出力が反転し、直線を一本引いても正例と負例が分かれない例を探す。足し算や画面表示のように分類の枠組みに当てはまらない選択肢と、直線で分けられる問題を挙げた選択肢は、設問の条件を満たさないため外せる。

https://www.jdla.org/certificate/general/

この事例では「隠れ層によって非線形な関係を学ぶ構造か」を確認すると、「多層パーセプトロン」が当てはまると分かる。正解は「多層パーセプトロン」である。入力層と出力層の間に中間の層（隠れ層）を追加した多層パーセプトロンは、単純パーセプトロンでは解けなかったXORのような線形分離できない問題も表現できる。決定木・サポートベクターマシン・k近傍法はいずれも別の機械学習手法であり、パーセプトロンに隠れ層を加えた構造ではない。 選択肢ごとの差は次のように整理できる。「決定木」は誤り。多層パーセプトロンとは別の機械学習手法であり、単純パーセプトロンでは解けなかったXOR問題を扱うために入力層と出力層の間に隠れ層を加えた構造ではない。「サポートベクターマシン」は誤り。多層パーセプトロンとは別の機械学習手法であり、入力層と出力層の間に隠れ層を持つ構造ではない。「多層パーセプトロン」が正解。入力層と出力層の間に隠れ層を追加した構造であり、単純パーセプトロンでは解けなかったXORのような線形分離できない問題も表現できる。「k近傍法」は誤り。多層パーセプトロンとは別の機械学習手法であり、単純パーセプトロンでは解けなかったXOR問題を扱うために入力層と出力層の間に隠れ層を加えた構造ではない。

https://www.jdla.org/certificate/general/ ／ G検定シラバス2024（第1.4版）

この事例では「ニューラルネットワークの普遍的な関数近似性か」を確認すると、「万能近似定理」が当てはまると分かる。正解は「万能近似定理」である。万能近似定理は、隠れ層を持つニューラルネットワークが十分な数のニューロンを備えれば任意の連続関数を任意の精度で近似できることを示す定理である。ノーフリーランチ定理はあらゆる問題に万能なアルゴリズムは存在しないという主張、ベイズの定理は確率の更新、中心極限定理は標本平均の分布に関する定理であり、いずれも近似能力に関する本定理とは異なる。 選択肢ごとの差は次のように整理できる。「ノーフリーランチ定理」は誤り。あらゆる問題に万能なアルゴリズムは存在しないという主張であり、関数を近似できる能力について述べた定理ではない。「ベイズの定理」は誤り。確率を新たな情報で更新するための定理であり、ニューラルネットワークの近似能力について述べた定理ではない。「万能近似定理」が正解。隠れ層を持つニューラルネットワークが十分な数のニューロンを備えれば任意の連続関数を任意の精度で近似できることを示す定理である。「中心極限定理」は誤り。標本平均の分布に関する定理であり、ニューラルネットワークの近似能力について述べた定理ではない。

https://www.jdla.org/certificate/general/

この事例では「線形分離できない排他的論理和か」を確認すると、「XOR（排他的論理和）のような線形分離できない問題」という説明が正しいと分かる。正解は「XOR（排他的論理和）のような線形分離できない問題」である。単純パーセプトロンは直線（超平面）で分離できる線形分離可能な問題しか解けず、XOR（排他的論理和）のように1本の直線では分けられない問題は解けない。これがパーセプトロンの限界として知られ、中間層を持つ多層パーセプトロンによって解決された。線形分離可能な問題は単純パーセプトロンでも解ける。 線形分離の問題では、入力の組み合わせで出力が反転し、直線を一本引いても正例と負例が分かれない例を探す。足し算や画面表示のように分類の枠組みに当てはまらない選択肢と、直線で分けられる問題を挙げた選択肢は、設問の条件を満たさないため外せる。

https://www.jdla.org/certificate/general/

正解は「ミニバッチ単位で層への入力を正規化することで内部共変量シフトを抑え、より高い学習率を使用でき、初期化に慎重である必要も薄れ、正則化としても機能する」というバッチ正規化の説明である。バッチ正規化は2015年にIoffe & Szegedyが発表した論文（arXiv:1502.03167）で提案された手法で、この効果が述べられている。早期終了（early stopping）の説明は、検証データに対する誤差の悪化を検知して学習そのものを打ち切る手法であって、層への入力分布を正規化する手法ではない。ドロップアウトの説明は、学習の各ステップで一部のノードをランダムに無効化する手法であって、層への入力分布を正規化する手法ではない。L1正則化（ラッソ回帰）の説明は、重みへのペナルティで一部の重みを厳密に0にする手法であって、層への入力分布を正規化する手法ではない。

https://arxiv.org/abs/1502.03167／G検定シラバス2024（大項目4 ディープラーニングの概要）

正解は「勾配の低次モーメントの適応的な推定に基づく一階の確率的最適化で、メモリ要件が小さく、勾配の対角方向の拡大縮小に不変である」である。Kingma & Baの原論文（arXiv:1412.6980、題名は『Adam: A Method for Stochastic Optimization』）の抄録は、Adamを確率的な目的関数の一階勾配に基づく最適化アルゴリズムで、低次モーメントの適応的な推定に基づくと述べ、実装が簡単で計算効率が良く、メモリ要件が小さく、勾配の対角方向の拡大縮小に不変で、データやパラメータが大きい問題に向くと述べる。ヘッセ行列を使う二階の方法ではなく、一階の勾配だけを使う点が要点である。ドロップアウトはユニットを除外する正則化であり、最適化アルゴリズムであるAdamとは役割が異なる。

https://arxiv.org/abs/1412.6980／G検定シラバス2024（大項目4 ディープラーニングの概要）

正解は「より小さい重みを持つ間引かない単一のネットワークを使い、間引かれた多数のネットワークの予測を平均した効果を近似する」である。ドロップアウトの原論文（JMLR 15(56)、2014）の抄録は、学習中にユニットを接続とともにランダムに除外することでユニットの過度な共適応を防ぎ、学習では指数的に多くの間引かれたネットワークから標本化していると述べる。テスト時は、それらの間引かれたネットワークの予測を平均した効果を、より小さい重みを持つ間引かない単一のネットワークで近似する。早期終了は検証誤差の悪化で学習を止める手法で、テスト時の扱いとは別の話である。

（Srivastava・Hinton・Krizhevsky・Sutskever・Salakhutdinov『Dropout: A Simple Way to Prevent Neural Networks from Overfitting』Journal of Machine Learning Research 15(56)、2014）／G検定シラバス2024（大項目4 ディープラーニングの概要）