ミニバッチ学習とは

大項目4 ディープラーニングの概要 / 学習の仕組み

訓練データ全体を一度に使うのでも1件ずつ使うのでもなく、数十〜数百件程度の小さなまとまりに分けて、そのまとまりごとに勾配を計算して重みを更新する学習方法はどれか。

正解はミニバッチ学習。訓練データを小さなまとまり（ミニバッチ）に分け、そのまとまりごとに勾配を計算して重みを更新する方法で、全データを一度に使うバッチ学習と1件ずつ使う手法の中間にあたり、計算効率と学習の安定性のバランスがよい。転移学習は学習済みモデルを別のタスクに活用する手法、データ拡張は画像の回転などで訓練データを水増しする手法、蒸留は大きなモデルの知識を小さなモデルに写す手法で、いずれもデータの分け方を指すミニバッチ学習とは異なる。 操作対象がモデル・データ内容・データ単位のどれかを見る。転移学習はモデル知識の再利用、データ拡張は訓練例の加工、蒸留は教師から生徒への知識移転である。更新一回に使う標本を数十〜数百件へ区切るのがミニバッチ学習である。