ランダムサーチとは

まず押さえる結論

ランダムサーチは、G検定の「大項目4 ディープラーニングの概要」で確認しておきたい用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。

具体例から判断の境界を固める

総当たりで試すグリッドサーチに対し、候補範囲からランダムに選んで試すことで少ない試行回数で良い組み合わせを見つけやすい探索手法として捉える

ハイパーパラメータの候補値をあらかじめ格子状に指定し、すべての組み合わせを総当たりで試すのがグリッドサーチです。ランダムサーチは、候補値の範囲からランダムに組み合わせを選んで試します。Bergstra、Bengioの論文『Random Search for Hyper-Parameter Optimization』（Journal of Machine Learning Research 13(10):281-305, 2012）では、ニューラルネットワークにおいて、グリッドサーチと同じ探索領域内でランダムサーチを行うと、計算時間のごく一部で同程度以上の性能のモデルを見つけられることが示されている。

問題文で見る箇所

「候補値の範囲からランダムに選ぶ」「総当たりより少ない試行回数で良い組み合わせを見つけやすい」という記述があればランダムサーチを候補にします。「候補値をあらかじめ格子状に指定しすべての組み合わせを試す」という記述であればグリッドサーチを候補にします。

隣接概念との境界

グリッドサーチは候補値をあらかじめ格子状に指定し、すべての組み合わせを総当たりで試す探索手法です。ランダムサーチは候補値の範囲からランダムに組み合わせを選んで試す探索手法です。どちらもハイパーパラメータの値そのものではなく、その値を探すための手法という点は共通します。

誤答しやすい選択肢

• ×ランダムサーチを、候補値をすべて総当たりで試す手法と説明する。これはグリッドサーチの説明で、ランダムサーチは候補範囲からランダムに組み合わせを選ぶ手法です。
• ×ランダムサーチが常にグリッドサーチより性能が高いと断定する。Bergstra、Bengio(2012)の深層信念ネットワークの実験では、7データセット中4データセットで統計的に同等の性能にとどまり、優位性を示したのは1データセットに限られます。
• ×グリッドサーチ・ランダムサーチという探索手法そのものをハイパーパラメータと呼ぶ。両者は探索対象であるハイパーパラメータの値そのものではなく、その値を探す手法です。

4段階の判断手順

1. 01設問が候補値をすべて総当たりで試す話か、候補範囲からランダムに選ぶ話かを先に分ける。
2. 02総当たりであればグリッドサーチ、ランダムに選ぶのであればランダムサーチを候補にする。
3. 03ランダムサーチが『常に』優れているという断定表現が出たら、一部のデータセットでの優位性にとどまる実験結果と照らして疑う。
4. 04グリッドサーチ・ランダムサーチという探索手法と、探索対象であるハイパーパラメータそのものを区別する。

到達条件: ランダムサーチをグリッドサーチとの探索方法の違い（総当たりか、範囲からランダムに選ぶか）で説明し、性能の優位性は限定的な実験結果に基づくことを言える。

試験での問われ方

誤答しやすいポイント

関連する確認問題

同じ章で確認したい用語