AI資格ドリル
資格を選ぶ

用語比較

LLMとSLM（小規模言語モデル）の違い｜規模・動かす場所・補い方

LLMは大規模なデータで学習した大きな言語モデル、SLMは同じ仕組みでパラメータ数を小さく抑えた言語モデルです。

どちらも次に来る語を予測して文章を作る点は同じで、違いは規模と、その規模から決まる動かし方にあります。

この記事の根拠と出典

各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。

公式一次資料と照合した内容
GPT-3の1,750億パラメータ、phi-3-miniの38億パラメータ・3.3兆トークン・4ビット量子化で約1.8GB・iPhone 14での動作・事実知識の限りは、それぞれの論文（arXiv:2005.14165、arXiv:2404.14219）へ照合しています。損失がモデルの大きさ・データ量・計算量に対してべき乗則で下がる点はKaplanらの論文（arXiv:2001.08361）の記述です。LMとLLMが第5章の項目であることは、生成AIパスポートの公式シラバスと照合しています。
編集部が学習用に整理した内容
規模と動かす場所の組で側を決める手順と、約46倍の比は編集部の学習上の整理・計算です。SLMと呼ぶ境目の数字は扱っていません。「動かすメモリが大きくなる」と、表の右端の覚え方の列・手がかり語から側を決める手順は編集部の整理で、出題実績に基づくものではありません。

資格ごとの公式資料の一覧

LLMとSLMの要点

公式一次資料と照合：用語の定義は公式一次資料と照合しています。

LLM

パラメータ数が非常に多い言語モデル。例として、GPT-3の論文は1,750億パラメータのモデルを報告している。規模を大きくすると損失が規則的に下がることが、スケーリング則として示されている。

SLM

同じく言語モデルだが、パラメータ数を小さく抑えたもの。例として、phi-3-miniは38億パラメータで、スマートフォンで動かせる大きさとされる。

線引き

どこから小規模と呼ぶかを定めた統一の基準は、このページで使った資料には無い。数字の大小で機械的に決めず、規模と動かす場所の組で考える。

違いを表で確認

比較軸LLMSLM覚え方（編集部の整理）
パラメータ数の例GPT-3は1,750億（175 billion）phi-3-miniは38億（3.8 billion）1,000億台と数十億台の例として覚える
動かす場所パラメータ数が多い分、動かすメモリも大きくなる（編集部の整理）phi-3-miniは4ビット量子化でメモリ約1.8GB。iPhone 14で端末内・オフライン動作（毎秒12トークン超）「端末内で動く」「オフライン」が出たら小さいモデル側
学習データGPT-3の論文は、広い範囲のテキストで学習したモデルを報告しているphi-3-miniは3.3兆トークンで学習。フィルタした公開Webデータと合成データパラメータ数が小さくても、学習データが多い例がある
規模と性能規模を大きくすると言語モデルの損失が規則的に下がる傾向がある（スケーリング則）phi-3-miniは、事実知識を蓄える容量に限りがありTriviaQAの成績が低いが、検索エンジンによる補強で解消できると論文が考えている検索結果を渡す仕組みはRAGの考え方に近い
性能の比べ方損失は、モデルの大きさ・データ量・計算量に対してべき乗則で下がると示されているphi-3-miniは総合的な性能がMixtral 8x7BやGPT-3.5に並ぶと論文が報告している規模だけで性能が決まるとは限らない

公式一次資料と照合：生成AIパスポートの一次資料で確認一次資料の一覧を見る

生成AIパスポートの参考書3冊を、向く人と選ぶ理由で比べる

生成AIパスポートの学習に使う書籍（Amazon）

PR

ほかの資格を含む参考書・問題集の一覧を見る

どこで迷っているかを切り分ける

01

LLMの「大規模」が何を指すのか、数字で説明できない人

GPT-3の論文は、1,750億パラメータの自己回帰言語モデルを学習し、それまでの非スパースな言語モデルより10倍多いと述べています。大規模とは、このくらいの桁を指す、と数字で押さえると、小さいモデルとの対比がはっきりします。

02

「小さいモデルは性能が低い」と一括りに覚えている人

phi-3-miniは38億パラメータですが、論文は学術ベンチマークと社内試験の両方で、Mixtral 8x7BやGPT-3.5のようなモデルに並ぶ性能だと報告しています（MMLUで69%）。ただし、これは論文を書いた側の報告です。小さいモデルでも、学習データの質しだいで能力が上がる例がある、と理解しておけば十分です。

03

社内の端末だけで生成AIを動かしたい場面を想像している人

phi-3-miniは4ビットに量子化するとメモリを約1.8GBしか使わず、iPhone 14上で端末内・オフラインのまま毎秒12トークンを超えて動いたと論文に書かれています。通信せずに動かせる点が、小さいモデルを選ぶ理由の一つになります。

具体例で使い分ける

編集部の整理

例 1

規模の差を比で確かめる

GPT-3の1,750億パラメータと、phi-3-miniの38億パラメータを比べます。

  • 1,750億÷38億は約46です。
  • つまりGPT-3のパラメータ数は、phi-3-miniの約46倍です。

結論: 桁としては1,000億台と数十億台の違いです。ただし、SLMと呼ぶ境目の数字は決まっていないので、この比は例として使います。

例 2

SLMの弱点を検索で補う流れ

小さいモデルに、最近の出来事や細かい事実を質問する場面です。

  • 小さいモデルは事実知識を蓄える容量に限りがあるため、細かい事実の質問には弱くなります。
  • 質問に関係する情報を検索で取ってきて、プロンプトに付けて渡します。
  • モデルは自分の記憶ではなく、渡された情報を読んで答えます。

結論: 論文は、この弱点が検索エンジンによる補強で解消できると考えています。検索で取った情報を渡す考え方は、生成AIパスポートで学ぶRAGと同じ方向です。

問題文から答えを選ぶ手順

編集部の整理：規模と動かす場所の組で側を決める手順と、約46倍の比は編集部の学習上の整理・計算です。SLMと呼ぶ境目の数字は扱っていません。「動かすメモリが大きくなる」と、表の右端の覚え方の列・手がかり語から側を決める手順は編集部の整理で、出題実績に基づくものではありません。

  1. 1

    設問が規模を聞いているか、動かし方を聞いているかを分ける

    パラメータ数や学習の規模が手がかりなら、規模の話です。端末内・オフライン・省メモリが手がかりなら、動かし方の話です。

  2. 2

    手がかりの語から側を決める（編集部の整理）

    「大量のデータで事前学習」「規模を大きくすると性能が上がる」はLLM側の説明です。「端末内で動く」「小さいモデル」はSLM側の説明です。

  3. 3

    弱点が問われたら、知識量の限界と補い方をセットで答える

    phi-3-miniの論文は、事実知識を蓄える容量に限りがあると述べています。補い方は検索などの外部情報の利用、と組にして覚えます。

  4. 4

    「小さい＝低性能」と決めつけない

    学習データの質で性能が上がる例があるので、規模だけで優劣を断定する選択肢には注意します。

試験での見分け方

編集部の整理

  • 1LLMもSLMも言語モデルであり、違いは主にパラメータ数の規模。
  • 2GPT-3は1,750億パラメータ、phi-3-miniは38億パラメータ（約46倍の差）。
  • 3SLMには、スマートフォンのような端末内・オフラインで動く例がある。
  • 4phi-3-miniの論文は、事実知識を蓄える容量に限りがあるが、検索などの外部情報で補えると考えている。
  • 5規模を増やすと損失が下がる傾向（スケーリング則）はあるが、小さくても学習データの質で性能が上がる例がある。
  • 6SLMとLLMの境目を決める統一の数字は、ここでは扱わない。

誤答しやすい選択肢

SLMを、LLMとは別の仕組みのモデルだと考える

修正: SLMも次の語を予測する言語モデルです。違うのは主にパラメータ数の規模です。

パラメータ数が少ないと、学習データも少ないと考える

修正: phi-3-miniは38億パラメータでも、3.3兆トークンで学習しています。パラメータ数と学習データ量は別の量です。

小さいモデルは必ず大きいモデルより性能が低いと答える

修正: 論文は、phi-3-miniの総合的な性能がMixtral 8x7BやGPT-3.5に並ぶと報告しています。規模だけで優劣は決まりません。

小さいモデルの弱点を、文章が書けないことだと答える

修正: phi-3-miniの論文が挙げる弱点の一つは、事実知識を蓄える容量の限りです。TriviaQAのような知識を問う課題で成績が低くなりました。

どこからがSLMかを、一つの数字で答える

修正: 境目を定めた統一の基準は、ここで使った資料にはありません。規模と動かす場所の組で説明します。

確認問題

Q1GPT-3のパラメータ数は、phi-3-miniのおよそ何倍ですか？

答え: 約46倍

1,750億÷38億は約46です。数字は、それぞれの論文が報告した値です。

Q2phi-3-miniをスマートフォンで動かせるようにした工夫として、論文が挙げているものは何ですか？

答え: 4ビットへの量子化（メモリ約1.8GB）

4ビットに量子化するとメモリを約1.8GBしか使わず、iPhone 14上で端末内・オフラインのまま毎秒12トークンを超えたと書かれています。

Q3phi-3-miniの論文が挙げる弱点の一つと、その補い方を答えてください。

答え: 事実知識を蓄える容量に限りがある点。検索エンジンなどの外部情報で補う

論文は、容量の限りがTriviaQAの低い成績に表れ、検索エンジンによる補強で解消できると考えていると述べています。

到達チェック

  • LLMとSLMの違いは、主にパラメータ数の規模だと説明できる
  • GPT-3とphi-3-miniのパラメータ数を、桁で言える
  • パラメータ数と学習データ量が別の量だと説明できる
  • 小さいモデルの弱点と補い方を組で答えられる
  • SLMとLLMの境目を一つの数字で決めない理由を言える

関連ページで確認する

同じ資格で次に知りたいこと

よくある質問

QLLMとSLMの一番大きな違いは何ですか？

A

パラメータ数の規模です。GPT-3は1,750億、phi-3-miniは38億と、桁が違います。仕組みは、どちらも次の語を予測する言語モデルです。

QSLMはどのくらいの大きさからSLMと呼びますか？

A

統一された基準はありません。このページでは、規模と動かす場所の組で説明しています。

QSLMはスマートフォンで本当に動きますか？

A

phi-3-miniの論文は、4ビットに量子化するとメモリ約1.8GBで、iPhone 14上で端末内・オフラインのまま毎秒12トークンを超えて動いたと報告しています。

QSLMの弱点は何ですか？

A

phi-3-miniの論文は、事実知識を蓄える容量に限りがあることを弱点に挙げ、検索エンジンによる補強で解消できると考えています。すべてのSLMに当てはまると断定した記述ではありません。

Q生成AIパスポートでSLMは出ますか？

A

公式シラバスの項目名にSLMはありません。第5章の「LMとLLM」で、言語モデルの規模と能力の関係を学ぶ範囲です。

次に見る比較

シェア:XでシェアLINEでシェア

執筆: AI資格ドリル編集部（運営者情報を見る）