AI資格ドリル
資格を選ぶ↓

用語比較

マルチモーダルAIとは(テキスト・画像・音声を同時に扱う仕組み)

マルチモーダルとは、テキスト・画像・音声など、複数の種類のデータをまとめて扱えることです。この「データの種類」のことをモダリティと呼びます。テキストだけを扱うAIに対して、テキストと画像、画像と音声のように複数のモダリティを組み合わせて扱うAIがマルチモーダルAIです。

Googleは2023年12月にGeminiを発表した公式ブログで、Geminiを「最初からマルチモーダルになるよう作った」モデルと説明しています。テキスト、コード、音声、画像、動画といった異なる種類の情報を理解し、組み合わせて扱えるという説明です。同じブログは、これまでのマルチモーダルモデルの標準的な作り方を、モダリティごとに別々の部品を学習して後からつなぎ合わせる方法と述べ、Geminiは最初から複数のモダリティで事前学習したことを違いとして挙げています。

このページは、生成AIの入門でマルチモーダルという言葉に初めて出会い、「テキスト生成AIとは何が違うのか」と迷う人を対象にしています。G検定のシラバスは「ディープラーニングの応用例」に「マルチモーダル」を挙げ、生成AIパスポートの2027年2月試験より適用のシラバスは「マルチモーダルモデル」「モダリティ」「マルチモーダル」を詳細キーワードに挙げています。用語の意味を、扱うデータの種類の数という一点で判断できるようにします。

この記事の根拠と出典

各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。生成AIパスポートの一次情報確認日: 2026-08-31。

結論

マルチモーダルAI

テキスト・画像・音声など、複数の種類(モダリティ)のデータをまとめて扱えるAI。モダリティ間の関係を学習して理解や生成に使う。

1種類のデータだけを扱うAI

テキストだけ、画像だけのように、扱うデータの種類が1つに限られるAI。

違いを表で確認

比較軸マルチモーダルAI1種類のデータだけを扱うAI
扱うデータの種類テキスト・画像・音声など複数テキストだけなど1種類
モダリティ間の関係種類をまたぐ関係を学習して使える種類をまたぐ関係は扱わない
Googleの公式発表での説明Geminiは最初から複数のモダリティで事前学習した(ネイティブなマルチモーダル)従来の標準的な方法は、モダリティごとの部品を学習して後からつなぎ合わせる
G検定シラバスでの扱い「ディープラーニングの応用例」に「マルチモーダル」が挙がる該当なし(個別の応用例として画像認識・自然言語処理・音声処理が別に挙がる)

どこで迷っているかを切り分ける

01

「マルチ」を、複数のAIを並べて使うことだと考える人

マルチモーダルは、AIの数ではなく、扱うデータの種類の数についての言葉です。1つのモデルがテキストと画像を同時に扱うことを指します。AIを複数つなぐ話か、データの種類の話かを見分けます。

02

生成AI=テキストを作るものだと思っている人

テキストを生成するAIはよく知られていますが、扱えるデータはテキストに限りません。複数の種類のデータをまとめて扱えるモデルがあり、それがマルチモーダルです。

03

モダリティという言葉の意味が分からない人

モダリティは、テキスト・画像・音声といったデータの種類のことです。マルチモーダルは、モダリティが複数あることを意味します。

具体例で使い分ける

例 1

テキストの質問と画像をあわせて入力する場面

写真と文章の質問を1つのAIにまとめて入力し、回答を得る場面です。

  • 入力にテキストと画像という2つのモダリティが含まれています。
  • 1つのAIが複数の種類のデータをまとめて扱っています。

結論: 複数のモダリティをまとめて扱う、マルチモーダルAIの使い方にあたります。

例 2

文章だけを入力して文章だけを出力する場面

文章の要約を依頼し、要約文だけを受け取る場面です。

  • 入力も出力もテキスト1種類です。
  • 複数のモダリティをまたぐ処理は含まれていません。

結論: 扱うデータの種類が1つなので、この場面だけではマルチモーダルとは言えません。

問題文から答えを選ぶ手順

  1. 1

    扱うデータの種類を数える

    設問や説明に出てくる入力と出力のデータが、テキスト・画像・音声などのうち何種類かを確認します。

  2. 2

    種類が2つ以上かを見る

    2種類以上を1つのモデルでまとめて扱っていればマルチモーダル、1種類だけなら該当しません。

  3. 3

    モダリティの語を言い換える

    モダリティはデータの種類のことなので、「複数のモダリティ」を「複数の種類のデータ」へ読み替えて判断します。

試験での見分け方

  • 1テキスト・画像・音声など複数の種類のデータをまとめて扱えるなら、マルチモーダル。
  • 2モダリティは、テキスト・画像・音声といったデータの種類のこと。
  • 3マルチは、AIの数ではなくデータの種類の数についての言葉。
  • 4テキストだけ、画像だけなど1種類のデータだけを扱う場合は、マルチモーダルとは言えない。

誤答しやすい選択肢

マルチモーダルを、複数のAIを組み合わせることだと考える

修正: マルチモーダルは扱うデータの種類が複数であることを指します。AIの数ではなく、データの種類の数で判断します。

生成AIはテキストしか扱えないと思い込む

修正: 複数の種類のデータをまとめて扱えるマルチモーダルなモデルがあります。テキストのみと単純化しすぎないようにします。

モダリティを、AIの性能を表す言葉だと思う

修正: モダリティはテキスト・画像・音声などデータの種類のことで、性能の高さを表す言葉ではありません。

確認問題

Q1テキスト・画像・音声など、データの種類のことを何という?

答え: モダリティ

マルチモーダルは、複数のモダリティ(データの種類)をまとめて扱えることを指します。

Q2テキストと画像など、複数の種類のデータをまとめて扱えるAIを何という?

答え: マルチモーダルAI

判断の根拠は、扱うデータの種類が複数であることです。AIの数や性能の話ではありません。

Q3要約文を入力して要約文を出力するだけのAIは、マルチモーダルといえるか。

答え: いえない(扱うデータがテキスト1種類のため)

入力も出力もテキストだけなので、複数のモダリティをまたぐ処理は含まれていません。

到達チェック

  • マルチモーダルを「複数の種類のデータをまとめて扱えること」と説明できる
  • モダリティがデータの種類のことだと言える
  • テキストだけを扱う場面はマルチモーダルとは言えないと判断できる
  • G検定では「ディープラーニングの応用例」に挙がることを把握している

同じ資格で次に知りたいこと

  • Chain-of-Thought(思考の連鎖)と役割指定の違い(生成AIパスポート)

    Chain-of-Thought(思考の連鎖)と役割設定の違いを、プロンプトに書く内容と狙いから整理します。生成AIパスポートのプロンプトエンジニアリングで迷わない判断手順と確認問題も掲載します。

  • 著作権と特許権・意匠権・商標権の違い

    著作権と特許権・意匠権・商標権の違いを、守る対象、権利が生まれる時期(創作時か登録か)、存続期間、生成AIパスポートでの判断手順と確認問題まで、法令の条文で確かめて解説します。

  • Agent SkillsとMCPの違い(生成AIパスポート)

    Agent SkillsとMCPの違いを、手順や知識をまとめて必要なときに読み込む仕組みと、AIアプリを外部システムにつなぐ標準という役割の違いから整理。Anthropicの公式ドキュメントとMCP公式資料、公式シラバスにもとづく確認問題つきです。

よくある質問

Qマルチモーダルとは何ですか?

A

テキスト・画像・音声など、複数の種類のデータをまとめて扱えることです。データの種類のことをモダリティと呼びます。

Qモダリティとは何ですか?

A

テキスト・画像・音声といったデータの種類のことです。

QマルチモーダルAIの例は?

A

Googleは公式ブログで、Geminiをテキスト、コード、音声、画像、動画といった異なる種類の情報を理解し、組み合わせて扱える、最初からマルチモーダルになるよう作ったモデルと説明しています(2023年12月発表)。

QマルチモーダルはG検定や生成AIパスポートに出ますか?

A

JDLAのG検定ページは、試験範囲の「ディープラーニングの応用例」に「マルチモーダル」を挙げています(2026-10-15確認)。生成AIパスポートの2027年2月試験より適用のシラバスは、「マルチモーダルモデル」「モダリティ」「マルチモーダル」を詳細キーワードに挙げています(2026-10-15確認)。

次に見る比較

執筆: ミナト編集部(運営者情報を見る)