マルチモーダルとは

マルチモーダルとは、文章・画像・音声・動画など種類の違う情報を、1つのAIモデルでまとめて扱える性質のことです。読みは「まるちもーだる」。英語の multi（複数の）と modal（様式・モダリティ）を合わせた言葉です。

ここでいうモダリティは、情報の種類のことです。文章だけを扱うモデルはシングルモーダル、文章と画像の両方を入力に取れるモデルはマルチモーダルと呼ばれます。入力と出力のどちらで複数の種類を扱えるかは、モデルごとに違います。

画像を入力に取れるモデルの公式ドキュメントでは、この機能は vision（画像理解）と呼ばれることが多く、画像理解のガイド（Google AI for Developers）は、そのモデル群を「最初からマルチモーダルとして作られている」と説明しています。

文章はトークナイザーでトークンに分けられます。画像も同じように、モデルが扱える単位に分けてから処理されます。

• 区画に分ける：画像入力のガイド（公式ドキュメント）では、画像を28×28ピクセルの区画ごとに見ており、この1区画を視覚トークンと呼んでいます。費用は「横の区画数×縦の区画数」で見積もれます。
• 大きすぎる画像は縮小される：同じガイドによれば、モデルごとに長辺と視覚トークン数の上限があり、超える画像は縦横比を保ったまま縮小されてから処理されます。
• 提供元で数え方が違う：前述の画像理解のガイドでは、縦横とも384ピクセル以下の画像は258トークン、それより大きい画像は768×768ピクセルのタイルに分け、1タイルごとに258トークンと数えます。

文章と画像を同じ空間で結びつける学習の代表例が、2021年の論文 Learning Transferable Visual Models From Natural Language Supervision です。インターネットから集めた4億組の画像と説明文を使い、どの説明文がどの画像に対応するかを当てる課題で学習させました。これにより、個別の学習データを用意しなくても、文章で書いたラベルで画像を分類できることを示しています。

• 画面の不具合を見せる：崩れたレイアウトのスクリーンショットをAIコーディングエージェントに渡し、「右端がはみ出している原因を CSS から探して」と頼めます。言葉で症状を説明するより、伝わる情報が多くなります。
• 手書きの設計図から作る：画面のラフや構成図の写真を渡し、HTML の骨組みを起こさせる使い方です。細部は読み違えることがあるので、要素の一覧を文章でも添えます。
• 複数の画像を比べる：修正前と修正後の画面を並べて差分を説明させられます。前述の画像入力のガイドは、複数の画像を送るときに「Image 1:」「Image 2:」のように文章のラベルを付けて区別するよう勧めています。
• API から送る：画像は base64 で埋め込むか、URL で指定するのが基本の形です。何度も使う画像はファイルとして一度アップロードし、ID で参照する方法も用意されています。

• 誤解：マルチモーダルなら画像も作れる → 実際：画像を読み取れても、画像を生成できるとは限りません。前述の画像入力のガイドには、そのモデルは画像理解専用で、画像の生成や編集はできないと明記されています。
• 誤解：写っているものは正確に数えられる → 実際：同じガイドの制限事項には、小さな物体が大量にある場合の数は概数になりうること、200ピクセル未満の画像や回転した画像では誤りうること、位置の出力はおおよそであることが挙げられています。
• 誤解：AIが作った画像かどうかを見分けられる → 実際：同じガイドは、画像がAIで生成されたものかを判定できず、その用途に頼らないよう注意しています。
• 誤解：画像は文章より安く済む → 実際：画像も視覚トークンとして数えられます。高解像度の画像をそのまま送ると、短い文章よりはるかに多くのトークンを使うことがあります。

• 送る前に縮小・切り抜きする：必要な部分だけを切り抜き、読ませたい文字がつぶれない大きさに整えます。費用と待ち時間の両方が減ります。
• 画像に写った個人情報に気をつける：スクリーンショットには、メールアドレスや顧客名、APIキーが写り込みがちです。送る前に隠します。
• 画像の中の文字も指示として読まれうる：画像に埋め込んだ文言でモデルを操ろうとする手口があります。外部から受け取った画像を読ませる仕組みでは、プロンプトインジェクションへの対策を入れておきます。

• 生成AI
• 大規模言語モデル（LLM）
• 推論
• トークン
• 埋め込み（エンベディング）
• プロンプトインジェクション

• 生成AIとは｜仕組み・できること・使い方を初心者向けに
• 画像生成AIとは？仕組み・できること・著作権の注意点をやさしく解説
• プロンプトインジェクション対策一覧 2026｜OWASP LLM01の7つの緩和策

• 画像入力のガイド（公式ドキュメント）：視覚トークンの数え方、画像の渡し方、制限事項
• 画像理解のガイド（Google AI for Developers）：対応形式と、画像1枚あたりのトークンの数え方
• Learning Transferable Visual Models From Natural Language Supervision（arXiv:2103.00020）：4億組の画像と説明文で学習した2021年の論文

Q1. マルチモーダルAIとは何ですか？
文章・画像・音声・動画など種類の違う情報を、1つのモデルでまとめて扱えるAIのことです。たとえば画面のスクリーンショットと質問文を一緒に渡して、画像の内容について答えさせられます。

Q2. マルチモーダルと画像生成AIは同じですか？
同じではありません。マルチモーダルは複数の種類の情報を扱える性質を指し、画像を読み取るだけで生成はできないモデルもあります。画像を作ることを主な目的にしたものが画像生成AIです。

Q3. 画像を送るとトークンはどれくらい使いますか？
提供元とモデルによって数え方が違います。画像を28×28ピクセルの区画に分けて数える方式や、小さな画像を1枚258トークンと数える方式があります。使っているサービスのドキュメントで計算方法を確かめます。

Q4. スクリーンショットをAIに渡すときに気をつけることは何ですか？
読ませたい部分だけを切り抜き、文字がつぶれない大きさにすることです。あわせて、メールアドレスやAPIキーなど外に出したくない情報が写っていないかを確認し、あれば隠してから送ります。