ローカルLLMとは?自分のパソコンでAIを動かす条件と必要なメモリ
この記事の結論
- ローカルLLMは、言語モデルを自分のパソコンの中で動かす使い方です。モデルを一度ダウンロードすれば、入力した文章を外部のAIサービスに送らずに使えます。
- Ollamaの公式クイックスタートは、ダウンロード約7.2GBの小さなモデルで8GBの空きVRAM(Macは統合メモリ)を勧めています。足りなければ通常のメモリで動きますが、遅くなります。
- 文脈(一度に読める長さ)を長くするほどメモリを使います。コーディングツールやエージェントには64,000トークン以上が勧められていて、ここがローカルで動かすときの壁になります。
チャットで使う生成AIは、ふつうは提供会社のサーバーで動いています。同じような言語モデルを手元のパソコンで動かすのがローカルLLMです。ここでは、ローカルLLMを動かす道具として広く使われているOllamaの公式ドキュメント(2026年10月24日確認)をもとに、動かす条件とメモリの目安を整理します。
最終更新: 2026-10-24・読了目安 約7分
ローカルLLMとクラウドのAIの違い
| ローカルLLM | クラウドのAI(チャットサービス・API) | |
|---|---|---|
| 動く場所 | 自分のパソコン | 提供会社のサーバー |
| 入力した文章 | パソコンの外に出ない | 提供会社に送られる(扱いは各社の規約による) |
| 費用 | 利用料はかからない。パソコンの性能と電気代 | 月額料金や従量課金 |
| 性能 | パソコンで動く大きさのモデルに限られる | 大きなモデルを使える |
| 準備 | ソフトとモデルのダウンロードが必要 | アカウントを作ればすぐ使える |
手元で動くことの利点は、社外に出せない文章や個人情報を扱えることと、使った量で料金が増えないことです。一方で、パソコンに載る大きさのモデルしか動かせないので、答えの質はクラウドの大きなモデルに届かないことが多くなります。クラウドのAIに入力した内容の扱いは入力した内容は学習されるかと設定の場所にまとめています。
動かすための条件(OSとGPU)
Ollamaの公式ドキュメントに書かれている条件です。
- Mac: macOS Sonoma(14)以降。Apple M シリーズはCPUとGPUの両方、Intel(x86)のMacはCPUだけで動きます(macOSのページ)。
- Windows: Windows 10 22H2以降(Home・Pro)。NVIDIAのGPUを使うならドライバ551.61以降(Windowsのページ)。
- NVIDIAのGPU: Compute Capability 5.0以上、ドライバ550以降。AMDのGPUはROCmやVulkanで対応しています(対応GPUの一覧)。
GPUがなくてもCPUで動きますが、答えが出るまでの時間は長くなります。
必要なメモリの目安と計算方法
Ollamaのクイックスタートは、ダウンロード約7.2GBの小さなモデルを例に、8GBの空きVRAM(Macなら統合メモリ)を勧めています。VRAMが足りないときは通常のメモリ(RAM)も使って動きますが、答えは遅くなります。
モデルの重みに必要なメモリは、次の式でおおよそ見積もれます。
重みの大きさ(バイト)≒ パラメータ数 × 1パラメータあたりのビット数 ÷ 8
| パラメータ数 | 16ビット | 8ビット | 4ビット |
|---|---|---|---|
| 30億(3B) | 約6GB | 約3GB | 約1.5GB |
| 80億(8B) | 約16GB | 約8GB | 約4GB |
| 140億(14B) | 約28GB | 約14GB | 約7GB |
| 700億(70B) | 約140GB | 約70GB | 約35GB |
ビット数を減らして小さくすることを量子化といい、ローカルで動かすモデルは4ビット前後に量子化したものがよく使われます。実際には、重みのほかに文脈を覚えておくためのメモリ(次の節)も必要なので、表の数字より余裕を見ておきます。
文脈の長さとメモリ
文脈の長さ(コンテキスト長)は、モデルが一度に扱えるトークンの数です。Ollamaの文脈の長さのページによると、既定の長さはVRAMの量で変わります。
| VRAM | 既定の文脈の長さ |
|---|---|
| 24GiB未満 | 4,000トークン(4k) |
| 24〜48GiB | 32,000トークン(32k) |
| 48GiB以上 | 256,000トークン(256k) |
同じページは、ウェブ検索・エージェント・コーディングツールのように長い文脈が要る作業では64,000トークン以上にするよう勧め、文脈を長くするほど必要なメモリが増えると書いています。ファイルを何本も読ませるAIコーディングエージェントをローカルで動かそうとすると、モデルの大きさより文脈の長さが先に壁になります。トークンの考え方はトークンとはで説明しています。
Ollamaで動かす流れ
- 公式サイトからOllamaをダウンロードしてインストールし、アプリを開きます(Linuxでは
ollama serveでサーバーを起動します)。 - 使うモデルをダウンロードします(例:
ollama pull モデル名)。 ollama run モデル名でターミナルから話しかけるか、自分のパソコンのhttp://localhost:11434にあるAPIへリクエストを送ります。
ダウンロードしたモデルは、Macでは ~/.ollama/models、Windowsでは C:\Users\ユーザー名\.ollama\models に保存されます(よくある質問)。モデルは1本で数GB以上あるので、ディスクの空きにも注意してください。
ローカルLLMが向いている使い方
- 外に出せない文章の要約・分類: 社内文書や個人のメモなど、外部サービスに送りたくないもの。
- 決まった形の作業を大量にこなす: 件数が多いと従量課金がかさむ作業。速さより費用を優先する場合。
- 仕組みを学ぶ: 文脈の長さや量子化の違いを、自分の手で試して確かめられます。
難しい推論や長いコードの変更のように、大きなモデルの力が要る作業は、クラウドのAIのほうが向いています。両方を用途で使い分けるのが現実的です。
よくある質問
Q1. ローカルLLMを動かすにはどのくらいのメモリが必要ですか?
Ollamaの公式クイックスタートは、ダウンロード約7.2GBの小さなモデルで、8GBの空きVRAM(Macなら統合メモリ)を勧めています。モデルの重みの大きさは、パラメータ数×1パラメータあたりのビット数÷8でおおよそ見積もれます。
Q2. ローカルLLMはインターネットにつながなくても使えますか?
モデルを一度ダウンロードしたあとは、自分のパソコンの中で動きます。Ollamaは自分のパソコンの http://localhost:11434 でAPIを受け付けるので、入力した文章を外部のAIサービスに送らずに使えます。
Q3. ローカルLLMでコーディングエージェントは使えますか?
使えますが、長い文脈が必要です。Ollamaの公式ドキュメントは、ウェブ検索・エージェント・コーディングツールのような作業では文脈の長さを64,000トークン以上にするよう勧めています。文脈を長くするとメモリも多く必要です。