ローカルLLMの始め方——自分のPCでAIを動かす方法・必要スペック・おすすめモデルを初心者向けに解説

大規模言語モデル（LLM）はクラウド上で動かすのが当たり前——そう思っていないだろうか。実は今、自分のPCの中だけでAIを動かす「ローカルLLM」が現実的な選択肢になっている。データを外に出さず、API料金もかからず、ネットがなくても使える。小さなモデルならファイルは数GBで、普通のノートPCでも動く。

本記事では、ローカルLLMとは何か・メリットと弱点・必要なスペック・始め方（Ollama の公式手順でのインストールから動作確認まで）・モデルの選び方・クラウドとの使い分けまでを初心者向けに整理する。

1. ローカルLLMとは

ローカルLLMとは、ChatGPTやClaudeのようなAIモデルを、クラウドではなく自分のPC（やスマホ）の中で直接動かすこと。普段使うAIは、入力を遠くのサーバーに送って処理し、答えを返してもらう仕組みだが、ローカルLLMはその処理を全部手元の機械でやる。

逆に、Claude Code や Codex のようにモデルをサーバーで動かすツールでは、PC の性能で変わるのは手元で動くコマンドの時間とメモリの余裕で、AI が考える時間は変わらない（「Claude Code・Codex に必要な PC スペック」）。

イメージは「音楽のストリーミング vs ダウンロード」に近い。クラウドAIは聴きたい時に毎回ネット越しに再生する形、ローカルLLMは曲を端末に落としてオフラインでいつでも再生できる形だ。モデルという数GBのファイルを一度PCに入れてしまえば、あとはネットも課金も不要で動かせる。

2. なぜローカル？メリットと弱点

ローカルLLMの魅力は3つ。プライバシー・コスト・オフラインだ。入力が外部に出ないので機密データも扱いやすく、API料金もかからない。1回ごとの課金が無いので、同じ処理を何千回も回す用途ほど差が大きくなる。

ただし弱点もある。正直に押さえておこう。

つまり「賢さは最先端に一歩譲るが、プライバシー・コスト・オフラインで圧勝」。この割り切りができる用途なら、ローカルLLMは強力な選択肢になる。

3. 必要なPCスペックと量子化

「自分のPCで動くの？」が最大の関心事だろう。鍵はメモリ（RAMやGPUのVRAM）と量子化だ。

最近のノートパソコンに入っている NPU（AI 専用の部品）は、Ollama ではまだ使われない。NPU が何に効くかは「NPUとは？パソコンに必要か」を参照。

量子化（quantization）とは、モデルの数値の精度を落とす代わりに容量を大幅に小さくする圧縮技術。ローカル向けの配布形式はGGUFが標準で、なかでも「Q4_K_M」がバランスの定番だ。どれだけ縮むかは Ollama のタグ一覧で確かめられる。Llama 3.1 8B は16bit（fp16）のままだと16GB、Q4_K_M なら4.9GBで、約3割の大きさになる。ollama run llama3.1:8b で落ちてくるのも、この Q4_K_M 版だ（llama3.1 のタグ一覧、2026年9月30日時点）。GGUF 形式のモデルは Hugging Face に207,667件ある（Hugging Face の GGUF の絞り込み、同日時点）。

では実際にどれくらいの大きさか。Ollama のモデル一覧に載っているダウンロードサイズを小さい順に並べる。

※出典：Ollama のモデル一覧の各タグのページ（2026年9月30日時点）。サイズの幅も一覧の表示どおり。音声は gemma4 のページの表で E2B・E4B だけが対応とされている（タグ一覧の表示はテキスト・画像）。muse-glimmer の行はmuse-glimmer のタグ一覧（2026年10月5日時点）。

表の読み方のコツは2つある。

• メモリはサイズより多めに要る：表はファイルの大きさ。実行中は、これに会話の文脈（コンテキスト）を覚えておく分が上乗せされる。Ollama の既定のコンテキストは4,096トークンで、長くするほどメモリを食う（Ollama の FAQ）。
• GPU に載り切ったかは ollama ps で見る：PROCESSOR 欄が「100% GPU」なら全部が GPU、「100% CPU」ならメインメモリで動いている。「48%/52% CPU/GPU」のように割れていれば一部がはみ出している（同 FAQ）。CPU 側に回った分は遅くなりやすいので、1段小さいタグへ下げる判断材料になる。

Mac の Apple Silicon は CPU と GPU が同じメモリを使う（ユニファイドメモリ）ので、メモリの大きい Mac なら大きめのタグも GPU で動かしやすい。OS とハードの条件は、ツールの公式ページに次のように書かれている。

出典：Ollama の macOS・Windows のドキュメント、LM Studio のシステム要件（いずれも2026年9月30日時点）。

まず試すなら、表の上のほう（2〜5GB 前後）のタグで十分だ。

4. 始め方——ツール選びと最初の1回

Ollamaをもっと深く使いたい人は、Ollama完全ガイド（コマンド・API・カスタマイズ）も参照してほしい。

タイプ別に、2つの定番ツールから選べばよい。

どちらも無料で、Windows・Mac・Linuxに対応。ほかにJan、Open WebUI、llama.cpp などもある。画面で操作したい人はLM Studioを入れて小さなモデルを1つ落とすのがいちばん早い。コマンドに抵抗がなければ、次の Ollama の手順でも数分で動く。

Ollama で最初の1つを動かすまで

Ollama の公式 README とドキュメントの手順どおりに、インストールから動作確認までを追う（2026年9月30日時点）。コマンドの一覧や細かい使い方はOllama完全ガイドのコマンド編に任せ、ここでは最初の1回に要る4つに絞る。

① インストールする。macOS と Linux はターミナルで次の1行を打つ。

curl -fsSL https://ollama.com/install.sh | sh

Windows は PowerShell で次の1行。

irm https://ollama.com/install.ps1 | iex

ネットのスクリプトをそのまま実行したくない人は、公式の手動ダウンロードでもよい（Mac は Ollama.dmg、Windows は OllamaSetup.exe、Linux は手動インストールの手順）。Docker なら公式イメージ ollama/ollama がある（Ollama の README）。

② モデルを動かす。README の最初の例と同じく、Gemma 4 を動かしてみる。まだ手元に無いモデルは、先に取得してから会話が始まる。

ollama run gemma4

gemma4 の既定のタグは6.6〜9.5GB ある。メモリが心もとなければ、ollama run gemma4:e2b や ollama run llama3.2（2.0GB）のように小さいタグを指定する。

③ 動いているかを確かめる。別のターミナルで次を打つと、読み込まれているモデルと PROCESSOR 欄（GPU か CPU か）が出る。3節で書いたとおり「100% GPU」なら理想的だ。

ollama ps

④ 片づける。ollama stop gemma4 でメモリから降ろし、要らなくなったら ollama rm gemma4 で消す。モデルの置き場所は macOS が ~/.ollama/models、Linux が /usr/share/ollama/.ollama/models、Windows が C:\Users\%username%\.ollama\models で、環境変数 OLLAMA_MODELS で変えられる（Ollama の FAQ）。

5. モデルの選び方（2026年9月時点の例）

モデルは入れ替わりが速いので、名前より先に選ぶ軸を押さえたい。①手元のメモリに収まるサイズか（3節の表）、②画像や音声の入力が要るか、③日本語・コードなど自分の用途に強いか、④最近も更新されているか。候補の名前・サイズ・更新日は Ollama のモデル一覧で確かめられる。2026年9月30日時点の代表例は次のとおり。

コツは「まず小さめのタグを1つ試し、ollama ps で GPU に載っているのを確かめ、物足りなければ1段大きいタグへ」と段階的に進めることだ。クラウドAIの比較と同じく、用途に合うかは実際に触って確かめよう。

6. クラウドとの使い分け

ローカルとクラウドの違い・性能差・選び方をもっと詳しく知りたい人は、ローカルLLMとクラウドLLMの違いと性能差の記事も参照してほしい。

ローカルとクラウドは「どちらか一方」ではなく、役割で使い分けるのが賢い形だ。

• ローカルが向く：機密データの処理、大量・反復のタスク、オフライン環境、コストを抑えたい定型処理。
• クラウドが向く：最高精度が要る難問、最新情報が必要な調査、重いコーディング。ChatGPT・Claude・Geminiなどの最上位モデルが活きる場面。

たとえば「下書き・分類・要約はローカルで無料に、仕上げや難所だけクラウドに」という併用が効く。ただし「無料」なのは API 料金の話で、電気代と PC の費用はかかる。使う量が少なければクラウドのほうが安く済むこともあり、どちらが安いかは量しだいで逆転する。

まとめ

ローカルLLMを3点に整理する。

• 正体：AIモデルを自分のPCで動かすこと。データは外に出ず、API料金もオフラインの制約もない。
• 始め方：初心者はLM Studio、開発者はOllama（公式のスクリプトで入れて ollama run、ollama ps で GPU に載ったかを確認）。まずは2〜5GB前後の小さなタグから。量子化（Q4_K_M）で fp16 の約3割に縮む。
• 使い分け：賢さはクラウドが上。機密・大量・オフラインはローカル、難問はクラウドの併用が最適。

まずはLM Studioを入れて、小さなモデルを1つ動かしてみよう。「自分のPCの中だけでAIが喋る」体験は、思った以上に新鮮だ。仕組みをもっと知りたい人はLLMの仕組みもあわせてどうぞ。

FAQ