ローカルLLMは実用に足るか？オンプレ推論が現実解になる条件【量子化・推論コスト】

ローカルLLMが実用足りうるかどうかは、「量子化による性能の確認」と「3つの合理性条件の確認」の両方で決まります。「オンプレにすれば安い」という先入観で進めると、人件費とインフラ費用の両方で想定外のコストが発生します。

量子化（Quantization）とは

LLMのパラメータは通常、半精度浮動小数点数（FP16：16ビット）で保存されます。量子化とは、これをより少ないビット数で表現することでモデルサイズとVRAM使用量を削減する技術です。代表的なのはINT8（8ビット整数）とINT4（4ビット整数）の2種類です。

精度	概算VRAM目安	精度への影響（MMLU）
FP16（半精度）	約2GB／10億パラメータ	ベースライン
INT8（8ビット）	約1GB／10億パラメータ	1%未満の差
INT4（4ビット）	約0.5GB／10億パラメータ	1〜3%の差（形式・規模に依存）

INT4の精度影響は量子化形式（AWQ・GPTQ・Q4_K_Mなど）とモデル規模・タスク種別によって大きく変わります。70B超のモデルでは精度劣化が出やすく、Q3以下（3ビット相当）まで圧縮するとMMLUで5〜10ポイント低下し、数学・推論タスクでは体感できるレベルになります。一方、小規模モデル（8B程度）のコーディングタスクではINT4でも精度98.9%を維持した事例もあり、タスクと規模の組み合わせで評価が必要です。

VRAM階層と動作可能な規模の目安

32K〜128Kトークンのコンテキストウィンドウを使う場合、KVキャッシュと並列リクエストのために下表の数値に20〜40%のヘッドルームを確保することが推奨されます。

VRAMクラス	代表GPU	Q4で動作可能な規模
8〜12GB	RTX 3060 12GB	7〜14B（Llama系8B、Phi-4 14B等）
24GB	RTX 3090 / RTX 4090	27〜32B（Qwen 3.5 27B、Gemma 4 31B等）
48GB以上	2× RTX 3090 / 2× RTX 4090	70B（Qwen 3 72B等）
80GB	H100 SXM 80GB	70〜123B（Mistral Large 2 INT4等）
640GB以上	8× H200	671B（DeepSeek V3.2等）

推論サーバの使い分け

ツール	適した用途	特徴
Ollama	個人・ラップトップ（手軽さ優先）	ワンラインインストール、内部でllama.cppを使用。NVIDIA/AMD/Apple Silicon対応
llama.cpp	非NVIDIA環境・CPUオンリー	C/C++実装で依存が最小。CPU+GPUハイブリッド推論対応。MIT
vLLM	5〜20名以上の同時アクセス	PagedAttentionで高スループット。200以上のモデル対応。Apache 2.0

オンプレが合理的な3条件

① 稼働率が継続的に高い

GPU稼働率が80%以上の予測可能なワークロードが続くケースでは、3年スパンのTCO（総保有コスト）でオンプレが優位になりえます。70%未満の稼働ではクラウドAPIが有利になりやすい傾向があります（Spheron社のTCO分析による）。

見落とされやすいのは、最大のコスト項目がサーバ本体ではなくインフラエンジニアの人件費であるという点です。クラウドのエグレス（外部転送）料金も追加コストとして積み上がります。

② 機密データを扱う

個人情報・医療情報・金融情報・秘密保持義務のある文書など、外部クラウドへの送信リスクが許容できないデータを処理するケースでは、オンプレが実質的な必要条件になります。日本の個人情報保護法における「第三者提供」規制の観点からも検討が必要です。

③ 自社にインフラエンジニアリング能力がある

GPU環境の構築・運用・トラブルシュートができる人材がいなければ、クラウドAPIの管理コストを下回ることは難しくなります。外部ベンダーへの委託費が加わるとTCOの試算が大きく変わるため、人材調達も含めて評価してください。

「APIかローカルか」は二択ではありません。機密度の高い処理だけをローカルで処理し、汎用処理はクラウドAPIに任せるハイブリッド構成が、多くの企業にとって現実解になります。

参考

支援内容とご相談

課題整理からシステム実装、人材育成まで。AIXの支援内容をご紹介します。ご相談はお問い合わせフォームから受け付けています。

お問い合わせ ↗事業紹介を見る ↗