BLOG
ローカルLLMとは？ChatGPTとの違いを図でわかりやすく
ローカルLLMとは、生成AIの本体（モデル）を、自社が管理する機材に置いて動かす使い方です。質問や社内の文書を、社外のAI事業者に送らずに使えます。
この記事では、ChatGPTとの違いと、ローカルLLMを支える7つの層を、図で説明します。
ローカルLLMとは
LLM（大規模言語モデル）は、文章を理解し、つくるAIの本体です。ChatGPTの中でも、LLMが動いています。
「ローカル」は、自社が管理する場所という意味です。置き場所は、次の3つのどれでもかまいません。
- パソコン1台
- 社内のサーバー（オンプレミス）
- 自社専用のクラウド環境（閉域クラウド）
ChatGPTとの違いは「どこまでを誰が持つか」
生成AIの仕組みは、7つの層でできています。上から、人間、UI（画面）、エージェント、ハーネス、モデル、環境（機材）、電力です。
ChatGPTのようなクラウドAIを業務システムから使うときは、API（外のサービスを呼び出す窓口）より下を、AI事業者が持ちます。ローカルLLMでは、すべての層を自社の中に置きます。
なお、APIで使うクラウドAIには、標準では入力を学習に使わない事業者が多くあります[1]。違いは、データがどこで処理され、誰が管理するかにあります。
7つの層は、それぞれ何をしているか
AIの仕組みは、職場にたとえると分かりやすくなります。モデルは物知りな新人、ハーネスは職場のしくみ、人間は決裁する人です。
ただし、AIは新人と違い、分からないときにもっともらしく答えることがあります。会話をまたいで覚えてもいません。だから、確かめる人とハーネスが要ります。
モデルだけでは、業務に使えない
公開されているモデルは、そのままでは文章を返すだけです。社内の文書を知らず、道具も使えず、答えを自分で確かめません。
それを補うのがハーネスです。ハーネスはもともと馬具のことで、力を目的の方向に伝え、危ない方向へ行かないようにつなぎとめる道具です。同じモデルのまま、道具の設計を変えただけで、課題の解決率が11%から18%に上がった研究もあります[2]。
メリットとデメリット
メリット
- 社外のAI事業者に、データを送らずに使える
- 使う量が増えても、費用が増えにくい
- 自社の業務に合わせて、モデルや仕組みを選べる
デメリット
- 機材と電気の費用がかかる
- 運用と更新を、自社で行う必要がある
- 高度な推論では、最新のクラウドAIに劣ることがある
ローカルにしただけで、安全になるわけではありません。社内の閲覧権限や操作の記録は、別に設計が必要です。
ローカルLLMで何ができるか
- 社内の文書や規程を探して答える
- 議事録や報告書を要約する
- 問い合わせへの回答を下書きする
- 文書を分類し、チェックする
決まった形の作業ほど、向いています。
自社に合う形を、2つの質問で選ぶ
会社で1つに決める必要はありません。業務ごとに選びます。ローカルLLM構築・導入支援のページでは、3つの質問で合う形を確かめられます。
よくあるご質問
ローカルLLMとLLMの違いは何ですか？
LLMは、文章を理解し、つくるAIそのものです。ローカルLLMは、そのLLMを自社が管理する場所で動かす使い方を指します。
ChatGPTをローカルで動かせますか？
ChatGPTそのものは動かせません。ただし、自社の機材で動かせるように公開されたモデルは多く、OpenAIも2025年8月に公開しています[3]。
ローカルLLMの性能はどのくらいですか？
要約や検索などの決まった形の作業では、十分に使える水準になることが多いです。手軽な機材で動く小さなモデルは最新のクラウドAIに劣ることがあるので、同じ作業で比べてから決めます。
ローカルLLMはインターネットなしで使えますか？
モデルを一度取り込めば、手元の機材だけで動かせます。モデルの取得や更新のときは、通信が必要です。
ローカルLLMの電気代はいくらですか？
消費電力 × 使う時間 × 電気料金の単価で決まります。たとえば一般向けで最上位のGPU（最大575W）を、最大の負荷で1日8時間使うと、目安単価31円/kWhで1日約140円です[4][5]。
日本語に強いローカルLLMはありますか？
あります。国立情報学研究所のLLM-jpのように、日本語に力を入れて公開されているモデルもあります[6]。軽くして動かすと日本語の質が下がることがあるので、実際の業務の質問で確かめてから選びます。
ローカルLLMは無料ですか？
無料で使えるモデルは多くありますが、機材、電気、運用の費用はかかります。商用で使えるかどうかはモデルごとに条件が違うので、利用条件も確かめます。
まとめ
ローカルLLMは、生成AIの7つの層を、すべて自社の中に置く使い方です。データを外に出さずに済む一方で、機材から人の使い方まで、自社で用意することが増えます。
当社も、自社の業務ツールのAI機能ごとに、クラウドとローカルを切り替えて動かしています。仕組みと、運用して分かったことは社内の実践事例にまとめました。電力と機材の要件からハーネス、画面、社内への定着まで、7つの層をまとめてご相談いただけます。詳しくはローカルLLM構築・導入支援をご覧ください。
参考文献
- OpenAI「Data controls in the OpenAI platform」
- J. Yang ほか「SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering」NeurIPS 2024
- OpenAI「Introducing gpt-oss」2025年8月
- NVIDIA「Compare Current and Previous GeForce Series of Graphics Cards」
- 全国家庭電気製品公正取引協議会「よくある質問」（電力料金の目安単価。家庭向けの目安で、法人の契約単価とは異なります）
- 国立情報学研究所「LLM-jp」