ローカルLLMの電気代と待ち時間を実測 ― RTX 5090 1枚で、1回答あたり何円か

「ローカルLLMにすると、電気代はいくらかかりますか」。ローカルLLMの検討を始めた会社から、最初に聞かれることの多い質問です。機材の値段は調べればわかりますが、動かしたときの電気代と待ち時間は、使い方で変わるため一般的な数字がありません。

そこで、当社がprojectAIのAI機能を動かしているGPU 1枚の環境で、4つのモデルに同じ15問を答えさせ、GPUの電力と待ち時間を測りました。常用のQwen3.8-27Bでは、1回答あたりの電気代は約0.01〜0.03円、全文が返るまで1.4〜6.1秒でした。数字はすべて、2026年10月23日に当社の環境で測ったものです。

この記事では、測り方、モデルごとの結果、クラウドAIの従量課金との並べ方、そして電気代より先に決めるべきことを順に説明します。

結論：1回答あたり約0.01〜0.03円、待ち時間は数秒

常用しているQwen3.8-27Bの結果です。答える前に考えを書く設定（推論モード）は、当社の日常の仕事と同じく切っています。

最初の1文字は、どちらも0.2〜0.3秒で返り始めます。回答中のGPUは約380〜440Wを使い、短い質問1回で約0.24Wh、長い生成1回で約0.84Whでした。1万回答でも、短い質問なら約75円、長い生成なら約260円です。

測り方

• 機材：メモリ32GBのGPU（NVIDIA GeForce RTX 5090、電力上限575W）1枚。推論サーバーはvLLM 0.24（Muse Glimmerだけ0.31）で、モデルはすべて4ビットに軽くした版（量子化）です
• 問題：短い質問10問（メールの言い換え、問い合わせの分類、割引の計算など）と、長い生成5問（議事録の要約、英訳、手順書の作成など）。1問ずつ3回、1件ずつ流し、中央値を使いました
• 電力：GPUボードの瞬時値を0.25秒ごとに記録し、質問を送ってから最後の文字の10秒後までを足し合わせました。PC全体（CPUや電源など）の電力は含みません
• 電気代：家電公取協の電力料金目安単価31円/kWh（税込）で計算しました
• 測ったサーバーは社内の業務と共用です。他の依頼と重なった回は、集計から外しました

GPUの電力の読み方には注意が要ります。nvidia-smiの標準の値は直前1秒の平均で、2〜3秒で終わる回答では立ち上がりが遅れて写ります。今回は瞬時値を使いました。

回答が終わっても、GPUはすぐには休まない

長い生成1問（9.0秒）の例です。回答中のGPUは約460Wで、最後の文字のあとも約2秒は約90Wで回り、10秒以内に数Wの待機に戻ります。この余韻は回答が短いほど効きます。Qwen3.8-27Bの短い質問では、回答中だけなら0.15Whですが、余韻を含めると0.24Whでした。Qwen3.6-35B-A3Bの短い質問では、余韻（約0.09Wh）が回答そのもの（約0.05Wh）より大きくなりました。この記事の電気代は余韻を含めた値で、依頼が途切れなく続く使い方なら、余韻が次の回答と重なる分だけ下がります。

待機中のGPUは約2Wで、モデルを読み込んだまま置いておくだけなら、GPUの電気代はほとんどかかりません。

結果：電気代は、1回に動かす部分の大きさで決まる

同じ15問を、10モデル比較で取り上げたモデルから3つ選んで比べました。数字は、全文が返るまでの時間と、1,000回答あたりの電気代です。

開発元の違う27Bの2つは、時間も電気代もほぼ同じでした。どちらも1文字書くたびにモデル全体（約270億の数値）を計算する作りで、回答中のGPUは約430〜440Wでした。

Qwen3.6-35B-A3Bは、全体は35Bでも1回に動くのは3Bという設計（MoE）です。長い生成の時間は約4割、電気代は約3分の1で、回答中のGPUも約320Wにとどまりました。ただし日本語の業務の評価では83.3点と、Qwen3.8-27B（89.8点）に届かず、当社は常用にしていません。電気代の差は、答えの質との引き換えです。

Muse Glimmer 30Bは、最も弱い設定でも答える前に推論を書くため、最初の1文字まで約2秒かかり、書くトークンは短い質問で約3倍になりました。電気代は短い質問で約2.2倍、長い生成で約1.4倍です。1秒あたりに書く速さはQwen3.8-27Bと大きく変わらず、差はほぼ推論の分です。

推論モードにすると、時間も電気代も3〜10倍になる

同じQwen3.8-27Bで推論モードを入れると、短い質問は1回答4.6秒・1,000回答19.9円と、時間は約3.3倍、電気代は約2.7倍になりました。長い生成は62.6秒・259.6円と約10倍（本文が出なかった回を含む中央値）で、最初の1文字が出るまでに約58秒かかります。

さらに長い生成5問のうち2問は、上限の8,192トークンを推論だけで使い切り、3回とも本文が出ないまま110秒で止まりました。推論モードは難しい判断には役立ちますが、日常の仕事に常に入れると、待ち時間と電気代が膨らみます。当社は推論を、計画の検討など一部の機能に限って使っています。

クラウドAIの従量課金と並べる

クラウドAIは、読ませた文字と書かせた文字の量（トークン数）で料金がかかります。同じ回答のトークン数に、2026年10月23日時点の公開料金を当てはめると、次のとおりです。

料金は100万トークンあたり、小型が入力0.10ドル・出力0.50ドル、中型が2ドル・10ドル、最上位が10ドル・50ドルで、複数の提供元が同じ価格帯の料金を公開しています。1ドル157円（日本銀行、10月22日17時時点）で換算しました。モデルごとに文字の数え方は違うため、同じトークン数と仮定した目安です。

電気代だけを見ると、ローカルLLMはクラウドの小型モデルと同じくらいで、中型より1桁以上安くなります。ただし、ここにはGPUやPCの購入費、保守と運用の手間が入っていません。ローカルLLMの費用の大半はこちらで、回答数が少ないほど1回答あたりの負担は重くなります。

決め手は電気代ではない

1回答の電気代は、どのモデルでも1円に届きません。ローカルLLMにするかどうかは、電気代ではなく次の3つで決まります。

• 何を社外に出さないか。顧客のソースコードや議事録など、クラウドに送れない情報を扱う仕事があるかどうかです
• 待ち時間を許せるか。推論なしなら数秒ですが、推論ありでは1分を超えることがあります。人が画面の前で待つ仕事か、裏で回す仕事かで判断が変わります
• 機材と運用の費用を、回答数で割って見合うか。機材ごとに動かせるモデルの目安と合わせて見積もります

当社も、この3つを機能ごとに見て、クラウドAIとローカルLLMを使い分けています（ローカルLLM導入事例）。

よくあるご質問

ローカルLLMの電気代は、月にいくらですか？

回答数で決まります。当社の測定では、GPUの電気代は1万回答で約75〜260円でした（Qwen3.8-27B、推論なし）。PC全体の電力と、待機中の時間は別に見込みます。

GPUを置いておくだけで、電気代はかかりますか？

今回の測定では、モデルを読み込んだまま待機しているGPUは約2Wでした。ただしPC全体の電力は測っておらず、CPUや電源の分は別にかかります。

クラウドAIより安いのですか？

電気代だけなら、クラウドの小型モデルと同じくらいで、中型より1桁以上安くなります。機材の購入費と運用の手間を含めると、回答数が少ないうちはクラウドの方が安いことがあります。

待ち時間はどのくらいですか？

推論なしのQwen3.8-27Bでは、最初の1文字が0.2〜0.3秒、全文は短い質問で1.4秒、長い生成で6.1秒でした。推論ありでは、長い生成で1分を超えました。

まとめ

RTX 5090 1枚で測ると、ローカルLLMの電気代は1回答あたり約0.01〜0.03円、待ち時間は数秒でした。電気代はクラウドの小型モデルと同じくらいで、導入を決める要因にはなりません。決めるのは、社外に出さない情報があるか、待ち時間を許せるか、機材と運用の費用が回答数に見合うかです。

自社の業務でローカルLLMとクラウドAIのどちらが合うかを知りたい方は、無料見積相談で担当PMにご相談ください。回答数の見込みから、機材と費用の見通しを一緒に整理します。

関連する記事とページ

• ローカルLLM構築・導入支援 ― ハードウェア選定から運用まで
• ローカルLLM 10モデルを日本語の業務で比較 ― 選び方と任せ方
• Muse Glimmer 30BとQwen3.8-27Bを、同じ評価で比べた
• ローカルLLMエージェントは、ハーネスでどこまで良くなるか
• ローカルLLMのモデルは、機材で決まる ― 環境とモデルを一緒に選び、見積もる
• ローカルLLM導入事例 ― クラウドAIと機能ごとに使い分け

出典

• 公益社団法人全国家庭電気製品公正取引協議会「よくある質問 Q&A」（電力料金目安単価31円/kWh、2022年7月22日改定）
• 日本銀行「外国為替市況（日次）」2026年10月22日
• Anthropic「Pricing」（英語、2026年10月23日閲覧）
• OpenAI「Pricing」（英語、2026年10月23日閲覧）
• NVIDIA「nvidia-smi documentation」（英語）
• Qwen「Qwen3.8-27B」（Hugging Face）
• cyankiwi「Qwen3.8-27B-AWQ-INT4」（同、測定に使った版）
• Qwen「Qwen3.6-35B-A3B」（同）
• QuantTrio「Qwen3.6-35B-A3B-AWQ」（同、測定に使った版）
• Google「gemma-3-27b-it」（同）
• gaunernst「gemma-3-27b-it-qat-autoawq」（同、測定に使った版）
• NVIDIA「Muse-Glimmer-30B-NVFP4」（同、測定に使った版）
• vLLM「vLLM」（GitHub）