ローカルLLMはMacとGPUどっちで動かす？｜MacBook Pro M1 Max・RTX3090の実測で選ぶ【2026年8月版】

ローカルLLM MacとGPU、どっちで動かす？ MacBook Pro M1 Max × RTX 3090 実測 AI活用

PR｜この記事にはアフィリエイト広告を含みます。

「ローカルLLMって、結局どんなマシンがあれば動くの?」ってよく聞かれるんだよね。

で、その答えが2026年に入ってから何回か変わってる。しかも自分の手元で、同じ27Bのモデルを動かしてるだけなのに変わった。だからこの記事は「これを買えば正解」みたいな話じゃなくて、自分が実際に測った数字と、そこで何回か前提がひっくり返った話を軸に書いていく。

手元にあるのはこの2台。

  • RTX 3090（24GB）+ Linux —— TabbyAPI や llama.cpp で27Bクラスを本番運用してる方
  • MacBook Pro M1 Max 64GB —— MLXでMoEモデルを回してる方

この2台、同じ「ローカルLLM機」なんだけど、効く理屈が全然違う。そこも含めて書くね。最後に「じゃあ今から買うならどうすんの」も、実売価格を見ながらまとめる。

大前提：メモリの”量”で天井が決まって、”帯域”で速度が決まる

最初にここだけ押さえてほしい。ローカルLLMのマシン選びは、ほぼこの2つに集約される。

メモリの量（GPUならVRAM、Macならユニファイドメモリ）は載るか載らないかを決める。足りなければそもそも起動しない。ここは1か0。

メモリの帯域（GB/s）はどれだけ速く喋るかを決める。生成中はモデルの重みを何度も読み出すから、帯域がそのまま体感速度になる。

だからCPUのコア数とかクロックとかは、正直そこまで効かない。「ゲームが速いPC = LLMが速いPC」でもない。VRAM 16GBのめっちゃ強いGPUより、VRAM 24GBの一世代前のGPUのほうがLLMでは強い、みたいなことが普通に起きる。ここが直感とズレるところなんだよね。

実例①：RTX 3090（24GB）+ Linux で27Bを回す

まず自分のメイン機の話。RTX 3090（24GB）にQwen3.6-27Bを載せて、TabbyAPI + EXL3 で本番運用してた構成がこれ。

model: qwen36-27b-exl3-4.15bpw   # ディスク上 17GB
max_seq_len: 131072              # 128K
cache_mode: Q4
max_batch_size: 4
vision: true
draft_model:
  draft_mode: mtp                # MTP 投機デコード

これでVRAM 21,270 MiB使用 / 空き 2,835 MiB（24,576中）。128Kコンテキストで、visionも有効で、この空き。けっこうギリギリだけど収まってる。

qwen3-prod ってエイリアスで :8001 に配信して、Open WebUI・ログ整形・レシート処理の3系統がそこを見にくる形。エンジンを差し替えてもエイリアスさえ維持すればクライアント側は設定変更しなくていいから、この作りはおすすめしたい。あとで実際にエンジンを乗り換えることになるんだけど、そのとき何も直さずに済んだ。

なぜ27Bが24GBに128Kで載るのか

ここ、地味に面白いところ。普通に考えると27Bのモデルを128Kコンテキストで回したらKVキャッシュだけでVRAMが吹き飛ぶ。でも収まってる。理由はモデルの構造にある。

config.jsonを見るとこうなってる。

num_hidden_layers      : 64
num_key_value_heads    : 4
head_dim               : 256
full_attention_interval: 4    ← KVを持つのは64層中16層だけ
linear_num_value_heads : 48   ← 残り48層は Gated DeltaNet（線形注意）

full_attention_interval: 4 なので、従来型のKVキャッシュを持つのは64層中16層だけ。残りは線形注意で、長さに対してキャッシュが増えない。

計算するとこう。

1層あたり: 2(K+V) × 4 KVヘッド × 256 head_dim × 2byte = 4 KiB/token
合計:      4 KiB × 16層 = 64 KiB/token

64層ぜんぶがキャッシュを持つ密なモデルなら 256 KiB/token。4分の1で済んでる。「27Bが24GBで128K回る」のはこれのおかげ。モデルのパラメータ数だけ見て必要メモリを見積もると外すのは、この辺が理由なんだよね。

速度の実測（Qwen3.8-27B / llama.cpp / IQ4_XS / MTP / 192K・vision有効）

文脈の深さ prefill decode MTP受理率
43 トークン 164 tok/s 64.3 tok/s 44.6%
46,595 トークン 1,067 tok/s 47.7 tok/s 42.4%
188,366 トークン 595 tok/s 31.7 tok/s 52.8%

読み取ってほしいのはdecodeが文脈長で半減以下になるところ。64.3 → 31.7 tok/s。188Kを投入するのに約5分半（317秒）かかってる。

エージェントみたいに会話がどんどん伸びる使い方だと、後半になるほど体感が落ちていく。prefix cacheが効く前提で組まないと厳しいっていうのが、実際に長く使ってみての結論。ベンチの短いプロンプトで出た数字を見て「速い」と思ってると、実運用で「あれ?」ってなるやつ。

世代が上がったら、エンジンの正解がひっくり返った

ここが今回いちばん書きたかったところ。

Qwen3.6-27B と Qwen3.8-27B、この2つconfig.jsonがバイト単位で同じ構成なんだよね。層数もヘッド数もhead_dimも全部一致。3.8は3.6のアーキをそのまま使って学習だけ変えた世代ってこと。

なのに、使うべき推論エンジンが逆転した。

3.6のときはEXL3が正解だった。

  • Ampere（3090）には FP8 が無くて、vLLM の FP8 KV量子化が実用にならない
  • 27Bクラスを128Kで回すにはKV量子化が必須で、FP8非対応のAmpereで 2〜8bit KV を通せるのが EXL3 だけだった
  • visionも統合済み（GGUFはmmprojが別ファイル）、MTPドラフトも3.6用は turboderp が出してた
  • 代償として EXL3 は Ampere カーネルが未最適で prefill が llama.cpp に劣後する。それを承知でKVを取ってた

3.8では llama.cpp が正解になった。

  • llama.cpp の q4_0 KV で足りるようになった（実測：192K + vision + MTP で 22.5GBに収まった）→「EXL3じゃないとKVが足りない」という前提が消えた
  • MTPドラフトがEXL3側に無い。turboderp のリポジトリを見ると Qwen3.6-27B-MTP-exl3 は存在するのに、Qwen3.8-27B-MTP-exl3 は branches が空
  • 重みも llama.cpp のほうが軽い（14.63GB vs 15.73GB）
llama.cpp EXL3
重み（IQ4_XS / 4.00bpw） 14.63 GB 15.73 GB
MTP（投機デコード） 3.6・3.8とも有り 3.6のみ。3.8は無し
Vision mmproj 別ファイル 統合済み

つまりEXL3を選ばせていた唯一の理由（Ampereで安いKV）が解消されて、逆にEXL3側だけMTPを欠く状態になったから、優先順位が入れ替わった。

教訓としてはこれ。エンジン選定は、モデルの世代が変わるたびにやり直したほうがいい。「前にEXL3が良かったから今回も」でいくと、投機デコードを丸ごと捨てることになる。新しい形式が出た＝すぐ移行、でもなくて、周辺（ドラフトモデルとか）が揃って初めて実用なんだよね。

ちなみにMTP付きの3090専用ビルドは有志のものが存在するんだけど、作者自身がREADMEで「キャリブレーションを8行×512列に縮小した。本番代替に使う前にベンチせよ」と警告してる。モデル比較に使うと量子化品質の差が結果に混ざるから、そこは注意ね。

実例②：MacBook Pro M1 Max 64GB —— MoEがdenseより速い

もう一台のMac側。こっちは効く理屈がGPUとけっこう違う。

Macのユニファイドメモリって、GPUのVRAMみたいに「載る/載らない」の壁が高くない。64GBあれば、GPUなら複数枚必要なサイズのモデルが普通に載っちゃう。そのかわり帯域はGPUほど出ない。

で、ここで効いてくるのがMoE（Mixture of Experts）。全パラメータのうち一部だけを実際に使う構造のモデルね。メモリには全部載せる必要があるけど、1トークン生成するのに読み出す量が少ない。帯域がボトルネックのMacとは相性が良い。

自分のM1 Max 64GBで、Qwen3.6:35B-A3B のMLX版を回したときの実測がこれ。

  • プリフィル 約400 tok/s
  • デコード 約45〜50 tok/s

35Bって数字だけ見るとノートPCで回すサイズじゃないんだけど、A3B（アクティブ3B）だから普通に実用速度で動く。同じサイズのdenseモデルを載せようとすると、そもそも重いし遅い。Macで大きいモデルを使いたいなら、まずMoEを探すのが正解だと思う。

MLXとllama.cppの差も、MoEで一番開く

ここは自分の実測じゃなくて外部のベンチマークなんだけど、傾向が自分の体感と一致してたので引いておく。M4 Pro（64GB）で Qwen3-Coder-30B-A3B（MoE）を回した比較。

実行環境 デコード速度
MLX 約130 tok/s
llama.cpp（Metal・素で実行） 89.4 tok/s
Ollama（llama.cppラッパー） 43 tok/s

2つ読み取れる。

ひとつはMLXの優位はMoEで一番大きく出ること。MLX対llama.cppの差は素で1.4〜1.8倍くらいなんだけど、MoEだと最大3倍まで開く。denseだと1.4〜1.6倍にとどまる。Macでモデルを選ぶとき、MoEかどうかを見る価値がここにもある。

もうひとつはOllamaのラッパー層が5割くらいオーバーヘッドを乗せてること。89.4 → 43 tok/s。Ollamaは手軽で最初の一歩には最高なんだけど、速度を詰めたくなったら素のllama.cppかMLXに降りる価値はある。

ただMacで注意したいのがプリフィルの弱さ。同じ調査でM1 Maxに650トークン程度の短いプロンプトを投げると、MLXは処理時間の94%をプリフィルに使ってて、実効レートではGGUFに負けてた。短いやり取りを何度もするとMacは不利、長い文脈で腰を据えて喋らせると強い、っていう出方をする。用途で評価が変わるやつなので、ベンチの数字は「どんな長さで測ったか」までセットで見たほうがいい。

2026年後半の高速化：MTPの次に「DFlash 2」が来てる

上の実測でずっと出てきた MTP（投機デコード） の話をもう少し。

投機デコードって、小さい「ドラフトモデル」に先の数トークンを予想させて、本体モデルにまとめて答え合わせさせる仕組み。当たれば一気に進むから速くなる。上の表の「受理率」が、その当たった割合ね。42〜53%くらい出てる。

ちなみにMTPありなしのA/Bをちゃんと測ったのは Gemma4-12B（RTX 3060）で 41.82 → 67.45 tok/s ＝ 1.61倍。Qwen3.8では受理率を測っただけで、offとの比較はまだやってない。3.8での倍率は自分は未測定ってことは書いておく。

で、そのMTPを上回るやつが出てきてる。DFlash 2（z-lab / Apache 2.0 / arXiv 2602.06036）。

ざっくり言うと、これまでの投機デコードがドラフトを順番に作ってたところを、ブロック内の全トークンを同時に予測する作りにしたもの。「keep drafting parallel」ってやつ。

報告されてる数字がこれ。

  • Qwen3.8-27B で 自己回帰デコードの2.7〜3.4倍のスループット
  • 平均受理長で DFlash 2 が 4.80、MTP が 4.28、DSpark が 3.62 —— つまりMTPより長く当たる
  • ドラフトモデル本体は 2B（BF16）

効くのは、NVIDIA側（vLLM / SGLang / llama.cpp）でもApple Silicon側（oMLX経由）でも動くこと。llama.cpp・LM Studio・Jan・Ollama向けの量子化版も出てる。つまり今回の記事で扱った2台のどちらでも試せる。

ただ注意点もあって、公表されてるベンチはH200にFlashAttention 3という環境のもの。3090の24GBだと、27B本体で21GB使ってる上に2Bのドラフトを載せることになるから、量子化版前提で考えたほうがいい。自分もまだ手元で回せてない（後述するけど3090が今ダウン中）ので、ここは「出た」という紹介まで。回したら別記事で実測を出す。

で、今から買うならどうするか

※ここから先で紹介する商品リンクにはアフィリエイト広告を含みます。当サイトはAmazonアソシエイト・プログラムの参加者です。適格販売により収入を得ています。

ここからは実売を見ながらの話。価格は2026年8月時点のもので、この界隈は動きが速いから、買うときは最新の実売を見てね。特にメモリ・SSD・GPUはAI需要で全体的に上がり続けてる。

大前提：VRAMは24GB以上を死守する

ここだけは譲らないほうがいい。VRAM 16GBのGPUは、27Bクラスのローカル運用では本命じゃない。RTX 5080も5070 Tiも性能自体は高いんだけど16GB。ゲームや動画編集がメインで「LLMは小さいのだけ」ならアリだけど、この記事を読んでる目的だと後悔しやすい。

で、じゃあ実際どう買うか。ルートは大きく3つある。

ルート①：中古の24GBで安く始める

選択肢 VRAM 価格（2026年8月時点） VRAM単価
RTX 3090 24GB（中古・楽天） 24GB ¥431,980 約18.0千円/GB
RTX 4090 24GB（中古・楽天） 24GB ¥494,978 約20.6千円/GB
RTX 4090 24GB（新品単体・Amazon） 24GB ¥755,143 約31.5千円/GB
RTX 5090 32GB（新品単体・Amazon） 32GB ¥885,657 約27.7千円/GB

VRAMあたりの単価で見ると中古の3090が一番強い。自分が使ってるのもこれ。この記事の実測値は全部この3090で出してる。

注意点としては、Amazonの3090新品はもう¥598,800とかの転売価格になっていて、実質的に新品では買えない。中古前提のルートだと思ってほしい。中古GPUは保証も使用量もバラバラだから、そこは納得したうえでね。

ルート②：完成品を買う（単体との差が思ったより小さい）

これは調べていて自分が一番「へえ」となったところ。

RTX 5090を単体で買うと ¥885,657。で、同じ5090を積んだ完成品がこのあたり。

完成品 構成 価格（2026年8月時点）
パソコン工房 LEVEL∞（楽天） RTX 5090 / Core Ultra 9 285K / 64GB / 1TB ¥1,036,180
パソコン工房 LEVEL∞ 水冷（楽天） RTX 5090 / Ryzen 7 9800X3D / 64GB / 2TB ¥1,076,580
ドスパラ GALLERIA XMR9A-R59-GD（Amazon / 楽天） RTX 5090 / Ryzen 9 9950X3D / 32GB / 2TB ¥1,111,880
LIGHTNING THUNDER（Amazon） RTX 5090 / i9-14900KF / 64GB DDR5 / 4TB NVMe＋4TB HDD ¥1,139,800
NEWLEAGUE 水冷（Amazon） RTX 5090 / Ryzen 7 9800X3D / 32GB / 2TB ¥1,199,800

一番安い一式で ¥1,036,180。GPU単体との差は約15万円。その15万でCPU・メモリ64GB・SSD・電源・ケース・OSが全部付いてくる。パーツを個別に集めたら普通に超える金額なんだよね。

しかも5090は電源1000〜1200W級が要る。今使ってるPCに挿し替えようとして電源が足りずに詰む、っていうのはかなりよくあるパターン。ケースの物理サイズやエアフローも効いてくる。そこまで込みで考えると、完成品はけっこう合理的な選択肢だと思う。

ちなみに決算期や大型セールになると、この差はさらに縮む。実際に自分が2026年8月に見たときは、5090一式が97万円台まで下がってて、単体との差が9万円台になってた。急がないならセール時期を狙って一式で買うのが、たぶん一番コスパがいい。

あとメモリ64GB以上を選べる構成にしておくのもおすすめしたい。GPUに載りきらないぶんをCPU側にオフロードして動かす場面があるから、ここをケチると後で効いてくる。

ルート③：Macで組む（M5 Pro / M5 Max）

Macは2026年3月にM5世代が出てて、ローカルLLM的には素直に強くなってる。Apple公式のスペックだとこう。

チップ メモリ帯域 ユニファイドメモリ
M5 153 GB/s 〜32GB
M5 Pro 307 GB/s 最大128GB
M5 Max 460 GB/s（32コアGPU）／614 GB/s（40コアGPU） 最大128GB

自分のM1 Maxが400GB/s級だったことを考えると、M5 Maxの614GB/sはそのまま生成速度に効いてくる数字。

ただ、ここが大事なところなんだけど、帯域の数字だけで速度は決まらない。同じ系統のモデル（35B-A3B級のMoE・4bit・MLX）を回した生成速度を並べると、こうなる。

チップ メモリ帯域 生成速度 測ったモデル
M1 Max 64GB 400 GB/s 45〜50 tok/s Qwen3.6:35B-A3B（自分の実測）
M4 Pro 64GB 273 GB/s 約130 tok/s Qwen3-Coder-30B-A3B（外部計測）
M4 Max 128GB 最大546 GB/s 126〜132 tok/s Qwen3.5-35B-A3B（外部計測）

見てほしいのがM4 Pro。帯域はM1 Maxより低い（273 GB/s 対 400 GB/s）のに、生成は2倍以上速い。

ここが直感とズレるところで、帯域は「上限」を決めてるだけなんだよね。実際にどれだけ使い切れるかは、世代ごとの演算まわりと、ソフト側（MLXの最適化）でかなり変わる。だから「帯域◯GB/sだから何tok/s出るはず」みたいな逆算は当てにならない。買うときはスペック表の帯域だけじゃなくて、そのチップで実際に何tok/s出てるかの実測を見たほうがいい。

で、M5でもうひとつ大きいのが Neural Accelerator。MLXの計算パターン向けに専用回路が入ってて、Qwen3-14B-4bitで最初の1トークンが出るまで（TTFT）がM4比4.06倍速いという報告が出てる。生成そのものは1.19倍だから、効くのは主にプリフィル側。さっき書いた「Macはプリフィルが弱い」という弱点をピンポイントで潰しにきてる形なんだよね。Ollamaが公式にMLXへ舵を切ったのもこの辺が理由。

で、M5 Maxで実際にモデル別どのくらい出るかの目安がこれ（入力256トークン・出力512トークン・Q4_K_M）。

モデル ランタイム 生成速度 最初の1トークンまで
Gemma 4 E2B MLX 261 tok/s 0.1秒
Gemma 4 E4B MLX 161 tok/s 0.2秒
Qwen 3.5 4B MLX 161 tok/s 0.2秒
Qwen 3.5 9B Ollama 82 tok/s 0.5秒
Gemma 3 12B Ollama 64 tok/s 0.6秒
Qwen 3 14B Ollama 55 tok/s 0.8秒

読み方としては、10B前後までなら体感で「速い」と感じる領域に余裕で入る。人が読む速度よりずっと速いから、チャット用途ならこのへんで十分すぎる。14Bで55 tok/s、ここから先はモデルを大きくするぶん素直に落ちていく感じ。

表の中でMLXとOllamaが混ざってるのは、出典の測定条件をそのまま載せてるから。同じモデルでもランタイムを変えると2〜3倍変わる（さっきのM4 Maxの例だとMLX 130 tok/s に対して Ollama 43 tok/s）ので、この数字は「そのランタイムで動かしたときの目安」として見てね。

Amazonで買える吊るし構成だと、このあたりが選択肢になる。

モデル メモリ 帯域 価格（2026年8月時点）
M5 / 14インチ
10コアCPU・10コアGPU / 1TB		 16GB 153 GB/s ¥322,637
M5 Pro / 14インチ
15コアCPU・16コアGPU / 1TB		 24GB 307 GB/s ¥429,800
M5 Max / 14インチ
18コアCPU・32コアGPU / 2TB・AppleCare3年込み		 36GB 460 GB/s ¥677,620
M5 Max / 16インチ
18コアCPU・40コアGPU / 2TB・AppleCare3年込み		 48GB 614 GB/s ¥915,600

選び方の話をすると、ローカルLLM目的なら M5 の16GBはやめたほうがいい。27B級は載らないし、ちょっと大きめのMoEを試そうとすると詰まる。ここは正直に書いておきたい。

現実的な下限が M5 Pro の24GB。10〜20B級のMoEなら気持ちよく動くはず。この記事で書いた35B-A3Bクラスを常用したいなら M5 Max の36GB以上。しかも帯域が460〜614 GB/sに上がるので、生成速度もはっきり変わってくる。

ひとつ注意で、上の表のM5 Max 2機種はAppleCare 3年が同梱された構成なので、Apple公式の本体だけの価格とは単純比較できない。あとユニファイドメモリ128GBはAppleのCTO（注文時カスタマイズ）でしか選べないから、Amazonの吊るしには出てこない。100B級まで視野に入れるなら公式で構成を組むことになる。

メモリは後から足せない。ここだけは背伸びしておいて損はないと思う。

ルート④：そもそも買わない

正直に書いておくと、「試したいだけ」なら買わないほうがいいケースもけっこうある。電気代も熱もそれなりだし、モデルの入れ替わりも速い。この記事で書いたとおり、半年で最適なエンジンすら変わる世界なんだよね。

ただ、ここで「安いVPSを借りればいい」と書くのは無理がある。数百円クラスのVPS（ConoHa VPSなら512MB〜2GBの枠で月293円〜）はメモリが足りなくてモデルが載らないし、そもそも普通のVPSにGPUは付いていない。12GB・月2,298円まで上げてもCPU推論なので、7B級をなんとか動かせるかどうか。エージェントみたいに何度も往復させる使い方だと、待ち時間で心が折れると思う。

借りるなら、見るべきはGPU付きのプランのほう。ConoHa VPS には NVIDIA L4（VRAM 24GB）を積んだGPUサーバーがあって、コンパクト構成（4vCPU／メモリ16GB／VRAM 24GB）が時間課金で66.6円/時。月額なら39,930円だけど、時間単位で止められるので、月10時間なら約666円、20時間でも約1,332円という計算になる。VRAM 24GBは手元のRTX 3090と同じ土俵なので、「3090を買う前に同じサイズのモデルを試す」用途とは噛み合うと思う（GPUサーバーは利用に申請が必要）。

常時動かすなら買ったほうが安くなるのは変わらない。ただ「月に数時間しか触らない」なら、時間課金で借りて感触を掴んでから買う、という順番はアリだと思う。

まとめ

  • メモリの”量”で載るかが決まり、”帯域”で速度が決まる。CPUのコア数はそこまで効かない
  • GPUならVRAM 24GB以上を死守。16GBの強いGPUより24GBの型落ちのほうがLLMでは強い
  • Macは大きいMoEと相性が良い。M1 Max 64GBで35B-A3Bがプリフィル約400 / デコード約45〜50 tok/s。MLXの優位もMoEで最大になる
  • エンジン選定はモデルの世代ごとにやり直す。同じ27B・同じアーキなのに、3.6はEXL3・3.8はllama.cppと逆転した
  • decodeは文脈が伸びると半減以下になる。エージェント用途はprefix cache前提で組む
  • 買うならGPU単体より完成品のほうが安いことがある。5090は電源1000W級が要るので既存機への挿し替えは詰みやすい

結局のところ、一番大事なのはまず1個動かしてみることだと思う。手元のPCでも小さいモデルなら動くから、そこから「もっと大きいのを速く動かしたい」ってなったときに、この記事の数字を見返してもらえたら嬉しい。

じゃ、良いローカルLLMライフを。

この記事の数字について。自分の環境で測った値は、いずれも単発（n=1）の実測で、統計的に均した値じゃない。RTX 3090は2026年8月20日現在ダウン中で再検証ができていないため、3.6と3.8を同一条件で並べた速度比較は未完のまま。外部ベンチとして引いた数字は出典元の測定条件（機種・モデル・プロンプト長）に依存するので、自分の実測値と直接足し引きはできない。価格・構成・セール期間はすべて2026年8月時点のもの。

タイトルとURLをコピーしました