Gemma 4 12B Coder vs 標準版の比較 — Fable5コンポジットでトレーニングされたGGUFモデルを試し、Qwen3.6 35B A3Bとの差も検証した

AI活用

※本記事にはアフィリエイトリンクを含みます(PR)。当サイトはAmazonアソシエイト・プログラムの参加者です。適格販売により収入を得ています。価格・在庫・仕様は変動するため、購入前に販売ページで最新の表示をご確認ください。

1. はじめに

Hugging Faceにyuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUFというモデルが公開されていたので、実際に動かしてコーディング性能を評価した。

2. モデル概要

  • ベース: Gemma 4 12B(Google公式と同じライセンス)
  • ファインチューニング: Fable5、Composer2.5などのコーディング特化データセットを使用
  • フォーマット: GGUF(ローカル推論向け)
  • 注意: トレーニングデータに商用NGのデータが含まれているため、個人利用が前提

3. 評価方法

  • タスク: コーディングタスク12問(簡単6問、複雑6問)
  • 比較対象:
    • Gemma 4 12B Coder(Fable5版 GGUF)
    • Google公式 Gemma 4 12B GGUF版
    • Qwen3.6 35B A3B(別モデル)

4. 結果

モデル 正解数(12問中) 備考
Gemma 4 12B Coder (Fable5) 11/12 思考トークン約2500で効率良し
Gemma 4 12B 標準版 8/12 コーディング能力に劣る
Qwen3.6 35B A3B 12/12 思考トークン約1200、さらに効率良い

5. 考察

  • 思考の長さ: 標準Gemma 4では思考で4000トークン以上使い、回答前に停止するケースがあった。一方Coder版は2500トークンで思考を切り上げ実作業に入る設計に思える
  • Qwen3.6の完勝: PCに余裕があればQwen3.6 35B A3Bの方が正確性と効率の両面で上。このモデルの比較はあくまでGemma 4 12B内での話
  • 結論: コーディング特化の効果は確認できたが、リソースに余裕がある場合は上位モデルを選ぶのが現実的

6. コーディング以外の知識についてのテスト

さらに、労務や36協定など日本独自の知識に関する質問を実施した。その結果、以下の傾向が確認できた。

  • Google公式版: 約9割の質問に正しく回答できた
  • Coder版(Fable5): ほぼ回答できず、頻繁に誤答に終始

Coder版はコーディング特化のリトレーニングにより、知識系の応答能力が顕著に劣化していることがわかった。コーディング補助用途に限定して使用する場合、この点は留意が必要だ。

このクラスのモデルを手元で動かす環境

筆者はローカルLLM検証にRTX 3090(24GB)を使っています。以下は「このクラスのモデルを手元で回すなら」という観点での候補で、必要VRAMは量子化の程度やコンテキスト長で変わるため目安として見てください。

  • ASUS TUF Gaming GeForce RTX 3090 24GB
    筆者の検証機と同じ24GB世代。12Bクラスなら量子化しだいで余裕があり、コンテキストを長めに取っても詰まりにくいのが24GBの利点です。
  • MSI GeForce RTX 5090 32G GAMING TRIO OC
    現行世代で最もVRAMが多い選択。より大きなモデルや長コンテキストまで見据えるならここ。
  • ASUS GeForce RTX 5070 Ti 16GB
    16GBクラス。12B前後を量子化して動かす前提なら現実的な価格帯に収まります。
  • FRONTIER(BTOゲーミングPC)
    GPU単体の相場が高いときは、組み上がったPCのセール価格のほうが安く上がることがあります。GPU単体価格と総額を並べて比べるのがおすすめです。
  • ConoHa VPS
    手元にGPUを置かず、まず動かして試したい場合。Claude Code・Dify・n8n などのスタートアップスクリプトが用意されているので、検証環境の構築を短縮できます。

7. まとめ

Gemma 4のCoderカスタム版は、リソース制約環境でのコーディング補助として有用。ただし、最終的にはPCスペックに応じたモデル選択が重要。また、コーディング特化モデルは知識系タスクで劣化するため、用途に応じた使い分けが重要となる。

タイトルとURLをコピーしました