1. はじめに
Hugging Faceにyuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUFというモデルが公開されていたので、実際に動かしてコーディング性能を評価した。
2. モデル概要
- ベース: Gemma 4 12B（Google公式と同じライセンス）
- ファインチューニング: Fable5、Composer2.5などのコーディング特化データセットを使用
- フォーマット: GGUF（ローカル推論向け）
- 注意: トレーニングデータに商用NGのデータが含まれているため、個人利用が前提
3. 評価方法
- タスク: コーディングタスク12問（簡単6問、複雑6問）
- 比較対象:
- Gemma 4 12B Coder（Fable5版 GGUF）
- Google公式 Gemma 4 12B GGUF版
- Qwen3.6 35B A3B（別モデル）
4. 結果
| モデル | 正解数（12問中） | 備考 |
|---|---|---|
| Gemma 4 12B Coder (Fable5) | 11/12 | 思考トークン約2500で効率良し |
| Gemma 4 12B 標準版 | 8/12 | コーディング能力に劣る |
| Qwen3.6 35B A3B | 12/12 | 思考トークン約1200、さらに効率良い |
5. 考察
- 思考の長さ: 標準Gemma 4では思考で4000トークン以上使い、回答前に停止するケースがあった。一方Coder版は2500トークンで思考を切り上げ実作業に入る設計に思える
- Qwen3.6の完勝: PCに余裕があればQwen3.6 35B A3Bの方が正確性と効率の両面で上。このモデルの比較はあくまでGemma 4 12B内での話
- 結論: コーディング特化の効果は確認できたが、リソースに余裕がある場合は上位モデルを選ぶのが現実的
6. コーディング以外の知識についてのテスト
さらに、労務や36協定など日本独自の知識に関する質問を実施した。その結果、以下の傾向が確認できた。
- Google公式版: 約9割の質問に正しく回答できた
- Coder版（Fable5）: ほぼ回答できず、頻繁に誤答に終始
Coder版はコーディング特化のリトレーニングにより、知識系の応答能力が顕著に劣化していることがわかった。コーディング補助用途に限定して使用する場合、この点は留意が必要だ。
7. まとめ
Gemma 4のCoderカスタム版は、リソース制約環境でのコーディング補助として有用。ただし、最終的にはPCスペックに応じたモデル選択が重要。また、コーディング特化モデルは知識系タスクで劣化するため、用途に応じた使い分けが重要となる。
コメント