AI活用

RTX3090（VRAM 24GB）で Qwen3.8-27B を動かしながら、推論エンジン（学習済みモデルを実際に動かして応答を出すソフト）を llama.cpp と EXL3 で同じ条件に揃えて測り直した。 先に言っておくと、こ...

自宅のRTX 3090で動かすQwen3.8-27BにHermes Agentを被せて、ウェブ調査エージェントを作った記録。同じお題で1時間48分から1時間5分まで縮めた。モデルは一度も変えていない。効いたのはWebページの中身を会話に入れず、ファイルに置いてgrepで拾わせること。KVの消費が24分の1になった。

HuggingFaceの-MLX版を落としたら画像が読めなかった。原因は公式変換からvision towerが丸ごと抜けていたこと。名前・タグ・アーキ名では見抜けない。ダウンロード前にブラウザだけで確認できる2ステップと、他のVLM20組を調べた結果、自分で量子化してdecode1.6倍にした実測まで。

ローカルLLMを自宅で動かすなら、MacBook ProとGPUどっちを買うべきか。MacBook Pro M1 Max 64GBとRTX 3090（24GB）の両方で実際に測った数字をもとに解説。MacはMoEが速い理由、MLXとOllamaで2〜3倍変わる話、M4 Pro・M5 MaxでGemma 4やQwenが何tok/s出るかの実測表、そしてメモリ帯域だけでは速度が決まらない理由まで。2026年8月時点の実売価格つき。

Qwen3.8-27Bの公式ベンチはOSWorld 84.3%、SWE-bench Pro 61.7%でOpus4.6 Maxを上回る。エージェント特化のこのモデルを、Claudeの下でサブエージェントとして働かせる分担の考え方を書いた。

自宅のローカルLLM(Qwen3.8:27B)にHermesを組み合わせ、「港区のうまい店を調べて特集ページを作って」と頼んだ実行記録。食べログ調査から写真集め、HTML制作、表示確認まで自分でやり切った。生成物もそのまま公開している。

ローカルLLMを社内で並列運用すると「Ollamaで動く」と「共有できる」は別問題。Ollama・vLLM・exl3など主要な推論エンジンの選び方を、RTX3090でvLLMのKVキャッシュに詰まってexl3へ乗り換えた実体験＋用語解説つきで。

2026年の夏、AIモデルの勢力図がまた動きました。7月にClaude Opus 5が出て、中国オープン勢のKimi K3やGLM-5.2、DeepSeek V4も一気にフロンティア級へ。さらに8月3日にはAlibabaのQwen 3.8 ...

Hugging Faceで公開されたGemma 4 12B Coder（Fable5コンポジットでファインチューニング）を実際に動かし、標準版とのコーディング性能差を検証。Qwen3.6 35B A3Bとも比較して、ローカルLLMでコードを書かせるならどれが実用的かをまとめた。

最近、テレビやネットのニュースで「クマ出没」の話題を目にすることが本当に増えましたよね。特に北海道では市街地への出没が相次いでいて、他人事じゃない恐怖を感じます。旅行に行きたいけれど、ちょっと怖いな…なんて思っていた矢先、「AIやドローンが...