Underdog Saluki 27Bとは？ローカルAIエージェント向けに最適化された軽量LLM
Conway Researchのオンデバイスアシスタント「Underdog」が、2026年10月9日に「Saluki 27B」をApache 2.0ライセンスでリリースしました (MarkTechPost)。
Saluki 27Bは、Qwen3.8-27Bをベースにした2ビット量子化GGUFモデルで、ファイルサイズはわずか7.89GBに抑えられています。これはオリジナルのBF16モデルの54GBと比較して劇的に小さく、標準的な
llama.cpp環境で実行可能です。
このモデルの最大の特長は、ツール呼び出し（Tool Calling）性能を維持しつつ、大幅な軽量化を実現した点にあります。ツール呼び出しは、チャットモデルをエージェントに進化させる上で不可欠なスキルであり、これを2ビット量子化で損なわずに向上させたことは非常に注目に値します。特にローカル環境でAIエージェントを動かしたい開発者にとっては、これはかなり衝撃的なニュースです。
3層構造で実現された高性能軽量化
Saluki 27Bの軽量化と性能維持は、3つのレイヤーの技術スタックによって実現されています。(MarkTechPost)
- ベースモデル: Qwenチームの密な27BモデルであるQwen3.8-27Bが採用されています。このモデルは64層を持ち、Gated DeltaNetリニアアテンションとGatedアテンションを組み合わせており、262,144トークンをネイティブにサポートします。
- 第2層（ISTA-DASLabの最適化）: ISTA-DASLabが開発したQwen3.8-27B-GSQ-RCO-GGUFが導入されています。GSQは高精度な低ビットスカラーグリッドをテンソルごとに学習し、RCOは固定サイズ予算内で各テンソルに量子化タイプを割り当てます。ISTAの最小ファイルであるIQ2_XSは8.4GB（2.50ビット/重み）です。
- 第3層（Underdogによる最適化）: Underdog独自の最適化パスが適用されています。これによりファイルサイズは7.89GBまで縮小され、特にツール呼び出し性能に焦点が当てられました。このファイルは
IQ2-mixと名付けられ、imatrixタグが付与されていますが、最適化の具体的なレシピは公開されていません。
これらの多段階の最適化によって、Saluki 27Bは極めてコンパクトでありながら、主要な機能で高いパフォーマンスを維持しています。
ベンチマークで示された驚異の性能
UnderdogはSaluki 27Bのベンチマーク結果を2つのグループに分けて公開しています。(MarkTechPost)
同じハーネスで実行されたベンチマーク:
- Underdog Bench: BFCL v4の120タスクで、Salukiは88点、フルモデルは84点、PrismMLのBonsai 2は70点を獲得しました。
- 並列ツール呼び出し: BFCL v4の並列タスク100件で、Salukiは42件、フルモデルは35件を達成し、Salukiがオリジナルの120%の保持率を示しました。
- SWE-bench Verified: 50件のイシューで、Salukiは30件、フルモデルは33件を修正しました。
公開されているフルサイズモデルのスコアとの比較:
| ベンチマーク | Saluki 27B | Qwen3.8-27B (公開スコア) |
|---|---|---|
| IFEval (prompt-loose) | 93.5 | 91.5 |
| IFBench (prompt-loose) | 72.7 | 71.0 |
これらの結果から、Saluki 27Bは平均して96%の性能を保持しつつ、並列ツール呼び出しにおいてはフルモデルを凌駕する性能を見せています。一方で、AIME 2025のような競争数学や多段階推論ではスコアが12〜18ポイント低下するという弱点も指摘されています。
エンジニア目線で見ると：エージェント開発に新たな選択肢、GPUオフロードで広がる可能性
Saluki 27Bの登場は、ローカル環境でLLMベースのエージェントを開発しているエンジニアにとって、非常に大きな意味を持つと感じます。これまで27Bクラスのモデルをローカルで動かすには、RTX 3090クラスのGPUでもメモリ容量が厳しく、大規模なモデルはクラウドに頼るしかありませんでした。
7.89GBというファイルサイズは、多くのミドルレンジGPUでも十分扱える範囲であり、フルGPUオフロードが可能な
llama.cppで動く点は、実装・運用への影響を小さくするでしょう。
私の環境でも、RTX 3090を搭載しているので、このサイズのモデルであればかなり快適に動作すると予想できます。個人プロダクトでAIエージェント機能を組み込みたいと考えている開発者にとっては、GCPなどのクラウドサービスで動かすよりも大幅なコスト削減につながる可能性があります。
特に、Webアプリのバックエンドやデスクトップアプリケーションに組み込む際、推論コストを抑えつつ、ツール呼び出しのようなエージェントに不可欠な機能がオリジナルモデルよりも高い性能を発揮するのは魅力的ではないでしょうか。ただし、競争数学や多段階推論のようなタスクでは性能が落ちるため、用途に応じて適切なモデルを選択する検証は必須になると考えます。
Pythonバインディングを通じてllama.cppを呼び出す形で、Claude Codeを使ったバイブコーディングで試してみるのも面白そうです。ドキュメントが充実していれば、既存のスクリプトに組み込むのも難しくないと感じます。
例えば、特定のAPIを呼び出すためのプロンプト生成や、外部ツールとの連携部分に活用できるかもしれません。この手軽さで27Bクラスの性能、しかもツール呼び出しに強いというのは、かなりの武器になると確信しています。
