これまでの経緯
Muse Spark Open：エージェント型コーディングに特化した大規模MoEモデル
Metaが今回発表した「Muse Spark Open」は、エージェント型コーディングに最適化された大規模なMixture-of-Experts（MoE）モデルです。複雑なソフトウェア開発や長期間のデバッグセッションといった、実際の開発者のワークフローに合わせて学習されています。単にコードを生成するだけでなく、コードベースを読み込み、コードの記述やデバッグ、ツールの呼び出しといった一連のエージェント的な動作が可能です。
Muse Spark Openは、テキストだけでなく画像、音声、動画の入力にも対応しており、スクリーンショットの解析や音声メモの聞き取り、画面録画の視聴も可能なマルチモーダル対応が特徴です。
モデルは全816Bのパラメータを持ちますが、Mixture-of-Expertsアーキテクチャにより、1トークンあたり42Bのアクティブパラメータで動作します。これにより、大規模なモデルでありながら、より高速な推論が期待できます（Hugging Face Blog）。
モデルアーキテクチャと効率的な運用
Muse Spark Openは、MetaのMuseシリーズにおけるフルサイズモデルです。先行してリリースされた「Muse Glimmer」と同じトークナイザーとボキャブラリーを使用しており、密な連携が図られています。
言語モデルは62層で構成され、各層には256個のエキスパートが配置されています。1トークン処理あたり8個のエキスパートが選択されるため、効率的な計算が可能です。
| Feature | Muse Spark Open |
|---|---|
| Model size | ~816B total parameters; ~42B active per token |
| Expert routing | 256 experts per MoE layer; 8 selected per token |
| Inputs | Text, images, audio, and video |
| Output | Text |
| Context window | Up to 1M tokens |
| Checkpoint formats | BF16 and NVFP4 |
BF16形式のチェックポイントは約1.5TBと非常に大規模ですが、NVFP4形式のチェックポイントは4ビット精度でパラメータを格納し、精度劣化を抑えつつNVIDIA Blackwell GPUに特化しています。これにより、限られたリソースでも大規模モデルのデプロイが可能になります（Hugging Face Blog）。
すべての256エキスパートはメモリ内に保持されますが、推論時には8個のエキスパートしか稼働しないため、816Bパラメータモデルのメモリを必要としつつも、42Bパラメータモデルに匹敵する高速な処理が実現されます。
デスクトップ環境での実行と活用
Muse Spark Openの最も注目すべき点の一つは、デスクトップ環境でのローカル実行に注力していることです。特にApple M5 Ultra Mac Studioでの実行が強調されており、MLXフレームワークの最新版を使用することで、ほぼ1兆パラメータ近いモデルをデスクトップで実行できると発表されています（Apple ML Research）。2台のApple M5 Ultra Mac Studioを使用すれば、36トークン/秒を超える生成速度を達成できるとのことです（MarkTechPost）。
ローカルでの実行は、AI研究者や開発者がプライベートな環境で最新モデルを実験し、新たな推論手法やファインチューニングを試す上で非常に大きなメリットを提供します。
Muse Spark Openは、Baseten、Fireworks AI、GroqなどのAPIプラットフォームでも利用可能であり、モデルウェイトはHugging Face、Google Cloud Model Garden、Amazon SageMaker AI、Microsoft Foでダウンロードできます。これにより、開発者は自身のアプリケーションに組み込んだり、クラウド環境での運用も容易に行えるでしょう。
エンジニア目線で見ると：エージェントの可能性とローカルLLMへの期待
今回のMuse Spark Openの発表は、エージェント型AI開発を進めるエンジニアにとってかなり衝撃的なニュースだと感じます。特に、マルチモーダル入力に対応している点が非常に強力です。
コードレビュー時にスクリーンショットを投げたり、音声による指示を受け付けたりできるのは、既存のAIコーディングアシスタントの体験を大きく変える可能性を秘めているのではないでしょうか。自分の個人プロダクトでも、このマルチモーダルな入力を活かして、より自然で直感的なインターフェースを持った開発エージェントを構築してみたいです。
また、Apple M5 Ultra Mac Studioでのローカル実行が強調されている点も注目に値します。NVIDIA Blackwell GPU向けのNVFP4チェックポイントも用意されており、高性能な環境であればローカルでかなり大規模なモデルを動かせるという方向性は、プライバシーやコストの面から見ても非常に魅力的です。自宅のRTX 3090でローカルLLMを動かしている身としては、ここまでのフロンティアモデルがデスクトップで動く時代が来たか、と感慨深いものがあります。
llama.cppやvLLM、SGLangといった既存のフレームワークで実行可能とのことなので、Pythonバインディングがあればぜひ試してみたいですね。GCPのCloud Runで動かすにはまだメモリが厳しそうですが、将来的には小規模なAPIとしてデプロイできるような最適化も進むことを期待します。
