Mistral Large 4「Le Chonk」のHugging Faceでの公開と主な特徴
フランスのAI企業Mistral AIは、その主力モデルである「Mistral Large 4」のウェイトをHugging Faceで公開しました（Hugging Face Blog）。「Le Chonk」という愛称で知られるこのモデルは、マルチモーダル（テキストと画像を扱える）かつ多言語対応のMixture-of-Experts (MoE) モデルです。合計約1兆のパラメータを持ち、アクティブなパラメータ数は490億、コンテキストウィンドウは100万トークンという大規模なモデルとなっています。
Mistral Large 4は、オープンウェイトモデルとして提供され、特にサイバーセキュリティとコーディング分野において高い性能を発揮します。
公式の2つのバリアントに加え、Unslothやllama.cppチームによってGGUFも作成されており、幅広い環境での利用が想定されます。ライセンスは、Mistral Ecosystem Open-Weight License（MITライセンスをベースとしつつ、モデル・アズ・ア・サービス提供に制限があるもの）の下で配布されています（Hugging Face Blog）。
サイバーセキュリティにおける革新的な能力
Mistral Large 4の最も注目すべき点の一つは、そのサイバーセキュリティ能力です。Artificial Analysis Cyber Indexテストでは、オープンソースソフトウェアの脆弱性を再現し、パッチを適用するというタスクで82%という高スコアを記録しました（Hugging Face Blog）。Mistral AIによると、この種のテストでは、拒否するためにゼロに近いスコアを出すクローズドな最先端モデルが多いとのことです。
これは、防御側にとって非常に重要な意味を持ちます。なぜなら、脆弱性の修正にはその再現が不可欠だからです。Mistralの社内テストでは、マルウェア分析、脆弱性の優先順位付け、検出ルールの作成など、モデルが明示的に訓練されていないタスクでも有効であったと報告されています（Hugging Face Blog）。
| 項目 | Mistral Large 4 | 他のクローズドモデル（一部） |
|---|---|---|
| Cyber Index Testスコア | 82% | ゼロに近い |
| 脆弱性再現・パッチ適用 | 可能 | 拒否 |
| 用途 | 防御的セキュリティ | 限定的 |
サイバーセキュリティ関連のプロンプトでは、攻撃的な入力と見なされやすいことがあり、クローズドモデルではフィルターによってブロックされる可能性があります。しかし、Mistral Large 4のようなオープンウェイトモデルは、利用ポリシーとデプロイメントがユーザーの管理下にあるため、インシデント対応の最中にAPIアクセスを失うといったリスクを回避できます。Mistral AIのCEO、Arthur Mensch氏も「AIはエンパワーメントのためのツールであり、支配のためのものではない」と述べています（TechCrunch – AI）。
アーキテクチャと技術的詳細
Mistral Large 4のテキストデコーダは、72層、隠れ次元6,144、64のアテンションヘッドで構成されています。アテンションブロックでは、Multi-head Latent Attention (MLA) とDeepSeek Sparse Attention (DSA) インデクサが組み合わされており、MLAは圧縮されたKV表現を維持し、DSAは各クエリに対して最大2,048のキー位置を選択します（Hugging Face Blog）。
また、デコーダブロックごとに3:1のRoPE to NoPEパターンを採用しており、3つのデコーダ層がRoPEを使用し、4番目の層はNoPEを使用します。モデルは層間でKV状態を共有する設計となっています。
最初のデコーダ層は密なフィードフォワードネットワークを使用し、残りの71層はMoEブロックを採用しています。MoEブロックでは、ソフトマックスルーターが128のエキスパートの中から4つのエキスパートを各トークンに選択し、さらに1つの共有エキスパートが常に実行されるため、合計5つのアクティブなエキスパートが動作します（Hugging Face Blog）。
Mistral Large 4は、疎なアテンションとMoEアーキテクチャを組み合わせることで、効率的な処理と高い性能を実現しています。
エンジニア目線で見ると：コストとセキュリティのバランス
Mistral Large 4のオープンウェイトでの提供は、特にクラウドベースの開発を進めているエンジニアにとって、非常に魅力的な選択肢だと感じます。GCPのCloud RunやGKEにデプロイし、自社でモデルの推論をコントロールできるのは、セキュリティ面で大きな安心感があります。特に、サイバーセキュリティ関連のタスクにおいては、外部APIに依存せず、データのプライバシーやモデルの挙動を自社で完全に管理できるのは、代替手段と比べて大きなメリットではないでしょうか。
一方で、ローカルで実行するには、RTX 3090のような高性能GPUを搭載した自作PCでも、1兆パラメータのモデルを動かすのは簡単ではないでしょう。アクティブパラメータが490億とはいえ、1Mトークンのコンテキストウィンドウを活かすにはそれなりのメモリが必要になります。個人的には、GGUF版が出てくれると、メモリ最適化が進んでローカルでの試行がしやすくなるのではないかと期待しています。
PythonとTypeScriptをメインに使っている私としては、Pythonバインディングが充実していれば、既存のスクリプトに組み込んでみるのも面白そうです。しかし、コスト最適化を考えると、推論コストは十分に検証する必要がありますね。また、モデル・アズ・ア・サービス提供に制限があるライセンスなので、自社サービスに組み込む場合は法務的な確認も必須だと考えます。
今後、Mistral Large 4をベースにした、より軽量で特定のタスクに特化したファインチューニングモデルが出てくると、さらに多くの開発者が恩恵を受けられるように感じます。例えば、特定のプログラミング言語のコード生成や、特定のドメイン知識に特化したセキュリティエージェントなど、用途に応じたモデルの登場に期待したいです。
