オンデバイスLLMの常識を覆す「Edge0-145B」登場

Edge0-145B発表:1450億パラメータのLLMが個人PCで動作、オンデバイスAIの新境地へのイメージ画像

2026年11月13日、Edge0は1450億パラメータを持つ画期的なオンデバイスAIモデル「Edge0-145B」を発表しました (Hacker News)。これは、世界初の1450億パラメータ規模のオープンソースオンデバイスAIモデルであり、個人PCでの利用に特化しています。

これまで、大規模な言語モデルは高いメモリ帯域幅と処理能力を要求するため、クラウド環境での実行が一般的でした。しかし、Edge0-145Bは、互換性のあるノートPCで動作し、クラウドモデルに匹敵するコーディング、推論、エージェント機能を提供します。

「Edge0-145Bは、世界のフロンティアクラウドモデルに匹敵するコーディング、推論、エージェント機能を個人のコンピューターにもたらします。」

この発表は、オンデバイスAIの可能性を大きく広げるものであり、多くの開発者にとって衝撃的なニュースだと感じています。特に、データプライバシーが懸念される領域や、オフライン環境での利用が求められるケースにおいて、大きなメリットをもたらすのではないでしょうか。

従来の制約とEdge0-145Bによる解決策

Edge0-145B発表:1450億パラメータのLLMが個人PCで動作、オンデバイスAIの新境地へのイメージ画像

これまでのオンデバイスAIは、モデルの能力とハードウェアの性能の間でトレードオフを強いられてきました。大規模モデルはより多くのメモリ、帯域幅、電力を必要とし、小型モデルは複雑なタスクに対応しきれないという課題がありました。

また、クラウドにワークロードを移行すると、モデルプロバイダーへの費用、データ処理の制約、そしてネットワーク接続への依存が発生します。Edge0-145Bは、これらの課題を以下の4つの点で解決します (Hacker News)。

制約の内容 Edge0-145Bが実現すること
大規模モデルの個人ハードウェアでの実行困難性 1450億パラメータモデルが互換性のあるノートPCでローカルに動作。ピークメモリ29GB、デコード速度80トークン/秒以上を報告。
小型オンデバイスモデルの複雑タスクでの性能不足 コーディング、推論、命令実行において、特定のフロンティアクラウドモデルに匹敵する結果を実現。
アシスタントが質問応答だけでなく作業を完遂する必要性 3Dシーン、ゲーム、ハードウェアプログラム、PCB設計などのプロジェクトで、コードの計画・記述・実行、エラーのデバッグ、結果の視覚的チェックが可能。
クラウドワークフローに伴う費用、データ制限、ネットワーク依存 ローカル推論により、クラウドモデルのトークンまたはAPI費用は発生せず、データはローカルに保持され、コア機能はオフラインでも動作。

これらの解決策は、開発者がより自由に、そして安全にLLMを活用できる環境を提供するものだと感じます。特に、個人プロダクトを開発している私としては、サブスクリプション費用なしで高度なエージェント機能が利用できるのは非常に魅力的です。

Edge0-145Bの具体的な性能と技術的詳細

Edge0-145Bは、1450億パラメータという大規模モデルでありながら、個人用ノートPCでの実用性を追求しています。その性能は以下の通りです (Hacker News)。

要件 Edge0-145Bの報告結果 実現できること
メモリ ピークメモリ29GB MacBook Proなどの互換性のあるノートPCでサーバーなしで実行可能。
プロンプト処理 1,100トークン/秒以上のプリフィル 数十ページにわたるコードを含む長いプロンプトも、生成開始前に迅速に処理。
生成速度 80トークン/秒以上のデコード 人が読むよりも速い速度でテキストを生成。
消費電力 通常時約120W 報告されたセットアップでスロットリングなしでの連続動作を維持。
長いタスク 128K〜256Kのコンテキスト 長い入力でもほぼ同じ速度を維持し、長時間の作業をサポート。

さらに、Edge0は以前にEdge0-35Bという電話向けモデルもリリースしており、これはiPhone 18 Pro Maxで約2.5GBのメモリを使用し、37トークン/秒以上の生成速度を実現しています。これらの数字は、ハードウェアの進化とソフトウェア最適化の組み合わせによって、LLMがより身近なデバイスで動作する未来が着実に近づいていることを示していると感じます。

参考として、Hacker Newsの別記事では、TVボックスや古いiPhone、タブレット、シングルボードコンピュータなどの小型・旧デバイスでLLMを動作させるプロジェクト「smolmaxxing」が紹介されています (Hacker News)。これは、最小限のハードウェアで最大のモデルを動かすことを目指しており、Edge0とは異なるアプローチですが、オンデバイスLLMへの関心の高さを感じさせます。

エンジニア目線で見ると:コスト削減とプライバシー保護の可能性

Edge0-145Bの発表は、開発者にとって非常に大きな意味を持つと感じています。特に、クラウド費用を削減したいスタートアップや、機密データを扱う必要がある企業にとっては、待望のソリューションではないでしょうか。

個人的なプロダクト開発では、どうしてもクラウドAPIの利用料が気になるところです。無料枠を超えると課金が発生し、サービスの利用状況によってはコストが膨らむ可能性もあります。Edge0-145Bのようなオンデバイスモデルが普及すれば、月々の利用料を気にせず、大規模な言語モデルの能力をフル活用できるようになります。

これは、コスト最適化の観点から見ても非常に魅力的です。GCPを主軸に使っている私にとっても、LLMの推論部分をローカルにオフロードできるのは、Cloud Runなどのリソース消費を抑える上でも有効な手段になりうると考えます。

また、データプライバシーの面でも大きな進歩です。ユーザーの機密情報がデバイス外に出ることなく処理されるため、セキュリティ要件が厳しい業界でのLLM導入の障壁が下がる可能性があります。個人的には、ローカルLLM環境での開発を好むため、手元のRTX 3090搭載自作PCでこのモデルを動かしてみたいと強く思います。

Pythonバインディングがあれば、既存のスクリプトにも簡単に組み込めそうな予感がします。Claude Codeにこのモデルのドキュメントを投げて、既存プロジェクトへの統合方法を提案してもらうのも面白そうですね。ドキュメントが充実している点も、開発者としては好感度が非常に高いです。

一方で、ピークメモリ29GBという要件は、一般的なノートPCではRAMの増設が必要になる場合もあるでしょう。特にMacBook Proのような機種はメモリのアップグレードが容易ではないため、購入を検討する際には注意が必要です。とはいえ、現状でこれほどの性能をオンデバイスで実現できるのは、まさに「ゲームチェンジャー」だと感じます。