マルチモーダルAIの新たな地平を切り開く「Rho-1」
AIスタートアップのRekaは、2026年10月5日に、スクラッチから訓練した19Bパラメータのオムニ推論モデル「Rho-1」の研究プレビュー版を公開しました（MarkTechPost）。Rho-1は、単一のニューラルネットワークでテキスト、画像、動画を理解・生成し、それらに関する推論を行い、最終的にロボットのアクションまで出力できる点が最大の特徴です。
Rho-1は、従来のモダリティ特化型モデルを連携させるパイプラインを不要にし、単一のAIモデルが多様なタスクをシームレスに処理することを可能にします。
現在のほとんどのマルチモーダルシステムは、中央のモデルが計画を立て、その後、画像、動画、検出などの各専門モデルにタスクを渡すパイプライン形式で構成されています。このハンドオフのたびにレイテンシが発生し、専門モデルは狭い範囲のリクエストしか処理できないという課題がありました。
Rho-1はこのハンドオフを排除し、テキスト、視覚情報、ロボットのアクションをすべて単一のコンテキストウィンドウ内のトークンとして扱います。Rekaの研究によると、 Rho-1は、灯台を描画し、それをバウンディングボックスで囲み、アニメーション化し、その動画を雪嵐のシーンに編集し、そしてその違いを説明するという一連の作業を、ツールの呼び出しや別のモデルを介さずに、5ターンで完結させたとのことです（Reka research）。
統合されたアーキテクチャが実現する高速処理
Rho-1のアーキテクチャは、すべての入出力に以下の2種類のネイティブフォーマットを使用しています。
- 離散トークン（Discrete tokens）: テキスト、記号推論、高レベルコマンドを扱う
- 連続トークン（Continuous tokens）: 画像の潜在空間、動画フレーム、ロボットのアクション、自己受容感覚を扱う
各トランスフォーマーブロックには2つのエキスパートウェイトストリームが存在します。理解ストリームは言語と視覚の解析を担当し、生成ストリームは潜在空間から画像と動画を生成します。
これら2つのストリームはアテンションを共有し、同じKVキャッシュ上で動作します。これにより、必要な時に理解ストリームが離散ハンドオフトークンを発行すると、生成ストリームが完全な蓄積された状態からレンダリングを行う仕組みです。
このユニークなアーキテクチャにより、バウンディングボックスの出力は座標トークンとして直接行われ、動画の最初のフレームはコンテキスト内の画像表現を再利用できるなど、効率的な処理が実現されています。
この設計は実用的な効果をもたらします。例えば、バウンディングボックスは個別の検出器を介さず、座標トークンとして直接出力されます。また、動画の最初のフレームは、再エンコードされたコピーではなく、コンテキスト内の画像表現を再利用するため、処理の効率化に貢献するでしょう。
処理速度とロボットへの応用
Rho-1は動画生成において、ベースモデルで中央値0.79倍のリアルタイム速度を達成し、約6秒で視聴可能なストリームを開始できると報告されています。Rekaチームの測定では、最初のクリップ生成まで7.0秒を要し、これは複数のエージェントを組み合わせたパイプラインの13.8秒と比較して高速です。
品質の低下を最小限に抑えつつ、デノイズングステップを99ステップから8ステップに削減した蒸留（Distilled）版では、約1秒で5.3秒のクリップを生成したとされています。Rekaの内部テストでは、専用の最速画像モデルと同等の性能を発揮し、最初のテキストトークン生成でも最速だったとのことです。これらはベンダーによるテストであり、独立したベンチマークではない点には注意が必要です。
Rho-1の連続ストリーミング能力と、実行中に新しい指示を理解ストリームを通じて取り込み、状態を更新できる特性は、世界モデルやロボット工学への応用において大きな可能性を秘めています。
Rho-1はクリップからクリップへと連続的にストリーミングが可能で、新しい指示を理解ストリームを通じてリアルタイムで受け取り、状態を更新できます。Rekaは、あるオープニングが「左に旋回」と「右に旋回」の2つの継続に分岐するデモンストレーションを披露しました。ロボット工学の分野では、アクションと将来のフレームが同じ潜在状態からデコードされるため、例えばLIBEROプロジェクトのようなロボットタスクライブラリ（LIBERO-project）への統合も期待されます。
エンジニア目線で見ると：エージェント開発のパラダイムシフトか
今回発表されたRho-1は、マルチモーダルAIを活用したエージェント開発に大きな変化をもたらす可能性を秘めていると感じます。これまでは、テキスト理解、画像生成、動画生成、物体検出といった異なるタスクに対して、それぞれ特化したモデルを組み合わせてパイプラインを構築するのが一般的でした。
しかし、Rho-1はこれらを単一のモデルで処理できるため、モデル間のハンドオフに伴うレイテンシや複雑なオーケストレーションが不要になる点は非常に魅力的です。これは開発者にとって、エージェントの設計と実装が劇的にシンプルになることを意味するのではないでしょうか。
特に、私の個人プロダクトでもAIエージェントの開発に取り組んでいますが、モダリティ間の連携部分のチューニングやエラーハンドリングは常に課題となっています。Rho-1のような統合モデルが登場すれば、開発者はより高レベルな推論ロジックやユーザー体験の設計に注力できるようになるでしょう。Pythonバインディングが提供されれば、既存のClaude Codeで書かれたスクリプトにも、少ない変更で組み込みが容易になると期待しています。
ただし、ベンダーテストの結果だけでなく、独立した第三者機関によるベンチマークや、特定のタスクにおけるファインチューニングの容易さなども重要になってくるでしょう。現状では研究プレビューとのことなので、今後の開発者向けAPIの提供動向に注目したいと思います。
