LLMの次なる進化を追うスタートアップたち：Transformerの限界と次世代アーキテクチャへの挑戦

Transformerの限界と高まる期待

2017年にGoogleの研究者が発表した「Attention Is All You Need」という論文で紹介されたTransformerは、今日の主要なLLMのエンジンとして広く利用されています。Subquadraticの共同創業者兼CEOであるJustin Dangel氏は、「AI業界全体がTransformerの上に築かれている」と述べており、その重要性を強調しています（出典）。

Transformerはコンピュータサイエンスの歴史において最も重要なイノベーションの一つであり、世界を変えました。

しかし、近年Transformerはその「年齢」を感じさせるようになってきました。推論能力の向上や大規模な入力処理といったLLMの最近の進歩は、Transformerの中核技術の単純な拡張ではなく、その根本的な欠陥を補うための回避策によって実現されている側面があると感じます。AI技術が飛躍的な進化を遂げる中で、基礎となるアーキテクチャもまた進化の時を迎えているのではないでしょうか。

なぜTransformerは限界を迎えるのか

Transformerの強みは、その中核をなす「密なアテンション（dense attention）」メカニズムにあります。これは、テキストブロックの意味を数値の系列にエンコードするもので、テキスト内のすべての単語（またはトークン）を他のすべての単語と比較する計算を伴います（出典）。

このメカニズムは非常に高い精度でテキストの意味を捉えることができますが、テキストの長さが増すにつれて、必要な計算量が飛躍的に増加するという問題があります。例えば、10,000語のドキュメントを処理する場合、Transformerは5,000万回もの乗算を実行する必要があるとのことです。これは、LLMが膨大な電力を消費する主な理由でもあります。

OpenAIは今年、コンピューティングに500億ドルを費やす見込みであり、国際エネルギー機関（IEA）は、データセンターの電力消費量が2030年までに倍増すると予測しています（出典）。この計算コストと環境負荷は、個人の開発者にとっても悩みの種です。

自作PCでLLMを動かす私としては、電力消費とGPUリソースの確保が大きな課題だと感じています。特にRTX 3090を搭載していても、長文処理や大規模モデルの微調整ではその限界を感じることがよくあります。

次世代LLMアーキテクチャへの挑戦

現在のTransformerは、単語ごとにテキストを処理するため、大量の情報を一度に追跡すること（コンテキストウィンドウを大きくすること）が苦手です。しかし、LLMがより複雑なタスクを実行するためには、ドキュメントのライブラリ全体やコードベース全体といった、より大量のデータを取り込む必要があります。MIT Technology Reviewは、この次世代モデルを「LLMs+」と呼んでおり、その進化に大きな期待が寄せられています（出典）。

このような背景から、多くのスタートアップがTransformerの限界を突破し、LLMの技術革新を推進しようとしています。既存の巨人企業と比較して失うものが少ないスタートアップは、思い切った技術的挑戦ができるのが強みでしょう。

LLMはどこにも行かないが、その構築方法は今、まさに変わろうとしているのです。

現在のLLMにおける技術的なボトルネックを解消するためのアプローチとしては、以下のようなものが考えられます。

• 新しいアテンションメカニズムの探求: 計算量を削減しつつ、長距離の依存関係を効率的に捉える方法。
• スパースモデリングの導入: すべてのトークンに密にアテンションを適用するのではなく、必要な部分にのみ焦点を当てることで計算コストを削減。
• 異なるネットワーク構造の採用: Transformer以外のリカレントネットワークや新しいグラフネットワーク構造の導入。
• ハイブリッドアプローチ: Transformerの利点を活かしつつ、課題を補完するようなモジュールを追加する。

これらのアプローチは、LLMの性能向上だけでなく、開発や運用のコスト削減、さらにはエッジデバイスでの実行可能性を高めることにも繋がるでしょう。特にローカルLLMの発展に貢献する技術であれば、個人プロダクトへの応用も期待でき、非常に興味深い分野だと感じています。