大規模AIトレーニングがデータセンターの境界線を越える

分散AIトレーニングがデータセンター間ネットワークにもたらす変革とは？のイメージ画像

現在、大規模なAIモデルのトレーニングは、単一のデータセンターの能力では対応しきれない状況に直面しています。Googleは Gemini モデルを複数拠点のクラスターで同期的にトレーニングしていると発表しました。

Microsoftはウィスコンシン州とジョージア州のAIデータセンターを接続し、単一の分散AIスーパーコンピューターとして運用しています。AWSも Anthropic の Claude モデル構築のために広域にわたるAIコンピューティングクラスターを接続しており、Metaも高容量のデータセンター間相互接続を構築しています（The Next Platform）。

この地理的な分散は、新しいモデルが必要とするコンピューティングと電力需要が単一のデータセンターでは対応しきれないためです。

Ciscoの推定では、現在のモデルトレーニングには数万のGPUを持つクラスターが必要であり、Epoch AIの研究者によると、2030年には最大で4〜16GWの電力を消費する可能性があるとのことです（The Next Platform）。分散コンピューティングは、ハイパースケーラーやデータセンター事業者が、より多くの電力やスペースが利用可能で、計画上の制約が少ない場所でインフラを構築する大きなメリットをもたらします。

LLMトレーニングにおけるネットワークの役割と課題

分散AIトレーニングがデータセンター間ネットワークにもたらす変革とは？のイメージ画像

LLMの核となるのは、トレーニング中に調整される数十億の数値パラメーター（重み）を持つニューラルネットワークです。トレーニングデータのバッチがモデルを通過し、予測を行い、誤差を測定して重みの変化を計算し、更新するというプロセスが繰り返されます。この作業は、数千のGPUやその他のアクセラレーター（AWS TrainiumやGoogle TPUなど）に分散されます（The Next Platform）。

異なるGPUは別々のデータバッチやモデルの異なる部分を処理できますが、完全に独立して動作することはできません。トレーニングの次の段階に進む前に、結果を交換し、同期する必要がある点が重要です。

アクセラレーター間でやり取りされるのは、トレーニングに使用されるテキストや画像ではなく、勾配や中間結果といった大規模な数値データ配列です。数千のアクセラレーターがほぼ同時にこのデータを交換・結合する必要があります。

CiscoのRamesh Sivakolundu氏は、「トレーニングジョブは基本的に計算と同期の繰り返しです」と説明しています。

数千のアクセラレーターが計算フェーズを終了し、同時に通信を開始すると、「インキャスト問題」が発生する可能性があります。これは、多くの送信元が同じ宛先に集中し、次のリンクが処理できるよりも速くトラフィックが到着する現象です（The Next Platform）。

同期型トレーニングでは、低速なGPUグループを無視して他のGPUが独立して続行することはできません。ネットワーク全体の交換が完了しない限り、GPUは次の段階に進めないため、ネットワークの遅延は計算の遅延に直結します。

データセンター間ネットワークに求められる新たな要件

単一のデータセンター内では、計画された帯域幅を持つフルネットワークがGPUラック間を接続していると仮定できますが、データセンター間では話が異なります。従来のデータセンター相互接続（DCI）は、サイト間のトラフィックを移動させることを目的としていました。しかし、AIトレーニングは、

  • 大規模で同期的なフロー
  • 最小限のパケット損失
  • GPU間の厳密に調整された通信

といった、より厳密な要求をネットワークに課します（The Register）。もしクラスターの一部が停止すれば、その影響はトレーニングジョブ全体に波及する可能性があります。

ネットワークはボトルネックになるべきではなく、GPUを常にフル稼働させ、ネットワークが全体的なトレーニングプログラムに追加のレイテンシーを導入しないようにすることが求められます。

これは、ネットワークの混雑やパケット損失のたびにモデルトレーニングが完全に停止するわけではありませんが、遅延やパケットドロップが発生すると再送が必要になり、コレクティブ通信操作が長引き、他のアクセラレーターが待機することになります。深刻な障害は、トレーニングを保存されたチェックポイントに戻すことを要求する可能性もあります（The Next Platform）。

エンジニア目線で見ると：広域ネットワーク設計の再考が必要

大規模言語モデルの進化に伴い、単一データセンターでのトレーニングが限界に達し、複数拠点での分散トレーニングが主流になりつつあるのは肌で感じています。特に、私自身がStable DiffusionやローカルLLMを動かす中で、GPUのリソースがボトルネックになる経験は少なくありません。

今回の記事で強調されている「計算と同期の繰り返し」という点は非常に重要だと考えます。数千のGPU間で膨大な勾配データが同期的にやり取りされることを考えると、データセンター間の広域ネットワーク（WAN）は従来のDCIの概念を超え、まるで単一データセンター内の高帯域ネットワークのように機能する必要があるのではないでしょうか。

既存のデータセンター間接続は、多くの場合、Webサーバーやデータベース間の比較的非同期なトラフィックを想定して設計されています。しかし、AIトレーニングにおける「インキャスト問題」や「同期の遅延が計算の遅延に直結する」という特性は、ネットワーク設計においてQoS（Quality of Service）や厳密なトラフィックシェーピングがこれまで以上に重要になることを示唆しています。専用線やSDN（Software Defined Networking）を活用した、AIワークロードに最適化された広域ネットワークソリューションの導入が急務になると感じます。

特にクラウドプロバイダーが提供するプライベートインターコネクトサービスは、このような用途で非常に有効な選択肢となりそうです。自身の個人プロダクトでLLMをより大規模に扱う際には、ネットワーク構成を再検討する必要があると感じています。