業務特化型AI時代に備えたオンプレミスのインフラとは！ - ネットワーク編 -

2026.03.18

ライター：細谷　典弘: 2008年ぐらいからデータセンターネットワークの調査・検証を始め、2020年くらいまでは、マルチクラウド基盤に用いられるハードウェアとソフトウェアの最先端テクノロジーに関する調査・検証と、案件の技術支援をする業務を担当していた。特に Kubernetes に注目して検証を行っていた。
その後は、放送システムの IP 化に向けた技術調査・検証と案件対応を行っていた。
現在は、AI インフラのあるべき姿を調査している。

【主な保有資格】
CCIE Routing and Switching (#16002)
CCIE Data Center (#16002)
Red Hat Certified System Administrator in Red Hat OpenStack（RHCSA） (EX210)
電気通信主任技術者（伝送交換）

現在のオンプレミスに構築されているAI基盤ネットワーク

現在、AI基盤をオンプレミスに構築する場合は、一般的にInfiniBandが採用されます。
InfiniBandには主に図1のような特徴があります（ここでは代表的な特徴のみを挙げています）。これらの特徴から、今までHPC^※1の分野で使われていましたが、AI基盤のネットワークにも採用されるようになりました。

※1 HPC(High Performance Computing)：プロセッサーを並列で動作させて高速に演算を行う。現在はネットワークで接続されたプロセッサーが並列で動作することができる
※2 RDMA(Remote Direct Memory Access)：サーバ間でCPUを介さず直接メモリ間の通信をネットワーク上で行うため、高速な処理や低遅延な通信ができる

Ethernetでも構築できるAI基盤ネットワーク

InfiniBandのような特徴が備わっていれば、EthernetでもAI基盤の構築は可能です。

まず、データセンターで使われているようなスイッチであれば低遅延、広帯域という条件を満たします。
そして、EthernetにはRoCE(RDMA over Converged Ethernet)v2という規格があります。名前から分かる通り、RDMAをEthernet上で実現する規格です。バージョン2ではUDP/IPで動作するようになりました。L3環境で動作するため柔軟に設計できます。

あとは、ロスレス通信の仕組みですが、Ethernetには、PFC(IEEE 802.1Qbb)という標準化された規格があります。
PFCを使うことで、RDMAの通信だけをロスレスにするようなことが実現できます。

Ethernetで構築するAI基盤ネットワークのメリット

AI基盤のインフラをEthernetで構築した場合、主に次の4つのメリットが考えられます。

技術者確保が容易：Ethernetに慣れた技術者は、InfiniBandの技術者より圧倒的に多数です。
低コスト：InfiniBandと違い、Ethernetスイッチは多くのベンダーが競争しているため、コストが下がりやすくなっています。
マルチテナントが可能：VXLANなどの技術を使うことでマルチテナントに近いインフラを構築できます。
ベンダーロックインされない：多くのベンダーの製品から選択できるため、特定ベンダーへの依存を避けることができます。

しかしながら、RoCEv2には限界があります。
PFCでは、AIワークロード全体でロスレスを実現するため、例えば、顧客データを使った業務特化型AIの学習で輻輳が発生すると、社内データを使った業務特化型AIのデータが止まります。
そこで、RoCEv2の弱点を補うような規格が検討されています。

標準化が進むAI基盤のEthernet：UE(Ultra Ethernet)

RoCEv2の問題を克服し、さらにスケールできる規格を策定するために、多くのベンダーが参加するUEC(Ultra Ethernet Consortium)が設立されました。

RoCEv2との大きな違いは、ロスレス通信やRDMAを前提としていないことです。

スイッチ間でのロスレスが保証されない代わりに、End-to-Endで信頼性を確保することが求められます。
一般的なネットワークで経路のロードバランスを行う場合は、フロー単位で経路を分散しているため、受信したエンドポイントはパケットの順番の入れ替わりを考える必要はほとんどありません。

一方、UEではパケット単位のロードバランスが想定されているため、受信側のエンドポイントでは、受け取ったパケットの順番が入れ替わっていても問題なく処理できる仕組みが必要になります。
ただ、パケット単位のロードバランスは、帯域を有効に活用することができるようになるため、輻輳によるパケットロスが起きにくくなります。

それぞれの違いを図2と図3にまとめました。

さらに、UEではTelemetryを使った高度なロードバランスも検討されています。
もちろんロスレスにも対応し、PFCの弱点を補うようなCBFC(Credit-Based Flow Control)という規格も検討されており、例えば、輻輳により営業データの学習と社内データの学習が同時に止まるようなことが起きにくくなります。
ただ、これらの規格もネットワークを完全に論理分割するものではないため、よりマルチテナントのようなインフラに近づけるためには、VXLANなどとの組み合わせが必要です。

このUECの設立には、もう１つ大きな目的があると考えられています。
それは、NVIDIAへの過度な依存を避けることです。
つまり、ベンダーロックインを避け、よりオープンなエコシステムの構築を目指します。
UEでは、RoCEv2よりもマルチベンダー環境が構築しやすくなると思われます。

まとめ

Ethernetで業務特化型AIを構築することにより技術者の確保やコストダウンのメリットが得られます。
まずはRoCEv2で業務特化型AIのインフラをオンプレミスに構築してEthernetベースのAIインフラのノウハウを獲得し、将来的にはUEに移行するなども考えられると思います。
もちろんEthernetで構築するデメリットもあるため、オンプレミスに業務特化型AIのインフラを構築するときは、EthernetとInfiniBandそれぞれのメリット・デメリットを検討し、適切なネットワークを選択することが重要です。