ExpEther
ExpEther(エクスプレスイーサ)は、PCI Express(PCIe)とEthernetを統合したシステムハードウェア仮想技術である。市販標準のPCIeデバイスをそのまま利用して計算機システムの再構成を実現するインターコネクション技術である。
概要
[編集]標準のPCI Expressスイッチを、論理的に等価性を保ったまま標準のEthernet上に分散的に配置する独特の“PCI Express switch over Ethernet”アーキテクチャを実現している。これにより、接続可能なPCIeのルート・コンプレックスやエンドポイント・デバイスの数を実質1,000個以上に、また、接続可能な距離を1,000メートル以上に拡張することができる。この時、OS、ドライバ、PCIeデバイス、Ethernetスイッチなど、すべての豊富な市販標準品をそのまま利用してシステム構成できる特徴を有する。また、どのルートとどのエンドポイント間にPCIe接続を行うかを遠隔から管理ソフトウェアを用いて制御することが可能で、PCIeの標準HotPlug機能に対応しているデバイスを、ソフトウェアから自由につけ外し可能である。
これにより、システム拡張や性能向上を行う際に、サーバ・ワークステーションなどの本体を並べる(スケールアウト)のではなく、必要なコンピュータ資源のみをEthernet上から追加して性能の向上を行う、スケールアップを実現する。また、データ通信方式として見た場合、Layer2のEthernet上にPCIe準拠のDMA(Direct Memory Access)が、TCP/IPを経ずに直接載っているため、大量のデータを低遅延で物理的な帯域を使い切って効率よく転送できる特徴がある。
通信速度
[編集]以下の実装形態が製品として提供されている。
実装 | PCIe論理規格 | 最大Lane速度 | Lane数 | Ethernet 1本 | Ethernet 2本 | SR-IOVデバイスの共有 |
---|---|---|---|---|---|---|
ASIC | PCIe Gen2 | 2 Gbps | 1 | 1 Gbps | 2 Gbps | — |
FPGA | PCIe Gen2 | 2 Gbps | 8 | 10 Gbps | 20 Gbps | — |
FPGA | PCIe Gen2 | 2 Gbps | 8 | 10 Gbps | 20 Gbps | 可能 |
FPGA | PCIe Gen3 | 8 Gbps | 8 | 40 Gbps | 80 Gbps | — |
歴史
[編集]今日の計算機はデータ解析や学習など多様な機能と高い性能が必要なため、目的にあった高性能デバイスを用いて用途に合わせた高性能計算機を構築したいというニーズがある。
しかし、従来の計算機構成では、CPUとI/Oデバイス間は、システムバス標準であるPCI Express (PCIe)で、一つの機器内に閉じられている。そのため、I/Oデバイスの数や構成が限られ、用途ごとに特化されたハードウェアをもつ計算機が必要であった。
そこで、NECの研究所は、それまで計算機内部で閉じていたPCI Express (PCIe)をネットワーク(Ethernet)上に仮想化し、Ethernetを介してCPUとI/Oデバイスを自由に接続できる計算機スケールアップ技術(ExpEther技術)を開発し、2006年12月に発表した[1]。
2012年5月には、ExpEther技術を搭載したExpEtherブリッジLSIを開発し、初めて製品化。ホスト側に装着する「ExpEtherボード(1G)」、各種I/OデバイスをEthernet経由で接続する「ExpEtherI/O拡張ユニット(1G)」、Ethernetを介してホストに接続する端末「ExpEtherクライアント」の3製品を発売した[2][3][4][5]。これを用いて世界で初めて、CPU、ストレージ、GPUなどの多種多様な市販PCIeデバイスを、利用目的に合わせて再構成可能な計算機システム(ExpEtherシステム)を実用化した。
以降、PCIeとEthernet規格の高性能化に伴い、順次ExpEtherブリッジLSIがリリースされている。
2013年10月、伝送性能を従来の1 Gbpsから10 Gbpsに大幅に向上したExpEtherボードとExpEther I/O拡張ユニットが発売された[6]。
2014年12月には、複数のコンピュータで、Ethernet上のPCIe SR-IOV対応デバイスを同時共有できる新機能を追加したExpEther I/O拡張ユニットが発売された[7]。
2016年2月には40 Gbpsへ高性能化したExpEtherボードとExpEther I/O拡張ユニットがアメリカで発売され、2017年5月には、日本にて同製品が発売されている。
普及
[編集]2008年11月に、ExpEther技術のオープンな普及を目指して「ExpEtherコンソーシアム」が設立された。日米26団体(2017年7月現在)で構成され、ExpEtherを利用した市場を拡大していくことを目的に、情報交換やプロモーション活動を行っている[8]。
2008年12月には、PCI Expressの標準化団体であるPCI-SIGで、規格テストと各社デバイスとの相互接続試験に合格し、PCI Express規格準拠の認証を受けている[9]。
2009年には、IEEE802.1Qauの標準化にStanford大学Balaji Prabhakar教授提案のQCN方式をExpEtherカードを用いた実験で実証した[10]。
2009年に、日経パソコン(2009/01/12号 p.17)[11]、日経ネットワーク(2009/01号 p.49)[12]にExpEtherに関する取材記事が掲載された。
2013年には、Interop Tokyo 2013のSHOWNETにて、ネットワーク監視ツールとしてExpEtherのend-to-endの遅延測定機能が提供された[13]。
ExpEther技術を利用した導入例としては、教育用と科学計算用でハードウェアを共有できる利点を生かした大阪大学のクラスタ型汎用コンピュータ・システム[14][15]・大規模可視化対応PCクラスタ[16]や、高信頼二重化通信を活かした航空管制システム、緊急通報システムが挙げられる。ほかに、放送、病院、工場などで幅広く利用されている。
NEC以外では、NECからの技術供与でInventure社(Synopsy社に買収)が開発キットをリリースし、Nethra社はASIC開発契約を締結した。アメリカ市場向けに複数の計算機システムベンダーとのODM契約[17]に加えて、Xilinx社やIBMとのサーバでの協業も実現した。
ロードマップ
[編集]ExpEtherブリッジLSIは、PCI ExpressとEthernet規格の高速化に対して、物理層だけを置換すれば将来も拡張性していけるため、PCIe-Gen4や100G-Ethernetの普及に伴い通信速度がUpgradeされる見込みである。
また、暗号化機能搭載による医療などの秘匿データの高速な移動と処理や、無線化[18]によるケーブルを敷設できない場所への利用拡大など、機能追加と適用先の拡大が試みられている。
脚注
[編集]- ^ プレスリリース(2006/12/6):PCI-Expressとイーサネットを統合する次世代インタフェースを開発
- ^ プレスリリース(2012/5/24):NEC、世界初の技術「ExpEther」を用いた製品を発売
- ^ 「LANを使うけどコンピュータ通信じゃない」新技術ExpEtherへの疑問にNECが回答日経ITpro 2012/05/25掲載
- ^ PCI Express機器をイーサネットでつなぐ「ExpEther」、NECが商用化ITmedia NEWS 2012/05/24掲載
- ^ NEC、Ethernetを通じてPCをスケールアップできる技術「ExpEther」クラウドWatch 2012/05/24掲載
- ^ プレスリリース(2013/10/24):NEC、小型筐体で拡張性を実現した省スペースワークステーションを発売
- ^ プレスリリース(2010/6/22):複数のコンピュータでハードディスクやネットワークカードなどを同時に共有する技術を開発
- ^ プレスリリース(2008/11/12):システムハードウェア仮想化技術ExpEther普及のためのユーザーコンソーシアムを設立
- ^ PCI-SIG Integrators List(2008/12/2追加)
- ^ implementing QCN
- ^ 日経パソコン(2009/01/12号)「ニュース&トレンド トレンド:PCIeをLANでつなぐ新技術が始動」
- ^ 日経NETWORK(2009/01号)「New Face Software:ExpEther:PCI Expressをイーサネットで延長する技術」
- ^ Shownet2013 活動レポート
- ^ 導入事例(国立大学法人大阪大学)
- ^ 大阪大学システム紹介 汎用コンクラスタ(HCC)
- ^ 大阪大学システム紹介 大規模可視化対応PCクラスタ(VCC)
- ^ Magma-Expansion-IO-Whitepaper
- ^ プレスリリース(2016/5/25):NEC、工場のIoTデバイスをリアルタイムに制御する高信頼無線ネットワーク技術を開発