Gyoukou

地球シミュレータ棟に設置された暁光。写真には写っていないが、この後ろに地球シミュレータ（3代目）がある

暁光（Gyoukou）は、ExaScalerとPEZY Computingによって開発されたスーパーコンピュータである。

スパコンの絶対性能を競うTOP500において2017年11月期に4位、スパコンの省エネ性能を競うGreen500の同期では5位となった。

2017年5月より海洋研究開発機構（JAMSTEC）横浜研究所が所有する地球シミュレータと同じ建物（通称・地球シミュレータ棟）にて設置されていたが、2018年4月に賃貸契約を解除された。そのため、暁光を開発したExaScaler社では暁光の再稼働先を探している。

概要

アクセラレータとしてExaScaler社が独自開発した高効率メニーコア・プロセッサの「ZettaScaler-2.2」を用い、冷却システムとしてフロリナートによる液浸冷却を用いているのが特徴。

2017年5月より全3台が設置されて部分的な運用が開始され、2017年11月にはスパコンの絶対性能を競うTOP500において4位をマーク。2017年12月に全26台が設置されて本格稼働し、TOP500で世界3位、Green500でも世界4位に相当する性能があるとされていた。

かつて地球シミュレータ（初代）が設置されていた海洋研究開発機構（JAMSTEC）横浜研究所の「地球シミュレータ棟（通称）」に設置されていた。その近くにはJAMSTECの所有するスパコンである地球シミュレータ（3代目）が設置されており、地球シミュレータ棟を所有するJAMSTECと賃貸借契約を結び、地球シミュレータがバージョンアップで小型化して空いたスペースを間借りする形で設置されていた。なお、TOP500の登録に関しては『システムが設置されている「サイト」』が行う規定になっているため、実際にシステムを所有するExaScaler社に代わって、大家に当たるJAMSTECが代行している。なお、地球シミュレータのバージョンアップで広大なスペースが空いたため、同じ棟には地球シミュレータの初代、2代目、地球シミュレータ棟全体の模型なども設置されており、横浜研究所の一般公開の際に一緒に見学することが出来た。

2017年1月に科学技術振興機構（JST）の産学共同実用化開発事業（NexTEP）として「磁界結合ＤＲＡＭ・インタフェースを用いた大規模省電力スーパーコンピュータ」の課題名で採択され、開発資金として行政より60億円の融資がなされ、世界トップクラスの性能を目指して2018年6月まで開発が続けられる予定だった。採択課題にある「高効率メニーコア・プロセッサ」と「液浸冷却」に関しては実現したが、「磁界結合DRAM・インタフェース」（TCI技術）に関しては、暁光が契約解除された2018年4月までには実現しなかった。

上記の通り、暁光はJAMSTECが開発資金を払って購入したわけではなく、暁光を所有するExaScale社がJAMSTECの所有する建物の一部を間借りして設置しているだけであった。60～80億円（日経コンピュータ推定）とみられる暁光の製造費は、行政からの融資とPezyグループ企業数社での増資を含む、ExaScaler社の自己資金で全て賄われた。JSTが資金融資の前提とした暁光の開発目的は上記の通りだが、ExaScaler社とっての暁光は「一種のマーケティング費であり、先行投資」とのことで、暁光の開発を通じて獲得した技術による独自の液浸冷却槽やシステムボード、これらを使ったスパコンの販売を通じて収益を得る考えを、2017年11月期TOP500の発表直後・逮捕直前の元社長は語っていた。

ExaScaler社の創業者がスパコン詐欺事件で逮捕された2017年12月以降、JSTからExaScaler社に対してヒアリング調査が行われ、その結果「採択時のものから大幅な計画変更となっており、本課題を採択した前提を欠くに至った」「計画の遅れに加えて、性能も目標に大きく届かない」とJSTに判断された。JSTに無断で計画の変更が行われた理由が不明で「社内の都合」としか説明されなかったため、JSTは同スパコンに関する開発事業の中止を決定し、2018年3月、本来なら開発に失敗した場合でも融資の1割の返済で済むはずだったところを「全額返済を求める」と言う厳しい判断を行い、2018年4月までに、60億円の融資のうち同社に支払い済みだった52億円を返還させた。JSTの判断を受け、JAMSTECは2018年4月にExaScaler社に賃貸借契約の解除を通知し、運用が停止された。

2018年4月現在、ExaScaler社では2018年内の再稼働を目指して暁光の移設先を探しており、「置いてもいい」というところの連絡を待っている。行政からの資金は引き揚げられたものの、TCI技術の開発自体はグループ会社のウルトラメモリ社によって継続されるとみられている。

2018年6月現在でも再設置先は見つかっておらず、2017年6月のTop500が発表されたISC 2018の会場でも、「国家プロジェクトがストップしたせいでGyoukouが停止させられた」ことと、「海外を含めて設置先を探している」ことを訴えている。

不正事案に係る再発防止に向けた対策

助成金の不正受給事案に関しては、NEDO自身で不正を発見することができず、司法当局の一連の捜査によって初めて発覚するという、NEDOの助成事業において前例のない事態となった。それを受け、2018年2月、NEDOは可能な限り早期に再発防止に取り組むために、裁判の決着を待たずに外部の専門家からなる調査委員会を設置。

2018年10月、上田廣一（委員長）らの外部有識者からなる調査委員会は、不正の内容と、要因分析や対策などを記した中間報告書を作成。「バンプレス３次元積層技術を用いた省電力メニーコアプロセッサの開発（「平成24年度戦略的省エネルギー技術革新プログラム」）」と「超広帯域Ｕｌｔｒａ ＷＩＤＥ－ＩＯ３次元積層メモリデバイスの実用化開発（「イノベーション実用化ベンチャー支援事業」） 」の2件において、 「外注費の架空請求」「ライセンス料の架空請求」「労務費の架空請求」の3点からなる不正が行われたことが確認され、「ペジー社と外注先とで口裏を合わせ」たり、また「内容虚偽の証憑や虚偽説明のための計画的な準備」などの「悪意を持った事業実施者による巧妙な詐取」のせいで、NEDOは不正が見抜けなかったことが報告された。これらの一連の搾取の発端は、「ペジー社の脆弱な財務状況が一因」であったという。

報告書においては、事業実施（候補）者の経営基盤等のチェック強化や、抜き打ち検査などが対策として提案された。また、NEDOの運営費交付金は税を原資とした公金であるという観点から、再発防止に全力で取り組むことをNEDOに求めている。

「不正を防止することが技術開発推進という政策目的を達成するうえで重要」（報告書、p.11）と言う観点からも、本機は国家プロジェクトとして大きな教訓を残した。

ハードウェア構成

フロリナートが満たされた水槽の一槽ごとに16ブロックが沈んでおり、1ブロックごとに、ホストプロセッサであるIntel Xeon D(16コア)が4個、アクセラレータであるPEZY-SC2モジュールが32枚、通信インタフェイスであるInfiniBand EDRカードが4枚、それぞれ搭載されている。ブロック内部はPCIeファブリックによって接続されており、各ブロック同士はInfiniBandで接続されている。

PEZY-SC2モジュールは1モジュールあたり、メインプロセッサとしてが2048コアのPEZYプロセッサ(1GHz)が1個、コントローラとしてMIPS64プロセッサが6コア、メモリとしてDDR4 DIMMが4枚（計64GB）、搭載されている。

Gyoukou全体では10000枚のPEZY-SC2モジュールと、1250個のIntel Xeon Dで構成されていることになる。PEZYモジュールは1モジュール当たりPEZYコアが2048コアなので、合計20,480,000（2048万）のPEZYコアがある計算になる。

性能

2017年11月時点での理論性能は28.19PFLOPS、消費電力は1,350kW、消費電力性能は14.17GFLOPS/W。

2017年6月期のTOP500には部分的に稼働した状態で参加し、1,677.1テラフロップをマークしてTOP500で69位に付けた。

2017年11月期のTOP500ではZettaScaler-2.2を搭載して本格稼働に近い状態で参加し、19,135.8テラフロップをマークしてTOP500で4位に付けた。なおランキングに参加した際はPEZY-SC2の2048コアのうち1984コアを700MHzで動作させた。

2017年12月には20.41PFLOPS、16.34GFLOPS/Wで本格稼働した。このスペックはTOP500では3位に相当、Green500でも4位に相当する。

関連項目

• Shoubu
• Suiren
• Suiren Blue
• PEZY-SC
• 技術的特異点