EEMBC

EEMBC (the Embedded Microprocessor Benchmark Consortium：　エンバシーと発音)は、組み込みシステムで使われるハードウェアやソフトウェアの性能指標となる標準ベンチマークの策定にフォーカスして1997年に設立された非営利業界団体である。

概要

当該団体の運営はメンバーから集めた資金を元にしている。

メンバーらのゴールは、組み込み用プロセッサ、コンパイラ、および関連する組み込みシステムの実装を、客観的で、明確に定義されたアプリケーションベースの基準にのっとり評価できるようにするため、EEMBCベンチマークを業界標準とすることである。

EEMBCのメンバーは、ベンチマークの開発に貢献し、公開前の様々な段階でグループとして評決を行い、当該ベンチマークや仕様に開発の初期段階から参加することで、プラットフォームのテストを加速している。

人気のあるワーキンググループ

AutoBench 1.1 - 自動車、インダストリアル、および汎用向けシングルスレッド･コード

Networking - ネットワーク･アプリケーションのパケット伝送に特化したシングルスレッド･コード

MultiBench - マルチコア･プロセッサのスケーラビリティをテストするためのマルチスレッド･コード

CoreMark - 組み込みシステムで用いられるCPUの性能を測定

BrowsingBench - URL上での1クリックから最終ページが画面に描画されるまでのウェブブラウザのユーザ･エクスペリエンスを計るシステム･ベンチマーク。JavaScriptの実行性能測定に限定しない。

AndEBench-Pro - アンドロイド･プラットフォームの性能評価をするための業界標準的手法を提供するシステムベンチマーク。Google Playから無償ダウンロードが可能。

FPMark - 単精度、倍精度の浮動小数点の負荷向けのマルチスレッド･コード。小、中、および大規模データセットを含む。

ULPMark - 超低消費電力マイコン向けエネルギー消費量測定ベンチマーク。当該ベンチマークにはULPMark-Core(主にマイコンのコアの活動とスリープモード)とULPMark-Peripheral(ADコンバータ、SPI, RTC, PWMなどのマイコン･ペリフェラルにフォーカス)がある。

IoTConnect - IoTデバイス関連の性能と消費エネルギーを計るシステム･ベンチマーク。BluetoothにフォーカスしたIoTMark-BLE、実負荷を想定したIEEE 802.11 Wi-Fi用チップの消費電力を計測するIoTMark-Wi-Fiがある。

ADASMark - 組み込みヘテロジーニャス･コンピューティング･アーキテクチャに共通の、演算処理中心のアプリケーションにフォーカス。第一フェーズではオートモーティブ･サラウンド･ビュー関連の実アプリの負荷がある。

SecureMark - アプリケーション･デベロッパーがIoTデバイスのセキュリティ実装を分析するために、性能、エネルギー消費量、およびメモリ･ボトルネックを測定。

メンバー構成

　ボード　 - ワーキンググループへの参加が可能で、投票権があり、ボードミーティングへ１人のディレクターを任命可能。

　ワーキンググループ　- 参加したワーキンググループへの参加が可能であり、投票権がある。

ボードメンバー

• アナログ・デバイセズ
• ARM Holdings
• Cavium
• C-SKY Microsystems
• Flextronics
• ファーウェイ
• インテル
• NXPセミコンダクターズ
• ルネサスエレクトロニクス
• サムスン電子
• Silicon Labs
• STマイクロエレクトロニクス
• シノプシス
• テキサス・インスツルメンツ

ワーキンググループ･メンバー

• Andes Technology
• Cavium
• Codeplay
• Cypress Semiconductor
• デル
• Dialog Semiconductor
• Green Hills Software
• IAR Systems
• マイクロチップ・テクノロジー
• ノキア
• ノルディック・セミコンダクター
• Nvidia

沿革

EEMBCとtinyMLperfのコラボレーション。

EEMBCは、MLCommonsと協業することにより、機械学習用エネルギーベンチマークULPMark-MLを、MLCommonsの機械学習用性能ベンチマークtinyMLperfと方向性を合わせる計画である。

2020年4月以来の6ヶ月間、EEMBCのチームはモデルの選定、利用するデータセット、実行ルール、精度の方程式などについてMLCommonsと協議を行なってきた。長年蓄積されたエネルギー消費量の計測経験とともに組み込みソフトウェア自動化をシームレスに行なうノウハウを、EEMBCはもたらしている。

デスクトップ用ベンチマークでは、ユーザは単にコンパイルをし、実行ファイルを実行するだけだった。だが組み込みプラットフォームと異なり、この単純な作業でもクロスコンパイル、フラッシュ/FPGAプログラマ、デバッガIDEが、結果を収集するために必要である。また、様々なベンダーのSDKと通信ファームウェアAPIやポータブルな通信メカニズムが必要です。さらに機械学習では１つの推論では不十分で、１つの正解率指標を決定するために数百個の入力が必要であり、それらを手作業で繰り返すことは大変である。

IoTConnetと呼ぶEEMBCベンチマーク･フレームワークはまさにこの問題を解決する。具体的にはフレームワークに接続するための小さなファームウェア･スケルトンAPIを提供するのです。当APIは、簡単なテキストベースのプロトコルを定義し、当ベンチマークの実行を調整するためにクロスプラットフォーム･ホストUIランナー･アプリケーションを使います。多くの場合、他にもいくつかのデバイスも使う必要があります（例えばエネルギー･モニターやワイヤレス･ゲートウェイ）。

上記の能力によりML組み込みベンチマークは、再現性と一貫性のある、容易に作業のできるツールとなると思われる。

基本的なテストハーネス･ファームウェアはGitHubサイトにアップされている。

EEMBCではULPMark-ML/tinyMLperfのホストUIランナーを現在開発中で、最初のリリースは2021年第4四半期を予定している。

2023年10月30日、EEMBCは、SPEC　(The Standard Performance Evaluation Corporation)の新しい組込み系グループ（SPEC EG)になった。

参考文献

• アーム社がCortex A5プロセッサの詳細を発表　２００９年１１月　Electronic News Weekly Steve Bush 著
• EEMBCのマルチベンチが到来　２００８年７月　MPR Online Tom R.Halfhill 著
• Cell SPE向けポストリンク･コード再構成の最適化　ハイファ大学キャンパス　IBM ハイファ研究室　Daniel CitronとYaakov Yaari　　著