特許 7597407 ハードな制約を考慮した人工ニューラルネットワークと演算アクセラレータ構造の統合探索装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-02

(45)【発行日】2024-12-10

(54)【発明の名称】ハードな制約を考慮した人工ニューラルネットワークと演算アクセラレータ構造の統合探索装置及び方法

(51)【国際特許分類】

   G06N 3/0985 20230101AFI20241203BHJP

   G06N 3/084 20230101ALI20241203BHJP

【ＦＩ】

G06N3/0985

G06N3/084

【請求項の数】 9

(21)【出願番号】P 2023128690

(22)【出願日】2023-08-07

(65)【公開番号】P2024137603

(43)【公開日】2024-10-07

【審査請求日】2023-08-07

(31)【優先権主張番号】10-2023-0038887

(32)【優先日】2023-03-24

(33)【優先権主張国・地域又は機関】KR

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトの掲載日 ２０２２年 ８月２３日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｄｌ．ａｃｍ．ｏｒｇ／ｄｏｉ／１０．１１４５／３４８９５１７．３５３０５０７

(73)【特許権者】

【識別番号】514274672

【氏名又は名称】延世大学校 産学協力団

【氏名又は名称原語表記】ＵＩＦ （Ｕｎｉｖｅｒｓｉｔｙ Ｉｎｄｕｓｔｒｙ Ｆｏｕｎｄａｔｉｏｎ）， Ｙｏｎｓｅｉ Ｕｎｉｖｅｒｓｉｔｙ

【住所又は居所原語表記】５０，ＹＯＮＳＥＩ－ＲＯ， ＳＥＯＤＡＥＭＵＮ－ＧＵ， ＳＥＯＵＬ ０３７２２， ＲＥＰＵＢＬＩＣ ＯＦ ＫＯＲＥＡ

(74)【代理人】

【識別番号】110000051

【氏名又は名称】弁理士法人共生国際特許事務所

(72)【発明者】

【氏名】イ， ジン ホ

(72)【発明者】

【氏名】パク， ノ ソン

(72)【発明者】

【氏名】キム， ヨン ソク

(72)【発明者】

【氏名】ホン， ドク キ

(72)【発明者】

【氏名】チェ， カン ヒョン

(72)【発明者】

【氏名】イ， ヘ ユン

【審査官】山本 俊介

(56)【参考文献】

【文献】米国特許出願公開第２０２３／００７７９８７（ＵＳ，Ａ１）

【文献】特表２０２２－５４５０３８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２２／０１０８０５４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

ニューラルネットワークアーキテクチャを決定するＮＡＳ（Ｎｅｕｒａｌ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｓｅａｒｃｈ）モジュールと、
前記決定されたニューラルネットワークアーキテクチャによるアクセラレータアーキテクチャを決定し、前記決定されたニューラルネットワークアーキテクチャの損失及び前記決定されたアクセラレータアーキテクチャに関するハードウェアメトリックを予測するＨＤＸ（Ｈｉｇｈ－ｃｏｎｓｔｒａｉｎｅｄ Ｄｉｆｆｅｒｅｎｔｉａｂｌｅ Ｃｏ－Ｅｘｐｌｏｒａｔｉｏｎ）評価モジュールと、
勾配降下法に基づいて前記予測されたハードウェアメトリックが指定された制約を満たす方向に進むように損失関数（Ｌｏｓｓ）及び制約関数（Ｃｏｎｓｔ）の勾配を調節する勾配調節モジュールと、を備え、
前記勾配調節モジュールは、
前記予測されたハードウェアメトリックが指定された制約を満たさない場合、当該制約を満たす方向に前記ニューラルネットワークアーキテクチャを選別するように前記損失関数の勾配を調節し、
前記損失関数の勾配が前記制約関数の勾配との角度が９０度以下になるように擬似逆行列（ｐｓｅｕｄｏ－ｉｎｖｅｒｓｅ）を介して調節方向を算出することを特徴とするハードな制約を考慮した人工ニューラルネットワークと演算アクセラレータ構造の統合探索装置。

【請求項2】

前記ＮＡＳモジュールは、逆伝播（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を使用してスーパーネット（ＳｕｐｅｒＮｅｔ）内の経路を見つけて最終的に検索される前記ニューラルネットワークアーキテクチャを生成し、交差エントロピーの損失（ＬｏｓｓＣＥ）を算出することを特徴とする請求項１に記載のハードな制約を考慮した人工ニューラルネットワークと演算アクセラレータ構造の統合探索装置。

【請求項3】

前記ＨＤＸ評価モジュールは、
事前学習を介して構築され、前記決定されたニューラルネットワークアーキテクチャによる最適なハードウェアを前記アクセラレータアーキテクチャとして探索し、前記アクセラレータアーキテクチャに関するＰＥ（Ｐｒｏｃｅｓｓｉｎｇ Ｅｌｅｍｅｎｔ）アレイ構成（ＰＥｘ、ＰＥｙ）、レジスタファイル（ＲＦ：Ｒｅｇｉｓｔｅｒ Ｆｉｌｅ）構成、及びデータフロー（ＤＦ：ｄａｔａｆｌｏｗ）構成の少なくとも１つを決定するハードウェア生成ネットワーク（Ｈａｒｄｗａｒｅ ｇｅｎｅｒａｔｉｏｎ ｎｅｔｗｏｒｋ）と、
前記ニューラルネットワークアーキテクチャに関するパラメータ及び前記アクセラレータアーキテクチャに関する構成に基づいて前記ハードウェアメトリックを予測するコスト推定ネットワーク（Ｃｏｓｔ ｅｓｔｉｍａｔｉｏｎ ｎｅｔｗｏｒｋ）と、を含むことを特徴とする請求項１に記載のハードな制約を考慮した人工ニューラルネットワークと演算アクセラレータ構造の統合探索装置。

【請求項4】

前記コスト推定ネットワークは、残差接続がある多層パーセプトロンで構成し、前記多層パーセプトロンを介して遅延時間、面積、及びエネルギー消費量を決定し、前記ハードウェアメトリックを予測することを特徴とする請求項３に記載のハードな制約を考慮した人工ニューラルネットワークと演算アクセラレータ構造の統合探索装置。

【請求項5】

前記コスト推定ネットワークは、前記遅延時間、面積、及びエネルギー消費量に関するバランス加重合計をコスト関数として計算して前記ハードウェアメトリックを予測することを特徴とする請求項４に記載のハードな制約を考慮した人工ニューラルネットワークと演算アクセラレータ構造の統合探索装置。

【請求項6】

ニューラルネットワークアーキテクチャを決定するＮＡＳモジュール実行ステップと、
前記決定されたニューラルネットワークアーキテクチャによるアクセラレータアーキテクチャを決定し、前記決定されたニューラルネットワークアーキテクチャの損失及び前記決定されたアクセラレータアーキテクチャに関するハードウェアメトリックを予測するＨＤＸ評価モジュール実行ステップと、
勾配降下法に基づいて前記予測されたハードウェアメトリックが指定された制約を満たす方向に進むように損失関数（Ｌｏｓｓ）及び制約関数（Ｃｏｎｓｔ）の勾配を調節する勾配調節モジュール実行ステップと、を有し、
前記勾配調節モジュール実行ステップは、
前記予測されたハードウェアメトリックが指定された制約を満たさない場合、当該制約を満たす方向に前記ニューラルネットワークアーキテクチャを選別するように前記損失関数の勾配を調節し、
前記損失関数の勾配が前記制約関数の勾配との角度が９０度以下になるように擬似逆行列（ｐｓｅｕｄｏ－ｉｎｖｅｒｓｅ）を介して調節方向を算出することを特徴とするハードな制約を考慮した人工ニューラルネットワークと演算アクセラレータ構造の統合探索方法。

【請求項7】

前記ＮＡＳモジュール実行ステップは、逆伝播（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を使用してスーパーネット（ＳｕｐｅｒＮｅｔ）内の経路を見つけて最終的に検索される前記ニューラルネットワークアーキテクチャを生成し、交差エントロピーの損失（ＬｏｓｓＣＥ）を算出することを特徴とする請求項６に記載のハードな制約を考慮した人工ニューラルネットワークと演算アクセラレータ構造の統合探索方法。

【請求項8】

前記ＨＤＸ評価モジュール実行ステップは、
事前学習を介して構築され、前記決定されたニューラルネットワークアーキテクチャによる最適なハードウェアを前記アクセラレータアーキテクチャとして探索し、前記アクセラレータアーキテクチャに関するＰＥ（Ｐｒｏｃｅｓｓｉｎｇ Ｅｌｅｍｅｎｔ）アレイ構成（ＰＥｘ、ＰＥｙ）、レジスタファイル（ＲＦ：Ｒｅｇｉｓｔｅｒ Ｆｉｌｅ）構成、及びデータフロー（ＤＦ：ｄａｔａｆｌｏｗ）構成の少なくとも１つを決定するハードウェア生成ネットワーク（Ｈａｒｄｗａｒｅ ｇｅｎｅｒａｔｉｏｎ ｎｅｔｗｏｒｋ）実行ステップと、
前記ニューラルネットワークアーキテクチャに関するパラメータ及び前記アクセラレータアーキテクチャに関する構成に基づいて前記ハードウェアメトリックを予測するコスト推定ネットワーク（Ｃｏｓｔ ｅｓｔｉｍａｔｉｏｎ ｎｅｔｗｏｒｋ）実行ステップと、を含むことを特徴とする請求項６に記載のハードな制約を考慮した人工ニューラルネットワークと演算アクセラレータ構造の統合探索方法。

【請求項9】

前記コスト推定ネットワーク実行ステップは、残差接続がある多層パーセプトロンで構成し、前記多層パーセプトロンを介して遅延時間、面積、及びエネルギー消費量を決定し、前記ハードウェアメトリックを予測することを特徴とする請求項８に記載のハードな制約を考慮した人工ニューラルネットワークと演算アクセラレータ構造の統合探索方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人工ニューラルネットワークと専用ハードウェアアクセラレータとの統合探索技術に関し、より詳細には、人工ニューラルネットワークと演算アクセラレータとを統合探索しながら、１秒当たりのスループットやエネルギー消費量などのハードな制約を満たすことができるハードな制約を考慮した人工ニューラルネットワークと演算アクセラレータ構造の統合探索装置及び方法に関する。

【背景技術】

【0002】

殆どのＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）研究の主要な関心事は応用性能（即ち、正確度）であったが、実行のために膨大な計算リソース（ｒｅｓｏｕｒｃｅ）が必要なネットワークサイズの急速な成長ももたらした。近年、リソースの問題を緩和するための数多くの体系が登場しており、殆どがネットワーク及びハードウェアの最適化カテゴリのうちの１つに属する。ネットワークの最適化は、類似した正確度を維持しながら計算を減らすためにニューラルネットワークアーキテクチャを改善することをいい、ハードウェアの最適化は、アクセラレータという最適化されたハードウェアを使用してＤＮＮ実行の効率性を改善する作業が含まれる。残念ながら、一方の努力はしばしば他方の利点を妨げる。一例として、速い速度を出すために開発されたＭｏｂｉｌｅＮｅｔを有名なアクセラレータであるＴＰＵで実行する場合、一般ニューラルネットワークを実行するよりも遅い速度を出すことが知られているが、これは、チャンネルの数を減らすＭｏｂｉｌｅＮｅｔの特性がＴＰＵの加速化戦略に正面から違背するからである。

【0003】

このような理由で、アクセラレータで行われる作業が既に知られている場合には、アクセラレータと人工ニューラルネットワークを互いにシナジーを出せるように同時に設計することが必要である。

【0004】

既存の統合設計方法論は大きく２つに分けられる。第一は、強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ、ＲＬ）又は進化アルゴリズムに基づくものであり、伝統的な統合設計方式に近いと見られる。この方法では、任意のアクセラレータ構造及びニューラルネットワーク構造を有する解を導出した後にこれを評価し、評価結果に基づいてより良い解を見つけていく方法を選ぶ。伝統的には、より良い解を見つけるために量子化近似アルゴリズム、遺伝アルゴリズムなどを使用してディープラーニングの大衆化以降から強化学習を使用している。

【0005】

しかし、このような方法の場合、解が導出されるたびにこれを評価する過程が非常に長くかかるという欠点がある。人工ニューラルネットワークの場合、その正確度を評価するためには学習過程が必要であるが、通常ニューラルネットワーク１つの学習には数週間程度かかることが知られており、多量のサーバを使用して並列化を行っても、その莫大な演算量を負うのは容易なことではない。

【0006】

これを克服するために、逆伝播ベースの方法論が最近提示されているが、これはニューラルネットワーク探索方式に基づくものであり、ニューラルネットワーク及びアクセラレータの解空間を微分可能に設計した後、微分可能な経路のそれぞれに学習可能な乗算因子（ｆａｃｔｏｒ）を配置する方式で行われる。このように学習が終わると、最も大きな値を有する因子が配置された経路が最終の解となり、これに基づいてニューラルネットワーク及びアクセラレータの設計が導出される。ニューラルネットワークの場合には、こうして作られた構造を１回学習することで正確度を評価する。

【0007】

この方式は、殆どのディープラーニングベースの方法論及びその欠点を共有するが、これは、逆伝播が単一損失関数に依存するという点に起因する。所望の目標が１つの場合はあまり問題がないが、複数個の場合は、これらの目標間のバランスを希望通りに合わせることが難しく、特に特定の目標にハードな制約がある場合は、事実上反映できない。

【先行技術文献】

【特許文献】

【0008】

【文献】韓国公開特許第１０－２０１９－０１０１６７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、人工ニューラルネットワークと演算アクセラレータとを統合探索しながらハードな制約を満たすことができるハードな制約を考慮した人工ニューラルネットワークと演算アクセラレータ構造の統合探索装置及び方法を提供することにある。

【課題を解決するための手段】

【0010】

上記目的を達成するためになされた本発明の一態様によるハードな制約を考慮した人工ニューラルネットワークと演算アクセラレータ構造の統合探索装置は、ニューラルネットワークアーキテクチャを決定するＮＡＳ（Ｎｅｕｒａｌ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｓｅａｒｃｈ）モジュールと、前記決定されたニューラルネットワークアーキテクチャによるアクセラレータアーキテクチャを決定し、前記決定されたニューラルネットワークアーキテクチャの損失及び前記決定されたアクセラレータアーキテクチャに関するハードウェアメトリックを予測するＨＤＸ（Ｈｉｇｈ－ｃｏｎｓｔｒａｉｎｅｄ Ｄｉｆｆｅｒｅｎｔｉａｂｌｅ Ｃｏ－Ｅｘｐｌｏｒａｔｉｏｎ）評価モジュールと、勾配降下法に基づいて前記予測されたハードウェアメトリックが指定された制約を満たす方向に進むように損失関数（Ｌｏｓｓ）及び制約関数（Ｃｏｎｓｔ）の勾配を調節する勾配調節モジュールと、を備える。

【0011】

前記ＮＡＳモジュールは、逆伝播（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を使用してスーパーネット（ＳｕｐｅｒＮｅｔ）内の経路を見つけて最終的に検索される前記ニューラルネットワークアーキテクチャを生成し、交差エントロピーの損失（ＬｏｓｓＣＥ）を算出することができる。
前記ＨＤＸ評価モジュールは、事前学習を介して構築され、前記決定されたニューラルネットワークアーキテクチャによる最適なハードウェアを前記アクセラレータアーキテクチャとして探索し、前記アクセラレータアーキテクチャに関するＰＥ（Ｐｒｏｃｅｓｓｉｎｇ Ｅｌｅｍｅｎｔ）アレイ構成（ＰＥｘ、ＰＥｙ）、レジスタファイル（ＲＦ；Ｒｅｇｉｓｔｅｒ Ｆｉｌｅ）構成、及びデータフロー（ＤＦ；ｄａｔａｆｌｏｗ）構成の少なくとも１つを決定するハードウェア生成ネットワーク（Ｈａｒｄｗａｒｅ ｇｅｎｅｒａｔｉｏｎ ｎｅｔｗｏｒｋ）と、前記ニューラルネットワークアーキテクチャに関するパラメータ及び前記アクセラレータアーキテクチャに関する構成に基づいて前記ハードウェアメトリックを予測するコスト推定ネットワーク（Ｃｏｓｔ ｅｓｔｉｍａｔｉｏｎ ｎｅｔｗｏｒｋ）と、を含むことができる。
前記コスト推定ネットワークは、残差接続がある多層パーセプトロンで構成し、前記多層パーセプトロンを介して遅延時間、面積、及びエネルギー消費量を決定し、前記ハードウェアメトリックを予測することができる。
前記コスト推定ネットワークは、前記遅延時間、面積、及びエネルギー消費量に関するバランス加重合計をコスト関数として計算して前記ハードウェアメトリックを予測することができる。
前記勾配調節モジュールは、前記予測されたハードウェアメトリックが指定された制約を満たさない場合、当該制約を満たす方向に前記ニューラルネットワークアーキテクチャを選別するように前記損失関数の勾配調節を行うことができる。
前記勾配調節モジュールは、前記損失関数の勾配が前記制約関数の勾配との角度が９０度以下になるように擬似逆行列（ｐｓｅｕｄｏ－ｉｎｖｅｒｓｅ）を介して調節方向を算出することができる。
前記勾配調節モジュールは、前記予測されたハードウェアメトリックが指定された制約を満たさない場合、当該制約を満たす方向に前記アクセラレータアーキテクチャを選別するようにハードウェアコスト関数の勾配調節を行うことができる。

【0012】

上記目的を達成するためになされた本発明の一態様によるハードな制約を考慮した人工ニューラルネットワークと演算アクセラレータ構造の統合探索方法は、ニューラルネットワークアーキテクチャを決定するＮＡＳモジュール実行ステップと、前記決定されたニューラルネットワークアーキテクチャによるアクセラレータアーキテクチャを決定し、前記決定されたニューラルネットワークアーキテクチャの損失及び前記決定されたアクセラレータアーキテクチャに関するハードウェアメトリックを予測するＨＤＸ評価モジュール実行ステップと、勾配降下法に基づいて前記予測されたハードウェアメトリックが指定された制約を満たす方向に進むように損失関数（Ｌｏｓｓ）及び制約関数（Ｃｏｎｓｔ）の勾配を調節する勾配調節モジュール実行ステップと、を有する。

【0013】

前記ＮＡＳモジュール実行ステップは、逆伝播（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を使用してスーパーネット（ＳｕｐｅｒＮｅｔ）内の経路を見つけて最終的に検索される前記ニューラルネットワークアーキテクチャを生成し、交差エントロピーの損失（ＬｏｓｓＣＥ）を算出することができる。
前記ＨＤＸ評価モジュール実行ステップは、事前学習を介して構築され、前記決定されたニューラルネットワークアーキテクチャによる最適なハードウェアを前記アクセラレータアーキテクチャとして探索し、前記アクセラレータアーキテクチャに関するＰＥ（Ｐｒｏｃｅｓｓｉｎｇ Ｅｌｅｍｅｎｔ）アレイ構成（ＰＥｘ、ＰＥｙ）、レジスタファイル（ＲＦ；Ｒｅｇｉｓｔｅｒ Ｆｉｌｅ）構成、及びデータフロー（ＤＦ；ｄａｔａｆｌｏｗ）構成の少なくとも１つを決定するハードウェア生成ネットワーク（Ｈａｒｄｗａｒｅ ｇｅｎｅｒａｔｉｏｎ ｎｅｔｗｏｒｋ）実行ステップと、前記ニューラルネットワークアーキテクチャに関するパラメータ及び前記アクセラレータアーキテクチャに関する構成に基づいて前記ハードウェアメトリックを予測するコスト推定ネットワーク（Ｃｏｓｔ ｅｓｔｉｍａｔｉｏｎ ｎｅｔｗｏｒｋ）実行ステップとを含むことができる。
前記コスト推定ネットワーク実行ステップは、残差接続がある多層パーセプトロンで構成し、前記多層パーセプトロンを介して遅延時間、面積、及びエネルギー消費量を決定し、前記ハードウェアメトリックを予測することができる。
前記勾配調節モジュール実行ステップは、前記予測されたハードウェアメトリックが指定された制約を満たさない場合、当該制約を満たす方向に前記ニューラルネットワークアーキテクチャを選別するように前記損失関数の勾配調節を行うことができる。
前記勾配調節モジュール実行ステップは、前記予測されたハードウェアメトリックが指定された制約を満たさない場合、当該制約を満たす方向に前記アクセラレータアーキテクチャを選別するようにハードウェアコスト関数の勾配調節を行うことができる。

【発明の効果】

【0014】

本明細書に開示する技術は、次の効果を有する。但し、特定の実施形態が次の効果を全て含まなければならないとか、又は次の効果のみを含まなければならないという意味ではないため、開示する技術の権利範囲はこれによって制限されるものと理解してはならない。

【0015】

本発明のハードな制約を考慮した人工ニューラルネットワークと演算アクセラレータ構造の統合探索装置及び方法によれば、人工ニューラルネットワークと演算アクセラレータとを統合探索しながら、１秒当たりのスループット又はエネルギー消費量などのハードな制約を満たすことができる。

【0016】

また、勾配降下法を使用して探索を進めることによって、全体探索空間を代表する人工ニューラルネットワークを一度訓練することで探索を完了することができ、非常に速い探索が可能であり、ハードな制約が反映された微分可能な方式で遅延時間やエネルギー消費量のような直接的なハードウェアメトリックを最適化することができる。

【0017】

更に、ハードな制約によって勾配調節を通じてハードな制約を満たす方向に探索が進むように誘導することによって、設計目標を損なうことなく高品質の解を得ることができる。

【図面の簡単な説明】

【0018】

【図1】本発明による統合探索装置の機能的構成を説明する図である。

【図2】本発明によるハードな制約を考慮した人工ニューラルネットワークと演算アクセラレータ構造の統合方法の一例を説明するフローチャートである。

【図3】ハードな制約を考慮した損失関数調節方式の実験結果を示す図である。

【図4】本発明によるハードな制約を考慮した人工ニューラルネットワークと演算アクセラレータ構造の統合探索方法を説明する図である。

【図5】本発明による実験結果を説明する図である。

【図6】本発明による実験結果を説明する図である。

【図7】本発明による探索ネットワーク及びアクセラレータデザインの一例を説明する図である。

【発明を実施するための形態】

【0019】

本発明は、下記の研究課題をもって支援を受けて出願された。
［この発明を支援した国家研究開発事業］
［課題固有番号］ １７１１１９３９８６
［課題番号］ ２０２０－０－０１３６１－００４
［省庁名］ 科学技術情報通信部
［課題管理（専門）機関名］ 情報通信企画評価院
［研究事業名］ 情報通信放送革新人材養成
［研究課題名］ 人工知能大学院支援（延世大学校）
［寄与率］ １／１
［課題実行機関名］ 延世大学校産学協力団
［研究期間］ ２０２３．０１．０１～２０２３．１２．３１

【0020】

本発明に関する説明は、構造的又は機能的説明のための実施形態に過ぎないため、本発明の権利範囲は、本明細書に説明している実施形態によって制限されるものと解釈してはならない。即ち、実施形態は、様々な変更が可能であり、種々の形態を有することができるため、本発明の権利範囲は、技術的思想を実現できる均等物を含むものと理解しなければならない。また、本発明で提示している目的又は効果は、特定の実施形態がこれを全て含むべきであるとか、そのような効果だけを含むべきであるという意味ではないため、本発明の権利範囲は、これによって制限されるものと理解してはならない。

【0021】

一方、本明細書で述べる用語の意味は、次のように理解されなければならない。

【0022】

「第１」、「第２」などの用語は、１つの構成要素を他の構成要素から区別するためのものであって、これらの用語によって権利範囲が限定されてはならない。例えば、第１構成要素は第２構成要素と名付けられてもよく、同様に第２構成要素も第１構成要素と名付けられてもよい。

【0023】

ある構成要素が他の構成要素に「連結されて」いると言及する場合には、その他の構成要素に直接連結されることもあるが、中間に他の構成要素が存在することもあると理解されなければならない。それに対し、ある構成要素が他の構成要素に「直接連結されて」いると言及する場合には、中間に他の構成要素が存在しないものと理解されなければならない。一方、構成要素間の関係を説明する他の表現、即ち、「～間に」と「すぐ～間に」、又は「～に隣り合う」と「～に直接隣り合う」なども同様に解釈されなければならない。

【0024】

単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含むものと理解されなければならず、「含む」又は「有する」などの用語は、実施される特徴、数字、ステップ、動作、構成要素、部分品、又はこれらを組み合わせたものが存在することを指定しようとするものであり、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部分品、又はこれらを組み合わせたものの存在又は付加可能性を予め排除しないものと理解されなければならない。

【0025】

各ステップにおいて、識別符号（例えば、ａ、ｂ、ｃなど）は、説明の便宜のために使用されるものであって、識別符号は、各ステップの順序を説明するものではなく、各ステップは、文脈上明白に特定の順序を記載しない限り、明記された順序と異なって生じ得る。即ち、各ステップは、明記された順序と同一に生じることもあり、実質的に同時に行われることもあり、反対の順序で行われることもある。

【0026】

本発明は、コンピュータ読み取り可能な記録媒体にコンピュータ読み取り可能なコードとして実現され、コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが格納される全ての種類の記録装置を含む。コンピュータ読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ格納装置などがある。また、コンピュータ読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式でコンピュータ読み取り可能なコードが格納され、実行され得る。

【0027】

ここで使用する全ての用語は、異なって定義されない限り、本発明が属する分野における通常の知識を有する者により一般的に理解されるものと同じ意味を有する。一般的に使用される辞書に定義されている用語は、関連技術の文脈上有する意味と一致するものと解釈されなければならず、本明細書において明白に定義しない限り、理想的であるか又は過度に形式的な意味を有するものと解釈することはできない。

【0028】

以下、本発明を実行するための形態の具体例を、図面を参照しながら詳細に説明する。

【0029】

図１は、本発明による統合探索装置の機能的構成を説明する図である。

【0030】

図１を参照すると、統合探索装置１００は、全体の探索空間を代表する人工ニューラルネットワークを一度訓練することで探索を完了し、非常に速い探索を可能にして、ハードな制約を考慮した微分可能な方式で遅延時間やエネルギー消費量のような直接的なハードウェアメトリックを最適化する。そのための構成として、統合探索装置１００は、ＮＡＳ（Ｎｅｕｒａｌ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｓｅａｒｃｈ）モジュール１１０、ＨＤＸ（Ｈａｒｄ－ｃｏｎｓｔｒａｉｎｅｄ Ｄｉｆｆｅｒｅｎｔｉａｂｌｅ Ｃｏ－Ｅｘｐｌｏｒａｔｉｏｎ）評価モジュール１３０、及び勾配調節モジュール１５０を含めて実現される。

【0031】

ＮＡＳモジュール１１０は、ニューラルネットワークアーキテクチャを決定する動作を行い、ＨＤＸ評価モジュール１３０は、ＮＡＳモジュール１１０により決定されたニューラルネットワークアーキテクチャに対応するアクセラレータアーキテクチャを決定し、当該ニューラルネットワークアーキテクチャ及びアクセラレータアーキテクチャに関するハードウェアメトリックを予測する動作を行い、勾配調節モジュール１５０は、ＮＡＳモジュール１１０及びＨＤＸ評価モジュール１３０の統合探索過程でハードな制約を満たすように最適化する動作を行う。

【0032】

より具体的に、ＮＡＳモジュール１１０は逆伝播（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を使用してスーパーネット（ＳｕｐｅｒＮｅｔ）内の経路を見つけて、最終的に検索されるニューラルネットワークアーキテクチャを生成し、これに関する交差エントロピーの損失（ＬｏｓｓＣＥ）を算出する。

【0033】

一実施形態において、ＨＤＸ評価モジュール１３０は、事前学習を介して構築され、２つのネットワークを含めて構成される。即ち、ＨＤＸ評価モジュール１３０は、ハードウェア生成ネットワーク（Ｈａｒｄｗａｒｅ ｇｅｎｅｒａｔｉｏｎ ｎｅｔｗｏｒｋ）及びコスト推定ネットワーク（Ｃｏｓｔ ｅｓｔｉｍａｔｉｏｎ ｎｅｔｗｏｒｋ）を含む。

【0034】

先ず、ハードウェア生成ネットワークは、ＮＡＳモジュール１１０により決定されたニューラルネットワークアーキテクチャによる最適なハードウェアをアクセラレータアーキテクチャとして探索し、アクセラレータアーキテクチャに関するＰＥ（Ｐｒｏｃｅｓｓｉｎｇ Ｅｌｅｍｅｎｔ）アレイ構成（ＰＥｘ、ＰＥｙ）、レジスタファイル（ＲＦ、Ｒｅｇｉｓｔｅｒ Ｆｉｌｅ）構成、及びデータフロー構成の少なくとも１つを決定する動作を行う。即ち、ハードウェア生成ネットワークは、最適なハードウェアアーキテクチャを探索するために事前学習が行われ、最適なハードウェアアーキテクチャに関する最適な構成をパラメータとして生成する。例えば、ハードウェア生成ネットワークは、出力として最適なハードウェアアーキテクチャに関するＰＥアレイのフィーチャー（ＰＥｘ、ＰＥｙ）、レジスタファイルＲＦ、データフローＤＦ等を生成する。

【0035】

一実施形態において、ハードウェア生成ネットワークは、ニューラルネットワークアーキテクチャパラメータを入力として使用し、最適なハードウェアの実現を出力する。ハードウェア生成ネットワークは、特定のコスト関数に依存せず、制約条件に適応するように統合探索中に共同で訓練される。ハードウェア生成ネットワークは、ニューラルネットワークアーキテクチャから最適なアクセラレータ構造を決定するが、このとき、最適なアクセラレータ構造は、目標とする損失関数及びハードな制約に応じて変わる。ハードウェア生成ネットワークは、出力をコスト推定ネットワークの入力に連結するように実現され、損失関数を最適化する方向に学習させる。

【0036】

コスト推定ネットワーは、アクセラレータアーキテクチャに関する構成に基づいてハードウェアメトリックを予測する動作を行う。一実施形態において、コスト推定ネットワークは、ハードウェア生成ネットワーク及びＮＡＳモジュール１１０の出力を入力としてハードウェアメトリックを予測する。コスト推定ネットワークは、ネットワーク及びアクセラレータ検索空間によって事前訓練され、このためにＭＡＥＳＴＲＯ、Ｔｉｍｅｌｏｏｐ、Ａｃｃｅｌｅｒｇｙなどが使用される。コスト推定ネットワークは、事前訓練の後、ニューラルネットワークアーキテクチャが与えられたハードウェアコスト（Ｃｏｓｔ_ＨＷ）を推定する。一実施形態において、コスト推定ネットワークは、残差接続（ｒｅｓｉｄｕａｌ ｃｏｎｎｅｃｔｉｏｎ）のある多層パーセプトロンで構成される。

【0037】

一実施形態において、コスト推定ネットワークは、多層パーセプトロンを介して遅延時間（ｌａｔｅｎｃｙ）、面積（ａｒｅａ）、及びエネルギー消費量（ｅｎｅｒｇｙ ｃｏｎｓｕｍｐｔｉｏｎ）を決定してハードウェアメトリックを予測する。このとき、コスト推定ネットワークは、遅延時間、面積、及びエネルギー消費量に関するバランス加重合計をコスト関数で算出し、ハードウェアメトリックを予測する。

【0038】

勾配調節モジュール１５０は、勾配降下法に基づいて予測されたハードウェアメトリックが指定された制約を満たす方向に進むように損失関数（Ｌｏｓｓ）及び制約関数（Ｃｏｎｓｔ）の勾配を調節する。一実施形態において、勾配調節モジュール１５０は、予測されたハードウェアメトリックが指定された制約を満たさない場合、当該制約を満たす方向にニューラルネットワークアーキテクチャを選別するように損失関数の勾配調節を行う。勾配調節モジュール１５０は、損失関数の勾配が制約関数の勾配との角度が９０度以下になるように擬似逆行列（ｐｓｅｕｄｏ－ｉｎｖｅｒｓｅ）を介して調節方向を算出する。

【0039】

一実施形態において、勾配調節モジュール１５０は、予測されたハードウェアメトリックが指定された制約を満たさない場合、当該制約を満たす方向にアクセラレータアーキテクチャを選別するように損失関数の代わりにハードウェアコスト関数（ｃｏｓｔ ｆｕｎｃｔｉｏｎ）の勾配調節を行う。

【0040】

図２は、本発明によるハードな制約を考慮した人工ニューラルネットワークと演算アクセラレータ構造の統合探索方法の一例を説明するフローチャートである。

【0041】

図２を参照すると、統合探索装置１００は、ＮＡＳモジュール１１０を介してニューラルネットワークアーキテクチャを決定する（ステップＳ２１０）。統合探索装置１００は、ＨＤＸ評価モジュール１３０を介してニューラルネットワークアーキテクチャによるアクセラレータアーキテクチャを決定する（ステップＳ２３０）。統合探索装置１００は、ＨＤＸ評価モジュール１３０を介してニューラルネットワークアーキテクチャの損失及びアクセラレータアーキテクチャに関するハードウェアメトリックを予測する（ステップＳ２５０）。統合探索装置１００は、勾配調節モジュール１５０を介して勾配降下法に基づいて予測されたハードウェアメトリックが指定された制約を満たす方向に進むように損失関数（Ｌｏｓｓ）及び制約関数（Ｃｏｎｓｔ）の勾配を調節する（ステップＳ２７０）。

【0042】

以下、図３～図７を参照して、本発明によるハードな制約を考慮した人工ニューラルネットワークと演算アクセラレータ構造の統合探索方法をより具体的に説明する。

【0043】

ニューラルネットワークアーキテクチャ検索（ＮＡＳ：Ｎｅｕｒａｌ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｓｅａｒｃｈ）は、増加するネットワークのサイズ及びこれに相応する受動的な設計の努力に対応するために、ＤＮＮアーキテクチャの設計を自動化する。ニューラルネットワークアーキテクチャ検索において、初期にはネットワークの生成のために強化学習（ＲＬ）又は進化アルゴリズム（ＥＡ）が採択されてきた。

【0044】

但し、このようなアルゴリズムの場合、検索コストが非常に高いことがあり、全ての候補に要求される全体学習（ｆｕｌｌ ｔｒａｉｎｉｎｇ）により、最大数千個のＧＰＵ日（ＧＰＵ－ｄａｙｓ）がかかる。微分可能な（ｄｉｆｆｅｒｅｎｔｉａｂｌｅ）ニューラルネットワークアーキテクチャ検索は、このようなコストを緩和する方法でスーパーネット（ＳｕｐｅｒＮｅｔ）を作り、その中で経路を見つける。即ち、微分可能なニューラルネットワークアーキテクチャ検索は、何倍も短い時間内に最先端の性能のネットワークを見つけることができる。それにも拘らず、ネットワークの性能だけで最適化することは、ハードウェアの効率性を考慮していないため不十分なことがある。この問題を解決する一部の最近の作業は、損失条件を追加してハードウェアコストを考慮し、一部は簡単な遅延時間モデルを使用して遅延時間の制約に対するネットワークのサイズを減らすために試みる。しかし、ネットワークの設計のみが考慮され、ネットワークの正確度とハードウェア構造との間の関係がモデルに反映されないため、統合探索に使用できない。

【0045】

統合探索に対する初期の作業は、強化学習の変形又は進化アルゴリズムを活用して単純性を活用する。各候補ネットワークは評価のために訓練され、アクセラレータの設計はハードウェアの効率性のために分析される。このような値は、エージェントが次の候補解を生成するのに使用する補償を生成する。しかし、これらの全ては各候補解を評価するためにかなりコストがかかる訓練が必要なＲＬベースのＮＡＳ方法で同じ問題を継承する。また、統合探索はネットワークのみを検索するよりも更に大きいネットワーク／ハードウェア検索空間が必要である。

【0046】

これに関して、微分可能なアクセス方式が統合探索に採択された。Ａｕｔｏ－ＮＢＡは微分可能なアクセラレータ検索エンジンを使用して統合検索のパイプラインを構築し、ＤＡＮＣＥはハードウェア検索及びコスト評価のために補助のニューラルネットワークを訓練した。しかし、ハードな制約条件の問題を適切に取り扱っていない。本発明は、微分可能な統合探索に対するハードな制約を処理する全体論的方法を提案する。

【0047】

微分可能な統合探索内でハードな制約を考慮する非常に簡単な方法は、ハードウェアコストに対する相対的重みを調節することである。例えば、正確度（ｃｒｏｓｓ－ｅｎｔｒｏｐｙ）、遅延時間、エネルギーを同時に考慮する場合、次の数式１のような損失関数の設定が可能である。

【0048】

【数1】

【0049】

ここで、λ_Ｃｏｓｔを調節することによって、解が関数のどの部分により集中するかを調節可能である。λ_Ｃｏｓｔを増加させると、検索プロセスがハードウェアメトリックをより多く考慮するように間接的に指示するが、より大きなペナルティを与えることが制約メトリック値の減少に直接つながるわけではない。

【0050】

図３は、このような問題を端的に示す。λ_Ｃｏｓｔを０．００１から０．０１０まで調節していき、各地点から３回ずつ探索を進めた結果であり、３回探索の平均値が太い円で表示されている。λ_Ｃｏｓｔによってわずかな傾向が観察されたとしても、軌跡の方向及び分散の両方で不一致がより優勢である。設計者が既存の統合探索方法を使用して一部の制約条件（例えば、３３．３ｍｓ）で遅延時間があるニューラルネットワーク－アクセラレータアーキテクチャの組を設計しようとするシナリオを考慮する場合、初期のλ_Ｃｏｓｔで探索を試みて、複数の探索過程で値を調節することができる。しかし、λ_Ｃｏｓｔ間のこのような不一致及び遅延時間は、探索を数回進める莫大な時間コストはいうまでもなく、適切な解を得ることも難しくする。ハードな制約統合探索の問題を解決するための効果的な戦略の設計が必要である。

【0051】

ハードな制約がある微分可能な統合探索は、次の数式２で定義される。

【0052】

【数2】

【0053】

ここで、ｔは、遅延時間又はエネルギーのような制約されたメトリックの現在値を示し、Ｔは、対象値（例えば、遅延時間の場合３３．３ｍｓ）を示す。α及びβは、それぞれニューラルネットワークアーキテクチャパラメータ及びハードウェアアクセラレータの構成を示す。ｗは、ＮＡＳスーパーネットの重みであり、ｎｅｔ（α）は、選択されたニューラルネットワークアーキテクチャである。ｅｖａｌ（α、β）は、α及びβに対して評価されたハードウェアメトリックを示す。統合探索の目的は、ユーザから定義されたニューラルアーキテクチャの損失（Ｌｏｓｓ_ＮＡＳ）とハードウェアコスト（Ｃｏｓｔ_ＨＷ）の２つの評価メトリックを使用して表現される。

【0054】

図４を参照すると、本発明による統合探索装置１００で実行される統合探索方法が図示されている。即ち、本発明による統合探索方法は、ＨＤＸ（Ｈａｒｄ－ｃｏｎｓｔｒａｉｎｅｄ Ｄｉｆｆｅｒｅｎｔｉａｂｌｅ ｃｏ－ｅＸｐｌｏｒａｔｉｏｎ）というハードな制約を考慮した微分可能な統合探索方法に該当する。図４の（ａ）における左側部分は、ネットワーク検索モジュール（即ち、図１のＮＡＳモジュール１１０に対応する）に該当し、逆伝播（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を使用してスーパーネット内の経路を見つけることによって、最終的に検索されるネットワークを生成する。

【0055】

図４の（ａ）における右側部分は、ネットワーク検索モジュールから取得されたアーキテクチャパラメータを用いて最適なハードウェアアクセラレータの設計を検索し、コストメトリックを評価する評価器（ｅｖａｌｕａｔｏｒ）（即ち、図１のＨＤＸ評価モジュール１３０に対応する）に該当する。評価器ネットワークｅｖａｌ（）は、ハードウェアアクセラレータ間の関係を考慮し、勾配（ｇｒａｄｉｅｎｔ）がスーパーネットに流れるようにする微分可能な統合探索の核心である。評価器ネットワークは、ハードウェア生成ネットワークｇｅｎ（）と推定ネットワークｅｓｔ（）で構成される。ハードウェア生成ネットワークは、ニューラルアーキテクチャパラメータを入力として最適なハードウェアの実現を出力する（即ち、数式２のβに該当する）。ハードウェア生成ネットワークは、特定のコスト関数に依存せずに制約条件に適応するように統合探索中に共同で訓練される。

【0056】

推定ネットワークは、ネットワーク検索モジュール及び生成ネットワークの出力を取得し、ハードウェア関連のメトリックを出力する。推定ネットワークは、ネットワーク及びアクセラレータ検索空間によって事前訓練される。このために、ＭＡＥＳＲＴＯ、Ｔｉｍｅｌｏｏｐ、及びＡｃｃｅｌｅｒｇｙのような伝統的な（微分できない）コスト推定フレームワークを正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）として使用する。事前訓練の後、推定ネットワークは、探索中に固定（ｆｒｏｚｅｎ）され、ネットワークアーキテクチャが与えられたハードウェアコストを推論するためにのみ使用される。これにより、上記数式２は、次の数式３のように変換される。

【0057】

【数3】

【0058】

ここで、ｖは、ハードウェア生成ネットワークに対する重みである。

【0059】

本発明は、微分可能な統合探索方法にハードな制約に対する効果的なソリューションとして勾配調節を適用する。勾配調節は、連続関数又は微分方程式のような多数の目標を達成するためによく使用される。ここでは、ハードな制約を満たすために、統合探索に勾配調節を適用する。図４の図（ｂ）及び（ｃ）を参照すると、勾配調節方式は制約に同意する方向に勾配を引くことができる力を人為的に生成する。新しい勾配ｇを計算するために方法が適用される条件は、次の数式４のように定義される。

【0060】

【数4】

【0061】

ここで、ｇ_Ｌｏｓｓは、上記数式３に示したように、次の数式５のように定義されたグローバル損失関数の元の勾配である。

【0062】

【数5】

【0063】

ｇ_{Ｃｏｎｓｔ}は制約損失の勾配であり、Ｃｏｎｓｔ＝ｍａｘ（ｔ－Ｔ，０）で定義される。ｔはαの関数であるため、αに対する勾配を見つけるために逆伝播される。ｔ≦Ｔの理想的な場合には、制約が既に満たされているため、何もしない。制約が依然として満たされない場合には、２つの勾配の内積を計算し、当該方向の一致を決定する。ｇ_Ｌｏｓｓ・ｇ_{Ｃｏｎｓｔ}≧０（即ち、２つの勾配間の角度が９０度以下）である場合、勾配降下更新が制約を満たすのに寄与することを意味する。従って、方向の一致として解釈され、同じｇ_Ｌｏｓｓがそのまま使用される（図４の図（ｂ）に該当）。しかし、図４の図（ｃ）に示すように、不一致の場合（即ち、ｇ_Ｌｏｓｓ・ｇ_{Ｃｏｎｓｔ}＜０）、勾配がｍ_αだけ方向を移動するように強制して（ｍ_α＋ｇ_Ｌｏｓｓ）・ｇ_{Ｃｏｎｓｔ}≧０から求めて、勾配下降の後、目標コストの減少を保証する。これは、ｍ_α・ｇ_{Ｃｏｎｓｔ}＋ｇ_Ｌｏｓｓ・ｇ_{Ｃｏｎｓｔ}＝δで再構成される。ここで、δ≧０は、制約を満たす方向に漸進的な移動を保証するための小さい値である。α及びｗを更新するためにネットワークアーキテクチャのパラメータであるαに対する最適なｍ_αを解決する。

【0064】

ｍ_αは、ハードな制約の勾配に平行であり、そのサイズは損失関数の勾配に与える影響を制限するために、最小限に定める。これは、ｐｓｅｕｄｏ－ｉｎｖｅｒｓｅを介して簡単に計算可能であり、次のように表現される。

【0065】

【数6】

【0066】

プル（ｐｕｌｌ）のサイズを制御するために、δに小さな乗算係数ｐ＞０を使用する。ｐを使用してδを更新するポリシーは次の通りである。

【0067】

δに対する一部の初期値δ_０が存在する。対象メトリックが制約を満たさない場合、δに１＋ｐを掛けてプルを強化し（δ′＝（１＋ｐ）δ））、制約を満たす場合、δが初期値に再設定される（δ′＝δ_０）。勾配降下法を使用してハードウェア生成ネットワークの重みであるｖも訓練される。従って、同じ方式でｍ_ｖ ^＊に対して計算するが、ハードウェア生成ネットワークの更新のためにｇ_Ｌｏｓｓの代わりにｇ_{ＣｏｓｔＨＷ}を使用する。これを応用して、ハードな制約が多数個存在する場合にも適用され、この場合は、次の数式７で表現される。

【0068】

【数7】

【0069】

基本的に、ハードウェアのコスト関数は、３つのハードウェアコストメトリックに関するバランス加重合計をコスト関数Ｃｏｓｔ_ＨＷとして使用し、次の数式８のように表現される。

【0070】

【数8】

【0071】

ＣＥ、ＣＬ、及びＣＡを制御することによって、各コストメトリック間のバランスを測定する方法に対する条件が設定される。このようなハイパーパラメータのスケール（ｓｃａｌｅ）をマッチングさせるために、各コストに対してｍＪ、ｍｓ、及びμｍ^２の単位が使用される。

【0072】

また、推定及び生成ネットワークは、残差接続がある５－階層パーセプトロン（Ｐｅｒｃｅｐｔｒｏｎ）でモデリングされる。推定ネットワークを訓練するために、先ず検索空間で１０．８Ｍネットワークアクセラレータの組（全体検索空間の２．９５ｅ－９％）をランダムにサンプリングしてデータセットを構築し、Ｔｉｍｅｌｏｏｐ及びＡｃｃｅｌｅｒｇｙを使用してハードウェアメトリックで評価する。このデータセットを使用し、推定ネットワークは、バッチサイズ２５６で２００エポック（ｅｐｏｃｈ）に対して訓練する。重み更新は、学習率が１ｅ－４のＡｄａｍオプティマイザを使用して実行される。推定ネットワークの正確度は、全てのメトリックにおいて９９％以上であり、統合探索のためのエンジンとして十分に強力である。生成ネットワークは、ランダムに初期化され、ＮＡＳスーパーネットと共同で訓練される。ハードな制約で調節された勾配が逆伝播されるにつれて、生成ネットワークは、与えられたニューラルネットワークアーキテクチャの制約を満たすアクセラレータを生成する方法を学習する。

【0073】

検索空間（Ｓｅａｒｃｈ Ｓｐａｃｅ）は、ＰｒｏｘｙｌｅｓｓＮＡＳがバックボーンとして使用される。カーネルサイズが｛３，５，７｝であり、拡張比率が｛３，６｝であるＭＢＣｏｎｖ作業の様々な設定で構成される。総階層数は、ＣＩＦＡＲ－１０及びイメージネット（ＩｍａｇｅＮｅｔ）データセットに対してそれぞれ１８個及び２１個である。本発明は、ＮＡＳ実現と直交して、ＤＡＲＴＳ又はＯＦＡのような微分可能なＮＡＳアルゴリズムの中から選択される。アクセラレータのバックボーンアーキテクチャとしてＥｙｅｒｉｓｓが使用される。これは、各ＰＥがレジスタファイルに接続されたＭＡＣ（Ｍｕｌｔｉｐｌｙ－Ａｃｃｕｍｕｌａｔｅ）装置を有する２次元のＰＥアレイで構成される。従って、ハードウェアアクセラレータの設計空間は、１２×８から２０×２４までのＰＥアレイサイズ、１６Ｂから２５６ＢまでのＰＥ当たりのレジスタファイルサイズを含む。また、検索空間は、ＷＳ（Ｗｅｉｇｈｔ－Ｓｔａｔｉｏｎａｒｙ）、ＯＳ（Ｏｕｔｐｕｔ－Ｓｔａｔｉｏｎａｒｙ）、及びＲＳ（Ｒｏｗ－Ｓｔａｔｉｏｎａｒｙ）のデータフローを含む。

【0074】

以下、本発明に関する実験結果を説明する。

【0075】

≪実験（ＥＸＰＥＲＩＭＥＮＴＳ）≫

【0076】

＜実験環境（Ｅｘｐｅｒｉｍｅｎｔａｌ Ｅｎｖｉｒｏｎｍｅｎｔ）＞

【0077】

ＣＩＦＡＲ－１０及びイメージネット（ＩｍａｇｅＮｅｔ）データセットを使用して実験を行った。報告された全てのハードウェアメトリック（遅延時間、エネルギー、及びチップ面積）に対して、学習されたモデルでできるだけエラーを防止するために、コスト推定ネットワークにより出力された値の代わりに、タイムループ及びアクセラレータで設計されたハードウェアに対する直接評価を使用した。ネットワーク正確度の評価は、最終のネットワークアーキテクチャを訓練して行われ、バッチサイズ６４を使用して３００エポックの間に初めから訓練する。Ｎｅｓｔｅｒｏｖモーメンタムと共にＳＧＤオプティマイザを使用し、初期値が０．００８であるコサイン学習速度スケジューリングを使用し、重み減衰項とモーメンタムは、それぞれ１ｅ－３と０．９である。訓練データに対する拡張は、両データセットの全てでＡｕｔｏＡｕｇｍｅｎｔから採択される。

【0078】

＜既存の方法との比較（Ｃｏｍｐａｒｉｓｏｎ ｗｉｔｈ Ｅｘｉｓｔｉｎｇ Ｍｅｔｈｏｄｓ）＞

【0079】

次の表１は、ＨＤＸと比較し、既存の微分可能な統合探索方法を並べている。

【0080】

【表1】

【0081】

ここで、比較対象方法は次の通りである。

【0082】

ＮＡＳ→ＨＷ：微分可能な一般ＮＡＳのみあり、タイムループ（Ｔｉｍｅｌｏｏｐ）を使用して徹底したハードウェア検索が続く。

【0083】

Ａｕｔｏ－ＮＢＡ：勾配降下法を使用してハードウェア媒介変数を直接検索する微分可能な統合探索方法であり、ハードウェアとＤＮＮとの間の関係をルックアップテーブルで表現する。

【0084】

ＤＡＮＣＥ：ハードウェア生成ネットワーク及びコスト推定ネットワークがニューラルネットワークとしてモデリングされるハードな制約条件のない微分可能な統合探索方法である。

【0085】

ＤＡＮＣＥ＋Ｓｏｆｔ Ｃｏｎｓｔｒａｉｎｔ：既存の解で制約条件を考慮する合理的なアクセス方式を示すために、ソフトな制約条件の用語λ_Ｓｏｆｔ・ｍａｘ（ｔ／Ｔ－１，０）を追加した。

【0086】

ＨＤＸ：ｐ＝１ｅ－２の提案方法である。

【0087】

上記表１に示すように、ＨＤＸは、微分可能な統合探索と共にハードな制約条件を考慮する唯一の方法である。定量的比較のために、ハードな制約なく統合探索を使用して制約された解を見つけるアルゴリズムを考案した。制約されたメトリック（例えば、遅延時間）が低すぎるということは、しばしば非効率的な解を意味するため（他のメトリック（例えば、正確度及びエネルギー）の側面で）、対象制約条件の５０％～１００％の解を有する基準を設定した。二分検索に似たアルゴリズムの概略的なスケッチは次の通りである。

【0088】

（１）制約条件（例えば、遅延時間）でメトリックに間接的に影響を与える制御媒介変数（λ_Ｓｏｆｔ及びλ_Ｃｏｓｔ）を選択する。

【0089】

（２）基本制御媒介変数値を使用して検索を行う。

【0090】

（３）メトリックが制約条件下にあるまで各ステップで制御媒介変数を２倍に増やして検索を行う。

【0091】

（４）メトリックが目標値の５０％未満である場合、二分検索の方式で制御媒介変数を縮小する。

【0092】

この問題は、検索毎の大きな変動及び非線形関係により、二分検索で正確に解くことができない。実際の実現では、コーナーケースを処理し、誤った媒介変数領域（検索別の変動により発生する）に陥らないように、より多くの機能が追加された。アルゴリズムを１００回実行して平均を報告し、また平均エラーを解品質に対するプロキシに報告した。

【0093】

上記表１に提示されているように、全てのベースライン（ｂａｓｅｌｉｎｅｓ）は制約条件を満たす解を見つけるために複数の検索が必要である。ＤＡＮＣＥの場合、平均１２．２ＧＰＵ時間で６．６検索、ソフトな制約条件でも４．９検索及び９．１ＧＰＵ時間がかかる。これに対し、ＨＤＸは常に単一検索で制約条件を満たす解を検索する。また、ベースライン検索の回数は、制御媒介変数の基本値の選択によって大きく変わる。正しい初期の媒介変数を推測することは難しく、より大きな繰り返しコストが発生する。これは、ＨＤＸの必要性を擁護する。

【0094】

＜統合探索結果（Ｃｏ－ｅｘｐｌｏｒａｔｉｏｎ Ｒｅｓｕｌｔｓ）＞

【0095】

図５は、ＣＩＦＡＲ－１０データセットに対する様々な技術の統合探索の実験結果を２次元プロットで示す。横軸は人工ニューラルネットワークの正確度であり、縦軸は左側と中間の場合は遅延時間を、右側の場合は損失関数のハードウェア因子の全てを示す。遅延時間が３０フレーム（３３．３ｍｓ）及び６０フレーム（１６．６ｍｓ）の２つの場合を実験した。全ての統合探索方法について、λ_Ｃｏｓｔを０．００１から０．００５に変更し、５つの解を得て各アクセス方式から得られた多様な設計ポイントを公正に比較した。

【0096】

ＮＡＳ→ＨＷは、統合設計ではなく人工ニューラルネットワークを先に設計し、これによってアクセラレータ構造を導出する方法論（個別設計）をいい、ＤＡＮＣＥ及びＡｕｔｏ－ＮＢＡは既存のハードな制約を考慮しない逆伝播ベースの方法論に損失関数技法を活用したものである。最後に、ＨＤＸは本発明で提案した技法を示す。ＮＡＳ→ＨＷの場合、λ_Ｃｏｓｔを直接適用できないため、参照用として多様な範囲の１０個の解を得る。ＤＡＮＣＥ及びＡｕｔｏ－ＮＢＡの場合、黒色マーカーは拘束されず、カラーマーカーは当該色相のソフトな拘束で取得される。

【0097】

全ての実験において、数式８でＣＥ＝２．９，ＣＬ＝６．２，ＣＡ＝１．０を使用し、公正な比較のために各メトリックの差の尺度を略等しくする。ＮＡＳ専用方式の場合、Ｃｏｓｔ_ＨＷはハードウェア設計ステップで使用された。

【0098】

図５の図左側及び中間は、エラーと遅延時間との間の関係を示し、色付きの横棒は、２つの遅延時間の目標を示す。λ_Ｃｏｓｔの値に関係なく、ＨＤＸが見つけた全ての解が与えられたハードな制約を合わせていることが容易に分かる。また、全ての解が制約条件のすぐ下に遅延時間があり、解が制限されたメトリック（遅延時間）に対して過度に最適化されていないことを示す。ＤＡＮＣＥ及びＡｕｔｏ－ＮＢＡは、ハードウェアメトリックと正確度との間の折衷点を活用するが、制約条件を満たすためには制御できない。ソフトな制約条件を使用しても、制約内の解を得るのに殆ど失敗した。

【0099】

個別設計の場合、事実上正確度に重点を置いたあまり、ハードウェア関連の目標を考慮できておらず、損失関数ベースの方法論を考慮した２つの技法とも３０フレーム及び６０フレーム共に多くの場合ハードな制約目標を達成できなかった。特に、３０フレームの場合には、偶然目標を達成する場合も多数あったが、６０フレームのような難しい制約がある場合には、損失関数の修正にも拘らず目標を達成できなかった。これは、損失関数は最適化のためのわずかなガイドを提供するだけであって、実質的なハードな制約を強制できないためである。

【0100】

右側のプロットは、損失関数を正確度とハードウェア数値との２つに分けて、損失関数の最適化品質を示すが、左側の下であるほど優れた結果である。図から容易に確認できるように、提案した技法は、既存の技法に比べて損失関数の品質において全く遅れておらず、むしろより優れた場合も存在することが分かり、これは本方法が品質を犠牲にしてハードな制約を達成するものではないことを示す。

【0101】

＜ＨＤＸが見つけた解の品質（Ｓｏｌｕｔｉｏｎ Ｑｕａｌｉｔｙ Ｆｏｕｎｄ ｂｙ ＨＤＸ）＞

【0102】

本発明で提案したＨＤＸ方法は、１）３つのメトリック（遅延時間、エネルギー、及びチップ面積）の全ての制約条件を処理し、２）様々な制約条件を処理し、３）全般的に優れた品質の解が得られることを示す。図５の右側の場合は、Ｃｏｓｔ_ＨＷ及びエラーを共に表示し、パレートの最適化の側面で解の品質を評価する。図５の左側及び中間の場合は、他のメトリックを見落としているため、Ｃｏｓｔ_ＨＷを共に比較することで公正しなければならない。

【0103】

プロットを見ると、ＨＤＸの解の品質がＮＡＳ→ＨＷ方式よりも優れており、既存の統合探索方式に比べて、低下がないことが分かる。実際に、厳しく制限（１６．６ｍｓ）された解は、パレートの最適化の側面で既存の解よりもより良い解を見つけることができる。ＨＤＸが見つけた解の品質をより詳しく研究するために、また別の一連の実験を行った。既存の統合設計方式であるＤＡＮＣＥ方法によって得られた解を「Ａｎｃｈｏｒ」と呼び、次の表２に並べる。

【0104】

【表2】

【0105】

上記表２は、多様なセッティングで提案された方式がハードな制約を満たし、統合設計を行うことができることを示す。ＣＩＦＡＲ－１０データセットを活用し、既存の統合設計方式によって得られた「Ａｎｃｈｏｒ」の解を基準にハードな制約を設計した。その中で、ハードな制約条件で固定するハードウェアメトリックの１つ又は３つともを選択し、ＨＤＸを使用して統合探索を行った。例えば、Ａの場合、遅延時間が６９ｍｓ、エネルギー使用量が３７ｍＪであるが、遅延時間に対するハードな制約を同じ６９ｍｓに設定した後、提案された方式によって統合設計を行うことによって、１）ハードな制約を満たすことができるか、２）ハードな制約なく設計された解と同一／類似品質の解を導出できるかを判断可能である。実際に、遅延時間６９ｍｓによって設計した場合、４３．９９ｍｓの解が得られ、全体損失（ｌｏｓｓ）もむしろより低い値で、品質が劣らないことを示している。また、遅延時間、エネルギー、チップ面積の全てにおいてハードな制約をかけた場合、成功的に全ての制約を満たしながらも、優れた解が得られることが観測された。

【0106】

＜イメージネットデータセットの結果（Ｒｅｓｕｌｔｓ ｆｒｏｍ ＩｍａｇｅＮｅｔ Ｄａｔａｓｅｔ）＞

【0107】

次の表３は、１２５ｍｓの制約条件において、イメージネットを対象に行った２つずつの統合設計結果を示す。

【0108】

【表3】

【0109】

表３に示すように、本発明で提案されたＨＤＸ方式のみが唯一に２つの場合において全て制約を満たしており、解の品質面においても制約を満たした解のうち、最も品質が良いことを損失（Ｌｏｓｓ）値から確認可能である。また、Ｔｏｐ－１エラー及びグローバル損失は、ＨＤＸが見つけた解の品質がＤＡＮＣＥ又はその変形に比べて全く損なわれていないことを示す。

【0110】

＜プリングの大きさに対する敏感度研究（Ｓｅｎｓｉｔｉｖｉｔｙ Ｓｔｕｄｙ ｏｎ Ｐｕｌｌｉｎｇ Ｍａｇｎｉｔｕｄｅ）＞

【0111】

図６を参照すると、本発明で提案するＨＤＸ方法が有する唯一の調節可能因子ｐに対する反応を示し、提案された技法の性能がｐを任意に調節して得られた結果ではないことを示す。

【0112】

図６の（ａ）～（ｃ）は、それぞれ１ｅ－２、７ｅ－３、４ｅ－３の多様なｐで遅延時間が制限（３３．３ｍｓ）された探索でグローバル損失及び遅延時間がどのように変わるかを示す。ｐが小さい場合に制約が少し遅れて満たされ、大きい場合に少し早く満たされるという差はあるが、全ての場合において制約を最終的に満たすのに成功しており、制約に比べてひどく低い遅延時間を得ていないことも示す。

【0113】

即ち、ｐの値とは関係なく拘束された値に対する曲線は類似の傾向を示す。初めはグローバル損失が主に最適化されるのに対し、遅延時間は一定に維持される。このステップで、プリングの大きさδ（式６参照）は依然として増加しており、意味のある変化を作るほど強くない。特定の時点で、δは遅延時間を減少させる方向に解を引くことができるほど十分に強くなる。遅延時間が制約条件を満たすと、遅延時間を維持しながらグローバル損失が減少し始める。グローバル損失と遅延時間の最終解との間には大きな差がなく、これは、本発明で提案したＨＤＸ方法が調節可能因子ｐに鈍感であるということを示す。

【0114】

＜検索された解に対する分析（Ａｎａｌｙｓｉｓ ｏｎ ｔｈｅ Ｓｅａｒｃｈｅｄ Ｓｏｌｕｔｉｏｎｓ）＞

【0115】

図７を参照すると、（ａ）及び（ｂ）は、それぞれ６０フレーム及び３０フレームの遅延時間の制約下で得られた例示のニューラルネットワーク及びアクセラレータ構造を示す。ここで、（ｍ，ｎ）はｍ×ｍカーネルとｎ拡張比率を有するＭＢＣｏｎｖブロックを意味する。

【0116】

図７（ａ）の６０フレームの場合には、遅延時間の制約が強い方であるため、ニューラルネットワークは小さなカーネルを殆ど有し、代わりに層数を増やして遅延時間と正確度との間のトレードオフ（ｔｒａｄｅ－ｏｆｆ）を確保する。正確度を維持しながら厳しい制約条件を満たすために、ネットワークには主に３×３の小さなカーネルがあり、より小さなカーネルを使用すると、乗算の回数を２次的に減らすことができる。従って、カーネルのサイズを減らして層数を増やすことが推論遅延時間を減らすのに良い選択である。アクセラレータは、速度が速いことが知られている重み固定（ｗｅｉｇｈｔ ｓｔａｔｉｏｎａｒｙ：ＷＳ）構造を多くのＰＥ数と共に活用して、遅延時間の減少を追求する。アクセラレータの設計を見ると、低い遅延時間を達成するために、相対的に大きなＰＥアレイ（１６×１６）を使用し、遅延時間が短いことが知られているＷＳデータフローが必要である。また、ネットワークにはチャンネル拡張比率が高い一部のカーネルがある。ＷＳは速い実行のために並列性を利用するため、見つかったネットワークよりも利点がある。

【0117】

これに対し、図７（ｂ）の３０フレームの制約下で得られたニューラルネットワークの場合、時間に余裕があるため、正確度を上げるのに有利な大きなカーネルが多数選択され、アクセラレータはエネルギー効率に優れると知られている行固定（Ｒｏｗ ｓｔａｔｉｏｎａｒｙ：ＲＳ）構造を使用する。３０ｆｐｓに対する設計では、制約条件を満たしながらエネルギー消費を最適化する解に設計が安着する。この設計は、アクセラレータでネットワーク及びＲＳデータフローでより大きなカーネルを使用する。ＲＳは、エネルギー効率に優れると知られており、カーネルの空間次元及び活性化において並列性を用いる。従って、より大きなカーネルを使用すると、ＲＳデータフローに利点がある。エネルギー消費を減らすために、設計には、より少ないＰＥ（１２×８）、オフチップアクセスエネルギーを節約するためのより大きなＲＦ、ネットワークのより少ない層数がある。

【0118】

本発明による統合探索方法であるハードな制約微分可能な統合探索方法であるＨＤＸを提案し、制約条件を満たす方向に解を移動する勾配操作を条件付きで適用することによって、厳格な制約条件を高品質の解で安定的に充足することができる。本発明による統合探索方法は、ハードな制約を考慮した強化学習ベースのニューラルネットワーク／アクセラレータ統合設計で演算量の負担を大きく減らすことができる。

【0119】

以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術思想から逸脱しない範囲内で多様に変更実施することが可能である。

【符号の説明】

【0120】

１００ 統合探索装置
１１０ ＮＡＳモジュール
１３０ ＨＤＸ評価モジュール
１５０ 勾配調節モジュール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】