特許 7589318 選択的訓練によるワンショットニューラルアーキテクチャ探索のためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-15

(45)【発行日】2024-11-25

(54)【発明の名称】選択的訓練によるワンショットニューラルアーキテクチャ探索のためのシステム及び方法

(51)【国際特許分類】

   G06N 3/0985 20230101AFI20241118BHJP

【ＦＩ】

G06N3/0985

【請求項の数】 20

【外国語出願】

(21)【出願番号】P 2023193805

(22)【出願日】2023-11-14

(65)【公開番号】P2024137648

(43)【公開日】2024-10-07

【審査請求日】2023-11-14

(31)【優先権主張番号】18/189,728

(32)【優先日】2023-03-24

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】521042770

【氏名又は名称】ウーブン・バイ・トヨタ株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】山口 晃一郎

【審査官】山本 俊介

(56)【参考文献】

【文献】米国特許出願公開第２０２２／０２８４６８８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２２／００９２３８１（ＵＳ，Ａ１）

【文献】埜田 夕平ほか，構造の複雑さを考慮したＮｅｕｒａｌ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｓｅａｒｃｈにおける複数構造探索の効率化，第３６回人工知能学会全国大会論文集（２０２２），一般社団法人人工知能学会，2022年06月14日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０９８５

(57)【特許請求の範囲】

【請求項1】

ワンショットニューラルアーキテクチャ探索（ＮＡＳ）を実行する方法であって、前記方法は、
ネットワーク全体を取得するステップであって、前記ネットワーク全体が前記ワンショットＮＡＳのための複数の候補サブネットワークを含む、ステップと、
前記ネットワーク全体から前記複数の候補サブネットワークのうちの第１のサブネットワークを取得するステップと、
前記第１のサブネットワークの第１のメトリック値を取得するステップと、
前記第１のメトリック値が第１の所定の条件を満たすかどうかを判定するステップと、
前記第１のメトリック値が前記第１の所定の条件を満たさないという判定に基づいて、
前記ワンショットＮＡＳのために、前記取得された第１のサブネットワークを訓練しないと判定し、
前記ネットワーク全体から前記複数の候補サブネットワークのうちの第２のサブネットワークを取得するステップと、
前記ワンショットＮＡＳのために前記第２のサブネットワークを訓練するステップと
を含む、方法。

【請求項2】

前記第２のサブネットワークを訓練するステップは、
前記第２のサブネットワークの第２のメトリック値を取得することと、
前記第２のメトリック値が前記第１の所定の条件を満たすかどうかを判定することと
を含み、
前記ワンショットＮＡＳのための前記第２のサブネットワークは、前記第２のメトリック値が前記第１の所定の条件を満たすという判定に基づいて訓練される、請求項１に記載の方法。

【請求項3】

前記第１のメトリック値が前記第１の所定の条件を満たすかどうかを判定するステップは、前記第１のメトリック値を第１の所定の閾値と比較することを含む、請求項１又は２に記載の方法。

【請求項4】

前記第１のメトリック値が前記第１の所定の条件を満たすかどうかを判定するステップは、前記第１のメトリック値が第１の所定の閾値よりも大きく且つ第２の所定の閾値よりも小さいかどうかを判定することを含む、請求項１又は２に記載の方法。

【請求項5】

前記第１のメトリック値を取得するステップは、前記第１のサブネットワークの前記第１のメトリック値を含む複数のメトリック値を取得することを含み、
前記第１のメトリック値が前記第１の所定の条件を満たすかどうかを判定するステップは、前記複数のメトリック値が、それぞれ、前記ワンショットＮＡＳにおける訓練のための、前記第１の所定の条件を含む対応する複数の所定の条件を満たすかどうかを判定することを含む、請求項１又は２に記載の方法。

【請求項6】

前記第１のメトリック値は、レイテンシ値、モデルサイズ値、及び１秒当たりの浮動小数点演算数（フロップス）値のうちの少なくとも１つを含む、請求項１又は２に記載の方法。

【請求項7】

前記第１の所定の条件は、サブネットワークの層の総数、サブネットワークの畳み込み層の総数、サブネットワークの残差ブロックの総数、及びサブネットワークのトランスポート層の総数のうちの少なくとも１つに基づいて判定される、請求項１又は２に記載の方法。

【請求項8】

ワンショットニューラルアーキテクチャ探索（ＮＡＳ）を実行するためのシステムであって、
命令を記憶する少なくとも１つのメモリと、
少なくとも１つのプロセッサと
を具備し、
前記少なくとも１つのプロセッサは、前記命令を実行して、
前記ワンショットＮＡＳのための複数の候補サブネットワークを含むネットワーク全体を取得し、
前記ネットワーク全体から前記複数の候補サブネットワークのうちの第１のサブネットワークを取得し、
前記第１のサブネットワークの第１のメトリック値を取得し、
前記第１のメトリック値が第１の所定の条件を満たすかどうかを判定し、
前記第１のメトリック値が前記第１の所定の条件を満たさないという判定に基づいて、
前記ワンショットＮＡＳのために、前記取得された第１のサブネットワークを訓練しないと判定し、
前記ネットワーク全体から前記複数の候補サブネットワークのうちの第２のサブネットワークを取得し、
前記ワンショットＮＡＳのために前記第２のサブネットワークを訓練するように構成される、システム。

【請求項9】

前記少なくとも１つのプロセッサは、前記命令を実行して、
前記第２のサブネットワークの第２のメトリック値を取得することと、
前記第２のメトリック値が前記第１の所定の条件を満たすかどうかを判定することと
によって前記第２のサブネットワークを訓練するように構成され、
前記ワンショットＮＡＳのための前記第２のサブネットワークは、前記第２のメトリック値が前記第１の所定の条件を満たすという判定に基づいて訓練される、請求項８に記載のシステム。

【請求項10】

前記少なくとも１つのプロセッサは、前記命令を実行して、前記第１のメトリック値を第１の所定の閾値と比較することによって、前記第１のメトリック値が前記第１の所定の条件を満たすかどうかを判定するように構成される、請求項８又は９に記載のシステム。

【請求項11】

前記少なくとも１つのプロセッサは、前記命令を実行して、前記第１のメトリック値が第１の所定の閾値よりも大きく且つ第２の所定の閾値よりも小さいかどうかを判定することによって、前記第１のメトリック値が前記第１の所定の条件を満たすかどうかを判定するように構成される、請求項８又は９に記載のシステム。

【請求項12】

前記少なくとも１つのプロセッサは、前記命令を実行して、前記第１のサブネットワークの前記第１のメトリック値を含む複数のメトリック値を取得することによって前記第１のメトリック値を取得するように構成され、
前記少なくとも１つのプロセッサは、前記命令を実行して、前記複数のメトリック値がそれぞれ、前記ワンショットＮＡＳにおける訓練のための、前記第１の所定の条件を含む対応する複数の所定の条件を満たすかどうかを判定することによって、前記第１のメトリック値が前記第１の所定の条件を満たすかどうかを判定するように構成される、請求項８又は９に記載のシステム。

【請求項13】

前記第１のメトリック値は、レイテンシ値、モデルサイズ値、及び１秒当たりの浮動小数点演算数（フロップス）値のうちの少なくとも１つを含む、請求項８又は９に記載のシステム。

【請求項14】

前記第１の所定の条件は、サブネットワークの層の総数、サブネットワークの畳み込み層の総数、サブネットワークの残差ブロックの総数、及びサブネットワークのトランスポート層の総数のうちの少なくとも１つに基づいて判定される、請求項８又は９に記載のシステム。

【請求項15】

命令を記憶する非一時的なコンピュータ可読記憶媒体であって、
前記命令は、少なくとも１つのプロセッサによって実行されると、該少なくとも１つのプロセッサに、
ネットワーク全体を取得するステップであって、前記ネットワーク全体がワンショットＮＡＳのための複数の候補サブネットワークを含む、ステップと、
前記ネットワーク全体から前記複数の候補サブネットワークのうちの第１のサブネットワークを取得するステップと、
前記第１のサブネットワークの第１のメトリック値を取得するステップと、
前記第１のメトリック値が第１の所定の条件を満たすかどうかを判定するステップと、
前記第１のメトリック値が前記第１の所定の条件を満たさないという判定に基づいて、
前記ワンショットＮＡＳのために、前記取得された第１のサブネットワークを訓練しないと判定し、
前記ネットワーク全体から前記複数の候補サブネットワークのうちの第２のサブネットワークを取得するステップと、
前記ワンショットＮＡＳのために前記第２のサブネットワークを訓練するステップと、を実施させる、非一時的なコンピュータ可読記憶媒体。

【請求項16】

前記命令は、実行されると、前記少なくとも１つのプロセッサに、
前記第２のサブネットワークの第２のメトリック値を取得することと、
前記第２のメトリック値が前記第１の所定の条件を満たすかどうかを判定することと
によって、前記第２のサブネットワークを訓練するステップを実施させ、
前記ワンショットＮＡＳのための前記第２のサブネットワークは、前記第２のメトリック値が前記第１の所定の条件を満たすという判定に基づいて訓練される、請求項１５に記載の記憶媒体。

【請求項17】

前記命令は、実行されると、前記少なくとも１つのプロセッサに、前記第１のメトリック値を第１の所定の閾値と比較することによって、前記第１のメトリック値が前記第１の所定の条件を満たすかどうかを判定するステップを実施させる、請求項１５又は１６に記載の記憶媒体。

【請求項18】

前記命令は、実行されると、前記少なくとも１つのプロセッサに、前記第１のメトリック値が第１の所定の閾値よりも大きく且つ第２の所定の閾値よりも小さいかどうかを判定することによって、前記第１のメトリック値が前記第１の所定の条件を満たすかどうかを判定するステップを実施させる、請求項１５又は１６に記載の記憶媒体。

【請求項19】

前記命令は、実行されると、前記少なくとも１つのプロセッサに、前記第１のサブネットワークの前記第１のメトリック値を含む複数のメトリック値を取得することによって、前記第１のメトリック値を取得するステップを実施させ、
前記命令は、実行されると、前記少なくとも１つのプロセッサに、前記複数のメトリック値が、それぞれ、前記ワンショットＮＡＳにおける訓練のための、前記第１の所定の条件を含む対応する複数の所定の条件を満たすかどうかを判定することによって、前記第１のメトリック値が前記第１の所定の条件を満たすかどうかを判定するステップを実施させる、請求項１５又は１６に記載の記憶媒体。

【請求項20】

前記第１のメトリック値は、レイテンシ値、モデルサイズ値、及び１秒当たりの浮動小数点演算数（フロップス）値のうちの少なくとも１つを含む、請求項１５又は１６に記載の記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の例示的な実施形態による装置及び方法は、ニューラルアーキテクチャ探索（ＮＡＳ）に関する。

【背景技術】

【0002】

概して、ニューラルネットワークは、２つの主なパラメータ、（１）アーキテクチャ、及び（２）ニューロン間で送信される入力に適用される重みによって特徴付ける。典型的には、アーキテクチャは手動又は手作業で設計されるが、重みは訓練セット及びニューラルネットワークアルゴリズムを用いてネットワークを訓練することによって最適化される。このため、ニューラルネットワークの性能を最適化するために、アーキテクチャ設計が、特に、ネットワークが使用のために展開された時点で概して静的になるため、重要な考慮事項である。関連技術では、ニューラルネットワークのアーキテクチャを自動設計するための技術として、ニューラルアーキテクチャ探索（ＮＡＳ）が登場している。しかし、このプロセスは、非常に時間がかかり、反復的な性質のため初期状態（即ち、初期サンプルアーキテクチャ）に影響される。

【発明の概要】

【0003】

実施形態によれば、システム及び方法は、不必要な訓練反復又は悪影響を及ぼす訓練反復（即ち、訓練全体に悪影響を及ぼすサブネットワーク）を排除するために、ネットワーク全体のワンショット訓練段階において何らかの評価が実施される、最適化されたワンショットニューラルアーキテクチャ探索（ＮＡＳ）である。。

【0004】

本開示の一態様によれば、ワンショットＮＡＳを実行する方法が、ネットワーク全体を取得するステップであって、ネットワーク全体がワンショットＮＡＳのための複数の候補サブネットワークを含むステップと、ネットワーク全体から複数の候補サブネットワークのうちの第１のサブネットワークを取得するステップと、第１のサブネットワークの第１のメトリック値を取得するステップと、第１のメトリック値が第１の所定の条件を満たすかどうかを判定するステップと、第１のメトリック値が第１の所定の条件を満たさないという判定に基づき、ワンショットＮＡＳのために、取得された第１のサブネットワークを訓練しないと判定し、ネットワーク全体から複数の候補サブネットワークのうちの第２のサブネットワークを取得するステップと、ワンショットＮＡＳのために第２のサブネットワークを訓練するステップとを含む。

【0005】

本開示の一態様によれば、ワンショットＮＡＳを実行するためのシステムが、命令を記憶する少なくとも１つのメモリと、少なくとも１つのプロセッサとを含み、少なくとも一つのプロセッサは、命令を実行して、ワンショットＮＡＳのための複数の候補サブネットワークを含むネットワーク全体を取得し、ネットワーク全体から複数の候補サブネットワークのうちの第１のサブネットワークを取得し、第１のサブネットワークの第１のメトリック値を取得し、第１のメトリック値が第１の所定の条件を満たすかどうかを判定し、第１のメトリック値が第１の所定の条件を満たさないという判定に基づき、ワンショットＮＡＳのために、取得された第１のサブネットワークを訓練しないと判定し、ネットワーク全体から複数の候補サブネットワークのうちの第２のサブネットワークを取得し、ワンショットＮＡＳのために第２のサブネットワークを訓練するするように構成される。

【0006】

本開示の一態様によれば、非一時的なコンピュータ可読記憶媒体が命令を記憶し、命令は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、ネットワーク全体を取得するステップであって、ネットワーク全体がワンショットＮＡＳのための複数の候補サブネットワークを含む、ステップと、ネットワーク全体から複数の候補サブネットワークのうちの第１のサブネットワークを取得するステップと、第１のサブネットワークの第１のメトリック値を取得するステップと、第１のメトリック値が第１の所定の条件を満たすかどうかを判定するステップと、第１のメトリック値が第１の所定の条件を満たさないという判定に基づき、ワンショットＮＡＳのために、取得された第１のサブネットワークを訓練しないと判定し、ネットワーク全体から複数の候補サブネットワークのうちの第２のサブネットワークを取得するステップと、ワンショットＮＡＳのために第２のサブネットワークを訓練するステップとを実施させる。

【0007】

追加の態様について、一部は以下の説明に記載し、一部は説明から明らかになることになるか、本開示で提示した実施形態の実践によって実現され得る。

【図面の簡単な説明】

【0008】

【図1】図１は、一実施形態によるニューラルネットワークアーキテクチャの図である。

【図2】図２は、一実施形態によって実施されるニューラルアーキテクチャ探索（ＮＡＳ）の例の図である。

【図3】図３は、一実施形態によるシングルパスワンショット（ＳＰＯＳ）方法の図である。

【図4】図４は、一実施形態によるＳＰＯＳサブネットワークの図である。

【図5】図５は、一実施形態によるＮＡＳの方法のフローチャートである。

【図6】図６は、本明細書に記載のシステム及び／又は方法が実装され得る例示的な環境の図である。

【図7】図７は、一実施形態による装置の例示的なコンポーネントの図である。

【発明を実施するための形態】

【0009】

本開示の例示的な実施形態の特徴、利点及び重要性について、添付の図面を参照して以下に説明する。図面では、類似の符号は類似の要素を示す。

【0010】

以下の例示的な実施形態の詳細な説明は、添付の図面を参照する。異なる図面の同一の参照番号は、同一又は類似の要素を識別する場合がある。

【0011】

前述の開示は、例示及び説明を提供するものであるが、網羅的であること、あるいは開示した正確な形態に実装例を限定することを意図したものではない。修正及び変更が、上記の開示に照らして可能であるか、あるいは実装例の実践から得られてもよい。さらに、一実施形態の１つ又は複数の特徴又はコンポーネントを、別の実施形態（又は別の実施形態の１つ又は複数の特徴）に組み込んでも、組み合わせてもよい。さらに、以下に提供する動作のフローチャート及び説明では、１つ又は複数の動作を省略し得ること、１つ又は複数の動作を追加し得ること、１つ又は複数の動作を同時に（少なくとも部分的に）実施し得ること及び１つ又は複数の動作の順序を切り替え得ることが理解される。

【0012】

本明細書に記載のシステム及び／又は方法を、異なる形態のハードウェア、ファームウェア、又はハードウェアとソフトウェアの組み合わせで実装し得ることが明らかになるであろう。このようなシステム及び／又は方法を実装するために使用される実際の特殊な制御ハードウェア又はソフトウェアコードは、実装例を限定するものではない。このため、システム及び／又は方法の動作及び挙動は、特定のソフトウェアコードを参照せずに本明細書で説明した。ソフトウェア及びハードウェアを、本明細書の説明に基づいてシステム及び／又は方法を実装するように設計し得ることが理解される。

【0013】

特徴の特定の組み合わせを特許請求の範囲に記載したり、及び／又は明細書に開示したりしているとしても、このような組み合わせは、可能な実装例の開示を限定することを意図するものではない。実際、このような特徴の多くを、特許請求の範囲に特に記載していない方法及び／又は明細書に開示していない方法で組み合わせてもよい。以下に列挙する各従属請求項は１つの請求項のみに直接依存する場合があるが、可能な実装例の開示には、請求項群内の他のあらゆる請求項と組み合わせた各従属請求項が含まれる。

【0014】

本明細書で使用する要素、行動又は指示を、明示的に記載していない限り、重要又は必須であると解釈するべきではない。このほか、本明細書で使用する場合、冠詞「ａ」及び「ａｎ」は、１つ又は複数の項目を含むことを意図しており、「１つ又は複数」と交換可能に使用され得る。１つの項目のみを意図している場合は、「１つの」という用語又は類似する用語を使用する。このほか、本明細書で使用する場合、「有する」、「有している」、「含む」、「含んでいる」などの用語は、オープンエンドの用語であることを意図している。さらに、「基づいて」という語句は、明示的に別段の記載がない限り、「少なくとも部分的に基づいて」を意味することを意図している。さらに、「［Ａ］及び［Ｂ］の少なくとも１つ」、又は「［Ａ］又は［Ｂ］の少なくとも１つ」などの表現を、Ａのみ、Ｂのみ、又はＡ及びＢの両方を含むものとして理解するべきである。

【0015】

本開示の例示的な実施形態では、方法及びシステムを開示する。ここで、システムは、ＮＡＳ用の複数の候補サブネットワークを含む全体ネットワークを取得し、全体ネットワークから複数の候補サブネットワークのうちの第１のサブネットワークを取得し、第１のサブネットワークの第１のメトリック値を取得し、第１のメトリック値が第１の所定の条件を満たすかどうかを判定し、第１のメトリック値が第１の所定の条件を満たさないとの判定に基づいて、ワンショットＮＡＳのために、取得された第１のサブネットワークを訓練しないことを判定し、ネットワーク全体から複数の候補サブネットワークのうちの第２のサブネットワークを取得する。システムは、ワンショットＮＡＳのために第２のサブネットワークを訓練してもよい。ワンショットＮＡＳの訓練段階で不可能又は非実用的なサブネットワークをフィルタリングすることによって、潜在的に有害で不必要な訓練を省略することができ、これによって、冗長な訓練及び共有重みの崩壊が回避され、訓練段階が迅速化される。

【0016】

図１は、一実施形態によるニューラルネットワークアーキテクチャの図である。図１を参照すると、ニューラルネットワークアーキテクチャ１００は、その接続、層タイプ（又は動作）、層の数及び各層のチャネルの数によって定義される。層タイプには、例えば、畳み込み層（畳み込みニューラルネットワーク（ＣＮＮ）の場合）、活性化層（例えば、修正線形ユニット（ＲｅＬＵ））、プーリング層（最大値プーリング）、完全接続層、バッチ正規化層（ＢａｔｃｈＮｏｒｍ）、ドロップアウト層などが含まれる。ネットワークのアーキテクチャ設計は、このような層タイプの少なくともいくつかに対応する層の組み合わせによって具体化される。

【0017】

図２は、一実施形態によって実施されるニューラルアーキテクチャ探索（ＮＡＳ）の例の図である。ＮＡＳは、ニューラルネットワークのアーキテクチャを自動的に設計する技術を指す。機能ブロック図２００が図２に示される。図２では、ＮＡＳがサンプリング方法又はアルゴリズム（例えば、強化学習、進化的探索、ベイジアン最適化など）に従って実行される。ＮＡＳは、コントローラ２０２、並びに訓練動作２０４及び評価動作２０６を有して実装される。

【0018】

図２を参照すると、サンプリング方法は、コントローラ２０２が（例えば、一組の層の探索空間から）サンプルアーキテクチャ候補２１０を生成する反復プロセスである。サンプルアーキテクチャ２１０は、精度、レイテンシ、モデルサイズなどのメトリック値を取得するために、訓練動作２０４及び評価動作２０６を介して最適化される。前回のサンプルの評価動作２０６の評価結果に基づいて、コントローラ２０２は、強化学習、ベイジアン最適化、進化的アルゴリズムなどのような方法を使用して、次のサンプルアーキテクチャ候補を生成する。このプロセスは、目標性能に達するまで（例えば、目標精度が得られるまで、目標レイテンシが得られるまで、目標モデルサイズが得られるまでなど）、繰り返し実施される。

【0019】

図２に示すサンプリング方法は、ネットワーク構造に関して（即ち、層タイプ、チャネル数、層数、マクロアーキテクチャなどに関して）柔軟であり、既知の性能を備えた訓練済みモデルを提供し得る（即ち、再構築の必要がない）のに対し、プロセスはきわめて時間がかかるものであり、その反復的な性質のため、初期状態（即ち、初期サンプルアーキテクチャ）に影響される。即ち、サンプリング方法では、最適なアーキテクチャを最終的に取得するために、サンプルアーキテクチャ（特に初期シードが最適ではない場合）の訓練、評価、更新／変更を何度も繰り返す必要がある。

【0020】

図３は、一実施形態によるシングルパスワンショット（ＳＰＯＳ）方法の図である。ワンショットＮＡＳ方法では、評価及び探索から訓練を切り離し、定義された探索空間（例えば、本明細書ではスーパーネットと呼ぶ）の全候補ネットワークアーキテクチャを含む全体ネットワーク上で訓練を実行することによって、探索のための計算オーバーヘッド及び時間を削減することができる。即ち、ネットワーク全体はＮＡＳの複数の候補サブネットワークを含む。特に、ＳＰＯＳ方法では、各反復においてスーパーネットの単一のサブネットワークを訓練し、結果として得られる重みを、基礎となる全アーキテクチャに均一に適用する。

【0021】

図３を参照すると、ＳＰＯＳ方法は、スーパーブロック３０２、スーパーブロック３０４からスーパーブロックＮ３０６までの多数のスーパーブロックを含んでもよい。各スーパーブロックは複数の選択ブロックを含んでもよい。ＳＰＯＳ方法は、（例えば、図３の矢印で示すように）複数の連続するスーパーブロック内の選択ブロックを接続するシングルパスをランダムに選択し、各スーパーブロックは、１つの層（及び／又は１組の層）に対応し、各選択ブロックは候補層（及び／又は複数組の層）に対応する。例えば、スーパーブロック３０２～３０６では、選択Ｘまで、選択１は３×３ＣＮＮ、選択２は５×５ＣＮＮ、選択３はＲｅＬＵなどであってもよい。このプロセスは、１つの訓練反復における選択ブロックに適用された重みが、選択された経路（即ち、サブネットワーク）にその選択ブロックが含まれる別の反復においてその選択ブロックに均一に適用されることで、繰り返される。即ち、訓練反復中に判定された重みは、アーキテクチャ候補（即ち、サブネットワーク）全体で共有される。次に、サンプリング方法（例えば、進化的アルゴリズム）を適用して、微調整を実施せずに最高の性能のアーキテクチャを効率的に探索する。評価及び探索から訓練を切り離すことにより、１回のみの訓練が必要となり、訓練後に異なる制約を適用することができる。

【0022】

探索空間又はスーパーネットが大きなものであり且つ任意のサブネットワークが選択される例示的な実施形態では、訓練はさらに困難で複雑になり、時間がかかるようになる。そのような場合、スーパーネットをさらに充分に訓練することが困難になる可能性がある。

【0023】

例示的な実施形態には、不必要な訓練反復又は悪影響を及ぼす訓練反復（即ち、全体的な訓練に悪影響を及ぼすサブネットワーク）を排除するために、ネットワーク（例えば、スーパーネット）全体のワンショット訓練段階で何らかの評価が実施される、最適化されたワンショットニューラルアーキテクチャ探索（ＮＡＳ）が含まれる。

【0024】

例示的な実施形態では、特定のアーキテクチャメトリクスを訓練なしで評価する。このため、これら評価を訓練段階の間に実施する。例えば、モデルサイズ、１秒当たりの浮動小数点演算数（フロップス）値、レイテンシなどのメトリクスを、サブネットワークに関して、そのサブネットワークを訓練する前に評価する場合があり、メトリクスは訓練による影響を受けない。このため、ＳＰＯＳ訓練の反復中にランダムに選択されたサブネットワークに、特定の基準を満たさない１つ又は複数のメトリクス（例えば、第１の閾値よりも小さい又は第２の閾値よりも大きいモデルサイズ、第３の閾値よりも大きいレイテンシなど）がある場合、そのサブネットワークは訓練されず（即ち、サブネットワークが拒否され）、別のサブネットワークが選択されるい（例えば、ランダムに選択されても、サブネットワークの所定の順序に基づいて選択されてもよい）。その結果、不必要な訓練反復又は有害な可能性のある訓練反復が回避され、冗長な訓練及び共有重みの崩壊が回避され、全体の訓練時間が低減される。

【0025】

図４は、一実施形態によるＳＰＯＳサブネットワークの図である。即ち、図４は、サブネットワーク４０２、サブネットワーク４０４及びサブネットワーク４０６のような、ＳＰＯＳ探索のためにランダムに選択され又は構築されたサブネットワークの例を示す。

【0026】

図４に示すように、サブネットワーク４０２は、第１の閾値よりも小さいと判定され、このため、訓練なしで拒否される。第１の閾値は、サブネットワークの層又はコンポーネントの数に基づいて判定された閾値である。閾値は、サブネットワークの層の総数、サブネットワークの畳み込み層の総数、ネットワークの残差ブロックの総数、トランスポート層の総数などに基づくものであってもよい。その結果、不必要な訓練又は有害な可能性のある訓練が回避される。さらに、共有重みの崩壊が回避される。即ち、サブネットワーク４０２（即ち、単一の畳み込み層アーキテクチャ）は、不可能なネットワークアーキテクチャである。サブネットワーク４０２がＳＰＯＳ探索で訓練された場合、第１のスーパーブロックの畳み込み層選択ブロックに対して結果として得られる共有重みは、当該層を含む任意の現実的又は可能なネットワークアーキテクチャにとって最適なものではないであろう。この場合、その選択ブロックの最適な重みを取得するには、追加の訓練反復が必要になるであろう。サブネットワーク４０２を訓練せずに拒否することにより、冗長又は不必要な訓練が回避され、訓練全体が高速化される。

【0027】

さらに、サブネットワーク４０４は許容可能であると判定されるが、サブネットワーク４０６は大きすぎるため許容できないと判定され、不必要な訓練又は潜在的に有害な訓練が回避される。

【0028】

さらに、目標機械学習タスクを実行するためのタスクニューラルネットワークの最終アーキテクチャを判定する方法が提供される。目標機械学習タスクは、目標訓練データセットに関連付けられる。システムは目標訓練データセットのための目標メタ特徴テンソルを生成し、目標メタ特徴テンソルは目標訓練データセットの特徴を表す。システムは、複数のアーキテクチャを定義する探索空間から、目標機械学習タスクを実行するためのタスクニューラルネットワークのための候補アーキテクチャを生成することと、目標メタ特徴テンソルと、候補アーキテクチャを指定するデータとを含む入力を評価ニューラルネットワークに基づいて処理して、目標機械学習タスク上の候補アーキテクチャの性能を推定する候補性能スコアを生成することとを繰り返し実行する。システムは、候補アーキテクチャのなかで最大の候補性能スコアを有する候補アーキテクチャを最終アーキテクチャとして識別する。

【0029】

図５は、一実施形態によるＮＡＳの方法のフローチャートである。動作５０２では、システムはネットワーク全体を取得し、ネットワーク全体はＮＡＳの複数の候補サブネットワークを含む。動作５０４では、システムは、ネットワーク全体から複数の候補サブネットワークのうちの第１のサブネットワークを取得するい。動作５０６では、システムは、第１のサブネットワークの第１のメトリック値を取得する。動作５０８では、システムは、第１のメトリック値が第１の所定の条件を満たすかどうかを判定する。第１のメトリック値が第１の所定の条件を満たさないとの判定に基づいて、動作５１０では、システムは、ワンショットＮＡＳのために、取得した第１のサブネットワークを訓練しないと判定し、動作５１２では、システムは、ネットワーク全体から複数の候補サブネットワークの第２のサブネットワークを取得する。動作５１４では、システムは、ワンショットＮＡＳのために第２のサブネットワークを訓練する。

【0030】

第２のサブネットワークを訓練することは、第２のサブネットワークの第２のメトリック値を取得することと、第２のメトリック値が第１の所定の条件を満たすかどうかを判定することとを含む。ここで、ワンショットＮＡＳのための第２のサブネットワークは、第２のメトリック値が第１の所定の条件を満たすという判定に基づいて訓練される。第１のメトリック値が第１の所定の条件を満たすかどうかを判定することは、第１のメトリック値を第１の所定の閾値と比較することを含む。第１メトリック値が第１の所定の条件を満たすかどうかを判定することは、第１のメトリック値が第１の所定の閾値よりも大きく且つ第２の所定の閾値よりも小さいかどうかを判定することを含む。第１のメトリック値を取得することは、第１のサブネットワークの第１のメトリック値を含む複数のメトリック値を取得することを含み、第１のメトリック値が第１の所定の条件を満たすかどうかを判定することは、複数のメトリック値が、それぞれ、ワンショットＮＡＳにおける訓練のための、第１の所定の条件を含む対応する複数の所定の条件を満たすかどうかを判定することを含む。第１のメトリック値は、レイテンシ値、モデルサイズ値及びフロップス値のうちの少なくとも１つを含む。第１の所定の条件は、サブネットワークの層の総数、サブネットワークの畳み込み層の総数、サブネットワークの残差ブロックの総数、及びサブネットワークのトランスポート層の総数のうちの少なくとも１つに基づいて判定される。

【0031】

ワンショットＮＡＳの訓練段階において不可能又は非実用的なサブネットワークをフィルタリングすることによって、潜在的に有害で不必要な訓練を省略することができ、これによって、冗長な訓練及び共有重みの崩壊が回避され、訓練段階が迅速化される。

【0032】

図６は、本明細書に記載のシステム及び／又は方法が実装され得る例示的な環境６００の図である。図６に示すように、環境６００は、ユーザ装置６１０、プラットフォーム６２０及びネットワーク６３０を含む。環境６００の装置は、有線接続、無線接続、又は有線接続と無線接続との組み合わせを介して相互接続される。実施形態では、上記で図１を参照して説明された機能及び動作のいずれも、図６に示す要素の任意の組み合わせによって実行される。

【0033】

ユーザ装置６１０は、プラットフォーム６２０に関連付けられた情報を受信し、生成し、記憶し、処理し、且つ／又は提供することができる１つ又は複数の装置を含む。例えば、ユーザ装置６１０は、コンピューティング装置（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、携帯型コンピュータ、スマートスピーカ、サーバなど）、携帯電話（例えば、スマートフォン、無線電話など）、ウェアラブル装置（例えば、一対のスマートグラス又はスマートウォッチ）又は類似する装置）を含む。いくつかの実装例では、ユーザ装置６１０はプラットフォーム６２０から情報を受信し且つ／又はプラットフォーム６２０に情報を送信する。

【0034】

プラットフォーム６２０は、情報を受信し、生成し、記憶し、処理し、且つ／又は提供することができる１つ又は複数の装置を含む。いくつかの実装例では、プラットフォーム６２０はクラウドサーバ又はクラウドサーバ群を含む。いくつかの実装例では、プラットフォーム６２０は、特定のソフトウェアコンポーネントが特定のニーズに応じてスワップイン又はスワップアウトされるように、モジュール式に設計されてもよい。そのように、プラットフォーム６２０は、種々の用途について容易に且つ／又は迅速に再構成される。

【0035】

いくつかの実装例では、図示するように、プラットフォーム６２０は、クラウドコンピューティング環境６２２内でホストされる。とりわけ、本明細書に記載の実装例では、プラットフォーム６２０をクラウドコンピューティング環境６２２内でホストされるものとして説明しているが、いくつかの実装例では、プラットフォーム６２０は、クラウドベースでなくても（即ち、クラウドコンピューティング環境の外側で実装されても）、又は部分的にクラウドベースであってもよい。

【0036】

クラウドコンピューティング環境６２２は、プラットフォーム６２０をホストする環境を含む。クラウドコンピューティング環境６２２は、プラットフォーム６２０をホストするシステム及び／又は装置の物理的な場所及び構成に関するエンドユーザ（例えば、ユーザ装置６１０）の知識を必要としない計算、ソフトウェア、データアクセス、ストレージなどのサービスを提供してもよい。図示のように、クラウドコンピューティング環境６２２は、一群のコンピューティングリソース６２４（集合的に「複数のコンピューティングリソース６２４」と呼ばれ、個別に「コンピューティングリソース６２４」と呼ばれる）を含む。

【0037】

コンピューティングリソース６２４は、１つ又は複数のパーソナルコンピュータ、計算装置の集まり、ワークステーションコンピュータ、サーバ装置又は他のタイプのコンピューティング装置及び／又は通信装置を含む。いくつかの実装例では、コンピューティングリソース６２４は、プラットフォーム６２０をホストする。クラウドリソースは、コンピューティングリソース６２４内で実行されるコンピュートインスタンス、コンピューティングリソース６２４内に設けられた記憶装置、コンピューティングリソース６２４によって提供されたデータ転送装置などを含んでもよい。いくつかの実装例では、コンピューティングリソース６２４は、有線接続、無線接続、又は有線接続と無線接続との組み合わせを介して他のコンピューティングリソース６２４と通信する。

【0038】

さらに図６に示すように、コンピューティングリソース６２４は、１つ又は複数のアプリケーション（「ＡＰＰ」）６２４－１、１つ又は複数の仮想マシン（「ＶＭ」）６２４－２、仮想化ストレージ（「ＶＳ」）６２４－２、１つ又は複数のハイパーバイザ（「ＨＹＰ」）６２４－４、又はこれらの均等物のような一群のクラウドリソースを含む。

【0039】

アプリケーション６２４－１は、ユーザ装置６１０に提供され又はユーザ装置６１０によってアクセスされる１つ又は複数のソフトウェアアプリケーションを含む。アプリケーション６２４－１は、ユーザ装置６１０上にソフトウェアアプリケーションをインストールして実行する必要性を排除することができる。例えば、アプリケーション６２４－１は、プラットフォーム６２０に関連付けられたソフトウェア及び／又はクラウドコンピューティング環境６２２を介して提供可能な任意の他のソフトウェアを含む。いくつかの実装例では、１つのアプリケーション６２４－１は、仮想マシン６２４－２を介して、１つ又は複数の他のアプリケーション６２４－１との間で情報を送受信する。

【0040】

仮想マシン６２４－２は、物理マシンのようなプログラムを実行するマシン（例えば、コンピュータ）のソフトウェア実装を含む。仮想マシン６２４－２は、用途、又は仮想マシン６２４－２による任意の実マシンへの対応の度合いに応じて、システム仮想マシン又はプロセス仮想マシンのいずれかである。システム仮想マシンは、完全なオペレーティングシステム（「ＯＳ」）の実行を支援する完全なシステムプラットフォームを提供する。プロセス仮想マシンは、単一のプログラムを実行し、単一のプロセスを支援する。いくつかの実装例では、仮想マシン６２４－２は、ユーザ（例えば、ユーザ装置６１０）に代わって実行し、データ管理、同期又は長期間のデータ転送のようなクラウドコンピューティング環境６２２のインフラを管理することができる。

【0041】

仮想化ストレージ６２４－３は、コンピューティングリソース６２４のストレージシステム又は装置内で仮想化技術を使用する１つ又は複数のストレージシステム及び／又は１つ又は複数の装置を含む。いくつかの実装例では、ストレージシステムの文脈において、仮想化の種類にはブロック仮想化及びファイル仮想化が含まれる。ブロック仮想化とは、物理ストレージ又は異種構造に関係なくストレージシステムにアクセスし得るように、物理ストレージから論理ストレージを抽象化（又は分離）することを指す。この分離により、ストレージシステムの管理者は、エンドユーザのストレージをどのように管理するかについて柔軟性を得ることができる。ファイル仮想化は、ファイルレベルでアクセスされるデータと、ファイルが物理的に保存される場所との間の依存関係を排除することができる。これにより、ストレージの使用、サーバの統合及び／又は稼働中のファイル移行のパフォーマンスの最適化が可能になる。

【0042】

ハイパーバイザ６２４－４は、複数のオペレーティングシステム（例えば、「ゲストオペレーティングシステム」）がコンピューティングリソース６２４のようなホストコンピュータ上で同時に実行されることを可能とするハードウェア仮想化技術を提供する。ハイパーバイザ６２４－４は、仮想オペレーティングプラットフォームをゲストオペレーティングシステムに提示し、ゲストオペレーティングシステムの実行を管理する。さまざまなオペレーティングシステムの複数のインスタンスが、仮想化されたハードウェア資源を共有する。

【0043】

ネットワーク６３０は１つ又は複数の有線及び／又は無線のネットワークを含む。例えば、ネットワーク６３０は、セルラーネットワーク（例えば、第５世代（５Ｇ）ネットワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、第３世代（３Ｇ）ネットワーク、符号分割多元接続（ＣＤＭＡ）ネットワークなど）、公衆陸上移動体通信網（ＰＬＭＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、電話網（例えば、公衆交換電話網（ＰＳＴＮ））、私的ネットワーク、臨時ネットワーク、イントラネット、インターネット、光ファイバーベースのネットワーク、若しくはこれらの均等物、及び／又はこれら又は他のタイプのネットワークの組み合わせを含む
。

【0044】

図６に示す装置及びネットワークの数及び配置は、一例として提供される。実際には、図６に示すもの以外に、追加の装置及び／又はネットワーク、これより少ない装置及び／又はネットワーク、異なる装置及び／又はネットワーク、あるいは異なる配置の装置及び／又はネットワークが存在してもよい。さらに、図６に示す２つ以上の装置を単一の装置内で実装しても、図６に示す単一の装置を複数の分散装置として実装してもよい。これに加えて、あるいはこれとは別に、環境６００の装置のセット（例えば、１つ又は複数の装置）が、環境６００の装置の別のセットによって実施されるものとして説明する１つ又は複数の機能を実施してもよい。

【0045】

図７は、装置７００の例示的なコンポーネントの図である。装置７００は、ユーザ装置６１０及び／又はプラットフォーム６２０に対応する。図７に示すように、装置７００は、バス７１０、プロセッサ７２０、メモリ７３０、記憶コンポーネント７４０、入力コンポーネント７５０、出力コンポーネント７６０及び通信インターフェース７７０を含む。

【0046】

バス７１０は、装置７００のコンポーネント間の通信を可能にするコンポーネントを含む。プロセッサ７２０は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組み合わせで実装される。プロセッサ７２０は、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、加速処理装置（ＡＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）又は別のタイプの処理コンポーネントである。いくつかの実装例では、プロセッサ７２０は、機能を実行するようにプログラム可能な１つ又は複数のプロセッサを含む。メモリ７３０は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）及び／又はプロセッサ７２０によって使用される情報及び／又は命令を記憶する別のタイプの動的記憶装置又は静的記憶装置（例えば、フラッシュメモリ、磁気メモリ及び／又は光メモリ）を含む。

【0047】

記憶コンポーネント７４０は、装置７００の動作及び使用に関連する情報及び／又はソフトウェアを記憶する。例えば、記憶コンポーネント７４０は、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク及び／又はソリッドステートディスク）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、カートリッジ、磁気テープ、及び／又は別のタイプの非一時的なコンピュータ可読媒体を、対応するドライブと共に含む。入力コンポーネント７５０は、装置７００がユーザ入力（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ及び／又はマイク）などを介して情報を受信することができるようにするコンポーネントを含む。加えて又は代替的に、入力コンポーネント７５０は、情報を感知するためのセンサ（例えば、全地球測位システム（ＧＰＳ）コンポーネント、加速度計、ジャイロスコープ及び／又はアクチュエータ）を含んでもよい。出力コンポーネント７６０は、装置７００からの出力情報を提供するコンポーネント（例えば、ディスプレイ、スピーカ及び／又は１つ又は複数の発光ダイオード（ＬＥＤ））を含む。

【0048】

通信インターフェース７７０は、装置７００が有線接続、無線接続、又は有線接続と無線接続との組み合わせなどを介して他の装置と通信することができるようにするトランシーバ状のコンポーネント（例えば、トランシーバ及び／又は別個の受信機及び送信機）を含む。通信インターフェース７７０は、装置７００が別の装置から情報を受信し且つ／又は別の装置に情報を提供することを可能にする。例えば、通信インターフェース７７０は、イーサネットインターフェース、光インターフェース、同軸インターフェース、赤外線インターフェース、無線周波数（ＲＦ）インターフェース、ユニバーサルシリアルバス（ＵＳＢ）インターフェース、Ｗｉ－Ｆｉインターフェース、セルラーネットワークインターフェース、又はこれらの均等物を含む。

【0049】

装置７００は、本明細書に記載の１つ又は複数のプロセスを実行する。装置７００は、メモリ７３０及び／又は記憶コンポーネント７４０のような非一時的なコンピュータ可読媒体によって記憶されたソフトウェア命令をプロセッサ７２０が実行することに応答して、これらプロセスを実行するい。コンピュータ可読媒体は、本明細書において非一時的なメモリ装置として定義される。メモリ装置には、単一の物理記憶装置内のメモリ空間又は複数の物理記憶装置にまたがるメモリ空間が含まれる。

【0050】

ソフトウェア命令は、通信インターフェース７７０を介して、別のコンピュータ可読媒体又は別の装置からメモリ７３０及び／又は記憶コンポーネント７４０に読み込まれてもよい。メモリ７３０及び／又は記憶コンポーネント７４０に記憶されたソフトウェア命令は、実行されると、プロセッサ７２０に、本明細書に記載の１つ又は複数のプロセスを実行させる。

【0051】

加えて又は代替的に、ハードワイヤード回路は、本明細書に記載の１つ又は複数のプロセスを実行するために、ソフトウェア命令の代わりに又はソフトウェア命令と組み合わせて使用される。このため、本明細書に記載の実装例は、ハードウェア回路及びソフトウェアの任意の特定の組み合わせに限定されない。

【0052】

図７に示すコンポーネントの数及び配置は、一例として提供される。実際には、装置７００は、図７に示すもの以外に、追加のコンポーネント、これより少ないコンポーネント、異なるコンポーネント又は異なる配置のコンポーネントを含んでもよい。加えて又は代替的に、装置７００のコンポーネントのセット（例えば、１つ又は複数のコンポーネント）が、装置７００のコンポーネントの別のセットによって実行されるものとして説明される１つ又は複数の機能を実行してもよい。

【0053】

実施形態では、図１～図５の動作又はプロセスのいずれか１つが、図６及び図７に示す要素のいずれか１つによって実施され、又は図６及び図７に示す要素のいずれか１つを使用して実施される。

【0054】

前述の開示は、例示及び説明を提供するものであるが、網羅的であることを意図したものでも、開示した正確な形態に実装例を限定することを意図したものでもない。修正及び変更が、上記の開示に照らして可能であり、又は実装例の実践から得られる。

【0055】

いくつかの実施形態が、統合の可能なあらゆる技術的詳細レベルでのシステム、方法及び／又はコンピュータ可読媒体に関連する。さらに、上述のコンポーネントのうちの１つ又は複数は、コンピュータ可読媒体に記憶され且つ少なくとも１つのプロセッサによって実行可能な命令として実装されもよい（且つ／又は少なくとも１つのプロセッサを含んでもよい）。コンピュータ可読媒体は、プロセッサに動作を実行させるためのコンピュータ可読プログラム命令を有する（１つ又は複数の）非一時的なコンピュータ可読記憶媒体を含む。

【0056】

コンピュータ可読記憶媒体を、命令実行装置によって使用される命令を保持及び記憶することができる有形の装置とすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又はこれらの任意の適切な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のさらに具体的な例の非網羅的なリストには、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラム可能読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、その上に記憶された命令を有するパンチカード又は溝内の隆起構造のような機械式に符号化された装置、及びこれらの任意の適切な組み合わせが含まれる。コンピュータ可読記憶媒体は、本明細書において使用されるとき、電波若しくは他の自由に伝播する電磁波、導波路若しくは他の伝送媒体を伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、又はワイヤーを介して送信された電気信号のような一時的な信号そのものであると解釈されるべきではない。

【0057】

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理装置にダウンロードされ、又はネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はワイヤレスネットワークを介して外部コンピュータ又は外部記憶装置にダウンロードされることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを含むことができる。各コンピューティング／処理装置内のネットワークアダプタカード又はネットワークインターフェースが、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理装置内のコンピュータ可読記憶媒体に記憶するためにコンピュータ可読プログラム命令を転送する。

【0058】

動作を実行するためのコンピュータ可読プログラムコード／命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用構成データ、又は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語若しくは同様のプログラミング言語のような手続き型プログラミング言語を含む１つ又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード若しくはオブジェクトコードのいずれかである。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で完全に実行され、スタンドアロンソフトウェアパッケージとしてユーザのコンピュータ上で部分的に実行され、ユーザのコンピュータ上で部分的に実行され、リモートコンピュータ上で部分的に実行され、又はリモートコンピュータ若しくはサーバ上で完全に実行される。リモートコンピュータ又はサーバ上で実行される状況では、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）若しくはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続され、又は（例えば、インターネットサービスプロバイダを使用したインターネットを介して）外部コンピュータに接続される。いくつかの実施形態では、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブル論理アレイ（ＰＬＡ）を含む電子回路が、態様（aspect）又は動作を実行するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることによって、コンピュータ可読プログラム命令を実行することができる。

【0059】

これらコンピュータ可読プログラム命令は、コンピュータ若しくは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャート及び／又はブロック図のブロック若しくは複数のブロックにおいて指定された機能／行為を実施するための手段を生成するように、汎用コンピュータ、特殊用途コンピュータ若しくは他のプログラマブルデータ処理装置のプロセッサに提供されて機械を製造してもよい。これらコンピュータ可読プログラム命令は、記憶された命令を有するコンピュータ可読記憶媒体が、フローチャート及び／又はブロック図のブロック若しくは複数のブロックにおいて指定された機能／行為の態様を実施する命令を含む製造品を含むように、コンピュータ、プログラム可能なデータ処理装置、及び／又は他の装置に特定の態様で機能するように指示することができるコンピュータ可読記憶媒体に記憶されていてもよい。

【0060】

コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルなデータ処理装置、若しくは他の装置にロードされて、コンピュータ、他のプログラマブルな装置、若しくは他の装置上で実行される命令が、フローチャート及び／又はブロック図のブロック若しくは複数のブロックにおいて指定された機能／行為を実施するように、コンピュータ実装プロセスを生成するための一連の動作ステップをコンピュータ、他のプログラマブルな装置、若しくは他の装置上で実行させてもよい。

【0061】

図中のフローチャート及びブロック図は、さまざまな実施形態によるシステム、方法及びコンピュータ可読媒体の可能な実装例のアーキテクチャ、機能性及び動作を示す。これに関して、フローチャート又はブロック図の各ブロックは、指定された論理機能を実施するための１つ又は複数の実行可能命令を含むモジュール、セグメント又は命令の一部を表す。この方法、コンピュータシステム及びコンピュータ可読媒体は、図面に示すもの以外に、追加のブロック、これより少ないブロック、異なるブロック又は異なる配置のブロックを含んでもよい。いくつかの代替実装例では、ブロックに示す機能は、図面に示している順序とは異なる順序で実施されてもよい。例えば、連続して示す２つのブロックが、実際には、同時に実施されても、ほぼ同時に実施されても、関与する機能に応じて逆の順序で実施されることがあってもよい。このほか、ブロック図及び／又はフローチャート図の各ブロック及びブロック図及び／又はフローチャート図のブロックの組み合わせを、指定された機能又は行動を実行する専用のハードウェアベースのシステムによって実施することができ、あるいは各ブロック及びブロックの組み合わせが専用のハードウェアとコンピュータ命令の組み合わせを実施することができることに留意されたい。

【0062】

本明細書に記載のシステム及び／又は方法を、異なる形態のハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組み合わせで実施し得ることは明らかであろう。このようなシステム及び／又は方法を実施するために使用される実際の特殊な制御ハードウェア又はソフトウェアコードは、実装例を限定するものではない。このため、システム及び／又は方法の動作及び挙動を、特定のソフトウェアコードを参照することなく本明細書で説明したが、ソフトウェア及びハードウェアを、本明細書の説明に基づいてシステム及び／又は方法を実施するように設計し得ることが理解される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】