▶ ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングの特許一覧
特開2024-163091人工ニューラルネットワークの最適なアーキテクチャを求めるための方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024163091
(43)【公開日】2024-11-21
(54)【発明の名称】人工ニューラルネットワークの最適なアーキテクチャを求めるための方法
(51)【国際特許分類】
G06N 3/0985 20230101AFI20241114BHJP
【ＦＩ】
G06N3/0985
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024076790
(22)【出願日】2024-05-09
(31)【優先権主張番号】10 2023 204 300.9
(32)【優先日】2023-05-10
(33)【優先権主張国・地域又は機関】DE
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ
【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】ヤン ヘンドリク メッツェン
(72)【発明者】
【氏名】ベネディクト ゼバスティアン シュタッフラー
(72)【発明者】
【氏名】メラニー イェーン
(57)【要約】
【課題】本発明は、人工ニューラルネットワークの最適なアーキテクチャを求めるための方法に関する。
【解決手段】本方法（１）は、以下のステップ：アーキテクチャを求めるための少なくとも２つの設定の各々について、それぞれ、有向グラフの各辺にフローを割り当て、コスト関数に基づいて、軌道に沿った辺に割り当てられたフローをそれぞれ更新することにより、対応する設定に関して最適なアーキテクチャを求めるステップ（４）であって、当該ステップが、求められた軌道がアーキテクチャ探索のための中断基準を満たすまで繰り返され、中断基準を満たす軌道が、最適なアーキテクチャを表す、ステップ（４）と、少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャに基づいて、人工ニューラルネットワークの最適なアーキテクチャを求めるステップ（５）と、を含む。
【選択図】図１
【解決手段】本方法（１）は、以下のステップ：アーキテクチャを求めるための少なくとも２つの設定の各々について、それぞれ、有向グラフの各辺にフローを割り当て、コスト関数に基づいて、軌道に沿った辺に割り当てられたフローをそれぞれ更新することにより、対応する設定に関して最適なアーキテクチャを求めるステップ（４）であって、当該ステップが、求められた軌道がアーキテクチャ探索のための中断基準を満たすまで繰り返され、中断基準を満たす軌道が、最適なアーキテクチャを表す、ステップ（４）と、少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャに基づいて、人工ニューラルネットワークの最適なアーキテクチャを求めるステップ（５）と、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
人工ニューラルネットワークの最適なアーキテクチャを求めるための方法であって、
当該方法（１）は、以下のステップ：
－前記人工ニューラルネットワークの可能なアーキテクチャのセットを提供するステップ（２）と、
－前記人工ニューラルネットワークの可能なアーキテクチャのセットを有向グラフに写像するステップ（３）であって、前記有向グラフのノードは、可能なアーキテクチャのうちの１つのアーキテクチャのそれぞれ１つのサブセットを象徴し、始点ノードは、入力層を象徴し、前記有向グラフの終点ノードは、出力層を有するそれぞれ１つのサブセットを象徴し、前記有向グラフの辺は、それぞれ前記サブセット間の可能な結合を象徴する、ステップ（３）と、
－前記アーキテクチャを求めるための少なくとも２つの設定の各々について、それぞれ、前記有向グラフの各辺にフローをそれぞれ割り当て、前記有向グラフに基づいて、対応する最適なアーキテクチャを求めるための戦略を確定し、確定された前記戦略に基づいて、前記始点ノードから前記終点ノードまでの軌道を繰り返し求めることにより、対応する最適なアーキテクチャを求め、求められた軌道に対する報酬を決定し、前記軌道に対して求められた報酬と、前記軌道に沿った辺に割り当てられたフローとに基づいて、前記求められた軌道に対するコスト関数を決定し、前記コスト関数に基づいて、前記軌道に沿った前記辺に割り当てられたフローをそれぞれ更新することにより、対応する設定に関して最適なアーキテクチャを求めるステップ（４）であって、軌道を求めるステップと、報酬を決定するステップと、コスト関数を決定するステップと、フローを更新するステップとが、前記求められた軌道がアーキテクチャ探索のための中断基準を満たすまで繰り返され、前記中断基準を満たす軌道は、最適なアーキテクチャを表す、ステップ（４）と、
－前記少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャに基づいて、前記人工ニューラルネットワークの最適なアーキテクチャを求めるステップ（５）と、
－前記人工ニューラルネットワークの前記最適なアーキテクチャを提供するステップ（６）と、
を含む、方法（１）。
当該方法（１）は、以下のステップ：
－前記人工ニューラルネットワークの可能なアーキテクチャのセットを提供するステップ（２）と、
－前記人工ニューラルネットワークの可能なアーキテクチャのセットを有向グラフに写像するステップ（３）であって、前記有向グラフのノードは、可能なアーキテクチャのうちの１つのアーキテクチャのそれぞれ１つのサブセットを象徴し、始点ノードは、入力層を象徴し、前記有向グラフの終点ノードは、出力層を有するそれぞれ１つのサブセットを象徴し、前記有向グラフの辺は、それぞれ前記サブセット間の可能な結合を象徴する、ステップ（３）と、
－前記アーキテクチャを求めるための少なくとも２つの設定の各々について、それぞれ、前記有向グラフの各辺にフローをそれぞれ割り当て、前記有向グラフに基づいて、対応する最適なアーキテクチャを求めるための戦略を確定し、確定された前記戦略に基づいて、前記始点ノードから前記終点ノードまでの軌道を繰り返し求めることにより、対応する最適なアーキテクチャを求め、求められた軌道に対する報酬を決定し、前記軌道に対して求められた報酬と、前記軌道に沿った辺に割り当てられたフローとに基づいて、前記求められた軌道に対するコスト関数を決定し、前記コスト関数に基づいて、前記軌道に沿った前記辺に割り当てられたフローをそれぞれ更新することにより、対応する設定に関して最適なアーキテクチャを求めるステップ（４）であって、軌道を求めるステップと、報酬を決定するステップと、コスト関数を決定するステップと、フローを更新するステップとが、前記求められた軌道がアーキテクチャ探索のための中断基準を満たすまで繰り返され、前記中断基準を満たす軌道は、最適なアーキテクチャを表す、ステップ（４）と、
－前記少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャに基づいて、前記人工ニューラルネットワークの最適なアーキテクチャを求めるステップ（５）と、
－前記人工ニューラルネットワークの前記最適なアーキテクチャを提供するステップ（６）と、
を含む、方法（１）。
【請求項2】
前記少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャに基づいて、前記人工ニューラルネットワークの前記最適なアーキテクチャを求める前記ステップ（５）は、前記少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャの加重和を用いる、請求項１に記載の方法（１）。
【請求項3】
対応する重み付けは、少なくとも１つの目標コンポーネントの現在のハードウェア所与状況に基づいている、請求項２に記載の方法（１）。
【請求項4】
前記求められた軌道に対する報酬は、それぞれ、少なくとも１つの目標コンポーネントのハードウェア所与状況に基づいて決定される、請求項１乃至３のいずれか一項に記載の方法（１）。
【請求項5】
人工ニューラルネットワークをトレーニングするための方法であって、
当該方法は、以下のステップ：
－前記人工ニューラルネットワークをトレーニングするためのトレーニングデータを提供するステップと、
－前記人工ニューラルネットワークのための最適なアーキテクチャを提供するステップであって、前記最適なアーキテクチャは、請求項１乃至４のいずれか一項に記載の人工ニューラルネットワークの最適なアーキテクチャを求めるための方法によって求められたものである、ステップと、
－前記トレーニングデータ及び前記最適なアーキテクチャに基づいて、前記人工ニューラルネットワークをトレーニングするステップと、
を含む、方法。
当該方法は、以下のステップ：
－前記人工ニューラルネットワークをトレーニングするためのトレーニングデータを提供するステップと、
－前記人工ニューラルネットワークのための最適なアーキテクチャを提供するステップであって、前記最適なアーキテクチャは、請求項１乃至４のいずれか一項に記載の人工ニューラルネットワークの最適なアーキテクチャを求めるための方法によって求められたものである、ステップと、
－前記トレーニングデータ及び前記最適なアーキテクチャに基づいて、前記人工ニューラルネットワークをトレーニングするステップと、
を含む、方法。
【請求項6】
前記トレーニングデータは、センサデータを含む、請求項４に記載の方法。
【請求項7】
人工ニューラルネットワークに基づいて制御可能なシステムを制御するための方法であって、
当該方法は、以下のステップ：
－前記制御可能なシステムを制御するようにトレーニングされた人工ニューラルネットワークを提供するステップであって、前記人工ニューラルネットワークは、請求項５又は６に記載の人工ニューラルネットワークをトレーニングするための方法によってトレーニングされたものである、ステップと、
－提供された前記人工ニューラルネットワークに基づいて前記制御可能なシステムを制御するステップと、
を含む、方法。
当該方法は、以下のステップ：
－前記制御可能なシステムを制御するようにトレーニングされた人工ニューラルネットワークを提供するステップであって、前記人工ニューラルネットワークは、請求項５又は６に記載の人工ニューラルネットワークをトレーニングするための方法によってトレーニングされたものである、ステップと、
－提供された前記人工ニューラルネットワークに基づいて前記制御可能なシステムを制御するステップと、
を含む、方法。
【請求項8】
人工ニューラルネットワークの最適なアーキテクチャを求めるためのシステムであって、当該システム（１０）は、
前記人工ニューラルネットワークの可能なアーキテクチャのセットを提供するように構成された第１の提供ユニット（１１）と、
前記人工ニューラルネットワークの可能なアーキテクチャのセットを有向グラフに写像するように構成された撮像ユニット（１２）であって、前記有向グラフのノードは、可能なアーキテクチャのうちの１つのアーキテクチャのそれぞれ１つのサブセットを象徴し、始点ノードは、入力層を象徴し、前記有向グラフの終点ノードは、出力層を有するそれぞれ１つのサブセットを象徴し、前記有向グラフの辺は、それぞれ前記サブセット間の可能な結合を象徴する、撮像ユニット（１２）と、
前記アーキテクチャを求めるための少なくとも２つの設定の各々について、それぞれ、前記有向グラフの各辺にフローをそれぞれ割り当て、前記有向グラフに基づいて、対応する最適なアーキテクチャを求めるための戦略を確定し、確定された前記戦略に基づいて、前記始点ノードから前記終点ノードまでの軌道を繰り返し求めることにより、対応する最適なアーキテクチャを求め、求められた軌道に対する報酬を決定し、前記軌道に対して求められた報酬と、前記軌道に沿った辺に割り当てられたフローとに基づいて、前記求められた軌道に対するコスト関数を決定し、前記コスト関数に基づいて、前記軌道に沿った前記辺に割り当てられたフローをそれぞれ更新することにより、対応する設定に関して最適なアーキテクチャを求めるように構成された少なくとも１つの第１の算出ユニット（１３）であって、軌道を求めることと、報酬を決定することと、コスト関数を決定することと、フローを更新することとが、前記求められた軌道がアーキテクチャ探索のための中断基準を満たすまで繰り返され、前記中断基準を満たす軌道は、最適なアーキテクチャを表す、少なくとも１つの第１の算出ユニット（１３）と、
前記少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャに基づいて、前記人工ニューラルネットワークの最適なアーキテクチャを求めるように構成された第２の算出ユニット（１４）と、
前記人工ニューラルネットワークの前記最適なアーキテクチャを提供するように構成された第２の提供ユニット（１５）と、
を備える、システム（１０）。
前記人工ニューラルネットワークの可能なアーキテクチャのセットを提供するように構成された第１の提供ユニット（１１）と、
前記人工ニューラルネットワークの可能なアーキテクチャのセットを有向グラフに写像するように構成された撮像ユニット（１２）であって、前記有向グラフのノードは、可能なアーキテクチャのうちの１つのアーキテクチャのそれぞれ１つのサブセットを象徴し、始点ノードは、入力層を象徴し、前記有向グラフの終点ノードは、出力層を有するそれぞれ１つのサブセットを象徴し、前記有向グラフの辺は、それぞれ前記サブセット間の可能な結合を象徴する、撮像ユニット（１２）と、
前記アーキテクチャを求めるための少なくとも２つの設定の各々について、それぞれ、前記有向グラフの各辺にフローをそれぞれ割り当て、前記有向グラフに基づいて、対応する最適なアーキテクチャを求めるための戦略を確定し、確定された前記戦略に基づいて、前記始点ノードから前記終点ノードまでの軌道を繰り返し求めることにより、対応する最適なアーキテクチャを求め、求められた軌道に対する報酬を決定し、前記軌道に対して求められた報酬と、前記軌道に沿った辺に割り当てられたフローとに基づいて、前記求められた軌道に対するコスト関数を決定し、前記コスト関数に基づいて、前記軌道に沿った前記辺に割り当てられたフローをそれぞれ更新することにより、対応する設定に関して最適なアーキテクチャを求めるように構成された少なくとも１つの第１の算出ユニット（１３）であって、軌道を求めることと、報酬を決定することと、コスト関数を決定することと、フローを更新することとが、前記求められた軌道がアーキテクチャ探索のための中断基準を満たすまで繰り返され、前記中断基準を満たす軌道は、最適なアーキテクチャを表す、少なくとも１つの第１の算出ユニット（１３）と、
前記少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャに基づいて、前記人工ニューラルネットワークの最適なアーキテクチャを求めるように構成された第２の算出ユニット（１４）と、
前記人工ニューラルネットワークの前記最適なアーキテクチャを提供するように構成された第２の提供ユニット（１５）と、
を備える、システム（１０）。
【請求項9】
前記第２の算出ユニット（１４）は、前記少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャの加重和によって、前記人工ニューラルネットワークの前記最適なアーキテクチャを求めるように構成されている、請求項８に記載のシステム（１０）。
【請求項10】
対応する重み付けは、少なくとも１つの目標コンポーネントの現在のハードウェア所与状況に基づいている、請求項９に記載のシステム（１０）。
【請求項11】
前記少なくとも１つの第１の算出ユニット（１３）は、それぞれ、前記軌道に対する報酬を、少なくとも１つの目標コンポーネントのハードウェア所与状況に基づいて決定するように構成されている、請求項８乃至１０のいずれか一項に記載のシステム（１０）。
【請求項12】
人工ニューラルネットワークをトレーニングするためのシステムであって、
当該システムは、
前記人工ニューラルネットワークをトレーニングするためのトレーニングデータを提供するように構成された第１の提供ユニットと、
前記人工ニューラルネットワークのための最適なアーキテクチャを提供するように構成された第２の提供ユニットであって、前記最適なアーキテクチャは、請求項８乃至１１のいずれか一項に記載の人工ニューラルネットワークのための最適なアーキテクチャを求めるためのシステムによって求められたものである、第２の提供ユニットと、
前記トレーニングデータ及び前記最適なアーキテクチャに基づいて、前記人工ニューラルネットワークをトレーニングするように構成されたトレーニングユニットと、
を備える、システム。
当該システムは、
前記人工ニューラルネットワークをトレーニングするためのトレーニングデータを提供するように構成された第１の提供ユニットと、
前記人工ニューラルネットワークのための最適なアーキテクチャを提供するように構成された第２の提供ユニットであって、前記最適なアーキテクチャは、請求項８乃至１１のいずれか一項に記載の人工ニューラルネットワークのための最適なアーキテクチャを求めるためのシステムによって求められたものである、第２の提供ユニットと、
前記トレーニングデータ及び前記最適なアーキテクチャに基づいて、前記人工ニューラルネットワークをトレーニングするように構成されたトレーニングユニットと、
を備える、システム。
【請求項13】
前記トレーニングデータは、センサデータを含む、請求項１２に記載のシステム。
【請求項14】
人工ニューラルネットワークに基づいて制御可能なシステムを制御するためのシステムであって、
当該システムは、
前記制御可能なシステムを制御するようにトレーニングされた人工ニューラルネットワークを提供するように構成された提供ユニットであって、前記人工ニューラルネットワークは、請求項１３又は１４に記載の人工ニューラルネットワークをトレーニングするためのシステムによってトレーニングされたものである、提供ユニットと、
提供された前記人工ニューラルネットワークに基づいて前記制御可能なシステムを制御するように構成された制御ユニットと、
を備える、システム。
当該システムは、
前記制御可能なシステムを制御するようにトレーニングされた人工ニューラルネットワークを提供するように構成された提供ユニットであって、前記人工ニューラルネットワークは、請求項１３又は１４に記載の人工ニューラルネットワークをトレーニングするためのシステムによってトレーニングされたものである、提供ユニットと、
提供された前記人工ニューラルネットワークに基づいて前記制御可能なシステムを制御するように構成された制御ユニットと、
を備える、システム。
【請求項15】
コンピュータプログラムであって、当該コンピュータプログラムがコンピュータ上で実行されるときに、請求項１乃至４のいずれか一項に記載の人工ニューラルネットワークの最適なアーキテクチャを求めるための方法を実施するためのプログラムコードを含むコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人工ニューラルネットワークの最適なアーキテクチャを求めるための方法に関し、特に、人工ニューラルネットワークの複数の基準に関する最適なアーキテクチャを求めるための方法であって、最適なアーキテクチャを求める際のリソースを節約することができ、最適なアーキテクチャを求める際の精度も同時に向上させることができる方法に関する。
【背景技術】
【0002】
機械学習のアルゴリズムは、データ処理設備が元からこの目的のために明示的にプログラミングされていなくても特定のタスクを実行できるようにトレーニングするために統計的な方法が使用されることに基づいている。機械学習の目的は、ここでは、データから学習して予測を行うことができるアルゴリズムを構築することにある。これらのアルゴリズムは、例えばデータを分類することができる数学的モデルを作成する。
【0003】
この種の機械学習アルゴリズムに対する一例は、人工ニューラルネットワークである。この種の人工ニューラルネットワークは、生物学的ニューロンに向けられており、この生物学的ニューロンは、既存のトレーニングデータから未知のシステム挙動を学習し、続いて、学習したシステム挙動を未知の入力変数にも適用できるようにしている。ここでのニューラルネットワークは、理想化されたニューロンを有する層からなり、それらはネットワークのトポロジーに従って異なる方式で相互に接続されている。入力層とも称される第１の層は、ここでは、入力値を捕捉して伝送し、入力層におけるニューロンの数は、処理すべき入力信号の数に対応している。最後の層は、出力層とも称され、提供されるべき出力値の数と厳密に同一の数のニューロンを有する。また、入力層と出力層の間には、隠れ層と称されることも多い少なくとも１つの中間層も存在し、ここで、中間層の数及びこれらの層におけるニューロンの数及び／又はタイプは、ニューラルネットワークによって解決されるべき具体的なタスクに依存している。
【0004】
しかしながら、人工ニューラルネットワークのアーキテクチャの開発、すなわち、ネットワークの外観像又はネットワークにおける層の数の決定、並びに、個々の層におけるニューロンの数及び／又はタイプの決定には、ここでは、通常は非常に手間がかかり、特にリソースの消費に関して問題がある。アーキテクチャの開発を最適化するために、特定の問題提起に最適なアーキテクチャを自動的に開発するニューラルアーキテクチャ探索（ＮＡＳ）が開発された。このＮＡＳアルゴリズムは、ここでは最初に、様々なモジュール及び構成から人工ニューラルネットワークのためのアーキテクチャをコンパイルし、これは、続いて、トレーニングデータセットでトレーニングされ、続いて、ここで得られた結果が性能に関して評価される。続いて、この評価に基づいて、性能に関してより最適と思われる新たなアーキテクチャが求められ、続いて、これが再びトレーニングデータに基づいてトレーニングされ、続いて、ここで得られた結果が再び性能に関して評価される。これらのステップは、ここでは、アーキテクチャの変更によってもはやそれ以上の改善が得られないところまで繰り返すことができ、ここで、通常は、勾配に基づく方法がより最適なアーキテクチャを求めるために使用される。
【0005】
特に人工ニューラルネットワークの性能は、ここでは、特に、選択されたアーキテクチャに依存する。しかしながら、ここでの欠点として明らかなことは、人工ニューラルネットワークのための実際に最適なアーキテクチャを求めることが通常は困難であり、それにもかかわらず、ここでの最適なアーキテクチャの決定には、通常リソースの高い消費が伴う。また、最適なアーキテクチャの決定の際に、複数の設定若しくは条件又は基準を考慮すべき場合であって、設定が変更された場合又は他の基準が考慮されるべき場合には、通常、最適なアーキテクチャを完全に新たに求める必要がある。
【0006】
独国特許出願公開第１０２０１９２１４６２５号明細書からは、人工ニューラルネットワークを作成するための方法が公知である。この方法は、ここでは、複数の異なるデータセットを提供するステップと、複数のハイパーパラメータを初期化するステップと、人工ニューラルネットワークを学習させるステップと、学習させた人工ニューラルネットワークを評価するステップと、評価に依存してハイパーパラメータを最適化するステップと、最適化されたハイパーパラメータを使用して人工ニューラルネットワークを新たに学習させるステップとを含む。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】独国特許出願公開第１０２０１９２１４６２５号明細書
【発明の概要】
【発明が解決しようとする課題】
【0008】
したがって、本発明が基礎とする課題は、人工ニューラルネットワーク用の最適なアーキテクチャを求めるための改善された方法を提供することにある。
【課題を解決するための手段】
【0009】
この課題は、請求項１の特徴による人工ニューラルネットワークの最適なアーキテクチャを求めるための方法によって解決される。
【0010】
また、この課題は、請求項８の特徴による、人工ニューラルネットワークの最適なアーキテクチャを求めるためのシステムによっても解決される。
【0011】
発明の開示
本発明の一実施形態によれば、この課題は、人工ニューラルネットワークの最適なアーキテクチャを求めるための方法によって解決され、本方法は、以下のステップ：人工ニューラルネットワークの可能なアーキテクチャのセットを提供するステップと、人工ニューラルネットワークの可能なアーキテクチャのセットを有向グラフに表現するステップであって、有向グラフのノードは、可能なアーキテクチャのうちの１つのアーキテクチャのそれぞれ１つのサブセットを象徴し、始点ノードは、入力層を象徴し、有向グラフの終点ノードは、出力層を有するそれぞれ１つのサブセットを象徴し、有向グラフの辺は、サブセット間の可能な結合を象徴する、ステップと、アーキテクチャを求めるための少なくとも２つの設定の各々について、それぞれ、有向グラフの各辺にフローをそれぞれ割り当て、有向グラフに基づいて、対応する最適なアーキテクチャを求めるための戦略を確定し、確定された戦略に基づいて、始点ノードから終点ノードまでの軌道を繰り返し求めることにより、対応する最適なアーキテクチャを求め、求められた軌道に対する報酬を決定し、軌道に対して求められた報酬と、軌道に沿った辺に割り当てられたフローとに基づいて、求められた軌道に対するコスト関数を決定し、コスト関数に基づいて、軌道に沿った辺に割り当てられたフローをそれぞれ更新することにより、対応する設定に関して最適なアーキテクチャを求めるステップであって、軌道を求めるステップと、報酬を決定するステップと、コスト関数を決定するステップと、フローを更新するステップとが、求められた軌道がアーキテクチャ探索のための中断基準を満たすまで繰り返され、中断基準を満たす軌道が、最適なアーキテクチャを表す、ステップと、を含む。さらに、本方法は、少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャ又は少なくとも２つの設定の全てに関する事前に求められた最適なアーキテクチャに基づいて、人工ニューラルネットワークの最適なアーキテクチャを求めるステップと、人工ニューラルネットワークの最適なアーキテクチャを提供するステップと、を含む。
本発明の一実施形態によれば、この課題は、人工ニューラルネットワークの最適なアーキテクチャを求めるための方法によって解決され、本方法は、以下のステップ：人工ニューラルネットワークの可能なアーキテクチャのセットを提供するステップと、人工ニューラルネットワークの可能なアーキテクチャのセットを有向グラフに表現するステップであって、有向グラフのノードは、可能なアーキテクチャのうちの１つのアーキテクチャのそれぞれ１つのサブセットを象徴し、始点ノードは、入力層を象徴し、有向グラフの終点ノードは、出力層を有するそれぞれ１つのサブセットを象徴し、有向グラフの辺は、サブセット間の可能な結合を象徴する、ステップと、アーキテクチャを求めるための少なくとも２つの設定の各々について、それぞれ、有向グラフの各辺にフローをそれぞれ割り当て、有向グラフに基づいて、対応する最適なアーキテクチャを求めるための戦略を確定し、確定された戦略に基づいて、始点ノードから終点ノードまでの軌道を繰り返し求めることにより、対応する最適なアーキテクチャを求め、求められた軌道に対する報酬を決定し、軌道に対して求められた報酬と、軌道に沿った辺に割り当てられたフローとに基づいて、求められた軌道に対するコスト関数を決定し、コスト関数に基づいて、軌道に沿った辺に割り当てられたフローをそれぞれ更新することにより、対応する設定に関して最適なアーキテクチャを求めるステップであって、軌道を求めるステップと、報酬を決定するステップと、コスト関数を決定するステップと、フローを更新するステップとが、求められた軌道がアーキテクチャ探索のための中断基準を満たすまで繰り返され、中断基準を満たす軌道が、最適なアーキテクチャを表す、ステップと、を含む。さらに、本方法は、少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャ又は少なくとも２つの設定の全てに関する事前に求められた最適なアーキテクチャに基づいて、人工ニューラルネットワークの最適なアーキテクチャを求めるステップと、人工ニューラルネットワークの最適なアーキテクチャを提供するステップと、を含む。
【0012】
可能なアーキテクチャのセットとは、ここでは、人工ニューラルネットワークの複数の可能なアーキテクチャ又は対応する探索空間を意味するものと理解される。
【0013】
また、有向グラフは、ノードと個々のノードとを接続する辺を有するグラフであり、辺とは、有向辺、すなわち、一方向にのみ延在し得る辺である。
【0014】
有向グラフの各ノードは、可能なアーキテクチャのうちの１つのアーキテクチャのサブセットを象徴するとは、各ノードが人工ニューラルネットワークの可能なアーキテクチャのうちの少なくとも１つのアーキテクチャのサブセットを象徴することを意味し、各ノードは、他のサブセットを象徴することができ、サブセットは、全体として、人工ニューラルネットワークの全ての可能なアーキテクチャが有向グラフに含まれる又は表現されるように、有向グラフの個々のノード上に分散されるものとしてよい。これらのサブセットは、ここでは、それぞれ、対応する可能なアーキテクチャの少なくとも１つの層を含み又は特徴付ける。
【0015】
有向グラフに基づいて最適なアーキテクチャを求めるための戦略とは、さらに、それ又はそれらに基づくことにより、軌道を得るために、有向グラフの個々のノードが対応する設定又は対応する基準に基づいて選択される計画を意味するものと理解される。
【0016】
軌道として、ここでは特に、始点ノードと終点ノードとの間を連結する経路で表す。
【0017】
報酬又は見返りとは、さらに、対応する軌道によって表されるアーキテクチャの評価によって決定可能でありかつ対応するアーキテクチャによって達成可能である改善の値を意味するものと理解される。
【0018】
コスト関数又は損失とは、さらに、求められた軌道について当該軌道に沿った辺に割り当てられるフローに基づき期待される報酬と、軌道について実際に決定された報酬との間の損失又は誤差を意味するものと理解される。
【0019】
その他に、アーキテクチャ探索のための終了基準とは、予め確定された基準を示し、ここで、求められたアーキテクチャ又は求められた軌道によって表されるアーキテクチャが、対応する設定又は対応する基準に関する終了基準を満たした場合は、対応する最適なアーキテクチャを求めるステップが終了する。
【0020】
アーキテクチャがここでは求められた軌道によって表されることは、アーキテクチャが、求められた軌道に沿った辺によって象徴されるサブセットの対応する結合によって形成されることを意味する。
【0021】
したがって、本発明に係る方法は、報酬自体が最適化されるのではなく、潜在的なアーキテクチャが、それぞれ、これらのアーキテクチャに割り当てられた報酬に基づいて検査又は問合せされるということであり、従来の人工ニューラルネットワークの最適なアーキテクチャを求めるための公知方法とは異なる。また、本発明に係る方法は、例えば、より最適なアーキテクチャを決定するための勾配が推定されるのではなく、有向グラフの個々の辺又は人工ニューラルネットワークの可能なアーキテクチャのサブセット間の割り当てに割り当てられたフロー又は値が最適化され、実際の所与状況に適合化されるということであり、従来の人工ニューラルネットワークの最適なアーキテクチャを求めるための公知方法とは異なる。
【0022】
報酬自体が最適化されるのではなく、潜在的なアーキテクチャが、それぞれ、これらのアーキテクチャに割り当てられた報酬に基づいて検査又は問合せされるということは、ここでは、最適なアーキテクチャを求める際の精度を高め、特に、実際の最適なアーキテクチャを発見できる確率も高めることができるという利点を有する。
【0023】
また、勾配が推定されるのではなく、有向グラフの個々の辺又は人工ニューラルネットワークの可能なアーキテクチャのサブセット間の割り当てに割り当てられたフロー又は値が最適化され、実際の所与状況に適合化されるということは、例えばノイズの影響を受けにくく、全体として、最適なアーキテクチャを求めるために必要とされる反復回数も少なくて済み、これによって、最適なアーキテクチャを求めるために必要なリソース、例えば、メモリ容量及び／又はプロセッサ容量を節約することができるという利点も有する。
【0024】
また、人工ニューラルネットワークの最適なアーキテクチャがまた、それぞれ、最適な設定を決定する際に考慮すべき設定に関して最適である事前に決定されたアーキテクチャに基づいて決定されるということは、設定が異なって重み付けされるべき場合又は他の基準が考慮されるべき場合に、人工ニューラルネットワークの最適なアーキテクチャを、コストのかかるリソース集中型で完全に求め直す必要がなくなるという利点も有する。
【0025】
それにより、全体として、人工ニューラルネットワークのための最適なアーキテクチャを求めるための改善された方法が示される。
【0026】
一実施形態においては、少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャに基づいて、人工ニューラルネットワークの最適なアーキテクチャを求めるステップは、少なくとも２つの設定に関する最適なアーキテクチャの加重和を用いる。
【0027】
最適なアーキテクチャが加算されるということは、ここでは、対応する最適なアーキテクチャにそれぞれ対応する報酬と、対応する最適なアーキテクチャにそれぞれ対応する最適なフローとが加算されることを意味し、人工ニューラルネットワークの最適なアーキテクチャは、個々の最適なフローの和に基づいて求められる。
【0028】
重み付けとは、さらに、数学的モデルの個々の影響変数を、例えば、その価値に関して評価することを意味するものと理解される。加重和とは、この場合、個々の総和、すなわち、個々の最適なフローが、それらの価値又は重要性に基づいて重み付けされることを意味する。
【0029】
したがって、人工ニューラルネットワークの最適なアーキテクチャは、コストのかかるリソース集中型の適合化を必要としないこととなるような簡単な手法により、少なくとも２つの設定に関する個々の最適なアーキテクチャに基づいて求めることができる。
【0030】
ここでは、対応する重み付けは、少なくとも１つの目標コンポーネントの現在のハードウェア所与状況に基づかせることができる。
【0031】
少なくとも１つの目標コンポーネントのハードウェア所与状況とは、さらに、特に、人工ニューラルネットワークの適用のために使用可能な少なくとも１つの目標コンポーネントのリソースに関する情報、例えば、メモリ容量及び／又はプロセッサ容量を意味するものと理解される。
【0032】
したがって、対応してトレーニングされた人工ニューラルネットワークが引き続き適用されるデータ処理設備の所与状況が、人工ニューラルネットワークの最適なアーキテクチャを求める際に考慮される。
【0033】
一実施形態においては、軌道に対する報酬は、さらに、少なくとも１つの目標コンポーネントのハードウェア所与状況に基づいて決定される。
【0034】
これにより、対応してトレーニングされた人工ニューラルネットワークが引き続き適用されるデータ処理設備の所与状況も同様に、人工ニューラルネットワークの最適なアーキテクチャを求める際に考慮される。
【0035】
本発明のさらなる実施形態によれば、人工ニューラルネットワークをトレーニングするための方法も示され、本方法は、以下のステップ：人工ニューラルネットワークをトレーニングするためのトレーニングデータを提供するステップと、人工ニューラルネットワークのための最適なアーキテクチャを提供するステップであって、人工ニューラルネットワークの最適なアーキテクチャは、上述した人工ニューラルネットワークの最適なアーキテクチャを求めるための方法によって求められたものである、ステップと、トレーニングデータ及び最適なアーキテクチャに基づいて、人工ニューラルネットワークをトレーニングするステップと、を含む。
【0036】
したがって、人工ニューラルネットワークのための最適なアーキテクチャを求めるための改善された方法によって求められる最適なアーキテクチャに基づく、人工ニューラルネットワークをトレーニングするための方法が示される。報酬自体が最適化されるのではなく、潜在的なアーキテクチャが、それぞれ、これらのアーキテクチャに割り当てられた報酬に基づいて検査又は問合せされるということは、ここでは、最適なアーキテクチャを求める際の精度を高め、特に、実際の最適なアーキテクチャを発見できる確率も高めることができるという利点を有する。また、勾配が推定されるのではなく、有向グラフの個々の辺又は人工ニューラルネットワークの可能なアーキテクチャのサブセット間の割り当てに割り当てられたフロー又は値が最適化され、実際の所与状況に適合化されるということは、例えば、ノイズの影響を受けにくく、全体として、最適なアーキテクチャを求めるために必要とされる反復回数も少なくて済み、これによって、最適なアーキテクチャを求めるために必要なリソース、例えば、メモリ容量及び／又はプロセッサ容量を節約することができるという利点も有する。また、人工ニューラルネットワークの最適なアーキテクチャがまた、それぞれ、最適な設定を決定する際に考慮すべき設定に関して最適である事前に決定されたアーキテクチャに基づいて決定されるということは、設定が異なって重み付けされるべき場合又は他の基準が考慮されるべき場合に、人工ニューラルネットワークの最適なアーキテクチャを、コストのかかるリソース集中型で完全に求め直す必要がなくなるという利点も有する。
【0037】
トレーニングデータは、ここでは、センサデータを含み得る。
【0038】
検出器、（測定変数若しくは測定）変換器又は（測定）プローブとも称されるセンサは、特定の物理的若しくは化学的特性及び／又は自身の環境の物質的特性を定性的に若しくは測定変数として定量的に捕捉することができる技術的構成部品である。
【0039】
それにより、簡単な手法を用いて、本方法が実施される本来のデータ処理設備外の所与状況を捕捉して、人工ニューラルネットワークのトレーニングの際に考慮することができる。
【0040】
本発明のさらなる実施形態によれば、人工ニューラルネットワークに基づいて制御可能なシステムを制御するための方法もさらに示され、本方法は、以下のステップ：制御可能なシステムを制御するようにトレーニングされた人工ニューラルネットワークを提供するステップであって、人工ニューラルネットワークは、上述した人工ニューラルネットワークをトレーニングするための方法によってトレーニングされたものである、ステップと、提供された人工ニューラルネットワークに基づいて制御可能なシステムを制御するステップと、を含む。
【0041】
制御可能なシステムは、ここでは、特に、ロボットシステムであり得る。この場合、ロボットシステムは、例えば、自動車の埋め込みシステム及び／又は自動車機能部であり得る。
【0042】
したがって、人工ニューラルネットワークに基づいて制御可能なシステムを制御するための方法が示され、ここで、人工ニューラルネットワークは、人工ニューラルネットワークのための最適なアーキテクチャを求めるための改善された方法によって求められる最適なアーキテクチャに基づいている。報酬自体が最適化されるのではなく、潜在的なアーキテクチャが、それぞれ、これらのアーキテクチャに割り当てられた報酬に基づいて検査又は問合せされるということは、ここでは、最適なアーキテクチャを求める際の精度を高め、特に、実際の最適なアーキテクチャを発見できる確率も高めることができるという利点を有する。また、勾配が推定されるのではなく、有向グラフの個々の辺又は人工ニューラルネットワークの可能なアーキテクチャのサブセット間の割り当てに割り当てられたフロー又は値が最適化され、実際の所与状況に適合化されるということは、例えば、ノイズの影響を受けにくく、全体として、最適なアーキテクチャを求めるために必要とされる反復回数も少なくて済み、これによって、最適なアーキテクチャを求めるために必要なリソース、例えば、メモリ容量及び／又はプロセッサ容量を節約することができるという利点も有する。また、人工ニューラルネットワークの最適なアーキテクチャがまた、それぞれ、最適な設定を決定する際に考慮すべき設定に関して最適である事前に決定されたアーキテクチャに基づいて決定されるということは、設定が異なって重み付けされるべき場合又は他の基準が考慮されるべき場合に、人工ニューラルネットワークの最適なアーキテクチャを、コストのかかるリソース集中型により完全に求め直す必要がなくなるという利点も有する。
【0043】
また、本発明のさらなる実施形態によれば、人工ニューラルネットワークの最適なアーキテクチャを求めるためのシステムも示され、本システムは、人工ニューラルネットワークの可能なアーキテクチャのセットを提供するように構成された第１の提供ユニットと、人工ニューラルネットワークの可能なアーキテクチャのセットを有向グラフに写像するように構成された撮像ユニットであって、有向グラフのノードは、可能なアーキテクチャのうちの１つのアーキテクチャのそれぞれ１つのサブセットを象徴し、始点ノードは、入力層を象徴し、有向グラフの終点ノードは、出力層を有するそれぞれ１つのサブセットを象徴し、有向グラフの辺は、それぞれサブセット間の可能な結合を象徴する、撮像ユニットと、アーキテクチャを求めるための少なくとも２つの設定の各々について、それぞれ、有向グラフの各辺にフローをそれぞれ割り当て、有向グラフに基づいて、対応する最適なアーキテクチャを求めるための戦略を確定し、確定された戦略に基づいて、始点ノードから終点ノードまでの軌道を繰り返し求めることにより、対応する最適なアーキテクチャを求め、求められた軌道に対する報酬を決定し、軌道に対して求められた報酬と、軌道に沿った辺に割り当てられたフローとに基づいて、求められた軌道に対するコスト関数を決定し、コスト関数に基づいて、軌道に沿った辺に割り当てられたフローをそれぞれ更新することにより、対応する設定に関して最適なアーキテクチャを求めるように構成された少なくとも１つの算出ユニットであって、軌道を求めることと、報酬を決定することと、コスト関数を決定することと、フローを更新することとが、求められた軌道がアーキテクチャ探索のための中断基準を満たすまで繰り返され、中断基準を満たす軌道が、最適なアーキテクチャを表す、少なくとも１つの算出ユニットと、を備える。さらに、本システムは、少なくとも２つの設定の各々に関するそれぞれ求められた最適なアーキテクチャに基づいて、人工ニューラルネットワークの最適なアーキテクチャを求めるように構成された第２の算出ユニットと、人工ニューラルネットワークの最適なアーキテクチャを提供するように構成された第２の提供ユニットと、を備える。
【0044】
したがって、人工ニューラルネットワークのための最適なアーキテクチャを求めるための改善されたシステムが示される。報酬自体が最適化されるのではなく、潜在的なアーキテクチャが、それぞれ、これらのアーキテクチャに割り当てられた報酬に基づいて検査又は問合せされるということは、ここでは、最適なアーキテクチャを求める際の精度を高め、特に、実際の最適なアーキテクチャを発見できる確率も高めることができるという利点を有する。また、勾配が推定されるのではなく、有向グラフの個々の辺又は人工ニューラルネットワークの可能なアーキテクチャのサブセット間の割り当てに割り当てられたフロー又は値が最適化され、実際の所与状況に適合化されるということは、例えば、ノイズの影響を受けにくく、全体として、最適なアーキテクチャを求めるために必要とされる反復回数も少なくて済み、これによって、最適なアーキテクチャを求めるために必要なリソース、例えば、メモリ容量及び／又はプロセッサ容量を節約することができるという利点も有する。また、人工ニューラルネットワークの最適なアーキテクチャがまた、それぞれ、最適な設定を決定する際に考慮すべき設定に関して最適である事前に決定されたアーキテクチャに基づいて決定されるということは、設定が異なって重み付けされるべき場合又は他の基準が考慮されるべき場合に、人工ニューラルネットワークの最適なアーキテクチャを、コストのかかるリソース集中型により完全に求め直す必要がなくなるという利点も有する。
【0045】
一実施形態においては、第２の算出ユニットは、少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャの加重和によって、人工ニューラルネットワークの最適なアーキテクチャを求めるように構成されている。したがって、人工ニューラルネットワークの最適なアーキテクチャは、コストのかかるリソース集中型の適合化を必要としないこととなるような簡単な手法により、少なくとも２つの設定に関する個々の最適なアーキテクチャに基づいて求めることができる。
【0046】
ここでは、対応する重み付けは、少なくとも１つの目標コンポーネントの現在のハードウェア所与状況に基づかせることができる。したがって、対応してトレーニングされた人工ニューラルネットワークが引き続き適用されるデータ処理設備の所与状況が、人工ニューラルネットワークの最適なアーキテクチャを求める際に考慮される。
【0047】
一実施形態においては、第１の算出ユニットは、また、軌道に対する報酬を少なくとも１つの目標コンポーネントのハードウェア所与状況に基づいて決定するように構成されている。それにより、対応してトレーニングされた人工ニューラルネットワークが引き続き適用されるデータ処理設備の所与状況も同様に、人工ニューラルネットワークの最適なアーキテクチャを求める際に考慮される。
【0048】
その他に、本発明のさらなる実施形態によれば、人工ニューラルネットワークをトレーニングするためのシステムも示され、本システムは、人工ニューラルネットワークをトレーニングするためのトレーニングデータを提供するように構成された第１の提供ユニットと、人工ニューラルネットワークのための最適なアーキテクチャを提供するように構成された第２の提供ユニットであって、最適なアーキテクチャは、上述した人工ニューラルネットワークのための最適なアーキテクチャを求めるためのシステムによって求められたものである、第２の提供ユニットと、トレーニングデータ及び最適なアーキテクチャに基づいて、人工ニューラルネットワークをトレーニングするように構成されたトレーニングユニットと、を備える。
【0049】
したがって、人工ニューラルネットワークのための最適なアーキテクチャを求めるための改善されたシステムによって求められた最適なアーキテクチャに基づく、人工ニューラルネットワークをトレーニングするためのシステムが示される。報酬自体が最適化されるのではなく、潜在的なアーキテクチャが、それぞれ、これらのアーキテクチャに割り当てられた報酬に基づいて検査又は問合せされるということは、ここでは、最適なアーキテクチャを求める際の精度を高め、特に、実際の最適なアーキテクチャを発見できる確率も高めることができるという利点を有する。また、勾配が推定されるのではなく、有向グラフの個々の辺又は人工ニューラルネットワークの可能なアーキテクチャのサブセット間の割り当てに割り当てられたフロー又は値が最適化され、実際の所与状況に適合化されるということは、例えば、ノイズの影響を受けにくく、全体として、最適なアーキテクチャを求めるために必要とされる反復回数も少なくて済み、これによって、最適なアーキテクチャを求めるために必要なリソース、例えば、メモリ容量及び／又はプロセッサ容量を節約することができるという利点も有する。また、人工ニューラルネットワークの最適なアーキテクチャがまた、それぞれ、最適な設定を決定する際に考慮すべき設定に関して最適である事前に決定されたアーキテクチャに基づいて決定されるということは、設定が異なって重み付けされるべき場合又は他の基準が考慮されるべき場合に、人工ニューラルネットワークの最適なアーキテクチャを、コストのかかるリソース集中型で完全に求め直す必要がなくなるという利点も有する。
【0050】
トレーニングデータは、ここでも、センサデータを含み得る。これにより、簡単な手法を用いて、本方法が実行される本来のデータ処理設備外の所与状況を捕捉し、人工ニューラルネットワークのトレーニングの際に考慮することができる。
【0051】
その他に、本発明のさらなる実施形態によれば、人工ニューラルネットワークに基づいて制御可能なシステムを制御するためのシステムも示され、本システムは、制御可能なシステムを制御するようにトレーニングされた人工ニューラルネットワークを提供するように構成された提供ユニットであって、人工ニューラルネットワークは、前述した人工ニューラルネットワークをトレーニングするためのシステムによってトレーニングされたものである、提供ユニットと、提供された人工ニューラルネットワークに基づいて制御可能なシステムを制御するように構成された制御ユニットと、を備える。
【0052】
したがって、人工ニューラルネットワークに基づいて制御可能なシステムを制御するためのシステムが示され、ここで、人工ニューラルネットワークは、人工ニューラルネットワークのための最適なアーキテクチャを求めるための改善されたシステムによって求められた最適なアーキテクチャに基づいている。報酬自体が最適化されるのではなく、潜在的なアーキテクチャが、それぞれ、これらのアーキテクチャに割り当てられた報酬に基づいて検査又は問合せされるということは、ここでは、最適なアーキテクチャを求める際の精度を高め、特に、実際の最適なアーキテクチャを発見できる確率も高めることができるという利点を有する。また、勾配が推定されるのではなく、有向グラフの個々の辺又は人工ニューラルネットワークの可能なアーキテクチャのサブセット間の割り当てに割り当てられたフロー又は値が最適化され、実際の所与状況に適合化されるということは、例えばノイズの影響を受けにくく、全体として、最適なアーキテクチャを求めるために必要とされる反復回数も少なくて済み、これによって、最適なアーキテクチャを求めるために必要なリソース、例えば、メモリ容量及び／又はプロセッサ容量を節約することができるという利点も有する。また、人工ニューラルネットワークの最適なアーキテクチャがまた、それぞれ、最適な設定を決定する際に考慮すべき設定に関して最適である事前に決定されたアーキテクチャに基づいて決定されるということは、設定が異なって重み付けされるべき場合又は他の基準が考慮されるべき場合に、人工ニューラルネットワークの最適なアーキテクチャを、コストのかかるリソース集中型で完全に求め直す必要がなくなるという利点も有する。
【0053】
さらに、本発明のさらなる実施形態によれば、コンピュータプログラムがコンピュータ上で実行されるときに、人工ニューラルネットワークの最適なアーキテクチャを求めるための上述した方法を実施するためのプログラムコードを含むコンピュータプログラムも示される。
【0054】
このコンピュータプログラムは、ここでは、これが、人工ニューラルネットワークのための最適なアーキテクチャを求めるための改善された方法を実行するように構成されているという利点を有する。報酬自体が最適化されるのではなく、潜在的なアーキテクチャが、それぞれ、これらのアーキテクチャに割り当てられた報酬に基づいて検査又は問合せされるということは、ここでは、最適なアーキテクチャを求める際の精度を高め、特に、実際の最適なアーキテクチャを発見できる確率も高めることができるという利点を有する。また、勾配が推定されるのではなく、有向グラフの個々の辺又は人工ニューラルネットワークの可能なアーキテクチャのサブセット間の割り当てに割り当てられたフロー又は値が最適化され、実際の所与状況に適合化されるということは、例えば、ノイズの影響を受けにくく、全体として、最適なアーキテクチャを求めるために必要とされる反復回数も少なくて済み、これによって、最適なアーキテクチャを求めるために必要なリソース、例えば、メモリ容量及び／又はプロセッサ容量を節約することができるという利点も有する。また、人工ニューラルネットワークの最適なアーキテクチャがまた、それぞれ、最適な設定を決定する際に考慮すべき設定に関して最適である事前に決定されたアーキテクチャに基づいて決定されるということは、設定が異なって重み付けされるべき場合又は他の基準が考慮されるべき場合に、人工ニューラルネットワークの最適なアーキテクチャを、コストのかかるリソース集中型で完全に求め直す必要がなくなるという利点も有する。
【0055】
要約すると、本発明によれば、人工ニューラルネットワークの最適なアーキテクチャを求めるための方法、特に、複数の基準に関して最適な人工ニューラルネットワークのアーキテクチャを求めるための方法が示され、この方法を用いることにより、最適なアーキテクチャを求める際のリソースを節約することができ、さらにこの方法を用いることにより、最適なアーキテクチャを求める際の精度も同時に向上させることができることが確定される。
【0056】
説明した実施形態及びさらなる発展形態は、任意に相互に組み合わせることができる。
【0057】
本発明のさらなる可能な実施形態、発展形態及び実装態様には、上記において又は以下において実施例に関して説明する本発明の特徴の明示的に言及されていない組合せも含まれる。
【0058】
添付の図面は、本発明の実施形態のさらなる理解の橋渡しを意図するものである。これらの図面は、実施形態を示し、明細書と関連して、本発明の原理及び構想の説明に用いられる。
【0059】
他の実施形態及び言及された利点の多くは、図面を考慮することにより明らかになる。図面において示されている要素は、必ずしも相互に縮尺通りに示されたものではない。
【図面の簡単な説明】
【0060】
【図1】本発明の実施形態による人工ニューラルネットワークの最適なアーキテクチャを求めるための方法を示すフローチャートである。
【図2】本発明の実施形態による人工ニューラルネットワークの最適なアーキテクチャを求めるためのシステムを示す概略的なブロック図である。
【0061】
これらの図面の図中において、同一の参照符号は、特段の明記がない限り、同一の又は機能的に同等の要素、構成部品又はコンポーネントを示す。
【発明を実施するための形態】
【0062】
図１は、本発明の実施形態による人工ニューラルネットワークの最適なアーキテクチャを求めるための方法１のフローチャートを示している。
【0063】
ニューラルアーキテクチャ探索（ＮＡＳ）とは、一般に、予め設定された問題提起のための人工ニューラルネットワークの最適なアーキテクチャを自動的に開発するための方法を意味するものと理解される。これは、人工ニューラルネットワークのコストのかかる手動設計を不要にさせる、自動化された機械学習のサブ領域である。
【0064】
スケーラブルなニューラルアーキテクチャ探索方法は、ここでは、勾配に基づく方法である。ここでは、人工ニューラルネットワークのための探索空間に含まれる全ての可能なアーキテクチャからスーパーグラフが形成され、この場合、個々の可能なアーキテクチャは、スーパーグラフのサブグラフである。スーパーグラフのノードは、可能なアーキテクチャのうちの１つのアーキテクチャのそれぞれ１つのサブセットを象徴し、ここで、ノードは、それぞれ、特に、人工ニューラルネットワークの厳密に１つの可能な層を象徴することができ、ここで、始点ノードは、人工ニューラルネットワークの入力層を象徴し、有向グラフの終点ノードは、出力層を有する可能なアーキテクチャのうちの１つのアーキテクチャのそれぞれ１つのサブセットを象徴し、ここで、辺は、サブセット間の可能な結合を象徴し、ここで、各辺には、それぞれ、ノードの選択のための戦略に基づいてパラメータが割り当てられる。さらに、スーパーグラフに基づいて、報酬又は収益が最大となるようなアーキテクチャを見つけることが試みられ、ここでは、人工ニューラルネットワークのための最適なアーキテクチャを決定するために勾配降下法が使用される。また、マルチ基準タスクの場合、又は、複数のタスクが満たされるべきニューラルネットワークの場合、通常は、全ての基準が担保されるべき共通の戦略に基づいて最適なアーキテクチャを求めることが試みられる。
【0065】
図１は、ここでは、方法１を示し、本方法１は、人工ニューラルネットワーク又は対応する探索空間の可能なアーキテクチャのセットを提供するステップ２と、人工ニューラルネットワークの可能なアーキテクチャのセットを有向グラフに表現するステップ３であって、有向グラフのノードは、可能なアーキテクチャのうちの１つのアーキテクチャのそれぞれ１つのサブセットを象徴し、始点ノードは、入力層を象徴し、有向グラフの終点ノードは、出力層を有するそれぞれ１つのサブセットを象徴し、有向グラフの辺は、サブセット間の可能な結合を象徴する、ステップ３と、アーキテクチャを求めるための少なくとも２つの設定の各々について、それぞれ、有向グラフの各辺にフローを割り当て、有向グラフに基づいて、対応する最適なアーキテクチャを求めるための戦略を確定し、確定された戦略に基づいて、始点ノードから終点ノードまでの軌道を繰り返し求めることにより、対応する最適なアーキテクチャを求め、求められた軌道に対する報酬を決定し、軌道に対して求められた報酬と、軌道に沿った辺に割り当てられたフローとに基づいて、求められた軌道に対するコスト関数を決定し、コスト関数に基づいて、軌道に沿った辺に割り当てられたフローをそれぞれ更新することにより、対応する設定に関して最適なアーキテクチャを求めるステップ４であって、軌道を求めるステップと、報酬を決定するステップと、コスト関数を決定するステップと、フローを更新するステップとが、求められた軌道がアーキテクチャ探索のための中断基準を満たすまで繰り返され、中断基準を満たす軌道が、最適なアーキテクチャを表す、ステップ４と、を含む。さらに、本方法１は、少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャに基づいて、人工ニューラルネットワークの最適なアーキテクチャを求めるステップ５と、人工ニューラルネットワークの最適なアーキテクチャを提供するステップ６と、を含む。
【0066】
報酬自体が最適化されるのではなく、潜在的なアーキテクチャが、それぞれ、これらのアーキテクチャに割り当てられた報酬に基づいて検査又は問合せされるということは、ここでは、最適なアーキテクチャを求める際の精度を高め、特に、実際の最適なアーキテクチャを発見できる確率も高めることができるという利点を有する。
【0067】
また、勾配が推定されるのではなく、有向グラフの個々の辺又は人工ニューラルネットワークの可能なアーキテクチャのサブセット間の割り当てに割り当てられたフロー又は値が最適化され、実際の所与状況に適合化されるということは、例えば、ノイズの影響を受けにくく、全体として、最適なアーキテクチャを求めるために必要とされる反復回数も少なくて済み、これによって、最適なアーキテクチャを求めるために必要なリソース、例えば、メモリ容量及び／又はプロセッサ容量を節約することができるという利点も有する。
【0068】
また、人工ニューラルネットワークの最適なアーキテクチャがまた、それぞれ、最適な設定を決定する際に考慮すべき設定に関して最適である事前に決定されたアーキテクチャに基づいて決定されるということは、設定が異なって重み付けされるべき場合又は他の基準が考慮されるべき場合に、人工ニューラルネットワークの最適なアーキテクチャを、コストのかかるリソース集中型で完全に求め直す必要がなくなるという利点も有する。
【0069】
それにより、全体として、人工ニューラルネットワークのための最適なアーキテクチャを求めるための改善された方法１が示される。
【0070】
特に、図１は、ここでは、特に、複数のタスクを同時に実行するニューラルネットワークのための最適なアーキテクチャを求めるために、勾配に基づくアプローチの代わりにフロー法の適用に基づく方法１を示す。ここでは、所望のアーキテクチャは、対応するニューラルネットワークによって実行されるべき複数のタスクに関するその性能に関して求めることができる。
【0071】
本発明によれば、少なくとも２つの設定は、ハードウェアメトリクス、特に所望のレイテンシ、エネルギー消費、及び／又は、現在使用可能なリソースを含む。付加的に、少なくとも２つの設定は、受信タスク、例えば、検出精度又は検出タイプを含み得る。
【0072】
可能なアーキテクチャのセット、ひいては有向グラフ又はスーパーグラフは、ここでは、ラベル付けされたトレーニングデータ、例えば人工ニューラルネットワークをトレーニングするためのラベル付けされたセンサデータに基づくことができる。
【0073】
図１の実施形態によれば、さらに、有向グラフにおける各ノードは、人工ニューラルネットワークの厳密に１つの可能な層を象徴する。図示された方法１に基づいて、少なくとも２つの設定の各々について、それぞれ対応するアーキテクチャは、ここでは、特に逐次的に構築することができ、すなわち、各層を個別に選択することができ、又は、どの層をどの時点で挿入すべきかをそれぞれ個別に決定することができる。この目的のために、有向グラフの結合は、特に、有向グラフの個々の辺の選択に該当するアクションの予め設定されたセット上で予め設定されるものとしてよい。
【0074】
求められた軌道に対する報酬を決定するステップは、さらに、例えば、それぞれ、求められた軌道によって表されるアーキテクチャがラベル付けされたトレーニングデータに基づいてトレーニングされることによっても行うことができ、この場合、得られた結果は、引き続き、対応する設定に関する性能に関して検証又は評価される。
【0075】
また、コスト関数は、それぞれ、例えばフローマッチング目的の決定によって決定することができる。さらにコスト関数は、それぞれ例えば、詳細バランス目的及びバックワードポリシー又は軌道バランス目的の決定によって決定することでさえも可能である。
【0076】
コスト関数に基づいて、軌道に沿った辺に割り当てられたフローをそれぞれ更新するステップは、さらに、バックトラッキングアルゴリズムを適用することを含み得る。
【0077】
また、中断基準は、それぞれ、求められた軌道に対して求められた報酬が、報酬のための対応する予め設定された目標領域内に存在すると直ちに、対応する最適なアーキテクチャの決定が中断されるように選択することができ、ここで、目標領域は、少なくとも２つの設定の各々について、例えば、対応する設定の重要性に応じて、異なるものとしてよい。
【0078】
初期フロー値は、ここではさらにランダムに選択することができる。
【0079】
さらに、有向グラフに基づいて最適なアーキテクチャを求めるための対応する戦略は、フロー値に基づくことができる。
【0080】
図１の実施形態によれば、少なくとも２つの設定の各々について、有向グラフの各ノードのために有向グラフに基づいて対応する最適なアーキテクチャを求めるための戦略は、ここでは、特に、求めるべき軌道が、有向グラフの対応するノードを通過することについての確率を示し、ここで、確率は、それぞれ、事前に選択されたノードから対応するノードに至る有向グラフの辺に割り当てられたフローに比例し、ここで、軌道は、最大確率を有する辺をそれぞれ選択することによって求められ、及び／又は、確率に比例して求められる。
【0081】
また、この戦略は、所定の時点において、付加的に、予め設定された確率から外れて他の辺に続く可能性もあることを設定している。
【0082】
図１の実施形態によれば、少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャに基づいて、人工ニューラルネットワークの最適なアーキテクチャを求めるステップ５は、少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャ、又は、少なくとも２つの設定の全てに関する求められた最適なアーキテクチャの加重和を用いる。
【0083】
特に、人工ニューラルネットワークの最適なアーキテクチャは、ここでは、対応する個々の報酬の加重和と、対応する個々のフローの加重和とによって求められる。
【0084】
重み付けは、ここでは、図１の実施形態によれば、さらに少なくとも１つの目標コンポーネントの現在のハードウェア所与状況に基づく。
【0085】
例えば、重み付けは、少なくとも１つの目標コンポーネントのエネルギー蓄積器の充填レベルが充填レベル用の閾値よりも低くなると直ちに、エネルギー消費が可及的に最小化されるように選択することができる。
【0086】
特に、ここでは、重み付けの適当な選択により、設定の重要性又は所望の影響を変化させることができる。
【0087】
図１の実施形態によれば、軌道に対する報酬は、さらに少なくとも１つの目標コンポーネントのハードウェア所与状況にも基づいて決定される。例えば、ハードウェア要件は、ここでは、それぞれ、軌道より表されるアーキテクチャ及びトレーニングデータに基づいてトレーニングされた人工ニューラルネットワークの性能の決定の際に含めることができ、ここで、ハードウェア特性は、重み係数を備えることができ、ここでは、この選択される重み係数が大きいほど、ハードウェア要件への焦点が絞られる。
【0088】
本方法１によって求められた最適なアーキテクチャは、引き続き、対応するラベル付けされたトレーニングデータに基づいて、対応する人工ニューラルネットワークをトレーニングするために用いることができる。
【0089】
特に、ここでは、人工ニューラルネットワークは、制御可能なシステムを制御するためにトレーニングされ、それに続いて、制御可能なシステムの制御のために使用することができ、ここで、制御可能なシステムとは、例えば、自動車の埋め込みシステム又は自律的に走行する自動車の機能部であり得る。例えば、本方法によれば、部分的に自動化された走行の枠内で複数のタスクを実行するニューラルネットワークの最適なアーキテクチャを求めることができる。
【0090】
さらに、ここでは、人工ニューラルネットワークは、画像データを分類するために、特にデジタル画像データを、例えば辺又はピクセル属性などの低レベル特徴に基づいて分類するためにトレーニングすることでさえ可能である。ここでは、さらに、対応する低レベル特徴に集中した分類結果を分析するために、画像処理アルゴリズムを使用することができる。
【0091】
図２は、本発明の実施形態による人工ニューラルネットワークの最適なアーキテクチャを求めるためのシステム１０の概略的なブロック図を示している。
【0092】
図２の実施形態によれば、本システム１０は、ここでは、人工ニューラルネットワークの可能なアーキテクチャのセットを提供するように構成された第１の提供ユニット１１と、人工ニューラルネットワークの可能なアーキテクチャのセットを有向グラフに写像するように構成された撮像ユニット１２であって、有向グラフのノードは、可能なアーキテクチャのうちの１つのアーキテクチャのそれぞれ１つのサブセットを象徴し、始点ノードは、入力層を象徴し、有向グラフの終点ノードは、出力層を有するそれぞれ１つのサブセットを象徴し、有向グラフの辺は、サブセット間の可能な結合を象徴する、撮像ユニット１２と、アーキテクチャを求めるための少なくとも２つの設定の各々について、それぞれ、有向グラフの各辺にフローをそれぞれ割り当て、有向グラフに基づいて、対応する最適なアーキテクチャを求めるための戦略を確定し、確定された戦略に基づいて、始点ノードから終点ノードまでの軌道を繰り返し求めることにより、対応する最適なアーキテクチャを求め、求められた軌道に対する報酬を決定し、軌道に対して求められた報酬と、軌道に沿った辺に割り当てられたフローとに基づいて、求められた軌道に対するコスト関数を決定し、コスト関数に基づいて、軌道に沿った辺に割り当てられたフローをそれぞれ更新することにより、対応する設定に関して最適なアーキテクチャを求めるように構成された算出ユニット１３であって、軌道を求めることと、報酬を決定することと、コスト関数を決定することと、フローを更新することとが、求められた軌道がアーキテクチャ探索のための中断基準を満たすまで繰り返され、中断基準を満たす軌道が、最適なアーキテクチャを表す、算出ユニット１３と、少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャに基づいて、人工ニューラルネットワークの最適なアーキテクチャを求めるように構成された第２の算出ユニット１４と、人工ニューラルネットワークの最適なアーキテクチャを提供するように構成された第２の提供ユニット１５と、を備える。
【0093】
第１の提供ユニットは、ここでは、特に、対応するデータを受信するように構成された受信機であり得る。第２の提供ユニットは、特に、対応するデータ又は情報を伝送するように構成された送信機であり得る。第１の提供ユニット及び第２の提供ユニットは、ここでは、共通のトランシーバに統合されるものとしてもよい。
【0094】
撮像ユニット、第１の算出ユニット及び第２の算出ユニットは、さらに、それぞれ、例えば、メモリに格納されプロセッサによって実行可能なコードに基づいて実現することができる。
【0095】
図２の実施形態によれば、第２の算出ユニット１４は、ここでも、少なくとも２つの設定に関する最適なアーキテクチャの加重和によって人工ニューラルネットワークの最適なアーキテクチャを求めるように構成されている。
【0096】
重み付けは、ここでも、少なくとも１つの対象コンポーネントの現在のハードウェア所与状況に基づくことができる。
【0097】
また、図２の実施形態によれば、第１の決定ユニット１３は、それぞれ少なくとも１つの目標コンポーネントのハードウェア所与状況に基づいて軌道に対する報酬を決定するようにも構成されている。
【0098】
さらに、本システム１０は、特に、人工ニューラルネットワークの最適なアーキテクチャを求めるための上述した方法を実行するように構成されるものとしてもよい。
【図1】
【図2】
【手続補正書】
【提出日】2024-07-22
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
人工ニューラルネットワークの最適なアーキテクチャを求めるための方法であって、
当該方法（１）は、以下のステップ：
－前記人工ニューラルネットワークの可能なアーキテクチャのセットを提供するステップ（２）と、
－前記人工ニューラルネットワークの可能なアーキテクチャのセットを有向グラフに写像するステップ（３）であって、前記有向グラフのノードは、可能なアーキテクチャのうちの１つのアーキテクチャのそれぞれ１つのサブセットを象徴し、前記有向グラフの始点ノードは、入力層を象徴し、前記有向グラフの終点ノードは、出力層を有するそれぞれ１つのサブセットを象徴し、前記有向グラフの辺は、それぞれ前記サブセット間の可能な結合を象徴する、ステップ（３）と、
－前記アーキテクチャを求めるための少なくとも２つの設定の各々について、それぞれ、前記有向グラフの各辺にフローをそれぞれ割り当て、前記有向グラフに基づいて、対応する最適なアーキテクチャを求めるための戦略を確定し、確定された前記戦略に基づいて、前記始点ノードから前記終点ノードまでの軌道を繰り返し求めることにより、対応する最適なアーキテクチャを求め、求められた軌道に対する報酬を決定し、前記軌道に対して求められた報酬と、前記軌道に沿った辺に割り当てられたフローとに基づいて、前記求められた軌道に対するコスト関数を決定し、前記コスト関数に基づいて、前記軌道に沿った前記辺に割り当てられたフローをそれぞれ更新することにより、対応する設定に関して最適なアーキテクチャを求めるステップ（４）であって、軌道を求めるステップと、報酬を決定するステップと、コスト関数を決定するステップと、フローを更新するステップとが、前記求められた軌道がアーキテクチャ探索のための中断基準を満たすまで繰り返され、前記中断基準を満たす軌道は、最適なアーキテクチャを表す、ステップ（４）と、
－前記少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャに基づいて、前記人工ニューラルネットワークの最適なアーキテクチャを求めるステップ（５）と、
－前記人工ニューラルネットワークの前記最適なアーキテクチャを提供するステップ（６）と、
を含む、方法（１）。
当該方法（１）は、以下のステップ：
－前記人工ニューラルネットワークの可能なアーキテクチャのセットを提供するステップ（２）と、
－前記人工ニューラルネットワークの可能なアーキテクチャのセットを有向グラフに写像するステップ（３）であって、前記有向グラフのノードは、可能なアーキテクチャのうちの１つのアーキテクチャのそれぞれ１つのサブセットを象徴し、前記有向グラフの始点ノードは、入力層を象徴し、前記有向グラフの終点ノードは、出力層を有するそれぞれ１つのサブセットを象徴し、前記有向グラフの辺は、それぞれ前記サブセット間の可能な結合を象徴する、ステップ（３）と、
－前記アーキテクチャを求めるための少なくとも２つの設定の各々について、それぞれ、前記有向グラフの各辺にフローをそれぞれ割り当て、前記有向グラフに基づいて、対応する最適なアーキテクチャを求めるための戦略を確定し、確定された前記戦略に基づいて、前記始点ノードから前記終点ノードまでの軌道を繰り返し求めることにより、対応する最適なアーキテクチャを求め、求められた軌道に対する報酬を決定し、前記軌道に対して求められた報酬と、前記軌道に沿った辺に割り当てられたフローとに基づいて、前記求められた軌道に対するコスト関数を決定し、前記コスト関数に基づいて、前記軌道に沿った前記辺に割り当てられたフローをそれぞれ更新することにより、対応する設定に関して最適なアーキテクチャを求めるステップ（４）であって、軌道を求めるステップと、報酬を決定するステップと、コスト関数を決定するステップと、フローを更新するステップとが、前記求められた軌道がアーキテクチャ探索のための中断基準を満たすまで繰り返され、前記中断基準を満たす軌道は、最適なアーキテクチャを表す、ステップ（４）と、
－前記少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャに基づいて、前記人工ニューラルネットワークの最適なアーキテクチャを求めるステップ（５）と、
－前記人工ニューラルネットワークの前記最適なアーキテクチャを提供するステップ（６）と、
を含む、方法（１）。
【請求項2】
前記少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャに基づいて、前記人工ニューラルネットワークの前記最適なアーキテクチャを求める前記ステップ（５）は、前記少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャの加重和を用いる、請求項１に記載の方法（１）。
【請求項3】
対応する重み付けは、少なくとも１つの目標コンポーネントの現在のハードウェア所与状況に基づいている、請求項２に記載の方法（１）。
【請求項4】
前記求められた軌道に対する報酬は、それぞれ、少なくとも１つの目標コンポーネントのハードウェア所与状況に基づいて決定される、請求項１に記載の方法（１）。
【請求項5】
人工ニューラルネットワークをトレーニングするための方法であって、
当該方法は、以下のステップ：
－前記人工ニューラルネットワークをトレーニングするためのトレーニングデータを提供するステップと、
－前記人工ニューラルネットワークのための最適なアーキテクチャを提供するステップであって、前記最適なアーキテクチャは、請求項１に記載の人工ニューラルネットワークの最適なアーキテクチャを求めるための方法によって求められたものである、ステップと、
－前記トレーニングデータ及び前記最適なアーキテクチャに基づいて、前記人工ニューラルネットワークをトレーニングするステップと、
を含む、方法。
当該方法は、以下のステップ：
－前記人工ニューラルネットワークをトレーニングするためのトレーニングデータを提供するステップと、
－前記人工ニューラルネットワークのための最適なアーキテクチャを提供するステップであって、前記最適なアーキテクチャは、請求項１に記載の人工ニューラルネットワークの最適なアーキテクチャを求めるための方法によって求められたものである、ステップと、
－前記トレーニングデータ及び前記最適なアーキテクチャに基づいて、前記人工ニューラルネットワークをトレーニングするステップと、
を含む、方法。
【請求項6】
前記トレーニングデータは、センサデータを含む、請求項４に記載の方法。
【請求項7】
人工ニューラルネットワークに基づいて制御可能なシステムを制御するための方法であって、
当該方法は、以下のステップ：
－前記制御可能なシステムを制御するようにトレーニングされた人工ニューラルネットワークを提供するステップであって、前記人工ニューラルネットワークは、請求項５に記載の人工ニューラルネットワークをトレーニングするための方法によってトレーニングされたものである、ステップと、
－提供された前記人工ニューラルネットワークに基づいて前記制御可能なシステムを制御するステップと、
を含む、方法。
当該方法は、以下のステップ：
－前記制御可能なシステムを制御するようにトレーニングされた人工ニューラルネットワークを提供するステップであって、前記人工ニューラルネットワークは、請求項５に記載の人工ニューラルネットワークをトレーニングするための方法によってトレーニングされたものである、ステップと、
－提供された前記人工ニューラルネットワークに基づいて前記制御可能なシステムを制御するステップと、
を含む、方法。
【請求項8】
人工ニューラルネットワークの最適なアーキテクチャを求めるためのシステムであって、当該システム（１０）は、
前記人工ニューラルネットワークの可能なアーキテクチャのセットを提供するように構成された第１の提供ユニット（１１）と、
前記人工ニューラルネットワークの可能なアーキテクチャのセットを有向グラフに写像するように構成された撮像ユニット（１２）であって、前記有向グラフのノードは、可能なアーキテクチャのうちの１つのアーキテクチャのそれぞれ１つのサブセットを象徴し、前記有向グラフの始点ノードは、入力層を象徴し、前記有向グラフの終点ノードは、出力層を有するそれぞれ１つのサブセットを象徴し、前記有向グラフの辺は、それぞれ前記サブセット間の可能な結合を象徴する、撮像ユニット（１２）と、
前記アーキテクチャを求めるための少なくとも２つの設定の各々について、それぞれ、前記有向グラフの各辺にフローをそれぞれ割り当て、前記有向グラフに基づいて、対応する最適なアーキテクチャを求めるための戦略を確定し、確定された前記戦略に基づいて、前記始点ノードから前記終点ノードまでの軌道を繰り返し求めることにより、対応する最適なアーキテクチャを求め、求められた軌道に対する報酬を決定し、前記軌道に対して求められた報酬と、前記軌道に沿った辺に割り当てられたフローとに基づいて、前記求められた軌道に対するコスト関数を決定し、前記コスト関数に基づいて、前記軌道に沿った前記辺に割り当てられたフローをそれぞれ更新することにより、対応する設定に関して最適なアーキテクチャを求めるように構成された少なくとも１つの第１の算出ユニット（１３）であって、軌道を求めることと、報酬を決定することと、コスト関数を決定することと、フローを更新することとが、前記求められた軌道がアーキテクチャ探索のための中断基準を満たすまで繰り返され、前記中断基準を満たす軌道は、最適なアーキテクチャを表す、少なくとも１つの第１の算出ユニット（１３）と、
前記少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャに基づいて、前記人工ニューラルネットワークの最適なアーキテクチャを求めるように構成された第２の算出ユニット（１４）と、
前記人工ニューラルネットワークの前記最適なアーキテクチャを提供するように構成された第２の提供ユニット（１５）と、
を備える、システム（１０）。
前記人工ニューラルネットワークの可能なアーキテクチャのセットを提供するように構成された第１の提供ユニット（１１）と、
前記人工ニューラルネットワークの可能なアーキテクチャのセットを有向グラフに写像するように構成された撮像ユニット（１２）であって、前記有向グラフのノードは、可能なアーキテクチャのうちの１つのアーキテクチャのそれぞれ１つのサブセットを象徴し、前記有向グラフの始点ノードは、入力層を象徴し、前記有向グラフの終点ノードは、出力層を有するそれぞれ１つのサブセットを象徴し、前記有向グラフの辺は、それぞれ前記サブセット間の可能な結合を象徴する、撮像ユニット（１２）と、
前記アーキテクチャを求めるための少なくとも２つの設定の各々について、それぞれ、前記有向グラフの各辺にフローをそれぞれ割り当て、前記有向グラフに基づいて、対応する最適なアーキテクチャを求めるための戦略を確定し、確定された前記戦略に基づいて、前記始点ノードから前記終点ノードまでの軌道を繰り返し求めることにより、対応する最適なアーキテクチャを求め、求められた軌道に対する報酬を決定し、前記軌道に対して求められた報酬と、前記軌道に沿った辺に割り当てられたフローとに基づいて、前記求められた軌道に対するコスト関数を決定し、前記コスト関数に基づいて、前記軌道に沿った前記辺に割り当てられたフローをそれぞれ更新することにより、対応する設定に関して最適なアーキテクチャを求めるように構成された少なくとも１つの第１の算出ユニット（１３）であって、軌道を求めることと、報酬を決定することと、コスト関数を決定することと、フローを更新することとが、前記求められた軌道がアーキテクチャ探索のための中断基準を満たすまで繰り返され、前記中断基準を満たす軌道は、最適なアーキテクチャを表す、少なくとも１つの第１の算出ユニット（１３）と、
前記少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャに基づいて、前記人工ニューラルネットワークの最適なアーキテクチャを求めるように構成された第２の算出ユニット（１４）と、
前記人工ニューラルネットワークの前記最適なアーキテクチャを提供するように構成された第２の提供ユニット（１５）と、
を備える、システム（１０）。
【請求項9】
前記第２の算出ユニット（１４）は、前記少なくとも２つの設定の各々に関するそれぞれ最適なアーキテクチャの加重和によって、前記人工ニューラルネットワークの前記最適なアーキテクチャを求めるように構成されている、請求項８に記載のシステム（１０）。
【請求項10】
対応する重み付けは、少なくとも１つの目標コンポーネントの現在のハードウェア所与状況に基づいている、請求項９に記載のシステム（１０）。
【請求項11】
前記少なくとも１つの第１の算出ユニット（１３）は、それぞれ、前記軌道に対する報酬を、少なくとも１つの目標コンポーネントのハードウェア所与状況に基づいて決定するように構成されている、請求項８に記載のシステム（１０）。
【請求項12】
人工ニューラルネットワークをトレーニングするためのシステムであって、
当該システムは、
前記人工ニューラルネットワークをトレーニングするためのトレーニングデータを提供するように構成された第１の提供ユニットと、
前記人工ニューラルネットワークのための最適なアーキテクチャを提供するように構成された第２の提供ユニットであって、前記最適なアーキテクチャは、請求項８に記載の人工ニューラルネットワークのための最適なアーキテクチャを求めるためのシステムによって求められたものである、第２の提供ユニットと、
前記トレーニングデータ及び前記最適なアーキテクチャに基づいて、前記人工ニューラルネットワークをトレーニングするように構成されたトレーニングユニットと、
を備える、システム。
当該システムは、
前記人工ニューラルネットワークをトレーニングするためのトレーニングデータを提供するように構成された第１の提供ユニットと、
前記人工ニューラルネットワークのための最適なアーキテクチャを提供するように構成された第２の提供ユニットであって、前記最適なアーキテクチャは、請求項８に記載の人工ニューラルネットワークのための最適なアーキテクチャを求めるためのシステムによって求められたものである、第２の提供ユニットと、
前記トレーニングデータ及び前記最適なアーキテクチャに基づいて、前記人工ニューラルネットワークをトレーニングするように構成されたトレーニングユニットと、
を備える、システム。
【請求項13】
前記トレーニングデータは、センサデータを含む、請求項１２に記載のシステム。
【請求項14】
人工ニューラルネットワークに基づいて制御可能なシステムを制御するためのシステムであって、
当該システムは、
前記制御可能なシステムを制御するようにトレーニングされた人工ニューラルネットワークを提供するように構成された提供ユニットであって、前記人工ニューラルネットワークは、請求項１３に記載の人工ニューラルネットワークをトレーニングするためのシステムによってトレーニングされたものである、提供ユニットと、
提供された前記人工ニューラルネットワークに基づいて前記制御可能なシステムを制御するように構成された制御ユニットと、
を備える、システム。
当該システムは、
前記制御可能なシステムを制御するようにトレーニングされた人工ニューラルネットワークを提供するように構成された提供ユニットであって、前記人工ニューラルネットワークは、請求項１３に記載の人工ニューラルネットワークをトレーニングするためのシステムによってトレーニングされたものである、提供ユニットと、
提供された前記人工ニューラルネットワークに基づいて前記制御可能なシステムを制御するように構成された制御ユニットと、
を備える、システム。
【請求項15】
コンピュータプログラムであって、当該コンピュータプログラムがコンピュータ上で実行されるときに、前記コンピュータに、請求項１に記載の人工ニューラルネットワークの最適なアーキテクチャを求めるための方法を実施させるためのプログラムコードを含むコンピュータプログラム。
【外国語明細書】