特開 2023-143840 ニューラルネットワークの最適なアーキテクチャを特定するための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023143840

(43)【公開日】2023-10-06

(54)【発明の名称】ニューラルネットワークの最適なアーキテクチャを特定するための方法及び装置

(51)【国際特許分類】

   G06N 3/0985 20230101AFI20230928BHJP

   G06N 3/082 20230101ALI20230928BHJP

   G06N 3/086 20230101ALI20230928BHJP

【ＦＩ】

G06N3/0985

G06N3/082

G06N3/086

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023045238

(22)【出願日】2023-03-22

(31)【優先権主張番号】10 2022 202 845.7

(32)【優先日】2022-03-23

(33)【優先権主張国・地域又は機関】DE

(71)【出願人】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ダニー シュトール

(72)【発明者】

【氏名】フランク フッター

(72)【発明者】

【氏名】シモン シュローディ

(57)【要約】

【課題】ニューラルネットワークの最適なアーキテクチャを特定するための方法に関する。
【解決手段】本方法は、探索空間を、文脈自由文法（英語ではcontext free grammar）を用いて定義するステップと、訓練データ上で、アーキテクチャ候補を用いてニューラルネットワークを学習させ、検証データ上で、学習させられたニューラルネットワークを検証するステップと、Weisfeiler-Lehmanグラフカーネルを有するガウス過程を初期化するステップと、アーキテクチャ候補が与えられた場合に、ガウス過程がアーキテクチャ候補によって達成される検証を予測するように、ガウス過程（ＧＰ）を適合させるステップと、最良の性能を達成したアーキテクチャ候補を発見するために、ベイズ最適化を実施するステップと、検証データ上で最良の性能を達成したアーキテクチャ候補を出力するステップと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

訓練データ及び検証データを含む所定のデータセットに対するニューラルネットワークの最適なアーキテクチャを特定するための方法において、
前記ニューラルネットワークの可能なアーキテクチャを特徴付ける探索空間を、文脈自由文法（英語ではcontext free grammar）を用いて定義するステップ（Ｓ２１）であって、前記文脈自由文法は、複数のレベルの階層を特徴付け、前記階層の最下位のレベルは、複数の演算を定義し、前記階層の上位のレベルは、少なくとも１つの規則を定義し、前記規則に従って下位のレベルを互いに組み合わせ得る、ステップ（Ｓ２１）と、
前記文脈自由文法に従って複数のアーキテクチャ候補をランダムに抽出するステップ（Ｓ２２）と、
前記訓練データ上で、前記アーキテクチャ候補を用いてニューラルネットワークを学習させ、前記検証データ上で、学習させられた前記ニューラルネットワークを検証するステップと、
Weisfeiler-Lehmanグラフカーネルを有するガウス過程を初期化するステップ（Ｓ２３）と、
前記アーキテクチャ候補が与えられた場合に、前記ガウス過程が当該アーキテクチャ候補によって達成される検証を予測するように、前記ガウス過程（ＧＰ）を適合させるステップと、
以下のｉ．～ｉｉｉ．のステップを複数回繰り返すステップ（Ｓ２４）であって、
ｉ．前記ガウス過程に依存する獲得関数（英語ではacquisition function）に基づいて、次の評価されるべきアーキテクチャ候補を特定するステップであって、前記獲得関数は、進化的アルゴリズムによって最適化される、ステップと、
ｉｉ．前記訓練データ上で、前記評価されるべきアーキテクチャ候補を用いてさらなるニューラルネットワークを学習させ、前記検証データ上で、学習させられた前記さらなるニューラルネットワークを検証するステップと、
ｉｉｉ．これまでに使用されたアーキテクチャ候補が与えられた場合に、前記ガウス過程が前記アーキテクチャ候補によって達成される検証を予測するように、前記ガウス過程を適合させるステップと、
を複数回繰り返すステップ（Ｓ２４）と、
前記検証データ上で最良の性能を達成したアーキテクチャ候補を出力するステップ（Ｓ２５）と、
を含む方法。

【請求項2】

前記進化的アルゴリズムは、突然変異及び交叉を使用し、
前記突然変異及び前記交叉は、前記アーキテクチャ候補を特徴付ける構文木（英語ではSyntax Tree）に適用され、
前記突然変異又は前記交叉によって得られた新しい構文木が、前記文脈自由文法に従ってチェックされる、
請求項１に記載の方法。

【請求項3】

交叉の代わりに自己交叉がランダムに実施され、
前記構文木における前記自己交叉において枝が交換される、
請求項２に記載の方法。

【請求項4】

前記獲得関数は、文法誘導獲得関数（英語ではgrammar-guided acquisition function）であり、
前記獲得関数は、文法誘導進化的アルゴリズム（英語ではgrammar guided evolutionary algorithm）によって評価される、
請求項１乃至３のいずれか一項に記載の方法。

【請求項5】

前記文脈自由文法の最下位のレベルは、ダウンサンプリング演算を有する、
請求項１乃至４のいずれか一項に記載の方法。

【請求項6】

前記文脈自由文法は、前記アーキテクチャの特性を特徴付ける付帯条件をさらに有する、
請求項１乃至５のいずれか一項に記載の方法。

【請求項7】

入力量は、画像であり、
機械学習システムは、画像分類器である、
請求項１乃至６のいずれか一項に記載の方法。

【請求項8】

請求項１乃至７のいずれか一項に記載の方法を実施するように構成されている装置。

【請求項9】

請求項１乃至７のいずれか一項に記載の方法を実施するように構成されている訓練装置。

【請求項10】

コンピュータプログラムであって、コンピュータによって実行された場合に、請求項１に記載の方法を前記コンピュータに実施させるための命令を含むコンピュータプログラム。

【請求項11】

請求項１０に記載のコンピュータプログラムが記憶されている機械可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、文脈自由文法を用いてニューラルネットワークの最適なアーキテクチャを特定するための方法、訓練装置、コンピュータプログラム、及び、機械可読記憶媒体に関する。

【背景技術】

【0002】

従来技術
ニューラルネットワークのためのアーキテクチャ探索（英語ではNeural Architecture Search：ＮＡＳ）とは、公知のように、以下の式：

【数1】

を最小化するアーキテクチャａ∈Ａを自動的に発見することであると理解され、ここで、ｃは、訓練データＤ_{ｔｒａｉｎ}上で学習させられかつ検証データＤ_ｖａｌ上で評価されたアーキテクチャａの汎化誤差を求めるコスト関数である。

【0003】

Liu, Hanxiao等著、「Hierarchical representations for efficient architecture search」（arXiv preprint arXiv:1711.00436 (2017)）は、ニューラルネットワークのための効率的なアーキテクチャ探索を開示しており、そのアプローチは、モジュール式の設計パターンを模倣する新種の階層的な遺伝学的表現スキームと、複雑なトポロジを支持する階層的な探索空間とを組み合わせたものである。ＮＡＳのための階層的な探索空間は、比較的低水準のモチーフから比較的高水準のモチーフを合成することにある。このことは、階層的な探索空間がＮＡＳのための探索空間を一般化し、モチーフの構築に際してより多くの柔軟性を可能にするので有利である。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Liu, Hanxiao等著、「Hierarchical representations for efficient architecture search」（arXiv preprint arXiv:1711.00436 (2017)）

【非特許文献2】N. Chomsky著、「Three models for the description of language」（IRE Transactions on Information Theory, vol. 2, no. 3, 第１１３－１２４頁、１９５６年９月、doi: 10.1109/TIT.1956.1056813）

【非特許文献3】J. Engelfriet著、「Context-free graph grammars」（Handbook of formal languages, Springer, １９９７年）

【非特許文献4】A. Habel及びH.-J. Kreowski著、「On context-free graph languages generated by edge replacement」（Graph-Grammars and Their Application to Computer Science, １９８３年）

【非特許文献5】Ru, Binxin等著、「Interpretable neural architecture search via bayesian optimisation with weisfeiler-lehman kernels」（arXiv preprint arXiv:2006.07556 (2020)）

【非特許文献6】Moss, Henry等著、「Boss: Bayesian optimization over string spaces」（Advances in neural information processing systems 33 (2020): 15476-15486. (オンラインで入手可能: https://arxiv.org/abs/2010.00979又はhttps://henrymoss.github.io/files/BOSS.pdf)）

【非特許文献7】McKay, Robert & Hoai, Nguyen & Whigham, P.A. & Shan, Yin & O’Neill, Michael著（２０１０年）、「Grammar-based Genetic Programming」（a survey. Genetic Programming and Evolvable Machines. 11. 365-396. 10.1007/s10710-010-9109-y）

【発明の概要】

【発明が解決しようとする課題】

【0005】

発明の利点
独立請求項１の特徴を有する本発明は、より一般的な探索空間を定義することを可能にし、かつ、これらの空間内でのより効率的な探索に加えて、階層的に合成されたモチーフが許容されることも保証するという利点を有する。

【0006】

さらに本発明は、より一般的な探索空間により、メモリ／エネルギ消費量／計算能力のようなコンピュータリソースが限られている場合に、これまでは発見できなかった最適なアーキテクチャを発見することが可能となるという利点を有する。

【0007】

本発明のさらなる態様は、さらなる独立請求項の対象である。有利な発展形態は、従属請求項の対象である。

【課題を解決するための手段】

【0008】

発明の開示
第１の態様においては、本発明は、訓練データ及び検証データを含む所定のデータセットに対するニューラルネットワークの最適なアーキテクチャを特定するためのコンピュータ実装される方法に関する。

【0009】

本方法は、ニューラルネットワークの可能なアーキテクチャを特徴付ける探索空間を、文脈自由文法（英語ではcontext free grammar）を用いて定義するステップから始まる。文脈自由文法は、例えば、N. Chomsky著、「Three models for the description of language」（IRE Transactions on Information Theory, vol. 2, no. 3, 第１１３－１２４頁、１９５６年９月、doi: 10.1109/TIT.1956.1056813）、又は、J. Engelfriet著、「Context-free graph grammars」（Handbook of formal languages, Springer, １９９７年）、又は、A. Habel及びH.-J. Kreowski著、「On context-free graph languages generated by edge replacement」（Graph-Grammars and Their Application to Computer Science, １９８３年）から公知である。文脈自由文法に基づいて、例えば、ストリングとして与えられている単語を作成することができ、この単語がアーキテクチャを定義するということに留意すべきである。

【0010】

文脈自由文法の生成規則を用いて、複数のレベルを有する階層的な探索空間が記述される。文脈自由文法は、複数のレベルの階層を記述し、階層の最下位のレベルは、複数の演算を定義する。この演算は、例えば、Ｃチャネルの畳み込み（英語ではconvolution of C channels）、深さ単位畳み込み（英語ではdepthwise convolution）、Ｃチャネルの分離可能畳み込み（英語ではseparable convolution of C channels）、最大値プーリング、平均値プーリング、恒等写像であるものとしてよい。階層の上位のレベルは、それぞれ少なくとも１つの規則（生成規則とも称される）を定義し、当該規則に従って下位のレベルを互いに組み合わせることができ、又は、下位のレベルからより複雑なモチーフを合成することができる。

【0011】

これに続いて、文脈自由文法に従って複数のアーキテクチャ候補をランダムに抽出するステップ（例えば、一様サンプリング）が行われる。このために、文法に従って単語、特にストリングが生成され、このストリングを構文木に変換することができる。この単語に対応する構文木を用いて、ニューラルアーキテクチャ候補を表現するエッジ属性付きグラフが生成される。

【0012】

これに続いて、訓練データ上で、アーキテクチャ候補を用いてニューラルネットワークを学習させ、検証データ上で、学習させられたニューラルネットワークを検証するステップが行われる。この学習は、所定の基準、例えば精度に関して実施可能である。

【0013】

これに続いて、Weisfeiler-Lehmanグラフカーネルを有する／使用するガウス過程を初期化するステップが行われる。Weisfeiler-Lehmanグラフカーネルは、Ru, Binxin等著、「Interpretable neural architecture search via bayesian optimisation with weisfeiler-lehman kernels」（arXiv preprint arXiv:2006.07556 (2020)）の刊行物から公知である。

【0014】

これに続いて、アーキテクチャ候補が与えられた場合に、ガウス過程が当該アーキテクチャ候補によって達成される検証量を予測するように、ガウス過程（ＧＰ）を適合させるステップが行われる。ＧＰは、入力量としてアーキテクチャ候補を受信し、このアーキテクチャ候補は、好ましくは属性付き有向グラフとして提供される。

【0015】

これに続いて、以下のｉ．～ｉｉｉ．のステップを複数回繰り返すステップが行われる。（最大１６０回）繰り返すことが十分に有意義であると判明している。
ｉ．ガウス過程に依存する獲得関数（英語ではacquisition function）に基づいて、次の評価されるべきアーキテクチャ候補を特定するステップであって、例えば、McKay等著、「Grammar-based Genetic Programming: a survey」に開示されているように、当該獲得関数を進化的アルゴリズムによって最適化する、ステップ。獲得関数として、好ましくは「期待改善率（expected improvement）」獲得関数が使用される。次の評価されるべきアーキテクチャ候補を特定するステップを、代替的に、ランダム探索（英語ではrandom Search）を用いて、及び／又は、突然変異を用いて、実施するものとしてもよいことに留意すべきである。
ｉｉ．訓練データ上で、評価されるべきアーキテクチャ候補を用いてさらなるニューラルネットワークを学習させ、検証データ上で、学習させられたさらなるニューラルネットワークを検証するステップ。
ｉｉｉ．これまでに使用されたアーキテクチャ候補が与えられた場合に、ガウス過程が当該アーキテクチャ候補によって達成される検証量を予測するように、ガウス過程を適合させるステップ。

【0016】

最後に、検証データ上で最良の性能を達成したアーキテクチャ候補を出力するステップが行われる。

【0017】

進化的アルゴリズムが、突然変異（mutation）及び交叉（crossover）を使用し、突然変異及び交叉を、アーキテクチャ候補を特徴付けるそれぞれの構文木に適用し、突然変異又は交叉によって得られた新しい構文木を、文脈自由文法に従って有効にすることが提案される。このことは、アーキテクチャ候補が常に有効に保たれる（即ち、アーキテクチャ候補が、文法によって生成される言語内に常に保たれる）という利点を有し、このことにより、操作されたアーキテクチャが常に実行可能なものとなる。

【0018】

交叉の代わりに自己交叉をランダムに実施し、構文木における自己交叉において同一の構文木の枝を交換することがさらに提案される。このことは、暗黙的な正則化の有利な効果を有する。

【0019】

さらに、獲得関数が、文法誘導獲得関数（英語ではgrammar-guided acquisition functionであり、例えば、Moss, Henry等著、「Boss: Bayesian optimization over string spaces」（Advances in neural information processing systems 33 (2020): 15476-15486. (オンラインで入手可能: https://arxiv.org/abs/2010.00979又はhttps://henrymoss.github.io/files/BOSS.pdf)）を参照のこと）であり、獲得関数を、文法誘導進化的アルゴリズム（英語ではgrammar guided evolutionary algorithm）によって評価することがさらに提案される。文法誘導進化的アルゴリズムは、例えば、McKay, Robert & Hoai, Nguyen & Whigham, P.A. & Shan, Yin & O’Neill, Michael著（２０１０年）、「Grammar-based Genetic Programming」（a survey. Genetic Programming and Evolvable Machines. 11. 365-396. 10.1007/s10710-010-9109-y）の刊行物から公知である。

【0020】

文脈自由文法を用いて分解能の変化をモデル化することができるようにすることがさらに提案される。これにより、ニューラルアーキテクチャ全体にわたって探索を行うことができる。この場合の利点は、次元の差に関するチェックが必要ないことである。文脈自由文法が、アーキテクチャの特性を特徴付ける付帯条件をさらに有するようにすることがさらに提案される。そのような付帯条件は、例えば、最大深さ、層の最大数、又は、畳み込み層の最大数、ダウンサンプリング演算の数を記述することができる。

【0021】

さらに、ニューラルネットワークを学習させる際に、コスト関数が、機械学習システムの性能をその性能に関して、例えば、セグメンテーション、オブジェクト認識、又は、それらに類するものの精度に関して評価する第１の関数を有し、任意選択肢として、パスの長さ及びエッジの演算に依存して機械学習システムのレイテンシを推定する第２の関数を有するようにすることがさらに提案される。代替的又は付加的に、第２の関数は、パスのコンピュータリソース消費量を推定することもできる。

【0022】

本発明のさらなる態様においては、第１の態様の出力されたニューラルネットワークを、センサ信号を分類するための分類器として使用するためのコンピュータ実装される方法が提案される。第１の態様のステップに加えて、ここでは、以下のさらなるステップ、即ち、画像センサからのデータを含むセンサ信号を受信するステップと、センサ信号に依存する入力信号を決定するステップと、入力信号の分類を特徴付ける出力信号を取得するために入力信号を分類器に供給するステップとが実施される。

【0023】

画像分類器は、入力画像を、所定の分類の１つ又は複数のクラスに対応付ける。入力画像として、例えば、大量生産された名目上同一である製品の画像を使用することができる。例えば入力画像を、それぞれの製品の品質判定を表している少なくとも２つの可能なクラスのうちの１つ又は複数のクラスに対応付けるように、画像分類器を訓練することができる。

【0024】

画像分類器、例えばニューラルネットワークには、イメージングセンサ画像内における、例えば歩行者及び／又は車両及び／又は交通標識及び／又は信号機及び／又は道路表面及び／又は人間の顔及び／又は医学的な異常を識別及び区別するために、画像分類器、例えばニューラルネットワークを訓練することができるような構造を設けることができる。代替的に、分類器、例えばニューラルネットワークに、オーディオセンサ信号内における音声命令を識別するために訓練することができる構造を設けるものとしてもよい。

【0025】

出力されたニューラルネットワークが、センサの検出されたセンサ量に依存して出力量を特定し、この出力量に依存してさらに、例えば制御ユニットによって制御量を特定することができるようにすることがさらに提案される。

【0026】

この制御量を、技術的なシステムのアクチュエータを制御するために使用することができる。技術的なシステムは、例えば、少なくとも半自律的な機械、少なくとも半自律的な車両、ロボット、工具、工作機械、又は、ドローンのような飛行物体であるものとしてよい。例えば、検出されたセンサデータに依存して入力量を特定して、機械学習システムに提供することができる。これらのセンサデータは、技術的なシステムの、例えばカメラのようなセンサによって検出可能であり、又は、代替的に外部から受信可能である。

【0027】

さらなる態様においては、本発明は、上記方法を実施するように構成されている装置及び上記方法を実施するために構成されているコンピュータプログラム、並びに、このコンピュータプログラムが記憶されている機械可読記憶媒体に関する。

【0028】

以下に、本発明の実施形態を、添付の図面を参照しながらより詳細に説明する。

【図面の簡単な説明】

【0029】

【図1】３つのレベルを含むＣＦＧ文法の一実施形態を示す図である。

【図2】本発明の一実施形態の概略フローチャートである。

【図3】少なくとも半自律的なロボットを制御するための実施例を概略的に示す図である。

【図4】製造システムを制御するための実施例を概略的に示す図である。

【図5】アクセスシステムを制御するための実施例を概略的に示す図である。

【図6】監視システムを制御するための実施例を概略的に示す図である。

【図7】パーソナルアシスタントを制御するための実施例を概略的に示す図である。

【図8】医用イメージングシステムを制御するための実施例を概略的に示す図である。

【図9】訓練装置を概略的に示す図である。

【発明を実施するための形態】

【0030】

ニューラルアーキテクチャは、複数の演算、例えば畳み込み又は他の関数の関数合成である。ニューラルアーキテクチャを、単一のソース及び単一のシンクを備えたエッジ属性付きＤＡＧを有する計算グラフとして表現することが公知であり、この際、エッジは、演算に関連付けられ、ノードは、潜在表現に関連付けられる。

【0031】

ＮＡＳのための（階層的な）探索空間を表現するためにＣＦＧを使用することが提案され、このことは、ＣＦＧによって階層的な探索空間をコンパクトに表現することができるという利点を有する。ＣＦＧは、ニューラルアーキテクチャの有効な空間と、ニューラルアーキテクチャを選択及び開発するための規則とを定義する。ニューラルアーキテクチャは、文字列空間において効率的にランダム生成され、突然変異し、かつ、表現されるが、その一方で、それぞれの文字列は、ニューラルアーキテクチャの計算グラフを表しているので、グラフ空間において暗黙的な処理が行われる。

【0032】

以下においては、ＣＦＧによって階層的な探索空間をどのようにして表現することができるかと、ストリング表現をニューラルアーキテクチャのＣＦＧに従ってどのようにして対応する計算グラフに変換することができるかとについて説明する。

【0033】

ＣＦＧの終端記号は、トポロジ又は原始演算に関連付けられ、非終端記号は、階層構造を再帰的に生成することを可能にする。生成規則は、生成された探索空間におけるニューラルアーキテクチャの合成プロセス及び進化を記述する（即ち、ニューラルアーキテクチャのドメイン固有言語）。これにより、比較的低水準の単純なモチーフから比較的高水準の複雑なモチーフを合成することができる。

【0034】

図１は、３つのレベルを含むＣＦＧ文法の一実施形態を示す。レベル１は、演算を定義し、その一方で、より高いレベルは、それぞれその下に位置するレベルの可能な組合せを記述する。

【0035】

図２は、所定のデータセットに対するニューラルネットワークの最適なアーキテクチャを特定するための本発明の一実施形態のフローチャート２０を示す。

【0036】

ニューラルネットワークの可能なアーキテクチャを特徴付ける探索空間を、文脈自由文法（英語ではcontext free grammar）を用いて定義するステップ（Ｓ２１）であって、文脈自由文法は、複数のレベルの階層を特徴付け、階層の最下位のレベルは、複数の演算を定義し、階層の上位のレベルは、少なくとも１つの規則を定義し、当該規則に従って下位のレベルが合成され、又は、下位のレベルが互いに組み合わせられ得る、ステップ（Ｓ２１）が行われる。

【0037】

これに続いて、文脈自由文法に従って複数のアーキテクチャ候補をランダムに抽出するステップ（Ｓ２２）が行われる。さらに、訓練データ上で、アーキテクチャ候補を用いてニューラルネットワークを学習させ、検証データ上で、学習させられたニューラルネットワークを検証するステップが行われる。

【0038】

これに続いて、Weisfeiler-Lehmanグラフカーネルを有するガウス過程を初期化するステップ（Ｓ２３）が行われる。さらに、アーキテクチャ候補が与えられた場合に、ガウス過程が当該アーキテクチャ候補によって達成される検証を予測するように、ガウス過程（ＧＰ）を適合させるステップが行われる。

【0039】

ステップＳ２４においては、以下のサブステップが複数回繰り返され、即ち、
ガウス過程に依存する獲得関数（英語ではacquisition function）に基づいて、次の評価されるべきアーキテクチャ候補を特定するサブステップであって、当該獲得関数は、進化的アルゴリズムによって最適化される、サブステップと、
訓練データ上で、評価されるべきアーキテクチャ候補を用いてさらなるニューラルネットワークを学習させ、検証データ上で、学習させられたさらなるニューラルネットワークを検証するサブステップと、
これまでに使用されたアーキテクチャ候補が与えられた場合に、ガウス過程が当該アーキテクチャ候補によって達成される検証を予測するように、ガウス過程を適合させるサブステップと、
が複数回繰り返される。

【0040】

ステップＳ２４における繰り返すステップが終了した後、最後に、検証データ上で最良の性能を達成したアーキテクチャ候補、特に対応する学習させられたニューラルネットワークを出力するステップ（Ｓ２５）が行われる。

【0041】

図３は、制御システム４０を備えたアクチュエータを概略的に示す。アクチュエータ１０の環境２０は、センサ３０、特にビデオセンサのようなイメージングセンサによって、好ましくは規則的な時間間隔で検出され、このセンサ３０は、複数のセンサによって提供可能であり、例えば、ステレオカメラであるものとしてよい。例えば、レーダ、超音波、又は、Ｌｉｄａｒのような他のイメージングセンサも考えられる。サーマルカメラも考えられる。センサ３０のセンサ信号Ｓ － 又は、センサが複数ある場合には、それぞれ１つのセンサ信号Ｓ － は、制御システム４０に伝送される。したがって、制御システム４０は、センサ信号Ｓのシーケンスを受信する。制御システム４０は、これらのセンサ信号Ｓのシーケンスから駆動信号Ａを特定し、この駆動信号Ａがアクチュエータ１０に伝送される。アクチュエータ１０は、受信した制御命令を機械的な運動に又は物理量の変化に変換することができる。アクチュエータ１０は、例えば、制御命令Ａを電気的、液圧的、空圧的、熱的、磁気的、及び／又は、機械的な運動に変換することができ、又は、変化を引き起こすことができる。具体的ではあるが限定するものではない例は、電気モータ、電気活性ポリマ、液圧シリンダ、圧電アクチュエータ、空圧アクチュエータ、サーボ機構、ソレノイド、ステッピングモータ等である。

【0042】

制御システム４０は、任意選択肢の受信ユニット５０においてセンサ３０のセンサ信号Ｓのシーケンスを受信し、受信ユニット５０は、センサ信号Ｓのシーケンスを入力画像ｘのシーケンスに変換する（代替的に、それぞれセンサ信号Ｓを直接的に入力画像ｘとして受信することもできる）。入力画像ｘは、例えば、センサ信号Ｓの一部又は後続処理結果物であるものとしてよい。入力画像ｘは、ビデオ記録の個々のフレームを含む。換言すれば、入力画像ｘは、センサ信号Ｓに依存して特定される。入力画像ｘのシーケンスは、ステップＳ２５から出力されたニューラルネットワーク６０に供給される。

【0043】

出力されたニューラルネットワーク６０は、好ましくはパラメータによってパラメータ化され、これらのパラメータは、パラメータメモリに格納されており、パラメータメモリによって供給される。

【0044】

出力されたニューラルネットワーク６０は、入力画像ｘから出力量ｙを特定する。これらの出力量ｙは、特に入力画像ｘの分類及び／又はセマンティックセグメンテーションを含み得る。出力量ｙは、任意選択肢の変形ユニット８０に供給され、変形ユニット８０は、この出力量ｙから駆動信号Ａを特定し、この駆動信号Ａは、アクチュエータ１０を相応に駆動するためにアクチュエータ１０に供給される。出力量ｙは、センサ３０が検出した物体に関する情報を含む。

【0045】

アクチュエータ１０は、駆動信号Ａを受信し、相応に駆動され、対応するアクションを実施する。この場合、アクチュエータ１０は、（必ずしも構造的に組み込まれているわけではない）駆動ロジックを含み得るものであり、駆動ロジックは、駆動信号Ａから第２の駆動信号を特定し、次いで、この第２の駆動信号によってアクチュエータ１０が駆動される。

【0046】

さらなる実施形態においては、制御システム４０は、センサ３０を含む。さらなる他の実施形態においては、制御システム４０は、代替的又は追加的にアクチュエータ１０も含む。

【0047】

さらなる好ましい実施形態においては、制御システム４０は、１つ又は複数のプロセッサ４５と、少なくとも１つの機械可読記憶媒体４６とを含み、少なくとも１つの機械可読記憶媒体４６上には命令が記憶されており、これらの命令は、プロセッサ４５上で実行された場合に、本発明に係る方法を制御システム４０に実施させるためのものである。

【0048】

代替的な実施形態においては、アクチュエータ１０に代えて又はこれに加えて、制御システム４０の出力量を表示することができるディスプレイユニット１０ａが設けられている。

【0049】

図３の好ましい実施形態においては、ここでは少なくとも半自律的なロボット、ここでは少なくとも半自律的な自動車１００のアクチュエータを制御するために制御システム４０が使用される。センサ３０は、例えば、好ましくは自動車１００内に配置されているビデオセンサであるものとしてよい。

【0050】

好ましくは自動車１００内に配置されているアクチュエータ１０は、例えば、自動車１００のブレーキ、駆動部又は操舵部であるものとしてよい。その場合、自動車１００が、例えば人工ニューラルネットワーク６０によって確実に識別された物体との衝突を、特に、この物体が所定のクラスの物体、例えば歩行者である場合に阻止するように、アクチュエータ１０が駆動されるように、駆動信号Ａを特定することができる。

【0051】

代替的に、少なくとも半自律的なロボットは、他の移動型ロボット（図示せず）であるものとしてもよく、例えば、飛行、水泳、潜水又は歩行によって前進するようなロボットであるものとしてもよい。移動型ロボットは、例えば、少なくとも半自律的な芝刈り機、又は、少なくとも半自律的な掃除ロボットであるものとしてもよい。このような場合にも、少なくとも半自律的なロボットが、例えば人工ニューラルネットワーク６０によって識別された物体との衝突を阻止するように、移動型ロボットの駆動部及び／又は操舵部が駆動されるように、駆動信号Ａを特定することができる。

【0052】

図４は、製造機械１１を制御するアクチュエータ１０を駆動することによって、製造システム２００の製造機械１１を駆動するために制御システム４０が使用される実施例を示す。製造機械１１は、例えば、打ち抜き、鋸断、穿孔、フライス加工、及び／又は、切断のための機械であるものとしてよい。

【0053】

その場合、センサ３０は、例えば製造生産物１２ａ，１２ｂの特性を検出する光学センサであるものとしてよい。これらの製造生産物１２ａ，１２ｂは、移動可動であるものとしてよい。複数の製造生産物１２ａ，１２ｂのうちの正しい製造生産物の後続の処理ステップが、製造機械１１によって相応に実施されるように、製造機械１１を制御するアクチュエータ１０を、検出された製造生産物１２ａ，１２ｂの対応付けに依存して駆動することができる。複数の製造生産物１２ａ，１２ｂのうちの同一の製造生産物の正しい特性を識別することにより（即ち、対応付けの誤りなしに）、製造機械１１が、後続の製造生産物の処理のために同様の製造ステップを相応に適合させることも可能である。

【0054】

図５は、アクセスシステム３００を制御するために制御システム４０が使用される実施例を示す。アクセスシステム３００は、物理的なアクセスコントロール、例えばドア４０１を含み得る。ビデオセンサ３０は、人物を検出するように構成されている。物体識別システム６０を用いて、この検出された画像を解釈することができる。複数の人物が同時に検出された場合には、これらの人物（即ち、物体）を相互に対応付けることにより、例えば、これらの人物の動きを分析することによって、例えば、それらの人物の識別子を特に確実に特定することができる。アクチュエータ１０は、駆動信号Ａに依存してアクセスコントロールを解除する又は解除しないロック、例えば、ドア４０１を開放する又は開放しないロックであるものとしてよい。このために、物体識別システム６０の解釈に依存して、例えば人物の特定された識別子に依存して、駆動信号Ａを選択することができる。物理的なアクセスコントロールの代わりに、論理的なアクセスコントロールを設けることもできる。

【0055】

図６は、監視システム４００を制御するために制御システム４０が使用される実施例を示す。この実施例は、アクチュエータ１０の代わりに、制御システム４０によって駆動されるディスプレイユニット１０ａが設けられているという点で、図５に示されている実施例とは異なっている。例えば、ビデオセンサ３０によって撮影された対象物の識別子を人工ニューラルネットワーク６０によって確実に特定し、この識別子に基づいて、例えば、いずれの対象物が疑わしいかを推定することができ、次いで、その対象物がディスプレイユニット１０ａによって色彩的に強調して表示されるように、駆動信号Ａを選択することができる。

【0056】

図７は、パーソナルアシスタント２５０を制御するために制御システム４０が使用される実施例を示す。センサ３０は、好ましくはユーザ２４９のジェスチャの画像を受信する光学センサである。

【0057】

制御システム４０は、センサ３０の信号に依存して、例えば、ニューラルネットワークがジェスチャ認識を実施することによって、パーソナルアシスタント２５０の駆動信号Ａを特定する。次いで、この特定された駆動信号Ａがパーソナルアシスタント２５０に伝送され、これにより、パーソナルアシスタント２５０が相応に駆動される。この特定された駆動信号Ａを、特に、ユーザ２４９による推測される所望の駆動に対応するように選択することができる。この推測される所望の駆動は、人工ニューラルネットワーク６０によって認識されたジェスチャに依存して特定可能である。次いで、制御システム４０は、推測される所望の駆動に依存してパーソナルアシスタント２５０に伝送するための駆動信号Ａを選択することができ、及び／又は、推測される所望の駆動に応じたパーソナルアシスタント２５０に伝送するための駆動信号Ａを選択することができる。

【0058】

このような対応する駆動は、例えば、パーソナルアシスタント２５０がデータベースから情報を呼び出して、この情報をユーザ２４９のために受信可能に再生することを含み得る。

【0059】

パーソナルアシスタント２５０の代わりに、家電装置（図示せず）、特に、洗濯機、コンロ、オーブン、電子レンジ、又は、食器洗浄機を設けて、それらを相応に駆動することもできる。

【0060】

図８は、医用イメージングシステム５００、例えば、ＭＲＴ装置、Ｘ線装置又は超音波装置を制御するために制御システム４０が使用される実施例を示す。センサ３０は、例えば、イメージングセンサによって提供可能であり、制御システム４０によってディスプレイユニット１０ａが駆動される。例えば、イメージングセンサによって記録された領域が目立っているかどうかをニューラルネットワーク６０によって特定することができ、次いで、この領域がディスプレイユニット１０ａによって色彩的に強調して表示されるように、駆動信号Ａを選択することができる。

【0061】

図９は、訓練データセットから入力画像を提供する提供部５１を含む、訓練装置５００を概略的に示す。入力画像は、訓練されるべきニューラルネットワーク５２に供給され、ニューラルネットワーク５２は、これらの入力画像から出力量を特定する。出力量及び入力画像は、判定部５３に供給され、判定部５３は、これらの出力量及び入力画像から更新されたパラメータを特定し、これらの更新されたパラメータは、パラメータメモリＰに伝送され、そこで現行のパラメータと置き換えられる。判定部５３は、図２の方法のステップＳ２３及び／又はＳ２４を実施するように構成されている。

【0062】

訓練装置５００によって実施される方法を、コンピュータプログラムとして実装して、機械可読記憶媒体５４に格納することができ、コンピュータプログラムをプロセッサ５５によって実行することができる。

【0063】

「コンピュータ」という用語は、指定可能な計算規則を処理するための任意の装置を含む。これらの計算規則は、ソフトウェアの形態において、又は、ハードウェアの形態において、又は、ソフトウェアとハードウェアとの混合形態において、存在し得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【外国語明細書】