特開 2023-8922 信号の分類及び／又は信号に対する回帰分析を行うためのデバイス及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023008922

(43)【公開日】2023-01-19

(54)【発明の名称】信号の分類及び／又は信号に対する回帰分析を行うためのデバイス及び方法

(51)【国際特許分類】

   G06N 3/08 20230101AFI20230111BHJP

   G06N 20/00 20190101ALI20230111BHJP

【ＦＩ】

G06N3/08

G06N20/00

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022104595

(22)【出願日】2022-06-29

(31)【優先権主張番号】21182890

(32)【優先日】2021-06-30

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ヘンドリク シュフ

(72)【発明者】

【氏名】ハイケ アーデル－ヴー

(72)【発明者】

【氏名】ゴック タン ヴー

(57)【要約】

【課題】入力信号の分類及び／又は回帰結果を特徴付ける出力信号を決定するためのコンピュータ実装された方法である。
【解決手段】本方法は、ａ．入力信号を特徴付ける特徴表現を決定するステップと、ｂ．特徴表現の分類及び／又は回帰結果を特徴付ける中間信号を決定するステップと、ｃ．特徴表現及び中間信号に基づいて、入力信号の所望の出力信号からの中間信号の偏差を予測するステップと、ｄ．予測された偏差に従って中間信号を適応化し、これにより適応化信号を決定するステップと、ｅ．適応化信号を出力信号として提供するステップとを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

入力信号の分類及び／又は回帰結果を特徴付ける出力信号を決定するためのコンピュータ実装された方法であって、
ａ．前記入力信号を特徴付ける特徴表現を決定するステップと、
ｂ．前記特徴表現の分類及び／又は回帰結果を特徴付ける中間信号を決定するステップと、
ｃ．前記特徴表現及び前記中間信号に基づいて、前記入力信号の所望の出力信号からの前記中間信号の偏差を予測するステップと、
ｄ．決定された前記偏差に従って前記中間信号を適応化し、これにより適応化信号を決定するステップと、
ｅ．前記適応化信号を出力信号として提供するステップと、
を含む方法。

【請求項2】

前記ステップｃ及び前記ステップｄは、終了基準が満たされるまで反復的に繰り返され、前記適応化信号が次の反復において中間信号として使用される、請求項１に記載の方法。

【請求項3】

前記偏差は、微分可能モデルによって予測され、前記中間信号は、前記中間信号に関する前記偏差の勾配に基づいて適応化される、請求項１又は２に記載の方法。

【請求項4】

前記特徴表現が、第１の機械学習システムの入力としての前記入力信号を使用して前記第１の機械学習システムによって決定され、及び／又は、
前記中間信号が、第２の機械学習システムの入力としての前記特徴表現を使用して前記第２の機械学習システムによって決定され、及び／又は、
前記偏差が、第３の機械学習システムの入力としての前記特徴表現及び前記中間信号を使用して前記第３の機械学習システムによって決定される、
請求項１乃至３のいずれか一項に記載の方法。

【請求項5】

前記第１の機械学習システム、前記第２の機械学習システム及び前記第３の機械学習システムは、第４の機械学習システムの一部である、請求項４に記載の方法。

【請求項6】

前記第２の機械学習システムは、ニューラルネットワークであり、前記第２の機械学習システムの隠れ層の出力が、前記偏差を決定するための前記第３の機械学習システムへの付加的な入力として使用される、請求項４又は５に記載の方法。

【請求項7】

請求項５又は６に従って構成された第４の機械学習システムを訓練するためのコンピュータ実装された方法であって、訓練は、
ｆ．第２の機械学習モデル、又は、第１の機械学習モデル及び第２の機械学習モデルを訓練して、提供された第１の訓練入力信号に対する所望の出力信号を決定するステップと、
ｇ．前記第２の機械学習モデルを訓練した後、又は、前記第１の機械学習モデル及び前記第２の機械学習モデルを訓練した後、第３の機械学習モデルを訓練して、提供された第２の訓練入力信号に対して前記第１の機械学習モデル及び前記第２の機械学習モデルから決定された中間信号の、供給された前記第２の訓練入力信号に対する所望の出力信号に対しての偏差を決定するステップであって、前記第１の機械学習モデル及び前記第２の機械学習モデルは訓練されていない、ステップと、
を含む、方法。

【請求項8】

入力信号がセンサ信号を含む、請求項１乃至７のいずれか一項に記載の方法。

【請求項9】

ロボットが前記出力信号に基づいて制御される、請求項１乃至６のいずれか一項に記載の方法。

【請求項10】

請求項５又は６に記載の第４の機械学習システムに従って構成された機械学習システム。

【請求項11】

請求項７に記載の訓練の方法を実施するように構成された訓練システム（１４０）。

【請求項12】

コンピュータプログラムであって、プロセッサ（４５，１４５）によって実行されるときに、請求項１乃至９のいずれか一項に記載の方法をコンピュータに実施させるために構成されているコンピュータプログラム。

【請求項13】

請求項１２に記載のコンピュータプログラムが記憶された機械可読記憶媒体（４６，１４６）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入力信号の分類及び／又は回帰結果を決定する方法、機械学習システムを訓練する方法、機械学習システム、機械学習システムを訓練するデバイス、コンピュータプログラム及びコンピュータ可読記憶媒体に関する。

【背景技術】

【0002】

先行技術
“The Elements of Statistical Learning”におけるHastieら著の２００９年“10. Boosting and Additive Trees”は、ブースト分類のための方法を開示している。

【0003】

発明の背景
分類及び／又は回帰分析のための機械学習システムの使用は、種々の技術分野で広く普及している。特にロボット用途においては、機械学習システムが、例えば、それぞれのロボットの周囲のセンサデータから知識を推論するために多用されている。ここでは、特にニューラルネットワークが予測性能に関する最先端技術を構成するために広く適用されている。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】“The Elements of Statistical Learning”におけるHastieら著の２００９年“10. Boosting and Additive Trees”

【発明の概要】

【発明が解決しようとする課題】

【0005】

大部分の機械学習システム及びニューラルネットワークにおける主な欠点は、特に、与えられた入力に対して誤った予測を決定し、それでもなお、当該予測において高い信頼度の出力を行うことである。もちろん、機械学習システムが自身の予測に高い信頼度を有している場合には、これが正しいとされることが多く、その予測が誤っている場合には、信頼度が低くなるため、これは非常に望ましくないことである。

【課題を解決するための手段】

【0006】

発明の開示
この背景を考慮して、本発明は、入力信号の分類及び／又は回帰結果を特徴付ける出力信号を決定するためのコンピュータ実装された方法に関するものであり、当該方法は、
ａ．入力信号を特徴付ける特徴表現を決定するステップと、
ｂ．特徴表現の分類及び／又は回帰結果を特徴付ける中間信号を決定するステップと、
ｃ．特徴表現及び中間信号に基づいて、入力信号の所望の出力信号からの中間信号の偏差を予測するステップと、
ｄ．予測された偏差に従って中間信号を適応化し、これにより適応化信号を決定するステップと、
ｅ．適応化信号を出力信号として提供するステップと、
を含む。

【0007】

特徴表現、中間信号及び偏差は、それぞれ機械学習システムによって決定されることが好ましい。従って、本方法は、入力信号に対する分類及び／又は回帰結果を予測し、この予測が自己補正される方法として理解される。これは、予測が実際に出力信号として出力される前に、本方法が誤った予測を自動的に補正することを意味する。

【0008】

入力信号は、技術的な信号である。好ましくは、センサから得られたデータを特徴付けることができる。センサは、光学センサ、例えば、カメラセンサ、レーダセンサ、ＬＩＤＡＲ、超音波又はサーマルカメラであるものとしてよい。ここに例示したセンサから得られるデータは、全て画像とみなすことができる。入力信号が、マイクロフォンなどのオーディオセンサからのデータを特徴付けることも可能である。入力信号が、圧電センサ、温度センサ、又は、圧力を測定するためのセンサから得られるデータを特徴付けることも可能である。特に、入力信号は、異なるタイプのセンサからのデータ、及び／又は、単一のセンサタイプからの複数のデータ（例えば、ステレオカメラセンサからの２つの画像）を特徴付けることもできる。従って、本方法は、仮想センサによって実行される方法、即ち、センサデータ自体から直接的に導出することができないセンサ信号内のコンテンツを検出するための方法として理解され得る。

【0009】

出力信号は、入力信号の分類及び／又は回帰結果を特徴付けることができる。回帰結果なる用語は、回帰分析を実行するための方法の結果として理解され得る。換言すれば、分類のための方法は、離散データ（例えば、クラスラベル）を出力するものとして理解され、一方、回帰結果は、入力信号を特徴付ける連続値である。分類なる用語は、異なる種類の分類を含むものと理解される。例えば、対象物検出、セマンティックセグメンテーション、マルチラベル分類及びマルチクラス分類などの全ては、より一般的な用語である分類に該当すると理解される。出力信号はまた、回帰結果及び分類の両方を、例えば対象物検出の形態で特徴付けることができ、本方法は、対象物が画像の特定の部分に存在するかどうかを分類し、さらに、対象物のサイズ（例えば、画像又は実世界における対象物のサイズ）に関する回帰を行う。

【0010】

中間信号は、場合によっては出力信号としても使用され得るが、出力信号として出力される前に本方法において補正され得る信号として理解することができる。

【0011】

出力信号は、特にアクチュエータを制御するために使用することができる。例えば、出力信号は、アクチュエータを備えたロボットの制御信号を決定するための基礎として機能し得る。入力信号は、例えば、ロボットの周囲を特徴付けることができ、制御信号は、ロボットがその環境と適当に相互作用するように決定することができる。例えば、入力信号は、ロボットの周囲の画像を特徴付けるものであってよく、出力信号は、環境内の対象物の存在及び／又は位置を特徴付けるものであってよい。この場合、制御信号が、ロボットが対象物と衝突することなく所望の位置に移動するように決定され得る。

【0012】

提案する方法の利点は、出力信号によって特徴付けられた分類及び／又は回帰結果が、所望の出力信号により近く一致するように補正されること、即ち、出力信号の品質が改善されるように補正されることである。特に、出力信号を決定するために機械学習システムを使用する場合に、機械学習システムが正確な出力信号を提供したと確信しているにもかかわらず、機械学習システムが所望の出力信号に対して不正確な出力信号を出力することがある。

【0013】

好ましい実施形態においては、特徴表現が、第１の機械学習システムの入力としての入力信号を使用して第１の機械学習システムによって決定され、中間信号が、第２の機械学習システムの入力としての特徴表現を使用して第２の機械学習システムによって決定され、偏差が、第３の機械学習システムの入力としての特徴表現及び中間信号を使用して第３の機械学習システムによって決定される。第１、第２及び第３の機械学習システムは、第４の機械学習システム、即ち、第１、第２及び第３の機械学習システムを備える機械学習システムの一部として理解され得る。

【0014】

特徴表現は、入力信号の、好ましくは高次元符号化として理解され得る。好ましくは、第１のニューラルネットワークは、特徴表現を決定するために使用される。この場合、特徴表現は、入力信号が入力として提供されるときの第１のニューラルネットワークの層、好ましくは隠れ層の出力であるものとしてよい。特徴表現は、ベクトルであるものとしてもよいし、ベクトルに再整形されたものであってもよい。特徴表現がベクトルである場合、第２の機械学習モデル及び／又は第３の機械学習モデルは、特にそれぞれ多層パーセプトロンであるものとしてよい。

【0015】

好ましくは、第１、第２及び第３の機械学習システムは、それぞれニューラルネットワークである。本発明者らは、第１、第２及び第３の機械学習システムにニューラルネットワークを使用する場合に、出力信号が最も正確であることを見出した。

【0016】

偏差は、例えば、中間信号と所望の出力信号との間のメトリック又はセミメトリック（例えば、コサイン類似度）を特徴付けることができる。例えば、中間信号及び所望の出力信号はそれぞれベクトルの形態であるものとしてよく、偏差は、２つのベクトル間のユークリッド距離又はマンハッタン距離であるものとしてよい。ここで、分類及び／又は回帰結果を決定するときに、一般的な所望の出力信号は、本方法において必要とされないことに留意されたい。偏差の予測は、所望の出力信号の存在、即ち、入力信号のグラウンドトゥルースに依存しない。所望の出力信号は、むしろ入力信号の暗黙の特性として理解され得る。例えば、対象物を示す画像は、対象物の位置及び範囲に関する情報を暗黙的に含むものとして理解され得る。

【0017】

例えば、機械学習システムの訓練のためには所望の出力信号が必要とされ得るが、提案している出力信号の予測方法においては、その必要がない。

【0018】

偏差はまた、中間信号が所望の出力信号に対して十分に正確である確率を特徴付けることができる。例えば、中間信号と所望の出力信号との間の距離を定義することができる。この距離は、中間信号が所望の出力信号に対して依然として十分に正確である最大距離を特徴付けるものである。次いで、本方法において予測される偏差は、中間信号が所望の出力信号に対してこの最大距離内にある確率を特徴付けることができる。

【0019】

好ましい実施形態においては、ステップｃ及びステップｄは、終了基準が満たされるまで反復的に繰り返され、適応化信号が次の反復において中間信号として使用される。

【0020】

換言すれば、ステップｃ及びステップｄは、終了基準が満たされるまでループにより実行され得る。当該終了基準は、例えば、実行された反復の所定の最大数を特徴付けるもの、及び／又は、中間信号と出力信号との差を特徴付ける偏差が所定の閾値以下であることを特徴付けるものとなり得る。

【0021】

本発明者らは、中間信号を反復的に適応化することにより、出力信号の精度がさらに大幅に向上することを見出した。付加的な技術的効果として、本発明者らは、中間信号と出力信号との差を特徴付ける偏差が所定の閾値以下であることを特徴付ける終了基準を用いる場合、終了基準を満たすために必要な反復回数は、十分に正確な出力信号を決定することがいかに困難かを示す情報を特徴付けることを見出した。この情報は、不確実性の尺度として使用することができる。即ち、必要なステップが多いほど、入力信号に対する出力信号を決定することが難しくなり、出力信号における不確実性が大きくなる。

【0022】

好ましい実施形態においては、偏差は、微分可能モデルによって予測され、中間信号は、中間信号に関する偏差の勾配に基づいて適応化される。

【0023】

このアプローチは、中間信号に関する偏差の勾配の降下、即ち、中間信号の最適化として理解され得る。

【0024】

モデルの種類に関係なく、中間信号は、他の最適化方法、特に進化的アルゴリズムなどのブラックボックス最適化方法に従って適応化することができる。最適化のために、偏差が目的値として使用され、中間信号が最適化対象の変数として使用される。

【0025】

好ましい実施形態においては、第２の機械学習システムがニューラルネットワークであり、第２の機械学習システムの隠れ層の出力が、偏差を決定するための第３の機械学習システムへの付加的な入力として使用される。

【0026】

これは、第２の機械学習システムへの付加的な入力、即ち、第２の機械学習システムの層の出力を提供することとして理解され得る。本発明者らは、これにより出力信号の精度がさらに向上することを見出した。

【0027】

他の態様においては、本発明は、上記の仕様に従って構成された第４の機械学習システムを訓練するためのコンピュータ実装された方法に関し、訓練は、
ｆ．第４の機械学習モデルの第２の機械学習モデル又は第４の機械学習モデルの第１の機械学習モデル及び第２の機械学習モデルを訓練して、提供された第１の訓練入力信号に対する所望の出力信号を決定するステップと、
ｇ．第２の機械学習モデルを訓練した後、又は、第１の機械学習モデル及び第２の機械学習モデルを訓練した後、第３の機械学習モデルを訓練して、提供された第２の訓練入力信号に対して第１の機械学習モデル及び第２の機械学習モデルから決定された中間信号の、供給された第２の訓練入力信号に対する所望の出力信号に対しての偏差を決定するステップであって、第１の機械学習モデル及び第２の機械学習モデルは訓練されていない、ステップと、
を含む。

【0028】

本方法は、上述した出力を決定する方法を可能にするものとして理解され得る。訓練手順は、２段階のアプローチとして理解され得る。まず、第４の機械学習システムが、中間信号を予測することができるように訓練される。第２に、第４の機械学習システムは、中間信号を補正するように訓練される。事前に訓練された機械学習システムが第１の機械学習システムとして使用され、第１の機械学習システムが訓練手順中に訓練されないことも可能である。好ましくは、第１の機械学習システム及び第２の機械学習システムの両方ともが訓練手順の第１の段階（ステップｆ）中に訓練される。なぜなら、本発明者らは、これが後の推論の際（即ち、上記から出力信号を決定するための方法を実行する際）の出力信号の精度の改善につながることを見出したからである。

【0029】

第１の段階の訓練は、第１の機械学習システム及び／又は第２の機械学習システムの教師あり訓練として理解され得る。教師あり訓練においては、訓練用の入力信号、即ち、訓練入力信号が使用され、各訓練入力信号に対して所望の出力信号が供給される。

【0030】

第２の段階（ステップｇ）の間、第１の機械学習システム及び第２の機械学習システムのパラメータは好ましくは凍結され、第３の機械学習システムのパラメータのみが最適化され得る。第３の機械学習システムの訓練データは、所望の出力信号に対する中間信号のそれぞれの偏差と組み合わせられた訓練入力信号から予測された中間信号として理解され得る。換言すれば、第３の機械学習システムを訓練するために、訓練入力信号が第１の機械学習モデルを通して転送され、結果として生じた特徴表現が、次いで、中間出力を決定するために第２のモデルを通して転送される。決定された特徴表現及び中間信号は、次いで、第３の機械学習システムのための訓練入力として使用される。第３の機械学習システムから予測される所望の偏差として、中間信号と訓練入力信号に対する所望の出力信号との間の偏差を決定することができる。この場合、第３の機械学習システムは、第３の機械学習システムを訓練するための独立変数として、訓練入力信号に対して決定された特徴表現及び訓練入力信号に対して決定された中間信号を用い、第３の機械学習システムを訓練するための従属変数として、所望の偏差を用いて、教師あり方式により訓練することができる。

【0031】

第１の機械学習システム又は第２の機械学習システムがニューラルネットワークである場合、これらは、好ましくは、ステップｆにおいて勾配降下アルゴリズムを使用して訓練され得る。同様に、第３の機械学習システムがニューラルネットワークである場合、好ましくは、ステップｇにおいて勾配降下アルゴリズムを使用して訓練され得る。

【0032】

本明細書において先に詳述したように、所望の偏差は、中間信号と所望の出力信号との間の距離が所定の閾値以下であるか否かを示すバイナリ変数を特徴付けることもできる。

【0033】

本発明の実施形態を、以下の図面を参照してより詳細に説明する。

【図面の簡単な説明】

【0034】

【図1】機械学習システムを示す図である。

【図2】環境においてアクチュエータを制御する機械学習システムを備える制御システムを示す図である。

【図3】少なくとも部分的に自律型のロボットを制御する制御システムの図である。

【図4】製造機械を制御する制御システムの図である。

【図5】自動パーソナルアシスタントを制御する制御システムの図である。

【図6】医療分析システムを制御する制御システムの図である。

【図7】バルブを制御する制御システムの図である。

【図8】機械学習システムを訓練するための訓練システムの図である。

【発明を実施するための形態】

【0035】

実施形態の説明
図１は、機械学習システム（６０）の一実施形態を示しており、機械学習システム（６０）は、入力信号（ｘ）に対する出力信号（ｙ）を決定するように構成されており、出力信号（ｙ）は、分類及び／又は回帰結果を特徴付ける。

【0036】

入力信号（ｘ）は第１の機械学習システム（６１）に提供され、第１の機械学習システム（６１）は、機械学習システム（６０）の一部である。本実施形態においては、第１の機械学習システム（６１）は、ニューラルネットワークである。さらなる実施形態においては、サポートベクターマシン又はランダムフォレストなどの他の機械学習システムも、第１の機械学習システム（６１）として可能である。第１の機械学習システム（６１）は、入力信号（ｘ）の特徴表現（ｆ）を決定する。好ましくは、特徴表現（ｆ）は、ベクトルの形態である。

【0037】

次に、特徴表現（ｆ）は、機械学習システム（６０）の第２の機械学習システム（６２）に提供される。第２の機械学習システム（６２）は、好ましくはニューラルネットワークである。第２の機械学習システム（６２）は、特徴表現（ｆ）に基づいて中間信号（ｉ）を決定するように構成されている。中間信号（ｉ）は、特徴表現（ｆ）について得られた分類及び／又は回帰結果を特徴付ける。従って、中間信号（ｉ）は、入力信号（ｘ）に対する分類及び／又は回帰結果を特徴付けるものとして理解され得る。例えば、中間信号（ｉ）は、第２の機械学習システム（６２）のソフトマックス演算後に得られた複数のクラスの確率を特徴付けるものであってよい。

【0038】

中間信号（ｉ）及び特徴表現（ｆ）は、機械学習システム（６０）の一部である第３の機械学習システム（６３）の入力として使用される。第３の機械学習システム（６３）は、中間信号（ｉ）と入力信号（ｘ）の所望の出力信号との間の偏差（ｄ）を予測するように構成されている。図示された実施形態においては、偏差（ｄ）は、好ましくは、中間信号（ｉ）がどのようなものかを特徴付ける。

【0039】

予測された偏差（ｄ）は、次いで、機械学習システム（６０）の決定ユニット（６４）に転送される。決定ユニット（６４）は、予測された偏差（ｄ）に基づいて、信号を適応化するか否かを決定する。偏差（ｄ）が所定の閾値以下である場合、中間信号（ｉ）が機械学習システム（６０）の出力信号（ｙ）として出力される。偏差（ｄ）が所定の閾値以下でない場合、決定ユニット（６４）は、第２の機械学習システム（６２）と組み合わせられて、適応化信号を決定する。図示の実施形態においては、中間信号（ｉ）に関する偏差の勾配（ｇ）が決定され、次いで、適応化信号が偏差（ｄ）の勾配降下に基づいて決定される。中間信号（ｉ）がソフトマックス演算の結果である場合、勾配は、好ましくは、ソフトマックス演算の入力（即ち、ロジット（ｌｏｇｉｔ））に関して決定することができ、次いで、適応化信号は、勾配の負の方向に従ってロジットを適応化し、結果として得られた信号をソフトマックス演算に通すことによって決定することができる。さらなる実施形態（図示せず）においては、適応化信号を決定するために他の最適化方法が使用されるものとしてもよく、偏差は、客観的値として使用される。他の最適化方法は、例えば進化的アルゴリズムであるものとしてよい。いずれの場合も、適応化信号は、次いで、中間信号（ｉ）として第３の機械学習システム（６３）に提供されて、偏差（ｄ）を再び決定する。

【0040】

偏差（ｄ）を決定し、偏差（ｄ）に基づいて中間信号（ｉ）を適応化するこの手順は、所定の反復量にわたって、又は、偏差（ｄ）が所定の閾値以下になるまで、繰り返される。さらなる実施形態においては、他の終了基準が適用されるものとしてよく、例えば、機械学習システム（６０）を実行するコンピュータによって所定のエネルギ収支が消費された後に終了することができる。いずれの場合も、終了基準が満たされた後、中間信号（ｉ）は、機械学習システム（６０）の出力信号（ｙ）として提供される。

【0041】

図２は、アクチュエータ（１０）及びこれが存在する環境（２０）の実施形態を示しており、アクチュエータ（１０）は、機械学習システム（６０）の出力信号（ｙ）に基づいて制御される。アクチュエータ（１０）は、制御システム（４０）と相互作用する。アクチュエータ（１０）及びその環境（２０）は、まとめてアクチュエータシステムと称される。好ましくは等しい時間間隔において、センサ（３０）がアクチュエータシステムの状態をセンシングする。センサ（３０）は、複数のセンサを備え得る。好ましくは、センサ（３０）は、環境（２０）の画像を撮影する光学センサである。センシングされた状態を符号化するセンサ（３０）の出力信号（Ｓ）（又は、センサ（３０）が複数のセンサを備える場合には、センサの各々に対する出力信号（Ｓ））は、制御システム（４０）に送信される。

【0042】

これにより、制御システム（４０）は、センサ信号（Ｓ）のストリームを受信する。次いで、制御システム（４０）は、センサ信号（Ｓ）のストリームに応じて一連の制御信号（Ａ）を計算し、次いで、制御信号（Ａ）は、アクチュエータ（１０）に送信される。

【0043】

制御システム（４０）は、任意選択手段としての受信ユニット（５０）においてセンサ（３０）のセンサ信号（Ｓ）のストリームを受信する。受信ユニット（５０）は、センサ信号（Ｓ）を入力信号（ｘ）に変換する。代替的に、受信ユニット（５０）がない場合、各センサ信号（Ｓ）を入力信号（ｘ）として直接的に取得することもできる。入力信号（ｘ）は、例えば、センサ信号（Ｓ）からの抜粋として与えられ得る。代替的に、センサ信号（Ｓ）を処理して入力信号（ｘ）を取得するものとしてもよい。換言すれば、入力信号（ｘ）は、センサ信号（Ｓ）に従って提供される。

【0044】

次に、入力信号（ｘ）は、機械学習システム（６０）に渡される。

【0045】

機械学習システム（６０）は、パラメータストレージ（Ｓｔ_１）に記憶されて提供されるパラメータ（Φ）によってパラメータ化されている。

【0046】

機械学習システム（６０）は、入力信号（ｘ）から出力信号（ｙ）を決定する。出力信号（ｙ）は、入力信号（ｘ）の分類及び／又は回帰結果を特徴付けるものである。出力信号（ｙ）は、任意選択手段としての変換ユニット（８０）に送信され、出力信号（ｙ）が制御信号（Ａ）に変換される。次に、制御信号（Ａ）がアクチュエータ（１０）に送信され、これに応じてアクチュエータ（１０）が制御される。代替的に、出力信号（ｙ）を直接的に制御信号（Ａ）としてもよい。

【0047】

アクチュエータ（１０）は、制御信号（Ａ）を受信し、これに応じて制御されて、制御信号（Ａ）に対応する動作を実行する。アクチュエータ（１０）は、制御信号（Ａ）を、アクチュエータ（１０）を制御するために使用されるさらなる制御信号に変換する制御ロジックを備えるものとしてもよい。

【0048】

さらなる実施形態においては、制御システム（４０）は、センサ（３０）を備え得る。さらなる実施形態においては、制御システム（４０）は、代替的に又は付加的に、アクチュエータ（１０）を備え得る。

【0049】

さらなる実施形態においては、制御システム（４０）が、アクチュエータ（１０）の代わりに又はこれに加えて、ディスプレイ（１０ａ）を制御することが想定され得る。

【0050】

さらに、制御システム（４０）は、少なくとも１つのプロセッサ（４５）と、実行された場合に制御システム（４０）に本発明の一態様による方法を実施させるための命令が記憶された少なくとも１つの機械可読記憶媒体（４６）とを備え得る。

【0051】

制御システム（４０）の機械学習システム（６０）は、回帰分析を行うように構成することもできる。この場合、機械学習システム（６０）から予測される出力信号（ｙ）は、連続値を含み、その後、任意選択手段としての変換ユニット（８０）に転送される。

【0052】

図３は、制御システム（４０）が少なくとも部分的に自律型のロボット、例えば、少なくとも部分的に自律型の車両（１００）を制御するために使用される実施形態を示している。

【0053】

センサ（３０）は、１つ以上のビデオセンサ、及び／又は、１つ以上のレーダセンサ、及び／又は、１つ以上の超音波センサ、及び／又は、１つ以上のＬｉＤＡＲセンサを備え得る。これらのセンサの一部又は全部は、車両（１００）に組み込まれていることが好ましいが、必ずしもそうである必要はない。従って、入力信号（ｘ）は、入力画像として理解されるものであってよく、機械学習システム（６０）は、画像分類器として理解されるものであってよい。

【0054】

画像分類器（６０）は、入力画像（ｘ）に基づいて、少なくとも部分的に自律型のロボットの近傍にある対象物を検出するように構成することができる。出力信号（ｙ）は、対象物が少なくとも部分的に自律型のロボットの近傍のどこに位置するかを特徴付ける情報を含み得る。次いで、例えば、検出された対象物との衝突を回避するために、制御信号（Ａ）がこの情報に従って決定され得る。

【0055】

好ましくは車両（１００）に組み込まれているアクチュエータ（１０）は、車両（１００）のブレーキ、推進システム、エンジン、ドライブトレイン又はステアリングによって与えられ得る。制御信号（Ａ）は、アクチュエータ（１０）が制御されて、車両（１００）が検出された対象物との衝突を回避するように決定され得る。検出された対象物はまた、画像分類器（６０）がこれらを最も可能性が高いとみなすもの、例えば歩行者又は樹木に従って分類され、この分類に応じて制御信号（Ａ）が決定され得る。例えば、アクチュエータ（１０）は、ブレーキであるものとしてよく、制御信号（Ａ）は、車両（１００）が所定の閾値よりも検出された対象物に近い場合に車両（１００）が制動を行うように選択されるものとしてよい。

【0056】

代替的又は付加的に、制御信号（Ａ）は、例えば、画像分類器（６０）によって検出された対象物を表示するためにディスプレイ（１０ａ）を制御すべく使用されるものとしてもよい。車両（１００）が検出された対象物の少なくとも１つと衝突しそうになった場合、制御信号（Ａ）がディスプレイ（１０ａ）を制御して、ディスプレイ（１０ａ）が警告信号を生成することも想定され得る。警告信号は、警告音及び／又は触覚信号、例えば、車両のステアリングホイールの振動であるものとしてよい。

【0057】

さらなる実施形態においては、少なくとも部分的に自律型のロボットは、例えば、飛行、泳行、潜行又はステップ移動によって移動することができる他の移動ロボット（図示せず）によって与えられるものとしてもよい。移動ロボットは、特に、少なくとも部分的に自律型の芝刈り機、又は、少なくとも部分的に自律型の清掃ロボットであるものとしてよい。上記の実施形態の全てにおいて、制御信号（Ａ）は、移動ロボットが上記の識別された対象物との衝突を回避し得るように、移動ロボットの推進ユニット及び／又はステアリング及び／又はブレーキが制御されるように決定されるものとしてよい。

【0058】

さらなる実施形態においては、少なくとも部分的に自律型のロボットは、センサ（３０）、好ましくは光学センサを使用して環境（２０）内の植物の状態を決定するガーデニングロボット（図示せず）によって与えられるものとしてもよい。アクチュエータ（１０）は、液体を噴霧するためのノズル及び／又は切断デバイス、例えばブレードを制御することができる。識別された植物の種及び／又は識別された植物の状態に応じて、アクチュエータ（１０）が、適当な量の適当な液体を植物に噴霧し、及び／又は、植物を切断するように、制御信号（Ａ）を決定することができる。

【0059】

さらなる実施形態においては、少なくとも部分的に自律型のロボットは、例えば、洗濯機、ストーブ、オーブン、電子レンジ又は食器洗浄機のような家電装置（図示せず）によって与えられるものとしてもよい。センサ（３０）、例えば光学センサは、家電装置によって処理される対象物の状態を検出することができる。例えば、家電装置が洗濯機である場合、センサ（３０）は、洗濯機内の洗濯物の状態を検出することができる。この場合、制御信号（Ａ）は、検出された洗濯物の材料に依存して決定され得る。

【0060】

図４に示されているのは、制御システム（４０）が、例えば生産ラインの一部としての製造システム（２００）の製造機械（１１）、例えば、パンチカッタ、カッタ、ガンドリル又はグリッパを制御するために使用される実施形態である。製造機械は、製造された製品（１２）を移動させる搬送デバイス、例えばコンベヤベルト又は組立ラインを備え得る。制御システム（４０）は、アクチュエータ（１０）を制御し、アクチュエータ（１０）は、さらに製造機械（１１）を制御する。アクチュエータ（１０）は、例えばグリッパを開閉する電気駆動装置又は油圧駆動装置であるものとしてよい。

【0061】

センサ（３０）は、例えば、製造された製品（１２）の特性を捕捉する光学センサによって与えられ得る。従って、機械学習システム（６０）は、画像分類器として理解され得る。

【0062】

画像分類器（６０）は、搬送デバイスに対する製造された製品（１２）の位置を決定することができる。次いで、製造された製品（１２）の後続の製造ステップのために、製造された製品（１２）の決定された位置に応じてアクチュエータ（１０）を制御することができる。例えば、アクチュエータ（１０）は、製造された製品自体の特定の位置において製造された製品を切断するように制御され得る。代替的に、画像分類器（６０）が、製造された製品が破損しているか又は欠陥を示しているかを分類することが想定されるものとしてもよい。この場合、アクチュエータ（１０）を制御して、製造された製品を搬送デバイスから取り出すことができる。

【0063】

図５には、制御システム（４０）が自動パーソナルアシスタント（２５０）を制御するために使用される実施形態が示されている。センサ（３０）は、例えば、ユーザ（２４９）のジェスチャのビデオ画像を受信するための光学センサであるものとしてよい。代替的に、センサ（３０）は、例えばユーザ（２４９）の音声コマンドを受信するための音声センサであるものとしてもよい。

【0064】

この場合、制御システム（４０）は、自動パーソナルアシスタント（２５０）を制御するための制御信号（Ａ）を決定する。制御信号（Ａ）は、センサ（３０）のセンサ信号（Ｓ）に従って決定される。センサ信号（Ｓ）は、制御システム（４０）に送信される。例えば、機械学習システム（６０）は、例えば、ジェスチャ認識アルゴリズムを実行して、ユーザ（２４９）によって行われたジェスチャを識別するように構成されるものとしてよい。次に、制御システム（４０）は、自動パーソナルアシスタント（２５０）に送信するための制御信号（Ａ）を決定することができる。次に、制御システム（４０）は、制御信号（Ａ）を自動パーソナルアシスタント（２５０）に送信する。代替的に、機械学習システム（６０）は、ユーザ（２４９）によって発せられた音声コマンドを分類するための音声分類のために構成されるものとしてもよい。

【0065】

例えば、制御信号（Ａ）は、機械学習システム（６０）によって認識された識別済みのユーザジェスチャ又は識別済みの音声コマンドに従って決定され得る。これには、自動パーソナルアシスタント（２５０）にデータベースから情報を取得させ、この取得された情報をユーザ（２４９）による受信に適した形式において出力させる情報が含まれ得る。

【0066】

さらなる実施形態においては、自動パーソナルアシスタント（２５０）の代わりに、制御システム（４０）が、識別されたユーザジェスチャに従って制御される家電装置（図示せず）を制御することが想定され得る。家電装置は、洗濯機、ストーブ、オーブン、電子レンジ又は食器洗浄機であるものとしてよい。

【0067】

図６には、制御システム（４０）によって制御される医用撮像システム（５００）の一実施形態が示されている。撮像システムは、例えば、ＭＲＩ装置、Ｘ線撮像装置又は超音波撮像装置であるものとしてよい。センサ（３０）は、例えば、患者の少なくとも１つの画像を撮影する撮像センサ、例えば患者の異なるタイプの身体組織を表示する撮像センサであるものとしてよい。

【0068】

この場合、機械学習システム（６０）は、センシングされた画像の少なくとも一部の分類を決定することができる。従って、画像の少なくとも一部は、機械学習システム（６０）への入力画像（ｘ）として使用される。従って、機械学習システム（６０）は、画像分類器として理解され得る。

【0069】

この場合、制御信号（Ａ）が分類に従って選択され、これによりディスプレイ（１０ａ）が制御可能となる。例えば、画像分類器（６０）は、例えば、画像内に表示されている組織を悪性組織又は良性組織のいずれかに分類することによって、センシングされた画像内の異なるタイプの組織を検出するように構成され得る。これは、画像分類器（６０）による入力画像（ｘ）のセマンティックセグメンテーションによって行われ得る。この場合、制御信号（Ａ）は、例えば、入力画像（ｘ）を表示し、同一の組織タイプの異なる領域を同一の色に着色することによって、ディスプレイ（１０ａ）に異なる組織を表示させるように決定され得る。

【0070】

さらなる実施形態（図示せず）においては、撮像システム（５００）は、非医療目的のために、例えば、ワークピースの材料特性を決定するために使用され得る。この実施形態においては、画像分類器（６０）は、ワークピースの少なくとも一部の入力画像（ｘ）を受け取り、入力画像（ｘ）のセマンティックセグメンテーションを実行し、これによりワークピースの材料特性を分類するように構成することができる。この場合、制御信号（Ａ）は、ディスプレイ（１０ａ）に入力画像（ｘ）及び検出された材料特性についての情報を表示させるように決定され得る。

【0071】

図７は、バルブ（１０）を制御するための制御システム（４０）の実施形態を示している。本実施形態においては、センサ（３０）は、バルブ（１０）が放出可能な流体の圧力を検知する圧力センサである。特に、機械学習システム（６０）は、圧力値の時系列（ｘ）に基づいて、バルブ（１０）によって分注される流体の注入量を決定するように構成することができる。

【0072】

特に、バルブ（１０）は、内燃機関の燃料噴射器の一部であるものとしてよく、燃料を内燃機関内に噴射するように構成される。この場合、決定された噴射量に基づいて、その後の噴射プロセスにおいて、噴射される燃料の量が過度に多い場合又は噴射される燃料の量が過度に少ない場合に相応の補償が行われるようにバルブ（１０）を制御することができる。

【0073】

代替的に、バルブ（１０）が農業用肥料システムの一部であり、肥料を噴霧するように構成されることも可能である。この場合、決定された肥料噴霧量に基づいて、将来の噴霧動作において、噴霧される肥料の過剰な量又は噴霧される肥料の不十分な量が相応に補償されるように、バルブ（１０）を制御することができる。

【0074】

図８は、訓練データセット（Ｔ）によって制御システム（４０）の機械学習システム（６０）を訓練するための訓練システム（１４０）の一実施形態を示している。訓練データセット（Ｔ）は、機械学習システム（６０）を訓練するために使用される複数の入力信号（ｘ_ｉ）を含み、さらに、入力信号（ｘ_ｉ）ごとに所望の出力信号（ｔ_ｉ）を含み、所望の出力信号（ｔ_ｉ）は、入力信号（ｘ_ｉ）に対応し、入力信号（ｘ_ｉ）の分類及び／又は回帰結果を特徴付ける。

【0075】

訓練は、２段階で行われる。第１の段階において、訓練データユニット（１５０）は、コンピュータ実装データベース（Ｓｔ_２）にアクセスし、データベース（Ｓｔ_２）は、訓練データセット（Ｔ）を提供する。訓練データユニット（１５０）は、訓練データセット（Ｔ）から、好ましくはランダムに、少なくとも１つの入力信号（ｘ_ｉ）及び入力信号（ｘ_ｉ）に対応する所望の出力信号（ｔ_ｉ）を決定し、入力信号（ｘ_ｉ）を機械学習システム（６０）に送信する。機械学習システム（６０）は、入力信号（ｘ_ｉ）に基づいて中間信号（ｙ_ｉ）を決定する。

【0076】

所望の出力信号（ｔ_ｉ）及び決定された中間信号（ｙ_ｉ）は、修正ユニット（１８０）に送信される。

【0077】

次いで、修正ユニット（１８０）が、所望の出力信号（ｔ_ｉ）及び決定された中間信号（ｙ_ｉ）に基づいて、機械学習システム（６０）のための新しいパラメータ（Φ’）を決定する。具体的には、新しいパラメータ（Φ’）は、第２の機械学習システム（６２）について決定される。さらなる実施形態においては、新しいパラメータ（Φ’）はまた、第１の機械学習システム（６１）の新しいパラメータ（Φ’）を含み得る。新しいパラメータ（Φ’）を決定するために、修正ユニット（１８０）は、損失関数を使用して、所望の出力信号（ｔ_ｉ）と決定された中間信号（ｙ_ｉ）とを比較する。損失関数は、決定された中間信号（ｙ_ｉ）が所望の出力信号（ｔ_ｉ）からどれだけ異なるかを特徴付ける第１の損失値を決定する。所与の実施形態においては、負の対数尤度関数が損失関数として使用される。他の実施形態においては、他の損失関数も考えられる。

【0078】

さらに、決定された中間信号（ｙ_ｉ）及び所望の出力信号（ｔ_ｉ）はそれぞれ、例えばテンソルの形態の複数のサブ信号を含むことが可能であり、所望の出力信号（ｔ_ｉ）のサブ信号は、決定された中間信号（ｙ_ｉ）のサブ信号に対応する。例えば、機械学習システム（６０）が対象物検出のために構成され、第１のサブ信号が入力信号（ｘ_ｉ）の一部に関する対象物の発生確率を特徴付けるものとされ、第２のサブ信号が対象物の正確な位置を特徴付けるものとされることが可能である。決定された中間信号（ｙ_ｉ）及び所望の出力信号（ｔ_ｉ）が複数の対応するサブ信号を含む場合、好ましくは、適当な損失関数によって各対応するサブ信号に対して第２の損失値が決定され、決定された第２の損失値は、例えば加重和によって第１の損失値を形成するように適当に組み合わせられる。

【0079】

修正ユニット（１８０）は、第１の損失値に基づいて新しいパラメータ（Φ’）を決定する。所与の実施形態においては、これは、勾配降下法、好ましくは確率的勾配降下法、アダム又はアダムＷを使用して行われる。さらなる実施形態においては、訓練はまた、ニューラルネットワークを訓練するための進化的アルゴリズム又は二階導関数法（second-order method）に基づき得る。

【0080】

他の好ましい実施形態においては、訓練の第１の段階は、所定数の反復ステップにわたって反復的に繰り返され、又は、第１の損失値が所定の閾値を下回るまで反復的に繰り返される。代替的又は付加的に、テスト又は検証データセットに関する平均の第１の損失値が所定の閾値を下回った場合に、訓練の第１の段階を終了することも可能である。反復の少なくとも１回において、前の反復において決定された新しいパラメータ（Φ’）が、機械学習システム（６０）のパラメータ（Φ）として、特に第２の機械学習システム（６２）又は第１の機械学習システム（６１）及び第２の機械学習システム（６２）のパラメータとして使用される。

【0081】

訓練の第２の段階においては、第３の機械学習システム（６３）の新しいパラメータ（Φ’）が決定される。このために、訓練の第１の段階と同様に、入力信号（ｘ_ｉ）及び所望の出力信号（ｔ_ｉ）がデータセット（Ｔ）から決定される。特徴表現（ｆ）は、第１の機械学習システム（６１）からの入力信号（ｘ_ｉ）に対して決定され、中間信号（ｙ_ｉ）は、第２の機械学習システム（６２）から決定される。特徴表現（ｆ）及び中間信号（ｙ_ｉ）は、第３の機械学習システム（６３）のための入力として使用される。加えて、第２の機械学習システム（６２）の隠れ層の出力も、第３の機械学習システム（６３）の入力として使用され得る。

【0082】

提供された入力に基づいて、第３の機械学習システム（６３）は、所望の出力信号（ｔ_ｉ）に対する決定された中間信号（ｙ_ｉ）の偏差を予測するように第２の段階において訓練される。偏差は、例えば、メトリック（例えば、ユークリッド距離）又はセミメトリック（例えば、コサイン距離）によって特徴付けられ得る。偏差は、修正ユニット（１８０）によって決定され、その後、第３の機械学習システム（６３）のパラメータに関する偏差の勾配を決定するために修正ユニット（１８０）において使用される。この勾配に基づいて、修正ユニット（１８０）は、第３の機械学習システムの新しいパラメータ（Φ’）を決定する。第１の段階と同様に、第２の段階は、所定の反復ステップ数にわたって反復的に繰り返されるものとしてよく、又は、偏差が所定の閾値を下回るまで反復的に繰り返されるものとしてもよい。代替的又は付加的に、テスト又は検証データセットに関する平均偏差が所定の閾値を下回った場合に、訓練の第２の段階を終了することも可能である。反復の少なくとも１回において、前の反復において決定された新しいパラメータ（Φ’）が、機械学習システム（６０）のパラメータ（Φ）として、特に第３の機械学習システム（６３）のパラメータとして使用される。

【0083】

さらに、訓練システム（１４０）は、少なくとも１つのプロセッサ（１４５）と、プロセッサ（１４５）によって実行されたときに訓練システム（１４０）に本発明の態様の１つによる訓練方法を実施させるための命令を含む少なくとも１つの機械可読記憶媒体（１４６）とを備え得る。

【0084】

「コンピュータ」なる用語は、予め定義された計算規則を処理するための任意のデバイスを包含するものとして理解され得る。これらの計算規則は、ソフトウェア、ハードウェア、又は、ソフトウェアとハードウェアの混合の形態であるものとしてよい。

【0085】

概して、複数の個数は、インデックス付けによって示されるものと理解することができ、即ち、複数の要素のうちの各要素には、好ましくは、複数の要素に含まれる要素に連続する整数を割り当てることによって、固有のインデックスが割り当てられる。好ましくは、複数の要素がＮ個の要素を含み、Ｎが複数の要素の個数である場合、要素には、１乃至Ｎの整数が割り当てられる。複数の要素は、これらのインデックスによってアクセスされ得ることも理解される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2022-08-19

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

入力信号の分類及び／又は回帰結果を特徴付ける出力信号を決定するためのコンピュータ実装された方法であって、
ａ．前記入力信号を特徴付ける特徴表現を決定するステップと、
ｂ．前記特徴表現の分類及び／又は回帰結果を特徴付ける中間信号を決定するステップと、
ｃ．前記特徴表現及び前記中間信号に基づいて、前記入力信号の所望の出力信号からの前記中間信号の偏差を予測するステップと、
ｄ．予測された前記偏差に従って前記中間信号を適応化し、これにより適応化信号を決定するステップと、
ｅ．前記適応化信号を出力信号として提供するステップと、
を含む方法。

【請求項2】

前記ステップｃ及び前記ステップｄは、終了基準が満たされるまで反復的に繰り返され、前記適応化信号が次の反復において中間信号として使用される、請求項１に記載の方法。

【請求項3】

前記偏差は、微分可能モデルによって予測され、前記中間信号は、前記中間信号に関する前記偏差の勾配に基づいて適応化される、請求項１又は２に記載の方法。

【請求項4】

前記特徴表現が、第１の機械学習システムの入力としての前記入力信号を使用して前記第１の機械学習システムによって決定され、及び／又は、
前記中間信号が、第２の機械学習システムの入力としての前記特徴表現を使用して前記第２の機械学習システムによって決定され、及び／又は、
前記偏差が、第３の機械学習システムの入力としての前記特徴表現及び前記中間信号を使用して前記第３の機械学習システムによって決定される、
請求項１に記載の方法。

【請求項5】

前記第１の機械学習システム、前記第２の機械学習システム及び前記第３の機械学習システムは、第４の機械学習システムの一部である、請求項４に記載の方法。

【請求項6】

前記第２の機械学習システムは、ニューラルネットワークであり、前記第２の機械学習システムの隠れ層の出力が、前記偏差を決定するための前記第３の機械学習システムへの付加的な入力として使用される、請求項４又は５に記載の方法。

【請求項7】

請求項５に記載の方法に従って構成された第４の機械学習システムを訓練するためのコンピュータ実装された方法であって、訓練は、
ｆ．第２の機械学習モデル、又は、第１の機械学習モデル及び第２の機械学習モデルを訓練して、提供された第１の訓練入力信号に対する所望の出力信号を決定するステップと、
ｇ．前記第２の機械学習モデルを訓練した後、又は、前記第１の機械学習モデル及び前記第２の機械学習モデルを訓練した後、第３の機械学習モデルを訓練して、提供された第２の訓練入力信号に対して前記第１の機械学習モデル及び前記第２の機械学習モデルから決定された中間信号の、提供された前記第２の訓練入力信号に対する所望の出力信号に対しての偏差を決定するステップであって、前記第１の機械学習モデル及び前記第２の機械学習モデルは訓練されていない、ステップと、
を含む、方法。

【請求項8】

入力信号がセンサ信号を含む、請求項１又は７に記載の方法。

【請求項9】

ロボットが前記出力信号に基づいて制御される、請求項１に記載の方法。

【請求項10】

請求項５に記載の方法における第４の機械学習システムに従って構成された機械学習システム。

【請求項11】

請求項７に記載の訓練するためのコンピュータ実装された方法を実施するように構成された訓練システム（１４０）。

【請求項12】

コンピュータプログラムであって、制御システム（４０）又は訓練システム（１４０）に備えられたプロセッサ（４５，１４５）によって実行されるときに、請求項１又は７に記載の方法を前記制御システム（４０）又は前記訓練システム（１４０）に実施させるために構成されているコンピュータプログラム。

【請求項13】

請求項１２に記載のコンピュータプログラムが記憶された機械可読記憶媒体（４６，１４６）。

【外国語明細書】