▶ ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングの特許一覧
特開2023-36559ロボット装置、ロボット制御モデルをトレーニングするコンピュータ実装された方法及びロボット装置を制御する方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023036559
(43)【公開日】2023-03-14
(54)【発明の名称】ロボット装置、ロボット制御モデルをトレーニングするコンピュータ実装された方法及びロボット装置を制御する方法
(51)【国際特許分類】
B25J 13/00 20060101AFI20230307BHJP
G06T 7/00 20170101ALI20230307BHJP
G06N 3/04 20230101ALI20230307BHJP
G06N 20/00 20190101ALI20230307BHJP
G06N 3/08 20230101ALI20230307BHJP
【ＦＩ】
B25J13/00 Z
G06T7/00 350B
G06N3/04
G06N20/00
G06N3/08
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022139029
(22)【出願日】2022-09-01
(31)【優先権主張番号】10 2021 209 646.8
(32)【優先日】2021-09-02
(33)【優先権主張国・地域又は機関】DE
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ
【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】アン ビエン ゴ
(72)【発明者】
【氏名】アレクサンダー クス
(72)【発明者】
【氏名】ハンナ ツィーシェ
(72)【発明者】
【氏名】ミロスラフ ガブリエル
(72)【発明者】
【氏名】フィリップ クリスティアン シリンガー
(72)【発明者】
【氏名】ゾハー フェルドマン
【テーマコード（参考）】
3C707
5L096
【Ｆターム（参考）】
3C707KS23
3C707KS36
3C707KT03
3C707KT06
3C707KV18
3C707LS15
3C707LV02
3C707LV14
3C707LW15
5L096BA05
5L096CA02
5L096EA39
5L096FA01
5L096FA33
5L096FA67
5L096GA30
5L096HA11
5L096KA04
(57)【要約】 （修正有）
【課題】ロボット装置を制御する方法に関する。
【解決手段】第１のピックアップ予測は、画像の各画像点に対して、第１のピックアップロボットコンフィギュレーションベクトルを、割り当てられる第１の成功確率を伴って、含み、方法はさらに、第２のピックアップ予測を生成するために、画像を第２の予測モデルへ供給することを含み、第２のピックアップ予測は、画像の各画像点に対して、第２のピックアップロボットコンフィギュレーションベクトルを、割り当てられる第２の成功確率を伴って、含み、方法はさらに、第３のピックアップ予測を生成するために、第１のピックアップ予測及び第２のピックアップ予測をロボット制御モデルの混合モデルへ供給することを含む。
【選択図】図２Ａ
【解決手段】第１のピックアップ予測は、画像の各画像点に対して、第１のピックアップロボットコンフィギュレーションベクトルを、割り当てられる第１の成功確率を伴って、含み、方法はさらに、第２のピックアップ予測を生成するために、画像を第２の予測モデルへ供給することを含み、第２のピックアップ予測は、画像の各画像点に対して、第２のピックアップロボットコンフィギュレーションベクトルを、割り当てられる第２の成功確率を伴って、含み、方法はさらに、第３のピックアップ予測を生成するために、第１のピックアップ予測及び第２のピックアップ予測をロボット制御モデルの混合モデルへ供給することを含む。
【選択図】図２Ａ
【特許請求の範囲】
【請求項1】
ロボット制御モデルをトレーニングするコンピュータ実装された方法（２００Ａ，２００Ｂ）であって、前記ロボット制御モデルは、１つ又は複数の対象物（１１４）のうちの１つの対象物をピックアップするようにロボット装置（１０１）を制御するように構成されており、
前記方法（２００Ａ，２００Ｂ）は、
・第１のピックアップ予測（２０６（１））を生成するために、前記１つ又は複数の対象物（１１４）を示す画像（２０２）を、前記ロボット制御モデルの第１の予測モデル（２０４（１））へ供給することを含み、前記第１のピックアップ予測（２０６（１））は、前記画像（２０２）の各画像点に対して、前記ロボット装置（１０１）のコンフィギュレーションを記述する各第１のピックアップロボットコンフィギュレーションベクトルを、割り当てられる予測された第１の成功確率を伴って、含み、
・第２のピックアップ予測（２０６（２））を生成するために、前記画像（２０２）を前記ロボット制御モデルの第２の予測モデル（２０４（２））へ供給することを含み、前記第２のピックアップ予測（２０６（２））は、前記画像（２０２）の各画像点に対して、前記ロボット装置（１０１）のコンフィギュレーションを記述する各第２のピックアップロボットコンフィギュレーションベクトルを、割り当てられる予測された第２の成功確率を伴って、含み、
・第３のピックアップ予測（２１８）を生成するために、前記第１のピックアップ予測（２０６（１））及び前記第２のピックアップ予測（２０６（２））を前記ロボット制御モデルの混合モデル（２１２）へ供給することを含み、前記第３のピックアップ予測（２１８）は、前記画像（２０２）の各画像点に対して、
・前記第１のピックアップロボットコンフィギュレーションベクトルと前記第２のピックアップロボットコンフィギュレーションベクトルとの、第１の重み付け係数（２１４）によって重み付けされた組合せである第３のピックアップロボットコンフィギュレーションベクトル、及び、
・前記予測された第１の成功確率と前記予測された第２の成功確率との、第２の重み付け係数（２１６）によって重み付けされた組合せである、予測された第３の成功確率
を含み、
前記方法（２００Ａ，２００Ｂ）はさらに、
・前記画像（２０２）の少なくとも１つの画像点に成功したピックアップが割り当てられている目標データ（２２４）に基づいて、前記少なくとも１つの画像点に対して生成された、前記予測された第３の成功確率が高くなるように、前記第１の重み付け係数（２１４）及び前記第２の重み付け係数（２１６）の適応化を行うことによって、前記ロボット制御モデルをトレーニングすることを含む、
方法（２００Ａ，２００Ｂ）。
前記方法（２００Ａ，２００Ｂ）は、
・第１のピックアップ予測（２０６（１））を生成するために、前記１つ又は複数の対象物（１１４）を示す画像（２０２）を、前記ロボット制御モデルの第１の予測モデル（２０４（１））へ供給することを含み、前記第１のピックアップ予測（２０６（１））は、前記画像（２０２）の各画像点に対して、前記ロボット装置（１０１）のコンフィギュレーションを記述する各第１のピックアップロボットコンフィギュレーションベクトルを、割り当てられる予測された第１の成功確率を伴って、含み、
・第２のピックアップ予測（２０６（２））を生成するために、前記画像（２０２）を前記ロボット制御モデルの第２の予測モデル（２０４（２））へ供給することを含み、前記第２のピックアップ予測（２０６（２））は、前記画像（２０２）の各画像点に対して、前記ロボット装置（１０１）のコンフィギュレーションを記述する各第２のピックアップロボットコンフィギュレーションベクトルを、割り当てられる予測された第２の成功確率を伴って、含み、
・第３のピックアップ予測（２１８）を生成するために、前記第１のピックアップ予測（２０６（１））及び前記第２のピックアップ予測（２０６（２））を前記ロボット制御モデルの混合モデル（２１２）へ供給することを含み、前記第３のピックアップ予測（２１８）は、前記画像（２０２）の各画像点に対して、
・前記第１のピックアップロボットコンフィギュレーションベクトルと前記第２のピックアップロボットコンフィギュレーションベクトルとの、第１の重み付け係数（２１４）によって重み付けされた組合せである第３のピックアップロボットコンフィギュレーションベクトル、及び、
・前記予測された第１の成功確率と前記予測された第２の成功確率との、第２の重み付け係数（２１６）によって重み付けされた組合せである、予測された第３の成功確率
を含み、
前記方法（２００Ａ，２００Ｂ）はさらに、
・前記画像（２０２）の少なくとも１つの画像点に成功したピックアップが割り当てられている目標データ（２２４）に基づいて、前記少なくとも１つの画像点に対して生成された、前記予測された第３の成功確率が高くなるように、前記第１の重み付け係数（２１４）及び前記第２の重み付け係数（２１６）の適応化を行うことによって、前記ロボット制御モデルをトレーニングすることを含む、
方法（２００Ａ，２００Ｂ）。
【請求項2】
前記第１の重み付け係数（２１４）は、すべての第１のピックアップロボットコンフィギュレーションに対する重み付け係数と、すべての第２のピックアップロボットコンフィギュレーションに対する重み付け係数とを含む、
請求項１に記載の方法（２００Ａ，２００Ｂ）。
請求項１に記載の方法（２００Ａ，２００Ｂ）。
【請求項3】
前記第１の重み付け係数（２１４）は、各第１のピックアップロボットコンフィギュレーションベクトルに対する各重み付け係数を含み、各第２のピックアップロボットコンフィギュレーションベクトルに対する各重み付け係数を含む、
請求項１に記載の方法（２００Ａ，２００Ｂ）。
請求項１に記載の方法（２００Ａ，２００Ｂ）。
【請求項4】
前記第２の重み付け係数（２１６）は、予測されたすべての第１の成功確率に対する重み付け係数と、予測されたすべての第２の成功確率に対する重み付け係数とを含む、
請求項１乃至３のいずれか一項に記載の方法（２００Ａ，２００Ｂ）。
請求項１乃至３のいずれか一項に記載の方法（２００Ａ，２００Ｂ）。
【請求項5】
前記第２の重み付け係数（２１６）は、各予測された第１の成功確率に対して各重み付け係数を含み、各予測された第２の成功確率に対して各重み付け係数を含む、
請求項１乃至３のいずれか一項に記載の方法（２００Ａ，２００Ｂ）。
請求項１乃至３のいずれか一項に記載の方法（２００Ａ，２００Ｂ）。
【請求項6】
前記ロボット制御モデルは、前記第１の重み付け係数（２１４）を伴う第１の畳み込みニューラルネットワークと、前記第２の重み付け係数（２１６）を伴う第２の畳み込みニューラルネットワークとを含み、前記第３のピックアップ予測（２１８）の生成は、
・前記第３のピックアップロボットコンフィギュレーションを生成するために、前記第１のピックアップロボットコンフィギュレーション及び前記第２のピックアップロボットコンフィギュレーションを前記第１の畳み込みニューラルネットワークへ供給することと、
・前記予測された第３の成功確率を生成するために、前記予測された第１の成功確率及び前記予測された第２の成功確率を前記第２の畳み込みニューラルネットワークへ供給することと、
を含む、
請求項１に記載の方法（２００Ａ，２００Ｂ）。
・前記第３のピックアップロボットコンフィギュレーションを生成するために、前記第１のピックアップロボットコンフィギュレーション及び前記第２のピックアップロボットコンフィギュレーションを前記第１の畳み込みニューラルネットワークへ供給することと、
・前記予測された第３の成功確率を生成するために、前記予測された第１の成功確率及び前記予測された第２の成功確率を前記第２の畳み込みニューラルネットワークへ供給することと、
を含む、
請求項１に記載の方法（２００Ａ，２００Ｂ）。
【請求項7】
前記方法（２００Ａ，２００Ｂ）はさらに、
・前記画像（２０２）のセグメンテーションを用いてセグメンテーション画像を生成することを含み、前記セグメンテーション画像の複数の画像点は、前記１つ又は複数の対象物（１１４）に割り当てられ、
・前記第１の重み付け係数（２１４）を生成するために、前記生成されたセグメンテーション画像を前記ロボット制御モデルの第１の重み付けモデル（２４４）へ供給することを含み、
・前記第２の重み付け係数（２１６）を生成するために、前記生成されたセグメンテーション画像を前記ロボット制御モデルの第２の重み付けモデル（２４６）へ供給することを含み、
・前記第１の重み付け係数（２１４）及び前記第２の重み付け係数（２１６）の適応化を用いた前記ロボット制御モデルの前記トレーニングは、前記第１の重み付けモデル（２４４）及び前記第２の重み付けモデル（２４６）の適応化を含む、
請求項１乃至５のいずれか一項に記載の方法（２００Ａ，２００Ｂ）。
・前記画像（２０２）のセグメンテーションを用いてセグメンテーション画像を生成することを含み、前記セグメンテーション画像の複数の画像点は、前記１つ又は複数の対象物（１１４）に割り当てられ、
・前記第１の重み付け係数（２１４）を生成するために、前記生成されたセグメンテーション画像を前記ロボット制御モデルの第１の重み付けモデル（２４４）へ供給することを含み、
・前記第２の重み付け係数（２１６）を生成するために、前記生成されたセグメンテーション画像を前記ロボット制御モデルの第２の重み付けモデル（２４６）へ供給することを含み、
・前記第１の重み付け係数（２１４）及び前記第２の重み付け係数（２１６）の適応化を用いた前記ロボット制御モデルの前記トレーニングは、前記第１の重み付けモデル（２４４）及び前記第２の重み付けモデル（２４６）の適応化を含む、
請求項１乃至５のいずれか一項に記載の方法（２００Ａ，２００Ｂ）。
【請求項8】
前記方法（２００Ａ，２００Ｂ）はさらに、
・前記画像（２０２）内に示されている各表面に対して、示されている前記表面の法線ベクトル及び関連する標準偏差を求めることを含み、
・前記第１の重み付け係数（２１４）を生成するために、求められた前記法線ベクトル及び関連する前記標準偏差を前記ロボット制御モデルの第３の重み付けモデル（２４４）へ供給することを含み、
・前記第２の重み付け係数（２１６）を生成するために、求められた前記法線ベクトル及び関連する前記標準偏差を前記ロボット制御モデルの第４の重み付けモデル（２４６）へ供給することを含み、
・前記第１の重み付け係数（２１４）及び前記第２の重み付け係数（２１６）の適応化を用いた前記ロボット制御モデルの前記トレーニングは、前記第３の重み付けモデル（２４４）及び前記第４の重み付けモデル（２４６）の適応化を含む、
請求項１乃至５のいずれか一項に記載の方法（２００Ａ，２００Ｂ）。
・前記画像（２０２）内に示されている各表面に対して、示されている前記表面の法線ベクトル及び関連する標準偏差を求めることを含み、
・前記第１の重み付け係数（２１４）を生成するために、求められた前記法線ベクトル及び関連する前記標準偏差を前記ロボット制御モデルの第３の重み付けモデル（２４４）へ供給することを含み、
・前記第２の重み付け係数（２１６）を生成するために、求められた前記法線ベクトル及び関連する前記標準偏差を前記ロボット制御モデルの第４の重み付けモデル（２４６）へ供給することを含み、
・前記第１の重み付け係数（２１４）及び前記第２の重み付け係数（２１６）の適応化を用いた前記ロボット制御モデルの前記トレーニングは、前記第３の重み付けモデル（２４４）及び前記第４の重み付けモデル（２４６）の適応化を含む、
請求項１乃至５のいずれか一項に記載の方法（２００Ａ，２００Ｂ）。
【請求項9】
各ピックアップロボットコンフィギュレーションベクトルは、前記ロボット装置（１０１）のコンフィギュレーションを記述する値のタプルであり、
前記目標データ（２２４）における前記少なくとも１つの画像点に、目標ピックアップロボットコンフィギュレーションを記述する目標タプルの１つ又は複数の値を割り当て、
前記ロボット制御モデルが、前記少なくとも１つの画像点に対して、前記目標タプルの前記１つ又は複数の値を有する値のタプルを有する第３のピックアップロボットコンフィギュレーションベクトルを生成するように、かつ、前記第３のピックアップロボットコンフィギュレーションベクトルに割り当てられる前記予測された第３の成功確率が高くなるように、前記ロボット制御モデルをトレーニングする、
請求項１乃至８のいずれか一項に記載の方法（２００Ａ，２０Ｂ）。
前記目標データ（２２４）における前記少なくとも１つの画像点に、目標ピックアップロボットコンフィギュレーションを記述する目標タプルの１つ又は複数の値を割り当て、
前記ロボット制御モデルが、前記少なくとも１つの画像点に対して、前記目標タプルの前記１つ又は複数の値を有する値のタプルを有する第３のピックアップロボットコンフィギュレーションベクトルを生成するように、かつ、前記第３のピックアップロボットコンフィギュレーションベクトルに割り当てられる前記予測された第３の成功確率が高くなるように、前記ロボット制御モデルをトレーニングする、
請求項１乃至８のいずれか一項に記載の方法（２００Ａ，２０Ｂ）。
【請求項10】
前記目標データ（２２４）において、前記画像（２０２）の少なくとも１つの別の画像点に、失敗したピックアップを割り当て、前記第１の重み付け係数（２１４）及び前記第２の重み付け係数（２１６）の適応化を用いて、前記少なくとも１つの別の画像点に対して生成された前記予測された第３の成功確率が低減されるように前記ロボット制御モデルをトレーニングする、
請求項１乃至９のいずれか一項に記載の方法（２００Ａ，２００Ｂ）。
請求項１乃至９のいずれか一項に記載の方法（２００Ａ，２００Ｂ）。
【請求項11】
ロボット装置（１０１）を制御する方法（４００）であって、前記方法（４００）は、
・１つ又は複数の対象物（１１４）を示す画像（４０２）を検出することを含み、
・第３のピックアップ予測（４１８）を生成するために、前記画像（４０２）を、請求項１乃至１０のいずれか一項に記載の方法に従ってトレーニングされたロボット制御モデルへ供給することを含み、
・予測された最高の第３の成功確率が割り当てられる前記第３のピックアップ予測（４１８）の前記第３のピックアップロボットコンフィギュレーションベクトルに対して、前記第３のピックアップロボットコンフィギュレーションベクトルに従って、前記１つ又は複数の対象物（１１４）のうちの、前記第３のピックアップロボットコンフィギュレーションベクトルの前記画像点に割り当てられている対象物をピックアップするように前記ロボット装置（１０１）を制御することを含む、
方法（４００）。
・１つ又は複数の対象物（１１４）を示す画像（４０２）を検出することを含み、
・第３のピックアップ予測（４１８）を生成するために、前記画像（４０２）を、請求項１乃至１０のいずれか一項に記載の方法に従ってトレーニングされたロボット制御モデルへ供給することを含み、
・予測された最高の第３の成功確率が割り当てられる前記第３のピックアップ予測（４１８）の前記第３のピックアップロボットコンフィギュレーションベクトルに対して、前記第３のピックアップロボットコンフィギュレーションベクトルに従って、前記１つ又は複数の対象物（１１４）のうちの、前記第３のピックアップロボットコンフィギュレーションベクトルの前記画像点に割り当てられている対象物をピックアップするように前記ロボット装置（１０１）を制御することを含む、
方法（４００）。
【請求項12】
プロセッサによる実行時に、請求項１乃至１１のいずれか一項に記載の方法（２００Ａ，２００Ｂ，４００）を前記プロセッサに実施させるための命令を含むコンピュータプログラム。
【請求項13】
プロセッサによる実行時に、請求項１乃至１１のいずれか一項に記載の方法（２００Ａ，２００Ｂ，４００）を前記プロセッサに実施させるための命令を格納しているコンピュータ可読媒体。
【請求項14】
請求項１乃至１０のいずれか一項に記載の方法（２００Ａ，２００Ｂ）を実施するように構成されているコンピュータを含むトレーニング装置。
【請求項15】
ロボット装置（１０１）であって、前記ロボット装置（１０１）は、
・対象物をピックアップするように構成されている少なくとも１つのロボットアーム（１２０）と、
・制御装置（１０６）と、
を含み、前記制御装置（１０６）は、
・請求項１乃至１０のいずれか一項に記載の方法に従ってトレーニングされた前記ロボット制御モデルを使用して、１つ又は複数の対象物（１１４）を示す画像（４０２）に対して、第３のピックアップ予測（４１８）を求めるように構成されており、
・予測された最高の第３の成功確率が割り当てられる第３のピックアップ予測（４１８）の第３のピックアップロボットコンフィギュレーションベクトルに対して、第３のピックアップロボットコンフィギュレーションベクトルに従って、前記１つ又は複数の対象物（１１４）のうちの、前記第３のピックアップロボットコンフィギュレーションベクトルの前記画像点に割り当てられている前記対象物をピックアップするように、前記少なくとも１つのロボットアーム（１２０）を制御するように構成されている、
ロボット装置（１０１）。
・対象物をピックアップするように構成されている少なくとも１つのロボットアーム（１２０）と、
・制御装置（１０６）と、
を含み、前記制御装置（１０６）は、
・請求項１乃至１０のいずれか一項に記載の方法に従ってトレーニングされた前記ロボット制御モデルを使用して、１つ又は複数の対象物（１１４）を示す画像（４０２）に対して、第３のピックアップ予測（４１８）を求めるように構成されており、
・予測された最高の第３の成功確率が割り当てられる第３のピックアップ予測（４１８）の第３のピックアップロボットコンフィギュレーションベクトルに対して、第３のピックアップロボットコンフィギュレーションベクトルに従って、前記１つ又は複数の対象物（１１４）のうちの、前記第３のピックアップロボットコンフィギュレーションベクトルの前記画像点に割り当てられている前記対象物をピックアップするように、前記少なくとも１つのロボットアーム（１２０）を制御するように構成されている、
ロボット装置（１０１）。
【発明の詳細な説明】
【技術分野】
【0001】
種々の実施例は、概して、ロボット装置、ロボット制御モデルをトレーニングするコンピュータ実装された方法及びロボット装置を制御する方法に関する。
【背景技術】
【0002】
ロボット装置は、たとえば、製造、生産、メンテナンス、家事、医療技術等において使用することができる。ここでは、ロボット装置は、たとえば、対象物をピックアップして、移動させることができる。ここでは、ロボット制御モデルは、ロボット装置が、複数の対象物のうちのどの対象物をピックアップすべきか、さらにはロボット装置が（たとえば１つ又は複数のロボットアームを使用して）この対象物をどのようにピックアップし、移動させるのかを求めることができる。
【0003】
これに関連して、複数の対象物を示す画像に基づいて、ピックアップされるべき対象物と、ロボット装置の関連するコンフィギュレーションとを求める種々のモデルが既知である。
【0004】
Ｊ．Ｍａｈｌｅｒ等著の刊行物「Ｄｅｘ－ｎｅｔ ２．０：Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｔｏ ｐｌａｎ ｒｏｂｕｓｔ ｇｒａｓｐｓ ｗｉｔｈ ｓｙｎｔｈｅｔｉｃ ｐｏｉｎｔ ｃｌｏｕｄｓ ａｎｄ ａｎａｌｙｔｉｃ ｇｒａｓｐ ｍｅｔｒｉｃｓ」（ａｒＸｉｖ：１７０３．０９３１２、２０１７年）（以下においては、参考文献［１］と記す）には、複数の対象物を示す深度画像に基づいて、複数の対象物のうちの１つの対象物を把持するためにロボットアームのグリップコンフィギュレーションを求めるモデル（Ｄｅｘｔｅｒｉｔｙ Ｎｅｔｗｏｒｋ、Ｄｅｘ－Ｎｅｔ）が記載されている。
【0005】
Ａ．Ｚｅｎｇ等著の刊行物「Ｌｅａｒｎｉｎｇ Ｓｙｎｅｒｇｉｅｓ ｂｅｔｗｅｅｎ Ｐｕｓｈｉｎｇ ａｎｄ Ｇｒａｓｐｉｎｇ ｗｉｔｈ Ｓｅｌｆ－ｓｕｐｅｒｖｉｓｅｄ Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ」（ａｒＸｉｖ：１８０３．０９９５６、２０１８年）（以下においては、参考文献［２］と記す）には、複数の対象物を示す深度画像に基づいて、ロボットアームのグリップコンフィギュレーションと、関連する各成功確率とを求めるモデルが記載されている。
【0006】
Ｌ．Ｂｅｒｓｃｈｅｉｄ等著の刊行物「Ｒｏｂｏｔ Ｌｅａｒｎｉｎｇ ｏｆ Ｓｈｉｆｔｉｎｇ Ｏｂｊｅｃｔｓ ｆｏｒ Ｇｒａｓｐｉｎｇ ｉｎ Ｃｌｕｔｔｅｒｅｄ Ｅｎｖｉｒｏｎｍｅｎｔｓ」（ａｒＸｉｖ：１９０７．１１０３５、２０１９年）（以下においては、参考文献［３］と記す）には、複数の対象物を示す深度画像に基づいて、ロボットアームのグリップコンフィギュレーションを求めるモデルが記載されている。
【0007】
Ｄ．Ｍｏｒｒｉｓｏｎ等著の刊行物「Ｌｅａｒｎｉｎｇ ｒｏｂｕｓｔ，ｒｅａｌ－ｔｉｍｅ，ｒｅａｃｔｉｖｅ ｒｏｂｏｔｉｃ ｇｒａｓｐｉｎｇ」（Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ Ｒｅｓｅａｒｃｈ、２０２０年）（以下においては、参考文献［４］と記す）には、複数の対象物を示す深度画像に基づいて、ロボットアームのグリップコンフィギュレーションを求めるモデルが記載されている。
【0008】
Ｖ．Ｓａｔｉｓｈ等著の刊行物「Ｏｎ－ｐｏｌｉｃｙ ｄａｔａｓｅｔ ｓｙｎｔｈｅｓｉｓ ｆｏｒ ｌｅａｒｎｉｎｇ ｒｏｂｏｔ ｇｒａｓｐｉｎｇ ｐｏｌｉｃｉｅｓ ｕｓｉｎｇ ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｄｅｅｐ ｎｅｔｗｏｒｋｓ」（ＩＥＥＥ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ Ｌｅｔｔｅｒｓ、２０１９年）（以下においては、参考文献［５］と記す）には、複数の対象物を示す深度画像に基づいて、畳み込みニューラルネットワークを用いて、ロボットアームのグリップコンフィギュレーションを求めるモデルが記載されている。
【先行技術文献】
【非特許文献】
【0009】
【非特許文献1】刊行物「Ｄｅｘ－ｎｅｔ ２．０：Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｔｏ ｐｌａｎ ｒｏｂｕｓｔ ｇｒａｓｐｓ ｗｉｔｈ ｓｙｎｔｈｅｔｉｃ ｐｏｉｎｔ ｃｌｏｕｄｓ ａｎｄ ａｎａｌｙｔｉｃ ｇｒａｓｐ ｍｅｔｒｉｃｓ」、Ｊ．Ｍａｈｌｅｒ等著（ａｒＸｉｖ：１７０３．０９３１２、２０１７年）
【非特許文献2】刊行物「Ｌｅａｒｎｉｎｇ Ｓｙｎｅｒｇｉｅｓ ｂｅｔｗｅｅｎ Ｐｕｓｈｉｎｇ ａｎｄ Ｇｒａｓｐｉｎｇ ｗｉｔｈ Ｓｅｌｆ－ｓｕｐｅｒｖｉｓｅｄ Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ」、Ａ．Ｚｅｎｇ等著（ａｒＸｉｖ：１８０３．０９９５６、２０１８年）
【非特許文献3】刊行物「Ｒｏｂｏｔ Ｌｅａｒｎｉｎｇ ｏｆ Ｓｈｉｆｔｉｎｇ Ｏｂｊｅｃｔｓ ｆｏｒ Ｇｒａｓｐｉｎｇ ｉｎ Ｃｌｕｔｔｅｒｅｄ Ｅｎｖｉｒｏｎｍｅｎｔｓ」、Ｌ．Ｂｅｒｓｃｈｅｉｄ等著（ａｒＸｉｖ：１９０７．１１０３５、２０１９年）
【非特許文献4】刊行物「Ｌｅａｒｎｉｎｇ ｒｏｂｕｓｔ，ｒｅａｌ－ｔｉｍｅ，ｒｅａｃｔｉｖｅ ｒｏｂｏｔｉｃ ｇｒａｓｐｉｎｇ」、Ｄ．Ｍｏｒｒｉｓｏｎ等著（Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ Ｒｅｓｅａｒｃｈ、２０２０年）
【非特許文献5】刊行物「Ｏｎ－ｐｏｌｉｃｙ ｄａｔａｓｅｔ ｓｙｎｔｈｅｓｉｓ ｆｏｒ ｌｅａｒｎｉｎｇ ｒｏｂｏｔ ｇｒａｓｐｉｎｇ ｐｏｌｉｃｉｅｓ ｕｓｉｎｇ ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｄｅｅｐ ｎｅｔｗｏｒｋｓ」、Ｖ．Ｓａｔｉｓｈ等著（ＩＥＥＥ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ Ｌｅｔｔｅｒｓ、２０１９年）
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかし、個々のモデルの質は、種々の要因に関連している。これらの要因はたとえば、入力データとトレーニングデータとの間の類似性、種々の対象物クラスに対する、ピックアップされるべき対象物の各トレーニング方法の適性、処理された画像における入力ノイズ及び／又はアーチファクトに関する敏感性等である。各モデルは、モデルにおいて仮定される条件に対して、最良の結果を提供する。各モデルは、各ハイパーパラメータ検索及びトレーニングデータ準備に関連している。たとえば、参考文献［４］は、高い密度にラベル付けされたグランドトゥルース画像に基づいている。たとえば、参考文献［５］は、現実の物理を近似した合成データ生成に基づいている。要するに、これらのモデルは、用途に応じて、利点と欠点とを有している。ロボット動作時に記録される画像も、トレーニングデータとは異なっており、予測不能であるので、どのモデルが最良の結果を提供するのかを予測することはできない。
【課題を解決するための手段】
【0011】
本方法（第１の例及び第１１の例）及び本装置（第１４の例及び第１５の例）によって、ロボット装置を用いた対象物の成功したピックアップを改良することができる。ここでは、ロボット装置を用いて対象物が首尾良く（たとえば、落とされずに）ピックアップされる確率が高められる。具体的には、改良されたロボット制御モデルが提供される。
【0012】
ロボット装置は、あらゆる種類のコンピュータ制御された装置、たとえばロボット（たとえば、製造ロボット、メンテナンスロボット、家事ロボット、医療ロボット等）、車両（たとえば自律車両）、家事用装置、生産機械、パーソナルアシスタント、アクセス制御システム等であるものとしてよい。
【0013】
独立請求項１の特徴を有する方法は、第１の例を構成する。具体的には、第１の例に従ってトレーニングされたロボット制御モデルは、複数の予測モデルから、最も信頼に足るロボットコンフィギュレーションを選択する。本明細書に記載されたロボット制御モデルは、重み付け係数を含み、この重み付け係数は、種々の予測モデルによって予測されたロボットコンフィギュレーションに重み付けし、このようにして各予測モデルの利点及び欠点を考慮する。
【0014】
第１の重み付け係数は、すべての第１のピックアップロボットコンフィギュレーションに対する重み付け係数と、すべての第２のピックアップロボットコンフィギュレーションに対する重み付け係数とを含み得るものである。この段落において説明した特徴は、第１の例と組み合わせられて、第２の例を構成する。画像のすべての画像点に対する重み付け係数は、第１の重み付け係数の適応化のための計算技術的なコストを低減させることができる。
【0015】
第１の重み付け係数は、各第１のピックアップロボットコンフィギュレーションベクトルに対する各重み付け係数を含み得るものであり、各第２のピックアップロボットコンフィギュレーションベクトルに対する各重み付け係数を含み得るものである。この段落において説明した特徴は、第１の例と組み合わせられて、第３の例を構成する。画像点の様態の第１の重み付け行列は、トレーニングされた混合モデルの精度及び柔軟性を高めることができる。
【0016】
第２の重み付け係数は、予測されたすべての第１の成功確率に対する重み付け係数と、予測されたすべての第２の成功確率に対する重み付け係数とを含み得るものである。この段落において説明した特徴は、第１の例から第３の例のうちの１つ又は複数の例と組み合わせられて、第４の例を構成する。画像のすべての画像点に対する重み付け係数は、第２の重み付け係数の適応化のための計算技術的なコストを低減させることができる。
【0017】
第２の重み付け係数は、各予測された第１の成功確率に対して各重み付け係数を含み得るものであり、各予測された第２の成功確率に対して各重み付け係数を含み得るものである。この段落において説明した特徴は、第１の例から第３の例のうちの１つ又は複数の例と組み合わせられて、第５の例を構成する。画像点の様態の第２の重み付け行列は、トレーニングされた混合モデルの精度及び柔軟性を高めることができる。
【0018】
ロボット制御モデルは、第１の重み付け係数を伴う第１の畳み込みニューラルネットワークと、第２の重み付け係数を伴う第２の畳み込みニューラルネットワークとを含み得るものである。第３のピックアップ予測の生成は、
第３のピックアップロボットコンフィギュレーションを生成するために、第１のピックアップロボットコンフィギュレーション及び第２のピックアップロボットコンフィギュレーションを第１の畳み込みニューラルネットワークへ供給することと、
予測された第３の成功確率を生成するために、予測された第１の成功確率及び予測された第２の成功確率を第２の畳み込みニューラルネットワークへ供給することと、
を含み得るものである。この段落において説明した特徴は、第１の例と組み合わせられて、第６の例を構成する。
第３のピックアップロボットコンフィギュレーションを生成するために、第１のピックアップロボットコンフィギュレーション及び第２のピックアップロボットコンフィギュレーションを第１の畳み込みニューラルネットワークへ供給することと、
予測された第３の成功確率を生成するために、予測された第１の成功確率及び予測された第２の成功確率を第２の畳み込みニューラルネットワークへ供給することと、
を含み得るものである。この段落において説明した特徴は、第１の例と組み合わせられて、第６の例を構成する。
【0019】
畳み込みニューラルネットワークは、上述の同一の重み付け係数及び／又は重み付け行列と比較して、より低い複雑性を有するものとしてよい。これによって、ロボット制御モデルの効率を高めることができる。さらに、畳み込みニューラルネットワークはスケーリング可能であり、それによって柔軟性が高まる。さらに、最新のグラフィックプロセッサ（ＧＰＵ）アーキテクチャの並列化を利用することができる。これは、たとえば、第１の畳み込みニューラルネットワークと第２の畳み込みニューラルネットワークとを並列化することによって行われる。具体的には、このようにトレーニングの消費時間を削減し、従って、効率を高めることができる。
【0020】
この方法はさらに、
画像のセグメンテーションを用いてセグメンテーション画像を生成することを含み得るものであり、セグメンテーション画像の複数の画像点は、１つ又は複数の対象物に割り当てられ、
第１の重み付け係数（これは任意選択的に、画像の各画像点に対して各重み付け係数を含む）を生成するために、生成されたセグメンテーション画像をロボット制御モデルの第１の重み付けモデルへ供給することを含み得るものであり、
第２の重み付け係数（これは任意選択的に、画像の各画像点に対して各重み付け係数を含む）を生成するために、生成されたセグメンテーション画像をロボット制御モデルの第２の重み付けモデルへ供給することを含み得るものであり、
第１の重み付け係数及び第２の重み付け係数の適応化を用いたロボット制御モデルのトレーニングは、第１の重み付けモデル及び第２の重み付けモデルの適応化を含むものである。この段落において説明した特徴は、第１の例から第５の例のうちの１つ又は複数の例と組み合わせられて、第７の例を構成する。ここでは、第１の重み付けモデル及び第２の重み付けモデルは、セグメンテーション画像を用いて、ロボット装置のタスクとは無関係に、対象物のピックアップに関する付加的な判断基準、たとえば対象物のピックアップに適していない領域を考慮することができる。
画像のセグメンテーションを用いてセグメンテーション画像を生成することを含み得るものであり、セグメンテーション画像の複数の画像点は、１つ又は複数の対象物に割り当てられ、
第１の重み付け係数（これは任意選択的に、画像の各画像点に対して各重み付け係数を含む）を生成するために、生成されたセグメンテーション画像をロボット制御モデルの第１の重み付けモデルへ供給することを含み得るものであり、
第２の重み付け係数（これは任意選択的に、画像の各画像点に対して各重み付け係数を含む）を生成するために、生成されたセグメンテーション画像をロボット制御モデルの第２の重み付けモデルへ供給することを含み得るものであり、
第１の重み付け係数及び第２の重み付け係数の適応化を用いたロボット制御モデルのトレーニングは、第１の重み付けモデル及び第２の重み付けモデルの適応化を含むものである。この段落において説明した特徴は、第１の例から第５の例のうちの１つ又は複数の例と組み合わせられて、第７の例を構成する。ここでは、第１の重み付けモデル及び第２の重み付けモデルは、セグメンテーション画像を用いて、ロボット装置のタスクとは無関係に、対象物のピックアップに関する付加的な判断基準、たとえば対象物のピックアップに適していない領域を考慮することができる。
【0021】
この方法はさらに、
画像内に示されている各表面に対して、示されている表面の法線ベクトル及び関連する標準偏差を求めることを含み得るものであり、
第１の重み付け係数（これは任意選択的に、画像の各画像点に対して各重み付け係数を含む）を生成するために、求められた法線ベクトル及び関連する標準偏差をロボット制御モデルの第３の重み付けモデルへ供給することを含み得るものであり、
第２の重み付け係数（これは任意選択的に、画像の各画像点に対して各重み付け係数を含む）を生成するために、求められた法線ベクトル及び関連する標準偏差をロボット制御モデルの第４の重み付けモデルへ供給することを含み得るものであり、
第１の重み付け係数及び第２の重み付け係数の適応化を用いたロボット制御モデルのトレーニングは、第３の重み付けモデル及び第４の重み付けモデルの適応化を含むものである。この段落において説明した特徴は、第１の例から第５の例のうちの１つ又は複数の例と組み合わせられて、第８の例を構成する。ここでは、第１の重み付けモデル及び第２の重み付けモデルは、関連する標準偏差を有する法線ベクトルを用いて、ロボット装置のタスクとは無関係に、対象物のピックアップに関する付加的な判断基準、たとえば対象物のピックアップに適していない領域を考慮することができる。
画像内に示されている各表面に対して、示されている表面の法線ベクトル及び関連する標準偏差を求めることを含み得るものであり、
第１の重み付け係数（これは任意選択的に、画像の各画像点に対して各重み付け係数を含む）を生成するために、求められた法線ベクトル及び関連する標準偏差をロボット制御モデルの第３の重み付けモデルへ供給することを含み得るものであり、
第２の重み付け係数（これは任意選択的に、画像の各画像点に対して各重み付け係数を含む）を生成するために、求められた法線ベクトル及び関連する標準偏差をロボット制御モデルの第４の重み付けモデルへ供給することを含み得るものであり、
第１の重み付け係数及び第２の重み付け係数の適応化を用いたロボット制御モデルのトレーニングは、第３の重み付けモデル及び第４の重み付けモデルの適応化を含むものである。この段落において説明した特徴は、第１の例から第５の例のうちの１つ又は複数の例と組み合わせられて、第８の例を構成する。ここでは、第１の重み付けモデル及び第２の重み付けモデルは、関連する標準偏差を有する法線ベクトルを用いて、ロボット装置のタスクとは無関係に、対象物のピックアップに関する付加的な判断基準、たとえば対象物のピックアップに適していない領域を考慮することができる。
【0022】
各ピックアップロボットコンフィギュレーションベクトルは、ロボット装置のコンフィギュレーションを記述する値のタプルであるものとしてよい。目標データにおける少なくとも１つの画像点には、目標ピックアップロボットコンフィギュレーションを記述する目標タプルの１つ又は複数の値が割り当てられるものとしてよい。ロボット制御モデルが、少なくとも１つの画像点に対して、目標タプルの１つ又は複数の値を有する値のタプルを有する第３のピックアップロボットコンフィギュレーションベクトルを生成するように（及び、任意選択的に、第３のピックアップロボットコンフィギュレーションベクトルに割り当てられる予測された第３の成功確率が高くなるように）、ロボット制御モデルがトレーニングされるものとしてよい。この段落において説明した特徴は、第１の例から第８の例のうちの１つ又は複数の例と組み合わせられて、第９の例を構成する。具体的には、ロボット制御モデルは、成功したピックアップの確率に関しても、対象物が首尾良くピックアップされ得るロボット装置のコンフィギュレーションに関しても、トレーニング可能である。
【0023】
目標データにおいて、画像の少なくとも１つの別の画像点に、失敗したピックアップが割り当てられるものとしてよく、ここでは、ロボット制御モデルは、第１の重み付け係数及び第２の重み付け係数の適応化を用いて、さらに、少なくとも１つの別の画像点に対して生成された予測された第３の成功確率が低減されるようにトレーニングされる。この段落において説明した特徴は、第１の例から第９の例のうちの１つ又は複数の例と組み合わせられて、第１０の例を構成する。具体的には、ロボット制御モデルは、どの画像点が対象物のピックアップに適しているのかだけを学習するのではなく、どの画像点が適しているのかも学習することができる。
【0024】
ロボット装置を制御する方法は、
１つ又は複数の対象物を示す画像を検出することを含み得るものであり、
第３のピックアップ予測を生成するために、画像を、第１の例から第１０の例のうちのいずれか１つの例に従ってトレーニングされたロボット制御モデルへ供給することを含み得るものであり、
予測された最高の第３の成功確率が割り当てられる第３のピックアップ予測の第３のピックアップロボットコンフィギュレーションベクトルに対して、第３のピックアップロボットコンフィギュレーションベクトルに従って、１つ又は複数の対象物のうちの、第３のピックアップロボットコンフィギュレーションベクトルの画像点に割り当てられている対象物をピックアップするようにロボット装置を制御することを含み得るものである。この段落において説明した方法は、第１１の例を構成する。
１つ又は複数の対象物を示す画像を検出することを含み得るものであり、
第３のピックアップ予測を生成するために、画像を、第１の例から第１０の例のうちのいずれか１つの例に従ってトレーニングされたロボット制御モデルへ供給することを含み得るものであり、
予測された最高の第３の成功確率が割り当てられる第３のピックアップ予測の第３のピックアップロボットコンフィギュレーションベクトルに対して、第３のピックアップロボットコンフィギュレーションベクトルに従って、１つ又は複数の対象物のうちの、第３のピックアップロボットコンフィギュレーションベクトルの画像点に割り当てられている対象物をピックアップするようにロボット装置を制御することを含み得るものである。この段落において説明した方法は、第１１の例を構成する。
【0025】
コンピュータプログラムは、プロセッサによる実行時に、第１の例から第１１の例のうちの１つ又は複数の例に従って方法をプロセッサに実施させるための命令を含み得るものである。この段落において説明した特徴を有するコンピュータプログラムは、第１２の例を構成する。
【0026】
コンピュータ可読媒体（たとえば、コンピュータプログラム製品、非一時的な記憶媒体、不揮発性記憶媒体）は、プロセッサによる実行時に、第１の例から第１１の例のうちの１つ又は複数の例に従って方法をプロセッサに実施させるための命令を格納することができる。この段落において説明した特徴を有するコンピュータ可読媒体は、第１３の例を構成する。
【0027】
トレーニング装置は、第１の例から第１０の例のうちの１つ又は複数の例に従って方法を実施するように構成されているコンピュータを含み得るものである。この段落において説明した特徴を有するトレーニング装置は、第１４の例を構成する。
【0028】
ロボット装置は、
対象物をピックアップするように構成されている少なくとも１つのロボットアームと、
制御装置と、
を含み得るものであり、制御装置は、
第１の例から第１０の例うちのいずれか１つの例に従ってトレーニングされたロボット制御モデルを使用して、１つ又は複数の対象物を示す画像に対して、第３のピックアップ予測を求めるように構成されており、
予測された最高の第３の成功確率が割り当てられる第３のピックアップ予測の第３のピックアップロボットコンフィギュレーションベクトルに対して、第３のピックアップロボットコンフィギュレーションベクトルに従って、１つ又は複数の対象物のうちの、第３のピックアップロボットコンフィギュレーションベクトルの画像点に割り当てられている対象物のピックアップを実行するように、少なくとも１つのロボットアームを制御するように構成されている。この段落において説明した特徴を有するロボット装置は、第１５の例を構成する。具体的には、ロボット装置は、高められた確率で対象物を首尾良くピックアップすることができる。
対象物をピックアップするように構成されている少なくとも１つのロボットアームと、
制御装置と、
を含み得るものであり、制御装置は、
第１の例から第１０の例うちのいずれか１つの例に従ってトレーニングされたロボット制御モデルを使用して、１つ又は複数の対象物を示す画像に対して、第３のピックアップ予測を求めるように構成されており、
予測された最高の第３の成功確率が割り当てられる第３のピックアップ予測の第３のピックアップロボットコンフィギュレーションベクトルに対して、第３のピックアップロボットコンフィギュレーションベクトルに従って、１つ又は複数の対象物のうちの、第３のピックアップロボットコンフィギュレーションベクトルの画像点に割り当てられている対象物のピックアップを実行するように、少なくとも１つのロボットアームを制御するように構成されている。この段落において説明した特徴を有するロボット装置は、第１５の例を構成する。具体的には、ロボット装置は、高められた確率で対象物を首尾良くピックアップすることができる。
【0029】
本発明の実施例を図面に示し、以下において、より詳細に説明する。
【図面の簡単な説明】
【0030】
【図1】種々の実施形態による例示的なロボット装置アセンブリを示す図である。
【図2A】種々の実施形態によるロボット制御モデルをトレーニングするためのフローチャートである。
【図2B】種々の実施形態によるロボット制御モデルをトレーニングするためのフローチャートである。
【図3A】例示的な画像を示す図である。
【図3B】例示的に求められたピックアップロボットコンフィギュレーションマップを説明するための図である。
【図3C】例示的に求められたピックアップ成功確率マップを説明するための図である。
【図4】種々の実施形態によるロボット装置を制御するためのフローチャートである。
【図5】種々の実施形態による、複数のロボットアームを有する例示的なロボット装置アセンブリを示す図である。
【図6】種々の実施形態によるロボット制御モデルをコンピュータ実装トレーニングするためのフローチャートである。
【発明を実施するための形態】
【0031】
１つの実施形態においては、「コンピュータ」は、ハードウェア、ソフトウェア、ファームウェア又はそれらの組合せとすることができるあらゆる種類の論理実装エンティティとして理解され得る。従って、１つの実施形態においては、「コンピュータ」を、ハードワイヤード論理回路又はプログラマブル論理回路、たとえばプログラマブルプロセッサ、たとえばマイクロプロセッサ（たとえばＣＩＳＣ（大きい命令ストックを有するプロセッサ）又はＲＩＳＣ（低減された命令ストックを有するプロセッサ））とすることができる。「コンピュータ」は、１つ又は複数のプロセッサを含み得るものである。「コンピュータ」は、プロセッサによって実装又は実行されるソフトウェアであるものとしてもよく、これは、たとえば、あらゆる種類のコンピュータプログラム、たとえば、Ｊａｖａのような仮想機械コードを使用するコンピュータプログラムである。以下において詳細に説明する各機能の他の態様の各実装を、選択的な実施形態との一致において、「コンピュータ」と理解することができる。
【0032】
対象物をピックアップして、移動させるようにロボット装置を制御する際に、ロボット装置のコンフィギュレーションを求めるために、ロボット制御モデルを使用することができる。この場合には、用途に応じて、種々の予測モデルが、利点及び欠点を有し得る。種々の実施例は、個々の予測モデルの利点及び欠点を考慮し、ロボット装置のコンフィギュレーションを求めることができるロボット制御モデルに関し、これによって、ロボット装置が、高められた確率で対象物を首尾良くピックアップする。具体的には、対象物をピックアップするための改良されたロボット制御モデルが提供される。
【0033】
図１は、ロボット装置アセンブリ１００を示している。ロボット装置アセンブリ１００は、ロボット装置１０１を含み得るものである。図１に示され、以下において例示的に記述されるロボット装置１０１は、説明のために、例示的なロボット装置を表しており、たとえば、ワークピースの移動、組み付け又は加工のためのロボットアームの形態の産業ロボットを含み得るものである。ロボット装置は、たとえば、ロボット（たとえば製造ロボット、メンテナンスロボット、家事ロボット、医療ロボット等）、車両（たとえば自律車両）、家事用装置、生産機械、パーソナルアシスタント、アクセス制御システム等であり得る、あらゆる種類のコンピュータ制御された装置であるものとしてよいことを指摘しておく。
【0034】
ロボット装置１０１は、ロボット肢１０２、１０３、１０４及び台座（又は一般的には保持部）１０５を含み、台座によってこれらのロボット肢１０２、１０３、１０４が支えられている。「ロボット肢」という用語は、ロボット装置１０１の可動部分を指し、その操作は、たとえばタスクを実行するために、たとえば１つ又は複数の能力を実施又は実行するために、周囲との物理的な相互作用を可能にする。
【0035】
制御のために、ロボット装置アセンブリ１００は、制御プログラムに従って周囲との相互作用を実現するように構成されている制御装置１０６を備えている。ロボット肢１０２、１０３、１０４の（台座１０５から見て）最後の要素１０４は、エンドエフェクタ１０４とも称され、たとえば、把持工具又は吸引装置（たとえば吸込ヘッド）又はこれに類する１つ又は複数の工具を含み得るものである。
【0036】
（台座１０５により近い）他のロボット肢１０２、１０３は、位置決め装置を構成することができ、そのため、エンドエフェクタ１０４とともに、ロボットアーム１２０（又は関節アーム）がエンドエフェクタ１０４を伴ってその端部に設けられている。ロボットアーム１２０は、人間の腕と同様の機能を果たすことができる、（場合によっては、自身の端部に工具を有する）機械的なアームである。
【0037】
ロボット装置１０１は、結合要素１０７、１０８、１０９を含み得るものであり、これらの結合要素１０７、１０８、１０９は、ロボット肢１０２、１０３、１０４を相互に及び台座１０５と結合する。結合要素１０７、１０８、１０９は、１つ又は複数のジョイントを含み得るものであり、これらのジョイントのうちのそれぞれは、互いに相対的に、関連するロボット肢のための回転運動及び／又は並進運動（即ち、移動）を提供することができる。ロボット肢１０２、１０３、１０４の動作は、制御装置１０６によって制御される動作部材によって開始されるものとしてよい。
【0038】
「動作部材」という用語は、機構に影響を与えるように駆動されることへの応答として適しているコンポーネントと理解され得る。動作部材は、制御装置１０６によって出力された指示（いわゆるアクティブ化）を機械的な運動に変換することができる。動作部材、たとえば電気機械的な変換器は、電気エネルギを自身の駆動制御に対する反応として機械的なエネルギに変換するように構成されるものとしてよい。
【0039】
「制御装置」（「制御機構」とも称される）という用語は、たとえば、記憶媒体に格納されているソフトウェア、ファームウェア又はそれらの組合せを実行することができ、さらに、たとえばこの例における動作部材に指示を与えることができる回路及び／又はプロセッサを含み得るあらゆる種類の論理的な実装ユニットと理解され得る。制御装置は、たとえばプログラムコード（たとえばソフトウェア）によって、システム、この例においてはロボットの動作を制御するように構成されるものとしてよい。
【0040】
この例においては、制御装置１０６は、コンピュータ１１０及びメモリ１１１を含み、メモリ１１１は、コード及びデータを格納し、そのコード及びデータに基づいてコンピュータ１１０がロボット装置１０１を制御する。種々の実施形態によれば、制御装置１０６は、メモリ１１１に格納されているロボット制御モデル１１２に基づいてロボット装置１０１を制御する。
【0041】
種々の実施形態によれば、ロボット装置１０１（たとえばロボットアーム１２０）は、１つ又は複数の対象物１１４をピックアップするように構成されるものとしてよい。種々の実施形態によれば、ロボット装置１０１（たとえばロボットアーム１２０）は、ピックアップされた対象物を移動させるように構成されるものとしてよい。
【0042】
様々な実施形態によれば、ロボット装置アセンブリ１００は、１つ又は複数のセンサを含み得るものである。１つ又は複数のセンサは、ロボット装置の状態を特徴付けるセンサデータを提供するように構成されるものとしてよい。たとえば、１つ又は複数のセンサは、画像化センサ、たとえばカメラ（たとえば標準的なカメラ、デジタルカメラ、赤外線カメラ、ステレオカメラ等）、レーダセンサ、ＬＩＤＡＲセンサ、ポジションセンサ、速度センサ、超音波センサ、加速度センサ、圧力センサ等を含み得るものである。種々の実施形態によれば、画像化センサは、１つ又は複数の対象物１１４を示す画像を提供する（たとえば検出し、制御装置１０６に伝送する）ように構成されるものとしてよい。画像は、ＲＧＢ画像、ＲＧＢ－Ｄ画像又は深度画像（Ｄ画像とも称される）であるものとしてよい。本明細書に記載されている深度画像は、深度情報を有するあらゆる種類の画像であるものとしてよい。具体的には、深度画像は、１つ又は複数の対象物に関する３次元情報を含み得るものである。本明細書に記載されている深度画像は、たとえば、ＬＩＤＡＲセンサ及び／又はレーダセンサによって提供される点群を含み得るものである。深度画像は、たとえば、ＬＩＤＡＲセンサによって提供される、深度情報を有する画像であるものとしてよい。
【0043】
ロボット制御モデル１１２は、１つ又は複数の対象物１１４を示す画像に対して、１つ又は複数の対象物１１４のうちの１つの対象物をピックアップするための（さらに任意選択的に、移動させるための）ロボットコンフィギュレーションを求めるように構成されるものとしてよい。制御装置１０６は、ロボット制御モデル１１２を使用して、ロボット装置１０１を、求められたロボットコンフィギュレーションを用いて対象物のピックアップを実行するように制御するように構成されるものとしてよい。ロボット制御モデル（たとえばロボット制御モデル１１２）の１つのロボット制御モデルに従って、画像に基づいて制御パラメータを求めることは、図４を参照して説明される。そのようなロボット制御モデルの例示的なトレーニングを、図２Ａ及び図２Ｂを参照して説明する。
【0044】
本明細書において使用される用語「対象物のピックアップ」は、ロボット装置１０１（たとえばロボットアーム１２０）の運動の結果として対象物を移動させることができるような、対象物の接触であるものとしてよい。ピックアップは、エンドエフェクタ１０４の種類に関連するものとしてよい。たとえば、エンドエフェクタ１０４は、把持工具を含み得るものであり、対象物のピックアップは、対象物の把持であるものとしてよい。たとえば、エンドエフェクタ１０４は、吸引装置（たとえば吸込ヘッド）を含み得るものであり、対象物のピックアップは、対象物の吸込であるものとしてよい。
【0045】
種々の実施形態によれば、ロボット装置１０１が動作していない間に、ロボット制御モデル１１２が生成（たとえば学習又はトレーニング）されるものとしてよい。種々の実施形態によれば、生成されたロボット制御モデル１１２は、ロボット装置１０１の動作中に、ロボット装置１０１によって実行されるべき能力を求めるために使用されるものとしてよい。種々の実施形態によれば、生成されたロボット制御モデル１１２は、ロボット装置１０１の動作中に、付加的にトレーニングされるものとしてよい。
【0046】
図２Ａには、種々の実施形態によるロボット制御モデルをトレーニングするためのフローチャート２００Ａが示されている。説明のために、以下に、制御装置１０６及びロボット装置１０１に関する種々の態様を記載する。他のロボット装置アセンブリが使用可能であることを指摘しておく。
【0047】
種々の実施形態によれば、１つ又は複数の対象物を示す画像２０２が提供され得る。画像２０２は、たとえば、１つ又は複数のセンサ１１３によって提供可能であり、１つ又は複数の対象物１１４を示すことができる。
【0048】
コンピュータ１１０は、ロボット制御モデルを実現するように構成されるものとしてよい。ロボット制御モデルは、複数の予測モデル２０４（２≦ｉ≦Ｎ）を含み得るものである。ここでは、「Ｎ」は、２以上のあらゆる整数であるものとしてよい。具体的には、ロボット制御モデルは、
に従って、予測モデルｇｉのセットＧを含み得るものである。複数の予測モデル２０４（２≦ｉ≦Ｎ）は、互いに異なるものとしてよい。複数の予測モデル２０４（２≦ｉ≦Ｎ）の各予測モデルは、画像の入力に応答して、対象物をピックアップするためのピックアップ予測を生成するように構成されるものとしてよい。ここでは、各予測モデルに、種々異なる画像が供給されるものとしてよい。たとえば、複数の予測モデル２０４（２≦ｉ≦Ｎ）のうちの多くの予測モデルが、ＲＧＢ画像に対するピックアップ予測を生成するように構成されるものとしてよく、複数の予測モデル２０４（２≦ｉ≦Ｎ）のうちの別の予測モデルが、深度画像（又はＲＧＢ－Ｄ画像）に対するピックアップ予測を生成するように構成されるものとしてよい。複数の予測モデル２０４（２≦ｉ≦Ｎ）のうちの１つの予測モデル２０４（ｉ）が、ＲＧＢ画像及び深度画像の入力に応答して、ピックアップ予測を生成するように構成されるものとしてもよい。ここでは、１つ又は複数のセンサ１１３は、各画像を検出するように構成されるものとしてよい。
【数1】
【0049】
具体的には、個々の予測モデルの結果を改良するためのアンサンブルメソッドが提供される。本明細書に記載された種々の実施形態によれば、複数の予測モデル２０４（２≦ｉ≦Ｎ）によって生成されたピックアップ予測２０６（２≦ｉ≦Ｎ）が、線形混合又は非線形混合によって積層されるものとしてよい。この混合を、（たとえば画像点の様態で）畳み込みニューラルネットワークを用いて行うことができる。さらに、対象物をピックアップするために適していない領域が考慮されるものとしてよい。これらの領域を、ロボット装置の各タスクに関連することなく求めることができる。
【0050】
説明のために、複数の予測モデル２０４（２≦ｉ≦Ｎ）を、複数の予測モデル２０４（２≦ｉ≦Ｎ）が画像Ｉ、２０２に対して各ピックアップ予測を生成するように構成されているものとして、以下において説明する。各予測モデル２０４（ｉ）に対する画像Ｉ、２０２が、上述したように、種々の画像又は複数の画像でもあり得ることを理解されたい。複数の予測モデル２０４（２≦ｉ≦Ｎ）のうちの１つ予測モデルは、たとえば、参考文献［１］乃至［５］のうちの１つの参考文献に記載されたモデルであるものとしてよい。
【0051】
複数の予測モデル２０４（２≦ｉ≦Ｎ）の各予測モデルは、画像２０２の供給に応答して各ピックアップ予測２０６（ｉ）を生成するように構成されるものとしてよい。各ピックアップ予測２０６（ｉ）は、ピックアップロボットコンフィギュレーションマップ２０８（ｉ）とピックアップ成功確率マップ２１０（ｉ）とを含み得るものである。ピックアップロボットコンフィギュレーションマップ２０８（ｉ）は、画像２０２の各画像点に対して、ロボット装置１０１のコンフィギュレーションを記述する各ピックアップロボットコンフィギュレーションベクトルを含み得るものである。ここでは、各画像点をピックアップ中心とみなすことができる。ピックアップ成功確率マップ２１０（ｉ）は、画像２０２の各画像点に対して、各画像点に割り当てられるピックアップロボットコンフィギュレーションベクトルによる対象物のピックアップに対する予測された各成功確率を含み得るものである。
【0052】
種々の実施形態によれば、複数の予測モデル２０４（２≦ｉ≦Ｎ）は、ピックアップロボットコンフィギュレーションベクトル、及び、割り当てられる、予測された成功確率を有する相互に異なるデータにより出力することができる。ここでは、コンピュータ１１０は、ピックアップロボットコンフィギュレーションマップ２０８（ｉ）及びピックアップ成功確率マップ２１０（ｉ）に従って、出力されるデータを構造化するように構成されるものとしてよい。
【0053】
具体的には、このようにして、画像Ｉ、２０２に対する各予測モデルｇｉ、２０４（ｉ）は、
に従って、ピックアップロボットコンフィギュレーションマップＡｉ、２０８（ｉ）及びピックアップ成功確率マップＱｉ、２１０（ｉ）を伴うピックアップ予測を生成することができる。種々の実施形態によれば、すべての予測モデル２０４（２≦ｉ≦Ｎ）のピックアップロボットコンフィギュレーションマップＡｉ、２０８（ｉ）が並行して求められるものとしてよい。すべての予測モデル２０４（２≦ｉ≦Ｎ）のピックアップ成功確率マップＱｉ、２１０（ｉ）が並行して求められるものとしてよい。
【数2】
【0054】
本明細書において使用される確率は、割り当てられた確率値を有する。本明細書において、確率が、別の確率又は閾値と比較される（たとえばそれよりも大きい、たとえばそれよりも小さい、たとえばそれよりも高い、たとえばそれよりも低い、たとえばそれを上回る）場合には、これは、確率に割り当てられる確率値に関連する。ピックアップロボットコンフィギュレーションベクトルに割り当てられる成功確率は、このピックアップロボットコンフィギュレーションベクトルが記述するコンフィギュレーションを用いて、どのような確率で、ピックアップの実行の成功が予期されるかを示すことができる。ピックアップの実行の成功は、たとえば、エンドエフェクタが、ロボットコンフィギュレーションに割り当てられている対象物を把持することができること、持ち上げることができること、及び／又は、移動させることができることであるものとしてよい。これは、他の能力（たとえばロボットアーム１２０の運動能力）に同様に適用可能である。ピックアップロボットコンフィギュレーションに対する成功確率を求めることは、たとえば、ピックアップロボットコンフィギュレーションのクラス分け（たとえばクラス「成功」）であるものとしてよい。
【0055】
これに関する例示的な説明するための図を、図３Ａ乃至図３Ｃに示す。例示的な画像３００は、高さＨ及び幅Ｗを有し得るものであり、高さ方向ｈ（ここでは、０≦ｈ≦Ｈ）及び幅方向ｗ（ここでは、０≦ｗ≦Ｗ）における複数の画像点ｐ（ｈ，ｗ）によって形成されるものとしてよい（図３Ａを参照）。画像３００に対する画像点ｐ（ｈ，ｗ）が縮尺通りに示されていないこと又は縮尺通りに示されている必要がないことを理解されたい。画像３００に対して生成されたピックアップロボットコンフィギュレーションマップＡｉは、各画像点ｐ（ｈ，ｗ）に対する各ピックアップロボットコンフィギュレーションベクトルａ（ｈ，ｗ）を含み得るものである（図３Ｂを参照）。画像３００に対して生成されたピックアップ成功確率マップＱｉは、各画像点ｐ（ｈ，ｗ）に対して、予測された各成功確率ｑ（ｈ，ｗ）を含み得るものである（図３Ｃを参照）。
【0056】
本明細書において使用されるようなピックアップロボットコンフィギュレーションベクトルは、ロボット装置１０１のコンフィギュレーションを記述する値のタプルを含み得るものである。タプルの各値は、ロボット装置１０１のコンフィギュレーションのパラメータを記述するものとしてよい。ピックアップロボットコンフィギュレーションベクトルは、それに対してロボット制御モデルがトレーニングされるべき又はトレーニングされているロボット装置（たとえばロボット装置１０１）に関連するものとしてよい。ピックアップロボットコンフィギュレーションベクトルは、たとえば、（たとえば把持工具又は吸込ヘッドとして構成されている）エンドエフェクタ１０４の種類、（たとえばロボット肢１０２、１０３によって規定されている）エンドエフェクタの自由度等に関連するものとしてよい。たとえば、エンドエフェクタ１０４は、把持工具を含み得るものであり、ピックアップロボットコンフィギュレーションベクトルを形成するタプルの１つ又は複数の値は、グリッパの幅、ロボット装置１０１のヨーイング、ヨーレート、傾斜及び／又は回転を表すものとしてよい。本明細書において使用されるようなロボットコンフィギュレーションは、ロボットの姿勢（たとえばエンドエフェクタの姿勢）であるものとしてよい。ロボットコンフィギュレーションは、たとえば、エンドエフェクタの回転（たとえばエンドエフェクタの配向）を含み得るものである。ロボットコンフィギュレーションは、たとえば、エンドエフェクタの位置（たとえばエンドエフェクタの並進）を含み得るものである。エンドエフェクタの位置ｔは、３Ｄ位置
であるものとしてよい。具体的には、ロボットコンフィギュレーションは、３Ｄ位置と配向（たとえば３Ｄ空間における配向）とを有するエンドエフェクタの６Ｄコンフィギュレーションであるものとしてよい。ピックアップロボットコンフィギュレーションは、割り当てられている対象物のピックアップのために求められるロボットコンフィギュレーションであるものとしてよい。
【数3】
【0057】
種々の実施形態によれば、各ピックアップロボットコンフィギュレーションベクトルは、複数のＤ値を有するタプルであるものとしてよい。具体的には、ピックアップロボットコンフィギュレーションベクトルは、Ｄの大きさ又は次元を有し得るものである。種々の実施形態によれば、複数の予測モデル２０４（２≦ｉ≦Ｎ）は、コンフィギュレーション値の異なる大きさのタプルを出力することができる。ここでは、コンピュータ１１０は、コンフィギュレーション値の異なる大きさのタプルを、ピックアップロボットコンフィギュレーションベクトルを形成する次元Ｄを有する統一したタプルに従って構造化するように構成されるものとしてよい。種々の実施形態によれば、ピックアップロボットコンフィギュレーションマップＡｉは、Ｈ＊Ｗ＊Ｄの大きさを有し得るものである。
【0058】
本明細書において使用されるような、予測された成功確率は、たとえば「０」と「１」との間の値を有し得るものである。予測された成功確率は、たとえば、百分率の成功確率であるものとしてよく、「０」は、０％の成功確率を表すものとしてよく、「１」は、１００％の成功確率を示すものとしてよい。種々の実施形態によれば、ピックアップ成功確率マップＱｉは、Ｈ＊Ｗ＊１の大きさを有し得るものである。
【0059】
図２Ａには、説明のために、Ｎ＝２の場合の第１の予測モデル２０４（ｉ＝１）と、第２の予測モデル２０４（ｉ＝２）とが示されている。第１の予測モデル２０４（１）は、画像Ｉ、２０２の供給に応答して、第１のピックアップロボットコンフィギュレーションマップＡ１（画像Ｉ、２０２の各画像点に対して、第１のピックアップロボットコンフィギュレーションベクトルを有する）と、第１のピックアップ成功確率マップＱ１（画像Ｉ、２０２の各画像点に対して、予測された第１の成功確率を有する）とを伴う第１のピックアップ予測２０６（１）を生成することができる。第２の予測モデル２０４（２）は、画像Ｉ、２０２の供給に応答して、第２のピックアップロボットコンフィギュレーションマップＡ２（画像Ｉ、２０２の各画像点に対して、第２のピックアップロボットコンフィギュレーションベクトルを有する）と、第２のピックアップ成功確率マップＱ２（画像Ｉ、２０２の各画像点に対して、予測された第２の成功確率を有する）とを伴う第２のピックアップ予測２０６（２）を生成することができる。
【0060】
ロボット制御モデルは、混合モデル２１２を含み得るものである。混合モデル２１２は、複数の予測モデル２０４（２≦ｉ≦Ｎ）によって生成されたすべてのピックアップ予測２０６（２≦ｉ≦Ｎ）（たとえばＮ＝２の場合には、第１のピックアップ予測２０６（１）及び第２のピックアップ予測２０６（２））の供給に応答して、第３のピックアップ予測２１８を生成するように構成されるものとしてよい。具体的には、混合モデル２１２は、複数の予測モデル２０４（２≦ｉ≦Ｎ）によって生成されたピックアップ予測２０６（２≦ｉ≦Ｎ）を混合することができる（英語でｂｌｅｎｄｉｎｇ）。以下においては、説明のために線形混合（英語でｌｉｎｅａｒ ｂｌｅｎｄｉｎｇ）が記載される。
【0061】
第３のピックアップ予測２１８は、第３のピックアップロボットコンフィギュレーションマップＡ、２２０を含み得るものであり、この第３のピックアップロボットコンフィギュレーションマップは、画像Ｉ、２０２の各画像点に対して、第３のピックアップロボットコンフィギュレーションベクトルを有する。第３のピックアップ予測２１８は、第３のピックアップ成功確率マップＱ、２２２を含み得るものであり、この第３のピックアップ成功確率マップは、画像Ｉ、２０２の各画像点に対して、予測された第３の成功確率を有する。
【0062】
第３のピックアップロボットコンフィギュレーションマップＡ、２２０は、画像Ｉ、２０２の各画像点に対して、すべてのピックアップロボットコンフィギュレーションマップＡｉのピックアップロボットコンフィギュレーションベクトルａ（ｈ，ｗ，）を含み得るものであり、これは、予測された最高の成功確率ｑ（ｈ，ｗ，）を伴う。第３のピックアップ成功確率マップＱ、２２２は、画像Ｉ、２０２の各画像点に対して、予測された各最高の成功確率ｑ（ｈ，ｗ，）を含み得るものであり。コンピュータ１１０は、割り当てられる、予測された最高の成功確率を伴う第３のピックアップロボットコンフィギュレーションベクトルを選択し、制御情報を生成するように構成されるものとしてよく、この制御情報によって、ロボット装置１０１が、第３のピックアップロボットコンフィギュレーションベクトルに従って制御される。予測された最高の成功確率を伴う予測モデル２０４（ｉ）及びこれに関連する画像点の選択を、
に従って表すことができ、ここで、ｈ＊及びｗ＊は、選択された画像点の位置ｐ（ｈ＊，ｗ＊）を示し、ｉ＊は、選択された予測モデル２０４（ｉ＊）を示す。関連するピックアップロボットコンフィギュレーションベクトルを、
に従って求めることができる。
【数4】
【数5】
【0063】
複数の予測モデル２０４（２≦ｉ≦Ｎ）によって生成されたピックアップロボットコンフィギュレーションマップＡｉ、２０８（ｉ）とピックアップ成功確率マップＱｉ、２１０（ｉ）とを、第３のピックアップロボットコンフィギュレーションマップＡ、２２０及び第３のピックアップ成功確率マップＱ、２２２に、関数ｆを用いて、以下のように表すことができる。
【数6】
【0064】
種々の実施形態によれば、混合モデル２１２は、第１の重み付け係数２１４と第２の重み付け係数２１６とを含み得るものである。混合モデル２１２は、第３のピックアップロボットコンフィギュレーションマップＡ、２２０を、第１の重み付け係数２１４を用いて重み付けされた、複数の予測モデル２０４（２≦ｉ≦Ｎ）によって生成されたピックアップロボットコンフィギュレーションマップＡｉ、２０８（ｉ）の組合せによって生成するように構成されるものとしてよい。混合モデル２１２は、第３のピックアップ成功確率マップＱ、２２２を、第２の重み付け係数２１６によって重み付けされた、複数の予測モデル２０４（２≦ｉ≦Ｎ）によって生成されたピックアップ成功確率マップＱｉ、２１０（ｉ）の組合せによって生成するように構成されるものとしてよい。
【0065】
重み付けされた組合せは、たとえば、重み付けされた総和又は重み付けされた積であるものとしてよい。説明のために、本明細書においては、例示的に、重み付けされた組合せの種々の可能性が、重み付けされた総和として記載されている。
【0066】
以下においては、例示的に、ピックアップロボットコンフィギュレーションマップＡｉ、２０８（ｉ）の重み付けされた組合せ及びピックアップ成功確率マップＱｉ、２１０（ｉ）の重み付けされた組合せの種々の手法が記載される。
【0067】
第１の重み付け係数２１４は、各予測モデル２０４（ｉ）に対する各（第１の）重み付け係数θｉを含み得るものである。各第１の重み付け係数θｉは、スカラ値であるものとしてよい。具体的には、画像Ｉ、２０２のすべての画像点に対する予測モデル２０４（ｉ）の第１の重み付け係数θｉは、同一であるものとしてよい。第３のピックアップロボットコンフィギュレーションマップＡ、２２０を、たとえば第１の重み付け係数θｉ（ここでは、２≦ｉ≦Ｎ）を用いて、
に従って求めることができる。
【数7】
【0068】
第２の重み付け係数２１６は、各予測モデル２０４（ｉ）に対する各（第２の）重み付け係数ｗｉを含み得るものである。各第２の重み付け係数ｗｉは、スカラ値であるものとしてよい。具体的には、画像Ｉ、２０２のすべての画像点に対する予測モデル２０４（ｉ）の第２の重み付け係数ｗｉは、同一であるものとしてよい。第３のピックアップ成功確率マップＱ、２２２を、たとえば第２の重み付け係数ｗｉ（ここでは、２≦ｉ≦Ｎ）を用いて、
に従って求めることができる。
【数8】
【0069】
混合モデル２１２は、第１の重み付け係数２１４及び第２の重み付け係数２１６が適応化されることによってトレーニング可能である。この場合、画像Ｉ、２０２のすべての画像点に対して同一の第１の重み付け係数θｉ、及び／又は、画像Ｉ、２０２のすべての画像点に対して同一の第２の重み付け係数ｗｉは、混合モデル２１２をトレーニングするための計算技術的なコストを低減することができる。
【0070】
しかし、第１の重み付け係数２１４は、各予測モデル２０４（ｉ）及び画像Ｉ、２０２の各画像点に対しても、各第１の重み付け係数を含み得るものである。それに応じて、第１の重み付け係数２１４は、各予測モデル２０４（ｉ）に対する各第１の重み付け行列Θｉを含み得るものである。画像Ｉ、２０２の各画像点には、第１の重み付け行列Θｉの厳密に１つの要素が割り当てられるものとしてよい。各第１の重み付け行列Θｉは、ピックアップロボットコンフィギュレーションマップＡｉ、２０８（ｉ）の大きさを含み得るものであり、即ち、Ｈ＊Ｗ（任意選択的にＨ＊Ｗ＊Ｄ）を含み得るものである。第３のピックアップロボットコンフィギュレーションマップＡ、２２０を、たとえば、第１の重み付け行列Θｉ（ここでは、２≦ｉ≦Ｎ）を用いて、
に従って求めることができる。本明細書においては、
は（要素ごとの）アダマール積である。
【数9】
【数10】
【0071】
第２の重み付け係数２１６は、各予測モデル２０４（ｉ）及び画像Ｉ、２０２の各画像点に対する各第２の重み付け係数を含み得るものである。それに応じて、第２の重み付け係数２１６は、各予測モデル２０４（ｉ）に対する各第２の重み付け行列Ｗｉを含み得るものである。画像Ｉ、２０２の各画像点には、第２の重み付け行列Ｗｉの厳密に１つの要素が割り当てられるものとしてよい。各第２の重み付け行列Ｗｉは、ピックアップ成功確率マップＱｉ、２１０（ｉ）の大きさ、即ち、Ｈ＊Ｗを含み得るものである。第３のピックアップ成功確率マップＱ、２２２を、たとえば第２の重み付け行列Ｗｉ（ここでは、２≦ｉ≦Ｎ）を用いて
に従って求めることができる。
【数11】
【0072】
画像Ｉ、２０２のすべての画像点に対する、同一の第１の重み付け係数θｉ、２０２及び／又は同一の第２の重み付け係数ｗｉとは異なり、画像点の様態の第１の重み付け行列Θｉ又は第２の重み付け行列Ｗｉは、トレーニングされた混合モデル２１２の精度及び柔軟性を高めることができる。
【0073】
種々の実施形態によれば、混合モデル２１２の第１の重み付け係数２１４を、同一の第１の重み付け係数θｉで事前にトレーニングすることができ（即ち、各予測モデル２０４（ｉ）の第１の重み付け行列Θｉの各要素は、値θｉを有する）、次いで、混合モデル２１２の第１の重み付け係数２１４を、画像の各画像点に対して個別にトレーニングすることができる。具体的には、これは、初めは比較的迅速なトレーニング進捗を保証することができ、同時に、トレーニングされた混合モデル２２１（即ち、トレーニングされた第１の重み付け係数及び第２の重み付け係数）の高い精度を保証することができる。
【0074】
図２Ｂは、種々の実施形態によるロボット制御モデルをトレーニングするためのフローチャート２００Ｂを示している。
【0075】
種々の実施形態によれば、混合モデル２１２は、第１の重み付けモデル２４４を含み得るものである。第１の重み付けモデル２４４は、画像Ｉ、２０２及びすべてのピックアップロボットコンフィギュレーションマップＡｉの供給に応答して、第１の重み付け係数２１４を出力するように構成されるものとしてよい。従って、第１の重み付け係数２１４は、画像Ｉ、２０２に関連するものとしてよい。
【0076】
第１の重み付け係数２１４は、たとえば、各予測モデル２０４（ｉ）に対する各第１の重み付け係数θｉを含み得るものであり、第１の重み付け係数は、この場合には、画像Ｉ、２０２に関連するものとしてよい（即ち、θｉ（Ｉ））。第３のピックアップロボットコンフィギュレーションマップＡ、２２０を、
に従って求めることができる。しかし、第１の重み付け係数２１４は、各予測モデル２０４（ｉ）に対しても、各第１の重み付け行列Θｉを含み得るものである。
【数12】
【0077】
種々の実施形態によれば、混合モデル２１２は、第２の重み付けモデル２４６を含み得るものである。第２の重み付けモデル２４６は、画像Ｉ、２０２及びすべてのピックアップ成功確率マップＱｉ、２１０（ｉ）の供給に応答して、第２の重み付け係数２１６を出力するように構成されるものとしてよい。従って、第２の重み付け係数２１６は、画像Ｉ、２０２に関連するものとしてよい。第２の重み付け係数２１６は、たとえば、各予測モデル２０４（ｉ）に対する各第２の重み付け係数ｗｉを含み得るものであり、第２の重み付け係数は、この場合には、画像Ｉ、２０２に関連するものとしてよい（即ち、ｗｉ（Ｉ））。第３のピックアップ成功確率マップＱ、２２２を、
に従って求めることができる。しかし、第２の重み付け係数２１６は、各予測モデル２０４（ｉ）に対しても、各第２の重み付け行列Ｗｉを含み得るものである。
【数13】
【0078】
第１の重み付けモデル２４４及び／又は第２の重み付けモデル２４６は、画像Ｉ、２０２のセグメンテーション（即ち、画像セグメンテーション）を用いて、セグメンテーション画像を生成するように構成されるものとしてよい。本明細書に記載されているように、画像Ｉ、２０２は、１つ又は複数の対象物１１４を示すことができる。セグメンテーション画像は、１つ又は複数の対象物１１４のセグメンテーション（たとえばクラス分け）を示すことができる。各重み付けモデルは、重み付け係数をセグメンテーション画像に基づいて生成するように構成されるものとしてよい。各重み付けモデルは、たとえば、セグメンテーション画像に基づいて、画像Ｉ、２０２のどの領域において、１つ又は複数の対象物２１４のいずれも存在していないかを求めることができる。説明のための例として、これらの領域の画像点に関連する重み付け係数をゼロにセットすることができ、その結果、この画像点に対する第３のピックアップ成功確率マップＱ、２２２は、たとえば、ゼロに等しい、予測された成功確率ｑ（ｈ，ｗ）を有する。
【0079】
第１の重み付けモデル２４４及び／又は第２の重み付けモデル２４６は、画像Ｉ、２０２に示されている各表面に対して、各法線ベクトル及び関連する標準偏差を求めるように構成されるものとしてよい。具体的には、法線ベクトル及び関連する標準偏差は、各表面の平坦性を表すものとしてよい。各重み付けモデルは、求められた法線ベクトル及び関連する標準偏差に基づいて重み付け係数を生成するように構成されるものとしてよい。各重み付けモデルは、たとえば、法線ベクトル及び標準偏差に基づいて、画像Ｉ、２０２に示されているどの面が、対象物のピックアップに適していないのかを求めることができる。たとえば、エンドエフェクタの把持装置又は吸引装置の場合には、強く湾曲している表面は、対象物におけるエンドエフェクタの必要な付着（たとえば把持又は吸込）を保証するために適していない可能性がある。説明のための例として、閾値を上回る標準偏差を有する画像の面に関連する重み付け係数をゼロにセットすることができ、その結果、この画像点に対する第３のピックアップ成功確率マップＱ、２２２は、たとえば、ゼロに等しい、予測された成功確率ｑ（ｈ，ｗ）を有する。
【0080】
具体的には、各重み付けモデルは、セグメンテーション画像、及び／又は、関連する標準偏差を有する法線ベクトルを用いて、ロボット装置１０１のタスクとは無関係に、対象物のピックアップに関する付加的な判断基準を考慮することができる。たとえば、対象物をピックアップするために適していない領域が考慮されるものとしてよい。
【0081】
上述の線形混合と同様に、混合モデル２１２は、種々の実施形態によれば、複数の予測モデル２０４（２≦ｉ≦Ｎ）によって生成されたピックアップ予測２０６（２≦ｉ≦Ｎ）を非線形に混合することができる（英語でｎｏｎ－ｌｉｎｅａｒ ｂｌｅｎｄｉｎｇ）。混合モデル２１２は、第１の重み付けモデル２４４と同様に、第１の非線形重み付けモデルを含み得るものであり、この第１の非線形重み付けモデルは、画像Ｉ、２０２及びすべてのピックアップロボットコンフィギュレーションマップＡｉ、２０８（ｉ）の供給に応答して、第１の重み付け係数２１４を第１の非線形重み付け係数として出力する。第３のピックアップロボットコンフィギュレーションマップＡ、２２０を、
に従って求めることができる。ここでは、ｇｉは、第１の非線形重み付けモデルであり、この第１の非線形重み付けモデルは、複数の予測モデル２０４（２≦ｉ≦Ｎ）の各予測モデルｉに対して各マッピング関数を含む。混合モデル２１２は、第２の重み付けモデル２４６と同様に、第２の非線形重み付けモデルを含み得るものであり、この第２の非線形重み付けモデルは、画像Ｉ、２０２及びすべてのピックアップ成功確率マップＱｉ、２１０（ｉ）の供給に応答して、第２の重み付け係数２１６を第２の非線形重み付け係数として出力する。第３のピックアップ成功確率マップＱ、２２２を、
に従って求めることができ、ここでは、ｆｉは、第２の非線形重み付けモデルであり、この第２の非線形重み付けモデルは、複数の予測モデル２０４（２≦ｉ≦Ｎ）の各予測モデルｉに対して各マッピング関数を含む。
【数14】
【数15】
【0082】
種々の実施形態によれば、ロボット制御モデルは、第１の畳み込みニューラルネットワーク（英語で（たとえばｆｕｌｌｙ）ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ＣＮＮ）を含み得るものである。
【0083】
本明細書に記載されているような畳み込みニューラルネットワークは、任意の数の層を含み得るものであり、入力データのフォーマットによって特徴付けられるものとしてよい。さらに、畳み込みニューラルネットワークは、畳み込みニューラルネットワークの隠れ層にいてデータを重み付けする複数の重み付け係数を含み得るものである。ここでは、畳み込みニューラルネットワークを、これらの重み付け係数の適応化によってトレーニングすることができる。畳み込みニューラルネットワークは、バッチ正規化、Ｌ１正規化又はＬ２正規化等を使用することができる。
【0084】
第１の畳み込みニューラルネットワークは、第１の重み付け係数２１４を含み得るものである。第１の畳み込みニューラルネットワークは、複数の予測モデル２０４（２≦ｉ≦Ｎ）によって生成されたすべてのピックアップロボットコンフィギュレーションマップＡｉ、２０８（ｉ）の供給に応答して、第３のピックアップロボットコンフィギュレーションマップＡ、２２０を出力するように構成されるものとしてよい。たとえば、コンピュータ１１０は、複数の予測モデル２０４（２≦ｉ≦Ｎ）によって生成されたピックアップロボットコンフィギュレーションマップＡｉを、サイズＨ＊Ｗ＊Ｎ＊Ｄのテンソルにまとめ、このテンソルを第１の畳み込みニューラルネットワークへ供給するように構成されるものとしてよい。ここでは、第１の畳み込みニューラルネットワークは、ｋ＊ｋ＊ｌ（ここでは、Ｈ＊Ｗ次元におけるｋ＊ｋ及びＤ次元におけるｌ）のカーネルを有する３次元畳み込みニューラルネットワークであるものとしてよい。
【0085】
種々の実施形態によれば、ロボット制御モデルは、第２の畳み込みニューラルネットワークを含み得るものである。第２の畳み込みニューラルネットワークは、第２の重み付け係数２１６を含み得るものである。第２の畳み込みニューラルネットワークは、複数の予測モデル２０４（２≦ｉ≦Ｎ）によって生成されたすべてのピックアップ成功確率マップＱｉ、２１０（ｉ）の供給に応答して、第３のピックアップ成功確率マップＱ、２２２を出力するように構成されるものとしてよい。たとえば、コンピュータ１１０は、複数の予測モデル２０４（２≦ｉ≦Ｎ）によって生成されたピックアップ成功確率マップＱｉ、２１０（ｉ）を、Ｎチャネルにおいて、サイズＨ＊Ｗ＊Ｎのテンソルに積層し、このテンソルを第１の畳み込みニューラルネットワークへ供給するように構成されるものとしてよい。ここでは、第２の畳み込みニューラルネットワークは、（Ｈ＊Ｗ次元における）ｋ＊ｋのカーネルを有する２次元畳み込みニューラルネットワークであるものとしてよい。
【0086】
畳み込みニューラルネットワークは、上述の同一の重み付け係数θｉ若しくはｗｉ、重み付け行列Θｉ若しくはＷｉ及び／又は非線形重み付けモデルｆｉ、ｇｉと比較して、より低い複雑性を有し得るものである。これによって、ロボット制御モデルの効率を高めることができる。さらに、畳み込みニューラルネットワークはスケーリング可能であり、これによって柔軟性が高まる。さらに、たとえば第１の畳み込みニューラルネットワークと第２の畳み込みニューラルネットワークとが並列化されることによって、最新のグラフィックプロセッサ（ＧＰＵ）アーキテクチャの並列化を利用することができる。畳み込みニューラルネットワークは、線形混合も非線形混合も実施することができる。一例として、すべての予測モデル２０４（２≦ｉ≦Ｎ）のピックアップロボットコンフィギュレーションマップＡｉ、２０８（ｉ）及びピックアップ成功確率マップＱｉ、２１０（ｉ）が、他のコンピュータによって並列に求められ、コンピュータ１１０へ供給されるものとしてよく、コンピュータは、第１の畳み込みニューラルネットワーク及び第２の畳み込みニューラルネットワークを用いて並列に、第３のピックアップロボットコンフィギュレーションマップＡ、２２０及び第３のピックアップ成功確率マップＱ、２２２を求める。具体的には、このようにトレーニングの消費時間が削減され、従って、効率を高めることができる。
【0087】
ピックアップロボットコンフィギュレーションマップＡｉ、２０８（ｉ）とピックアップ成功確率マップＱｉ、２１０（ｉ）とを、相互に異なる種類の組合せによって相互に組み合わせることができることを理解されたい。一例として、ピックアップロボットコンフィギュレーションマップＡｉ、２０８（ｉ）を、第１の重み付け行列Θｉを用いて組み合わせることができ、ピックアップ成功確率マップＱｉ、２１０（ｉ）を、第２の畳み込みニューラルネットワークを用いて相互に組み合わせること等ができる。一例においては、一方の畳み込みニューラルネットワークは線形混合を実施し、他方の畳み込みニューラルネットワークは非線形混合を実施することができる。種々の実施形態によれば、第１の畳み込みニューラルネットワーク及び／又は第２の畳み込みニューラルネットワークは、図２Ｂを参照して例示的に説明したように、画像２０２に対して、関連する標準偏差を有するセグメンテーション画像又は法線ベクトルを生成する部分を含み得るものである。この場合には、画像２０２も各畳み込みニューラルネットワークへ供給され得ることを理解されたい。
【0088】
種々の実施形態によれば、第１の重み付け係数２１４及び第２の重み付け係数２１６の適応化によって、ロボット制御モデルをトレーニングすることができる（図２Ａを参照）。このために、目標データ２２４（トレーニングデータとも称される）を供給することができる。目標データ２２４は、たとえば、メモリ１１１内に格納されているものとしてよい。
【0089】
目標データ２２４において、画像Ｉ、２０２の少なくとも１つの画像点ｐ（ｈ＊，ｗ＊）に、成功したピックアップが割り当てられるものとしてよい。成功したピックアップが割り当てられる少なくとも１つの画像点ｐ（ｈ＊，ｗ＊）に対して、生成された、予測された第３の成功確率ｑ（ｈ＊，ｗ＊）が高められるように第２の重み付け係数２１６が適応化され得る。
【0090】
目標データ２２４において、画像Ｉ、２０２の少なくとも１つの別の画像点ｐ（ｈ＼ｈ＊，ｗ＼ｗ＊）に、失敗したピックアップが割り当てられるものとしてよい。失敗したピックアップが割り当てられる少なくとも１つの別の画像点ｐ（ｈ＼ｈ＊，ｗ＼ｗ＊）に対して、生成された、予測された第３の成功確率ｑ（ｈ＼ｈ＊，ｗ＼ｗ＊）が低減されるように第２の重み付け係数２１６が適応化され得る。
【0091】
目標データ２２４において、画像Ｉ、２０２の少なくとも１つの画像点ｐ（ｈ，ｗ）に、目標タプルの１つ又は複数の値が割り当てられるものとしてよい。目標タプルは、目標ピックアップロボットコンフィギュレーションを表すものとしてよい。少なくとも１つの画像点ｐ（ｈ，ｗ）に対して、第３のピックアップロボットコンフィギュレーションベクトルａ（ｈ，ｗ）のコンフィギュレーションを表すタプルが、目標タプルのこの１つ又は複数の値を有するように、第３のピックアップロボットコンフィギュレーションベクトルａ（ｈ，ｗ）が生成されるように、第１の重み付け係数２１４は適応化され得る。たとえば、目標タプルは、目標ピックアップロボットコンフィギュレーションベクトルであるものとしてよく、生成された第３のピックアップロボットコンフィギュレーションベクトルａ（ｈ，ｗ）は、目標ピックアップロボットコンフィギュレーションベクトルに相当し得る。
【0092】
第１の重み付けモデル２４４及び／又は第２の重み付けモデル２４６の場合には、第１の重み付けモデル２４４又は第２の重み付けモデル２４６が適応化されることによって、混合モデル２１２をトレーニングすることができる。具体的には、このようして、各重み付けモデルによって生成された重み付け係数も適応化される。第１の重み付けモデル２４４及び／又は第２の重み付けモデル２４６は、機械学習に基づくモデルであるものとしてよい。
【0093】
第１の畳み込みニューラルネットワーク及び／又は第２の畳み込みニューラルネットワークの場合には、各畳み込みニューラルネットワークの重み付け係数を適応化することができる。ここでは、たとえばバックプロパゲーションのようなあらゆる種類のトレーニング原理を使用することができる。畳み込みニューラルネットワークを、たとえば教師あり学習（英語でｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を用いてトレーニングすることができる（これに関する例示的なトレーニングは、参考文献［４］に記載されている）。畳み込みニューラルネットワークを、たとえば強化学習（英語でｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）を用いてトレーニングすることができる（これに関する例示的なトレーニングは、参考文献［２］及び［５］に記載されている）。
【0094】
種々の実施形態によれば、上記において例示的に、（反復として）画像、Ｉ、２０２及び目標データ２２４について説明したように、ロボット制御モデルを、複数の画像及び各関連する目標データに対して反復式にトレーニングすることができる。
【0095】
複数の予測モデル２０４（２≦ｉ≦Ｎ）は、事前にトレーニングされるものとしてよく、この目標データ及び／又は他の目標データに対して個別にトレーニングされるものとしてよく、又は、混合モデル２１２と共にトレーニングされるものとしてよい。共にトレーニングする場合、混合モデル２１２と複数の予測モデル２０４（２≦ｉ≦Ｎ）の各予測モデル２０４（ｉ）とを、トレーニングの各反復において適応させることができる。
【0096】
図４は、種々の実施形態によるロボット装置（たとえばロボット装置１０１）を制御するためのフローチャート４００を示している。ここでは、ロボット制御モデルを使用することができる。ロボット制御モデルは、複数の予測モデル２０４（２≦ｉ≦Ｎ）（たとえばＮ＝２の場合には、第１の予測モデル２０４（１）及び第２の予測モデル２０４（２））及びトレーニングされた混合モデル４１２を含み得るものである。
【0097】
トレーニングされた混合モデル４１２は、複数の予測モデル２０４（２≦ｉ≦Ｎ）から画像４０２に対して生成されたすべてのピックアップ予測２０６（２≦ｉ≦Ｎ）の供給に応答して、第３のピックアップ予測４１８を生成するように構成されるものとしてよい。第３のピックアップ予測４１８は、第３のピックアップロボットコンフィギュレーションマップＡ、４２０と第３のピックアップ成功確率マップＱ、２２２とを含み得るものである。
【0098】
トレーニングされた混合モデル４１２は、ここでは、第１の重み付け係数４１４と、第２の重み付け係数４１６とを含み得るものである。第１の重み付け係数４１４及び第２の重み付け係数４１６は、複数の画像に対してトレーニングされている第１の重み付け係数２１４又は第２の重み付け係数２１６に従って構成されるものとしてよい。たとえば、トレーニングされた混合モデル４１２は、複数の画像に対してトレーニングされた混合モデル２１２であるものとしてよい。
【0099】
コンピュータ１１０は、予測された最高の第３の成功確率ｑ（ｈ，ｗ）が割り当てられる第３のピックアップロボットコンフィギュレーションベクトルａ（ｈ，ｗ）を選択するように構成されるものとしてよい。コンピュータ１１０は、選択された第３のピックアップロボットコンフィギュレーションベクトルに従ってロボット装置１０１を制御するための制御データ４２４を生成するように構成されるものとしてよい。たとえば、制御装置１０６は、選択された第３のピックアップロボットコンフィギュレーションベクトルに従ってロボット装置１０１を制御することができる。
【0100】
任意選択的に、ロボット制御モデルを、ロボット装置１０１の動作中に、付加的にトレーニングすることができる。種々の実施形態によれば、制御装置１０６は、選択された第３のピックアップロボットコンフィギュレーションベクトルを用いて対象物のピックアップを実行するようにロボット装置１０１を制御することができ、対象物のピックアップが首尾良く実行されたか否かを求めることができる。強化学習によるトレーニングの例においては、制御装置１０６（たとえばコンピュータ１１０）は、報酬として、成功した又は失敗したピックアップを求めることができる。たとえば、対象物のピックアップが成功した場合、所定の最大報酬（たとえば、報酬の値は「１」に等しい）が求められるものとしてよい。たとえば、対象物のピックアップが成功しなかった場合、所定の最小報酬（たとえば、報酬の値は「０」に等しい）が求められるものとしてよい。選択された第３のピックアップロボットコンフィギュレーションベクトルが求められた画像を、報酬に関連して、付加的な目標データ（たとえばトレーニングデータ）として、第１の重み付け係数及び／又は第２の重み付け係数の適応化のために用いることができる。
【0101】
図５は、種々の実施形態による、複数のロボットアームを有する例示的なロボット装置アセンブリ５００を示している。ロボット装置アセンブリ５００は、例示的に２つのロボットアームを示している。ロボット装置アセンブリ５００が、２つより多くのロボットアームを含み得ることを指摘しておく。
【0102】
種々の実施形態によれば、ロボット装置アセンブリ５００は、ロボット装置アセンブリ１００を含み得るものである。ロボット装置１０１のロボットアーム１２０は、第１のロボットアーム１２０であるものとしてよい。
【0103】
ロボット装置アセンブリ５００はさらに、第２のロボットアーム５２０を含み得るものである。図５に示されかつ以下において例示的に記述するロボット装置アセンブリ５００は、説明のために、第１のロボットアーム１２０及び第２のロボットアーム５２０を備えた例示的なロボット装置１０１を表す。ロボット装置は、対象物を操作する（たとえば移動させる、たとえば加工する、たとえば処理する、たとえば処理する等）少なくとも２つの操作装置を含む、あらゆる種類のコンピュータ制御された装置であるものとしてよいことを指摘しておく。これはたとえば、ロボット（たとえば製造ロボット、メンテナンスロボット、家事ロボット、医療ロボット等）、車両（たとえば自律車両）、家事用装置、生産機械、パーソナルアシスタント、アクセス制御システム等である。
【0104】
第２のロボットアーム５２０は、ロボット肢５０２、５０３、５０４と、ロボット肢５０２、５０３、５０４を支持する台座（又は一般的には保持部）５０５とを含み得るものである。制御装置１０６は、制御プログラムに従って、周囲との相互作用を実現するように構成されるものとしてよい。たとえば、制御装置１０６は、第１のロボットアーム１２０及び第２のロボットアーム５２０を制御するように構成されるものとしてよい。ロボット肢５０２、５０３、５０４の（台座５０５から見て）最後の要素５０４は、エンドエフェクタ５０４とも称され、たとえば、把持工具又は吸引装置（たとえば吸込ヘッド）又はこれに類するもの等である１つ又は複数の工具を含み得るものである。第２のロボットアーム５２０は、結合要素５０７、５０８、５０９を含み得るものであり、これらの結合要素は、ロボット肢５０２、５０３、５０４を相互に及び台座５０５と結合する。
【0105】
第２のロボットアーム５２０は、同様に、この１つ又は複数の対象物１１４のうちの１つの対象物をピックアップするように構成されるものとしてよい。ロボット制御モデル１２２は、第１のロボットアーム１２０に対しても、第２のロボットアーム５２０に対しても、トレーニングされたそれぞれ１つのロボット制御モデル４１２（図４及びこれに関連する説明を参照）を含み得るものである。トレーニングされた２つのロボット制御モデル４１２は、それぞれ１つの第３のピックアップ予測４１８を生成することができる。コンピュータ１１０は、ロボットアーム１２０、５２０及び予測された最高の第３の成功確率が割り当てられる第３のピックアップロボットコンフィギュレーションベクトルを選択するように構成されるものとしてよく、選択された第３のピックアップロボットコンフィギュレーションベクトルに従って、選択されたロボットアームを制御するために、対応する制御データ４２４を生成することができる。
【0106】
図６は、種々の実施形態によるロボット制御モデルをトレーニングするコンピュータ実装された方法６００のフローチャートを示している。
【0107】
方法６００は、第１のピックアップ予測を生成するために、１つ又は複数の対象物を示す画像を、ロボット制御モデルの第１の予測モデルへ供給することを含み得るものである（６０２において）。第１のピックアップ予測は、画像の各画像点に対して、ロボット装置のコンフィギュレーションを記述する各第１のピックアップロボットコンフィギュレーションベクトルを、割り当てられる予測された第１の成功確率を伴って、含み得るものである。
【0108】
方法６００は、第２のピックアップ予測を生成するために、画像をロボット制御モデルの第２の予測モデルへ供給することを含み得るものである（６０４において）。第２のピックアップ予測は、画像の各画像点に対して、ロボット装置のコンフィギュレーションを記述する各第２のピックアップロボットコンフィギュレーションベクトルを、割り当てられる予測された第２の成功確率を伴って、含み得るものである。
【0109】
方法６００は、第３のピックアップ予測を生成するために、第１のピックアップ予測及び第２のピックアップ予測をロボット制御モデルの混合モデルへ供給することを含み得るものである（６０６において）。第３のピックアップ予測は、画像の各画像点に対して、第１のピックアップロボットコンフィギュレーションベクトルと第２のピックアップロボットコンフィギュレーションベクトルとの、第１の重み付け係数によって重み付けされた組合せである第３のピックアップロボットコンフィギュレーションベクトルと、予測された第１の成功確率と予測された第２の成功確率との、第２の重み付け係数によって重み付けされた組合せである、予測された第３の成功確率とを含み得るものである。
【0110】
方法６００は、画像の少なくとも１つの画像点に成功したピックアップが割り当てられている目標データに基づいて、ロボット制御モデルが、この少なくとも１つの画像点に対して、予測された第３の成功確率を高めるように、第１の重み付け係数及び第２の重み付け係数を適応化することによって、ロボット制御モデルをトレーニングすることを含み得るものである（６０８において）。
【0111】
種々の実施形態によれば、ロボット装置を制御する方法は、１つ又は複数の対象物を示す画像を検出することを含み得るものである。この方法は、さらに、第１のピックアップ予測を生成するために、画像を、ロボット制御モデルの第１の予測モデルへ供給することを含み得るものである。第１のピックアップ予測は、画像の各画像点に対して、ロボット装置のコンフィギュレーションを記述する各第１のピックアップロボットコンフィギュレーションベクトルを、割り当てられる予測された第１の成功確率を伴って、含み得るものである。この方法は、さらに、第２のピックアップ予測を生成するために、画像を、ロボット制御モデルの第２の予測モデルへ供給することを含み得るものである。第２のピックアップ予測は、画像の各画像点に対して、ロボット装置のコンフィギュレーションを記述する各第２のピックアップロボットコンフィギュレーションベクトルを、割り当てられた予測された第２の成功確率を伴って、含み得るものである。この方法は、さらに、第３のピックアップ予測を生成するために、第１のピックアップ予測及び第２のピックアップ予測を、ロボット制御モデルの混合モデルへ供給することを含み得るものである。第３のピックアップ予測は、画像の各画像点に対して、第１のピックアップロボットコンフィギュレーションベクトルと第２のピックアップロボットコンフィギュレーションベクトルとの、第１の重み付け係数によって重み付けされた組合せである第３のピックアップロボットコンフィギュレーションベクトルと、予測された第１の成功確率と予測された第２の成功確率との、第２の重み付け係数によって重み付けされた組合せである予測された第３の成功確率とを含み得るものである。この方法は、さらに、予測された最高の第３の成功確率が割り当てられる第３のピックアップ予測の第３のピックアップロボットコンフィギュレーションベクトルに対して、第３のピックアップロボットコンフィギュレーションベクトルに従って、第３のピックアップロボットコンフィギュレーションベクトルに割り当てられる画像点が示す対象物をピックアップするようにロボット装置を制御することを含み得るものである。
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6】
【外国語明細書】