特表 2024-522560 ロボットアーム制御方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-06-21

(54)【発明の名称】ロボットアーム制御方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240614BHJP

   B25J 13/08 20060101ALI20240614BHJP

【ＦＩ】

G06T7/00 350C

B25J13/08 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023574642

(86)(22)【出願日】2022-05-12

(85)【翻訳文提出日】2023-12-04

(86)【国際出願番号】 CN2022092572

(87)【国際公開番号】W WO2022252959

(87)【国際公開日】2022-12-08

(31)【優先権主張番号】202110626122.1

(32)【優先日】2021-06-04

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】522021952

【氏名又は名称】京▲東▼科技信息技▲術▼有限公司

(74)【代理人】

【識別番号】100096091

【弁理士】

【氏名又は名称】井上 誠一

(72)【発明者】

【氏名】陶 大程

(72)【発明者】

【氏名】▲しゅえ▼ 超

【テーマコード（参考）】

3C707

5L096

【Ｆターム（参考）】

3C707KS30

3C707KS36

3C707KT01

3C707KT06

3C707LS15

3C707LW12

5L096BA01

5L096BA05

5L096BA18

5L096CA01

5L096FA66

5L096FA67

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

ロボットアーム制御方法及び装置、電子機器、コンピュータ読み取り可能な記憶媒体、コンピュータプログラム製品及びコンピュータプログラムを提供する。ロボットアーム制御方法は、ターゲットオブジェクトの第１の深さマップと第１のカラーマップとを取得するステップ（１０１）と、第１の深さマップと第１のカラーマップとに基づいて、ロボットアームの各候補動作の第１の予測値と第２の予測値とを予測して取得するステップ（１０２）であって、第１の予測値は、ロボットアームが対応する候補動作を実行することにより、ターゲットオブジェクトが隣接するオブジェクトから離れる確率であり、第２の予測値は、ロボットアームが対応する候補動作を実行してターゲットオブジェクトの把持に成功する確率であるステップ（１０２）であって、各候補動作の第１の予測値と第２の予測値とに基づいて、ターゲット動作を決定するステップ（１０３）と、ロボットアームを制御してターゲット動作を実行させるステップ（１０４）と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

ロボットアーム制御方法であって、
ターゲットオブジェクトの第１の深さマップと第１のカラーマップとを取得するステップと、
前記第１の深さマップと前記第１のカラーマップとに基づいて、ロボットアームの各候補動作の第１の予測値と第２の予測値とを予測して取得するステップであって、前記第１の予測値は、前記ロボットアームが対応する候補動作を実行することにより、前記ターゲットオブジェクトが隣接するオブジェクトから離れる確率であり、前記第２の予測値は、前記ロボットアームが対応する候補動作を実行して前記ターゲットオブジェクトの把持に成功する確率であるステップと、
各前記候補動作の第１の予測値と前記第２の予測値とに基づいて、ターゲット動作を決定するステップと、
前記ロボットアームを制御して前記ターゲット動作を実行させるステップと、を含む、
ロボットアーム制御方法。

【請求項2】

前記第１の深さマップと前記第１のカラーマップとに基づいて、ロボットアームの各候補動作の第１の予測値と第２の予測値とを予測して取得するステップは、
前記第１の深さマップを設定された回転方向に複数の設定された角度だけ回転させて、複数の入力深さマップを取得するステップと、
前記第１のカラーマップを前記設定された回転方向に前記複数の設定された角度だけ回転させて、複数の入力カラーマップを取得するステップと、
前記複数の入力深さマップと前記複数の入力カラーマップとを第１の予測ネットワークに入力して各前記候補動作の前記第１の予測値を予測して取得するステップと、
前記複数の入力深さマップと前記複数の入力カラーマップとを第２の予測ネットワークに入力して各前記候補動作の前記第２の予測値を予測して取得するステップと、を含む、
請求項１に記載のロボットアーム制御方法。

【請求項3】

前記ターゲット動作が実行された後の前記ターゲットオブジェクトの第２の深さマップを収集するステップと、
前記第２の深さマップと前記第１の深さマップとに基づいて、分類ネットワークを用いて、前記ターゲット動作の第１のボーナス値を決定するステップであって、前記第１のボーナス値は、前記ロボットアームが前記ターゲットを実行することにより、前記ターゲットオブジェクトが隣接するオブジェクトから離れる有効度を指示するステップと、
前記ロボットアームが前記ターゲットオブジェクトを把持することに成功したか否かに基づいて、前記ターゲット動作の第２のボーナス値を決定するステップと、
前記第１のボーナス値に基づいて前記第１の予測ネットワークを訓練し、前記第２のボーナス値に基づいて前記第２の予測ネットワークを訓練するステップと、をさらに含む、
請求項１または２に記載のロボットアーム制御方法。

【請求項4】

前記第２の深さマップと前記第１の深さマップとに基づいて、分類ネットワークを用いて、前記ターゲット動作の第１のボーナス値を決定するステップは、
分類ネットワークの特徴抽出層を用いて、前記第１の深さマップと前記第２の深さマップに対してそれぞれ特徴抽出を行うステップと、
前記第１の深さマップの特徴と前記第２の深さマップの特徴とを融合させて、第１の融合特徴を取得するステップと、
前記分類ネットワークの分類層を用いて前記第１の融合特徴に対して分類予測を行って、前記ターゲット動作の第１のボーナス値を取得するステップと、を含む、
請求項３に記載のロボットアーム制御方法。

【請求項5】

前記複数の入力深さマップと前記複数の入力カラーマップとを第１の予測ネットワークに入力して各前記候補動作の前記第１の予測値を予測して取得するステップは、
前記第１の予測ネットワークの特徴抽出層を用いて、前記複数の入力深さマップと前記複数の入力カラーマップに対して特徴抽出を行い、前記複数の入力深さマップの特徴と対応する入力カラーマップの特徴とを融合させて、複数の第１の融合特徴マップを取得するステップと、
各前記第１の融合特徴マップを前記設定された回転方向の反対方向に回転させるステップと、
前記第１の予測ネットワークの予測層を用いて、反対方向に回転された後の各前記第１の融合特徴マップに対して動作予測を行って、各前記候補動作の第１の予測値を取得するステップと、を含む、
請求項２～４のいずれかに記載のロボットアーム制御方法。

【請求項6】

前記複数の入力深さマップと前記複数の入力カラーマップとを第２の予測ネットワークに入力して各前記候補動作の前記第２の予測値を予測して取得するステップは、
前記第２の予測ネットワークの特徴抽出層を用いて、前記複数の入力深さマップと前記複数の入力カラーマップに対して特徴抽出を行い、前記複数の入力深さマップの特徴と対応する入力カラーマップの特徴とを融合させて、複数の第２の融合特徴マップを取得するステップと、
各前記第２の融合特徴マップを前記設定された回転方向の反対方向に回転させるステップと、
前記第２の予測ネットワークの予測層を用いて、反対方向に回転された後の各前記第２の融合特徴マップに対して動作予測を行って、各前記候補動作の第２の予測値を取得するステップと、を含む、
請求項２～５のいずれかに記載のロボットアーム制御方法。

【請求項7】

前記各前記候補動作の第１の予測値と前記第２の予測値とに基づいて、ターゲット動作を決定するステップは、
前記第１の深さマップによって指示された前記ターゲットオブジェクトの輪郭に基づいて、各前記候補動作の第１の予測値を修正するステップと、
前記第１の深さマップによって指示された前記ターゲットオブジェクトの中心位置に基づいて、各前記候補動作の第２の予測値を修正するステップと、
修正された第１の予測値と修正された第２の予測値とに基づいて、各前記候補動作から前記ターゲット動作を選択するステップと、を含む、
請求項１～６のいずれかに記載のロボットアーム制御方法。

【請求項8】

前記ターゲットオブジェクトの第１の深さマップと第１のカラーマップとを取得するステップは、
収集されたオリジナルの深さマップとオリジナルのカラーマップとを取得するステップと、
前記オリジナルの深さマップと前記オリジナルのカラーマップとを前記ロボットアーム座標系に変換して、前記ロボットアーム座標系における前記オリジナルの深さマップ及び前記オリジナルのカラーマップの各画素点に対応する３次元座標位置を取得するステップと、
各前記３次元座標位置を設定された２次元平面に投影して、各３次元座標位置に対応する２次元座標点を取得するステップと、
各前記２次元座標点の前記オリジナルの深さマップにおける対応する画素点の深さに基づいて、前記第１の深さマップを生成するステップと、
各前記２次元座標点の前記オリジナルのカラーマップにおける対応する画素点のカラーに基づいて、前記第１のカラーマップを生成するステップと、を含む、
請求項１～７のいずれかに記載のロボットアーム制御方法。

【請求項9】

前記設定された２次元平面は、前記ロボットアーム座標系における設定された方向に沿う最小作業距離に基づいて決定される、
請求項８に記載のロボットアーム制御方法。

【請求項10】

ロボットアーム制御装置であって、
ターゲットオブジェクトの第１の深さマップと第１のカラーマップとを取得するための取得モジュールと、
前記第１の深さマップと前記第１のカラーマップとに基づいて、ロボットアームの各候補動作の第１の予測値と第２の予測値とを予測して取得するための予測モジュールであって、前記第１の予測値は、前記ロボットアームが対応する候補動作を実行することにより、前記ターゲットオブジェクトが隣接するオブジェクトから離れる確率であり、前記第２の予測値は、前記ロボットアームが対応する候補動作を実行して前記ターゲットオブジェクトの把持に成功する確率である予測モジュールと、
各前記候補動作の第１の予測値と前記第２の予測値とに基づいて、ターゲット動作を決定するための決定モジュールと、
前記ロボットアームを制御して前記ターゲット動作を実行させるための制御モジュールと、を含む、
ロボットアーム制御装置。

【請求項11】

コンピュータデバイスであって、
メモリと、プロセッサと、メモリに記憶され、プロセッサで実行可能なコンピュータプログラムとを含み、前記プロセッサが前記コンピュータプログラムを実行する場合、請求項１～９のいずれかに記載のロボットアーム制御方法が実現される、
コンピュータデバイス。

【請求項12】

コンピュータプログラムが記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行される場合、請求項１～９のいずれかに記載のロボットアーム制御方法が実現される、
非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項13】

コンピュータプログラム製品であって
前記コンピュータプログラム製品における命令がプロセッサによって実行される場合、請求項１～９のいずれかに記載のロボットアーム制御方法を実行する、
コンピュータプログラム製品。

【請求項14】

コンピュータプログラムコードが含まれるコンピュータプログラムであって、
前記コンピュータプログラムコードがコンピュータ上て実行される場合、コンピュータに請求項１～９のいずれかに記載のロボットアーム制御方法を実行させる、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互引用）本出願は、２０２１年６月４日に中国に提出された、中国特許出願番号が２０２１１０６２６１２２．１であるものの優先権を主張し、そのすべての内容が本明細書に組み入れられる。

【0002】

本開示は人工知能技術の分野に関し、具体的にコンピュータビジョン技術の分野に関し、より具体的にはロボットアーム制御方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体、コンピュータプログラム製品及びコンピュータプログラムに関する。

【背景技術】

【0003】

ロボット分野は、分類ロボット、サービスロボット、ヒューマンマシンインタラクションなどのシナリオで重要な応用があり、近年ますます注目されているが、ロボットアームが緊密に積み上げられた物体を自動的に把持することは依然として挑戦である。なぜなら、緊密に積み上げられた物体を直接把持することは、アルゴリズムが適切な把持位置と姿勢を見つけて把持することができない一方で、アームアームのグリッパと物体との衝突を招き、把持の失敗をもたらすからである。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は把持成功率を向上させるロボットアーム制御方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体、コンピュータプログラム製品及びコンピュータプログラムを提供する。

【課題を解決するための手段】

【0005】

本開示の一態様の実施例によれば、ロボットアーム制御方法を提供し、前記方法は、ターゲットオブジェクトの第１の深さマップと第１のカラーマップとを取得するステップと、前記第１の深さマップと前記第１のカラーマップとに基づいて、ロボットアームの各候補動作の第１の予測値と第２の予測値とを予測して取得するステップであって、前記第１の予測値は、前記ロボットアームが対応する候補動作を実行することにより、前記ターゲットオブジェクトが隣接するオブジェクトから離れる確率であり、前記第２の予測値は、前記ロボットアームが対応する候補動作を実行して前記ターゲットオブジェクトの把持に成功する確率であるステップと、各前記候補動作の第１の予測値と前記第２の予測値とに基づいて、ターゲット動作を決定するステップと、前記ロボットアームを制御して前記ターゲット動作を実行させるステップと、を含む。

【0006】

本開示の別の態様の実施例によれば、ロボットアーム制御装置を提供し、前記装置は、ターゲットオブジェクトの第１の深さマップと第１のカラーマップとを取得するための取得モジュールと、前記第１の深さマップと前記第１のカラーマップとに基づいて、ロボットアームの各候補動作の第１の予測値と第２の予測値とを予測して取得するための予測モジュールであって、前記第１の予測値は、前記ロボットアームが対応する候補動作を実行することにより、前記ターゲットオブジェクトが隣接するオブジェクトから離れる確率であり、前記第２の予測値は、前記ロボットアームが対応する候補動作を実行して前記ターゲットオブジェクトの把持に成功する確率である予測モジュールと、各前記候補動作の第１の予測値と前記第２の予測値とに基づいて、ターゲット動作を決定するための決定モジュールと、前記ロボットアームを制御して前記ターゲット動作を実行させるための制御モジュールと、を含む。

【0007】

本開示の別の態様の実施例によれば、コンピュータデバイスを提供し、メモリと、プロセッサと、メモリに記憶され、プロセッサで実行可能なコンピュータプログラムを含み、前記プロセッサが前記コンピュータプログラムを実行する場合、上記の一態様の実施例に記載のロボットアーム制御方法が実現される。

【0008】

本開示の別の態様の実施例によれば、コンピュータプログラムが記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、該コンピュータプログラムがプロセッサによって実行される場合、上記の一態様の実施例に記載のロボットアーム制御方法が実現される。

【0009】

本開示の別の態様の実施例によれば、コンピュータプログラム製品を提供し、前記コンピュータプログラム製品における命令がプロセッサによって実行される場合、上記の一態様の実施例に記載のロボットアーム制御方法を実行する。

【0010】

本開示の別の態様の実施例によれば、コンピュータプログラムコードが含まれるコンピュータプログラムを提供し、前記コンピュータプログラムコードがコンピュータ上で実行される場合、コンピュータを上記の一態様の実施例に記載のロボットアーム制御方法を実行させる。

【発明の効果】

【0011】

本開示の実施例によって提供される技術案は、以下のような有益な効果を含むことができる。ターゲットオブジェクトの第１の深さマップと第１のカラーマップとを取得し、第１の深さマップと第１のカラーマップとに基づいて、ロボットアームの各候補動作の第１の予測値と第２の予測値とを予測して取得し、ここで、第１の予測値は、ロボットアームが対応する候補動作を実行することにより、ターゲットオブジェクトが隣接するオブジェクトから離れる確率であり、第２の予測値は、ロボットアームが対応する候補動作を実行してターゲットオブジェクトの把持に成功する確率であり、各候補動作の第１の予測値と第２の予測値とに基づいて、ターゲット動作を決定し、ロボットアームを制御してターゲット動作を実行させ、本開示では各候補動作の第１の予測値と第２の予測値とを予測することにより、ターゲットオブジェクトと隣接するオブジェクトとを離間させる策略とターゲットオブジェクトを把持する策略との協同分析を実現し、その中から最大の予測値に対応する動作を選択して目標動作として、ターゲット動作の決定の精度を向上させ、ロボットアームの衝突を回避し、ロボットアームの動作実行の信頼性を向上させる。

【0012】

本出願の付加的な特徴及び利点は、以下の説明において部分的に示され、一部が以下の説明により明らかになり、又は本出願の実践により理解されることになる。

【図面の簡単な説明】

【0013】

本開示の上記及び／又は付加的な特徴及び利点は、図面を参照した、実施例に対する以下の説明によって明らかになり且つ理解しやすくなる。

【図1】本開示の実施例によって提供されるロボットアーム制御方法の概略フローチャートである。

【図2】本開示の実施例によって提供される別のロボットアーム制御方法の概略フローチャートである。

【図3】本開示の実施例によって提供される予測ネットワークの概略構成図である。

【図4】本開示の実施例によって提供される別のロボットアーム制御方法の概略フローチャートである。

【図5】本開示の実施例によって提供される別のロボットアーム制御方法の概略フローチャートである。

【図6】本開示の実施例によって提供される分類ネットワークの概略構成図である。

【図7】本開示の実施例によって提供されるロボットアーム制御装置の概略構成図である。

【図8】本開示の実施形態を実現するための例示的なコンピュータデバイスのブロック図である。

【発明を実施するための形態】

【0014】

以下、本開示の実施例について詳細に説明し、前記実施例の例は添付図面に示され、ここで、最初から最後まで同じまたは類似の符号は同じまたは類似の部品、あるいは同じまたは類似の機能を有する部品を示す。以下、添付図面を参照して説明する実施例は例示的なものであり、本開示を説明するためのものであり、本開示に対する制限としては理解すべきではない。

【0015】

以下、図面を参照しながら、本開示の実施例によるロボットアーム制御方法、装置、電子機器及び記憶媒体を説明する。

【0016】

図１は本開示の実施例によって提供されるロボットアーム制御方法の概略フローチャートである。

【0017】

図１に示すように、この方法は以下のステップ１０１～１０４を含む。

【0018】

ステップ１０１では、ターゲットオブジェクトの第１の深さマップと第１のカラーマップとを取得する。

【0019】

ここで、第１の深さマップと第１のカラーマップは、ロボットアーム座標系における深さマップとカラーマップである。

【0020】

本実施例では、ターゲットオブジェクトの第１の深さマップと第１のカラーマップとを取得することにより、ターゲットオブジェクトの現在の深さ情報とカラー情報とを決定することができる。

【0021】

本開示の実施例の一実施形態では、収集されたオリジナルの深さマップとオリジナルのカラーマップとを取得し、オリジナルの深さマップとオリジナルのカラーマップとをロボットアーム座標系に変換して、ロボットアーム座標系におけるオリジナルの深さマップとオリジナルのカラーマップ内の各画素点に対応する３次元座標位置を取得する。

【0022】

具体的には、ＲＧＢ－Ｄカメラを使用してオリジナルの深さマップＩ_{ｄｅｐｔｈ}とオリジナルのカラーマップＩ_{ｃｏｌｏｒ}とを収集し、ここで、オリジナルの深さマップとオリジナルのカラーマップの解像度はＭ＊Ｎであり、ＭとＮはそれぞれオリジナルの深さマップとオリジナルのカラーマップの幅と高さであり、オリジナルの深さマップとオリジナルのカラーマップ内の各画素点Ｐ_ｐｉｘをロボットアーム座標系に変換して、ロボットアーム座標系におけるオリジナルの深さマップとオリジナルのカラーマップ内の各画素点に対応する３次元座標位置を取得し、Ｐ_ｗと表記される。Ｐ_Ｗ＝Ｒ×（Ｋ^－１×ｚ×Ｐ_ｐｉｘ）＋Ｔ
ここで、Ｋ^－１は内部パラメータ行列の逆行列を表し、Ｒは外部パラメータ回転行列を表し、Ｔは外部パラメータ並進行列を表し、ｚはカメラ座標系における深さを表す。

【0023】

さらに、各３次元座標位置を設定された２次元平面に投影して、各３次元座標位置に対応する２次元座標点を取得する。一実施形態として、各３次元座標位置におけるＸ軸とＹ軸座標（ｘ_ｗ，ｙ_ｗ）とをサイズがＨ×Ｗの２次元平面にマッピングし、（ｘ_ｓ，ｙ_ｓ）と表記される。
（ｘ_ｓ，ｙ_ｓ）＝（ｆｌｏｏｒ（（ｘ_ｗ-ｘ_ｌ）/ｒｅｓ），ｆｌｏｏｒ（（ｙ_ｗ-ｙ_ｌ）/ｒｅｓ））
ここで、ｘ_ｌはロボットアーム座標系のＸ軸方向における作業空間の最小値を表し、ｙ_ｌはロボットアーム座標系のＹ軸方向における作業空間の最小値を表し、ｒｅｓはマッピング後に各画素が表す実際サイズを表し、ｆｌｏｏｒ（．）は切り捨て操作を表す。

【0024】

本実施例の一実施形態では、設定された２次元平面は、ロボットアーム座標系における設定された方向に沿う最小作業距離に基づいて決定される。

【0025】

さらに、各２次元座標点のオリジナルの深さマップにおける対応する画素点の深さに基づいて、第１の深さマップを生成し、各２次元座標点のオリジナルのカラーマップにおける対応する画素点のカラーに基づいて、第１のカラーマップを生成し、具体的には、各２次元座標点のオリジナルの深さマップにおける対応する画素点の深さＺを対応する座標（ｘ_ｓ，ｙ_ｓ）に渡して、サイズがＨ×Ｗである深さ状態マップＩ_{ｄｅｐｔｈ＿ｍａｐ}を取得し、各２次元座標点のオリジナルのカラーマップにおける対応する画素点のカラー情報（ｒ，ｇ，ｂ）を対応する座標（ｘ_ｓ，ｙ_ｓ）に渡して、サイズがＨ×Ｗであるカラー状態マップＩ_{ｃｏｌｏｒ＿ｍａｐ}を取得する。

【0026】

ステップ１０２では、第１の深さマップと第１のカラーマップとに基づいて、ロボットアームの各候補動作の第１の予測値と第２の予測値とを予測して取得し、ここで、第１の予測値は、ロボットアームが対応する候補動作を実行することにより、ターゲットオブジェクトが隣接するオブジェクトから離れる確率であり、第２の予測値は、ロボットアームが対応する候補動作を実行してターゲットオブジェクトの把持に成功する確率である。

【0027】

ここで、候補動作は、ターゲットオブジェクトと隣接するオブジェクトとを離間させる動作、及びターゲットオブジェクトを把持する動作を含む。

【0028】

本実施例では、第１の深さマップと第１のカラーマップに運ばれる（ｃａｒｒｙ）深さ情報とカラー情報とに基づいて、対応する第１の深さマップの特徴と第１のカラーマップの特徴とを抽出し、抽出された第１の深さマップの特徴と第１のカラーマップの特徴とに基づいてロボットアームの各候補動作の第１の予測値と第２の予測値とを予測して取得する。

【0029】

ステップ１０３では、各候補動作の第１の予測値と第２の予測値とに基づいて、ターゲット動作を決定する。

【0030】

本実施例では、各候補動作の第１の予測値及び第２の予測値を比較して、予測値が大きい候補動作をターゲット動作とし、ここで、ターゲット動作は、ターゲットオブジェクトと隣接するオブジェクトとを離間させる動作、またはターゲットオブジェクトを把持する動作である。

【0031】

ステップ１０４では、ロボットアームを制御してターゲット動作を実行させる。

【0032】

さらに、決定されたターゲット動作に基づいて、ロボットアームを制御してターゲット動作を実行させ、本開示の実施例では、各候補動作の第１の予測値と第２の予測値とを予測することにより、ターゲットオブジェクトと隣接するオブジェクトとを離間させる策略とターゲットオブジェクトを把持する策略との協同分析を実現し、その中から最大の予測値に対応する動作を選択して目標動作として、ターゲット動作の決定の精度を向上させ、ロボットアームの衝突を回避し、ロボットアーム動作の実行の信頼性を向上させる。

【0033】

本実施例のロボットアーム制御方法では、ターゲットオブジェクトの第１の深さマップと第１のカラーマップとを取得し、第１の深さマップと第１のカラーマップとに基づいて、ロボットアームの各候補動作の第１の予測値と第２の予測値とを予測して取得し、ここで、第１の予測値は、ロボットアームが対応する候補動作を実行することにより、ターゲットオブジェクトが隣接するオブジェクトから離れる確率であり、第２の予測値は、ロボットアームが対応する候補動作を実行してターゲットオブジェクトの把持に成功する確率であり、各候補動作の第１の予測値と第２の予測値とに基づいて、ターゲット動作を決定し、ロボットアームを制御してターゲット動作を実行させ、本開示では各候補動作の第１の予測値と第２の予測値とを予測することにより、ターゲットオブジェクトと隣接するオブジェクトとを離間させる策略とターゲットオブジェクトを把持する策略との協同分析を実現し、その中から最大の予測値に対応する動作を選択して目標動作として、ターゲット動作の決定の精度を向上させ、ロボットアーム衝突の確率を低減し、ロボットアーム動作の実行の信頼性を向上させ、さらに、複雑な環境における物体を把持する成功率を向上させる。

【0034】

前の実施例に基づいて、本実施例は別のロボットアーム制御方法を提供し、図２は本開示の実施例によって提供される別のロボットアーム制御方法の概略フローチャートである。

【0035】

図２に示すように、ステップ１０２は以下のステップ２０１～２０４を含むことができる。

【0036】

ステップ２０１では、第１の深さマップを設定された回転方向に複数の設定された角度だけ回転させて、複数の入力深さマップを取得する。

【0037】

本実施例では、異なるシナリオにおける深さマップを構築してより多くの深さマップの特徴を取得し、後述のステップで取得された複数のカラーマップと強化学習アルゴリズムの状態空間を構成するために、第１の深さマップを設定された回転方向に複数の設定された角度だけ回転させて、複数の入力深さマップを取得することを採用する。

【0038】

例えば、第１の深さマップを、３６０°の円周内でΔΘを回転間隔として設定方向に回転させ、例えば反時計回りに回転させ、ｄ＝３６０°／ΔΘ回になると、異なる回転角度を有するｄ組の深さマップＩ^ｄ _{ｄｅｐｔｈ＿ｍａｐ}が得られ、例えば、得られた複数の深さマップの個数ｄは１６である。

【0039】

ステップ２０２では、第１のカラーマップを設定された回転方向に複数の設定された角度だけ回転させて、複数の入力カラーマップを取得する。

【0040】

本実施例では、異なるシナリオにおけるカラーマップを構築してより多くのカラーマップの特徴を取得し、上記取得された複数の深さマップと強化学習アルゴリズムの状態空間を構成するために、第１のカラーマップを設定された回転方向に複数の設定された角度だけ回転させて、複数の入力カラーマップを取得することを採用する。

【0041】

例えば、第１のカラーマップを、３６０°の円周内でΔΘを回転間隔として設定方向に回転させ、例えば反時計回りに回転させ、ｄ＝３６０°／ΔΘ回になると、異なる回転角度を有するｄ組のカラーマップＩ^ｄ _{ｃｏｌｏｒ＿ｍａｐ}が得られ、例えば、得られた複数のカラーマップの個数ｄは１６である。

【0042】

ステップ２０３では、複数の入力深さマップと複数の入力カラーマップとを第１の予測ネットワークに入力して各候補動作の第１の予測値を予測して取得する。

【0043】

ここで、第１の予測ネットワークは特徴抽出層、特徴融合層、予測層及び動的最適化層からなる。

【0044】

例えば、図３に示すように、特徴抽出層はＤｅｎｓｅＮｅｔネットワークの畳み込み層であり、例えば、ＩｍａｇｅＮｅｔによって事前に訓練されたＤｅｎｓｅＮｅｔ－１２１ネットワークである。特徴融合層はＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ正規化層、Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ活性化層及び畳み込みカーネルのサイズが３×３の１つの畳み込み層からなる。予測層はアップサンプリングｕｐｓｔａｔｅ層である。

【0045】

本実施例の一実施形態では、第１の予測ネットワークの特徴抽出層を用いて、複数の入力深さマップと複数の入力カラーマップとを特徴抽出し、複数の入力深さマップの特徴と対応する入力カラーマップの特徴とを融合して、複数の第１の融合特徴マップを取得し、各第１の融合特徴マップを設定された回転方向の反対方向に回転させて、反対方向に回転された後の第１の融合特徴マップを第１の深さマップまたは第１のカラーマップの方向と一致させる。さらに、第１の予測ネットワークの予測層を用いて、反対方向に回転された後の各第１の融合特徴マップに対して動作予測を行って、各候補動作の第１の予測値を取得する。

【0046】

例えば、図３に示すように、本実施例では複数の深さマップと複数のカラーマップがｄ＝１６組であることを例として説明し、ここで、各組には１つの深さマップと１つのカラーマップとが含まれる。説明を容易にするために、第ｄ_ｉ組を例として、ここで、深さマップＩ^ｄi _{ｃｏｌｏｒ＿ｍａｐ}とカラーマップＩ^ｄi _{ｃｏｌｏｒ＿ｍａｐ}はそれぞれ、ＩｍａｇｅＮｅｔによって事前に訓練されたＤｅｎｓｅＮｅｔ－１２１ネットワークの畳み込み層部分によって特徴抽出されて、カラー特徴マップＩ^ｄi _{ｃｆｅａｔ＿ｐｕｓｈ}と深さ特徴マップＩ^ｄi _{ｄｆｅａｔ＿ｐｕｓｈ}とを取得する。さらに、カラー特徴マップＩ^ｄi _{ｃｆｅａｔ＿ｐｕｓｈ}と深さ特徴マップＩ^ｄi _{ｄｆｅａｔ＿ｐｕｓｈ}とに対してチャンネルスプライス操作を行って初期融合特徴マップＩ^ｄi _{ｉｎｉｔ＿ｆｕｓｉｏｎ＿ｐｕｓｈ}を取得し、そしてＩ^ｄi _{ｉｎｉｔ＿ｆｕｓｉｏｎ＿ｐｕｓｈ}が２つの構造が同じである畳み込み組を経て、特徴を深さ融合した後、第１の融合特徴マップＩ^ｄi _{ｆｕｓｉｏｎ＿ｐｕｓｈ}を取得する。さらに、第１の融合特徴マップＩ^ｄi _{ｆｕｓｉｏｎ＿ｐｕｓｈ}を、回転後にカラーマップＩ_{ｃｏｌｏｒ＿ｍａｐ}の角度方向と同じになるように時計回りに回転させ、反対方向に回転された後の第２の融合特徴マップを取得し、同様に、他の組に対応する反対方向に回転された後の第２の融合特徴マップを取得することができる。さらに、第１の予測ネットワークの予測層を用いて、反対方向に回転された後の第１の融合特徴に対して動作予測を行って、各候補動作の第１の予測値を取得する。可能な一実現形態として、第１の予測ネットワークの予測層で、反対方向に回転された後の各第１の融合特徴マップに対してチャンネルスプライス操作を行うことにより、各候補動作のｄ次元サイズがＨ×Ｗである第１の予測値Ｑ（ｓ_ｔ，ａ；θ_１）を取得し、ここで、収集された現在時間のロボットアーム作業区間環境におけるｄ組のカラーマップＩ^ｄ _{ｃｏｌｏｒ＿ｍａｐ}と深さマップＩ^ｄ _{ｄｅｐｔｈ＿ｍａｐ}とを状態ｓ_ｔに表記し、θ_１は第１の予測ネットワークのパラメータを表し、αは動作区間を表し、この動作区間はロボットアームの候補動作タイプ、ロボットアームの実行位置（ｘ_ｘ，ｙ_ｗ，ｚ_ｗ）、グリッパ回転角度Θ及びグリッパ押込み長さＬという４つの部分からなる。

【0047】

ステップ２０４では、複数の入力深さマップと複数の入力カラーマップとを第２の予測ネットワークを入力して各候補動作の第２の予測値を予測して取得する。

【0048】

ここで、第１の予測ネットワークは特徴抽出層、特徴融合層、予測層及び動的最適化層からなる。

【0049】

例えば、図３に示すように、特徴抽出層はＤｅｎｓｅＮｅｔネットワークの畳み込み層であり、例えば、ＩｍａｇｅＮｅｔによって事前に訓練されたＤｅｎｓｅＮｅｔ－１２１ネットワークである。特徴融合層はＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ正規化層、Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ活性化層及び畳み込みカーネルサイズが３×３の１つの畳み込み層からなる。予測層はｕｐｓｔａｔｅ層である。

【0050】

本実施例の一実施形態では、第２の予測ネットワークの特徴抽出層を用いて、複数の入力深さマップと複数の入力カラーマップとを特徴抽出し、複数の入力深さマップの特徴と対応する入力カラーマップの特徴とを融合して、複数の第２の融合特徴マップを取得し、各第２の融合特徴マップを設定された回転方向の反対方向に回転させ、第２の予測ネットワークの予測層を用いて、反対方向に回転された後の各第２の融合特徴マップに対して動作予測を行って、各候補動作の第２の予測値を取得する。

【0051】

例えば、図３に示すように、本実施例では複数の深さマップと複数のカラーマップがｄ＝１６組であることを例として説明し、ここで、各組には１つの深さマップと１つのカラーマップとが含まれる。説明を容易にするために、第ｄ_ｉ組を例として、ここで、深さマップＩ^ｄi _{ｃｏｌｏｒ＿ｍａｐ}とカラーマップＩ^ｄi _{ｃｏｌｏｒ＿ｍａｐ}はそれぞれ、ＩｍａｇｅＮｅｔによって事前に訓練されたＤｅｎｓｅＮｅｔ－１２１ネットワークの畳み込み層部分によって特徴抽出されて、カラー特徴マップＩ^ｄi _{ｃｆｅａｔ＿ｇｒａｓｐ}と深さ特徴マップＩ^ｄi _{ｄｆｅａｔ＿ｇｒａｓｐ}とを取得する。さらに、カラー特徴マップＩ^ｄi _{ｃｆｅａｔ＿ｇｒａｓｐ}と深さ特徴マップＩ^ｄi _{ｄｆｅａｔ＿ｇｒａｓｐ}とに対してチャンネルスプライス操作を行って初期融合特徴マップＩ^ｄi _{ｉｎｉｔ＿ｆｕｓｉｏｎ＿ｇｒａｓｐ}を取得し、そしてＩ^ｄi _{ｉｎｉｔ＿ｆｕｓｉｏｎ＿ｇｒａｓｐ}が２つの構造が同じである畳み込み組を経て、特徴を深さ融合した後、ｄ_ｉ組に対応する第２の融合特徴マップＩ^ｄi _{ｆｕｓｉｏｎ＿ｇｒａｓｐ}を取得する。さらに、第２の融合特徴マップＩ^ｄi _{ｆｕｓｉｏｎ＿ｇｒａｓｐ}を、回転後の第２の融合特徴マップがカラー状態マップＩ_{ｃｏｌｏｒ＿ｍａｐ}の角度方向と同じになるように時計回りに回転させる。同様に、他の組に対応する反対方向に回転された後の第２の融合特徴マップを取得することができる。さらに、第２の予測ネットワークの予測層を用いて、反対方向に回転された後の各第２の融合特徴マップに対して動作予測を行って、各候補動作の第２の予測値を取得する。可能な一実現形態として、第２の予測ネットワークの予測層で、反対方向に回転された後の各第２の融合特徴マップに対してチャンネルスプライス操作を行うことにより、各候補動作のｄ次元サイズがＨ×Ｗである第２の予測値Ｑ_２（ｓ_ｔ，α；θ２）を取得し、ここで、収集された現在のロボットアーム作業区間環境におけるｄ組のカラーマップＩ^ｄ _{ｃｏｌｏｒ＿ｍａｐ}と深さマップＩ^ｄ _{ｄｅｐｔｈ＿ｍａｐ}とを状態ｓ_ｔとして表記し、θ_２は第２の予測ネットワークのパラメータを表し、αは動作区間を表し、この動作区間はロボットアームの候補動作タイプ、ロボットアームの実行位置（ｘ_ｗ，ｙ_ｗ，ｚ_ｗ）、グリッパ回転角度Θ及びグリッパ押込み長さＬという４つの部分からなる。

【0052】

本実施例のロボットアーム制御方法では、第１のカラーマップと第１の深さマップとを設定された回転方向に複数の設定された角度だけ回転させて、複数の入力カラーマップと複数の入力深さマップとを取得することにより、異なるシナリオにおけるカラーマップと深さマップとを構築し、より多くのカラーマップと深さマップの特徴を取得して、強化学習アルゴリズムの状態空間を構築することを実現し、さらに、複数組の深さマップとカラーマップからなる状態空間に基づいて、それぞれ第１の予測ネットワークを用いて各候補動作の第１の予測値と各候補動作の第２の予測値とを予測して取得し、さらに各候補動作の第１の予測値と第２の予測値とに基づいて、ターゲットオブジェクと隣接するオブジェクトとを離間させる策略とターゲットオブジェクトを把持する策略との協同分析を実現し、その中から最大の予測値に対応する動作を選択して目標動作として、ターゲット動作の決定の精度を向上させ、ロボットアーム衝突の確率を低減し、ロボットアーム動作の実行の信頼性を向上させ、さらに、複雑な環境における物体を把持する成功率を向上させる。

【0053】

上記の実施例に基づいて、本実施例は、予測して得られた各候補動作の第１の予測値と各候補動作の第２の予測値とを修正することにより、第１の予測値と第２の予測値の精度を向上させ、さらにターゲット動作の決定の精度を向上させる実施形態を提供する。

【0054】

図４は本開示の実施例によって提供される別のロボットアーム制御方法の概略フローチャートであり、図４に示すように、ステップ１０３は以下のステップ４０１～４０３を含む。

【0055】

ステップ４０１では、第１の深さマップによって指示されたターゲットオブジェクトの輪郭に基づいて、各候補動作の第１の予測値を修正する。

【0056】

一実施形態として、第１の深さマップによって指示されたターゲットオブジェクトの輪郭に基づいて、動的マスクを計算し、動的マスクと各候補動作の第１予測値を乗算して、各候補動作の修正された第１予測値を取得する。

【0057】

ステップ４０２では、第１の深さマップによって指示されたターゲットオブジェクトの中心位置に基づいて、各候補動作の第２の予測値を修正する。

【0058】

一実施形態として、第１の深さマップによって指示されたターゲットオブジェクトの中心位置に基づいて、動的マスクを計算し、動的マスクと各候補動作の第２の予測値を乗算して、各候補動作の修正された第２の予測値を取得する。

【0059】

ステップ４０３では、修正された第１の予測値と修正された第２の予測値とに基づいて、各候補動作からターゲット動作を選択する。

【0060】

本実施例の一実施形態では、各候補動作の修正された第１の予測値に基づいて、修正された第１の予測値のうちの最大値を決定し、各候補動作の修正された第２の予測値に基づいて、修正された第２の予測値のうちの最大値を決定し、さらに、修正された第１の予測値の最大値と第２の予測値の最大値を比較して、最大の予測値に対応する候補動作を決定し、最大の予測値に対応する候補動作をターゲット動作とする。

【0061】

１つのシナリオでは、候補動作を「プッシュ動作」及び「把持動作」とし、「プッシュ動作」の修正された第１の予測値と「把持動作」の修正された第１の予測値とを決定し、さらに、修正された第１の予測値のうちの最大値を決定し、例えば、最大値が「プッシュ動作」の修正された第１の予測値であり、「プッシュ動作」の修正された第２の予測値と「把持動作」の修正された第２の予測値とを決定し、さらに、修正された第２の予測値のうちの最大値を決定し、例えば、最大値が「把持動作」の修正された第２の予測値である。さらに、「プッシュ動作」の修正された第１の予測値と「把持動作」の修正された第２の予測値とを比較して、大きな予測値を選択し、例えば、「プッシュ動作」の修正された第１の予測値が大きな予測値である場合、「プッシュ動作」をロボットアームのターゲット動作とする。

【0062】

本実施例のロボットアームの制御方法では、各候補動作の第１の予測値と各候補動作の第２の予測値とを修正することにより、各候補動作に対応する第１の予測値と第２の予測値の精度を向上させ、さらに修正された各候補動作の第１の予測値と第２の予測値とに基づいてターゲット動作の決定を行い、ターゲットオブジェクと隣接するオブジェクトとを離間させる策略とターゲットオブジェクトを把持する策略との協同分析を実現し、その中から最大の予測値に対応する動作を選択して目標動作として、ターゲット動作の決定の精度を向上させ、ロボットアーム衝突の確率を低減し、ロボットアーム動作の実行の信頼性を向上させ、さらに、複雑な環境における物体把持の成功率を向上させる。

【0063】

上記の実施例に基づいて、本実施例は可能な一実現形態を提供し、第１の予測ネットワークと第２の予測ネットワークの訓練方法を具体的に説明する。

【0064】

図５は本開示の実施例によって提供される別のロボットアーム制御方法の概略フローチャートであり、図５に示すように、ステップ１０４の後に以下のステップ５０１～５０４を含む。

【0065】

ステップ５０１では、ターゲット動作が実行された後のターゲットオブジェクトの第２の深さマップを収集する。

【0066】

ここで、ロボットアームを制御してターゲット動作を実行させた後、ターゲットオブジェクトの位置分布が変化するため、ターゲット動作が実行された後のターゲットオブジェクトの第２の深さマップを取得し、ここで、第２の深さマップの取得方法は、上記の実施例の説明を参照することができ、本実施例ではさらに限定されない。

【0067】

ステップ５０２では、第２の深さマップと第１の深さマップとに基づいて、分類ネットワークを用いて、ターゲット動作の第１のボーナス値を決定し、ここで、第１のボーナス値は、ロボットアームがターゲット動作を実行することにより、ターゲットオブジェクトが隣接するオブジェクトから離れる有効度を指示する。

【0068】

ここで、第１の深さマップは、ロボットアームを制御してターゲット動作を実行させる前に取得された深さマップである。

【0069】

図６に示すように、図６は本開示の実施例によって提供される分類ネットワークの概略構成図である。図６に示すように、第１の深さマップと第２の深さマップを分類ネットワークの入力とし、それぞれ１つの事前に訓練されたＶＧＧ１６ネットワークの畳み込み層によって特徴抽出を行い、抽出された第１の深さマップの特徴と第２の深さマップの特徴とに対してチャンネルスプライス操作を行って融合特徴マップを取得し、さらに、融合特徴マップが畳み込みカーネルサイズが１×１である畳み込み層を経て畳み込み特徴マップ１を取得し、さらに、畳み込み特徴マップ１を畳み込みカーネルサイズが３×３である畳み込み層に入力して畳み込み特徴マップ２を取得し、最後に、畳み込み特徴マップ２は３つの完全接続層を経て、ターゲット動作によりターゲットオブジェクトが離れる度合いを決定し、離れの度合いに基づいてターゲット動作の第１のボーナス値を決定する。

【0070】

例えば、第１のボーナス値はｒ_ｐであり、

【数1】

ここで、ｏｕｔｐｕｔ＝０はターゲット動作がターゲット物体を集約できることを示し、これはターゲット物体の成功的な把持に不利であり、このようなターゲット動作の第１のボーナス値を、－０．５の罰値として決定し、ｏｕｔｐｕｔ＝１はターゲット動作が物体を離間できることを示し、これはターゲット物体の成功的な把持に有利であり、このようなターゲット動作の第１のボーナス値を、正の０．５のボーナス値として決定する。

【0071】

ステップ５０３では、ロボットアームがターゲットオブジェクトを把持することに成功したか否かに基づいて、ターゲット動作の第２のボーナス値を決定する。

【0072】

本実施例の一実施形態では、第２のボーナス値ｒ_ｇは以下のように定義される。

【数2】

【0073】

ロボットアームがターゲット動作を実行した後、ターゲットオブジェクトの把持に成功した場合、ターゲット動作の第２のボーナス値を１．５として決定し、ロボットアームがターゲット動作を実行した後、ターゲットオブジェクトの把持に成功した場合、ターゲット動作の第２のボーナス値を０として決定する。

【0074】

ステップ５０４では、第１のボーナス値に基づいて第１の予測ネットワークを訓練し、第２のボーナス値に基づいて第２の予測ネットワークを訓練する。

【0075】

本実施例の一実施形態では、第１の予測ネットワークの損失関数は以下の通りである。

【数3】

ここで、ｒ_ｐは第１のボーナス値であり、ｓ_ｔは時刻ｔに対応する複数の深さマップと複数のカラーマップからなる状態空間であり、Ｑ_１(ｓ_ｔ,ａ_ｔ;θ)はｔ時刻の第１の予測ネットワークのターゲット動作の予測値の価値関数であり、θ_１は現在時刻ｔのネットワークパラメータであり、θ_{１ｔａｒｇｅｔ}は第１の予測ネットワークのターゲットネットワークパラメータであり、

【数4】

はｔ＋１時刻の第１の予測ネットワークのターゲット動作の予測値の価値関数であり、γは減衰因子を表す。

【0076】

第１のボーナス値で決定された損失関数に基づいて、第１の予測ネットワークのパラメータを絶えずに調整して、第１の予測ネットワークを訓練する。

【0077】

本実施例の一実施形態では、第２の予測ネットワークの損失関数は以下の通りである。

【数5】

ここで、ｒ_ｇは第２のボーナス値であり、ｓ_ｔは時刻ｔに対応する複数の深さマップと複数のカラーマップからなる状態空間であり、Ｑ_２（ｓ_ｔ，ａ_ｔ；θ_２）はｔ時刻の第２の予測ネットワークのターゲット動作の予測値の価値関数であり、θ_２は現在時刻ｔのネットワークパラメータであり、θ_{２ｔａｒｇｅｔ}は第２の予測ネットワークのターゲットネットワークパラメータであり、

【数6】

はｔ＋１時刻の第２の予測ネットワークのターゲット動作の予測値の価値関数であり、γは減衰因子を表す。

【0078】

第２のボーナス値で決定された損失関数に基づいて、第２の予測ネットワークのパラメータを絶えずに調整して、第２の予測ネットワークを訓練する。

【0079】

本実施例のロボットアーム制御方法では、第１のボーナス値と第２のボーナス値とを決定し、第１のボーナス値を用いて第１の予測ネットワークを訓練することにより、訓練して得られた第１の予測ネットワークが学習して複数の深さマップ及び複数のカラーマップと各候補動作の第１の予測値との対応関係を取得し、第２のボーナス値を用いて第２の予測ネットワークを訓練することにより、訓練して得られた第２の予測ネットワークが学習して複数の深さマップ及び複数のカラーマップと各候補動作の第２の予測値との対応関係を取得する。

【0080】

上記の実施例を実現するために、本開示はロボットアーム制御装置をさらに提案する。

【0081】

図７は本開示の実施例提によって提供されるロボットアーム制御装置の概略構成図である。

【0082】

図７に示すように、この装置は、取得モジュール７１、予測モジュール７２、決定モジュール７３及び制御モジュール７４を含む。

【0083】

取得モジュール７１は、ターゲットオブジェクトの第１の深さマップと第１のカラーマップとを取得する。

【0084】

予測モジュール７２は、前記第１の深さマップと前記第１のカラーマップとに基づいて、ロボットアームの各候補動作の第１の予測値と第２の予測値とを予測して取得し、ここで、前記第１の予測値は、前記ロボットアームが対応する候補動作を実行することにより、前記ターゲットオブジェクトが隣接するオブジェクトから離れる確率であり、前記第２の予測値は、前記ロボットアームが対応する候補動作を実行して前記ターゲットオブジェクトの把持に成功する確率である。

【0085】

決定モジュール７３は、各前記候補動作の第１の予測値と前記第２の予測値とに基づいて、ターゲット動作を決定する。

【0086】

制御モジュール７４は、前記ロボットアームを制御して前記ターゲット動作を実行させる。

【0087】

さらに、本開示の実施例の可能な一実現形態では、予測モジュール７２は、前記第１の深さマップを設定された回転方向に複数の設定された角度だけ回転させて、複数の入力深さマップを取得し、前記第１のカラーマップを前記設定された回転方向に前記複数の設定された角度だけ回転させて、複数の入力カラーマップを取得し、前記複数の入力深さマップと前記複数の入力カラーマップとを第１の予測ネットワークに入力して各前記候補動作の前記第１の予測値を予測して取得し、前記複数の入力深さマップと前記複数の入力カラーマップとを第２の予測ネットワークに入力して各前記候補動作の前記第２の予測値を予測して取得する。

【0088】

本開示の実施例の可能な一実現形態では、前記装置は、前記ターゲット動作が実行された後の前記ターゲットオブジェクトの第２の深さマップを収集するための収集モジュールと、前記第２の深さマップと前記第１の深さマップとに基づいて、分類ネットワークを用いて、前記ターゲット動作の第１のボーナス値を決定するための処理モジュールであって、前記第１のボーナス値は、前記ロボットアームが前記ターゲットを実行することにより、前記ターゲットオブジェクトが隣接するオブジェクトから離れる有効度を指示する処理モジュールと、前記ロボットアームが前記ターゲットオブジェクトを把持することに成功した否かに基づいて、前記ターゲット動作の第２のボーナス値を決定する前記決定モジュールと、前記第１のボーナス値に基づいて前記第１の予測ネットワークを訓練し、前記第２のボーナス値に基づいて前記第２の予測ネットワークを訓練するための訓練モジュールと、をさらに含む。

【0089】

本開示の実施例の可能な一実現形態では、上記処理モジュールは、分類ネットワークの特徴抽出層を用いて、前記第１の深さマップと前記第２の深さマップに対してそれぞれ特徴抽出を行い、前記第１の深さマップの特徴と前記第２の深さマップの特徴とを融合させて、第１の融合特徴を取得し、前記分類ネットワークの分類層を用いて前記第１の融合特徴に対して分類予測を行って、前記ターゲット動作の第１のボーナス値を取得する。

【0090】

本開示の実施例の可能な一実現形態では、予測モジュール７２は具体的に、前記第１の予測ネットワークの特徴抽出層を用いて、前記複数の入力深さマップと前記複数の入力カラーマップに対して特徴抽出を行い、前記複数の入力深さマップの特徴と対応する入力カラーマップの特徴とを融合させて、複数の第１の融合特徴マップを取得し、各前記第１の融合特徴マップを前記設定された回転方向の反対方向に回転させ、前記第１の予測ネットワークの予測層を用いて、反対方向に回転された後の各前記第１の融合特徴マップに対して動作予測を行って、各前記候補動作の第１の予測値を取得する。

【0091】

本開示の実施例の可能な一実現形態では、予測モジュール７２は、具体的に、前記第２の予測ネットワークの特徴抽出層を用いて、前記複数の入力深さマップと前記複数の入力カラーマップに対して特徴抽出を行い、前記複数の入力深さマップの特徴と対応する入力カラーマップの特徴とを融合させて、複数の第２の融合特徴マップを取得し、各前記第２の融合特徴マップを前記設定された回転方向の反対方向に回転させ、前記第２の予測ネットワークの予測層を用いて、反対方向に回転された後の各前記第２の融合特徴マップに対して動作予測を行って、各前記候補動作の第２の予測値を取得する。

【0092】

本開示の実施例の可能な一実現形態では、決定モジュール７３は、具体的に、前記第１の深さマップによって指示された前記ターゲットオブジェクトの輪郭に基づいて、各前記候補動作の第１の予測値を修正し、前記第１の深さマップによって指示された前記ターゲットオブジェクトの中心位置に基づいて、各前記候補動作の第２の予測値を修正し、修正された第１の予測値と修正された第２の予測値とに基づいて、各前記候補動作から前記ターゲット動作を選択する。

【0093】

本開示の実施例の可能な一実現形態では、取得モジュール７１は、具体的に、収集されたオリジナルの深さマップとオリジナルのカラーマップとを取得し、前記オリジナルの深さマップと前記オリジナルのカラーマップとを前記ロボットアーム座標系に変換して、前記ロボットアーム座標系における前記オリジナルの深さマップ及び前記オリジナルのカラーマップの各画素点に対応する３次元座標位置を取得し、各前記３次元座標位置を設定された２次元平面に投影して、各３次元座標位置に対応する２次元座標点を取得し、各前記２次元座標点の前記オリジナルの深さマップにおける対応する画素点の深さに基づいて、前記第１の深さマップを生成し、各前記２次元座標点の前記オリジナルのカラーマップにおける対応する画素点のカラーに基づいて、前記第１のカラーマップを生成する。

【0094】

本開示の実施例の可能な一実現形態では、前記設定された２次元平面は前記ロボットアーム座標系における設定された方向に沿う最小作業距離に基づいて決定される。

【0095】

なお、上記の方法の実施例の説明は、この実施例の装置にも適用され、ここでは説明を省略する。

【0096】

本実施例のロボットアーム制御装置では、ターゲットオブジェクトの第１の深さマップと第１のカラーマップとを取得し、第１の深さマップと第１のカラーマップとに基づいて、ロボットアームの各候補動作の第１の予測値と第２の予測値とを予測して取得し、ここで、第１の予測値は、ロボットアームが対応する候補動作を実行することにより、ターゲットオブジェクトが隣接するオブジェクトから離れる確率であり、第２の予測値は、ロボットアームが対応する候補動作を実行してターゲットオブジェクトの把持に成功する確率であり、各候補動作の第１の予測値と第２の予測値とに基づいて、ターゲット動作を決定し、ロボットアームを制御してターゲット動作を実行させ、本開示では各候補動作の第１の予測値と第２の予測値とを予測することにより、ターゲットオブジェクトと隣接するオブジェクトとを離間させる策略とターゲットオブジェクトを把持する策略との協同分析を実現し、その中から最大の予測値に対応する動作を選択して目標動作として、ターゲット動作の決定の精度を向上させ、ロボットアーム衝突の確率を低減し、ロボットアーム動作の実行の信頼性を向上させ、さらに、複雑な環境における物体を把持する成功率を向上させる。

【0097】

上記の実施例を実現するために、本開示の実施例は、コンピュータデバイスを提供し、メモリと、プロセッサと、メモリに記憶され、プロセッサで実行可能なコンピュータプログラムとを含み、前記プロセッサが前記コンピュータプログラムを実行する場合、上記の方法の実施例に記載のロボットアーム制御方法が実現される。

【0098】

上記の実施例を実現するために、本開示の実施例は、コンピュータプログラムが記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、当該コンピュータプログラムがプロセッサによって実行される場合、上記の方法の実施例に記載のロボットアーム制御方法が実現される。

【0099】

上記の実施例を実現するために、本開示の実施例は、コンピュータプログラム製品を提供し、前記コンピュータプログラム製品における命令はプロセッサによって実行される場合、上記の方法の実施例に記載のロボットアーム制御方法を実行する。

【0100】

上記の実施例を実現するために、本開示の実施例は、コンピュータプログラムコードが含まれるコンピュータプログラムを提供し、前記コンピュータプログラムコードがコンピュータ上で実行される場合、コンピュータに上記の方法の実施例に記載のロボットアーム制御方法を実行させる。

【0101】

なお、上記の方法の実施例の説明は、上記の実施例のコンピュータデバイス、非一時的なコンピュータ読み取り可能な記憶媒体、コンピュータプログラム製品、及びコンピュータプログラムにも適用され、ここでは説明を省略する。

【0102】

図８は本開示の実施形態を実現するための例示的なコンピュータデバイスのブロック図を示す。図８に示されるコンピュータデバイス１２は単なる一例であり、本開示の実施例の機能および使用範囲を何ら限定すべきではない。

【0103】

図８に示すように、コンピュータデバイス１２は汎用コンピューティングデバイスの形態で表現される。コンピュータデバイス１２のコンポーネントは、１つまたは複数のプロセッサまたは処理ユニット１６と、メモリ２８と、異なるシステムコンポーネント（メモリ２８および処理ユニット１６を含む）を接続するバス１８とを含むことができるが、これら限定されない。

【0104】

バス１８は、メモリバスまたはメモリコントローラ、周辺バス、グラフィックアクセラレータポート、プロセッサ、または複数のバス構造のうちの任意のバス構造を使用するローカルバスを含む、いくつかのクラスのバス構造のうちの１つまたは複数を表す。例えば、これらのアーキテクチャは、業界標準アーキテクチャ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、以下：ＩＳＡと略称する）バス、マイクロチャネルアーキテクチャ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ、以下：ＭＡＣと略称する）バス、拡張ＩＳＡバス、ビデオ電子規格協会（Ｖｉｄｅ
ｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ、以下：ＶＥＳＡと略称する）ローカルバス及び周辺コンポーネント相互接続（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔｉｏｎ、以下：ＰＣＩと略称する）バスを含むが、これらに限定されない。

【0105】

コンピュータデバイス１２は、様々なコンピュータシステム読み取り可能な媒体を含む。これらの媒体は、コンピュータデバイス１２によってアクセス可能な任意の利用可能な媒体であってもよく、揮発性媒体、不揮発性媒体、取り外し可能な媒体、および取り外し不能な媒体を含む。

【0106】

メモリ２８は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、以下ＲＡＭと略称する）３０および／またはキャッシュメモリ３２のような揮発性メモリの形態のコンピュータシステム読み取り可能な媒体を含むことができる。コンピュータデバイス１２は、他の取り外し可能／取り外し不能な、揮発性／不揮発性コンピュータシステム記憶媒体をさらに含むことができる。単なる例として、記憶システム３４は、取り外し不能な不揮発性の磁気媒体（図８には示されていないが、通常「ハードディスクドライブ」と呼ばれる）を読み書くことができる。図８には図示していないが、取り外し可能な不揮発性ディスク（例えば、「フロッピーディスク」）を読み書くためのディスクドライブ、および取り外し可能な不揮発性ディスク（例えば、光ディスク読み取り専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、以下、ＣＤ－ＲＯＭと略称する）、デジタル多機能読み取り専用ディスク（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、以下、ＤＶＤ－ＲＯＭと略称する）または他の光媒体）を読み書くための光ディスクドライブが提供されることができる。これらの場合、各ドライブは、１つまたは複数のデータ媒体インターフェースを介してバス１８に接続することができる。メモリ２８は、本開示の各実施形態の機能を実行するように構成される１組（例えば、少なくとも１つ）のプログラムモジュールを備える少なくとも１つのプログラム製品を含むことができる。

【0107】

１組（少なくとも１つ）のプログラムモジュール４２を備えるプログラム／ユーティリティ４０は、例えばメモリ２８に記憶されてもよく、このようなプログラムモジュール４２は、オペレーティングシステム、１つまたは複数のアプリケーション、その他のプログラムモジュール、およびプログラムデータを含むが、これらに限定されず、これらの例のそれぞれまたはいくつかの組み合わせにネットワーク環境の実装が含まれる可能性がある。プログラムモジュール４２は、通常、本開示に記載の実施例の機能および／または方法を実行する。

【0108】

コンピュータデバイス１２は、１つまたは複数の外部機器１４（例えば、キーボード、ポインティングデバイス、ディスプレイ２４など）と通信することができ、また、ユーザがこのコンピュータデバイス１２と対話することを可能にする１つまたは複数のデバイス、および／または、このコンピュータデバイス１２が１つまたは複数の他のコンピューティングデバイスと通信することを可能にする任意のデバイス（例えば、ネットワークカード、モデムなど）と通信することができる。このような通信は、入／出力（Ｉ／Ｏ）インターフェース２２を介して行うことができる。また、コンピュータデバイス１２は、ネットワークアダプタ２０を介して、１つまたは複数のネットワーク（例えば、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、以下：ＬＡＮと略称する）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、以下：ＷＡＮと略称する）、および／または、インターネットなどのパブリックネットワーク）と通信することもできる。図示するように、ネットワークアダプタ２０は、バス１８を介してコンピュータデバイス１２の他のモジュールと通信する。図示していないが、コンピュータデバイス１２と組み合わせて他のハードウェアおよび／またはソフトウェアモジュールを使用することができ、マイクロコード、デバイスドライブ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライブ、およびデータバックアップストレージシステムなどを含むが、これらに限定されない。

【0109】

処理ユニット１６は、メモリ２８に記憶されているプログラムを実行することにより、上記の実施例で説明された方法など、様々な機能アプリケーション及びデータ処理を実行する。

【0110】

本明細書の説明では、「１つの実施例」、「いくつかの実施例」、「例」、「具体的な例」、または「いくつかの例」などの用語を参照する説明は、当該実施例または例を併せて説明した具体的な特徴、構造、材料、または特性が、本開示の少なくとも１つの実施例または例に含まれることを意味する。本明細書では、上記用語に対する概略的な説明は必ずしも同じ実施例又は例を対象とするとは限らない。また、説明された具体的な特徴、構造、材料又は特性はいずれか或いは複数の実施例又は例において適切な方式で組み合わせることができる。さらに、互いに衝突しない限り、当業者は本明細書で説明された異なる実施例又は例、及び異なる実施例又は例の特徴を結合したり組み合わせたりすることができる。

【0111】

また、「第１」、「第２」という用語は説明目的にのみ使用され、相対的な重要性を示しまたは暗示し、示された技術的特徴の数を暗黙的に示すと理解されたくない。これにより、「第一」、「第二」と限定された特徴は、少なくとも１つの当該特徴を明示または暗黙的に含むことができる。本開示の説明では、「複数」という意味は、特に具体のな明確な限定がない限り、例えば、２つ、３つなど、少なくとも２つである。

【0112】

フローチャートまたはここで他の方式で説明された任意のプロセスまたは方法の説明は、カスタム論理機能またはプロセスを実現するためのステップを含む１つ以上の実行可能な命令のコード、モジュール、フラグメント、または部分を表すと理解することができ、本開示の実施例の当業者に理解されたいのは、本開示の好ましい実施形態の範囲は、関連する機能に従って基本的に同時に、または逆の順序で機能を実行することを含む、図示または議論された順序でなくてもよい追加の実装を含む。

【0113】

フローチャートまたはここで他の方式で説明された任意論理および／またはステップは、例えば、論理機能を実現するための実行可能な命令のシーケンシングリンスと考えられ、命令実行システム、装置、またはデバイス（例えば、コンピュータベースのシステム、プロセッサを含むシステム、または命令実行システム、装置、またはデバイスから命令をフェッチして実行できる他のシステム）のために使用し、またはこれらの命令実行システム、装置、またはデバイスを組み合わせて使用するために、具体的に任意のコンピュータ読み取り可能な媒体に実装することができる。本明細書にとっては、「コンピュータ読み取り可能な媒体」は、命令実行システム、装置またはデバイスのために使用し、またはこれらの命令実行システム、装置、またはデバイスを組み合わせて使用するために、記憶、通信、伝搬、または伝送プログラムを含むことができる任意の装置であってもよい。コンピュータ読み取り可能な媒体のより具体的な例（非網羅的リスト）は、１つまたは複数の配線を備える電気的接続部（電子機器）、ポータブルコンピュータディスクボックス（磁気機器）、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能編集可能な読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ装置、およびポータブル光ディスク読み取り専用メモリ（ＣＤＲＯＭ）を含む。また、コンピュータ読み取り可能な媒体は、プログラムを印刷することができる紙または他の適切な媒体であってもよく、例えば、紙または他の媒体を光学的に走査し、次いで編集、解釈、または必要に応じて他の適切な方式で処理することによって電子的にこのプログラムを取得してから、コンピュータメモリに記憶することができるからである。

【0114】

なお、本開示の各部は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせで実現することができる。上記の実施形態では、複数のステップまたは方法は、メモリに記憶され、適切な命令実行システムによって実行されるソフトウェアまたはファームウェアで実現することができる。例えば、ハードウェアで実現される場合は、別の実施形態で実現される場合と同様に、データ信号に対する論理機能を実現するための論理ゲート回路を有する離散論理回路、適切な組み合わせの論理ゲート回路を有する特定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など、のいずれか、またはそれらの組み合わせのような当分野の周知の技術で実現することができる。

【0115】

上記の実施例の方法を実現するために含まれるステップの全部または一部は、プログラムによって関連するハードウェアに指示して完了させることができ、このプログラムはコンピュータ読み取り可能な記憶媒体に記憶されてもよく、このプログラムが実行される時に、方法の実施例のステップの１つまたはそれらの組合せを含む。

【0116】

また、本開示の各実施形態の各機能ユニットは、１つの処理モジュールに統合されていてもよいし、各ユニットが個別に物理的に存在してもよいし、２つ以上のユニットが１つのモジュールに統合されていてもよい。上記統合されたモジュールは、ハードウェアの形態で実現してもよいし、ソフトウェア機能モジュールの形態で実現してもよい。前記統合されたモジュールがソフトウェア機能モジュールの形態で実現され、独立した製品として販売または使用される場合、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。

【0117】

上記に記載の記憶媒体は、読み取り専用メモリ、磁気ディスク、または光ディスクなどであってもよい。以上、本開示の実施例を示し、説明したが、上記の実施例は例示的なものであり、本開示に対する制限として理解されず、当業者は本開示の範囲内で上記の実施例を変更、修正、置換、及び変形することができる。

【0118】

本開示のすべての実施例は、単独で実行されてもよく、他の実施例と組み合わせて実行されてもよく、いずれも本開示の要求の保護範囲とみなされる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2023-12-04

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ロボットアーム制御方法であって、
ターゲットオブジェクトの第１の深さマップと第１のカラーマップとを取得するステップと、
前記第１の深さマップと前記第１のカラーマップとに基づいて、ロボットアームの各候補動作の第１の予測値と第２の予測値とを予測して取得するステップであって、前記第１の予測値は、前記ロボットアームが対応する候補動作を実行することにより、前記ターゲットオブジェクトが隣接するオブジェクトから離れる確率であり、前記第２の予測値は、前記ロボットアームが対応する候補動作を実行して前記ターゲットオブジェクトの把持に成功する確率であるステップと、
各前記候補動作の第１の予測値と前記第２の予測値とに基づいて、ターゲット動作を決定するステップと、
前記ロボットアームを制御して前記ターゲット動作を実行させるステップと、を含む、
ロボットアーム制御方法。

【請求項2】

前記第１の深さマップと前記第１のカラーマップとに基づいて、ロボットアームの各候補動作の第１の予測値と第２の予測値とを予測して取得するステップは、
前記第１の深さマップを設定された回転方向に複数の設定された角度だけ回転させて、複数の入力深さマップを取得するステップと、
前記第１のカラーマップを前記設定された回転方向に前記複数の設定された角度だけ回転させて、複数の入力カラーマップを取得するステップと、
前記複数の入力深さマップと前記複数の入力カラーマップとを第１の予測ネットワークに入力して各前記候補動作の前記第１の予測値を予測して取得するステップと、
前記複数の入力深さマップと前記複数の入力カラーマップとを第２の予測ネットワークに入力して各前記候補動作の前記第２の予測値を予測して取得するステップと、を含む、
請求項１に記載のロボットアーム制御方法。

【請求項3】

前記ターゲット動作が実行された後の前記ターゲットオブジェクトの第２の深さマップを収集するステップと、
前記第２の深さマップと前記第１の深さマップとに基づいて、分類ネットワークを用いて、前記ターゲット動作の第１のボーナス値を決定するステップであって、前記第１のボーナス値は、前記ロボットアームが前記ターゲットを実行することにより、前記ターゲットオブジェクトが隣接するオブジェクトから離れる有効度を指示するステップと、
前記ロボットアームが前記ターゲットオブジェクトを把持することに成功したか否かに基づいて、前記ターゲット動作の第２のボーナス値を決定するステップと、
前記第１のボーナス値に基づいて前記第１の予測ネットワークを訓練し、前記第２のボーナス値に基づいて前記第２の予測ネットワークを訓練するステップと、をさらに含む、
請求項１記載のロボットアーム制御方法。

【請求項4】

前記第２の深さマップと前記第１の深さマップとに基づいて、分類ネットワークを用いて、前記ターゲット動作の第１のボーナス値を決定するステップは、
分類ネットワークの特徴抽出層を用いて、前記第１の深さマップと前記第２の深さマップに対してそれぞれ特徴抽出を行うステップと、
前記第１の深さマップの特徴と前記第２の深さマップの特徴とを融合させて、第１の融合特徴を取得するステップと、
前記分類ネットワークの分類層を用いて前記第１の融合特徴に対して分類予測を行って、前記ターゲット動作の第１のボーナス値を取得するステップと、を含む、
請求項３に記載のロボットアーム制御方法。

【請求項5】

前記複数の入力深さマップと前記複数の入力カラーマップとを第１の予測ネットワークに入力して各前記候補動作の前記第１の予測値を予測して取得するステップは、
前記第１の予測ネットワークの特徴抽出層を用いて、前記複数の入力深さマップと前記複数の入力カラーマップに対して特徴抽出を行い、前記複数の入力深さマップの特徴と対応する入力カラーマップの特徴とを融合させて、複数の第１の融合特徴マップを取得するステップと、
各前記第１の融合特徴マップを前記設定された回転方向の反対方向に回転させるステップと、
前記第１の予測ネットワークの予測層を用いて、反対方向に回転された後の各前記第１の融合特徴マップに対して動作予測を行って、各前記候補動作の第１の予測値を取得するステップと、を含む、
請求項２に記載のロボットアーム制御方法。

【請求項6】

前記複数の入力深さマップと前記複数の入力カラーマップとを第２の予測ネットワークに入力して各前記候補動作の前記第２の予測値を予測して取得するステップは、
前記第２の予測ネットワークの特徴抽出層を用いて、前記複数の入力深さマップと前記複数の入力カラーマップに対して特徴抽出を行い、前記複数の入力深さマップの特徴と対応する入力カラーマップの特徴とを融合させて、複数の第２の融合特徴マップを取得するステップと、
各前記第２の融合特徴マップを前記設定された回転方向の反対方向に回転させるステップと、
前記第２の予測ネットワークの予測層を用いて、反対方向に回転された後の各前記第２の融合特徴マップに対して動作予測を行って、各前記候補動作の第２の予測値を取得するステップと、を含む、
請求項２に記載のロボットアーム制御方法。

【請求項7】

前記各前記候補動作の第１の予測値と前記第２の予測値とに基づいて、ターゲット動作を決定するステップは、
前記第１の深さマップによって指示された前記ターゲットオブジェクトの輪郭に基づいて、各前記候補動作の第１の予測値を修正するステップと、
前記第１の深さマップによって指示された前記ターゲットオブジェクトの中心位置に基づいて、各前記候補動作の第２の予測値を修正するステップと、
修正された第１の予測値と修正された第２の予測値とに基づいて、各前記候補動作から前記ターゲット動作を選択するステップと、を含む、
請求項１に記載のロボットアーム制御方法。

【請求項8】

前記ターゲットオブジェクトの第１の深さマップと第１のカラーマップとを取得するステップは、
収集されたオリジナルの深さマップとオリジナルのカラーマップとを取得するステップと、
前記オリジナルの深さマップと前記オリジナルのカラーマップとをロボットアーム座標系に変換して、前記ロボットアーム座標系における前記オリジナルの深さマップ及び前記オリジナルのカラーマップの各画素点に対応する３次元座標位置を取得するステップと、
各前記３次元座標位置を設定された２次元平面に投影して、各３次元座標位置に対応する２次元座標点を取得するステップと、
各前記２次元座標点の前記オリジナルの深さマップにおける対応する画素点の深さに基づいて、前記第１の深さマップを生成するステップと、
各前記２次元座標点の前記オリジナルのカラーマップにおける対応する画素点のカラーに基づいて、前記第１のカラーマップを生成するステップと、を含む、
請求項１に記載のロボットアーム制御方法。

【請求項9】

前記設定された２次元平面は、前記ロボットアーム座標系における設定された方向に沿う最小作業距離に基づいて決定される、
請求項８に記載のロボットアーム制御方法。

【請求項10】

ロボットアーム制御装置であって、
ターゲットオブジェクトの第１の深さマップと第１のカラーマップとを取得するための取得モジュールと、
前記第１の深さマップと前記第１のカラーマップとに基づいて、ロボットアームの各候補動作の第１の予測値と第２の予測値とを予測して取得するための予測モジュールであって、前記第１の予測値は、前記ロボットアームが対応する候補動作を実行することにより、前記ターゲットオブジェクトが隣接するオブジェクトから離れる確率であり、前記第２の予測値は、前記ロボットアームが対応する候補動作を実行して前記ターゲットオブジェクトの把持に成功する確率である予測モジュールと、
各前記候補動作の第１の予測値と前記第２の予測値とに基づいて、ターゲット動作を決定するための決定モジュールと、
前記ロボットアームを制御して前記ターゲット動作を実行させるための制御モジュールと、を含む、
ロボットアーム制御装置。

【請求項11】

電子機器であって、
メモリと、プロセッサと、メモリに記憶され、プロセッサで実行可能なコンピュータプログラムとを含み、前記プロセッサが前記コンピュータプログラムを実行する場合、請求項１～９のいずれかに記載のロボットアーム制御方法が実現される、
電子機器。

【請求項12】

コンピュータプログラムが記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行される場合、請求項１～９のいずれかに記載のロボットアーム制御方法が実現される、
非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項13】

コンピュータプログラムコードが含まれるコンピュータプログラムであって、
前記コンピュータプログラムコードがコンピュータ上て実行される場合、コンピュータに請求項１～９のいずれかに記載のロボットアーム制御方法を実行させる、
コンピュータプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００２

【補正方法】変更

【補正の内容】

【0002】

本開示は人工知能技術の分野に関し、具体的にコンピュータビジョン技術の分野に関し、より具体的にはロボットアーム制御方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムに関する。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００４

【補正方法】変更

【補正の内容】

【0004】

本開示は把持成功率を向上させるロボットアーム制御方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムを提供する。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正の内容】

【0007】

本開示の別の態様の実施例によれば、電子機器を提供し、メモリと、プロセッサと、メモリに記憶され、プロセッサで実行可能なコンピュータプログラムを含み、前記プロセッサが前記コンピュータプログラムを実行する場合、上記の一態様の実施例に記載のロボットアーム制御方法が実現される。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】０００９

【補正方法】削除

【補正の内容】

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００１３

【補正方法】変更

【補正の内容】

【0013】

本開示の上記及び／又は付加的な特徴及び利点は、図面を参照した、実施例に対する以下の説明によって明らかになり且つ理解しやすくなる。

【図1】本開示の実施例によって提供されるロボットアーム制御方法の概略フローチャートである。

【図2】本開示の実施例によって提供される別のロボットアーム制御方法の概略フローチャートである。

【図3】本開示の実施例によって提供される予測ネットワークの概略構成図である。

【図4】本開示の実施例によって提供される別のロボットアーム制御方法の概略フローチャートである。

【図5】本開示の実施例によって提供される別のロボットアーム制御方法の概略フローチャートである。

【図6】本開示の実施例によって提供される分類ネットワークの概略構成図である。

【図7】本開示の実施例によって提供されるロボットアーム制御装置の概略構成図である。

【図8】本開示の実施形態を実現するための例示的な電子機器のブロック図である。

【手続補正7】

【補正対象書類名】明細書

【補正対象項目名】００４８

【補正方法】変更

【補正の内容】

【0048】

ここで、第２の予測ネットワークは特徴抽出層、特徴融合層、予測層及び動的最適化層からなる。

【手続補正8】

【補正対象書類名】明細書

【補正対象項目名】００７３

【補正方法】変更

【補正の内容】

【0073】

ロボットアームがターゲット動作を実行した後、ターゲットオブジェクトの把持に成功した場合、ターゲット動作の第２のボーナス値を１．５として決定し、ロボットアームがターゲット動作を実行した後、ターゲットオブジェクトの把持に失敗した場合、ターゲット動作の第２のボーナス値を０として決定する。

【手続補正9】

【補正対象書類名】明細書

【補正対象項目名】００９７

【補正方法】変更

【補正の内容】

【0097】

上記の実施例を実現するために、本開示の実施例は、電子機器を提供し、メモリと、プロセッサと、メモリに記憶され、プロセッサで実行可能なコンピュータプログラムとを含み、前記プロセッサが前記コンピュータプログラムを実行する場合、上記の方法の実施例に記載のロボットアーム制御方法が実現される。

【手続補正10】

【補正対象書類名】明細書

【補正対象項目名】００９９

【補正方法】削除

【補正の内容】

【手続補正11】

【補正対象書類名】明細書

【補正対象項目名】０１０１

【補正方法】変更

【補正の内容】

【0101】

なお、上記の方法の実施例の説明は、上記の実施例の電子機器、非一時的なコンピュータ読み取り可能な記憶媒体、及びコンピュータプログラムにも適用され、ここでは説明を省略する。

【手続補正12】

【補正対象書類名】明細書

【補正対象項目名】０１０２

【補正方法】変更

【補正の内容】

【0102】

図８は本開示の実施形態を実現するための例示的な電子機器のブロック図を示す。図８に示される電子機器１２は単なる一例であり、本開示の実施例の機能および使用範囲を何ら限定すべきではない。

【手続補正13】

【補正対象書類名】明細書

【補正対象項目名】０１０３

【補正方法】変更

【補正の内容】

【0103】

図８に示すように、電子機器１２は汎用コンピューティングデバイスの形態で表現される。電子機器１２のコンポーネントは、１つまたは複数のプロセッサまたは処理ユニット１６と、メモリ２８と、異なるシステムコンポーネント（メモリ２８および処理ユニット１６を含む）を接続するバス１８とを含むことができるが、これら限定されない。

【手続補正14】

【補正対象書類名】明細書

【補正対象項目名】０１０５

【補正方法】変更

【補正の内容】

【0105】

電子機器１２は、様々なコンピュータシステム読み取り可能な媒体を含む。これらの媒体は、電子機器１２によってアクセス可能な任意の利用可能な媒体であってもよく、揮発性媒体、不揮発性媒体、取り外し可能な媒体、および取り外し不能な媒体を含む。

【手続補正15】

【補正対象書類名】明細書

【補正対象項目名】０１０６

【補正方法】変更

【補正の内容】

【0106】

メモリ２８は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、以下ＲＡＭと略称する）３０および／またはキャッシュメモリ３２のような揮発性メモリの形態のコンピュータシステム読み取り可能な媒体を含むことができる。電子機器１２は、他の取り外し可能／取り外し不能な、揮発性／不揮発性コンピュータシステム記憶媒体をさらに含むことができる。単なる例として、記憶システム３４は、取り外し不能な不揮発性の磁気媒体（図８には示されていないが、通常「ハードディスクドライブ」と呼ばれる）を読み書くことができる。図８には図示していないが、取り外し可能な不揮発性ディスク（例えば、「フロッピーディスク」）を読み書くためのディスクドライブ、および取り外し可能な不揮発性ディスク（例えば、光ディスク読み取り専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、以下、ＣＤ－ＲＯＭと略称する）、デジタル多機能読み取り専用ディスク（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、以下、ＤＶＤ－ＲＯＭと略称する）または他の光媒体）を読み書くための光ディスクドライブが提供されることができる。これらの場合、各ドライブは、１つまたは複数のデータ媒体インターフェースを介してバス１８に接続することができる。メモリ２８は、本開示の各実施形態の機能を実行するように構成される１組（例えば、少なくとも１つ）のプログラムモジュールを備える少なくとも１つのプログラムを含むことができる。

【手続補正16】

【補正対象書類名】明細書

【補正対象項目名】０１０８

【補正方法】変更

【補正の内容】

【0108】

電子機器１２は、１つまたは複数の外部機器１４（例えば、キーボード、ポインティングデバイス、ディスプレイ２４など）と通信することができ、また、ユーザがこの電子機器１２と対話することを可能にする１つまたは複数のデバイス、および／または、この電子機器１２が１つまたは複数の他のコンピューティングデバイスと通信することを可能にする任意のデバイス（例えば、ネットワークカード、モデムなど）と通信することができる。このような通信は、入／出力（Ｉ／Ｏ）インターフェース２２を介して行うことができる。また、電子機器１２は、ネットワークアダプタ２０を介して、１つまたは複数のネットワーク（例えば、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、以下：ＬＡＮと略称する）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、以下：ＷＡＮと略称する）、および／または、インターネットなどのパブリックネットワーク）と通信することもできる。図示するように、ネットワークアダプタ２０は、バス１８を介して電子機器１２の他のモジュールと通信する。図示していないが、電子機器１２と組み合わせて他のハードウェアおよび／またはソフトウェアモジュールを使用することができ、マイクロコード、デバイスドライブ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライブ、およびデータバックアップストレージシステムなどを含むが、これらに限定されない。

【国際調査報告】