知財求人 - 知財ポータルサイト「IP Force」
▶ シェンチェン センスタイム テクノロジー カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-22
(54)【発明の名称】データ処理方法及び関連装置
(51)【国際特許分類】
G06T 7/11 20170101AFI20221215BHJP
【ＦＩ】
G06T7/11
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022523730
(86)(22)【出願日】2019-12-20
(85)【翻訳文提出日】2022-04-21
(86)【国際出願番号】 CN2019127043
(87)【国際公開番号】W WO2021082229
(87)【国際公開日】2021-05-06
(31)【優先権主張番号】201911053659.2
(32)【優先日】2019-10-31
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】518209698
【氏名又は名称】シェンチェン センスタイム テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100169823
【弁理士】
【氏名又は名称】吉澤 雄郎
(72)【発明者】
【氏名】チョウ タオ
(72)【発明者】
【氏名】ユ シンヤオ
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096AA09
5L096BA05
5L096CA02
5L096DA01
5L096FA32
5L096FA67
5L096FA69
5L096JA11
5L096MA07
(57)【要約】
本開示は、データ処理方法及び関連装置に関する。この方法は、少なくとも１つの位置確認対象物体を含む処理対象点群を取得すること（１０１）と、前記処理対象点群から、互いに異なる少なくとも２つの目標領域を決定し、前記目標領域における点の初期法線ベクトルに基づいて、前記目標領域における点の法線ベクトルを有意法線ベクトルに調整すること（１０２）と、前記目標領域の有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、少なくとも１つの分割領域を得ること（１０３）と、前記少なくとも１つの分割領域における点の三次元位置に基づいて、前記位置確認対象物体の基準点の三次元位置を取得すること（１０４）と、を含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
少なくとも１つの位置確認対象物体を含む処理対象点群を取得することと、前記処理対象点群から、互いに異なる少なくとも２つの目標領域を決定し、前記目標領域における点の初期法線ベクトルに基づいて、前記目標領域における点の法線ベクトルを有意法線ベクトルに調整することと、
前記目標領域の有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、少なくとも１つの分割領域を得ることと、
前記少なくとも１つの分割領域における点の三次元位置に基づいて、前記位置確認対象物体の基準点の三次元位置を取得することと、を含むデータ処理方法。
【請求項2】
前記少なくとも２つの目標領域は、第１目標領域と第２目標領域とを含み、前記初期法線ベクトルは、第１初期法線ベクトルと第２初期法線ベクトルとを含み、前記有意法線ベクトルは、第１有意法線ベクトルと第２有意法線ベクトルとを含み、前記した、前記目標領域における点の初期法線ベクトルに基づいて、前記目標領域における点の法線ベクトルを有意法線ベクトルに調整することは、
前記第１目標領域における点の前記第１初期法線ベクトルに基づいて、前記第１目標領域における点の法線ベクトルを前記第１有意法線ベクトルに調整し、前記第２目標領域における点の前記第２初期法線ベクトルに基づいて、前記第２目標領域における点の法線ベクトルを前記第２有意法線ベクトルに調整することを含むことを特徴とする請求項１に記載のデータ処理方法。
【請求項3】
前記した、前記目標領域の有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、少なくとも１つの分割領域を得ることは、前記第１有意法線ベクトルと前記第２有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、前記少なくとも１つの分割領域を得ることを含むことを特徴とする請求項２に記載のデータ処理方法。
【請求項4】
前記した、前記第１目標領域における点の前記第１初期法線ベクトルに基づいて、前記第１目標領域における点の法線ベクトルを前記第１有意法線ベクトルに調整することは、前記第１目標領域における点の前記第１初期法線ベクトルに対してクラスタリング処理を行って、少なくとも１つのクラスタを得ることと、
前記少なくとも１つのクラスタのうち、含まれる前記第１初期法線ベクトルの数が最も多いクラスタを目標クラスタとし、前記目標クラスタ内の前記第１初期法線ベクトルに基づいて、前記第１有意法線ベクトルを決定することと、
前記第１目標領域における点の法線ベクトルを前記第１有意法線ベクトルに調整することと、を含むことを特徴とする請求項２又は３に記載のデータ処理方法。
【請求項5】
前記した、前記第１初期法線ベクトルに対してクラスタリング処理を行って、少なくとも１つのクラスタを得ることは、前記第１目標領域における点の第１初期法線ベクトルを、ベクトルの値の区間である少なくとも１つの所定区間のいずれか一つにマッピングすることと、
含まれる前記第１初期法線ベクトルの数が最も多い前記所定区間を目標所定区間とすることと、
前記目標所定区間に含まれる前記第１初期法線ベクトルに基づいて、前記第１有意法線ベクトルを決定することと、を含むことを特徴とする請求項４に記載のデータ処理方法。
【請求項6】
前記した、前記目標所定区間に含まれる前記第１初期法線ベクトルに基づいて、前記第１有意法線ベクトルを決定することは、前記目標所定区間内の前記第１初期法線ベクトルの平均値を前記第１有意法線ベクトルとして決定すること、又は、
前記目標所定区間内の前記第１初期法線ベクトルの中央値を前記第１有意法線ベクトルとして決定することを含むことを特徴とする請求項５に記載のデータ処理方法。
【請求項7】
前記した、前記第１有意法線ベクトルと前記第２有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、前記少なくとも１つの分割領域を得ることは、前記第１有意法線ベクトルに垂直な平面への前記第１目標領域の投影を決定し、第１投影平面を取得することと、
前記第２有意法線ベクトルに垂直な平面への前記第２目標領域の投影を決定し、第２投影平面を取得することと、
前記第１投影平面と前記第２投影平面に対して分割処理を行って、前記少なくとも１つの分割領域を得ることと、を含むことを特徴とする請求項３～６のいずれか１項に記載のデータ処理方法。
【請求項8】
前記した、前記第１投影平面と前記第２投影平面に対して分割処理を行って、前記少なくとも１つの分割領域を得ることは、前記第１投影平面における任意の１点を開始点とし、第１所定値を半径として第１近傍領域を設定することと、
前記第１近傍領域において前記開始点との類似度が第１閾値以上である点を目標点として決定することと、
前記目標点と前記開始点を含む領域を分割領域とし、前記少なくとも１つの分割領域を取得することと、を含むことを特徴とする請求項７に記載のデータ処理方法。
【請求項9】
前記した、前記少なくとも１つの分割領域における点の三次元位置に基づいて、前記位置確認対象物体の基準点の三次元位置を取得することは、前記少なくとも１つの分割領域のうちの目標分割領域における点の三次元位置の第１平均値を決定することと、
前記第１平均値に基づいて前記位置確認対象物体の基準点の三次元位置を決定することと、を含むことを特徴とする請求項１～８のいずれか１項に記載のデータ処理方法。
【請求項10】
前記した、前記少なくとも１つの分割領域における点の三次元位置の第１平均値を決定した後、さらに、前記目標分割領域における点の法線ベクトルの第２平均値を決定することと、
前記位置確認対象物体のモデル点群であって、初期三次元位置が前記第１平均値であり、ピッチ角が前記第２平均値により決定されるモデル点群を取得することと、
前記目標分割領域の座標系が前記モデル点群の座標系と一致するように前記目標分割領域を移動し、第１回転行列及び／又は第１平行移動量を取得することと、
前記第１回転行列及び／又は第１平行移動量、前記目標分割領域の法線ベクトルに基づいて、前記位置確認対象物体の姿勢角を取得することと、を含むことを特徴とする請求項９に記載のデータ処理方法。
【請求項11】
前記目標分割領域の座標系が前記モデル点群の座標系と一致している場合、前記目標分割領域における点が前記モデル点群の基準点と一致するように前記目標分割領域を移動し、前記目標分割領域の基準位置を取得することと、前記基準位置での前記目標分割領域と前記モデル点群との一致度を決定することと、
一致度の最大値に対応する基準位置を目標基準位置とすることと、
前記目標基準位置での前記目標分割領域における点の三次元位置の第３平均値を第１調整後の前記位置確認対象物体の基準点の三次元位置として決定することをさらに含むことを特徴とする請求項１０に記載のデータ処理方法。
【請求項12】
前記した、前記基準位置での前記目標分割領域と前記モデル点群との一致度を決定することは、前記基準位置での前記目標分割領域における第１点と、前記モデル点群において前記第１点に最も近い第２点との間の距離を決定することと、
前記距離が第２閾値以下である場合、前記基準位置の一致度指標を第２所定値だけ増加させることと、
前記一致度と正の相関関係にある前記一致度指標に基づいて前記一致度を決定することと、を含むことを特徴とする請求項１１に記載のデータ処理方法。
【請求項13】
前記モデル点群の基準点の三次元位置を前記第３平均値に調整することと、前記第１点と、基準点の三次元位置が前記第３平均値である場合のモデル点群において前記第１点に最も近い点である前記モデル点群内の第３点との間の距離が第３閾値以下となるように前記目標基準位置での前記目標分割領域を回転及び／又は平行移動することにより、第２回転行列及び／又は第２平行移動量を取得することと、
前記第２回転行列及び／又は前記第２平行移動量に基づいて、前記位置確認対象物体の基準点の三次元位置を調整して、第２調整後の前記位置確認対象物体の基準点の三次元位置を取得し、前記第２回転行列及び／又は前記第２平行移動量に基づいて、前記位置確認対象物体の姿勢角を調整して、調整後の前記位置確認対象物体の姿勢角を取得することと、をさらに含むことを特徴とする請求項１１又は１２に記載のデータ処理方法。
【請求項14】
前記位置確認対象物体の基準点の三次元位置と前記位置確認対象物体の姿勢角をロボット座標系での把持三次元位置と把持姿勢角に変換することと、ロボットハンドモデル及び前記ロボットハンドモデルの初期ポーズを取得することと、
前記把持三次元位置、前記把持姿勢角、前記ロボットハンドモデル及び前記ロボットハンドモデルの初期ポーズに基づいて、前記点群において前記ロボットハンドによる前記位置確認対象物体の把持の把持経路を得ることと、
前記把持経路において前記位置確認対象物体に属さない点の数が第４閾値以上である場合、前記位置確認対象物体を把持不可物体として決定することと、をさらに含むことを特徴とする請求項１０～１３のいずれか１項に記載のデータ処理方法。
【請求項15】
前記した、前記処理対象点群から少なくとも２つの目標領域を決定することは、前記点群内の少なくとも２つの目標点を決定することと、
前記少なくとも２つの目標点のそれぞれを球心とし、第３所定値を半径として前記少なくとも２つの目標領域を設定することと、を含むことを特徴とする請求項１～１４のいずれか１項に記載のデータ処理方法。
【請求項16】
前記した、処理対象点群を取得することは、前記少なくとも１つの位置確認対象物体が存在するシーンの点群を含む第１点群と、前記少なくとも１つの位置確認対象物体及び前記少なくとも１つの位置確認対象物体が存在するシーンの点群を含む第２点群とを取得することと、
前記第１点群と前記第２点群において同じデータを決定することと、
前記第２点群から前記同じデータを除去して、前記処理対象点群を得ることと、を含むことを特徴とする請求項１～１５のいずれか１項に記載のデータ処理方法。
【請求項17】
前記基準点は、質量中心、重心、幾何学的中心のうちの一つであることを特徴とする請求項１～１６のいずれか１項に記載のデータ処理方法。
【請求項18】
少なくとも１つの位置確認対象物体を含む処理対象点群を取得する取得ユニットと、前記処理対象点群から、互いに異なる少なくとも２つの目標領域を決定し、前記目標領域における点の初期法線ベクトルに基づいて、前記目標領域における点の法線ベクトルを有意法線ベクトルに調整する調整ユニットと、
前記目標領域の有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、少なくとも１つの分割領域を得る分割処理ユニットと、
前記少なくとも１つの分割領域における点の三次元位置に基づいて、前記位置確認対象物体の基準点の三次元位置を取得する第１処理ユニットと、を含むデータ処理装置。
【請求項19】
前記少なくとも２つの目標領域は、第１目標領域と第２目標領域とを含み、前記初期法線ベクトルは、第１初期法線ベクトルと第２初期法線ベクトルとを含み、前記有意法線ベクトルは、第１有意法線ベクトルと第２有意法線ベクトルとを含み、前記調整ユニットは、
前記第１目標領域における点の前記第１初期法線ベクトルに基づいて、前記第１目標領域における点の法線ベクトルを前記第１有意法線ベクトルに調整し、前記第２目標領域における点の前記第２初期法線ベクトルに基づいて、前記第２目標領域における点の法線ベクトルを前記第２有意法線ベクトルに調整することに用いられることを特徴とする請求項１８に記載のデータ処理装置。
【請求項20】
前記分割処理ユニットは、前記第１有意法線ベクトルと前記第２有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、前記少なくとも１つの分割領域を得ることに用いられることを特徴とする請求項１９に記載のデータ処理装置。
【請求項21】
前記調整ユニットは、前記第１目標領域における点の前記第１初期法線ベクトルに対してクラスタリング処理を行って、少なくとも１つのクラスタを得ることと、
前記少なくとも１つのクラスタのうち、含まれる前記第１初期法線ベクトルの数が最も多いクラスタを目標クラスタとし、前記目標クラスタ内の前記第１初期法線ベクトルに基づいて、前記第１有意法線ベクトルを決定することと、
前記第１目標領域における点の法線ベクトルを前記第１有意法線ベクトルに調整することとに用いられることを特徴とする請求項１９又は２０に記載のデータ処理装置。
【請求項22】
前記調整ユニットは、具体的に、前記第１目標領域における点の第１初期法線ベクトルを、ベクトルを示す所定区間であって、示されるベクトルが互いに異なる少なくとも１つの所定区間のいずれか一つにマッピングすることと、
含まれる前記第１初期法線ベクトルの数が最も多い前記所定区間を目標所定区間とすることと、
前記目標所定区間に含まれる前記第１初期法線ベクトルに基づいて、前記第１有意法線ベクトルを決定することとに用いられることを特徴とする請求項２１に記載のデータ処理装置。
【請求項23】
前記調整ユニットは、具体的に、前記目標所定区間内の前記第１初期法線ベクトルの平均値を前記第１有意法線ベクトルとして決定すること、又は、
前記目標所定区間内の前記第１初期法線ベクトルの中央値を前記第１有意法線ベクトルとして決定することに用いられることを特徴とする請求項２２に記載のデータ処理装置。
【請求項24】
前記分割処理ユニットは、前記第１有意法線ベクトルに垂直な平面への前記第１目標領域の投影を決定し、第１投影平面を取得することと、
前記第２有意法線ベクトルに垂直な平面への前記第２目標領域の投影を決定し、第２投影平面を取得することと、
前記第１投影平面と前記第２投影平面に対して分割処理を行って、前記少なくとも１つの分割領域を得ることとに用いられることを特徴とする請求項２０～２３のいずれか１項に記載のデータ処理装置。
【請求項25】
前記分割処理ユニットは、具体的に、前記第１投影平面と前記第２投影平面における任意の１点を開始点とし、第１所定値を半径として第１近傍領域を設定することと、
前記第１近傍領域において前記開始点との間の類似度が第１閾値以上である点を目標点として決定することと、
前記目標点と前記開始点を含む領域を分割領域とし、前記少なくとも１つの分割領域を取得することとに用いられることを特徴とする請求項２４に記載のデータ処理装置。
【請求項26】
前記第１処理ユニットは、前記少なくとも１つの分割領域のうちの目標分割領域における点の三次元位置の第１平均値を決定することと、
前記第１平均値に基づいて前記位置確認対象物体の基準点の三次元位置を決定することとに用いられることを特徴とする請求項１８～２５のいずれか１項に記載のデータ処理装置。
【請求項27】
前記した、前記少なくとも１つの分割領域における点の三次元位置の第１平均値を決定した後、前記目標分割領域における点の法線ベクトルの第２平均値を決定する決定ユニットと、前記位置確認対象物体のモデル点群であって、初期三次元位置が前記第１平均値であり、ピッチ角が前記第２平均値により決定されるモデル点群を取得することにさらに用いられる前記取得ユニットと、
前記目標分割領域の座標系が前記モデル点群の座標系と一致するように前記目標分割領域を移動し、第１回転行列及び／又は第１平行移動量を取得する移動ユニットと、
前記第１回転行列及び／又は第１平行移動量、前記目標分割領域の法線ベクトルに基づいて、前記位置確認対象物体の姿勢角を取得する前記第１処理ユニットとをさらに含むことを特徴とする請求項２６に記載のデータ処理装置。
【請求項28】
前記移動ユニットはさらに、前記目標分割領域の座標系が前記モデル点群の座標系と一致している場合、前記目標分割領域における点が前記モデル点群の基準点と一致するように前記目標分割領域を移動し、前記目標分割領域の基準位置を取得することに用いられ、前記決定ユニットはさらに、前記基準位置での前記目標分割領域と前記モデル点群との一致度を決定することに用いられ、
前記決定ユニットはさらに、一致度の最大値に対応する基準位置を目標基準位置とすることに用いられ、
前記第１処理ユニットは、前記目標基準位置での前記目標分割領域における点の三次元位置の第３平均値を第１調整後の前記位置確認対象物体の基準点の三次元位置として決定することに用いられることを特徴とする請求項２７に記載のデータ処理装置。
【請求項29】
前記決定ユニットは、具体的に、前記基準位置での前記目標分割領域における第１点と、前記モデル点群において前記第１点に最も近い第２点との間の距離を決定することと、
前記距離が第２閾値以下である場合、前記基準位置の一致度指標を第２所定値だけ増加させることと、
前記一致度と正の相関関係にある前記一致度指標に基づいて前記一致度を決定することとに用いられることを特徴とする請求項２８に記載のデータ処理装置。
【請求項30】
前記調整ユニットはさらに、前記モデル点群の基準点の三次元位置を前記第３平均値に調整することに用いられ、前記装置は、
前記第１点と、基準点の三次元位置が前記第３平均値である場合のモデル点群において前記第１点に最も近い点である前記モデル点群内の第３点との間の距離が第３閾値以下となるように前記目標基準位置での前記目標分割領域を回転及び／又は平行移動することにより、第２回転行列及び／又は第２平行移動量を取得する第２処理ユニットと、
前記第２回転行列及び／又は前記第２平行移動量に基づいて、前記位置確認対象物体の基準点の三次元位置を調整して、第２調整後の前記位置確認対象物体の基準点の三次元位置を取得し、前記第２回転行列及び／又は前記第２平行移動量に基づいて、前記位置確認対象物体の姿勢角を調整して、調整後の前記位置確認対象物体の姿勢角を取得することにさらに用いられる前記第１処理ユニットと、をさらに含むことを特徴とする請求項２８又は２９に記載のデータ処理装置。
【請求項31】
前記位置確認対象物体の基準点の三次元位置と前記位置確認対象物体の姿勢角をロボット座標系での把持三次元位置と把持姿勢角に変換する変換ユニットと、ロボットハンドモデル及び前記ロボットハンドモデルの初期ポーズを取得することにさらに用いられる前記取得ユニットと、
前記把持三次元位置、前記把持姿勢角、前記ロボットハンドモデル及び前記ロボットハンドモデルの初期ポーズに基づいて、前記点群において前記ロボットハンドによる前記位置確認対象物体の把持の把持経路を得ることにさらに用いられる前記第１処理ユニットと、
前記把持経路において前記位置確認対象物体に属さない点の数が第４閾値以上である場合、前記位置確認対象物体を把持不可物体として決定することにさらに用いられる前記決定ユニットと、をさらに含むことを特徴とする請求項２７～２９のいずれか１項に記載のデータ処理装置。
【請求項32】
前記調整ユニットは、前記点群内の少なくとも２つの目標点を決定することと、
前記少なくとも２つの目標点のそれぞれを球心とし、第３所定値を半径として前記少なくとも２つの目標領域を設定することとに用いられることを特徴とする請求項１８～３１のいずれか１項に記載のデータ処理装置。
【請求項33】
前記取得ユニットは、前記少なくとも１つの位置確認対象物体が存在するシーンの点群を含む第１点群と、前記少なくとも１つの位置確認対象物体及び前記少なくとも１つの位置確認対象物体が存在するシーンの点群を含む第２点群とを取得することと、
前記第１点群と前記第２点群において同じデータを決定することと、
前記第２点群から前記同じデータを除去して、前記処理対象点群を得ることとに用いられることを特徴とする請求項１８～３２のいずれか１項に記載のデータ処理装置。
【請求項34】
前記基準点は、質量中心、重心、幾何学的中心のうちの一つであることを特徴とする請求項１８～３３のいずれか１項に記載のデータ処理装置。
【請求項35】
請求項１～１７のいずれか１項に記載のデータ処理方法を実行することを特徴とするプロセッサ。
【請求項36】
プロセッサと、送信装置と、入力装置と、出力装置と、コンピュータプログラムコードを記憶するためのメモリとを備え、前記コンピュータプログラムコードにコンピュータ命令が含まれ、前記コンピュータ命令が前記プロセッサにより実行されると、請求項１～１７のいずれか１項に記載のデータ処理方法を実行させることを特徴とする電子機器。
【請求項37】
コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムにプログラム命令が含まれ、前記プログラム命令が電子機器のプロセッサにより実行されると、請求項１～１７のいずれか１項に記載のデータ処理方法を前記プロセッサに実行させることを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項38】
コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器において動作すると、前記電子機器のプロセッサに請求項１～１７のいずれか１項に記載のデータ処理方法をを実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本願は、２０１９年１０月３１日に中国国家知識産権局に提出された、出願番号が２０１９１１０５３６５９．２で、発明の名称が「データ処理方法及び関連装置」である中国特許出願の優先権を主張し、その内容全体が援用により本願に組み込まれる。
【技術分野】
【0002】
本開示は、人工知能技術の分野に関し、特にデータ処理方法及び関連装置に関する。
【背景技術】
【0003】
ロボットに関する研究の進行と様々な面での需要の大幅な増加に伴い、ロボットの適用分野は広がっていき、例えばロボットによって収容枠内に積み重ねられる物体を把持する。積み重ねられる物体をロボットによって把持する場合、まず、把持対象物体の空間における位置と姿勢（以下、ポーズという）を識別する必要があり、次に、識別されたポーズに基づいて把持対象物体を把持する。従来の方法では、画像から特徴点を抽出し、その後、この画像と予め設定された基準画像との特徴マッチングを行ってマッチングした特徴点を取得し、マッチングした特徴点に基づいてカメラ座標系での把持対象物体の位置を決定し、さらに、カメラのキャリブレーションパラメータに基づいて物体のポーズを解析して取得する。
【発明の概要】
【0004】
本開示は、データ処理方法及び関連装置を提供する。
【0005】
第１の方面では、少なくとも１つの位置確認対象物体を含む処理対象点群を取得することと、前記処理対象点群から、互いに異なる少なくとも２つの目標領域を決定し、前記目標領域における点の初期法線ベクトルに基づいて、前記目標領域における点の法線ベクトルを有意法線ベクトルに調整することと、前記目標領域の有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、少なくとも１つの分割領域を得ることと、前記少なくとも１つの分割領域における点の三次元位置に基づいて、前記位置確認対象物体の基準点の三次元位置を取得することと、を含むデータ処理方法を提供する。
【0006】
この方面では、目標領域の有意法線ベクトルに基づいて点群に対して分割処理を行うことによって、分割正確率を向上させる。よって、分割により得られた分割領域における点の三次元位置に基づいて位置確認対象物体の基準点の三次元位置を決定する場合、位置確認対象物体の基準点の三次元位置の精度を向上させることができる。
【0007】
可能な一実現形態では、前記少なくとも２つの目標領域は、第１目標領域と第２目標領域とを含み、前記初期法線ベクトルは、第１初期法線ベクトルと第２初期法線ベクトルとを含み、前記有意法線ベクトルは、第１有意法線ベクトルと第２有意法線ベクトルとを含み、前記した、前記目標領域における点の初期法線ベクトルに基づいて、前記目標領域における点の法線ベクトルを有意法線ベクトルに調整することは、前記第１目標領域における点の前記第１初期法線ベクトルに基づいて、前記第１目標領域における点の法線ベクトルを前記第１有意法線ベクトルに調整し、前記第２目標領域における点の前記第２初期法線ベクトルに基づいて、前記第２目標領域における点の法線ベクトルを前記第２有意法線ベクトルに調整することを含む。
【0008】
この可能な実現形態では、後続の処理で各目標領域の法線ベクトルに基づいて処理対象点群に対して分割処理を行うように、上記少なくとも２つの目標領域のそれぞれについて、１つの有意法線ベクトルを決定する。
【0009】
別の可能な実現形態では、前記した、前記目標領域の有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、少なくとも１つの分割領域を得ることは、前記第１有意法線ベクトルと前記第２有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、前記少なくとも１つの分割領域を得ることを含む。
【0010】
この可能な実現形態では、異なる目標領域の有意法線ベクトルに基づいて処理対象点群に対して分割処理を行うことによって、分割精度を向上させ、取得した位置確認対象物体の基準点の三次元位置の精度を向上させる。
【0011】
別の可能な実現形態では、前記した、前記第１目標領域における点の前記第１初期法線ベクトルに基づいて、前記第１目標領域における点の法線ベクトルを前記第１有意法線ベクトルに調整することは、前記第１目標領域における点の前記第１初期法線ベクトルに対してクラスタリング処理を行って、少なくとも１つのクラスタを得ることと、前記少なくとも１つのクラスタのうち、含まれる前記第１初期法線ベクトルの数が最も多いクラスタを目標クラスタとし、前記目標クラスタ内の前記第１初期法線ベクトルに基づいて、前記第１有意法線ベクトルを決定することと、前記第１目標領域における点の法線ベクトルを前記第１有意法線ベクトルに調整することと、を含む。
【0012】
この可能な実現形態では、第１目標領域における点の法線ベクトルを第１有意法線ベクトルに調整することによって、第１目標領域におけるノイズの後の処理での影響を低減し、取得した位置確認対象物体のポーズの精度を向上させる。
【0013】
別の可能な実現形態では、前記した、前記第１初期法線ベクトルに対してクラスタリング処理を行って、少なくとも１つのクラスタを得ることは、前記第１目標領域における点の第１初期法線ベクトルを、ベクトルを示す所定区間であって、示されるベクトルが互いに異なる少なくとも１つの所定区間のいずれか一つにマッピングすることと、含まれる前記第１初期法線ベクトルの数が最も多い前記所定区間を目標所定区間とすることと、前記目標所定区間に含まれる前記第１初期法線ベクトルに基づいて、前記第１有意法線ベクトルを決定することと、を含む。
【0014】
別の可能な実現形態では、前記した、前記目標所定区間に含まれる前記第１初期法線ベクトルに基づいて、前記第１有意法線ベクトルを決定することは、前記目標所定区間内の前記第１初期法線ベクトルの平均値を前記第１有意法線ベクトルとして決定すること、又は、前記目標所定区間内の前記第１初期法線ベクトルの中央値を前記第１有意法線ベクトルとして決定することを含む。
【0015】
別の可能な実現形態では、前記した、前記第１有意法線ベクトルと前記第２有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、前記少なくとも１つの分割領域を得ることは、前記第１有意法線ベクトルに垂直な平面への前記第１目標領域の投影を決定し、第１投影平面を取得することと、前記第２有意法線ベクトルに垂直な平面への前記第２目標領域の投影を決定し、第２投影平面を取得することと、前記第１投影平面と前記第２投影平面に対して分割処理を行って、前記少なくとも１つの分割領域を得ることと、を含む。
【0016】
第１投影平面と第２投影平面との間の距離が第１目標領域と第２目標領域との間の距離より大きいため、この可能な実現形態では、第１目標領域と第２目標領域を投影することによって、第１目標領域と第２目標領域との間の距離を「大きくする」効果を達成し、分割処理の正確率を向上させる。
【0017】
別の可能な実現形態では、前記した、前記第１投影平面と前記第２投影平面に対して分割処理を行って、前記少なくとも１つの分割領域を得ることは、前記第１投影平面と前記第２投影平面における任意の１点を開始点とし、第１所定値を半径として第１近傍領域を設定することと、前記第１近傍領域において前記開始点との類似度が第１閾値以上である点を目標点として決定することと、前記目標点と前記開始点を含む領域を分割領域とし、前記少なくとも１つの分割領域を取得することと、を含む。
【0018】
別の可能な実現形態では、前記した、前記少なくとも１つの分割領域における点の三次元位置に基づいて、前記位置確認対象物体の基準点の三次元位置を取得することは、前記少なくとも１つの分割領域のうちの目標分割領域における点の三次元位置の第１平均値を決定することと、前記第１平均値に基づいて前記位置確認対象物体の基準点の三次元位置を決定することと、を含む。
【0019】
別の可能な実現形態では、前記した、前記少なくとも１つの分割領域における点の三次元位置の第１平均値を決定した後、前記方法は、前記目標分割領域における点の法線ベクトルの第２平均値を決定することと、前記位置確認対象物体のモデル点群であって、初期三次元位置が前記第１平均値であり、ピッチ角が前記第２平均値により決定されるモデル点群を取得することと、前記目標分割領域の座標系が前記モデル点群の座標系と一致するように前記目標分割領域を移動し、第１回転行列及び／又は第１平行移動量を取得することと、前記第１回転行列及び／又は第１平行移動量、前記目標分割領域の法線ベクトルに基づいて、前記位置確認対象物体の姿勢角を取得することと、をさらに含む。
【0020】
この可能な実現形態では、目標分割領域の物体座標系がモデル点群の物体座標系と一致するように目標分割領域を回転及び／又は移動して、位置確認対象物体のヨー角を決定することにより、位置確認対象物体のヨー角の精度を向上させたり位置確認対象物体の基準点の三次元位置を補正したりすることができ、且つ位置確認対象物体のヨー角に基づいて位置確認対象物体の姿勢を決定することができる。
【0021】
別の可能な実現形態では、前記方法は、前記目標分割領域の座標系が前記モデル点群の座標系と一致している場合、前記目標分割領域における点が前記モデル点群の基準点と一致するように前記目標分割領域を移動し、前記目標分割領域の基準位置を取得することと、前記基準位置での前記目標分割領域と前記モデル点群との一致度を決定することと、一致度の最大値に対応する基準位置を目標基準位置とすることと、前記目標基準位置での前記目標分割領域における点の三次元位置の第３平均値を第１調整後の前記位置確認対象物体の基準点の三次元位置として決定することをさらに含む。
【0022】
この可能な実現形態では、目標分割領域とモデル点群との間の一致度に基づいて、第１調整後の位置確認対象物体の基準点の三次元位置を取得して、位置確認対象物体の基準点の三次元位置に対する補正を実現する。
【0023】
別の可能な実現形態では、前記した、前記基準位置での前記目標分割領域と前記モデル点群との一致度を決定することは、前記基準位置での前記目標分割領域における第１点と、前記モデル点群において前記第１点に最も近い第２点との間の距離を決定することと、前記距離が第２閾値以下である場合、前記基準位置の一致度指標を第２所定値だけ増加させることと、前記一致度と正の相関関係にある前記一致度指標に基づいて前記一致度を決定することと、を含む。
【0024】
別の可能な実現形態では、前記方法は、前記モデル点群の基準点の三次元位置を前記第３平均値に調整することと、前記第１点と、基準点の三次元位置が前記第３平均値である場合のモデル点群において前記第１点に最も近い点である前記モデル点群内の第３点との間の距離が第３閾値以下となるように前記目標基準位置での前記目標分割領域を回転及び／又は平行移動することにより、第２回転行列及び／又は第２平行移動量を取得することと、前記第２回転行列及び／又は前記第２平行移動量に基づいて、前記位置確認対象物体の基準点の三次元位置を調整して、第２調整後の前記位置確認対象物体の基準点の三次元位置を取得し、前記第２回転行列及び／又は前記第２平行移動量に基づいて、前記位置確認対象物体の姿勢角を調整して、調整後の前記位置確認対象物体の姿勢角を取得することと、をさらに含む。
【0025】
この可能な実現形態では、前記目標基準位置での前記目標分割領域を回転及び／又は平行移動して、目標分割領域の基準点の三次元位置と目標分割領域の姿勢角を補正し、第２調整後の位置確認対象物体の基準点の三次元位置と調整後の位置確認対象物体の姿勢角を得ることにより、位置確認対象物体のポーズを補正する効果を達成する。
【0026】
別の可能な実現形態では、前記方法は、前記位置確認対象物体の基準点の三次元位置と前記位置確認対象物体の姿勢角をロボット座標系での把持三次元位置と把持姿勢角に変換することと、ロボットハンドモデル及び前記ロボットハンドモデルの初期ポーズを取得することと、前記把持三次元位置、前記把持姿勢角、前記ロボットハンドモデル及び前記ロボットハンドモデルの初期ポーズに基づいて、前記点群において前記ロボットハンドによる前記位置確認対象物体の把持の把持経路を得ることと、前記把持経路において前記位置確認対象物体に属さない点の数が第４閾値以上である場合、前記位置確認対象物体を把持不可物体として決定することと、をさらに含む。
【0027】
この可能な実現形態では、把持経路において位置確認対象物体に属さない点の数を特定することにより、把持経路に「障害物」が存在するか否かを特定することができ、さらに位置確認対象物体が把持可能物体であるか否かを特定することができる。このように、ロボットハンドによる位置確認対象物体の把持の成功率を向上させ、把持経路に存在する「障害物」に起因して位置確認対象物体を把持するときに事故が発生する確率を減少させることができる。
【0028】
別の可能な実現形態では、前記した、前記処理対象点群から少なくとも２つの目標領域を決定することは、前記点群内の少なくとも２つの目標点を決定することと、前記少なくとも２つの目標点のそれぞれを球心とし、第３所定値を半径として前記少なくとも２つの目標領域を設定することと、を含む。
【0029】
別の可能な実現形態では、前記した、処理対象点群を取得することは、前記少なくとも１つの位置確認対象物体が存在するシーンの点群を含む第１点群と、前記少なくとも１つの位置確認対象物体及び前記少なくとも１つの位置確認対象物体が存在するシーンの点群を含む第２点群とを取得することと、前記第１点群と前記第２点群において同じデータを決定することと、前記第２点群から前記同じデータを除去して、前記処理対象点群を得ることと、を含む。
【0030】
この可能な実現形態では、第１点群と第２点群において同じデータを決定し、かつ第２点群から上記同じデータを除去して処理対象点群を得ることによって、後続処理でのデータ処理量を低減し、処理速度を向上させる。
【0031】
別の可能な実現形態では、前記基準点は、質量中心、重心、幾何学的中心のうちの一つである。
【0032】
第２の方面では、少なくとも１つの位置確認対象物体を含む処理対象点群を取得する取得ユニットと、
前記処理対象点群から、互いに異なる少なくとも２つの目標領域を決定し、前記目標領域における点の初期法線ベクトルに基づいて、前記目標領域における点の法線ベクトルを有意法線ベクトルに調整する調整ユニットと、
前記目標領域の有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、少なくとも１つの分割領域を得る分割処理ユニットと、
前記少なくとも１つの分割領域における点の三次元位置に基づいて、前記位置確認対象物体の基準点の三次元位置を取得する第１処理ユニットとを含むデータ処理装置を提供する。
前記処理対象点群から、互いに異なる少なくとも２つの目標領域を決定し、前記目標領域における点の初期法線ベクトルに基づいて、前記目標領域における点の法線ベクトルを有意法線ベクトルに調整する調整ユニットと、
前記目標領域の有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、少なくとも１つの分割領域を得る分割処理ユニットと、
前記少なくとも１つの分割領域における点の三次元位置に基づいて、前記位置確認対象物体の基準点の三次元位置を取得する第１処理ユニットとを含むデータ処理装置を提供する。
【0033】
可能な一実現形態では、前記少なくとも２つの目標領域は、第１目標領域と第２目標領域とを含み、前記初期法線ベクトルは、第１初期法線ベクトルと第２初期法線ベクトルとを含み、前記有意法線ベクトルは、第１有意法線ベクトルと第２有意法線ベクトルとを含み、前記調整ユニットは、前記第１目標領域における点の前記第１初期法線ベクトルに基づいて、前記第１目標領域における点の法線ベクトルを前記第１有意法線ベクトルに調整し、前記第２目標領域における点の前記第２初期法線ベクトルに基づいて、前記第２目標領域における点の法線ベクトルを前記第２有意法線ベクトルに調整することに用いられる。
【0034】
別の可能な実現形態では、前記分割処理ユニットは、前記第１有意法線ベクトルと前記第２有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、前記少なくとも１つの分割領域を得ることに用いられる。
【0035】
別の可能な実現形態では、前記調整ユニットは、前記第１目標領域における点の前記第１初期法線ベクトルに対してクラスタリング処理を行って、少なくとも１つのクラスタを得ることと、前記少なくとも１つのクラスタのうち、含まれる前記第１初期法線ベクトルの数が最も多いクラスタを目標クラスタとし、前記目標クラスタ内の前記第１初期法線ベクトルに基づいて、前記第１有意法線ベクトルを決定することと、前記第１目標領域における点の法線ベクトルを前記第１有意法線ベクトルに調整することとに用いられる。
【0036】
別の可能な実現形態では、前記調整ユニットは、具体的に、前記第１目標領域における点の第１初期法線ベクトルを、ベクトルを示す所定区間であって、示されるベクトルが互いに異なる少なくとも１つの所定区間のいずれか一つにマッピングすることと、前記第１初期法線ベクトルの数が最も多い前記所定区間を目標所定区間とすることと、前記目標所定区間に含まれる前記第１初期法線ベクトルに基づいて、前記第１有意法線ベクトルを決定することとに用いられる。
【0037】
別の可能な実現形態では、前記調整ユニットは、具体的に、前記目標所定区間内の前記第１初期法線ベクトルの平均値を前記第１有意法線ベクトルとして決定すること、又は、前記目標所定区間内の前記第１初期法線ベクトルの中央値を前記第１有意法線ベクトルとして決定することに用いられる。
【0038】
別の可能な実現形態では、前記分割処理ユニットは、前記第１有意法線ベクトルに垂直な平面への前記第１目標領域の投影を決定し、第１投影平面を取得することと、前記第２有意法線ベクトルに垂直な平面への前記第２目標領域の投影を決定し、第２投影平面を取得することと、前記第１投影平面と前記第２投影平面に対して分割処理を行って、前記少なくとも１つの分割領域を得ることとに用いられる。
【0039】
別の可能な実現形態では、前記分割処理ユニットは、具体的に、前記第１投影平面と前記第２投影平面における任意の１点を開始点とし、第１所定値を半径として第１近傍領域を設定することと、前記第１近傍領域において前記開始点との間の類似度が第１閾値以上である点を目標点として決定することと、前記目標点と前記開始点を含む領域を分割領域とし、前記少なくとも１つの分割領域を取得することとに用いられる。
【0040】
別の可能な実現形態では、前記第１処理ユニットは、前記少なくとも１つの分割領域のうちの目標分割領域における点の三次元位置の第１平均値を決定することと、前記第１平均値に基づいて前記位置確認対象物体の基準点の三次元位置を決定することとに用いられる。
【0041】
別の可能な実現形態では、前記装置は、前記した、前記少なくとも１つの分割領域における点の三次元位置の第１平均値を決定した後、前記目標分割領域における点の法線ベクトルの第２平均値を決定する決定ユニットと、前記位置確認対象物体のモデル点群であって、初期三次元位置が前記第１平均値であり、ピッチ角が前記第２平均値により決定されるモデル点群を取得することに用いられる前記取得ユニットと、前記目標分割領域の座標系が前記モデル点群の座標系と一致するように前記目標分割領域を移動し、第１回転行列及び／又は第１平行移動量を取得する移動ユニットと、前記第１回転行列及び／又は第１平行移動量、前記目標分割領域の法線ベクトルに基づいて、前記位置確認対象物体の姿勢角を取得する前記第１処理ユニットとをさらに含む。
【0042】
別の可能な実現形態では、前記移動ユニットはさらに、前記目標分割領域の座標系が前記モデル点群の座標系と一致している場合、前記目標分割領域における点が前記モデル点群の基準点と一致するように前記目標分割領域を移動し、前記目標分割領域の基準位置を取得することに用いられ、前記決定ユニットはさらに、前記基準位置での前記目標分割領域と前記モデル点群との一致度を決定することに用いられ、前記決定ユニットはさらに、一致度の最大値に対応する基準位置を目標基準位置とすることに用いられ、前記第１処理ユニットは、前記目標基準位置での前記目標分割領域における点の三次元位置の第３平均値を第１調整後の前記位置確認対象物体の基準点の三次元位置として決定するすることに用いられる。
【0043】
別の可能な実現形態では、前記決定ユニットは、具体的に、前記基準位置での前記目標分割領域における第１点と、前記モデル点群において前記第１点に最も近い第２点との間の距離を決定することと、前記距離が第２閾値以下である場合、前記基準位置の一致度指標を第２所定値だけ増加させることと、前記一致度と正の相関関係にある前記一致度指標に基づいて前記一致度を決定することとに用いられる。
【0044】
別の可能な実現形態では、前記調整ユニットはさらに、前記モデル点群の基準点の三次元位置を前記第３平均値に調整することに用いられ、前記装置は、前記第１点と、基準点の三次元位置が前記第３平均値である場合のモデル点群において前記第１点に最も近い点である前記モデル点群内の第３点との間の距離が第３閾値以下となるように前記目標基準位置での前記目標分割領域を回転及び／又は平行移動することにより、第２回転行列及び／又は第２平行移動量を取得する第２処理ユニットと、前記第２回転行列及び／又は前記第２平行移動量に基づいて、前記位置確認対象物体の基準点の三次元位置を調整して、第２調整後の前記位置確認対象物体の基準点の三次元位置を取得し、前記第２回転行列及び／又は前記第２平行移動量に基づいて、前記位置確認対象物体の姿勢角を調整して、調整後の前記位置確認対象物体の姿勢角を取得することにさらに用いられる前記第１処理ユニットと、をさらに含む。
【0045】
別の可能な実現形態では、前記装置は、前記位置確認対象物体の基準点の三次元位置と前記位置確認対象物体の姿勢角をロボット座標系での把持三次元位置と把持姿勢角に変換する変換ユニットと、ロボットハンドモデル及び前記ロボットハンドモデルの初期ポーズを取得することにさらに用いられる前記取得ユニットと、前記把持三次元位置、前記把持姿勢角、前記ロボットハンドモデル及び前記ロボットハンドモデルの初期ポーズに基づいて、前記点群において前記ロボットハンドによる前記位置確認対象物体の把持の把持経路を得ることにさらに用いられる前記第１処理ユニットと、前記把持経路において前記位置確認対象物体に属さない点の数が第４閾値以上である場合、前記位置確認対象物体を把持不可物体として決定することにさらに用いられる前記決定ユニットとをさらに含む。
【0046】
別の可能な実現形態では、前記調整ユニットは、前記点群内の少なくとも２つの目標点を決定することと、前記少なくとも２つの目標点のそれぞれを球心とし、第３所定値を半径として前記少なくとも２つの目標領域を設定することとに用いられる。
【0047】
別の可能な実現形態では、前記取得ユニットは、前記少なくとも１つの位置確認対象物体が存在するシーンの点群を含む第１点群と、前記少なくとも１つの位置確認対象物体及び前記少なくとも１つの位置確認対象物体が存在するシーンの点群を含む第２点群とを取得することと、前記第１点群と前記第２点群において同じデータを決定することと、前記第２点群から前記同じデータを除去して、前記処理対象点群を得ることとに用いられる。
【0048】
別の可能な実現形態では、前記基準点は、質量中心、重心、幾何学的中心のうちの一つである。
【0049】
第３の方面では、上記第１の方面及びその可能な実現形態のいずれかのデータ処理方法を実行するプロセッサを提供する。
【0050】
第４の方面では、プロセッサと、送信装置と、入力装置と、出力装置と、コンピュータプログラムコードを記憶するためのメモリとを備え、前記コンピュータプログラムコードにコンピュータ命令が含まれ、前記コンピュータ命令が前記プロセッサにより実行されると、上記第１の方面及びその可能な実現形態のいずれかのデータ処理方法をを実行させる電子機器を提供する。
【0051】
第５の方面では、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムにプログラム命令が含まれ、前記プログラム命令が電子機器のプロセッサにより実行されると、上記第１の方面及びその可能な実現形態のいずれかのデータ処理方法を前記プロセッサに実行させるコンピュータ読み取り可能な記憶媒体を提供する。
【0052】
第６の方面では、命令を含むコンピュータプログラム製品であって、コンピュータで動作すると、上記第１の方面及びその可能な実現形態のいずれかのデータ処理方法を前記コンピュータに実行させるコンピュータプログラム製品を提供する。
【0053】
なお、上述した概略的な説明及び次の詳細な説明は、例示的及び解釈的なものに過ぎず、本開示を限定するものではない。
【図面の簡単な説明】
【0054】
以下、本開示の実施例又は背景技術における技術的解決手段をより明確に説明するために、本開示の実施例又は背景技術に使用する必要がある図面について説明する。
ここで、本明細書の一部として組み込まれる図面は、本開示の実施例に適し、明細書と共に本開示の技術的解決手段の説明に用いられる。
ここで、本明細書の一部として組み込まれる図面は、本開示の実施例に適し、明細書と共に本開示の技術的解決手段の説明に用いられる。
【図1】本開示の実施例に係るデータ処理方法のフローの模式図である。
【図2】本開示の実施例に係る別のデータ処理方法のフローの模式図である。
【図3】本開示の実施例に係る別のデータ処理方法のフローの模式図である。
【図4】本開示の実施例に係る別のデータ処理方法のフローの模式図である。
【図5】本開示の実施例に係るデータ処理装置の構造の模式図である。
【図6】本開示の実施例に係るデータ処理装置のハードウェア構造の模式図である。
【0055】
以下、当業者が本開示の手段をよりよく理解できるように、本開示の実施例における技術的手段を、本開示の実施例における図面と併せて明確かつ完全に説明する。説明される実施例は、本開示の実施例の一部に過ぎず、その全てではないことは明らかである。本開示の実施例に基づいて、当業者が創造的な労働を行わずに得られる他の全ての実施例は、本開示の保護範囲内に含まれる。
【0056】
本開示の明細書、特許請求の範囲、及び上記図面における「第１の」、「第２の」などの用語は、異なる対象を区別するためのものであり、特定の順序を説明するためのものではない。なお、「含む」及び「有する」という用語並びにそれらの任意の変形は、排他的でない包含をカバーすることを意図している。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は設備は、挙げられたステップ又はユニットに限定されず、選択可能的に挙げられないステップ又はユニットをさらに含み、あるいは、選択可能的にこれらのプロセス、方法、製品又は設備に固有の他のステップ又はユニットをさらに含む。
【0057】
本明細書における用語「及び／又は」は、単に関連対象との関連関係を記述するものであり、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢの両方が存在し、Ｂのみが存在するという３つの場合を示してもよい。また、本明細書における用語「少なくとも１つ」は複数のうちのいずれか１つ、又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選択されたいずれか１つ又は複数の要素を含むことを示してもよい。
【0058】
本明細書において言及される「実施例」とは、実施例と合わせて説明される特定の特徴、構造又は特性が本開示の少なくとも１つの実施例に含まれ得ることを意味する。本明細書の各場所に現れる当該語句は、必ずしも同じ実施例を表すものではなく、他の実施例と相互に排他的である別個の又は代替の実施例を表すものではない。当業者は、本明細書に記載された実施例を他の実施例と組み合わせることができることを明示的にも暗黙的にも理解するであろう。
【0059】
工業分野において、組立対象部品は、通常、収容枠又は収容トレイに載置され、収容枠又は収容トレイに載置された部品を組み立てることは、組み立てプロセスの重要な部分である。手作業組み立て方法では、組立対象部品の数が膨大であるため、効率が悪く、且つ人件費も高くなる。
【0060】
組立対象部品を含む点群と予め記憶された基準点群との特徴マッチングを行うことで、組立対象部品の空間におけるポーズを決定することができるが、組立対象部品を含む点群にノイズが存在する場合、組立対象部品を含む点群と予め記憶された基準点群との特徴マッチングの精度が低下し、取得した組立対象部品のポーズの精度が低くなる。本開示の実施例に係る技術的手段によれば、組立対象部品を含む点群にノイズが存在する場合、取得した組立対象部品のポーズの精度を向上させることができる。
【0061】
本開示の実施例に係るデータ処理の技術的手段は、物体の三次元位置を決定する必要のある任意のシーンに適用することが可能である。例えば、把持対象物体をロボットハンドで把持するシーン、又は位置未知の物体の位置を確認するシーンに適用可能である。以下、本開示の実施例における図面を参照しながら本開示の実施例を説明する。
【0062】
【0063】
ステップ１０１において、少なくとも１つの位置確認対象物体を含む処理対象点群を取得する。
【0064】
本開示の実施例に開示された技術的手段の実行主体は、ユーザ側装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ちの機器、計算装置、車載装置、ウエアラブル装置等の端末装置、サーバ、又は他の目標検出装置であってもよい。いくつかの可能な実現形態では、本開示の技術的手段は、プロセッサによってメモリに記憶されているコンピュータ読み取り可能な命令を呼び出して実現されてもよい。
【0065】
本開示の実施例において、位置確認対象物体は、上記の組立対象部品を含む。処理対象点群の各点はいずれも三次元位置情報を含む。
【0066】
処理対象点群を取得する可能な一実現形態では、端末装置は、キーボード、マウス、タッチスクリーン、タッチパッド及びオーディオ入力装置等を含む入力コンポーネントを介してユーザによって入力された処理対象点群を受信することができる。携帯電話、コンピュータ、タブレットコンピュータ、サーバ等を含む第２端末装置（本開示の実施例に開示された技術的手段の実行主体以外の端末装置）から送信される処理対象点群を受信してもよい。
【0067】
本開示の実施例に開示された技術的手段の実行主体は、三次元レーザスキャナを搭載したロボットであってもよい。
【0068】
実際のシーンでは、上記少なくとも１つの位置確認対象物体が収容枠又は収容トレイ内に載置されるため、少なくとも１つの位置確認対象物体が積み重ねられた状態での点群を直接取得することが困難であるが、位置確認対象物体及び収容枠（又は収容トレイ）を含む点群を取得することができる。点群に含まれる点の数が膨大であるので、点群処理のときの計算量も非常に大きい。このため、上記少なくとも１つの位置確認対象物体を含む点群を処理すれば、計算量を減少させ、処理速度を向上させることができる。可能な一実現形態では、少なくとも１つの位置確認対象物体が存在するシーンの点群を含む第１点群と、少なくとも１つの位置確認対象物体及び少なくとも１つの位置確認対象物体が存在するシーンの点群を含む第２点群とを取得する。第１点群と第２点群において同じデータを決定する。第２点群から上記同じデータを除去して、処理対象点群を得る。ここで、第１点群を取得する可能な一実現形態では、少なくとも１つの位置確認対象物体及び少なくとも１つの位置確認対象物体が存在するシーンを三次元レーザスキャナによって走査して、第１点群を取得する。
【0069】
なお、少なくとも２つの位置確認対象物体が収容枠又は収容トレイ内に載置されるとき、特に載置順序についての要求がなく、複数の位置確認対象物体が収容枠又は収容トレイ内に任意に積み重ねられてもよい。なお、本開示では、位置確認対象物体が存在するシーンのシーン点群（すなわち、第１点群）、及び予め記憶された背景点群（すなわち、第２点群）の取得順序は、特に限定されない。
【0070】
ステップ１０２において、前記処理対象点群から、互いに異なる少なくとも２つの目標領域を決定し、前記目標領域における点の初期法線ベクトルに基づいて、前記目標領域における点の法線ベクトルを有意法線ベクトルに調整する。
【0071】
上記の少なくとも２つの目標領域のそれぞれは、少なくとも１つの点を含み、且つ上記の少なくとも２つの目標領域の和集合は、処理対象点群である。例えば、目標領域Ａは、点ａ、点ｂ、点ｃを含み、目標領域Ｂは、点ｂ、点ｃ、点ｄを含み、目標領域Ａと目標領域Ｂとの和集合は、点ａ、点ｂ、点ｃ、点ｄを含む。また、例えば、目標領域Ａは、点ａ、点ｂを含み、目標領域Ｂは、点ｃ、点ｄを含み、目標領域Ａと目標領域Ｂとの和集合は、点ａ、点ｂ、点ｃ、点ｄを含む。
【0072】
位置確認対象物体の表面は通常、滑らかな平面又は曲面であるので、ノイズが存在しない場合、処理対象点群も滑らかな平面又は曲面であるべきである。しかし、処理対象点群にノイズが存在する場合、処理対象点群において、ノイズが位置する領域が突起したり凹んだりし、すなわち、滑らかな平面又は曲面全体における突起領域又は凹み領域はノイズ領域である。滑らかな平面又は曲面において、突起領域の法線ベクトル又は凹み領域の法線ベクトルの方向が非突起領域及び非凹み領域の法線ベクトルの方向と異なり、すなわち、ノイズ領域における点の法線ベクトルの方向が非ノイズ領域における点の法線ベクトルの方向と異なることは明らかである。これにより、本開示の実施例において、処理対象点群内の点の法線ベクトルの方向によって、処理対象点群にはノイズ領域が含まれるか否かを判断する。
【0073】
ステップ１０１によって処理対象点群を取得した後、処理対象点群の各点の法線ベクトル、すなわち、各目標領域における点の初期法線ベクトルを決定することができ、目標領域における点の全て又は一部の初期法線ベクトルの方向に基づいて、目標領域にはノイズ領域が含まれるか否かを判断することができる。
【0074】
例えば、目標領域Ａには、点ａ、点ｂ、点ｃ、点ｄ、点ｅ、点ｆの６点が含まれる。点ａの法線ベクトル、点ｂの法線ベクトル、点ｃの法線ベクトル及び点ｄの法線ベクトルはいずれもカメラ座標系（座標の原点がｏ、座標系の３つの軸がそれぞれｘ、ｙ、ｚ）のｚ軸に平行なものであり、且つ点ａの法線ベクトル、点ｂの法線ベクトル、点ｃの法線ベクトル及び点ｄの法線ベクトルはいずれもカメラ座標系のｘｏｙ平面に垂直なものである。点ｅの法線ベクトルは、カメラ座標系のｚ軸とのなす角度が４５度、カメラ座標系のｘ軸とのなす角度が９０度、カメラ座標系のｙ軸とのなす角度が６０度であり、点ｅの法線ベクトルは、カメラ座標系のｚ軸とのなす角度が６０度、カメラ座標系のｘ軸とのなす角度が８０度、カメラ座標系のｙ軸とのなす角度が７０度である。点ｅの法線ベクトルの方向と点ｆの法線ベクトルの方向が、他の４点の法線ベクトルの方向と明らかに異なるため、点ｅと点ｆがノイズ領域内の点であり、点ａ、点ｂ、点ｃ及び点ｄが非ノイズ領域内の点であると判断することができる。
【0075】
処理対象点群にノイズが存在するため、処理対象点群におけるノイズ領域が突起したり凹んだりし、換言すれば、ノイズがない場合、処理対象点群は滑らかな平面又は滑らかな曲面であるべきであり、突起領域及び／又は凹み領域が存在すべきではない。よって、目標領域における点の法線ベクトルを有意法線ベクトルに調整することによって、目標領域を滑らかな平面にすることが可能である。
【0076】
処理対象点群から少なくとも２つの目標領域を決定する一実現形態では、処理対象点群から少なくとも２つの目標点を決定し、各目標点をそれぞれ球心とし、第３所定値を半径として少なくとも２つの近傍領域を設定し、すなわち、各目標点はそれぞれ１つの近傍領域に対応する。上記少なくとも２つの近傍領域を上記少なくとも２つの目標領域とし、すなわち、１つの近傍領域は１つの目標領域である。
【0077】
説明の便宜上、次に２つの目標領域を例として説明し、すなわち、上記少なくとも２つの目標領域は、第１目標領域と第２目標領域とを含む。
【0078】
処理対象点群から第１目標領域と第２目標領域を決定する一実現形態では、上記第１目標領域は、上記点群内の第４点（すなわち、上記目標点）を球心とし、第３所定値を半径として第２近傍領域を設定することにより取得することができる。上記第２目標領域は、上記点群内の第５点（すなわち、上記目標点）を球心とし、第３所定値を半径として第３近傍領域を設定することにより取得することができる。上記第４点と第５点は、処理対象点群の任意の２つの異なる点である。上記第３所定値は正数であり、選択可能的に、第３所定値は５ｍｍである。
【0079】
処理対象点群から第１目標領域と第２目標領域を決定する別の実現形態では、点群内の点の初期法線ベクトルに対してクラスタリング処理を行うことによって、第１目標領域と第２目標領域を取得することができる。
【0080】
第１目標領域と第２目標領域を取得した後、第１目標領域における点の初期法線ベクトル（以下、第１初期法線ベクトルという）に基づいて第１目標領域の第１有意法線ベクトルを決定し、第２目標領域における点の初期法線ベクトル（以下、第２初期法線ベクトルという）に基づいて第２目標領域の第２有意法線ベクトルを決定することができる。すなわち、上記の少なくとも２つの目標領域のそれぞれは１つの有意法線ベクトルに対応する。
【0081】
第１有意法線ベクトルを決定する可能な一実現形態では、第１目標領域における点の第１初期法線ベクトルに対してクラスタリング処理を行って、少なくとも１つのクラスタを得る。前記少なくとも１つのクラスタのうち、含まれる第１初期法線ベクトルの数が最も多いクラスタを目標クラスタとし、目標クラスタ内の第１初期法線ベクトルに基づいて、第１有意法線ベクトルを決定する。
【0082】
第１目標領域における点の第１初期法線ベクトルに対してクラスタリング処理を行って、少なくとも１つのクラスタを得る一実現形態では、第１目標領域における各点の第１初期法線ベクトルを少なくとも２つの所定区間のうちの一つにマッピングし、且つ含まれる第１初期法線ベクトルの数が最も多い所定区間内の第１初期法線ベクトルに基づいて第１有意法線ベクトルを決定する。
【0083】
例えば、処理対象点群内の各点の法線ベクトルはいずれも３つの方向（すなわち、ｘ軸の正方向、ｙ軸の正方向及びｚ軸の正方向）の情報を含み、法線ベクトルとｘ軸とのなす角度の範囲（－１８０度から１８０度）、法線ベクトルとｙ軸とのなす角度の範囲（－１８０度から１８０度）及び法線ベクトルとｚ軸とのなす角度の範囲（－１８０度から１８０度）をそれぞれ２つの区間（０度以上１８０度未満を一方の区間、１８０度以上－１８０度未満を他方の区間とする）に区画して８つの区間を得る。ここで、上記８つの区間のうちの１番目の区間内の法線ベクトルは、ｘ軸とのなす角度が－１８０度以上１８０度未満、ｙ軸とのなす角度が－１８０度以上１８０度未満、ｚ軸とのなす角度が－１８０度以上１８０度未満である。上記８つの区間のうちの２番目の区間内の法線ベクトルは、ｘ軸とのなす角度が－１８０度以上１８０度未満、ｙ軸とのなす角度が０度以上１８０度未満、ｚ軸とのなす角度が－１８０度以上１８０度未満である。上記８つの区間のうちの３番目の区間内の法線ベクトルは、ｘ軸とのなす角度が－１８０度以上１８０度未満、ｙ軸とのなす角度が－１８０度以上１８０度未満、ｚ軸とのなす角度が０度以上１８０度未満である。上記８つの区間のうちの４番目の区間内の法線ベクトルは、ｘ軸とのなす角度が－１８０度以上１８０度未満、ｙ軸とのなす角度が０度以上１８０度未満、ｚ軸とのなす角度が０度以上１８０度未満である。上記８つの区間のうちの５番目の区間内の法線ベクトルは、ｘ軸とのなす角度が０度以上１８０度未満、ｙ軸とのなす角度が－１８０度以上１８０度未満、ｚ軸とのなす角度が－１８０度以上１８０度未満である。上記８つの区間のうちの６番目の区間内の法線ベクトルは、ｘ軸とのなす角度が０度以上１８０度未満、ｙ軸とのなす角度が０度以上１８０度未満、ｚ軸とのなす角度が－１８０度以上１８０度未満である。上記８つの区間のうちの７番目の区間内の法線ベクトルは、ｘ軸とのなす角度が０度以上１８０度未満、ｙ軸とのなす角度が－１８０度以上１８０度未満、ｚ軸とのなす角度が０度以上１８０度未満である。上記８つの区間のうちの８番目の区間内の法線ベクトルは、ｘ軸とのなす角度が０度以上１８０度未満、ｙ軸とのなす角度が０度以上１８０度未満、ｚ軸とのなす角度が０度以上１８０度未満である。第１目標領域における点の第１初期法線ベクトルとｘ軸、ｙ軸、ｚ軸とのなす角度に基づいて、第１目標領域における全ての点の第１初期法線ベクトルを上記８つの区間のうちの一つにマッピングすることができる。例えば、第１目標領域における点ａの第１初期法線ベクトルは、ｘ軸とのなす角度が１２０度、ｙ軸とのなす角度が－３２度、ｚ軸とのなす角度が４５度であれば、点ａの第１初期法線ベクトルは７番目の区間にマッピングされる。第１目標領域における全ての点の第１初期法線ベクトルをいずれも上記８つの区間のうちの一つにマッピングした後、上記８つの区間のそれぞれの第１初期法線ベクトルの数を統計し、且つ数が最も多い区間内の第１初期法線ベクトルに基づいて第１有意法線ベクトルを決定することができる。選択可能的に、数が最も多い区間内の第１初期法線ベクトルの平均値を第１有意法線ベクトルとしてもよいし、数が最も多い区間内の第１初期法線ベクトルの中央値を第１有意法線ベクトルとしてもよく、本開示はこれを限定しない。
【0084】
第１目標領域における点の第１初期法線ベクトルに対してクラスタリング処理を行って、少なくとも１つのクラスタを得る別の実現形態では、「少数は多数に従う」という原則に従って第１有意法線ベクトルを決定することができる。例えば、第１目標領域には、５点が含まれ、そのうち、３点の第１初期法線ベクトルはいずれもベクトルａであり、２点の第１初期法線ベクトルはいずれもベクトルｂである。この場合、第１有意法線ベクトルがベクトルａであると決定することができる。
【0085】
同様に、上記可能な実現形態により上記少なくとも２つの目標領域のうちのいずれか１つの有意法線ベクトルを決定することができる。例えば、前記第２目標領域における点の前記第２初期法線ベクトルに対してクラスタリング処理を行って、少なくとも１つの第２クラスタを得、前記少なくとも１つの第２クラスタのうち、含まれる前記第２初期法線ベクトルの数が最も多い第２クラスタを第２目標クラスタとし、前記第２目標クラスタ内の前記第２初期法線ベクトルに基づいて前記第２有意法線ベクトルを決定し、前記第２目標領域における点の法線ベクトルを前記第２有意法線ベクトルに調整する。
【0086】
前記した、前記第２初期法線ベクトルに対してクラスタリング処理を行って、少なくとも１つの第２クラスタを得るの実現過程は、前記第２目標領域における点の第２初期法線ベクトルを、ベクトルの値の区間である少なくとも１つの所定区間のいずれか一つにマッピングすることと、含まれる前記第２初期法線ベクトルの数が最も多い前記所定区間を第２目標所定区間とすることと、前記第２目標所定区間に含まれる前記第２初期法線ベクトルに基づいて、前記第２有意法線ベクトルを決定することと、を含む。
【0087】
第１有意法線ベクトルと第２有意法線ベクトルを決定した後、第１目標領域における点の全て又は一部の法線ベクトルを第１初期法線ベクトルから第１有意法線ベクトルに調整し、第２目標領域における点の全て又は一部の法線ベクトルを第２初期法線ベクトルから第２有意法線ベクトルに調整することができる。このように、第１目標領域及び／又は第２目標領域における突起領域と凹み領域を滑らかな領域に変更することに相当する。
【0088】
なお、前文は第１目標領域と第２目標領域を例に説明したが、実際の応用では、目標領域の数は３又は３以上であってもよく、本開示では、目標領域の数は、特に限定されない。
【0089】
ステップ１０３において、前記目標領域の有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、少なくとも１つの分割領域を得る。
【0090】
各目標領域の有意法線ベクトルを決定した後、各目標領域の有意法線ベクトルに基づいて、処理対象点群に対して分割処理を行うことができる。可能な一実現形態では、目標領域の有意法線ベクトル間の距離に基づいて目標領域が同一の位置確認対象物体に属するか否かを決定することができる。例えば、第１有意法線ベクトルと第２有意法線ベクトルとの間の距離が第１距離閾値より小さい場合、第１目標領域と第２目標領域を同一の分割領域に振り分けることができ、すなわち、同一の位置確認対象物体に属する。第１有意法線ベクトルと第２有意法線ベクトルとの間の距離が第１距離閾値以上であれば、第１目標領域と第２目標領域を２つの異なる分割領域に振り分けることができ、すなわち、第１目標領域と第２目標領域は異なる位置確認対象物体に属する。
【0091】
本ステップにおいて、ステップ１０２で取得した有意法線ベクトルに基づいて点群を分割し、点群におけるノイズの分割精度への影響を低減して分割精度を向上させることができる。
【0092】
選択可能的に、上記分割処理は、領域拡張法（ｒｅｇｉｏｎ ｇｒｏｗｉｎｇ）、ランダムサンプルコンセンサス（ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ、ＲＡＮＳＡＣ）、凹凸性に基づく分割方法、ニューラルネットワークによる分割方法のいずれか１つによって実現されてもよく、本開示はこれを限定しない。
【0093】
ステップ１０４において、前記少なくとも１つの分割領域における点の三次元位置に基づいて、前記位置確認対象物体の基準点の三次元位置を取得する。
【0094】
本実施例において、各分割領域はいずれも１つの位置確認対象物体に対応する。前記基準点は質量中心、重心、幾何学的中心のうちの一つである。
【0095】
可能な一実現形態では、各分割領域における点の三次元位置の平均値を、位置確認対象物体の基準点の三次元位置とする。例えば、分割領域Ａにおける点の三次元位置の平均値を（ａ、ｂ、ｃ）とすると、分割領域Ａに対応する位置確認対象物体の基準点の三次元位置が（ａ、ｂ、ｃ）であると決定することができる。
【0096】
可能な別の実現形態では、各分割領域における点の三次元位置の中央値を、位置確認対象物体の基準点の三次元位置とする。例えば、分割領域Ｂにおける点の三次元位置の中央値を（ｄ、ｅ、ｆ）とすると、分割領域Ｂに対応する位置確認対象物体の基準点の三次元位置が（ｄ、ｅ、ｆ）であると決定することができる。
【0097】
本実施例において、目標領域の有意法線ベクトルに基づいて点群に対して分割処理を行うことによって、分割正確率を向上させる。よって、分割により得られた分割領域における点の三次元位置に基づいて位置確認対象物体の基準点の三次元位置を決定する場合、位置確認対象物体の基準点の三次元位置の精度を向上させることができる。
【0098】
位置確認対象物体の空間における位置を正確に確認するために、位置確認対象物体の基準点の三次元位置を決定する必要があるだけでなく、位置確認対象物体のカメラ座標系での姿勢を決定する必要もある。このため、本開示の実施例は位置確認対象物体の姿勢を決定する技術的手段をさらに提供する。
【0099】
【0100】
ステップ２０１において、前記位置確認対象物体のモデル点群を取得する。
【0101】
分割領域における点の法線ベクトルに基づいて、分割領域に対応する位置確認対象物体の法線ベクトルを決定することができる。可能な一実現形態では、分割領域における点の法線ベクトルの平均値を、分割領域に対応する位置確認対象物体の法線ベクトルとする。
【0102】
位置確認対象物体の法線ベクトルを決定すると、位置確認対象物体の１つの姿勢角を決定することができる。本開示の実施例において、位置確認対象物体の法線ベクトルを位置確認対象物体の物体座標系のｚ軸とし、位置確認対象物体の法線ベクトルに基づいて、位置確認対象物体のヨー角を決定することができる。
【0103】
可能な一実現形態では、目標分割領域における点の法線ベクトルの平均値（すなわち、第２平均値）を位置確認対象物体の法線ベクトルとして位置確認対象物体のヨー角を決定することができる。前記目標分割領域は、前記少なくとも１つの分割領域のいずれか一つである。
【0104】
位置確認対象物体がｚ軸に対して回転対称な物体でなければ、後に位置確認対象物体のポーズ（位置確認対象物体の基準点の位置及び位置確認対象物体の姿勢を含む）を用いて位置確認対象物体を把持する（例えば、ロボットハンド又はロボットを制御して位置確認対象物体を把持する）必要がある場合、位置確認対象物体のピッチ角とローリング角をさらに決定する必要があり、すなわち、位置確認対象物体の物体座標系のｘ軸とｙ軸の方向を決定する。しかし、位置確認対象物体がｚ軸に対して回転対称な物体であれば、位置確認対象物体のピッチ角とローリング角を決定せずに、位置確認対象物体に対する把持を完了することが可能である。このため、位置確認対象物体は、ｚ軸に対して回転対称な物体とする。
【0105】
取得した分割領域と実際の位置確認対象物体との間に誤差が存在する可能性があるため、分割領域に基づいて決定された位置確認対象物体のヨー角及び位置確認対象物体の基準点の三次元位置に誤差が存在する可能性がある。このため、本ステップにおいて、まず、位置確認対象物体を走査することにより取得された位置確認対象物体のモデル点群を取得する。モデル点群の基準点の三次元位置をステップ１０４で取得された目標分割領域における点の三次元位置の第１平均値とし、モデル点群の法線ベクトル（すなわち、モデル点群の物体座標系のｚ軸）を上記第２平均値とする。これにより、後にモデル点群に基づいて分割領域のヨー角の決定および目標分割領域の基準点の三次元位置の補正を行う。
【0106】
ステップ２０２において、前記目標分割領域の座標系が前記モデル点群の座標系と一致するように前記目標分割領域を移動し、第１回転行列及び／又は第１平行移動量を取得する。
【0107】
モデル点群は、位置確認対象物体を走査することにより取得されたものであり、すなわち、モデル点群の物体座標系が定められたものであり、且つ正確である。このため、目標分割領域の物体座標系がモデル点群の物体座標系と一致するように目標分割領域を移動及び／又は回転させることによって、目標分割領域のヨー角を補正するとともに目標分割領域の基準点の三次元位置を補正することができる。上記目標分割領域の座標系が上記モデル点群の座標系と一致するように目標分割領域を移動することによって、第１回転行列及び／又は第１平行移動量を取得することができる。
【0108】
ステップ２０３において、前記第１回転行列及び／又は前記第１平行移動量、前記目標分割領域の法線ベクトルに基づいて、前記位置確認対象物体の姿勢角を取得する。
【0109】
ステップ１０４で取得された第１平均値を上記第１回転行列に乗じて、第１回転後の三次元位置を取得する。第１回転後の三次元位置を上記第１平行移動量に加算すれば、補正後の目標分割領域の基準点の三次元位置を取得することができる。
【0110】
上記第２平均値を上記第１回転行列に乗じて、回転後の法線ベクトルを取得する。回転後の法線ベクトルを上記第１平行移動量に加算すれば、補正後の目標分割領域の法線ベクトルを取得して位置確認対象物体のヨー角を決定することができる。選択可能的に、位置確認対象物体がｚ軸に対して回転対称な物体であるため、位置確認対象物体のピッチ角とローリング角を任意の値に設定して位置確認対象物体の姿勢角を取得することができる。
【0111】
本実施例において、目標分割領域の物体座標系がモデル点群の物体座標系と一致するように目標分割領域を回転及び／又は移動することによって、位置確認対象物体のヨー角を決定することにより、位置確認対象物体のヨー角の精度を向上させたり位置確認対象物体の基準点の三次元位置を補正したりすることができ、位置確認対象物体のヨー角に基づいて位置確認対象物体の姿勢を決定することができる。
【0112】
実際のシーンにおいて、複数の位置確認対象物体が積み重ねられている可能性がある。このため、処理対象点群に対して分割処理を行う場合、分割誤差が存在する可能性がある。点群に対する分割精度を向上させるために、本開示の実施例は目標領域（第１目標領域と第２目標領域を含む）の有意法線ベクトルに基づいて目標領域を投影するとともに、投影により取得された平面を分割する方法を提供する。
【0113】
【0114】
ステップ３０１において、前記第１有意法線ベクトルに垂直な平面への前記第１目標領域の投影を決定し、第１投影平面を取得し、前記第２有意法線ベクトルに垂直な平面への前記第２目標領域の投影を決定し、第２投影平面を取得する。
【0115】
第１有意法線ベクトルに基づいて第１目標領域を投影し、第１投影平面を取得することができ、第２有意法線ベクトルに基づいて第２目標領域を投影し、第２投影平面を取得することができる。第１有意法線ベクトルの方向と第２有意法線ベクトルの方向とが異なる場合、第１投影平面と第２投影平面との間の距離は、第１目標領域と第２目標領域との間の距離よりも大きい。すなわち、本ステップにおいて、第１目標領域と第２目標領域を投影することにより、第１目標領域と第２目標領域との間の距離を大きくすることができる。
【0116】
ステップ３０２において、前記第１投影平面と前記第２投影平面に対して分割処理を行って、前記少なくとも１つの分割領域を得る。
【0117】
第１目標領域と第２目標領域との間の距離が小さいので、第１目標領域と第２目標領域に対して分割処理を行えば、大きな分割誤差が存在する可能性がある。例えば、同一の位置確認対象物体に属さない点を同一の分割領域に振り分ける。第１投影平面と第２投影平面との間の距離が第１目標領域と第２目標領域との間の距離より大きいので、第１投影平面と第２投影平面に対して分割処理を行えば、分割正確率を向上させることができる。
【0118】
第１投影平面と第２投影平面に対して分割処理を行う一実現形態では、前記第１投影平面と前記第２投影平面における任意の１点を開始点（以下、第１開始点という）とし、第１所定値を半径として第１近傍領域を設定する。上記第１近傍領域において上記第１開始点との間の類似度が第１閾値以上である点を第１目標点として決定する。上記第１目標点と上記第１開始点を含む領域を確認対象分割領域とする。確認対象分割領域から第１開始点と異なる第２開始点を選択し、第２開始点を中心とし、第１所定値を半径として第４近傍領域を設定する。上記第４近傍領域において上記第２開始点との間の類似度が第１閾値以上である点を第２目標点として決定する。第２目標点を確認対象分割領域内に振り分ける。投影平面において近傍領域の開始点との間の類似度が第１閾値以上である点を取得できなくなるまで、上記の開始点の選択、近傍領域の設定、目標点の取得のステップを繰り返して実行すると、確認対象分割領域を分割領域として決定する。上記第１所定値は正数である。選択可能的に、第１所定値は５ｍｍである。上記第１閾値は正数である。選択可能的に、第１閾値は８５％である。
【0119】
本実施例において、第１目標領域と第２目標領域を投影することにより、第１目標領域と第２目標領域との間の距離を大きくし、分割正確率を向上させる効果を達成し、取得した位置確認対象物体のポーズの精度を向上させる。
【0120】
本開示の実施例は、位置確認対象物体のポーズの精度を向上させる技術的手段をさらに提供する。
【0121】
【0122】
ステップ４０１において、前記目標分割領域の座標系が前記モデル点群の座標系と一致している場合、前記目標分割領域における点が前記モデル点群の基準点と一致するように前記目標分割領域を移動し、前記目標分割領域の基準位置を取得する。
【0123】
ステップ２０１で述べたように、目標分割領域と実際の位置確認対象物体との間に誤差が存在する可能性があるので、目標分割領域の基準点と実際の位置確認対象物体の基準点との間に誤差が存在する可能性もある。このため、目標分割領域の基準点の三次元位置に基づいて決定された位置確認対象物体の基準点の三次元位置の精度が低くなる。本ステップにおいて、目標分割領域の物体座標系（すなわち、ステップ２０２を実行した後に取得した目標分割領域の物体座標系）がモデル点群の物体座標系と一致している場合、目標分割領域における任意の１点がモデル点群の基準点と一致するように目標分割領域を移動し、目標分割領域の基準位置を取得することにより、その後に基準位置に基づいて目標分割領域における基準点の三次元位置を決定する。
【0124】
ステップ４０２において、前記基準位置での前記目標分割領域と前記モデル点群との一致度を決定する。
【0125】
本実施例における一致度は、目標分割領域におけるモデル点群と一致する点の数と、モデル点群の点の数との比を含む。ここで、２点間の距離と２点間の一致度とは負の相関関係にある。
【0126】
目標分割領域における点がモデル点群の基準点と順次一致するように目標分割領域を移動し、一致するごとに、モデル点群において目標分割領域における各点について距離が最も近い１点を決定し、且つ目標分割領域における各点と距離が最も近い点との間の距離を決定する。目標分割領域におけるモデル点群と一致する点の数（互いに一致する２点間の距離が第２距離閾値以下）を決定し、一致するごとに目標分割領域とモデル点群との一致度を決定することができる。選択可能的に、モデル点群において目標分割領域における各点について距離が最も近い点を決定することは、ｋｄ木（ｋ－ｄｉｍｅｎｓｉｏｎａｌ ｔｒｅｅ）、トラバーサル探索法のいずれか１つのアルゴリズムによって実現されてもよい。
【0127】
前記基準位置での目標分割領域とモデル点群との一致度を決定する可能な一実現形態では、上記基準位置での目標分割領域における第１点と、上記モデル点群において上記第１点に最も近い第２点との間の距離を決定する。上記距離が第２閾値（すなわち、上記第２距離閾値）以下である場合、上記基準位置の一致度指標を第２所定値だけ増加させる。上記一致度指標に基づいて上記一致度を決定し、前記一致度指標と前記一致度と正の相関関係にある。上記第２閾値は正数である。選択可能的に、第２閾値は０．３ｍｍである。
【0128】
上記第１点は、基準位置での目標分割領域における任意の１点である。上記第２所定値は正数である。選択可能的に、第２所定値は１である。例えば（例１）、基準位置での目標分割領域が点ａ、点ｂ、点ｃを含み、モデル点群が点ｄ、点ｅ、点ｆ、点ｇを含むと想定する。点ｄはモデル点群において点ａに最も近い点であり、且つ点ａと点ｄとの間の距離はｄ１である。点ｅはモデル点群において点ｂに最も近い点であり、且つ点ｂと点ｅとの間の距離はｄ２である。点ｆはモデル点群において点ｃに最も近い点であり、且つ点ｃと点ｆとの間の距離はｄ３である。ここで、ｄ１は第２閾値より大きい。ｄ２は第２閾値より小さく、これに応じて、一致度指標に１を加算してもよい。ｄ３は第２閾値に等しく、これに応じて、一致度指標に１を加算する。基準位置での目標分割領域とモデル点群との一致度指標は２である。
【0129】
一致するごとに一致度指標を決定した後、一致度指標の最大値に対応する目標分割領域とモデル点群との一致度が最大であると決定することができ、一致度が最大である目標分割領域における、モデル点群の基準点と一致する点の三次元位置を目標分割領域の基準点の三次元位置として決定することができる。
【0130】
例１に続いて例（例２）を挙げ、モデル点群内の基準点は点ｆであり、点ａが点ｆと一致する場合、目標分割領域とモデル点群との間の一致度指標は１であり、点ｂが点ｆと一致する場合、目標分割領域とモデル点群との間の一致度指標は１であり、点ｃが点ｆと一致する場合、目標分割領域とモデル点群との間の一致度指標は２である。この場合、一致度指標の最大値に対応する目標分割領域は、点ｃが点ｆと一致する場合の目標分割領域であり、すなわち、点ｃが点ｆと一致するように目標分割領域を移動した場合、目標分割領域とモデル点群との一致度が最大である。
【0131】
ステップ４０３において、一致度の最大値に対応する基準位置を目標基準位置とする。
【0132】
例２に続いて例を挙げ、点ｃが点ｆと一致するように目標分割領域を移動した場合の基準位置を第１基準位置とすると想定し、このとき、第１基準位置は目標基準位置である。
【0133】
ステップ４０４において、前記目標基準位置での前記目標分割領域における点の三次元位置の第３平均値を第１調整後の前記位置確認対象物体の基準点の三次元位置として決定する。
【0134】
目標基準位置での目標分割領域とモデル点群との一致度が最大であることは、目標基準位置での目標分割領域における点の三次元位置の精度が最も高いことを示す。このため、目標基準位置での目標分割領域における点の三次元位置の第３平均値を算出し、且つ第３平均値を第１調整後の位置確認対象物体の基準点の三次元位置とする。
【0135】
本実施例において、目標分割領域とモデル点群との間の一致度に基づいて、目標分割領域の目標基準位置を決定し、第１調整後の位置確認対象物体の基準点の三次元位置を決定することにより、位置確認対象物体の基準点の三次元位置の精度を向上させる効果を達成する。
【0136】
なお、実施例において、目標分割領域に対して実行された処理（以下、目標処理という）について説明したが、実際の応用では、上記少なくとも１つの分割領域のそれぞれに対して目標処理を実行することが可能であることが理解されるべきである。例えば、少なくとも１つの分割領域は、分割領域Ａと、分割領域Ｂと、分割領域Ｃとを含み、実際の応用では、分割領域Ａに対して目標処理を実行し、分割領域Ｂと分割領域Ｃに対して目標処理を実行しないようにしてもよいし、分割領域Ａと分割領域Ｂに対して目標処理を実行し、分割領域Ｃに対して目標処理を実行しないようにしてもよいし、分割領域Ａ、分割領域Ｂ及び分割領域Ｃに対して目標処理を実行してもよい。
【0137】
本開示は、位置確認対象物体のポーズの精度を向上させる別の技術的手段をさらに提供する。この技術的手段は、前記モデル点群の基準点の三次元位置を前記第３平均値に調整することと、前記第１点と、モデル点群内の第３点との間の距離が第３閾値以下となるように目標基準位置での目標分割領域を回転及び／又は平行移動することにより、第２回転行列及び／又は第２平行移動量を取得することと、前記第２回転行列及び／又は前記第２平行移動量に基づいて、前記位置確認対象物体の基準点の三次元位置を調整して、第２調整後の位置確認対象物体の基準点の三次元位置を取得し、前記第２回転行列及び／又は前記第２平行移動量に基づいて、前記位置確認対象物体の姿勢角を調整して、調整後の前記位置確認対象物体の姿勢角を取得することと、を含む。
【0138】
この技術的手段において、第１点は、目標分割領域における任意の１点であり、第３点は、基準点の三次元位置を上記第３平均値に調整した後のモデル点群において第１点に最も近い点である。上記第３閾値は正数である。選択可能的に、第３閾値は０．３ｍｍである。第１点と第３点との間の距離が第３閾値以下である場合は、目標分割領域とモデル点群との間の一致度が予想とおりであること、すなわち、目標分割領域の位置の精度が予想とおりであることを示す。第１点と第３点との間の距離が第３閾値以下となるように目標分割領域を回転及び／又は移動することにより、第２回転行列及び／又は第２平行移動量を取得することができる。取得した位置確認対象物体の基準点の三次元位置を第２回転行列に乗じて、第２回転後の三次元位置を取得する。第２回転後の三次元位置を第２平行移動量に加算し、第２調整後の位置確認対象物体の基準点の三次元位置を取得する。取得した位置確認対象物体の姿勢角（ここで、目標分割領域を回転させずに平行移動するようにしてもよい）を第２回転行列に乗じて、回転後の姿勢角を取得する。回転後の姿勢角を第２平行移動量に加算し、調整後の位置確認対象物体の姿勢角を取得する。
【0139】
本開示の実施例に係る技術的手段により位置確認対象物体のポーズを取得した後、位置確認対象物体のポーズに基づいて、ロボットハンドを制御して位置確認対象物体を把持することが可能である。しかし、実際の応用では、ロボットハンドによる位置確認対象物体の把持経路には「障害物」が存在する可能性がある。把持経路には「障害物」が存在すると、ロボットハンドの把持成功率に影響を及ぼす。そのため、本開示の実施例は、把持経路における「障害物」の検出に基づいて、位置確認対象物体を把持するか否かを決定することを提供する。
【0140】
上述した位置確認対象物体のポーズ及び調整後の位置確認対象物体のポーズはいずれも位置確認対象物体のカメラ座標系でのポーズであるが、ロボットハンドの把持経路は世界座標系での曲線である。よって、ロボットハンドの把持経路を決定するとき、位置確認対象物体のポーズ（又は調整後の位置確認対象物体のポーズ）を変換行列に乗じて位置確認対象物体の世界座標系でのポーズ（把持三次元位置及び把持姿勢角を含む）を取得することができる。ここで、変換行列は、カメラ座標系と世界座標系との間の座標系変換行列である。同時に、ロボットハンドモデル及びその初期ポーズを取得することができる。
【0141】
把持三次元位置、把持姿勢角、ロボットハンドモデル及びロボットハンドモデルの初期ポーズに基づいて、世界座標系でのロボットハンドによる位置確認対象物体の把持の把持経路を得ることができる。世界座標系でのロボットハンドによる位置確認対象物体の把持の把持経路をカメラ座標系でのロボットハンドによる位置確認対象物体の把持の把持経路に変換することにより、点群におけるロボットハンドによる位置確認対象物体の把持の把持経路を得ることができる。
【0142】
点群におけるロボットハンドによる位置確認対象物体の把持の把持経路において、位置確認対象物体に属さない点の数を決定することにより、ロボットハンドによる位置確認対象物体の把持の把持経路における「障害物」を決定する。把持経路における位置確認対象物体に属さない点の数が第４閾値以上である場合は、把持経路には「障害物」が存在することを示し、位置確認対象物体を把持することができず、すなわち、位置確認対象物体は把持不可物体である。把持経路における位置確認対象物体に属さない点の数が第４閾値より小さい場合は、把持経路には「障害物」が存在しないことを示し、位置確認対象物体を把持することができ、すなわち、位置確認対象物体は把持可能物体である。上記第４閾値は正の整数である。選択可能的に、第４閾値は５である。
【0143】
把持経路における位置確認対象物体に属さない点の数を決定することにより、把持経路に「障害物」が存在するか否かを決定することができ、位置確認対象物体が把持可能物体であるか否かを決定することができる。このように、ロボットハンドが位置確認対象物体を把持する成功率を向上させ、把持経路における「障害物」の存在に起因して位置確認対象物体の把持のときに事故が発生する確率を減少させることができる。
【0144】
当業者であれば、具体的な実施形態に係る上記の方法では、各ステップの記載順序は、実行順序を厳密に限定して実施の過程を限定するものではなく、各ステップの実行順序がその機能と内部の論理によって具体的に決定されることが理解すべきである。
【0145】
以上、本開示の実施例の方法を詳しく説明したが、以下、本開示の実施例の装置を提供する。
【0146】
図５を参照されたい。図５は本開示の実施例に係るデータ処理装置の構造の模式図である。当該装置１は、取得ユニット１１と、調整ユニット１２と、分割処理ユニット１３と、第１処理ユニット１４と、決定ユニット１５と、移動ユニット１６と、第２処理ユニット１７と、変換ユニット１８とを含む。取得ユニット１１は、少なくとも１つの位置確認対象物体を含む処理対象点群を取得することに用いられ、調整ユニット１２は、前記処理対象点群から、互いに異なる少なくとも２つの目標領域を決定し、前記目標領域における点の初期法線ベクトルに基づいて、前記目標領域における点の法線ベクトルを有意法線ベクトルに調整することに用いられ、分割処理ユニット１３は、前記目標領域の有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、少なくとも１つの分割領域を得ることに用いられ、第１処理ユニット１４は、前記少なくとも１つの分割領域における点の三次元位置に基づいて、前記位置確認対象物体の基準点の三次元位置を取得することに用いられる。
【0147】
可能な一実現形態では、前記少なくとも２つの目標領域は、第１目標領域と第２目標領域とを含み、前記初期法線ベクトルは、第１初期法線ベクトルと第２初期法線ベクトルとを含み、前記有意法線ベクトルは、第１有意法線ベクトルと第２有意法線ベクトルとを含み、前記調整ユニット１２は、前記第１目標領域における点の前記第１初期法線ベクトルに基づいて、前記第１目標領域における点の法線ベクトルを前記第１有意法線ベクトルに調整し、前記第２目標領域における点の前記第２初期法線ベクトルに基づいて、前記第２目標領域における点の法線ベクトルを前記第２有意法線ベクトルに調整することに用いられる。
【0148】
別の可能な実現形態では、前記分割処理ユニット１３は、前記第１有意法線ベクトルと前記第２有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、前記少なくとも１つの分割領域を得ることに用いられる。
【0149】
別の可能な実現形態では、前記調整ユニット１２は、前記第１目標領域における点の第１初期法線ベクトルに対してクラスタリング処理を行って、少なくとも１つのクラスタを得ることと、前記少なくとも１つのクラスタのうち、含まれる前記第１初期法線ベクトルの数が最も多いクラスタを目標クラスタとし、前記目標クラスタ内の前記第１初期法線ベクトルに基づいて、前記第１有意法線ベクトルを決定することと、前記第１目標領域における点の法線ベクトルを前記第１有意法線ベクトルに調整することとに用いられる。
【0150】
別の可能な実現形態では、前記調整ユニット１２は、具体的に、前記第１目標領域における点の第１初期法線ベクトルを、ベクトルを示す所定区間であって、示されるベクトルが互いに異なる少なくとも１つの所定区間のいずれか一つにマッピングすることと、含まれる前記第１初期法線ベクトルの数が最も多い前記所定区間を目標所定区間とすることと、前記目標所定区間に含まれる前記第１初期法線ベクトルに基づいて、前記第１有意法線ベクトルを決定することとに用いられる。
【0151】
別の可能な実現形態では、前記調整ユニット１２は、具体的に、前記目標所定区間内の前記第１初期法線ベクトルの平均値を前記第１有意法線ベクトルとして決定すること、又は、前記目標所定区間内の前記第１初期法線ベクトルの中央値を前記第１有意法線ベクトルとして決定することに用いられる。
【0152】
別の可能な実現形態では、前記分割処理ユニット１３は、前記第１有意法線ベクトルに垂直な平面への前記第１目標領域の投影を決定し、第１投影平面を取得することと、前記第２有意法線ベクトルに垂直な平面への前記第２目標領域の投影を決定し、第２投影平面を取得することと、前記第１投影平面と前記第２投影平面に対して分割処理を行って、前記少なくとも１つの分割領域を得ることとに用いられる。
【0153】
別の可能な実現形態では、前記分割処理ユニット１３は、具体的に、前記第１投影平面と前記第２投影平面における任意の１点を開始点とし、第１所定値を半径として第１近傍領域を設定することと、前記第１近傍領域において前記開始点との間の類似度が第１閾値以上である点を目標点として決定することと、前記目標点と前記開始点を含む領域を分割領域とし、前記少なくとも１つの分割領域を取得することとに用いられる。
【0154】
別の可能な実現形態では、前記第１処理ユニット１４は、前記少なくとも１つの分割領域のうちの目標分割領域における点の三次元位置の第１平均値を決定することと、前記第１平均値に基づいて前記位置確認対象物体の基準点の三次元位置を決定することとに用いられる。
【0155】
別の可能な実現形態では、前記装置１は、前記した、前記少なくとも１つの分割領域における点の三次元位置の第１平均値を決定した後、前記目標分割領域における点の法線ベクトルの第２平均値を決定する決定ユニット１５と、前記位置確認対象物体のモデル点群であって、初期三次元位置が前記第１平均値であり、ピッチ角が前記第２平均値により決定されるモデル点群を取得することにさらに用いられる前記取得ユニット１１と、前記目標分割領域の座標系が前記モデル点群の座標系と一致するように前記目標分割領域を移動し、第１回転行列及び／又は第１平行移動量を取得する移動ユニット１６と、前記第１回転行列及び／又は第１平行移動量、前記目標分割領域の法線ベクトルに基づいて、前記位置確認対象物体の姿勢角を取得する前記第１処理ユニット１４とをさらに含む。
【0156】
別の可能な実現形態では、前記移動ユニット１６はさらに、前記目標分割領域の座標系が前記モデル点群の座標系と一致している場合、前記目標分割領域における点が前記モデル点群の基準点と一致するように前記目標分割領域を移動し、前記目標分割領域の基準位置を取得することに用いられ、前記決定ユニット１５はさらに、前記基準位置での前記目標分割領域と前記モデル点群との一致度を決定することに用いられ、前記決定ユニット１５はさらに、一致度の最大値に対応する基準位置を目標基準位置とすることに用いられ、前記第１処理ユニット１４は、前記目標基準位置での前記目標分割領域における点の三次元位置の第３平均値を第１調整後の前記位置確認対象物体の基準点の三次元位置として決定することに用いられる。
【0157】
別の可能な実現形態では、前記決定ユニット１５は、具体的に、前記基準位置での前記目標分割領域における第１点と、前記モデル点群において前記第１点に最も近い第２点との間の距離を決定することと、前記距離が第２閾値以下である場合、前記基準位置の一致度指標を第２所定値だけ増加させ、前記一致度と正の相関関係にある前記一致度指標に基づいて前記一致度を決定することとに用いられる。
【0158】
別の可能な実現形態では、前記調整ユニット１２はさらに、前記モデル点群の基準点の三次元位置を前記第３平均値に調整することに用いられ、前記装置１は、前記第１点と、基準点の三次元位置が前記第３平均値である場合のモデル点群において前記第１点に最も近い点である前記モデル点群内の第３点との間の距離が第３閾値以下となるように前記目標基準位置での前記目標分割領域を回転及び／又は平行移動することにより、第２回転行列及び／又は第２平行移動量を取得する第２処理ユニット１７と、前記第２回転行列及び／又は前記第２平行移動量に基づいて、前記位置確認対象物体の基準点の三次元位置を調整して、第２調整後の前記位置確認対象物体の基準点の三次元位置を取得し、前記第２回転行列及び／又は前記第２平行移動量に基づいて、前記位置確認対象物体の姿勢角を調整して、調整後の前記位置確認対象物体の姿勢角を取得することにさらに用いられる前記第１処理ユニット１４とを含む。
【0159】
別の可能な実現形態では、前記装置１は、前記位置確認対象物体の基準点の三次元位置と前記位置確認対象物体の姿勢角をロボット座標系での把持三次元位置と把持姿勢角に変換する変換ユニット１８と、ロボットハンドモデル及び前記ロボットハンドモデルの初期ポーズを取得することにさらに用いられる前記取得ユニット１１と、前記把持三次元位置、前記把持姿勢角、前記ロボットハンドモデル及び前記ロボットハンドモデルの初期ポーズに基づいて、前記点群において前記ロボットハンドによる前記位置確認対象物体の把持の把持経路を得ることにさらに用いられる前記第１処理ユニット１４と、前記把持経路における前記位置確認対象物体に属さない点の数が第４閾値以上である場合、前記位置確認対象物体を把持不可物体として決定することにさらに用いられる前記決定ユニット１５とをさらに含む。
【0160】
別の可能な実現形態では、前記調整ユニット１２は、前記点群内の少なくとも２つの目標点を決定することと、前記少なくとも２つの目標点のそれぞれを球心とし、第３所定値を半径として前記少なくとも２つの目標領域を設定することとに用いられる。
【0161】
別の可能な実現形態では、前記取得ユニット１１は、前記少なくとも１つの位置確認対象物体が存在するシーンの点群を含む第１点群と、前記少なくとも１つの位置確認対象物体及び前記少なくとも１つの位置確認対象物体が存在するシーンの点群を含む第２点群とを取得することと、前記第１点群と前記第２点群において同じデータを決定することと、前記第２点群から前記同じデータを除去して、前記処理対象点群を得ることとに用いられる。
【0162】
別の可能な実現形態では、前記基準点は、質量中心、重心、幾何学的中心のうちの一つである。
【0163】
いくつかの実施例では、本開示の実施例に係る装置が備える機能又はモジュールは、上記方法の実施例に説明される方法を実行するために利用でき、その具体的な実現については、上記方法の実施例の説明を参照すればよく、簡潔さのため、詳細な説明は省略する。
【0164】
本実施例において、目標領域の有意法線ベクトルに基づいて点群に対して分割処理を行うことによって、分割正確率を向上させ、分割により得られた分割領域における点の三次元位置に基づいて、位置確認対象物体の基準点の三次元位置を決定する場合、位置確認対象物体の基準点の三次元位置の精度を向上させることができる。
【0165】
図６は本開示の実施例に係るデータ処理装置のハードウェア構造の模式図である。当該データ処理装置２は、プロセッサ２１と、メモリ２２と、入力装置２３と、出力装置２４とを備える。このプロセッサ２１、メモリ２２、入力装置２３及び出力装置２４は、コネクタを介して結合され、このコネクタは、様々なインターフェース、伝送ラインやバスなどを含み、本開示の実施例では、これを限定しない。本開示の各実施例では、結合とは、特定の手段による相互接続を意味し、直接的に接続されること、又は例えば様々なインターフェース、伝送ライン、バスなどの他の装置を介して間接的に接続されることを含むことは理解されるべきである。
【0166】
プロセッサ２１は、１つ以上のグラフィックプロセッサ（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）であってもよい。プロセッサ２１が１つのＧＰＵである場合、当該ＧＰＵは、シングルコアＧＰＵであってもよいし、マルチコアＧＰＵであってもよい。選択可能的に、プロセッサ２１は、複数のＧＰＵからなるプロセッサ群であり、複数のプロセッサ同士が１つ以上のバスを介して互いに結合されているものであっても良い。選択可能的に、プロセッサはさらに、他のタイプのプロセッサなどであっても良い、本開示の実施例は、これを限定しない。
【0167】
メモリ２２は、コンピュータプログラム命令、及び本開示の技術的手段を実行するためのプログラムコードを含めた様々なコンピュータプログラムコードを記憶することができる。選択可能的に、メモリは、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、読み取り専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＥＰＲＯＭ）、又はコンパクトディスク読み取り専用メモリ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）を含むが、これらに限定されず、当該メモリは関連命令及びデータのためものである。
【0168】
入力装置２３は、データ及び／又は信号を入力するためのものであり、出力装置２４は、データ及び／又は信号を出力するためのものである。出力装置２３と入力装置２４は、独立したデバイスであってもよいし、一体のデバイスであってもよい。
【0169】
本開示の実施例では、メモリ２２は、関連命令のだけでなく、関連データを記憶することもできる。例えば、当該メモリ２２は、入力装置２３により取得された処理対象点群を記憶することができ、又は、プロセッサ２１により取得した位置確認対象物体のポーズなどを記憶することもでき、本開示の実施例は、当該メモリに具体的に記憶されたデータを限定しないと理解することができる。
【0170】
図６は、データ処理装置の簡略化された設計のみを示していることが理解されるべきである。実際の応用では、データ処理装置はさらに、任意の数の入力／出力装置、プロセッサ、メモリなどの必要な他の素子をそれぞれ含んでもよいが、これらに限定されない。本開示の実施例を実施できるいかなるデータ処理装置は、本開示の技術的範囲内であると理解することができる。
【0171】
本開示の実施例は、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器において動作すると、電子機器のプロセッサに上記方法を実現するためのステップを実行させるコンピュータプログラムをさらに提供する。
【0172】
当業者であれば、本明細書に開示された実施例と合わせて説明された様々な例示的なユニット及びアルゴリズムステップは、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアとの組み合わせで実現され得ることを認識するであろう。これらの機能がハードウェアで実行されるかソフトウェアで実行されるかは、技術的手段の特定の応用や設計制約条件に依存する。当業者は、特定の応用ごとに、説明した機能を異なる方法によって実現することができるが、このような実現は、本開示の範囲を超えているとは考えられない。
【0173】
当業者には明らかなように、説明の容易さと簡潔さのために、上述したシステム、装置及びユニットの具体的な作動過程は、前述した方法の実施例における対応の過程を参照することができ、ここでは説明を省略する。また、当業者には明らかなように、本開示の各実施例はそれぞれに重点を置いて説明し、説明の容易さと簡潔さのために、異なる実施例において、同一又は類似の部分は説明が省略されている場合がある。したがって、ある実施例において説明されない又は詳細に説明されない部分は、他の実施例の記載を参照することができる。
【0174】
本開示で提供されるいくつかの実施例において、開示されたシステム、装置及び方法は、他の方式によって実現されることが理解すべきである。例えば、上述した装置の実施例は例示的なものにすぎず、例えば、前記ユニットの分割は、論理的な機能分割のみであり、実際に実現される場合には別の分割方式があってもよく、例えば、複数のユニット又はコンポーネントを組み合わせたり、別のシステムに集積したり、一部の特徴を無視したり、実行しなかったりしてもよい。別の点として、表示又は議論された相互間の結合又は直接結合又は通信接続は、いくつかのインタフェース、装置又はユニットを介した間接的な結合又は通信接続であってもよく、電気的、機械的又は他の形態であってもよい。
【0175】
前記の分離部材として説明したユニットは物理的に分離されていてもよいし、物理的に分離されていなくてもよく、ユニットとして表示される部材は物理的なユニットであってもよいし、物理的なユニットでなくてもよく、即ち１つの場所にあってもよいし、複数のネットワークユニットに分散されていてもよい。実際の需要に応じてその中の一部又は全部のユニットを選択して本実施例の手段の目的を達成することができる。
【0176】
また、本開示の各実施例における各機能ユニットは、１つの第１処理ユニットに集積されていてもよいし、各ユニットが個別に物理的に存在していてもよいし、２つ以上のユニットが１つのユニットに集積されていてもよい。
【0177】
上述した実施例において、その全部又は一部は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの組み合わせにより実現されるようにしてもよい。ソフトウェアにより実現する場合には、その全部又は一部をコンピュータプログラム製品として実現してもよい。前記コンピュータプログラム製品は１つ以上のコンピュータ命令を含む。コンピュータで前記コンピュータプログラム命令がロードされて実行されると、本開示の実施例に記載されたフロー又は機能について、その全部又は一部を生成する。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラム可能な装置であってもよい。前記コンピュータ命令は、揮発性のコンピュータ読み取り可能な記憶媒体または不揮発性のコンピュータ読み取り可能な記憶媒体に記憶されてもよいし、前記コンピュータ読み取り可能な記憶媒体を介して伝送されてもよい。前記コンピュータ命令は、１つのウェブサイト、コンピュータ、サーバ、又はデータセンタから、有線（例えば、同軸ケーブル、光ファイバ、デジタル加入者線（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ、ＤＳＬ））又は無線（例えば、赤外線、無線、マイクロ波など）により、別のウェブサイト、コンピュータ、サーバ、又はデータセンタへ伝送されてもよい。前記コンピュータ読み取り可能な記憶媒体は、コンピュータがアクセス可能ないかなる利用可能な媒体であってもよいし、１つ以上の利用可能な媒体が集積されたサーバ、データセンタなどのデータ記憶装置であってもよい。前記利用可能な媒体は、磁気媒体（例えば、フロッピーディスク、ハードディスク、磁気テープ）、光媒体（例えば、デジタルユニバーサルディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ、ＤＶＤ））、又は半導体媒体（例えば、ソリッドステートドライブ（ｓｏｌｉｄ ｓｔａｔｅ ｄｉｓｋ、ＳＳＤ））などであってもよい。
【0178】
当業者であれば、上記実施例の方法を実現するフローの全部又は一部を理解することができ、当該フローは、コンピュータプログラムによって関連するハードウェアに指示して完成することができ、当該プログラムはコンピュータ読み取り可能な記憶媒体に記憶されて、当該プログラムが実行されるとき、上記各方法の実施例のようなフローを含むことができる。また、前述した記憶媒体には、読み取り専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）又はランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク、光ディスクなどのプログラムコードを記憶可能な各種媒体が含まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【手続補正書】
【提出日】2022-04-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
少なくとも１つの位置確認対象物体を含む処理対象点群を取得することと、前記処理対象点群から、互いに異なる少なくとも２つの目標領域を決定し、前記目標領域における点の初期法線ベクトルに基づいて、前記目標領域における点の法線ベクトルを有意法線ベクトルに調整することと、
前記目標領域の有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、少なくとも１つの分割領域を得ることと、
前記少なくとも１つの分割領域における点の三次元位置に基づいて、前記位置確認対象物体の基準点の三次元位置を取得することと、を含むデータ処理方法。
【請求項2】
前記少なくとも２つの目標領域は、第１目標領域と第２目標領域とを含み、前記初期法線ベクトルは、第１初期法線ベクトルと第２初期法線ベクトルとを含み、前記有意法線ベクトルは、第１有意法線ベクトルと第２有意法線ベクトルとを含み、前記した、前記目標領域における点の初期法線ベクトルに基づいて、前記目標領域における点の法線ベクトルを有意法線ベクトルに調整することは、
前記第１目標領域における点の前記第１初期法線ベクトルに基づいて、前記第１目標領域における点の法線ベクトルを前記第１有意法線ベクトルに調整し、前記第２目標領域における点の前記第２初期法線ベクトルに基づいて、前記第２目標領域における点の法線ベクトルを前記第２有意法線ベクトルに調整することを含むことを特徴とする請求項１に記載のデータ処理方法。
【請求項3】
前記した、前記目標領域の有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、少なくとも１つの分割領域を得ることは、前記第１有意法線ベクトルと前記第２有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、前記少なくとも１つの分割領域を得ることを含むことを特徴とする請求項２に記載のデータ処理方法。
【請求項4】
前記した、前記第１目標領域における点の前記第１初期法線ベクトルに基づいて、前記第１目標領域における点の法線ベクトルを前記第１有意法線ベクトルに調整することは、前記第１目標領域における点の前記第１初期法線ベクトルに対してクラスタリング処理を行って、少なくとも１つのクラスタを得ることと、
前記少なくとも１つのクラスタのうち、含まれる前記第１初期法線ベクトルの数が最も多いクラスタを目標クラスタとし、前記目標クラスタ内の前記第１初期法線ベクトルに基づいて、前記第１有意法線ベクトルを決定することと、
前記第１目標領域における点の法線ベクトルを前記第１有意法線ベクトルに調整することと、を含むことを特徴とする請求項２又は３に記載のデータ処理方法。
【請求項5】
前記した、前記第１初期法線ベクトルに対してクラスタリング処理を行って、少なくとも１つのクラスタを得ることは、前記第１目標領域における点の第１初期法線ベクトルを、ベクトルの値の区間である少なくとも１つの所定区間のいずれか一つにマッピングすることと、
含まれる前記第１初期法線ベクトルの数が最も多い前記所定区間を目標所定区間とすることと、
前記目標所定区間に含まれる前記第１初期法線ベクトルに基づいて、前記第１有意法線ベクトルを決定することと、を含むことを特徴とする請求項４に記載のデータ処理方法。
【請求項6】
前記した、前記目標所定区間に含まれる前記第１初期法線ベクトルに基づいて、前記第１有意法線ベクトルを決定することは、前記目標所定区間内の前記第１初期法線ベクトルの平均値を前記第１有意法線ベクトルとして決定すること、又は、
前記目標所定区間内の前記第１初期法線ベクトルの中央値を前記第１有意法線ベクトルとして決定することを含むことを特徴とする請求項５に記載のデータ処理方法。
【請求項7】
前記した、前記第１有意法線ベクトルと前記第２有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、前記少なくとも１つの分割領域を得ることは、前記第１有意法線ベクトルに垂直な平面への前記第１目標領域の投影を決定し、第１投影平面を取得することと、
前記第２有意法線ベクトルに垂直な平面への前記第２目標領域の投影を決定し、第２投影平面を取得することと、
前記第１投影平面と前記第２投影平面に対して分割処理を行って、前記少なくとも１つの分割領域を得ることと、を含むことを特徴とする請求項３～６のいずれか１項に記載のデータ処理方法。
【請求項8】
前記した、前記第１投影平面と前記第２投影平面に対して分割処理を行って、前記少なくとも１つの分割領域を得ることは、前記第１投影平面における任意の１点を開始点とし、第１所定値を半径として第１近傍領域を設定することと、
前記第１近傍領域において前記開始点との類似度が第１閾値以上である点を目標点として決定することと、
前記目標点と前記開始点を含む領域を分割領域とし、前記少なくとも１つの分割領域を取得することと、を含むことを特徴とする請求項７に記載のデータ処理方法。
【請求項9】
前記した、前記少なくとも１つの分割領域における点の三次元位置に基づいて、前記位置確認対象物体の基準点の三次元位置を取得することは、前記少なくとも１つの分割領域のうちの目標分割領域における点の三次元位置の第１平均値を決定することと、
前記第１平均値に基づいて前記位置確認対象物体の基準点の三次元位置を決定することと、を含むことを特徴とする請求項１～８のいずれか１項に記載のデータ処理方法。
【請求項10】
前記した、前記少なくとも１つの分割領域における点の三次元位置の第１平均値を決定した後、さらに、前記目標分割領域における点の法線ベクトルの第２平均値を決定することと、
前記位置確認対象物体のモデル点群であって、初期三次元位置が前記第１平均値であり、ピッチ角が前記第２平均値により決定されるモデル点群を取得することと、
前記目標分割領域の座標系が前記モデル点群の座標系と一致するように前記目標分割領域を移動し、第１回転行列及び／又は第１平行移動量を取得することと、
前記第１回転行列及び／又は第１平行移動量、前記目標分割領域の法線ベクトルに基づいて、前記位置確認対象物体の姿勢角を取得することと、を含むことを特徴とする請求項９に記載のデータ処理方法。
【請求項11】
前記目標分割領域の座標系が前記モデル点群の座標系と一致している場合、前記目標分割領域における点が前記モデル点群の基準点と一致するように前記目標分割領域を移動し、前記目標分割領域の基準位置を取得することと、前記基準位置での前記目標分割領域と前記モデル点群との一致度を決定することと、
一致度の最大値に対応する基準位置を目標基準位置とすることと、
前記目標基準位置での前記目標分割領域における点の三次元位置の第３平均値を第１調整後の前記位置確認対象物体の基準点の三次元位置として決定することをさらに含むことを特徴とする請求項１０に記載のデータ処理方法。
【請求項12】
前記した、前記基準位置での前記目標分割領域と前記モデル点群との一致度を決定することは、前記基準位置での前記目標分割領域における第１点と、前記モデル点群において前記第１点に最も近い第２点との間の距離を決定することと、
前記距離が第２閾値以下である場合、前記基準位置の一致度指標を第２所定値だけ増加させることと、
前記一致度と正の相関関係にある前記一致度指標に基づいて前記一致度を決定することと、を含むことを特徴とする請求項１１に記載のデータ処理方法。
【請求項13】
前記モデル点群の基準点の三次元位置を前記第３平均値に調整することと、前記第１点と、基準点の三次元位置が前記第３平均値である場合のモデル点群において前記第１点に最も近い点である前記モデル点群内の第３点との間の距離が第３閾値以下となるように前記目標基準位置での前記目標分割領域を回転及び／又は平行移動することにより、第２回転行列及び／又は第２平行移動量を取得することと、
前記第２回転行列及び／又は前記第２平行移動量に基づいて、前記位置確認対象物体の基準点の三次元位置を調整して、第２調整後の前記位置確認対象物体の基準点の三次元位置を取得し、前記第２回転行列及び／又は前記第２平行移動量に基づいて、前記位置確認対象物体の姿勢角を調整して、調整後の前記位置確認対象物体の姿勢角を取得することと、をさらに含むことを特徴とする請求項１２に記載のデータ処理方法。
【請求項14】
前記位置確認対象物体の基準点の三次元位置と前記位置確認対象物体の姿勢角をロボット座標系での把持三次元位置と把持姿勢角に変換することと、ロボットハンドモデル及び前記ロボットハンドモデルの初期ポーズを取得することと、
前記把持三次元位置、前記把持姿勢角、前記ロボットハンドモデル及び前記ロボットハンドモデルの初期ポーズに基づいて、前記点群において前記ロボットハンドによる前記位置確認対象物体の把持の把持経路を得ることと、
前記把持経路において前記位置確認対象物体に属さない点の数が第４閾値以上である場合、前記位置確認対象物体を把持不可物体として決定することと、をさらに含むことを特徴とする請求項１０～１３のいずれか１項に記載のデータ処理方法。
【請求項15】
前記した、前記処理対象点群から少なくとも２つの目標領域を決定することは、前記点群内の少なくとも２つの目標点を決定することと、
前記少なくとも２つの目標点のそれぞれを球心とし、第３所定値を半径として前記少なくとも２つの目標領域を設定することと、を含むことを特徴とする請求項１～１４のいずれか１項に記載のデータ処理方法。
【請求項16】
前記した、処理対象点群を取得することは、前記少なくとも１つの位置確認対象物体が存在するシーンの点群を含む第１点群と、前記少なくとも１つの位置確認対象物体及び前記少なくとも１つの位置確認対象物体が存在するシーンの点群を含む第２点群とを取得することと、
前記第１点群と前記第２点群において同じデータを決定することと、
前記第２点群から前記同じデータを除去して、前記処理対象点群を得ることと、を含むことを特徴とする請求項１～１５のいずれか１項に記載のデータ処理方法。
【請求項17】
少なくとも１つの位置確認対象物体を含む処理対象点群を取得する取得ユニットと、前記処理対象点群から、互いに異なる少なくとも２つの目標領域を決定し、前記目標領域における点の初期法線ベクトルに基づいて、前記目標領域における点の法線ベクトルを有意法線ベクトルに調整する調整ユニットと、
前記目標領域の有意法線ベクトルに基づいて、前記処理対象点群に対して分割処理を行って、少なくとも１つの分割領域を得る分割処理ユニットと、
前記少なくとも１つの分割領域における点の三次元位置に基づいて、前記位置確認対象物体の基準点の三次元位置を取得する第１処理ユニットと、を含むデータ処理装置。
【請求項18】
プロセッサと、送信装置と、入力装置と、出力装置と、コンピュータプログラムコードを記憶するためのメモリとを備え、前記コンピュータプログラムコードにコンピュータ命令が含まれ、前記コンピュータ命令が前記プロセッサにより実行されると、請求項１～１６のいずれか１項に記載のデータ処理方法を実行させることを特徴とする電子機器。
【請求項19】
コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムにプログラム命令が含まれ、前記プログラム命令が電子機器のプロセッサにより実行されると、請求項１～１６のいずれか１項に記載のデータ処理方法を前記プロセッサに実行させることを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項20】
コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器において動作すると、前記電子機器のプロセッサに請求項１～１６のいずれか１項に記載のデータ処理方法をを実行させることを特徴とするコンピュータプログラム。
【国際調査報告】