▶ 青▲島▼理工大学の特許一覧 ▶ 山東大学の特許一覧 ▶ 河北工業大学の特許一覧
特許7410499組立ロボットの遠隔操作環境のデジタルツインモデリング方法及びシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-26
(45)【発行日】2024-01-10
(54)【発明の名称】組立ロボットの遠隔操作環境のデジタルツインモデリング方法及びシステム
(51)【国際特許分類】
B25J 19/04 20060101AFI20231227BHJP
G06T 7/73 20170101ALI20231227BHJP
B25J 9/22 20060101ALI20231227BHJP
【ＦＩ】
B25J19/04
G06T7/73
B25J9/22 A
【請求項の数】
10
(21)【出願番号】P 2022133499
(22)【出願日】2022-08-24
(65)【公開番号】P2023106284
(43)【公開日】2023-08-01
【審査請求日】2022-08-24
(31)【優先権主張番号】202210067998.1
(32)【優先日】2022-01-20
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】518229179
【氏名又は名称】青▲島▼理工大学
【氏名又は名称原語表記】ＱＩＮＧＤＡＯ ＵＮＩＶＥＲＳＩＴＹ ＯＦ ＴＥＣＨＮＯＬＯＧＹ
(73)【特許権者】
【識別番号】521017642
【氏名又は名称】山東大学
【氏名又は名称原語表記】ＳＨＡＮＤＯＮＧ ＵＮＩＶＥＲＳＩＴＹ
【住所又は居所原語表記】Ｎｏ．１７９２３， Ｊｉｎｇｓｈｉ Ｒｏａｄ， Ｌｉｘｉａ Ｄｉｓｔｒｉｃｔ Ｊｉｎａｎ， Ｓｈａｎｄｏｎｇ ２５００６１， Ｃｈｉｎａ
(73)【特許権者】
【識別番号】514283423
【氏名又は名称】河北工業大学
(74)【代理人】
【識別番号】100145470
【弁理士】
【氏名又は名称】藤井 健一
(72)【発明者】
【氏名】陳成軍
(72)【発明者】
【氏名】趙正旭
(72)【発明者】
【氏名】胡夜亮
(72)【発明者】
【氏名】張建華
(72)【発明者】
【氏名】郭陽
(72)【発明者】
【氏名】李東年
(72)【発明者】
【氏名】張慶海
(72)【発明者】
【氏名】官源林
【審査官】杉山 悟史
(56)【参考文献】
【文献】特表２０２０－５１５９６３（ＪＰ，Ａ）
【文献】特表２０２０－５１５９５８（ＪＰ，Ａ）
【文献】特表２０２０－５１４９２９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ２５Ｊ １／００ ～ ２１／０２
Ｇ０６Ｔ ７／７３
(57)【特許請求の範囲】
【請求項1】
組立ロボットの遠隔操作環境のデジタルツインモデリング方法であって、画像収集装置により遠隔操作環境の画像を収集する画像収集ステップと、
前記画像収集ステップにより収集された画像中の現在組立中の部品を識別し、組立体の組立順序を問い合わせて、現在組立中の部品に基づいて組立済みの部品リストを取得する部品リスト取得ステップと、
前記部品リスト取得ステップにより取得された組立済みの部品リストに基づいて現在組立体の三次元モデルを生成し、且つ現在組立体の画像収集装置座標系での姿勢情報を計算する姿勢情報計算ステップと、
前記組立ロボットの三次元モデルをロードして、ロボット座標系と画像収集装置座標系との座標変換関係を決定する座標変換関係決定ステップと、
前記座標変換関係決定ステップにより決定された座標変換関係に基づいて画像中の組立ロボットに対して方位標定を行って、当該組立ロボットの画像収集装置座標系での姿勢情報を決定する姿勢情報決定ステップと、
前記姿勢情報計算ステップにより計算された現在組立体の画像収集装置座標系での姿勢情報及び前記姿勢情報決定ステップにより決定された組立ロボットの画像収集装置座標系での姿勢情報に基づいて現在組立体と組立ロボットとの相対位置関係を決定する相対位置関係決定ステップと、
現在組立体の三次元モデル、組立ロボットの三次元モデル及び前記相対位置関係決定ステップにより決定された現在組立体と組立ロボットとの相対位置関係に基づいて遠隔操作環境のデジタルツインモデルを確立するデジタルツインモデル確立ステップと、を含むことを特徴とする組立ロボットの遠隔操作環境のデジタルツインモデリング方法。
【請求項2】
前記画像収集装置が収集した画像は深度画像を含み、画像中の現在組立中の部品を識別する前記部品リスト取得ステップは具体的に、深度画像中の組立体の異なる部品の領域を異なるカラータグで標識して、実例分割画像を生成し、
実例分割画像のカラータグを統計し、現在組立中の部品を識別することを特徴とする請求項１に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法。
【請求項3】
組立済みの部品リストに基づいて現在組立体の三次元モデルを生成する前記姿勢情報計算ステップは具体的に、組立済みの部品リストにおける各部品の三次元モデルをロードし、
予め定義された組立体の各部品間の制約関係に応じてリストにおける各部品の組立体上での位置を決定し、
リストにおける各部品の組立体上での位置に基づいて各部品の三次元モデルの位置を調整して、現在組立体の三次元モデルを生成することを特徴とする請求項２に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法。
【請求項4】
現在組立体の画像収集装置座標系での姿勢情報を計算する前記姿勢情報計算ステップは具体的に、深度画像を前処理して、背景を除去して、現在組立体の深度画像を保存し、
画像収集装置の内部参照及びイメージングモデルを利用して現在組立体の深度画像を組立体ポイントクラウドに変換し、
組立体ポイントクラウドをポイントクラウド特徴抽出ネットワークに入力して組立体ポイントクラウド特徴を抽出し、
組立体ポイントクラウド特徴を事前に訓練された姿勢推定ネットワークに入力し、組立体の画像収集装置座標系での姿勢情報を出力することを特徴とする請求項２に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法。
【請求項5】
前記姿勢推定ネットワークの事前訓練過程は、初期情報を決定し、初期視点における組立体の三次元モデルポイントクラウドのタグ姿勢情報を抽出して記録し、タグ姿勢情報が三次元モデルポイントクラウドにおける各点の回転行列Ri及びオフセット行列Tiを含み、iが三次元モデルポイントクラウドにおける各点のインデックスであり、
ポイントクラウド変換を行い、組立体の三次元モデルの初期視点と異なる他の視点における組立体の深度画像を抽出し、且つ画像収集装置の内部参照及びイメージングモデルを利用して該組立体の深度画像を組立体ポイントクラウドに変換し、
姿勢予測を行い、組立体ポイントクラウドをポイントクラウド特徴抽出ネットワークに入力し、ポイントクラウドの各点の特徴を出力して、ポイントクラウドの各点の特徴を姿勢推定ネットワークに入力し、各点の姿勢予測情報を予測し、前記各点の姿勢予測情報が予測回転行列R'i及び予測オフセット行列T'iを含み、
各点の姿勢予測情報とタグ姿勢情報とのユークリッド距離を計算して、ユークリッド距離に基づいて信頼度を生成し、信頼度が設定された閾値よりも小さい場合、画像更新ステップを実行し、信頼度が設定された閾値よりも大きく又は訓練回数が設定値に達する場合、現在視点における組立体の最適な姿勢予測情報を出力し、訓練が完了したかどうかを判断し、完了しなければポイントクラウド変換ステップに戻って、次の視点における組立体の深度画像を取り替えて訓練し続け、完了すれば画像更新ステップを実行し、
画像更新を行い、予測回転行列R'i及び予測オフセット行列T'iを入力として組立体ポイントクラウドに対して変位及び回転変換を行って、組立体ポイントクラウドの三次元座標を更新し、更新後の組立体ポイントクラウドをポイントクラウド特徴抽出ネットワークに入力して訓練し続けることを特徴とする請求項４に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法。
【請求項6】
前記画像収集装置はＲＧＢ－Ｄカメラであり、収集された画像は更にＲＧＢ画像を含み、ロボット座標系と画像収集装置座標系との座標変換関係を決定する前記座標変換関係決定ステップは具体的に、組立ロボットの関節に位置決め標識物を設置し、
組立ロボットを制御してポイントツーポイント間欠運動を行わせ、各間欠運動点において、ロボットコントローラにより位置決め標識物のロボット座標系での座標Pi(xwi,ywi, zwi)を読み取るとともに、位置決め標識物の特徴点のＲＧＢ画像での画素座標Zi(ui, vi)を識別し、
位置決め標識物の特徴点のＲＧＢ画像での画素座標Zi(ui, vi)及びＲＧＢ－Ｄカメラのイメージングモデルに基づいて、ＲＧＢ－Ｄカメラにおける深度カメラとカラーカメラとの位置関係を利用して、位置決め標識物の特徴点のカメラ座標系での三次元座標P'i(xci,yci, zci)を求め、
４つ以上の間欠運動点の位置決め標識物のロボット座標系での座標Pi(xwi,ywi, zwi)及び位置決め標識物の特徴点のカメラ座標系での三次元座標P'i(xci,yci, zci)を取得して、ロボット座標系とカメラ座標系との変換行列を計算することを特徴とする請求項２に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法。
【請求項7】
組立ロボットを制御してポイントツーポイント間欠運動を行わせるステップにおいて、ポイントツーポイント間欠運動の軌跡を複数の正方形として設定することを特徴とする請求項６に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法。
【請求項8】
組立ロボットの遠隔操作環境のデジタルツインモデリングシステムであって、遠隔操作環境の画像を収集するための画像収集装置と、
組立体の各部品の三次元モデル、各部品の制約関係及び組立体の組立順序が事前にロードされる組立体デジタルモジュールと、
前記画像収集装置により収集された画像中の現在組立中の部品を識別し及び前記組立体デジタルモジュールにより事前にロードされた組立体の組立順序を問い合わせて、現在組立中の部品に基づいて組立済みの部品リストを取得し、且つ組立済みの部品リストに基づいて現在組立体の三次元モデルを生成するための組立体再構築モジュールと、
現在組立体の画像収集装置座標系での姿勢情報を計算するための組立体位置決めモジュールと、
組立ロボットの三次元モデルが事前にロードされるロボットデジタルモジュールと、
ロボット座標系と画像収集装置座標系との座標変換関係を決定し、且つ座標変換関係に基づいて画像中の組立ロボットに対して方位標定を行って、当該組立ロボットの画像収集装置座標系での姿勢情報を決定するための組立ロボット位置決めモジュールと、
前記組立体位置決めモジュールにより計算された現在組立体の画像収集装置座標系での姿勢情報及び前記組立ロボット位置決めモジュールにより決定された組立ロボットの画像収集装置座標系での姿勢情報に基づいて現在組立体と組立ロボットとの相対位置関係を決定し、且つ、前記組立体再構築モジュールにより生成された現在組立体の三次元モデル、前記ロボットデジタルモジュールに事前にロードされる組立ロボットの三次元モデル及び現在組立体と組立ロボットとの相対位置関係に基づいて遠隔操作環境のデジタルツインモデルを確立するためのデジタルツインモデル再構築モジュールと、を備えることを特徴とする組立ロボットの遠隔操作環境のデジタルツインモデリングシステム。
【請求項9】
前記画像収集装置はＲＧＢ－Ｄカメラであることを特徴とする請求項８に記載の組立ロボットの遠隔操作環境のデジタルツインモデリングシステム。
【請求項10】
メモリと、プロセッサと、メモリに記憶され且つプロセッサにおいて実行され得るコンピュータプログラムとを備える電子機器であって、前記プロセッサが前記プログラムを実行するとき、請求項１～７のいずれか１項に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法を実現することを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は組立ロボットの遠隔操作環境のデジタルツインモデリング方法及びシステムに関し、スマート製造、デジタルツインモデリング技術分野に属する。
【背景技術】
【0002】
組立ロボットの遠隔操作において、ローカル側の操作者はリモート側のロボットを操縦して組立タスクを完了する必要があり、組立ロボットのリモート側の遠隔操作環境は主にロボット、組立体等の要素を含み、ロボット、組立体の幾何モデルを正確に再構築するために、その位置姿勢を精確に測定する必要があり、従って、リモート側環境は動的に変化する環境である。
【0003】
ローカル側のコンピュータにおいて１つのリモート側の遠隔操作環境のデジタルツインモデルを構築するために、組立プロセスに基づいて組立体及びロボットの三次元モデルを動的に構築する必要がある。一致する幾何モデリングはツインモデルが遠隔操作環境に一致するように確保するキーポイントである。
【0004】
従来のモデリング方法は一般的に視覚に基づく再構築方法であり、具体的には二次元投影を利用して三次元情報を復元するコンピュータ技術であり、再構築された結果としては一般的にポイントクラウド、グリッド、ボクセル等のモデルであり、語義が乏しく、部品の分割を実現できず、且つ遮蔽の問題が存在し、グローバル再構築を実現することが困難である。
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記従来技術の問題を解決するために、本発明は組立ロボットの遠隔操作環境のデジタルツインモデリング方法を提供し、組立体及びロボットを位置決めすることにより、組立体とロボットとの位置関係を決定し、視覚に基づく稠密な再構築を回避し、三次元モデルの精度及び可視化効果を向上させる。
【課題を解決するための手段】
【0006】
本発明の技術案は以下のとおりである。
【0007】
一態様では、本発明は組立ロボットの遠隔操作環境のデジタルツインモデリング方法を提供し、
画像収集装置により遠隔操作環境の画像を収集するステップと、
画像中の現在組立中の部品を識別し、組立体の組立順序を問い合わせて、現在組立中の部品に基づいて組立済みの部品リストを取得するステップと、
組立済みの部品リストに基づいて現在組立体の三次元モデルを生成し、且つ現在組立体の画像収集装置座標系での姿勢情報を計算するステップと、
ロボットの三次元モデルをロードして、ロボット座標系と画像収集装置座標系との座標変換関係を決定するステップと、
座標変換関係に基づいて画像中のロボットに対して方位標定を行って、ロボットの画像収集装置座標系での姿勢情報を決定するステップと、
現在組立体の画像収集装置座標系での姿勢情報及びロボットの画像収集装置座標系での姿勢情報に基づいて現在組立体とロボットとの相対位置関係を決定するステップと、
現在組立体の三次元モデル、ロボットの三次元モデル及び現在組立体とロボットとの相対位置関係に基づいて遠隔操作環境のデジタルツインモデルを確立するステップと、を含む。
画像収集装置により遠隔操作環境の画像を収集するステップと、
画像中の現在組立中の部品を識別し、組立体の組立順序を問い合わせて、現在組立中の部品に基づいて組立済みの部品リストを取得するステップと、
組立済みの部品リストに基づいて現在組立体の三次元モデルを生成し、且つ現在組立体の画像収集装置座標系での姿勢情報を計算するステップと、
ロボットの三次元モデルをロードして、ロボット座標系と画像収集装置座標系との座標変換関係を決定するステップと、
座標変換関係に基づいて画像中のロボットに対して方位標定を行って、ロボットの画像収集装置座標系での姿勢情報を決定するステップと、
現在組立体の画像収集装置座標系での姿勢情報及びロボットの画像収集装置座標系での姿勢情報に基づいて現在組立体とロボットとの相対位置関係を決定するステップと、
現在組立体の三次元モデル、ロボットの三次元モデル及び現在組立体とロボットとの相対位置関係に基づいて遠隔操作環境のデジタルツインモデルを確立するステップと、を含む。
【0008】
好適な実施形態として、前記画像収集装置が収集した画像は深度画像を含み、画像中の現在組立中の部品を識別する前記ステップは具体的に、
深度画像中の組立体の異なる部品の領域を異なるカラータグで標識して、実例分割画像を生成し、
実例分割画像のカラータグを統計し、現在組立中の部品を識別する。
深度画像中の組立体の異なる部品の領域を異なるカラータグで標識して、実例分割画像を生成し、
実例分割画像のカラータグを統計し、現在組立中の部品を識別する。
【0009】
好適な実施形態として、組立済みの部品リストに基づいて現在組立体の三次元モデルを生成する前記ステップは具体的に、
組立済みの部品リストにおける各部品の三次元モデルをロードし、
予め定義された組立体の各部品間の制約関係に応じてリストにおける各部品の組立体上での位置を決定し、
リストにおける各部品の組立体上での位置に基づいて各部品の三次元モデルの位置を調整して、現在組立体の三次元モデルを生成する。
組立済みの部品リストにおける各部品の三次元モデルをロードし、
予め定義された組立体の各部品間の制約関係に応じてリストにおける各部品の組立体上での位置を決定し、
リストにおける各部品の組立体上での位置に基づいて各部品の三次元モデルの位置を調整して、現在組立体の三次元モデルを生成する。
【0010】
好適な実施形態として、現在組立体の画像収集装置座標系での姿勢情報を計算する前記ステップは具体的に、
深度画像を前処理して、背景を除去して、現在組立体の深度画像を保存し、
画像収集装置の内部参照及びイメージングモデルを利用して現在組立体の深度画像を組立体ポイントクラウドに変換し、
組立体ポイントクラウドをポイントクラウド特徴抽出ネットワークに入力して組立体ポイントクラウド特徴を抽出し、
組立体ポイントクラウド特徴を事前に訓練された姿勢推定ネットワークに入力し、組立体の画像収集装置座標系での姿勢情報を出力する。
深度画像を前処理して、背景を除去して、現在組立体の深度画像を保存し、
画像収集装置の内部参照及びイメージングモデルを利用して現在組立体の深度画像を組立体ポイントクラウドに変換し、
組立体ポイントクラウドをポイントクラウド特徴抽出ネットワークに入力して組立体ポイントクラウド特徴を抽出し、
組立体ポイントクラウド特徴を事前に訓練された姿勢推定ネットワークに入力し、組立体の画像収集装置座標系での姿勢情報を出力する。
【0011】
好適な実施形態として、前記姿勢推定ネットワークの事前訓練過程は、
初期情報を決定し、初期視点における組立体の三次元モデルポイントクラウドのタグ姿勢情報を抽出して記録し、タグ姿勢情報が三次元モデルポイントクラウドにおける各点の回転行列Ri及びオフセット行列Tiを含み、ｉが三次元モデルポイントクラウドにおける各点のインデックスであり、
ポイントクラウド変換を行い、組立体の三次元モデルの初期視点と異なる他の視点における組立体の深度画像を抽出し、且つ画像収集装置の内部参照及びイメージングモデルを利用して該組立体の深度画像を組立体ポイントクラウドに変換し、
姿勢予測を行い、組立体ポイントクラウドをポイントクラウド特徴抽出ネットワークに入力し、ポイントクラウドの各点の特徴を出力して、ポイントクラウドの各点の特徴を姿勢推定ネットワークに入力し、各点の姿勢予測情報を予測し、前記各点の姿勢予測情報が予測回転行列R'i及び予測オフセット行列T'iを含み、
各点の姿勢予測情報とタグ姿勢情報とのユークリッド距離を計算して、ユークリッド距離に基づいて信頼度を生成し、信頼度が設定された閾値よりも小さい場合、画像更新ステップを実行し、信頼度が設定された閾値よりも大きく又は訓練回数が設定値に達する場合、現在視点における組立体の最適な姿勢予測情報を出力し、訓練が完了したかどうかを判断し、完了しなければポイントクラウド変換ステップに戻って、次の視点における組立体の深度画像を取り替えて訓練し続け、完了すれば画像更新ステップを実行し、
画像更新を行い、予測回転行列R'i及び予測オフセット行列T'iを入力として組立体ポイントクラウドに対して変位及び回転変換を行って、組立体ポイントクラウドの三次元座標を更新し、更新後の組立体ポイントクラウドをポイントクラウド特徴抽出ネットワークに入力して訓練し続ける。
初期情報を決定し、初期視点における組立体の三次元モデルポイントクラウドのタグ姿勢情報を抽出して記録し、タグ姿勢情報が三次元モデルポイントクラウドにおける各点の回転行列Ri及びオフセット行列Tiを含み、ｉが三次元モデルポイントクラウドにおける各点のインデックスであり、
ポイントクラウド変換を行い、組立体の三次元モデルの初期視点と異なる他の視点における組立体の深度画像を抽出し、且つ画像収集装置の内部参照及びイメージングモデルを利用して該組立体の深度画像を組立体ポイントクラウドに変換し、
姿勢予測を行い、組立体ポイントクラウドをポイントクラウド特徴抽出ネットワークに入力し、ポイントクラウドの各点の特徴を出力して、ポイントクラウドの各点の特徴を姿勢推定ネットワークに入力し、各点の姿勢予測情報を予測し、前記各点の姿勢予測情報が予測回転行列R'i及び予測オフセット行列T'iを含み、
各点の姿勢予測情報とタグ姿勢情報とのユークリッド距離を計算して、ユークリッド距離に基づいて信頼度を生成し、信頼度が設定された閾値よりも小さい場合、画像更新ステップを実行し、信頼度が設定された閾値よりも大きく又は訓練回数が設定値に達する場合、現在視点における組立体の最適な姿勢予測情報を出力し、訓練が完了したかどうかを判断し、完了しなければポイントクラウド変換ステップに戻って、次の視点における組立体の深度画像を取り替えて訓練し続け、完了すれば画像更新ステップを実行し、
画像更新を行い、予測回転行列R'i及び予測オフセット行列T'iを入力として組立体ポイントクラウドに対して変位及び回転変換を行って、組立体ポイントクラウドの三次元座標を更新し、更新後の組立体ポイントクラウドをポイントクラウド特徴抽出ネットワークに入力して訓練し続ける。
【0012】
好適な実施形態として、前記画像収集装置はＲＧＢ－Ｄカメラであり、収集された画像は更にＲＧＢ画像を含み、ロボット座標系と画像収集装置座標系との座標変換関係を決定する前記ステップは具体的に、
ロボットの関節に位置決め標識物を設置し、
ロボットを制御してポイントツーポイント間欠運動を行わせ、各間欠運動点において、ロボットコントローラにより位置決め標識物のロボット座標系での座標Pi(xwi, ywi, zwi)を読み取るとともに、位置決め標識物の特徴点のＲＧＢ画像での画素座標Zi(ui, vi)を識別し、
位置決め標識物の特徴点のＲＧＢ画像での画素座標Zi(ui, vi)及びＲＧＢ－Ｄカメラのイメージングモデルに基づいて、ＲＧＢ－Ｄカメラにおける深度カメラとカラーカメラとの位置関係を利用して、位置決め標識物の特徴点のカメラ座標系での三次元座標P'i(xci, yci, zci)を求め、
４つ以上の間欠運動点の位置決め標識物のロボット座標系での座標Pi(xwi, ywi, zwi)及び位置決め標識物の特徴点のカメラ座標系での三次元座標P'i(xci, yci, zci)を取得して、ロボット座標系とカメラ座標系との変換行列を計算する。
ロボットの関節に位置決め標識物を設置し、
ロボットを制御してポイントツーポイント間欠運動を行わせ、各間欠運動点において、ロボットコントローラにより位置決め標識物のロボット座標系での座標Pi(xwi, ywi, zwi)を読み取るとともに、位置決め標識物の特徴点のＲＧＢ画像での画素座標Zi(ui, vi)を識別し、
位置決め標識物の特徴点のＲＧＢ画像での画素座標Zi(ui, vi)及びＲＧＢ－Ｄカメラのイメージングモデルに基づいて、ＲＧＢ－Ｄカメラにおける深度カメラとカラーカメラとの位置関係を利用して、位置決め標識物の特徴点のカメラ座標系での三次元座標P'i(xci, yci, zci)を求め、
４つ以上の間欠運動点の位置決め標識物のロボット座標系での座標Pi(xwi, ywi, zwi)及び位置決め標識物の特徴点のカメラ座標系での三次元座標P'i(xci, yci, zci)を取得して、ロボット座標系とカメラ座標系との変換行列を計算する。
【0013】
好適な実施形態として、ロボットを制御してポイントツーポイント間欠運動を行わせるステップにおいて、ポイントツーポイント間欠運動の軌跡を複数の正方形として設定する。
【0014】
他の態様では、本発明は組立ロボットの遠隔操作環境のデジタルツインモデリングシステムを提供し、
遠隔操作環境の画像を収集するための画像収集装置と、
組立体の各部品の三次元モデル、各部品の制約関係及び組立体の組立順序が事前にロードされる組立体デジタルモジュールと、
画像中の現在組立中の部品を識別し及び組立体の組立順序を問い合わせて、現在組立中の部品に基づいて組立済みの部品リストを取得し、且つ組立済みの部品リストに基づいて現在組立体の三次元モデルを生成するための組立体再構築モジュールと、
現在組立体の画像収集装置座標系での姿勢情報を計算するための組立体位置決めモジュールと、
ロボットの三次元モデルが事前にロードされるロボットデジタルモジュールと、
ロボット座標系と画像収集装置座標系との座標変換関係を決定し、且つ座標変換関係に基づいて画像中のロボットに対して方位標定を行って、ロボットの画像収集装置座標系での姿勢情報を決定するためのロボット位置決めモジュールと、
現在組立体の画像収集装置座標系での姿勢情報及びロボットの画像収集装置座標系での姿勢情報に基づいて現在組立体とロボットとの相対位置関係を決定し、且つ現在組立体の三次元モデル、ロボットの三次元モデル及び現在組立体とロボットとの相対位置関係に基づいて遠隔操作環境のデジタルツインモデルを確立するためのデジタルツインモデル再構築モジュールと、を備える。
遠隔操作環境の画像を収集するための画像収集装置と、
組立体の各部品の三次元モデル、各部品の制約関係及び組立体の組立順序が事前にロードされる組立体デジタルモジュールと、
画像中の現在組立中の部品を識別し及び組立体の組立順序を問い合わせて、現在組立中の部品に基づいて組立済みの部品リストを取得し、且つ組立済みの部品リストに基づいて現在組立体の三次元モデルを生成するための組立体再構築モジュールと、
現在組立体の画像収集装置座標系での姿勢情報を計算するための組立体位置決めモジュールと、
ロボットの三次元モデルが事前にロードされるロボットデジタルモジュールと、
ロボット座標系と画像収集装置座標系との座標変換関係を決定し、且つ座標変換関係に基づいて画像中のロボットに対して方位標定を行って、ロボットの画像収集装置座標系での姿勢情報を決定するためのロボット位置決めモジュールと、
現在組立体の画像収集装置座標系での姿勢情報及びロボットの画像収集装置座標系での姿勢情報に基づいて現在組立体とロボットとの相対位置関係を決定し、且つ現在組立体の三次元モデル、ロボットの三次元モデル及び現在組立体とロボットとの相対位置関係に基づいて遠隔操作環境のデジタルツインモデルを確立するためのデジタルツインモデル再構築モジュールと、を備える。
【0015】
好適な実施形態として、前記画像収集装置はＲＧＢ－Ｄカメラである。
【0016】
別の態様では、本発明はメモリと、プロセッサと、メモリに記憶され且つプロセッサにおいて実行され得るコンピュータプログラムとを備える電子機器を提供し、前記プロセッサが前記プログラムを実行するとき、本発明のいずれか１つの実施例に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法を実現することを特徴とする。
【発明の効果】
【0017】
本発明は以下の有益な効果を有する。
【0018】
本発明に係る組立ロボットの遠隔操作環境のデジタルツインモデリング方法は、組立中の部品を識別することにより、予め入力された組立体の組立順序を利用して組立済みの部品リストを取得し、組立済みの部品リストに基づいて高精度の現在組立体の三次元モデルを再構築する。組立体及びロボットの画像収集装置座標系での姿勢情報を計算することにより、ロボットと組立体との相対位置関係を取得し、この関係に基づいて精確な遠隔操作環境のデジタルツインモデルを確立する。
【図面の簡単な説明】
【0019】
【発明を実施するための形態】
【0020】
以下、本発明の実施例の図面を参照しながら、本発明の実施例の技術案を明確且つ完全に説明する。無論、説明される実施例は本発明の実施例の一部であり、実施例の全部ではない。本発明の実施例に基づいて、当業者が進歩性のある労働を必要とせずに取得する他の実施例は、いずれも本発明の保護範囲に属する。
【0021】
理解されるように、本明細書に使用されるステップの番号は説明しやすくするためのものであって、ステップの実行順序を限定するものではない。
【0022】
理解されるように、本発明の明細書に使用される用語は特定の実施例を説明するためのものであって、本発明を制限するように意図されるものではない。本発明の明細書及び添付の特許請求の範囲に使用されるように、コンテクストに他の意味を明確に示さない限り、単数形式の「一」、「１つ」及び「該」は複数形式を含むように意図される。
【0023】
用語「含む」及び「包含」は説明される特徴、全体、ステップ、操作、要素及び／又はコンポーネントが存在することを示すが、１つ又は複数の他の特徴、全体、ステップ、操作、要素、コンポーネント及び／又はそれらの集合が存在し又は追加されることを排除しない。
【0024】
用語「及び／又は」とは、関連して列挙した項目のうちの１つ又は複数のいかなる組み合わせ及びすべての可能な組み合わせを指し、且つこれらの組み合わせを含む。
【0025】
実施例１
図１を参照して、本実施例は組立ロボットの遠隔操作環境のデジタルツインモデリング方法を提供し、
画像収集装置により遠隔操作環境の画像を収集するステップと、
画像中の現在組立中の部品を識別し、組立体の組立順序を問い合わせて、現在組立中の部品に基づいて組立済みの部品リストを取得するステップと、
組立済みの部品リストに基づいて現在組立体の三次元モデルを生成し、且つ現在組立体の画像収集装置座標系での姿勢情報を計算するステップと、
ロボットの三次元モデルをロードして、ロボット座標系と画像収集装置座標系との座標変換関係を決定するステップと、
座標変換関係に基づいて画像中のロボットに対して方位標定を行って、ロボットの画像収集装置座標系での姿勢情報を決定するステップと、
現在組立体の画像収集装置座標系での姿勢情報及びロボットの画像収集装置座標系での姿勢情報に基づいて現在組立体とロボットとの相対位置関係を決定するステップと、
現在組立体の三次元モデル、ロボットの三次元モデル及び現在組立体とロボットとの相対位置関係に基づいて遠隔操作環境のデジタルツインモデルを確立するステップと、を含む。
図１を参照して、本実施例は組立ロボットの遠隔操作環境のデジタルツインモデリング方法を提供し、
画像収集装置により遠隔操作環境の画像を収集するステップと、
画像中の現在組立中の部品を識別し、組立体の組立順序を問い合わせて、現在組立中の部品に基づいて組立済みの部品リストを取得するステップと、
組立済みの部品リストに基づいて現在組立体の三次元モデルを生成し、且つ現在組立体の画像収集装置座標系での姿勢情報を計算するステップと、
ロボットの三次元モデルをロードして、ロボット座標系と画像収集装置座標系との座標変換関係を決定するステップと、
座標変換関係に基づいて画像中のロボットに対して方位標定を行って、ロボットの画像収集装置座標系での姿勢情報を決定するステップと、
現在組立体の画像収集装置座標系での姿勢情報及びロボットの画像収集装置座標系での姿勢情報に基づいて現在組立体とロボットとの相対位置関係を決定するステップと、
現在組立体の三次元モデル、ロボットの三次元モデル及び現在組立体とロボットとの相対位置関係に基づいて遠隔操作環境のデジタルツインモデルを確立するステップと、を含む。
【0026】
本実施例は組立中の部品を識別することにより、予め入力された組立体の組立順序を利用して組立済みの部品リストを取得し、組立済みの部品リストに基づいて高精度の現在組立体の三次元モデルを再構築する。組立体及びロボットの画像収集装置座標系での姿勢情報を計算することにより、ロボットと組立体との相対位置関係を取得して、この関係に基づいて精確な遠隔操作環境のデジタルツインモデルを確立する。
【0027】
本実施例の好適な実施形態として、前記画像収集装置が収集した画像は深度画像を含み、画像中の現在組立中の部品を識別する前記ステップは具体的に、
深度画像中の組立体の異なる部品の領域を異なるカラータグで標識して、実例分割画像を生成し、
実例分割画像のカラータグを統計し、現在組立中の部品を識別する。
深度画像中の組立体の異なる部品の領域を異なるカラータグで標識して、実例分割画像を生成し、
実例分割画像のカラータグを統計し、現在組立中の部品を識別する。
【0028】
本実施例の好適な実施形態として、組立済みの部品リストに基づいて現在組立体の三次元モデルを生成する前記ステップは具体的に、
組立済みの部品リストにおける各部品の三次元モデルをロードし、
予め定義された組立体の各部品間の制約関係に応じてリストにおける各部品の組立体上での位置を決定し、
リストにおける各部品の組立体上での位置に基づいて各部品の三次元モデルの位置を調整して、現在組立体の三次元モデルを生成する。
組立済みの部品リストにおける各部品の三次元モデルをロードし、
予め定義された組立体の各部品間の制約関係に応じてリストにおける各部品の組立体上での位置を決定し、
リストにおける各部品の組立体上での位置に基づいて各部品の三次元モデルの位置を調整して、現在組立体の三次元モデルを生成する。
【0029】
本実施例の好適な実施形態として、現在組立体の画像収集装置座標系での姿勢情報を計算する前記ステップは具体的に、
深度画像を前処理して、背景を除去して、現在組立体のみを保存し、現在組立体の深度画像を取得し、
画像収集装置の内部参照及びイメージングモデルを利用して現在組立体の深度画像を深度画像ポイントクラウドに変換し、以下に前記深度画像ポイントクラウドが組立体ポイントクラウドと称され、
組立体ポイントクラウドをＰｏｉｎｔＮｅｔ＋＋ポイントクラウド特徴抽出ネットワークに入力して、組立体ポイントクラウド特徴を抽出し、
組立体ポイントクラウド特徴を事前に訓練されたＤｅｎｓｅ Ｆｕｓｉｏｎ姿勢推定ネットワークに入力し、組立体の画像収集装置座標系での姿勢情報を出力する。
深度画像を前処理して、背景を除去して、現在組立体のみを保存し、現在組立体の深度画像を取得し、
画像収集装置の内部参照及びイメージングモデルを利用して現在組立体の深度画像を深度画像ポイントクラウドに変換し、以下に前記深度画像ポイントクラウドが組立体ポイントクラウドと称され、
組立体ポイントクラウドをＰｏｉｎｔＮｅｔ＋＋ポイントクラウド特徴抽出ネットワークに入力して、組立体ポイントクラウド特徴を抽出し、
組立体ポイントクラウド特徴を事前に訓練されたＤｅｎｓｅ Ｆｕｓｉｏｎ姿勢推定ネットワークに入力し、組立体の画像収集装置座標系での姿勢情報を出力する。
【0030】
本実施例は組立体の三次元モデルを深度画像とマッチングし、ＰｏｉｎｔＮｅｔ＋＋ネットワークを利用してポイントクラウド特徴を抽出し、姿勢推定ネットワークＤｅｎｓｅ Ｆｕｓｉｏｎを利用して組立体の姿勢情報を推定し、組立体の位置決めを実現する。
【0031】
本実施例の好適な実施形態として、前記姿勢推定ネットワークの事前訓練過程は、
初期情報を決定し、初期視点における組立体の三次元モデルポイントクラウドのタグ姿勢情報を抽出して記録し、タグ姿勢情報が三次元モデルポイントクラウドにおける各点の回転行列Ri及びオフセット行列Tiを含み、ｉが三次元モデルポイントクラウドにおける各点のインデックスであり、
ポイントクラウド変換を行い、組立体の三次元モデルの初期視点と異なる他の視点における組立体の深度画像を抽出し、且つ画像収集装置の内部参照及びイメージングモデルを利用して該組立体の深度画像を組立体ポイントクラウドに変換し、
姿勢予測を行い、組立体ポイントクラウドをＰｏｉｎｔＮｅｔ＋＋ポイントクラウド特徴抽出ネットワークに入力し、組立体ポイントクラウドの幾何特徴を抽出して、稠密なポイントクラウドの各点の特徴を生成し、ポイントクラウドの各点の特徴をＤｅｎｓｅ Ｆｕｓｉｏｎ姿勢推定ネットワークに入力し、各点の姿勢予測情報を予測し、姿勢予測情報が予測回転行列R'i及び予測オフセット行列T'iを含み、
各点の姿勢予測情報とタグ姿勢情報とのユークリッド距離を計算して、ユークリッド距離に基づいて信頼度を生成し、信頼度が設定された閾値よりも小さい場合、画像更新ステップを実行し、信頼度が設定された閾値よりも大きく又は訓練回数が設定値に達する場合、現在視点における組立体の最適な姿勢予測情報を出力し、訓練が完了したかどうかを判断し、完了しなければポイントクラウド変換ステップに戻って、次の視点における組立体の深度画像を取り替えて訓練し続け、完了すれば画像更新ステップを実行し、
画像更新を行い、予測回転行列R'i及び予測オフセット行列T'iを入力として組立体ポイントクラウドに対して変位及び回転変換を行って、組立体ポイントクラウドの三次元座標を更新し、更新後の組立体ポイントクラウドをＰｏｉｎｔＮｅｔ＋＋ポイントクラウド特徴抽出ネットワークに入力して訓練し続ける。
初期情報を決定し、初期視点における組立体の三次元モデルポイントクラウドのタグ姿勢情報を抽出して記録し、タグ姿勢情報が三次元モデルポイントクラウドにおける各点の回転行列Ri及びオフセット行列Tiを含み、ｉが三次元モデルポイントクラウドにおける各点のインデックスであり、
ポイントクラウド変換を行い、組立体の三次元モデルの初期視点と異なる他の視点における組立体の深度画像を抽出し、且つ画像収集装置の内部参照及びイメージングモデルを利用して該組立体の深度画像を組立体ポイントクラウドに変換し、
姿勢予測を行い、組立体ポイントクラウドをＰｏｉｎｔＮｅｔ＋＋ポイントクラウド特徴抽出ネットワークに入力し、組立体ポイントクラウドの幾何特徴を抽出して、稠密なポイントクラウドの各点の特徴を生成し、ポイントクラウドの各点の特徴をＤｅｎｓｅ Ｆｕｓｉｏｎ姿勢推定ネットワークに入力し、各点の姿勢予測情報を予測し、姿勢予測情報が予測回転行列R'i及び予測オフセット行列T'iを含み、
各点の姿勢予測情報とタグ姿勢情報とのユークリッド距離を計算して、ユークリッド距離に基づいて信頼度を生成し、信頼度が設定された閾値よりも小さい場合、画像更新ステップを実行し、信頼度が設定された閾値よりも大きく又は訓練回数が設定値に達する場合、現在視点における組立体の最適な姿勢予測情報を出力し、訓練が完了したかどうかを判断し、完了しなければポイントクラウド変換ステップに戻って、次の視点における組立体の深度画像を取り替えて訓練し続け、完了すれば画像更新ステップを実行し、
画像更新を行い、予測回転行列R'i及び予測オフセット行列T'iを入力として組立体ポイントクラウドに対して変位及び回転変換を行って、組立体ポイントクラウドの三次元座標を更新し、更新後の組立体ポイントクラウドをＰｏｉｎｔＮｅｔ＋＋ポイントクラウド特徴抽出ネットワークに入力して訓練し続ける。
【0032】
図２を参照して、本実施例の好適な実施形態として、前記画像収集装置はＲＧＢ－Ｄカメラであり、収集された画像は更にＲＧＢ画像を含み、ロボット座標系と画像収集装置座標系との座標変換関係を決定する前記ステップは具体的に、
ロボットの関節に位置決め標識物（例えば、特別な形状及びカラーの小球）を設置し、
ロボットを制御してポイントツーポイント間欠運動を行わせ、各間欠運動点において、ロボットコントローラにより位置決め標識物のロボット座標系（Ow-XwYwZw）での座標Pi(xwi,ywi, zwi)を読み取るとともに、位置決め標識物の特徴点のＲＧＢ画像での画素座標Zi(ui, vi)を識別し、
位置決め標識物の特徴点のＲＧＢ画像での画素座標Zi(ui, vi)及びＲＧＢ－Ｄカメラのイメージングモデルに基づいて、ＲＧＢ－Ｄカメラにおける深度カメラとカラーカメラとの位置関係を利用して、位置決め標識物の特徴点のカメラ座標系（Oc-XcYcZc）での三次元座標P'i(xci,yci, zci)を求め、
４つ以上の間欠運動点の位置決め標識物のロボット座標系での座標Pi(xwi,ywi, zwi)及び位置決め標識物の特徴点のカメラ座標系での三次元座標P'i(xci,yci, zci)を取得して、ロボット座標系とカメラ座標系との変換行列を計算し、前記変換行列は、次式（数１）と示されてもよく、ここで、Ｒが３＊３回転行列であり、Ｔが３＊１平行移動ベクトルであって、ロボット座標系のカメラ座標系での方向及び位置を示す。
ロボットの関節に位置決め標識物（例えば、特別な形状及びカラーの小球）を設置し、
ロボットを制御してポイントツーポイント間欠運動を行わせ、各間欠運動点において、ロボットコントローラにより位置決め標識物のロボット座標系（Ow-XwYwZw）での座標Pi(xwi,ywi, zwi)を読み取るとともに、位置決め標識物の特徴点のＲＧＢ画像での画素座標Zi(ui, vi)を識別し、
位置決め標識物の特徴点のＲＧＢ画像での画素座標Zi(ui, vi)及びＲＧＢ－Ｄカメラのイメージングモデルに基づいて、ＲＧＢ－Ｄカメラにおける深度カメラとカラーカメラとの位置関係を利用して、位置決め標識物の特徴点のカメラ座標系（Oc-XcYcZc）での三次元座標P'i(xci,yci, zci)を求め、
４つ以上の間欠運動点の位置決め標識物のロボット座標系での座標Pi(xwi,ywi, zwi)及び位置決め標識物の特徴点のカメラ座標系での三次元座標P'i(xci,yci, zci)を取得して、ロボット座標系とカメラ座標系との変換行列を計算し、前記変換行列は、次式（数１）と示されてもよく、ここで、Ｒが３＊３回転行列であり、Ｔが３＊１平行移動ベクトルであって、ロボット座標系のカメラ座標系での方向及び位置を示す。
【0033】
【数1】
【0034】
本実施例の好適な実施形態として、ロボットを制御してポイントツーポイント間欠運動を行わせるステップにおいて、位置決め精度を向上させるために、ポイントツーポイント間欠運動の軌跡を複数の正方形として設定することができ、最小二乗問題を構築し及び最小二乗問題を解くことによりMwcを解き、前記Mwcは、次式（数２）であり、Mwcを求めた後、即ちカラーカメラ座標系Oc-XcYcZcとロボットベース座標系Ow-XwYwZwとの変換関係を求めた後、ロボットの方位標定が完了され、ロボットの三次元モデルの姿勢情報が取得される。
【0035】
【数2】
【0036】
他の態様では、本発明は組立ロボットの遠隔操作環境のデジタルツインモデリングシステムを提供し、
遠隔操作環境の画像を収集するための画像収集装置と、
組立体の各部品の三次元モデル、各部品の制約関係及び組立体の組立順序が事前にロードされる組立体デジタルモジュールと、
画像中の現在組立中の部品を識別し及び組立体の組立順序を問い合わせて、現在組立中の部品に基づいて組立済みの部品リストを取得し、且つ組立済みの部品リストに基づいて現在組立体の三次元モデルを生成するための組立体再構築モジュールと、
現在組立体の画像収集装置座標系での姿勢情報を計算するための組立体位置決めモジュールと、
ロボットの三次元モデルが事前にロードされるロボットデジタルモジュールと、
ロボット座標系と画像収集装置座標系との座標変換関係を決定し、且つ座標変換関係に基づいて画像中のロボットに対して方位標定を行って、ロボットの画像収集装置座標系での姿勢情報を決定するためのロボット位置決めモジュールと、
現在組立体の画像収集装置座標系での姿勢情報及びロボットの画像収集装置座標系での姿勢情報に基づいて現在組立体とロボットとの相対位置関係を決定し、且つ現在組立体の三次元モデル、ロボットの三次元モデル及び現在組立体とロボットとの相対位置関係に基づいて遠隔操作環境のデジタルツインモデルを確立するためのデジタルツインモデル再構築モジュールと、を備える。
遠隔操作環境の画像を収集するための画像収集装置と、
組立体の各部品の三次元モデル、各部品の制約関係及び組立体の組立順序が事前にロードされる組立体デジタルモジュールと、
画像中の現在組立中の部品を識別し及び組立体の組立順序を問い合わせて、現在組立中の部品に基づいて組立済みの部品リストを取得し、且つ組立済みの部品リストに基づいて現在組立体の三次元モデルを生成するための組立体再構築モジュールと、
現在組立体の画像収集装置座標系での姿勢情報を計算するための組立体位置決めモジュールと、
ロボットの三次元モデルが事前にロードされるロボットデジタルモジュールと、
ロボット座標系と画像収集装置座標系との座標変換関係を決定し、且つ座標変換関係に基づいて画像中のロボットに対して方位標定を行って、ロボットの画像収集装置座標系での姿勢情報を決定するためのロボット位置決めモジュールと、
現在組立体の画像収集装置座標系での姿勢情報及びロボットの画像収集装置座標系での姿勢情報に基づいて現在組立体とロボットとの相対位置関係を決定し、且つ現在組立体の三次元モデル、ロボットの三次元モデル及び現在組立体とロボットとの相対位置関係に基づいて遠隔操作環境のデジタルツインモデルを確立するためのデジタルツインモデル再構築モジュールと、を備える。
【0037】
好適な実施形態として、前記画像収集装置はＲＧＢ－Ｄカメラである。
【0038】
別の態様では、本発明はメモリと、プロセッサと、メモリに記憶され且つプロセッサにおいて実行され得るコンピュータプログラムとを備える電子機器を提供し、前記プロセッサが前記プログラムを実行するとき、本発明のいずれか１つの実施例に記載の組立ロボットの遠隔操作環境のデジタルツインモデリング方法を実現することを特徴とする。
【0039】
以上の説明は本発明の実施例であって、本発明の特許範囲を制限するものではなく、本発明の明細書及び図面の内容を利用して行われた等価構造又は等価プロセスの変換、又は他の関連する技術分野に直接又は間接的に応用されるものは、いずれも同様に本発明の特許保護範囲内に含まれる。
【図1】
【図2】
