特表 2024-503275 移動ロボット制御方法、コンピュータで実現される記憶媒体及び移動ロボット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-25

(54)【発明の名称】移動ロボット制御方法、コンピュータで実現される記憶媒体及び移動ロボット

(51)【国際特許分類】

   G05D 1/43 20240101AFI20240118BHJP

【ＦＩ】

G05D1/02 K

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023539797

(86)(22)【出願日】2021-12-28

(85)【翻訳文提出日】2023-08-22

(86)【国際出願番号】 CN2021141964

(87)【国際公開番号】W WO2022143626

(87)【国際公開日】2022-07-07

(31)【優先権主張番号】17/138,946

(32)【優先日】2020-12-31

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】523238427

【氏名又は名称】優必康（青島）科技有限公司

【氏名又は名称原語表記】ＵＢＫＡＮＧ （ＱＩＮＧＤＡＯ） ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ ２０２－１， Ｂｕｉｌｄｉｎｇ ３， Ｎｏ．８ Ｓｈｅｎｇｓｈｕｉ Ｒｏａｄ， Ｌａｏｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｑｉｎｇｄａｏ， Ｓｈａｎｄｏｎｇ ２６６１００， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】グォ ドゥジュン

(72)【発明者】

【氏名】サオ ダン

(72)【発明者】

【氏名】シェン ヤン

(72)【発明者】

【氏名】ポン カンハオ

(72)【発明者】

【氏名】タン ファン

【テーマコード（参考）】

5H301

【Ｆターム（参考）】

5H301AA01

5H301AA10

5H301CC03

5H301CC06

5H301GG09

5H301QQ04

(57)【要約】

本発明は、移動ロボット制御方法、コンピュータで実現される記憶媒体、及び移動ロボットに関する。方法は、ロボットが所望のポーズにあるときに、ロボット上のカメラによって撮影された第１画像を取得するステップと、ロボットが現在のポーズにあるときに、ロボット上のカメラによって撮影された第２画像を取得するステップと、第１画像及び第２画像から複数対のマッチング特徴点を抽出し、抽出された特徴点を仮想単位球上投影して、複数の投影特徴点を得るステップであって、仮想単位球の中心は、カメラの座標の光学中心と重なるステップと、前記複数の投影特徴点に基づいて、画像不変特徴及び回転ベクトル特徴を取得し、画像不変特徴及び回転ベクトル特徴に従って、前記ロボットが所望のポーズになるまで移動するように制御するステップと、を含む。画像不変特徴及び回転ベクトル特徴を用いてロボットの所望のポーズを決定するため、事前に目標モデルを知っていたり、目標に対するロボットのポーズを推定したりする必要がない。

【特許請求の範囲】

【請求項1】

１つ又は複数のプロセッサーによって実行される、移動ロボットを制御するためのコンピュータにより実現される方法であって、
ロボットが所望のポーズにあるときに、ロボット上のカメラによって撮影された第１画像を取得するステップと、
ロボットが現在のポーズにあるときに、ロボット上のカメラによって撮影された第２画像を取得するステップと、
前記第１画像及び第２画像から複数対のマッチング特徴点を抽出し、前記抽出された特徴点を仮想単位球上に投影して、複数の投影特徴点を得るステップであって、仮想単位球の中心は、カメラの座標の光学中心と重なるステップと、
前記複数の投影特徴点に基づいて、画像不変特徴及び回転ベクトル特徴を取得し、前記画像不変特徴及び回転ベクトル特徴に従って、前記ロボットが前記所望のポーズになるまで移動するように制御するステップと、を含むことを特徴とする方法。

【請求項2】

ロボットが移動するように制御するステップは、
前記画像不変特徴に従って、前記ロボットが平行移動するように制御するステップと、
前記回転ベクトル特徴に従って、前記ロボットが回転するように制御するステップと、を含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記画像不変特徴に従って、前記ロボットが平行移動するように制御するステップは、
前記画像不変特徴及びプリセット制御モデルに従って、第１角速度及び第１線速度を計算するステップと、
前記第１角速度及び第１線速度に従って、前記ロボットが平行移動するように制御するステップと、
平行移動誤差が第１プリセット閾値より小さいか否かを判断するステップと、
前記平行移動誤差が前記第１プリセット閾値以上である場合、前記第２画像を取得するステップに戻るステップと、
前記平行移動誤差が前記第１プリセット閾値より小さい場合、前記ロボットが前記回転ベクトル特徴に従って回転するように制御するステップと、を含むことを特徴とする請求項２に記載の方法。

【請求項4】

前記回転ベクトル特徴に従って前記ロボットが回転するように制御するステップは、
前記回転ベクトル特徴及び制御モデルに基づいて、第２角速度及び第２線速度を計算するステップと、
前記第２角速度及び第２線速度に従って、前記ロボットが回転するように制御するステップと、
前記ロボットの回転後の方向誤差が第２プリセット閾値より小さいか否かを判断するステップと、
前記ロボットの前記方向誤差が前記第２プリセット閾値以上である場合、前記カメラによって第３画像を取得するステップと、
前記第１画像及び第３画像から複数対のマッチング特徴点を抽出し、前記抽出された特徴点を前記単位球上に投影して、複数の投影特徴点を得るステップと、
前記第１画像及び第３画像から抽出された前記複数の投影特徴点に基づいて、前記回転ベクトル特徴を取得し、次に、前記回転ベクトル特徴及び制御モデルに基づいて、前記第２角速度及び第２線速度を計算するステップに戻るステップと、を含むことを特徴とする請求項２に記載の方法。

【請求項5】

前記画像不変特徴は、前記投影特徴点のうちの２つの間の距離の逆数、画像モーメント、及び面積のうちの１つ又は複数を含む、ことを特徴とする請求項１に記載の方法。

【請求項6】

前記複数の投影特徴点に基づいて、前記画像不変特徴を取得するステップは、
前記投影特徴点のうちの２つの間の距離、画像モーメント、及び面積のうちの少なくとも２つを取得するステップと、
前記投影特徴点のうちの２つの間の距離、画像モーメント、及び面積のうちの少なくとも２つの平均値を計算し、この平均値を画像不変特徴とするステップと、を含むことを特徴とする請求項１に記載の方法。

【請求項7】

前記複数の投影特徴点に基づいて、回転ベクトル特徴を取得するステップは、
前記複数の投影特徴点に基づいて、前記ロボットの加速度方向を決定するステップと、
前記加速度方向とロボット座標系のｘ軸との夾角を前記回転ベクトル特徴とするステップと、を含むことを特徴とする請求項１に記載の方法。

【請求項8】

前記第１画像及び第２画像から複数対のマッチング特徴点を抽出するステップは、
スケール不変特徴変換を用いて、前記第１画像及び第２画像のそれぞれから第１数の原特徴点を抽出するステップと、
前記抽出された原特徴点を比較及びマッチングして、第２数の対のマッチング特徴点を取得するステップと、を含むことを特徴とする請求項１に記載の方法。

【請求項9】

ロボットがプリセットポーズで所望の位置に停止するように制御するステップと、
前記カメラによって撮影された前記ロボットの前方の環境の画像を前記第１画像とするステップであって、前記ロボットの前方の環境は少なくとも３つの特徴点を含むステップと、をさらに含むことを特徴とする請求項１に記載の方法。

【請求項10】

移動ロボットで実行される１つ又は複数のプログラムを記憶する非一時的なコンピュータ可読記憶媒体であって、前記１つ又は複数のプログラムが前記ロボットの１つ又は複数のプロセッサーによって実行されると、前記ロボットに実行させる処理は、
ロボットが所望のポーズにあるときに、ロボット上のカメラによって撮影された第１画像を取得するステップと、
ロボットが現在のポーズにあるときに、ロボット上のカメラによって撮影された第２画像を取得するステップと、
前記第１画像及び第２画像から複数対のマッチング特徴点を抽出し、前記抽出された特徴点を仮想単位球上に投影して、複数の投影特徴点を得るステップであって、仮想単位球の中心は、カメラの座標の光学中心と重なるステップと、
前記複数の投影特徴点に基づいて、画像不変特徴及び回転ベクトル特徴を取得し、前記画像不変特徴及び回転ベクトル特徴に従って、前記ロボットが前記所望のポーズになるまで移動するように制御するステップと、を含むことを特徴とする非一時的なコンピュータ可読記憶媒体。

【請求項11】

前記画像不変特徴は、前記投影特徴点のうちの２つの間の距離の逆数、画像モーメント、及び面積のうちの１つ又は複数を含み、
前記複数の投影特徴点に基づいて、前記回転ベクトル特徴を取得するステップは、
前記複数の投影特徴点に基づいて、前記ロボットの加速度方向を決定するステップと、
前記加速度方向とロボット座標系のｘ軸との夾角を前記回転ベクトル特徴とするステップと、を含むことを特徴とする請求項１０に記載の非一時的なコンピュータ可読記憶媒体。

【請求項12】

移動ロボットであって、
１つ又は複数のプロセッサーと、
メモリと、
前記メモリに記憶され、前記１つ又は複数のプロセッサーによって実行されるように配置された１つ又は複数のプログラムと、を含み、
前記１つ又は複数のプログラムは、
ロボットが所望のポーズにあるときに、ロボット上のカメラによって撮影された第１画像を取得する命令と、
ロボットが現在のポーズにあるときに、ロボット上のカメラによって撮影された第２画像を取得する命令と、
前記第１画像及び第２画像から複数対のマッチング特徴点を抽出し、前記抽出された特徴点を仮想単位球上に投影して、複数の投影特徴点を得る命令であって、仮想単位球の中心は、カメラの座標の光学中心と重なる命令と、
前記複数の投影特徴点に基づいて、画像不変特徴及び回転ベクトル特徴を取得し、前記画像不変特徴及び回転ベクトル特徴に従って、前記ロボットが前記所望のポーズになるまで移動するように制御する命令と、を含むことを特徴とするロボット。

【請求項13】

ロボットが移動するように制御することは、
前記画像不変特徴に従って、前記ロボットが平行移動するように制御するステップと、
前記回転ベクトル特徴に従って、前記ロボットが回転するように制御するステップと、を含むことを特徴とする請求項１２に記載のロボット。

【請求項14】

前記画像不変特徴に従って、前記ロボットが平行移動するように制御するステップは、
前記画像不変特徴及びプリセット制御モデルに従って、第１角速度及び第１線速度を計算するステップと、
前記第１角速度及び第１線速度に従って、前記ロボットが平行移動するように制御するステップと、
平行移動誤差が第１プリセット閾値より小さいか否かを判断するステップと、
前記平行移動誤差が前記第１プリセット閾値以上である場合、前記第２画像を取得するステップに戻るステップと、
前記平行移動誤差が前記第１プリセット閾値より小さい場合、前記ロボットが前記回転ベクトル特徴に従って回転するように制御するステップと、を含むことを特徴とする請求項１３に記載のロボット。

【請求項15】

前記回転ベクトル特徴に従って前記ロボットが回転するように制御するステップは、
前記回転ベクトル特徴及び制御モデルに基づいて、第２角速度及び第２線速度を計算するステップと、
前記第２角速度及び第２線速度に従って、前記ロボットが回転するように制御するステップと、
前記ロボットの回転後の方向誤差が第２プリセット閾値より小さいか否かを判断するステップと、
前記ロボットの前記方向誤差が前記第２プリセット閾値以上である場合、前記カメラによって第３画像を取得するステップと、
前記第１画像及び第３画像から複数対のマッチング特徴点を抽出し、前記抽出された特徴点を前記単位球上に投影して、複数の投影特徴点を得るステップと、
前記第１画像及び第３画像から抽出された前記複数の投影特徴点に基づいて、前記回転ベクトル特徴を取得し、次に、前記回転ベクトル特徴及び制御モデルに基づいて、前記第２角速度及び第２線速度を計算するステップに戻るステップと、を含むことを特徴とする請求項１３に記載のロボット。

【請求項16】

前記画像不変特徴は、前記投影特徴点のうちの２つの間の距離の逆数、画像モーメント、及び面積のうちの１つ又は複数を含む、ことを特徴とする請求項１２に記載のロボット。

【請求項17】

前記複数の投影特徴点に基づいて、前記画像不変特徴を取得することは、
前記投影特徴点のうちの２つの間の距離、画像モーメント、及び面積のうちの少なくとも２つのを取得するステップと、
前記投影特徴点のうちの２つの間の距離、画像モーメント、及び面積のうちの少なくとも２つの平均値を計算し、この平均値を画像不変特徴とするステップと、を含むことを特徴とする請求項１２に記載のロボット。

【請求項18】

前記複数の投影特徴点に基づいて、前記回転ベクトル特徴を取得することは、
前記複数の投影特徴点に基づいて、前記ロボットの加速度方向を決定するステップと、
前記加速度方向とロボット座標系のｘ軸との夾角を前記回転ベクトル特徴とするステップと、を含むことを特徴とする請求項１２に記載のロボット。

【請求項19】

前記第１画像及び第２画像から複数対のマッチング特徴点を抽出することは、
スケール不変特徴変換を用いて、前記第１画像及び第２画像のそれぞれから第１数の原特徴点を抽出するステップと、
前記抽出された原特徴点を比較及びマッチングして、第２数の対のマッチング特徴点を取得するステップと、を含むことを特徴とする請求項１２に記載のロボット。

【請求項20】

ロボットがプリセットポーズで所望の位置に停止するように制御するステップと、
前記カメラによって撮影された前記ロボットの前方の環境の画像を前記第１画像とすることであって、前記ロボットの前方の環境は少なくとも３つの特徴点を含むステップと、をさらに含むことを特徴とする請求項１２に記載のロボット。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に移動ロボットに関し、特に、ポーズ測定を行わない画像ベースの移動ロボット制御方法及び移動ロボットに関する。

【背景技術】

【0002】

地上移動ロボットは、様々な反復的で危険な活動を実行するために、後方勤務、操作救助、監視などの分野で積極的に発展している。多くの地上移動ロボットの調整制御は主にデカルト座標系で行われている。つまり、システムの出力は、メートル座標（ｘ軸とｙ軸に沿う）、及び度又は弧度（ｚ軸の周り）で測定された角度である。そのためには、センサーによって取集された想定情報を制御計算に使用する必要がある。しかしながら、ライダー、ＲＧＢ－Ｄ及びステレオカメラなどの一般的に使用される距離センサーは高価であり、体積が大きい。

【0003】

ロボットの相対ポーズは、単眼式カメラで再構築することができる。しかしながら、単眼式カメラに基づくポーズ再構築（ｐｏｓｅｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）には、事前に目標モデル及びポーズ推定の回復を知る必要があるが、事前に目標モデルを知ることを常に得ることができない。さらに、ポーズ推定に必要な計算は非常に複雑である。

【0004】

従って、上記の問題を克服するために、ポーズ測定を行わない画像ベースの移動ロボット制御方法を提供する必要がある。

【発明の概要】

【0005】

本発明の目的は、既存の上記の問題を解決するために、ロボットアシスタントを提供することである。

【0006】

本発明は、次のように実現される。１つ又は複数のプロセッサーによって実行される、移動ロボットを制御するためのコンピュータにより実現される方法であって、この方法は、ロボットが所望のポーズにあるときに、ロボット上のカメラによって撮影された第１画像を取得するステップと、ロボットが現在のポーズにあるときに、ロボット上のカメラによって撮影された第２画像を取得するステップと、前記第１画像及び第２画像から複数対のマッチング特徴点を抽出し、前記抽出された特徴点を仮想単位球上に投影して、複数の投影特徴点を得るステップであって、仮想単位球の中心は、カメラの座標の光学中心と重なるステップと、前記複数の投影特徴点に基づいて、画像不変特徴及び回転ベクトル特徴を取得し、前記画像不変特徴及び回転ベクトル特徴に従って、前記ロボットが前記所望のポーズになるまで移動するように制御するステップと、を含む。

【0007】

さらに、ロボットが移動するように制御するステップは、前記画像不変特徴に従って、前記ロボットが平行移動するように制御するステップと、前記回転ベクトル特徴に従って、前記ロボットが回転するように制御するステップと、を含む。

【0008】

さらに、前記画像不変特徴に従って、前記ロボットが平行移動するように制御するステップは、前記画像不変特徴及びプリセット制御モデルに従って、第１角速度及び第１線速度を計算するステップと、前記第１角速度及び第１線速度に従って、前記ロボットが平行移動するように制御するステップと、平行移動誤差が第１プリセット閾値より小さいか否かを判断するステップと、前記平行移動誤差が前記第１プリセット閾値以上である場合、前記第２画像を取得するステップに戻るステップと、前記平行移動誤差が前記第１プリセット閾値より小さい場合、前記ロボットが前記回転ベクトル特徴に従って回転するように制御するステップと、を含む。

【0009】

さらに、前記回転ベクトル特徴に従って、前記ロボットが回転するように制御するステップは、前記回転ベクトル特徴及び制御モデルに基づいて、第２角速度及び第２線速度を計算するステップと、前記第２角速度及び第２線速度に従って、前記ロボットが回転するように制御するステップと、前記ロボットの回転後の方向誤差が第２プリセット閾値より小さいか否かを判断するステップと、前記ロボットの前記方向誤差が前記第２プリセット閾値以上である場合、前記カメラによって第３画像を取得するステップと、前記第１画像及び第３画像から複数対のマッチング特徴点を抽出し、前記抽出された特徴点を前記単位球上に投影して、複数の投影特徴点を得るステップと、前記第１画像及び第３画像から抽出された前記複数の投影特徴点に基づいて、前記回転ベクトル特徴を取得し、次に、前記回転ベクトル特徴及び制御モデルに基づいて、前記第２角速度及び第２線速度を計算するステップに戻るステップと、を含む。

【0010】

さらに、前記画像不変特徴は、前記投影特徴点のうちの２つの間の距離の逆数、画像モーメント、及び面積のうちの１つ又は複数を含む。

【0011】

さらに、前記複数の投影特徴点に基づいて、前記画像不変特徴を取得するステップは、前記投影特徴点のうちの２つの間の距離、画像モーメント、及び面積のうちの少なくとも２つを取得するステップと、前記投影特徴点のうちの２つの間の距離、画像モーメント、及び面積のうちの少なくとも２つの平均値を計算し、この平均値を画像不変特徴とするステップと、を含む。

【0012】

さらに、前記複数の投影特徴点に基づいて、前記回転ベクトル特徴を取得するステップは、前記複数の投影特徴点に基づいて、前記ロボットの加速度方向を決定するステップと、前記加速度方向とロボット座標系のｘ軸との夾角を前記回転ベクトル特徴とするステップと、を含む。

【0013】

さらに、前記第１画像及び第２画像から複数対のマッチング特徴点を抽出するステップは、スケール不変特徴変換を用いて、前記第１画像及び第２画像のそれぞれから第１数の原特徴点を抽出するステップと、前記抽出された原特徴点を比較及びマッチングして、第２数の対のマッチング特徴点を取得するステップと、を含む。

【0014】

さらに、方法は、ロボットがプリセットポーズで所望の位置に停止するように制御するステップと、前記カメラによって撮影された前記ロボットの前方の環境の画像を前記第１画像とするステップであって、前記ロボットの前方の環境は少なくとも３つの特徴点を含むステップと、をさらに含む。

【0015】

本発明はまた、移動ロボットで実行される１つ又は複数のプログラムを記憶する非一時的なコンピュータ可読記憶媒体を提供する。前記１つ又は複数のプログラムが前記ロボットの１つ又は複数のプロセッサーによって実行されると、前記ロボットに実行させる処理は、ロボットが所望のポーズにあるときに、ロボット上のカメラによって撮影された第１画像を取得するステップと、ロボットが現在のポーズにあるときに、ロボット上のカメラによって撮影された第２画像を取得するステップと、前記第１画像及び第２画像から複数対のマッチング特徴点を抽出し、前記抽出された特徴点を仮想単位球上に投影して、複数の投影特徴点を得るステップであって、仮想単位球の中心は、カメラの座標の光学中心と重なるステップと、前記複数の投影特徴点に基づいて、画像不変特徴及び回転ベクトル特徴を取得し、前記画像不変特徴及び回転ベクトル特徴に従って、前記ロボットが前記所望のポーズになるまで移動するように制御するステップと、を含む。

【0016】

さらに、前記画像不変特徴は、前記投影特徴点のうちの２つの間の距離の逆数、画像モーメント、及び面積のうちの１つ又は複数を含む。前記複数の投影特徴点に基づいて、前記回転ベクトル特徴を取得するステップは、前記複数の投影特徴点に基づいて、前記ロボットの加速度方向を決定するステップと、前記加速度方向とロボット座標系のｘ軸との夾角を前記回転ベクトル特徴とするステップと、を含む。

【0017】

本発明は、移動ロボットをさらに含む。この移動ロボットは、１つ又は複数のプロセッサーと、メモリと、前記メモリに記憶され、前記１つ又は複数のプロセッサーによって実行されるように配置された１つ又は複数のプログラムと、を含む。前記１つ又は複数のプログラムは、ロボットが所望のポーズにある時に、ロボット上のカメラによって撮影された第１画像を取得する命令と、ロボットが現在のポーズにあるときに、ロボット上のカメラによって撮影された第２画像を取得する命令と、前記第１画像及び第２画像から複数対のマッチング特徴点を抽出し、前記抽出された特徴点を仮想単位球上に投影して、複数の投影特徴点を得る命令であって、仮想単位球の中心は、カメラの座標の光学中心と重なる命令と、前記複数の投影特徴点に基づいて、画像不変特徴及び回転ベクトル特徴を取得し、前記画像不変特徴及び回転ベクトル特徴に従って、前記ロボットが前記所望のポーズになるまで移動するように制御する命令と、を含む。

【0018】

さらに、ロボットが移動するように制御することは、前記画像不変特徴に従って、前記ロボットが平行移動するように制御するステップと、前記回転ベクトル特徴に従って、前記ロボットが回転するように制御するステップと、を含む。

【0019】

さらに、前記画像不変特徴に従って、前記ロボットが平行移動するように制御するステップは、前記画像不変特徴及びプリセット制御モデルに従って、第１角速度及び第１線速度を計算するステップと、前記第１角速度及び第１線速度に従って、前記ロボットが平行移動するように制御するステップと、平行移動誤差が第１プリセット閾値より小さいか否かを判断するステップと、前記平行移動誤差が前記第１プリセット閾値以上である場合、前記第２画像を取得するステップに戻るステップと、前記平行移動誤差が前記第１プリセット閾値より小さい場合、前記ロボットが前記回転ベクトル特徴に従って回転するように制御するステップと、を含む。さらに、前記回転ベクトル特徴に従って、前記ロボットが回転するように制御するステップは、前記回転ベクトル特徴及び制御モデルに基づいて、第２角速度及び第２線速度を計算するステップと、前記第２角速度及び第２線速度に従って、前記ロボットが回転するように制御するステップと、前記ロボットの回転後の方向誤差が第２プリセット閾値より小さいか否かを判断するステップと、前記ロボットの前記方向誤差が前記第２プリセット閾値以上である場合、前記カメラによって第３画像を取得するステップと、前記第１画像及び第３画像から複数対のマッチング特徴点を抽出し、前記抽出された特徴点を前記単位球上に投影して、複数の投影特徴点を得るステップと、前記第１画像及び第３画像から抽出された前記複数の投影特徴点に基づいて、前記回転ベクトル特徴を取得し、次に、前記回転ベクトル特徴及び制御モデルに基づいて、前記第２角速度及び第２線速度を計算するステップに戻るステップと、を含む。

【0020】

さらに、前記画像不変特徴は、前記投影特徴点のうちの２つの間の距離の逆数、画像モーメント、及び面積のうちの１つ又は複数を含む。

【0021】

さらに、前記複数の投影特徴点に基づいて、前記画像不変特徴を取得することは、前記投影特徴点のうちの２つの間の距離、画像モーメント、及び面積のうちの少なくとも２つを取得するステップと、前記投影特徴点のうちの２つの間の距離、画像モーメント、及び面積のうちの少なくとも２つの平均値を計算し、この平均値を画像不変特徴とするステップと、を含む。

【0022】

さらに、前記複数の投影特徴点に基づいて、前記回転ベクトル特徴を取得することは、前記複数の投影特徴点に基づいて、前記ロボットの加速度方向を決定するステップと、前記加速度方向とロボット座標系のｘ軸との夾角を前記回転ベクトル特徴とするステップと、を含む。

【0023】

さらに、前記第１画像及び第２画像から複数対のマッチング特徴点を抽出することは、スケール不変特徴変換を用いて、前記第１画像及び第２画像のそれぞれから第１数の原特徴点を抽出するステップと、前記抽出された原特徴点を比較及びマッチングして、第２数の対のマッチング特徴点を取得するステップと、を含む。

【0024】

さらに、ロボットがプリセットポーズで所望の位置に停止するように制御するステップと、前記カメラによって撮影された前記ロボットの前方の環境の画像を前記第１画像とするステップであって、前記ロボットの前方の環境は少なくとも３つの特徴点を含むステップと、をさらに含む。

【0025】

従来技術に対する本発明の技術的効果は、本発明の移動ロボット制御方法が、従来の高価でかさばるセンサーに依存するのではなく、カメラを１台だけ必要とすることである。一方、画像不変特徴及び回転ベクトル特徴を用いてロボットの所望のポーズを決定するため、事前に目標モデルを知っていたり、目標に対するロボットのポーズを推定したりする必要がない。

【図面の簡単な説明】

【0026】

本発明の実施例の技術的手段を更に明らかに説明するため、下記では本発明の実施例又は従来技術の説明に必要な図面を簡単に説明する。当然のことながら、下記で説明される図面は本発明の幾つかの実施例のみであり、当業者にとって、創造的労働を果たさない前提で、これらの図面に基づいて他の図面を得ることができる。

【図1】一実施例によるロボットの模式ブロック図である。

【図2】別の実施例によるロボットの模式ブロック図である。

【図3】一実施例による車輪型ロボットの模式等角図である。

【図4】ロボットを制御して充電ステーションにドッキングできるシナリオを示す。

【図5】一実施例による移動ロボット制御方法の模式フローチャートである。

【図6】別の実施例による移動ロボット制御方法の模式フローチャートである。

【図7】特徴点を投影した仮想単位球の模式図である。

【図8】一実施例による加速度レベルのシステム入力を示す。

【図9】不変特徴を使用した画像ベースの切り替え制御スキームを示す。

【図10】一実施例による、ロボットが平行移動するように制御する方法の模式フローチャートである。

【図11】一実施例による、ロボットが平行移動するように制御する方法の模式フローチャートである。

【発明を実施するための形態】

【0027】

以下では、本発明の実施例を詳細に説明し、例示的な実施例を添付の図面に示す。同じ又は類似の符号は、同じ又は類似の要素、あるいは同じ又は類似の機能を有する要素を示す。添付の図面を参照しながら以下に説明する実施例は例示的な、本発明を説明するためのものであり、本発明を限定するものとして理解されるべきではない。

【0028】

本発明の説明では、「長さ」、「幅」、「上」、「下」、「前」、「後」、「左」、「右」、「垂直」、「水平」、「頂」、「底」、「内」、「外」などの用語で示される方位又は位置関係は、図面で示される方位又は位置関係に基づいた、本発明の説明の便宜および説明の簡略化のためのものに過ぎず、言及された装置又は部品が必ず特定の方位を有し特定の方位で構造及び操作されることを指示又は示唆するものではないため、本発明を制限するものではないと理解されるべきある。

【0029】

それ以外に、「第１」、「第２」という技術用語は、説明の目的でのみ使用され、相対的な重要性を指示したり示唆したり、あるいは示される技術的特徴の数を暗黙的に示したりするものとして理解することができない。それにより、「第１」及び「第２」により限定される特徴は、明示的に又は暗黙的に、１つ又は複数の該特徴を含むことができる。本発明の説明において、「複数」は、特に明確かつ具体的に限定されない限り、２つ又は２つ以上を意味する。

【0030】

本発明において、特に明確に指定及び限定されない限り、「取付」、「連結」、「接続」、「固定」などの用語は広い意味で理解する必要があり、例えば、固定接続、取り外し可能な接続、又は一体化の場合がある。機械的接続又は電気的接続の場合がある。直接連結、中間媒体を介した間接的連結、２つの素子の内部連通又は２つの素子の相互作用関係の場合がある。当業者にとって、本発明における上記の用語の具体的な意味は、具体的な状況に応じて理解することができる。

【0031】

本発明の目的、技術的手段及び利点をさらに明らかにするために、以下は図面及び実施例を参照しながら、本発明をさらに詳細に説明する。

【0032】

図１は、一実施例によるロボット１１の模式ブロック図である。ロボット１１は移動ロボットであってもよい。ロボット１１は、プロセッサー１１０と、メモリ１１１と、メモリ１１１に記憶され、プロセッサー１１０によって実行され得る１つ又は複数のコンピュータプログラム１１２とを含んでもよい。プロセッサー１１０がコンピュータプログラム１１２を実行すると、ロボット１１を制御するための方法の実施例におけるステップ、例えば、図５のステップＳ４１～Ｓ４４、図６のステップＳ５１～Ｓ５６、図１０のステップＳ５５１～Ｓ５６、図１１のステップＳ５６１～Ｓ５６６が実施される。

【0033】

例示的に、前記１つ又は複数のコンピュータプログラム１１２は、１つ又は複数のモジュール／ユニットに分割することができ、前記１つ又は複数のモジュール／ユニットはメモリ１１１に記憶され、プロセッサー１１０によって実行される。前記１つ又は複数のモジュール／ユニットは、特定の機能を実行できる一連のコンピュータプログラム命令セグメントであってもよく、前記命令セグメントは、ロボット１１における前記１つ又は複数のコンピュータプログラム１１２の実行プロセスを記述するために使用される。

【0034】

プロセッサー１１０は、中央処理装置（ＣＰＵ）、汎用プロセッサー、デジタルシグナルプロセッサー（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックデバイス、ディスクリートゲート、トランジスタロジックデバイス又はディスクリートハードウェアコンポーネントであってもよい。汎用プロセッサーは、マイクプロセッサー又は任意の従来のプロセッサーなどであってもよい。

【0035】

メモリ１１１は、ロボット１１の内部記憶ユニット、例えばハードディスク又はメモリ（ｍｅｍｏｒｙ）であってもよい。メモリ１１１は、ロボット１１の外部記憶機器、例えばプラグイン式ハードディスク、スマートメモリカード（ＳＭＣ）及びセキュアデジタル（ＳＤ）カード、又は任意の適切なフラッシュメモリカードであってもよい。また、メモリ１１１は、内部記憶ユニットと外部記憶機器を含んでもよい。メモリ１１１は、ロボットが必要とするコンピュータプログラム、他のプログラム、及びデータを記憶するために使用される。メモリ１１１はまた、出力された、又は出力されるデータを一時的に記憶するために使用することもできる。

【0036】

なお、図１は、ロボット１１の一例にすぎず、ロボット１１を限定するものではないことに留意されたい。ロボット１１は、図示されているものとは異なる数の部材を含んでもよく、又は幾つかの他の異なる部材を含んでもよい。例えば、図２及び図３に示される実施例では、ロボット１１は、アクチュエータ１１３、移動機構１１４、カメラ１１５及び通信インターフェースモジュール１０６をさらに含んでもよい。ロボット１１は、入出力機器、ネットワークアクセス機器、バスなどを含んでもよい。

【0037】

一実施例では、アクチュエータ１１３は、１つ又は複数のモータ及び／又は操舵機を含んでもよい。移動機構１１４は、１つ又は複数のホイール及び／又はクローラを含んでもよい。アクチュエータ１１３は、移動機構１１４及びプロセッサー１１０に電気的に結合され、プロセッサー１１０の命令に従って移動機構１１４の移動を駆動することができる。カメラ１１５は、例えば、ロボット１１に搭載されたカメラであってもよい。カメラ１１５は、プロセッサー１１０に電気的に接続され、撮影された画像をプロセッサー１１０に送信するように構成されている。通信インターフェースモジュール１１６は、無線送信機、無線受信機、及びプロセッサー１１０により実行可能なコンピュータプログラムを含んでもよい。通信インターフェースモジュール１１６は、プロセッサー１０３に電気的に接続され、プロセッサー１１０と外部機器との間の通信のために使用される。一実施例では、プロセッサー１１０、メモリ１１１、アクチュエータ１１３、移動機構１１４、カメラ１１５及び通信インターフェースモジュール１１６は、バスを介して互いに接続することができる。

【0038】

一実施例では、ロボット１１は、自動充電のために壁上のコンセントを観察し、ピッキングのために棚上の品物を観察し、ホームサービス（ｈｏｍｅｓｅｒｖｉｃｅｓ）のために屋内家具を観察することができる。図４は、ロボット１１が自動充電プロセスを実行するために充電ステーションに自動的にドッキングできる例示的なシナリオを示す。ロボット１１を制御して自己充電を行う前に、まず、ロボット１１を充電ステーションの前に停止させ、充電ステーションに対向させる。このときのロボット１１のポーズを所望のポーズとして使用し、このときのロボット１１の前方の環境の画像を所望の画像として撮影する。そして、ロボット１１が充電する必要がある場合、ロボット１１がどのようなポーズであっても、現在のポーズを初期ポーズとし、ロボット１１の前方の環境の画像を現在の画像として撮影する。次に、以下の実施例で提供される制御方法のステップを実行することによって、ロボット１１は、所望の画像及び現在の画像における特徴点に基づいて、所望のポーズに移動及び回転するように制御される。

【0039】

図５は、一実施例による移動ロボット制御方法のフローチャートを示す。この方法は、図１～３のロボット１１の移動を制御するために使用され得る。この方法は、ロボットの１つ又は複数のプロセッサー、又はロボットに電気的に結合された他の制御装置の１つ又は複数のプロセッサーによって実行され得る。制御装置は、デスクトップコンピュータ、タブレットコンピュータ、ノートブックコンピュータ、マルチメディアプレーヤー、サーバー、スマートモバイルデバイス（スマートフォン、携帯電話など）、及びスマートウェアラブルデバイス（例えば、スマートウォッチ、スマートグラス、スマートカメラ、スマートブレスレットなど）、及びコンピューティングと制御機能を備えたその他のコンピューティングデバイスを含んでもよいが、これらに限定されない。一実施例では、この方法は、ステップＳ４１～Ｓ４４を含んでもよい。

【0040】

ステップＳ４１では、ロボットが所望のポーズにあるときに、ロボット上のカメラによって撮影された第１画像を取得する。

【0041】

ステップＳ４２では、ロボットが現在のポーズにあるときに、ロボット上のカメラによって撮影された第２画像を取得する。

【0042】

ステップＳ４３では、前記第１画像及び第２画像から複数対のマッチング特徴点を抽出し、前記抽出された特徴点を仮想単位球上に投影して、複数の投影特徴点を得る。

【0043】

仮想単位球体は、仮想球体と透視投影の組み合わせを使用して中央結像システムをシミュレートする統合球面モデルである。仮想単位球体の中心はカメラ座標の光学中心と重なる。第１画像及び第２画像から抽出された複数対のマッチング特徴点を仮想単位球上に投影すると、該単位球上の対応する投影点が投影特徴点となる。

【0044】

ステップＳ４４では、前記複数の投影特徴点に基づいて、画像不変特徴及び回転ベクトル特徴を取得し、前記画像不変特徴及び回転ベクトル特徴に従って、前記ロボットが前記所望のポーズになるまで移動するように制御する。

【0045】

一実施例では、画像不変特徴は、前記投影特徴点のうちの２つの間の距離の逆数、画像モーメント、及び面積のうちの１つ又は複数を含んでもよい。回転ベクトル特徴は、角度ベクトル又は方向ベクトルであってもよい。ロボットの移動の制御は、ロボットの平行移動の制御及びロボットの回転の制御を含む。

【0046】

図６は、別の実施例による移動ロボット制御方法のフローチャートを示す。この方法は、図１～３のロボットの移動を制御するために使用され得る。この方法は、ロボットの１つ又は複数のプロセッサー、又はロボットに電気的に結合された他の制御装置の１つ又は複数のプロセッサーによって実行され得る。制御装置は、デスクトップコンピュータ、タブレットコンピュータ、ノートブックコンピュータ、マルチメディアプレーヤー、サーバー、スマートモバイルデバイス（スマートフォン、携帯電話など）、及びスマートウェアラブルデバイス（例えば、スマートウォッチ、スマートグラス、スマートカメラ、スマートブレスレットなど）、及びコンピューティングと制御機能を備えたその他のコンピューティングデバイスを含んでもよいが、これらに限定されない。一実施例では、この方法は、ステップＳ５１～Ｓ５６を含んでもよい。

【0047】

ステップＳ５１では、ロボットが所望のポーズにあるときに、ロボット上のカメラによって撮影された第１画像を取得する。

【0048】

一実施例では、所望のポーズは、ロボットの所望の位置及び所望の方向（ｏｒｉｅｎｔａｔｉｏｎ（向き））を含んでもよい。ロボットは、所望の位置に所望の方向で移動することが期待される。ロボットは、所望の位置及び所望の方向で停止するように（例えば、ユーザーにより）制御することができ、それによって、ロボットの前の環境（例えば、コンセントのある壁）の画像を第１画像（即ち、所望の画像）として、ロボット上に取り付けられたカメラによって撮影することができる。ロボットが所望の位置及び所望の方向で停止する場合、ロボットの視野内の環境には少なくとも３つの特徴点が含まれている必要がある。ロボットのカメラは、魚眼ピンホールカメラであってもよいし、反射屈折式カメラなどの非ピンホールカメラであってもよい。

【0049】

ステップＳ５２では、ロボットが現在のポーズにあるときに、ロボット上のカメラによって撮影された第２画像を取得する。

【0050】

ロボットが所望の位置に移動し且つ所望の方向にあるように制御する必要がある場合、ロボットの前の環境の現在の画像を第２画像（即ち、現在の画像）として、ロボット上に取り付けられたカメラによって撮影する。第２画像を撮影するとき、ロボットの視野内の環境には少なくとも３つの特徴点が含まれている必要がある。

【0051】

ステップＳ５３では、前記第１画像及び第２画像から複数対のマッチング特徴点を抽出し、前記抽出された特徴点を仮想単位球上に投影して、複数の投影特徴点を得る。この仮想単位球の中心はこのカメラの座標の光学中心と重なる。

【0052】

一実施例では、第１画像及び第２画像から複数対のマッチング特徴点を抽出することは、次のように実現することができる。

【0053】

まず、スケール不変特徴変換（Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔｆｅａｔｕｒｅｔｒａｎｓｆｏｒｍ，ＳＩＦＴ）記述子（ｄｅｓｃｒｉｐｔｏｒ）を用いて、第１画像及び第２画像のそれぞれから第１数の原特徴点を抽出する。次に、抽出された原特徴点を比較及びマッチングして、第２対のマッチング特徴点を得る。

【0054】

例えば、ＳＩＦＴ記述子を用いて、第１画像中の任意の位置からの２００個のＳＩＦＴ特徴点及び第２画像中の任意の位置からの２００個のＳＩＦＴ特徴点を抽出することができる。次に、最近接ユークリッド距離アルゴリズム（ｃｌｏｓｅｓｔＥｕｃｌｉｄｅａｎｄｉｓｔａｎｃｅａｌｇｏｒｉｔｈｍ）を用いて、抽出された４００個（２００対）のＳＩＦＴ特徴点を比較及びマッチングして、少なくとも３対のマッチング特徴点を得る。オプションで、比較及びマッチングのプロセスにおいて、例えばＫＤＴｒｅｅなどの平衡二分探索木を用いて、探索プロセスを速くすることができる。

【0055】

なお、上記特徴点の位置は限定されない。即ち、これらの特徴点は同一平面上にあることも、非同一平面上にあることもあり、これらの特徴点が位置する平面は運動平面に対して垂直であることも、垂直でないこともある。

【0056】

本開示の１つの目標は、第１画像中の少なくとも３つの非共線静的特徴点の視覚フィードバックに基づいて、ロボットのポーズを調整し、それを慣性系又は視覚目標に対するロボットの姿勢要件から独立させる。この目標を実現するために、第１画像及び第２画像から抽出された複数対のマッチング特徴点を単位球上に投影する必要がある。

【0057】

図７を参照すると、一実施例では、ロボット上に取り付けられたカメラは、ロボットの座標とカメラの座標が同じである座標系Ｆを有する校正されたオンボード（ｏｎｂｏａｒｄ）カメラである。ロボットは、図７に示される平面上を移動する。座標系Ｆ中のｘ軸とｙ軸は運動平面を定義する。ｘ軸の正の方向はロボットの行進方向であり、ｙ軸は、ロボットの車輪が回転する軸線と重なる。座標系Ｆ中の点P_iは、仮想単位球上に投影され、ｈ_iで表される。仮想単位球は、仮想球体と透視投影の組み合わせを使用して中央結像システムをシミュレートする統合球面モデルである。

【0058】

ステップＳ５４では、複数の投影特徴点に基づいて、画像不変特徴及び回転ベクトル特徴を取得する。

【0059】

画像不変特徴は、カメラの回転に対して不変である（ｉｎｖａｒｉａｎｔ）一類の画像特徴である。画像不変特徴S∈R²は、システム出力としてロボットの平行移動運動を表し、R²は、２次元の実座標空間を表す。画像不変特徴の動力学的モデルは、

ここで、J∈R^2ｘ2は相互作用行列であり、υ＝［υ_ｘ,υ_ｙ］^Tは座標系Ｆにおけるロボットの線速度を表し、非整合性制約により制限されない。ロボット座標系の加速度はα∈R²を満たす。

【0060】

一実施例では、不変画像特徴は、投影特徴点のうちの２つの間の距離の逆数、画像モーメント、及び面積のうちの１つ又は複数を含んでもよい。

【0061】

図７に示すような例では、投影特徴点ｈ_iとｈ_ｊとの間の距離ｄ_iｊの逆数は、タスク空間と画像空間との間に最もよい線形化特性を有するため、画像不変特徴として使用される。点ｈ_iとｈ_ｊは、例えば、図７の特徴点P_iとP_ｊ対応する投影特徴点など、同じ画像から抽出された特徴点の単位球上への投影を表す。即ち、点ｈ_iとｈ_ｊは、第２画像（即ち、現在の画像）から抽出された特徴点の単位球上への投影を表すことができる。点ｈ_iとｈ_ｊは、第１画像（即ち、所望の画像）から抽出された特徴点の単位球面への投影を表すことができる。なお、２つの投影特徴点は互いに接続されて小さな線分を形成できることに留意されたい。ロボットが所望の位置に近づくほど、線分は長くなる。平行移動制御の目的は、選択された線分を所望の値と等しくすることである。例えば、３個の投影特徴点があり、i＝0,1,2、ｊ＝0,1,2、且つi≠ｊであると仮定すると、３つの組み合わせ（０，１）（０，２）（１，２）があり、そのうち２つを選択することができる。

【0062】

像平面から抽出された特徴点の同次座標を表し、ｉは、０より大きい正の整数を表す。仮想の透視投影カメラに関連付けられた、網膜と呼ばれる仮想の画像平面を構築する。網膜内の対応する座標は、

ここで、Ａは、ミラーとカメラ内部パラメータに関連する一般化されたカメラ投影行列を表す。単位球面に投影された投影特徴点は、

【0063】

上記の原理に基づいて、所望の画像及び現在の画像で表される真実の環境から抽出された少なくとも３対の特徴点を、ｈ_ｉ点を有する仮想単位球上に投影する。対応する画像不変特徴は、

この実施例では、それらは、所望の値に近い定数値に置き換えることができる。実験によれば、閉ループシステムは、この近似のもとで安定することがわかる。

【0064】

一実施例では、画像モーメントが画像不変特徴として使用されると、画像不変特徴は、

【0065】

一実施例では、面積が画像不変特徴として使用されると、画像不変特徴は、

単位球上のｉ番目の投影特徴点の３次元座標を表す。

【0066】

所望の値を表す。

【0067】

【0068】

投影により得られたすべての投影特徴点を用いて回転ベクトル特徴を計算することで、ロバスト性を向上させることができる。算出された回転ベクトル特徴は、回転速度と回転ベクトル速度との間の直接マッピングを提供するため、より良い特性を得ることができる。

【0069】

なお、画像不変特徴が距離、画像モーメント、面積のどれであっても、回転ベクトル特

【0070】

ステップＳ５５では、ロボットが画像不変特徴に従って平行移動するように制御する。

【0071】

ステップＳ５６では、ロボットが回転ベクトル特徴に従って回転するように制御する。
なお、ロボットの運動は剛体運動であり、回転運動と平行移動運動に分解することができる。図９を合わせて参照すると、本実施例では、ロボットのポーズの調整には、２つのステップの間に切り替え制御を行う必要がある。第１ステップは、画像不変特徴を用いて、ロボットが平行移動するように制御することである。目標は、平行誤差（不変特徴誤差とも呼ばれる）を除去することである。即ち、目標は、平行移動誤差を０に等しくすることである。第２ステップは、回転ベクトル特徴を用いて、平行移動誤差を除去した後にロボットが回転するように制御することである。目標は、方向誤差を除去することであり、即ち、方向誤差を０に等しくすることである。

【0072】

上記の第１ステップでは、画像不変特徴を用いて平行移動状態を表すため、所望のポーズを取得できない場合でも、ロボットが平行移動するように制御することができる。画像不変特徴を使用することにより、方向と位置の制御が分離される。

【0073】

量中心を所望の値に揃えるために回転するように制御される。

【0074】

図１０を参照すると、一実施例では、第１ステップ（即ち、ステップＳ５５）は、以下のステップを含んでもよい。

【0075】

ステップＳ５５１では、画像不変特徴及びプリセット制御モデルに従って、第１角速度及び第１線速度を計算する。

【0076】

ステップＳ５５２では、第１角速度及び第１線速度に従ってロボットが平行移動するように制御する。

【0077】

ステップＳ５５３では、平行移動誤差が第１プリセット閾値より小さいか否かを判断する。

【0078】

平行移動誤差が第１プリセット閾値より小さい場合、プロセスは、回転ベクトル特徴に従ってロボットが回転するように制御するステップＳ５６に進む。

【0079】

平行移動誤差が第１プリセット閾値以上である場合、それは、平行移動誤差が解消されておらず、ロボットが所望の位置に到達しておらず、ロボットが必要な位置に向かって平行移動する必要があることを意味する。その後、プロセスは、第２画像を取得するステップＳ５２に戻る。ステップＳ５５１、Ｓ５５２、Ｓ５５３及びＳ５２は、平行移動誤差が第１プリセット閾値よりも小さくなるまで繰り返され、その後、ロボットの方向を制御する第２ステップが開始される。

【0080】

めの十分な条件の１つである。

【0081】

平行移動誤差が０であるか否かを決定するために使用できる。

【0082】

上式によれば、第１ステップの位置制御プロセス中において、ロボットの軌跡は直線ではなく、曲線であることがわかる。つまり、第１ステップでロボットの平行移動を制御するプロセスでは、ロボットの運動の大きさを調整するだけでなく、それに応じて、ロボットを所望の位置に移動させるために、ロボットの方向も調整する必要がある。

【0083】

向は１８０度反転する（ｆｌｉｐｐｅｄｏｖｅｒ）。
このような設計は、ロボットが後ろ向きに移動し、且つ目標が後ろにいる場合、視覚目標を前に保つことができるようにするためのものである。ＦＯＶが限られている場合、視覚目標をカメラの視野（ＦＯＶ）内に保つのに役立つ。

【0084】

図１１を参照すると、一実施例では、第２ステップ（即ち、ステップＳ５６）は、以下のステップを含んでもよい。

【0085】

ステップＳ５６１では、前記回転ベクトル特徴及び制御モデルに基づいて、第２角速度及び第２線速度を計算する。

【0086】

ステップＳ５６２では、前記第２角速度及び第２線速度に従って、前記ロボットが回転するように制御する。

【0087】

ステップＳ５６３では、前記ロボットの回転後の方向誤差が第２プリセット閾値より小さいか否かを判断する。

【0088】

ステップＳ５６４では、ロボットの方向誤差が第２プリセット閾値以上である場合、それは、方向エラーが解消されておらず、ロボットが所望の方向にないことを意味する。この場合、ロボットのカメラによって第３画像を取得する。

【0089】

ステップＳ５６５では、前記第１画像及び第３画像から複数対のマッチング特徴点を抽出し、前記抽出された特徴点を前記単位球上に投影して、複数の投影特徴点を得る。

【0090】

ステップＳ５６６では、前記第１画像及び第３画像から抽出された前記複数の投影特徴点に基づいて、前記回転ベクトル特徴を取得し、次に、プロセスは、前記回転ベクトル特徴及び制御モデルに基づいて前記第２角速度及び第２線速度を計算するステップＳ５６１に戻る。ステップＳ５５１、Ｓ５５２、Ｓ５５３及びＳ５６は、方向誤差が第２プリセット閾値よりも小さくなるまで繰り返される。

【0091】

ステップＳ５６７では、ロボットの方向誤差が第２プリセット閾値より小さい場合、それは、方向誤差が解消され、ロボットが所望の方向にあることを意味し、プロセスは終了する。
一実施例では、ステップＳ５６１～Ｓ５６７は、回転ベクトル特徴及び制御モデルに基

量中心を表す。

【0092】

【0093】

一実施例では、距離、画像モーメント、及び面積のうちの２つ又はすべての組み合わせに基づいて、画像不変特徴を決定することができる。具体的には、前記投影特徴点のうちの２つの間の距離、画像モーメント、及び面積のうちの少なくとも２つの平均値を画像不変特徴とする。次に、画像不変特徴を上式に代入してロボットの位置制御を実現する。このようにして、複数のパラメータを組み合わせて、最終応用の不変特性を決定することで、制御結果の精度が向上する。

【0094】

一方では、画像座標系の画像特徴は、デカルト座標系で定義された距離と角度の代わりに、移動ロボットの運動学／動力学を表すために使用される。ロボットの移動制御に従来の高価でかさばるセンサー（例えば、ライダー、ソナー、車輪走行距離計など）に依存するのではなく、カメラを１つだけ必要とすることで、ロボットの製造コストを削減し、ロボットのサイズを小さくすることができる。

【0095】

他方では、画像不変特徴及び回転ベクトル特徴を用いてロボットの所望のポーズを決定するため、事前に目標モデルを知っていたり、目標に対するロボットのポーズを推定したりする必要がない。即ち、ホモグラフィー行列又は基本行列を計算して分解する必要がないため、計算複雑さを軽減し、計算速度を向上させることができる。

【0096】

一方、所望の画像及び現在の画像内の特徴点を任意に選択することができるため、環境における点の物理的な位置に対する要求がない。例えば、環境内の特徴点は、同一平面上にあることも、非同一平面上にあることもある。従って、この方法をより多くのシナリオに適用することができ、この方法の汎用性を向上させることができる。

【0097】

一実施例では、図１のロボットと同様に移動ロボット制御装置を構築することができる。即ち、移動ロボット制御装置は、プロセッサーとメモリを含んでもよい。メモリは、プロセッサーに電気的に結合され、プロセッサーによって実行可能な１つ又は複数のコンピュータプログラムを記憶する。プロセッサーがコンピュータプログラムを実行すると、ロボット１１を制御するための方法の実施例におけるステップ、例えば、図５のステップＳ４１～Ｓ４４、図６のステップＳ５５１～Ｓ５６、図１０のステップＳ５６１～Ｓ５６、及び図１１のステップＳ５６１～Ｓ５６６が実施される。移動ロボット制御装置のプロセッサー、メモリ、コンピュータプログラムは、上記のプロセッサー１１０、メモリ１１１、コンピュータプログラム１１２と同じであってもよく、ここでは繰り返さない。ロボット移動制御装置は、データ相互作用機能を有する様々なコンピューターシステム機器であってもよく、携帯電話、スマートフォン、その他の無線通信機器、パーソナルデジタルアシスタント、オーディオプレーヤー、その他のメディアプレーヤー、音楽レコーダーなど、ビデオレコーダー、カメラ、その他のメディアレコーダー、ラジオ、車両輸送機器、プログラム可能なリモコン、ラップトップコンピュータ、デスクトップコンピュータ、プリンタ、ネットブックコンピュータ、ポータブルゲームデバイス、ポータブルインターネットデバイス、データ記憶機器、スマートウェアラブルデバイス（例えば、頭部装着型デバイス（ＨＭＤ）、例えばスマートグラス、スマートウェア、スマートブレスレット、スマートネックレス又はスマートウォッチ）及びそれらの組み合わせを含むが、これらに限定されない。

【0098】

例示的に、１つ又は複数のコンピュータプログラムを１つ又は複数のモジュール／ユニットに分割し、１つ又は複数のモジュール／ユニットをメモリに記憶し、プロセッサーによって実行することができる。１つ又は複数のモジュール／ユニットは、特定の機能を実行できる一連のコンピュータプログラム命令セグメントであってもよい。命令セグメントは、１つ又は複数のコンピュータプログラムの実行プロセスを記述するために使用される。例えば、１つ又は複数のコンピュータプログラムは、第１取得モジュール、第２取得モジュール、特徴抽出モジュール、計算モジュール及び制御モジュールに分割することができる。

【0099】

第１取得モジュールは、ロボットが所望のポーズにあるときに、ロボット上のカメラによって撮影された第１画像を取得するように配置される。

【0100】

第２取得モジュールは、ロボットが現在のポーズにある時に、ロボット上のカメラによって撮影された第２画像を取得するように配置される。

【0101】

特徴抽出モジュールは、前記第１画像及び第２画像から複数対のマッチング特徴点を抽出し、前記抽出された特徴点を仮想単位球上に投影して複数の投影特徴点を得るように配置されており、仮想単位球の中心は、カメラの座標の光学中心と重なる。

【0102】

計算モジュールは、前記複数の投影特徴点に基づいて、画像不変特徴及び回転ベクトル特徴を取得するように配置される。

【0103】

制御モジュールは、前記画像不変特徴及び回転ベクトル特徴に従って、ロボットが所望のポーズになるまで移動するように制御するように配置される。

【0104】

移動ロボット制御装置は、上述したものとは異なる数の部材を含んでもよいし、幾つかの他の異なる部材と組み合わせてもよいことに留意されたい。例えば、移動ロボット制御機器は、入出力機器、ネットワークアクセス機器、バスなどを含んでもよい。

【0105】

当業者であれば理解できるように、説明の便宜上及び簡潔にするために、上記各機能ユニット、モジュールの割り当てを例として説明したが、実際には、要求に応じて上記機能の割り当てが異なる機能ユニット、モジュールによって実現されてもよく、即ち、上述した機能の全部又は一部を実現するために、前記装置の内部構造が異なる機能ユニット又はモジュールに割り当てられてもよい。各実施例における各機能ユニットは、１つの処理ユニットに集積されていてもよいし、各ユニットが単独に物理的に存在していてもよいし、２つ以上のユニットが１つのユニットに集積されていてもよい。上記の集積されたユニットは、ハードウェアの形態又はソフトウェア機能ユニットの形態で実現されてもよい。さらに、各機能ユニット、モジュールの具体的な名称は、互い区別する便宜上のものにすぎず、本開示の保護範囲を制限するために使用されるものではない。上記システムにおけるユニット、モジュールの具体的な作業プロセスについては、前述の方法の実施例の対応するプロセスを参照することができ、本明細書では詳細を再度説明しない。

【0106】

一実施例では、非一時的なコンピュータ可読記憶媒体は、ロボット１１又は上記のような移動ロボット制御装置に配置することができる。非一時的なコンピュータ可読記憶媒体は、上述した実施例における主制御チップ、及びデータ収集チップに配置される記憶ユニットであってもよい。１つ又は複数のコンピュータプログラムは、非一時的なコンピュータ可読記憶媒体に記憶され、コンピュータプログラムが１つ又は複数のプロセッサーによって実行されると、上記の実施例で説明されたロボット制御方法が実施される。

【0107】

前述の実施例では、各実施例の説明はそれ自体に重点を置いているが、１つの実施例で詳述又は記載されていない部分については、他の実施例の関連する説明を参照することができる。

【0108】

当業者は、本明細書に開示された実施例に関連して説明された様々な例のユニットやアルゴリズムステップが電子ハードウェア又はコンピュータソフトウェアと電子ハードウェアとの組み合わせによって実施され得ることを理解するであろう。これらの機能が、ハードウェアで実行されるか又はソフトウェアで実行されるかは、技術的な解決策の特定のアプリケーション及び設計の制約に依存する。当業者は、特定の応用ごとに異なる方法を使用して、説明した機能を実現することができるが、このような実現は本開示の範囲を超えると見なされるべきではない。

【0109】

本開示で提供される実施例において、開示された装置／端末機器及び方法は他の方式で実現されてもよいことが理解されるべきである。例えば、上述のような装置／端末機器の実施例は、単なる例示的なものにすぎない。例えば、前記モジュール又はユニットの区分は、単なる論理的な機能の区分であり、実際に実現するとき他の区分方式があってもよい。例えば、複数のユニット又は組立体が別のシステムに組み合わせ又は一体化してもよく、或いは幾つかの特徴が無視し又は実行されなくてもよい。また、示された又は議論された相互間の結合又は直接的な結合又は通信接続は、幾つかのインターフェイス、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気の、機械の又は他の形態であってもよい。

【0110】

別個の部材として説明された前記ユニットは、物理的に分離されていてもよく、そうでなくてもよく、ユニットとして示された部材は、物理的なユニットであってもよく、そうでなくてもよく、同じ場所に位置してもよく、複数のネットワークユニット上に分散されてもよい。実際の要求に応じて、一部または全部のユニットを選択し、本実施例の目的を実現することができる。

【0111】

本開示の各実施例における各機能ユニットは、１つの処理ユニットに集積されていてもよく、各ユニットが単独に物理的に存在してもよく、２つ以上のユニットが１つのユニットに集積されていてもよい。上記の一体化されたユニットは、ハードウェアの形で実現されてもよく、ソフトウェア機能ユニットの形で実現されてもよい。

【0112】

前記一体化さモジュール／ユニットは、ソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売又は使用されるとき、コンピュータ可読記憶媒体に記憶されてもよい。そのような理解に基づいて、本開示が上記実施例を実現する方法におけるプロセスの全部もしくは一部は、関連するハードウェアにコンピュターブログラムにより指示することによって実現することもできる。前記コンピュターブログラムは、コンピュータ可読記憶媒体に記憶されてもよい。そのコンピュターブログラムがプロセッサーによって実行されると、上記各方法実施例のステップを実現することができる。前記コンピュターブログラムは、コンピュターブログラムコードを含み、前記コンピュターブログラムコードは、ソースコード形式、オブジェクトコード形式、実行可能ファイル、又は何らかの中間形式であってもよい。前記コンピュータ読み取り可能な記録媒体は、前記コンピュターブログラムコードを運ぶことができる任意のプリミティブ又は装置、記録媒体、ＵＳＢフラッシュドライブ、リムーバブルハードディスク、磁気ディスク、光ディスク、計算机メモリ、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、電気搬送信号、通信信号及びソフトウェア配布媒体などを含み得る。なお、前記コンピュータ読み取り可能な記録媒体に含まれる内容は、司法管轄区域の法律及び特許の実行の要件に応じて適切に増減できることに注意すべきである。例えば、一部の司法管轄区域では、法律と特許の実行によれば、コンピュータ読み取り可能な媒体には、電気搬送信号と電気通信信号が含まれない。

【0113】

上記の説明は、説明の目的で、具体的な実施例を参照して説明された。しかしながら、上記の説明的な議論は、網羅的であること、または本開示を開示された精確な形式に限定することを意図したものではない。上記の教示に照らして、多くの修正および変形が可能である。実施例は、本開示の原理及びその実際の応用を最もよく説明し、他の当業者が本開示及び様々な実施例を最大限に活用し、想定される特定の用途に適合するように様々な修正を加えることができるようにするために、選択され説明されたものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【国際調査報告】