特許7271649ロボットを制御するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-04-28
(45)【発行日】2023-05-11
(54)【発明の名称】ロボットを制御するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体
(51)【国際特許分類】
G05D 1/02 20200101AFI20230501BHJP
【ＦＩ】
G05D1/02 K
【請求項の数】
21
(21)【出願番号】P 2021202358
(22)【出願日】2021-12-14
【審査請求日】2021-12-14
(31)【優先権主張番号】17/526,351
(32)【優先日】2021-11-15
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520513451
【氏名又は名称】ベアー ロボティックス，インコーポレイテッド
(74)【代理人】
【識別番号】110002516
【氏名又は名称】弁理士法人白坂
(72)【発明者】
【氏名】チョン，サンファン
(72)【発明者】
【氏名】レインホス，ヘンリー エー．
(72)【発明者】
【氏名】リ，ファンウェイ
(72)【発明者】
【氏名】リュー，アイナ
【審査官】今井 貞雄
(56)【参考文献】
【文献】特表２０２１－５１４４９５（ＪＰ，Ａ）
【文献】特開平０７－０７９３８３（ＪＰ，Ａ）
【文献】特開２００７－１５６５７６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０５Ｄ １／０２
(57)【特許請求の範囲】
【請求項1】
ロボットを制御するための方法であって、ロボットのカメラモジュールによって特定される第１ターゲット領域を参照して第１比較対象軸を決定し、前記ロボットのスキャナモジュールによって特定され、前記第１ターゲット領域に関連する第２ターゲット領域を参照して第２比較対象軸を決定する段階と、
前記第１比較対象軸および前記第２比較対象軸の間の関係を参照して前記カメラモジュールに関連する基準座標系を補正する段階と、を含み、
前記第１ターゲット領域または前記第２ターゲット領域は、前記ロボットが位置する場所で二つ以上の角が会う地点または対象を含む、方法。
【請求項2】
前記決定段階で、前記第１ターゲット領域で特定される角を参照して前記第１比較対象軸を決定し、前記第２ターゲット領域で特定される角を参照して前記第２比較対象軸を決定する、請求項１に記載の方法。
【請求項3】
前記補正段階で、前記ロボットが位置した底面および前記カメラモジュールによって特定される基準面との間の関係を参照して前記カメラモジュールに関連する基準座標系を補正する、請求項１に記載の方法。
【請求項4】
前記ロボットが位置した底面と前記カメラモジュールによって特定される基準面の間の角度を参照して前記カメラモジュールに関連する基準座標系を補正する、請求項３に記載の方法。
【請求項5】
前記カメラモジュールによって特定される地表面の少なくとも三個の地点を利用して候補基準面を特定し、前記地表面の複数の地点のうち前記候補基準面から所定距離以内に存在する地点の数を決定し、前記候補基準面を含む複数の候補基準面のうち、前記地点の数が所定水準以上である候補基準面を前記カメラモジュールによって特定される基準面に決定する、請求項３に記載の方法。
【請求項6】
前記カメラモジュールによって特定される地表面の少なくとも三個の地点を利用して候補基準面を特定し、前記地表面の複数の地点のうち前記候補基準面から所定距離以内に存在する地点を決定し、前記候補基準面を含む複数の候補基準面のうち、前記地点を参照して前記カメラモジュールによって特定される基準面を決定する、請求項３に記載の方法。
【請求項7】
前記複数の候補基準面のうち、前記地点を回帰分析した結果を参照して前記カメラモジュールによって特定される基準面を決定する、請求項６に記載の方法。
【請求項8】
前記補正段階で、前記第１比較対象軸および前記第２比較対象軸の間の角度を参照して前記カメラモジュールに関連する基準座標系を補正する、請求項１に記載の方法。
【請求項9】
前記補正段階は、前記スキャナモジュールによって特定される所定地点を基準として決定される前記ロボットの移動距離および回転角度のうち少なくとも一つを参照して前記ロボットの移動属性情報を補正する段階を含む、請求項１に記載の方法。
【請求項10】
前記移動属性情報は、前記ロボットのホイールの大きさおよびホイールベースの長さのうち少なくとも一つに関する情報を含む、請求項９に記載の方法。
【請求項11】
請求項１に記載された方法を実行するためのコンピュータプログラムを記録した、非一過性のコンピュータ読み取り可能記録媒体。
【請求項12】
ロボットを制御するためのシステムであって、ロボットのカメラモジュールによって特定される第１ターゲット領域を参照して第１比較対象軸を決定し、前記ロボットのスキャナモジュールによって特定され、前記第１ターゲット領域に関連する第２ターゲット領域を参照して第２比較対象軸を決定する比較対象軸決定部、および
前記第１比較対象軸および前記第２比較対象軸の間の関係を参照して前記カメラモジュールに関連する基準座標系を補正する補正部を含み、
前記第１ターゲット領域または前記第２ターゲット領域は、前記ロボットが位置する場所で二つ以上の角が会う地点または対象を含む、システム。
【請求項13】
前記比較対象軸決定部は、前記第１ターゲット領域で特定される角を参照して前記第１比較対象軸を決定し、前記第２ターゲット領域で特定される角を参照して前記第２比較対象軸を決定する、請求項１２に記載のシステム。
【請求項14】
前記補正部は、前記ロボットが位置した底面および前記カメラモジュールによって特定される基準面との間の関係を参照して前記カメラモジュールに関連する基準座標系を補正する、請求項１２に記載のシステム。
【請求項15】
前記補正部は、前記ロボットが位置した底面と前記カメラモジュールによって特定される基準面の間の角度を参照して前記カメラモジュールに関連する基準座標系を補正する、請求項１４に記載のシステム。
【請求項16】
前記補正部は、前記カメラモジュールによって特定される地表面の少なくとも三個の地点を利用して候補基準面を特定し、前記地表面の複数の地点のうち前記候補基準面から所定距離以内に存在する地点の数を決定し、前記候補基準面を含む複数の候補基準面のうち、前記地点の数が所定水準以上である候補基準面を前記カメラモジュールによって特定される基準面に決定する、請求項１４に記載のシステム。
【請求項17】
前記補正部は、前記カメラモジュールによって特定される地表面の少なくとも三個の地点を利用して候補基準面を特定し、前記地表面の複数の地点のうち前記候補基準面から所定距離以内に存在する地点を決定し、前記候補基準面を含む複数の候補基準面のうち、前記地点を参照して前記カメラモジュールによって特定される基準面を決定する、請求項１４に記載のシステム。
【請求項18】
前記複数の候補基準面のうち、前記地点を回帰分析した結果を参照して前記カメラモジュールによって特定される基準面を決定する、請求項１７に記載のシステム。
【請求項19】
前記補正部は、前記第１比較対象軸および前記第２比較対象軸の間の角度を参照して前記カメラモジュールに関連する基準座標系を補正する、請求項１２に記載のシステム。
【請求項20】
前記補正部は、前記スキャナモジュールによって特定される所定地点を基準として決定される前記ロボットの移動距離および回転角度のうち少なくとも一つを参照して前記ロボットの移動属性情報を補正する、請求項１２に記載のシステム。
【請求項21】
前記移動属性情報は、前記ロボットのホイールの大きさおよびホイールベースの長さのうち少なくとも一つに関する情報を含む、請求項２０に記載のシステム。【発明の詳細な説明】
【技術分野】
【0001】
本発明はロボットを制御するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体に関する。
【背景技術】
【0002】
ロボットは難しい作業や反復的な操作などを自動化して遂行できるため、多様な分野で人間に代わってまたは補助するのに活用されている。最近、ロボットを運用する過程で発生する誤差やエラーを補正するための技術について多様な研究が進行されている。
【0003】
これに関する従来技術の一例として、韓国登録特許公報第１０－０９１４２１１号に開示された技術が挙げられるが、これによると、カメラを通じて撮影された複数の正方形の格子模様を有する補正指標に対する２次元の補正指標イメージを受信し、前記補正指標イメージから前記格子模様の間の頂点座標情報および頂点連結情報を含む複数の特徴データを抽出し、前記複数の特徴データの座標情報を利用して歪み補正アルゴリズムを構成する歪み補正係数を算出し、前記算出された係数を利用して補正ファイルを生成する段階を含む歪み映像補正方法が紹介されたことがある。
【0004】
しかし、前記のような従来技術をはじめとして、これまで紹介された技術はロボットによって獲得される映像情報やセンシング情報の品質を改善する方法について主に関心があっただけであり、映像情報やセンシング情報を獲得するハードウェアモジュール（例えば、カメラモジュール、スキャナモジュールなど）を組立または設置する過程で発生するエラー、環境的な要因（例えば、温度）によってそのようなハードウェアモジュールで発生するエラーなどを改善する方法については関心がなかった。
【0005】
一般的に、ロボットには３次元座標系を基盤とする多様なハードウェアモジュールが存在し、そのモジュール間に連動がなされることになるが、そのようなハードウェアモジュールのうち、例えばカメラモジュールが定められた位置（または方向）ではなく他の位置（または方向）に設置される場合、カメラモジュールの座標系と他のハードウェアモジュール、例えばスキャナモジュールの座標系間の整合または連動に関連した問題が発生してロボットの誤作動を起こす主要原因となり得る。また、野外で運用されるロボットの場合には、日光などによってロボットに設置されたカメラモジュール（例えば、３次元カメラモジュール）の温度が高くなると、ロール（ｒｏｌｌ）方向に関連した認識エラーが発生する問題（具体的には、温度が上がるほどロール方向を基準として地表面との角度差が大きくなる問題）があった。また、ロボットに設置された移動モジュールに関連した状態（例えば、ホイールの摩耗、ホイールベースの長さの変化、底の状態など）によって、ロボットが所望する距離だけ移動することができないか所望する角度だけ回転されない場合が発生した。
そこで、本発明者（ら）は、ロボットのハードウェアモジュール、具体的にはカメラモジュールや移動モジュールに関連するエラーを精巧に補正できる、新規かつ進歩した技術を提案するところである。
そこで、本発明者（ら）は、ロボットのハードウェアモジュール、具体的にはカメラモジュールや移動モジュールに関連するエラーを精巧に補正できる、新規かつ進歩した技術を提案するところである。
【先行技術文献】
【特許文献】
【0006】
【文献】韓国登録特許公報第１０－０９１４２１１号
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、前述した従来技術の問題点をすべて解決することをその目的とする。
【0008】
また、本発明は、カメラモジュール（例えば、３次元カメラ）によって決定される比較対象軸とスキャナモジュール（例えば、ライダー（ＬＩＤＡＲ）センサ）によって決定される比較対象軸との間の関係を参照してカメラモジュールに関連する基準座標系を補正することによって、カメラモジュールの設置位置または設置方向によるエラーを補正することをその目的とする。
【0009】
また、本発明は、ロボットが位置した底面とカメラモジュールによって特定される基準面との間の関係を参照してカメラモジュールに関連する基準座標系を補正することによって、温度の増加によって発生するエラー（具体的には、ロール方向のエラー）を補正することをその目的とする。
【0010】
さらに、本発明は、ロボットのスキャナモジュールによって特定される所定地点を基準としてロボットの移動属性情報（例えば、ホイールの大きさ、ホイールベースの長さなど）を補正して、ロボットの実際の移動距離とロボットの記録された移動距離（例えば、ロボットの走行記録計（ｏｄｏｍｅｔｅｒ）により測定される距離）との間の差またはロボットの実際の回転角度とロボットの記録された回転角度（例えば、ロボットの走行記録計によって測定される回転角度）との間の差を補正することをさらに他の目的とする。
【課題を解決するための手段】
【0011】
前記目的を達成するための本発明の代表的な構成は次の通りである。
【0012】
本発明の一態様によると、ロボットを制御するための方法であって、ロボットのカメラモジュールによって特定される第１ターゲット領域を参照して第１比較対象軸を決定し、前記ロボットのスキャナモジュールによって特定され、前記第１ターゲット領域に関連する第２ターゲット領域を参照して第２比較対象軸を決定する段階、および前記第１比較対象軸および前記第２比較対象軸の間の関係を参照して前記カメラモジュールに関連する基準座標系を補正する段階を含む方法が提供される。
【0013】
本発明の他の態様によると、ロボットを制御するためのシステムであって、ロボットのカメラモジュールによって特定される第１ターゲット領域を参照して第１比較対象軸を決定し、前記ロボットのスキャナモジュールによって特定され、前記第１ターゲット領域に関連する第２ターゲット領域を参照して第２比較対象軸を決定する比較対象軸決定部、および前記第１比較対象軸および前記第２比較対象軸の間の関係を参照して前記カメラモジュールに関連する基準座標系を補正する補正部を含むシステムが提供される。
【0014】
この他にも、本発明を具現するための他の方法、他のシステムおよび前記方法を実行するためのコンピュータプログラムを記録した非一過性のコンピュータ読み取り可能な記録媒体がさらに提供される。
【発明の効果】
【0015】
本発明によると、カメラモジュール（例えば、３次元カメラ）によって決定される比較対象軸とスキャナモジュール（例えば、ライダー（ＬＩＤＡＲ）センサ）によって決定される比較対象軸との間の関係を参照してカメラモジュールに関連する基準座標系を補正することによって、カメラモジュールの設置位置または設置方向によるエラーを補正することができる。
【0016】
また、本発明によると、ロボットが位置した底面とカメラモジュールによって特定される基準面との間の関係を参照してカメラモジュールに関連する基準座標系を補正することによって、温度の増加によって発生するエラー（具体的には、ロール方向のエラー）を補正することができる。
【0017】
また、本発明によると、ロボットのスキャナモジュールによって特定される所定地点を基準としてロボットの移動属性情報（例えば、ホイールの大きさ、ホイールベースの長さなど）を補正して、ロボットの実際の移動距離とロボットの記録された移動距離（例えば、ロボットの走行記録計によって測定される距離）との間の差またはロボットの実際の回転角度とロボットの記録された回転角度（例えば、ロボットの走行記録計によって測定される回転角度）との間の差を補正することができる。
【図面の簡単な説明】
【0018】
【図1】本発明の一実施形態によりロボットを制御するための全体システムの構成を概略的に示す図面である。
【図2】本発明の一実施形態に係る補正システムの内部構成を例示的に示す図面である。
【図3】本発明の一実施形態によりロボットのカメラモジュールに関連する基準座標系を補正する過程を例示的に示す図面である。
【図4】本発明の一実施形態によりロボットのカメラモジュールに関連する基準座標系を補正する過程を例示的に示す図面である。
【図5】本発明の一実施形態によりロボットのカメラモジュールに関連する基準座標系を補正する過程を例示的に示す図面である。
【図6】本発明の一実施形態によりロボットのカメラモジュールに関連する基準座標系を補正する過程を例示的に示す図面である。
【図7】本発明の一実施形態によりロボットの移動属性情報を補正する過程を例示的に示す図面である。
【図8】本発明の一実施形態に係るロボットの構造を例示的に示す図面である。
【図9】本発明の一実施形態に係るロボットの構造を例示的に示す図面である。
【発明を実施するための形態】
【0019】
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施形態を例示として図示する添付図面を参照する。このような実施形態は当業者が本発明を充分に実施できるように詳細に説明される。本発明の多様な実施形態は互いに異なるが互いに排他的である必要はないことが理解されるべきである。例えば、本明細書に記載されている特定の形状、構造および特性は本発明の精神と範囲を逸脱することなく一実施形態から他の実施形態に変更されて具現され得る。また、それぞれの実施形態内の個別構成要素の位置または配置も本発明の精神と範囲を逸脱することなく変更され得ることが理解されるべきである。したがって、後述する詳細な説明は限定的な意味として行われるものではなく、本発明の範囲は特許請求の範囲の請求項が請求する範囲およびそれと均等なすべての範囲を包括するものと理解されるべきである。図面で類似する参照符号は多様な側面に亘って同一または類似する構成要素を示す。
【0020】
以下では、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の多様な好ましい実施形態に関して添付された図面を参照して詳細に説明することにする。
【0021】
全体システムの構成
図１は、本発明の一実施形態によりロボットを制御するための全体システムの構成を概略的に示す図面である。
図１は、本発明の一実施形態によりロボットを制御するための全体システムの構成を概略的に示す図面である。
【0022】
図１に図示された通り、本発明の一実施形態に係る全体システムは通信網１００、補正システム２００およびロボット３００を含むことができる。
【0023】
まず、本発明の一実施形態によると、通信網１００は有線通信や無線通信のような通信の様態にかかわらず構成され得、近距離通信網（ＬＡＮ；Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、都市圏通信網（ＭＡＮ；Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、広域通信網（ＷＡＮ；Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の多様な通信網で構成され得る。好ましく、本明細書における通信網１００は公知のインターネットまたはワールドワイドウェブ（ＷＷＷ；Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）であり得る。しかし、通信網１００は、これに限定されず、公知の有線／無線データ通信網、公知の電話網、または公知の有線／無線テレビ通信網をその少なくとも一部において含んでもよい。
【0024】
例えば、通信網１００は無線データ通信網であって、ワイファイ（ＷｉＦｉ）通信、ワイファイダイレクト（ＷｉＦｉ－Ｄｉｒｅｃｔ）通信、ロングタームエボリューション（ＬＴＥ；Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）通信、ブルートゥース通信（さらに具体的には、低電力ブルートゥース（ＢＬＥ；Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）通信）、赤外線通信、超音波通信などのような従来の通信方法を少なくともその一部分において具現するものであり得る。
【0025】
次に、本発明の一実施形態に係る補正システム２００は通信網１００を通じて後述するロボット３００と通信を遂行することができ、ロボット３００のカメラモジュール（例えば、３次元カメラ）により特定される第１ターゲット領域を参照して第１比較対象軸を決定し、ロボット３００のスキャナモジュール（例えば、ライダーセンサ）により特定され、第１ターゲット領域に関連する第２ターゲット領域を参照して第２比較対象軸を決定し、第１比較対象軸および第２比較対象軸の間の関係を参照してロボット３００のカメラモジュールに関連する基準座標系を補正する機能を遂行することができる。
【0026】
一方、補正システム２００に関して前記のように説明したが、このような説明は例示的なものであり、補正システム２００に要求される機能や構成要素の少なくとも一部が必要に応じて後述するロボット３００または外部システム（図示されず）内で具現されたり、ロボット３００または外部システム内に含まれてもよいことは当業者に自明である。また、場合によっては、補正システム２００のすべての機能とすべての構成要素がロボット３００内ですべて具現されたりロボット３００内にすべて含まれてもよい。
【0027】
次に、本発明の一実施形態に係るロボット３００は通信網１００を通じて補正システム２００と通信することができ、使用者による操作がなくても所定の機能や付与された作業（例えば、飲食のサービング、容器の回収など）を自律的に遂行できる機器であって、客体（例えば、飲食トレイ）のローディングおよびアンローディングのためのモジュール（例えば、グラブ、ロボットアームモジュールなど）、周辺の環境情報を獲得するためのカメラモジュールまたはスキャナモジュール、多様な映像または音声を提供するためのディスプレイおよびスピーカーモジュール、およびロボット３００の移動のための駆動モジュール（例えば、モータなど）のうち少なくとも一つのモジュールを含むことができる。例えば、このようなロボット３００は案内ロボット、運搬ロボット、掃除ロボット、医療ロボット、エンターテインメントロボット、ペットロボットおよび無人飛行ロボットのうち少なくとも一つと類似する特性や機能を有するロボットであり得る。
【0028】
一方、本発明の一実施形態によると、ロボット３００にはカメラモジュールに関連する基準座標系を補正するなどの本発明に係る機能を支援するアプリケーションが含まれていてもよい。このようなアプリケーションは補正システム２００または外部のアプリケーション配布サーバー（図示されず）からダウンロードされたものであり得る。
【0029】
補正システムの構成
【0030】
以下では、本発明の具現のために重要な機能を遂行する補正システム２００の内部構成および各構成要素の機能について詳察することにする。
【0031】
図２は、本発明の一実施形態に係る補正システム２００の内部構成を例示的に示す図面である。
【0032】
図２を参照すると、本発明の一実施形態に係る補正システム２００は比較対象軸決定部２１０、補正部２２０、通信部２３０および制御部２４０を含むことができる。本発明の一実施形態によると、比較対象軸決定部２１０、補正部２２０、通信部２３０および制御部２４０は、そのうち少なくとも一部が外部システム（図示されず）と通信するプログラムモジュールであり得る。このようなプログラムモジュールは運営システム、アプリケーションモジュールおよびその他プログラムモジュールの形態で補正システム２００に含まれ得、物理的には多様な公知の記憶装置上に保存され得る。また、このようなプログラムモジュールは補正システム２００と通信可能な遠隔記憶装置に保存されてもよい。一方、このようなプログラムモジュールは本発明により後述する特定の業務を遂行したり、特定の抽象データ類型を実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに制限されはしない。
【0033】
まず、本発明の一実施形態に係る比較対象軸決定部２１０は、ロボット３００のカメラモジュールによって特定される第１ターゲット領域を参照して第１比較対象軸を決定する機能を遂行することができる。例えば、本発明の一実施形態に係る第１ターゲット領域は、ロボット３００が位置する場所（または空間）で二つ以上の角が会う地点または対象を含む領域であり得る。より具体的には、第１ターゲット領域にはロボット３００が位置する場所の壁のコーナー領域（より具体的には、壁のコーナーの頂点領域）が含まれ得る。
【0034】
例えば、図３の（ａ）および（ｂ）を参照すると、第１ターゲット領域はロボット３００が位置する場所（例えば、直六面体の形態の部屋）の壁のコーナーの頂点３１０を含む領域（例えば、このような領域はカメラモジュールによってポイントクラウド、ポリゴンなどの形態で特定される）であり得、比較対象軸決定部２１０は第１ターゲット領域の該当頂点３１０を中心に特定される３個の角を参照して第１比較対象軸３１５を決定することができる。より具体的には、比較対象軸決定部２１０は前記頂点を中心に互いに９０度をなす３個の角それぞれを基準として複数の軸を特定し、その複数の軸を第１比較対象軸３１５に決定することができる。
【0035】
他の例として、第１ターゲット領域はロボット３００が位置する場所（例えば、寝室）の直六面体の形態のベッドの頂点を含む領域（例えば、このような領域はカメラモジュールによってポイントクラウド、ポリゴンなどの形態で特定される）であり得、比較対象軸決定部２１０は第１ターゲット領域の該当頂点を中心に特定される３個の角を参照して第１比較対象軸を決定することができる。より具体的には、比較対象軸決定部２１０は前記頂点を中心に互いに９０度をなす３個の角それぞれを基準として複数の軸を特定し、その複数の軸を第１比較対象軸に決定することができる。
【0036】
また、比較対象軸決定部２１０はロボット３００のスキャナモジュールによって特定され、第１ターゲット領域に関連する第２ターゲット領域を参照して第２比較対象軸を決定する機能を遂行することができる。例えば、本発明の一実施形態に係る第２ターゲット領域は、ロボット３００が位置する場所（または空間）で二つ以上の角が会う地点または対象を含む領域であり得、第１ターゲット領域と同一であるかそれと所定の位置関係または予め設定された関係を有することができる。より具体的には、第２ターゲット領域は第１ターゲット領域に含まれる頂点を基準として特定される３個の角のうち一つ以上の角を共有する他の頂点を含む領域であるか、第１ターゲット領域に含まれる頂点と所定の位置関係（例えば、対称移動、平行移動、回転移動など）にある他の頂点を含む領域であり得る。例えば、ロボット３００が位置する場所が直六面体の形態の部屋である場合、第１ターゲット領域がその部屋の壁のコーナーの特定の頂点を含む領域であれば、第２ターゲット領域はその特定の頂点を除いた残りの頂点のうちいずれか一つを含む領域であり得る。
【0037】
例えば、再び図３の（ａ）および（ｂ）を参照すると、ロボット３００が位置する場所（例えば、直六面体の形態の部屋）の壁のコーナーの下部頂点３１０を含む領域が前述した第１ターゲット領域である場合、第１ターゲット領域に関連する第２ターゲット領域は該当壁のコーナーの上部頂点を含む領域（例えば、このような領域はスキャナモジュールによってポイントクラウド、ポリゴンなどの形態で特定される）であり得、比較対象軸決定部２１０はその上部頂点を基準として特定される３個の角を参照して第２比較対象軸３２５を決定することができる。より具体的には、比較対象軸決定部２１０は前記上部頂点を中心に互いに９０度をなす３個の角それぞれを基準として複数の軸を特定し、その複数の軸を第２比較対象軸３２５に決定することができる。
【0038】
次に、本発明の一実施形態に係る補正部２２０は、比較対象軸決定部２１０によって決定される第１比較対象軸および第２比較対象軸の間の関係を参照してカメラモジュールに関連する基準座標系を補正することができる。本発明の一実施形態に係るカメラモジュールに関連する基準座標系は、カメラモジュールが実世界の客体を認識するために利用する所定の座標系（例えば、直角座標系、円筒座標系、球座標系など）またはカメラモジュールの光学軸に基づいて特定される座標系を含むことができる。一方、このような基準座標系はカメラモジュールがロボット３００に設置または固定される位置または方向を参照して決定されてもよい。
【0039】
例えば、補正部２２０は第１比較対象軸および第２比較対象軸を比較して特定される両者間の距離または角度（または夾角）を参照して、カメラモジュールの補正前の基準座標系を平行移動または回転移動させることによってカメラモジュールの補正された基準座標系を決定することができる。
【0040】
より具体的には、図４を参照すると、補正部２２０はロボット３００が位置した底面の中心を基準として特定されるベース基準座標系４０１（例えば、ロボット運営システム（Ｒｏｂｏｔ Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ；ＲＯＳ）プラットホームで定義されるｂａｓｅ＿ｆｏｏｔｐｒｉｎｔを基準として特定される座標系）（またはスキャナモジュールに関連する基準座標系）およびカメラモジュールの補正前の基準座標系４０２（例えば、ＲＯＳプラットホームで定義されるｃａｍｅｒａ＿ｆｉｘｅｄ＿ｌｉｎｋを基準として特定される座標系）の間の関係４０７を決定することができる。例えば、このような関係は予め設定されるか、所定の位置関係（例えば、ロボット３００が位置した底面の中心とカメラモジュールが設置される地点の間の位置関係）を参照して決定され得る。その次に、補正部２２０はベース基準座標系４０１（またはスキャナモジュールに関連する基準座標系）に基づいて第１比較対象軸４０３を特定し、カメラモジュールの補正前の基準座標系４０２に基づいて第２比較対象軸４０４を特定することができる。その次に、補正部２２０はベース基準座標系４０１およびカメラモジュールの補正前の基準座標系４０２の間の関係４０７と、第１比較対象軸４０３および第２比較対象軸４０４の間の関係４０５を参照してカメラモジュールの補正前の基準座標系４０２を補正することによって４０８、カメラモジュールの補正された基準座標系４０６を決定することができる。一方、前記補正過程で、カメラモジュールの外部パラメータ（ｅｘｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）、内部パラメータ（ｉｎｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）等を考慮して補正がなされてもよい４０９、４１０。
【0041】
図５の（ａ）を参照すると、カメラモジュールとスキャナモジュールを通じて壁のコーナー５０１を特定する場合（例えば、カメラモジュールおよびスキャナモジュールそれぞれによって壁のコーナーに対するポイントクラウドを獲得する）、補正前はベース基準座標系（またはスキャナモジュールの基準座標系）で特定される壁のコーナーの位置５１０とカメラモジュールの基準座標系４０２で特定される壁のコーナーの位置５２０に差が発生し得る。しかし、図５の（ｂ）を参照すると、補正後にはベース基準座標系（またはスキャナモジュールの基準座標系）で特定される壁のコーナーの位置５１０とカメラモジュールの基準座標系４０２で特定される壁のコーナーの位置５２０が互いに一致することができる。
【0042】
また、補正部２２０はロボット３００が位置した底面およびカメラモジュールによって特定される基準面との間の関係を参照して、カメラモジュールに関連する基準座標系を補正することができる。
【0043】
例えば、補正部２２０はロボット３００が位置した底面とカメラモジュールによって特定される基準面の間の角度を参照して、カメラモジュールに関連する基準座標系を補正することができる。例えば、図６を参照すると、補正部２２０はロボット３００が位置した底面６１０とカメラモジュールによって特定される基準面６２０の夾角および回転軸を決定することができ（例えば、底面６１０法線ベクトルがＮ１であり、基準面６２０の法線ベクトルがＮ２である場合、Ｎ１およびＮ２の外積演算に基づいて前記回転軸を算出し、Ｎ１およびＮ２の内積に対するアークコサイン（ａｒｃｃｏｓ）演算に基づいて前記夾角が算出される）、前記夾角および回転軸に基づいてロドリゲスの回転公式（Ｒｏｄｒｉｇｕｅｓ’ ｒｏｔａｔｉｏｎ ｆｏｒｍｕｌａ）を適用した結果に基づいてカメラモジュールに関連する基準座標系を補正することができる。
【0044】
他の例として、補正部２２０はカメラモジュールによって特定される地表面の少なくとも三個の地点を利用して候補基準面を特定することができる。その次に、補正部２２０はカメラモジュールによって特定される地表面の複数の地点のうち、候補基準面から所定距離以内に存在する地点の数を決定することができる。その次に、補正部２２０は前記候補基準面を含む複数の候補基準面のうち、前記地点の数が所定水準以上である候補基準面（例えば、所定距離以内に存在する地点の数が最も多い候補基準面）をカメラモジュールによって特定される基準面として決定することができる。
【0045】
さらに他の例として、補正部２２０はカメラモジュールによって特定される地表面の少なくとも三個の地点を利用して候補基準面を特定することができる。その次に、補正部２２０はカメラモジュールによって特定される地表面の複数の地点のうち、候補基準面から所定距離以内に存在する地点を決定することができる。その次に、補正部２２０は前記候補基準面を含む複数の候補基準面のうち、前記地点を参照して（例えば、前記地点を回帰分析（例えば、ロジスティック回帰分析など）した結果を参照して）カメラモジュールによって特定される基準面を決定することができる。
【0046】
また、補正部２２０はスキャナモジュールによって特定される所定地点を基準として決定されるロボット３００の移動距離および回転角度のうち少なくとも一つを参照して、ロボット３００の移動属性情報を補正することができる。本発明の一実施形態に係るロボット３００の移動属性情報には、ロボット３００のホイール（または車輪）の大きさ（例えば、半径、周長など）、ホイールベースの長さなどに関する情報が含まれ得る。
【0047】
例えば、図７を参照すると、補正部２２０はスキャナモジュールによって特定される所定地点７０１（例えば、壁のコーナー）を基準としてロボット３００を前進または後進７１０（または繰り返し前進または後進）させることができ、前記所定地点７０１を基準として特定されるロボット３００の実際の移動距離（例えば、前記所定地点７０１を基準としてロボット３００の位置を算出して実際の移動距離を算出できる）とロボット３００の記録された移動距離（例えば、ロボット３００の走行記録計（ｏｄｏｍｅｔｅｒ）により測定される距離）間の差を算出し（一方、このような作業は繰り返し遂行され得る）、その差に基づいてロボット３００のホイールの大きさに関する情報を補正することができる。例えば、ホイールの実際の半径およびホイールの推定半径がそれぞれｒ’とｒであり、左右のホイールそれぞれの角速度がＷＬおよびＷＲであると仮定すると、ホイールの推定並進速度（ｖ＿ｅｓｔｉｍａｔｅｄ）およびホイールの実際の並進速度（ｖ＿ｒｅａｌ）間の差、すなわち（ｖ＿ｒｅａｌ－ｖ＿ｅｓｔｉｍａｔｅｄ）／ｖ＿ｒｅａｌは１－ｒ／ｒ’で算出され得、ホイールの実際の半径はｒ’＝ｒ／（１－差）で特定され得る。
【0048】
他の例として、補正部２２０はスキャナモジュールによって特定される所定地点を基準としてロボット３００を時計回り方向または反時計回り方向７２０に回転（または繰り返し回転）させることができ、前記所定地点を基準として特定されるロボット３００の実際の回転角度（例えば、前記所定地点を基準としてロボット３００の角度を算出して実際の回転角度を算出できる）とロボット３００の記録された回転角度（例えば、ロボット３００の走行記録計によって測定される回転角度）間の差を算出し、その差に基づいてロボット３００のホイールベースの長さに関する情報を補正することができる。例えば、ホイールベースの実際の長さおよびホイールベースの推定の長さがそれぞれｌ’とｌであり、左右側のホイールそれぞれの角速度がＷＬおよびＷＲであると仮定すると、ホイールの推定回転速度（ｗ＿ｅｓｔｉｍａｔｅｄ）およびホイールの実際の回転速度（ｗ＿ｒｅａｌ）間の差、すなわち（ｗ＿ｒｅａｌ－ｗ＿ｅｓｔｉｍａｔｅｄ）／ｗ＿ｒｅａｌは１－ｌ’／ｌで算出され得、ホイールベースの実際の長さはｌ’＝ｌ＊（１－差）で特定され得る。
【0049】
次に、本発明の一実施形態によると、通信部２３０は比較対象軸決定部２１０および補正部２２０からの／へのデータの送受信を可能にする機能を遂行することができる。
【0050】
最後に、本発明の一実施形態によると、制御部２４０は比較対象軸決定部２１０、補正部２２０および通信部２３０間のデータの流れを制御する機能を遂行することができる。すなわち、本発明の一実施形態に係る制御部２４０は、補正システム２００の外部からの／へのデータの流れまたは補正システム２００の各構成要素間のデータの流れを制御することによって、比較対象軸決定部２１０、補正部２２０および通信部２３０でそれぞれ固有の機能を遂行するように制御することができる。
【0051】
実施形態
【0052】
本発明の一実施形態に係るロボット３００がレストランに位置する状況を仮定して見ることができる。
【0053】
まず、本発明の一実施形態によると、ロボット３００がレストランの壁のコーナーに移動され得る。このようなレストランは直六面体の形態の場所であり得る。
【0054】
その次に、本発明の一実施形態によると、ロボット３００のカメラモジュールによって特定される壁のコーナー領域を参照して第１比較対象軸が決定され、ロボット３００のスキャナモジュールによって特定される壁のコーナー領域を参照して第２比較対象軸が決定され得る。例えば、カメラモジュールによって特定される壁のコーナー領域とスキャナモジュールによって特定される壁のコーナー領域は、同一の壁のコーナー領域であってもよく、所定の位置関係または予め設定された関係を有する他の壁のコーナー領域であってもよい。
【0055】
その次に、本発明の一実施形態によると、前記第１比較対象軸および第２比較対象軸の間の関係を参照してカメラモジュールに関連する基準座標系が補正され得る。
【0056】
また、ロボット３００を運用する過程で温度が上がることになると、カメラモジュールにエラーが発生し得る。この場合、ロボット３００が位置した底面とカメラモジュールによって特定される基準面の間の角度を参照してカメラモジュールに関連する基準座標系が補正され得る。
【0057】
例えば、カメラモジュールによって特定される地表面の少なくとも三個の地点を利用して候補基準面が特定され、その地表面の複数の地点のうち候補基準面から所定距離以内に存在する地点の数が決定され、前記候補基準面を含む複数の候補基準面のうち、前記地点の数が所定水準以上である候補基準面がカメラモジュールによって特定される基準面に決定され得る。
【0058】
一方、本発明の一実施形態によると、ロボット３００のカメラモジュールの温度を参照して、エラー率（具体的には、地表面とカメラモジュールのロール方向の角度差に関するエラー率）が所定水準以上である場合に前記補正がなされてもよい。
【0059】
また、本発明の一実施形態によると、ロボット３００を運用する過程でロボット３００の車輪が摩耗したり、レストランの底が均一でない状態である場合がある。この場合、スキャナモジュールによって特定される所定地点を基準として決定されるロボット３００の移動距離および回転角度のうち少なくとも一つを参照してロボット３００の移動属性情報が補正され得る。一方、本発明の一実施形態によると、ロボット３００の移動属性情報を補正する過程は、カメラモジュールに関連する基準座標系を補正する過程と同時に遂行されてもよく、底の状態、摩耗状態などによりその前またはその後に遂行されてもよい。
【0060】
ロボットの構成
【0061】
本発明の一実施形態に係るロボット３００は、案内ロボット、サービングロボット、運搬ロボット、清掃ロボット、医療ロボット、エンターテインメントロボット、ペットロボットおよび無人飛行ロボットのうち少なくとも一つが遂行する作業と類似する作業を遂行するロボットであり得、このために各作業に符合する多様な形状で具現され得る。
【0062】
【0063】
図８を参照すると、ロボット３００は本体８１０、駆動部８２０ａ、８２０ｂ、８２０ｃ、８２０ｄおよびプロセッサ８３０を含んで構成され得る。
【0064】
例えば、本発明の一実施形態に係る本体８１０には、運送対象客体または回収対象客体を積載するための少なくとも一つの積載空間が含まれ得る。本発明の一実施形態に係る運送対象客体および回収対象客体は移動され得るすべての類型物を総称する概念であって、例えば事物、動物、人などを含む概念であり得る。例えば、運送対象客体は飲食物であり、回収対象客体は該当飲食物が入っている容器であり得る。
【0065】
図９を参照すると、例えばロボット３００がサービングロボットである場合、運送対象客体の提供および回収対象客体の回収のための第１空間９１０および第２空間９２０を含むことができる。また、ロボット３００は着脱式柱を通じて提供される拡張空間である第３空間９３０をさらに含むことができ、必要に応じて拡張空間をさらに追加することによってより多くの積載空間を具備することができる。また、ロボット３００は運送対象客体または回収対象客体専用のトレイ９４０をさらに含んでもよい。例えば、トレイ９４０は上から見た時、その上面に複数個の円形溝が形成された構成を有することができる。それぞれの円形溝は飲料が入っているカップの下部が載置されて容易にある程度固定されるように形成されていてもよい。このような円形溝の大きさは多様であり得る。また、ロボット３００の第１空間９１０の下部にはロボット３００の側面を通じて取り出され得る第４空間９５０がさらに含まれ得る。本発明の一実施形態に係る第４空間９５０は、その内部に空いた空間が形成されており、側面は閉塞しており、上面は開放されており、下面は閉まっている、籠に類似する形態を有することができる。ただし、本発明に係るロボット３００の積載空間は前記列挙された内容に限定されて具現されるものではなく、本発明の目的を達成できる範囲内で他の形態の積載空間等で多様に具現され得る。
【0066】
一方、再び図８を参照すると、本体８１０には周辺の映像（例えば、顧客、テーブル、従業員、他のロボット３００等）および障害物情報を獲得するためのカメラモジュール（例えば、３次元カメラ）（図示されず）およびスキャナモジュール（例えば、ライダーセンサなど）（図示されず）がさらに含まれ得る。
【0067】
次に、本発明の一実施形態に係る駆動部８２０ａ、８２０ｂ、８２０ｃ、８２０ｄは、本体８１０を他の地点に移動させるためのモジュールまたは運送対象客体および回収対象客体をローディングおよびアンローディングするためのモジュールを含んで構成され得る。
【0068】
例えば、駆動部８２０ａ、８２０ｂ、８２０ｃ、８２０ｄは本体８１０を他の地点に移動させるためのモジュールとして、電気式、機械式、または油圧式で駆動される車輪、プロペラなどに関するモジュールなどを含むことができ、運送対象客体および回収対象客体をローディングおよびアンローディングするためのモジュールとして、運送対象客体および回収対象客体を装着して運搬するためのロボットアームモジュールなどを含むことができる。
【0069】
次に、本発明の一実施形態に係るプロセッサ８３０は駆動部８２０ａ、８２０ｂ、８２０ｃ、８２０ｄと電気的に連結されて駆動部８２０ａ、８２０ｂ、８２０ｃ、８２０ｄを制御する機能を遂行することができ（外部システムとの通信のための通信モジュールをさらに含んでもよい）、例えばプログラム内に含まれたコードまたは命令で表現された機能を遂行するために物理的に構造化された回路を有する、ハードウェアに内蔵されたデータ処理装置を意味し得る。例えば、このようにハードウェアに内蔵されたデータ処理装置は、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、プロセッサ コア（ｐｒｏｃｅｓｓｏｒ ｃｏｒｅ）、マルチプロセッサ（ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）等の処理装置を含むことができる。
【0070】
また、プロセッサ８３０は本発明に係る補正システム２００の比較対象軸決定部２１０および補正部２２０のうち少なくとも一つの機能を遂行することができ（例えば、該当機能がモジュール化されてプロセッサ８３０に含まれ得る）、比較対象軸決定部２１０および補正部２２０のうち少なくとも一つの機能を遂行する外部システム（図示されず）との通信を通じて駆動部８２０ａ、８２０ｂ、８２０ｃ、８２０ｄを制御する機能を遂行してもよい。
【0071】
具体的には、プロセッサ８３０はロボット３００のカメラモジュールによって特定される第１ターゲット領域を参照して第１比較対象軸を決定し、ロボット３００のスキャナモジュールによって特定され、第１ターゲット領域に関連する第２ターゲット領域を参照して第２比較対象軸を決定し、第１比較対象軸および第２比較対象軸の間の関係を参照してロボット３００のカメラモジュールに関連する基準座標系を補正する機能を遂行することができる。
【0072】
以上で説明された本発明に係る実施形態は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で具現されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となっている使用可能なものであり得る。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令語を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなくインタープリタなどを使ってコンピュータによって実行され得る高級言語コードも含まれる。ハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールに変更され得、その逆も同じである。
【0073】
以上、本発明が具体的な構成要素などのような特定の事項と限定された実施形態および図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施形態に限定されるものではなく、本発明が属する技術分野で通常の知識を有する者であればこのような記載から多様な修正と変更を試みることができる。
【0074】
したがって、本発明の思想は前記説明された実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等なまたはこれから等価的に変更されたすべての範囲は本発明の思想の範疇に属するものと言える。
【符号の説明】
【0075】
１００：通信網
２００：補正システム
２１０：比較対象軸決定部
２２０：補正部
２３０：通信部
２４０：制御部
３００：ロボット
２００：補正システム
２１０：比較対象軸決定部
２２０：補正部
２３０：通信部
２４０：制御部
３００：ロボット
【要約】 （修正有）
【課題】ロボットのハードウェアモジュール、具体的にはカメラモジュールや移動モジュールに関連するエラーを精巧に補正できる、新規かつ進歩した技術をを提供する。
【解決手段】ロボットのカメラモジュールによって特定される第１ターゲット領域を参照して第１比較対象軸を決定し、前記ロボットのスキャナモジュールによって特定され、前記第１ターゲット領域に関連する第２ターゲット領域を参照して第２比較対象軸を決定する段階、および前記第１比較対象軸および前記第２比較対象軸の間の関係を参照して前記カメラモジュールに関連する基準座標系を補正する段階を含む方法が提供される。
【選択図】図２
【解決手段】ロボットのカメラモジュールによって特定される第１ターゲット領域を参照して第１比較対象軸を決定し、前記ロボットのスキャナモジュールによって特定され、前記第１ターゲット領域に関連する第２ターゲット領域を参照して第２比較対象軸を決定する段階、および前記第１比較対象軸および前記第２比較対象軸の間の関係を参照して前記カメラモジュールに関連する基準座標系を補正する段階を含む方法が提供される。
【選択図】図２
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】