特許 7496936 異なる座標フレーム間の制約を用いた較正の最適化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-30

(45)【発行日】2024-06-07

(54)【発明の名称】異なる座標フレーム間の制約を用いた較正の最適化

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240531BHJP

   B25J 9/10 20060101ALI20240531BHJP

【ＦＩ】

G06T7/70 B

B25J9/10 A

【請求項の数】 15

(21)【出願番号】P 2023527375

(86)(22)【出願日】2021-10-15

(65)【公表番号】

(43)【公表日】2023-11-16

(86)【国際出願番号】 US2021055192

(87)【国際公開番号】W WO2022098489

(87)【国際公開日】2022-05-12

【審査請求日】2023-07-07

(31)【優先権主張番号】17/089,332

(32)【優先日】2020-11-04

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】521430508

【氏名又は名称】イントリンジック イノベーション エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】ホルツ，ディルク

【審査官】藤原 敬利

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０３０７９４１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／００９４２５１（ＵＳ，Ａ１）

【文献】特開２０１９－１５５５５６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００－２１／０２

Ｇ０６Ｔ １／００－ １／４０

Ｇ０６Ｔ ３／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

１つ以上のコンピュータによって実施される方法であって、前記方法が、
複数のセンサと複数のロボットとを含む複数の較正エンティティを備える環境の初期モデルを取得することであって、前記複数のセンサの各々が、前記環境内の１つ以上の較正エンティティによる移動を観測するように構成されている、前記初期モデルを取得することと、
前記環境内の前記複数のロボットによる移動を表す移動データを生成する較正プログラムを実行することと、
前記較正プログラムの実行中に前記複数のロボットによる前記移動後に前記センサが較正エンティティの姿勢をどのように観測するかを表すセンサデータを生成することと、
前記センサデータから、複数の異なる制約ペアを生成することであって、前記複数の異なる制約ペアの各々が、異なる座標フレームにおいて観測される較正エンティティの姿勢間の関係を指定する、前記複数の異なる制約ペアを生成することと、
複数の較正値を生成するために、前記複数の異なる制約ペアについて１つ以上の最適化プロセスを実施することと、
前記複数の較正値を使用して、前記環境の更新されたモデルを生成することと、を含む、方法。

【請求項2】

前記複数の異なる制約ペアの各々が、較正エンティティによって各々定義される少なくとも２つの異なる座標フレームを含む、請求項１に記載の方法。

【請求項3】

前記複数の異なる制約ペアの各制約ペアが、異なる座標フレームにおいて観測される少なくとも較正エンティティを含む、請求項１又は２に記載の方法。

【請求項4】

前記複数の異なる制約ペアが、第２の座標フレーム内で観測される第１の座標フレームの測定された相対姿勢と計算された相対姿勢との間の関係を定義する相対姿勢制約を含み、前記第１の座標フレームが、第１の較正エンティティによって定義され、前記第２の座標フレームが、第２の較正エンティティによって定義され、前記第１の座標フレームの前記測定された相対姿勢及び前記計算された相対姿勢が、前記第２の座標フレームに対して観測可能な並進位置及び回転位置の両方を含む、請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記複数の異なる制約ペアが、較正エンティティによって各々定義される２つの異なる座標フレームにおいて観測される較正エンティティの特徴姿勢間の関係を定義する特徴姿勢制約を含み、前記較正エンティティの前記特徴姿勢が、並進位置及び回転位置の両方を含む、請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記複数の異なる制約ペアが、較正エンティティによって各々定義される２つの異なる座標フレームにおいて観測される較正エンティティの点別姿勢間の関係を定義する特徴点制約を含み、前記較正エンティティの前記点別姿勢が、並進位置を含む、請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記複数のセンサの各々が、カメラ又はレーザトラッカである、請求項１～６のいずれか一項に記載の方法。

【請求項8】

前記複数の較正エンティティの各々が、センサ、ロボット、及び物体であり得、前記物体が、マーカ又は点別特徴である、請求項１～７のいずれか一項に記載の方法。

【請求項9】

前記異なる座標フレームの各々が、基準座標フレームに対して前記センサデータで表される姿勢を定義し、前記基準座標フレームが、ワークセルモデルにおける所定の座標フレームを含む、請求項１～８のいずれか一項に記載の方法。

【請求項10】

前記複数の異なる制約ペアについて１つ以上の最適化プロセスを実施することが、前記複数の異なる制約ペアの各制約ペアについて、２つの異なる座標フレームにおいて観測された較正エンティティの姿勢間のローカル誤差を定量化することと、前記複数の異なる制約ペアの各制約ペアについて定量化された前記ローカル誤差に基づいてグローバル誤差を定量化することと、１つ以上のオプティマイザを用いて前記グローバル誤差を最小化することと、を含む、請求項１～８のいずれか一項に記載の方法。

【請求項11】

前記較正エンティティの姿勢間の定量化された前記ローカル誤差が、基準座標フレームに対するものである、請求項１０に記載の方法。

【請求項12】

前記複数の異なる制約ペアについて１つ以上の最適化プロセスを実施することが、前記複数の異なる制約ペアの各制約ペアについて、第２の座標フレームにおいて観測された第１の座標フレームの測定された相対姿勢と計算された相対姿勢との間のローカル誤差を定量化することを含み、前記第１の座標フレームが、第１の較正エンティティによって定義され、前記第２の座標フレームが、第２の較正エンティティによって定義される、請求項１～１１のいずれか一項に記載の方法。

【請求項13】

前記環境の前記更新されたモデルを使用して第２の複数の異なる制約ペアを生成することと、
第２の複数の較正値を生成するために、前記第２の複数の異なる制約ペアについて前記１つ以上の最適化プロセスを実施することと、
前記第２の複数の較正値を使用して、前記環境の第２の更新されたモデルを生成することと、を更に含む、請求項１～１２のいずれか一項に記載の方法。

【請求項14】

１つ以上のコンピュータによって実行されたときに、前記１つ以上のコンピュータに請求項１～１３のいずれか一項に記載の方法のそれぞれの動作を実施させる命令を記憶する１つ以上のコンピュータ可読記憶媒体。

【請求項15】

１つ以上のコンピュータと、１つ以上のコンピュータによって実行されたときに、前記１つ以上のコンピュータに請求項１～１３のいずれか一項に記載の方法のそれぞれの動作を実施させる命令を記憶する１つ以上の記憶デバイスと、を備える、システム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、２０２０年１１月４日に出願された米国特許出願第１７／０８９，３３２号の優先権を主張する。前述の出願の開示は、その全体が参照により本明細書に組み込まれる。

【背景技術】

【0002】

本明細書は、ロボット工学に関し、より具体的には、動作環境におけるロボット及びセンサの較正を最適化することに関する。

【0003】

ロボット工学では、タスクを実施するためのロボットの物理的移動は、手動の事前プログラミングによってスケジュールされることが多い。例えば、ボックスを移動させる倉庫ロボットは、倉庫の入口でボックスをピックアップし、それを移動させ、それを倉庫のターゲットゾーンに置くようにプログラムすることができる。別の例として、構築ロボットは、梁をピックアップし、それを橋のデッキ上に下ろすようにプログラムすることができる。これらのアクションの各々は、高い精度を必要とする多くの移動を含み得るため、ロボットの姿勢又は検出された物体の姿勢の測定におけるわずかな誤差がタスクの失敗をもたらす可能性がある。更に、プロセスの初期段階での誤差は、タスクの後半でのロボット移動の累積誤差をもたらすことになり、更に、事前にプログラムされたスケジュールを用いたタスクが失敗する可能性がある。

【0004】

一部のシステムは、較正を最適化するために、ワークセルなどの動作環境においてハンド－アイ較正を使用している。ハンド－アイ較正では、ロボットのベースは、センサの座標フレームに対して定義された姿勢を有することができ、センサは、基準座標フレームに対してそれ自体の姿勢を有することができ、基準座標フレームは、世界モデル又はワークセルモデル内で予め決定することができる。

【0005】

理想的な動作シナリオでは、ワークセル内の複数のセンサ及びロボットの各々の位置及び配向は、基準座標フレーム、例えば、世界モデルの座標フレームに対して常に完全に測定されている。例えば、理想的なシナリオは、予めプログラムされたワークフローが基づくワークセルのためのＣＡＤモデルにおいて予期されるように正確に位置決めされた複数のセンサ及びロボットを有している。

【0006】

しかしながら、実際には、ロボット及びセンサの実際の場所と記録された初期位置との間にはいくらかの差異が存在することが多く、これは、設置時又は構成要素が較正されたときに発生する可能性がある。これにより、不一致の誤差が生じる可能性がある。例えば、２つのカメラは、世界座標フレームにおいて異なる位置を有するものとして同じ物体を観測する可能性があり、これは、ワークセルの２つの構成要素が接触する必要がある場合など、短い距離が重要である場合に特に問題となる。別の例では、現実世界において近接して位置決めされた２つのロボットは、わずかに不正確な姿勢較正を有する２つの異なるセンサを通して観測すると、世界座標フレームにおいてわずかに異なる位置に現れる場合がある。加えて、ロボット及びセンサは、タスクを実施している間に物理的に移動する場合があるため、ロボット及びセンサの実際の姿勢は、予期される姿勢と異なる可能性がある。したがって、ロボット及びセンサの１つ以上の現在の姿勢は、それぞれの予期される姿勢から逸脱する可能性がある。較正誤差はまた、特に、構成要素、例えば、ロボット上のツールが、ロボットベースから離れて移動するときに蓄積される可能性がある。したがって、多くの場合、誤較正された構成要素からの累積誤差により、正常なワークセル性能を保証することは困難である。

【発明の概要】

【0007】

本明細書は、システムが、ロボット動作環境における構成要素の較正を最適化するために、複数の異なる座標フレームにおける複数の較正結果及び外部測定をどのように使用することができるかを説明する。これらの技術は、異なる座標フレームで観測される最適化可能な較正エンティティの較正誤差を低減する自動化された方法を提供する。

【0008】

異なる座標フレームにおいて測定された姿勢のタイプ及び姿勢間の関係を指定する複数の異なる制約ペアを定義することによって、システムは、複数の異なる制約ペアの各々についてそれぞれのローカル誤差を自動的に定義し、次いで、例えば、各ローカル誤差から生成されるグローバル誤差を最適化することによって、環境内の各センサ、ロボット、又は他の物体の調整された姿勢を計算するために複数の較正値を取得することができる。本明細書は、較正を実施するのに適した複数の例示的な制約ペアについて説明する。概して、各制約ペアは、少なくとも２つの異なる座標フレームを含み、各座標フレームは、基準座標フレーム、例えば、世界座標フレームに対する姿勢を定義する。例示的な制約ペアとして、他のものに加えて、相対姿勢制約、特徴姿勢制約、特徴点制約が挙げられる。

【0009】

本明細書において説明される主題の特定の実施形態は、以下の利点のうちの１つ以上を実現するように実装することができる。

【0010】

以下に説明される技術は、環境内の２以上のセンサによって検出される同じ較正エンティティが、基準座標フレーム、例えば、世界座標フレームに対して実質的に同じ場所に現れるように較正され得るように使用することができる。その結果、環境に対する較正されたワークフローの全体的な性能を大幅に向上させることができる。較正の精度は、複数の異なる制約ペアについて全てのローカル誤差を解決することなく改善することができる。加えて、制約ペアの数は、柔軟かつスケーラブルであり、これは、制約ペアが較正技術の動作に影響を及ぼすことなく、局所的必要性に応じて追加又は除去され得ることを意味する。

【0011】

加えて、開示される技術は、世界モデル内のあらゆる最適化可能な較正エンティティが任意の他の較正エンティティに対して較正され得るように、一度に１つの最適化可能な較正エンティティのみを別の較正エンティティに対して較正する従来の較正の較正結果を組み合わせることができる。

【0012】

更に、開示される技術は、モデル内の制約ペアを使用する較正エンティティの較正結果を、他の制約ペアを使用する同じ較正エンティティの他の較正結果に対して比較し、較正結果が他の較正結果と異なるかどうかを判定し、例えば、誤差関数を使用して、較正結果と他の較正結果との間の差を定量化することによって、不正確な較正結果を識別及び定量化することができる。それに応じて、システムは、較正結果が最適化のために考慮されるかどうかを判定し、較正プロセスにおける誤りを識別することができる。

【0013】

本明細書の主題の１つ以上の実施形態の詳細は、添付の図面及び以下の説明に記載される。主題の他の特徴、態様、及び利点は、説明、図面、及び特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0014】

【図1】環境における較正を最適化するための例示的な較正システムを示す。

【図2A】環境における相対姿勢制約グラフの例を示す。

【図2B】環境における相対姿勢制約グラフの別の例を示す。

【図3】環境における特徴姿勢制約グラフの例を示す。

【図4】環境における特徴点制約グラフの例を示す。

【図5】環境における異なる制約ペアを使用して較正を最適化する例示的なプロセスのフロー図である。

【図6A】例示的な環境において適用される相対姿勢制約を示す。

【図6B】図６Ａの例示的な環境において適用される特徴姿勢制約を示す。

【図6C】図６Ａの例示的な環境において適用される特徴点制約を示す。

【図7】図５の較正を最適化する例示的なプロセスに基づいて較正値を取得する例示的なプロセスのフロー図である。

【0015】

種々の図面における同様の参照番号及び名称は、同様の要素を示す。

【発明を実施するための形態】

【0016】

図１は、動作環境における較正を最適化するための例示的な較正システム１００を示している。この例では、ロボットワークセル１７０が、例示的な動作環境として使用される。本明細書に記載される技術はまた、ワークセルではない他の動作環境のための較正を調整するために使用することができる。システム１００は、較正実行エンジン１１０及びロボットインターフェースサブシステム１６０を含む。較正実行エンジン１１０は、制約生成器１３０、１つ以上のオプティマイザ１５０、及びワークフロースケジュールエンジン１２０を含む。システム１００は、任意の適切な通信ネットワーク、例えば、イントラネット若しくはインターネット、又はネットワークの組み合わせを介して互いに結合された１つ以上の場所にある１つ以上のコンピュータ上にインストールされるコンピュータプログラムとして実装することができる。ワークフロースケジュールエンジン１２０は、１つ以上のコンピュータと、１つ以上のコンピュータによって実行されたときに、ワークセル１７０内のロボットのためのワークフロー１２５を生成及び更新する動作を１つ以上のコンピュータに実施させるように動作可能な命令を記憶する１つ以上の記憶デバイスとを備えるシステムである。

【0017】

システム１００は、較正実行エンジン１１０に、調整１６５ｂをロボットインターフェースサブシステム１６０に送信して、ワークセル１７０内の１つ以上の最適化可能な較正エンティティ、例えば、ロボット１７０ａ～ｎ、センサ１７１ａ～ｎの姿勢を較正するか、又はコマンド１５５をロボットインターフェースサブシステム１６０に送信して、ワークセル１７０内の１つ以上の最適化可能な較正エンティティを駆動するかのいずれかを命令することができる。コマンド１５５は、オプティマイザ１５０によって取得された調整１６５ａを組み込むことによってワークフロースケジュールエンジン１２０によって生成されるワークフロー１２５に基づくことができる。図１に示すように、センサ１７１ａ～ｎは、ロボット１７０ａ～ｎと１対１の対応を有する必要はなく、ロボットに結合されるか、又は移動可能である必要はない。実際、各ロボットは、複数のセンサを有することができ、センサは、ワークセル１７０内の静止表面又は移動可能な表面上に装着され得る。同様に、マーカ１７２ａ～ｎ及び点別特徴１７３ａ～ｎは、必ずしもロボットに結合されない。しかしながら、点別特徴１７３ａ～ｎは、ロボット１７０ａ～ｎの一部であり得る。センサ、ロボット、マーカ、及び点別特徴の総数は、互いに独立しており、ローカルサイト又はタスク要件に従ってカスタマイズされ得る。

【0018】

較正エンティティは、世界モデル内の較正プロセスに関与するワークセルの態様である。したがって、較正エンティティは、ほんの数例を挙げると、ロボット若しくはロボットの一部、物体、例えば、マーカ、ロボットによって作業されている点別特徴若しくはワークピース、又はワークセル内のセンサであり得る。各ロボットは、複数の関節を有することができる。例えば、多くの産業用ロボットは、ベースに６つの関節を有する。センサは、ほんの数例を挙げると、ロボット動作を誘導するための任意の適切なセンサ、例えば、カメラなどの画像センサ、３Ｄセンサ、又は、レーザトラッカなどの点センサであり得る。

【0019】

典型的には、較正エンティティは、最適化可能な較正エンティティであり、１つ以上の最適化プロセスに従って、世界座標フレームに対して較正することができることを意味する。一部の実装形態では、システム１００はまた、別の座標フレームに対して世界座標フレーム自体を較正することもできる。図１に示すように、ワークセル１７０は、１つ以上のロボット１７０ａ～ｎ、１つ以上のセンサ１７１ａ～ｎ、１つ以上のマーカ１７２ａ～ｎ、及び１つ以上の点別特徴１７３ａ～ｎなどの較正エンティティを含み、最適化可能な較正エンティティは、ロボット１７０ａ～ｎ及び１７１ａ～ｎを含む。

【0020】

姿勢は、環境内の較正エンティティの位置及び配向を定義する。較正エンティティの位置は、三次元並進自由度を使用して表すことができる。例えば、デカルト基準では、位置は、座標フレームに対してｘ、ｙ、及びｚ軸に投影された較正エンティティの座標であり得る。較正エンティティの配向は、三次元回転自由度を使用して表すことができる。例えば、デカルト基準では、配向は、座標フレームに対するｘ、ｙ、及びｚ軸に沿った較正エンティティのオイラー角であり得る。一部の実装形態では、配向は、回転四元数を使用して四次元の自由度を有することができる。場合によっては、較正エンティティの自由度を使用して、適切なセンサを選択することができる。例えば、姿勢が並進自由度及び回転自由度の両方を有する場合、画像センサ、例えば、カメラを較正エンティティのために選択することができる。別の例として、姿勢が並進自由度のみを有する場合、レーザトラッカなどの点センサを較正エンティティのために選定することができる。

【0021】

ワークセル１７０の較正を実施するために、ロボットインターフェースサブシステム１６０は、最初に、入力として、観測１４５を較正実行エンジン１１０に出力することができる。観測１４５は、ワークセル１７０内の１つ以上の較正エンティティの姿勢を定義するデータを含み得る。次に、制約生成器１３０は、観測１４５を入力として受け取り、次いで、ユーザ入力１３５に基づいて制約ペア１８５を１つ以上のオプティマイザ１５０に出力することができる。較正実行エンジン１１０の１つ以上のオプティマイザ１５０は、１つ以上の最適化可能な較正エンティティの姿勢を調整するためにロボットインターフェースサブシステム１６０に調整１６５ｂを出力するか、前の時間ステップにおいてワークフロースケジュールエンジン１２０によって取得されたワークフローに調整１６５ａを出力するか、又はその両方を行うことができる。ワークフロースケジュールエンジン１２０は、ワークフロー１２５を更新するときに調整１６５ａを組み込むことができ、それに応じてロボット１７０ａ～ｎを駆動するためにロボットインターフェースサブシステム１６０にコマンド１５５を送信することができる。

【0022】

制約１８５は、複数の異なるタイプの制約、例えば、ほんの数例を挙げると、相対姿勢制約、特徴姿勢制約、特徴点制約、距離制約、連鎖制約、又は組み合わせ制約を含み得る。制約のタイプの各々は、最適化可能な較正エンティティの少なくとも１つのペアを含み、したがって、それらは制約ペアと称されることもある。

【0023】

制約タイプの詳細、システム１００がワークセル１７０のための制約ペアを生成すること、及びシステム１００が較正プロセスを最適化することは、以下でより詳細に説明される。

【0024】

図２Ａは、環境における例示的な相対姿勢制約グラフ１００ａを示している。相対姿勢制約グラフ１００ａは、環境内の種々の較正エンティティ間の相対姿勢制約関係を表す。較正システムは、相対姿勢制約グラフを使用して、環境内の制約ペアを表すことができる。例えば、環境はロボットワークセルであり得る。

【0025】

制約グラフのノードは、較正エンティティを表すことができる。図２Ａに示すように、例示的な相対姿勢制約グラフ２００ａは、以下の較正エンティティ、すなわち、世界座標フレーム２２１、第１のロボットのベース２２３ａ、第２のロボットのベース２２３ｂ、第１のカメラ２２５ａ、及び第２のカメラ２２５ｂを表すノードを含む。

【0026】

制約グラフのエッジは、較正エンティティ間の関係を表すことができる。例えば、相対姿勢制約グラフ２００ａの有向エッジは、第２の較正エンティティによって定義される座標フレームに対する第１の較正エンティティの相対姿勢を表す。例えば、エッジ２０５ｂは、ロボットベース２２３ａによって定義される座標フレームに対するカメラ２２５ｂの姿勢を表す。

【0027】

図２Ａの世界座標フレーム２２１は原点を有し、原点は、世界モデル、例えば、ワークセルモデルにおいて予め決定することができる。原点は固定されていると仮定され、世界座標フレームは通常固定されていると仮定され、ワークセル内のエンティティを較正するための全体的な基準として機能するため、座標フレームに対して世界原点の姿勢を定義することは通常、目的ではない。この文脈において、「固定された」とは、ワークセルが較正下にあるときに静的であり、最適化プロセスに関与しないことを意味する。したがって、世界座標フレームは、ワークセル又は世界モデルの基準座標フレームとして機能することができる。一部の実装形態では、ワークセル又は世界モデルは、１つの基準座標フレームのみを有する。

【0028】

ロボットのベースは、姿勢と、姿勢によって定義される座標フレームと、姿勢が測定される座標フレームとを有することができる。例えば、第１のロボット２２３ａのベース及び第２のロボット２２３ｂのベースは各々、それぞれの原点及び座標フレームを定義する。ベース２２３ａの原点は、世界座標フレームに対する姿勢２０１を有し、同様に、ベース２２３ｂの原点も、世界座標フレームに対する姿勢２０３を有する。それぞれのベース２２３ａ又は２２３ｂの原点の各姿勢２０１又は２０３は、並進自由度及び回転自由度の両方を有することができる。

【0029】

カメラはまた、姿勢、例えば、その焦点によって定義される姿勢、姿勢によって定義される座標フレーム、及び姿勢が測定される座標フレームを有することができる。例えば、各カメラ２２５ａ及び２２５ｂは、定義された焦点と、各焦点によって定義された対応する座標フレームとを有することができる。ノード２２５ａによって表される第１のカメラは、ロボットベース２２３ａの座標フレームに対する第１の姿勢２０５ａと、ロボットベース２２３ｂの座標フレームに対する第２の姿勢２０７ａと、世界座標フレームに対する第３の姿勢２０９ａとを有することができる。同様に、ノード２２６ｂによって表される第２のカメラは、ロボットベース２２３ａの座標フレームに対する第１の姿勢２０５ｂと、ロボットベース２２３ｂの座標フレームに対する第２の姿勢２０７ｂと、世界座標フレームに対する第３の姿勢２０９ｂとを有することができる。

【0030】

それぞれのロボットベースに対するカメラの焦点姿勢を取得することは、それぞれのロボット内の各関節の姿勢、並びに各関節の姿勢によって定義される座標フレームを取得することを含み得る。例えば、産業用ロボットは、６つの関節Ｊ１～Ｊ６を有することができ、各関節は、姿勢と、関節の姿勢に基づく座標フレームとを定義する。産業用ロボットベースに対するカメラの焦点姿勢は、ロボットの最後の関節Ｊ６に基づく座標フレームに対するカメラの焦点姿勢を、ロボットの後続の各関節を通して連鎖させることによって取得することができる。ロボットの後続の関節の各姿勢は、ロボットの先行する関節の姿勢に対して定義することができ、ロボットの第１の関節Ｊ１の姿勢は、ロボットベースの座標フレームに対して定義することができる。

【0031】

相対姿勢は、別の座標フレームに対する較正エンティティの姿勢であり得る。例えば、ロボットベース２２３ａの座標フレームに対する第１のカメラ２２５ａの第１の姿勢２０５ａは、ロボットベース２２３ａによって定義される座標フレームが基準座標フレームではないため、相対姿勢と称される。同様に、ロボットベース２２３ｂの座標フレームに対する第２のカメラ２２５ｂの第１の姿勢２０５ｂもまた、相対姿勢とみなされる。

【0032】

グラフ２００ａ内の相対姿勢は、例えば、ハンド－アイ較正プロセスを使用することによって、又は直接測定によって、種々の方法で取得することができる。例えば、相対姿勢、例えば、相対姿勢２０５ａ及び２０５ｂは、ハンド－アイ較正を用いた複数のそれぞれの測定を使用して取得することができる。相対姿勢２０５ａのためのハンド－アイ較正のために、ハンド－アイ較正は、ハンド－アイ較正プロセスの「ハンド」としてロボットベース２２３ａと、「アイ」としてカメラ２２５ａとを有することができる。代替として、又は加えて、他の相対姿勢、例えば、相対姿勢２０５ｂ、２０７ａ、及び２０７ｂを、測定から取得することができ、測定された相対姿勢と称され得る。

【0033】

相対姿勢は、世界座標フレーム２２１に対するカメラ及びロボットベースの姿勢を通じて計算することもできる。例えば、相対姿勢２０５ａは、世界座標フレーム２２１に対するロボットベース２２３ａの姿勢２０１と、世界座標フレーム２２１に対するカメラ２２５ａの姿勢２０９ａとに基づいて計算することができる。相対姿勢２０５ｂ、２０７ａ、及び２０７ｂは、同様に計算することができる。基準座標フレームに対する姿勢を通じて取得される相対姿勢は、計算された相対姿勢と称され得る。

【0034】

相対姿勢制約は、各々最適化可能な較正エンティティに基づいて、２つの異なる座標フレーム間の相対姿勢を最適化するために使用することができる。一部の実装形態では、２つの異なる座標フレームのうちの１つは、最適化可能ではない較正エンティティによって定義することができる。ハンド－アイ較正とは対照的に、相対姿勢制約は、環境内の２つの任意に選択された最適化可能な較正エンティティによって定義される２つの異なる座標フレーム間に適用することができる。例えば、図２Ａに示すように、第１の相対姿勢制約は、第１のロボットベース２２３ａによって定義される第１の座標フレームと、第１のカメラ２２５ａによって定義される第２の座標フレームとを有することができる。同様に、第２の相対姿勢制約は、第１のロボットベース２２３ａによって定義される第１の座標フレームと、第２のカメラ２２６ｂによって定義される第２の座標フレームとを有することができる。図２Ａの残りの相対姿勢制約は、同様の方法で定義することができる。

【0035】

２つの異なる座標フレーム間の相対姿勢を最適化するために、本明細書で説明される較正システムは、最初に、ここでは上付き文字ｗで表される、基準座標フレーム、例えば、世界座標フレーム２２１を見出すことができる。次に、システムは、基準座標フレームに対する２つの異なる座標フレームＡ及びＢの姿勢を、

【0036】

【数1】

として定義することができる。一部の実装形態では、

【0037】

【数2】

は、基準座標フレームに対する座標フレームＡ及びＢの並進自由度及び回転自由度の両方を表すテンソル量である。あるいは、

【0038】

【数3】

はベクトルであり得る。例えば、図２Ａにおいて、座標フレームＡは第１のロボットベース２２３ａの座標フレームであり、座標フレームＢは第１のカメラ２２５ａの座標フレームである。次に、システムは、座標フレームＡに対する座標フレームＢの測定された相対姿勢、例えば、

【0039】

【数4】

を取得することができる。例えば、測定された相対姿勢

【0040】

【数5】

は、第１のロボットベース２２３ａの座標フレームに対する第１のカメラ２２５ａの姿勢２０５ａであり得る。測定された相対姿勢

【0041】

【数6】

は、カメラを用いた円較正又はハンド－アイ較正によって取得することができる。測定された相対姿勢

【0042】

【数7】

は、正確であると仮定することができ、ベンチマークとして機能することができる。最後に、システムは、計算された相対姿勢

【0043】

【数8】

を次のように定義することができる：

【0044】

【数9】

【0045】

そして、２つの座標フレームＡ及びＢの各々の姿勢が十分に正確である場合、システムは、制約

【0046】

【数10】

を使用することができる。しかしながら、そうでない場合、システムは、残差によって

【0047】

【数11】

との間の差を以下のように定義することができる：

【0048】

【数12】

【0049】

最後に、較正システムは、相対姿勢制約の最適化問題を次のように定義することができる：

【0050】

【数13】

【0051】

残差の

【0052】

【数14】

は、種々の方法で定義することができる。一部の実装形態では、残差は誤差項の集約を表す。例えば、残差は、並進自由度及び回転自由度の両方からの誤差を組み込んだ、二乗平均平方根誤差（root mean square error、ＲＭＳＥ）を表すスカラであり得る。別の例では、残差は、それぞれ並進自由度及び回転自由度からの誤差を組み込んだ２つのＲＭＳＥを表す２つのスカラであり得る。相対姿勢制約において定義される最適問題の残差を最小化することによって、システムは、２つの座標フレームＡ及びＢのそれぞれの所望の姿勢、例えば、

【0053】

【数15】

を取得することができる。

【0054】

代替として、又は加えて、相対姿勢制約を、環境内の２つのロボットベースの２つの異なる座標フレーム間に適用することができる。図２Ｂに示すように、例示的な相対姿勢制約は、世界座標フレーム２２２と、世界座標フレーム２２２に対する姿勢２０２及び姿勢２０２によって定義される第１の座標フレームを定義する第１のロボットベース２２４ａと、世界座標フレーム２２２に対する別の姿勢２０４及び姿勢２０４によって定義される第２の座標フレームを定義する第２のロボットベース２２４ｂとを含む。測定された相対姿勢２０４は、第２のロボットベース２２４ｂの座標フレームに対する第１のロボットベース２２４ａの姿勢である。計算された相対姿勢は、上述した方法で姿勢２０２及び２０４から計算することができる。

【0055】

本明細書に説明されるアプローチの利点は、それらが任意の数の較正エンティティにスケーリングされ得ることである。したがって、環境内のセンサ及びロボットの数は、３つ以上であり、例えば、１０個のセンサ及び１０個のロボット、又は１００個のセンサ及び１００個のロボットであり得る。図２Ａは、例示を容易にするために、２つのセンサ及び２つのロボットのみを示している。同様に、図２Ｂは、同じ理由で２つのセンサのみを示している。

【0056】

第２の例示的な制約タイプは、特徴姿勢制約である。特徴姿勢制約は、同じエンティティが２つの異なる座標フレームから観測されるときに、較正エンティティの一貫した姿勢を強制する。異なる座標フレームは、共通の中間座標フレームに対して、第１及び第２の最適化可能な較正エンティティによって定義することができる。一部の実装形態では、共通の中間座標フレームは、世界座標フレーム、又は別の基準座標フレームである。一般性を失うことなく、特徴姿勢制約は、少なくとも第３の座標フレームが共通座標フレームとしての役割を果たすように、第１及び第２の最適化可能較正エンティティによって間接的に定義される２つの異なる座標フレーム間の相対姿勢制約を最適化するものとみなすことができる。特徴姿勢制約内の較正エンティティは、較正エンティティが並進自由度及び回転自由度の両方を有し、自由度が第１及び第２の最適化可能な較正エンティティによって定義される２つの異なる座標フレーム内で検出され得る限り、任意の形状、サイズ、及びタイプであり得る。例えば、較正エンティティは、センサ、ロボット、又はマーカであり得る。第１又は第２の最適化可能な較正エンティティは、センサ又はロボットであり得る。マーカは、センサによって検出することができる並進自由度及び回転自由度の両方を有する人工視覚マーカであり得る。例えば、マーカは、視覚的基準システムタグ、ＡＲマーカ、又は何らかの他の種類のマーカであり得る。かかるマーカを観測するためのセンサは、任意の適切なカメラであり得る。

【0057】

図３は、環境における例示的な特徴姿勢制約グラフ３００を示している。特徴姿勢制約グラフ３００は、環境内の種々の較正エンティティ間の制約関係を表す。環境は、例えば、ロボットワークセルであり得る。

【0058】

図３に示すように、例示的な特徴姿勢制約グラフ３００は、以下の較正エンティティ、すなわち、世界座標フレーム３２１、第１のカメラ３２３ａ、第２のロボット３２３ｂ、第１のマーカ３２５ａ、及び第２のマーカ３２５ｂを表すノードを含む。特徴姿勢制約グラフ３００の有向エッジは、第２の較正エンティティによって定義された座標フレームに対する第１の較正エンティティの相対姿勢を表す。例えば、３０７ａは、カメラ３２３ｂによって定義される座標フレームに対するマーカ３２５ａの姿勢を表す。

【0059】

世界座標フレーム３２１は、ワークセルモデルにおいて予め決定され、固定され得る。世界座標フレーム３２１は、静的であり、最適化プロセス中に修正されないため、基準座標フレームとして機能する。第１のカメラ３２３ａの焦点は、第１の座標フレームと、世界座標フレーム３２１に対する座標フレームの姿勢３０１とを定義することができる。同様に、第２のカメラ３２３ｂの焦点は、第２の座標フレームと、世界座標フレーム３２１に対する座標フレームの姿勢３０３とを定義することができる。

【0060】

第１のマーカ３２５ａを表すノードは、第３の座標フレーム、第１のカメラ３２３ａの第１の座標フレームに対する第１のマーカ３２５ａの第１の姿勢３０５ａ、第２のカメラ３２３ｂの第２の座標フレームに対する第１のマーカ３２５ａの第２の姿勢３０７ａを定義することができる。姿勢３０５ａ及び３０７ａは、それぞれカメラ３２３ａ及び３２３ｂによって撮影された第１のマーカ３２５の画像データによって取得することができる。同様に、第２のマーカ３２５ｂのノードは、第４の座標フレーム、第１のカメラ３２３ａの第１の座標フレームに対する第２のマーカ３２５ｂの第３の姿勢３０５ｂ、並びに第２のカメラ３２３ｂの第２の座標フレームに対する第２のマーカ３２５ｂの第４の姿勢３０７ｂを定義する。姿勢３０５ａ、３０５ｂ、３０７ａ、及び３０７ｂは、前述のように、姿勢が測定されるそれぞれの座標フレームに対するそれぞれのマーカの並進自由度及び回転自由度の両方を含み得る。

【0061】

特徴姿勢制約は、２つの異なるフレームによって観測される較正エンティティが、世界座標フレームに対して一貫した姿勢を現すように、２つの最適化可能較正エンティティによって定義される２つの異なる座標フレームの姿勢を最適化するために使用することができる。例えば、図３に示すように、２つの異なる座標フレームは、第１のカメラ３２３ａによって定義される座標フレーム及び第２のカメラ３２３ｂによって定義される座標フレームであり得、較正エンティティは、第１のマーカ３２５ａ又は第２のマーカ３２５ｂのいずれかであり得る。

【0062】

２つの異なる座標フレームＡ及びＢの姿勢を最適化するために、較正システムは、最初に、上付き文字ｗによって記される基準座標フレームとして、世界座標フレーム３２１を定義することができる。次に、システムは、

【0063】

【数16】

つの異なる座標フレームＡ及びＢの各々に対する較正エンティティの姿勢を定義することができる。

【0064】

【数17】

は、それぞれ座標フレームＡ及びＢに対する較正エンティティの並進位置及び回転位置の両方を表すテンソル量である。一部の実装形態では、

【0065】

【数18】

は、ベクトルであり得る。次に、システムは、世界座標フレーム３２１に対する２つの座標フレームＡ及びＢの姿勢を、

【0066】

【数19】

として定義することができる。

【0067】

理想的には、第１及び第２の最適化可能な較正エンティティによって定義される２つの座標フレームＡ及びＢの両方の姿勢が、世界座標フレーム３２１に対して正確である場合である。以下のように与えられる恒等性が保持されるべきである：

【0068】

【数20】

【0069】

しかしながら、２つの座標フレームＡ及びＢの２つの姿勢のいずれか１つが正確でないか、又はそれぞれの予期される姿勢からわずかにずれている場合、恒等性は保持されない。システムは、

【0070】

【数21】

との間の差を残差によって、以下のように定義することができる：

【0071】

【数22】

【0072】

したがって、システムは、特徴姿勢制約の最適化問題を以下のように定義することができる：

【0073】

【数23】

同様に、残差

【0074】

【数24】

は、多くの方法で定義することができる。例えば、残差は、並進自由度及び回転自由度の両方からの誤差を組み込んだ二乗平均平方根誤差（ＲＭＳＥ）を表すスカラであり得る。別の例では、残差は、それぞれ並進自由度及び回転自由度からの誤差を組み込んだ２つのＲＭＳＥを表す２つのスカラであり得る。別の例では、残差はテンソルとすることができ、テンソルが恒等テンソルである場合、この残差の結果は最小化される。特徴姿勢制約において定義される最適問題の残差を最小化することによって、システムは、２つの座標フレームＡ及びＢの所望の姿勢、例えば、

【0075】

【数25】

を取得することができる。

【0076】

代替として、又は加えて、２つの相対姿勢制約が、特徴姿勢制約としての役割を果たすことができる。これを確認するために、第１の相対姿勢制約は、較正エンティティ、例えば、マーカによって定義される第１の座標フレームと、第１の最適化可能較正エンティティ、例えば、第１のセンサによって定義される第２の座標フレームとを有することができ、第２の相対姿勢制約は、マーカによって定義される第１の座標フレームと、第２の最適化可能較正エンティティ、例えば、第２のセンサによって定義される第３の座標フレームとを有することができる。第１の相対姿勢制約において、第１の座標フレームに対するマーカの第１の相対姿勢が、第１のセンサの姿勢を較正するために使用され得ると仮定する。第２の相対姿勢制約において、第２の座標フレームに対するマーカの第２の相対姿勢を第２のセンサの姿勢を較正するために使用することができ、これは、マーカを通して２つのセンサの姿勢を較正するための特徴姿勢制約と同等である。実際には、特徴姿勢制約と相対姿勢制約との間の差は、特徴姿勢制約が２つの座標フレーム間の相対姿勢を間接的に測定するのに対して、相対姿勢制約は２つの座標フレーム間の相対姿勢を直接的に測定するとみなすことができる。しかしながら、一部の状況では、特徴姿勢制約は、２つの異なる座標フレームの姿勢を較正するとき、相対姿勢制約よりも低い計算コストを有する。したがって、システムは、最適化プロセスの計算複雑性を低減するために、相対姿勢制約よりも特徴姿勢制約を選択してもよい。

【0077】

第３の例示的な制約タイプは、特徴点制約である。特徴点制約は、特徴姿勢制約と同様であるが、特徴点制約は、第１及び第２の最適化可能較正エンティティによって定義される２つの異なる座標フレームによって観測される較正エンティティの姿勢の代わりに、点別姿勢の測定を使用する。特徴点制約を使用して、共通の中間座標フレームに対する較正エンティティの一貫した点別姿勢を確実にすることができる。一部の実装形態では、共通の中間座標フレームは、世界座標フレーム、又は別の基準座標フレームである。特徴点制約はまた、少なくとも第３の座標フレームが共通座標フレームとしての役割を果たすように、第１及び第２の最適化可能較正エンティティによって間接的に定義される２つの異なる座標フレーム間の相対姿勢制約を最適化するものとみなすことができる。

【0078】

特徴点制約内の較正エンティティは、制約内の第１及び第２の最適化可能な較正エンティティによって定義される２つの異なる座標フレーム内で検出可能な並進自由度のみを有する、任意の形状及びサイズであり得る。換言すれば、特徴点制約における較正エンティティは、並進自由度及び回転自由度の両方を有することができるが、２つの座標フレームは、特徴の並進自由度のみを検出することが可能であり得る。例えば、較正エンティティは、依然として、センサ、ロボット、マーカであり得るが、２つの最適化可能較正エンティティは、レーザトラッカなどの点センサである。別の例では、較正エンティティは、点別特徴の並進自由度を少なくとも検出することができるセンサである２つの最適化可能な較正エンティティを有する点別特徴であり得る。点別特徴は、センサが検出することができる単一のドット又は小さなステッカであり得る。例えば、点別特徴は、モーションキャプチャシステム、ロボットエンドエフォート（例えば、ロボットのグリッパ内のツールチップ）、タッチポイント（例えば、それぞれのロボットからの２つのツールチップの各々のタッチポイント）、及びテーブルコーナーなどの他の接触ポイントにおいて赤外光を反射することができる小さなピンポンボール状のマーカであり得る。

【0079】

特に、システムは、複数の特徴点制約を利用して、較正エンティティの点別特徴のみを使用して、最適化可能な較正エンティティの並進自由度及び回転自由度の両方、例えば、完全な３Ｄ姿勢を最適化することができる。例えば、システムは、特徴点制約をそれぞれ使用してテーブルの３つ又は４つの異なるコーナを較正し、テーブルの完全な３Ｄ姿勢を一意に最適化するために較正結果を組み合わせることができる。

【0080】

図４は、環境における例示的な特徴点制約グラフ４００を示している。例示的な特徴点制約グラフ４００は、環境内の種々の較正エンティティ間の制約関係を表す。環境は、例えば、ロボットワークセルであり得る。

【0081】

図４に示すように、例示的な特徴点制約グラフ４００は、以下の較正エンティティ、すなわち、世界座標フレーム４２１、第１のカメラ４２３ａ、第２のロボット４２３ｂ、第１のロボットのツールチップ４２５ａ、及び第２のロボットのツールチップ４２５ｂを表すノードを含む。特徴点制約グラフ４００の有向エッジは、第２の較正エンティティによって定義された座標フレームに対する第１の較正エンティティの相対姿勢を表す。例えば、４０７ａは、カメラ４２３ｂによって定義される座標フレームに対するロボットツールチップ４２５ａの姿勢を表す。

【0082】

同様に、世界座標フレーム４２１は、ワークセルモデルにおいて予め決定されて、固定することができ、基準座標フレームとして機能し、最適化されない。第１のカメラ４２３ａの焦点は、第１の座標フレームと、世界座標フレーム４２１に対する第１のカメラ４２３ａの姿勢４０１とを定義する。同様に、第２のカメラ４２３ｂの焦点は、第２の座標フレームと、世界座標フレーム４２１に対する第２のカメラ４２３ｂの姿勢４０３とを定義する。第１のロボット４２５ａのツールチップは、第３の座標フレーム、第１のカメラ４２３ａの第１の座標フレームに対する第１のロボットツールチップ４２５ａの第１の点姿勢４０５ａ、第２のカメラ４２３ｂの第２の座標フレームに対する第１のロボットツールチップ４２５ａの第２の点姿勢４０７ａを定義する。同様に、第２のロボット４２５ｂのツールチップは、第４の座標フレーム、第１のカメラ４２３ａの第１の座標フレームに対する第２のツールチップ４２５ｂの第３の点姿勢４０５ｂ、第２のカメラ４２３ｂの第２の座標フレームに対する第２のツールチップ４２５ｂの第４の点姿勢４０７ｂを定義する。点姿勢４０５ａ、４０５ｂ、４０７ａ及び４０７ｂは、前述のように、それぞれの座標フレームに対するツールチップの並進自由度のみを含む。

【0083】

先に説明したように、特徴点制約は、測定された特徴が姿勢の代わりに点別姿勢のみを有する場合に、第１及び第２の最適化可能な較正エンティティによって定義された２つの異なる座標フレームの点別姿勢を最適化するために使用することができ、その結果、２つの異なるフレームによって観測された較正エンティティは、世界座標フレームに対して一貫した点別姿勢を現す。例えば、図４に示すように、２つの異なる座標フレームは、第１の最適化可能較正エンティティ、例えば、カメラ４２３ａによって定義される第１の座標フレーム及び第２の最適化可能較正エンティティ、例えば、カメラ４２３ｂによって定義される第２の座標フレームであり得、２つの異なる座標フレームによって観測される較正エンティティの点別特徴は、第１のロボット４２５ａのツールチップ又は第２のロボット４２５ｂのツールチップのいずれかであり得る。代替として、２つの座標フレームは、点センサ、例えば、レーザトラッカなどの特徴の平行移動位置のみをとる、最適化可能較正エンティティによって定義することができる。

【0084】

第１及び第２の較正エンティティによって定義される２つの異なる座標フレームＡ及びＢの姿勢を最適化するために、較正システムは、最初に、上付き文字ｗによって記される基準座標フレームとして、世界座標フレーム４２１を定義することができる。次に、システムは、

【0085】

【数26】

として記される、２つの異なる座標フレームＡ及びＢに関して観測される点別姿勢を定義することができる。

【0086】

【数27】

は、点別較正エンティティの並進位置のみを表すテンソル量である。一部の実装形態では、

【0087】

【数28】

は、ベクトルであり得る。次に、システムは、世界座標フレーム４２１に対する２つの座標フレームＡ及びＢの姿勢を、

【0088】

【数29】

として定義することができる。

【0089】

理想的には、較正エンティティの予期される点別姿勢は、以下によって与えられるように、世界座標フレームに対して一貫しているべきである：

【0090】

【数30】

【0091】

しかしながら、２つの異なる座標フレームＡ及びＢの姿勢のうちのいずれか１つが正確でないか、又はそれぞれの予期される姿勢からわずかにずれている場合、等式は成立しない。システムは、残差の形の差を次のように定義することができる：

【0092】

【数31】

【0093】

次に、システムは、特徴点制約の最適化問題を次のように定義することができる：

【0094】

【数32】

座標フレームＡ及びＢの各々に対する各点別姿勢は、点別特徴の並進位置のみを伝達し、したがって、残差は、世界座標フレームに対する２つの測定された点別姿勢間の三次元差分テンソルであり得る。残差は、差分テンソルが三次元恒等テンソルである場合に最小化されると言われる。代替的に、残差は、依然として、並進自由度からの誤差を組み込む二乗平均平方根誤差（ＲＭＳＥ）を表すスカラであり得る。特徴点制約において定義される最適問題の残差を最小化することによって、システムは、２つの座標フレームＡ及びＢの所望の姿勢、例えば、

【0095】

【数33】

を取得することができる。

【0096】

概して、複数の相対姿勢制約、特徴姿勢制約、及び特徴点制約の各々について、それぞれの制約ペアにおける２つの座標フレームの姿勢は、制約ペアのタイプにおいて定義された残差を最小化することによって最適化され得る。各制約ペアを最適化することは、局所最適化とも称される。また、制約ペアに対する局所最適化の出力は、較正中に２つの座標フレームに対する姿勢を局所的に較正するために使用することができる。各それぞれの制約ペアにおける局所最適化の出力を計算するために、１つ以上のオプティマイザ１５０を使用することができる。例えば、オプティマイザ１５０は、最適化問題を解くために１つ以上のコンピュータによって実行されるプログラムであり得る。オプティマイザ１５０は、計算を並列に実行するように構成することができる。例えば、システムは、ＧＰＵ加速を利用して、１つ以上のオプティマイザの局所最適化の出力を計算することができる。

【0097】

局所最適化は、複数の異なる制約ペアの制約のローカル誤差を最小化することを含む。例えば、ハンド－アイ較正は、ハンド－アイ較正において定義された残差に基づいてローカル誤差を最適化する。しかしながら、１つ以上の座標フレームが２以上の制約ペアに関与する場合、第１の制約ペア内の座標フレームに対する第２の局所最適化の第１の出力は、第２の制約ペア内の同じ座標フレームに対する第２の局所最適化の第２の出力とは異なり得る。したがって、全ての制約ペアを同時に局所的に最適化することができない場合がある。これは、環境内の各局所制約ペアによって定義される最適化問題が過度に制約される、例えば、環境内のロボット及びセンサを最適化するための値よりも多くの制約が存在するためである。

【0098】

全体最適化問題を最適化するために、較正システムは、複数の制約ペアの各々において定義された各ローカル誤差に基づいてグローバル誤差を定義することができる。例えば、グローバル誤差は、複数の制約ペアの各々において定義された各ローカル誤差を合計することを含み得る。別の例として、グローバル誤差は、複数の制約ペアの各々の較正重要度に基づく複数の重みを含み得る。較正システムは、最初に、各ローカル誤差にそれぞれの重みを乗算し、重み付けされた各ローカル誤差を合計することによってグローバル誤差を得ることができる。１つ以上のオプティマイザを使用してグローバル誤差を最小化することによって、較正システムは、複数の制約ペアにおける座標フレームのためのグローバル最適化姿勢のセットを取得することができる。

【0099】

図５は、環境内で異なる制約ペアを使用して較正を最適化する例示的なプロセス５００のフロー図である。便宜上、プロセス５００は、１つ以上の場所に位置する１つ以上のコンピュータのシステムによって実施されるものとして説明される。例えば、適切にプログラムされた較正システム１００は、プロセス５００を実施することができる。

【0100】

図５に示すように、システムは、まず、ワークセルの初期モデル、例えば、世界モデルを取得することができる（５１０）。世界モデルは、複数のロボット及び複数のセンサを含む。複数のセンサは、ワークセル内のより多くのロボットのうちの１つの移動を観測するように構成される。複数のセンサの各々は、カメラ又はレーザトラッカであり得る。初期世界モデルは、ＣＡＤシミュレーションを通じて得ることができる。世界モデル内のロボット及びセンサの姿勢は、ＣＡＤシミュレーションによって初期世界内で定義される予期される姿勢から逸脱され得る。

【0101】

システムは、較正実行エンジン１１０に較正プログラムの実行を命令する（５２０）。較正プログラムは、ワークセル１７０内の１つ以上のロボットによる移動を表す移動データを生成する。移動データは、各ロボット（例えば、１７０ａ～ｎ）又はセンサ（例えば、１７１ａ～ｎ）がタスクを実施するためにワークセル１７０内でどのように移動するかを記述する。移動データは、ワークフロースケジュールエンジン１２０によって純粋にシミュレートされるか、又はロボットインターフェースサブシステム１６０によって、ある特定の時間ステップ間隔における各時間ステップに対する各ロボット又はセンサの実際の移動によって測定することができる。各ロボット又はセンサは、ロボット及びセンサのそれぞれの並進位置及び／又は回転位置を定義する姿勢を有することができる。各時間ステップにおける移動データは、ロボット及び／又はセンサの初期姿勢から最終姿勢までのロボット及び／又はセンサの運動を定義する。一部の実装形態では、システム１００は、ロボットインターフェースサブシステム１６０に、各ロボット及びセンサの姿勢を調整し、作業フローによって予測されるように、それらをワークセル内で移動させるように命令することができる。一部の実装形態では、ワークセル内の１つ以上のロボット又はセンサは、静的であり得、例えば、ロボット及びセンサは、固定され、ロボット及びセンサのそれぞれの姿勢は、調整することができない。特に、静的ロボット又はセンサは、正確に姿勢をとると仮定され、例えば、ロボット又はセンサの測定された姿勢と予期される姿勢との間の誤差は、＋／－５ｍｍ及び／又は＋／－１度の範囲内である。一部の実装形態では、１つ以上のセンサ１７１ａ～ｎは、ワークセル１７０内の１つ以上のロボット１７０ａ～ｎに取り付けられるか、又は装着され得る。あるいは、センサは、ワークセル内のロボットから独立していてもよい。

【0102】

システムは、較正プロセスの実行中にワークセル内の複数のロボットによる移動後にセンサがどのように姿勢を観測するかを表すセンサデータを生成する（５３０）。センサデータは、ロボットインターフェースサブシステム１６０によって収集され、較正実行エンジン１１０内の制約生成器１３０への入力として送信される。便宜上、ワークセル内で観測される複数のロボット１７０ａ～ｎ、センサ１７１ａ～ｎ、マーカ１７２ａ～ｎ、及び点別特徴１７３ａ～ｎを複数の較正エンティティと称することができ、一方、調整され得るロボット及びセンサを最適化可能な較正エンティティと称することができる。前述のように、センサ及び／又はロボットは、ワークフロー内の現在の時間ステップにおける較正エンティティの姿勢を観測することができる。現在の時間ステップにおけるそれぞれの姿勢は、較正エンティティが、世界モデルに対して時間ステップの終わりに移動した後に終了する実際の姿勢を表す。較正エンティティの現在の姿勢は、ワークフローに基づいて移動した後の初期姿勢誤差又は累積姿勢誤差に起因して、較正エンティティの予期される姿勢とは異なり得る。累積姿勢誤差は、ワークフローの初期の時間ステップから存在し得る。

【0103】

システムは、センサデータに基づいて複数の異なる制約ペアを生成する（５４０）。複数の異なる制約ペアの各々は、最適化可能な較正エンティティに基づいて各々異なる座標フレームで観測され、センサデータで表される較正エンティティの姿勢間の関係を指定する。前述のように、各較正エンティティは、姿勢と、姿勢と関連付けられた座標フレームとを有することができる。複数の異なる制約ペアは、複数の相対姿勢制約、複数の特徴姿勢制約、及び複数の特徴点制約を含み得る。それに応じて、制約生成器１３０は、ワークセル１７０内の２つの座標フレームを有するそれぞれの制約ペアを指定することができる。例えば、２つの最適化可能な較正エンティティ間の相対姿勢が、２つの最適化可能な較正エンティティに基づいて、２つの座標フレーム間で直接測定され得る場合、制約生成器１３０は、図２Ａに関して前述したように、２つの最適化可能な較正エンティティにわたって相対姿勢制約を適用することができる。別の例では、２つの最適化可能な較正エンティティの相対姿勢を、共通の中間座標フレームを使用して間接的に測定することができ、相対姿勢が、２つの最適化可能な較正エンティティによって定義された２つの座標フレームに対して検出可能な並進自由度及び回転自由度の両方を有する場合、制約生成器は、図３に示すように、２つの最適化可能な較正エンティティに対して特徴姿勢制約を適用することができる。別の例では、２つの最適化可能な較正エンティティの相対姿勢を間接的に測定することができ、一方、相対姿勢が、２つの最適化可能な較正エンティティによって定義された２つの座標フレームに対して検出可能な並進自由度のみを有する場合、制約生成器１３０は、図４に示すように、２つの最適化可能な較正エンティティに対して特徴点制約を適用することができる。

【0104】

システムは、複数の異なる制約ペアについて１つ以上の最適化プロセスを実行して、複数の較正値を生成する（５５０）。最適化プロセスは、システム内の１つ以上のオプティマイザによって実行することができる。前述のように、各タイプの制約ペアは、それぞれのローカル誤差（残差）を定義する。較正システムは、ワークセル１７０内の複数の異なる制約ペアによって定義された各ローカル誤差に基づいてグローバル誤差を取得することができる。次いで、較正システムは、１つ以上の最適化プロセスを実施して、各制約ペアにおける２つの座標フレームの複数の最適化された姿勢を取得することによって、グローバル誤差を最小化することができる。ワークセル内の各ロボット及びセンサに対する複数の最適化された姿勢は、較正、例えば、複数の較正値のために使用される。複数の較正値の各々は、各調整可能ロボット及びセンサのための並進調整及び回転調整１６５ｂの両方を含み得る。調整１６５ｂは、ロボットインターフェースサブシステム１６０への入力としての役割を果たし、ワークセル１７０内の最適化可能な較正エンティティ、例えば、調整可能ロボット及びセンサの姿勢を調整する。一部の実装形態では、複数の較正値のうちの一部は、各調整可能ロボット及びセンサのための並進調整のみを含む。調整は、各ロボット及びセンサの予期される並進位置及び回転位置、又は各ロボット及びセンサの現在の位置と予期される位置との間の不一致であり得る。代替的に、複数の較正値は、ワークフロー１２５を更新するためにオプティマイザ１５０からワークフロースケジュールエンジン１２０に送られる調整１６５ａを含み得る。

【0105】

システムは、複数の較正値を使用してワークセルの更新されたモデルを生成する（５６０）。換言すると、システム１００は、最適化可能な較正エンティティ、例えば、ロボット１７０ａ～ｎ及びセンサ１７１ａ～ｎの姿勢を、複数の較正値、例えば、調整１６５ｂに基づいて、それぞれの予期される姿勢に調整することができる。代替的に、ワークフロースケジュールエンジン１２０は、調整１６５ａに基づいて較正エンティティの予期される姿勢と現在の姿勢との間の差を組み込み、ワークフロー１２５を更新することによって差を相殺し、ロボットインターフェースサブシステム１６０にコマンド１５５を送信して、調整可能なロボット及びセンサの姿勢を最適化された姿勢に較正することなく、更新されたワークフロー１２５に基づいてワークセル１７０内で移動するようにロボット及び／又はセンサを駆動することができる。

【0106】

更に、システム１００は、ワークセル１７０の更新されたモデルを使用して第２の複数の異なる制約ペアを生成し、第２の複数の較正値を生成するために第２の複数の異なる制約ペアについて１つ以上の最適化プロセスを実施し、第２の複数の較正値を使用してワークセルの第２の更新されたモデルを生成することによって、第２の較正プロセス５００のためにステップ５３０、５４０、５５０及び５６０を再び実行することができる。ステップ５３０、５４０、５５０及び５６０についての詳細な説明は、上記の段落に見出すことができる。第２の較正プロセスは、第１の較正プロセスのための時間ステップの直後の連続した時間ステップにおいてシステム１００によって実行され得る。第３以降の較正プロセスは、ワークセル内の各最適化可能な較正エンティティの姿勢をその場で較正することができるように、システムによって後続の時間ステップで順次実行することができる。一部の実装形態では、第２の較正プロセスは、ある時間ステップにおいて、例えば、システム１００が、第１の複数のタスクを終了した後に第２の複数のタスクを実施するようにワークセル１７０に命令することができるとき、別の例では、較正エンティティの数がワークセル内で変更されるときに、システム１００によって実行され得る。

【0107】

環境内のシステムの異なる制約ペアについての更なる議論は、図６Ａ～図６Ｃで詳述される。

【0108】

図６Ａは、例示的な環境において適用される相対姿勢制約を示している。例示的な環境は、ワークセルを含む。環境は２つのロボット６１５及び６１７を含み、各ロボットはベースを有する。例えば、ロボット６１５は、環境の世界モデルに対する座標フレーム及び座標フレームの姿勢を定義することができるベース６１１を有し、一方、ロボット６１７は、環境の世界モデルに対する座標フレーム及び座標フレームの姿勢を定義することができるベース６１３を有する。また、各ロボットは、図６Ｃに示すように、３つのツールチップを有する。例えば、ロボット６１５は、３つのツールチップ６６１、６６３、及び６６３を含み、ロボット６１７は、３つのツールチップ６６４、６６５、及び５６６を含む。例示的な環境はまた、３つのセンサ６０１、６０３、及び６０５を含む。３つのセンサは、姿勢の並進位置及び回転位置の両方を検出することができる。実際には、センサ座標フレームに対するベースの６つの測定された相対姿勢、例えば、６３１～６３６があるため、図６Ａに示される６つの相対姿勢制約が存在する。環境内の相対姿勢制約の総数は、６つを上回ってもよい。例えば、環境は、１２個の相対姿勢制約を含み得る。相対姿勢制約の全てのペアが必ずしも最適化プロセスで使用されるとは限らず、実際には、較正を最適化するときに相対姿勢制約の１つ以上のペアを省略することができる。

【0109】

図６Ｂは、例示的な環境において適用される特徴姿勢制約を示している。センサ及びロボットに加えて、３つのセンサが姿勢の並進位置及び回転位置の両方を検出することができ、３つのマーカ６２１、６２３及び６１７が存在する。各マーカは、センサ座標フレームの各々に対する姿勢を有することができる。各マーカの各姿勢は、マーカの並進位置及び回転位置の両方を含む。図６Ｂには、９つのペアの特徴姿勢制約が示されている。例えば、センサ６０１の座標フレームに対するマーカ６２１の姿勢６５４、及びセンサ６０３の座標フレームに対するマーカ６２１の姿勢６５３である。同様に、環境内の特徴点制約の総数は、９つより多くてもよい。例えば、ワークセルは、２０個の特徴姿勢制約を含み得る。特徴姿勢制約の全てのペアが必ずしも最適化プロセスで使用されるとは限らず、実際には、較正を最適化するときに特徴姿勢制約の１つ以上のペアを省略することができる。

【0110】

図６Ｃは、例示的な環境において適用される特徴点制約を示している。環境には６つのツールチップ６６１～６６６があり、ロボットごとに３つのツールチップがある。ツールチップの姿勢は、実際には、並進位置のみを有する点である。したがって、図６Ｃのセンサは、並進自由度を観測することができることのみが必要とされる。換言すると、センサ６０１、６０３、及び６０５は、カメラの代わりにレーザトラッカであり得る。図６Ｃの環境には１８個の特徴点制約がある。例えば、センサ６０１の座標フレームに対するツールチップ６６１の姿勢６７５、及びセンサ６０３の座標フレームに対するツールチップ６６１の姿勢６７２である。先に説明したように、環境内の特徴点制約の数は異なり得る。

【0111】

説明を容易にするために、２つのロボットのみが存在し、各ロボットは、ベースと、３つのツールチップと、３つのセンサと、３つのマーカとを含むが、図６Ａ～図６Ｃに示されるロボット上のロボット、センサ、及びツールチップの数は、純粋に例示である。例えば、１０個のセンサ、５つのマーカ、各ロボットが７つのツールチップを有する６つのロボットが存在し得る。別の例では、２つのセンサ、１つのマーカ、各ロボットが２つのツールチップを有する１０個のロボットが存在し得る。

【0112】

概して、システムに追加の上述の制約ペアを追加することは、ロボット及びセンサへの電力線を除いて、追加の配線又はハードウェアを追加することを必要としないため、システムは、異なる制約ペアの総数を容易にスケールアップすることができる。

【0113】

前述のように、システムは、任意の他の適切な制約タイプを使用することができる。次に、いくつかの追加の例示的な制約、すなわち、距離制約、組み合わせ制約、及び連鎖制約について説明する。

【0114】

距離制約は、２つの異なるフレームによって観測される較正エンティティが、世界座標フレームに対して一貫した姿勢を現すように、２つの最適化可能較正エンティティによって定義される２つの異なる座標フレームの姿勢を最適化するために使用することができる。較正エンティティを最適化するために、距離制約は、２つの異なる座標フレーム間の距離を測定する。特に、２つの異なる座標フレームのうちの１つがレーザトラッカによって定義される場合、距離制約は、３Ｄ方向ベクトル及び２つの座標フレーム間の距離を使用して、レーザトラッカによって放出されるレーザビームの配向を測定する。

【0115】

組み合わせ制約は、複数の異なるタイプの制約を組み合わせるか又は集約する制約である。例えば、組み合わせ制約は、レーザトラッカに関する３つの特徴点制約の組み合わせであり得る。組み合わせ制約は、前述のように、最適化可能較正エンティティ、例えば、テーブルの完全３Ｄ姿勢を判定するために使用することができる。

【0116】

連鎖制約は、シーケンス内の異なる制約を使用して、各較正エンティティによって定義される複数の異なる座標フレームをリンクする制約である。すなわち、２つの座標フレームＡ及びＢをともに直接接続する制約を有する代わりに、連鎖制約は、座標フレームＡとＢとの間の異なる制約を使用して、２以上の座標フレームＣ及びＤを含み得る。例えば、相対姿勢制約を使用して２つの座標フレームＡ及びＢを制約する代わりに、システムは、最初に、相対姿勢制約を使用して座標フレームＡ及びＣを制約し、次いで、距離制約を使用して座標フレームＣ及びＤを制約し、最後に、特徴点制約を使用して座標フレームＤ及びＢを制約することができる。それを前提として、座標フレームＡとＢとの間のローカル誤差は、４つの座標フレーム、例えば、Ａ、Ｂ、Ｃ、及びＤを通して形式化することができる。

【0117】

図７は、図５の較正を最適化するプロセスに基づいて較正値を取得する例示的なプロセスのフロー図である。システム１００は、最初に、複数の異なる制約ペアの各々のタイプを判定することができる（７１０）。例えば、システム１００は、最適化可能な較正エンティティによってそれぞれ定義される２つの座標フレームのタイプ、及び２つの座標フレーム内で観測される較正エンティティの姿勢に基づいて、相対姿勢制約、特徴姿勢制約、又は特徴点制約である制約ペアのタイプを判定することができる。

【0118】

次いで、システム１００は、複数の制約ペアの各制約ペアのタイプに基づいてローカル誤差を取得することができる（７２０）。制約ペアが、ステップ７１０からの特徴姿勢制約又は特徴点制約として判定される場合、システムは、各々が最適化可能較正エンティティによって定義される２つの異なる座標フレーム内で観測される較正エンティティの姿勢間の差異を定量化することができる（７３０ａ）。制約ペアが、ステップ７１０からの相対姿勢制約として判定される場合、システムは、２つの最適化可能較正エンティティによって定義される２つの座標フレーム内で観測される２つの最適化可能較正エンティティ間の測定された相対姿勢と計算された相対姿勢との間の差異を定量化することができる（７３０ｂ）。一部の実装形態では、差は、先に説明したように、各制約タイプについて定義された残差であり得る。

【0119】

次いで、複数の制約ペアの各制約ペアの各ローカル誤差に基づいて、システム１００は、図５において先に説明したように、各ローカル誤差に基づいてグローバル誤差を取得することができる（７４０）。

【0120】

特に、各最適化可能な較正エンティティに対して、システム１００は、最適化可能な較正エンティティに関連付けられた各異なる制約ペアの全てのローカル誤差を比較し、少なくとも１つ以上のローカル誤差が他のものよりも実質的に大きいかどうかを判定し、少なくとも１つ以上のローカル誤差が他のものよりも実質的に大きいと判定することに応答して、グローバル誤差に対する少なくとも１つ以上のローカル誤差を考慮せず、かつ／又は較正プロセスにおける誤りを識別することができる。例えば、システムは、例えば、カメラＡの代わりにカメラＢを偶発的に使用して、カメラＡに対するロボットＲの姿勢を取得することによって、較正プロセスにおける１つ以上の系統誤差を検出することができる。

【0121】

最後に、システム１００は、図５で詳細に説明されるように、１つ以上のオプティマイザ１５０を使用して、グローバル誤差を最小化することに基づいて、複数の較正値を生成することができる（７５０）。一部の実装形態では、システム１００は、グローバル誤差を最小化するときに最適化プロセスが収束することができない場合、１つ以上の系統誤差を推論することができる。

【0122】

本明細書では、ロボットは、ベース位置と、１つ以上の移動可能なコンポーネントと、１つの座標系、例えば、デカルト座標又は関節角度における所望の位置、姿勢、又はその両方を、１つ以上の移動可能なコンポーネントを所望の位置又は姿勢に物理的に移動させるためのコマンドにマッピングするために使用され得る運動学的モデルと、を有する機械である。本明細書では、ツールは、ロボットの１つ以上の移動可能なコンポーネントの運動連鎖の一部であり、その端部に取り付けられたデバイスである。例示的なツールは、グリッパ、溶接デバイス、及び研磨デバイスを含む。

【0123】

本明細書で説明される主題及び機能的オペレーションの実施形態は、本明細書において開示された構造及びそれらの構造的均等物を含む、デジタル電子回路、有形に具現化されたコンピュータソフトウェア若しくはファームウェア、コンピュータハードウェア、又はそれらのうちの１つ以上の組み合わせにおいて、実装することができる。本明細書において説明される主題の実施形態は、１つ以上のコンピュータプログラム、例えば、データ処理装置による実行のために、又はデータ処理装置のオペレーションを制御するために有形の非一時的記憶媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実装され得る。コンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダム若しくはシリアルアクセスメモリデバイス、又はそれらのうちの１つ以上の組み合わせであり得る。代替的又は追加的に、プログラム命令は、データ処理装置による実行のための好適な受信機装置への送信のための情報を符号化するために生成される、人工的に生成された伝搬信号、例えば、機械生成された電気信号、光信号、又は電磁信号上で符号化され得る。

【0124】

「データ処理装置」という用語は、データ処理ハードウェアを指し、例として、プログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む、データを処理するためのあらゆる種類の装置、デバイス、及び機械を包含する。装置はまた、特殊目的ロジック回路、例えば、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、特定用途向け集積回路）であるか、又はそれを更に含むことができる。装置は、任意選択的に、ハードウェアに加えて、コンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらのうちの１つ以上の組み合わせを構成するコードを含むことができる。

【0125】

プログラム、ソフトウェア、ソフトウェアアプリケーション、アプリ、モジュール、ソフトウェアモジュール、スクリプト、又はコードとして称されるか又は説明され得る）コンピュータプログラムは、コンパイラ型言語若しくはインタープリタ型言語、又は宣言型言語若しくは手続き型言語を含む、任意の形態のプログラミング言語で書くことができ、スタンドアローンプログラムとして、又はモジュール、コンポーネント、サブルーチン、若しくはコンピューティング環境における使用に好適な他のユニットとして含む、任意の形態で展開することができる。プログラムは、ファイルシステム内のファイルに対応し得るが、対応する必要はない。プログラムは、他のプログラム又はデータを保持するファイルの一部分、例えば、マークアップ言語文書内、問題のプログラム専用の単一ファイル内、又は複数の協調ファイル、例えば、１つ以上のモジュール、サブプログラム、又はコードの一部分を記憶するファイル内に記憶された１つ以上のスクリプトにおいて記憶され得る。コンピュータプログラムは、１つのコンピュータ上で、又は１つのサイトに位置付けられるか、若しくは複数のサイトにわたって分散され、データ通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開され得る。

【0126】

１つ以上のコンピュータのシステムが特定のオペレーション又は動作を実施するように構成されるとは、システムが、オペレーション中にシステムにオペレーション又は動作を実施させる、ソフトウェア、ファームウェア、ハードウェア、又はそれらの組み合わせをインストールしていることを意味する。１つ以上のコンピュータプログラムが特定のオペレーション又は動作を実施するように構成されるとは、１つ以上のプログラムが、データ処理装置によって実行されたときに、装置にオペレーション又は動作を実施させる命令を含むことを意味する。

【0127】

本明細書で使用されるように、「エンジン」又は「ソフトウェアエンジン」は、入力とは異なる出力を提供する、ソフトウェア実装入力／出力システムを指す。エンジンは、ライブラリ、プラットフォーム、ソフトウェア開発キット（software development kit、「ＳＤＫ」）、又はオブジェクトなど、符号化された機能ブロックであり得る。各エンジンは、１つ以上のプロセッサ及びコンピュータ可読媒体を含む、任意の適切なタイプのコンピューティングデバイス、例えば、サーバ、モバイルフォン、タブレットコンピュータ、ノートブックコンピュータ、音楽プレーヤ、電子書籍リーダ、ラップトップ若しくはデスクトップコンピュータ、ＰＤＡ、スマートフォン、又は他の固定若しくはポータブルデバイス上に実装することができる。加えて、エンジンのうちの２つ以上は、同じコンピューティングデバイス上に、又は異なるコンピューティングデバイス上に実装され得る。

【0128】

本明細書で説明されるプロセス及びロジックフローは、入力データに対して動作し、出力を生成することによって機能を実施するために、１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルコンピュータによって実施され得る。プロセス及びロジックフローはまた、特殊目的ロジック回路、例えば、ＦＰＧＡ若しくはＡＳＩＣによって、又は特殊目的ロジック回路と１つ以上のプログラムされたコンピュータとの組み合わせによって実施され得る。

【0129】

コンピュータプログラムの実行に好適なコンピュータは、汎用、特殊目的マイクロプロセッサ若しくはその両方、又は任意の他の種類の中央処理装置に基づくことができる。概して、中央処理装置は、読み出し専用メモリ、又はランダムアクセスメモリ、又はその両方から命令及びデータを受信する。コンピュータの必須要素は、命令を実施するか又は実行するための中央処理装置、及び命令及びデータを記憶するための１つ以上のメモリデバイスである。中央処理装置及びメモリは、特殊目的ロジック回路によって補完され得るか、又は特殊目的ロジック回路に組み込まれ得る。概して、コンピュータはまた、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気ディスク、光磁気ディスク、又は光ディスクを含むか、又はそれらからデータを受信するか、それらにデータを転送するか、又はその両方を行うように動作可能に結合される。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。更に、コンピュータは、別のデバイス、例えば、ほんの数例を挙げると、モバイル電話、携帯情報端末（personal digital assistant、ＰＤＡ）、モバイルオーディオ若しくはビデオプレーヤ、ゲームコンソール、全地球測位システム（Global Positioning System、ＧＰＳ）受信機、又はポータブル記憶デバイス、例えば、ユニバーサルシリアルバス（universal serial bus、ＵＳＢ）フラッシュドライブに組み込まれ得る。

【0130】

コンピュータプログラム命令及びデータを記憶するのに好適なコンピュータ可読媒体は、例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス、例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスと、磁気ディスク、例えば、内蔵ハードディスク又はリムーバブルディスクと、光磁気ディスクと、ＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスクと、を含む、全ての形態の不揮発性メモリ、媒体、及びメモリデバイスを含む。

【0131】

ユーザとの相互作用を提供するために、本明細書において説明される主題の実施形態は、ディスプレイデバイス、例えば、ユーザに情報を表示するためのＣＲＴ（ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ、陰極線管）又はＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、液晶ディスプレイ）モニタと、キーボードと、ポインティングデバイス、例えば、マウス、トラックボール、又はユーザがコンピュータに入力を提供することができる存在感知ディスプレイ若しくは他の表面と、を有するコンピュータ上で実装され得る。他の種類のデバイスを、ユーザとの相互作用を提供するために同様に使用することができ、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックであり得、ユーザからの入力は、音響、音声、又は触覚入力を含む、任意の形態で受信され得る。加えて、コンピュータは、ユーザによって使用されるデバイスに文書を送信し、デバイスから文書を受信すること、例えば、ウェブブラウザから受信された要求に応答して、ユーザのデバイス上のウェブブラウザにウェブページを送信することによって、ユーザと相互作用することができる。また、コンピュータは、テキストメッセージ又は他の形式のメッセージをパーソナルデバイス、例えば、スマートフォンに送信し、メッセージングアプリケーションを実行し、返信としてユーザから応答メッセージを受信することによって、ユーザと相互作用することができる。

【0132】

本明細書において説明される主題の実施形態は、例えば、データサーバとしてのバックエンドコンポーネントを含む、又はミドルウェアコンポーネント、例えば、アプリケーションサーバを含む、又はフロントエンドコンポーネント、例えば、グラフィカルユーザインターフェース、ウェブブラウザ、若しくはユーザが本明細書において説明される主題の実装形態と相互作用することができるアプリを有するクライアントコンピュータを含む、又は１つ以上のかかるバックエンド、ミドルウェア、若しくはフロントエンドコンポーネントの任意の組み合わせを含む、コンピューティングシステムにおいて実装することができる。システムのコンポーネントは、デジタルデータ通信の任意の形態又は媒体、例えば、通信ネットワークによって相互接続することができる。通信ネットワークの実施例は、ローカルエリアネットワーク（local area network、ＬＡＮ）及びワイドエリアネットワーク（wide area network、ＷＡＮ）、例えば、インターネットを含む。

【0133】

コンピューティングシステムは、クライアント及びサーバを含むことができる。クライアント及びサーバは概して互いに離れており、典型的には通信ネットワークを介して対話する。クライアント及びサーバの関係は、それぞれのコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによって生じる。一部の実施形態では、サーバは、例えば、クライアントとして動作するデバイスと相互作用するユーザにデータを表示し、ユーザからユーザ入力を受信する目的で、データ、例えば、ＨＴＭＬページをユーザデバイスに送信する。ユーザデバイスにおいて生成されたデータ、例えば、ユーザ相互作用の結果は、デバイスからサーバにおいて受信され得る。

【0134】

上で説明された実施形態に加えて、以下の実施形態もまた革新的である。
実施形態１は、方法であって、
複数のセンサと複数のロボットとを含む複数の較正エンティティを備える環境の初期モデルを取得することであって、複数のセンサの各々が、環境内の１つ以上の較正エンティティによる移動を観測するように構成されている、取得することと、
環境内の複数のロボットによる移動を表す移動データを生成する較正プログラムを実行することと、
較正プログラムの実行中に複数のロボットによる移動後にセンサが較正エンティティの姿勢をどのように観測するかを表すセンサデータを生成することと、
センサデータから、複数の異なる制約ペアを生成することであって、複数の異なる制約ペアの各々が、異なる座標フレームにおいて観測される較正エンティティの姿勢間の関係を指定する、生成することと、
複数の較正値を生成するために、複数の異なる制約ペアに対して１つ以上の最適化プロセスを実施することと、
複数の較正値を使用して、環境の更新されたモデルを生成することと、を含む、方法である。
実施形態２は、複数の異なる制約ペアの各々が、較正エンティティによって各々定義される少なくとも２つの異なる座標フレームを含む、実施形態１の方法である。
実施形態３は、複数の異なる制約ペアの各制約ペアが、異なる座標フレームにおいて観測される少なくとも１つの較正エンティティを含む、実施形態１又は２の方法である。
実施形態４は、複数の異なる制約ペアが、第２の座標フレーム内で観測される第１の座標フレームの測定された相対姿勢と計算された相対姿勢との間の関係を定義する相対姿勢制約を含み、第１の座標フレームが、第１の較正エンティティによって定義され、第２の座標フレームが、第２の較正エンティティによって定義される、実施形態１～３のいずれか１つの方法である。
実施形態５は、第１の座標フレームの測定された相対姿勢及び計算された相対姿勢が、第２の座標フレームに対して観測可能な並進位置及び回転位置の両方を含む、実施形態４の方法である。
実施形態６は、複数の異なる制約ペアが、較正エンティティによって各々定義された２つの異なる座標フレーム内で観測された較正エンティティの特徴姿勢間の関係を定義する特徴姿勢制約を含む、実施形態１～５のいずれか１つの方法である。
実施形態７は、較正エンティティの特徴姿勢が、並進位置及び回転位置の両方を含む、実施形態６の方法である。
実施形態８は、複数の異なる制約ペアが、較正エンティティによって各々定義される２つの異なる座標フレーム内で観測された較正エンティティの点別姿勢間の関係を定義する特徴点制約を含む、実施形態１～７のいずれか１つの方法である。
実施形態９は、較正エンティティの点別姿勢が、並進位置を含む、実施形態８の方法である。
実施形態１０は、複数のセンサの各々が、カメラ又はレーザトラッカである、実施形態１～９のいずれか１つの方法である。
実施形態１１は、複数の較正エンティティの各々が、センサ、ロボット、及び物体であり得る、実施形態１～１０のいずれか１つの方法である。
実施形態１２は、物体が、マーカ又は点別特徴である、実施形態１１の方法である。
実施形態１３は、異なる座標フレームの各々が、基準座標フレームに対してセンサデータで表される姿勢を定義する、実施形態１～１２いずれか１つの方法である。
実施形態１４は、基準座標フレームが、ワークセルモデル内の所定の座標フレームを含む、実施形態１３の方法である。
実施形態１５は、複数の異なる制約ペアについて１つ以上の最適化プロセスを実施することが、複数の異なる制約ペアの各制約ペアについて、２つの異なる座標フレーム内で観測される較正エンティティの姿勢間のローカル誤差を定量化することを含む、実施形態１～１４のいずれか１つの方法である。
実施形態１６は、複数の異なる制約ペアについて１つ以上の最適化プロセスを実施することが、複数の異なる制約ペアの各制約ペアについて定量化されたローカル誤差に基づいてグローバル誤差を定量化することを更に含む、実施形態１５の方法である。
実施形態１７は、複数の異なる制約ペアについて１つ以上の最適化プロセスを実施することが、１つ以上のオプティマイザを用いてグローバル誤差を最小化することを更に含む、実施形態１６の方法である。
実施形態１８は、複数の異なる制約ペアの各々において観測された較正エンティティの姿勢間のローカル誤差を定量化することが、基準座標フレームに対する較正エンティティの姿勢間のローカル誤差を定量化することを含む、実施形態１５の方法である。
実施形態１９は、複数の異なる制約ペアについて１つ以上の最適化プロセスを実施することが、複数の異なる制約ペアの各制約ペアについて、第２の座標フレームにおいて観測された第１の座標フレームの測定された相対姿勢と計算された相対姿勢との間のローカル誤差を定量化することを含み、第１の座標フレームが、第１の較正エンティティによって定義され、第２の座標フレームが、第２の較正エンティティによって定義される、実施形態１～１８のいずれか１つの方法である。
実施形態２０は、環境の更新されたモデルを使用して第２の複数の異なる制約ペアを生成することと、
第２の複数の較正値を生成するために、第２の複数の異なる制約ペアについて１つ以上の最適化プロセスを実施することと、
第２の複数の較正値を使用して、環境の第２の更新されたモデルを生成することと、を更に含む、実施形態１～１９のいずれか１つの方法である。
実施形態２１は、１つ以上のコンピュータと、１つ以上のコンピュータによって実行されたときに、１つ以上のコンピュータに実施形態１～２０のいずれか１つの方法を実施させるように動作可能である命令を記憶する１つ以上の記憶デバイスとを備える、システムである。
実施形態２２は、コンピュータプログラムで符号化されたコンピュータ記憶媒体であり、プログラムは、データ処理装置によって実行されたときに、データ処理装置に実施形態１～２０のいずれか１つの方法を実施させるように動作可能な命令を含む。

【0135】

本明細書は、多くの特定の実装形態の詳細を含むが、これらは、任意の発明の範囲又は特許請求され得るものの範囲に対する限定として解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別個の実施形態の文脈において本明細書に説明されるある特定の特徴はまた、単一の実施形態において組み合わせて実装することもできる。逆に、単一の実施形態の文脈で説明されている種々の特徴は、複数の実施形態で別個に、又は任意の好適な部分的組み合わせで実装することもできる。更に、特徴は、ある特定の組み合わせで動作するものとして上で説明され、最初にそのように特許請求され得るが、特許請求される組み合わせからの１つ以上の特徴は、場合によって、組み合わせから削除することができ、特許請求される組み合わせは、部分的組み合わせ又は部分的組み合わせの変形形態を対象とすることができる。

【0136】

同様に、動作は特定の順序で図面に描写されているが、これは、所望の結果を達成するために、そのような動作が示された特定の順序で若しくは連続的な順序で実施されること、又は全ての例示された動作が実施されることを必要とすると理解されるべきではない。ある特定の状況では、マルチタスキング及び並列処理が有利であり得る。更に、上で説明された実施形態における種々のシステムモジュール及びコンポーネントの分離は、全ての実施形態においてかかる分離を必要とすると理解されるべきではなく、説明されたプログラムコンポーネント及びシステムは、概して、単一のソフトウェア製品にともに一体化され得るか、又は複数のソフトウェア製品にパッケージ化され得ることを理解されたい。

【0137】

主題の特定の実施形態が説明されてきた。他の実施形態は、以下の特許請求の範囲内である。例えば、特許請求の範囲内に記載された動作は、異なる順序で実施することができ、それでも所望の結果を達成することができる。一実施例として、添付の図面内に描写されたプロセスは、所望の結果を達成するために、示される特定の順序、又は連続的な順序を必ずしも必要としない。ある特定のいくつかの場合では、マルチタスキング及び並列処理が有利であり得る。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】