特表 2024-536925 カメラ較正のためのカメラモデルを生成する方法とシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-08

(54)【発明の名称】カメラ較正のためのカメラモデルを生成する方法とシステム

(51)【国際特許分類】

   G06T 7/80 20170101AFI20241001BHJP

   H04N 23/60 20230101ALI20241001BHJP

   G01C 3/00 20060101ALI20241001BHJP

【ＦＩ】

G06T7/80

H04N23/60 500

G01C3/00 120

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024537804

(86)(22)【出願日】2022-08-26

(85)【翻訳文提出日】2024-04-03

(86)【国際出願番号】 US2022041751

(87)【国際公開番号】W WO2023034150

(87)【国際公開日】2023-03-09

(31)【優先権主張番号】63/260,690

(32)【優先日】2021-08-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】524075124

【氏名又は名称】クオータス エンジニアリング インコーポレイテッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100195257

【弁理士】

【氏名又は名称】大渕 一志

(72)【発明者】

【氏名】メルローズ、 ジェシ

(72)【発明者】

【氏名】ピアソン、 マシュー

(72)【発明者】

【氏名】リス、 ジョーダン

(72)【発明者】

【氏名】ウェザリル、 ジュリア

(72)【発明者】

【氏名】ダン、 ブライアン

【テーマコード（参考）】

2F112

5C122

5L096

【Ｆターム（参考）】

2F112AC06

2F112BA01

2F112CA12

2F112FA03

2F112FA45

5C122DA03

5C122DA04

5C122DA27

5C122EA55

5C122FH03

5C122FH14

5C122GA01

5C122GD01

5C122HB01

5C122HB05

5L096AA06

5L096CA04

5L096DA02

5L096EA07

5L096FA67

5L096FA69

(57)【要約】

カメラモデルを生成する方法が与えられる。ロボットアセンブリが、一連のポーズを介してカメラアセンブリに対して較正アセンブリを動かすように使用される。較正アセンブリは、較正ターゲットとマーカーとを含む。カメラアセンブリは、マウントと、視野を有するカメラと、マーカーとを含む。所定の一連のポーズは一緒になって、較正ターゲットにカメラの視野を通過させる。カメラは、較正ターゲットのそれぞれの画像を生成するように使用される。マーカーの、空間におけるそれぞれの場所を決定するべく、トラッカーが使用される。較正ターゲットのマーカー及び特徴部の記憶された座標及び決定された場所を、三次元空間にマッピングする変換関数が生成される。変換関数は、カメラのパラメータのモデルを生成するように使用される。システムも与えられる。

【特許請求の範囲】

【請求項1】

カメラモデルを生成する方法であって、
（ａ）所定の一連のポーズを介してカメラアセンブリに対して較正アセンブリを動かすべく、又は前記較正アセンブリに対して前記カメラアセンブリを動かすべく、ロボットアセンブリを使用することであって、
前記較正アセンブリは、
較正ターゲットと、
前記較正ターゲットにそれぞれの位置において結合される第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーと
を含み、
前記カメラアセンブリは、
マウントと、
前記マウントにそれぞれの場所において結合されて視野（ＦＯＶ）を有するカメラと、
前記マウントにそれぞれの位置において結合される第１、第２、及び第３の較正アセンブリマーカーと
を含み、
前記所定の一連のポーズは一緒になって、前記較正ターゲットに前記カメラのＦＯＶの少なくとも一部分を通過させる、ロボットアセンブリを使用することと、
（ｂ）前記所定の一連のポーズの各ポーズにおいて、前記較正ターゲットの各画像を生成するべく、再び前記カメラを使用することと、
（ｃ）前記所定の一連のポーズの各ポーズにおいて、前記第１、第２、及び第３の較正アセンブリマーカーの、空間におけるそれぞれの場所と、前記第１、第２、及び第３のカメラアセンブリマーカーの、空間におけるそれぞれの場所とを決定するべく、トラッカーを使用することと、
（ｄ）それぞれの画像ごとに対し、（ｉ）前記第１、第２、及び第３の較正アセンブリマーカーの記憶された座標と、（ｉｉ）前記第１、第２、及び第３のカメラアセンブリマーカーの記憶された座標と、（ｉｉｉ）当該画像に対しての、前記第１、第２、及び第３の較正アセンブリマーカーの、空間における決定された場所と、（ｉｖ）当該画像に対しての、前記第１、第２、及び第３のカメラアセンブリマーカーの、空間における決定された場所と、（ｖ）それぞれの画像内の前記較正ターゲットの特徴部とを、三次元物体空間へとマッピングする変換関数を生成することと、
（ｅ）前記カメラの外部パラメータ及び内部パラメータのモデルを生成するべく、それぞれの画像に対して前記変換関数を使用することと
を含む、方法。

【請求項2】

前記較正アセンブリはさらに、前記較正ターゲットに結合される第４の較正アセンブリマーカーを含む、請求項１の方法。

【請求項3】

動作（ｃ）は、前記第１、第２、第３、及び第４の較正アセンブリマーカーの、空間におけるそれぞれの場所を決定するべく、前記所定の一連のポーズの各ポーズにおいて、トラッカーを使用することを含む、請求項２の方法。

【請求項4】

前記カメラアセンブリはさらに、前記マウントに結合される第４のカメラアセンブリマーカーを含む、請求項１から３のいずれか一項の方法。

【請求項5】

動作（ｃ）は、前記第１、第２、第３、及び第４のカメラアセンブリマーカーの、空間におけるそれぞれの場所を決定するべく、前記所定の一連のポーズの各ポーズにおいて、トラッカーを使用することを含む、請求項４の方法。

【請求項6】

前記較正アセンブリマーカーはそれぞれが、球状にマウントされた再帰反射器（ＳＭＲ）を含む、請求項１から５のいずれか一項の方法。

【請求項7】

前記カメラアセンブリマーカーはそれぞれが、球状にマウントされた再帰反射器（ＳＭＲ）を含む、請求項１から５のいずれか一項の方法。

【請求項8】

前記マウントはピンダイヤモンドピンマウントを含む、請求項１から７のいずれか一項の方法。

【請求項9】

前記トラッカーはレーザートラッカーを含む、請求項１から８のいずれか一項の方法。

【請求項10】

（ｆ）前記カメラマウントデータムフレームにおける前記第１、第２、及び第３のカメラアセンブリマーカーの座標を決定することをさらに含む、請求項１から９のいずれか一項の方法。

【請求項11】

前記動作（ｆ）は三次元測定機（ＣＭＭ）を使用して行われる、請求項１０の方法。

【請求項12】

前記較正ターゲットは直線チェッカーボードチャートを含む、請求項１から１１のいずれか一項の方法。

【請求項13】

前記較正ターゲットは自己識別バイナリコードを含む、請求項１から１２のいずれか一項の方法。

【請求項14】

前記自己識別バイナリコードはＣＡＬＴａｇ又はＡＲＴａｇを含む、請求項１３の方法。

【請求項15】

（ｇ）前記第１、第２、及び第３の較正アセンブリマーカーに対する前記較正ターゲットの特徴部の場所を決定することをさらに含む、請求項１から１４のいずれか一項の方法。

【請求項16】

動作（ｇ）は光学測定機（ＯＭＭ）を使用して行われる、請求項１５の方法。

【請求項17】

前記所定の一連のポーズが一緒になることにより、前記較正ターゲットがスーパーチャートを生成する、請求項１から１６のいずれか一項の方法。

【請求項18】

前記スーパーチャートは半球形状を含む、請求項１７の方法。

【請求項19】

前記スーパーチャートは複数の層を含む、請求項１７又は請求項１８の方法。

【請求項20】

（ｈ）それぞれの画像ごとに対し、動作（ｄ）の前に前記画像を処理することをさらに含む、請求項１から９のいずれか一項の方法。

【請求項21】

前記画像の処理は、物体検出、平滑化、エッジ強調、及びモルフォロジー演算の少なくとも一つを含む、請求項２０の方法。

【請求項22】

（ｉ）異なる所定の一連のポーズにより前記カメラの外部パラメータ及び内部パラメータの監査データセットを生成するべく、動作（ａ）から動作（ｄ）を繰り返すことをさらに含む、請求項１から２１のいずれか一項の方法。

【請求項23】

（ｊ）前記カメラモデルの画像空間誤差及び物体空間誤差を決定するべく、前記監査データセットからの前記第１、第２、及び第３の較正アセンブリマーカーの、空間における決定された場所と、前記監査データセットからの前記第１、第２、及び第３のカメラアセンブリマーカーの、空間における決定された場所と、前記カメラモデルとを使用することをさらに含む、請求項２２の方法。

【請求項24】

カメラモデルを生成するシステムであって、
（ａ）較正アセンブリであって、
較正ターゲットと、
前記較正ターゲットにそれぞれの位置において結合される第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーと
を含む、較正アセンブリと、
（ｂ）カメラアセンブリであって、
マウントと、
前記マウントにそれぞれの場所において結合されて視野（ＦＯＶ）を有するカメラと、
前記マウントにそれぞれの位置において結合される第１、第２、及び第３のカメラアセンブリマーカーと
を含む、カメラアセンブリと、
（ｃ）前記較正アセンブリ及び前記カメラアセンブリの少なくとも一方に結合されるロボットアセンブリと、
（ｄ）トラッカーと、
（ｅ）前記カメラ、前記ロボットアセンブリ、及び前記トラッカーに結合されるコンピュータシステムであって、少なくとも一つのプロセッサ及び少なくとも一つの不揮発性コンピュータ可読媒体を含むコンピュータシステムと
を含み、
前記少なくとも一つの不揮発性コンピュータ可読媒体は、前記第１、第２、及び第３の較正アセンブリマーカーの、互いに対する及び前記較正ターゲットに対する座標を記憶し、
前記少なくとも一つの不揮発性コンピュータ可読媒体は、前記第１、第２、及び第３のカメラアセンブリマーカーの、互いに対する及び前記カメラに対する座標を記憶し、
前記少なくとも一つの不揮発性コンピュータ可読媒体はさらに、前記プロセッサに、
一緒になって前記カメラのＦＯＶの少なくとも一部分を前記較正ターゲットに通過させる所定の一連のポーズを介して、前記カメラアセンブリに対して前記較正アセンブリを動かすように又は前記較正アセンブリに対して前記カメラアセンブリを動かすように、前記ロボットアセンブリに命令することと、
前記所定の一連のポーズの各ポーズにおいて前記較正ターゲットの各画像を生成するように前記カメラに命令することと、
前記所定の一連のポーズの各ポーズにおいて、前記第１、第２、及び第３の較正アセンブリマーカーの、空間におけるそれぞれの場所と、前記第１、第２、及び第３のカメラアセンブリマーカーの、空間におけるそれぞれの場所とを決定するように前記トラッカーに命令することと、
それぞれの画像ごとに対し、（ｉ）前記第１、第２、及び第３の較正アセンブリマーカーの記憶された座標と、（ｉｉ）前記第１、第２、及び第３のカメラアセンブリマーカーの記憶された座標と、（ｉｉｉ）当該画像に対しての、前記第１、第２、及び第３の較正アセンブリマーカーの、空間における決定された場所と、（ｉｖ）当該画像に対しての、前記第１、第２、及び第３のカメラアセンブリマーカーの、空間における決定された場所と、（ｖ）それぞれの画像内の前記較正ターゲットの特徴部とを、三次元物体空間へとマッピングする変換関数を生成することと、
前記カメラの外部パラメータ及び内部パラメータのモデルを生成するべく、それぞれの画像に対して前記変換関数を使用することと
を含む動作を行わせる、システム。

【請求項25】

前記較正アセンブリはさらに、前記較正ターゲットに結合される第４の較正アセンブリマーカーを含む、請求項２４のシステム。

【請求項26】

前記少なくとも一つの不揮発性コンピュータ可読媒体は、前記第１、第２、及び第３の較正アセンブリマーカーに対する前記第４の較正アセンブリマーカーの座標と、前記較正ターゲットに対する前記第４の較正アセンブリマーカーの座標とを記憶する、請求項２５のシステム。

【請求項27】

前記少なくとも一つの不揮発性コンピュータ可読媒体は、前記第４の較正アセンブリマーカーの座標を記憶し、
前記命令はさらに、
前記トラッカーに、前記所定の一連のポーズの各ポーズにおいて、前記第４の較正アセンブリマーカーの、空間におけるそれぞれの場所を決定するように命令することと、
それぞれの画像に対し、前記第４の較正アセンブリマーカーの記憶された座標を三次元物体空間にマッピングする変換関数を生成することと
を含む、請求項２５又は請求項２６のシステム。

【請求項28】

前記カメラアセンブリはさらに、前記マウントに結合される第４のカメラアセンブリマーカーを含む、請求項２４から２７のいずれか一項のシステム。

【請求項29】

前記少なくとも一つの不揮発性コンピュータ可読媒体は、
前記第１、第２、及び第３のカメラアセンブリマーカーに対する前記第４のカメラアセンブリマーカーの座標と、
前記カメラに対する前記第４のカメラアセンブリマーカーの座標と
を記憶する、請求項２８のシステム。

【請求項30】

前記少なくとも一つの不揮発性コンピュータ可読媒体は、前記第４のカメラアセンブリマーカーマーカーの座標を記憶し、
前記命令はさらに、
前記トラッカーに、前記所定の一連のポーズの各ポーズにおいて、前記第４のカメラアセンブリマーカーの、空間におけるそれぞれの場所を決定するように命令することと、
それぞれの画像ごとに対し、前記第４のカメラアセンブリマーカーの記憶された座標を三次元物体空間にマッピングする変換関数を生成することと、
それぞれの画像ごとに対し、前記第４のカメラアセンブリマーカーの決定された座標を三次元物体空間にマッピングする変換関数を生成することと
を含む、請求項２８又は請求項２９のシステム。

【請求項31】

前記較正アセンブリマーカーはそれぞれが、球状にマウントされた再帰反射器（ＳＭＲ）を含む、請求項２４から３０のいずれか一項のシステム。

【請求項32】

前記カメラアセンブリマーカーはそれぞれが、球状にマウントされた再帰反射器（ＳＭＲ）を含む、請求項２４から３１のいずれか一項のシステム。

【請求項33】

前記マウントはピンダイヤモンドピンマウントを含む、請求項２４から３２のいずれか一項のシステム。

【請求項34】

前記トラッカーはレーザートラッカーを含む、請求項２４から３３のいずれか一項のシステム。

【請求項35】

前記第１、第２、及び第３のカメラアセンブリマーカーの、互いに対する及び前記カメラに対する記憶された座標は、三次元測定機（ＣＭＭ）を使用して決定される、請求項２４から３４のいずれか一項のシステム。

【請求項36】

前記較正ターゲットは直線チェッカーボードチャートを含む、請求項２４から３５のいずれか一項のシステム。

【請求項37】

前記較正ターゲットは自己識別バイナリコードを含む、請求項２４から３６のいずれか一項のシステム。

【請求項38】

前記自己識別バイナリコードはＣＡＬＴａｇ又はＡＲＴａｇを含む、請求項３７のシステム。

【請求項39】

前記少なくとも一つの不揮発性コンピュータ可読媒体は、前記第１、第２、及び第３の較正アセンブリマーカーに対する前記較正ターゲットの特徴部の座標を記憶する、請求項２４から３８のいずれか一項のシステム。

【請求項40】

前記第１、第２、及び第３の較正アセンブリマーカーに対する前記較正ターゲットの記憶された座標は、光学測定機（ＯＭＭ）を使用して決定される、請求項３９のシステム。

【請求項41】

前記所定の一連のポーズが一緒になることにより、前記較正ターゲットがスーパーチャートを生成する、請求項２４から４０のいずれか一項のシステム。

【請求項42】

前記スーパーチャートは半球形状を含む、請求項４１のシステム。

【請求項43】

前記スーパーチャートは複数の層を含む、請求項４１又は請求項４２のシステム。

【請求項44】

前記命令はさらに、それぞれの画像ごとに対し、変換関数を生成する前に前記画像を処理することを含む、請求項２４から４３のいずれか一項のシステム。

【請求項45】

前記画像の処理は、物体検出、平滑化、エッジ強調、及びモルフォロジー演算の少なくとも一つを含む、請求項４４のシステム。

【請求項46】

前記命令はさらに、監査データセットを生成するべく異なる所定の一連のポーズにより、前記命令における動作を繰り返すことを含む、請求項２４から４５のいずれか一項のシステム。

【請求項47】

前記命令はさらに、前記カメラモデルの画像空間誤差及び物体空間誤差を決定するべく、前記監査データセットからの前記第１、第２、及び第３の較正アセンブリマーカーの、空間における決定された場所と、前記監査データセットからの前記第１、第２、及び第３のカメラアセンブリマーカーの、空間における決定された場所と、前記カメラモデルとを使用することをさらに含む、請求項４６のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、２０２１年８月２９日に出願された「カメラ較正」との名称の米国仮特許出願第６３／２６０，６９０号の利益を主張し、その内容全体が参照によりここに組み入れられる。

【0002】

本願は一般にカメラモデルに関し、詳しくはカメラモデルの生成に関する。

【背景技術】

【0003】

カメラモデルは、多くの産業で広く使用されている。例えば、ロボット工学及び自立走行車両において、視覚走行距離計測法、位置特定、マッピング、視覚サーボ（視覚ベースのロボット制御としても知られる）、及び物体認識を支援するべく、カメラモデルが使用され得る。産業オートメーションにおいては、欠陥同定及びサイズ測定を支援するべくカメラモデルが使用され得る。スマートフォン技術においては、パノラマ画像のステッチ、拡張現実、及び人相（顔）認識を支援するべくカメラモデルが使用され得る。光学においては、光計測学、衛星ポインティング安定化、及び画像歪み除去（例えば、画像に見られる歪みを反転させるとき）を支援するべく、カメラモデルが使用され得る。農業においては、農作物健康監視を支援するべくカメラモデルが使用され得る。防衛アプリケーションにおいては、遠隔測定、地形マッピング、及び監視を支援するべくカメラモデルが使用され得る。生物科学においては、顕微鏡較正及びサイズ測定を支援するべくカメラモデルが使用され得る。娯楽アプリケーションにおいては、仮想現実、写真撮影、及びモーションセンシングゲーム（例えばＸｂｏｘ（登録商標）Ｋｉｎｅｃｔ（登録商標））を支援するべくカメラモデルが使用され得る。研究アプリケーションにおいては、モーションすなわち動きからの構造決定、及び３Ｄ再構成を支援するべくカメラモデルが使用され得る。

【発明の概要】

【0004】

カメラモデルを生成する方法及びシステム、並びにカメラ較正のためのカメラモデルを生成するシステムがここに与えられる。

【0005】

ここでのいくつかの例が、カメラモデルを生成する方法を与える。方法は、所定の一連のポーズを介してカメラアセンブリに対して較正アセンブリを動かすべく、又は較正アセンブリに対してカメラアセンブリを動かすべく、ロボットアセンブリを使用することを含み得る。較正アセンブリは較正ターゲットを含み得る。較正アセンブリは、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーを含み得る。第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーは、それぞれの位置で較正ターゲットに結合され得る。カメラアセンブリはマウントを含み得る。カメラアセンブリは、それぞれの場所でマウントに結合されて視野（ＦＯＶ）を有するカメラを含み得る。カメラアセンブリは、それぞれの位置でマウントに結合された第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーを含み得る。所定の一連のポーズは一緒になって、較正ターゲットにカメラのＦＯＶの少なくとも一部分を通過させる。方法は、所定の一連のポーズの各ポーズにおいて、較正ターゲットのそれぞれの画像を生成するべくカメラを使用することを含み得る。方法は、所定の一連のポーズの各ポーズにおいて、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーの、空間におけるそれぞれの場所を決定するべくトラッカーを使用することを含み得る。

【0006】

方法は、所定の一連のポーズの各ポーズにおいて、第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーの、空間におけるそれぞれの場所を決定するべくトラッカーを使用することを含み得る。方法は、それぞれの画像ごとに対し、（ｉ）第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーの記憶された座標、（ｉｉ）第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーの記憶された座標、（ｉｉｉ）当該画像に対しての、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーの、空間における決定された場所、（ｉｖ）当該画像に対しての、第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーの、空間における決定された場所と、（ｖ）それぞれの画像内の較正ターゲットの特徴部とを、三次元物体空間へとマッピングする変換関数を生成することを含み得る。方法は、カメラの外部パラメータ及び内部パラメータのモデルを生成するべく、それぞれの画像に対して変換関数を使用することを含み得る。

【0007】

いくつかの例において、較正アセンブリはさらに、較正ターゲットに結合される第４較正アセンブリマーカーを含み得る。いくつかの例において、方法は、第１較正アセンブリマーカー、第２較正アセンブリマーカー、第３較正アセンブリマーカー、及び第４較正アセンブリマーカーの、空間におけるそれぞれの場所を決定するべく、所定の一連のポーズの各ポーズにおいて、トラッカーを使用することを含み得る。

【0008】

いくつかの例において、カメラアセンブリはさらに、マウントに結合される第４カメラアセンブリマーカーを含み得る。いくつかの例において、方法は、所定の一連のポーズの各ポーズにおいて、第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、第３カメラアセンブリマーカー、及び第４カメラアセンブリマーカーの、空間におけるそれぞれの場所を決定するべくトラッカーを使用することを含み得る。

【0009】

いくつかの例において、これらの較正アセンブリマーカーはそれぞれが、球状にマウントされる再帰反射器（ＳＭＲ）を含み得る。

【0010】

いくつかの例において、これらのカメラアセンブリマーカーはそれぞれが、球状にマウントされる再帰反射器（ＳＭＲ）を含み得る。

【0011】

いくつかの例において、マウントは、ピンダイヤモンドピンマウントを含み得る。

【0012】

いくつかの例において、トラッカーは、レーザートラッカーを含み得る。

【0013】

いくつかの例において、方法はさらに、カメラマウントデータムフレームにおける第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーの座標を決定することを含み得る。

【0014】

いくつかの例において、カメラマウントデータムフレームにおける第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーの座標を決定することは、三次元測定機（ｃｏｏｒｄｉｎａｔｅ ｍｅａｓｕｒｉｎｇ ｍａｃｈｉｎｅ（ＣＭＭ））を使用して行われ得る。

【0015】

いくつかの例において、較正ターゲットは、直線チェッカーボードチャートを含み得る。

【0016】

いくつかの例において、較正ターゲットは、自己識別バイナリコードを含み得る。いくつかの例において、自己識別バイナリコードはＣＡＬＴａｇ又はＡＲＴａｇを含み得る。

【0017】

いくつかの例において、方法はさらに、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーに対する較正ターゲットの特徴部の場所を決定することを含み得る。いくつかの例において、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーに対する較正ターゲットの特徴部の場所の決定は、光学測定機（ｏｐｔｉｃａｌ ｍｅａｓｕｒｉｎｇ ｍａｃｈｉｎｅ（ＯＭＭ））を使用して行われ得る。

【0018】

いくつかの例において、所定の一連のポーズが一緒になることにより、較正ターゲットがスーパーチャートを生成し得る。いくつかの例において、スーパーチャートは、半球形状を含み得る。いくつかの例において、スーパーチャートは、複数の層を含み得る。

【0019】

いくつかの例において、方法はさらに、それぞれの画像ごとに対して画像を処理した後、それぞれの画像ごとに対し、（ｉ）第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーの記憶された座標と、（ｉｉ）第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーの記憶された座標と、（ｉｉｉ）当該画像に対しての、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーの、空間における決定された場所と、（ｉｖ）当該画像に対しての、第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーの、空間における決定された場所と、（ｖ）それぞれの画像内の較正ターゲットの特徴部とを三次元物体空間へとマッピングする変換関数を生成することを含み得る。いくつかの例において、画像の処理は、物体検出、平滑化、エッジ強調、及びモルフォロジー演算のうちの少なくとも一つを含み得る。

【0020】

いくつかの例において、方法はさらに、所定の一連のポーズを介してカメラアセンブリに対して較正アセンブリを動かすべく、又は較正アセンブリに対してカメラアセンブリを動かすべく、再びロボットアセンブリを使用することと、所定の一連のポーズの各ポーズにおいて、較正ターゲットの各画像を生成するべく、再びカメラを使用することと、所定の一連のポーズの各ポーズにおいて、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーの、空間におけるそれぞれの場所と、第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーの、空間におけるそれぞれの場所とを決定するべく、再びトラッカーを使用することと、それぞれの画像ごとに対し、（ｉ）第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーの記憶された座標と、（ｉｉ）第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーの記憶された座標と、（ｉｉｉ）当該画像に対しての、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーの、空間における決定された場所と、（ｉｖ）当該画像に対しての、第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーの、空間における決定された場所と、（ｖ）それぞれの画像内の較正ターゲットの特徴部とを、三次元物体空間へとマッピングする変換関数を生成することと、異なる所定の一連のポーズにより、カメラの外部パラメータ及び内部パラメータの監査データセットを生成することとを含み得る。いくつかの例において、方法はさらに、カメラモデルの画像空間誤差及び物体空間誤差を決定するべく、監査データセットからの第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーの、空間における決定された場所と、監査データセットからの第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーの、空間における決定された場所と、カメラモデルとを使用することを含み得る。

【0021】

ここでのいくつかの例は、カメラモデルを生成するシステムを与える。システムは、較正アセンブリを含み得る。較正アセンブリは較正ターゲットを含み得る。較正アセンブリは、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーを含み得る。第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーは、それぞれの位置で較正ターゲットに結合され得る。システムはカメラアセンブリを含み得る。カメラアセンブリはマウントを含み得る。カメラアセンブリはカメラを含み得る。カメラは、それぞれの場所でマウントに結合されて視野（ＦＯＶ）を有し得る。システムは、第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーを含み得る。第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーは、それぞれの位置においてマウントに結合され得る。システムはロボットアセンブリを含み得る。ロボットアセンブリは、較正アセンブリ及びカメラアセンブリの少なくとも一方に結合され得る。システムはトラッカーを含み得る。システムはコンピュータシステムを含み得る。コンピュータシステムは、カメラ、ロボットアセンブリ、及びトラッカーに結合され得る。コンピュータシステムは、少なくとも一つのプロセッサ、及び少なくとも一つの不揮発性コンピュータ可読媒体を含み得る。少なくとも一つの不揮発性コンピュータ可読媒体は、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーの、互いに対する及び較正ターゲットに対する座標を記憶し得る。少なくとも一つの不揮発性コンピュータ可読媒体は、第１カメラアセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーの、互いに対する及びカメラに対する座標を記憶し得る。少なくとも一つの不揮発性コンピュータ可読媒体はさらに、プロセッサに動作を行わせる命令を記憶し得る。

【0022】

動作は、一緒になってカメラのＦＯＶの少なくとも一部分を較正ターゲットに通過させる所定の一連のポーズを介して、カメラアセンブリに対して較正アセンブリを動かすように又は較正アセンブリに対してカメラアセンブリを動かすように、ロボットアセンブリに命令することと、所定の一連のポーズの各ポーズにおいて較正ターゲットの各画像を生成するようにカメラに命令することと、所定の一連のポーズの各ポーズにおいて、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーの、空間におけるそれぞれの場所と、第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーの、空間におけるそれぞれの場所とを決定するようにトラッカーに命令することと、それぞれの画像ごとに対し、（ｉ）第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーの記憶された座標と、（ｉｉ）第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーの記憶された座標と、（ｉｉｉ）当該画像に対しての、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーの、空間における決定された場所と、（ｉｖ）当該画像に対しての、第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーの、空間における決定された場所と、（ｖ）それぞれの画像内の較正ターゲットの特徴部とを、三次元物体空間へとマッピングする変換関数を生成することと、カメラの外部パラメータ及び内部パラメータのモデルを生成するべく、それぞれの画像に対して変換関数を使用することとを含み得る。

【0023】

いくつかの例において、較正アセンブリはさらに、較正ターゲットに結合される第４較正アセンブリマーカーを含み得る。いくつかの例において、少なくとも一つの不揮発性コンピュータ可読媒体は、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーに対する第４較正アセンブリマーカーの座標と、較正ターゲットに対する第４較正アセンブリマーカーの座標とを記憶し得る。いくつかの例において、少なくとも一つの不揮発性コンピュータ可読媒体は、第４較正アセンブリマーカーの座標を記憶し得る。いくつかの例において、命令はさらに、所定の一連のポーズの各ポーズにおいて、第４較正アセンブリマーカーの、空間におけるそれぞれの場所を決定するようにトラッカーに命令することと、それぞれの画像ごとに対し、第４較正アセンブリマーカーの記憶された座標を三次元物体空間にマッピングする変換関数を生成することとを含み得る。

【0024】

いくつかの例において、カメラアセンブリはさらに、マウントに結合される第４カメラアセンブリマーカーを含み得る。いくつかの例において、少なくとも一つの不揮発性コンピュータ可読媒体は、第１カメラアセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーに対する第４較正アセンブリマーカーの座標と、カメラに対する第４較正アセンブリマーカーの座標とを記憶し得る。いくつかの例において、少なくとも一つの不揮発性コンピュータ可読媒体は、第４カメラアセンブリマーカーの座標を記憶し得る。いくつかの例において、命令はさらに、所定の一連のポーズの各ポーズにおいて、第４カメラアセンブリマーカーの、空間におけるそれぞれの場所を決定するようにトラッカーに命令することと、それぞれの画像ごとに対し、第４カメラアセンブリマーカーの記憶された座標を三次元物体空間にマッピングする変換関数を生成することと、それぞれの画像ごとに対し、第４カメラアセンブリマーカーの決定された座標を三次元物体空間にマッピングする変換関数を生成することとを含み得る。

【0025】

いくつかの例において、これらの較正アセンブリマーカーはそれぞれが、球状にマウントされる再帰反射器（ＳＭＲ）を含み得る。

【0026】

いくつかの例において、これらのカメラアセンブリマーカーはそれぞれが、球状にマウントされる再帰反射器（ＳＭＲ）を含み得る。

【0027】

いくつかの例において、マウントは、ピンダイヤモンドピンマウントを含み得る。

【0028】

いくつかの例において、トラッカーは、レーザートラッカーを含み得る。

【0029】

いくつかの例において、第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーの、互いに対する及びカメラに対する記憶された座標は、三次元測定機（ＣＭＭ）を使用して決定され得る。

【0030】

いくつかの例において、較正ターゲットは、直線チェッカーボードチャートを含み得る。

【0031】

いくつかの例において、較正ターゲットは、自己識別バイナリコードを含み得る。いくつかの例において、自己識別バイナリコードはＣＡＬＴａｇ又はＡＲＴａｇを含み得る。

【0032】

いくつかの例において、少なくとも一つの不揮発性コンピュータ可読媒体は、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーに対する較正ターゲットの特徴部の座標を記憶し得る。いくつかの例において、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーに対する較正ターゲットの記憶された座標は、光学測定機（ＯＭＭ）を使用して決定され得る。

【0033】

いくつかの例において、所定の一連のポーズが一緒になることにより、較正ターゲットがスーパーチャートを生成し得る。いくつかの例において、スーパーチャートは、半球形状を含み得る。いくつかの例において、スーパーチャートは、複数の層を含み得る。

【0034】

いくつかの例において、命令はさらに、それぞれの画像ごとに対し、変換関数を生成する前に画像を処理することを含み得る。いくつかの例において、画像の処理は、物体検出、平滑化、エッジ強調、及びモルフォロジー演算のうちの少なくとも一つを含み得る。

【0035】

いくつかの例において、命令はさらに、監査データセットを生成するべく異なる所定の一連のポーズにより、命令における動作を繰り返すことを含み得る。いくつかの例において、命令はさらに、カメラモデルの画像空間誤差及び物体空間誤差を決定するべく、監査データセットからの第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーの、空間における決定された場所と、監査データセットからの第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーの、空間における決定された場所と、カメラモデルとを使用することを含み得る。

【0036】

ここに記載される開示の各側面の任意のそれぞれの特徴／例は、任意の適切な組み合わせで一緒に実装することができ、これらの側面の任意の一以上からの任意の特徴／例は、ここに記載される利益を達成するために、任意の適切な組み合わせでここに記載される他の側面の特徴のいずれかと一緒に実装され得ることを理解すべきである。

【図面の簡単な説明】

【0037】

【図1】カメラモデルについて考慮するべき３つの主要エリアを示す。図１は、出典がＳａｍｖｒａｍ Ｓａｈｕ，３Ｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｏｆ ＵＡＶｓ ｕｓｉｎｇ Ｓｔｅｒｅｏ－ｖｉｓｉｏｎ（Ｍａｙ ２０１９）（ＢＴｅｃｈ ｔｈｅｓｉｓ，Ｉｎｄｉａｎ Ｓｐａｃｅ Ｒｓｒｃｈ）であり、その内容はすべて参照によりここに組み入れられる。

【図2】カメラの例示の単純なピンホールモデルを示す。図２は、出典がＢｈａｒａｔｈ Ｈａｒｉｈａｒａｎ，Ｇｅｏｍｅｔｒｙ ｏｆ Ｉｍａｇｅ Ｆｏｒｍａｔｉｏｎ（Ｃｏｒｎｅｌｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｍａｒ．２５，２０２０）であり、その内容はすべて参照によりここに組み入れられる。

【図3】３つの一般的なカメラ歪みを示す。図３は、出典がＩｇｏｒ Ｋｏｚｌｏｖ，Ａｎａｌｙｓｉｓ ｏｆ Ｕｎｃｅｒｔａｉｎｔｙ ｉｎ Ｕｎｄｅｒｗａｔｅｒ Ｍｕｌｔｉｖｉｅｗ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ （Ｓｅｐｔ．２０１８）（Ｍ．Ｓ．ｔｈｅｓｉｓ，Ｕｎｉｖ．Ｎ．Ｈ．）、及びＪ．Ｖ．Ｓｈａｒｐ ａｎｄ Ｈ．Ｈ．Ｈａｙｅｓ， Ｅｆｆｅｃｔｓ ｏｎ Ｍａｐ Ｐｒｏｄｕｃｔｉｏｎ ｏｆ Ｄｉｓｔｏｒｔｉｏｎｓ ｉｎ Ｐｈｏｔｏｇｒａｍｍｅｔｒｉｃ Ｓｙｓｔｅｍｓ，１５ Ｐｈｏｔｏｇｒａｍｍｅｔｒｉｃ Ｅｎｇｉｎｅｅｒｉｎｇ １５９（１９４９）であり、その内容はすべて参照によりここに組み入れられる。

【図4】カメラの外部パラメータを示す。図４は、出典がＢｅｎｊａｍｉｎ Ｐｉｃｈｌｅｒ，ＨＤＲ Ｌｉｇｈｔ Ｆｉｅｌｄ（Ｓｅｐｔ．１０，２０１２）（Ｂ．Ｓ．ｔｈｅｓｉｓ，Ｊｏｈａｎｎｅｓ Ｋｅｐｌｅｒ Ｕｎｉｖ．Ｌｉｎｚ）であり、その内容はすべて参照によりここに組み入れられる。

【図5】画像処理のためのワークフローの一例を示す。図５は、出典がｏｐｅｎｃｖ－ｃａｍｅｒａ ０．１１．０，Ｐｙｔｈｏｎ Ｐａｃｋａｇｅ Ｉｎｄｅｘ，（ｌａｓｔ ｖｉｓｉｔｅｄ Ａｕｇ．１１，２０２２）であり、その内容はすべて参照によりここに組み入れられる。

【図6】カメラモデルを生成するシステムの一例を示す。

【図7】カメラモデルを生成する他のシステムの一例を示す。

【図8】カメラの一例を示す。

【図9A-9B】図９Ａは、カメラアセンブリの一例を示す。図９Ｂは、三次元測定機（ＣＭＭ）上の例示のカメラアセンブリの写真を示す。

【図10】直線チェックボードチャートを含む例示の較正ターゲットを示す。

【図11A-11B】図１１Ａは、光学測定機（ＯＭＭ）上の例示の較正アセンブリの写真を示す。図１１Ｂは、自己識別バイナリコードを含む例示の較正ターゲットを示す。

【図12】ここに記載されるシステムによりカメラモデルを生成する例示の方法のフローチャートを示す。

【図13】ここに記載されるシステムによりカメラモデルを生成する例示の方法のフローチャートを示す。

【図14】例示の半球状スーパーチャートを示す。

【図15A-15B】図１５Ａは、例示の３層半球状スーパーチャートを示す。図１５Ｂは、２Ｄ画像空間に投影された図１５Ａの例示の３層半球状スーパーチャートを示す。

【図16A-16B】図１６Ａは、他の例示の多層半球状スーパーチャートを示す。図１６Ｂは、２Ｄ画像空間に投影された図１６Ａの例示の多層半球状スーパーチャートを示す。

【図17】カメラモデルを生成する例示のシステムの写真を示す。

【図18】第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーの、空間における決定される場所、及び第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーの、空間における決定される場所がどのようにしてトラッカーによって決定され得るのかの一例を示す。

【図19】カメラモデルパラメータを生成する例示の方法のフローチャートを示す。

【図20】カメラモデルパラメータを生成する他の例示の方法のフローチャートを示す。

【図21】自己識別バイナリコードがどのようにして検出され得るのかの一例を示す。

【図22A-22B】図２２Ａは、較正ターゲット特徴部を識別する例示の方法のフローチャートを示す。図２２Ｂは、識別される特徴部を備える例示の較正ターゲットを示す。

【図23】カメラの例示の単純なピンホールモデルを示す。

【図24A-24B】図２４Ａは、例示のカメラモデルの画像空間投影誤差を示す。図２４Ｂは、図２４Ａと同じ例示のカメラモデルの物体空間再投影誤差を示す。

【図25】監査データセットを生成する例示の方法のフローチャートを示す。

【図26】監査モデルを使用して物体空間誤差及び画像空間誤差を決定する例示の方法のフローチャートを示す。

【図27A-27B】図２７Ａは、監査モデルを使用することによって決定される例示のカメラモデルの物体空間再投影誤差を示す。図２７Ｂは、図２７Ａと同じ監査モデルを使用することによって決定される図２７Ａと同じ例示のカメラモデルの画像空間再投影誤差を示す。

【0038】

ここに記載される開示の各側面の任意のそれぞれの特徴／例は、任意の適切な組み合わせで一緒に実装することができ、これらの側面の任意の一以上からの任意の特徴／例は、ここに記載される利益を達成するために、任意の適切な組み合わせでここに記載される他の側面の特徴のいずれかと一緒に実装され得ることを理解すべきである。

【発明を実施するための形態】

【0039】

カメラモデルを生成する方法及びシステム、並びにカメラ較正のためのカメラモデルを生成するシステムがここに与えられる。

【0040】

任意の適切な組み合わせで記載及び請求され得る主題はハードウェア（システム）を含み、これは、較正されたトラッカーターゲット（カメラアセンブリ）を備えるカメラマウントと、較正されたトラッカーターゲット（較正アセンブリ）がマウントされるテストチャート（較正ターゲット）と、トラッカーと、テストチャート（較正ターゲット）に対してカメラを動かす装置（ロボットアセンブリ）と、画像と位置データとを記憶して相関させる装置（コンピュータシステム）と、画像処理及びモデルパラメータ計算を行う装置（コンピュータシステム）とを含む。

【0041】

任意の適切な組み合わせで記載及び請求され得る主題はまた、方法も含む。これは、所望のカメラ特徴付けに基づいて動きを計画することと、計画において各位置に対し、（ｉ）トラッカーを使用してカメラとテストチャート（較正ターゲット）とを整列させることと、（ｉｉ）カメラ位置及びテストチャート（較正ターゲット）位置を記録することと、（ｉｉｉ）カメラ画像を撮像することと、画像及び位置座標を処理することであって、（ｉ）画像における特徴部を検出することと、（ｉｉ）特徴部を３Ｄ位置座標とペアリングすることと、（ｉｉｉ）カメラモデル較正ロジックを適用することと、（ｉｖ）カメラモデルパラメータを出力することとを含むこととを含む。

【0042】

任意の適切な組み合わせで記載及び請求され得る主題のいくつかのバリエーションが、例えば正方形対三角形設定のような様々なトラッカー番号及び設定を使用する変形例と、トラッカーがレーザートラッカー及びその代替でもある変形例と、トラッカーターゲット（マーカー）が球状にマウントされる反射器（ｓｐｈｅｒｉｃａｌｌｙ ｍｏｕｎｔｅｄ ｒｅｔｒｏ－ｒｅｆｌｅｃｔｏｒ（ＳＭＲ））及びその代替でもある変形例と、三次元測定機（ｃｏｏｒｄｉｎａｔｅ ｍｅａｓｕｒｉｎｇ ｍａｃｈｉｎｅ（ＣＭＭ））を使用してカメラトラッカーターゲット（カメラアセンブリ）の登録を行う変形例と、光学測定機（ｏｐｔｉｃａｌ ｍｅａｓｕｒｉｎｇ ｍａｃｈｉｎｅ（ＯＭＭ））を使用してテストチャート・トラッカーターゲット（較正アセンブリ）の登録を行う変形例と、特徴部検出の前に画像フィルタリングを行う変形例と、テストチャート（較正ターゲット）にＣＡＬＴａｇを含む変形例と、非線形最適化を含む変形例と、監査データセットを使用する変形例とを含む。

【0043】

ここに与えられるように、カメラモデルは、カメラシステムの複雑な幾何学的特性及び光学的特性を単純化して、既知のパラメータの比較的小さなセットを備える数学的モデルにしたものである。良好なモデルは、カメラからの２Ｄ情報を使用して３Ｄワールドに関する情報を取得するという、コンピュータビジョンの基本的な問題に対処するのに役立ち得る。

【0044】

図１は、カメラモデルについて考慮するべき３つの主要エリアを示す。カメラモデルについて考慮するべき３つの主要エリア、すなわち、内部パラメータ１０２、歪み１０４、及び外部パラメータ１０６、が存在する。内部パラメータ１０２は、カメラの焦点距離及び主点を含む。歪み１０４は、簡単なピンホールカメラからの逸脱であり、対称放射状歪み、非対称放射状歪み、及び接線歪みを含む。外部パラメータ１０６は、何らかの外部参照座標系に対するカメラの位置を表す３Ｄ回転行列及び位置ベクトルの要素を含む。

【0045】

内部パラメータ

【0046】

図２は、カメラの例示の単純なピンホールモデルを示す。カメラの簡単なピンホールモデルにおいて、物体空間２１０における三次元物体が、二次元画像空間２２０上にマッピングされてセンサ２２２によりキャプチャされる。入来光線２１２が、ｒ＝ｆ×ｔａｎθに従って物体上の点２１６からセンサ２２２に到着する。ここで、ｒは、センサ面２２２上の（障壁面のピンホールアパチャの真向いにある）主点２２４からの距離であり、焦点距離ｆ２２６は、センサ２２２から障壁面２１４までの距離である。角度θは、アパチャ２１６において障壁面２１４に直交する方向から測定される。焦点距離２２６及び主点２２４が、カメラの内部パラメータとして知られている。

【0047】

歪み

【0048】

カメラの歪みを特徴付けることによって、そのカメラが、この簡単なピンホールカメラからどのように逸脱しているかを理解することができる。図３は、３つの一般的なカメラ歪みを示す。３つの一般的な歪みとは、対称放射状歪み３０２、非対称放射状歪み３０４、及び接線歪み３０６である。放射状歪みは、カメラの主点から放射方向に沿って像点を歪める。対称放射状歪み３０２が、画像全体に対して対称的にこれを行う一方、非対称放射状歪み３０４は、主点まわりの極角によって変化し得る。接線歪み３０６は、カメラの主点から放射状歪みに垂直な方向に像点を歪める。

【0049】

外部パラメータ

【0050】

何らかの基準座標系に対するカメラの位置は典型的に、３Ｄ回転行列及び位置ベクトルとして又は変換行列として表される。これらの行列の要素が、外部パラメータとして知られている。

【0051】

図４は、カメラの外部パラメータを示す。外部パラメータ４０２は、いくつかの場合において、グローバル座標系において撮像されたターゲットに関する空間情報を抽出するために使用又は要求される。これは、有用であり、いくつかの場合において特に重要となる。例えば、複数のカメラが一緒に使用される場合、又は撮像カメラが融合センサデータ出力のために他のセンサ（例えば、慣性測定ユニット（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ（ＩＭＵ））センサ、光検出及び測距（ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ（ＬＩＤＡＲ））センサ等）と組み合わされて使用される場合である。外部カメラ較正の追跡可能性は、較正を行うことの困難な側面の一つである。

【0052】

カメラ較正

【0053】

図５は、画像処理のためのワークフローの一例を示す。典型的な従前に知られているカメラ較正において、パラメータは反復プロセス５００で識別される。ひとたび較正データ画像が既知画像５０２からキャプチャされると、画像はＯｐｅｎＣＶ（Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒｙ）５０４、オープンソースコンピュータビジョン及び機械学習ライブラリのようなオープンソースツールを使用して処理される。得られた再投影画像が、オリジナルの既知画像５０６と比較される。誤差がしきい値を上回る場合、誤差が許容可能となるまで異なるモデルによってプロセスが繰り返される５０８。

【0054】

フレキシブルカメラ較正ステーション設計

【0055】

業界で従前から知られているカメラ較正技法は典型的に、特定のセットのカメラパラメータ（物体距離、視野等）に対しては良好に機能するが、同じ較正治具における広範囲のカメラパラメータに対応するのに苦労している。この相対的に低い性能には、相対的に不正確な外部パラメータの決定、全視野にわたる相対的に貧弱な歪みモデル精度、大きな物理的チャートに対する潜在的な要件等を含む多くの理由が存在する。

【0056】

本発明者によって認識されるように、フレキシブルカメラ較正ステーションを使用して、これら及び他の較正性能の問題を克服することができる。図６は、カメラモデルを生成するシステムの一例を示す。図６に示すシステム６００は、較正アセンブリ６１０、カメラアセンブリ６２０、ロボットアセンブリ６３０、トラッカー６４０、及びコンピュータシステム６５０を含み得る。較正アセンブリ６１０は、較正ターゲット６１２と、それぞれの位置で較正ターゲット６１２に結合される任意の適切な数の較正アセンブリマーカー、例えば、第１較正アセンブリマーカー６１４ａ、第２較正アセンブリマーカー６１４ｂ、及び第３較正アセンブリマーカー６１４ｃ、とを含み得る。カメラアセンブリ６２０は、マウント６２２と、カメラ６２４と、それぞれの位置でマウント６２２に結合される任意の適切な数のカメラアセンブリマーカー、例えば、第１カメラアセンブリマーカー６２６ａ、第２カメラアセンブリマーカー６２６ｂ、及び第３カメラアセンブリマーカー６２６ｃ、とを含み得る。カメラ６２４は視野（ＦＯＶ）を有し得る。ロボットアセンブリ６３０は、破線で示すように、較正アセンブリ６１０及びカメラアセンブリ６２０の少なくとも一方に結合されてよい。

【0057】

コンピュータシステム６５０は、プロセッサ６５２及び少なくとも一つの不揮発性コンピュータ可読媒体６５４を含み得る。コンピュータシステム６５０は、ロボットアセンブリ６３０、カメラ６２４、及びトラッカー６４０に結合されてよい。少なくとも一つの不揮発性コンピュータ可読媒体６５４は、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカー６１４の、互いに対する及び較正ターゲット６１２に対する座標を記憶し得る。少なくとも一つの不揮発性コンピュータ可読媒体６５４は、第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカー６２６の、互いに対する及びカメラ６２４に対する座標を記憶し得る。少なくとも一つの不揮発性コンピュータ可読媒体６５４は、プロセッサ６５２に動作を行わせる命令を記憶し得る。動作は、一緒になってカメラ６２４の視野の少なくとも一部分を較正ターゲット６１２に通過させる所定の一連のポーズを介して、カメラアセンブリ６２０に対して較正アセンブリ６１０を動かすように又は較正アセンブリ６１０に対してカメラアセンブリ６２０を動かすように、ロボットアセンブリ６３０に命令することを含み得る。動作は、所定の一連のポーズの各ポーズにおいて較正ターゲット６１２の各画像を生成するようにカメラ６２４に命令することを含み得る。動作は、所定の一連のポーズの各ポーズにおいて、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカー６１４の、空間におけるそれぞれの場所と、第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカー６２６の、空間におけるそれぞれの場所とを決定するようにトラッカー６４０に命令することを含み得る。動作は、それぞれの画像ごとに対し、（ｉ）第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカー６１４の記憶された座標と、（ｉｉ）第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカー６２６の記憶された座標と、（ｉｉｉ）当該画像に対しての、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカー６１４の、空間における決定された場所と、（ｉｖ）当該画像に対しての、第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカー６２６の、空間における決定された場所と、（ｖ）それぞれの画像内の較正ターゲット６１２の特徴部とを、三次元物体空間へとマッピングする変換関数を生成することを含み得る。動作は、カメラ６２４の外部パラメータ及び内部パラメータのモデルを生成するべく、それぞれの画像に対して変換関数を使用することを含み得る。

【0058】

図７は、カメラモデルを生成する他のシステムの一例を示す。フレキシブルカメラ較正ステーション（カメラモデルを生成するシステム）７００の一例が図に示される。これは、較正アセンブリマーカー（例えば、強固に取り付けられた球状マウント再帰反射器（ｓｐｈｅｒｉｃａｌｌｙ ｍｏｕｎｔｅｄ ｒｅｔｒｏｒｅｆｌｅｃｔｏｒ（ＳＭＲ）））７０４を備えるテストチャート（較正ターゲット）７０２を含み、このテストチャート７０２は、カメラアセンブリマーカー（例えばＳＭＲ）７１０を備えるマウント（例えばインタフェイスブラケット）７０８にも取り付けられる被試験カメラ７０６によって観察される。テストチャート（較正ターゲット）７０２は、固定されてよく、可動プラットフォームにマウントされてもよい。被試験カメラは、ロボットアセンブリ（例えば関節ロボットアーム）７１２にマウントされる。この被試験カメラアセンブリ（カメラアセンブリ）７１４は、便宜上、転動プラットフォーム７１６にマウントされてもよい。較正アセンブリマーカー７０４及びカメラアセンブリマーカー（例えばＳＭＲ）７１０すべての相対位置は、トラッカー（例えばレーザートラッカー）７１８によって監視され得る。システムアーキテクチャの設計に起因して、カメラ７０６とテストチャート（較正ターゲット）７０２との間の相対的な動きが、豊富な較正データセットを生成するべく重要となるが、カメラ７０６が具体的に動く必要はなく、テストチャート（較正ターゲット）７０２が動く必要もないことに留意すべきである。システムアーキテクチャは、較正のために操作することが困難なカメラシステム７１４が静止したままとなり得るように、移動するコンポーネントの一方又は双方に対してフレキシブルである。

【0059】

図８はカメラの一例を示す。例示のカメラは、大きな視野（ＦＯＶ）（１５７度）にわたって高解像度を有する１８メガピクセルの２．８ｍｍ固定焦点距離レンズを有する。カメラフレームとデータムフレームとの相対位置が対象カメラの剛性構造ゆえに固定されるので、ピンダイヤモンドピンマウントを、カメラ外部パラメータのための反復可能かつ追跡可能なデータムとして使用することができる。

【0060】

図９Ａはカメラアセンブリの一例を示す。例示のカメラマウント９００が示される。いくつかの例において、球状にマウントされる再帰反射器（ＳＭＲ）９０２が、カメラマウント９００にマウントされて、トラッカー（例えばレーザートラッカー）のためのマウント９００及びカメラ（カメラアセンブリ）９０４の場所の追跡可能点測定をもたらし得る。

【0061】

図９Ｂは、三次元測定機（ＣＭＭ）上の例示のカメラアセンブリの写真を示す。ＣＭＭ９１０上の例示のカメラマウント９００の写真が示される。ＣＭＭ９１０は、カメラマウントデータムフレームにおけるＳＭＲ中心座標を測定するべく使用され得る。

【0062】

図１０は、直線チェックボードチャートを含む例示の較正ターゲットを示す。簡単な直線テストチャート（較正ターゲット）１００２が以下で一例として示される。いくつかの場合において、円形チャートよりも直線格子チャート１００２が、格子チャート画像処理の高精度コーナー検出能力ゆえに選択され得る。この例において、３つのＳＭＲ１００４が三角形構成で使用されるが、いくつかの実装例においては異なる数及び構成のＳＭＲ１００４が使用されてよい。バックライトフォトエッチングされたガラスチャート設計１００６によって、極度に鋭いエッジコントラスト及び高精度の特徴が許容される。

【0063】

図１１Ａは、光学測定機（ＯＭＭ）上の例示の較正アセンブリの写真を示す。図１１Ｂは、自己識別バイナリコードを含む例示の較正ターゲットを示す。他例において、直線チェッカーボードチャート１１０２は、画像処理のときに各正方形を一意的に識別するべく自己識別バイナリコード１１０４（例えばＣＡＬＴａｇ及びＡＲＴａｇを含む）によって強化されてよい。較正チャート（較正ターゲット）に自己識別パターン１１０４を含めることは必要というわけではないが、レンズ歪み、不均一な照明、及びテストパターン閉塞のような変数に対する処理のロバスト性を向上させ得る。チャート（ターゲット）１１０２は、代替色構成及び／又は均一照明を目的として拡散ＬＣＤモニタによってバックライトされてよい。マーカー（例えばＳＭＲ）１１０８に対するチャート（ターゲット）１１０２の特徴部の場所を登録するべく光学ＣＭＭ（光学測定機すなわちＯＭＭ）１１０６が使用されてよい。

【0064】

カメラデータ取得

【0065】

図１２は、ここに記載されるシステムによりカメラモデルを生成する例示の方法のフローチャートを示す。カメラモデルを生成する方法１２００は、所定の一連のポーズを介して、カメラアセンブリに対して較正アセンブリを動かすべく、又は較正アセンブリに対してカメラアセンブリを動かすべく、ロボットアセンブリを使用することを含む（動作１２０２）。較正アセンブリは、較正ターゲットと、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーとを含み得る。第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーは、それぞれの位置で較正ターゲットに結合され得る。カメラアセンブリは、マウントと、それぞれの場所においてマウントに結合されるカメラと、それぞれの場所においてマウントに結合される第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーとを含み得るカメラは視野を有し得る。所定の一連のポーズは一緒になって、較正ターゲットにカメラの視野の少なくとも一部分を通過させ得る。方法はまた、所定の一連のポーズの各ポーズにおいて、較正ターゲットのそれぞれの画像を生成するべくカメラを使用することも含み得る（動作１２０４）。方法はまた、所定の一連のポーズの各ポーズにおいて、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーの、空間におけるそれぞれの場所と、第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーの、空間におけるそれぞれの場所とを決定するべく、トラッカーを使用することを含み得る（動作１２０６）。方法はまた、それぞれの画像ごとに対し、（ｉ）第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーの記憶された座標と、（ｉｉ）第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーの記憶された座標と、（ｉｉｉ）当該画像に対しての、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーの、空間における決定された場所と、（ｉｖ）当該画像に対しての、第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーの、空間における決定された場所と、（ｖ）それぞれの画像内の較正ターゲットの特徴部とを、三次元物体空間へとマッピングする変換関数を生成することを含み得る（動作１２０８）。方法はまた、カメラの外部パラメータ及び内部パラメータのモデルを生成するべく、それぞれの画像に対して変換関数を使用することを含み得る。

【0066】

図１３は、ここに記載されるシステムによりカメラモデルを生成する例示の方法のフローチャートを示す。カメラモデルを生成する例示の方法１３００が示される。方法１３００は、格子特徴部に対する較正アセンブリマーカーの場所を測定することを含み得る（動作１３０２）。方法１３００はまた、カメラデータムに対するカメラマウント上のカメラアセンブリマーカーの場所を測定することを含み得る（動作１３０４）。ひとたび格子特徴部に対するチャート（較正アセンブリ）ＳＭＲ（マーカー）の場所が測定され、かつ、カメラデータムに対するカメラマウント（カメラアセンブリ）ＳＭＲ（マーカー）の場所が測定されると、カメラ較正プロセスデータ収集が実行され得る。

【0067】

ロボットアーム（ロボットアセンブリ）が、異なるアーム位置にカメラを位置決めするべく使用されてよい（動作１３０６）。各位置において、トラッカー（例えばレーザートラッカー）がチャート（較正アセンブリ）及びカメラマウント（カメラアセンブリ）ＳＭＲ（マーカー）の場所を測定し（動作１３０８）、カメラはチャート（ターゲット）を撮像する（動作１３１０）。これらのステップ（動作）は、カメラを異なるアーム位置に位置決めすることによって繰り返されてよい（動作１３１２）。

【0068】

カメラ較正プロセス

【0069】

カメラ較正プロセスは、チャート（ターゲット）とカメラとの相対的な動きを計画することと、その動きの計画に対応する相対的な場所でのデータキャプチャを実行することと、カメラモデルのパラメータを決定する信号処理との３つの主要コンポーネントに分けることができる。これらのコンポーネントが以下に詳述される。

【0070】

動きの計画

【0071】

図１４は、例示の半球状スーパーチャートを示す。チャート（ターゲット）に対するカメラの各位置によって、カメラの視野のすべて又は一部分を埋め得る対応する２Ｄチャート（ターゲット）が得られる。相対位置を多数回変更することにより、チャート（ターゲット）特徴部の複合「スーパーチャート」が生成され得る。所与セットの公称カメラパラメータに対し、適切なスーパーチャート幾何学形状を効率的に生成する動き計画を計算するべく、較正データ収集シーケンスが前処理アルゴリズムによってシミュレーションされる。動き計画アルゴリズムは、ＣＭＭ検査結果、カメラポーズ、チャート（ターゲット）位置、公称マーカー（ＳＭＲ）位置、トラッカー位置、及び推定カメラパラメータのような入力を含み得る。動き計画ステップ（動作）の結果は、グローバル座標系における各較正特徴部の公称３Ｄ位置となり得る。動き計画ステップ（動作）によって生成される特徴部の３Ｄ分布の一例が、広視野カメラ較正に使用され得る半球状スーパーチャートの下図に示される。

【0072】

図１５Ａは、例示の３層半球状スーパーチャートを示す。図１５Ｂは、２Ｄ画像空間に投影された図１５Ａの例示の３層半球状スーパーチャートを示す。スーパーチャートは、焦点較正のためのデータと改善された外部較正を与える複数の層を有し得る。カメラモデル投影アルゴリズムにより、動き計画器からの３Ｄ特徴部が、候補カメラの画像センサ上のターゲットカバレッジを推定するべく２Ｄ像点に変換され得る。以下の図において、カメラ視野のフルカバレッジを実証するべく、３層半球状スーパーチャートの１５，２３０個のチャート（ターゲット）特徴部が、３Ｄ物体空間（左すなわち図１５Ａ）と、投影された２Ｄ画像空間（右すなわち図１５Ｂ）との双方に示される。

【0073】

図１６Ａは、他の例示の多層半球状スーパーチャートを示す。図１６Ｂは、２Ｄ画像空間に投影された図１６Ａの例示の多層半球状スーパーチャートを示す。いくつかの例（例えば実施形態）において、カメラの視野及びターゲット深度のカバレッジを効率的に与えるように、曲面セグメント及び平面セグメントの双方によるスパースな多層スーパーチャートが生成される。例えば、以下の図では、１２，３４４個のチャート（ターゲット）特徴部が画像フレームに存在する。

【0074】

データキャプチャ

【0075】

図１７は、カメラモデルを生成する例示のシステムの写真を示す。リアルワールドシステム１７００の画像が示される。相対的に典型的なデータキャプチャ較正が、以下の図に示される。テストチャート（ターゲット）１７０２は、自己識別バイナリコード１７０４を使用し、ＬＣＤパネル１７０６によるバックライトを受け、３つのＳＭＲ１７１０を備える摺動プラットフォーム１７０８にマウントされる。バックライトの色は、カラーカメラ、モノクロカメラ、及び赤外線カメラを試験するべく設定可能である。被試験カメラ１７１２もまた、ユニバーサルロボット製ＵＲ５ １７１６上に３つのＳＭＲ１７１４とともにマウントされる。この被試験カメラアのセンブリ（カメラアセンブリ）１７１８は、転動プラットフォーム（図示せず）にマウントされる。ＳＭＲ１７１０、１７１４すべての相対位置が、ＦＡＲＯ（登録商標）Ｖａｎｔａｇｅレーザートラッカー１７２０で監視される。

【0076】

図１８は、第１較正アセンブリマーカー、第２較正アセンブリマーカー、及び第３較正アセンブリマーカーの、空間における決定される場所、及び第１カメラアセンブリマーカー、第２カメラアセンブリマーカー、及び第３カメラアセンブリマーカーの、空間における決定される場所がどのようにしてトラッカーによって決定され得るのかの一例を示す。チャート（ターゲット）１８０２とカメラ１８０４との相対位置は、ロボットコントローラによって設定され、確認される。一つの例（例えば実施形態）において、ＯＭＭデータセット１８１０とレーザートラッカーデータセット１８２０との間の、及びＣＭＭデータセット１８３０とレーザートラッカーデータ１８２０との間の、最良適合剛体変換（並進及び回転）が、Ｋａｂｓｃｈアルゴリズムを使用して見出される。これにより、データをスケーリングすることなく、２つのそれぞれのデータセット間の誤差が最小化される。

【0077】

画像処理

【0078】

図１９は、カメラモデルパラメータを生成する例示の方法のフローチャートを示す。画像処理の例示の方法１９００が示される。いくつかの例（例えば実施形態）において、カメラモデルパラメータが、以下の図に示されるように生成される。データ処理は、最初に、データキャプチャ（動作１９０２）の間に撮像された個別のカメラフレームの画像処理と、三次元トラッカーデータ（動作１９０４）の再パッケージ化とに分割され得る。カメラからの画像の処理（動作１９０６）は、例えば、物体検出、平滑化、エッジ強調、モルフォロジー演算等が含み得る。トラッカー測定に基づくチャート（ターゲット）特徴部の３Ｄ座標は、コンパイル及び変換されて一般的なグローバル座標系になる（動作１９０８）。２つのデータセットがその後、組み合わされてカメラのための較正を生成してよい（動作１９１０）。カメラ較正は、較正されたカメラモデルパラメータを出力するために使用され得る（動作１９１２）。

【0079】

図２０は、カメラモデルパラメータを生成する他の例示の方法のフローチャートを示す。自己識別バイナリコードを有するチェックボードチャートの例に対し、較正プロセス２０００が以下の図に示される。スーパーチャート画像２００２は、結果を改善するためにフィルタリングされてよい（動作２００４）。チェックボードチャートの個別のコーナーが最初に抽出されて標識が付けられる（動作２００６）。チェックボードチャート上のＣＡＬＴａｇ自己識別パターンを使用するチャートの例に対し、以下の図に示されるハリスコーナーファインダー鞍点アルゴリズムのようなアルゴリズムを使用してチェッカー間のコーナーを約０．１ピクセルの精度で抽出することができる（動作２００６）。ＣＡＬＴａｇがその後、識別され得る（動作２００８）。スーパーチャート３Ｄ座標２０１０を使用して、約４０μｍまでの精度で３Ｄデータに標識を付けることができる（動作２０１２）。以前に識別されたコーナーをその後、３Ｄ座標とペアにしてよい（動作２０１４）。その後、カメラモデル２０１６を使用して、カメラ較正ライブラリを作成してよい（動作２０１８）。このライブラリはその後、非線形最適化を受け得る（動作２０２０）。較正されたカメラモデルのパラメータが出力となる（動作２０２２）。

【0080】

図２１は、自己識別バイナリコードがどのようにして検出され得るのかの一例を示す。チェッカー特徴部に埋め込まれたパターンが、ＣＡＬＴａｇマーキングに基づいてどのように一意に識別されて割り当てられるかの一例が以下に示される。ＣＡＬＴａｇが分割されて１６個の正方形の一グリッドになり、各正方形はビットを表し、０又は１のいずれかの値を有する。グリッドの値はその後、左上から開始して行に沿って進んでから次の行を開始し、バイナリ数すなわち２進数に読み替えられる。２進数は１０進数に変換されてよい。

【0081】

図２２Ａは、較正ターゲット特徴部を識別する例示の方法のフローチャートを示す。図２２Ｂは、識別される特徴部を備える例示の較正ターゲットを示す。コーナー特徴部を３Ｄ空間における関連位置にマッチングする方法２２００が示される。最初に、前の段落で説明したように、ＣＡＬＴａｇの１０進ＩＤが作成され得る（動作２２１０）。ルックアップテーブルが使用されて、１０進ＩＤがチャートコーナーインデクスに変換され得る（動作２２２０）。所与の画像に対し、各コーナー特徴部２２０２に、較正プロセスを介した追跡のためのコーナーインデックス２２０４が割り当てられる（動作２２３０）。一例として、以下の画像は、どのようにして特徴部が識別され、行及び列のインデックス標識が割り当てられるかを示す。画像処理ステップ（動作）の間に追加のステップ（動作）を実行して、画像処理誤差から予測インデクシングに適合しない外れ値を排除してよい。

【0082】

画像処理の最後のコンポーネントは、画像空間におけるこれらの標識付き特徴部と、トラッカー及びＯＭＭデータから決定される３Ｄ物体空間における対応位置とのマッチングを含み得る（動作２２４０）。ひとたび物体と画像空間との点対応がわかると、両者間の関係を特徴付けるべくパラメトリックモデルを解くことができる。図２３は、カメラの例示の単純なピンホールモデルを示す。このようなモデルは、以下の図に示される簡単なピンホールカメラによって描写することができ、物体空間の点は、焦点距離を介して像点にスケーリングされる。
ロバストなカメラモデルが、物体と像点とを正確に関連させるべく使用されてよく、内部パラメータ及び外部パラメータの双方に対する項を含み得る。内部パラメータは、焦点距離、主点、及び歪みのような、画像フレームにおけるカメラ座標とピクセル座標との間のマッピングを許容する項を含み得る。外部パラメータは、回転及び並進のような、ワールドフレームに対するカメラの場所及び配向の定義を許容する項を含み得る。

【0083】

以下の表１は、一般的なカメラモデルに存在し得る項の数をまとめる。表１に見えることだが、カメラモデルにおいて外部パラメータは、３つの回転項及び３つの並進項を含む。内部パラメータは、２つの主点項、２つの焦点距離項、５つの放射方向係数、７つの接線方向係数、及び７つの非対称係数を含む。これらの項のうち、回転、並進、主点、焦点距離、及び放射方向係数が、放射方向対称カメラモデルに含まれる。これとは対照的に、接線方向係数及び非対称係数を含む２９項すべてが、フルカメラモデルに含まれる。

【表1】

【0084】

多くの画像カメラは、画角と画像空間座標との間に完璧な線形関係を有しないが、このばらつきは多項の多項式でモデル化され得る。Ｋａｎｎａｌａ放射状多項式が以下に示される。対称放射状歪みがモデル化され得る。

【数1】

【0085】

さらに、マッピングへの追加の修正が、以下に示されるＫａｎｎａｌａフルカメラモデルによって表される非対称放射方向項及び接線方向項のような追加多項式によって実現され得る。

【数2】

【0086】

カメラモデルにおける項に対しては閉形式解が存在しないので、オプティマイザにおいて項が反復され得るように物体空間と画像空間との間の再投影誤差を記述するべく、メリット関数を使用してよい。最小化問題は、最適な歪み係数、焦点距離、及び主点を決定するべく非線形オプティマイザに通してよい。例えば、Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔアルゴリズムを使用してよい。

【数3】

【0087】

上記式において、

【数4】

は、コーナー(例えば画像)の既知のピクセル座標であり、

【数5】

はコーナーの推定ピクセル座標であり、

【数6】

は主点、すなわちカメラ面の中心であり、

【数7】

は有効焦点距離、すなわちピンホールからイメージフレームまでの距離であり、

【数8】

は放射状歪み多項式係数であり、

【数9】

は接線歪み多項式係数であり、

【数10】

は非対称放射状歪み多項式係数であり、

【数11】

はカメラ基準フレームにおけるワールド基準フレームの回転行列であり、

【数12】

はカメラ基準フレームへのワールド基準フレームの並進ベクトルであり、

【数13】

はデータム基準フレームにおける３Ｄ空間の座標を表し、及び

【数14】

である

【0088】

ひとたびカメラモデルが作成されると、それが反転されて画像空間が物体空間に変換され得る。逆投影モデルは、画像空間再投影誤差がどのようにして、物理的な距離誤差によってワールドフレームに反映されるかを理解するのに有用となり得る。

【0089】

留意すべきことだが、この開示に提示される較正データキャプチャのアプローチは、最終ステップ（動作）において再投影誤差を最小限にするために使用される特定のカメラモデル又はオプティマイザを前提とするわけではない。このアプローチは、Ｂｒｏｗｎ－Ｃｏｎｒａｄｙカメラモデル及びＨｅｉｋｋｉｌａカメラモデルを含む多くのカメラモデルを介したソリューションに柔軟に対応でき、異なるカメラ構成が、異なるモデルによってベストフィットとなり得る。

【0090】

較正結果及び監査

【0091】

測定された点と、較正されたカメラモデルが予測する場所との間の誤差は、画像空間及び物体空間の双方において測定され得る。良好に較正されたカメラが、測定された点の場所を正確に予測する。

【0092】

図２４Ａは、例示のカメラモデルの画像空間投影誤差を示す。図２４Ｂは、図２４Ａと同じ例示のカメラモデルの物体空間再投影誤差を示す。一例において、２．８ｍｍ焦点距離レンズを備える上述した１８メガピクセルのカメラは、以下のプロットに示されるように、０．１ピクセル未満の平均画像空間誤差、及び０．１ｍｍ未満の平均物体空間誤差で較正された。この例では、２つの層を備える半球状スーパーチャートが生成された。図２４Ａに示されるように、画像空間再投影誤差は、ほとんどが０．１ピクセル未満であった。画像空間のエッジ付近（主に左下及び右下）のいくつかの場所のみが、０．３ピクセル以上の誤差を有していた。図２４Ｂに示されるように、同じサンプルの物体空間再投影誤差は、ほとんどが０．１ｍｍ未満であった。各それぞれの半球層、特に内側半球層のエッジ付近のいくつかの場所が、０．１ｍｍを超える再投影誤差を有していた。

【0093】

これらの結果は、以下の表２の公表された結果と比較することができる。表２は、業界で一般に知られるカメラモデルを生成する様々な方法の、ピクセル単位の画像空間精度（画像空間誤差）、及びミクロン単位の画像精度（物体空間誤差）を含む。表２はまた、様々な方法によって使用される画像空間の、ピクセル単位の解像度も列挙する。表２に見えることだが、本システム及び方法（「Ｑｕａｒｔｕｓフレキシブルカメラ較正」）によれば、列挙されたいずれの方法よりも低い画像空間誤差及び低い物体空間誤差が得られる。さらに、他の方法の最大画像解像度は１０２４ピクセル×７６８ピクセルであるが、本システム及び方法は、４９１２ピクセル×３６８４ピクセルの画像解像度を有しながらも低い誤差を達成する。

【表2】

【0094】

表２において使用されるかっこ内の数字は、その行のデータが取得された参考文献を示す。［１］は、「Ｅｖａｌｕａｔｉｎｇ ｔｈｅ Ａｃｃｕｒａｃｙ ｏｆ Ｓｉｎｇｌｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ（単一カメラ較正の精度の評価）」を参照する。単一カメラ較正の精度の評価－ＭＡＴＬＡＢ（登録商標）＆Ｓｉｍｕｌｉｎｋ。［２］は、Ｋａｎｎａｌａ，Ｊ．，＆Ｂｒａｎｄｔ，Ｓ．Ｓ．（１９９５）．Ａ Ｇｅｎｅｒｉｃ Ｃａｍｅｒａ Ｍｏｄｅｌ ａｎｄ Ｃａｌｉｂｒａｔｉｏｎ Ｍｅｔｈｏｄ ｆｏｒ Ｃｏｎｖｅｎｔｉｏｎａｌ，Ｗｉｄｅ－Ａｎｇｌｅ，ａｎｄ Ｆｉｓｈ－Ｅｙｅ Ｌｅｎｓｅｓ（従来型広角魚眼レンズの一般カメラモデルと較正方法）を参照する。［３］は、Ｂｒｏｗｎ，Ｄ．Ｃ．（１９６６）．Ｄｅｃｅｎｔｅｒｉｎｇ Ｄｉｓｔｏｒｔｉｏｎ ｏｆ Ｌｅｎｓｅｓ（レンズの偏心歪み）を参照する。［４］は、Ｚｈａｎｇ，Ｚ．（１９９９）．Ｆｌｅｘｉｂｌｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ ｂｙ Ｖｉｅｗｉｎｇ ａ Ｐｌａｎｅ Ｆｒｏｍ Ｕｎｋｎｏｗｎ Ｏｒｉｅｎｔａｔｉｏｎｓ（未知の配向から平面を見ることによるフレキシブルなカメラ較正）を参照する。上記参考文献のそれぞれの全内容は、参照によりここに組み込まれる。

【0095】

図２５は、監査データセットを生成する例示の方法のフローチャートを示す。監査データセットを生成する例示の方法２５００が示される。いくつかの例（例えば実施形態）において、本発明のカメラ較正ステーション（カメラモデルを生成するシステム）を使用して監査データセットを生成することができる。監査データセットは、物点の同じ追跡可能性を有する一セットの画像であってよい。ただし、この一セットの画像は、較正を行うべく使用される物点とは十分に異なる。監査は、較正されたカメラが（較正点以外の）任意の場所にある物体の場所を正確に予測することを検証する。これにより、場合によっては品質較正が保証される。例えば、オプティマイザが局所最小値にはまり込んではいなかったことが、潜在的に確認される。較正データ２５０２が最適化され得る（動作２５０４）。最適化されたデータはその後、カメラパラメータを生成するべく使用され得る（動作２５０６）。生成されたカメラパラメータは、監査再投影誤差を出力するべく監査データ２５０８とともに使用され得る（動作２５１０）。

【0096】

図２６は、監査モデルを使用して物体空間誤差及び画像空間誤差を決定する例示の方法のフローチャートを示す。いくつかの例（例えば実施形態）によれば、監査は、距離単位の物体空間誤差をピクセル単位の画像空間誤差と比較するべく使用され得る。例えば、監査画像空間点２６０２をカメラモデル２６０４に供給して、物体空間に逆方向投影点２６０６を生成してよい。逆方向投影点２６０６を監査物体空間点２６０８と比較して、カメラモデル２６０４の物体空間誤差２６１０を決定してよい。監査物体空間点２６０８をカメラモデル２６０４に供給して、画像空間に順方向投影点２６１２を生成してもよい。順方向投影点２６１２を監査画像空間点２６０２と比較して、カメラモデル２６０４の画像空間誤差２６１４を決定してよい。

【0097】

図２７Ａは、監査モデルを使用することによって決定される例示のカメラモデルの物体空間再投影誤差を示す。図２７Ｂは、図２７Ａと同じ監査モデルを使用することによって決定される図２７Ａと同じ例示のカメラモデルの画像空間再投影誤差を示す。以下に示す一例において、画像空間再投影誤差は約０．３ピクセルであり、物体空間再投影誤差は約０．５ｍｍであった。

【0098】

わかることだが、本発明のカメラモデルは、業界で知られているような任意の方法で使用してよい。例えば、ここに記載されるように較正されたカメラは、視覚サーボタスクにおけるロボットシステムのポーズを正確に突き止めるために使用してよい。これにより、このようなシステムの、高精度な環境との相互作用が許容される。他の多くのアプリケーションが存在する。

【0099】

ここに記載される開示の各側面の任意のそれぞれの特徴／例は、任意の適切な組み合わせで一緒に実装することができ、これらの側面の任意の一以上からの任意の特徴／例は、ここに記載される利益を達成するために、任意の適切な組み合わせでここに記載される他の側面の特徴のいずれかと一緒に実装され得ることを理解すべきである。

【0100】

様々な図示の例が上述されているが、本発明から逸脱することなく、様々な変更及び修正を行い得ることは、当業者にとって明らかであろう。添付の特許請求の範囲は、本発明の真の要旨及び範囲に該当するすべてのそのような変更及び修正をカバーすることを意図する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A-9B】

【図10】

【図11A-11B】

【図12】

【図13】

【図14】

【図15A-15B】

【図16A-16B】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22A-22B】

【図23】

【図24A-24B】

【図25】

【図26】

【図27A-27B】

【国際調査報告】