特許 6811296 コレクターの相対パラメータのキャリブレーション方法、装置、機器及び媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6811296

(24)【登録日】2020年12月16日

(45)【発行日】2021年1月13日

(54)【発明の名称】コレクターの相対パラメータのキャリブレーション方法、装置、機器及び媒体

(51)【国際特許分類】

   G01B 11/00 20060101AFI20201228BHJP

   G01B 11/245 20060101ALI20201228BHJP

   G06T 7/70 20170101ALI20201228BHJP

   H04N 5/232 20060101ALI20201228BHJP

【ＦＩ】

   G01B11/00 H

   G01B11/245 H

   G06T7/70 Z

   H04N5/232

   H04N5/232 290

【請求項の数】12

【全頁数】21

(21)【出願番号】特願2019-160978(P2019-160978)

(22)【出願日】2019年9月4日

(65)【公開番号】特開2020-42028(P2020-42028A)

(43)【公開日】2020年3月19日

【審査請求日】2019年9月4日

(31)【優先権主張番号】201811043273.9

(32)【優先日】2018年9月7日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】513224353

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド

(74)【代理人】

【識別番号】100107515

【弁理士】

【氏名又は名称】廣田 浩一

(74)【代理人】

【識別番号】100107733

【弁理士】

【氏名又は名称】流 良広

(74)【代理人】

【識別番号】100115347

【弁理士】

【氏名又は名称】松田 奈緒子

(72)【発明者】

【氏名】ユェンファン・シェ

(72)【発明者】

【氏名】シュン・ヂョウ

(72)【発明者】

【氏名】シールイ・リ

(72)【発明者】

【氏名】リャン・ワン

【審査官】 續山 浩二

(56)【参考文献】

【文献】 特開２００３−２７９３１５（ＪＰ，Ａ）

【文献】 特開２００８−１４６０２４（ＪＰ，Ａ）

【文献】 特開２０１４−１０１０７５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１６／００１２５８８（ＵＳ，Ａ１）

【文献】 ZHU, Chen, et al.，"Robust Plane-Based Calibration of Multiple Non-Overlapping Cameras"，2016 Fourth International Conference on 3D Vision，IEEE，２０１６年１０月２５日，p.658−664，doi: 10.1109/3DV.2016.73

【文献】 PAGEL, Frank，"Calibration of non-overlapping cameras in vehicles"， 2010 IEEE Intelligent Vehicles Symposium，IEEE，２０１０年，p.1178−1183，doi: 10.1109/IVS.2010.5547991

【文献】 CARRERA, Gerardo，"SLAM-based automatic extrinsic calibration of a multi-camera rig"，2011 IEEE International Conference on Robotics and Automation，２０１１年 ５月 ９日，p.2652−2659，doi: 10.1109/ICRA.2011.5980294

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００

Ｇ０１Ｂ １１／２４５

Ｇ０６Ｔ ７／７０

Ｈ０４Ｎ ５／２３２

Ｇ０１Ｃ ２１／００

Ｇ０１Ｃ ２５／００

Ｇ０５Ｄ １／００

(57)【特許請求の範囲】

【請求項1】

コレクターの相対パラメータのキャリブレーション方法であって、
目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報、及び前記基準コレクターと前記目標画像コレクターとの間の相対位置・姿勢の変数に基づいて、前記目標画像コレクターが各目標画像を収集するときの前記キャリブレーション座標系における目標位置・姿勢の情報を決定するステップと、
収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点の前記キャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するステップと、
各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点の前記キャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定するステップと、を含み、
前記基準コレクターが基準画像コレクターである場合、前記目標画像コレクターが少なくとも二つの目標画像を収集するときの前記基準コレクターの前記キャリブレーション座標系における基準位置・姿勢の情報は、
前記目標画像コレクターが少なくとも二つの目標画像を収集するときに前記基準コレクターにより収集された各基準画像を取得するステップと、
一つの基準画像を基準キャリブレーション画像として選択し、前記基準キャリブレーション画像の収集時刻の前記基準コレクターの座標系を前記キャリブレーション座標系とするステップと、
他の基準画像の収集時刻における他の基準座標系と前記キャリブレーション座標系との間の相対位置・姿勢を決定して、他の基準画像の収集時刻における前記基準コレクターの前記キャリブレーション座標系における基準位置・姿勢の情報とするステップと、によって決定され、
他の基準画像の収集時刻における他の基準座標系と前記キャリブレーション座標系との間の相対位置・姿勢を決定するステップは、
第１の他の基準画像と前記基準キャリブレーション画像との間の特徴点マッチング結果に基づいて、第１の他の基準コレクターの座標系と前記キャリブレーション座標系との間の基準相対位置・姿勢を決定するステップと、
前記基準キャリブレーション画像と第１の他の基準画像との間の特徴点マッチング結果、基準相対位置・姿勢及び前記基準画像コレクターの内部パラメータに基づいて、基準シーン点群を構築するステップと、
基準シーン点群と第２の他の基準画像との間の特徴点マッチング結果に基づいて、第２の他の基準コレクターの座標系と前記キャリブレーション座標系との間の基準相対位置・姿勢を決定し、基準シーン点群を更新するステップと、
第２の他の基準画像を新しい第１の他の基準画像とし、新しい第２の他の基準画像を決定し、第１の他の基準画像と基準キャリブレーション画像との間の特徴点マッチング結果に基づいて、第１の他の基準コレクターの座標系と前記キャリブレーション座標系との間の基準相対位置・姿勢を決定するステップと、を含む、
ことを特徴とするコレクターの相対パラメータのキャリブレーション方法。

【請求項2】

収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点の前記キャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するステップは、
前記目標画像コレクターが異なる時刻に収集した各目標画像に対して特徴点マッチングを行い、シーンにおける空間点の各目標画像における投影点位置情報を決定するステップと、
前記目標画像コレクターの各目標画像の収集時刻における相対位置・姿勢、及び空間点の各目標画像における投影点位置情報に基づいて３次元シーンを再構築し、空間点のキャリブレーション座標系における位置情報を決定するステップと、を含む、
ことを特徴とする請求項１に記載のコレクターの相対パラメータのキャリブレーション方法。

【請求項3】

各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定するステップは、
各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点の前記キャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、コスト関数を構築するステップと、
前記コスト関数を最小化し、反復停止条件を満たす場合に、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を取得するステップと、を含む、
ことを特徴とする請求項１に記載のコレクターの相対パラメータのキャリブレーション方法。

【請求項4】

各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記コスト関数を構築するステップは、
以下のコスト関数（数式１）を構築するステップを含み、

【数1】

ただし、Ｐｒｏｊは、空間点ｉを目標画像ｊに投影することを指し、Ｘ_ｉは、３次元シーン点群の空間点ｉの前記キャリブレーション座標系における位置情報であり、Ｔ_ｊ^ＧＴ_Ｇ^Ｃは、目標画像コレクターＣが目標画像ｊを収集するときの目標画像コレクターＣの前記キャリブレーション座標系における目標位置・姿勢の情報であり、Ｔ_ｊ^Ｇは、目標画像コレクターＣが目標画像ｊを収集するときの前記基準コレクターの前記キャリブレーション座標系における基準位置・姿勢の情報であり、Ｔ_Ｇ^Ｃは、前記基準コレクターと前記目標画像コレクターとの間の相対位置・姿勢であり、Ｍ_ｉｊは、空間点ｉの目標画像ｊにおける投影点の投影点位置情報である、
ことを特徴とする請求項３に記載のコレクターの相対パラメータのキャリブレーション方法。

【請求項5】

前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定した後、
前記基準コレクターと異なる目標画像コレクターとの間の相対位置・姿勢に基づいて、異なる目標画像コレクター間の相対位置・姿勢を取得するステップをさらに含む、
ことを特徴とする請求項１に記載のコレクターの相対パラメータのキャリブレーション方法。

【請求項6】

コレクターの相対パラメータのキャリブレーション装置であって、
目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報、及び前記基準コレクターと前記目標画像コレクターとの間の相対位置・姿勢の変数に基づいて、前記目標画像コレクターが各目標画像を収集するときの前記キャリブレーション座標系における目標位置・姿勢の情報を決定するための目標位置情報決定モジュールと、
収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点の前記キャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するための空間点位置情報決定モジュールと、
各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点の前記キャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定するための相対位置・姿勢決定モジュールと、を含み、
前記基準コレクターが基準画像コレクターである場合、前記目標画像コレクターが少なくとも二つの目標画像を収集するときの前記基準コレクターの前記キャリブレーション座標系における基準位置・姿勢の情報は、
前記目標画像コレクターが少なくとも二つの目標画像を収集するときに前記基準コレクターにより収集された各基準画像を取得するための基準画像取得モジュールと、
一つの基準画像を基準キャリブレーション画像として選択し、前記基準キャリブレーション画像の収集時刻の基準コレクターの座標系を前記キャリブレーション座標系とするためのキャリブレーション座標系決定モジュールと、
他の基準画像の収集時刻における他の基準座標系と前記キャリブレーション座標系との間の相対位置・姿勢を決定して、他の基準画像の収集時刻における基準コレクターの前記キャリブレーション座標系における基準位置・姿勢の情報とするための基準位置情報決定モジュールと、によって決定され、
前記基準位置情報決定モジュールは、
第１の他の基準画像と前記基準キャリブレーション画像との間の特徴点マッチング結果に基づいて、第１の他の基準コレクターの座標系と前記キャリブレーション座標系との間の基準相対位置・姿勢を決定するための第１の基準相対位置・姿勢決定ユニットと、
前記基準キャリブレーション画像と第１の他の基準画像との間の特徴点マッチング結果、基準相対位置・姿勢及び前記基準画像コレクターの内部パラメータに基づいて、基準シーン点群を構築するための基準シーン点群構築ユニットと、
基準シーン点群と第２の他の基準画像との間の特徴点マッチング結果に基づいて、第２の他の基準コレクターの座標系と前記キャリブレーション座標系との間の基準相対位置・姿勢を決定し、基準シーン点群を更新するための基準シーン点群更新ユニットと、
第２の他の基準画像を新しい第１の他の基準画像とし、新しい第２の他の基準画像を決定し、第１の他の基準画像と基準キャリブレーション画像との間の特徴点マッチング結果に基づいて、第１の他の基準コレクターの座標系と前記キャリブレーション座標系との間の基準相対位置・姿勢を決定するための基準相対位置・姿勢反復処理ユニットと、を含む、
ことを特徴とするコレクターの相対パラメータのキャリブレーション装置。

【請求項7】

前記空間点位置情報決定モジュールは、
前記目標画像コレクターが異なる時刻に収集した各目標画像に対して特徴点マッチングを行い、シーンにおける空間点の各目標画像における投影点位置情報を決定するための第１の位置情報決定ユニットと、
前記目標画像コレクターの各目標画像の収集時刻における相対位置・姿勢、及び空間点の各目標画像における投影点位置情報に基づいて３次元シーンを再構築し、空間点のキャリブレーション座標系における位置情報を決定するための第２の位置情報決定ユニットと、を含む、
ことを特徴とする請求項６に記載のコレクターの相対パラメータのキャリブレーション装置。

【請求項8】

前記相対位置・姿勢決定モジュールは、
各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点の前記キャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、コスト関数を構築するためのコスト関数構築ユニットと、
前記コスト関数を最小化し、反復停止条件を満たす場合に、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を取得するための相対位置・姿勢決定ユニットと、を含む、
ことを特徴とする請求項６に記載のコレクターの相対パラメータのキャリブレーション装置。

【請求項9】

前記コスト関数構築ユニットは、
以下のコスト関数（数式１）を構築し、

【数2】

ただし、Ｐｒｏｊは、空間点ｉを目標画像ｊに投影することを指し、Ｘ_ｉは、３次元シーン点群の空間点ｉの前記キャリブレーション座標系における位置情報であり、Ｔ_ｊ^ＧＴ_Ｇ^Ｃは、目標画像コレクターＣが目標画像ｊを収集するときの目標画像コレクターＣの前記キャリブレーション座標系における目標位置・姿勢の情報であり、Ｔ_ｊ^Ｇは、目標画像コレクターＣが目標画像ｊを収集するときの前記基準コレクターの前記キャリブレーション座標系における基準位置・姿勢の情報であり、Ｔ_Ｇ^Ｃは、前記基準コレクターと前記目標画像コレクターとの間の相対位置・姿勢であり、Ｍ_ｉｊは、空間点ｉの目標画像ｊにおける投影点の投影点位置情報である、
ことを特徴とする請求項８に記載のコレクターの相対パラメータのキャリブレーション装置。

【請求項10】

前記基準コレクターと異なる目標画像コレクターとの間の相対位置・姿勢に基づいて、異なる目標画像コレクター間の相対位置・姿勢を取得するための相対位置・姿勢取得モジュールをさらに含む、
ことを特徴とする請求項６に記載のコレクターの相対パラメータのキャリブレーション装置。

【請求項11】

電子機器であって、
一つ又は複数のプロセッサと、
一つ又は複数のプログラムを記憶するための記憶装置と、を含み、
前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行される場合に、前記一つ又は複数のプロセッサが、請求項１〜５のいずれかに記載のコレクターの相対パラメータのキャリブレーション方法を実現する、
ことを特徴とする電子機器。

【請求項12】

コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行される場合に、請求項１〜５のいずれかに記載のコレクターの相対パラメータのキャリブレーション方法が実現される、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施例は、コンピュータビジョン技術分野に関し、特にコレクターの相対パラメータのキャリブレーション方法、装置、機器及び媒体に関する。

【背景技術】

【0002】

例えば、カメラとカメラとの間の相対位置・姿勢をキャリブレーションするなどのような複数のコレクター間の外部パラメータキャリブレーションは、複数のコレクターシステムが効率的かつ信頼できる作業を行うには欠かせない重要なステップである。現在、一般的に使用されている複数のコレクターの外部パラメータキャリブレーション方法は、シーンにキャリブレーション対象を設置することによって、重なる視野を有する複数のコレクターが、同時にキャリブレーション対象が設置されているシーンに対して画像収集を行い、各コレクターによって収集されたキャリブレーション対象を含むシーン画像に基づいて異なるコレクター間の相対位置・姿勢を決定する。

【0003】

しかしながら、自動運転システムには、重ならない視野を有する複数のコレクターが取付けられ、各コレクターがキャリブレーション対象を同時に収集することができないため、重ならない視野を有する複数のコレクター間の外部パラメータキャリブレーションをどのように実現することが非常に重要である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の実施例には、コレクターの相対パラメータのキャリブレーション方法、装置、機器及び媒体が提供され、重ならない視野を有する複数のカメラ間の外部パラメータキャリブレーションを実現する。

【課題を解決するための手段】

【0005】

第１の側面において、本発明の実施例には、コレクターの相対パラメータのキャリブレーション方法が提供され、当該キャリブレーション方法は、
目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報、及び基準コレクターと目標画像コレクターとの間の相対位置・姿勢の変数に基づいて、目標画像コレクターが各目標画像を収集するときのキャリブレーション座標系における目標位置・姿勢の情報を決定するステップと、
収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するステップと、
各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定するステップと、を含む。

【0006】

第２の側面において、本発明の実施例には、コレクターの相対パラメータのキャリブレーション装置がさらに提供され、当該キャリブレーション装置は、
目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報、及び基準コレクターと目標画像コレクターとの間の相対位置・姿勢の変数に基づいて、目標画像コレクターが各目標画像を収集するときのキャリブレーション座標系における目標位置・姿勢の情報を決定するための目標位置情報決定モジュールと、
収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するための空間点位置情報決定モジュールと、
各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定するための相対位置・姿勢決定モジュールと、を含む。

【0007】

第３の側面において、本発明の実施例には、電子機器がさらに提供され、当該電子機器は、
一つ又は複数のプロセッサと、
一つ又は複数のプログラムを記憶するための記憶装置と、を含み、
前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行される場合に、前記一つ又は複数のプロセッサが、本発明の実施例のいずれかに記載のコレクターの相対パラメータのキャリブレーション方法を実現する。

【0008】

第４の側面において、本発明の実施例には、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体がさらに提供され、当該プログラムがプロセッサによって実行される場合に、本発明の実施例のいずれかに記載のコレクターの相対パラメータのキャリブレーション方法が実現される。

【発明の効果】

【0009】

本発明の実施例では、コレクターの相対パラメータのキャリブレーション方法が提供され、当該方法は、目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報、及び基準コレクターと目標画像コレクターとの間の相対位置・姿勢の変数に基づいて、目標画像コレクターが各目標画像を収集するときキャリブレーション座標系における目標位置・姿勢の情報を決定するステップと、収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するステップと、各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定するステップと、を含む。本発明の実施例の技術案は、新しい相対位置・姿勢キャリブレーション方法を提供し、重ならない視野を有する複数のカメラ間の外部パラメータキャリブレーションを実現することができ、シーンにキャリブレーション対象を設置する必要がなく、複数のカメラ間の外部パラメータキャリブレーションの便利性を向上させる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施例１が提供するコレクターの相対パラメータのキャリブレーション方法のフローチャートである。

【図2】本発明の実施例２が提供するコレクターの相対パラメータのキャリブレーション方法のフローチャートである。

【図3】本発明の実施例３が提供するコレクターの相対パラメータのキャリブレーション装置の概略構成図である。

【図4】本発明の実施例４が提供する電子機器の概略構成図である。

【発明を実施するための形態】

【0011】

以下、図面と実施例とを組み合わせて、本発明についてさらに詳しく説明する。なお、ここで説明される具体的な実施例は、単に本発明を解釈するためのものであり、本発明を限定するものではない。また、説明の便宜上、図面には、すべての構成ではなく、本発明に係る部分だけが示されている。

【0012】

（実施例１）
図１は、本発明の実施例１が提供するコレクターの相対パラメータのキャリブレーション方法のフローチャートである。本実施例は、重ならない視野を有する（視野内で重ならない）複数のカメラ間の外部パラメータをキャリブレーションする場合に適用することができ、例えば、複数のカメラ間の相対位置・姿勢キャリブレーションのシーンである。当該方法は、コレクターの相対パラメータのキャリブレーション装置によって実行されることができ、当該装置は、ソフトウェア及び／又はハードウェアの形式で実現することができ、ネットワーク通信機能を有する任意の電子機器に統合することができる。

【0013】

図１に示すように、本発明の実施例におけるコレクターの相対パラメータのキャリブレーション方法は、以下のステップＳ１０１〜ステップＳ１０３を含むことができる。

【0014】

ステップＳ１０１：目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報（基準位置・姿勢情報）、及び基準コレクターと目標画像コレクターとの間の相対位置・姿勢の変数（相対位置・姿勢変数）に基づいて、目標画像コレクターが各目標画像を収集するときのキャリブレーション座標系における目標位置・姿勢の情報（目標位置・姿勢情報）を決定する。

【0015】

本発明の実施例では、目標画像コレクターは、シーンに対して画像収集を行って、少なくとも二つの目標画像を取得することができる。したがって、目標画像コレクターが少なくとも二つの目標画像における各目標画像をそれぞれに収集した場合、基準コレクターのキャリブレーション座標系におけるそれぞれの基準位置・姿勢情報を決定することができる。目標画像コレクターが毎回一つの目標画像を収集する場合、目標画像コレクターが当該目標画像の当前時刻に基準コレクターのキャリブレーション座標系における基準位置・姿勢情報を収集することを相応して決定することができる。その中、位置・姿勢の情報（位置・姿勢情報）は、位置情報と姿勢情報を含むことができ、位置は、平行移動行列Ｔによって表示されることができ、姿勢は、回転行列Ｒによって表示されることができ、位置・姿勢情報は、六つの自由度に関連することができ、そのパラメータは、それぞれＸ、Ｙ、Ｚ、α、β、及びγである。目標画像コレクターは、カメラ又はビデオカメラなどのカメラであってもよい。基準コレクターは、カメラ又はビデオカメラなどのカメラであってもよいし、慣性ナビゲーション装置であってもよい。選択可能に、複数のカメラシステムに慣性ナビゲーション装置が存在する場合、複数のカメラシステムにおける慣性ナビゲーション装置を直接に基準コレクターとすることができ、複数のカメラシステムにおけるカメラは、それぞれの目標画像コレクターとすることができる。複数のカメラシステムに慣性ナビゲーション装置が存在しない場合、複数のカメラシステムから任意のカメラを基準コレクターとして選択することができ、複数のカメラシステムの残りの他のカメラは、それぞれに目標画像コレクターとすることができる。

【0016】

本発明の実施例では、基準コレクターと目標画像コレクターとの間の相対位置・姿勢を決定するために、基準コレクターと目標画像コレクターとの間の相対関係に基づいて基準コレクターと目標画像コレクターとの間の相対位置・姿勢変数を初期の相対位置・姿勢変数として予め設置することができ、すなわち基準コレクターと目標画像コレクターとの間の相対位置・姿勢変化を予め設置することができる。なお、当該初期の相対位置・姿勢変数は、一つの不正確な相対パラメータであり、本発明の実施例のコレクターの相対パラメータのキャリブレーション方式によって、予め設置された相対位置・姿勢変数に対して連続的に最適化を行って、最終の目標画像コレクターと基準コレクターとの間の相対位置・姿勢を取得することができる。すなわち、コレクターの相対パラメータをキャリブレーションするプロセスを実現する。

【0017】

本発明の実施例では、目標画像コレクターは、複数の目標画像を収集することができ、それに応じて、複数の基準コレクターのキャリブレーション座標系における基準位置・姿勢情報を含むことができ、説明を簡単にするため、以下に、目標画像コレクターが、その中のいずれかの一つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢情報を例として例示的に説明する。例示的に、目標コレクターがｊ番目の目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢情報をＴ_ｊ^Ｇとし、基準コレクターと目標画像コレクターとの間の相対位置・姿勢変数をＴ_Ｇ^Ｃとした場合、Ｔ_ｊ^ＧとＴ_Ｇ^Ｃに基づいて目標画像コレクターがｊ番目の目標画像を収集するときの目標画像コレクターのキャリブレーション座標系におけるｊ番目の目標位置・姿勢情報Ｔ_ｊ^Ｃを取得することができる。つまり、基準コレクターのキャリブレーション座標系における基準位置・姿勢情報を決定した後、基準コレクターと目標画像コレクターとの間の相対関係に基づいて、目標画像コレクターのキャリブレーション座標系における目標位置・姿勢情報を決定することができる。目標画像コレクターがｊ番目の目標画像を収集するときの目標画像コレクターのキャリブレーション座標系におけるｊ番目の目標位置・姿勢情報Ｔ_ｊ^Ｃを計算する上記の方式に基づいて、目標画像コレクターが各目標画像を収集するときのキャリブレーション座標系における目標位置・姿勢情報の集合を順次的に取得することができる。

【0018】

ステップＳ１０２：収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定する。

【0019】

具体的には、例えば、スケール不変特徴変換（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ，ＳＩＦＴ）アルゴリズムなどの３次元シーンを再構築するアルゴリズムに基づいて、収集した各目標画像から３次元シーンによって再構築を行って、３次元シーンモデルを取得することができる。

【0020】

本発明の実施例の選択可能な方式では、収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するステップは、ステップＳ１０２１とステップＳ１０２２とを含むことができる。
ステップＳ１０２１：目標画像コレクターが異なる時刻に収集した各目標画像に対して特徴点マッチングを行い、シーンにおける空間点の各目標画像における投影点位置情報を決定する。
ステップＳ１０２２：目標画像コレクターの各目標画像の収集時刻における相対位置・姿勢、及び空間点の各目標画像における投影点位置情報に基づいて３次元シーンを再構築し、空間点のキャリブレーション座標系における位置情報を決定する。

【0021】

本実施形態では、目標画像コレクターが収集した各目標画像について、当該目標画像に対して特徴点抽出を行い、当該目標画像における少なくとも一つの特徴点を取得することができる。その中、当該特徴点は、目標画像において、明確な特徴を有し、当該目標画像の本質的な特徴を反映可能な画素点であると理解することができる。例えば、当該特徴点は、目標画像におけるコーナー、テクスチャ及びエッジの画素点である。当該特徴点は、明確な特徴を有し、画像の本質的な特徴を効果的に反映する、目標画像における目標対象物を識別できる画素点である。上記の操作に基づいて、目標画像コレクターが異なる時刻に収集した各目標画像の少なくとも一つの特徴点をそれぞれに抽出して取得することができる。さらに、目標画像コレクターが異なる時刻に収集した各目標画像に対して特徴点マッチングを行うことにより、３次元シーンにおける空間点の各目標画像における投影点位置情報を決定することができる。その中、３次元シーンにおける空間点は、目標画像の特徴点のキャリブレーション座標系における実際の位置として理解することができる。例えば、３次元シーンにおける空間点は、特徴点のワールド（世界）座標系又はローカル座標系における実際の座標位置である。

【0022】

本実施形態では、選択可能に、特徴点マッチングを行う各目標画像間の差が大きい場合、スケール不変特徴変換（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ，ＳＩＦＴ）アルゴリズムが、回転、スケール、透視に対して良好なロバスト性を有するという特性を顧慮して、ＳＩＦＴアルゴリズムを用いて、収集された各目標画像における特徴点を抽出することができる。特徴点マッチングを行う各目標画像間の差が小さい場合、ＳＵＲＦ（Ｓｐｅｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅ）アルゴリズムとＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）アルゴリズムの抽出速度が速い特性を考慮して、ＳＵＲＦアルゴリズム又はＯＲＢアルゴリズムを用いて、収集された各目標画像における特徴点を抽出することができる。もちろん、目標画像の特徴点の抽出方式は、上記のＳＩＦＴアルゴリズム、ＳＵＲＦアルゴリズムとＯＲＢアルゴリズムを含むが、これらに限定されない。

【0023】

本実施形態では、２Ｄー２Ｄカメラの位置・姿勢の推定原理に基づいて、目標画像コレクター（例えば、カメラ）によって収集された二つの目標画像の特徴点に基づいて、目標画像コレクターの自身の座標系の空間における相対的な運動状況を取得することができる。また、目標画像コレクターは、異なる時刻に各目標画像の収集時刻の目標画像を収集して取得することができ、目標画像から少なくとも一つの特徴点を抽出して取得することができる。上記の原理に基づいて、目標画像コレクターの任意の二つの目標画像の特徴点を抽出して取得した後、２Ｄー２Ｄカメラの位置・姿勢の推定原理で二つの目標画像に対して特徴点マッチングを行うことにより、目標画像コレクターの相対運動を決定し、目標画像コレクターの相対回転情報と相対位置情報を推定して取得することができる。すなわち、目標画像コレクターの各目標画像の収集時刻における相対位置・姿勢を取得することができる。例えば、目標画像コレクターが第１のフレーム画像を収集するときの位置を参照位置として、目標画像コレクターの第１のフレーム画像と第２のフレーム画像の二つの画像の特徴点マッチング結果に基づいて、目標画像コレクターが第２のフレーム画像を収集するときの目標画像コレクターの相対位置・姿勢を取得することができ、すなわち、目標画像コレクターの自身の座標系の空間における相対位置・姿勢である。三角測量の原理に基づいて、目標画像コレクターの各目標画像の収集時刻における相対位置・姿勢及び空間点の各目標画像における投影点位置情報に基づいて、３次元シーン点群を再構築することができ、３次元シーンの再構築結果により、空間点のキャリブレーション座標系における位置情報を決定することができる。その中、３次元シーンにおける空間点は、目標画像の特徴点のキャリブレーション座標系における実際の位置として理解することができる。

【0024】

ステップＳ１０３：各目標画像に対応する目標位置・姿勢の情報（目標位置・姿勢情報）、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、目標画像コレクターと基準コレクターとの間の相対位置・姿勢を決定する。

【0025】

本発明の実施例の選択可能な実施形態では、目標画像コレクターと基準コレクターとの間の相対位置・姿勢を決定した後、
基準コレクターと異なる目標画像コレクターとの間の相対位置・姿勢に基づいて、異なる目標画像コレクター間の相対位置・姿勢を取得するステップをさらに含む。

【0026】

本実施形態では、位置・姿勢は、位置と姿勢を含むことができ、位置は、平行移動行列Ｔによって表示されることができ、姿勢は、回転行列Ｒによって表示されることができ、位置・姿勢は、六つの自由度に関連することができ、そのパラメータは、それぞれＸ、Ｙ、Ｚ、α、β、及びγである。基準コレクターＯ、目標画像コレクターＡと目標コレクターＢを例とすると、基準コレクターＯと目標画像コレクターＡとの間の相対位置・姿勢１は、（Ｘ_１、Ｙ_１、Ｚ_１、α_１、β_１、γ_１）であり、基準コレクターＯと目標画像コレクターＢとの間の相対位置・姿勢２は、（Ｘ_２、Ｙ_２、Ｚ_２、α_２、β_２、γ_２）であり、この時、相対位置・姿勢１（Ｘ_１、Ｙ_１、Ｚ_１、α_１、β_１、γ_１）と相対位置・姿勢２（Ｘ_２、Ｙ_２、Ｚ_２、α_２、β_２、γ_２）に対してベクトル計算を行うことができる。すなわち、目標画像コレクターＡと目標画像コレクターＢとの間の相対位置・姿勢３（Ｘ_３、Ｙ_３、Ｚ_３、α_３、β_３、γ_３）を取得することができる。もちろん、複数の目標画像コレクターが存在することができるが、上記の目標画像コレクターＡと目標画像コレクターＢに限定されず、異なる目標画像コレクター間の相対位置・姿勢は、目標画像コレクターＡと目標画像コレクターＢとの間の相対位置・姿勢３の上記計算方式を参照することができる。

【0027】

本発明の実施例には、コレクターの相対パラメータのキャリブレーション方法が提供され、当該方法は、目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置情報、及び基準コレクターと目標画像コレクターとの間の相対位置・姿勢変数に基づいて、目標画像コレクターが各目標画像を収集するときキャリブレーション座標系における目標位置情報を決定するステップと、収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するステップと、各目標画像に対応する目標位置情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定するステップと、を含む。本発明の実施例の技術案は、新しい相対位置・姿勢キャリブレーション方法を提供し、重ならない視野を有する複数のカメラ間の外部パラメータキャリブレーションを実現することができ、シーンにキャリブレーション対象を設置する必要がなく、複数のカメラ間の外部パラメータキャリブレーションの便利性を向上させる。

【0028】

（実施例２）
図２は、本発明の実施例２が提供するコレクターの相対パラメータのキャリブレーション方法のフローチャートである。本実施例は、上記の実施例に基づいてさらに最適化され、本発明の実施例は、上記の一つ又は複数の実施例における各選択可能な方案と組み合わせることができる。

【0029】

図２に示すように、本発明の実施例におけるコレクターの相対パラメータのキャリブレーション方法は、下記のステップＳ２０１〜ステップＳ２０４を含むことができる。
ステップＳ２０１：目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報（基準位置・姿勢情報）、及び基準コレクターと目標画像コレクターとの間の相対位置・姿勢の変数（相対位置・姿勢変数）に基づいて、目標画像コレクターが各目標画像を収集するときのキャリブレーション座標系における目標位置・姿勢の情報（目標位置・姿勢情報）を決定する。

【0030】

本発明の実施例の選択可能な方式では、基準コレクターが慣性ナビゲーション装置である場合、直接に慣性ナビゲーション装置から、慣性ナビゲーション装置によって収集された慣性ナビゲーション装置のワールド座標系における位置・姿勢情報を直接読み取って、目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢情報とする。

【0031】

一般的に、慣性ナビゲーション装置により慣性ナビゲーション装置のワールド座標系における位置・姿勢情報を直接読み取って、基準コレクターのキャリブレーション座標系における基準位置・姿勢情報とすることができるが、基準画像コレクターは、基準画像コレクターのワールド座標系における位置・姿勢情報を直接読み取ることができない。

【0032】

本発明の実施例の選択可能な方式では、基準コレクターが、慣性ナビゲーション装置ではなく、カメラなどのような基準画像コレクターを使用する場合、目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢情報は、以下のステップａ１〜ステップａ３の操作で決定することができる。
ステップａ１：目標画像コレクターが少なくとも二つの目標画像を収集するときに基準コレクターにより収集された各基準画像を取得する。

【0033】

ステップａ２：各基準画像から、一つの基準画像を基準キャリブレーション画像として選択し、基準キャリブレーション画像の収集時刻の基準コレクターの座標系をキャリブレーション座標系とする。

【0034】

本実施形態では、目標画像コレクターは、シーンに対して画像収集を行って、少なくとも二つの目標画像を取得することができ、目標画像コレクターが目標画像を収集するとき、基準コレクターも、基準画像を同期的に収集することができる。そのため、目標画像コレクターが少なくとも二つの目標画像を収集するときに基準コレクターにより収集された各基準画像を先に取得することができる。基準コレクターにより収集された各基準画像から任意の基準画像を基準キャリブレーション画像として選択し、基準コレクターが当該基準キャリブレーション画像を収集するときの当該基準コレクターの座標系を決定して、キャリブレーション座標系とする。

【0035】

ステップａ３：他の基準画像の収集時刻における他の基準座標系とキャリブレーション座標系と間の相対位置・姿勢を決定して、他の基準画像の収集時刻における基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報（基準位置・姿勢情報）とする。

【0036】

本実施形態では、基準キャリブレーション画像、キャリブレーション座標系及び複数の他の基準画像を決定した後、基準コレクターが他の基準画像を収集するときの基準コレクターの座標系を決定することができ、他の基準座標系として記録することができる。その中、他の基準画像は、基準コレクターにより収集された各基準画像において、基準キャリブレーション画像以外の基準画像と理解することができる。さらに、キャリブレーション座標系と他の基準座標系に基づいて、当該キャリブレーション座標系と他の基準座標系との間の相対位置・姿勢を決定し、決定された相対位置・姿勢を他の基準画像の収集時刻における基準コレクターのキャリブレーション座標系における基準位置・姿勢情報とするため、目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢情報を決定することができる。

【0037】

本実施形態では、他の基準画像の収集時刻における他の基準座標系とキャリブレーション座標系と間の相対位置・姿勢を決定するステップは、具体的に、以下のステップａ３１〜ステップａ３４の操作を含むことができる。
ステップａ３１：第１の他の基準画像と基準キャリブレーション画像との間の特徴点マッチング結果に基づいて、第１の他の基準コレクターの座標系とキャリブレーション座標系との間の基準相対位置・姿勢を決定する。
ステップａ３２：基準キャリブレーション画像と第１の他の基準画像との特徴点マッチング結果、基準相対位置・姿勢及び基準画像コレクターの内部パラメータに基づいて、基準シーン点群を構築する。
ステップａ３３：基準シーン点群と第２の他の基準画像との間の特徴点マッチング結果に基づいて、第２の他の基準コレクターの座標系とキャリブレーション座標系との間の基準相対位置・姿勢を決定し、基準シーン点群を更新する。
ステップａ３４：第２の他の基準画像を新しい第１の他の基準画像とし、新しい第２の他の基準画像を決定し、（戻して、）第１の他の基準画像と基準キャリブレーション画像との間の特徴点マッチング結果に基づいて、第１の他の基準コレクターの座標系とキャリブレーション座標系との間の基準相対位置・姿勢を決定する。

【0038】

具体的には、上記のステップａ３１〜ステップａ３４の操作において、ステップａ１とステップａ２の操作によって基準キャリブレーション画像、キャリブレーション座標系及び複数の他の基準画像を決定することができる。基準画像コレクターが基準画像を収集する頻度が速いことを考慮すると、基準画像コレクターにより収集された隣接する二つのフレームの基準画像の部分的な内容は、同じであるため、隣接する二つのフレームの基準画像に対応される特徴点の間にも一定の対応関係が存在する。２Ｄー２Ｄカメラの位置・姿勢の推定原理で、第１の他の基準画像と基準キャリブレーション画像との間に対応される特徴点に対して特徴点マッチングを行って、第１の他の基準画像と基準キャリブレーション画像との間の特徴点対応関係を取得することができる。第１の他の基準画像と基準キャリブレーション画像との間の特徴点マッチング結果に基づいて、第１の他の基準画像と基準キャリブレーション画像との間の相対的な運動状況を決定し、基準画像コレクターが第１の他の基準画像を収集するときの座標系と、基準画像コレクターが基準キャリブレーション画像を収集するときの座標系との間の基準相対位置・姿勢を推定して取得する。すなわち、第１の他の基準コレクターの座標系とキャリブレーション座標系との間の基準相対位置・姿勢を取得する。

【0039】

具体的には、三角測量の原理に基づいて、基準キャリブレーション画像と第１の他の基準画像との特徴点マッチング結果、基準相対位置・姿勢及び基準画像コレクターの内部パラメータに基づいて、基準シーン点群を構築することができる。その中、基準シーン点群によって基準キャリブレーション画像と第１の他の基準画像との特徴点の３次元実シーンにおける位置情報を決定することができる。基準シーン点群の構築が完了され、第２の他の基準画像が収集された場合、３Ｄ−２Ｄカメラの位置・姿勢推定の原理で、基準シーン点群と第２の他の基準画像との間の特徴点に対して特徴点マッチングを行うことができる。さらに、基準シーン点群と第２の他の基準画像との間の特徴点マッチング結果に基づいて、基準画像コレクターが第２の他の基準画像を収集するときの座標系と、基準画像コレクターが基準キャリブレーション画像を収集するときの座標系との間の基準相対位置・姿勢を決定することができる。すなわち、第２の他の基準コレクターの座標系とキャリブレーション座標系との間の基準相対位置・姿勢を決定する同時に、基準シーン点群を更新する。

【0040】

ステップａ３１〜ステップａ３４の操作において、第１の他の基準画像と基準キャリブレーション画像の隣接する二つのフレームの基準画像との間の各特徴点対応関係に不良な特徴点が存在する可能性があり、例えば、隣接する二つのフレーム画像において、各フレーム画像には、必ず別のフレーム画像にはない特徴点が存在し、第１の他の基準画像と基準キャリブレーション画像に対して特徴点マッチングを行う場合、異常な対応関係が生じる可能性があるため、隣接する二つのフレーム画像における不良な特徴点に対して除去することを理解することができる。また、基準画像コレクターは、異なる時間で各基準画像を収集して取得することができ、相応される特徴点のマッチングは、すべての時間、及びすべての基準画像コレクターにより収集された各基準画像の間で行われる。

【0041】

ステップＳ２０２：収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定する。

【0042】

本発明の実施例では、収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するステップは、目標画像コレクターが異なる時刻に収集した各目標画像に対して特徴点マッチングを行い、シーンにおける空間点の各目標画像における投影点位置情報を決定するステップと、目標画像コレクターの各目標画像の収集時刻における相対位置・姿勢、及び空間点の各目標画像における投影点位置情報に基づいて３次元シーンを再構築し、空間点のキャリブレーション座標系における位置情報を決定するステップと、を含むことができる。

【0043】

ステップＳ２０３：各目標画像に対応する目標位置・姿勢の情報（目標位置・姿勢情報）、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、コスト関数を構築する。

【0044】

本発明の実施例では、本実施例のＳ２０３及びＳ２０４は、実施例１におけるステップＳ１０３に対してさらに最適化されている。選択可能に、各目標画像に対応する目標位置・姿勢情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、以下のコスト関数（数式１）を構築するステップを含む。

【数1】

ただし、Ｐｒｏｊは、空間点ｉを目標画像ｊに投影することを指し、Ｘ_ｉは、３次元シーン点群の空間点ｉのキャリブレーション座標系における位置情報であり、Ｔ_ｊ^ＧＴ_Ｇ^Ｃは、目標画像コレクターＣが目標画像ｊを収集するときの目標画像コレクターＣのキャリブレーション座標系における目標位置・姿勢の情報であり、Ｔ_ｊ^Ｇは、目標画像コレクターＣが目標画像ｊを収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報であり、Ｔ_Ｇ^Ｃは、基準コレクターと目標画像コレクターとの間の相対位置・姿勢であり、Ｍ_ｉｊは、空間点ｉの目標画像ｊにおける投影点の投影点位置情報である。

【0045】

本発明の実施例では、Ｔ_ｊ^ＧＴ_Ｇ^Ｃは、目標画像コレクターＣがｊ番目の目標画像を収集するときの目標画像コレクターＣのキャリブレーション座標系における目標位置・姿勢情報である。その中、基準コレクターが慣性ナビゲーション装置である場合、当該キャリブレーション座標系は、ワールド座標系として理解することができ、基準コレクターが基準画像コレクターである場合、当該キャリブレーション座標系は、ステップａ２を参照するように、ローカル座標系として理解することができ、各基準画像から、一つの基準画像を基準キャリブレーション画像として選択し、基準キャリブレーション画像の収集時刻の基準コレクターの座標系をキャリブレーション座標系とする。このとき、基準コレクターが基準キャリブレーション画像を収集するときの基準コレクターの座標系をキャリブレーション座標系とする。

【0046】

本発明の実施例では、基準コレクターが慣性ナビゲーション装置である場合、Ｔ_ｊ^Ｇは、目標画像コレクターＣが目標画像ｊを収集するときの基準コレクターのワールド座標系における基準位置・姿勢情報として理解することができる。基準コレクターがカメラなどの基準画像コレクターである場合、Ｔ_ｊ^Ｇは、目標画像コレクターＣが目標画像ｊを収集するときの基準コレクターのローカル座標系における基準位置・姿勢情報として理解することができる。

【0047】

ステップＳ２０４：コスト関数に対して最小化を行い、反復停止条件を満たす場合、目標画像コレクターと基準コレクターとの間の相対位置・姿勢を取得する。

【0048】

本発明の実施例では、Ｔ_Ｇ^Ｃは、基準コレクターと目標画像コレクターとの間の相対位置・姿勢として理解することができ、当該初期の相対位置・姿勢変数は、一つの不正確な相対パラメータであり、本実施例のコスト関数に対して最小化を行うことによって、目標画像コレクターと基準コレクターとの間の相対位置・姿勢Ｔ_Ｇ^Ｃに対して継続的に最適化することができる。反復停止条件を満たす場合、最適化されている目標画像コレクターと基準コレクターとの間の相対位置・姿勢Ｔ_Ｇ^Ｃを取得することを示す。

【0049】

（実施例３）
図３は、本発明の実施例３が提供するコレクターの相対パラメータのキャリブレーション装置の概略構成図である。本実施例は、重ならない視野を有する複数のカメラ間の外部パラメータをキャリブレーションする場合に適用することができ、例えば、複数のカメラ間の相対位置・姿勢キャリブレーションのシーンである。当該装置は、ソフトウェア及び／又はハードウェアの形式で実現することができ、ネットワーク通信機能を有する任意の電子機器に統合することができる。

【0050】

図３に示すように、本発明の実施例におけるコレクターの相対パラメータのキャリブレーション装置は、目標位置情報決定モジュール３０１と、空間点位置情報決定モジュール３０２と、相対位置・姿勢決定モジュール３０３と、を含むことができる。
その中、目標位置情報決定モジュール３０１は、目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報、及び基準コレクターと目標画像コレクターとの間の相対位置・姿勢の変数に基づいて、目標画像コレクターが各目標画像を収集するときのキャリブレーション座標系における目標位置・姿勢の情報を決定する。
空間点位置情報決定モジュール３０２は、収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定する。
相対位置・姿勢決定モジュール３０３は、各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定する。

【0051】

本発明の実施例の選択可能な方式では、前記空間点位置情報決定モジュール３０２は、
目標画像コレクターが異なる時刻に収集した各目標画像に対して特徴点マッチングを行い、シーンにおける空間点の各目標画像における投影点位置情報を決定するための第１の位置情報決定ユニットと、
目標画像コレクターの各目標画像の収集時刻における相対位置・姿勢、及び空間点の各目標画像における投影点位置情報に基づいて３次元シーンを再構築し、空間点のキャリブレーション座標系における位置情報を決定するための第２の位置情報決定ユニットと、を含むことができる。

【0052】

本発明の実施例の選択可能な方式では、前記相対位置・姿勢決定モジュール３０３は、
各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、コスト関数を構築するためのコスト関数構築ユニットと、
前記コスト関数を最小化し、反復停止条件を満たす場合、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を取得するための相対位置・姿勢決定ユニットと、を含むことができる。

【0053】

本発明の実施例の選択可能な方式では、前記コスト関数構築ユニットは、具体的に、以下のコスト関数（数式１）を構築する。

【数2】

ただし、Ｐｒｏｊは、空間点ｉを目標画像ｊに投影することを指し、Ｘ_ｉは、３次元シーン点群の空間点ｉのキャリブレーション座標系における位置情報であり、Ｔ_ｊ^ＧＴ_Ｇ^Ｃは、目標画像コレクターＣが目標画像ｊを収集するときの目標画像コレクターＣのキャリブレーション座標系における目標位置・姿勢の情報であり、Ｔ_ｊ^Ｇは、目標画像コレクターＣが目標画像ｊを収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報であり、Ｔ_Ｇ^Ｃは、基準コレクターと目標画像コレクターとの間の相対位置・姿勢であり、Ｍ_ｉｊは、空間点ｉの目標画像ｊにおける投影点の投影点位置情報である。

【0054】

本発明の実施例の選択可能な方式では、基準コレクターが基準画像コレクターである場合、本発明の実施例におけるコレクターの相対パラメータのキャリブレーション装置は、基準画像取得モジュール３０４と、キャリブレーション座標系決定モジュール３０５と、及び基準位置情報決定モジュール３０６と、を含むこともできる。
その中、基準画像取得モジュール３０４は、目標画像コレクターが少なくとも二つの目標画像を収集するときに基準コレクターにより収集された各基準画像を取得する。
キャリブレーション座標系決定モジュール３０５は、一つの基準画像を基準キャリブレーション画像として選択し、基準キャリブレーション画像の収集時刻の基準コレクターの座標系をキャリブレーション座標系とする。
基準位置情報決定モジュール３０６は、他の基準画像の収集時刻における他の基準座標系と前記キャリブレーション座標系との間の相対位置・姿勢を決定して、他の基準画像の収集時刻における基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報とする。

【0055】

本発明の実施例の選択可能な方式では、前記基準位置情報決定モジュール３０６は、
第１の他の基準画像と基準キャリブレーション画像との間の特徴点マッチング結果に基づいて、第１の他の基準コレクターの座標系と前記キャリブレーション座標系との間の基準相対位置・姿勢を決定するための第１の基準相対位置・姿勢決定ユニットと、
前記基準キャリブレーション画像と第１の他の基準画像の特徴点マッチング結果、基準相対位置・姿勢及び基準画像コレクターの内部パラメータに基づいて、基準シーン点群を構築するための基準シーン点群構築ユニットと、
基準シーン点群と第２の他の基準画像との間の特徴点マッチング結果に基づいて、第２の他の基準コレクターの座標系と前記キャリブレーション座標系との間の基準相対位置・姿勢を決定し、基準シーン点群を更新するための基準シーン点群更新ユニットと、
第２の他の基準画像を新しい第１の他の基準画像とし、新しい第２の他の基準画像を決定し、（戻して、）第１の他の基準画像と基準キャリブレーション画像との間の特徴点マッチング結果に基づいて、第１の他の基準コレクターの座標系と前記キャリブレーション座標系との間の基準相対位置・姿勢を決定するための基準相対位置・姿勢反復処理ユニットと、を含むことができる。

【0056】

本発明の実施例の選択可能な方式では、本発明の実施例におけるコレクターの相対パラメータのキャリブレーション装置は、基準コレクターと異なる目標画像コレクターとの間の相対位置・姿勢に基づいて、異なる目標画像コレクター間の相対位置・姿勢を取得するための相対位置・姿勢取得モジュール３０７をさらに含むことができる。

【0057】

本発明の実施例で提供するコレクターの相対パラメータのキャリブレーション装置は、上記の本発明の任意の実施例によって提供されるコレクターの相対パラメータのキャリブレーション方法を実行することができ、当該コレクターの相対パラメータのキャリブレーション装置に対応する機能モジュールを実行し、有益な効果を有する。

【0058】

（実施例４）
図４は、本発明の実施例４が提供する電子機器の概略構成図である。図４は、本発明の実施形態を実現するのに適する例示的な電子機器４１２のブロック図である。図４に示される電子機器４１２は、単なる一つの例であり、本発明の実施例の機能及び使用範囲を一切制限しない。

【0059】

図４に示すように、電子機器４１２のコンポーネントは、一つ又は複数のプロセッサ４１６又は記憶装置４２８と、異なるシステムコンポーネント（記憶装置４２８とプロセッサ４１６とを含む）を接続するバス４１８と、を含むことができるが、これらに限定されない。

【0060】

バス４１８は、記憶装置バス又は記憶装置コントローラ、周辺バス、アクセラレーテッドグラフィックスポート、プロセッサ又は多様なバス構造のうち任意のバス構造を使用するローカルバスを含む、複数種のバス構造のうち一つ又は複数のものを表す。例をあげると、これらのアーキテクチャは、インダストリスタンダードアーキテクチャ（Ｉｎｄｕｓｔｒｙ Ｓｕｂｖｅｒｓｉｖｅ Ａｌｌｉａｎｃｅ、ＩＳＡ）バス、マイクロチャネルアーキテクチャ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＭＡＣ）バス、拡張ＩＳＡバス、ビデオエレクトロニクススタンダーズアソシエーション（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ、ＶＥＳＡ）ローカルバス、及びペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バスを含むが、これらに限定されない。

【0061】

電子機器４１２は、典型的には、多種類のコンピュータシステム読み取り可能な媒体を含む。これらの媒体は、電子機器４１２がアクセスすることができる任意の使用可能な媒体であってもよく、揮発性媒体及び不揮発性媒体、リムーバブル媒体及びノンリムーバブル媒体を含む。

【0062】

記憶装置４２８は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）４３０及び／又はキャッシュメモリ４３２などの揮発性メモリの形態のコンピュータシステム読み取り可能な媒体を含んでもよい。電子機器４１２は、他のリムーバブル／ノンリムーバブル、揮発性／不揮発性コンピュータシステム記憶媒体をさらに含んでもよい。単なる一例として、ストレージシステム４３４は、ノンリムーバブル、不揮発性磁気媒体（図４に示されていないが、通常「ハードドライブ」と呼ぶ）に対して読み出し及び書き込みをするために用いることができる。図４に示されていないが、リムーバブル、不揮発性磁気ディスク（例えば、「フロッピーディスク」）に対して読み出し及び書き込みをするための磁気ディスクドライブ、及びリムーバブル、不揮発性光学ディスク（例えば、コンパクトディスク読み取り専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ−ＲＯＭ）、デジタルビデオディスク読み取り専用メモリ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＤＶＤ−ＲＯＭ）又は他の光学媒体）に対して読み出し及び書き込みをするための光学ディスクドライブを提供することができる。この場合、各ドライブは、一つ又は複数のデータメディアインターフェイスを介してバス４１８に接続することがきる。記憶装置４２８は、本発明の各実施例に記載の機能を実行するように構成されるワンセットのプログラムモジュール（例えば、少なくとも一つ）を有する少なくとも一つのプログラム製品を含んでもよい。

【0063】

一組のプログラムモジュール４４２（少なくとも一つ）を有するプログラム／ユーティリティ４４０は、例えば、記憶装置４２８に記憶されてもよく、このようなプログラムモジュール４４２は、オペレーティングシステム、一つ又は複数のアプリケーションプログラム、他のプログラムモジュール、及びプログラムデータを含むことができるがこれらに限定されない。これらの例のそれぞれ又は何らかの組み合わせには、ネットワーク環境の実装が含まれる可能性がある。プログラムモジュール４４２は、通常本発明に記載の実施例における機能及び／又は方法を実行する。

【0064】

電子機器４１２は、一つ又は複数の外部機器４１４（例えば、キーボード、ポインティング端末、ディスプレイ４２４など）と通信することができるし、ユーザが電子機器４１２とインタラクションすることを可能にする一つ又は複数の端末と通信することもでき、及び／又は電子機器４１２が一つ又は複数の他のコンピューティングデバイスと通信することを可能にする任意の端末（例えば、ネットワークカード、モデムなど）と通信することができる。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェイス４２２を介して行うことができる。また、電子機器４１２は、ネットワークアダプタ４２０を介して、一つ又は複数のネットワーク（例えば、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）、及び／又はパブリックネットワーク、例えば、インターネット）と通信することができる。図４に示すように、ネットワークアダプタ４２０は、バス４１８を介して、電子機器４１２の他のモジュールと通信する。なお、図示されていないが、マイクロコードや端末ドライブ、冗長プロセッサ、外部ディスクドライブアレイ、ディスクアレイ（Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙｓ ｏｆ Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｉｓｋｓ、ＲＡＩＤ）システム、テープドライバ、及びデータバックアップストレージシステムなどを含むがこれらに限定されない他のハードウェア及び／又はソフトウェアモジュールを、電子機器４１２と組み合わせて使用することができる。

【0065】

プロセッサ４１６は、記憶装置４２８に記憶されるプログラムを実行することにより、多様な機能アプリケーション及びデータ処理を実行し、例えば、本発明の実施例が提供するコレクターの相対パラメータのキャリブレーション方法を実現する。当該方法は、
目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報、及び基準コレクターと目標画像コレクターとの間の相対位置・姿勢の変数に基づいて、目標画像コレクターが各目標画像を収集するときのキャリブレーション座標系における目標位置・姿勢の情報を決定するステップと、
収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するステップと、
各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定するステップと、を含むことができる。

【0066】

（実施例５）
本発明の実施例５は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体をさらに提供する。当該プログラムがプロセッサによって実行される場合、本発明の実施例のいずれかに記載のコレクターの相対パラメータのキャリブレーション方法を実現する。当該方法は、
目標画像コレクターが少なくとも二つの目標画像を収集するときの基準コレクターのキャリブレーション座標系における基準位置・姿勢の情報、及び基準コレクターと目標画像コレクターとの間の相対位置・姿勢の変数に基づいて、目標画像コレクターが各目標画像を収集するときのキャリブレーション座標系における目標位置・姿勢の情報を決定するステップと、
収集された各目標画像に基づいて３次元シーンを再構築し、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報を決定するステップと、
各目標画像に対応する目標位置・姿勢の情報、３次元シーン点群の空間点のキャリブレーション座標系における位置情報、及び空間点の各目標画像における投影点位置情報に基づいて、前記目標画像コレクターと前記基準コレクターとの間の相対位置・姿勢を決定するステップと、を含むことができる。

【0067】

本発明の実施例に係るコンピュータ記憶媒体は、一つ又は複数のコンピュータ読み取り可能な媒体の任意の組み合わせを採用することができる。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、或いはコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な媒体は、例えば、電子、磁気、光、電磁気、赤外線、又は半導体のシステム、装置又はデバイス、或いは上記の任意の組み合わせであってもよいがこれらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）は、一つ又は複数の配線を備える電気接続部、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ-ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記の任意の適切な組み合わせを含む。この文書において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置又はデバイスにより使用され、或いはそれらと組み合わせて使用されることが可能であるプログラムを含む又は記憶する任意の有形の媒体であってもよい。

【0068】

コンピュータ読み取り可能な信号媒体は、ベースバンドにおける、又は搬送波の一部として伝播するデータ信号を含むことができ、その中にはコンピュータ読み取り可能なプログラムコードが搭載される。この伝播するデータ信号は様々な形式を採用することができ、電磁信号、光信号又は上記の任意の適切な組み合わせを含むがこれらに限定されない。コンピュータ読み取り可能な信号媒体は、さらに、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよく、当該コンピュータ読み取り可能な媒体は、命令実行システム、装置又はデバイスにより使用され、或いはそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。

【0069】

コンピュータ読み取り可能な媒体に含まれるプログラムコードは、無線、有線、光ケーブル、ＲＦなど、又は上記の任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体によって伝送することができる。

【0070】

一つ又は複数のプログラミング言語又はそれらの組み合わせで本発明の動作を実行するためのコンピュータプログラムコードを作成することができ、前記プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのプロジェクト指向のプログラミング言語を含み、さらに、「Ｃ」言語又は同様のプログラミング言語といった従来の手続き型プログラミング言語をも含む。プログラムコードは、完全にユーザーコンピュータで実行されてもよいし、部分的にユーザーコンピュータに実行されてもよいし、スタンドアロンソフトウェアパッケージとして実行されてもよいし、部分的にユーザーコンピュータで、部分的にリモートコンピュータで実行されてもよいし、又は完全にリモートコンピュータ又はサーバーで実行してもよい。リモートコンピュータで実行する場合、リモートコンピュータは、ローカルネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意種類のインターネットを介して、ユーザーコンピュータに接続することができ、或いは、外部コンピュータ（例えば、インターネットサービスプロバイダを利用してインターネットを介して接続可能なもの）に接続することもできる。

【0071】

なお、以上は、本発明の好ましい実施例及び運用される技術的原理に過ぎない。当業者は、本発明が、ここで記載される特定の実施例に限定されないことを理解することができる。当業者であれば、本発明の保護範囲を逸脱することはなく、種々の明らかな変化、新たな調整及び取り換えを行うことができる。したがって、上記実施例により本発明について比較的詳細に説明したが、本発明は、上記実施例のみに限定されず、本発明の構想を逸脱しない場合、より多くの他の効果同等な実施例をさらに含むことができ、本発明の範囲は、特許請求の範囲によって决定される。

【図1】

【図2】

【図3】

【図4】