特許 7493793 画像標定方法、画像標定装置、画像標定システム及び画像標定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-24

(45)【発行日】2024-06-03

(54)【発明の名称】画像標定方法、画像標定装置、画像標定システム及び画像標定プログラム

(51)【国際特許分類】

   G01B 11/00 20060101AFI20240527BHJP

   G01C 11/04 20060101ALI20240527BHJP

   G01C 11/36 20060101ALI20240527BHJP

   G01B 11/24 20060101ALI20240527BHJP

   G06T 7/70 20170101ALI20240527BHJP

【ＦＩ】

G01B11/00 A

G01C11/04

G01C11/36

G01B11/24 K

G06T7/70 Z

【請求項の数】 6

(21)【出願番号】P 2020208438

(22)【出願日】2020-12-16

(65)【公開番号】P2022095239

(43)【公開日】2022-06-28

【審査請求日】2022-07-20

(73)【特許権者】

【識別番号】520466261

【氏名又は名称】株式会社ラグロフ設計工房

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】小林 範之

【審査官】仲野 一秀

(56)【参考文献】

【文献】特開２０１０－３８８２２（ＪＰ，Ａ）

【文献】特開２０１９－１０９２００（ＪＰ，Ａ）

【文献】特開２０１９－７４９９１（ＪＰ，Ａ）

【文献】織田 和夫，講座：バンドル法 第一回バンドル法概論と用語，写真測量とリモートセンシング，日本，一般社団法人 日本写真測量学会，2012年03月09日，VOL.51, NO.1，pp.54-61

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ １／００－１／１４

５／００－１５／１４

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

少なくとも被写体を撮影するときに前記被写体に対して位置が固定された第１のカメラによって、前記被写体を撮影し、第１の画像を取得するステップと、
前記被写体の少なくとも一部を複数の箇所から撮影し、複数の第２の画像を取得するステップと、
前記複数の第２の画像に基づいて、前記被写体を含む領域の、絶対座標系における３次元画像データを作成するステップと、
前記被写体における複数の点の各々に対応する対応点を、前記第１の画像と、前記複数の第２の画像のうちの少なくとも一つと、から特定するステップと、
前記第１のカメラの絶対座標系における位置座標と、前記複数の点の各々に対応する対応点の写真座標系における位置座標と、前記複数の点の各々の前記３次元画像データに基づいて特定された絶対座標系における位置座標に基づいて、前記第１のカメラの、前記第１の画像の撮像時の絶対座標系における標定要素を計算するステップと、
を含む、画像標定方法。

【請求項2】

前記複数の第２の画像は、前記被写体に対して位置が移動可能な第２のカメラによって、前記第２のカメラの移動中に前記被写体を撮影して取得した画像である
ことを特徴とする請求項１に記載の画像標定方法。

【請求項3】

前記複数の第２の画像は、少なくとも被写体を撮影するときに前記被写体に対して各々の位置が固定された複数の第３のカメラによって、被写体を撮影して取得した画像である
ことを特徴とする請求項１に記載の画像標定方法。

【請求項4】

被写体における複数の点の各々に対応する対応点を、少なくとも被写体を撮影するときに前記被写体に対して位置が固定された第１のカメラによって撮影して取得した第１の画像と、前記被写体の少なくとも一部を複数の箇所から撮影して取得した複数の第２の画像のうちの少なくとも一つと、から特定する対応点特定部と、
前記複数の第２の画像に基づいて、前記被写体を含む領域の、絶対座標系における３次元画像データを作成する３次元画像データ作成部と、
前記第１のカメラの絶対座標系における位置座標と、前記複数の点の各々に対応する対応点の写真座標系における位置座標と、前記複数の点の各々の前記３次元画像データに基づいて特定された絶対座標系における位置座標に基づいて、前記第１のカメラの、前記第１の画像の撮像時の絶対座標系における標定要素を計算する標定計算部と、
を備えた、画像標定装置。

【請求項5】

少なくとも被写体を撮影するときに被写体に対して位置が固定された第１のカメラと、
第２のカメラと、
請求項４に記載の画像標定装置と、
を備え、
前記第２のカメラは、前記複数の第２の画像を取得する、
画像標定システム。

【請求項6】

コンピューターに、
少なくとも被写体を撮影するときに前記被写体に対して位置が固定された第１のカメラによって、前記被写体を撮影して取得した第１の画像を取得させ、
前記被写体の少なくとも一部を複数の箇所から撮影して取得した複数の第２の画像を取得させ、
前記複数の第２の画像に基づいて、前記被写体を含む領域の、絶対座標系における３次元画像データを作成させ、
前記被写体における複数の点の各々に対応する対応点を、前記第１の画像と、前記複数の第２の画像のうちの少なくとも一つと、から複数点特定させ、
前記第１のカメラの絶対座標系における位置座標と、前記複数の対応点の写真座標系における位置座標と、前記複数の点の各々の前記３次元画像データに基づいて特定された絶対座標系における位置座標に基づいて、前記第１のカメラの、前記第１の画像の撮像時の絶対座標系における標定要素を計算させる、
画像標定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像標定方法、画像標定装置、画像標定システム及び画像標定プログラムに関する。

【背景技術】

【0002】

河川や道路、公園等の野外に設置されたカメラは、遠隔操作により撮影方向や倍率が可変であり、撮影画角が固定されていない場合が多い。このようなカメラによって撮影された画像から、当該画像内に写り込んだ物体の大きさや移動速度を計測する場合、当該画像の撮像時のカメラの内部標定要素及び外部標定要素を取得する必要がある。

【0003】

従来の画像標定方法は、撮影された画像から容易に視認できるマーカーを、標定対象区域内の複数箇所に設置する。そして、地上に固定された座標系における当該マーカーの位置座標を測量した上で、画像標定を行う必要がある（例えば特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【文献】再表２００５／０１７６４４

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、例えば増水時の河川や、供用中の道路等においては、マーカーの設置が禁止又は制限される場合がある。従って、標定対象区域内にマーカーの設置を必要とする従来の画像標定方法では、標定の作業が禁止又は制限される場合がある。

【0006】

本発明の目的は、標定対象区域内にマーカーの設置を必要としない標定方法を提供することである。

【課題を解決するための手段】

【0007】

上記目的を達成するための一の発明は、被写体に対して位置が固定された第１のカメラによって、前記被写体を撮影し、第１の画像を取得するステップと、各々が、前記被写体の少なくとも一部を撮影し、複数の第２の画像を取得するステップと、前記被写体における複数の点の各々に対応する対応点を、前記第１の画像と、前記複数の第２の画像のうちの少なくとも一つと、から特定するステップと、前記複数の点の各々に対応する対応点の位置座標に基づいて、前記第１のカメラの、前記第１の画像の撮像時の標定要素を計算するステップと、を含む、画像標定方法である。本発明の他の特徴については、本明細書の記載により明らかにする。

【発明の効果】

【0008】

本発明によれば、標定対象区域内にマーカーの設置を必要としない標定方法を提供することができる。

【図面の簡単な説明】

【0009】

【図1】画像標定システムの一例を示す図である。

【図2】第１のカメラと、第２のカメラとの配置の一例を示す図である。

【図3A】第１の画像の一例を示す図である。

【図3B】複数の第２の画像の一例を示す図である。

【図4】各種座標系及び共線条件について説明する図である。

【図5】画像標定装置に実現される機能ブロックの一例を示す図である。

【図6A】第１の画像から特定された複数の特徴点の一例を示す図である。

【図6B】第２の画像から特定された複数の特徴点の一例を示す図である。

【図7A】第１の画像から特定された複数の対応点の一例を示す図である。

【図7B】第２の画像から特定された複数の対応点の一例を示す図である。

【図8】３次元画像の一例を示す図である。

【図9】画像標定装置で実行される処理の一例を示すフローチャートである

【図10】画像標定装置で実行される処理の変形例を示すフローチャートである

【図11】第１のカメラと、複数の第３のカメラとの配置の一例を示す図である。

【発明を実施するための形態】

【0010】

＝＝第１実施形態＝＝
＜画像標定システム＞
図１は、本実施形態の画像標定システム１の構成を示す図である。画像標定システム１は、第１のカメラＣ１と、第２のカメラＣ２と、画像標定装置２とを備えている。図２は、第１のカメラＣ１及び第２のカメラＣ２の配置を説明する図である。

【0011】

［第１のカメラ］
第１のカメラＣ１は、第１の画像Ｆ１（詳細は後述）を得るためのカメラである。本実施形態の第１のカメラＣ１は、被写体に対して位置が固定されたカメラである。本実施形態における被写体は、河川、道路、橋、建築物等を含む。従って、第１のカメラＣ１は、地上に対して位置が固定されたカメラともいえる。第１のカメラＣ１は、姿勢、レンズの焦点距離、撮影画角等が可変であり、これらは例えば遠隔操作によって制御可能である。第１のカメラＣ１は、例えば、防災、防犯等の目的で設置された監視カメラである。

【0012】

尚、第１のカメラＣ１は、持ち運び可能なビデオカメラ、デジタルカメラ、モバイル機器に搭載されたカメラ等であってもよい。この場合、これらの機器を三脚等で地上に固定して用いればよい。

【0013】

［第２のカメラ］
第２のカメラＣ２は、複数の第２の画像Ｆ２ｉ（ｉは整数、詳細は後述）を得るためのカメラである。本実施形態の第２のカメラＣ２は、被写体に対して位置が移動可能なカメラである。第２のカメラＣ２は、例えば、航空機、車両、船舶等の移動体に積載されたカメラである。第２のカメラＣ２は、これらの移動体に設置されてもよいし、これらの移動体の乗組員の手や肩によって支持されてもよい。

【0014】

本実施形態では、第２のカメラＣ２は、航空機Ａに設置されたカメラである。図２には、航空機Ａの飛行ルートＲが示されている。航空機Ａの飛行中に、第２のカメラＣ２が被写体を撮影することによって、第２の画像Ｆ２ｉが得られる。第２のカメラＣ２が航空機に積載される場合、被写体を撮影する方向は特に制限されないが、鉛直下方に対して角度を有する方向から被写体を撮影することが好ましい。そうすると、被写体の側面のうち、鉛直方向に垂直な側面のみならず、鉛直方向に平行な側面が写る画像も得られることにより、後述する３次元画像データを高精度で得られるために好ましい。

【0015】

第２のカメラＣ２は、静止画を得るためのカメラでもよく、動画を得るためのカメラでもよい。静止画を得るためのカメラである場合、第２のカメラＣ２は、航空機Ａが所定の位置を飛行しているときに、又は所定の時間間隔で、被写体を撮影することにより、第２の画像Ｆ２ｉを得る。動画を得るためのカメラである場合、動画の所定の時間の１コマを第２の画像Ｆ２ｉとすればよい。

【0016】

尚、以下では、第１のカメラＣ１と、第２のカメラＣ２とを区別しない場合、これらを単に「カメラ」と称する。

【0017】

［画像標定装置のハードウェア構成］
図１では、画像標定装置２のハードウェア構成の一例が示されている。画像標定装置２は、ＣＰＵ（Central Processing Unit）２０、主記憶装置２１、補助記憶装置２２、入力装置２３、出力装置２４、及び通信装置２５を含むコンピューターである。

【0018】

ＣＰＵ２０は、主記憶装置２１に格納されたプログラムを読み出して実行することにより、画像標定装置２が有する上記各装置の動作を制御する。また、ＣＰＵ２０は、当該プログラムに従って、四則演算や論理演算を行う。

【0019】

主記憶装置２１は、ＣＰＵ２０が実行中のプログラムやデータを一時的に格納するための記憶装置である。主記憶装置２１は、例えばＲＡＭ（Random Access Memory）等の半導体記憶装置により構成することができる。

【0020】

補助記憶装置２２は、ＣＰＵ２０によって実行あるいは処理されるプログラムや各種データを格納するための記憶装置である。補助記憶装置２２は、例えばハードディスク等の磁気記憶装置、ＣＤやＤＶＤ等の光記憶装置、フラッシュメモリ等の半導体記憶装置等により構成することができる。補助記憶装置２２には、本実施形態に係る各種のコードから構成される画像標定プログラム及び画像データが格納されている。

【0021】

画像標定プログラムは、画像標定装置２が有する各種機能（詳細は後述）を実現するためのプログラムである。

【0022】

画像データは、第１の画像Ｆ１と、複数の第２の画像Ｆ２ｉとを含む複数の画像の各々を、出力装置２４の一つである表示装置に表示させるためのデータである。図３Ａは、第１の画像Ｆ１の一例を示す図である。図３Ｂは、複数の第２の画像Ｆ２ｉの一例を示す図である。この例では、８枚の第２の画像Ｆ２ｉ（ｉ＝１～８）が示されている。

【0023】

第１の画像Ｆ１は、第１のカメラＣ１によって、被写体を撮影して取得した画像である。第１の画像Ｆ１は、本実施形態の画像標定システム１による画像標定の対象となる画像である。つまり、本実施形態の画像標定システム１は、第１のカメラＣ１の、第１の画像Ｆ１の撮像時の標定要素を計算する。

【0024】

ここで、標定要素とは、外部標定要素と、内部標定要素とを含む。外部標定要素とは、カメラの撮像時の位置及び姿勢である。内部標定要素とは、カメラの幾何学的特性であり、カメラレンズの焦点距離、レンズ歪み係数等である。本明細書では、単に「標定要素」と称する場合、外部標定要素と、内部標定要素との双方を意味する。

【0025】

複数の第２の画像Ｆ２ｉの各々は、第２のカメラＣ２によって、撮影して取得した画像である。また、複数の第２の画像Ｆ２ｉの各々は、第２のカメラＣ２によって、被写体の少なくとも一部を撮影して取得した画像である。前述のように、第２のカメラＣ２は、航空機、車両等に設置されたカメラであるため、航空機、車両等の移動中に、複数の異なる位置から、被写体を撮影することができる。これによって、複数の第２の画像Ｆ２ｉを取得することができる。

【0026】

複数の第２の画像Ｆ２ｉは、画像標定システム１が第１の画像Ｆ１の画像標定を行う際に必要な情報を得るための画像である。第１の画像Ｆ１に写った被写体における任意の１点は、複数の第２の画像Ｆ２ｉのうち少なくとも一つに写っていることが必要である。

【0027】

また、複数の第２の画像Ｆ２ｉは、３次元画像データ作成部３２（後述）が、被写体の３次元画像データを作成するために用いられる画像でもある。３次元画像データ作成部３２は任意の構成である。３次元画像データ作成部３２が３次元画像データを作成する場合、被写体における任意の１点は、複数の第２の画像Ｆ２ｉのうち少なくとも二つの第２の画像Ｆ２ｉに写っていることが必要である。

【0028】

尚、以下では、第１の画像Ｆ１と、第２の画像Ｆ２ｉとを区別しない場合、これらを単に「画像」と称する。

【0029】

入力装置２３は、画像標定装置２の外部から画像標定装置２の内部へ各種データを取り込むためのユーザインタフェースである。入力装置２３は、キーボード、マウス、マイク等の装置である。

【0030】

出力装置２４は、画像標定装置２の内部における処理結果等を、画像標定装置２の外部に出力するためのユーザインタフェースである。出力装置２４は、ＬＣＤ（Liquid Crystal Display）等の表示装置、プリンタ、スピーカ等の装置である。

【0031】

通信装置２５は、画像標定装置２を各種通信網に接続するためのネットワークインターフェースである。通信装置２５は、インターネットやＬＡＮ（Local Area Network）等のネットワークを介して他のコンピューターからデータを受信し、受信したデータを補助記憶装置２２や主記憶装置２１に記憶する。また、通信装置２５は、補助記憶装置２２や主記憶装置２１に記憶されているデータを、ネットワークを介して他のコンピューターへ送信する。通信装置２５は、例えばネットワークカード等の装置である。

【0032】

［各種座標系と共線条件］
図４は、各種座標系及び共線条件について説明する図である。画像標定装置２の機能ブロックの説明を行う前に、後の説明の便宜のため、絶対座標系と、写真座標系と、カメラ座標系とについて定義し、これらの関係について説明する。更に、共線条件について説明する。

【0033】

絶対座標系は、地上の一点に原点を有し、地上に対する３つの方向の座標軸を有する３次元の直交座標系である。カメラの位置Ｏの絶対座標系における位置座標を、点Ｏ（Ｘ_０，Ｙ_０，Ｚ_０）とする。また、被写体上のある点Ｐの絶対座標系における位置座標を、点Ｐ（Ｘ，Ｙ，Ｚ）とする。

【0034】

写真座標系は、画像上の一点に原点を有し、画像に対する２つの方向の座標軸を有する２次元の直交座標系である。点Ｐ（Ｘ，Ｙ，Ｚ）に対応する、写真座標系における位置座標を、点ｐ（ｘ，ｙ）とする。

【0035】

カメラ座標系は、カメラの位置に原点を有し、カメラに対する３つの方向の座標軸を有する３次元の直交座標系である。カメラの座標系におけるカメラの位置座標ｏを、点ｏ（０，０，０）とする。また、点Ｐ（Ｘ，Ｙ，Ｚ）に対応する、カメラ座標系における位置座標ｐを、写真座標系における座標値を用いて、点ｐ（ｘ，ｙ，－ｃ）とする。ｃは、カメラレンズの焦点距離である。

【0036】

点Ｏと、点ｐと、点Ｐとは、一直線に並ぶ。これは、共線条件と称され、共線条件を定式化することにより、以下の式が得られる。

【0037】

ここで、ｋは、正の実数である。また、行列Ｒは、カメラ座標系から絶対座標系へ変換するための行列であって、３行３列の直交行列ａ_ｉｊ（ｉ＝１～３、ｊ＝１～３）である。つまり、行列Ｒの転置行列は、行列Ｒの逆行列に等しい。また、行列Ｒが決まると、外部標定要素の一つであるカメラの姿勢が特定される。つまり、行列Ｒの各成分は、外部標定要素に起因するパラメータである。

【0038】

式１のｋを消去すると、下記の２式が得られる。

【0039】

ここで、レンズ歪み等の内部標定要素に起因して、写真座標系の位置座標（式２－１及び式２－２）の左辺）に誤差Δｘ及びΔｙが生じる場合、式（２－１）及び式（２－２）はそれぞれ、以下の式３－１及び式３－２のように書き換えられる。

【0040】

つまり、内部標定要素は、誤差Δｘ及びΔｙとしてモデル化される。誤差Δｘ及びΔｙの、内部標定要素を用いた表現については、幾つかのモデルが提案されているが、いずれを用いてもよく、特に制限はない。

【0041】

本明細書において、「標定要素を計算する」とは、当該標定要素の数値を求めること、又は当該標定要素に起因するパラメータ等の数値を求めることである。また、本明細書において、「カメラの外部標定要素を計算する」とは、カメラの絶対座標における位置座標と、カメラの姿勢を特定するパラメータを求めることを意味する。「カメラの姿勢を特定するパラメータ」とは、行列Ｒの成分（独立なパラメータは３つ）であってもよいし、絶対座標系のＸ軸、Ｙ軸及びＺ軸の各々に対するカメラ座標の回転角ω、φ及びκであってもよい。また、本明細書において、「カメラの内部標定要素を計算する」とは、カメラレンズの焦点距離ｃと、カメラの内部標定要素に起因する誤差Δｘ及びΔｙのモデルに含まれた内部標定要素を求めることを意味する。

【0042】

［画像標定装置の機能ブロック］
図５は、画像標定装置２に実現される機能ブロックの一例を示す図である。画像標定装置２のＣＰＵ２０が、標定プログラムを実行することにより、画像標定装置２には、特徴点特定部３０と、対応点特定部３１と、標定計算部３４と、３次元画像データ作成部３２と、表示制御部３３とが実現される。

【0043】

特徴点特定部３０は、第１の画像Ｆ１と、複数の第２の画像Ｆ２ｉとの各々について、複数の特徴点を特定する。特徴点とは、画像内において、明瞭な特徴と視認される点である。特徴点は、例えば、地形が有する角、道路の白線の終端、建築物が有する角等に対応する画像内の箇所である。

【0044】

「特徴点を特定する」とは、画像における特徴点の写真座標系における位置座標を特定することを意味する。特徴点を特定する方法としては、例えば、Ｆｏｅｒｓｔｎｅｒフィルタ、ＳＵＳＡＮフィルタ、ＦＡＳＴフィルタ等を用いることができる。特徴点特定部３０は、複数の特徴点を特定した後に、複数の特徴点の各々の写真座標系における位置座標を特定する。

【0045】

図６Ａは、第１の画像Ｆ１において特定された複数の特徴点を示す図である。図６Ｂは、複数の第２の画像Ｆ２ｉのうち、第２の画像Ｆ２１において特定された複数の特徴点を示す図である。図６Ａ及び図６Ｂにおいて、特定された特徴点を黒丸で示す。

【0046】

第１の画像Ｆ１及び第２の画像Ｆ２１から特定される特徴点の数は、多いほど好ましい。詳細は後述するが、第１の画像Ｆ１及び第２の画像Ｆ２１から特定される特徴点の数が多いほど、第１の画像Ｆ１及び第２の画像Ｆ２１から、多くの対応点が特定されやすくなる。第１の画像Ｆ１及び第２の画像Ｆ２１から、少なくとも６個の対応点が特定されるのに十分な数の特徴点を特定することが好ましい。他の第２の画像Ｆ２ｉ（ｉ≠１）についても同様の手順で複数の特徴点が特定される。

【0047】

３次元画像データ作成部３２は、複数の第２の画像Ｆ２ｉに基づいて、被写体を含む領域の３次元画像データを作成する。具体的には、３次元画像データ作成部３２は、フォトグラメトリの原理を用いて、３次元画像データを作成する。図８は、図４Ｂに示した８枚の第２の画像Ｆ２ｉから得られた３次元画像の一例である。尚、３次元画像データ作成部３２は任意の構成である。

【0048】

表示制御部３３は、３次元画像データ作成部３２が作成した３次元画像データに基づく３次元画像３２ａを、出力装置２４の一である表示装置に表示させる。ユーザは、キーボード、マウス等を用いて、被写体を含む領域の３次元画像３２ａを、任意の方向から視認することができる。

【0049】

ユーザは、３次元画像３２ａを視認することにより、複数の第２の画像Ｆ２ｉが、後述する標定計算部３４による画像標定において十分な精度を得るために十分なデータであるか否かを確認する。仮に、３次元画像３２ａが、現実の被写体を十分な精度で再現していないと視認される場合、画像標定において十分な精度を得ることが困難であると予測される。

【0050】

また、ユーザは、３次元画像３２ａを視認することにより、第１の画像Ｆ１の画像標定が可能か否かを確認する。仮に、第１の画像Ｆ１に写った被写体の範囲が、３次元画像３２ａに含まれていない場合、第１の画像Ｆ１の画像標定が不可能である。

【0051】

また、３次元画像３２ａと、絶対座標とを関連付けることにより、被写体の一点の、絶対座標系における位置座標を特定してもよい。そうすると、カメラ座標系における対応点の、絶対座標系における位置座標を特定することができる。これによって、セルフキャリブレーション付きバンドル法（後述）の精度が向上し、画像標定の精度が向上する。

【0052】

対応点特定部３１は、被写体における複数の点（絶対座標系における複数の点）の各々に対応する対応点を、第１の画像Ｆ１と、複数の第２の画像Ｆ２ｉのうちの少なくとも一つと、から特定する。ここで、「対応点」とは、被写体のある一点を点Ｐとした場合に、点Ｐに対応する、写真座標系の点である。対応点は、「タイポイント」とも称される。

【0053】

「対応点を特定する」とは、対応点の写真座標系における位置座標を特定することを意味する。

【0054】

具体的に、対応点特定部３１が、被写体における複数の点の各々に対応する対応点を、第１の画像Ｆ１と、第２の画像Ｆ２１と、から特定する方法について説明する。対応点特定部３１は、例えば、第１の画像Ｆ１から特定された複数の特徴点と、第２の画像Ｆ２１から特定された複数の特徴点との全ての対について、パターンマッチングの手法を用いて類似度を算出する。パターンマッチングの手法としては、例えば、正規化相互相関法や最小二乗相関法を用いることができる。

【0055】

そして、対応点特定部３１は、例えば、類似度が所定の閾値以上となる特徴点の対を、被写体のある一点に対応する、第１の画像Ｆ１における対応点と、第２の画像Ｆ２１における対応点として特定する。

【0056】

図７Ａは、第１の画像Ｆ１から特定された複数の対応点を示す図である。図７Ｂは、第２の画像Ｆ２１から特定された複数の対応点を示す図である。図７Ａ及び図７Ｂにおいて、特定された対応点が、黒丸で示されている。

【0057】

これらの図において、図７Ａの点ｑ_ｊ（１）と、図７Ｂの点ｑ_ｊ（２１）とは、いずれも被写体における点Ｐ_ｊ（図示せず）に対応する対応点を意味する。第１の画像Ｆ１と、他の第２の画像Ｆ２ｉ（ｉ≠１）についても同様の手順で複数の対応点が特定される。

【0058】

標定計算部３４は、複数の対応点の写真座標系における各々の位置座標に基づいて、第１のカメラＣ１の、第１の画像Ｆ１の撮像時の標定要素を計算する。具体的には、標定計算部３４は、セルフキャリブレーション付きバンドル法を用いて、第１のカメラＣ１の、第１の画像Ｆ１の撮像時の標定要素を計算する。

【0059】

バンドル法とは、共線条件を定式化し、最小自乗法を用いて解くことにより、外部標定要素を求める手法である。セルフキャリブレーション付きバンドル法とは、カメラの外部標定要素に加えて、内部標定要素を同時に計算する手法であり、バンドル法で利用される共線条件式に誤差モデルの項を追加して、未知の量を解く手法である（式３－１及び式３－２）。

【0060】

第１の画像Ｆ１から特定された複数の対応点のうち一の対応点ｑ_ｊ（１）から、下記の共線条件が得られる。ここで、点ｑ_ｊ（１）のカメラ座標系における座標を、（ｘ（１），ｙ（１），ｚ（１））とする。また、対応点ｑ_ｊ（１）に対応する絶対座標系における位置座標を、（Ｘ，Ｙ，Ｚ）とする。

【0061】

更に、第２の画像Ｆ２１から特定された複数の対応点のうち一の対応点ｑ_ｊ（２１）から、下記の定式化された共線条件が得られる。ここで、点ｑ_ｊ（２１）のカメラ座標系における座標を、（ｘ（２１），ｙ（２１），ｚ（２１））とする。また、対応点ｑ_ｊ（２１）に対応する絶対座標系における位置座標は、対応点ｑ_ｊ（１）に対応する絶対座標系における位置座標と同一であり、（Ｘ，Ｙ，Ｚ）である。

【0062】

式４－１及び式４－２において、変数に「（１）」と付したものは、第１の画像Ｆ１に関する変数であることを意味する。同様に、式５－１及び式５－２において、変数に「（２１）」と付したものは、第２の画像Ｆ２１に関する変数であることを意味する。

【0063】

同様にして、第１の画像Ｆ１と、第２の画像Ｆ２ｉ（ｉ≠１）とから特定された複数の対応点の対の数の２倍の数だけ、共線条件が得られる。

【0064】

標定計算部３４は、上述の方法で定式化された複数の共線条件を、セルフキャリブレーション付きバンドル法を用いて、第１のカメラＣ１の、第１の画像Ｆ１の撮像時の標定要素を計算する。

【0065】

＜画像標定処理＞
以下、各機能ブロックが実行する処理の一例を、図９を参照しながら説明する。図９は、画像標定装置２で実行される処理の一例を示すフローチャートである。

【0066】

本実施形態の画像標定処理は、第１の画像Ｆ１を取得するステップＳ１と、複数の第２の画像Ｆ２ｉを取得するステップＳ２と、特徴点を特定するステップＳ２と、対応点を特定するステップＳ３と、標定要素を計算するステップＳ４と、を含む。

【0067】

ステップＳ１において、特徴点特定部３０は、補助記憶装置２２に記録された、第１の画像Ｆ１を表現するための画像データを読み出し、第１の画像Ｆ１を取得する。

【0068】

ステップＳ２において、特徴点特定部３０は、補助記憶装置２２に記録された、複数の第２の画像Ｆ２ｉの各々を表現するための画像データを読み出し、複数の第２の画像Ｆ２ｉを取得する。尚、ステップＳ１及びステップＳ２の順序は任意である。

【0069】

ステップＳ３において、特徴点特定部３０は、第１の画像Ｆ１と、複数の第２の画像Ｆ２ｉとの各々から、複数の特徴点を特定する。

【0070】

ステップＳ４において、対応点特定部３１は、第１の画像Ｆ１と、複数の第２の画像Ｆ２ｉとの対応点を、複数点特定する。

【0071】

ステップＳ５において、標定計算部３４は、ステップＳ２で得られた複数の対応点に基づいて、第１のカメラＣ１の、第１の画像Ｆ１の撮像時の標定要素を計算する。

【0072】

＝＝変形例１＝＝
各機能ブロックが実行する処理の変形例を、図１０を参照しながら説明する。図１０は、画像標定装置２で実行される処理の変形例を示すフローチャートである。本変形例の処理は、第１実施形態の処理（図９）に比べると、３次元画像データを作成するステップＳ４´を更に含む点で異なっている。第１実施形態のステップＳ１、ステップＳ２、ステップＳ３、ステップＳ４及びステップＳ５はそれぞれ、本変形例のステップＳ１´、ステップＳ２´、ステップＳ３´、ステップＳ５´及びステップＳ６´と同様である。

【0073】

本変形例では、３次元画像データを作成するステップＳ４´は、対応点を特定するステップＳ５´の前に実行される。ステップＳ４´において、３次元画像データ作成部３２は、複数の第２の画像Ｆ２ｉを用いて被写体を含む領域の３次元画像データを作成する。尚、ステップＳ４´は、ステップＳ６´の前に実行されればよく、この例のタイミングに限られない。

【0074】

＝＝変形例２＝＝
画像標定システム１の処理において、第１の画像Ｆ１と、複数の第２の画像Ｆ２ｉとは、解像度、明るさ、コントラスト、色彩等の画質、影の位置等が近いことが好ましい。そうすると、対応点特定部３１が実行するパターンマッチングの精度を一定以上に保つことができ、ひいては得られる標定要素の精度を一定以上に保つことができる。

【0075】

従って、第１の画像Ｆ１と、複数の第２の画像Ｆ２ｉとについて画像処理を行い、解像度、明るさ、コントラスト、色彩等が近くなるように調整してもよい。このような画像処理は、対応点を特定するステップＳ５（図９）の前の任意のタイミングで行えばよい。

【0076】

＝＝第２実施形態＝＝
本実施形態の画像標定システムは、第１実施形態の画像標定システム１と比べると、複数の第２の画像Ｆ２ｉを得るためのカメラが異なっている。その他の構成、処理方法等は、第１実施形態と同様である。

【0077】

図１１は、第１のカメラＣ１と、複数の第３のカメラＣ３との配置の一例を示す図である。本実施形態では、複数の第２の画像Ｆ２ｉは、複数の第３のカメラＣ３によって、撮影して取得した画像である。複数の第３のカメラＣ３の各々は、被写体に対して、位置が固定されている。

【0078】

複数の第３のカメラＣ３の各々は、所定の時間間隔で第２の画像Ｆ２ｉを得る。複数の第３のカメラＣ３の各々は、第１実施形態の第２のカメラＣ２と同様に、静止画を得るためのカメラでもよく、動画を得るためのカメラでもよい。

【0079】

また、複数の第３のカメラＣ３の各々は、姿勢、撮影画角等が遠隔操作により制御可能であってもよいし、これらが固定されていてもよい。

【0080】

前述のように、画像標定システムの処理において、第１の画像Ｆ１と、複数の第２の画像Ｆ２ｉとは、解像度、明るさ、コントラスト、色彩等の画質、影の位置等が近いことが好ましい。

【0081】

従って、複数の第２の画像Ｆ２ｉとしては、第１の画像Ｆ１が得られた時刻に可能な限り近い時刻に得られたものを選択することが好ましい。

【0082】

また、本実施形態の複数の第３のカメラＣ３によれば、任意のタイミングで被写体を撮影して複数の第２の画像Ｆ２ｉを取得することができる。従って、予め被写体を撮影して複数の第２の画像Ｆ２ｉを取得し、３次元画像データを作成しておいてもよい。そして、複数の第２の画像Ｆ２ｉの各々を表現するための画像データと、当該３次元画像データとを、補助記憶装置２２に保存しておいてもよい。

【0083】

そして、その後に第１のカメラＣ１が被写体を撮影して得られた第１の画像Ｆ１について、標定要素を計算してもよい。この場合、図１０のフローチャートにおいて、３次元画像データを作成するステップＳ４´の代わりに、補助記憶装置２２に記録された３次元画像データを読み出すステップとすればよい。

【0084】

上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本発明は、その趣旨を逸脱することなく、変更や改良され得るとともに、本発明にはその等価物が含まれるのはいうまでもない。

【0085】

以上、第１及び第２実施形態の画像標定方法は、被写体に対して固定された位置に設置された第１のカメラＣ１によって、被写体が撮影されることによって得られた、第１の画像Ｆ１を取得するステップと、各々が、被写体の少なくとも一部が撮影されることによって得られた、複数の第２の画像Ｆ２ｉを取得するステップと、第１の画像Ｆ１と、複数の第２の画像Ｆ２ｉとの対応点を、複数点特定するステップと、複数の対応点の各々の写真座標系における位置座標に基づいて、第１のカメラＣ１の、第１の画像Ｆ１の撮像時の標定要素を計算するステップと、を含む。

【0086】

このような画像標定方法によれば、第１の画像Ｆ１の画像標定を行う際、標定対象区域内にマーカーの設置を必要としない。従って、マーカーの設置が禁止又は制限される区域の画像についても、画像標定を行うことができる。

【0087】

また、当該標定方法は、対応点を複数点特定するステップの前に、複数の第２の画像Ｆ２ｉに基づいて、被写体を含む領域の３次元画像データを作成するステップを更に含んでもよい。これによって、ユーザは、３次元画像３２ａを視認することにより、複数の第２の画像Ｆ２ｉが、画像標定において十分な精度を得るために十分なデータであるか否かを確認することができる。また、ユーザは、３次元画像３２ａを視認することにより、第１の画像Ｆ１の画像標定が可能か否かを確認することができる。また、３次元画像３２ａと、絶対座標とを関連付けることにより、被写体の一点の、絶対座標系における位置座標を特定することができる。そうすると、カメラ座標系における対応点の、絶対座標系における位置座標を特定することができる。これによって、セルフキャリブレーション付きバンドル法の精度が向上し、画像標定の精度が向上する。

【0088】

また、第１実施形態の標定方法において、複数の第２の画像Ｆ２ｉは、被写体に対して移動可能な位置に設置された第２のカメラＣ２によって撮影されることによって得られた画像である。これによって、複数の第２の画像Ｆ２ｉを得るために、複数のカメラを必要とせず、被写体に対して異なる位置及び角度から、被写体を複数撮影することができる。

【0089】

また、第２実施形態の標定方法において、複数の第２の画像Ｆ２ｉは、被写体に対して固定された位置に設置された複数の第３のカメラＣ３によって撮影されることによって得られた画像である。これによって、第１の画像Ｆ１と、複数の第２の画像Ｆ２ｉとの画質が近くなる。そうすると、対応点特定部３１が実行するパターンマッチングの精度を一定以上に保つことができ、ひいては得られる標定要素の精度を一定以上に保つことができる。

【0090】

第１及び第２実施形態の画像標定装置２は、被写体における複数の点の各々に対応する対応点を、被写体に対して位置が固定された第１のカメラＣ１によって撮影して取得した第１の画像Ｆ１と、被写体の少なくとも一部を撮影して取得した複数の第２の画像Ｆ２ｉのうちの少なくとも一つと、から特定する対応点特定部と、複数の点の各々に対応する対応点の位置座標に基づいて、前記第１のカメラの、第１の画像Ｆ１の撮像時の標定要素を計算する標定計算部３４と、を含む。

【0091】

このような画像標定装置２によれば、第１の画像Ｆ１の画像標定を行う際、標定対象区域内にマーカーの設置を必要とせずに、画像標定を行うことができる。従って、マーカーの設置が禁止又は制限される区域の画像についても、画像標定を行うことができる。

【0092】

第１及び第２実施形態の画像標定システム１は、被写体に対して位置が固定された第１のカメラＣ１と、第２のカメラＣ２と、上記画像標定装置２とを備える。

【0093】

このような画像標定システム１によれば、第１の画像Ｆ１の画像標定を行う際、標定対象区域内にマーカーの設置を必要とせずに、画像標定を行うことができる。従って、マーカーの設置が禁止又は制限される区域の画像についても、画像標定を行うことができる。

【0094】

第１及び第２実施形態の画像標定プログラムは、コンピューターに、被写体に対して固定された位置に設置された第１のカメラＣ１によって、被写体が撮影されることによって得られた第１の画像Ｆ１を取得させ、各々が、被写体の少なくとも一部が撮影されることによって得られた複数の第２の画像Ｆ２ｉを取得させ、第１の画像Ｆ１と、複数の第２の画像Ｆ２ｉとの対応点を複数点特定させ、複数の対応点の各々の、被写体に固定された座標系における位置座標を取得させ、複数の対応点に基づいて、第１のカメラＣ１の、第１の画像Ｆ１の撮像時の標定要素を計算させる。

【0095】

このような画像標定プログラムによれば、第１の画像Ｆ１の画像標定を行う際、標定対象区域内にマーカーの設置を必要とせずに、コンピューターに画像標定を実行させることができる。従って、マーカーの設置が禁止又は制限される区域の画像についても、画像標定を行うことができる。

【符号の説明】

【0096】

１：画像標定システム
Ｃ１：第１のカメラ
Ｃ２：第２のカメラ
Ｃ３：第３のカメラ
２：画像標定装置
２０：ＣＰＵ
２１：主記憶装置
２２：補助記憶装置
２３：入力装置
２４：出力装置
２５：通信装置
３０：特徴点特定部
３１：対応点特定部
３２：３次元画像データ作成部
３３：表示制御部
３４：標定計算部

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6A】

【図6B】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】