特許 5992184 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5992184

(24)【登録日】2016年8月26日

(45)【発行日】2016年9月14日

(54)【発明の名称】画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム

(51)【国際特許分類】

   H04N 5/225 20060101AFI20160901BHJP

   G06T 1/00 20060101ALI20160901BHJP

   G08G 1/16 20060101ALI20160901BHJP

   B60R 1/00 20060101ALI20160901BHJP

   H04N 5/232 20060101ALI20160901BHJP

【ＦＩ】

   H04N5/225 Z

   G06T1/00 315

   G08G1/16 C

   B60R1/00 A

   H04N5/232 Z

【請求項の数】6

【全頁数】29

(21)【出願番号】特願2012-53645(P2012-53645)

(22)【出願日】2012年3月9日

(65)【公開番号】特開2013-187862(P2013-187862A)

(43)【公開日】2013年9月19日

【審査請求日】2015年2月12日

(73)【特許権者】

【識別番号】000220343

【氏名又は名称】株式会社トプコン

(74)【代理人】

【識別番号】100096884

【弁理士】

【氏名又は名称】末成 幹生

(72)【発明者】

【氏名】穴井 哲治

(72)【発明者】

【氏名】深谷 暢之

(72)【発明者】

【氏名】高地 伸夫

(72)【発明者】

【氏名】大谷 仁志

【審査官】 榎 一

(56)【参考文献】

【文献】 特開２０１０−２７３０９１（ＪＰ，Ａ）

【文献】 特開２００６−０９０９５７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２〜２５７

Ｂ６０Ｒ １／００

Ｇ０６Ｔ １／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

複数のカメラからの画像データを受け付ける画像データ受け付け部と、
前記複数のカメラのそれぞれから得られるステレオペア画像に基づき、撮影対象の特徴点の３次元座標を算出する特徴点算出部と、
前記複数のカメラの位置および姿勢を算出する位置姿勢算出部と、
前記複数のカメラ毎に算出された前記特徴点の３次元座標および前記位置姿勢算出部において算出された前記複数のカメラそれぞれの位置および姿勢を特定の統合座標上に座標変換する座標変換部と、
前記複数のカメラそれぞれの精度を反映した重みを前記複数のカメラのそれぞれに設定する重み設定部と、
前記重みを反映させた状態で、前記座標変換された前記複数のカメラそれぞれに対応する前記特徴点のデータ、前記複数のカメラそれぞれの位置のデータおよび前記複数のカメラそれぞれの姿勢のデータの少なくとも一つの平均値を算出することで、データの統合を行うデータ統合部と
を備え、
前記複数のカメラが車両に搭載されており、
前記画像データ受け付け部が受け付けた画像データに基づき、前記車両の位置および前記車両の速度の少なくとも一方の算出が行われることを特徴とする画像データ処理装置。

【請求項2】

複数のカメラからの画像データを受け付ける画像データ受け付け部と、
前記複数のカメラのそれぞれから得られるステレオペア画像に基づき、撮影対象の特徴点の３次元座標を算出する特徴点算出部と、
前記複数のカメラの位置および姿勢を算出する位置姿勢算出部と、
前記複数のカメラ毎に算出された前記特徴点の３次元座標および前記位置姿勢算出部において算出された前記複数のカメラそれぞれの位置および姿勢を特定の統合座標上に座標変換する座標変換部と、
前記複数のカメラそれぞれの精度を反映した重みを前記複数のカメラのそれぞれに設定する重み設定部と、
前記重みを反映させた状態で、前記座標変換された前記複数のカメラそれぞれに対応する前記特徴点のデータ、前記複数のカメラそれぞれの位置のデータおよび前記複数のカメラそれぞれの姿勢のデータの少なくとも一つの平均値を算出することで、データの統合を行うデータ統合部と
を備え、
前記データの統合において、
前記複数のカメラが撮影した動画を構成するフレーム画像上における前記特徴点に対する線形化された共線条件式を立てるステップと、
前記線形化された共線条件式に各カメラに設定された前記重みを付けるステップと、
前記重みが付けられた前記共線条件式から前記平均値の算出を行うステップと
が行われることを特徴とする画像データ処理装置。

【請求項3】

複数のカメラからの画像データを受け付ける画像データ受け付け部と、
前記複数のカメラのそれぞれから得られるステレオペア画像に基づき、撮影対象の特徴点の３次元座標を算出する特徴点算出部と、
前記複数のカメラの位置および姿勢を算出する位置姿勢算出部と、
前記複数のカメラ毎に算出された前記特徴点の３次元座標および前記位置姿勢算出部において算出された前記複数のカメラそれぞれの位置および姿勢を特定の統合座標上に座標変換する座標変換部と、
前記複数のカメラそれぞれの精度を反映した重みを前記複数のカメラのそれぞれに設定する重み設定部と、
前記重みを反映させた状態で、前記座標変換された前記複数のカメラそれぞれに対応する前記特徴点のデータ、前記複数のカメラそれぞれの位置のデータおよび前記複数のカメラそれぞれの姿勢のデータの少なくとも一つの平均値を算出することで、データの統合を行うデータ統合部と、
前記複数のカメラの中の特定のカメラの重みを推定する重み推定部と
を備え、
前記重み推定部は、
前記特定のカメラに仮の精度を与えるステップと、
前記特定のカメラが撮影した画像に基づいて、前記仮の精度を反映した前記特定のカメラの位置の算出値の分布を第１の分布として求めるステップと、
計測精度が判明している位置計測手段に基づく、当該判明している計測精度を反映した前記特定のカメラの位置の算出値の分布を第２の分布として求めるステップと、
前記第１の分布と前記第２の分布の差が特定の条件を満たす場合の前記仮の精度に基づき、前記特定のカメラの重みを推定するステップと
を実行することを特徴とする画像データ処理装置。

【請求項4】

前記データ統合部は、カメラ以外の計測装置から得られた前記複数のカメラが配置された土台となる部分の位置および姿勢の少なくとも一方のデータの統合も行うことを特徴とする請求項１〜３のいずれか一項に記載の画像データ処理装置。

【請求項5】

複数のカメラからの画像データを受け付ける画像データ受け付けステップと、
前記複数のカメラのそれぞれから得られるステレオペア画像に基づき、撮影対象の特徴点の３次元座標を算出する特徴点算出ステップと、
前記複数のカメラの位置および姿勢を算出する位置姿勢算出ステップと、
前記複数のカメラ毎に算出された前記特徴点の３次元座標および前記位置姿勢算出ステップにおいて算出された前記複数のカメラそれぞれの位置および姿勢を特定の統合座標上に座標変換する座標変換ステップと、
前記複数のカメラそれぞれの精度を反映した重みを設定する重み設定ステップと、
前記重みを反映させた状態で、前記座標変換された前記複数のカメラそれぞれに対応する前記特徴点のデータ、前記複数のカメラそれぞれの位置のデータおよび前記複数のカメラの姿勢のデータの少なくとも一つの平均値を算出することで、データの統合を行うデータ統合ステップと
を備え
前記複数のカメラが車両に搭載されており、
前記画像データ受け付けステップで受け付けた画像データに基づき、前記車両の位置および前記車両の速度の少なくとも一方の算出が行われることを特徴とする画像データ処理方法。

【請求項6】

コンピュータに読み取らせて実行させるプログラムであって、
コンピュータを
複数のカメラからの画像データを受け付ける画像データ受け付け部と、
前記複数のカメラのそれぞれから得られるステレオペア画像に基づき、撮影対象の特徴点の３次元座標を算出する特徴点算出部と、
前記複数のカメラの位置および姿勢を算出する位置姿勢算出部と、
前記複数のカメラ毎に算出された前記特徴点の３次元座標および前記位置姿勢算出部において算出された前記複数のカメラそれぞれの位置および姿勢を特定の統合座標上に座標変換する座標変換部と、
前記複数のカメラそれぞれの精度を反映した重みを設定する重み設定部と、
前記重みを反映させた状態で、前記座標変換された前記複数のカメラそれぞれに対応する前記特徴点のデータ、前記複数のカメラそれぞれの位置のデータおよび前記複数のカメラの姿勢のデータの少なくとも一つの平均値を算出することで、データの統合を行うデータ統合部と
して動作させ、
前記複数のカメラが車両に搭載されており、
前記画像データ受け付け部で受け付けた画像データに基づき、前記車両の位置および前記車両の速度の少なくとも一方の算出が行われることを特徴とする画像データ処理用のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数のカメラから得た画像データを統合的に取り扱う技術に関する。

【背景技術】

【0002】

写真測量の原理を用いて、カメラの位置の検出を行う技術が知られている（例えば、特許文献１参照）。また、移動する車両上から複数のカメラにより撮影を行い、異なる複数のカメラから得た画像データを統合的に扱う技術が特許文献２に記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−１７１０４８号公報

【特許文献2】特開２００７−１４２５１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、車両に複数のカメラを搭載し、この複数のカメラから撮影を行う場合、カメラの設置場所、カメラが受ける振動、機器そのものの性能や規格の違い、外乱（電子ノイズ等）といった要因により、各カメラから得た画像データの精度に違いがある場合がある。この場合、単に各画像データに基づく算出値を統合したのでは、低精度の画像データの影響で統合したデータの精度が低下する。

【0005】

このような背景において、本発明は、複数のカメラから得た撮影対象の特徴点および各カメラの外部標定要素を統合して取り扱う技術において、低精度の画像データの影響を抑えることができる技術の提供を目的とする。

【課題を解決するための手段】

【0006】

請求項１に記載の発明は、複数のカメラからの画像データを受け付ける画像データ受け付け部と、前記複数のカメラのそれぞれから得られるステレオペア画像に基づき、撮影対象の特徴点の３次元座標を算出する特徴点算出部と、前記複数のカメラの位置および姿勢を算出する位置姿勢算出部と、前記複数のカメラ毎に算出された前記特徴点の３次元座標および前記位置姿勢算出部において算出された前記複数のカメラそれぞれの位置および姿勢を特定の統合座標上に座標変換する座標変換部と、前記複数のカメラそれぞれの精度を反映した重みを前記複数のカメラのそれぞれに設定する重み設定部と、前記重みを反映させた状態で、前記座標変換された前記複数のカメラそれぞれに対応する前記特徴点のデータ、前記複数のカメラそれぞれの位置のデータおよび前記複数のカメラそれぞれの姿勢のデータの少なくとも一つの平均値を算出することで、データの統合を行うデータ統合部とを備え、前記複数のカメラが車両に搭載されており、前記画像データ受け付け部が受け付けた画像データに基づき、前記車両の位置および前記車両の速度の少なくとも一方の算出が行われることを特徴とする画像データ処理装置である。請求項２に記載の発明は、複数のカメラからの画像データを受け付ける画像データ受け付け部と、前記複数のカメラのそれぞれから得られるステレオペア画像に基づき、撮影対象の特徴点の３次元座標を算出する特徴点算出部と、前記複数のカメラの位置および姿勢を算出する位置姿勢算出部と、前記複数のカメラ毎に算出された前記特徴点の３次元座標および前記位置姿勢算出部において算出された前記複数のカメラそれぞれの位置および姿勢を特定の統合座標上に座標変換する座標変換部と、前記複数のカメラそれぞれの精度を反映した重みを前記複数のカメラのそれぞれに設定する重み設定部と、前記重みを反映させた状態で、前記座標変換された前記複数のカメラそれぞれに対応する前記特徴点のデータ、前記複数のカメラそれぞれの位置のデータおよび前記複数のカメラそれぞれの姿勢のデータの少なくとも一つの平均値を算出することで、データの統合を行うデータ統合部とを備え、前記データの統合において、前記複数のカメラが撮影した動画を構成するフレーム画像上における前記特徴点に対する線形化された共線条件式を立てるステップと、前記線形化された共線条件式に各カメラに設定された前記重みを付けるステップと、前記重みが付けられた前記共線条件式から前記平均値の算出を行うステップとが行われることを特徴とする画像データ処理装置である。請求項３に記載の発明は、複数のカメラからの画像データを受け付ける画像データ受け付け部と、前記複数のカメラのそれぞれから得られるステレオペア画像に基づき、撮影対象の特徴点の３次元座標を算出する特徴点算出部と、前記複数のカメラの位置および姿勢を算出する位置姿勢算出部と、前記複数のカメラ毎に算出された前記特徴点の３次元座標および前記位置姿勢算出部において算出された前記複数のカメラそれぞれの位置および姿勢を特定の統合座標上に座標変換する座標変換部と、前記複数のカメラそれぞれの精度を反映した重みを前記複数のカメラのそれぞれに設定する重み設定部と、前記重みを反映させた状態で、前記座標変換された前記複数のカメラそれぞれに対応する前記特徴点のデータ、前記複数のカメラそれぞれの位置のデータおよび前記複数のカメラそれぞれの姿勢のデータの少なくとも一つの平均値を算出することで、データの統合を行うデータ統合部と、前記複数のカメラの中の特定のカメラの重みを推定する重み推定部とを備え、前記重み推定部は、前記特定のカメラに仮の精度を与えるステップと、前記特定のカメラが撮影した画像に基づいて、前記仮の精度を反映した前記特定のカメラの位置の算出値の分布を第１の分布として求めるステップと、計測精度が判明している位置計測手段に基づく、当該判明している計測精度を反映した前記特定のカメラの位置の算出値の分布を第２の分布として求めるステップと、前記第１の分布と前記第２の分布の差が特定の条件を満たす場合の前記仮の精度に基づき、前記特定のカメラの重みを推定するステップとを実行することを特徴とする画像データ処理装置である。

【0007】

上記の発明によれば、複数のカメラが撮影した画像から、撮影対象物の特徴点の３次元座標および当該カメラの外部標定要素が算出され、その値が統合座標上で統合的に扱われる。この際、各カメラの精度に応じて各カメラ由来のデータに重みが与えられ、この重みを考慮した平均値の算出が行われる。これにより、高精度の画像データの寄与を大きく、また低精度の画像データの寄与を小さくした状態で統合値が算出される。上記の発明におけるステレオペア画像は、動画を構成する複数のフレーム画像から得たものであってもよいし、ステレオ画像の撮影が可能な専用カメラ、あるいは複数のカメラを用いて得たものであってもよい。

【0008】

請求項３に記載の発明によれば、精度が判明している機器が計測した位置情報の確かさの程度を位置の算出値の分布として評価し、それを仮の精度を与えたカメラに基づく位置の算出値の分布と比較することで、当該カメラに与えられる適正な精度を推定する。この処理では、当該カメラに与えられる仮の精度が適正でない（つまり、実体と相違が大きい）場合、第１の分布と第２の分布が特定の条件から外れる傾向が大となり、逆に、該カメラに与えられる仮の精度が適正（つまり、実体に近い）場合、第１の分布と第２の分布が特定の条件を満たす傾向が大となることを利用している。

【0009】

請求項４に記載の発明は、請求項１〜３のいずれか一項に記載の発明において、前記データ統合部は、カメラ以外の計測装置から得られた前記複数のカメラが配置された土台となる部分の位置および姿勢の少なくとも一方のデータの統合も行うことを特徴とする。請求項４に記載の発明によれば、加速度計、傾斜計、ＧＰＳ装置といった外部標定要素の一部のデータを取得可能な機器から得られるデータも統合データに含めることができる。

【0014】

請求項５に記載の発明は、複数のカメラからの画像データを受け付ける画像データ受け付けステップと、前記複数のカメラのそれぞれから得られるステレオペア画像に基づき、撮影対象の特徴点の３次元座標を算出する特徴点算出ステップと、前記複数のカメラの位置および姿勢を算出する位置姿勢算出ステップと、前記複数のカメラ毎に算出された前記特徴点の３次元座標および前記位置姿勢算出ステップにおいて算出された前記複数のカメラそれぞれの位置および姿勢を特定の統合座標上に座標変換する座標変換ステップと、前記複数のカメラそれぞれの精度を反映した重みを設定する重み設定ステップと、前記重みを反映させた状態で、前記座標変換された前記複数のカメラそれぞれに対応する前記特徴点のデータ、前記複数のカメラそれぞれの位置のデータおよび前記複数のカメラの姿勢のデータの少なくとも一つの平均値を算出することで、データの統合を行うデータ統合ステップとを備え前記複数のカメラが車両に搭載されており、前記画像データ受け付けステップで受け付けた画像データに基づき、前記車両の位置および前記車両の速度の少なくとも一方の算出が行われることを特徴とする画像データ処理方法である。

【0015】

請求項６に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを複数のカメラからの画像データを受け付ける画像データ受け付け部と、前記複数のカメラのそれぞれから得られるステレオペア画像に基づき、撮影対象の特徴点の３次元座標を算出する特徴点算出部と、前記複数のカメラの位置および姿勢を算出する位置姿勢算出部と、前記複数のカメラ毎に算出された前記特徴点の３次元座標および前記位置姿勢算出部において算出された前記複数のカメラそれぞれの位置および姿勢を特定の統合座標上に座標変換する座標変換部と、前記複数のカメラそれぞれの精度を反映した重みを設定する重み設定部と、前記重みを反映させた状態で、前記座標変換された前記複数のカメラそれぞれに対応する前記特徴点のデータ、前記複数のカメラそれぞれの位置のデータおよび前記複数のカメラの姿勢のデータの少なくとも一つの平均値を算出することで、データの統合を行うデータ統合部として動作させ、前記複数のカメラが車両に搭載されており、前記画像データ受け付け部で受け付けた画像データに基づき、前記車両の位置および前記車両の速度の少なくとも一方の算出が行われることを特徴とする画像データ処理用のプログラムである。

【発明の効果】

【0016】

本発明によれば、複数のカメラから得た撮影対象の特徴点および各カメラの外部標定要素を統合して取り扱う技術において、低精度の画像データの影響を抑えることができる技術が提供される。

【図面の簡単な説明】

【0017】

【図1】実施形態のブロック図である。

【図2】実施形態の画像データ処理装置のブロック図である。

【図3】実施形態の動作の一例を示すフローチャートである。

【図4】テンプレートマッチングの原理を説明する説明図である。

【図5】時間差を置いて異なる位置から２つのフレーム画像を得る様子を示すイメージ図である。

【図6】前方交会法を説明する説明図である。

【図7】後方交会法を説明する説明図である。

【図8】相互標定を説明する説明図である。

【図9】実施形態の動作の一例を示すフローチャートである。

【発明を実施するための最良の形態】

【0018】

１．第１の実施形態
（全体の構成）
図１には、移動体の一例である車両１００が示されている。車両１００は、例えば乗用車である。移動体は、車両に限定されず、動くものであれば、工事用車両や重機、航空機、船舶等であってもよい。図１において、図の上の方向が車両１００の前方である。車両１００は、画像データ処理装置２００を備えている。車両１００は、前方監視用カメラ１０１、速度検出用カメラ１０２、景観撮影用カメラ１（１０３）、景観撮影用カメラ２（１０４）、景観撮影用カメラ３（１０５）、加速度計１０６、傾斜計１０７、ＧＰＳ装置１０８、レーザースキャナ１０９を備えている。これらの機器は、画像データ処理装置２００に接続されている。

【0019】

前方監視用カメラ１０１は、車両１００の前方を監視するためのカメラであり、車両１００の前方を動画撮影する。前方監視用カメラ１０１で撮影した動画像は、障害物の検出や車両１００と衝突する可能性がある物体の検出等に用いられる。前方監視用カメラ１０１が撮影した動画像の動画データは、上述した障害物の検出処理等を行う図示省略した機能部に送られると共に、画像データ処理装置２００に送られる。速度検出用カメラ１０２は、例えば車両１００前方の路面を動画撮影する。この動画像の動画データは、図示省略した速度演算部において画像処理され、車両１００の速度の算出が行われる。この例では、速度検出用カメラ１０２が撮影した動画像の動画データは、上記の速度演算部に送られるのと同時に画像データ処理装置２００に送られる。

【0020】

景観撮影用カメラ１（１０３）、景観撮影用カメラ２（１０４）、景観撮影用カメラ３（１０５）は、車両１００の周囲の景観を動画撮影し、その画像データを画像データ処理装置２００に送る。なお、撮影の対象となる景観の内容は、車両１００から見えるものであれば、特には限定されない。また、各カメラの撮影範囲（視野）は重なっていてもよいし、重なっていなくてもよい。

【0021】

加速度計１０６は、車両１００に加わる加速度を計測し、その計測データを画像データ処理装置２００に送る。傾斜計１０７は、車両１００の傾斜を計測し、その計測データを画像データ処理装置２００に送る。ＧＰＳ装置１０８は、複数の人工衛星から送られて来る信号に基づき、位置を算出する装置であり、一般的なGlobal Positioning Systemを用いるＧＰＳ受信機である。位置情報を得る手段としては、ＧＰＳ以外に、路面上の標識、路面上や道路上に設けられた光学ビーコンや電波ビーコン等から位置情報を得る手段を挙げることができる。

【0022】

レーザースキャナ１０９は、測定対象物にレーザー光を照射し、その反射光を受光することで、レーザースキャナの設置位置（視点）から測定点までの距離、方位、仰角（または俯角）の情報を取得し、これらの情報に基づき、測定点の三次元位置座標に係る情報を算出する機能を有する。また、レーザースキャナは、測定点からの反射光の強度、色、色相、彩度等に関する情報を取得する。レーザースキャナはこれらの情報に基づき、測定対象物の三次元座標値を含む３次元点群位置データを算出する。レーザースキャナ１０９が取得した測定対象物の３次元点群位置データは、画像データ処理装置２００に送られる。

【0023】

（画像データ処理装置）
以下、画像データ処理装置２００について説明する。図２には、画像データ処理装置２００のブロック図が示されている。画像データ処理装置２００は、ＣＰＵ、メモリやハードディス装置等の記憶装置、各種のインターフェースを備えたコンピュータにより構成されており、以下に示す機能部を有している。なお、以下に示す機能部は、ソフトウェア的に構成されるものに限定されず、その少なくとも一部が専用のハードウェアにより構成されていてもよい。また、通常のコンピュータを用いて画像データ処理装置２００を構成することも可能である。

【0024】

画像データ処理装置２００は、動画像データ取得部２０１、位置・姿勢データ取得部２０２、３次元点群位置データ取得部２０３、特徴点座標算出部２０４、位置姿勢算出部２０５、座標変換部２０６、重み係数付与部２０７、データ統合部２０８および重み係数算出部２０９を備えている。動画像データ取得部２０１は、前方監視用カメラ１０１、速度検出用カメラ１０２、景観撮影用カメラ１（１０３）、景観撮影用カメラ２（１０４）、景観撮影用カメラ３（１０５）が撮影した動画像の画像データを受け付ける。位置・姿勢データ取得部２０２は、加速度計１０６、傾斜計１０７およびＧＰＳ装置１０８からの出力を受け付ける。３次元点群位置データ取得部２０３は、レーザースキャナ１０９から出力される測定対象物の３次元点群位置データを受け付ける。

【0025】

特徴点座標算出部２０４は、動画像データ取得部２０１が受け付けた動画データに基づき、撮影した対象物（例えば、景観）の特徴点の３次元座標の算出を行う。この３次元座標の算出は、カメラ毎に行う。例えば、前方監視用カメラ１０１が撮影した動画像の動画データに基づく、撮影対象物の特徴点の３次元座標の算出と、景観撮影用カメラ１（１０３）が撮影した動画像の動画データに基づく、撮影対象物の特徴点の３次元座標の算出とは、別に行われる。位置姿勢算出部２０５は、特徴点座標算出部２０４が算出した測定対象物の特徴点の３次元座標に基づく該当する動画を撮影したカメラの外部標定要素（位置と姿勢）の算出、および位置・姿勢データ取得部２０２が受け付けた車両１００の位置と姿勢に係るデータから、統合中心（車両１００）の位置と姿勢の算出を行う。

【0026】

座標変換部２０６は、前方監視用カメラ１０１、速度検出用カメラ１０２、景観撮影用カメラ１（１０３）、景観撮影用カメラ２（１０４）、景観撮影用カメラ３（１０５）、レーザースキャナ１０９から得られたデータを一つの座標系上で統合的に扱えるようにする座標変換の処理を行う。例えば、景観撮影用カメラ１（１０３）が撮影した動画像に基づく撮影対象物の特徴点の３次元座標の算出結果を、予め設定された統合座標上で取り扱えるように当該統合座標上の座標データに座標変換し、更に動画に基づいて得られた外部標定要素の統合座標への座標変換が行われる。ここで、外部標定要素の座標変換では、特定のカメラから求めた統合中心の外部標定要素が算出される。この特定のカメラから求めた統合中心の外部標定要素というのは、該当するカメラのオフセット位置やオフセット角度を考慮して、当該カメラの外部標定要素に基づいて、統合中心の位置と姿勢（つまり、車両の位置と姿勢）を求める演算を行う。なお、統合座標の原点は、車両１００上の適当な位置に予め設定される。また、その座標軸の向きは、計算に便利な向きであれば、特に限定されない。

【0027】

重み係数付与部２０７は、カメラ毎に得られた測定対象物の特徴点の３次元座標の値を統合座標上に座標変換したもの、およびカメラ毎に求めた統合中心における外部標定要素、更に傾斜計１０７やＧＰＳ装置１０８から得られた車両１００の傾斜や位置の値のそれぞれに、各カメラの精度を反映させた重み係数を付与する。重み係数は、各装置の精度や優先度を考慮して予め設定されている。なお、重み係数の組み合わせを複数用意し、それを適宜切り替えることや、重み係数の設定を動的に変化させることも可能である。

【0028】

データ統合部２０８は、機器毎のデータをその重みを反映させた形で統合する。例えば、景観撮影用カメラ１（１０３）からの画像データに基づいて算出した測定対象物の特徴点の３次元座標の値と景観撮影用カメラ２（１０４）からの画像データに基づいて算出した測定対象物の特徴点の３次元座標の値とを、統合座標系上で統合する。この際、機器毎に設定された重みを反映した形での算出平均が計算され、特徴点の座標値が求められる。重み係数推定部２０９は、後述する方法で重み係数を推定する。

【0029】

（処理の一例）
以下、画像データ処理装置２００の動作の一例を説明する。図３は、画像データ処理装置２００において行われる処理の手順の一例を示すフローチャートである。図３のフローチャートを実行するためのプログラムは、画像データ処理装置２００が備える適当なメモリ領域に格納され、画像データ処理装置２００が備えるＣＰＵによって読み取られて実行される。なお、図３のフローチャートを実行するためのプログラムを外部の適当な記憶媒体に格納し、そこから画像データ処理装置２００に提供される形態も可能である。

【0030】

図３に示す処理は、前方監視用カメラ１０１、速度検出用カメラ１０２、景観撮影用カメラ１（１０３）、景観撮影用カメラ２（１０４）および景観撮影用カメラ３（１０５）が撮影した動画像のデータ（動画像データ）のそれぞれにおいて行われる。各カメラにかかる処理は同じであるので、以下、単にカメラと表記し、説明を行う。

【0031】

図３に示す処理が開始されると、まず、動画像データ取得部２０１によって、各カメラが撮影した動画の動画像データが取得される。ここで動画像は、カメラと対象物とが少しずつ相対的に移動していく過程において撮影された複数の連続する画像（この画像の一つ一つをフレーム画像という）で構成される。動画像データ取得部２０１は、時系列的に得られる複数のフレーム画像をリアルタイムに順次取得する。

【0032】

各カメラからの動画データの取得と平行して、ステップＳ１０２以下の処理が行われる。ステップＳ１０２〜ステップＳ１０６までの処理は、特徴点座標算出部２０４において行われる。ステップＳ１０２では、１フレーム目と２フレーム目におけるカメラの位置と姿勢の初期値（外部標定要素の初期値）が取得される。この処理では、まず、測定対象となる実空間に基準点を設置し、この基準点の実空間における三次元座標をトータルステーションやＧＰＳを用いて計測する。あるいは、実空間における３次元座標が既知である基準点を用意する。次に、その基準点をカメラで撮影し、基準点の三次元座標とフレーム画像中における画像座標とに基づいて、後方交会法によってカメラの内部標定要素と外部標定要素の初期値を算出する。

【0033】

別な方法として、トータルステーションやＧＰＳを用いて、複数の撮影位置の三次元座標値を与え、複数の撮影位置で撮影されたステレオ画像から、外部標定要素の初期値を求めるようにしてもよい。更に別な方法として、トータルステーションやＧＰＳを用いず、間の距離が既知である複数の基準点が描かれた基準板を移動しながら、複数枚の画像を撮影し、基準点が撮影された複数枚の画像から、基準点の画像座標を算出し、相互標定などを用いてカメラの位置、姿勢の初期値を得る方法を用いてもよい（ただし、この場合、得られる座標系はローカル座標系となる）。なお、後方交会法、相互標定の具体的な演算の詳細については後述する。

【0034】

ステップＳ１０２の後、取得した動画像のフレーム画像から撮影された対象物における特徴点の抽出を行う（ステップＳ１０３）ここでは、１フレーム目、２フレーム目、３フレーム目の最低３フレームのフレーム画像のそれぞれから、特徴点を抽出する。特徴点の検出には、モラベック、ラプラシアン、ソーベルなどのフィルタが用いられる。特徴点を抽出したら、異なるフレーム画像間において、対応する特徴点を特定し、その追跡を行う（ステップＳ１０４）。ここでは、１フレーム目、２フレーム目、３フレーム目における特徴点の対応関係が特定される。なお、異なるフレーム画像中における特徴点の対応関係を特定するための情報は、各フレーム画像内に埋め込まれる。

【0035】

この例において、特徴点の追跡には、テンプレートマッチングが用いられる。テンプレートマッチングとしては、残差逐次検定法（ＳＳＤＡ：Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）、相互相関係数法などが挙げられる。以下、テンプレートマッチングの一例を説明する。

【0036】

テンプレートマッチングは、２つの座標系における画像の座標データを相互に比較し、両者の相関関係により、２つの画像の対応関係を求める方法である。テンプレートマッチングでは、２つの視点それぞれから見た画像の特徴点の対応関係が求められる。図４は、テンプレートマッチングの原理を説明する説明図である。この方法では、図示するように、Ｎ_１×Ｎ_１画素のテンプレート画像を、それよりも大きいＭ_１×Ｍ_１画素の入力画像内の探索範囲（Ｍ_１−Ｎ_１＋１）^２上で動かし、下記数１で示される相互相関関数Ｃ（ａ，ｂ）が最大となるような（つまり相関の程度が最大となるような）テンプレート画像の左上位置を求める。

【0037】

【数1】

【0038】

上記の処理は、一方の画像の倍率を変えながら、また回転させながら行われる。そして、相関関係が最大となった条件で、両画像の一致する領域が求まり、更にこの領域における特徴点を抽出することで、対応点の検出が行われる。

【0039】

テンプレートマッチングを用いることで、比較する２つの画像の一致する部分が特定でき、２つの画像の対応関係を知ることができる。この方法では、２つ画像の相関関係が最大となるように両者の相対的な位置関係が定められる。２つの画像の相関関係は、両画像の特徴点によって決まる。

【0040】

ステップＳ１０４によって特徴点の追跡を行った後、複数のフレーム画像、この場合でいうと、１フレーム目のフレーム画像と２フレーム目のフレーム画像において対応する特徴点の３次元座標の算出が行われる（ステップＳ１０５）。

【0041】

この例では、時間差を置いて異なる位置から取得された２つのフレーム画像（１フレーム目のフレーム画像と２フレーム目のフレーム画像）をステレオペア画像として用い、三角測量の原理により、２つのフレーム画像中で対応関係が特定された特徴点の３次元座標の算出が行われる。図５は、この様子を示すイメージ図である。図５に示すように、１フレーム目の撮影時に比較して、２フレーム目の撮影時には、図の右の方向にカメラは移動している。従って、同時ではないが、僅かな時間差をおいて、×印で示される撮影対象物の複数の特徴点を、異なる２つの位置および方向から撮影した２つのフレーム画像が得られる。ここで、１フレーム目におけるカメラの位置と姿勢、更に２フレーム目におけるカメラの位置と姿勢は、ステップＳ１０２において取得され既知であるので、立体写真測量の原理から特徴点の３次元座標を求めることができる。

【0042】

以下、この処理の詳細な手順の一例を説明する。ここでは、前方交会法を用いて、１フレーム目のフレーム画像と２フレーム目のフレーム画像の中で対応関係が特定された特徴点の３次元座標の算出を行う。図６は、前方交会法を説明する説明図である。前方交会法とは、既知の２点（Ｏ_１，Ｏ_２）上から未知点Ｐへ向かう方向を観測して、それらの方向線の交点として未知点Ｐの位置を求める方法である。図６において、対象空間の座標系をＯ−ＸＹＺとする。ここで、１フレーム目のフレーム画像のカメラの投影中心Ｏ_１の座標（Ｘ_０１，Ｙ_０１，Ｚ_０１）およびカメラ座標軸の傾き（ω_１，φ_１，κ_１）と、２フレーム目のフレーム画像のカメラの投影中心Ｏ_２の座標（Ｘ_０２，Ｙ_０２，Ｚ_０２）およびカメラ座標軸の傾き（姿勢）（ω_２，φ_２，κ_２）は、ステップＳ１０２において既に取得され既知である。また、内部標定要素（焦点距離、主点位置、レンズ歪係数）も既知である。

【0043】

ここで、１フレーム目のフレーム画像上の特徴点ｐ_１（ｘ_１，ｙ_１）と、これに対応する２フレーム目のフレーム画像上の特徴点ｐ_２（ｘ_２，ｙ_２）は、それぞれのフレーム画像から得られる。したがって、対象空間の未知点となる特徴点Ｐの３次元座標（Ｘ，Ｙ，Ｚ）は、光線Ｏ_１ｐ_１と光線Ｏ_２ｐ_２の交点として定まる。ただし、実際には誤差があり、２本の光線が正確に交わらないため、最小二乗法によって交点位置を求める。具体的には、２本の共線条件式（数２）を立てる。これに既知の外部標定要素、内部標定要素、対応点の画像座標を代入する。

【0044】

【数2】

【0045】

さらに、この共線条件式に未知点Ｐの近似値（Ｘ’，Ｙ’，Ｚ’）に補正量を加えたもの（Ｘ’＋ΔＸ，Ｙ’＋ΔＹ，Ｚ’＋ΔＺ）を代入する。そして、近似値回りにテーラー展開して線形化し、最小二乗法により補正量を求める。求めた補正量によって近似値を補正し、同様の操作を繰り返し、収束解を求める。この操作によって、特徴点の三次元座標Ｐ（Ｘ，Ｙ，Ｚ）が求められる。この計算をすべての特徴点について行い、１フレーム目のフレーム画像と２フレーム目のフレーム画像の中で対応関係が特定された複数の特徴点の３次元座標の算出が行われる。以上がステップＳ１０５で行われる処理の内容の詳細な一例である。

【0046】

ステップＳ１０５の後、算出した測定対象物の特徴点の３次元座標に基づいて、３フレーム目におけるカメラの外部標定要素の算出を行う（ステップＳ１０６）。この処理によって、３フレーム目におけるカメラの位置と姿勢が求められる。ここでは、後方交会法を用いてカメラの外部標定要素の算出が行われる。

【0047】

以下、ステップＳ１０６で行われる演算の詳細な一例を説明する。図７は、後方交会法を説明する説明図である。後方交会法とは、未知点Ｏから３つ以上の既知点Ｐ_１、Ｐ_２、Ｐ_３へ向かう方向を観測して、それらの方向線の交点として未知点Ｏの位置を求める方法である。ここでは、ステップＳ１０５において求めた測定対象物の３つの特徴点の３次元座標を図７の基準点Ｐ_１、Ｐ_２、Ｐ_３とし、それを基にして、後方交会法によって３フレーム目におけるカメラの外部標定要素（Ｘ_０，Ｙ_０，Ｚ_０，ω，φ，κ）を算出する。後方交会法としては、単写真標定、ＤＬＴ法、相互標定がある。

【0048】

まず、単写真標定を用いて３フレーム目におけるカメラの外部標定要素（Ｘ_０，Ｙ_０，Ｚ_０，ω，φ，κ）を算出する場合を、図７を参照して説明する。単写真標定は、１枚の写真の中に写された基準点に成り立つ共線条件を用いて、写真を撮影したカメラの位置Ｏ（Ｘ_０，Ｙ_０，Ｚ_０）およびカメラの姿勢（ω，φ，κ）を求める手法である。共線条件とは、投影中心Ｏ、写真像（ｐ_１，ｐ_２，ｐ_３）および測定対象点（この場合は特徴点）（Ｏｐ_１Ｐ_１，Ｏｐ_２Ｐ_２，Ｏｐ_３Ｐ_３）が、一直線上にあるという条件である。ここで、カメラの位置Ｏ（Ｘ_０，Ｙ_０，Ｚ_０）とカメラの姿勢（ω，φ，κ）は外部標定要素である。

【0049】

まず、カメラ座標系をｘ，ｙ，ｚ、写真座標系ｘ，ｙ、測定対象物の座標系である基準座標系Ｘ，Ｙ，Ｚとする。カメラを各座標軸の正方向に対して左回りにそれぞれω，φ，κだけ順次回転させた向きで撮影が行われたものとする。そして、４点の画像座標（図７では３点のみ記載）と対応する基準点の三次元座標を下記数３に示す２次の射影変換式に代入し、観測方程式を立ててパラメ−タｂ１〜ｂ８を求める。

【0050】

【数3】

【0051】

そして、数３のパラメータｂ１〜ｂ８を用いて、下記の数４から外部標定要素（Ｘ_０，Ｙ_０，Ｚ_０，ω，φ，κ）を求める。ここで、（Ｘ_０，Ｙ_０，Ｚ_０）は３フレーム目におけるカメラの位置を示す座標であり、（ω，φ，κ）は、その位置におけるカメラの姿勢（向き）である。

【0052】

【数4】

【0053】

以上のようにして、測定対象物の特徴点の３次元座標に基づいて、３フレーム目におけるカメラの外部標定要素が単写真標定を用いて算出される。

【0054】

次に、ＤＬＴ法によって、測定対象物の特徴点の３次元座標に基づく３フレーム目におけるカメラの位置と姿勢を算出する手順について説明する。ＤＬＴ法は、写真座標と対象空間の三次元座標との関係を３次の射影変換式で近似したものである。ＤＬＴ法の基本式は以下の数５となる。なお、ＤＬＴ法の詳細については、「村井俊治：解析写真測量、ｐ４６−５１、ｐ１４９−１５５」等に記載されている。

【0055】

【数5】

【0056】

数５の式の分母を消去すると、数６の線形式を導き出せる。

【0057】

【数6】

【0058】

さらに、数６を変形すると、以下の数５となる。

【0059】

【数7】

【0060】

数７に６点以上の基準点の三次元座標を代入し、最小二乗法を用いて解くと、写真座標と対象点座標との関係を決定するＬ_１〜Ｌ_１１の１１個の未知変量を取得できる。なお、Ｌ_１〜Ｌ_１１には、外部標定要素が含まれる。

【0061】

次に、相互標定法による外部標定要素の算出について説明する。相互標定は、既知点がなくとも相対的な外部標定要素が求められる方法である。また、既知点があれば、絶対標定を行うことで、絶対座標を求めることができる。

【0062】

図８は、相互標定を説明する説明図である。相互標定は、左右２枚の画像における６点以上の対応点によって外部標定要素を求める。相互標定では、投影中心Ｏ_１とＯ_２と基準点Ｐを結ぶ２本の光線が同一平面内になければならいという共面条件を用いる。以下の数８に、共面条件式を示す。なお、ここで例えば左画像が２フレーム目のフレーム画像に当たり、右画像が３フレーム目のフレーム画像に当たる。

【0063】

【数8】

【0064】

図８に示すように、モデル座標系の原点を左側の投影中心Ｏ_１にとり、右側の投影中心Ｏ_２を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さとする。このとき、求めるパラメータは、左側のカメラのＺ軸の回転角κ_１、Ｙ軸の回転角φ_１、右側のカメラのＺ軸の回転角κ_２、Ｙ軸の回転角φ_２、Ｘ軸の回転角ω_２の５つの回転角となる。この場合、左側のカメラのＸ軸の回転角ω_１は０なので、考慮する必要はない。このような条件にすると、数８の共面条件式は数９のようになり、この式を解けば各パラメータが求められる。

【0065】

【数9】

【0066】

ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｃの間には、次の数１０に示すような座標変換の関係式が成り立つ。

【0067】

【数10】

【0068】

これらの式を用いて、次の手順により、未知パラメータ（外部標定要素）を求める。
（１）未知パラメータ（κ_１，φ_１，κ_２，φ_２，ω_２）の初期近似値は通常０とする。
（２）数８の共面条件式を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数９により求め、観測方程式をたてる。
（３）最小二乗法をあてはめ、近似値に対する補正量を求める。
（４）近似値を補正する。
（５）補正された近似値を用いて、（１）〜（４）までの操作を収束するまで繰り返す。

【0069】

相互標定が収束した場合、さらに接続標定が行われる。接続標定とは、各モデル間の傾き、縮尺を統一して同一座標系とする処理である。この処理を行った場合、以下の数１１で表される接続較差を算出する。算出した結果、ΔＺ_ｊおよびΔＤ_ｊが、所定値（例えば、０．０００５（１／２０００））以下であれば、接続標定が正常に行われたと判定する。

【0070】

【数11】

【0071】

上記相互標定により、３フレーム目におけるカメラの位置および姿勢が求められる。以上のようにして、前方監視用カメラ１０１、速度検出用カメラ１０２、景観撮影用カメラ１（１０３）、景観撮影用カメラ２（１０４）および景観撮影用カメラ３（１０５）が撮影した動画像のデータ（動画像データ）のそれぞれに基づいて、撮影対象の特徴点の３次元座標の算出（ステップＳ１０５）および３フレーム目における当該カメラの外部標定要素（その位置と姿勢）の算出が行われる。

【0072】

次に、各カメラにおいて求められた撮影対象の特徴点の３次元座標と外部標定要素を統合座標に座標変換する（ステップＳ１０７）処理を座標変換部２０６において行う。すなわち、各カメラの位置および姿勢は異なっており、この時点における各カメラにおいて得られた撮影対象の特徴点の３次元座標と外部標定要素とは、各カメラの位置を原点とする各カメラ固有の座標系における値である。つまり、カメラが異なると、異なる座標系となるので、データを統合的に扱うことができない状態となっている。そこで、ステップＳ１０７では、各カメラに係る特徴点の３次元座標のデータと外部標定要素のデータをある特定の座標系（これを統合座標と呼ぶ）に座標変換する。

【0073】

ここで、統合座標の座標系を（Ｘ_１，Ｙ_１，Ｚ_１）とし、特定のカメラ（例えば、景観撮影用カメラ１（１０３））の座標系を（Ｘ_２，Ｙ_２，Ｚ_２）とし、座標系間の回転を示す行列をａ_ｉｊとし、座標系間のオフセット（平行移動距離）を（Ｘ_ｘ，Ｙ_ｙ，Ｚ_ｚ）とすると、２つの座標の間には、数１２の関係がある。

【0074】

【数12】

【0075】

車両１００における各カメラの相対位置関係や姿勢の関係は、予め判明しているので、ａ_ｉｊと（Ｘ_ｘ，Ｙ_ｙ，Ｚ_ｚ）は既知である。よって、各カメラにおいて、撮影した動画像に基づく撮影対象物の特徴点の３次元座標のデータとステップＳ１０７で算出した外部標定要素の統合座標への座標変換が可能となる。これは、他のカメラについても同じである。ここで、外部標定要素の変換は、該当するカメラのオフセット位置やオフセット角度を考慮して、当該カメラの外部標定要素に基づいて、統合中心の位置と姿勢（つまり、車両の位置と姿勢）を求める演算を行う。すなわち、該当するカメラの外部標定要素（カメラの位置と姿勢）を、統合中心（車両）の位置と姿勢に変換する演算を行う。

【0076】

ここで、仮に各カメラに係る各種の誤差が存在しなければ、各カメラから得られる撮影対象物の同じ部分における特徴点の３次元座標のデータ、およびステップＳ１０７で算出した外部標定要素を統合中心の値に変換した値は、各カメラ間で一致する。しかしながら、カメラ自体の精度や分解能、データ伝送時の誤差、振動の影響、カメラと撮影対象との間にある障害物（樹、人影等）、撮影対象に対する姿勢の違い等の要因により、カメラ毎に異なる誤差が存在する。そこで、ステップＳ１０８において、この誤差の影響を考慮したデータの調整を行った上で、各カメラから得られたデータを統合的に扱える状態とする。

【0077】

以下、ステップＳ１０８の詳細について説明する。ステップＳ１０８では、各カメラから得られた撮影対象物の特徴点の３次元座標のデータとステップＳ１０７で算出した外部標定要素を統合中心におけるものに変換した値に対して、バンドル調整を行う。バンドル調整は、異なる撮影位置で撮影された複数の画像を用いて各カメラの位置および姿勢の算出を行う際における算出精度を高めるために行われる最適化処理である。

【0078】

バンドル調整では、測定対象物の特徴点、フレーム画像（写真画像）上の点、投影中心の３点を結ぶ光束（バンドル）が同一直線上になければならないという共線条件に基づき、各画像の光束１本毎に観測方程式を立て、最小二乗法によって同時調整が行われ、各カメラの外部標定要素および測定対象物の特徴点の三次元座標の最適化が図られる。ここでは、バンドル調整を行う際に、各カメラからのデータの精度を反映させた重み係数を導入し、カメラ毎に重み付けを行った状態でバンドル調整を行う。バンドル調整に重み付けの概念を導入することで、重み付けを与えた状態で各カメラから得られたデータを統合し、各カメラの精度を反映させた統合データを得ることができる。

【0079】

以下、複数のカメラ毎に重み付けを設定し、それらを統合的に扱う手法の原理について説明する。まず、説明を簡単にするために、ｎ個あるカメラそれぞれの外部標定要素に重み付けを行い、それを統合的に扱う場合の例を説明する。

【0080】

ここでは、相対位置関係が判明しているカメラがｎ個あるとする。例えば、車両に固定されたｎ個のカメラを想定する。ここで、統合中心Ｏ_cの外部標定要素を（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ，ω_ｃ，φ_ｃ，κ_ｃ）とする。統合中心は、統合座標の原点の位置のことである。そして、カメラ１から求めた統合中心の外部標定要素が、Ｏ_ｃ１（Ｘ_ｃ１，Ｙ_ｃ１，Ｚ_ｃ１，ω_ｃ１，φ_ｃ１，κ_ｃ１）であり、カメラｎから求めた統合中心の外部標定要素が、Ｏ_ｃｎ（Ｘ_ｃｎ，Ｙ_ｃｎ，Ｚ_ｃｎ，ω_ｃｎ，φ_ｃｎ，κ_ｃｎ）であるとする。カメラ１から求めた統合中心の外部標定要素というのは、カメラ１のオフセット位置やオフセット角度を考慮して、カメラ１の外部標定要素から、統合中心の位置と姿勢（つまり、車両の位置と姿勢）を算出した値である。

【0081】

例えば、各カメラからのデータの信頼性が同じである場合、ｎ個のカメラを統合的に捉えた統合中心における平均の外部標定要素（統合した外部標定要素）は、各カメラの外部標定要素を均等に分配した単なる平均値として求められる。しかしながら、カメラ１の精度は相対的に高いが、カメラ２の精度は相対的に低い、といった場合、単に平均をとるだけでは、カメラ２の低精度の影響が大きく影響し、統合した値の誤差が増大する。この場合、相対的に精度の高いカメラ１の寄与が大きく、相対的に低精度のカメラ２の寄与を小さくする仕組みを導入することで、精度の低下を抑えつつ、カメラ２の情報を無視することなく取り込むことができる。

【0082】

そこで、上述した各カメラの統合中心における外部標定要素に重み付けを行い、統合中心における統合された外部標定要素への寄与が、各カメラの精度を反映したものとなるようにする。すなわち、まず、各カメラに与えられる重み係数をＷ（＝１／σ^２）とする。重み係数Ｗは、精度を示すパラメータであり、最大値は、Ｗ＝１である。例えば、誤差がなく精度が１００％信頼できる場合の重み係数は、Ｗ＝１である。また、例えば、誤差がそれなりにあり、精度が８０％信頼できる変数に対する重み係数は、Ｗ＝０．８である。

【0083】

そして、カメラ毎の外部標定要素に、重み係数Ｗ（Ｗ_Ｘｎ，Ｗ_Ｙｎ，Ｗ_Ｚｎ，Ｗ_ωｎ，Ｗ_φｎ，Ｗ_κｎ）をつける。ここで、各カメラの重みを反映した統合中心におけるn個のカメラの外部標定要素を統合した値Ｘ_cは、数１３で表される。なお、ここでは、重み係数Ｗが、予め設定された値を用いる場合を説明するが、後述する方法により演算により推定することも可能である。

【0084】

【数13】

【0085】

Ｘ_cの具体的な一例を説明する。まず、精度の異なる２台のカメラ１およびカメラ２を考える。そして、カメラ１から求めた統合中心の外部標定要素Ｘ₁を考え、その重み係数がＷ_X1であるとする。また、カメラ１から求めた統合中心の外部標定要素Ｘ₂を考え、その重み係数がＷ_X2であるとする。この場合、数１３から、重み付けを考慮した統合中心における外部標定要素Ｘ_Ｃは、数１４となる。

【0086】

【数14】

【0087】

例えば、仮にカメラ１の誤差は考慮しなくてよく、それに対してカメラ２の誤差が無視できず、Ｗ_X1＝１，Ｗ_X2＝０．５と設定されているとする。つまり、カメラ２に誤差があるので、その誤差を勘案して、重み係数をカメラ１の場合に比較して半分の値に設定するとする。この場合、数１４は、数１５となる。

【0088】

【数15】

【0089】

これは、カメラ１とカメラ２の外部標定要素に基づく、重み付けを考慮した統合中心における外部標定要素Ｘ_Ｃの算出において、カメラ２の外部標定要素よりもカメラ１の外部標定要素がより優先して反映されることを示している。こうして、誤差を考えなくてよいカメラ１の寄与が大きく、誤差があるカメラ２の寄与が小さくなる状態で、平均値を求める演算が行われ、統合中心における統合された外部標定要素Ｘ_Ｃの算出が行われる。

【0090】

以上が重み付けを用いて複数のカメラから得たデータを統合する方法の基本的な考え方である。上述の場合、説明を簡単にするために外部標定要素のみを対象としているが、実際には外部標定要素以外に、各カメラが取得した撮影対象物の特徴点の３次元座標に係る値においてもカメラ毎の重みが考慮され、同様の演算が行われる。以下、この場合の一例を説明する。まず、統合中心の座標系に座標変換した各カメラに係る単写真標定における共線条件の基本式は、下記の数１６によって示される。

【0091】

【数16】

【0092】

ここで、写真は、フレーム画像に対応し、写真座標はフレーム画像中の画像座標に対応する。数１６は、外部標定要素や地上座標値に対して線形でないので、テーラー展開を用いて近似値のまわりに展開し、高次項を無視して線形化し、繰り返しの計算によって解を求める手法が採用される。この際、未知変量に対する近似値を右上に添字「ａ」を付与して示し、また、近似値に対する補正量をｖ，δ、Δを付して、下記数１７に示すように表現する。ここで、ｖ_x，ｖ_ｙは観測された写真座標ｘ^ａ，ｙ^ａの残差を意味する。

【0093】

【数17】

【0094】

数１７をテーラー展開し、線形化すると、数１８が得られる。

【0095】

【数18】

【0096】

数１８を単純化するためにマトリックスを用いて表現すると、数１９のように書ける。

【0097】

【数19】

【0098】

数１９はさらに、数２０のように書ける。

【0099】

【数20】

【0100】

数１９および数２０は、複数のカメラが撮影した動画を構成するフレーム画像上における複数の特徴点に対する線形化された共線条件式であり、個々のフレーム画像上の特徴点の観測値に対する線形化された観測方程式である。なお、数２０における（２，１）、（２，５）等の表記は、マトリックスの行と列の大きさを示している。

【0101】

数１９および数２０において、各カメラに与えられた重みは考慮されていない。ここで、対象とするカメラがｎ個あるとして、カメラの重み係数Ｗを数２０の各項に掛け、数２１を得る。この重み付けを行う処理は、重み係数付与部２０７において行われる。Ｗ_ｉおよびＷ_ｉｊは、カメラ毎に設定されている重み係数である。

【0102】

【数21】

【0103】

数２１は、数２０で示される線形化された共線条件式に各カメラに設定された重みを付けたものである。数２１は、概念的に下記数２２のように表すこともできる。

【0104】

【数22】

【0105】

カメラがｎ個ある場合、上記の数２１をｎ個連立してバンドル調整を行う。この際逐次近似解法を用いる。すなわち、最小二乗法により補正量を求め、求めた補正量によって近似値を補正し、同様の操作を繰り返し、収束解を求める。この際、数１３に関連して説明した方法により、重みを反映させた平均値を求める演算が行われる。こうして、重み付けがされたｎ個のカメラの情報を勘案した統合中心の座標で捉えた写真iの外部標定要素（Ｘ_０，Ｙ_０，Ｚ_０，ω，φ，κ）の統合値、および対応する特徴点の地上座標の値（Ｘ，Ｙ，Ｚ）の統合値が算出される。

【0106】

ここで得られる統合値は、複数のカメラから得られたデータを、各カメラに与えられた重みを反映させた状態で、平均化（加重平均）したもので、単なる平均値ではなく、各カメラの寄与率が反映されたものとなっている。この演算によれば、各カメラの精度（誤差要因）に対応した寄与率を重み付けによって設定することで、各カメラから得られた測定値を統合的に取り扱う際に、相対的に精度の高いカメラに基づく測定値の寄与率を相対的に高くし、相対的に精度の低いカメラに基づく測定値の寄与率を相対的に低くすることができる。このため、精度の低いカメラの影響により、統合的に取り扱われた際に測定値に生じる誤差の発生を抑えつつ、当該精度の低いカメラが撮影した画像に基づくデータを統合データに取り込むことができる。

【0107】

統合したデータを得たら、それを適当な記憶領域に記憶し（ステップＳ１０９）、ステップＳ１１０以下の次のサイクルの処理を開始する。ステップＳ１１０以下では、基本的にステップ１０１〜ステップＳ１０９の処理が繰り返される。

【0108】

ステップＳ１１０では、２フレーム目と３フレーム目におけるカメラの外部標定要素（カメラの位置と姿勢）が取得される。ここで、２フレーム目における外部標定要素は、初期値としてステップＳ１０２において与えられており、３フレーム目における外部標定要素は、ステップＳ１０７において演算により求められている。

【0109】

例えば、２順目の処理サイクルのステップＳ１１０の処理においては、その時点で（ｎ−１）＝３フレーム目、および（ｎ−２）＝２フレーム目の当該カメラの外部標定要素は既知であるので、それが取得される。そして、３順目の処理サイクルでは、ステップＳ１１０に対応する処理において、その時点で既知である（ｎ−１）＝４フレーム目および（ｎ−２）＝３フレーム目の外部標定要素が取得される（４フレーム目の外部標定要素は、２順目のステップＳ１０６に対応する処理で算出されている）。こうして、ｎフレーム目の外部標定要素の算出を行うサイクルにおけるステップＳ１１０に対応する処理において、（ｎ−１）フレーム目および（ｎ−２）目の外部標定要素の取得が行われる。

【0110】

また、ステップＳ１１０の後に行われるステップＳ１０３に対応する処理（図示せず）において、処理の対象とするフレーム画像中から新たな特徴点の抽出が行われる。また、ステップＳ１１２の後に行われるステップＳ１０３およびステップＳ１０４に対応する処理では、３フレーム目とその前の２フレーム目のフレーム画像中において新たに現れた特徴点の抽出および追跡が行われる。例えば、１フレーム目では現れておらず、２フレーム目と３フレーム目において新たに現れた特徴点の抽出が行われ、更にそれらの対応関係が特定される処理が行われる。そして、ステップＳ１０５以下の処理に対応する処理が繰り返される。

【0111】

以下、２フレーム目と３フレーム目において新たに現れ、抽出および追跡がされた特徴点の３次元座標を算出する手順の例を説明する。この場合、図６における左側の座標О_１が２フレーム目のカメラ位置となり、右側の座標О_２が３フレーム目のカメラ位置となる。ここで、２フレーム目のフレーム画像のカメラの投影中心Ｏ_１の座標（Ｘ_０１，Ｙ_０１，Ｚ_０１）およびカメラ座標軸の傾き（ω_１，φ_１，κ_１）は、既にステップＳ１０２において取得され既知である。また、３フレーム目のフレーム画像のカメラの投影中心Ｏ_２の座標（Ｘ_０２，Ｙ_０２，Ｚ_０２）およびカメラ座標軸の傾き（姿勢）（ω_２，φ_２，κ_２）は、ステップＳ１０６において既に算出され既知である。また、内部標定要素（焦点距離、主点位置、レンズ歪係数）も既知である。また、２フレーム目のフレーム画像中における画像座標ｐ_１と３フレーム目のフレーム画像中における画像座標ｐ_２は、各フレーム画像から求めることができる。したがって、２フレーム目と３フレーム目において新たに現れ、抽出および追跡がされた特徴点、および再抽出された特徴点の３次元座標Ｐを求めることができる。これは、３順目以降の処理サイクルにおいても同じである。

【0112】

すなわち、４フレーム目以降における特徴点の３次元座標を算出する手順では、図６における左側の座標О_１が（ｎ−２）フレーム目のカメラ位置となり、右側の座標О_２が（ｎ−１）フレーム目のカメラ位置となる。ここで、（ｎ−２）フレーム目のフレーム画像のカメラの投影中心Ｏ_１の座標（Ｘ_０１，Ｙ_０１，Ｚ_０１）およびカメラ座標軸の傾き（ω_１，φ_１，κ_１）、および（ｎ−１）フレーム目のフレーム画像のカメラの投影中心Ｏ_２の座標（Ｘ_０２，Ｙ_０２，Ｚ_０２）およびカメラ座標軸の傾き（姿勢）（ω_２，φ_２，κ_２）は、既知である。また、内部標定要素（焦点距離、主点位置、レンズ歪係数）も既知である。また、（ｎ−２）フレーム目のフレーム画像中における画像座標ｐ_１と（ｎ−１）フレーム目のフレーム画像中における画像座標ｐ_２は、各フレーム画像から求めることができる。したがって、（ｎ−２）フレーム目と（ｎ−１）フレーム目における特徴点の３次元座標Ｐを求めることができる。

【0113】

ステップＳ１１０の後に行われるステップＳ１０６に対応する２サイクル目の処理では、後方交会法によって４フレーム目におけるカメラの外部標定要素（位置と姿勢）を算出する。後方交会法としては、単写真標定、ＤＬＴ法、相互標定があり、その何れを使用してもよい。以下、相互標定を利用して４フレーム目におけるカメラの外部標定要素（位置と姿勢）を算出する場合の例を説明する。

【0114】

この場合、数８〜数１１および図８に示す相互標定によって、４フレーム目におけるカメラの外部標定要素の算出が行われる。相互標定は、左右２枚の画像における６点以上の対応点によって外部標定要素を求める方法である。この際、例えば左画像が３フレーム目のフレーム画像に当たり、右画像が４フレーム目のフレーム画像に当たる。ここで、３フレーム目の外部標定要素は既知であり、複数ある特徴点の３次元座標も既知である。また、２つのフレーム画像中における特徴点の画像座標は、それぞれのフレーム画像から得ることができる。よって、未知数となる４フレーム目の外部標定要素を算出することができる。これは、３順目以降の処理サイクル（例えば、５フレーム目や６フレーム目におけるカメラの外部標定要素の算出の場合）においても同じである。

【0115】

例えば、４フレーム目以降におけるカメラの外部標定要素の算出を図８の相互標定により行う場合、例えば左画像が（ｎ−１）フレーム目のフレーム画像に当たり、右画像がｎフレーム目のフレーム画像に当たる。ここで、（ｎ−１）フレーム目の外部標定要素は既知であり、複数ある特徴点の３次元座標も既知である。また、２つのフレーム画像中における特徴点の画像座標は、それぞれのフレーム画像から得ることができる。よって、未知数となるｎフレーム目の外部標定要素（カメラの位置と姿勢）を算出することができる。

【0116】

このように、一連の処理が繰り返し行われることで、（ｎ＋１）フレーム目、（ｎ＋２）フレーム目、（ｎ＋３）フレーム目（ｎ：自然数）を対象とした処理により、（ｎ＋１）フレーム目および（ｎ＋２）フレーム目で撮影した画像中の特徴点の３次元座標の算出、および（ｎ＋３）フレーム目における各カメラの外部標定要素の算出が逐次行われる。また、各処理のサイクルにおけるステップＳ１０８に対応する処理において、複数のカメラ毎に設定された重みを考慮したバンドル調整が行われ、各カメラから得られた撮影対象の特徴点の統合座標における３次元座標のデータと、各カメラから得られた統合中心における外部標定要素のデータが統合される。

【0117】

上述した繰り返し行われる統合中心における外部標定要素の算出が行われることで、車両１００の位置が刻々と算出される。つまり、図３の処理を利用して、移動する車両１００の位置情報の算出を行うことができる。また、算出された位置の変化から車両１００の速度を算出することができる。

【0118】

（優位性）
以上述べた手法によれば、精度の異なる複数の撮影手段を用いて算出した撮影対象の特徴点の３次元座標の値と各撮影手段の外部標定要素とを各撮影手段の精度を反映させた形で統合して扱うことができる。この技術を用いると、複数のカメラを用いて、車両から見える周囲の景観等の画像の３次元データ化が全周カメラを用いずに可能となる。また、全周カメラでは取得が困難な車両周囲の景観の３次元データを得ることができる。

【0119】

２．第２の実施形態
ステップＳ１０８において、カメラの撮影データ以外に由来する計測値を更に統合するデータに加えることもできる。以下、この一例を説明する。図１に示す構成では、車両１００の加速度が加速度計１０６で計測され、傾斜が傾斜計１０７で計測され、位置がＧＰＳ装置１０８により計測される。例えば、傾斜計１０７の計測値は、外部標定要素の姿勢に係るデータとなる。よって傾斜計１０７が計測した車両１００の傾斜データを数２１に取り込むことができる。この際、傾斜計１０７およびＧＰＳ装置１０８の精度を考慮した重みを傾斜計１０７とＧＰＳ装置１０８に設定し、数２１の該当する部分に測定値を取り込む。こうすることで、傾斜計１０７が計測した車両１００の傾斜データを統合したデータに取り込むことができる。

【0120】

また、ＧＰＳ装置１０８あるいはＧＰＳ装置１０８と加速度計１０６の測定データから、車両１００の位置を求め、それを数２１の位置のデータの部分に取り込むことで、統合したデータに加速度計１０６とＧＰＳ装置１０８の計測値を反映させることができる。

【0121】

３．第３の実施形態
ステップＳ１０８において、レーザースキャナ１０９が測定した測定対象物の３次元点群位置データを取り込むこともできる。この場合、レーザースキャナ１０９が測定した測定対象物の３次元点群位置データとその姿勢のデータが数２１に取り込まれる。この際もレーザースキャナ１０９に係るデータに重み付けを行い、その精度を考慮した状態で数２１への取り込みを行う。

【0122】

４．第４の実施形態
この例では、ステレオペア画像を得る手段として、異なる２つの視点から２つの動画像を撮影するステレオカメラを用いる。なお、動画撮影が可能なステレオカメラが複数あるカメラの一部のカメラのみであってもよいし、複数ある全てのカメラであってもよい。また、２つのカメラを組みとして、ステレオペア画像を得る手段を構成してもよい。この例の場合、図２に示す構成は、図２に関連して説明した機能に加えて、ステレオペア画像を対象とした処理を行なう。なお、ステレオカメラを構成する左右のカメラの相対位置と姿勢の関係は、設定値として既知であるとする。

【0123】

この例では、まずカメラからステレオペア動画像のデータを取得する。このステレオペア動画像は、右画像取得用のカメラからの動画像と、左画像取得用のカメラからの動画像とにより構成される。ここで、左右の動画像は、時系列を追って連続して撮影された複数のフレーム画像により構成されている。次いで、取得したステレオペア動画像の中の２フレーム目の左右のステレオペア画像のそれぞれから特徴点の抽出を行い、更に２フレーム目における左右のステレオ画像から抽出した特徴点の対応関係を特定する。

【0124】

ここで、ステレオカメラを構成する左右のカメラの位置関係と姿勢の関係は既知であるので、図６に示す原理を用い、特定した特徴点の３次元座標の算出が行われる。他の処理は、第１の実施形態の場合と同じである。

【0125】

５．第５の実施形態
重み係数、つまり特定のカメラや計測装置の観測値の精度を他の機器の観測値から演算により推定することもできる。以下、その一例を説明する。ここでは、ＧＰＳ装置と１台のカメラを考え、ＧＰＳ装置の計測値を用いて、当該カメラの重みを推定する処理の一例を説明する。図９は、特定のカメラや計測装置の観測値の精度を他の機器の観測値から演算により推定する処理の一例を説明するフローチャートである。図９に示す処理は、図２の重み係数推定部２０９において実行される。図９のフローチャートを実行するためのプログラムは、画像データ処理装置２００が備える適当なメモリ領域に格納され、画像データ処理装置２００が備えるＣＰＵによって読み取られて実行される。なお、図９のフローチャートを実行するためのプログラムを外部の適当な記憶媒体に格納し、そこから画像データ処理装置２００に提供される形態も可能である。

【0126】

ここでは、図１のＧＰＳ装置１０８と景観観察用カメラ１（１０３）に係り、ＧＰＳ装置１０８の計測値を利用して、景観観察用カメラ１（１０３）の重み係数を推定する処理の一例を説明する。また、取得する位置情報において、その精度（例えば、誤差１０ｃｍといった情報）と、当該機器に与えられる重み係数との関係は予め既知であるとする。

【0127】

図９の処理が開始されると、ＧＰＳ装置１０８からｆ−ｎフレーム目におけるＧＰＳ装置１０８の位置と精度を取得する（ステップＳ３０１）。ここで、精度というのは、ＧＰＳ装置から得られる計測データの精度である。ＧＰＳ装置は、補足したＧＰＳ衛星の数、信号のデコード状態、衛星から受信した信号の種類等に基づき、自身が出力する位置情報の精度に係る信号を出力する機能を有している。ステップＳ３０１では、この機能を利用して、ＧＰＳ装置１０８から取得したｆ−ｎフレーム目の位置情報の精度に係る情報を位置情報と共に取得する。なお、ｎは、例えばｎ＝３〜１０程度が採用される。

【0128】

次に、景観撮影用カメラ１（１０３）が撮影した（ｆ−ｎ）フレーム目からｆフレーム目までの画像を取得し、これらの画像から撮影対象物の特徴点を抽出し、更に各フレームにおける特徴点の対応する点（対応点）を取得する（ステップＳ３０２）。この処理は、図３のステップＳ１０３，ステップ１０４で行った処理と同じである。次に、景観撮影用カメラ１（１０３）の仮の精度を設定（仮設定）する（ステップＳ３０３）。例えば、精度が分っているＧＰＳ装置１０８と同じ精度に仮設定を行う。

【0129】

次に、ステップＳ３０２で取得した対応点に基づくｆフレーム目における景観撮影用カメラ１（１０３）の位置Ｘｆ_１の算出を、カルマンフィルタを用いて行う（ステップＳ３０４）。この処理では、景観撮影用カメラ１（１０３）が撮影した複数のフレーム画像に写った撮影対象物の特徴点の３次元座標から、景観撮影用カメラ１（１０３）の外部標定要素を求める処理、すなわち図３のステップＳ１０５，Ｓ１０６で用いた手法により、景観撮影用カメラ１（１０３）の位置Ｘｆ_１を算出する。この際、カルマンフィルタを用いて、ステップＳ３０３で仮設定した精度を反映した景観撮影用カメラ１（１０３）の位置の確率分布をＸｆ_１として求める。なお、景観撮影用カメラ１（１０３）の姿勢に関する初期値は、他の機器の情報から得られているものとする。

【0130】

なお、カルマンフィルタを用いると、計算結果はガウス分布となる。これに対して、後述するパーティクルフィルタを用いると、値の候補が複数個ある、という結果が得られる。勿論、カルマンフィルタとパーティクルフィルタはどちらを使っても、あるいは両方組み合わせて使っても良いが、線形計算できる（共線条件式により）３次元座標値に対してはカルマンフィルタを、非線形計算となるカメラの位置に対してはパーティクルフィルタを用いるのが適当である。

【0131】

ステップＳ３０４の後、ＧＰＳ装置１０８の計測値からｆフレーム目における位置（ＧＰＳ装置１０８の位置）と、この位置情報の精度を取得する（ステップＳ３０５）。そして、ステップＳ３０５で取得したＧＰＳ情報に基づき、ｆフレーム目における景観撮影用カメラ１（１０３）の位置Ｘｆ_２を、パーティクルフィルタを用いて算出する（ステップＳ３０６）。この際、ＧＰＳ装置１０８と景観撮影用カメラ１（１０３）の位置関係が既知であるので、この位置関係を勘案してＸｆ_２の算出が行われる。

【0132】

そして、Ｘｆ_１とＸｆ_２の差を評価し、その差が最小であるか否か、の判定が行われる。実際には、ステップＳ３０３〜Ｓ３０６処理を複数サイクル行い、Ｘｆ_１とＸｆ_２の差が小さくなるようにステップＳ３０３で仮設定した景観撮影用カメラ１（１０３）の仮設定精度を少しずつ変化させ、Ｘｆ_１とＸｆ_２の差が極小値であるか否か、がステップＳ３０７において判定される。ここで、Ｘｆ_１とＸｆ_２の差は、Ｘｆ_１とＸｆ_２の分布がピークを示す位置の差として求められる。

【0133】

Ｘｆ_１とＸｆ_２の差の最小値が得られた場合、その際における景観撮影用カメラ１（１０３）の仮設定精度が推定された適正な精度（推定精度）として取得される（ステップＳ３０８）。そして、ステップＳ３０８で取得した景観撮影用カメラ１（１０３）の推定精度と、ステップ３０５で取得したＧＰＳ情報の精度とに基づいて、景観撮影用カメラ１（１０３）の重み係数の推定値を算出する（ステップＳ３０９）。

【0134】

すなわち、精度が定量的な値として得られれば、精度と当該機器に与えられる重み係数との関係は予め既知であるので、ステップＳ３０８で算出した推定精度に対応する重み係数を算出することができる。

【0135】

そして、まだ処理すべきフレームがあるか否か、が判定され（ステップＳ３１０）、処理すべきフレームがあれば、ステップＳ３０１以下の処理が再度実行され、新たなｆフレーム目を対象とした処理が行われる。また、処理すべきフレームがなく、最終フレームである場合、処理を終了する。

【0136】

ステップＳ３０７の判定は、最小値であるか否か、を判定するのではなく、Ｘｆ_１とＸｆ_２の差が予め定めた閾値を下回ったか否か、を判定する内容であってもよい。

【0137】

ここでは、ＧＰＳを用いてカメラの重みを推定する例を説明したが、位置情報を得ることができ、更にその精度が分る機器であれば、ＧＰＳ以外の機器を用いることもできる。このような機器としては、タイヤの回転から位置情報を追尾するオドメータや車両の通過時に位置情報を車両に与えるマーカーを検出する位置検出装置等を挙げることができる。

【0138】

また、精度が分っている第１のカメラと精度が分っていない（あるいは撮影対象の性質により、精度が変動する）第２のカメラを対象とし、第１のカメラが撮影した動画に基づく車両の位置情報（本実施形態のＧＰＳ位置情報に該当）を基準とし、第２のカメラの精度を推定する手法も可能である。

【0139】

（その他）
外部から与えられる情報に基づいてカメラの位置（車両１００の位置）を特定する手段として、ＧＰＳ以外に（あるいはＧＰＳに加えて）道路沿いや路面に設けられた光ビーコンや電波ビーコンの情報から位置情報を得る手段を利用することもできる。

【0140】

実施形態では、移動体として道路上を走る車両を一例として挙げたが、移動する場所は道路に限定されない。例えば、工事用車両や道路でない場所を走行する車両に本発明を適用することができる。また、移動体は、車両に限定されず、船舶、航空機、移動可能なロボット等であってもよい。

【産業上の利用可能性】

【0141】

本発明は、複数のカメラから得た画像データを統合的に取り扱う技術に利用することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】