特許 6515039 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6515039

(24)【登録日】2019年4月19日

(45)【発行日】2019年5月15日

(54)【発明の名称】連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法

(51)【国際特許分類】

   G06T 7/60 20170101AFI20190425BHJP

【ＦＩ】

   G06T7/60 150

【請求項の数】13

【全頁数】19

(21)【出願番号】特願2016-2279(P2016-2279)

(22)【出願日】2016年1月8日

(65)【公開番号】特開2017-123087(P2017-123087A)

(43)【公開日】2017年7月13日

【審査請求日】2018年3月6日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100135068

【弁理士】

【氏名又は名称】早原 茂樹

(72)【発明者】

【氏名】小林 達也

(72)【発明者】

【氏名】加藤 晴久

【審査官】 片岡 利延

(56)【参考文献】

【文献】 特開２０１４−０９２９８４（ＪＰ，Ａ）

【文献】 特開２０１４−０５９７１０（ＪＰ，Ａ）

【文献】 特開２０１５−２０７２８０（ＪＰ，Ａ）

【文献】 小林 達也，外２名，オンライン法線方向推定に基づく平面マーカレスＡＲ，情報処理学会研究報告，日本，２０１６年 ２月２６日

【文献】 小林 達也，外２名，カメラの移動状態推定に基づく高速な姿勢追跡手法，ITE Winter Annual Convention 2013，２０１３年

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／６０

(57)【特許請求の範囲】

【請求項1】

撮影画像に映り込む平面物体の法線ベクトルを算出するようにコンピュータを機能させることを特徴とするプログラムにおいて、
連続的な撮影画像のＮc個のフレームiと、
前記Ｎc個のフレームiの内のいずれかのフレームである登録画像から検出されたＮp個の登録点ｐ_j（＝[ｕ_ｊ,ｖ_ｊ]^T、ｊ＝１〜Ｎp）の３次元座標Ｘ_j（＝[ｘ_ｊ,ｙ_ｊ,ｚ_ｊ]^T）と、
各フレームに映るＮp個の登録点ｐ_j毎の追跡座標ｍ_ij（＝[ｕ_ij,ｖ_ij]^T、i＝１〜Ｎc）とを用いて、
再投影誤差関数を最小化する、カメラ姿勢パラメータＲ_i（＝[ｒ_ix,ｒ_iy,ｒ_iz]^T）及びｔ_i（＝[ｔ_ix,ｔ_iy,ｔ_iz]^T）と、法線ベクトルｎ_t（＝[ｘ_ｎ,ｙ_ｎ,ｚ_ｎ]^T,ｘ_ｎ^２+ｙ_ｎ^２+ｚ_ｎ^２＝１）との両方を算出する法線ベクトル算出手段と
して機能させ、
前記法線ベクトル算出手段は、登録画像の登録点ｐ_jの３次元座標Ｘ_jを、登録点ｐ_jと、物体平面の通る基準点Ｘ_０（＝[ｘ_０,ｙ_０,ｚ_０]^T）と、法線ベクトルｎ_tとによって表現し、登録点ｐ_jの物体平面への逆投影によって算出する
ようにコンピュータを機能させることを特徴とするプログラム。

【請求項2】

前記法線ベクトル算出手段は、基準点Ｘ_０を、登録点ｐ_jの重心ｐ_０（＝[ｕ_０,ｖ_０]^Tの逆投影（Ｘ_０＝１／ｗ_０[ｕ_０,ｖ_０,１]^T）によって算出する
ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。

【請求項3】

前記法線ベクトル算出手段について、前記再投影誤差関数は、以下の式によって表される
Ｒ_i',ｔ_i',ｎ_t'＝arg min_Ｒi,ｔi,ntΣ_i=1^NcΣ_ｊ=1^Nｐ(ｍ_ij−proj(Ｒ_i,ｔ_i,Ｘ_j))²
Ｘ_j＝(ｎ_t・Ｘ_０／ｎ_t・ｐ_j')ｐ_j'
＝(ｘ_ｎｘ_０＋ｙ_ｎｙ_０＋ｚ_nｚ_０)／(ｘ_ｎｕ_j＋ｙ_ｎｖ_j＋ｚ_ｎ)[ｕ_j,ｖ_j,1]^T
ｘ_n²＋ｙ_n²＋ｚ_n²＝１
ｚ_n＝√(１−ｘ_n²−ｙ_n²)
ｐ_j'（＝[ｕ_j,ｖ_j,１]^T）：登録点ｐ_jの同次座標表現
i：撮影画像のＮc個のフレームの番数
ｍ_ij：フレームiに映るＮp個の登録点ｐ_j毎の追跡座標
Ｒ_i及びｔ_i：フレームiのカメラ姿勢パラメータ
ｎ_t：平面物体の法線ベクトル
Ｘ_０：物体平面の通る基準点
proj(Ｒ_i,ｔ_i,Ｘ_j)：３次元座標Ｘ_jの投影関数 [Ｒ_i｜ｔ_i]Ｘ_j
Ｘ_j'：Ｘ_jの同次座標表現
Ｒ_i'及びｔ_i'：フレームiのカメラ姿勢パラメータＲ_i及びｔ_iの推定値
ｎ_t'：平面物体の法線ベクトルｎ_tの推定値
ようにコンピュータを機能させることを特徴とする請求項１又は２に記載のプログラム。

【請求項4】

前記法線ベクトル算出手段について、前記再投影誤差関数における未知パラメータの数は、Ｎc個のフレームi毎に生じるカメラ姿勢パラメータＲ_i（＝[ｒ_ix,ｒ_iy,ｒ_iz]^T）及びｔ_i（＝[ｔ_ix,ｔ_iy,ｔ_iz]^T）の６個と、登録点に対する法線ベクトルｎ_t（＝[ｘ_ｎ,ｙ_ｎ,ｚ_ｎ]^T,ｘ_ｎ^２+ｙ_ｎ^２+ｚ_ｎ^２＝１）の２個とを合計した、６Ｎc＋２個となる
ようにコンピュータを機能させることを特徴とする請求項３に記載のプログラム。

【請求項5】

前記法線ベクトル算出手段は、撮影画像のカメラワークが微小であるとする前提条件の下、初期値として、カメラ姿勢パラメータのＲiを単位行列とし、ｔ_iを零ベクトルとして、前記法線ベクトルを算出する
ようにコンピュータを機能させることを特徴とする請求項１から４のいずれか１項に記載のプログラム。

【請求項6】

前記法線ベクトル算出手段について、前記再投影誤差関数は、バンドル調整における法線ベクトルの初期値を、光軸と平行な方向（ｎ_t＝[0,0,1]^T）とする
ようにコンピュータを機能させることを特徴とする請求項１から５のいずれか１項に記載のプログラム。

【請求項7】

登録画像の登録点と撮影画像の追跡座標との間のホモグラフィ行列を用いて、誤追跡された追跡座標を除外する画像特徴追跡手段と
して更にコンピュータを機能させることを特徴とする請求項１から６のいずれか１項に記載のプログラム。

【請求項8】

撮影画像の中から、ユーザ操作に応じて平面物体が映る対象領域を特定し、該対象領域を登録画像として記憶する登録画像記憶手段と
して更にコンピュータを機能させることを特徴とする請求項１から７のいずれか１項に記載のプログラム。

【請求項9】

前記登録画像記憶手段は、登録画像を、前記法線ベクトル算出手段によって算出された法線ベクトルによって正面化画像に幾何変換し、該正面化画像を登録画像として記憶する
ようにコンピュータを機能させることを特徴とする請求項８に記載のプログラム。

【請求項10】

前記画像特徴追跡手段は、追跡に成功した画像特徴の数が第１の所定閾値以下の場合に、画像処理を中断して、画像登録からやり直す
ようにコンピュータを機能させることを特徴とする請求項７に記載のプログラム。

【請求項11】

前記画像特徴追跡手段は、追跡に成功した画像特徴の数が第２の所定閾値（＜第１の所定閾値）以下の場合に、画像処理を中断して、「対象物体が平面で無い」旨をユーザに明示する
ようにコンピュータを機能させることを特徴とする請求項１０に記載のプログラム。

【請求項12】

撮影画像に映り込む平面物体の法線ベクトルを算出する画像処理装置において、
連続的な撮影画像のＮc個のフレームiと、
前記Ｎc個のフレームiの内のいずれかのフレームである登録画像から検出されたＮp個の登録点ｐ_j（＝[ｕ_ｊ,ｖ_ｊ]^T、ｊ＝１〜Ｎp）の３次元座標Ｘ_j（＝[ｘ_ｊ,ｙ_ｊ,ｚ_ｊ]^T）と、
各フレームに映るＮp個の登録点ｐ_j毎の追跡座標ｍ_ij（＝[ｕ_ij,ｖ_ij]^T、i＝１〜Ｎc）とを用いて、
再投影誤差関数を最小化する、カメラ姿勢パラメータＲ_i（＝[ｒ_ix,ｒ_iy,ｒ_iz]^T）及びｔ_i（＝[ｔ_ix,ｔ_iy,ｔ_iz]^T）と、法線ベクトルｎ_t（＝[ｘ_ｎ,ｙ_ｎ,ｚ_ｎ]^T,ｘ_ｎ^２+ｙ_ｎ^２+ｚ_ｎ^２＝１）との両方を算出する法線ベクトル算出手段
を有し、
法線ベクトル算出手段は、登録画像の登録点ｐ_jの３次元座標Ｘ_jを、登録点ｐ_jと、物体平面の通る基準点Ｘ_０（＝[ｘ_０,ｙ_０,ｚ_０]^T）と、法線ベクトルｎ_tとによって表現し、登録点ｐ_jの物体平面への逆投影によって算出する
ことを特徴とする画像処理装置。

【請求項13】

撮影画像に映り込む平面物体の法線ベクトルを算出する装置の法線ベクトル算出方法において、
装置は、
連続的な撮影画像のＮc個のフレームiと、
前記Ｎc個のフレームiの内のいずれかのフレームである登録画像から検出されたＮp個の登録点ｐ_j（＝[ｕ_ｊ,ｖ_ｊ]^T、ｊ＝１〜Ｎp）の３次元座標Ｘ_j（＝[ｘ_ｊ,ｙ_ｊ,ｚ_ｊ]^T）と、
各フレームに映るＮp個の登録点ｐ_j毎の追跡座標ｍ_ij（＝[ｕ_ij,ｖ_ij]^T、i＝１〜Ｎc）とを用いて、
再投影誤差関数を最小化する、カメラ姿勢パラメータＲ_i（＝[ｒ_ix,ｒ_iy,ｒ_iz]^T）及びｔ_i（＝[ｔ_ix,ｔ_iy,ｔ_iz]^T）と、法線ベクトルｎ_t（＝[ｘ_ｎ,ｙ_ｎ,ｚ_ｎ]^T,ｘ_ｎ^２+ｙ_ｎ^２+ｚ_ｎ^２＝１）との両方を算出するステップ
を実行し、
前記ステップは、登録画像の登録点ｐ_jの３次元座標Ｘ_jを、登録点ｐ_jと、物体平面の通る基準点Ｘ_０（＝[ｘ_０,ｙ_０,ｚ_０]^T）と、法線ベクトルｎ_tとによって表現し、登録点ｐ_jの物体平面への逆投影によって算出する
ことを特徴とする装置の法線ベクトル算出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラによる撮影画像から平面物体の法線ベクトル（法線方向）を算出する技術に関する。

【背景技術】

【0002】

コンピュータビジョンやロボットビジョンの技術によれば、カメラによって撮影された映像を解析することによって、映像内に映り込む対象物体の位置姿勢を推定・追跡することができる。例えば、監視カメラの連続的な撮影画像に映る車両を追跡する技術がある（例えば特許文献１参照）。この技術によれば、フレーム毎に、画像中の対象物体をテンプレートマッチングによって追跡する。但し、画像に映る車両の位置を追跡するに過ぎず、向き（方向）を追跡することはできない。

【0003】

これに対し、対象物体に仮想情報を重畳表示する拡張現実感技術によれば、カメラに対する対象物体の６自由度の位置姿勢を推定・追跡し、現実感の高い拡張現実を表示することができる。例えば、画像中で指定された対象物体に仮想オブジェクトを配置し、その対象物体の位置姿勢を推定・追跡することによって、仮想オブジェクトがあたかも指定された領域に存在するかのように表示することができる（例えば特許文献２参照）。
また、対象物体の３次元構造を３Ｄセンサでリアルタイムに取得し、その位置姿勢を推定／追跡する技術もある（例えば特許文献３参照）。
更に、単眼カメラのみで、撮影画像の３次元構造を推定する技術もある（例えば特許文献４参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許３６５１７４５号公報

【特許文献2】特開２０１３−１６４６９７号公報

【特許文献3】特開２０１４−５１１５９１号公報

【特許文献4】特開２０１４−１４９５８２号公報

【特許文献5】特開２０１５−０６９３５４号公報

【非特許文献】

【0005】

【非特許文献1】A. Ruiz et al., "Practical planar metric rectification," In Proc. of British Machine Vision Conference, 2006.

【非特許文献2】A Mulloni et al., "User friendly SLAM initialization," in Proc. of IEEE International Symposium on Mixed and Augmented Reality, 2013.

【非特許文献3】F Yu et al., "3D Reconstruction from Accidental Motion," in Proc. of IEEE Conference on Computer Vision and Pattern Recognition, 2014.

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、前述した従来技術によれば、単眼カメラの連続的な撮影画像を用いて、対象物体の位置姿勢を推定・追跡する際に、対象物体の３次元構造が未知である場合、撮影角度の変化による見た目の変化を予測することができない。そのために、ロバスト（頑健）性が著しく損なわれる。

【0007】

また、単眼カメラしか用いない場合、処理負荷や推定精度、カメラワーク（撮影中のカメラの動かし方）に対する制約が高い。例えば大きな視点変化を含む画像群を取得するようにカメラを動かす、ということが必要となる。

【0008】

これに対し、撮影画像に映る対象物体が平面物体（又は概ね平面で近似可能な物体）であるという前提条件の下では、計算量を削減し且つ推定精度を高めることができる。対象物体の３次元構造の平面を、「法線ベクトル」で表すことによって、計算量に影響する未知パラメータ数を大幅に減らすことができる。
対象物体が平面であれば、例えば画像間のホモグラフィ行列から、対象物体の方向を推定することもできる（例えば非特許文献１参照）。
また、対象物体に複数の平面が含まれる場合に推定精度を向上させる技術もある（例えば特許文献５参照）。
しかしながら、これら技術についても、カメラワークに対する制約が存在する。

【0009】

更に、既存技術のカメラワークの制約を解消する技術として、小さなカメラワークで撮影された連続画像から、バンドル調整を用いて撮影シーンの３次元構造を推定する技術がある（例えば非特許文献２、３参照）。これらの技術によれば、小さなカメラワークを前提とすることによって、推定するパラメータを制約し、初期パラメータの精度を向上させている。
しかしながら、この技術によれば、指定する対象物体の模様に制約があり、対象物体から万遍なく特徴点（画像特徴）が検出される場合にしか、実用的な精度を得ることができない。また、特徴点の追跡失敗に対するロバスト性に乏しい。

【0010】

そこで、本発明は、対象物体が平面物体（又は概ね平面で近似可能な物体）であるという前提条件の下で、カメラワークの大きな制約無しに、連続的な撮影画像に映り込む平面物体の法線ベクトルを、できる限り少ない計算量で算出することができるプログラム、装置及び方法を提供する。

【課題を解決するための手段】

【0011】

本発明によれば、撮影画像に映り込む平面物体の法線ベクトルを算出するようにコンピュータを機能させることを特徴とするプログラムにおいて、
連続的な撮影画像のＮc個のフレームiと、
Ｎc個のフレームiの内のいずれかのフレームである登録画像から検出されたＮp個の登録点ｐ_j（＝[ｕ_ｊ,ｖ_ｊ]^T、ｊ＝１〜Ｎp）の３次元座標Ｘ_j（＝[ｘ_ｊ,ｙ_ｊ,ｚ_ｊ]^T）と、
各フレームに映るＮp個の登録点ｐ_j毎の追跡座標ｍ_ij（＝[ｕ_ij,ｖ_ij]^T、i＝１〜Ｎc）とを用いて、
再投影誤差関数を最小化する、カメラ姿勢パラメータＲ_i（＝[ｒ_ix,ｒ_iy,ｒ_iz]^T）及びｔ_i（＝[ｔ_ix,ｔ_iy,ｔ_iz]^T）と、法線ベクトルｎ_t（＝[ｘ_ｎ,ｙ_ｎ,ｚ_ｎ]^T,ｘ_ｎ^２+ｙ_ｎ^２+ｚ_ｎ^２＝１）との両方を算出する法線ベクトル算出手段と
して機能させ、
法線ベクトル算出手段は、登録画像の登録点ｐ_jの３次元座標Ｘ_jを、登録点ｐ_jと、物体平面の通る基準点Ｘ_０（＝[ｘ_０,ｙ_０,ｚ_０]^T）と、法線ベクトルｎ_tとによって表現し、登録点ｐ_jの物体平面への逆投影によって算出する
ようにコンピュータを機能させることを特徴とする。

【0012】

本発明のプログラムにおける他の実施形態によれば、
法線ベクトル算出手段は、基準点Ｘ_０を、登録点ｐ_jの重心ｐ_０（＝[ｕ_０,ｖ_０]^Tの逆投影（Ｘ_０＝１／ｗ_０[ｕ_０,ｖ_０,１]^T）によって算出する
ようにコンピュータを機能させることも好ましい。

【0013】

本発明のプログラムにおける他の実施形態によれば、
法線ベクトル算出手段について、再投影誤差関数は、以下の式によって表される
Ｒ_i',ｔ_i',ｎ_t'＝arg min_Ｒi,ｔi,ntΣ_i=1^NcΣ_ｊ=1^Nｐ(ｍ_ij−proj(Ｒ_i,ｔ_i,Ｘ_j))²
Ｘ_j＝(ｎ_t・Ｘ_０／ｎ_t・ｐ_j')ｐ_j'
＝(ｘ_ｎｘ_０＋ｙ_ｎｙ_０＋ｚ_nｚ_０)／(ｘ_ｎｕ_j＋ｙ_ｎｖ_j＋ｚ_ｎ)[ｕ_j,ｖ_j,1]^T
ｘ_n²＋ｙ_n²＋ｚ_n²＝１
ｚ_n＝√(１−ｘ_n²−ｙ_n²)
ｐ_j'（＝[ｕ_j,ｖ_j,１]^T）：登録点ｐ_jの同次座標表現
i：撮影画像のＮc個のフレームの番数
ｍ_ij：フレームiに映るＮp個の登録点ｐ_j毎の追跡座標
Ｒ_i及びｔ_i：フレームiのカメラ姿勢パラメータ
ｎ_t：平面物体の法線ベクトル
Ｘ_０：物体平面の通る基準点
proj(Ｒ_i,ｔ_i,Ｘ_j)：３次元座標Ｘ_jの投影関数 [Ｒ_i｜ｔ_i]Ｘ_j'
Ｘ_j'：Ｘ_jの同次座標表現
Ｒ_i'及びｔ_i'：フレームiのカメラ姿勢パラメータＲ_i及びｔ_iの推定値
ｎ_t'：平面物体の法線ベクトルｎ_tの推定値
ようにコンピュータを機能させることも好ましい。

【0014】

本発明のプログラムにおける他の実施形態によれば、
法線ベクトル算出手段について、再投影誤差関数における未知パラメータの数は、Ｎc個のフレームi毎に生じるカメラ姿勢パラメータＲ_i（＝[ｒ_ix,ｒ_iy,ｒ_iz]^T）及びｔ_i（＝[ｔ_ix,ｔ_iy,ｔ_iz]^T）の６個と、登録点に対する法線ベクトルｎ_t（＝[ｘ_ｎ,ｙ_ｎ,ｚ_ｎ]^T,ｘ_ｎ^２+ｙ_ｎ^２+ｚ_ｎ^２＝１）の２個とを合計した、６Ｎc＋２個となる
ようにコンピュータを機能させることも好ましい。

【0015】

本発明のプログラムにおける他の実施形態によれば、
法線ベクトル算出手段は、撮影画像のカメラワークが微小であるとする前提条件の下、初期値として、カメラ姿勢パラメータのＲiを単位行列とし、ｔ_iを零ベクトルとして、法線ベクトルを算出する
ようにコンピュータを機能させることも好ましい。

【0016】

本発明のプログラムにおける他の実施形態によれば、
法線ベクトル算出手段について、再投影誤差関数は、バンドル調整における法線ベクトルの初期値を、光軸と平行な方向ｎ_t＝[0,0,1]^Tとする
ようにコンピュータを機能させることも好ましい。

【0017】

本発明のプログラムにおける他の実施形態によれば、
登録画像の登録点と撮影画像の追跡座標との間のホモグラフィ行列を用いて、誤追跡された追跡座標を除外する画像特徴追跡手段と
して更にコンピュータを機能させることも好ましい。

【0018】

本発明のプログラムにおける他の実施形態によれば、
撮影画像の中から、ユーザ操作に応じて平面物体が映る対象領域を特定し、該対象領域を登録画像として記憶する登録画像記憶手段と
して更にコンピュータを機能させることも好ましい。

【0019】

本発明のプログラムにおける他の実施形態によれば、
登録画像記憶手段は、登録画像を、法線ベクトル算出手段によって算出された法線ベクトルによって正面化画像に幾何変換し、該正面化画像を登録画像として記憶する
ようにコンピュータを機能させることも好ましい。

【0020】

本発明によれば、撮影画像に映り込む平面物体の法線ベクトルを算出する画像処理装置において、
連続的な撮影画像のＮc個のフレームiと、
Ｎc個のフレームiの内のいずれかのフレームである登録画像から検出されたＮp個の登録点ｐ_j（＝[ｕ_ｊ,ｖ_ｊ]^T、ｊ＝１〜Ｎp）の３次元座標Ｘ_j（＝[ｘ_ｊ,ｙ_ｊ,ｚ_ｊ]^T）と、
各フレームに映るＮp個の登録点ｐ_j毎の追跡座標ｍ_ij（＝[ｕ_ij,ｖ_ij]^T、i＝１〜Ｎc）とを用いて、
再投影誤差関数を最小化する、カメラ姿勢パラメータＲ_i（＝[ｒ_ix,ｒ_iy,ｒ_iz]^T）及びｔ_i（＝[ｔ_ix,ｔ_iy,ｔ_iz]^T）と、法線ベクトルｎ_t（＝[ｘ_ｎ,ｙ_ｎ,ｚ_ｎ]^T,ｘ_ｎ^２+ｙ_ｎ^２+ｚ_ｎ^２＝１）との両方を算出する法線ベクトル算出手段
を有し、
法線ベクトル算出手段は、登録画像の登録点ｐ_jの３次元座標Ｘ_jを、登録点ｐ_jと、物体平面の通る基準点Ｘ_０（＝[ｘ_０,ｙ_０,ｚ_０]^T）と、法線ベクトルｎ_tとによって表現し、登録点ｐ_jの物体平面への逆投影によって算出する
ことを特徴とする。

【0021】

本発明によれば、撮影画像に映り込む平面物体の法線ベクトルを算出する装置の法線ベクトル算出方法において、
装置は、
連続的な撮影画像のＮc個のフレームiと、
Ｎc個のフレームiの内のいずれかのフレームである登録画像から検出されたＮp個の登録点ｐ_j（＝[ｕ_ｊ,ｖ_ｊ]^T、ｊ＝１〜Ｎp）の３次元座標Ｘ_j（＝[ｘ_ｊ,ｙ_ｊ,ｚ_ｊ]^T）と、
各フレームに映るＮp個の登録点ｐ_j毎の追跡座標ｍ_ij（＝[ｕ_ij,ｖ_ij]^T、i＝１〜Ｎc）とを用いて、
再投影誤差関数を最小化する、カメラ姿勢パラメータＲ_i（＝[ｒ_ix,ｒ_iy,ｒ_iz]^T）及びｔ_i（＝[ｔ_ix,ｔ_iy,ｔ_iz]^T）と、法線ベクトルｎ_t（＝[ｘ_ｎ,ｙ_ｎ,ｚ_ｎ]^T,ｘ_ｎ^２+ｙ_ｎ^２+ｚ_ｎ^２＝１）との両方を算出するステップ
を実行し、
ステップは、登録画像の登録点ｐ_jの３次元座標Ｘ_jを、登録点ｐ_jと、物体平面の通る基準点Ｘ_０（＝[ｘ_０,ｙ_０,ｚ_０]^T）と、法線ベクトルｎ_tとによって表現し、登録点ｐ_jの物体平面への逆投影によって算出する
ことを特徴とする。

【発明の効果】

【0022】

本発明のプログラム、装置及び方法によれば、対象物体が平面物体（又は概ね平面で近似可能な物体）であるという前提条件の下で、カメラワークの大きな制約無しに、連続的な撮影画像に映り込む平面物体の法線ベクトルを、大幅に少ない計算量で算出することができる。具体的には、法線ベクトルを算出するためのバンドル調整における未知パラメータの数を削減しているために、処理負荷を削減し、推定精度を高めることができる。また、ホモグラフィ行列を用いることによって、特徴点の追跡失敗に対するロバスト性も向上させることができる。

【図面の簡単な説明】

【0023】

【図1】本発明における画像処理装置の機能構成図である。

【図2】登録画像及び正面化画像の法線ベクトルを表す説明図である。

【図3】法線ベクトルと正面化回転行列との関係を表す説明図である。

【図4】登録画像の登録点と撮影画像の追跡座標との間の対応関係を表す説明図である

【図5】登録点と追跡座標との対応を表す画像図である。

【図6】異なる未知パラメータの数で表現した特徴点（追跡座標）を表す画像図である。

【図7】登録点と基準点、法線ベクトル、対象物平面の幾何的関係を表す説明図である。

【図8】光軸中心と、画像平面上の登録画像の登録点と、撮影画像の法線ベクトルとの幾何的関係を表すグラフである。

【図9】バンドル調整に応じてフレーム数に対する法線ベクトルの収束及び処理時間を表すグラフである。

【発明を実施するための形態】

【0024】

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

【0025】

図１は、本発明における画像処理装置の機能構成図である。

【0026】

図１の画像処理装置によれば、画像取得部１０と、登録画像記憶部１１と、画像特徴追跡部１２と、法線ベクトル算出部１３とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、装置の法線ベクトル算出方法としても理解できる。

【0027】

本発明によれば、連続的な撮影画像に映り込む平面物体の法線ベクトルを算出する際に、以下の２つの条件を前提とすることによって、３次元構造の未知のパラメータ数を削減し、できる限り少ない計算量で実行する。
（前提条件１）対象物体が、平面物体（又は概ね平面で近似可能な物体）である
（前提条件２）撮影画像のカメラワークが、微小である

【0028】

撮影画像に映り込む「対象物体」とは、平面で且つ剛体の「平面物体」であり、時間経過に応じて変形するような物体を対象としていない。また、特徴点追跡によって法線ベクトルを推定するために、撮影画像に映る対象物体から、比較的多くの特徴点が検出されることを前提としている。但し、単一色の平面の場合は、特徴点が検出されにくい場合がある。対象物体としては、例えば雑誌やポスター、広告、トレーディングカード、建物の壁面が想定されている。

【0029】

「カメラワーク」とは、ユーザによるカメラの動かし方を意味する。「カメラワークが微小である」ということは、ユーザがカメラをできる限り動かさないように把持して、対象物体を撮影している状態をいう。これに対し、「カメラワークが大きい」とは、ユーザがカメラを大きく動かして、対象物体を様々な位置と方向から撮影している状態をいう。

【0030】

［画像取得部１０］
画像取得部１０は、カメラによる連続的な撮影画像を取得する。撮影画像は、予め録画されたものであってもよいし、インタフェースを介して外部から時系列に入力されるもの（例えばライブ映像）であってもよい。インタフェースは、ネットワークに接続する通信インタフェースであってもよいし、カメラからの入力インタフェースであってもよい。取得された撮影画像は、画像特徴追跡部１２へ出力される。ここで、登録画像がユーザによって指定される場合、取得された撮影画像は、登録画像記憶部１１へも出力される。

【0031】

［登録画像記憶部１１］
ユーザは、撮影画像中の平面物体の姿勢推定を開始する際に、ユーザインタフェースを介して登録画像を設定し、姿勢推定の開始を指示する。登録画像記憶部１１は、画像取得部１０から入力された撮影画像の中から、対象領域となる登録画像を記憶する。

【0032】

登録画像記憶部１１は、ユーザからユーザインタフェースを介して、平面物体が映る大まかな画像範囲の指示を受け付けることもできる。例えば、ユーザが、平面物体を包含する矩形領域や輪郭を、ポインティング操作に応じて指示する。ここで、登録画像には、その平面物体が、比較的大きく撮像されていることが好ましい。この登録画像が、連続して入力される撮影画像の中で追跡されていく。

【0033】

登録画像記憶部１１は、登録画像の画像範囲のトリミングや、画像範囲の外側の背景を単一色で塗りつぶすように画像処理を加えることによって、背景に対する画像特徴の追跡のロバスト性を高めることができる。また、対象物体を表すマスク画像（登録画像と同じ範囲で、対象領域の輝度値を２５５、それ以外の輝度値を０とすることで表現した画像）を保持し、そのマスク画像を用いて画像特徴追跡部１２が、画像特徴を検出する範囲を制限してもよい。

【0034】

図２は、登録画像及び正面化画像の法線ベクトルを表す説明図である。

【0035】

図２によれば、登録画像について、法線ベクトル算出部１３によって算出された法線ベクトルｎ_t＝[ｘn,ｙn,ｚn]^Tを用いて幾何変換している。これによって、平面物体が映る登録画像を、正面化画像（平面物体を正面から撮像した際の画像をシミュレートした変換画像）に変換することができる。平面物体が正面から撮影されている場合、法線ベクトルは、画像平面と垂直、光軸と並行の関係になる。逆に、平面物体が真横から撮影されている場合、法線ベクトルは、光軸と垂直、画像平面と並行の関係になる。

【0036】

登録画像記憶部１１は、その正面化画像を記憶することができる。登録画像を正面化画像に変換することによって、画像認識や姿勢追跡の精度を向上させることができる。

【0037】

図３は、法線ベクトルと正面化回転行列との関係を表す説明図である。

【0038】

図３によれば、回転行列をＲrecは、平面物体の法線ベクトルｎ_tが、光軸（Ｚ軸）と並行なベクトルｎ_Zと一致するように変換するものである。
Ｒrec＝Ｒ_Y(θ_Y)Ｒ_X(θ_X)
Ｒ_X：Ｘ軸周りの回転行列
Ｒ_Y：Ｙ軸周りの回転行列
θ_X：ｎ_tのＸ軸に沿った角度
θ_Y：ｎ_tのＹ軸に沿った角度

【0039】

この回転行列Ｒrecを用いて、登録画像を正面化することができる。例えば以下のようなホモグラフィ行列Ｈrecによって、登録画像を正面化画像に変換することができる。
Ｈrec＝[ｐ₁,ｐ₂,ｐ₄］
Ｐrec＝[ｐ₁,ｐ₂,ｐ₃,ｐ₄］＝Ａ[Ｒrec｜ｔ]
ｔ：登録画像中の平面物体の位置を調整する並進ベクトル
ここで、ｔは正面化画像中の平面物体が画像中央に来るように調整して設定することが望ましい。

【0040】

カメラの内部パラメータＡは、画像の歪みを無視した場合、以下のように表すことができる。

【数1】

ｆ_x、ｆ_ｙ：焦点距離、ｃ_x、ｃ_y：光軸のズレ
焦点距離ｆ_x、ｆ_y及び光軸のズレｃ_x、ｃ_yは、事前のキャリブレーションによって算出しておくことができる。画像平面上の二次元ピクセル座標[ｕ,ｖ]^Tは、内部パラメータを用いて、以下の式で正規化座標[ｕ',ｖ']^Tに変換することができる。
ｕ'＝(ｕ−ｃ_x)／ｆ_x ， ｖ'＝(ｖ−ｃ_y)／ｆ_y
このように、二次元座標を正規化座標で表現することにより、式を簡潔に記載することができる。そのために、本発明の登録点や特徴点の二次元座標は、正規化座標で記載していることに注意すべきである。

【0041】

［画像特徴追跡部１２］
画像特徴追跡部１２は、連続的な撮影画像の中で、登録画像の登録点（画像特徴）を追跡する。

【0042】

図４は、登録画像の登録点と撮影画像の追跡座標との間の対応関係を表す説明図である。

【0043】

画像間で画像特徴を追跡するために、一般的に以下の２つの技術がある。
＜特徴点追跡ベース＞
＜局所特徴量のマッチングベース＞
画像特徴追跡部１２は、２つのいずれか一方又は両方を用いて、登録画像（法線ベクトルｎ_t）の登録点ｐ_j（＝[ｕ_ｊ,ｖ_ｊ]^T、ｊ＝１〜Ｎp）に対応する撮影画像の追跡座標ｍ_ij（＝[ｕ_ij,ｖ_ij]^T、i＝１〜Ｎc）を取得する。

【0044】

＜特徴点追跡ベース＞
特徴点追跡ベースの技術によれば、Harrisコーナー検出器や、ＦＡＳＴコーナー検出器によって、登録画像の登録点に対応する撮影画像の中の追跡座標を検出する。一般的に、ＫＬＴ(Kanade-Lucas-Tomasi)アルゴリズムや、特徴点周囲局所領域を切り出したパッチのテンプレートマッチングの技術が用いられる。テンプレートマッチングの類似度算出方法としては、ＮＣＣ(Normalized Cross Correlation)やＳＳＤ(Sum of Squared Difference)を用いることができる。

【0045】

＜局所特徴量のマッチングベース＞
局所特徴量のマッチングベースの技術によれば、ＳＩＦＴ(Scale-Invariant Feature Transform)やＳＵＲＦ(Speeded Up Robust Features)のような、位置や回転、歪みの変化に頑健な特徴量のマッチングによって画像間の点対応を取得する。ＳＩＦＴは、１枚の画像からは１２８次元の特徴ベクトルの集合を抽出し、スケールスペースを用いて特徴的な局所領域を解析し、そのスケール変化及び回転に不変となる特徴ベクトルを記述する。ＳＵＲＦは、積分画像を利用することによってＳＩＦＴよりも高速処理が可能であって、１枚の画像から６４次元の特徴ベクトルの集合を抽出する。また、バイナリ特徴ベクトル抽出アルゴリズムであるＦＡＳＴ(Features from Accelerated Segment Test)やＦＲＥＡＫ(Fast Retina Keypoint)の場合、ＳＩＦＴやＳＵＲＦよりも高速且つコンパクトな特徴ベクトルを抽出することができる。

【0046】

ここで、登録点と追跡座標との間で、背景画像が写りこむ場合や、照明変化、パターン模様等に起因して、誤追跡（アウトライア）される場合がある。後段の法線ベクトル算出部１３に入力される登録点及び追跡座標には、アウトライアの対応点が入力されないことが好ましい。ここで、画像特徴追跡部１２は、登録画像の登録点と撮影画像の追跡座標との間のホモグラフィ行列を用いて、誤追跡された追跡座標を除外する。即ち、アウトライアの追跡座標が除外され、インライアの追跡座標のみが、法線ベクトル算出部１３へ出力される。

【0047】

図５は、登録点と追跡座標との対応を表す画像図である。

【0048】

図５によれば、対象物体が平面であると仮定して、幾何的な検証によって誤追跡を除外することができる。平面物体上の登録点の位置の変化は、ホモグラフィ変換で表現することができる。そのために、画像特徴追跡部１２は、登録画像と撮影画像との間のホモグラフィ行列Ｈ_RCを推定し、そのＨ_RCに該当しない追跡座標を除外することによって、追跡のロバスト性を向上させることができる。

【0049】

具体的には、各登録点ｐ_jについて、Ｈ_RCを用いた変換位置と、実際の追跡座標ｍ_ijの距離ｄ_ijを、以下の式によって算出する。
ｄ_ij＝｜ｍ_ij−ｐ'_ij｜
Ｐ'_ij￣＝Ｈ_RCｐ_ij￣
Ｐ_ij'￣：ｐ_ijの同次表現
ｄ_ij：追跡座標ｍ_ijのホモグラフィ行列Ｈ_RCからの乖離度
ｄ_ijが一定の閾値以上の追跡座標ｍ_ijを除外することによって、追跡のロバスト性を向上させることができる。

【0050】

一般に、ホモグラフィ行列の推定値は、登録点の投影誤差関数の最小化問題を解くことによって得られる。ここで、更に、ＲＡＮＳＡＣ(RANdom SAmple Consensus)のようなロバスト推定を併用することによって、Ｈ_RCに該当する追跡座標のインライアとアウトライアとを、ロバストに分離することができる。

【0051】

登録画像の全面に平面物体が映る場合、画像間のホモグラフィ行列を高精度に推定することができる。一方で、登録画像の一部にしか平面物体が映らない場合（背景が写る場合）や、対象物体が一部立体的構造を含む場合、画像特徴の対応からホモグラフィ行列を一意に推定することができない。このとき、正しい追跡座標であっても、ホモグラフィ推定によってアウトライアとなることが起こりうる。これらの点は平面構造に合致しないため、追跡結果に含まれると法線ベクトルの推定精度の劣化要因となる。そのため、ロバスト推定で除外されることが好ましい。

【0052】

このような点が少数であれば、ロバスト推定で正しく除外することができる。尚、背景に対して平面物体の面積が相対的に小さい場合は、アウトライアの除外に失敗し、誤ったホモグラフィ行列を算出してしまうことに留意すべきである。

【0053】

＜ホモグラフィ行列を用いた登録画像の画像範囲の推定＞
ユーザの指示に応じて平面物体が映る登録画像から、ある程度、背景領域を除外することができる。しかしながら、ユーザが厳密に、平面物体を登録画像全体で指定することは難しく、登録画像の指定には誤差が含まれる。尚、本来、利便性の観点からは、対象領域をユーザに指定させる必要が無いことが好ましい。

【0054】

ここで、画像特徴追跡部１２は、登録画像中の対象領域を推定し、ホモグラフィ行列の算出に用いる画像特徴を制限することで、ホモグラフィ推定のロバスト性を向上させる。また、対象領域外の画像特徴に対して、ホモグラフィ行列と合致するかを検証することによって、画像特徴追跡のロバスト性を向上させる。最終的には、インライアとなった登録点のみを用いて対象領域を更新することができる。

【0055】

＜登録画像に映る平面物体の位置の推定＞
平面物体は、登録画像の中央付近に写っていることが一般的に期待されており、対象領域の初期値として、登録画像の中央付近の領域を指定することが望ましい。ホモグラフィ行列に合致するインライアの取得後、インライアを包含する領域を対象領域として更新する。

【0056】

＜大きすぎるカメラワークに対する処理の中断＞
追跡に成功した追跡座標（画像特徴）の数が著しく少ない場合、複数の原因がある。例えば、カメラワークが大きすぎるか、光源変化やフォーカスの変化によって画像特徴の追跡が著しく困難な画像が入力されたか、登録画像にノイズが乗っている場合がある。これらの場合、法線ベクトルを正確に算出することができない。そのために、画像特徴追跡部１２は、追跡に成功した画像特徴の数が第１の所定閾値τ_ｎp以下の場合に、画像処理を中断して、画像登録からやり直す。

【0057】

＜少なすぎる追跡座標に対する処理の中断＞
十分な数の追跡座標（画像特徴）が追跡できたにもかかわらず、ホモグラフィ行列に合致する（インライアとなる）追跡座標の数が著しく少ない場合、対象領域が平面で無い場合が想定される。この場合、画像特徴追跡部１２は、追跡に成功した画像特徴の数が第２の所定閾値（＜第１の所定閾値）以下の場合に、画像処理を中断して、「対象物体が平面で無い」旨をユーザに明示する。

【0058】

＜多面体の対象物体に対する繰り返し処理＞
対象物体が複数平面で構成される場合は、第１の対象領域についてアウトライアとなった追跡座標のみから再度、ＲＡＮＳＡＣ等のロバスト推定を用いて、第２の対象領域として、第１のＨ_RCとは異なる第２のホモグラフィ行列Ｈ_RCを算出し、そのインライアとなる追跡座標を抽出することも好ましい。３つ以上の対象領域についても、これを繰り返すことができる。

【0059】

第２の対象領域以降の法線ベクトルは、法線ベクトル算出部１３の処理によって、第１の対象領域の法線ベクトルを推定した後で同様の処理を繰り返していくか、又は、各対象領域に対して法線ベクトル算出部１３の処理を並列に実行することもできる。並列的に実行する方が、法線ベクトルを高速に推定することができるが、処理負荷が高くなる。処理リソースに応じて、処理手順を選択することが好ましい。

【0060】

［法線ベクトル算出部１３］
法線ベクトル算出部１３には、画像特徴追跡部１２から、各撮影画像に対応する連続的な登録点ｐの群が入力される。法線ベクトル算出部１３は、撮影画像に映り込む平面物体の法線ベクトルを算出するために、以下の要素を用いる。
ｉ：連続的な撮影画像のＮc個のフレームの番数
Ｘ_j（＝[ｘ_ｊ,ｙ_ｊ,ｚ_ｊ]^T）：平面物体の登録画像から検出されたＮp個の登録点ｐ_j（＝[ｕ_ｊ,ｖ_ｊ]^T、ｊ＝１〜Ｎp）の３次元座標
ｍ_ij（＝[ｕ_ij,ｖ_ij]^T、i＝１〜Ｎc）：各フレームに映るＮp個の登録点ｐ_j毎の追跡座標
そして、法線ベクトル算出部１３は、再投影誤差関数（バンドル調整）を最小化する、カメラ姿勢パラメータＲ_i（＝[ｒ_ix,ｒ_iy,ｒ_iz]^T）及びｔ_i（＝[ｔ_ix,ｔ_iy,ｔ_iz]^T）と、法線ベクトルｎ_t（＝[ｘ_ｎ,ｙ_ｎ,ｚ_ｎ]^T,ｘ_ｎ^２+ｙ_ｎ^２+ｚ_ｎ^２＝１）とを算出する。
このとき、本発明の法線ベクトル算出部１３は、登録画像の登録点ｐ_jの３次元座標Ｘ_jを、登録点ｐ_jと、物体平面の通る基準点Ｘ_０（＝[ｘ_０,ｙ_０,ｚ_０]^T）と、法線ベクトルｎ_tとによって表現し、登録点ｐ_jの物体平面への逆投影によって算出する。
これによって、Ｘ_j（＝[ｘ_ｊ,ｙ_ｊ,ｚ_ｊ]^T）を未知パラメータとすることなく、これに代えて、法線ベクトルｎ_tの２パラメータを未知パラメータとすることができる。

【0061】

また、法線ベクトル算出部１３は、基準点Ｘ_０を、登録点ｐ_jの重心ｐ_０（＝[ｕ_０,ｖ_０]^Tの逆投影（Ｘ_０＝１／ｗ_０[ｕ_０,ｖ_０,１]^T）によって算出するものであってもよい。
物体平面の通る基準点Ｘ_０（＝[ｘ_０,ｙ_０,ｚ_０]^T）は、再投影誤差関数の最小化計算の安定性の観点から、対象物平面の中心付近に設定することが好ましい。また、推定されるカメラ姿勢はスケール不定のため、Ｘ_０の奥行きは任意の値に設定してもよい。例えば、Ｘ_０＝[０,０,ｆ]^T（ｆは焦点距離ｆ_ｘ、ｆ_ｙに近い値）と設定してもよい。
但し、対象物が画像中央に映るとは限らないため、登録点ｐ_jの重心ｐ_０（＝[ｕ_０,ｖ_０]^T）を算出して、ｐ_０の逆投影点Ｘ_０（＝１／ｗ_０[ｕ_０,ｖ_０,１]^T）を算出してもよい。これにより、対象物が画面の端の方に映る場合における、法線ベクトル算出の安定性を向上することができる。この場合についても、奥行き１／ｗ_０は任意の値（例えば焦点距離ｆ_ｘ、ｆ_ｙに近い値）に設定してもよい。また、予め対象物平面までの距離が大まかに分かっている場合には、分かっている範囲に設定することも好ましい。

【0062】

法線ベクトル算出部１３について、再投影誤差関数（バンドル調整）は、以下の式によって表される。
Ｒ_i',ｔ_i',ｎ_t'＝arg min_Ｒi,ｔi,ntΣ_i=1^NcΣ_ｊ=1^Nｐ(ｍ_ij−proj(Ｒ_i,ｔ_i,Ｘ_j))²
Ｘ_j＝(ｎ_t・Ｘ_０／ｎ_t・ｐ_j')ｐ_j'
＝(ｘ_ｎｘ_０＋ｙ_ｎｙ_０＋ｚ_nｚ_０)／(ｘ_ｎｕ_j＋ｙ_ｎｖ_j＋ｚ_ｎ)[ｕ_j,ｖ_j,１]^T
ｘ_n²＋ｙ_n²＋ｚ_n²＝１
ｚ_n＝√(１−ｘ_n²−ｙ_n²)
ｐ_j'（＝[ｕ_j,ｖ_j,１]^T）：登録点ｐ_jの同次座標表現
i：撮影画像のＮc個のフレームの番数
ｍ_ij：フレームiに映るＮp個の登録点ｐ_j毎の追跡座標
Ｒ_i及びｔ_i：フレームiのカメラ姿勢パラメータ
ｎ_t：平面物体の法線ベクトル
Ｘ_０：物体平面の通る基準点
proj(Ｒ_i,ｔ_i,Ｘ_j)：３次元座標Ｘ_jの投影関数 [Ｒ_i｜ｔ_i]Ｘ_j'
Ｘ_j'：Ｘ_jの同次座標表現
Ｒ_i'及びｔ_i'：フレームiのカメラ姿勢パラメータＲ_i及びｔ_iの推定値
ｎ_t'：平面物体の法線ベクトルｎ_tの推定値

【0063】

図６は、異なる未知パラメータの数で表現した特徴点（追跡座標）を表す画像図である。

【0064】

既存技術に基づく３次元復元で用いられるバンドル調整の場合、Ｘ_j（＝[ｘ_ｊ,ｙ_ｊ,ｚ_ｊ]^T）を未知パラメータとしている。そのために、再投影誤差関数における未知パラメータの数は、Ｎc個のフレームi毎に生じるカメラ姿勢パラメータＲ_i（＝[ｒ_ix,ｒ_iy,ｒ_iz]^T）及びｔ_i（＝[ｔ_ix,ｔ_iy,ｔ_iz]^T）の６個と、Ｎp個の３次元座標の登録点ｐ_jとなり、未知パラメータの数は、６Ｎc＋３Ｎｐ個となる。
Ｒ_i',ｔ_i',Ｘ_j'＝arg min_{Ｒi,ｔi,ｘj}Σ_i=1^NcΣ_j=1^Np(ｍ_ij−proj(Ｒ_i,ｔ_i,Ｘ_j))²

【0065】

これに対し、本発明によれば、Ｘ_j（＝[ｘ_ｊ,ｙ_ｊ,ｚ_ｊ]^T）に代えて、法線ベクトルｎ_tの２パラメータを未知パラメータｎ_t’とする。そのために、再投影誤差関数における未知パラメータの数は、Ｎc個のフレームi毎に生じるカメラ姿勢パラメータＲ_i（＝[ｒ_ix,ｒ_iy,ｒ_iz]^T）及びｔ_i（＝[ｔ_ix,ｔ_iy,ｔ_iz]^T）の６個と、登録点ｐ_jに対する法線ベクトルｎ_t（＝[ｘ_ｎ,ｙ_ｎ,ｚ_ｎ]^T,ｘ_ｎ^２+ｙ_ｎ^２+ｚ_ｎ^２＝１）の２個とを合計した、６Ｎc＋２個となる。
Ｒ_i',ｔ_i',ｎ_t'＝arg min_Ｒi,ｔi,ntΣ_i=1^NcΣ_ｊ=1^Nｐ(ｍ_ij−proj(Ｒ_i,ｔ_i,Ｘ_j))²
そのために、本発明によれば、パラメータ数を大幅に削減することができ、処理負荷の削減と、精度の向上との効果を得られる。

【0066】

図７は、登録点と基準点、法線ベクトル、対象物平面の幾何的関係を表す説明図である。

【0067】

法線ベクトルを算出できれば、平面物体の３次元構造を算出できる。ここで、法線ベクトルの推定対象となる平面物体は、事前に見た目やサイズに関する情報が全く与えられていないこととする。法線ベクトル算出部１３の推定する平面物体の法線ベクトルとは、画像平面に対する平面物体の法線ベクトルの情報である。

【0068】

また、法線ベクトル算出部１３について、再投影誤差関数は、バンドル調整における法線ベクトルの初期値を、光軸と平行な方向とすることが好ましい。

【0069】

再投影誤差関数の最小化は、ガウス・ニュートン法に代表される、非線形最小化問題の解法を用いることができる。

【0070】

法線ベクトル算出部１３は、撮影画像のカメラワークが微小であるとする前提条件の下、初期値として、カメラ姿勢パラメータのＲ_iを単位行列とし、ｔ_iを零ベクトルとし、ｎ_t＝[0,0,1]^Tとして、法線ベクトルを算出する。回転行列Ｒ_iは、以下の式で分解できるため、パラメータｒ_x,ｒ_y,ｒ_zをパラメータとして用いる。

【数2】

θ＝||ｒ||_L2
ｒ＝[ｒ_x,ｒ_y,ｒ_z]^T

【0071】

特に、カメラワーク（視点変化）が小さいほど、回転行列Ｒiは以下の式で近似できるため、θ_i^x,θ_i^y,θ_i^zをパラメータとして用いてもよい。

【数3】

最終的に、法線ベクトル算出部１３は、推定した法線ベクトルｎ_tを、所定のアプリケーションへ出力することができる。また、法線ベクトルｎ_tは、登録画像記憶部１１へ出力され、登録画像に対する正面化画像を記憶することもできる。

【0072】

図８は、光軸中心と、画像平面上の登録画像の登録点と、撮影画像の法線ベクトルとの幾何的関係を表すグラフである。

【0073】

図８によれば、400×400ピクセルの画像平面を、20ピクセル間隔でサンプリングし、441点の初期追跡点ｐ_jを取得したものである（Ｎp＝４４１）。
対象平面の法線ｎ_tを、z軸方向から角度４５度以内でランダムに生成し、登録点ｐ_jを逆投影して３次元座標Ｘ_jを取得する。焦点距離ｆは、500mmに設定している。
そして、初期のカメラ姿勢ｒ₀＝[0 0 0]^T、ｔ₀＝[0 0 0]^Tにガウシアンノイズを加え、カメラ姿勢Ｒ_i及びｔ_i（i＝1〜100）を生成する。
カメラ姿勢Ｒ_i及びｔ_iによってＸ_jを投影し、ガウシアンノイズを加えて、追跡点ｍ_ij（j＝1〜441）を生成する。
ｍ_ijを入力として、法線方向ｎ_t'を推定する。
推定に使用するフレーム数を、2枚から100枚まで徐々に増やし、精度及び処理時間を評価する（Ｎc＝2〜100）。
ｎ_tを100セット用意し、精度及び処理時間の平均を算出する。

【0074】

図９は、バンドル調整に応じてフレーム数に対する法線ベクトルの精度及び処理時間を表すグラフである。

【0075】

図９によれば、異なるバンドル調整について比較している。
ＤＥ：従来のバンドル調整（パラメータ数６Ｎc＋Ｎp＝453〜1041）で、３次元座標Ｘ_j'を主成分分析して、法線ベクトルｎ_t'を算出する。
ＯＥ：本発明のバンドル調整（パラメータ数６Ｎc＋２＝14〜602）で、法線ベクトルを算出する。

【0076】

図９（ａ）は、フレーム数に応じた法線ベクトルの推定精度を表すグラフである。ここでは、従来技術のバンドル調整ＤＥと、本発明のバンドル調整ＯＥとを比較して、法線ベクトルの精度は同じである。即ち、２０フレーム程度で、法線ベクトルを高精度（角度誤差約２度）に算出できる。

【0077】

図９（ｂ）は、フレーム数に応じた法線ベクトルの処理時間を表すグラフである。ここでは、従来技術のバンドル調整ＤＥと、本発明のバンドル調整ＯＥとを比較して、法線ベクトルの推定処理時間は大きく異なっている。即ち、本発明のバンドル調整ＯＥの処理時間が、極めて高速（短時間）であることが理解できる。具体的には、Ｎc＝2で60倍、Ｎc＝20で約12倍、Ｎc＝100で約3倍の高速化が確認できる。

【0078】

前述した実施形態によれば、１枚の平面で構成された平面物体について説明した。勿論、本発明によれば、複数の主要平面で構成された対象物体であっても、複数平面のそれぞれについて適用することもできる。即ち、本発明は、対象物体を構成する主要な平面数を１枚に限定するものではない。平面数を増やすことで、任意形状の対象物体に対して適用することができる。

【0079】

以上、詳細に説明したように、本発明のプログラム、装置及び方法によれば、対象物体が平面物体（又は概ね平面で近似可能な物体）であるという前提条件の下で、カメラワークの大きな制約無しに、連続的な撮影画像に映り込む平面物体の法線ベクトルを、大幅に少ない計算量で算出することができる。具体的には、法線ベクトルを算出するためのバンドル調整における未知パラメータの数を削減しているために、処理負荷を削減し、推定精度を高めることができる。また、ホモグラフィ行列を用いることによって、特徴点の追跡失敗に対するロバスト性も向上させることができる。

【0080】

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

【符号の説明】

【0081】

１ 画像処理装置
１０ 画像取得部
１１ 登録画像記憶部
１２ 画像特徴追跡部
１３ 法線ベクトル算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】