特許 6982865 動画像距離算出装置および動画像距離算出用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6982865

(24)【登録日】2021年11月25日

(45)【発行日】2021年12月17日

(54)【発明の名称】動画像距離算出装置および動画像距離算出用プログラム

(51)【国際特許分類】

   G06T 7/579 20170101AFI20211206BHJP

   G06T 7/246 20170101ALI20211206BHJP

   G01C 3/06 20060101ALI20211206BHJP

【ＦＩ】

   G06T7/579

   G06T7/246

   G01C3/06 120S

【請求項の数】8

【全頁数】25

(21)【出願番号】特願2017-235198(P2017-235198)

(22)【出願日】2017年12月7日

(65)【公開番号】特開2019-101967(P2019-101967A)

(43)【公開日】2019年6月24日

【審査請求日】2020年10月28日

(73)【特許権者】

【識別番号】506301140

【氏名又は名称】公立大学法人会津大学

(74)【代理人】

【識別番号】100118094

【弁理士】

【氏名又は名称】殿元 基城

(72)【発明者】

【氏名】岡 嶐一

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２００９−２１０２８６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／５７９

Ｇ０６Ｔ ７／２４６

Ｇ０１Ｃ ３／０６

(57)【特許請求の範囲】

【請求項1】

移動する１台のカメラによって移動方向の正面の様子を時間ｔ＝τ−Ｔ（但し、τ＞０，Ｔ＞０）から時間ｔ＝τまで撮影した動画像に基づいて、当該動画像に映る対象物から前記カメラまでの距離を算出する動画像距離算出装置であって、
前記動画像の時間ｔ＝τ−Ｔの時のフレーム画像に映る対象物の画素の１つをターゲットピクセルとし、当該フレーム画像からＭ個（Ｍ≧２）の異なる対象物毎に前記ターゲットピクセルを抽出するターゲットピクセル抽出手段と、
時間ｔ＝τ−Ｔから時間ｔ＝τまでの複数の前記フレーム画像に基づいて、前記ターゲットピクセル抽出手段により抽出されたＭ個の前記ターゲットピクセルの座標の軌跡を、２次元画像を対象とする動的計画法に基づいて、時間ｔ＝τ−Ｔの前記フレーム画像から時間ｔ＝τの前記フレーム画像までの時系列順に算出する軌跡算出手段と、
該軌跡算出手段により算出されたＭ個の前記軌跡に基づいて、時間ｔ＝τ−Ｔの前記フレーム画像の座標から時間ｔ＝τの前記フレーム画像の座標までの移動画素数ｑ_ｍ（ｍ＝１，２，・・・，Ｍ）を、Ｍ個の前記ターゲットピクセル毎に測定する移動画素数測定手段と、
前記移動画素数測定手段により測定されたＭ個の前記移動画素数ｑ_ｍのうち、前記移動画素数が最も少ない画素数をμとし、前記移動画素数が最も多い画素数をγとし、Ｍ個の前記ターゲットピクセルによりそれぞれ特定される対象物から前記カメラまでの距離のうちで最も近い距離をＺ_ｎとし、Ｍ個の前記ターゲットピクセルによりそれぞれ特定される対象物から前記カメラまでの距離のうちで最も遠い距離をＺ_Ｌとして、定数ａおよび定数ｂを、
ａ＝Ｚ_Ｌ・ｅｘｐ（（μ／（γ−μ））ｌｏｇ（Ｚ_Ｌ／Ｚ_Ｎ））
ｂ＝（１／（γ−μ））ｌｏｇ（Ｚ_Ｌ／Ｚ_Ｎ）
により算出し、
Ｍ個の前記ターゲットピクセルのそれぞれに対応する前記対象物から前記カメラまでの時間ｔ＝τにおける距離をＺ_ｍ（ｍ＝１，２，・・・，Ｍ）として、当該距離Ｚ_ｍを、前記定数ａおよび前記定数ｂと、Ｍ個の前記移動画素数ｑ_ｍとに基づいて、
Ｚ_ｍ＝ａ・ｅｘｐ（−ｂｑ_ｍ）
により算出する距離算出手段と
を有することを特徴とする動画像距離算出装置。

【請求項2】

移動する１台のカメラによって移動方向の正面の様子を時間ｔ＝τ−Ｔ（但し、τ＞０，Ｔ＞０）から時間ｔ＝τまで撮影した動画像に基づいて、当該動画像に映る対象物から前記カメラまでの距離を算出する動画像距離算出装置であって、
前記動画像の時間ｔ＝τの時のフレーム画像に映る対象物の画素の１つをターゲットピクセルとし、当該フレーム画像からＭ個（Ｍ≧２）の異なる対象物毎に前記ターゲットピクセルを抽出するターゲットピクセル抽出手段と、
時間ｔ＝τ−Ｔから時間ｔ＝τまでの複数の前記フレーム画像に基づいて、前記ターゲットピクセル抽出手段により抽出されたＭ個の前記ターゲットピクセルの座標の軌跡を、２次元画像を対象とする動的計画法に基づいて、時間ｔ＝τの前記フレーム画像から時間ｔ＝τ−Ｔの前記フレーム画像までの過去に遡る時系列順に算出する軌跡算出手段と、
該軌跡算出手段により算出されたＭ個の前記軌跡に基づいて、時間ｔ＝τ−Ｔの前記フレーム画像の座標から時間ｔ＝τの前記フレーム画像の座標までの移動画素数ｑ_ｍ（ｍ＝１，２，・・・，Ｍ）を、Ｍ個の前記ターゲットピクセル毎に測定する移動画素数測定手段と、
前記移動画素数測定手段により測定されたＭ個の前記移動画素数ｑ_ｍのうち、前記移動画素数が最も少ない画素数をμとし、前記移動画素数が最も多い画素数をγとし、Ｍ個の前記ターゲットピクセルによりそれぞれ特定される対象物から前記カメラまでの距離のうちで最も近い距離をＺ_ｎとし、Ｍ個の前記ターゲットピクセルによりそれぞれ特定される対象物から前記カメラまでの距離のうちで最も遠い距離をＺ_Ｌとして、定数ａおよび定数ｂを、
ａ＝Ｚ_Ｌ・ｅｘｐ（（μ／（γ−μ））ｌｏｇ（Ｚ_Ｌ／Ｚ_Ｎ））
ｂ＝（１／（γ−μ））ｌｏｇ（Ｚ_Ｌ／Ｚ_Ｎ）
により算出し、
Ｍ個の前記ターゲットピクセルのそれぞれに対応する前記対象物から前記カメラまでの時間ｔ＝τにおける距離をＺ_ｍ（ｍ＝１，２，・・・，Ｍ）として、当該距離Ｚ_ｍを、前記定数ａおよび前記定数ｂと、Ｍ個の前記移動画素数ｑ_ｍとに基づいて、
Ｚ_ｍ＝ａ・ｅｘｐ（−ｂｑ_ｍ）
により算出する距離算出手段と
を有することを特徴とする動画像距離算出装置。

【請求項3】

前記ターゲットピクセル抽出手段において前記ターゲットピクセルの抽出を行うために用いられる前記フレーム画像に対し、mean-shift法を適用することにより、当該フレーム画像を複数の領域に分割する領域分割手段を有し、
前記ターゲットピクセル抽出手段は、前記領域分割手段により分割された前記領域のうち、前記対象物が映る領域の重心点の画素を前記ターゲットピクセルとして、異なる対象物が映るＭ個（Ｍ≧２）の領域毎に前記ターゲットピクセルを抽出すること
を特徴とする請求項１又は請求項２に記載の動画像距離算出装置。

【請求項4】

前記ターゲットピクセル抽出手段において前記ターゲットピクセルの抽出を行うために用いられる前記フレーム画像に対し、mean-shift法を適用することにより、当該フレーム画像を複数の領域に分割する領域分割手段を有し、
前記ターゲットピクセル抽出手段は、前記領域分割手段により分割された前記領域の画素に対して端から順番に番号を付加し、当該領域の画素の番号のうち中間の番号に該当する画素を前記ターゲットピクセルとして、異なる対象物が映るＭ個（Ｍ≧２）の領域毎に前記ターゲットピクセルを抽出すること
を特徴とする請求項１又は請求項２に記載の動画像距離算出装置。

【請求項5】

移動する１台のカメラによって移動方向の正面の様子を時間ｔ＝τ−Ｔ（但し、τ＞０，Ｔ＞０）から時間ｔ＝τまで撮影した動画像に基づいて、当該動画像に映る対象物から前記カメラまでの距離を算出するための動画像距離算出用プログラムであって、
制御手段に、
前記動画像の時間ｔ＝τ−Ｔの時のフレーム画像に映る対象物の画素の１つをターゲットピクセルとして、当該フレーム画像からＭ個（Ｍ≧２）の異なる対象物毎に前記ターゲットピクセルを抽出させるターゲットピクセル抽出機能と、
時間ｔ＝τ−Ｔから時間ｔ＝τまでの複数の前記フレーム画像に基づいて、前記ターゲットピクセル抽出機能により抽出されたＭ個の前記ターゲットピクセルの座標の軌跡を、２次元画像を対象とする動的計画法に基づいて、時間ｔ＝τ−Ｔの前記フレーム画像から時間ｔ＝τの前記フレーム画像までの時系列順に算出させる軌跡算出機能と、
該軌跡算出機能により算出されたＭ個の前記軌跡に基づいて、時間ｔ＝τ−Ｔの前記フレーム画像の座標から時間ｔ＝τの前記フレーム画像の座標までの移動画素数ｑ_ｍ（ｍ＝１，２，・・・，Ｍ）を、Ｍ個の前記ターゲットピクセル毎に測定させる移動画素数測定機能と、
前記移動画素数測定機能により測定されたＭ個の前記移動画素数ｑ_ｍのうち、前記移動画素数が最も少ない画素数をμとし、前記移動画素数が最も多い画素数をγとし、Ｍ個の前記ターゲットピクセルによりそれぞれ特定される対象物から前記カメラまでの距離のうちで最も近い距離をＺ_ｎとし、Ｍ個の前記ターゲットピクセルによりそれぞれ特定される対象物から前記カメラまでの距離のうちで最も遠い距離をＺ_Ｌとして、定数ａおよび定数ｂを、
ａ＝Ｚ_Ｌ・ｅｘｐ（（μ／（γ−μ））ｌｏｇ（Ｚ_Ｌ／Ｚ_Ｎ））
ｂ＝（１／（γ−μ））ｌｏｇ（Ｚ_Ｌ／Ｚ_Ｎ）
により算出させ、
Ｍ個の前記ターゲットピクセルのそれぞれに対応する前記対象物から前記カメラまでの時間ｔ＝τにおける距離をＺ_ｍ（ｍ＝１，２，・・・，Ｍ）として、当該距離Ｚ_ｍを、前記定数ａおよび前記定数ｂと、Ｍ個の前記移動画素数ｑ_ｍとに基づいて、
Ｚ_ｍ＝ａ・ｅｘｐ（−ｂｑ_ｍ）
により算出させる距離算出機能と
を実現させることを特徴とする動画像距離算出用プログラム。

【請求項6】

移動する１台のカメラによって移動方向の正面の様子を時間ｔ＝τ−Ｔ（但し、τ＞０，Ｔ＞０）から時間ｔ＝τまで撮影した動画像に基づいて、当該動画像に映る対象物から前記カメラまでの距離を算出するための動画像距離算出用プログラムであって、
制御手段に、
前記動画像の時間ｔ＝τの時のフレーム画像に映る対象物の画素の１つをターゲットピクセルとして、当該フレーム画像からＭ個（Ｍ≧２）の異なる対象物毎に前記ターゲットピクセルを抽出させるターゲットピクセル抽出機能と、
時間ｔ＝τ−Ｔから時間ｔ＝τまでの複数の前記フレーム画像に基づいて、前記ターゲットピクセル抽出機能により抽出されたＭ個の前記ターゲットピクセルの座標の軌跡を、２次元画像を対象とする動的計画法に基づいて、時間ｔ＝τの前記フレーム画像から時間ｔ＝τ−Ｔの前記フレーム画像までの過去に遡る時系列順に算出させる軌跡算出機能と、
該軌跡算出機能により算出されたＭ個の前記軌跡に基づいて、時間ｔ＝τ−Ｔの前記フレーム画像の座標から時間ｔ＝τの前記フレーム画像の座標までの移動画素数ｑ_ｍ（ｍ＝１，２，・・・，Ｍ）を、Ｍ個の前記ターゲットピクセル毎に測定させる移動画素数測定機能と、
前記移動画素数測定機能により測定されたＭ個の前記移動画素数ｑ_ｍのうち、前記移動画素数が最も少ない画素数をμとし、前記移動画素数が最も多い画素数をγとし、Ｍ個の前記ターゲットピクセルによりそれぞれ特定される対象物から前記カメラまでの距離のうちで最も近い距離をＺ_ｎとし、Ｍ個の前記ターゲットピクセルによりそれぞれ特定される対象物から前記カメラまでの距離のうちで最も遠い距離をＺ_Ｌとして、定数ａおよび定数ｂを、
ａ＝Ｚ_Ｌ・ｅｘｐ（（μ／（γ−μ））ｌｏｇ（Ｚ_Ｌ／Ｚ_Ｎ））
ｂ＝（１／（γ−μ））ｌｏｇ（Ｚ_Ｌ／Ｚ_Ｎ）
により算出させ、
Ｍ個の前記ターゲットピクセルのそれぞれに対応する前記対象物から前記カメラまでの時間ｔ＝τにおける距離をＺ_ｍ（ｍ＝１，２，・・・，Ｍ）として、当該距離Ｚ_ｍを、前記定数ａおよび前記定数ｂと、Ｍ個の前記移動画素数ｑ_ｍとに基づいて、
Ｚ_ｍ＝ａ・ｅｘｐ（−ｂｑ_ｍ）
により算出させる距離算出機能と
を実現させることを特徴とする動画像距離算出用プログラム。

【請求項7】

前記制御手段に、
前記ターゲットピクセル抽出機能において前記ターゲットピクセルの抽出を行うために用いられる前記フレーム画像に対し、mean-shift法を適用させることにより、当該フレーム画像を複数の領域に分割させる領域分割機能を実現させ、
前記ターゲットピクセル抽出機能において、前記領域分割機能により分割された前記領域のうち、前記対象物が映る領域の重心点の画素を前記ターゲットピクセルとして、異なる対象物が映るＭ個（Ｍ≧２）の領域毎に前記ターゲットピクセルを抽出させること
を特徴とする請求項５又は請求項６に記載の動画像距離算出用プログラム。

【請求項8】

前記制御手段に、
前記ターゲットピクセル抽出機能において前記ターゲットピクセルの抽出を行うために用いられる前記フレーム画像に対し、mean-shift法を適用させることにより、当該フレーム画像を複数の領域に分割させる領域分割機能を実現させ、
前記ターゲットピクセル抽出機能において、前記領域分割機能により分割された前記領域の画素に対して端から順番に番号を付加させ、当該領域の画素の番号のうち中間の番号に該当する画素を前記ターゲットピクセルとして、異なる対象物が映るＭ個（Ｍ≧２）の領域毎に前記ターゲットピクセルを抽出させること
を特徴とする請求項５又は請求項６に記載の動画像距離算出用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像距離算出装置および動画像距離算出用プログラムに関し、より詳細には、移動する一台のカメラにより進行方向の正面の様子を撮影した動画像に基づいて、動画像に映った対象物からカメラまでの距離を算出する動画像距離算出装置および動画像距離算出用プログラムに関する。

【背景技術】

【0002】

近年、車両やドローンなどの移動物体に対して、正面方向の外界を撮影するためのカメラを設置することが多い。近時では、カメラにより正面方向の様子を単に撮影するだけでなく、車両やドローンなどの自動運転に必要な距離情報の取得等に、撮影された動画像を利用したいという要望が存在する。

【0003】

移動物体と他物体との距離測定行う方法として、移動物体に距離センサ等を設置する方法が多く用いられている。距離センサとして、例えば、レーザーセンサ、超音波センサ、赤外線センサ等を用いて、他物体との距離を直接的に測定する方法が用いられている（例えば、非特許文献１参照）。

【0004】

また、近時では、ステレオカメラにより撮影された動画像を画像解析することによって、撮影された他物体との距離を算出する方法も用いられている（例えば、非特許文献２参照）。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】菅沼直樹，"自律型自動運転自動車における認知・判断技術−オンボードセンシングからパスプランニングまで−"，第23回画像センシングシンポジウム（SSII2017）講演論文集，横浜（パシフィコ横浜），2017年6月

【非特許文献2】滝本周平，伊藤崇晶，"車載カメラを用いた単眼測距検証システムの開発"，ＳＥＩテクニカルレビュー，第169号，p.82-87，2006年7月

【発明の概要】

【発明が解決しようとする課題】

【0006】

一般的に、車両に距離センサを設置する場合、１台の車両に複数台の距離センサを設置することが多い。例えば、車両から比較的近い他物体を検出するために、超音波センサが設置される。車両から比較的遠い他物体を検出するために、レーザーセンサが併設される。距離センサによる情報の精度を高めるためには、数種類の距離センサを複数設置することが必要になるため、コスト上昇を招くという問題が生じていた。特に、レーザーセンサは、他のセンサよりも高額であることから、コスト負担が増大するという問題があった。

【0007】

また、レーザーセンサは、前方の物体との距離測定をすることはできても、その物体が人であるのか、車両であるのか、障害物であるのか等の測定対象の識別・特定を行うことが困難であるという問題があった。

【0008】

ステレオカメラを用いて前方の物体との距離測定を行う場合には、画像解析処理等により測定対象物の識別・特定を行うことが可能である。しかしながら、ステレオカメラの場合には、少なくとも２台以上のカメラが必要になるため、コスト上昇を招くという問題があった。

【0009】

さらに、ステレオカメラを用いる場合には、測定される距離の点群が、外界のどの物体に対応しているかを決定する必要がある。従って、ステレオカメラを利用する場合であっても、距離センサを併設することが多かった。

【0010】

また、前方の対象物との距離を求めるために、複数の距離センサを用いると、全体としてセンサ設置のためのコスト上昇を招くと共に、それらのセンサ群により取得されたデータを統合するために複雑な処理が必要になるという問題が生じていた。同様の問題は、車両だけでなく、ドローン等のような移動物体において、他物体との距離を測定する場合に生ずる問題であった。

【0011】

本発明は、上記問題に鑑みてなされたものであり、移動する１台のカメラによって進行方向の正面の様子が撮影された動画像に基づいて、動画像に映る対象物からカメラまでの距離を算出する動画像距離算出装置および動画像距離算出用プログラムを提供することを課題とする。

【課題を解決するための手段】

【0012】

上記課題を解決するために、本発明に係る動画像距離算出装置は、移動する１台のカメラによって移動方向の正面の様子を時間ｔ＝τ−Ｔ（但し、τ＞０，Ｔ＞０）から時間ｔ＝τまで撮影した動画像に基づいて、当該動画像に映る対象物から前記カメラまでの距離を算出する動画像距離算出装置であって、前記動画像の時間ｔ＝τ−Ｔの時のフレーム画像に映る対象物の画素の１つをターゲットピクセルとし、当該フレーム画像からＭ個（Ｍ≧２）の異なる対象物毎に前記ターゲットピクセルを抽出するターゲットピクセル抽出手段と、時間ｔ＝τ−Ｔから時間ｔ＝τまでの複数の前記フレーム画像に基づいて、前記ターゲットピクセル抽出手段により抽出されたＭ個の前記ターゲットピクセルの座標の軌跡を、２次元画像を対象とする動的計画法に基づいて、時間ｔ＝τ−Ｔの前記フレーム画像から時間ｔ＝τの前記フレーム画像までの時系列順に算出する軌跡算出手段と、該軌跡算出手段により算出されたＭ個の前記軌跡に基づいて、時間ｔ＝τ−Ｔの前記フレーム画像の座標から時間ｔ＝τの前記フレーム画像の座標までの移動画素数ｑ_ｍ（ｍ＝１，２，・・・，Ｍ）を、Ｍ個の前記ターゲットピクセル毎に測定する移動画素数測定手段と、前記移動画素数測定手段により測定されたＭ個の前記移動画素数ｑ_ｍのうち、前記移動画素数が最も少ない画素数をμとし、前記移動画素数が最も多い画素数をγとし、Ｍ個の前記ターゲットピクセルによりそれぞれ特定される対象物から前記カメラまでの距離のうちで最も近い距離をＺ_ｎとし、Ｍ個の前記ターゲットピクセルによりそれぞれ特定される対象物から前記カメラまでの距離のうちで最も遠い距離をＺ_Ｌとして、定数ａおよび定数ｂを、
ａ＝Ｚ_Ｌ・ｅｘｐ（（μ／（γ−μ））ｌｏｇ（Ｚ_Ｌ／Ｚ_Ｎ））
ｂ＝（１／（γ−μ））ｌｏｇ（Ｚ_Ｌ／Ｚ_Ｎ）
により算出し、Ｍ個の前記ターゲットピクセルのそれぞれに対応する前記対象物から前記カメラまでの時間ｔ＝τにおける距離をＺ_ｍ（ｍ＝１，２，・・・，Ｍ）として、当該距離Ｚ_ｍを、前記定数ａおよび前記定数ｂと、Ｍ個の前記移動画素数ｑ_ｍとに基づいて、
Ｚ_ｍ＝ａ・ｅｘｐ（−ｂｑ_ｍ）により算出する距離算出手段とを有することを特徴とする。

【0013】

また、本発明に係る動画像距離算出用プログラムは、移動する１台のカメラによって移動方向の正面の様子を時間ｔ＝τ−Ｔ（但し、τ＞０，Ｔ＞０）から時間ｔ＝τまで撮影した動画像に基づいて、当該動画像に映る対象物から前記カメラまでの距離を算出するための動画像距離算出用プログラムであって、制御手段に、前記動画像の時間ｔ＝τ−Ｔの時のフレーム画像に映る対象物の画素の１つをターゲットピクセルとして、当該フレーム画像からＭ個（Ｍ≧２）の異なる対象物毎に前記ターゲットピクセルを抽出させるターゲットピクセル抽出機能と、時間ｔ＝τ−Ｔから時間ｔ＝τまでの複数の前記フレーム画像に基づいて、前記ターゲットピクセル抽出機能により抽出されたＭ個の前記ターゲットピクセルの座標の軌跡を、２次元画像を対象とする動的計画法に基づいて、時間ｔ＝τ−Ｔの前記フレーム画像から時間ｔ＝τの前記フレーム画像までの時系列順に算出させる軌跡算出機能と、該軌跡算出機能により算出されたＭ個の前記軌跡に基づいて、時間ｔ＝τ−Ｔの前記フレーム画像の座標から時間ｔ＝τの前記フレーム画像の座標までの移動画素数ｑ_ｍ（ｍ＝１，２，・・・，Ｍ）を、Ｍ個の前記ターゲットピクセル毎に測定させる移動画素数測定機能と、前記移動画素数測定機能により測定されたＭ個の前記移動画素数ｑ_ｍのうち、前記移動画素数が最も少ない画素数をμとし、前記移動画素数が最も多い画素数をγとし、Ｍ個の前記ターゲットピクセルによりそれぞれ特定される対象物から前記カメラまでの距離のうちで最も近い距離をＺ_ｎとし、Ｍ個の前記ターゲットピクセルによりそれぞれ特定される対象物から前記カメラまでの距離のうちで最も遠い距離をＺ_Ｌとして、定数ａおよび定数ｂを、
ａ＝Ｚ_Ｌ・ｅｘｐ（（μ／（γ−μ））ｌｏｇ（Ｚ_Ｌ／Ｚ_Ｎ））
ｂ＝（１／（γ−μ））ｌｏｇ（Ｚ_Ｌ／Ｚ_Ｎ）により算出させ、Ｍ個の前記ターゲットピクセルのそれぞれに対応する前記対象物から前記カメラまでの時間ｔ＝τにおける距離をＺ_ｍ（ｍ＝１，２，・・・，Ｍ）として、当該距離Ｚ_ｍを、前記定数ａおよび前記定数ｂと、Ｍ個の前記移動画素数ｑ_ｍとに基づいて、
Ｚ_ｍ＝ａ・ｅｘｐ（−ｂｑ_ｍ）により算出させる距離算出機能とを実現させることを特徴とする。

【0014】

また、上述した動画像距離算出装置または動画像距離算出用プログラムにおいて、ターゲットピクセルの抽出を行うために用いられる前記フレーム画像に対し、mean-shift法を適用することにより、当該フレーム画像を複数の領域に分割し、分割された前記領域のうち、前記対象物が映る領域の重心点の画素を前記ターゲットピクセルとして、あるいは、前記領域の画素に対して端から順番に番号を付加し、当該領域の画素の番号のうち中間の番号に該当する画素を前記ターゲットピクセルとして、異なる対象物が映るＭ個（Ｍ≧２）の領域毎に前記ターゲットピクセルを抽出するものであってもよい。

【発明の効果】

【0015】

本発明に係る動画像距離算出装置および動画像距離算出用プログラムによれば、移動するカメラにより進行方向の正面の様子が撮影された動画像に基づいて、動画像に映る対象物からカメラまでの距離を算出することが可能になる。

【図面の簡単な説明】

【0016】

【図1】実施の形態に係る動画像距離算出装置の概略構成を示したブロック図である。

【図2】移動する物体から見た正面方向の様子を模式的に示した図である。

【図3】動画像のデータとターゲットピクセルとを説明するための図である。

【図4】時間経過に伴って変化するターゲットピクセルの追跡処理を説明するための図である。

【図5】累積動的視差に基づいて対象物までの仮想距離を求める方法を説明するため図である。

【図6】時間ｔ−１の時のフレーム画像から時間ｔの時の１つのターゲットピクセル（ｘ，ｙ，ｔ）へ遷移し得るピクセル群を示した図である。

【図7】信号機の映った領域の画素からなるターゲットピクセルを、時間ｔ＝１から時間ｔ＝３０までトラッキングさせた場合の軌跡を示したフレーム画像の拡大図である。

【図8】５箇所の信号機のターゲットピクセルを、時間ｔ＝１から時間ｔ＝３０までそれぞれトラッキングさせた場合の軌跡を示したフレーム画像である。

【図9】カメラにより撮影されたフレーム画像に対してmean-shift法を適用した画像を示した図である。

【図10】プログラムに応じてＣＰＵにより実行される機能の機能部を示したブロック図である。

【図11】（ａ）は、実施の形態に係るＣＰＵが、時間ｔ＝τ−Ｔから時間ｔ＝τまでの時系列順にターゲットピクセルのトラッキング処理を行うことによって、カメラから対象物までの距離を算出する方法を示したフローチャートである。（ｂ）は、実施の形態に係るＣＰＵが、時間ｔ＝τから時間ｔ＝τ−Ｔまでの過去に遡る時系列順にターゲットピクセルのトラッキング処理を行うことによって、カメラから対象物までの距離を算出する方法を示したフローチャートである。

【発明を実施するための形態】

【0017】

以下、本発明に係る動画像距離算出装置の一例を示し、図面を用いて詳細に説明する。図１は、動画像距離算出装置の概略構成を示したブロック図である。動画像距離算出装置１００は、記録部１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、ＣＰＵ(Central Processing Unit：制御手段、領域分割手段、ターゲットピクセル抽出手段、距離算出手段、軌跡算出手段、移動画素数測定手段、距離算出手段）１０４とを有している。

【0018】

動画像距離算出装置１００には、カメラ２００が接続される。カメラ２００は、例えば、車両やドローンなどに搭載される。カメラ２００は、移動する車両等の進行方向正面の様子を動画像として撮影することが可能となっている。また、動画像距離算出装置１００には、モニタ２１０が接続されている。モニタ２１０には、カメラ２００によって撮影された動画像等を表示させることが可能になっている。

【0019】

記録部１０１には、カメラ２００により撮影された動画像が記録される。より詳細には、複数のフレーム画像を時系列的に記録したデータとして、記録部１０１に動画像が記録される。例えば、時間ｔ＝１から時間ｔ＝Ｔまでの動画像を、カメラ２００で撮影した場合を考える。カメラ２００の動画像として、Δｔ時間毎に１枚のフレームの画像（フレーム画像）を記録できる場合には、記録部１０１に、Ｔ／Δｔ枚のフレーム画像が時系列的に記録されることになる。本実施の形態に係る記録部１０１では、一例として、単位時間毎のフレーム画像をＴ枚記録することが可能になっている。

【0020】

なお、動画像距離算出装置１００あるいはカメラ２００に、フレームバッファーを設けて、カメラ２００で撮影された単位時間毎のフレーム画像がフレームバッファーに一時的に記録され、フレームバッファーに記録されたフレーム画像が、時系列的に記録部１０１に記録される構成であってもよい。また、記録部１０１に記録される動画像は、カメラ２００によりリアルタイムに撮影された動画像には限定されず、予めカメラ２００によって撮影された動画像（過去の動画像）であってもよい。

【0021】

また、カメラ２００により撮影された動画像は、デジタルの動画像だけには限定されない。例えば、撮影された動画像がアナログの動画像であっても、デジタル変換処理によって、時系列的にフレーム画像を記録部１０１に記録させることが可能であれば、動画像距離算出装置１００の距離算出処理に利用することが可能である。

【0022】

記録部１０１は、一般的なハードディスク等によって構成されている。なお、記録部１０１の構成は、ハードディスクだけに限定されるものではなく、フラッシュメモリ、ＳＳＤ（Solid State Drive / Solid State Disk）などであってもよい。記録部１０１は、動画像を、時系列的な複数のフレーム画像として記録することが可能な記録媒体であるならば、具体的な構成は特に限定されない。

【0023】

ＣＰＵ１０４は、記録部１０１に時系列的に記録された複数のフレーム画像（動画像）に基づいて、フレーム画像に映っている対象物からカメラ２００までの距離を、対象物の映っている画素に応じて算出する処理を行う。ＣＰＵ１０４は、後述する処理プログラム（図１１（ａ）（ｂ）のフローチャートに基づくプログラム）に従って、特定の画素（ターゲットピクセル）毎の距離算出処理を行うが、その詳細については後述する。

【0024】

ＲＯＭ１０２には、フレーム画像に映っている対象物からカメラ２００までの距離を算出するためプログラム等が記録されている。ＲＡＭ１０３は、ＣＰＵ１０４の処理に利用されるワークエリアとして用いられる。

【0025】

本実施の形態に係る動画像距離算出装置１００では、ＣＰＵ１０４で実行されるプログラム（図１１（ａ）（ｂ）に示すフローチャート）が、ＲＯＭ１０２に記録される場合について説明を行う。しかしながら、これらのプログラムは、記録部１０１に記録されるものであってもよい。

【0026】

カメラ２００は、レンズを通してカメラ正面の景色等を動画像として撮影可能な撮影手段である。動画像を撮影することが可能であれば、カメラ２００の種類・構成は特に限定されない。例えば、一般的なムービーカメラであってもよく、また、スマートフォン等のカメラ機能を利用するものであってもよい。

【0027】

モニタ２１０は、カメラ２００で撮影された動画像や、距離算出処理によりトラッキング処理された画素の軌跡が示される画像等（例えば、後述する図７や図８の画像等）を、ユーザに対して視認可能に表示させることが可能となっている。モニタ２１０には、液晶ディスプレイや、ＣＲＴディスプレイなどの一般的な表示装置が用いられる。

【0028】

次に、記録部１０１に時系列順に記録されたフレーム画像に基づいて、フレーム画像に映った対象物の距離を算出する考え方について説明する。

【0029】

２０００年以上前に、ユークリッド（Euclid）が、動的視差（motion parallax）という視覚的現象について論じている。動的視差による視覚的現象とは、物体が等速で動いているときに、遠くの物の方が、近くの物よりも、視覚的に動きが小さくなる現象である。図２は、移動する物体から見た正面方向の様子を模式的に示した図である。図２に示すように、物体が前方に移動するとき、中心（図２のＡ参照）に位置する物は、あまり動かない。中心以外の周辺の様子（図２のＢ参照）を観察すると、遠くの物の動きは小さく、近くの物の動きは大きくなる。このような動的視差による視覚的現象は、日常的に観測される。この視覚的現象は、心理学的な研究の対象となっている。また、この視覚的現象を応用した技術が、コンピュータグラフィックスによるアニメーション処理や、パイロット運転技術教育用のシミュレータ開発などに利用されている。

【0030】

動画像距離算出装置１００では、動的視差による視覚的現象を利用して、移動する車両やドローン等に搭載されたカメラによって撮影された動画像より、動画像に映っている対象物からカメラ２００までの距離を算出する。

【0031】

図３は、動画像のデータとターゲットピクセルとを説明するための図である。カメラ２００により撮影された動画像を、ｆ（ｘ，ｙ，ｔ）で表す。変数ｘの範囲は、１≦ｘ≦Ｘとし、変数ｙの範囲は、１≦ｙ≦Ｙとし、変数ｔは、ｔ＝１，２，・・・，Ｔとする。Ｘは、カメラ２００によって撮影される動画像の横画素数を示し、Ｙは縦画素数を示す。ｆ（ｘ，ｙ，ｔ）は、該当する画素の値であり、通常、ＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）の値を示す。（ｘ，ｙ）は該当する画素の座標点を示し、ｔは時間（相対時刻）を示す。

【0032】

動画像をｆ（ｘ，ｙ，ｔ）で示すことにより、動画像のデータを図３のような直方体のデータとして表すことができる。図３の最も手前の面は、時間ｔ＝１のフレーム画像ｆ（ｘ，ｙ，ｔ）（但し、１≦ｘ≦Ｘ，１≦ｙ≦Ｙ）を示すことになる。このフレーム画像中のいずれかの座標（ｘ_０，ｙ_０）のピクセルｆ（ｘ_０，ｙ_０，１）をターゲットピクセルとする。図３では、説明の便宜上、ターゲットピクセルが１つの場合について説明するが、ターゲットピクセルは、１つだけには限定されない。

【0033】

ターゲットピクセルが、時間ｔの経過とともに直方体の中でどのように動いて、時間ｔ＝Ｔのフレーム画像の中のいずれの画素に至るかを追跡することを考える。ターゲットピクセルの追跡を考えることにより、移動するカメラで正面の様子が撮影された場合に、動的視差の視覚的現象の観点から、動画像に記録された対象物の見え方が、どのように変化するかを検出することができる。

【0034】

図４は、時間経過に伴って変化するターゲットピクセルの追跡処理を説明するための図である。図４には、時間ｔ＝１の時の座標（ｘ_０，ｙ_０）におけるターゲットピクセルｆ（ｘ_０，ｙ_０，１）と、時間ｔ＝Ｔの時の座標（ｘ^＊_０（Ｔ），ｙ^＊_０（Ｔ））におけるターゲットピクセルｆ（ｘ^＊_０（Ｔ），ｙ^＊_０（Ｔ），Ｔ）とが示されている。ターゲットピクセルの追跡を、トラッキングと称する。ターゲットピクセルが、時間ｔ＝１のフレーム画像の中の位置（ｘ_０，ｙ_０，１）（＝（ｘ_０，ｙ_０））から、時間ｔ＝Ｔのフレーム画像の中の位置（ｘ^＊_０（Ｔ），ｙ^＊_０（Ｔ））へ移動した場合を考える。このとき、時間ｔ＝１から時間ｔ＝Ｔまでの経過時間Ｔによる、ターゲットピクセルの累積動的視差をｑ（ｘ_０，ｙ_０，Ｔ）とすると、累積動的視差ｑ（ｘ_０，ｙ_０，Ｔ）は、
ｑ（ｘ_０，ｙ_０，Ｔ）＝｜（ｘ_０，ｙ_０）−（ｘ^＊_０（Ｔ），ｙ^＊_０（Ｔ））｜
として定めることができる。

【0035】

累積動的視差ｑ（ｘ_０，ｙ_０，Ｔ）は、時間ｔ＝１のフレーム画像の座標（ｘ_０，ｙ_０）（＝ｆ（ｘ_０，ｙ_０，１）の座標）に映った対象物の現実世界の物体位置（物体点）が、時間ｔ＝Ｔのフレーム画像上の座標（ｘ^＊_０（Ｔ），ｙ^＊_０（Ｔ））に映った対象物の現実世界の物体位置（物体点）まで移動した場合における、カメラ２００から現実世界の物体位置（物体点）までの距離の変化に対応するものである。累積動的視差の変化量と、カメラ２００から現実世界の物体位置までの距離の変化量との対応関係を求めることにより、累積動的視差ｑに基づいて、カメラ２００から現実世界の物体位置までの距離を求めることができる。

【0036】

図５は、累積動的視差に基づいて対象物からカメラ２００までの距離を求める方法を説明するため図である。図５の縦軸は、カメラ２００から対象物までの仮想距離Ｚｖを示す。仮想距離Ｚｖのプラスの方向は図の下方向である。図５の横軸は、累積動的視差ｑを示す。累積動的視差ｑのプラスの方向は、図の右方向である。カメラ２００が正面方向に進むとすると、Δｔの時間経過によって、仮想距離はΔＺｖ（＞０）だけ短くなり、累積動的視差は、Δｑ（＞０または＜０）だけ変化する。仮想距離Ｚｖの値は、仮想であるゆえ、ある定数である単位累積動的視差ｑ_０の値に対応するものとする。動的視差の特性として、動的視差の値が大きいほど、カメラ２００から物体までの距離は短く、動的視差の値が小さいほど、カメラ２００から物体までの距離は長い現象が存在する。このため、仮想距離Ｚｖと累積動的視差ｑ_０とのパラメータには、比例関係が成立する。すなわち、図５に示す関係から、Ｚｖ：ｑ_０＝−ΔＺｖ：Δｑの比例関係が成立する。

【0037】

この比例関関係から、−ｑ_０・ΔＺｖ＝Ｚｖ・Δｑの関係式が成立し、
ΔＺｖ／Ｚｖ＝−Δｑ／ｑ_０
ｌｏｇＺｖ＝−ｑ／ｑ_０＋ｃ （ｃは定数）と式を変形することにより
Ｚｖ＝ａ・ｅｘｐ（−ｂｑ）
が成立する。ここで、ａ，ｂは正の定数である。またｅｘｐ（−ｂｑ）は、自然対数の底の値（ネイピア数：Napier's constant）の−ｂｑ乗を示している。定数ａ，ｂの値が決定されると、カメラ２００により撮影された動画像に基づき累積動的視差ｑの値を算出することにより、Ｚｖの値を、仮想距離ではなく現実世界の距離として求めることが可能になる。

【0038】

定数ａ，ｂの値は、変数Ｚｖと変数ｑとの変動範囲に基づいて決定される。Ｚｖは、既に説明したように、カメラ２００から物体位置までの仮想距離を示している。仮想距離は、対象世界（対象となる世界、対象となる環境）によって変わり得る値である。例えば、本実施の形態におけるＺｖの対象世界は、ターゲットピクセルの累積動的視差の値の変動に依存する、動画像の仮想的な３次元空間を対象世界としている。動画像の３次元空間（対象世界）で求められる仮想距離は、現実世界の距離とは異なる値である。このため、動画像の３次元空間（対象世界）の仮想距離Ｚｖに対応する現実世界の距離の変動範囲を視察や他の方法で、事前に決定することにより、対象世界の距離から現実世界の距離を対応づけて求めることが可能になる。

【0039】

現実世界の距離Ｚを、対象世界の仮想距離Ｚｖに対応づけることができれば、
Ｚ＝ａ・ｅｘｐ（−ｂｑ） ・・・式１
によって、現実世界の距離Ｚを求めることができる。つまり、現実世界におけるカメラ２００から物体位置までの距離Ｚを求めることが可能になる。

【0040】

本実施の形態では、一例として、動画像の３次元空間（対象世界）の仮想距離Ｚｖに対応する現実世界の距離の変動範囲を視察によって決定する。つまり、動画像の３次元空間（対象世界）の仮想距離Ｚｖが現実世界においてどのくらいの距離範囲に含まれるかを、ユーザの目視等の観察によって決定する。

【0041】

例えば、フレーム画像に映ったＭ個の対象物の距離を算出する場合、動画像の３次元空間（対象世界）においてＭ個の仮想距離Ｚｖが存在することになる。このＭ個の仮想距離Ｚｖに対応する現実世界での距離範囲（カメラ２００からＭ個のそれぞれの対象物までの距離が全て含まれると判断できる現実世界の距離範囲であって、目視により判断された現実世界の距離範囲）を、Ｚ_ＮからＺ_Ｌまでの距離範囲（Ｚ_Ｎ≦Ｚ_Ｌ）とする。仮想距離Ｚｖの距離範囲は、Ｚ_Ｎ≦Ｚｖ≦Ｚ_Ｌで表すことができる。なお、仮想距離Ｚｖの距離範囲を示す距離Ｚ_Ｎおよび距離Ｚ_Ｌは、必ずしも目視により決定される場合には限定されず、他の方法により決定されるものであっても良い。

【0042】

累積動的視差ｑの値の変動範囲は、個別に動画像から求められる実験的な値により決定される。つまり、先験的な情報は必要とされない。累積動的視差ｑの変動範囲は、動画像に映っている物体の現実世界によって左右され、かつ、時間範囲Ｔにも依存する変動範囲となる。ここで、累積動的視差ｑは、時間ｔ＝１のフレーム画像におけるターゲットピクセルが、時間ｔ＝Ｔのフレーム画像においてどこまで移動したかによって求めることができる。つまり、累積動的視差ｑは、時間ｔ＝１のフレーム画像の座標から時間ｔ＝Ｔのフレーム画像の座標まで移動した、ターゲットピクセルの移動画素数により求めることができる。例えば、Ｍ個の対象物のそれぞれに対応して、Ｍ個のターゲットピクセルが存在する場合には、累積動的視差（移動画素数）もターゲットピクセルの数に応じてＭ個求めることができる。このようにして求められたＭ個の累積動的視差（移動画素数）ｑの変動範囲を、μ≦ｑ≦γとする。Ｍ個の移動画素数のうち最も少ない画素数がμに該当し、Ｍ個の移動画素数のうち最も多い画素数がγに該当することになる。つまり、μとγとは、動画像によって求められた複数のターゲットピクセルの移動画素数により定まる実験的な値である。

【0043】

μ，γとＺ_Ｌ，Ｚ_Ｎとの対応関係は、動的視差の性質に基づいて求めることができる。μはＺ_Ｌに対応し、γはＺ_Ｎに対応する。これは、仮想距離Ｚｖが遠いほど、動画像の物体点（物体位置）の移動量が少なくなり、仮想距離Ｚｖが近いほど、動画像の物体点（物体位置）の移動量が多くなるという、動的視差の性質によるものである。このように、仮想距離Ｚｖの距離範囲のうち距離が最も短い距離Ｚ_Ｎは、累積動的視差（移動画素数）ｑの変動範囲のうち最も移動量が多いγに対応し、仮想距離Ｚｖの距離範囲のうち距離が最も長い距離Ｚ_Ｌは、累積動的視差（移動画素数）ｑの変動範囲のうち最も移動量が少ないμに対応することになる。

【0044】

従って、Ｚｖ＝ａ・ｅｘｐ（−ｂｑ）のＺｖとｑの値に、μとＺ_Ｌ、およびγとＺ_Ｎとを対応づけて代入することにより、次のａ，ｂに関する連立方程式が成立する。

【0045】

Ｚ_Ｌ＝ａ・ｅｘｐ（−ｂμ） ・・・式２
Ｚ_Ｎ＝ａ・ｅｘｐ（−ｂγ） ・・・式３
この連立方程式を解くと、下記のように、定数ａ，ｂを求めることができる。

【0046】

ａ＝Ｚ_Ｌ・ｅｘｐ（（μ／（γ−μ））ｌｏｇ（Ｚ_Ｌ／Ｚ_Ｎ）） ・・・式４
ｂ＝（１／（γ−μ））ｌｏｇ（Ｚ_Ｌ／Ｚ_Ｎ） ・・・式５
このように、定数ａ，ｂを求めて、上述した式１に適用することによって、仮想距離Ｚｖの値を現実世界の距離Ｚとして算出することが可能になる。

【0047】

次に、ターゲットピクセルのトラッキング方法について説明する。図６は、時間ｔ−１の時のフレーム画像から時間ｔの時の１つのターゲットピクセル（ｘ，ｙ，ｔ）へ遷移し得るピクセル群（局所領域）、つまり、遷移対象となり得るフレーム画像のピクセル群を示した図である。２次元画像を対象とした動的計画法を用いて時間ｔの画素のトラッキングを行う場合には、図６に示すように、トラッキングの対象となる時間ｔ−１の局所領域のいずれかの画素から、時間ｔのターゲットピクセルへ遷移されることになる。この点で、図６には、ピクセルトラッキングを行う２次元画像を対象とした動的計画法での局所遷移が示されていると判断できる。この局所遷移に基づいて２次元画像を対象とした動的計画法の漸化式が作られる。

【0048】

ここで、２次元画像を対象とした動的計画法とは、２つの系列間の非線形性となる対応関係を求めるための方法であって、一般的に知られる動的計画法の１つの応用例に該当する。従来の動的計画法と異なる点は、局所距離の作り方である。本実施の形態で用いる２次元画像を対象とした動的計画法では、ターゲットピクセルの画素の値と、動画像のすべての画素の値との関係において局所距離を計算する。その後、ターゲットピクセルを始点として、時間ｔ＝Ｔの画像のすべての画素を可能な終点として、始点から終点に至る最小の累積距離を与えるパスを、動的計画法を用いて求める。このような手法を用いることによって、時間ｔ＝１から時間ｔ＝Ｔまでの複数のフレーム画像にわたるターゲットピクセルの追跡を行うことが可能になる。

【0049】

２次元画像を対象とする動的計画法の漸化式は、まず、ターゲットピクセルｆ（ｘ_０，ｙ_０，１）を用いて局所距離と呼ばれる値、ｄ（ｘ，ｙ，ｔ）＝｜ｆ（ｘ_０，ｙ_０，１）−ｆ（ｘ，ｙ，ｔ）｜を計算する。ｄ（ｘ，ｙ，ｔ）の境界条件は、ｔ≦０、または、ｘ≦０、または、ｘ＞Ｘ、または、ｙ≧０、または、ｙ＞Ｙに対して、ｄ（ｘ，ｙ，ｔ）＝∞とする。また、最適な局所距離を累積することによって求められる値を最適累積距離Ｓ（ｘ，ｙ，ｔ）とする。最適累積距離Ｓ（ｘ，ｙ，ｔ）の初期条件を、０≦ｘ≦Ｘ＋１，０≦ｙ≦Ｙ＋１，０≦ｔ≦Ｔ，およびＳ（ｘ_０，ｙ_０，１）＝０に対して、Ｓ（ｘ，ｙ，ｔ）＝∞とする。

【0050】

このような境界条件・初期条件が設定される場合、動的計画法に基づく最適累積距離の漸化式は、

【数1】

・・・式６
となる。

【0051】

ここで、Ｎ（ｉ，ｊ）≡｛（ｉ＋α，ｊ＋β）：｜α｜≦α_０，｜β｜≦β_０｝と定義される。Ｎ（ｉ，ｊ）は、図６に示す時間ｔ−１のフレーム画像の格子点の集合を示しており、動的計画法による漸化式の関与する範囲を示す。

【0052】

式６に示す漸化式を、ｔ＝１からｔ＝Ｔまで作用させたときの最適累積値は、Ｓ（ｘ，ｙ，Ｔ）のスカラー値の分布（但し、１≦ｘ≦Ｘ，１≦ｙ≦Ｙ）となる。ｔ＝１からｔ＝Ｔまで作用させたときの最適累積値Ｓ（ｘ，ｙ，Ｔ）の値が、予め設定される閾値ｈ以下の値となり、かつ最小値となる座標を求める。この座標を（ｘ^＊_０（Ｔ），ｙ^＊_０（Ｔ））とすると、次の式によってこの座標を求めることができる。

【数2】

・・・式７
ここで、記号ａｒｇは、最小値を与えることになる変数ｘ，ｙを取り出すという操作を意味している。このとき、ターゲットピクセル（ｘ_０，ｙ_０）の時間Ｔによる累積動的視差をｑ（ｘ_０，ｙ_０，Ｔ）とすると、累積動的視差ｑ（ｘ_０，ｙ_０，Ｔ）は、
ｑ（ｘ_０，ｙ_０，Ｔ）＝｜（ｘ_０，ｙ_０）−（ｘ^＊_０（Ｔ），ｙ^＊_０（Ｔ））｜
と定めることができる。この累積動的視差ｑ（ｘ_０，ｙ_０，Ｔ）の関係式を用いて、ターゲットピクセルを追跡することにより、ターゲットピクセルの軌跡（トラッキング）に基づいて、カメラ２００から対象物までの距離を求めることができる。

【0053】

ここで，ターゲットピクセルが動画像においてどのような軌跡をとったかは、次述する漸化式によって定めることができる。動画像におけるターゲットピクセルの軌跡は、ターゲットピクセルの変化を視覚化するための重要な情報になる。

【0054】

ターゲットピクセルの軌跡を求めるためには、到達点（ｘ^＊_０（Ｔ），ｙ^＊_０（Ｔ），Ｔ）から（ｘ^＊_０（１），ｙ^＊_０（１），１）＝（ｘ_０，ｙ_０，１）までに至る点列を漸化式により求める。

【0055】

まず、座標（ｘ^＊_０（Ｔ−１），ｙ^＊_０（Ｔ−１））のターゲットピクセルを、
（ｘ^＊_０（Ｔ−１）， ｙ^＊_０（Ｔ−１））
＝（ｘ^＊_０（Ｔ）＋ｉ^＊，ｙ^＊_０（Ｔ）＋ｊ^＊）によって求める。

【0056】

この場合の（ｉ^＊，ｊ^＊）は、

【数3】

によって定まる。

【0057】

以下同様に、（ｘ^＊_０（Ｔ−２），ｙ^＊_０（Ｔ−２））のターゲットピクセルを、
（ｘ^＊_０（Ｔ−２），ｙ^＊_０（Ｔ−２））
＝（ｘ^＊_０（Ｔ−１）＋ｉ^＊，ｙ^＊_０（Ｔ−１）＋ｊ^＊）によって求める。

【0058】

この場合の（ｉ^＊，ｊ^＊）は、

【数4】

によって定まる。

【0059】

このようにして、（ｘ^＊_０（１），ｙ^＊_０（１），１）＝（ｘ_０，ｙ_０，１）までに至る点列のターゲットピクセルを求めるために、Ｔ回続けて計算を行うことにより、
（ｘ^＊_０（１）， ｙ^＊_０（１），１）＝（ｘ_０，ｙ_０，１）を求めることができる。

【0060】

次に、到達点（ｘ^＊_０（Ｔ），ｙ^＊_０（Ｔ），Ｔ）から（ｘ^＊_０（１），ｙ^＊_０（１），１）＝（ｘ_０，ｙ_０，１）までに至る点列を、車両の進行方向の正面を撮影したカメラの動画像に適用することにより、カメラ２００から対象物までの距離を計算する方法について、一例を示して説明する。

【0061】

５個（Ｍ＝５）のターゲットピクセルを時間ｔ＝１のフレーム画像から抽出する。Ｔ＝３０として、それぞれのターゲットピクセルを、上述した方法で追跡（トラッキング）して、時間ｔ＝３０（＝Ｔ）におけるフレーム画像の到達点を求める。図７は、時間ｔ＝１のフレーム画像において信号機が映る画素の１つをターゲットピクセルとして、時間ｔ＝１から時間ｔ＝３０までターゲットピクセルをトラッキングさせた場合の軌跡（追跡の軌跡）が、時間ｔ＝３０（＝Ｔ）のフレーム画像に示された拡大図である。図８は、異なる５個の信号機を対象物として、信号機の画素の１つをそれぞれのターゲットピクセルとして設定し、５個のターゲットピクセルを同時にトラッキングさせた場合の軌跡（追跡の軌跡）が示された、時間ｔ＝３０の時のフレーム画像を示している。

【0062】

図８に示す、５個のターゲットピクセルについて、フレーム画像上の追跡距離（トラッキング軌跡の始端ピクセルの座標から終端ピクセルの座標までの軌跡距離の長さ）の変動範囲を測定する。５個のターゲットピクセルの追跡距離のうち、追跡距離が最小距離となる場合の画素数（最小画素数）が４．０ピクセル、追跡距離が最大距離となる場合の画素数（最大画素数）が３０．５２ピクセルであった。これらの追跡距離の画素数に基づいて、上述したμとγとの値が決定される。本実施の形態の場合には、最小画素数を示す４．０ピクセルは、上述した式２の最小距離μの値に該当し、最大画素数を示す３０．５２ピクセルは、上述した式３の最大距離γに該当することになる。
最小距離（μ）＝４．０ピクセル、最大距離（γ）＝３０．５２ピクセル

【0063】

また、時間ｔ＝３０（＝Ｔ）の時のフレーム画像に映っている５個の対象物（５個のターゲットピクセルに対応する５つの対象物）のうち、人間の視察によって、現実世界でのカメラ２００から対応する５つの物体（信号機：対象物）までの距離は、最小距離となる５０ｍから、最大距離となる１００ｍまでの範囲に含まれている。これらの距離は、動画像に映っている対象物からカメラ２００までの実際のスケール幅を示す。最小距離を示す５０ｍは、上述した式３のＺ_Ｎの値に対応し、最大距離を示す１００ｍは、上述した式２のＺ_Ｌの値に対応することになる。
最小距離（Ｚ_Ｎ）＝５０ｍ、最大距離（Ｚ_Ｌ）＝１００ｍ

【0064】

なお、既に説明した動的視差の性質に基づいて、カメラ２００から対象物までの距離が遠い程（Ｚ_Ｌ）、対応する対象物のターゲットピクセルの追跡距離が短くなり（μ）、カメラ２００から対象物までの距離が近い程（Ｚ_Ｎ）、対応する対象物のターゲットピクセルの追跡距離が長くなる（γ）。このため、μはＺ_Ｌに対応し、γはＺ_Ｎと対応することになり、式２、式３に示したような関係が成立することになる。

【0065】

これらのμ，γ，Ｚ_Ｌ，Ｚ_Ｎを用いて上述した式４、式５および式１を計算することによって、５個のターゲットピクセルに対応する画素点に映っている対象物からカメラ２００までの現実の距離を算出することができる。図８には、５個のターゲットピクセルの軌跡に対応して算出された現実世界の距離（現実世界のカメラ２００からそれぞれの信号機までの距離）が示されている。図８に示すように、上述したμ，γ，Ｚ_Ｌ，Ｚ_Ｎの値を用いて、式２〜式５に基づいて変数ａおよびｂを算出し、算出されたａ，ｂを式１に代入することによって、各ターゲットピクセルの座標に映る対象物からカメラ２００までの現実世界の距離の値を算出することができる。

【0066】

次にターゲットピクセルの選択・決定について説明する。原理的には、フレーム画像ｆ（ｘ，ｙ，ｔ）（但し、１≦ｘ≦Ｘ，１≦ｙ≦Ｙ）の全てのピクセルをターゲットピクセルにすることが可能である。しかしながら、ターゲットピクセルの対象を広げすぎると距離を算出するための計算量が増加してしまう。このため、ターゲットピクセルの数が適切になるように選別・削減することが好ましい。ターゲットピクセルを適切に選別・削減する方法の一例として、公知の領域分割方法を利用する。

【0067】

既存の領域分割手法のうち最も有力な手法の一つとして、mean-shift法（中間値シフト法）と呼ばれる方法が知られている。mean-shift法は、広く知られた領域分割手法であって、Open CV（Open Source Computer Vision Library）と呼ばれる、広く公開されたオープンソースのコンピュータビジョン向けのライブラリによって提供されている。mean-shift法をフレーム画像に適用することにより、フレーム画像の画素毎のＲＧＢ値（色情報）などに基づいて、フレーム画像に映る対象物等に応じて画像領域の分割が行われる。分割された領域のうち同一領域と判断される部分については、カメラからの距離がほぼ等しいと解釈する。本実施の形態では、分割された領域（分割領域）毎に重心点を求めて、それぞれの重心点をターゲットピクセルとして決定する。このようにしてターゲットピクセルを決定することにより、カメラ２００からの距離がほぼ等しいと解釈され得る領域毎に距離算出を行うことができ、ターゲットピクセルの選定を適切に行うことが可能になる。また、ターゲットピクセルの数を分割領域の数まで削減することができるので、演算負担の軽減化を図ることが可能になる。

【0068】

図９は、カメラにより撮影された風景画像に対してmean-shift法が適用された画像を示している。mean-shift法を適用することにより、フレーム画像の風景が複数の領域に分割され、同じ領域が、同じ色で示される。このようにして分割された領域毎に重心位置を求めて、該当する重心位置の画素をターゲットピクセルに設定する。

【0069】

図１１（ａ）は、カメラにより撮影された車両正面方向の動画像に基づいて、ＣＰＵ１０４が、カメラ２００から対象物までの距離を算出する方法を示したフローチャートである。距離算出の対象となる動画像は、時間ｔ＝τ−Ｔから時間ｔ＝τまでのフレーム画像ｆ（ｘ，ｙ，ｔ）（１≦ｘ≦Ｘ，１≦ｙ≦Ｙ，τ−Ｔ≦ｔ≦τ）とする。

【0070】

図１０は、ＲＯＭ１０２より読み込んだプログラムに基づいて、ＣＰＵ１０４が距離算出処理を実行する場合の各機能部を示したブロック図である。ＣＰＵ１０４は、図１１（ａ）（ｂ）に示す処理内容に応じて、領域分割部（領域分割手段）３０１、ターゲットピクセル抽出部（ターゲットピクセル抽出手段）３０２、軌跡算出部（軌跡算出手段）３０３、移動画素数測定部（移動画素数測定手段）３０４および距離算出部（距離算出手段）３０５として機能し、それぞれの処理を行う。

【0071】

まず、ＣＰＵ１０４は、記録部１０１から時間ｔ＝τ−Ｔのフレーム画像を読み出して、読み出したフレーム画像に対してmean-shift法を適用し、フレーム画像の領域分割処理を行う（図１１（ａ）のＳ．１：領域分割ステップ、領域分割機能）。この処理においてＣＰＵ１０４は、時間ｔ＝τ−Ｔのフレーム画像を複数の領域に分割する領域分割部（領域分割手段）３０１として機能する。

【0072】

ＣＰＵ１０４は、複数の領域に分割されたフレーム画像の領域のうち、カメラ２００からの距離を測定する対象物が映る領域を求める。距離の測定対象となる対象物がＭ個ある場合には、Ｍ個の領域を求める。なお、Ｍは２以上の数とする。そして、ＣＰＵ１０４は、Ｍ個の領域毎に重心点の座標を求めて、求められた重心点の座標の画素を時間ｔ＝τ−Ｔのターゲットピクセルとして、Ｍ個の領域毎に抽出する（Ｓ．２：ターゲットピクセル抽出ステップ、ターゲットピクセル抽出機能）。この処理においてＣＰＵ１０４は、Ｍ個のターゲットピクセルを抽出するターゲットピクセル抽出部（ターゲットピクセル抽出手段）３０２として機能する。

【0073】

ＣＰＵ１０４は、時間ｔ＝τ−Ｔのフレーム画像において決定された複数（Ｍ個）のターゲットピクセルに基づいて、時間ｔ＝τ−Ｔのフレーム画像から時間ｔ＝τのフレーム画像までのターゲットピクセルの軌跡を、２次元画像を対象とする動的計画法を用いたトラッキングアルゴリズムによって算出する（Ｓ．３：軌跡算出ステップ、軌跡算出機能）。そして、ＣＰＵ１０４は、時間ｔ＝τのフレーム画像におけるターゲットピクセルの到達点の座標（ｘ^＊_０（Ｔ），ｙ^＊_０（Ｔ））を決定する。この処理においてＣＰＵ１０４は、時間ｔ＝τ−Ｔのフレーム画像におけるターゲットピクセルの画素位置から時間ｔ＝τのフレーム画像におけるターゲットピクセルの画素位置までのターゲットピクセルの軌跡を、Ｍ個のターゲットピクセルに応じて算出する軌跡算出部（軌跡算出手段）３０３として機能する。

【0074】

なお、ＣＰＵ１０４において、時間ｔ＝τのフレーム画像に対してmean-shift法を適用して、時間ｔ＝τのフレーム画像の領域分割処理を行った場合、時間ｔ＝τ−Ｔのフレーム画像においてターゲットピクセルが属する分割領域と、時間ｔ＝τのフレーム画像において対応するターゲットピクセルが到達した画素点の分割領域とは、通常一致することになる。

【0075】

ＣＰＵ１０４は、時間ｔ＝τ−Ｔのフレーム画像の画素位置から時間ｔ＝τのフレーム画像の画素位置までの、ターゲットピクセルの追跡距離（移動距離）の長さ（画素数）を、Ｍ個のターゲットピクセル毎に測定する（Ｓ．４：移動画素数測定ステップ、移動画素数測定機能）。この処理においてＣＰＵ１０４は、時間ｔ＝τのフレーム画像において、Ｍ個のターゲットピクセルの移動距離を、移動画素数ｑ_ｍ（ｍ＝１，２，・・・，Ｍ）として測定する移動画素数測定部（移動画素数測定手段）３０４として機能する。

【0076】

ＣＰＵ１０４は、求められたＭ個のフレーム画像の移動画素数ｑ_ｍのうち、最も移動画素数が少ない画素数を前述したμとし、最も移動画素数が多い画素数を前述したγとする。さらに、移動画素数が最も多い画素数のターゲットピクセルにより特定される対象物からカメラ２００までの、時間ｔ＝τにおける現実世界の距離を、目視により決定してＺ_ｎとする。また、移動画素数が最も少ない画素数のターゲットピクセルにより特定される対象物からカメラ２００までの、時間ｔ＝τにおける現実世界の距離を、目視により決定してＺ_Ｌとする。

【0077】

そして、ＣＰＵ１０４は、設定されたμ，γ，Ｚ_Ｎ，Ｚ_Ｌを用いて、上述した式４および式５に値を代入することにより、定数ａおよび定数ｂを求めて、求められた定数ａおよび定数ｂと、Ｍ個のターゲットピクセル毎の移動画素数ｑ_ｍ（ｍ＝１，２，・・・，Ｍ）とを用いて、それぞれのターゲットピクセルに該当する対象物からカメラ２００までの時間ｔ＝τにおける現実世界の距離を算出する（Ｓ．５：距離算出ステップ、距離算出機能）。

【0078】

この処理においてＣＰＵ１０４は、設定されたμ，γ，Ｚ_Ｎ，Ｚ_Ｌに基づいて求められた定数ａ，ｂと、ターゲットピクセル毎の移動画素数ｑ_ｍとに基づいて、各対象物からカメラ２００までの現実世界の距離を算出する距離算出部（距離算出手段）３０５として機能する。

【0079】

このようにして、ＣＰＵ１０４は、カメラ２００により撮影された動画像に基づいて、動画像に映った対象物からカメラ２００までの時間ｔ＝τにおける現実世界の距離を算出する。時間ｔ＝τのフレーム画像において、分割された領域（分割領域）の同定を行うことにより、それぞれの分割領域に映る対象物が、信号機、看板、道路、壁、木、建物等のどのような物に該当するかを分類することができ、カメラ２００から分類された各対象物までの距離情報を、パラメータとして求めることができる。このようにして求められたパラメータは、例えば、自動車等の自動運転制御等における重要な制御パラメータとして利用することが可能になる。

【0080】

以上、本発明に係る動画像距離算出装置および動画像距離算出用プログラムについて、図面を用いて詳細に説明したが、本発明に係る動画像距離算出装置および動画像距離算出用プログラムは、実施の形態に示した動画像距離算出装置１００の構成例等には限定されない。実施の形態において説明したターゲットピクセルのトラッキング処理では、mean-shift法により分割された領域の重心点に基づいて、ターゲットピクセルを決定する方法を説明した。しかしながら、ターゲットピクセルは、必ずしも分割領域の重心点に基づいて決定されるものに限定されない。

【0081】

例えば、最適累積値Ｓ（ｘ，ｙ，ｔ）と予め設定される閾値ｈとを用いて、
Ｓ（ｘ，ｙ，ｔ）／ｔ≦ｈ
の条件を満たす領域をＲ（ｘ，ｙ，ｔ）とする。この領域の重心の座標をｒ（ｘ^＊，ｙ^＊，ｔ）として、ｒ（ｘ^＊，ｙ^＊，ｔ）をターゲットピクセルに決定する方法を用いてもよい。従って、ターゲットピクセルのトラッキング処理は、ｒ（ｘ^＊，ｙ^＊，ｔ）を用いて、ｔ＝１，２，・・・，Ｔのトラッキングを行うことになる。ここで、Ｒ（ｘ，ｙ，ｔ）を求めるために、最小累積値Ｓ（ｘ，ｙ，ｔ）を時間ｔで除算する処理は、最小累積値を時間の長さで正規化する処理に該当する。また、閾値ｈは、経験的に定まる定数である。

【0082】

分割領域の重心点によってターゲットピクセルを決定しても、分割領域内にはターゲットピクセルに類似する画素が存在している。このため、トラッキングされるターゲットピクセルの画素位置の周辺にも、類似の積分値を備える画素が存在することになる。従って、閾値ｈ以下となる正規化された最小累積値の値（Ｓ（ｘ，ｙ，ｔ）／ｔ）も、分割された領域を示すことになり、この領域の重心の座標をターゲットピクセルに決定することによって、トラッキング処理により求められるターゲットピクセルの信頼性を高めることになる。

【0083】

また、Ｓ（ｘ，ｙ，ｔ）／ｔ≦ｈの条件を満たす領域をＲ（ｘ，ｙ，ｔ）として、この領域の重心の座標をトラッキングすることにより、バックトレースの視覚化を行いやすくなり、トラッキングが正確に行われているか判断しやすくすることができる。

【0084】

さらに、従来のトラッキング手法では、動画像に映る対象物毎に個別にトラッキング処理を行う必要があったが、本発明に係る動画像距離算出装置および動画像距離算出用プログラムでは、図８に示したように、複数の対象物（より詳細には、複数のターゲットピクセル）について、同時にトラッキング処理を行うことが可能である。

【0085】

例えば、複数の対象物毎のターゲットピクセルをｆ（ｘ_ｍ，ｙ_ｍ，ｔ）（但し、ｍ＝１，２，・・・，Ｍ）とする。ここで、ｍは、対象物を区別するための番号であり、Ｍはその対象物の総数である。

【0086】

この対象物毎のターゲットピクセルをトラッキングするための動的計画法の漸化式では、局所距離ｄ_ｍ（ｘ，ｙ，ｔ）を
ｄ_ｍ（ｘ，ｙ，ｔ）＝｜ｆ（ｘ_ｍ，ｙ_ｍ，１）−ｆ（ｘ，ｙ，ｔ）｜
とし、最小累積値Ｓ（ｘ，ｙ，ｔ）を

【数5】

とする。さらに、トラッキング処理の対象となるターゲットピクセルを、Ｓ（ｘ，ｙ，ｔ）／ｔの値が閾値ｈ以下となる複数の局所的領域の重心に決定する。

【0087】

このようにして、複数の対象物毎にターゲットピクセルを決定することにより、それぞれの対象物からカメラまでの距離を、トラッキングされるターゲットピクセル軌跡の終端から始端までの経路距離（軌跡のピクセル距離）を用いて、対象物毎に求めることが可能になる。

【0088】

また、実施の形態に係る動画像距離算出装置１００では、図１１（ａ）に示すように、ＣＰＵ１０４が、過去から現在に向けて経時的に変化する（時間ｔ＝τ−Ｔから時間ｔ＝τまで変化する）動画像のフレーム画像に基づいて、ターゲットピクセルのトラッキング処理を行う場合について説明した。しかしながら、ターゲットピクセルのトラッキング処理を行う場合に、時間ｔ＝τから過去の時間ｔ＝τ−Ｔへと時間を遡るようにして、動画像のフレーム画像におけるターゲットピクセルのトラッキング処理を行うことも可能である。

【0089】

図１１（ｂ）は、ＣＰＵ１０４が、時間ｔ＝τから時間ｔ＝τ−Ｔまで、時間ｔを過去に遡るようにしてターゲットピクセルのトラッキング処理を行う場合の処理内容を示したフローチャートである。ＣＰＵ１０４は、時間ｔ＝τのフレーム画像に対して、mean-shift法を適用することにより、領域分割を行う（Ｓ．１１：領域分割ステップ、領域分割機能）。

【0090】

そして、ＣＰＵ１０４は、求められた分割領域の中から対象物が映るＭ個の領域を求めて、Ｍ個の領域毎に重心点の画素をターゲットピクセルとして抽出する（Ｓ．１２：ターゲットピクセル抽出ステップ、ターゲットピクセル抽出機能）。例えば、抽出されたＭ個のターゲットピクセルの１つの画素を（ｘ^＊_０（τ），ｙ^＊_０（τ））とする。

【0091】

ＣＰＵ１０４は、時間ｔ＝τから時間ｔ＝τ−Ｔまでの動画像に基づいて、ターゲットピクセルのトラッキング処理を行う（Ｓ．１３：軌跡算出ステップ、軌跡算出機能）。このトラッキング処理により、時間ｔ＝τから時間ｔ＝τ−Ｔまでの過去に遡る時系列により、ターゲットピクセルの軌跡を求めることになる。時間ｔ＝τ−Ｔのフレーム画像におけるＭ個のターゲットピクセルのうちの１つの画素の到達点を（ｘ^＊_０（τ−Ｔ），ｙ^＊_０（τ−Ｔ））とする。ＣＰＵ１０４は、時間ｔ＝τから時間ｔ＝τ−Ｔまでの軌跡によるターゲットピクセルの累積動的視差の値ｑ（ｘ^＊_０（τ），ｙ^＊_０（τ））を、
ｑ（ｘ^＊_０（τ），ｙ^＊_０（τ））
＝｜（ｘ^＊_０（τ）−ｙ^＊_０（τ））−（ｘ^＊_０（τ−Ｔ），ｙ^＊_０（τ−Ｔ））｜
より求める。この累積動的視差の値ｑ（ｘ^＊_０（τ），ｙ^＊_０（τ））は既に説明した移動画素数ｑ_ｍに該当する。従って、ＣＰＵ１０４はこの処理により、移動画素数の測定を行うことになる（Ｓ．１４：移動画素数測定ステップ、移動画素数測定機能）。

【0092】

そして、ＣＰＵ１０４は、求められた累積動的視差の値ｑ（ｘ^＊_０（τ），ｙ^＊_０（τ））に基づいて、時間ｔ＝τのフレーム画像に映る対象物の距離を算出する（Ｓ．１５：距離算出ステップ、距離算出機能）。時間ｔ＝τにおける対象物からカメラ２００までの現実世界の距離は、
ｄ（ｘ^＊_０（τ），ｙ^＊_０（τ））
＝ａ・ｅｘｐ（−ｂｑ（ｘ^＊_０（τ），ｙ^＊_０（τ）））
により求めることができる。

【0093】

この式は、式１に示したＺ＝ａ・ｅｘｐ（−ｂｑ）に対応する。

【0094】

このようにして、時間ｔ＝τから過去の時間ｔ＝τ−Ｔへと時間を遡るようにして、動画像のフレーム画像におけるターゲットピクセルのトラッキング処理を行って現実世界の距離を求めることにより、２つの利点が生じる。

【0095】

まず、時間ｔ＝τのフレーム画像における分割領域は、フレーム画像に映る対象物までの距離が近いこともあって、比較的広い領域となる傾向がある。このため、ターゲットピクセルを、より安定した分割領域に基づいて決定することが可能になるという利点が生じる。

【0096】

次に、時間ｔ＝τから過去の時間ｔ＝τ−Ｔへと時間を遡るようにして、ターゲットピクセルのトラッキングを行うため、時間が遡ってもターゲットピクセルが動画像のフレームから外れてしまう現象が生じ難いという利点が生じる。時間ｔ＝τ−Ｔから時間ｔ＝τへと変化する動画像では、カメラ２００の進行に伴って、時間ｔ＝τ−Ｔのフレーム画像に存在していたターゲットピクセルが、時間ｔ＝τになる前にフレーム画像から外れてしまい、時間ｔ＝τのフレーム画像に存在しない可能性も生じ得る。しかしながら、時間ｔ＝τから過去の時間ｔ＝τ−Ｔへと時間を遡るようにして、ターゲットピクセルのトラッキングを行う場合には、ターゲットピクセルが画面の中心方向へと移動する傾向となるため、ターゲットピクセルの移動量が僅かになっても、フレーム画像内に存在する可能性が高い。

【0097】

また、同様に、ターゲットピクセルの決定が行われた分割領域も、時間ｔ＝τ−Ｔのフレーム画像内に存在する可能性が高い。このため、時間ｔ＝τから過去の時間ｔ＝τ−Ｔへと時間を遡るようにして、ターゲットピクセルのトラッキングを行う場合には、ターゲットピクセルおよび分割領域がフレーム画像から外れてしまうという現象に対処する必要性が低減されるという利点が生じる。

【0098】

なお、時間を遡るようにしてターゲットピクセルのトラッキングを行う場合、終端のピクセルが正しいターゲットピクセルと必ず同じピクセルになるとは保証できないが、この点に関しては、時間ｔ＝τ−Ｔから時間ｔ＝τへと経時的にターゲットピクセルのトラッキングを行う場合であっても同様である。

【0099】

また、実施の形態に係る動画像距離算出装置１００において、ターゲットピクセルのトラッキング処理を安定的に行うために、以下の方法を用いることも可能である。

【0100】

まず、実施の形態に係る画像距離算出装置１００では、分割された領域（分割領域）毎に重心点を求めて、それぞれの重心点をターゲットピクセルとして決定する場合について説明した。しかしながら、分割領域の形状が、例えば、Ｌの字形状である場合、重心点が分割領域の外側に存在する場合が生じ得る。このような場合には、分割領域の外側の座標がターゲットピクセルとして決定されてしまうおそれがある。このため、領域内の画素に対して端から順番に番号を付加し、その領域の全ての画素数の半分の値に該当する番号（その領域の画素の番号のうち中間の番号に該当する）の画素を、ターゲットピクセルに決定する。このようにしてターゲットピクセルを決定することによって、分割領域内の画素をターゲットピクセルとして確実に決定することができる。

【0101】

次に、決定されたターゲットピクセルの座標を、図１１（ｂ）のＳ．１２において設定したように、（ｘ^＊_０（τ）， ｙ^＊_０（τ））とするときに、ターゲットピクセルの値を１つの画素の値だけで定めるのではなく、ターゲットピクセルの座標の上下左右の画素の値の平均値によって決定することも可能である。

【0102】

例えば、ターゲットピクセルの座標（ｘ^＊_０（τ）， ｙ^＊_０（τ））の上下左右の座標を含む、５つの座標点の平均値を用いて、ターゲットピクセルの値Ｐ（ｘ^＊_０（τ），ｙ^＊_０（τ））を決定する場合には、

【数6】

・・・式８
により値を決定することができる。このように複数の座標の値の平均値によりターゲットピクセルの値を決定することにより、より安定した値を得ることが可能になる。

【0103】

さらに、上述した局所距離の算出において、実施の形態に係る画像距離算出装置１００では、ターゲットピクセルの値をｆ（ｘ_０，ｙ_０，１）として、局所距離を、ターゲットピクセルの値と、時間ｔの対象となる画素の値とのユークリット距離により算出して、
局所距離ｄ（ｘ，ｙ，ｔ）＝｜ｆ（ｘ_０，ｙ_０，１）−ｆ（ｘ，ｙ，ｔ）｜
によって求める場合について説明した。

【0104】

しかしながら、局所距離の算出は、この方法には限定されない。例えば、２つの画素のコサイン相関関数を用いて距離値を算出することにより、局所距離を求めることも可能である。すなわち局所距離ｄ（ｘ，ｙ，ｔ）を、

【数7】

・・・式９
により求めることができる。

【0105】

式９の分子に示す＜ｆ（ｘ，ｙ，ｔ），Ｐ（ｘ^＊_０（τ），ｙ^＊_０（τ））＞は、ＲＧＢのベクトルの内積を示している。相関値は常にゼロと１との間の値を取るため、式９により求められる値は、画素の値の絶対的な変動に対して安定して求められることになる。このため、式９により算出された局所距離は、フレーム画像に発生し得るノイズ等の影響を受け難いという特徴を備える。

【0106】

式９の場合の時間ｔのパラメータは、図１１（ｂ）を示して既に説明したように、τ−Ｔ≦ｔ≦τとなるが、計算の進行は、時間τから時間τ−Ｔまでの過去に遡るようにして、時間ｔが進行することにより行われる。すなわち、時間ｔは、時間ｔ＝τ，τ−１，τ−２，・・・，τ−Ｔと進行し、ターゲットピクセルに到達する時間ｔは、時間ｔ＝τ−Ｔとなる。

【0107】

また、ターゲットピクセルのトラッキング処理においてバックトレースを視覚化することにより、トラッキングが正確に行われているか判断し易くなる。この点においては、既に説明したように、Ｓ（ｘ，ｙ，ｔ）／ｔ≦ｈの条件を満たす領域をＲ（ｘ，ｙ，ｔ）として、この領域の重心の座標をトラッキングすることにより、バックトレースの視覚化を行い易くすることができる。

【符号の説明】

【0108】

１００ …動画像距離算出装置
１０１ …記録部
１０２ …ＲＯＭ
１０３ …ＲＡＭ
１０４ …ＣＰＵ（制御手段、領域分割手段、ターゲットピクセル抽出手段、距離算出手段、軌跡算出手段、移動画素数測定手段、距離算出手段）
２００ …カメラ
２１０ …モニタ
３０１ …領域分割部（領域分割手段）
３０２ …ターゲットピクセル抽出部（ターゲットピクセル抽出手段）
３０３ …軌跡算出部（軌跡算出手段）
３０４ …移動画素数測定部（移動画素数測定手段）
３０５ …距離算出部（距離算出手段）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】