知財求人 - 知財ポータルサイト「IP Force」
特許7585173実スケール奥行算出装置、実スケール奥行算出方法、および実スケール奥行算出プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-08
(45)【発行日】2024-11-18
(54)【発明の名称】実スケール奥行算出装置、実スケール奥行算出方法、および実スケール奥行算出プログラム
(51)【国際特許分類】
G01C 3/06 20060101AFI20241111BHJP
G01B 11/00 20060101ALI20241111BHJP
G06T 7/55 20170101ALI20241111BHJP
G06T 7/00 20170101ALI20241111BHJP
【ＦＩ】
G01C3/06 120Z
G01B11/00 H
G06T7/55
G06T7/00 350C
【請求項の数】
25
(21)【出願番号】P 2021163567
(22)【出願日】2021-10-04
(65)【公開番号】P2023054608
(43)【公開日】2023-04-14
【審査請求日】2024-02-26
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】川崎 敦史
【審査官】國田 正久
(56)【参考文献】
【文献】特開２０１９－０４９４５７（ＪＰ，Ａ）
【文献】特開２０１９－０１１９７１（ＪＰ，Ａ）
【文献】特開２０１９－１２４５３７（ＪＰ，Ａ）
【文献】特開２０１８－１７９９１１（ＪＰ，Ａ）
【文献】特開２０２０－１４８４８３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｃ ３／０６
Ｇ０１Ｂ １１／００
Ｇ０６Ｔ ７／５５
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
移動体に搭載された撮影部から撮影時刻の異なる複数の撮影画像を取得する撮影画像取得部と、前記撮影画像から不定スケール奥行情報を導出する不定スケール奥行導出部と、
複数の前記撮影画像の各々の撮影時の前記撮影部の実スケール位置姿勢情報を取得する位置姿勢取得部と、
複数の前記撮影画像、前記不定スケール奥行情報、および前記実スケール位置姿勢情報から、幾何的整合性に基づいて実スケール奥行情報を導出する実スケール奥行導出部と、
を備える実スケール奥行算出装置。
【請求項2】
前記実スケール奥行導出部は、複数の前記撮影画像、前記不定スケール奥行情報、および前記実スケール位置姿勢情報を用いて、前記不定スケール奥行情報を前記実スケール奥行情報に変換するためのスケール変換値を算出するスケール変換値算出部と、
前記不定スケール奥行情報に前記スケール変換値を乗算した乗算結果を前記実スケール奥行情報として算出するスケール変換部と、
を有する請求項１に記載の実スケール奥行算出装置。
【請求項3】
前記スケール変換値算出部は、複数の前記撮影画像に含まれる基準時刻に撮影された第１撮影画像および対象時刻に撮影された第２撮影画像と、
前記基準時刻の前記第１撮影画像から導出された前記不定スケール奥行情報である第１不定スケール奥行情報と、
前記基準時刻の前記撮影部の前記実スケール位置姿勢情報である第１実スケール位置姿勢情報および前記対象時刻の前記撮影部の前記実スケール位置姿勢情報である第２実スケール位置姿勢情報と、から、
前記第１撮影画像と前記第２撮影画像との間で対応する座標点の対に基づき、前記不定スケール奥行情報に乗算する変数であるスケール変換変数を変化させて前記座標点の対の幾何的整合性が最大となる前記スケール変換変数を、前記スケール変換値として算出する、
請求項２に記載の実スケール奥行算出装置。
【請求項4】
前記スケール変換値算出部は、前記第１撮影画像上の座標点である第１座標点を、前記第１不定スケール奥行情報、前記第１実スケール位置姿勢情報、前記第２実スケール位置姿勢情報、および前記スケール変換変数を用いて前記第２撮影画像上に投影した、前記第１座標点に対応する座標点である第２座標点と、前記第１座標点と、の一致度が最大となる前記スケール変換変数を前記スケール変換値として算出する、
請求項３に記載の実スケール奥行算出装置。
【請求項5】
前記スケール変換値算出部は、前記第１不定スケール奥行情報、前記第１実スケール位置姿勢情報、前記第２実スケール位置姿勢情報、および前記スケール変換変数を用いて、前記第１撮影画像を前記対象時刻の前記第２実スケール位置姿勢情報によって表される実スケール位置姿勢の前記撮影部で撮影されたワーピング画像に変換し、
前記ワーピング画像に含まれる座標点と前記第２撮影画像に含まれる該座標点と同じ座標の座標点との一致度が最大となる前記スケール変換変数を、前記スケール変換値として算出する、
請求項３に記載の実スケール奥行算出装置。
【請求項6】
前記スケール変換値算出部は前記第１撮影画像と前記第２撮影画像との間で同じ対象物上の対応する座標点の対である対応点、前記第１実スケール位置姿勢情報、および前記第２実スケール位置姿勢情報から、三角測量により前記対応点によって示される前記対象物上の実スケール点の実スケール三次元位置座標を導出し、
前記第１不定スケール奥行情報から導出される前記対応点の不定スケール三次元位置座標に前記スケール変換変数を乗算した不定スケール乗算三次元位置座標と、前記実スケール三次元位置座標と、の一致度が最大となる前記スケール変換変数を前記スケール変換値として算出する、
請求項３に記載の実スケール奥行算出装置。
【請求項7】
前記一致度は、輝度差、特徴量記述子から得られる特徴ベクトルの差、または距離、が小さいほど大きい値である、
請求項４または請求項５に記載の実スケール奥行算出装置。
【請求項8】
前記一致度は、三次元座標間の距離の差または奥行の差が小さいほど大きい値である、請求項６に記載の実スケール奥行算出装置。
【請求項9】
前記スケール変換変数は、所定範囲内で任意の値をとる変数、
前記一致度を目的関数とした最小化問題の解、
または、
前記撮影部の不定スケール設置高さに対する、変数である前記撮影部の実スケール設置高さの比率、によって表される、
請求項４～請求項８の何れか１項に記載の実スケール奥行算出装置。
【請求項10】
前記スケール変換値算出部は、前記撮影画像に含まれる移動体領域以外の領域内の前記座標点を用いる、
請求項３～請求項９の何れか１項に記載の実スケール奥行算出装置。
【請求項11】
前記スケール変換値算出部は、前記撮影画像取得部で取得された複数の前記撮影画像の内、撮影時刻間の前記撮影部の移動量が閾値以上の２つの前記撮影画像を、前記第１撮影画像および前記第２撮影画像として用いる、
請求項３～請求項１０の何れか１項に記載の実スケール奥行算出装置。
【請求項12】
前記位置姿勢取得部は、車両に搭載された外界センサおよび内界センサの少なくとも一方から、前記実スケール位置姿勢情報を取得する、
請求項１～請求項１１の何れか１項に記載の実スケール奥行算出装置。
【請求項13】
前記不定スケール奥行導出部は、ニューラルネットワークまたはＳＬＡＭを用いた幾何的手法によって、前記撮影画像から前記不定スケール奥行情報を導出する、
請求項１～請求項１２の何れか１項に記載の実スケール奥行算出装置。
【請求項14】
移動体に搭載された撮影部から撮影時刻の異なる複数の撮影画像を取得する撮影画像取得ステップと、前記撮影画像から不定スケール奥行情報を導出する不定スケール奥行導出ステップと、
複数の前記撮影画像の各々の撮影時の前記撮影部の実スケール位置姿勢情報を取得する位置姿勢取得ステップと、
複数の前記撮影画像、前記不定スケール奥行情報、および前記実スケール位置姿勢情報から、幾何的整合性に基づいて実スケール奥行情報を導出する実スケール奥行導出ステップと、
を含む実スケール奥行算出方法。
【請求項15】
前記実スケール奥行導出ステップは、複数の前記撮影画像、前記不定スケール奥行情報、および前記実スケール位置姿勢情報を用いて、前記不定スケール奥行情報を前記実スケール奥行情報に変換するためのスケール変換値を算出するスケール変換値算出ステップと、
前記不定スケール奥行情報に前記スケール変換値を乗算した乗算結果を前記実スケール奥行情報として算出するスケール変換ステップと、
を含む、請求項１４に記載の実スケール奥行算出方法。
【請求項16】
前記スケール変換値算出ステップは、複数の前記撮影画像に含まれる基準時刻に撮影された第１撮影画像および対象時刻に撮影された第２撮影画像と、
前記基準時刻の前記第１撮影画像から導出された前記不定スケール奥行情報である第１不定スケール奥行情報と、
前記基準時刻の前記撮影部の前記実スケール位置姿勢情報である第１実スケール位置姿勢情報および前記対象時刻の前記撮影部の前記実スケール位置姿勢情報である第２実スケール位置姿勢情報と、から、
前記第１撮影画像と前記第２撮影画像との間で対応する座標点の対に基づき、前記不定スケール奥行情報に乗算する変数であるスケール変換変数を変化させて前記座標点の対の幾何的整合性が最大となる前記スケール変換変数を前記スケール変換値として算出する、
請求項１５に記載の実スケール奥行算出方法。
【請求項17】
前記スケール変換値算出ステップは、前記第１撮影画像上の座標点である第１座標点を、前記第１不定スケール奥行情報、前記第１実スケール位置姿勢情報、前記第２実スケール位置姿勢情報、および前記スケール変換変数を用いて前記第２撮影画像上に投影した、前記第１座標点に対応する座標点である第２座標点と、前記第１座標点と、の一致度が最大となる前記スケール変換変数を前記スケール変換値として算出する、
請求項１６に記載の実スケール奥行算出方法。
【請求項18】
前記スケール変換値算出ステップは、前記第１不定スケール奥行情報、前記第１実スケール位置姿勢情報、前記第２実スケール位置姿勢情報、および前記スケール変換変数を用いて、前記第１撮影画像を前記対象時刻の前記第２実スケール位置姿勢情報によって表される実スケール位置姿勢の前記撮影部で撮影されたワーピング画像に変換し、
前記ワーピング画像に含まれる座標点と前記第２撮影画像に含まれる該座標点と同じ座標の座標点との一致度が最大となる前記スケール変換変数を前記スケール変換値として算出する、
請求項１６に記載の実スケール奥行算出方法。
【請求項19】
前記スケール変換値算出ステップは前記第１撮影画像と前記第２撮影画像との間で同じ対象物上の対応する座標点の対である対応点、前記第１実スケール位置姿勢情報、および前記第２実スケール位置姿勢情報から、三角測量により前記対応点によって示される前記対象物上の実スケール点の実スケール三次元位置座標を導出し、
前記第１不定スケール奥行情報から導出される前記対応点の不定スケール三次元位置座標に前記スケール変換変数を乗算した不定スケール乗算三次元位置座標と、前記実スケール三次元位置座標と、の一致度が最大となる前記スケール変換変数を前記スケール変換値として算出する、
請求項１６に記載の実スケール奥行算出方法。
【請求項20】
前記一致度は、輝度差、特徴量記述子から得られる特徴ベクトルの差、または距離、が小さいほど大きい値である、
請求項１７または請求項１８に記載の実スケール奥行算出方法。
【請求項21】
前記一致度は、三次元座標間の距離の差または奥行の差が小さいほど大きい値である、請求項１９に記載の実スケール奥行算出方法。
【請求項22】
前記スケール変換変数は、所定範囲内で任意の値をとる変数、
前記一致度を目的関数とした最小化問題の解、
または、
前記撮影部の不定スケール設置高さに対する、変数である前記撮影部の実スケール設置高さの比率、によって表される、
請求項１７～請求項２１の何れか１項に記載の実スケール奥行算出方法。
【請求項23】
前記スケール変換値算出ステップは、前記撮影画像に含まれる移動体領域以外の領域内の前記座標点を用いる、
請求項１６～請求項２２の何れか１項に記載の実スケール奥行算出方法。
【請求項24】
前記スケール変換値算出ステップは、前記撮影画像取得ステップで取得された複数の前記撮影画像の内、撮影時刻間の前記撮影部の移動量が閾値以上の２つの前記撮影画像を、前記第１撮影画像および前記第２撮影画像として用いる、
請求項１６～請求項２３の何れか１項に記載の実スケール奥行算出方法。
【請求項25】
移動体に搭載された撮影部から撮影時刻の異なる複数の撮影画像を取得する撮影画像取得ステップと、前記撮影画像から不定スケール奥行情報を導出する不定スケール奥行導出部と、
複数の前記撮影画像の各々の撮影時の前記撮影部の実スケール位置姿勢情報を取得する位置姿勢取得ステップと、
複数の前記撮影画像、前記不定スケール奥行情報、および前記実スケール位置姿勢情報から、幾何的整合性に基づいて実スケール奥行情報を導出する実スケール奥行導出ステップと、
をコンピュータに実行させるための実スケール奥行算出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、実スケール奥行算出装置、実スケール奥行算出方法、および実スケール奥行算出プログラムに関する。
【背景技術】
【0002】
自動車の安全且つ快適な自動運転および走行支援、並びにドローンやロボットなどの自立移動の実現には、物体までの距離を表す奥行情報として、実空間すなわち実寸大の三次元空間上のスケールである実スケール奥行情報を用いる必要がある。実スケール奥行情報を用いることで、障害物を避けた走行経路の生成などを行うことが可能となる。
【0003】
物体までの実スケール奥行情報を算出する方法として、車両に搭載されたカメラで撮影された撮影画像を用いる方法が開示されている（例えば、非特許文献１および特許文献１等参照）。非特許文献１では、撮影画像から得られる相対的なスケールの奥行である不定スケール奥行情報から算出した路面領域の三次元平面を用いて、不定スケールのカメラ設置高さを導出する。そして、非特許文献１には、導出した不定スケールのカメラ設置高さと予め実測されたカメラ設置高さとの比を不定スケール奥行情報に乗算することで、実スケール奥行情報を算出する方法が開示されている。特許文献１には、Ｖｉｓｕａｌ ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）とＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）とを組合せることで、カメラ間の不定スケールの位置姿勢を実スケールに変換することが開示されている。そして、特許文献１では、該変換に用いた値と、位置姿勢と同じスケールのカメラ間の不定スケールの奥行情報とを用いて、実スケール奥行情報を取得する方法が開示されている。
【0004】
しかし、非特許文献１の技術では、カメラの設置高さの実測値が不明な環境、または飛翔体などに搭載されることでカメラの設置高さの実測値が変動する環境では、実スケール奥行情報を導出することは困難であった。また、特許文献１の技術では、カメラ間の不定スケールの位置姿勢と、カメラ間の不定スケールの奥行情報とは、同じスケールである必要がある。このため、位置姿勢と奥行情報とを異なる手法で取得する場合、実スケール奥行情報を導出することは困難であった。すなわち、従来技術では、撮影画像から実スケール奥行情報を導出することが困難となる場合があった。
【先行技術文献】
【特許文献】
【0005】
【文献】国際公開第２０１９／１６７５１７号明細書
【非特許文献】
【0006】
【文献】山口晃一郎ら、「車載単眼カメラによる車両前方の障害物検出」、情報処理学会、研究報告コンピュータビジョンとイメージメディア（ＣＶＩＭ）、６９頁－７６頁、２００５．
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明が解決しようとする課題は、撮影画像から実スケール奥行情報を導出することができる、実スケール奥行算出装置、実スケール奥行算出方法、および実スケール奥行算出プログラムを提供することである。
【課題を解決するための手段】
【0008】
実施形態の実スケール奥行算出装置は、撮影画像取得部と、不定スケール奥行導出部と、位置姿勢取得部と、実スケール奥行導出部と、を備える。撮影画像取得部は、移動体に搭載された撮影部から撮影時刻の異なる複数の撮影画像を取得する。不定スケール奥行導出部は、前記撮影画像から不定スケール奥行情報を導出する。位置姿勢取得部は、複数の前記撮影画像の各々の撮影時の前記撮影部の実スケール位置姿勢情報を取得する。実スケール奥行導出部は、複数の前記撮影画像、前記不定スケール奥行情報、および前記実スケール位置姿勢情報から、幾何的整合性に基づいて実スケール奥行情報を導出する。
【図面の簡単な説明】
【0009】
【図1】実スケール奥行算出装置を搭載した車両の模式図。
【図2】実スケール奥行導出部の機能的構成の説明図。
【図3】第２撮影画像への投影点を用いた探索方法の説明図。
【図4】ワーピング画像を用いた探索方法の説明図。
【図5】不定スケール設置高さに対する実スケール設置高さの比率の説明図。
【図6】撮影画像間の三次元位置座標を用いた探索方法の説明図。
【図7】情報処理の流れのフローチャート。
【図8】投影点を用いた探索方法によるスケール変化値算出処理の流れのフローチャート。
【図9】ワーピング画像を用いた探索方法によるスケール変化値算出処理の流れのフローチャート。
【図10】不定スケール設置高さに対する実スケール設置高さの比率を用いる場合の処理の流れのフローチャート。
【図11】撮影画像間の三次元位置座標を用いた探索方法によるスケール変化値算出処理の流れのフローチャート。
【図12】ハードウェア構成図。
【発明を実施するための形態】
【0010】
以下に添付図面を参照して、実スケール奥行算出装置、実スケール奥行算出方法、および実スケール奥行算出プログラムを詳細に説明する。
【0011】
図１は、本実施形態の実スケール奥行算出装置１０を搭載した車両１の一例の模式図である。
【0012】
車両１は、移動体の一例である。移動体とは、移動可能な対象である。移動体は、例えば、車両１、歩行者、ロボット、飛翔体、船舶、などである。ロボットまたは飛翔体には、遠隔操縦によって飛行または自律飛行するドローンが含まれる。車両１は、例えば、自動二輪車、自動四輪車、自転車などである。本実施形態では、移動体が車両１である形態を一例として説明する。また、本実施形態では、車両１が自動四輪車である場合を一例として説明する。車両１は、例えば、人による運転操作を介して走行する移動体、および人による運転操作を介さずに自律走行可能な移動体の何れであってもよい。
【0013】
車両１は、実スケール奥行算出装置１０と、出力部２０と、外界センサ２２と、内界センサ２４と、を備える。実スケール奥行算出装置１０、出力部２０、外界センサ２２、および内界センサ２４は、バス２６などを介して通信可能に接続されている。
【0014】
出力部２０は、各種の情報を出力する。出力部２０は、通信部、表示部、およびスピーカなどを含む。通信部は、情報を他の情報処理装置などとの間で送受信する。表示部は、各種の情報を表示するディスプレイ、投影装置などである。スピーカは、音を出力する。
【0015】
外界センサ２２および内界センサ２４は、車両１の環境を観測するセンサである。
【0016】
外界センサ２２は、車両１の外界の環境を観測する。外界センサ２２は、例えば、撮影部２２Ａと、位置センサ２２Ｂと、を含む。
【0017】
撮影部２２Ａは、撮影によって撮影画像データを得る。以下では、撮影画像データを、撮影画像と称して説明する。撮影部２２Ａは、例えば、単眼カメラである。撮影画像は、白黒画像およびカラー画像の何れであってもよい。
【0018】
本実施形態では、撮影部２２Ａは、少なくとも車両１の走行方向の前方の領域を撮影可能となるように、設置位置、撮影方向、および撮影画角が予め調整されている。なお、撮影部２２Ａの設置位置は限定されない。撮影部２２Ａは、撮影によって時系列に沿って連続する複数の撮影画像を得る。
【0019】
車両１には、複数の撮影部２２Ａが設けられた形態であってもよい。本実施形態では、１台の撮影部２２Ａが車両１に搭載された形態を一例として説明する。
【0020】
位置センサ２２Ｂは、車両１の位置を検出する。位置センサ２２Ｂは、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などである。
【0021】
内界センサ２４は、車両１の内界の環境を観測する。内界センサ２４は、車両１の角速度、加速度、速度、姿勢、走行方向、などを観測する。内界センサ２４は、例えば、慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）、加速度センサ、速度センサ、ホイールエンコーダ、ロータリエンコーダ、などである。ＩＭＵは、移動体の三軸加速度および三軸角速度を観測する。
【0022】
実スケール奥行算出装置１０は、撮影画像から実スケール奥行情報を算出する装置である。実スケール奥行算出装置１０は、撮影画像から導出した不定スケール奥行情報などを用いて、実スケール奥行情報を算出する。
【0023】
奥行情報とは、三次元空間の奥行の情報であり、撮影部２２Ａから対象物までの距離を表す情報である。対象物は、被写体の一例である。
【0024】
実スケールとは、実空間すなわち実寸大の三次元空間上のスケールを意味する。実スケール奥行情報は、実スケールの奥行を表す情報である。詳細には、実スケール奥行情報は、実寸大の三次元空間における撮影部２２Ａから対象物までの距離を表す情報である。具体的には、実スケール奥行情報は、メートルなどの実世界の単位で得られる、撮影部２２Ａから対象物までの距離を表す情報である。
【0025】
不定スケールとは、相対的なスケールを意味する。不定スケール奥行情報は、不定スケールの奥行を表す情報である。詳細には、不定スケール奥行情報は、撮影部２２Ａから対象物までの相対距離を表す情報である。具体的には、不定スケール奥行情報は、撮影部２２Ａから対象物までの、基準とする距離に対する相対的な比率で表される。
【0026】
実スケール奥行算出装置１０は、記憶部１２と、処理部１４と、を備える。記憶部１２、処理部１４、出力部２０、外界センサ２２、および内界センサ２４は、バス２６などを介して通信可能に接続されている。
【0027】
記憶部１２、出力部２０、外界センサ２２、および内界センサ２４は、有線または無線で処理部１４に通信可能に接続された構成であればよい。記憶部１２、出力部２０、外界センサ２２、および内界センサ２４の少なくとも一つと、処理部１４とを、ネットワークを介して接続してもよい。
【0028】
記憶部１２は、各種のデータを記憶する。記憶部１２は、実スケール奥行算出装置１０の外部に設けられた記憶装置であってもよい。また、記憶部１２および処理部１４に含まれる１または複数の機能部の少なくとも１つを、ネットワークなどを介して実スケール奥行算出装置１０に通信可能に接続された外部の情報処理装置に搭載した構成としてもよい。すなわち、記憶部１２および処理部１４に含まれる１または複数の機能部の少なくとも１つを、車両１に対して通信可能に接続された車両１の外部の情報処理装置などに搭載した形態であってもよい。
【0029】
処理部１４は、実スケール奥行算出装置１０において情報処理を実行する。処理部１４は、撮影画像取得部１４Ａと、不定スケール奥行導出部１４Ｂと、位置姿勢取得部１４Ｃと、実スケール奥行導出部１４Ｄと、を含む。実スケール奥行導出部１４Ｄは、スケール変換値算出部１４Ｅと、スケール変換部１４Ｆと、を含む。
【0030】
撮影画像取得部１４Ａ、不定スケール奥行導出部１４Ｂ、位置姿勢取得部１４Ｃ、実スケール奥行導出部１４Ｄ、スケール変換値算出部１４Ｅ、およびスケール変換部１４Ｆは、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣなどのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。
【0031】
撮影画像取得部１４Ａは、車両１に搭載された撮影部２２Ａから撮影時刻の異なる複数の撮影画像を取得する。なお、撮影部２２Ａは、時系列に沿って順次撮影した撮影画像を記憶部１２に記憶してもよい。この場合、撮影画像取得部１４Ａは、記憶部１２から撮影画像を取得すればよい。
【0032】
不定スケール奥行導出部１４Ｂは、撮影画像から不定スケール奥行情報を導出する。詳細には、不定スケール奥行導出部１４Ｂは、撮影画像に含まれる画素領域ごとに、不定スケール奥行情報を導出する。画素領域は、１画素の領域、隣接する複数画素から成る領域、の何れであってもよい。本実施形態では、画素領域が１画素の領域である形態を一例として説明する。このため、以下では、画素領域を、単に画素と称して説明する場合がある。
【0033】
不定スケール奥行導出部１４Ｂは、公知の方法で撮影画像から不定スケール奥行情報を導出する。不定スケール奥行導出部１４Ｂは、時系列に沿って順次撮影される複数の撮影画像の各々から不定スケール奥行情報を導出する。このため、不定スケール奥行導出部１４Ｂは、撮影画像の撮影時刻の各々に対応する不定スケール奥行情報を導出する。
【0034】
例えば、不定スケール奥行導出部１４Ｂは、ニューラルネットワークまたはＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）を用いた幾何的手法によって、撮影画像から不定スケール奥行情報を導出する。
【0035】
詳細には、例えば、不定スケール奥行導出部１４Ｂは、撮影画像をニューラルネットワークに入力し、該ニューラルネットワークからの出力として画素ごとの不定スケール奥行情報を導出する。また、例えば、不定スケール奥行導出部１４Ｂは、複数の撮影画像間の対応する画素を用いた対応画素ベースのＶｉｓｕａｌ ＳＬＡＭにより不定スケール奥行情報を導出する。また、例えば、不定スケール奥行導出部１４Ｂは、Ｖｉｓｕａｌ ＳＬＡＭにより複数の撮影画像間の対応する画素の画素値を直接用いた直接法ベースのＶｉｓｕａｌ ＳＬＡＭにより不定スケール奥行情報を導出する。
【0036】
位置姿勢取得部１４Ｃは、複数の撮影画像の各々の撮影時の撮影部２２Ａの実スケール位置姿勢情報を取得する。車両１の走行状況に伴い、車両１に搭載された撮影部２２Ａの位置姿勢は時系列に沿って変化する。位置姿勢取得部１４Ｃは、車両１の走行状況に伴って時系列に沿って変化する実スケール位置姿勢情報を順次取得する。
【0037】
実スケール位置姿勢情報とは、実空間すなわち実寸大の三次元空間における撮影部２２Ａの位置および姿勢を表す情報である。実空間の三次元空間における撮影部２２Ａの位置は、例えば、実空間の三次元空間における位置座標によって表される。実空間の三次元空間における撮影部２２Ａの姿勢は、例えば、撮影部２２Ａに設けられたレンズの光軸の姿勢を表す。
【0038】
位置姿勢取得部１４Ｃは、公知の方法で、実スケール位置姿勢情報を取得すればよい。例えば、位置姿勢取得部１４Ｃは、外界センサ２２および内界センサ２４の少なくとも一方から、実スケール位置姿勢情報を取得する。すなわち、位置姿勢取得部１４Ｃは、外界センサ２２および内界センサ２４によって時系列に沿って順次観測される観測結果であるセンサ情報を用いて実スケール位置姿勢情報を取得する。このため、位置姿勢取得部１４Ｃは、撮影時刻の各々に対応する実スケール位置姿勢情報を取得する。
【0039】
詳細には、例えば、位置姿勢取得部１４Ｃは、ＧＮＳＳまたはＩＭＵから得られるセンサ情報から、ＧＮＳＳまたはＩＭＵの座標系におけるＧＮＳＳまたはＩＭＵの実スケールの位置姿勢情報を算出する。そして、位置姿勢取得部１４Ｃは、撮影部２２Ａの設置位置とＧＮＳＳまたはＩＭＵの設置位置とから得られる座標系の変換行列など用いて、ＧＮＳＳまたはＩＭＵの実スケールの位置姿勢情報から撮影部２２Ａの実スケール位置姿勢情報を算出する。
【0040】
また、例えば、位置姿勢取得部１４Ｃは、ホイールエンコーダを介して撮影部２２Ａの実スケール位置姿勢情報を取得してもよい。また、位置姿勢取得部１４Ｃは、撮影画像をニューラルネットワークに入力し、該ニューラルネットワークからの出力として撮影部２２Ａの不定スケール位置姿勢情報を取得してもよい。そして、位置姿勢取得部１４Ｃは、取得した不定スケール位置姿勢情報を、ＧＮＳＳおよびホイールエンコーダのセンサ情報を用いて、実スケール位置姿勢情報に変換してもよい。
【0041】
また、例えば、位置姿勢取得部１４Ｃは、上述した対応画素ベースのＶｉｓｕａｌ ＳＬＡＭまたは直接法ベースのＶｉｓｕａｌ ＳＬＡＭにより撮影部２２Ａの不定スケール位置姿勢情報を導出する。そして、位置姿勢取得部１４Ｃは、導出した不定スケール位置姿勢情報を、ＧＮＳＳおよびホイールエンコーダのセンサ情報を用いて、実スケール位置姿勢情報に変換してもよい。また、位置姿勢取得部１４Ｃは、撮影画像内に映り込むサイズが既知であるマーカ等を用いて、撮影部２２Ａの実スケール位置姿勢情報を導出してもよい。
【0042】
実スケール奥行導出部１４Ｄは、複数の撮影画像、不定スケール奥行情報、および実スケール位置姿勢情報から、幾何的整合性に基づいて、撮影画像の実スケール奥行情報を導出する。幾何的整合性とは、実スケールの三次元空間の座標系と、不定スケールの三次元空間の座標系と、の三次元的な整合性を意味する。
【0043】
図２は、実スケール奥行導出部１４Ｄの機能的構成の一例の説明図である。実スケール奥行導出部１４Ｄは、スケール変換値算出部１４Ｅと、スケール変換部１４Ｆと、を有する。
【0044】
スケール変換値算出部１４Ｅは、複数の撮影時刻ごとの撮影画像３０、複数の撮影時刻ごとの不定スケール奥行情報Ｄ、および複数の撮影時刻ごとの実スケール位置姿勢情報Ｖを、撮影画像取得部１４Ａ、不定スケール奥行導出部１４Ｂ、および位置姿勢取得部１４Ｃから受付ける。
【0045】
スケール変換値算出部１４Ｅは、複数の撮影画像３０、不定スケール奥行情報Ｄ、および実スケール位置姿勢情報Ｖを用いて、幾何的整合性が最大となるスケール変換値Ｓを算出する。スケール変換値Ｓは、不定スケール奥行情報Ｄを実スケール奥行情報Ｄｒに変換するために用いる変換値である。
【0046】
スケール変換部１４Ｆは、不定スケール奥行情報Ｄにスケール変換値算出部１４Ｅで算出されたスケール変換値Ｓを乗算した乗算結果を、実スケール奥行情報Ｄｒとして算出する。すなわち、スケール変換部１４Ｆは、以下式（１）を用いて実スケール奥行情報Ｄｒを算出する。
【0047】
Ｄｒ＝Ｄ×Ｓ ・・・・式（１）
【0048】
式（１）中、Ｄｒは、実スケール奥行情報Ｄｒを表す。Ｄは、不定スケール奥行情報Ｄを表す。Ｓは、スケール変換値Ｓを表す。
【0049】
スケール変換値算出部１４Ｅおよびスケール変換部１４Ｆによるこれらの処理によって、実スケール奥行導出部１４Ｄは撮影画像３０から実スケール奥行情報Ｄｒを導出する。
【0050】
スケール変換値算出部１４Ｅによる、幾何的整合性が最大となるスケール変換値Ｓの算出処理について詳細に説明する。
【0051】
スケール変換値算出部１４Ｅは、撮影画像取得部１４Ａから受付けた複数の撮影画像３０の内、基準時刻Ｔ１に撮影された第１撮影画像３０Ａと、対象時刻Ｔ２に撮影された第２撮影画像３０Ｂと、を取得する。
【0052】
基準時刻Ｔ１は、撮影画像３０に含まれる複数の撮影画像３０の各々の撮影時刻の内、任意の１つの撮影時刻であればよい。対象時刻Ｔ２は、基準時刻Ｔ１より時系列方向の下流側の他の撮影時刻であればよい。
【0053】
なお、スケール変換値算出部１４Ｅは、撮影画像取得部１４Ａで取得された複数の撮影画像３０の内、撮影時刻間の撮影部２２Ａの移動量が閾値以上の２つの撮影画像３０を、第１撮影画像３０Ａおよび第２撮影画像３０Ｂとして用いる事が好ましい。
【0054】
すなわち、スケール変換値算出部１４Ｅは、撮影時刻間の撮影部２２Ａの移動量が閾値以上の２つの撮影時刻を、基準時刻Ｔ１および対象時刻Ｔ２として用いることが好ましい。スケール変換値算出部１４Ｅは、撮影時刻の各々の実スケール位置姿勢情報Ｖから、２つの撮影時刻間の撮影部２２Ａの移動量を算出し、移動量が閾値以上の２つの撮影時刻を基準時刻Ｔ１および対象時刻Ｔ２として用いればよい。移動量の閾値には、幾何的整合性をとることの可能な値を予め定めればよい。また、移動量の閾値は、ユーザによる操作指示などに応じて変更可能としてもよい。
【0055】
スケール変換値算出部１４Ｅは、更に、基準時刻Ｔ１の第１撮影画像３０Ａから導出された不定スケール奥行情報Ｄである第１不定スケール奥行情報Ｄ１を取得する。
【0056】
また、スケール変換値算出部１４Ｅは、基準時刻Ｔ１の撮影部２２Ａの実スケール位置姿勢情報Ｖである第１実スケール位置姿勢情報Ｖ１と、対象時刻Ｔ２の撮影部２２Ａの実スケール位置姿勢情報Ｖである第２実スケール位置姿勢情報Ｖ２と、を取得する。
【0057】
そして、スケール変換値算出部１４Ｅは、第１撮影画像３０Ａ、第２撮影画像３０Ｂ、第１不定スケール奥行情報Ｄ１、第１実スケール位置姿勢情報Ｖ１、および第２実スケール位置姿勢情報Ｖ２から、第１撮影画像３０Ａと第２撮影画像３０Ｂとの間で対応する座標点の対を１組以上特定する。対応する座標点の対には、例えば、第１撮影画像３０Ａと第２撮影画像３０Ｂとの間における、画素値の差が閾値未満の画素の対を用いればよい。そして、スケール変換値算出部１４Ｅは、スケール変換変数Ｓ’を変化させて座標点の対の幾何的整合性が最大となるスケール変換変数Ｓ’を、スケール変換値Ｓとして算出する。すなわち、スケール変換値算出部１４Ｅは、幾何的整合性が最大となるスケール変換変数Ｓ’を探索することで、スケール変換値Ｓを算出する。
【0058】
スケール変換変数Ｓ’は、スケール変換値Ｓの変数である。言い換えると、スケール変換変数Ｓ’は、実数空間の中で任意の値をとる変数である。スケール変換変数Ｓ’には、上限および下限の少なくとも一方を設定することで規定される所定範囲内の変数を用いてよい。
【0059】
なお、スケール変換値算出部１４Ｅがスケール変換値Ｓの特定に用いる座標点の対は、１組以上であればよく、１組に限定されない。
【0060】
また、スケール変換値算出部１４Ｅは、撮影画像３０に含まれる移動体の像を表す移動体領域以外の領域内の座標点を、スケール変換変数Ｓ’の探索時に用いる座標点として用いる事が好ましい。撮影画像３０に含まれる移動体領域以外の領域内に座標点を設定することで、移動体領域に座標点を設定した場合に比べて幾何的整合性がとりやすく、スケール変換値Ｓの算出精度の向上を図ることができる。撮影画像３０に含まれる移動体領域の特定には、公知の方法を用いればよい。例えば、公知の物体検出器により撮影画像３０に含まれる移動体領域を検出すればよい。
【0061】
幾何的整合性が最大となるスケール変換変数Ｓ’の探索方法は限定されない。
【0062】
例えば、スケール変換値算出部１４Ｅは、第２撮影画像３０Ｂへの投影点を用いた探索方法、ワーピング画像を用いた探索方法、撮影画像３０間の三次元位置座標を用いた探索方法、などの探索方法を用いる。
【0063】
各探索方法について詳細に説明する。
【0064】
まず、第２撮影画像３０Ｂへの投影点を用いた探索方法について説明する。
【0065】
図３は、第２撮影画像３０Ｂへの投影点を用いた探索方法の一例の説明図である。
【0066】
スケール変換値算出部１４Ｅは、基準時刻Ｔ１の第１撮影画像３０Ａ、対象時刻Ｔ２の第２撮影画像３０Ｂ、基準時刻Ｔ１の第１不定スケール奥行情報Ｄ１、基準時刻Ｔ１の第１実スケール位置姿勢情報Ｖ１、および対象時刻Ｔ２の第２実スケール位置姿勢情報Ｖ２を取得する。
【0067】
上述したように、不定スケール奥行導出部１４Ｂは、撮影画像３０に含まれる画素ごとに、不定スケール奥行情報Ｄを導出する。このため、スケール変換値算出部１４Ｅは、基準時刻Ｔ１の第１撮影画像３０Ａに含まれる画素ごとの第１不定スケール奥行情報Ｄ１を規定した不定スケール奥行画像３２を取得することとなる。
【0068】
スケール変換値算出部１４Ｅは、取得したこれらの情報およびスケール変換変数Ｓ’を用いて、スケール変換変数Ｓ’を変化させながら、第１撮影画像３０Ａ上の座標点Ｐである第１座標点Ｐ１を第２撮影画像３０Ｂ上に投影した投影点である第２座標点Ｐ２を算出する。
【0069】
詳細には、スケール変換値算出部１４Ｅは、式（２）を用いて第１座標点Ｐ１を第２撮影画像３０Ｂに投影した第２座標点Ｐ２を算出する。
【0070】
Ｐ２＝ＫＴ１→２Ｓ’Ｄ１（Ｐ１）Ｋ－１Ｐ１ ・・・・式（２）
【0071】
式（２）中、Ｐ１は、第１撮影画像３０Ａの画素である第１座標点Ｐ１の座標（同次座標）を表す。Ｐ２は、第１座標点Ｐ１を第２撮影画像３０Ｂ上に投影した投影点である第２座標点Ｐ２の座標（同次座標）を表す。Ｄ１は、第１不定スケール奥行情報Ｄ１を表す。Ｄ１（Ｐ１）は、第１座標点Ｐ１の第１不定スケール奥行情報Ｄ１を表す。Ｔ１→２は、第１実スケール位置姿勢情報Ｖ１から第２実スケール位置姿勢情報Ｖ２への実スケールの位置姿勢の変換行列を表す。Ｋは、撮影部２２Ａの内部パラメータである。
【0072】
式（２）によって表されるように、スケール変換値算出部１４Ｅは、第１座標点Ｐ１の座標にＫ－１を乗算することで、第１座標点Ｐ１の座標を基準時刻Ｔ１の正規化座標系の座標に変換する。そして、スケール変換値算出部１４Ｅは、更に、Ｓ’Ｄ１（Ｐ１）を乗算することで、基準時刻Ｔ１のカメラ座標系の座標に変換する。スケール変換値算出部１４Ｅは、更にＴ１→２を乗算することで、対象時刻Ｔ２のカメラ座標系の座標に変換する。スケール変換値算出部１４Ｅは、更にＫを乗算することで、第１座標点Ｐ１を対象時刻Ｔ２の第２撮影画像３０Ｂに投影した投影点である第２座標点Ｐ２の座標を算出する。
【0073】
第１実スケール位置姿勢情報Ｖ１、第２実スケール位置姿勢情報Ｖ２、および第１不定スケール奥行情報Ｄ１がスケールも含めて正しい値である場合を想定する。この場合、第１座標点Ｐ１と、該第１座標点Ｐ１を第２撮影画像３０Ｂに投影した投影点である第２座標点Ｐ２と、の座標は同じ値となるはずである。
【0074】
そこで、スケール変換値算出部１４Ｅは、スケール変換変数Ｓ’を変化させながら第１撮影画像３０Ａ上の第１座標点Ｐ１を第２撮影画像３０Ｂ上に投影する。そして、スケール変換値算出部１４Ｅは、第１座標点Ｐ１と投影した投影点である第２座標点Ｐ２との一致度が最も高くなるときのスケール変換変数Ｓ’をスケール変換値Ｓとして算出する。
【0075】
詳細には、スケール変換値算出部１４Ｅは、スケール変換変数Ｓ’を所定範囲内で順次変更し、スケール変換変数Ｓ’を変更するごとに、上記式（２）を用いて第２座標点Ｐ２の座標を算出する。
【0076】
このため、例えば、図３に示すように、第１撮影画像３０Ａ上の第１座標点Ｐ１の一例である第１座標点Ｐ１ａに対応する投影点として、第２撮影画像３０Ｂ上には、互いに異なる複数のスケール変換変数Ｓ’の各々を用いて算出された複数の第２座標点Ｐ２ａ１～第２座標点Ｐ２ａｎが投影される。なお、ｎは１以上の整数であり、第１座標点Ｐ１ａに対して互いに異なるスケール変換変数Ｓ’を用いて算出された複数の投影点の数に相当する。また、例えば、第１撮影画像３０Ａ上の第１座標点Ｐ１の一例である第１座標点Ｐ１ｂに対応する投影点として、第２撮影画像３０Ｂ上には、互いに異なる複数のスケール変換変数Ｓ’の各々を用いて算出された複数の第２座標点Ｐ２ｂ１～第２座標点Ｐ２ｂｍが投影される。なお、ｍは１以上の整数であり、第１座標点Ｐ１ｂに対して互いに異なるスケール変換変数Ｓ’を用いて算出された複数の投影点の数に相当する。
【0077】
そして、スケール変換値算出部１４Ｅは、第１座標点Ｐ１と、第１座標点Ｐ１に対してスケール変換変数Ｓ’を順次変更して第２撮影画像３０Ｂ上に投影することで得られた複数の第２座標点Ｐ２の各々と、の一致度を算出する。
【0078】
第１座標点Ｐ１と第２座標点Ｐ２との一致度には、輝度差、特徴量記述子から得られる特徴ベクトルの差、または距離を用いればよい。このため、第１座標点Ｐ１と第２座標点Ｐ２との一致度は、輝度差、特徴量記述子から得られる特徴ベクトルの差、または距離、が小さいほど大きい値を示す。
【0079】
具体的には、例えば、スケール変換値算出部１４Ｅは、第１座標点Ｐ１と第２座標点Ｐ２との輝度差の絶対値の値が小さいほど、大きい値を表す一致度を算出する。また、例えば、スケール変換値算出部１４Ｅは、第１座標点Ｐ１および第２座標点Ｐ２の各々について、ＳＩＦＴ（Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）などのアルゴリズムの特徴量記述子から得られる特徴ベクトルの差が小さいほど、大きい値を表す一致度を算出する。また、例えば、スケール変換値算出部１４Ｅは、第１座標点Ｐ１と第２座標点Ｐ２との距離が小さいほど、大きい値を表す一致度を算出する。
【0080】
そして、スケール変換値算出部１４Ｅは、一致度が最大となる第１座標点Ｐ１の投影点である第２座標点Ｐ２の算出に用いたスケール変換変数Ｓ’を、スケール変換値Ｓとして算出する。
【0081】
このように、スケール変換値算出部１４Ｅは、第２撮影画像３０Ｂへの投影点を用いた探索方法により、スケール変換値Ｓを算出してよい。
【0082】
次に、ワーピング画像を用いた探索方法について説明する。
【0083】
図４は、ワーピング画像３６を用いた探索方法の一例の説明図である。
【0084】
スケール変換値算出部１４Ｅは、基準時刻Ｔ１の第１撮影画像３０Ａ、対象時刻Ｔ２の第２撮影画像３０Ｂ、基準時刻Ｔ１の第１不定スケール奥行情報Ｄ１、基準時刻Ｔ１の第１実スケール位置姿勢情報Ｖ１、および対象時刻Ｔ２の第２実スケール位置姿勢情報Ｖ２を取得する。上記と同様に、スケール変換値算出部１４Ｅは、基準時刻Ｔ１の第１撮影画像３０Ａに含まれる画素ごとの第１不定スケール奥行情報Ｄ１を規定した、不定スケール奥行画像３２を取得する。
【0085】
スケール変換値算出部１４Ｅは、取得したこれらの情報およびスケール変換変数Ｓ’を用いて、基準時刻Ｔ１に撮影された第１撮影画像３０Ａを、対象時刻Ｔ２の第２実スケール位置姿勢情報Ｖ２によって表される実スケール位置姿勢の撮影部２２Ａで撮影されたワーピング画像３６に変換する。
【0086】
詳細には、スケール変換値算出部１４Ｅは、第１撮影画像３０Ａに含まれる複数の画素の各々の座標点ごとに、上記式（２）を用いて対象時刻Ｔ２の座標点を算出する。この算出処理であるワーピング処理によって、第１撮影画像３０Ａに含まれる複数の画素の各々に対応する対象時刻Ｔ２の複数の座標点からなるワーピング画像３６が生成される。すなわち、スケール変換値算出部１４Ｅは、第１撮影画像３０Ａをワーピング処理することで、対象時刻Ｔ２の時点の実スケール位置姿勢の撮影部２２Ａで撮影されたワーピング画像３６を生成する。
【0087】
第１実スケール位置姿勢情報Ｖ１、第２実スケール位置姿勢情報Ｖ２、および第１不定スケール奥行情報Ｄ１がスケールも含めて正しい値である場合、第２撮影画像３０Ｂとワーピング画像３６とは同一の画像となるはずである。すなわち、ワーピング画像３６と第２撮影画像３０Ｂとの一致度が最も高いとき、幾何的整合性が最も高く、正しいスケール変換が行えているといえる。
【0088】
そこで、スケール変換値算出部１４Ｅは、スケール変換変数Ｓ’を変化させながらワーピング画像３６を生成する。詳細には、スケール変換値算出部１４Ｅは、所定範囲内でスケール変換変数Ｓ’を変化させながらワーピング処理を繰返し実行することで、互いに異なるスケール変換変数Ｓ’の各々に対応する複数のワーピング画像３６を算出する。
【0089】
そして、スケール変換値算出部１４Ｅは、ワーピング画像３６に含まれる座標点と、第２撮影画像３０Ｂに含まれる該座標点と同じ座標の座標点と、の一致度が最大となるスケール変換変数Ｓ’を、スケール変換値Ｓとして算出する。
【0090】
例えば、図４に示すように、第１撮影画像３０Ａ上の第１座標点Ｐ１が、ワーピング処理によってワーピング画像３６上の座標点Ｐ３の座標に位置された場面を想定する。この場合、スケール変換値算出部１４Ｅは、ワーピング画像３６における座標点Ｐ３の座標の画素と、第２撮影画像３０Ｂにおける該座標点Ｐ３と同じ座標の第２座標点Ｐ２の画素と、の一致度を算出する。同様にして、スケール変換値算出部１４Ｅは、ワーピング画像３６に含まれる複数の画素の各々について、第２撮影画像３０Ｂに含まれる同じ座標の画素との一致度を算出する。
【0091】
ワーピング画像３６に含まれる１または複数の画素、すなわち座標点の各々と、第２撮影画像３０Ｂに含まれる該座標点と同じ座標の座標点と、の一致度には、輝度差、特徴量記述子から得られる特徴ベクトルの差、または距離を用いればよい。すなわち、ワーピング画像３６に含まれる座標点と、第２撮影画像３０Ｂに含まれる該座標点と同じ座標の座標点と、の一致度は、輝度差、特徴量記述子から得られる特徴ベクトルの差、または距離、が小さいほど大きい値を示す。
【0092】
なお、スケール変換値算出部１４Ｅは、ワーピング画像３６に含まれる全ての画素の各々の座標点と、第２撮影画像３０Ｂに含まれる該座標点と同じ座標の画素である座標点と、の一致度の平均値を、ワーピング画像３６と第２撮影画像３０Ｂとの一致度として算出してよい。
【0093】
そして、スケール変換値算出部１４Ｅは、一致度が最大となるワーピング画像３６の算出に用いたスケール変換変数Ｓ’を、スケール変換値Ｓとして算出する。
【0094】
このように、スケール変換値算出部１４Ｅは、ワーピング画像３６を用いた探索方法により、スケール変換値Ｓを算出してよい。
【0095】
なお、幾何的整合性が最大となるスケール変換変数Ｓ’の探索は、上述した所定範囲内の探索に限定されない。すなわち、スケール変換変数Ｓ’は、任意の値をとる変数であればよく、実数空間の中で所定範囲内の任意の値をとる変数に限定されない。例えば、スケール変換変数Ｓ’は、上記一致度を目的関数とした最小化問題の解であってよい。この場合、スケール変換値算出部１４Ｅは、一致度を目的関数とした最小化問題の解を求めることで、スケール変換変数Ｓ’の探索を行えばよい。
【0096】
また、スケール変換変数Ｓ’は、撮影部２２Ａの不定スケール設置高さに対する、変数である撮影部２２Ａの実スケール設置高さの比率であってもよい。
【0097】
図５は、撮影部２２Ａの不定スケール設置高さｈに対する撮影部２２Ａの実スケール設置高さｈｒの比率の一例の説明図である。
【0098】
撮影部２２Ａの路面に対する実スケールの高さである実スケール設置高さｈｒの実測値が得られていない場合がある。しかし、撮影部２２Ａが車両１に搭載されている場合、実スケール設置高さｈｒの取りうる値の範囲である値域は、一般的な車両１の車高の範囲内に限定される。実スケール設置高さｈｒの値域が限定されることで、探索範囲は限定され、局所解に陥ることも少なくなる。
【0099】
そこで、スケール変換値算出部１４Ｅは、第１不定スケール奥行情報Ｄ１に基づいて、路面領域の不定スケール三次元平面Ｒを導出する。スケール変換値算出部１４Ｅは、不定スケール奥行画像３２に含まれる複数の画素の各々の第１不定スケール奥行情報Ｄ１から、これらの複数の画素の三次元点群を求め、最小二乗法による平面フィッティングなどの手法を用いることで、不定スケール三次元平面Ｒを導出する。次に、スケール変換値算出部１４Ｅは、不定スケール三次元平面Ｒを基準とした不定スケールの撮影部２２Ａの設置高さである不定スケール設置高さｈを算出する。スケール変換値算出部１４Ｅは、不定スケール三次元平面Ｒの切片を求めることで、不定スケール設置高さｈを算出すればよい。
【0100】
スケール変換値算出部１４Ｅは、算出した不定スケール設置高さｈに対する、変数である撮影部２２Ａの実スケール設置高さｈｒの比率を、スケール変換変数Ｓ’として用いる。この場合、スケール変換変数Ｓ’は、下記式（３）によって表される。
【0101】
Ｓ’＝ｈｒ／ｈ ・・・式（３）
【0102】
式（３）中、Ｓ’は、スケール変換変数Ｓ’を表す。ｈｒは、実スケール設置高さｈｒを表す。ｈは、不定スケール設置高さｈを表す。
【0103】
スケール変換値算出部１４Ｅは、変数である実スケール設置高さｈｒを、一般的な車両１の車高の範囲内である値域の範囲内で変更することでスケール変換変数Ｓ’を順次変更する。そして、スケール変換値算出部１４Ｅは、実スケール設置高さｈｒの変更によりスケール変換変数Ｓ’を変更しながら、上記第２撮影画像３０Ｂへの投影点を用いた探索方法、または上記ワーピング画像３６を用いた探索方法により、スケール変換値Ｓを算出してよい。
【0104】
次に、撮影画像３０間の三次元位置座標を用いた探索方法について説明する。
【0105】
図６は、撮影画像３０間の三次元位置座標を用いた探索方法の一例の説明図である。
【0106】
スケール変換値算出部１４Ｅは、基準時刻Ｔ１の第１撮影画像３０Ａ、対象時刻Ｔ２の第２撮影画像３０Ｂ、基準時刻Ｔ１の第１不定スケール奥行情報Ｄ１、基準時刻Ｔ１の第１実スケール位置姿勢情報Ｖ１、および対象時刻Ｔ２の第２実スケール位置姿勢情報Ｖ２を取得する。
【0107】
スケール変換値算出部１４Ｅは、第１撮影画像３０Ａと第２撮影画像３０Ｂとの間で同じ対象物Ｂ上の対応する座標点Ｐの対である対応点Ｐ’を特定する。詳細には、スケール変換値算出部１４Ｅは、第１撮影画像３０Ａに含まれるある対象物Ｂ上の座標点ＰＡと、第２撮影画像３０Ｂに含まれる同じ対象物Ｂ上の座標点ＰＢと、の対を対応点Ｐ’として特定する。すなわち対応点Ｐ’を構成する座標点Ｐの対である座標点ＰＡおよび座標点ＰＢは、実空間に存在する該対象物Ｂにおける同じ位置を表す。
【0108】
スケール変換値算出部１４Ｅは、公知の特徴点検出・マッチング手法などを用いて、同一の対象物Ｂを表す撮影画像３０（第１撮影画像３０Ａ、第２撮影画像３０Ｂ）の座標点Ｐの対応を、対応点Ｐ’として特定すればよい。
【0109】
スケール変換値算出部１４Ｅは、１点以上の対応点Ｐ’を特定すればよい。図６には、一例として、１点の対応点Ｐ’を特定した例を示す。
【0110】
スケール変換値算出部１４Ｅは、対応点Ｐ’、第１実スケール位置姿勢情報Ｖ１、および第２実スケール位置姿勢情報Ｖ２から、三角測量により、対応点Ｐ’によって示される対象物Ｂ上の実スケール点の実スケール三次元位置座標Ｗを導出する。上述したように、対応点Ｐ’を構成する座標点Ｐの対である座標点ＰＡおよび座標点ＰＢは、実空間に存在する該対象物Ｂにおける同じ位置を表す。このため、スケール変換値算出部１４Ｅは、座標点ＰＡおよび座標点ＰＢの対からなる対応点Ｐ’と、第１実スケール位置姿勢情報Ｖ１および第２実スケール位置姿勢情報Ｖ２と、を用いた三角測量により、実空間における対象物Ｂ上の実スケールの点の三次元位置座標である実スケール三次元位置座標Ｗを導出する。
【0111】
また、スケール変換値算出部１４Ｅは、第１不定スケール奥行情報Ｄ１から対応点Ｐ’の不定スケール三次元位置座標Ｇを算出する。スケール変換値算出部１４Ｅは、不定スケール奥行導出部１４Ｂで導出された、基準時刻Ｔ１の第１撮影画像３０Ａに含まれる画素ごとの第１不定スケール奥行情報Ｄ１を規定した不定スケール奥行画像３２を取得する（図４も参照）。そして、スケール変換値算出部１４Ｅは、不定スケール奥行画像３２から、対応点Ｐ’を構成する第１撮影画像３０Ａ上の座標点ＰＡと同じ座標の画素の第１不定スケール奥行情報Ｄ１を特定する。そして、スケール変換値算出部１４Ｅは、特定した第１不定スケール奥行情報Ｄ１から、対応点Ｐ’の不定スケール三次元位置座標Ｇを算出する。
【0112】
対応点Ｐ’から算出された実スケール三次元位置座標Ｗと、第１不定スケール奥行情報Ｄ１から算出された不定スケール三次元位置座標Ｇにスケール変換変数Ｓ’を乗算した不定スケール乗算三次元位置座標Ｆとは、幾何的整合性が取れている状態では、一致するはずである。
【0113】
このため、スケール変換値算出部１４Ｅは、スケール変換変数Ｓ’を変化させ、実スケール三次元位置座標Ｗと、不定スケール三次元位置座標Ｇとスケール変換変数Ｓ’との乗算結果である不定スケール乗算三次元位置座標Ｆと、の一致度が最大となるスケール変換変数Ｓ’を、スケール変換値Ｓとして算出する。
【0114】
実スケール三次元位置座標Ｗと不定スケール乗算三次元位置座標Ｆとの一致度には、実スケール三次元位置座標Ｗと不定スケール乗算三次元位置座標Ｆとの三次元座標間の距離の差または奥行の差を用いればよい。すなわち、実スケール三次元位置座標Ｗと不定スケール乗算三次元位置座標Ｆとの一致度は、実スケール三次元位置座標Ｗと不定スケール乗算三次元位置座標Ｆとの三次元座標間の距離の差または奥行の差が小さいほど大きい値を示す。
【0115】
そして、スケール変換値算出部１４Ｅは、実スケール三次元位置座標Ｗと不定スケール乗算三次元位置座標Ｆとの一致度が最大となる、不定スケール乗算三次元位置座標Ｆの算出に用いたスケール変換変数Ｓ’を、スケール変換値Ｓとして算出する。
【0116】
このように、スケール変換値算出部１４Ｅは、撮影画像３０間の三次元位置座標を用いた探索方法により、スケール変換値Ｓを算出してよい。
【0117】
図２に戻り説明を続ける。上述したように、スケール変換部１４Ｆは、スケール変換値算出部１４Ｅで算出されたスケール変換値Ｓを不定スケール奥行情報Ｄに乗算した乗算結果を、実スケール奥行情報Ｄｒとして導出する。
【0118】
詳細には、例えば、スケール変換部１４Ｆは、基準時刻Ｔ１の第１撮影画像３０Ａに含まれる画素ごとの第１不定スケール奥行情報Ｄ１を規定した不定スケール奥行画像３２を取得する。そして、スケール変換部１４Ｆは、不定スケール奥行画像３２に含まれる画素ごとの第１不定スケール奥行情報Ｄ１の各々にスケール変換値Ｓを乗算する。この乗算処理によって、スケール変換部１４Ｆは、画素ごとに実スケール奥行情報Ｄｒを規定した実スケール奥行画像３４を算出する。なお、スケール変換部１４Ｆは、不定スケール奥行画像３２に含まれる少なくとも１部の画素にスケール変換値Ｓを乗算することで、実スケール奥行画像３４を算出すればよい。すなわち、スケール変換部１４Ｆは、不定スケール奥行画像３２に含まれる１部の画素の実スケール奥行情報Ｄｒを算出してもよい。
【0119】
スケール変換部１４Ｆは、算出した実スケール奥行情報Ｄｒを出力部２０に出力する。実スケール奥行情報Ｄｒを出力部２０へ出力することで、スケール変換値算出部１４Ｅは、実スケール奥行情報Ｄｒを車両１の外部の情報処理装置へ出力することができる。また、スケール変換値算出部１４Ｅは、実スケール奥行情報Ｄｒを表示部に表示することができる。また、スケール変換部１４Ｆは、算出した実スケール奥行情報Ｄｒを記憶部１２へ記憶してもよい。
【0120】
次に、実スケール奥行算出装置１０で実行する情報処理の流れの一例を説明する。
【0121】
図７は、本実施形態の実スケール奥行算出装置１０が実行する情報処理の流れの一例を示すフローチャートである。
【0122】
撮影画像取得部１４Ａは、撮影部２２Ａで撮影された撮影時刻の異なる複数の撮影画像３０を取得する（ステップＳ１００）。
【0123】
不定スケール奥行導出部１４Ｂは、ステップＳ１００で取得した複数の撮影画像３０の各々から不定スケール奥行情報Ｄを導出する（ステップＳ１０２）。
【0124】
位置姿勢取得部１４Ｃは、ステップＳ１００で取得した複数の撮影画像３０の各々の撮影時の撮影部２２Ａの実スケール位置姿勢情報Ｖを取得する（ステップＳ１０４）。
【0125】
スケール変換値算出部１４Ｅは、ステップＳ１００～ステップＳ１０４で取得した撮影画像３０、不定スケール奥行情報Ｄ、および実スケール位置姿勢情報Ｖを用いて、幾何的整合性が最大となるスケール変換値Ｓを算出する（ステップＳ１０６）。ステップＳ１０６の処理であるスケール変換値算出処理の詳細は後述する。
【0126】
スケール変換部１４Ｆは、ステップＳ１０２で取得した不定スケール奥行情報ＤにステップＳ１０６で算出したスケール変換値Ｓを乗算した乗算結果を、実スケール奥行情報Ｄｒとして算出する（ステップＳ１０８）。そして、本ルーチンを終了する。
【0127】
次に、ステップＳ１０６のスケール変換値算出処理の流れの一例を説明する。
【0128】
図８は、第２撮影画像３０Ｂへの投影点を用いた探索方法によるスケール変化値算出処理の流れの一例を示すフローチャートである。図８には、スケール変換変数Ｓ’を実数空間の中で所定範囲内の任意の値をとる変数とした場合を示す。
【0129】
スケール変換値算出部１４Ｅは、第１撮影画像３０Ａおよび第２撮影画像３０Ｂを取得する（ステップＳ２００）。スケール変換値算出部１４Ｅは、ステップＳ１００（図７参照）で取得した複数の撮影画像３０から、基準時刻Ｔ１の第１撮影画像３０Ａおよび対象時刻Ｔ２の第２撮影画像３０Ｂを取得することで、第１撮影画像３０Ａおよび第２撮影画像３０Ｂを取得する。
【0130】
また、スケール変換値算出部１４Ｅは、基準時刻Ｔ１の第１不定スケール奥行情報Ｄ１を取得する（ステップＳ２０２）。スケール変換値算出部１４Ｅは、ステップＳ１０２（図７参照）で導出された不定スケール奥行情報Ｄの内、基準時刻Ｔ１を撮影時刻とする第１撮影画像３０Ａから導出された第１不定スケール奥行情報Ｄ１を取得する。詳細には、スケール変換値算出部１４Ｅは、画素ごとに第１不定スケール奥行情報Ｄ１を規定した不定スケール奥行画像３２を取得する。
【0131】
また、スケール変換値算出部１４Ｅは、第１実スケール位置姿勢情報Ｖ１、および第２実スケール位置姿勢情報Ｖ２を取得する（ステップＳ２０４）。不定スケール奥行導出部１４Ｂは、ステップＳ１０４（図７参照）で取得した実スケール位置姿勢情報Ｖの内、基準時刻Ｔ１の撮影部２２Ａの第１実スケール位置姿勢情報Ｖ１および対象時刻Ｔ２の撮影部２２Ａの第２実スケール位置姿勢情報Ｖ２を取得する。ステップＳ２０４の処理によって、スケール変換値算出部１４Ｅは、第１実スケール位置姿勢情報Ｖ１から第２実スケール位置姿勢情報Ｖ２への実スケールの位置姿勢の変換行列Ｔ１→２を取得する。
【0132】
次に、スケール変換値算出部１４Ｅは、スケール変換変数Ｓ’に、所定範囲内の予め定めた初期値を設定する（ステップＳ２０６）。例えば、スケール変換値算出部１４Ｅは、所定範囲の下限値を初期値とし、該初期値をスケール変換変数Ｓ’に設定する。
【0133】
スケール変換値算出部１４Ｅは、設定されたスケール変換変数Ｓ’を用いて、第１撮影画像３０Ａ上の第１座標点Ｐ１を第２撮影画像３０Ｂ上に投影した投影点である第２座標点Ｐ２を算出する（ステップＳ２０８）。スケール変換値算出部１４Ｅは、上記式（２）を用いて第１座標点Ｐ１を第２撮影画像３０Ｂに投影した第２座標点Ｐ２を算出する。
【0134】
次に、スケール変換値算出部１４Ｅは、ステップＳ２０８の算出に用いた第１座標点Ｐ１と、ステップＳ２０８で算出された第２座標点Ｐ２と、の一致度を算出する（ステップＳ２１０）。例えば、スケール変換値算出部１４Ｅは、第１座標点Ｐ１と第２座標点Ｐ２との輝度差、特徴量記述子から得られる特徴ベクトルの差、または距離、が小さいほど、大きい値を表す一致度を算出する。
【0135】
そして、スケール変換値算出部１４Ｅは、ステップＳ２１０で算出した一致度と、該一致度の算出に用いたスケール変換変数Ｓ’と、を対応付けて記憶部１２へ記憶する（ステップＳ２１２）。
【0136】
次に、スケール変換値算出部１４Ｅは、スケール変換変数Ｓ’を所定範囲内で変更完了したか否かを判断する（ステップＳ２１４）。例えば、スケール変換値算出部１４Ｅは、スケール変換変数Ｓ’を所定範囲の下限値から上限値に渡って変更したか否かを判断する。具体的には、例えば、スケール変換値算出部１４Ｅは、現在設定されているスケール変換変数Ｓ’の値が所定範囲の上限値であるか否かを判別することで、ステップＳ２１４の判断を行えばよい。
【0137】
ステップＳ２１４で否定判断すると（ステップＳ２１４：Ｎｏ）、ステップＳ２１６へ進む。ステップＳ２１６では、現在設定されているスケール変換変数Ｓ’の値に、予め定めた所定値αを加算した値を、スケール変換変数Ｓ’の新たな値として設定する（ステップＳ２１６）。所定値αには、所定範囲を複数の小範囲に分割したときの該小範囲の値を定めればよい。そして、上記ステップＳ２０８へ戻る。
【0138】
一方、ステップＳ２１４で肯定判断すると（ステップＳ２１４：Ｙｅｓ）、ステップＳ２１８へ進む。ステップＳ２１８では、スケール変換値算出部１４Ｅは、一致度が最大となる第１座標点Ｐ１の投影点である第２座標点Ｐ２の算出に用いたスケール変換変数Ｓ’を、スケール変換値Ｓとして算出する（ステップＳ２１８）。スケール変換値算出部１４Ｅは、記憶部１２に記憶されている複数のスケール変換変数Ｓ’の内、対応する一致度が最大の値を示すスケール変換変数Ｓ’を、スケール変換値Ｓとすればよい。
【0139】
そして、スケール変換値算出部１４Ｅは、本ルーチンを終了する。
【0140】
次に、ワーピング画像３６を用いた探索方法によるスケール変化値算出処理の流れの一例を説明する。
【0141】
図９は、ワーピング画像３６を用いた探索方法によるスケール変化値算出処理の流れの一例を示すフローチャートである。図９には、スケール変換変数Ｓ’を実数空間の中で所定範囲内の任意の値をとる変数とした場合を示す。
【0142】
スケール変換値算出部１４Ｅは、ステップＳ２００～ステップＳ２０６（図８参照）と同様にして、ステップＳ３００～ステップＳ３０６の処理を行う。
【0143】
詳細には、スケール変換値算出部１４Ｅは、第１撮影画像３０Ａおよび第２撮影画像３０Ｂを取得する（ステップＳ３００）。また、スケール変換値算出部１４Ｅは、基準時刻Ｔ１の第１不定スケール奥行情報Ｄ１を取得する（ステップＳ３０２）。また、スケール変換値算出部１４Ｅは、第１実スケール位置姿勢情報Ｖ１、および第２実スケール位置姿勢情報Ｖ２を取得する（ステップＳ３０４）。
【0144】
次に、スケール変換値算出部１４Ｅは、スケール変換変数Ｓ’に、所定範囲内で予め定めた初期値を設定する（ステップＳ３０６）。例えば、スケール変換値算出部１４Ｅは、所定範囲の下限値を初期値とし、該初期値をスケール変換変数Ｓ’に設定する。なお、図９の処理で用いる所定範囲には、図８の処理で用いた所定範囲と同じ範囲を用いてもよいし、異なる範囲を用いてもよい。
【0145】
次に、スケール変換値算出部１４Ｅは、設定されたスケール変換変数Ｓ’を用いて、第１撮影画像３０Ａを、対象時刻Ｔ２の第２実スケール位置姿勢情報Ｖ２によって表される実スケール位置姿勢の撮影部２２Ａで撮影されたワーピング画像３６に変換する（ステップＳ３０８）。
【0146】
そして、スケール変換値算出部１４Ｅは、ワーピング画像３６に含まれる座標点と第２撮影画像３０Ｂに含まれる該座標点と同じ座標の座標点との一致度を算出する（ステップＳ３１０）。例えば、スケール変換値算出部１４Ｅは、これらの座標点の輝度差、特徴量記述子から得られる特徴ベクトルの差、または距離、が小さいほど、大きい値を表す一致度を算出する。
【0147】
そして、スケール変換値算出部１４Ｅは、ステップＳ３１０で算出した一致度と、該一致度の算出に用いたスケール変換変数Ｓ’と、を対応付けて記憶部１２へ記憶する（ステップＳ３１２）。
【0148】
次に、スケール変換値算出部１４Ｅは、スケール変換変数Ｓ’を所定範囲内で変更完了したか否かを判断する（ステップＳ３１４）。例えば、スケール変換値算出部１４Ｅは、スケール変換変数Ｓ’を所定範囲の下限値から上限値に渡って変更したか否かを判断する。具体的には、例えば、スケール変換値算出部１４Ｅは、現在設定されているスケール変換変数Ｓ’の値が所定範囲の上限値であるか否かを判別することで、ステップＳ３１４の判断を行えばよい。
【0149】
ステップＳ３１４で否定判断すると（ステップＳ３１４：Ｎｏ）、ステップＳ３１６へ進む。ステップＳ３１６では、現在設定されているスケール変換変数Ｓ’の値に、予め定めた所定値αを加算した値を、スケール変換変数Ｓ’の新たな値として設定する（ステップＳ３１６）。所定値αには、上記ステップＳ２１６と同じ値を用いてもよいし、異なる値を用いてもよい。そして、上記ステップＳ３０８へ戻る。
【0150】
一方、ステップＳ３１４で肯定判断すると（ステップＳ３１４：Ｙｅｓ）、ステップＳ３１８へ進む。ステップＳ３１８では、スケール変換値算出部１４Ｅは、一致度が最大となる座標点のワーピング画像３６の算出に用いたスケール変換変数Ｓ’を、スケール変換値Ｓとして算出する（ステップＳ３１８）。スケール変換値算出部１４Ｅは、記憶部１２に記憶されている複数のスケール変換変数Ｓ’の内、対応する一致度が最大の値を示すスケール変換変数Ｓ’を、スケール変換値Ｓとすればよい。
【0151】
そして、スケール変換値算出部１４Ｅは、本ルーチンを終了する。
【0152】
次に、スケール変換変数Ｓ’として、不定スケール設置高さｈに対する実スケール設置高さｈｒの比率ｈｒ／ｈを用いる場合の処理の流れの一例を説明する。
【0153】
図１０は、不定スケール設置高さｈに対する実スケール設置高さｈｒの比率ｈｒ／ｈをスケール変換変数Ｓ’として用いる場合の処理の流れの一例を示すフローチャートである。図１０には、ワーピング画像３６を用いた探索方法に、スケール変換変数Ｓ’として比率ｈｒ／ｈを用いる場合を一例として示す。
【0154】
スケール変換値算出部１４Ｅは、ステップＳ３００～ステップＳ３０４（図９参照）と同様にして、ステップＳ４００～ステップＳ４０４の処理を行う。
【0155】
詳細には、スケール変換値算出部１４Ｅは、第１撮影画像３０Ａおよび第２撮影画像３０Ｂを取得する（ステップＳ４００）。また、スケール変換値算出部１４Ｅは、基準時刻Ｔ１の第１不定スケール奥行情報Ｄ１を取得する（ステップＳ４０２）。また、スケール変換値算出部１４Ｅは、第１実スケール位置姿勢情報Ｖ１、および第２実スケール位置姿勢情報Ｖ２を取得する（ステップＳ４０４）。
【0156】
次に、スケール変換値算出部１４Ｅは、第１撮影画像３０Ａから導出された第１不定スケール奥行情報Ｄ１に基づいて、路面領域の不定スケール三次元平面Ｒを算出する（ステップＳ４０６）。
【0157】
そして、スケール変換値算出部１４Ｅは、ステップＳ４０６で算出された不定スケール三次元平面Ｒを基準とした不定スケールの撮影部２２Ａの設置高さである不定スケール設置高さｈを算出する（ステップＳ４０８）。
【0158】
次に、スケール変換値算出部１４Ｅは、変数である実スケール設置高さｈｒに、所定範囲内で予め定めた初期値を設定する（ステップＳ４１０）。例えば、スケール変換値算出部１４Ｅは、所定範囲の下限値を初期値とし、該初期値を実スケール設置高さｈｒに設定する。なお、図１０の処理で用いる所定範囲には、例えば、一般的な車両１の車高の範囲である値域の範囲を定めればよい。
【0159】
次に、スケール変換値算出部１４Ｅは、設定された不定スケール設置高さｈに対する、変数である撮影部２２Ａの実スケール設置高さｈｒの比率ｈｒ／ｈを、スケール変換変数Ｓ’として算出する（ステップＳ４１２）。
【0160】
次に、スケール変換値算出部１４Ｅは、ステップＳ１４２で算出されたスケール変換変数Ｓ’を用いて、第１撮影画像３０Ａを、対象時刻Ｔ２の第２実スケール位置姿勢情報Ｖ２によって表される実スケール位置姿勢の撮影部２２Ａで撮影されたワーピング画像３６に変換する（ステップＳ４１４）。
【0161】
そして、スケール変換値算出部１４Ｅは、ワーピング画像３６に含まれる座標点と第２撮影画像３０Ｂに含まれる該座標点と同じ座標の座標点との一致度を算出する（ステップＳ４１６）。ステップＳ４１６の処理は、ステップＳ３１０（図９参照）と同様である。
【0162】
そして、スケール変換値算出部１４Ｅは、ステップＳ４１６で算出した一致度と、該一致度の算出に用いたスケール変換変数Ｓ’と、を対応付けて記憶部１２へ記憶する（ステップＳ４１８）。
【0163】
次に、スケール変換値算出部１４Ｅは、実スケール設置高さｈｒを所定範囲内で変更完了したか否かを判断する（ステップＳ４２０）。例えば、スケール変換値算出部１４Ｅは、実スケール設置高さｈｒを所定範囲の下限値から上限値に渡って変更したか否かを判断する。具体的には、例えば、スケール変換値算出部１４Ｅは、現在設定されている実スケール設置高さｈｒの値が一般的な車両１の車高の範囲である値域の上限値であるか否かを判別することで、ステップＳ４２０の判断を行えばよい。
【0164】
ステップＳ４２０で否定判断すると（ステップＳ４２０：Ｎｏ）、ステップＳ４２２へ進む。ステップＳ４２２では、現在設定されている実スケール設置高さｈｒの値に、予め定めた所定値βを加算した値を、実スケール設置高さｈｒの新たな値として設定する（ステップＳ４２２）。所定値βには、上記所定範囲である値域を複数の小範囲に分割したときの該小範囲の値を定めればよい。そして、上記ステップＳ４１２へ戻る。
【0165】
一方、ステップＳ４２０で肯定判断すると（ステップＳ４２０：Ｙｅｓ）、ステップＳ４２４へ進む。ステップＳ４２４では、スケール変換値算出部１４Ｅは、一致度が最大となる座標点のワーピング画像３６の算出に用いたスケール変換変数Ｓ’を、スケール変換値Ｓとして算出する（ステップＳ４２４）。スケール変換値算出部１４Ｅは、記憶部１２に記憶されている複数のスケール変換変数Ｓ’の内、対応する一致度が最大の値を示すスケール変換変数Ｓ’を、スケール変換値Ｓとすればよい。
【0166】
そして、スケール変換値算出部１４Ｅは、本ルーチンを終了する。
【0167】
次に、撮影画像３０間の三次元位置座標を用いた探索方法によるスケール変化値算出処理の流れの一例を説明する。
【0168】
図１１は、撮影画像３０間の三次元位置座標を用いた探索方法によるスケール変化値算出処理の流れの一例を示すフローチャートである。
【0169】
スケール変換値算出部１４Ｅは、ステップＳ２００～ステップＳ２０４（図８参照）と同様にして、ステップＳ５００～ステップＳ５０４の処理を行う。
【0170】
詳細には、スケール変換値算出部１４Ｅは、第１撮影画像３０Ａおよび第２撮影画像３０Ｂを取得する（ステップＳ５００）。また、スケール変換値算出部１４Ｅは、基準時刻Ｔ１の第１不定スケール奥行情報Ｄ１を取得する（ステップＳ５０２）。また、スケール変換値算出部１４Ｅは、第１実スケール位置姿勢情報Ｖ１、および第２実スケール位置姿勢情報Ｖ２を取得する（ステップＳ５０４）。
【0171】
次に、スケール変換値算出部１４Ｅは、第１撮影画像３０Ａと第２撮影画像３０Ｂとの間で同じ対象物Ｂ上の対応する座標点Ｐの対である対応点Ｐ’を導出する（ステップＳ５０６）。
【0172】
スケール変換値算出部１４Ｅは、座標点ＰＡおよび座標点ＰＢの対からなる対応点Ｐ’と、第１実スケール位置姿勢情報Ｖ１および第２実スケール位置姿勢情報Ｖ２と、を用いた三角測量により、実空間における対象物Ｂ上の実スケールの点の三次元位置座標である実スケール三次元位置座標Ｗを導出する（ステップＳ５０８）。
【0173】
次に、スケール変換値算出部１４Ｅは、ステップＳ５０２で取得した第１不定スケール奥行情報Ｄ１から、ステップＳ５０６で導出した対応点Ｐ’の不定スケール三次元位置座標Ｇを算出する（ステップＳ５１０）。
【0174】
次に、スケール変換値算出部１４Ｅは、スケール変換変数Ｓ’に、所定範囲内で予め定めた初期値を設定する（ステップＳ５１２）。例えば、スケール変換値算出部１４Ｅは、所定範囲の下限値を初期値とし、該初期値をスケール変換変数Ｓ’に設定する。なお、図９の処理で用いる所定範囲には、図８および図９の処理で用いた所定範囲と同じ範囲を用いてもよいし、異なる範囲を用いてもよい。
【0175】
次に、スケール変換値算出部１４Ｅは、設定されたスケール変換変数Ｓ’を用いて、不定スケール乗算三次元位置座標Ｆを算出する（ステップＳ５１４）。スケール変換値算出部１４Ｅは、ステップＳ５１０で算出された不定スケール三次元位置座標Ｇに、設定されたスケール変換変数Ｓ’を乗算することで、不定スケール乗算三次元位置座標Ｆを算出する。
【0176】
次に、スケール変換値算出部１４Ｅは、ステップＳ５０８で算出した実スケール三次元位置座標Ｗと、ステップ５１４で算出した不定スケール乗算三次元位置座標Ｆと、の一致度を算出する（ステップＳ５１６）。スケール変換値算出部１４Ｅは、実スケール三次元位置座標Ｗと不定スケール乗算三次元位置座標Ｆとの三次元座標間の距離の差または奥行の差が小さいほど大きい値の一致度を算出する。
【0177】
そして、スケール変換値算出部１４Ｅは、ステップＳ５１６で算出した一致度と、該一致度の算出に用いたスケール変換変数Ｓ’と、を対応付けて記憶部１２へ記憶する（ステップＳ５１８）。
【0178】
次に、スケール変換値算出部１４Ｅは、スケール変換変数Ｓ’を所定範囲内で変更完了したか否かを判断する（ステップＳ５２０）。例えば、スケール変換値算出部１４Ｅは、スケール変換変数Ｓ’を所定範囲の下限値から上限値に渡って変更したか否かを判断する。具体的には、例えば、スケール変換値算出部１４Ｅは、現在設定されているスケール変換変数Ｓ’の値が所定範囲の上限値であるか否かを判別することで、ステップＳ５２０の判断を行えばよい。
【0179】
ステップＳ５２０で否定判断すると（ステップＳ５２０：Ｎｏ）、ステップＳ５２２へ進む。ステップＳ５２２では、現在設定されているスケール変換変数Ｓ’の値に、予め定めた所定値γを加算した値を、スケール変換変数Ｓ’の新たな値として設定する（ステップＳ５２２）。所定値γには、所定範囲を複数の小範囲に分割したときの該小範囲の値を定めればよい。そして、上記ステップＳ５１４へ戻る。
【0180】
一方、ステップＳ５２０で肯定判断すると（ステップＳ５２０：Ｙｅｓ）、ステップＳ５２４へ進む。ステップＳ５２４では、スケール変換値算出部１４Ｅは、一致度が最大となる不定スケール乗算三次元位置座標Ｆの算出に用いたスケール変換変数Ｓ’を、スケール変換値Ｓとして算出する（ステップＳ５２４）。スケール変換値算出部１４Ｅは、記憶部１２に記憶されている複数のスケール変換変数Ｓ’の内、対応する一致度が最大の値を示すスケール変換変数Ｓ’を、スケール変換値Ｓとすればよい。そして、本ルーチンを終了する。
【0181】
以上説明したように、本実施形態の実スケール奥行算出装置１０は、撮影画像取得部１４Ａと、不定スケール奥行導出部１４Ｂと、位置姿勢取得部１４Ｃと、実スケール奥行導出部１４Ｄと、を備える。撮影画像取得部１４Ａは、車両１に搭載された撮影部２２Ａから撮影時刻の異なる複数の撮影画像３０を取得する。不定スケール奥行導出部１４Ｂは、撮影画像３０から不定スケール奥行情報Ｄを導出する。位置姿勢取得部１４Ｃは、複数の撮影画像３０の各々の撮影時の撮影部２２Ａの実スケール位置姿勢情報Ｖを取得する。実スケール奥行導出部１４Ｄは、複数の撮影画像３０、不定スケール奥行情報Ｄ、および実スケール位置姿勢情報Ｖから、幾何的整合性に基づいて実スケール奥行情報Ｄｒを導出する。
【0182】
ここで、物体までの奥行情報を算出する方法には、レーザーセンサやレーダーセンサからの観測情報を用いる方法が知られている。しかし、これらのセンサは単価が高額であり、またセンササイズが大きいといった問題がある。そこで、安価かつ小型のカメラで撮影された撮影画像３０を用いる方法が開示されている。
【0183】
例えば、従来では、撮影画像３０の特徴点とその対応から、カメラ間の位置・姿勢と特徴点の３次元座標を同時に推定するＶｉｓｕａｌ ＳＬＡＭベースの手法、ニューラルネットワークを用いて画素値に対応する点の奥行を規定した奥行画像を直接推定するニューラルネットワークベースの手法、などが知られている。しかし、これらの手法は、単眼のカメラ画像から奥行情報を取得する手法である。このため、原理的に単眼カメラから実スケールの奥行情報を算出することはできず、これらの手法では、不定スケールの相対的な距離しか求めることができなかった。
【0184】
また、不定スケールのカメラ設置高さと予め実測されたカメラ設置高さとの比を不定スケール奥行情報に乗算することで、実スケール奥行情報を算出する技術が開示されている。しかし、この方法では、カメラの設置高さの実測値が不明な環境、または飛翔体などに搭載されることでカメラの設置高さの実測値が変動する環境では、実スケール奥行情報を導出することは困難であった。
【0185】
また、Ｖｉｓｕａｌ ＳＬＡＭとＧＮＳＳとを組合せることでカメラ間の不定スケールの位置姿勢を実スケールに変換し、該変換に用いた値と、位置姿勢と同じスケールのカメラ間の不定スケールの奥行情報とを用いて、実スケール奥行情報を取得する方法が開示されている。しかし、この方法は、カメラ間の不定スケールの位置姿勢と、カメラ間の不定スケールの奥行と、が同じスケールであることを前提とした方法である。しかし、位置姿勢をＧＮＳＳ／ＩＭＵやホイールエンコーダで取得し、奥行をニューラルネットワークで推定するなど、位置姿勢と奥行とを異なる手法で取得する場合がある。従来技術では、位置姿勢と奥行とを異なる手法で取得する場合、位置姿勢と奥行とのスケールが異なるため、実スケール奥行情報を導出することは困難であった。
【0186】
すなわち、従来技術では、撮影画像３０から実スケール奥行情報Ｄｒを導出することが困難となる場合があった。
【0187】
一方、本実施形態の実スケール奥行算出装置１０では、実スケール奥行導出部１４Ｄが、撮影時刻の異なる複数の撮影画像３０、不定スケール奥行情報Ｄ、および実スケール位置姿勢情報Ｖから、幾何的整合性に基づいて、実スケール奥行情報Ｄｒを導出する。
【0188】
このため、本実施形態の実スケール奥行算出装置１０では、単眼カメラで撮影された撮影画像３０から推定した画素ごとの不定スケール奥行情報Ｄを規定した不定スケール奥行画像３２を、実スケール化することができる。また、実スケール奥行算出装置１０は、撮影部２２Ａの実スケール設置高さｈｒが不明な環境や変動する環境であっても、高精度に実スケール奥行情報Ｄｒを算出することができる。また、実スケール奥行算出装置１０は、撮影部２２Ａの位置姿勢と奥行とのスケールが異なる場合であっても、高精度に実スケール奥行情報Ｄｒを算出することができる。
【0189】
従って、本実施形態の実スケール奥行算出装置１０は、撮影画像３０から実スケール奥行情報Ｄｒを導出することができる。
【0190】
次に、上記実施形態の実スケール奥行算出装置１０の、ハードウェア構成の一例を説明する。
【0191】
図１２は、上記実施形態の実スケール奥行算出装置１０の一例のハードウェア構成図である。
【0192】
上記実施形態の実スケール奥行算出装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０Ｄなどの制御装置と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０ＥやＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０ＦやＨＤＤ（ハードディスクドライブ）９０Ｇなどの記憶装置と、各種機器とのインターフェースであるＩ／Ｆ部９０Ｂと、出力情報などの各種情報を出力する出力部９０Ａと、ユーザによる操作を受付ける入力部９０Ｃと、各部を接続するバス９０Ｈとを備えており、通常のコンピュータを利用したハードウェア構成となっている。
【0193】
上記実施形態の実スケール奥行算出装置１０では、ＣＰＵ９０Ｄが、ＲＯＭ９０ＥからプログラムをＲＡＭ９０Ｆ上に読み出して実行することにより、上記各部がコンピュータ上で実現される。
【0194】
なお、上記実施形態の実スケール奥行算出装置１０で実行される上記各処理を実行するためのプログラムは、ＨＤＤ９０Ｇに記憶されていてもよい。また、上記実施形態の１０で実行される上記各処理を実行するためのプログラムは、ＲＯＭ９０Ｅに予め組み込まれて提供されていてもよい。
【0195】
また、上記実施形態の実スケール奥行算出装置１０で実行される上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、上記実施形態の実スケール奥行算出装置１０で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態の実スケール奥行算出装置１０で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワーク経由で提供または配布するようにしてもよい。
【0196】
なお、上記には、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0197】
１ 車両
１０ 実スケール奥行算出装置
１４Ａ 撮影画像取得部
１４Ｂ 不定スケール奥行導出部
１４Ｃ 位置姿勢取得部
１４Ｄ 実スケール奥行導出部
１４Ｅ スケール変換値算出部
１４Ｆ スケール変換部
２２ 外界センサ
２２Ａ 撮影部
２４ 内界センサ
３０ 撮影画像
３０Ａ 第１撮影画像
３０Ｂ 第２撮影画像
１０ 実スケール奥行算出装置
１４Ａ 撮影画像取得部
１４Ｂ 不定スケール奥行導出部
１４Ｃ 位置姿勢取得部
１４Ｄ 実スケール奥行導出部
１４Ｅ スケール変換値算出部
１４Ｆ スケール変換部
２２ 外界センサ
２２Ａ 撮影部
２４ 内界センサ
３０ 撮影画像
３０Ａ 第１撮影画像
３０Ｂ 第２撮影画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】