(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-18
(45)【発行日】2023-01-26
(54)【発明の名称】状態計測装置及び状態計測方法
(51)【国際特許分類】
G01P 3/36 20060101AFI20230119BHJP
【FI】
G01P3/36 C
(21)【出願番号】P 2019127607
(22)【出願日】2019-07-09
【審査請求日】2022-03-03
(73)【特許権者】
【識別番号】000145806
【氏名又は名称】株式会社小野測器
(74)【代理人】
【識別番号】100105957
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】足立 新
(72)【発明者】
【氏名】山田 計
【審査官】岡田 卓弥
(56)【参考文献】
【文献】特開2011-73885(JP,A)
【文献】特開2008-217330(JP,A)
【文献】特開平4-110715(JP,A)
【文献】米国特許出願公開第2016/0021312(US,A1)
【文献】中国特許出願公開第107315095(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01P 3/00- 3/80
G01B11/00-11/30
(57)【特許請求の範囲】
【請求項1】
撮影画像に基づいて移動体の速度ベクトルを計測する状態計測装置であって、
前記移動体が移動する移動面を前記移動体に固定された2つの撮影部で撮影する移動面撮影部と、
前記2つの撮影部の各々の撮影タイミングを、前記各々の撮影タイミングが一致する同期モード、又は、前記各々の撮影タイミングが所定の時間差を有する非同期モードに設定するとともに、設定した前記同期モードで撮影された時間差のある2つの撮影画像、又は、設定した前記非同期モードで撮影された時間差のある2つの撮影画像に基づいて前記移動体の速度ベクトルを計測する計測部とを備え、
前記計測部は、前記移動体の速度に応じて、前記撮影タイミングに前記同期モード、及び、前記非同期モードのいずれか一方を選択する
状態計測装置。
【請求項2】
前記所定の時間差は、前記撮影部が連写可能な時間間隔よりも短い時間である
請求項1に記載の状態計測装置。
【請求項3】
前記計測部は、前記移動体の速度が前記同期モードによる速度計測可能な上限値に基づいて定められる切替速度以下であるとき前記同期モードを選択し、前記移動体の速度が前記切替速度よりも高いとき前記非同期モードを選択する
請求項1又は2に記載の状態計測装置。
【請求項4】
前記計測部は、前記非同期モードによって撮影された前記2つの撮影画像において同一の特徴領域の相対的な移動量と前記所定の時間差とに基づいて速度計測を行う
請求項1~3のいずれか一項に記載の状態計測装置。
【請求項5】
前記計測部は、前記相対的な移動量及び前記所定の時間差に加えて、前記非同期モードの前記2つの撮影画像の撮影範囲の相対関係を考慮して、前記非同期モードの前記2つの撮影画像に基づいて前記速度計測を行う
請求項4に記載の状態計測装置。
【請求項6】
前記計測部は、前記同期モードの前記2つの撮影画像の相対関係を取得した後、前記非同期モードの前記2つの撮影画像に基づく前記速度計測を行う
請求項5に記載の状態計測装置。
【請求項7】
前記計測部は、前記非同期モードの前記2つの撮影画像の撮影範囲の相対関係を、前記2つの撮影部の静的な相対関係による視差として取得する
請求項6に記載の状態計測装置。
【請求項8】
撮影画像に基づいて移動体の速度ベクトルを計測する状態計測装置に用いられる状態計測方法であって、
移動面撮影部が、前記移動体が移動する移動面を前記移動体に固定された2つの撮影部で撮影する移動面撮影ステップと、
計測部が、前記2つの撮影部の各々の撮影タイミングを、前記各々の撮影タイミングが一致する同期モード、又は、前記各々の撮影タイミングが所定の時間差を有する非同期モードに設定するタイミング設定ステップと、設定した前記同期モードで撮影された時間差のある2つの撮影画像、又は、設定した前記非同期モードで撮影された時間差のある2つの撮影画像に基づいて前記移動体の速度ベクトルを計測する計測ステップとを備え、
前記計測ステップでは、前記移動体の速度に応じて、前記撮影タイミングに前記同期モード、及び、前記非同期モードのいずれか一方を選択する
状態計測方法。
【請求項9】
撮影画像に基づいて移動体の速度ベクトルを計測する状態計測装置であって、
前記移動体が移動する移動面を前記移動体に固定された3つ以上の撮影部で撮影する移動面撮影部と、
前記3つ以上の撮影部のうちで1組を構成するいずれか2つの撮影部の各々の撮影タイミングが一致する同期モードに設定され、他の組を構成するいずれか2つの撮影部の各々の撮影タイミングが所定の時間差を有する非同期モードに設定されており、設定された前記同期モードで撮影された時間差のある2つの撮影画像、又は、設定された前記非同期モードで撮影された時間差のある2つの撮影画像に基づいて前記移動体の速度ベクトルを計測する計測部とを備え、
前記計測部は、前記移動体の速度に応じて、前記同期モードで撮影された時間差のある2つの撮影画像、及び、前記非同期モードで撮影された時間差のある2つの撮影画像のうちの少なくとも一方を選択する
状態計測装置。
【請求項10】
撮影画像に基づいて移動体の速度ベクトルを計測する状態計測装置に用いられる状態計測方法であって、
移動面撮影部が、前記移動体が移動する移動面を前記移動体に固定された3つ以上の撮影部で撮影する移動面撮影ステップと、
前記3つ以上の撮影部のうちで1組を構成するいずれか2つの撮影部の各々の撮影タイミングが一致する同期モードに設定され、他の組を構成するいずれか2つの撮影部の各々の撮影タイミングが所定の時間差を有する非同期モードに設定されており、計測部が、設定された前記同期モードで撮影された時間差のある2つの撮影画像、又は、設定された前記非同期モードで撮影された時間差のある2つの撮影画像に基づいて前記移動体の速度ベクトルを計測する計測ステップとを備え、
前記計測ステップでは、前記移動体の速度に応じて、前記同期モードで撮影された時間差のある2つの撮影画像、及び、前記非同期モードで撮影された時間差のある2つの撮影画像のうちの少なくとも一方を選択する
状態計測方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動体の速度等の状態を計測する状態計測装置及び状態計測方法に関する。
【背景技術】
【0002】
従来、自動車には様々な性能評価が求められている。そうした評価のひとつに排ガス計測がある。排ガス計測は、シャシダイナモメータを利用した模擬走行により求めることもできるが、模擬走行と実路走行とでは計測結果に乖離が発生することもあり、実路走行が重要視されてきている。
【0003】
自動車の実路走行による性能評価において、自動車の状態の一つとしての速度を低速度域から高速度域まで計測することが求められる。例えば、自動車の速度を計測する技術の一例が特許文献1に記載されている。
【0004】
特許文献1に記載の状態計測装置は、車輪の無い移動体や車輪がスリップする自動車等の移動体において、移動体の回転運動の影響を抑制しつつ、自身の速度を推定可能な光学式の状態計測装置である。この状態計測装置は、移動体に備えられ、撮影平面が移動した際の各画素の移動量が画像内の位置によって異なるように走行面を撮影する撮影部を備える。そして、この状態計測装置は、撮影部が時系列的に撮影した複数の画像から、所定の軸に対する各画素の移動量の変化を画素移動量勾配として求め、当該画素移動量勾配から移動体の速度を求める。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
移動体の速度を計測する場合、移動体の速度が高くなったとしても、撮影タイミングの相違する2つの撮影画像に共通の範囲を含むように、撮影部は2つの画像を撮影しなければならない。このため、計測する速度が高くなるほど、短い撮影間隔を有するカメラによって撮影範囲の移動速度に対応する必要がある。しかしながら、一般にカメラは、連写性能の上限があり、連写性能が高まるように撮影間隔を短くすると、単位時間当たりの撮影画像のデータ転送や、データ処理に高い性能が要求されて、対応可能なカメラが限られたり、高価であったりする問題がある。
【0007】
こうした課題は、移動体の速度の計測に限られるものではなく、速度に関連する距離の計測や加速度の計測等を含む状態の計測であっても同様である。
本発明は、このような実情に鑑みてなされたものであり、その目的は、カメラ性能によらず、カメラの撮影画像に基づいて移動体の状態を計測できる状態計測装置及び状態計測方法を提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決する状態計測装置は、撮影画像に基づいて移動体の速度ベクトルを計測する状態計測装置であって、前記移動体が移動する移動面を前記移動体に固定された2つの撮影部で撮影する移動面撮影部と、前記2つの撮影部の各々の撮影タイミングを、前記各々の撮影タイミングが一致する同期モード、又は、前記各々の撮影タイミングが所定の時間差を有する非同期モードに設定するとともに、設定した前記同期モードで撮影された時間差のある2つの撮影画像、又は、設定した前記非同期モードで撮影された時間差のある2つの撮影画像に基づいて前記移動体の速度ベクトルを計測する計測部とを備え、前記計測部は、前記移動体の速度に応じて、前記撮影タイミングに前記同期モード、及び、前記非同期モードのいずれか一方を選択する。
【0009】
上記課題を解決する状態計測方法は、撮影画像に基づいて移動体の速度ベクトルを計測する状態計測装置に用いられる状態計測方法であって、移動面撮影部が、前記移動体が移動する移動面を前記移動体に固定された2つの撮影部で撮影する移動面撮影ステップと、計測部が、前記2つの撮影部の各々の撮影タイミングを、前記各々の撮影タイミングが一致する同期モード、又は、前記各々の撮影タイミングが所定の時間差を有する非同期モードに設定するタイミング設定ステップと、設定した前記同期モードで撮影された時間差のある2つの撮影画像、又は、設定した前記非同期モードで撮影された時間差のある2つの撮影画像に基づいて前記移動体の速度ベクトルを計測する計測ステップとを備え、前記計測ステップでは、前記移動体の速度に応じて、前記撮影タイミングに前記同期モード、及び、前記非同期モードのいずれか一方を選択する。
【0010】
従来、撮影画像に基づく速度計測は、連写した画像に含まれる特徴領域の相対的な移動量に基づいて行われる。このため、計測可能な速度が撮影部の連写性能により制限されていた。この点、本構成又は方法によれば、移動体の速度に応じて、連写性能により計測速度が制限される同期モードによる速度計測と、連写性能により計測速度が制限されない非同期モードによる速度計測とが選択できる。例えば、車速が高いため連写性能により同期モードでは2つのカメラ画像にトラッキング対象となる同一の特徴領域が含まれず速度計測ができないとき、非同期モードによる速度計測を行うようにする。これにより、カメラ性能によらず、カメラの撮影画像に基づいて移動体の状態を計測することができる。
【0011】
好ましい構成として、前記所定の時間差は、前記撮影部が連写可能な時間間隔よりも短い時間である。
このような構成によれば、非同期モードで、速度の高い移動体の速度計測が行える。
【0012】
好ましい構成として、前記計測部は、前記移動体の速度が前記同期モードによる速度計測可能な上限値に基づいて定められる切替速度以下であるとき前記同期モードを選択し、前記移動体の速度が前記切替速度よりも高いとき前記非同期モードを選択する。
【0013】
このような構成によれば、移動体の速度に応じて同期モードと非同期モードとが選択されるので、移動体の速度が高くなっても速度計測が連続して行われる。
好ましい構成として、前記計測部は、前記非同期モードによって撮影された前記2つの撮影画像において同一の特徴領域の相対的な移動量と前記所定の時間差とに基づいて速度計測を行う。
【0014】
このような構成によれば、非同期モードにおいても、2つの撮影部の撮影画像で重なる範囲の相対位置に基づいて速度ベクトルが取得可能になる。
好ましい構成として、前記計測部は、前記相対的な移動量及び前記所定の時間差に加えて、前記非同期モードの前記2つの撮影画像の撮影範囲の相対関係を考慮して、前記非同期モードの前記2つの撮影画像に基づいて前記速度計測を行う。
【0015】
このような構成によれば、2つの撮影部の各々の撮影画像の撮影範囲にずれが生じても、速度計測が行える。
好ましい構成として、前記計測部は、前記同期モードの前記2つの撮影画像の相対関係を取得した後、前記非同期モードの前記2つの撮影画像に基づく前記速度計測を行う。
【0016】
このような構成によれば、2つの撮影画像の相対関係が同期モードによる撮影で取得されるので、非同期モードのとき2つの撮影画像に基づく速度計測の精度が高くなる。
好ましい構成として、前記計測部は、前記非同期モードの前記2つの撮影画像の撮影範囲の相対関係を、前記2つの撮影部の静的な相対関係による視差として取得する。
【0017】
このような構成によれば、2つの撮影部に生じる視差を考慮して、2つの撮影画像から速度を計測することができる。
上記課題を解決する状態計測装置は、撮影画像に基づいて移動体の速度ベクトルを計測する状態計測装置であって、前記移動体が移動する移動面を前記移動体に固定された3つ以上の撮影部で撮影する移動面撮影部と、前記3つ以上の撮影部のうちで1組を構成するいずれか2つの撮影部の各々の撮影タイミングが一致する同期モードに設定され、他の組を構成するいずれか2つの撮影部の各々の撮影タイミングが所定の時間差を有する非同期モードに設定されており、設定された前記同期モードで撮影された時間差のある2つの撮影画像、又は、設定された前記非同期モードで撮影された時間差のある2つの撮影画像に基づいて前記移動体の速度ベクトルを計測する計測部とを備え、前記計測部は、前記移動体の速度に応じて、前記同期モードで撮影された時間差のある2つの撮影画像、及び、前記非同期モードで撮影された時間差のある2つの撮影画像のうちの少なくとも一方を選択する。
【0018】
上記課題を解決する状態計測方法は、撮影画像に基づいて移動体の速度ベクトルを計測する状態計測装置に用いられる状態計測方法であって、移動面撮影部が、前記移動体が移動する移動面を前記移動体に固定された3つ以上の撮影部で撮影する移動面撮影ステップと、前記3つ以上の撮影部のうちで1組を構成するいずれか2つの撮影部の各々の撮影タイミングが一致する同期モードに設定され、他の組を構成するいずれか2つの撮影部の各々の撮影タイミングが所定の時間差を有する非同期モードに設定されており、計測部が、設定された前記同期モードで撮影された時間差のある2つの撮影画像、又は、設定された前記非同期モードで撮影された時間差のある2つの撮影画像に基づいて前記移動体の速度ベクトルを計測する計測ステップとを備え、前記計測ステップでは、前記移動体の速度に応じて、前記同期モードで撮影された時間差のある2つの撮影画像、及び、前記非同期モードで撮影された時間差のある2つの撮影画像のうちの少なくとも一方を選択する。
【0019】
本構成又は方法によれば、移動体の速度に応じて、連写性能により計測速度が制限される同期モードでの撮影画像による速度計測と、連写性能により計測速度が制限されない非同期モードでの撮影画像による速度計測とが選択できる。これにより、カメラ性能によらず、カメラの撮影画像に基づいて移動体の状態を計測することができる。
【発明の効果】
【0020】
この発明によれば、カメラ性能によらず、カメラの撮影画像に基づいて対象物の状態を計測することができる。
【図面の簡単な説明】
【0021】
【
図1】状態計測装置の一実施形態を示すブロック図。
【
図2】同実施形態において、画像車速算出部を示すブロック図。
【
図3】同実施形態において、車両におけるカメラの配置を示す側面図。
【
図4】同実施形態において、車両におけるカメラの配置を示す正面図。
【
図5】同実施形態において、2つのカメラのそれぞれの低速時及び高速時の撮影タイミングの関係を示す図であって、(a)は高速時に高さ測定を行わないときの関係を示す図、(b)は高速時に高さ測定を行うときの関係を示す図。
【
図6】同実施形態において、撮影タイミングが同じである同期モードの撮影画像を示す図。
【
図7】同実施形態において、撮影タイミングに所定の時間差のある非同期モードで高速時に高さ測定を行わないときの2つの撮影画像を示す図。
【
図8】同実施形態において、撮影タイミングに所定の時間差のある非同期モードと同期モードとにより高速時に高さ測定を行うときの2つの撮影画像の図を示す図。
【
図9】同実施形態において、車速計測の手順の概略を示すフローチャート。
【
図10】同実施形態において、低速時速度算出処理の手順を示すフローチャート。
【
図11】同実施形態において、高速時速度算出処理の手順を示すフローチャート。
【
図12】状態計測装置のカメラが3つであるときの変形例において、撮影画像を示す図。
【
図13】同変形例において、3つのカメラのそれぞれの撮影タイミングの関係を示す図。
【
図14】状態計測装置のカメラが4つあるときの変形例を示すブロック図。
【
図15】同変形例において、撮影タイミングが同じである同期モードと、撮影タイミングに所定の時間差のある非同期モードとの4つの撮影画像を示す図。
【
図16】同変形例において、高速時速度算出処理の手順を示すフローチャート。
【発明を実施するための形態】
【0022】
図1~
図11を参照して、状態計測装置の一実施形態について説明する。本実施形態の状態計測装置1は、移動体に用いられる状態計測装置1である。本実施形態の移動体は、自動車等の車両10である。
【0023】
図1に示すように、車両10は、当該車両10の状態(車両状態)を計測する状態計測装置1を備えている。車両状態としては、車両10が停止又は走行している路面100(
図3参照)に対する車両10の速度(以下、車速と記す)、及び車両10の位置、加速度、旋回等の少なくとも1つが挙げられる。本実施形態では、車両状態は車速であり、対向面は路面100(
図3参照)から構成される。
【0024】
車両10は、GPS(グローバルポジショニングシステム)アンテナ20、移動面撮影部としてのステレオカメラ21、及び車載制御装置25を備える。車載制御装置25は、信号処理部30、記憶部34、切替部35及び出力部40を備える。また、信号処理部30は、GPS車速算出部31と、計測部としての画像車速算出部32と、タイミング設定部33とを備える。
【0025】
また、
図2に示すように、画像車速算出部32は、高さ算出部320と、実長さ算出部321と、低速時速度算出部322と、高速時速度算出部323とを備える。
図1に示すように、GPSアンテナ20は、複数のGPS衛星が送信するGPS信号を受信する。GPSアンテナ20は、受信したGPS信号を信号処理部30に送信する。GPS信号には、GPSアンテナ20の現在の緯度、経度、GPS誤差及び測位時刻等、取得可能な情報が含まれている。
【0026】
図3に示すように、ステレオカメラ21は、2つのカメラで撮影した対象物までの距離を計測する撮影機器である。本実施形態では、ステレオカメラ21は、車両10が停止又は走行している路面100を撮影し、高さ算出部320で路面100までの距離(高さ)を算出する。
【0027】
図4に示すように、具体的には、ステレオカメラ21は、パッシブ型であって、視差を再現するように車両10の幅方向にカメラ間隔を有して配置された撮影部としての第1カメラ22及び撮影部としての第2カメラ23を有している。第1カメラ22及び第2カメラ23は、それぞれ車両10の取り付け位置から路面100を撮影可能であり、例えばCCDカメラやCMOSカメラである。
【0028】
図1に示すように、第1カメラ22及び第2カメラ23は、路面100を撮影するタイミングを規定するタイミング22G,23Gを記憶する記憶部をそれぞれ備える。更に、第1カメラ22及び第2カメラ23の記憶部は、絞り(レンズ絞り値)、シャッター速度、及び、アナログゲイン(感度)の少なくとも一つのパラメータを記憶していてもよい。ステレオカメラ21は、第1カメラ22で第1カメラ画像PC1を撮影し、第2カメラ23で第2カメラ画像PC2を撮影する。ステレオカメラ21は、光軸が平行である第1カメラ画像PC1と第2カメラ画像PC2とに重複して撮影された範囲の静的な相対関係である視差に基づいて、撮影された路面100(
図3参照)までの距離を計測し、計測された距離情報を撮影画像(第1カメラ画像PC1や第2カメラ画像PC2)に対応付ける。
【0029】
図3及び
図4に示すように、第1カメラ22及び第2カメラ23は、路面100に対して垂直方向から撮影可能なように車両10の後部に設けられ、車両10から略垂直方向下方となる路面100を撮影する。また、第1カメラ22及び第2カメラ23は、それらの光軸が互いに平行になるように設けられている。
【0030】
車両10は、路面100とステレオカメラ21との間の距離が走行中の上下振動により逐次変動する。状態計測装置1は、路面100からステレオカメラ21までの距離を逐次算出し、この算出した距離を撮影画像に対応させ、この距離に基づいて撮影範囲のスケールを1画素の長さ(画像1ピクセル当たりの路面100の実際の長さ)で規定する。
【0031】
図1に示すように、ステレオカメラ21は、第1カメラ画像PC1と、第2カメラ画像PC2と、それら画像に対応付けられている距離(高さ)情報とを信号処理部30に送信する。
【0032】
車載制御装置25は、CPU、ROM、RAM、その他の記憶装置からなる記憶部34を有するコンピュータを含み構成されている。車載制御装置25は、ROMや記憶部34に記憶されているプログラムをCPUで演算処理することで、所定の処理である、信号処理部30、切替部35、及び出力部40のそれぞれに必要とされる各演算処理を実行する。
【0033】
記憶部34は、信号処理部30からのデータの読み出しや、書き込みが可能に構成されている。記憶部34は、信号処理部30で実行されるプログラムや、第1カメラ22や第2カメラ23に設定するタイミング22G,23Gの設定値や、ステレオカメラ21から送られた第1カメラ画像PC1や第2カメラ画像PC2等を記憶している。
【0034】
信号処理部30は、車両状態として車速を算出するが、走行位置や加速度を算出してもよい。信号処理部30は、GPSアンテナ20から取得したGPS信号に基づいて走行位置や車速を算出するGPS車速算出部31と、ステレオカメラ21から取得した路面100の撮影画像に基づいて車速を算出する計測部としての画像車速算出部32とを備える。本実施形態では、GPS車速算出部31がGPS信号に基づいて算出した車速がGPS車速であり、画像車速算出部32が路面100の撮影画像に基づいて算出した車速が画像車速である。
【0035】
GPS車速算出部31は、GPS信号に基づいて車両10の現在位置を計測する。具体的には、GPS車速算出部31は、車両10の位置情報として緯度及び経度を算出する。
また、GPS車速算出部31は、GPS信号に基づいて車速を計測する。本実施形態では、GPS衛星から出力されている搬送波のドップラー効果から高精度、かつ、短周期に車速が計測される。また、GPS信号に基づいて車速を計測する他形態として、算出した緯度、経度及び経過時間に基づいて計測する技術もある。
【0036】
図2に示すように、画像車速算出部32は、路面100の撮影画像に基づいて車速を計測する。画像車速算出部32は、撮影画像のピクセル当たりの実際の長さを算出する実長さ算出部321を備える。また、画像車速算出部32は、低速時速度算出部322と高速時速度算出部323とを備えている。
【0037】
実長さ算出部321は、1画素(1ピクセル)に対応する路面100における実際の長さ(実長さ)を算出する。一般に、2つの撮影位置(間隔と姿勢は既知)に2つのカメラが配置されているとき、注目している同一の特徴領域までの距離dは、2つのカメラがそれぞれ撮影した2つのカメラ画像から求められる。具体的には、2つのカメラ間の基線(単に2つのカメラ同士を結んだ線)の長さと、カメラ画像において注目している同一の特徴領域に対する一方のカメラの主光線の角度α1と、他方のカメラの主光線の角度β1とから基線に対する距離dを得る。また、カメラの画角をθ、画像一辺の画素数Qとすれば、基線に対する距離dとともに1画素当たりの実際の長さsが式(1)で求められる。
【0038】
s=2d/Q・tan(θ/2)…(1)
これにより、車両10が実際に移動した距離Lは、カメラ画像上での同一の特徴領域の移動量(画素数)Δpと、式(1)に示される1画素当たりの実際の長さsとの積(式(2))によって求められる。
【0039】
L=Δp・s…(2)
ここで、実長さ算出部321は、路面100から第1カメラ22及び第2カメラ23までの高さ(距離d)を、ステレオカメラ21が撮影した第1カメラ画像PC1や第2カメラ画像PC2に対応付けた視差から取得する。実長さ算出部321は、取得した視差を距離dとして、式(1)に基づいて1画素の実長さを逐次定める。なお、第1カメラ画像PC1、第2カメラ画像PC2それぞれを取得したタイミングで相違する高さが得られたとき、一方の高さを採用してもよいし、平均値を採用するとより好ましい。
【0040】
また、実長さ算出部321は、同期モードで撮影された2つのカメラ画像における同一の特徴領域の位置に基づいて撮影画像の相対関係も算出する。重ね合わせた第1カメラ画像PC1と第2カメラ画像PC2とにおいて同一の特徴領域の間にある位置ずれが相対関係として算出される。
【0041】
低速時速度算出部322及び高速時速度算出部323は、特徴領域のトラッキングに基づき車速を計測する。トラッキングは、撮影タイミングの相違する2つの画像において同一位置を検出することであり、撮影タイミングの間に移動した相対的な移動量を取得可能にする。
【0042】
画像車速算出部32は、車両10の速度に応じて低速時速度算出部322及び高速時速度算出部323の一方を選択する。低速時速度算出部322は、高速時速度算出部323による速度検出よりも低速に対する速度検出精度が高い一方、ステレオカメラ21の連写性能により測定可能な最高速度が制限される。高速時速度算出部323は、低速時速度算出部322による速度検出よりも速度検出精度が低いが、測定可能な最高速度がステレオカメラ21の連写性能によって制限されない。そこで、画像車速算出部32は、車速計測の際、車両10が低速であるとき低速時速度算出部322を選択し、車両10が高速であるとき高速時速度算出部323を選択する。なお、選択の判定に用いられる車速は、画像車速算出部32で測定した車速でもよいし、車両10が他の計測方法で測定した車速でもよい。
【0043】
図1,2,6及び7を参照して、詳述すると、画像車速算出部32による車速計測では、異なるタイミングで撮影された2枚の画像P11,P12の両方に特徴領域TP等のトラッキングの対象となる同一の特徴領域が含まれる必要がある。車速が低ければ、特定の経過時間において両方に含まれる同一の特徴領域は多くなり、逆に、車速が高ければ、特定の経過時間において両方に含まれる同一の特徴領域が少なくなる。よって、車速が高くなることで2つの画像P11,P12での重複範囲が減少し、車速の計測精度が低下するおそれがある。仮に車速が高くなり、重複範囲がなくなると車速を計測できなくなる。車速が高くなったときは、重複範囲が得られるようにステレオカメラ21のフレームレートを高くする必要や、低速時速度算出部322から高速時速度算出部323に切り替える必要がある。
【0044】
画像車速算出部32は、車速が高いため、特徴領域TPが低速時速度算出部322でトラッキングができなくても、高速時速度算出部323でトラッキングを可能にすることで画像車速を測定できる。
【0045】
画像車速算出部32の選択の切替処理は、画像車速算出部32による速度計測ができなくなるタイミングが生じたり、選択がハンチングしたりしないように処理される。例えば、画像車速算出部32は、切り替え用の閾値である切替速度を同期モードによる速度計測が可能な上限値に基づいて定められる。なお、切替速度にヒステリシスを持たせることで、切替速度付近において切り替え処理の選択のハンチングが発生しないようにしてもよい。
【0046】
低速時速度算出部322は、所定の撮影間隔を有する2つの撮影タイミングで撮影された2つの画像における特徴領域TPをトラッキングして得られた2つの像TP1,TP2の撮影画像上の移動距離(相対的な移動量)に基づいて画像車速を計測する。撮影間隔は、連続して撮影するときに1つ目を撮影してから2つ目を撮影するまでに要する時間であって、単位時間に撮影可能な画像の数で表される連写速度の逆数である。なお、低速時速度算出部322は、車速を、第1カメラ画像PC1、又は第2カメラ画像PC2、又は第1カメラ画像PC1と第2カメラ画像PC2とが組み合わされた画像のうち、いずれか一つの時間差のある2つの画像から算出できる。
【0047】
高速時速度算出部323は、所定の時間差で撮影された第1カメラ画像PC1と第2カメラ画像PC2とにおける特徴領域TPをトラッキングして得られた2つの像TP1,TP2の撮影画像上の移動距離(相対的な移動量)に基づいて画像車速を計測する。高速時速度算出部323は、異なる撮影タイミングで、異なるカメラで撮影された第1カメラ画像PC1及び第2カメラ画像PC2を用いて車速を計測する。第1カメラ画像PC1及び第2カメラ画像PC2は、異なる位置に配置されたカメラで撮影されていることから、画像において同一の特徴領域TPが撮影されている位置は相対関係に基づく位置ずれを有する。高速時速度算出部323は、相対関係を考慮して第1カメラ画像PC1及び第2カメラ画像PC2から車速を計測する。例えば、高速時速度算出部323は、相対関係で補正した第1カメラ画像PC1の特徴領域TPの測定位置と、第2カメラ画像PC2の特徴領域TPの測定位置との移動量に基づいて車速を計測する。
【0048】
従来、撮影画像に基づく速度計測は、計測可能な速度が撮影部の連写性能により制限されていた。この点、高速時速度算出部323は、連写性能によって計測速度が制限されない。これにより、カメラ性能によらず、カメラの撮影画像に基づいて車両10の状態を計測できる。
【0049】
図1に示すように、タイミング設定部33は、画像車速算出部32からの指示に応じて、ステレオカメラ21に同期モードと、非同期モードを設定する。同期モードは、第1カメラ22と第2カメラ23とが同じタイミングで撮影するモードである。非同期モードは、第1カメラ22と第2カメラ23とが所定の時間差を有するタイミングで撮影するモードである。
【0050】
信号処理部30は、GPS車速算出部31が算出したGPS車速と、画像車速算出部32による画像車速とのうち、いずれか一方の車速を選択する切替部35を備える。
切替部35は、所定の選択条件に基づいていずれか一方の車速を選択してもよいし、運転者等の指示に基づいていずれか一方の車速を選択してもよい。切替部35は、GPS車速が選択されない条件下においては、画像車速算出部32による画像車速の計測を行う。例えば、GPS車速の精度が低下するトンネルや遮蔽物の多い市街地等では画像車速算出部32による画像速度の計測を行う。
【0051】
出力部40は、切替部35で選択された車速を外部へ出力する。なお、出力部40から出力される画像車速は、車両10の実路走行における走行評価の結果として測定装置に記憶されてもよい。また、表示装置等を介して車速を表示してもよい。
【0052】
図5~
図8を参照して、低速時速度算出部322と高速時速度算出部323とについて詳述する。
図5(a),(b)は、低速時における第1及び第2カメラ22,23の撮影タイミングt11~t14,t21~t24と、高速時における第1及び第2カメラ22,23の撮影タイミングt15~t18,t25~t28とを示している。
【0053】
図5(a),(b)に示すように、車両10が低速であるとき、低速時速度算出部322による速度計測が行われる。このとき、第1カメラ22の各撮影タイミングt11~t14と、第2カメラ23の各撮影タイミングt21~t24とは同じタイミングに設定される。この設定が同期モードである。一方、車両10が高速であるとき、高速時速度算出部323による速度計測が行われる。このとき、第1カメラ22の各撮影タイミングt15~t18と、第2カメラ23の各撮影タイミングt25~t28とは全て又は一部のタイミングが相違するように設定される。この設定が非同期モードである。各撮影タイミングt11~t18はそれぞれ、隣接する他のタイミングとの間に第1カメラ22の連写性能を超えない時間間隔を有する。また、撮影タイミングt21~t28はそれぞれ、隣接する他のタイミングとの間に第2カメラ23の連写性能を超えない時間間隔を有する。
【0054】
このうち、同期モードでは、第1カメラ22の各撮影タイミングt11~t14と、第2カメラ23の各撮影タイミングt21~t24とは同時であって、それぞれのタイミングで組となる画像から高さの計測を行うことができる。
【0055】
一方、
図5(a)に示す非同期モードでは、高さ測定を実施しない場合の撮影タイミングを示しており、第1カメラ22には各撮影タイミングt15~t18が設定され、第2カメラ23には、各撮影タイミングt15~t18から所定の時間差Δtだけ遅延した各撮影タイミングt25~t28が設定される。具体的には、撮影タイミングt25は「t25=t15+Δt」であり、同様に、「t26=t16+Δt」、「t27=t17+Δt」、「t28=t18+Δt」である。
【0056】
また、
図5(b)に示す非同期モードでは、一部のタイミングで高さ測定を実施する場合の撮影タイミングを示している。第1カメラ22には各撮影タイミングt15~t18が設定される。第2カメラ23には、高さ測定を行う撮影タイミングt25,t27が第1カメラ22の撮影タイミングt15,t17と同時に設定される。一方、第2カメラ23には、車速の計測を行う撮影タイミングt26,t28が第1カメラ22の撮影タイミングt16,t18から所定の時間差Δtだけ遅延した時刻で設定される。
【0057】
所定の時間差Δtは、ステレオカメラ21の最小の撮影間隔(最大の連写性能)で定まる時間間隔よりも短い時間である。例えば、2つの撮影タイミングt15,t16が最小の時間間隔であるとき、所定の時間差Δtは、最小の時間間隔よりも短い時間間隔を有する。これにより、撮影タイミングt15における第1カメラ画像PC1と、撮影タイミングt25における第2カメラ画像PC2との比較に基づいて、車両10が高速で走行しているときの車速を計測できる。
【0058】
図6を参照して、低速時の車速計測について説明し、
図7及び
図8を参照して高速時の車速計測について説明する。
図6には、実長さ算出部321の実長さ算出処理や、低速時速度算出部322の速度計測を行うときの、ステレオカメラ21で撮影した各画像P11,P21,P12,P22を示す。なお、第1カメラ22が撮影した第1カメラ画像PC1のうち、最初の撮影タイミングt11に撮影したものが画像P11であり、最初の撮影タイミングt11から所定時間経過後の撮影タイミングt12に撮影したものが画像P12である。同様に、第2カメラ23が撮影した第2カメラ画像PC2のうち、最初の撮影タイミングt21に撮影したものが画像P21であり、最初の撮影タイミングt21から所定時間経過後の撮影タイミングt22に撮影したものが画像P22である。なお、第1カメラ画像PC1と第2カメラ画像PC2とのそれぞれの撮影範囲には、第1カメラ22と第2カメラ23との間にある視差の影響により生じる距離PAの相対位置のずれが生じる。よって、同じ撮影タイミングで撮影された第1カメラ画像PC1と第2カメラ画像PC2とは、路面100にある同一の特徴領域TPの像TP1が重なる態様で合わせられる。つまり、同じ撮影タイミングt11,t21で撮影した2つの画像P11,P21を重ね合わせて1つの画像とし、撮影タイミングt12,t22で撮影した2つの画像P12,P22を重ね合わせて1つの画像とすることもできる。なお、説明の便宜上、画像P12,P22には、最初の撮影タイミングt11,t21で撮影された特徴領域TPの像TP1が破線で示されている。また、視差を表す距離PAは、第1カメラ22と第2カメラ23との相対的な位置関係が既知であれば、路面100からのカメラの高さにより特定される。よって、カメラの高さは、同期モードの撮影画像の視差を表す距離PAから算出できる。
【0059】
なお、以下、
図6の説明では、説明の便宜上、第1カメラ22で撮影された画像P11,P12を例にして説明する。撮影タイミングt11では、特徴領域TPの像TP1を含んでいる路面100が撮影された画像P11が得られ、撮影タイミングt12では、特徴領域TPの像TP2を含んでいる路面100が撮影された画像P12が得られる。
【0060】
画像P12では、撮影タイミングt11から撮影タイミングt12の間に車両10が移動した距離に応じて、特徴領域TPの像TP1と像TP2との位置が撮影範囲内で移動している。2つの画像P11,P12の間で、2つの像TP1,TP2は横方向のピクセル変位Δx1と進行方向のピクセル変位Δy1とを有している。よって、車両10の移動距離は、横方向が横方向のピクセル変位Δx1に実際の長さsを掛けた値であり、進行方向が進行方向のピクセル変位Δy1に実際の長さsを掛けた値である。車両10の移動速度は、移動距離を撮影間隔で除した値である。画像車速算出部32は、2つの2次元の画像P11,P12から特徴領域TPの変位ベクトルや、路面100に対する車両10の速度ベクトルを算出する。
【0061】
図7に示すように、高速時速度算出部323が速度計測を行うとき、撮影タイミングt15では、第1カメラ22が路面100を撮影した画像P15が得られる。また、撮影タイミングt15より所定の時間差Δtだけ遅延した撮影タイミングt25では、第2カメラ23が路面100を撮影した画像P25が得られる。画像P15は第1カメラ画像PC1であり、画像P25は第2カメラ画像PC2である。
図7では、画像P25には、第2カメラ23で撮影された路面100上の特徴領域TPの像TP2に加えて、予想されるカメラの高さに応じた視差を表す距離PAを加味し、第1カメラ22で撮影した画像P15を重ねたときの特徴領域TPの像TP1が破線で示されている。
【0062】
画像P25では、特徴領域TPの像TP2と、画像P15の特徴領域TPの像TP1との間に、視差が考慮された横方向のピクセル変位Δx5、及び進行方向のピクセル変位Δy5が得られる。つまり、画像上の車両10の変位は、横方向のピクセル変位Δx5及び進行方向のピクセル変位Δy5である。よって、所定の時間差Δtにおける車両10の移動距離は、横方向が横方向のピクセル変位Δx5に実際の長さsを掛けた値であり、進行方向が進行方向のピクセル変位Δy5に実際の長さsを掛けた値である。この値から、車両10の移動速度、変位ベクトルや速度ベクトルも算出できる。
【0063】
同様に、撮影タイミングt16で得られた画像P16及び撮影タイミングt26で得られた画像P26から、車両10の変位である横方向のピクセル変位Δx6及び進行方向のピクセル変位Δy6が得られ、車速等を算出できる。
【0064】
図5(b)に示すように、高速時に高さ測定も行うとき、同時である撮影タイミングt15,t25のときと、同時である撮影タイミングt17,t27のときとで高さ測定を行う。
【0065】
例えば、
図8に示すように、ステレオカメラ21で撮影した2つの2次元の画像P15,P25から特徴領域TPの像TP1の距離PAに基づいて高さ(実長さ)を算出する。
また、同時でない撮影タイミングt16の画像P16と撮影タイミングt26の画像P26とで車速の測定を行う。
【0066】
このとき、高さ測定から車速測定までの経過時間で高さが変化するおそれがあるため、車速測定の精度が多少低下する可能性はあるが、高速時に高さ測定と車速の測定とがステレオカメラ21の撮影画像で行えるため利便性は高い。
【0067】
状態計測装置の速度計測の手順について
図9~
図11のフローチャートを参照して説明する。なお、「GPS車速」についての説明は割愛する。
まず、
図9を参照して、画像車速の算出手順の概略について説明する。画像車速算出部32は、画像車速の算出が開始されると初回速度算出処理を行う(
図9のステップS10)。初回速度算出処理では、概略的には、1ピクセル当たりの実長さ(実際の長さs)が算出されるとともに、撮影タイミングの相違する2つの画像において同一位置の相対的な移動量から車速を測定する。詳細には、初回速度算出処理は、後に説明する高速時速度算出処理(
図9のステップS40)と同じ処理であって、第1カメラ22と第2カメラ23の撮影タイミングについて、想定される速度域、あるいは最高の速度域を計測可能な時間差Δtを用いて撮影した画像から速度算出する。
【0068】
次に、画像車速算出部32は、車両10の速度が所定値以下か否かを判定する(
図9のステップS20)。ここで所定値は、上述した切替速度である。つまり、画像車速算出部32は、同期モード(低速時速度算出部322用)、及び、非同期モード(高速時速度算出部323用)のいずれか一方を車速に応じて撮影タイミングとして選択する。
【0069】
画像車速算出部32は、車両10の速度が所定値以下であると判定した場合(
図9のステップS20でYES)、低速時速度算出部322で同期モードでの撮影画像に基づく低速時速度算出処理を行う(
図9のステップS30)。
【0070】
一方、画像車速算出部32は、車両10の速度が所定値よりも高いと判定した場合(
図9のステップS20でNO)、高速時速度算出部323で非同期モードでの撮影画像に基づく高速時速度算出処理を行う(
図9のステップS40)。
【0071】
画像車速算出部32は、低速時速度算出処理、又は、高速時速度算出処理が終了すると、画像車速の算出を終了するか、否かを判定する(
図9のステップS51)。画像車速算出部32は、GPS車速への切り替えが行われるときや、車両10が駐車したとき等、画像車速の算出を終了すると判断した場合(
図9のステップS51でYES)は画像車速の算出を終了する。
【0072】
画像車速算出部32は、画像車速の算出を終了しないと判定した場合(
図9のステップS51でNO)、車両10の速度が所定値以下か否かの判定(
図9のステップS20)に処理を戻し、画像車速の算出を続ける。
【0073】
図10に示すように、低速時速度算出処理では、実長さ算出部321が1ピクセル当たりの実際の長さsを算出し、低速時速度算出部322が同期モードの撮影間隔で撮影した2つの画像に基づいて画像車速を算出する。
【0074】
画像車速算出部32は、低速時速度算出処理が開始されると、第1カメラ22と第2カメラ23との撮影タイミングを同期モードに設定する撮影タイミング設定(同期モード)(
図10のステップS11)を行う。また、撮影間隔も一定に定められる。画像車速算出部32は、同期モードのステレオカメラ21で路面100を撮影する(同時)(
図10のステップS12)。画像車速算出部32は、撮影したカメラ画像に対して前処理(
図10のステップS13)を行う。前処理は、各カメラ画像を、高さ測定やトラッキング等の画像処理に適した状態とする処理であり、例えば、ゲイン調整、歪み補正、ビニング、及び、トリミング等のうちの1つ又は複数の処理である。そして、画像車速算出部32は、実長さ算出部321が第1カメラ画像PC1及び第2カメラ画像PC2から1ピクセル当たりの路面100における実際の長さsを算出する(
図10のステップS14)。算出した実際の長さsは、演算可能に一時記憶される。また、実長さ算出部321は、同期モードで撮影された測定位置に基づいて撮影画像の相対関係も算出される。
【0075】
また、画像車速算出部32は、第1ステレオカメラ21で撮影された画像P11,P12の各特徴領域TPの像TP1,TP2の位置を特定する(
図10のステップS15)。
そして、画像車速算出部32は、撮影間隔を有する2つの画像(例えば、画像P11,P12)の各特徴領域TPの像TP1,TP2の位置に基づいて速度ベクトルを算出する(
図10のステップS31)。このとき、画像P11は、メモリ上に保持した前回の撮影タイミングで得た画像である。これにより、低速時速度算出処理が完了する。
【0076】
図5(b)の撮影タイミングを例にして、高速時速度算出処理を説明する。
図11に示すように、高速時速度算出処理では、高速時速度算出部323が非同期モードで撮影した2つの画像に基づいて画像車速を計測する。なお、
図10に記載のステップと同様の処理には
図10に記載のステップ番号と同じステップ番号を付している。
【0077】
高速時速度算出処理が開始されると、画像車速算出部32は、撮影タイミングを同期モードにする撮影タイミング設定(同期モード)(
図11のステップS11)と、路面画像の撮影(同時)(
図11のステップS12)と、撮影したカメラ画像に対して前処理(
図11のステップS13)とを行う。そして、画像車速算出部32は、実長さ算出部321が1ピクセル当たりの路面100における実際の長さsを算出する(
図11のステップS14)。続いて、画像車速算出部32は、撮影タイミングを非同期モードにする撮影タイミング設定(非同期モード)(
図11のステップS41)と、第1カメラ22と第2カメラ23とで時間差を有する路面100の画像撮影(時間差)(
図11のステップS42)とを行う。また、画像車速算出部32は、撮影したカメラ画像に対して前処理(
図11のステップS43)を行う。なお、ステップS43の前処理は、ステップS13の前処理と同様の処理を含んでいる。また、画像車速算出部32は、第1ステレオカメラ21で撮影された画像P16,P26の各特徴領域TPの像TP1,TP2の位置を特定する(
図11のステップS44)。そして、画像車速算出部32は、所定の時間差を有する2つの画像(例えば、画像P16,P26)の各特徴領域TPの像TP1,TP2の位置に基づいて速度ベクトルを算出する(
図11のステップS45)。画像車速算出部32は、速度ベクトルを算出する際、2つの撮影画像における相対関係を考慮する。そして、高速時速度算出処理が完了する。
【0078】
以上説明したように、本実施形態によれば、以下に記載する効果が得られる。
(1)車両10の速度に応じて、連写性能により計測速度が制限される同期モードによる速度計測と、連写性能による計測速度の制限がない非同期モードによる速度計測とが選択できる。例えば、車速が高くて同期モードでは2つのカメラ画像にトラッキング対象となる同一の特徴領域が含まれず速度計測ができないとき、非同期モードによる速度計測を行うことができる。これにより、カメラ性能によらず、カメラの撮影画像に基づいて車両10の速度を計測できる。
【0079】
(2)車両10の速度に応じて同期モードと非同期モードとが選択されるので、車両10の速度が高くなっても速度計測が連続して行われる。
(3)非同期モードにおいても、第1カメラ画像PC1及び第2カメラ画像PC2の撮影画像で重なる範囲の相対位置に基づいて速度ベクトルが取得可能になる。
【0080】
(4)第1カメラ画像PC1及び第2カメラ画像PC2の視差を相対関係として考慮するので、第1カメラ画像PC1及び第2カメラ画像PC2の撮影範囲にずれが生じても、速度計測が行える。
【0081】
(5)第1カメラ画像PC1及び第2カメラ画像PC2の視差が同期モードによる撮影で取得されるので、非同期モードのとき第1カメラ画像PC1及び第2カメラ画像PC2に基づく速度計測の精度が高くなる。
【0082】
(6)第1カメラ22及び第2カメラ23に生じる視差を相対関係として考慮して、第1カメラ画像PC1及び第2カメラ画像PC2から速度を計測することができる。
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施できる。
【0083】
・上記実施形態では、第1カメラ22と第2カメラ23との2つのカメラで車速を測定する場合について例示した。しかし、これに限らず、3つのカメラを利用することで車速の測定精度を高めるようにしてもよい。
【0084】
図12に示すように、第1カメラ22、第2カメラ23、及び第3カメラ24を備えていてもよい。このとき、第1カメラ22と第2カメラ23とのセットで同期モードのステレオカメラ21を構成し、第2カメラ23と第3カメラ24とのセットで非同期モードのステレオカメラ120を構成してもよい。カメラ3台使用でステレオカメラを2セットとする構成が得られる。
【0085】
すなわち、
図13に示すように、第1カメラ22の各撮影タイミングt11~t18と第2カメラ23の各撮影タイミングt21~t28とは同時である。一方、第3カメラ24の各撮影タイミングt31~t38は、第2カメラ23の各撮影タイミングt21~t28から所定の時間差Δtだけ遅延したタイミングである。
【0086】
図12に示すように、例えば、撮影タイミングt15,t25で、第1カメラ22が特徴領域TPの像TP1を含んでいる路面100を撮影した画像P15と、第2カメラ23が特徴領域TPの像TP1を含んでいる路面100を撮影した画像P25とが取得される。撮影タイミングt35で、第3カメラ24が特徴領域TPの像TP2を含んでいる路面100を撮影した画像P35が取得される。なお、画像P35には、第3カメラ24で撮影された特徴領域TPの像TP2に加えて、第2カメラ23で撮影された特徴領域TPの像TP1が破線で示されている。
【0087】
撮影タイミングt15,t25でのカメラの高さが、2つの画像P15,P25の間の横方向に生じる視差に対応する距離PA1に基づいて算出される。
また、撮影タイミングt35でのカメラの高さが撮影タイミングt15における高さから変化していないとして、2つの画像P25,P35の間の横方向に生じる視差に対応する距離PA2を撮影タイミングt15における高さから算出することもできる。
【0088】
このようにすれば、車両10の移動距離は、視差による距離PA2を考慮した画像P25の特徴領域TPの像TP1と、画像P35の特徴領域TPの像TP2とから得られる横方向のピクセル変位Δx5’と進行方向のピクセル変位Δy5’とに実際の長さsを掛けた値として得られる。
【0089】
詳述すると、上記実施形態のようにカメラを3台使用することで、同期撮影による高さ情報取得と、非同期撮影による所定の時間差Δtのある画像の取得とをカメラのフレームレートよりも早く設定することができて、高速度でも高性能なカメラを使用しない車速の測定が可能になる。別途高さを取得する手段がない場合、高速時は撮影タイミングを同期モードと非同期モードとを連続的に切り替えなければならないことにより速度のサンプルレートの低下が避けられない。また、非同期撮影時のカメラの高さとして、同期撮影のカメラの高さを使うため、車速の測定に誤差を生じるおそれもある。この点、この構成によれば、3つのカメラを利用することで同期モードと非同期モードの切り替えを不要としつつ、撮影タイミング毎に同期撮影と非同期撮影とを行うことができるため、速度のサンプルレートが低下しない。
【0090】
・上記実施形態では、ステレオカメラ21がカメラ3台使用の2セットである場合について例示したが、これに限らず、ステレオカメラが複数台あってもよい。
図14に示すように、状態計測装置1は、ステレオカメラ21を第1ステレオカメラとしたとき、第2ステレオカメラ121をさらに備えている。第1ステレオカメラ21は、第1カメラ22及び第2カメラ23を有し、第2ステレオカメラ121は、第1カメラ122及び第2カメラ123を有する。タイミング設定部33は、第2ステレオカメラ121の第1カメラ122及び第2カメラ123にもそれぞれタイミング122G,123Gを設定することができる。このとき、第1ステレオカメラ21及び第2ステレオカメラ121をそれぞれ同期モードに設定するとともに、第1ステレオカメラ21の撮影タイミングと第2ステレオカメラ121の撮影タイミングとの間には非同期モードに対応する時間差を設ける。
【0091】
図15に示すように、第1ステレオカメラ21で撮影した画像P15,P25から第1カメラ22と第2カメラ23との視差を得る。次に、第2ステレオカメラ121で撮影した画像P35,P45から第1カメラ122と第2カメラ123との視差を得る。これにより、第1ステレオカメラ21の第2カメラ23と、第2ステレオカメラ121の第2カメラ123との間の視差PDを算出することができる。他にも、第1ステレオカメラ21に含まれるカメラと第2ステレオカメラ121に含まれるカメラとの間にも視差がある。よって、これらの各視差に起因する各差分以外の差分を車両10の移動に伴う変位として得て、この変位に基づいて車両10の速度を計測してもよい。
【0092】
図15及び
図16に示すように、高速時速度算出処理では、画像車速算出部32の高速時速度算出部323が非同期モードで撮影した複数の画像から選択した撮影タイミングの相違する2つの画像に基づいて画像車速を計測する。
【0093】
高速時速度算出処理が開始されると、画像車速算出部32は、撮影タイミング設定(
図16のステップS61)を行う。このとき、第1ステレオカメラ21の第1カメラ22と第2カメラ23とに対しては同期モードが設定され、第2ステレオカメラ121の第1カメラ122と第2カメラ123に対しても同期モードが設定される。さらに、第1ステレオカメラ21と第2ステレオカメラ121との間には非同期モードが設定される。
【0094】
画像車速算出部32は、第1ステレオカメラ21と第2ステレオカメラ121とで時間差を有する路面100の画像の撮影(時間差)(
図16のステップS62)を行う。例えば、第1ステレオカメラ21は撮影タイミングt15,t25で画像P15,P25を撮影し、第2ステレオカメラ121は撮影タイミングt35,t45で画像P35,P45を撮影する。また、画像車速算出部32は、撮影したカメラ画像に対して前処理(
図16のステップS63)を行う。この前処理は、各画像に対して
図10に記載のステップS13と同様の処理を行う。
【0095】
また、画像車速算出部32は、画像P15,P25に基づいて第1ステレオカメラ21の高さ等を算出し(
図16のステップS64)、続いて画像P35,P45に基づいて第2ステレオカメラ121の高さ等を算出する(
図16のステップS65)。また、画像車速算出部32は、
図10のステップS14と同様に、1ピクセル当たりの路面100における実際の長さsを算出する(
図16のステップS661)。
【0096】
そして、画像車速算出部32は、第1ステレオカメラ21で撮影された画像P15、又は画像P25の特徴領域TPの像TP1の位置、及び第2ステレオカメラ121で撮影された画像P35、又は画像P45の特徴領域TPの像TP2の位置を特定する(
図16のステップS66)。各画像P15,P25,P35,P45において特徴領域TPは、路面100上の同一の領域である。
【0097】
第1ステレオカメラ21と第2ステレオカメラ121とは、相対位置関係は既知である。よって、画像車速算出部32は、画像P15又は画像P25に撮影されている特徴領域TPの像TP1の位置と、画像P35又は画像P45に撮影されている特徴領域TPの像TP2の位置とを比較して、各視差に起因する相対位置関係の相違以外として得られる車両10の変位に基づいた速度ベクトルを算出する(
図16のステップS67)。例えば、車両10の変位が、横方向のピクセル変位Δx5”及び進行方向のピクセル変位Δy5”として取得される。よって、所定の時間差Δtにおける車両10の移動距離のうち横方向は横方向のピクセル変位Δx5”に実際の長さsを掛けた値として得られ、進行方向は進行方向のピクセル変位Δy5”に実際の長さsを掛けた値として得られる。そして、高速時速度算出処理が完了する。
【0098】
・車載制御装置25は、信号処理部30や、切替部35や、出力部40の処理を実行するプログラムを有するパーソナルコンピュータ(PC)等であってもよい。
また、一旦、記憶部34に記憶した画像情報に基づいて事後に車速を計測してもよい。
【0099】
・上記実施形態では、第1カメラ22及び第2カメラ23が記憶部にタイミング22G,23Gを保持している場合を示した。これに限らず、ステレオカメラが全体として制御可能であったり、車載制御装置から制御可能であったりするならば、カメラにタイミングが保持されていなくてもよい。
【0100】
・上記実施形態では、状態計測装置1は、GPS車速算出部31と画像車速算出部32とを備える場合を示した。これに限らず、状態計測装置は、GPS車速算出部31を備えていなくてもよい。
【0101】
・上記実施形態では、同期モードに基づく実長さ算出処理でステレオカメラ21と路面100との距離(高さ)を算出する場合を示した。これに限らず、高さが予め設定された値であってもよい。この場合、
図5(a)の非同期モードであるときの撮影タイミングで速度ベクトルを計測することができる。
【0102】
・また、距離(高さ)は光学式の距離計、レーザ式の距離計、超音波式の距離計等で計測してもよい。この場合、
図5(a)の非同期モードであるときの撮影タイミングで速度ベクトルを計測することができる。
【0103】
・上記実施形態では、相対関係が静的な視差である場合について例示した。しかし、相対関係は、同一の特徴領域を撮影した2つの撮影画像において、同一の特徴領域の撮影範囲における配置位置の相対関係として得られるものであれば、それが静的な視差に起因するものでなくてもよい。
【0104】
・上記実施形態では、相対関係とする距離PAが横方向のピクセル変位である場合について例示した。しかしこれに限らず、相対関係は、進行方向のピクセル変位であってもよいし、横方向のピクセル変位及び進行方向のピクセル変位であってもよい。得られた相対関係で特徴領域を補正することで相対関係の影響を考慮して速度を計測できる。
【0105】
・上記実施形態では、同期モードのときの画像に基づいて、第1カメラ22と第2カメラ23との視差に起因する距離PAを相対関係として計測する場合について例示した。しかしこれに限らず、移動面に対してカメラの高さや姿勢が変動しなければ相対関係を設定値としてもよい。
【0106】
・上記実施形態では、実長さ算出部321が路面100における実際の長さと、2つの撮影画像の相対的な関係とをセットで算出する場合について例示した。しかしこれに限らず、実際の長さと、2つの撮影画像の相対的な関係とを必要に応じて別々に算出してもよい。
【0107】
・上記実施形態では、車速が切替速度以下にあるとき低速時速度算出部322で画像車速の計測を行い、車速が切替速度を超えると高速時速度算出部323で画像車速の計測を行う場合を示した。これに限らず、低速時速度算出部による画像車速の計測を行わず、高速時速度算出部による画像車速の計測のみを行ってもよい。
【0108】
例えば、ステレオカメラを速度計測以外にも利用するとき、通常の同期モードでの撮影画像は、速度計測以外に利用し、速度計測のときには非同期モードとするようにしてもよい。ステレオカメラは、速度計測以外にも路面状態の検査等に用いることができる。これにより、車両に設置されたステレオカメラを、カメラ性能によらず、カメラの撮影画像に基づいて移動体の状態を計測できる。
【0109】
・上記実施形態では、実長さ算出部321で1ピクセル当たりの実際の長さを測定する場合について例示したが、これに限らず、高さ変動が無いか、又は、小さければ、1ピクセル当たりの実際の長さが予め設定されていてもよい。
【0110】
・上記実施形態では、ステレオカメラ21の光軸が路面100に対して略垂直である場合を示した。これに限らず、ステレオカメラは、路面の模様をトラッキング可能な程度に撮影できれば、光軸が路面に対して略垂直ではなくてもよい。例えば、路面に対するカメラの光軸が、車両の前後方向に傾きを有していたり、車両の幅方向に傾きを有していたりしてもよい。こうした傾きによる影響は、傾きを考慮した演算処理等により適切に処理可能であり、傾きを補正する演算により垂直である場合と同様に処理できる。
【0111】
・ステレオカメラ21は、車両10の後部に設置される場合に限られず、路面100の撮影が可能ならば車両10の前方、車両10の側方、車両10の底面の少なくとも1か所に設けられていてもよい。
【0112】
・上記実施形態では、ステレオカメラ21の2つのカメラは車幅方向にカメラ間隔を有して配置される場合を示したが、これに限らず、カメラの路面からの高さ及び車速を計測できれば、カメラが車長方向など、車幅方向以外にカメラ間隔を空けて配置されてもよい。
【0113】
・上記実施形態では、ステレオカメラ21は、パッシブ型である場合を示した。これに限らず、ステレオカメラは、レーザ発振器から照射したレーザ光をカメラで受光し、この受光したレーザ光の変位に基づいて計測するアクティブ型であってもよい。
【0114】
・上記実施形態では、状態計測装置1は、車速を計測する場合を示したが、これに限らず、状態計測装置1は、車速に基づいて計測できる走行位置や加速度を計測してもよい。
・上記実施形態では、状態計測装置1は、車両10の状態を計測する場合を示したが、これに限らず、状態計測装置1は、路面や床面等を移動する移動体の速度等の状態を計測してもよい。あるいは、状態計測装置1を床面等に設置し、状態計測装置1のカメラの撮影範囲を通過する車両10の状態を計測してもよい。
【符号の説明】
【0115】
1…状態計測装置、10…車両、20…GPSアンテナ、21…ステレオカメラ、22…第1カメラ、23…第2カメラ、25…車載制御装置、30…信号処理部、31…GPS車速算出部、32…画像車速算出部、33…タイミング設定部、34…記憶部、35…切替部、40…出力部、100…路面、121…ステレオカメラ、122…第1カメラ、123…第2カメラ、320…高さ算出部、321…実長さ算出部、322…低速時速度算出部、323…高速時速度算出部。