特許 6184447 推定装置及び推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6184447

(24)【登録日】2017年8月4日

(45)【発行日】2017年8月23日

(54)【発明の名称】推定装置及び推定プログラム

(51)【国際特許分類】

   G01B 11/26 20060101AFI20170814BHJP

   G06T 1/00 20060101ALI20170814BHJP

   G06T 7/60 20170101ALI20170814BHJP

【ＦＩ】

   G01B11/26 H

   G06T1/00 330Z

   G06T7/60 150Z

【請求項の数】8

【全頁数】15

(21)【出願番号】特願2015-139792(P2015-139792)

(22)【出願日】2015年7月13日

(65)【公開番号】特開2017-20942(P2017-20942A)

(43)【公開日】2017年1月26日

【審査請求日】2016年7月21日

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(73)【特許権者】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(74)【代理人】

【識別番号】100079049

【弁理士】

【氏名又は名称】中島 淳

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(72)【発明者】

【氏名】渡邉 章弘

(72)【発明者】

【氏名】片岡 祐介

(72)【発明者】

【氏名】酒井 唯史

(72)【発明者】

【氏名】川嵜 直輝

【審査官】 梶田 真也

(56)【参考文献】

【文献】 特開２０１２−０２６９９２（ＪＰ，Ａ）

【文献】 特開２００６−０１２１９１（ＪＰ，Ａ）

【文献】 李 博 ほか著，車間距離計測のための車載単眼カメラを用いたピッチ角推定，映像情報メディア学会誌，日本，２０１５年 ３月，第69巻, 第4号，p. J169- J176

【文献】 Li, Bo et al.，PITCH ANGLE ESTIMATION USING A VEHICLE-MOUNTED MONOCULAR CAMERA FOR RANGE MEASUREMENT，2014 12th International Conference on Signal Processing，IEEE，２０１４年１０月，p. 1161-1168

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００ − １１／３０

Ｂ６０Ｒ １／００ − １／０４

Ｂ６０Ｒ １／０８ − １／１２

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ９／４０

(57)【特許請求の範囲】

【請求項1】

車両に設けられ、該車両の前方及び後方の少なくとも一方の画像を撮像する撮像手段と、
第１時刻に前記撮像手段により撮像された画像内の所定領域の位置、及び前記第１時刻より後の第２時刻に前記撮像手段により同一方向に対して撮像された画像内の前記所定領域に対応する領域の位置に基づいて、前記所定領域の垂直方向の移動量を算出する算出手段と、
前記算出手段により前記移動量が算出される毎に、該移動量の積算値を算出する積算手段と、
過去の所定期間内における前記積算手段により算出された前記移動量の積算値の時系列データに基づいて、前記積算手段により算出された現時点の前記積算値を補正する補正手段と、
前記補正手段により補正された前記積算値に基づいて、前記車両のピッチ角を推定する推定手段と、
を含む推定装置。

【請求項2】

前記補正手段は、前記移動量の積算値の時系列データの平均値を補正量として用いて現時点の前記積算値を補正する
請求項１記載の推定装置。

【請求項3】

前記補正手段は、前記移動量の積算値の時系列データを近似して得られる外挿値を、補正量として算出し、該補正量を用いて現時点の前記積算値を補正する
請求項１記載の推定装置。

【請求項4】

前記補正手段は、前記移動量の積算値の時系列データと、前記積算手段により算出された現時点の前記積算値とに基づいて、現時点における定常状態からの前記画像の垂直方向のずれ量として、補正した現時点の前記積算値を算出する
請求項１から請求項３の何れか１項記載の推定装置。

【請求項5】

前記所定領域は、遠近法における消失点を含む領域とされている
請求項１から請求項４の何れか１項記載の推定装置。

【請求項6】

前記補正手段は、補正する時点が遅くなるほど前記所定期間を長い期間として、現時点の前記積算値を補正する
請求項１から請求項５の何れか１項記載の推定装置。

【請求項7】

前記算出手段は、パターンマッチングにより前記第１時刻の前記所定領域に対応する前記第２時刻の前記所定領域を探索した後に、前記移動量を算出する
請求項１から請求項６の何れか１項記載の推定装置。

【請求項8】

コンピュータを、
車両に設けられ、該車両の前方及び後方の少なくとも一方の画像を撮像する撮像手段により第１時刻に撮像された画像内の所定領域の位置、及び前記第１時刻より後の第２時刻に前記撮像手段により同一方向に対して撮像された画像内の前記所定領域に対応する領域の位置に基づいて、前記所定領域の垂直方向の移動量を算出する算出手段と、
前記算出手段により前記移動量が算出される毎に、該移動量の積算値を算出する積算手段と、
過去の所定期間内における前記積算手段により算出された前記移動量の積算値の時系列データに基づいて、前記積算手段により算出された現時点の前記積算値を補正する補正手段と、
前記補正手段により補正された前記積算値に基づいて、前記車両のピッチ角を推定する推定手段と、
として機能させるための推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、推定装置及び推定プログラムに係り、特に、車両のピッチ角を推定する推定装置及び推定プログラムに関する。

【背景技術】

【0002】

従来、車両に設けられた撮像手段により異なる時刻に撮像された複数の画像に基づいて、車両のピッチ角を推定する技術が提案されている。この技術では、上記複数の画像に基づいて、上記撮像手段の移動方向を示す並進ベクトルと、上記撮像手段の姿勢のピッチ方向の角度変化量を示す回転行列を算出する。

【0003】

また、この技術では、上記並進ベクトルの向きに基づいて第１ピッチ角推定値を逐次算出すると共に、上記回転行列により示される角度変化量を積算することによって第２ピッチ角推定値を算出する。そして、この技術では、所定期間における第１ピッチ角推定値の平均値と第２ピッチ角推定値の平均値との偏差に応じて第２ピッチ角推定値を補正することにより、車両のピッチ角の推定値を決定する。

【先行技術文献】

【非特許文献】

【0004】

【特許文献1】特開２０１２−０２６９９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記特許文献１の技術では、上記並進ベクトルが路面に平行であるという制約に基づいて車両のピッチ角を推定している。従って、上記特許文献１の技術では、並進ベクトルの大きさが比較的小さい場合、すなわち、車両の速度が比較的低い場合は、車両のピッチ角を精度良く推定することができない。

【0006】

本発明は、以上の事情に鑑みてなされたものであり、車両の速度が比較的低い場合であっても、車両のピッチ角を精度良く推定することができる推定装置及び推定プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明に係る推定装置は、車両に設けられ、該車両の前方及び後方の少なくとも一方の画像を撮像する撮像手段と、第１時刻に前記撮像手段により撮像された画像内の所定領域の位置、及び前記第１時刻より後の第２時刻に前記撮像手段により同一方向に対して撮像された画像内の前記所定領域に対応する領域の位置に基づいて、前記所定領域の垂直方向の移動量を算出する算出手段と、前記算出手段により前記移動量が算出される毎に、該移動量の積算値を算出する積算手段と、過去の所定期間内における前記積算手段により算出された前記移動量の積算値の時系列データに基づいて、前記積算手段により算出された現時点の前記積算値を補正する補正手段と、前記補正手段により補正された前記積算値に基づいて、前記車両のピッチ角を推定する推定手段と、を含む。

【0008】

本発明に係る推定プログラムは、コンピュータを、車両に設けられ、該車両の前方及び後方の少なくとも一方の画像を撮像する撮像手段により第１時刻に撮像された画像内の所定領域の位置、及び前記第１時刻より後の第２時刻に前記撮像手段により同一方向に対して撮像された画像内の前記所定領域に対応する領域の位置に基づいて、前記所定領域の垂直方向の移動量を算出する算出手段と、前記算出手段により前記移動量が算出される毎に、該移動量の積算値を算出する積算手段と、過去の所定期間内における前記積算手段により算出された前記移動量の積算値の時系列データに基づいて、前記積算手段により算出された現時点の前記積算値を補正する補正手段と、前記補正手段により補正された前記積算値に基づいて、前記車両のピッチ角を推定する推定手段と、として機能させるためのプログラムである。

【0009】

本発明によれば、算出手段によって、車両に設けられ、該車両の前方及び後方の少なくとも一方の画像を撮像する撮像手段により第１時刻に撮像された画像内の所定領域の位置、及び前記第１時刻より後の第２時刻に前記撮像手段により同一方向に対して撮像された画像内の前記所定領域に対応する領域の位置に基づいて、前記所定領域の垂直方向の移動量が算出される。

【0010】

また、積算手段によって、前記算出手段により前記移動量が算出される毎に、該移動量の積算値が算出される。そして、補正手段によって、過去の所定期間内における前記積算手段により算出された前記移動量の積算値の時系列データに基づいて、前記積算手段により算出された現時点の前記積算値が補正される。さらに、推定手段によって、前記補正手段により補正された前記積算値に基づいて、前記車両のピッチ角が推定される。

【0011】

このように、本発明によれば、過去の所定期間内における上記積算値の時系列データに基づいて、現時点の積算値を補正しているので、車両の速度が比較的低い場合であっても、車両のピッチ角を精度良く推定することができる。

【0012】

本発明の推定装置は、前記補正手段が、前記移動量の積算値の時系列データの平均値を補正量として用いて現時点の前記積算値を補正してもよい。

【0013】

本発明の推定装置は、前記補正手段が、前記移動量の積算値の時系列データを近似して得られる外挿値を、補正量として算出し、該補正量を用いて現時点の前記積算値を補正してもよい。

【0014】

本発明の推定装置は、前記補正手段が、前記移動量の積算値の時系列データと、前記積算手段により算出された現時点の前記積算値とに基づいて、現時点における定常状態からの前記画像の垂直方向のずれ量として、補正した現時点の前記積算値を算出してもよい。

【0015】

本発明の推定装置は、前記所定領域が、遠近法における消失点を含む領域とされていてもよい。

【0016】

本発明の推定装置は、前記補正手段が、補正する時点が遅くなるほど前記所定期間を長い期間として、現時点の前記積算値を補正してもよい。

【0017】

本発明の推定装置は、前記算出手段が、パターンマッチングにより前記第１時刻の前記所定領域に対応する前記第２時刻の前記所定領域を探索した後に、前記移動量を算出してもよい。

【0018】

なお、本発明に係る推定プログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。さらにまた、該推定プログラムを、ネットワークに接続されたサーバ等からダウンロードしてもよい。

【発明の効果】

【0019】

本発明によれば、車両の速度が比較的低い場合であっても、車両のピッチ角を精度良く推定することができる、という効果が得られる。

【図面の簡単な説明】

【0020】

【図1】第１の実施の形態に係る推定装置の構成を示すブロック図である。

【図2】第１の実施の形態に係る撮像部による撮像により得られた画像内の所定領域の垂直方向における移動量の説明に供する概略図である。

【図3】第１の実施の形態に係る移動量の積算値の時系列データを示すグラフである。

【図4】第１の実施の形態に係る補正量の算出処理の説明に供するグラフである。

【図5】第１の実施の形態に係る垂直方向のずれ量の時系列データを示すグラフである。

【図6】各実施の形態に係る定常状態における垂直方向のずれ量の算出処理の説明に供する概略図である。

【図7】第１の実施の形態に係る推定処理の流れを示すフローチャートである。

【図8】第２の実施の形態に係る推定装置の構成を示すブロック図である。

【図9】第２の実施の形態に係るオプティカルフローの算出処理の説明に供する概略図である。

【図10】第２の実施の形態に係る移動量の積算値の時系列データを示すグラフである。

【図11】第２の実施の形態に係る補正量の算出処理の説明に供するグラフである。

【図12】第２の実施の形態に係る垂直方向のずれ量の時系列データを示すグラフである。

【図13】第２の実施の形態に係る推定処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0021】

以下、図面を参照して、本発明を実施するための形態例について詳細に説明する。

【0022】

［第１の実施の形態］
まず、図１を参照して、本実施の形態に係る推定装置１０Ａの構成について説明する。

【0023】

図１に示すように、本実施の形態に係る推定装置１０Ａは、車両１２に各々設けられた撮像部１４及びコンピュータ２０Ａを備えている。

【0024】

本実施の形態に係る撮像部１４は、一例として、単眼の車載カメラであり、コンピュータ２０Ａによる制御によって、車両１２の前方の画像を所定期間間隔（本実施の形態では、一例として３３ミリ秒）で撮像し、撮像した画像を示す画像データをコンピュータ２０Ａに逐次出力する。なお、撮像部１４は、カラー画像を撮像するものであってもよいし、モノクロ画像を撮像するものであってもよい。また、撮像部１４は、動画撮像が可能なものであってもよいし、連写での静止画撮像が可能なものであってもよい。

【0025】

本実施の形態に係るコンピュータ２０Ａは、ＣＰＵと、ＲＡＭと、後述する推定処理プログラムを記憶したＲＯＭと、不揮発性の記憶部とを備え、機能的には以下に示すように構成されている。コンピュータ２０Ａは、撮像制御部２２、移動量算出部２４Ａ、移動量積算部２６、補正量算出部２８Ａ、補正部３０、及び推定部３２を備えている。なお、撮像部１４は、撮像手段の一例であり、移動量算出部２４Ａは、算出手段の一例である。また、移動量積算部２６は、積算手段の一例であり、補正量算出部２８Ａ、及び補正部３０は、補正手段の一例であり、推定部３２は、推定手段の一例である。

【0026】

本実施の形態に係る撮像制御部２２は、撮像部１４を制御して、車両１２の前方の画像を上記所定期間間隔で撮像させる。

【0027】

本実施の形態に係る移動量算出部２４Ａは、撮像部１４により所定期間間隔で出力された画像データを逐次取得する。そして、移動量算出部２４Ａは、現時点の時刻ｔに取得した画像データと、現時点から上記所定期間間隔を１つ遡った時刻ｔ−１に取得した画像データと、を用いて後述する移動量δｙ^ｔを算出する。以下、図２を参照して、移動量算出部２４Ａによる移動量δｙ^ｔを算出する処理について詳細に説明する。

【0028】

図２（１）は、移動量算出部２４Ａにより時刻ｔ−１に取得された画像データにより示される画像Ｉ^ｔ−１を示し、図２（２）は、移動量算出部２４Ａにより時刻ｔに取得された画像データにより示される画像Ｉ^ｔを示している。また、図２（３）は、画像Ｉ^ｔ内の領域Ｒ^ｔの領域Ｒ^ｔ−１に対する垂直方向（車両１２のピッチング方向）の移動量δｙ^ｔを示している。

【0029】

まず、図２（１）に示すように、移動量算出部２４Ａは、画像Ｉ^ｔ−１を示す画像データから、画像Ｉ^ｔ−１内の所定の位置を含む所定の大きさの矩形の領域Ｒ^ｔ−１内の画像を示す画像データを抽出する。具体的には、本実施の形態に係る移動量算出部２４Ａは、一例として、全撮像領域の中央部を中心に含む図２（１）の縦方向及び横方向共に全撮像領域の３分の１の長さの矩形の領域Ｒ^ｔ−１内の画像を示す画像データを抽出する。

【0030】

次に、図２（２）に示すように、移動量算出部２４Ａは、パターンマッチングにより、画像Ｉ^ｔ内の領域Ｒ^ｔ−１に対応する領域Ｒ^ｔを探索する。具体的には、本実施の形態に係る移動量算出部２４Ａは、一例として、画像Ｉ^ｔの図２（２）の左上端の位置から、領域Ｒ^ｔ−１と同じ形状及び大きさの領域の位置を所定の画素数（本実施の形態では、３画素）ずつ右方向に右端までずらしながら、該領域内の画像を示す画像データと、領域Ｒ^ｔ−１内の画像を示す画像データとの相関性を示す度合を算出する。また、移動量算出部２４Ａは、該算出する処理を、所定の画素数（本実施の形態では、２画素）ずつ図２（２）の下方向に、画像Ｉ^ｔの下端まで繰り返し行う。

【0031】

そして、移動量算出部２４Ａは、上記相関性を示す度合が最も高い領域を領域Ｒ^ｔと決定する。なお、本実施の形態では、上記相関性を示す度合が最も高い領域として、対応する画素同士の画素値の差分における絶対値の全画素分の和が最小になる領域を適用しているが、これに限定されない。例えば、上記相関性を示す度合が最も高い領域として、２画素×２画素等、対応する複数の画素群毎の所定の位置の画素同士の画素値の差分における絶対値の全画素分の和が最小になる領域を適用してもよい。

【0032】

そして、図２（３）に示すように、移動量算出部２４Ａは、移動量δｙ^ｔとして、領域Ｒ^ｔ−１と領域Ｒ^ｔとの対応する位置（図２（３）では左上端部の位置）を示す画素位置間の垂直方向（図２（３）の上下方向）の画素数を算出する。

【0033】

このように、本実施の形態に係る移動量算出部２４Ａは、上記相関性を示す度合が最も高い画像Ｉ^ｔ内の領域を領域Ｒ^ｔと決定しているが、これに限定されない。例えば、移動量算出部２４Ａは、画像Ｉ^ｔ内の領域のうち、上記相関性を示す度合が予め定められた閾値以上の何れかの領域を領域Ｒ^ｔと決定してもよい。

【0034】

この場合、例えば、移動量算出部２４Ａは、上記探索を開始して、最初に上記相関性を示す度合が上記閾値以上となった領域を領域Ｒ^ｔと決定する形態が例示される。これにより、移動量算出部２４Ａによる領域Ｒ^ｔの探索精度は低下する可能性はあるものの、移動量算出部２４Ａにより画像Ｉ^ｔの全範囲に対して上記探索する処理を行わなくてもよくなるため、移動量算出部２４Ａによる演算量は低減する。

【0035】

本実施の形態に係る移動量積算部２６は、次の式（１）を用いて、時刻ｔにおける移動量δｙ^ｔの積算値Ｓ_ｙ^ｔとして、移動量算出部２４Ａにより逐次算出された移動量δｙ^ｔの積算値を算出する。

【0036】

【数1】

【0037】

図３には、移動量積算部２６により算出された積算値Ｓ_ｙ^ｔの時系列データの一例が示されている。なお、図３の縦軸は積算値Ｓ_ｙ^ｔを示し、横軸は時刻を示している。図３に示すように、積算値Ｓ_ｙ^ｔは時間の経過と共に、オフセットされた値となる。

【0038】

これは、前述したように、移動量積算部２６が、移動量算出部２４Ａにより逐次算出された移動量δｙ^ｔを積算していることによって、移動量δｙ^ｔに含まれる誤差も積算されるためである。なお、この誤差は、例えば、移動量算出部２４Ａによる前述した領域Ｒ^ｔを探索する際の画像処理による影響、及び領域Ｒ^ｔ−１内で撮像された被写体自体が時刻ｔ−１から時刻ｔまでの間に動くことによる影響等によるものである。

【0039】

そこで、本実施の形態に係る補正量算出部２８Ａは、過去の所定期間内における移動量積算部２６により算出された移動量δｙ^ｔの積算値Ｓ_ｙ^ｔの時系列データに基づいて、上記誤差を補正するための補正量ｃ^ｔを算出する。以下、図４を参照して、補正量算出部２８Ａによる補正量ｃ^ｔの算出処理について詳細に説明する。なお、図４には、図３に示した積算値Ｓ_ｙ^ｔの時系列データが破線で示されている。また、図３と同様に、図４の縦軸は積算値Ｓ_ｙ^ｔを示し、横軸は時刻を示している。

【0040】

図４に示すように、本実施の形態に係る補正量算出部２８Ａは、次の式（２）を用いて、時刻ｔにおける補正量ｃ^ｔとして、過去の所定期間（図４の時刻ｔ−ｔ１から時刻ｔ−ｔ２までの期間）の上記所定期間間隔毎の各時刻に算出された積算値Ｓ_ｙ^ｔの平均値を算出する。

【0041】

【数2】

但し、Ｔ１は、時刻ｔ−ｔ１から時刻ｔまでに積算値Ｓ_ｙ^ｔが算出された回数を示し、Ｔ２は、時刻ｔ−ｔ２から時刻ｔまでに積算値Ｓ_ｙ^ｔが算出された回数を示す。

【0042】

なお、本実施の形態では、上記過去の所定期間として、車両１２の実機を用いた実験や車両１２の設計仕様に基づくコンピュータ・シミュレーション等により、後述する車両１２のピッチ角の推定精度が許容範囲内となる期間を固定的に適用しているが、これに限定されない。前述したように、上記誤差も積算されるため、上記所定期間として、補正量ｃ^ｔを算出する時点が遅くなるほど長い期間を適用してもよい。

【0043】

本実施の形態に係る補正部３０は、補正量算出部２８Ａにより算出された補正量ｃ^ｔを用いて、移動量積算部２６により算出された積算値Ｓ_ｙ^ｔを補正する。具体的には、補正部３０は、次の式（３）を用いて、積算値Ｓ_ｙ^ｔから補正量ｃ^ｔを減算することにより、定常状態における画像内の水平線の垂直方向の位置に対する現時点の時刻ｔにおける画像内の水平線の垂直方向の位置のずれ量ΔＹ^ｔを算出する。なお、ここでいう定常状態としては、例えば、車両１２が停止している状態や前述した移動量δｙ^ｔ≒０の状態が長期間継続している状態等の車両１２の垂直方向に対するゆれがほぼ無い状態が挙げられる。

【0044】

【数3】

【0045】

図５には、図３に示した積算値Ｓ_ｙ^ｔの時系列データを、上記所定期間間隔毎の各時刻において補正部３０により補正して得られたずれ量ΔＹ^ｔの時系列データが示されている。なお、図５の縦軸はずれ量ΔＹ^ｔを示し、横軸は時刻を示している。

【0046】

ここで、ずれ量ΔＹ^ｔについて詳細に説明する。時刻ｔにおける撮像部１４により撮像された画像における水平線の垂直方向の位置Ｙ^ｔは、次の式（４）で表される。

【数4】

但し、Ｙ^０は、上記定常状態における水平線の垂直方向の位置を示す。

【0047】

そして、一般的に、時刻ｔにおける位置Ｙ^ｔは、定常状態における位置Ｙ^０を中心として変動するため、時刻ｔまでの各時刻に算出されたずれ量△Ｙ^ｔの平均値は、ほぼ０（零）に等しくなる。また、積算値Ｓ_ｙ^ｔは、移動量δｙ^ｔに上記誤差が含まれない場合は、ずれ量△Ｙ^ｔに等しくなる。すなわち、この場合は、積算値Ｓ_ｙ^ｔの平均値も、ほぼ０（零）に等しくなる。

【0048】

しかしながら、前述したように、積算値Ｓ_ｙ^ｔには移動量δｙ^ｔの上記誤差が含まれる。そこで、本実施の形態では、前述したように、上記誤差の補正に用いる補正量ｃ^ｔとして、上記所定期間の上記所定期間間隔毎の各時刻に算出された積算値Ｓ_ｙ^ｔの平均値を算出している。

【0049】

本実施の形態に係る推定部３２は、補正部３０により補正された積算値Ｓ_ｙ^ｔ（＝ずれ量△Ｙ^ｔ）に基づいて、車両１２のピッチ角を推定する。具体的には、推定部３２は、撮像部１４の解像度及び焦点距離等の諸元値を用いて、ずれ量△Ｙ^ｔから撮像部１４のピッチ角φ^ｔを算出する。

【0050】

このピッチ角φ^ｔは、定常状態の撮像部１４の光軸に対する時刻ｔにおける撮像部１４の光軸の角度であるため、推定部３２は、定常状態における撮像部１４の路面に対する撮像部１４の光軸のピッチ角φ^０を算出する。そして、推定部３２は、時刻ｔにおける車両１２のピッチ角として、撮像部１４の光軸の路面に対する角度であるピッチ角φ^０とピッチ角φ^ｔとを加算した角度を算出する。

【0051】

ここで、図６を参照して、上記定常状態におけるピッチ角φ^０の算出処理について説明する。ここでは、錯綜を回避するために、一例として、撮像部１４が、光軸の路面に対するピッチ角が０度の場合に、光軸が画像の中心に位置する撮像手段であるものとして説明する。なお、図６は、上記定常状態において撮像部１４により撮像された画像Ｉ^０の一例を示している。

【0052】

図６に示すように、推定部３２は、２本の白線Ｗの交点Ｊを、水平線Ｈの垂直方向の位置と見なして、定常状態における水平線の位置のずれ量Ｙとして、交点Ｊと、車両のピッチ角が０度である場合に対して予め求められた画像Ｉ^０の交点Ｊ^０との画素位置間の垂直方向（図６の上下方向）の画素数を算出する。そして、推定部３２は、撮像部１４の解像度及び焦点距離等の諸元値を用いて、ずれ量Ｙからピッチ角φ^０を算出する。なお、定常状態におけるピッチ角φ^０の算出処理は、これに限定されず、他の公知の手法を用いてもよい。

【0053】

次に、図７を参照して、本実施の形態に係る推定装置１０Ａの作用について説明する。なお、図７は、例えば車両１２のイグニッションスイッチがオン状態とされた際にコンピュータ２０ＡのＣＰＵによって実行される推定処理プログラムの処理の流れを示すフローチャートである。

【0054】

図７のステップ１００において、推定部３２は、前述したように、撮像部１４を制御して、車両１２の前方の画像を撮像させ、該撮像により得られた画像Ｉ^０から定常状態におけるピッチ角φ^０を算出する。

【0055】

次のステップ１０１において、撮像制御部２２は、撮像部１４を制御して、車両１２の前方の画像を撮像させる。次のステップ１０２において、移動量算出部２４Ａは、上記ステップ１０１の処理により撮像部１４から出力された画像Ｉ^ｔを示す画像データを取得する。

【0056】

次のステップ１０４Ａにおいて、移動量算出部２４Ａは、上記ステップ１０１〜後述するステップ１１８の繰り返し処理における前回の上記ステップ１０２の処理により取得された画像データから、該画像データにより示される画像Ｉ^ｔ−１の領域Ｒ^ｔ−１内の画像を示す画像データを抽出する。なお、本ステップ１０４Ａの処理及び後述するステップ１０６Ａ〜ステップ１１６の処理は、本推定処理プログラムの実行を開始してから初回に実行されたタイミングでは実行されない。

【0057】

次のステップ１０６Ａにおいて、移動量算出部２４Ａは、前述したように、直前の上記ステップ１０２の処理により取得された画像データにより示される画像Ｉ^ｔにおける上記ステップ１０４Ａの処理により抽出された領域Ｒ^ｔ−１に対応する領域Ｒ^ｔを探索する。

【0058】

次のステップ１０８Ａにおいて、移動量算出部２４Ａは、前述したように、上記ステップ１０４Ａの処理により抽出された領域Ｒ^ｔ−１と、上記ステップ１０６Ａの処理により探索された領域Ｒ^ｔとの対応する画素位置に基づいて、移動量δｙ^ｔを算出する。

【0059】

次のステップ１１０において、移動量積算部２６は、前述したように、上記式（１）を用いて、上記ステップ１０８Ａの処理により算出された移動量δｙ^ｔの積算値Ｓ_ｙ^ｔを算出する。

【0060】

次のステップ１１２Ａにおいて、補正量算出部２８Ａは、上記式（２）を用いて、補正量ｃ^ｔとして、上記過去の所定期間に上記ステップ１１０の処理により算出された積算値Ｓ_ｙ^ｔの平均値を算出する。

【0061】

次のステップ１１４において、補正部３０は、上記式（３）を用いて、上記ステップ１１０の処理により算出された積算値Ｓ_ｙ^ｔから上記ステップ１１２Ａの処理により算出された補正量ｃ^ｔを減算することにより、ずれ量ΔＹ^ｔを算出する。

【0062】

次のステップ１１６において、推定部３２は、前述したように、撮像部１４の諸元値を用いて、上記ステップ１１４の処理により算出されたずれ量ΔＹ^ｔからピッチ角φ^ｔを算出する。そして、推定部３２は、前述したように、該ピッチ角φ^ｔと上記ステップ１００の処理により算出されたピッチ角φ^０とを加算して、車両１２のピッチ角を算出する。なお、ここで算出したピッチ角は、例えば、車両１２の高度運転支援等で、カメラ等の撮像手段により撮像された車両１２の前方の画像内のある物体への距離を推定する場合等の２次元の情報から３次元の情報を推定する場合に用いられる。

【0063】

ステップ１１８において、推定部３２は、所定の終了タイミングが到来したか否かを判定する。この判定が否定判定となった場合は上記ステップ１０１の処理に戻る一方、肯定判定となった場合は本推定処理プログラムを終了する。なお、本実施の形態では、上記所定の終了タイミングとして、一例として車両１２のイグニッションスイッチがオフ状態とされたタイミングを適用している。

【0064】

なお、前述したように、例えば、上記ステップ１０８Ａの処理により算出された移動量δｙ^ｔが長期間ほぼ０（零）である状態（すなわち、定常状態）が継続した場合は、積算値Ｓ_ｙ^ｔを０（零）にリセットして、ステップ１００の処理から本推定処理プログラムを再度実行してもよい。

【0065】

以上説明したように、本実施の形態によれば、過去の所定期間内における積算値Ｓ_ｙ^ｔの時系列データに基づいて、現時点の積算値Ｓ_ｙ^ｔを補正しているので、車両１２の速度が比較的低い場合であっても、単眼の撮像部１４を用いて、車両１２のピッチ角を精度良く推定することができる。また、本実施の形態によれば、上記並進ベクトル及び回転行列を算出する場合に比較して、少ない演算量で車両１２のピッチ角を精度良く推定することができる。

【0066】

［第２の実施の形態］
まず、図８を参照して、本実施の形態に係る推定装置１０Ｂの構成について説明する。なお、図８における図１と同一の機能を有する構成要素については、図１と同一の符号を付して、その説明を省略する。

【0067】

図８に示すように、本実施の形態に係る推定装置１０Ｂは、コンピュータ２０Ａに代えてコンピュータ２０Ｂを備えている点が上記第１の実施の形態に係る推定装置１０Ａとは異なっている。また、本実施の形態に係るコンピュータ２０Ｂは、移動量算出部２４Ａに代えて移動量算出部２４Ｂを備えている点、及び補正量算出部２８Ａに代えて補正量算出部２８Ｂを備えている点が上記第１の実施の形態に係るコンピュータ２０Ａとは異なっている。

【0068】

本実施の形態に係る移動量算出部２４Ｂは、撮像部１４により所定期間間隔で出力された画像データを逐次取得する。そして、現時点の時刻ｔに取得した画像データと、現時点から上記所定期間間隔を１つ遡った時刻ｔ−１に取得した画像データと、を用いて移動量δｙ^ｔを算出する。以下、図９を参照して、移動量算出部２４Ｂによる移動量δｙ^ｔを算出する処理について詳細に説明する。

【0069】

図９（１）は、移動量算出部２４Ｂにより時刻ｔ−１に取得された画像データにより示される画像Ｉ^ｔ−１、及び後述するオプティカルフローＶ_ｉ^ｔの算出に用いる点（以下、「算出点」という。）Ｐ_ｉ^ｔ−１（（ｉ＝１．．．Ｎ（Ｎは自然数。本実施の形態では、５）））を示している。また、図９（２）は、移動量算出部２４Ｂにより時刻ｔに取得された画像データにより示される画像Ｉ^ｔ、及び後述するオプティカルフローＶ_ｉ^ｔを示している。また、図９（３）は、図２（３）と同様に、移動量δｙ^ｔを示している。

【0070】

まず、図９（１）に示すように、移動量算出部２４Ｂは、画像Ｉ^ｔ−１を示す画像データから、画像Ｉ^ｔ−１内の上記所定の大きさの矩形の領域Ｒ^ｔ−１内の画像を示す画像データを抽出する。なお、本実施の形態では、領域Ｒ^ｔ−１として、車両１２のピッチングが発生していない状態で車両１２が進行した場合に、遠近法における消失点を含む領域を適用している。これは、該領域が、車両１２の進行の影響による動きが比較的少ない領域と見なせる領域であるためである。

【0071】

次に、図９（１）に示すように、移動量算出部２４Ｂは、領域Ｒ^ｔ−１内のＮ個の予め定められた位置を算出点Ｐ_ｉ^ｔ−１の位置と決定する。なお、本実施の形態では、一例として、算出点Ｐ_ｉ^ｔ−１の位置として、垂直方向（図９（１）の縦方向）に対しては領域Ｒ^ｔ−１の中央の位置で、水平方向（図９（１）の横方向）に対しては各々互いに同一の間隔を隔てた位置を適用している。このように、本実施の形態では、算出点Ｐ_ｉ^ｔ−１の位置として、予め固定的に定められた位置を適用しているが、これに限定されない。例えば、算出点Ｐ_ｉ^ｔ−１の位置として、Harris operator（「C.Harris and M.Stephens(1988).“A combined corner and edge detector”.“Proceedings of the 4th Alvey Vision Conference”. pp.147-151」参照。）等を用いて、複数の画像間の対応する点の対応が取りやすい位置を適用してもよい。

【0072】

また、図９（２）に示すように、移動量算出部２４Ｂは、各算出点Ｐ_ｉ^ｔ−１について、時刻ｔにおけるオプティカルフローＶ_ｉ^ｔ（＝｛ｖｘ_ｉ^ｔ、ｖｙ_ｉ^ｔ｝）を各々算出する。ここで、上記ｖｘ_ｉ^ｔはオプティカルフローＶ_ｉ^ｔのｘ成分（水平方向の成分）を表し、上記ｖｙ_ｉ^ｔはオプティカルフローＶ_ｉ^ｔのｙ成分（垂直方向の成分）を表す。なお、本実施の形態では、オプティカルフローＶ_ｉ^ｔの算出に用いる手法として、ブロックマッチング法を適用しているが、これに限定されない。例えば、該手法として、lucas-kanade法等の他の手法を適用してもよい。

【0073】

また、移動量算出部２４Ｂは、移動量δｙ^ｔとして、オプティカルフローＶ_ｉ^ｔのｙ成分（ｖｙ_ｉ^ｔ）の平均値を算出する。なお、本実施の形態に係る移動量算出部２４Ｂは、該平均値を算出する際に、オプティカルフローＶ_ｉ^ｔのｙ成分の値が正常値である範囲として予め定められた範囲外であるオプティカルフローＶ_ｉ^ｔ（図９（２）に示すＶ_４^ｔ）については算入しない。具体的には、例えば、移動量算出部２４Ｂは、上記平均値を算出する際に、他のオプティカルフローＶ_ｉ^ｔのｙ成分の値の平均値との差が、所定の範囲（例えば、該平均値の±５０％の範囲）外であるオプティカルフローＶ_ｉ^ｔについては算入しない。

【0074】

このように、本実施の形態では、移動量δｙ^ｔとして、オプティカルフローＶ_ｉ^ｔのｙ成分の値の平均値を適用しているが、これに限定されない。例えば、移動量δｙ^ｔとして、オプティカルフローＶ_ｉ^ｔのｙ成分の値の中央値を適用してもよい。

【0075】

本実施の形態に係る補正量算出部２８Ｂは、過去の所定期間内における移動量積算部２６により算出された移動量δｙ^ｔの積算値Ｓ_ｙ^ｔの時系列データに基づいて、補正量ｃ^ｔを算出する。以下、図１０及び図１１を参照して、補正量算出部２８Ｂによる補正量ｃ^ｔの算出処理について詳細に説明する。なお、図１０には、図３と同様に、積算値Ｓ_ｙ^ｔの時系列データが示されている。また、図１１には、図４と同様に、図１０に示した積算値Ｓ_ｙ^ｔの時系列データが破線で示されている。

【0076】

上記第１の実施の形態で前述した移動量δｙ^ｔに含まれる誤差は、一定の値であるとは限らない。そこで、本実施の形態では、図１１に示すように、補正量算出部２８Ｂは、過去の所定期間（図１１の時刻ｔ−ｔ１から時刻ｔ−ｔ２までの期間）の上記所定期間間隔毎の各時刻に算出された積算値Ｓ_ｙ^ｔを、例えば最小二乗法等を用いて近似することにより、回帰直線Ｌを示す一次式を示す一次係数及び定数を算出する。そして、補正量算出部２８Ｂは、該一次式を用いた外挿により、時刻ｔにおける補正量ｃ^ｔを算出する。なお、図１２には、図５と同様に、図１１に示した積算値Ｓ_ｙ^ｔの時系列データを、上記所定期間間隔毎の各時刻において補正部３０により補正したずれ量ΔＹ^ｔの時系列データが示されている。

【0077】

このように、本実施の形態では、積算値Ｓ_ｙ^ｔの時系列データを一次式に近似しているが、これに限定されない。例えば、積算値Ｓ_ｙ^ｔの時系列データを二次式等に近似してもよいし、過去の所定期間の積算値Ｓ_ｙ^ｔの時系列データから時刻ｔの補正量ｃ^ｔを外挿により算出可能であれば、近似する手法は限定されない。

【0078】

次に、図１３を参照して、本実施の形態に係る推定装置１０Ｂの作用について説明する。なお、図１３は、例えば車両１２のイグニッションスイッチがオン状態とされた際にコンピュータ２０ＢのＣＰＵによって実行される推定処理プログラムの処理の流れを示すフローチャートである。また、図１３における図７と同一の処理を実行するステップについては図７と同一のステップ番号を付して、その説明を省略する。

【0079】

図１３のステップ１０４Ｂにおいて、移動量算出部２４Ｂは、上記繰り返し処理における前回のステップ１０２の処理により取得された画像データから、該画像データにより示される画像Ｉ^ｔ−１の領域Ｒ^ｔ−１内の画像を示す画像データを抽出する。

【0080】

次のステップ１０６Ｂにおいて、移動量算出部２４Ｂは、前述したように、上記ステップ１０４Ｂの処理により抽出された画像データにより示される領域Ｒ^ｔ−１内のＮ個の上記予め定められた位置を算出点Ｐ_ｉ^ｔ−１の位置と決定する。そして、移動量算出部２４Ｂは、前述したように、上記ステップ１０４Ｂの処理により抽出された画像データ、及び直前の上記ステップ１０２の処理により取得された画像データを用いて、各算出点Ｐ_ｉ^ｔ−１について、オプティカルフローＶ_ｉ^ｔを算出する。

【0081】

次のステップ１０８Ｂにおいて、移動量算出部２４Ｂは、前述したように、移動量δｙ^ｔとして、上記ステップ１０６Ｂの処理により算出された各算出点Ｐ_ｉ^ｔ−１のオプティカルフローＶ_ｉ^ｔのｙ成分の平均値を算出する。

【0082】

その後、ステップ１１２Ｂにおいて、補正量算出部２８Ｂは、前述したように、過去の所定期間内における移動量算出部２４Ｂにより算出された移動量δｙ^ｔの積算値Ｓ_ｙ^ｔの時系列データに基づいて、補正量ｃ^ｔを算出する。

【0083】

以上説明したように、本実施の形態によれば、上記第１の実施の形態と同様の効果を奏することができる。

【0084】

なお、上記第１の実施の形態において、上記第２の実施の形態のように、領域Ｒ^ｔ−１として、上記消失点を含む領域を適用してもよい。また、上記第１の実施の形態において、上記第２の実施の形態のように、オプティカルフローＶ_ｉ^ｔを用いて移動量δｙ^ｔを算出してもよい。また、上記第１の実施の形態において、上記第２の実施の形態のように、過去の所定期間内の積算値Ｓ_ｙ^ｔの時系列データを近似して、外挿により補正量ｃ^ｔを算出してもよい。また、上記第２の実施の形態においても、移動量δｙ^ｔが長期間ほぼ０（零）である状態が継続した場合は、積算値Ｓ_ｙ^ｔを０（零）にリセットして、再度ステップ１００の処理から推定処理プログラムを再度実行してもよい。

【0085】

また、上記各実施の形態では、撮像部１４により車両１２の前方の画像を撮像する場合について説明したが、本発明はこれに限定されるものではない。例えば、撮像部１４により車両１２の後方の画像を撮像する形態としてもよい。この場合、例えば、上記各実施の形態と同様に車両１２のピッチ角を算出し、該ピッチ角の正負の符号を反転させた角度を車両１２のピッチ角と推定する形態が例示される。

【0086】

また、上記各実施の形態と撮像部１４により車両１２の後方の画像を撮像する上記形態例とを組み合わせても良い。この場合、上記誤差を補正するための補正量ｃ^ｔの絶対値が小さいほど、該誤差が小さいと考えられる。そこで、この場合、例えば、車両１２の前方と後方とを各々撮像して得られた画像の各々を用いて算出された補正量ｃ^ｔのうち、絶対値が小さい方の補正量ｃ^ｔを用いて車両１２のピッチ角を算出する形態が例示される。また、例えば、車両１２のピッチ角として、車両１２の前方と後方とを各々撮像して得られた画像の各々を用いて算出されたピッチ角の平均値を算出する形態も例示される。

【0087】

また、上記各実施の形態では、領域Ｒの形状として、矩形を適用した場合について説明したが、本発明はこれに限定されるものではない。例えば、撮像部１４による撮像により得られた画像から、移動量δｙ^ｔを算出可能な形状であれば、円形、三角形等の他の形状でもよいことは言うまでもない。

【符号の説明】

【0088】

１０Ａ、１０Ｂ 推定装置
１２ 車両
１４ 撮像部
２０Ａ、２０Ｂ コンピュータ
２２ 撮像制御部
２４Ａ、２４Ｂ 移動量算出部
２６ 移動量積算部
２８Ａ、２８Ｂ 補正量算出部
３０ 補正部
３２ 推定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】