特許 6473571 ＴＴＣ計測装置およびＴＴＣ計測プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6473571

(24)【登録日】2019年2月1日

(45)【発行日】2019年2月20日

(54)【発明の名称】ＴＴＣ計測装置およびＴＴＣ計測プログラム

(51)【国際特許分類】

   B60W 30/095 20120101AFI20190207BHJP

   B60T 7/12 20060101ALI20190207BHJP

   B60R 21/0134 20060101ALI20190207BHJP

   B60W 50/14 20120101ALI20190207BHJP

【ＦＩ】

   B60W30/095

   B60T7/12 C

   B60R21/0134

   B60W50/14

【請求項の数】6

【全頁数】24

(21)【出願番号】特願2014-60739(P2014-60739)

(22)【出願日】2014年3月24日

(65)【公開番号】特開2015-182604(P2015-182604A)

(43)【公開日】2015年10月22日

【審査請求日】2016年11月9日

(73)【特許権者】

【識別番号】000101732

【氏名又は名称】アルパイン株式会社

(73)【特許権者】

【識別番号】317011920

【氏名又は名称】東芝デバイス＆ストレージ株式会社

(73)【特許権者】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】110001380

【氏名又は名称】特許業務法人東京国際特許事務所

(72)【発明者】

【氏名】小崎 正憲

【審査官】 神田 泰貴

(56)【参考文献】

【文献】 特開２００４−１１２１４４（ＪＰ，Ａ）

【文献】 特開２００６−１０７４２２（ＪＰ，Ａ）

【文献】 特開２０１１−０８１７３６（ＪＰ，Ａ）

【文献】 特開２００７−１３５１１５（ＪＰ，Ａ）

【文献】 特開２００６−０８８９４０（ＪＰ，Ａ）

【文献】 特開２００７−１９６９０１（ＪＰ，Ａ）

【文献】 特開２０１３−１６１２４１（ＪＰ，Ａ）

【文献】 特開２０１２−０９８７７６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００６／００６２４３２（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ５／５０

Ｇ０６Ｔ ９／００ − ９／４０

Ｂ６０Ｒ ２１／００ − ２１／１３

Ｂ６０Ｒ ２１／３４ − ２１／３８

Ｇ０８Ｇ １／００ − ９９／００

Ｇ０６Ｔ ７／００ − ７／６０

Ｂ６０Ｗ ３０／０９５

Ｂ６０Ｗ ５０／１４

(57)【特許請求の範囲】

【請求項1】

車両に設けられたカメラから画像を取得するたびに、取得した画像を基準画像としてピラミッド画像群を生成する生成部と、
前記ピラミッド画像群が生成されると、前記ピラミッド画像群を構成する全画像のそれぞれについて、画像内で検出対象物のモデルと比較される部分を移動させながらその画像を走査し、当該部分の前記モデルに対する尤度が閾値以上である場合に画像内での当該部分の位置を取得する走査部と、
前記ピラミッド画像群を構成する画像のうち、前記モデルに対する尤度が閾値以上である部分が存在する画像について、前記基準画像に対する倍率を求め、当該倍率にもとづいて、自車と前記検出対象物との間の推定距離を求め、前回に前記カメラから画像を取得したときに得られた前回の推定距離を用いて、求めた今回の前記推定距離を補正して補正推定距離を求める推定部と、
所定条件を満たす場合に、今回の前記補正推定距離を今回前記カメラから画像を取得した取得時間と関連付けて記憶部に記憶させる選定部と、
前記記憶部に記憶された複数の前記補正推定距離と、複数の前記補正推定距離のそれぞれに関連付けられた前記取得時間とにもとづいて自車と前記検出対象物とが衝突するまでの時間を算出する算出部と、
を備え、
前記選定部は、
前記ピラミッド画像群を構成する各画像について、前記基準画像に対する倍率に所定の幅をもたせた範囲をその画像の所属範囲とし、（１）今回の前記補正推定距離に対応する倍率が１つの所属範囲に属し、かつ、直近に前記記憶部に記憶された前記補正推定距離に対応する倍率が前記１つの所属範囲に属していない場合、または、（２）今回の前記補正推定距離に対応する倍率と前回の前記補正推定距離に対応する倍率との間に、前記各画像の所属範囲の複数が内包される場合、のいずれかの場合に、今回の前記補正推定距離を前記記憶部に記憶させる、
ＴＴＣ測定装置。

【請求項2】

車両に設けられたカメラから画像を取得するたびに、取得した画像を基準画像としてピラミッド画像群を生成する生成部と、
前記ピラミッド画像群が生成されると、前記ピラミッド画像群を構成する全画像のそれぞれについて、画像内で検出対象物のモデルと比較される部分を移動させながらその画像を走査し、当該部分の前記モデルに対する尤度が閾値以上である場合に画像内での当該部分の位置を取得する走査部と、
前記ピラミッド画像群を構成する画像のうち、前記モデルに対する尤度が閾値以上である部分が存在する画像について、前記基準画像に対する倍率を求め、当該倍率にもとづいて、自車と前記検出対象物との間の推定距離を求める推定部と、
前記推定部が求めた前記推定距離が今回の前記推定距離を含めて所定回数連続して同一である場合、今回の前記推定距離を今回前記カメラから画像を取得した取得時間と関連付けて記憶部に記憶させる選定部と、
前記記憶部に記憶された複数の前記推定距離と、複数の前記推定距離のそれぞれに関連付けられた前記取得時間とにもとづいて自車と前記検出対象物とが衝突するまでの時間を算出する算出部と、
を備えたＴＴＣ測定装置。

【請求項3】

前記走査部は、
互いにサイズが異なる複数のモデルを有し、前記ピラミッド画像群を構成する全画像についての走査をモデルごとに行う、
請求項１または２に記載のＴＴＣ測定装置。

【請求項4】

前記車両の運転者に対して、前記車両のスピーカを介した音声出力およびブザー出力ならびに前記車両の運転者が視認可能な位置に設けられた表示装置に対する警告表示の少なくとも１つにより、前記算出部の出力した情報を通知する警告部、
をさらに備えた請求項１ないし３のいずれか１項に記載のＴＴＣ測定装置。

【請求項5】

コンピュータを、
車両に設けられたカメラから画像を取得するたびに、取得した画像を基準画像としてピラミッド画像群を生成する生成部、
前記ピラミッド画像群が生成されると、前記ピラミッド画像群を構成する全画像のそれぞれについて、画像内で検出対象物のモデルと比較される部分を移動させながらその画像を走査し、当該部分の前記モデルに対する尤度が閾値以上である場合に画像内での当該部分の位置を取得する走査部、
前記ピラミッド画像群を構成する画像のうち、前記モデルに対する尤度が閾値以上である部分が存在する画像について、前記基準画像に対する倍率を求め、当該倍率にもとづいて、自車と前記検出対象物との間の推定距離を求め、前回に前記カメラから画像を取得したときに得られた前回の推定距離を用いて、求めた今回の前記推定距離を補正して補正推定距離を求める推定部、
所定条件を満たす場合に、今回の前記補正推定距離を今回前記カメラから画像を取得した取得時間と関連付けて記憶部に記憶させる選定部、および
前記記憶部に記憶された複数の前記補正推定距離と、複数の前記補正推定距離のそれぞれに関連付けられた前記取得時間とにもとづいて自車と前記検出対象物とが衝突するまでの時間を算出する算出部、
として機能させるためのプログラムであって、
前記選定部は、
前記ピラミッド画像群を構成する各画像について、前記基準画像に対する倍率に所定の幅をもたせた範囲をその画像の所属範囲とし、（１）今回の前記補正推定距離に対応する倍率が１つの所属範囲に属し、かつ、直近に前記記憶部に記憶された前記補正推定距離に対応する倍率が前記１つの所属範囲に属していない場合、または、（２）今回の前記補正推定距離に対応する倍率と前回の前記補正推定距離に対応する倍率との間に、前記各画像の所属範囲の複数が内包される場合、のいずれかの場合に、今回の前記補正推定距離を前記記憶部に記憶させる、
ＴＴＣ測定プログラム。

【請求項6】

コンピュータを、
車両に設けられたカメラから画像を取得するたびに、取得した画像を基準画像としてピラミッド画像群を生成する生成部、
前記ピラミッド画像群が生成されると、前記ピラミッド画像群を構成する全画像のそれぞれについて、画像内で検出対象物のモデルと比較される部分を移動させながらその画像を走査し、当該部分の前記モデルに対する尤度が閾値以上である場合に画像内での当該部分の位置を取得する走査部、
前記ピラミッド画像群を構成する画像のうち、前記モデルに対する尤度が閾値以上である部分が存在する画像について、前記基準画像に対する倍率を求め、当該倍率にもとづいて、自車と前記検出対象物との間の推定距離を求める推定部、
前記推定部が求めた前記推定距離が今回の前記推定距離を含めて所定回数連続して同一である場合、今回の前記推定距離を今回前記カメラから画像を取得した取得時間と関連付けて記憶部に記憶させる選定部、および
前記記憶部に記憶された複数の前記推定距離と、複数の前記推定距離のそれぞれに関連付けられた前記取得時間とにもとづいて自車と前記検出対象物とが衝突するまでの時間を算出する算出部、
として機能させるためのＴＴＣ測定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、ＴＴＣ計測装置およびＴＴＣ計測プログラムに関する。

【背景技術】

【0002】

最近、自動車などの車両や路肩の街灯などの所定の物体が、所定の物体に対して相対的に接近してくる対象物と衝突することを防止するための技術として、所定の物体と対象物とが衝突するまでの時間（ＴＴＣ：Time To Collision）を予測する技術の開発が望まれている。この種の技術には、たとえば、車両に搭載されたカメラや街灯に固設されたカメラなどの周辺監視カメラにより撮像された画像にもとづいて、車両と対象物との衝突までの時間を予測する技術などがある。車載カメラにより撮像された画像を用いる場合、レーダを用いる場合に比べてデジタル化された画像データを利用することができることから、対象物の接近角度などの複雑な判断が可能である。

【0003】

従来、この種の技術として、たとえば撮像画像内における対象物の拡大率にもとづいて衝突するまでの時間ＴＴＣを予測する技術（特許文献１参照）のほか、撮像画像内における地面の位置と対象物の位置とにもとづいて衝突するまでの時間ＴＴＣを予測する技術などがある（特許文献２、３参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００６−１０７４２２号公報

【特許文献2】特開２００６−１３３１２５号公報

【特許文献3】特開２０１２−９８７９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

一方、撮像画像内における対象物を検出するための画像処理技術は、検出精度を向上させつつ検出に要する時間を短縮させるべく近年めざましく発展している。この種の物体検出技術には、たとえばＨＯＧ（Histogram of Oriented Gradients）特徴量を用いた技術などがあげられる。

【0006】

ＨＯＧ特徴量を用いた物体検出処理（以下、ＨＯＧ処理という）では、所定の時間における１枚の撮像画像を拡大縮小した複数の画像（以下、ピラミッド画像という）を用意し、この複数の画像のそれぞれに対して同一のサイズの枠を走査することにより対象物を検出することができる。

【0007】

ピラミッド画像を構成する複数の画像のそれぞれは、互いに拡大縮小率が異なる画像であり、対象物の画像は複数の画像のそれぞれに異なるサイズで含まれることになる。このため、ピラミッド画像を用いて対象物を検出する技術では、ピラミッド画像の構成画像のうち、走査される枠と対象物とのサイズがほぼ一致する構成画像の拡大縮小率から対象物までの距離をおおまかに予測することができる。

【0008】

しかし、ピラミッド画像の構成画像のそれぞれの拡大縮小率は離散的な値であるため、ピラミッド画像を用いて対象物を検出する技術では、衝突するまでの時間ＴＴＣを正確に予測することが難しい。また、ピラミッド画像を用いて対象物を検出する技術に対して特許文献１に記載の技術を適用しても、対象物の拡大率が飛び値となってしまうためにＴＴＣを正確に予測することが難しい。また、特許文献２や３に記載の技術のように地面の位置を用いる場合、遠くの位置における誤差が非常に大きくなってしまう。

【課題を解決するための手段】

【0009】

本発明の一実施形態に係るＴＴＣ計測装置は、上述した課題を解決するために、車両に設けられたカメラから画像を取得するたびに、取得した画像を基準画像としてピラミッド画像群を生成する生成部と、前記ピラミッド画像群が生成されると、前記ピラミッド画像群を構成する全画像のそれぞれについて、画像内で検出対象物のモデルと比較される部分を移動させながらその画像を走査し、当該部分の前記モデルに対する尤度が閾値以上である場合に画像内での当該部分の位置を取得する走査部と、前記ピラミッド画像群を構成する画像のうち、前記モデルに対する尤度が閾値以上である部分が存在する画像について、前記基準画像に対する倍率を求め、当該倍率にもとづいて、自車と前記検出対象物との間の推定距離を求め、前回に前記カメラから画像を取得したときに得られた前回の推定距離を用いて、求めた今回の前記推定距離を補正して補正推定距離を求める推定部と、所定条件を満たす場合に、今回の前記補正推定距離を今回前記カメラから画像を取得した取得時間と関連付けて記憶部に記憶させる選定部と、前記記憶部に記憶された複数の前記補正推定距離と、複数の前記補正推定距離のそれぞれに関連付けられた前記取得時間とにもとづいて自車と前記検出対象物とが衝突するまでの時間を算出する算出部と、を備えたものであり、前記選定部は、前記ピラミッド画像群を構成する各画像について、前記基準画像に対する倍率に所定の幅をもたせた範囲をその画像の所属範囲とし、（１）今回の前記補正推定距離に対応する倍率が１つの所属範囲に属し、かつ、直近に前記記憶部に記憶された前記補正推定距離に対応する倍率が前記１つの所属範囲に属していない場合、または、（２）今回の前記補正推定距離に対応する倍率と前回の前記補正推定距離に対応する倍率との間に、前記各画像の所属範囲の複数が内包される場合、のいずれかの場合に、今回の前記補正推定距離を前記記憶部に記憶させる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１実施形態に係る画像処理装置の一構成例を示すブロック図。

【図2】図１に示す制御部のＣＰＵにより、カメラにより取得された画像から生成されたピラミッド画像を用いて処理画像内に含まれる検出対象物を検出しつつ、検出した検出対象物のＴＴＣを精度よく予測する際の手順の概略を示すフローチャート。

【図3】辞書生成部による辞書の生成時に設定される所定の範囲の一例を示す説明図。

【図4】カメラが左右および後部に設けられ、自車に並走する他車の前面を検出する場合における各カメラの視線軸および投影面の一例を示す説明図。

【図5】処理画像生成部により生成されるピラミッド画像の一例を示す説明図。

【図6】検出対象物が自動車である場合における走査枠について説明するための図。

【図7】（ａ）は、焦点距離をｆとした正規化画像の一例を示す説明図、（ｂ）は、検出対象物が人物であって走査枠の縦幅Ｏｈを３種に分類する場合の様子の一例を示す説明図。

【図8】（ａ）は、地面に立っている人物を検出した焦点位置画像の一例を示す説明図、（ｂ）は、（ａ）に示す例における検出枠の下端Ｈｙｂの算出方法を説明するための図。

【図9】地面から所定の高さだけ浮いている人物を検出した焦点位置画像の一例を示す説明図。

【図10】図２のステップＳ７でＴＴＣ算出部により実行されるＴＴＣ算出処理の手順の一例を示すサブルーチンフローチャート。

【図11】有効距離の第１の選定方法について説明するための図。

【図12】有効距離の第２の選定方法について説明するための図。

【図13】（ａ）は、有効距離の第３の選定方法について説明するための焦点位置画像の一例を示す説明図、（ｂ）は（ａ）に示す例における自車から検出対象物までの距離Ｄｚの演算方法を説明するための図。

【図14】有効距離にもとづくＴＴＣ算出方法を説明するための図。

【図15】検出対象物と自車との相対速度が低下した場合にＴＴＣを再計算する方法を説明するための図。

【図16】（ａ）は、検出枠の下端が地面からＤｙだけ上にある場合の焦点位置画像の一例を示す説明図、（ｂ）は（ａ）に示す例において再計算距離Ｄｚ´を用いて処理画像上の検出枠の位置を修正する方法を説明するための図。

【発明を実施するための形態】

【0011】

本発明に係るＴＴＣ計測装置およびＴＴＣ計測プログラムの実施の形態について、画像処理装置および画像処理プログラムを例として添付図面を参照して説明する。

【0012】

（全体構成）
図１は、本発明の第１実施形態に係る画像処理装置１０の一構成例を示すブロック図である。

【0013】

画像処理装置１０は、カメラ１１、制御部１２、記憶部１３、車両情報取得部１４、灯火装置１６、クラクション１７、スピーカ１８および表示装置１９を有する。

【0014】

カメラ１１は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成され、自家用自動車等の車両の周囲の映像を取り込んで画像データを生成して制御部１２に与える。

【0015】

たとえば後方を監視する場合、カメラ１１は車両後部のナンバープレート付近やリアウインドウの上部などに設けられる（リアカメラ）。また、車両の側方を監視する場合、カメラ１１はサイドミラー付近に設けられる（サイドカメラ）。また、車両前方を監視する場合、カメラ１１は車両前部のナンバープレート付近やフロントウインドウの上部などに設けられる（フロントカメラ）。

【0016】

カメラ１１には、広画角撮像を可能とするよう広角レンズや魚眼レンズが取り付けられてもよい。たとえば広画角撮像が可能なカメラ１１をサイドミラー付近に配設する場合（サイドカメラ）、車両の側方に加えて車両の前方および後方を同時に撮像することも可能である。また、複数のカメラ１１を用いることにより広範な車外周囲画像を取り込むようにしてもよい。

【0017】

以下の説明では、カメラ１１に広画角撮像を可能とするよう広角レンズや魚眼レンズが取り付けられる場合の例について示す。

【0018】

制御部１２は、たとえばＣＰＵ、ＲＡＭ、ＲＯＭを備えたマイクロコントローラにより構成される。制御部１２のＣＰＵは、ＲＯＭなどの記憶媒体に記憶された画像処理プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、カメラ１１により取得された画像から生成されたピラミッド画像を用いて処理画像内に含まれる検出対象物を検出しつつ、検出した検出対象物のＴＴＣ（衝突するまでの時間）を精度よく予測するための処理を実行する。

【0019】

制御部１２のＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。制御部１２のＲＯＭなどの記憶媒体は、画像処理プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。

【0020】

なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は図示しないネットワーク接続部を介して電子ネットワークを介してダウンロードされるように構成してもよい。

【0021】

なお、この場合、ネットワーク接続部は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装し、この各種プロトコルに従って制御部１２と他の車両のＥＣＵなどの電気機器とを電子ネットワークを介して接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線／有線ＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。

【0022】

記憶部１３は、制御部１２によるデータの読み書きが可能な不揮発性のメモリであり、検出対象物を撮像した画像を用いてあらかじめ生成された画像辞書（モデル）などの種々の情報を記憶している。これらの情報は、電子ネットワークを介してまたは光ディスクなどの可搬型記憶媒体を介して更新されてもよい。

【0023】

車両情報取得部１４は、少なくとも自車の現在の加速度の情報を取得し、制御部１２に出力する。車両情報取得部１４は、たとえば加速度センサにより構成してもよいし、ＣＡＮ（Controller Area Network）において一般的に用いられる車両情報取得機能を有するものであってもよい。本実施形態において、車両情報取得部１４は必ずしも設けられずともよい。

【0024】

灯火装置１６は、一般的なヘッドライトにより構成され、制御部１２により制御されて点滅（いわゆるパッシング）を行うことにより、たとえば自車両の外部に対して警告を行う。

【0025】

クラクション１７は、制御部１２により制御されて自車両の外部に対して警告音を出力する。

【0026】

スピーカ１８は、自車両の車内に設けられ、制御部１２により制御されて自車両の運転者に対してビープ音や危険が迫っていることを知らせるための情報などの各種情報に対応した音声を出力する。

【0027】

表示装置１９は、運転者が視認可能な位置に設けられ、車載用の一般的なディスプレイやカーナビゲーションシステム、ＨＵＤ（ヘッドアップディスプレイ）などの表示出力装置を用いることができ、制御部１２の制御に従って、カメラ１１の撮像画像や検出対象物の検出位置を示す画像などの各種情報を表示する。

【0028】

（制御部１２の構成および動作の概略）
続いて、制御部１２のＣＰＵによる機能実現部の構成および動作の概略について説明する。

【0029】

図１に示すように、制御部１２のＣＰＵは、画像処理プログラムによって、少なくとも辞書生成部２１、処理画像生成部２２、検出部２３、ＴＴＣ算出部２４および警告部２５として機能する。検出部２３は、ＨＯＧ処理部３１、ＨＯＧ結果判定部３２およびＨＯＧ結果選定部３３を有する。

【0030】

この各部２１−２５は、ＲＡＭの所要のワークエリアをデータの一時的な格納場所として利用する。なお、これらの機能実現部は、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。

【0031】

図２は、図１に示す制御部１２のＣＰＵにより、カメラ１１により取得された画像から生成されたピラミッド画像を用いて処理画像内に含まれる検出対象物を検出しつつ、検出した検出対象物のＴＴＣ（衝突するまでの時間）を精度よく予測する際の手順の概略を示すフローチャートである。図２において、Ｓに数字を付した符号はフローチャートの各ステップを示す。

【0032】

ステップＳ１において、辞書生成部２１は、あらかじめ検出対象物を撮像した画像を用いて画像辞書（モデル）を生成し記憶部１３に記憶させておく。たとえば、辞書生成部２１は、カメラ１１の所定の視線軸と、検出対象物の検出対象面の法線方向と、が平行となるように検出対象物をカメラ１１の撮像範囲内の所定範囲の複数の位置に配置して、カメラ１１により複数の位置のそれぞれで事前に検出対象物を撮像した画像を用いてあらかじめ１つの辞書を生成しておく。

【0033】

辞書生成部２１が生成する辞書は、特徴量にもとづいて画像から対象物を検出するための種々の技術に適用可能な内容を有する。以下の説明では、辞書生成部２１が生成する辞書がＨＯＧ特徴量にもとづく対象物検出処理（以下、ＨＯＧ処理という）に適した辞書（以下、ＨＯＧ辞書という）であり、検出部２３がＨＯＧ処理を行う場合の例について示す。

【0034】

次に、ステップＳ２において、処理画像生成部２２は、カメラ１１から車両の周囲を広画角に撮像した撮像画像を取得する。

【0035】

次に、ステップＳ３において、処理画像生成部２２は、カメラ１１による撮像画像にもとづいて、自車４１から設定される投影面の距離が互いに異なる複数の処理画像により構成される画像群（ピラミッド画像）を生成する。各処理画像は、辞書生成に用いられた視線軸と同じ視線軸を法線方向とする投影面に透視投影された画像として生成される。各処理画像は、自車４１からの推定距離としての画像距離とあらかじめ関連付けられる。

【0036】

次に、ステップＳ４において、検出部２３のＨＯＧ処理部３１は、ＨＯＧ処理（たとえば特開２０１０−４４４３８号公報、特開２０１０−５５１９５号公報など参照）を行って尤度を出力する。ＨＯＧ処理部３１は、具体的には、処理画像を勾配方向画像に変換して検出対象物に応じた所定サイズの枠を走査し、ＨＯＧ辞書を用いて走査位置ごとにＨＯＧ特徴量を求めることにより各走査位置に検出対象物が存在するもっともらしさを示す尤度を求める。ＨＯＧ処理部３１は、各走査位置の枠内画像を辞書にあてはめることで尤度（スコア）を求めることができる。尤度が高ければ高いほど、辞書にマッチングした画像であるといえる。

【0037】

ＨＯＧ特徴量は、縦、横、斜め方向のエッジがブロック内にどの程度あるのかを定量化したものである。このため、明るさの変化などの影響を受けにくく、形状の変化に対しても頑健であることが知られている。なお、ＨＯＧ処理部３１によるＨＯＧ処理は、共起性を利用した処理（ｃｏＨＯＧ処理）であってもよい。

【0038】

次に、ステップＳ５において、検出部２３のＨＯＧ結果判定部３２は、ＨＯＧ処理部３１により得られた尤度が閾値より大きい結果を有効な結果とする。ＨＯＧ処理部３１がＨＯＧ処理において走査枠を走査する際の画素のずらし量を小さくするほど、また尤度の閾値を小さくするほど、ＨＯＧ結果判定部３２により有効な結果とされる走査枠の数が多くなる。

【0039】

次に、ステップＳ６において、検出部２３のＨＯＧ結果選定部３３は、ＨＯＧ結果判定部３２により得られた複数の有効な結果のうち最も尤度の高い結果や、複数の有効な結果の単純な平均、尤度による加重平均などにより、最も有効な結果を１つ選定する。また、ＨＯＧ結果選定部３３は、選定した最も有効な結果から同じもしくは一番近くの処理画像に関連付けられた自車からの推定距離を直接出力してもよいが、ここでは基準とする画像（基準画像、以下、正規化画像という）上へ選定した最も有効な結果の枠の大きさや位置を正規化した枠（以下、検出枠という）を出力する。つまり、遠い距離ほど小さい枠に、近い距離ほど大きい枠に変換される。なお、ＨＯＧ結果判定部３２により有効な結果とされた走査枠が１つの場合は、ステップＳ６は実行されずともよい。

【0040】

次に、ステップＳ７において、ＴＴＣ算出部２４は、正規化画像と検出枠の大きさの関係より、自車から検出対象物までの推定距離を求め、推定距離の履歴と複数の処理画像に関連付けられた自車からの推定距離としての各画像距離（以下、適宜総称してピラミッド画像距離という）にもとづいて自車と検出対象物とが衝突するまでの時間ＴＴＣを求めて出力する。このとき、検出される枠が１つである場合や最も尤度が高い結果１つを選んだ場合、検出枠の距離はピラミッド画像距離の１つと一致する。

【0041】

複数の処理画像のそれぞれに関連付けられた自車からの距離は飛び飛びの値である。ＴＴＣ算出部２４は、推定距離をそのまま用いるのではなく、推定距離の履歴とピラミッド画像距離を用いることで、より正確なＴＴＣを求めることができる。

【0042】

次に、ステップＳ８において、警告部２５は、ＴＴＣ算出部２４により出力された自車から検出対象物までの推定距離やＴＴＣの情報を自車の運転者に通知するべきか否かを判定する。ＴＴＣ算出部２４の出力情報を通知すべき場合はステップＳ９に進む。一方、通知せずともよい場合はステップＳ１０に進む。たとえば、検出対象物の位置が自車から所定の距離以内の位置である場合や、ＴＴＣが所定時間以内である場合にはユーザに通知すべきと判定するとよい。なお、このステップＳ８は実行されずともよい。

【0043】

次に、ステップＳ９において、警告部２５は、自車の運転者に対してスピーカ１８を介した音声出力およびブザー出力ならびに表示装置１９に対する警告表示の少なくとも１つにより、ＴＴＣ算出部２４の出力情報を自車の運転者に通知してステップＳ１０に進む。たとえば、警告部２５は、正規化画像と自車から検出対象物までの距離およびＴＴＣの情報を示す画像とを重畳して表示装置１９に表示する。また、警告部２５は、灯火装置１６の点滅（いわゆるパッシング）やクラクション１７の警告音により、自車両の外部に対して警告通知してもよい。

【0044】

次に、ステップＳ１０において、制御部１２は一連の手順を終了するか否かを判定する。たとえば自車が所定時間以上停車している場合や運転者による入力指示があった場合には一連の手順は終了となる。手順を続行する場合はステップＳ２に戻り、カメラ１１から次のフレームの画像を取得してステップＳ３−Ｓ９の処理を繰り返す。

【0045】

以上の手順により、カメラ１１により取得された画像から生成されたピラミッド画像を用いて処理画像内に含まれる検出対象物を検出しつつ、検出した検出対象物のＴＴＣ（衝突するまでの時間）を精度よく予測することができる。

【0046】

（辞書の生成）
ここで、本実施形態に係る辞書生成部２１により生成される辞書について説明する。

【0047】

図３は、辞書生成部２１による辞書の生成時に設定される所定の範囲４４の一例を示す説明図である。

【0048】

本実施形態では、広画角のカメラ１１を用い、自車４１の進行方向に平行に真後ろを向いた視線軸４０の処理画像を生成する（図３参照）。本実施形態に係る辞書生成部２１は、図３に示すような視線軸４０と検出対象面法線方向の位置関係で検出対象物４２を検出することができるよう、カメラ１１の所定の視線軸４０と、検出対象物４２の検出対象面の法線方向と、が平行となるように検出対象物４２をカメラ１１の撮像範囲内の所定の範囲４４の複数の位置に配置して、カメラ１１により複数の位置のそれぞれで事前に検出対象物４２を撮像した画像を用いてあらかじめ１つの辞書を生成する。

【0049】

所定の範囲４４は、検出部２３が検出対象とする範囲である。撮像画像の中心から大きくずれた位置では中心に比べて形状が大きく変化する。このため、所定の範囲４４は、形状変化があまり大きすぎることのない範囲とするとよく、たとえば自車４１の進行方向に平行な視線軸４０から、自車４１の外側に向かって３０度から６０度くらいまで（たとえば４５度まで）の範囲とする。また、検出対象物４２がトラックやバスなどの場合、検出対象面はより平行とみなせる。このため、所定の範囲４４は、自車４１の進行方向に平行な視線軸４０から、自車４１の外側に向かって８５度くらいまで範囲を広げてもよい。

【0050】

また、たとえば視線軸４０から自車４１の外側に向かって４５度を超える範囲とする場合、検出対象物４２の側面も見えるようになる。このため、４５度を超える範囲とする場合は、検出対象物４２の側面を検出対象面とし、視線軸４０を側面の法線方向（自車４１の進行方向に垂直な方向）と平行にした辞書を別に生成しておいてもよい。

【0051】

このとき、検出対象面は車両前方の一部の側面やタイヤなどの小さな領域としてもよい。視線軸４０を側面の法線方向に平行とする場合の辞書において切り出す検出対象面を小さな領域とすれば、遠くほど解像度が少なくなる影響や遠くほど検出対象物４２の側面が（完全な平面でないと）歪んでしまう影響を低減することができる。

【0052】

図３には、自車４１が走行する車線の隣の車線を走行して自車４１から接近する他車を検出することを想定し、カメラ１１から所定の距離以内までは視線軸４０から自車４１の外側に向かって４５度までの範囲を、カメラ１１から所定の距離より遠くでは視線軸４０から自車外側に向かって所定距離の範囲を、所定の範囲４４とする場合の例について示した。

【0053】

（ピラミッド画像生成）
続いて、本実施形態に係る処理画像生成部２２により生成されるピラミッド画像について説明する。

【0054】

図４は、カメラ１１が左右および後部に設けられ、自車４１に並走する他車の前面を検出する場合における各カメラ１１の視線軸４０および投影面４３の一例を示す説明図である。自車４１に並走する他車の前面を検出する場合、処理画像生成部２２は、カメラ１１の撮像画像にもとづいて自車４１の進行方向に平行で後方に向かう視線軸４０をもつ投影面４３に透視投影された処理画像を生成する。

【0055】

また、カメラ１１を左右および前部に設け、自車４１に並走する他車の後面を検出してもよい。自車４１に並走する他車の後面を検出する場合、処理画像生成部２２は、カメラ１１の撮像画像にもとづいて自車４１の進行方向に平行で前方に向かう視線軸４０をもつ投影面４３に透視投影された処理画像を生成する。

【0056】

また、カメラ１１を左右、前部および後部に設け、自車４１に並走する他車の側面を検出してもよい。自車４１に並走する他車の側面を検出する場合、処理画像生成部２２は、カメラ１１の撮像画像にもとづいて自車４１の進行方向に垂直な視線軸４０をもつ投影面４３に透視投影された処理画像を生成する。

【0057】

他車の前面、側面および後面を検出する場合は、各視線軸４０に対応する個別の辞書を利用する。これらの辞書は辞書生成部２１によりあらかじめ生成される。もちろん、全てに対応する辞書を用意しておき全ての検出対象面（他車の前面、後面および側面）を検出対象としてもよい。

【0058】

図５は、処理画像生成部２２により生成されるピラミッド画像５０の一例を示す説明図である。なお、図５には、最も縮小された画像（解像度が低い画像）から順に番号を０〜１６として示した。また、図５には、複数の処理画像を拡大縮小率に応じて近距離用画像、中距離用画像、遠距離用画像にそれぞれ分類する場合の例について示した。また、図５には、近距離用画像（０−８）が互いに１．３倍の拡大率、中距離用画像（９−１２）が互いに１．１９倍の拡大率、遠距離用画像（１３−１６）が互いに１．１９倍の拡大率である場合の例について示した。

【0059】

本実施形態において、辞書生成部２１により生成される辞書は、検出対象物４２に応じた所定サイズ（たとえば横×縦が２４×１２ピクセルなど）の画像に対応したものである。この場合、検出部２３は、処理画像上で所定サイズの枠（たとえば２４×１２ピクセルなど）を走査することになる。一方、処理画像上での検出対象物４２の大きさは、自車４１からの距離に応じて異なる。たとえば検出対象物４２が自車４１から遠い場合は、近い場合に比べて検出対象物４２は処理画像上で小さく写ることになる。

【0060】

このため、処理画像生成部２２は、自車４１から設定される投影面４３の距離が互いに異なる複数の処理画像により構成される画像群（ピラミッド画像）５０を生成する。このとき、処理画像生成部２２は、各処理画像が検出対象面の法線方向に平行な視線軸４０を有するように、すなわち辞書生成に用いられた視線軸４０と同一の視線軸４０を有するように、各処理画像を生成する。

【0061】

処理画像上の検出対象物４２のサイズが枠のサイズと一致する場合における自車４１から検出対象物４２までの距離は、あらかじめ測定しておくことができる。たとえば、枠の縦幅がｈで画像の焦点距離をｆ、実際の縦幅がＳとすると、検出対象物までの距離Ｄは次のように書ける。
Ｄ＝ｆ・Ｓ／ｈ

【0062】

このため、各処理画像は、あらかじめ自車４１から検出対象物４２までの距離と関連付けておくことができる。小さい処理画像ほど、関連付けられる自車４１からの距離が短い。なお、ここでの処理画像の面は平面であるため、各処理画像での距離は、視線軸方向に対しての距離である。処理画像の面は円柱状や球状としてもよい。たとえば面を円柱にした場合、焦点距離は円（２次元）方向となり、検出対象物４２までの距離は円（２次元）方向となる。また、たとえば面を球にした場合、焦点距離は球（３次元）方向となり、検出対象物４２までの距離は球（３次元）方向となる。

【0063】

なお、各処理画像は、自車４１からの互いに異なる距離と関連付けることができればよく、カメラ１１の撮像画像を複数の倍率で拡大縮小することにより生成されてもよいし、自車４１から検出対象物４２までの距離（たとえば２ｍなど）ごとに生成されてもよい。

【0064】

処理画像生成部２２は、自車４１から所定の距離ごとに投影面４３を設定し、この各投影面４３を用いて撮像画像にもとづいて各処理画像を生成する。

【0065】

各投影面４３が同一の視線軸４０を有する場合、検出部２３はピラミッド画像５０を構成する全ての処理画像に対して１つの辞書を適用することができる。ピラミッド画像５０が生成されると、検出部２３は、各処理画像上で所定サイズの枠を走査し、ＨＯＧ特徴量にもとづいてＨＯＧ辞書を用いて得られる検出枠とその推定距離を求める。

【0066】

（走査枠）
図６は、検出対象物４２が自動車である場合における走査枠（ＨＯＧ処理対象となる領域（検出対象面））について説明するための図である。

【0067】

ＨＯＧ処理部３１は、処理画像上で検出対象物４２の検出対象面（ＨＯＧ処理領域）に応じたサイズの走査枠を走査し、ＨＯＧ辞書を用いてＨＯＧ特徴量を求めることにより走査位置ごとに尤度を求める。この尤度にもとづいてＨＯＧ結果選定部３３により検出枠が求められる。

【0068】

検出対象面は、完全な平面でなくともある程度平面とみなせる領域であることが好ましい。このため、検出対象物４２が自動車であって視線軸４０が自車４１の進行方向に平行である場合は、検出部２３は自動車（他車）の前面のライトあたりを検出対象面とするとよい。フロントガラス部分はライトよりも自車４１から見て奥に位置するため、近くで自車４１の横に位置する場合にはフロントガラス部分とライトあたりでは横位置がずれて処理画像が作成されてしまうためである。

【0069】

なお、自車４１から遠くの位置のみを所定の範囲４４とする場合は、フロントガラス部分とライトあたりの奥行きが相対的に同じぐらいになるため、フロントガラスを含む自動車全体を検出対象面（ＨＯＧ処理領域）としてもよい。

【0070】

また、視線軸４０が自車４１の進行方向に垂直である場合は、他車の側面を検出対象面とすればよい。なお、検出対象面は車両前方の一部の側面やタイヤなどの小さな領域としてもよい。検出対象面を小さな領域とすれば、遠くほど解像度が少なくなる影響や遠くほど検出対象物４２の側面が（完全な平面でない場合に）歪んでしまう影響を低減することができる。

【0071】

この辞書は、１つのみで、広画角のカメラ１１により撮像される画像上に写った検出対象物４２が画像中心から離れた位置に写っており、かつ画像中心に写った場合に比べて形状が歪んでいる場合にも対応したものである。このため、広画角なカメラ１１を用いて広範囲を撮像した画像上において検出対象物４２の形状が歪んでいても、検出部２３は、１つの辞書で誤検出を抑制しつつ柔軟に安定して検出対象物４２を検出することができる。

【0072】

また、画像処理装置１０は、１つの辞書で広い範囲に位置する検出対象物４２を検出することができる。このため、複数の辞書を用いる場合に比べ、必要となる記憶容量を大幅に低減することができるとともに、検出処理にかかる負荷を低減し処理時間を削減することができる。また、画像処理装置１０は、他車が自車４１に近い場合は、視線軸４０を自車４１の進行方向に垂直な方向とするとともに所定の範囲４４を自車４１の進行方向に沿った広い範囲とし、検出対象面を他車の側面や検出対象とすることもできる。このため、特にサイドミラー付近にカメラ１１を設けておく場合、自車４１を追い越す他車を自車４１の近くまで監視することができる。

【0073】

（検出対象物に応じた走査枠の設定）
検出対象物４２が自動車である場合は、ＨＯＧ処理により処理画像において検出対象物４２として尤度の高い検出枠を、基準とした正規化画像に枠の大きさや位置を正規化した検出枠の縦幅Ｈｈおよび横幅Ｈｗと、検出対象面の実際の縦幅Ｏｈおよび横幅Ｏｗ（たとえば前面のライトあたりであれば縦幅Ｏｈ０．５ｍおよび横幅Ｏｗ１．７ｍなど）とを関連付けておくことができる。このため、正規化画像上の検出枠の位置および大きさの情報にもとづいて、検出対象物４２の自車４１からの距離を求めることが可能である。

【0074】

一方、検出対象物４２のサイズがさまざまある場合、地面位置が限定されていれば処理は容易である。処理画像上で、地面の位置は遠い地面ほど上になる。地面ごとに考えれば、１つの処理画像内で走査は横方向だけである。そこで、検出部２３は、検出対象物４２のサイズを複数に分類して分類サイズごとに互いに異なるサイズの走査枠を設け、ピラミッド画像５０を構成する複数の処理画像の各画像上でこの分類サイズごとの走査枠のそれぞれを走査する。

【0075】

検出対象物４２のサイズがさまざまある場合としては、たとえば検出対象物４２が人物である場合が挙げられる。人物の縦幅（身長）は、年齢などによって大きな幅がある。

【0076】

図７（ａ）は、焦点距離をｆとした正規化画像の一例を示す説明図であり、（ｂ）は、検出対象物４２が人物であって走査枠の縦幅Ｏｈを３種に分類する場合の様子の一例を示す説明図である。

【0077】

図７（ａ）に示すように地面位置が限定されていれば、検出対象物４２をある程度の大きさごとに走査枠を設定できる。この場合、各走査枠による走査により得られた検出枠ごとに同じ縦幅Ｏｈを有するものとみなして計算すればよい。

【0078】

検出対象物４２が人物の場合、たとえば図７（ｂ）に示すように検出対象物４２の実際の縦幅ＯｈをＯｈ１＝０．７５ｍ（０．４５ｍ〜１．０５ｍ）、Ｏｈ２＝１．２５ｍ（０．９５ｍ〜１．５５ｍ）、Ｏｈ３＝１．７５ｍ（１．４５ｍ〜２．０５ｍ）の３通りに分類する。分割した中間の高さの人物の場合、重複して検出することになるが、その場合、より多くの検出枠が得られた方や、尤度が高い方を採用するとよい。

【0079】

図８（ａ）は、地面に立っている人物を検出した焦点位置画像の一例を示す説明図であり、（ｂ）は、（ａ）に示す例における検出枠の下端Ｈｙｂの算出方法を説明するための図である。

【0080】

カメラ１１の地面からの高さをＣｈ、検出対象物４２の実際の縦幅をＯｈｉ（ただしｉ＝１、２、３）、焦点位置画像上の検出枠の縦幅をＨｈｉ（ただしｉ＝１、２、３）、焦点位置画像上の視線軸中心の座標を（ｐｘ、ｐｙ、ｆ）とする。この場合、図８（ａ）に示すように検出枠の下辺が地面位置のとき、焦点位置画像上での検出枠の下端Ｈｂｙｉ（ただしｉ＝１、２、３）の位置は、次のように書ける。
Ohi : Hhi = Ch : (Hybi - py)
Hybi = (Hhi・Ch / Ohi) + py

【0081】

このように、実際の縦幅を範囲として設定することにより（たとえば上記例ではＯｈ１は０．４５ｍ〜１．０５ｍの範囲）、縦方向の位置はマージンをもつことになり、その領域のみを走査枠とすると。この結果、検出枠は分類された各縦幅と近いものだけ（上記例では縦幅との差が０．３ｍ以内）となる。したがって、検出対象物４２は、各走査枠による走査により得られた検出枠ごとに同じ縦幅Ｏｈを有するものとみなして計算することができる。

【0082】

図９は、地面から所定の高さだけ浮いている人物を検出した焦点位置画像の一例を示す説明図である。

【0083】

図９に示すように地面から所定の高さΔＯｈｉ（ただし、ｉ＝１、２、３）だけ浮いたものを検出する場合には、焦点位置画像上での検出枠の下端Ｈｙｂｉ（ただしｉ＝１、２、３）の位置は、
Hybi = [Hhi・(Ch -ΔOhi) / Ohi] + py

【0084】

と書け、検出枠の下辺が地面位置のときと同様に処理することができる。

【0085】

（ＴＴＣの算出手順の概略）
続いて、本実施形態に係るＴＴＣ算出部２４によるＴＴＣ（衝突までの時間）の算出方法について説明する。

【0086】

図１０は、図２のステップＳ７でＴＴＣ算出部２４により実行されるＴＴＣ算出処理の手順の一例を示すサブルーチンフローチャートである。

【0087】

ステップＳ１１において、ＴＴＣ算出部２４は、ＨＯＧ結果選定部３３により出力された検出枠を取得する。

【0088】

次に、ステップＳ１２において、ＴＴＣ算出部２４は、検出枠から検出対象物４２の推定距離を算出する。

【0089】

次に、ステップＳ１３において、ＴＴＣ算出部２４は、推定距離の履歴とピラミッド画像距離にもとづいて、有効距離を複数選定し、選定した有効距離と各有効距離に対応する推定距離の取得時間とを関連付けて記憶部１３に記憶させる。

【0090】

次に、ステップＳ１４において、ＴＴＣ算出部２４は、複数の有効距離を用いて検出対象物４２の速度を算出する。

【0091】

そして、ステップＳ１５において、ＴＴＣ算出部２４は、算出した速度を用いて検出対象物４２が自車４１に衝突するまでの時間ＴＴＣを求め、図２のステップＳ８に進む。なお、ＴＴＣは検出対象物４２が自車４１から所定の距離Ｄｃの位置に達するまでの時間としてもよい。

【0092】

以上の手順により、推定距離の履歴とピラミッド画像距離を用いることで、正確なＴＴＣを求めることができる。

【0093】

（有効距離の選定方法）
次に、有効距離の選定方法について説明する。なお、以下の説明では、図３に示す例におけるｚ方向の距離の求め方について示すが、ｘ方向についても同様に求めることができる。

【0094】

図１１は、有効距離の第１の選定方法について説明するための図である。

【0095】

有効距離の第１の選定方法は、検出される枠が１つである場合や最も尤度が高い結果１つを選んだ場合（検出枠の距離がピラミッド画像距離の１つに一致する場合）に、ピラミッド画像距離を用いつつ、推定距離の履歴により推定距離をスムージングする方法である。

【0096】

ピラミッド画像距離が、自車４１に近い順にＤｚｐ０、Ｄｚｐ１、Ｄｚｐ２、Ｄｚｐ３、・・・である場合を考える。このとき、各距離Ｄｚｐ０、Ｄｚｐ１、Ｄｚｐ２、Ｄｚｐ３、・・・に対して、隣接する処理画像間の距離Δｄの所定の割合ｒ（たとえば０．２など）の距離ｒ・Δｄだけ所定の幅を持たせた範囲を各処理画像の所属範囲とする。すなわち、各処理画像は、自車４１から見て近方の境界６１から遠方の境界６２までを所属範囲とする。

【0097】

有効距離の第１の選定方法では、ＴＴＣ算出部２４は、今回の推定距離αを、前回の推定距離βに応じた以下の補正式で補正した補正推定距離を求めることにより、推定距離をスムージングする。
補正推定距離＝β＋（α−β）・ｃ

【0098】

ここで、比例定数ｃ（０＜ｃ≦１）は検出対象物４２の最大相対速度に応じて決めるとよい。たとえば、今回の推定距離以上の一番近いピラミッド画像距離をＤｚｐｉとし、次に近いピラミッド画像距離をＤｚｐｊとする。最大相対速度（１回の処理中に進む距離）をｖｍａｘとすると、２つのピラミッド間を通過する最小時間（処理回数）ｔｍｉｎは、
tmin = (Dpzi-Dpzj)/vmax

【0099】

と書け、比例定数ｃは比例定数ｃ０をかけて、次のように書ける。
c = c0/tmin

【0100】

ここで、比例定数ｃ０は例えば１であり、比例定数ｃは例えば最大０．２、最小０．０５でリミットしてもよい。または、単に最大相対速度で前回の推定距離βからの移動量をリミットした補正推定距離としてもよい。または、隣接するピラミッド画像距離が長いほど時間当たりの処理回数を減らしてもよい。

【0101】

ＴＴＣ算出部２４は、この今回の補正後の推定距離（図１１の直線参照）がある処理画像の所属範囲内または前回の推定距離がこの処理画像の所属範囲の逆側であるとともに、直近に格納された有効距離がこの処理画像に所属していないとき、今回の補正後の推定距離または今回の推定距離を有効距離として選定して、今回の推定距離の取得時間とともに記憶部１３に記憶させる。

【0102】

たとえば、図１１の時間ｔ＝ｔ２において、今回の補正後の推定距離はＤｚｐ２の遠方境界６２に進入しており、Ｄｚｐ２の所属範囲にある。また、ｔ＝ｔ２の前回の推定距離はＤｚｐ２であるものの（ｔ＝ｔ２の１つ左の×参照）、前回の補正後の推定距離はいずれの処理画像の所属範囲にも属さない。このため、ＴＴＣ算出部２４は、今回の補正後の推定距離Ｄｚｐ２＋γまたは今回の推定距離Ｄｚｐ２を有効距離として選定して、今回の推定距離の取得時間ｔ２とともに記憶部１３に記憶させる。

【0103】

なお、一度に複数の処理画像をまたいだ場合は、またいだ処理画像の距離は無視し、今回の補正後の推定距離が属する処理画像、またはまたいだ一番近くの処理画像を所属範囲にあるとし、その推定距離を有効距離とすればよい。

【0104】

第１の選定方法によれば、飛び飛びの値である処理画像の距離を単発的に用いる場合に比べ、安定して検出対象物４２の位置および速度を求めることができる。

【0105】

図１２は、有効距離の第２の選定方法について説明するための図である。

【0106】

有効距離の第２の選定方法は、検出される枠が１つである場合や最も尤度が高い結果１つを選んだ場合（検出枠の距離がピラミッド画像距離の１つに一致する場合）に、推定距離をスムージングさせる代わりに、推定距離が所定回数連続して１つの処理画像の所属範囲内もしくは直近に格納された有効距離の逆側の所属範囲外であるときに有効距離とする方法である。

【0107】

たとえば連続とする回数を３回とすると、ＴＴＣ算出部２４は、ある処理画像の所属範囲内に３回連続で属した時の推定距離を取得時間とともに記憶部１３に記憶させる（図１２参照）。

【0108】

第２の方法によっても、飛び飛びの値である処理画像の距離を単発的に用いる場合に比べ、安定して検出対象物４２の位置および速度を求めることができる。

【0109】

図１３（ａ）は、有効距離の第３の選定方法について説明するための焦点位置画像の一例を示す説明図であり、（ｂ）は（ａ）に示す例における自車４１から検出対象物４２までの距離Ｄｚの演算方法を説明するための図である。

【0110】

有効距離の第３の選定方法は、複数の有効な結果の単純な平均、尤度による加重平均などの場合（検出枠の距離がピラミッド画像距離の１つに一致しないことがある場合）に、検出枠の大きさＨｈ、Ｈｗと検出対象物４２の実際の大きさＯｈ、Ｏｗにもとづいて自車４１から検出対象物４２までの距離Ｄｚを演算する方法である。

【0111】

焦点距離をｆ、正規化画像上の視線軸中心の座標を（ｐｘ、ｐｙ、ｆ）、正規化画像上の検出枠の縦幅、横幅および中心座標をＨｈ、Ｈｗおよび（Ｈｘ、Ｈｙ、ｆ）、検出対象物４２の実際の縦幅および横幅をＯｈおよび横幅Ｏｗとする。このとき、自車４１から検出対象物４２までのｚ方向の距離Ｄｚおよびｘ方向の距離Ｄｘは、それぞれ次のように表せる。
Ｄｚ＝ｆ・Ｏｗ／Ｈｗ
Ｄｘ＝（Ｈｘ-ｐｘ）・Ｄｚ／ｆ

【0112】

この演算により得られる距離Ｄｚは、検出対象物４２の速度や処理画像の配置の分解能（距離間隔）にもよるが、処理画像の距離Ｄｚｐ０等に近くなると予想される。このため、演算により得られた距離Ｄｚがある処理画像の所属範囲内（たとえばＤｚｐ２＋γ）であるときには、この処理画像に関連付けられた自車４１からの距離（たとえばＤｚｐ２）を今回の推定距離としてあつかう。また、第１の選定方法と同様に、推定距離をスムージングしてもよい。

【0113】

なお、これら第１から第３の選定方法において、全ての処理画像の距離を処理対象とせずに間引いて処理して負荷を低減してもよい。

【0114】

（ＴＴＣの算出手順の詳細）
ＴＴＣ算出部２４は、記憶部１３に格納された有効距離が３つ以上となると、ＴＴＣを計算するとよい。ＴＴＣは、２点の有効距離とその取得時間および現在の時間がわかれば計算できる。しかし、最初に格納される有効距離は、当該処理画像の所属範囲にその時に突入したか否かが判別できないため使用しないことが好ましい。このため、格納された値が３つ以上必要となる。

【0115】

図１４は、有効距離にもとづくＴＴＣ算出方法を説明するための図である。なお、図１４には図１１に示す有効距離の第１の選定方法を用いる場合の例について示すとともに煩雑さを避けるため近方境界６１および遠方境界６２を省略して示した。

【0116】

まず、時間的に直近に格納された２つの有効距離およびその取得時間を用いて検出対象物４２の速度ｖ１を求める。

【0117】

たとえば、現在の時刻をｔ＝ｔ、時間的に直近に格納された２つの有効距離およびその取得時間をそれぞれ（Ｄｚｐ１、ｔ１）、（Ｄｚｐ２、ｔ２）である場合を考える。この場合、速度ｖ１は次のように表せる。
ｖ１＝（Ｄｚｐ２−Ｄｚｐ１）／（ｔ１―ｔ２）

【0118】

このとき、検出対象物４２が短時間で急峻な動きをしないことがわかっている場合には、短時間とする時間（たとえば１秒）以内に２点より多く有効距離が格納された場合、その時間内の有効距離で直近と一番過去での計算や、平均や最小２乗法などによって速度ｖ１を計算してもよい。

【0119】

この速度ｖ１を用いると、検出対象物４２が自車４１から所定の距離Ｄｃの位置に達するまでの時間ＴＴＣは次のように書ける。
ＴＴＣ＝（Ｄｚｐ１―Ｄｃ）／ｖ１−（ｔ−ｔ１）

【0120】

ここで、ＴＴＣは、検出対象物４２が速度ｖ１で移動すると仮定した場合に、検出対象物４２が自車４１から距離Ｄｃの位置に達する時間を表す。

【0121】

図１５は、検出対象物４２と自車４１との相対速度が低下した場合にＴＴＣを再計算する方法を説明するための図である。

【0122】

図１５に示すように、ある処理画像（図１５に示す例ではＤｚｐ１）の所属範囲に達した後、検出対象物４２と自車４１との相対速度がほぼゼロとなる場合がある。この場合、検出対象物４２は、当該処理画像の所属範囲で停滞したように見える。このため、図１４に示す方法で算出した速度ｖ１にもとづいて算出したＴＴＣよりも、実際のＴＴＣは長くなる。

【0123】

たとえば、図１４および図１５に示す例において、現在の時間ｔ＝ｔが速度ｖ１にもとづいて予測されるＤｚｐ０に到達するはずの時間になっても、いまだに検出対象物４２がＤｚｐ０に到達しない場合の条件は、次のように表せる。
ｔ−ｔ１＞（Ｄｚｐ１―Ｄｚｐ０）／ｖ１

【0124】

そこで、ｖ１の算出時に検出対象物４２が属していた処理画像の距離（図１４および図１５に示す例ではＤｚｐ１）から次の処理画像の距離（同例ではＤｚｐ０）に今まさに到達したと仮定し、直近の有効距離およびその取得時間（Ｄｚｐ１、ｔ１）を用いて速度を再計算する。再計算速度をｖとすると、今現在ｔ＝ｔでＤｚｐ０に到達したと仮定したことから、ｖは次のように表せる。
ｖ＝（Ｄｚｐ１―Ｄｚｐ０）／（ｔ−ｔ１）

【0125】

この再計算速度ｖを用いると、ＴＴＣは次のように再計算することができる。
ＴＴＣ´＝（Ｄｚｐ０−Ｄｃ）／ｖ

【0126】

ここで、ＴＴＣ´は再計算速度ｖにより上記式により再計算されたＴＴＣを表すものとする。また、誤差で停滞していることを考慮し、到達するはずの時間から所定の期間は、停滞しているとしてＴＴＣ´を大きくするのではなく、同じ値で更新したりそのまま近づいてきているとして小さくしたりしてもよい。

【0127】

また、処理画像の所属範囲で停滞したように見える原因が誤検出などの何らかのトラブルである場合、実際には検出対象物４２が自車４１に接近してしまっている場合がある。この場合、検出対象物４２が短時間で急峻な動きをしないことがわかっている場合には、たとえば相対加速度の大きさがａより大きくならないとして速度ｖを計算してもよい。直近の２点の有効距離から求めた速度ｖ１にもとづいて予測される速度ｖの範囲は、ｔ＝ｔ１からの速度ｖ１の変化量を相対加速度で予測して次のように書ける。
v1 - a・(t-t1) ≦ v ≦ v1 + a・(t-t1)

【0128】

そこで、この範囲で速度ｖを設定してＴＴＣを計算してもよい。また、相対加速度はカメラ１１（自車４１）と検出対象物４２との相対加速度であるため、画像処理装置１０が車両情報取得部１４を備える場合は、カメラ１１（自車４１）の加速度や速度を車両情報取得部１４から取得してオフセットし、検出対象物４２の加速度の範囲を決定してもよい。

【0129】

また、図１５に示す例において再計算した速度ｖおよび再計算したＴＴＣ´を用いて、検出対象物４２の現在の距離Ｄｚを再計算してもよい。
Ｄｚ´＝Ｄｃ＋ｖ・ＴＴＣ´
ここで、Ｄｚ´は再計算した現在の距離を表すものとする。

【0130】

なお、上記説明ではｚ方向に沿った距離Ｄｚに関する処理について示したが、ｘ方向に沿った距離Ｄｘについても同様に処理してもよいし、推定距離のスムージングのみをおこなってもよい。

【0131】

また、再計算した現在の距離Ｄｚ´を用いて処理画像上の検出枠の位置を修正してもよい。

【0132】

図１６（ａ）は、検出枠の下端が地面からＤｙだけ上にある場合の焦点位置画像の一例を示す説明図であり、（ｂ）は（ａ）に示す例において再計算距離Ｄｚ´を用いて処理画像上の検出枠の位置を修正する方法を説明するための図である。

【0133】

たとえば、検出枠の下端や上端やその中間の地面からの高さをＤｙとする。また、検出枠の内側に地面があり、枠の下端が地面よりも下に埋もれている場合には、地面からの高さＤｙはマイナスとなる。なお、Ｄｙが地面からの高さではない場合、Ｄｙは固定値としておいてもよいが、検出対象物４２の種別や大きさによって高さＤｙが変わって見えることが想定されるため、過去の検出したときの検出枠の大きさとそれによる推定距離と下辺位置から、地面からの高さを計算しておき、その平均や最小２乗法の結果により高さＤｙを計算しておいてもよい。

【0134】

例えば、カメラ１１の地面からの高さをＣｈ、検出枠の下辺の位置をＨｙｂとすると、Ｄｙは次式で表せる。
Ｄｚ：ｆ＝（Ｃｈ−Ｄｙ）：（Ｈｙｂ−ｐｙ）
Ｄｙ＝Ｃｈ−（Ｈｙｂ−ｐｙ）・Ｄｚ・ｆ

【0135】

また、カメラ１１の高さＣｈを用いない式とする場合は、Ｄｙのかわりに水平線からの位置Ｄｙ´を用いた次の式を利用するとよい。
Ｄｚ：ｆ＝Ｄｙ´：（Ｈｙｂ−ｐｙ）
Ｄｙ´＝（Ｈｙｂ−ｐｙ）・Ｄｚ・ｆ

【0136】

以上説明したように、本実施形態に係る画像処理装置１０は、飛び飛びの距離に関連付けられた処理画像（ピラミッド画像の構成画像）を用いたＨＯＧ処理の結果から推定距離を求め、推定距離の履歴とピラミッド画像距離を用いてＴＴＣを算出することができる。このため、画像処理装置１０は、カメラ１１により取得された画像から生成されたピラミッド画像を用いて処理画像内に含まれる検出対象物４２を検出しつつ、検出した検出対象物４２のＴＴＣ（衝突するまでの時間）を精度よく予測することができる。

【0137】

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0138】

たとえば、画像処理装置１０が利用する撮像画像は、車両に設けられたカメラ１１の撮像画像でなくともよく、たとえば街灯に設置されたカメラなどの一般的な周辺監視カメラにより撮像された画像であってもよい。

【符号の説明】

【0139】

１０ 画像処理装置
１１ カメラ
１３ 記憶部
１８ スピーカ
１９ 表示装置
２２ 処理画像生成部
２３ 検出部
２４ ＴＴＣ算出部
２５ 警告部
４１ 自車
４２ 検出対象物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】