特許 6184877 車両用外界認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6184877

(24)【登録日】2017年8月4日

(45)【発行日】2017年8月23日

(54)【発明の名称】車両用外界認識装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20170814BHJP

   G08G 1/16 20060101ALI20170814BHJP

   H04N 7/18 20060101ALI20170814BHJP

【ＦＩ】

   G06T7/00 300B

   G08G1/16 C

   H04N7/18 K

【請求項の数】9

【全頁数】29

(21)【出願番号】特願2014-2549(P2014-2549)

(22)【出願日】2014年1月9日

(65)【公開番号】特開2015-132879(P2015-132879A)

(43)【公開日】2015年7月23日

【審査請求日】2016年6月29日

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】100091096

【弁理士】

【氏名又は名称】平木 祐輔

(74)【代理人】

【識別番号】100105463

【弁理士】

【氏名又は名称】関谷 三男

(74)【代理人】

【識別番号】100102576

【弁理士】

【氏名又は名称】渡辺 敏章

(72)【発明者】

【氏名】緒方 健人

(72)【発明者】

【氏名】清原 將裕

(72)【発明者】

【氏名】入江 耕太

(72)【発明者】

【氏名】坂田 雅男

(72)【発明者】

【氏名】内田 吉孝

【審査官】 山内 裕史

(56)【参考文献】

【文献】 特開２０１３−６９０４５（ＪＰ，Ａ）

【文献】 特開平１１−４１５２１（ＪＰ，Ａ）

【文献】 特開２０１１−８６１６３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／１６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

自車周囲を撮像した画像に映る歩行者までの距離を認識する車両用外界認識装置であって、
前記画像における歩行者の第一位置情報を検出する第一検出部と、
前記第一検出部と異なる手法で前記画像における移動体の第二位置情報を検出する第二検出部と、
前記第一検出部によって検出された前記歩行者の第一位置情報と前記第二検出部によって検出された前記移動体の第二位置情報とに基づいて同一物体対応付けを行い、同一物体としての第一位置情報と第二位置情報とが検出される第一状態と、前記第二検出部のみによって前記移動体の第二位置情報が検出される第二状態とが時系列で発生した際に、前記第一状態における前記移動体の第二位置情報に対する前記歩行者の第一位置情報の相対位置に基づいて前記第二状態における前記歩行者の第一位置情報を補間する第一位置情報補間情報を算出する第一検出位置補間部と、
前記第一位置情報と前記第一位置情報補間情報とに基づいて前記歩行者までの距離を計測する距離計測部と、を備えることを特徴とする車両用外界認識装置。

【請求項2】

前記第一位置情報は、前記歩行者の前記画像における接地座標を含むことを特徴とする、請求項１に記載の車両用外界認識装置。

【請求項3】

前記第一検出位置補間部は、前記第二状態が発生した後に前記第一状態が発生した際に、前記第一状態における前記移動体の第二位置情報に対する前記歩行者の第一位置情報の相対位置に基づいて前記第二状態における前記歩行者の第一位置情報を補間する第一位置情報補間情報を算出し、
前記距離計測部は、前記第一位置情報補間情報を用いて前記第二状態における前記歩行者までの距離を再計算することを特徴とする、請求項１に記載の車両用外界認識装置。

【請求項4】

前記第一検出位置補間部は、前記第一状態が発生した後に前記第二状態が発生した際に、前記第一状態における前記移動体の第二位置情報に対する前記歩行者の第一位置情報の相対位置に基づいて前記第二状態における前記歩行者の第一位置情報を補間する第一位置情報補間情報を算出し、
前記距離測定部は、前記第一位置情報補間情報を用いて前記第二状態における前記歩行者までの距離を計測することを特徴とする、請求項１に記載の車両用外界認識装置。

【請求項5】

前記距離計測部は、前記第二状態が発生した場合であって前記第一状態と前記第二状態とが時系列で発生しなかった場合に、前記第二位置情報に基づいて前記歩行者までの距離を計測することを特徴とする、請求項１に記載の車両用外界認識装置。

【請求項6】

前記第一検出部は、パターンマッチ処理を用いて前記画像における前記歩行者の前記第一位置情報を検出し、前記第二検出部は、オプティカルフローを用いて前記画像における前記移動体の前記第二位置情報を検出することを特徴とする、請求項１に記載の車両用外界認識装置。

【請求項7】

前記第一検出部で設定される前記画像中の第一検出領域は、前記第二検出部で設定される前記画像中の第二検出領域よりも小さいことを特徴とする、請求項６に記載の車両用外界認識装置。

【請求項8】

前記第一検出部は、歩行者の脚部形状に基づくパターンマッチ処理を用いて前記画像における前記歩行者の前記第一位置情報を検出し、前記第二検出部は、歩行者の頭部形状に基づくパターンマッチ処理を用いて前記画像における前記移動体の前記第二位置情報を検出することを特徴とする、請求項１に記載の車両用外界認識装置。

【請求項9】

前記車両用外界認識装置は、前記距離計測部により計測された距離のうち、これまでに前記第一検出部及び前記第二検出部によって第一位置情報及び第二位置情報が検出された前記歩行者までの距離を選択して出力する選択出力部を更に備えることを特徴とする、請求項１に記載の車両用外界認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両用外界認識装置に係り、例えば自動車等の車両に搭載されたカメラ等の画像センサから得られる情報に基づいて対象物を検出する車両用外界認識装置に関する。

【背景技術】

【0002】

従来から、カメラやソナーといったセンサから得られる情報を用いて車両を制御し、当該車両の運転者をサポートするシステムの開発が進められている。そのようなシステムの一例として、自車前方の障害物と衝突する可能性が生じた際に警報等によって運転者に注意を促し、さらに衝突が避けられない状況になった際には自動ブレーキによって乗員に対する傷害を軽減するプリクラッシュ・セーフティ・システム等が既に実用化されている。

【0003】

このようなシステムにおいては、自車と障害物との衝突可能性を精緻に判断するために、自車と障害物との相対位置や相対速度を正確に把握する必要があり、例えば、特許文献１には、対象物が路面に接する接地位置が撮影範囲から外れたり、遮られたりしている場合に、自車両の直近まで対象物を追跡して対象物の路面上の現在位置を推定する技術が開示されている。

【0004】

特許文献１に開示されている対象物追跡装置は、過去の画像から求めた対象物の路面上の位置及び車両運動情報に基づいて対象物の路面上での現在位置を予測し、予測した路面上での現在位置に対応する現在の画像上の位置から対象物を検出する対象物検出手段と、対象物が路面に接する接地位置が撮影範囲内に存在する場合に、画像上における接地位置及び撮像手段の自車両への取付位置に基づいて対象物の路面上の現在位置を推定する第１の位置推定手段と、過去の画像から求めた対象物の路面上の位置及び現在の画像上の対象物の大きさの過去の画像上の対象物の大きさに対する拡大率に基づいて対象物の路面上の現在位置を推定する第２の位置推定手段と、対象物検出手段で予測された現在位置、第１の位置推定手段で推定された現在位置、及び第２の位置推定手段で推定された現在位置を統合する統合手段と、を備えているものである。

【0005】

特許文献１に開示されている対象物追跡装置によれば、接地位置が撮影範囲内に存在する場合には、接地位置に基づいて対象物の現在位置を推定し、接地位置が撮影範囲内に存在しない場合でも、画像上での対象物の拡大率に基づいて対象物の現在位置を推定するため、対象物が路面に接する接地位置が撮影範囲から外れたり、遮られたりしている場合であっても、自車両の直近まで対象物を追跡して対象物の位置を推定することができる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１１−６５３３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、例えば、駐車支援等に使用される広角カメラを用いて自車の進路を横切る歩行者を検出する場合、そのカメラの視野の端に映る歩行者は、レンズ歪によりパターンマッチ処理で検出することが困難である。そのため、そのようなパターンマッチ処理で歩行者を検出する場合には、横方向へ移動する歩行者がカメラ歪が少ない画像中央へ移動してきて初めてその歩行者が検出されるため、当該歩行者に対する相対位置や相対速度の算出開始が遅れてしまう。また、一般に、相対速度は相対位置の差分から算出されると共に、ノイズを除去する平滑化処理が施されるため、相対位置の算出開始から実際の相対速度へ収束するまでにはある程度の時間を要することが知られている。したがって、上記した状況下では、自車と歩行者との相対位置や相対速度の算出開始が遅れると共に、算出される相対速度が実際の相対速度に収束するまでにある程度の時間を要し、自車の進路を横切る歩行者との衝突可能性を正確に把握し得ないといった問題が生じ得る。

【0008】

また、自車の進路を横切る歩行者はパターン変化が大きいため、たとえばパターンマッチ処理で安定して検出することが難しく、パターンマッチ処理による歩行者の検出が途切れる場合がある。そのようにパターンマッチ処理による検出が途切れた場合、その歩行者を再検出してから再び相対速度の算出を開始するため、算出される相対速度が実際の相対速度に収束するまでに更に時間を要し、自車の進路を横切る歩行者との衝突可能性を正確に把握することが更に難しくなる。

【0009】

本発明は、前記問題に鑑みてなされたものであって、その目的とするところは、たとえば自車周囲を撮像した画像の一部で歩行者等の物体を精緻に検出し得ない場合であっても、その物体との相対位置や相対速度の算出精度を高めることのできる車両用外界認識装置を提供することである。

【課題を解決するための手段】

【0010】

上記する課題を解決するために、本発明に係る車両用外界認識装置は、自車周囲を撮像した画像に映る物体までの相対距離及び／又は相対速度を認識する車両用外界認識装置であって、前記画像における前記物体の第一位置情報を検出する第一検出部と、前記第一検出部と異なる手法で前記画像における前記物体の第二位置情報を検出する第二検出部と、前記第一検出部及び前記第二検出部によって前記物体の第一位置情報及び第二位置情報が検出される第一状態と前記第二検出部のみによって前記物体の第二位置情報が検出される第二状態とが時系列で発生した際に、前記第一状態における第一位置情報及び第二位置情報と前記第二状態における第二位置情報とに基づいて前記第二状態における前記物体の第一位置情報を補間する第一位置情報補間情報を算出する第一検出位置補間部と、前記第一位置情報と前記第一位置情報補間情報とに基づいて前記物体までの相対距離及び／又は相対速度を計測する距離計測部と、を備えることを特徴とする。

【発明の効果】

【0011】

本発明によれば、第一検出部及び第二検出部によって自車周囲を撮像した画像から物体の第一位置情報及び第二位置情報が検出される第一状態と第二検出部のみによって前記画像から物体の第二位置情報が検出される第二状態とが時系列で発生した際に、第一状態における第一位置情報及び第二位置情報と第二状態における第二位置情報とに基づいて第二状態における物体の第一位置情報を補間する第一位置情報補間情報を算出し、その第一位置情報補間情報を用いて物体までの相対距離及び／又は相対速度を計測することにより、たとえば第一検出部により自車周囲を撮像した画像の一部で歩行者等の物体を精緻に検出し得ない場合であっても、その物体との相対位置や相対速度を精度良く算出することができる。

【0012】

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0013】

【図1】本発明に係る車両用外界認識装置の第一実施の形態の全体構成を示すブロック図。

【図2】図１に示す画像取得部により取得される画像とその画像内に設定される第一検出領域と第二検出領域を模式的に示す模式図。

【図3】図１に示す第一検出部の処理フローを説明したフローチャート。

【図4A】ラスタスキャン処理の一例を模式的に説明した説明図。

【図4B】パターン認識処理の一例を模式的に説明した説明図。

【図5】図１に示す第一検出部による識別器ラスタスキャン処理におけるパターン認識手法の処理フローを説明したフローチャート。

【図6】図５に示すパターン認識手法のセルへの分割方法を模式的に説明した説明図。

【図7】図５に示すパターン認識手法における投票処理の注目画素と周辺画素を説明した説明図。

【図8】図１に示す第一検出部の追跡処理フローを説明したフローチャート。

【図9】図１に示す第二検出部の処理フローを説明したフローチャート。

【図10】図１に示す第一検出位置補間部の処理フローを説明したフローチャート。

【図11】図１０に示す同一物体対応付け処理の処理フローを説明したフローチャート。

【図12】図１０に示す現在位置補間処理の処理フローを説明したフローチャート。

【図13】図１０に示す過去位置補間処理の処理フローを説明したフローチャート。

【図14】図１に示す距離計測部の処理フローを説明したフローチャート。

【図15A】処理タイミングにおける第一検出部及び第二検出部による検出の有無の一例を模式的に示す模式図。

【図15B】処理タイミングにおける、第一検出部及び第二検出部による検出の有無と距離計測部による処理方法の一例を説明した説明図。

【図15C】図１２Ａに示す処理タイミングＴ１、Ｔ２における過去位置補間処理を模式的に説明する説明図。

【図15D】図１２Ａに示す処理タイミングＴ６における現在位置補間処理を模式的に説明する説明図。

【図16】図１に示す車両用外界認識装置による歩行者の横移動速度の計測結果とパターンマッチ処理のみによって計測した場合の歩行者の横移動速度の計測結果の一例を示す図。

【図17】本発明に係る車両用外界認識装置の第二実施の形態の全体構成を示すブロック図。

【図18】図１７に示す出力選択部の処理フローを説明したフローチャート。

【図19】本発明に係る車両用外界認識装置の第三実施の形態の全体構成を示すブロック図。

【図20】図１９に示す脚部検出部の処理フローを説明したフローチャート。

【発明を実施するための形態】

【0014】

以下、本発明に係る車両用外界認識装置の実施の形態を図面を参照して説明する。

【0015】

＜第一実施の形態＞
まず、本発明に係る車両用外界認識装置の第一実施の形態について図１〜図１６を用いて詳細に説明する。図１は、第一実施の形態における車両用外界認識装置１０のブロック図である。また、図２は、図１に示す画像取得部により取得される画像とその画像内に設定される第一検出領域と第二検出領域を模式的に示す模式図である。

【0016】

車両用外界認識装置１０は、自動車等の車両に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ装置のカメラ１で撮影した画像から物体を検出するためのものであり、本実施の形態では、自車周囲の物体のうち特に歩行者を検知するように構成されている。

【0017】

車両用外界認識装置１０は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて予め定められた周期Ｔで繰り返し処理を実行するようになっている。

【0018】

車両用外界認識装置１０は、図１に示すように、画像取得部１１と、第一検出部１２と、第二検出部１３と、第一検出位置補間部１４と、距離計測部１５と、出力部１６と、を備えている。

【0019】

画像取得部１１は、図２に示すように、自車周囲を撮像可能な位置に取り付けられたカメラ１から自車周囲を撮影した画像２００を取得してＲＡＭ上に記憶する。カメラ１のレンズ歪等の内部パラメータおよび取り付け位置・角度等の外部パラメータは、車両出荷時に行われるキャリブレーションによって予め取得されているものとする。なお、画像２００は２次元配列であり、ＩＭＧＳＲＣ［ｘ］［ｙ］で表すものとする。ここで、ｘ、ｙはそれぞれ画像の座標を示している。

【0020】

第一検出部１２は、図２に示すように、画像取得部１１により取得された画像２００内に設定された第一検出領域１２０内から、歩行者に類似したパターンを検出し、その検出結果Ｄ１［ｎ］を出力する。この検出結果Ｄ１［ｎ］は、検出された歩行者の画像上の座標（ＳＸ，ＳＹ，ＥＸ，ＥＹ）を要素とするテーブルの配列であり、ｎは複数検出された場合のＩＤを表している。この第一検出部１２による処理の詳細は後述する。

【0021】

第二検出部１３は、図２に示すように、画像取得部１１により画像２００内に設定された第二検出領域１３０内から、背景と異なる動きを有する移動体を検出し、その検出結果Ｄ２［ｍ］を出力する。この検出結果Ｄ２［ｍ］は、検出された移動体の画像上の座標（ＳＸ，ＳＹ，ＥＸ，ＥＹ）を要素とするテーブルの配列であり、ｍは複数検出された場合のＩＤを表している。この第二検出部１３による処理の詳細は後述する。

【0022】

なお、たとえば広角カメラを用いて自車の進路を横切る歩行者を検出する場合、画像２００の端に映る歩行者１００は、レンズ歪によりパターンマッチ処理で検出することが困難である。そのため、第一検出部１２で設定される画像２００中の第一検出領域１２０は、第二検出部１３で設定される画像２００中の第二検出領域１３０よりも小さい。より具体的には、第一検出部１２で設定される画像２００中の第一検出領域１２０は、第二検出部１３で設定される画像２００中の第二検出領域１３０よりもレンズ歪の少ない中央付近に設定されている。

【0023】

第一検出位置補間部１４は、第二検出部１３の検出結果Ｄ２［ｍ］を用いて第一検出部１２の検出結果Ｄ１［ｎ］を補間する第一位置情報補間情報を算出する。この第一検出位置補間部１４による処理の詳細は後述する。

【0024】

距離計測部１５は、第一検出部１２の検出結果Ｄ１［ｎ］や第一検出位置補間部１４の第一位置情報補間情報を用いて、画像２００中で検出された歩行者までの相対距離および相対速度を算出し、その測距結果ＤＲ［ｎ］を出力する。この測距結果ＤＲ［ｎ］は、検出された歩行者との相対位置（ＰＸ，ＰＹ）および相対速度（ＶＸ，ＶＹ）を含み、ｎは第一検出部１２の検出結果Ｄ１［ｎ］のｎと共通である。この距離計測部１５による処理の詳細は後述する。

【0025】

出力部１６は、距離計測部１５から出力された測距結果ＤＲ［ｎ］を当該車両用外界認識装置１０の外部に設けられた車両のコントローラや警報装置等の外部機器へ出力する。なお、測距結果ＤＲ［ｎ］は、車両用外界認識装置１０から外部機器へ直接入力することにより出力してもよいし、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いた通信を行うことにより出力してもよい。

【0026】

以下では、上記した第一検出部１２、第二検出部１３、第一検出位置補間部１４、距離計測部１５の処理をより詳細に説明する。

【0027】

［第一検出部］
まず、図３〜図８を用いて、第一検出部１２における処理内容について説明する。図３は、第一検出部１２の処理フローを説明したフローチャートである。

【0028】

第一検出部１２は、まず、ステップＳ１２０１にて、画像ＩＭＧＳＲＣ［ｘ］［ｙ］のうち第一検出領域１２０内の画像からピラミッド画像ＩＭＧＰＹ［ｐ］［ｘ］［ｙ］を生成する。ピラミッド画像ＩＭＧＰＹ［ｐ］［ｘ］［ｙ］はＰ枚の画像から構成される画像群であり、画像ＩＭＧＳＲＣ［ｘ］［ｙ］を所定の倍率で順次縮小した画像である。本実施の形態においては、ピラミッド画像ＩＭＧＰＹ［ｐ］［ｘ］［ｙ］のｐ＝０における画像は画像ＩＭＧＳＲＣ［ｘ］［ｙ］と同一の画像、ｐ＝１における画像はＩＭＧＰＹ［０］［ｘ］［ｙ］を縮小率０．８で縮小した画像、ｐ＝２における画像はＩＭＧＰＹ［１］［ｘ］［ｙ］を縮小率０．８で縮小した画像、といったように縮小率０．８で順次縮小した画像を格納したものとする。

【0029】

ここで、カメラ１のカメラパラメータに基づいて画像の歪補正を実施してもよい。

【0030】

つぎに、ステップＳ１２０２をピラミッド画像ＩＭＧＰＹ［ｐ］［ｘ］［ｙ］についてｐ＝１からｐ＝Ｐまで繰り返し処理を行う。このステップＳ１２０２では、ピラミッド画像ＩＭＧＰＹ［ｐ］［ｘ］［ｙ］に対して識別器を用いたラスタスキャン処理を実施する。ラスタスキャン処理は、図４Ａに示すように、処理画像内で所定サイズのサブウィンドウＳＷを所定量ずらしながら処理画像全体をスキャンする処理である。本実施の形態では、サブウィンドウＳＷのサイズを、幅１６画素、高さ３２画素とする。そして、各位置におけるサブウィンドウＳＷ内の画像に対してパターン認識処理をかける。

【0031】

ここから、サブウィンドウＳＷ内の画像に対するパターン認識処理の例として、以下の２種類のパターン認識手法を用いた処理を説明する。いずれのパターン認識手法を用いてもよいが、本実施の形態においては２つ目のパターン認識手法を用いるものとする。

【0032】

１つ目のパターン認識手法は、ニューラルネットを用いた方法である。具体的には、図４Ｂに示すように、まず、あるサブウィンドウＳＷについて、ピラミッド画像ＩＭＧＰＹ［ｐ］［ｘ］［ｙ］からその領域の画像を切り出す。切り出される画像はグレイスケール値のみでもよいし、カラー情報を含んでいてもよい。ここでは、グレイスケール値のみを切り出した場合を説明する。つぎに、切り出された画像の画素をラスタスキャンして、１次元ベクトル４０２を生成し、それをニューラルネットワーク４０３への入力とする。ニューラルネットワーク４０３は人間の脳のネットワークを模擬したものであり、複数のノードで構成される入力層４０３１、中間層４０３３、出力層４０３５が存在し、さらに入力層４０３１の各ノードと中間層４０３３の各ノードの間には重み係数４０３２が、中間層４０３３の各ノードと出力層４０３５の各ノードの間には重み係数４０３４がそれぞれ存在する。ニューラルネットワーク４０３の出力は出力層のノードの１つの値であり、この値は、このノードに接続されているすべての中間層４０３３のノードの値とその重み係数の積和演算により得られる。さらに、中間層４０３３の各ノードの値は、各ノードに接続されているすべての入力層４０３１のノードの値とその重み係数の積和演算により得られる。

【0033】

歩行者パターン検出では、１次元ベクトル４０２がそのまま入力層４０３１へ接続されているため、出力層４０３５の各ノードの値は上述の処理により算出される。その結果、出力層４０３５の所定のノードの値が閾値を超えていれば歩行者パターンが存在すると判定される。なお、出力層４０３５の所定のノードはプログラムを組む際に事前に決定しておく必要があり、入力ノードに歩行者パターンが入ってきた場合にはその出力層４０３５のノードの出力が閾値以上になり、歩行者以外のパターンが入ってきた場合にはその出力が閾値以下となるように、各ノード間の重み係数は予め調整しておく必要がある。この各ノード間の重み係数の調整方法は、公知技術であるバックプロパゲーション法などを用いればよい。

【0034】

２つ目のパターン認識手法は、輝度勾配を用いた方法である。本実施の形態においては、図５〜図７を用いて説明するパターン認識手法を適用する。本認識手法は、歩行者検出に有効な手法として知られているＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）を改良したものである。図５は、本パターン認識手法の処理フローを説明したフローチャートであり、図６は、図５に示すパターン認識手法のセルへの分割方法を模式的に説明した説明図である。

【0035】

まず、ステップＳ２０１にて、あるサブウィンドウＳＷ内の画像をセル（ＣＥＬＬ）と呼ばれる小領域へ分割し、各セルに属する画素から輝度勾配を算出する。すなわち、図６に示すように、パターン認識を実施する画像領域全体を複数のセルへ分割する。なお、本実施の形態においては、処理画像領域を横３、縦６へ分割する。

【0036】

そして、各セルに属する画素から輝度勾配を算出した後、各セルで輝度勾配ヒストグラムを生成する。従来のＨＯＧにおける輝度勾配ヒストグラムは、０〜１８０［ｄｅｇ］もしくは０〜３６０［ｄｅｇ］を所定個数に分割（例えば８分割）したヒストグラムＨ［ｂ］を準備し、そのすべてをゼロに初期化しておく。そして、セル内の各画素についてＳＯＢＥＬフィルタ等を適用してＸ方向、Ｙ方向の輝度変化（ｄＸ，ｄＹ）を求め、Ｘ方向およびＹ方向の変化量から輝度変化の強度と角度（Ｇ，θ）を算出し、角度θに対応するヒストグラムの位置ｂに対して強度Ｇを投票する。この投票を、セル内のすべての画素について実施して得られるヒストグラムＨ［ｂ］が輝度勾配ヒストグラムである。

【0037】

一方、本実施の形態における改良型のＨＯＧにおいては、上記した投票処理が従来のＨＯＧと異なる。その投票処理を、図７を用いて２種類説明する。

【0038】

まず、輝度勾配ヒストグラムの勾配方向について、方向のみを考慮した場合、すなわち０〜１８０［ｄｅｇ］で考慮した場合について説明する。この場合、輝度勾配ヒストグラムは４分割とし，Ｈ［１］〜Ｈ［４］の１次元配列で表現するものとする。セル内のある画素とその周囲の８つの近傍画素にそれぞれ図７に示すようにｐ０（注目画素）とｐ１〜ｐ８（周辺画素）の記号を割り振ると、以下の式（１）を用いて４つの値を算出する。

【0039】

［数１］
ｄ１５＝｜Ｐ１−Ｐ５｜
ｄ２６＝｜Ｐ２−Ｐ６｜
ｄ３７＝｜Ｐ３−Ｐ７｜
ｄ４８＝｜Ｐ４−Ｐ８｜ ・・・（１）

【0040】

そして、ｄ１５を輝度勾配ヒストグラムのＨ［１］へ、ｄ２６をＨ［２］へ、ｄ３７をＨ［３］へ、ｄ４８をＨ［４］へそれぞれ投票する。以上の投票処理をセル内のすべての画素について実施する。

【0041】

つぎに、輝度勾配ヒストグラムの勾配方向について、方向および向きを考慮した場合、すなわち０〜３６０［ｄｅｇ］とした場合について説明する。この場合、輝度勾配ヒストグラムは８分割とし、Ｈ［１］〜Ｈ［８］の１次元配列で表現するものとする。上記の場合と同様に、セル内のある画素とその周囲の８つの近傍画素にそれぞれ図７に示すようにｐ０とｐ１〜ｐ８の記号を割り振ると、以下の式（２）を用いて８つの値を算出する。

【0042】

［数２］
ｄ１＝ＭＡＸ（０、ｐ１−ｐ０）
ｄ２＝ＭＡＸ（０、ｐ２−ｐ０）
ｄ３＝ＭＡＸ（０、ｐ３−ｐ０）
ｄ４＝ＭＡＸ（０、ｐ４−ｐ０）
ｄ５＝ＭＡＸ（０、ｐ５−ｐ０）
ｄ６＝ＭＡＸ（０、ｐ６−ｐ０）
ｄ７＝ＭＡＸ（０、ｐ７−ｐ０）
ｄ８＝ＭＡＸ（０、ｐ８−ｐ０） ・・・（２）

【0043】

そして、ｄ１を輝度勾配ヒストグラムのＨ［１］へ、ｄ２をＨ［２］へ、ｄ３をＨ［３］へ、ｄ４をＨ［４］へ、ｄ５をＨ［５］へ、ｄ６をＨ［６］へ、ｄ７をＨ［７］へ、ｄ８をＨ［８］へ、それぞれ投票する。以上の投票処理をセル内のすべての画素について実施する。

【0044】

つぎに、第一検出部１２は、図５に示すように、ステップＳ２０２にて、複数のセルから成る各ブロック（ＢＬＯＣＫ）について、各セルで算出された輝度勾配ヒストグラムを連結した１次元ベクトルを生成してノルムを正規化する。たとえば２セル×２セルというブロックを形成し、１つのセルが複数のブロックに跨るように当該ブロックは設定される。

【0045】

つぎに、ステップＳ２０３にて、各ブロックの正規化した１次元ベクトルを連結して特徴ベクトルを生成する。

【0046】

つぎに、ステップＳ２０４にて、特徴ベクトルをＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）へ入力して評価値を得る。ＳＶＭは公知の技術であるためその詳細な説明は割愛するが、ＳＶＭを用いて識別を実施するためには、事前に検出対象とする歩行者と歩行者以外の背景の画像データから上記特徴量を生成し、ＳＶＭを学習する必要がある。特徴ベクトルは、その次元数の空間（特徴空間）における１点として表されるが、ＳＶＭの学習においては、特徴空間内における学習データの歩行者と背景の分布の最も境界となるデータ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ：サポートベクター）の中間に識別の超平面を生成する。この識別の処理では、未知のデータが入ってきたときに、その超平面に基づいて、どちらに近いかに応じて評価値を出力する。この評価値が閾値以上であれば歩行者と判断し、そうでなければ背景と判断する。

【0047】

以上説明したように、従来の算出方法であれば、上記した特徴量の算出時に、各セルへの投票処理の際に、Ｘ方向およびＹ方向の輝度変化（ｄＸ，ｄＹ）から輝度変化の強度と角度（Ｇ，θ）を算出し、角度θに対応するヒストグラムの位置ｂに対して強度Ｇを投票するため、１画素につき１回の投票しかできない。一方、上述した本実施の形態のパターン認識手法によると、１画素につき４回や８回の投票機会が得られるため、輝度勾配ヒストグラムの密度を高めることができる。特に、自車から離れた位置に存在する歩行者は画像上で小さく映るために解像度が低い。よって、従来の算出手法を適用すると１つのセルに属する画素数が減り、輝度勾配ヒストグラムが疎となるために識別性能が過敏（センシティブ）となる。一方、上述した本実施の形態のパターン認識手法によると、１画素からの投票機会が増加するため、輝度勾配ヒストグラムの密度が向上して物体の識別性能を向上させることができる。

【0048】

なお、上述した手法では、１つのセルへの投票において、輝度差をそのまま投票値としていたが、輝度差に対して閾値ＴＨを設定し、該当する輝度勾配ヒストグラムへの投票値を、輝度差が閾値ＴＨよりも大きければ１、輝度差が閾値ＴＨ以下であれば０としてもよい。さらに、複数の閾値ＴＨ１、ＴＨ２（ＴＨ１＜ＴＨ２）を設定し、輝度差が閾値ＴＨ１よりも小さければ投票値を０、閾値ＴＨ１以上かつ閾値ＴＨ２未満であれば投票値を１、閾値ＴＨ２以上であれば投票値を２とするように、多段階に設定してもよい。

【0049】

また、上述した手法はＨＯＧ特徴量に対して適用したが、１つのセルに対する投票部分を上述した手法に置き換えることで、ＨＯＧをベースとする他の手法へも本手法を適用可能である。以下、ＨＯＧをベースとする公知技術の１つであるＣｏＨＯＧに適用する場合の処理の流れを説明する。

【0050】

まず、ＨＯＧと同様に、処理画像を複数の小領域に分割する。

【0051】

つぎに、小領域内のある注目画素に対し、上述した式（２）のｄ１〜ｄ８の輝度差を算出する。そして、注目画素のｄ１〜ｄ８の輝度差が閾値ＴＨよりも大きければ１、そうでなければ０を、対応するｂａ１〜ｂａ８へ格納する。

【0052】

つづいて、注目画素から所定距離の参照画素において、同様に式（２）のｄ１〜ｄ８の輝度差を算出する。そして、参照画素のｄ１〜ｄ８の輝度差が閾値ＴＨよりも大きければ１、そうでなければ０を、対応するｂｂ１〜ｂｂ８へ格納する。

【0053】

つぎに、共起ヒストグラムの投票処理を行う。共起ヒストグラムは、８×８の２次元ヒストグラムであり、Ｈ［１］［１］〜Ｈ［８］［８］の２次元配列で表現するものとする。注目画素のｂａ１と参照画素のｂｂ１がともに１であれば、要素Ｈ［１］［１］に１を投票する。一方、注目画素のｂａ１と参照画素のｂｂ１のいずれか一方が０であれば、投票しない。以上の処理を、注目画素のｂａ１〜ｂａ８、参照画素のｂｂ１〜ｂｂ８のすべての組み合わせに対して計６４回実施する。

【0054】

つづいて、注目画素はそのままにして、参照画素を変更し、参照画素ごとに別途準備した共起ヒストグラムへ投票を行う。以上の処理を、参照画素３０点に対して実施し、３０個の共起ヒストグラムに投票処理を行う。

【0055】

さらに、要素が８つのヒストグラムを用意し、参照画素のｂａ１〜ｂａ８を対応するヒストグラムのＢＩＮへ投票する。

【0056】

上記の処理を、１つの小領域内のすべての画素に対して実施する。その結果、１つの小領域から３０個の共起ヒストグラム、および、１個のヒストグラムが得られることとなり、（６４×３０＋８）次元の特徴量が得られる。この特徴量をすべての小領域から算出してベクトル化したものを特徴ベクトルとする。

【0057】

特徴ベクトルに対する識別処理は、ＨＯＧと同様にＳＶＭを用いるため、その説明は割愛する。

【0058】

さらに、上述したＣｏＨＯＧへ拡張した方法において、複数の閾値ＴＨ１、ＴＨ２（ＴＨ１＜ＴＨ２）を設定し、輝度差が閾値ＴＨ１よりも小さければ投票値を０、閾値ＴＨ１以上かつ閾値ＴＨ２未満であれば投票値を１、閾値ＴＨ２以上であれば投票値を２とするように、多段階に設定してもよい。この場合、注目画素のｄ１〜ｄ８の輝度差と閾値ＴＨ１、ＴＨ２から算出されるｂａ１〜ｂａ８は０、１、２の３値を持ち、参照画素のｂｂ１〜ｂｂ８も同様に、０、１、２の３値となるため、共起ヒストグラムへの投票値はその積とする。たとえばｂａ１とｂｂ１の共起を取る場合、投票値はｂａ１×ｂｂ１とし、０、１、２、４のいずれかを投票する。

【0059】

以上で説明したように、ＣｏＨＯＧ特徴量において上述したような方法にて特徴量を取ることにより、１画素からの投票機会を増加させることができ、共起ヒストグラムの密度が向上し、識別性能を向上させることができる。

【0060】

なお、上述した手法では、輝度差ｄ１〜ｄ８を、閾値を用いて０、１、あるいは２へ変換して投票しているが、輝度差そのものを投票に用いてもよい。

【0061】

また、上述したＨＯＧの拡張とＣｏＨＯＧの拡張のいずれにおいても、今回は注目画素の８つの近傍画素からｄ１〜ｄ８を計算して８方向のヒストグラムを扱ったが、例えば８つの近傍画素のさらに外側の２１つの近傍画素に対して同様の処理を実施してもよい。

【0062】

第一検出部１２は、上記したパターン認識手法で得られた歩行者の検出結果をＤ１Ｃ［ｐ］［ｑ］へ格納する。ここで、Ｄ１Ｃは画像上の検出位置座標（ＳＸ，ＳＹ，ＥＸ，ＥＹ）を表している。なお、この検出位置座標は、ピラミッド画像生成時の縮小率に基づいて画像ＩＭＧＳＲＣ［ｘ］［ｙ］上の座標へ変換される。以上のステップＳ１２０２での処理を、ｐ＝１からｐ＝Ｐまで繰り返し処理を行う。

【0063】

つぎに、第一検出部１２は、図３に示すように、ステップＳ１２０３にて、ラスタスキャン処理の検出結果を統合する。この統合方法は、種々の公知技術が存在するため、ここではその詳細な説明を割愛するが、本実施の形態においては、たとえばＭｅａｎＳｈｉｆｔ（平均値シフト法）と呼ばれる公知技術を使用する。そして、その統合結果をＤ１Ｍ［ｒ］へ格納する。ここで、Ｄ１Ｍは画像上の検出位置座標（ＳＸ，ＳＹ，ＥＸ，ＥＹ）を表している。

【0064】

つぎに、ステップＳ１２０４にて、検出・統合した結果の検証処理を実施する。この検証処理は、パターン認識処理で排除できない、歩行者に類似したパターン（たとえば、電柱、ガードレール等）に対する誤認識を排除する処理である。この検証処理については、種々の公知技術が存在するため、ここではその詳細な説明を割愛するが、本実施の形態においては、たとえば特開２０１１−１５４５８０号公報に記載された方法を用いることとする。この検証処理の結果、歩行者ではないと判定された場合にはそのパターンをＤ１Ｍ［ｒ］から削除する。

【0065】

つぎに、ステップＳ１２０５にて、追跡処理を実施し、検証処理により歩行者であると判定されたＤ１Ｍ［ｒ］と、その１周期前の結果であるＤ１＿Ｚ１［ｎ］の対応付けを行う。

【0066】

図８は、上記した追跡処理フローを説明したフローチャートである。

【0067】

まず、第一検出部１２は、ステップＳ１０１において、今回の検出結果Ｄ１［ｎ］を初期化する。つぎに、ステップＳ１０２において、１周期前（前回）の検出結果Ｄ１＿Ｚ１［ｎ］を取得し、ステップＳ１０３において、今回の検出結果Ｄ１Ｍ［ｒ］を取得する。

【0068】

つぎに、ステップＳ１０４において、１周期前の検出結果Ｄ１＿Ｚ１［ｎ］と今回の検出結果Ｄ１Ｍ［ｒ］の対応付けを行う。この対応付けは、１周期前の検出結果Ｄ１＿Ｚ１［ｎ］と今回の検出結果Ｄ１Ｍ［ｒ］の領域（矩形領域）を１つずつ比較して所定の評価値を算出し、その評価値が所定の閾値以上であれば対応がとれたものと判断し、閾値以下であれば対応がとれなかったものと判断する。ここで、評価値としては、たとえば、矩形内の画像そのものの相関値を用いる方法や矩形の重複率を用いる方法等、種々の方法が存在するがいずれを用いてもよい。本実施の形態においては、１周期前の検出結果Ｄ１＿Ｚ１［ｎ］から予測位置Ｄ１＿ＺＰ［ｎ］を算出し、予測位置Ｄ１＿ＺＰ［ｎ］と今回の検出結果Ｄ１Ｍ［ｒ］から得られる矩形の重複率ＯＶＲを使用して、重複率ＯＶＲが閾値を超えたものについて対応付けがとれたと判定する。なお、予測位置Ｄ１＿ＺＰ［ｎ］は、１周期前の検出結果Ｄ１＿Ｚ１［ｎ］と２周期前の検出結果Ｄ１＿Ｚ２［ｎ］から移動量を求め、その量を１周期前の検出結果Ｄ１＿Ｚ１［ｎ］へ加算したものである。また、矩形の重複率ＯＶＲは、予測位置Ｄ１＿ＺＰ［ｎ］の矩形を（ＳＸＰ，ＳＹＰ，ＥＸＰ，ＥＹＰ）とし、今回の検出結果Ｄ１Ｍ［ｒ］の矩形を（ＳＸＭ，ＳＹＭ，ＥＸＭ，ＥＹＭ）とした場合に、以下の式（３）により共通矩形（ＳＸＣ，ＳＹＣ，ＥＸＣ，ＥＹＣ）を算出することで求められる。

【0069】

［数３］
ＳＸＣ＝ＭＡＸ（ＳＸＰ，ＳＸＭ）
ＳＹＣ＝ＭＡＸ（ＳＹＰ，ＳＹＭ）
ＥＸＣ＝ＭＩＮ（ＥＸＰ，ＥＸＭ）
ＥＹＣ＝ＭＩＮ（ＥＹＰ，ＥＹＭ）
ＡＰ＝（ＥＸＰ−ＳＸＰ）×（ＥＹＰ−ＳＹＰ）
ＡＭ＝（ＥＸＭ−ＳＸＭ）×（ＥＹＭ−ＳＹＭ）
ＡＣ＝（ＥＸＣ−ＳＸＣ）×（ＥＹＣ−ＳＹＣ）
ＯＶＲ＝（２ＡＣ）／（ＡＰ＋ＡＭ） ・・・（３）

【0070】

つぎに、ステップＳ１０５において、予測結果Ｄ１＿ＺＰ［ｎ］と今回の検出結果Ｄ１Ｍ［ｒ］で対応がとれたものについて、今回の検出結果Ｄ１［ｎ］の物体ＩＤがｎの位置に今回の検出結果Ｄ１Ｍ［ｒ］を登録する。

【0071】

つぎに、ステップＳ１０６において、今回の検出結果Ｄ１Ｍ［ｒ］のうち、予測結果Ｄ１＿ＺＰ［ｎ］と対応が取れなかった結果を新規検出物体として新規に登録する。この登録は、今回の検出結果Ｄ１［ｎ］のうち情報が登録されていないｎの位置に今回の検出結果Ｄ１Ｍ［ｒ］を登録することで行われる。

【0072】

以上のような追跡処理を実施することにより、一度検出した物体（歩行者）が消失するまで同じＩＤを持つことになり、情報の追跡性が向上する。また、新規物体を登録する際、過去数周期まで物体が存在したｎには登録しないようにすることで、ある物体が消失してすぐに別の物体が登録されることを抑止することができる。なお、この追跡処理の結果、パターンマッチ処理による歩行者パターン検出結果が第一検出結果（第一位置情報）Ｄ１［ｎ］として出力される。

【0073】

［第二検出部］
つぎに、図９を用いて、第二検出部１３における処理内容について説明する。図９は、第二検出部１３の処理フローを説明したフローチャートである。

【0074】

第二検出部１３は、まず、ステップＳ１３０１にて、画像ＩＭＧＳＲＣ［ｘ］［ｙ］および１周期前の画像ＩＭＧＳＲＣ＿Ｚ１［ｘ］［ｙ］の第二検出領域１３０内からオプティカルフローを算出する。このオプティカルフローは、一方の画像のある座標（ｘ，ｙ）の点が他方の画像のどの点に移動したかを表すベクトルであり、１つの画像座標（ｘ，ｙ）に対してＸ方向成分とＹ方向成分が算出される。本実施の形態においては、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の各画素が１周期前の画像ＩＭＧＳＲＣ＿Ｚ１［ｘ］［ｙ］のどの位置（画素）に対応するかを算出する。

【0075】

上記したオプティカルフローの算出方法は種々紹介されており、そのいずれの算出手法を用いてもよいが、本実施の形態ではブロックマッチ法を用いることとする。ブロックマッチ法については、画像処理に関する公知の文献に記載されているため、その詳細な説明は割愛するが、たとえば、画像ＩＭＧＳＲＣ［ｘ］［ｙ］上の点（ｘｎ，ｙｎ）を中心に小領域のテンプレート画像ＴＰを作成し、そのテンプレート画像ＴＰが１周期前の画像ＩＭＧＳＲＣ＿Ｚ１［ｘ］［ｙ］内で最もよくマッチする位置（ｘｎ’，ｙｎ’）を探索し、そのＸ方向成分ＯＦＸ［ｎ］＝（ｘ１’−ｘ１）とＹ方向成分ＯＦＹ[ｎ]＝（ｙｎ’−ｙｎ）を算出する方法である。なお、画像ＩＭＧＳＲＣ［ｘ］［ｙ］と対応をとる画像は、１周期前の画像ＩＭＧＳＲＣ＿Ｚ１［ｘ］［ｙ］に限定されず、任意の周期前の画像であってもよい。

【0076】

つぎに、ステップＳ１３０２にて、オプティカルフローから移動体フロー抽出画像ＭＶＯＢＪ［ｘ］［ｙ］を生成する。

【0077】

具体的には、まず、移動体フロー抽出画像ＭＶＯＢＪ［ｘ］［ｙ］にすべてゼロを入力して初期化する。つぎに、最新の取り込み画像ＩＭＧＳＲＣ［ｘ］［ｙ］上の点（ｘｎ，ｙｎ）の位置が１周期前の画像上でどの位置にあるかを予測して予測フローを算出する。本実施の形態では、自車が直進していると仮定すると、その予測フローは、まず、消失点とカメラ幾何から、座標（ｘｎ，ｙｎ）が路面上の点と仮定して世界座標（Ｘｎ，Ｙｎ，０）を求め、自車速ＶＳＰと処理周期Ｔから移動量Ｐ＝ＶＳＰ×Ｔを算出して予測位置（Ｘｎ，Ｙｎ＋Ｐ，０）を求め、予測位置（Ｘｎ，Ｙｎ＋Ｐ，０）の画像座標位置（ｘｎｐ，ｙｎｐ）を算出し、これにより、予測フローは、ＰＦＸ＝（ｘｎｐ−ｘｎ），ＰＦＹ＝（ｙｎｐ−ｙｎ）となる。

【0078】

つぎに、予測フローＰＦＸ，ＰＦＹと、上記したＯＦＸ［ｎ］，ＯＦＹ［ｎ］の誤差ｅを求める。本実施の形態では、誤差ｅはフローベクトル間のユークリッド距離とし、以下の式（４）により求められる。

【0079】

［数４］
ｅ＝（ＯＦＸ［ｎ］―ＰＦＸ）＾２＋（ＯＦＹ［ｎ］―ＰＦＹ）＾２ ・・・（４）

【0080】

つぎに、誤差ｅと閾値ｔｈを比較し、誤差ｅが閾値ｔｈよりも大きければ移動体フローと判定して移動体フロー抽出画像ＭＶＯＢＪ［ｘｎ］［ｙｎ］に「１」を代入する。以上の処理を第二検出領域１３０内の全点に対して実施することにより、移動体フロー抽出画像ＭＶＯＢＪ［ｘ］［ｙ］が生成される。

【0081】

つぎに、第二検出部１３は、ステップＳ１３０３にて、移動体フロー抽出画像ＭＶＯＢＪ［ｘ］［ｙ］をグルーピングする。本実施の形態においては、そのグルーピングは、移動体フロー抽出画像ＭＶＯＢＪ［ｘ］［ｙ］に対してラベリング処理を施すことにより実施する。ラベリング処理の結果は、移動体検出結果として第二検出部１３の検出結果Ｄ２Ｍ［ｍ］へ矩形情報（ＳＸ，ＳＹ，ＥＸ，ＥＹ）として登録する。

【0082】

つぎに、ステップＳ１３０４にて、追跡処理を実施する。この追跡処理は、図８を用いて説明した第一検出部１２の処理内容と同一であるため、ここではその詳細な説明を割愛する。なお、この追跡処理の結果、オプティカルフローによる移動体検出結果が第二検出結果（第二位置情報）Ｄ２［ｍ］として出力される。

【0083】

なお、上記した実施の形態では、移動体フロー抽出画像ＭＶＯＢＪ［ｘ］［ｙ］を１枚しか用いていないが、たとえば移動方向別に移動体フロー抽出画像ＭＶＯＢＪ［ｘ］［ｙ］を複数準備してもよい。

【0084】

また、上述した説明では、自車が直進していると仮定したが、例えばデッドレコニング法を使用し、左右の車輪速値から自車の前後方向、左右方向、および旋回方向の速度を求めて、上記予測に用いてもよい。

【0085】

［第一検出位置補間部］
つぎに、図１０〜図１３を用いて、第一検出位置補間部１４における処理内容について説明する。図１０は、第一検出位置補間部１４の処理フローを説明したフローチャートである。

【0086】

第一検出位置補間部１４は、まず、ステップＳ１４１にて、第一検出部１２から出力された第一検出結果Ｄ１［ｎ］と第二検出部１３から出力された第二検出結果Ｄ２［ｍ］の同一物体対応付けを行う。図１１はこの同一物体対応付け処理の処理フローを説明したフローチャートである。

【0087】

まず、第一検出結果Ｄ１［ｎ］について、ｎ＝１からＮまでの繰り返し処理を実施する。ここで、第一検出結果Ｄ１［ｎ］は追跡処理の結果、情報が抜けている部分が存在するため、その処理は第一検出結果Ｄ１［ｎ］の確保領域全体に対して実施し、そこに情報が格納されている場合のみ、以下の処理を実施する。

【0088】

つぎに、第二検出結果Ｄ２［ｍ］について、ｍ＝１からＭまでの繰り返し処理を実施する。第一検出結果Ｄ１［ｎ］と同様に、第二検出結果Ｄ２［ｍ］は追跡処理の結果、情報が抜けている部分が存在するため、その処理は第二検出結果Ｄ２［ｍ］の確保領域全体に対して実施し、そこに情報が格納されている場合のみ、以下の処理を実施する。

【0089】

第一検出位置補間部１４は、ステップＳ１４１１にて、第一検出結果Ｄ１［ｎ］と第二検出結果Ｄ２［ｍ］の一致度ＭＡＴＣＨを算出する。本実施の形態において、一致度ＭＡＴＣＨは、上記した追跡処理で説明した重複率ＯＶＲの算出方法と同様の方法を用いて求められるため、その詳細な説明は割愛する。

【0090】

つぎに、ステップＳ１４１２にて、一致度ＭＡＴＣＨが閾値ＴＨ＿ＭＡＴＣＨを超えたか否かを判定する。一致度ＭＡＴＣＨが閾値ＴＨ＿ＭＡＴＣＨを超えた場合は、ステップＳ１４１３へ移動し、第一検出結果Ｄ１［ｎ］と第二検出結果Ｄ２［ｍ］は同一物体であると判定する。

【0091】

上記した処理をｍ＝１からＭまで繰り返し実行し、さらに、ｎ＝１からＮまで繰り返し実行する。以上の処理により、第一検出部１２から出力された第一検出結果Ｄ１［ｎ］と第二検出部１３から出力された第二検出結果Ｄ２［ｍ］のうち同一物体（すなわち、同一の歩行者）からの検出結果が判明する。

【0092】

つぎに、第一検出位置補間部１４は、図１０に示すように、ステップＳ１４２にて、第二検出結果Ｄ２［ｍ］を用いた第一検出結果Ｄ１［ｎ］の補間処理（現在位置補間処理）を実施する。図１２はこの現在位置補間処理の処理フローを説明したフローチャートである。

【0093】

まず、第二検出結果Ｄ２［ｍ］について、ｍ＝１からＭまでの繰り返し処理を実施する。ここで、第二検出結果Ｄ２［ｍ］は追跡処理の結果、情報が抜けている部分が存在するため、その処理は第二検出結果Ｄ２［ｍ］の確保領域全体に対して実施し、そこに情報が格納されている場合のみ、以下の処理を実施する。

【0094】

第一検出位置補間部１４は、ステップＳ１４２１にて、第二検出結果Ｄ２［ｍ］と同一物体と判定された第一検出結果Ｄ１［ｎ’］の有無を確認する。第二検出結果Ｄ２［ｍ］と同一物体と判定された第一検出結果Ｄ１［ｎ’］が存在しない場合はステップＳ１４２２へ移動し、第二検出結果Ｄ２［ｍ］と同一物体と判定された第一検出結果Ｄ１［ｎ’］が存在する場合はステップＳ１４２２、Ｓ１４２３をスキップする。

【0095】

つぎに、ステップＳ１４２２にて、第二検出結果Ｄ２［ｍ］の過去情報Ｄ２＿Ｚ［ｍ］を参照し、その過去情報Ｄ２＿Ｚ［ｍ］と対応した第一検出結果の過去情報Ｄ１＿Ｚ［ｎ’］の存在の有無を確認する。ここで、過去情報は１周期前のみに限定されず、数周期前の過去情報を用いてもよい。過去情報Ｄ２＿Ｚ［ｍ］と対応した過去情報Ｄ１＿Ｚ［ｎ’］が存在する場合はステップＳ１４２３へ移動し、過去情報Ｄ２＿Ｚ［ｍ］と対応した過去情報Ｄ１＿Ｚ［ｎ’］が存在しない場合はＳ１４２３をスキップする。

【0096】

つぎに、ステップＳ１４２３にて補間処理、具体的には第一検出結果Ｄ１［ｎ］の現在位置補間処理を行う。ステップＳ１４２３に到達する場合、過去にＤ１＿Ｚ［ｎ’］とＤ２＿Ｚ［ｍ］にて同一物体として検知されたものの、現在の第一検出部１２ではその物体を検知していないが、第二検出部３１ではその物体を検知・追跡していることになる。よって、現在の第二検出結果Ｄ２［ｍ］の矩形情報を（ＳＸ２、ＳＹ２，ＥＸ２，ＥＹ２）、過去情報Ｄ１＿Ｚ［ｎ’］、Ｄ２＿Ｚ［ｍ］の矩形情報をそれぞれ（ＳＸ１＿Ｚ、ＳＹ１＿Ｚ，ＥＸ１＿Ｚ，ＥＹ１＿Ｚ）、（ＳＸ２＿Ｚ、ＳＹ２＿Ｚ，ＥＸ２＿Ｚ，ＥＹ２＿Ｚ）とすると、以下の式（５）により、第一検出結果と第二検出結果の過去の位置関係から現在の第一検出結果Ｄ１［ｎ’］を推測することができる。

【0097】

［数５］
ＳＸ１Ｐ＝（ＳＸ１＿Ｚ−ＳＸ２＿Ｚ）＋ＳＸ２
ＳＹ１Ｐ＝（ＳＹ１＿Ｚ−ＳＹ２＿Ｚ）＋ＳＹ２
ＥＸ１Ｐ＝（ＥＸ１＿Ｚ−ＥＸ２＿Ｚ）＋ＥＸ２
ＥＹ１Ｐ＝（ＥＹ１＿Ｚ−ＥＹ２＿Ｚ）＋ＥＹ２ ・・・（５）

【0098】

上記の演算により得られる矩形情報（ＳＸ１Ｐ，ＳＹ１Ｐ，ＥＸ１Ｐ，ＥＹ１Ｐ）を、第一検出結果を補間する第一位置情報補間情報Ｄ１［ｎ’］としてＤ１［ｎ］内へ登録する。このとき、上述したように、第一検出部１２の追跡処理により、同じ物体を同じＩＤへ登録するようにしているため、ｎ＝ｎ’へ登録すればよい。上記した処理をｍ＝１からＭまで繰り返し実行する。

【0099】

つぎに、第一検出位置補間部１４は、図１０に示すように、ステップＳ１４３にて、第二検出結果Ｄ２［ｍ］を用いた第一検出結果Ｄ１［ｎ］の過去位置の補間処理（過去位置補間処理）を実施する。図１３はこの過去位置補間処理の処理フローを説明したフローチャートである。

【0100】

まず、第一検出結果Ｄ１［ｎ］について、ｎ＝１からＮまでの繰り返し処理を実施する。ここで、第一検出結果Ｄ１［ｎ］は追跡処理の結果、情報が抜けている部分が存在するため、その処理は第一検出結果Ｄ１［ｎ］の確保領域全体に対して実施し、そこに情報が格納されている場合のみ、以下の処理を実施する。

【0101】

第一検出位置補間部１４は、ステップＳ１４３１にて、第一検出結果Ｄ１［ｎ］が新規検出結果であるか否かを判定する。第一検出結果Ｄ１［ｎ］が新規検出物体であれば、ステップＳ１４３２へ移動し、第一検出結果Ｄ１［ｎ］が新規検出物体でなければ以下のステップＳ１４３２〜Ｓ１４３４の処理をスキップする。

【0102】

つぎに、ステップＳ１４３２にて、第一検出結果Ｄ１［ｎ］と同一物体と判定されたＤ２［ｍ’］の有無を確認する。第一検出結果Ｄ１［ｎ］と同一物体と判定されたＤ２［ｍ’］が存在する場合はステップＳ１４３３へ移動し、第一検出結果Ｄ１［ｎ］と同一物体と判定されたＤ２［ｍ’］が存在しない場合は以下のステップＳ１４３３、Ｓ１４３４の処理をスキップする。

【0103】

つぎに、ステップＳ１４３３にて、第一検出結果Ｄ１［ｎ］と同一物体と判定されたＤ２［ｍ’］に過去情報Ｄ２＿Ｚ［ｍ’］が存在するかを確認し、過去情報Ｄ２＿Ｚ［ｍ’］存在すればステップＳ１４３４へ移動し、過去情報Ｄ２＿Ｚ［ｍ’］が存在しなければステップＳ１４３４の処理をスキップする。

【0104】

つぎに、ステップＳ１４３４にて、第一検出結果Ｄ１［ｎ］の過去情報の補間処理（過去位置補間処理）を行う。ステップＳ１４３４に到達する場合、第一検出結果Ｄ１［ｎ］は新規検出物体であるものの、第一検出結果Ｄ１［ｎ］と同一物体と判定されたＤ２［ｍ’］には過去情報Ｄ２＿Ｚ［ｍ’］が存在する。よって、現在の第一検出結果Ｄ１［ｎ］、第二検出結果Ｄ２［ｍ’］の矩形情報をそれぞれ（ＳＸ１，ＳＹ１，ＥＸ１，ＥＹ１）、（ＳＸ２、ＳＹ２，ＥＸ２，ＥＹ２）とし、過去情報Ｄ２＿Ｚ［ｎ］の矩形情報を（ＳＸ２＿Ｚ、ＳＹ２＿Ｚ，ＥＸ２＿Ｚ，ＥＹ２＿Ｚ）とすると、以下の式（６）により、第一検出結果と第二検出結果の現在の位置関係から過去の第一検出結果Ｄ１［ｎ’］を推測することができる。

【0105】

［数６］
ＳＸ１＿ＺＰ＝（ＳＸ１−ＳＸ２）＋ＳＸ２＿Ｚ
ＳＹ１＿ＺＰ＝（ＳＹ１−ＳＹ２）＋ＳＹ２＿Ｚ
ＥＸ１＿ＺＰ＝（ＥＸ１−ＥＸ２）＋ＥＸ２＿Ｚ
ＥＹ１＿ＺＰ＝（ＥＹ１−ＥＹ２）＋ＥＹ２＿Ｚ ・・・（６）

【0106】

上記の演算により得られる矩形情報（ＳＸ１＿ＺＰ，ＳＹ１＿ＺＰ，ＥＸ１＿ＺＰ，ＥＹ１＿ＺＰ）を、第一検出結果を補間する第一位置情報補間情報としての第一検出結果Ｄ１［ｎ］の過去情報（過去位置）として登録する。この過去情報は、Ｄ２［ｍ］よりも１周期前の過去情報Ｄ１＿Ｚ１［ｎ’］、２周期前の過去情報Ｄ１＿Ｚ２［ｎ’］等、Ｄ２［ｍ］の過去値が存在する限り補間することができる。なお、本実施の形態においては、最大で１０周期前までを補間するように配列を確保し、Ｄ２［ｍ］の過去値が１０周期以下である場合はその周期分、Ｄ２［ｍ］の過去値が１０周期よりも多い場合は１０周期分まで補間する。上記した処理をｎ＝１からＮまで繰り返し実行する。

【0107】

［距離計測部］
つぎに、図１４を用いて、距離計測部１５における処理内容について説明する。図１４は、距離計測部１５の処理フローを説明したフローチャートである。ここで、距離計測部１５は、画像上の物体（歩行者）との相対速度や相対距離の算出に適した第一検出部１２の第一検出結果Ｄ１［ｎ］に基づいてその物体との相対速度や相対距離を算出するようになっている。

【0108】

距離計測部１５は、まず、第一検出結果Ｄ１［ｎ］について、ｎ＝１からＮまでの繰り返し処理を実施する。ここで、第一検出結果Ｄ１［ｎ］は追跡処理の結果、情報が抜けている部分が存在するため、その処理は第一検出結果Ｄ１［ｎ］の確保領域全体に対して実施し、そこに情報が格納されている場合のみ、以下の処理を実施する。

【0109】

距離計測部１５は、ステップＳ１５０１にて、第一検出部１２から出力された第一検出結果Ｄ１［ｎ］が新規検出物体であるか否かを判定する。第一検出結果Ｄ１［ｎ］が新規検出物体であればステップＳ１５０２へ移動し、第一検出結果Ｄ１［ｎ］が新規検出物体でなければステップＳ１５０３へ移動する。

【0110】

つぎに、ステップＳ１５０２にて、第一検出結果Ｄ１［ｎ］の過去値に補間処理があるか否かを判定する。過去値に補間処理があればステップＳ１５０４へ移動し、過去値に補間処理がなければステップＳ１５０３へ移動する。

【0111】

第一検出結果Ｄ１［ｎ］が新規検出物体でない場合や過去値に補間処理がない場合、ステップＳ１５０３にて、第一検出部１２から出力された第一検出結果（現在値）Ｄ１［ｎ］を用いて物体（歩行者）との相対距離および相対速度を算出する。第一検出結果Ｄ１［ｎ］の矩形情報（ＳＸ１，ＳＹ１，ＥＸ１，ＥＹ１）から自車と物体との相対距離を算出する方法は、カメラパラメータが既知という条件下であれば種々の方法が存在する。たとえば、歩行者の身長や幅を仮定し、カメラパラメータと画像上の高さや幅から相対距離を算出する方法がある。また、矩形情報の下端中央の画像座標（すなわち、接地座標）とカメラパラメータから相対距離を算出する方法がある。さらに、矩形情報内から歩行者の足元（すなわち、接地座標）を検出し、検出された座標とカメラパラメータを用いて相対距離や相対速度を算出する方法がある。本実施の形態では、たとえば、矩形情報の下端中央の画像座標（すなわち、接地座標）とカメラパラメータから算出する方法を用いて自車の車両先端中央から物体（歩行者）までの相対位置（ＰＸ，ＰＹ）を測定する。

【0112】

一方、第一検出結果Ｄ１［ｎ］が新規検出物体である場合且つ過去値に補間処理がある場合、ステップＳ１５０４にて、第一検出結果Ｄ１［ｎ］および第一位置情報補間情報としての第一検出結果Ｄ１［ｎ］の過去値Ｄ１＿Ｚ［ｎ］を用いて物体（歩行者）との相対距離および相対速度を算出する。過去値Ｄ１＿Ｚ［ｎ］を用いた算出方法では、過去の全地点においてステップＳ１５０３と同様の距離計測を実施し、得られた相対位置（ＰＸ，ＰＹ）をすべて（ＰＸ＿Ｚ１，ＰＹ＿Ｚ１）、（ＰＸ＿Ｚ２，ＰＹ＿Ｚ２）等として保存する。

【0113】

つぎに、ステップＳ１５０５にて、物体（歩行者）との相対速度の算出およびフィルタリング処理を行う。相対速度は、周期毎に算出する相対位置（ＰＸ，ＰＹ）の差分により求められ、その後に平滑化のためのフィルタリング処理が実施される。このとき、ステップＳ１５０４を介して過去値が存在する場合は、存在する最も過去の値から相対速度およびフィルタリング処理を再計算して現在値を算出する。あるいは、上記した相対位置（ＰＸ，ＰＹ）に対してカルマンフィルタ処理を実施する。このカルマンフィルタ処理は公知の技術であるため、その詳細な説明は割愛するが、観測値を相対位置（ＰＸ，ＰＹ）とし、内部状態として少なくとも相対位置（ＰＸ，ＰＹ）および相対速度（ＶＸ，ＶＹ）を入れるように設定することで、カルマンフィルタ処理により相対位置および相対速度を平滑化しながら求めることができる。上記した処理をｎ＝１からＮまで繰り返し実行する。

【0114】

なお、距離計測部１５で算出された物体（歩行者）との相対距離や相対速度は、出力部１６を介して外部に設けられた車両のコントローラや警報装置等の外部機器へ出力される。

【0115】

［第一実施の形態の作用効果］
以上で説明した第一実施の形態における車両用外界認識装置１０の作用効果について、図１５Ａ〜図１６を用いて説明する。図１５Ａは、車両用外界認識装置１０を用いて自車前方を横切る歩行者を検出した場合の、処理タイミングにおける第一検出部１２及び第二検出部１３による検出の有無の一例を模式的に示す模式図であり、図１５Ｂは、処理タイミングにおける、第一検出部１２及び第二検出部１３による検出の有無と距離計測部１５による処理方法の一例を説明した説明図である。なお、図１５Ｂ中、第一検出部１２および第二検出部１３の列では、物体（歩行者）の位置情報を検出できた場合に丸（○）、検出できなかった場合にバツ（×）を記載している。また、距離計測部１５の列では、物体（歩行者）との相対距離の計測を実施しなかった場合にバツ（×）、第一検出結果（現在値）Ｄ１［ｎ］を用いて相対距離の計測を実施した場合（図１４のステップＳ１５０３参照）に丸（○）、第一検出結果Ｄ１［ｎ］および第一検出結果を補間する第一位置情報補間情報を用いて相対距離の計測を実施した場合（図１４のステップＳ１５０４参照）に二重丸（◎）を記載している。

【0116】

図１５Ａに示すように、歩行者が時間Ｔ１からＴ７までに亘って自車前方を横切った例において、第一検出部１２では、時間Ｔ３〜Ｔ５と時間Ｔ７でその歩行者を検出し、第二検出部１３では、時間Ｔ１からＴ７でその歩行者を検出したとする。このとき、本第一実施の形態の車両用外界認識装置１０は、まず時間Ｔ３において、第一検出位置補間部１４により第一検出結果Ｄ１［ｎ］の過去値の補間処理（過去位置補間処理）を行う。すなわち、図１５Ｃに示すように、時間Ｔ３における第一検出結果Ｄ１［ｎ］と第二検出結果Ｄ２［ｍ］の相対的な位置関係に基づいて、時間Ｔ１、Ｔ２における第一検出結果（時間Ｔ１、Ｔ２において第一検出部１２にて検出されなかった物体（歩行者）の位置情報）を補間し、時間Ｔ３における物体との相対位置や相対速度を再計算する。

【0117】

また、本第一実施の形態の車両用外界認識装置１０は、時間Ｔ６において、第一検出位置補間部１４によって第一検出結果Ｄ１［ｎ］の補間処理（現在位置補間処理）を行う。すなわち、図１５Ｄに示すように、時間Ｔ６における第一検出位置Ｄ１［ｎ］を、時間Ｔ５における第一検出結果Ｄ１［ｎ］と第二検出結果Ｄ２［ｍ］の相対的な位置関係と、時間Ｔ６における第二検出結果Ｄ２［ｍ］に基づいて補間し、時間Ｔ６における物体との相対位置や相対速度を計算する。

【0118】

なお、時間Ｔ７における第一検出結果Ｄ１［ｎ］と第二検出結果Ｄ２［ｍ］の相対的な位置関係に基づいて、時間Ｔ６における第一検出位置Ｄ１［ｎ］（時間Ｔ６において第一検出部１２にて検出されなかった物体（歩行者）の位置情報）を補間してもよい。

【0119】

図１６は、図１に示す車両用外界認識装置１０による歩行者の横移動速度の計測結果とパターンマッチ処理のみによって計測した場合の歩行者の横移動速度の計測結果の一例を示す図である。図１６中、縦軸が歩行者の横方向の相対的な移動速度、横軸が時間であり、図中の破線が歩行者の横移動速度の真値、実線が本第一実施の形態における車両用外界認識装置１０で算出した場合の歩行者の横移動速度、一点鎖線がパターンマッチ処理のみで算出した場合の歩行者の横移動速度を示している。

【0120】

図示するように、パターンマッチ処理（第一検出部１２と同様の処理）のみによって算出した場合、パターンマッチ処理では時間Ｔ３で物体（歩行者）を最初に検知し、時間Ｔ６で物体をロストする。この場合、時間Ｔ３で物体を最初に検知してから相対距離や相対速度の計算を開始し、時間Ｔ３以降で時間Ｔ４、Ｔ５の検出結果を用いて物体との相対速度を算出してフィルタリングを行うため、真値への収束が遅くなる。また、時間Ｔ６で物体をロストするため、それまでの算出結果が失われ、時間Ｔ７で再び物体を検知してから再び相対速度の算出を始める必要があるため、真値への収束が更に遅くなる。

【0121】

一方、図１に示す車両用外界認識装置１０によって算出する場合には、第二検出部１３がオプティカルフローを用いて物体を常時検出しており、第一検出部１２が時間Ｔ３で物体（歩行者）を最初に検知した時点で第一検出位置補間部１４により第一検出結果の過去値の補間が行われるため、時間Ｔ１から相対速度を算出した場合と同等の相対速度を得ることができ、時間Ｔ３での相対速度がある程度真値へ近くなる。また、第一検出部１２が時間Ｔ６で物体をロストした場合でも、第一検出位置補間部１４によりその時間Ｔ６での第一検出結果の補間を実施するため、相対速度の算出結果が途切れることがなく、算出される相対速度が歩行者の横移動速度の真値に更に近くなる。

【0122】

このように、本第一実施の形態の車両用外界認識装置１０によれば、第一検出部１２及び第二検出部１３によって自車周囲を撮像した画像２００から歩行者の第一位置情報（第一検出結果）及び第二位置情報（第二検出結果）が検出される第一状態と第二検出部１３のみによってその画像２００から物体の第二位置情報が検出される第二状態とが時系列で発生した際に、第一状態における第一位置情報及び第二位置情報と第二状態における第二位置情報とに基づいて第二状態における物体の第一位置情報を補間する第一位置情報補間情報を算出することにより、第一検出部１２によって画像２００の一部で歩行者等の物体の位置情報を検出し得ない場合であっても、その物体との相対位置や相対速度の算出精度を高めることができる。より具体的には、たとえば広角カメラを用いる際のカメラ歪や画像上の歩行者のパターン変化により、第一検出部１２によって画像２００の一部で自車進路を横切る歩行者の位置情報を検出し得ない場合であっても、第二検出部１３によって検出される歩行者の第二位置情報を用いて第一検出部１２によって検出される歩行者の第一位置情報の過去値や現在値を補間することができるため、自車と歩行者との相対位置や相対速度を精度良く算出することができる。

【0123】

なお、上記した第一実施の形態では、第一検出部１２で行うパターンマッチ処理の検出対象として歩行者を採用したが、当該第一検出部１２の検出対象は適宜に設定することができる。たとえば、相対距離や相対速度の算出に最も適した歩行者の脚部形状のみを第一検出部１２の検出対象としてもよい。

【0124】

＜第二実施の形態＞
つぎに、本発明に係る車両用外界認識装置の第二実施の形態について図１７、図１８を用いて詳細に説明する。図１７は、第二実施の形態における車両用外界認識装置２０のブロック図である。図１７に示す第二実施の形態の車両用外界認識装置２０は、図１に示す第一実施の形態の車両用外界認識装置１０に対して、出力選択部２６の構成が相違しており、その他の構成は第一実施の形態の車両用外界認識装置１０と同様である。したがって、以下では、第一実施の形態の車両用外界認識装置１０と異なる構成のみを詳述し、第一実施の形態と同様の構成には同一の符号を付してその詳細な説明は省略する。

【0125】

車両用外界認識装置２０は、自動車等の車両に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ装置のカメラ１で撮影した画像から物体を検出するためのものであり、本実施の形態では、自車周囲の物体のうち特に歩行者を検知するように構成されている。

【0126】

車両用外界認識装置２０は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて予め定められた周期Ｔで繰り返し処理を実行するようになっている。

【0127】

車両用外界認識装置２０は、図１７に示すように、画像取得部１１と、第一検出部１２と、第二検出部１３と、第一検出位置補間部１４と、距離計測部１５と、出力選択部２６と、を備えている。以下では、出力選択部２６の処理のみを詳細に説明する。

【0128】

［出力選択部］
図１８を用いて、出力選択部２６における処理内容について説明する。図１８は、出力選択部２６の処理フローを説明したフローチャートである。

【0129】

出力選択部２６は、まず、第一検出結果Ｄ１［ｎ］について、ｎ＝１からＮまでの繰り返し処理を実施する。ここで、第一検出結果Ｄ１［ｎ］は追跡処理の結果、情報が抜けている部分が存在するため、その処理は第一検出結果Ｄ１［ｎ］の確保領域全体に対して実施し、そこに情報が格納されている場合のみ、以下の処理を実施する。

【0130】

出力選択部２６は、ステップＳ１６０１にて、第一検出結果Ｄ１［ｎ］と同一物体と判定された第二検出結果Ｄ２［ｍ’］の有無を確認する。第一検出結果Ｄ１［ｎ］と同一物体と判定された第二検出結果Ｄ２［ｍ’］が存在する場合にはステップＳ１６０３へ移動し、第一検出結果Ｄ１［ｎ］と同一物体と判定された第二検出結果Ｄ２［ｍ’］が存在しない場合にはステップＳ１６０２へ移動する。

【0131】

つぎに、ステップＳ１６０２にて、第一検出結果Ｄ１［ｎ］の過去値Ｄ１＿Ｚ［ｎ］と同一物体と判定された第二検出結果Ｄ２［ｍ’］の過去値Ｄ２＿Ｚ［ｍ’］の有無を確認する。過去値Ｄ１＿Ｚ［ｎ］と同一物体と判定された過去値Ｄ２＿Ｚ［ｍ’］が存在する場合にはステップＳ１６０３へ移動し、過去値Ｄ１＿Ｚ［ｎ］と同一物体と判定された過去値Ｄ２＿Ｚ［ｍ’］が存在しない場合にはステップＳ１６０４へ移動する。

【0132】

第一検出結果Ｄ１［ｎ］と同一物体と判定された第二検出結果Ｄ２［ｍ’］が存在する場合や第一検出結果Ｄ１［ｎ］の過去値Ｄ１＿Ｚ［ｎ］と同一物体と判定された第二検出結果Ｄ２［ｍ’］の過去値Ｄ２＿Ｚ［ｍ’］が存在する場合には、ステップＳ１６０３にて、第一検出結果Ｄ１［ｎ］等を用いて距離計測部１５で計測された物体（歩行者）との相対位置および相対速度をたとえばＬＡＮを介して車両用外界認識装置２０の外部へ出力する。すなわち、ここで出力される結果は、現在もしくは過去に第一検出部１２と第二検出部１３の双方で検出された物体に対する結果である。

【0133】

一方、第一検出結果Ｄ１［ｎ］と同一物体と判定された第二検出結果Ｄ２［ｍ’］が存在しない場合且つ第一検出結果Ｄ１［ｎ］の過去値Ｄ１＿Ｚ［ｎ］と同一物体と判定された第二検出結果Ｄ２［ｍ’］の過去値Ｄ２＿Ｚ［ｍ’］が存在しない場合には、ステップＳ１６０４にて、第一検出結果Ｄ１［ｎ］等を用いて距離計測部１５で計測された相対位置および相対速度を車両用外界認識装置２０の外部へ出力しない。この結果は、これまでに第一検出部１２のみで検出された物体に対する結果である。すなわち、これまでに第一検出部１２のみで物体（歩行者）を検出した場合には、距離計測部１５でその物体との相対位置および相対速度は演算するものの、出力選択部２６は、その物体に対する相対位置および相対速度を車両用外界認識装置２０の外部に設けられた外部機器へ出力しない。

【0134】

［第二実施の形態の作用効果］
以上で説明したように、本第二実施の形態の車両用外界認識装置２０によれば、現在もしくは過去に第一検出部１２と第二検出部１３の双方で検出対象となる物体（歩行者）の第一位置情報と第二位置情報とが検出されて初めて、その物体に対して計測された相対位置および相対速度が車両用外界認識装置２０の外部に設けられた車両のコントローラや警報装置等の外部機器へ出力されるため、第一検出部１２と第二検出部１３の双方の手法で検出されるような確度が高い物体に対する結果のみを車両のコントローラや警報装置等の外部機器へ出力することができる。また、第一検出部１２のみで検出された物体に対する相対位置および相対速度は車両用外界認識装置２０の外部に設けられた車両のコントローラや警報装置等の外部機器へ出力されないものの、上記したように、そのような物体に対しても距離計測部１４により相対位置および相対速度の演算は実施しているため、第一実施の形態の車両用外界認識装置１０と同様、算出される相対速度が歩行者の横移動速度の真値に近くなり、その物体との相対位置や相対速度の算出精度を高めることができる。言い換えれば、距離計測部１４により計測された相対位置および相対速度は、第一検出部１２と第二検出部１３の双方で物体が同時に検出されたタイミングで車両用外界認識装置２０の外部に設けられた車両のコントローラや警報装置等の外部機器へ出力されるものの、その相対位置および相対速度は距離計測部１４により前記出力よりも事前に演算されているため、確度が高い物体に対する結果のみを車両のコントローラや警報装置等の外部機器へ出力しながら、算出される相対速度の歩行者の横移動速度の真値に対する遅れを抑制することができる。

【0135】

＜第三実施の形態＞
つぎに、本発明に係る車両用外界認識装置の第三実施の形態について図１９、図２０を用いて詳細に説明する。図１９は、第三実施の形態における車両用外界認識装置３０のブロック図である。図１９に示す第二実施の形態の車両用外界認識装置３０は、図１に示す第一実施の形態の車両用外界認識装置１０に対して、画像における物体（歩行者）の位置情報を検出する手法が相違しており、その他の構成は第一実施の形態の車両用外界認識装置１０と同様である。したがって、以下では、第一実施の形態の車両用外界認識装置１０と異なる構成のみを詳述し、第一実施の形態と同様の構成には同一の符号を付してその詳細な説明は省略する。

【0136】

車両用外界認識装置３０は、自動車等の車両に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ装置のカメラ１で撮影した画像から物体を検出するためのものであり、本実施の形態では、自車周囲の物体のうち特に歩行者を検知するように構成されている。

【0137】

車両用外界認識装置３０は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて予め定められた周期Ｔで繰り返し処理を実行するようになっている。

【0138】

車両用外界認識装置３０は、図１９に示すように、画像取得部１１と、脚部検出部３２と、頭部検出部３３と、脚部検出位置補間部３４と、距離計測部１５と、出力部１６と、を備えている。以下では、脚部検出部３２と頭部検出部３３と脚部検出位置補間部３４の処理のみを詳細に説明する。

【0139】

［脚部検出部］
脚部検出部３２は、画像取得部１１により取得された画像２００（図２参照）内から、歩行者の脚部に類似したパターンを検出し、その検出結果Ｄ１［ｎ］を出力する。この検出結果Ｄ１［ｎ］は、検出された歩行者脚部の画像上の座標（ＳＸ，ＳＹ，ＥＸ，ＥＹ）を要素とするテーブルの配列であり、ｎは複数検出された場合のＩＤを表している。

【0140】

図２０を用いて、脚部検出部３２における処理内容について説明する。図２０は、脚部検出部３２の処理フローを説明したフローチャートである。

【0141】

脚部検出部３２は、まず、ステップＳ３０１にて、画像ＩＭＧＳＲＣ［ｘ］［ｙ］からピラミッド画像ＩＭＧＰＹ［ｐ］［ｘ］［ｙ］を生成する。ピラミッド画像ＩＭＧＰＹ［ｐ］［ｘ］［ｙ］はＰ枚の画像から構成される画像群であり、画像ＩＭＧＳＲＣ［ｘ］［ｙ］を所定の倍率で順次縮小した画像である。本実施の形態においては、ピラミッド画像ＩＭＧＰＹ［ｐ］［ｘ］［ｙ］のｐ＝０における画像は画像ＩＭＧＳＲＣ［ｘ］［ｙ］と同一の画像、ｐ＝１における画像はＩＭＧＰＹ［０］［ｘ］［ｙ］を縮小率０．８で縮小した画像、ｐ＝２における画像はＩＭＧＰＹ［１］［ｘ］［ｙ］を縮小率０．８で縮小した画像、といったように縮小率０．８で順次縮小した画像を格納したものとする。

【0142】

ここで、カメラ１のカメラパラメータに基づいて画像の歪補正を実施してもよい。

【0143】

つぎに、ステップＳ３０２をピラミッド画像ＩＭＧＰＹ［ｐ］［ｘ］［ｙ］についてｐ＝１からｐ＝Ｐまで繰り返し処理を行う。このステップＳ３０２では、ピラミッド画像ＩＭＧＰＹ［ｐ］［ｘ］［ｙ］から特定形状（すなわち、歩行者の脚部形状）を検出する。この特定形状の検出方法には様々な方法が考えられるが、如何なる検出方法を用いてもよい。たとえば、歩行者の歩行パターンから代表的な脚部の形状を抽出し、上記の第一実施の形態で説明したテンプレートマッチングによって検出してもよい。上記した処理を、ｐ＝１からｐ＝Ｐまで繰り返し処理を行う。

【0144】

つぎに、ステップＳ３０３にて、ステップＳ３０２での処理（ラスタスキャン処理）の検出結果を統合する。この統合方法は、種々の公知技術が存在するため、ここではその詳細な説明を割愛するが、本実施の形態においては、たとえばＭｅａｎＳｈｉｆｔ（平均値シフト法）と呼ばれる公知技術を使用する。そして、その統合結果をＤ１Ｍ［ｒ］へ格納する。ここで、Ｄ１Ｍは画像上の検出位置座標（ＳＸ，ＳＹ，ＥＸ，ＥＹ）を表している。

【0145】

つぎに、ステップＳ３０４にて、追跡処理を実施する。この追跡処理は、上記した第一実施の形態の第一検出部１２において図８を用いて説明した処理内容と同一であるため、ここではその詳細な説明を割愛する。

【0146】

この脚部検出部３２による処理の結果、パターンマッチ処理による歩行者脚部パターン検出結果が脚部検出結果（第一位置情報）Ｄ１［ｎ］として出力される。

【0147】

［頭部検出部］
頭部検出部３３は、画像取得部１１により取得された画像２００（図２参照）内から、歩行者の頭部に類似したパターンを検出し、その検出結果Ｄ２［ｍ］を出力する。この検出結果Ｄ２［ｍ］は、検出された歩行者頭部の画像上の座標（ＳＸ，ＳＹ，ＥＸ，ＥＹ）を要素とするテーブルの配列であり、ｍは複数検出された場合のＩＤを表している。

【0148】

頭部検出部３３における処理内容は、図２０を用いて説明した脚部検出部３２における処理内容とほぼ同一であるため、その詳細な説明は割愛する。ただし、画像から歩行者の頭部を検出する場合、図２０に示すステップＳ３０２における特定形状検出においては、上述したパターンマッチ手法やテンプレートマッチングの他、円検出技術も適用し得るし、歩行者の頭部から肩部にかけてのΩ形状や凸形状を検出する手法も適用し得るが、いずれも公知技術であるため、ここではその詳細な説明は割愛する。

【0149】

この頭部検出部３３による処理の結果、パターンマッチ処理による歩行者頭部パターン検出結果が頭部検出結果（第二位置情報）Ｄ２［ｍ］として出力される。

【0150】

［脚部検出位置補間部］
歩行者の脚部は形状の変化が大きいためにパターンマッチ処理による検出が途切れることがあるが、歩行者の頭部は形状の変化が少ないためにパターンマッチ処理等による検出が途切れる可能性が低い。そこで、脚部検出位置補間部３４は、頭部検出部３３から出力された検出結果Ｄ２［ｍ］を用いて脚部検出部３２から出力された検出結果Ｄ１［ｎ］を補間（現在位置補間処理や過去位置補間処理）する補間情報を算出して、前記検出結果Ｄ１［ｎ］の現在値や過去値を補間する。

【0151】

脚部検出位置補間部３４による補間処理の処理内容は、上記した第一実施の形態の第一検出位置補間部１４において図１０〜図１３を用いて説明した処理内容とほぼ同一である。ただし、頭部検出結果Ｄ２［ｍ］と脚部検出結果Ｄ１［ｎ］の一致度判定の判定方法には、図１１に示すステップＳ１４１１における算出方法が適用できないため、以下では、脚部検出位置補間部３４における一致度判定の判定方法のみを説明する。

【0152】

脚部検出位置補間部３４は、脚部検出結果Ｄ１［ｎ］と頭部検出結果Ｄ２［ｍ］の矩形情報をそれぞれ（ＳＸ１，ＳＹ１，ＥＸ１，ＥＹ１）、（ＳＸ２，ＳＹ２，ＥＸ２，ＥＹ２）とすると、まず、歩行者の頭部の大きさＨ＝ＥＹ２−ＳＹ２、脚部検出結果Ｄ１［ｎ］と頭部検出結果Ｄ２［ｍ］のそれぞれのＸ座標中点ＣＸ１＝（ＳＸ１＋ＥＸ１）／２、ＣＸ２＝（ＳＸ２＋ＥＸ２）／２を算出する。そして、以下の式（７）に示す条件（ａ）〜（ｃ）に基づいて、脚部検出結果Ｄ１［ｎ］と頭部検出結果Ｄ２［ｍ］とが同一物体によるもの（すなわち、同一の歩行者によるもの）であるか否かを判定する。

【0153】

［数７］
（ａ）：ＥＹ２ ＞ ＳＹ１
（ｂ）：ＴＨ＿ＨＭＩＮ ＜ （ＥＹ１−ＳＹ２）／Ｈ ＜ ＴＨ＿ＨＭＡＸ
（ｃ）：｜ＣＸ１−ＣＸ２｜ ＜ ＴＨ＿ｄＣＸ ・・・（７）

【0154】

ここで、式（７）に示す条件（ａ）は、頭が足の上方にあるという条件である。条件（２）は、身長の頭サイズ比（すなわち頭身）が短すぎず、且つ長すぎないという条件である。条件（３）は、頭と足とが略垂直に並んでいるという条件である。以上の条件をすべて満たした場合に、脚部検出位置補間部３４は、脚部検出結果Ｄ１［ｎ］と頭部検出結果Ｄ２［ｍ］とが同一物体によるもの（すなわち、同一の歩行者によるもの）であると判定する。

【0155】

［第三実施の形態の作用効果］
以上で説明したように、本第三実施の形態の車両用外界認識装置３０によれば、頭部検出部３３と脚部検出部３２とによって、歩行者の体のうち画像上での形状変化が少ない頭部と、歩行者との相対距離や相対速度の計測に必要な脚部とを画像から検出する。歩行者の脚部は形状変化が大きいためにパターンマッチ処理による検出が途切れることがあるが、歩行者の頭部は形状変化が少ないためにパターンマッチ処理等による検出が途切れる可能性が低く、頭部検出部３３により常時検出される。そのため、頭部検出部３３により検出される頭部検出結果（第二位置情報）を用いて、脚部検出部３２により検出される脚部検出結果（第一位置情報）の現在値や過去値（脚部検出部３２にて検出されなかった物体（歩行者脚部）の位置情報）を補間することができ、自車と歩行者との相対位置や相対速度の算出精度を高めることができる。

【0156】

また、本第三実施の形態の車両用外界認識装置３０では、頭部検出部３３と脚部検出部３２とで同様の検出手法（パターンマッチ処理）を適用できるため、当該車両用外界認識装置３０の装置構成を簡素化できるといった利点もある。

【0157】

なお、上記した第一〜第三実施の形態では、第二検出部１３や頭部検出部３３のみによって検出対象となる物体が検出された場合に、物体（歩行者）との相対距離や相対速度が算出されず、第一検出部１２や脚部検出部３２によって検出対象となる物体が検出された場合に、その検出結果に基づいて物体（歩行者）との相対距離や相対速度が算出され、その算出結果が外部機器へ出力される形態について説明した。しかし、第二検出部１３や頭部検出部３３のみによって検出対象となる物体が検出された場合にも、第二検出部１３や頭部検出部３３の検出結果に基づいて物体（歩行者）との相対距離や相対速度を算出してもよい。ただし、その場合には、第一検出部１２や脚部検出部３２によって検出された検出結果を優先して物体（歩行者）との相対距離や相対速度を算出することが好ましい。すなわち、第二検出部１３や頭部検出部３３によって検出対象となる物体の位置情報が検出され、かつ、その前後で第一検出部１２や脚部検出部３２によって検出対象となる物体の位置情報が検出されなかった場合に、第二検出部１３や頭部検出部３３によって検出される検出結果に基づいて物体（歩行者）との相対距離や相対速度を計測し、その計測結果を外部機器へ出力することが好ましい。

【0158】

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0159】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0160】

１０、２０、３０ 車両用外界認識装置
１ カメラ
１１ 画像取得部
１２ 第一検出部
１３ 第二検出部
１４ 第一検出位置補間部
１５ 距離計測部
１６ 出力部
２６ 出力選択部
３２ 脚部検出部
３３ 頭部検出部
３４ 脚部検出位置補間部

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15A】

【図15B】

【図15C】

【図15D】

【図16】

【図17】

【図18】

【図19】

【図20】