特許 6407626 物体認識装置及び車両制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6407626

(24)【登録日】2018年9月28日

(45)【発行日】2018年10月17日

(54)【発明の名称】物体認識装置及び車両制御システム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20181004BHJP

   B60R 21/00 20060101ALI20181004BHJP

   G06T 1/00 20060101ALI20181004BHJP

【ＦＩ】

   G08G1/16 C

   B60R21/00 991

   G06T1/00 330B

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2014-172090(P2014-172090)

(22)【出願日】2014年8月26日

(65)【公開番号】特開2016-45903(P2016-45903A)

(43)【公開日】2016年4月4日

【審査請求日】2017年3月8日

(73)【特許権者】

【識別番号】509186579

【氏名又は名称】日立オートモティブシステムズ株式会社

(74)【代理人】

【識別番号】100091096

【弁理士】

【氏名又は名称】平木 祐輔

(74)【代理人】

【識別番号】100105463

【弁理士】

【氏名又は名称】関谷 三男

(74)【代理人】

【識別番号】100102576

【弁理士】

【氏名又は名称】渡辺 敏章

(72)【発明者】

【氏名】志磨 健

(72)【発明者】

【氏名】大里 琢馬

(72)【発明者】

【氏名】竹村 雅幸

(72)【発明者】

【氏名】大塚 裕史

【審査官】 岩田 玲彦

(56)【参考文献】

【文献】 特開２００８−０４５９７４（ＪＰ，Ａ）

【文献】 特開２０１４−０９６００５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ ２１／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

自車の周囲の対象物を認識する物体認識装置であって、
前記自車から物体までの距離情報を利用して前記物体が対象物であるか否かを判定する距離情報利用対象物判定部と、
前記自車から前記物体を撮像した画像情報を利用して前記物体が前記対象物であるか否かを判定する画像情報利用対象物判定部と、
前記距離情報と前記画像情報を用いて前記対象物の検出信頼度を算出する対象物検出信頼度算出部と、を有し、
自車前方を撮像する左右一対の撮像部と、該撮像部で撮像した画像情報に基づいて前記物体の視差情報を算出する視差算出部と、を備えており、
前記距離情報利用対象物判定部は、前記視差情報を前記距離情報として用いて前記自車前方の物体が前記対象物である歩行者であるか否かを判定し、
前記画像情報利用対象物判定部は、前記距離情報を用いて前記自車前方の駐車車両を検出し、前記画像情報を用いて前記駐車車両近傍の歩行者候補を検出し、前記画像情報と前記距離情報を用いて前記歩行者候補が歩行者であるか否かを判定し、
前記対象物検出信頼度算出部は、前記距離情報利用対象物判定部の判定結果と、前記画像情報利用対象物判定部の判定結果を用いて、前記歩行者の検出信頼度を算出し、
前記距離情報利用対象物判定部により前記自車前方の物体が前記歩行者であると判定され、かつ、前記画像情報利用対象物判定部により前記歩行者候補が前記歩行者であると判定された場合に信頼度が高いと判定し、
前記距離情報利用対象物判定部により前記自車前方の物体が前記歩行者ではないと判定され、かつ、前記画像情報利用対象物判定部により前記歩行者候補が前記歩行者であると判定された場合に信頼度が低いと判定し、
前記距離情報利用対象物判定部により前記自車前方の物体が前記歩行者であると判定され、前記画像情報利用対象物判定部により前記歩行者候補が前記歩行者ではないと判定された場合に信頼度が中間と判定する
ことを特徴とする物体認識装置。

【請求項2】

前記対象物検出信頼度算出部により算出された前記歩行者の検出信頼度に基づいて前記自車の車両制御の種類を選択する車両制御種類選択部を有することを特徴とする請求項１に記載の物体認識装置。

【請求項3】

前記対象物検出信頼度算出部により算出された前記歩行者の検出信頼度に基づいて前記自車の警報制御の種類を選択する警報制御種類選択部を有することを特徴とする請求項１に記載の物体認識装置。

【請求項4】

請求項２に記載の物体認識装置と、該物体認識装置の前記車両制御種類選択部により選択された車両制御を実行する車両制御装置とを有することを特徴とする車両制御システム。

【請求項5】

請求項３に記載の物体認識装置と、該物体認識装置の前記警報制御種類選択部により選択された警報制御を実行する警報制御装置とを有することを特徴とする車両制御システム。

【請求項6】

自車前方の物体を検出するレーダと、
自車前方を撮像する一つの撮像部と、
前記レーダで検出した物体までの距離情報を算出する距離算出部と、
を備えており、
前記距離情報利用対象物判定部は、前記距離情報を用いて前記自車前方の物体が前記対象物である歩行者であるか否かを判定し、
前記画像情報利用対象物判定部は、前記距離情報を用いて前記自車前方の駐車車両を検出し、前記画像情報を用いて前記駐車車両近傍の歩行者候補を検出し、前記画像情報と前記距離情報を用いて前記歩行者候補が歩行者であるか否かを判定し、
前記対象物検出信頼度算出部は、前記距離情報利用対象物判定部の判定結果と、前記画像情報利用対象物判定部の判定結果を用いて、前記歩行者の検出信頼度を算出し、
前記距離情報利用対象物判定部により前記自車前方の物体が前記歩行者であると判定され、かつ、前記画像情報利用対象物判定部により前記歩行者候補が前記歩行者であると判定された場合に信頼度が高いと判定し、
前記距離情報利用対象物判定部により前記自車前方の物体が前記歩行者ではないと判定され、かつ、前記画像情報利用対象物判定部により前記歩行者候補が前記歩行者であると判定された場合に信頼度が低いと判定し、
前記距離情報利用対象物判定部により前記自車前方の物体が前記歩行者であると判定され、前記画像情報利用対象物判定部により前記歩行者候補が前記歩行者ではないと判定された場合に信頼度が中間と判定することを特徴とする請求項1に記載の物体認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動車の外界の画像情報から物体を認識する物体認識装置及び車両制御システムに関する。

【背景技術】

【0002】

車両の安全な走行を実現するために、車両の周囲の危険な事象を検出して、検出した危険な事象を回避するために、車両の操舵、アクセル、ブレーキを自動制御する装置に関して研究開発が行われており、一部の車両には既に搭載されている。その中でも、車両に搭載したカメラで車両の前方の車両や歩行者等の障害物を検出して、ドライバへの警報や自動ブレーキを行うシステムは、車両の安全性向上の面で有効である。

【0003】

自動車に搭載したカメラの映像から自動車の周囲の障害物を検知するシステムにおいて、特に自動車に衝突可能性がある歩行者を検出することが歩行者保護の上で重要である。特に物陰から飛び出してくる歩行者を早期に検知し、歩行者との衝突防止のためのブレーキ制御を行うことが安全性向上のために重要である。物陰から飛び出してくる歩行者に対する衝突防止性能は、欧州のEuro-NCAPの安全性能判定基準にも取り入れられる予定である。検出用としてのセンサとしては、ミリ波レーダ、レーザーレーダ、カメラがあるが、カメラ、特にステレオカメラを使用した方法が特許文献1に記載されている。

【0004】

特許文献1に記載の内容は、ステレオカメラで障害物を検出する際に、単眼情報による距離計測部と、ステレオ情報による距離計測部を持ち、自車に近い部分の障害物検出はステレオ情報による距離計測部を使い、自車から遠い部分の障害物検出は単眼情報による距離計測部を使い、２つの計測部を検知距離によって切り替えるものであり、特に精度低下懸念時はステレオ情報による距離計測部を適用する距離を長く設定するものである。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１３−０５８８２９号

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献1の方法は、ステレオ情報と単眼情報を切り替えていずれか一方のみを用いるものである。したがって、一方の情報のみでは所期の検出精度が得られず、車両を精度よく制御することが困難となるおそれがある。

【0007】

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、対象物の検出信頼度に応じて車両の制御を変えることができる物体認識装置を提供することである。

【課題を解決するための手段】

【0008】

上記課題を解決する本発明の物体認識装置は、自車の周囲の対象物を認識する物体認識装置であって、前記自車から物体までの距離情報を利用して前記物体が対象物であるか否かを判定する距離情報利用対象物判定部と、前記自車から前記物体を撮像した画像情報を利用して前記物体が前記対象物であるか否かを判定する画像情報利用対象物判定部と、前記距離情報と前記画像情報を用いて前記対象物の検出信頼度を算出する対象物検出信頼度算出部と、を有することを特徴としている。

【発明の効果】

【0009】

本発明によれば、対象物の検出信頼度に応じて、ドライバへの警報の方法や対象物への衝突防止のための車両の制御方法を変えることができる。したがって、検知結果が不確かな段階でも、緊急ブレーキに至る事前の準備を行うことで、飛出し歩行者に対してより早く緊急ブレーキを作動させることができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１実施形態における車両制御システムの構成を説明する図。

【図2】ステレオカメラにおける視差の算出方法を説明する図。

【図3】ステレオカメラにおける視差の算出方法を説明する図。

【図4】ステレオカメラにおける視差の算出方法を説明する図。

【図5】駐車車両検出部における処理の内容を説明するフローチャート。

【図6】歩行者が駐車車両の陰から自車前方に飛び出してくる状態を説明する図。

【図7】歩行者候補の検出方法を説明する図。

【図8】歩行者候補検出部における処理の内容を説明するフローチャート。

【図9】画像情報利用歩行者判定部における判定方法を説明する図。

【図10】画像情報利用歩行者判定部における処理の内容を説明するフローチャート。

【図11】歩行者検出信頼度算出部における処理の内容を説明するフローチャート。

【図12】信頼度と各種制御との関係を示す図。

【図13】本発明の第２実施形態における車両制御システムの構成を説明する図。

【発明を実施するための形態】

【0011】

次に、本発明の実施形態について図面を用いて以下に説明する。

【0012】

＜第１実施形態＞
本実施形態では、本発明の物体認識装置を、車両に搭載されたステレオカメラの映像を用いて、駐車車両の陰からの飛び出しが予測される歩行者に対する衝突回避動作を行う車両制御システムに適用した場合の説明をする。

【0013】

まず、図1を用いて本実施形態における車両制御システムの構成の概要を説明する。
図1は、本実施形態における車両制御システムを実現するブロック図である。車両制御システムは、自車の周囲の対象物を認識して車両制御もしくは警報制御を行うものであり、ステレオカメラ100と、速度制御装置111と、警報制御装置112を有している。

【0014】

ステレオカメラ100は、左撮像部101、右撮像部102、視差算出部103、駐車車両検出部104、歩行者候補検出部105、視差情報利用歩行者判定部106、画像情報利用歩行者判定部107、歩行者検出信頼度算出部108、歩行者検出結果出力部109、警報・車両制御種類選択部110を有している。

【0015】

左撮像部101と右撮像部102は、予め設定された基線長を有して左右に離れた状態で対をなして車室内に取り付けられており、自車のフロントガラス越しに車両進行方向前側をそれぞれ撮像し、その画像情報を出力する。視差算出部103は、左撮像部101と右撮像部102でそれぞれ撮像した画像同士の位置ズレである視差を利用して距離を算出し、視差情報として出力する。

【0016】

駐車車両検出部104は、視差算出部103で求めた視差情報に基づき、前方の道路脇に駐車している駐車車両を検出する。歩行者候補検出部105は、駐車車両検出部104で検出した駐車車両に近接した位置に存在する歩行者候補を検出する。ここでは、静止物である駐車車両の近傍位置に探索範囲を設定し、距離情報が密な位置を探索して歩行者候補を検出する。

【0017】

画像情報利用歩行者判定部107は、歩行者候補検出部105にて検出した歩行者候補に対して、右撮像部102で撮像した右画像情報を利用して歩行者の特徴を有しているか否かを判定し、歩行者の特徴が多い場合は歩行者であると判定する（画像情報利用対象物判定部）。なお、右撮像部102の代わりに左撮像部101で撮像した左画像情報を利用してもよい。

【0018】

一方、視差情報利用歩行者判定部106は、視差算出部103で求めた視差情報を利用して、撮像した画像全体の中に対象物となる歩行者が存在するかどうかを判定する（距離情報利用対象物判定部）。歩行者検出信頼度算出部108は、画像情報利用歩行者判定部107と視差情報利用歩行者判定部106において物体が歩行者であるか否かを判定した際の信頼度を算出する（対象物検出信頼度算出部）。歩行者検出結果出力部109は、画像情報利用歩行者判定部107、視差情報利用歩行者判定部106、歩行者検出信頼度算出部108の結果を統合して、歩行者の有無と、歩行者までの距離・相対速度と、歩行者検出信頼度とを出力する。

【0019】

警報・車両制御種類選択部110は、歩行者検出結果出力部109からの情報に基づき、警報や車両制御の種類を選択する（車両制御種類選択部、警報制御種類選択部）。選択した結果、車両の速度制御によって検出した歩行者への衝突防止を行う場合は、速度制御装置（車両制御装置）111に制御に関する指示が送信され、ブレーキ113、またはアクセル114、またはステアリング115に制御信号が送信される。また、選択した結果、ドライバへの警報によって検出した歩行者への衝突防止を行う場合は、警報制御装置112に警報に関する指示が送信され、ディスプレイ116またはスピーカ117に警報に関する制御信号が送信される。なお、本実施形態では、警報・車両制御種類選択部110によって警報制御の選択と車両制御の選択の両方を行う場合について説明したが、いずれか一方でもよく、その場合に、車両制御システムは速度制御装置111と警報制御装置112のうち、対応する方を有している。

【0020】

次に図2を用いて、図1のステレオカメラ100の視差算出部103による視差の算出方法について説明する。ここでは、左画像入力処理と右画像入力処理を行い、次に、対応点算出処理を行う。具体的には、左撮像部101と右撮像部102で撮像した左右の画像データを受信する。そして、左右の画像データを比較して、同一物体を撮像している部分を特定する。すなわち、図2に示したように、走行路上にある物体1001をステレオカメラ100で撮像すると、左撮像部101と右撮像部102で撮像された画像は、それぞれ左画像1002、右画像1003のようになる。ここで、同一の物体1001は、左画像1002では1004の位置に撮像され、右画像1003では1005の位置に撮像され、画像の横方向にd₁のずれが発生する。したがって、左画像1002の1004の位置に撮像されている特定の物体が、右画像1003のどこの位置に撮像されているかを特定する必要がある。

【0021】

左画像1002に撮像されている特定の物体が、右画像1003のどこの位置に撮像されているかを特定する方法について図3を用いて説明する。図3において、左画像1002、右画像1003の座標系に関して、横方向をu軸1101、縦方向をv軸1102とする。まず、左画像1002において、uv座標系で、(u₁,v₁)、(u₁,v₂)、(u₂,v₁)、(u₂,v₂)で囲まれた矩形領域1103を設定する。

【0022】

次に、右画像1003において、(U,v₁)、(U,v₂)、(U+(u₂-u₁),v₁)、(U+(u₂-u₁),v₂)で囲まれた領域を、Uの値をu=0からu=u₃まで増加させて、画像の右方向へこの矩形領域1104を走査させる。走査させる際、矩形領域1103内の画像と、矩形領域1104内の画像の相関値を比較して、左画像1002の矩形領域1103と相関性が最も高い右画像1003の矩形領域1105の位置(u₄,v₁)、(u₄,v₂)、(u₄+(u₂-u₁),v₁)、(u₄+(u₂-u₁),v₂)に、矩形領域1103に撮像されている物体と同一物体が撮像されているとする。ここで、矩形領域1103内の各画素と、矩形領域1105内の各画素が対応しているとする。右画像1003の矩形領域1104を走査した際、相関値がある一定以上の値になる矩形がない場合は、左画像1002の矩形領域1103に対応する右画像1003内の対応点は無しとする。

【0023】

次に、左画像1002の矩形領域を1106の位置にずらし、同様の処理を行う。このように左画像1002の矩形領域を左画像1002内全体に走査して、左画像1002の全画素に対して、右画像1003内の対応点を求める。対応点が見つからない場合は、対応点無しとする。

【0024】

次に、距離算出処理を行う。ここで視差と距離は等価であり、この処理において視差データから距離データに変換する。距離算出処理では、対応点算出処理で求めた、同一物体を撮像している左画像1002と右画像1003の対応点に関して、各対応点がステレオカメラ100からどの程度の距離の位置にあるかを算出する。

【0025】

図4を用いて、左画像1002と右画像1003の対応点1201のカメラからの距離を算出する方法を説明する。図4において、左の撮像部101は、レンズ1202と撮像面1203から成る焦点距離f、光軸1208のカメラであり、右撮像部102は、レンズ1204と撮像面1205から成る焦点距離f、光軸1209のカメラである。カメラ前方にある点1201は、左撮像部101の撮像面1203の点1206（光軸1208からd₂の距離）へ撮像され、左画像1002では点1206（光軸1208からd₄画素の位置）となる。同様に、カメラ前方にある点1201は、右撮像部102の撮像面1205の点1207（光軸1209からd₃の距離）に撮像され、右画像1003では点1207（光軸1209からd₅画素の位置）となる。

【0026】

このように同一の物体の点1201が、左画像1002では光軸1208から左へd₄画素の位置、右画像1003では光軸1209から右へd₅の位置に撮像され、d₄+d₅画素の視差が発生する。このため、左撮像部101の光軸1208と点1201との距離をxとすると、以下の式により、ステレオカメラ100から点1201までの距離Dを求めることができる。

【0027】

点1201と左の撮像部101との関係から d₂ : f = x : D
点1201と右の撮像部102との関係から d₃ : f = (d-x) : D

【0028】

従って、D = f × d / (d₂ + d₃) = f × d / { (d₄ + d₅ ) × a} となる。ここで、aは撮像面1203、1205の撮像素子のサイズである。

【0029】

以上述べた距離算出を、前述の対応点算出処理で算出した対応点全てに関して実施する。その結果、ステレオカメラ100から物体までの距離を表現した距離画像を求めることができ、距離画像（距離情報）と視差画像（視差情報）は等価として扱うことができる。

【0030】

次に図5を用いて、図1のステレオカメラ100の駐車車両検出部104において実行される処理について説明する。図5は、駐車車両検出部104で実行される処理フローである。

【0031】

まず、同距離データグルーピング処理S201において、図1の視差算出部103で算出した視差情報から、画像の各画素に撮像されている対象物までの距離を算出し、ある一定値の範囲にある距離を持つ画素をグルーピングする。

【0032】

次に、車両形状判定処理S202において、前処理の同距離データグルーピング処理S201においてグルーピングした画素を抽出し、抽出した画素のグループの形状と大きさが、車両の背面に類似した形状と大きさか否かを判定する。そして、車両の背面に類似した形状と大きさである場合には対象物が車両であると判定する。ここで車両の背面に類似した形状とは一般的な乗用車や大型車両を含む矩形の形状であり、車両の背面に類似した大きさとは、一般的な乗用車から大型車両を含む大きさとし、事前に定義しておくものとする。

【0033】

車両形状判定処理S202において対象物が車両であると判定した場合に、対象物静止判定処理S203に移行する。対象物静止判定処理S203では、対象物が静止車両であるか否かを判定する。車両が静止しているか否かは、自車の走行速度と、対象物である車両との相対的な接近速度とを比較することによって判定できる。

【0034】

次に図6〜図8を用いて、図1のステレオカメラ100の歩行者候補検出部105について説明する。図6は、歩行者が駐車車両の陰から自車前方に飛び出すことが予測される状態を示す図、図7は、歩行者候補を検出する方法を説明する図、図8は、歩行者候補検出部における処理の内容を説明するフローチャートである。

【0035】

まず、図8に示す駐車車両位置読み込み処理S501で、駐車車両検出部104によって検出された駐車車両（静止物）の位置を読み込む。そして、歩行者検出枠設定処理S502では、駐車車両との距離情報が密な位置に歩行者を検出するための探索範囲を設定し、探索範囲を探索するための検出枠を設定する。そして、検出枠内視差ヒストグラム抽出処理S503で検出枠内の視差ヒストグラムを抽出し、歩行者候補判定処理S504で歩行者候補領域を設定する。

【0036】

例えば、図6（ａ）に示すように、自車301の左前方に駐車車両302があり、図6（ｂ）に示すように、駐車車両302の陰に歩行者303がいる場合、駐車車両302の位置は、駐車車両検出部104によって検出されて、駐車車両位置読み込み処理S501によって読み込まれている。かかる状況において、図7（ａ）に示すように、駐車車両401の近傍に、駐車車両401の陰から飛び出すと予測される歩行者402を探索するための探索範囲403が設定される。そして、図7(ｂ)に示すように、探索範囲403内で歩行者402を検出するための検出枠404を移動させて歩行者402の探索を行い、図7(ｃ)に示すように、探索の結果、画像上で歩行者402と推定される領域である歩行者候補領域405を決定する。

【0037】

次に、図9と図10を用いて、図1の画像情報利用歩行者判定部107について説明する。図9は、画像情報利用歩行者判定部107における判定方法を説明する図、図10は、画像情報利用歩行者判定部における処理の内容を説明するフローチャートである。

【0038】

まず、図10に示す歩行者候補領域読み込み処理S701で、歩行者候補検出部105によって検出された歩行者候補領域405の画像情報が読み込まれる。そして、背景との輝度差判定処理S702で、歩行者とその背景との間の輝度差について有無が判定され、同様に、背景との距離差判定処理S703で歩行者とその背景との間の距離差について有無が判定される。そして、背景との輝度差判定処理S702と、背景との距離差判定処理S703の各判定結果である背景との距離差・輝度差に応じて、歩行者候補が歩行者であるか否かを判定する歩行者判定処理S704が行われる。

【0039】

背景との輝度差判定処理S702及び背景との距離差判定処理S703では、図9（ａ）に示すように、歩行者候補枠601内の歩行者と推定される箇所を参照点602として設定し、歩行者候補枠601の外側に比較点603を設定する。参照点602と比較点603を設定する数は、一個に限られず、複数個を設定してもよい。

【0040】

歩行者判定処理S704では、参照点602と比較点603とを比較して変化があるか否か、換言すると、参照点602と比較点603との間で、輝度値とカメラからの距離をそれぞれ比較し、所定値以上の差があるか否かを判定する。例えば図9（ａ）に示すように、輝度値と距離のいずれか一方に変化がある場合、すなわち、輝度値と距離のいずれか一方に所定値以上の差がある場合には、歩行者候補は歩行者であると判定する。

【0041】

一方、図9（ｂ）に示すように、参照点602と比較点603との間で、輝度値とカメラからの距離をそれぞれ比較して、両方に変化がない場合、すなわち、輝度値と距離の両方に所定値以上の差がない場合には、歩行者ではないと判定する。なお、上記した歩行者判定処理S704の処理内容は一例であり、例えば公知のテンプレートマッチングなどの技術を用いて歩行者判定を行ってもよい。

【0042】

次に、図11を用いて、図1の歩行者検出信頼度算出部108について説明する。図11は、歩行者検出信頼度算出部108における処理の内容を説明するフローチャートである。

【0043】

歩行者検出信頼度算出部108では、視差情報から歩行者と判定可能であり、かつ、画像情報から歩行者と判定可能であるかが判定される（ステップS801）。具体的には、視差情報利用歩行者判定部106において対象物が歩行者であると判定され、かつ、画像情報利用歩行者判定部107において対象物が歩行者であると判定されているか否かが判定される。

【0044】

そして、視差情報と画像情報の両方で歩行者と判定可能である場合、すなわち、視差情報利用歩行者判定部106において対象物が歩行者であると判定され、かつ、画像情報利用歩行者判定部107において対象物が歩行者であると判定されている場合（ステップS801でＹＥＳ）には、歩行者検出の信頼度が高い（ステップS802）と判定する。

【0045】

一方、視差情報と画像情報の少なくとも一方で歩行者と判定不可能である場合、すなわち、視差情報利用歩行者判定部106と画像情報利用歩行者判定部107の少なくとも一方において歩行者と判定不可能である場合には、いずれか一方で判定不可能なのか、それとも両方で判定不可能なのかが判断される（ステップS803）。

【0046】

ここで、視差情報利用歩行者判定部106と画像情報利用歩行者判定部107の両方で歩行者と判定不可能であると判断された場合（ステップS803でＮＯ）には、歩行者が見つけることができなかったとして、本ルーチンを終了する。

【0047】

そして、視差情報利用歩行者判定部106と画像情報利用歩行者判定部107のいずれか一方で歩行者と判定不可能である場合（ステップS803でＹＥＳ）には、いずれであるかを判断すべくステップS804に移行する。

【0048】

ステップS804では、画像情報から歩行者と判定不可能であるか否かが判断され、画像情報から歩行者と判定不可能であると判断された場合（ステップS804でＹＥＳ）、すなわち視差情報では歩行者と判定可能であると判断された場合には、歩行者検出の信頼度が中間（ステップS805）と判定する。

【0049】

一方、ステップS804で、画像情報のみから歩行者と判定可能であると判断された場合（ステップS804でＮＯ）、すなわち、視差情報では歩行者との判定が不可能であると判断された場合には、歩行者検出の信頼度が低い（ステップS806）と判定する。

【0050】

画像情報と視差情報の両方で歩行者と判定可能と判断された場合には、歩行者検出の信頼度は最も高く設定される。そして、画像情報と視差情報を比較した場合、視差情報の方が検出精度が高い。したがって、視差情報から歩行者と判定可能であると判断された場合（ステップS804でＹＥＳ）の方が、画像情報から歩行者と判定可能であると判断された場合（ステップS804でＮＯ）よりも、歩行者検出の信頼度は高く設定される。

【0051】

次に、図12を用いて、図1の警報・車両制御種類選択部110について説明する。図12は、信頼度と各種制御との関係を示す図である。

【0052】

例えば、図12に示すように、歩行者検出信頼度算出部108によって信頼度が高いと判断された場合には、速度制御装置111により速度制御として、ブレーキ制御と、アクセル制御と、ステアリング制御が行われる。ブレーキ制御では、例えば自車と歩行者との距離が所定の距離よりも短くなった際に、自動的に制動力を作用させて車両を減速させる自動ブレーキ制御が実施される。アクセル制御では、スロットルバルブを閉じる方向に動作させてエンジンブレーキにより減速させる制御が行われる。ステアリング制御では、歩行者との衝突を防ぐために、自動的に操舵角を調整して車両の進行方向を変更させる制御が行われる。そして、警報制御装置112により警報制御として、車室内のディスプレイ116にブレーキ制御、アクセル制御、ステアリング制御を行う旨が表示され、スピーカ117から警報音やこれらの制御を行うアナウンスが流され、乗員に対する注意が呼びかけられる。

【0053】

また、信頼度が中間と判断された場合には、速度制御として、ブレーキ制御とアクセル制御が行われるが、ステアリング制御までは行われない。警報制御では、ディスプレイ116にブレーキ制御とアクセル制御を行う旨が表示され、スピーカ117から警報音やこれらの制御を行うアナウンスが流される。

【0054】

そして、信頼度が低いと判断された場合には、速度制御として、ブレーキ液の液圧を上昇させておき、いつでもブレーキを作動させることができるようにしておくなどの自動ブレーキ制御の準備と、アクセルペダルを踏み込む操作をしてもスロットルバルブを対応して動作させず、車両の加速が抑制されるアクセル制御が行われる。警報制御では、ディスプレイ116に歩行者の存在が示され、スピーカ117からは前方に歩行者がいる旨のアナウンスが流される。

【0055】

上記したステレオカメラ100及びステレオカメラ100を用いた車両制御システムによれば、視差情報と画像情報に基づいて歩行者検出の信頼度を算出しているので、信頼度の精度が高く、信頼度に応じて車両を制御した場合に、高精度の車両制御を行うことができる。

【0056】

上記した車両制御システムによれば、検出信頼度に応じてドライバへの警報の方法や検出物体への衝突防止のための車両の制御方法を変えるので、検知結果が不確かな段階でも、緊急ブレーキに至る事前の準備を行うことができる。したがって、自車前方への歩行者の飛び出しに対して、より早く緊急ブレーキを作動させることができ、歩行者が物陰から飛び出すといった、検出が難しいシーンにおいても衝突防止が可能となる。

【0057】

＜第２実施形態＞
次に、本発明の第２実施形態について図13を用いて説明する。図13は、第２実施形態における車両制御システムの構成を示す図である。なお、第１実施形態と同様の構成要素には同じ名称を付することでその詳細な説明を省略する。

【0058】

本実施形態において特徴的なことは、本発明の物体認識装置を、第１実施形態におけるステレオカメラ100の代わりにレーダ201と単眼カメラ202とコントローラ200を用いて構成し、車両制御システムに適用したことである。第１実施形態では、ステレオカメラにより距離情報と画像情報を取得していたが、本実施形態では、レーダ201により距離情報を取得し、単眼カメラ202により画像情報を取得している。

【0059】

車両制御システムは、レーダ201と、単眼カメラ202と、コントローラ200と、速度制御装置111と、警報制御装置112を有している。レーダ201は、車両前方の物体の位置や大きさを検出できるものであればよく、レーザーレーダやミリ波レーダ、赤外線レーダを用いることができる。単眼カメラ202は、車両前方を撮像する一つの撮像部を有している。

【0060】

コントローラ200は、距離算出部203と、駐車車両検出部204と、歩行者候補検出部205と、距離情報利用歩行者判定部206と、画像情報利用歩行者判定部207と、歩行者検出信頼度算出部208と、歩行者検出結果出力部209、警報・車両制御種類選択部210を有している。

【0061】

距離算出部203は、レーダ201から検出信号に基づいて自車から対象物までの距離を算出し、距離情報として出力する。駐車車両検出部204は、距離算出部203からの距離情報に基づいて駐車車両を検出する。歩行者候補検出部205は、駐車車両検出部204で検出した駐車車両の位置情報と単眼カメラ202からの画像情報に基づいて、駐車車両に近接した位置に存在する歩行者候補を検出する処理を行う。

【0062】

画像情報利用歩行者判定部207は、歩行者候補検出部205にて検出した歩行者候補に対して、単眼カメラ202で撮像した画像情報を利用して歩行者の特徴を有しているか否かを判定し、歩行者の特徴が多い場合は歩行者であると判定する。
距離情報利用歩行者判定部206は、距離算出部203で求めた距離情報を利用して、自車前方に検出対象となる歩行者が存在するかどうか、換言すると、前方に存在する対象物が歩行者であるか否かを判定する。

【0063】

歩行者検出信頼度算出部208は、画像情報利用歩行者判定部207と距離情報利用歩行者判定部206において対象物が歩行者であるか否かを判定した際の信頼度を算出する。歩行者検出結果出力部209は、画像情報利用歩行者判定部207、距離情報利用歩行者判定部206、歩行者検出信頼度算出部208の結果を統合して、歩行者の有無と、歩行者までの距離・相対速度と、歩行者検出信頼度とを出力する。警報・車両制御種類選択部210については、第１実施形態と同様であるので説明は省略する。

【0064】

本実施形態によれば、第１実施形態と同様の作用効果を得ることができる。また、第１実施形態と比較して、ステレオ視をして距離を算出する必要がないので、演算処理負荷が少なく、比較的低いスペックの装置で実現することができ、製品価格を安価にできる。

【0065】

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【符号の説明】

【0066】

100 ステレオカメラ
101 左撮像部
102 右撮像部
103 視差算出部
104 駐車車両検出部
105 歩行者候補検出部
106 視差情報利用歩行者判定部（距離情報利用対象物判定部）
107 画像情報利用歩行者判定部（画像情報利用対象物判定部）
108 歩行者検出信頼度算出部（対象物検出信頼度算出部）
110 警報・車両制御種類選択部（車両制御種類選択部、警報制御種類選択部）
111 速度制御装置（車両制御装置）
112 警報制御装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】