特許 6722066 周辺監視装置及び周辺監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6722066

(24)【登録日】2020年6月23日

(45)【発行日】2020年7月15日

(54)【発明の名称】周辺監視装置及び周辺監視方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20200706BHJP

   G08G 1/16 20060101ALI20200706BHJP

   B60R 21/00 20060101ALI20200706BHJP

【ＦＩ】

   H04N7/18 J

   G08G1/16 C

   B60R21/00 991

【請求項の数】4

【全頁数】13

(21)【出願番号】特願2016-167182(P2016-167182)

(22)【出願日】2016年8月29日

(65)【公開番号】特開2018-37737(P2018-37737A)

(43)【公開日】2018年3月8日

【審査請求日】2018年10月22日

(73)【特許権者】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100121821

【弁理士】

【氏名又は名称】山田 強

(74)【代理人】

【識別番号】100139480

【弁理士】

【氏名又は名称】日野 京子

(74)【代理人】

【識別番号】100125575

【弁理士】

【氏名又は名称】松田 洋

(74)【代理人】

【識別番号】100175134

【弁理士】

【氏名又は名称】北 裕介

(72)【発明者】

【氏名】前田 優

(72)【発明者】

【氏名】原田 岳人

(72)【発明者】

【氏名】松浦 充保

(72)【発明者】

【氏名】柳川 博彦

【審査官】 庄司 琴美

(56)【参考文献】

【文献】 特開２０１２−１６４２７５（ＪＰ，Ａ）

【文献】 特開２００６−１５１１２５（ＪＰ，Ａ）

【文献】 国際公開第２０１３／０２４５０９（ＷＯ，Ａ１）

【文献】 特開２０１３−１９０４２１（ＪＰ，Ａ）

【文献】 特開２００３−１９４９３８（ＪＰ，Ａ）

【文献】 国際公開第２０１６／１０３４６４（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ ２１／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

探査波を送波し前記探査波の反射波を受波する測距センサ（２２）と、自車周辺を撮影する撮像装置（２１）とを備える車両（５０）に適用される周辺監視装置であって、
自車周辺に存在する物体（５２〜５５）の前記測距センサによる検知情報として、前記物体の距離情報、方位情報及び物体幅情報を取得する情報取得部と、
前記情報取得部で取得した前記距離情報、前記方位情報及び前記物体幅情報に基づいて、前記撮像装置により撮影された画像において画像処理を施す画像処理領域（６１）を設定する領域設定部と、
前記領域設定部で設定した画像処理領域に対して画像処理を施して前記物体を認識する物体認識部と、
を備え、
前記車両は、前記測距センサを複数備え、
前記複数の測距センサのうち、前記探査波を送信し前記反射波を直接波として受波するセンサを第１センサ（２２ａ）とし、前記探査波を送波したセンサとは異なるセンサであって前記反射波を間接波として受波するセンサを第２センサ（２２ｂ）とし、
前記第１センサと前記直接波の反射点である直接反射点とを通る直線と、前記第２センサと前記間接波の反射点である間接反射点とを通る直線との交点を算出する交点算出部と、
前記交点に基づいて前記直接反射点を算出する反射点算出部と、
を備え、
前記情報取得部は、前記直接反射点を通り、かつ当該直接反射点と前記第１センサとを結ぶ直線に所定角度で交差する向きに延びる交差直線を前記物体の反射面情報として取得し、該取得した前記物体の反射面情報に基づいて前記物体幅情報及び前記物体の向き情報を取得し、
前記領域設定部は、前記反射面情報に基づき取得した前記物体幅情報及び前記物体の向き情報を用いて前記画像処理領域を設定し、その際、前記反射面情報に基づき取得された前記物体の向きが、前記車両の車幅方向に対して所定角度で傾いた向きである場合に、前記車両の車幅方向に対し前記所定角度で傾斜する左右方向の境界線（６２ａ）と、上下方向の境界線（６２ｂ）とで囲まれた領域（６１）を前記画像処理領域として設定する、周辺監視装置。

【請求項2】

前記車両の走行状態に関する情報に基づいて、前記測距センサにより検知した物体と前記車両との接触の可能性が低いか否かを判定する接触判定部を備え、
前記領域設定部は、前記接触判定部により前記車両との接触の可能性が低いと判定された物体については、前記撮像装置により撮影された画像において前記画像処理領域を設定しない、請求項１に記載の周辺監視装置。

【請求項3】

前記測距センサは超音波センサである、請求項１又は２に記載の周辺監視装置。

【請求項4】

探査波を送波し前記探査波の反射波を受波する測距センサ（２２）と、自車周辺を撮影する撮像装置（２１）とを備える車両（５０）に適用される周辺監視方法であって、
前記車両の周辺に存在する物体（５２〜５５）の前記測距センサによる検知情報として、前記物体の距離情報、方位情報及び物体幅情報を取得し、
当該取得した前記距離情報、前記方位情報及び前記物体幅情報に基づいて、前記撮像装置により撮影された画像において画像処理を施す画像処理領域（６１）を設定し、
当該設定した画像処理領域に対して画像処理を施して前記物体を認識する、周辺監視方法において、
前記車両は、前記測距センサを複数備え、
前記複数の測距センサのうち、前記探査波を送信し前記反射波を直接波として受波するセンサを第１センサ（２２ａ）とし、前記探査波を送波したセンサとは異なるセンサであって前記反射波を間接波として受波するセンサを第２センサ（２２ｂ）とし、
前記第１センサと前記直接波の反射点である直接反射点とを通る直線と、前記第２センサと前記間接波の反射点である間接反射点とを通る直線との交点を算出し、
前記交点に基づいて前記直接反射点を算出し、
前記直接反射点を通り、かつ当該直接反射点と前記第１センサとを結ぶ直線に所定角度で交差する向きに延びる交差直線を前記物体の反射面情報として取得し、該取得した前記物体の反射面情報に基づいて前記物体幅情報及び前記物体の向き情報を取得し、
前記反射面情報に基づき取得した前記物体幅情報及び前記物体の向き情報を用いて前記画像処理領域を設定し、その際、前記反射面情報に基づき取得された前記物体の向きが、前記車両の車幅方向に対して所定角度で傾いた向きである場合に、前記車両の車幅方向に対し前記所定角度で傾斜する左右方向の境界線（６２ａ）と、上下方向の境界線（６２ｂ）とで囲まれた領域（６１）を前記画像処理領域として設定する、周辺監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、周辺監視装置及び周辺監視方法に関し、詳しくは、測距センサと撮像装置とを備える車両に適用される周辺監視装置及び周辺監視方法に関する。

【背景技術】

【0002】

従来、撮像装置や測距センサを用いて、車両周辺に存在する物体を検知して車載の表示装置に表示したり、物体に接触することを回避するために警告を行ったりする車両周辺監視システムが知られている（例えば、特許文献１参照）。特許文献１には、撮像装置により撮影された撮影画像が視点変換された視点変換画像のうち、超音波ソナーにより検出された障害物の検出距離に基づき定めた地点から、撮像装置の高さ及び障害物の仮の高さに基づき算出した検出完了地点までの範囲を画像処理領域として設定し、その画像処理領域に対して画像処理を施して障害物の高さを取得することが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５−３１８５４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像の一部に画像処理を施して物体認識する際、画像処理領域が大きすぎると画像処理に時間がかかってしまい、実際の車両周囲の環境と、注意喚起のために運転者に提供する情報との間の時間的なずれが大きくなることが懸念される。その一方で、画像処理領域を小さくしすぎると、設定した画像処理領域内に物体が十分に含まれておらず、物体の認識精度が低下することが懸念される。

【0005】

本発明は上記課題に鑑みなされたものであり、車両周辺に存在する物体の情報を精度良く、かつできるだけ速やかに認識することができる周辺監視装置及び周辺監視方法を提供することを一つの目的とする。

【課題を解決するための手段】

【0006】

本発明は、上記課題を解決するために、以下の手段を採用した。

【0007】

本発明は、探査波を送波し前記探査波の反射波を受波する測距センサ（２２）と、自車周辺を撮影する撮像装置（２１）とを備える車両（５０）に適用される周辺監視装置に関する。第１の構成は、自車周辺に存在する物体（５２〜５５）の前記測距センサによる検知情報として、前記物体の距離情報、方位情報及び物体幅情報を取得する情報取得部（３１）と、前記情報取得部で取得した前記距離情報、前記方位情報及び前記物体幅情報に基づいて、前記撮像装置により撮影された画像において画像処理を施す画像処理領域（６１）を設定する領域設定部（３２）と、前記領域設定部で設定した画像処理領域
に対して画像処理を施して前記物体を認識する物体認識部（３３）と、を備える。

【0008】

上記構成では、測距センサによる物体の検知情報に基づいて、撮像装置で撮影された画像における画像処理領域を設定する。このとき、物体の検知情報としては、距離情報だけでなく、物体の方位情報及び物体幅情報を用いて画像処理領域を設定する。これにより、画像上において、物体が存在している位置に対応する領域に、各物体の物体幅に応じた大きさの画像処理領域を設定することができる。この場合、画像処理によって物体認識を行う際に、画像中の物体に対応する部分については画像処理の対象となるようにし、物体が存在していない部分（例えば背景等）に対する無駄な画像処理を減らすことができ、処理負荷を軽減することができる。したがって、上記構成によれば、車両の周囲に存在する物体の情報を精度良く、かつできるだけ速やかに認識することができる。

【図面の簡単な説明】

【0009】

【図1】車両周辺監視システムの概略構成を示す図。

【図2】物体の方位情報を取得する方法を説明する図。

【図3】画像処理領域を設定する処理の具体的態様を示す図。

【図4】物体の反射面情報を取得する方法を説明する図。

【図5】画像処理の処理手順を示すフローチャート。

【図6】物体の向き情報を用いて画像処理領域を設定する処理の具体的態様を示す図。

【図7】物体の向き情報を用いて画像処理領域を設定する処理の具体的態様を示す図。

【発明を実施するための形態】

【0010】

以下、実施形態を図面に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。

【0011】

まず、図１を参照して、本実施形態の車両周辺監視システム２０について説明する。本実施形態の車両周辺監視システム２０は、車両（以下、「自車両５０」という。）に搭載されており、図１に示すように、撮像装置としての車載カメラ２１と、測距センサとしての超音波センサ２２と、周辺監視装置としての監視ＥＣＵ３０とを備えている。

【0012】

車載カメラ２１は、例えばＣＣＤカメラ、ＣＭＯＳイメージセンサ、近赤外線カメラ等の単眼カメラ又はステレオカメラで構成されている。車載カメラ２１は、自車両５０の前部において車幅方向中央の所定高さ（例えば、前部バンパよりも上の位置）に取り付けられており、車両前方へ向けて所定角度範囲で広がる領域を撮影する。

【0013】

超音波センサ２２は、自車両５０の周囲に存在する障害物までの距離を検出するセンサである。本実施形態では、自車両５０の前部及び後部のそれぞれのバンパに、車幅方向に並ぶようにして複数個のセンサが所定の間隔を開けて取り付けられている。例えば前方バンパには、超音波センサ２２として、車幅の中心線５１の近傍に、中心線５１に対して対称位置に取り付けられた２つのセンタセンサ２３，２４と、自車両５０の左コーナ及び右コーナにそれぞれ取り付けられた２つのコーナセンサ２５，２６と、自車両５０の左側方及び右側方にそれぞれ取り付けられた側方センサ２７，２８とが設けられている。

【0014】

図１に、車載カメラ２１の撮影領域Ｅ、及び超音波センサ２２の検知領域Ｆを示す。なお、図１では便宜上、超音波センサ２２についてはセンタセンサ２３，２４の検知領域のみを示している。本実施形態において、各超音波センサ２２の検知距離は、車載カメラ２１の撮影距離よりも短い距離（例えば、数十センチメートルから１〜２メートル程度）となっている。

【0015】

自車両５０には、車載カメラ２１及び超音波センサ２２の他、車速を検出する車速センサ３４、操舵角を検出する操舵角センサ３５等の各種センサが設けられている。

【0016】

監視ＥＣＵ３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ等を備えたコンピュータであり、ＣＰＵが、ＲＯＭにインストールされているプログラムを実行することで、車載カメラ２１及び超音波センサ２２の物体検知結果に基づき、自車両５０の走行を支援するための各機能を実現する。具体的には、監視ＥＣＵ３０は、自車両５０の周辺状況を車載の表示装置３６に表示したり、自車両５０の周辺に存在している物体に自車両５０が接触するおそれがあるときには警報装置３７を作動させ、運転者に対して警告を行ったりする。あるいは、認識した物体検知情報を運転支援装置に出力し、運転支援装置によって物体との接触回避のための制動制御やステアリング制御等の各種制御が実行されるようにしてもよい。

【0017】

表示装置３６への画像表示に際し、監視ＥＣＵ３０は、車載カメラ２１で撮影した撮影画像を、自車両５０の上方に設定した仮想視点から路面上を見た鳥瞰画像に変換して表示装置３６に表示する制御を実施する。表示装置３６は、運転者が視認可能な位置（例えばインストルメントパネル）に設けられている。なお、表示装置３６には、撮影画像が表示されるようにしてもよい。

【0018】

次に、超音波センサ２２による物体検知について説明する。監視ＥＣＵ３０は、超音波センサ２２に制御信号を出力し、所定の送波周期で（例えば、数百ミリ秒間隔で）超音波センサ２２から超音波を送波するよう指令する。また、超音波センサ２２の送波から受波までの時間である反射波時間に基づいて、物体までの距離を算出する。

【0019】

詳しくは、超音波センサ２２は、自らが送波した探査波の反射波を直接波として受波し、その反射波時間を距離情報として取得する。また、探査波を送波したセンサとは異なるセンサが送波した探査波の反射波を間接波として受信し、その反射波時間を距離情報として取得する。監視ＥＣＵ３０は、直接波により取得した距離情報、及び間接波により取得した距離情報により、三角測量の原理を利用して、自車両５０の周辺に存在している物体の方位情報として、自車両５０を基準位置とする物体の相対位置を表す座標（ｘ，ｙ）を算出する。

【0020】

図２を用いて、物体４０の方位情報の算出方法について説明する。図２では、隣接する２つの超音波センサ２２である第１センサ２２ａ及び第２センサ２２ｂと、自車両５０の前方に存在している物体５５とを平面視で表している。図２では、第１センサ２２ａを、探査波を送波して直接波を受波する直接検知センサとし、第２センサ２２ｂを、他のセンサが送波した超音波の反射波（間接波）を受波する間接検知センサとしている。直接検知センサ及び間接検知センサは、三角測量を行う２つのセンサである（図４についても同じ）。

【0021】

図２では、第１センサ２２ａで受波される直接波に基づいて、第１センサ２２ａの位置Ａと物体５５の反射点Ｏとの間の往復距離（２ＡＯ）がＬ１として算出される。また、第２センサ２２ｂで受波される間接波に基づいて、位置Ａと反射点Ｏと第２センサ２２ｂの位置Ｂとの間の距離（ＡＯ＋ＯＢ）がＬ２として算出される。図２に示すように、直接波によれば、位置Ａを中心とし線分ＡＯを半径とする円Ｓ１上に物体５５が存在しているものと把握でき、間接波によれば、ＡＯ＋ＯＢが一定となる楕円Ｓ２上に物体５５が存在しているものと把握できる。この場合、物体５５の反射点Ｏは、円Ｓ１と楕円Ｓ２との交点にあると認識できる。したがって、反射点Ｏの座標（ｘ，ｙ）を求めることで、物体５５の相対位置を算出することができる。

【0022】

次に、車載カメラ２１で撮影した画像を用いて、自車両５０の周辺に存在する物体を認識する処理について詳しく説明する。本実施形態において監視ＥＣＵ３０は、車載カメラ２１で撮影した画像において、超音波センサ２２による物体検知情報と整合する領域の画像に対して画像処理を施すことにより、物体認識処理として、物体に関する詳細な情報（例えば、物体の種別、物体の高さ情報等）を取得することとしている。

【0023】

具体的には、監視ＥＣＵ３０は、図１に示すように、情報取得部３１、領域設定部３２及び物体認識部３３を備える。情報取得部３１は、車載カメラ２１で撮影した撮影画像や、超音波センサ２２で検知した物体の検知情報を取得する。領域設定部３２は、情報取得部３１から超音波センサ２２による物体の検知情報を入力し、その入力した検知情報に基づいて、車載カメラ２１で撮影した撮影画像の一部の領域を、画像処理を施す領域（以下、「画像処理領域」という。）として設定する。例えば、超音波センサ２２の反射波により取得した距離情報に基づいて、撮影画像の一部の領域を画像処理領領域として設定する。物体認識部３３は、撮影画像のうち、領域設定部３２で設定した画像処理領域に対して画像処理を施す。

【0024】

監視ＥＣＵ３０は、こうした画像処理により取得した物体の情報に基づいて、自車両５０の周辺に存在する物体として表示装置３６に表示したり、自車両５０に接触するおそれがある物体と判断される場合に警報装置３７を作動させて警報を発したりする制御を実施する。この場合、物体認識処理では、撮影画像の一部の領域に対して画像処理を施すため、撮影画像の全ての領域に対して画像処理を施す場合に比べて、画像処理の処理負荷を軽減することが可能となる。これにより、今現在、自車両５０が置かれている周囲環境に関する情報を速やかに運転者に提供するようにしている。

【0025】

ここで、画像上の物体の大きさに対して画像処理領域が大きすぎると、画像処理に時間がかかってしまい、自車両５０の今現在の周囲環境と、運転者に提供する情報との間の時間遅れが大きくなることが懸念される。その一方で、画像上の物体の大きさに対して画像処理領域が小さすぎると、設定した画像処理領域内に物体が十分に含まれておらず、物体の認識精度が低下することが懸念される。

【0026】

そこで本実施形態では、領域設定部３２は、超音波センサ２２による物体検知情報として、物体の距離情報、方位情報、及び物体幅情報を用い、これら距離情報、方位情報及び物体幅情報に基づいて画像処理領域を設定することとしている。これにより、撮影画像上の物体に対し、その物体の位置及び物体幅に応じた位置、大きさの画像処理領域を設定するようにしている。なお、監視ＥＣＵ３０が、情報取得部３１、領域設定部３２及び物体認識部３３として機能する。

【0027】

図３は、撮影画像６０に設定される画像処理領域６１（６１ａ〜６１ｃ）の具体的態様を示す図である。図３の（ａ）は、自車両５０の前方に他車両５２及び標識５３が存在している場合を表し、（ｂ）は、自車両５０の前方に他車両５２及び立て看板５４（例えば、工事案内看板、駐車場看板等）が存在している場合を表している。図３では、これらの物体５２〜５４が超音波センサ２２によって検知されている場合を想定している。

【0028】

監視ＥＣＵ３０は、超音波センサ２２により取得した物体の距離情報、方位情報及び物体幅情報に基づいて、撮影画像６０における画像処理領域６１を設定する。本実施形態では、超音波センサ２２によって取得した物体の距離情報及び方位情報から、画像処理領域６１の基準位置（例えば中心点）を設定し、その設定した基準位置を含む領域に、物体幅情報及び距離情報に応じた大きさの画像処理領域６１を設定する。物体幅情報について本実施形態では、超音波センサ２２から送波された探査波が反射して反射波として受波されるときの物体の反射面に関する情報（以下「反射面情報」という。）に基づいて取得する。反射面情報については後述する。

【0029】

画像処理領域６１について、本実施形態では、自車両５０の車幅方向（左右方向）に平行な左右幅及び車幅方向に垂直な上下幅を有する矩形領域として設定される。図３の場合では、他車両５２に対しては、左右幅がＷ１であってかつ上下幅がＨ１の画像処理領域６１ａが設定され、標識５３に対しては、左右幅がＷ２であってかつ上下幅がＨ２の画像処理領域６１ｂが設定されている。立て看板５４に対しては、左右幅がＷ３であってかつ上下幅がＨ３の画像処理領域６１ｃが設定されている。

【0030】

図３の撮影画像６０において、左右幅Ｗ１〜Ｗ３は、超音波センサ２２により取得した各物体の物体幅と検知距離とに応じて設定される。具体的には、物体幅が大きいほど、左右幅が大きい値に設定される。また、検知距離が短いほど、左右幅が大きい値に設定される。上下幅Ｈ１〜Ｈ３は、予め定めた所定値としてもよいし、検知距離に応じて定めてもよい。また、撮影画像のエッジにより認識される物体の高さに応じた値としてもよい。検知距離に基づき上下幅を設定する場合、検知距離が短いほど、上下幅を大きい値に設定するとよい。

【0031】

ここで、物体の反射面情報について説明する。超音波センサ２２の測距結果を用いて物体の反射面情報を取得するには、直接反射点と間接反射点とが同一平面上に存在することを前提として、物体表面の複数の反射点から面成分を検知する面モデルによって行う。

【0032】

図４は、反射点情報を取得する計算モデルを説明する図である。なお、図４では、車両前方に存在する物体５５を第１センサ２２ａ及び第２センサ２２ｂにより検知しており、物体５５の外面に直接反射点Ｐ及び間接反射点Ｑが存在している。

【0033】

第１センサ２２ａで受波される直接波は、物体５５に対して最短距離で、すなわち物体５５に対して垂直に反射する。図４中のＸは、反射波を直接波として受波する第１センサ２２ａと直接反射点Ｐとを通る直線と、反射波を間接波として受波する第２センサ２２ｂと間接反射点Ｑとを通る直線との交点である。また、第１センサ２２ａと交点Ｘとの中点が直接反射点Ｐとなり、直接反射点Ｐを通りかつＡＸに垂直に交わる垂線とＢＸとの交点が間接反射点Ｑとなる。各反射点Ｐ，Ｑは、物体５５の外面上で横並びとなる２点である。これら２つの反射点Ｐ，Ｑの座標を求めることにより、反射面線分であるＰＱを求めることができる。

【0034】

直接波による距離計測結果と間接波による距離計測結果とに基づいて反射面線分ＰＱを求めるには、監視ＥＣＵ３０は、まず、直接波による計測距離Ｌ１と、間接波による計測距離Ｌ２とに基づいて交点Ｘを求め（交点算出部）、その交点Ｘに基づいて直接反射点Ｐを算出する（反射点算出部）。また、直接反射点Ｐを通り、かつ直接反射点Ｐと第１センサ２２ａとを結ぶ直線に直交する向きに延びる反射面線分ＰＱを反射面情報として取得する（情報取得部）。

【0035】

監視ＥＣＵ３０はさらに、超音波センサ２２の組み合わせを変えることで、車幅方向に異なる位置の複数の反射面線分を求める。そして、近接する複数の反射面線分につき、各反射面線分の端点座標及び線分傾きに基づいて同一物体に属するもの判断される場合に、それら複数の反射面線分を結合する。これにより、自車両５０の周囲に存在する物体５５について、反射面情報に基づき、自車両５０の車幅方向の大きさ（物体幅情報）や、車幅方向に対する傾き（向き情報）を把握することができる。

【0036】

なお、上記面モデルは、物体が比較的大きな平面を有し、その平面が反射面となる場合に特に有効である。面モデルによって物体幅を推定できない場合には、例えば撮影画像から抽出したエッジに基づいて物体幅を推定し、その推定した物体幅に応じた大きさの画像処理領域を設定する。

【0037】

次に、本実施形態の画像処理の処理手順について、図５のフローチャートを用いて説明する。この処理は、監視ＥＣＵ３０により所定周期毎に実行される。

【0038】

図５において、ステップＳ１１では、車載カメラ２１で撮影された撮影画像を取得する。続くステップＳ１２では、超音波センサ２２による物体検知情報として、物体の距離情報、方位情報及び物体幅情報を取得する（情報取得部）。このとき、物体幅情報は反射面情報から取得し、反射面情報を取得できない場合には、画像エッジを用いて物体幅を検出する。

【0039】

続くステップＳ１３では、ステップＳ１２で取得した物体の距離情報、方位情報及び物体幅情報に基づいて、撮影画像における画像処理領域６１を設定する（領域設定部）。このとき、物体幅が大きいほど、又は検知距離が短いほど、画像処理領域６１の左右方向の幅を大きく設定する。

【0040】

続くステップＳ１４では、ステップＳ１３で設定した画像処理領域に対して画像処理を実行し、物体認識を行う（物体認識部）。この画像処理では、物体の種別（例えば車両、歩行者、二輪車等）や物体の高さ等といった、物体に関する詳細情報を取得する。例えば、物体の種別については、画像処理領域の部分の画像から抽出した特徴点に対してパターンマッチングを行うことにより、その物体の種別を判別する。また、物体の高さについては、画像処理領域の部分の画像を鳥瞰画像に変換し、その変換した鳥瞰画像から物体の高さを求める。ステップＳ１４の処理を終了すると、本ルーチンを終了する。

【0041】

なお、ステップＳ１３で設定した画像処理領域６１は、自車両５０の移動に合わせてトラッキングしてもよい。あるいは、超音波センサ２２によって新たに得られた物体検知情報に基づいて、画像処理領域６１を都度更新するようにしてもよい。

【0042】

以上詳述した本実施形態によれば、次の優れた効果が得られる。

【0043】

超音波センサ２２による物体５５の検知情報に基づいて、車載カメラ２１で撮影された画像における画像処理領域６１を設定する際、物体５５の検知情報としては距離情報だけでなく、物体５５の方位情報及び物体幅情報を用いて画像処理領域６１を設定する構成とした。こうした構成とすることにより、物体５５が存在している位置に対応する領域に、物体幅に応じた大きさの画像処理領域を設定することができる。これにより、画像処理によって物体認識を行う際に、物体に対応する部分については画像処理を十分に行い、物体が存在していない部分（例えば背景等）に対する無駄な画像処理を減らすことができ、処理負荷を軽減することができる。よって、上記構成によれば、自車両５０の周囲に存在する物体５５を精度良く、かつできるだけ速やかに認識することができる。

【0044】

超音波センサ２２により検知した物体５５の反射面情報に基づいて物体幅情報を取得し、その取得した物体幅情報を用いて画像処理領域６１を設定する構成とした。具体的には、監視ＥＣＵ３０は、第１センサ２２ａと直接反射点Ｐとを通る直線と、第２センサ２２ｂと間接反射点Ｑとを通る直線との交点Ｘを算出し、交点Ｘに基づいて直接反射点Ｐを算出し、さらに、直接反射点Ｐを通り、かつ直接反射点Ｐと第１センサ２２ａとを結ぶ直線に所定角度で交差する向きに延びる交差直線を物体５５の反射面情報として取得した。超音波センサ２２により取得した物体５５の反射面情報を用いることにより、物体５５の向き、大きさに応じた物体幅を精度良く把握することができる。

【0045】

複数の超音波センサ２２を用い、直接波及び間接波を用いて物体の方位情報及び物体幅情報を取得する構成とした。この場合、三角測量の原理を利用することで、物体の方位情報及び反射面情報を的確に把握することができる。また、物体の反射面情報によれば、超音波センサ２２の検知結果から、物体表面の平面成分の向き及び大きさを把握することができる。

【0046】

超音波センサ２２は、草や低木、小石、輪止め等といった、本来注意喚起しなくてもよい物体にも反応しやすく、実際には安全な走行状況であるにも関わらず、運転者に対して注意喚起が行われることがある。また、超音波センサ２２は、比較的車両に近い領域を検知領域としており、超音波センサ２２で検知された物体に対しては、より速やかな物体認識及び運転者への注意喚起が必要とされる。この点、測距センサとして超音波センサ２２を備えるシステムにおいて、物体の距離情報、方位情報及び物体幅情報に基づいて画像処理領域６１を設定する構成としたことから、車両周辺に存在する物体について、処理負荷を軽減しながらも、その物体に関する詳細な情報を、画像を用いて精度良く認識することができる。また、物体の情報を速やかにかつ精度良く認識できることから、その情報に基づき、真に必要と判断される物体について運転者に的確なタイミングで注意喚起する一方、接触の可能性が低い物体に対する不要な注意喚起を行わないようにすることができる。

【0047】

（他の実施形態）
本発明は上記の実施形態に限定されず、例えば以下のように実施されてもよい。

【0048】

・上記実施形態において、物体の反射面情報に基づいて取得した物体の向き情報を用いて画像処理領域６１を設定してもよい。画像処理領域６１を設定する際に、自車両５０の車幅方向に対する物体の向きを考慮することにより、物体が領域内に十分に含まれるようにしつつ、画像処理領域６１の大きさができるだけ小さくなるように微調整することができる。具体的には、自車両５０の車幅方向に対して所定角度θで傾いている物体５５（図６（ｂ）参照）については、自車両５０に正対している物体５５（図６（ａ）参照）に比べて、画像処理領域６１の左右幅を小さく設定する（Ｗ５＜Ｗ４）。このとき、所定角度θが大きいほど、つまり車幅方向に対する傾斜が大きいほど、左右幅を小さく設定する。また、所定角度θに応じて上下幅を可変に設定してもよく、具体的には、所定角度θが大きいほど上下幅を大きく設定してもよい。

【0049】

・物体の向き情報を用いて画像処理領域６１を設定する構成としては、図７に示すように、画像処理領域６１の左右幅の延びる方向を、反射面情報に基づき取得した物体の向きに応じて設定する構成としてもよい。こうした構成とすることにより、物体５５の向きに応じた適切な位置、大きさの画像処理領域６１を設定することができる。具体的には、物体５５の反射面５５ａが自車両５０に正対している場合には、図７（ａ）に示すように、左右の境界線６２ａと上下の境界線６２ｂとが直角に交差する領域を画像処理領域６１として設定する。一方、物体５５の反射面５５ａが自車両５０に正対しておらず、自車両５０の車幅方向に対して傾いている場合には、図７（ｂ）に示すように、所定角度θで傾斜する左右の境界線６２ａと、上下の境界線６２ｂとで囲まれた領域を画像処理領域６１として設定する。

【0050】

・上記実施形態では、複数の超音波センサ２２を用い、直接波により取得した距離情報と、間接波により取得した距離情報とにより、三角測量の原理を利用して物体の方位情報及び物体幅情報を取得する構成とした。これに替えて、単一の超音波センサ２２を用い、自車両５０の移動に伴う反射点の履歴に基づいて、物体の方位情報及び物体幅情報を取得してもよい。つまり、単一の超音波センサ２２による距離情報と、車両情報（例えば車速、操舵角など）とを用いた移動三角測量の原理により、物体の方位情報及び物体幅情報を取得してもよい。

【0051】

・上記実施形態では、超音波センサ２２により取得した物体の反射面情報に基づいて物体幅情報を取得する構成としたが、超音波センサ２２により物体幅情報を取得する方法はこれに限定されない。例えば、超音波センサ２２の検知点列に基づいて、物体５５の物体幅情報を取得する構成としてもよい。

【0052】

・上記実施形態では、車載カメラ２１で撮影した撮影画像に画像処理領域６１を設定したが、撮影画像を俯瞰視点に変換した鳥瞰画像に画像処理領域を設定する場合に本発明の構成を適用してもよい。

【0053】

・超音波センサ２２により検知された物体につき、自車両５０の走行状態に関する情報に基づいて、自車両５０との接触の可能性が低いか否かを判定する。そして、自車両５０との接触の可能性が低いと判定される物体については、車載カメラ２１により撮影された画像において画像処理領域６１を設定せず、そうでない物体については画像処理領域６１を設定する構成としてもよい。こうした構成とすることにより、自車両５０との接触の可能性がある物体に対する注意喚起を適切に行いつつ、画像処理の処理負荷をできるだけ軽減することができる。自車両５０の走行状態に関する情報としては、例えば車速、操舵角等が含まれる。この場合、監視ＥＣＵ３０が接触判定部として機能する。例えば、図３において、自車両５０の運転者が右方向に操舵を行っている場合には、超音波センサ２２で検知されている物体のうち、標識５３及び立て看板５４に対しては、画像処理領域６１を設定せず、他車両５２に対しては画像処理領域６１を設定する。

【0054】

・自車両５０の走行状態に関する情報に基づいて、車載カメラ２１により撮影された画像において自車両５０と物体とが接触する可能性があると認識される領域についてのみ、画像処理領域６１を設定する構成としてもよい。

【0055】

・超音波センサ２２によって複数の物体の検知情報が取得されており、それら複数の物体が画像上の所定の近接範囲内に存在している場合には、その近接範囲内に存在している複数の物体が含まれるように１つの画像処理領域を設定してもよい。超音波センサ２２によっては、離間する複数の物体として認識されていても、画像としては重なって１つに見えていることもある。こうした場合を考慮して上記構成とすることにより、重なっている画像物標をまとめて画像処理することができ、処理負荷を軽減することができる。

【0056】

・超音波センサ２２により取得した物体検知情報のうち、反射率が時間ごとに大きく変動する物体については、その物体について一旦設定した画像処理領域を所定時間保持する構成としてもよい。こうした構成とすることにより、物体検知の結果がハンチングする場合にも画像処理を行う領域として加えることで、物体の検知漏れを抑制することができる。

【0057】

・上記実施形態では、車載カメラ２１が自車両５０の前方に搭載されている場合について説明したが、車載カメラ２１の搭載位置及び数は特に限定されず、自車両５０の後方や側方に搭載されている車載カメラ２１に適用してもよい。

【0058】

・上記実施形態では、測距センサとして超音波センサ２２を備える構成としたが、例えばミリ波レーダやレーザレーダ等を備える構成に適用してもよい。

【0059】

・上記の各構成要素は概念的なものであり、上記実施形態に限定されない。例えば、一つの構成要素が有する機能を複数の構成要素に分散して実現したり、複数の構成要素が有する機能を一つの構成要素で実現したりしてもよい。

【符号の説明】

【0060】

２０…車両周辺監視システム、２１…車載カメラ（撮像装置）、２２〜２８…超音波センサ（測距センサ）、３０…監視ＥＣＵ（周辺監視装置）、３１…情報取得部、３２…領域設定部、３３…物体認識部、５０…自車両。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】