特許 6362945 車載画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6362945

(24)【登録日】2018年7月6日

(45)【発行日】2018年7月25日

(54)【発明の名称】車載画像処理装置

(51)【国際特許分類】

   B60R 1/00 20060101AFI20180712BHJP

   B60R 21/00 20060101ALI20180712BHJP

   H04N 5/225 20060101ALI20180712BHJP

   H04N 5/232 20060101ALI20180712BHJP

【ＦＩ】

   B60R1/00 A

   B60R21/00 993

   H04N5/225

   H04N5/232

【請求項の数】7

【全頁数】13

(21)【出願番号】特願2014-148860(P2014-148860)

(22)【出願日】2014年7月22日

(65)【公開番号】特開2016-22845(P2016-22845A)

(43)【公開日】2016年2月8日

【審査請求日】2017年4月26日

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】100091096

【弁理士】

【氏名又は名称】平木 祐輔

(74)【代理人】

【識別番号】100105463

【弁理士】

【氏名又は名称】関谷 三男

(74)【代理人】

【識別番号】100102576

【弁理士】

【氏名又は名称】渡辺 敏章

(72)【発明者】

【氏名】宇田川 玲

(72)【発明者】

【氏名】緒方 健人

(72)【発明者】

【氏名】清原 將裕

(72)【発明者】

【氏名】志磨 健

(72)【発明者】

【氏名】村松 彰二

(72)【発明者】

【氏名】鈴木 聡史

【審査官】 岡▲さき▼ 潤

(56)【参考文献】

【文献】 特開２０００−３５５２６０（ＪＰ，Ａ）

【文献】 特開２０１２−１６６７０５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｒ １／００

Ｂ６０Ｒ ２１／００

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

撮像部で撮像した画像を画像処理することにより対象物を検出する車載画像処理装置であって、
所定のタイミングで撮像された今回画像から対象物を検出する対象物検出部と、
該対象物が前記今回画像よりも前のタイミングで撮像された前回画像では検出されておらず、前記今回画像で初めて検出された新規対象物であるか否かを判定する新規対象物判定部と、
前記前回画像の撮像時における前記新規対象物の位置を推定し、該推定位置が前記前回画像内に位置している場合に、前記前回画像における前記新規対象物を覆う領域を遮蔽領域として判定する遮蔽領域判定部と、
該遮蔽領域判定部により前記遮蔽領域が設定されている場合に、前記撮像部の光学系に付着物が付着していると判定する付着物判定部と、を有することを特徴とする車載画像処理装置。

【請求項2】

画像の中から前記対象物検出部によって対象物を検出可能な処理領域を選択する処理領域選択部と、
該処理領域選択部によって選択された処理領域内で新規対象物の判定を行う新規対象物判定領域を決定する新規対象物判定領域決定部と、を有することを特徴とする請求項１に記載の車載画像処理装置。

【請求項3】

前記処理領域選択部は、露光値及び画像内輝度分布に基づいて前記処理領域を選択することを特徴とする請求項２に記載の車載画像処理装置。

【請求項4】

前記遮蔽領域判定部は、前記今回画像から検出された対象物が、前記前回画像でも検出されている検出済対象物である場合に、前記前回画像内における前記検出済対象物の検出位置が前記遮蔽領域内に位置しているか否かを判定し、該遮蔽領域内に位置していると判定したときは、前記遮蔽領域の設定を解除することを特徴とする請求項１から請求項３のいずれか一項に記載の車載画像処理装置。

【請求項5】

前記撮像部の光学系に付着物が付着していると判定した場合に、画像処理の結果に基づく警報機能を停止させ、前記撮像部の光学系に付着物が付着していないと判定した場合に、前記今回画像から検出された対象物の位置に基づいて、警報を出すかどうかを判定する警報判定部を有することを特徴とする請求項１から請求項４のいずれか一項に記載の車載画像処理装置。

【請求項6】

前記撮像部の光学系に付着物が付着していると判定した場合に、画像処理の結果に基づく制御機能を停止させ、前記撮像部の光学系に付着物が付着していないと判定した場合に、前記今回画像から検出された対象物の位置に基づいて、制御量を算出する制御部を有することを特徴とする請求項１から請求項５のいずれか一項に記載の車載画像処理装置。

【請求項7】

前記対象物が路面標示であることを特徴とする請求項１から請求項６のいずれか一項に記載の車載画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば路面に描かれた白線等の対象物を画像処理により検出する車載画像処理装置に関するものである。

【背景技術】

【0002】

近年、車両に搭載されたカメラで車両の周辺を撮像し、撮像画像の画像処理により路面に引かれた白線を検出して、検出された白線（または、検出された白線から構成される駐車枠、白線を含む路面標示）と車両との位置関係から、警報や制御を行う装置が研究開発されている。

【0003】

車室外にカメラを搭載するシステムでは、カメラが風雨に晒された状態で使用されるため、カメラのレンズに水滴や汚れ等の異物が付着する可能性が高い。異物がレンズに付着すると、画像に移り込んでしまい、本来ならば検知できるタイミングで白線を検知できず、警報や制御が遅れる恐れがある。そして、従来からレンズが汚れたことを検知して報知する技術が提案されている（例えば特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２−１６６７０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載された車載カメラ用異物付着判定装置は、ある時刻で装置が検知した白線の位置と車両情報を用いて計算した次の時刻での白線の位置と、実際に次の時刻で検知した白線の位置を比較して、その比較結果からレンズへの異物の付着を判定していた。

【0006】

しかしながら、特許文献１に開示された発明は異なる時刻で撮像して得た白線情報を用いるため、処理周期と車両運動によっては適切なタイミングで警報と制御を行えない課題がある。そして、上記した課題は、白線の検知のみに限られず、歩行者や自動車などの対象物の検知に対しても同様に存在するものである。

【0007】

本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、撮像部への異物の付着を迅速に判定することができる車載画像処理装置を提供することである。

【課題を解決するための手段】

【0008】

上記課題を解決する本発明の車載画像処理装置は、撮像部で撮像した画像を画像処理することにより対象物を検出する車載画像処理装置であって、所定のタイミングで撮像された今回画像から対象物を検出する対象物検出部と、該対象物が前記今回画像よりも前のタイミングで撮像された前回画像では検出されておらず、前記今回画像で初めて検出された新規対象物であるか否かを判定する新規対象物判定部と、前記前回画像の撮像時における前記新規対象物の位置を推定し、該推定位置が前記前回画像内に位置している場合に、前記撮像部の光学系に付着物が付着していると判定する付着物判定部と、を有することを特徴としている。

【発明の効果】

【0009】

本発明によれば、撮像部の光学系に付着物が付着しているか否かを迅速に判定することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態における車載画像処理装置の全体構成を説明するシステム図。

【図2】第１実施形態における車載画像処理の内容を説明するフローチャート。

【図3】車両とその周囲環境を表す一例を示す模式図。

【図4】レンズに異物が付着していない場合の画像を示す模式図。

【図5】レンズに異物が付着している場合の画像を示す模式図。

【図6】レンズに付着していた異物が消失した場合の画像を示す模式図。

【図7】第２実施形態における車載画像処理装置の全体構成を説明するシステム図。

【図8】第２実施形態における車載画像処理の内容を説明するフローチャート。

【図9】処理領域選択画像の一例を示す図。

【図10】車両とその周囲環境を表す他の一例を示す模式図。

【図11】新規対象物の判定範囲が車両の移動に応じて変更される例を示す図。

【図12】対象物の処理領域内に動体が存在する状態の一例を示す図。

【図13】図１２に示す車両のカメラで撮像した画像を模式的に示す図。

【発明を実施するための形態】

【0011】

＜第１実施形態＞
次に、本発明の第１実施形態について以下に図面を用いて説明する。
車載画像処理装置は、車両に搭載されており、撮像部により車両から外部を撮像した画像を画像処理することにより対象物を検出するものであり、より詳しくは、撮像装置で異なる時間で撮像した複数の画像から撮像装置のレンズへの付着物を検出するものである。検出結果は、例えば車両の走行制御や運転者への警報等に用いられる。車載画像処理装置は、撮像部の光学系に付着物があるかどうかを判定して、その判定結果をもとに警報あるいは制御を行う。

【0012】

図１は、本実施形態における車載画像処理装置の全体構成を説明するシステム図である。
車載画像処理装置は、図１に示すように、撮像部１０１と、センサ部１０２と、演算部１０３と、警報部１０４と、制御部１０５と、記憶部１０６を備えている。

【0013】

撮像部１０１は、光学系（レンズ）や撮像素子などを有するカメラであり、不図示の光学系が光軸方向の光を集め、撮像素子が光の強度に合わせてデジタル信号に変換することにより、画像を出力する。撮像部１０１は、例えば車両後部に取り付けられて、車両の後方下部を撮像するバックカメラとして用いられる。センサ部１０２は、車両の変位を検出するためのセンサとして、車速センサや操舵角センサ、ジャイロなどを有しており、操舵角や、速度及び角速度を計測する。

【0014】

演算部１０３は、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、中央演算処理装置）及びメモリなどのハードウエアと、ハードウエアにより実行されるソフトウエアプログラムとから構成される。演算部１０３は、その内部機能として、画像取得部１１１、センサ出力取得部１１５、対象物検出部１１３、対象物トラッキング部１１４、新規対象物判定部１１７、遮蔽領域判定部１１８、付着物判定部１１９、警報判定部１２０、制御判定部１２１と、を備えている。

【0015】

画像取得部１１１は、撮像部１０１から画像を取得する。センサ出力取得部１１５は、センサ部１０２から出力される車両の操舵角や速度及び角速度の車両情報を取得する。対象物検出部１１３は、撮像部１０１で撮像された画像に対してエッジ抽出や二値化などの画像処理を行い、対象物を検出して、その画像上の位置を算出する。例えば図３に示すように、車両３０１を駐車枠３０２に入れることを想定して、対象物として駐車枠３０２の左右の白線３０３、３０４を検出する。対象物検出部１１３は、撮像部１０１で所定の時間間隔で撮像された各画像に対してそれぞれ対象物を検出する処理を行う。

【0016】

対象物トラッキング部１１４は、センサ出力取得部１１５からの車両情報をもとに、車両の方位及び位置の変位を算出する。これにより、対象物に対する車両の相対的な変位を算出することができる。そして、所定のタイミングで撮像された今回画像から検出した対象物が、今回画像よりも前のタイミングで撮像された前回画像でも検出されているか否かを変位に基づいて判定する。具体的には、今回画像における対象物の位置、車両の変位、撮像部１０１のカメラパラメータに基づいて、前回画像の撮像時における対象物の位置を推定し、推定位置として算出する。ここで、カメラパラメータは、焦点距離、画素ピッチ、レンズ歪、車両におけるカメラの取付位置及び姿勢である。

【0017】

そして、前回画像における対象物の推定位置と前回画像における対象物の実測位置との差が所定の閾値以内である場合に、前回画像における対象物が今回画像における対象物に対応しており、今回画像における対象物が前回画像でも検出されていたと判定する。そして、今回画像における対象物を前回画像でも検出されている検出済対象物であると判定する。

【0018】

新規対象物判定部１１７は、対象物トラッキング部１１４により前回画像において今回画像の白線に対応するものがないと判定された場合、すなわち、今回画像で検出された対象物が前回画像では検出されていないと判定された場合に、対象物が新規対象物であると判定する。

【0019】

遮蔽領域判定部１１８は、新規対象物判定部１１７により今回画像に新規対象物があると判定された場合、新規対象物の今回画像における位置、車両の変位、撮像部１０１のカメラパラメータをもとに、前回画像の撮像時における新規対象物の位置を推定し、その推定位置が前回画像内に位置しているか否かを判定する。そして、推定位置が前回画像内に位置している場合、前回画像における新規対象物を少なくとも覆う領域を遮蔽領域として設定する。この遮蔽領域は、記憶部１０６の遮蔽領域記憶部１３１に記憶される。付着物判定部１１９は、遮蔽領域判定部１１８により遮蔽領域が設定されている場合に、撮像部１０１の光学系に付着物が付着していると判定する。

【0020】

また、遮蔽領域判定部１１８は、対象物トラッキング部１１４により今回画像から検出された対象物が前回画像でも検出されている検出済対象物であると判定された場合に、前回画像内における検出済対象物の検出位置が遮蔽領域内に位置しているか否かを判定する。そして、遮蔽領域内に位置していると判定したときは、撮像部の光学系から付着物が消失したと判定して、遮蔽領域の設定を解除する。

【0021】

警報判定部１２０は、付着物判定部１１９により、撮像部１０１の光学系に付着物が付着していると判定された場合に、警報部１０４に対して、画像処理の結果に基づく警報機能を停止させる。一方、付着物判定部１１９により、撮像部１０１の光学系に付着物が付着していないと判定された場合に、対象物検出部１１３により検出した対象物の位置に基づいて、警報を出すかどうかを判定する警報判定処理を行う。警報部１０４は、警報判定部１２０で警報を停止すると判定された場合、「警報を停止する」という文字あるいは音声を、車内のディスプレイやスピーカから出力させる。そして、警報判定部１２０で警報を出すと判定された場合、運転手に注意を喚起するための文字あるいは音声を、車内のディスプレイやスピーカから出力させる。

【0022】

制御判定部１２１は、付着物判定部１１９により、撮像部１０１の光学系に付着物が付着していると判定された場合に、制御部１０５に対して、画像処理の結果に基づく制御機能を停止すると判定する。一方、付着物判定部１１９により、撮像部１０１の光学系に付着物が付着していないと判定された場合に、対象物検出部１１３により検出した対象物の位置に基づいて、制御量を算出する処理を行う。制御部１０５は、制御判定部１２１で制御を停止すると判定された場合、制御を中止する。そして、制御すると判定された場合、制御量に基づいて車両制御を行う。

【0023】

次に、上記構成を有する車載用画像認識装置の動作手順について図２を用いて説明する。
まず、撮像部１０１により画像が出力され（Ｓ２０１）、センサ部１０２により車両の操舵角や速度及び角速度が計測される（Ｓ２０２）。そして、撮像部１０１から出力された画像が画像取得部１１１で取得される（Ｓ２０３）、センサ部１０２で計測された速度及び角速度がセンサ出力取得部１１５で取得される（Ｓ２０４）。

【0024】

次に、対象物検出部１１３により、今回画像から対象物を検出する処理が行われる（Ｓ２０５）。例えば白線を対象物として検出する場合には、画像取得部１１１で取得した画像でエッジ抽出を行い、立ち上がりエッジ及び立下りエッジで囲まれた領域を抽出する。また、画像で二値化処理を行い、輝度が閾値以上である領域を抽出する。そして、上記の２つの領域が重なる領域を白線として抽出する。抽出された画像上の白線の領域は、対象物トラッキング部１１４に送られる。

【0025】

そして、対象物トラッキング部１１４により、対象物のトラッキングが行われる（ステップＳ２０６）。対象物トラッキング部１１４は、対象物検出部１１３から今回画像における対象物の領域の情報を受け取る。そして、センサ出力取得部１１５から車両の操舵角や速度及び角速度等の車両情報を受け取り、これらの車両情報をもとに、前回画像の撮像時から今回画像の撮像時までの間における車両の方位変位及び位置変位を算出する。

【0026】

そして、今回画像の撮像時における対象物の位置と、今回画像の撮像時から前回画像の撮像時までの間における車両の方位変位及び位置変位と、撮像部のカメラパラメータをもとに、今回画像の撮像時から前回画像の撮像時までの間における対象物の位置の変位を算出するとともに、前回画像の撮像時における対象物の位置を推定する。
そして、前回画像の撮像時における対象物の推定位置と、前回画像の撮像時における対象物の実際の検出位置である実測値との差が所定の閾値以内であるか否かを判定する。そして、所定の閾値以内である場合に、前回画像の対象物は今回画像の対象物に対応していると判定し、閾値よりも大きい場合に、前回画像の対象物は今回画像の対象物に対応していないと判定する。

【0027】

例えば、図４に示すように、前回画像４０１と今回画像４１１に写っている白線４０３、４０４と白線４１３、４１４は対応している、すなわち、前回画像４０１で撮像されている白線４０３、４０４と今回画像４１１で撮像されている白線４１３、４１４は、同じ白線であると判定される。前回画像と今回画像で認識された白線の対応関係は、新規対象物判定部１１７に送られる。

【0028】

そして、新規対象物判定部１１７により、新規対象物の判定が行われる（ステップＳ２０７）。新規対象物判定部１１７は、前回画像と今回画像の画像処理で認識された対象物の対応関係を対象物トラッキング部１１４から受け取る。そして、対象物の対応関係の情報をもとに、前回画像には対応する対象物がなく、今回画像の画像処理で新たに認識された対象物を新規対象物であると判定する。

【0029】

例えば、図５に示すように、今回画像５１１に写っている白線５１３は、前回の処理における画像５０１に写っていないため、新規の白線であると判定される。新規の白線がある場合、遮蔽領域判定部１１８及び付着物判定部１１９に対して新規の白線の位置を示す情報を送る。なお、図５の前回画像５０１では、光学系に付着した水滴５０６によって白線５０３がかくれている状態が示されている。

【0030】

そして、遮蔽領域判定部１１８により、遮蔽領域の判定が行われる（ステップＳ２０８）。遮蔽領域判定部１１８は、新規対象物がある場合、新規対象物判定部１１７から新規対象物の位置を受け取り、そして、対象物トラッキング部１１４から前回画像と今回画像との間における車両の方位変位及び位置変位を受け取る。そして、それらの情報及びカメラパラメータをもとに、前回画像の撮像時における新規対象物の位置を推定し、推定位置として算出する。

【0031】

前回画像の撮像時における新規対象物の推定位置が前回画像上にある場合、推定位置における新規対象物を少なくとも覆う領域を遮蔽領域５１５として設定し、その設定した遮蔽領域の位置を示す情報を付着物判定部１１９と遮蔽領域記憶部１３１に送る。

【0032】

例えば、図５に示すように、前回画像の撮像時における白線５０３（新規対象物）の推定位置を完全に覆う領域が遮蔽領域５０５として設定される。新規の白線がない場合には、遮蔽領域を設定する処理は実施しない。

【0033】

そして、付着物判定部１１９により、付着物の判定が行われる（ステップＳ２０９）。付着物判定部１１９は、遮蔽領域判定部１１８から遮蔽領域の位置の情報を送られた場合、その情報を受け取り、遮蔽領域の位置に対応する光学系の対応位置に付着物が付着していると判定する。遮蔽領域５０５の情報は、警報判定部１２０及び制御判定部１２１に送る。

【0034】

また、付着物の判定では、対象物トラッキング部１１４から対応関係がある前回画像と今回画像における白線の位置を受け取り、対応関係がある前回画像と今回画像における対象物の位置から所定の距離以内に、過去に判定した遮蔽領域がある場合、その遮蔽領域から付着物が消失したと判定する。例えば、図６に示すように、今回画像６１１から検出された白線６１３が、前回画像６０１でも検出されている検出済の白線６０３（検出済対象物）である場合には、前回画像６０１内における検出済の白線６０３の検出位置が遮蔽領域６０５内に位置しているか否かを判定し、遮蔽領域６０５内に位置していると判定したときは、その遮蔽領域６０５には付着物がなくなったと判定し、今回画像６１１における遮蔽領域６１５の設定を解除する。

【0035】

警報の判定（ステップＳ２１０）では、警報判定部１２０は、付着物判定部１１９から付着物の情報を受け取る。例えば、画像上に付着物が付着しているとの情報を受け取った場合には、警報機能を停止すると判定して、警報機能を停止する信号を警報部１０４に送る。一方、画像上に付着物が付着していないとの情報を受け取った場合には、対象物検出部１１３からの白線の位置と所定の位置との距離をもとに、警報を出すかどうかを判定して、警報の出力結果を警報部１０４に送る。

【0036】

制御の判定（ステップＳ２１１）では、制御判定部１２１は、付着物判定部１１９から付着物の領域の情報を受け取る。例えば、画像上に付着物が付着しているとの情報を受け取った場合には、制御機能を停止すると判定して、警報機能を停止する信号を制御部１０５に送る。一方、画像上に付着物が付着していないとの情報を受け取った場合には、対象物検出部１１３からの白線の位置をもとに、制御部１０５の制御量を算出して、制御量を制御部１０５に送る。

【0037】

警報部１０４は、警報判定部１２０から警報機能を停止する信号を受け取った場合、「警報を停止する」という文字あるいは音声を出力し、警報判定部１２０から警報を出すという信号を受け取った場合、運転手に注意を喚起するための文字あるいは音声を出力する（ステップＳ２１２）。

【0038】

制御部１０５は、制御判定部１２１から制御量を受け取り、制御量をもとに車両制御を行い、制御判定部１２１から制御を停止するという信号を受け取った場合に、車両制御を中止する（ステップ２１３）。

【0039】

本実施形態の車載用画像認識装置によれば、今回画像から検出した対象物が前回画像では検出されていない新規対象物である場合に、前回画像の撮像時における新規対象物の位置を推定し、その推定した新規対象物の推定位置が前回画像内に位置しているときは、撮像部の光学系に付着物が付着していると判定するので、撮像部の光学系に水滴や空気中の浮遊物などの付着物が付着した時点で、付着ありと判定することができる。したがって、付着物の付着を即座に判定でき、警報及び制御の誤動作及び未動作を防ぐことができる。

【0040】

例えば撮像部１０１についた付着物が水滴である場合、像が歪み、前回画像における白線の位置の推定位置と実測値との差が大きくなり、対象物トラッキング部１１４が、前回画像と今回画像との間の白線の位置に対応関係がないと判定することにより、新規の白線と認識して、付着物があると判定できる。

【0041】

本実施形態の車載用画像認識装置によれば、今回画像から検出された対象物が、前回画像でも検出されている検出済対象物である場合に、前回画像内における検出済対象物の検出位置が遮蔽領域内に位置しているか否かを判定し、遮蔽領域内に位置していると判定したときは、遮蔽領域の設定を解除するので、撮像部の光学系から水滴や空気中の浮遊物などの付着物が消失したことを判定できる。これにより、警報及び制御ができない中止状態から即座に動作させることができる。

【0042】

なお、上述の実施例では、撮像部１０１が単眼カメラである場合を例に説明したが、撮像部１０１の数は一つに限定されるものではなく、複数であってもよい。例えば、撮像部１０１を車両に複数設置して、画像取得部１１１、対象物検出部１１３、対象物トラッキング部１１４、新規対象物判定部１１７、遮蔽領域判定部１１８が複数の画像についてステップ２０３〜２０８を実施することにより、より広い領域の情報をもとに警報及び制御を実施することができる。

【0043】

＜第２実施形態＞
次に、本発明の第２実施形態について図７から図１３を用いて説明する。
なお、第１実施形態と同様の構成要素については同様の符号を付することでその詳細な説明を省略する。

【0044】

本実施形態において特徴的なことは、画像取得部１１１により取得した画像の中から、対象物検出部１１３によって対象物を検出可能な処理領域を選択する処理領域選択部１１２と、処理領域選択部１１２によって選択された処理領域内で新規対象物の判定を行う新規対象物判定領域を決定する新規対象物判定領域決定部１１６を設けたことである。

【0045】

撮像部１０１は、認識する対象物の種類によって異なる露光枠を用いて基準となる光強度を決定する。例えば、路面上の物体を認識対象物とする場合、路面部分に矩形の露光枠を設けて、その露光枠内の光の平均強度（明るさの平均値）を求め、その光の平均強度を基準値としてデジタル信号に変換する。センサ部１０２は、撮像部１０１で決定された光強度を露光値として取得し、センサ出力取得部１１５に出力することができる。

【0046】

実際の制御では、図８のフローチャートに示すように、ステップＳ２０４でセンサ出力を取得した後、ステップＳ２２４で、対象物の処理領域を選択する処理が行われる。処理領域選択部１１２は、露光値及び画像内輝度の分布から、対象物を認識可能な処理領域を選択する。より詳しくは、センサ出力取得部１１５が取得したカメラ情報（露光値及び画像内輝度の分布を含む）と、認識する対象物の種類と、カメラからの距離とに基づいて、対象物検出部１１３が対象物を検出可能な処理領域を選択する。

【0047】

処理領域選択部１１２がないと、例えば前回処理において画像の露光値が極端に低く、対象物検出部１１３が対象物を検出できず、今回処理において画像の露光値が通常の範囲となって対象物を検出できた場合に、新規対象物判定部１１７によって付着物があると誤って判断されるおそれがある。

【0048】

これに対して、本実施形態では処理領域選択部１１２を設けて処理領域の選択を行っているので、例えば露光値等の問題によって前回処理では対象物を検出できなかったが、今回処理で対象物が検出できた場合でも、異物が付着したとの誤判断を防ぐことができる。

【0049】

図９は、処理領域選択部により処理領域を選択する方法を説明する図である。
例えば、図９（ａ）に示す前回画像９０１のように、画像全体が暗い場合、対象物９０２を検出可能な処理領域はなく、処理領域は一つも選択されていない。そして、図９（ｂ）に示す今回画像９１１のように、画像全体が明るくなった場合でも、処理領域が一つも選択されていないので、対象物検出部１１３は、対象物９１２を新規対象物として検出しない。したがって、新規対象物判定部１１７の誤判断を防ぐことができる。

【0050】

新規対象物判定領域決定部１１６は、処理領域選択部１１２によって選択された処理領域と、センサ出力取得部１１５によって取得された車両情報に基づいて新規対象物判定領域を決定する。

【0051】

新規対象物判定領域決定部１１６は、処理領域選択部１１２が選択した処理領域のうち、所定の領域を新規対象物判定領域として決定し、その決定した新規対象物判定領域内で新規対象物判定部１１７により新規対象物の判定が行われる。新規対象物判定領域の決定は、自車の移動、自車周囲の人などの動体の移動によって決定される。

【0052】

実際の制御では、図８のフローチャートに示すように、ステップＳ２０５で対象物を検出し、ステップＳ２０６で対象物のトラッキングを行い、ステップＳ２２６で、新規対象物の判定領域を決定する処理がなされる。

【0053】

図１０は、車両とその周囲環境を表す他の一例を示す模式図、図１１は、新規対象物の判定範囲が車両の移動に応じて変更される例を示す図である。

【0054】

図１０に示すように車両３０１が後退しながら駐車枠３０２に進入しようとしている場合、Ｔ１秒の位置では、図１１（ａ）に示すように、駐車枠３０２の白線３０３、３０４に対して、車両３０１が斜めに配置されている。そして、車両３０１の旋回によりその後のＴ２秒の位置では、図１１（ｂ）に示すように、駐車枠３０２の白線３０３、３０４に対して車両３０１は略平行に配置される。

【0055】

画像１００１は、車両３０１の旋回に応じて画像１０１１に回転するので、例えば新規対象物判定領域１００２の位置が車両３０１に対して固定されていると、図１０（ｂ）に示すように画像１０１１内に障害物１０２１が入ってきた場合に、障害物１０２１を新規対象物として誤って認識するおそれがある。

【0056】

これに対して、新規対象物判定領域決定部１１６は、新規対象物判定領域１０１２を車両３０１に対して固定せず、車両３０１の動きに応じて変化させている。本実施形態では、最初に駐車枠３０２を認識した時点で新規対象物判定領域１００２を決定し、その後の車両３０１の移動にかかわらず、図１１（ｂ）に示すように、新規対象物判定領域１０１２として路面に対する位置を固定している。したがって、車両３０１の移動によって、処理領域１０１１内に侵入してきた障害物１０２１を、新規対象物であると誤って判定するのを抑制できる。

【0057】

図１２は、車両３０１が進入する駐車枠３０２内に人などの動体が存在する状態を示す図、図１３は、図１２に示す車両のカメラで撮像した画像を模式的に示す図である。

【0058】

図１２に示すように、車両３０１の進路上に動体１２０１が存在する場合、図１３に示すように、動体１２０１の位置は、新規対象物判定領域１０１２から除外される。新規対象物判定部１１７は、新規対象物判定領域１０１２から動体１２０１を除外した領域について新規対象物の判定処理を行う。

【0059】

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【符号の説明】

【0060】

１０１ 撮像部
１０２ センサ部
１０３ 演算部
１０４ 警報部
１０５ 制御部
１０６ 記憶部
１１１ 画像取得部
１１２ 処理領域選択部
１１３ 対象物検出部
１１４ 対象物トラッキング部
１１５ センサ出力取得部
１１６ 新規対象物判定領域決定部
１１７ 新規対象物判定部
１１８ 遮蔽領域判定部
１１９ 付着物判定部
１２０ 警報判定部
１２１ 制御判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】