特許 5984714 立体物検出装置、運転支援装置および立体物検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5984714

(24)【登録日】2016年8月12日

(45)【発行日】2016年9月6日

(54)【発明の名称】立体物検出装置、運転支援装置および立体物検出方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20160823BHJP

   G06T 1/00 20060101ALI20160823BHJP

【ＦＩ】

   G08G1/16 C

   G06T1/00 330Z

   G06T1/00 315

【請求項の数】15

【全頁数】14

(21)【出願番号】特願2013-36734(P2013-36734)

(22)【出願日】2013年2月27日

(65)【公開番号】特開2014-164637(P2014-164637A)

(43)【公開日】2014年9月8日

【審査請求日】2015年9月11日

(73)【特許権者】

【識別番号】000101732

【氏名又は名称】アルパイン株式会社

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(72)【発明者】

【氏名】三谷 浩輔

(72)【発明者】

【氏名】棟方 康介

(72)【発明者】

【氏名】大場 裕樹

【審査官】 高田 基史

(56)【参考文献】

【文献】 特開２００９−１９３１３５（ＪＰ，Ａ）

【文献】 特開平１０−２２２６７９（ＪＰ，Ａ）

【文献】 特開２０１１−１７０５６８（ＪＰ，Ａ）

【文献】 特開２００８−０４８０９４（ＪＰ，Ａ）

【文献】 特開２０１２−２５６１５９（ＪＰ，Ａ）

【文献】 特開２００８−１８９１３９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００−９９／００

Ｂ６０Ｒ １／００− １／０４

１／０８− １／１２

Ｇ０６Ｔ １／００− １／４０

３／００− ５／５０

９／００− ９／４０

(57)【特許請求の範囲】

【請求項1】

車両に搭載されたカメラの撮影画像から異なる領域の画像を複数切り出し、各切り出し画像から、それぞれ異なる方向に投影面を設定した投影画像を生成する投影画像生成部と、
上記投影画像生成部により生成された複数方向の投影画像のそれぞれについて、第１の撮影時間における撮影画像から生成された投影画像を、当該第１の撮影時間より後の第２の撮影時間における予測画像に変換する予測画像生成部と、
上記投影画像生成部により生成された複数方向の投影画像のそれぞれについて、上記第２の撮影時間における撮影画像から生成された投影画像と、上記予測画像生成部により生成された上記第２の撮影時間における予測画像との差分情報に基づいて、一定量以上の差分が存在している領域を、上記車両の周辺に存在する立体物として検出する立体物検出部とを備えたことを特徴とする立体物検出装置。

【請求項2】

上記投影画像生成部は、上記カメラの撮影画像から右後方の領域の画像及び左後方の領域の画像を切り出し、上記車両の後進方向に対して垂直な後方側投影面、上記後方側投影面に対して右側に所定の角度を成す右後方側投影面、上記後方側投影面に対して左側に所定の角度を成す左後方側投影面を設定し、上記右後方側投影面に上記右後方の領域の画像を投影させることで右後方投影画像を生成するとともに、上記左後方側投影面に上記左後方の領域の画像を投影させることで左後方投影画像を生成し、
上記予測画像生成部は、上記投影画像生成部により生成された上記右後方投影画像および上記左後方投影画像のそれぞれについて、上記第１の撮影時間における撮影画像から生成された投影画像を、上記第２の撮影時間における予測画像に変換し、
上記立体物検出部は、上記投影画像生成部により生成された上記右後方投影画像および上記左後方投影画像のそれぞれについて、上記第２の撮影時間における撮影画像から生成された投影画像と、上記予測画像生成部により生成された上記第２の撮影時間における予測画像との差分情報に基づいて、上記車両の周辺に存在する立体物を検出する
ことを特徴とする請求項１に記載の立体物検出装置。

【請求項3】

上記投影画像生成部は、上記複数方向の投影画像を所定サイズに拡大処理し、
上記予測画像生成部は、上記複数方向の予測画像を所定のサイズ拡大処理し、
上記立体物検出部は、拡大処理された投影画像と拡大処理された予測画像との差分情報に基づいて、上記車両の周辺に存在する立体物を検出することを特徴とする請求項１または２に記載の立体物検出装置。

【請求項4】

上記投影画像生成部は、上記複数方向の投影画像を所定サイズに拡大処理し、
上記予測画像生成部は、拡大処理された上記複数方向の投影画像から上記複数方向の予測画像を生成し、
上記立体物検出部は、拡大処理された投影画像と拡大処理された予測画像との差分情報に基づいて、上記車両の周辺に存在する立体物を検出することを特徴とする請求項１または２に記載の立体物検出装置。

【請求項5】

上記立体物検出部は、上記複数方向の投影画像のそれぞれについて上記差分情報を算出した後、当該複数方向の投影画像を１つの画像に上記差分情報と共に統合して統合画像を生成し、当該統合画像上に統合された差分情報に基づいて、上記車両の周辺に存在する立体物を検出することを特徴とする請求項１または２に記載の立体物検出装置。

【請求項6】

上記第１の撮影時間から上記第２の撮影時間までの時間間隔における上記車両の移動量を車速パルスから算出する移動量算出部を更に備え、
上記予測画像生成部は、上記移動量算出部により算出された移動量に基づいて、上記第１の撮影時間における撮影画像から生成された投影画像を上記第２の撮影時間における予測画像に変換することを特徴とする請求項１または２に記載の立体物検出装置。

【請求項7】

車両に搭載されたカメラの撮影画像から異なる領域の画像を複数切り出し、各切り出し画像から、それぞれ異なる方向に投影面を設定した投影画像を生成する投影画像生成部と、
上記投影画像生成部により生成された複数方向の投影画像のそれぞれについて、第１の撮影時間における撮影画像から生成された投影画像を、当該第１の撮影時間より後の第２の撮影時間における予測画像に変換する予測画像生成部と、
上記投影画像生成部により生成された複数方向の投影画像のそれぞれについて、上記第２の撮影時間における撮影画像から生成された投影画像と、上記予測画像生成部により生成された上記第２の撮影時間における予測画像との差分情報に基づいて、一定量以上の差分が存在している領域を、上記車両の周辺に存在する立体物として検出する立体物検出部と、
上記立体物検出部により検出された立体物が上記車両に接近しているか否かを判定する接近判定部と、
上記接近判定部により上記立体物が上記車両に接近していると判定された場合に運転支援処理を実行する運転支援部とを備えたことを特徴とする運転支援装置。

【請求項8】

上記投影画像生成部は、上記カメラの撮影画像から右後方の領域の画像及び左後方の領域の画像を切り出し、上記車両の後進方向に対して垂直な後方側投影面、上記後方側投影面に対して右側に所定の角度を成す右後方側投影面、上記後方側投影面に対して左側に所定の角度を成す左後方側投影面を設定し、上記右後方側投影面に上記右後方の領域の画像を投影させることで右後方投影画像を生成するとともに、上記左後方側投影面に上記左後方の領域の画像を投影させることで左後方投影画像を生成し、
上記予測画像生成部は、上記投影画像生成部により生成された上記右後方投影画像および上記左後方投影画像のそれぞれについて、上記第１の撮影時間における撮影画像から生成された投影画像を、上記第２の撮影時間における予測画像に変換し、
上記立体物検出部は、上記投影画像生成部により生成された上記右後方投影画像および上記左後方投影画像のそれぞれについて、上記第２の撮影時間における撮影画像から生成された投影画像と、上記予測画像生成部により生成された上記第２の撮影時間における予測画像との差分情報に基づいて、上記車両の周辺に存在する立体物を検出する
ことを特徴とする請求項７に記載の運転支援装置。

【請求項9】

上記運転支援部は、運転者に対して警報を発生する警報発生部であることを特徴とする請求項７または８に記載の運転支援装置。

【請求項10】

上記運転支援部は、上記接近判定部により上記車両に接近していると判定された立体物との衝突をブレーキ操作またはハンドル操作により自動回避する自律走行部であることを特徴とする請求項７または８に記載の運転支援装置。

【請求項11】

上記投影画像生成部は、上記複数方向の投影画像を所定サイズに拡大処理し、
上記予測画像生成部は、上記複数方向の予測画像を所定サイズに拡大処理し、
上記立体物検出部は、拡大処理された投影画像と拡大処理された予測画像との差分情報に基づいて、上記車両の周辺に存在する立体物を検出することを特徴とする請求項７または８に記載の運転支援装置。

【請求項12】

上記投影画像生成部は、上記複数方向の投影画像を所定サイズに拡大処理し、
上記予測画像生成部は、拡大処理された上記複数方向の投影画像から上記複数方向の予測画像を生成し、
上記立体物検出部は、拡大処理された投影画像と拡大処理された予測画像との差分情報に基づいて、上記車両の周辺に存在する立体物を検出することを特徴とする請求項７または８に記載の運転支援装置。

【請求項13】

上記立体物検出部は、上記複数方向の投影画像のそれぞれについて上記差分情報を算出した後、当該複数方向の投影画像を１つの画像に上記差分情報と共に統合して統合画像を生成し、当該統合画像上に統合された差分情報に基づいて、上記車両の周辺に存在する立体物を検出することを特徴とする請求項７または８に記載の運転支援装置。

【請求項14】

立体物検出装置の投影画像生成部が、車両に搭載されたカメラの撮影画像から異なる領域の画像を複数切り出し、各切り出し画像から、それぞれ異なる方向に投影面を設定した投影画像を生成する第１のステップと、
上記立体物検出装置の予測画像生成部が、上記投影画像生成部により生成された複数方向の投影画像のそれぞれについて、第１の撮影時間における撮影画像から生成された投影画像を、当該第１の撮影時間より後の第２の撮影時間における予測画像に変換する第２のステップと、
上記立体物検出装置の立体物検出部が、上記投影画像生成部により生成された複数方向の投影画像のそれぞれについて、上記第２の撮影時間における撮影画像から生成された投影画像と、上記予測画像生成部により生成された上記第２の撮影時間における予測画像との差分情報に基づいて、一定量以上の差分が存在している領域を、上記車両の周辺に存在する立体物として検出する第３のステップとを
有することを特徴とする立体物検出方法。

【請求項15】

上記第１のステップにおいて、上記投影画像生成部は、上記カメラの撮影画像から右後方の領域の画像及び左後方の領域の画像を切り出し、上記車両の後進方向に対して垂直な後方側投影面、上記後方側投影面に対して右側に所定の角度を成す右後方側投影面、上記後方側投影面に対して左側に所定の角度を成す左後方側投影面を設定し、上記右後方側投影面に上記右後方の領域の画像を投影させることで右後方投影画像を生成するとともに、上記左後方側投影面に上記左後方の領域の画像を投影させることで左後方投影画像を生成し、
上記第２のステップにおいて、上記予測画像生成部は、上記投影画像生成部により生成された上記右後方投影画像および上記左後方投影画像のそれぞれについて、第１の撮影時間における撮影画像から生成された投影画像を、当該第１の撮影時間より後の第２の撮影時間における予測画像に変換し、
上記第３のステップにおいて、上記立体物検出部は、上記投影画像生成部により生成された上記右後方投影画像および上記左後方投影画像のそれぞれについて、上記第２の撮影時間における撮影画像から生成された投影画像と、上記予測画像生成部により生成された上記第２の撮影時間における予測画像との差分情報に基づいて、上記車両の周辺に存在する立体物を検出する
ことを特徴とする請求項１４に記載の立体物検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自車両の周辺に存在する立体物を検出する立体物検出装置および立体物検出方法、並びに、当該立体物検出装置により検出された立体物の接近を検出して運転支援処理を実行する運転支援装置に用いて好適なものである。

【背景技術】

【0002】

近年では、車両の安全走行を図るシステムの開発が盛んになってきている。その開発技術の１つとして、自車両周辺にある立体物（他車両や歩行者など）を検出して運転者に報知するシステムが提供されている。さらに、自車両に接近する立体物を検出して警報を発生するシステムも提供されている。

【0003】

自車両周辺の立体物を検出する技術としては、車載カメラから得られる画像を利用するものが数多く存在する（例えば、特許文献１〜４参照）。例えば、魚眼レンズ等の超広角レンズを備えたリアカメラで車両の後方を広範囲に撮影し、撮影画像を解析することによって自車両周辺に存在する立体物を検出して運転者に認識させるシステムが知られている。

【0004】

上記特許文献１〜４では、撮影時間の異なる２枚の撮影画像の差分をとり、差分値が大きい部分を立体物として検出する。このうち、特許文献１に記載の技術では、車載カメラにより時刻Ｔ０で得られた画像と、車速やヨーレート等の車両の走行状態とから、画像内の物体が道路上の平面物であると仮定した場合に時刻Ｔ１で得られるであろう位置を算出する。そして、実際に時刻Ｔ１で得られた画像と比較して、両者が一致すれば物体は平面物であると判定し、一致しない場合には物体は立体物であると判定する。

【0005】

特許文献２に記載の技術では、特徴領域の移動量に基づいて、第１画像と第２画像との間の変化量、すなわち、移動体の移動に起因する画像の変化量を推定する。そして、推定した画像の変化量を第１画像の全体に適用することにより、変換画像を生成する。この変換画像は、画像に含まれる全ての被写体が道路平面上にあったとした場合に、第２画像が撮像された時刻において各被写体が存在したであろう位置を示している。この変換画像と第２画像との差分画像を生成することにより、差分の存在する領域を、実際には道路平面上に存在していなかった物体として検出する。

【0006】

特許文献３に記載の技術では、単一のカメラによって、異なる第１および第２の地点での周辺画像を、時系列的に視差付けされた第１および第２の画像として撮像する。そして、第１の画像を第２の地点に射影変換した第４の画像を生成し、第４の画像と第２の画像との差分により立体物を検出する。

【0007】

また、上記特許文献４に記載の技術では、撮影時間の異なる２枚の撮影画像の差分から立体物を検出した後、密度マップを用いて接近判定を行っている。具体的には、最新の密度マップが作成される毎に、最新の立体物の位置を検出し、検出時刻と対応付けた状態で追跡対象となる物標の履歴として記録する。そして、記録された物標の履歴に基づいて、当該物標の移動軌跡を推定し、当該移動軌跡に対応する物標が接近物であるか否かを判定する。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開平１０−２２２６７９号公報

【特許文献2】特開２００７−１２９５６０号公報

【特許文献3】特許第３４９４４３４号公報

【特許文献4】特開２０１２−１７４１８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、上記特許文献１〜４のように、撮影時間の異なる２枚の撮影画像の差分から立体物を検出する方法では、自車両から遠方にある立体物を検出しにくいという問題があった。遠方にある立体物は、差分を算出しにくいからである。そのため、自車両に接近する立体物を検出して警報を発生するシステムでは、警報精度が悪化してしまうという問題が生じていた。

【0010】

図７は、この問題を説明するための図である。図７の例は、自車両１００が駐車場において後進するケースを示している。自車両１００の後方には駐車中の他車両２００が存在し、自車両１００の左後方側の遠方には自車両１００に接近中の他車両３００が存在している。これらの駐車車両２００および接近車両３００は、魚眼レンズを備えたリアカメラにより撮影され、自車両１００の後進方向に投影面４００が設定された撮影画像に写り込む。

【0011】

自車両１００の後方にある駐車車両２００は、自車両１００が後進をすると自車両１００に近づくが、駐車中の車両であるため警報の発生は不要である。しかし、駐車車両２００がまだ遠方にあるときは、時系列に撮影される画像内での駐車車両２００の接近方向が投影面４００とほぼ垂直に交差するため、撮影時間の異なる２枚の撮影画像から正しい差分を算出することが難しい。そのため、自車両１００が駐車車両２００に対してある程度近づいたときに、ようやく差分が算出される。これにより、ある程度近づくまで検出されていなかった駐車車両２００が突然に立体物として検出される結果、立体物が自車両１００に近づいたと判断され、誤警報が発生してしまうという問題があった。

【0012】

また、自車両１００の遠方にある接近車両３００は、自車両１００に徐々に近づいてくるため、できるだけ早期に警報を発生することが必要である。しかし、遠方にある接近車両３００は撮影画像の端付近に小さくぼやけた状態で写るため、撮影時間の異なる２枚の撮影画像から正しい差分を算出しにくい。そのため、接近車両３００が自車両１００に対してある程度近づいたときに、ようやく差分が算出される。これにより、本来は算出されるべき差分が算出されずに遠方に存在する接近車両３００が立体物として検出されず、未警報あるいは警報遅れが発生してしまうという問題があった。

【0013】

本発明は、このような問題を解決するために成されたものであり、撮影時間の異なる２枚の撮影画像の差分に基づいて、自車両から遠方にある立体物を早期に検出できるようにすることを目的とする。

【課題を解決するための手段】

【0014】

上記した課題を解決するために、本発明では、車両に搭載されたカメラの撮影画像から異なる領域の画像を複数切り出し、各切り出し画像から、それぞれ異なる方向に投影面を設定した投影画像を生成する。そして、このようにして生成した複数方向の投影画像のそれぞれについて、撮影時間の異なる２枚の投影画像の差分に基づいて、一定量以上の差分が存在している領域を、車両周辺の立体物として検出するようにしている。

【0015】

本発明の他の態様では、複数方向の投影画像を所定のサイズに拡大し、拡大された画像を用いて差分を算出するようにしている。

【発明の効果】

【0016】

上記のように構成した本発明によれば、後進をしている自車両の後方にある駐車車両については、複数方向の投影画像のうち何れかの投影画像において、当該投影画像に写っている駐車車両の接近方向が投影面と斜めに交差することになるため、撮影時間の異なる２枚の投影画像から正しい差分を算出することが可能となる。これにより、自車両から後方遠方にある立体物を早期に検出することができる。

【0017】

また、本発明の他の特徴によれば、自車両の遠方にある接近車両については、複数方向の投影画像のうち何れかの投影画像において、当該投影画像に写っている接近車両が拡大されるため、撮影時間の異なる２枚の投影画像から正しい差分を算出することが可能となる。これにより、自車両に接近中の遠方にある立体物を早期に検出することができる。

【図面の簡単な説明】

【0018】

【図1】本実施形態による立体物検出装置の機能構成例を示すブロック図である。

【図2】本実施形態による投影画像生成部の処理内容を説明するための図である。

【図3】本実施形態の投影画像生成部により生成された３方向の投影画像の一例を示す図である。

【図4】本実施形態の投影画像生成部により生成された後方投影画像および左後方投影画像の一例を示す図である。

【図5】本実施形態の立体物検出装置を適用した運転支援装置の機能構成例を示すブロック図である。

【図6】本実施形態による運転支援装置の動作例を示すフローチャートである。

【図7】従来の問題を説明するための図である。

【発明を実施するための形態】

【0019】

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による立体物検出装置１０の機能構成例を示すブロック図である。図１に示すように、本実施形態の立体物検出装置１０は、その機能構成として、投影画像生成部１１、予測画像生成部１２、立体物検出部１３および移動量算出部１４を備えている。また、本実施形態の立体物検出装置１０は、リアカメラ２０に接続されている。

【0020】

上記影画像生成部１１、予測画像生成部１２、立体物検出部１３および移動量算出部１４の各機能は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能１１〜１４は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

【0021】

リアカメラ２０は、魚眼レンズ等の超広角レンズを備え、自車両後方の領域を広範囲に撮影する。魚眼レンズを使用しているため、リアカメラ２０により撮影される画像は、撮影範囲の周辺が丸く歪んだものとなる。

【0022】

投影画像生成部１１は、リアカメラ２０の撮影画像から異なる領域の画像を複数切り出し、各切り出し画像から、それぞれ異なる方向に投影面を設定した投影画像を生成する。図２は、投影画像生成部１１の処理内容を説明するための図であり、図２（ａ）は画像の切り出し領域を示し、図２（ｂ）は複数の投影面を示している。

【0023】

図２（ａ）に示すように、本実施形態では、リアカメラ２０の撮影画像から、自車両からみて主に後方の領域２１、主に右後方の領域２２、主に左後方の領域２３の３つの領域の画像を切り出す。ここで、後方の切り出し領域２１の一部と右後方の切り出し領域２２の一部とが重複し、後方の切り出し領域２１の一部と左後方の切り出し領域２３の一部とが重複するように、各切り出し領域２１〜２３の位置と範囲を設定している。

【0024】

また、図２（ｂ）に示すように、本実施形態では、自車両の後進方向（後方に直進する場合の方向）対して垂直の角度を成す後方側投影面３１、後方側投影面３１に対して右側に所定の角度を成す右後方側投影面３２、後方側投影面３１に対して左側に所定の角度を成す左後方側投影面３３の３つの投影面３１〜３３を設定する。

【0025】

そして、投影画像生成部１１は、後方の切り出し領域２１から切り出した画像を後方側投影面３１に投影させた後方投影画像、右後方の切り出し領域２２から切り出した画像を右後方側投影面３２に投影させた右後方投影画像、左後方の切り出し領域２３から切り出した画像を左後方側投影面３３に投影させた左後方投影画像の３方向の投影画像を生成する。

【0026】

このとき投影画像生成部１１は、それぞれの切り出し領域２１〜２３における画像の魚眼レンズに起因する歪みを補正する。この歪み補正処理は、あらかじめ用意している内部パラメータを用いて行うものであり、公知の手法を適用することが可能である。投影画像生成部１１はさらに、３方向の投影画像（歪み補正されたもの。以下同様）を所定のサイズに拡大処理する。

【0027】

予測画像生成部１２は、投影画像生成部１１により生成された３方向の投影画像のそれぞれについて、第１の撮影時間における撮影画像から生成された投影画像を、当該第１の撮影時間より後の第２の撮影時間における予測画像に変換する。ここで、第１の撮影時間および第２の撮影時間は、例えば連続する２つのフレームの撮影時間である。すなわち、予測画像生成部１２は、第１の撮影時間で撮影されたフレーム画像が、１フレーム時間後の第２の撮影時間にどのような画像に変化するかを予想するものである。なお、第１の撮影時間と第２の撮影時間との時間間隔は、必ずしも１フレーム間隔でなくてもよい。すなわち、ｎ（ｎは２以上の整数）フレーム間隔としてもよい。

【0028】

第１の撮影時間における投影画像から第２の撮影時間における予測画像を生成する具体的な方法としては、種々の方法を適用することが可能である。例えば、予測画像生成部１２は、移動量算出部１４により算出される車両の移動量に基づいて、第１の撮影時間における撮影画像から生成された投影画像を第２の撮影時間における予測画像に変換する。ここで、移動量算出部１４は、第１の撮影時間から第２の撮影時間までの時間間隔における車両の移動量を、車載ＬＡＮ等の車内ネットワーク（図示せず）を介して入力される車速パルスから算出する。

【0029】

具体的には、予測画像生成部１２は、移動量算出部１４により算出される車両の移動量に基づいて、第１の撮影時間に得られた投影画像内の物体が１フレーム後の第２の撮影時間に移動しているであろう位置とサイズとを算出する。そして、その算出した位置とサイズに従って物体を描画した画像を、第２の撮影時間における予測画像として生成する。

【0030】

あるいは、予測画像生成部１２は、以下のようにして第１の撮影時間における投影画像を第２の撮影時間における予測画像に変換することも可能である。すなわち、予測画像生成部１２は、第１の撮影時間よりも１フレーム前の撮影時間で得られた投影画像と、第１の撮影時間で得られた投影画像との間の変化量を算出する。そして、算出した画像の変化量を第１の撮影時間で得られた投影画像に適用することにより、第２の撮影時間における予測画像を生成する。

【0031】

予測画像生成部１２も投影画像生成部１１と同様に、３方向の予測画像を所定のサイズに拡大処理する。なお、ここでは第１の撮影時間における投影画像から第２の撮影時間における予測画像を生成した後、その予測画像を拡大する例について説明したが、この処理に限定されない。例えば、第１の撮影時間における投影画像を所定サイズに拡大処理した後、拡大された投影画像から第２の撮影時間における予測画像（拡大されたもの）を生成するようにしてもよい。

【0032】

立体物検出部１３は、投影画像生成部１１により生成された３方向の投影画像のそれぞれについて、投影画像生成部１１により第２の撮影時間における撮影画像から生成された投影画像と、予測画像生成部１２により生成された第２の撮影時間における予測画像との差分情報に基づいて、自車両の周辺に存在する立体物を検出する。本実施形態では、立体物検出部１３は、拡大処理された投影画像と拡大処理された予測画像との差分情報に基づいて、自車両の周辺に存在する立体物を検出する。ここで、立体物検出部１３は、一定量以上の差分が存在している領域に立体物があると判定する。

【0033】

図３は、投影画像生成部１１により生成された３方向の投影画像の一例を示す図である。この図３に示す投影画像は、駐車場において後進する自車両の後方に駐車車両が存在しているケースの画像を示している。なお、図３には３枚の撮影画像から生成された３組の投影画像を時系列に並べて示している。図３において、４１が後方投影画像、４２が右後方投影画像、４３が左後方投影画像である。また、各投影画像内にドットを示した部分は、差分が検出された領域である。

【0034】

図３に示すように、右後方投影画像４２と左後方投影画像４３においては、これらの投影画像に写っている駐車車両の接近方向（矢印で示す）がそれぞれの投影面３２，３３と斜めに交差することになる。そのため、自車両から遠方にある駐車車両であっても、撮影時間の異なる２枚の投影画像から差分を算出することが可能となる。

【0035】

すなわち、図３（ａ）に示すように、駐車車両が自車両から遠方にあるとき、従来と同様の後方投影画像４１では差分が殆ど検出されていないが、右後方投影画像４２と左後方投影画像４３においては差分が検出されている。このように、右後方投影画像４２と左後方投影画像４３を用いて差分を検出することにより、自車両から後方遠方にある駐車車両を早期に検出することができる。

【0036】

図４は、投影画像生成部１１により生成された３方向の投影画像のうち後方投影画像および左後方投影画像を示す図である。この図４は、自車両の左後方側の遠方から他車両が接近してきているケースを示している。なお、図４には３枚の後方投影画像４１および３枚の左後方投影画像４３を時系列に並べて示している。各後方投影画像４１および各左後方投影画像４３内にドットを示した部分は、差分が検出された領域である。

【0037】

図４（ａ）に示すように、接近車両が自車両からまだ遠い位置にあるとき、接近車両は後方投影画像４１の端付近に小さくぼやけた状態で写っている。これに対して、左後方投影画像４３においては、自車両から遠方にある接近車両が拡大され、差分を検出しやすい状態となっている。そのため、撮影時間の異なる２枚の投影画像から差分を算出することが可能となる。これにより、自車両から遠方にある接近車両を早期に検出することができる。

【0038】

図５は、上記のように構成した立体物検出装置１０を適用した運転支援装置３０の機能構成例を示すブロック図である。なお、この図５において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

【0039】

図５に示すように、本実施形態の運転支援装置３０は、図１に示した立体物検出装置１０の各機能構成に加えて、接近判定部１５および警報発生部１６を備えている。接近判定部１５は、立体物検出部１３により検出された立体物が自車両に接近しているか否かを判定する。警報発生部１６は、接近判定部１５により立体物が自車両に接近していると判定された場合に、警報を発生する。警報は、警報音を鳴らすことによって行ってもよいし、ディスプレイ画面上で接近中の立体物に枠表示をすることによって行ってもよい。

【0040】

立体物が自車両に接近しているか否かを判定する具体的な方法としては、種々の方法を適用することが可能である。例えば、接近判定部１５は、撮影時間毎に生成された投影画像内から立体物検出部１３により検出された立体物が、当該投影画像の中心に向かって移動してきているときに、立体物が自車両に接近していると判定する。

【0041】

図３に示す例では、図３（ａ）→（ｂ）→（ｃ）のように時系列に沿って立体物検出部１３により検出される立体物（駐車車両）の投影画像内での位置が、３方向の投影画像４１〜４３の何れにおいても中心から外側に向かって移動している。よって、この場合に接近判定部１５は、立体物が自車両に接近していないと判定する。その結果、警報発生部１６は警報を発生しない。なお、実際には自車両の後進により駐車車両は自車両に近づいているが、駐車車両は警報の発生対象外であるため、警報発生部１６が警報を発生しないことに関しては何ら問題がない。

【0042】

また、本実施形態では、以下の理由から誤警報の発生を防ぐことができるという効果も有する。すなわち、図３（ａ）に示したように、駐車車両が自車両から遠方にあるときから早期に駐車車両を立体物として検出することができている。そのため、自車両が駐車車両に対してある程度近づいた図３（ｂ）あるいは図３（ｃ）の段階で、それまで検出されていなかった駐車車両が突然に立体物として検出され、立体物が自車両に近づいたと誤判断されることを防ぐことができる。

【0043】

一方、図４に示す例では、図４（ａ）→（ｂ）→（ｃ）のように時系列に沿って立体物検出部１３により検出される立体物（接近車両）の位置が、左後方投影画像４３の周辺部から中心に向かって移動している。よって、この場合に接近判定部１５は、立体物が自車両に接近していると判定する。その結果、警報発生部１６は、接近車両が自車両から遠方にあるときから早期に警報を発生することができる。これにより、未警報や警報遅れの発生を防ぐことができる。

【0044】

なお、図４では後方投影画像４１および左後方投影画像４３のみを示しているが、実際には右後方投影画像４２も存在し、当該右後方投影画像４２にも接近車両が写っている。図４の例では、接近車両が自車両の左後方から接近してきて、自車両を通り過ぎると右後方へと遠ざかっていく。この場合、後方投影画像４１においては、あるタイミングから画像の端に接近車両が写り始める。同様に、右後方投影画像４２においても、その後のあるタイミングから画像の端に接近車両が写り始める。そして、これらの写り始めのタイミングで立体物が突然に近づいたと誤判定され、警報発生部１６により警報が発生される可能性がある。

【0045】

このような誤警報の発生を防ぐために、以下のようにすることが好ましい。すなわち、立体物検出部１３は、３方向の投影画像４１〜４３のそれぞれについて差分情報を算出した後、当該３方向の投影画像４１〜４３を１つの画像に差分情報と共に統合して統合画像を生成する。例えば、３方向の投影画像４１〜４３を元の撮影画像上の切り出し領域２１〜２３に戻すことにより、差分情報を持った１つの撮影画像に統合する。

【0046】

そして、立体物検出部１３は、こうして生成した統合画像上に統合された差分情報に基づいて、自車両の周辺に存在する立体物を検出する。さらに、接近判定部１５は、統合画像上で検出された立体物が自車両に接近しているか否かを判定する。このようにすれば、３方向の投影画像４１〜４３上でそれぞれ検出される立体物の動きが１つの画像上での動きに統合されるので、投影画像４１〜４３の端部で立体物が写り始めるたびに警報が発せされるという問題を解消することが可能となる。

【0047】

図６は、図５のように構成した運転支援装置３０の動作例を示すフローチャートである。なお、図６に示すフローチャートは、運転支援装置３０の警報発生機能を起動したときに開始する。

【0048】

まず、投影画像生成部１１は、リアカメラ２０から１フレーム分の撮影画像を入力する（ステップＳ１）。なお、以降の処理は２枚の撮影画像が必要なので、運転支援装置３０の起動直後は２フレーム分の撮影画像を入力する。次に、投影画像生成部１１は、入力した撮影画像から異なる領域の画像を３つ切り出し、各切り出し画像２１〜２３から、それぞれ異なる方向に投影面３１〜３３を設定した投影画像４１〜４３を生成する（ステップＳ２）。

【0049】

また、予測画像生成部１２は、投影画像生成部１１により生成された３方向の投影画像４１〜４３のそれぞれについて、第１の撮影時間における撮影画像から生成された投影画像を、第２の撮影時間における予測画像に変換する（ステップＳ３）。ここで、投影画像生成部１１および予測画像生成部１２は、投影画像および予測画像を所定サイズに拡大処理する。

【0050】

次に、立体物検出部１３は、投影画像生成部１１により生成された３方向の投影画像４１〜４３のそれぞれについて、投影画像生成部１１により第２の撮影時間における撮影画像から生成された投影画像と、予測画像生成部１２により生成された第２の撮影時間における予測画像との差分を検出する（ステップＳ４）。

【0051】

さらに、立体物検出部１３は、３方向の投影画像４１〜４３を１つの画像に差分情報と共に統合して統合画像を生成する（ステップＳ５）。そして、立体物検出部１３は、生成した統合画像上に統合された差分情報に基づいて、自車両の周辺に存在する立体物を検出する（ステップＳ６）。

【0052】

次に、接近判定部１５は、統合画像上で検出された立体物が自車両に接近しているか否かを判定する（ステップＳ７）。ここで、立体物が自車両に接近していると接近判定部１５にて判定された場合、警報発生部１６は警報を発生する（ステップＳ８）。一方、立体物が自車両に接近していないと接近判定部１５にて判定された場合、ステップＳ８の処理は行わない。

【0053】

その後、運転支援装置３０は、警報発生機能の起動状態が解除されたか否かを判定する（ステップＳ９）。警報発生機能の起動状態が解除されていない場合、処理はステップＳ１に戻る。一方、警報発生機能の起動状態が解除された場合、図６に示すフローチャートの処理は終了する。

【0054】

以上詳しく説明したように、本実施形態では、車両に搭載されたリアカメラ２０の撮影画像から異なる領域の画像２１〜２３を複数切り出し、各切り出し画像２１〜２３から、それぞれ異なる方向に投影面３１〜３３を設定した投影画像４１〜４３を生成する。そして、このようにして生成した複数方向の投影画像４１〜４３のそれぞれについて、撮影時間の異なる２枚の投影画像の差分に基づいて車両周辺の立体物を検出するようにしている。

【0055】

このように構成した本実施形態によれば、後進をしている自車両の後方にある駐車車両については、右方向投影画像４２および左方向投影画像４３において、当該投影画像４２，４３に写っている駐車車両の接近方向が投影面３２，３３と斜めに交差することになるため、撮影時間の異なる２枚の投影画像から正しい差分を算出することが可能となる。これにより、自車両から後方遠方にある立体物を早期に検出することができる。よって、発生すべきない警報が発せされるという誤警報を防ぐことができる。

【0056】

また、本実施形態では、複数方向の投影画像と複数方向の予測画像とを所定のサイズに拡大し、拡大された画像を用いて差分を算出するようにしている。これにより、自車両の遠方にある接近車両については、右方向投影画像４２および左方向投影画像４３において、当該投影画像４２，４３に写っている接近車両が拡大されるため、撮影時間の異なる２枚の投影画像から正しい差分を算出することが可能となる。これにより、自車両に接近中の遠方にある立体物を早期に検出することができる。よって、未警報や警報漏れの発生を防ぐことができる。

【0057】

なお、上記実施形態では、リアカメラ２０の撮影画像から３つの方向に投影面３１〜３３を設定した投影画像４１〜４３を生成する例について説明したが、本発明はこの数に限定されない。例えば、右後方側投影面３２に投影した右後方投影画像４２および左後方側投影面３３に投影した左後方投影画像４３の２つの方向の投影画像を生成するようにしてもよい。

【0058】

また、上記実施形態では、リアカメラ２０により撮影される自車両後方の画像を処理する例について説明したが、フロントカメラまたはサイドカメラにより撮影される自車両前方または側方の画像を処理するようにしてもよい。

【0059】

また、上記実施形態では、３方向の投影画像４１〜４３を元の撮影画像上の切り出し領域２１〜２３に戻すことにより、差分情報を持った１つの撮影画像に統合する例について説明したが、本発明はこれに限定されない。例えば、３方向の投影画像を１つの投影面（例えば、後方投影面３１）の投影画像に統合するようにしてもよい。

【0060】

また、上記実施形態では、立体物検出装置１０を適用した運転支援装置３０において運転者に警報を発生する例について説明したが、本発明はこれに限定されるものではない。例えば、立体物への衝突を自動ブレーキにより回避する衝突回避システムや、立体物を回避するよう自動操舵をする自律走行システムなどの運転支援装置へ立体物検出装置１０を適用することも可能である。

【0061】

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0062】

１０ 立体物検出装置
１１ 投影画像生成部
１２ 予測画像生成部
１３ 立体物検出部
１４ 移動量算出部
１５ 接近判定部
１６ 警報発生部
２０ リアカメラ
３０ 運転支援装置
２１〜２３ 切り出し画像
３１〜３３ 複数方向の投影面
４１〜４３ 複数方向の投影画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】