特許 6066788 立体物検出装置、運転支援装置および立体物検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6066788

(24)【登録日】2017年1月6日

(45)【発行日】2017年1月25日

(54)【発明の名称】立体物検出装置、運転支援装置および立体物検出方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20170116BHJP

   B60R 21/00 20060101ALI20170116BHJP

   B60W 10/18 20120101ALI20170116BHJP

   B60W 10/20 20060101ALI20170116BHJP

   B60W 30/09 20120101ALI20170116BHJP

   H04N 7/18 20060101ALI20170116BHJP

【ＦＩ】

   G08G1/16 C

   B60R21/00 626A

   B60R21/00 624C

   B60W10/00 132

   B60W10/18

   B60W10/20

   B60W30/09

   H04N7/18 J

【請求項の数】10

【全頁数】10

(21)【出願番号】特願2013-53554(P2013-53554)

(22)【出願日】2013年3月15日

(65)【公開番号】特開2014-178966(P2014-178966A)

(43)【公開日】2014年9月25日

【審査請求日】2015年9月11日

(73)【特許権者】

【識別番号】000101732

【氏名又は名称】アルパイン株式会社

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(72)【発明者】

【氏名】三谷 浩輔

(72)【発明者】

【氏名】棟方 康介

(72)【発明者】

【氏名】大場 裕樹

【審査官】 岩田 玲彦

(56)【参考文献】

【文献】 米国特許出願公開第２００３／０１６９９０６（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ ２１／００

Ｂ６０Ｗ １０／１８

Ｂ６０Ｗ １０／２０

Ｂ６０Ｗ ３０／０９

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両に搭載されたカメラにより撮影された撮影時間の異なる２枚の撮影画像の差分をとり、一定量以上の差分が存在している領域を立体物として検出する立体物検出部と、
上記撮影画像のうち上記車両の一部が写り込む車両領域を対象として、当該車両領域の所定以上の範囲において差分が存在しているか否かを判定する差分判定部と、
上記差分判定部により上記車両領域の所定以上の範囲において差分が存在していると判定された場合に、上記撮影画像にノイズが混入していると判定するノイズ判定部とを備えたことを特徴とする立体物検出装置。

【請求項2】

上記差分判定部は、上記車両領域の所定以上の範囲において差分が存在している状態が所定時間続いているか否かを判定し、
上記ノイズ判定部は、上記差分判定部により上記車両領域の所定以上の範囲において差分が存在している状態が所定時間続いていると判定された場合に、上記撮影画像にノイズが混入していると判定することを特徴とする請求項１に記載の立体物検出装置。

【請求項3】

上記立体物検出部は、上記ノイズ判定部により上記撮影画像にノイズが混入していると判定された場合に、上記ノイズが混入している撮影画像を用いた上記立体物の検出を停止することを特徴とする請求項１または２に記載の立体物検出装置。

【請求項4】

車両に搭載されたカメラにより撮影された撮影時間の異なる２枚の撮影画像の差分をとり、一定量以上の差分が存在している領域を立体物として検出する立体物検出部と、
上記立体物検出部により検出された立体物が上記車両に接近しているか否かを判定する接近判定部と、
上記接近判定部により上記立体物が上記車両に接近していると判定された場合に運転支援処理を実行する運転支援部と、
上記撮影画像のうち上記車両の一部が写り込む車両領域を対象として、当該車両領域の所定以上の範囲において差分が存在しているか否かを判定する差分判定部と、
上記差分判定部により上記車両領域の所定以上の範囲において差分が存在していると判定された場合に、上記撮影画像にノイズが混入していると判定するノイズ判定部とを備えたことを特徴とする運転支援装置。

【請求項5】

上記差分判定部は、上記車両領域の所定以上の範囲において差分が存在している状態が所定時間続いているか否かを判定し、
上記ノイズ判定部は、上記差分判定部により上記車両領域の所定以上の範囲において差分が存在している状態が所定時間続いていると判定された場合に、上記撮影画像にノイズが混入していると判定することを特徴とする請求項４に記載の運転支援装置。

【請求項6】

上記立体物検出部は、上記ノイズ判定部により上記撮影画像にノイズが混入していると判定された場合に、上記ノイズが混入している撮影画像を用いた上記立体物の検出を停止することを特徴とする請求項４または５に記載の運転支援装置。

【請求項7】

上記運転支援部は、上記ノイズ判定部により上記撮影画像にノイズが混入していると判定された場合に、上記運転支援処理を停止することを特徴とする請求項４または５に記載の運転支援装置。

【請求項8】

上記運転支援部は、運転者に対して警報を発生する警報発生部であることを特徴とする請求項４に記載の運転支援装置。

【請求項9】

上記運転支援部は、上記接近判定部により上記車両に接近していると判定された立体物との衝突をブレーキ操作またはハンドル操作により自動回避する自律走行部であることを特徴とする請求項４に記載の運転支援装置。

【請求項10】

車両に搭載されたカメラにより撮影された撮影時間の異なる２枚の撮影画像の差分をとり、一定量以上の差分が存在している領域を立体物として検出する立体物検出方法であって、
立体物検出装置の差分判定部が、上記撮影画像のうち上記車両の一部が写り込む車両領域を対象として、当該車両領域の所定以上の範囲において差分が存在しているか否かを判定する第１のステップと、
上記立体物検出装置のノイズ判定部が、上記差分判定部により上記車両領域の所定以上の範囲において差分が存在していると判定された場合に、上記撮影画像にノイズが混入していると判定する第２のステップとを有し、
上記ノイズ判定部により上記撮影画像にノイズが混入していると判定された場合に、上記ノイズが混入している撮影画像を用いた上記立体物の検出を停止することを特徴とする立体物検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自車両の周辺に存在する立体物を検出する立体物検出装置および立体物検出方法、並びに、当該立体物検出装置により検出された立体物の接近を検出して運転支援処理を実行する運転支援装置に用いて好適なものである。

【背景技術】

【0002】

近年では、車両の安全走行を図るシステムの開発が盛んになってきている。その開発技術の１つとして、自車両周辺にある立体物（他車両や歩行者など）を検出して運転者に報知するシステムが提供されている。さらに、自車両に接近する立体物を検出して警報を発生するシステムも提供されている。

【0003】

自車両周辺の立体物を検出する技術としては、車載カメラから得られる画像を利用するものが数多く存在する。例えば、魚眼レンズ等の超広角レンズを備えたリアカメラで車両の後方を広範囲に撮影し、撮影画像を解析することによって自車両周辺に存在する立体物を検出して運転者に認識させるシステムが知られている。撮影画像の解析方法としては、撮影時間の異なる２枚の撮影画像の差分をとり、差分値が大きい部分を立体物として検出するものが知られている。

【0004】

ところで、配線や外来ノイズ等の影響により、撮影画像にノイズが一時的に混入することがある。その場合、ノイズが混入していない撮影画像とノイズが混入した撮影画像との比較により、ノイズが差分として抽出されてしまう。そして、この差分が抽出された広範囲の領域において立体物を誤検出してしまうという問題が生じていた。

【0005】

この問題に対して、今回の撮影画像と前回の撮影画像との比較で差分として抽出された領域の画素数がしきい値を超えた場合に、今回の撮影画像にノイズが含まれていると判定する技術が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００５−３４６３８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、上記特許文献１に記載の技術では、撮影画像にノイズが混入している場合だけでなく、人ごみなど実際に立体物が多く存在するエリアを走行中の場合や、車両に振動が生じやすい悪路を走行中の場合などでも、差分として抽出される領域の画素数がしきい値を超えるため、撮影画像にノイズが含まれていると誤判定されてしまう。そのため、本来は警報を発生すべきシーンで立体物が検出されず、未警報あるいは警報遅れが発生してしまうという問題があった。

【0008】

本発明は、このような問題を解決するために成されたものであり、撮影時間の異なる２枚の撮影画像の差分に基づいて立体物を検出するに際して、撮影画像にノイズが含まれているか否かを正確に判定できるようにすることを目的とする。

【課題を解決するための手段】

【0009】

上記した課題を解決するために、本発明では、撮影時間の異なる２枚の撮影画像の差分をとり、一定量以上の差分が存在している領域を立体物として検出するに際して、撮影画像のうち車両の一部が写り込む車両領域の所定以上の範囲において差分が存在していると判定された場合に、撮影画像にノイズが混入していると判定するようにしている。

【発明の効果】

【0010】

撮影画像のうち車両の一部が写り込む車両領域は、人ごみなど実際に立体物が多く存在するエリアを走行中の場合や、車両に振動が生じやすい悪路を走行中の場合などでも、撮影時間の異なる２枚の撮影画像の間で殆ど差分がない領域である。したがって、配線や外来ノイズ等に起因するノイズが撮影画像に混入していなければ、車両領域に差分が殆ど生じることはない。一方、配線や外来ノイズ等に起因するノイズが撮影画像に混入していれば、車両領域の所定以上の範囲に差分が生じる。このため、本発明のように、車両領域を対象としてその所定以上の範囲において差分が存在しているか否かを判定することにより、ノイズが撮影画像に混入しているか否かを正確に判定することができる。

【図面の簡単な説明】

【0011】

【図1】本実施形態による立体物検出装置の機能構成例を示すブロック図である。

【図2】リアカメラによる撮影画像のうち車両の一部が写り込む車両領域を示す図である。

【図3】本実施形態の立体物検出装置を適用した運転支援装置の機能構成例を示すブロック図である。

【図4】本実施形態による運転支援装置を適用する場面の一例を示す図である。

【図5】本実施形態による運転支援装置の動作例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による立体物検出装置１０の機能構成例を示すブロック図である。図１に示すように、本実施形態の立体物検出装置１０は、その機能構成として、画像バッファ１１、予測画像生成部１２、移動量算出部１３、差分判定部１４、ノイズ判定部１５および立体物検出部１６を備えている。また、本実施形態の立体物検出装置１０は、リアカメラ２０に接続されている。

【0013】

上記予測画像生成部１２、移動量算出部１３、差分判定部１４、ノイズ判定部１５および立体物検出部１６の各機能は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能１２〜１６は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

【0014】

リアカメラ２０は、魚眼レンズ等の超広角レンズを備え、自車両後方の領域を広範囲に撮影する。魚眼レンズを使用しているため、リアカメラ２０により撮影される画像は、図２に示すように撮影範囲の周辺が丸く歪んだものとなる。また、リアカメラ２０による撮影画像には、車両の一部（リアバンパー）が写り込んでいる（以下、撮影画像内で車両の一部が写り込んでいる領域を車両領域２１という）。

【0015】

画像バッファ１１は、リアカメラ２０の撮影画像を入力し、１フレーム期間だけ一時的に格納する。予測画像生成部１２は、画像バッファ１１に格納された第１の撮影時間におけるリアカメラ２０の撮影画像を、当該第１の撮影時間より後の第２の撮影時間における予測画像に変換する。ここで、第１の撮影時間および第２の撮影時間は、例えば連続する２つのフレームの撮影時間である。

【0016】

すなわち、予測画像生成部１２は、第１の撮影時間で撮影されたフレーム画像が、１フレーム時間後の第２の撮影時間にどのような画像に変化するかを予想するものである。なお、第１の撮影時間と第２の撮影時間との時間間隔は、必ずしも１フレーム間隔でなくてもよい。すなわち、ｎ（ｎは２以上の整数）フレーム間隔としてもよい。この場合、画像バッファ１１は、リアカメラ２０から入力した撮影画像をｎフレーム期間一時的に格納する。

【0017】

第１の撮影時間における撮影画像から第２の撮影時間における予測画像を生成する具体的な方法としては、種々の方法を適用することが可能である。例えば、予測画像生成部１２は、移動量算出部１３により算出される車両の移動量に基づいて、第１の撮影時間における撮影画像を第２の撮影時間における予測画像に変換する。ここで、移動量算出部１３は、第１の撮影時間から第２の撮影時間までの時間間隔における車両の移動量を、車載ＬＡＮ等の車内ネットワーク（図示せず）を介して入力される車速パルスから算出する。

【0018】

具体的には、予測画像生成部１２は、移動量算出部１３により算出される車両の移動量に基づいて、第１の撮影時間に得られた撮影画像内の物体が１フレーム後の第２の撮影時間に移動しているであろう位置とサイズとを算出する。そして、その算出した位置とサイズに従って物体を描画した画像を、第２の撮影時間における予測画像として生成する。

【0019】

あるいは、予測画像生成部１２は、以下のようにして第１の撮影時間における撮影画像を第２の撮影時間における予測画像に変換することも可能である。すなわち、予測画像生成部１２は、第１の撮影時間よりも１フレーム前の撮影時間で得られた撮影画像と、第１の撮影時間で得られた撮影画像との間の変化量を算出する。そして、算出した画像の変化量を第１の撮影時間で得られた撮影画像に適用することにより、第２の撮影時間における予測画像を生成する。

【0020】

差分判定部１４は、リアカメラ２０から入力された第２の撮影時間における撮影画像と、画像バッファ１１に格納された第１の撮影時間における撮影画像から予測画像生成部１２により生成された第２の撮影時間における予測画像との差分を検出する。そして、差分判定部１４は、撮影画像のうち車両の一部が写り込む車両領域２１を対象として、当該車両領域２１の所定以上の範囲（例えば、ほぼ全体の領域）において差分が存在しているか否かを判定する。

【0021】

ノイズ判定部１５は、差分判定部１４により車両領域２１の所定以上の範囲において差分が存在していると判定された場合に、第２の撮影時間における撮影画像にノイズが混入していると判定する。車両領域２１は、どんな場所をどんな状況で走行しているときでも、ノイズがない限り撮影時間の異なる２枚の撮影画像の間で殆ど差分が生じない領域である。したがって、車両領域２１を対象としてその所定以上の範囲において差分が存在している場合には、配線や外来ノイズ等に起因するノイズが撮影画像に混入していると判定することができる。

【0022】

立体物検出部１６は、差分判定部１４により検出された差分情報に基づいて、自車両の周辺に存在する立体物を検出する。本実施形態では、立体物検出部１６は、車両領域２１以外で一定量以上の差分が存在している領域を立体物として検出する。ただし、立体物検出部１６は、ノイズ判定部１５により撮影画像にノイズが混入していると判定された場合には、ノイズが混入している撮影画像を用いた立体物の検出処理を停止する。

【0023】

図３は、上記のように構成した立体物検出装置１０を適用した運転支援装置３０の機能構成例を示すブロック図である。なお、この図３において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。図３に示すように、本実施形態の運転支援装置３０は、図１に示した立体物検出装置１０の各機能構成に加えて、接近判定部１７および警報発生部１８を備えている。

【0024】

また、図４は、本実施形態による運転支援装置３０を適用する場面の一例を示す図である。図４の例は、自車両１００が駐車場において後退する場面を示している。自車両１００の左後方側には自車両１００に接近中の他車両２００が存在している。この接近車両２００は、自車両１００のリアカメラ２０により撮影され、その撮影画像に写り込む。運転支援装置３０は、自車両１００に近づいてくる接近車両２００を撮影画像の解析により検出し、警報を発生する。

【0025】

すなわち、運転支援装置３０の接近判定部１７は、立体物検出部１６により検出された立体物が自車両に接近しているか否かを判定する。警報発生部１８は、接近判定部１７により立体物が自車両に接近していると判定された場合に、警報を発生する。警報は、警報音を鳴らすことによって行ってもよいし、ディスプレイ画面上で接近中の立体物に枠表示をすることによって行ってもよい。

【0026】

立体物が自車両に接近しているか否かを判定する具体的な方法としては、種々の方法を適用することが可能である。例えば、接近判定部１７は、撮影時間毎に生成された撮影画像内から立体物検出部１６により検出された立体物が、時系列に沿って当該撮影画像の外側から中心に向かって移動してきているときに、立体物が自車両に接近していると判定する。

【0027】

図５は、図３のように構成した運転支援装置３０の動作例を示すフローチャートである。なお、図５に示すフローチャートは、運転支援装置３０の警報発生機能を起動したときに開始する。そして、この図５に示すステップＳ１〜Ｓ８の処理は、１フレーム周期で繰り返し実行される。

【0028】

まず、画像バッファ１１は、リアカメラ２０から１フレーム分の撮影画像を入力して格納する（ステップＳ１）。そして、予測画像生成部１２は、画像バッファ１１に格納された第１の撮影時間における撮影画像を、第２の撮影時間における予測画像に変換する（ステップＳ２）。

【0029】

次に、差分判定部１４は、リアカメラ２０から入力された第２の撮影時間における撮影画像と、予測画像生成部１２により生成された第２の撮影時間における予測画像との差分を検出する（ステップＳ３）。なお、運転支援装置３０の起動直後（１フレーム目の撮影画像を入力した段階）は第２の撮影時間における撮影画像が存在しないので、ステップＳ３〜Ｓ７の処理は行わず、ステップＳ８からステップＳ１に戻る。２フレーム目以降は、ステップＳ３の処理が可能となる。

【0030】

ステップＳ３で差分を検出した後、差分判定部１４は、撮影画像のうち車両の一部が写り込む車両領域２１を対象として、当該車両領域２１の所定以上の範囲において差分が存在しているか否かを判定する。そして、ノイズ判定部１５は、差分判定部１４による判定結果に基づいて、第２の撮影時間における撮影画像にノイズが混入しているか否かを判定する（ステップＳ４）。

【0031】

ここで、ノイズ判定部１５は、差分判定部１４により車両領域２１の所定以上の範囲において差分が存在していると判定された場合に、第２の撮影時間における撮影画像にノイズが混入していると判定する。この場合、ステップＳ５〜Ｓ７の処理は行わず、処理はステップＳ８に遷移する。

【0032】

一方、撮影画像にノイズが混入していないと判定された場合、立体物検出部１６は、差分判定部１４により検出された差分情報に基づいて、車両領域２１以外で一定量以上の差分が存在している領域を自車両の周辺に存在する立体物として検出する（ステップＳ５）。

【0033】

次に、接近判定部１７は、撮影画像上で検出された立体物が自車両に接近しているか否かを判定する（ステップＳ６）。ここで、立体物が自車両に接近していると接近判定部１７にて判定された場合、警報発生部１８は警報を発生する（ステップＳ７）。一方、立体物が自車両に接近していないと接近判定部１７にて判定された場合、ステップＳ７の処理は行わない。

【0034】

その後、運転支援装置３０は、警報発生機能の起動状態が解除されたか否かを判定する（ステップＳ８）。警報発生機能の起動状態が解除されていない場合、処理はステップＳ１に戻る。一方、警報発生機能の起動状態が解除された場合、図５に示すフローチャートの処理は終了する。

【0035】

以上詳しく説明したように、本実施形態では、車両に搭載されたカメラにより撮影された撮影時間の異なる２枚の撮影画像（第２の撮影時間における撮影画像と、第１の撮影時間における撮影画像から生成された予測画像）の差分をとり、一定量以上の差分が存在している領域を立体物として検出するに際して、車両領域２１の所定以上の範囲において差分が存在していると判定された場合に、撮影画像にノイズが混入していると判定するようにしている。このように構成した本実施形態によれば、配線や外来ノイズ等に起因するノイズが撮影画像に混入しているか否かを正確に判定することができる。

【0036】

すなわち、撮影画像のうち車両の一部が写り込む車両領域２１では、人ごみなど実際に立体物が多く存在するエリアを走行中の場合や、車両に振動が生じやすい悪路を走行中の場合などでも、配線や外来ノイズ等に起因するノイズが撮影画像に混入していない限り、撮影時間の異なる２枚の撮影画像の間で殆ど差分が生じない。一方、ノイズが撮影画像に混入していれば、車両領域２１の所定以上の範囲（偶然的に差分がゼロとなる画素を除いてほぼ全体の領域）に差分が生じる。よって、車両領域２１を対象としてその所定以上の範囲において差分が存在しているか否かを判定することにより、ノイズが撮影画像に混入しているか否かを正確に判定することができる。

【0037】

逆に、車両が人ごみエリアや悪路を走行中のときは、ノイズが撮影画像に混入していなくても、車両領域２１以外の領域において広範囲に渡り差分が生じる。よって、従来のように撮影画像の全体を対象として差分が生じている領域の画素数がしきい値以上か否かを判定すると、実際には撮影画像にノイズが混入していなくても混入していると誤判定してしまうことがある。本実施形態では、このような誤判定を防止することができる。

【0038】

なお、上記実施形態では、撮影画像の１フレーム毎にノイズ混入の有無を判定する例について説明したが、本発明はこれに限定されない。例えば、車室内の明るさの変化に応じて画像の自動輝度調整を行う機能が付いている場合、トンネルや屋内駐車場などの出入りの際に画像の輝度が瞬間的に変わる。この場合、車両領域２１の全体において差分が瞬間的に生じるため、撮影画像にノイズが混入していると誤判定してしまう。

【0039】

このような誤判定を回避するために、以下のように構成してもよい。すなわち、差分判定部１４は、車両領域２１の所定以上の範囲において差分が存在している状態が所定時間（例えば、ｍフレーム期間）続いているか否かを判定する。また、ノイズ判定部１５は、差分判定部１４により車両領域２１の所定以上の範囲において差分が存在している状態が所定時間続いていると判定された場合に、撮影画像にノイズが混入していると判定する。このようにすれば、画像の輝度が自動調整されたときに、撮影画像にノイズが混入していると誤判定されてしまう不都合を回避することができる。

【0040】

また、上記実施形態では、リアカメラ２０により撮影される自車両後方の画像を処理する例について説明したが、フロントカメラまたはサイドカメラにより撮影される自車両前方または側方の画像を処理するようにしてもよい。

【0041】

また、上記実施形態では、立体物検出装置１０を適用した運転支援装置３０において、ノイズ判定部１５により撮影画像にノイズが混入していると判定された場合に立体物検出部１６による立体物の検出処理を停止する例について説明したが、本発明はこれに限定されない。例えば、ノイズ判定部１５により撮影画像にノイズが混入していると判定された場合に、接近判定部１７または警報発生部１８による運転支援処理を停止するようにしてもよい。

【0042】

また、上記実施形態では、立体物検出装置１０を適用した運転支援装置３０において運転者に警報を発生する例について説明したが、本発明はこれに限定されるものではない。例えば、立体物への衝突を自動ブレーキにより回避する衝突回避システムや、立体物を回避するよう自動操舵をする自律走行システムなどの運転支援装置へ立体物検出装置１０を適用することも可能である。

【0043】

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0044】

１０ 立体物検出装置
１１ 画像バッファ
１２ 予測画像生成部
１３ 移動量算出部
１４ 差分判定部
１５ ノイズ判定部
１６ 立体物検出部
１７ 接近判定部
１８ 警報発生部
２０ リアカメラ
３０ 運転支援装置

【図1】

【図2】

【図3】

【図4】

【図5】