特開2017-215743(P2017-215743A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クラリオン株式会社の特許一覧
<>
  • 特開2017215743-画像処理装置、外界認識装置 図000003
  • 特開2017215743-画像処理装置、外界認識装置 図000004
  • 特開2017215743-画像処理装置、外界認識装置 図000005
  • 特開2017215743-画像処理装置、外界認識装置 図000006
  • 特開2017215743-画像処理装置、外界認識装置 図000007
  • 特開2017215743-画像処理装置、外界認識装置 図000008
  • 特開2017215743-画像処理装置、外界認識装置 図000009
  • 特開2017215743-画像処理装置、外界認識装置 図000010
  • 特開2017215743-画像処理装置、外界認識装置 図000011
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2017-215743(P2017-215743A)
(43)【公開日】2017年12月7日
(54)【発明の名称】画像処理装置、外界認識装置
(51)【国際特許分類】
   G06T 7/20 20170101AFI20171110BHJP
   H04N 7/18 20060101ALI20171110BHJP
   G08G 1/16 20060101ALI20171110BHJP
   G06T 1/00 20060101ALI20171110BHJP
【FI】
   G06T7/20 200Z
   H04N7/18 J
   G08G1/16 C
   G06T1/00 330B
   G06T7/20 B
【審査請求】未請求
【請求項の数】7
【出願形態】OL
【全頁数】15
(21)【出願番号】特願2016-108686(P2016-108686)
(22)【出願日】2016年5月31日
(71)【出願人】
【識別番号】000001487
【氏名又は名称】クラリオン株式会社
(74)【代理人】
【識別番号】110002365
【氏名又は名称】特許業務法人サンネクスト国際特許事務所
(74)【代理人】
【識別番号】100149157
【弁理士】
【氏名又は名称】関根 創史
(72)【発明者】
【氏名】秋山 靖浩
(72)【発明者】
【氏名】浜田 宏一
(72)【発明者】
【氏名】金田 泰
【テーマコード(参考)】
5B057
5C054
5H181
5L096
【Fターム(参考)】
5B057AA16
5B057BA02
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CC03
5B057DA06
5B057DA11
5B057DA15
5B057DC01
5B057DC25
5C054CH01
5C054DA08
5C054EA05
5C054FC01
5C054FC03
5C054FC07
5C054FC12
5C054FC13
5C054FC14
5C054FC15
5C054FE28
5C054FF03
5C054FF07
5C054HA30
5H181AA01
5H181CC04
5H181CC07
5H181LL01
5H181LL02
5H181LL04
5H181LL06
5H181LL09
5L096BA04
5L096CA04
5L096FA23
5L096FA66
5L096HA04
5L096JA11
(57)【要約】
【課題】自車両の遠方から近傍に接近してくる他車両等の対象物を撮影画像において正確に検知する。
【解決手段】画像処理装置10は、第1検知部101と、第2検知部104とを備える。第1検知部101は、第1の時刻にカメラで撮影して得られた第1の撮影画像から、カメラ20に対して第1の距離だけ離れた地点に相当する遠方領域内に存在する他車両の候補を抽出する。第2検知部104は、第1の時刻よりも後の第2の時刻にカメラ20で撮影して得られた第2の撮影画像から、カメラ20に対して第1の距離よりも近い第2の距離だけ離れた地点に相当する近傍領域内に存在する他車両を検知する。このとき、第2検知部104は、第2の撮影画像に基づいて、第1検知部101により抽出された他車両の候補が他車両であるか否かを識別することにより、対象物としての他車両を検知する。
【選択図】図1
【特許請求の範囲】
【請求項1】
第1の時刻にカメラで撮影して得られた第1の撮影画像から、前記カメラに対して第1の距離だけ離れた地点に存在する対象物の候補を抽出する第1検知部と、
前記第1の時刻よりも後の第2の時刻に前記カメラで撮影して得られた第2の撮影画像から、前記カメラに対して前記第1の距離よりも近い第2の距離だけ離れた地点に存在する前記対象物を検知する第2検知部と、を備え、
前記第2検知部は、前記第2の撮影画像に基づいて、前記第1検知部により抽出された前記対象物の候補が前記対象物であるか否かを識別することにより、前記対象物を検知する画像処理装置。
【請求項2】
請求項1に記載の画像処理装置において、
それぞれ異なる時刻に前記カメラで撮影して得られた複数の撮影画像に基づいて、前記対象物の候補が前記対象物である可能性を検証する検証部と、
前記検証部による検証結果に基づいて、前記第2検知部が前記対象物の検知を行うか否かを決定する決定部と、をさらに備える画像処理装置。
【請求項3】
請求項2に記載の画像処理装置において、
前記検証部は、前記対象物の候補が前記対象物であることの確からしさに関する検証スコアを算出し、
前記決定部は、前記検証部により算出された前記検証スコアに基づいて、前記第2検知部が前記対象物の検知を行うか否かを決定する画像処理装置。
【請求項4】
請求項3に記載の画像処理装置において、
前記検証部は、前記複数の撮影画像における前記対象物の候補の動きを示す動きベクトルと、前記複数の撮影画像における前記対象物の候補を含む画像領域の空間周波数とに基づいて、前記検証スコアを算出する画像処理装置。
【請求項5】
請求項3または請求項4に記載の画像処理装置において、
前記検証スコアに基づいて前記第2検知部が前記対象物を検知する際の感度設定値を動的に変更する設定変更部をさらに備える画像処理装置。
【請求項6】
請求項1から請求項5までのいずれか一項に記載の画像処理装置において、
前記画像処理装置は自車両に搭載されており、
前記対象物は前記自車両の周囲に存在する他車両である画像処理装置。
【請求項7】
請求項6に記載の画像処理装置を備え、
前記第2検知部による前記他車両の検知結果に基づいて、前記自車両の運転者に対する警告を行うための警報信号および前記自車両の動作を制御するための車両制御信号のいずれか少なくとも一つを出力する外界認識装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置および外界認識装置に関する。
【背景技術】
【0002】
近年、車両同士の衝突や人と車両の衝突などの事故を未然に避けるため、自車両周辺の状況を車載カメラでモニタし、危険を感知した際はドライバーに警報を出力すると共に、自車両の挙動を自動で制御する技術が進展している。このような技術において、自車両に対して遠方に位置する物体を車載カメラで撮影すると、当該物体はカメラへの映り込み範囲が小さいことから、当該物体に対応する画像領域の解像度が低くなる。その結果、車両形状等の特徴情報が得られにくくなり、不検知や誤検知が生じ易くなるため、安定した制御が困難であった。
【0003】
上記のような遠方車両の検知における問題点を解決する手法として、たとえば特許文献1に記載の技術が提案されている。特許文献1には、所定の時間間隔で撮影された2枚の画像をそれぞれ所定のテンプレート画像と比較することにより、車両の周囲に存在する車両等の物体を認識する方法が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−318546号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載された技術では、車両等の物体が自車両から遠方に存在するときに撮影された1枚目の撮影画像についても、テンプレート画像と比較している。しかし、前述のように認識対象とする物体が自車両から遠方に存在するときには、その物体に対応する画像領域の解像度が低くなるため、1枚目の撮影画像は物体の特徴を正確に反映したものとはなりにくい。したがって、特許文献1の手法を用いても、自車両の遠方から近傍に接近してくる他車両等の対象物を撮影画像において正確に検知するのは困難である。
【課題を解決するための手段】
【0006】
本発明による画像処理装置は、第1の時刻にカメラで撮影して得られた第1の撮影画像から、前記カメラに対して第1の距離だけ離れた地点に存在する対象物の候補を抽出する第1検知部と、前記第1の時刻よりも後の第2の時刻に前記カメラで撮影して得られた第2の撮影画像から、前記カメラに対して前記第1の距離よりも近い第2の距離だけ離れた地点に存在する前記対象物を検知する第2検知部と、を備え、前記第2検知部は、前記第2の撮影画像に基づいて、前記第1検知部により抽出された前記対象物の候補が前記対象物であるか否かを識別することにより、前記対象物を検知する。
本発明による外界認識装置は、画像処理装置を備え、前記第2検知部による前記他車両の検知結果に基づいて、前記自車両の運転者に対する警告を行うための警報信号および前記自車両の動作を制御するための車両制御信号のいずれか少なくとも一つを出力する。
【発明の効果】
【0007】
本発明によれば、自車両の遠方から近傍に接近してくる他車両等の対象物を撮影画像において正確に検知できる。
【図面の簡単な説明】
【0008】
図1】本発明の第1の実施形態に係る画像処理装置の機能構成を示すブロック図である。
図2】カメラから出力される撮影画像の例を示す図である。
図3】検出器を生成する際に用いられる学習用画像の例を示す図である。
図4】撮影画像における遠方領域と近傍領域の設定例を示す図である。
図5】動きベクトル検証処理を説明する図である。
図6】空間周波数検証処理を説明する図である。
図7】合計検証スコアTSCと感度設定値CCとの関係を示す特性曲線の例を示す図である。
図8】本発明の第1の実施形態に係る画像処理装置の処理フローを示す図である。
図9】本発明の第2の実施形態に係る外界認識装置の一例を示す図である。
【発明を実施するための形態】
【0009】
−第1の実施形態−
以下、本発明の第1の実施形態に係る画像処理装置について、図面を参照して説明する。図1は、本発明の第1の実施形態に係る画像処理装置10の機能構成を示すブロック図である。図1に示す画像処理装置10は、車両に搭載されて用いられる。なお、以下の説明では、画像処理装置10が搭載されている車両を「自車両」と称し、自車両の周囲に存在する他の車両を「他車両」と称する。
【0010】
画像処理装置10は、撮影領域に対応する自車両の所定の位置、たとえば自車両のボディに取り付けられたカメラ20と接続されている。画像処理装置10は、第1検知部101、検証部102、決定部103、第2検知部104および設定変更部105を備える。なお、図1に示す画像処理装置10の各機能は、マイクロコンピュータ、メモリ等のハードウェアや、マイクロコンピュータ上で実行される各種プログラムなどを適宜組み合わせることにより、実現可能である。
【0011】
カメラ20は、自車両周辺に存在する他車両を動画で、または所定時間ごとに静止画で撮影し、取得した動画の各コマまたは各静止画を、所定時間ごとの撮影画像として第1検知部101へ出力する。なお、画像処理装置10において他車両の認識を行いやすくするために、自車両の任意の箇所にカメラ20を設置することができる。たとえば、自車両のフロントバンパー、リアバンパー、左右のサイドミラー等の部分に、カメラ20が設置される。または、自車両の車内にカメラ20を設置してもよい。さらに、自車両の周囲で特定の領域のみに存在する他車両の認識を目的として、カメラ20を単独で設置してもよいし、あるいは、自車両の周囲の全ての領域について他車両を認識できるように、カメラ20を複数設置してもよい。
【0012】
図2は、カメラ20から第1検知部101へ出力される撮影画像の例を示す図である。図2(a)は、自車両のリアバンパー部分にカメラ20が設置されている場合に、自車両の後方を走行している他車両203および204を撮影して得られた撮影画像の例である。図2(a)の撮影画像には、自車両の後方に延びている道路202の上に、自車両に対して地平線201に近い遠方の領域に存在する他車両203と、自車両に対して近傍の領域に存在する他車両204とが映り込んでいる。
【0013】
図2(b)は、遠方の領域に存在する他車両203のみが映り込んでいる撮影画像の例である。図2(b)の撮影画像において、他車両203の周囲の所定範囲には、切り出し領域205が設定される。第1検知部101は、この切り出し領域205の画像を切り出して、撮影画像から他車両203を認識するための機械学習に利用することができる。
【0014】
図2(c)は、カメラ20に魚眼レンズを用いた場合に、遠方の領域に存在する他車両203を撮影して得られた撮影画像の例である。図2(c)の撮影画像は、自車両の右サイドミラーの部分に設置されたカメラ20に魚眼レンズを用いて、自車両の右側後方から他車両203が接近してくる状況を示している。この撮影画像には、図2(b)と同様に、第1検知部101において機械学習に利用する画像を切り出すための切り出し領域205が設定されている。すなわち、図2(c)に例示した魚眼レンズによる撮影画像は、一般的なレンズによる撮影画像とは異なり、上下左右方向の広範囲を撮影できるという利点がある。こうした魚眼レンズによる撮影画像からも、機械学習に利用する画像を切り出すことができる。
【0015】
第1検知部101は、カメラ20より入力された撮影画像から、自車両に対して遠方の領域に存在する他車両の候補を検知し、他車両候補として抽出する。第1検知部101は、たとえば機械学習の手法を適用した検出器を利用して、撮影画像から他車両の候補を検知する。
【0016】
図3は、第1検知部101の検出器を生成する際に用いられる学習用画像の例を示す図である。図3(a)は、遠方の領域に他車両203が存在する場合の学習用画像の例であり、図3(b)は、他車両203が存在しない場合の学習用画像の例である。図3(a)の学習用画像では、地平線201に近い遠方領域において道路202の上に他車両203が映り込んでいるのに対して、図3(b)の学習用画像では、他車両203の映り込みがない。なお、図3(a)の学習用画像は、前述のように図2(b)の撮影画像から切り出し領域205の部分を切り出した画像である。
【0017】
第1検知部101では、以上説明したような2種類の学習用画像を用いた事前学習により構成される機械学習型検出器を用いることで、自車両から遠方の領域に存在する他車両を撮影画像上で認識し、これを他車両候補として抽出することができる。なお、実際の運用時には、他車両の種類や向き等に応じて撮影画像内に映り込む他車両の形態が様々に変化する。したがって、実用的な検知性能を得るためには、他車両が存在する場合と存在しない場合とで、学習用画像をそれぞれ複数枚、たとえば数千枚から数万枚ずつ用意することが好ましい。
【0018】
ここで、図2(c)のようにカメラ20に魚眼レンズを用いた場合には、魚眼レンズは一般的なレンズと比較して、レンズ集光特性を変形させて撮像範囲を広げている。そのため、得られる撮影画像には歪みが生じ、画像の上下左右端に近い領域、すなわち自車両に対して遠方の領域に近づくほど、画像の解像度が低下する傾向がある。しかし、本実施形態の画像処理装置10では、第1検知部101において道路上に他車両が存在することを見分ければよく、他車両の形状までも見分ける必要はない。そのため、解像度が低い場合でも安定した検知結果を得ることが可能である。
【0019】
ところで、第1検知部101において利用される機械学習とは、一般に、検知対象とする対象物の画像を複数枚入力して、そこから対象物を表現する画像特徴を抽出すると共に、未知の入力画像に対しては、学習した画像特徴を検出して識別できるように識別器のパラメータを自動設定する処理手法のことである。このような処理手法の具体例としては、たとえばDeep Learning(深層学習)が知られている。Deep learningでは、入力された複数画像が共通して持つ画像の特徴パラメータを細分して自動的に抽出することができる。また、特徴パラメータの抽出方法の一例としては、ニューラルネットワーク構造を用いた特徴抽出方法が知られている。ニューラルネットワーク構造では、入力画像群に共通な画像特徴に一致したときにのみ反応する、ニューロン・ユニットと呼ばれる入出力関数(活性化関数)が、小画像領域毎に多数組み合わされており、さらにこれが複数の層状に積み重ねられてピラミッド構造になっている。この方法によれば、検知対象とする対象物の位置や画像サイズを変えながら、段階的に対象物を識別できるようにニューロン・ユニットの各層毎に識別器パラメータを抽出して、最終的には、対象物全体を識別可能な識別器パラメータを得ることができる。
【0020】
図4は、撮影画像における遠方領域と近傍領域の設定例を示す図である。第1検知部101は、図4に示すように、たとえば撮影画像上の所定の位置に境界線401を設定し、道路202上で境界線401から地平線201までの範囲を遠方領域R1、境界線401から画像下端までの範囲を近傍領域R2にそれぞれ設定する。そして、遠方領域R1を対象に上記の処理を行うことで、他車両候補を抽出し、その位置、形状、大きさ等の情報を、他車両候補の抽出結果を示す情報として検証部102へ出力する。
【0021】
なお、撮影画像における遠方領域と近傍領域の範囲は、基本的にはそれぞれ任意に設定してよい。しかし現実的には、第2検知部104の最大検知距離、すなわち後述のような方法で第2検知部104が撮影画像から他車両を検知可能な自車両と他車両の距離の最大値に合わせて、これらの領域範囲を設定することが望ましい。具体的には、撮影画像上で第2検知部104の最大検知距離に対応する位置に境界線401を設定し、これより上側にある画像領域、すなわち第2検知部104が他車両を検知できない領域を遠方領域R1、下側の画像領域を近傍領域R2にそれぞれ設定すればよい。
【0022】
検証部102は、第1検知部101で抽出された他車両候補について、これが実際に検知対象物としての他車両である可能性を検証する。検証部102は、カメラ20より所定時間ごとに入力された複数枚の撮影画像を用いて、第1検知部101で抽出された他車両候補が実際に他車両であるか否かを検証する。具体的には、検証部102は、複数の撮影画像から他車両候補の動きを示す動きベクトルを求め、この動きベクトルの特徴に基づいて他車両候補が他車両である可能性を検証する動きベクトル検証処理を行う。さらに、複数の撮影画像における他車両候補を含む画像領域の空間周波数分布を求め、この空間周波数分布の特徴に基づいて他車両候補が他車両である可能性を検証する空間周波数検証処理を行う。
【0023】
図5は、検証部102における動きベクトル検証処理を説明する図である。動きベクトル検証処理では、第1検知部101により他車両候補が抽出され、その抽出結果を示す情報が第1検知部101から出力されると、検証部102は、それ以降にカメラ20から入力される複数枚の撮影画像において、第1検知部101からの情報に基づいて他車両候補を追跡することにより、他車両候補の動きベクトルを抽出する。たとえば図5(a)に示すように、時刻T1において遠方領域R1内で他車両候補501が検知されたとする。この場合、時刻T1における他車両候補501の位置を起点に、時刻T2、T3、T4でそれぞれ得られた撮影画像から他車両候補501を追跡することで、動きベクトル503を抽出することができる。
【0024】
上記のようにして他車両候補の動きベクトルを抽出できたら、次に検証部102は、その動きベクトルの軌跡が現実的な車両の動きに相当するか否かを判断する。たとえば、図5(b)に示すように、実空間上ではほぼ等間隔に相当する間隔で直線状の軌跡を有する動きベクトル503が抽出された場合や、図5(c)に示すように、実空間上ではほぼ等間隔に相当する間隔で緩やかにカーブした軌跡の動きベクトル504が抽出された場合には、これらの動きベクトルが車両らしい動きを示しているとして、検知された他車両候補が実際に他車両である可能性が高いと判断できる。一方、図5(d)に示すように、実空間上ではほぼ等間隔に相当する間隔ではあるが方向が急激に変化する軌跡の動きベクトル505が抽出された場合や、図5(e)に示すように、方向はほぼ一定であるが間隔が急激に変化する軌跡の動きベクトル506が抽出された場合には、これらの動きベクトルが車両らしくない動きを示しているとして、検知された他車両候補が実際に他車両である可能性が低いと判断できる。検証部102が実行する動きベクトル検証処理では、これ以外にも様々な動きベクトルの軌跡について、現実的な車両の動きとの合致度合いから車両らしさを判断する。これにより、第1検知部101で抽出された他車両候補が実際に検知対象物の他車両であるか、それとも何か別の物体を誤って検知したものであるかを検証することができる。
【0025】
なお、図5では、時刻T1から時刻T4までの4枚の撮影画像から他車両候補501の動きベクトルを抽出する例を説明したが、動きベクトルを抽出する際に参照する撮影画像の枚数はこれに限らず、任意の枚数とすることができる。
【0026】
図6は、検証部102における空間周波数検証処理を説明する図である。空間周波数検証処理では、第1検知部101により他車両候補が抽出されると、検証部102は、それ以降にカメラ20から入力される複数枚の撮影画像のそれぞれについて、他車両候補を含む画像領域を特定する。このときには、前述の動きベクトル検証処理において求めた他車両候補の動きベクトルを利用することが好ましいが、動きベクトルを利用しない他の方法を用いてもよい。そして、各撮影画像で特定した画像領域の空間周波数を解析することで、その画像領域内に実際に車両が存在するか否かを判断する。なお、空間周波数とは、2次元画像における空間的な周期をもつ波長構造の性質を示す情報であり、たとえばフーリエ変換を用いて求めることができる。具体的には、図6に示すように、撮影画像内に特定された画像領域の各画素の値を水平方向の周波数成分と垂直方向の周波数成分に変換して数値化することにより、空間周波数を求めて可視化することが可能である。
【0027】
ここで、図6では、水平方向の画素数が20、垂直方向の画素数が14の画像領域について求められた空間周波数画像の例を示している。すなわち、フーリエ変換を行うことで、元の画像領域と同じサイズの画像が空間周波数成分を示す画像として得られる。この空間周波数画像では、画像中心に近いほど水平および垂直の空間周波数が低く、画像中心から遠ざかるほど水平および垂直の空間周波数が高いことを表しており、各周波数成分の含有量が大きいほど白く、各周波数成分の含有量が小さいほど黒く表示される。なお、フーリエ変換の特性上、空間周波数画像では図6に示すように、画像中心に対して4つの象限に点対称の象限画像がそれぞれ得られる。しかし、これらの象限画像はほぼ同じ空間周波数成分結果を表現しているので、いずれか一つの象限画像、たとえば右上の第1象限にある象限画像のみに注目すればよい。
【0028】
図6(a)は、たとえば図3(a)に例示した学習用画像のように、道路上にいる他車両が映り込んだ撮影画像について空間周波数成分を可視化した例である。画像内に他車両が存在する場合には、他車両の幾何学的な形状が画像内に一定範囲で存在するため、図6(a)に示すように、空間周波数は低い周波数から高い周波数まで広く分布する。したがって、他車両候補を含む画像領域の空間周波数の状況が図6(a)と同様の傾向を示す場合には、実際に他車両が存在する可能性が高いと判断できる。
【0029】
図6(b)は、たとえば図3(b)に例示した学習用画像のように、他車両が映り込んでいない撮影画像について空間周波数成分を可視化した例である。画像内に他車両が存在しない場合には、道路のみの均一的な画像模様となるため、図6(b)に示すように、空間周波数はほとんど高周波数成分が存在せず、画像中心の低周波数成分付近のみに集中する分布となる。したがって、他車両候補を含む画像領域の空間周波数の状況が図6(b)と同様の傾向を示す場合には、実際に他車両が存在する可能性が低いと判断できる。
【0030】
検証部102は、以上説明したような2種類の処理を実行することにより、それぞれ異なる時刻にカメラ20で撮影して得られた複数の撮影画像に基づいて、第1検知部101で抽出された他車両候補が他車両である可能性を検証することができる。そして、動きベクトル検証処理と空間周波数検証処理のそれぞれの検証結果に基づいて、他車両候補が他車両であることの確からしさに関する検証スコアを算出し、決定部103および設定変更部105に出力する。具体的には、検証部102は、動きベクトル検証処理による現実的な他車両の動きとの合致度合いに応じた検証スコアSC1と、空間周波数検証処理による他車両の存在可能性に応じた検証スコアSC2とを算出し、さらにこれらを足し合わせることで合計検証スコアTSCを算出して、決定部103および設定変更部105に出力する。
【0031】
決定部103は、検証部102による検証結果に基づいて、第2検知部104が最新の撮影画像から他車両の検知を行うか否かを決定する。具体的には、決定部103は、検証部102により算出された合計検証スコアTSCの値と、予め設定されたしきい値THとを比較する。その結果、合計検証スコアTSCがしきい値THよりも大きく、かつ、最新の撮影画像における他車両候補の位置が第2検知部104の検知領域、すなわち前述の近傍領域R2内にある場合は、第2検知部104が実行する車両検知処理によって他車両候補が実際に他車両であるか否かを確定するために、第2検知部104に対する動作指示を行う。一方、これらの条件のいずれか少なくとも一方を満たさない場合は、他車両候補が実際に他車両であるか否かを確定する必要がないと判断して、第2検知部104に対する動作指示を行わない。
【0032】
第2検知部104は、第1検知部101で他車両候補が抽出された後に取得された最新の撮影画像に基づいて、他車両候補が実際に他車両であるか否かを識別することにより、自車両の周囲に存在する他車両を検知する。第2検知部104は、最新の撮影画像に対して所定の車両検知処理を実行することにより、他車両候補が他車両であるか否かを識別する。具体的には、第2検知部104は、たとえば第1検知部101で説明したのと同様の機械学習型検出器を用いて、他車両候補が実際の車両としての特徴を有するか否かを判断することにより、他車両であるか否かを識別することができる。このとき、第1検知部101のように単に道路上に他車両が存在することを見分けるのではなく、他車両候補として抽出された画像部分の色や形状等の特徴に基づいて、実際の車両に該当するか否かを識別することが好ましい。最新の撮影画像から他車両を検知したら、第2検知部104は、他車両が接近していることを表す車両接近信号を出力する。また、たとえば撮影画像が全体的に暗いなど、他車両を検知するのが困難な状況のときには、検知FAIL信号を出力する。
【0033】
設定変更部105は、検証部102により算出された合計検証スコアTSCの値に基づいて、第2検知部104が最新の撮影画像から他車両の検知を行う際の感度設定値を動的に変更する。具体的には、合計検証スコアTSCの値が高くなるほど、第2検知部104が他車両を検知しやすくなるように、第2検知部104が実行する車両検知処理における感度設定値CCを変化させる。
【0034】
図7は、合計検証スコアTSCと感度設定値CCとの関係を示す特性曲線の例を示す図である。図7において特性曲線700に示すように、合計検証スコアTSCの値が低い場合には、他車両候補が実際に他車両である確度が低い状態と考えられるため、第2検知部104における感度設定値CCを低く設定して、第2検知部104の誤検知を防止する。一方、これとは逆に、合計検証スコアTSCの値が高い場合には、他車両候補が実際に他車両である確度が高い状態と考えられるため、第2検知部104における感度設定値CCを高く設定して、第2検知部104の検知漏れを防止する。なお、図7の特性曲線700の例では、合計検証スコアTSCが所定の値TSCnの場合に、感度設定値CCをCCmに設定することを示している。設定変更部105による感度設定値の変更は、画像処理装置10が他車両の検知を行っている間に、動的に実行することが好ましい。
【0035】
図8は、本発明の第1の実施形態に係る画像処理装置10の処理フローを示す図である。ステップ800では、自車両のイグニッションがONになったか否かを判定し、イグニッションがONでない場合は、ONになるまで待機状態を維持する。イグニッションがONの場合は、処理をステップ801に進める。
【0036】
ステップ801では、画像処理装置10の初期化が既に実行されたか否かを判定する。初期化済みであれば処理をステップ804に進め、初期化済みでなければ処理をステップ802に進める。ステップ802では、所定の初期化処理を実行し、次のステップ803では、カメラ20の撮影画像上に、図4に例示した遠方領域R1および近傍領域R2を設定する。
【0037】
続いてステップ804では、カメラ20により取得された撮影画像を第1検知部101に入力し、ステップ805では、第1検知部101により、ステップ804で入力された撮影画像から遠方領域R1内にいる他車両候補を検知して抽出する。ステップ806では、ステップ805で他車両候補が抽出されたか否かを判定する。他車両候補が抽出された場合は処理をステップ807へ進め、抽出されていない場合は処理をステップ804に戻して次の撮影画像を入力する。
【0038】
ステップ807では、検証部102により動きベクトル検証処理を行い、処理結果に応じた検証スコアSC1を算出する。ステップ808では、ステップ807で算出した動きベクトルを用いて、ステップ805で抽出した他車両候補の位置を算出および追跡する。ステップ809では、検証部102により空間周波数検証処理を行い、処理結果に応じた検証スコアSC2を算出する。ステップ810では、ステップ807で算出した検証スコアSC1の値と、ステップ809で算出した検証スコアSC2の値とを合計し、合計検証スコアTSCを算出する。
【0039】
ステップ811では、決定部103により、ステップ808で求めた他車両候補の位置と、ステップ810で求めた合計検証スコアTSCの値とに基づいて、ステップ805で抽出した他車両候補が最新の撮影画像では近傍領域R2内に存在するか否かを判定する。ここでは、合計検証スコアTSCの値を予め設定されたしきい値THと比較して、合計検証スコアTSCがしきい値THよりも大きく、かつ、他車両候補の位置が近傍領域R2内である場合に、他車両候補が近傍領域R2内に存在すると判断し、処理をステップ812に進める。一方、これらの条件の一方または両方を満たさない場合には、他車両候補が近傍領域R2内には存在しないと判断し、処理をステップ804に戻して次の撮影画像を入力する。
【0040】
ステップ812では、第2検知部104により、ステップ804で入力された撮影画像に基づいて、ステップ805で抽出した他車両候補が実際の他車両であるか否かを識別することにより、他車両を検知する。ステップ813では、ステップ812で他車両が検知されたか否かを判定する。他車両が検知された場合は処理をステップ814へ進め、抽出されていない場合は処理をステップ804に戻して次の撮影画像を入力する。
【0041】
ステップ813が肯定判定されることで他車両の存在が確定した場合、ステップ814では、ユーザに対して警報を行うための所定の警報処理を行う。ここでは、たとえば自車両と他車両との距離を算出し、その距離に基づいて、他車両が自車両に接近している旨を自車両の運転者であるユーザに報知する。ステップ815では、所定の動作終了条件に基づいて画像処理装置10の動作を終了するか否かを判定する。その結果、動作継続と判定した場合は処理をステップ804に戻し、動作終了と判定した場合は図8に示す処理フローを終了する。
【0042】
以上説明した本発明の第1の実施形態によれば、以下の作用効果を奏する。
【0043】
(1)画像処理装置10は、第1検知部101と、第2検知部104とを備える。第1検知部101は、第1の時刻にカメラで撮影して得られた第1の撮影画像から、カメラ20に対して第1の距離だけ離れた地点に相当する遠方領域R1内に存在する対象物すなわち他車両の候補を抽出する(ステップ805)。第2検知部104は、第1の時刻よりも後の第2の時刻にカメラ20で撮影して得られた第2の撮影画像から、カメラ20に対して第1の距離よりも近い第2の距離だけ離れた地点に相当する近傍領域R2内に存在する対象物すなわち他車両を検知する(ステップ812)。このとき、第2検知部104は、第2の撮影画像に基づいて、第1検知部101により抽出された他車両の候補が他車両であるか否かを識別することにより、対象物としての他車両を検知する。このようにしたので、自車両の遠方から近傍に接近してくる他車両を撮影画像において正確に検知できる。
【0044】
(2)画像処理装置10は、検証部102と、決定部103とをさらに備える。検証部102は、それぞれ異なる時刻にカメラ20で撮影して得られた複数の撮影画像に基づいて、対象物である他車両の候補が他車両である可能性を検証する(ステップ807、809、810)。決定部103は、検証部102による検証結果に基づいて、第2検知部104が他車両の検知を行うか否かを決定する(ステップ811)。このようにしたので、第2検知部104による他車両の検知を適切なタイミングで実行できるため、正確な検知結果を得ることができる。
【0045】
(3)検証部102は、ステップ807、809において、他車両の候補が他車両であることの確からしさに関する検証スコアSC1、SC2をそれぞれ算出する。決定部103は、ステップ811において、検証部102により算出された検証スコアSC1、SC2を合計した合計検証スコアTSCに基づいて、第2検知部104が他車両の検知を行うか否かを決定する。このようにしたので、決定部103において、検証部102による検証結果を正確に反映した決定を行うことができる。
【0046】
(4)検証部102は、ステップ807、809において、複数の撮影画像における他車両の候補の動きを示す動きベクトルと、複数の撮影画像における他車両の候補を含む画像領域の空間周波数とに基づいて、検証スコアSC1、SC2をそれぞれ算出する。このようにしたので、他車両の候補が他車両であることの確からしさを正確に反映した検証スコアSC1、SC2を得ることができる。
【0047】
(5)画像処理装置10は、合計検証スコアTSCに基づいて第2検知部104が他車両を検知する際の感度設定値を動的に変更する設定変更部105をさらに備える。このようにしたので、状況に応じて第2検知部104の誤検知や検知漏れを適切に防止することができる。
【0048】
−第2の実施形態−
図9は、本発明の第2の実施形態に係る外界認識装置の一例を示す図である。図9に示すように、本実施形態の外界認識装置900は、第1の実施形態で説明した画像処理装置10と、周辺認識部901、信号処理部902およびドライバー通知部903とを備える。外界認識装置900は、画像処理装置10と同様に自車両に搭載されたカメラ20に接続されると共に、自車両に搭載された制御部911、メモリ912、自車両制御部913、LED914、スピーカ915、ディスプレイ916およびカーナビゲーション装置917にも接続されている。なお、画像処理装置10と他の各機器とは、自車両内の信号バスを介して互いに接続されている。
【0049】
カメラ20は、自車両周辺の撮影画像を取得し、外界認識装置900内の画像処理装置10に出力する。メモリ912は、カメラ20が取得した撮像画像を一時的に保持する。制御部911は、カメラ20と外界認識装置900の間における撮影画像の入出力や、外界認識装置900と自車両制御部913の間における車両制御信号の入出力を制御する。
【0050】
画像処理装置10は、第1の実施形態で説明したように、自車両の周囲に存在する他車両を検知し、その検知結果に基づく車両接近信号を周辺認識部901に出力する。また、他車両を検知するのが困難な状況のときには、検知FAIL信号を周辺認識部901に出力する。
【0051】
周辺認識部901は、画像処理装置10から車両接近信号が出力されると、これに基づいて、自車両の周囲環境を認識するための周辺認識処理を実行する。たとえば、カメラ20の撮影画像を用いて自車両の近傍および遠方の周辺空間を解析し、バイクや自転車を含む他車両および歩行者の有無を認識したり、自車両の走行や駐車の妨げになる障害物体の有無を認識したりする。また、他車両や歩行者が自車両に急接近している場合にはこれを検知して自車両との衝突を予測したり、自車両と障害物との衝突を予測したりする。さらに、自車両が走行中に車線逸脱した場合に警報を出す車線逸脱警報処理や、自車両のドライバーの死角に人や他車両が入り込んでいた場合に警報を出す死角警報処理などを、周辺認識処理に含めてもよい。周辺認識部901は、周辺認識処理の実行結果に基づく検知結果や警報情報を信号処理部902に出力すると共に、自車両のドライバーに対する通知情報を必要に応じてドライバー通知部903に出力する。
【0052】
信号処理部902は、周辺認識部901から出力された検知結果および警報情報に基づいて、自車両の動作を制御するための車両制御信号を生成し、自車両制御部913に送信する。自車両制御部913は、信号処理部902から受信した車両制御信号に基づいて自車両の動作を制御することで、他車両や歩行者との衝突を回避するために自車両を停止させたり、障害物との衝突を回避するために自車両の進行方向を変化させたりする。
【0053】
ドライバー通知部903は、周辺認識部901から出力された通知情報に基づいて、自車両のドライバーに対する警告を行うための警報信号を生成し、LED914、スピーカ915、ディスプレイ916、カーナビゲーション装置917のいずれかに送信する。LED914、スピーカ915、ディスプレイ916、カーナビゲーション装置917の各機器は、ドライバー通知部903から受信した警報信号を受信すると、これに基づいて所定の表示や音声出力を行うことで、自車両のドライバーに対して、自車両に接近している他車両や歩行者、障害物等の存在を警告する。
【0054】
なお、画像処理装置10から検知FAIL信号が出力されているときには、画像処理装置10において他車両を検知するのが困難であると判断されるため、周辺認識部901は画像処理装置10の動作を一時的または連続して停止させることが好ましい。周辺認識部901は、画像処理装置10に対してON/OFF制御信号を出力することで、画像処理装置10の動作を開始または停止させることができる。さらにこのとき、周辺認識部901からドライバー通知部903へ通知情報を出力し、これに基づいてドライバー通知部903が警報信号を生成してLED914、スピーカ915、ディスプレイ916、カーナビゲーション装置917のいずれかに送信することで、画像処理装置10の動作が停止していることを自車両のドライバーに通知してもよい。
【0055】
以上説明した本発明の第2の実施形態によれば、外界認識装置900は、画像処理装置10を備える。また、周辺認識部901、信号処理部902およびドライバー通知部903により、画像処理装置10内の第2検知部104による他車両の検知結果に基づいて、自車両の運転者に対する警告を行うための警報信号および自車両の動作を制御するための車両制御信号のいずれか少なくとも一つを出力する。このようにしたので、自車両の周囲環境を正確に認識することができる。
【0056】
なお、以上説明した各実施の形態では、撮影画像から検知する対象物を自車両周囲に存在する他車両としたが、対象物はこれに限定されず、他の物体を対象物としてもよい。また、車両に搭載されたカメラ20で取得した撮影画像を用いて対象物を検知する例を説明したが、撮影画像を取得するカメラは車両に搭載されたものに限らない。たとえば、街頭監視等に用いられるカメラなど、車載以外の様々な用途のカメラで取得された撮影画像を用いて、対象物を検知することができる。
【0057】
以上説明した実施形態や各種の変化例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されない。本発明は、上述した実施形態や変形例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
【符号の説明】
【0058】
10 画像処理装置
20 カメラ
101 第1検知部
102 検証部
103 決定部
104 第2検知部
105 設定変更部
900 外界認識装置
901 周辺認識部
902 信号処理部
903 ドライバー通知部
図1
図2
図3
図4
図5
図6
図7
図8
図9