特許 6266238 接近物検出システム、及び車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6266238

(24)【登録日】2018年1月5日

(45)【発行日】2018年1月24日

(54)【発明の名称】接近物検出システム、及び車両

(51)【国際特許分類】

   G08G 1/16 20060101AFI20180115BHJP

   B60R 1/00 20060101ALI20180115BHJP

   G06T 7/00 20170101ALI20180115BHJP

   H04N 7/18 20060101ALN20180115BHJP

【ＦＩ】

   G08G1/16 C

   B60R1/00 A

   G06T7/00 C

   !H04N7/18 J

【請求項の数】5

【全頁数】21

(21)【出願番号】特願2013-139436(P2013-139436)

(22)【出願日】2013年7月3日

(65)【公開番号】特開2015-14819(P2015-14819A)

(43)【公開日】2015年1月22日

【審査請求日】2016年5月13日

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】110001678

【氏名又は名称】特許業務法人藤央特許事務所

(72)【発明者】

【氏名】中村 克行

(72)【発明者】

【氏名】秋山 靖浩

(72)【発明者】

【氏名】入江 耕太

【審査官】 東 勝之

(56)【参考文献】

【文献】 特開２０１０−１０９４８３（ＪＰ，Ａ）

【文献】 特開２００９−２３７８８７（ＪＰ，Ａ）

【文献】 特開平０９−２８２４５２（ＪＰ，Ａ）

【文献】 特開２０１０−１５７１１８（ＪＰ，Ａ）

【文献】 特開２０１０−２６８５２０（ＪＰ，Ａ）

【文献】 特開２０１１−１１８４８２（ＪＰ，Ａ）

【文献】 特開２００９−１５１５２４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００ − １／１６

Ｂ６０Ｒ １／００

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

撮像装置によって撮像された撮像画像に基づいて接近物を検出する接近物検出システムであって、
前記撮像画像から一端側の部分画像と他端側の部分画像とを抽出する抽出部と、
前記抽出部によって抽出された部分画像の歪みを補正する歪み補正部と、
設定された物体の画像情報を参照し、前記歪み補正部によって歪みが補正された部分画像からパターンマッチングを用いて物体を検出する物体検出部と、
前記物体検出部の検出結果に基づいて接近物を識別する接近物識別部と、を有し、
前記接近物識別部は、
前記物体検出部によって検出された物体の特徴量を算出し、
前記算出された物体の特徴量の時間経過による変化量に基づいて、前記物体が接近物か否かを識別し、
前記接近物検出システムは、前記撮像装置の姿勢を推定する姿勢推定部を有し、
前記接近物識別部は、
前記歪み補正部によって歪みが補正された部分画像から前記物体検出部によって検出された物体の接地点を特定し、
前記姿勢推定部によって推定された前記撮像装置の姿勢、及び前記特定された物体の接地点に基づいて、前記撮像装置から前記物体までの相対距離を算出し、
前記算出した相対距離、及び前記物体検出部によって検出された物体の種別に基づいて、前記物体の画素数を推定し、
前記推定された画素数と前記物体の実際の画素数との差を考慮して、前記物体が接近物か否かを判定することを特徴とする接近物検出システム。

【請求項2】

請求項１に記載の接近物検出システムであって、
前記接近物識別部は、前記物体の特徴量として、前記物体の前記部分画像上での横幅、前記物体の前記部分画像上での縦幅、前記物体の接地点の座標、前記物体の動きベクトル、エッジ強度、テクスチャ周波数、矩形の拡大率、及び前記物体の前記部分画像上での実際の画素数の少なくとも一つを算出することを特徴とする接近物検出システム。

【請求項3】

撮像装置によって撮像された撮像画像に基づいて接近物を検出する接近物検出システムであって、
前記撮像画像から一端側の部分画像と他端側の部分画像とを抽出する抽出部と、
前記抽出部によって抽出された部分画像の歪みを補正する歪み補正部と、
設定された物体の画像情報を参照し、前記歪み補正部によって歪みが補正された部分画像からパターンマッチングを用いて物体を検出する物体検出部と、
前記物体検出部の検出結果に基づいて接近物を識別する接近物識別部と、
前回接近物として識別された物体と前記歪み補正部によって歪みが補正された部分画像とを比較して物体を追跡する物体追跡部と、
前記物体検出部による検出結果と前記物体追跡部による追跡結果とに基づいて、前記検出結果と前記追跡結果との間の整合性を判定する統合判定部と、を有し、
前記統合判定部は、
前記物体検出部で物体を新たに検出し、かつ、前記物体検出部で新たに検出された物体が前回接近物として識別された物体であり、前記物体追跡部で当該物体が追跡されている場合、前記検出結果と前記追跡結果との間の整合性がないと判定し、
前記検出結果と前記追跡結果との間の整合性がないと判定された場合、前記前回接近物として識別された物体の位置から現在の位置を予測し、
前記物体検出部による検出結果、及び前記物体追跡部による追跡結果のうち、前記予測した現在の位置に近い方に物体が位置する結果を前記接近物識別部に出力することを特徴とする接近物検出システム。

【請求項4】

請求項１に記載の接近物検出システムであって、
前記物体検出部が参照する物体の画像情報は、昼用の画像情報と夜用の画像情報とを含み、
前記物体検出部は、
前記撮像装置のゲイン情報に基づいて昼か夜かを判定し、
前記判定結果が昼である場合には、前記昼用の画像情報を参照し、前記物体を検出し、
前記判定結果が夜である場合には、前記夜用の画像情報を参照し、前記物体を検出することを特徴とする接近物検出システム。

【請求項5】

請求項１に記載の接近物検出システムであって、
前記物体検出部は、
前記歪み補正部によって歪みが補正された部分画像の複数の特徴量が入力される複数の入力層と、
前記複数の入力層からの出力と重み付け係数とを線形統合した結果を非線形変換する複数の隠れ層と、
前記隠れ層による変換結果に基づいて、各物体の識別確率を算出する複数の出力層と、を有し、
前記出力層の数は、前記物体検出部が検出する物体の数であることを特徴とする接近物検出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置によって撮像された撮像画像に基づいて接近物を検出する接近物検出システムに関する。

【背景技術】

【0002】

交通事故による死傷者数を低減するため、事故を未然に防ぐ予防安全システムの開発が進められている。予防安全システムは、事故が発生する可能性が高い状況下で作動するシステムであり、例えば、自車両の後方に取り付けられたビューカメラによって移動体（車両、歩行者、及び二輪車等）を検出し、移動体と衝突する可能性が生じた場合に警報によって運転者に注意を促すシステムが実用化されている。

【0003】

このような技術分野の背景技術として、国際公開第２０１３／０４６４０９号（特許文献１）がある。

【0004】

特許文献１には、「後方広角カメラ１１と、後方広角カメラ１１が撮影した後方画像を表示するＥＣＵ２０及びディスプレイ３０とを備えた運転支援表示装置１において、ＥＣＵ２０の表示制御部２５及びディスプレイ３０は、後方画像を左右の後側方画面２０４及び中央の後方画面２０２に分割して表示し、中央の後方画面２０２の画像について、画像と所定のパターンとの照合を行うことにより画像に写った物体を検出し、左右の後側方画面２０４の画像について、画像中の点が時間の経過とともに動く方向と速さとを解析することにより画像に写った物体を検出し、検出された物体の存在を示す移動物接近検出枠２１０又は歩行者検出枠２１２を表示する。このため、自車両１００正面近傍で停止している人等をパターンマッチングの手法で検出し、自車両１００側方の遠方から接近してくる車両等をオプティカルフローの手法により検出して、検出した車両又は人等の存在をドライバーに報知することができる。」と記載されている（要約参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開第２０１３／０４６４０９号

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記した予防安全システムでは、運転手がブレーキをかけるために、接近物をできるだけ早い段階で検出したいという要望がある。

【0007】

しかしながら、特許文献１では、側方接近物はオプティカルフローを用いて検出されるが、オプティカルフローでは画像上の見た目の動き量が小さい物体の検出が困難であるという課題がある。この装置を車両に搭載した場合、側方接近物が自車量にある程度近づかなければ、当該接近物検出できず、上記した要求を満足できない。

【0008】

本発明は、接近物をできるだけ早い段階で検出する接近物検出システムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の代表的な一例を示せば、撮像装置によって撮像された撮像画像に基づいて接近物を検出する接近物検出システムであって、前記撮像画像から一端側の部分画像と他端側の部分画像とを抽出する抽出部と、前記抽出部によって抽出された部分画像の歪みを補正する歪み補正部と、設定された物体の画像情報を参照し、前記歪み補正部によって歪みが補正された部分画像からパターンマッチングを用いて物体を検出する物体検出部と、前記物体検出部の検出結果に基づいて接近物を識別する接近物識別部と、を有することを特徴とする。

【発明の効果】

【0010】

本願において開示される発明のうち代表的なものによって得られる効果を簡潔に説明すれば、下記の通りである。すなわち、接近物をできるだけ早い段階で検出する接近物検出システムを提供できる。

【0011】

上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施例１の接近物検出システムのブロック図である。

【図2】本発明の実施例１の広角カメラによる撮像画像の説明図である。

【図3】本発明の実施例１の接近物検出システムで実行される処理のフローチャートである。

【図4】本発明の実施例１の物体検出部の説明図である。

【図5A】本発明の実施例１の物体識別器の説明図である。

【図5B】本発明の実施例１の物体識別器の変形例の説明図である。

【図6A】本発明の実施例１の接近物識別部の説明図である。

【図6B】本発明の実施例１の接近物識別器の説明図である。

【図7】本発明の実施例１の物体画素数の観測確率の算出処理のフローチャートである。

【図8】本発明の実施例２の車両のブロック図である。

【図9A】本発明の実施例２の車両の前方に広角カメラが設置された場合に接近物検出システムが検出する接近物の例の説明図である。

【図9B】本発明の実施例２の車両の後方に広角カメラが設置された場合に接近物検出システムが検出する接近物の例の説明図である。

【図9C】本発明の実施例２の車両の左側方に広角カメラを設置した場合に接近物検出システムが検出する接近物の例の説明図である。

【図9D】本発明の実施例２の車両の右側方に広角カメラを設置した場合に接近物検出システムが検出する接近物の例の説明図である。

【図10】本発明の実施例３の車両に設置された複数の広角カメラの撮像範囲の説明図である。

【図11】本発明の実施例３の車両に搭載される接近物検出システムの説明図である。

【発明を実施するための形態】

【0013】

以下、実施例を図面を用いて説明する。

【実施例1】

【0014】

図１は、本発明の実施例１の接近物検出システム１０のブロック図である。

【0015】

広角カメラ１は、例えば、車両に搭載され、約１８０度程度の視野角を有する。接近物検出システム１０は、広角カメラ１によって撮像された撮像画像に基づいて車両に接近する接近物を検出し、接近物を検出した場合、警報部２に接近物に関する情報を出力する。

【0016】

接近物検出システム１０は、抽出部１０１、車両姿勢推定部１０２、第１接近物検出部１１、及び第２接近物検出部１２を有する。なお、第１接近物検出部１１及び第２接近物検出部１２を総称する場合には、接近物検出部と記載する。

【0017】

抽出部１０１は、広角カメラ１によって撮像された撮像画像Ｆ_ｔから左端部分画像ＦＬ_ｔ及び右端部分画像ＦＲ_ｔを抽出する。車両姿勢推定部１０２は、車両の姿勢に基づいて広角カメラ１の姿勢を示すカメラ姿勢パラメータＣｐ_ｔを推定する。なお、左端部分画像ＦＬ_ｔ及び右端部分画像ＦＲ_ｔを総称して部分画像と記載する。

【0018】

第１接近物検出部１１は左端部分画像ＦＬ_ｔに基づいて接近物を検出し、第２接近物検出部１２は右端部分画像ＦＲ_ｔに基づいて接近物を検出する。第１接近物検出部１１及び第２接近物検出部１２は、歪み補正部１０３、物体検出部１０４、物体追跡部１０５、統合判定部１０６、及び接近物識別部１０７を有する。

【0019】

以下、第１接近物検出部１１を例に、各構成部の処理について説明する。

【0020】

歪み補正部１０３は、左端部分画像ＦＬ_ｔが入力されると、入力された左端部分画像ＦＬ_ｔを左端部分透視投影画像ＵＬ_ｔに変換することによって、左端部分画像ＦＬ_ｔの歪みを補正し、左端部分透視投影画像ＵＬ_ｔを物体検出部１０４及び物体追跡部１０５に入力する。

【0021】

物体検出部１０４は、左端部分透視投影画像ＵＬ_ｔが入力されると、入力された左端部分透視投影画像ＵＬ_ｔからパターンマッチングを用いて物体を検出する。物体検出部１０４の詳細は、図４並びに図５Ａ及び図５Ｂで詳細を説明する。物体追跡部１０５は、左端部分透視投影画像ＵＬ_ｔが入力されると、入力された左端部分透視投影画像ＵＬ_ｔと前回の接近物識別部１０７による接近物に関する情報である物体情報ＯＬ_ｔ−１とを比較して、物体を追跡する。

【0022】

統合判定部１０６は、物体検出部１０４による物体の検出結果と物体追跡部１０５による物体の追跡結果とに基づいて、検出結果と追跡結果との間の整合性を判定する。具体的な整合性の判定方法については図３で詳細を説明する。

【0023】

接近物識別部１０７は、車両姿勢推定部１０２によるカメラ姿勢パラメータＣｐ_ｔ、及び、物体検出部１０４によって検出された物体の特徴量の時間経過による変化量に基づいて接近物か否かを識別する。

【0024】

なお、第１接近物検出部１１の接近物識別部１０７及び第２接近物検出部１２の接近物識別部１０７の少なくとも一方で接近物が検出された場合、警報部２から警報が出力される。

【0025】

接近物検出システム１０の各部はハードウェアによって構成されてもよいし、ソフトウェアによって構成されていてもよく、ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。

【0026】

図２は、本発明の実施例１の広角カメラ１による撮像画像Ｆ_ｔの説明図である。

【0027】

広角カメラ１は上記したように約１８０度程度の視野角を有し、広角カメラ１が車両の前方又は後方に取り付けられると、車両の左側方から右側方にわたる範囲を撮影でき、広角カメラ１が車両の側方に取り付けられると、車両の前方から後方にわたる範囲を撮影できる。

【0028】

図２では、Ｏはレンズ中心であり、ｆはレンズから撮像素子までの距離である焦点距離であり、θは入射角である。

【0029】

入射角θでレンズに入射した光は、レンズに入射した位置から鉛直に屈折して撮像素子に到達する。撮像素子全面で撮像された画像を撮像画像Ｆ_ｔとする。抽出部１０１は、撮像画像Ｆ_ｔを、任意の入射角θ_Ｌの左側の部分画像、任意の入射角θ_Ｒの右側の部分画像、及び入射角θ_Ｌの右側から入射角θ_Ｒの左側までの部分画像に分割し、入射角θ_Ｌの左側の部分画像を左端部分画像ＦＬ_ｔとして抽出し、入射角θ_Ｒの右側の部分画像を右端部分画像ＦＲ_ｔとして抽出する。なお、図２では、入射角θ_Ｌの右側から入射角θ_Ｒの左側の部分画像は中央部分画像ＦＣ_ｔと図示する。

【0030】

第１接近物検出部１１の歪み補正部１０３は、広角カメラ１の内部パラメータ（例えば、焦点距離ｆ、撮像素子サイズ、及び像高関数等）と広角カメラ１の外部パラメータ（例えば、広角カメラ１の設置位置、及び設置角度）とを用いて、左端部分画像ＦＬ_ｔを左端部分透視投影画像ＵＬ_ｔに変換し、歪みを補正する。同様に、第２接近物検出部１２の歪み補正部１０３は、右端部分画像ＦＲ_ｔを右端部分透視投影画像ＵＲ_ｔに変換し、歪みを補正する。なお、像高関数とは、入射角に対する撮像位置を規定する関数である。

【0031】

図３は、本発明の実施例１の接近物検出システム１０で実行される処理のフローチャートである。

【0032】

まず、接近物検出システム１０は、広角カメラ１によって撮像された撮像画像Ｆ_ｔを取得する（Ｓ３００１）。抽出部１０１は、Ｓ３００１の処理で取得した撮像画像Ｆ_ｔから左端部分画像ＦＬ_ｔ及び右端部分画像ＦＲ_ｔを抽出し（Ｓ３００２）、抽出した左端部分画像ＦＬ_ｔを第１接近物検出部１１に入力し、抽出した右端部分画像ＦＲ_ｔを第２接近物検出部１２に入力する。

【0033】

また、車両姿勢推定部１０２は、広角カメラ１を設置した車両の姿勢の設計値からの変化を推定し、推定した車両の姿勢の変化に基づいて現時刻の広角カメラ１の姿勢を示すカメラ姿勢パラメータＣｐ_ｔを算出する（Ｓ３００３）。なお、例えば、車両姿勢推定部１０２が算出するカメラ姿勢パラメータＣｐ_ｔが示す広角カメラ１の姿勢は広角カメラ１の俯角であるものとする。カメラ姿勢パラメータＣｐ_ｔの算出方法は、例えば、車線逸脱警報及び前方衝突警報等に用いられるカメラ俯角推定方法を利用できる。カメラ俯角推定方法では、例えば、車両姿勢推定部１０２は、広角カメラ１によって撮像された撮像画像Ｆ_ｔから車線を検出し、検出した車線の傾きから広角カメラ１の俯角を算出し、カメラ姿勢パラメータＣｐ_ｔを算出する。

【0034】

第１接近物検出部１１は、入力された左端部分画像ＦＬ_ｔに基づいて広角カメラ１の左側から接近する物体を検出し、第２接近物検出部１２は、入力された右端部分画像ＦＲ_ｔに基づいて広角カメラ１の右側から接近する物体を検出する。第１接近物検出部１１及び第２接近物検出部１２の処理は同じであるため、第１接近物検出部１１の処理を例に説明する。

【0035】

まず、第１接近物検出部１１の歪み補正部１０３は、入力された左端部分画像ＦＬ_ｔの歪み補正し、左端部分透視投影画像ＵＬ_ｔに変換し、左端部分透視投影画像ＵＬ_ｔを物体検出部１０４及び物体追跡部１０５に入力する（Ｓ３００４）。

【0036】

物体検出部１０４は、左端部分透視投影画像ＵＬ_ｔが入力されると、パターンマッチングを用いて、入力された左端部分透視投影画像ＵＬ_ｔから物体を検出し（Ｓ３００５）、検出結果を統合判定部１０６に入力する。物体検出部１０４の処理は図４並びに図５Ａ及び図５Ｂで詳細に説明する。物体検出部１０４による検出結果は、検出された物体の種別（車両、歩行者、及びバイク等）、及び検出された物体の位置の座標等を含む。

【0037】

物体追跡部１０５は、左端部分透視投影画像ＵＬ_ｔが入力されると、前時刻の物体情報（ＯＬ_ｔ−１）と入力された左端部分透視投影画像ＵＬ_ｔとを比較して、物体を追跡し（Ｓ３００６）、追跡結果を統合判定部１０６に入力する。例えば、物体追跡部１０５は、前時刻の物体情報（ＯＬ_ｔ−１）の各物体の画像を左端部分透視投影画像ＵＬｔ上で検出することによって、物体を追跡する。なお、物体追跡部１０５による追跡結果は、追跡された物体の種別及び追跡された物体の現在の位置の座標等を含む。

【0038】

なお、物体追跡部１０５が前時刻の物体情報（ＯＬ_ｔ−１）と左端部分透視投影画像ＵＬ_ｔとの比較に用いる評価尺度としては、例えば、ＳＡＤ（Sum of Absolute Difference）、正規化相互相関、エッジベースの評価尺度、及び尤度情報等の少なくとも一つを用いることができる。

【0039】

統合判定部１０６は、物体検出部１０４による検出結果及び物体追跡部１０５による追跡結果が入力されると、入力された検出結果及び追跡結果に基づいて、検出結果と追跡結果との間の整合性を判定する（Ｓ３００７）。例えば、物体検出部１０４が新たに検出した物体が物体追跡部１０５で追跡されている場合、物体が新たに検出されたにもかかわらず、当該物体を前回の物体情報ＯＬ_ｔ−１から追跡できているので、統合判定部１０６は検出結果と追跡結果との間の整合性がないと判定される。なお、前回の物体情報ＯＬ_ｔ−１は、接近物識別部１０７で接近物であると識別された物体に関する情報であり、例えば、当該物体の位置の座標等を含む。物体が物体追跡部１０５で追跡されている場合とは、物体追跡部１０５が、前時刻の物体情報（ＯＬ_ｔ−１）の各物体の画像を左端部分透視投影画像ＵＬｔ上で検出している場合をいう。

【0040】

統合判定部１０６は、検出結果と追跡結果との間の整合性がないと判定した場合、前回の物体情報ＯＬ_ｔ−１に含まれる物体の位置から当該物体の現在の位置を予測し、物体検出部１０４による検出結果及び物体追跡部１０５による追跡結果のうち予測した位置に近い方に物体が位置する結果を接近物識別部１０７に出力する。なお、統合判定部１０６は、物体検出部１０４による検出結果及び物体追跡部１０５による追跡結果のうち予測した位置に遠い方に物体が位置する結果を誤検出と判断し、当該結果を破棄する。これによって、物体検出部１０４又は物体追跡部１０５が物体を誤検出している場合であっても、当該誤検出を修正できる。

【0041】

次に、接近物識別部１０７は、物体検出部１０４及び物体追跡部１０５によって検出された物体の特徴ベクトル（特徴量）を算出する（Ｓ３００８）。接近物識別部１０７は、例えば特徴ベクトルとして、物体の画像上の横幅及び縦幅、物体の接地点座標、物体のエッジ強度、テクスチャ周波数、矩形の拡大率、及び物体の実際の画素数（物体画素数）等の少なくとも一つを算出する。

【0042】

接近物識別部１０７は、Ｓ３００８の処理で算出された特徴ベクトルの時系列の変化に基づいて、物体検出部１０４及び物体追跡部１０５によって検出された物体が接近物か否か（換言すれば、物体検出部１０４及び物体追跡部１０５によって検出された物体が誤検出でないか否か）を判定する（Ｓ３００９）。Ｓ３００９の処理は、図６Ａ及び図６Ｂで詳細を説明する。

【0043】

なお、第２接近物検出部１２は、Ｓ３００４〜Ｓ３００９の処理を右端部分画像ＦＲ_ｔに実行する。

【0044】

第１接近物検出部１１が実行するＳ３００９の処理、第２接近物検出部１２が実行するＳ３００９の処理の少なくとも一方で、物体検出部１０４及び物体追跡部１０５によって検出された物体が接近物であると判定された場合、警報部２が接近物に関する情報（例えば、接近物の位置及び速度等）を出力し（Ｓ３０１０）、処理を終了する。

【0045】

このように、本実施例の接近物検出システム１０は、広角カメラ１によって撮像された撮像画像の左端の部分画像及び右端の部分画像からパターンマッチングを用いて接近物を検出するため、接近物の画像が小さくても接近物を検出でき、できるだけ早く接近物を検出することが可能となる。

【0046】

また、物体検出部１０４及び物体追跡部１０５は通常、１〜２フレームの撮像画像から物体をパターンマッチングを用いて検出するため、接近物を誤検出する可能性が高い。このため、接近物識別部１０７は、物体検出部１０４及び物体追跡部１０５が検出した物体の特徴ベクトルを算出し、算出した特徴ベクトルの時系列変化に基づいて接近物を識別することによって、接近物を検出するため、接近物の誤検出を低減し、実用性の高い性能を達成できる。

【0047】

次に、物体検出部１０４について図４並びに図５Ａ及び図５Ｂを用いて説明する。

【0048】

図４は、本発明の実施例１の物体検出部１０４の説明図である。

【0049】

物体検出部１０４は、第１物体識別器４０１、第２物体識別器４０２、切替部４０３、及び識別器走査部４０４を有する。第１物体識別器４０１及び第２物体識別器４０２を総称する場合には物体識別器と記載する。

【0050】

第１物体識別器４０１及び第２物体識別器４０２は、例えば、車両、歩行者、自転車、及びバイク等の特定の物体を検出するための識別器であり、第１物体識別器４０１は昼間の物体を検出するための識別器であり、第２物体識別器４０２は夜間の物体を検出するための識別器である。第１物体識別器４０１及び第２物体識別器４０２は物体概観に関する輝度パターンで構成され、特に第２物体識別器４０２は車両ヘッドライトのような高輝度パターンも含む。

【0051】

切替部４０３は、昼夜判定情報を用いて昼間か夜間かを判定し、昼間であると判定した場合には第１物体識別器４０１を物体の検出に用い、夜間であると判定した場合には第２物体識別器４０２を物体の検出に用いる。なお、昼夜判定情報は、例えば、広角カメラ１のゲイン、及び現在の時刻等である。例えば、昼夜判定情報が広角カメラ１のゲインである場合には、切替部４０３は広角カメラ１のゲインが所定値以上であれば夜間であると判定し、広角カメラ１のゲインが所定値より小さければ昼間であると判定する。また、昼夜判定情報が現在の時刻である場合、切替部４０３は、現在の時刻が所定時刻より前であれば昼間であると判定し、現在の時刻が所定時刻より後であれば夜間であると判定する。

【0052】

識別器走査部４０４は、第１物体識別器４０１又は第２物体識別器４０２を用いて、物体検出部１０４に入力された部分画像を走査し、当該部分画像から物体を検出する。

【0053】

図５Ａは、本発明の実施例１の物体識別器の説明図である。

【0054】

識別器走査部４０４は、走査先の部分画像５０１を走査し、物体識別器を用いて特定の物体を検出する。以下、部分画像５０１から車両が検出される場合を例に説明する。

【0055】

第１物体識別器４０１は、弱識別器５０３、重み係数５０４、総和部５０５、及び符号関数５０６を有する。弱識別器５０３は、走査先の部分画像５０１のＴ個の特徴ベクトル５０２を式１に示す関数（ｈ_ｔ（ｘ））に入力する。式１に示すｆ_ｔ（ｘ）はｔ番目の特徴ベクトルを示し、θは閾値であり、ｔ番目の特徴ベクトル（ｆ_ｔ（ｘ））が閾値より大きければｈ_ｔ（ｘ）は「１」を返し、ｔ番目の特徴ベクトルｆ_ｔ（ｘ）が閾値以下であればｈ_ｔ（ｘ）は「−１」を返す。重み係数５０４は弱識別器５０３の出力に重み付けする。総和部５０５は、重み係数５０４によって重み付けされた弱識別器５０３の出力の総和を算出する。符号関数５０６は、総和部５０５の出力を入力とし、識別情報を出力する。

【数1】

【0056】

第１物体識別器４０１は式２のように表すことができる。式２では、Ｈ（ｘ）は第１物体識別器４０１を示し、ｘは特徴ベクトル５０２を示し、ｈ_ｔ（ｘ）は弱識別器５０３を示し、α_ｔは弱識別器５０３の重み係数５０４を示す。第１物体識別器４０１は各弱識別器５０３の重み付き投票によって実装される。式２のｓｉｇｎ（）は符号関数５０６を示し、符号関数５０６は、式２の右辺の括弧内の値が正の値であれば「＋１」を返し、式２の右辺の括弧内の値が負の値であれば「−１」を返す。

【数2】

【0057】

なお、特徴ベクトル５０２は、例えば、Ｈａａｒ−ｌｉｋｅ特徴（領域間の輝度平均の差分）、ＨｏＧ（Histograms of Oriented Gradients）特徴であるものとするが、この他の特徴であってもよいし、異なる特徴量を組み合わせた共起特徴量であってもよい。特徴ベクトルの選択及び重み係数の学習には、ＡｄａＢｏｏｓｔ又はロジスティック線形回帰等の手法を用いることができる。

【0058】

図５Ｂは、本発明の実施例１の物体識別器の変形例の説明図である。

【0059】

図５Ｂに示す物体識別器（多クラス識別器）には複数の物体が設定され、複数の物体の中から部分画像５０１に適合する物体を検出する。図５Ｂに示す物体識別器は、入力ユニット（入力層）５０７、第１重み係数５０８、隠れユニット（隠れ層）５０９、第２重み係数５１０、及び出力ユニット（出力層）５１１を有する。

【0060】

入力ユニット５０７にはＴ個の特徴ベクトル５０２が入力される。第１重み係数５０８は、入力ユニット５０７からの出力に重み付けする。

【0061】

隠れユニット５０９は、入力ユニット５０７からの出力と第１重み係数５０８との線形結合を非線形変換する。本実施例では、隠れユニット５０９の非線形変換用の関数には式３に示すシグモイド関数を用いる。式３では、ｇ_ｗ（ｘ）は隠れユニット５０９の出力を示し、ｘは入力ユニット５０７の出力を示し、ｗは第１重み係数５０８を示す。

【数3】

【0062】

第２重み係数５１０は隠れユニット５０９からの出力に重み付けをする。出力ユニット５１１は、各クラス（例えば、車両、歩行者、及びバイク等）の識別確率を算出する。図５Ｂでは、出力ユニット５１１を三つ示すが、これに限定されない。出力ユニット５１１の数は、物体識別器が検出可能な物体の数と同じである。出力ユニット５１１の数を増加させることによって、車両、歩行者、及びバイクの他に、例えば、二輪車、標識、及びベビーカー等、物体識別器が検出可能な物体が増加する。

【0063】

図５Ｂに示す物体識別器は、三層ニューラルネットワークの例であり、物体識別器は、第１重み係数５０８及び第２重み係数５１０を誤差逆伝播法を用いて学習する。また、図５Ｂに示す物体識別器は、ニューラルネットワークに限定されるものではなく、多層パーセプトロン及び隠れ層を複数層重ねたディープニューラルネットワークであってもよい。この場合、物体識別器は、第１重み係数５０８及び第２重み係数５１０をディープラーニング（深層学習）によって学習すればよい。

【0064】

次に、接近物識別部１０７について図６Ａ及び図６Ｂを用いて説明する。

【0065】

図６Ａは、本発明の実施例１の接近物識別部１０７の説明図である。

【0066】

接近物識別部１０７は、接近物識別器６００及び接近物識別処理部６０１を有する。接近物識別器６００は、物体検出部１０４及び物体追跡部１０５によって検出された物体の特徴量の時間経過による変化量に基づいて接近物を識別するための識別器である。接近物識別器６００は、例えば、隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）であり、図６Ｂで詳細を説明する。接近物識別処理部６０１は、接近物識別器６００を用いて物体検出部１０４及び物体追跡部１０５によって検出された物体から接近物を識別することによって、接近物を検出する。

【0067】

図６Ｂは、本発明の実施例１の接近物識別器６００の説明図である。

【0068】

接近物識別器６００は、接近物を示す状態６０２（Ｓ_ＴＲ）及び非接近物を示す状態６０３（Ｓ_ＦＬ）を有する。図６Ｂに示す６０４〜６０９は、図３に示すＳ３００８の処理で
算出された特徴ベクトル（Ｖ＝{v₁, v₂, v₃,…,v_n}）の時間経過による変化量（観測値）を示す。例えば、観測値は１０フレーム分の特徴ベクトルの変化量であるとする。また、図３に示すＳ３００８の処理で説明したように、特徴ベクトルとしては、物体の画像上の横幅及び縦幅、物体の接地点座標、動きベクトル、物体のエッジ強度、テクスチャ周波数、矩形の拡大率、及び物体画素数等の少なくとも一つが算出される。

【0069】

本実施例の接近物識別器６００は、接近物を検出するためのパラメータとして状態遷移確率行列Ａと観測確率行列Ｂを有する。

【0070】

まず、状態遷移確率行列Ａについて説明する。状態遷移確率行列Ａは、状態間の遷移確率（状態６０２から状態６０３への遷移確率、状態６０３から状態６０２への遷移確率）を規定した行列であり、式４で表すことができる。式４のｑ_ｔは時刻ｔにおける状態を示し、ｑ_ｔ＋１は時刻ｔ＋１における状態を示し、ａ_ｉｊは、時刻ｔから時刻ｔ＋１にかけて状態がＳ_ｉからＳ_ｊに遷移する確率（状態遷移確率）である。

【数4】

【0071】

次に、観測確率行列Ｂについて説明する。観測確率行列Ｂは、各状態（状態６０２及び状態６０３）からある観測値ｖ_ｋが得られる確率を規定した行列であり、式５で表すことができる。式５のｂ_ｊ（ｋ）は状態Ｓ_ｊから観測値ｖ_ｋが得られる確率である。例えば、接近物を示す状態６０２（Ｓ_ＴＲ）からは、車間距離が徐々に短くなる、すなわち動きベクトルが徐々に大きくなるような特徴ベクトルの時間経過による変化が得られやすく、非接近物を示す状態６０３（Ｓ_ＦＬ）からは、このような特徴ベクトルの時間経過による変化が得られにくい。観測確率行列Ｂは、このような知識を確率で表現したものである。

【数5】

【0072】

接近物識別器６００は、状態遷移確率Ａ及び観測確率行列Ｂを、Ｂａｕｍ−Ｗｅｌｃｈアルゴリズムを用いて事前に学習できる。

【0073】

接近物識別器６００は、接近物識別部１０７によって判断された物体の前回の状態及び状態遷移確率Ａに基づいて状態遷移確率を算出し、各特徴ベクトルの時間経過による変化及び観測確率行列Ｂに基づいて観測確率を算出する。そして、接近物識別器６００は、これら状態遷移確率及び観測確率に基づいて物体が状態６０２である確率及び状態６０３である確率を算出し、算出した確率を接近物識別処理部６０１に入力する。接近物識別処理部６０１は、入力された二つの確率を比較し、確率が大きい方の状態を物体の状態とする。

【0074】

次に、特徴ベクトルとして算出された物体画素数の観測確率の算出方法の例について図７を用いて説明する。図７は、本発明の実施例１の物体画素数の観測確率の算出処理のフローチャートである。当該算出処理は、接近物識別処理部６０１によって実行される。

【0075】

まず、接近物識別処理部６０１は、入力された現時刻のカメラ姿勢パラメータＣｐ_ｔ及び物体の接地点座標に基づいて、広角カメラ１から物体までの相対距離を算出する（Ｓ７００１）。

【0076】

具体的には、接近物識別処理部６０１は、歪み補正部１０３によって歪みが補正された画像から地表面を特定する。そして、接近物識別処理部６０１は、カメラ姿勢パラメータＣｐ_ｔに基づいて、特定した地表面の各位置の広角カメラ１からの距離を算出していき、物体の接地点の広角カメラ１からの距離を算出する。すなわち、接近物識別処理部６０１は、カメラ姿勢パラメータＣｐ_ｔを用いて、画像上の座標（Ｘ座標及びＹ座標）を世界座標（ＷＸ座標、ＷＹ座標、及びＷＺ座標）に変換し、物体の接地点の広角カメラ１からの距離を算出する。

【0077】

次に、接近物識別処理部６０１は、物体検出部１０４及び物体追跡部１０５によって検出された物体の種別及びＳ７００１の処理で算出された相対距離に対応する推定画素数を取得する（Ｓ７００２）。推定画素数は、物体の種別と相対距離とに関連付けられて予め設定されているものとする。例えば、相対距離２０ｍの車両の推定画素数は水平２０画素である。

【0078】

次に、接近物識別処理部６０１は、取得した推定画素数と物体の実際の画素数（物体画素数）との差分を算出する（Ｓ７００３）。そして、接近物識別処理部６０１は、Ｓ７００３の処理で算出された差分に基づいて、物体画素数の観測確率ｂ_ｊ（ｋ）を算出し（Ｓ７００４）、処理を終了する。

【0079】

具体的には、Ｓ７００３の処理で算出された差分が大きい程、物体検出部１０４及び物体追跡部１０５が物体を誤検出している可能性が高いため、接近物識別処理部６０１は、物体画素数の接近物を示す状態６０２の観測確率ｂ_ｊ（ｋ）を小さく算出し、物体画素数の非接近物を示す状態６０３の観測確率ｂ_ｊ（ｋ）を大きく算出する。一方、Ｓ７００３の処理で算出された差分が小さい程、物体検出部１０４及び物体追跡部１０５が物体を誤検出している可能性が低いため、接近物識別処理部６０１は、物体画素数の接近物を示す状態６０２の観測確率ｂ_ｊ（ｋ）を大きく算出し、物体画素数の非接近物を示す状態６０３の観測確率ｂ_ｊ（ｋ）を小さく算出する。

【0080】

このように、カメラ姿勢パラメータＣｐ_ｔ及び接地点座標に基づいて、物体の広角カメラ１からの相対距離を算出し、算出した相対距離に対応する推定画素数と物体画素数との差分を考慮して、物体画素数の観測確率ｂ_ｊ（ｋ）を算出する。これによって、接近物識別部１０７は、推定画素数と物体画素数との差分を考慮して接近物を識別することができ、物体検出部１０４及び物体追跡部１０５で誤検出された物体を接近物として識別することを防止できる。

【0081】

他の特徴ベクトルの状態観測確率ｂ_ｊ（ｋ）の算出方法も簡単に説明する。接近物識別部１０７は、特徴ベクトルの時間経過による変化が接近物特有の変化である場合には、各特徴ベクトルの接近物を示す状態６０２の状態観測確率ｂ_ｊ（ｋ）を大きく算出する。特徴ベクトルの時間経過による変化が接近物特有の変化である場合とは、例えば、動きベクトルが徐々に大きくなっている場合、エッジ強度が徐々に高くなっている場合、テクスチャ周波数が時間経過で高周波帯域にシフトしている場合、矩形の拡大率が時間経過で正になっている場合、相対距離が徐々に小さくなっている場合等である。

【0082】

このように、接近物識別部１０７は、各特徴ベクトルの時間経過による変化に基づき観測確率ｂ_ｊ（ｋ）を算出する。そして、接近物識別部１０７は、隠れマルコフモデルにおける状態認識アルゴリズム（例えば、Ｖｉｔｅｒｂｉアルゴリズム等）を用いて、状態遷移確率ａ_ｉｊ及び観測確率ｂ_ｊ（ｋ）に基づいて、現在の物体の状態が接近物を示す状態６０２（Ｓ_ＴＲ）か非接近物を示す状態６０３（Ｓ_ＦＬ）かを識別する。なお、接近物識別部１０７は、物体の状態が状態６０２と識別されれば、物体が接近物であると識別し、物体の状態が状態６０３と識別されれば、非接近物であると識別する。

【0083】

本実施例では、広角カメラ１による撮像画像の左端の部分画像及び右端の部分画像から接近物をパターンマッチングを用いて検出することによって、接近物をできるだけ早く検出する。また、パターンマッチングを用いて接近物を検出することによって、オプティカルフローを用いて接近物を検出する場合よりも接近物検出システム１０の処理負荷を低減できる。しかし、パターンマッチングを用いた接近物の検出では、接近物を誤検出してしまう可能性が高い。

【0084】

ここで、誤検出と正検出との間には、誤検出を低減させようとすると正検出も低減させてしまい、正検出を増加させるようとすると誤検出も増加させてしまうといったような、トレードオフの関係がある。ある単一の時点における撮像画像に基づくパターンマッチングを用いて物体を検出する限り、このようなトレードオフの大きな改善は見込めない。

【0085】

そこで、本実施例では、接近物検出システム１０が接近物識別部１０７を有することによって、特徴ベクトルの時間経過による変化に基づいて接近物を識別する。これによって、物体検出部１０４及び物体追跡部１０５がパターンマッチングを用いて物体を検出し、接近物識別部１０７がパターンマッチングによる誤検出を排除することによって、広角カメラ１による撮像画像の微小な物体であっても、高い検出率を維持しながら誤検出率を低減させることできる。すなわち、遠方から高速に接近する車両等の接近物もできるだけ早く検出でき、接近物検出システム１０は、例えば、当該接近物と車両とが衝突する２秒前までに警報を出力することが可能となる。

【0086】

本実施例では、広角カメラ１による撮像画像の左右端の部分画像から左右の接近物を検出するため、広角カメラ１ではない通常のカメラ（狭角カメラ）を２台設置し、これらのカメラによる撮像画像から接近物を検出する場合と比較して、コストを低減することができる。

【0087】

また、本実施例では、中央の部分画像から接近物を検出しないため処理負荷を軽減できる。なお、第１接近物検出部１１及び第２接近物検出部１２と同様の第３接近物検出部を用意して、第３接近物検出部が中央部分画像から接近物を検出してもよい。

【0088】

また、物体検出部１０４が有する物体識別器が図５Ｂに示す多クラス識別器であれば、例えば、車両、歩行者、及びバイク等のような複数の物体を検出できる。また、物体検出部１０４が昼用の第１物体識別器４０１及び夜用の第２物体識別器４０２を有するので、広角カメラ１の撮像時の環境によらず、正確に物体を検出できる。

【0089】

また、車両姿勢推定部１０２がカメラ姿勢パラメータＣｐ_ｔを逐次算出するため、物体の広角カメラ１からの正確な相対距離を算出でき、物体画素数の観測確率ｂ_ｊ（ｋ）を正確に算出できる。これによって、接近物を正確に検出できる。

【実施例2】

【0090】

以下、本発明の実施例２について図８及び図９Ａ〜図９Ｄを用いて説明する。

【0091】

実施例２では、実施例１の接近物検出システム１０を搭載した車両１００について説明する。本実施例においては、実施例１の接近物検出システム１０をソフトウェアで実現しているが、実施例１の記載のように、ハードウェア構成で実現してももちろんかまわない。

【0092】

図８は、本発明の実施例２の車両１００のブロック図である。図８では、実施例１と同じ構成は同じ符号を付与し、説明を省略する。

【0093】

車両１００は、広角カメラ１、スピーカ８０１、ディスプレイ８０２、車速度センサ８０７、操舵角センサ８０８、及び接近物検出システム１０を備える。

【0094】

広角カメラ１は、車両１００に設置され、車両１００の周囲を撮影する。スピーカ８０１は、車両１００の室内に設置され、接近物検出システム１０が接近物を検出した場合に警報音を出力し、運転者に接近物を警告する。ディスプレイ８０２は、車両１００の室内に設置され、接近物検出システム１０が接近物を検出した場合に警報画面を出力し、運転者に接近物を警告する。車速度センサ８０７は自車両１００の車速度を計測する。操舵角センサ８０８は、自車両１００の操舵角を計測する。車速度センサ８０７によって計測された車速度を示す車速度情報及び操舵角センサ８０８によって計測された操舵角を示す操舵角情報によって、接近物検出システム１０は自身の動作状態を切り替える。例えば、車速度が一定以下の場合は、接近物検出システム１０は、衝突の危険性が小さいとみなして自身の動作を停止する。

【0095】

接近物検出システム１０は、入出力インタフェース（Ｉ／Ｆ）８０３、メモリ８０４、及びＣＰＵ８０５を有する。

【0096】

入出力Ｉ／Ｆ８０３は、広角カメラ１、スピーカ８０１、ディスプレイ８０２、車速度センサ８０７、及び操舵角センサ８０８と接近物検出システム１０との間でデータを入出力するインタフェースである。メモリ８０４には、ＣＰＵ８０５が実行するプログラム、及びＣＰＵ８０５が読み書きするデータが格納される。ＣＰＵ８０５は、演算処理を実行する処理部であり、接近物検出部８０６及び警報部２の機能を有する。

【0097】

接近物検出部８０６は、実施例１の接近物検出システム１０が有する各構成部（抽出部１０１、車両姿勢推定部１０２、第１接近物検出部１１、及び第２接近物検出部１２）であり、ＣＰＵ８０５が接近物検出部８０６に対応するプログラムを実行することによって実装される。警報部２は、接近物検出部８０６が接近物を検出した場合に、スピーカ８０１から警報音を出力するため、及びディスプレイ８０２に警報画面を出力するための警報出力指令をスピーカ８０１及びディスプレイ８０２に入出力Ｉ／Ｆ８０３を介して入力する。なお、警報部２は、スピーカ８０１及びディスプレイ８０２の両方に警報出力指令を入出力する必要はなく、スピーカ８０１及びディスプレイ８０２の少なくとも一つに警報出力指令を入力してもよい。

【0098】

図９Ａは、本発明の実施例２の車両１００の前方に広角カメラ１が設置された場合に接近物検出システム１０が検出する接近物の例の説明図である。

【0099】

車両１００の前方に広角カメラ１が設置された場合、接近物検出システム１０は、車両１００の前方の左側方の接近物（図９Ａでは二輪車９０２）、及び車両１００の前方の右側方の接近物（図９Ａでは車両９０１）を検出できる。

【0100】

このため、接近物検出システム１０は、車両１００の前方の左右側方の接近物を検出できるので、車両１００を前進開始時（例えば、交差点及び駐車場で停車していた車両１００を前進させる場合）等の運転者の運転を支援できる。

【0101】

なお、接近物検出システム１０は、接近物を検出した場合に接近物の危険度を算出し、算出した危険度に応じて出力する警告の種別を変更できる。接近物の危険度は、例えば、広角カメラ１と接近物との距離等に基づいて算出される。例えば、広角カメラ１と接近物との距離が短ければ短いほど危険度が高くなるように算出される。

【0102】

なお、例えば、接近物検出システム１０は、危険度が所定値以上である場合のみに警告を出力し、危険度が所定値より小さい場合には警告を出力しないように、危険度に応じて出力する警告の種別を変更してもよい。

【0103】

図９Ｂは、本発明の実施例２の車両１００の後方に広角カメラ１が設置された場合に接近物検出システム１０が検出する接近物の例の説明図である。

【0104】

車両１００の後方に広角カメラ１が設置された場合、接近物検出システム１０は、車両１００の後方の左側方の接近物（図９Ｂでは車両９０１）、及び車両１００の後方の右側方の接近物（図９Ｂでは歩行者９０３）を検出できる。

【0105】

このため、接近物検出システム１０は、車両１００の後方の左右側方の接近物を検出できるので、車両１００をバックさせる場合等の運転者の運転を支援できる。

【0106】

図９Ｃは、本発明の実施例２の車両１００の左側方に広角カメラ１を設置した場合に接近物検出システム１０が検出する接近物の例の説明図である。

【0107】

車両１００の左側方に広角カメラ１が設置された場合、接近物検出システム１０は、車両１００の左側方の前方の接近物、及び車両１００の左側方の後方の接近物（図９Ｃでは車両９０１）を検出できる。

【0108】

このため、接近物検出システム１０は、車両１００の左側方の前方及び後方の接近物を検出できるので、例えば、車両１００を左側に車線変更する場合等に運転者の運転を支援できる。また、接近物検出システム１０は、車速度センサ８０７及び操舵角センサ８０８によって計測された情報を利用することで正確な移動量を算出できるため、接近物の速度及び車両１００の左側への移動量を考慮して、より好適に衝突の危険性を判定することができる。

【0109】

図９Ｄは、本発明の実施例２の車両１００の右側方に広角カメラ１を設置した場合に接近物検出システム１０が検出する接近物の例の説明図である。

【0110】

車両１００の右側方に広角カメラ１が設置された場合、接近物検出システム１０は、車両１００の右側方の前方の接近物、及び車両１００の右側方の後方の接近物（図９Ｄでは二輪車９０２）を検出できる。

【0111】

このため、接近物検出システム１０は、車両１００の右側方の前方及び後方の接近物を検出できるので、例えば、車両１００を右側に車線変更する場合等に運転者の運転を支援できる。また、接近物検出システム１００は、車速度センサ８０７及び操舵角センサ８０８によって計測された情報を利用することで正確な移動量を算出できるため、接近物の速度及び車両１００の右側への移動量を考慮して、より好適に衝突の危険性を判定することができる。

【0112】

なお、図９Ｃ及び図９Ｄに示す後方からの接近物は、広角カメラ１が後方に設置された場合の接近物検出システム１０でも検出可能である。

【0113】

以上のように、車両１００に搭載された接近物検出システム１０は、車両１００に設置された広角カメラ１による撮像画像から接近物を検出でき、スピーカ８０１及びディスプレイ８０２等から警報を出力する衝突警告システムを実現でき、運転者の運転を支援できる。

【0114】

また、広角カメラ１が車両１００の前方又は後方に設置されることによって、接近物検出システム１０は、車両１００の側方からの接近物を検出した場合に警報を出力する側方接近物検出システムを実現できる。また、広角カメラ１が車両１００の後方、左側方、又は右側方に設置されることによって、車両１００の後方からの接近物を検出した場合に警報を出力する後方接近物警報システムを実現できる。

【実施例3】

【0115】

以下、本発明の実施例３について図１０及び図１１を用いて説明する。

【0116】

本実施例では、車両１００に複数の広角カメラ１Ａ〜１Ｄ（総称する場合には広角カメラ１と記載する）が設置され、接近物検出システム１０が接近物の検出に用いる画像を撮像する広角カメラ１が車両１００の状態に応じて選択される場合について説明する。なお、本実施例では、実施例１及び２と同じ構成は同じ符号を付与し、説明を省略する。

【0117】

図１０は、本発明の実施例３の車両１００に設置された複数の広角カメラ１の撮像範囲の説明図である。

【0118】

車両１００の前方に広角カメラ１Ａが設置され、車両１００の後方に広角カメラ１Ｂが設置され、車両１００の右側方に広角カメラ１Ｃが設置され、車両１００の左側方に広角カメラ１Ｄが設置される。

【0119】

広角カメラ１Ａは、前方の左側方から右側方にわたる範囲（１００１）を撮像可能であり、広角カメラ１Ｂは、後方の左側方から右側方にわたる範囲（１００２）を撮像可能であり、広角カメラ１Ｃは、右側方の前方から後方にわたる範囲（１００３）を撮像可能であり、広角カメラ１Ｄは、左側方の前方から後方にわたる範囲（１００４）を撮像可能である。

【0120】

このように、１８０度程度の視野角を有する４台の広角カメラ１を車両１００に設置することによって、車両１００の全周囲を撮像できる。なお、車両１００に設置される広角カメラ１は複数台であればよく、４台に限定されない。

【0121】

図１１は、本発明の実施例３の車両１００に搭載される接近物検出システム１０の説明図である。

【0122】

接近物検出システム１０は、カメラ選択部１１０１は、４台の広角カメラ１Ａ〜１Ｄによる撮像画像（ＦＲＴ_ｔ、ＲＥＲ_ｔ、ＲＨＴ_ｔ、及びＬＦＴ_ｔ）を入力とし、車両１００の状態（例えば、車速度情報、シフト位置情報、及び操舵角情報）に基づいて、１台の広角カメラ１を選択し、選択した広角カメラ１による撮像画像Ｆ_ｔを接近物検出システム１０に入力する。

【0123】

例えば、車速度が所定値以上であり、シフト位置がドライブであり、操舵角が０から所定範囲内である場合、カメラ選択部１１０１は、車両１００の前方に設置された広角カメラ１Ａを選択し、広角カメラ１Ａの撮像画像ＦＲＴ_ｔを接近物検出システム１０に入力する。また、車速度が所定値以上であり、シフト位置がバックであり、操舵角が０から所定範囲内である場合、カメラ選択部１１０１は、車両１００の後方に設置された広角カメラ１Ｂを選択し、広角カメラ１Ｂの撮像画像ＲＥＲ_ｔを接近物検出システム１０に入力する。

【0124】

車速度が所定値以上であり、操舵角が右方向である場合、カメラ選択部１１０１は、車両１００の右側方に設置された広角カメラ１Ｃを選択し、広角カメラ１Ｃの撮像画像ＲＨＴ_ｔを接近物検出システム１０に入力する。車速度が所定値以上であり、操舵角が左方向である場合、車両１００の左側方に設置された広角カメラ１Ｄを選択し、広角カメラ１Ｄの撮像画像ＬＦＴ_ｔを接近物検出システム１０に入力する。

【0125】

なお、接近物検出システム１０は、カメラ選択部１１０１によって選択された広角カメラ１による撮像画像に基づいて接近物を検出する。

【0126】

以上のように、本実施例では、車両１００に設置された複数の広角カメラ１から、車両１００の状態に応じて、接近物の検出に用いる撮像画像を撮像した１台の広角カメラ１が選択されるので、接近物検出システム１０は、車両１００の状態に応じた適切な方向からの接近物を検出でき、全ての広角カメラ１による撮像画像に基づいて接近物を検出する場合より接近物検出システム１０の処理負荷を軽減できる。

【0127】

また、図１０に示すように、車両１００の前方、後方、左側方及び右側方に広角カメラ１を設置することによって、接近物検出システム１０は、車両１００の全方位の接近物を検出することが可能となる。

【0128】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0129】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【符号の説明】

【0130】

１ 広角カメラ
１０ 接近物検出システム
１１ 第１接近物検出部
１２ 第２接近物検出部
１０１ 抽出部
１０２ 車両姿勢推定部
１０３ 歪み補正部
１０４ 物体検出部
１０５ 物体追跡部
１０６ 統合判定部
１０７ 接近物識別部

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図9D】

【図10】

【図11】