特許 6569385 車両検出装置、車両検出システム、車両検出方法、及び車両検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6569385

(24)【登録日】2019年8月16日

(45)【発行日】2019年9月4日

(54)【発明の名称】車両検出装置、車両検出システム、車両検出方法、及び車両検出プログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20190826BHJP

   G06T 1/00 20060101ALI20190826BHJP

   G06T 7/20 20170101ALI20190826BHJP

   H04N 7/18 20060101ALI20190826BHJP

【ＦＩ】

   G08G1/16 C

   G06T1/00 330B

   G06T7/20 100

   H04N7/18 J

【請求項の数】7

【全頁数】22

(21)【出願番号】特願2015-162892(P2015-162892)

(22)【出願日】2015年8月20日

(65)【公開番号】特開2017-41132(P2017-41132A)

(43)【公開日】2017年2月23日

【審査請求日】2018年3月30日

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】鴇田 成俊

【審査官】 柳幸 憲子

(56)【参考文献】

【文献】 特開２０１０−２６２４３７（ＪＰ，Ａ）

【文献】 特開２００４−２２７２９３（ＪＰ，Ａ）

【文献】 特開２０００−２５９８３８（ＪＰ，Ａ）

【文献】 特開２００７−２３３４６９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００６／０１４０４４７（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／１６

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／２０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両に取り付けられ、当該車両の後側方を撮影可能な撮像装置から入力される画像を取得する画像取得部と、
取得された画像内における後側方に位置する車両を検出するためのエリアを、車両の正面を検出するための識別器を用いて探索し、当該エリア内から車両を検出する第１画像認識部と、
前記画像取得部により取得された画像内において、前記第１画像認識部により検出された車両が存在する、または存在すると推定されるエリア内から複数の特徴点を抽出し、当該特徴点のオプティカルフローを検出して、検出されたオプティカルフローを利用して、前記画像内の前記車両を追従する第２画像認識部と、
前記第１画像認識部および前記第２画像認識部により画像内から後側方に位置する車両が検出されると、後側方に車両が存在することを運転者に通知するためのユーザインタフェースに、後側方に車両が検出されたことを示す検出信号を出力する検出信号出力部と、
を備え、
前記第２画像認識部は、前記画像取得部により取得された画像内において、前記撮像装置のパラメータに応じた縦長の楕円を検出することにより、追従している車両のタイヤを検出し、検出したタイヤ及びその周辺領域の特徴点を抽出し、前記車両の特徴点に追加することを特徴とする車両検出装置。

【請求項2】

前記第２画像認識部は、オプティカルフローを検出している特徴点の内、前記車両の移動方向に対応しない特徴点を、前記車両の特徴点から削除することを特徴とする請求項１に記載の車両検出装置。

【請求項3】

前記第２画像認識部は、前記画像取得部により取得された画像内において、追従している車両の前輪のタイヤと後輪のタイヤの両方を検出できたとき、前記前輪のタイヤ及びその周辺領域、前記後輪のタイヤ及びその周辺領域、並びに前記前輪の周辺領域と前記後輪の周辺領域の間の領域の特徴点を抽出し、前記車両の特徴点に追加することを特徴とする請求項１または２に記載の車両検出装置。

【請求項4】

前記撮像装置は、車両の右後側方および左後側方を撮影可能な１台の撮像装置であることを特徴とする請求項１から３のいずれかに記載の車両検出装置。

【請求項5】

車両に取り付けられ、当該車両の後側方を撮影可能な撮像装置と、
前記撮像装置と接続された車両検出装置と、を備え、
前記車両検出装置は、
前記撮像装置から入力される画像を取得する画像取得部と、
取得された画像内における後側方に位置する車両を検出するためのエリアを、車両の正面を検出するための識別器を用いて探索し、当該エリア内から車両を検出する第１画像認識部と、
前記画像取得部により取得された画像内において、前記第１画像認識部により検出された車両が存在する、または存在すると推定されるエリア内から複数の特徴点を抽出し、当該特徴点のオプティカルフローを検出して、検出されたオプティカルフローを利用して、前記画像内の前記車両を追従する第２画像認識部と、
前記第１画像認識部および前記第２画像認識部により画像内から後側方に位置する車両が検出されると、後側方に車両が存在することを運転者に通知するためのユーザインタフェースに、後側方に車両が検出されたことを示す検出信号を出力する検出信号出力部と、
を含み、
前記第２画像認識部は、前記画像取得部により取得された画像内において、前記撮像装置のパラメータに応じた縦長の楕円を検出することにより、追従している車両のタイヤを検出し、検出したタイヤ及びその周辺領域の特徴点を抽出し、前記車両の特徴点に追加することを特徴とする車両検出システム。

【請求項6】

車両検出装置が実行する車両検出方法であって、
画像取得部が、車両に取り付けられ、当該車両の後側方を撮影可能な撮像装置から入力される画像を取得する第１ステップと、
第１画像認識部が、取得された画像内における後側方に位置する車両を検出するためのエリアを、車両の正面を検出するための識別器を用いて探索し、当該エリア内から車両を検出する第２ステップと、
第２画像認識部が、取得された画像内において、前記第２ステップにより検出された車両が存在する、または存在すると推定されるエリア内から複数の特徴点を抽出し、当該特徴点のオプティカルフローを検出して、検出されたオプティカルフローを利用して、前記画像内の前記車両を追従する第３ステップと、
前記第２ステップおよび前記第３ステップにより画像内から後側方に位置する車両が検出されると、検出信号出力部が、後側方に車両が存在することを運転者に通知するためのユーザインタフェースに、後側方に車両が検出されたことを示す検出信号を出力する第４ステップと、
を有し、
前記第３ステップは、前記第１ステップにより取得された画像内において、前記撮像装置のパラメータに応じた縦長の楕円を検出することにより、追従している車両のタイヤを検出し、検出したタイヤ及びその周辺領域の特徴点を抽出し、前記車両の特徴点に追加することを特徴とする車両検出方法。

【請求項7】

車両に取り付けられ、当該車両の後側方を撮影可能な撮像装置から入力される画像を取得する第１処理と、
取得された画像内における後側方に位置する車両を検出するためのエリアを、車両の正面を検出するための識別器を用いて探索し、当該エリア内から車両を検出する第２処理と、
取得された画像内において、前記第２処理により検出された車両が存在する、または存在すると推定されるエリア内から複数の特徴点を抽出し、当該特徴点のオプティカルフローを検出して、検出されたオプティカルフローを利用して、前記画像内の前記車両を追従する第３処理と、
前記第２処理および前記第３処理により画像内から後側方に位置する車両が検出されると、後側方に車両が存在することを運転者に通知するためのユーザインタフェースに、後側方に車両が検出されたことを示す検出信号を出力する第４処理と、
をコンピュータに実行させ、
前記第３処理は、前記第１処理により取得された画像内において、前記撮像装置のパラメータに応じた縦長の楕円を検出することにより、追従している車両のタイヤを検出し、検出したタイヤ及びその周辺領域の特徴点を抽出し、前記車両の特徴点に追加することを特徴とする車両検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の後側方に位置する他の車両を検出するための、車両検出装置、車両検出システム、車両検出方法、及び車両検出プログラムに関する。

【背景技術】

【0002】

同一方向に複数の車線がある場合において、隣の車線の後側方に位置する車両（以下、後側方車両という）は死角になり、運転者から見えなくなるときがある。これに対して車両の後部にバックカメラを設置して、撮影した画像から車両を画像認識により検出する手法が考えられる（例えば、特許文献１参照）。バックカメラで撮影される画像内における後側方車両の見え方は、バックカメラが設置されている車両と後側方車両との距離により変わってくる。後側方車両が遠距離に位置する場合は後側方車両のほぼ正面が見え、中距離に位置する場合は後側方車両が斜めに見え、近距離に位置する場合は後側方車両が横向きに見える。このように後側方車両が自己の車両を追い越すべく接近するシーンでは、バックカメラで撮影された画像内の後側方車両の見え方が大きく変化する。

【0003】

このように見え方が大きく変化する物体を精度良く画像認識することは一般的に難しい。例えば、車両の正面の画像を多数学習させた識別器を使用する場合には、遠距離では後側方車両の認識が可能であるが、近〜中距離では見え方の変化が大きく認識が難しくなる。よって、車両の正面の識別器に加え、斜め、横向きの画像をそれぞれ学習させた識別器を複数組み合わせて使用することが考えられる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８−２６２４０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら近距離の状態から更に後側方車両が接近すると、後側方車両が画面からはみ出て見えなくなってしまうため、上述の学習型の識別器で検出することが困難となる。また複数の識別器を使用すると演算量が増加するため、ハイスペックなハードウェア資源が必要となりコスト増となる。また車両の左右に２つのカメラあるいはレーダを設置すれば、上述の見え方の違いの影響はほぼ考慮する必要がなくなるがコスト増となる。

【0006】

本発明はこうした状況に鑑みてなされたものであり、その目的は、後側方車両をコストを抑えつつ高精度に検出する技術を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明のある態様の車両検出装置（１０）は、車両（１）に取り付けられ、当該車両（１）の後側方を撮影可能な撮像装置（２）から入力される画像を取得する画像取得部（１１）と、取得された画像内における後側方に位置する車両（５）を検出するためのエリアを、車両の正面を検出するための識別器を用いて探索し、当該エリア内から車両（５）を検出する第１画像認識部（１３）と、前記画像取得部（１１）により取得された画像内において、前記第１画像認識部（１３）により検出された車両（５）が存在する、または存在すると推定されるエリア内から複数の特徴点を抽出し、当該特徴点のオプティカルフローを検出して、検出されたオプティカルフローを利用して、前記画像内の前記車両（５）を追従する第２画像認識部（１４）と、前記第１画像認識部（１３）および前記第２画像認識部（１４）により画像内から後側方に位置する車両（５）が検出されると、後側方に車両（５）が存在することを運転者に通知するためのユーザインタフェース（３）に、後側方に車両（５）が検出されたことを示す検出信号を出力する検出信号出力部（１６）と、を備える。前記第２画像認識部（１４）は、前記画像取得部（１１）により取得された画像内において、前記撮像装置（２）のパラメータに応じた縦長の楕円を検出することにより、追従している車両（１）のタイヤを検出し、検出したタイヤ及びその周辺領域の特徴点を抽出し、前記車両（１）の特徴点に追加する。

【0008】

本発明の別の態様は、車両検出システムである。この車両検出システム（２、１０）は、車両（１）に取り付けられ、当該車両（１）の後側方を撮影可能な撮像装置（２）と、前記撮像装置（２）と接続された車両検出装置（１０）と、を備える。前記車両検出装置（１０）は、前記撮像装置（２）から入力される画像を取得する画像取得部（１１）と、取得された画像内における後側方に位置する車両（５）を検出するためのエリアを、車両の正面を検出するための識別器を用いて探索し、当該エリア内から車両（５）を検出する第１画像認識部（１３）と、前記画像取得部（１１）により取得された画像内において、前記第１画像認識部（１３）により検出された車両が存在する、または存在すると推定されるエリア内から複数の特徴点を抽出し、当該特徴点のオプティカルフローを検出して、検出されたオプティカルフローを利用して、前記画像内の前記車両（５）を追従する第２画像認識部（１４）と、前記第１画像認識部（１３）および前記第２画像認識部（１４）により画像内から後側方に位置する車両（５）が検出されると、後側方に車両（５）が存在することを運転者に通知するためのユーザインタフェース（３）に、後側方に車両（５）が検出されたことを示す検出信号を出力する検出信号出力部（１６）と、を含む。前記第２画像認識部（１４）は、前記画像取得部（１１）により取得された画像内において、前記撮像装置（２）のパラメータに応じた縦長の楕円を検出することにより、追従している車両（１）のタイヤを検出し、検出したタイヤ及びその周辺領域の特徴点を抽出し、前記車両（１）の特徴点に追加する。

【0009】

本発明のさらに別の態様は、車両検出方法である。この方法は、車両検出装置（１０）が実行する車両検出方法であって、画像取得部（１１）が、車両（１）に取り付けられ、当該車両（１）の後側方を撮影可能な撮像装置（２）から入力される画像を取得する第１ステップと、第１画像認識部（１３）が、取得された画像内における後側方に位置する車両（５）を検出するためのエリアを、車両の正面を検出するための識別器を用いて探索し、当該エリア内から車両を検出する第２ステップと、第２画像認識部（１４）が、取得された画像内において、前記第２ステップにより検出された車両が存在する、または存在すると推定されるエリア内から複数の特徴点を抽出し、当該特徴点のオプティカルフローを検出して、検出されたオプティカルフローを利用して、前記画像内の前記車両（５）を追従する第３ステップと、前記第２ステップおよび前記第３ステップにより画像内から後側方に位置する車両が検出されると、検出信号出力部（１６）が、後側方に車両が存在することを運転者に通知するためのユーザインタフェース（３）に、後側方に車両（５）が検出されたことを示す検出信号を出力する第４ステップと、を有する。前記第３ステップは、前記第１ステップにより取得された画像内において、前記撮像装置（２）のパラメータに応じた縦長の楕円を検出することにより、追従している車両（１）のタイヤを検出し、検出したタイヤ及びその周辺領域の特徴点を抽出し、前記車両（１）の特徴点に追加する。

【0010】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0011】

本発明によれば、後側方車両をコストを抑えつつ高精度に検出できる。

【図面の簡単な説明】

【0012】

【図1】車両の後部に設置されたバックカメラの画角の一例を示す図である。

【図2】バックカメラで撮影した後側方車両の画像の一例（遠距離）を示す図である。

【図3】バックカメラで撮影した後側方車両の画像の一例（中距離）を示す図である。

【図4】バックカメラで撮影した後側方車両の画像の一例（近距離）を示す図である。

【図5】図５（ａ）−（ｃ）は、バックカメラで撮影した後側方車両の画像の別の例を示す図である。

【図6】本発明の実施の形態に係る車両検出装置を説明するための図である。

【図7】本発明の実施の形態に係る車両検出装置の動作例を示すフローチャートである。

【図8】バックカメラにより撮影された、後側方車両の検出時の画像の一例を示す図である。

【図9】バックカメラにより撮影された、後側方車両の検出判定時の画像の一例（その１）を示す図である。

【図10】バックカメラにより撮影された、後側方車両の検出判定時の画像の一例（その２）を示す図である。

【図11】バックカメラにより撮影された、後側方車両の検出判定時の画像の一例（その３）を示す図である。

【図12】バックカメラにより撮影された、後側方車両の検出判定時の画像の一例（その４）を示す図である。

【図13】後側方車両の検出判定処理の一例を示すフローチャートである。

【図14】バックカメラにより撮影された、後側方車両５の追従開始を決定した次のフレーム画像の一例を示す図である。

【図15】バックカメラにより撮影された、後側方車両の追従開始後の画像の一例（その１）を示す図である。

【図16】バックカメラにより撮影された、後側方車両の追従開始後の画像の一例（その２）を示す図である。

【図17】バックカメラにより撮影された、後側方車両の追従開始後の画像の一例（その３）を示す図である。

【図18】バックカメラにより撮影された、後側方車両の追従開始後の画像の一例（その４）を示す図である。

【図19】バックカメラにより撮影された、後側方車両の追従開始後の画像の一例（その５）を示す図である。

【図20】バックカメラにより撮影された、後側方車両の追従開始後の画像の一例（その６）を示す図である。

【発明を実施するための形態】

【0013】

本発明の実施の形態は、バックカメラを用いた後側方車両の監視・検出処理に関する。後側方車両を監視・検出する代表的な手法として次の３種類がある。
（１）車両の左右に装着するレーダで後側方車両を監視・検出する手法。
（２）車両の左右に装着するサイドカメラで後側方車両を監視・検出する手法。
（３）車両の後部に装着するバックカメラで後側方車両を監視・検出する手法。
このうち（２）と（３）が画像から後側方車両を検出するタイプのものであり、（３）がカメラ１台で構成可能な為、ハードウェアのコスト面では最も優位性がある。

【0014】

バックカメラ１台で左右の後側方車両を検出する為には、極力画角の広い広角カメラ（画角が水平１８０度に近いもの）を採用する必要がある。広角カメラの弱点としては、画面の左端、右端に近づくにつれて歪が大きくなってしまう点がある。その為、後側方車両が後方から自車両を追い抜くシーンでは、画面端に近づくにつれて後側方車両の歪が増加する。それに加え、後側方車両の見え方の変化が大きい為、画像処理による車両の検出・追従処理が難しくなる。

【0015】

図１は、車両１の後部に設置されたバックカメラ２ａの画角の一例を示す図である。図１に示すように車両１の右後側方と左後側方には、運転者がドアミラー及びルームミラーで目視することが困難な死角Ｄｒ、Ｄｌが存在する。死角Ｄｒ、Ｄｌに他の車両（後側方車両）が存在するにも関わらず、運転者が当該他の車両に気付かずに車線変更を試みると危険である。そこで本実施の形態ではバックカメラ２ａで、隣の車線に後側方車両が存在する場合に運転者に、後側方車両が存在することを表示や音声で通知する仕組みを導入する。

【0016】

図２は、バックカメラ２ａで撮影した後側方車両５の画像の一例（遠距離）を示す図である。図３は、バックカメラ２ａで撮影した後側方車両５の画像の一例（中距離）を示す図である。図４は、バックカメラ２ａで撮影した後側方車両５の画像の一例（近距離）を示す図である。図２から図４を参照すると、後側方車両５が自車両に接近するにつれ、後側方車両５の見え方が正面から横向きに変化することが分かる。

【0017】

これに対して上述のように、正面を向いた車両の識別器（検出器、分類器ともいう）、斜め向き車両の識別器、横向き車両の識別器を複数組み合わせて使用することが考えられるが、演算量が増加し、ハイスペックなハードウェア資源が必要となりコスト増となる。

【0018】

そこで本実施の形態では、正面車両の識別器を使用して後側方車両を検出した後に、後側方車両の特徴点を取得し、当該特徴点のオプティカルフローを使用して後側方車両の動きを追従する。これにより、斜め向き車両の識別器、及び横向き車両の識別器を使用せずに斜め向きの車両、及び横向き車両を検出できる。

【0019】

ただし、オプティカルフローによる追従も万能ではなく、特徴点の移動先が常に正しく求められる訳ではない。また、画面外へ一旦消えた特徴点のオプティカルフローによる補足は困難である。例えば、後側方車両が画面外に半分消えかけた状態で自車両が加速して再び画面内に後側方車両が映るようなケースでは、オプティカルフローで安定的に後側方車両を検出し続けることは困難である。

【0020】

図５（ａ）−（ｃ）は、バックカメラ２ａで撮影した後側方車両５の画像の別の例を示す図である。図５（ａ）は後側方車両５が自車両に接近してきている様子を示している。図５（ｂ）は後側方車両５が自車両にさらに接近してきている様子を示しており、後側方車両５の前の部分がバックカメラ２ａの画角から外れている。図５（ｃ）は後側方車両５の減速および／または自車両の加速により、両者の距離が再度離れ、後側方車両５の全体がバックカメラ２ａの画角に収まっている。さらに極端な例では、後側方車両５が一度、バックカメラ２ａの画角から完全に外れた後、再度、バックカメラ２ａの画角に収まる位置まで後側方車両５が相対的に後退するケースもある。このようなケースでは、オプティカルフローで安定的に後側方車両を検出し続けることは困難である。これに対して本実施の形態では、オプティカルフローによる車両追従の精度を向上させる仕組みも導入する。

【0021】

図６は、本発明の実施の形態に係る車両検出装置１０を説明するための図である。車両検出装置１０は、画像取得部１１、前処理部１２、第１画像認識部１３、第２画像認識部１４、車両位置特定部１５及び検出信号出力部１６を備える。第１画像認識部１３は、特徴量算出部１３１、探索部１３２及び辞書データ保持部１３３を含む。第２画像認識部１４は、特徴点抽出範囲設定部１４１、特徴点抽出部１４２、オプティカルフロー検出部１４３、特徴点削除部１４４、楕円検出部１４５及びタイヤ判定部１４６を含む。これらの機能ブロックは、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、ＦＰＧＡ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。

【0022】

撮像装置２は車両１に取り付けられ、車両１の後側方を撮影可能なカメラであり、上述のバックカメラ２ａに対応する。撮像装置２は図示しない固体撮像素子、及び信号処理回路を含む。当該固体撮像素子は例えば、ＣＭＯＳイメージセンサまたはＣＣＤイメージセンサで構成され、入射光を電気的な画像信号に変換する。当該信号処理回路は、当該固体撮像素子から出力される画像信号に対して、Ａ／Ｄ変換、ノイズ除去などの信号処理を施し、車両検出装置１０に出力する。

【0023】

画像取得部１１は撮像装置２から入力される画像信号を取得し、前処理部１２に渡す。前処理部１２は、画像取得部１１により取得された画像信号に対して所定の前処理を施し、第１画像認識部１３及び第２画像認識部１４に供給する。前処理の具体例は後述する。

【0024】

第１画像認識部１３は入力される画像内における後側方車両を検出するためのエリア（以下、車両検出エリアという）を、車両の正面を検出するための識別器を用いて探索し、当該車両検出エリア内から車両を検出する。当該車両検出エリアは、撮像装置２の設定位置および向きに基づき、撮像装置２の画角内において後側方車両が映るエリアに設定される。車両検出エリアの具体例は後述する。

【0025】

特徴量算出部１３１は、車両検出エリア内の特徴量を算出する。当該特徴量として例えば、Haar-like特徴量、ＨＯＧ(Histogram of Gradients)特徴量、ＬＢＰ(Local Binary Patterns)特徴量などを使用することができる。辞書データ保持部１３３には、車両正面の多数の画像と非車両正面の多数の画像を機械学習して生成された車両正面の識別器が予め登録されている。探索部１３２は、当該車両正面の識別器を用いて車両検出エリア内を探索し、当該車両検出エリアから車両を検出する。

【0026】

第２画像認識部１４は入力される画像内において、第１画像認識部１３により検出された車両が存在する、または存在すると推定されるエリア内から複数の特徴点を抽出し、当該特徴点のオプティカルフローを検出して、入力される画像内の当該車両を追従する。

【0027】

特徴点抽出範囲設定部１４１は、入力される画像内に特徴点を抽出する範囲を設定する。特徴点抽出範囲の具体例は後述する。特徴点抽出部１４２は、設定された特徴点抽出範囲から特徴点を抽出する。当該特徴点として例えば、Harrisのコーナー検出アルゴリズムにより検出されるコーナーを使用することができる。オプティカルフロー検出部１４３は、抽出された特徴点のオプティカルフローを検出する。オプティカルフローは、画像内の点（本実施の形態では、抽出された特徴点）の動きを表す動きベクトルである。オプティカルフローは例えば、勾配法、Lucas-Kanade法を用いて算出することができる。

【0028】

特徴点削除部１４４は、オプティカルフローを検出している特徴点の内、追従している車両の移動方向に対応しない特徴点を、当該車両の特徴点から削除する。例えば、複数の特徴点のオプティカルフローの平均を算出し、平均からの乖離が設定値以上大きいオプティカルフローの特徴点を削除する。これにより、車両の移動方向と反対に移動している特徴点は背景の特徴点とみなされ削除される。また特徴点削除部１４４は、１つ前のフレーム画像内に存在した特徴点の内、現在のフレーム画像内で追跡できなかった特徴点を削除する。光の当たり具合が変わったり、車両の見え方が大きく変わった場合、特徴点を追跡できなくなる場合がある。

【0029】

楕円検出部１４５は、入力される画像内の楕円検出エリアにおいて楕円を検出する。例えば、楕円フィッティングにより検出する。当該楕円検出エリアは、撮像装置２の設定位置および向きに基づき、撮像装置２の画角内において自車両に接近している後側方車両のタイヤが映るエリアに設定される。タイヤ判定部１４６は、楕円検出部１４５により検出された楕円が、追従している車両のタイヤを表す楕円であるか否か判定する。

【0030】

特徴点抽出範囲設定部１４１は入力される画像内において、検出された追従中の車両のタイヤ及びその周辺領域に特徴点抽出範囲を設定する。追従中の車両の前輪のタイヤと後輪のタイヤの両方を検出できた場合、特徴点抽出範囲設定部１４１は入力される画像内において、当該前輪のタイヤ及びその周辺領域、当該後輪のタイヤ及びその周辺領域、並びに当該前輪の周辺領域と当該後輪の周辺領域の間の領域に特徴点抽出範囲を設定する。特徴点抽出部１４２は、設定された特徴点抽出範囲から特徴点を抽出し、追従している車両の特徴点として追加する。

【0031】

車両位置特定部１５は、第１画像認識部１３及び第２画像認識部１４から車両の検出結果を取得し、画像内における車両の位置を特定する。特定した車両の位置が、自車両の右後側方の死角ゾーン近傍に含まれる場合、車両位置特定部１５は右後側方車両の検出信号を検出信号出力部１６に供給する。特定した車両の位置が、自車両の左後側方の死角ゾーン近傍に含まれる場合、車両位置特定部１５は左後側方車両の検出信号を検出信号出力部１６に供給する。

【0032】

検出信号出力部１６は、車両位置特定部１５から供給される右後側方車両の検出信号または左後側方車両の検出信号をユーザインタフェース３に出力する。ユーザインタフェース３は、右後側方または左後側方に車両が存在することを運転者に通知するためのインタフェースである。ユーザインタフェース３は表示部３１及び音声出力部３２を含む。

【0033】

表示部３１は、アイコンやインジケータを表示可能なものであればよく、液晶ディスプレイや有機ＥＬディスプレイ等のモニタであってもよいし、ＬＥＤ等のランプであってもよい。例えば、右側のドアミラーに表示部３１を設置し、その表示部３１に検出信号出力部１６から右後側方車両の検出信号が入力された場合、その表示部３１に右後側方車両の存在を示すアイコンを表示させてもよい。左側のドアミラーも同様である。また右後側方車両または左後側方車両の存在を示すアイコンを、メーターパネルまたはヘッドアップディスプレイに表示させてもよい。音声出力部３２はスピーカを備え、当該スピーカに右後側方車両または左後側方車両の検出信号が入力された場合、当該スピーカは右後側方車両または左後側方車両の存在を示すメッセージまたは警告音を音声出力する。

【0034】

検出信号出力部１６は、車内ネットワーク（例えば、ＣＡＮバス）を介してウインカスイッチ４の操作情報を取得する。検出信号出力部１６は、車両位置特定部１５から右後側方車両の検出信号が供給された際、当該右後側方車両の検出信号を表示部３１に出力する。その状態で、右のウインカスイッチ４からオンに操作された操作情報を取得すると、検出信号出力部１６は、当該右後側方車両の検出信号をさらに音声出力部３２に出力する。この制御例は、検出信号出力部１６が車両位置特定部１５から後側方車両の検出信号の供給を受けた際、表示部３１には無条件に当該検出信号を出力し、音声出力部３２には後側方車両が検出された方向のウインカスイッチ４がオンに操作されたことを条件に当該検出信号を出力する例である。なお、音声出力部３２にも無条件に当該検出信号を出力する制御例を採用してもよい。

【0035】

図７は、本発明の実施の形態に係る車両検出装置１０の動作例を示すフローチャートである。以下の動作例では、バックカメラ２ａが自車両の後方の映像を３０Ｈｚのフレームレートで撮影している例を想定する。

【0036】

まず車両位置特定部１５は追従フラグに初期値として「０」を設定する（Ｓ１０）。追従フラグは「０」または「１」をとり、「０」が後側方車両の非追従中を示し、「１」が後側方車両の追従中を示す。

【0037】

画像取得部１１はバックカメラ２ａから、カラーのフレーム画像を取得する（Ｓ１１）。前処理部１２は、当該カラーのフレーム画像を、輝度情報のみで記述されるグレースケールのフレーム画像に変換する（Ｓ１２）。次に前処理部１２は、グレースケールのフレーム画像の画素を間引いて画像サイズを縮小する（Ｓ１３）。例えば、６４０×４８０ピクセルの画像を３２０×２４０ピクセルの画像に縮小する。なお、画像サイズの縮小は演算量の削減を目的としたものであるため、ハードウェア資源の能力が高い仕様の場合はステップＳ１３の縮小処理はスキップされる。

【0038】

追従フラグの値が「０」の場合（Ｓ１４のＮ）、特徴量算出部１３１は、前処理されたフレーム画像内の車両検出エリアの特徴量を算出する（Ｓ１５）。探索部１３２は、車両正面の識別器を用いて当該車両検出エリア内に後側方車両が存在するか否か探索する（Ｓ１６）。

【0039】

図８は、バックカメラ２ａにより撮影された、後側方車両５の検出時の画像の一例を示す図である。図８に示す画像内に車両検出エリアＡ１が設定され、第１画像認識部１３は車両検出エリアＡ１内で後側方車両５を検出する。図８では、車両正面の識別器で検出された後側方車両５が検出枠Ａ２で囲われている。右後側方車両検出エリアＡ３は自車両の右隣車線内において、自車両から所定の距離離れた範囲（図８では自車両から３〜１５ｍの範囲）に設定される。左後側方車両検出エリアＡ４は自車両の左隣車線内において、自車両から所定の距離離れた範囲（図８では自車両から３〜１５ｍの範囲）に設定される。なお図８では左後側方車両検出エリアＡ４は、左隣車線ではなく路肩に設定されている。

【0040】

図８に示す画像内の下部には、車両検出エリアＡ１の加工画像Ａ１ａを重畳して表示している。加工画像Ａ１ａに示されるように、自車両が位置する車線のエリアは、自車両と同一車線の後続車を検出対象から除外するため、検出対象外エリアＡ５としている。探索部１３２は検出対象外エリアＡ５を探索範囲から除外するか、検出対象外エリアＡ５から車両を検出しても後側方車両に該当しない無効な対象として取り扱う。また探索部１３２は、検出した車両の中心位置が右隣車線の範囲（矢印参照）または左隣車線の範囲に位置していない場合も、後側方車両に該当しない無効な対象として取り扱う。

【0041】

図９は、バックカメラ２ａにより撮影された、後側方車両５の検出判定時の画像の一例（その１）を示す図である。図１０は、バックカメラ２ａにより撮影された、後側方車両５の検出判定時の画像の一例（その２）を示す図である。図１１は、バックカメラ２ａにより撮影された、後側方車両５の検出判定時の画像の一例（その３）を示す図である。図１２は、バックカメラ２ａにより撮影された、後側方車両５の検出判定時の画像の一例（その４）を示す図である。

【0042】

図１３は、後側方車両５の検出判定処理の一例を示すフローチャートである。まず車両位置特定部１５は後側方車両検出カウンタＢＣＮＴと、後側方車両検出フラグＢＦに初期値として「０」を設定する（Ｓ４０）。後側方車両検出カウンタＢＣＮＴは最小値が「０」、最大値が「１０」で１ずつインクリメントまたはデクリメントされる作業用のカウンタである。後側方車両検出フラグＢＦは「０」または「１」をとり、「０」が後側方車両の非検出中を示し、「１」が後側方車両の検出中を示す。

【0043】

第１画像認識部１３に新たなフレーム画像が入力される（Ｓ４１）。車両位置特定部１５は過去一定数のフレームの内、所定比率以上のフレームで、右後側方車両検出エリアＡ３または左後側方車両検出エリアＡ４内で第１画像認識部１３が車両を検出したか否か判定する（Ｓ４２）。図１３に示す例では過去１０フレーム中４フレーム以上で、車両を検出したか否か判定する（Ｓ４２）。検出していた場合（Ｓ４２のＹ）、車両位置特定部１５は過去１０フレームにおいて検出した車両の位置変化が第１設定値より小さいか否か判定する（Ｓ４３）。第１設定値より小さい場合（Ｓ４３のＹ）、車両位置特定部１５は後側方車両検出カウンタＢＣＮＴをインクリメントする（Ｓ４４）。検出車両が自車両にゆっくり近づいている場合や、検出車両と自車両の距離がほぼ一定に保たれている場合、ステップＳ４３の判定条件が満足される。

【0044】

過去１０フレームにおいて検出した車両の位置変化が第１設定値以上の場合（Ｓ４３のＮ）、車両位置特定部１５は過去１０フレームにおいて、検出車両と自車両との距離が第２設定値以上拡大したか否か判定する（Ｓ４５）。第２設定値以上拡大した場合（Ｓ４５のＹ）、車両位置特定部１５は後側方車両検出カウンタＢＣＮＴをデクリメントする（Ｓ４６）。検出車両の相対速度が低下し、検出車両が自車両から遠ざかっている場合、ステップＳ４５の判定条件が満足される。

【0045】

過去１０フレームにおいて検出車両と自車両との距離が第２設定値以上拡大していない場合（Ｓ４５のＮ）、車両位置特定部１５は過去１０フレームにおいて、検出車両と自車両との距離が第３設定値以上縮小したか否か判定する（Ｓ４７）。第３設定値以上縮小した場合（Ｓ４７のＹ）、車両位置特定部１５は後側方車両検出カウンタＢＣＮＴに「１０」を設定する（Ｓ４８）。検出車両の相対速度が上昇し、検出車両が自車両に急接近している場合、ステップＳ４７の判定条件が満足される。

【0046】

ステップＳ４２において過去１０フレーム中４フレーム以上で車両を検出していない場合（Ｓ４２のＮ）、またはステップＳ４７において検出車両と自車両との距離が第３設定値以上縮小していない場合（Ｓ４７のＮ）、車両位置特定部１５は後側方車両検出カウンタＢＣＮＴをデクリメントする（Ｓ４６）。

【0047】

車両位置特定部１５は後側方車両検出カウンタＢＣＮＴの値を確認する（Ｓ４９、Ｓ５１）。後側方車両検出カウンタＢＣＮＴの値が「１０」の場合（Ｓ４９のＹ）、車両位置特定部１５は後側方車両検出フラグＢＦに「１」を設定する（Ｓ５０）。後側方車両検出カウンタＢＣＮＴの値が「０」の場合（Ｓ４９のＮ、Ｓ５１のＹ）、車両位置特定部１５は後側方車両検出フラグＢＦに「０」を設定する（Ｓ５２）。後側方車両検出カウンタＢＣＮＴの値が「１」−「９」のいずれかの場合（Ｓ４９のＮ、Ｓ５１のＮ）、車両位置特定部１５は後側方車両検出フラグＢＦの現在値をそのまま維持する。後側方車両の検出処理が継続している間は（Ｓ５３のＹ）、ステップＳ４１に戻り、ステップＳ４１〜ステップＳ５２までの処理を繰り返す。後側方車両の検出処理が終了した場合（Ｓ５３のＮ）、図１３に係るフローチャートの処理を終了する。なお図１３に係る後側方車両５の検出判定処理において上述した、参照対象の過去フレーム数、所定比率、第１設定値、第２設定値、及び第３設定値の各値は、実験やシミュレーション、各種知見に基づき設計者により設定される。

【0048】

図９に示す画像内において、車両検出エリアＡ１の左上隅に、表示部３１に表示されるアイコン画像Ａ６が重畳して描かれている。このアイコンは後側方車両検出フラグＢＦの値が「１」のとき点灯する。図１０に示す画像は、図９に示す画像と比較して、後側方車両５が自車両に近づいた状態を示している。図１１に示す画像は、後側方車両５が自車両にさらに近づいた状態を示している。図１２に示す画像は、後側方車両５が自車両にさらに近づいた状態を示している。図１２に示す画像では後側方車両５の見え方が斜めになっており、車両正面の識別器では後側方車両５を検出できなくなっている。

【0049】

図７のフローチャートに戻る。車両位置特定部１５は、後側方車両５の追従処理開始条件を満足しているか否か判定する（Ｓ１７）。例えば、後側方車両検出フラグＢＦの値が「１」の状態で、後側方車両検出カウンタＢＣＮＴの値が「１」から「０」にデクリメントされることを、後側方車両５の追従処理開始条件とする。なお、後側方車両５と自車両との距離が５ｍ未満になること等、他の追従処理開始条件を用いてもよい。

【0050】

後側方車両５の追従処理開始条件が満足すると（Ｓ１７のＹ）、特徴点抽出範囲設定部１４１は、後側方車両５が存在すると推定される位置に矩形の特徴点抽出範囲を設定する。現フレームにおいて後側方車両５が存在すると推定される位置は、過去の車両検出位置と、その移動履歴（方向と速度）から算出される動きベクトルに基づき決定される。特徴点抽出部１４２は、設定された特徴点抽出範囲から特徴点を抽出する（Ｓ１８）。この特徴点の抽出処理は追従開始時の１回のみ実施され、次フレーム以降はここで抽出された特徴点をオプティカルフローにより追従していく。車両位置特定部１５は、追従フラグに「１」を設定する（Ｓ１９）。車両位置特定部１５は、追従開始時の後側方車両５の位置を設定する（Ｓ２０）。後側方車両５の位置は、抽出された複数の特徴点の内、最も上に位置する特徴点、最も下に位置する特徴点、最も左に位置する特徴点、最も右に位置する特徴点を全て通る矩形エリア（以下、車両追従エリアという）で定義される。その後、ステップＳ３５に遷移する。

【0051】

ステップＳ１７において後側方車両５の追従処理開始条件を満足しない場合（Ｓ１７のＮ）、追従フラグの値が「１」であれば（Ｓ２６のＹ）、ステップＳ２７に遷移し、追従フラグの値が「０」であれば（Ｓ２６のＮ）、ステップＳ３５に遷移する。

【0052】

ステップＳ１４において追従フラグの値が「１」の場合（Ｓ１４のＹ）、楕円検出部１４５は、前処理されたフレーム画像から、右隣車線または左隣車線に位置する後側方車両５のタイヤが映っていると推定されるエリア（以下、タイヤ探索エリアという）の画像をトリミングする（Ｓ２１）。楕円検出部１４５はトリミングした画像を白黒の２値画像に変換する（Ｓ２２）。楕円検出部１４５は２値化した画像から輪郭を抽出する（Ｓ２３）。例えば、２値化した画像にハイパスフィルタをかけることにより輪郭を抽出する。楕円検出部１４５は抽出した輪郭に楕円フィッティングを施すことにより楕円を検出する（Ｓ２４）。

【0053】

タイヤ判定部１４６は、検出された楕円が後側方車両５のタイヤであるか否か判定する（Ｓ２５）。例えば、次の３つの条件を全て満足する楕円をタイヤと判定する。
（１）検出された楕円の中心位置が後側方車両５のタイヤが映ると推定される位置の付近に存在すること。
（２）検出された楕円が真円では無く、バックカメラ２ａのパラメータに応じた縦長の楕円であること。
（３）楕円のサイズが後側方車両５のタイヤと推定されるサイズの範囲内であること。

【0054】

（２）について補足する。バックカメラ２ａに広角カメラを使用している場合、バックカメラ２ａで撮影された画像は、左端部分および右端部分の歪が大きくなる。この歪により、バックカメラ２ａで撮影された画像の左端部分および右端部分では、車両のタイヤが真円ではなく縦長の楕円に見えるようになる。タイヤの見え方の歪み具合はカメラパラメータによって異なる。

【0055】

ステップＳ２６の処理に基づきタイヤが検出された場合（Ｓ２７のＹ）であり、かつ、検出されたタイヤを矩形で囲んだタイヤ検出エリアと上記車両追従エリアが重なっている場合、特徴点抽出範囲設定部１４１は、検出したタイヤ及びその周辺に特徴点抽出範囲を設定する（Ｓ２８）。特徴点抽出部１４２は、設定された特徴点抽出範囲から特徴点を抽出する（Ｓ２９）。車両位置特定部１５は上記車両追従エリアと上記タイヤ検出エリアを統合し、ステップＳ２９で抽出された特徴点を車両追従エリアの既存の特徴点と合算させる。車両位置特定部１５は統合後の矩形エリアの内、タイヤの位置から推定される後側方車両５の下半分に相当する矩形エリアを切り出し、新たな車両追従エリアに設定する。新たな車両追従エリア外の特徴点は削除され、新たな車両追従エリア内の特徴点が残される。これにより、背景や路面などの車両以外から抽出された特徴点を除去することができる。なお特徴点抽出部１４２は、特徴点抽出範囲設定部１４１により設定された特徴点抽出範囲ではなく、新たな車両追従エリア内から特徴点を抽出してもよい。

【0056】

上述の説明では前輪のタイヤまたは後輪のタイヤのいずれかのみが検出されている場合を想定したが、前輪のタイヤと後輪のタイヤの両方が検出されている場合、次のように処理する。車両位置特定部１５は、前輪のタイヤを矩形で囲んだ前輪タイヤ検出エリアと、後輪のタイヤを矩形で囲んだ後輪タイヤ検出エリアを矩形で囲んだ前後輪タイヤ検出エリアと、上記車両追従エリアが重なっているか否か確認する。重なっている場合、両エリアを統合する。特徴点抽出部１４２は前後輪タイヤ検出エリア内から特徴点を抽出する。車両位置特定部１５は、抽出された特徴点を車両追従エリアの既存の特徴点と合算させる。車両位置特定部１５は統合後の矩形エリアの内、タイヤの位置から推定される後側方車両５の下半分に相当する矩形エリアを切り出し、新たな車両追従エリアに設定する。新たな車両追従エリア外の特徴点は削除され、新たな車両追従エリア内の特徴点が残される。なお前後輪タイヤ検出エリアを、上記車両追従エリアと統合せずに、そのまままたは一定量拡大して新たな車両追従エリアに設定してもよい。この場合、以前の車両追従エリア内の特徴点は全て破棄される。

【0057】

ステップＳ２６の処理に基づきタイヤが検出されない場合（Ｓ２７のＮ）、またはタイヤが検出された場合でも、タイヤ検出エリアと車両追従エリアが重なっていない場合、ステップＳ２８及びステップＳ２９の処理はスキップされる。

【0058】

オプティカルフロー検出部１４３は、前フレームの車両追従エリア内の各特徴点の移動先をオプティカルフローを検出することにより、現フレーム内で追跡する（Ｓ３０）。車両から抽出された複数の特徴点は本来、車両の動きに合わせて一様に同じ方向に移動する筈である。この一様な動きに反する動きをする特徴点は車両から抽出された特徴点でないと判断できる。特徴点削除部１４４はこの一様な動きに反する動きをする特徴点を削除する。また特徴点削除部１４４は移動先を見つけることができない特徴点も削除する。車両位置特定部１５は、移動先の特徴点をもとに車両追従エリアの位置を更新する（Ｓ３１）。

【0059】

車両位置特定部１５は、後側方車両５を追従可能であるか否か判定する（Ｓ３２）。後側方車両５が自車両を完全に追い抜き特徴点が全て画面外に消える、追跡可能な特徴点の数が一定値以下になる、タイヤを検出できずに特徴点抽出・更新処理が一定時間以上行われない、など後側方車両５の追従が困難になった場合、追従不可能と判定する。追従不可能の場合（Ｓ３２のＮ）、車両位置特定部１５は車両追従エリアをクリアする（Ｓ３３）。車両位置特定部１５は追従フラグに「０」を設定する（Ｓ３４）。また後側方車両検出フラグＢＦに「０」を設定する。ステップＳ３２において後側方車両５を追従可能である場合（Ｓ３２のＹ）、ステップＳ３３及びステップＳ３４の処理がスキップされる。

【0060】

車両位置特定部１５は、自車両の運転者の死角に後側方車両５が存在するか否か判定する（Ｓ３５）。後側方車両検出フラグＢＦの値が「１」および追従フラグの値が「１」の少なくとも一方を満たしている場合、死角に後側方車両５が存在すると判定する。死角に後側方車両５が存在すると判定された場合（Ｓ３５のＹ）、検出信号出力部１６は表示部３１に後側方車両５の検出信号を出力し、表示部３１にアラートを表示させる。死角に後側方車両５が存在しないと判定された場合（Ｓ３５のＮ）、ステップＳ３９に遷移する。

【0061】

検出信号出力部１６は、後側方車両５が存在する方向のウインカスイッチ４がオンに操作されたことを示す操作信号をＣＡＮバスから取得すると（Ｓ３７のＹ）、音声出力部３２に後側方車両５の検出信号を出力し、音声出力部３２にアラートを音声出力させる（Ｓ３８）。後側方車両５が存在する方向のウインカスイッチ４がオンに操作された場合、運転者が後側方車両５の存在に気付いていないと推定できるため、音声を追加して運転者への注意喚起レベルを上げる。これにより、後側方車両５と衝突するリスクがある車線変更を運転者に思いとどまらせることが期待できる。当該操作信号を取得しない場合（Ｓ３７のＮ）、ステップＳ３８の処理がスキップされる。

【0062】

後側方車両の検出処理が継続している間は（Ｓ３９のＹ）、ステップＳ１１に戻り、ステップＳ１１〜ステップＳ３８までの処理を繰り返す。後側方車両の検出処理が終了した場合（Ｓ３９のＮ）、図７に係るフローチャートの処理を終了する。

【0063】

図１４は、バックカメラ２ａにより撮影された、後側方車両５の追従開始を決定した次のフレーム画像の一例を示す図である。フレーム画像内の複数の特徴点の内、黒塗りつぶしの特徴点は現フレーム画像内でオプティカルフローにより検出された特徴点を示している。左斜め下がり斜線の特徴点は前フレーム画像（追従開始時のフレーム画像）から抽出された特徴点を示している。黒塗りつぶしの特徴点は、前フレーム画像の特徴点（左斜め下がり斜線の特徴点）の移動先の特徴点である。右斜め下がり斜線の特徴点は、特徴点全体の移動方向に逆らう動きの特徴点であり、ノイズとみなす。ノイズとみなされた特徴点は削除され、次のフレーム画像からは存在しなくなる。

【0064】

図１４に示す画像内には、前フレーム画像から抽出された特徴点（左斜め下がり斜線の特徴点）を矩形で囲んだ車両追従エリアＡ７が設定されている。次のフレーム画像では現フレーム画像内でオプティカルフローにより検出された特徴点（黒塗りつぶしの特徴点）を矩形で囲んだ車両追従エリアに更新される。

【0065】

図１４に示す画像の左下部には右後側方車両用のタイヤ探索範囲の加工画像Ａ８を、右下部には左後側方車両用のタイヤ探索範囲の加工画像Ａ９をそれぞれ重畳して表示している。後側方車両５の追従が開始すると楕円検出部１４５による楕円検出処理が開始する。楕円検出部１４５は、右後側方車両用のタイヤ探索範囲および左後側方車両用のタイヤ探索範囲内にて楕円フィッティングにより楕円を探索している。図１４に示す画像は、楕円が検出されていない状態を示している。

【0066】

図１５は、バックカメラ２ａにより撮影された、後側方車両５の追従開始後の画像の一例（その１）を示す図である。右後側方車両のタイヤ探索範囲の加工画像Ａ８に示すように、後側方車両５の前輪タイヤ５１が楕円フィッティングにより検出されている。後側方車両５の前輪タイヤ５１を矩形で囲んだ前輪タイヤ検出エリアＡ１１が設定される。

【0067】

図１６は、バックカメラ２ａにより撮影された、後側方車両５の追従開始後の画像の一例（その２）を示す図である。図１６に示す画像は、後側方車両５が自車両に接近し、後側方車両５の前の部分が画像の外側に切れている。右後側方車両のタイヤ探索範囲の加工画像Ａ８に示すように、後側方車両５の後輪タイヤ５２が楕円フィッティングにより検出されている。後側方車両５の後輪タイヤ５２を矩形で囲んだ後輪タイヤ検出エリアＡ１２が設定される。図１６に示す画像では、後輪タイヤ５２及びその近傍以外の特徴点が既に削除されているため、車両追従エリアＡ７のサイズが小さくなっている。

【0068】

図１７は、バックカメラ２ａにより撮影された、後側方車両５の追従開始後の画像の一例（その３）を示す図である。右後側方車両のタイヤ探索範囲の加工画像Ａ８に示すように、後側方車両５の前輪タイヤ５１と後輪タイヤ５２の両方が楕円フィッティングにより検出されている。後側方車両５の前輪タイヤ５１と後輪タイヤ５２を矩形で囲んだ前後輪タイヤ検出エリアＡ１３が設定される。後側方車両５に続く別の後側方車両５ａが車両検出エリアＡ１内において車両正面の識別器で検出され、検出枠Ａ２ａで囲われている。

【0069】

図１８は、バックカメラ２ａにより撮影された、後側方車両５の追従開始後の画像の一例（その４）を示す図である。図１８に示す画像は、楕円検出部１４５により楕円が検出されていない状態の画像である。楕円が検出されていない状態では、オプティカルフローによる特徴点の追従と車両追従エリアＡ７の更新が実行される。

【0070】

図１９は、バックカメラ２ａにより撮影された、後側方車両５の追従開始後の画像の一例（その５）を示す図である。図１９に示す画像は、後側方車両５が自車両に接近し、後側方車両５の大部分がバックカメラ２ａの画角から外れた画像である。

【0071】

図２０は、バックカメラ２ａにより撮影された、後側方車両５の追従開始後の画像の一例（その６）を示す図である。図２０に示す画像は、後側方車両５が自車両に接近し、後側方車両５がバックカメラ２ａの画角から完全に消える直前の画像である。この状態では特徴点の数が一定値を下回っており、追従不可能と判断される。従って運転者へのアラート通知も終了する。運転者は目視により接近中の車両を確認する。

【0072】

以上説明したように本実施の形態によれば、１台のバックカメラを設置し、車両正面の識別器を使用した後側方車両の画像認識処理と、オプティカルフローを使用した後側方車両の画像認識処理を併用することにより、コストを抑えつつ後側方車両を高精度に検出することができる。即ち、２台のカメラを使用する場合と比較してコストを抑えることができる。

【0073】

また１台のバックカメラで撮影される画像内に映る後側方車両は、自車両との距離に応じて見え方が大きく変化する。従って、後側方車両を識別器だけで検出しようとすると、複数種類の識別器との照合を絶えず実行する必要があり演算量が増加し、ハードウェアコストが上昇する。そこで本実施の形態では画像内において正面を向いた後側方車両を識別器で検出し、斜め向きまたは横向きの後側方車両をオプティカルフローを用いた追従処理で検出する。これにより、識別器を使用した後側方車両の画像認識処理の演算量を抑えることができる。オプティカルフローを使用した後側方車両の画像認識処理の演算量を加味しても、後側方車両を識別器だけで検出する場合より演算量を低減できる。

【0074】

オプティカルフローは、（ｎ−１）番目のフレーム画像の特徴点がｎ番目のフレーム画像において、どこに移動したのかを求める処理である。オプティカルフローを用いて長時間、車両の追従処理を続けていると、時間の経過とともにその信頼度が低下していく。例えば、最初は車両の特徴点をうまく追従していても、いつの間にか、背景の特徴点を追従していることがある。また特徴点の移動先が正しく求められずに、追従できる特徴点の数が減ってくる。よって、オプティカルフロー検出開始直後の車両追従エリアは信頼性が高いが、検出開始から長時間が経過した後の車両追従エリアは信頼性が下がる。

【0075】

そこで本実施の形態では、上述したタイヤ検出処理を追加している。タイヤ検出処理では、タイヤ及びその周辺領域の特徴点を抽出して車両の特徴点に追加する。これにより、車両の特徴点が更新され、オプティカルフローによる追従処理の精度が維持される。タイヤの周辺には基本的に路面以外の背景が映らないため、背景から誤った特徴点を抽出する可能性が低下する。路面が舗装道路である場合、変化の少ない絵になるため路面からは特徴点が抽出されにくい。従ってタイヤ及びその周辺領域から特徴点を抽出すれば、ノイズを特徴点として抽出する可能性を低減できる。

【0076】

また縦長楕円を検出してタイヤを検出することにより、タイヤの検出精度を向上させることができる。上述のようにカメラの歪により、歪んだ状態で映っているタイヤを的確に検出できる。また車両のヘッドライトを誤ってタイヤと判定することを防止できる。ヘッドライトは横長の楕円であるため、縦長楕円を検出することにより、ヘッドライトをタイヤと誤検出することを防止できる。

【0077】

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0078】

上記図７のフローチャートでは、タイヤが検出されたフレーム画像の全てにおいて、特徴点を追加する処理を説明した。この点、前回特徴点を追加したフレームから所定のフレーム間隔（例えば、３フレーム）が空いていない場合、タイヤが検出されても特徴点を追加しない制御を採用してもよい。タイヤの検出中、全てのフレーム画像に特徴点を追加し続けると、前のフレーム画像のオプティカルフローによる移動後の特徴点と、現フレーム画像の特徴点の重複が多くなる。特徴点を追加するフレームの間隔を空けることにより、特徴点の重複を減らすことができる。

【0079】

また上述の実施の形態の説明では１台のバックカメラを使用する形態を想定したが、複数台のカメラを使用する形態を排除するものではない。例えば、車両後部の両側に右後側方を撮影するためのカメラと左後側方を撮影するためのカメラを２台設置した場合でも、それぞれのカメラの画角や向きにより、後側方車両の見え方が上述の実施の形態で示した例と類似する見え方となる場合がある。その場合、上述の実施の形態に係る技術を使用することにより、カメラのコスト以外の効果を享受することができる。

【符号の説明】

【0080】

１ 車両、 ２ 撮像装置、 ２ａ バックカメラ、 ３ ユーザインタフェース、 ３１ 表示部、 ３２ 音声出力部、 ４ ウインカスイッチ、 ５ 後側方車両、 １０ 車両検出装置、 １１ 画像取得部、 １２ 前処理部、 １３ 第１画像認識部、 １３１ 特徴量算出部、 １３２ 探索部、 １３３ 辞書データ保持部、 １４ 第２画像認識部、 １４１ 特徴点抽出範囲設定部、 １４２ 特徴点抽出部、 １４３ オプティカルフロー検出部、 １４４ 特徴点削除部、 １４５ 楕円検出部、 １４６ タイヤ判定部、 １５ 車両位置特定部、 １６ 検出信号出力部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】