特許 7117922 周辺認識装置及び車載カメラシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-04

(45)【発行日】2022-08-15

(54)【発明の名称】周辺認識装置及び車載カメラシステム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20220805BHJP

   B60R 11/02 20060101ALI20220805BHJP

   G06T 7/00 20170101ALI20220805BHJP

   H04N 7/18 20060101ALI20220805BHJP

【ＦＩ】

G08G1/16 C

B60R11/02 C

G06T7/00 650B

H04N7/18 J

【請求項の数】 5

(21)【出願番号】P 2018132674

(22)【出願日】2018-07-12

(65)【公開番号】P2020009386

(43)【公開日】2020-01-16

【審査請求日】2021-05-12

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】薄井 勉

(72)【発明者】

【氏名】新舎 大昌

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開２０１０－２６２６６５（ＪＰ，Ａ）

【文献】特開２０１７－１３５６９５（ＪＰ，Ａ）

【文献】特開２００９－２１７４９５（ＪＰ，Ａ）

【文献】特開２０１４－１８２６３２（ＪＰ，Ａ）

【文献】特開２０１５－１３００９８（ＪＰ，Ａ）

【文献】特開２００２－１４４９９１（ＪＰ，Ａ）

【文献】国際公開第２０１７／１３０２８５（ＷＯ，Ａ１）

【文献】独国特許出願公開第１０２０１５１２１１１４（ＤＥ，Ａ１）

【文献】小林 淳、外３名，“車載カメラ映像を用いた側方他車両の検出”，電子情報通信学会２０１２年総合大会講演論文集 情報・システム２，日本，社団法人電子情報通信学会 ，2012年03月06日，p.186

【文献】Milos Vasic et al.，"An Overtaking Decision Algorithm for Networked Intelligent Vehicles based on Cooperative Perception"，2016 IEEE Intelligent Vehicles Symposium (IV)，米国，IEEE，2016年06月19日，pp.1054-1059

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ １１／０２

Ｇ０６Ｔ １／００，７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両の前方を撮像して前記車両の前方に位置する対象物を認識する前方認識部、及び前記車両の側方を撮像して前記車両の側方に位置する対象物を認識する側方認識部からの認識結果を受け入れる入力部と、
前記前方認識部による認識結果に基づいて、前記前方認識部が認識した前記対象物が前記側方認識部により認識される時間範囲を予測する予測部と、
前記予測部により予測された時間範囲内において前記側方認識部により前記対象物が認識されたら、前記対象物は前記車両に対向する方向に走行すると判定する判定部と、
を有することを特徴とする周辺認識装置。

【請求項2】

前記判定部は、前記予測部により予測された時間範囲以外において、前記側方認識部による認識結果にのみ基づいて前記対象物の走行方向を判定する
ことを特徴とする請求項１に記載の周辺認識装置。

【請求項3】

前記予測部は、前記前方認識部による認識結果に基づいて、前記前方認識部が認識した前記対象物の前記車両に対する相対速度及び走行方向を求め、前記相対速度及び前記走行方向に基づいて前記前方認識部が認識した前記対象物が前記側方認識部により認識される時間範囲を予測する
ことを特徴とする請求項１または２に記載の周辺認識装置。

【請求項4】

前記前方認識部が認識した前記対象物と前記側方認識部が認識した前記対象物とが同一の前記対象物であるか否かを判定する同一判定部を有し、
前記判定部は、前記予測部により予測された時間範囲内において前記側方認識部により前記対象物が認識されたら、前記同一判定部により同一であると判定された前記対象物は前記車両に対向する方向に走行すると判定する
ことを特徴とする請求項１～３のいずれかに記載の周辺認識装置。

【請求項5】

車両の前方を撮像して前記車両の前方に位置する対象物を認識する前方認識部と、
前記車両の側方を撮像して前記車両の側方に位置する対象物を認識する側方認識部と、
前記前方認識部による認識結果に基づいて、前記前方認識部が認識した前記対象物が前記側方認識部により認識される時間範囲を予測する予測部と、
前記予測部により予測された時間範囲内において前記側方認識部により前記対象物が認識されたら、前記対象物は前記車両に対向する方向に走行すると判定する周辺認識装置と、
を有することを特徴とする車載カメラシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の周囲を撮像して対象物を認識する認識部の認識結果に基づいて対象物の走行方向を判定する周辺認識装置及びこの周辺認識装置を有する車載カメラシステムに関するものである。

【背景技術】

【0002】

前方用、後方用、周囲用といった車載用カメラの用途に応じて、様々な目的の車載カメラシステムが提案、実現されている。このような車載カメラシステムの一例として、自車の隣接車線を走行する他車を認識する車載カメラシステムが提案されている（例えば特許文献１参照）。例えば特許文献１に開示されている車載カメラシステムによれば、主に車線変更や進路変更等する際に障害となる車両が隣接車線等に存在しているかどうかを認識することができる。

【0003】

ここで、仮に、他車が自車と異なる方向に進行していた場合は、自車の車線変更等には悪影響は及ぼさない。一方、他車が自車と同一方向に進行している場合は、自車の車線変更により他車に接触する等の可能性が生じうる。従って、上述した車載カメラシステムにおいて、他車の進行方向が自車の進行方向と同じ方向であるか、異なる方向であるかの情報を入手することが重要である。

【0004】

他車の進行方向を判断する方法としては、車載カメラシステムで撮影した画像認識より、他車の正面が写っているか背面が写っているかを判定し、これにより、他車が自車と同一方向に進行しているか、あるいは反対方向に進行しているかを判断する手法が考えられる。

【先行技術文献】

【特許文献】

【0005】

【文献】国際公開第２０１４／０１７４０３号

【文献】特開２００７－２８６８７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上述した画像認識により他車の正面が写っているか、あるいは背面が写っているかを認識する手法では、車載カメラに他車が映ってから認識までに一定の時間を必要とする。この間、他車は車線を一定方向に走行しているので、画像認識に必要な時間に対応する走行範囲については他車及びその走行方向を認識しづらい。特に、他車が自車と反対方向に走行していると、自車と他車の相対速度が大きくなるため、認識しづらい範囲も拡大される傾向にある。

【0007】

車両を認識するまでの時間を短くする技術として、特許文献２に開示されている技術がある。すなわち、特許文献２には、近距離他車認識手段と遠距離四輪車認識手段という同一方向を撮影する画角の異なる複数のカメラを用いて、認識していた被写体の位置などの推移から、画角の狭い遠距離用のカメラが画角の広い近距離用のカメラで認識しづらい被写体の存在を推定し補うという技術が開示されている。

【0008】

しかしながら、特許文献２に開示された技術は、自車から死角となる自動二輪車等の対象物を効率的に認識するためのものであり、カメラによって他車の走行方向を判定するものではない。

【0009】

そこで、本発明は、認識部により認識された対象物の走行方向をより短時間で判定することが可能な周辺認識装置及び車載カメラシステムを提供することを目的としている。

【課題を解決するための手段】

【0010】

前記目的を達成するために、本発明の周辺認識装置は、車両の前方を撮像して前記車両の前方に位置する対象物を認識する前方認識部、及び前記車両の側方を撮像して前記車両の側方に位置する対象物を認識する側方認識部からの認識結果を受け入れる入力部と、前方認識部による認識結果に基づいて、前方認識部が認識した対象物が側方認識部により認識される時間範囲を予測する予測部と、予測部により予測された時間範囲内において側方認識部により対象物が認識されたら、対象物は車両に対向する方向に走行すると判定する判定部と、を有することを特徴とする。

【発明の効果】

【0011】

このように構成された本発明の周辺認識装置では、判定部が、予測部により予測された時間範囲内において側方認識部により対象物が認識されたら、対象物は車両に対向する方向に走行すると判定する。

【0012】

このようにすることで、認識部により認識された対象物の走行方向をより短時間で判定することが可能となる。予測部は、前方認識部による認識結果に基づいて、前方認識部が認識した対象物が側方認識部により認識される時間範囲を予測しているので、予測部による時間範囲予測をより精度良く行うことができる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施の形態である車載カメラシステムの概略構成を示すブロック図である。

【図2】実施の形態である車載カメラシステムを構成するカメラの配置位置を示す図である。

【図3】実施の形態である車載カメラシステムを構成するカメラの概略構成を示すブロック図である。

【図4】実施の形態である周辺認識装置の機能の概略構成を示す機能ブロック図である。

【図5】一般的な車載カメラシステムによる車両の走行方向の判定手法の一例を説明するための図である。

【図6】実施の形態である車載カメラシステムによる車両の走行方向の判定手法の一例を説明するための図である。

【図7】一般的な車載カメラシステムによる車両の走行方向の判定手法の別の例を説明するための図である。

【図8】一般的な車載カメラシステムによる車両の走行方向の判定手法の別の例を説明するための図である。

【図9】実施の形態である車載カメラシステムによる車両の走行方向の判定手法の別の例を説明するための図である。

【図10】実施の形態である車載カメラシステムの動作の一例を説明するためのフローチャートである。

【発明を実施するための形態】

【0014】

以下、この発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施の形態である周辺認識装置が適用される車載カメラシステムの概略構成を示すブロック図、図２は実施の形態である車載カメラシステムを構成するカメラの配置位置を示す図である。

【0015】

本実施の形態である車載カメラシステムＳは、前方カメラ（前方認識部）１ａ、右側方カメラ（側方認識部）１ｂ、左側方カメラ（側方認識部）１ｃ及び周辺認識装置２を有する。

【0016】

図２に示すように、車両Ｖのフロントガラスの上部には、車両Ｖの前方に向けて前方カメラ１ａが装着されている。車両Ｖの右ドアミラーには、車両Ｖの右側方に向けて右側方カメラ１ｂが装着されている。車両Ｖの左ドアミラーには、車両Ｖの左側方に向けて左側方カメラ１ｃが装着されている。

【0017】

前方カメラ１ａは、車両Ｖの前方を撮像してこの車両Ｖの前方に位置する車両等の対象物を認識する。右側方カメラ１ｂは、車両Ｖの右後側方を撮像してこの車両Ｖの右後側方に位置する車両等の対象物を認識する。左側方カメラ１ｃは、車両Ｖの左後側方を撮像してこの車両Ｖの左後側方に位置する車両等の対象物を認識する。

【0018】

なお、以下の説明において、個々のカメラ１ａ～１ｃを区別せずに説明する際には、カメラ１として代表して説明する。

【0019】

前方カメラ１ａ、右側方カメラ１ｂ及び左側方カメラ１ｃから出力される画像信号及び認識信号は周辺認識装置２に入力される。周辺認識装置２には、車両ＥＣＵ３から車両Ｖに関する情報、一例として車速、舵角等の情報が入力される。

【0020】

周辺認識装置２は、これらカメラ１による対象物の認識結果に基づいて、対象物の走行方向を判定する。周辺認識装置２による対象物の走行方向の判定の詳細については後述する。

【0021】

図３は、本実施の形態である車載カメラシステムＳを構成するカメラ１の概略構成を示すブロック図である。

【0022】

カメラ１は、レンズ１０、撮像部１１、信号検波部／処理部１２、認識処理部１３、センシング用外部インタフェース（Ｉ／Ｆ）１４及びシステム制御部１５を有する。

【0023】

車両Ｖの進行方向前方からレンズ１０に入射する光はこのレンズ１０により集光され、撮像部１１に導かれる。撮像部１１は、レンズ１０により集光された光を所定の撮像間隔で光電変換して映像信号を生成し、この映像信号を後段の信号検波部／処理部１２に送出する。

【0024】

撮像部１１はＣＭＯＳ、ＣＣＤ等の撮像素子を有し、本実施の形態では、所定のフレームレート（例えば１／３０秒、１／６０秒）で車両前方からの光を撮像し、映像信号を信号検波部／処理部１２に送出する。なお、撮像部１１が備える撮像素子がＣＭＯＳであれば、光電変換後にＡ／Ｄ変換された映像信号が撮像部１１から出力され、撮像素子がＣＣＤであれば、撮像部１１の後段に図略のＡ／Ｄ変換ブロックが設けられてこのＡ／Ｄ変換ブロックから映像信号が出力されるが、図３ではこれらをまとめて撮像部１１として表示している。

【0025】

信号検波部／処理部１２は、ゲイン処理部１６、ガンマ処理部１７、各種カメラ信号処理部１８及び検波部１９を有する。検波部１９は撮像部１１から入力された映像信号の輝度レベルなどを検波し、その検波情報に基づいて、ゲイン処理部１６は映像信号のゲイン（利得）を調整し、ガンマ処理部１７は規定のガンマカーブに基づいてガンマ処理を行い、各種カメラ信号処理部１８はホワイトバランス処理、ＲＧＢベイヤー配列フィルタに対応した補間処理、色信号処理などを行う。信号検波部／処理部１２が行う処理については周知のものであるので、ここではこれ以上の詳細な説明を省略する。

【0026】

信号検波部／処理部１２により各種信号処理が行われた映像信号は、認識処理部１３及びセンシング用外部インタフェース１４を介して周辺認識装置２に送出される。

【0027】

認識処理部１３は、信号検波部／処理部１２により各種信号処理が行われた映像信号に基づいて、この映像信号内に他車等の対象物が撮像されているかどうかの認識を行う。さらに、認識処理部１３は、映像信号内に対象物が撮像されていると認識した場合は、この映像信号に基づく画像内における撮像位置を認識する。そして、認識処理部１３は、対象物が撮像されているか否か、及び、対象物が撮像されている場合はその撮像位置情報を認識情報として出力する。認識処理部１３による認識処理自体は公知であるので、ここではこれ以上の説明を省略する。

【0028】

認識処理部１３から出力される認識情報も、センシング用外部インタフェース１４を介して周辺認識装置２に送出される。

【0029】

システム制御部１５はカメラ１の全体制御を行う。具体的には、システム制御部１５は、信号検波部／処理部１２の検波部１９による検波情報に基づいて、撮像部１１のシャッター速度等の制御を行う。

【0030】

図４は、本実施の形態である周辺認識装置２の機能の概略構成を示す機能ブロック図である。

【0031】

周辺認識装置２は、ＣＰＵ、ＦＰＧＡなどのプログラマブルロジックデバイス、ＡＳＩＣ等の集積回路に代表される演算素子を備える制御部２０、及び、ハードディスクドライブ等の大容量記憶媒体やＲＯＭ、ＲＡＭ等の半導体記憶媒体などの記憶媒体を備える記憶部２１、さらには外部機器との間のインタフェース回路を備える入力部２２、出力部２３を有する。ここで、本実施の形態では、周辺認識装置２は一体の演算素子、記憶媒体及びインタフェース回路を有するものとして説明するが、これらが別体の演算素子等により構成されていてもよい。

【0032】

周辺認識装置２の記憶部２１には図略の制御用プログラムが格納されており、この制御用プログラムが周辺認識装置２の起動時に制御部２０により実行されて、周辺認識装置２は図４に示すような機能構成を備えたものとなる。特に、本実施形態の周辺認識装置２は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばＦＰＧＡなどを有することが好ましい。

【0033】

制御部２０は、予測部２４、同一判定部２５及び判定部２６を有する。

【0034】

予測部２４は、前方カメラ（前方認識部）１ａによる認識結果に基づいて、この前方カメラ１ａが認識した対象物が右側方カメラ（側方認識部）１ｂまたは左側方カメラ（側方認識部）１ｃにより認識される時間範囲を予測する。

【0035】

特に本実施の形態では、予測部２４は、前方カメラ１ａによる認識結果に基づいて、前方カメラ１ａが認識した対象物の車両Ｖに対する相対速度及び走行方向を求める。そして、予測部２４は、これら相対速度及び走行方向に基づいて、前方カメラ１ａが認識した対象物が右側方カメラ１ｂまたは左側方カメラ１ｃにより認識される時間範囲を予測する。

【0036】

同一判定部２５は、前方カメラ１ａが認識した対象物と右側方カメラ１ｂまたは左側方カメラ１ｃが認識した対象物とが同一の対象物であるか否かを判定する。

【0037】

同一判定部２５による同一性の判定手法、つまり前方カメラ１ａが認識した対象物と右側方カメラ１ｂまたは左側方カメラ１ｃが認識した対象物とが同一の対象物であるか否かの判定手法には種々のものが挙げられる。

【0038】

最も一般的であるのは、予測部２４により求められた対象物の車両Ｖに対する相対速度及び走行方向に基づいて予測された時間範囲内において右側方カメラ１ｂまたは左側方カメラ１ｃが認識した対象物は、前方カメラ１ａが認識した対象物と同一であると判定する手法である。

【0039】

また、同一判定部２５が、前方カメラ１ａ及び右側方カメラ１ｂまたは左側方カメラ１ｃの認識結果に基づいて対象物のナンバープレートに記されている４桁の番号を認識し、これら番号が一致するか否かにより対象物の同一性を判定する手法もある。さらに、同一判定部２５が、対象物の色、形状、車種を認識してその同一性に基づいて対象物の同一性を判定する手法もある。

【0040】

さらに、予測部２４が、図略のナビゲーション装置からの情報に基づいて、ナビゲーション用マップ上の車両Ｖ及び対象物の座標情報を取得し、予測部２４が求めた対象物の車両Ｖに対する相対速度及び走行方向を用いて所定時間後の対象物の座標位置を推測してもよい。そして、同一判定部２５は、所定時間後において予測部２４が予測した対象物の座標位置近傍において右側方カメラ１ｂまたは左側方カメラ１ｃが対象物を認識したら、同一の対象物であると判定する手法もある。

【0041】

さらに、同一判定部２５は、前方カメラ１ａの認識結果に基づいて対象物がどの車線を走行しているかを認識し、この対象物が同一車線を引き続き走行すると仮定した場合の右側方カメラ１ｂまたは左側方カメラ１ｃによる対象物の認識位置を推測する。そして、同一判定部２５は、推測した認識位置において対象物が認識されたら、対象物が同一であると判定する手法もある。

【0042】

そして、同一判定部２５は、車車間通信を用いて取得した他車である対象物のＧＰＳ位置情報などの走行情報に基づいて所定時間経過後の対象物の位置情報を推測する。そして、同一判定部２５は、推測した位置情報に基づく位置において対象物が認識されたら、対象物が同一であると判定する手法もある。

【0043】

判定部２６は、前方カメラ１ａ及び右側方カメラ１ｂの認識結果に基づいて車両Ｖの走行方向を判定する。好ましくは、判定部２６は、予測部２４により予測された時間範囲内において右側方カメラ１ｂまたは左側方カメラ１ｃにより対象物が認識されたら、対象物は車両Ｖに対向する方向に走行すると判定する。

【0044】

特に本実施の形態では、判定部２６は、予測部２４により予測された時間範囲内において右側方カメラ１ｂまたは左側方カメラ１ｃにより対象物が認識されたら、同一判定部２５により同一であると判定された対象物は車両に対向する方向に走行すると判定する。

【0045】

また、判定部２６は、予測部２４により予測された時間範囲以外において、右側方カメラ１ｂまたは左側方カメラ１ｃによる認識結果にのみ基づいて対象物の走行方向を判定する。

【0046】

これら予測部２４、同一判定部２５及び判定部２６を含む制御部２０さらに詳細な動作については後述する。

【0047】

記憶部２１には、制御部２０における各種動作の際に用いられる各種データが一時的または非一時的に格納される。

【0048】

入力部２２は、車両ＥＣＵ３からの車両Ｖに関する情報、一例として車速、舵角等の情報を受け入れる。また、入力部２２は、前方認識部（前方カメラ）１ａ及び側方認識部（右側方カメラまたは左側方カメラ）１ｂ、１ｃから認識情報及び映像信号を受け入れる。そして、入力部２２は、受け入れた情報等を制御部２０に送出する。

【0049】

出力部２３は、制御部２０から出力される対象物の走行方向に関する情報を含む情報を受け入れ、これを外部機器に出力する。

【0050】

次に、本実施の形態である車載カメラシステムＳの動作の概要について図５～図９を参照して説明する。

【0051】

図５は、一般的な車載カメラシステムによる車両の走行方向の判定手法の一例を説明するための図である。ここに、一般的な車載カメラシステムでは、本実施の形態の車載カメラシステムＳと異なり、前方カメラを用いずに側方カメラ（右側方カメラまたは左側方カメラ）によって他車の走行方向を判定している。

【0052】

また、図５及び図６に示す例では、車両Ｖは片側１車線の道路を走行しているものとする。従って、対象物は車両Ｖと同一方向を走行することを排除することができるので、車載カメラシステムは、主に対向車の存在を認識すればよい。

【0053】

図５、及び以降説明する図６～図９において、図中上（例えば図５（ａ））から下に向かう（図５（ｃ））に従って時間が進むように図示している。

【0054】

図５（ａ）に示すように、一般的な車載カメラシステムが搭載された車両（自車）Ｖは、側方カメラによって他車の走行方向を判定している。従って、自車と異なる方向に走行する対向車Ａが車両Ｖの前方を走行していると、側方カメラの撮像範囲ＡＲ１内に対向車Ａが進入していないので、一般的な車載カメラシステムでは対向車Ａをまだ認識できない。よって、この時点では、一般的な車載カメラシステムは対向車Ａの走行方向を判定することはできない。

【0055】

図５（ｂ）に示すように、側方カメラの撮像範囲ＡＲ１内に対向車Ａが進入した時点では、側方カメラにより認識された対象物が対向車Ａであると直ちに認識することはできない。つまり、側方カメラは対象物を認識しても、その走行方向及び走行速度を求めるには、所定の時間（複数フレーム）にわたってこの対象物を認識する必要がある。従って、この時点でも一般的な車載カメラシステムは対向車Ａの走行方向を判定することはできない。

【0056】

そして、図５（ｃ）に示すように、側方カメラの撮像範囲ＡＲ１内に対向車Ａが進入してから所定の時間が経過すると、一般的な車載カメラシステムは対象物の走行方向を判定し、この対象物が対向車Ａであることを認識することができる。

【0057】

このように、一般的な車載カメラシステムでは、側方カメラにより対向車Ａが撮像された時点（図５（ｂ））から実際に対向車Ａの走行方向を判定する時点（図５（ｃ））までに一定の時間差が生じる。この時間差は、一般的な車載カメラシステムによる対向車Ａの認識性能及び認識処理時間にも依存するものの、対向車Ａと車両Ｖとの走行方向が逆であることから、時間差も大きくなる傾向にある。従って、この時間差に相当する範囲（図５（ｂ）から図５（ｃ）までの時間及びこの時間に対応する走行距離範囲）では、一般的な車載カメラシステムが対向車Ａの走行方向を判定できないことになる。

【0058】

次に、図６は、本実施の形態である車載カメラシステムＳによる車両Ｖの走行方向の判定手法の一例を説明するための図である。

【0059】

本実施の形態である車載カメラシステムＳでは、図６（ａ）に示すように、前方認識部である前方カメラ１ａが車両Ｖの前方を撮像している。前方カメラ１ａは、その撮像範囲ＡＲ２内に進入した対象物（この場合は対向車Ｂ）の認識を行う。周辺認識装置２の予測部２４は、前方カメラ１ａの認識結果に基づいて、前方カメラ１ａが認識した対向車Ｂの車両Ｖに対する相対速度及び走行方向を求める。そして、予測部２４は、これら相対速度及び走行方向に基づいて、対向車Ｂが側方カメラ（この場合は右側方カメラ１ｂ）により認識される時間範囲を予測する。

【0060】

次に、図６（ｂ）に示すように、側方認識部である右側方カメラ１ｂの撮像範囲ＡＲ１内に対向車Ｂが進入すると、右側方カメラ１ｂはこの対向車Ｂを認識する。周辺認識装置２の同一判定部２５は、右側方カメラ１ｂにより認識された対象物が前方カメラ１ａにより認識された対象物（対向車Ｂ）であるか否かを判定する。図６（ｂ）に示す例では、同一判定部２５は前方カメラ１ａ及び右側方カメラ１ｂによりそれぞれ認識された対象物（対向車Ｂ）は同一であると判定する。

【0061】

そして、判定部２６は、同一判定部２５により同一と判定された対象物（対向車Ｂ）が、予測部２４により予測された時間範囲内において右側方カメラ１ｂにより認識されたかどうかを判定する。その結果、対象物（対向車Ｂ）が予測時間範囲内に認識された場合は、判定部２６は、対象物（対向車Ｂ）が車両Ｖに対向する方向に走行すると判定する。言い換えれば、判定部２６は、対象物が対向車（Ｂ）であると判定する。

【0062】

従って、図６（ｂ）に示す例では、前方カメラ１ａにより認識された対向車Ｂが右側方カメラ１ｂの撮像範囲ＡＲ１内に進入してこの右側方カメラ１ｂにより認識されることにより、この対向車Ｂの走行方向を早期に判定することができる。つまり、図５（ｂ）（ｃ）に示す例のように、対向車Ａが右側方カメラ１ｂにより認識されてから所定時間を経過することなく、対象物である対向車Ｂの走行方向を判定することができる。

【0063】

判定部２６による判定結果は、自車の車線変更や進路変更の可否の判定等に用いることができる。つまり、対向車Ｂであると認識できれば、車線変更等の可否の判定等において、対向車Ｂが自車と接近、接触する可能性は低いと判断できるので、この対向車Ｂを判定対象から早期に除外することができる。

【0064】

次に、図７は、一般的な車載カメラシステムによる車両の走行方向の判定手法の別の例を説明するための図である。図７～図９に示す例では、車両Ｖは片側２車線以上の車線を有する道路を走行しているものとする。従って、車載カメラシステムは、カメラにより認識した対象物が対向車線を走行しているか、あるいは隣接車線を走行しているかについても認識する必要がある。

【0065】

図７において、自車（車両Ｖ）の側方カメラは、自車と同一方向に走行する車両Ｄを継続的に撮像して認識している。従って、一般的な車載カメラシステムは、この車両Ｄが自車と同一方向に走行することを認識、判定している。また、図５に示す例と同様に、一般的な車載カメラシステムでは、図７に示す段階で対向車Ｃを認識することができない。

【0066】

図８も、一般的な車載カメラシステムによる車両の走行方向の判定手法の別の例を説明するための図である。

【0067】

図８（ａ）に示す例では、図５（ａ）に示す例と同様に、自車と異なる方向に走行する対向車Ｅが車両Ｖの前方を走行していると、側方カメラの撮像範囲ＡＲ１内に対向車Ｅが進入していないので、一般的な車載カメラシステムでは対向車Ｅをまだ認識できない。よって、この時点では、一般的な車載カメラシステムは対向車Ｅの走行方向を判定することはできない。

【0068】

そして、図８（ｂ）に示すように、側方カメラの撮像範囲ＡＲ１内に対向車Ｅが進入してから所定の時間が経過すると、一般的な車載カメラシステムは対象物の走行方向を判定し、この対象物が車両Ｖと同一方向に走行している車両ではなく、車両Ｖに対向する方向に走行する対向車Ｅであることを認識することができる。

【0069】

次に、図９は、本実施の形態である車載カメラシステムＳによる車両Ｖの走行方向の判定手法の別の例を説明するための図である。

【0070】

図９（ａ）に示すように、前方カメラ１ａは、その撮像範囲ＡＲ２内に進入した対象物（この場合は対向車Ｆ）の認識を行う。予測部２４は、前方カメラ１ａが認識した対向車Ｆの車両Ｖに対する相対速度及び走行方向を求める。そして、予測部２４は、これら相対速度及び走行方向に基づいて、対向車Ｆが側方カメラ（この場合は右側方カメラ１ｂ）により認識される時間範囲を予測する。

【0071】

右側方カメラ１ｂが対向車Ｆを認識すると、同一判定部２５は、右側方カメラ１ｂにより認識された対象物が前方カメラ１ａにより認識された対象物（対向車Ｆ）であるか否かを判定する。そして、判定部２６は、同一判定部２５により同一と判定された対象物（対向車Ｆ）が、予測部２４により予測された時間範囲内において右側方カメラ１ｂにより認識されたかどうかを判定する。その結果、対象物（対向車Ｆ）が予測時間範囲内に認識された場合は、判定部２６は、対象物（対向車Ｆ）が車両Ｖに対向する方向に走行すると判定する。言い換えれば、判定部２６は、対象物が対向車（Ｆ）であると判定する。

【0072】

従って、図９（ｂ）に示すように、右側方カメラ１ｂが対象物（対向車Ｆ）を撮像して認識している間はずっと、周辺認識装置２はこの対象物の走行方向、言い換えれば、対象物が車両Ｖと同一方向を走行する車両か、あるいは対向する方向に走行する対向車Ｆであるかの判断を行う必要がなくなる。

【0073】

なお、図９（ａ）において、対向車Ｆに隣接する車線（図において対向車Ｆが走行する車線の上方にある車線）にも対向車が走行している。しかしながら、この対向車は前方カメラ１ａの撮像範囲ＡＲ２内にないため、前方カメラ１ａはこの対向車の認識を行わない。結果として、予測部２４はこの対向車の車両Ｖに対する相対速度及び走行方向を求めず、さらには対向車が右側方カメラ１ｂにより認識される時間範囲も予測しない。

【0074】

この結果、この対向車が右側方カメラ１ｂの撮像範囲ＡＲ１内に進入したとしても、同一判定部２５は対向車に対する同一性の判定を行わない。これにより、判定部２６は対向車を走行方向の判定を行う必要がない対象物であると判定する。よって、周辺認識装置２全体の処理負担を軽減することができる。

【0075】

次に、本実施の形態である車載カメラシステムＳの動作の詳細を図１０のフローチャートを参照して説明する。

【0076】

図１０は、本実施の形態である車載カメラシステムＳ、特に周辺認識装置２の動作の一例を説明するためのフローチャートである。図１０に示すフローチャートは、図６及び図９に示す例に対応している。図１０のフローチャートに示す動作は、周辺認識装置２の電源が入れられて動作が開始した時点で開始する。

【0077】

まず、ステップＳ１０では、前方カメラ１ａが対向車を認識したか否かが周辺認識装置２の制御部２０により判定される。そして、対向車を認識したと判定されたら（ステップＳ１０においてＹＥＳ）、プログラムはステップＳ１１に移行する。一方、対向車を認識していないと判定されたら（ステップＳ１０においてＮＯ）、プログラムはステップＳ１８に移行する。

【0078】

ステップＳ１１では、前方カメラ１ａの認識結果に基づいて、予測部２４が、ステップＳ１０において前方カメラ１ａにより認識された対向車が右側方カメラ１ｂにより認識される時間範囲を予測する。

【0079】

ステップＳ１２では、制御部２０が右側方カメラ１ｂ及び左側方カメラ１ｃにより認識された対象物の走行方向及び走行速度の算出を行う。ステップＳ１２により行われる動作は、既に説明したように、対象物の認識を所定時間継続して行うことで、その走行方向及び走行速度の算出を行うものである。

【0080】

ステップＳ１３では、ステップＳ１１で予測部２４により算出された予測時間範囲に到達したか否かが制御部２０により判定される。そして、予測時間範囲に到達したと判定されたら（ステップＳ１３においてＹＥＳ）、プログラムはステップＳ１４に移行する。一方、まだ予測時間範囲に到達していないと判定されたら（ステップＳ１３においてＮＯ）、プログラムはステップＳ１２に戻って、引き続き右側方カメラ１ｂ及び左側方カメラ１ｃにより認識された対象物の走行方向及び走行速度の算出を行う。

【0081】

ステップＳ１４では、右側方カメラ１ｂにより対象物が認識され、そして、認識された対象物がステップＳ１０において認識された対象物と同一であるか否かが同一判定部２５により判定される。そして、対象物が同一であると判定されたら（ステップＳ１４においてＹＥＳ）、プログラムはステップＳ１５に進む。一方、対象物が認識されていない、または対象物が同一でないと判定されたら（ステップＳ１４においてＮＯ）、プログラムはステップＳ１６に進む。

【0082】

ステップＳ１５では、判定部２６が、同一判定部２５の判定結果及び右側方カメラ１ｂの認識結果との双方に基づいて、ステップＳ１４で認識された対象物は車両Ｖと対向する方向に走行する対向車であると判定する。この後、プログラムはステップＳ１０に戻る。

【0083】

ステップＳ１５における判定部２６の動作をより詳細に説明する。ステップＳ１４における判定が肯定されているので、判定部２６は、ステップＳ１０において前方カメラ１ａが認識した対象物と同一の対象物が右側方カメラ１ｂにおいて認識されることを予定、予測している。

【0084】

そこで、判定部２６は、右側方カメラ１ｂによる認識結果を用いずに、右側方カメラ１ｂにより撮像された対象物に対する認識結果等の処理を実施し、これと並行して、右側方カメラ１ｂによる認識結果を用いて、右側方カメラ１ｂの撮像結果に基づく認識処理を行うことができる。ここに、「認識結果等の処理」とは、例えば対象物の周囲に枠を表示するといった認識結果の表示処理を行うこと、あるいは、表示には用いない車両制御を行うための認識結果情報の処理を行うことを指す。

【0085】

ステップＳ１６ではステップＳ１２と同様の処理が行われる。この後、プログラムはステップＳ１７に移行する。

【0086】

ステップＳ１７では、ステップＳ１１で予測部２４により算出された予測時間範囲を経過したか否かが制御部２０により判定される。そして、予測時間範囲を経過したと判定されたら（ステップＳ１７においてＹＥＳ）、プログラムはステップＳ１０に戻る。一方、まだ予測時間範囲を経過していないと判定されたら（ステップＳ１７においてＮＯ）、プログラムはステップＳ１４に戻る。

【0087】

一方、ステップＳ１８では、ステップＳ１２、Ｓ１６と同様の処理が行われる。この後、プログラムはステップＳ１０に戻る。

【0088】

以上のように構成された本実施の形態である周辺認識装置２では、判定部２６が、前方カメラ１ａ及び右側方カメラ１ｂの認識結果に基づいて対象物の走行方向を判定している。

【0089】

このようにすることで、右側方カメラ１ｂにより認識された対象物の走行方向をより短時間で判定することが可能となる。

【0090】

特に、本実施の形態である周辺認識装置２では、予測部２４により予測された時間範囲内において右側方カメラ１ｂにより対象物が認識されたら、判定部２６が対象物は車両Ｖに対向する方向に走行すると判定する。これにより、判定部２６の判定動作をより高速にかつ確実に行うことができる。

【0091】

また、判定部２６は、予測部２４により予測された時間範囲以外において、右側方カメラ１ｂによる認識結果にのみ基づいて対象物の走行方向を判定しているので、対向車が認識されない状態においても適切な対象物の走行方向を判定することができる。

【0092】

また、予測部２４は、前方カメラ１ａによる認識結果に基づいて対象物の車両Ｖに対する相対速度及び走行方向を求め、この相対速度及び走行方向に基づいて、前方カメラ１ａが認識した対象物が右側方カメラ１ｂにより認識される時間範囲を予測しているので、予測部２４による時間範囲予測をより精度良く行うことができる。

【0093】

そして、同一判定部２５が、前方カメラ１ａが認識した対象物と右側方カメラ１ｂが認識した対象物とが同一の対象物であるか否かを判定し、判定部２６が、予測部２４により予測された時間範囲内において右側方カメラ１ｂにより対象物が認識されたら、同一判定部２５により同一であると判定された対象物は車両に対向する方向に走行すると判定しているので、判定部２６による判定制度をより向上させることができる。

【0094】

以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

【符号の説明】

【0095】

Ｓ 車載カメラシステム
Ｖ 車両
１ カメラ
１ａ 前方カメラ（前方認識部）
１ｂ 右側方カメラ（側方認識部）
１ｃ 左側方カメラ（側方認識部）
２ 周辺認識装置
３ 車両ＥＣＵ
２０ 制御部
２１ 記憶部
２２ 入力部
２４ 予測部
２５ 同一判定部
２６ 判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】