ホーム > 特許ランキング > トヨタ自動車株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-08
(45)【発行日】2024-10-17
(54)【発明の名称】車両用画像処理システム、車両及び画像送信方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20241009BHJP
B60R 1/26 20220101ALI20241009BHJP
B60R 11/02 20060101ALI20241009BHJP
G06T 7/00 20170101ALI20241009BHJP
B60W 50/14 20200101ALI20241009BHJP
B60W 30/09 20120101ALI20241009BHJP
【ＦＩ】
H04N7/18 J
B60R1/26
B60R11/02 C
G06T7/00 650B
B60W50/14
B60W30/09
【請求項の数】
9
(21)【出願番号】P 2021019568
(22)【出願日】2021-02-10
(65)【公開番号】P2022122379
(43)【公開日】2022-08-23
【審査請求日】2023-08-22
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】110000213
【氏名又は名称】弁理士法人プロスペック特許事務所
(72)【発明者】
【氏名】堀内 尚
【審査官】薄井 義明
(56)【参考文献】
【文献】国際公開第２０２０／１１５９８１（ＷＯ，Ａ１）
【文献】特開２０１２－１６９９４８（ＪＰ，Ａ）
【文献】特開２００７－２０１７０１（ＪＰ，Ａ）
【文献】特開２０１３－１９２１８５（ＪＰ，Ａ）
【文献】特開２０１６－０９２５７１（ＪＰ，Ａ）
【文献】特開２０１９－０５９２５２（ＪＰ，Ａ）
【文献】特開平０９－３０７８７９（ＪＰ，Ａ）
【文献】特開２０００－３１６１１２（ＪＰ，Ａ）
【文献】特開２０１２－１４７１０７（ＪＰ，Ａ）
【文献】特開２０１７－００５４９７（ＪＰ，Ａ）
【文献】特開平１１－２９８８５３（ＪＰ，Ａ）
【文献】特開２０１８－０３６９０１（ＪＰ，Ａ）
【文献】特開２０２１－０１９２７０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／００
(57)【特許請求の範囲】
【請求項1】
車両の周辺領域に存在する物標を認識するための認識処理に用いる認識用画像を取得するとともに、表示用画像を取得する複数の第１カメラ装置と、前記認識処理を実行する認識ユニットと、
前記第１カメラ装置及び前記認識ユニットと通信可能に接続され、前記第１カメラ装置によって送信された前記認識用画像を受信し、前記認識用画像を前記認識ユニットへ送信する通信ユニットと、
前記表示用画像に対して所定の表示制御処理を実行し、前記表示制御処理を実行した表示用画像を前記車両に配設されたディスプレイに表示する表示制御ユニットと、
を備え、
前記通信ユニットは、前記複数の第１カメラ装置から受信した認識用画像の前記認識ユニットへの送信タイミングが異なるように前記認識用画像を前記認識ユニットに送信するように構成され、
前記認識ユニットは、前記通信ユニットから受信した認識用画像を用いて前記認識処理を実行するように構成され、
前記第１カメラ装置のそれぞれは、
前記認識用画像を取得した場合には、認識識別子を付与して当該認識用画像を前記通信ユニットに送信し、
前記表示用画像を取得した場合には、表示識別子を付与して当該表示用画像を前記通信ユニットに送信し、
前記通信ユニットは、
前記表示制御ユニットにも通信可能に接続され、
前記第１カメラ装置から前記認識用画像及び前記表示用画像の何れかの画像を受信した場合、前記画像に前記認識識別子が付与されていれば、当該画像を前記認識ユニットに送信し、前記画像に前記表示識別子が付与されていれば、当該画像を前記表示制御ユニットに送信する、
ように構成された、
車両用画像処理システム。
【請求項2】
請求項１に記載の車両用画像処理システムにおいて、前記第１カメラ装置のそれぞれは、
前記第１カメラ装置同士で前記認識用画像の取得タイミングが異なるように、前記認識用画像を取得し、
前記認識用画像を前記通信ユニットに送信する、
ように構成され、
前記通信ユニットは、前記第１カメラ装置から前記認識用画像を受信した場合、当該認識用画像を前記認識ユニットに送信する、ように構成された、
車両用画像処理システム。
【請求項3】
請求項２に記載の車両用画像処理システムにおいて、前記認識ユニットは、前記複数の第１カメラ装置へ認識用同期信号を異なるタイミングで送信するように構成され、
前記第１カメラ装置のそれぞれは、前記認識用同期信号を受信したときに前記認識用画像を取得するように構成された、
車両用画像処理システム。
【請求項4】
請求項１に記載の車両用画像処理システムにおいて、
前記表示制御ユニットは、前記複数の第１カメラ装置が取得した表示用画像を合成する処理を前記表示制御処理として実行するように構成された、
車両用画像処理システム。
【請求項5】
請求項４に記載の車両用画像処理システムであって、
前記表示用画像を取得する少なくとも一つの第２カメラ装置を、更に、備え、
前記第１カメラ装置及び前記第２カメラ装置は、前記車両の周辺領域の画像を分担して取得するように構成され、
前記表示制御ユニットは、
前記第１カメラ装置及び前記第２カメラ装置が取得した表示用画像を合成した画像に基いて前記車両の上から前記周辺領域を俯瞰した俯瞰画像を生成する処理を前記表示制御処理として実行する、
ように構成された、
車両用画像処理システム。
【請求項6】
請求項１乃至請求項５の何れか一つに記載の車両用画像処理システムであって、
第１カメラ装置が取得する認識用画像のデータ容量よりも大きなデータ容量を有する認識用画像を取得する第３カメラ装置を、更に、備え、
前記通信ユニットは、
前記第１カメラ装置及び前記認識ユニットの他に、前記第３カメラ装置にも通信可能に接続され、
前記第３カメラ装置によって送信された前記認識用画像を受信し、前記認識用画像を前記認識ユニットに送信する、
ように構成された、
車両用画像処理システム。
【請求項7】
請求項１乃至請求項６の何れか一つに記載の車両用画像処理システムにおいて、
前記認識ユニットは、
前記認識処理にて認識した物標が前記車両と衝突する可能性を表す衝突指標値を取得し、
前記衝突指標値と所定の閾値との関係が所定の条件を満たす場合、前記車両の運転者に前記物標と衝突する可能性があることを知らせる警報制御、前記車両の車輪に制動力を付与することにより前記車両を減速させる制動制御、及び、前記車両が前記物標との衝突を回避するために前記車両の進行方向を変更する回避制御、の少なくとも一つを行う、
ように構成された、
車両用画像処理システム。
【請求項8】
請求項１乃至請求項７の何れか一つに記載の車両用画像処理システムを備える車両。
【請求項9】
複数の第１カメラ装置が取得した認識用画像を前記複数の第１カメラ装置から受信し、前記認識用画像を用いて車両の周辺領域に存在する物標を認識するための認識処理を実行する認識ユニットへ前記認識用画像を送信する画像送信方法において、
前記複数の第１カメラ装置のそれぞれから前記認識用画像を受信するステップと、
前記複数の第１カメラ装置から受信した認識用画像の前記認識ユニットへの送信タイミングが異なるように前記認識用画像を前記認識ユニットへ送信するステップと、
を含み、
前記複数の第１カメラ装置のそれぞれは、
前記認識用画像の他に前記車両に配設されたディスプレイに表示するための表示用画像を取得し、
前記認識用画像を取得した場合には、当該認識用画像に認識識別子を付与し、
前記表示用画像を取得した場合には、当該表示用画像に表示識別子を付与し、
前記画像送信方法は、更に、
前記第１カメラ装置から前記認識用画像及び前記表示用画像の何れかの画像を受信した場合、前記画像に前記認識識別子が付与されていれば、当該画像を前記認識ユニットに送信し、前記画像に前記表示識別子が付与されていれば、当該画像を、当該画像に対して所定の表示制御処理を実行し且つ前記表示制御処理を実行した表示用画像を前記ディスプレイに表示する表示制御ユニットへ送信するステップを含む、
画像送信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数のカメラ装置が取得した認識用画像を、認識用画像を用いて車両の周辺領域に存在する物標を認識する認識ユニットへ送信する車両用画像処理システムに関する。
【背景技術】
【0002】
従来から、車両に搭載したカメラ装置が取得した画像に基いて各種制御を行う車両用画像処理システムが知られている。特許文献１に記載された車両用画像処理システム（以下、「第１従来システム」と称呼する。）は、複数のカメラ装置が取得した画像を合成した合成画像を生成する表示制御処理を実行し、合成画像をディスプレイに表示する。以下では、第１従来システムのカメラ装置を「表示用カメラ装置」と称呼する。
【0003】
更に、特許文献２に記載された車両用画像処理システム（以下、「第２従来システム」と称呼する。）は、カメラ装置が取得した画像に基いて物標を認識するための認識処理を実行する。以下では、第２従来システムのカメラ装置を「認識用カメラ装置」と称呼する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１６－０４２７０４号公報
【文献】特開２０１９－０２６１２９号公報
【発明の概要】
【0005】
認識用カメラ装置が取得した画像だけでなく複数の表示用カメラ装置が取得した画像も用いて上記認識処理を実行する車両用画像処理システム（以下、「検討システム」と称呼する。）を検討する。
【0006】
検討システムは、複数の表示用カメラ装置、認識用カメラ装置、上記表示制御処理を行う表示制御ユニット、上記認証処理を行う認識ユニット、及び通信ユニットを備えている。通信ユニットは、第１カメラ装置及び第２カメラ装置に通信可能に接続されるとともに、表示制御ユニット及び認識ユニットにも通信可能に接続されている。
【0007】
認識ユニットへは、「認識用カメラ装置が取得した画像」の他に「複数の表示用カメラ装置が取得した画像」が送信される。このため、検討システムの通信ユニットから認識ユニットへの通信帯域（以下、「認識用通信帯域」と称呼する。）の使用帯域の最大値は、第２従来システムの認識用通信帯域の使用帯域の最大値よりも大きくなる。場合によっては、使用帯域の最大値が最大通信帯域を超えてしまう可能性がある。この場合、認識ユニットが画像を受信できなくなる可能性がある。
【0008】
本発明は前述した課題に対処するためになされたものである。即ち、本発明の目的の一つは、認識用通信帯域の使用帯域の最大値が小さくなるように通信ユニットから認識ユニットへ画像を送信する車両用画像処理システムを提供することにある。
【0009】
本発明の車両用画像処理システム（以下、「本発明システム」とも呼称する。）は、
車両の周辺領域に存在する物標を認識するための認識処理に用いる認識用画像を取得する複数の第１カメラ装置（３４Ｆｒ及び３４Ｒｒ、又は、３４Ｌ及び３４Ｒ）と、
前記認識処理を実行する認識ユニット（２４）と、
前記第１カメラ装置及び前記認識ユニットと通信可能に接続され、前記第１カメラ装置によって送信された前記認識用画像を受信し、前記認識用画像を前記認識ユニットへ送信する通信ユニット（２２）と、
を備え、
前記通信ユニットは、前記複数の第１カメラ装置から受信した認識用画像の前記認識ユニットへの送信タイミングが異なるように前記認識用画像を前記認識ユニットに送信するように構成され（ステップ７３５、ステップ７４５、ステップ８２５、ステップ９１５、図６の（Ｂ）及び（Ｃ））、
前記認識ユニットは、前記通信ユニットから受信した認識用画像を用いて前記認識処理を実行するように構成されている（ステップ１０００乃至ステップ１０９５、ステップ１１００乃至ステップ１２９５）。
車両の周辺領域に存在する物標を認識するための認識処理に用いる認識用画像を取得する複数の第１カメラ装置（３４Ｆｒ及び３４Ｒｒ、又は、３４Ｌ及び３４Ｒ）と、
前記認識処理を実行する認識ユニット（２４）と、
前記第１カメラ装置及び前記認識ユニットと通信可能に接続され、前記第１カメラ装置によって送信された前記認識用画像を受信し、前記認識用画像を前記認識ユニットへ送信する通信ユニット（２２）と、
を備え、
前記通信ユニットは、前記複数の第１カメラ装置から受信した認識用画像の前記認識ユニットへの送信タイミングが異なるように前記認識用画像を前記認識ユニットに送信するように構成され（ステップ７３５、ステップ７４５、ステップ８２５、ステップ９１５、図６の（Ｂ）及び（Ｃ））、
前記認識ユニットは、前記通信ユニットから受信した認識用画像を用いて前記認識処理を実行するように構成されている（ステップ１０００乃至ステップ１０９５、ステップ１１００乃至ステップ１２９５）。
【0010】
本発明システムによれば、複数の第１カメラ装置が取得した認識用画像の通信ユニットから認識ユニットへの送信タイミングが重複しない。これにより、これらの認識用画像の送信タイミングが同じである場合と比較して、認識用通信帯域の使用帯域の最大値を小さくすることができる。これにより、上記最大値が最大通信帯域を超えてしまう可能性を低減でき、認識ユニットが確実に認識用画像を受信する可能性を高めることができる。
【0011】
本発明の一態様において、
前記第１カメラ装置のそれぞれは、
前記第１カメラ装置同士で前記認識用画像の取得タイミングが異なるように、前記認識用画像を取得し（ステップ７３５、ステップ７４５、ステップ８１５、図６の（Ｂ）及び（Ｃ））、
前記認識用画像を前記通信ユニットに送信する（ステップ８２５）、
ように構成され、
前記通信ユニットは、前記第１カメラ装置から前記認識用画像を受信した場合、当該認識用画像を前記認識ユニットに送信する（ステップ９１５）、ように構成されている。
前記第１カメラ装置のそれぞれは、
前記第１カメラ装置同士で前記認識用画像の取得タイミングが異なるように、前記認識用画像を取得し（ステップ７３５、ステップ７４５、ステップ８１５、図６の（Ｂ）及び（Ｃ））、
前記認識用画像を前記通信ユニットに送信する（ステップ８２５）、
ように構成され、
前記通信ユニットは、前記第１カメラ装置から前記認識用画像を受信した場合、当該認識用画像を前記認識ユニットに送信する（ステップ９１５）、ように構成されている。
【0012】
本態様によれば、第１カメラ装置のそれぞれが、異なるタイミングで認識用画像を取得し、認識用画像を通信ユニットに送信する。これによって、通信ユニットから認識ユニットへの認識用画像の送信タイミングを異ならせることができる。
【0013】
上記態様において、
前記認識ユニットは、前記複数の第１カメラ装置へ認識用同期信号を異なるタイミングで送信するように構成され（ステップ７３５、ステップ７４５）、
前記第１カメラ装置のそれぞれは、前記認識用同期信号を受信したときに前記認識用画像を取得するように構成されている（ステップ８１５）。
前記認識ユニットは、前記複数の第１カメラ装置へ認識用同期信号を異なるタイミングで送信するように構成され（ステップ７３５、ステップ７４５）、
前記第１カメラ装置のそれぞれは、前記認識用同期信号を受信したときに前記認識用画像を取得するように構成されている（ステップ８１５）。
【0014】
第１カメラ装置のそれぞれが「認識用画像の取得タイミングとなったか否かを判定するための時間」を管理している場合、第１カメラ装置間で発生する時間の誤差が発生する可能性がある。この誤差に起因して、第１カメラ装置の認識用画像の取得タイミングが同じとなってしまう可能性がある。本態様によれば、第１カメラ装置は、認識ユニットから送信された認識用同期信号を受信したときに認識用画像を取得する。このため、第１カメラ装置の認識用画像の取得タイミングを確実に異ならせることができる。
【0015】
本発明の一態様であって、
表示用画像に対して所定の表示制御処理を実行し、前記表示制御処理を実行した前記車両に配設されたディスプレイ（９０）に表示する表示制御ユニット（２６）を、更に、備え、
前記第１カメラ装置のそれぞれは、
前記認識用画像の他に前記表示用画像を取得可能に構成されるとともに（ステップ８３０）、
前記認識用画像を取得した場合に、認識識別子を付与して（ステップ８２０）当該認識用画像を前記通信ユニットに送信し（ステップ８２５）、
前記表示用画像を取得した場合には、表示識別子を付与して（ステップ８３５）当該表示用画像を前記通信ユニットに送信し（ステップ８４０）、
前記通信ユニットは、
前記表示制御ユニットにも通信可能に接続され、
前記第１カメラ装置から前記認識用画像及び前記表示用画像の何れかの画像を受信した場合（ステップ９０５「Ｙｅｓ」）、前記画像に前記認識識別子が付与されていれば（ステップ９１０「Ｙｅｓ」）、当該画像を前記認識ユニットに送信し（ステップ９１５）、前記画像に前記表示識別子が付与されていれば（ステップ９１０「Ｎｏ」）、当該画像を前記表示制御ユニットに送信する（ステップ９２０）、
ように構成されている。
表示用画像に対して所定の表示制御処理を実行し、前記表示制御処理を実行した前記車両に配設されたディスプレイ（９０）に表示する表示制御ユニット（２６）を、更に、備え、
前記第１カメラ装置のそれぞれは、
前記認識用画像の他に前記表示用画像を取得可能に構成されるとともに（ステップ８３０）、
前記認識用画像を取得した場合に、認識識別子を付与して（ステップ８２０）当該認識用画像を前記通信ユニットに送信し（ステップ８２５）、
前記表示用画像を取得した場合には、表示識別子を付与して（ステップ８３５）当該表示用画像を前記通信ユニットに送信し（ステップ８４０）、
前記通信ユニットは、
前記表示制御ユニットにも通信可能に接続され、
前記第１カメラ装置から前記認識用画像及び前記表示用画像の何れかの画像を受信した場合（ステップ９０５「Ｙｅｓ」）、前記画像に前記認識識別子が付与されていれば（ステップ９１０「Ｙｅｓ」）、当該画像を前記認識ユニットに送信し（ステップ９１５）、前記画像に前記表示識別子が付与されていれば（ステップ９１０「Ｎｏ」）、当該画像を前記表示制御ユニットに送信する（ステップ９２０）、
ように構成されている。
【0016】
本態様によれば、通信ユニットは、認識用画像を認識ユニットに送信し、表示用画像を認識ユニットに送信する。これにより、認識ユニットが認識処理に不要な表示用画像を受信しない。このため、第１カメラ装置が認識用画像及び表示用画像を取得するように構成されている場合に、認識用通信帯域の使用帯域の最大値を小さくすることができる。
【0017】
上記態様において、
前記表示制御ユニットは、前記複数の第１カメラ装置が取得した表示用画像を合成する処理（ステップ１０１０）を前記表示制御処理として実行するように構成されている。
前記表示制御ユニットは、前記複数の第１カメラ装置が取得した表示用画像を合成する処理（ステップ１０１０）を前記表示制御処理として実行するように構成されている。
【0018】
これによって、複数の第１カメラ装置が取得した表示用画像が合成された画像がディスプレイに表示されるので、運転者は複数の第１カメラ装置が取得した表示用画像を一度に視認することができる。
【0019】
上記態様において、
前記表示用画像を取得する少なくとも一つの第２カメラ装置（３４Ｌ、３４Ｒ）を、更に、備え、
前記第１カメラ装置及び前記第２カメラ装置は、前記車両の周辺領域の画像を分担して取得するように構成され、
前記表示制御ユニットは、
前記第１カメラ装置及び前記第２カメラ装置が取得した表示用画像を合成した画像に基いて前記車両の上から前記周辺領域を俯瞰した俯瞰画像を生成する処理（ステップ１０１０）を前記表示制御処理として実行する、
ように構成されている。
前記表示用画像を取得する少なくとも一つの第２カメラ装置（３４Ｌ、３４Ｒ）を、更に、備え、
前記第１カメラ装置及び前記第２カメラ装置は、前記車両の周辺領域の画像を分担して取得するように構成され、
前記表示制御ユニットは、
前記第１カメラ装置及び前記第２カメラ装置が取得した表示用画像を合成した画像に基いて前記車両の上から前記周辺領域を俯瞰した俯瞰画像を生成する処理（ステップ１０１０）を前記表示制御処理として実行する、
ように構成されている。
【0020】
これにより、車両の上から車両の周辺領域を俯瞰した俯瞰画像がディスプレイに表示されるので、運転者の車両の周辺領域を視認しやすくすることができる。
【0021】
本発明の一態様であって、
第１カメラ装置が取得する認識用画像のデータ容量よりも大きなデータ容量を有する認識用画像を取得する第３カメラ装置（３２）を、更に、備え、
前記通信ユニットは、
前記第１カメラ装置及び前記認識ユニットの他に、前記第３カメラ装置にも通信可能に接続され、
前記第３カメラ装置によって送信された前記認識用画像を受信し、前記認識用画像を前記認識ユニットに送信する、
ように構成されている。
第１カメラ装置が取得する認識用画像のデータ容量よりも大きなデータ容量を有する認識用画像を取得する第３カメラ装置（３２）を、更に、備え、
前記通信ユニットは、
前記第１カメラ装置及び前記認識ユニットの他に、前記第３カメラ装置にも通信可能に接続され、
前記第３カメラ装置によって送信された前記認識用画像を受信し、前記認識用画像を前記認識ユニットに送信する、
ように構成されている。
【0022】
これにより、認識ユニットは、第３カメラ装置が取得したデータ容量の大きな認識用画像も用いて認識処理を実行するので、より正確に物標を認識することができる。
【0023】
本発明の一態様において、
前記認識ユニットは、
前記認識処理にて認識した物標が前記車両と衝突する可能性を表す衝突指標値（ＴＴＣ）を取得し（ステップ１０１５）、
前記衝突指標値と所定の閾値との関係が所定の条件を満たす場合（ステップ１０２０「Ｙｅｓ」、ステップ１０３０「Ｙｅｓ」）、前記車両の運転者に前記物標と衝突する可能性があることを知らせる警報制御（ステップ１０２５）、前記車両の車輪に制動力を付与することにより前記車両を減速させる制動制御（ステップ１０４５）、及び、前記車両が前記物標との衝突を回避するために前記車両の進行方向を変更する回避制御（ステップ１０４０）、の少なくとも一つを行う、
ように構成されている。
前記認識ユニットは、
前記認識処理にて認識した物標が前記車両と衝突する可能性を表す衝突指標値（ＴＴＣ）を取得し（ステップ１０１５）、
前記衝突指標値と所定の閾値との関係が所定の条件を満たす場合（ステップ１０２０「Ｙｅｓ」、ステップ１０３０「Ｙｅｓ」）、前記車両の運転者に前記物標と衝突する可能性があることを知らせる警報制御（ステップ１０２５）、前記車両の車輪に制動力を付与することにより前記車両を減速させる制動制御（ステップ１０４５）、及び、前記車両が前記物標との衝突を回避するために前記車両の進行方向を変更する回避制御（ステップ１０４０）、の少なくとも一つを行う、
ように構成されている。
【0024】
これにより、衝突指標値と閾値との関係が所定の条件を満たす場合、警報制御、制動制御及び回避制御の少なくとも一つが行われるので、車両が物標と衝突する可能性を低減することができる。
【0025】
本発明の画像送信方法は、複数の第１カメラ装置（３４Ｆｒ及び３４Ｒｒ、又は、３４Ｌ及び３４Ｒ）が取得した認識用画像を前記複数の第１カメラ装置から受信し、前記認識用画像を用いて車両の周辺領域に存在する物標を認識するための認識処理を実行する認識ユニット（２４）へ前記認識用画像を送信する方法である。
更に、本発明の画像送信方法は、
前記複数の第１カメラのそれぞれから前記認識用画像を受信するステップ（ステップ９０５）と、
前記複数の第１カメラから受信した認識用画像の前記認識ユニットへの送信タイミングが異なるように前記認識用画像を前記認識ユニットへ送信するステップ（ステップ７３５、ステップ７４５、ステップ８２５、ステップ９１５、図６の（Ｂ）及び（Ｃ））と、
を含む。
更に、本発明の画像送信方法は、
前記複数の第１カメラのそれぞれから前記認識用画像を受信するステップ（ステップ９０５）と、
前記複数の第１カメラから受信した認識用画像の前記認識ユニットへの送信タイミングが異なるように前記認識用画像を前記認識ユニットへ送信するステップ（ステップ７３５、ステップ７４５、ステップ８２５、ステップ９１５、図６の（Ｂ）及び（Ｃ））と、
を含む。
【0026】
これにより、認識用画像の送信タイミングが同じである場合と比較して、認識用通信帯域の使用帯域の最大値を小さくすることができる。上記最大値が最大通信帯域を超えてしまう可能性を低減でき、認識ユニットが確実に認識用画像を受信する可能性を高めることができる。
【0027】
なお、上記説明においては、発明の理解を助けるために、後述する実施形態に対応する発明の構成に対し、その実施形態で用いた名称及び／又は符号を括弧書きで添えている。しかしながら、発明の各構成要素は、前記名称及び／又は符号によって規定される実施形態に限定されるものではない。本発明の他の目的、他の特徴及び付随する利点は、以下の図面を参照しつつ記述される本発明の実施形態についての説明から容易に理解されるであろう。
【図面の簡単な説明】
【0028】
【発明を実施するための形態】
【0029】
以下、図面を参照しながら、本発明の実施形態に係る車両用画像処理システム（以下、「本システム」と称呼する。）１０を説明する。図１は、本システム１０及び本システム１０が搭載（適用）される車両ＶＡを示している。
【0030】
図１に示すように、本システム１０は制御ＥＣＵ２０、エンジンＥＣＵ４０、ブレーキＥＣＵ５０及びステアリングＥＣＵ６０を備える。これらのＥＣＵは、ＣＡＮ（Controller Area Network）６５を介してデータ交換可能（通信可能）に互いに接続されている。ＥＣＵは、エレクトロニックコントロールユニットの略称である。制御ＥＣＵ２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ及びインターフェース等を含む後述する複数のＳｏＣ（Ｓｙｓｔｅｍ Ｏｎ ａ ｃｈｉｐ）２４及び２６を備える電子制御回路である。エンジンＥＣＵ４０、ブレーキＥＣＵ５０及びステアリングＥＣＵ６０は、ＣＰＵ、ＲＯＭ、ＲＡＭ及びインターフェース等を含むマイクロコンピュータを主要構成部品として有する電子制御回路である。ＣＰＵは、メモリ（ＲＯＭ）に格納されたインストラクション（ルーチン）を実行することにより各種機能を実現する。ＥＣＵ４０、５０及び６０の総て又は幾つかは、一つのＥＣＵに統合されてもよい。
【0031】
制御ＥＣＵ２０は、通信ユニット２２、認識ＳｏＣ２４及び表示制御ＳｏＣ２６を備える。通信ユニット２２は、前方カメラ装置３２、前方ＰＶＭカメラ装置３４Ｆｒ、後方ＰＶＭカメラ装置３４Ｒｒ、左ＰＶＭカメラ装置３４Ｌ及び右ＰＶＭカメラ装置３４Ｒと通信可能に接続されている。認識ＳｏＣ２４は、認識ＳｏＣ２４に入力された後述する認識用画像に基いて物標を認識し、その物標に基いて前方安全制御及び後方安全制御を実行する。表示制御ＳｏＣ２６は、表示制御ＳｏＣ２６に入力された後述する表示用画像を合成し、合成画像に基いて車両ＶＡの上から車両ＶＡの周辺領域を俯瞰したＰＶＭ画像（俯瞰画像）を生成する表示制御処理を行う。
以下では、認識ＳｏＣ２４を「認識ユニット」と称呼し、表示制御ＳｏＣ２６を「表示制御ユニット」と称呼する場合もある。更に、ＰＶＭカメラ装置３４Ｆｒ、３４Ｒｒ、３４Ｌ及び３４Ｒは、これらが区別される必要がない場合には、「ＰＶＭカメラ装置３４」と称呼する。
以下では、認識ＳｏＣ２４を「認識ユニット」と称呼し、表示制御ＳｏＣ２６を「表示制御ユニット」と称呼する場合もある。更に、ＰＶＭカメラ装置３４Ｆｒ、３４Ｒｒ、３４Ｌ及び３４Ｒは、これらが区別される必要がない場合には、「ＰＶＭカメラ装置３４」と称呼する。
【0032】
以下、各カメラ装置３２及び３４について説明する。
前方カメラ装置３２は、図２に示したように、車両ＶＡの車室内のフロントウィンドウＦＷの上部に配設されている。前方ＰＶＭカメラ装置３４Ｆｒは、図２に示したように、車両ＶＡの前端部ＦＲの車幅方向の中心に配設されている。前方カメラ装置３２及び前方ＰＶＭカメラ装置３４Ｆｒは、車両ＶＡの前方領域の画像を取得する。前方カメラ装置３２が取得する画像の画角θａは、前方ＰＶＭカメラ装置３４Ｆｒが取得する画像の画角θｂよりも小さい。このため、前方ＰＶＭカメラ装置３４Ｆｒが取得する画像は、前方カメラ装置３２が取得した画像に含まれない領域ＵＡ１及びＵＡ２を含む。
前方カメラ装置３２は、図２に示したように、車両ＶＡの車室内のフロントウィンドウＦＷの上部に配設されている。前方ＰＶＭカメラ装置３４Ｆｒは、図２に示したように、車両ＶＡの前端部ＦＲの車幅方向の中心に配設されている。前方カメラ装置３２及び前方ＰＶＭカメラ装置３４Ｆｒは、車両ＶＡの前方領域の画像を取得する。前方カメラ装置３２が取得する画像の画角θａは、前方ＰＶＭカメラ装置３４Ｆｒが取得する画像の画角θｂよりも小さい。このため、前方ＰＶＭカメラ装置３４Ｆｒが取得する画像は、前方カメラ装置３２が取得した画像に含まれない領域ＵＡ１及びＵＡ２を含む。
【0033】
後方ＰＶＭカメラ装置３４Ｒｒは、図２に示したように、車両ＶＡの後端部ＲＲの車幅方向の中心に配設されている。後方ＰＶＭカメラ装置３４Ｒｒは、車両ＶＡの後方領域の画像を取得する。後方ＰＶＭカメラ装置３４Ｒｒは、車両ＶＡの後方領域の画像を取得する。後方ＰＶＭカメラ装置３４Ｒｒが取得する画像の画角θｃは、前方ＰＶＭカメラ装置３４Ｆｒが取得する画像の画角θｂと同じである。
【0034】
左ＰＶＭカメラ装置３４Ｌは、図３に示したように、車両ＶＡの左サイドミラーＬＳＭに配設されている。左ＰＶＭカメラ装置Ｒｒは、左ＰＶＭカメラ装置３４Ｌは、車両ＶＡの左領域の画像を取得する。左ＰＶＭカメラ装置３４Ｌが取得する画像の画角θｄは、前方ＰＶＭカメラ装置３４Ｆｒが取得する画像の画角θｂと同じである。
【0035】
右ＰＶＭカメラ装置３４Ｒは、図３に示したように、車両ＶＡの右サイドミラーＲＳＭに配設されている。右ＰＶＭカメラ装置３４Ｒは、車両ＶＡの右領域の画像を取得する。右ＰＶＭカメラ装置３４Ｒが取得する画像の画角θｅは、前方ＰＶＭカメラ装置３４Ｆｒが取得する画像の画角θｂと同じである。
【0036】
前方カメラ装置３２は、認識処理に用いられる画像である認識用画像を取得する。前方ＰＶＭカメラ装置３４Ｆｒ及び後方ＰＶＭカメラ装置３４Ｒｒは、認識用画像及び表示用画像を取得する。左ＰＶＭカメラ装置３４Ｌ及び右ＰＶＭカメラ装置３４Ｒは、表示用画像を取得する。以下、認識用画像及び表示用画像を取得するＰＶＭカメラ装置３４Ｆｒ及び３４Ｒｒを「第１カメラ装置」と称呼する場合がある。表示用画像を取得するＰＶＭカメラ装置３４Ｌ及び３４Ｒを「第２カメラ装置」と称呼する場合がある。認識用画像を取得するカメラ装置３２を「第３カメラ装置」と称呼する場合がある。
【0037】
ここで、認識用画像と表示用画像との違いを説明する。
認識ＳｏＣ２４は、認識処理においては、画像からエッジを抽出してそのエッジに基いて物標を認識する。画像にブレがある場合には、認識ＳｏＣ２４は、その画像からエッジを抽出できない可能性がある。このため、認識用画像はブレが少ない画像であることが望まれる。一方で、表示用画像は車両ＶＡの運転者が視認するための画像であるので、表示用画像は多少のブレがある画像であってもよい。ブレを少なくするために、認識用画像は、表示用画像に比べて遅いシャッタースピードで撮影されることによって取得される点で、表示用画像と異なる。
認識ＳｏＣ２４は、認識処理においては、画像からエッジを抽出してそのエッジに基いて物標を認識する。画像にブレがある場合には、認識ＳｏＣ２４は、その画像からエッジを抽出できない可能性がある。このため、認識用画像はブレが少ない画像であることが望まれる。一方で、表示用画像は車両ＶＡの運転者が視認するための画像であるので、表示用画像は多少のブレがある画像であってもよい。ブレを少なくするために、認識用画像は、表示用画像に比べて遅いシャッタースピードで撮影されることによって取得される点で、表示用画像と異なる。
【0038】
エンジンＥＣＵ４０は、複数の車輪速センサ４１、アクセルペダル操作量センサ４２及びエンジンセンサ４４に接続され、これらのセンサの検出信号を受け取る。
【0039】
各車輪速センサ４１は車両ＶＡの対応する車輪（左前輪、右前輪、左後輪又は右後輪）に設けられ、対応する車輪が所定角度回転する毎に一つのパルス信号（車輪パルス信号）を発生させる。エンジンＥＣＵ４０は、各車輪速センサ４１から送信されてくる車輪パルス信号の単位時間におけるパルス数を計測し、その計測したパルス数に基いて各車輪の回転速度（車輪速度）を算出する。エンジンＥＣＵ４０は、各車輪の車輪速度に基いて車両ＶＡの速度を示す車速Ｖｓを算出する。一例として、制御ＥＣＵ２０は、四つの車輪の車輪速度の平均値を車速Ｖｓとして算出する。
【0040】
アクセルペダル操作量センサ４２は、車両ＶＡの図示しないアクセルペダルの操作量を検出する。エンジンＥＣＵ４０は、アクセルペダルの操作量を表す検出信号をアクセルペダル操作量センサ４２から受け取る。アクセルペダルは、車両ＶＡの駆動装置（本例において、内燃機関）４８が発生する駆動力を増加させることによって車両ＶＡを加速させるために運転者が操作する加速操作子である。
【0041】
エンジンセンサ４４は、内燃機関４８の運転状態量を検出するセンサである。エンジンセンサ４４は、スロットル弁開度センサ、機関回転速度センサ及び吸入空気量センサ等である。
【0042】
更に、エンジンＥＣＵ４０は、「スロットル弁アクチュエータ及び燃料噴射弁」等のエンジンアクチュエータ４６に接続されている。エンジンＥＣＵ４０は、アクセルペダルの操作量及び車速Ｖｓに基いて決められる操作目標スロットル弁開度と実際のスロットル弁開度とが一致するようにエンジンアクチュエータ４６を制御する。これにより、内燃機関４８が発生するトルクが変更され、車両ＶＡの駆動力が調整される。
【0043】
ブレーキＥＣＵ５０は、車輪速センサ４１及びブレーキペダル操作量センサ５２と接続され、これらのセンサの検出信号を受け取るようになっている。
【0044】
ブレーキペダル操作量センサ５２は、車両ＶＡの図示しないブレーキペダルの操作量を検出する。ブレーキＥＣＵ５０は、ブレーキペダルの操作量を表す検出信号をブレーキペダル操作量センサ５２から受け取る。ブレーキペダルは、車両ＶＡの車輪に制動力を付与するために運転者が操作する減速操作子である。
【0045】
ブレーキＥＣＵ５０は、ブレーキアクチュエータ５４と接続されている。ブレーキアクチュエータ５４は油圧制御アクチュエータである。ブレーキアクチュエータ５４は、「ブレーキペダルの踏力によって作動油を加圧するマスタシリンダ（不図示）」と、「各車輪に設けられる周知のホイールシリンダを含む摩擦ブレーキ装置（不図示）」と、の間の油圧回路（不図示）に配設される。ブレーキアクチュエータ５４はホイールシリンダに供給する油圧を調整する。
【0046】
ブレーキＥＣＵ５０は、車速Ｖｓ及びブレーキペダルの操作量に基いて「負の値のブレーキ目標加速度」を取得する。より詳細には、ブレーキペダルの操作量が大きいほどブレーキ目標加速度の値は小さくなる。ブレーキＥＣＵ５０は、取得したブレーキ目標加速度に基いてブレーキアクチュエータ４３を駆動することによりホイールシリンダに供給される作動油の油圧を制御する。その結果、各車輪に調整された制動力（摩擦制動力）が発生し、以て、車両ＶＡの加速度がブレーキ目標加速度と一致させられる。
【0047】
ステアリングＥＣＵ６０は、周知の電動パワーステアリングシステムの制御装置であって、操舵角センサ６２及び操舵用モータ６４に接続されている。操舵用モータ６４は、車両ＶＡの「図示しないステアリングホイール、ステアリングホイールに連結された図示しないステアリングシャフト及び操舵用ギア機構等を含む図示しないステアリング機構」に組み込まれている。
【0048】
操舵角センサ６２は、車両ＶＡの操舵角θを検出する。ステアリングＥＣＵ６０は、操舵角θを表す検出信号を操舵角センサ６２から受け取る。
操舵用モータ６４は、向き及び大きさ等がステアリングＥＣＵ６０によって制御される電力に応じてトルクを発生し、このトルクによって操舵アシストトルクを加えたり、左右の操舵輪を操舵したりする。即ち、操舵用モータ６４を用いて舵角を制御できる。なお、上記電力は車両ＶＡに搭載された図示しないバッテリから供給される。
操舵用モータ６４は、向き及び大きさ等がステアリングＥＣＵ６０によって制御される電力に応じてトルクを発生し、このトルクによって操舵アシストトルクを加えたり、左右の操舵輪を操舵したりする。即ち、操舵用モータ６４を用いて舵角を制御できる。なお、上記電力は車両ＶＡに搭載された図示しないバッテリから供給される。
【0049】
制御ＥＣＵ２０は、スピーカ７０、第１ディスプレイ８０及び第２ディスプレイ９０と通信可能に接続されている。
スピーカ７０は、車両ＶＡの車室内に配設されている。スピーカ７０は、制御ＥＣＵ２０からの警報指令に応じて警報音を発音する。
第１ディスプレイ８０は、車両ＶＡの車室内に配設され、例えばマルチインフォーメーションディスプレイである。第１ディスプレイ８０は、制御ＥＣＵ２０からの警報指令に応じて「車両ＶＡが物標と衝突する可能性がある旨を運転者に知らせるための警報画面」を表示する。
第２ディスプレイ９０は、車両ＶＡの車室内に配設され、例えばナビゲーションディスプレイである。第２ディスプレイ９０は、制御ＥＣＵ２０からの送信されたＰＶＭ画像を表示する。
スピーカ７０は、車両ＶＡの車室内に配設されている。スピーカ７０は、制御ＥＣＵ２０からの警報指令に応じて警報音を発音する。
第１ディスプレイ８０は、車両ＶＡの車室内に配設され、例えばマルチインフォーメーションディスプレイである。第１ディスプレイ８０は、制御ＥＣＵ２０からの警報指令に応じて「車両ＶＡが物標と衝突する可能性がある旨を運転者に知らせるための警報画面」を表示する。
第２ディスプレイ９０は、車両ＶＡの車室内に配設され、例えばナビゲーションディスプレイである。第２ディスプレイ９０は、制御ＥＣＵ２０からの送信されたＰＶＭ画像を表示する。
【0050】
＜前方安全制御＞
認識ＳｏＣ２４は、前方カメラ装置３２及び前方ＰＶＭカメラ装置３４Ｆｒが取得した認識用画像（以下、「前方認識用画像」と称呼する。）を受信する。認識ＳｏＣ２４は、前方認識用画像に基いて物標の車両ＶＡに対する位置を特定することにより物標を認識する前方認識処理を実行する。更に、認識ＳｏＣ２４は、前回の前方認識処理にて特定された物標の位置（前回位置）及び今回の前方認識処理にて特定された位置（今回位置）に基いて、物標の車両ＶＡに対する移動方向及び物標の車両ＶＡに対する相対速度Ｖｒを特定する。
認識ＳｏＣ２４は、車両ＶＡの進行方向、及び上記物標の移動方向及び物標の相対速度Ｖｒに基いて、車両ＶＡに衝突する可能性がある物標を前方衝突物標ＦＯＢ（図４を参照。）として特定し、その前方衝突物標ＦＯＢが車両ＶＡに衝突するまでにかかる時間である衝突所要時間を取得する。以下では、衝突所要時間を「ＴＴＣ」と称呼する。ＴＴＣは、Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎの略である。より詳細には、認識ＳｏＣ２４は、物標と車両ＶＡとの間の距離を上記相対速度Ｖｒで除算することによりＴＴＣを取得する。
なお、ＴＴＣは、物標が車両ＶＡと衝突する可能性で衝突可能性を表す衝突指標値である。ＴＴＣの値が小さいほど衝突可能性が高くなる。
認識ＳｏＣ２４は、前方カメラ装置３２及び前方ＰＶＭカメラ装置３４Ｆｒが取得した認識用画像（以下、「前方認識用画像」と称呼する。）を受信する。認識ＳｏＣ２４は、前方認識用画像に基いて物標の車両ＶＡに対する位置を特定することにより物標を認識する前方認識処理を実行する。更に、認識ＳｏＣ２４は、前回の前方認識処理にて特定された物標の位置（前回位置）及び今回の前方認識処理にて特定された位置（今回位置）に基いて、物標の車両ＶＡに対する移動方向及び物標の車両ＶＡに対する相対速度Ｖｒを特定する。
認識ＳｏＣ２４は、車両ＶＡの進行方向、及び上記物標の移動方向及び物標の相対速度Ｖｒに基いて、車両ＶＡに衝突する可能性がある物標を前方衝突物標ＦＯＢ（図４を参照。）として特定し、その前方衝突物標ＦＯＢが車両ＶＡに衝突するまでにかかる時間である衝突所要時間を取得する。以下では、衝突所要時間を「ＴＴＣ」と称呼する。ＴＴＣは、Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎの略である。より詳細には、認識ＳｏＣ２４は、物標と車両ＶＡとの間の距離を上記相対速度Ｖｒで除算することによりＴＴＣを取得する。
なお、ＴＴＣは、物標が車両ＶＡと衝突する可能性で衝突可能性を表す衝突指標値である。ＴＴＣの値が小さいほど衝突可能性が高くなる。
【0051】
ＴＴＣが第１閾値時間Ｔ１ｔｈ以下である場合、認識ＳｏＣ２４は、警報指令をスピーカ７０及び第１ディスプレイ８０に送信する。このような制御を「警報制御」と称呼する。
【0052】
ＴＴＣが「第１閾値時間Ｔ１ｔｈよりも小さな値である第２閾値時間Ｔ２ｔｈ」以下である場合、認識ＳｏＣ２４は、回避領域が存在するか否かを判定する。回避領域は、以下の条件１及び条件２の両方を満たす領域である。
条件１：車両ＶＡが左白線ＬＷＬ及び右白線ＲＷＬによって区画される自車線ＳＬからはみ出すことなく前方衝突物標ＦＯＢを回避できること。
条件２：車両ＶＡの通行が前方衝突物標ＦＯＢ以外の物標に阻害されることなく前方衝突物標ＦＯＢを回避できること。
なお、左白線ＬＷＬ及び右白線ＲＷＬは、前方カメラ装置３２が取得した認識用画像に基いて特定される。
条件１：車両ＶＡが左白線ＬＷＬ及び右白線ＲＷＬによって区画される自車線ＳＬからはみ出すことなく前方衝突物標ＦＯＢを回避できること。
条件２：車両ＶＡの通行が前方衝突物標ＦＯＢ以外の物標に阻害されることなく前方衝突物標ＦＯＢを回避できること。
なお、左白線ＬＷＬ及び右白線ＲＷＬは、前方カメラ装置３２が取得した認識用画像に基いて特定される。
【0053】
図４に示した例では、車両ＶＡは、車両ＶＡの前端中央部を基準にして左側で前方衝突物標ＦＯＢと重なっているため、前方衝突物標ＦＯＢの右側を通って回避しようとする。認識ＳｏＣ２４は、前方衝突物標ＦＯＢの右側に回避領域が存在するか否かを判定する。
より詳細には、認識ＳｏＣ２４は、前方衝突物標ＦＯＢの右端点ＲＰと右白線ＲＷＬとの間の距離Ｗｓｐが車両ＶＡの車幅Ｗに所定のマージンＤを加えた値以上である場合、条件１が成立すると判定する。
より詳細には、認識ＳｏＣ２４は、前方衝突物標ＦＯＢの右端点ＲＰと右白線ＲＷＬとの間の距離Ｗｓｐが車両ＶＡの車幅Ｗに所定のマージンＤを加えた値以上である場合、条件１が成立すると判定する。
【0054】
更に、認識ＳｏＣ２４は、上記条件１が成立すると判定した場合、車両ＶＡが前方衝突物標ＦＯＢを回避しながら通過すると予測される領域である通行予測領域ＳＰ（図４を参照。）に物標が存在するか否かを判定する。認識ＳｏＣ２４は、通行予測領域ＳＰに物標が存在しないと判定した場合、条件２が成立すると判定する。
通行予測領域ＳＰは、障害物の右端点ＲＰから車幅方向Ｄｙの右方向に長さＷｓｐを有し、且つ、車両ＶＡの前端から「前方衝突物標ＦＯＢの後方に長さＬｓｐだけ離れた地点」までの長さを有する長方形の領域である。長さＬｓｐは、車両ＶＡの前後方向の長さ（車両ＶＡの車長）程度に設定されている。
通行予測領域ＳＰは、障害物の右端点ＲＰから車幅方向Ｄｙの右方向に長さＷｓｐを有し、且つ、車両ＶＡの前端から「前方衝突物標ＦＯＢの後方に長さＬｓｐだけ離れた地点」までの長さを有する長方形の領域である。長さＬｓｐは、車両ＶＡの前後方向の長さ（車両ＶＡの車長）程度に設定されている。
【0055】
回避領域が存在しない場合、認識ＳｏＣ２４は、所定の負の目標加速度を含む制動指令をエンジンＥＣＵ４０及びブレーキＥＣＵ５０に送信する。エンジンＥＣＵ４０は、制動指令を受信した場合、目標スロットル弁開度を「０」に設定し、この目標スロットル弁開度とスロットル弁開度とが一致するようにエンジンアクチュエータ４６を制御する。ブレーキＥＣＵ５０は、制動指令を受信した場合、制動指令に含まれる目標加速度と車両ＶＡの実際の加速度とが一致するようにブレーキアクチュエータ５６を制御する。このような制御を「制動制御」と称呼する。
【0056】
回避領域が存在する場合、認識ＳｏＣ２４は、車両ＶＡが前方衝突物標ＦＯＢとの衝突を開始するために回避領域を通過するための目標舵角を取得し、目標舵角を含む回避指令をステアリングＥＣＵ６０に送信する。ステアリングＥＣＵ６０は、回避指令を受信した場合、回避指令に含まれる目標舵角と実際の舵角とが一致するように操舵用モータ６４を制御する。このような制御を「回避制御」と称呼する。
【0057】
＜後方安全制御＞
認識ＳｏＣ２４は、後方ＰＶＭカメラ装置３４Ｒｒが取得した認識用画像（以下、「後方認識用画像」と称呼する。）を受信する。認識ＳｏＣ２４は、後方認識用画像に基いて物標の車両ＶＡに対する位置を特定することにより物標を認識する後方認識処理を実行する。更に、認識ＳｏＣ２４は、上記物標の前回位置及び今回位置に基いて物標の車両ＶＡに対する移動方向及び物標の車両ＶＡに対する相対速度Ｖｒを特定する。認識ＳｏＣ２４は、車両ＶＡに衝突する可能性がある物標を後方衝突物標ＲＯＢとして特定し、後方衝突物標ＲＯＢのＴＴＣを取得する。認識ＳｏＣ２４は、ＴＴＣが第１閾値時間Ｔ１ｔｈ以下であれば、警報制御を行い、ＴＴＣが第２閾値時間Ｔ２ｔｈ以下であれば、制動制御を行う。
認識ＳｏＣ２４は、後方ＰＶＭカメラ装置３４Ｒｒが取得した認識用画像（以下、「後方認識用画像」と称呼する。）を受信する。認識ＳｏＣ２４は、後方認識用画像に基いて物標の車両ＶＡに対する位置を特定することにより物標を認識する後方認識処理を実行する。更に、認識ＳｏＣ２４は、上記物標の前回位置及び今回位置に基いて物標の車両ＶＡに対する移動方向及び物標の車両ＶＡに対する相対速度Ｖｒを特定する。認識ＳｏＣ２４は、車両ＶＡに衝突する可能性がある物標を後方衝突物標ＲＯＢとして特定し、後方衝突物標ＲＯＢのＴＴＣを取得する。認識ＳｏＣ２４は、ＴＴＣが第１閾値時間Ｔ１ｔｈ以下であれば、警報制御を行い、ＴＴＣが第２閾値時間Ｔ２ｔｈ以下であれば、制動制御を行う。
【0058】
（作動の概要）
本実施形態では、前方カメラ装置３２のみならず前方ＰＶＭカメラ装置３４Ｆｒ及び後方ＰＶＭカメラ装置３４Ｒｒも認識用画像を取得する。これらの認識用画像は認識ＳｏＣに送信される必要がある。前方ＰＶＭカメラ装置３４Ｆｒ及び後方ＰＶＭカメラ装置３４Ｒｒが認識用画像を取得する場合の認識用Ｄｅｓ２２０から認識ＳｏＣ２４への通信帯域（以下、「認識用通信帯域」と称呼する。）の使用帯域は、上記ＰＶＭカメラ装置３４Ｆｒ及び３４Ｒｒが認識用画像を取得しない場合よりも、増加する。特に、三つのカメラ装置３２、３４Ｆｒ及び３４Ｒｒが取得した認識用画像が同じタイミングで送信されると、認識用通信帯域の使用帯域の最大値が一時的に急増する。この結果、使用帯域の最大値が認識用通信帯域の最大値を超えてしまって、認識ＳｏＣ２４が認識用画像を受信できない可能性がある。
本実施形態では、前方カメラ装置３２のみならず前方ＰＶＭカメラ装置３４Ｆｒ及び後方ＰＶＭカメラ装置３４Ｒｒも認識用画像を取得する。これらの認識用画像は認識ＳｏＣに送信される必要がある。前方ＰＶＭカメラ装置３４Ｆｒ及び後方ＰＶＭカメラ装置３４Ｒｒが認識用画像を取得する場合の認識用Ｄｅｓ２２０から認識ＳｏＣ２４への通信帯域（以下、「認識用通信帯域」と称呼する。）の使用帯域は、上記ＰＶＭカメラ装置３４Ｆｒ及び３４Ｒｒが認識用画像を取得しない場合よりも、増加する。特に、三つのカメラ装置３２、３４Ｆｒ及び３４Ｒｒが取得した認識用画像が同じタイミングで送信されると、認識用通信帯域の使用帯域の最大値が一時的に急増する。この結果、使用帯域の最大値が認識用通信帯域の最大値を超えてしまって、認識ＳｏＣ２４が認識用画像を受信できない可能性がある。
【0059】
そこで、本実施形態では、前方ＰＶＭカメラ装置３４Ｆｒが取得した認識用画像と後方ＰＶＭカメラ装置３４Ｒｒが取得した認識用画像とが異なるタイミングで送信されるように構成する。これにより、上記使用帯域の最大値が一時的に急増することを防止できる。この結果、認識ＳｏＣ２４が認識用画像を確実に受信できる可能性を高めることができる。
【0060】
（作動例）
図５に示したように、各カメラ装置３２及び３４は、イメージャ及びＳｅｒ（Ｓｅｒは、シリアライザーの略であり、送信ＩＣと称呼される場合もある。）を備えている。イメージャは、光の強弱を電気信号へ変換することにより画像（画像データ）を取得する。Ｓｅｒは、イメージャが取得した画像を送信する。
図５に示したように、各カメラ装置３２及び３４は、イメージャ及びＳｅｒ（Ｓｅｒは、シリアライザーの略であり、送信ＩＣと称呼される場合もある。）を備えている。イメージャは、光の強弱を電気信号へ変換することにより画像（画像データ）を取得する。Ｓｅｒは、イメージャが取得した画像を送信する。
【0061】
通信ユニット２２は、認識用Ｄｅｓ２２０及び表示用Ｄｅｓ２２２を備えている。Ｄｅｓは、デシリアライザーの略であり、受信ＩＣと称呼される場合もある。認識用Ｄｅｓ２２０は、前方カメラ装置３２のＳｅｒ、表示用Ｄｅｓ２２２及び認識ＳｏＣ２４と通信可能に接続されている。表示用Ｄｅｓ２２２は、ＰＶＭカメラ装置３４のＳｅｒ、認識用Ｄｅｓ２２０及び表示制御ＳｏＣ２６と通信可能に接続されている。
【0062】
認識ＳｏＣ２４は、所定の撮影時間Ｔｐ（Ｔｐ＝２５ｍｓ）が経過する毎に、認識用同期信号及び表示用同期信号の何れかを各カメラ装置３２及び３４に送信する。図５では、同期信号の流れを点線で示している。認識用同期信号は、認識用画像を取得するためのシャッタースピードＳＰ１を含む。表示用同期信号は、表示用画像を取得するためのシャッタースピードＳＰ２を含む。各カメラ装置３２及び３４は、同期信号を受信すると、同期信号に含まれるシャッタースピードに従って画像を取得する。
【0063】
各ＰＶＭカメラ装置３４は、認識用画像を取得した場合には、その画像が認識用画像であることを示す認識情報（認識識別子）を認識用画像に付与し、認識用画像を送信する。同様に、各ＰＶＭカメラ装置３４は、表示用画像を取得した場合には、その画像が表示用画像であることを示す表示情報（表示識別子）を表示用画像に付与し、表示用画像を送信する。表示用Ｄｅｓ２２２は、各ＰＶＭカメラ装置３４から画像を受信した場合には、表示情報が画像に付与されていれば、その画像（即ち、表示用画像）を表示制御ＳｏＣ２６に送信する。一方、認識情報が画像に付与されていれば、表示用Ｄｅｓ２２２は、その画像（即ち、認識用画像）を認識用Ｄｅｓ２２０に送信する。認識用Ｄｅｓ２２０は、前方カメラ装置３２又は表示用Ｄｅｓ２２２から画像（即ち、認識用画像）を受信すると、その画像を認識ＳｏＣ２４へ送信する。
【0064】
認識ＳｏＣ２４は、前方カメラ装置３２に対して、撮影時間Ｔｐが経過する毎にカウンタＮに「１」を加算し、カウンタＮが「５」になるとカウンタＮの値を「１」に設定する。認識ＳｏＣ２４は、前方カメラ装置３２が認識用画像を４０ｆｐｓで取得するように認識用同期信号を前方カメラ装置３２へ送信する。即ち、認識ＳｏＣ２４は、カウンタＮの値が何れの値であっても、認識用同期信号を前方カメラ装置３２に送信する（図６（Ａ）を参照。）。
【0065】
認識ＳｏＣ２４は、左ＰＶＭカメラ装置３４Ｌ及び右ＰＶＭカメラ装置３４Ｒが表示用画像を３０ｆｐｓで取得するよう表示用同期信号をこれらのＰＶＭカメラ装置３４Ｌ及び３４Ｒへ送信する。一例として、認識ＳｏＣ２４は、これらのＰＶＭカメラ装置３４Ｌ及び３４Ｒに対して、カウンタＮの値が「２」であれば何れの同期信号も送信せず、カウンタＮの値が「１」、「３」及び「４」の何れかであれば表示用同期信号を送信する（図６（Ｄ）及び（Ｅ）を参照。）。
【0066】
認識ＳｏＣ２４は、前方ＰＶＭカメラ装置３４Ｆｒ及び後方ＰＶＭカメラ装置３４Ｒｒが認識用画像を１０ｆｐｓで取得し且つ表示用画像を３０ｆｐｓで取得するよう認識用同期信号及び表示用同期信号を前方ＰＶＭカメラ装置３４Ｆｒ及び後方ＰＶＭカメラ装置３４Ｒｒへ送信する。
【0067】
一例として、認識ＳｏＣ２４は、前方ＰＶＭカメラ装置３４Ｆｒに対して、カウンタＮの値が「４」であれば認識用同期信号を送信し、カウンタＮの値が「１」乃至「３」の何れかであれば表示用同期信号を送信する（図６（Ｂ）を参照。）。認識ＳｏＣ２４は、後方ＰＶＭカメラ装置３４Ｒｒに対して、カウンタＮの値が「２」であれば認識用同期信号を送信し、カウンタＮの値が「１」、「３」及び「４」の何れかであれば表示用同期信号を送信する（図６（Ｃ）を参照。）。
【0068】
このように、本実施形態では、認識ＳｏＣ２４が認識用同期信号を前方ＰＶＭカメラ装置３４Ｆｒ及び後方ＰＶＭカメラ装置３４Ｒｒへ送信するタイミングを異ならせている。これにより、前方ＰＶＭカメラ装置３４Ｆｒが認識用画像を取得するタイミングと後方ＰＶＭカメラ装置３４Ｒｒが認識用画像を取得するタイミングとが異なるようになる。この結果、認識用Ｄｅｓ２２０が前方ＰＶＭカメラ装置３４Ｆｒが取得した認識用画像及び後方ＰＶＭカメラ装置３４Ｒｒが取得した認識用画像を認識ＳｏＣ２４へ送信するタイミングが異なるようになる。
【0069】
ところで、前方カメラ装置３２が取得する一画像当たりのデータ容量は、各ＰＶＭカメラ装置３４が取得する一画像当たりのデータ容量よりも大きい。
・前方カメラ装置３２：１２８Ｍｂｉｔ（＝８Ｍｐｉｘ×１６ｂｉｔ）
・ＰＶＭカメラ装置：４４．８Ｍｂｉｔ（＝２．８Ｍｐｉｘ×１６ｂｉｔ）
即ち、前方カメラ装置３２が取得する画像は、ＰＶＭカメラ装置３４が取得する画像の約３倍大きい。
・前方カメラ装置３２：１２８Ｍｂｉｔ（＝８Ｍｐｉｘ×１６ｂｉｔ）
・ＰＶＭカメラ装置：４４．８Ｍｂｉｔ（＝２．８Ｍｐｉｘ×１６ｂｉｔ）
即ち、前方カメラ装置３２が取得する画像は、ＰＶＭカメラ装置３４が取得する画像の約３倍大きい。
【0070】
本実施形態では、このようなデータ容量が大きな認識用画像が４０ｆｐｓで認識ＳｏＣ２４へ送信されており、更に、ＰＶＭカメラ装置３４Ｆｒ及び３４Ｒｒが取得した認識用画像も１０ｆｐｓで認識ＳｏＣ２４に送信される。このため、認識用通信帯域の使用帯域の最大値を可能な限り小さくする必要がある。本実施形態では、上述したように、認識用Ｄｅｓ２２０が認識用画像を認識ＳｏＣ２４へ送信するタイミングが異なるようにしているので、上記使用帯域の最大値を小さくすることができる。
【0071】
（具体的作動）
＜同期信号送信ルーチン＞
認識ＳｏＣ２４のＣＰＵ（以下、「第１ＣＰＵ」と表記した場合、特に断りがない限り、認識ＳｏＣ２４のＣＰＵを指す。）は、図７にフローチャートにより示した同期信号送信ルーチンを撮影時間Ｔｐが経過する毎に実行する。
＜同期信号送信ルーチン＞
認識ＳｏＣ２４のＣＰＵ（以下、「第１ＣＰＵ」と表記した場合、特に断りがない限り、認識ＳｏＣ２４のＣＰＵを指す。）は、図７にフローチャートにより示した同期信号送信ルーチンを撮影時間Ｔｐが経過する毎に実行する。
【0072】
従って、所定のタイミングになると、第１ＣＰＵは、図７のステップ７００から処理を開始し、ステップ７０５及びステップ７１０を順に実行する。
ステップ７０５：第１ＣＰＵは、カウンタＮの値に「１」を加算する。
カウンタＮの値は、イニシャルルーチンにて、「１」に設定される。イニシャルルーチンは、車両ＶＡの図示しないイグニッション・キー・スイッチがオフ位置からオン位置へと変更されたときに第１ＣＰＵによって実行される。
ステップ７１０：第１ＣＰＵは、カウンタＮの値が「５」であるか否かを判定する。
ステップ７０５：第１ＣＰＵは、カウンタＮの値に「１」を加算する。
カウンタＮの値は、イニシャルルーチンにて、「１」に設定される。イニシャルルーチンは、車両ＶＡの図示しないイグニッション・キー・スイッチがオフ位置からオン位置へと変更されたときに第１ＣＰＵによって実行される。
ステップ７１０：第１ＣＰＵは、カウンタＮの値が「５」であるか否かを判定する。
【0073】
カウンタＮの値が「５」でない場合（即ち、カウンタＮの値が「１」乃至「４」の何れかである場合）、第１ＣＰＵは、ステップ７１５及びステップ７２０を順に実行する。
ステップ７１５：第１ＣＰＵは、認識用同期信号を前方カメラ装置３２へ送信する。
ステップ７２０：第１ＣＰＵは、カウンタＮの値が「１」又は「３」であるか否かを判定する。
ステップ７１５：第１ＣＰＵは、認識用同期信号を前方カメラ装置３２へ送信する。
ステップ７２０：第１ＣＰＵは、カウンタＮの値が「１」又は「３」であるか否かを判定する。
【0074】
カウンタＮの値が「１」又は「３」である場合、第１ＣＰＵは、ステップ７２０にて「Ｙｅｓ」と判定してステップ７２５に進み、表示用同期信号を総てのＰＶＭカメラ装置３４へ送信する。その後、第１ＣＰＵは、ステップ７９５に進んで本ルーチンを一旦終了する。
【0075】
一方、第１ＣＰＵがステップ７２０に進んだ時点にてカウンタＮの値が「１」及び「３」の何れでもない場合（即ち、カウンタＮの値が「２」又は「４」である場合）、第１ＣＰＵは、そのステップ７２０にて「Ｎｏ」と判定し、ステップ７３０に進む。ステップ７３０にて、第１ＣＰＵは、カウンタＮの値が「２」であるか否かを判定する。
【0076】
カウンタＮの値が「２」である場合、第１ＣＰＵは、ステップ７３０にて「Ｙｅｓ」と判定してステップ７３５及びステップ７４０を順に実行する。
ステップ７３５：第１ＣＰＵは、認識用同期信号を後方ＰＶＭカメラ装置３４Ｒｒへ送信する。
ステップ７４０：第１ＣＰＵは、表示用同期信号を前方ＰＶＭカメラ装置３４Ｆｒへ送信する。
その後、第１ＣＰＵは、ステップ７９５に進んで本ルーチンを一旦終了する。
ステップ７３５：第１ＣＰＵは、認識用同期信号を後方ＰＶＭカメラ装置３４Ｒｒへ送信する。
ステップ７４０：第１ＣＰＵは、表示用同期信号を前方ＰＶＭカメラ装置３４Ｆｒへ送信する。
その後、第１ＣＰＵは、ステップ７９５に進んで本ルーチンを一旦終了する。
【0077】
一方、第１ＣＰＵがステップ７３０に進んだ時点にてカウンタＮの値が「２」でない場合（即ち、カウンタＮの値が「４」である場合）、第１ＣＰＵは、ステップ７３０にて「Ｎｏ」と判定し、ステップ７４５及びステップ７５０を順に実行する。
ステップ７４５：第１ＣＰＵは、認識用同期信号を前方ＰＶＭカメラ装置３４Ｆｒへ送信する。
ステップ７５０：第２ＣＰＵは、表示用同期信号を後方ＰＶＭカメラ装置３４Ｒｒ、左ＰＶＭカメラ装置３４Ｌ及び右ＰＶＭカメラ装置３４Ｒへ送信する。
その後、第１ＣＰＵは、ステップ７９５に進んで本ルーチンを一旦終了する。
ステップ７４５：第１ＣＰＵは、認識用同期信号を前方ＰＶＭカメラ装置３４Ｆｒへ送信する。
ステップ７５０：第２ＣＰＵは、表示用同期信号を後方ＰＶＭカメラ装置３４Ｒｒ、左ＰＶＭカメラ装置３４Ｌ及び右ＰＶＭカメラ装置３４Ｒへ送信する。
その後、第１ＣＰＵは、ステップ７９５に進んで本ルーチンを一旦終了する。
【0078】
一方、第１ＣＰＵがステップ７１０に進んだ時点にてカウンタＮの値が「５」である場合、第１ＣＰＵは、ステップ７１０にて「Ｙｅｓ」と判定し、ステップ７５５に進む。ステップ７５５にて、第１ＣＰＵは、カウンタＮの値を「１」に設定し、ステップ７１５に進む。
【0079】
＜画像取得ルーチン＞
各カメラ装置３２及び３４の図示しないＣＰＵ（以下、「第２ＣＰＵ」と表記した場合、特に断りがない限り、各カメラ装置３２及び３４のＣＰＵを指す。）は、図８にフローチャートにより示した画像取得ルーチンを所定時間が経過する毎に実行する。なお、この所定時間は、上記撮影時間Ｔｐよりも短く設定されている。
各カメラ装置３２及び３４の図示しないＣＰＵ（以下、「第２ＣＰＵ」と表記した場合、特に断りがない限り、各カメラ装置３２及び３４のＣＰＵを指す。）は、図８にフローチャートにより示した画像取得ルーチンを所定時間が経過する毎に実行する。なお、この所定時間は、上記撮影時間Ｔｐよりも短く設定されている。
【0080】
従って、所定のタイミングになると、第２ＣＰＵは、図８のステップ８００から処理を開始し、ステップ８０５に進む。ステップ８０５にて、第２ＣＰＵは、本ルーチンが前回実行されてから今回実行されるまでの期間において、カメラ装置が認識用同期信号及び表示用同期信号の何れかの同期信号を受信したか否かを判定する。
【0081】
カメラ装置が上記期間に何れの同期信号も受信していない場合、第２ＣＰＵは、ステップ８０５にて「Ｎｏ」と判定し、ステップ８９５に進んで本ルーチンを一旦終了する。
【0082】
一方、カメラ装置が上記期間に何れかの同期信号を受信した場合、第２ＣＰＵは、ステップ８０５にて「Ｙｅｓ」と判定し、ステップ８１０に進む。ステップ８１０にて、第２ＣＰＵは、受信した同期信号が認識用同期信号であるか否かを判定する。
【0083】
受信した同期信号が認識用同期信号である場合、第２ＣＰＵは、ステップ８１０にて「Ｙｅｓ」と判定し、ステップ８１５乃至ステップ８２５を実行する。
ステップ８１５：第２ＣＰＵは、認識用同期信号に含まれるシャッタースピードＳＰ１でイメージャに画像を取得させることにより、認識用画像を取得する。
ステップ８２０：第２ＣＰＵは、取得した認識用画像に認識情報を付与する。
ステップ８２５：第２ＣＰＵは、認識用画像をＳｅｒから送信する。
その後、第２ＣＰＵは、ステップ８９５に進んで本ルーチンを一旦終了する。
ステップ８１５：第２ＣＰＵは、認識用同期信号に含まれるシャッタースピードＳＰ１でイメージャに画像を取得させることにより、認識用画像を取得する。
ステップ８２０：第２ＣＰＵは、取得した認識用画像に認識情報を付与する。
ステップ８２５：第２ＣＰＵは、認識用画像をＳｅｒから送信する。
その後、第２ＣＰＵは、ステップ８９５に進んで本ルーチンを一旦終了する。
【0084】
一方、受信した同期信号が認識用同期信号でない場合、即ち、受信した同期信号が表示用同期信号である場合、第２ＣＰＵは、ステップ８１０にて「Ｎｏ」と判定し、ステップ８３０乃至ステップ８３５を実行する。
ステップ８３０：第２ＣＰＵは、表示用同期信号に含まれるシャッタースピードＳＰ２でイメージャに画像を取得させることにより、表示用画像を取得する。
ステップ８３５：第２ＣＰＵは、取得した表示用画像に表示情報を付与する。
ステップ８４０：第２ＣＰＵは、表示用画像をＳｅｒから送信する。
その後、第２ＣＰＵは、ステップ８９５に進んで本ルーチンを一旦終了する。
ステップ８３０：第２ＣＰＵは、表示用同期信号に含まれるシャッタースピードＳＰ２でイメージャに画像を取得させることにより、表示用画像を取得する。
ステップ８３５：第２ＣＰＵは、取得した表示用画像に表示情報を付与する。
ステップ８４０：第２ＣＰＵは、表示用画像をＳｅｒから送信する。
その後、第２ＣＰＵは、ステップ８９５に進んで本ルーチンを一旦終了する。
【0085】
＜画像送信ルーチン＞
表示用Ｄｅｓ２２２は、図９にフローチャートにより示した画像振分ルーチンを所定時間が経過する毎に実行する。なお、この所定時間は、上記撮影時間Ｔｐよりも短く設定されている。
表示用Ｄｅｓ２２２は、図９にフローチャートにより示した画像振分ルーチンを所定時間が経過する毎に実行する。なお、この所定時間は、上記撮影時間Ｔｐよりも短く設定されている。
【0086】
従って、所定のタイミングになると、表示用Ｄｅｓ２２２は、図９のステップ９００から処理を開始し、ステップ９０５に進む。ステップ９０５にて、表示用Ｄｅｓ２２２は、本ルーチンが前回実行されてから今回実行されるまでの期間において、ＰＶＭカメラ装置３４から画像を受信したか否かを判定する。
【0087】
上記期間にＰＶＭカメラ装置３４から画像を受信していない場合、表示用Ｄｅｓ２２２は、ステップ９０５にて「Ｎｏ」と判定し、ステップ９９５に進んで本ルーチンを一旦終了する。
【0088】
一方、上記期間にＰＶＭカメラ装置３４から画像を受信した場合、表示用Ｄｅｓ２２２は、ステップ９０５にて「Ｙｅｓ」と判定し、ステップ９１０に進む。ステップ９１０にて、表示用Ｄｅｓ２２２は、受信した画像に認識情報が付与されているか否かを判定する。
【0089】
受信した画像に認識情報が付与されている場合（即ち、受信した画像が認識用画像である場合）、表示用Ｄｅｓ２２２は、ステップ９１０にて「Ｙｅｓ」と判定し、ステップ９１５に進む。ステップ９１５にて、表示用Ｄｅｓ２２２は、受信した画像を認識用Ｄｅｓ２２０へ送信し、ステップ９９５に進んで本ルーチンを一旦終了する。
【0090】
一方、受信した画像に認識情報が付与されていない場合（即ち、受信した画像が表示用画像である場合）、表示用Ｄｅｓ２２２は、ステップ９１０にて「Ｎｏ」と判定し、ステップ９２０に進む。ステップ９２０にて、表示用Ｄｅｓ２２２は、受信した画像を表示制御ＳｏＣ２６へ送信し、ステップ９９５に進んで本ルーチンを一旦終了する。
【0091】
＜前方安全制御ルーチン＞
第１ＣＰＵは、図１０にフローチャートにより示した前方安全制御ルーチンを所定時間（４×Ｔｐ）が経過する毎に実行する。
第１ＣＰＵは、図１０にフローチャートにより示した前方安全制御ルーチンを所定時間（４×Ｔｐ）が経過する毎に実行する。
【0092】
従って、所定のタイミングになると、第１ＣＰＵは、図１０のステップ１０００から処理を開始し、ステップ１００５及びステップ１０１０を順に実行する。
ステップ１００５：第１ＣＰＵは、前方認識用画像に基いて、車両ＶＡの前方領域に存在する物標を認識する。
ステップ１０１０：第１ＣＰＵは、前方衝突物標ＦＯＢが存在するか否かを判定する。
ステップ１００５：第１ＣＰＵは、前方認識用画像に基いて、車両ＶＡの前方領域に存在する物標を認識する。
ステップ１０１０：第１ＣＰＵは、前方衝突物標ＦＯＢが存在するか否かを判定する。
【0093】
前方衝突物標ＦＯＢが存在しない場合、第１ＣＰＵは、ステップ１０１０にて「Ｎｏ」と判定し、ステップ１０９５に進んで本ルーチンを一旦終了する。
【0094】
一方、前方衝突物標ＦＯＢが存在する場合、第１ＣＰＵは、ステップ１０１０にて「Ｙｅｓ」と判定し、ステップ１０１５及びステップ１０２０を順に実行する。
ステップ１０１５：第１ＣＰＵは、前方衝突物標ＦＯＢのＴＴＣを取得する。
ステップ１０２０：第１ＣＰＵは、ＴＴＣが第１閾値時間Ｔ１ｔｈ以下であるか否かを判定する。
ＴＴＣが第１閾値時間Ｔ１ｔｈよりも大きい場合、第１ＣＰＵは、ステップ１０２０にて「Ｎｏ」と判定し、ステップ１０９５に進んで本ルーチンを一旦終了する。
ステップ１０１５：第１ＣＰＵは、前方衝突物標ＦＯＢのＴＴＣを取得する。
ステップ１０２０：第１ＣＰＵは、ＴＴＣが第１閾値時間Ｔ１ｔｈ以下であるか否かを判定する。
ＴＴＣが第１閾値時間Ｔ１ｔｈよりも大きい場合、第１ＣＰＵは、ステップ１０２０にて「Ｎｏ」と判定し、ステップ１０９５に進んで本ルーチンを一旦終了する。
【0095】
一方、ＴＴＣが第１閾値時間Ｔ１ｔｈ以下である場合、第１ＣＰＵは、ステップ１０２５及びステップ１０３０を順に実行する。
ステップ１０２５：第１ＣＰＵは、警報指令をスピーカ７０及び第１ディスプレイ８０に送信する。
ステップ１０３０：第１ＣＰＵは、ＴＴＣが第２閾値時間Ｔ２ｔｈ以下であるか否かを判定する。
ＴＴＣが第２閾値時間Ｔ２ｔｈよりも大きい場合、第１ＣＰＵは、ステップ１０３０にて「Ｎｏ」と判定し、ステップ１０９５に進んで本ルーチンを一旦終了する。
ステップ１０２５：第１ＣＰＵは、警報指令をスピーカ７０及び第１ディスプレイ８０に送信する。
ステップ１０３０：第１ＣＰＵは、ＴＴＣが第２閾値時間Ｔ２ｔｈ以下であるか否かを判定する。
ＴＴＣが第２閾値時間Ｔ２ｔｈよりも大きい場合、第１ＣＰＵは、ステップ１０３０にて「Ｎｏ」と判定し、ステップ１０９５に進んで本ルーチンを一旦終了する。
【0096】
一方、ＴＴＣが第２閾値時間Ｔ２ｔｈ以下である場合、第１ＣＰＵは、ステップ１０３０にて「Ｙｅｓ」と判定し、ステップ１０３５に進む。
ステップ１０３５にて、第１ＣＰＵは、回避領域が存在するか否かを判定する。
ステップ１０３５にて、第１ＣＰＵは、回避領域が存在するか否かを判定する。
【0097】
回避領域が存在する場合、第１ＣＰＵは、ステップ１０３５にて「Ｙｅｓ」と判定し、ステップ１０４０に進んで回避指令をステアリングＥＣＵ６０へ送信する。その後、第１ＣＰＵは、ステップ１０９５に進んで本ルーチンを一旦終了する。
【0098】
回避領域が存在しない場合、第１ＣＰＵは、ステップ１０３５にて「Ｎｏ」と判定し、ステップ１０４５に進んで制動指令をエンジンＥＣＵ４０及びブレーキＥＣＵ５０へ送信する。その後、第１ＣＰＵは、ステップ１０９５に進んで本ルーチンを一旦終了する。
【0099】
＜後方安全制御ルーチン＞
第１ＣＰＵは、図１１にフローチャートにより示した後方安全制御ルーチンを所定時間（１００ｍｓ＝４×Ｔｐ）が経過する毎に実行する。
第１ＣＰＵは、図１１にフローチャートにより示した後方安全制御ルーチンを所定時間（１００ｍｓ＝４×Ｔｐ）が経過する毎に実行する。
【0100】
従って、所定のタイミングになると、第１ＣＰＵは、図１１のステップ１１００から処理を開始し、ステップ１１０５及びステップ１１１０を順に実行する。
ステップ１１０５：第１ＣＰＵは、後方認識用画像に基いて、車両ＶＡの後方領域に存在する物標を認識する。
ステップ１１１０：第１ＣＰＵは、後方衝突物標ＲＯＢが存在するか否かを判定する。
後方衝突物標ＲＯＢが存在しない場合、第１ＣＰＵは、ステップ１１１０にて「Ｎｏ」と判定し、ステップ１１９５に進んで本ルーチンを一旦終了する。
ステップ１１０５：第１ＣＰＵは、後方認識用画像に基いて、車両ＶＡの後方領域に存在する物標を認識する。
ステップ１１１０：第１ＣＰＵは、後方衝突物標ＲＯＢが存在するか否かを判定する。
後方衝突物標ＲＯＢが存在しない場合、第１ＣＰＵは、ステップ１１１０にて「Ｎｏ」と判定し、ステップ１１９５に進んで本ルーチンを一旦終了する。
【0101】
一方、後方衝突物標ＲＯＢが存在する場合、第１ＣＰＵは、ステップ１１１０にて「Ｙｅｓ」と判定し、ステップ１１１５及びステップ１１２０を順に実行する。
ステップ１１１５：第１ＣＰＵは、後方衝突物標ＲＯＢのＴＴＣを取得する。
ステップ１１２０：第１ＣＰＵは、後方衝突物標ＲＯＢのＴＴＣが第１閾値時間Ｔ１ｔｈ以下であるか否かを判定する。
ＴＴＣが第１閾値時間Ｔ１ｔｈよりも大きい場合、第１ＣＰＵは、ステップ１１２０にて「Ｎｏ」と判定し、ステップ１１９５に進んで本ルーチンを一旦終了する。
ステップ１１１５：第１ＣＰＵは、後方衝突物標ＲＯＢのＴＴＣを取得する。
ステップ１１２０：第１ＣＰＵは、後方衝突物標ＲＯＢのＴＴＣが第１閾値時間Ｔ１ｔｈ以下であるか否かを判定する。
ＴＴＣが第１閾値時間Ｔ１ｔｈよりも大きい場合、第１ＣＰＵは、ステップ１１２０にて「Ｎｏ」と判定し、ステップ１１９５に進んで本ルーチンを一旦終了する。
【0102】
一方、ＴＴＣが第１閾値時間Ｔ１ｔｈ以下である場合、第１ＣＰＵは、ステップ１１２０にて「Ｙｅｓ」と判定し、ステップ１１２５及びステップ１１３０を実行する。
ステップ１１２５：第１ＣＰＵは、警報指令をスピーカ７０及び第１ディスプレイ８０に送信する。
ステップ１１３０：第１ＣＰＵは、ＴＴＣが第２閾値時間Ｔ２ｔｈ以下であるか否かを判定する。
ＴＴＣが第２閾値時間Ｔ２ｔｈよりも大きい場合、第１ＣＰＵは、ステップ１１３０にて「Ｎｏ」と判定し、ステップ１１９５に進んで本ルーチンを一旦終了する。
ステップ１１２５：第１ＣＰＵは、警報指令をスピーカ７０及び第１ディスプレイ８０に送信する。
ステップ１１３０：第１ＣＰＵは、ＴＴＣが第２閾値時間Ｔ２ｔｈ以下であるか否かを判定する。
ＴＴＣが第２閾値時間Ｔ２ｔｈよりも大きい場合、第１ＣＰＵは、ステップ１１３０にて「Ｎｏ」と判定し、ステップ１１９５に進んで本ルーチンを一旦終了する。
【0103】
一方、ＴＴＣが第２閾値時間Ｔ２ｔｈ以下である場合、第１ＣＰＵは、ステップ１１３０にて「Ｙｅｓ」と判定し、ステップ１１３５に進んで制動指令をエンジンＥＣＵ４０及びブレーキＥＣＵ５０に送信する。その後、第１ＣＰＵは、ステップ１１９５に進んで本ルーチンを一旦終了する。
【0104】
＜表示制御ルーチン＞
表示制御ＳｏＣ２６のＣＰＵ（以下、「第３ＣＰＵ」と表記した場合、特に断りがない限り、表示制御ＳｏＣ２６のＣＰＵを指す。）は、図１２にフローチャートにより示した表示制御ルーチンを撮影時間Ｔｐが経過する毎に実行する。
表示制御ＳｏＣ２６のＣＰＵ（以下、「第３ＣＰＵ」と表記した場合、特に断りがない限り、表示制御ＳｏＣ２６のＣＰＵを指す。）は、図１２にフローチャートにより示した表示制御ルーチンを撮影時間Ｔｐが経過する毎に実行する。
【0105】
従って、所定のタイミングになると、第３ＣＰＵは、図１２のステップ１２００から処理を開始し、ステップ１２０５に進む。ステップ１２０５にて、第３ＣＰＵは、本ルーチンが前回実行されてから今回実行されるまでの期間において、ＰＶＭカメラ装置３４の中で表示用画像を送信していないＰＶＭカメラ装置３４が存在するか否かを判定する。換言すれば、このようなＰＶＭカメラ装置３４は、上記期間において表示用画像を取得しなかったＰＶＭカメラ装置である。以下では、このようなＰＶＭカメラ装置３４を「非取得ＰＶＭカメラ装置３４」と称呼する。図６に示した例において、カウンタＮの値が「１」又は「３」である場合には非取得ＰＶＭカメラ装置３４は存在しない。カウンタＮの値が「２」場合には後方ＰＶＭカメラ装置３４Ｒｒ、左ＰＶＭカメラ装置３４Ｌ及び右ＰＶＭカメラ装置３４Ｒがそれぞれ非取得ＰＶＭカメラ装置３４に相当する。カウンタＮの値が「４」である場合には前方ＰＶＭカメラ装置３４Ｆｒが非取得ＰＶＭカメラ装置３４に相当する。
【0106】
非取得ＰＶＭカメラ装置３４が存在しない場合、第３ＣＰＵは、ステップ１２０５にて「Ｎｏ」と判定し、ステップ１２１０乃至ステップ１２２０を順に実行する。
ステップ１２１０：第３ＣＰＵは、表示用画像に基いてＰＶＭ画像を生成する。
より詳細には、第３ＣＰＵは、各表示用画像を合成した合成画像の各画素値を、半球面状の立体曲面に含まれる画素に投影することにより立体画像を生成する。この立体曲面の底面は車両ＶＡを中心とする。表示用画像の画素値が投影される立体曲面の画素とは予め対応付けられている。第３ＣＰＵは、生成した立体画像を利用して車両ＶＡの真上から視たときの周辺領域の画像を表すＰＶＭ画像を生成する。
なお、このような立体画像の生成処理自体は周知の技術である（例えば、特開２０１２－２１７０００号公報を参照。）。
ステップ１２１０：第３ＣＰＵは、表示用画像に基いてＰＶＭ画像を生成する。
より詳細には、第３ＣＰＵは、各表示用画像を合成した合成画像の各画素値を、半球面状の立体曲面に含まれる画素に投影することにより立体画像を生成する。この立体曲面の底面は車両ＶＡを中心とする。表示用画像の画素値が投影される立体曲面の画素とは予め対応付けられている。第３ＣＰＵは、生成した立体画像を利用して車両ＶＡの真上から視たときの周辺領域の画像を表すＰＶＭ画像を生成する。
なお、このような立体画像の生成処理自体は周知の技術である（例えば、特開２０１２－２１７０００号公報を参照。）。
【0107】
ステップ１２１５：第３ＣＰＵは、ＰＶＭ画像を第２ディスプレイ９０に送信する。第２ディスプレイは、ＰＶＭ画像を受信すると、ＰＶＭ画像を表示する。
ステップ１２２０：第３ＣＰＵは、認識ＳｏＣ２４のＲＡＭに記憶されている前回表示用画像を消去し、上記期間に受信した表示用画像を新たな前回表示用画像としてＲＡＭに記憶する。
その後、第３ＣＰＵは、ステップ１２９５に進んで本ルーチンを一旦終了する。
ステップ１２２０：第３ＣＰＵは、認識ＳｏＣ２４のＲＡＭに記憶されている前回表示用画像を消去し、上記期間に受信した表示用画像を新たな前回表示用画像としてＲＡＭに記憶する。
その後、第３ＣＰＵは、ステップ１２９５に進んで本ルーチンを一旦終了する。
【0108】
一方、第３ＣＰＵがステップ１２０５に進んだ時点にて非取得ＰＶＭカメラ装置３４が存在する場合、第３ＣＰＵは、ステップ１２０５にて「Ｙｅｓ」と判定し、ステップ１２２５に進む。ステップ１２２５にて、第３ＣＰＵは、ＲＡＭから非取得ＰＶＭカメラ装置３４に対応する前回表示用画像を取得し、ステップ１２１０に進む。なお、ステップ１２１０にて、第３ＣＰＵは、上記期間にて受信した表示用画像及びステップ１２２５にて取得した前回表示画像に基いてＰＶＭ画像を生成する。
【0109】
以上説明したように、本実施形態によれば、通信ユニット２２は、前方ＰＶＭカメラ装置３４Ｆｒが取得した認識用画像の送信タイミングと、後方ＰＶＭカメラ装置３４Ｒｒが取得した認識用画像の送信タイミングと、を異ならせる。これによって、認識用通信帯域の使用帯域の最大値を小さくすることができる。
【0110】
本発明は上記実施形態及び上記変形例に限定されることなく、本発明の範囲内において種々の変形例を採用することができる。
【0111】
（第１変形例）
上記実施形態では、認識ＳｏＣ２４は、前方ＰＶＭカメラ装置３４Ｆｒ及び後方ＰＶＭカメラ装置３４Ｒｒに対して、異なるタイミング（Ｎ＝２又は４）で認識用同期信号を送信したが、同じタイミング（Ｎ＝１）で認識用同期信号を送信してもよい。本変形例に係る表示用Ｄｅｓ２２２は、受信した画像を一時的に記憶するバッファを備えている。表示用Ｄｅｓ２２２は、認識用同期信号を受信した場合には、どのＰＶＭカメラ装置３４Ｆｒ及びＲｒから受信したかを識別可能に認識用同期信号をバッファに記憶する。
上記実施形態では、認識ＳｏＣ２４は、前方ＰＶＭカメラ装置３４Ｆｒ及び後方ＰＶＭカメラ装置３４Ｒｒに対して、異なるタイミング（Ｎ＝２又は４）で認識用同期信号を送信したが、同じタイミング（Ｎ＝１）で認識用同期信号を送信してもよい。本変形例に係る表示用Ｄｅｓ２２２は、受信した画像を一時的に記憶するバッファを備えている。表示用Ｄｅｓ２２２は、認識用同期信号を受信した場合には、どのＰＶＭカメラ装置３４Ｆｒ及びＲｒから受信したかを識別可能に認識用同期信号をバッファに記憶する。
【0112】
本変形例では、認識ＳｏＣ２４は、通信ユニット２２に対して、前方ＰＶＭカメラ装置３４Ｆｒが取得した認識用画像の送信要求（以下、「第１送信要求」と称呼する。）と、後方ＰＶＭカメラ装置３４Ｒｒが取得した認識用画像の送信要求（以下、「第２送信要求」と称呼する。）と、を異なるタイミングで送信する。一例としては、認識ＳｏＣ２４は、カウンタＮの値が「２」となったときに第１送信要求を通信ユニット２２に送信し、カウンタＮの値が「４」となったときに第２送信要求を通信ユニット２２に送信する。
【0113】
通信ユニット２２が第１送信要求を受信した場合、表示用Ｄｅｓ２２２は、バッファから前方ＰＶＭカメラ装置３４Ｆｒが取得した認識用画像を取得し、当該認識用画像を認識用Ｄｅｓ２２０を介して認識ＳｏＣ２４へ送信する。同様に、通信ユニット２２が第２送信要求を受信した場合、表示用Ｄｅｓ２２２は、バッファから後方ＰＶＭカメラ装置３４Ｒｒが取得した認識用画像を取得し、当該認識用画像を認識用Ｄｅｓ２２０を介して認識ＳｏＣ２４へ送信する。なお、認識用Ｄｅｓ２２０は、認識用画像を送信した後、その認識用画像をバッファから消去する。
【0114】
以上により、前方ＰＶＭカメラ装置３４Ｆｒ及び後方ＰＶＭカメラ装置３４Ｒｒが同じタイミングで認識用画像を取得する場合においても、通信ユニット２２が、前方ＰＶＭカメラ装置３４Ｆｒが取得した認識用画像、及び、後方ＰＶＭカメラ装置３４Ｒｒが取得した認識用画像を、異なるタイミングで送信することができる。
【0115】
（第２変形例）
本変形例では、前方ＰＶＭカメラ装置３４Ｆｒ及び後方ＰＶＭカメラ装置３４Ｒｒが表示用画像のみを取得し、左ＰＶＭカメラ装置３４Ｌ及び右ＰＶＭカメラ装置Ｒが認識用画像及び表示用画像を取得してもよい。
本変形例では、前方ＰＶＭカメラ装置３４Ｆｒ及び後方ＰＶＭカメラ装置３４Ｒｒが表示用画像のみを取得し、左ＰＶＭカメラ装置３４Ｌ及び右ＰＶＭカメラ装置Ｒが認識用画像及び表示用画像を取得してもよい。
【0116】
本変形例の前方安全制御ルーチンでは、前方カメラ装置３２が取得した認識用画像が「前方認識用画像」として用いられる。更に、第１ＣＰＵは、後方安全制御ルーチンの代わりに左安全制御ルーチン及び右安全制御ルーチンを実行する。第１ＣＰＵは、左安全制御ルーチンでは左ＰＶＭカメラ装置３４Ｌが取得した認識用画像に基いて物標を認識する点、及び、右安全制御ルーチンでは右ＰＶＭカメラ装置３４Ｒが取得した認識用画像に基いて物標を認識する点で、後方安全制御ルーチンと異なり、その他の処理は後方安全制御ルーチンと同じである。
【0117】
なお、上記実施形態は、ＰＶＭカメラ装置３４の少なくとも二つのカメラ装置が「認識用画像及び表示用画像を取得するカメラ装置」であれば適用可能である。ＰＶＭカメラ装置３４は車両ＶＡの周辺領域の画像を取得可能であれば、ＰＶＭカメラ装置３４の数及び配置位置は上記実施形態に限定されない。
【0118】
（第３変形例）
衝突指標値として、ＴＴＣの代わりに、物標と車両ＶＡとの間の距離Ｌが用いられてもよい。距離Ｌが小さいほどが衝突可能性が高いことを表す。
更に、ＴＴＣが所定の閾値以下である場合、認識ＳｏＣ２４は、警報制御、回避制御及び制動制御の少なくとも一つを実行するようにしてもよい。
更に、警報制御においては、認識ＳｏＣ２４は、スピーカ７０及び第１ディスプレイ８０の何れか一つに警報指令を送信するようにしてもよい。
更に、第１ディスプレイ８０及び第２ディスプレイ９０は、一つのディスプレイであってもよい。
衝突指標値として、ＴＴＣの代わりに、物標と車両ＶＡとの間の距離Ｌが用いられてもよい。距離Ｌが小さいほどが衝突可能性が高いことを表す。
更に、ＴＴＣが所定の閾値以下である場合、認識ＳｏＣ２４は、警報制御、回避制御及び制動制御の少なくとも一つを実行するようにしてもよい。
更に、警報制御においては、認識ＳｏＣ２４は、スピーカ７０及び第１ディスプレイ８０の何れか一つに警報指令を送信するようにしてもよい。
更に、第１ディスプレイ８０及び第２ディスプレイ９０は、一つのディスプレイであってもよい。
【符号の説明】
【0119】
１０…車両用画像処理システム、２０…制御ＥＣＵ、２２…通信ユニット、２４…認識ＳｏＣ、２６…表示制御ＳｏＣ、３２…前方カメラ装置、３４Ｆｒ…前方ＰＶＭカメラ装置、３４Ｒｒ…後方ＰＶＭカメラ装置、３４Ｌ…左ＰＶＭカメラ装置、３４Ｒ…右ＰＶＭカメラ装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】