特許 5863481 車両用衝突危険予測装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5863481

(24)【登録日】2016年1月8日

(45)【発行日】2016年2月16日

(54)【発明の名称】車両用衝突危険予測装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20160202BHJP

   G01S 13/93 20060101ALI20160202BHJP

   G01V 3/12 20060101ALI20160202BHJP

   G01V 8/10 20060101ALI20160202BHJP

   G01M 17/007 20060101ALI20160202BHJP

【ＦＩ】

   G08G1/16 C

   G01S13/93 220

   G01V3/12 Z

   G01V9/04 S

   G01M17/00 Z

【請求項の数】6

【全頁数】35

(21)【出願番号】特願2012-16087(P2012-16087)

(22)【出願日】2012年1月30日

(65)【公開番号】特開2013-156794(P2013-156794A)

(43)【公開日】2013年8月15日

【審査請求日】2014年6月27日

(73)【特許権者】

【識別番号】000005810

【氏名又は名称】日立マクセル株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】特許業務法人 武和国際特許事務所

(72)【発明者】

【氏名】石原 朋和

(72)【発明者】

【氏名】西澤 明仁

(72)【発明者】

【氏名】塩川 淳司

【審査官】 相羽 昌孝

(56)【参考文献】

【文献】 特開２００９−０３６６２６（ＪＰ，Ａ）

【文献】 特開２００６−３０８２８５（ＪＰ，Ａ）

【文献】 特開２００８−２９８５３２（ＪＰ，Ａ）

【文献】 特開２００８−０２１２６９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００− １／１６

Ｇ０１Ｓ １３／００−１３／９５

Ｇ０１Ｖ １／００−９９／００

Ｇ０１Ｍ １７／００−１７／１０

(57)【特許請求の範囲】

【請求項1】

ミリ波乃至サブミリ波帯の波長の電磁波を検出して得た第一の画像を出力する第一の撮像手段と、
前記第一の撮像手段から出力された前記第一の画像を処理して所定の物体を検知する第一の検出手段と、
前記第一の検出手段で検知した前記所定の物体の検出結果を出力する危険予測手段と、
紫外線乃至赤外線帯域の波長の電磁波を検出して得た第二の画像を出力する第二の撮像手段と、
前記第二の撮像手段により得られた前記第二の画像を表示する表示手段と、を備えた車両用危険予測装置であって、
前記第一の撮像手段は、前記ミリ波乃至サブミリ波帯の波長の電磁波を放射する送信アンテナ手段と、複数の受信アンテナ手段を２次元に配置して構成され、前記送信アンテナ手段により放射した前記電磁波による所定の物体からの反射波を受信する受信アンテナアレイ手段と、前記送信アンテナ手段による前記電磁波の放射から前記受信アンテナアレイ手段による前記反射波の受信までの時間を当該受信アンテナアレイ手段の読み出しフレーム数により計測すると共に、自車両から前記所定の物体までの距離、並びに当該自車両と当該所定の物体との相対速度のうちの少なくとも一方を３次元の情報として算出する信号処理手段と、を備え、
前記表示手段は、前記信号処理手段の出力情報に基づいて前記危険予測手段により検出された物体の切出し画像と前記第二の撮像手段から出力された前記第二の画像とを重畳表示すると共に、当該第二の画像を当該切出し画像に対して強調処理が施された状態で表示することを特徴とする車両用危険予測装置。

【請求項2】

請求項１記載の車両用危険予測装置であって、
前記表示手段は、危険度を複数レベルで設定すると共に、設定された当該危険度のレベルに応じて前記強調処理を異なる態様で行うことを特徴とする車両用危険予測装置。

【請求項3】

請求項１記載の車両用危険予測装置であって、
前記信号処理手段は、前記受信アンテナアレイ手段における前記複数の受信アンテナ手段でそれぞれ受信される２次元位置に基づいて前記所定の物体の場所を算出することを特徴とする車両用危険予測装置。

【請求項4】

請求項１〜３の何れか１項記載の車両用危険予測装置であって、
前記受信アンテナアレイ手段は、複数の領域に分割され、前記分割された領域ごとに並列に信号を出力することを特徴とする車両用危険予測装置。

【請求項5】

請求項１〜３の何れか１項記載の車両用危険予測装置であって、
前記第一の撮像手段は、設定可能な前記受信アンテナアレイ手段で２次元に配置された前記複数の受信アンテナ手段のすべての受信信号を読み出すモードと当該複数の受信アンテナ手段のうち一部の受信信号を選択的に読み出すモードとを有することを特徴とする車両用危険予測装置。

【請求項6】

請求項１〜５の何れか１項記載の車両用危険予測装置であって、
前記第二の撮像手段から出力された前記第二の画像から前記第一の検出手段とは独立に所定の物体を画像処理によって検出する第二の検出手段を備え、
前記危険予測手段は、前記第一の検出手段により検出された前記所定の物体と前記第二の検出手段により検出された前記所定の物体とを用いて物体のマッチング処理を行って得たマッチング処理結果と、前記信号処理手段により算出された前記自車両から当該所定の物体までの距離、並びに当該自車両と当該所定の物体との相対速度のうちの少なくとも一方と、を用いて物体毎に危険度を付与すると共に、当該危険度に応じて出力する警告音又は前記第二の撮像手段で前記表示手段に出力表示する前記第二の画像の態様を変更することを特徴とする車両用危険予測装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両用衝突危険予測装置に関する。

【背景技術】

【0002】

本技術分野の背景技術として、特許文献１がある。該公報には、『路側に設置したミリ波センサを用いた道路上の障害物検出方法であって、ミリ波センサによるスキャンにより得られる計測データと障害物のない背景データとの差分から障害物候補を検出処理し、この処理を繰り返して常に障害物候補が存在する場合に障害物が存在すると検出する』と記載されている（要約参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０００−１７２９８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

車両の運転では、ドライバーが予期しない物体が車両の進行方向に至近距離で突然現れた場合には、衝突事故が発生しやすい。例えば、見通しの悪いカーブや、街路樹のある交差点などでは、人・動物・自動車・バイク・自転車等、衝突の可能性がある物体を、ドライバーが予め視認することができず、至近距離で視認可能になってから、ブレーキやハンドルを切るなど衝突を回避するための行動を開始することになり、間に合わずに事故に繋がりやすい。

【0005】

特許文献１には、上記の通り、『路側に設置したミリ波センサを用いた道路上の障害物検出方法であって、ミリ波センサによるスキャンにより得られる計測データと障害物のない背景データとの差分から障害物候補を検出処理し、この処理を繰り返して常に障害物候補が存在する場合に障害物が存在すると検出する』旨記載されているが、路側に予め、特許文献１の装置を設置しておく必要があり、未設置の道路では、事故を減らすことができない問題がある。

【0006】

そこで、本発明では、上記課題を解決し、自車両に設置可能で、例えばドライバーの死角にある衝突の可能性がある物体についての情報を検出可能にし、衝突事故防止に貢献できる装置を提供するものである。

【課題を解決するための手段】

【0007】

上記課題を達成するため、本発明の車両用危険予測装置は、ミリ波乃至サブミリ波帯の波長の電磁波を検出して得た第一の画像を出力する第一の撮像手段と、前記第一の撮像手段から出力された前記第一の画像を処理して所定の物体を検知する第一の検出手段と、前記第一の検出手段で検知した前記所定の物体の検出結果を出力する危険予測手段と、紫外線乃至赤外線帯域の波長の電磁波を検出して得た第二の画像を出力する第二の撮像手段と、前記第二の撮像手段により得られた前記第二の画像を表示する表示手段と、を備えた車両用危険予測装置であって、前記第一の撮像手段は、前記ミリ波乃至サブミリ波帯の波長の電磁波を放射する送信アンテナ手段と、複数の受信アンテナ手段を２次元に配置して構成され、前記送信アンテナ手段により放射した前記電磁波による所定の物体からの反射波を受信する受信アンテナアレイ手段と、前記送信アンテナ手段による前記電磁波の放射から前記受信アンテナアレイ手段による前記反射波の受信までの時間を当該受信アンテナアレイ手段の読み出しフレーム数により計測すると共に、自車両から前記所定の物体までの距離、並びに当該自車両と当該所定の物体との相対速度のうちの少なくとも一方を３次元の情報として算出する信号処理手段と、を備え、前記表示手段は、前記信号処理手段の出力情報に基づいて前記危険予測手段により検出された物体の切出し画像と前記第二の撮像手段から出力された前記第二の画像とを重畳表示すると共に、当該第二の画像を当該切出し画像に対して強調処理が施された状態で表示することを特徴とする。

【発明の効果】

【0008】

本特許によれば、自車両に設置可能で、例えばドライバーの死角にある衝突の可能性がある物体についての情報を検出可能にし、衝突事故防止に貢献できる装置を提供することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施例１における車両用衝突予測システムの構成図である。

【図2】本発明の実施例１から８までにおける可視光撮像部の出力画像の例を示す図である。

【図3】本発明の実施例１，３，４，６，７，８におけるミリ波撮像部の出力画像の例を示す図である。

【図4】本発明の実施例１，３，４，６，７，８における第１検出部における衝突危険物体判定アルゴリズムの例を示す図である。

【図5】本発明の実施例１，３，７，８における画像合成部の出力画像の例を示す図である。

【図6】本発明の実施例２における車両用衝突予測システムの構成図である。

【図7】本発明の実施例２，５におけるミリ波撮像部の出力画像の例を示す図である。

【図8】本発明の実施例２，５における画像合成部の出力画像の例を示す図である。

【図9】本発明の実施例３における車両用衝突予測システムの構成図である。

【図10】本発明の実施例３，５における撮像方法の時分割制御の方法を示す図である。

【図11】本発明の実施例４における車両用衝突予測システムの構成図である。

【図12】本発明の実施例４，５，６，８における第２検出部における衝突危険物体判定アルゴリズムの例を示す図である。

【図13】本発明の実施例４，６における画像合成部の出力画像の例を示す図である。

【図14】本発明の実施例５における車両用衝突予測システムの構成図である。

【図15】本発明の実施例６における車両用衝突予測システムの構成図である。

【図16】本発明の実施例７，８における車両用衝突回避システムの構成図である。

【図17】本発明の実施例７，８における第１検出部における衝突回避物体判定アルゴリズムの例を示す図である。

【図18】本発明の実施例８における第２検出部における衝突回避物体判定アルゴリズムの例を示す図である。

【図19】本発明の実施例８における第２検出部における衝突回避物体判定アルゴリズムの例を示す図である。

【図20】本発明の実施例９における受信アンテナアレイの構成図である。

【図21】本発明の実施例９におけるミリ波撮像部から距離情報、及び相対速度情報を出力する画素の位置の例を示す図である。

【図22】本発明の実施例９における受信アンテナアレイの動作タイミングの例を示す図である。

【図23】本発明の実施例９におけるミリ波撮像部の動作タイミングの例を示す図である。

【図24】本発明の実施例１０におけるミリ波撮像部から距離情報、及び相対速度情報を出力する画素の位置の例を示す図である。

【図25】本発明の実施例１１におけるミリ波撮像部から距離情報、及び相対速度情報を出力する画素の位置の例を示す図である。

【図26】本発明の実施例１１における受信アンテナアレイの動作タイミングの例を示す図である。

【図27】本発明の実施例１１におけるミリ波撮像部から距離情報、及び相対速度情報を出力する画素の位置の例を示す図である。

【図28】本発明の実施例１１における段階的距離・相対速度計算の方法を示すフロー図である。

【図29】本発明の実施例１２における車両用衝突危険回避システムの構成図である。

【図30】本発明の実施例９におけるミリ波撮像部の構成図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態を図面を用いて説明する。

【実施例1】

【0011】

以下、本発明における実施例１について詳細に説明する。
図１は、本発明の実施例１における車両用衝突危険予測システム１００を示す構成図であって、本発明の車両用衝突危険予測装置１０１を、車両用衝突危険予測システム１００に適用した場合における構成例を示す。

【0012】

車両用衝突危険予測システム１００は、車両に搭載されており、車両周辺（例えば、前方向）の衝突の危険を検知して、ドライバーに警告を与える等が可能なシステムである。

【0013】

車両用衝突危険予測システム１００は、車両用衝突危険予測装置１０１と、画像表示部１０７と、警報音出力部１０８を適宜用いて構成される。
車両用衝突危険予測装置１０１は、車両に搭載されており、車両周辺（例えば、前方向）の衝突の危険を検知して、画像と音声によってドライバーに警告を与えるための、合成画像の出力と、音声信号の出力をする装置であって、ミリ波撮像部１０２、第１検出部１０３、可視光撮像部１０４、危険予測部１０５、画像合成部１０６とを適宜用いて構成される。

【0014】

ミリ波撮像部１０２は、ミリ波センサ・信号処理部１０９を用いて構成される。
ミリ波センサ・信号処理部１０９は、ミリ波帯からサブミリ波帯（波長：数十μｍ程度から１ｃｍ程度まで）と呼ばれる波長の電磁波を撮像し、２次元デジタルデータである出力画像として、第１検出部１０３及び画像合成部１０６に出力する。一般的に、ミリ波帯からサブミリ波帯まで（波長：数十μｍ程度から１ｃｍ程度まで）の電磁波は、ある種の材質によってできた物を透過するという性質を持つ。そのため、障害物の陰に隠れて人の目には見えない位置にある物体であっても、ミリ波センサ・信号処理部１０９によってその物体を形状を画像化することができる。

【0015】

第１検出部１０３は、ミリ波撮像部１０２の出力画像から、人・動物などの生物や、自動車・バイク・自転車などの車両の物体形状を抽出し、また、その物体の移動速度や移動の傾向などを判断し、自車両と衝突する危険がある物体（以下、衝突危険物体）であると判断した場合には、その衝突危険物体の画像上の大きさや位置情報を示す衝突危険物体情報を、危険予測部１０５に出力する。衝突危険物体の判定方法の一例については後述する。

【0016】

可視光撮像部１０４は、紫外線から可視光を含み近赤外線（波長：１０ｎｍ程度から数μｍ程度まで）と呼ばれる波長の電磁波を撮像し、２次元デジタルデータである出力画像として、画像合成部１０６に出力する。

【0017】

危険予測部１０５は、第１検出部１０３から出力された衝突危険物体情報を、画像合成部１０６に出力する。また、危険予測部１０５は、第１検出部１０３から出力された衝突危険物体情報に基づいて、ドライバーにアラーム音や合成音声などの警告音でドライバーに警告するべき内容を決定し、音声信号に変換し、警告音出力部１０８に出力する。

【0018】

画像表示部１０７は、危険予測部１０５から出力された衝突危険物体情報に基づいて、ミリ波撮像部１０２の出力画像から、衝突危険物体の位置の画像を切り抜き処理し、可視光撮像部１０４の出力画像に重畳した合成画像を、画像表示部１０７に出力する。

【0019】

警告音出力部１０８は、危険予測部１０５から出力された音声信号を元に発音して、音声でドライバーに警告を与える。

【0020】

以上のような構成によって、障害物の向こう側にある衝突危険物体について、ミリ波撮像部１０２と第１検出部１０３によって検出することができるようになり、合成画像と音声によりドライバーに警告して衝突回避行動を促すことで、衝突事故を未然に防ぐようにできる。なお、ドライバーへの警告は音声又は画像の一方だけでもよく、最初に音声を出力し、所定時間経過後、映像を出力するように時間差をつけても構わない。また、これらの警告は、自車両と衝突危険物体との距離に応じて段階的に変化させてドライバーに通知しても構わない。

【0021】

図２は、可視光撮像部１０４の出力画像の例を示す図である。この図は、自車両の前方を撮影するように可視光撮像部１０４が設置された場合を示している。撮像に使用する電磁波は、紫外線から可視光を含み近赤外線まで（波長：１０ｎｍ程度から数μｍ程度まで）のいずれかの波長で撮像されているものとする。例えば可視光で撮像した場合には、人間の目で見える範囲の画像を撮像することができる。また、例えば近赤外線で撮像した場合には、夜間でも、物体の形を感度良く撮像することができる。それゆえ、例えば、照度センサ等の検出光量やネットワークと接続されて得られる日没情報・位置情報・天候情報等に基づき、適宜撮像に使用する電磁波を自動で切り替えるようにしてもよく、ドライバーが手動で切り替えるようにしても構わない。

【0022】

この図２に示されるように、例えば自車両の前方に３つの障害物（看板広告２０１、街路樹２０２、のぼり旗２０３）が存在しているとする。看板広告２０１の材質は木材、街路樹２０２の材質は木材、のぼり旗２０３の材質は布とプラスチックである。ドライバーは当然可視光しか視認することができないので、自転車２０４、歩行者２０５に関しては視認可能であるが、もし障害物の向こう側に衝突危険物体が存在していたとしても予め視認することができない。

【0023】

そのため、本特許の装置を使用しない場合には、衝突危険物体が障害物の陰から急に飛び出してきくると、ブレーキやハンドリングなどによる衝突回避行動が間に合わずに事故に繋がる可能性がある。

【0024】

そこで、障害物の向こう側に衝突危険物体がある場合であっても、それを予め検知してドライバーに警告を与えて、ドライバーに衝突回避行動を取らせ、衝突事故を未然に防ぐ手段が必要となる。そのために、実施例１の手段ではミリ波帯からサブミリ波帯まで（波長：数十μｍ程度から１ｃｍ程度まで）と呼ばれる電磁波で撮像を行う。この波長帯の電磁波は、木材・プラスチック・布・紙・陶磁器・ダンボール・煙・霧など、水・金属以外の様々な物質を透過し、金属表面で反射し、また、人や動物など、水分を多く含んだ物体に吸収されるという性質がある。すなわち、障害物が、この波長帯の電磁波を透過する素材でできていた場合には、ミリ波撮像部１０２によって、障害物の向こう側を“透視”した映像を得ることができるということになる。

【0025】

一般的に、撮像方法は電磁波の光源（放射源）の種類によって、パッシブ型と、アクティブ型の二種類に分類される。パッシブ型は、熱を持った物体から自然に放射される、ミリ波帯からサブミリ波帯まで（波長：数十μｍ程度から１ｃｍ程度まで）の電磁波を光源とする撮像方法である。一方、アクティブ型は、自ら設置した光源で撮像対象を照らして、金属などの物質で反射した電磁波を、パッシブ型の場合よりも鮮明に撮像することができる撮像方法である。

【0026】

実施例１では、パッシブ型で撮像することとする。そのため、熱を持った物体である、歩行者や動物や走行中の車両（特にエンジン）などを検知することができる。

【0027】

図３は、ミリ波撮像部１０２の出力画像の例を示す図である。実施例１では、パッシブ型の撮像方法を採っているので、水・金属以外の様々な材質でできた障害物を透過して、人や動物や走行中の車両など、熱を持つ物体を検知することができる。例えば図３では、可視光撮像部１０４によって検知可能だった自転車２０４、歩行者２０５以外にも、障害物に隠れた位置に存在する歩行者３０１、自動車３０２についても検知することが可能になっている。

【0028】

第１検出部１０３において、衝突危険物体を判定する方法の一例について、図４を用いて以下に説明する。まず、ミリ波撮像部１０２から出力された出力画像から、人・動物などの生物や、自動車・バイク・自転車などの車両の物体形状を抽出する。また、時間的に連続して撮影された出力画像から、画像処理によって物体の予測移動方向・速度を計算し、物体の動き予測を行う。自車両の前方向の、ヨー角θ [°]以内（例：θ＝１０）、距離Ｌ [ｍ]（例：Ｌ＝１０）以内に、時間ｔ [ｓｅｃ]（例：ｔ＝２）以内に物体が通過する可能性があると判断された場合には、衝突危険物体として判定する。その場合には、その衝突危険物体の画像上の大きさや位置情報を示す、衝突危険物体情報を出力する。

【0029】

例えば図４の場合には、撮像範囲２００に存在する物体（自転車２０４、歩行者２０５、歩行者３０１、自動車３０２）の物体形状が抽出される。そして、それぞれの物体について、ｔ[ｓｅｃ]後の予測位置（図４の４０１、４０２，４０３，４０４）及び、０[ｓｅｃ]からｔ[ｓｅｃ]までの間の予測移動軌跡（図４の白貫き矢印）が予測される。予測移動軌跡が、図の４０５で示される範囲を通過する物体は、衝突危険物体として判定される。例えば、図４の場合には、自転車２０４、歩行者２０５、歩行者３０１、自動車３０２が衝突危険物体として判定される。なお、予測移動軌跡の予測には、ネットワーク等を介して取得されるマップ情報・渋滞情報等を補足情報として用いても構わない。

【0030】

図５は、画像合成部１０６の出力画像の例を示す図である。衝突危険物体として判断された物体については、ミリ波撮像部１０２の出力画像から、物体の形状に沿って切り抜き処理され、可視光撮像部１０４の出力画像に重畳される。さらに、衝突危険物体の周辺に、図５に矩形の点線で示すような、危険であることを示すマーカーが画像処理によって付加される。このような合成画像が、画像表示部を通じてドライバーに提示されることになる。このような合成画像によって、ドライバーは、障害物の向こう側にある衝突危険物体について知ることができる。

【0031】

以上のように、実施例１の手段を用いれば、障害物の向こう側にある衝突危険物体について、ミリ波撮像部１０２と第１検出部１０３によって検出することができるようになり、画像と音声によりドライバーに警告して衝突回避行動を促すことで、衝突事故を未然に防ぐようにできる。なお、ここでは、自車両の前方を撮像する場合を例にとって説明したが、これに限られず、自車両がバックする場合には、後方を撮像しながら同様に本発明を適用できることは言うまでもない。また、撮像範囲の方向については、例えば、自車両の方向指示器の動作に応じて適宜変更するようにしても構わない。また、本実施例１の記載中に示した変形例については、他の実施例においても適宜適用可能である。

【実施例2】

【0032】

以下、本発明における実施例２について詳細に説明する。
図６は、本発明の実施例２における車両用衝突危険予測システム１００−２を示す構成図であって、本発明に係る車両用衝突危険予測装置１０１−２を、車両用衝突危険予測システム１００−２に適用した場合における構成例を示す。

【0033】

車両用衝突危険予測装置１０１−２は、ミリ波撮像部１０２−２、第１検出部１０３−２、可視光撮像部１０４−２、危険予測部１０５−２、画像合成部１０６−２を適宜用いて構成され、ミリ波撮像部１０２−２は、ミリ波センサ・信号処理部１０９−２の他、ミリ波光源６０１−２を用いて構成される。

【0034】

ミリ波光源６０１−２は、ミリ波センサ・信号処理部１０９−２で撮像可能な電磁波（波長：数十μｍ〜１ｃｍ程度）を、撮影対象となる自車両の周辺に放射することができる光源（放射源）である。その他の構成要素に関しては、実施例１の図１と同様であるので、説明を割愛する。

【0035】

実施例２では、ミリ波センサ・信号処理部１０９−２とミリ波光源６０１−２とを組み合わせて、アクティブ型の撮像方法を採るという点で、実施例１と異なる。

【0036】

実施例２では、アクティブ型の撮像方法を採るので、金属で覆われた物体である、自動車や、バイクや、自転車といった車両を、パッシブ型の場合よりも鮮明に撮像することが可能となり、その結果、危険物体の検出精度や、ドライバーに提示する合成画像の鮮明さが向上する。

【0037】

図７は、図３と同様のシーンを、実施例２の撮像方法（アクティブ型）で撮像した場合の、ミリ波撮像部１０２−２の出力画像の例を示す図である。この例では、金属でできた自転車２０４、自動車３０２を、実施例１の撮像方法（パッシブ型）よりも鮮明に撮像可能である。

【0038】

鮮明に撮像された画像を用いるので、第１検出部１０３−２における衝突危険物体の検出精度は、実施例１の場合よりも高くなる。

【0039】

図８は、画像合成部１０６−２の出力画像の例を示す図である。合成画像の生成方法は、実施例１の場合と同様であるので、割愛する。この例では、金属でできた自転車２０４、自動車３０２が、実施例１の撮像方法（パッシブ型）よりも鮮明な画像になってドライバーに提示されている。

【0040】

以上のように、実施例２の手段を用いれば、障害物の向こう側にある衝突危険物体について、ミリ波撮像部１０２で高い精度で検出し、かつ鮮明な撮像画像を提示して、ドライバーに警告することができる。その結果、ドライバーは、より適切に衝突回避行動をとることができるので、衝突事故を未然に防ぐことができる。

【実施例3】

【0041】

以下、本発明における実施例３について詳細に説明する。

【0042】

図９は、本発明に係る実施例３における車両用衝突危険予測システム１００−３を示す構成図であって、本発明の車両用衝突危険予測装置１０１−３を、車両用衝突危険予測システム１００−３に適用した場合における構成例を示す。

【0043】

車両用衝突危険予測装置１０１−３は、ミリ波撮像部１０２−３、第１検出部１０３−３、可視光撮像部１０４−３、危険予測部１０５−３、画像合成部１０６−３を適宜用いて構成され、ミリ波撮像部１０２−３は、ミリ波センサ・信号処理部１０９−３、ミリ波光源６０１−３を用いて構成される。

【0044】

危険予測部１０５−３は、実施例２の危険予測部１０５−２と同様の処理を実施する。さらに、危険予測部１０５−３は、ミリ波撮像部１０２−３の撮像パラメータを制御する制御信号を、ミリ波撮像部１０２−３に出力する。また、図示しない切替部に基づいて、ミリ波光源６０１−３のＯＮ（点灯）／ＯＦＦ（消灯）を切り替える制御信号を、ミリ波光源６０１−３に出力する。その他の構成要素に関しては、実施例２の図６と同様であるので、説明を割愛する。

【0045】

実施例３は、撮像方法を時分割で切り替えて、パッシブ型とアクティブ型の両方の撮像方法を時分割で切り替えて撮像するという点で、実施例１，２と異なっている。時分割制御により、実施例３では、２つの撮像方法の検出結果の両方を用いることができるようになり、アクティブ型の撮像によって車両など金属でできた物体の検出精度を高める作用と、パッシブ型の撮像によって歩行者や動物などの検出を可能とする作用の両方を同時に実現することが可能となる。

【0046】

図１０は、時分割制御の制御タイミングの一例を示した図である。時刻ｔ１〜ｔ２では、ミリ波光源６０１をＯＦＦ，ｔ２〜ｔ３ではＯＮ、・・・と、ミリ波光源６０１が点滅するように、危険予測部１０５が制御を行う。ミリ波光源６０１がＯＦＦになっている期間はパッシブ型の撮像方法となり、逆に、ミリ波光源６０１がＯＮになっている期間は、アクティブ型の撮像方法となる。図１０の場合には、出力画像１，３，５がパッシブ型、出力画像２，４がアクティブ型で撮像されることになる。撮像方法によって感度やＳ／Ｎ比などが異なるので、絞り量・シャッター速度・ノイズ除去信号処理強度などの撮像パラメータは、それぞれの撮像方法にとって最適な値が異なる。そこで、危険予測部１０５−３は、撮像方法の変更に合わせて、最適な撮像パラメータを設定するように、撮像パラメータ制御信号をミリ波センサ・信号処理部１０９−３に出力する。

【0047】

第１検出部１０３−３では、パッシブ型で撮像された出力画像と、アクティブ型で撮像された出力画像のそれぞれについて、衝突危険物体を検出し、アクティブ型・パッシブ型両方の結果のマッチングをとり、少なくともどちらか片方の撮像方法で検出された衝突危険物体について、衝突危険物体情報を、危険予測部１０５−３に出力する。

【0048】

このように、実施例３の手段を用いれば、２つの撮像方法の検出結果の両方を用いることができるようになり、アクティブ型の撮像によって車両など金属でできた物体の検出精度を高める作用と、パッシブ型の撮像によって歩行者や動物などの検出を可能とする作用の両方を同時に実現することが可能となる。

【実施例4】

【0049】

以下、本発明における実施例４について詳細に説明する。
図１１は、本発明の実施例４における車両用衝突危険予測システム１００−４を示す構成図であって、本発明に係る車両用衝突危険予測装置１０１−４を、車両用衝突危険予測システム１００−４に適用した場合における構成例を示す。

【0050】

車両用衝突危険予測装置１０１−４は、ミリ波撮像部１０２−４、第１検出部１０３−４、可視光撮像部１０４−４、危険予測部１０５−４、画像合成部１０６−４、第２検出部１１０１−４を適宜用いて構成され、ミリ波撮像部１０２−４は、ミリ波センサ・信号処理部１０９−４を用いて構成される。

【0051】

第２検出部１１０１−４は、可視光撮像部１０４−４の出力画像から、人・動物などの生物や、自動車・バイク・自転車などの車両の物体形状を抽出し、また、その物体の移動速度や移動の傾向などを判断し、衝突危険物体であると判断した場合には、その衝突危険物体の画像上の大きさや位置情報を示す衝突危険物体情報を、危険予測部１０５−４に出力する。第２検出部１１０１−４による衝突危険物体の判定方法の一例については後述する。

【0052】

危険予測部１０５−４は、第１検出部１０３−４と第２検出部１１０１−４それぞれで独立に求めた衝突危険物体情報を入力とし、物体のマッチングを行った上で、衝突危険物体の「危険度」というパラメータを付加して合成画像部１０６−４に出力する。「危険度」の定義については、後述する。また、「危険度」に応じて、危険予測部１０５−４から警告音出力部１０８−４への音声信号の内容も変化させる。

【0053】

画像合成部１０６−４は、実施例１と同様に可視光撮像部１０４の出力画像に、衝突危険物体の画像の一部を重ね合わせた上に、さらに「危険度」の情報を提示できる合成画像を生成して画像表示部１０７−４に出力する。図１１のその他の構成要素に関しては、実施例１の図１と同様であるので、説明を割愛する。

【0054】

実施例４は、ミリ波撮像部１０２−４の出力画像を用いて衝突危険物体の検出を行う第１検出部１０３−４の検出結果と、可視光撮像部１０４−４の出力画像を用いて衝突危険物体の検出を行う第２検出部の検出結果の両方を用いるという点と、危険予測部１０５−４において「危険度」というパラメータを算出して、その結果によって画像や音声によってドライバーに警告する内容を変えるという点で、実施例１と異なる。

【0055】

実施例４では、２つの撮像部の検出結果の両方を用いて、衝突危険物体について「危険度」というパラメータを求めることができるようになり、「危険度Ａ」の衝突危険物体について、画像や音声によってドライバーに与える警告を強めることで、ドライバーにとって特に危険な物体がより認識されやすくなり、ドライバーが意識して衝突回避行動を取りやすくなり、事故を防止できるようになる。

【0056】

以下に、第２検出部１１０１−４における、衝突危険物体を判定する方法について説明する。
第２検出部１１０１−４は、可視光撮像部１０４−４の出力画像を入力画像として用いるという点で、ミリ波撮像部１０２−４の出力画像を入力画像として用いる第１検出部１０３−４と差異がある。
第２検出部１１０１−４において、入力画像から衝突危険物体を判定する方法については、第１検出部１０３−４の検出アルゴリズムや設定値と同じにしても良いし、変えても良い。

【0057】

以下は、例として、第２検出部１１０１−４でも、第１検出部１０３−４と同じ検出アルゴリズム及び設定値を使用する場合について説明する。
入力画像から衝突危険物体を判定する方法としては、まず、可視光撮像部１０４−４から出力された出力画像から、人・動物などの生物や、自動車・バイク・自転車などの車両の物体形状を抽出する。次に、時間的に連続して撮影された出力画像から、画像処理によって物体の予測移動方向・速度を計算し、物体の動き予測を行う。自車両の前方向の、ヨー角θ [°]以内（例：θ＝１０）、距離Ｌ [ｍ]（例：Ｌ＝１０）以内に、時間ｔ [ｓｅｃ] （例：ｔ＝２）以内に物体が通過する可能性があると判断された場合には、衝突危険物体として判定する。その場合には、その衝突危険物体の画像上の大きさや位置情報を示す、衝突危険物体情報を出力する。

【0058】

例えば図１２の場合には、撮像範囲２００に存在する物体（自転車２０４、歩行者２０５）の物体形状が抽出される。そして、それぞれの物体について、ｔ[ｓｅｃ]後の予測位置（図１２の４０１、４０２）及び、０〜ｔ [ｓｅｃ]の間の予測移動軌跡（図１２の白貫き矢印）が予測される。予測移動軌跡が、図１２の４０５で示される範囲を通過する物体は、衝突危険物体として判定される。例えば、図１２の場合には、自転車２０４、歩行者２０５が衝突危険物体として判定される。

【0059】

以下に、実施例４における危険予測部１０５−４の振る舞いについて説明する。
実施例４では、第１検出部１０３−４と、第２検出部１１０１−４の両方の検出結果を、危険予測部１０５−４の入力として用いている。危険予測部１０５−４では、これら検出結果間で、衝突危険物体が、同一物体であるか判定（マッチング）する。具体的なマッチングの方法としては、例えば、同じ座標に存在し、同じ方向に、同じ速度で移動していると検出された場合に、同一物体であると判断するなどの方法がある。

【0060】

表１は、危険予測部１０５−４の、「危険度」というパラメータの定義について説明する表である。

【0061】

【表1】

【0062】

表１のような、「危険度」の定義は、平たく説明するならば「見えない危険が、より危険である」という考え方に基づいている。つまり、（実際には、可視光撮像部１０４−４で撮像できる波長が人の可視域よりも広い場合も含まれるが、）可視光で検出できる物体は、ドライバーが視認できる場合があり、危険度としては標準的なものとして考えることができるのに対して、可視光で検出できない物体に関しては、ドライバーが知る術なく接近を許してしまう可能性があり、危険度がより高いと考えることができる。さらに、物体との距離や相対速度、場所に応じ、例えば、距離情報に基づいて自車両との距離がより近いものはより危険度が高いものといえる。本発明に係る装置・システムを使えば、この危険度について危険予測部１０５−４で判定し、危険度の高い物体について、強くドライバーに警告を与えることができるようになる。

【0063】

危険予測部１０５−４では、物体のマッチング結果に関して、ミリ波により物体を検知する第１検出部１０３−４と、可視光により物体を検知する第２検出部１１０１−４それぞれにおいて、物体を検出できたかという条件によって、表１のように物体の危険度を判定する。判定方法としては、まず、第１検出部１０３−４で検出できた物体は「危険度Ｂ」として定義する。さらに、第１検出部１０３−４で検出できなかった物体のうち、第２検出部１１０１−４で検出できた物体を「危険度Ａ」、検出できなかった物体を「危険度Ｂ」として定義する。「危険度Ａ」の物体は、「危険度Ｂ」の物体よりも、衝突の危険性が高いことを示している。

【0064】

画像合成部１０６−４では、実施例１の場合と同様に、可視光で撮像した出力画像の上に、ミリ波で撮像した出力画像を重畳し、マーカー等によって、衝突危険物体を強調されるように画像を合成する。さらに、画像合成部では、危険度Ａの物体が特に強調されて、ドライバーに警告が特に分かりやすくなるように画像を合成する（強調方法については、後述する）。

【0065】

また、「危険度Ａ」の衝突危険物体が、特に強く音声で警告されるように、危険度によって、危険予測部１０５−４で生成する音声信号の、警告音の音量や、警告音の音色や、警告音となる合成音声の警告文や、警告音となる合成音声の音程などを変更する。

【0066】

このように、危険度が高い物体ほど、ドライバーに強く警告することで、特に衝突事故に繋がりやすい物体をドライバーがより意識して回避することができるようになるので、衝突を防止できるようになる。

【0067】

以下に、画像の合成について、図を用いて具体的に説明する。
実施例１において説明したのと同様に、ミリ波撮像部１０２−４の出力画像の例を示す図は図３と同様であり、第１検出部１０３−４では、この出力画像に基づき、例えば４つの衝突危険物体（自転車２０４，歩行者２０５，歩行者３０１，自動車３０２）が検知される。

【0068】

一方、可視光撮像部１０４−４の出力画像の例を示す図は図２と同様であり、第２検出部１１０１−４では、この出力画像に基づき、例えば２つの衝突危険物体（自転車２０４，歩行者２０５）が検知される。

【0069】

このように、２つの検出部で検知された物体をマッチングすると、自転車２０４，歩行者２０５，歩行者３０１，自動車３０２の４つの衝突危険物体が検知されたことになる。さらに、表１１に基づいて危険度を判定すると、歩行者３０１，自動車３０２は「危険度Ａ」、自転車２０４，歩行者２０５は「危険度Ｂ」とそれぞれ判定される。

【0070】

図１３は、画像合成部１０６−４の出力画像の例を示す図である。図１３は、図５と同様に、衝突危険物体として判断された物体については、ミリ波撮像部１０２−４の出力画像から、物体の形状に沿って切り抜き処理され、可視光撮像部１０４−４の出力画像に重畳されている。

【0071】

図１３では、危険度に応じて、物体を強調する程度が異なるようになっている。例えば、図１３のように、「危険度Ｂ」の物体は、図５の場合と同様に、矩形の点線で囲まれたように描画されるが、「危険度Ａ」の物体は、図１３の３０１のように、太い線で囲まれて描画される。例えば、このようにマーカーの種類を変えることで、ドライバーにとって特に危険な物体がより認識されやすくなり、ドライバーが意識して衝突回避行動を取りやすくなり、事故を防止できるようになる。なお、危険度に応じた物体の強調については、これに限られず、危険度に応じて明度を上げる等、種々変更可能である。また、危険度Ａの場合のみ音声と映像とで警告し、Ｂ以下の場合には映像又は音声のみのようにしても構わない。

【0072】

以上のように、実施例４の手段を用いれば、２つの撮像部の検出結果の両方を用いて、衝突危険物体について「危険度」というパラメータを求めることができるようになり、「危険度Ａ」の衝突危険物体について、画像や音声によってドライバーに与える警告を強めることで、ドライバーにとって特に危険な物体がより認識されやすくなり、ドライバーが意識して衝突回避行動を取りやすくなり、事故を防止できるようになる。

【実施例5】

【0073】

以下、本発明における実施例５について詳細に説明する。
図１４は、本発明の実施例５における車両用衝突危険予測システム１００−５を示す構成図であって、本発明に係る車両用衝突危険予測装置１０１−５を、車両用衝突危険予測システム１００−５に適用した場合における構成例を示す。

【0074】

車両用衝突危険予測装置１０１−５は、ミリ波撮像部１０２−５、第１検出部１０３−５、可視光撮像部１０４−５、危険予測部１０５−５、画像合成部１０６−５、第２検出部１１０１−５を適宜用いて構成され、ミリ波撮像部１０２−５は、ミリ波センサ・信号処理部１０９−５、ミリ波光源６０１−５を用いて構成される。

【0075】

ミリ波光源６０１−５は、実施例２の図６と同様に、ミリ波撮像部１０２−５で撮像可能な電磁波（波長：数十μｍ〜１ｃｍ程度）を、撮影対象となる自車両の周辺に放射することができる光源（放射源）である。図１４のその他の構成要素に関しては、実施例４の図１１と同様であるので、説明を割愛する。

【0076】

実施例５では、実施例２と同様に、ミリ波光源６０１−５と、ミリ波撮像部１０２−５を組み合わせて、アクティブ型の撮像方法を採る。アクティブ型の撮像方法を採るので、金属で覆われた物体である、自動車や、バイクや、自転車といった車両を、パッシブ型の場合よりも鮮明に撮像することが可能となり、その結果、危険物体の検出精度や、ドライバーに提示する合成画像の鮮明さが向上する。

【0077】

さらに、実施例５では、実施例４と同様に、２つの撮像部の検出結果の両方を用いて、衝突危険物体について「危険度」というパラメータを求めることができるようになり、「危険度Ａ」の衝突危険物体について、画像や音声によってドライバーに与える警告を強めることで、ドライバーにとって特に危険な物体がより認識されやすくなり、ドライバーが意識して衝突回避行動を取りやすくなり、事故を防止できるようになる。

【0078】

実施例５では、実施例２と同様にアクティブ型の撮像方法を採る手法と、実施例４と同様に「危険度」パラメータを求めて、それに応じて合成画像や音声信号を変化させる手法の、両方を同時に使用できる構成となっているという点で、実施例２、４と異なる。実施例５において、アクティブ型の撮像方法を採る手法については、実施例２と同様なので割愛する。また、実施例５において、「危険度」パラメータを求めて、それに応じて合成画像や音声信号を変化させる手法については、実施例４と同様なので割愛する。

【0079】

以上のように、実施例５の手段を用いれば、実施例２と同様に、障害物の向こう側にある衝突危険物体について、高い精度で検出し、かつ鮮明な撮像画像を提示して、ドライバーに警告することができる。その結果、ドライバーは、より適切に衝突回避行動をとることができるので、衝突事故を未然に防ぐことができる。

【0080】

また同時に、実施例５の手段を用いれば、実施例４と同様に、２つの撮像部の検出結果の両方を用いて、衝突危険物体について「危険度」というパラメータを求めることができるようになり、「危険度Ａ」の衝突危険物体について、画像や音声によってドライバーに与える警告を強めることで、ドライバーにとって特に危険な物体がより認識されやすくなり、ドライバーが意識して衝突回避行動を取りやすくなり、事故を防止できるようになる。このように、実施例５においては、実施例２と実施例４の両方の効果を同時に得ることができる。

【実施例6】

【0081】

以下、本発明における実施例６について詳細に説明する。
図１５は、本発明の実施例６における車両用衝突危険予測システム１００−６を示す構成図であって、本発明に係る車両用衝突危険予測装置１０１−６を、車両用衝突危険予測システム１００−６に適用した場合における構成例を示す。

【0082】

車両用衝突危険予測装置１０１−６は、ミリ波撮像部１０２−６、第１検出部１０３−６、可視光撮像部１０４−６、危険予測部１０５−６、画像合成部１０６−６、第２検出部１１０１−６を適宜用いて構成され、ミリ波撮像部１０２−６は、ミリ波センサ・信号処理部１０９−６、ミリ波光源６０１−６を用いて構成される。

【0083】

ミリ波光源６０１−６は、実施例３の図９と同様に、ミリ波撮像部１０２−６で撮像可能な電磁波（波長：数十μｍ〜１ｃｍ程度）を、撮影対象となる自車両の周辺に放射することができる光源（放射源）である。

【0084】

危険予測部１０５−６は、実施例３の危険予測部１０５−３と同様に、ミリ波撮像部１０２−６の撮像パラメータを制御する制御信号を、ミリ波撮像部１０２に出力する。また、ミリ波光源６０１−６のＯＮ（点灯）／ＯＦＦ（消灯）を切り替える制御信号を、ミリ波光源６０１−６に出力する。

【0085】

さらに、危険予測部１０５−６は、実施例４の図１１と同様に、第１検出部１０３−６と第２検出部１１０１−６それぞれで独立に求めた衝突危険物体情報を入力とし、物体のマッチングを行った上で、衝突危険物体の「危険度」というパラメータを付加して合成画像部１０６−６に出力する。図１４のその他の構成要素に関しては、実施例４の図１４と同様であるので、説明を割愛する。

【0086】

実施例６では、実施例３と同様にアクティブ型とパッシブ型の撮像方法を時分割に切り替えて撮像する手法と、実施例４と同様に「危険度」パラメータを求めて、それに応じて合成画像や音声信号を変化させる手法の、両方を同時に使用できる構成となっているという点で、実施例３、４と異なる。実施例５において、アクティブ型とパッシブ型の撮像方法を時分割に切り替えて撮像する手法については、実施例３と同様なので割愛する。また、実施例５において、「危険度」パラメータを求めて、それに応じて合成画像や音声信号を変化させる手法については、実施例４と同様なので割愛する。

【0087】

以上のように、実施例６の手段を用いれば、実施例３と同様に、２つの撮像方法の検出結果の両方を用いることができるようになり、アクティブ型の撮像によって車両など金属でできた物体の検出精度を高める作用と、パッシブ型の撮像によって歩行者や動物などの検出を可能とする作用の両方を同時に実現することが可能となる。

【0088】

また同時に、実施例６の手段を用いれば、実施例４と同様に、２つの撮像部の検出結果の両方を用いて、衝突危険物体について「危険度」というパラメータを求めることができるようになり、「危険度Ａ」の衝突危険物体について、画像や音声によってドライバーに与える警告を強めることで、ドライバーにとって特に危険な物体がより認識されやすくなり、ドライバーが意識して衝突回避行動を取りやすくなり、事故を防止できるようになる。このように、実施例６においては、実施例３と実施例４の両方の効果を同時に得ることができる。

【実施例7】

【0089】

以下、本発明における実施例７について詳細に説明する。
図１６は、本発明の実施例７における車両用衝突危険回避システム１６００−７を示す構成図である。実施例７では、本発明の実施例１（図１の１０１）、実施例２（図６の１０１−２）、実施例３（図９の１０１−３）のいずれかに記載の車両用衝突危険予測装置を、車両用衝突危険回避システム１６００−７に適用した場合における構成例を示す。

【0090】

車両用衝突危険回避システム１６００−７は、車両に搭載されており、車両周辺（例えば、前方向）の衝突の危険を検知して、ドライバーに警告を与えると共に、衝突を回避するために、車両自らが衝突回避行動をとり、衝突を回避するシステムである。

【0091】

車両用衝突危険回避システム１６００−７は、車両用衝突危険予測装置１０１−７、画像表示部１０７−７、警告音出力部１０８−７、車両制御部１６０１−７を用いて構成され、車両用衝突危険予測装置１０１−７は、主に、実施例１（図１）、実施例２（図６）、実施例３（図９）のいずれかで示される車両用衝突危険予測装置の構成となり、さらに、車両用衝突危険予測装置１０１−７の内部の第１検出部（図１，図６，図９のいずれか）は、車両が自ら回避すべき物体を示す「衝突回避物体」を判定し、「衝突回避物体情報」を危険予測部に出力する。

【0092】

また、さらに、車両用衝突危険予測装置１０１−７の内部の危険予測部（図１の１０５，図６の１０５−２，図９の１０５−３のいずれか）は、車両がどのような衝突危険回避行動をとるべきかを示した「衝突回避情報」を、車両制御部１６０１−７に出力する。車両制御部１６０１−７は、危険予測部（図１の１０５，図６の１０５−２，図９の１０５−３のいずれかに記載のもの）から、衝突回避情報を受け取り、自車両のブレーキングやハンドリングをドライバーの操作に関わらず自動で制御する。画像表示部１０７−７、警告音出力部１０８−７に関しては、実施例１の図１の１０７，１０８と同様であるため、説明を割愛する。

【0093】

実施例７では、実施例１〜３のいずれかの手法により、ドライバーに衝突危険物体について警告を与え、衝突回避行動を促す。
一方で、実施例７では、ドライバーが衝突回避行動をとらない場合であっても、物体との衝突を防止するために自車両が自ら判断して衝突回避行動をとるという点で、実施例１〜３と異なる。

【0094】

自車両が自ら判断して衝突回避行動をとる際の具体的な方法としては、例えば以下のようになる。
まず、第１検出部（図１，図６，図９のいずれか）で、衝突を回避すべき物体（衝突回避物体）を検出する。このとき、衝突危険物体と衝突回避物体の判定方法については、アルゴリズムや設定値を同じにしても良いし、変えても良い。

【0095】

例えば、衝突回避物体の判定アルゴリズムとして、実施例１の図４で示した衝突危険物体の判定アルゴリズムと同様に、画像処理によって物体の予測移動方向・速度を計算し、物体の動き予測を行う手法を採用することができる。

【0096】

図１７は、第１検出部において衝突回避物体を判定する方法の例を示す図である。この手法では、自車両の前方向の、ヨー角θ_２ [°]以内（例：θ_２＝８）、距離Ｌ_２ [ｍ]（例：Ｌ_２＝５）以内に、時間ｔ_２ [ｓｅｃ] （例：ｔ_２＝１）以内に物体が通過する可能性があると判断された場合には、衝突回避物体として判定する。

【0097】

衝突回避物体と判定された物体については、危険予測部（図１，図６，図９のいずれか）で、衝突回避行動をとるための車両制御信号を、車両制御部１６０１−７に出力する。車両制御部では、自車両をブレーキングにより減速したり、衝突回避物体とは逆方向にハンドリングしたりするなどの衝突回避行動をとるように、自車両を制御する。また、車両が自動で衝突回避行動をとる際には、画像表示部で表示する画像に警告文を表示し、また警告音出力部から音声を発してドライバーに知らせる。

【0098】

この例のようにθ_２≦θ_、Ｌ_２≦Ｌ、ｔ_２≦ｔとした場合には、物体の接近に応じて段階的に安全策をとることができる。物体が近づいてきた場合には、まず衝突危険物体として判定され、ドライバーに警告を与えてドライバーの自主的な衝突回避行動を促す。その後さらに近づいてくる場合には、衝突回避物体として判定され、車両が自ら衝突回避行動をとる。

【0099】

以上のように、実施例７の手段を用いれば、実施例１〜３の場合と同様に、画像及び／又は音声により、障害物の向こう側にある衝突危険物体についてドライバーに警告することができ、適切に衝突回避行動をとることができるので、衝突事故を未然に防ぐことができる。また、実施例７の手段を用いれば、ドライバーが衝突回避行動を取らなかった場合であっても、自車両が自動で衝突回避行動をとるので、衝突事故を未然に防ぐことができる。

【0100】

本実施例の変形例として、図１６の構成から、画像表示部１０７−７を省略し、また可視光撮像部（図１の１０４，図６の１０４−２，図９の１０４−３のいずれか）、画像合成部（図１の１０６，図６の１０６−２，図９の１０６−３のいずれか）を省略した構成とすることができる。この構成の場合には、合成画像によるドライバーへの警告を省略した上で、衝突回避物体が判定された場合には、車両が自ら衝突回避行動をとることができる。また、本実施例の変形例として、図１６の構成から、警告音出力部１０８−７を省略した構成とすることができる。この構成の場合には、音声によるドライバーへの警告を省略した上で、衝突回避物体が判定された場合には、車両が自ら衝突回避行動をとることができる。

【実施例8】

【0101】

以下、本発明における実施例８について詳細に説明する。
図１８は、本発明の実施例８における車両用衝突危険回避システム１６００−８を示す構成図である。実施例８では、本発明の実施例４（図１１の１０１−４）、実施例５（図１４の１０１−５）、実施例６（図１５の１０１−６）のいずれかに記載の車両用衝突危険予測装置を、車両用衝突危険回避システム１６００−８に適用した場合における構成例を示す。

【0102】

車両用衝突危険回避システム１６００−８は、車両に搭載されており、車両周辺（例えば、前方向）の衝突の危険を検知して、ドライバーに警告を与えると共に、衝突を回避するために、車両自らが衝突回避行動をとり、衝突を回避するシステムである。

【0103】

車両用衝突危険回避システム１６００−８は、車両用衝突危険予測装置１０１−８、画像表示部１０７−８、警告音出力部１０８−８、車両制御部１６０１−８を用いて構成される。

【0104】

車両用衝突危険予測装置１０１−８は、主に、実施例４（図１１の１０１−４）、実施例５（図１４の１０１−４）、実施例６（図１５の１０１−４）のいずれかで示される車両用衝突危険予測装置の構成となる。

【0105】

さらに、車両用衝突危険予測装置１０１−８の内部の第１検出部（図１１の１０３−４，図１４の１０３−５，図１５の１０３−６のいずれか）は、実施例７と同様に、車両が自ら回避すべき物体を示す「衝突回避物体」を判定し、「衝突回避物体情報」を危険予測部（図１１の１０５−４，図１４の１０５−５，図１５の１０５−６のいずれか）に出力する。

【0106】

また、さらに、車両用衝突危険予測装置１０１−８の内部の第２検出部（図１１の１１０１−４，図１４の１１０１−５，図１５の１１０１−６のいずれか）は、実施例７の場合と同様に、車両が自ら回避すべき物体を示す「衝突回避物体」を判定し、「衝突回避物体情報」を危険予測部に出力する。

【0107】

また、さらに、車両用衝突危険予測装置１０１−８の内部の危険予測部（図１１，図１４，図１５のいずれか）は、車両がどのような衝突危険回避行動をとるべきかを示した「衝突回避情報」を、車両制御部１６０１−８に出力する。

【0108】

車両制御部１６０１−８は、危険予測部（図１１の１０５−４，図１４の１０５−５，図１５の１０５−６のいずれか）から、衝突回避情報を受け取り、自車両のブレーキングやハンドリングを制御する。画像表示部１０７−８、警告音出力部１０８−８に関しては、実施例４の図１１の１０７−４，１０８−４と同様であるため、説明を割愛する。

【0109】

実施例８では、実施例４〜６のいずれかの手法により、ドライバーに衝突危険物体について警告を与え、衝突回避行動を促す。
一方で、実施例８では、ドライバーが衝突回避行動をとらない場合であっても、物体との衝突を防止するために自車両が自ら判断して衝突回避行動をとるという点で、実施例４〜６と異なる。

【0110】

また、実施例８では、第２検出部（図１１の１１０１−４，図１４の１１０１−５，図１５の１１０１−６のいずれか）を備え、さらに、危険予測部は第１検出部と第２検出部の両方の検出結果を用いて衝突回避物体を判定するという点で、実施例７と異なる。

【0111】

自車両が自ら判断して衝突回避行動をとる際の具体的な方法としては、例えば以下のようになる。
まず、第１検出部及び、第２検出部で、衝突を回避すべき物体（衝突回避物体）を検出する。このとき、衝突危険物体と衝突回避物体の判定方法については、アルゴリズムや設定値を同じにしても良いし、変えても良い。第１検出部における、衝突回避物体の検出方法については、実施例７の図１７において説明したので、割愛する。

【0112】

第２検出部において入力画像から衝突危険物体を判定する方法については、第１検出部及び、第２検出部の検出アルゴリズムや設定値と同じにしても良いし、変えても良い。

【0113】

以下は、例として、第２検出部でも、第１検出部と同じ検出アルゴリズム及び設定値を使用する場合について説明する。
図１９は、第２検出部において衝突回避物体を判定する方法の例を示す図である。例えば図１９の場合には、撮像範囲２００に存在する物体（自転車２０４、歩行者２０５）の物体形状が抽出される。そして、それぞれの物体について、ｔ_２[ｓｅｃ]後の予測位置（図１９の１７０１，１７０２）及び、０〜ｔ_２ [ｓｅｃ]の間の予測移動軌跡（図１９の白貫き矢印）が予測される。予測移動軌跡が、図１９の１７０５で示される範囲を通過する物体は、衝突回避物体として判定される。例えば、図１９の場合には、自転車２０４、歩行者２０５が衝突危険物体として判定される。

【0114】

実施例８では、第１検出部と、第２検出部の両方の検出結果を、危険予測部の入力として用いている。

【0115】

危険予測部では、これら検出結果間で、衝突回避物体が、同一物体であるか判定（マッチング）する。具体的なマッチングの方法としては、例えば、同じ座標に存在し、同じ方向に、同じ速度で移動していると検出された場合に、同一物体であると判断するなどの方法がある。前述の表１は、危険予測部の、「危険度」というパラメータの定義について説明する表であって、危険予測部では、衝突回避物体のマッチング結果に関して、ミリ波により物体を検知する第１検出部と、可視光により物体を検知する第２検出部それぞれにおいて、衝突回避物体として検出できたかという条件によって、表１のように物体の危険度を判定する。

【0116】

実施例８では、衝突回避物体のうち、危険度ＡもしくはＢとして判定された物体について衝突回避行動を取る。ミリ波と可視光の少なくともどちらか片方で検知された物体について衝突を回避することができるので、物体の検知率を上げることができる。

【0117】

以上のように、実施例８の手段を用いれば、実施例４〜６と同様に、可視光とミリ波の両方の検出結果から危険度を算出し、危険度に応じて警告の度合いを制御することで、ドライバーに見えない危険な物体ほど、ドライバーが認識しやすくすることができ、事故を防止できる。

【0118】

また、実施例８の手段を用いれば、ドライバーが衝突回避行動を取らなかった場合であっても、ミリ波と可視光の少なくともどちらか片方で検知された物体について衝突を回避することができるので、高い検知率に基づいて、自車両が自動で衝突回避行動をとることができ、衝突事故を未然に防ぐことができる。

【0119】

本実施例の変形例として、図１６の構成から、画像表示部を省略した構成とすることができる。この構成の場合には、合成画像によるドライバーへの警告を省略した上で、衝突回避物体が判定された場合には、車両が自ら衝突回避行動をとることができる。また、本実施例の変形例として、図１６の構成から、警告音出力部を省略した構成とすることができる。この構成の場合には、音声によるドライバーへの警告を省略した上で、衝突回避物体が判定された場合には、車両が自ら衝突回避行動をとることができる。

【実施例9】

【0120】

以下、本発明における実施例９について詳細に説明する。
図３０は、ミリ波撮像部１０２の詳細な構成例を示す図であって、本発明の車両用衝突危険予測システムとして、例えば、実施例２（図６）、または実施例３（図９）、または実施例５（図１４）、または実施例６（図１５）の構成をとることができる。

【0121】

ミリ波撮像部１０２は、ミリ波センサ・信号処理部１０９、ミリ波光源６０１を適宜用いて構成される。ミリ波光源６０１は、送信回路３００１、送信アンテナ３００２を適宜用いて構成される。ミリ波センサ・信号処理部１０９は、レンズ・フィルタ３０００、受信アンテナアレイ３００３、受信回路３００４、信号処理部３００５を適宜用いて構成される。

【0122】

送信回路３００１は、信号処理部３００５から指定されるタイミングでアナログの送信信号を作り出し、送信アンテナ３００２に出力する回路である。送信アンテナ３００２は、ミリ波帯からサブミリ波帯（波長：数十μｍ程度から１ｃｍ程度まで）と呼ばれる波長の信号を含む電磁波を撮影対象となる自車両の周辺に放射することができるアンテナである。

【0123】

レンズ・フィルタ３０００は、上記波長の電磁波が、精度よく受信されるように、画素毎もしくは面で集光及びフィルタリングする。波長の受信アンテナアレイ３００３は、上記波長の信号を含む電磁波を受信するアンテナが複数、２次元に配置されたもので、アナログの受信信号を、受信回路３００４に出力する。受信回路３００４は、アナログの受信信号をデジタルの受信信号にＡ／Ｄ変換し、信号処理部３００５に出力する。信号処理部３００５は、送信信号で出力するタイミングを制御するデジタル信号を送信回路３００１に出力する。また、信号処理部３００５は、送信信号を送信するタイミングと、受信回路から出力される受信信号を受信するタイミングを比較し、所定の物体の距離情報と、所定の物体の相対速度情報を算出し、第１検出部１０３に出力する。

【0124】

図２０は、受信アンテナアレイ３００３の構成例である。受信アンテナアレイ３００３は、行回路２００１と、２次元に配置された受信アンテナ（２００２から２０１７まで）と、行方向に１次元に配置されたアンプ（２０１８から２０２１まで）と、列回路２０２２を適宜用いて構成される。

【0125】

受信アンテナ（２００２から２０１７まで）は、それぞれ個別の位置に配置されており、また、同一もしくは個別の指向性を有して信号を空間中から受信することが可能である。行回路２００１および列回路２０２２は、受信アンテナ（２００２から２０１７まで）のうち、１つもしくは複数の受信アンテナを選択して、信号を出力させる。アンプ（２０１８から２０２１まで）は、受信アンテナから出力された信号を増幅して、列回路２０２２に出力する。

【0126】

図２１は、ミリ波撮像部から距離情報、及び相対速度情報を出力する画素の位置２１０１の例を示す図である。本図中で２次元に並ぶ四角形は、図３０のミリ波撮像部１０２から出力される画素の位置を示している。受信アンテナの個数は、行・列方向それぞれ任意でよく、受信アンテナの個数が多い場合は、高画素で出力信号を得ることができる。本図では、一例としてｍ＝８、ｎ＝８、つまり行８×列８の６４対の受信アンテナを用いて、受信アンテナアレイ３００３を構成した場合を示す。この場合、信号処理部からは、行８×列８それぞれの画素に対して、所定の物体の位置情報（奥行き）と、所定の物体の相対速度が計算され、出力される。本図では、すべての画素位置に対して、位置情報・相対速度情報を出力する場合を示している。

【0127】

図２２は、受信アンテナアレイ３００３の動作タイミングの例を示す図である。行回路２００１に入力される行選択信号（２２０１から２００５まで）と、列回路２０２２に入力される列選択信号（２２０６から２２１３）によって、受信アレイが、１つずつラスタスキャン順に選択される。本図では、行・列両方の選択信号が“Ｈ”レベル（上がっている状態）のときに、該当する行・列の受信アレイが選択されていることを示しており、また、行・列どちらか片方の選択信号が“Ｌ”（下がっている状態）のときに、該当する行・列の受信アレイが選択されていないことを示している。

【0128】

本図の場合は、（行０，列０）、（行０，列１）、（行０，列２）、…、（行０，列７）、（行１，列０）、（行１，列１）、…、（行７，列７）という順で、すべての受信アンテナがラスタスキャン順で周期的に選択される。このとき、受信アンテナが選択される周期、すなわちフレーム周期をＴａとする。選択された受信アンテナからのみ、受信回路３００４に、受信アレイ信号の出力信号（受信信号）２２１４が出力される。受信信号２２１４は、各受信アンテナで受信した信号がスキャンライン順に出力される。

【0129】

図２３は、ミリ波撮像部の動作タイミングの例を示す図である。送信回路３００１は、信号処理部３００５で指定したタイミングで出力信号（送信信号）２３０２を出力する。送信信号２３０２は、ミリ波帯からサブミリ波帯と呼ばれる波長の電磁波として自車両の周辺に放射される。例えば、送信信号２３０２を時刻Ｔ０付近で立ち上がる幅Ｔｐのパルス波とする。このとき、そのパルス波が電磁波として出力される。受信アンテナアレイは、図２２の場合と同様に、フレーム周期Ｔａで、全画素の受信信号を順に出力している。本図では、このときのフレーム期間２３０３をＦｒａｍｅ０，Ｆｒａｍｅ１，Ｆｒａｍｅ２，Ｆｒａｍｅ３として示している。

【0130】

放射された電磁波は、電磁波の進行方向に存在する物体に反射して、受信アンテナアレイ３００３で受信されて出力される（受信信号２３０４）。このとき、送信アンテナから放射された電磁波が所定の物体で反射して戻るまでには、物体と自車両の距離・相対速度に応じて遅延時間τが発生する。もし遅延時間が無い場合（τ＝Ｔ０）（つまり距離ゼロ）で反射した場合には、受信信号２３０４は、全てＦｒａｍｅ０のフレーム期間で出力される。しかし、上述した遅延時間が発生するために、距離に応じて受信信号が出力されるタイミングが変化する。例えば、Ｔ０≦τ＜（Ｔ０＋Ｔａ）の場合にはＦｒａｍｅ０、（Ｔ０＋Ｔａ）≦τ＜（Ｔ０＋２Ｔａ）の場合はＦｒａｍｅ１、（Ｔ０＋２Ｔａ）≦τ＜（Ｔ０＋３Ｔａ）の場合はＦｒａｍｅ２、（Ｔ０＋３Ｔａ）≦τ＜（Ｔ０＋４Ｔａ）の場合はＦｒａｍｅ３の期間で、それぞれ受信信号が出力される。また、各フレーム期間内では、受信信号がスキャンライン順で出力されている。
信号処理部３００５では、このようにして受信された受信信号２３０４と、送信信号２３０２を比較して、画素毎の遅延量を求める。すなわち、２次元の画素毎に、距離情報を算出することができる。
このようにして、選択された受信アンテナの信号について、距離情報と相対速度情報を、図１９のように２次元で得ることができる。つまり、本実施例の手法によって、所定の物体の３次元（２次元＋奥行き）の位置情報を得ることができる。

【0131】

また、送信信号２３０２を、パルスではなく低数周波から高周波までの複数の周波数を含んだ信号（ビート信号）とした場合には、レーダーの原理によって、距離のほかに、所定の物体の相対速度を、各画素ごとに２次元で計算することができる。本実施例の手法によって、同時に、自車両からの相対速度情報を、２次元で得ることができる。

【0132】

図４・図１２に示される衝突危険物体判定においては、物体の位置・相対速度を求める方法として、実施例１から５までに示したように画像処理によって計算する方法以外に、本実施例の手法によって、ミリ波撮像部１０２において直接測定する方法を使用できる。本実施例の手法を用いた場合には、直接測定が可能となるため、距離と相対速度をより正確に求めることができる。
以上のように、実施例９の手段を用いれば、所定の物体の距離と相対速度をより正確に求めることができるので、危険予測部１０５による危険予測の精度が高まり、衝突事故を未然に防ぐことができるようになる。

【実施例10】

【0133】

以下、本発明における実施例１０について詳細に説明する。
実施例１０では、本発明の車両用衝突危険予測システム１００として、例えば、実施例２（図６）、または実施例３（図９）、または実施例５（図１４）、または実施例６（図１５）の構成をとる。また、実施例１０では、ミリ波撮像部１０２として、実施例９で示した図３０の構成をとる。

【0134】

図２４は、本実施例によるミリ波撮像部から距離情報、及び相対速度情報を出力する画素の位置の例を示す図である。本実施例では、図２０の受信アンテナ（２００２から２０１７まで）が、ｍ＝１６、ｎ＝１６、すなわち行１６×列１６画素並んでいる場合を想定しており、図２４においても、画素が行１６×列１６画素が並んでいる。本実施例においては、実施例９の場合と異なり、画素が複数の領域に分割されておりそれぞれの領域ごとに画素がラスタスキャン順に読み出される。例えば図２４では、画素全体が４つの領域に分割されている。本図の場合は、（行：０から７まで，列：０から７まで）の範囲で１つの領域２４０１、（行：０から７まで，列：８から１５まで）の範囲で１つの領域２４０２、（行：８から１５まで，列：０から７まで）の範囲で１つの領域２４０３、（行：８から１５まで，列：８から１５まで）の範囲で１つの領域２４０４となっている。これら４つの領域がそれぞれ、図２２と同様のタイミングで読み出されるようになっている。例えば図２４の場合には、時刻Ｔ１からＴ２においては（行：０，列：０）、（行：０，列：８）、（行：８，列：０）、（行：８，列：８）の４つの受信アンテナが同時に選択され、同座標の４つの画素が同時に読み出される。また、時刻Ｔ２からＴ１においては（行：０，列：１）、（行：０，列：９）、（行：８，列：１）、（行：８，列：９）の４つの受信アンテナが同時に選択され、同座標の４つの画素が同時に読み出される。このようにして、フレーム周期Ｔａの間に、６４×４＝２５６画素が全て読み出される。

【0135】

高画素を並列に読み出す手法を実現するために、本実施例では、図２０の行回路２００１及び列回路２０２２では、複数の行・列を同時に選択することが可能となっており、さらに、（アンプ２０１８から２０２１まで）と列回路２０２２では、複数の受信アンテナで受信した信号を、並列で読み出すことができるようになっている。例えば図２３のように４並列で読み出す場合には、行回路２００１及び列回路２０２２によって４画素が同時に選択され、さらに、４画素が同時に受信回路３００４に出力される。なお、ここでは４つの領域に分割した例を示したが、分割数・分割領域の設定はこれに限られず、種々変更可能である。
高画素を並列に処理するために、図３０の受信回路３００４及び信号処理部３００５は、複数の画素を同時に処理可能になっている。
本実施例で示したとおり、並列して複数の画素を同時に読み出すことで、高画素の場合にも高速に処理することが可能になり、フレームレートを落とさずに、出力の高精細化をすることができる。
以上のように、実施例９の手段を用いれば、フレームレートを落とさずに、出力の高精細化をすることができるので、危険予測部１０５による危険予測の精度の向上や、ドライバーが画像表示部１０７を確認する際の画質の向上に貢献することができるので、衝突事故を未然に防ぐことができるようになる。

【実施例11】

【0136】

以下、本発明における実施例１１について詳細に説明する。
実施例１１では、本発明の車両用衝突危険予測システム１００として、例えば、実施例２（図６）、または実施例３（図９）、または実施例５（図１４）、または実施例６（図１５）の構成をとる。また、実施例１１では、ミリ波撮像部１０２として、実施例９で示した図３０の構成をとる。

【0137】

まず、全ての画素を読み出す場合よりも高フレームレート（短いフレーム周期）で画素を読み出すことができる、「高速読み出しモード」という手法について、図２５，図２６を用いて説明する。
図２５は、ミリ波撮像部から距離情報、及び相対速度情報を出力する画素の位置の例を示す図である。本図では、一例として、実施例９の図２１の場合と同様に、ｍ＝８、ｎ＝８、つまり行８×列８の６４対の受信アンテナを用いて、受信アンテナアレイ３００３を構成した場合を示す。ただし、本実施例においては、図２５の点線で囲んだ任意の領域（注視領域）２５０１内の２×４画素のみを、ラスタスキャン順に出力することとする。

【0138】

図２６は、図２５に示される２×４画素の領域２５０１のみを出力する場合の、行回路・列回路の動作タイミングを示す図である。行回路２００１に入力される８本の行選択信号のうち、行：１から２までの２本のみが周期的に選択され、また、列回路２０２２に入力される８本の列選択信号のうち、列：２から５までの４本のみが周期的に選択されている。それ以外の行選択信号・列選択信号は全て“Ｌ”（非選択）となっている。

【0139】

このように、時刻Ｔ１からＴ９までで、２×４画素すべての出力が１通り完了している。図２６の場合には、この２×４以外の画素を省略することで、フレーム周期がＴｂ ２６０９で済むようになっている。つまり、本実施例の手法によって、特定の画素領域のみを読み出すことによって、実施例９の図２２のように全ての画素を読み出す場合よりも高フレームレート（短いフレーム周期）で画素を読み出すことができる（高速読み出しモード）
以上のように、本実施例における、高速読み出しモードを用いれば、画像の特定の領域を高いフレームレートで読み出すことができるので、第１検出部１０３において物体の認識精度が向上し、危険予測部１０５による危険予測の精度の向上や、ドライバーが画像表示部１０７を確認する際の画質・応答速度の向上に貢献することができるので、衝突事故を未然に防ぐことができるようになる。なお、注視領域は１領域に限らず、複数領域を任意に設定しても構わない。

【0140】

次に、距離情報と速度情報を算出する領域を段階的に絞り込むことで、全ての画素に対して位置・相対速度の両方を測定するよりも、高速に衝突危険物体を検知することができるようになる、「段階的距離・相対速度計算」という手法について、図２７，図２８を用いて説明する。

【0141】

図２７は、ミリ波撮像部から距離情報、及び相対速度情報を出力する画素の位置の例を示す図である。本図においては、距離情報は、全領域２７０１に対して算出される。一方、相対速度情報に関しては、危険物体が存在する可能性のある領域を、距離情報を用いて絞り込んだ領域（注視領域）２７０２に対してのみ算出される。以下、この手法を段階的距離・相対速度計算と呼ぶ。

【0142】

図２８は、段階的距離・相対速度計算の手順を示すフロー図である。フロー図に示される通り、まず、Ｓｔｅｐ１でミリ波光源からパルス信号を送信し（Ｓ２８０１），Ｓｔｅｐ２でこれをミリ波センサ・信号処理部で受信・処理して、全画素に対して距離情報を算出する（Ｓ２８０２）。次に、Ｓｔｅｐ３で、その距離情報をもとに、危険予測部１０５で、一定以上距離が近い領域（注視領域）を判定する（Ｓ２８０３）。さらに、Ｓｔｅｐ４でミリ波光源からビート信号を送信し（Ｓ２８０４），Ｓｔｅｐ５で注視領域に対してのみ、実施例１１に示される高速読み出しモードで、相対速度を算出する（Ｓ２８０５）。

【0143】

Ｓｔｅｐ１，２に使用されるパルス信号による測距に比べて、Ｓｔｅｐ３，４に使用されるビート信号の送出は、複数の周波数を送信して、複数の周波数を受信する必要があるため、測定に時間がかかる。本実施例の段階的距離・相対速度計算では、Ｓｔｅｐ１，２では画像全体に対して距離を測定した上で、Ｓｔｅｐ３で衝突する危険がある物体が潜んでいる可能性の高い画素領域に“あたり”を付け、その画素領域に対してのみ、Ｓｔｅｐ４，５で相対速度の測定を行っている。こうすることによって、全ての画素に対して位置・相対速度の両方を測定するよりも、高速に衝突危険物体を検知することができるようになる。

【0144】

以上のように、本実施例における、段階的距離・相対速度計算を用いれば、全ての画素に対して位置・相対速度の両方を測定するよりも、高速に衝突危険物体を検知することができるようになり、第１検出部１０３において物体の認識精度が向上し、危険予測部１０５による危険予測の精度の向上や、ドライバーが画像表示部１０７を確認する際の画質・応答速度の向上に貢献することができるので、衝突事故を未然に防ぐことができるようになる。

【実施例12】

【0145】

以下、本発明における実施例１２について詳細に説明する。
図２９は、本発明の実施例１２における車両用衝突危険回避システム２９００を示す構成図である。なお、図２９の車両用衝突危険回避システム２９００は、実施例７・実施例８の図１６の衝突危険予測システム１６００と同様である。

【0146】

車両用衝突回避システム２９００は、車両用衝突危険予測装置１０１、画像表示部１０７、警告音出力部１０８、車両制御装置２９０１を適宜用いて構成される。車両制御装置２９０１は、実施例９・実施例１１の図１６の車両制御装置１６０１と同一のものである。車両制御装置２９０１は、車速制御部２９０２、トランスミッション部２９０３、操舵制御部２９０４、身体接触通知部２９０５を適宜用いて構成される。

【0147】

車両用衝突危険装置は、実施例９，１０の図１６の車両用衝突危険装置１０１と同様である。すなわち、車両用衝突危険装置は衝突の危険がある物体を検知し、さらに危険予測装置１０１は、危険予測部で得られた、車両がどのような衝突危険回避行動をとるべきかを示した「衝突回避情報」を、車両制御装置３００１に出力する。画像表示部１０７は、実施例９，１０の図１６の車両用衝突危険装置１０７と同一であり、衝突危険物体を画面に表示し、ドライバーに通知する。警告音出力部１０８は、実施例９，１０の図１６の警告音出力部１０７と同様であり、危険予測装置１０１で検知した衝突の危険がある物体について、アラーム音や合成音声などの警告音を出力し、ドライバーに通知する。

【0148】

車速制御部２９０２は、車両用衝突危険予測装置１０１から出力された「衝突回避情報」に基づいて、自動でブレーキングによって自車両を減速し、衝突の危険を回避する。このとき、車両用衝突危険予測装置１０１から車速制御部２９０２に出力される「衝突回避情報」には、例えば、ブレーキングの強さとタイミングを示す情報が含まれる。
トランスミッション制御部２９０３は、車両用衝突危険予測装置１０１から出力された「衝突回避情報」に基づいて、ギアの段数を下げ、エンジンブレーキによって減速し、衝突の危険を回避する。このとき、車両用衝突危険予測装置１０１からトランスミッション部２９０３に出力される「衝突回避情報」には、ギアの段数を切り替えるタイミングを示す情報が含まれる。
操舵制御部２９０４は、車両用衝突危険予測装置１０１から出力された「衝突回避情報」に基づいて、衝突危険物体と逆の方向にハンドルを切るなどして、衝突を回避する。
身体接触通知部２９０５は、ドライバーの身体に接触した部位を制御する装置で、車両用衝突危険予測装置１０１から出力された「衝突回避情報」に基づいて、シートベルトの締め具合を変化させたり、座席を振動させたりするなどの方法によって、ドライバーに危険を通知する。このとき、車両用衝突危険予測装置１０１から身体接触通知部２９０５に出力される「衝突回避情報」には、シートベルトの締め具合を変化させる程度、座席を振動させる程度と、シートベルトの締め具合や座席の振動を変化させるタイミングを示す情報が含まれる。

【0149】

衝突回避行動では、車両制御装置内の一部の要素だけを制御しても良いし、全てを同時に制御しても良い。例えば、車速制御部２９０２のみを使用する場合、車速制御部２９０２・トランスミッション制御部２９０３の２要素を併用する場合、車速制御部２９０２・トランスミッション制御部２９０３・操舵制御部２９０４の３要素を併用する場合、車速制御部２９０２・トランスミッション制御部２９０３・操舵制御部２９０４・身体接触制御部２９０５の４要素全てを併用する場合などがある。また、衝突回避行動は、衝突危険物体の画面表示や、アラーム音や合成音声などの警告音の出力によるドライバーへの通知後、所定時間経過しても衝突回避の行動がなされなかった場合に実施してもよく、また、危険度に応じて衝突回避行動開始のタイミングを変えても構わない。例えば、得られた距離情報に基づいて、衝突危険物体との距離が近く、危険度が高いと判断される場合には、ドライバーへの警告通知後、回避動作開始までの所定時間を短くしたり、通知と同時に回避動作を開始しても構わない。なお、衝突危険回避の行動がなされたか否かは、例えば車速監視部、トランスミッション監視部、操舵監視部などにより監視し、車速の減速等必要な行動が検知されたか否かをみればよい。

【0150】

図２９の車両制御装置２９０１内の４要素（車速制御部２９０２・トランスミッション制御部２９０３・操舵制御部２９０４・身体接触制御部２９０５）のうち、使用する要素が少ない場合には、ドライバー自身が回避行動を取る補助として、本車両用衝突回避システム２９００を使用することができる。この場合には、車両制御装置２９０１の制御方法のチューニングは簡易で済むので、制御方法設計時の負担は少なくなる。逆に、使用する要素が多い場合には、ドライバーの運転技術の良し悪しにかかわらず、衝突回避行動を取ることができる。
以上のように、実施例１２の手段を用いれば、実施例７，８の場合と同様に、画像と音声により、障害物の向こう側にある衝突危険物体についてドライバーに警告することができ、適切に衝突回避行動をとることができるので、衝突事故を未然に防ぐことができる。また、実施例１２の手段を用いれば、ドライバーが衝突回避行動を取らなかった場合であっても、自車両が自動で衝突回避行動をとるので、衝突事故を未然に防ぐことができる。本実施例１２の手段は、他の実施例で示した構成と適宜組み合わせて適用可能である。

【0151】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0152】

１００ 車両用衝突危険予測システム
１０１ 車両用衝突危険予測装置
１０２ ミリ波撮像部
１０３ 第１検出部
１０４ 可視光撮像部
１０５ 危険予測部
１０６ 画像合成部
１０７ 画像表示部
１０８ 警告音出力部
１０９ ミリ波センサ・信号処理部
２００ 撮像範囲
２０１ 障害物（看板広告）
２０２ 障害物（街路樹）
２０３ 障害物（のぼり旗）
２０４ 自車両から可視光で視認可能な位置にある衝突危険物体（自転車）
２０５ 自車両から可視光で視認可能な位置にある衝突危険物体（歩行者）
２０６ 車道
３０１ 自車両から可視光で視認不可能な位置にある衝突危険物体（歩行者）
３０２ 自車両から可視光で視認不可能な位置にある衝突危険物体（自動車）
４００ 自車両
４０１ 物体２０４のt [sec]後の予測位置
４０２ 物体２０５のt [sec]後の予測位置
４０３ 物体３０１のt [sec]後の予測位置
４０４ 物体３０２のt [sec]後の予測位置
４０５ ｔ [sec]以内に物体が通過すると、衝突危険物体と判定される範囲
６０１ ミリ波光源
１００１ ミリ波光源のＯＮ／ＯＦＦ
１００２ ミリ波センサ・信号処理部の出力画像
１００３ 第１検出部及び、画像合成部の入力として使用する画像
１１０１ 第２検出部
１３０１ 危険度表示（危険度Ａ）
１３０２ 危険度表示（危険度Ｂ）
１３０３ 危険度表示（危険度Ａ）
１３０４ 危険度表示（危険度Ｂ）
１６００ 車両用衝突危険回避システム
１６０１ 車両制御装置
１７０１ 物体２０４のt_２ [sec]後の予測位置
１７０２ 物体２０５のt_２ [sec]後の予測位置
１７０３ 物体３０１のt_２ [sec]後の予測位置
１７０４ 物体３０２のt_２ [sec]後の予測位置
１７０５ ｔ_２ [sec]以内に物体が通過すると、衝突回避物体と判定される範囲
２００１ 行回路
２００２ 受信アンテナ（行： ０，列： ０）
２００３ 受信アンテナ（行： ０，列： １）
２００４ 受信アンテナ（行： ０，列： ２）
２００５ 受信アンテナ（行： ０，列：ｎ−１）
２００６ 受信アンテナ（行： １，列： ０）
２００７ 受信アンテナ（行： １，列： １）
２００８ 受信アンテナ（行： １，列： ２）
２００９ 受信アンテナ（行： １，列：ｎ−１）
２０１０ 受信アンテナ（行： ２，列： ０）
２０１１ 受信アンテナ（行： ２，列： １）
２０１２ 受信アンテナ（行： ２，列： ２）
２０１３ 受信アンテナ（行： ２，列：ｎ−１）
２０１４ 受信アンテナ（行：ｍ−１，列： ０）
２０１５ 受信アンテナ（行：ｍ−１，列： １）
２０１６ 受信アンテナ（行：ｍ−１，列： ２）
２０１７ 受信アンテナ（行：ｍ−１，列：ｎ−１）
２０１８ アンプ（列： ０）
２０１９ アンプ（列： １）
２０２０ アンプ（列： ２）
２０２１ アンプ（列：ｎ−１）
２０２２ 列回路
２１０１ 距離情報、及び相対速度情報を出力する画素の位置（全領域）
２２０１ 時刻
２２０２ 行選択信号（行：０）
２２０３ 行選択信号（行：１）
２２０４ 行選択信号（行：２）
２２０５ 行選択信号（行：７）
２２０６ 列選択信号（列：０）
２２０７ 列選択信号（列：１）
２２０８ 列選択信号（列：２）
２２０９ 列選択信号（列：３）
２２１０ 列選択信号（列：４）
２２１１ 列選択信号（列：５）
２２１２ 列選択信号（列：６）
２２１３ 列選択信号（列：７）
２２１４ 受信アンテナアレイの出力信号
２２１５ フレーム周期Ｔａ
２３０１ 時刻
２３０２ 送信アンテナ出力
２３０３ フレーム期間
２３０４ 受信アンテナアレイ出力信号
２４０１ 距離情報、及び相対速度情報を出力する画素の位置（並列１）
２４０２ 距離情報、及び相対速度情報を出力する画素の位置（並列２）
２４０３ 距離情報、及び相対速度情報を出力する画素の位置（並列３）
２４０４ 距離情報、及び相対速度情報を出力する画素の位置（並列４）
２５０１ 距離情報、及び相対速度情報を出力する画素の位置（注視領域）
２６０１ 時刻
２６０２ 行選択信号（行：１）
２６０３ 行選択信号（行：２）
２６０４ 列選択信号（列：２）
２６０５ 列選択信号（列：３）
２６０６ 列選択信号（列：４）
２６０７ 列選択信号（列：５）
２６０８ 受信アンテナアレイの出力信号
２６０９ フレーム周期Ｔｂ
２７０１ 距離情報を出力する画素の位置（全領域）
２７０２ 相対速度情報を出力する画素の位置（注視領域）
２８０１ フローＳｔｅｐ１
２８０２ フローＳｔｅｐ２
２８０３ フローＳｔｅｐ３
２８０４ フローＳｔｅｐ４
２８０５ フローＳｔｅｐ５
２９００ 車両用衝突回避システム
２９０１ 車両制御装置
２９０２ 車速制御部
２９０３ トランスミッション部
２９０４ 操舵制御部
２９０５ 身体接触通知部
３０００ レンズ・フィルタ
３００１ 送信回路
３００２ 送信アンテナ
３００３ 受信アンテナアレイ
３００４ 受信回路
３００５ 信号処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】