特許 7524173 運転支援システム、運転支援方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-19

(45)【発行日】2024-07-29

(54)【発明の名称】運転支援システム、運転支援方法及びプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240722BHJP

【ＦＩ】

G08G1/16 C

【請求項の数】 7

(21)【出願番号】P 2021522309

(86)(22)【出願日】2020-05-22

(86)【国際出願番号】 JP2020020278

(87)【国際公開番号】W WO2020241485

(87)【国際公開日】2020-12-03

【審査請求日】2023-02-14

(31)【優先権主張番号】P 2019102550

(32)【優先日】2019-05-31

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000148689

【氏名又は名称】株式会社村上開明堂

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100154759

【弁理士】

【氏名又は名称】高木 貴子

(72)【発明者】

【氏名】速水 淳

(72)【発明者】

【氏名】牧田 政雄

(72)【発明者】

【氏名】望月 隆義

【審査官】篠原 将之

(56)【参考文献】

【文献】特開２０１８－１８１１６８（ＪＰ，Ａ）

【文献】特開２００９－０７５９８８（ＪＰ，Ａ）

【文献】特開２０１７－２０３６３８（ＪＰ，Ａ）

【文献】特開２０１７－０１６２００（ＪＰ，Ａ）

【文献】特開２００３－０２５９３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

車両のドライバより後方側の複数の撮影画像から障害物を検出する第１検出部と、
前記後方側に送信された測定波の反射波を解析して障害物を検出する第２検出部と、
前記撮影画像から前記車両周辺の車線を検出する第３検出部と、
前記第１検出部及び前記第２検出部の各検出結果に基づいて、前記車両に対して前記障害物が位置する方向を判定し、前記方向を示す警告情報を出力し、前記障害物の各検出結果と前記車線の検出結果とに基づいて危険度を判定し、前記危険度が閾値を超える場合、前記車線を示す線の画像を警告情報として出力する情報出力部と、
を備える運転支援システム。

【請求項2】

前記情報出力部は、前記各検出結果に基づいて前記障害物ごとに前記危険度を判定し、前記危険度が前記閾値を超える場合、前記警告情報を生成する、
請求項１に記載の運転支援システム。

【請求項3】

前記情報出力部は、前記車両の運転情報を取得し、前記各検出結果と前記運転情報とに基づいて前記危険度を判定する、
請求項２に記載の運転支援システム。

【請求項4】

前記情報出力部は、前記警告情報の出力態様を前記危険度に応じて決定する、
請求項２又は３に記載の運転支援システム。

【請求項5】

前記複数の撮影画像は、前記後方側の複数の方向の撮影画像を含み、
前記情報出力部は、前記各方向の撮影画像を並べて１つの表示画像を生成し、前記各方向の撮影画像上に前記障害物が位置する方向を示す警告情報を重ねて前記車両の表示部に出力する、
請求項１～４のいずれか一項に記載の運転支援システム。

【請求項6】

運転支援システムにより実行される運転支援方法であって、
車両のドライバより後方側の複数の撮影画像から障害物を検出するステップと、
前記後方側に送信された測定波の反射波を解析して障害物を検出するステップと、
前記撮影画像から前記車両周辺の車線を検出するステップと、
前記障害物の各検出結果に基づいて前記車両に対して前記障害物が位置する方向を判定し、前記方向を示す警告情報を出力し、前記障害物の各検出結果と前記車線の検出結果とに基づいて危険度を判定し、前記危険度が閾値を超える場合、前記車線を示す線の画像を警告情報として出力するステップと、
を含む運転支援方法。

【請求項7】

コンピュータに、
車両のドライバより後方側の複数の撮影画像から障害物を検出するステップと、
前記後方側に送信された測定波の反射波を解析して障害物を検出するステップと、
前記撮影画像から前記車両周辺の車線を検出するステップと、
前記障害物の各検出結果に基づいて前記車両に対して前記障害物が位置する方向を判定し、前記方向を示す警告情報を出力し、前記障害物の各検出結果と前記車線の検出結果とに基づいて危険度を判定し、前記危険度が閾値を超える場合、前記車線を示す線の画像を警告情報として出力するステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運転支援システム、運転支援方法及びプログラムに関する。

【背景技術】

【0002】

従来、車両を運転中のドライバが歩行者の存在を把握しやすくなるように、車両前方の撮影画像から歩行者の画像を検出し、検出した画像を撮影画像上に重畳して表示することが行われている（例えば、特許文献１参照。）。車両の前方だけでなく後方においても同様に、後方の撮影画像から移動物体を検出して、移動物体を縁取りした後方の撮影画像を表示することも行われている（例えば、特許文献２参照。）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－９３６１０号公報

【文献】特開２００９－２３５６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記後方の撮影画像は、ドライバがルームミラーを見た場合は車両後方の撮影画像が表示され、右サイドミラーを見た場合は右側後方の撮影画像に、左サイドミラーを見た場合は左側後方の撮影画像に切り替えられる。つまり、ドライバは視線を移さなければ各ミラーからの視界は得られず、見ていないミラーの撮影画像中の移動物体に気づくことができない。また、ドライバがどのミラーを見たのか自覚していない場合、撮影画像中の移動物体が車両後方側のどの方向に位置するのか、撮影画像からは把握することが難しい。

【0005】

本発明は、後方の障害物の把握が容易な警告情報の提供を目的とする。

【課題を解決するための手段】

【0006】

請求項１に記載の発明は、
車両のドライバより後方側の複数の撮影画像から障害物を検出する第１検出部と、
前記後方側に送信された測定波の反射波を解析して障害物を検出する第２検出部と、
前記撮影画像から前記車両周辺の車線を検出する第３検出部と、
前記第１検出部及び前記第２検出部の各検出結果に基づいて、前記車両に対して前記障害物が位置する方向を判定し、前記方向を示す警告情報を出力し、前記障害物の各検出結果と前記車線の検出結果とに基づいて危険度を判定し、前記危険度が閾値を超える場合、前記車線を示す線の画像を警告情報として出力する情報出力部と、
を備える運転支援システムである。

【0007】

請求項１に記載の発明によれば、車両後方側の複数の撮影画像だけでなく、測定波を用いた測定結果からも後方側に位置する障害物を検出することから、検出距離が近距離の障害物だけでなく遠距離の障害物も検出して警告できる。また、各検出結果に基づいて障害物が位置する方向を示す警告情報を出力することにより、運転中にドライバが視認しづらい後方において障害物が位置する方向の把握が容易な警告情報を提供することができる。したがって、障害物との衝突を回避して安全な運転を支援することができる。

【0008】

請求項２に記載の発明は、
前記情報出力部は、前記各検出結果に基づいて前記障害物ごとに前記危険度を判定し、前記危険度が前記閾値を超える場合、前記警告情報を生成する、
請求項１に記載の運転支援システムである。

【0009】

請求項２に記載の発明によれば、危険度が閾値を超えて高い場合に警告情報を提供でき、不要な警告情報の提供を減らすことができる。

【0012】

請求項３に記載の発明は、
前記情報出力部は、前記車両の運転情報を取得し、前記各検出結果と前記運転情報とに基づいて前記危険度を判定する、
請求項２に記載の運転支援システムである。

【0013】

請求項３に記載の発明によれば、障害物と車両の運転状況とによって危険度を判定することができ、左折時の巻き込み、後方からの追突等の可能性を警告することができる。

【0014】

請求項４に記載の発明は、
前記情報出力部は、前記警告情報の出力態様を前記危険度に応じて決定する、
請求項２又は３に記載の運転支援システムである。

【0015】

請求項４に記載の発明によれば、ドライバは出力態様の違いから危険度の高さを容易に把握することができる。

【0016】

請求項５に記載の発明は、
前記複数の撮影画像は、前記後方側の複数の方向の撮影画像を含み、
前記情報出力部は、前記各方向の撮影画像を並べて１つの表示画像を生成し、前記各方向の撮影画像上に前記障害物が位置する方向を示す警告情報を重ねて前記車両の表示部に出力する、
請求項１～４のいずれか一項に記載の運転支援システムである。

【0017】

請求項５に記載の発明によれば、ドライバは後方側の状況を一度に把握できる。また、ドライバは、後方側において障害物が位置する方向を容易に把握することができる。

【0018】

請求項６に記載の発明は、
運転支援システムにより実行される運転支援方法であって、
車両のドライバより後方側の複数の撮影画像から障害物を検出するステップと、
前記後方側に送信された測定波の反射波を解析して障害物を検出するステップと、
前記撮影画像から前記車両周辺の車線を検出するステップと、
前記障害物の各検出結果に基づいて前記車両に対して前記障害物が位置する方向を判定し、前記方向を示す警告情報を出力し、前記障害物の各検出結果と前記車線の検出結果とに基づいて危険度を判定し、前記危険度が閾値を超える場合、前記車線を示す線の画像を警告情報として出力するステップと、
を含む運転支援方法である。

【0019】

請求項６に記載の発明によれば、車両後方側の複数の撮影画像だけでなく、測定波を用いた測定結果からも後方側に位置する障害物を検出することから、検出距離が近距離の障害物だけでなく遠距離の障害物も検出して警告できる。また、各検出結果に基づいて障害物が位置する方向を示す警告情報を出力することにより、運転中にドライバが視認しづらい後方において障害物が位置する方向の把握が容易な警告情報を提供することができる。したがって、障害物との衝突を回避して安全な運転を支援することができる。

【0020】

請求項７に記載の発明は、
コンピュータに、
車両のドライバより後方側の複数の撮影画像から障害物を検出するステップと、
前記後方側に送信された測定波の反射波を解析して障害物を検出するステップと、
前記撮影画像から前記車両周辺の車線を検出するステップと、
前記障害物の各検出結果に基づいて前記車両に対して前記障害物が位置する方向を判定し、前記方向を示す警告情報を出力し、前記障害物の各検出結果と前記車線の検出結果とに基づいて危険度を判定し、前記危険度が閾値を超える場合、前記車線を示す線の画像を警告情報として出力するステップと、
を実行させるためのプログラムである。

【0021】

請求項７に記載の発明によれば、車両後方側の複数の撮影画像だけでなく、測定波を用いた測定結果からも後方側に位置する障害物を検出することから、検出距離が近距離の障害物だけでなく遠距離の障害物も検出して警告できる。また、各検出結果に基づいて障害物が位置する方向を示す警告情報を出力することにより、運転中にドライバが視認しづらい後方において障害物が位置する方向の把握が容易な警告情報を提供することができる。したがって、障害物との衝突を回避して安全な運転を支援することができる。

【発明の効果】

【0022】

本発明によれば、後方の障害物の把握が容易な警告情報を提供することができる。

【図面の簡単な説明】

【0023】

【図1】本実施形態の運転支援システムの構成例を示すブロック図である。

【図2】カメラ、超音波ソナー及びミリ波レーダーの検出範囲の一例を示す図である。

【図3】運転支援処理のフローチャートである。

【図4】合成画像の一例を示す図である。

【図5】危険度を判定する処理のフローチャートである。

【図6A】警告情報が出力されなかった場合の表示画面例を示す図である。

【図6B】警告情報が出力された場合の表示画面例を示す図である。

【図7】警告情報が出力された場合の他の表示画面例を示す画面図である。

【発明を実施するための形態】

【0024】

以下、本発明の運転支援システム、運転支援方法及びプログラムの実施の形態について、図面を参照して説明する。

【0025】

図１は、本発明の一実施形態の運転支援システム１００の構成例を示す。
本実施形態の運転支援システム１００は、車両に搭載され、車両のドライバに対して情報提供することによりドライバの運転を支援する。

【0026】

図１に示すように、運転支援システム１００は、３つのカメラ１ａ～１ｃ、信号処理部２、ＥＣＵ（Electronic Control Unit）３、表示部４及び音出力部５を備える。また、運転支援システム１００は、測定部６及び運転情報出力部７を備える。測定部６及び運転情報出力部７は、ＣＡＮ（Controller Area Network）等のネットワークＮを介してＥＣＵ３に接続される。

【0027】

カメラ１ａ～１ｃは、ドライバより後方側を連続的に撮影して時系列の撮影画像を順次生成する。カメラ１ａ～１ｃは、例えばナンバープレート付近、左右のサイドミラー等の位置に設けられる。撮影画像は、信号処理部２により信号処理された後、ＥＣＵ３へ出力される。

【0028】

（ＥＣＵ）
ＥＣＵ３は、ドライバより後方側に位置する他の車両や歩行者等の障害物を検出し、検出した障害物に対する警告情報を生成して、表示部４又は音出力部５に出力する。
ＥＣＵ３は、第１検出部３１、第２検出部３２、第３検出部３３、情報出力部３４及び記憶部３５を備える。

【0029】

第１検出部３１は、カメラ１ａ～１ｃにより生成された各撮影画像から障害物を検出する。

【0030】

第２検出部３２は、測定部６により車両の後方側に送信された測定波の反射波を解析する。第２検出部３２は、解析結果に基づいて、後方側に位置する障害物を検出する。

【0031】

第３検出部３３は、カメラ１ａ～１ｃにより生成された各撮影画像から車両周辺の車線（レーン）を検出する。

【0032】

情報出力部３４は、第１検出部３１及び第２検出部３２の各検出結果に基づいて、車両に対して障害物が位置する方向を判定する。情報出力部３４は、判定した方向を示す警告情報を出力する。

【0033】

記憶部３５は、カメラ１ａ～１ｃにより生成された撮影画像、測定部６の測定結果、及び運転情報出力部７から出力された運転情報等を記憶することができる。記憶部３５としては、フラッシュメモリ、又はＥＥＰＲＯＭ等の記憶媒体を使用することができる。

【0034】

なお、第１検出部３１、第２検出部３２、第３検出部３３及び情報出力部３４の機能は、ＩＣチップ等のハードウェアにより処理によって実現することもできるし、ＣＰＵ等のプロセッサがプログラムを実行するソフトウェア処理によって実現することもできる。ソフトウェア処理によって実現する場合、プログラムを記憶部３５に記憶することができる。

【0035】

表示部４は、一般的な縦横比を有する車載用モニタであってもよいし、縦に対する横の比率が長いルームミラー型のモニタであってもよい。表示部４は、ＥＣＵ３の指示にしたがってカメラ１ａ～１ｃにより生成された撮影画像を表示することができる。また、表示部４は、ＥＣＵ３から出力された警告情報に基づいて警告メッセージ、警告マーク等を表示することができる。

【0036】

音出力部５は、ＥＣＵ３の指示にしたがって音を出力するスピーカ等である。音出力部５は、ＥＣＵ３から出力された警告情報に基づいて警告音を出力することができる。

【0037】

測定部６は、車両後方側へ向けて音波、電波等の測定波を送信し、その反射波を受信して後方側の測定結果としてＥＣＵ３へ出力する。本実施形態の運転支援システム１００は、測定部６として超音波ソナー６ａ及びミリ波レーダー６ｂを備える。超音波ソナー６ａは超音波を送信し、その反射波を受信する。ミリ波レーダー６ｂは電波波長が１～１０ｍｍ（周波数帯３０～３００ＧＨｚ）程度のミリ波と呼ばれる電波を送信し、その反射波を受信する。なお、超音波及びミリ波以外の他の測定波を用いるセンサが測定部６として設けられてもよい。

【0038】

運転情報出力部７は、車両の運転状態を検出してその検出結果を運転情報としてＥＣＵ３へ出力する。本実施形態の運転支援システム１００は、運転情報出力部７として車速センサ７ａ及びウィンカーセンサ７ｂを備える。車速センサ７ａは、車両の車軸の回転速度を検出する。検出された車軸の回転速度により、ＥＣＵ３は車両の走行速度を求めることができる。ウィンカーセンサ７ｂは、ドライバによる右又は左のウィンカーの操作を検出する。ウィンカーセンサ７ｂの検出結果により、ＥＣＵ３は車両の車線変更の開始を検出できる。なお、運転状態を検出できるのであれば、舵角センサ等の他のセンサが運転情報出力部７として設けられてもよい。

【0039】

図２は、カメラ１ａ～１ｃ、超音波ソナー６ａ及びミリ波レーダー６ｂによる障害物の検出範囲の一例を示す。
図２に示すように、カメラ１ａは車両Ｄ１の後方のナンバープレート付近に設けられる。カメラ１ａの検出範囲５１ａはルームミラーと同じ車両Ｄ１の後方に位置し、ルームミラーと同程度以上の画角を有する。一方、カメラ１ｂ及び１ｃは、それぞれ左右のサイドミラー付近に設けられる。各カメラ１ｂ及び１ｃの検出範囲５１ｂ及び５１ｃは、ドライバＭ１の後方左側と後方右側に位置し、サイドミラーと同程度以上の画角を有する。

【0040】

超音波ソナー６ａは左のサイドミラー付近に設けられる。超音波ソナー６ａの検出範囲５６ａは、カメラ１ｂの死角となる車両Ｄ１の左側から後方左側に位置する。検出範囲５６ａによれば、後方左側の死角に位置する歩行者Ｍ２の検出が可能である。

【0041】

ミリ波レーダー６ｂはカメラ１ａと同様に車両Ｄ１の後方に設けられる。ミリ波レーダー６ｂの検出範囲５６ｂは、カメラ１ａの検出範囲５１ａと同様に車両Ｄ１の後方に位置するが、検出できる後方の距離ｄ２が検出範囲５１ａの距離ｄ１よりも長く、カメラ１ａの検出範囲５１ａよりも遠距離に位置する障害物Ｄ２の検出が可能である。例えば、距離ｄ１は５０ｍ程度であるが、距離ｄ２は１１０ｍ程度である。

【0042】

なお、上記は障害物の検出範囲の一例であり、これに限定されない。車両が走行する国の法令、慣習又は生じやすい事故の事例等に応じて、検出範囲の位置、方向、画角又は検出距離等は任意に決定できる。

【0043】

図３は、ＥＣＵ３により実行される運転支援処理を示すフローチャートである。この処理は運転中繰り返し行われる。
ＥＣＵ３では、図３に示すように、第１検出部３１がカメラ１ａ～１ｃにより生成された複数の撮影画像から障害物を検出する（ステップＳ１）。検出対象の障害物は、例えば人、動物、他の車両、ガードレール、建物等である。第１検出部３１は、撮影画像を解析することにより、障害物が車両か人か等の分類、車両から障害物までの距離、車両に対する障害物の相対速度等の障害物に関する情報を求めることができる。

【0044】

第１検出部３１による検出方法は特に限定されないが、例えば機械学習、人工知能を利用した検出方法を用いることが可能である。機械学習としては、ＨＯＧ（Ｈｉｓｔｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎ）、人工知能としては深層学習（ディープラーニング）を用いた検出を行うことができる。機械学習又は深層学習の場合、第１検出部３１は、車種や遠近感が異なる車両、人等の検出対象を様々な方向から撮影した撮影画像を学習用の画像として使用して検出対象の画像の特徴を学習する。そして、第１検出部３１は、撮影画像から学習した検出対象の画像の特徴とそれぞれ一致する画像領域を検出する。

【0045】

次いで、第３検出部３３が各撮影画像から車両周辺の車線（レーン）を検出する（ステップＳ２）。例えば、第３検出部３３は、撮影画像を２値化処理した後、Hough 変換によって直線を検出し、当該直線の中からたとえば消失点に向かう直線を車線として検出したり、複数フレームにわたりほぼ同じ位置に検出された直線を車線として検出したりする。なお、車線の検出方法はこれに限定されず、公知の検出方法を用いることができる。例えば、車線を区切る白線、黄色線のような道路標示に限らず、ガードレールや中央分離帯等を検出することで車線を検出してもよい。

【0046】

上記ステップＳ１及びＳ２の検出処理は、３枚の撮影画像が合成された１枚の合成画像に対して行われることが好ましい。
図４は、３枚の撮影画像１１ａ、１１ｂ及び１１ｃの合成画像１１の一例を示す。
１枚の合成画像１１の場合は１つのモジュールで検出処理できるため、３枚の撮影画像１１ａ～１１ｃを３つのモジュールによりそれぞれ並行して処理する場合よりも構成を簡素化でき、コストを軽減できる。また、１つのモジュールで３枚の撮影画像１１ａ～１１ｃを順番に処理するよりは１枚の合成画像１１を処理した方が、処理時間を短縮化できる。

【0047】

一方、第２検出部３２は、測定部６の測定結果を解析して障害物を検出する（ステップＳ３）。このとき、第２検出部３２は、車両から障害物までの距離、方位、相対速度等の障害物に関する情報を測定結果から求めることができる。

【0048】

第１検出部３１及び第２検出部３２によって障害物が検出されなかった場合（ステップＳ４：ＮＯ）、本処理は終了する。障害物が検出された場合（ステップＳ４：ＹＥＳ）、情報出力部３４は各検出結果に基づいて車両に対して障害物が位置する方向を判定する（ステップＳ５）。

【0049】

情報出力部３４は、障害物がどの検出範囲で検出されたかによって障害物が位置する方向を判定することができる。例えば、障害物がカメラ１ａの撮影画像又はミリ波レーダー６ｂの測定結果によって検出された場合、障害物が位置する方向がカメラ１ａ又はミリ波レーダー６ｂの検出範囲、すなわち車両後方と判定できる。また、障害物がカメラ１ｂ又はカメラ１ｃの撮影画像から検出された場合、障害物が位置する方向がカメラ１ｂの検出範囲である車両後方左側又はカメラ１ｃの検出範囲である車両後方右側と判定できる。障害物が超音波ソナー６ａによって検出された場合、障害物が位置する方向が超音波ソナー６ａの検出範囲である車両左側から後方左側の死角と判定できる。

【0050】

カメラ１ａの検出範囲５１ａは、カメラ１ｂ及び１ｃの各検出範囲５１ｂ及び５１ｃと一部重複するため、各カメラ１ａ～１ｃの撮影画像から同一の障害物が検出されることがある。同一の障害物か否かは、例えば車両との距離が同じか否かによって判断できる。この場合は、障害物のサイズが大きい方の撮影画像から障害物が検出されたとして方向を判定すればよい。これにより、障害物が位置する方向をより把握しやすい警告情報を提供できる。

【0051】

次いで、情報出力部３４は障害物の各検出結果に基づいて危険度を判定する（ステップＳ６）。情報出力部３４は、障害物の検出結果とともに車線の検出結果及び運転情報出力部７から取得した車両の運転情報の少なくとも一方に基づいて危険度を判定することができる。障害物の検出結果に車線の検出結果又は運転情報を組み合わせることで危険度の判定精度が向上する。危険度は、危険性が高いか低いかを表す２値の指標値であってもよいし、危険性の高さを複数段階で表す多値の指標値であってもよい。

【0052】

図５は、危険度を判定する処理手順を示すフローチャートである。この危険度の判定処理は、検出された障害物ごとに実行される。
図５に示すように、情報出力部３４は、検出された障害物が位置する方向が後方である場合（ステップＳ１１：ＹＥＳ）、車両が障害物に衝突するまでの時間（ＴＴＣ: Time-To-Collision）を計算する（ステップＳ１２）。ＴＴＣは、撮影画像又はミリ波レーダー６ｂの測定結果を解析して得られる障害物に関する情報、例えば障害物の位置、車両と障害物間の距離、車両に対する障害物の相対速度等から計算できる。情報出力部３４は、さらに車速センサ７ａから得られる車両の走行速度を組み合わせて、ＴＴＣを算出してもよい。

【0053】

情報出力部３４は、計算したＴＴＣが閾値よりも短い場合（ステップＳ１３：ＹＥＳ）、後方に位置する障害物との衝突、つまり追突される可能性があり、危険度が高いと判定する（ステップＳ１４）。情報出力部３４は、複数の閾値と比較することでＴＴＣが短いほど危険度のレベルが高くなるように複数レベルの危険度を判定することもできる。

【0054】

ＴＴＣが閾値よりも短くない場合（ステップＳ１３：ＮＯ）、情報出力部３４は追突の危険度が低いと判定する（ステップＳ２１）。

【0055】

一方、障害物が位置する方向が後方左側又は後方右側である場合（ステップＳ１１：ＮＯ、Ｓ１５：ＹＥＳ）、情報出力部３４は、ウィンカーセンサ７ｂにより左右のうち障害物が位置する方向のウィンカーの操作が検出されたか否かを判断する（ステップＳ１６）。該当するウィンカーの操作が検出された場合（ステップＳ１６：ＹＥＳ）、情報出力部３４は、車線変更しようとする方向の車線であって車両後方側に位置する障害物との衝突の可能性があり、危険度が高いと判定する（ステップＳ１４）。このとき、情報出力部３４は、車両と障害物との距離を複数の閾値と比較することで、距離が短いほど危険度のレベルが高くなるように複数レベルの危険度を判定してもよい。

【0056】

左右のウィンカーの操作が検出されない場合（ステップＳ１６：ＮＯ）、情報出力部３４は、第３検出部３３により検出された車線のうち、車両と隣接する車線との距離が閾値よりも短いか否かを判断する（ステップＳ１７）。情報出力部３４は、距離が閾値より短い場合（ステップＳ１７：ＹＥＳ）、走行中の車線を逸脱して後方側に障害物が位置する隣接車線へ進入する可能性があり、危険度が高いと判定する（ステップＳ１４）。複数の閾値を用いることにより、車両と車線の距離が短いほど危険度のレベルが高くなるように複数レベルの危険度を判定してもよい。

【0057】

左右のウィンカーの操作が検出されず、車両と隣接する車線との距離が閾値よりも短くない場合（ステップＳ１６：ＮＯ、Ｓ１７：ＮＯ）、情報出力部３４は車線変更又は車線逸脱の危険度は低いと判定する（ステップＳ２１）。

【0058】

障害物が位置する方向が左側から後方左側にかけての死角である場合（ステップＳ１１：ＮＯ、Ｓ１５：ＮＯ、Ｓ１８：ＹＥＳ）、情報出力部３４は、ウィンカーセンサ７ｂにより左のウィンカーの操作が検出されたか否かを判断する（ステップＳ１９）。情報出力部３４は、左のウィンカーの操作が検出された場合（ステップＳ１９：ＹＥＳ）、左折による巻き込みの可能性があり、危険度が高いと判定する（ステップＳ１４）。このとき、情報出力部３４は、車両と障害物との距離を複数の閾値と比較することで、距離が短いほど危険度のレベルが高くなるように複数レベルの危険度を判定してもよい。また、情報出力部３４は、距離が短いだけでなく、車速センサ７ａにより検出された走行速度が閾値より速い場合に、危険度が高いと判定してもよい。

【0059】

左右のウィンカーの操作が検出されない場合（ステップＳ１９：ＮＯ）、情報出力部３４は、撮影画像又は超音波ソナー６ａの測定結果を解析して得られる車両と障害物との距離が閾値より短いか否かを判断する（ステップＳ２０）。障害物との距離が閾値より短くない場合（ステップＳ２０：ＮＯ）、情報出力部３４は巻き込みの危険度が低いと判定する（ステップＳ２１）。

【0060】

障害物との距離が閾値より短い場合（ステップＳ２０：ＹＥＳ）、情報出力部３４は、死角に位置する障害物との衝突の可能性があり、危険度が高いと判定する（ステップＳ１４）。このとき、情報出力部３４は、車両と障害物との距離を複数の閾値と比較することで、距離が短いほど危険度のレベルが高くなるように複数レベルの危険度を判定してもよい。また、情報出力部３４は、距離が短いだけでなく、車速センサ７ａにより検出された走行速度が閾値より速い場合に、危険度が高いと判定してもよい。

【0061】

情報出力部３４は危険度を判定後、図３に示すように判定した危険度が閾値を超えるか否かを判定する（ステップＳ７）。危険度が閾値を超えて高い場合（ステップＳ７：ＹＥＳ）、情報出力部３４は障害物が位置する方向を示す警告情報を生成し、表示部４又は音出力部５に出力する（ステップＳ８）。危険度が閾値を超えない場合（ステップＳ７：ＮＯ）、情報出力部３４は上記警告情報の生成は行わずに本処理を終了する。

【0062】

警告情報は、例えば警告情報を表示部４により出力する場合は、障害物が位置する方向を指し示す矢印や当該方向において点滅するマーカ、方向を通知するメッセージ文等が挙げられ、警告情報を音出力部５により出力する場合は、方向を通知する音声メッセージや各方向に固有の報知音やメロディ音等が挙げられる。警告情報は、障害物が位置する方向だけでなく、障害物に関する情報、例えば障害物の分類（車両、人等）、車両に対する相対速度、ＴＴＣ、離間距離等を含むこともできる。

【0063】

情報出力部３４は、警告情報の出力態様を危険度に応じて決定することができる。危険度が高いほど障害物の強調度が高い出力態様とすることにより、ドライバが障害物の存在とその方向を容易に把握することができる。警告情報を表示部４により出力する場合は、例えば警告情報として表示する文字や画像のサイズ、色、明るさ、点滅の有無等を危険度によって異ならせることができる。また、警告情報を音出力部５により出力する場合は、例えば音の高低、トーン、メロディ音の種類、音声メッセージの内容等を危険度によって異ならせることができる。

【0064】

また、情報出力部３４は、各方向の撮影画像を並べた１つの表示画像を生成して表示部４に出力し、この各方向の撮影画像上に障害物が位置すると判定された方向を示す警告情報を重ねて表示部４に出力することができる。１つの表示画像により、後方側の各方向の状況とともに各方向のなかでも障害物が位置する方向をドライバが容易に把握できる。後方側の状況を表示部４により確認できることでドライバは前方に視線を集中でき、前方側の安全性も高まる。

【0065】

図６Ａは警告情報が出力されていない場合の表示画面例を示し、図６Ｂは警告情報が出力された場合の表示画面例を示す。図６Ａ及び図６Ｂの表示画面例では、後方左側の撮影画像４１ｂ、後方の撮影画像４１ａ及び後方右側の撮影画像４１ｃがこの順に並べられて１つの表示画像として表示されている。

【0066】

図６Ａに示す表示画面例では、障害物が検出されていないか、検出されても危険度が低いため、警告情報は表示されていない。一方、図６Ｂに示す表示画面例では、後方右側の撮影画像４１ｃにおいて走行中の車線の右側に隣接する車線を走行する障害物Ｄ２が検出され、そのＴＴＣが閾値より短いため、警告情報として枠の画像４０１が表示されている。枠の画像４０１は、障害物Ｄ２が位置する後方右側の撮影画像４１ｃの外縁に重ねられ、その色は障害物Ｄ２との距離が短くなって危険度のレベルが高くなるにつれて青色、黄色、赤色の順に切り替わる。

【0067】

また、図６Ｂに示す表示画面例では、ウィンカーの操作が検出されていないが、障害物Ｄ２が位置する右側の車線と車両との距離が短く、危険度が高いと判定されたため、点滅する線の画像４０２が警告情報として右側の車線の白線上に重畳されて表示されている。線の画像４０２により右側の車線にドライバの注意を喚起することができる。右側の車線の白線は撮影画像４１ａ及び４１ｃのいずれからも検出されるが、そのうち白線のサイズが大きい撮影画像４１ａの方に線の画像４０２が表示されており、右側の車線への注意をより喚起しやすくなっている。なお、白線ではなく、車線自体を覆う線の画像が警告情報として車線上に重畳されてもよい。注意喚起しやすくするため、車線のサイズがより大きい撮影画像４１ｃ上に重畳することが好ましい。

【0068】

図７は、警告情報が出力された場合の他の表示画面例を示す。図７に示す表示画面例では、後方左側の撮影画像４２ｂ、後方の撮影画像４２ａ及び後方右側の撮影画像４２ｃがこの順に並べて１つの表示画像として表示されている。
図７に示す画面例では、後方の撮影画像４２ａにおいてＴＴＣが閾値より短い障害物Ｄ２が検出されたため、警告情報の１つとして枠の画像４０３が撮影画像４２ａの外縁に重ねられている。また、警告情報の１つとして障害物Ｄ２が車両であり、当該車両が後方に位置して相対速度が時速５ｋｍ以上であることを警告するメッセージ文４０４が表示されている。表示と並行して、音出力部５により障害物Ｄ２である車両が５ｋｍ以上の相対速度で接近していることを警告する音声４０５も出力されている。

【0069】

以上のように、本実施形態の運転支援システム１００によれば、車両後方の複数の撮影画像だけでなく、測定波を用いた測定結果によって車両後方側に位置する障害物を検出する。検出距離が近距離の障害物だけでなく遠距離の障害物も検出して警告できる。また、本実施形態によれば、各検出結果に基づいて障害物が位置する方向を判定し、障害物が位置する方向を示す警告情報を出力する。これにより、運転中にドライバが視認できない後方において障害物が位置する方向の把握が容易な警告情報を提供することができ、障害物との衝突を回避して安全な運転を支援することができる。

【0070】

上記実施の形態は本発明の好適な一例であり、これに限定されない。本発明の主旨を逸脱しない範囲で適宜変更可能である。
例えば、表示部４は１つのモニタではなく、各カメラ１ａ～１ｃに対応する３つのモニタであってもよい。各モニタを隣接して並べ、カメラ１ａ～１ｃの各撮影画像を表示することで、図６Ａ、図６Ｂ及び図７に示すような表示を行うこともできる。この場合、３つのモニタが車両の後方左側、後方及び後方右側の方向にそれぞれ対応するので、障害物が検出された撮影画像のモニタに警告情報を出力すればよい。ドライバは、並んだ各モニタにより後方側の状態を一度に把握できるとともに、警告情報が出力されたモニタによって障害物がどの方向に位置するかを容易に把握することができる。

【0071】

本出願は、２０１９年５月３１日に出願された日本特許出願である特願２０１９－１０２５５０号に基づく優先権を主張し、当該日本特許出願のすべての記載内容を援用する。

【符号の説明】

【0072】

１００・・・運転支援システム、１ａ～１ｃ・・・カメラ、３・・・ＥＣＵ、３１・・・第１検出部、３２・・・第２検出部、３３・・・第３検出部、３４・・・情報出力部、３５・・・記憶部、４・・・表示部、５・・・音出力部、６ａ・・・超音波ソナー、６ｂ・・・ミリ波レーダー、７ａ・・・車速センサ、７ｂ・・・ウィンカーセンサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】