特許 6398182 信号情報提示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6398182

(24)【登録日】2018年9月14日

(45)【発行日】2018年10月3日

(54)【発明の名称】信号情報提示装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20180920BHJP

   G01C 21/26 20060101ALI20180920BHJP

   B60R 21/00 20060101ALI20180920BHJP

【ＦＩ】

   G08G1/16 C

   G01C21/26 A

   B60R21/00 991

【請求項の数】7

【全頁数】16

(21)【出願番号】特願2013-249918(P2013-249918)

(22)【出願日】2013年12月3日

(65)【公開番号】特開2015-106395(P2015-106395A)

(43)【公開日】2015年6月8日

【審査請求日】2016年9月26日

【前置審査】

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】110000486

【氏名又は名称】とこしえ特許業務法人

(72)【発明者】

【氏名】高松 吉郎

(72)【発明者】

【氏名】岸 則政

(72)【発明者】

【氏名】渡辺 省吾

(72)【発明者】

【氏名】柳 拓良

(72)【発明者】

【氏名】高田 裕史

【審査官】 岩田 玲彦

(56)【参考文献】

【文献】 特開２０１１−１０８１７５（ＪＰ，Ａ）

【文献】 特開２００９−００６８９３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ ２１／００

Ｇ０１Ｃ ２１／００−２１／３６

(57)【特許請求の範囲】

【請求項1】

自車両のボディの異なる設置位置に設けられた複数のカメラを有する撮像手段の撮像画像のうち、第１のカメラの第１撮像画像から信号機が示す信号情報を検出するとともに、前記複数のカメラのうち第２のカメラの第２撮像画像から前記信号情報を検出する信号情報検出手段と、
前記自車両の車両情報に基づいて、前記自車両のドライバの視野領域を算出する視野算出手段と、
前記第１撮像画像又は前記第２撮像画像から検出された前記信号情報を示す前記信号機の位置が前記視野領域に応じて定義された視認困難領域に含まれる場合には、前記信号機の位置が前記視認困難領域に含まれると判断された前記第１撮像画像又は前記第２撮像画像のいずれか一方から検出された前記信号情報をディスプレイに提示させ、前記信号機の位置が前記視認困難領域に含まれない場合には、前記信号情報をディスプレイに提示させない提示制御手段と、を備えることを特徴とする信号情報提示装置。

【請求項2】

自車両のボディに設けられた撮像手段の撮像画像から信号機が示す信号情報を検出する信号情報検出手段と、
前記自車両の車両情報に基づいて、前記自車両のドライバの視野領域を算出する視野算出手段と、
前記検出された信号情報を示す前記信号機の位置が前記視野領域に応じて定義された視認困難領域に含まれる場合には前記信号情報をディスプレイに提示させ、前記信号機の位置が前記視認困難領域に含まれない場合には、前記信号情報をディスプレイに提示させない提示制御手段と、を備え、
前記撮像手段は設置位置の異なる複数のカメラを有し、
前記信号情報検出手段は、前記複数のカメラのうち第１のカメラの第１撮像画像から前記信号情報を検出するとともに、前記複数のカメラのうち第２のカメラの第２撮像画像から前記信号情報を検出し、
前記提示制御手段は、前記信号機の位置が前記視認困難領域に含まれる場合には、前記第１撮像画像と前記第２撮像画像のうち、前記信号機の像に対応する画像面積が多く含まれる撮像画像から検出された前記信号情報を提示させることを特徴とする信号情報提示装置。

【請求項3】

前記撮像画像に基づいて、前記自車両の前方他車両の挙動を判断する他車両挙動判断手段をさらに備え、
前記提示制御手段は、前記前方他車両が走行中であると判断した場合には、前記信号情報の提示を中止させることを特徴とする請求項１又は２に記載の信号情報提示装置。

【請求項4】

前記提示制御手段は、交差点の中心位置に応じて定義された交差点領域に前記自車両が進入した時に、前記信号機が進行許可の信号情報を示していない場合には、前記信号情報を提示させることを特徴とする請求項１又は２に記載の信号情報提示装置。

【請求項5】

前記提示制御手段は、前記信号機の信号制御情報を取得し、前記信号制御情報と前記車両情報に基づいて前記自車両が前記信号機の停止線位置に到着するタイミングを予測し、当該タイミングにおいて前記信号機が進行許可の信号情報又は例外付き進行禁止の信号情報を示す場合には、前記信号情報の提示を継続することを特徴とする請求項４に記載の信号情報提示装置。

【請求項6】

前記撮像画像に基づいて、前記自車両の前方他車両の挙動を判断する他車両挙動判断手段をさらに備え、
前記提示制御手段は、前記信号機が停止線位置から進行を禁止する信号情報を示す場合であって、前記他車両挙動判断手段により前記前方他車両が走行中であると判断された場合には、前記信号情報を提示させることを特徴とする請求項４又は５に記載の信号情報提示装置。

【請求項7】

前記視野算出手段は、前記ドライバの身体情報と前記車両情報とに基づいて前記ドライバの姿勢を推測し、前記ドライバの視点を基準に前記視野領域を算出することを特徴とする請求項１〜６の何れか一項に記載の信号情報提示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、走行路の信号情報をドライバに提示する信号情報提示装置に関する。

【背景技術】

【0002】

この種の装置に関し、フロントウィンドウから見えない位置に設置された信号機の画像を切り出して、その信号機の画像を常時ディスプレイに提示する車両情報表示システムが知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−２２５３２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、信号情報が様々な情報とともに常時提示されている状況において、必要なタイミングで信号情報を確認することは、ドライバにとって難しいという問題がある

【0005】

本発明が解決しようとする課題は、ドライバが必要とするタイミングで信号情報を提示することである。

【課題を解決するための手段】

【0006】

本発明は、車両のボディに設けられた撮像手段の撮像画像から信号機が示す信号情報を検出し、検出された信号機の位置が視認困難領域に含まれる場合には、信号情報をディスプレイに提示させ、検出された信号機の位置が視認困難領域に含まれない場合には、信号情報をディスプレイに提示させないことにより、上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、ドライバが信号機を視認し難い場合に限ってディスプレイに信号情報を提示させるので、ドライバが必要とするタイミングで信号情報を提示できる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係る車載システムのブロック構成図である。

【図2】カメラの設置位置を説明するための図である。

【図3】信号機を含む撮像画像の取得する場面を説明するための図である。

【図4】撮像画像に信号機が含まれない場面を説明するための図である。

【図5】車室内のディスプレイ複数の信号機が存在する交通環境を説明するための図である。

【図6】本実施形態に係る信号提示装置の第１の制御手順を示すフローチャートである。

【図7】二つのカメラの撮像領域を説明するための図である。

【図8】前方他車両の挙動の判断を説明するための図である。

【図9】本実施形態に係る信号提示装置の第２の制御手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る信号情報提示装置を、車載システムに適用した場合を例にして説明する。

【0010】

図１は、本実施形態に係る信号情報提示装置１００を備える車載システム１のブロック構成を示す図である。本実施形態の信号情報提示装置１００は、車両に搭載されている。信号情報提示装置１００は、自車両が走行する経路上に存在し、ドライバが注目すべき信号の情報を提示する。

【0011】

本実施形態の車載システム１は、信号情報提示装置１００と、ナビゲーション装置５０と、車両コントローラ６０と、各種センサ７０とを備える。

【0012】

本実施形態の車載システム１の各装置について説明する。
ナビゲーション装置５０は、ＧＰＳを備え、自車両の現在位置を検出する位置検出装置５１と、地図情報５２と、信号機の位置を含む信号機情報５３とを有する。信号機情報５３は、信号機の位置に加えて、停止線の位置、交差点の幅・長さなどの情報を含む。信号機の位置、停止線の位置は、絶対的な位置情報であってもよいし、交差点中心などの基準位置に対する相対的な位置情報であってもよい。

【0013】

車両コントローラ６０は、車両の各駆動機構及び車載装置の情報、及び外部から取得した乗員情報を管理する。本実施形態の車両情報は、ドライバシートのセットポジション情報を含む。ドライバシートのセットポジション情報は、具体的にドライバシートの座面（前後）座面の位置情報６１１、座面の傾斜角情報６１２、座面の高さ情報６１３、背もたれの角度情報６１４を含む。本実施形態では、ドライバの体格と、体格に応じたドライバシートのセットポジション情報とを対応づけた対応情報を備えている。この対応情報を参照することにより、ドライバシートのセットポジションからドライバの身長などの体格を求めることができる。さらにドライバの身長から、ドライバの姿勢（体の姿）を求めることができる。これにより、運転中のドライバの視点位置（目の位置）を求めることができる。ちなみに、この視点位置は、ドライバの視野領域を求める基準として用いられる。なお、各乗員のセットポジション情報６１１〜６１４には乗員の識別情報を付することが好ましい。乗員の識別情報は、各乗員が管理・使用するキーの識別情報を用いてもよい。もちろん、今回搭乗時のドライバシートのセットポジションから、各乗員ごとに対応づけられたセットポジションを判断してもよい。

【0014】

また、本実施形態の車両コントローラ６０は、乗員の身長などの身体情報６２を記憶する。乗員の身体情報６２は、ドライバやディーラが入力してもよいし、前回搭乗時のドライバシートのセットポジションに基づいて算出してもよい。同様に、各乗員の身体情報６２には乗員の識別情報を付することが好ましい。

【0015】

本実施形態の各種センサ７０は、車速センサ７１、加速度センサ７２を有する。車速センサ７１は車両の現在の速度を検出する。加速度センサ７２は車両の現在の加速度を検出する。制御装置１０は、位置検出装置５１から取得する車両の現在位置、現在の車速、加速度を用いて、車両が所定地点（例えば交差点の停止線位置）に到達するときの時間を予測する。

【0016】

次に、信号情報提示装置１００について説明する。図１に示すように、本実施形態の信号情報提示装置１００は、制御装置１０と、カメラ２０と、ディスプレイ３０と、通信装置４０とを有する。

【0017】

まず、本実施形態のカメラ２０について説明する。
本実施形態のカメラ２０は、自車両のボディに設けられ、自車両の周囲を撮像する。カメラ２０の取り付け位置は限定されないが、本実施形態では、図２（Ａ）（Ｂ）に示すように、自車両のフロントガラス部分乃至ルーフ部分にカメラ２１を取り付けることができる。自車両のフロントガラスの上部に設けられたカメラ２１は、図２（Ａ）に示すように、自車両前方の領域ＡＲ１を撮像する。本例の領域ＡＲ１には他車両ＶＸと信号機ＳＧ１が存在する。

【0018】

また、図２（Ａ）（Ｂ）に示すように、自車両のサイドミラー部分にカメラ２２Ｌ，２２Ｒを取り付けることができる。カメラ２１、２２Ｌ，２２Ｒのうち、いずれか一つのカメラを設置してもよいし、二つ以上のカメラを設置してもよい。本実施形態では、車両の左右のサイドミラーにカメラ２２Ｒ及びカメラ２２Ｌを取り付ける。

【0019】

ところで、自車両の前方に他車両が存在する場合には、他車両がドライバの視界を遮り、ドライバが信号を視認できない場合がある。例えば、自車両と他車両とが図３の状態にあるときに、図４に示すように、前方他車両ＶＸに隠されて、乗員が信号機ＳＧ１を見ることができない場合がある。このような場面に限って、本実施形態の信号情報提示装置１００は、乗員に信号機が示す信号情報をディスプレイ３０に提示する。この信号情報の提示処理は、提示条件を充足したときに所定時間継続して実行してもよいし、提示中止条件を充足したときに提示を中止してもよい。

【0020】

特に限定されないが、図５に示すように、本実施形態のディスプレイ３０として、経路案内（ナビゲーション）に用いられる地図情報を提示するメインディスプレイ３１を用いることができる。また、同図に示すように、本実施形態のディスプレイ３０として、車速やエネルギー残量を示すスピードメータ用ディスプレイ３２を用いることができる。

【0021】

本実施形態の信号情報は、信号機の点灯状態、点灯した信号色、点灯した信号が示す意味内容を示す情報である。信号機の点灯状態を示す信号情報は、信号機の撮像画像を含む。本例では、信号情報として、撮像画像から切り出された信号機の像を含む領域の部分画像を用いることができる。また、点灯した信号色を示す信号情報は、「赤色」「青色又は緑色」「黄色」を識別させるテキスト情報、音声情報、画像情報である。対応する色のランプの点灯情報で信号色を示してもよい。さらに、点灯した信号の交通制御の意味内容を示す情報は、（１）ドライバに停止線を越えて車を進行させてはならない（車両の停止を求める）旨の情報（赤信号）、（２）ドライバに停止線を越えて車を進行させることを許可する旨の情報（青信号・緑信号）、（３）ドライバに停止線を越えて車を進行させてはならない、ただし、停止線手前で安全に止まれない場合には進行を許可する（原則は進行禁止であるが例外的に進行を許可する例外付き進行禁止）旨の情報（黄信号）である。これらは、テキスト情報、音声情報、画像情報、色の情報、有色光の情報として出力してもよい。

【0022】

本実施形態の通信装置４０は、外部機器との通信を行う。本実施形態の通信装置４０は、路車間の無線通信機能を有し、道路に設けられた信号機の信号制御情報を取得する。信号制御情報は、各信号色の点灯タイミング（消灯タイミング）を含む。信号制御情報によれば、赤信号が点灯する時刻を知ることができる。信号制御情報は、具体的な点灯時刻ではなく、各信号機における赤信号（各色の信号）の点灯継続時間を含む。赤信号などの点灯開始時刻は撮像画像を経時的に観察することにより得ることができる。ちなみに、点灯開始時刻と点灯継続時間とがわかれば、信号がいつ点灯し、いつ変化するかを予測できる。

【0023】

次に、本実施形態の信号情報提示装置１００の制御装置１０について説明する。本実施形態の１００の制御装置１０は、ドライバが必要とするタイミングで、信号情報を提示するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭに格納されたプログラムを実行することで、信号情報提示装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えるコンピュータである。

【0024】

本実施形態に係る信号情報提示装置１００の制御装置１０は、信号情報検出機能と、視野算出機能と、他車両挙動判断機能と、提示機能と、を有する。本実施形態の制御装置１０は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。

【0025】

以下、本実施形態に係る信号情報提示装置１００の各機能について説明する。

【0026】

まず、本実施形態の制御装置１０の信号情報検出機能について説明する。制御装置１０は、撮像装置（カメラ）２０の撮像画像から信号機が示す信号情報を検出する。制御装置は、撮像画像を分析し、信号機に対応する画像を抽出する。信号機に対応する画像の特徴は予め定義する。信号機に対応する画像から、信号機が示す信号情報、つまり点灯中の信号の色を識別する。点灯中の信号の色は、交通制御の内容と対応づけられている。このため識別された信号の色から、信号機が示す信号情報を検出できる。

【0027】

カメラ２０が二つ以上設けられた場合には、制御装置１０は各カメラ２０の撮像画像ごとに、信号情報の検出処理を行う。具体的に、図２に示すカメラ２２Ｒとカメラ２２Ｌがサイドミラーに設けられた場合を例にして説明する。本実施形態の制御装置１０は、第１のカメラ２２Ｒの第１撮像画像から信号機が示す信号情報を検出するとともに、第２のカメラ２２Ｌの第２撮像画像から信号機が示す信号情報を検出する。このとき、制御装置１０は、第１撮像画像における信号機の像の位置を求めるとともに、第２撮像画像における信号機の像の位置を求める。後述する提示制御機能を実行するにあたり、各撮像画像の信号機が視認困難領域に含まれるか否かを判断するためである。

【0028】

次に、本実施形態の制御装置１０の視野算出機能について説明する。本実施形態の制御装置１０は、自車両の車両情報に基づいて、自車両のドライバの視野領域を算出する。制御装置１０は、車両情報６１に含まれるドライバシートのポジション情報（座面の位置情報６１１、座面の傾斜角情報６１２、座面の高さ情報６１３、背もたれの角度情報６１４）に基づいて、ドライバの視点を求める。求めたドライバの視点を基準に視野領域を算出する。具体的に、制御装置１０は、ドライバの身長などの体格と、ドライバシートのポジション情報とを予め対応づけておき、ドライバシートのポジション情報からドライバの身長を求める。さらに制御装置１０は、ドライバの身長と座面の位置とから目の位置（視点）を求める。求めた視点を基準としてドライバの視野領域を算出する。

【0029】

本実施形態の制御装置１０は、ドライバの身体情報と車両情報とに基づいてドライバの姿勢を推測することもできる。ドライバの身体情報６２は、ドライバの識別情報６２１と対応づけて記憶しておけばよい。制御装置１０は、ドライバの身長等の身体特徴と、車両情報６１の座面の位置情報６１１等を考慮し、ドライバの視点の位置を推測する。そして、制御装置１０は、ドライバの視点を基準に視野領域を算出する。

【0030】

本実施形態の制御装置１０の他車両挙動判断機能について説明する。制御装置１０は、自車両の前方を走行する他車両の挙動を判断する。前方他車両が存在すれば、撮像画像は、他車両の像を含む。前方他車両の後方面はリアバンパや、プレート、テールランプなどの形態上の特徴を備える。前方他車両を後方から撮像すると、撮像画像にはこれらの特徴が含まれる。制御装置１０は、車両後方の特徴の位置や大きさの経時的な変化に基づいて、前方他車両が走行中であるか否かなど前方他車両の挙動を判断する。制御装置１０は、前方他車両の挙動の判断に、自車両の挙動や速度を含む車両情報６１を用いてもよい。前方他車両の挙動に関する判断結果は、後述する信号情報の提示制御に用いられる。

【0031】

最後に本実施形態の提示制御機能について説明する。制御装置１０は、検出された信号情報を示す信号機の位置が視野領域に応じて定義された視認困難領域に含まれる場合には、信号情報をディスプレイ３０に提示させる。

【0032】

視野領域は、ドライバが視認できる範囲である。第１に、本実施形態の視認困難領域は、視野領域よりも外側の領域として定義できる。第２に、本実施形態の視認困難領域は、視野領域以外の範囲と定義できる。つまり、視野領域の境界を含んでもよい。第３に、本実施形態の視認困難領域は、視野領域の境界よりも内側の若干の領域を含んでもよい。視野領域の境界近傍はドライバが視認できる領域ではあるが、視認が容易とはいえない領域も含む。また、ドライバの身長に応じて視野が異なる場合がある。さらに、視野は個人の視力によって異なる場合もある。このような視野範囲の特徴を考慮し、視野領域の境界近傍の所定割合程度（全体の２０％以下、１０％以下など）の面積を視認困難領域に含ませることができる。視野領域及び視認困難領域は、実験値に基づいて統計的に算出してもよい。もちろん、視認困難領域を視野領域以外の領域として定義してもよい。

【0033】

制御装置１０は、撮像画像と視認困難領域とを共通の座標に変換し、撮像画像に含まれる信号機の像の位置が、視認困難領域内に存在するか否かを判断する。この場合、信号機の像のすべてが視認困難領域内に存在する場合に、「信号機の像の位置が視認困難領域内に存在する」と判断してもよいし、信号機の像の所定割合（例えば８０％、５０％）以上が視認困難領域内に存在する場合に、「信号機の像の位置が視認困難領域内に存在する」と判断してもよい。

【0034】

制御装置１０は、「信号機の像の位置が視認困難領域内に存在する」と判断された場合には、信号情報をディスプレイ３０に提示させる。これにより、信号機がドライバが視認し難い場所にあり、ドライバが信号情報を必要とする場合に限って、信号情報を車室内のディスプレイ３０に提示させることができる。

【0035】

以下に、設置位置の異なるカメラ２０を二つ設けた場合における処理例を説明する。
本例では、二つのカメラ２０を左右のサイドミラーにそれぞれ設けた。車両前方を撮像することを前提とすると、左右のサイドミラーは、二つのカメラ２０を最も離隔して配置できる位置である。これにより、二つのカメラ２０の両方ともが信号機を撮像できないというリスクを低減できる。

【0036】

本実施形態の制御装置１０は、先述したように、第１のカメラ２２Ｒの第１撮像画像から信号情報を検出するとともに、第２のカメラ２２Ｌの第２撮像画像から信号情報を検出する。制御装置１０は、信号機の位置が視認困難領域に含まれる場合には、第１撮像画像と第２撮像画像のうち、信号機の像に対応する画像面積が多く含まれる撮像画像から検出された信号情報を提示させる。

【0037】

このように、二つのカメラ２０の撮像画像のうち、信号機の像に対応する画像面積が多く含まれる方の信号情報を提示させることにより、信号情報を提示できないというリスクを低減できる。言い換えると、いずれかのカメラ２０の撮像画像から信号情報を検出できる可能性を高めることができるので、ドライバが視認し難い信号情報を適時に提示できる。

【0038】

本実施形態の制御装置１０は、先述した制御装置１０の他車両挙動判断機能が前方他車両は走行中であると判断した場合には、信号情報の提示を中止させる。前方他車両が走行中である場合には、例えば、信号機が青信号（緑信号と表現されることもある）となり、自車両も走行が可能である状況であると考えることができる。このような場合には、ドライバは信号情報を必要としていないため、信号情報の提示は行わない。これにより、不必要な情報を提示しないようにできる。

【0039】

本実施形態の制御装置１０は、信号機の設置位置に応じて定義された交差点領域に自車両が進入するタイミングで、信号機が進行許可の信号情報（青信号・緑信号）を示さない場合には、信号情報の提示を継続する。自車両が交差点領域に進入したときに青信号以外の信号（赤信号・黄信号）である場合には、青色乃至黄色の信号点灯中に交差点を通過できない可能性が高いと予測される。この状況下において、ドライバは信号機情報を必要とすると判断し、信号情報の提示を行う。これにより、ドライバが必要とする信号情報を提示できる。なお、本実施形態において、交差点の中心から交差点領域の外延までの距離は、交差点の中心から交差点の停止線までの距離よりも長い。つまり交差点領域は、交差点の停止線を含む領域である。

【0040】

本実施形態の制御装置１０は、通信装置４０を介して、外部から信号機の信号制御情報を取得する。制御装置１０は、信号制御情報と車速などの車両情報とに基づいて自車両が信号機の停止線位置に到着するタイミングを予測する。そして、制御装置１０は、自車両が停止線位置に到達する際に信号機が進行許可の信号情報（青信号）、又は例外付き進行禁止（黄信号）、つまり、原則は進行禁止であるが、停止が出来ない場合に限って進行が許される信号情報を示す場合には、信号情報の提示を継続させる。車両が停止線に到着する際に信号機が青信号又は黄信号を示すと予測される場合には、ドライバは引き続き信号の変化に注意するので、信号情報を必要とすると考えられる。本実施形態の制御装置１０は、車両が停止線に到着する際に信号機が青信号又は黄信号を示すと予測される場合には、ディスプレイ３０に信号情報を提示しつづける。これにより、ドライバが必要とする信号情報を適時に提示することができる。

【0041】

本実施形態の制御装置１０は、信号機が停止線位置以降の進行を禁止する、つまり赤信号の信号情報を示す場合であって、先述した他車両挙動判断機能により前方他車両が走行中であると判断された場合には、信号情報を提示させる。接近中の信号が赤信号であっても前方他車両が移動した場合には、車間を詰めている場合がある。交差点領域内において、車両を移動させるには、ドライバは信号情報を確認する必要がある。本実施形態の制御装置１０は、このような場合においても、ドライバが必要とする信号情報を適時に提示できる。

【0042】

続いて、本実施形態の信号情報提示装置１００の制御手順の一例を、図６のフローチャートに基づいて説明する。図６に示す処理内容は、制御装置１０として機能する信号認識ＥＣＵにおいて、例えば50msec程度の間隔で連続的に行われる。

【0043】

図６に示すように、ステップＳ１１０において、制御装置１０は、カメラ２０の撮像画像を取得する。カメラ２０が複数設けられている場合には、各カメラ２２Ｒ，２２Ｌの撮像画像を取得する。

【0044】

ステップＳ１２０において、制御装置１０は、取得した各撮像画像から信号機が示す信号情報を検出する。

【0045】

ステップＳ１３０において、制御装置１０は、自車両の車両情報に基づいて、ドライバの視野領域を算出する。

【0046】

ステップＳ１４０において、制御装置１０は、信号機が視認困難領域に含まれるか否かを判断する。視認困難領域は、視野領域の境界線の近傍乃至視野領域の外側である。視認困難領域はドライバが、信号機を視認するのが容易でない乃至困難である領域である。信号機が視認困難領域内でない場合（視認困難領域外）、つまり視認可能乃至視認容易な領域内である場合には、ステップＳ２１０へ進み、信号情報は提示しない。他方、信号機がドライバにとって視認が難しい視認困難領域内である場合にはステップＳ１５０へ進む。

【0047】

ステップＳ１５０において、制御装置１０は、複数のカメラ２０の撮像画像からそれぞれ信号機が検出できたか否かを判断する。複数のカメラ２０の撮像画像から信号機を検出できた場合には、ステップＳ１６０へ進み、いずれか一つの撮像画像から検出された信号情報を提示する。信号機が検出された撮像画像から得られた信号情報は等価であると評価できるからである。ちなみに、本実施形態において、撮像画像から信号機が検出することができたか否かは、予測される完全な信号機の画像面積に対し、検出された信号機の画像面積の割合が所定値以上であるか否かを条件に判断する。他にも、検出された信号機の形状と完全な信号機の形状とのマッチング度合が所定値以上であるか否かを条件として、撮像画像から信号機が検出することができたか否かを判断できる。

【0048】

他方、ステップＳ１５０において、複数のカメラ２０の撮像画像から信号機を検出できなかった場合には、ステップＳ１７０に進む。ステップＳ１７０において、制御装置１０は、複数の撮像画像、例えば第１カメラ２２Ｒの第１撮像画像と第２カメラ２２Ｌの第２撮像画像のうち、信号機の像に対応する画像面積が多く含まれる撮像画像から検出された信号情報を提示させる。

【0049】

例えば、図７に示すように、第１カメラ２２Ｒは、前方他車両によって撮像領域ＡＲＲが遮られて信号機ＳＧ１の全部の像を撮像できない。他方、第２カメラ２２Ｌは、前方他車両によって撮像領域ＡＲＬは遮られることなく、信号機ＳＧ１の完全な像を撮像できる。つまり、第１カメラ２２Ｒの撮像画像には信号機ＳＧ１の画像の全部は含まれていないが、第２カメラ２２Ｌの撮像画像には信号機ＳＧ１の画像の大部分乃至全部が含まれている。この場合は、信号機の像に対応する画像面積が多く含まれる第２カメラ２２Ｌの撮像画像から検出された信号情報をディスプレイ３０に提示させる。本実施形態の信号情報は、信号機の像に対応する画像情報である。制御装置１０は、撮像画像から信号機の像に対応する画像領域を切り出して、これをディスプレイ３０に提示する。制御装置１０は、小さく縮小した信号情報（信号部分の撮像画像）を経路案内情報や地図情報とともにディスプレイに提示する。

【0050】

続くステップＳ１８０において、制御装置１０は、自車両の前に存在する前方他車両、その前方他車両のさらに前に存在する前方他車両の動きを判断する。ちなみに、図８に示すように、他車両ＶＸ，ＶＸ２が車幅方向にずれていれば、カメラ２２Ｒ，２２Ｌの二つの視点から見たときに、どちらの視点から見ても他車両ＶＸ２が他車両ＶＸに完全に隠れてしまうことはない。つまり、自車両の直前の前方他車両ＶＸ、前方他車両のさらに前の前方他車両ＶＸ２は、各カメラ２２Ｒ，２２Ｌの何れか一方により検出できる。前方他車両ＶＸ又はその前の前方他車両ＶＸ２が走行していると判断された場合にはステップＳ１９０へ進み、前方他車両ＶＸ又はその前の前方他車両ＶＸ２に動きが検出できなかった場合にはステップＳ２００へ進む。

【0051】

ステップＳ１９０において、制御装置１０は、前方他車両が走行している状況であるので、信号機は進行を許可しているものと推測する。この状況において、ドライバは信号情報を必要としていないと判断し、信号情報の提示を中止する。

【0052】

ステップＳ２００において、制御装置１０は、前方他車両が走行していない状況であるので、信号機は進行を許可していない可能性が高いと推測する。この状況において、ドライバは信号情報を必要としていると判断し、信号情報の提示を継続する。

【0053】

続いて、本実施形態の信号情報提示装置１００の制御手順の他の一例を、図９のフローチャートに基づいて説明する。図９に示す処理内容は、制御装置１０として機能する信号認識ＥＣＵにおいて、例えば５０ｍｓｅｃ程度の間隔で連続的に行われる。

【0054】

図９に示す制御手順は、信号機が示す色、つまり交通の制御内容に応じて信号情報の提示処理を制御する手順である。本処理のステップＳ１１０〜Ｓ１７０及びステップＳ２１０の処理は図６に示すフローチャートの制御内容と共通するので、ここでは重複する説明を省略し、図６に係る説明を援用する。

【0055】

制御装置１０は、ステップＳ１６０、ステップＳ１７０において、撮像画像から検出された信号情報を提示させる。

【0056】

そして、ステップＳ３００において、制御装置１０は、信号情報が示す信号の点灯色を検出する。撮像画像から信号機に対応する領域を抽出し、信号機の点灯色を識別する。画像情報中の所定領域の色の識別手法は特に限定されず、出願時に知られた手法を用いることができる。

【0057】

続くステップＳ３１０において、制御装置１０は、交差点の中心位置に応じて定義された交差点領域に自車両が進入したタイミングで、信号機が進行許可の信号情報（例えば青信号）を示していない場合、つまり進行禁止（例えば赤信号）又は例外付き進行禁止（例えば黄信号）の場合には、ステップＳ３３０へ進み、信号情報の提示を継続させる。交差点領域は予め信号機の設置位置を基準に定義され、ナビゲーション装置５０の地図情報５２又は信号機情報５３に読み込み可能に記憶される。制御装置１０は、交差点領域の情報を地図情報５２又は信号機情報５３から読み出してもよいし、ＩＴＳの路側装置から取得してもよい。

【0058】

制御装置１０は、位置検出装置５１により検出された現在位置と、交差点領域の境界位置とを比較して、自車両が交差点領域に進入するタイミングを算出する。

【0059】

制御装置１０は、通信装置４０を介して外部装置（ＩＴＳ：Intelligent Transport Systems：高度道路交通システムを構成する装置など）から信号機の信号制御情報を取得する。信号制御情報に基づいて自車両が交差点領域に進入するタイミングで示される信号情報を予測する。なお、信号制御情報は、自車両が最も接近しつつある信号機（ドライバが注目すべき信号機）が、何時、何色の信号を点灯させるかという情報である。ある色が点灯するタイミング、点灯色の変化の順番、各点灯色の点灯時間（長さ）であってもよい。

【0060】

本実施形態の交差点領域は、交差点近傍の道路における通常の車速を考慮し、交差点領域に進入した時に青信号であれば青色乃至黄色の信号点灯中に車両が交差点を通過できる範囲として定義される。言い換えると、交差点領域に進入したときに青信号以外である場合には、青色乃至黄色の信号点灯中に車両が交差点を通過できない可能性が高いと判断できる。この場面において、ドライバは信号機情報を必要とすると判断し、信号情報の提示を行う。これにより、ドライバが必要とする信号情報を提示できる。

【0061】

他方、信号機が進行許可の信号情報（例えば青信号）を示す場合には、ステップＳ３２０へ進む。

【0062】

ステップＳ３２０において、制御装置１０は、信号機の信号制御情報を取得し、信号制御情報と車両情報に基づいて自車両が信号機の停止線位置に到着するタイミングを予測する。制御装置１０は、通信装置４０を介して外部装置から信号機の信号制御情報を取得し、その信号制御情報と車両情報に基づいて自車両が信号機の停止線位置に到着するタイミングを予測する。制御装置１０は、停止線位置をナビゲーション装置の地図情報５２又は信号機情報５３から読み出してもよいし、ＩＴＳの路側装置から取得してもよい。自車両の現在位置は、ナビゲーション装置５０の位置検出装置５１から取得する。

【0063】

制御装置１０は、自車両が停止線位置に到達する際に、信号機が進行許可の信号情報（例えば青信号）又は例外付き進行禁止の信号情報（例えば黄信号）を示す場合には、ステップＳ３３０へ進み、信号情報の提示を継続する。

【0064】

ちなみに、一般的なドライバは、信号機が視認できない状況では、車両を減速・停止させる行動をとる傾向がある。また、自車両の前方他車両が大型車両である場合には、同じ走行レーンを走る車両のうち、信号が見えないのは自車両だけであり、後方他車両のドライバは信号機が見えている場合がある。この状況下で自車両が減速・停止すると、後方車両が自車両に接近する可能性がある。この場面において、信号情報を確認できると、ドライバは車両操作がしやすくなる。

【0065】

続いて、車両は、交差点領域内に入り、停止線到達後、交差点内に進入（進行）する。交差点内へ進入する直前の停止線到達時に信号機が黄信号又は青信号を示すと予測される場合には、ドライバは引き続き信号の変化を監視する必要があるため、制御装置１０は信号情報の提示を継続する。信号情報の提示は、交差点を通過したと判断されるまで継続することができる。交差点に通過は位置検出装置５１が検出する自車両の位置と交差点中心との距離により判断してもよい。本実施形態によれば、ドライバが必要とするタイミング及び場面において、信号情報を提示することができる。

【0066】

ステップＳ３２０において、停止線到達時に信号機が黄色又は青信号を示さない場合、つまり、停止線到達時に赤信号を示す場合には、ステップＳ２１０に進み、制御装置１０は、信号情報の提示を中止する。交差点領域に進入する時には青信号であるが、停止線到達時には赤信号になってしまう場面では、乗員は停止操作をする可能性が高いので、信号情報を必要としないと考えられる。このため、ドライバが必要としない情報の提示を行わないようにできる。

【0067】

ステップＳ３２０は、ステップＳ３１０を介することなく、ステップＳ３００の次に行うように構成することも可能である。つまり、交差点領域に進入する時の信号色を確認することなく、停止線到達時における信号色に基づいて提示処理を制御してもよい。

【0068】

なお、ステップＳ３１０において、交差点領域に進入する時に青信号である場合に、ステップＳ３２０を介することなく、ステップＳ２１０に進むことができる。交差点領域へ進入する時に青信号であれば、青色乃至黄色の信号点灯中に交差点を通過できるという予測の下、ドライバは信号機情報を必要としないと判断し、信号情報の提示を行わない（不提示）。これにより、ドライバが必要としない信号情報の提示を行わないようにできる。

【0069】

本実施形態の信号情報提示装置１００によれば、以下の効果を奏する。

【0070】

[１]本実施形態の信号情報提示装置１００によれば、信号機の像の位置が視認困難領域内に存在すると判断された場合には、信号機がドライバが視認し難い場所にあると考えられるため、信号情報をディスプレイ３０に提示させる。他方、信号機の像の位置が視認困難領域以外に存在すると判断された場合には、信号機がドライバが視認し易い場所にあると考えられるため、信号情報をディスプレイ３０に提示しない。これにより、ドライバが信号情報を必要とする場合に、信号情報をディスプレイ３０に提示させることができる。

【0071】

[２] 本実施形態の信号情報提示装置１００によれば、二つのカメラ２０の撮像画像のうち、信号機の像に対応する画像面積が多く含まれる方の信号情報を提示させることにより、信号情報を提示できないというリスクを低減できる。つまり、いずれかのカメラ２０の撮像画像から信号情報を検出できる可能性を高めることができるので、ドライバが視認し難い信号情報を適時に提示できる。

【0072】

[３] 本実施形態の信号情報提示装置１００によれば、前方他車両が走行中であると判断された場合には、信号情報の提示を中止させる。前方他車両が走行中である場合には、例えば、信号機が青信号（緑信号）となり、自車両も走行が可能である状況であると考えることができる。このような場合には、ドライバは信号情報を必要としていないため、信号情報の提示は行わない。これにより、不必要な情報を提示しないようにできる。

【0073】

[４]自車両が交差点領域に進入したタイミングで青信号以外の進行禁止の信号（赤信号・黄信号）である場合には、青色乃至黄色の信号点灯中に交差点を通過できない可能性が高いと予測される。本実施形態の信号情報提示装置１００によれば、交差点領域に進入したときに青信号以外の進行禁止の信号（赤信号・黄信号）である状況下ではドライバが信号機情報を必要とすると判断し、信号情報の提示を行う。これにより、ドライバが必要とする信号情報を提示できる

【0074】

[５] 車両が停止線に到着するタイミングで信号機が青信号又は黄信号を示すと予測される場合には、ドライバは引き続き信号の変化に注意を払うので信号情報を必要とすると考えられる。本実施形態の信号情報提示装置１００によれば、ドライバが停止線に到着する際に信号機が青信号又は黄信号を示すと予測される場合には、ディスプレイ３０に信号情報の提示を継続する。これにより、ドライバが必要とする信号情報を適時に提示することができる。

【0075】

[６]本実施形態の信号情報提示装置１００によれば、進行を禁止する赤信号が示された場合であって、かつ前方他車両が走行中であると判断された場合には信号情報を提示させる。前方他車両の動きに従って車両を移動させるには、ドライバは信号情報を確認する必要がある。本実施形態の制御装置１０は、このような場合においても、ドライバが必要とする信号情報を適時に提示できる。

【0076】

[７]本実施形態の信号情報提示装置１００によれば、ドライバの身体情報と車両情報に基づいてドライバの視点を正確に求めることができる。このドライバの視点に基づいて、視認困難領域の基準となる視野領域を正確に求めることができる。その結果、ドライバが信号情報を必要としているか否かを適切に判断できる。

【0077】

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

【0078】

すなわち、本明細書では、本発明に係る信号情報提示装置１００と、ナビゲーション装置５０と、車両コントローラ６０と、各種センサ７０とを備える車載システム１を例にして説明するが、本発明はこれに限定されるものではない。

【0079】

本明細書では、本発明に係る信号情報提示装置の一態様として、制御装置１０と、カメラ２０と、ディスプレイ３０と、通信装置４０とを備える信号情報提示装置１００を一例として説明するが、これに限定されるものではない。

【0080】

本明細書では、信号情報検出手段と、視野算出手段と、提示制御手段とを備える本発明に係る信号情報提示装置の一例として、信号情報検出機能と、視野算出機能と、提示制御機能とを実行する制御装置１０を有する信号情報提示装置１００を一例として説明するが、これに限定されるものではない。

【0081】

本明細書では、他車両挙動判断手段をさらに備える本発明に係る信号情報提示装置の一例として、他車両挙動判断機能をさらに実行する制御装置１０を有する信号情報提示装置１００を一例として説明するが、これに限定されるものではない。

【0082】

本明細書では、停止線を越えて交差点への進行を許可する信号を青信号とし、停止線を越えて交差点に進行することを禁止する信号を赤信号とし、停止線を越えて交差点に進行することを禁止するが、停止できない場合には進行を許可する例外付き進行禁止の信号を黄信号と表現するが、信号は色のみでなく、各色に対応する音、音楽、振動などにより表現するものを含む。

【符号の説明】

【0083】

１…車載システム
１００…信号情報提示装置
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
２０，２１，２２Ｒ、２２Ｌ…カメラ
３０…ディスプレイ
４０…通信装置
５０…ナビゲーション装置
５１…位置検出装置
５２…地図情報
５３…信号機情報
６０…車両コントローラ
６１…車両情報
６２…乗員身体情報
７０…各種センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】