特表-14097347IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人

▶ 三菱電機株式会社の特許一覧
再表2014-97347視認性推定装置及び安全運転支援システム
<>
  • 再表WO2014097347-視認性推定装置及び安全運転支援システム 図000003
  • 再表WO2014097347-視認性推定装置及び安全運転支援システム 図000004
  • 再表WO2014097347-視認性推定装置及び安全運転支援システム 図000005
  • 再表WO2014097347-視認性推定装置及び安全運転支援システム 図000006
  • 再表WO2014097347-視認性推定装置及び安全運転支援システム 図000007
  • 再表WO2014097347-視認性推定装置及び安全運転支援システム 図000008
  • 再表WO2014097347-視認性推定装置及び安全運転支援システム 図000009
  • 再表WO2014097347-視認性推定装置及び安全運転支援システム 図000010
  • 再表WO2014097347-視認性推定装置及び安全運転支援システム 図000011
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2014年6月26日
【発行日】2017年1月12日
(54)【発明の名称】視認性推定装置及び安全運転支援システム
(51)【国際特許分類】
   G08G 1/00 20060101AFI20161216BHJP
   G08G 1/16 20060101ALI20161216BHJP
【FI】
   G08G1/00 J
   G08G1/16 C
【審査請求】有
【予備審査請求】未請求
【全頁数】35
【出願番号】特願2014-552747(P2014-552747)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2012年12月18日
(11)【特許番号】特許第5930067号(P5930067)
(45)【特許公報発行日】2016年6月8日
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IS,JP,KE,KG,KM,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LT,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US,UZ,VC
(71)【出願人】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
【住所又は居所】東京都千代田区丸の内二丁目7番3号
(74)【代理人】
【識別番号】100112210
【弁理士】
【氏名又は名称】稲葉 忠彦
(74)【代理人】
【識別番号】100108431
【弁理士】
【氏名又は名称】村上 加奈子
(74)【代理人】
【識別番号】100153176
【弁理士】
【氏名又は名称】松井 重明
(74)【代理人】
【識別番号】100109612
【弁理士】
【氏名又は名称】倉谷 泰孝
(72)【発明者】
【氏名】村山 修
【住所又は居所】東京都千代田区丸の内二丁目7番3号 三菱電機株式会社内
(72)【発明者】
【氏名】羽藤 淳平
【住所又は居所】東京都千代田区丸の内二丁目7番3号 三菱電機株式会社内
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181CC04
5H181EE13
5H181EE14
5H181FF04
5H181FF10
5H181FF27
5H181LL01
5H181LL06
(57)【要約】
本発明は、周囲の視認性の変化を推定することを目的とする。この目的を達成するため、本発明に係る視認性推定装置は、画像を解析することによりランドマークを検知する画像認識部1と、画像認識部1により検知されたランドマークの画像解析結果と画像認識部1がそのランドマークを検知した時の検知位置とを過去の検知履歴として記録する情報蓄積部2と、画像認識部1が情報蓄積部2に記録した検知履歴に対応するランドマークを再度検知した時、その時の検知位置と情報蓄積部2に記録された過去の検知位置との比較に基づき視認性の変化を推定する視認性判定部3とを備える。
【特許請求の範囲】
【請求項1】
画像を解析することによりランドマークを検知する画像認識部と、
前記画像認識部により検知されたランドマークの画像解析結果と、前記画像認識部が前記ランドマークを検知した時の検知位置とを前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、
前記画像認識部が前記検知履歴に対応する前記ランドマークを再度検知した時、その時の検知位置と前記情報蓄積部に記録された過去の検知位置との比較に基づき視認性の変化を推定する視認性判定部とを備えた視認性推定装置。
【請求項2】
画像を解析することによりランドマークを検知する画像認識部と、
前記画像認識部により検知されたランドマークの画像解析結果と、前記画像認識部が前記ランドマークを検知した時の検知位置とを前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、
前記情報蓄積部に記録された過去の検知位置において前記画像認識部が再度解析した前記ランドマークの画像解析経過と、前記情報蓄積部に記録された過去の画像解析結果との比較に基づき視認性の変化を推定する視認性判定部とを備えた視認性推定装置。
【請求項3】
画像を解析することによりランドマークを検知する画像認識部と、
前記画像認識部が前記ランドマークを検知した時の位置から前記ランドマークまでの検知距離を前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、
前記画像認識部が前記検知履歴に対応する前記ランドマークを再度検知した時、その時の検知距離と前記情報蓄積部に記録された過去の検知距離との比較に基づき視認性の変化を推定する視認性判定部とを備えた視認性推定装置。
【請求項4】
前記情報蓄積部は前記検知履歴をランドマークの種別毎に記録し、
前記画像認識部が前記検知履歴に対応する前記ランドマークと同じ種別のランドマークを再度検知した場合に、前記視認性判定部により視認性の変化を推定することを特徴とする請求項2または請求項3記載の視認性推定装置。
【請求項5】
前記情報蓄積部は複数の使用状況に対応して複数の検知履歴を記録し、
前記視認性判定部は使用状況に応じて異なる検知履歴を比較対象とすることを特徴とする請求項1ないし請求項4の何れかに記載の視認性推定装置。
【請求項6】
前記視認性判定部は、視認性の変化を推定するための比較の際に閾値を用い、前記閾値を使用状況に応じて切り替えることを特徴とする請求項1ないし請求項4の何れかに記載の視認性推定装置。
【請求項7】
前記視認性判定部は、視認性の変化を推定するための比較の際に閾値を用い、
前記視認性判定部が視認性の変化を推定したとき、使用者の行動の変化に基づき前記閾値を調整する判定基準調整部を備えたことを特徴とする請求項1ないし請求項4の何れかに記載の視認性推定装置。
【請求項8】
前記視認性判定部が視認性低下と推定したとき、使用者の行動の変化に基づき使用者が視認性低下を感じていないと推測される場合は、前記閾値を上げることを特徴とする請求項7記載の視認性推定装置。
【請求項9】
前記視認性判定部が視認性低下と推定しないとき、使用者の行動の変化に基づき使用者が視認性低下に気づいていないと推測される場合は、前記閾値を下げることを特徴とする請求項7記載の視認性推定装置。
【請求項10】
画像を解析することによりランドマークを検知するステップと、
検知されたランドマークの画像解析結果と、前記ランドマークが検知された時の検知位置とを前記ランドマークに関する過去の検知履歴として記録するステップと、
前記検知履歴に対応する前記ランドマークが再度検知された時、その時の検知位置と記録された過去の検知位置との比較に基づき視認性の変化を推定するステップとを備えた視認性推定方法。
【請求項11】
画像を解析することによりランドマークを検知するステップと、
検知されたランドマークの画像解析結果と、前記ランドマークが検知された時の検知位置とを前記ランドマークに関する過去の検知履歴として記録するステップと、
過去の検知位置において再度検知された前記ランドマークの画像解析経過と、記録された過去の画像解析結果との比較に基づき視認性の変化を推定するステップとを備えた視認性推定方法。
【請求項12】
画像を解析することによりランドマークを検知するステップと、
前記ランドマークが検知された時の位置から前記ランドマークまでの検知距離を前記ランドマークに関する過去の検知履歴として記録するステップと、
前記検知履歴に対応する前記ランドマークが再度検知された時、その時の検知距離と記録された過去の検知距離との比較に基づき視認性の変化を推定するステップとを備えた視認性推定方法。
【請求項13】
画像を解析することによりランドマークを検知する画像認識部と、
前記画像認識部により検知されたランドマークの画像解析結果と、前記画像認識部が前記ランドマークを検知した時の検知位置とを前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、
前記画像認識部が前記検知履歴に対応する前記ランドマークを再度検知した時、その時の検知結果と前記情報蓄積部に記録された過去の検知履歴との比較に基づき視認性の変化を推定する視認性判定部と、
前記視認性判定部が過去の視認性と比較して現在の視認性が低下していると推定したとき、使用者に周囲の安全支援情報の提示が必要と判断するための閾値を下げる情報提示判断部と、
前記情報提示判断部が情報を提示すると判断したとき使用者に情報を提示する情報提示部とを備えた安全運転支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ドライバや歩行者等の使用者に様々な情報を通知する際に、通知が過剰になって、運転や歩行の妨げにならないように制御する技術に関するものである。
【背景技術】
【0002】
近年、自動車運転時の安全性向上に向けて、様々な安全運転支援技術が研究・開発されている。例えば前方車両や周囲の車両との接近時に、車内に用意した表示機に警告表示したり、スピーカで警告音を発して通知したりするシステムが存在するほか、路肩の歩行者や標識等の存在を通知し、ドライバの見落としを防ぐシステムが存在する。
【0003】
しかし、これらの様々な安全運転支援技術を導入する際には、ドライバへの情報通知が過剰になることによりドライバの注意力の低下を引き起こさないように注意する必要がある。例えば、街中を走行中には多数の歩行者が存在するし、多数の道路標識が存在するため、全てをドライバに通知することはドライバに煩わしさを感じさせ、本来積極的に通知すべき情報が正しくドライバに伝わらないといった問題を引き起こす恐れがある。
【0004】
こういった問題を避けるべく、様々な条件で通知する情報を絞る方法が存在する。例えば、道路標識およびその周囲をカメラで撮影し、道路標識周辺のエッジ数や道路標識の色彩の情報から、見えにくい標識のみを表示する方法がある(特許文献1)。
【0005】
また、予めナビゲーション装置内に地図情報と共に標識の情報(文字データ等)を記録しておき、走行中にカメラで撮影した標識の情報が予め記録された情報と異なる場合のみ、その標識を表示することにより、過剰な表示を抑制する方法がある(特許文献2)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2010−239448号公報
【特許文献2】特開2005−300342号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1に記載された方法は、標識自体が見やすいかどうかを判定して、周囲の風景に溶け込んで視認性が低くなっている標識のみを表示するものであるため、周囲の視認性の変化まで推定できるものではなかった。また、視認性が低くなっている標識が多数存在すればその分表示される事となる。特に、頻繁に利用する道路において、たとえ見えにくいとしても、その交通標識の表示内容を把握している場合などは、そういった見えにくい標識が同じ道を通るたびに繰り返し表示されることはドライバにとって煩わしいものであり、注意力の低下を招き、安全運転が損なわれる恐れがあるという問題がある。
【0008】
また、特許文献2に記載された方法は、地図情報と共に記録された標識と、走行中に検知した標識とを比較し、異なるかどうかを判断するに過ぎず、視認性の変化を判断できるものではなかった。また、同一地点を通過する標識が繰り返し表示されることを避けることは出来るものの、標識の表示に特化したものであり、例えば前述の歩行者のように、他の通知対象物が過剰な通知にならないように制御する効果は無い。特に歩行者のようにいつも同じ位置に存在するという性質のものではない場合は、この方式のように地図と結びつけて記録し、変化の有無で通知するかどうかを判定することは出来ない。
【0009】
本発明は上記のような問題を解決するためになされたもので、標識等のランドマークの見易さがどのように変化するかを監視することで、視認性の変化を推定することを目的とする。また、過去と比較した視認性の変化を推定することにより、周囲の視認性、すなわち使用者が周囲の状況を十分離れた位置から確認できる状況にあるかを判断し、使用者への過剰な情報提示を抑制することを目的とする。
【課題を解決するための手段】
【0010】
本発明に係る視認性推定装置は、画像を解析することによりランドマークを検知する画像認識部と、前記画像認識部により検知されたランドマークの画像解析結果と、前記画像認識部が前記ランドマークを検知した時の検知位置とを前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、前記画像認識部が前記検知履歴に対応する前記ランドマークを再度検知した時、その時の検知位置と前記情報蓄積部に記録された過去の検知位置との比較に基づき視認性の変化を推定する視認性判定部とを備えたものである。
【0011】
また、画像を解析することによりランドマークを検知する画像認識部と、前記画像認識部により検知されたランドマークの画像解析結果と、前記画像認識部が前記ランドマークを検知した時の検知位置とを前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、前記情報蓄積部に記録された過去の検知位置において前記画像認識部が再度解析した前記ランドマークの画像解析経過と、前記情報蓄積部に記録された過去の画像解析結果との比較に基づき視認性の変化を推定する視認性判定部とを備えたものである。
【0012】
また、画像を解析することによりランドマークを検知する画像認識部と、前記画像認識部が前記ランドマークを検知した時の位置から前記ランドマークまでの検知距離を前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、前記画像認識部が前記検知履歴に対応する前記ランドマークを再度検知した時、その時の検知距離と前記情報蓄積部に記録された過去の検知距離との比較に基づき視認性の変化を推定する視認性判定部とを備えたものである。
【0013】
また、本発明に係る視認性推定方法は、画像を解析することによりランドマークを検知するステップと、検知されたランドマークの画像解析結果と、前記ランドマークが検知された時の検知位置とを前記ランドマークに関する過去の検知履歴として記録するステップと、前記検知履歴に対応する前記ランドマークが再度検知された時、その時の検知位置と記録された過去の検知位置との比較に基づき視認性の変化を推定するステップとを備えたものである。
【0014】
また、画像を解析することによりランドマークを検知するステップと、検知されたランドマークの画像解析結果と、前記ランドマークが検知された時の検知位置とを前記ランドマークに関する過去の検知履歴として記録するステップと、過去の検知位置において再度検知された前記ランドマークの画像解析経過と、記録された過去の画像解析結果との比較に基づき視認性の変化を推定するステップとを備えたものである。
【0015】
また、画像を解析することによりランドマークを検知するステップと、前記ランドマークが検知された時の位置から前記ランドマークまでの検知距離を前記ランドマークに関する過去の検知履歴として記録するステップと、前記検知履歴に対応する前記ランドマークが再度検知された時、その時の検知距離と記録された過去の検知距離との比較に基づき視認性の変化を推定するステップとを備えたものである。
【0016】
更に、本発明に係る安全運転支援システムは、画像を解析することによりランドマークを検知する画像認識部と、前記画像認識部により検知されたランドマークの画像解析結果と、前記画像認識部が前記ランドマークを検知した時の検知位置とを前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、前記画像認識部が前記検知履歴に対応する前記ランドマークを再度検知した時、その時の検知結果と前記情報蓄積部に記録された過去の検知履歴との比較に基づき視認性の変化を推定する視認性判定部と、前記視認性判定部が過去の視認性と比較して現在の視認性が低下していると推定したとき、使用者に周囲の安全支援情報の提示が必要と判断するための閾値を下げる情報提示判断部と、前記情報提示判断部が情報を提示すると判断したとき使用者に情報を提示する情報提示部とを備えたものである。
【発明の効果】
【0017】
本発明に係る視認性推定装置および視認性推定方法によれば、視認性の変化、例えば、視認性が通常通りか低下しているかを推定することができる。また、このように視認性の変化を推定することにより、視認性が低下しているときだけ周囲の情報を使用者に伝えることができ、提示する情報量を抑制することができる。
【図面の簡単な説明】
【0018】
図1】本発明の実施の形態1における視認性推定装置を示す図である。
図2】本発明の実施の形態1における視認性判定の流れを示す図である。
図3】本発明の実施の形態2における視認性推定装置を示す図である。
図4】本発明の実施の形態2における視認性判定の流れを示す図である。
図5】本発明の実施の形態3における視認性推定装置を示す図である。
図6】本発明の実施の形態5における視認性推定装置を示す図である。
図7】本発明の実施の形態7における視認性推定装置を示す図である。
図8】本発明の実施の形態8における視認性推定装置を示す図である。
図9】本発明の実施の形態9における安全運転支援システムを示す図である。
【発明を実施するための形態】
【0019】
実施の形態1.
図1はこの発明の実施の形態1における視認性推定装置を示す図である。視認性推定装置としては、車両を運転するドライバの視認性を推定するものの他、歩行者の視認性を推定するものもあるが、この実施の形態1においては、ドライバの視認性を推定するものについて説明する。以下の実施の形態も同様である。図に示すように、実施の形態1におけるドライバ視認性推定装置は、画像認識部1、情報蓄積部2、及び視認性判定部3で構成されている。また、図2は視認性判定部3における視認性判定の流れを示している。
【0020】
画像認識部1は車両に搭載され、進行方向前方を撮影する車載カメラの画像を入力とし、その画像解析結果を情報蓄積部2と視認性判定部3に出力する。画像認識部1は、道路標識、信号機、コンビニの看板等のランドマークを検知する機能を有しており、検知できた場合には、その種別や記載内容を出力する。例えば道路標識の場合、「速度制限標識」「40(km/h)」といった情報を画像解析結果として出力し、検知できない場合には、「検知なし」といった情報を出力する、または何も出力しない。
【0021】
情報蓄積部2は、画像認識部1の出力する画像解析結果とそのランドマークを検知した時の車両位置情報とを入力とし、両者を紐付けて内部のHDD等の記憶媒体(図示せず)に過去の検知履歴として記録する機能を有する。情報蓄積部2に記録された検知履歴の1つである過去の車両位置情報は基準検知位置情報(過去の検知位置)として視認性推定の判断基準として用いられる。車両位置情報はカーナビ等で広く使用されているGPS(Global Positioning System)により生成され、車両の現在位置を正確に示すものである。車両位置情報には緯度・経度といった座標のほかに、車の向きの情報も含む。これは同じくカーナビ等で広く使用されるジャイロセンサー等により生成される。さらに情報蓄積部2は、車両がある座標をある向きに走行している時、その時の車両位置情報とその車両位置情報に紐付けられた画像解析履歴とを記録している場合、それらを検知履歴として出力する。
【0022】
視認性判定部3は、画像認識部1から取得した現在の画像解析結果と、現在の車両位置と、情報蓄積部2から取得した検知履歴と、判定閾値とに基づき、最終的に視認性を判定し、判定結果を出力する。
【0023】
次に、図1図2を用いて視認性判定部3の動作について説明する。
例えば、車両の走行中に、過去に40キロの速度制限標識を検知した地点にさしかかると、情報蓄積部2から「速度制限標識」「40(km/h)」というデータが画像解析履歴として入力され(S100)、その画像解析履歴に紐付けられた過去の検知位置である基準検知位置情報(a)が入力される(S101)。
【0024】
同一地点で同一の道路標識が画像認識部1により検知されると、画像解析結果として「速度制限標識」「40(km/h)」が画像認識部1から入力され(S102)、その時の車両位置情報(b)が入力される(S103)。この場合、基準検知位置情報(a)と現在の車両位置情報(b)とが同一であるため、車両進行方向の視認性に変化がないと判断し、視認性判定結果として「視認性通常」を出力する(S104、S106)。なお、実際には視認性の変化が殆ど無いとしても、標識を認識できる位置は多少のばらつきがあると考えられるため、一定の範囲内は同一地点とみなすという制御が行われる。
【0025】
一方、例えば霧等が発生して視界が悪い場合、普段よりも近づかないと標識を検知できなくなる。具体的には、視認性判定部3において、過去に交通標識を検知した地点にさしかかると、情報蓄積部2から画像解析履歴と基準検知位置情報が通知される(S100、101)のに対し、まだ画像認識部1がその位置でその交通標識を検知できていないため、画像認識部1からの画像解析結果の通知は行われない。さらに車両が進行方向前へ進み、交通標識を完全に検知できると、そこで初めて画像解析結果が通知され(S102)、その時の車両位置情報(b)が入力される(S103)。
【0026】
この場合、同一の交通標識に対応する基準検知位置情報(a)と車両位置情報(b)とが異なるため、視認性に変化が出たと判断する。上記の例では、基準検知位置情報(a)の座標より、その時の車両位置情報(b)の座標の方が進行方向に進んだ位置であるため、視認性が低下したと判断する(S104、S105)。ここで、どれだけ位置が変化した場合に視認性が低下したと判断するか、判断基準として、外部から判定閾値を入力する。例えば判定閾値を2mとした場合、画像解析履歴として標識の検知が通知されてから画像解析結果として標識の検知が通知されるまでの間に、車両が進んだ距離が2m以下の場合は、視認性に変化は無い、つまり視認性判定結果として「視認性通常」を出力する。一方で車両が進んだ距離が2mを超え、例えば4mであった場合には、視認性判定結果として「視認性低下」を出力する。
【0027】
なお、上記の説明では、閾値を外部から取得するようにしたが、閾値を視認性判定部3に記録しておいても良い。
また、情報蓄積部2に蓄積する画像解析履歴とこれに対応する基準検知位置情報は、画像認識部1から画像解析結果を入力する度に更新しても良いが、前方に遮るものがあった場合など、測定できなかった場合にはその解析結果を記録しないようにしても良いし、複数回数の平均によりその影響を出にくくしても良い。また、視認性が良いときの画像解析結果を画像解析履歴としてその時の車両位置と紐付けて記録するようにデータを更新しても良い。視認性が良いかどうかは、車両位置情報(b)の座標が基準検知位置情報(a)の座標より進行方向に対して後方である場合に視認性が良いと判断しても良いし、明るさ等から判断しても良い。更に、最初にランドマークを検知した時の画像解析結果とその時の車両位置情報のみを基準の検知履歴として記録するようにしても良い。
【0028】
以上のように、この実施の形態におけるドライバ視認性推定装置は、標識等、道路の進行方向前方に固定されて設置された物体(ランドマーク)が検知された位置を過去の検知位置と比較することにより、視認性の変化を推定することができる。また、推定された視認性の変化に基づき、周囲で検知した他の物体の情報提供の要否を判断することが出来るので、ドライバへの過剰な情報提供を抑制することが出来る。
【0029】
実施の形態2.
図3はこの発明の実施の形態2におけるドライバ視認性推定装置を示す図である。図1との違いは、画像認識部1aから視認性判定部3aに対して画像解析結果ではなく画像解析経過が出力されている点、及びその画像解析経過が情報蓄積部2aに蓄積される点である。すなわち、実施の形態1では、画像認識部1が認識対象となる交通標識等を完全に検知できたときに、その種別や記載内容を出力していたが、本実施の形態2における画像認識部1aは、それらを完全に検知できていない場合でも、所定の地点を通過した時点で、画像解析経過を出力する。その他については同一であるため説明を省略する。図4は視認性判定部3aにおける視認性判定の流れを示している。
【0030】
図3及び図4を用いて、実施の形態2におけるドライバ視認性推定の方法について説明する。まず、走行中に、画像認識部1aがある標識等を最初に完全に認識した時、その地点でその画像解析結果を情報蓄積部2aに出力し、過去の画像解析結果として蓄積しておく。例えば、進行方向前方に「40(km/h)」と描かれた速度制限の交通標識があった場合に、その交通標識を完全に認識できた車両位置と、「速度制限標識」「40(km/h)」という画像解析結果とを紐付けて過去の検知履歴として情報蓄積部2aに記録しておく。この時に記録された検知履歴の1つである車両位置は、次回以降、画像認識部1aが画像解析経過を出力する基準位置として用いられる。また、同時に記録された過去の画像解析結果は、次回以降、同一地点を通過するときに画像解析履歴として視認性判定部3aに出力され、視認性推定の判断基準として用いられる。
【0031】
その後、車両が基準位置を通過すると、視認性判定部3aは情報蓄積部2aからその地点での画像解析履歴を取得する(S200)。そして、その時に画像認識部1aが解析している内容を画像解析経過として視認性判定部3aに通知する(S201)。例えば、画像認識部1aは、進行方向前方にある交通標識が「速度制限標識」であることは検知できても、その標識に描かれている具体的な数値が読み取れない場合、画像解析経過として「速度制限標識」のみを情報蓄積部2a及び視認性判定部3aに出力する。
【0032】
視認性判定部3aは、画像解析経過として画像認識部1aから入力された「速度制限標識」と、情報蓄積部2から入力された判断基準値である「速度制限標識」「40(km/h)」とを比較する(S202)。この例では、比較した結果、視認性判定部3aは、画像解析経過の方が過去の画像解析履歴より解析レベルが低い、言い換えれば、画像解析経過の方が過去の画像解析履歴より荒い検知情報しか得られていないと判断し、車両進行方向の視認性が低下していると推定して、視認性判定結果として「視認性低下」を出力する(S203)。逆に、同一の解析レベルが得られている場合には、視認性判定結果として「視認性通常」を出力する(S204)。
【0033】
以上のように、同一地点での過去の検知履歴である画像解析履歴と現在の画像解析経過とを比較して、画像解析レベルの変化に基づき視認性の変化を判定できるようにしたため、解析可能な距離まで近づかなくても視認性が低下していることが判定できる。
【0034】
なお、解析レベルは標識の種別とそこに書かれた数値の有無により判断すると限定するものではなく、他の判断基準も存在する。例えば、信号機の検知の場合、過去に同一地点で信号機の存在と信号機の色を判断できていたのに対し、今回信号機の存在のみの検知で色の識別が出来ていない場合、解析レベルが低下したと判断しても良い。また、何らかの他の閾値を設けても良い。
【0035】
また、上記の説明では、最初にランドマークを完全に認識できたときの画像解析履歴を判断基準値として次回以降の画像解析経過との比較対象としたが、画像認識部1aから画像解析経過が出力される度に情報蓄積部2aの画像解析履歴を更新して、前回の画像解析経過を比較対象として用いてもよい。このような構成にすれば、前回と比較して視認性が良いか悪いかを判断することができる。
【0036】
また、上記の説明では、最初にランドマークを完全に認識できたときの車両位置を画像認識部1aが画像解析経過を出力する基準位置としたが、この基準位置を更新するようにしても良い。例えば、あるランドマークを完全に認識できたときの画像解析結果と検知位置を複数回分、情報蓄積部2aに記録しておき、一番視認性が良いときの検知位置を基準位置として更新しても良い。ここで、視認性が良いかどうかの判断は、検知位置に基づいて行っても良いし(検知位置がランドマークから遠い程、視認性が良いと判断する)、周囲の明るさに基づいて行っても良い。また、最初に基準位置を決定した後、その時よりも周囲が明るい時に、再度ランドマークを完全に検知し、その時の車両位置を基準位置として更新しても良い。
このように基準位置を更新する構成にすれば、最初にランドマークを完全に認識できた時の天候が悪くて視認性が悪い場合であっても、徐々に基準位置を補正することができ、視認性推定の性能が良くなる。
【0037】
実施の形態3.
実施の形態1ではランドマークの検知位置の変化を視認性推定に用い、実施の形態2ではランドマークの画像解析レベルの変化を視認性推定に用いた。それに対し、本実施の形態においては、ランドマークの検知位置からランドマークまでの距離(検知距離)の変化を視認性推定に用いる。
【0038】
図5は本実施の形態3におけるドライバ視認性推定装置を示す図である。図1との違いは、情報蓄積部2b内にランドマーク位置記録部21、標準検知距離記録部22が存在することと、情報蓄積部2bから視認性判定部3bに対し、図1と異なるデータが複数伝送される点である。その他については同一であるため説明を省略する。
【0039】
情報蓄積部2b内のランドマーク位置記録部21には、交通標識や信号機等のランドマークの位置情報が記録されている。例えばカーナビ等では交差点の信号を表示するために地図情報の中に信号機の情報が含まれているので、そのような情報を利用する。
【0040】
また、情報蓄積部2b内の検知距離記録部22には、視認性推定に用いる検知履歴として、あるランドマークを最初に検知した時の車両の位置からそのランドマークまでの距離が記録されている。この距離は、次回以降の検知距離との比較対象である基準検知距離(過去の検知距離)として用いられる。基準検知距離は、次のようにして算出される。検知距離記録部22は、あるランドマークの画像認識結果を画像認識部1から初めて取得した時に、車両位置情報を取得するとともに、検知したランドマークが実際に存在する位置をランドマーク位置記録部21から取得し、両者を比較することにより、車両位置からランドマークまでの距離を算出する。例えば、画像認識部1が車両の進行方向に存在する交通標識を検知し、「速度制限標識」「40km/h」という画像解析結果を出力した場合、検知距離記録部22は、ランドマーク位置記録部21よりその交通標識の位置情報を取得する。そして、検知距離記録部22は、取得した交通標識の位置と現在の車両位置とを比較することにより、例えば「25m」という距離を算出する。つまり、その車両がその交通標識を25m手前で検知できたということが記録される。
【0041】
視認性判定部3bの判定処理について説明する。車両があるランドマークに近づき、画像認識部1がその画像を検知すると、画像認識部1はその画像解析結果を視認性判定部3bに出力するとともに、情報蓄積部2bに出力する。情報蓄積部2bは、画像解析結果を受け取ると、その画像解析結果と車両位置情報とから、ランドマーク位置記録部21に記録されているそのランドマークを特定し、そのランドマーク位置情報を視認性判定部3bに出力する。また、情報蓄積部2bは、特定されたランドマークに対応する基準検知距離情報を視認性判定部3bに出力する。
【0042】
視認性判定部3bは、画像認識部1から画像解析結果を受け取ると、その時の車両位置情報を入力する。視認性判定部3bは、入力された車両位置情報とランドマーク位置情報とを用いて、車両からランドマークまでの距離を算出する。すなわち、今回、そのランドマークをどのくらい離れた距離から検知できたかを示す検知距離を算出する。そして、算出された検知距離と情報蓄積部2bから取得した基準検知距離とを比較し、過去に記録された基準検知距離より短いか、つまりランドマークに近づいてから検知されたのかどうかを判断する。比較の際には、実施の形態1と同様に、判定閾値を用いる。例えば基準検知距離が「25m」、今回算出された検知距離が「20m」、閾値が「3m」の場合、基準検知距離と今回算出された検知距離との差分、すなわちランドマークに近づいた距離は5mであり、閾値を越えているため、「視認性低下」と判断する。一方、例えば今回の検知距離が「23m」の場合、標識に近づいた距離は2mであり、閾値を越えないため、視認性判定結果は「視認性通常」と判断する。
【0043】
以上のように、この実施の形態においては、視認性判定部3bは、画像認識部1がランドマークを検知する度に、その時の車両からランドマークまでの検知距離を算出し、算出された検知距離と過去に記録された基準検知距離とを比較することによって視認性を推定するようにした。
【0044】
なお、上記の説明では、あるランドマークを初めて検知した時の検知距離を基準値として検知距離記録部22に記録させたが、ランドマークを検知する度に検知距離記録部22に記録された基準検知距離を更新しても良い。このような構成にすれば、前回と比較して視認性が良いか悪いかを判断することができる。また、複数回の検知距離を平均して基準検知位置としても良い。更に、視認性の良い時の検知距離を記録し、視認性が悪いと推定された時には更新しないようにしても良い。このように視認性の良い時の検知距離を基準検知距離として更新するようにすれば、最初にランドマークを検知した時の天候が悪くて視認性が悪い場合であっても、徐々に基準検知距離を補正することができ、視認性推定の性能が良くなる。
【0045】
実施の形態4.
上記実施の形態1〜3では、過去の同一位置に存在する同一の物体(ランドマーク)の検知履歴を視認性推定に用いていた。それに対し、本実施の形態においては、ランドマークの種別毎に、どのくらい離れた距離から検知できるかを示す基準検知距離を記録しておき、その基準検知距離を視認性推定に用いる。本実施の形態4におけるドライバ視認性推定装置の基本的な構成は実施の形態3と同じであるため、図5を用いて本実施の形態の動作を説明する。同一の構成については説明を省略する。
【0046】
情報蓄積部2b内の検知距離記録部22には、どのくらい離れた距離から検知できるかを示す基準検知距離がランドマークの種別毎に記録されている。基準検知距離の算出方法は、実施の形態3と同様である。例えば、速度制限標識等の交通標識は「25m」、信号機は「30m」、チェーン展開されていてコンビニ等の統一されたデザインを持つ店の看板は「40m」という基準検知距離が記録される。このように、検知距離記録部22は、様々な種別のランドマークについて、その種別ごとに最初に検知した距離を基準検知距離として記録しておく。
【0047】
視認性判定部3bの判定処理について説明する。車両がある種別のランドマークに近づき、画像認識部1がその画像を検知すると、画像認識部1はその画像解析結果を視認性判定部3bに出力するとともに、情報蓄積部2bに出力する。情報蓄積部2bは、画像解析結果を受け取ると、その画像解析結果と車両位置情報とから、ランドマーク位置記録部21に記録されているそのランドマークを特定し、そのランドマーク位置情報を視認性判定部3bに出力する。また、情報蓄積部2bは、入力された画像解析結果からランドマークの種別を特定し、検知距離記録部22に記録されているその種別のランドマークに対応する基準検知距離情報を視認性判定部3bに出力する。
【0048】
視認性判定部3bは、画像認識部1から画像解析結果を受け取ると、その時の車両位置情報を入力する。視認性判定部3bは、入力された車両位置情報とランドマーク位置情報とを用いて、車両から今回検知したランドマークまでの距離を算出する。算出された検知距離と基準検知距離とを比較して視認性の変化を判定することについては、実施の形態3と同様である。
【0049】
以上のように、この実施の形態においては、視認性判定部3bは、画像認識部1がランドマークを検知する度にその時の車両からランドマークまでの距離を算出し、算出された距離とランドマークの種別毎に記録された基準検知距離とを比較することによって視認性を判定するようにした。したがって、上記実施の形態1〜3においては、過去に同じ位置に存在する同一のランドマークを検知したことがあるということが前提であったのに対し、この実施の形態では、初めて通る道においても視認性推定を行う事ができる。
【0050】
なお、上記の説明では、実施の形態1、3と同様、画像認識部1がランドマークを完全に認識できた時に画像解析結果を視認性判定部3bに出力するようにしたが、実施の形態2のように、所定の基準位置において、画像認識部1から画像解析経過を出力するようにしても良い。この場合、基準検知距離を記録した時の完全な画像解析結果と、その後同じ種別のランドマークを検知した時の画像解析経過とを比較し、解析レベルの差により視認性を推定する。また、基準位置はランドマークの種別毎に記録された基準検知距離だけランドマークより手前の位置となる。このようにしても、同じ位置に存在する同一のランドマークを過去に検知したことがなくても、同じ種別のランドマークを検知したことがあれば、初めて通る道においても視認性推定を行う事ができるという効果が得られる。
【0051】
また、上記の説明では、ある種別のランドマークを初めて検知したときの検知距離を基準検知距離として検知距離記録部22に記録させたが、同一の種別のランドマークを検知する度に検知距離記録部22に記録された基準検知距離を更新しても良い。また、複数回の検知距離を平均して記録しても良い。更に、視認性の良いときの検知距離を用いて基準検知位置を更新し、視認性が悪いと推定された時には更新しないようにしても良い。
【0052】
実施の形態5.
上記実施の形態1〜4においては、視認性推定の基準となる過去の検知履歴をランドマーク毎、或いはランドマークの種別毎に1つずつ情報蓄積部2に記録している。例えば、実施の形態1ではランドマーク毎に1つの検知位置(車両位置情報)が記録され、実施の形態2ではランドマーク毎に1つの画像解析履歴が記録され、実施の形態3ではランドマーク毎に1つの検知距離が記録され、実施の形態4ではランドマークの種別毎に1つの検知距離が記録されている。この実施の形態5においては、使用状況に応じて複数の検知履歴を使い分ける例について説明する。使用状況としては、例えば、天候や明るさ等の環境条件や使用者の個人差が挙げられる。
【0053】
画像認識部1の画像解析による物体の検知性能は、天候や明るさ等の環境条件により異なる。そこで、レインセンサーや照度センサー等を用いて、画像認識部1の検知性能に影響を与える天候や明るさ等の環境条件ごとに、異なる検知履歴を用意しておく。例えば、図6に示すように、情報蓄積部2cに昼用検知履歴記録部23と夜用検知履歴記録部24とを設ける。そして、例えば実施の形態1のように、昼用検知履歴記録部23には、昼に検知した画像解析結果とその時の車両位置情報とを対応付けたデータを記録し、夜用検知履歴記録部24には、夜に検知した画像解析結果とその時の車両位置情報とを対応付けたデータを記録しておく。実施の形態1と同様、車両位置情報は基準検知位置情報として視認性推定の判断基準として用いられる。
【0054】
車両が過去にランドマークを検知した地点にさしかかり視認性推定の判断を開始する時、照度センサーや時刻等に基づき昼であると判断すると、昼用検知履歴記録部23に記録された画像解析結果と車両位置情報とを検知履歴として視認性判定部3cに出力する。視認性判定部3cでは、今回検知された車両位置情報を昼用検知履歴記録部23から取得した車両位置情報、すなわち基準検知位置と比較して視認性を推定する。その他の動作については実施の形態1と同様であるため、説明を省略する。
【0055】
昼用検知履歴記録部23と夜用検知履歴記録部24に記録する検知履歴としては、上記のように画像解析結果と車両位置情報とを対応付けたデータ以外でも良い。例えば、実施の形態2のように昼に検知した画像解析結果と夜に検知した画像解析結果を記録しても良いし、実施の形態3のように昼にランドマークを検知した時の検知距離と夜にランドマークを検知した時の検知距離を記録しても良いし、実施の形態4のようにランドマーク毎に昼用の検知距離と夜用の検知距離を記録しても良い。
【0056】
また、照度センサーにより検知される照度に応じて3つ以上の検知履歴記録部を設けても良い。更に、レインセンサーにより、雨天用の検知履歴記録部と晴天要の検知履歴記録部とを設けても良い。
【0057】
また、使用者であるドライバのスキルや視力等により視認性には個人差があるため、情報蓄積部2に記録する検知履歴は、何らかのドライバ識別手段を用いて、ドライバ毎に別に用意しても良い。例えば、過去に検知した画像解析結果とその時の車両位置情報とを対応付けたデータを複数段階に分けて記録しておく。すなわち、視認性の良い状況で検知したデータと視認性の悪い状況で検知したデータとを記録しておく。視認性の悪い状況で検知した時の車両位置は視認性の良い状況で検知した車両位置よりランドマークに近いため、視力の良いドライバに対しては視認性の悪い状況で検知したデータを基準値として用いることにより、「視認性低下」と判断される確率が低くなり、警告表示等が頻繁に行われるのを避けることができる。
【0058】
このように、使用状況に応じて異なる検知履歴を記録しておき、使用状況に応じて異なる検知履歴を比較対象とすることにより、視認性の変化をより的確に推定することができる。
【0059】
実施の形態6.
上記実施の形態5においては、使用状況に応じて複数の検知履歴を用いる例について説明したが、使用状況に応じて視認性推定に用いる閾値を切り替えても良い。例えば、昼は夜と比較して視認性が良いため、昼用の閾値を夜用の閾値より大きく設定する。実施の形態1の例では、基準検知位置より3mランドマークに近づいた時にランドマークを検知した場合、閾値が2mであれば「視認性低下」と判断されるが、閾値が4mであれば「視認性通常」と判断される。したがって、昼用の閾値を4mとし、夜用の閾値を2mとすれば、昼間に「視認性低下」と判断される確率が低くなり、警告表示等が頻繁に行われるのを避けることができる。
【0060】
天候や照度に応じて閾値を設定しても良いことは、上記実施の形態5と同様である。また、ドライバ毎に閾値を設定できることも、上記実施の形態5と同様である。例えば、視認性低下と判断する閾値を上げるためのボタンを設け、情報提供が多すぎると感じるドライバがこのボタンを押すことにより視認性低下と判断しにくくすることができる。また、視認性低下と判断する閾値を下げるためのボタンを設け、視力が悪いドライバはこのボタンを押して、標識を検知する位置が少しでも変わった場合に視認性が低下したと判断するようにしてもよい。
【0061】
実施の形態7.
図7は本実施の形態7におけるドライバ視認性推定装置を示す図である。図1との違いは、判定閾値を生成する判定基準調整部4を用意している点と、情報蓄積部2dに車速情報の入力、車速履歴の出力を追加している点である。その他については同一であるため説明を省略する。
【0062】
上記の各実施の形態においては、視認性が低下したかどうかの判断をする際に判定閾値を参照していたが、本実施の形態7における判定基準調整部4は、その閾値の調整を行う機能を有し、本実施の形態はそのうち閾値を上げる、つまり、視認性判定部3において視認性低下と判断しにくくする場合の動作について示すものである。
【0063】
視認性判定結果として視認性低下が判断された場合、判定基準調整部4では使用者であるドライバが実際に視認性が低下したと感じているかを推測する。具体的には、ドライバが視認性低下を感じた場合には、ワイパーやライトの使用、車速等に変化が生じると推定し、それらの変化を監視する。すなわち、ドライバの行動の変化を監視する。
【0064】
ワイパーの使用の変化を用いる場合、判定基準調整部4は、ワイパーの制御機器よりワイパー動作情報(入/切、動作速度)を取得し、一定期間の間にワイパーのスイッチを入れてワイパーを起動したり、ワイパーの動作速度を速めたりする操作を行っているか観測する。これらの操作が行われていない場合、ドライバは視認性が低下したと感じていないと判断する。
【0065】
ライトの使用の変化を用いる場合、判定基準調整部4は、ヘッドライト・フォグランプの制御機器よりライト動作情報(入/切)を取得し、一定期間の間にライトのスイッチを入れる操作を行っているか観測する。ライトのスイッチを入れる点灯操作が行われていない場合、ドライバは視認性が低下したと感じていないと判断する。
【0066】
車速の変化を用いる場合、例えば実施の形態1における視認性推定方法と組み合わせて説明すると、情報蓄積部2dは、画像解析結果と車両位置情報とを紐付けて蓄積する際に、取得した車速情報も併せて車速履歴として記録しておく。画像認識部1が同一のランドマークを検知したとき、判定基準調整部4は、現在の車速と情報蓄積部2dより取得した過去の車速履歴とを比較し、過去に同一地点を通過した時の車速よりも遅い車速で走行しているかどうか観測する。車速を落としていない場合、ドライバは視認性が低下したと感じていないと判断する。
【0067】
視認性判定結果として視認性低下が判断された時、判定基準調整部4は、上記のワイパーの使用、ライトの使用、車速の何れかの変化、またはその組み合わせにより、ドライバは視認性が低下していると感じていないと判断した場合、視認性判定部3へ通知する判定閾値を上げる。それにより、次回以降、同一のランドマークを検知する際に視認性判定部3が視認性低下と判断しにくくする。例えば、上記実施の形態3の視認性推定方法の例を用いて説明すると、基準検知距離が「25m」、今回算出された検知距離が「20m」、閾値が「3m」の場合、基準検知距離と今回算出された検知距離との差(5m)は閾値を越えているため、「視認性低下」と判断するが、実施にはドライバは視認性低下を感じていないため、次回以降は閾値を「6m」として、「視認性低下」と判断しないようにする。
【0068】
以上のように、視認性低下との判定結果を出力する一方で、ドライバの行動の変化に基づき、ドライバが実際には視認性が低下したと感じていないと推測される場合は、閾値を上げる機能を設けるようにしたので、ドライバが視認性を低下したと感じていないときに過剰に視認性低下と判断することを避け、それに伴う警告の過剰な表示等を抑制する事ができる。
【0069】
実施の形態8.
図8は本実施の形態8におけるドライバ視認性推定装置を示す図である。図1との違いは、判定閾値を生成する判定基準調整部4aを用意している点である。その他については同一であるため説明を省略する。
【0070】
上記の実施の形態7が、視認性判定部3へ入力する判定閾値を上げる場合の動作を示していたのに対し、本実施の形態8における判定基準調整部4aは、閾値を下げる、つまり、視認性判定部3において視認性低下と判断し易くする場合の動作について示すものである。
【0071】
視認性判定部3が視認性低下と判断しなかったものの、以後は積極的に障害物の接近等の警告表示灯を行う必要がある場合には、視認性判定部3が視認性低下と判断しやすくする、つまり判定閾値を下げる必要がある。具体的には、使用者であるドライバが視認性が低下している事に気づいていない状況であり、路肩の歩行者等の発見が遅れるといったドライバの行動の変化が観測できるため、それらの検知を行う。
【0072】
路肩の歩行者等の発見については、まず前方の歩行者等の物体検知情報を取得する。これは画像認識部1の画像解析結果を用いても良いし、別の車載カメラや画像認識を行うデバイスから取得しても良い。一方、ドライバが前方の歩行者等に気付いているかどうかの判断には、ドライバの視線情報が必要となる。これは車外ではなく、車内のドライバ席側に向けて設置されたカメラ映像等で目の動きを検知する等により取得する。
【0073】
歩行者との発見が遅れるという動作は、物体検知情報として物体の位置が判定基準調整部4aに通知されているにもかかわらず、一定期間を超えてもその物体の位置に視線が向かないといった、視線情報が得られた場合である。このような場合、ドライバは視認性が低下していることに気付いていないと考えられるため、視認性判定部3に通知する判定閾値を下げる。例えば、上記実施の形態3の視認性推定方法の例を用いて説明すると、基準検知距離が「25m」、今回算出された検知距離が「22m」、閾値が「4m」の場合、基準検知距離と今回算出された検知距離との差(3m)は閾値を越えていないため、「視認性通常」と判断するが、実施にはドライバは視認性が低下していることに気付いていないと推測できるため、次回以降は閾値を「2m」として、「視認性低下」と判断するようにする。
【0074】
なお、歩行者が突然脇道から現れた場合などについては、物体検知情報を判定基準調整部4aに通知してから物体の位置に視線が向かうまでの時間が短くなるため、視認性が低下しているわけではないので、閾値を上げる動作は行わない。
【0075】
以上のように、視認性判定部3が視認性低下と判断しないときであっても、前方に検知された物体に対してドライバが視線を移すまでに一定の時間を要した場合等、ドライバが視認性が低下した事に気づいていないと推測できる場合に、閾値を下げる機能を設けるようにしたので、視認性低下と判断し易くなり、それに伴う必要な警告の表示等をドライバに提示する事ができるようになる。
【0076】
実施の形態9.
上記各実施の形態における視認性推定装置の視認性判定結果は、例えば安全運転支援システムに用いられる。図9は、安全運転支援システムの概要を示す図である。図において、5は上記各実施の形態で説明した視認性推定装置、6は視認性推定装置5の視認性判定結果を用いて使用者であるドライバに周囲の物体に関する情報を提示するか否かを判断する情報提示判断部、7は情報提供判断部6の判断に基づいてドライバに情報を提示する情報提示部であり、画像により提示する表示部71と音声により提示するスピーカ72とを含む。
【0077】
情報提示判断部6は、視認性判定結果に基づいて、ドライバへの様々な安全支援情報の提示基準、すなわち閾値を切り替える。例えば、前方車両との車間距離が所定距離より短くなると警告する場合、視認性推定装置5の視認性判定結果が「視認性低下」の場合は、提示基準を下げて、通常より遠い場合にも情報提示部7により表示や音声を用いて警告するようにする。このように制御することで、ドライバが精神的にゆとりを持って行動できるようにする。また、前方の歩行者や自転車等の存在を通知する場合、視認性判定結果が「視認性低下」のとき、すなわち特に注意が必要なときのみ、気付きにくい歩行者や自転車の存在をドライバに通知するようにする。
【0078】
また、例えばカーナビゲーション機能を使用中、視認性推定装置5の視認性判定結果が「視認性低下」の場合は、通常より早いタイミングで次の曲がる箇所を音声で指示しても良いし、視認性の低下にあわせてライト・フォグランプの点灯を表示や音声で促したり、またそれらを自動的に点灯したりするようにしても良い。
【0079】
このように、実施の形態1〜8における視認性推定装置による推定結果は、ある時点での特定のランドマークの視認性を推定するだけでなく、過去と比較した視認性の変化を推定するものであるため、周囲の物体に関する安全支援情報の提示の要否の判断基準として使うことができ、ドライバへの過剰な情報提供を抑制することが出来る。すなわち、視認性が低下しているときに、通常は提示しない周囲の安全支援情報を提示するよう提示基準を下げることにより、見通しの良い状況では過剰にドライバに周囲の情報を通知することを防ぐことが出来る。
【符号の説明】
【0080】
1 画像認識部、2 情報蓄積部、21 ランドマーク位置記録部、22 検知距離記録部、23 昼用検知履歴、24 夜用検知履歴、3 視認性判定部、4 判定基準調整部、5 視認性推定装置、6 情報提示判断部、7 情報提示部、71 表示部、72 スピーカ。
図1
図2
図3
図4
図5
図6
図7
図8
図9

【手続補正書】
【提出日】2015年4月8日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ドライバや歩行者等の使用者に様々な情報を通知する際に、通知が過剰になって、運転や歩行の妨げにならないように制御する技術に関するものである。
【背景技術】
【0002】
近年、自動車運転時の安全性向上に向けて、様々な安全運転支援技術が研究・開発されている。例えば前方車両や周囲の車両との接近時に、車内に用意した表示機に警告表示したり、スピーカで警告音を発して通知したりするシステムが存在するほか、路肩の歩行者や標識等の存在を通知し、ドライバの見落としを防ぐシステムが存在する。
【0003】
しかし、これらの様々な安全運転支援技術を導入する際には、ドライバへの情報通知が過剰になることによりドライバの注意力の低下を引き起こさないように注意する必要がある。例えば、街中を走行中には多数の歩行者が存在するし、多数の道路標識が存在するため、全てをドライバに通知することはドライバに煩わしさを感じさせ、本来積極的に通知すべき情報が正しくドライバに伝わらないといった問題を引き起こす恐れがある。
【0004】
こういった問題を避けるべく、様々な条件で通知する情報を絞る方法が存在する。例えば、道路標識およびその周囲をカメラで撮影し、道路標識周辺のエッジ数や道路標識の色彩の情報から、見えにくい標識のみを表示する方法がある(特許文献1)。
【0005】
また、予めナビゲーション装置内に地図情報と共に標識の情報(文字データ等)を記録しておき、走行中にカメラで撮影した標識の情報が予め記録された情報と異なる場合のみ、その標識を表示することにより、過剰な表示を抑制する方法がある(特許文献2)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2010−239448号公報
【特許文献2】特開2005−300342号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1に記載された方法は、標識自体が見やすいかどうかを判定して、周囲の風景に溶け込んで視認性が低くなっている標識のみを表示するものであるため、周囲の視認性の変化まで推定できるものではなかった。また、視認性が低くなっている標識が多数存在すればその分表示される事となる。特に、頻繁に利用する道路において、たとえ見えにくいとしても、その交通標識の表示内容を把握している場合などは、そういった見えにくい標識が同じ道を通るたびに繰り返し表示されることはドライバにとって煩わしいものであり、注意力の低下を招き、安全運転が損なわれる恐れがあるという問題がある。
【0008】
また、特許文献2に記載された方法は、地図情報と共に記録された標識と、走行中に検知した標識とを比較し、異なるかどうかを判断するに過ぎず、視認性の変化を判断できるものではなかった。また、同一地点を通過する標識が繰り返し表示されることを避けることは出来るものの、標識の表示に特化したものであり、例えば前述の歩行者のように、他の通知対象物が過剰な通知にならないように制御する効果は無い。特に歩行者のようにいつも同じ位置に存在するという性質のものではない場合は、この方式のように地図と結びつけて記録し、変化の有無で通知するかどうかを判定することは出来ない。
【0009】
本発明は上記のような問題を解決するためになされたもので、標識等のランドマークの見易さがどのように変化するかを監視することで、視認性の変化を推定することを目的とする。また、過去と比較した視認性の変化を推定することにより、周囲の視認性、すなわち使用者が周囲の状況を十分離れた位置から確認できる状況にあるかを判断し、使用者への過剰な情報提示を抑制することを目的とする。
【課題を解決するための手段】
【0010】
本発明に係る視認性推定装置は、画像を解析することによりランドマークを検知する画像認識部と、前記画像認識部により検知されたランドマークの画像解析結果と、前記画像認識部が前記ランドマークを検知した検知位置とを前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、前記画像認識部が前記検知履歴に対応する前記ランドマークを再度検知した場合この場合の検知位置と前記情報蓄積部に記録された過去の検知位置との比較に基づき視認性の変化を推定する視認性判定部とを備えたものである。
【0011】
また、画像を解析することによりランドマークを検知する画像認識部と、前記画像認識部により検知されたランドマークの画像解析結果と、前記画像認識部が前記ランドマークを検知した検知位置とを前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、前記情報蓄積部に記録された過去の検知位置において前記画像認識部が再度解析した前記ランドマークの画像解析経過と、前記情報蓄積部に記録された過去の画像解析結果との比較に基づき視認性の変化を推定する視認性判定部とを備えたものである。
【0012】
また、画像を解析することによりランドマークを検知する画像認識部と、前記画像認識部が前記ランドマークを検知した位置から前記ランドマークまでの検知距離を前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、前記画像認識部が前記検知履歴に対応する前記ランドマークを再度検知した場合この場合の検知距離と前記情報蓄積部に記録された過去の検知距離との比較に基づき視認性の変化を推定する視認性判定部とを備えたものである。
【0013】
また、画像を解析することによりランドマークを検知する画像認識部と、前記画像認識部が前記ランドマークを検知可能な位置から前記ランドマークまでの基準検知距離を記録する情報蓄積部と、前記画像認識部が前記ランドマークを検知した場合、この場合の検知距離と前記情報蓄積部に記録された前記基準検知距離との比較に基づき視認性の変化を推定する視認性判定部とを備えたものである。
【0014】
更に、本発明に係る安全運転支援システムは、画像を解析することによりランドマークを検知する画像認識部と、前記画像認識部により検知されたランドマークの画像解析結果と、前記画像認識部が前記ランドマークを検知した検知位置とを前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、前記画像認識部が前記検知履歴に対応する前記ランドマークを再度検知した場合この場合の検知結果と前記情報蓄積部に記録された過去の検知履歴との比較に基づき視認性の変化を推定する視認性判定部と、前記視認性判定部が過去の視認性と比較して現在の視認性が低下していると推定したとき、使用者に周囲の安全支援情報の提示が必要と判断するための閾値を下げる情報提示判断部と、前記情報提示判断部が情報を提示すると判断したとき使用者に情報を提示する情報提示部とを備えたものである。
【発明の効果】
【0015】
本発明に係る視認性推定装置によれば、視認性の変化、例えば、視認性が通常通りか低下しているかを推定することができる。また、このように視認性の変化を推定することにより、視認性が低下しているときだけ周囲の情報を使用者に伝えることができ、提示する情報量を抑制することができる。
【図面の簡単な説明】
【0016】
図1】本発明の実施の形態1における視認性推定装置を示す図である。
図2】本発明の実施の形態1における視認性判定の流れを示す図である。
図3】本発明の実施の形態2における視認性推定装置を示す図である。
図4】本発明の実施の形態2における視認性判定の流れを示す図である。
図5】本発明の実施の形態3における視認性推定装置を示す図である。
図6】本発明の実施の形態5における視認性推定装置を示す図である。
図7】本発明の実施の形態7における視認性推定装置を示す図である。
図8】本発明の実施の形態8における視認性推定装置を示す図である。
図9】本発明の実施の形態9における安全運転支援システムを示す図である。
【発明を実施するための形態】
【0017】
実施の形態1.
図1はこの発明の実施の形態1における視認性推定装置を示す図である。視認性推定装置としては、車両を運転するドライバの視認性を推定するものの他、歩行者の視認性を推定するものもあるが、この実施の形態1においては、ドライバの視認性を推定するものについて説明する。以下の実施の形態も同様である。図に示すように、実施の形態1におけるドライバ視認性推定装置は、画像認識部1、情報蓄積部2、及び視認性判定部3で構成されている。また、図2は視認性判定部3における視認性判定の流れを示している。
【0018】
画像認識部1は車両に搭載され、進行方向前方を撮影する車載カメラの画像を入力とし、その画像解析結果を情報蓄積部2と視認性判定部3に出力する。画像認識部1は、道路標識、信号機、コンビニの看板等のランドマークを検知する機能を有しており、検知できた場合には、その種別や記載内容を出力する。例えば道路標識の場合、「速度制限標識」「40(km/h)」といった情報を画像解析結果として出力し、検知できない場合には、「検知なし」といった情報を出力する、または何も出力しない。
【0019】
情報蓄積部2は、画像認識部1の出力する画像解析結果とそのランドマークを検知した時の車両位置情報とを入力とし、両者を紐付けて内部のHDD等の記憶媒体(図示せず)に過去の検知履歴として記録する機能を有する。情報蓄積部2に記録された検知履歴の1つである過去の車両位置情報は基準検知位置情報(過去の検知位置)として視認性推定の判断基準として用いられる。車両位置情報はカーナビ等で広く使用されているGPS(Global Positioning System)により生成され、車両の現在位置を正確に示すものである。車両位置情報には緯度・経度といった座標のほかに、車の向きの情報も含む。これは同じくカーナビ等で広く使用されるジャイロセンサー等により生成される。さらに情報蓄積部2は、車両がある座標をある向きに走行している時、その時の車両位置情報とその車両位置情報に紐付けられた画像解析履歴とを記録している場合、それらを検知履歴として出力する。
【0020】
視認性判定部3は、画像認識部1から取得した現在の画像解析結果と、現在の車両位置と、情報蓄積部2から取得した検知履歴と、判定閾値とに基づき、最終的に視認性を判定し、判定結果を出力する。
【0021】
次に、図1図2を用いて視認性判定部3の動作について説明する。
【0022】
例えば、車両の走行中に、過去に40キロの速度制限標識を検知した地点にさしかかると、情報蓄積部2から「速度制限標識」「40(km/h)」というデータが画像解析履歴として入力され(S100)、その画像解析履歴に紐付けられた過去の検知位置である基準検知位置情報(a)が入力される(S101)。
【0023】
同一地点で同一の道路標識が画像認識部1により検知されると、画像解析結果として「速度制限標識」「40(km/h)」が画像認識部1から入力され(S102)、その時の車両位置情報(b)が入力される(S103)。この場合、基準検知位置情報(a)と現在の車両位置情報(b)とが同一であるため、車両進行方向の視認性に変化がないと判断し、視認性判定結果として「視認性通常」を出力する(S104、S106)。なお、実際には視認性の変化が殆ど無いとしても、標識を認識できる位置は多少のばらつきがあると考えられるため、一定の範囲内は同一地点とみなすという制御が行われる。
【0024】
一方、例えば霧等が発生して視界が悪い場合、普段よりも近づかないと標識を検知できなくなる。具体的には、視認性判定部3において、過去に交通標識を検知した地点にさしかかると、情報蓄積部2から画像解析履歴と基準検知位置情報が通知される(S100、101)のに対し、まだ画像認識部1がその位置でその交通標識を検知できていないため、画像認識部1からの画像解析結果の通知は行われない。さらに車両が進行方向前へ進み、交通標識を完全に検知できると、そこで初めて画像解析結果が通知され(S102)、その時の車両位置情報(b)が入力される(S103)。
【0025】
この場合、同一の交通標識に対応する基準検知位置情報(a)と車両位置情報(b)とが異なるため、視認性に変化が出たと判断する。上記の例では、基準検知位置情報(a)の座標より、その時の車両位置情報(b)の座標の方が進行方向に進んだ位置であるため、視認性が低下したと判断する(S104、S105)。ここで、どれだけ位置が変化した場合に視認性が低下したと判断するか、判断基準として、外部から判定閾値を入力する。例えば判定閾値を2mとした場合、画像解析履歴として標識の検知が通知されてから画像解析結果として標識の検知が通知されるまでの間に、車両が進んだ距離が2m以下の場合は、視認性に変化は無い、つまり視認性判定結果として「視認性通常」を出力する。一方で車両が進んだ距離が2mを超え、例えば4mであった場合には、視認性判定結果として「視認性低下」を出力する。
【0026】
なお、上記の説明では、閾値を外部から取得するようにしたが、閾値を視認性判定部3に記録しておいても良い。
【0027】
また、情報蓄積部2に蓄積する画像解析履歴とこれに対応する基準検知位置情報は、画像認識部1から画像解析結果を入力する度に更新しても良いが、前方に遮るものがあった場合など、測定できなかった場合にはその解析結果を記録しないようにしても良いし、複数回数の平均によりその影響を出にくくしても良い。また、視認性が良いときの画像解析結果を画像解析履歴としてその時の車両位置と紐付けて記録するようにデータを更新しても良い。視認性が良いかどうかは、車両位置情報(b)の座標が基準検知位置情報(a)の座標より進行方向に対して後方である場合に視認性が良いと判断しても良いし、明るさ等から判断しても良い。更に、最初にランドマークを検知した時の画像解析結果とその時の車両位置情報のみを基準の検知履歴として記録するようにしても良い。
【0028】
以上のように、この実施の形態におけるドライバ視認性推定装置は、標識等、道路の進行方向前方に固定されて設置された物体(ランドマーク)が検知された位置を過去の検知位置と比較することにより、視認性の変化を推定することができる。また、推定された視認性の変化に基づき、周囲で検知した他の物体の情報提供の要否を判断することが出来るので、ドライバへの過剰な情報提供を抑制することが出来る。
【0029】
実施の形態2.
図3はこの発明の実施の形態2におけるドライバ視認性推定装置を示す図である。図1との違いは、画像認識部1aから視認性判定部3aに対して画像解析結果ではなく画像解析経過が出力されている点、及びその画像解析経過が情報蓄積部2aに蓄積される点である。すなわち、実施の形態1では、画像認識部1が認識対象となる交通標識等を完全に検知できたときに、その種別や記載内容を出力していたが、本実施の形態2における画像認識部1aは、それらを完全に検知できていない場合でも、所定の地点を通過した時点で、画像解析経過を出力する。その他については同一であるため説明を省略する。図4は視認性判定部3aにおける視認性判定の流れを示している。
【0030】
図3及び図4を用いて、実施の形態2におけるドライバ視認性推定の方法について説明する。まず、走行中に、画像認識部1aがある標識等を最初に完全に認識した時、その地点でその画像解析結果を情報蓄積部2aに出力し、過去の画像解析結果として蓄積しておく。例えば、進行方向前方に「40(km/h)」と描かれた速度制限の交通標識があった場合に、その交通標識を完全に認識できた車両位置と、「速度制限標識」「40(km/h)」という画像解析結果とを紐付けて過去の検知履歴として情報蓄積部2aに記録しておく。この時に記録された検知履歴の1つである車両位置は、次回以降、画像認識部1aが画像解析経過を出力する基準位置として用いられる。また、同時に記録された過去の画像解析結果は、次回以降、同一地点を通過するときに画像解析履歴として視認性判定部3aに出力され、視認性推定の判断基準として用いられる。
【0031】
その後、車両が基準位置を通過すると、視認性判定部3aは情報蓄積部2aからその地点での画像解析履歴を取得する(S200)。そして、その時に画像認識部1aが解析している内容を画像解析経過として視認性判定部3aに通知する(S201)。例えば、画像認識部1aは、進行方向前方にある交通標識が「速度制限標識」であることは検知できても、その標識に描かれている具体的な数値が読み取れない場合、画像解析経過として「速度制限標識」のみを情報蓄積部2a及び視認性判定部3aに出力する。
【0032】
視認性判定部3aは、画像解析経過として画像認識部1aから入力された「速度制限標識」と、情報蓄積部2から入力された判断基準値である「速度制限標識」「40(km/h)」とを比較する(S202)。この例では、比較した結果、視認性判定部3aは、画像解析経過の方が過去の画像解析履歴より解析レベルが低い、言い換えれば、画像解析経過の方が過去の画像解析履歴より荒い検知情報しか得られていないと判断し、車両進行方向の視認性が低下していると推定して、視認性判定結果として「視認性低下」を出力する(S203)。逆に、同一の解析レベルが得られている場合には、視認性判定結果として「視認性通常」を出力する(S204)。
【0033】
以上のように、同一地点での過去の検知履歴である画像解析履歴と現在の画像解析経過とを比較して、画像解析レベルの変化に基づき視認性の変化を判定できるようにしたため、解析可能な距離まで近づかなくても視認性が低下していることが判定できる。
【0034】
なお、解析レベルは標識の種別とそこに書かれた数値の有無により判断すると限定するものではなく、他の判断基準も存在する。例えば、信号機の検知の場合、過去に同一地点で信号機の存在と信号機の色を判断できていたのに対し、今回信号機の存在のみの検知で色の識別が出来ていない場合、解析レベルが低下したと判断しても良い。また、何らかの他の閾値を設けても良い。
【0035】
また、上記の説明では、最初にランドマークを完全に認識できたときの画像解析履歴を判断基準値として次回以降の画像解析経過との比較対象としたが、画像認識部1aから画像解析経過が出力される度に情報蓄積部2aの画像解析履歴を更新して、前回の画像解析経過を比較対象として用いてもよい。このような構成にすれば、前回と比較して視認性が良いか悪いかを判断することができる。
【0036】
また、上記の説明では、最初にランドマークを完全に認識できたときの車両位置を画像認識部1aが画像解析経過を出力する基準位置としたが、この基準位置を更新するようにしても良い。例えば、あるランドマークを完全に認識できたときの画像解析結果と検知位置を複数回分、情報蓄積部2aに記録しておき、一番視認性が良いときの検知位置を基準位置として更新しても良い。ここで、視認性が良いかどうかの判断は、検知位置に基づいて行っても良いし(検知位置がランドマークから遠い程、視認性が良いと判断する)、周囲の明るさに基づいて行っても良い。また、最初に基準位置を決定した後、その時よりも周囲が明るい時に、再度ランドマークを完全に検知し、その時の車両位置を基準位置として更新しても良い。
【0037】
このように基準位置を更新する構成にすれば、最初にランドマークを完全に認識できた時の天候が悪くて視認性が悪い場合であっても、徐々に基準位置を補正することができ、視認性推定の性能が良くなる。
【0038】
実施の形態3.
実施の形態1ではランドマークの検知位置の変化を視認性推定に用い、実施の形態2ではランドマークの画像解析レベルの変化を視認性推定に用いた。それに対し、本実施の形態においては、ランドマークの検知位置からランドマークまでの距離(検知距離)の変化を視認性推定に用いる。
【0039】
図5は本実施の形態3におけるドライバ視認性推定装置を示す図である。図1との違いは、情報蓄積部2b内にランドマーク位置記録部21、標準検知距離記録部22が存在することと、情報蓄積部2bから視認性判定部3bに対し、図1と異なるデータが複数伝送される点である。その他については同一であるため説明を省略する。
【0040】
情報蓄積部2b内のランドマーク位置記録部21には、交通標識や信号機等のランドマークの位置情報が記録されている。例えばカーナビ等では交差点の信号を表示するために地図情報の中に信号機の情報が含まれているので、そのような情報を利用する。
【0041】
また、情報蓄積部2b内の検知距離記録部22には、視認性推定に用いる検知履歴として、あるランドマークを最初に検知した時の車両の位置からそのランドマークまでの距離が記録されている。この距離は、次回以降の検知距離との比較対象である基準検知距離(過去の検知距離)として用いられる。基準検知距離は、次のようにして算出される。検知距離記録部22は、あるランドマークの画像認識結果を画像認識部1から初めて取得した時に、車両位置情報を取得するとともに、検知したランドマークが実際に存在する位置をランドマーク位置記録部21から取得し、両者を比較することにより、車両位置からランドマークまでの距離を算出する。例えば、画像認識部1が車両の進行方向に存在する交通標識を検知し、「速度制限標識」「40km/h」という画像解析結果を出力した場合、検知距離記録部22は、ランドマーク位置記録部21よりその交通標識の位置情報を取得する。そして、検知距離記録部22は、取得した交通標識の位置と現在の車両位置とを比較することにより、例えば「25m」という距離を算出する。つまり、その車両がその交通標識を25m手前で検知できたということが記録される。
【0042】
視認性判定部3bの判定処理について説明する。車両があるランドマークに近づき、画像認識部1がその画像を検知すると、画像認識部1はその画像解析結果を視認性判定部3bに出力するとともに、情報蓄積部2bに出力する。情報蓄積部2bは、画像解析結果を受け取ると、その画像解析結果と車両位置情報とから、ランドマーク位置記録部21に記録されているそのランドマークを特定し、そのランドマーク位置情報を視認性判定部3bに出力する。また、情報蓄積部2bは、特定されたランドマークに対応する基準検知距離情報を視認性判定部3bに出力する。
【0043】
視認性判定部3bは、画像認識部1から画像解析結果を受け取ると、その時の車両位置情報を入力する。視認性判定部3bは、入力された車両位置情報とランドマーク位置情報とを用いて、車両からランドマークまでの距離を算出する。すなわち、今回、そのランドマークをどのくらい離れた距離から検知できたかを示す検知距離を算出する。そして、算出された検知距離と情報蓄積部2bから取得した基準検知距離とを比較し、過去に記録された基準検知距離より短いか、つまりランドマークに近づいてから検知されたのかどうかを判断する。比較の際には、実施の形態1と同様に、判定閾値を用いる。例えば基準検知距離が「25m」、今回算出された検知距離が「20m」、閾値が「3m」の場合、基準検知距離と今回算出された検知距離との差分、すなわちランドマークに近づいた距離は5mであり、閾値を越えているため、「視認性低下」と判断する。一方、例えば今回の検知距離が「23m」の場合、標識に近づいた距離は2mであり、閾値を越えないため、視認性判定結果は「視認性通常」と判断する。
【0044】
以上のように、この実施の形態においては、視認性判定部3bは、画像認識部1がランドマークを検知する度に、その時の車両からランドマークまでの検知距離を算出し、算出された検知距離と過去に記録された基準検知距離とを比較することによって視認性を推定するようにした。
【0045】
なお、上記の説明では、あるランドマークを初めて検知した時の検知距離を基準値として検知距離記録部22に記録させたが、ランドマークを検知する度に検知距離記録部22に記録された基準検知距離を更新しても良い。このような構成にすれば、前回と比較して視認性が良いか悪いかを判断することができる。また、複数回の検知距離を平均して基準検知位置としても良い。更に、視認性の良い時の検知距離を記録し、視認性が悪いと推定された時には更新しないようにしても良い。このように視認性の良い時の検知距離を基準検知距離として更新するようにすれば、最初にランドマークを検知した時の天候が悪くて視認性が悪い場合であっても、徐々に基準検知距離を補正することができ、視認性推定の性能が良くなる。
【0046】
実施の形態4.
上記実施の形態1〜3では、過去の同一位置に存在する同一の物体(ランドマーク)の検知履歴を視認性推定に用いていた。それに対し、本実施の形態においては、ランドマークの種別毎に、どのくらい離れた距離から検知できるかを示す基準検知距離を記録しておき、その基準検知距離を視認性推定に用いる。本実施の形態4におけるドライバ視認性推定装置の基本的な構成は実施の形態3と同じであるため、図5を用いて本実施の形態の動作を説明する。同一の構成については説明を省略する。
【0047】
情報蓄積部2b内の検知距離記録部22には、どのくらい離れた距離から検知できるかを示す基準検知距離がランドマークの種別毎に記録されている。基準検知距離の算出方法は、実施の形態3と同様である。例えば、速度制限標識等の交通標識は「25m」、信号機は「30m」、チェーン展開されていてコンビニ等の統一されたデザインを持つ店の看板は「40m」という基準検知距離が記録される。このように、検知距離記録部22は、様々な種別のランドマークについて、その種別ごとに最初に検知した距離を基準検知距離として記録しておく。
【0048】
視認性判定部3bの判定処理について説明する。車両がある種別のランドマークに近づき、画像認識部1がその画像を検知すると、画像認識部1はその画像解析結果を視認性判定部3bに出力するとともに、情報蓄積部2bに出力する。情報蓄積部2bは、画像解析結果を受け取ると、その画像解析結果と車両位置情報とから、ランドマーク位置記録部21に記録されているそのランドマークを特定し、そのランドマーク位置情報を視認性判定部3bに出力する。また、情報蓄積部2bは、入力された画像解析結果からランドマークの種別を特定し、検知距離記録部22に記録されているその種別のランドマークに対応する基準検知距離情報を視認性判定部3bに出力する。
【0049】
視認性判定部3bは、画像認識部1から画像解析結果を受け取ると、その時の車両位置情報を入力する。視認性判定部3bは、入力された車両位置情報とランドマーク位置情報とを用いて、車両から今回検知したランドマークまでの距離を算出する。算出された検知距離と基準検知距離とを比較して視認性の変化を判定することについては、実施の形態3と同様である。
【0050】
以上のように、この実施の形態においては、視認性判定部3bは、画像認識部1がランドマークを検知する度にその時の車両からランドマークまでの距離を算出し、算出された距離とランドマークの種別毎に記録された基準検知距離とを比較することによって視認性を判定するようにした。したがって、上記実施の形態1〜3においては、過去に同じ位置に存在する同一のランドマークを検知したことがあるということが前提であったのに対し、この実施の形態では、初めて通る道においても視認性推定を行う事ができる。
【0051】
なお、上記の説明では、実施の形態1、3と同様、画像認識部1がランドマークを完全に認識できた時に画像解析結果を視認性判定部3bに出力するようにしたが、実施の形態2のように、所定の基準位置において、画像認識部1から画像解析経過を出力するようにしても良い。この場合、基準検知距離を記録した時の完全な画像解析結果と、その後同じ種別のランドマークを検知した時の画像解析経過とを比較し、解析レベルの差により視認性を推定する。また、基準位置はランドマークの種別毎に記録された基準検知距離だけランドマークより手前の位置となる。このようにしても、同じ位置に存在する同一のランドマークを過去に検知したことがなくても、同じ種別のランドマークを検知したことがあれば、初めて通る道においても視認性推定を行う事ができるという効果が得られる。
【0052】
また、上記の説明では、ある種別のランドマークを初めて検知したときの検知距離を基準検知距離として検知距離記録部22に記録させたが、同一の種別のランドマークを検知する度に検知距離記録部22に記録された基準検知距離を更新しても良い。また、複数回の検知距離を平均して記録しても良い。更に、視認性の良いときの検知距離を用いて基準検知位置を更新し、視認性が悪いと推定された時には更新しないようにしても良い。
【0053】
実施の形態5.
上記実施の形態1〜4においては、視認性推定の基準となる過去の検知履歴をランドマーク毎、或いはランドマークの種別毎に1つずつ情報蓄積部2に記録している。例えば、実施の形態1ではランドマーク毎に1つの検知位置(車両位置情報)が記録され、実施の形態2ではランドマーク毎に1つの画像解析履歴が記録され、実施の形態3ではランドマーク毎に1つの検知距離が記録され、実施の形態4ではランドマークの種別毎に1つの検知距離が記録されている。この実施の形態5においては、使用状況に応じて複数の検知履歴を使い分ける例について説明する。使用状況としては、例えば、天候や明るさ等の環境条件や使用者の個人差が挙げられる。
【0054】
画像認識部1の画像解析による物体の検知性能は、天候や明るさ等の環境条件により異なる。そこで、レインセンサーや照度センサー等を用いて、画像認識部1の検知性能に影響を与える天候や明るさ等の環境条件ごとに、異なる検知履歴を用意しておく。例えば、図6に示すように、情報蓄積部2cに昼用検知履歴記録部23と夜用検知履歴記録部24とを設ける。そして、例えば実施の形態1のように、昼用検知履歴記録部23には、昼に検知した画像解析結果とその時の車両位置情報とを対応付けたデータを記録し、夜用検知履歴記録部24には、夜に検知した画像解析結果とその時の車両位置情報とを対応付けたデータを記録しておく。実施の形態1と同様、車両位置情報は基準検知位置情報として視認性推定の判断基準として用いられる。
【0055】
車両が過去にランドマークを検知した地点にさしかかり視認性推定の判断を開始する時、照度センサーや時刻等に基づき昼であると判断すると、昼用検知履歴記録部23に記録された画像解析結果と車両位置情報とを検知履歴として視認性判定部3cに出力する。視認性判定部3cでは、今回検知された車両位置情報を昼用検知履歴記録部23から取得した車両位置情報、すなわち基準検知位置と比較して視認性を推定する。その他の動作については実施の形態1と同様であるため、説明を省略する。
【0056】
昼用検知履歴記録部23と夜用検知履歴記録部24に記録する検知履歴としては、上記のように画像解析結果と車両位置情報とを対応付けたデータ以外でも良い。例えば、実施の形態2のように昼に検知した画像解析結果と夜に検知した画像解析結果を記録しても良いし、実施の形態3のように昼にランドマークを検知した時の検知距離と夜にランドマークを検知した時の検知距離を記録しても良いし、実施の形態4のようにランドマーク毎に昼用の検知距離と夜用の検知距離を記録しても良い。
【0057】
また、照度センサーにより検知される照度に応じて3つ以上の検知履歴記録部を設けても良い。更に、レインセンサーにより、雨天用の検知履歴記録部と晴天要の検知履歴記録部とを設けても良い。
【0058】
また、使用者であるドライバのスキルや視力等により視認性には個人差があるため、情報蓄積部2に記録する検知履歴は、何らかのドライバ識別手段を用いて、ドライバ毎に別に用意しても良い。例えば、過去に検知した画像解析結果とその時の車両位置情報とを対応付けたデータを複数段階に分けて記録しておく。すなわち、視認性の良い状況で検知したデータと視認性の悪い状況で検知したデータとを記録しておく。視認性の悪い状況で検知した時の車両位置は視認性の良い状況で検知した車両位置よりランドマークに近いため、視力の良いドライバに対しては視認性の悪い状況で検知したデータを基準値として用いることにより、「視認性低下」と判断される確率が低くなり、警告表示等が頻繁に行われるのを避けることができる。
【0059】
このように、使用状況に応じて異なる検知履歴を記録しておき、使用状況に応じて異なる検知履歴を比較対象とすることにより、視認性の変化をより的確に推定することができる。
【0060】
実施の形態6.
上記実施の形態5においては、使用状況に応じて複数の検知履歴を用いる例について説明したが、使用状況に応じて視認性推定に用いる閾値を切り替えても良い。例えば、昼は夜と比較して視認性が良いため、昼用の閾値を夜用の閾値より大きく設定する。実施の形態1の例では、基準検知位置より3mランドマークに近づいた時にランドマークを検知した場合、閾値が2mであれば「視認性低下」と判断されるが、閾値が4mであれば「視認性通常」と判断される。したがって、昼用の閾値を4mとし、夜用の閾値を2mとすれば、昼間に「視認性低下」と判断される確率が低くなり、警告表示等が頻繁に行われるのを避けることができる。
【0061】
天候や照度に応じて閾値を設定しても良いことは、上記実施の形態5と同様である。また、ドライバ毎に閾値を設定できることも、上記実施の形態5と同様である。例えば、視認性低下と判断する閾値を上げるためのボタンを設け、情報提供が多すぎると感じるドライバがこのボタンを押すことにより視認性低下と判断しにくくすることができる。また、視認性低下と判断する閾値を下げるためのボタンを設け、視力が悪いドライバはこのボタンを押して、標識を検知する位置が少しでも変わった場合に視認性が低下したと判断するようにしてもよい。
【0062】
実施の形態7.
図7は本実施の形態7におけるドライバ視認性推定装置を示す図である。図1との違いは、判定閾値を生成する判定基準調整部4を用意している点と、情報蓄積部2dに車速情報の入力、車速履歴の出力を追加している点である。その他については同一であるため説明を省略する。
【0063】
上記の各実施の形態においては、視認性が低下したかどうかの判断をする際に判定閾値を参照していたが、本実施の形態7における判定基準調整部4は、その閾値の調整を行う機能を有し、本実施の形態はそのうち閾値を上げる、つまり、視認性判定部3において視認性低下と判断しにくくする場合の動作について示すものである。
【0064】
視認性判定結果として視認性低下が判断された場合、判定基準調整部4では使用者であるドライバが実際に視認性が低下したと感じているかを推測する。具体的には、ドライバが視認性低下を感じた場合には、ワイパーやライトの使用、車速等に変化が生じると推定し、それらの変化を監視する。すなわち、ドライバの行動の変化を監視する。
【0065】
ワイパーの使用の変化を用いる場合、判定基準調整部4は、ワイパーの制御機器よりワイパー動作情報(入/切、動作速度)を取得し、一定期間の間にワイパーのスイッチを入れてワイパーを起動したり、ワイパーの動作速度を速めたりする操作を行っているか観測する。これらの操作が行われていない場合、ドライバは視認性が低下したと感じていないと判断する。
【0066】
ライトの使用の変化を用いる場合、判定基準調整部4は、ヘッドライト・フォグランプの制御機器よりライト動作情報(入/切)を取得し、一定期間の間にライトのスイッチを入れる操作を行っているか観測する。ライトのスイッチを入れる点灯操作が行われていない場合、ドライバは視認性が低下したと感じていないと判断する。
【0067】
車速の変化を用いる場合、例えば実施の形態1における視認性推定方法と組み合わせて説明すると、情報蓄積部2dは、画像解析結果と車両位置情報とを紐付けて蓄積する際に、取得した車速情報も併せて車速履歴として記録しておく。画像認識部1が同一のランドマークを検知したとき、判定基準調整部4は、現在の車速と情報蓄積部2dより取得した過去の車速履歴とを比較し、過去に同一地点を通過した時の車速よりも遅い車速で走行しているかどうか観測する。車速を落としていない場合、ドライバは視認性が低下したと感じていないと判断する。
【0068】
視認性判定結果として視認性低下が判断された時、判定基準調整部4は、上記のワイパーの使用、ライトの使用、車速の何れかの変化、またはその組み合わせにより、ドライバは視認性が低下していると感じていないと判断した場合、視認性判定部3へ通知する判定閾値を上げる。それにより、次回以降、同一のランドマークを検知する際に視認性判定部3が視認性低下と判断しにくくする。例えば、上記実施の形態3の視認性推定方法の例を用いて説明すると、基準検知距離が「25m」、今回算出された検知距離が「20m」、閾値が「3m」の場合、基準検知距離と今回算出された検知距離との差(5m)は閾値を越えているため、「視認性低下」と判断するが、実施にはドライバは視認性低下を感じていないため、次回以降は閾値を「6m」として、「視認性低下」と判断しないようにする。
【0069】
以上のように、視認性低下との判定結果を出力する一方で、ドライバの行動の変化に基づき、ドライバが実際には視認性が低下したと感じていないと推測される場合は、閾値を上げる機能を設けるようにしたので、ドライバが視認性を低下したと感じていないときに過剰に視認性低下と判断することを避け、それに伴う警告の過剰な表示等を抑制する事ができる。
【0070】
実施の形態8.
図8は本実施の形態8におけるドライバ視認性推定装置を示す図である。図1との違いは、判定閾値を生成する判定基準調整部4aを用意している点である。その他については同一であるため説明を省略する。
【0071】
上記の実施の形態7が、視認性判定部3へ入力する判定閾値を上げる場合の動作を示していたのに対し、本実施の形態8における判定基準調整部4aは、閾値を下げる、つまり、視認性判定部3において視認性低下と判断し易くする場合の動作について示すものである。
【0072】
視認性判定部3が視認性低下と判断しなかったものの、以後は積極的に障害物の接近等の警告表示灯を行う必要がある場合には、視認性判定部3が視認性低下と判断しやすくする、つまり判定閾値を下げる必要がある。具体的には、使用者であるドライバが視認性が低下している事に気づいていない状況であり、路肩の歩行者等の発見が遅れるといったドライバの行動の変化が観測できるため、それらの検知を行う。
【0073】
路肩の歩行者等の発見については、まず前方の歩行者等の物体検知情報を取得する。これは画像認識部1の画像解析結果を用いても良いし、別の車載カメラや画像認識を行うデバイスから取得しても良い。一方、ドライバが前方の歩行者等に気付いているかどうかの判断には、ドライバの視線情報が必要となる。これは車外ではなく、車内のドライバ席側に向けて設置されたカメラ映像等で目の動きを検知する等により取得する。
【0074】
歩行者との発見が遅れるという動作は、物体検知情報として物体の位置が判定基準調整部4aに通知されているにもかかわらず、一定期間を超えてもその物体の位置に視線が向かないといった、視線情報が得られた場合である。このような場合、ドライバは視認性が低下していることに気付いていないと考えられるため、視認性判定部3に通知する判定閾値を下げる。例えば、上記実施の形態3の視認性推定方法の例を用いて説明すると、基準検知距離が「25m」、今回算出された検知距離が「22m」、閾値が「4m」の場合、基準検知距離と今回算出された検知距離との差(3m)は閾値を越えていないため、「視認性通常」と判断するが、実施にはドライバは視認性が低下していることに気付いていないと推測できるため、次回以降は閾値を「2m」として、「視認性低下」と判断するようにする。
【0075】
なお、歩行者が突然脇道から現れた場合などについては、物体検知情報を判定基準調整部4aに通知してから物体の位置に視線が向かうまでの時間が短くなるため、視認性が低下しているわけではないので、閾値を上げる動作は行わない。
【0076】
以上のように、視認性判定部3が視認性低下と判断しないときであっても、前方に検知された物体に対してドライバが視線を移すまでに一定の時間を要した場合等、ドライバが視認性が低下した事に気づいていないと推測できる場合に、閾値を下げる機能を設けるようにしたので、視認性低下と判断し易くなり、それに伴う必要な警告の表示等をドライバに提示する事ができるようになる。
【0077】
実施の形態9.
上記各実施の形態における視認性推定装置の視認性判定結果は、例えば安全運転支援システムに用いられる。図9は、安全運転支援システムの概要を示す図である。図において、5は上記各実施の形態で説明した視認性推定装置、6は視認性推定装置5の視認性判定結果を用いて使用者であるドライバに周囲の物体に関する情報を提示するか否かを判断する情報提示判断部、7は情報提供判断部6の判断に基づいてドライバに情報を提示する情報提示部であり、画像により提示する表示部71と音声により提示するスピーカ72とを含む。
【0078】
情報提示判断部6は、視認性判定結果に基づいて、ドライバへの様々な安全支援情報の提示基準、すなわち閾値を切り替える。例えば、前方車両との車間距離が所定距離より短くなると警告する場合、視認性推定装置5の視認性判定結果が「視認性低下」の場合は、提示基準を下げて、通常より遠い場合にも情報提示部7により表示や音声を用いて警告するようにする。このように制御することで、ドライバが精神的にゆとりを持って行動できるようにする。また、前方の歩行者や自転車等の存在を通知する場合、視認性判定結果が「視認性低下」のとき、すなわち特に注意が必要なときのみ、気付きにくい歩行者や自転車の存在をドライバに通知するようにする。
【0079】
また、例えばカーナビゲーション機能を使用中、視認性推定装置5の視認性判定結果が「視認性低下」の場合は、通常より早いタイミングで次の曲がる箇所を音声で指示しても良いし、視認性の低下にあわせてライト・フォグランプの点灯を表示や音声で促したり、またそれらを自動的に点灯したりするようにしても良い。
【0080】
このように、実施の形態1〜8における視認性推定装置による推定結果は、ある時点での特定のランドマークの視認性を推定するだけでなく、過去と比較した視認性の変化を推定するものであるため、周囲の物体に関する安全支援情報の提示の要否の判断基準として使うことができ、ドライバへの過剰な情報提供を抑制することが出来る。すなわち、視認性が低下しているときに、通常は提示しない周囲の安全支援情報を提示するよう提示基準を下げることにより、見通しの良い状況では過剰にドライバに周囲の情報を通知することを防ぐことが出来る。
【符号の説明】
【0081】
1 画像認識部、2 情報蓄積部、21 ランドマーク位置記録部、22 検知距離記録部、23 昼用検知履歴、24 夜用検知履歴、3 視認性判定部、4 判定基準調整部、5 視認性推定装置、6 情報提示判断部、7 情報提示部、71 表示部、72 スピーカ。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像を解析することによりランドマークを検知する画像認識部と、
前記画像認識部により検知されたランドマークの画像解析結果と、前記画像認識部が前記ランドマークを検知した検知位置とを前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、
前記画像認識部が前記検知履歴に対応する前記ランドマークを再度検知した場合この場合の検知位置と前記情報蓄積部に記録された過去の検知位置との比較に基づき視認性の変化を推定する視認性判定部とを備えた視認性推定装置。
【請求項2】
画像を解析することによりランドマークを検知する画像認識部と、
前記画像認識部により検知されたランドマークの画像解析結果と、前記画像認識部が前記ランドマークを検知した時の検知位置とを前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、
前記情報蓄積部に記録された過去の検知位置において前記画像認識部が再度解析した前記ランドマークの画像解析経過と、前記情報蓄積部に記録された過去の画像解析結果との比較に基づき視認性の変化を推定する視認性判定部とを備えた視認性推定装置。
【請求項3】
画像を解析することによりランドマークを検知する画像認識部と、
前記画像認識部が前記ランドマークを検知した位置から前記ランドマークまでの検知距離を前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、
前記画像認識部が前記検知履歴に対応する前記ランドマークを再度検知した場合この場合の検知距離と前記情報蓄積部に記録された過去の検知距離との比較に基づき視認性の変化を推定する視認性判定部とを備えた視認性推定装置。
【請求項4】
画像を解析することによりランドマークを検知する画像認識部と、
前記画像認識部が前記ランドマークを検知可能な位置から前記ランドマークまでの基準検知距離を記録する情報蓄積部と、
前記画像認識部が前記ランドマークを検知した場合、この場合の検知距離と前記情報蓄積部に記録された前記基準検知距離との比較に基づき視認性の変化を推定する視認性判定部とを備えた視認性推定装置。
【請求項5】
前記情報蓄積部は前記検知履歴をランドマークの種別毎に記録し、
前記画像認識部が前記検知履歴に対応する前記ランドマークと同じ種別のランドマークを再度検知した場合に、前記視認性判定部により視認性の変化を推定することを特徴とする請求項2または請求項3記載の視認性推定装置。
【請求項6】
前記情報蓄積部は前記基準検知距離をランドマークの種別毎に記録し、
前記画像認識部がランドマークを検知した場合に、前記視認性判定部は前記情報蓄積部に記録された同じ種別のランドマークの基準検知距離を用いて視認性の変化を推定することを特徴とする請求項4記載の視認性推定装置。
【請求項7】
前記情報蓄積部は複数の使用状況に対応して複数の検知履歴を記録し、
前記視認性判定部は使用状況に応じて異なる検知履歴を比較対象とすることを特徴とする請求項1ないし請求項の何れかに記載の視認性推定装置。
【請求項8】
前記視認性判定部は、視認性の変化を推定するための比較の際に閾値を用い、前記閾値を使用状況に応じて切り替えることを特徴とする請求項1ないし請求項4の何れかに記載の視認性推定装置。
【請求項9】
前記視認性判定部は、視認性の変化を推定するための比較の際に閾値を用い、
前記視認性判定部が視認性の変化を推定したとき、使用者の行動の変化に基づき前記閾値を調整する判定基準調整部を備えたことを特徴とする請求項1ないし請求項4の何れかに記載の視認性推定装置。
【請求項10】
前記視認性判定部が視認性低下と推定したとき、使用者の行動の変化に基づき使用者が視認性低下を感じていないと推測される場合は、前記閾値を上げることを特徴とする請求項9記載の視認性推定装置。
【請求項11】
前記視認性判定部が視認性低下と推定しないとき、使用者の行動の変化に基づき使用者が視認性低下に気づいていないと推測される場合は、前記閾値を下げることを特徴とする請求項9記載の視認性推定装置。
【請求項12】
画像を解析することによりランドマークを検知する画像認識部と、
前記画像認識部により検知されたランドマークの画像解析結果と、前記画像認識部が前記ランドマークを検知した検知位置とを前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、
前記画像認識部が前記検知履歴に対応する前記ランドマークを再度検知した場合、この場合の検知結果と前記情報蓄積部に記録された過去の検知履歴との比較に基づき視認性の変化を推定する視認性判定部と、
前記視認性判定部が過去の視認性と比較して現在の視認性が低下していると推定したとき、使用者に周囲の安全支援情報の提示が必要と判断するための閾値を下げる情報提示判断部と、
前記情報提示判断部が情報を提示すると判断したとき使用者に情報を提示する情報提示部とを備えた安全運転支援システム。
【国際調査報告】