IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 本田技研工業株式会社の特許一覧

<>
  • 特許-注意喚起システム及び注意喚起方法 図1
  • 特許-注意喚起システム及び注意喚起方法 図2
  • 特許-注意喚起システム及び注意喚起方法 図3
  • 特許-注意喚起システム及び注意喚起方法 図4
  • 特許-注意喚起システム及び注意喚起方法 図5
  • 特許-注意喚起システム及び注意喚起方法 図6
  • 特許-注意喚起システム及び注意喚起方法 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-09-22
(45)【発行日】2025-10-01
(54)【発明の名称】注意喚起システム及び注意喚起方法
(51)【国際特許分類】
   G08G 1/16 20060101AFI20250924BHJP
   B60W 50/14 20200101ALI20250924BHJP
【FI】
G08G1/16 F
G08G1/16 D
B60W50/14
【請求項の数】 12
(21)【出願番号】P 2022208289
(22)【出願日】2022-12-26
(65)【公開番号】P2024092391
(43)【公開日】2024-07-08
【審査請求日】2024-11-27
(73)【特許権者】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】110001081
【氏名又は名称】弁理士法人クシブチ国際特許事務所
(72)【発明者】
【氏名】松岡 雄大
【審査官】尾形 元
(56)【参考文献】
【文献】特開2009-232945(JP,A)
【文献】特開2018-190342(JP,A)
【文献】特開2018-49477(JP,A)
【文献】特開2014-199616(JP,A)
【文献】特開2022-125720(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/16
B60W 50/14
(57)【特許請求の範囲】
【請求項1】
車両の運転者の視線滞留時間を計測する視線計測部と、
前記計測された視線滞留時間が所定の閾値を超えたときに、HMI装置により前記運転者に対して所定の顕著性レベルの通知を行う通知部と、
を備える注意喚起システムであって、
前記通知の発出タイミングを規定するパラメータと前記HMI装置により発する前記通知の顕著性レベルを規定するパラメータとを含む通知パラメータセットを決定する決定部と、
前記通知部が、前記決定された通知パラメータセットが示す前記発出タイミング及び前記顕著性レベルにより前記通知を行ったときに、前記通知に対する前記運転者の反応行動があったか否かを記録する行動記録部と、
相異なる前記通知パラメータセットのそれぞれについて、前記通知の回数に対する、前記通知に対し前記運転者が前記反応行動を行った回数の比である反応比率を算出し、前記通知パラメータセットと前記反応比率とを関連付けた反応情報を記憶装置に記憶する反応情報記録部と、
を更に備え、
前記決定部は、前記反応情報が示す前記通知パラメータセットと前記反応比率との関係に基づいて、前記反応比率が最大となると推定される前記通知パラメータセットである最適パラメータセットを算出して決定する、
注意喚起システム。
【請求項2】
前記決定部は、
前記決定した最適パラメータセットを次に更新するまでの期間である更新期間と、専らデータ収集に用いる前記通知パラメータセットである少なくとも一つのデータ収集用パラメータセットと、を更に決定し、
前記更新期間において、前記通知部、前記行動記録部、及び前記反応情報記録部と協働して、前記決定した最適パラメータセットとデータ収集用パラメータセットとを選択的に用いた前記通知を行い、前記用いた最適パラメータセット及びデータ収集用パラメータセットについての前記反応情報を取得する、
請求項1に記載の注意喚起システム。
【請求項3】
前記更新期間は、所定の時間長さの期間又は前記通知部により所定回数の前記通知が行われる期間として定められる、
請求項2に記載の注意喚起システム。
【請求項4】
前記決定部は、前記通知部が前記更新期間内の複数回の前記通知において前記最適パラメータセットを用いた前記通知と前記データ収集用パラメータセットを用いた前記通知とをどういう順序で実行するかを定めた実行順序情報を生成し、
前記通知部は、前記実行順序情報に従って前記最適パラメータセットと前記データ収集用パラメータセットとを選択して用いて、前記通知を行う、
請求項2に記載の注意喚起システム。
【請求項5】
前記反応情報に基づき、前記通知パラメータセットと前記反応比率との関係を、機械学習により運転者反応モデルに学習させる学習部を備え、
前記決定部は、前記運転者反応モデルを用いて、前記反応比率が最大となると推定される前記最適パラメータセットを決定する、
請求項1に記載の注意喚起システム。
【請求項6】
前記視線計測部は、前記車両が交差点に進入する際及び又は交差点を通過する際に、前記運転者の視線滞留時間を計測する、
請求項1に記載の注意喚起システム。
【請求項7】
前記視線計測部は、前記車両の車室内に備えられたカメラからの前記運転者の顔画像に基づく視線トラッキングにより、前記運転者の視線滞留時間を計測する、
請求項1に記載の注意喚起システム。
【請求項8】
前記反応行動の有無は、前記運転者の視線移動における、時間的に連続する2つの注視点の間の視線移動量が所定量以上であるか否か、及び又は前記運転者の視線移動範囲の大きさが所定の大きさ以上であるか否か、に基づいて判断される、
請求項1に記載の注意喚起システム。
【請求項9】
前記HMI装置は、触覚式HMI装置、聴覚式HMI装置、及び又は視覚式HMI装置を含む、
請求項1に記載の注意喚起システム。
【請求項10】
前記車両と通信可能に接続されたサーバ装置を含み、
前記サーバ装置は、前記決定部と、前記反応情報記録部と、を備え、
前記車両は、前記視線計測部と、前記通知部と、を備える、
請求項1ないし9のいずれか一項に記載の注意喚起システム。
【請求項11】
前記決定部と、前記反応情報記録部と、前記視線計測部と、前記通知部とは、前記車両に備えられる、
請求項1ないし9のいずれか一項に記載の注意喚起システム。
【請求項12】
HMI装置により車両の運転者に対して通知を行う注意喚起システムのコンピュータが実行する注意喚起方法であって、
前記車両の運転者の視線滞留時間を計測する視線計測ステップと、
前記計測された視線滞留時間が所定の閾値を超えたときに、HMI装置により前記運転者に対して通知を行う通知ステップと、
を有し、
前記通知の発出タイミングを規定するパラメータと前記HMI装置により発する前記通知の顕著性レベルを規定するパラメータとを含む通知パラメータセットを決定する決定ステップと、
前記決定された通知パラメータセットが示す前記発出タイミング及び前記顕著性レベルにより前記通知ステップにおいて前記通知を行ったときに、前記通知に対する前記運転者の反応行動があったか否かを記録する行動記録ステップと、
相異なる前記通知パラメータセットのそれぞれについて、前記通知の回数に対する、前記通知に対し前記運転者が前記反応行動を行った回数の比である反応比率を算出し、前記通知パラメータセットと前記反応比率とを関連付けた反応情報を記憶装置に記憶する反応情報記録ステップと、
を更に備え、
前記決定ステップでは、種々の前記通知パラメータセットと前記反応比率との関係から、前記反応比率が最大となると推定される前記通知パラメータセットである最適パラメータセットを算出して決定する、
注意喚起方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の運転者の注意を喚起する注意喚起システム及び注意喚起方法に関する。
【背景技術】
【0002】
近年、交通参加者の中でも脆弱な立場にある人々にも配慮した持続可能な輸送システムへのアクセスを提供する取り組みが活発化している。この実現に向けて予防安全技術に関する研究開発を通して交通の安全性や利便性をより一層改善する研究開発に注力している。
【0003】
特許文献1には、自動運転中の車両がレーンチェンジを実行中にその車両の運転者が所定時間以上に亘って脇見をしていると判定されたときに、その運転者に注意喚起を行う脇見報知装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2020-35043号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、予防安全技術においては、他の交通参加者の動きなどの交通環境に対する運転者の注意力がより重要となる交差点等において、運転者の注意散漫状態の兆候をできるだけ早期にその運転者に伝えて、その運転者に操縦行動への集中を促すことが課題である。
注意散漫状態を運転者に早期に通知する場合、注意散漫状態について必ずしも確定的な判断を行い得ない状況で通知を行うこととなるため、上記通知のために運転者に与える刺激(視覚的、聴覚的、及び又は触覚的な刺激)は、運転者に与える煩わしさを抑えつつも、運転者が認識しやすく、受容しやすいものであることも重要となる。
【0006】
このトレードオフを解決するべく、運転者の注意状態や操縦行動に合わせて、呈示する刺激の態様を切り替えることが考えられる。しかしながら、刺激に対する人間の感覚(例えば、受け入れ易さや不快感の程度)には個人差があり、運転者の注意状態や操縦行動を考慮するのみでは、運転者に対する通知の受容性の観点について、十分に配慮できているとは言えない。
【0007】
本願は、上記課題の解決のため、運転者に注意散漫状態の兆候があることを、その運転者にとって受容し易い態様で通知することを目的としたものである。そして、延いては持続可能な輸送システムの発展に寄与するものである。
【課題を解決するための手段】
【0008】
本発明の一の態様は、車両の運転者の視線滞留時間を計測する視線計測部と、前記計測された視線滞留時間が所定の閾値を超えたときに、HMI装置により前記運転者に対して所定の顕著性レベルの通知を行う通知部と、を備える注意喚起システムであって、前記通知の発出タイミングを規定するパラメータと前記HMI装置により発する前記通知の顕著性レベルを規定するパラメータとを含む通知パラメータセットを決定する決定部と、前記通知部が、前記決定された通知パラメータセットが示す前記発出タイミング及び前記顕著性レベルにより前記通知を行ったときに、前記通知に対する前記運転者の反応行動があったか否かを記録する行動記録部と、相異なる前記通知パラメータセットのそれぞれについて、前記通知の回数に対する、前記通知に対し前記運転者が前記反応行動を行った回数の比である反応比率を算出し、前記通知パラメータセットと前記反応比率とを関連付けた反応情報を記憶装置に記憶する反応情報記録部と、を更に備え、前記決定部は、前記反応情報が示す前記通知パラメータセットと前記反応比率との関係に基づいて、前記反応比率が最大となると推定される前記通知パラメータセットである最適パラメータセットを算出して決定する、注意喚起システムである。
本発明の他の態様によると、前記決定部は、前記決定した最適パラメータセットを次に更新するまでの期間である更新期間と、専らデータ収集に用いる前記通知パラメータセットである少なくとも一つのデータ収集用パラメータセットと、を更に決定し、前記更新期間において、前記通知部、前記行動記録部、及び前記反応情報記録部と協働して、前記決定した最適パラメータセットとデータ収集用パラメータセットとを選択的に用いた前記通知を行い、前記用いた最適パラメータセット及びデータ収集用パラメータセットについての前記反応情報を取得する。
本発明の他の態様によると、前記更新期間は、所定の時間長さの期間又は前記通知部により所定回数の前記通知が行われる期間として定められる。
本発明の他の態様によると、前記決定部は、前記通知部が前記更新期間内の複数回の前記通知において前記最適パラメータセットを用いた前記通知と前記データ収集用パラメータセットを用いた前記通知とをどういう順序で実行するかを定めた実行順序情報を生成し、前記通知部は、前記実行順序情報に従って前記最適パラメータセットと前記データ収集用パラメータセットとを選択して用いて、前記通知を行う。
本発明の他の態様によると、前記反応情報に基づき、前記通知パラメータセットと前記反応比率との関係を、機械学習により運転者反応モデルに学習させる学習部を備え、前記決定部は、前記運転者反応モデルを用いて、前記反応比率が最大となると推定される前記最適パラメータセットを決定する。
本発明の他の態様によると、前記視線計測部は、前記車両が交差点に進入する際及び又は交差点を通過する際に、前記運転者の視線滞留時間を計測する。
本発明の他の態様によると、前記視線計測部は、前記車両の車室内に備えられたカメラからの前記運転者の顔画像に基づく視線トラッキングにより、前記運転者の視線滞留時間を計測する。
本発明の他の態様によると、前記反応行動の有無は、前記運転者の視線移動における、時間的に連続する2つの注視点の間の視線移動量が所定量以上であるか否か、及び又は前記運転者の視線移動範囲の大きさが所定の大きさ以上であるか否か、に基づいて判断される。
本発明の他の態様によると、前記HMI装置は、触覚式HMI装置、聴覚式HMI装置、及び又は視覚式HMI装置を含む。
本発明の他の態様によると、前記車両と通信可能に接続されたサーバ装置を含み、前記サーバ装置は、前記決定部と、前記反応情報記録部と、を備え、前記車両は、前記視線計測部と、前記通知部と、を備える。
本発明の他の態様によると、前記決定部と、前記反応情報記録部と、前記視線計測部と、前記通知部とは、前記車両に備えられる。
本発明の他の態様は、HMI装置により車両の運転者に対して通知を行う注意喚起システムのコンピュータが実行する注意喚起方法であって、前記車両の運転者の視線滞留時間を計測する視線計測ステップと、前記計測された視線滞留時間が所定の閾値を超えたときに、HMI装置により前記運転者に対して通知を行う通知ステップと、を有し、前記通知の発出タイミングを規定するパラメータと前記HMI装置により発する前記通知の顕著性レベルを規定するパラメータとを含む通知パラメータセットを決定する決定ステップと、前記決定された通知パラメータセットが示す前記発出タイミング及び前記顕著性レベルにより前記通知ステップにおいて前記通知を行ったときに、前記通知に対する前記運転者の反応行動があったか否かを記録する行動記録ステップと、相異なる前記通知パラメータセットのそれぞれについて、前記通知の回数に対する、前記通知に対し前記運転者が前記反応行動を行った回数の比である反応比率を算出し、前記通知パラメータセットと前記反応比率とを関連付けた反応情報を記憶装置に記憶する反応情報記録ステップと、を更に備え、前記決定ステップでは、種々の前記通知パラメータセットと前記反応比率との関係から、前記反応比率が最大となると推定される前記通知パラメータセットである最適パラメータセットを算出して決定する、注意喚起方法である。
【発明の効果】
【0009】
本発明によれば、運転者に注意散漫状態の兆候があることを、その運転者にとって受容し易い態様で通知することができる。
【図面の簡単な説明】
【0010】
図1図1は、本発明の一実施形態に係る注意喚起システムの構成を示す図である。
図2図2は、注意喚起システムを構成する注意喚起装置が搭載される車両の構成を示す図である。
図3図3は、注意喚起装置が搭載される車両の車室内の構成を示す図である。
図4図4は、注意喚起システムが動作するシーンの一例を示す図である。
図5図5は、注意喚起システムを構成する注意喚起装置の構成を示す図である。
図6図6は、注意喚起システムを構成する最適化サーバの構成を示す図である。
図7図7は、注意喚起システムが実行する注意喚起方法の手順を示すフロー図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して本発明の実施形態について説明する。
図1は、本発明の一実施形態に係る注意喚起システム1の構成を示す図である。また。図2は、注意喚起システム1が搭載される車両2の構成を示す図であり、図3は、車両2の車室内の構成を示す図である。
【0012】
[注意喚起システムの構成]
注意喚起システム1は、車両2に搭載された注意喚起装置3と、車両2の外部に設けられたサーバ装置である最適化サーバ4と、を含む。注意喚起装置3と最適化サーバ4とは、例えば、インターネット等の通信ネットワーク5を介して互いに通信可能に接続されている。
【0013】
[車両の構成]
車両2は、HMI装置6を備える(図5)。本実施形態では、HMI装置6には、運転者の触覚に刺激を与える触覚式HMI装置6aと、運転者に聴覚刺激である音を出力する聴覚式HMI装置6bと、運転者に視覚情報を伝達する視覚式HMI装置6cと、が含まれる。ただし、これは一例であって、HMI装置6は、触覚式、聴覚式、及び視覚式HMI装置のいずれか一つであってもよいし、いずれか二つを含むものであってもよい。
【0014】
触覚式HMI装置6aは、例えば、車両2の運転席20に設けられて、運転者が装着したシートベルト21の張力を変化させて運転者に触覚刺激を与える電動シートベルトである。ただし、電動シートベルトは一例であって、触覚式HMI装置6aは、運転者に触覚刺激を与える得る任意の装置であり得る。例えば、触覚式HMI装置6aは、ステアリングハンドル22を介して運転者の手に振動を与える振動アクチュエータや、運転席20として設けられて運転者の背中などの身体部分を叩く、揉む、押圧する、振動を与える等の刺激を与えるマッサージシートなどであってもよい。
【0015】
聴覚式HMI装置6bは、本実施形態では、単体のスピーカである。あるいは、聴覚式HMI装置6bは、複数のスピーカで構成されるスピーカシステムであってもよい。
視覚式HMI装置6cは、本実施形態では、車両2のインストルメントパネル23に設けられたメータ表示装置である。ただし、メータ表示装置は一例であって、視覚式HMI装置6cは、メータ以外を表示する汎用の表示装置24、あるいはウインドシールド25に画像を表示するヘッドアップディスプレイ(不図示)等であり得る。
【0016】
車両2は、また、車両2の周囲環境の物体を検知する物体検知装置7と、周囲環境の画像を取得する車外カメラ8(図5)と、GPS装置9と、を備える。物体検知装置7は、例えば、車両2の車体前方に備えられて車両2の前方環境の物体(以下、前方物体ともいう)を検知するレーダ、ライダ、及び又はソナーであり得る。これに加えて、物体検知装置7は、車両2の車体に分散して配された複数のカメラ、レーダ、ライダ、及び又はソナーを備えて、車両2の左右側方及び後方を含む周囲環境の全体において物体を検知するものとしてもよい。
【0017】
車外カメラ8は、車両2の車体前方に備えられて車両2の前方環境を撮像する前方カメラ8aと、左右のドアミラー13aおよび13bに設けられて車両2の左右の側方環境を撮像する左側方カメラ8bおよび右側方カメラ8cと、車体後方に備えられて車両2の後方環境を撮像する後方カメラ8dと、を含む。
【0018】
車両2は、さらに、車両2のアクセルペダル、ブレーキペダル、方向指示灯、ステアリングハンドル等の操縦操作器の操作状態を検知すると共に、車両2の車速、加速度、ヨーレート等の運動状態を検知する車両制御装置10を備える。
【0019】
車両2は、また、運転者を含む車室内の画像を撮像する室内カメラ11と、運転者が車両2の後方を視認するためのルームミラー12と、を備える。ルームミラー12は、車両2の後方を撮像する後方カメラ8dの映像を表示するリアビューミラーであってもよい。
【0020】
[注意喚起システムの動作概要]
注意喚起システム1では、注意喚起装置3と最適化サーバ4とが協働して、車両2の運転者に、注意散漫な状態である可能があることを通知する。例えば、注意喚起システム1は、図4に示すように、車両2が交差点14を通過する際に、運転者が注意散漫状態である可能性があることを検知したときに、HMI装置6から触覚刺激、聴覚刺激(例えば、音)、及び又は視覚情報(例えば、光)を出力することにより、その運転者に通知を行う。
【0021】
具体的には、注意喚起装置3は、最適化サーバ4から受信する通知パラメータセット(後述)が規定する態様で、注意散漫状態の可能性が所定のレベルとなったときに、HMI装置6により車両2の運転者に対して通知を行う。当該通知に用いるHMI装置6は、触覚式HMI装置6a、聴覚式HMI装置6b、及び視覚式HMI装置6cのいずれか一つ、または二つ以上の組み合わせであり得る。
【0022】
最適化サーバ4は、注意喚起装置3がHMI装置6を用いて行う上記通知に対する、上記運転者の受容性が高まるように、上記通知パラメータセットを最適化する。ここで、上記受容性の程度は、本実施形態では、HMI装置6により通知を行った回数に対する、それらの通知に対し運転者が反応行動を行った回数の比である反応比率である。
【0023】
最適化サーバ4は、上記通知パラメータの最適化を行うためのデータ収集動作と、より最適な通知パラメータセットを用いて通知を行う運用動作と、を実行する。
【0024】
データ収集動作では、最適化サーバ4は、専らデータ収集に用いる通知パラメータセットであるデータ収集用パラメータセットを生成する。最適化サーバ4は、値の異なる様々なデータ収集用パラメータセットを生成し、これらのデータ収集用パラメータセットのそれぞれと反応比率との関係を示す反応情報を取得する。
【0025】
最適化サーバ4は、取得した反応情報を用いて、機械学習により、通知パラメータセットと反応比率との関係を運転者反応モデルに学習させる。例えば、最適化サーバ4は、データ収集動作により反応情報が取得されるごとに、取得した反応情報を用いて、運転者反応モデルに追加学習を行う。
【0026】
運用動作では、最適化サーバ4は、取得した反応情報により追加学習された運転者反応モデルを用いて、運転者の反応比率が最も高まると推定される通知パラメータセットである最適パラメータセットを決定する。最適化サーバ4は、上記決定した最適パラメータセットを注意喚起装置3へ送信し、注意喚起装置3は、上記最適パラメータセットを用いて、HMI装置6により通知を行う。
【0027】
最適化サーバ4は、また、運用動作において、最適パラメータセットと反応比率との関係を示す反応情報を取得する。最適化サーバ4は、上記取得した反応情報をも用いて、運転者モデルの追加学習を更に行う。
【0028】
これにより、最適化サーバ4は、運転者反応モデルの追加学習が繰り返されるにつれて、反応比率がより高い通知(すなわち、その運転者にとって受容性の程度がより高い通知)を行い得るように、最適パラメータセットを決定することが可能となる。
【0029】
[注意喚起装置の構成]
図5は、車両2が備える注意喚起装置3の構成を示す図である。
注意喚起装置3は、プロセッサ30と、メモリ31と、第1通信器32と、を有する。第1通信器32は、注意喚起装置3が最適化サーバ4と通信するための送受信器である。メモリ31は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。メモリ31には、後述する行動記録部36により反応ログ37が記憶される。
【0030】
プロセッサ30は、例えば、CPU等を備えるコンピュータである。プロセッサ30は、プログラムが書き込まれたROM、データの一時記憶のためのRAM等を有する構成であってもよい。そして、プロセッサ30は、機能要素又は機能ユニットとして、視線計測部33と、通知部34と、判断部35と、行動記録部36と、を備える。
【0031】
プロセッサ30が備えるこれらの機能要素は、例えば、コンピュータであるプロセッサ30が、メモリ31に保存されたプログラム38を実行することにより実現される。なお、プログラム38は、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、プロセッサ30が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
【0032】
視線計測部33は、継続的に、車両2の運転者の視線滞留を検知して、その視線滞留時間を計測する。例えば、視線計測部33は、従来技術に従い、室内カメラ11から得られる運転者の顔画像に基づいて視線トラッキングを行うことにより、その運転者の視線滞留時間を計測する。本実施形態では、視線計測部33は、交通環境に対する運転者の注意力がより重要となる交差点に車両2が進入する際、及び又は車両2が交差点を通過する際に、運転者の視線滞留時間を計測する。
【0033】
通知部34は、最適化サーバ4から受信する通知パラメータセット(すなわち、上述のデータ収集用パラメータセット又は最適パラメータセット)に従い、視線計測部33が算出した視線滞留時間が所定の閾値を超えたときに、HMI装置6により、車両2の運転者に対し、その運転者が注意散漫状態である可能性があることを伝えるための通知を行う。また、この通知は、通知パラメータセットのパラメータが規定する顕著性レベルで実行される。
【0034】
本実施形態では、通知パラメータセットは、式(1)に示すように、通知の発出タイミングを規定するパラメータである閾値aと、通知の顕著性レベルを規定するパラメータである定数bの2つのパラメータの値を含む。
通知パラメータセット=(a,b) (1)
【0035】
通知部34は、通知パラメータセットに含まれる閾値aに基づき、視線計測部33が算出した視線滞留時間Tsが閾値aを超えたとき、すなわち、式(2)を満たしたときに、HMI装置6により、通知の発出を開始する。この通知は、上記通知パラメータセットに含まれる、通知の顕著性レベルを規定するパラメータである定数b用いて式(3)で与えられる顕著性レベルSLで実行される。
Ts>a (2)
SL=b (3)
【0036】
ここで、顕著性レベルとは、HMI装置6が出力する刺激が人の注意を引き付ける又は誘引する強さの度合いをいう。
例えば、触覚刺激の顕著性レベルは、当該触覚刺激が電動シートベルトの張力として出力される場合には、上記張力の大きさに対応する。上記張力が大きいほど、当該張力が与える触覚刺激の顕著性レベルは高い。
また、例えば、聴覚刺激の顕著性レベルは、聴覚刺激である音の強度、周波数の高さ、繰り返し周期の短さ、及び又は強度若しくは周波数の変化周期の短さに対応する。音の強度が大きいほど、周波数が高いほど、上記繰り返し周期が短いほど、及び又は強度若しくは周波数の変化周期が短いほど、その音が与える聴覚刺激の顕著性レベルは高い。
【0037】
あるいは、触覚刺激が、上述したようなステアリングハンドル22に設けられた振動アクチュエータから運転者の手に与えられる振動である場合には、その触覚刺激の顕著性レベルは、振動の強度、周波数の高さ、繰り返し周期の短さ、及び又は強度若しくは周波数の変化周期の短さに対応する。振動の強度が大きいほど、周波数が高いほど、上記繰り返し周期が短いほど、及び又は強度若しくは周波数の変化周期が短いほど、その振動が与える触覚刺激の顕著性レベルは高い。
【0038】
また、あるいは、視覚情報の顕著性レベルは、その視覚情報が表示装置に表示される文字や図形等のグラフィック要素として出力される場合には、表示されるグラフィック要素の輝度、輝度変化の周期、点滅の周期、又は色合いにより定まり得る。例えば、上記輝度が高いほど、輝度変化又は点滅の周期が短いほど、又は色合いが寒色から暖色へ近づくほど、視覚情報の顕著性レベルは高い。
【0039】
なお、触覚刺激、聴覚刺激、及び又は視覚情報の態様の詳細(上述した種々の刺激又は視覚情報における上記強度、周波数、張力、輝度、輝度変化等々)と顕著性レベルSLの大きさとの対応関係は、予め定めてメモリ31に記憶させておくものとすることができる。
通知部34は、上記対応関係の情報を参照し、上記決定した顕著性レベルSLの大きさに応じた態様の上記触覚刺激、聴覚刺激、及び又は視覚情報により、HMI装置6から運転者へ通知を行うものとすることができる。
【0040】
上述したように、本実施形態では、通知パラメータセットには、データ収集用パラメータセットと最適化パラメータセットの2種類がある。通知部34は、最適化サーバ4からの指示に従い(例えば、後述する実行順序情報に従って)、データ収集用パラメータセット又は最適パラメータセットを用いて、HMI装置6により運転者への通知を行う。
【0041】
判断部35は、最適化サーバ4が決定した通知パラメータセットが示す発出タイミング及び顕著性レベルにより通知部34がHMI装置6を用いて通知を行ったときに、上記通知に対する運転者の反応行動があったか否かを判断する。
【0042】
具体的には、判断部35は、通知部34がHMI装置6により通知を行ってから所定の時間(例えば、通知の発出開始から2秒)が経過するまでに車両2が行った操縦に関わる行動の変化を、上記通知に対して運転者が行った反応行動として取得する。本実施形態では、例えば、判断部35は、運転者の視線移動における、時間的に連続する2つの注視点の間の視線移動量が所定量以上であるか否か、及び又は運転者の視線移動範囲の大きさが所定の大きさ以上であるか否か、に基づいて、上記反応行動の有無を判断する。判断部35は、上記注視点の間の視線移動量が所定量以上であるとき、及び又は運転者の視線移動範囲の大きさが所定の大きさ以上であるときは、上記反応行動があったものと判断する。
【0043】
行動記録部36は、最適化サーバ4が決定した通知パラメータセットが示す発出タイミング及び顕著性レベルにより通知部34がHMI装置6を用いて通知を行ったときに、上記通知に対する運転者の反応行動があったか否かを記録する。
【0044】
具体的には、行動記録部36は、判断部35における反応行動の有無についての判断結果に基づき、通知に用いた通知パラメータセットと、その通知に対する反応行動の有無の判断結果と、を関連付けた反応記録を、メモリ31が記憶する反応ログ37に保存する。
【0045】
そして、行動記録部36は、後述する更新期間の終了時に、反応ログ37に保存した反応記録を最適化サーバ4へ送信する。
【0046】
[最適化サーバの構成]
図6は、最適化サーバ4の構成を示す図である。
最適化サーバ4は、プロセッサ40と、メモリ41と、第2通信器42と、有する。第2通信器42は、最適化サーバ4が注意喚起装置3と通信するための送受信器である。メモリ41は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。メモリ41には、後述する反応情報記録部43が生成した反応情報46と、学習部44により機械学習が行われる運転者反応モデル47と、が記憶される。
【0047】
プロセッサ40は、例えば、CPU等を備えるコンピュータである。プロセッサ40は、プログラムが書き込まれたROM、データの一時記憶のためのRAM等を有する構成であってもよい。そして、プロセッサ40は、機能要素又は機能ユニットとして、反応情報記録部43と、学習部44と、決定部45と、を備える。
【0048】
プロセッサ40が備えるこれらの機能要素は、例えば、コンピュータであるプロセッサ40が、メモリ41に保存されたプログラム48を実行することにより実現される。なお、プログラム48は、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、プロセッサ40が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
【0049】
反応情報記録部43は、車両2の注意喚起装置3から送信される反応記録に基づき、相異なる通知パラメータセットのそれぞれについて、その通知パラメータセットを用いた通知が行われた回数に対する、当該通知に対し運転者が反応行動を行った回数の比である反応比率を算出する。また、反応情報記録部43は、相異なる通知パラメータセットのそれぞれについて、その通知パラメータセットと、その通知パラメータセットを用いた通知についての反応比率と、を関連付けた反応情報46を生成する。そして、反応情報記録部43は、生成した反応情報46をメモリ41に記憶する。
【0050】
学習部44は、反応情報記録部43がメモリ41に記憶させた反応情報46を用いて、通知パラメータセットと反応比率との関係を、メモリ41に保存された運転者反応モデル47に、機械学習により学習させる。運転者反応モデル47は、従来技術に従い、例えばニューラルネットワークで構成され得る。
【0051】
学習部44は、反応情報記録部43が車両2の注意喚起装置3から受信した反応記録に基づいて反応情報46に新たに記憶させるごとに(例えば、後述する更新期間が終了するごとに)、当該新たに記憶された反応情報46を用いて、運転者反応モデル47に追加学習を行う。これにより、メモリ41に保存された運転者反応モデル47は、注意喚起装置3から受視される新しい反応記録に基づいて新しい反応情報が生成される毎に、より精度の高い予測を行い得るように更新されていく。
【0052】
決定部45は、車両2が備える注意喚起装置3の通知部34がHMI装置6により行う通知の動作を規定する通知パラメータセットを決定する。上述の式(1)に示すように、本実施形態では、通知パラメータセットには、通知の発出タイミングを規定するパラメータである閾値aと、通知の顕著性レベルを規定するパラメータである定数bと、が含まれる。
【0053】
本実施形態では、決定部45は、通知パラメータセットとして、データ収集用の通知パラメータセットであるデータ収集用パラメータセットと、運用のための通知パラメータセットである最適パラメータセットと、を決定する。
データ収集用パラメータセットは、車両2が備える注意喚起装置3において専らデータ収集動作を行わせるための通知パラメータセットである。データ収集動作では、値の異なる様々なデータ収集用パラメータセットを例えばランダムに用いて反応情報が収集される。
【0054】
例えば、決定部45は、データ収集用パラメータセットのそれぞれをランダムに決定する。すなわち、決定部45は、通知パラメータセットを構成する閾値aの値と、定数bの値とを、それぞれ所定の値範囲からランダムに決定して、上記決定した閾値aと定数bとにより構成されるデータ収集用パラメータセットを生成する。
【0055】
最適パラメータセットは、車両2が備える注意喚起装置3に、運転者にとって受容し易い態様の通知を行う運用動作を行わせるための通知パラメータセットである。具体的には、決定部45は、様々な通知パラメータセットと反応比率との関係から、反応比率が最大になると推定される通知パラメータセットを算出し、算出した通知パラメータセットを最適パラメータセットとして決定する。
本実施形態では、様々な通知パラメータセットと反応比率との関係を学習した運転者反応モデル47を用いて、反応比率が最大になると推定される通知パラメータセットを算出し、算出した通知パラメータセットを最適パラメータセットとして決定する。
【0056】
決定部45は、所定期間を定め、注意喚起装置3と協働して、上記決定したデータ収集用パラメータセットを用いたデータ収集動作と、上記決定した最適パラメータセットを用いた運用動作とを、上記所定期間において選択的に実行する。本実施形態では、上記所定期間は、決定した最適パラメータセットを次に更新するまでの更新期間(すなわち、最適パラメータセットを新たに決定するまでの期間)である。
【0057】
そして、決定部45は、上記更新期間において、通知部34、行動記録部36、及び反応情報記録部43と協働して、上記決定した最適パラメータセットと上記複数のデータ収集用パラメータセットとを選択的に用いた通知を行い、これらの通知に用いた最適パラメータセット及びデータ収集用パラメータセットについての反応情報を取得する。
【0058】
具体的には、決定部45は、まず、運転者反応モデル47を用いて最適パラメータセットを決定し、当該決定した最適パラメータセットを次に更新するまでの期間である更新期間を定める。また、決定部45は、上記更新期間に用いる複数のデータ収集用パラメータセットを生成する。ここで、上記更新期間は、所定の時間長さの期間又は通知部34により所定回数の通知が行われる期間として定められ得る。
【0059】
決定部45は、さらに、注意喚起装置3の通知部34が上記更新期間内の複数回の通知において、上記最適パラメータセットを用いた通知と、上記複数のデータ収集用パラメータセットのいずれかを用いた通知とを、どういう順序で実行するかを定めた実行順序情報を生成する。
【0060】
例えば、決定部45は、上記更新期間内において実行すべきデータ収集用パラメータセットを用いた通知(以下、データ収集通知)の回数、及び最適パラメータセットを用いた通知(以下、運用通知)の回数を、定める。そして、決定部45は、データ収集通知と運用通知の順序をランダムに定めた実行順序情報を生成する。実行順序情報は、例えば、上記更新期間の開始から1回目の通知はデータ収集通知、2回目及び3回目の通知は運用通知、4回目は・・・・、のように、上記更新期間の開始からn回目(n>1)の通知をデータ収集通知とするか運用通知とするかを規定するものであり得る。
【0061】
ここで、上記実行順序情報の生成に際して決定する上記データ収集通知の回数と運用通知の回数は、例えば、運転者反応モデル47の学習状況(例えば、それまでの学習に用いた反応情報の数)に応じて、定められるものとすることができる。より具体的には、データ収集通知の回数と運用通知の回数は、運用通知の回数に対するデータ収集通知の回数の比が、運転者反応モデル47の学習が進むにつれて(例えば、それまでの学習に用いた反応情報の数が増加するにつれて)減少するように定められ得る。
【0062】
決定部45は、上記決定又は生成した最適パラメータセット、データ収集用パラメータセット、実行順序情報、及び更新期間の情報を、注意喚起装置3へ送信する。これにより、上記決定した更新期間が開始し、注意喚起装置3の通知部34は、実行順序情報に従って、データ収集通知又は運用通知を実行する。また、注意喚起装置3の行動記録部36は、データ収集通知及び運用通知が行われたとき運転者の反応行動の有無を示す反応記録を、反応ログ37に保存する。なお、更新期間内における通知の発生回数が、実行順序情報に含まれや通知の数を超えた場合には、通知部34は、実行順序情報の最初に戻って当該実行順序情報を繰り返し用いるものとすることができる。
【0063】
行動記録部36は、上記更新期間の満了時に、反応ログ37に保存した反応記録を最適化サーバ4へ送信する。最適化サーバ4の反応情報記録部43は、反応記録を受信して、反応情報を生成する。また、最適化サーバ4の学習部44は、生成された反応情報を用いて運転者反応モデル47の追加学習を行う。
【0064】
次いで、決定部45は、上記追加学習された運転者反応モデル47を用いて新たに最適パラメータセットを決定し(すなわち、最適パラメータセットを更新し)、次の更新期間と、データ収集用パラメータセットと、実行順序情報とを新たに決定又は生成する。決定部45は、これらの新たな最適パラメータセット、データ収集用パラメータセット、実行順序情報、及び更新期間の情報を、注意喚起装置3へ送信し、新たな更新期間の動作が開始する。
【0065】
その後は、上記と同様にして、更新期間が繰り返され、それぞれの更新期間においてデータ収集通知と運用通知とが混在して実行される(すなわち、それぞれの更新期間においてデータ収集動作と運用動作とが繰り返される)。
【0066】
[注意喚起システムにおける動作フロー]
つぎに、注意喚起システム1の動作手順について説明する。図7は、注意喚起システム1のコンピュータ(すなわち、注意喚起装置3のプロセッサ30及び最適化サーバ4のプロセッサ40)が実行する注意喚起方法の、動作の手順を示すフロー図である。図7に示す処理は繰り返し実行される。
【0067】
処理を開始すると、まず、最適化サーバ4の決定部45は、運転者反応モデル47を用いて、運転者の反応比率が最大となると推定される通知パラメータセットである最適パラメータセットを算出して決定する(S100)。また、決定部45は、上記決定した最適パラメータセットを次に更新するまでの更新期間と、当該更新期間において専らデータ収集用に用いる通知パラメータセットである複数のデータ収集用パラメータセットとを決定する(S102)。決定部45は、上記決定又は生成した最適パラメータセット、データ収集用パラメータセット、及び更新期間の情報を、注意喚起装置3へ送信する。これにより、注意喚起装置3において、更新期間が開始する。決定部45は、上記最適パラメータセット等の送信に際し、更新期間における最適パラメータセット及びデータ収集用パラメータセットの使用順序を定めた実行順序情報を生成して、注意喚起装置3へ送信してもよい。
【0068】
次に、注意喚起装置3の通知部34は、例えば上記実行順序情報に従い、データ収集用パラメータセットを用いた通知であるデータ収集通知又は最適パラメータセットを用いた通知である運用通知のいずれかを実行する(S104)。通知は、それぞれの通知パラメータセットに従い、視線滞留時間Tsが上述の式(2)を満たしたときに、HMI装置6により、式(3)で与えられる顕著性レベルSLで行われる。
【0069】
そして、HMI装置6から通知が出力されるごとに、注意喚起装置3の行動記録部36は、判断部35における反応行動の有無についての判断結果に基づいて、運転者の反応行動の有無の記録である反応記録を、メモリ31の反応ログ37に保存して記憶する(S104)。ここで、通知に対する反応行動の有無は、その通知の開始から第1所定時間内(例えば、2秒)に運転者が反応行動を行ったか否かにより判断される。
【0070】
通知部34は、第1所定時間内に反応行動が無かった場合には、運転者が反応行動を行うまで、通知パラメータセットを変更しつつ通知を繰り返してもよい。例えば、通知部34は、通知から第2所定時間内(例えば、10秒)に運転者が反応行動を行ったか否かを判断する(S108。そして、通知部34は、第2所定時間内に運転者が反応行動を行わなかったときは(S108、NO)、ステップS104に戻って処理を繰り返すものとすることができる。
【0071】
一方、第2所定時間内に運転者が反応行動を行ったときは(S108、YES)、通知部34は、更新期間が終了したか否かを判断する(S110)。そして、更新期間が終了していないときは(S110、NO)、通知部34は、ステップS104に戻って処理を繰り返す。
【0072】
一方、更新期間が終了したときは(S110、YES)、行動記録部36は、その更新期間において収集して反応ログ37に保存した反応記録を、最適化サーバ4へ送信する。最適化サーバ4の反応情報記録部43は、受信した上記反応記録に基づき、反応情報46を生成してメモリ41に記憶する(S112)。学習部44は、メモリ41に記憶された反応情報46を用いて、運転者反応モデル47についての追加学習を行って、本処理が終了する。
【0073】
本処理の終了後は、注意喚起システム1は、ステップS100から処理を再開し、上述したデータ収集期間及び運用動作期間の動作を繰り返す。
【0074】
[その他の実施形態]
上述した実施形態では、更新期間毎にデータ収集用パラメータセットを決定するものとしたが、一部又は全部のデータ収集用パラメータセットが複数の更新期間に跨って用いられてもよい。
【0075】
また、上述した実施形態では、決定部45が、データ収集用パラメータセット及び最適パラメータセットの実行順序をランダムに定めて実行順序情報を生成するものとし、通知部34は、実行順序情報に従って複数のデータ収集用パラメータセット及び最適パラメータセットのいずれかを用いて通知を行うものとした。これに代えて、決定部45は、実行順序情報を生成せず、通知部34自身が、複数のデータ収集用パラメータセット及び最適パラメータセットのいずれを用いるかをランダムに定めて通知を行うものとしてもよい。
【0076】
また、上述した実施形態では、決定部45は、更新期間毎に複数のデータ収集用パラメータセットを決定するものとしたが、更新期間毎に少なくとも一つのデータ収集用パラメータセットを決定するものとしてもよい。
【0077】
また、上述した実施形態では、最適化サーバ4の決定部45は、更新期間において、データ収集用パラメータセットを用いたデータ収集動作と、最適パラメータセットを用いた運用動作とを混在させて選択的に実行するものとした。ただし、データ収集動作と運用動作とは、必ずしも更新期間内において混在させて選択的に実行する必要はなく、データ収集動作と運用動作とを、それぞれ期間を分けて実行してもよい。上記期間は、所定の時間長さの期間又は通知部34により所定回数の通知が行われる期間とすることができる。
【0078】
また、上述した実施形態では、決定部45は、反応情報記録部43が生成した反応情報に基づいて機械学習を行った運転者反応モデル47を用いて、最適パラメータセットを決定するものとした。ただし、運転者反応モデル47の使用は、最適パラメータセットを決定する一つの手法であって、決定部45は、運転者反応モデル47を用いない他の任意の手法を用いて、反応情報が示す通知パラメータセットと反応比率との関係から、最適パラメータセットを決定するものとすることができる。
【0079】
そのような他の手法は、例えば、通知パラメータセットを構成する各パラメータ(例えば、閾値a並びに定数b及びc)と、反応比率と、についての多変量解析(例えば、共分散分析)等の手法であり得る。
【0080】
また、上述した実施形態では、決定部45は、通知パラメータセットを構成する各パラメータの値をランダムに定めてデータ収集用パラメータセットを決定するものとしたが、データ収集用パラメータセットの決定手法は、この手法(ランダムな値決定)には限られない。たとえば、決定部45は、遺伝的アルゴリズムの手法を用いて、一の通知パラメータセットを構成する各パラメータの値セットに選択、交叉、及び又は突然変異等の操作を行って上記値セットの新たな世代を生成し、生成した世代の値セットを持つ通知パラメータセットをデータ収集用パラメータセットとして決定してもよい。
【0081】
また、あるいは、決定部45は、それまでに得られた反応情報に基づき、最適腕識別などの確率論的手法を用いて、報酬としての反応比率がより大きくなると推定される通知パラメータセットを、データ収集用パラメータセット及び又は最適パラメータセットとして決定してもよい。
【0082】
また、上述した実施形態では、運転者反応モデル47は一つであるものとしたが、複数の運転者が交代で車両2を運転する場合には、運転者反応モデル47は、運転者毎に作成してもよい。
【0083】
また、注意喚起システム1は、上述した実施形態では、車両2に搭載された注意喚起装置3と、車両2の外部に置かれた最適化サーバ4とにより構成されるものとしたが、この構成には限られない。上述した最適化サーバ4が備える機能要素及び注意喚起装置3が備える機能要素の全てが、車両2に備えられていてもよい。例えば、最適化サーバ4が備える反応情報記録部43、学習部44、及び決定部45は、注意喚起装置3のプロセッサ30に備えられ、運転者反応モデル47は、メモリ31に保存されて、注意喚起装置3のみにより注意喚起システム1が実現されてもよい。
【0084】
あるいは、上述した実施形態における注意喚起装置3が備える機能要素及び最適化サーバ4が備える機能要素の全てが、車両2の外部のサーバ装置に備えられていてもよい。例えば、注意喚起装置3が備える視線計測部33、通知部34、判断部35、及び行動記録部36は、最適化サーバ4のプロセッサ40に備えられてもよい。この場合には、最適化サーバ4と、車両2の各装置(HMI装置6、物体検知装置7、車外カメラ8等)とが、通信可能に接続されるものとすることができる。
【0085】
本発明は上記の実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
【0086】
[上記実施形態によりサポートされる構成]
上述した実施形態は、以下の構成をサポートする。
【0087】
(構成1)車両の運転者の視線滞留時間を計測する視線計測部と、前記計測された視線滞留時間が所定の閾値を超えたときに、HMI装置により前記運転者に対して所定の顕著性レベルの通知を行う通知部と、を備える注意喚起システムであって、前記通知の発出タイミングを規定するパラメータと前記HMI装置により発する前記通知の顕著性レベルを規定するパラメータとを含む通知パラメータセットを決定する決定部と、前記通知部が、前記決定された通知パラメータセットが示す前記発出タイミング及び前記顕著性レベルにより前記通知を行ったときに、前記通知に対する前記運転者の反応行動があったか否かを記録する行動記録部と、相異なる前記通知パラメータセットのそれぞれについて、前記通知の回数に対する、前記通知に対し前記運転者が前記反応行動を行った回数の比である反応比率を算出し、前記通知パラメータセットと前記反応比率とを関連付けた反応情報を記憶装置に記憶する反応情報記録部と、を更に備え、前記決定部は、前記反応情報が示す前記通知パラメータセットと前記反応比率との関係に基づいて、前記反応比率が最大となると推定される前記通知パラメータセットである最適パラメータセットを算出して決定する、注意喚起システム。
構成1の注意喚起システムによれば、注意散漫状態に関する通知に対する運転者の受容性の程度を、その通知に対する運転者の反応比率として評価し、当該反応比率が最大となるように、通知の態様を規定する通知パラメータセットを算出するので、注意散漫状態の可能性があることを、その車両の運転者にとって受容し易い態様で通知することができる。
【0088】
(構成2)前記決定部は、前記決定した最適パラメータセットを次に更新するまでの期間である更新期間と、専らデータ収集に用いる前記通知パラメータセットである少なくとも一つのデータ収集用パラメータセットと、を更に決定し、前記更新期間において、前記通知部、前記行動記録部、及び前記反応情報記録部と協働して、前記決定した最適パラメータセットとデータ収集用パラメータセットとを選択的に用いた前記通知を行い、前記用いた最適パラメータセット及びデータ収集用パラメータセットについての前記反応情報を取得する、構成1に記載の注意喚起システム。
構成2の注意喚起システムによれば、同一の更新期間内においてデータ収集動作と運用動作を分散して行うので、データ収集用パラメータセットを用いた通知に対する運転者の違和感を抑制することができる。
【0089】
(構成3)前記更新期間は、所定の時間長さの期間又は前記通知部により所定回数の前記通知が行われる期間として定められる、構成2に記載の注意喚起システム。
構成3の注意喚起システムによれば、更新期間において収集する反応記録のデータ量を、更新期間の時間長さ又は通知の回数により制御することができる。
【0090】
(構成4)前記決定部は、前記通知部が前記更新期間内の複数回の前記通知において前記最適パラメータセットを用いた前記通知と前記データ収集用パラメータセットを用いた前記通知とをどういう順序で実行するかを定めた実行順序情報を生成し、前記通知部は、前記実行順序情報に従って前記最適パラメータセットと前記データ収集用パラメータセットとを選択して用いて、前記通知を行う、構成2または3に記載の注意喚起システム。
構成4の注意喚起システムによれば、通知部は、実行順序情報に従って通知パラメータセットを選択できるので、処理が簡便となる。
【0091】
(構成5)前記反応情報に基づき、前記通知パラメータセットと前記反応比率との関係を、機械学習により運転者反応モデルに学習させる学習部を備え、前記決定部は、前記運転者反応モデルを用いて、前記反応比率が最大となると推定される前記最適パラメータセットを決定する、構成1ないし4のいずれかに記載の注意喚起システム。
構成5の注意喚起システムによれば、反応比率が最大となると推定される最適パラメータセットを容易に決定することができる。
【0092】
(構成6)前記視線計測部は、前記車両が交差点に進入する際及び又は交差点を通過する際に、前記運転者の視線滞留時間を計測する、構成1ないし5のいずれかに記載の注意喚起システム。
構成6の注意喚起システムによれば、運転者の注意力がより重要となる交差点において、運転者の注意散漫状態に関する通知を行って、操縦行動への集中を促すことができる。
【0093】
(構成7)前記視線計測部は、前記車両の車室内に備えられたカメラからの前記運転者の顔画像に基づく視線トラッキングにより、前記運転者の視線滞留時間を計測する、構成1ないし6のいずれかに記載の注意喚起システム。
構成7の注意喚起システムによれば、特殊な装備を用いることなく、カメラ画像に基づく視線トラッキングにより視線滞留時間を容易に計測することができる。
【0094】
(構成8)前記反応行動の有無は、前記運転者の視線移動における、時間的に連続する2つの注視点の間の視線移動量が所定量以上であるか否か、及び又は前記運転者の視線移動範囲の大きさが所定の大きさ以上であるか否か、に基づいて判断される、構成1ないし7のいずれかに記載の注意喚起システム。
構成8の注意喚起システムによれば、注意散漫状態に関する通知に対する運転者の反応の有無を、車両における運転者の視線移動の態様から容易に判断することができる。
【0095】
(構成9)前記HMI装置は、触覚式HMI装置、聴覚式HMI装置、及び又は視覚式HMI装置を含む、構成1ないし8のいずれかに記載の注意喚起システム。
構成9の注意喚起システムによれば、種々のHMI装置を用いて、種々の態様の通知を運転者に通知することができる。
【0096】
(構成10)前記車両と通信可能に接続されたサーバ装置を含み、前記サーバ装置は、前記決定部と、前記反応情報記録部と、を備え、前記車両は、前記視線計測部と、前記通知部と、を備える、構成1ないし9のいずれかに記載の注意喚起システム。
構成10の注意喚起システムによれば、サーバ装置と車載装置とに分散して処理を行うことができるので、例えば、車載装置の負荷を軽減して車両コストを低減することができる。
【0097】
(構成11)前記決定部と、前記反応情報記録部と、前記視線計測部と、前記通知部とは、前記車両に備えられる、構成1ないし9のいずれかに記載の注意喚起システム。
構成11の注意喚起システムによれば、注意喚起システムの全体を車両に搭載することができるので、車両外における通信回線の逼迫状況などに左右されない、より安定な処理を行うことができる。
【0098】
(構成12)HMI装置により車両の運転者に対して通知を行う注意喚起システムのコンピュータが実行する注意喚起方法であって、前記車両の運転者の視線滞留時間を計測する視線計測ステップと、前記計測された視線滞留時間が所定の閾値を超えたときに、HMI装置により前記運転者に対して通知を行う通知ステップと、を有し、前記通知の発出タイミングを規定するパラメータと前記HMI装置により発する前記通知の顕著性レベルを規定するパラメータとを含む通知パラメータセットを決定する決定ステップと、前記決定された通知パラメータセットが示す前記発出タイミング及び前記顕著性レベルにより前記通知ステップにおいて前記通知を行ったときに、前記通知に対する前記運転者の反応行動があったか否かを記録する行動記録ステップと、相異なる前記通知パラメータセットのそれぞれについて、前記通知の回数に対する、前記通知に対し前記運転者が前記反応行動を行った回数の比である反応比率を算出し、前記通知パラメータセットと前記反応比率とを関連付けた反応情報を記憶装置に記憶する反応情報記録ステップと、を更に備え、前記決定ステップでは、種々の前記通知パラメータセットと前記反応比率との関係から、前記反応比率が最大となると推定される前記通知パラメータセットである最適パラメータセットを算出して決定する、注意喚起方法。
構成12の注意喚起方法によれば、注意散漫状態に関する通知に対する運転者の受容性の程度を、その通知に対する運転者の反応比率として評価し、当該反応比率が最大となるように、通知の態様を規定する通知パラメータセットを算出するので、注意散漫状態の可能性があることを、その車両の運転者にとって受容し易い態様で通知することができる。
【符号の説明】
【0099】
1…注意喚起システム、2…車両、3…注意喚起装置、4…最適化サーバ、5…通信ネットワーク、6…HMI装置、6a…触覚式HMI装置、6b…聴覚式HMI装置、6c…視覚式HMI装置、7…物体検知装置、8…車外カメラ、8a…前方カメラ、8b…左側方カメラ、8c…右側方カメラ、8d…後方カメラ、9…GPS装置、10…車両制御装置、11…室内カメラ、12…ルームミラー、13a、13b…ドアミラー、14…交差点、15…先行車、20…運転席、21…シートベルト、22…ステアリングハンドル、23…インストルメントパネル、24…表示装置、25…ウインドシールド、30…プロセッサ、31…メモリ、32…第1通信器、33…視線計測部、34…通知部、35…判断部、36…行動記録部、37…反応ログ、38、48…プログラム、40…プロセッサ、41…メモリ、42…第2通信器、43…反応情報記録部、44…学習部、45…決定部、46…反応情報、47…運転者反応モデル、60…ライン。
図1
図2
図3
図4
図5
図6
図7