IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社豊田中央研究所の特許一覧 ▶ 株式会社ジェイテクトの特許一覧

特許7509656運転適正状態判定装置及び運転適正状態判定プログラム
<>
  • 特許-運転適正状態判定装置及び運転適正状態判定プログラム 図1
  • 特許-運転適正状態判定装置及び運転適正状態判定プログラム 図2
  • 特許-運転適正状態判定装置及び運転適正状態判定プログラム 図3
  • 特許-運転適正状態判定装置及び運転適正状態判定プログラム 図4
  • 特許-運転適正状態判定装置及び運転適正状態判定プログラム 図5
  • 特許-運転適正状態判定装置及び運転適正状態判定プログラム 図6
  • 特許-運転適正状態判定装置及び運転適正状態判定プログラム 図7
  • 特許-運転適正状態判定装置及び運転適正状態判定プログラム 図8
  • 特許-運転適正状態判定装置及び運転適正状態判定プログラム 図9
  • 特許-運転適正状態判定装置及び運転適正状態判定プログラム 図10
  • 特許-運転適正状態判定装置及び運転適正状態判定プログラム 図11
  • 特許-運転適正状態判定装置及び運転適正状態判定プログラム 図12
  • 特許-運転適正状態判定装置及び運転適正状態判定プログラム 図13
  • 特許-運転適正状態判定装置及び運転適正状態判定プログラム 図14
  • 特許-運転適正状態判定装置及び運転適正状態判定プログラム 図15
  • 特許-運転適正状態判定装置及び運転適正状態判定プログラム 図16
  • 特許-運転適正状態判定装置及び運転適正状態判定プログラム 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-24
(45)【発行日】2024-07-02
(54)【発明の名称】運転適正状態判定装置及び運転適正状態判定プログラム
(51)【国際特許分類】
   G08G 1/00 20060101AFI20240625BHJP
   G08G 1/16 20060101ALI20240625BHJP
   B60W 50/08 20200101ALI20240625BHJP
【FI】
G08G1/00 D
G08G1/16 F
B60W50/08
【請求項の数】 10
(21)【出願番号】P 2020180643
(22)【出願日】2020-10-28
(65)【公開番号】P2022071595
(43)【公開日】2022-05-16
【審査請求日】2023-04-10
(73)【特許権者】
【識別番号】000003609
【氏名又は名称】株式会社豊田中央研究所
(73)【特許権者】
【識別番号】000001247
【氏名又は名称】株式会社ジェイテクト
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】嶋内 洋
(72)【発明者】
【氏名】坂口 靖雄
(72)【発明者】
【氏名】村岸 裕治
(72)【発明者】
【氏名】延永 達哉
(72)【発明者】
【氏名】田村 勉
(72)【発明者】
【氏名】ロバート・フックス
【審査官】武内 俊之
(56)【参考文献】
【文献】特開2015-138308(JP,A)
【文献】特開2009-205645(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00
G08G 1/16
B60W 50/08
(57)【特許請求の範囲】
【請求項1】
車両のドライバの視線の動きである視行動を表すデータを取得する視行動取得部と、
前記ドライバの生理量を取得する生理量取得部と、
ドライバの運転行動に関する複数の指標の各々について、警告直前に取得された前記視行動を表すデータと、警告直前に取得された前記生理量と、警告時に取得された前記指標とを関連付けたモデルを用いて、前記取得した前記視行動を表すデータ及び前記生理量から、前記指標の指標値を推定する運転行動推定部と、
前記複数の指標の各々について、前記運転行動推定部によって推定された前記指標値に基づいて、前記ドライバの運転適正状態を判定する運転適正状態判定部と、
を含む運転適正状態判定装置。
【請求項2】
前記運転適正状態判定部は、更に、前記複数の指標の各々について判定された運転適正状態に基づいて、最終的な運転適正状態を判定する請求項1記載の運転適正状態判定装置。
【請求項3】
前記複数の指標は、反応時間、最大操舵速度、最大操舵角、又は車両軌跡逸脱量を含む請求項1又は2記載の運転適正状態判定装置。
【請求項4】
警告時に取得された前記複数の指標の各々の指標値と、警告直前に取得された前記視行動を表すデータと、警告直前に取得された前記生理量との組み合わせを収集する学習データ収集部と、
前記学習データ収集部によって収集された前記組み合わせに基づいて、前記複数の指標の各々についての前記モデルを学習するモデル学習部と、
を更に含む請求項1~請求項の何れか1項記載の運転適正状態判定装置。
【請求項5】
前記視行動を表すデータは、ドライバ視線の各視野領域への注視頻度を表す注視頻度分布、又は前記ドライバ視線が注視している前記視野領域である注視領域の系列である請求項1~請求項の何れか1項記載の運転適正状態判定装置。
【請求項6】
前記車両の走行車線位置を判定する走行車線位置判定部を更に含み、
前記モデルは、前記走行車線位置毎に、前記複数の指標の各々について、前記視行動を表すデータと、前記生理量と、前記指標とを関連付けたものであって、
前記運転行動推定部は、前記複数の指標の各々について、前記走行車線位置判定部によって判定された前記走行車線位置に対応する前記モデルを用いて、前記取得した前記視行動を表すデータ及び前記生理量から、前記指標の指標値を推定する請求項1~請求項の何れか1項記載の運転適正状態判定装置。
【請求項7】
前記走行車線位置は、複数の車線のうちの最も左の車線である最左車線、複数の車線のうちの最も右の車線である最右車線、複数の車線のうちの最左車線及び最右車線ではない中間車線、及び片側一車線である単車線の何れかである請求項記載の運転適正状態判定装置。
【請求項8】
前記視行動取得部は、警告直前に取得された前記視行動を表すデータを取得する請求項1~請求項の何れか1項記載の運転適正状態判定装置。
【請求項9】
前記警告は、前記車両の手動運転における危険に対して発報される警報、又は前記車両の自動運転から手動運転への切り替えが必要となったときに発報される切り替え要請を含む請求項記載の運転適正状態判定装置。
【請求項10】
コンピュータを、
車両のドライバの視線の動きである視行動を表すデータを取得する視行動取得部、
前記ドライバの生理量を取得する生理量取得部、
ドライバの運転行動に関する複数の指標の各々について、警告直前に取得された前記視行動を表すデータと、警告直前に取得された前記生理量と、警告時に取得された前記指標とを関連付けたモデルを用いて、前記取得した前記視行動を表すデータ及び前記生理量から、前記指標の指標値を推定する運転行動推定部、及び
前記複数の指標の各々について、前記運転行動推定部によって推定された前記指標値に基づいて、前記ドライバの運転適正状態を判定する運転適正状態判定部
として機能させるための運転適正状態判定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転適正状態判定装置及び運転適正状態判定プログラムに係り、特に、ドライバの運転適正状態を判定する運転適正状態判定装置及び運転適正状態判定プログラムに関する。
【背景技術】
【0002】
従来より、特許文献1には、運転動作に関連付けて視線の時系列データを記憶したデータベースを備え、視線検知部で検知したドライバの視線の動きと、前記データベースに記憶された視線の時系列データとを照合して、ドライバが運転動作に関連付けられた視線の動きを行ったか否かを判定する注意行動検知技術が開示されている。
【0003】
特許文献2には、ドライバの視行動情報と車両操作情報とに基づいてドライバの行動特性を求めるとともに、お手本データとの比較結果に応じてドライバの運転技量を評価し、外部環境に対して運転者が楽しい、あるいは不安に感じるといった感情を推定するドライバ感情推定技術が開示されている。
【0004】
特許文献3には、車両挙動及びドライバの操作に関するデータを蓄積してクラスタリングを行い、各クラスタ毎にドライバの運転傾向を推定するモデルをあらかじめ作成しておくことにより、ドライバの現在の運転環境がどのクラスタに最も適合するかを判定し、そのクラスタにおける推定モデルを用いてドライバの現在の運転状況を推定する技術が開示されている。
【0005】
特許文献4には、ドライバが一定時間よそ見をしている場合に、強制自動運転モードに切り替える技術が開示されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2017-100562号公報
【文献】特開2015-84253号公報
【文献】特開2013-178827号公報
【文献】特開2019-40630号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記特許文献1では、ドライバの注意行動を検知できても、その後に行われる運転行動の適否や運転行動との関連については何も示されていないので、ドライバ運転行動の評価ができない。
【0008】
上記特許文献2では、現時点のドライバの運転技量を視行動情報と車両操作情報とに基づいて推定することを目的とはしているが、実際には駐車場での駐車行動を想定した技術となっており、それ以外の場面については具体的な言及がない。また、正常運転時を対象としているため、運転技量以外の注意散漫や眠気等の影響は考慮されていない。従って、様々な状態にあるドライバが道路上で行う、前方・後方車両や側方車両が存在する中での加減速、レーンチェンジ等の危険回避のための運転行動にはそのまま適用できない。さらに、自動運転状態から手動運転への切り替えのような状況についても想定外である。
【0009】
上記特許文献3では、車両挙動及びドライバの操作に関するデータのみからドライバの運転傾向を推定しようとしているが、これらのデータではドライバ正常時の運転傾向はわかるものの、ドライバの運転への集中度や意識レベル等が判断可能な入力データが含まれないため、このままではドライバが現時点でどの程度適正に運転を行うことが可能かどうかの判定を行うことはできない。
【0010】
また、上記特許文献3ではクラスタリングにより決定されるクラスタごとにモデルを作成しているが、このようなクラスタリングが有効でない場合がある。その例として自車の走行車線位置と視線分布との関係を考察すると、複数車線道路の最左車線を走行している場合は、左ミラーを見る必要はほぼないため、運転に必要な周辺情報として左ミラーの情報は有益ではない。特に、一定時間以上の左ミラー視はわき見と同等である。一方、複数車線の中間車線を走行している場合は、左右に隣接する車線を確認することが必要である。これらの場合に単純に視線分布のクラスタリングを行うと、最左車線走行時において一定時間以上の左ミラー視が含まれる場合は、中間車線走行時の左右車線に注意している場合と同一クラスタに分類されるため、運転不適正状態(最左車線走行時)と適正状態(中間車線走行時)とを分離できない。
【0011】
上記特許文献4で、ドライバが一定時間よそ見をしている場合を不安全と判定しているが、どの程度わき見をするとどの程度の危険が生じるのかを定量的に評価できていないため、単純に一定時間以上のよそ見状態を全て手動運転不適正状態と判定してしまっており、きわめて保守的な判定しかできていない。
【0012】
本発明は、上記の事情を鑑みてなされたもので、ドライバの運転適正状態を精度よく判定することができる運転適正状態判定装置及び運転適正状態判定プログラムを提供することを目的とする。
【課題を解決するための手段】
【0013】
上記の目的を達成するために本発明に係る運転適正状態判定装置は、車両のドライバの視線の動きである視行動を表すデータを取得する視行動取得部と、ドライバの運転行動に関する複数の指標の各々について、前記視行動を表すデータと、前記指標とを関連付けたモデルを用いて、前記取得した前記視行動を表すデータから、前記指標の指標値を推定する運転行動推定部と、前記複数の指標の各々について、前記運転行動推定部によって推定された前記指標値に基づいて、前記ドライバの運転適正状態を判定する運転適正状態判定部と、を含んで構成されている。
【0014】
また、本発明に係る運転適正状態判定プログラムは、コンピュータを、車両のドライバの視線の動きである視行動を表すデータを取得する視行動取得部、ドライバの運転行動に関する複数の指標の各々について、前記視行動を表すデータと、前記指標とを関連付けたモデルを用いて、前記取得した前記視行動を表すデータから、前記指標の指標値を推定する運転行動推定部、及び前記複数の指標の各々について、前記運転行動推定部によって推定された前記指標値に基づいて、前記ドライバの運転適正状態を判定する運転適正状態判定部として機能させるためのプログラムである。
【0015】
本発明によれば、視行動取得部によって、車両のドライバの視線の動きである視行動を表すデータを取得する。運転行動推定部によって、ドライバの運転行動に関する複数の指標の各々について、前記視行動を表すデータと、前記指標とを関連付けたモデルを用いて、前記取得した前記視行動を表すデータから、前記指標の指標値を推定する。そして、運転適正状態判定部によって、前記複数の指標の各々について、前記運転行動推定部によって推定された前記指標値に基づいて、前記ドライバの運転適正状態を判定する。
【0016】
このように、ドライバの運転行動に関する複数の指標の各々について、前記視行動を表すデータと、前記指標とを関連付けたモデルを用いて、前記取得した前記視行動を表すデータから、前記指標の指標値を推定し、前記複数の指標の各々について、推定された前記指標値に基づいて、前記ドライバの運転適正状態を判定することにより、ドライバの運転適正状態を精度よく判定することができる。
【発明の効果】
【0017】
以上説明したように、本発明の運転適正状態判定装置及び運転適正状態判定プログラムによれば、ドライバの運転適正状態を精度よく判定することができる、という効果が得られる。
【図面の簡単な説明】
【0018】
図1】本発明の実施の形態に係る運転適正状態判定装置の構成を示す概略図である。
図2】本発明の実施の形態に係る運転適正状態判定装置の学習部の構成を示すブロック図である。
図3】(A)視線ベクトルに関する視野領域の例を示す図、及び(B)顔向きに関する視野領域の例を示す図である。
図4】モデル学習部による学習方法を説明するための図である。
図5】車両軌跡の例を示す図である。
図6】車両軌跡逸脱量の算出方法を説明するための図である。
図7】本発明の実施の形態に係る運転適正状態判定装置の運転適正状態判定部の構成を示すブロック図である。
図8】運転適正状態判定部による運転適正状態判定方法を説明するための図である。
図9】運転適正状態判定部による運転適正状態レベルの算出方法を説明するための図である。
図10】本発明の実施の形態に係る運転適正状態判定装置におけるモデル学習処理ルーチンの内容を示すフローチャートである。
図11】本発明の実施の形態に係る運転適正状態判定装置における運転適正状態判定処理ルーチンの内容を示すフローチャートである。
図12】本発明の実施の形態に係る運転適正状態判定装置における運転適正状態レベルを算出する処理ルーチンの内容を示すフローチャートである。
図13】反応時間の予測例を示すグラフである。
図14】時刻Aにおける視線及び顔向き分布の例を示すグラフである。
図15】時刻Aにおける注視時間率の例を示すグラフである。
図16】時刻Bにおける視線及び顔向き分布の例を示すグラフである。
図17】時刻Bにおける注視時間率の例を示すグラフである。
【発明を実施するための形態】
【0019】
以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、車両に搭載され、かつ、ドライバの運転適正状態を判定する運転適正状態判定装置に本発明を適用した場合を例に説明する。
【0020】
<運転適正状態判定装置の構成>
図1に示すように、本発明の実施の形態に係る運転適正状態判定装置10は、警告検出部12と、生理量センサ14と、視線計測器16と、操作検出器18と、位置計測器20と、コンピュータ30と、出力部32とを備えている。
【0021】
コンピュータ30は、CPUと、RAMと、後述するモデル学習処理ルーチン及び運転適正状態判定処理ルーチンを実行するためのプログラムや各種データを記憶したROMと、を含むコンピュータで構成することが出来る。コンピュータ30は、機能的には図1に示すように、学習部40、モデル記憶部62、及び運転適正状態判定部70を備えている。
【0022】
警告検出部12は、ドライバに対して発報される警告を検出する。例えば、手動運転において、前方の急な渋滞、事故発生等の危険に対して発報される警報を検出する。また、自動運転時において、同様の危険に対して自動運転が困難になり、自動運転状態から手動運転への切り替えが必要となって自動運転システムから発報される、手動切り替え要請(TOR:Take Over Request)を検出する。
【0023】
生理量センサ14は、ドライバの心拍数、心拍変動(RRI)、LF/HF(心拍変動の低周波パワースペクトル/高周波パワースペクトルの比)、及び皮膚コンダクタンス(発汗状態の指標)を計測する。
【0024】
視線計測器16は、ドライバの頭部位置・顔向き方向と視線方向を計測する。
【0025】
操作検出器18は、ドライバのステアリング操作、アクセル操作、及びブレーキ操作を検出する。
【0026】
位置計測器20は、自車両位置及び周辺の他車両位置を計測する。
【0027】
学習部40は、警告時に取得された運転行動に関する複数の指標と、警告直前に取得された視行動を表すデータ及び生理量との組み合わせを収集し、収集結果に基づいて、複数の指標の各々についての運転行動予測モデルを学習する。
【0028】
図2に示すように、学習部40は、生理量取得部42、生理量データベース44、視行動取得部46、視行動データベース48、入力データ整理部50、運転行動取得部52、運転行動データベース54、車線判定部56、モデル切替情報データベース58、及びモデル学習部60を備えている。なお、生理量取得部42、生理量データベース44、視行動取得部46、視行動データベース48、入力データ整理部50、及び運転行動取得部52、運転行動データベース54が、学習データ収集部の一例である。
【0029】
生理量取得部42は、生理量センサ14から、警告が検出された直前のドライバの生理量を取得する。具体的には、生理量取得部42は、生理量センサ14から、警告検出部12によって警告が検出された直前のドライバの生理量(ドライバの心拍数、心拍変動(RRI)、LF/HF(心拍変動の低周波パワースペクトル/高周波パワースペクトルの比)、及び皮膚コンダクタンス(発汗状態の指標))の時系列データを取得し、生理量データベース44に蓄積する。生理量データベース44は、直近の一定時間における各生理量の平均値を出力する。
【0030】
視行動取得部46は、視線計測器16から、警告が検出された直前のドライバの視線の動きである視行動を表すデータを取得する。具体的には、視行動取得部46は、視線計測器16から、警告検出部12によって警告が検出された直前のドライバの頭部位置・顔向き方向と視線方向の時系列データを、視行動データベース48に蓄積する。視行動データベース48は、ドライバの視野を複数の領域に区切った各視野領域(図3)と、ドライバの頭部位置・顔向き方向と視線方向の時系列データとに基づいて、直近一定時間内に各視野領域を注視した時間の割合を示す注視時間率を算出し出力する。
【0031】
図3(A)では、視線方向に関する複数の視野領域が、正面領域、ルームミラー領域、左ミラー領域、右ミラー領域、及びインストルメントパネル・HMI画面領域である例を示している。また、図3(B)では、顔向きに関する複数の視野領域が、正面領域、及びインストルメントパネル・HMI画面領域である例を示している。
【0032】
なお、視行動データベース48が、注視時間率を算出し出力する場合を例に説明したが、これに限定されるものではなく、ドライバ視線が注視している視野領域である注視領域の系列を出力するようにしてもよい。例えば、直近一定時間内にドライバ視線が注視した視野領域の系列を求め出力する。
【0033】
入力データ整理部50は、生理量データベース44の出力及び視行動データベース48の出力を一つのベクトルにまとめ、モデル学習部60に出力する(図4参照)。
【0034】
運転行動取得部52は、操作検出器18から、警告時に取得されたドライバのステアリング操作、アクセル操作、ブレーキ操作、車両走行軌跡、及び周辺他車両位置を取得する。具体的には、運転行動取得部52は、操作検出器18から、警告検出部12によって警告が検出された時刻前後の、ステアリング操作、アクセル操作、ブレーキ操作、車両走行軌跡、及び周辺他車両位置の時系列データを、運転行動データベース54に蓄積する。
【0035】
運転行動データベース54は、蓄積されたデータに基づいて、運転行動に関する複数の指標を算出し出力する。具体的には、運転行動データベース54は、運転行動に関する複数の指標として、ドライバ反応時間、最大操舵速度、最大操舵角、及び車両軌跡逸脱量を算出し出力する。
【0036】
ここで、ドライバ反応時間は、警報やTORの発報時点から、ドライバが危険回避のための運転操作を開始するまでの時間である。手動運転時における危険回避のための運転操作の有無は、発報直前までの運転行動からの変化(例えば急にブレーキを踏む、あるいは短時間に一定舵角以上のステアリング操作を行うといった行動)から判断できる。
【0037】
車両軌跡逸脱量は、警報やTORの発報時点直後から一定時間内の車両軌跡(図5)をDTW(Dynamic Time Warping)の手法(非特許文献1、2を参照)を用いて道路進行方向に伸縮処理して基準軌跡との車速の違いによる軌跡差を可能な限り吸収した後に、道路横方向に残存する逸脱または不足量を評価した値である(図6)。
【0038】
図5では、車両の道路進行方向位置と道路横方向位置とで示される車両位置の時系列である車両軌跡の2つの例を示している。図6では、車両軌跡と基準軌跡とを道路進行方向に伸縮処理して、道路横方向に残存する逸脱または不足量(図6の灰色部分)の平均値(逸脱または不足量をデータ点数で平均化した値)を評価する2つの例を示している。
【0039】
なお、上記のようなデータは実環境では危険を伴うため、なかなか収集できないが、ドライビングシミュレータ上の模擬環境であれば、ドライバの状態と運転行動とを危険を伴わずに容易に収集可能である。
【0040】
[非特許文献1]D. J. Berndt et al., “Using Dynamic Time Warping to Find Patterns in Time Series”, AAAI Technical Report WS-94-03 (1994), pp. 359-370, AAAI.
【0041】
[非特許文献2]豊田他,“データストリームにおける効率的なパターン検出”,情報処理学会研究報告 Vol.2012-DBS-154 No.9(2012),情報処理学会.
【0042】
以上のように、警告時に取得された複数の指標の各々の指標値と、警告直前に取得された視行動を表すデータ及び生理量との組み合わせが収集される。
【0043】
車線判定部56は、警告が検出されたときの自車両位置に基づいて自車両の走行車線位置を判定し、判定結果を、モデル切替情報データベース58に蓄積する。具体的には、車線判定部56は、警告が検出されたときに位置計測器20によって取得された自車両位置に基づいて、複数の車線のうちの最も左の車線である最左車線、複数の車線のうちの最も右の車線である最右車線、複数の車線のうちの最左車線及び最右車線ではない中間車線、及び片側一車線である単車線の何れかを、自車両の走行車線位置として判定する。
【0044】
モデル学習部60は、複数の指標の各々に対し、入力データ整理部50の出力と、運転行動データベース54によって出力された当該指標の指標値との組み合わせに基づいて、当該指標についての運転行動予測モデルを学習する。ここで、運転行動予測モデルは、走行車線位置毎に、入力データ整理部50から出力されるベクトルと、何れかの指標とを関連付けたものである。
【0045】
具体的には、図4に示すように、運転行動予測モデルは、車線判定部56によって判定された自車両の走行車線情報、及び運転行動データベース54が算出するどの指標(反応時間、最大操舵速度、最大操舵角、車両軌跡逸脱量)をモデル出力用の教師信号として選択するかに対応し、入出力信号の組み合わせごとに用意される。
【0046】
各運転行動予測モデルは、対応する自車両の走行車線位置について、入力ベクトルデータ、及び教師信号として選択した、警報やTORの発報時点直後のドライバ運転行動の指標値(反応時間、最大操舵速度、最大操舵角、車両軌跡逸脱量のいずれか)とを関連付け、統計的または機械学習的手法を用いてモデルパラメータが決定される。各運転行動予測モデルは、入力ベクトルが与えられた場合の各運転行動指標の予測値を出力する。最も単純なモデルの例は、各注視領域の注視割合を説明変数、運転行動の指標値を目的変数とする重回帰モデルである。
【0047】
モデル学習部60は、自車両の走行車線位置(最左側車線、中間車線、最右側車線、単車線)に基づいて使用する運転行動予測モデルを切り替え、当該走行車線位置に対応した各運転行動予測モデルに、入力データ整理部50のベクトルを入力し、当該ベクトルと各指標の指標値とを関連付けるように学習する。
【0048】
走行車線位置及び指標の組み合わせ毎に学習された運転行動予測モデルのモデルパラメータが、モデル記憶部62に格納される。
【0049】
運転適正状態判定部70は、警告時に、当該警告直前に取得された視行動を表すデータ及び生理量に基づいて、ドライバの運転適正状態を判定する。
【0050】
図7に示すように、運転適正状態判定部70は、生理量取得部72、生理量データベース74、視行動取得部76、視行動データベース78、入力データ整理部80、車線判定部82、モデル切替情報データベース84、適正状態レベル算出部86、及び最終適正状態レベル決定部88を備えている。なお、視行動取得部76及び視行動データベース78は、視行動取得部の一例である。適正状態レベル算出部86及び最終適正状態レベル決定部88は、運転行動推定部及び運転適正状態判定部の一例である。
【0051】
生理量取得部72は、生理量取得部42と同様に、生理量センサ14から、警告検出部12によって警告が検出された直前のドライバの生理量(ドライバの心拍数、心拍変動(RRI)、LF/HF(心拍変動の低周波パワースペクトル/高周波パワースペクトルの比)、及び皮膚コンダクタンス(発汗状態の指標))の時系列データを取得し、生理量データベース74に蓄積する。生理量データベース74は、生理量データベース44と同様に、直近の一定時間における各生理量の平均値を出力する。
【0052】
視行動取得部76は、視行動取得部46と同様に、視線計測器16から、警告検出部12によって警告が検出された直前のドライバの頭部位置・顔向き方向と視線方向の時系列データを、視行動データベース78に蓄積する。視行動データベース78は、視行動データベース48と同様に、ドライバの視野を複数の領域に区切った各視野領域に対し、ドライバの頭部位置・顔向き方向と視線方向の時系列データに基づいて、直近一定時間内に各視野領域を注視した時間の割合を示す注視時間率を算出し出力する。
【0053】
入力データ整理部80は、入力データ整理部50と同様に、生理量データベース74の出力及び視行動データベース78の出力を一つのベクトルにまとめ、適正状態レベル算出部86に出力する。
【0054】
以上のように、警告直前に取得された視行動を表すデータ及び生理量が、適正状態レベル算出部86に入力される。
【0055】
車線判定部82は、車線判定部56と同様に、警告が検出されたときに位置計測器20によって取得された自車両位置に基づいて、複数の車線のうちの最も左の車線である最左車線、複数の車線のうちの最も右の車線である最右車線、複数の車線のうちの最左車線及び最右車線ではない中間車線、及び片側一車線である単車線の何れかを、自車両の走行車線位置として判定し、判定結果を、モデル切替情報データベース84に蓄積する。
【0056】
適正状態レベル算出部86は、ドライバの運転行動に関する複数の指標の各々について、車線判定部82によって判定された走行車線位置に対応する当該指標の運転行動予測モデルを用いて、取得した視行動を表すデータ及び生理量から、当該指標の指標値を推定する。
【0057】
具体的には、図8に示すように、自車両の走行車線位置に基づいて各指標の運転行動予測モデルを選択し、選択された各指標の運転行動予測モデルを用いて、入力データ整理部80によって生成されたベクトルを入力として、運転行動予測モデルに対応する指標の予測値(反応時間、最大操舵速度、最大操舵角、車両軌跡逸脱量のいずれか)をそれぞれ出力する。
【0058】
また、適正状態レベル算出部86は、複数の指標の各々についての、当該指標の運転行動予測モデルを用いて推定された当該指標の指標値に基づいて、ドライバの適正状態レベルを算出する。
【0059】
具体的には、適正状態レベル算出部86は、各指標の運転行動予測モデルの出力である指標の予測値を入力として、各運転行動予測モデルごとに、その時点のドライバの適正状態レベルを連続値または離散値として算出する。例えば、図9に示すように、ドライバの適正状態レベルを連続値とし、モデル出力の値が大きいほど適正状態レベルが低く算出し、あるいは、モデル出力の値が大きいほど適正状態レベルが高く算出する。このとき、適正状態レベルが0~1の範囲となるように飽和処理により、適正状態レベルを算出する。飽和処理の上限及び下限は、運転行動予測モデル学習時の教師データの値の範囲から決定すればよい。
【0060】
最終適正状態レベル決定部88は、上記図8に示すように、算出された適正状態レベルの値の最低値(最も低い適正状態レベルを選択)、平均値、又は中央値を選択することにより、最終的な適正状態レベルを決定する。適正状態レベルが離散値の場合には、多数決又は最頻値を選択することにより、最終的な適正状態レベルを決定してもよい。最低値を採用する場合は最も安全側の推定値となり、平均値、中央値、多数決、最頻値を採用する場合は平均的な推定値となる。
【0061】
このように、複数の運転行動の指標に対応する各運転行動予測モデルを用いた適正状態レベル出力を比較評価して最終的な適正状態レベルを決定することにより、ドライバの個人差や体調等に依存する運転行動の違いを吸収し、常に適切な適正状態レベルを推定することが可能になる。
【0062】
<運転適正状態判定装置の作用>
次に、本実施の形態に係る運転適正状態判定装置10の作用について説明する。
【0063】
まず、運転適正状態判定装置10を搭載した車両の走行中に、コンピュータ30において、図10に示すモデル学習処理ルーチンが実行される。
【0064】
ステップS100において、警告検出部12によって、ドライバに対して発報された警告を検出したか否かを判定する。警告検出部12によって警告が検出された場合には、ステップS102へ進む。
【0065】
ステップS102では、生理量取得部42は、生理量センサ14から、警告が検出された直前のドライバの生理量を取得する。生理量データベース44は、直近の一定時間における各生理量の平均値を出力する。
【0066】
次のステップS103では、視行動取得部46は、視線計測器16から、警告が検出された直前のドライバの視線の動きである視行動を表すデータを取得する。視行動データベース48は、ドライバの頭部位置・顔向き方向と視線方向の時系列データに基づいて、直近一定時間内に各視野領域を注視した時間の割合を示す注視時間率を算出し出力する。
【0067】
ステップS104では、入力データ整理部50は、生理量データベース44の出力及び視行動データベース48の出力を一つのベクトルにまとめ、モデル学習部60に出力する。
【0068】
ステップS105では、運転行動取得部52は、操作検出器18から、警告時に取得されたドライバのステアリング操作、アクセル操作、ブレーキ操作、車両走行軌跡、及び周辺他車両位置を取得する。運転行動データベース54は、蓄積されたデータに基づいて、運転行動に関する複数の指標を算出し出力する。
【0069】
ステップS106では、車線判定部56は、警告が検出されたときの自車両位置に基づいて自車両の走行車線位置を判定し、判定結果を、モデル切替情報データベース58に蓄積する。
【0070】
そして、ステップS108において、上記ステップS102~S106で得られたデータが蓄積されたか否かを判定する。
【0071】
次のステップS112では、モデル学習部60は、複数の指標の各々に対し、入力データ整理部50の出力と、運転行動データベース54によって出力された当該指標の指標値との組み合わせに基づいて、当該指標についての運転行動予測モデルを学習し、モデル学習処理ルーチンを終了する。
【0072】
次に、運転適正状態判定装置10を搭載した車両の走行中に、コンピュータ30において、図11に示す運転適正状態判定処理ルーチンが繰り返し実行される。
【0073】
まず、ステップS120において、警告検出部12によって、ドライバに対して発報された警告を検出したか否かを判定する。警告検出部12によって警告が検出された場合には、ステップS122へ進む。
【0074】
ステップS122では、生理量取得部72は、生理量センサ14から、警告が検出された直前のドライバの生理量を取得する。生理量データベース74は、直近の一定時間における各生理量の平均値を出力する。
【0075】
次のステップS124では、視行動取得部76は、視線計測器16から、警告が検出された直前のドライバの視線の動きである視行動を表すデータを取得する。視行動データベース78は、ドライバの頭部位置・顔向き方向と視線方向の時系列データに基づいて、直近一定時間内に各視野領域を注視した時間の割合を示す注視時間率を算出し出力する。
【0076】
ステップS126では、入力データ整理部80は、生理量データベース74の出力及び視行動データベース78の出力を一つのベクトルにまとめ、適正状態レベル算出部86に出力する。
【0077】
ステップS128では、車線判定部82は、警告が検出されたときの自車両位置に基づいて自車両の走行車線位置を判定し、判定結果を、モデル切替情報データベース84に格納する。
【0078】
ステップS130では、適正状態レベル算出部86は、ドライバの運転行動に関する複数の指標の各々について、車線判定部82によって判定された走行車線位置に対応する当該指標の運転行動予測モデルを用いて、取得した視行動を表すデータ及び生理量から、当該指標の指標値を推定する。
【0079】
ステップS132では、適正状態レベル算出部86は、複数の指標の各々についての、当該指標の運転行動予測モデルを用いて推定された当該指標の指標値に基づいて、ドライバの適正状態レベルを算出する。
【0080】
ステップS134では、最終適正状態レベル決定部88は、上記図8に示すように、算出された適正状態レベルの値の最低値、平均値、中央値、多数決、又は最頻値を選択することにより、最終的な適正状態レベルを決定し、運転適正状態判定処理ルーチンを終了する。
【0081】
上記ステップS132は、図12に示す処理ルーチンによって実現される。当該処理ルーチンは、指標毎に実行される。ここでは、適正状態レベルが離散値である場合について説明する。
【0082】
図12では、yを、運転行動予測モデルの出力とし、y,・・・,yN-1を判定閾値とし、yN-1<yN-2<・・・<y<yとする。
【0083】
当該指標の運転行動予測モデルの出力yと、判定閾値y,・・・,yN-1の各々とを比較することにより、適正状態レベルを算出する。例えば、yがy以上であれば、適正状態レベルを最低の1とする。また、yがyN-1未満であれば、適正状態レベルを最高のNとする。
【0084】
<実施例>
モデル出力の例として、図13に中間車線を走行中のドライバの反応時間の予測値を示し、上記図13の時刻Aにおける視線・顔向き分布と注視時間率をそれぞれ図14図15に示し、上記図13の時刻Bにおける視線・顔向き分布と注視時間率をそれぞれ図16図17に示す。時刻Aでは正面や左右ミラー、後方(ルームミラー)に全て注意を払っており、ドライバは自車周囲の状況をしっかりと把握できていることがわかる。これに対し、時刻Bではドライバはインストルメントパネル・HMIの表示画面に注意を向けており、周辺状況把握がおろそかになっている。このようなドライバの視行動に対応して、上記図13の反応時間予測値はそれぞれ極小値、極大値をとっており、ドライバ状態を反映した出力が得られていることがわかる。
【0085】
以上説明したように、本実施の形態に係る運転適正状態判定装置によれば、ドライバの運転行動に関する複数の指標の各々について、視行動を表すデータ及び生理量と、当該指標とを関連付けたモデルを用いて、取得した視行動を表すデータ及び生理量から、当該指標の指標値を推定し、複数の指標の各々について、推定された指標値に基づいて、ドライバの運転適正状態を判定することにより、ドライバの運転適正状態を精度よく判定することができる。
【0086】
また、ドライバの状態から経験的知識のみに基づいて天下り式に適正状態を判定するのではなく、ドライバの各状態とその際の具体的かつ定量的な運転行動とを関連付けて蓄積したデータに基づいて、ドライバが類似の状態にある場合の過去の運転行動データを複数の指標毎にモデル化し、それらのモデルの総合評価により、ドライバの運転適正状態の判定を行う。このように、ドライバ運転適正状態を、従来よりもより客観的かつ定量的に判定することができる。また、様々な個人差を持つドライバや個々のドライバの日々の体調変化にも対応できる。
【0087】
本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【0088】
例えば、ドライバ運転行動データベースが算出する運転行動の指標値には、ブレーキ最大踏力など、上記以外の適切な物理量を追加し、対応する運転行動予測モデルも追加して使用するようにしてもよい。
【0089】
また、最終適正状態レベルを決定する際には、各適正状態レベルの重み付け平均値など、上記以外の適切な評価式を導入して使用してもよい。
【0090】
また、1つの装置が、学習部と運転適正状態判定部を備えている場合を例に説明したが、これに限定されるものではなく、学習部と運転適正状態判定部がそれぞれ別装置に含まれるように構成してもよい。
【符号の説明】
【0091】
10 運転適正状態判定装置
12 警告検出部
14 生理量センサ
16 視線計測器
18 操作検出器
20 位置計測器
30 コンピュータ
32 出力部
40 学習部
42、72 生理量取得部
44、74 生理量データベース
46、76 視行動取得部
48、78 視行動データベース
50、80 入力データ整理部
52 運転行動取得部
54 運転行動データベース
56、82 車線判定部
58、84 モデル切替情報データベース
60 モデル学習部
62 モデル記憶部
70 運転適正状態判定部
86 適正状態レベル算出部
88 最終適正状態レベル決定部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17