特開 2022-113516 運転準備状態推定装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022113516

(43)【公開日】2022-08-04

(54)【発明の名称】運転準備状態推定装置及びプログラム

(51)【国際特許分類】

   B60W 40/08 20120101AFI20220728BHJP

   B60W 60/00 20200101ALI20220728BHJP

   G08G 1/16 20060101ALI20220728BHJP

【ＦＩ】

B60W40/08

B60W60/00

G08G1/16 F

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021009816

(22)【出願日】2021-01-25

(71)【出願人】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(71)【出願人】

【識別番号】000001247

【氏名又は名称】株式会社ジェイテクト

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】坂口 靖雄

(72)【発明者】

【氏名】村岸 裕治

(72)【発明者】

【氏名】嶋内 洋

(72)【発明者】

【氏名】田村 勉

(72)【発明者】

【氏名】ロバート フックス

【テーマコード（参考）】

3D241

5H181

【Ｆターム（参考）】

3D241BA29

3D241BA70

3D241CD12

3D241CE05

3D241DA38Z

3D241DA51Z

3D241DD02Z

3D241DD04Z

3D241DD07Z

5H181AA01

5H181BB13

5H181BB17

5H181CC04

5H181FF27

5H181FF33

5H181FF35

5H181LL01

5H181LL04

5H181LL08

5H181LL09

5H181LL20

(57)【要約】

【課題】運転準備状態を精度良く推定する。
【解決手段】取得部１２が、自動運転中の車両の運転者の状態及び行動の少なくとも一方を示す１種類以上の状態情報を取得し、推定部１６が、取得部１２により取得された１種類以上の状態情報の各々から、長さの異なる複数の時間窓の各々に対応する部分を抽出し、抽出した状態情報の部分を用いて、自動運転から手動運転への交代が可能であるか否かの判定に用いる運転準備状態を推定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

自動運転中の車両の運転者の状態及び行動の少なくとも一方を示す１種類以上の状態情報を取得する取得部と、
前記取得部により取得された前記１種類以上の状態情報の各々から、長さの異なる複数の時間窓の各々に対応する部分を抽出し、抽出した状態情報の部分を用いて、自動運転から手動運転への交代が可能であるか否かの判定に用いる運転準備状態を推定する推定部と、
を含む運転準備状態推定装置。

【請求項2】

前記推定部は、前記状態情報の部分に、前記状態情報の種類に応じた重み付けをした値を用いて、前記運転準備状態を推定する請求項１に記載の運転準備状態推定装置。

【請求項3】

前記推定部は、前記時間窓内で一定の重み付け係数、又は前記時間窓内で変化する重み付け係数を用いて重み付けをする請求項２に記載の運転準備状態推定装置。

【請求項4】

前記推定部は、前記複数の時間窓として、運転者の運転からの乖離度を判定するための第１の長さの時間窓と、自動運転から手動運転への交代が運転者に指示された際に、運転者が周囲の状況をどの程度認識しているかを判定するための、前記第１の長さよりも短い第２の長さの時間窓とを用いる請求項１～請求項３のいずれか１項に記載の運転準備状態推定装置。

【請求項5】

前記第１の長さは、１分以上であり、前記第２の長さは、１分未満である請求項４に記載の運転準備状態推定装置。

【請求項6】

前記取得部は、運転者の行動を示す状態情報として、視行動、操作行動、及びイベントに対する反応の少なくとも１つを示す状態情報を取得する請求項１～請求項５のいずれか１項に記載の運転準備状態推定装置。

【請求項7】

前記視行動は、運転者の視線の特定領域への配分割合で表される請求項６に記載の運転準備状態推定装置。

【請求項8】

前記取得部は、自車両外部の他車両若しくは自車両の挙動の変化が検出された際、又は前記運転者へ所定の刺激が与えられた際の運転者の反応に基づいて、前記イベントに対する反応を示す状態情報を算出する請求項６に記載の運転準備状態推定装置。

【請求項9】

前記取得部は、運転者の状態を示す状態情報として、運転姿勢、覚醒度、及び生理指標の少なくとも１つを示す状態情報を取得する請求項１～請求項５のいずれか１項に記載の運転準備状態推定装置。

【請求項10】

前記推定部は、自動運転から手動運転への交代が運転者に指示されてから、運転者が手動運転を開始するまでの反応時間を、前記運転準備状態として推定する請求項１～請求項９のいずれか１項に記載の運転準備状態推定装置。

【請求項11】

コンピュータを、請求項１～請求項１０のいずれか１項に記載の運転準備状態推定装置の各部として機能させるための運転準備状態推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運転準備状態推定装置及び運転準備状態推定プログラムに関する。

【背景技術】

【0002】

従来、自車両の運転者の反応時間、脇見時間及び覚醒度に基づいて、運転者の運転意識に関する運転構え度を推定する運転構え度推定部を備える運転意識推定装置が提案されている（特許文献１参照）。特許文献１に記載の運転意識推定装置では、運転構え度推定部が推定する運転構え度に反応時間が与える影響は、当該運転構え度に脇見時間及び覚醒度の少なくとも何れかが与える影響よりも大きい。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－２４５５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の技術では、運転者の運転に対する準備のレベルを、運転構え度として推定している。しかし、特許文献１には、どのぐらいの時間のデータから、この運転構え度を推定するかについて記載されていない。この時間が長い場合には、運転者の直近の状態の変化を適切に反映した推定結果を得ることができず、一方、この時間が短い場合には、推定処理が安定せず、共に推定精度を悪化させる原因となる。

【0005】

本発明は、上記事情を鑑みて成されたものであり、運転準備状態を精度良く推定することができる運転準備状態推定装置及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明に係る運転準備状態推定装置は、自動運転中の車両の運転者の状態及び行動の少なくとも一方を示す１種類以上の状態情報を取得する取得部と、前記取得部により取得された前記１種類以上の状態情報の各々から、長さの異なる複数の時間窓の各々に対応する部分を抽出し、抽出した状態情報の部分を用いて、自動運転から手動運転への交代が可能であるか否かの判定に用いる運転準備状態を推定する推定部と、を含んで構成されている。

【0007】

本発明に係る運転準備状態推定装置によれば、取得部が、自動運転中の車両の運転者の状態及び行動の少なくとも一方を示す１種類以上の状態情報を取得し、推定部が、取得部により取得された１種類以上の状態情報の各々から、長さの異なる複数の時間窓の各々に対応する部分を抽出し、抽出した状態情報の部分を用いて、自動運転から手動運転への交代が可能であるか否かの判定に用いる運転準備状態を推定する。これにより、運転準備状態を精度良く推定することができる。

【0008】

また、前記推定部は、前記状態情報の部分に、前記状態情報の種類に応じた重み付けをした値を用いて、前記運転準備状態を推定することができる。また、前記推定部は、前記時間窓内で一定の重み付け係数、又は前記時間窓内で変化する重み付け係数を用いて重み付けをすることができる。これにより、利用する状態情報の種類の特徴を反映して、より精度良く運転準備状態を推定することができる。

【0009】

また、前記推定部は、前記複数の時間窓として、運転者の運転からの乖離度を判定するための第１の長さの時間窓と、自動運転から手動運転への交代が運転者に指示された際に、運転者が周囲の状況をどの程度認識しているかを判定するための、前記第１の長さよりも短い第２の長さの時間窓とを用いることができる。これにより、運転交代に必要な運転者の運転準備状態を左右する、運転者の運転からの乖離度、及び運転交代時の状況認識度の２つパラメータを考慮して、運転準備状態を精度良く推定することができる。また、前記第１の長さは、１分以上であり、前記第２の長さは、１分未満とすることができる。

【0010】

また、前記取得部は、運転者の行動を示す状態情報として、視行動、操作行動、及びイベントに対する反応の少なくとも１つを示す状態情報を取得することができる。前記視行動は、運転者の視線の特定領域への配分割合で表すことができる。また、前記取得部は、自車両外部の他車両若しくは自車両の挙動の変化が検出された際、又は前記運転者へ所定の刺激が与えられた際の運転者の反応に基づいて、前記イベントに対する反応を示す状態情報を算出することができる。

【0011】

また、前記取得部は、運転者の状態を示す状態情報として、運転姿勢、覚醒度、及び生理指標の少なくとも１つを示す状態情報を取得することができる。

【0012】

また、前記推定部は、自動運転から手動運転への交代が運転者に指示されてから、運転者が手動運転を開始するまでの反応時間を、前記運転準備状態として推定することができる。

【0013】

また、本発明に係る運転準備状態推定プログラムは、コンピュータを、上記の運転準備状態推定装置の各部として機能させるためのプログラムである。

【発明の効果】

【0014】

本発明の運転準備状態推定装置及びプログラムによれば、運転準備状態を精度良く推定することができる。

【図面の簡単な説明】

【0015】

【図1】本実施形態に係る運転準備状態推定システムの概略構成を示すブロック図である。

【図2】状態ＤＢの一例を示す図である。

【図3】運転準備状態の推定の概略を説明するための図である。

【図4】運転準備状態の推定を説明するための図である。

【図5】運転準備状態の推定の他の例を説明するための図である。

【図6】重み付け係数として設定される関数の一例を示す図である。

【図7】重み付け係数として設定される関数の他の例を示す図である。

【図8】運転準備状態推定装置のハードウェア構成を示すブロック図である。

【図9】取得処理の一例を示すフローチャートである。

【図10】推定処理の一例を示すフローチャートである。

【図11】運転中の運転者の視線方向を２次元的に示した図である。

【図12】本実施形態の手法により運転交代時の反応時間を推定した例を示す図である。

【図13】比較手法により運転交代時の反応時間を推定した例を示す図である。

【発明を実施するための形態】

【0016】

以下、図面を参照して本発明の実施形態を詳細に説明する。

【0017】

本実施形態では、自動運転システムのうち、必要に応じて、システムによる自動運転から運転者への運転交代を必要とする場合を対象とする。例えば、ＳＡＥ（Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）のレベル２～３に相当する場合である。この場合の自動運転システムには、システムによる自動運転が不安定、又は動作対象外の状態となった場合に、一定時間以内に運転者に運転を交代できることが要請されている。そのため、運転者は一定時間以内に運転に復帰できるような状況を保たなければならない。このような状況を保つために、運転者の運転準備状態を推定することが必要である。運転準備状態は、例えば、運転交代が必要な状況になったときから、運転者が手動運転を開始するまでの時間（以下、「反応時間」という）等で表すことができる。本実施形態では、自動運転中の車両の運転者の状態及び行動の少なくとも一方を観測し、観測した結果から運転準備状態を推定する技術に関するものである。

【0018】

図１に示すように、本実施形態に係る運転準備状態推定システム１００は、運転準備状態推定装置１０と、センサ群２０とを含む。

【0019】

センサ群２０は、自動運転中の車両の運転者の状態及び行動の少なくとも一方に関する計測値を計測するための複数種類のセンサを含む。例えば、センサ群２０は、運転者の顔等の所定部位を撮影するためのカメラを含む。このカメラは、運転者の顔向き、視線、足や腕を組む等の姿勢を認識可能な画像を撮影する。この画像は計測値の一例である。また、センサ群２０は、ブレーキペダルやステアリング等の車両操作器具への運転者の接触や操作の有無を計測する圧力センサ、トルクセンサ、又はモータの角度センサを含む。また、センサ群２０は、運転者が着座するシートの位置、リクライニング角度等を計測するシート位置センサを含む。また、センサ群２０は、運転者の心拍や発汗量等を計測する生体センサを含む。

【0020】

また、センサ群２０は、運転者の状態及び行動の少なくとも一方を直接的に示す計測値だけでなく、後述する状態情報を算出するために必要な計測値も計測する。例えば、センサ群２０は、自車両外部の他車両の挙動を計測するためのカメラを含む。センサ群２０に含まれる各センサは、所定の時間間隔で計測した計測値を出力する。

【0021】

運転準備状態推定装置１０は、図１に示すように、機能的には、取得部１２と、状態ＤＢ（ｄａｔａｂａｓｅ）１４と、推定部１６と、推定モデル１８とを含んで構成される。

【0022】

取得部１２は、自動運転中の車両の運転者の状態及び行動の少なくとも一方を示す１種類以上の状態情報を取得する。例えば、取得部１２は、運転者の行動を示す状態情報として、視行動、操作行動、及びイベントに対する反応の少なくとも１つを示す状態情報を取得する。また、例えば、取得部１２は、運転者の状態を示す状態情報として、運転姿勢、覚醒度、及び生理指標の少なくとも１つを示す状態情報を取得する。具体的には、取得部１２は、センサ群２０に含まれる各センサから出力された計測値を取得し、取得した計測値から状態情報を算出することにより取得する。また、取得部１２は、計測値をそのまま状態情報として取得してもよい。以下、各種類の状態情報の取得方法の一例を説明する。

【0023】

まず、視行動を示す状態情報について説明する。取得部１２は、センサ群２０に含まれるカメラで撮影された画像から、運転者の顔向きや視線を認識し、運転者の視線の特定領域への配分割合で表される視行動を示す状態情報を算出する。より具体的には、取得部１２は、所定時間（例えば１分）内において、運転者の視線が車両正面やミラーに向いている時間の割合（以下、「時間率」という）や、スマートフォンや車載ディスプレイ等の運転以外のタスクに向いている時間率等を算出する。前者の時間率が高いほど反応時間は短くなり、後者の時間率が高いほど反応時間は長くなるなどの傾向が表れるため、視行動を示す状態情報は、運転準備状態の推定に有用である。

【0024】

次に、操作行動を示す状態情報について説明する。取得部１２は、ブレーキペダルやステアリング等の車両操作器具への運転者の接触や操作の有無を計測する圧力センサ、トルクセンサ、又はモータの角度センサの計測値から、運転者の運転への介入操作及び構えを表す操作行動を示す状態情報を算出する。自動運転システムによる自動運転に対して運転者が不安を感じた場合などに、運転者はステアリングを把持したり、ブレーキペダルに足を乗せたり等の行動をとる場合がある。このような行動が表れる場合は、反応時間が短くなるなどの傾向が表れるため、操作行動を示す状態情報は、運転準備状態の推定に有用である。

【0025】

次に、運転姿勢を示す状態情報について説明する。取得部１２は、カメラで撮影された画像から、運転者の姿勢を認識して、運転者が正しい運転姿勢か否か、又は、足や腕を組むなど、正しい運転姿勢から乖離した運転姿勢か否かを示す状態情報を算出する。また、取得部１２は、シート位置センサの計測値が示すシートの位置及びリクライニング角度から、シートを正常位置から下げたり、倒したりしているか否かを判定して、運転姿勢を示す状態情報を算出してもよい。運転者が正しい運転姿勢から乖離した姿勢をとっている場合、正しい運転姿勢への復帰に時間がかかる、すなわち反応時間が長くなるなどの傾向が表れるため、運転姿勢を示す状態情報は、運転準備状態の推定に有用である。

【0026】

次に、覚醒度を示す状態情報について説明する。取得部１２は、カメラで撮影された画像から、運転者の開瞼度を取得し、この開瞼度に基づいて、運転者の覚醒度を示す状態情報を算出する。開瞼度は、例えば、所定時間内での瞬きの回数、所定時間内で目を閉じている時間の割合等で表すことができる。また、取得部１２は、生体センサで計測された運転者の心拍や発汗量の変化や閾値との比較結果に基づいて、覚醒度を示す状態情報を算出してもよい。

【0027】

次に、生理指標を示す状態情報について説明する。取得部１２は、生体センサで計測された計測値を、そのまま生理指標を示す状態情報として取得する。

【0028】

次に、イベントへの反応を示す状態情報について説明する。取得部１２は、自車両周辺を撮影するカメラで撮影された画像から、自車両外の他車両の挙動の変化をイベントの発生として検出する。他車両の挙動の変化は、例えば、先行車の減速による自車両との車間距離の接近、追い越し車両の自車両前方への車線変更等である。また、取得部１２は、上記の他車両の挙動の変化に伴う自車両の挙動の変化をイベントの発生として検出してもよい。自車両の挙動の変化は、他車両の接近や追い越し等を回避するための、自動運転システムの制御変更による加減速等である。また、取得部１２は、他車両の挙動の変化の有無にかかわらず、イベントへの反応を示す状態情報を取得するために、瞬間的に減速を発生させるなどして、意図的にイベントを発生させてもよい。また、意図的なイベントは、運転者に対して、音、振動、匂い等の刺激を与えることで発生させてもよい。取得部１２は、イベント発生時の運転者の視行動及び操作行動の少なくとも一方を、イベントへの反応を示す状態情報として算出する。イベントへの反応が良好であれば、反応時間が短くなるなどの傾向が表れるため、イベントへの反応を示す状態情報は、運転準備状態の推定に有用である。

【0029】

取得部１２は、取得した状態情報を、状態情報の種類毎、かつ取得時間毎に、例えば図２に示すような状態ＤＢ１４に記憶する。図２の例では、状態Ａ、状態Ｂ、・・・の各々が、上記の各種類の状態情報に相当する。以下、図３、図４、及び図５においても同様である。また、ｔ１、ｔ２、・・・、ｔｎは、状態情報の取得時間を表し、図２では、ｔ１が最も古い取得時間、ｔｎが直近の取得時間となっている。状態ＤＢ１４には、少なくとも、後述する長期用の時間窓の長さ以上の時間分の状態情報が記憶されればよい。取得部１２は、新たな状態情報が取得される都度、最も古い状態情報を削除して、新たな状態情報を状態ＤＢ１４に記憶する。なお、取得時間は状態情報毎に異なっていてもよい。また、ｔ１～ｔｎの時間も状態情報毎に異なっていてもよい。

【0030】

ここで、自動運転から手動運転への運転交代に必要な運転者の運転準備状態を左右するパラメータとして、（ｉ）運転者の運転からの乖離度、及び（ｉｉ）運転交代時の状況認識度の２つがあると考えられる。（ｉ）は、運転者が運転からどの程度離れているかを示す指標であり、乖離が大きいほど、運転復帰までに要する時間、すなわち反応時間が長くなると考えられる。この乖離度は、正しい運転姿勢からの乖離、周囲に対する確認の少なさ、運転以外のタスクへの従事等に基づいて推定される。また、（ｉｉ）は、自動運転から手動運転への交代が運転者に指示された際に、運転者が周囲の状況をどの程度認識しているかを示す指標である。状況認識ができていない場合には、その後の判断や操作に要する時間、すなわち反応時間が長くなると考えられる。一方、運転交代直前に前方や周辺を確認している場合は、状況認識度が高まっており、反応時間が短くなると考えられる。（ｉ）は、運転者の状態又は行動の長期的な傾向、（ｉｉ）は、運転交代直前の運転者の行動が支配的になると考えられる。

【0031】

そこで、推定部１６は、取得部１２により取得された１種類以上の状態情報の各々から、長さの異なる複数の時間窓の各々に対応する部分を抽出する。推定部１６は、複数の時間窓として、（ｉ）運転者の運転からの乖離度を判定するための第１の長さの時間窓と、（ｉｉ）運転交代時の状況認識度を判定するための、第１の長さよりも短い第２の長さの時間窓とを用いる。また、推定部１６は、抽出した状態情報の部分に、それぞれの状態情報の種類に応じた重み付けをする。そして、推定部１６は、重み付けされた状態情報の部分を用いて、運転者が自動運転から手動運転への交代が可能であるか否かの判定に用いる運転準備状態を推定する。すなわち、図３に示すように、推定部１６は、各状態情報が示す長期的な傾向及び直近の状況と、後述する推定モデル１８とを用いて、運転者の現在の運転準備状態を推定する。

【0032】

具体的には、図４に示すように、推定部１６は、状態ＤＢ１４に記憶された各状態情報から、第１の長さの時間窓（以下、「時間窓Ｔ_１」という）を用いて状態情報の部分（以下、「長期的状態情報」という）を抽出する。また、推定部１６は、各状態情報から、第２の長さの時間窓（以下、「時間窓Ｔ_２」という）を用いて状態情報の部分（以下、「短期的状態情報」という）を抽出する。Ｔ_１は、例えば１分以上の時間、Ｔ_２は、例えば１分未満の時間とすることができる。より具体的には、Ｔ_１は、１～２分の範囲に含まれる時間、例えば９０秒とすることができ、Ｔ_２は、１０～３０秒の範囲に含まれる時間、例えば１５秒とすることができる。なお、Ｔ_１及びＴ_２の長さは、状態情報の種類毎に変えてもよい。また、図４では、長期的状態情報は、現在からＴ_２遡った時点から、Ｔ_１遡った時点までの期間の状態情報の部分としているが、現在からＴ_１遡った時点までの期間の状態情報の部分としてもよい。

【0033】

推定部１６は、長期的状態情報及び短期的状態情報の各々を、図４に示すように、各期間の状態情報の値の積分値（図４中のそれぞれの網掛部分に相当）として算出してもよいし、各期間に含まれる取得時間毎の状態情報の値を要素とするベクトルとして算出してもよい。

【0034】

また、推定部１６は、各種類の状態情報の各々についての長期的状態情報及び短期的状態情報のそれぞれに対して重み付け係数を乗算した値を算出する。図４は、状態Ａの長期的状態情報には重み付け係数ｋ_Ａ１、状態Ａの短期的状態情報には重み付け係数ｋ_Ａ２、状態Ｂの長期的状態情報には重み付け係数ｋ_Ｂ１、状態Ｂの短期的状態情報には重み付け係数ｋ_Ｂ２、・・・をそれぞれ乗算する例を示している。

【0035】

また、推定部１６は、重み付け係数として、時間窓内で一定の重み付け係数を用いてもよいし、時間窓内で変化する重み付け係数を用いてもよい。また、推定部１６は、図５に示すように、現在時刻までの経過時間の関数で表される重み付け係数を用いてもよい。この関数として、状態情報の種類によって異なる関数を設定することができる。例えば、ミラーを視認している時間率等の視行動を示す状態情報に対応する重み付け係数については、直近の状況認識が運転準備状態に大きく関係するため、図６に示すように、現在時刻に近いほど重み付け係数が大きくなるような関数を設定する。一方、運転姿勢を示す状態情報に対応する重み付け係数については、例えば、図７に示すように、長期的な傾向を重視してフラット又はフラットに近い関数を設定する。フラットに近いとは、例えば、時間窓内の重み付け係数の最大値と最小値との差が所定値以下の場合をいう。

【0036】

推定部１６は、各種類の状態情報の各々について算出した重み付け後の長期的状態情報及び短期的状態情報を、加算、乗算、要素の羅列等によりまとめて統合状態情報とし、推定モデル１８へ入力する。推定モデル１８は、統合状態情報の入力に対して、運転者の運転準備状態を示す指標を出力するモデルである。ここでは、運転準備状態を示す指標として、反応時間を出力する場合について説明する。この場合、推定モデル１８は、ドライビングシミュレータなどで走行実験を行うことにより取得された状態情報から算出される統合状態情報と、それらの状態情報が得られた際に計測された反応時間との対応付けを機械学習することにより生成されている。なお、上記の重み付け係数の最適値についても同様に、走行実験から得られる各種類の状態情報と反応時間との関係に基づいて、予め決定しておくことができる。

【0037】

推定部１６は、推定モデル１８から出力された反応時間の推定値を、運転準備状態推定結果として出力する。出力された運転準備状態推定結果は、自動運転から手動運転への交代が可能か否かを判定するシステムにおける判定に用いられる。また、このシステムでの判定結果が交代可能であることを示している場合、自動運転システムにおいて、自動運転を終了し、手動運転へ移行するための制御が実行される。また、判定結果が交代不可であることを示している場合、手動運転への交代が行われるため、運転準備を行うように運転者へ促す警告等が出力される。

【0038】

図８に、運転準備状態推定装置１０のハードウェア構成を示すブロック図を示す。図８に示すように、運転準備状態推定装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３２、メモリ３４、記憶装置３６、入力装置３８、出力装置４０、記憶媒体読取装置４２、及び通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）４４を有する。各構成は、バス４６を介して相互に通信可能に接続されている。

【0039】

記憶装置３６には、後述する取得処理及び推定処理の各々を実行するための運転準備状態推定プログラムが格納されている。ＣＰＵ３２は、中央演算処理ユニットであり、各種プログラムを実行したり、各構成を制御したりする。すなわち、ＣＰＵ３２は、記憶装置３６からプログラムを読み出し、メモリ３４を作業領域としてプログラムを実行する。ＣＰＵ３２は、記憶装置３６に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。

【0040】

メモリ３４は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）により構成され、作業領域として一時的にプログラム及びデータを記憶する。記憶装置３６は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

【0041】

入力装置３８は、例えば、キーボードやマウス等の、各種の入力を行うための装置である。出力装置４０は、例えば、ディスプレイやプリンタ等の、各種の情報を出力するための装置である。出力装置４０として、タッチパネルディスプレイを採用することにより、入力装置３８として機能させてもよい。記憶媒体読取装置４２は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ、ブルーレイディスク、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の各種記憶媒体に記憶されたデータの読み込みや、記憶媒体に対するデータの書き込み等を行う。

【0042】

通信Ｉ／Ｆ４４は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

【0043】

次に、本実施形態に係る運転準備状態推定システム１００の作用について説明する。

【0044】

自動運転システムによる自動運転が開始されると、センサ群２０に含まれる各センサで計測された計測値が運転準備状態推定装置１０へ入力される。そして、運転準備状態推定装置１０において、図９に示す取得処理が実行される。取得処理は、自動運転システムによる自動運転の制御が継続されている間、繰り返し実行される。また、自動運転から手動運転への交代が自動運転システムから通知されると、運転準備状態推定装置１０において、図１０に示す推定処理が実行される。以下、取得処理及び推定処理の各々について詳述する。

【0045】

まず、図９に示す取得処理について説明する。

【0046】

ステップＳ１０で、取得部１２が、センサ群２０に含まれる各センサから出力された計測値を取得する。次に、ステップＳ１２で、取得部１２が、取得した計測値から、視行動、操作行動、運転姿勢、及び覚醒度を示す状態情報の各々を算出する。また、取得部１２が、上記ステップＳ１０で取得した計測値に基づいて、所定のイベントの発生を検出した場合には、イベントへの反応を示す状態情報を算出する。

【0047】

次に、ステップＳ１４で、取得部１２が、上記ステップＳ１２で算出した各種類の状態情報を、状態情報の種類毎、かつ取得時間毎に状態ＤＢ１４に記憶する。また、取得部１２が、上記ステップＳ１０で生体センサから取得した計測値を、そのまま生理指標を示す状態情報として状態ＤＢ１４に記憶し、取得処理は終了する。

【0048】

次に、図１０に示す推定処理について説明する。

【0049】

ステップＳ２０で、推定部１６が、状態ＤＢ１４に記憶された各状態情報から、時間窓Ｔ_１を用いて長期的状態情報を抽出し、時間窓Ｔ_２を用いて短期的状態情報を抽出する。次に、ステップＳ２２で、推定部１６が、上記ステップＳ２０で抽出した、各種類の状態情報の各々についての長期的状態情報及び短期的状態情報のそれぞれに対して重み付け係数を乗算した値を算出する。

【0050】

次に、ステップＳ２４で、推定部１６が、上記ステップＳ２２で算出した、各種類の状態情報の各々ついての重み付け後の長期的状態情報及び短期的状態情報を、加算、乗算、要素の羅列等によりまとめて統合状態情報とし、推定モデル１８へ入力する。そして、推定部１６が、推定モデル１８から出力された反応時間の推定値を、運転準備状態推定結果として出力し、推定処理は終了する。

【0051】

以上説明したように、本実施形態に係る運転準備状態推定システムによれば、運転準備状態推定装置が、自動運転中の車両の運転者の状態及び行動の少なくとも一方を示す１種類以上の状態情報を取得する。そして、運転準備状態推定装置が、１種類以上の状態情報の各々から、運転からの乖離度を判定するための長期的傾向に対応する時間窓Ｔ_１を用いて長期的状態情報を抽出する。また、運転準備状態推定装置は、運転交代時の状況認識度を判定するための、直近の状況に対応する時間窓Ｔ_２を用いて短期的状態情報を抽出する。そして、運転準備状態推定装置は、各種類の状態情報についての長期的状態情報及び短期的状態情報のそれぞれに、状態情報の種類に応じた重み付け係数を乗算した値をまとめた統合状態情報を推定モデルへ入力する。そして、運転準備状態推定装置は、推定モデルから出力される反応時間を、自動運転から手動運転への交代が可能であるか否かの判定に用いる運転準備状態を示す指標として推定する。これにより、運転交代に必要な運転者の運転準備状態を左右する（ｉ）運転者の運転からの乖離度、及び（ｉｉ）運転交代時の状況認識度の２つのパラメータを考慮して運転準備状態を推定することができるため、運転準備状態を精度良く推定することができる。

【0052】

ここで、視行動が示す状態情報を用いた場合の運転準備状態の推定結果の一例について説明する。図１１は、運転中の運転者の視線方向を２次元的に示したものである。正面以外にルームミラー、左右のドアミラー、サブタスク画面等の部位に視線が向いていることがわかる。この、各部位の過去９０秒（Ｔ_１）及び過去１５秒（Ｔ_２）の視認率（図１１中の各矩形領域内に視線が向いている時間率）を用いて、本実施形態の手法により運転交代時の反応時間を推定した例を図１２に示す。なお、比較例として、図１３に、各部位の過去３０秒の視認率のみを用いて反応時間を推定した結果を示す。両者を比較すると、複数の時間窓を用いた場合の方が、推定精度が向上していることがわかる。

【0053】

なお、上記実施形態では、状態情報として、視行動、操作行動、運転姿勢、覚醒度、生理指標、及びイベント発生時の反応を示す状態情報の全てを用いる場合について説明したが、これに限定されない。これらの状態情報のうち、少なくとも１つを用いてもよい。また、状態情報の種類は、これらの例に限定されるものではなく、自動運転中の運転者の状態及び行動の少なくとも一方を示す情報であればよい。

【0054】

また、上記実施形態において、重み付け係数を全て１としてもよい。すなわち、各種類の状態情報についての長期的状態情報及び短期的状態情報の各々を、重み付けを行うことなく用いて、運転準備状態を推定してもよい。

【0055】

また、本発明のプログラムを記憶媒体に格納して提供してもよい。

【符号の説明】

【0056】

１０ 運転準備状態推定装置
１２ 取得部
１４ 状態ＤＢ
１６ 推定部
１８ 推定モデル
２０ センサ群
３２ ＣＰＵ
３４ メモリ
３６ 記憶装置
３８ 入力装置
４０ 出力装置
４２ 記憶媒体読取装置
４４ 通信Ｉ／Ｆ
４６ バス
１００ 運転準備状態推定システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】