特許 7159716 準備状態推定装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-17

(45)【発行日】2022-10-25

(54)【発明の名称】準備状態推定装置、方法、及びプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20221018BHJP

【ＦＩ】

G08G1/16 F

【請求項の数】 4

(21)【出願番号】P 2018168168

(22)【出願日】2018-09-07

(65)【公開番号】P2020042437

(43)【公開日】2020-03-19

【審査請求日】2021-07-15

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(74)【代理人】

【識別番号】100079049

【弁理士】

【氏名又は名称】中島 淳

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(72)【発明者】

【氏名】村岸 裕治

(72)【発明者】

【氏名】小野 英一

(72)【発明者】

【氏名】坂口 靖雄

(72)【発明者】

【氏名】嶋内 洋

(72)【発明者】

【氏名】樋口 和則

(72)【発明者】

【氏名】田口 敏行

【審査官】武内 俊之

(56)【参考文献】

【文献】特開２０１７－１９９２１２（ＪＰ，Ａ）

【文献】特開２０１４－１３４５０３（ＪＰ，Ａ）

【文献】特開２００９－１２２８０８（ＪＰ，Ａ）

【文献】特開２０１２－１３７６３９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

所定の秒数後に自車両が到達するポイントである前方注視点を設定する前方注視点設定手段と、
自車両の周辺に関するデータに基づいて、ドライバが運転時に注意を払うべき点である運転注意点を検出する運転注意点検出手段と、
前記ドライバの視線を検出するドライバ視線検出手段と、
前記ドライバから見える前記前方注視点に対応する位置に、前記ドライバの視線を誘導するためのマーカを所定の間隔で映し、前記運転注意点を検出したときに、前記ドライバから見える前記運転注意点に対応する位置に、前記マーカを映す視線誘導手段と、
検出された前記ドライバの視線から求められる、前記ドライバの目のサッカード運動に基づいて、運転において前記ドライバの介入が必要となった際の対応能力を指標化した運転準備状態を推定する準備状態推定手段と、を含み、
前記ドライバ視線検出手段は、検出された前記ドライバの視線から、前記サッカード運動の発生、及び速度を検出し、
前記準備状態推定手段は、検出された前記ドライバの視線と、前記マーカを映していたタイミングに対する前記サッカード運動の発生までの時間と、前記サッカード運動の速度とに基づいて、前記運転準備状態を推定する、
準備状態推定装置。

【請求項2】

前記視線誘導手段は、前記マーカを円環として、円環のマーカを映すごとに、前記円環のマーカが広がっていくように映すとともに所定の大きさで消える設定とする請求項１に記載の準備状態推定装置。

【請求項3】

前方注視点設定手段が、所定の秒数後に自車両が到達するポイントである前方注視点を設定するステップと、
運転注意点検出手段が、自車両の周辺に関するデータに基づいて、ドライバが運転時に注意を払うべき点である運転注意点を検出するステップと、
ドライバ視線検出手段が、前記ドライバの視線を検出するステップと、
視線誘導手段が、前記ドライバから見える前記前方注視点に対応する位置に、前記ドライバの視線を誘導するためのマーカを所定の間隔で映すステップと、
視線誘導手段が、前記運転注意点を検出したときに、前記ドライバから見える前記運転注意点に対応する位置に、前記マーカを映すステップと、
準備状態推定手段が、検出された前記ドライバの視線から求められる、前記ドライバの目のサッカード運動に基づいて、運転において前記ドライバの介入が必要となった際の対応能力を指標化した運転準備状態を推定するステップと、を含み、
前記ドライバ視線検出手段が検出するステップは、検出された前記ドライバの視線から、前記サッカード運動の発生、及び速度を検出し、
前記準備状態推定手段が推定するステップは、検出された前記ドライバの視線と、前記マーカを映していたタイミングに対する前記サッカード運動の発生までの時間と、前記サッカード運動の速度とに基づいて、前記運転準備状態を推定する、
準備状態推定方法。

【請求項4】

コンピュータを、請求項１又は請求項２に記載の準備状態推定装置の各部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、準備状態推定装置、方法、及びプログラムに係り、特に、運転中のドライバの状態を推定するための準備状態推定装置、方法、及びプログラムに関する。

【背景技術】

【0002】

従来より、車両を運転するドライバの状態を判別する技術がある。

【0003】

例えば、ドライバの眼のサッカード運動の回数からドライバの注意力に関するドライバ状態として、「注意良好状態」、「漫然状態」、及び「注意散漫状態」を判別する技術がある（特許文献１参照）。

【0004】

また、例えば、サッカード運動のうちマイクロサッカードの増加、すなわち振幅の小さなサッカードが割合として増加しているか、ということから、ドライバの先行車に対する運転の注意状態が低い「漫然状態」を判別する技術がある（特許文献２参照）。

【0005】

また、従来よりドライバに対して刺激を与えて覚醒を維持することに関する技術がある。

【0006】

例えば、自動車等の検出対象物の検出タイミングに合わせてサッカード刺激を呈示して、覚醒を維持する技術がある（特許文献３参照）。

【0007】

また、例えば、瞬きの回数、長さ、顔向き、心拍数等から覚醒状態を検知し、覚醒状態に応じてサッカード刺激の強度を制御することで、煩わしさを低減させる技術がある（特許文献４参照）。

【先行技術文献】

【特許文献】

【0008】

【文献】特開２０１７－１９９２１２号公報

【文献】特開２０１１－１１５４５０号公報

【文献】特開２０１６－１３４０７７号公報

【文献】特開２０１７－１７４０９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

もっとも、特許文献１や特許文献２のように、サッカードの頻度やサッカードの振幅の分布から「漫然」等の状態を判別するためには、統計的に有意となるデータ数が必要となることから、判定に比較的長い時間を要してしまう、という問題があった。

【0010】

一方、特許文献３や特許文献４のように、サッカード刺激を提示することで覚醒の維持を図ることが可能であるが、刺激を注視しなくなるとサッカード運動が発生しなくなり、覚醒が維持できなくなるという課題もある。

【0011】

本発明は、上記事情を鑑みて成されたものであり、ドライバの視線を誘導するとともに、ドライバの運転に対する準備状態を推定できる準備状態推定装置、方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

上記目的を達成するために、第１の発明に係る準備状態推定装置は、前方注視点を設定する前方注視点設定手段と、自車両の周辺に関するデータに基づいて、ドライバが運転時に注意を払うべき点である運転注意点を検出する運転注意点検出手段と、前記ドライバの視線を検出するドライバ視線検出手段と、前記ドライバから見える前記前方注視点に対応する位置に、前記ドライバの視線を誘導するためのマーカを所定の間隔で映し、前記運転注意点を検出したときに、前記ドライバから見える前記運転注意点に対応する位置に、前記マーカを映す視線誘導手段と、検出された前記ドライバの視線から求められる、前記ドライバの目のサッカード運動に基づいて、前記ドライバの運転に対する準備状態を推定する準備状態推定手段と、を含んで構成されている。

【0013】

第２の発明に係る準備状態推定方法は、前方注視点設定手段が、前方注視点を設定するステップと、運転注意点検出手段が、自車両の周辺に関するデータに基づいて、ドライバが運転時に注意を払うべき点である運転注意点を検出するステップと、ドライバ視線検出手段が、前記ドライバの視線を検出するステップと、視線誘導手段が、前記ドライバから見える前記前方注視点に対応する位置に、前記ドライバの視線を誘導するためのマーカを所定の間隔で映すステップと、視線誘導手段が、前記運転注意点を検出したときに、前記ドライバから見える前記運転注意点に対応する位置に、前記マーカを映すステップと、準備状態推定手段が、検出された前記ドライバの視線から求められる、前記ドライバの目のサッカード運動に基づいて、前記ドライバの運転に対する準備状態を推定するステップと、を含んで実行することを特徴とする。

【0014】

第３の発明に係るプログラムは、コンピュータを、第１の発明に記載の準備状態推定装置の各部として機能させるためのプログラムである。

【発明の効果】

【0015】

本発明の準備状態推定装置、方法、及びプログラムによれば、ドライバの視線を誘導するとともに、ドライバの運転に対する準備状態を推定できる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施の形態に係る準備状態推定装置の構成を示すブロック図である。

【図2】前方注視点に視線誘導する場合の例を示す図である。

【図3】運転注意点に視線誘導する場合の例を示す図である。

【図4】本発明の実施の形態に係る準備状態推定装置における準備状態推定処理ルーチンを示すフローチャートである。

【発明を実施するための形態】

【0017】

まず本発明の実施の形態の前提となる技術について説明する。

【0018】

自動車運転中のドライバには、１．５から３秒後に自車両が到達するポイントを目標到達点（前方注視点）として注視する性質が知られている。

【0019】

［参考文献１］特開２０１０－１７０１８７号公報

【0020】

自動運転車両においても、前方注視点を注視するようにドライバの視線を誘導することで、ドライバに運転を意識させることが可能となり、ドライバの運転に対する準備の状態がどの程度であるかを表す運転準備状態を高いレベルに保つことが可能となる。すなわち、ドライバの介入が必要となった際の対応能力を指標化できる。

【0021】

また、安全運転のためには、周囲の環境に目配せして、危険の有無を確認する「分散的注意機能」が必要となる。

【0022】

本発明の実施の形態では、周囲の環境に注視を誘導することで、「分散的注意機能」の担保を可能にするとともに、誘導によって生じるサッカード反応によって覚醒状態を維持し、誘導時における、運転準備状態を推定する。「分散的注意機能」の担保は、運転時に目配せが必要となる危険個所となる運転注意点を検出し、前方注視点、及び運転注意点にドライバの注視を誘導することで可能にする。また、視線誘導の際にドライバに急峻な眼球運動、すなわちサッカード反応を起こすことによって、ドライバの覚醒状態の維持も期待できる。さらに、視線誘導の入力に対するドライバの実際の視線の反応を検知することによって、覚醒低下に伴う運転準備状態の低下を精度よく推定することが可能となる。なお、以下に説明する本実施の形態では、自動運転車を対象として運転準備状態を推定する場合を例に説明するが、これに限定されるものではない。例えば、通常の自動車の場合に適用した場合でも、周辺の危険因子に対して運転中にどの程度準備しているかを表す準備状態を推定することもできる。

【0023】

以下、図面を参照して本発明の実施の形態を詳細に説明する。

【0024】

＜本発明の実施の形態に係る準備状態推定装置の構成＞

【0025】

次に、本発明の実施の形態に係る準備状態推定装置の構成について説明する。本発明の実施の形態では、準備状態推定装置は、自動運転車に搭載され、ドライバの運転準備状態を推定するものとする。

【0026】

図１に示すように、本発明の実施の形態に係る準備状態推定装置１００は、ＣＰＵと、ＲＡＭと、後述する準備状態推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この準備状態推定装置１００は、機能的には図１に示すようにセンサ１０と、車載カメラ１２と、ウインドシールド１４と、演算部２０と、出力部５０とを備えている。

【0027】

センサ１０は、レーザーレーダ等のセンサであり、自車両の周辺環境をセンシングすることで、周辺環境の物体の種類、及び位置をセンサ検出データとして検出し、運転注意点検出部３２に出力する。周辺環境の物体としては、道路標識、周辺車両、及び歩行者などである。また、周辺環境の物体として、自動運転に用いる地図情報に基づいて検出される交通信号も挙げられる。交通信号の場合には、周辺環境の物体の種類は、交通信号の状態となる。

【0028】

車載カメラ１２は、コックピットに設置されたドライバを撮影するための内部カメラ、及び自車両の周辺を監視するための周辺監視カメラである。車載カメラ１２は、内部カメラによって、ドライバの顔向きや眼球の向きなどがわかるドライバを写した動画像を撮影し、ドライバ視線検出部３４に出力する。車載カメラ１２は、周辺監視カメラによって、前方車両や歩行者などを含みうる周辺環境を写した動画像を撮影し、前方注視点設定部３０に出力する。

【0029】

ウインドシールド１４は、自動運転車においてドライバの視界側に形成されており、後述する視線誘導部３６の制御によってマーカが表示される。

【0030】

演算部２０は、前方注視点設定部３０と、運転注意点検出部３２と、ドライバ視線検出部３４と、視線誘導部３６と、運転準備状態推定部３８とを含んで構成されている。

【0031】

前方注視点設定部３０は、前方注視点を設定する。前方注視点は、自車両の前に前方車両がない場合と、自車両が前方車両に追従する場合とで、それぞれ設定する。前方車両がない場合は、前方注視時間後に自車両が到達されると推定される地点を、前方注視点として設定する。前方注視時間は、自車両の目標経路上の注視時間であり、ドライバが運転する際に注視している経路上のポイントを前方注視点として設定する。ドライバが運転する場合の前方注視時間は、通常１．５から３秒であり、走行する道路の曲率が大きいほど小さくなる。そのため、前方注視点設定部３０は、車載カメラ１２（周辺監視カメラ）で撮影した周辺環境を写した動画像から道路の形状を識別し、道路曲率に応じて適切に前方注視時間を設定する。前方注視点設定部３０は、設定した前方注視時間に応じて推定される地点を前方注視点に設定する。また、前方注視点設定部３０は、前方車両が前方注視時間に相当する車間内に存在し、自車両が前方車両に追従する場合には、ドライバは前方車両の位置を注視することから、周辺環境を写した動画像から前方車両を識別し、識別した前方車両の位置に前方注視点を設定する。

【0032】

運転注意点検出部３２は、センサ検出データを含む自車両の周辺に関するデータに基づいて、ドライバが運転時に注意を払うべき、安全確認が必要となる点である運転注意点を検出する。自車両の周辺に関するデータは、センサ検出データや、車両のミラー位置などである。運転注意点検出部３２は、センサ１０で検出したセンサ検出データに含まれる周辺環境の物体の中から危険因子となる物体の位置や、車両のミラー位置などの運転注意点を検出する。なお、自車両周辺の危険因子については、参考文献２の記載の危険判定プログラムに基づき、精度よく検出することができる。

【0033】

［参考文献２］特開２０１１－１９８２６６号公報

【0034】

ドライバ視線検出部３４は、車載カメラ１２（内部カメラ）で撮影したドライバを写した動画像から、ドライバの視線を検出する。また、ドライバ視線検出部３４は、検出したドライバの視線から、サッカード運動の発生、及び速度を検出する。人間の視線は、ある物標を注視し続ける「注視」の状態と急速な眼球運動によって他の物標に視線が移動する「サッカード」の状態を繰り返すことが知られている。そこで、ドライバ視線検出部３４は、検出した視線の動きから、サッカード運動の発生、及び速度を検出する。

【0035】

視線誘導部３６は、ドライバから見えるウインドシールド１４の前方注視点に対応する位置に、ドライバの視線を誘導するためのマーカを所定の時間の間隔（例えば数秒の間隔）で映す。また、運転注意点検出部３２で運転注意点を検出したときに、ドライバから見えるウインドシールド１４の運転注意点に対応する位置に、マーカを映す。マーカは円環として、円環のマーカを映すごとに、円環のマーカが広がっていくように映すとともに所定の大きさで消える設定とする。

【0036】

図２に、ウインドシールド１４上への視線誘導の具体例を示す。一定の車間時間を保って、前方車両に追従しているときには、視線誘導部３６は、前方車両の位置を前方注視点として、運転注意点がない状態では、位置にドライバの視線を誘導するために数秒間隔で、ウインドシールド１４を介してドライバから見える前方注視点に対応する位置にマーカを映す。このマーカは、ドライバの視野情報を妨げないように、前方注視点を中心に円環が短時間に広がるように表示するとともに、ある一定の大きさになったところで消える設定としている。マーカの表示を数秒間隔で行うことで、ドライバは前方注視点を注視する。自動運転車両においても、この目標到達点（前方注視点）を注視するようにドライバの視線を誘導することで、ドライバに運転を意識させることが可能となる。このように所定の間隔で前方注視点への視線の誘導を行うことにより、ドライバの介入が必要となった際の対応能力を指標化した運転準備状態を高いレベルに保つことが可能となる。

【0037】

以上は、運転注意点検出部３２で検出される、交通信号や、道路標識の位置及び周辺環境のセンシングに基づいて検出される周辺車両や歩行者などの運転注意点がない場合の視線の誘導である。

【0038】

一方で、図３に示すように、運転注意点検出部３２において右側から道路に出てくる車両の運転注意点を検出した場合には、検出されたタイミングで運転注意点にドライバの視線を誘導するために、ウインドシールド１４を介してドライバから見える運転注意点に対応する位置にマーカを映す。この場合もマーカは、ドライバの視野情報を妨げないように、検出された運転注意点を中心に円環が短時間に広がるように表示するとともに、ある一定の大きさになったところで消える設定とする。本発明の実施の形態では、運転注意点検出部３２によって運転時に目配せが必要となる危険個所を抽出し、この注意点への注視を誘導することで、「分散的注意機能」の担保が可能となるとともに、視線誘導の際の急峻な眼球運動、すなわちサッカード反応によって覚醒状態の維持も期待できる。なお、この注意点へのサッカード刺激を提示する前に、ドライバがこの注意点を注視した場合には、刺激の提示は行わない。このような不要な提示を避けることでドライバが感じるわずらわしさを低減させることができる。

【0039】

運転準備状態推定部３８は、ドライバ視線検出部３４で検出されたドライバの視線と、視線誘導部３６でマーカを映していたタイミングに対するサッカード運動の発生までの時間と、サッカード運動の速度とに基づいて、運転準備状態を推定する。

【0040】

本実施の形態の運転準備状態の推定の詳細について説明する。

【0041】

運転準備状態推定部３８では、ドライバの視線、及びサッカード運動についての基準を予め定めておき、定められた基準に対する視線、及びサッカード運動の状態から運転準備状態を推定する。運転準備状態推定部３８では、例えば、視線誘導部３６でマーカによって呈示した刺激からのサッカード運動の発生までの反応時間、及び反応時のサッカード速度からドライバの運転準備状態を推定する。反応時間、及びサッカード速度の基準は、ドライブシミュレータの実験等によって定めるようにすればよい。例えば、反応時間が短かったり、サッカード速度が速ければ高い運転準備状態となるようにし、反応時間が一定時間以上になって反応が遅れていたり、サッカード速度が一定速度以下であった場合に運転準備状態の推定値が低くなるように基準を定める。また、ドライバの視線の基準については、例えばドライバの視線が誘導している前方注視点や運転注意点と離れた場所を注視してしまっているような場合には、運転準備状態が低くなるように基準を定める。一方、注意点へのサッカード刺激の前にドライバがこの注意点を注視し、サッカード刺激が行われなかった場合には、高い運転準備状態となるように定める。運転準備状態推定部３８では、以上のような基準を用いて、運転準備状態の推定値を求める。このように本発明の実施の形態では、従来技術の課題に着目し、サッカード刺激に対する眼球運動の「反応時間」、「サッカード速度」から「漫然状態」等のドライバの運転準備状態を推定するという特徴を有している。サッカード刺激という入力に対する反応を調べることで、運転準備状態の推定の精度向上が見込まれ、結果として判定時間の短縮が期待される。

【0042】

＜本発明の実施の形態に係る準備状態推定装置の作用＞

【0043】

次に、本発明の実施の形態に係る準備状態推定装置１００の作用について説明する。準備状態推定装置１００は、図４に示す準備状態推定処理ルーチンを実行する。なお、準備状態推定装置１００は、センサ１０のセンサ取得データ、及び車載カメラ１２で撮影した、ドライバを写した動画像、及び周辺環境を写した動画像を適宜取得しているものとする。また、準備状態推定装置１００は、自動運転中に準備状態推定処理ルーチンを繰り返し実行しているものとする。

【0044】

まず、ステップＳ１００では、前方注視点設定部３０は、前方注視点を設定する。

【0045】

次に、ステップＳ１０２では、運転注意点検出部３２は、センサ１０で検出したセンサ検出データを含む自車両の周辺に関するデータに基づいて、ドライバが運転時に注意を払うべき、安全確認が必要となる点である運転注意点を検出する。

【0046】

ステップＳ１０４では、ドライバ視線検出部３４は、車載カメラ１２（内部カメラ）で撮影したドライバを写した動画像から、ドライバの視線を検出する。

【0047】

ステップＳ１０６では、ドライバ視線検出部３４は、ステップＳ１０４で検出したドライバの視線から、サッカード運動の発生、及び速度を検出する。

【0048】

ステップＳ１０８では、視線誘導部３６は、ドライバから見えるウインドシールド１４の前方注視点に対応する位置に、ドライバの視線を誘導するためのマーカを所定の時間の間隔（例えば数秒の間隔）で映す。

【0049】

ステップＳ１１０では、視線誘導部３６は、ステップＳ１０２で運転注意点が１つ以上検出されているかを判定し、検出されている場合にはステップＳ１１２へ移行し、検出されていない場合にはステップＳ１１４へ移行する。

【0050】

ステップＳ１１２では、視線誘導部３６は、ドライバから見えるウインドシールド１４の運転注意点に対応する位置に、マーカを映す。

【0051】

ステップＳ１１４では、運転準備状態推定部３８は、検出されたドライバの視線と、視線誘導部３６でマーカを映していたタイミングに対するサッカード運動の発生までの時間と、サッカード運動の速度とに基づいて、運転準備状態を推定する。

【0052】

以上説明したように、本発明の実施の形態に係る準備状態推定装置によれば、ドライバの視線を誘導するとともに、ドライバの運転に対する準備状態を推定できる。

【0053】

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0054】

例えば、上述した実施の形態では、ドライバの視線、及びサッカード運動について基準を設けて運転準備状態を推定する場合を例に説明したが、これに限定されるものではない。例えば、生体情報に対する基準を設けて、ドライバの生体情報を更に考慮して運転準備状態を推定するようにしてもよい。

【符号の説明】

【0055】

１０ センサ
１２ 車載カメラ
１４ ウインドシールド
２０ 演算部
３０ 前方注視点設定部
３２ 運転注意点検出部
３４ ドライバ視線検出部
３６ 視線誘導部
３８ 運転準備状態推定部
５０ 出力部
１００ 準備状態推定装置

【図1】

【図2】

【図3】

【図4】