特許 7164275 集中状態推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-24

(45)【発行日】2022-11-01

(54)【発明の名称】集中状態推定装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20221025BHJP

   A61B 5/18 20060101ALI20221025BHJP

【ＦＩ】

G08G1/16 F

A61B5/18

【請求項の数】 6

(21)【出願番号】P 2018205777

(22)【出願日】2018-10-31

(65)【公開番号】P2020071705

(43)【公開日】2020-05-07

【審査請求日】2021-07-28

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(73)【特許権者】

【識別番号】000001247

【氏名又は名称】株式会社ジェイテクト

(74)【代理人】

【識別番号】100079049

【弁理士】

【氏名又は名称】中島 淳

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(72)【発明者】

【氏名】坂口 靖雄

(72)【発明者】

【氏名】小野 英一

(72)【発明者】

【氏名】村岸 裕治

(72)【発明者】

【氏名】田村 勉

(72)【発明者】

【氏名】フックス ロバート

(72)【発明者】

【氏名】吉井 康之

【審査官】白石 剛史

(56)【参考文献】

【文献】特開２０１８－０９７５１５（ＪＰ，Ａ）

【文献】国際公開第２０１０／０３２４２４（ＷＯ，Ａ１）

【文献】特開２０１８－６３４８９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ａ６１Ｂ ５／１８

(57)【特許請求の範囲】

【請求項1】

所定の秒数後に自車両が到達するポイントである前方注視点を自車両の前に前方車両がない場合と、自車両が前方車両に追従する場合とで、それぞれ設定する前方注視点設定手段と、
自車両の周辺に関するデータに基づいて、ドライバが運転時に注意を払うべき点であって、周辺環境の危険因子となる物体の位置、及び運転時に車両中の注視すべき対象の位置を示す運転注意点を検出する運転注意点検出手段と、
前記ドライバの視線、及び注視の継続時間を検出するドライバ視線検出手段と、
設定した前記前方注視点と、検出した前記運転注意点と、検出した前記ドライバの視線とに基づいて、前記ドライバの注視の状態が、複数種類の注視状態の何れであるかを判別する注視点判別手段と、
前記判別された注視状態の各々の割合と、検出された前記注視の継続時間とに基づいて、前記ドライバの運転に対する集中状態を推定する集中状態推定手段と、
を含む集中状態推定装置。

【請求項2】

前記複数種類の注視状態は、前記前方注視点を注視している状態、前記運転注意点を注視している状態、及び前記前方注視点及び前記運転注意点のいずれでもない非運転注意点を注視している状態を含む請求項１に記載の集中状態推定装置。

【請求項3】

所定の周辺の環境に応じて、前記注視の各状態の割合に対する基準、及び前記注視の継続時間に対する基準が予め定められており、
前記集中状態推定手段は、前記自車両の周辺の環境に対する前記基準の各々と、前記判別された注視状態の各々の割合と、前記注視の継続時間とに基づいて、前記集中状態を推定する請求項１又は請求項２に記載の集中状態推定装置。

【請求項4】

前記ドライバ視線検出手段は、前記ドライバの眼のサッカード運動の発生を区切りとして、前記注視の継続時間を検出する請求項１～請求項３の何れか１項に記載の集中状態推定装置。

【請求項5】

所定の秒数後に自車両が到達するポイントである前方注視点を自車両の前に前方車両がない場合と、自車両が前方車両に追従する場合とで、それぞれ設定するステップと、
自車両の周辺に関するデータに基づいて、ドライバが運転時に注意を払うべき点であって、周辺環境の危険因子となる物体の位置、及び運転時に車両中の注視すべき対象の位置を示す運転注意点を検出するステップと、
前記ドライバの視線、及び注視の継続時間を検出するステップと、
設定した前記前方注視点と、検出した前記運転注意点と、検出した前記ドライバの視線とに基づいて、前記ドライバの注視の状態が、複数種類の注視状態の何れであるかを判別するステップと、
前記判別された注視状態の各々の割合と、検出された前記注視の継続時間とに基づいて、前記ドライバの運転に対する集中状態を推定するステップと、
を含む集中状態推定方法。

【請求項6】

コンピュータを、請求項１～請求項４のいずれか１項に記載の集中状態推定装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、集中状態推定装置、方法、及びプログラムに係り、特に、運転中のドライバの状態を推定するための集中状態推定装置、方法、及びプログラムに関する。

【背景技術】

【0002】

従来より、車両を運転するドライバの状態を判別する技術がある。

【0003】

例えば、ドライバの眼のサッカード運動の回数からドライバの注意力に関するドライバ状態として、「注意良好状態」、「漫然状態」、及び「注意散漫状態」を判別する技術がある（特許文献１参照）。

【0004】

また、例えば、サッカード運動のうちマイクロサッカードの増加、すなわち振幅の小さなサッカードが割合として増加しているか、ということから、ドライバの先行車に対する運転の注意状態が低い「漫然状態」を判別する技術がある（特許文献２参照）。

【0005】

また、例えば、視線に基づいた運転集中度の判定技術として、顔向きと視線のずれからのドライバの集中度を判定する技術がある（特許文献３参照）。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１７－１９９２１２号公報

【文献】特開２０１１－１１５４５０号公報

【文献】特開２０１７－０１０４１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

例えば、従来の特許文献３の技術では、視線に基づいた運転集中度の判定技術として、顔向きと視線のずれから集中度の判定をしていた。しかし、従来技術では、走行環境に対する注意の有無が判断できない、という問題があった。

【0008】

本発明は、上記事情を鑑みて成されたものであり、複数の注視状態を考慮して、ドライバの運転に対する集中状態を推定できる集中状態推定装置、方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、第１の発明に係る集中状態推定装置は、予め求められた前方注視時間後に自車両が到達されると推定される地点を、前方注視点として設定する前方注視点設定手段と、前記自車両の周辺に関するデータに基づいて、ドライバが運転時に注意を払うべき点である運転注意点を検出する運転注意点検出手段と、前記ドライバの視線、及び注視の継続時間を検出するドライバ視線検出手段と、設定した前記前方注視点と、検出した前記運転注意点と、検出した前記ドライバの視線とに基づいて、前記ドライバの注視の状態が、複数種類の注視状態の何れであるかを判別する注視点判別手段と、前記判別された注視状態の各々の割合と、検出された前記注視の継続時間とに基づいて、前記ドライバの運転に対する集中状態を推定する集中状態推定手段と、を含んで構成されている。

【0010】

第２の発明に係る集中状態推定方法は、前方注視点設定手段が、前方注視点を設定するステップと、運転注意点検出手段が、前記自車両の周辺に関するデータに基づいて、ドライバが運転時に注意を払うべき点である運転注意点を検出するステップと、ドライバ視線検出手段が、前記ドライバの視線、及び注視の継続時間を検出するステップと、注視点判別手段が、設定した前記前方注視点と、検出した前記運転注意点と、検出した前記ドライバの視線とに基づいて、前記ドライバの注視の状態が、複数種類の注視状態の何れであるかを判別するステップと、集中状態推定手段が、前記判別された注視状態の各々の割合と、検出された前記注視の継続時間とに基づいて、前記ドライバの運転に対する集中状態を推定するステップと、を含んで実行することを特徴とする。

【0011】

第３の発明に係るプログラムは、コンピュータを、第１の発明に記載の集中状態推定装置の各部として機能させるためのプログラムである。

【発明の効果】

【0012】

本発明の集中状態推定装置、方法、及びプログラムによれば、複数の注視状態を考慮して、ドライバの運転に対する集中状態を推定できる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施の形態に係る集中状態推定装置の構成を示すブロック図である。

【図2】市街地運転中のドライバの視線及び顔向きの時間変化の一例を示す図である。

【図3】運転場面のドライバの視線の動きの一例を示す図である。

【図4】本発明の実施の形態に係る集中状態推定装置における集中状態推定処理ルーチンを示すフローチャートである。

【発明を実施するための形態】

【0014】

まず本発明の実施の形態の前提となる技術について説明する。

【0015】

自動車運転中のドライバには、１．５から３秒後に自車両が到達するポイントを目標到達点（前方注視点）として注視する性質が知られている。

【0016】

［参考文献１］特開２０１０－１７０１８７号公報

【0017】

また、上記のような前方注視行動は、眼球だけではなく顔を注視対象に向けることも知られている。顔向きと眼球の一致した視線の方向から目標経路に沿った運転に集中している状態が推定でき、自動運転状態においても集中状態のレベルが高いと判断できる。

【0018】

ただし、安全運転のためには、周囲の環境に目配せして、危険の有無を確認する「分散的注意機能」が必要となる。例えば、自動運転車の自動運転の際には、自動運転の状態から手動運転に復帰する際に、ドライバの分散的注意機能が十分に働いている安全な状態で復帰することが望ましい。

【0019】

そこで、本発明の実施の形態では、自動運転車の自動運転の際に、ドライバの分散的注意機能を考慮して、ドライバの運転に対する準備の状態がどの程度であるかを表す集中状態を推定する。集中状態は、走行環境に応じて発生する危険に対処する際にドライバが行う注視の状態が複数種類の注視状態のいずれであるかを判別し、注視状態の各々の割合と、注視の継続時間を用いて推定を行う。なお、以下に説明する本実施の形態では、自動運転車を対象として集中状態を推定する場合を例に説明するが、これに限定されるものではない。例えば、通常の自動車の場合に適用した場合でも、手動運転時において、ドライバが、運転中にどの程度集中しているかを表す集中度を推定することもできる。

【0020】

以下、図面を参照して本発明の実施の形態を詳細に説明する。

【0021】

＜本発明の実施の形態に係る集中状態推定装置の構成＞

【0022】

次に、本発明の実施の形態に係る集中状態推定装置の構成について説明する。本発明の実施の形態では、集中状態推定装置は、自動運転車に搭載され、ドライバの集中状態を推定するものとする。

【0023】

図１に示すように、本発明の実施の形態に係る集中状態推定装置１００は、ＣＰＵと、ＲＡＭと、後述する集中状態推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この集中状態推定装置１００は、機能的には図１に示すようにセンサ１０と、車載カメラ１２と、演算部２０と、出力部５０とを備えている。

【0024】

センサ１０は、レーザーレーダ等のセンサであり、自車両の周辺環境をセンシングすることで、周辺環境の物体の種類、及び位置をセンサ検出データとして検出し、運転注意点検出部３２に出力する。周辺環境の物体としては、道路標識、周辺車両、及び歩行者などである。また、周辺環境の物体として、自動運転に用いる地図情報に基づいて検出される交通信号も挙げられる。交通信号の場合には、周辺環境の物体の種類は、交通信号の状態となる。

【0025】

車載カメラ１２は、コックピットに設置されたドライバを撮影するための内部カメラ、及び自車両の周辺を監視するための周辺監視カメラである。車載カメラ１２は、内部カメラによって、ドライバの顔向きや眼球の向きなどがわかるドライバの動画像を撮影し、ドライバ視線検出部３４に出力する。車載カメラ１２は、周辺監視カメラによって、前方車両や歩行者などを含みうる周辺環境の動画像を撮影し、前方注視点設定部３０、及び注視点判別部３６に出力する。

【0026】

演算部２０は、前方注視点設定部３０と、運転注意点検出部３２と、ドライバ視線検出部３４と、注視点判別部３６と、集中状態推定部３８とを含んで構成されている。

【0027】

前方注視点設定部３０は、前方注視点を設定する。前方注視点は、自車両の前に前方車両がない場合と、自車両が前方車両に追従する場合とで、それぞれ設定する。前方車両がない場合は、現地点から所定の到達時間後に自車両が到達すると推定される地点を、ドライバが運転の際に注視している路面上のポイントである前方注視点と推定して設定する。ドライバが運転する場合、自車両が現地点から前方注視点に到達する時間は、通常１．５から３秒であり、この時間は走行する道路の曲率が大きいほど、車速が大きいほど、小さくなる。そのため、前方注視点設定部３０は、車載カメラ１２（周辺監視カメラ）で撮影した周辺環境の動画像から道路の形状を識別し、道路曲率や車速に応じて適切に到達時間を設定する。前方注視点設定部３０は、設定した前方注視時間に応じて推定される地点を前方注視点に設定する。また、前方注視点設定部３０は、前方車両が前方注視点に相当する車間内に存在し、自車両が前方車両に追従する場合には、ドライバは前方車両の位置を注視することから、周辺環境の動画像から前方車両を識別し、識別した前方車両の位置に前方注視点を設定する。なお、前方注視点の設定にはセンサ１０で検出したセンサ検出データを用いてもよい。

【0028】

運転注意点検出部３２は、センサ検出データを含む自車両の周辺に関するデータに基づいて、ドライバが運転時に注意を払うべき、安全確認が必要となる点である運転注意点を検出する。自車両の周辺に関するデータは、センサ検出データや、自車両のミラー位置などである。運転注意点検出部３２は、センサ１０で検出したセンサ検出データに含まれる周辺環境の物体の中から危険因子となる物体の位置や、車両のミラー位置などの運転注意点を検出する。なお、自車両周辺の危険因子については、参考文献２の記載の危険判定プログラムに基づき、精度よく検出することができる。なお、運転注意点の検出には、車載カメラ１２（周辺監視カメラ）で撮影した周辺環境の動画像を用いてもよい。

【0029】

［参考文献２］特開２０１１－１９８２６６号公報

【0030】

ドライバ視線検出部３４は、車載カメラ１２（内部カメラ）で撮影したドライバの動画像から、ドライバの視線、及び注視の継続時間を検出する。人間の視線は、ある物標を注視し続ける「注視」の状態と急速な眼球運動によって他の物標に視線が移動する「サッカード」の状態を繰り返すことが知られている。ドライバ視線検出部３４では、「注視」の状態における視線に加え、「サッカード」の発生タイミングを区切りとする注視の継続時間も出力する。

【0031】

注視点判別部３６は、ドライバの注視の状態が、複数種類の注視状態の何れであるかを判別する。判別は、前方注視点設定部３０で設定した前方注視点と、運転注意点検出部３２で検出した運転注意点と、ドライバ視線検出部３４で検出したドライバの視線とに基づいて行う。複数種類の注視状態は、前方注視点を注視している状態、運転注意点を注視している状態、及び前方注視点及び運転注意点のいずれでもない非運転注意点を注視している状態を含む。

【0032】

集中状態推定部３８は、注視点判別部３６で判別された注視状態の各々の割合と、ドライバ視線検出部３４で検出された注視の継続時間とに基づいて、ドライバの運転に対する集中状態を推定し、推定結果を出力部５０に出力する。

【0033】

以下、集中状態推定部３８において、集中状態を推定する手法の詳細を説明する。

【0034】

集中状態の推定のために、周辺の環境ごとに、注視の各状態の割合に対する基準、及び注視の継続時間に対する基準が予め定められているものとする。

【0035】

集中状態推定部３８は、自車両の周辺の環境に対する基準の各々と、注視の各状態の割合と、注視の継続時間とに基づいて、集中状態を推定する。集中状態推定部３８では、基準を満たす場合に、集中状態の推定値を高く推定し、基準を満たさない場合に集中状態の推定値を低く推定する。

【0036】

注視の各状態の割合に対する基準、及び注視の継続時間に対する基準は、ドライブシミュレータの実験等によって定めるようにすればよい。例えば、注視の各状態の割合に対する基準については、単位時間あたりの各状態のそれぞれの割合の範囲や、運転注意点に対する注視の回数などについて定める。注視の継続時間に対する基準については、前方注視点を注視している状態や、運転注意点を注視している状態について、一回ごとの注視の継続時間が一定時間以上か、また、非運転注意点の注視の継続時間が一定時間以下か、などを定める。

【0037】

例えば、ドライブシミュレータの実験において、故意にわき見を誘発するような場面や、非運転注視点を注視させるタスクなどを与えることで、ドライバの視線分布や注視継続時間の変化を加えることができる。その上で、先行車が急減速したり、歩行者が横断したりするような危険な場面を発生させ、その反応の速度や正確さで集中状態を対応付けることができ、この結果を用いて視線分布等から集中状態を推定するアルゴリズムを求める。

【0038】

周辺の環境ごとに基準を定める理由は、例えば、周辺の環境には、前方車両が少なく道路幅も広く見通しのよい環境である場合や、前方車両や周辺の建物などが多く見通しが悪い環境である場合など、周辺の環境が様々である場合が想定されるためである。そのため、周辺の環境に応じた適切な集中状態を推定するために、これらの周辺の環境ごとに基準を定める。例えば、見通しが悪い環境であれば、運転注意点に対する注視の回数が一定回数以上必要とし、前方注視点や運転注意点に対する注視の継続時間が一定の時間は必要とするように基準を定める。

【0039】

集中状態推定部３８は、どの周辺環境の基準を用いるかを決定するため、センサ１０の車載カメラ１２（周辺監視カメラ）で撮影した周辺環境の動画像に基づいて、自車両の周辺の環境を識別する。そして、集中状態推定部３８は、識別した自車両の周辺の環境に対応する基準の各々に対する、各状態の割合、及び各状態の注視の一回ごとの注視の継続時間に基づいて、集中状態を推定する。

【0040】

以下、図２、及び図３を参照して、集中状態の推定の一例を説明する。

【0041】

図２は、市街地運転中のドライバの視線及び顔向きの時間変化を示している。図２の例では、ドライバは、前方注視点に顔を向けて自動運転しており、周囲の安全確認のためにミラーや周辺を短時間、眼球のみで注視していることがわかる。視線が０［ｄｅｇ］に近い状態が前方注視点を注視している状態と捉えることができる。また、視線の位置が左右いずれかに振れている破線の丸で囲った箇所が、運転注意点を注視している状態と捉えることができる。図２の例では、安全確認のとき、ルームミラーなどの運転注意点を注視している注視状態と判別できる。従来技術（特許文献３参照）では、顔向きと視線のずれから集中度（集中状態）を判定しており、図２のように、安全確認のために顔向きと視線がずれてしまう視認行動は、推定上外乱として扱われてしまう。これに対し、本発明の実施の形態に係る手法を用いれば、顔向きと視線が一致しているか否かにかかわらず、前方注視点又は運転注意点を注視している状態について、高い集中状態の推定値を出力することができる。

【0042】

図３は、図２とは別の運転場面でのドライバの視線の動きを示した結果である。ドライバの視線は、注視（止まる）とサッカード（動く）の繰り返しとなっており、この場面の注視点を抽出すると、前方車両の軌跡を前方注視点として注視したあと、目立ち度の高い非運転注意点を注視、さらに前方注視点に戻り、車列の前方の状況を確認するための運転注意点を注視している。本発明の実施の形態に係る手法では、非運転注意点を注視している時間や、１回の運転注意点の注視継続時間などから集中状態を推定することができる。

【0043】

以上のように、本発明の実施の形態では、ドライバが運転時に注意を払うべき安全確認が必要となる個所を運転注意点として検出し、この運転注意点への注視行動がどの程度の割合を占めるかと、１回の注視行動の継続時間によって、「分散的注意機能」という観点も含めた集中状態の推定を可能とする。

【0044】

また、比較的交通量の少ない自動車専用道などの環境を走行する場合には、基準において、前方注視点への注視の継続時間は長くなる傾向となることは許容される。しかし、運転注意点の増加に伴い、前方注視点への注視の継続時間は短くなり、運転注意点への注視割合が増加しないと、分散的注意機能が不十分であると判断され、集中状態の推定値は低下する。同様に、非運転注意点への注視時間が長い場合も、分散的注意機能の低下と判断され、集中状態の推定値は低下することとなる。

【0045】

＜本発明の実施の形態に係る集中状態推定装置の作用＞

【0046】

次に、本発明の実施の形態に係る集中状態推定装置１００の作用について説明する。集中状態推定装置１００は、図４に示す集中状態推定処理ルーチンを実行する。なお、集中状態推定装置１００は、センサ１０のセンサ取得データ、及び車載カメラ１２で撮影した、ドライバの動画像、及び周辺環境の動画像を適宜取得しているものとする。

【0047】

まず、ステップＳ１００では、前方注視点設定部３０は、前方注視点を設定する。

【0048】

次に、ステップＳ１０２では、運転注意点検出部３２は、センサ１０で検出したセンサ検出データを含む自車両の周辺に関するデータに基づいて、ドライバが運転時に注意を払うべき、安全確認が必要となる点である運転注意点を検出する。

【0049】

ステップＳ１０４では、ドライバ視線検出部３４は、車載カメラ１２（内部カメラ）で撮影したドライバの動画像から、ドライバの視線、及び注視の継続時間を検出する。

【0050】

ステップＳ１０６では、注視点判別部３６は、ドライバの注視の状態が、複数種類の注視状態の何れであるかを判別する。判別は、前方注視点設定部３０で設定した前方注視点と、運転注意点検出部３２で検出した運転注意点と、ドライバ視線検出部３４で検出したドライバの視線とに基づいて行う。複数種類の注視状態は、前方注視点を注視している状態、運転注意点を注視している状態、及び前方注視点及び運転注意点のいずれでもない非運転注意点を注視している状態を含む。

【0051】

ステップＳ１０８では、集中状態推定部３８は、注視点判別部３６で判別された注視状態の各々の割合と、ドライバ視線検出部３４で検出された注視の継続時間とに基づいて、ドライバの運転に対する集中状態を推定し、推定結果を出力部５０に出力する。周辺の環境ごとに、注視の各状態の割合に対する基準、及び注視の継続時間に対する基準が予め定められているものとし、自車両の周辺の環境に対する基準の各々に対する、注視の各状態の割合と、注視の継続時間とに基づいて、集中状態を推定する。

【0052】

以上説明したように、本発明の実施の形態に係る集中状態推定装置によれば、ドライバの運転に対する集中状態を推定できる。

【0053】

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0054】

例えば、上述した実施の形態では、周辺の環境に対する基準を設けて集中状態を推定する場合を例に説明したが、これに限定されるものではない。例えば、生体情報に対する基準を設けて、ドライバの生体情報を更に考慮して集中状態を推定するようにしてもよい。

【0055】

また、上述した実施の形態では、複数種類の注視状態として、前方注視点を注視している状態、運転注意点を注視している状態、及び前方注視点及び運転注意点のいずれでもない非運転注意点を注視している状態を判別する場合を例に説明したが、これに限定されるものではない。例えば、前方注視点や運転注意点の周辺を注視している状態など他の状態を判別してもよい。

【符号の説明】

【0056】

１０ センサ
１２ 車載カメラ
２０ 演算部
３０ 前方注視点設定部
３２ 運転注意点検出部
３４ ドライバ視線検出部
３６ 注視点判別部
３８ 集中状態推定部
５０ 出力部
１００ 集中状態推定装置

【図1】

【図2】

【図3】

【図4】