特許 6793473 わき見状態判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6793473

(24)【登録日】2020年11月12日

(45)【発行日】2020年12月2日

(54)【発明の名称】わき見状態判定装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20201119BHJP

   A61B 3/113 20060101ALI20201119BHJP

【ＦＩ】

   G08G1/16 F

   A61B3/113

【請求項の数】6

【全頁数】10

(21)【出願番号】特願2016-117654(P2016-117654)

(22)【出願日】2016年6月14日

(65)【公開番号】特開2017-224066(P2017-224066A)

(43)【公開日】2017年12月21日

【審査請求日】2019年6月4日

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２７年度、国立研究開発法人科学技術振興機構研究成果展開事業 センター・オブ・イノベーションプログラム『精神的価値が成長する感性イノベーション拠点』委託研究開発、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】504261077

【氏名又は名称】大学共同利用機関法人自然科学研究機構

(73)【特許権者】

【識別番号】000003137

【氏名又は名称】マツダ株式会社

(74)【代理人】

【識別番号】100080768

【弁理士】

【氏名又は名称】村田 実

(74)【代理人】

【識別番号】100106644

【弁理士】

【氏名又は名称】戸塚 清貴

(72)【発明者】

【氏名】伊佐 正

(72)【発明者】

【氏名】吉田 正俊

(72)【発明者】

【氏名】ヴィール、リチャード・エドモンド

(72)【発明者】

【氏名】岩瀬 耕二

(72)【発明者】

【氏名】武田 雄策

(72)【発明者】

【氏名】原 利宏

(72)【発明者】

【氏名】岸 篤秀

(72)【発明者】

【氏名】西川 一男

(72)【発明者】

【氏名】農沢 隆秀

【審査官】 藤村 泰智

(56)【参考文献】

【文献】 特表２００５−５１０７８３（ＪＰ，Ａ）

【文献】 特開２０１１−１１５４５０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１７／０２１５７８４（ＵＳ，Ａ１）

【文献】 特開２０１４−１６８５０６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００ 〜 １／１６

Ａ６１Ｂ ３／１０ 〜 ３／１１３

(57)【特許請求の範囲】

【請求項1】

判定対象者の眼を撮像する撮像手段と、
前記撮像手段で撮像された画像に基づいて、判定対象者の視線が動くときに生じる急激な眼球運動となるサッカードの振幅あたりの移動速度を検出する移動速度検出手段と、
前記移動速度検出手段により検出される前記移動速度に基づいて、判定対象者が視認方向を見ているときにおける意識のわき見であるか否かを判定するわき見判定手段と、
を備え、
前記わき見判定手段は、前記振幅が所定値以下の小さい範囲のときを条件として、前記移動速度検出手段により検出される前記移動速度があらかじめ設定された基準移動速度から所定以上低下したときに、意識のわき見であると判定する、
ことを特徴とするわき見状態判定装置。

【請求項2】

請求項１において、
前記振幅に対する前記移動速度との関係を示す近似直線の傾きを求める傾き決定手段を備え、
前記わき見判定手段は、前記傾き決定手段により決定される傾きが、前記基準移動速度を示す基準傾きよりも所定以上低下したときに、意識のわき見であると判定する、
ことを特徴とするわき見状態判定装置。

【請求項3】

判定対象者の眼を撮像する撮像手段と、
前記撮像手段で撮像された画像に基づいて、判定対象者の視線が動くときに生じる急激な眼球運動となるサッカードの振幅あたりの持続時間を検出する持続時間検出手段と、
前記持続時間検出手段により検出される前記持続時間に基づいて、判定対象者が視認方向を見ているときにおける意識のわき見であるか否かを判定するわき見判定手段と、
を備えていることを特徴とするわき見状態判定装置。

【請求項4】

請求項３において、
前記わき見判定手段は、前記振幅が所定値以下の小さい範囲のときを条件として、前記持続時間検出手段により検出される前記持続時間があらかじめ設定された基準持続時間よりも所定以上増大したときに、意識のわき見であると判定する、ことを特徴とするわき見状態判定装置。

【請求項5】

請求項４において、
前記振幅に対する前記持続時間との関係を示す近似直線の傾きを求める傾き決定手段を備え、
前記わき見判定手段は、前記傾き決定手段により決定される傾きが、前記基準持続時間を示す基準傾きよりも所定以上増大したときに、意識のわき見であると判定する、
ことを特徴とするわき見状態判定装置。

【請求項6】

判定対象者の眼を撮像する撮像手段と、
前記撮像手段で撮像された画像に基づいて、判定対象者の視線が動くときに生じる急激な眼球運動となるサッカードの振幅あたりの移動速度および持続時間を検出するサッカード状態検出手段と、
前記サッカード状態検出手段により検出される前記移動速度および前記持続時間との両方に基づいて、判定対象者が視認方向を見ているときにおける意識のわき見であるか否かを判定するわき見判定手段と、
を備えていることを特徴とするわき見状態判定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、わき見状態判定装置に関するものである。

【背景技術】

【0002】

運転者のわき見は、安全運転を行う上で好ましくないものである。特許文献１には、視線が動くときに生じる跳躍運動の１回あたりの移動量から、進行方向を見ていないときのわき見を判定するものが開示されている。

【0003】

わき見の中には、車両の進行方向を見ていない一般的なわき見の他、進行方向を見ているときのわき見となる「意識のわき見」といわれるものがある。すなわち、運転者が考え事をしているときや漫然としているときには、運転者は進行方向を見ているものの、前方に存在する視認すべき対象物を十分に見ていない状態を生じることが往々にしてあり、このような状態が意識のわき見となる。特許文献２には、運転者の脳波に基づいて意識のわき見を判定するものが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００３−９９８９９号公報

【特許文献2】特開２０１２−８５７４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述した意識のわき見であるか否かを判定するために、特許文献２に記載のように運転者の脳波を用いることは一般的でなく（脳波検出装置がかなり大掛かりでコスト高）、より簡便な手法で判定できるようにすることが望まれる。

【0006】

本発明は以上のような事情を勘案してなされたもので、その目的は、運転者等の判定対象者の眼球の動きを検出するという簡便な手法により、意識のわき見を判定できるようにしわき見状態判定装置を提供することにある。

【課題を解決するための手段】

【0007】

前記目的を達成するため、本発明にあっては基本的に、判定対象者の視線が動くときに生じる急激な眼球運動となるサッカード（サッケードと称されることもある）の振幅あたりの移動速度や持続時間が、意識のわき見のときと正常に前方を視認しているときとで相違する、という知見に基づいてなされたものである。

【0008】

本発明にあっては、次のような第１の解決手法を採択してある。すなわち、請求項１に記載のように、
判定対象者の眼を撮像する撮像手段と、
前記撮像手段で撮像された画像に基づいて、判定対象者の視線が動くときに生じる急激な眼球運動となるサッカードの振幅あたりの移動速度を検出する移動速度検出手段と、
前記移動速度検出手段により検出される前記移動速度に基づいて、判定対象者が視認方向を見ているときにおける意識のわき見であるか否かを判定するわき見判定手段と、
を備え、
前記わき見判定手段は、前記振幅が所定値以下の小さい範囲のときを条件として、前記移動速度検出手段により検出される前記移動速度があらかじめ設定された基準移動速度から所定以上低下したときに、意識のわき見であると判定する、
ようにしてある。上記第１の解決手法によれば、判定対象者の眼を撮像するという簡便な手法によって、意識のわき見であるか否かを判定することができる。また、意識のわき見であることの判定について、より具体的な手法が提供される。

【0009】

上記第１の解決手法を前提とした好ましい態様は、請求項２に記載のとおりである。

【0010】

前記振幅に対する前記移動速度との関係を示す近似直線の傾きを求める傾き決定手段を備え、
前記わき見判定手段は、前記傾き決定手段により決定される傾きが、前記基準移動速度を示す基準傾きよりも所定以上低下したときに、意識のわき見であると判定する、
ようにしてある（請求項２対応）。この場合、小さい範囲内での振幅についての移動速度を総合勘案して、意識のわき見であるか否かを精度よく判定することができる。

【0011】

前記目的を達成するため、本発明にあっては次のような第２の解決手法を採択してある。すなわち、請求項３に記載のように、
判定対象者の眼を撮像する撮像手段と、
前記撮像手段で撮像された画像に基づいて、判定対象者の視線が動くときに生じる急激な眼球運動となるサッカードの振幅あたりの持続時間を検出する持続時間検出手段と、
前記持続時間検出手段により検出される前記持続時間に基づいて、判定対象者が視認方向を見ているときにおける意識のわき見であるか否かを判定するわき見判定手段と、
を備えているようにしてある。上記解決手法によれば、判定対象者の眼を撮像するという簡便な手法によって、意識のわき見であるか否かを判定することができる。

【0012】

上記第２の解決手法を前提とした好ましい態様は、請求項４、請求項５に記載のとおりである。すなわち、
前記わき見判定手段は、前記振幅が所定値以下の小さい範囲のときを条件として、前記持続時間検出手段により検出される前記持続時間があらかじめ設定された基準持続時間よりも所定以上増大したときに、意識のわき見であると判定する、ようにしてある（請求項４対応）。この場合、意識のわき見であることの判定について、より具体的な手法が提供される。

【0013】

前記振幅に対する前記持続時間との関係を示す近似直線の傾きを求める傾き決定手段を備え、
前記わき見判定手段は、前記傾き決定手段により決定される傾きが、前記基準持続時間を示す基準傾きよりも所定以上増大したときに、意識のわき見であると判定する、
ようにしてある（請求項５対応）。この場合、小さい範囲内での振幅についての持続時間を総合勘案して、意識のわき見であるか否かを精度よく判定することができる。

【0014】

前記目的を達成するため、本発明にあっては次のような第３の解決手法を採択してある。すなわち、請求項６に記載のように、
判定対象者の眼を撮像する撮像手段と、
前記撮像手段で撮像された画像に基づいて、判定対象者の視線が動くときに生じる急激な眼球運動となるサッカードの振幅あたりの移動速度および持続時間を検出するサッカード状態検出手段と、
前記サッカード状態検出手段により検出される前記移動速度および前記持続時間との両方に基づいて、判定対象者が視認方向を見ているときにおける意識のわき見であるか否かを判定するわき見判定手段と、
を備えているようにしてある。上記解決手法によれば、前述した移動速度および持続時間の両方に基づいて意識のわき見であるか否かの判定を行うでの、意識のわき見の判定をより精度よく行う上で好ましいものとなる。

【0015】

【0016】

【発明の効果】

【0017】

本発明によれば、簡便な手法により、意識のわき見であるか否かを判定することができる。

【図面の簡単な説明】

【0018】

【図1】サッカードの振幅と移動速度を示す角速度との関係を、正常に前方を視認している状態で得た試験結果を示す図。

【図2】サッカードの振幅と移動速度を示す角速度との関係を、意識のわき見をしている状態で得た試験結果を示す図。

【図3】図１、図２の試験結果からそれぞれ求められた近似直線の傾きを比較して示す図。

【図4】サッカードの振幅と持続時間との関係を、正常に前方を視認している状態と意識のわき見をしているときの状態で得た試験結果を示す図。

【図5】図４の試験結果から得られる２つの近似直線の傾きを比較して示す図。

【図6】本発明の制御系統例を示す図。

【図7】本発明の制御例を示すフローチャート。

【発明を実施するための形態】

【0019】

以下、本発明の実施形態について説明するが、実施形態では、意識のわき見の判定が行われる判定対象者が、車両の運転者の場合としてある。

【0020】

まず、図１〜図３に基づいて、サッカードにおける振幅と移動速度との関係について行った試験およびその結果について説明する。試験は、アイカメラを装備した運転者（テストドライバ）が、テストコースを複数回（５回）繰り返し運転することにより行った。この試験は、運転中に考えごとをさせるための課題を設定した課題有りのとき（つまり意識のわき見の状態で運転している状態に対応）と、課題無しのとき（つまり意識のわき見をしていない正常に前方状況を視認している状態に対応）との２種類について行った。

【0021】

上記課題無しのときの試験結果が図１に示される。また、課題有りのときの試験結果が図２に示される。図１、図２において、横軸は、サッカードの振幅を示し、縦軸は移動速度としての角速度を示す。振幅は、眼球の微細な運動の角度範囲（視線変更の角度範囲）となる。進行方向を注視（見ている）という前提から、振幅の範囲は５deg以内での結果を示している。そして、図１、図２では、振幅に対する角速度の値を示す平均値と最大値とのそれぞれについて得られた近似直線を合わせて示してある。

【0022】

図３は、図１、図２に示す近似直線の傾き（平均値）について、課題無しの場合と課題有りの場合とを比較して示してある。また、図３では、最小値と最大値との範囲をも合わせて示してある。

【0023】

図３から理解されるように、課題有りの場合（つまり意識のわき見の場合）は、課題無しの場合（つまり正常な場合）に比して、近似直線の傾きが小さくなる、ということが理解される。つまり、課題無し（正常状態）での近似直線の傾きを基準傾きとしてあらかじめデータベースに記憶（保存）しておき、このデータベースに記憶されている基準傾きに対して所定以上近似直線の傾きが小さくなったときに、意識のわき見であると判定することができる。

【0024】

上述した近似直線の傾きの所定分の低下によって意識のわき見を判定することに代えて、角速度（移動速度）そのものが所定分低下したときに意識のわき見であると判定することもできる。また、最小値と最大値との幅範囲（偏差）、あるいは平均値と最小値（あるいは最大値）との幅範囲（偏差）が、課題有りのときは課題無しのときに比して大きくなることから、この幅範囲（偏差）が所定分増大したときに意識のわき見であると判定することもできる。

【0025】

図４は、サッカードにおける振幅とその持続時間（ある振幅の大きさのときにとどまっている時間）との関係を試験結果であり、図１、図２に対応している（図４は、課題有りのときと課題無しのときとをまとめて示してある）。図３では、課題有りのときと課題なしのときの近似直線も合わせて示してある。

【0026】

図４は、図３で示す近似直線の傾きを、課題有りのときと課題無しのときとを比較して示すものである。図４から理解されるように、課題有りのとき（意識のわき見のとき）は、課題無しのとき（正常のとき）に比して、近似直線の傾きが大きくなる。つまり、持続時間に関して、課題無し（正常状態）での近似直線の傾きを基準傾きとしてあらかじめデータベースに記憶、保存しておき、このデータベースに記憶されている基準傾きに対して所定以上近似直線の傾きが大きくなったときに、意識のわき見であると判定することができる。

【0027】

持続時間に関して、上述した近似直線の傾きの所定分の増大によって意識のわき見を判定することに代えて、持続時間そのものが所定分増大したときに意識のわき見であると判定することもできる。また、最小値と最大値との幅範囲（偏差）、あるいは平均値と最小値（あるいは最大値）との幅範囲（偏差）が、課題有りのときは課題無しのときに比して大きくなることから、この幅範囲（偏差）が所定分増大したときに意識のわき見であると判定することもできる。

【0028】

図６は、前述した試験結果からの知見に基づいて、市販用の車両において意識のわき見を判定できるようにする場合の制御系統例が示される。図中、Ｕは、マイクロコンピュータを利用して構成されたコントローラ（制御ユニット）である。この制御ユニットＵは、前述した近似直線の基準傾きが、データベースＤに記憶（保存）されている。データベースＤに記憶されている基準傾きは、実施形態では、サッカードの振幅あたりの移動速度（角速度）に関する近似直線についてのものとなっている。

【0029】

なお、上記基準傾きは、運転者毎に学習によって得るようにしてもよく（例えば正常運転していると想定されるときに得られる複数の近似直線の傾きを平均化した値）、あるいはベテランドライバによって得られ近似直線の傾きに基づいて設定されたものとすることもできる。

【0030】

コントローラＵには、種々のセンサあるいは機器類１〜４からの信号が入力される。すなわち、１は、アイカメラ（車内カメラ）であり、実施形態ではステレオ式のデジタルカメラによって構成されて、運転者の両目を撮像して、取得された画像に基づいて、サッカードの状態が取得される。２は、車両前方の状況を撮像する車外カメラである。３は、ナビゲーション装置であり、車両の現在位置を取得するＧＰＳを含む他、地図情報を記憶しており、地図情報の他各種情報を表示するディスプレイを備えている。４は、車両前方の障害物までの距離を検出するレーダである。

【0031】

コントローラＵは、報知手段（警報手段）としてのスピーカ１１、ディスプレイ１２を制御する。なお、でＰ１２は、ナビゲーション装置用のものを兼用することもできる。

【0032】

次に、コントローラＵによる制御例について、図７のフローチャートを参照しつつ説明する。なお、以下の説明でＱはステップを示す。まず、アイカメラ１によって、ドライバの視線行動が検出される。この後、Ｑ２において、アイカメラ１によって得られた画像から、サッカードの振幅とそのときの移動速度とが演算される。この後Ｑ３において、振幅と移動速度との関係を示す近似直線の傾きが演算される。

【0033】

Ｑ４では、Ｑ３で得られた近似直線の傾きが、データベースＤに記憶されている基準傾きと比較される。Ｑ５では、Ｑ４での比較の結果に基づいて、意識のわき見であるか否かが判定される。この後Ｑ６において、Ｑ５の判定結果が、意識のわき見であるか否かが判別される。このＱ６の判別でＮＯのときは、Ｑ１に戻る。

【0034】

上記Ｑ６の判別でＹＥＳのときは、Ｑ７において、運転者に対する注意喚起方法が決定される。この後、Ｑ８において、Ｑ７で決定された注意喚起方法でもって、運転者に対する注意喚起が行われる。Ｑ７、Ｑ８の処理は、意識のわき見であると判定されている状態で、例えば車両の状況に応じて注意すべき内容を変更するための処理となる。例えば、車外カメラ２やレーダ４によって、前方に危険と思われる障害物が存在しないきは、例えば、ディスプレイ１２に「前方への注意がおろそかになっています。前方状況をよく見るようにしましょう」というような軽度の注意喚起が行われる。逆に、前方に危険と思われる障害物が存在したり、ナビゲーション装置３によって前方に急カーブが存在するようなときは、例えばスピーカ１１によって「前方に注意して下さい」という音声による注意を行うことによる重度の注意喚起が行われる。

【0035】

以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能である。判定対象者としては、車両の運転者に限らず、船舶や航空機の操縦者、クレーン等のオペレータ等々、意識のわき見が問題となるような者であれば、適宜のものを判定対象者とすることができる。サッカードの振幅あたりの移動速度に代えて、持続時間に基づいて意識のわき見の判定を行うようにしてもよい。また、上記移動速度に基づいて意識のわき見であると判定（仮判定）され、かつ持続時間に基づいて位意識のわき見であると判定（仮判定）されたときに、最終的に意識のわき見であると判定することができる（より精度のよい判定）。また、上記移動速度に基づいて意識のわき見であると判定されるか、あるいは持続時間に基づいて位意識のわき見であると判定されるかいずれか一方の条件を満たしたときに、最終的に意識のわき見であると判定することもできる（応答性のよい判定）。視線方向が進行方向とは所定以上大きくずれた一般的なわき見についても合わせて判定することもでき（サッカードの振幅が所定値以上であるときに一般的なわき見と判定するようにしてもよい）、この場合、運転者に対するわき見の注意喚起（警報）の内容を、一般的なわき見と意識のわき見とで区別して行うこともできる。７に示すステップ（あるいはステップ群）は、コントローラＵの有する機能（あるいは手段）として表現することができる。勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。

【産業上の利用可能性】

【0036】

本発明は、意識のわき見であることを簡便に判定して、安全運転向上の上で好ましいものとなる。

【符号の説明】

【0037】

Ｕ：コントローラ
Ｄ：データベース
１：アイカメラ
２：車外カメラ
３：ナビゲーション装置
４：レーダ
１１：スピーカ
１２：ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】