特許 7593214 眠気判定装置及び眠気判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】眠気判定装置及び眠気判定方法

(51)【国際特許分類】

   A61B 5/16 20060101AFI20241126BHJP

   A61B 5/18 20060101ALI20241126BHJP

   A61B 3/113 20060101ALI20241126BHJP

   G08G 1/16 20060101ALI20241126BHJP

   B60K 28/06 20060101ALI20241126BHJP

【ＦＩ】

A61B5/16 130

A61B5/18

A61B3/113

G08G1/16 F

B60K28/06 A

【請求項の数】 4

(21)【出願番号】P 2021072396

(22)【出願日】2021-04-22

(65)【公開番号】P2022166944

(43)【公開日】2022-11-04

【審査請求日】2024-01-17

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】内山 祐司

【審査官】▲高▼ 芳徳

(56)【参考文献】

【文献】特開２０１１－０１５９１３（ＪＰ，Ａ）

【文献】特開２０１０－１２８６６９（ＪＰ，Ａ）

【文献】特開２０１９－１６２２５１（ＪＰ，Ａ）

【文献】特開２０２０－０１３５５４（ＪＰ，Ａ）

【文献】特開２０１９－１９５３７７（ＪＰ，Ａ）

【文献】特開２０１４－０１６７０２（ＪＰ，Ａ）

【文献】特開２０１３－１０５２６３（ＪＰ，Ａ）

【文献】特表２０１２－５２４６３６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０６ － ５／２２

Ａ６１Ｂ ３／００ － ３／１８

Ｇ０８Ｇ １／００ － ９９／００

Ｂ６０Ｋ ２８／００ － ２８／１６

(57)【特許請求の範囲】

【請求項1】

被験者の眼球運動に基づいて前記被験者が眠気を有するかを判定する眠気判定装置であって、
前記被験者の眼球運動を計測する眼球運動計測部と、
前記眼球運動計測部によって計測された前記眼球運動に基づいて前記被験者が眠気を有するかを判定する眠気判定部と、
を備え、
前記眠気判定部は、前記眼球運動を上下回転成分と左右回転成分とに分解し、左右回転成分の角速度の絶対値が所定範囲以内であって、かつ、左右回転成分の右回転又は左回転における移動角度が所定角度以上であって、かつ、上下回転成分の移動角度の変動幅が所定幅以内であるという、第１の条件を満足する場合には、前記被験者が眠気を有すると判定する、
眠気判定装置。

【請求項2】

請求項１に記載の眠気判定装置であって、
前記被験者は、車両の運転者であって、
前記車両の速度を検出する車速度検出部と、
前記車両の操舵角度を検出する操舵角度検出部と、
をさらに備え、
前記眠気判定部は、前記第１の条件に加え、前記車両の速度が所定速度以上であって、かつ、前記車両の操舵方向の左右の向きと前記眼球運動の左右回転成分の左右の向きとが異なる場合以外であるという、第２の条件を満足する場合には、前記運転者が眠気を有すると判定する、
眠気判定装置。

【請求項3】

請求項２に記載の眠気判定装置であって、
前記運転者の頭部の回転運動を検出する頭部回転運動検出部をさらに備え、
前記眠気判定部は、前記第１の条件および前記第２の条件に加え、前記頭部の回転の左右方向成分の左右の向きと前記眼球運動の左右方向成分の左右の向きとが異なる場合以外であるという、第３の条件を満足する場合には、前記運転者が眠気を有すると判定する、
眠気判定装置。

【請求項4】

被験者の眼球運動に基づいて前記被験者が眠気を有するかを判定する眠気判定方法であって、
前記眼球運動を上下回転成分と左右回転成分とに分解し、
前記左右回転成分の角速度の絶対値が所定範囲以内であって、かつ、左右回転成分の右回転又は左回転における移動角度が所定角度以上であって、かつ、上下回転成分の移動角度の変動幅が所定幅以内である場合には、前記被験者が眠気を有すると判定する、
眠気判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被験者の眼球運動に基づいて被験者が眠気を有すると判定する装置及び方法に関する。

【背景技術】

【0002】

眠気判定装置は、被験者の眼球運動を計測して被験者が眠気を有するかを判定する装置である。例えば、特許文献１には、被験者の眼球運動に基づいて緩徐眼球運動（以下、ＳＥＭ（Ｓｌｏｗ Ｅｙｅ Ｍｏｖｅｍｅｎｔ））を検出した場合には、被験者が眠気を有すると判定する眠気判定装置が開示されている。ＳＥＭとは、被験者が眠気を有する時に発生する左右回転方向の眼球運動であって、低速かつ振幅の大きい眼球運動である。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－０１５９１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、例えば車両の運転中には、ＳＥＭと類似した低速の眼球運動として追従眼球運動（視線を向けている対象物へ追従する眼球運動）が発生するため、ＳＥＭと追従眼球運動とを区別する必要がある。追従眼球運動を検出するには、視線の先の物体の動きと眼球運動とが同期しているかを判定する必要がある。

【0005】

上述した視線の先の物体の動きと眼球運動とが同期しているかを判定するには、車外の走行環境の３次元形状データを計測し、視線方向との交点を求め、視線と交点位置の物体の動きが同じかを判定する必要がある。走行環境の３次元形状データを計測するには、レーザーレーダー、ステレオカメラ等の複雑な装置が必要である。

【0006】

そこで、本発明は、簡易な構成でＳＥＭから追従眼球運動を除外することによって被験者が眠気を有すると判定する精度を向上させることができる眠気判定装置及び眠気判定方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る眠気判定装置は、被験者の眼球運動に基づいて被験者が眠気を有するかを判定する眠気判定装置であって、被験者の眼球運動を計測する眼球運動計測部と、眼球運動計測部によって計測された眼球運動に基づいて被験者が眠気を有するかを判定する眠気判定部と、を備え、眠気判定部は、眼球運動を上下回転成分と左右回転成分とに分解し、左右回転成分の角速度の絶対値が所定範囲以内であって、かつ、左右回転成分の右回転又は左回転における移動角度が所定角度以上であって、かつ、上下回転成分の移動角度の変動幅が所定幅以内である場合には、被験者が眠気を有すると判定することを特徴とする。

【0008】

本発明に係る眠気判定装置において、被験者は、車両の運転者であって、眠気判定部は、上記条件に加え、車両の速度が所定速度以上であって、かつ、車両の操舵方向の左右の向きと眼球運動の左右回転成分の左右の向きとが異なる場合以外は、運転者が眠気を有すると判定することが好ましい。

【0009】

本発明に係る眠気判定装置において、運転者の頭部の回転を検出する頭部回転運動検出部を備え、眠気判定部は、上記条件に加え、頭部の回転の左右方向成分の左右の向きと眼球運動の左右方向成分の左右の向きとが異なる場合以外は、運転者が眠気を有すると判定することが好ましい。

【0010】

本発明に係る眠気判定方法は、被験者の眼球運動に基づいて被験者が眠気を有するかを判定する眠気判定方法であって、眼球運動を上下回転成分と左右回転成分とに分解し、左右回転成分の角速度の絶対値が所定範囲以内であって、かつ、左右回転成分の移動角度が所定角度以上であって、かつ、上下回転成分の移動角度の変動幅が所定幅以内である場合には、被験者が眠気を有すると判定することを特徴とする。

【発明の効果】

【0011】

本発明の眠気判定装置及び眠気判定方法によれば、簡易な構成でＳＥＭから追従眼球運動を除外することによって被験者が眠気を有すると判定する精度を向上させることができる。

【図面の簡単な説明】

【0012】

【図1】実施形態の一例である眠気判定装置を示す模式図である。

【図2】実施形態の一例である眠気判定装置の構成を示すブロック図である。

【図3】実施形態の一例である眠気判定制御の流れを示すフローチャートである。

【図4】実施形態の他の一例である眠気判定装置の構成を示すブロック図である。

【図5】実施形態の他の一例である眠気判定制御の流れを示すフローチャートである。

【図6】実施形態の他の一例である眠気判定装置の構成を示すブロック図である。

【図7】実施形態の他の一例である眠気判定制御の流れを示すフローチャートである。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態の一例について詳細に説明する。以下の説明において、具体的な形状、材料、方向、数値等は、本発明の理解を容易にするための例示であって、用途、目的、仕様等に合わせて適宜変更することができる。

【0014】

図１及び図２を用いて、実施形態の一例である眠気判定装置１０について説明する。図１は、眠気判定装置１０を示す模式図である。図２は、眠気判定装置１０の構成を示すブロック図である。

【0015】

眠気判定装置１０は、被験者としての車両を運転する運転者Ｄの眼球運動に基づいて運転者Ｄが眠気を有するかを判定する。眠気判定装置１０によれば、詳細は後述するが、簡易な構成で緩徐眼球運動（以下、ＳＥＭ（Ｓｌｏｗ Ｅｙｅ Ｍｏｖｅｍｅｎｔ））から追従眼球運動を除外することによって運転者Ｄが眠気を有すると判定する精度を向上させることができる。

【0016】

眠気判定装置１０は、車両に設けられている。眠気判定装置１０は、運転者Ｄの眼球運動を計測する眼球運動計測部としての視線計測カメラ１１と、視線計測カメラ１１によって計測された眼球運動に基づいて運転者Ｄが眠気を有するかを判定する眠気判定部２０と、眠気判定部２０によって運転者Ｄが眠気を有すると判定された場合には運転者Ｄに警告するスピーカ１２とを備える。

【0017】

視線計測カメラ１１は、車両の運転席に設けられ、運転者Ｄの眼球運動を検出して、眠気判定部２０に送信する。眼球運動計測部は、視線計測カメラ１１に限定されず、眼電位センサが設けられた眼鏡であってもよい。

【0018】

眠気判定部２０は、視線計測カメラ１１によって計測された眼球運動に基づいて、運転者Ｄの顔に対して運転者Ｄの視線を計測し、運転者Ｄが眠気を有するかを判定する。眠気判定部２０について詳細は後述する。

【0019】

スピーカ１２は、車両の運転席に設けられ、眠気判定部２０によって運転者Ｄが眠気を有すると判定された場合に、警告音を発信して運転者Ｄに居眠り運転であることを警告する。警告音は、ブザー音であってもよく、音声メッセージであってもよい。

【0020】

眠気判定部２０は、演算処理部であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶部を有し、ＲＡＭの一時記憶機能を利用しつつＲＯＭに予め記憶されたプログラムに従って信号処理を行う。

【0021】

眠気判定部２０は、運転者Ｄの顔に対する眼球運動について上下回転成分と左右回転成分とに分解する眼球運動取得部２１と、ＳＥＭを行っている区間を取得するＳＥＭ区間取得部２２と、ＳＥＭのうちで追従眼球運動を除外する追従眼球運動除外部２３とを有する。

【0022】

眼球運動取得部２１は、運転者Ｄの顔に対する眼球運動について上下回転成分と左右回転成分とに分解し、上下回転成分及び左右回転成分における移動角度及び角速度を取得する。なお、上下回転成分とは、左右軸周りの眼球の回転運動であって、左右回転成分とは、上下軸（鉛直軸）周りの眼球の回転運動である。

【0023】

ＳＥＭ区間取得部２２は、上述したようにＳＥＭを行っている区間を取得する。ＳＥＭとは、運転者Ｄが眠気を有する時に発生する左右回転方向の眼球運動であって、低速かつ振幅の大きい眼球運動である。

【0024】

具体的には、ＳＥＭ区間取得部２２は、左右回転成分の角速度の絶対値が所定範囲以内であって、かつ、左右回転成分のうちの一方の回転成分の向き（左回転又は右回転の向き）の移動角度が所定角度以上である区間をＳＥＭ区間として取得する。

【0025】

追従眼球運動除外部２３は、上述したようにＳＥＭのうちで追従眼球運動を除外する。追従眼球運動とは、視線を向けている対象物へ追従する眼球運動である。追従眼球運動除外部２３によれば、簡易な構成でＳＥＭから追従眼球運動を除外することによって運転者Ｄが眠気を有すると判定する精度を向上させることができる。

【0026】

具体的には、追従眼球運動除外部２３は、ＳＥＭ区間取得部２２によって取得されたＳＥＭ区間において、上下回転成分の移動角度の変動幅が所定幅より大きい場合は、追従眼球運動であるとしてＳＥＭから除外する。換言すれば、追従眼球運動除外部２３は、ＳＥＭ区間において、上下回転成分の移動角度の変動幅が所定幅以内である場合がＳＥＭであるとする。なお、移動角度の変動幅とは、換言すれば移動角度の最大振幅である。

【0027】

図３を用いて、眠気判定部２０による眠気判定制御の流れについて説明する。

【0028】

ステップＳ１１において、視線計測カメラ１１によって運転者Ｄの眼球運動を計測し、眼球運動取得部２１によって、運転者Ｄの顔に対する眼球運動について上下回転成分と左右回転成分とに分解し、上下回転成分と左右回転成分とにおける移動角度及び角速度を取得する。

【0029】

ステップＳ１２において、ＳＥＭ区間取得部２２によって、左右回転成分の角速度の絶対値が所定範囲以内であるかを判定する。所定範囲以内であれば、ステップＳ１３に移行する。ステップＳ１３において、ＳＥＭ区間取得部２２によって、現在から遡って左右回転成分のうちの一方の回転成分の向き（左回転又は右回転の向き）における所定角速度以下の区間を抽出する。ステップＳ１４において、ＳＥＭ区間取得部２２によって、上記区間において、最初から最後まで移動角度が所定角度以上であるかを判定する。所定角度以上であれば、ステップＳ１５に移行する。ステップＳ１５において、上記区間をＳＥＭ区間として取得する。

【0030】

ステップＳ１６において、追従眼球運動除外部２３によって、ＳＥＭ区間において、上下回転成分の移動角度の変動幅が所定幅以内であるかを判定する。所定幅以内であれば、ステップＳ１７に移行する。

【0031】

ステップＳ１７において、運転者Ｄが眠気を有すると判定し、車載されたスピーカ１２によって警告音を発信して運転者Ｄに居眠り運転であることを警告する。

【0032】

図４を用いて、実施形態の他の一例である眠気判定装置３０について説明する。図４は、眠気判定装置３０の構成を示すブロック図である。

【0033】

以下では、上述した実施形態において説明した要素と同様の要素を示すものについては、上述した実施形態と同様の符号を記す。

【0034】

眠気判定装置３０は、上述した眠気判定装置１０に対し、車両の速度を検出する車速度検出部としての車速度センサ３３と、車両の操舵角度を検出する操舵角度検出部としてのステアリング角度センサ３４とを加えた構成である。

【0035】

眠気判定部４０は、上述した眠気判定部２０に対し、ＳＥＭから右左折時の眼球運動を除外する右左折時除外部４４を加えた構成である。

【0036】

右左折時除外部４４は、ＳＥＭ区間取得部２２によって取得されたＳＥＭ区間において、車速度センサ３３によって検出された車速度が所定速度以上である場合であって、ステアリング角度センサ３４によって検出されたステアリング角度の左右の向き（操舵方向）と眼球運動の左右方向成分の左右の向きとが逆の場合には、車両走行時の右左折時の眼球運動であるとしてＳＥＭから除外する。

【0037】

図５を用いて、眠気判定部４０による眠気判定制御の流れについて説明する。

【0038】

ステップＳ２１～ステップＳ２６までの流れは、上述したステップＳ１１～ステップＳ１６までの流れと同様であるため説明を省略する。

【0039】

ステップＳ２７において、右左折時除外部４４によって、ステップＳ２６において取得されたＳＥＭ区間において、車速度が所定速度以上であるかを確認する。また、車速度が所定速度未満であっても、ステップＳ２７に至るまでにステップＳ２１～ステップＳ２６までの条件が全て満たされていることからステップＳ２９に移行する。所定速度以上であれば、ステップＳ２８に移行する。ステップＳ２８において、右左折時除外部４４によって、ＳＥＭ区間において、ステアリング角度の左右の向きと眼球運動の左右方向成分の左右の向きとが異なる場合以外は、ステップＳ２９に移行する。

【0040】

ステップＳ２９において、運転者Ｄが眠気を有すると判定し、車載されたスピーカ１２によって警告音を発信して運転者Ｄに居眠り運転であることを警告する。

【0041】

図６を用いて、実施形態の他の一例である眠気判定装置５０について説明する。図５は、眠気判定装置５０の構成を示すブロック図である。

【0042】

眠気判定装置５０は、上述した眠気判定装置３０に対し、運転者Ｄの頭部の回転運動を検出する頭部回転運動検出部を加えた構成である。本例では、頭部回転運動検出部は、車両の運転席に設けられた視線計測カメラ１１であって、視線計測カメラ１１が眼球運動計測部と兼用する構成である。

【0043】

眠気判定部６０は、上述した眠気判定部４０に対し、ＳＥＭから頭部回転時の眼球運動を除外する頭部回転時除外部６５を加えた構成である。

【0044】

頭部回転時除外部６５は、視線計測カメラ１１によって検出される運転者Ｄの頭部の回転運動の左右方向成分の左右の向きと現在の眼球運動の左右方向成分の左右の向きとが逆の場合には、頭部回転時の眼球運動であるとしてＳＥＭから除外する。頭部回転時除外部６５は、運転者Ｄの頭部の回転運動の角速度が所定各速度以上の場合に上記判定を実行してもよい。

【0045】

図７を用いて、眠気判定部６０による眠気判定制御の流れについて説明する。

【0046】

ステップＳ３１～ステップＳ３８までの流れは、上述したステップＳ２１～ステップＳ２８までの流れと同様であるため説明を省略する。なお、ステップＳ３６において、車速度が所定速度未満であっても、ステップＳ３７に至るまでにステップＳ３１～ステップＳ３６までの条件が全て満たされているためステップＳ３９に移行する。

【0047】

ステップＳ３９において、頭部回転時除外部６５によって、ＳＥＭ区間において、頭部の回転運動の左右の向きと現在の眼球運動の左右方向成分の左右の向きとが異なる場合以外は、ステップＳ４０に移行する。

【0048】

ステップＳ４０において、運転者Ｄが眠気を有すると判定し、車載されたスピーカ１２によって警告音を発信して運転者Ｄに居眠り運転であることを警告する。

【0049】

なお、本発明は上述した実施形態およびその変形例に限定されるものではなく、本願の特許請求の範囲に記載された事項の範囲内において種々の変更や改良が可能であることは勿論である。

【符号の説明】

【0050】

１０ 眠気判定装置、１１ 視線計測カメラ（眼球運動計測部）、１２ スピーカ、２０ 眠気判定部、２１ 眼球運動取得部、２２ ＳＥＭ区間取得部、２３ 追従眼球運動除外部、３０ 眠気判定装置、３３ 車速度センサ（車速度検出部）、３４ ステアリング角度センサ（操舵角度検出部）、４０ 眠気判定部、４４ 右左折時除外部、５０ 眠気判定装置、６０ 眠気判定部、６５ 頭部回転時除外部、Ｄ 運転者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】