(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-04-26
(54)【発明の名称】運転者の認知状態の検出
(51)【国際特許分類】
G08G 1/16 20060101AFI20220419BHJP
【ＦＩ】
G08G1/16 F
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021543307
(86)(22)【出願日】2020-01-22
(85)【翻訳文提出日】2021-09-17
(86)【国際出願番号】 IL2020050084
(87)【国際公開番号】W WO2020152678
(87)【国際公開日】2020-07-30
(31)【優先権主張番号】62/795,039
(32)【優先日】2019-01-22
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】521325536
【氏名又は名称】アダム コグテック リミテッド
【氏名又は名称原語表記】ＡＤＡＭ ＣＯＧＴＥＣＨ ＬＴＤ．
(74)【代理人】
【識別番号】110001302
【氏名又は名称】特許業務法人北青山インターナショナル
(72)【発明者】
【氏名】アルフ，エレズ
(72)【発明者】
【氏名】トロヤンスキー，リドロア
【テーマコード（参考）】
5H181
【Ｆターム（参考）】
5H181AA01
5H181BB13
5H181BB20
5H181CC02
5H181CC04
5H181CC11
5H181FF04
5H181FF10
5H181FF27
5H181FF33
5H181LL07
5H181LL08
5H181LL09
5H181LL20
(57)【要約】
運転に関連する認知能力を検出および監視するための方法、システム、装置およびコンピュータプログラム製品である。本方法は、車両を運転している間に運転者に一連の刺激を与えるステップを含む。一連の刺激は、パターンに一致する第１の部分と、パターンから逸脱する第２の部分とを含み、運転者の目から眼球反応を誘発するように構成されている。本方法は、一連の刺激を与えている間にキャプチャされた、運転者の目の画像のセットを取得するステップをさらに含む。本方法は、画像のセットを分析して、各画像に対応する眼の特徴のセットを決定するステップと、それに基づいて、運転者の認知状態を判定するステップとをさらに含む。運転者の認知状態に基づいて、運転者が車両を安全に運転することができるか否かの判定を行うことができる。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
運転者に一連の刺激を与えるステップであって、前記刺激を与えるのが、運転者が車両を運転している間に実行され、前記一連の刺激が、パターンに一致する第１の部分と、前記パターンから逸脱する第２の部分とを含み、前記一連の刺激が、運転者の目から眼球反応を引き起こすように構成されている、ステップと、運転者の目の画像のセットを取得するステップであって、前記画像のセットが、前記一連の刺激を与えている間にキャプチャされる、ステップと、
前記画像のセットを分析して、各画像に対応する眼の特徴のセットを決定するステップと、
前記画像のセットの眼の特徴のセットに基づいて、運転者の認知状態を判定するステップとを備えることを特徴とする方法。
【請求項2】
請求項１に記載の方法において、前記運転者の認知状態に基づいて、運転者が車両を安全に操作することができるか否かを判定するステップをさらに含むことを特徴とする方法。
【請求項3】
請求項１に記載の方法において、前記運転者の認知状態が最小閾値を上回るか否かを判定するステップと、
前記認知状態が最小閾値を下回ると判定されることに応答して、応答動作を実行するステップとをさらに含むことを特徴とする方法。
【請求項4】
請求項１に記載の方法において、前記眼の特徴のセットが、
少なくとも一方の目のサッケード、
少なくとも一方の目の瞳孔のサイズ、
少なくとも一方の目の拡張反応、
少なくとも一方の目の収縮反応、
目の間の対称性の測定、
目の近傍の顔の表情、
眉の動き
のうちの少なくとも一つを含むことを特徴とする方法。
【請求項5】
請求項１に記載の方法において、前記認知状態の判定が、前記画像のセットの眼の特徴のセットの１または複数の統計的測定値に基づいて実行されることを特徴とする方法。
【請求項6】
請求項１に記載の方法において、前記一連の刺激が、運転者の特性に基づいて決定され、前記認知状態の判定が、前記特性に基づいてさらに実行されることを特徴とする方法。
【請求項7】
請求項１に記載の方法において、前記認知状態の判定が、分類器を用いて行われ、前記分類器が、運転者を監視することにより得られた測定値のセットに関して訓練されることを特徴とする方法。
【請求項8】
請求項１に記載の方法において、前記認知状態の判定が、分類器を用いて実行され、前記分類器が、運転者に対する閾値を下回る類似性測定値を有する１または複数の異なる運転者を監視することにより得られた測定値のセットに関して訓練され、前記分類器が、運転者の監視データなしで訓練されることを特徴とする方法。
【請求項9】
請求項１に記載の方法において、前記パターンから逸脱する第２の部分が、刺激のタイミング、刺激の空間的位置、刺激の大きさ、および刺激のタイプのうちの少なくとも一つにおいて、前記パターンから逸脱することを特徴とする方法。
【請求項10】
請求項１に記載の方法において、前記一連の刺激が、前記第１の部分からの複数の刺激と、その後の前記パターンから逸脱する前記第２の部分からのオッドボール刺激とを含み、前記第１の部分からの複数の刺激が、前記パターンに一致する刺激のシーケンスであり、前記パターンが、少なくとも時間的なパターンを含むことを特徴とする方法。
【請求項11】
請求項１に記載の方法において、前記一連の刺激が、視覚的刺激、聴覚的刺激および触覚的刺激のうちの少なくとも一つを含むことを特徴とする方法。
【請求項12】
請求項１に記載の方法において、前記画像のセットが、車両内に配置されかつ運転者を向く１または複数のセンサから取得されることを特徴とする方法。
【請求項13】
請求項１に記載の方法において、前記認知状態の判定が、運転者の運転データに基づいてさらに実行され、前記運転データが、車両のコンピューティングデバイスから取得されることを特徴とする方法。
【請求項14】
請求項１に記載の方法において、前記画像のセットが、車両の運転者監視システム（ＤＭＳ）から取得されることを特徴とする方法。
【請求項15】
請求項１に記載の方法において、前記運転者の認知状態が安全運転要件に適合していないと判定することに応答して、車両のコントローラシステムに警告するステップをさらに含むことを特徴とする方法。
【請求項16】
請求項１５に記載の方法において、前記コントローラシステムが、前記警告に応答して、制限動作を実行するように構成され、前記制限動作が、
車両の自動運転を起動すること、
車両の速度を制限すること、
車両に安全停止を指示すること、
第三者に警告を発すること、
運転者に警告を発すること
のうちの少なくとも一つを含むことを特徴とする方法。
【請求項17】
請求項１に記載の方法において、前記刺激を与えることが、
一連の刺激を決定すること、および、
車両に配置されかつ運転者を向く出力デバイスを用いて、一連の刺激の各刺激を提供すること、を含むことを特徴とする方法。
【請求項18】
運転者の目の画像のセットを取得するステップであって、前記画像のセットが、運転者が一連の刺激に曝されている間、かつ運転者が車両を運転している間にキャプチャされ、前記一連の刺激が、パターンに一致する第１の部分と、前記パターンから逸脱する第２の部分とを含み、前記一連の刺激が目から眼球反応を引き起こすように構成され、前記一連の刺激が、少なくとも部分的に、運転者の観察シーンにおいて自然に発生している、ステップと、前記画像のセットを分析して、各画像に対応する眼の特徴のセットを決定するステップと、
前記画像のセットの眼の特徴のセットに基づいて、運転者の認知状態を判定するステップとを含むことを特徴とする方法。
【請求項19】
請求項１８に記載の方法において、視覚センサを利用して、運転者の観察シーンをキャプチャするステップと、前記観察シーンを分析して、前記一連の刺激のうち自然に発生する部分を特定するステップとをさらに含むことを特徴とする方法。
【請求項20】
請求項１８に記載の方法において、前記一連の刺激が部分的に自然に発生しており、当該方法が、前記観察シーンの拡張ビューを提供して、運転者に前記一連の刺激を見せるステップをさらに含むことを特徴とする方法。
【請求項21】
請求項１８に記載の方法において、前記一連の刺激の第１の部分が、運転者の観察シーンにおける既存の視覚的刺激を含み、前記パターンが、前記既存の視覚的刺激における要素に基づいて決定され、前記一連の刺激の第２の部分が、前記既存の視覚的刺激における前記パターンから逸脱するように、拡張現実を用いて動的に生成され、それにより、運転者の視界への介入を最小限に抑えることを特徴とする方法。
【請求項22】
プロセッサを有するコンピュータ化された装置であって、前記プロセッサは、
運転者に一連の刺激を与えるステップであって、前記刺激を与えるのが、運転者が車両を運転している間に実行され、前記一連の刺激が、パターンに一致する第１の部分と、前記パターンから逸脱する第２の部分とを含み、前記一連の刺激が、運転者の目から眼球反応を引き起こすように構成されている、ステップと、
運転者の目の画像のセットを取得するステップであって、前記画像のセットが、前記一連の刺激を与えている間にキャプチャされる、ステップと、
前記画像のセットを分析して、各画像に対応する眼の特徴のセットを決定するステップと、
前記画像のセットの眼の特徴のセットに基づいて、運転者の認知状態を判定するステップと
を実行するように適合されていることを特徴とするコンピュータ化された装置。
【請求項23】
プログラム命令を保持する非一時的なコンピュータ可読記憶媒体を含むコンピュータプログラム製品であって、前記プログラム命令が、前記プロセッサによって読み取られると、前記プロセッサに、
運転者に一連の刺激を与えるステップであって、前記刺激を与えるのが、運転者が車両を運転している間に実行され、前記一連の刺激が、パターンに一致する第１の部分と、前記パターンから逸脱する第２の部分とを含み、前記一連の刺激が、運転者の目から眼球反応を引き起こすように構成されている、ステップと、
運転者の目の画像のセットを取得するステップであって、前記画像のセットが、前記一連の刺激を与えている間にキャプチャされる、ステップと、
前記画像のセットを分析して、各画像に対応する眼の特徴のセットを決定するステップと、
前記画像のセットの眼の特徴のセットに基づいて、運転者の認知状態を判定するステップと
を含む方法を実行させることを特徴とするコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して認知状態の検出に関し、特に、運転に関わる認知能力の監視に関するものである。
【0002】
関連出願の相互参照
本出願は、２０１９年１月２２日に出願された米国仮出願第６２／７９５，０３９号の利益を主張するものであり、その内容は、否認を生じさせることなく、その全体が引用により本明細書に援用されるものとする。
本出願は、２０１９年１月２２日に出願された米国仮出願第６２／７９５，０３９号の利益を主張するものであり、その内容は、否認を生じさせることなく、その全体が引用により本明細書に援用されるものとする。
【背景技術】
【0003】
現代社会では、自動車事故が罹患率や死亡率のかなりの部分を占めている。
【0004】
このような交通事故の主な原因は、人的要因である。多くの場合、運転者が効果的な運転に必要な能力を有していないという事実から、多くの交通事故が発生している。人的要因の中には、眠気、疲労、アルコール中毒、薬物の影響、急性の心理的ストレス、精神的苦痛、一時的な注意散漫など、運転能力を低下させる認知状態に関連するものがある。このような認知状態は、運転者が道路上の危険を克服する能力を低下させる可能性がある。
【発明の概要】
【0005】
開示の主題の例示的な一実施形態は、運転者に一連の刺激を与えるステップであって、刺激を与えるのが、運転者が車両を運転している間に実行され、一連の刺激が、パターンに一致する第１の部分と、パターンから逸脱する第２の部分とを含み、一連の刺激が、運転者の目から眼球反応を引き起こすように構成されている、ステップと、運転者の目の画像のセットを取得するステップであって、画像のセットが、一連の刺激を与えている間にキャプチャされる、ステップと、画像のセットを分析して、各画像に対応する眼の特徴のセットを決定するステップと、画像のセットの眼の特徴のセットに基づいて、運転者の認知状態を判定するステップとを備える方法である。
【0006】
任意選択的には、本方法が、運転者の認知状態に基づいて、運転者が車両を安全に操作することができるか否かを判定するステップをさらに含む。
【0007】
任意選択的には、本方法が、運転者の認知状態が最小閾値を上回るか否かを判定するステップと、認知状態が最小閾値を下回ると判定されることに応答して、応答動作を実行するステップとをさらに含む。
【0008】
任意選択的には、眼の特徴のセットが、少なくとも一方の目のサッケード、少なくとも一方の目の瞳孔のサイズ、少なくとも一方の目の拡張反応、少なくとも一方の目の収縮反応、目の間の対称性の測定、目の近傍の顔の表情、眉の動きのうちの少なくとも一つを含む。
【0009】
任意選択的には、認知状態の判定が、画像のセットの眼の特徴のセットの１または複数の統計的測定値に基づいて実行される。
【0010】
任意選択的には、一連の刺激が、運転者の特性に基づいて決定され、認知状態の判定が、その特性に基づいてさらに実行される。
【0011】
任意選択的には、認知状態の判定が、分類器を用いて行われ、この分類器が、運転者を監視することにより得られた測定値のセットに関して訓練される。
【0012】
任意選択的には、認知状態の判定が、分類器を用いて実行され、この分類器が、運転者に対する閾値を下回る類似性測定値を有する１または複数の異なる運転者を監視することにより得られた測定値のセットに関して訓練され、分類器が、運転者の監視データなしで訓練される。
【0013】
任意選択的には、パターンから逸脱する第２の部分が、刺激のタイミング、刺激の空間的位置、刺激の大きさ、および刺激のタイプのうちの少なくとも一つにおいて、パターンから逸脱する。
【0014】
任意選択的には、一連の刺激が、第１の部分からの複数の刺激と、その後のパターンから逸脱する第２の部分からのオッドボール（oddball）刺激とを含み、第１の部分からの複数の刺激が、パターンに一致する刺激のシーケンスであり、パターンが、少なくとも時間的なパターンを含む。
【0015】
任意選択的には、一連の刺激が、視覚的刺激、聴覚的刺激および触覚的刺激のうちの少なくとも一つを含む。
【0016】
任意選択的には、画像のセットが、車両内に配置されかつ運転者を向く１または複数のセンサから取得される。
【0017】
任意選択的には、認知状態の判定が、運転者の運転データに基づいてさらに実行され、運転データが、車両のコンピューティングデバイスから取得される。
【0018】
任意選択的には、画像のセットが、車両の運転者監視システム（ＤＭＳ）から取得される。
【0019】
任意選択的には、本方法が、運転者の認知状態が安全運転要件に適合していないと判定することに応答して、車両のコントローラシステムに警告するステップをさらに含む。
【0020】
任意選択的には、コントローラシステムが、警告に応答して、制限動作を実行するように構成され、その制限動作が、車両の自動運転を起動すること、車両の速度を制限すること、車両に安全停止を指示すること、第三者に警告を発すること、運転者に警告を発すること、のうちの少なくとも一つを含む。
【0021】
任意選択的には、刺激を与えることが、一連の刺激を決定すること、および、車両に配置されかつ運転者を向く出力デバイスを用いて、一連の刺激の各刺激を提供すること、を含む。
【0022】
開示の主題の別の例示的な実施形態は、運転者の目の画像のセットを取得するステップであって、画像のセットが、運転者が一連の刺激に曝されている間、かつ運転者が車両を運転している間にキャプチャされ、一連の刺激が、パターンに一致する第１の部分と、パターンから逸脱する第２の部分とを含み、一連の刺激が目から眼球反応を引き起こすように構成され、一連の刺激が、少なくとも部分的に、運転者の観察シーン（viewing scene）において自然に発生している、ステップと、画像のセットを分析して、各画像に対応する眼の特徴のセットを決定するステップと、画像のセットの眼の特徴のセットに基づいて、運転者の認知状態を判定するステップとを含む。
【0023】
任意選択的には、本方法が、視覚センサを利用して、運転者の観察シーンをキャプチャするステップと、観察シーンを分析して、一連の刺激のうち自然に発生する部分を特定するステップとをさらに含む。
【0024】
任意選択的には、一連の刺激が部分的に自然に発生しており、本方法が、観察シーンの拡張ビューを提供して、運転者に一連の刺激を見せるステップをさらに含む。
【0025】
任意選択的には、一連の刺激の第１の部分が、運転者の観察シーンにおける既存の視覚的刺激を含み、パターンが、既存の視覚的刺激における要素に基づいて決定され、一連の刺激の第２の部分が、既存の視覚的刺激におけるパターンから逸脱するように、拡張現実を用いて動的に生成され、それにより、運転者の視界への介入を最小限に抑える。
【0026】
開示の主題のさらに別の例示的な実施形態は、プロセッサを有するコンピュータ化された装置であって、プロセッサが、運転者に一連の刺激を与えるステップであって、刺激を与えるのが、運転者が車両を運転している間に実行され、一連の刺激が、パターンに一致する第１の部分と、パターンから逸脱する第２の部分とを含み、一連の刺激が、運転者の目から眼球反応を引き起こすように構成されている、ステップと、運転者の目の画像のセットを取得するステップであって、画像のセットが、一連の刺激を与えている間にキャプチャされる、ステップと、画像のセットを分析して、各画像に対応する眼の特徴のセットを決定するステップと、画像のセットの眼の特徴のセットに基づいて、運転者の認知状態を判定するステップとを実行するように適合されている。
【0027】
開示の主題のさらに別の例示的な実施形態は、プログラム命令を保持する非一時的なコンピュータ可読記憶媒体を含むコンピュータプログラム製品であって、プログラム命令が、プロセッサによって読み取られると、プロセッサに、運転者に一連の刺激を与えるステップであって、刺激を与えるのが、運転者が車両を運転している間に実行され、一連の刺激が、パターンに一致する第１の部分と、パターンから逸脱する第２の部分とを含み、一連の刺激が、運転者の目から眼球反応を引き起こすように構成されている、ステップと、運転者の目の画像のセットを取得するステップであって、画像のセットが、一連の刺激を与えている間にキャプチャされる、ステップと、画像のセットを分析して、各画像に対応する眼の特徴のセットを決定するステップと、画像のセットの眼の特徴のセットに基づいて、運転者の認知状態を判定するステップとを含む方法を実行させる。
【図面の簡単な説明】
【0028】
本開示の主題は、図面と併せて、以下の詳細な説明から、より完全に理解および把握されるであろう。それら図面において、対応するまたは同様の数字または文字は、対応するまたは同様の構成要素を示している。別段の指示がない限り、図面は、本開示の例示的な実施形態または態様を提供するものであり、本開示の範囲を限定するものではない。
【発明を実施するための形態】
【0029】
開示の主題が扱う技術的な問題の一つは、運転者が安全な運転を行うことができない場合を検出することである。いくつかの例示的な実施形態では、運転者の認知状態が、運転者の運転の質に影響を与える可能性がある。アルコールや薬物の摂取、疲労、精神的ストレスなどによる認知状態の悪化は、運転者の安全運転を行う能力を低下させ、さらには致命的な交通事故を引き起こす危険性がある。
【0030】
いくつかの例示的な実施形態では、運転者の運転能力の監視は、走行車線からの逸脱、急停止、広い半径での方向変換、中央車線マーカまたは路側マーカ上の走行など、運転者の運転行動を監視することによって行うことができる。他の方法は、瞬きの頻度および持続時間をカウントしたり、運転者の目が道路を見ているか否かを監視したりすることで、眠気を警告することができるカメラおよび処理システムを含むことができる。しかしながら、そのような方法では、運転者の認知状態や、アルコールや薬物の摂取、疲労、精神的ストレスなどによる認知状態の悪化を評価および予測することができない場合がある。追加的または代替的には、そのような方法は、危険な運転行為を試みる前の初期の段階で危険な認知状態を検出することができない可能性があり、それは既に人命を危険に曝す可能性がある。
【0031】
技術的な解決策の一つは、運転者に積極的に刺激を与え、運転者の眼球反応を受動的に監視することによって、運転者の認知状態を継続的に監視することである。
【0032】
いくつかの例示的な実施形態では、運転者の目から眼球反応を誘発するように動作可能な一連の刺激を運転者に与えることができる。一連の刺激は、運転者が車両を運転している間に運転者に与えることができる。一連の刺激は、パターンに合致する第１の部分と、パターンから逸脱する第２の部分とを含むことができる。パターンから逸脱する第２の部分からの刺激は、パターンに合致する刺激によって誘導される脳活動とは異なる脳活動を誘導するように構成することができる。その結果、一連の刺激は、誘導された異なる脳活動と相関する運転者の目による眼球反応を引き起こすように構成されている。
【0033】
いくつかの例示的な実施形態では、刺激が、ヘッドアップディスプレイ、車内のミドルミラー、サンバイザ、フロントガラス、車両のセンターコンソール、ステアリングホイールなどに表示される視覚的刺激であってもよい。追加的または代替的には、刺激が、車両の車内エンターテインメントシステムまたはインフォテインメントシステムによって、あるいは計器群を使用して、あるいは車内に設置されたマイクロフォンを使用して、あるいは運転者のコンピューティングデバイスを介して、提供される聴覚的刺激であってもよい。追加的または代替的には、刺激が、ステアリングホイール、運転席、シートベルトなどによって与えられる触覚的刺激であってもよい。追加的または代替的には、刺激が、視覚、聴覚または触覚のモダリティの組合せによって提供されるものであってもよい。
【0034】
与えられる刺激は、運転者の運転の質、またはその別の物理的若しくは精神的機能などに影響を与えないことに留意されたい。いくつかの実施形態では、運転者の認知的負荷を増加させない刺激のサブリミナルセットを利用することができ、それにより運転者の経験を改善することができる。例えば、視覚的刺激は、運転者の視野の周辺領域に短時間（約１００ミリ秒、約１．５秒など）現れるなど、様々なレベルのサリエンシーを有することができる。別の例として、オーディオ刺激は、パターンを生成するために、様々な方向に提供される殆ど気付かないオーディオ信号として提供することができる。殆ど気付かないオーディオ信号は、運転者の好みや運転者の環境などに合わせることができる。殆ど気付かないオーディオ信号は、例えば、同様の特性を有するノイズを加えて、運転者の反応を見ながら振幅を短期間で変調させることによって、システム音響センサで検出される環境音を操作することに基づくものであってもよい。別の例として、運転席やステアリングホイールに埋め込まれた触覚モジュールによって、様々な大きさのレベルの触覚的刺激を導入することで、触覚的刺激を提供することもできる。
【0035】
いくつかの例示的な実施形態では、運転者の目の動作を監視して、一連の時系列刺激に応じた一連の眼球反応のセットを測定することができる。監視は、車両内に配置された、運転者を向くセンサを使用して受動的に行われるものであってもよい。一連の刺激の適用中、あるいは適用直後などにキャプチャされた、運転者の目の画像のセットが、センサから取得されるものであってもよい。画像のセットを分析して、各画像に対応する眼の特徴のセットを特定することができる。いくつかの例示的な実施形態では、眼の特徴のセットが、衝動性眼球運動に関連する特徴、瞳孔のサイズおよび拡張反応、収縮反応に関連する特徴、目の間の対称性の測定、眼の近傍の顔の表情、眉の動きなど、驚きに関連する脳の活動によって影響を受ける特徴を含むことができる。
【0036】
いくつかの例示的な実施形態では、画像のセットの眼の特徴のセットの１または複数の統計的測定に基づいて、認知状態の判定を実行することができる。例えば、１または複数の統計的測定を眼の特徴のセットに適用して、無相関変数のセット、特徴ベクトルのより小さい次元などを生成することができる。
【0037】
いくつかの例示的な実施形態では、眼の特徴のセットを分析して、運転者の認知状態を判定することができる。運転者が安全な運転を行うことができるか否かの判定は、その認知状態に基づいて実行することができる。運転者の認知状態が安全運転要件に適合しないと判定することに応答して、車両のコントローラシステムに警告を発することができる。コントローラシステムは、車両の自動運転を起動することや、運転者または第三者に警告を発することなどの制限動作を実行するように構成することができる。
【0038】
いくつかの例示的な実施形態では、動的制御アルゴリズムを利用して、運転者に対する正または負の報酬を決定することにより、運転者の認知状態を変化させ、それにより状況に適合させるとともに、適応的な応答を促進することができる。いくつかの例示的な実施形態では、報酬は、長期的に運転者の応答の質を改善するように報酬を決定することができる。いくつかの実施形態では、運転者に対する強化および報酬は、運転者を調整するとともに、運転者の認知状態の所望の状態への適合性を改善するように動作可能な、正および負の強化を含むことができる。いくつかの実施形態では、負の報酬は、刺激に対する反応が最適なものから著しく逸脱したときに運転者に僅かな不快感を与えるような、サリエンシーの低いノイズや崩れを使用して誘導することができる。いくつかの実施形態では、長期的な正の報酬が、様々なデジタル商品や、買い物や食事のための割引に変換可能な仮想トークンを含み、長期的な負の報酬が、運転者のアカウント内のそのような仮想トークンの数を減らすことによって得ることができる。いくつかの実施形態では、ゲーミフィケーションのパラダイムを用いて、ゲームの一部として正および負の強化を提供することができる。いくつかの実施形態では、強化をサブリミナル刺激と組み合わせることで、運転者の行動をシームレスかつ非侵入的な形に形成することができる。これは、不必要な知覚的負荷を最小限に抑えながら、運転者の認知状態を特定のレベルに維持するために使用することができる。
【0039】
別の技術的な解決策は、運転中に運転者の観察シーンで自然に発生する刺激を監視し、その刺激に対する運転者の眼球反応を受動的に監視することによって、運転者の認知状態を継続的に監視することである。
【0040】
いくつかの例示的な実施形態では、車両を運転している間の運転者の観察シーンは、道路上の反復的な物体、反復的なマーキングなど、一連の刺激のように見える要素を含むことができる。観察シーンは、たまに出現する標識や、欠落した物体、サイズが異なる物体、異なる距離にある物体など、パターンを崩すような物体や事象も含むことができる。そのような刺激は、運転者の眼球反応を検査するために、動的に生成される刺激の代わりに利用することができる。
【0041】
追加的または代替的には、一連の刺激の一部のみが、運転者の観察シーンで自然に発生し得る。そのような場合には、拡張現実技術を利用して、観察シーンにおいて欠落している刺激を引き起こすことにより、運転者の視界への介入を最小限に抑えることができる。
【0042】
いくつかの例示的な実施形態では、フロントガラス上のスマートカメラ、ダッシュボードカメラ、車両前面のビデオレコーダ、道路カメラなど、１または複数の視覚センサによって、運転者の観察シーンをキャプチャすることができる。コンピュータビジョン技術を適用して、観察シーンを分析し、一連の刺激のうち自然に発生する部分を特定することができる。ＡＩおよび機械学習技術を使用して、一連の刺激の欠落部分を特定することができ、観察シーンの拡張ビューを生成して、運転者に一連の刺激を全体として見せることができる。運転者の視覚への介入を最小限にするために、拡張現実によって追加される部分を最小限に抑えることが理解されよう。
【0043】
開示の主題を利用することによる一つの技術的効果は、運転者の認知状態の低下に起因する疲労交通事故を防止することである。開示のシステムは、運転中の運転者の認知状態を継続的に監視し、運転者の認知状態が安全運転要件に適合していないと判断したことに応答して、車両のコントローラシステムに警告を発して、潜在的な事故を防止する制限動作を実行することを可能にする。
【0044】
開示の主題を利用することによる別の技術的効果は、運転中に、最小限の侵入的な方法で、運転者の認知状態を監視することである。開示の方法における認知状態の監視は、運転者の運転または他の認知能力に影響を与えることなく実行される。開示のシステムは、運転者に合わせた刺激のセットを生成する。刺激のサリエンシーおよびコンテンツは、環境条件と、認知状態の深刻さやそれに関連するリスクなどの状況の緊急度とに適合するように設計されている。
【0045】
開示の主題を利用することによるさらに別の技術的効果は、運転者の負荷を増加させることなく、認知状態の監視の有効性および効果を高めることである。開示のシステムは、運転者の観察シーンで自然に発生する刺激を利用することで、運転者の脳活動への介入を最小限に抑えることができる。
【0046】
開示の主題は、任意の既存の技術や、当技術分野で以前に日常的または慣例的になっている任意の技術に対する１または複数の技術的改善を提供することができる。追加の技術的な問題、解決策および効果は、本開示を考慮することで、当業者には明らかであろう。
【0047】
ここで、開示の主題のいくつかの例示的な実施形態に係るシステムの例示的なアーキテクチャの概略図を示す図１を参照する。
【0048】
いくつかの例示的な実施形態では、車両を運転している間の運転者の認知状態を評価するために、システム１００を利用することができる。
【0049】
いくつかの例示的な実施形態では、システム１００が、運転者１０５を監視するための１または複数のセンサ１１０を含むことができる。センサ１１０は、運転者１０５に向けられて、運転者の行動を監視することができる。センサ１１０は、運転者１０５、１１２の目用のアイトラッカ、内向きカメラ、車両のホイール上の圧力センサ、マイクロフォン、赤外線（ＩＲ）センサ、それらの組合せなどを含むことができる。センサ１１０は、運転者１０５、特に運転者１０５の目を継続的に監視するように構成されるものであってもよい。センサ１１０は、運転者１０５の認知状態に関するインジケータを作成するように動作可能なデータを収集するように構成されるものであってもよい。そのようなデータは、運転者１０５に付随する眼の特徴を含むことができる。
【0050】
いくつかの例示的な実施形態では、システム１００が、運転者１０５の認知状態を評価するための人工知能（ＡＩ）モジュール１２０を含むことができる。ＡＩモジュール１２０は、運転者１０５の認知状態を評価するために、様々なソースからの様々な観測値およびインジケータを蓄積するように構成されている。ＡＩモジュール１２０は、深層学習、人工ニューラルネットワーク（ＡＮＮ）、多層畳み込みニューラルネットワーク（ＣＮＮ）などの様々なＡＩ手法および技術を利用して、顔の表情、目の動き、視線の方向、瞳孔の拡張、行動パターンなど、運転者１０５ｍの画像内のインジケータを分析するように構成されるものであってもよい。ＡＩモジュール１２０は、インジケータを、運転者１０５の基本的な計算能力に関する情報を提供するより高いレベルのインジケータに変換するように構成されるものであってもよい。
【0051】
いくつかの例示的な実施形態では、システム１００がプロービングモジュール１３０を含むことができ、このプロービングモジュールが、運転者１０５をプローブし、運転者１０５に対する刺激を表示し、運転者１０５に対する警告等を表示するように構成されている。プロービングモジュール１３０は、スクリーン、フロントガラス、ステアリングホイール、ミドルミラーなど、運転者１０５を向くように車両内に配置することができる。いくつかの例示的な実施形態では、プロービングモジュール１３０が、サブリミナルレベルまたは殆ど知覚できないレベルで動作可能であってもよく、それにより、運転者１０５の正常な動作に対する干渉を最小限のレベルに抑えることができる。いくつかの例示的な実施形態では、プロービングモジュール１３０を、運転者１０５に様々な刺激を加えるように構成することができる。刺激に対する運転者１０５の反応は、プロービングモジュール１３０によって、センサ１１０のうちの１または複数のセンサなどによって、監視することができる。運転者１０５の反応は、運転者１０５の認知状態を判定するために、ＡＩモジュール１２０に提供されるようにしてもよい。
【0052】
いくつかの例示的な実施形態では、システム１００が、運転者１０５と通信し、運転者１０５に追加の出力等を提供するように構成された通信モジュール１４０を含む。通信モジュール１４０は、ヒューマンマシンインターフェース（ＨＭＩ）モジュール１５０を介して運転者１０５と通信するように構成されるものであってもよい。運転者１０５への出力は、運転者の認知状態に関する表示、安全運転のための提案、推奨、警告、ヒント、休息のための停止、減速などの必要な行動などを含むことができる。
【0053】
いくつかの例示的な実施形態では、年齢、視力などの人口統計学的および物理的データに基づいて、一般に運転者の身体的状態を考慮して、システム１００を運転者１０５に個人的に合わせることができる。追加的または代替的には、それぞれの特定時刻における運転者１０５の物理的および精神的な状態を、疲労、覚醒度、気分、破壊などのように、判定することができる。追加的または代替的には、継続的な注意配分のダイナミクスである。システム１００は、運転者１０５の認知状態および行動を継続的に監視し、潜在的に調整された刺激のセットで運転者１０５をプローブし、刺激に対する反応を分析することができる。
【0054】
いくつかの例示的な実施形態において、システム１００が、ＡＩ状況評価モジュール１７０を含むことができる。ＡＩ状況評価モジュール１７０は、環境監視センサ１６０から得られたデータを分析し、ＡＩモジュール１２０にプロセス関連データを提供するように構成されるものであってもよい。環境監視センサ１６０は、車両前方の運転、運転者１０５が見ている観察シーンを監視する。環境監視センサ１６０は、道路の特性、他の運転者、車両または物体との相互作用、標識など、コンテキストおよび状況に関する環境の情報を収集し、運転者１０５の前方の観察シーンをキャプチャするように構成することができる。環境監視センサ１６０は、体温や脈拍などの生理的パラメータを評価し、サングラスを透過するように動作可能なマルチスペクトルカメラ、赤外線画像を利用するカメラ、デジタルカメラ、ビデオレコーダなどを含むことができる。ＡＩ状況評価モジュール１７０は、環境監視センサ１６０からの観察可能値およびインジケータを蓄積するように構成することができる。観測可能値およびインジケータは、道路状況、危険、潜在的な脅威、車両の内側および外側からの破壊に関する観測可能値およびインジケータ、および運転者１０５または車両の性能に関連する他の観測可能値または影響を与える他の観測可能値などを含むことができる。ＡＩモジュール１２０は、様々な観測可能値やインジケータを組み合わせて状況やコンテキストを評価し、それにより運転者１０５の状態および行動と実際の状況との間に不適合がある場合を推論するために、ディープラーニングやベイジアンネットワークなどの手法を適用するように構成することができる。
【0055】
追加的または代替的には、システム１００は、運転者１０５によるアルコールまたは薬物の摂取を推定するように構成された酔い判定モジュール１８０を含むことができる。酔い判定モジュール１８０は、ナビゲーションおよび位置特定システム１８２およびデータベース１８４に接続することができる。ナビゲーションおよび位置特定システム１８２は、全地球測位システム（ＧＰＳ）または他の位置特定センサを使用するなどして、リハビリテーションセンタ、アルコールを提供する娯楽施設などの潜在的な問題のある場所の位置に関連するデータベース１８４からの他のデータとともに、運転者１０５の位置情報を特定するように構成することができる。酔い判定モジュール１８０は、運転者１０５がアルコールまたは薬物を摂取した可能性を評価するように構成することができる。その可能性は、ＡＩモジュール１２０の感度レベルを調整するために、対応する信頼度の幅とともに、ＡＩモジュール１２０によって使用されるようにしてもよい。
【0056】
追加的または代替的には、システム１００は、運転者１０５の認知状態を判定する際にＡＩモジュール１２０を支援するために、運転者１０５の行動パターンおよび履歴データを決定するように構成されたベースラインパターン評価モジュール１２２を含むことができる。ベースラインパターン評価モジュール１２２は、センサ１１０からの監視カメラを使用した顔認識、センサ１１０のうちのホイール上のセンサを使用した指紋または手形など、運転者１０５のバイオメトリックデータに基づいて、運転者１０５およびその特性を識別するために運転者識別モジュール１２４を利用するように構成することができる。追加的または代替的には、運転者ベースラインパターン評価モジュール１２２は、運転者１０５の身元に基づいて、ローカルデータベース１２６、外部データベース、インターネットなどからデータを取得することができる。そのようなデータは、運転者１０５の行動パターン、運転者１０５の履歴データ、運転者１０５の運転パターン、交通違反切符などを含むことができる。データは、運転者１０５の運転パターンを判定するために、ベースラインパターン評価モジュール１２２によって分析されるようにしてもよい。パターンは、様々な場所や条件での運転パターン、様々な状況や条件での眼球反応、刺激に対する眼球反応などを含むことができる。パターンは、データベース１２６、クラウドなどに格納することができる。追加的または代替的には、システム１００は、運転者１０５の認知状態のインジケータとなる異常を検出する異常検出モジュール１２８を含むことができる。いくつかの例示的な実施形態では、異常検出がオートエンコーダに基づくものであってもよく、このオートエンコーダが、低次元の表現を用いてデータを再現するように訓練され、そのような再現の失敗に基づいてそのような異常を規定することができる。
【0057】
追加的または代替的には、システム１００は、ＡＩモジュール１２０に提供される前にセンサ１１０からのデータを処理するように構成された前処理ユニット１１９を含むことができる。前処理ユニット１１９は、センサ１１０によって収集されたデータに基づいて第２レベルの特徴を生成するように構成することができる。一例として、前処理ユニット１１９は、可視シーン内の視線方向に関連する特徴、瞳孔拡張に関連する特徴、受容レベルが低いことを示す行動パターンを示す特徴など、運転者１０５の眼の特徴を生成することができる。いくつかの実施形態では、前処理ユニット１１９は自己回帰（ＡＲ）モデル、カルマンフィルタ、粒子フィルタ、長短期メモリを有するディープニューラルネットワーク、それらの組合せなどの予測モデルを利用して、第２レベルの特徴を計算するように構成することができる。予測モデルは、第２レベルの特徴または眼の特徴に基づいて、運転者１０５の認知状態に直接関連する特徴を判定するために利用することができる。一例として、前処理ユニット１１９は、運転者１０５の注目点を予測するように構成することができる。ＡＩモジュール１２０は、第２レベルの特徴または直接特徴を、対応する信頼度とともに、認知レベルインジケータのベクトルに変換するように構成することができる。最適レベルよりも約３０％低いなど、予め設定された閾値を下回る認知状態を、約９０％、９５％などの第２の予め設定された閾値を上回る信頼度で判定した場合、通信モジュール１４０を使用して運転者１０５に警告するようにシステム１００を構成することができる。追加的または代替的には、信頼度が約７０％、６０％、５０％などの第３の予め設定された閾値を下回る場合、システム１００は、プロービングモジュール１３０を用いて異なる一連の刺激で運転者１０５を再プローブし、センサ１１０によってそれらの刺激に対する運転者１０５の反応を監視することができる。ＡＩモジュール１２０は、潜在的により高い信頼度で、受容性レベルインジケータの新しいセットを生成するように構成することができる。
【0058】
追加的または代替的には、ＡＩモジュール１２０は、運転者１０５の認知状態を判定するために、ＨＭＭを適用するように構成することができる。一例として、ＨＭＭの可視状態は、視野内の様々な関心対象物に対する固視などの眼の特徴を含むことができ、隠れた状態は、空想しながら単に対象物を見たり見つめたりすることに対して、対象物および潜在的な脅威に注意を割り当てることなど、関連する認知的特徴を示すことができる。その後、ＡＩモジュール１２０は、Ｂａｕｍ－ＷｅｌｃｈアルゴリズムなどのＨＭＭ学習アルゴリズムを利用して、遷移の可能性を評価し、それにより運転者１０５の認知状態を評価し、次の状態を予測し、制御刺激を与える必要性を判定することなどを行うことができる。
【0059】
追加的または代替的には、プロービングモジュール１３０は、そのサリエンシーとコンテンツが、環境状態と状況の緊急度（例えば、認知状態の深刻さ）に適合する刺激を導入するように構成することができる。刺激のサリエンシーは、モダリティ、持続時間、強度、位置などの複数のパラメータによって決定することができる。所望の警告レベルに達するまで、運転者１０５の反応を常に監視しながら、刺激のサリエンシーを徐々に増加させることができる。このパラダイムを使用して、システム１００は、最小限の侵入的な方法で動作することができる。
【0060】
追加的または代替的には、システム１００は、車両のコントローラエリアネットワーク（ＣＡＮバス）１９０に接続することができる。ＣＡＮバス１９０は、加速、車線維持、急ブレーキなどのインジケータを自動車のコンピュータから提供するように構成することができる。それらインジケータは、ＡＩモジュール１２０によって、運転者１０５の状態に関する追加のインジケータとして利用されるようにしてもよい。追加的または代替的には、システム１００は、ＣＡＮバス１９０を介して車両コンピュータに信号を発して、運転者１０５の認知状態が環境要件に適合しない場合に、車両のパラメータを変更することができ、例えば、車両の速度を制限し、車両に車線変更を指示し、車両のワイパを操作して運転者１０５に警告し、運転者１０５の使用するメディアセンタ、ラジオまたは他の同調システムの音量を増減させて運転者の注意力を高めることなどを行うことができる。
【0061】
追加的または代替的には、ＡＩモジュール１２０は、認知状態の評価を改善するために、クラウド１９５からのデータを利用するように構成することができる。いくつかの例示的な実施形態では、クラウド１９５が、同様の環境にいる他の運転者の眼球反応に関する情報を提供し、それにより運転者１０５の認知状態の評価を改善することができる。いくつかの例示的な実施形態では、最新の交通情報、運転者の周辺にいる他の車両に関する情報、気象情報などの車両の外部の環境情報も使用して、ＡＩモジュール１２０の判定の質を向上させることができる。
【0062】
ここで図２Ａを参照すると、開示の主題のいくつかの例示的な実施形態に係る方法のフローチャート図が示されている。
【0063】
ステップ２１０において、車両を運転している間に、一連の刺激を運転者に加えることができる。いくつかの例示的な実施形態では、一連の刺激が、パターンに一致する第１の部分と、パターンから逸脱する第２の部分とを含むことができる。一連の刺激は、パターンに一致する刺激（例えば、第１の部分から）と、パターンを破壊する刺激（例えば、第２の部分から）とのシーケンスとして配列することができる。そのような破壊は、驚きの事象を示す脳活動を誘発するように構成され、それが、運転者の目から応答的な眼球反応を引き起こすように構成されるものであってもよい。第１の部分からの複数の刺激は、時間的パターン、空間的パターンなどに一致する刺激のシーケンスであってもよい。いくつかの例示的な実施形態では、パターンから逸脱する第２の部分が、刺激のタイミング、刺激の空間的な位置、刺激の大きさ、刺激のタイプなどにおいて、パターンから逸脱するように構成されるものであってもよい。逸脱は、特定の脳活動を引き起こすような方法で、期待されるパターンを破壊する／崩すというパラダイムに基づくものであってもよい。一例として、刺激は、スクリーンやフロントガラスなどのディスプレイ上の同じ位置にＮ個の連続する画像を表示することと、Ｎ＋１番目の画像を新しい位置に移動させることとを含むことができる。別の例として、一連の刺激は、一定ペースの一時的なカラー光の刺激を含むことができる。
【0064】
ステップ２１２では、一連の刺激を、運転者の特性に基づいて決定することができる。一連の刺激は、運転者の特性に応じて、あるいは環境パラメータなどに応じて、運転者ごとに調整されるものであってもよい。
【0065】
いくつかの例示的な実施形態では、一般に、運転者の身体的状態に基づいて、例えば、人口統計学的特徴、評価された身体的および精神的状態、進行中の注意配分のダイナミクスなどに基づいて、一連の刺激を、運転者に合わせて調整することができる。いくつかの例示的な実施形態では、そのような特性やパラメータに基づいて一連の刺激を決定するために、機械学習技術を適用することができる。一例として、制御工学および強化学習を利用して、最適な刺激のセットを運転者に提供することができる。
【0066】
いくつかの例示的な実施形態では、刺激のタイプ、例えば、視覚的、触覚的、聴覚的またはそれらの組合せなどを決定することができる。追加的または代替的には、刺激を提供する手段、各刺激のタイミング、刺激の空間的な位置、刺激の大きさ、刺激のタイプなどを決定することができる。追加的または代替的には、運転者の認知活動、運転活動などに対する刺激の影響を最小化する方法で、運転者の認知特性に基づいて、一連の刺激を決定することができる。一例として、ある運転者は他の運転者よりも刺激に敏感である場合がある。それに応じて、介入の少ない刺激や、より自然な刺激を与えるようにしてもよい。別の例として、刺激が、Ｘルーメンの強さでＴ秒間ダッシュボードに現れるＬＥＤのような視覚的なものである場合、システムは、一般的な状況を考慮して、上記のパラメータＴおよびＸが刺激に対して適切な制御パラメータのセットを提供できるか否かを判定するために、刺激に対する応答時間および視線固定時間を評価することができる。システムは、Ｘ＝５０、Ｘ＝６０、Ｘ＝１００ルーメン、Ｔ＝０．２、Ｔ＝０．５、Ｔ＝０．７秒などのパラメータ値で開始して、それらを運転者に適合させることができる。
【0067】
ステップ２１４では、車両内に配置された運転者を向く出力デバイスを用いて、一連の刺激のうちの各刺激を提供することができる。いくつかの例示的な実施形態では、一連の刺激を、視覚的刺激、聴覚的刺激、触覚的刺激またはそれらの組合せなどとして提供することができる。一例として、視覚的刺激は、計器群、ステアリングホイール、ヘッドアップディスプレイ、車両ミラー、車両サンバイザー、フロントガラス、センターコンソールなどの上のディスプレイに提示することができる。いくつかの例示的な実施形態では、システムは、視覚的刺激として既存の視覚要素を利用し、そのような要素を制御して、パターンからの逸脱を導入することができる。例えば、ある一定のペースで行われる車両のワイパーの動きを、一定のパターンを持つ視覚的刺激として利用し、ワイパーの速度を変化させたり、ワイパーを突然停止させたりすることで、そのパターンを崩すことができる。また、別の例として、聴覚的刺激は、車両のインフォテイメントシステム、計器群、車内に設置されたマイクロフォン、運転者のモバイルデバイスなどを利用して提供することができる。さらに別の例として、触覚的刺激は、ステアリングホイール、運転席、シートベルトにより、または運転者のモバイルデバイスからの振動として、与えることができる。
【0068】
ステップ２２０では、運転者の目の画像のセットを取得することができる。いくつかの例示的な実施形態では、一連の刺激の適用中に画像のセットをキャプチャすることができる。追加的または代替的には、画像のセットを、一連の刺激の適用後の予め設定された時間窓、例えば、一連の刺激の適用後３秒間、４秒間、１０秒間に撮影することができる。画像のセットは、アイトラッカ、内向きカメラ、サーモグラフィックカメラ、ＩＲセンサなど、車両内に配置されて運転者を向く１または複数のセンサから取得することができる。画像のセットは、その中の眼球反応のより良い分析を可能にするために、約１００枚、４００枚、１０００枚など、多数の画像を含むことができる。このため、約１００フレーム／秒、約１５０フレーム／秒、約２００フレーム／秒などのトラッキングが可能なアイトラッカなど、適合した計算能力を有するセンサを利用することができる。
【0069】
いくつかの実施形態では、センサが、体温、脈拍などの対象者の生理学的パラメータを評価するように動作可能なマルチスペクトルカメラを含むことができる。センサは、ＩＲ画像を利用するなどして、サングラス、レンズ、化粧などを透過するように適合させることができる。追加的または代替的には、車両のＤＭＳ、または運転者の目をキャプチャする視覚センサに接続された車両の他のコンピューティングデバイスから、画像のセットを取得することができる。
【0070】
ステップ２３０では、画像のセットを分析して、各画像に対応する眼の特徴のセットを決定することができる。いくつかの例示的な実施形態では、コンピュータビジョン技術、ＡＩ画像処理技術、物体検出技術などを利用して、画像のセットを分析し、関連する眼の特徴を抽出することができる。いくつかの例示的な実施形態では、眼の特徴のセットが、特定の脳活動に関連する、運転者の目に関連する特徴を含むことができる。眼の特徴のセットは、運転者の目の１または複数のサッケード（サッケードの精度、サッケードの頻度、サッケードの速度、固視時間など）、少なくとも一方の目の瞳孔のサイズ、少なくとも一方の目の拡張反応、少なくとも一方の目の収縮反応、目の間の対称性の測定、目の近傍の顔の表情、眉の動きなどに関連する特徴を含むことができる。一連の刺激を加えることに応答して、驚きの刺激やオッドボール、例えば、最後の数回の刺激のパターンが崩れる場合について、様々な眼球反応をキャプチャすることができる。
【0071】
いくつかの例示的な実施形態では、時間領域において、例えば様々な時間における注視点の座標を表す時系列から直接特徴を抽出することができるとともに、時系列のパワースペクトルから特徴を抽出することができる。
【0072】
ステップ２４０では、画像のセットの眼の特徴のセットに基づいて、運転者の認知状態を判定することができる。いくつかの例示的な実施形態では、ある時点での認知状態が、運転動作に関わる運転者の最大能力を示し得る。いくつかの例示的な実施形態では、画像のセットの眼の特徴のセットの１または複数の統計的測定値に基づいて認知状態を判定することができる。統計的測定値は、独立成分分析（ＩＣＡ）測定値、主成分分析（ＰＣＡ）測定値、エントロピー測定値、ノンパラメトリック重み付け特徴抽出（ＮＷＦＥ）測定値、ガウス最尤（ＧＭＬ）測定値、ｋ－最近傍分類器（ｋＮＮ）測定値、標準偏差（ＳＴＤ）、平均、中間値、またはそれらの組合せなどを含むことができる。
【0073】
いくつかの例示的な実施形態では、分類器を使用して運転者の認知状態を判定することができる。いくつかの例示的な実施形態では、画像のセットの眼の特徴のセットに分類器を適用することができる。追加的または代替的には、画像のセットの眼の特徴のセットの１または複数の統計的測定値に分類器を適用することができる。追加的または代替的には、分類器が、年齢、性別などの人口統計学的特性、道路状況、運転習慣などの運転者の特性などに限定されるものではないが、これらの他の特徴を決定することができる。追加的または代替的には、車両のＣＡＮバス、ＤＭＳなど、車両のコンピューティングデバイスから得られるような、運転者の運転データに基づいて、さらに判定を実行することができる。いくつかの例示的な実施形態では、上述したステップを実行する前に分類器の訓練を実行することができる。分類器は、運転者を監視することにより得られた測定値のセットに関して訓練することができる。追加的または代替的には、分類器は、運転者に対する閾値未満の類似性測定値を有する１または複数の異なる運転者を監視することによって得られた測定値のセットに関して訓練することができる。また、分類器は、運転者の監視データなしで訓練することもできる。
【0074】
ステップ２５０では、運転者の認知状態に基づいて、運転者が車両を安全に操作することができるか否かの判定を実行することができる。いくつかの例示的な実施形態では、認知状態と運転能力との関連性、車線維持運転実験における脳波（ＥＥＧ）の脳力学を判定する脳コンピュータインターフェース（ＢＣＩ）などの研究結果に基づいて、判定を実行することができる。追加的または代替的には、運転者の認知状態を、酔っていないと検出されている間の以前の認知状態と比較することや、他の人々の認知状態と比較することなどに基づいて、判定を実行することができる。
【0075】
ステップ２６０では、運転者が安全に運転することができないと判定することに応答して、応答動作を適用することができる。
【0076】
追加的または代替的には、運転者が安全に運転することができないと判定することに応答して、ステップ２１０を繰り返すことができ、一方で、ステップ２１２において、異なる刺激のセットを決定することができる。
【0077】
ここで、図２Ｂを参照すると、開示の主題のいくつかの例示的な実施形態に係る方法のフローチャート図が示されている。
【0078】
ステップ２５０ｂでは、運転者の認知状態に基づいて、運転者が車両を安全に操作することができるか否かの判定を実行することができる。
【0079】
ステップ２５２では、運転者の認知状態が最小閾値を超えるか否かの判定を実行することができる。いくつかの例示的な実施形態では、最小閾値は、運転者が酔っていないときの運転習慣に基づいて、酔っていないときの運転者の測定した認知状態に基づいて、あるいは年齢、性別、運転経験などの類似した特性を有する他の酔っていない運転者の認知状態に基づいて、決定することができる。いくつかの例示的な実施形態では、眼球動作および眼球反応の測定値から得られる特徴のセットに基づいて、認知状態を判定することができる。認知状態は、特徴のセットを、運転能力などの関連する性能レベルにマッピングすることによって、判定されるものであってもよい。いくつかの例示的な実施形態では、認知能力を意図的に低下させる制御された実験を利用することによって、広範囲の能力レベルを達成することができる。例えば、疲労を引き起こしたり、対象者に一定量のアルコールを摂取するように指示したりすることで、認知能力を意図的に低下させることができる。いくつかの例示的な実施形態では、認知状態と相関する運転能力などの能力レベルを、運転者の眼球反応のベースラインからの逸脱に基づいて評価することができる。ベースラインは、能力レベルを低下させることなく動作する運転者の特徴のセットのクラスタリングを使用して決定することができる。
【0080】
ステップ２５４では、運転者の認知状態が安全運転要件に適合しているか否かの判定を実行することができる。
【0081】
ステップ２６０では、運転者が安全に運転することができないと判定することに応答して、応答動作を実行することができる。一例として、運転者の認知状態が安全運転要件に適合していないという判定に応答して、あるいは認知状態が最小閾値を下回っているとの判定に応答して、応答動作を実行することができる。
【0082】
ステップ２６２では、車両のコントローラに警告することができる。いくつかの例示的な実施形態では、コントローラシステムが、車両のコンピューティングデバイス、車両の自動運転システム、車両のＤＭＳなどであってもよい。
【0083】
ステップ２６４では、制限動作を実行するように、コントローラシステムを構成することができる。いくつかの例示的な実施形態では、制限動作は、車両の自動運転を起動すること、車両の速度を制限すること、車両に安全停止を指示すること、第三者に警告を発すること、運転者に警告を発することなどを含むことができる。
【0084】
ここで図２Ｃを参照すると、開示の主題のいくつかの例示的な実施形態に係る方法のフローチャート図が示されている。
【0085】
ステップ２２０ｃでは、運転者の目の画像のセットを取得することができる。いくつかの例示的な実施形態では、画像のセットは、運転者が一連の刺激に曝されている間、かつ運転者が車両を運転している間にキャプチャすることができる。いくつかの例示的な実施形態では、一連の刺激が、少なくとも部分的に、車両を運転している間の運転者の観察シーンにおいて自然に発生するもの、運転者が運転中に聞く自然なノイズなどであってもよい。
【0086】
いくつかの例示的な実施形態では、一連の刺激が、パターンに一致する第１の部分と、パターンから逸脱する第２の部分とを含むことができる。一連の刺激は、目から眼球反応を引き起こすように構成されるものであってもよい。
【0087】
ステップ２２２ｃでは、運転の観察シーンを分析して、一連の刺激のうち自然に発生する部分を特定することができる。いくつかの例示的な実施形態では、視覚センサを使用して運転の観察シーンをキャプチャすることができ、車両のフロントガラスまたは他の窓を介して、例えば、ダッシュボードカメラ、車のデジタルビデオレコーダ（ＤＶＲ）、ドライビングレコーダ、イベントデータレコーダ（ＥＤＲ）などにより、視界を連続的に記録することができる。
【0088】
ステップ２２４ｂでは、観察シーンにおける刺激のパターンを求めることができる。いくつかの例示的な実施形態では、一連の刺激の第１の部分が、運転者の観察シーンにおける既存の視覚的刺激を含むことができる。パターンは、観察シーン内の静止要素、反復的な要素など、既存の視覚的刺激における要素に基づいて、求めることができる。
【0089】
ステップ２２６ｂでは、一連の刺激の第２の部分からの刺激を示すパターンからの逸脱を特定することができる。いくつかの例示的な実施形態では、逸脱が、反復的な要素の欠落、観察シーンにおける急激な変化、意外な要素などのように、観察シーンで自然に発生するものであってもよい。追加的または代替的には、例えば拡張現実を使用して、反復的な要素の欠落、観察シーンにおける急激な変化、意外な要素などを模倣するなどして、パターンをその場で崩し、それによりパターンからの逸脱を積極的に引き起こすこともできる。
【0090】
ステップ２２８ｂでは、観察シーンの拡張ビューを利用して、運転者に一連の刺激を見せることができる。いくつかの例示的な実施形態では、一連の刺激の第２の部分が、既存の視覚的刺激のパターンから逸脱するように、拡張現実を利用して動的に生成されるものであってもよく、それにより、運転者の視界への介入を最小限に抑えることができる。
【0091】
ステップ２３０ｃでは、画像のセットを分析して、各画像に対応する眼の特徴のセットを特定することができる。
【0092】
ステップ２４０ｃでは、画像のセットの眼の特徴のセットに基づいて、運転者の認知状態を判定することができる。
【0093】
ここで図３Ａを参照すると、開示の主題のいくつかの例示的な実施形態に係る例示的な観察シーンの概略図が示されている。
【0094】
いくつかの例示的な実施形態では、運転者が、車両を運転している間に、一連の刺激に受動的に曝されるようにしてもよい。一連の刺激は、フロントガラス、フロントウィンドウなどから運転者が見るような、運転者の観察シーン３００において、少なくとも部分的に自然に発生するものであってもよい。一連の刺激は、運転者の目から眼球反応を誘発するように構成することができる。
【0095】
いくつかの例示的な実施形態では、運転者の観察シーンをキャプチャする車両の視覚センサによって、観察シーン３００をキャプチャすることができる。観察シーン３００は、一連の刺激のうち自然に発生した部分を特定するめに分析することができる。
【0096】
いくつかの例示的な実施形態では、一連の刺激が、パターンに一致する第１の部分と、パターンから逸脱する第２の部分とを含むことができる。パターンは、反復的な要素、道路に沿った不変の要素などのように、自然に発生するパターンであってもよい。一連の刺激の第１の部分は、観察シーン３００における既存の視覚的刺激を含むことができる。また、パターンは、観察シーン３００の既存の視覚的刺激に含まれる要素に基づいて決定することができる。一例として、一連の刺激３３０は、互いに同じ距離にある一連の連続する電柱３１０を含むことができる。
【0097】
いくつかの例示的な実施形態では、逸脱する刺激、例えば一連の刺激の第２の部分は、環境、例えば観察シーン３００においても自然に発生するものであってもよい。一例として、電柱３２０は、他の電柱３１０よりも小さくてもよい。
【0098】
ここで図３Ｂを参照すると、開示の主題のいくつかの例示的な実施形態に係る拡張現実を使用する例示的な観察シーンの概略図が示されている。
【0099】
いくつかの例示的な実施形態では、観察シーン３００がパターンに一致する刺激のみを含むように、一連の刺激が部分的に自然に発生するものであってもよい。一例として、観察シーン３００は、実質的に同様のサイズおよび他からの距離の電柱３２０を含む電柱３１０を含むことができる。
【0100】
パターンからの逸脱を可能にするために、運転者に観察シーン３００の拡張ビュー３５０を提供して、パターンとそれからの逸脱を伴う一連の刺激を見せるようにしてもよい。拡張ビュー３５０は、拡張現実眼鏡、拡張現実フロントガラススクリーン、ホログラムを道路上に投影できるＨｏｌｏＬｅｎｓなどの拡張現実ツールを使用して提供することができる。
【0101】
いくつかの例示的な実施形態では、運転者が見るシーン内の少なくともいくつかのそのようなパターンの存在を評価するように動作可能な前向きカメラによって、観察シーン３００を得ることができる。追加的または代替的には、観察シーン３００を、カメラにより取得して、認知状態判定システム（例えば、図１のシステム１００など）で分析することができる。
【0102】
いくつかの例示的な実施形態では、観察シーン３００の既存の視覚的刺激における要素、例えば、互いに同じ距離にある一連の４本の連続する電柱３１０を含む一連の刺激３３０の一部に基づいて、パターンを決定することができる。追加的または代替的には、道路に沿ったそのようなパターンの存在は、同じ車両または本システムを採用している他の車両による以前の乗車に基づいて評価されるようにしてもよい。
【0103】
一連の刺激の第２の部分、例えばパターンからの逸脱は、既存の視覚的刺激のパターンから逸脱するように、拡張現実ツールを使用して動的に生成されるようにしてもよく、それにより、運転者の視界への介入を最小限に抑えることができる。一例として、電柱３２０を拡張ビュー３５０から削除して、４本の連続する電柱３１０のパターンに続く欠落した電柱３６０の逸脱した刺激を生成することができる。生成した一連の刺激３８０は、繰り返し自然に見られる４本の連続する電柱３１０と、それに続く動的に生成された欠落した電柱３６０とを含むことができる。
【0104】
いくつかの例示的な実施形態では、運転者の認知状態を評価するモジュールが、好ましくは、そのようなパターンに対する眼球反応を利用することができ、それにより、運転者の負荷を増加させることなく、システムの有効性および効果を高めることができる。
【0105】
ここで図４Ａを参照すると、開示の主題のいくつかの例示的な実施形態に係る刺激パターンおよびそれからの逸脱の概略図が示されている。
【0106】
図４Ａは、運転者の認知状態の態様および運転タスクに関する運転者の能力を評価することを可能にするオッドボールパラダイムを示している。
【0107】
いくつかの例示的な実施形態では、パターン４００が、物体４１０の同様のインスタンスを含むことができ、それらが、５００ミリ秒ごと、２０００ミリ秒ごと、３０００ミリ秒ごとなどの定期的な時間間隔中に、画面の右側（例えば、４１０、４１１、４１２、４１４など）または左側（例えば、４１３）の何れかに突然現れる。殆どの場合（例えば、８０％）、物体が同じ側に現れるため、運転者はパターンの存在を推測することができる。一方、ごく一部の場合（例えば、２０％）、物体が反対側に表示されるため、パターンが崩れる。その結果、パターン４００は、最初の３つの物体（例えば、４１０、４１１、４１２）が左側に表示され、４つ目の物体（４１３）が右側に表示されるようにパターンが崩れるのを示すことができる。
【0108】
次に図４Ｂを参照すると、開示の主題のいくつかの例示的な実施形態に係る刺激パターンおよびそれからの逸脱の概略図が示されている。
【0109】
一実施形態では、一連の刺激４２０が、図４Ａに示すパターン４００に従って実施された実験の一つで使用された実際の時系列の刺激である。一連の刺激４２０において、＋１は右側への出現を示し、－１は左側への出現を示している。また、＋記号は「驚き」または「オッドボール」を示し、最後の数個の刺激のパターンが壊れている例を示している。
【0110】
ここで図４Ｃを参照すると、開示の主題のいくつかの例示的な実施形態に係る、酔っていない対象者および酔っている対象者の刺激パターンおよびそれからの逸脱に対する平均眼球反応の概略図が示されている。
【0111】
いくつかの例示的な実施形態では、予想される時間的または空間的パターンの時折の崩れを、脳活動を誘発する驚きの反応を引き起こすように構成することができる。例えば、脳活動は、瞳孔の拡張、サッケードパターンの変化などの識別可能な眼球反応によって現れるＥＥＧパターンのＰ３００と呼ばれるパルスによって現れることがある。
【0112】
グラフ４３０は、図４Ｂに示す一連の刺激４２０のオッドボール対非オッドボールの刺激に対する、酔っていない対象者と酔っている対象者の平均眼球反応を示している。グラフ４３０は、酔っていない対象者と酔っている対象者について、対象者の平均サッケードパターンを示している。線４３２は、非オッドボール刺激に対する、酔っていない対象者の平均サッケードパターンを示している。線４３４は、非オッドボール刺激に対する酔っている対象者の平均サッケードパターンを示している。線４３６は、オッドボール刺激に対する酔っていない対象者の平均サッケードパターンを示している。線４３８は、オッドボール刺激に対する酔っている対象者の平均サッケードパターンを示している。
【0113】
酔っていない対象者対酔っている対象者の水平方向に沿ったサッケードの時系列によって反映される眼球反応の違いは、オッドボールの方が遥かに顕著であることに留意されたい。
【0114】
ここで図４Ｄを参照すると、開示の主題のいくつかの例示的な実施形態に係る運転者の認知状態の悪化を表すグラフの概略図が示されている。
【0115】
いくつかの例示的な実施形態では、運転者の認知状態は、アルコールおよび薬物の摂取、疲労などの影響の有無にかかわらず、時間の経過とともに悪化することがある。そのような悪化は、認知状態がアルコールおよび薬物の摂取、疲労などの影響を受けている場合に、より深刻になる可能性がある。
【0116】
いくつかの例示的な実施形態によれば、グラフ７００は、例えば、疲労による運転者の認知状態の経時的な悪化の概略モデルを示している。
【0117】
ここで図５を参照すると、開示の主題のいくつかの例示的な実施形態に係る例示的な一連の刺激の概略図が示されている。
【0118】
いくつかの例示的な実施形態では、一連の刺激におけるパターンが、サブパターンのパターンを含むことができる。パターンのうちのパターンの逸脱は、異なるサブパターンを適用することによって引き起こされるものであってもよい。一連の刺激は、サブシリーズの刺激のセットを含むことができる。パターンからの逸脱は、他のサブシリーズとは異なるパターンを有する、サブシリーズの刺激を発生させるものであってもよい。
【0119】
パラダイム５１０は、一定の間隔を有する５つのインスタンスのシリーズのセットを含み、それらシリーズ間により長い間隔を有する刺激系列を示している。パラダイム５１０のパターンは、「ローカルパターン」として知られる５つの同一のインスタンスの複数のシリーズを含み、それが、シリーズの約９０％など、セットの大部分となっている。「ローカル」パターンからの逸脱は、シリーズの５番目のインスタンスが残りのインスタンスとは異なる実質的に類似したシリーズとして表され、それが、セットのごく少数、例えばシリーズの約１０％であり、それにより、この場合、基本パターンからの「全体的」な逸脱が生じている。
【0120】
パラダイム５５０は、一定の間隔を有する５つのインスタンスのシリーズのセットを含み、それらシリーズ間により長い間隔を有する刺激系列を示している。パラダイム５５０のパターンは、４つの同一のインスタンスと、最初の４つのインスタンスとは異なる５番目のインスタンスとからなる複数のシリーズを含み、各「ローカル」インターバルが基本パターンからの逸脱を含むようになっている。パターンのシリーズは、例えばシリーズの約９０％など、セットの大部分を占めることができる。パターンからの逸脱は、５つのインスタンスが同一である実質的に類似したシリーズとして表現され、それが、セットのごく少数、例えばシリーズの約１０％であり、それにより、この場合、基本パターンからの「全体的」な逸脱が生じている。
【0121】
いずれの場合も、パターンに一致する複数のシリーズを提示した後、一つの逸脱したシリーズを「驚き」として引き起こすことができる。
【0122】
ローカルな規則性を含む全体的な規則性からの逸脱を識別するには、より多くの認知リソースを必要とし、よって、それらリソースの存在と運転者の能力を示すことができることに留意されたい。この場合、眼球反応は、「驚き」に関して良好な指標を提供し、それにより、運転者の認知状態を推測および評価することができる。
【0123】
次に図６を参照すると、開示の主題のいくつかの例示的な実施形態に係る、可視インジケータから運転者の認知状態を推論するためのＨＭＭの使用の概略図が示されている。
【0124】
いくつかの例示的な実施形態では、ＨＭＭ６００が、複数の認知状態Ｃ１、Ｃ２、Ｃ３．．．Ｃｎ（符号６１０、６１２、６１４、６１６）を含むことができ、その各々は、視野内の物体および脅威のスキャニング、空想すること、携帯メールなどの非運転活動への関与など、様々な精神的活動への関与を反映し得る。追加的または代替的には、ＨＭＭ６００が、複数の可視状態Ｏ１、Ｏ２、Ｏ３．．．Ｏｍ（符号６２０、６２２、６２４、６２６）を含むことができ、その各々が、運転者の眼球反応に基づいて、運転者の関与および受容性に関するインジケータのセットを使用して提示されるものであってもよい。追加的または代替的には、ＨＭＭ６００が、複数の環境状態Ｅ１、Ｅ２、Ｅ３．．．Ｅｐ（参照数字６３０、６３２、６３４、６３６）を含むことができる。運転者が認知状態Ｃｊにあるときに可視状態Ｏｉを得る確率は、Ｐ（Ｏｉ｜Ｃｊ）と表すことができる。時刻Ｔにおいて認知状態Ｃｋにある確率は、時刻Ｔ－１、Ｔ－２、Ｔ－３．．．における以前の認知状態と、既知の環境状態Ｅ１、Ｅ２、Ｅ３．．．Ｅｐから導き出される。ＨＭＭ６００を適用することにより、ある時点での運転者の認知状態の予測（例えば、高い確率を伴う認知状態）を、眼球反応の可視インジケータと環境パラメータに応じて、以前に判定された運転者の認知状態に基づいて、判定することができる。ここで図７Ａを参照すると、開示の主題のいくつかの例示的な実施形態に係る方法のフローチャート図が示されている。
【0125】
ステップ７１０では、基準運転者のデータを取得することができる。いくつかの例示的な実施形態では、基準運転者が、認知状態を監視するために開示のシステムを利用する運転者、生体認証データベースや犯罪者データベースなどの関連データベース内の運転者など、システムがそのデータにアクセスできる様々な運転者であってよい。いくつかの例示的な実施形態では、データが、年齢、視力、性別、体重、運転免許証の情報など、基準となる運転者の人口統計学的データを含むことができる。データはさらに、運転スタイル、経験、平均運転速度、道路規則や標識の遵守、記録された交通違反、車線維持、大回りの運転習慣など、基準運転者の運転パターンに関する情報を含むことができる。データはさらに、認知レベルや能力、様々な事象に対する眼球反応、特定の時刻に評価された身体的および精神的状態（疲労、覚醒度、気分、破壊など）、現在進行中の注意配分の動態など、基準運転者の認知特性を含むことができる。データは、薬物、アルコール、喫煙などの摂取に関する情報をさらに含むことができる。
【0126】
追加的または代替的には、データが、様々な刺激に応答する様々な対象者の測定された認知状態、様々な刺激に対する対象者の眼球反応、薬物またはアルコールの影響下にある対象者の眼球反応に対する酔っていない対象者の眼球反応など、様々な特性を有する対象者を再評価する実験データを含むことができる。
【0127】
ステップ７１５では、分類器を様々な運転者に対して訓練することができる。いくつかの例示的な実施形態では、基準運転者を、その特性に基づいてクラスタ化することができる。各分類器は、運転者の異なるグループまたはクラスタに関して訓練することができる。分類器は、運転者への一連の刺激の適用に関連する眼の特徴のセットに基づいて、認知状態を予測するように訓練することができる。
【0128】
ステップ７２０では、現在の運転者のデータを取得することができる。いくつかの例示的な実施形態では、データが、現在の運転者の人口統計学的データ、運転パターン、認知能力、薬物およびアルコールの摂取習慣などを含むことができる。
【0129】
ステップ７２５では、現在の運転者のプロファイルを決定することができる。いくつかの例示的な実施形態では、基準運転者のクラスタリングに基づいて、他の運転者との類似性などに基づいて、現在の運転者のプロファイルを決定することができる。追加的または代替的には、運転者と基準運転者のクラスタとの間の類似性測定値が、予め設定された閾値を上回ること、例えば、８０％を上回ること、９０％を上回ること、９５％を上回ることに基づいて、現在の運転者のプロファイルを決定することができる。
【0130】
ステップ７３０では、プロファイルに基づいて分類器を選択することができる。いくつかの例示的な実施形態では、分類器が、基準運転者の関連するクラスタまたはグループについて訓練される。分類器は、基準運転者に適用される転移学習によって、運転者の監視データなしで訓練することができる。
【0131】
ステップ７３５では、選択された分類器を適用して、運転者の認知状態を判定することができる。いくつかの例示的な実施形態では、画像のセットの眼の特徴のセットに分類器を適用することができる。追加的または代替的には、画像のセットの眼の特徴のセットの１または複数の統計的測定値に分類器を適用することができる。
【0132】
ここで図７Ｂを参照すると、開示の主題のいくつかの例示的な実施形態に係る方法のフローチャート図が示されている。
【0133】
ステップ７４０では、運転者のデータを取得することができる。いくつかの例示的な実施形態では、データは、年齢、性別、体重などの人口統計学的特性など、運転者の特性を含むことができる。追加的または代替的には、データは、車両のＣＡＮバスやＤＭＳなどの車両のコンピューティングデバイスから取得されるような、運転者の運転データを含むことができる。運転データは、様々な条件での速度データ、注意力、交通規則に適合する速度などを含むことができる。追加的または代替的には、データは、アルコールおよび薬物の摂取習慣を含むことができる。
【0134】
ステップ７５０では、安全運転要件を決定することができる。いくつかの例示的な実施形態では、規制要件に基づいて、ＤＭＳデータに基づいて、あるいは道路状況などの環境パラメータに基づいて、安全運転要件を決定することができる。
【0135】
ステップ７６０では、安全運転要件に関連する運転者のデータのサブセットを選択することができる。いくつかの例示的な実施形態では、安全運転要件に対する運転者の各タイプのデータの影響を分析および特定することができる。
【0136】
ステップ７７０では、選択したサブセットに基づいて、個人向けの分類器を訓練することができる。
【0137】
ここで図８を参照すると、開示の主題のいくつかの例示的な実施形態に係る装置のブロック図が示されている。
【0138】
装置８００は、開示の主題に従って、運転に関連する運転者（図示省略）の認知状態を連続的に監視するように構成することができる。
【0139】
いくつかの例示的な実施形態では、装置８００は、１または複数のプロセッサ８０２を含むことができる。プロセッサ８０２は、中央処理装置（ＣＰＵ）、マイクロプロセッサ、電子回路、集積回路（ＩＣ）などであってもよい。プロセッサ８０２は、装置８００またはそのサブコンポーネントの何れかが必要とする計算を実行するために利用することができる。
【0140】
開示の主題のいくつかの例示的な実施形態では、装置８００が、入力／出力（Ｉ／Ｏ）モジュール８０５を含むことができる。Ｉ／Ｏモジュール８０５は、例えばセンサ８８０などの１または複数のセンサから、コンピューティングデバイス８７０などの車両のコンピューティングデバイスから、あるいはデータベース８９０などの外部データベースから、入力を受信し、それらに出力を提供するために利用することができる。
【0141】
いくつかの例示的な実施形態では、装置８００が、メモリ８０７を含むことができる。メモリ８０７は、ハードディスクドライブ、フラッシュディスク、ランダムアクセスメモリ（ＲＡＭ）、メモリチップなどであってもよい。いくつかの例示的な実施形態では、メモリ８０７が、装置８００のサブコンポーネントの何れかに関連する動作をプロセッサ８０２に実行させるように動作するプログラムコードを保持することができる。
【0142】
いくつかの例示的な実施形態では、運転者の状態の受動的な監視および能動的なプロービングを可能にし、それにより運転者の認知状態を継続的に監視するように、装置８００を構成することができる。
【0143】
いくつかの例示的な実施形態では、装置８００が動的制御モジュール８１０を含むことができ、この動的制御モジュールが、運転者の認知状態に関する指標を提供する一連の眼球反応を誘発するように動作可能な刺激のスペクトルを利用するように構成されている。いくつかの例示的な実施形態では、動的制御モジュール８１０が、刺激生成器８２０を利用して、運転者に与えられる一連の刺激を生成するように構成されている。一連の刺激は、パターンに一致する第１の部分と、パターンから逸脱する第２の部分とを含むことができる。請求項１に記載の方法において、パターンから逸脱する第２の部分は、刺激のタイミング、刺激の空間的位置、刺激の大きさ、および刺激のタイプのうちの少なくとも一つにおいてパターンから逸脱している。
【0144】
追加的または代替的には、刺激生成器８２０が、特定の脳活動を誘発するように動作可能な方法で、予想される時間的および／または空間的パターンを崩すというパラダイムに基づいて刺激を生成するように構成されている。刺激生成器８２０は、そのようなパターンを生成するために、パターン計算機８２４を利用することができ、オッドボール刺激、オッドボール刺激のセットなどを生成することによりパターンの崩れをもたらすために、逸脱計算機８２６を利用することができる。
【0145】
いくつかの例示的な実施形態では、刺激生成器８２０が、ＡＩモデル８２２を適用して、最適な刺激のセットを運転者に提供するように構成されている。ＡＩモデル８２２は、運転者の特徴、類似の特性を有する運転者の特徴、天候、道路状況、車両の特性などの環境特徴に適用することができる。ＡＩモデル８２２は、制御工学、強化学習、粒子フィルタ、転移学習などを含むことができる。刺激生成器８２０は、他の運転者からのデータを利用して、運転者の認知状態の評価の精度を高めるために、ビッグデータおよび転移学習のパラダイムを活用するように構成することができる。
【0146】
いくつかの例示的な実施形態では、刺激生成器８２０が、運転者に与える刺激を決定するために、人間の認知システム特性を利用するように構成されている。人間の認知システム特性は、人間の認知システムの３つの特徴、すなわち、（１）次元および情報を減らすための努力と、（２）世界に関する予測を行う能力と、（３）１および２のトップダウンおよびボトムアップの注意への依存とを含むことができる。刺激生成器８２０は、関連する刺激の位置、その動きのベクトルおよびその速度などの、適応反応を誘導するための関連情報のみを含む低減された刺激を生成するように構成されるものであってもよい。
【0147】
いくつかの例示的な実施形態では、動的制御モジュール８１０が、刺激のタイプに応じて一連の刺激をディスプレイ８３０に表示するように構成されている。ディスプレイ８３０は、車両内に配置された、運転者を向く出力デバイスであってもよい。例えば、視覚的刺激を、運転者を向くディスプレイやスクリーンに表示することができる。別の例として、聴覚的刺激を、ラジオ、マイクロフォン、コンピューティングデバイスなどの車両内のオーディオ手段によって提供することができる。さらに別の例として、触覚的刺激を、ステアリングホイール、運転席、シートベルトなどに設けられたセンサなど、運転者に触れる触覚手段によって適用することができる。
【0148】
いくつかの例示的な実施形態では、一連の刺激が、少なくとも部分的に、運転者の観察シーンにおいて自然に発生するものであってもよい。運転者の観察シーンは、視覚センサ（例えば、センサ８８０を使用）、ドライブレコーダ、フロントガラス上のカメラなどを使用してキャプチャすることができる。刺激生成器８２０は、一連の刺激のうち自然に発生する部分を特定するように構成することができる。いくつかの例示的な実施形態では、一連の刺激全体が、運転者の観察シーンで自然に発生するものであってもよい。パターン計算機８２４および逸脱計算機８２６は、観察シーンにおけるパターンおよびその崩れを判定し、パターンおよび逸脱を分析モジュール８４５に提供して、自然に発生する一連の刺激に応じてそれぞれの眼の特徴を特定するように構成することができる。追加的または代替的には、一連の刺激の一部のみが自然に発生するものであってもよい。拡張現実モジュール８６０を利用して、観察シーンの拡張ビューを生成し、運転者に一連の刺激を見せるようにしてもよい。刺激生成器８２０は、刺激のどの部分が自然に発生しているか、どの刺激を追加すべきかを判断し、それに応じて拡張現実モジュール８６０に指示するように構成することができる。拡張現実モジュール８６０は、車両のシステムに応じて拡張現実技術を利用して、追加された刺激を運転者の観察シーンに投影するように構成することができる。追加的または代替的には、拡張現実モジュール８６０は、運転者の観察シーンに応じて拡張現実ビューを生成し、それをディスプレイ８３０で表示するように構成することができる。
【0149】
いくつかの例示的な実施形態では、一連の刺激を与えている間に、１または複数のセンサ８３５を利用して、運転者の目の画像８４０のセットをキャプチャすることができる。センサ８３５は、車両内に位置し、運転者を向いている。センサ８３５は、アイトラッカ、内向きカメラ、サーモグラフィックカメラ、ＩＲセンサ、体温や脈拍などの生理学的パラメータを評価し、サングラスを透過するように動作可能なマルチスペクトルカメラなど含むことができる。追加的または代替的には、センサ８８０、車両コンピューティングデバイス８７０、車両コンピューティングデバイス８７０に接続されたＤＭＳなどの、車両の他のセンサまたはシステムから、画像８４０を取得することができる。
【0150】
いくつかの例示的な実施形態では、分析モジュール８４５が、画像８４０を分析して、各画像に対応する眼の特徴のセットを決定するように構成されている。眼の特徴のセットは、運転者の目のサッケード、視線方向、目の動きの速度、瞳孔のサイズ、瞳孔の拡張、目の収縮反応、目の間の対称性の測定、目の近傍の顔の表情、眉の動き、瞬きの速度、運転者の頭または首の動きなどに関連する特徴を含むことができる。
【0151】
いくつかの例示的な実施形態では、認知状態判定モジュール８５０が、画像８４０の眼の特徴のセットに基づいて、運転者の認知状態を判定するように構成されている。認知状態判定モジュール８５０は、それぞれの眼の特徴の測定された値のＩＣＡ、ＰＣＡ、エントロピー測定、ＳＴＤ、平均などの、画像８４０の眼の特徴のセットの１または複数の統計的測定に基づいて、認知状態を判定するように構成することができる。追加的または代替的には、各眼の特徴は、多層ネットワークの層として扱われ、ネットワーク分析技術を用いて、それに応じて分析されるようにしてもよい。各層は、それぞれの眼球反応と認知状態との関係に基づいて、例えば、過去の経験に基づいて、あるいは文献データに基づいて、重み付けすることができる。
【0152】
いくつかの例示的な実施形態では、認知状態判定モジュール８５０が、時間的データおよび位置データを利用して、アルコールおよび薬物の摂取の過去の確率を評価し、分析の感度を高めること等を行うように構成されている。時間的データおよび位置データは、経時的な車両の位置、パブや酒屋への近さ、運転時刻、および週末や深夜の時間帯などの一般的な薬物およびアルコール摂取の時間帯と重なる確率などを含むことができる。時間的データおよび位置データは、車両のＧＰＳ、運転者のモバイルデバイスの位置センサ、データベース８９０やオンラインデータベースなどのそのような情報の１または複数のデータベースなどから取得することができる。
【0153】
追加的または代替的には、認知状態判定モジュール８５０が、運転者の特性に基づいて分析を実行するように構成されている。いくつかの例示的な実施形態では、顔の特徴、ステアリングホイール上の指紋など、センサ８８０から得られたデータに基づく顔検出または他のバイオメトリック測定を使用して、運転者の身元が確立されるようにしてもよい。追加的または代替的には、運転者の身元は、運転者のコンピューティングデバイス、車両コンピューティングデバイス８７０などからのデータに基づいて特定することができる。
【0154】
追加的または代替的には、認知状態判定モジュール８５０は、アルコールおよび薬物の摂取に関連する運転者の習慣に基づいて、認知状態の判定を実行するように構成され、運転者の運転パターンなどに基づいて、尤度評価に使用することができる。そのようなデータは、運転者の以前の眼球データ（例えば、装置８００または同様の装置によって眼球データＤＢ８９５に格納されている）に基づいて求めることができ、データベース８９０または他のデータベース、例えば、その地域の警察の切符のデータベース、ソーシャルネットワークから得られるデータに基づいて、あるいは車両（８７０）のコンピューティングデバイスから得られる運転者の運転習慣に基づいて求めることができる。
【0155】
いくつかの例示的な実施形態では、認知状態判定モジュール８５０が、例えば、運転者の認知状態が最小閾値を超えているか否か、あるいは運転者の認知状態が安全運転要件に適合しているか否かなどを判定することにより、運転者の認知状態に基づいて、運転者が車両を安全に運転することができるか否かを判定するように構成されている。認知状態が最小閾値を下回っている、あるいは安全運転要件に適合していないと判定することに応答して、装置８００は、車両コンピューティングデバイス８７０を介して、車両のコントローラシステムに警告すること、車両内の１または複数の手法を用いて運転者に警告すること、車両コンピューティングデバイス８７０を介して車両の自動運転を起動すること、車両の速度を制限すること、車両に安全停止を指示すること、運転者のモバイルデバイスを介して第三者（友人、受託者、当局など）に警告を発すること、などの応答動作を実行するように構成することができる。
【0156】
いくつかの例示的な実施形態では、認知状態判定モジュール８５０が、認知状態を判定するために、特徴またはその統計的測定値のセットに分類器８５５を適用するように構成されている。いくつかの例示的な実施形態では、アルコールまたは薬物の影響を受けているとき、あるいは疲れているときなどの運転者の運転習慣と、酔っていないときの運転者の運転習慣とを比較するなど、運転者を監視することによって得られた測定値のセットに関して分類器８５５を訓練することができる。追加的または代替的には、同じ年齢、同じ性別、同じ運転習慣など、運転者に類似した特徴を持つ１または複数の異なる運転者を監視することによって得られた測定値のセットに関して分類器８５５を訓練することができる。分類器８５５は、運転者の監視データなしで訓練することができる。
【0157】
本発明は、システム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有する１または複数のコンピュータ可読記憶媒体を含むことができる。
【0158】
コンピュータ可読記憶媒体は、命令実行デバイスにより使用される命令を保持および格納することができる有形のデバイスであり得る。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、またはそれらの任意の適切な組合せであるが、これらに限定されるものではない。コンピュータ可読記憶媒体のより具体的な例示列挙には、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリースティック、フロッピーディスク、命令が記録されたパンチカードや溝内の隆起構造などの機械的に符号化されたデバイス、およびそれらの任意の適切な組合わせが含まれる。本明細書で使用されるコンピュータ可読記憶媒体は、例えば、電波やその他の自由に伝播する電磁波、導波管や他の伝送媒体を伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または電線を介して伝送される電気信号など、一時的な信号自体であると解釈されるべきではない。
【0159】
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスに、またはネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはワイヤレスネットワークを介して、外部コンピュータまたは外部記憶デバイスにダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータおよび／またはエッジサーバを含むことができる。各コンピューティング／処理デバイスのネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に格納するためにコンピュータ可読プログラム命令を転送する。
【0160】
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む１または複数のプログラミング言語の任意の組合せで記述されたソースコードまたはオブジェクトコードの何れかであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行される場合、一部がユーザのコンピュータ上で実行される場合、スタンドアローンのソフトウェアパッケージとして実行される場合、一部がユーザのコンピュータ上で実行され、一部がリモートコンピュータ上で実行される場合、または完全にリモートコンピュータまたはサーバ上で実行される場合がある。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されるようにしても、あるいは外部のコンピュータに（例えば、インターネットサービスプロバイダを使用してインターネットを介して）接続されるようにしてもよい。いくつかの実施形態では、本発明の態様を実行するために、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路が、コンピュータ可読プログラム命令の状態情報を利用して、コンピュータ可読プログラム命令を実行し、電子回路をパーソナライズすることができる。
【0161】
本発明の態様は、本発明の実施形態に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して本明細書に記述されている。フローチャート図および／またはブロック図の各ブロック、並びに、フローチャート図および／またはブロック図のブロックの組合せは、コンピュータ可読プログラム命令によって実行できることが理解されよう。
【0162】
それらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサに提供され、それにより、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図の１または複数のブロックで指定される機能／動作を実施するための手段を作成するように、マシンをもたらすことができる。また、それらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に記憶されて、コンピュータ、プログラマブルデータ処理装置および／または他の装置が特定の方法で機能するように指示することができ、その場合、命令を格納したコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図の１または複数のブロックで指定された機能／動作の態様を実施する命令を含む製造品を含む。
【0163】
コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスにロードされて、一連の動作ステップがコンピュータ、他のプログラマブル装置または他のデバイス上で実行されることにより、コンピュータ実行プロセスを生成することができ、その結果、コンピュータ、他のプログラマブル装置または他のデバイス上で実行される命令が、フローチャートおよび／またはブロック図の１または複数のブロックで指定される機能／動作を実行するようになっている。
【0164】
図中のフローチャートおよびブロック図は、本発明の様々な実施形態に係るシステム、方法およびコンピュータプログラム製品の可能な実施のアーキテクチャ、機能および動作を示している。これに関連して、フローチャートまたはブロック図の各ブロックは、指定された１または複数の論理機能を実装するための１または複数の実行可能な命令を含む、モジュール、セグメントまたは命令の一部を表すことができる。いくつかの代替的な実施形態では、ブロックに記載の機能が、図面に記載されている順序とは異なる場合がある。例えば、連続して表示される２つのブロックは、実際には実質的に同時に実行されたり、あるいは関係する機能に応じて、ブロックが逆の順序で実行されたりすることもある。また、ブロック図および／またはフローチャート図の各ブロック、並びに、ブロック図および／またはフローチャート図のブロックの組合せは、指定された機能または動作を実行する専用のハードウェアベースのシステム、または専用のハードウェアおよびコンピュータ命令の組合せを実行する専用のハードウェアベースのシステムによって実施できることにも留意されたい。
【0165】
本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、本発明を限定することを意図するものではない。本明細書では、単数形の「ａ」、「ａｎ」および「ｔｈｅ」は、文脈が明らかにそうでないことを示さない限り、複数形も含むことが意図されている。本明細書で使用される「含む（ｃｏｍｐｒｉｓｅｓ）」および／または「含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、記載された特徴、整数、ステップ、操作、要素および／または構成要素の存在を特定するが、１または複数の他の特徴、整数、ステップ、操作、要素、構成要素および／またはそれらのグループの存在または追加を排除するものではないことがさらに理解されよう。
【0166】
以下の特許請求の範囲におけるすべての手段またはステッププラスファンクション要素の対応する構造、材料、動作および均等物は、具体的に請求された他の請求された要素と組み合わせて機能を実行するための任意の構造、材料または動作を含むことが意図されている。本発明の説明は、例示および説明の目的で提示してきたが、網羅的であることを意図したものではなく、また、開示された形態の本発明に限定されることを意図したものではない。本発明の範囲および趣旨から逸脱することなく、多くの修正および変更が、当業者には明らかであろう。実施形態は、本発明の原理および実際の適用を最もよく説明し、当業者が、企図される特定の使用に適した様々な変更を伴う様々な実施形態について本発明を理解できるようにするために、選択および記載されたものである。
【図1】
【図2A】
【図2B】
【図2C】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【国際調査報告】