知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-05-07
(45)【発行日】2025-05-15
(54)【発明の名称】運転者状態判定方法及びその判定システム
(51)【国際特許分類】
B60W 40/08 20120101AFI20250508BHJP
B60W 50/12 20120101ALI20250508BHJP
G08G 1/16 20060101ALI20250508BHJP
A61B 5/18 20060101ALI20250508BHJP
B60K 28/06 20060101ALI20250508BHJP
G06T 7/00 20170101ALI20250508BHJP
G06T 7/70 20170101ALI20250508BHJP
【ＦＩ】
B60W40/08
B60W50/12
G08G1/16 F
A61B5/18
B60K28/06 A
G06T7/00 650Z
G06T7/70 B
【請求項の数】
5
(21)【出願番号】P 2021127274
(22)【出願日】2021-08-03
(65)【公開番号】P2023022409
(43)【公開日】2023-02-15
【審査請求日】2024-06-18
(73)【特許権者】
【識別番号】000003137
【氏名又は名称】マツダ株式会社
(74)【代理人】
【識別番号】100089004
【弁理士】
【氏名又は名称】岡村 俊雄
(72)【発明者】
【氏名】岩瀬 耕二
(72)【発明者】
【氏名】岩下 洋平
【審査官】藤村 泰智
(56)【参考文献】
【文献】特開２０１３－２４２７６３（ＪＰ，Ａ）
【文献】特開２００８－０７１１６２（ＪＰ，Ａ）
【文献】特開２０２１－０７７１３６（ＪＰ，Ａ）
【文献】特開２０２１－０７７１４０（ＪＰ，Ａ）
【文献】特開２０１９－０９１２５５（ＪＰ，Ａ）
【文献】特開２０２０－０７１５３７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２１／００６１２８７（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６０Ｗ ４０／００ ～ ５０／１６
Ｇ０８Ｇ １／００ ～ １／１６
Ａ６１Ｂ ５／１６ ～ ５／１８
Ｂ６０Ｋ ２８／０６
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／７０
(57)【特許請求の範囲】
【請求項1】
車両の運転者の状態を判定する運転者状態判定方法において、前記車両の周辺状況に関する情報を取得する周辺情報取得工程と、
前記運転者の視界に表われる視界画像を作成する視界画像作成工程と、
標準的視界画像に基づく基準視線分布を生成する基準視線分布生成工程と、
前記運転者の視線挙動に基づいて視線挙動分布を生成する視線挙動分布生成工程と、
環境及び／又は前記車両特性に起因した第１の外乱因子による影響度を用いて前記基準視線分布を補正して第１補正視線分布を取得する第１補正工程と、
前記運転者の特性に起因した第２の外乱因子による影響度を用いて前記第１補正視線分布を補正して第２補正視線分布を取得する第２補正工程と、
前記視線挙動分布と前記第２補正視線分布との差異が判定閾値以上のとき、前記運転者の異常を判定する運転者異常推定工程と、
を有することを特徴とする運転者状態判定方法。
【請求項2】
前記第１補正工程は、前記車両が工場から出荷される前に行われることを特徴とする請求項１に記載の運転者状態判定方法。
【請求項3】
サリエンシーマップを作成するサリエンシーマップ作成工程を有し、前記運転者異常推定工程は、前記サリエンシーマップ上において前記運転者の視線挙動のうち注視点に一致する点の誘目度が閾値を上回る第１の確率と前記サリエンシーマップ上のランダム点の誘目度が閾値を上回る第２の確率とを比較し、前記第１の確率と前記第２の確率が所定値以上離隔している場合、前記運転者の異常を判定することを特徴とする請求項１又は２に記載の運転者状態判定方法。
【請求項4】
車両の外部環境に対する注意度を検出する注意度検出工程を有し、前記運転者異常推定工程は、前記注意度と、前記運転者の視線挙動のうちサッケードの振幅又は頻度とに基づいて前記運転者の異常を判定することを特徴とする請求項１～３の何れか１項に記載の運転者状態判定方法。
【請求項5】
車両の運転者の状態を判定する運転者状態判定システムにおいて、前記車両の周辺状況に関する情報を取得する周辺情報取得手段と、
前記運転者の視界に表われる視界画像を作成する視界画像作成手段と、
標準的視界画像に基づく基準視線分布を生成する基準視線分布生成手段と、
前記運転者の視線挙動に基づいて視線挙動分布を生成する視線挙動分布生成手段と、
環境及び／又は前記車両特性に起因した第１の外乱因子による影響度を用いて前記基準視線分布を補正して第１補正視線分布を取得する第１補正手段と、
前記運転者の特性に起因した第２の外乱因子による影響度を用いて前記第１補正視線分布を補正して第２補正視線分布を取得する第２補正手段と、
前記視線挙動分布と前記第２補正視線分布との差異が判定閾値以上のとき、前記運転者の異常を判定する運転者異常推定手段とを有することを特徴とする運転者状態判定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の運転者の状態を判定する運転者状態判定方法及びその判定システムに関する。
【背景技術】
【0002】
昨今、国家的に自動運転システムの開発が推進されている。本出願人は、現時点において、自動運転システムには、大きく分けると２つの方向性があると考えている。
【0003】
第１の方向性は、自動車が主体となって運転者の操作を要することなく乗員を目的地まで運ぶシステムであり、所謂自動車の完全自動走行である。
第２の方向性は、「自動車の運転が楽しめる環境を提供する」というように、あくまで人間が運転することを前提とした自動運転システムである。
第２の方向性は、「自動車の運転が楽しめる環境を提供する」というように、あくまで人間が運転することを前提とした自動運転システムである。
【0004】
第２の方向性の自動運転システムでは、例えば、運転者に疾患等が発生し正常な運転が困難な状況が発生した場合等に、自動的に、自動車が乗員に代わって自動運転を行うことが想定される。このため、運転者に異常が発生したこと、特に、運転者に機能障害や疾患が発生したことを如何に早期に且つ精度良く発見できるかが、運転者の救命率の向上や周囲を含めた安全を確保する観点から極めて重要となる。
【0005】
運転者の異常を判定する方法として、例えば、特許文献１の運転支援装置には、車両周辺の撮像画像とドライバー情報と車両情報とに基づき生成モデルを学習させて運転者特有のパーソナルサリエンシーマップを生成すると共に運転者の顔画像に基づき視線分布を生成し、パーソナルサリエンシーマップと視線分布との差分を演算して、運転者が視認すべき対象に視線を向けているか否か判定する技術が開示されている。
【0006】
特許文献１の技術は、パーソナルサリエンシーマップと視線分布との差分が予め設定された閾値以上の場合、運転者が視認すべき対象に視線を向けていないと判断する一方、パーソナルサリエンシーマップと視線分布との差分が予め設定された閾値未満の場合、運転者が視認すべき対象に視線を向けていると判断する。
また、特許文献１は、運転者に特化したサブモジュールを作成することなく、運転者毎に違いが表現されたパーソナルサリエンシーマップを生成することができる。
また、特許文献１は、運転者に特化したサブモジュールを作成することなく、運転者毎に違いが表現されたパーソナルサリエンシーマップを生成することができる。
【先行技術文献】
【特許文献】
【0007】
【文献】特開２０２０－０７１５３７号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献１の技術は、環境因子が含まれる撮像画像と、ヒト因子が含まれるドライバー情報と、車因子が含まれる車両情報とを用いて運転者の危険認識状態を判断する。
これにより、運転者が周辺の危険を認識しているか否かの判断精度を向上している。
運転者の視線挙動は、外乱因子のうち、主に、環境因子、ヒト因子、車因子（以下、Ｎ因子という）の影響を受けて変化する特性を有し、これらＮ因子の影響によって運転者の状態推定精度も変化する。
これにより、運転者が周辺の危険を認識しているか否かの判断精度を向上している。
運転者の視線挙動は、外乱因子のうち、主に、環境因子、ヒト因子、車因子（以下、Ｎ因子という）の影響を受けて変化する特性を有し、これらＮ因子の影響によって運転者の状態推定精度も変化する。
【0009】
運転者の状態判定における判定精度を担保するためには、Ｎ因子の各々について、膨大な量のデータを収集すると共に判定処理の実行前に事前学習しておく必要がある。
それ故、特許文献１の技術では、各因子の学習用データを収集するための学習期間（データ収集期間）が長期化する虞がある上、学習期間が完了する前においては高い判定精度を確保することができない虞もある。
それ故、特許文献１の技術では、各因子の学習用データを収集するための学習期間（データ収集期間）が長期化する虞がある上、学習期間が完了する前においては高い判定精度を確保することができない虞もある。
【0010】
各因子の学習完了までの期間、Ｎ因子に代わる判定指標が必要であり、また、学習用データを収集するための学習期間の短縮化を図るためには、Ｎ因子毎の専用の演算処理が夫々複雑化することが予想されることから、コストの観点での問題発生が懸念される。
即ち、運転者の状態判定において、各Ｎ因子の学習状況に拘らず判定精度を確保することは容易ではない。
即ち、運転者の状態判定において、各Ｎ因子の学習状況に拘らず判定精度を確保することは容易ではない。
【0011】
本発明の目的は、外乱因子の学習期間に拘らず状態判定精度を確保可能な運転者状態判定方法及びその判定システム等を提供することである。
【課題を解決するための手段】
【0012】
請求項１の発明は、車両の運転者の状態を判定する運転者状態判定方法において、前記車両の周辺状況に関する情報を取得する周辺情報取得工程と、前記運転者の視界に表われる視界画像を作成する視界画像作成工程と、標準的視界画像に基づく基準視線分布を生成する基準視線分布生成工程と、前記運転者の視線挙動に基づいて視線挙動分布を生成する視線挙動分布生成工程と、環境及び／又は前記車両特性に起因した第１の外乱因子による影響度を用いて前記基準視線分布を補正して第１補正視線分布を取得する第１補正工程と、前記運転者の特性に起因した第２の外乱因子による影響度を用いて前記第１補正視線分布を補正して第２補正視線分布を取得する第２補正工程と、前記視線挙動分布と前記第２補正視線分布との差異が判定閾値以上のとき、前記運転者の異常を判定する運転者異常推定工程と、を有することを特徴としている。
【0013】
この運転者状態判定方法では、環境及び／又は前記車両特性に起因した第１の外乱因子による影響度を用いて前記基準視線分布を補正して第１補正視線分布を取得する第１補正工程と、前記運転者の特性に起因した第２の外乱因子による影響度を用いて前記第１補正視線分布を補正して第２補正視線分布を取得する第２補正工程とを有するため、比較的運転者の個人差が生じない第１の外乱因子による影響度の設定を運転者による実際の走行前に行うことができる。また、運転者の特性に起因した第２の外乱因子による影響度を用いた補正のみを運転者による実際の走行によって行うことにより、補正工程における学習期間の短縮化を図ることができる。前記視線挙動分布と前記第２補正視線分布との差異が判定閾値以上のとき、前記運転者の異常を判定する運転者異常推定工程を有するため、短い学習期間にも拘わらず運転者の異常判定を容易に且つ高精度に行うことができる。
【0014】
請求項２の発明は、請求項１の発明において、前記第１補正工程は、前記車両が工場から出荷される前に行われることを特徴としている。
この構成によれば、運転者による補正工程期間の短縮化を一層図ることができる。
この構成によれば、運転者による補正工程期間の短縮化を一層図ることができる。
【0015】
請求項３の発明は、請求項１又は２の発明において、サリエンシーマップを作成するサリエンシーマップ作成工程を有し、前記運転者異常推定工程は、前記サリエンシーマップ上において前記運転者の視線挙動のうち注視点に一致する点の誘目度が閾値を上回る第１の確率と前記サリエンシーマップ上のランダム点の誘目度が閾値を上回る第２の確率とを比較し、前記第１の確率と前記第２の確率が所定値以上離隔している場合、前記運転者の異常を判定することを特徴としている。
この構成によれば、誘目性が高い箇所に運転者の視線が誘導されない状況に基づき運転者の異常状態を判定することができ、運転者の異常判定を一層容易に行うことができる。
この構成によれば、誘目性が高い箇所に運転者の視線が誘導されない状況に基づき運転者の異常状態を判定することができ、運転者の異常判定を一層容易に行うことができる。
【0016】
請求項４の発明は、請求項１～３の何れか１項において、車両の外部環境に対する注意度を検出する注意度検出工程を有し、前記運転者異常推定工程は、前記注意度と、前記運転者の視線挙動のうちサッケードの振幅又は頻度とに基づいて前記運転者の異常を判定することを特徴としている。この構成によれば、運転者のサッケードの振幅又は頻度が所定の閾値よりも下回った状況に基づき運転者の異常状態を判定することができ、運転者の異常判定を一層容易に行うことができる。
【0017】
請求項５の発明は、車両の運転者の状態を判定する運転者状態判定システムにおいて、前記車両の周辺状況に関する情報を取得する周辺情報取得手段と、前記運転者の視界に表われる視界画像を作成する視界画像作成手段と、標準的視界画像に基づく基準視線分布を生成する基準視線分布生成手段と、前記運転者の視線挙動に基づいて視線挙動分布を生成する視線挙動分布生成手段と、環境及び／又は前記車両特性に起因した第１の外乱因子による影響度を用いて前記基準視線分布を補正して第１補正視線分布を取得する第１補正手段と、前記運転者の特性に起因した第２の外乱因子による影響度を用いて前記第１補正視線分布を補正して第２補正視線分布を取得する第２補正手段と、前記視線挙動分布と前記第２補正視線分布との差異が判定閾値以上のとき、前記運転者の異常を判定する運転者異常推定手段とを有することを特徴としている。
【0018】
この運転者状態判定システムでは、環境及び／又は前記車両特性に起因した第１の外乱因子による影響度を用いて前記基準視線分布を補正して第１補正視線分布を取得する第１補正手段と、前記運転者の特性に起因した第２の外乱因子による影響度を用いて前記第１補正視線分布を補正して第２補正視線分布を取得する第２補正手段とを有するため、比較的運転者の個人差が生じない第１の外乱因子による影響度の設定を運転者による実際の走行前に行うことができる。また、運転者の特性に起因した第２の外乱因子による影響度を用いた補正のみを運転者による実際の走行によって行うことにより、補正工程における学習期間の短縮化を図ることができる。前記視線挙動分布と前記第２補正視線分布との差異が判定閾値以上のとき、前記運転者の異常を判定する運転者異常推定手段を有するため、短い学習期間にも拘わらず運転者の異常判定を容易に且つ高精度に行うことができる。
【発明の効果】
【0019】
本発明の運転者状態判定方法及びその判定システムによれば、外乱因子のうち環境及び／又は車両特性に起因した第１の外乱因子による影響度を用いて予め補正することにより、外乱因子の学習期間に拘らず高い状態判定精度を確保することができる。
【図面の簡単な説明】
【0020】
【図1】実施例１に係る運転者状態判定システムの構成を例示するブロック図である。
【図2】制御部の処理を説明する図である。
【図3】視線挙動分布であって、サリエンシーに対応する正規分布と、サッケードの振幅に対応する正規分布と、サッケードの頻度に対応する正規分布とを示している。
【図4】運転者の注視点に係るサリエンシーの時間変化の一例を示した図である。
【図6】ランダム点における閾値を超える確率と運転者の注視点における閾値を超える確率とを比較したグラフである。
【図7】サリエンシー指標の説明図である。
【図8】サリエンシー指標の時系列分布を示す図である。
【図9】リスクポテンシャルの時系列分布を示す図である。
【図10】サリエンシー指標とリスクポテンシャルの合成時系列分布を示す図である。
【図11】リスクポテンシャルの区分領域毎におけるサリエンシー指標の確率分布を示す図である。
【図12】サッケードの抽出について説明するためのグラフである。
【図13】サッケードのノイズ除去処理について説明するためのグラフである。
【図14】事前学習処理のフローチャートである。
【図15】状態判定処理のフローチャートである。
【図16】学習フェーズ処理のフローチャートである。
【発明を実施するための形態】
【0021】
以下、本発明の実施形態を図面に基づいて詳細に説明する。
以下の説明は、本発明を車両の運転者状態判定システムに適用したものを例示したものであり、本発明、その適用物、或いは、その用途を制限するものではない。
また、以下の説明は、運転者状態判定方法の説明を含むものである。
以下の説明は、本発明を車両の運転者状態判定システムに適用したものを例示したものであり、本発明、その適用物、或いは、その用途を制限するものではない。
また、以下の説明は、運転者状態判定方法の説明を含むものである。
【実施例1】
【0022】
以下、本発明の実施例１について図１～図１６に基づいて説明する。
この運転者状態判定システムＳは、車両を操縦する運転者の視線挙動に基づき運転者の異常状態の予兆を捉えることにより、運転者の状態を推定するシステムである。
車両は、例えば、右ハンドル式の自動四輪車であり、マニュアル運転と、アシスト運転と、自動運転とに切り換え可能である。マニュアル運転は、運転者の操作（例えば、アクセル操作等）に応じて走行する運転である。アシスト運転は、運転者の操作を車両が支援して走行する運転である。自動運転は、運転者の操作なしに走行する運転である。
この運転者状態判定システムＳは、車両を操縦する運転者の視線挙動に基づき運転者の異常状態の予兆を捉えることにより、運転者の状態を推定するシステムである。
車両は、例えば、右ハンドル式の自動四輪車であり、マニュアル運転と、アシスト運転と、自動運転とに切り換え可能である。マニュアル運転は、運転者の操作（例えば、アクセル操作等）に応じて走行する運転である。アシスト運転は、運転者の操作を車両が支援して走行する運転である。自動運転は、運転者の操作なしに走行する運転である。
【0023】
図１に示すように、運転者状態判定システムＳは、マニュアル運転及びアシスト運転において、車両による挙動を制御する。具体的には、運転者状態判定システムＳは、車両に設けられたアクチュエータ３を制御することで車両の動作（特に走行動作）を制御する。
運転者状態判定システムＳは、情報取得部１（周辺情報取得手段）と、制御部２と、アクチュエータ３と、通知部４を主な構成要素としている。運転者の異常が判定されたとき、アクチュエータ３により車両が予め設定された安全領域に退避され、通知部４により運転者の異常が管理センタに通知される。
運転者状態判定システムＳは、情報取得部１（周辺情報取得手段）と、制御部２と、アクチュエータ３と、通知部４を主な構成要素としている。運転者の異常が判定されたとき、アクチュエータ３により車両が予め設定された安全領域に退避され、通知部４により運転者の異常が管理センタに通知される。
【0024】
まず、情報取得部１について説明する。
情報取得部１は、車両の制御、主に走行制御に用いられる各種情報、車両周辺状況に関する各種情報、及び運転者の状態判定に用いられる各種情報を各々取得するものである。
図１に示すように、この情報取得部１は、複数の外部カメラ１１と、内部カメラ１２と、複数のレーダ１３と、位置センサ１４と、外部入力部１５と、車両状態センサ１６と、運転操作センサ１７と、生体情報センサ１８等を備えている。
外部カメラ１１と、複数のレーダ１３と、位置センサ１４と、外部入力部１５が、周辺情報取得手段、内部カメラ１２及び生体情報センサ１８が、運転者特性取得手段、車両状態センサ１６及び運転操作センサ１７が、車両状態取得手段に夫々対応している。
情報取得部１は、車両の制御、主に走行制御に用いられる各種情報、車両周辺状況に関する各種情報、及び運転者の状態判定に用いられる各種情報を各々取得するものである。
図１に示すように、この情報取得部１は、複数の外部カメラ１１と、内部カメラ１２と、複数のレーダ１３と、位置センサ１４と、外部入力部１５と、車両状態センサ１６と、運転操作センサ１７と、生体情報センサ１８等を備えている。
外部カメラ１１と、複数のレーダ１３と、位置センサ１４と、外部入力部１５が、周辺情報取得手段、内部カメラ１２及び生体情報センサ１８が、運転者特性取得手段、車両状態センサ１６及び運転操作センサ１７が、車両状態取得手段に夫々対応している。
【0025】
複数の外部カメラ１１は、車両の周囲を全体的に網羅するように設けられ、互いに同様の構成を有する。各々の外部カメラ１１は、車両の周囲に広がる環境（車両周辺の外部環境）の一部を撮像することにより、車両の外部環境の一部を示す画像データを取得する。
外部カメラ１１に取得された画像データは、制御部２に送信される。外部カメラ１１は、広角レンズを有する単眼カメラであり、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary metal-oxide-semiconductor）等の固体撮像素子を用いて構成される。
外部カメラ１１に取得された画像データは、制御部２に送信される。外部カメラ１１は、広角レンズを有する単眼カメラであり、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary metal-oxide-semiconductor）等の固体撮像素子を用いて構成される。
【0026】
内部カメラ１２は、車両内部に設けられる。
この内部カメラ１２は、運転者の眼球を含む所定領域を撮像することで運転者の目を含む画像データを取得する。内部カメラ１２は、運転者の前方に配置され、運転者の眼球が撮像範囲内になるように撮像範囲が設定されている。本車両は、運転者の眠気を判定するための眠気判定装置（図示略）を有し、内部カメラ１２は眠気判定装置の撮像手段と兼用されている。内部カメラ１２により得られた画像データは、制御部２に送信される。
この内部カメラ１２は、運転者の眼球を含む所定領域を撮像することで運転者の目を含む画像データを取得する。内部カメラ１２は、運転者の前方に配置され、運転者の眼球が撮像範囲内になるように撮像範囲が設定されている。本車両は、運転者の眠気を判定するための眠気判定装置（図示略）を有し、内部カメラ１２は眠気判定装置の撮像手段と兼用されている。内部カメラ１２により得られた画像データは、制御部２に送信される。
【0027】
複数のレーダ１３は、車両の周囲を全体的に網羅するように設けられ、互いに同様の構成を有する。レーダ１３は、車両の外部環境（例えば、他車両や建物等の障害物）の一部までの方向、相対速度、離隔距離等を求めるために外部環境の一部を検出している。
レーダ１３は、車両の外部環境の一部に向けて電波を送信すると共にこの外部環境の一部から反射された反射波を受信することで、車両の外部環境の一部を検出している。レーダ１３の検出結果は、制御部２に送信される。
レーダ１３は、車両の外部環境の一部に向けて電波を送信すると共にこの外部環境の一部から反射された反射波を受信することで、車両の外部環境の一部を検出している。レーダ１３の検出結果は、制御部２に送信される。
【0028】
位置センサ１４は、車両の位置（例えば、緯度及び経度）を検出する。
このセンサ１４は、全地球測位システムからのＧＰＳ情報を受信し、ＧＰＳ情報に基づいて車両の位置を検出する。位置センサ１４により得られた車両の位置情報は、制御部２に送信される。
このセンサ１４は、全地球測位システムからのＧＰＳ情報を受信し、ＧＰＳ情報に基づいて車両の位置を検出する。位置センサ１４により得られた車両の位置情報は、制御部２に送信される。
【0029】
外部入力部１５は、車両外部に設けられた車外ネットワーク（例えば、インターネット等）を通じて情報を入力する。外部入力部１５は、自車両の周囲に位置する他車両からの通信情報（車車間通信情報）、ナビゲーションシステムからのカーナビゲーションデータ、交通情報、高精度地図情報等を受信する。外部入力部１５により得られた車両の位置情報は、制御部２に送信される。
【0030】
車両状態センサ１６は、車両状態（例えば、速度、加速度、及びヨーレート等）を検出する。車両状態センサ１６は、車両の走行速度を検出する車速センサ、車両の加速度を検出する加速度センサ、車両のヨーレートを検出するヨーレートセンサ等を含む。
車両状態センサ１６により得られた車両の状態情報は、制御部２に送信される。
車両状態センサ１６により得られた車両の状態情報は、制御部２に送信される。
【0031】
運転操作センサ１７は、車両に与えられる運転操作を検出する。運転操作センサ１７は、アクセル開度センサ、操舵角センサ、ブレーキ油圧センサ等を含む。
アクセル開度センサは、アクセルペダルの操作量を検出する。操舵角センサは、ステアリングホイールの操作量を検出する。ブレーキ油圧センサは、ブレーキペダルの操作量を検出する。運転操作センサ１７により得られた車両の運転操作情報は、制御部２に送信される。
アクセル開度センサは、アクセルペダルの操作量を検出する。操舵角センサは、ステアリングホイールの操作量を検出する。ブレーキ油圧センサは、ブレーキペダルの操作量を検出する。運転操作センサ１７により得られた車両の運転操作情報は、制御部２に送信される。
【0032】
生体情報センサ１８は、運転者の生体情報（例えば、発汗や心拍等）を検出する。生体情報センサ１８により得られた情報は、制御部２に送信される。
【0033】
次に、制御部２について説明する。
図２に示すように、制御部２は、運転者の直近の視線挙動に基づく視線挙動分布Ｂａ，Ｂｂ，Ｂｃと外乱因子が反映された第２補正視線分布Ｙａ，Ｙｂ，Ｙｃとの差異（離隔距離）によって運転者の異常状態を判定している。
第２補正視線分布Ｙａ，Ｙｂ，Ｙｃは、標準的視界画像に基づく基準視線分布Ａａ，Ａｂ，Ａｃを後述する第１補正係数α（第１の外乱因子による影響度）を用いて補正して第１補正視線分布Ｘａ，Ｘｂ，Ｘｃを求めた後、この第１補正視線分布Ｘａ，Ｘｂ，Ｘｃを後述する第２補正係数β（第２の外乱因子による影響度）を用いて補正して求めている。
図２に示すように、制御部２は、運転者の直近の視線挙動に基づく視線挙動分布Ｂａ，Ｂｂ，Ｂｃと外乱因子が反映された第２補正視線分布Ｙａ，Ｙｂ，Ｙｃとの差異（離隔距離）によって運転者の異常状態を判定している。
第２補正視線分布Ｙａ，Ｙｂ，Ｙｃは、標準的視界画像に基づく基準視線分布Ａａ，Ａｂ，Ａｃを後述する第１補正係数α（第１の外乱因子による影響度）を用いて補正して第１補正視線分布Ｘａ，Ｘｂ，Ｘｃを求めた後、この第１補正視線分布Ｘａ，Ｘｂ，Ｘｃを後述する第２補正係数β（第２の外乱因子による影響度）を用いて補正して求めている。
【0034】
分布Ａａ，Ｂａ，Ｘａ，Ｙａはサリエンシー（誘目度）に関する正規分布、分布Ａｂ，Ｂｂ，Ｘｂ，Ｙｂはサッケード（跳躍性眼球運動）の振幅に関する正規分布、分布Ａｃ，Ｂｃ，Ｘｃ，Ｙｃはサッケードの頻度に関する正規分布である。
尚、特段の説明がない場合、各々を総称して、基準視線分布Ａａ，Ａｂ，Ａｃを基準視線分布Ａ、視線挙動分布Ｂａ，Ｂｂ，Ｂｃを視線挙動分布Ｂ、第１補正視線分布Ｘａ，Ｘｂ，Ｘｃを第１補正視線分布Ｘ、第２補正視線分布Ｙａ，Ｙｂ，Ｙｃを第２補正視線分布Ｙと記載する。
尚、特段の説明がない場合、各々を総称して、基準視線分布Ａａ，Ａｂ，Ａｃを基準視線分布Ａ、視線挙動分布Ｂａ，Ｂｂ，Ｂｃを視線挙動分布Ｂ、第１補正視線分布Ｘａ，Ｘｂ，Ｘｃを第１補正視線分布Ｘ、第２補正視線分布Ｙａ，Ｙｂ，Ｙｃを第２補正視線分布Ｙと記載する。
【0035】
図１に示すように、制御部２は、画像処理部２１と、注意度検出部２２と、視界画像作成部２３（視界画像作成手段）と、視線挙動分布生成部２４（視線挙動分布生成手段）と、補正部２５と、異常推定部２６（運転者異常推定手段）等を主な構成要素としている。
【0036】
まず、画像処理部２１について説明する。
画像処理部２１は、複数の外部カメラ１１で撮像された画像と内部カメラ１２で撮像された画像とを夫々受信し、画像処理を行う。これらの撮像された画像には、外部環境を認識するために用いる画像と、サリエンシーマップの生成に用いる画像と、運転者の視線方向を検出するために用いる画像とが含まれている。
画像処理部２１では、画像の歪を補正する歪補正処理や、画像のホワイトバランスを調整するホワイトバランス調整処理等を行う。
画像処理部２１は、複数の外部カメラ１１で撮像された画像と内部カメラ１２で撮像された画像とを夫々受信し、画像処理を行う。これらの撮像された画像には、外部環境を認識するために用いる画像と、サリエンシーマップの生成に用いる画像と、運転者の視線方向を検出するために用いる画像とが含まれている。
画像処理部２１では、画像の歪を補正する歪補正処理や、画像のホワイトバランスを調整するホワイトバランス調整処理等を行う。
【0037】
次に、注意度検出部２２について説明する。
注意度検出部２２は、レーダ１３と位置センサ１４と及び外部入力部１５とから出力された情報に基づき自車両周辺の環境因子を認識している。具体的には、道路環境及び障害物等を検出している。道路環境要因は、主に、交差点やＴ字路等の形状、道路勾配等の地形、舗装状態等である。障害物要因は、主に、障害物の有無、障害物の種類（他車両、歩行者、建物等）、障害物との相対関係（離隔距離、相対速度、配置関係等）等である。
この注意度検出部２２は、環境因子を認識して、自車両が走行する外部環境の注意度が所定の閾値よりも高い高注意度であるか否かについて検出している。
注意度検出部２２は、レーダ１３と位置センサ１４と及び外部入力部１５とから出力された情報に基づき自車両周辺の環境因子を認識している。具体的には、道路環境及び障害物等を検出している。道路環境要因は、主に、交差点やＴ字路等の形状、道路勾配等の地形、舗装状態等である。障害物要因は、主に、障害物の有無、障害物の種類（他車両、歩行者、建物等）、障害物との相対関係（離隔距離、相対速度、配置関係等）等である。
この注意度検出部２２は、環境因子を認識して、自車両が走行する外部環境の注意度が所定の閾値よりも高い高注意度であるか否かについて検出している。
【0038】
次に、視界画像作成部２３について説明する。
視界画像作成部２３は、外部カメラ１１及び内部カメラ１２からの入力に基づき、運転席に着座した運転者の視界領域に表われる視界画像を作成している。
視界画像作成部２３は、内部カメラ１２により撮像された運転者の眼球画像から、運転者の視線方向を算出する。例えば、運転者が内部カメラ１２のレンズを覗いた状態を基準にして、瞳孔の変化を検知することで運転者の視線方向を算出する。
この視界画像作成部２３は、外部カメラ１１が撮像した車両前方の外部環境画像に対して車両走行中に運転者の視界領域に入る車体構成部材を合成した視線画像を作成してる。
視界画像作成部２３は、運転者の視線方向と視線画像とから運転者の注視点を算出している。
視界画像作成部２３は、外部カメラ１１及び内部カメラ１２からの入力に基づき、運転席に着座した運転者の視界領域に表われる視界画像を作成している。
視界画像作成部２３は、内部カメラ１２により撮像された運転者の眼球画像から、運転者の視線方向を算出する。例えば、運転者が内部カメラ１２のレンズを覗いた状態を基準にして、瞳孔の変化を検知することで運転者の視線方向を算出する。
この視界画像作成部２３は、外部カメラ１１が撮像した車両前方の外部環境画像に対して車両走行中に運転者の視界領域に入る車体構成部材を合成した視線画像を作成してる。
視界画像作成部２３は、運転者の視線方向と視線画像とから運転者の注視点を算出している。
【0039】
次に、視線挙動分布生成部２４について説明する。
視線挙動分布生成部２４は、運転者の直近の視線挙動に基づいて視線挙動分布Ｂａ，Ｂｂ，Ｂｃを生成している。図３に示すように、視線挙動分布Ｂは、サリエンシー（誘目度）に関する正規分布Ｂａと、サッケード（跳躍性眼球運動）の振幅に関する正規分布Ｂｂと、サッケードの頻度に関する正規分布Ｂｃとの３つの正規分布により構成されている。
図１に示すように、視線挙動分布生成部２４は、サリエンシーマップ作成部２４ａと、振幅特性作成部２４ｂと、頻度特性作成部２４ｃとを有している。
視線挙動分布生成部２４は、運転者の直近の視線挙動に基づいて視線挙動分布Ｂａ，Ｂｂ，Ｂｃを生成している。図３に示すように、視線挙動分布Ｂは、サリエンシー（誘目度）に関する正規分布Ｂａと、サッケード（跳躍性眼球運動）の振幅に関する正規分布Ｂｂと、サッケードの頻度に関する正規分布Ｂｃとの３つの正規分布により構成されている。
図１に示すように、視線挙動分布生成部２４は、サリエンシーマップ作成部２４ａと、振幅特性作成部２４ｂと、頻度特性作成部２４ｃとを有している。
【0040】
サリエンシーマップ作成部２４ａは、サリエンシー指標（AUC：Area Under Curve）とリスクポテンシャル（RP）とからなる正規分布Ｂａを作成している。
このサリエンシーマップ作成部２４ａは、視界画像作成部２３が作成した視線画像の車体構成部材以外の部分について、色に基づくサリエンシー、輝度に基づくサリエンシー、動きに基づくサリエンシー等、特徴毎にサリエンシーを算出して特徴毎のサリエンシーマップを生成している。これら生成された特徴毎のサリエンシーマップを足し合わせることで最終的なサリエンシーマップを作成する。
このサリエンシーマップ作成部２４ａは、視界画像作成部２３が作成した視線画像の車体構成部材以外の部分について、色に基づくサリエンシー、輝度に基づくサリエンシー、動きに基づくサリエンシー等、特徴毎にサリエンシーを算出して特徴毎のサリエンシーマップを生成している。これら生成された特徴毎のサリエンシーマップを足し合わせることで最終的なサリエンシーマップを作成する。
【0041】
図４は、正常な第三者における注視点のサリエンシーの時間変化をプロットしたものである。このグラフは、注視点の変化を所定環境のサリエンシーマップに当てはめて、サッケードが生じる毎に注視点のサリエンシーの高さをプロットしたものである。
一方、図５は、図４で用いたサリエンシーマップと同じサリエンシーマップからランダムに座標（以下、ランダム座標という）を指定して、サッケードが生じる毎にランダム座標のサリエンシーを求めることで生成される。
一方、図５は、図４で用いたサリエンシーマップと同じサリエンシーマップからランダムに座標（以下、ランダム座標という）を指定して、サッケードが生じる毎にランダム座標のサリエンシーを求めることで生成される。
【0042】
次に、ランダム点における閾値を超える確率と第三者の注視点における閾値を超える確率とのＲＯＣ（Receiver Operating Characteristic）曲線を求める。
図６に示すように、ランダム点における閾値を超える確率（第１確率）を横軸、第三者の注視点における閾値を超える確率（第２確率）を縦軸とすることで、同一の閾値におけるランダム確率に対する注視確率を表している。
曲線Ｃ１のように上側に凸になる場合は、第三者の注視点がランダム点よりも閾値を超える確率が高く、高サリエンシー領域の影響を受けている。曲線Ｃ２のように下側に凸になる場合は、第三者の注視点がランダム点よりも閾値を超える確率が低く、高サリエンシー領域の影響を受けていない。
図６に示すように、ランダム点における閾値を超える確率（第１確率）を横軸、第三者の注視点における閾値を超える確率（第２確率）を縦軸とすることで、同一の閾値におけるランダム確率に対する注視確率を表している。
曲線Ｃ１のように上側に凸になる場合は、第三者の注視点がランダム点よりも閾値を超える確率が高く、高サリエンシー領域の影響を受けている。曲線Ｃ２のように下側に凸になる場合は、第三者の注視点がランダム点よりも閾値を超える確率が低く、高サリエンシー領域の影響を受けていない。
【0043】
サリエンシー指標（AUC）は、高サリエンシー領域への誘目度が高い程数値が高くなる指標である。図７に示すように、サリエンシー指標は、ＲＯＣ曲線の右下部分の積分値である。ランダム点との比較を行ったサリエンシー指標を用いることで、高サリエンシー領域の多さや広がり等、走行シーンへの依存性を低減することができる。
【0044】
リスクポテンシャル（RP）は、自車両の走行環境における危険度（運転者が感じる危険感）を適切に反映するように人工的に設定された場であり、例えば、周辺車両に対して各周辺車両の中心位置が最大となり、各周辺車両の周囲に拡がって行くような形状を有する適当な関数が設定されている。リスクポテンシャルの判定方法として、周辺車両との車間距離やＴＴＣ（Time To Collision）、道路線形や線形変化点までの距離等を用いても良い。
【0045】
そして、所定環境におけるサリエンシー指標の時系列分布を求める（図８参照）。
また、サリエンシー指標の時系列分布と同じ環境におけるリスクポテンシャルの時系列分布を求める（図９参照）。図１０に示すように、同じ所定時間（例えば、３０ｓｅｃ）におけるサリエンシー指標の時系列分布とリスクポテンシャルの時系列分布とを合成する。
サリエンシー指標とリスクポテンシャルの合成時系列分布を、所定のリスクポテンシャル幅で均等に区分し、各区分領域（以下、ｂｉｎという）におけるサリエンシー指標の確率分布を夫々算出する。
また、サリエンシー指標の時系列分布と同じ環境におけるリスクポテンシャルの時系列分布を求める（図９参照）。図１０に示すように、同じ所定時間（例えば、３０ｓｅｃ）におけるサリエンシー指標の時系列分布とリスクポテンシャルの時系列分布とを合成する。
サリエンシー指標とリスクポテンシャルの合成時系列分布を、所定のリスクポテンシャル幅で均等に区分し、各区分領域（以下、ｂｉｎという）におけるサリエンシー指標の確率分布を夫々算出する。
【0046】
図１１に示すように、区分領域数が、例えば１０の場合、ｂｉｎ１におけるサリエンシー指標の確率分布からｂｉｎ１０におけるサリエンシー指標の確率分布までを全て足し合わせて、最終的な正規分布Ｂａ（運転者の直近の正規分布Ｂａ）を演算している。
【0047】
振幅特性作成部２４ｂは、サッケード指標の一つである振幅とリスクポテンシャル（RP）とからなる正規分布Ｂｂを作成している。
サッケードとは、運転者が不随意且つ反射的に視線を移動させる跳躍性眼球運動であり、視線が所定時間停滞する注視点から次の注視点に視線を移動させる眼球運動のことである。
図１２に示すように、隣り合う注視期間の間に挟まれた期間がサッケード期間となる。サッケードの振幅ｄｓは、サッケード期間における視線の移動距離である。
サッケードとは、運転者が不随意且つ反射的に視線を移動させる跳躍性眼球運動であり、視線が所定時間停滞する注視点から次の注視点に視線を移動させる眼球運動のことである。
図１２に示すように、隣り合う注視期間の間に挟まれた期間がサッケード期間となる。サッケードの振幅ｄｓは、サッケード期間における視線の移動距離である。
【0048】
視線の移動速度が予め定められた速度閾値（例えば、２deg／s）未満である状態が予め定められた停滞時間継続する期間（例えば、０．１秒間）を注視期間として抽出し、隣り合う注視期間の間に挟まれた期間における視線移動のうち、移動速度が速度閾値（例えば、40deg／s）以上で且つ移動距離が距離閾値（例えば、3deg）以上である視線移動をサッケード候補として抽出している。
【0049】
図１３に示すように、例えば最小二乗法により複数のサッケード候補を用いて回帰曲線Ｌ１０を導出する。次に、回帰曲線Ｌ１０を移動速度が減少する方向にシフトさせることで第１基準曲線Ｌ１１を導出し、回帰曲線Ｌ１０を移動速度が増加する方向にシフトさせることで第２基準曲線Ｌ１２を導出する。そして、第１基準曲線Ｌ１１と第２基準曲線Ｌ１２との間をサッケード範囲Ｒ１０として、このサッケード範囲Ｒ１０に含まれるサッケード候補を選択されたサッケードとして抽出する。
【0050】
振幅特性作成部２４ｂは、正規分布Ｂａのときと同様に、所定環境におけるサッケード指標の振幅に係る時系列分布（図示略）を求める。また、サッケード指標の時系列分布と同じ環境におけるリスクポテンシャルの時系列分布（図示略）を求める。
同じ所定時間（例えば、３０ｓｅｃ）におけるサッケード指標の時系列分布とリスクポテンシャルの時系列分布とを合成する。サッケード指標とリスクポテンシャルの合成時系列分布を、所定のリスクポテンシャル幅で均等に区分し、各区分領域におけるサッケード指標の確率分布を夫々算出する。区分領域数が、例えば１０の場合、ｂｉｎ１のサッケード指標の確率分布からｂｉｎ１０のサッケード指標の確率分布を全て合成してサッケードに関する正規分布Ｂｂを演算する。
同じ所定時間（例えば、３０ｓｅｃ）におけるサッケード指標の時系列分布とリスクポテンシャルの時系列分布とを合成する。サッケード指標とリスクポテンシャルの合成時系列分布を、所定のリスクポテンシャル幅で均等に区分し、各区分領域におけるサッケード指標の確率分布を夫々算出する。区分領域数が、例えば１０の場合、ｂｉｎ１のサッケード指標の確率分布からｂｉｎ１０のサッケード指標の確率分布を全て合成してサッケードに関する正規分布Ｂｂを演算する。
【0051】
頻度特性作成部２４ｃは、サッケード指標の一つである頻度とリスクポテンシャル（RP）とからなる正規分布Ｂｃを作成している。サッケード指標の一つである頻度は、所定時間（例えば、３０ｓｅｃ）におけるサッケード回数を所定時間で除算した値である。
この頻度特性作成部２４ｃは、正規分布Ｂａのときと同様に、所定環境におけるサッケード指標の頻度に係る時系列分布（図示略）とリスクポテンシャルの時系列分布（図示略）とを用いてサッケードに関する正規分布Ｂｃを演算する。
この頻度特性作成部２４ｃは、正規分布Ｂａのときと同様に、所定環境におけるサッケード指標の頻度に係る時系列分布（図示略）とリスクポテンシャルの時系列分布（図示略）とを用いてサッケードに関する正規分布Ｂｃを演算する。
【0052】
次に、補正部２５について説明する。
補正部２５は、運転者の直近の視線挙動分布Ｂとの差異（離隔距離）が比較される確率分布を算出している。図１，図２に示すように、補正部２５は、第１補正視線分布Ｘを取得する第１補正部２５ａ（第１補正手段）と、第２補正視線分布Ｙを取得する第２補正部２５ｂ（第２補正手段）とを備えている。
補正部２５は、運転者の直近の視線挙動分布Ｂとの差異（離隔距離）が比較される確率分布を算出している。図１，図２に示すように、補正部２５は、第１補正視線分布Ｘを取得する第１補正部２５ａ（第１補正手段）と、第２補正視線分布Ｙを取得する第２補正部２５ｂ（第２補正手段）とを備えている。
【0053】
第１補正部２５ａは、環境と車両特性に起因した第１の外乱因子による影響度を用いて基準視線分布Ａを補正して第１補正視線分布Ｘを算出している。
基本となる基準視線分布Ａは、車両が工場から出荷される前段階、具体的には、先行実験等により正常な第三者の視線挙動を用いて事前に作成されている。また、基準視線分布Ａを生成する基準視線分布生成手段は、先行実験を行う実験場に設けられている。
事前に作成されたデータ（基準視線分布Ａ、第１補正係数α）は、予め車両に格納されている。
基本となる基準視線分布Ａは、車両が工場から出荷される前段階、具体的には、先行実験等により正常な第三者の視線挙動を用いて事前に作成されている。また、基準視線分布Ａを生成する基準視線分布生成手段は、先行実験を行う実験場に設けられている。
事前に作成されたデータ（基準視線分布Ａ、第１補正係数α）は、予め車両に格納されている。
【0054】
人の視線挙動は、外乱因子のうち主に、Ｎ因子、所謂、環境因子、ヒト因子、車因子の影響を受けて変化する特性を有している。これらＮ因子の影響によって運転者の状態推定精度は変化する。第１の外乱因子は、Ｎ因子のうち個人差による影響が低い環境因子と車因子である。環境因子は、例えば、以下のものである。
道路（道路：種別、形状、車線数、数）
道路境界（道路：種別、相対位置、ＴＴＣ）
周辺交通（種別：数、相対位置、ＴＴＣ）
歩行者（種別：数、相対位置、ＴＴＣ）
構造物（死角、衝突予測距離）
天候（晴、雨）
照明（昼、夜）
道路（道路：種別、形状、車線数、数）
道路境界（道路：種別、相対位置、ＴＴＣ）
周辺交通（種別：数、相対位置、ＴＴＣ）
歩行者（種別：数、相対位置、ＴＴＣ）
構造物（死角、衝突予測距離）
天候（晴、雨）
照明（昼、夜）
【0055】
車因子は、例えば、以下のものである。
自車両挙動（車速、加速度、減速度、ヨーレート）
車両特性（操作／路面入力への応答
窓枠構造（形状／加飾、インパネ奥行き）
アイポイント（高さ）
ＨＭＩ（ＨＵＤ他のレイアウト）
環境因子と車因子は、上記項目のうちから１つ或いは複数の因子を夫々設定し、設定された因子について、以下の処理を行っている。
自車両挙動（車速、加速度、減速度、ヨーレート）
車両特性（操作／路面入力への応答
窓枠構造（形状／加飾、インパネ奥行き）
アイポイント（高さ）
ＨＭＩ（ＨＵＤ他のレイアウト）
環境因子と車因子は、上記項目のうちから１つ或いは複数の因子を夫々設定し、設定された因子について、以下の処理を行っている。
【0056】
第１補正部２５ａは、環境因子及び車因子の水準を考慮し、公知の統計学的手法を用いて環境因子及び車因子に応じた第１補正係数α（αａ，αｂ，αｃ）を演算する。
第１補正係数αは、第１の外乱因子による影響度に相当している。
第１補正部２５ａは、第１補正係数αを演算した後、次式によって第１補正視線分布Ｘａ，Ｘｂ，Ｘｃを求める。
Ｘ＝α×Ａ …（１）
尚、第１補正係数αは、環境因子と車因子を任意に変更して事前演算が可能であるため、本実施形態において、基準視線分布Ａ、第１補正係数α、及び第１補正視線分布Ｘは、工場出荷前に予め車両に格納されている。
第１補正係数αは、第１の外乱因子による影響度に相当している。
第１補正部２５ａは、第１補正係数αを演算した後、次式によって第１補正視線分布Ｘａ，Ｘｂ，Ｘｃを求める。
Ｘ＝α×Ａ …（１）
尚、第１補正係数αは、環境因子と車因子を任意に変更して事前演算が可能であるため、本実施形態において、基準視線分布Ａ、第１補正係数α、及び第１補正視線分布Ｘは、工場出荷前に予め車両に格納されている。
【0057】
第２補正部２５ｂは、運転者の特性に起因した第２の外乱因子による影響度を用いて第１補正視線分布Ｘを補正して第２補正視線分布Ｙを算出している。
第２の外乱因子は、Ｎ因子のうち個人差による影響が高いヒト因子である。
第２の外乱因子は、Ｎ因子のうち個人差による影響が高いヒト因子である。
【0058】
ヒト因子は、例えば、以下のものである。
体調（病気、疲労、覚醒度、酔い）
心理（快不快；不安・緊張／ワクワク、活性度、期待）
経験（直前の短期、長期的）
運転スキル（心身機能、メタ認知）
運転スタイル（価値観、性格、嗜好）
運転意識（安全意識、運転意欲、自己認識）
意思（運転目的、他乗員有無と関係）
文化
年齢（若年／高齢、価値観）
性別
ヒト因子は、上記項目のうちから１つ或いは複数の因子を設定し、設定された因子について、以下の処理を行っている。
体調（病気、疲労、覚醒度、酔い）
心理（快不快；不安・緊張／ワクワク、活性度、期待）
経験（直前の短期、長期的）
運転スキル（心身機能、メタ認知）
運転スタイル（価値観、性格、嗜好）
運転意識（安全意識、運転意欲、自己認識）
意思（運転目的、他乗員有無と関係）
文化
年齢（若年／高齢、価値観）
性別
ヒト因子は、上記項目のうちから１つ或いは複数の因子を設定し、設定された因子について、以下の処理を行っている。
【0059】
第２補正部２５ｂは、ヒト因子の水準を考慮し、公知の統計学的手法を用いてヒト因子に応じた第２補正係数β（βａ，βｂ，βｃ）を演算する。
第２補正係数βは、第２の外乱因子による影響度に相当している。第２補正部２５ｂは、第２補正係数βを演算した後、次式によって第２補正視線分布Ｙａ，Ｙｂ，Ｙｃを求める。
Ｙ＝β×Ｘ …（２）
第２補正係数βは、第２の外乱因子による影響度に相当している。第２補正部２５ｂは、第２補正係数βを演算した後、次式によって第２補正視線分布Ｙａ，Ｙｂ，Ｙｃを求める。
Ｙ＝β×Ｘ …（２）
【0060】
次に、異常推定部２６について説明する。
異常推定部２６は、確率分布の乖離度を用いた第１の異常判定機能と、サリエンシー（AUC）指標（図７参照）を用いた第２の異常判定機能と、注意度を用いた第３の異常判定機能との３つの判定機能を有している。
異常推定部２６は、確率分布の乖離度を用いた第１の異常判定機能と、サリエンシー（AUC）指標（図７参照）を用いた第２の異常判定機能と、注意度を用いた第３の異常判定機能との３つの判定機能を有している。
【0061】
第１の異常判定機能は、運転者の直近（例えば、３０ｓｅｃ期間）の視線挙動分布Ｂと第２補正視線分布Ｙとの差異が判定閾値以上のとき、運転者の異常状態を判定している。
本実施形態では、図２に示すように、異常推定部２６は、視線挙動分布Ｂａ，Ｂｂ，Ｂｃと第２補正視線分布Ｙａ，Ｙｂ，Ｙｃとの乖離度をカルバック・ライブラー情報量を用いて夫々演算する。
本実施形態では、図２に示すように、異常推定部２６は、視線挙動分布Ｂａ，Ｂｂ，Ｂｃと第２補正視線分布Ｙａ，Ｙｂ，Ｙｃとの乖離度をカルバック・ライブラー情報量を用いて夫々演算する。
【0062】
分布Ｂａ，Ｙａの乖離度Ｄａと、分布Ｂｂ，Ｙｂの乖離度Ｄｂと、分布Ｂｃ，Ｙｃの乖離度Ｄｃとを夫々求めて、次式に代入することで総乖離度Ｄを算出する。
Ｄ＝Ｄａ＋Ｄｂ＋Ｄｃ …（３）
全ての乖離度Ｄａ，Ｄｂ，Ｄｃを全て足し合わせた総乖離度Ｄが判定閾値（例えば、０．６）以上のとき、運転者の状態異常を判定する。
Ｄ＝Ｄａ＋Ｄｂ＋Ｄｃ …（３）
全ての乖離度Ｄａ，Ｄｂ，Ｄｃを全て足し合わせた総乖離度Ｄが判定閾値（例えば、０．６）以上のとき、運転者の状態異常を判定する。
【0063】
第２の異常判定機能は、サリエンシー指標（ＲＯＣ曲線の右下部分の積分値）が所定の判定閾値以上のとき、運転者の注意力が低下していると推定する。
第３の異常判定機能は、注意度検出部２２により高注意度が検出され且つサッケードの振幅ｄｓが大幅に減少した場合、運転者の注意力が低下していると推定する一方、注意度検出部２２により低注意度が検出され且つサッケードの頻度が大幅に減少した場合、運転者の注意力が低下していると推定する。
第３の異常判定機能は、注意度検出部２２により高注意度が検出され且つサッケードの振幅ｄｓが大幅に減少した場合、運転者の注意力が低下していると推定する一方、注意度検出部２２により低注意度が検出され且つサッケードの頻度が大幅に減少した場合、運転者の注意力が低下していると推定する。
【0064】
【0065】
図１４のフローチャートによって、事前学習処理の例を示す。事前学習処理は、基本的に車両が工場から出荷される前段階、例えば、実験場等で行われる。
先ず、情報取得部１からの情報や各種実験結果等各種情報を読み込み（Ｓ１）、Ｓ２に移行する。Ｓ２では、正常な第三者における標準的サリエンシー指標及び標準的サッケード指標（振幅、頻度）を演算した後、Ｓ３に移行する。
先ず、情報取得部１からの情報や各種実験結果等各種情報を読み込み（Ｓ１）、Ｓ２に移行する。Ｓ２では、正常な第三者における標準的サリエンシー指標及び標準的サッケード指標（振幅、頻度）を演算した後、Ｓ３に移行する。
【0066】
Ｓ３では、正常な第三者における標準的サリエンシー指標及び標準的サッケード指標に関するデータが十分に確保されたか否か判定する。
Ｓ３の判定の結果、データが十分に確保された場合、基準視線分布Ａａ，Ａｂ，Ａｃを夫々演算して（Ｓ４）、Ｓ５に移行する。Ｓ３の判定の結果、データが十分に確保されていない場合、Ｓ１にリターンする。
Ｓ３の判定の結果、データが十分に確保された場合、基準視線分布Ａａ，Ａｂ，Ａｃを夫々演算して（Ｓ４）、Ｓ５に移行する。Ｓ３の判定の結果、データが十分に確保されていない場合、Ｓ１にリターンする。
【0067】
Ｓ５では、第１補正視線分布Ｘを求め、式（１）を用いて第１補正係数αを演算した後、Ｓ６に移行する。
第１補正視線分布Ｘは正常状態の指標に相当しているため、標準的サリエンシー指標に対応する確率分布及び標準的サッケード指標に対応する確率分布は、第１補正視線分布Ｘに相当している。そこで、式（１）に、基準視線分布Ａと第１補正視線分布Ｘに相当する標準的サリエンシー指標に対応する確率分布及び標準的サッケード指標に対応する確率分布とを代入することにより、第１補正係数αを演算する。
第１補正視線分布Ｘは正常状態の指標に相当しているため、標準的サリエンシー指標に対応する確率分布及び標準的サッケード指標に対応する確率分布は、第１補正視線分布Ｘに相当している。そこで、式（１）に、基準視線分布Ａと第１補正視線分布Ｘに相当する標準的サリエンシー指標に対応する確率分布及び標準的サッケード指標に対応する確率分布とを代入することにより、第１補正係数αを演算する。
【0068】
Ｓ６では、基準視線分布Ａ及び第１補正係数αを制御部２に保存した後、終了する。
このＳ６は、基準視線分布Ａ及び第１補正係数αを保存するため、第１補正視線分布Ｘを取得する第１補正工程に相当している。
このＳ６は、基準視線分布Ａ及び第１補正係数αを保存するため、第１補正視線分布Ｘを取得する第１補正工程に相当している。
【0069】
次に、図１５のフローチャートによって、運転者の状態判定処理の例を示す。
状態判定処理は、運転者による車両の走行操作時に行われる。
先ず、情報取得部１からの情報、基準視線分布Ａ、第１補正係数α等各種情報を読み込み（Ｓ１１）、Ｓ１２に移行する。Ｓ１２では、現在のサリエンシー指標及び現在のサッケード指標（振幅、頻度）を演算した後、Ｓ１３に移行する。
状態判定処理は、運転者による車両の走行操作時に行われる。
先ず、情報取得部１からの情報、基準視線分布Ａ、第１補正係数α等各種情報を読み込み（Ｓ１１）、Ｓ１２に移行する。Ｓ１２では、現在のサリエンシー指標及び現在のサッケード指標（振幅、頻度）を演算した後、Ｓ１３に移行する。
【0070】
Ｓ１３では、第２補正係数βを保持しているか否かを判定する。
Ｓ１３の判定の結果、第２補正係数βを保持している場合、第２補正視線分布Ｙを演算することができるため、Ｓ１４に移行する。Ｓ１４では、式（１）に基準視線分布Ａと第１補正係数αを代入して第１補正視線分布Ｘを演算した後、式（２）に第１補正視線分布Ｘと第２補正係数βを代入して第２補正視線分布Ｙを求める。
Ｓ１３の判定の結果、第２補正係数βを保持している場合、第２補正視線分布Ｙを演算することができるため、Ｓ１４に移行する。Ｓ１４では、式（１）に基準視線分布Ａと第１補正係数αを代入して第１補正視線分布Ｘを演算した後、式（２）に第１補正視線分布Ｘと第２補正係数βを代入して第２補正視線分布Ｙを求める。
【0071】
Ｓ１５では、視線挙動分布Ｂと第２補正視線分布Ｙとの差異をカルバック・ライブラー情報量を用いて夫々演算する。両者の差異は乖離度（離隔距離）として演算する。
分布Ｂａ，Ｙａの乖離度Ｄａと、分布Ｂｂ，Ｙｂの乖離度Ｄｂと、分布Ｂｃ，Ｙｃの乖離度Ｄｃとを式（３）に代入して総乖離度Ｄを求めて、Ｓ１６に移行する。
分布Ｂａ，Ｙａの乖離度Ｄａと、分布Ｂｂ，Ｙｂの乖離度Ｄｂと、分布Ｂｃ，Ｙｃの乖離度Ｄｃとを式（３）に代入して総乖離度Ｄを求めて、Ｓ１６に移行する。
【0072】
Ｓ１６では、総乖離度Ｄが判定閾値以上か否か判定する。
Ｓ１６の判定の結果、総乖離度Ｄが判定閾値以上の場合、運転者の現在の状態を表す視線挙動分布Ｂが正常状態の指標に相当する第２補正視線分布Ｙから離隔しているため、運転者の状態が異常である異常判定を行い（Ｓ１７）、終了する。
Ｓ１６の判定の結果、総乖離度Ｄが判定閾値未満の場合、運転者の現在の状態を表す視線挙動分布Ｂが正常状態の指標に相当する第２補正視線分布Ｙに接近しているため、運転者の状態が正常である正常判定を行い（Ｓ１８）、終了する。
Ｓ１６の判定の結果、総乖離度Ｄが判定閾値以上の場合、運転者の現在の状態を表す視線挙動分布Ｂが正常状態の指標に相当する第２補正視線分布Ｙから離隔しているため、運転者の状態が異常である異常判定を行い（Ｓ１７）、終了する。
Ｓ１６の判定の結果、総乖離度Ｄが判定閾値未満の場合、運転者の現在の状態を表す視線挙動分布Ｂが正常状態の指標に相当する第２補正視線分布Ｙに接近しているため、運転者の状態が正常である正常判定を行い（Ｓ１８）、終了する。
【0073】
Ｓ１３の判定の結果、判定時点において第２補正係数βを保持していない場合、第２補正視線分布Ｙを演算することができないため、Ｓ１９に移行する。
Ｓ１９では、第２補正係数βを保持していないため、視線挙動に係るサリエンシーやサッケード以外の生体情報指標、例えば、心拍や血圧等を用いて運転者の状態を推定した後、Ｓ２０に移行する。
Ｓ１９では、第２補正係数βを保持していないため、視線挙動に係るサリエンシーやサッケード以外の生体情報指標、例えば、心拍や血圧等を用いて運転者の状態を推定した後、Ｓ２０に移行する。
【0074】
Ｓ２０では、運転者の状態が正常状態か否か判定する。
Ｓ２０の判定の結果、運転者が正常状態の場合、第２補正係数βを取得するため、Ｓ２１に移行する。Ｓ２１では、高精度の第２補正係数βを取得できるまで視線挙動分布Ｂを蓄積すると共に学習して、終了する。Ｓ２０の判定の結果、運転者が正常状態ではない場合、第２補正係数βを取得することができないため、終了する。
Ｓ２０の判定の結果、運転者が正常状態の場合、第２補正係数βを取得するため、Ｓ２１に移行する。Ｓ２１では、高精度の第２補正係数βを取得できるまで視線挙動分布Ｂを蓄積すると共に学習して、終了する。Ｓ２０の判定の結果、運転者が正常状態ではない場合、第２補正係数βを取得することができないため、終了する。
【0075】
次に、図１６のフローチャートによって、学習フェーズ処理（Ｓ２１）の例を示す。
学習フェーズ処理は、第２補正係数βを取得するため、視線挙動分布Ｂを学習する際に行われる。先ず、情報取得部１からの情報、基準視線分布Ａ、第１補正係数α等各種情報を読み込み（Ｓ３１）、Ｓ３２に移行する。Ｓ３２では、現在のサリエンシー指標及び現在のサッケード指標（振幅、頻度）を演算した後、Ｓ３３に移行する。
学習フェーズ処理は、第２補正係数βを取得するため、視線挙動分布Ｂを学習する際に行われる。先ず、情報取得部１からの情報、基準視線分布Ａ、第１補正係数α等各種情報を読み込み（Ｓ３１）、Ｓ３２に移行する。Ｓ３２では、現在のサリエンシー指標及び現在のサッケード指標（振幅、頻度）を演算した後、Ｓ３３に移行する。
【0076】
Ｓ３３では、運転者の状態が正常状態か否か判定する。
Ｓ３３の判定の結果、運転者の状態が正常状態の場合、視線挙動分布Ｂを学習するため、視線挙動分布Ｂに関する撮像データを蓄積し、Ｓ３４に移行する。
Ｓ３３の判定の結果、運転者の状態が正常状態ではない場合、視線挙動分布Ｂに関するデータを蓄積できないため、Ｓ３１にリターンする。
Ｓ３３の判定の結果、運転者の状態が正常状態の場合、視線挙動分布Ｂを学習するため、視線挙動分布Ｂに関する撮像データを蓄積し、Ｓ３４に移行する。
Ｓ３３の判定の結果、運転者の状態が正常状態ではない場合、視線挙動分布Ｂに関するデータを蓄積できないため、Ｓ３１にリターンする。
【0077】
Ｓ３４では、第２補正係数βを演算するに当り、視線挙動分布Ｂに関する必要十分なデータ量が確保できたか否か判定する。
Ｓ３４の判定の結果、視線挙動分布Ｂに関するデータ量が確保できた場合、Ｓ３５に移行する。Ｓ３４の判定の結果、視線挙動分布Ｂに関するデータ量が確保できていない場合、更にデータを確保するため、Ｓ３１にリターンする。
Ｓ３４の判定の結果、視線挙動分布Ｂに関するデータ量が確保できた場合、Ｓ３５に移行する。Ｓ３４の判定の結果、視線挙動分布Ｂに関するデータ量が確保できていない場合、更にデータを確保するため、Ｓ３１にリターンする。
【0078】
Ｓ３５では、第２補正係数βを演算し、第２補正係数βを保存した後（Ｓ３６）、終了する。第２補正視線分布Ｙは正常状態の指標に相当しているため、正常状態の視線挙動分布Ｂは、直近の第２補正視線分布Ｙに相当するものである。そこで、式（２）に、第１補正視線分布Ｘ（基準視線分布Ａ、第１補正係数α）と、直近の第２補正視線分布Ｙに相当する視線挙動分布Ｂとを代入して第２補正係数βを演算する。
【0079】
次に、上記運転者状態判定システムＳの作用、効果について説明する。
この運転者状態判定方法では、環境及び車両特性に起因した第１の外乱因子による第１補正係数αを用いて基準視線分布Ａを補正して第１補正視線分布Ｘを取得する第１補正工程（Ｓ６）と、運転者の特性に起因した第２の外乱因子による第２補正係数βを用いて第１補正視線分布Ｘを補正して第２補正視線分布Ｙを取得する第２補正工程（Ｓ１４）とを有するため、比較的運転者の個人差が生じない第１の外乱因子による第１補正係数αの設定を運転者による実際の走行前に行うことができる。また、運転者の特性に起因した第２の外乱因子による第２補正係数βを用いた補正のみを運転者による実際の走行によって行うことにより、補正工程における学習期間の短縮化を図ることができる。視線挙動分布Ｂと第２補正視線分布Ｙとの差異が判定閾値以上のとき、運転者の異常を判定する運転者異常推定工程（Ｓ１６）を有するため、短い学習期間にも拘わらず運転者の異常判定を容易に且つ高精度に行うことができる。
この運転者状態判定方法では、環境及び車両特性に起因した第１の外乱因子による第１補正係数αを用いて基準視線分布Ａを補正して第１補正視線分布Ｘを取得する第１補正工程（Ｓ６）と、運転者の特性に起因した第２の外乱因子による第２補正係数βを用いて第１補正視線分布Ｘを補正して第２補正視線分布Ｙを取得する第２補正工程（Ｓ１４）とを有するため、比較的運転者の個人差が生じない第１の外乱因子による第１補正係数αの設定を運転者による実際の走行前に行うことができる。また、運転者の特性に起因した第２の外乱因子による第２補正係数βを用いた補正のみを運転者による実際の走行によって行うことにより、補正工程における学習期間の短縮化を図ることができる。視線挙動分布Ｂと第２補正視線分布Ｙとの差異が判定閾値以上のとき、運転者の異常を判定する運転者異常推定工程（Ｓ１６）を有するため、短い学習期間にも拘わらず運転者の異常判定を容易に且つ高精度に行うことができる。
【0080】
第１補正工程（Ｓ６）は、車両が工場から出荷される前に行われているため、運転者による補正工程期間の短縮化を一層図ることができる。
【0081】
サリエンシーマップを作成するサリエンシーマップ作成工程（Ｓ２，Ｓ１２，Ｓ３２）を有し、運転者異常推定工程は、サリエンシーマップ上において運転者の視線挙動のうち注視点に一致する点の誘目度が閾値を上回る第１の確率とサリエンシーマップ上のランダム点の誘目度が閾値を上回る第２の確率とを比較し、第１の確率と第２の確率が所定値以上離隔している場合、運転者の異常を判定している。
これにより、誘目性が高い箇所に運転者の視線が誘導されない状況に基づき運転者の異常状態を判定することができ、運転者の異常判定を一層容易に行うことができる。
これにより、誘目性が高い箇所に運転者の視線が誘導されない状況に基づき運転者の異常状態を判定することができ、運転者の異常判定を一層容易に行うことができる。
【0082】
車両の外部環境に対する注意度を検出する注意度検出工程（Ｓ２，Ｓ１２，Ｓ３２）を有し、運転者異常推定工程は、注意度と、運転者の視線挙動のうちサッケードの振幅又は頻度とに基づいて運転者の異常を判定するため、運転者のサッケードの振幅又は頻度が所定の閾値よりも下回った状況に基づき運転者の異常状態を判定することができ、運転者の異常判定を一層容易に行うことができる。
【0083】
運転者状態判定システムＳでは、環境及び車両特性に起因した第１の外乱因子による第１補正係数αを用いて基準視線分布Ａを補正して第１補正視線分布Ｘを取得する第１補正部２５ａと、運転者の特性に起因した第２の外乱因子による第２補正係数βを用いて第１補正視線分布Ｘを補正して第２補正視線分布Ｙを取得する第２補正部２５ｂとを有するため、比較的運転者の個人差が生じない第１の外乱因子による第１補正係数αの設定を運転者による実際の走行前に行うことができる。また、運転者の特性に起因した第２の外乱因子による第２補正係数βを用いた補正のみを運転者による実際の走行によって行うことにより、補正工程における学習期間の短縮化を図ることができる。視線挙動分布Ｂと第２補正視線分布Ｙとの差異が判定閾値以上のとき、運転者の異常を判定する異常推定部２６を有するため、短い学習期間にも拘わらず運転者の異常判定を容易に且つ高精度に行うことができる。
【0084】
次に、前記実施形態を部分的に変更した変形例について説明する。
１〕前記実施形態においては、環境及び車両特性に起因した第１補正係数αを用いて基準視線分布Ａを補正した例を説明したが、環境のみに起因した第１補正係数αを用いて基準視線分布Ａを補正しても良く、また、車両特性のみに起因した第１補正係数αを用いて基準視線分布Ａを補正しても良い。
１〕前記実施形態においては、環境及び車両特性に起因した第１補正係数αを用いて基準視線分布Ａを補正した例を説明したが、環境のみに起因した第１補正係数αを用いて基準視線分布Ａを補正しても良く、また、車両特性のみに起因した第１補正係数αを用いて基準視線分布Ａを補正しても良い。
【0085】
２〕前記実施形態においては、基準視線分布生成手段が先行実験を行う実験場に設けられた例を説明したが、車両の制御部２に基準視線分布生成手段を設けても良い。
【0086】
３〕前記実施形態においては、分布Ｂａ，Ｙａの乖離度Ｄａと、分布Ｂｂ，Ｙｂの乖離度Ｄｂと、分布Ｂｃ，Ｙｃの乖離度Ｄｃとの３種類の分布の乖離度とを全て足し合わせた総乖離度Ｄが判定閾値以上のとき、運転者の状態異常を判定する例を説明したが、乖離度Ｄａ～Ｄｃのうち何れか１つ又は２つを用いて状態異常を判定しても良い。
【0087】
４〕その他、当業者であれば、本発明の趣旨を逸脱することなく、前記実施形態に種々の変更を付加した形態で実施可能であり、本発明はそのような変更形態も包含するものである。
【符号の説明】
【0088】
１ 情報取得部
２３ 視界画像作成部
２４ 視線挙動分布生成部
２５ａ 第１補正部
２５ｂ 第２補正部
２６ 異常推定部
Ｓ 運転者状態判定システム
２３ 視界画像作成部
２４ 視線挙動分布生成部
２５ａ 第１補正部
２５ｂ 第２補正部
２６ 異常推定部
Ｓ 運転者状態判定システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
