知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022175697
(43)【公開日】2022-11-25
(54)【発明の名称】乗員状態推定方法
(51)【国際特許分類】
G08G 1/16 20060101AFI20221117BHJP
B60W 40/08 20120101ALI20221117BHJP
B60W 60/00 20200101ALI20221117BHJP
【ＦＩ】
G08G1/16 F
B60W40/08
B60W60/00
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2021082328
(22)【出願日】2021-05-14
(71)【出願人】
【識別番号】000003137
【氏名又は名称】マツダ株式会社
(74)【代理人】
【識別番号】100089004
【弁理士】
【氏名又は名称】岡村 俊雄
(72)【発明者】
【氏名】幾久 健
(72)【発明者】
【氏名】吉田 誠
【テーマコード（参考）】
3D241
5H181
【Ｆターム（参考）】
3D241BA50
3D241CC01
3D241CC08
3D241CC17
3D241CE05
3D241DD01Z
5H181AA01
5H181AA21
5H181CC04
5H181FF32
5H181LL01
5H181LL02
5H181LL04
5H181LL07
5H181LL08
5H181LL09
5H181LL20
(57)【要約】 （修正有）
【課題】乗員の疾患の予兆を容易に判定することができる乗員状態推定方法を提供する。
【解決手段】乗員状態推定方法であって、乗員の視線挙動と頭部挙動を検出する車内カメラを準備する準備工程Ｓ１と、車内カメラが検出した視線挙動に基づき眼球傾斜角Ｅを演算する眼球傾斜角演算工程と、車内カメラが検出した頭部挙動に基づき頭部傾斜角を演算する頭部傾斜角演算工程と、眼球傾斜角とこの眼球傾斜角に対応した頭部傾斜角とを用いて分担比Ｒを演算する分担比算出工程Ｓ４と、眼球傾斜角と分担比Ｒとからなる座標系において、眼球傾斜角と分担比Ｒとからなる座標点と座標系に予め設定された所定の基準関数との分担比偏差が大きい程乗員の異常度Ｔが高いと判定する異常度判定工程Ｓ６とを有する。
【選択図】図７
【解決手段】乗員状態推定方法であって、乗員の視線挙動と頭部挙動を検出する車内カメラを準備する準備工程Ｓ１と、車内カメラが検出した視線挙動に基づき眼球傾斜角Ｅを演算する眼球傾斜角演算工程と、車内カメラが検出した頭部挙動に基づき頭部傾斜角を演算する頭部傾斜角演算工程と、眼球傾斜角とこの眼球傾斜角に対応した頭部傾斜角とを用いて分担比Ｒを演算する分担比算出工程Ｓ４と、眼球傾斜角と分担比Ｒとからなる座標系において、眼球傾斜角と分担比Ｒとからなる座標点と座標系に予め設定された所定の基準関数との分担比偏差が大きい程乗員の異常度Ｔが高いと判定する異常度判定工程Ｓ６とを有する。
【選択図】図７
【特許請求の範囲】
【請求項1】
車両に乗車した乗員の状態を推定する乗員状態推定方法であって、
乗員の視線挙動を検出する視線挙動検出手段と、乗員の頭部挙動を検出する頭部挙動検出手段とを準備する準備工程と、
前記視線挙動検出手段が検出した視線挙動に基づき視線ヨー角を演算する視線ヨー角演算工程と、
前記頭部挙動検出手段が検出した頭部挙動に基づき頭部ヨー角を演算する頭部ヨー角演算工程と、
前記視線ヨー角とこの視線ヨー角に対応した前記頭部ヨー角とを用いて分担比を演算する分担比算出工程と、
視線ヨー角と分担比とからなる座標系において、前記視線ヨー角と前記分担比とからなる座標点と前記座標系に予め設定された所定の基準関数との分担比偏差が大きい程乗員の異常度が高いと判定する異常度判定工程と、
を有することを特徴とする乗員状態推定方法。
乗員の視線挙動を検出する視線挙動検出手段と、乗員の頭部挙動を検出する頭部挙動検出手段とを準備する準備工程と、
前記視線挙動検出手段が検出した視線挙動に基づき視線ヨー角を演算する視線ヨー角演算工程と、
前記頭部挙動検出手段が検出した頭部挙動に基づき頭部ヨー角を演算する頭部ヨー角演算工程と、
前記視線ヨー角とこの視線ヨー角に対応した前記頭部ヨー角とを用いて分担比を演算する分担比算出工程と、
視線ヨー角と分担比とからなる座標系において、前記視線ヨー角と前記分担比とからなる座標点と前記座標系に予め設定された所定の基準関数との分担比偏差が大きい程乗員の異常度が高いと判定する異常度判定工程と、
を有することを特徴とする乗員状態推定方法。
【請求項2】
前記視線ヨー角と分担比とを用いて乗員の異常度を予め規定した異常度表を設定する異常度表設定工程を有し、
前記異常度判定工程において、前記異常度表に前記視線ヨー角と前記分担比とを適用して異常度を判定することを特徴とする請求項１に記載の乗員状態推定方法。
前記異常度判定工程において、前記異常度表に前記視線ヨー角と前記分担比とを適用して異常度を判定することを特徴とする請求項１に記載の乗員状態推定方法。
【請求項3】
前記分担比算出工程において、頭部ヨー角を視線ヨー角で除算して分担比を演算することを特徴とする請求項１又は２に記載の乗員状態推定方法。
【請求項4】
前記基準関数は、前記視線ヨー角の増加に伴い前記頭部ヨー角が増加する特性を有することを特徴とする請求項１～３の何れか１項に記載の乗員状態推定方法。
【請求項5】
前記基準関数は、シグモイド関数であることを特徴とする請求項４に記載の乗員状態推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、乗員状態推定方法に関し、疾患発症の予兆に基づき乗員の状態を推定する乗員状態推定方法に関する。
【背景技術】
【0002】
従来より、自動運転車両では、車両の制御システムと乗員（ドライバ）との間において、車両の運転を主導的に行う権利を委譲（切替）可能に構成されている。
それ故、運転中の乗員が運転不能に陥った場合、運転の権利が手動運転側から自動運転側に切り替えられた後、車両主導で車速低下、路肩への緊急停車等が自動的に行われる。
特許文献１のドライバの運転不能状態検出装置は、ドライバの顔向きの崩れと運転中の無操作や異常操作とを組み合わせて、ドライバが運転不能に陥ったことを検出する技術が開示されている。
それ故、運転中の乗員が運転不能に陥った場合、運転の権利が手動運転側から自動運転側に切り替えられた後、車両主導で車速低下、路肩への緊急停車等が自動的に行われる。
特許文献１のドライバの運転不能状態検出装置は、ドライバの顔向きの崩れと運転中の無操作や異常操作とを組み合わせて、ドライバが運転不能に陥ったことを検出する技術が開示されている。
【0003】
通常、運転不能に陥る乗員の身体的変容として、以下の３つのパターンが存在する。
第１の変容パターンは、乗員の一部の運転機能が低下する場合である。この場合、乗員の運転能力レベルは、上昇及び下降の変動を複数回繰り返して最終的に運転不能になる。
第２の変容パターンは、乗員の運転機能全般が低下する場合である。この場合、乗員の運転能力レベルは、経過時間と共に緩やかに低下して運転不能になる。
第３の変容パターンは、乗員の意識が突然消失する場合である。この場合、乗員の運転能力レベルは、高い運転機能を暫くの間維持した後、急に運転不能になる。
第１の変容パターンは、乗員の一部の運転機能が低下する場合である。この場合、乗員の運転能力レベルは、上昇及び下降の変動を複数回繰り返して最終的に運転不能になる。
第２の変容パターンは、乗員の運転機能全般が低下する場合である。この場合、乗員の運転能力レベルは、経過時間と共に緩やかに低下して運転不能になる。
第３の変容パターンは、乗員の意識が突然消失する場合である。この場合、乗員の運転能力レベルは、高い運転機能を暫くの間維持した後、急に運転不能になる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第６３７９７２０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１のドライバの運転不能状態検出装置は、疾患発症後、その可視的症状が発現した身体状態を検出することにより、ドライバの運転不能状態を判定している。
しかし、特許文献１の技術では、疾患が発症したタイミングで検出できない虞がある。
運転能力レベルは、予測や注意配分等を実行する高次随意行動、車線維持や速度維持等を実行する低次随意行動、及び姿勢維持や頭部運動等を実行する不随意行動によって区分される。前述した第１，第２の変容パターンは、疾患が発現した後、異常操作等の行動、所謂高低次の随意行動障害の期間を経て運転不能に到達するものの、第３の変容パターンは、異常操作等の行動を経ることなく急に運転不能に陥る。
つまり、第３の変容パターンでは、ドライバの随意行動をパラメータとして検出することが困難である。
しかし、特許文献１の技術では、疾患が発症したタイミングで検出できない虞がある。
運転能力レベルは、予測や注意配分等を実行する高次随意行動、車線維持や速度維持等を実行する低次随意行動、及び姿勢維持や頭部運動等を実行する不随意行動によって区分される。前述した第１，第２の変容パターンは、疾患が発現した後、異常操作等の行動、所謂高低次の随意行動障害の期間を経て運転不能に到達するものの、第３の変容パターンは、異常操作等の行動を経ることなく急に運転不能に陥る。
つまり、第３の変容パターンでは、ドライバの随意行動をパラメータとして検出することが困難である。
【0006】
そこで、運転不能状態の判定に当り、乗員の不随意行動を検出することが考えられる。
これにより、何れの変容パターンであっても疾患の予兆を捉えることができる。
しかし、症状の発現前における不随意行動に基づき疾患の予兆を捉えようとした場合、不随意行動を判定するための演算処理が難しく、判定処理に時間を要する虞がある。
例えば、不随意行動の１つである前庭動眼反射は、頭部を移動させた際、空間に対する眼球の安定化を図るため、眼球を頭部と反対方向へ動かす反射行動である。この前庭動眼反射を検出するには、移動状態の頭部内における眼球の追従速度演算が必要である。
即ち、不随意行動に基づき乗員の異常状態を検出することは容易ではない。
これにより、何れの変容パターンであっても疾患の予兆を捉えることができる。
しかし、症状の発現前における不随意行動に基づき疾患の予兆を捉えようとした場合、不随意行動を判定するための演算処理が難しく、判定処理に時間を要する虞がある。
例えば、不随意行動の１つである前庭動眼反射は、頭部を移動させた際、空間に対する眼球の安定化を図るため、眼球を頭部と反対方向へ動かす反射行動である。この前庭動眼反射を検出するには、移動状態の頭部内における眼球の追従速度演算が必要である。
即ち、不随意行動に基づき乗員の異常状態を検出することは容易ではない。
【0007】
本発明の目的は、乗員の疾患の予兆を容易に判定することができる乗員状態推定方法等を提供することである。
【課題を解決するための手段】
【0008】
請求項１の乗員状態推定方法は、車両に乗車した乗員の状態を推定する乗員状態推定方法であって、乗員の視線挙動を検出する視線挙動検出手段と、乗員の頭部挙動を検出する頭部挙動検出手段とを準備する準備工程と、前記視線挙動検出手段が検出した視線挙動に基づき視線ヨー角を演算する視線ヨー角演算工程と、前記頭部挙動検出手段が検出した頭部挙動に基づき頭部ヨー角を演算する頭部ヨー角演算工程と、前記視線ヨー角とこの視線ヨー角に対応した前記頭部ヨー角とを用いて分担比を演算する分担比算出工程と、視線ヨー角と分担比とからなる座標系において、前記視線ヨー角と前記分担比とからなる座標点と前記座標系に予め設定された所定の基準関数との分担比偏差が大きい程乗員の異常度が高いと判定する異常度判定工程と、を有することを特徴としている。
【0009】
この乗員状態推定方法では、乗員の視線挙動を検出する視線挙動検出手段と、乗員の頭部挙動を検出する頭部挙動検出手段とを準備する準備工程を有するため、乗員の視線挙動と頭部挙動とを確実に抽出することができる。
前記視線挙動検出手段が検出した視線挙動に基づき視線ヨー角を演算する視線ヨー角演算工程と、前記頭部挙動検出手段が検出した頭部挙動に基づき頭部ヨー角を演算する頭部ヨー角演算工程と、前記視線ヨー角とこの視線ヨー角に対応した前記頭部ヨー角とを用いて分担比を演算する分担比算出工程とを有するため、眼球頭部の協調運動における頭部の追従性を容易に検出することができる。眼球は、６つの外眼筋（上下斜筋、上下及び内外直筋）により拘束されて総腱輪に連結されているため、眼球が外眼筋を介して移動された場合、頭部は眼球に追従する不随意行動として眼球と頭部が協調運動を行う。
視線ヨー角と分担比とからなる座標系において、前記視線ヨー角と前記分担比とからなる座標点と前記座標系に予め設定された所定の基準関数との分担比偏差が大きい程乗員の異常度が高いと判定する異常度判定工程とを有するため、乗員の異常度をパラメータとしてこれから発現する疾患の予兆を容易に判定することができる。
前記視線挙動検出手段が検出した視線挙動に基づき視線ヨー角を演算する視線ヨー角演算工程と、前記頭部挙動検出手段が検出した頭部挙動に基づき頭部ヨー角を演算する頭部ヨー角演算工程と、前記視線ヨー角とこの視線ヨー角に対応した前記頭部ヨー角とを用いて分担比を演算する分担比算出工程とを有するため、眼球頭部の協調運動における頭部の追従性を容易に検出することができる。眼球は、６つの外眼筋（上下斜筋、上下及び内外直筋）により拘束されて総腱輪に連結されているため、眼球が外眼筋を介して移動された場合、頭部は眼球に追従する不随意行動として眼球と頭部が協調運動を行う。
視線ヨー角と分担比とからなる座標系において、前記視線ヨー角と前記分担比とからなる座標点と前記座標系に予め設定された所定の基準関数との分担比偏差が大きい程乗員の異常度が高いと判定する異常度判定工程とを有するため、乗員の異常度をパラメータとしてこれから発現する疾患の予兆を容易に判定することができる。
【0010】
請求項２の発明は、請求項１の発明において、前記視線ヨー角と分担比とを用いて乗員の異常度を予め規定した異常度表を設定する異常度表設定工程を有し、前記異常度判定工程において、前記異常度表に前記視線ヨー角と前記分担比とを適用して異常度を判定することを特徴としている。
この構成によれば、乗員の異常度をテーブル化された異常度表を用いて一層容易に検出することができる。
この構成によれば、乗員の異常度をテーブル化された異常度表を用いて一層容易に検出することができる。
【0011】
請求項３の発明は、請求項１又は２の発明において、前記分担比算出工程において、頭部ヨー角を視線ヨー角で除算して分担比を演算することを特徴としている。
この構成によれば、簡単な演算で分担比を求めることができる。
この構成によれば、簡単な演算で分担比を求めることができる。
【0012】
請求項４の発明は、請求項１～３の何れか１項の発明において、前記基準関数は、前記視線ヨー角の増加に伴い前記頭部ヨー角が増加する特性を有することを特徴としている。
この構成によれば、不随意行動に係る頭部の追従性を関数モデルに置き換えることにより、判定精度を向上することができる。
この構成によれば、不随意行動に係る頭部の追従性を関数モデルに置き換えることにより、判定精度を向上することができる。
【0013】
請求項５の発明は、請求項４の発明において、前記基準関数は、シグモイド関数であることを特徴としている。
この構成によれば、頭部の追従性を神経細胞の発火周波数に対応付けすることにより、一層判定精度を向上することができる。
この構成によれば、頭部の追従性を神経細胞の発火周波数に対応付けすることにより、一層判定精度を向上することができる。
【発明の効果】
【0014】
本発明の乗員状態推定方法によれば、不随意行動に係る頭部の追従性をパラメータにして乗員の疾患の予兆を容易に判定することができる。
【図面の簡単な説明】
【0015】
【図1】実施例１に係る乗員状態推定装置のブロック図である。
【図2】正常な乗員の眼球傾斜角及び頭部傾斜角の時系列データである。
【図4】正常な乗員の視線角度と分担比との相関関係を示すグラフである。
【図5】異常度マップである。
【図6】異常度テーブルである。
【図7】乗員状態推定処理を示すフローチャートである。
【図8】傾斜角演算処理を示すフローチャートである。
【発明を実施するための形態】
【0016】
以下、本発明の実施形態を図面に基づいて詳細に説明する。
以下の説明は、本発明を車両に乗車した乗員に適用したものを例示したものであり、本発明、その適用物、或いは、その用途を制限するものではない。
以下の説明は、本発明を車両に乗車した乗員に適用したものを例示したものであり、本発明、その適用物、或いは、その用途を制限するものではない。
【実施例0017】
以下、本発明の実施例１について図１～図８に基づいて説明する。
乗員状態推定装置１は、車両運転中の乗員の健康状態、特に乗員の疾患の予兆を捉えることにより運転不能状態の発生を疾患の発現よりも早く判定可能な運転支援装置である。
尚、乗員の定義は、車両の進行方向及び目的地点を決定可能な乗員であり、ステアリングを操作するドライバ、或いは、自動運転車両において行先を指示する乗員等を含むものである。
乗員状態推定装置１は、車両運転中の乗員の健康状態、特に乗員の疾患の予兆を捉えることにより運転不能状態の発生を疾患の発現よりも早く判定可能な運転支援装置である。
尚、乗員の定義は、車両の進行方向及び目的地点を決定可能な乗員であり、ステアリングを操作するドライバ、或いは、自動運転車両において行先を指示する乗員等を含むものである。
【0018】
図１に示すように、乗員状態推定装置１は、車内カメラ２と、１又は複数のディスプレイ３と、音声出力装置４と、ステアリング制御装置５と、ブレーキ制御装置６と、アクセル制御装置７と、情報送信機８と、ＥＣＵ（Electronic Control Unit）１０とを主な構成要素としている。ディスプレイ３は、乗員が視認可能なディスプレイであり、インストルメントパネル（図示略）上に配設されたセンタディスプレイ、ヘッドアップディスプレイ、シートバックディスプレイ等が含まれている。
【0019】
車内カメラ２は、乗員の眼球挙動（視線挙動）及び頭部挙動の時系列データを得るため、例えば、フロントガラス（図示略）の内側に設置されている。
この車内カメラ２は、ステアリング（図示略）を操作する乗員を含む室内状況を撮影可能なＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサである。車内カメラ２により撮影された画像は、車載ネットワーク（図示略）を介してＥＣＵ１０に送信される。
車内カメラ２が、視線挙動検出手段及び頭部挙動検出手段に相当している。
この車内カメラ２は、ステアリング（図示略）を操作する乗員を含む室内状況を撮影可能なＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサである。車内カメラ２により撮影された画像は、車載ネットワーク（図示略）を介してＥＣＵ１０に送信される。
車内カメラ２が、視線挙動検出手段及び頭部挙動検出手段に相当している。
【0020】
各ディバイス３～８は、ＥＣＵ１０からの指令信号を受信して規定された動作を行う。
ディスプレイ３は、疾患の予兆検出時、乗員に視覚情報を介して警告する。音声出力装置４は、疾患の予兆検出時、乗員に音声を介して警告する。ステアリング制御装置５は、車両がカーブを曲がるための操舵角を制御する。ブレーキ制御装置６は、車両を減速させるための制動力を生成する。アクセル制御装置７は、車両が走行するための駆動力を生成する。情報送信機８は、疾患の予兆検出時、基地局に位置等車両情報を送信する。
疾患の予兆検出により乗員が運転不能と判定された場合、異常出力が行われ、車両主導で車速低下、路肩への緊急停車が行われる。
ディスプレイ３は、疾患の予兆検出時、乗員に視覚情報を介して警告する。音声出力装置４は、疾患の予兆検出時、乗員に音声を介して警告する。ステアリング制御装置５は、車両がカーブを曲がるための操舵角を制御する。ブレーキ制御装置６は、車両を減速させるための制動力を生成する。アクセル制御装置７は、車両が走行するための駆動力を生成する。情報送信機８は、疾患の予兆検出時、基地局に位置等車両情報を送信する。
疾患の予兆検出により乗員が運転不能と判定された場合、異常出力が行われ、車両主導で車速低下、路肩への緊急停車が行われる。
【0021】
次に、ＥＣＵ１０について説明する。
ＥＣＵ１０は、各種プログラムを実行する中央演算処理部、メモリ（ＲＡＭ、ＲＯＭ）、及び入出力バス等によって構成されている。
図１に示すように、ＥＣＵ１０は、ヨー角演算部１１と、分担比算出部１２と、異常度判定部１３等を備えている。
ＥＣＵ１０は、各種プログラムを実行する中央演算処理部、メモリ（ＲＡＭ、ＲＯＭ）、及び入出力バス等によって構成されている。
図１に示すように、ＥＣＵ１０は、ヨー角演算部１１と、分担比算出部１２と、異常度判定部１３等を備えている。
【0022】
まず、ヨー角演算部１１について説明する。
ヨー角演算部１１は、車内カメラ２の撮影情報に基づき、乗員の眼球挙動及び頭部挙動について夫々の時系列データを連続的に演算している（図２参照）。
このヨー角演算部１１は、眼球挙動に基づき眼球傾斜角（視線ヨー角）を演算する視線ヨー角演算部１１ａと、頭部挙動に基づき頭部傾斜角（頭部ヨー角）を演算する頭部ヨー角演算部１１ｂとを有している。尚、眼球傾斜角及び頭部傾斜角の傾斜角は、平面視にて車体前後方向に対する交差角度（ヨー角）である。
ヨー角演算部１１は、車内カメラ２の撮影情報に基づき、乗員の眼球挙動及び頭部挙動について夫々の時系列データを連続的に演算している（図２参照）。
このヨー角演算部１１は、眼球挙動に基づき眼球傾斜角（視線ヨー角）を演算する視線ヨー角演算部１１ａと、頭部挙動に基づき頭部傾斜角（頭部ヨー角）を演算する頭部ヨー角演算部１１ｂとを有している。尚、眼球傾斜角及び頭部傾斜角の傾斜角は、平面視にて車体前後方向に対する交差角度（ヨー角）である。
【0023】
次に、分担比算出部１２について説明する。
人の眼球は、６つの外眼筋（上下斜筋、上下及び内外直筋）によって拘束された状態で、眼窩の最後部に位置する総腱輪に物理的に連結されている。
それ故、眼球を何れかの方向に意識的に移動させた場合、頭部は、眼球に追従（連動）する行動、換言すれば筋に作用する負荷を軽減するために無意識的な不随意行動を行う。以下、この不随意行動を「眼球頭部の協調運動」と表す。
人の眼球は、６つの外眼筋（上下斜筋、上下及び内外直筋）によって拘束された状態で、眼窩の最後部に位置する総腱輪に物理的に連結されている。
それ故、眼球を何れかの方向に意識的に移動させた場合、頭部は、眼球に追従（連動）する行動、換言すれば筋に作用する負荷を軽減するために無意識的な不随意行動を行う。以下、この不随意行動を「眼球頭部の協調運動」と表す。
【0024】
図２に示すように、乗員が疾患を発症していない身体的に正常状態である場合、眼球傾斜角（実線）は、車両の運転操作に伴って不規則に変化し、また、変化が大きい。
一方、頭部傾斜角（破線）は、眼球挙動を身体的及び物理的に補助するものである。
それ故、頭部傾斜角は、眼球傾斜角に追随すると共に眼球傾斜角よりも小さい角度で変化している。
一方、頭部傾斜角（破線）は、眼球挙動を身体的及び物理的に補助するものである。
それ故、頭部傾斜角は、眼球傾斜角に追随すると共に眼球傾斜角よりも小さい角度で変化している。
【0025】
図３は、図２の所定期間の領域について、眼球傾斜角Ｅとこの眼球傾斜角Ｅに対応した頭部傾斜角Ｈとの相関グラフである。この相関グラフは、眼球傾斜角Ｅと頭部傾斜角Ｈとを非線形次元圧縮手法を用いて２次元の変位量確率分布に変換したものである。
眼球傾斜角Ｅの最大値をＥｍａｘ、頭部傾斜角Ｈの最大値をＨｍａｘとしたとき、乗員挙動の分担比Ｒは次式のように表すことができる。
Ｒ＝Ｈｍａｘ／Ｅｍａｘ …（１）
分担比算出部１２では、各ヨー角演算部１１ａ，１１ｂで求めた眼球傾斜角Ｅと頭部傾斜角Ｈを式（１）に代入して分担比Ｒを演算している。
眼球傾斜角Ｅの最大値をＥｍａｘ、頭部傾斜角Ｈの最大値をＨｍａｘとしたとき、乗員挙動の分担比Ｒは次式のように表すことができる。
Ｒ＝Ｈｍａｘ／Ｅｍａｘ …（１）
分担比算出部１２では、各ヨー角演算部１１ａ，１１ｂで求めた眼球傾斜角Ｅと頭部傾斜角Ｈを式（１）に代入して分担比Ｒを演算している。
【0026】
次に、異常度判定部１３について説明する。
本発明者は、眼球の傾斜角毎に対応した頭部傾斜角変位を検討したところ、眼球と頭部との協調運動が乗員の意思に影響を受けない不随意運動であることを知見するに至った。
乗員の疾患により恒常性機能に障害が生じた場合、運転能力レベルとしては最も低次元レベルの不随意運動に影響が生じることが予想される。この不随意運動の変化を検出できれば、何れの変容パターンであっても乗員が運転不能状態になる前に疾患の予兆を捉えることが可能である。
本発明者は、眼球の傾斜角毎に対応した頭部傾斜角変位を検討したところ、眼球と頭部との協調運動が乗員の意思に影響を受けない不随意運動であることを知見するに至った。
乗員の疾患により恒常性機能に障害が生じた場合、運転能力レベルとしては最も低次元レベルの不随意運動に影響が生じることが予想される。この不随意運動の変化を検出できれば、何れの変容パターンであっても乗員が運転不能状態になる前に疾患の予兆を捉えることが可能である。
【0027】
一方、恒常性機能を司る脳幹は、眼筋と頸筋とが夫々繋がり、「眼球頭部の協調運動」に関る神経回路が存在している。神経回路は神経細胞の集合体であり、神経細胞は、所定の発火周波数（発火特性）に従って出力を行う。それ故、脳幹の神経回路をモデル化した場合、眼球傾斜角Ｅと頭部傾斜角Ｈとは、神経回路からの出力と見做すことができる。
図４は、眼球傾斜角Ｅと分担比Ｒとの相関グラフである。
図４に示すように、眼球傾斜角Ｅ毎の分担比Ｒの分布平均値（▲印）を繋げた線は、活性化関数の１つであるシグモイド関数Ｆ（基準関数）（図５参照）に近似できることが判明した。
図４は、眼球傾斜角Ｅと分担比Ｒとの相関グラフである。
図４に示すように、眼球傾斜角Ｅ毎の分担比Ｒの分布平均値（▲印）を繋げた線は、活性化関数の１つであるシグモイド関数Ｆ（基準関数）（図５参照）に近似できることが判明した。
【0028】
異常度判定部１３は、眼球傾斜角Ｅと分担比Ｒとの座標点（Ｅ，Ｒ）と、シグモイド関数Ｆとの分担比偏差ΔＲを求め、分担比偏差ΔＲが大きい程異常度Ｔが高いと判定する。
図５の異常度マップＭに示すように、シグモイド関数Ｆは、単調増加、点対称、微分可能等の属性を有する関数である。分担比Ｒの分布平均値をＡ、分担比Ｒの分散をＤとしたとき、乗員の異常度Ｔは、次式のように表すことができる。
Ｔ＝（Ｒ－Ａ）／Ｄ …（２）
図５の異常度マップＭに示すように、シグモイド関数Ｆは、単調増加、点対称、微分可能等の属性を有する関数である。分担比Ｒの分布平均値をＡ、分担比Ｒの分散をＤとしたとき、乗員の異常度Ｔは、次式のように表すことができる。
Ｔ＝（Ｒ－Ａ）／Ｄ …（２）
【0029】
異常度Ｔは、眼球傾斜角Ｅを所定値にした際のシグモイド関数Ｆからの離隔度合いと見做すことができる。異常度マップＭには、異常度Ｔが低い低異常度領域Ｔ１、異常度Ｔが中程度の中異常度領域Ｔ２、異常度Ｔが高い高異常度領域Ｔ３が夫々設定される。
座標点（Ｅ，Ｒ）が、低異常度領域Ｔ１の内部に存在する場合、乗員の疾患の予兆は低く、低異常度領域Ｔ１の外部で且つ中異常度領域Ｔ２の内部に存在する場合、乗員の疾患の予兆は中程度、中異常度領域Ｔ２の外部で且つ高異常度領域Ｔ３の内部に存在する場合、乗員の疾患の予兆は高いと推定される。図５では、中程度の疾患の予兆を示している。
座標点（Ｅ，Ｒ）が、低異常度領域Ｔ１の内部に存在する場合、乗員の疾患の予兆は低く、低異常度領域Ｔ１の外部で且つ中異常度領域Ｔ２の内部に存在する場合、乗員の疾患の予兆は中程度、中異常度領域Ｔ２の外部で且つ高異常度領域Ｔ３の内部に存在する場合、乗員の疾患の予兆は高いと推定される。図５では、中程度の疾患の予兆を示している。
【0030】
図６に示すように、本実施形態では、異常度マップＭに代えて、眼球傾斜角Ｅ毎に複数の分担比Ｒとそれら分担比Ｒに対応した異常度Ｔを規定した異常度テーブルＴａ（異常度表）を予め設定している。異常度判定部１３は、異常度テーブルＴａを有すると共に、事前に設定された閾値と異常度テーブルＴａから求められた異常度Ｔとを比較して異常判定を行っている。尚、閾値は、経験値から、疾患が発症し且つ乗員が運転不能状態になる確率に対応するように設定されている。これにより、乗員の異常度Ｔをテーブルとした異常度テーブルＴａを用いて一層容易に検出することができる。
【0031】
次に、図７、図８のフローチャートに基づいて、乗員状態推定処理について説明する。尚、Ｓｉ（ｉ＝１，２…）は、各処理のためのステップを示す。
まず、図７に示すように乗員状態推定装置１では、車内カメラ２が取得した撮影データ、異常度テーブルＴａ、及び異常判定閾値等各種情報を読み込み（Ｓ１）、Ｓ２へ移行する。
また、Ｓ１では、車内カメラ２を準備する準備工程を行う。
まず、図７に示すように乗員状態推定装置１では、車内カメラ２が取得した撮影データ、異常度テーブルＴａ、及び異常判定閾値等各種情報を読み込み（Ｓ１）、Ｓ２へ移行する。
また、Ｓ１では、車内カメラ２を準備する準備工程を行う。
【0032】
Ｓ２では、傾斜角演算を実行して、Ｓ３に移行する。
Ｓ３では、取得された眼球傾斜角Ｅ及び頭部傾斜角Ｈの時系列データから評価期間相当の領域についてデータを切り出し、分担比算出工程Ｓ４に移行する。
Ｓ４では、眼球傾斜角Ｅ及び頭部傾斜角Ｈの最大値Ｅｍａｘ，Ｈｍａｘを式（１）に代入して分担比Ｒを計算し、異常度算出工程Ｓ５に移行する。
Ｓ５では、眼球傾斜角Ｅと分担比Ｒを用いて異常度テーブルＴａから異常度Ｔを求めて、異常度判定工程Ｓ６に移行する。
Ｓ３では、取得された眼球傾斜角Ｅ及び頭部傾斜角Ｈの時系列データから評価期間相当の領域についてデータを切り出し、分担比算出工程Ｓ４に移行する。
Ｓ４では、眼球傾斜角Ｅ及び頭部傾斜角Ｈの最大値Ｅｍａｘ，Ｈｍａｘを式（１）に代入して分担比Ｒを計算し、異常度算出工程Ｓ５に移行する。
Ｓ５では、眼球傾斜角Ｅと分担比Ｒを用いて異常度テーブルＴａから異常度Ｔを求めて、異常度判定工程Ｓ６に移行する。
【0033】
Ｓ６では、異常度Ｔが事前に設定された閾値よりも大きいか否かを判定する。
Ｓ６の判定の結果、異常度Ｔが閾値よりも大きい場合、運転不能状態に陥る疾患の予兆が存在する（発現確率が高い）ため、異常出力を行い（Ｓ７）、終了する。
Ｓ６の判定の結果、異常度Ｔが閾値以下の場合、運転不能状態に陥る疾患の予兆が存在しない（発現確率が低い）ため、正常出力を行い（Ｓ８）、リターンする。
Ｓ６の判定の結果、異常度Ｔが閾値よりも大きい場合、運転不能状態に陥る疾患の予兆が存在する（発現確率が高い）ため、異常出力を行い（Ｓ７）、終了する。
Ｓ６の判定の結果、異常度Ｔが閾値以下の場合、運転不能状態に陥る疾患の予兆が存在しない（発現確率が低い）ため、正常出力を行い（Ｓ８）、リターンする。
【0034】
次に、図８に示すフローチャートを参照しながら、Ｓ２で実行される傾斜角演算処理動作の一例について説明する。
まず、眼球傾斜角演算工程Ｓ１１にて、視線ヨー角演算部１１ａが撮影情報に基づき眼球傾斜角Ｅを演算し、Ｓ１３に移行する。また、頭部傾斜角演算工程Ｓ１２にて、頭部ヨー角演算部１１ｂが撮影情報に基づき頭部傾斜角Ｈを演算し、Ｓ１４に移行する。
まず、眼球傾斜角演算工程Ｓ１１にて、視線ヨー角演算部１１ａが撮影情報に基づき眼球傾斜角Ｅを演算し、Ｓ１３に移行する。また、頭部傾斜角演算工程Ｓ１２にて、頭部ヨー角演算部１１ｂが撮影情報に基づき頭部傾斜角Ｈを演算し、Ｓ１４に移行する。
【0035】
Ｓ１３では、演算結果である眼球傾斜角Ｅが規定数以上蓄積されたか否か判定する。
Ｓ１３の判定の結果、眼球傾斜角Ｅが規定数以上蓄積された場合、終了する。
Ｓ１３の判定の結果、眼球傾斜角Ｅが規定数以上蓄積されていない場合、Ｓ１１にリターンする。
Ｓ１３の判定の結果、眼球傾斜角Ｅが規定数以上蓄積された場合、終了する。
Ｓ１３の判定の結果、眼球傾斜角Ｅが規定数以上蓄積されていない場合、Ｓ１１にリターンする。
【0036】
Ｓ１４では、演算結果である頭部傾斜角Ｈが規定数以上蓄積されたか否か判定する。
Ｓ１４の判定の結果、頭部傾斜角Ｈが規定数以上蓄積された場合、終了する。
Ｓ１４の判定の結果、頭部傾斜角Ｈが規定数以上蓄積されていない場合、Ｓ１２にリターンする。
Ｓ１４の判定の結果、頭部傾斜角Ｈが規定数以上蓄積された場合、終了する。
Ｓ１４の判定の結果、頭部傾斜角Ｈが規定数以上蓄積されていない場合、Ｓ１２にリターンする。
【0037】
評価対象である乗員に対応したシグモイド関数Ｆを予め保持していない場合、シグモイド関数Ｆを作成した後、異常度テーブルＴａを作成する必要がある。
傾斜角演算工程Ｓ２では、シグモイド関数Ｆを予め保持していない場合、車内カメラ２が取得した撮影データに基づき乗員に対応したシグモイド関数Ｆを設定すると共に、事前に設定された閾値と設定されたシグモイド関数Ｆを用いて異常度テーブルＴａを作成している。それ故、上記規定数は、シグモイド関数Ｆの設定に必要なデータを収集可能な時間、例えば、約２時間分の眼球傾斜角Ｅ及び頭部傾斜角Ｈが設定されている。
傾斜角演算工程Ｓ２では、シグモイド関数Ｆを予め保持していない場合、車内カメラ２が取得した撮影データに基づき乗員に対応したシグモイド関数Ｆを設定すると共に、事前に設定された閾値と設定されたシグモイド関数Ｆを用いて異常度テーブルＴａを作成している。それ故、上記規定数は、シグモイド関数Ｆの設定に必要なデータを収集可能な時間、例えば、約２時間分の眼球傾斜角Ｅ及び頭部傾斜角Ｈが設定されている。
【0038】
次に、上記乗員状態推定装置１運転者状態検出装置１の作用、効果について説明する。
本乗員状態推定装置１によれば、乗員の視線挙動と頭部挙動を検出する車内カメラ２を準備する準備工程Ｓ１を有するため、乗員の視線挙動と頭部挙動とを確実に抽出することができる。車内カメラ２が検出した視線挙動に基づき眼球傾斜角Ｅを演算する眼球傾斜角演算工程Ｓ１１と、車内カメラ２が検出した頭部挙動に基づき頭部傾斜角Ｈを演算する頭部傾斜角演算工程Ｓ１２と、眼球傾斜角Ｅｍａｘとこの眼球傾斜角Ｅｍａｘに対応した頭部傾斜角Ｈｍａｘとを用いて分担比Ｒを演算する分担比算出工程Ｓ４とを有するため、眼球頭部の協調運動における頭部の追従性を容易に検出することができる。
眼球傾斜角Ｅと分担比Ｒとからなる座標系において、眼球傾斜角Ｅと分担比Ｒとからなる座標点（Ｅ，Ｒ）と座標系に予め設定された所定の基準関数Ｆとの分担比偏差ΔＲが大きい程乗員の異常度Ｔが高いと判定する異常度判定工程Ｓ６とを有するため、乗員の異常度Ｔをパラメータとしてこれから発現する疾患の予兆を容易に判定することができる。
本乗員状態推定装置１によれば、乗員の視線挙動と頭部挙動を検出する車内カメラ２を準備する準備工程Ｓ１を有するため、乗員の視線挙動と頭部挙動とを確実に抽出することができる。車内カメラ２が検出した視線挙動に基づき眼球傾斜角Ｅを演算する眼球傾斜角演算工程Ｓ１１と、車内カメラ２が検出した頭部挙動に基づき頭部傾斜角Ｈを演算する頭部傾斜角演算工程Ｓ１２と、眼球傾斜角Ｅｍａｘとこの眼球傾斜角Ｅｍａｘに対応した頭部傾斜角Ｈｍａｘとを用いて分担比Ｒを演算する分担比算出工程Ｓ４とを有するため、眼球頭部の協調運動における頭部の追従性を容易に検出することができる。
眼球傾斜角Ｅと分担比Ｒとからなる座標系において、眼球傾斜角Ｅと分担比Ｒとからなる座標点（Ｅ，Ｒ）と座標系に予め設定された所定の基準関数Ｆとの分担比偏差ΔＲが大きい程乗員の異常度Ｔが高いと判定する異常度判定工程Ｓ６とを有するため、乗員の異常度Ｔをパラメータとしてこれから発現する疾患の予兆を容易に判定することができる。
【0039】
眼球傾斜角Ｅと分担比Ｒとを用いて乗員の異常度Ｔを予め規定した異常度テーブルＴａを設定する異常度表設定工程（傾斜角演算工程Ｓ２）を有し、異常度判定工程Ｓ６において、異常度テーブルＴａに眼球傾斜角Ｅと分担比Ｒとを適用して異常度Ｔを判定するため、乗員の異常度Ｔを異常度テーブルＴａを用いて一層容易に検出することができる。
【0040】
分担比算出工程Ｓ４において、頭部傾斜角Ｈｍａｘを眼球傾斜角Ｅｍａｘで除算して分担比Ｒを演算するため、簡単な演算で分担比Ｒを求めることができる。
【0041】
基準関数は、眼球傾斜角Ｅの増加に伴い頭部傾斜角Ｈが増加する特性を有するため、不随意行動に係る頭部の追従性を関数モデルに置き換えることにより、判定精度を向上することができる。
【0042】
基準関数は、シグモイド関数Ｆであるため、頭部の追従性を神経細胞の発火周波数に対応付けすることにより、一層判定精度を向上することができる。
【0043】
次に、前記実施形態を部分的に変更した変形例について説明する。
１〕前記実施形態においては、神経回路モデルの出力傾向を表す基準関数として活性化関数の１つであるシグモイド関数Ｆの例を説明したが、他の活性化関数、ＲｅＬＵ、恒等関数等を適用しても良い。
１〕前記実施形態においては、神経回路モデルの出力傾向を表す基準関数として活性化関数の１つであるシグモイド関数Ｆの例を説明したが、他の活性化関数、ＲｅＬＵ、恒等関数等を適用しても良い。
【0044】
２〕前記実施形態においては、疾患の予兆検出により乗員が運転不能と判定された場合、車両主導で車速低下、路肩へ緊急停車する例を説明したが、搬送時間が最も短い病院を検索し、この病院に自動搬送するように設定することも可能である。
【0045】
３〕その他、当業者であれば、本発明の趣旨を逸脱することなく、前記実施形態に種々の変更を付加した形態で実施可能であり、本発明はそのような変更形態も包含するものである。
【符号の説明】
【0046】
１ 乗員状態推定装置
２ 車室カメラ
Ｅ 眼球傾斜角
Ｈ 頭部傾斜角
Ｒ 分担比
Ｔ 異常度
Ｓ２ 傾斜角演算工程
Ｓ４ 分担比算出工程
Ｓ６ 異常度判定行程
Ｓ１１ 眼球傾斜角演算工程
Ｓ１２ 頭部傾斜角演算工程
２ 車室カメラ
Ｅ 眼球傾斜角
Ｈ 頭部傾斜角
Ｒ 分担比
Ｔ 異常度
Ｓ２ 傾斜角演算工程
Ｓ４ 分担比算出工程
Ｓ６ 異常度判定行程
Ｓ１１ 眼球傾斜角演算工程
Ｓ１２ 頭部傾斜角演算工程
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
