知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-02
(45)【発行日】2024-08-13
(54)【発明の名称】運転者状態推定システム
(51)【国際特許分類】
B60W 40/08 20120101AFI20240805BHJP
A61B 5/11 20060101ALI20240805BHJP
A61B 5/16 20060101ALI20240805BHJP
A61B 5/18 20060101ALI20240805BHJP
【ＦＩ】
B60W40/08
A61B5/11 120
A61B5/16 130
A61B5/18
【請求項の数】
4
(21)【出願番号】P 2020113865
(22)【出願日】2020-07-01
(65)【公開番号】P2022012207
(43)【公開日】2022-01-17
【審査請求日】2023-03-14
(73)【特許権者】
【識別番号】000003137
【氏名又は名称】マツダ株式会社
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100059959
【弁理士】
【氏名又は名称】中村 稔
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100130937
【弁理士】
【氏名又は名称】山本 泰史
(74)【代理人】
【識別番号】100168871
【弁理士】
【氏名又は名称】岩上 健
(72)【発明者】
【氏名】星野 陽子
(72)【発明者】
【氏名】藤原 由貴
(72)【発明者】
【氏名】貝野 彰
【審査官】戸田 耕太郎
(56)【参考文献】
【文献】国際公開第２０１９／１５５９１３（ＷＯ，Ａ１）
【文献】特開２０１４－１１３２２７（ＪＰ，Ａ）
【文献】国際公開第２０１９／０３１５９９（ＷＯ，Ａ１）
【文献】特開２０１３－６５１１（ＪＰ，Ａ）
【文献】特開２００７－２４６０２３（ＪＰ，Ａ）
【文献】国際公開第２０１０／０３２４２４（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１８／０３０４８０６（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６０Ｗ ４０／０８
Ａ６１Ｂ ５／１１
Ａ６１Ｂ ５／１６
Ａ６１Ｂ ５／１８
(57)【特許請求の範囲】
【請求項1】
移動体を運転する運転者の状態を推定する運転者状態推定システムであって、上記運転者の顔を撮影するカメラと、
上記運転者の状態を推定するためのデータを取得するデータ取得時間の間、上記移動体に一定の減速度を生じさせる減速装置と、
プログラムを格納するメモリーと、
上記プログラムを実行するプロセッサーと、を有し、
上記プロセッサーは、
上記カメラにより撮影された顔の画像に基づき上記運転者の頭部のピッチ角及び眼球のピッチ角を検出し、
上記データ取得時間の間に検出された上記頭部のピッチ角及び上記眼球のピッチ角の時系列データに基づき、（１）上記移動体の減速度が一定となった後の上記頭部のピッチ角の極大値及び極小値と上記眼球のピッチ角の極大値及び極小値との出現順序が、まず上記頭部のピッチ角の極小値、次に上記眼球のピッチ角の極大値、次に上記頭部のピッチ角の極大値、次に上記眼球のピッチ角の極小値の順である場合、（２）上記頭部のピッチ角が極小値となってから上記眼球のピッチ角が極大値となるまでの時間及び上記頭部のピッチ角が極大値となってから上記眼球のピッチ角が極小値となるまでの時間が、それぞれ０秒以上０．０５秒未満である場合、又は（３）上記移動体の減速度が一定値となった時から上記頭部のピッチ角が極小値となるまでの時間が、０．２秒以上である場合に、それぞれ点数を加算し、
上記点数の合計が、上記運転者の状態が正常又は異常の何れであるのかを推定するために予め設定された閾値以上である場合に、上記運転者の状態は正常であると推定する、
運転者状態推定システム。
【請求項2】
（１）上記頭部のピッチ角の極大値及び極小値と上記眼球のピッチ角の極大値及び極小値との出現順序が、まず上記頭部のピッチ角の極小値、次に上記眼球のピッチ角の極大値、次に上記頭部のピッチ角の極大値、次に上記眼球のピッチ角の極小値の順である場合に加算される点数は、（２）上記頭部のピッチ角が極小値となってから上記眼球のピッチ角が極大値となるまでの時間及び上記頭部のピッチ角が極大値となってから上記眼球のピッチ角が極小値となるまでの時間がそれぞれ０秒以上０．０５秒未満である場合、及び（３）上記移動体の減速度が一定値となった時から上記頭部のピッチ角が極小値となるまでの時間が０．２秒以上である場合に加算される点数よりも大きい、請求項１に記載の運転者状態推定システム。
【請求項3】
上記減速装置はブレーキ装置である、請求項１又は２に記載の運転者状態推定システム。
【請求項4】
上記移動体は自動車であり、上記減速装置は上記自動車の動力源から出力される動力を利用する補機である、請求項１又は２に記載の運転者状態推定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転者状態推定システムに係わり、特に、移動体を運転する運転者の状態を推定する運転者状態推定システムに関する。
【背景技術】
【0002】
この種の技術が、例えば下記の特許文献に開示されている。特許文献１及び２には、鞍乗型車両のライダーが視対象に向けて視線を移動させるときの眼球運動のタイミングと頭部運動のタイミングのいずれが先であるかを判定し、この判定結果に基づき人の内的状態を推定する人の状態推定装置が開示されている。特許文献１及び２では、視対象が視野内に存在しているときには眼球運動が頭部運動よりも先に発生し易く、視対象が視野内に存在していないときには頭部運動が眼球運動よりも先に発生し易いとの考え方を提案している。そして、この考え方に基づき、特許文献１及び２の装置では、頭部運動が眼球運動よりも先に発生する割合が高いほど、ライダーの視野が狭い、即ち注意レベルが低いと推定する。
【0003】
また、特許文献３には、頭部運動に対してほぼ同じ速さで眼球を逆方向に回転させ、ブレのない視界を得るための反射性眼球運動（前庭動眼反射）に基づいて、車両の運転者、機械の操作者などが眠気を自覚する前の眠気の予兆を判定することが開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第６０６８９６４号明細書
【文献】特許第６３４４７４７号明細書
【文献】特許第６４３２７０２号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１及び２に記載された装置では、視対象に向けて視線を移動させるときの眼球運動及び頭部運動の順序に基づき人の内的状態を推定するので、内的状態推定の前提として、現在とは異なる視対象に向けて視線を移動させるという能動的な行動が必要となる。したがって、運転者が１つの対象物を注視し続けている場合など視線移動が発生しない状況では、運転者の状態を推定することができない。また、特許文献３の技術では、前庭動眼反射が発生しなければ運転者の眠気の予兆を判定することができない。このように、従来の技術では所望のタイミングで運転者の状態を推定することができないという問題がある。
【0006】
本発明は、上述した従来技術の問題点を解決するためになされたものであり、所望のタイミングで運転者の状態を推定することができる運転者状態推定システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記の目的を達成するために、本発明は、移動体を運転する運転者の状態を推定する運転者状態推定システムであって、運転者の顔を撮影するカメラと、運転者の状態を推定するためのデータを取得するデータ取得時間の間、移動体に一定の減速度を生じさせる減速装置と、プログラムを格納するメモリーと、プログラムを実行するプロセッサーと、を有し、プロセッサーは、カメラにより撮影された顔の画像に基づき運転者の頭部のピッチ角及び眼球のピッチ角を検出し、データ取得時間の間に検出された頭部のピッチ角及び眼球のピッチ角の時系列データに基づき、（１）移動体の減速度が一定となった後の頭部のピッチ角の極大値及び極小値と眼球のピッチ角の極大値及び極小値との出現順序が、まず頭部のピッチ角の極小値、次に眼球のピッチ角の極大値、次に頭部のピッチ角の極大値、次に眼球のピッチ角の極小値の順である場合、（２）頭部のピッチ角が極小値となってから眼球のピッチ角が極大値となるまでの時間及び頭部のピッチ角が極大値となってから眼球のピッチ角が極小値となるまでの時間が、それぞれ０秒以上０．０５秒未満である場合、又は（３）移動体の減速度が一定値となった時から頭部のピッチ角が極小値となるまでの時間が、０．２秒以上である場合に、それぞれ点数を加算し、点数の合計が、運転者の状態が正常又は異常の何れであるのかを推定するために予め設定された閾値以上である場合に、運転者の状態は正常であると推定する。
このように構成された本発明では、運転者の能動的な行動や前庭動眼反射の自然発生を待つことなく、所望のタイミングで運転者の状態を推定することができる。さらに、頭部や眼球の運動の単なる発生順序ではなく、頭部の安定を保とうとする平衡機能や頭部と眼球の協調運動に関連する複数のパラメーターを用いて運転者状態を推定するので、運転者状態の推定の信頼性を向上させることができる。
このように構成された本発明では、運転者の能動的な行動や前庭動眼反射の自然発生を待つことなく、所望のタイミングで運転者の状態を推定することができる。さらに、頭部や眼球の運動の単なる発生順序ではなく、頭部の安定を保とうとする平衡機能や頭部と眼球の協調運動に関連する複数のパラメーターを用いて運転者状態を推定するので、運転者状態の推定の信頼性を向上させることができる。
【0008】
本発明において、好ましくは、（１）頭部のピッチ角の極大値及び極小値と眼球のピッチ角の極大値及び極小値との出現順序が、まず頭部のピッチ角の極小値、次に眼球のピッチ角の極大値、次に頭部のピッチ角の極大値、次に眼球のピッチ角の極小値の順である場合に加算される点数は、（２）頭部のピッチ角が極小値となってから眼球のピッチ角が極大値となるまでの時間及び頭部のピッチ角が極大値となってから眼球のピッチ角が極小値となるまでの時間がそれぞれ０秒以上０．０５秒未満である場合、及び（３）移動体の減速度が一定値となった時から頭部のピッチ角が極小値となるまでの時間が０．２秒以上である場合に加算される点数よりも大きい。
このように構成された本発明においては、運転者状態の正常時と異常時との間で差が出やすいパラメーターの重み付けを大きくしているので、運転者状態の推定の信頼性をより向上させることができる。
このように構成された本発明においては、運転者状態の正常時と異常時との間で差が出やすいパラメーターの重み付けを大きくしているので、運転者状態の推定の信頼性をより向上させることができる。
【0009】
本発明において、好ましくは、減速装置はブレーキ装置である。
このように構成された本発明においては、ブレーキ装置により減速度を生じさせるので、運転者状態の推定に必要な減速度を確実に発生させることができる。
このように構成された本発明においては、ブレーキ装置により減速度を生じさせるので、運転者状態の推定に必要な減速度を確実に発生させることができる。
【0010】
本発明において、好ましくは、移動体は自動車であり、減速装置は自動車の動力源から出力される動力を利用する補機である。
このように構成された本発明においては、補機により自動車に減速度を発生させるので、動力源から出力される動力を有効利用しつつ運転者状態の推定に必要な減速度を発生させることができる。
このように構成された本発明においては、補機により自動車に減速度を発生させるので、動力源から出力される動力を有効利用しつつ運転者状態の推定に必要な減速度を発生させることができる。
【発明の効果】
【0011】
本発明の運転者状態推定システムによれば、所望のタイミングで運転者の状態を推定することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施形態による運転者状態推定システムが適用された車両の概略構成を示す平面図である。
【図2】本発明の実施形態による運転者状態推定システムの機能構成を示すブロック図である。
【図3】本発明の実施形態による運転者状態推定処理のメインルーチンのフローチャートである。
【図4】本発明の実施形態による運転者状態推定処理のサブルーチンのフローチャートである。
【図5】本発明の実施形態による運転者状態推定システムが運転者状態を推定するときの頭部ピッチ角及び眼球ピッチ角の変化を例示するグラフである。
【発明を実施するための形態】
【0013】
以下、添付図面を参照して、本発明の実施形態による運転者状態推定システムについて説明する。
【0014】
＜システム構成＞
まず、図１及び図２を参照して、本実施形態による運転者状態推定システムの構成を説明する。図１は、本実施形態による運転者状態推定システムが適用された車両の概略構成を示す平面図であり、図２は、本実施形態による運転者状態推定システムの機能構成を示すブロック図である。
まず、図１及び図２を参照して、本実施形態による運転者状態推定システムの構成を説明する。図１は、本実施形態による運転者状態推定システムが適用された車両の概略構成を示す平面図であり、図２は、本実施形態による運転者状態推定システムの機能構成を示すブロック図である。
【0015】
図１において、符号１は、本実施形態による運転者状態推定システムを搭載した車両を示す。車両１の車体前部には、駆動輪（図１の例では左右の前輪２）を駆動する動力源４が搭載されている。動力源４は、例えばガソリンエンジン、ディーゼルエンジンなどの内燃エンジンあるいは電気モーターであり、本実施形態ではガソリンエンジンである。動力源４の近傍には、動力源４により駆動される補機としてエアコン用コンプレッサー６及びオルタネーター８が設けられている。
【0016】
また、車両１は、制動力を発生させるためのブレーキシステム１０を備えている。ブレーキシステム１０は、各車輪に設けられたブレーキ装置１２、ブレーキ装置１２において制動力を発生させるために必要なブレーキ液圧を生成する液圧ポンプ１４、及び液圧ポンプ１４からブレーキ装置１２へ供給される液圧を制御するためのブレーキコントローラー１６を備えている。液圧ポンプ１４は、例えばバッテリーから供給される電力で駆動され、ブレーキペダルが踏み込まれていないとき（即ち運転者が車両１を減速させる意思の無いとき）であっても、各ブレーキ装置１２において制動力を発生させるために必要なブレーキ液圧を生成することが可能となっている。ブレーキコントローラー１６は、ＥＣＵ（Electronic Control Unit）１８に電気的に接続され、相互に信号の入出力が可能となっている。
【0017】
また、車両１の車室内に、運転者の顔を撮影するカメラ２０が設けられている。カメラ２０は、例えば車両１のフロントウィンドウ上部に設置され、運転者を含む車室内の状況を撮影する。カメラ２０によって撮影された画像はＥＣＵ１８に送信される。
【0018】
車室内における運転者の前方には、ＥＣＵ１８の制御に基づいて各種の情報を表示するディスプレイ２２が設けられている。このディスプレイ２２としては、例えば液晶ディスプレイやヘッドアップディスプレイが用いられる。また、ＥＣＵ１８の制御に基づいて各種の情報を音声出力するスピーカー２４が車室内に設置されている。
【0019】
さらに、車両１は、車両１の加速度及び減速度を検出する加速度センサー２６を備えている。加速度センサー２６は、検出値をＥＣＵ１８に出力する。
【0020】
ＥＣＵ１８は、図２に示すように、プロセッサー２８、及び、当該プロセッサー２８上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）や各種のデータを記憶するためのメモリー３０（ＲＯＭやＲＡＭ等）を有している。
【0021】
この車両１においては、ＥＣＵ１８が各種の制御を行う。本実施形態では、ＥＣＵ１８は、動力源４、ブレーキコントローラー１６、エアコン用コンプレッサー６、オルタネーター８等を制御することに加えて、カメラ２０により撮影された顔の画像を用いて運転者の頭部のピッチ角及び眼球のピッチ角を検出し、これらの頭部及び眼球のピッチ角に基づき運転者の状態を推定する。
【0022】
＜制御処理＞
次に、図３及び図４を参照して、本実施形態による運転者状態推定処理について説明する。図３は、本実施形態による運転者状態推定処理のメインルーチンのフローチャートであり、図４は運転者状態推定処理のサブルーチンのフローチャートである。図３のフローは、車両１の電源がＯＮにされるとＥＣＵ１８によって開始され、所定の周期で繰り返し実行される。
次に、図３及び図４を参照して、本実施形態による運転者状態推定処理について説明する。図３は、本実施形態による運転者状態推定処理のメインルーチンのフローチャートであり、図４は運転者状態推定処理のサブルーチンのフローチャートである。図３のフローは、車両１の電源がＯＮにされるとＥＣＵ１８によって開始され、所定の周期で繰り返し実行される。
【0023】
まず、ステップＳ１において、ＥＣＵ１８は、運転者状態推定を行うタイミングであるか否かを判定する。具体的には、ＥＣＵ１８は、例えば既知の技術により直近の所定時間内においてステアリング操作のふらつきが検出された場合や、運転者のまぶたの開き具合から眠気が検知された場合、あるいは所定時間毎に、運転者状態推定を行うタイミングであると判定する。その結果、運転者状態推定を行うタイミングではないと判定した場合、ＥＣＵ１８は運転者状態推定処理を終了する。
【0024】
一方、運転者状態推定を行うタイミングであると判定した場合、ステップＳ２に進み、ＥＣＵ１８は、運転者の視線を運転者の前方の対象物に誘導する。具体的には、例えば、ＥＣＵ１８は前走車、ディスプレイ２２、あるいはメーターパネル等を見ることを運転者に促すメッセージをディスプレイ２２やスピーカー２４から出力させる。前走車、ディスプレイ２２、メーターパネル等の何れの対象物に運転者の視線を誘導するかは、車速や走行中の道路等の走行状況に応じて決定することができる。
【0025】
次に、ステップＳ３において、ＥＣＵ１８は、カメラ２０により撮影された顔の画像に基づき運転者の頭部のピッチ角及び眼球のピッチ角の検出を開始する。頭部のピッチ角及び眼球のピッチ角の検出は、既存の画像処理技術によって実現することができる。頭部のピッチ角及び眼球のピッチ角は時系列データとして取得される。
【0026】
続いて、ステップＳ４において、ＥＣＵ１８は、車両１の減速を開始させる。具体的には、ＥＣＵ１８は、運転者状態推定を行うための所定の減速度（例えば１ｍ／ｓ2）を指示する減速指令をブレーキコントローラー１６に出力する。ブレーキコントローラー１６は、車両１に発生させる減速度と液圧ポンプ１４の回転数との関係を規定したマップを予め記憶しており、このマップを参照することにより、ＥＣＵ１８から指示された減速度に対応する回転数で液圧ポンプ１４を作動させる。このステップＳ４におけるブレーキシステム１０の制御は、運転者によるブレーキペダルの操作とは無関係に行われる。
【0027】
ステップＳ４における減速開始後、ステップＳ５において、ＥＣＵ１８は、車両１の減速度がブレーキコントローラー１６に指示した値（例えば１ｍ／ｓ2）に到達するまで待機する。車両１の減速度がＥＣＵ１８から指示された値に到達すると、ブレーキコントローラー１６は、加速度センサー２６の検出値に基づき、減速度を一定に維持するように液圧ポンプ１４を制御する。
【0028】
ステップＳ５において車両１の減速度がブレーキコントローラー１６に指示した値（例えば１ｍ／ｓ2）に到達し、ブレーキコントローラー１６により減速度が一定に維持されるようになると、ステップＳ６に進み、ＥＣＵ１８は、頭部のピッチ角及び眼球のピッチ角の時系列データに基づき、車両１の減速度が一定となった後の頭部のピッチ角及び眼球のピッチ角のそれぞれの極大値及び極小値の出現時期を取得する。
【0029】
次に、ステップＳ７において、ＥＣＵ１８は、車両１の減速度が一定となった後、運転者状態推定を行うために必要なデータ取得時間（例えば２秒。以下、必要に応じて「推定時間」という）が経過したか否かを判定する。その結果、推定時間が経過していない場合、ステップＳ６に戻る。以降、推定時間が経過するまでステップＳ６の処理を繰り返す。
【0030】
ステップＳ７において、車両１の減速度が一定となってから推定時間が経過したと判定された場合、ステップＳ８に進み、ＥＣＵ１８は、運転者の前方対象物への視線の誘導、頭部のピッチ角と眼球のピッチ角の検出、及び車両１の減速を終了する。
【0031】
続いて、ステップＳ９において、ＥＣＵ１８は、車両１の減速度が一定となってから推定時間の間に取得した頭部のピッチ角及び眼球のピッチ角の時系列データに基づき、運転者の状態を推定する。このステップＳ９において運転者状態を推定するためのサブルーチンを、図４を参照して説明する。
【0032】
図４に示すように、まずステップＳ１１において、ＥＣＵ１８は、車両１の減速度が一定となった後の頭部ピッチ角の極大値及び極小値と眼球ピッチ角の極大値及び極小値との出現順序が所定の順序か否かを判定する。具体的には、車両１の減速度が一定となった後、頭部ピッチ角が極小→眼球ピッチ角が極大→頭部ピッチ角が極大→眼球ピッチ角が極小→頭部ピッチ角が極小（以下、同じ順序を繰り返す）の順で頭部ピッチ角と眼球ピッチ角のそれぞれの極大値及び極小値が出現した場合、ＥＣＵ１８は、運転者の状態は正常であると推定する。この場合、ステップＳ１２に進み、運転者の状態を表す点数を２点加算する。なお、この点数の初期値は０点に設定されている。
一方、頭部ピッチ角と眼球ピッチ角のそれぞれの極大値及び極小値が上記の順序で出現していない場合、ＥＣＵ１８は、運転者の状態は異常であると推定する。この場合、ＥＣＵ１８はステップＳ１２をスキップする（つまり点数を加算しない）。
一方、頭部ピッチ角と眼球ピッチ角のそれぞれの極大値及び極小値が上記の順序で出現していない場合、ＥＣＵ１８は、運転者の状態は異常であると推定する。この場合、ＥＣＵ１８はステップＳ１２をスキップする（つまり点数を加算しない）。
【0033】
次に、ステップＳ１３において、ＥＣＵ１８は、頭部ピッチ角の極小値から眼球ピッチ角の極大値までの時間及び頭部ピッチ角の極大値から眼球ピッチ角の極小値までの時間が所定範囲内か否かを判定する。具体的には、頭部ピッチ角の極小値から眼球ピッチ角の極大値までの時間及び頭部ピッチ角の極大値から眼球ピッチ角の極小値までの時間がそれぞれ所定時間内（具体的には、例えば０秒以上０．０５秒未満。この数値範囲は実験的に得られたものである）である場合、ＥＣＵ１８は、運転者の状態は正常であると推定する。この場合、ステップＳ１４に進み、運転者の状態を表す点数を１点加算する。
一方、頭部ピッチ角の極小値から眼球ピッチ角の極大値までの時間又は頭部ピッチ角の極大値から眼球ピッチ角の極小値までの時間の少なくとも一方が上記の範囲外である場合、ＥＣＵ１８は、運転者の状態は異常であると推定する。この場合、ＥＣＵ１８はステップＳ１４をスキップする（つまり点数を加算しない）。
一方、頭部ピッチ角の極小値から眼球ピッチ角の極大値までの時間又は頭部ピッチ角の極大値から眼球ピッチ角の極小値までの時間の少なくとも一方が上記の範囲外である場合、ＥＣＵ１８は、運転者の状態は異常であると推定する。この場合、ＥＣＵ１８はステップＳ１４をスキップする（つまり点数を加算しない）。
【0034】
次に、ステップＳ１５において、ＥＣＵ１８は、車両１の減速度が一定値となった時から頭部ピッチ角が極小値となるまでの時間が所定値以上か否かを判定する。具体的には、車両１の減速度が一定となってから頭部ピッチ角が極小値となるまでの時間が０．２秒以上である場合、ＥＣＵ１８は、運転者の状態は正常であると推定する。この場合、ステップＳ１６に進み、運転者の状態を表す点数を１点加算する。
一方、車両１の減速度が一定となってから頭部ピッチ角が極小値となるまでの時間が０．２秒未満である場合、ＥＣＵ１８は、運転者の状態は異常であると推定する。この場合、ＥＣＵ１８はステップＳ１６をスキップする（つまり点数を加算しない）。
一方、車両１の減速度が一定となってから頭部ピッチ角が極小値となるまでの時間が０．２秒未満である場合、ＥＣＵ１８は、運転者の状態は異常であると推定する。この場合、ＥＣＵ１８はステップＳ１６をスキップする（つまり点数を加算しない）。
【0035】
続いて、ステップＳ１７において、ＥＣＵ１８は、ステップＳ１１からＳ１６までの間に加算した点数の合計に基づき、運転者状態の最終的な推定を行う。具体的には、点数の合計が３点以上の場合に運転者の状態は正常であると推定し、２点以下の場合には異常と推定する。このステップＳ１７の後、メインルーチンに戻り、ＥＣＵ１８は運転者状態推定処理を終了する。
【0036】
＜実施例＞
次に、図５を参照して、本実施形態の運転者状態推定システムによる運転者状態推定の実施例を説明する。
本願発明者らは、運転者状態推定システムにより運転者状態推定が行われる状況を模した走行実験を行った。図５は、その走行実験における運転者の頭部ピッチ角及び眼球ピッチ角の変化を例示したグラフであり、図５（ａ）は運転者状態が正常である場合（ケース１）を示し、図５（ｂ）は運転者状態が異常である場合（ケース２）を示している。なお、運転者状態が異常であるケース２については、実験中被験者に暗算負荷を与えて交感神経系を意図的に優位にすることにより、自律神経系の異常を再現した。
次に、図５を参照して、本実施形態の運転者状態推定システムによる運転者状態推定の実施例を説明する。
本願発明者らは、運転者状態推定システムにより運転者状態推定が行われる状況を模した走行実験を行った。図５は、その走行実験における運転者の頭部ピッチ角及び眼球ピッチ角の変化を例示したグラフであり、図５（ａ）は運転者状態が正常である場合（ケース１）を示し、図５（ｂ）は運転者状態が異常である場合（ケース２）を示している。なお、運転者状態が異常であるケース２については、実験中被験者に暗算負荷を与えて交感神経系を意図的に優位にすることにより、自律神経系の異常を再現した。
【0037】
これらの図５（ａ）、（ｂ）において、横軸は時間［ｓ］、左側の縦軸は加速度［ｍ／ｓ2］、右側の縦軸は頭部及び眼球のピッチ角［ｄｅｇ］を示している。加速度が負値の場合、車両１が減速していることを意味する。また、頭部及び眼球のピッチ角は、頭部及び眼球がそれぞれ上向きになるほど大きく、下向きになるほど小さくなる。グラフ中の実線は加速度、点線は頭部ピッチ角、一点鎖線は眼球ピッチ角を示し、○は頭部ピッチの極小値、●は頭部ピッチ角の極大値、△は眼球ピッチ角の極大値、▲は眼球ピッチ角の極小値を表す。
【0038】
図５（ａ）に示すケース１は、運転者状態が正常であるときの頭部及び眼球のピッチ角変化を例示している。運転者状態が正常であるということは、頭部の安定を保とうとする平衡機能や頭部と眼球の協調運動が正常に行われるということである。
【0039】
具体的には、まず、車両１の減速開始（図３のステップＳ３）に伴い頭部ピッチ角が減少し始める。これは、慣性力により運転者の頭部を下向きに回転させる力が働くためである。このとき、運転者の視線は前方の対象物（前走車あるいはディスプレイ２２）に誘導されているので（図３のステップＳ２）、頭部の回転と反対方向に眼球を回転させることにより対象物を視野の中心に維持しようとする眼球反応（前庭動眼反射）が引き起こされる。即ち、眼球ピッチ角は増大する。
【0040】
その後、車両１の減速による慣性力に対して頭部を安定させようと平衡機能が働くことにより、頭部のピッチ角は増減を繰り返しながら徐々に収束に向かう。図５（ａ）に示すケース１では、時刻ＴSにおいて車両１の減速度が所定値（例えば１ｍ／ｓ2）で一定に維持され始めた後、０．２秒以上経過した時刻Ｔ1において頭部の下向きの回転を抑えようとする筋力が慣性力を上回ることにより、頭部ピッチ角は増大に転じる。即ち、時刻Ｔ1において頭部ピッチ角は最初の極小値となっている。続いて時刻Ｔ2において頭部ピッチ角は再び減少し始める。即ち、時刻Ｔ2において頭部ピッチ角は極大値となっている。以降、時刻ＴEにおいて車両１の減速が終了する（図３のステップＳ９）までの間、頭部ピッチ角は増減を繰り返し、時刻Ｔ3に極小値、時刻Ｔ4に極大値、時刻Ｔ5に極小値、時刻Ｔ6に極大値となる。
【0041】
上述のように頭部のピッチ角が増減すると、これに対する前庭動眼反射により眼球ピッチ角も増減する。即ち、時刻Ｔ1において頭部ピッチ角が増大に転じると、時刻Ｔ1からΔＴ1後に眼球ピッチ角は極大値となり減少に転じる。以降、眼球ピッチ角は時刻Ｔ2からΔＴ2後に極小値、時刻Ｔ3からΔＴ3後に極大値、時刻Ｔ4からΔＴ4後に極小値、時刻Ｔ5から後に遅れて極大値、時刻Ｔ6からΔＴ6後に極小値となっている。
【0042】
このケース１においては、時刻ＴSにおいて車両１の減速度が一定となった後、頭部ピッチ角が極小→眼球ピッチ角が極大→頭部ピッチ角が極大→眼球ピッチ角が極小→頭部ピッチ角が極小（以下、同じ順序を繰り返す）の順で頭部ピッチ角と眼球ピッチ角のそれぞれの極大値及び極小値が出現しているので、運転者の状態を表す点数が２点加算される（図４のステップＳ１２）。
また、頭部ピッチ角の極小値から眼球ピッチ角の極大値までの時間（ΔＴ1、ΔＴ3、ΔＴ5）及び頭部ピッチ角の極大値から眼球ピッチ角の極小値までの時間（ΔＴ2、ΔＴ4、ΔＴ6）がそれぞれ所定時間内（具体的には、０秒以上０．０５秒未満の範囲内）なので、運転者の状態を表す点数は１点加算される（図４のステップＳ１４）。
さらに、車両１の減速度が一定となった時刻ＴSから頭部ピッチ角が最初の極小値となる時刻Ｔ1までの時間が０．２秒以上なので、点数は１点加算される（図４のステップＳ１６）。
以上の結果、加算した点数の合計は４点であり３点を超えているので、運転者の状態は正常であると正しく推定される（図４のステップＳ１７）。
また、頭部ピッチ角の極小値から眼球ピッチ角の極大値までの時間（ΔＴ1、ΔＴ3、ΔＴ5）及び頭部ピッチ角の極大値から眼球ピッチ角の極小値までの時間（ΔＴ2、ΔＴ4、ΔＴ6）がそれぞれ所定時間内（具体的には、０秒以上０．０５秒未満の範囲内）なので、運転者の状態を表す点数は１点加算される（図４のステップＳ１４）。
さらに、車両１の減速度が一定となった時刻ＴSから頭部ピッチ角が最初の極小値となる時刻Ｔ1までの時間が０．２秒以上なので、点数は１点加算される（図４のステップＳ１６）。
以上の結果、加算した点数の合計は４点であり３点を超えているので、運転者の状態は正常であると正しく推定される（図４のステップＳ１７）。
【0043】
一方、図５（ｂ）に示すケース２は、運転者状態が異常であるときの頭部及び眼球のピッチ角変化を例示している。運転者状態が異常であるということは、頭部の安定を保とうとする平衡機能や頭部と眼球の協調運動が正常に行われないということである。
【0044】
具体的には、頭部を安定させる平衡機能が正常に機能しないので、正常時と比較して車両１の減速による慣性力の影響を受けやすくなる。その結果、ケース２では、時刻ＴS’において車両１の減速度が所定値（例えば１ｍ／ｓ2）で一定に維持され始めた後、０．２秒経過する前の時刻Ｔ1’において頭部ピッチ角は極小値に達してしまう。したがって、図４のステップＳ１６はスキップされ、点数は加算されない。
【0045】
また、前庭動眼反射が正常に機能しなくなるため、頭部ピッチ角の変化と眼球ピッチ角の変化との協調運動が乱れてしまう。ケース２では、時刻Ｔ2’及びＴ4’において頭部ピッチ角の極大値と眼球ピッチ角の極小値とがほぼ同時に（つまりＸ秒未満の時間差で）出現している。また、時刻Ｔ3’における頭部ピッチ角の極小値とその後の眼球ピッチ角の極大値との時間差はＹ秒よりも大きい。したがって、図４のステップＳ１４はスキップされ、点数は加算されない。
【0046】
ただし、このケース２においても、時刻ＴS’において車両１の減速度が一定となった後、頭部ピッチ角が極小→眼球ピッチ角が極大→頭部ピッチ角が極大→眼球ピッチ角が極小→頭部ピッチ角が極小（以下、同じ順序を繰り返す）の順で頭部ピッチ角と眼球ピッチ角のそれぞれの極大値及び極小値が出現しているので、図４のステップＳ１２において点数が２点加算される。
以上の結果、加算した点数の合計は２点であり３点未満であるので、運転者の状態は異常であると正しく推定される（図４のステップＳ１７）。
以上の結果、加算した点数の合計は２点であり３点未満であるので、運転者の状態は異常であると正しく推定される（図４のステップＳ１７）。
【0047】
＜変形例＞
次に、本発明の変形例を説明する。
上述した実施形態では、（１）頭部ピッチ角の極大値及び極小値と眼球ピッチ角の極大値及び極小値との出現順序、（２）頭部ピッチ角が極小値となってから眼球ピッチ角が極大値となるまでの時間及び頭部ピッチ角が極大値となってから眼球ピッチ角が極小値となるまでの時間、及び（３）車両１の減速度が一定値となった時から頭部ピッチ角が極小値となるまでの時間に基づき運転者状態を推定すると説明したが、これら３つのパラメーターの何れか１つ、あるいは任意の２つの組み合わせに基づき運転者状態を推定するようにしてもよい。
次に、本発明の変形例を説明する。
上述した実施形態では、（１）頭部ピッチ角の極大値及び極小値と眼球ピッチ角の極大値及び極小値との出現順序、（２）頭部ピッチ角が極小値となってから眼球ピッチ角が極大値となるまでの時間及び頭部ピッチ角が極大値となってから眼球ピッチ角が極小値となるまでの時間、及び（３）車両１の減速度が一定値となった時から頭部ピッチ角が極小値となるまでの時間に基づき運転者状態を推定すると説明したが、これら３つのパラメーターの何れか１つ、あるいは任意の２つの組み合わせに基づき運転者状態を推定するようにしてもよい。
【0048】
また、上述の実施形態では、図３のステップＳ４においてＥＣＵ１８はブレーキシステム１０を制御することにより、運転者によるブレーキペダルの操作とは無関係に車両１を減速させると説明したが、エアコン用コンプレッサー６やオルタネーター８を含む補機を制御することにより車両１を減速させてもよい。具体的には、図３のステップＳ４において、ＥＣＵ１８は、エアコン用コンプレッサー６やオルタネーター８が動力源４により駆動されるように、制御指令を出力する。これにより、動力源４から出力される駆動力の一部がエアコン用コンプレッサー６やオルタネーター８を駆動させるために使用されるので、駆動輪２を駆動するための駆動力が減少し、運転者の意思から独立して車両１に減速度が発生する。このとき、ＥＣＵ１８はエアコン用コンプレッサー６やオルタネーター８の駆動負荷を制御することにより、運転者状態推定を行うための所定の減速度（例えば１ｍ／ｓ2）を発生させることができる。
【0049】
また、上述の実施形態では、車両１の減速度が一定となった後の頭部ピッチ角の極大値及び極小値と眼球ピッチ角の極大値及び極小値との出現順序が所定の順序であった場合、運転者の状態を表す点数を２点加算し（図４のステップＳ１２）、頭部ピッチ角の極小値から眼球ピッチ角の極大値までの時間及び頭部ピッチ角の極大値から眼球ピッチ角の極小値までの時間が所定範囲内であった場合、点数を１点加算し（図４のステップＳ１４）、車両１の減速度が一定値となった時から頭部ピッチ角が極小値となるまでの時間が所定値以上であった場合、点数を１点加算する（図４のステップＳ１６）と説明したが、それぞれの場合において加算する点数を変えてもよい。
【0050】
また、上述の実施形態は運転者状態推定システムを４輪自動車に適用した例を示したが、４輪自動車以外の車両や、車両以外の移動体（例えば鉄道、飛行機、船舶）にも本実施形態による運転者状態推定システムを適用することができる。
【0051】
＜作用効果＞
次に、上述した実施形態及び変形例による運転者状態推定システムの作用効果について説明する。
次に、上述した実施形態及び変形例による運転者状態推定システムの作用効果について説明する。
【0052】
まず、ＥＣＵ１８は、運転者の意思から独立してブレーキ装置１２や補機により車両１に減速度を生じさせている間において、頭部ピッチ角が極小値から極大値まで増大する間に眼球ピッチ角が極大値となり、頭部ピッチ角が極大値から極小値まで減少する間に眼球ピッチ角が極小値となっている場合に、運転者の状態は正常であると推定し、そうでない場合には運転者の状態は異常であると推定する。
したがって、運転者の能動的な行動や前庭動眼反射の自然発生を待つことなく、所望のタイミングで運転者の状態を推定することができる。さらに、頭部や眼球の運動の単なる発生順序ではなく、頭部ピッチ角及び眼球ピッチ角が極大値及び極小値となる順序に基づいて運転者状態を推定するので、前庭動眼反射の異常による頭部ピッチ角の変化と眼球ピッチ角の変化との協調運動の乱れを推定に反映することができ、運転者状態の推定の信頼性を向上させることができる。
したがって、運転者の能動的な行動や前庭動眼反射の自然発生を待つことなく、所望のタイミングで運転者の状態を推定することができる。さらに、頭部や眼球の運動の単なる発生順序ではなく、頭部ピッチ角及び眼球ピッチ角が極大値及び極小値となる順序に基づいて運転者状態を推定するので、前庭動眼反射の異常による頭部ピッチ角の変化と眼球ピッチ角の変化との協調運動の乱れを推定に反映することができ、運転者状態の推定の信頼性を向上させることができる。
【0053】
また、ＥＣＵ１８は、運転者の意思から独立してブレーキ装置１２や補機により車両１に一定の減速度を生じさせるので、減速度の変動に応じて頭部ピッチ角が不必要に変化し、頭部ピッチ角及び眼球ピッチ角が極大値及び極小値となる順序に影響を与えることを防止できる。これにより、運転者状態の推定の信頼性を確保することができる。
【0054】
また、ＥＣＵ１８は、車両１に減速度を生じさせている間において、頭部ピッチ角の複数の極大値及び極小値と眼球ピッチ角の複数の極大値及び極小値との出現時期に基づき、運転者の状態を推定するので、前庭動眼反射の異常による頭部ピッチ角の変化と眼球ピッチ角の変化との協調運動の乱れをより正確に推定に反映することができ、運転者状態の推定の信頼性を向上させることができる。
【0055】
また、ＥＣＵ１８は、ブレーキ装置１２や補機により車両１に減速度を生じさせている間において、（１）頭部ピッチ角の極大値及び極小値と眼球ピッチ角の極大値及び極小値との出現順序が所定の順序である場合、（２）頭部ピッチ角が極小値となってから眼球のピッチ角が極大値となるまでの時間及び頭部ピッチ角が極大値となってから眼球ピッチ角が極小値となるまでの時間が所定範囲内である場合、又は（３）車両１の減速度が一定値となった時から頭部ピッチ角が極小値となるまでの時間が所定値以上である場合に、それぞれ点数を加算し、点数の合計が閾値以上である場合に運転者の状態は正常であると推定する。
したがって、運転者の能動的な行動や前庭動眼反射の自然発生を待つことなく、所望のタイミングで運転者の状態を推定することができる。さらに、頭部や眼球の運動の単なる発生順序ではなく、頭部の安定を保とうとする平衡機能や頭部と眼球の協調運動に関連する複数のパラメーターを用いて運転者状態を推定するので、運転者状態の推定の信頼性を向上させることができる。
したがって、運転者の能動的な行動や前庭動眼反射の自然発生を待つことなく、所望のタイミングで運転者の状態を推定することができる。さらに、頭部や眼球の運動の単なる発生順序ではなく、頭部の安定を保とうとする平衡機能や頭部と眼球の協調運動に関連する複数のパラメーターを用いて運転者状態を推定するので、運転者状態の推定の信頼性を向上させることができる。
【0056】
また、（１）頭部ピッチ角の極大値及び極小値と眼球ピッチ角の極大値及び極小値との出現順序が所定の順序である場合に加算される点数は、（２）頭部ピッチ角が極小値となってから眼球ピッチ角が極大値となるまでの時間及び頭部ピッチ角が極大値となってから眼球ピッチ角が極小値となるまでの時間が所定範囲内である場合、及び（３）車両１の減速度が一定値となった時から頭部ピッチ角が極小値となるまでの時間が所定値以上である場合に加算される点数よりも大きい。
即ち、運転者状態の正常時と異常時との間で差が出やすいパラメーターの重み付けを大きくしているので、運転者状態の推定の信頼性をより向上させることができる。
即ち、運転者状態の正常時と異常時との間で差が出やすいパラメーターの重み付けを大きくしているので、運転者状態の推定の信頼性をより向上させることができる。
【0057】
また、ＥＣＵ１８は、ディスプレイ２２やスピーカー２４から情報を出力させることにより運転者の視線を当該運転者前方の対象物に誘導した後、運転者の意思から独立してブレーキ装置１２や補機により車両１に減速度を生じさせている間において、頭部ピッチ角の極大値及び極小値と眼球ピッチ角の極大値及び極小値との出現順序が所定の順序である場合に、運転者の状態は正常であると推定し、そうでない場合には運転者の状態は異常であると推定する。
したがって、運転者の能動的な行動や前庭動眼反射の自然発生を待つことなく、所望のタイミングで運転者の状態を推定することができる。さらに、頭部や眼球の運動の単なる発生順序ではなく、頭部ピッチ角及び眼球ピッチ角が極大値及び極小値となる順序に基づいて運転者状態を推定するので、前庭動眼反射の異常による頭部ピッチ角の変化と眼球ピッチ角の変化との協調運動の乱れを推定に反映することができ、運転者状態の推定の信頼性を向上させることができる。また、運転者の視線を当該運転者前方の対象物に誘導するので、視線が不必要に変化し、頭部ピッチ角及び眼球ピッチ角が極大値及び極小値となる順序に影響を与えることを防止できる。これにより、運転者状態の推定の信頼性を確保することができる。
したがって、運転者の能動的な行動や前庭動眼反射の自然発生を待つことなく、所望のタイミングで運転者の状態を推定することができる。さらに、頭部や眼球の運動の単なる発生順序ではなく、頭部ピッチ角及び眼球ピッチ角が極大値及び極小値となる順序に基づいて運転者状態を推定するので、前庭動眼反射の異常による頭部ピッチ角の変化と眼球ピッチ角の変化との協調運動の乱れを推定に反映することができ、運転者状態の推定の信頼性を向上させることができる。また、運転者の視線を当該運転者前方の対象物に誘導するので、視線が不必要に変化し、頭部ピッチ角及び眼球ピッチ角が極大値及び極小値となる順序に影響を与えることを防止できる。これにより、運転者状態の推定の信頼性を確保することができる。
【0058】
また、運転者の視線を運転者前方のディスプレイ２２に誘導するので、運転者の視線を誘導する位置やタイミングを正確にコントロールすることができ、運転者状態の推定の信頼性をより向上することができる。
【0059】
また、運転者の視線を前方の他車両に誘導するので、運転操作を妨げることなく運転者の視線を誘導することができる。
【0060】
また、ＥＣＵ１８は、運転者の意思から独立してブレーキ装置１２や補機により車両１に一定の減速度を生じさせ、減速度が一定値となった時から頭部ピッチ角が極小値となる時までの時間が閾値以上である場合に、運転者の状態は正常であると推定し、そうでない場合には運転者の状態は異常であると推定する。
したがって、運転者の能動的な行動や前庭動眼反射の自然発生を待つことなく、所望のタイミングで運転者の状態を推定することができる。さらに、頭部や眼球の運動の単なる発生順序ではなく、減速度が一定値となった時から頭部ピッチ角が極小値となる時までの時間に基づいて運転者状態を推定するので、車両１の減速による慣性力に対して頭部を安定させようとする平衡機能の乱れを推定に反映することができ、運転者状態の推定の信頼性を向上させることができる。
したがって、運転者の能動的な行動や前庭動眼反射の自然発生を待つことなく、所望のタイミングで運転者の状態を推定することができる。さらに、頭部や眼球の運動の単なる発生順序ではなく、減速度が一定値となった時から頭部ピッチ角が極小値となる時までの時間に基づいて運転者状態を推定するので、車両１の減速による慣性力に対して頭部を安定させようとする平衡機能の乱れを推定に反映することができ、運転者状態の推定の信頼性を向上させることができる。
【0061】
特に、運転者状態推定の基準となる閾値を０．２秒とすることにより、運転者状態が正常か異常かを適切に推定できる。
【0062】
また、ブレーキ装置１２により車両１に減速度を生じさせるので、運転者状態の推定に必要な減速度を確実に発生させることができる。
【0063】
また、補機により車両１に減速度を発生させるので、動力源４から出力される動力を有効利用しつつ運転者状態の推定に必要な減速度を発生させることができる。
【符号の説明】
【0064】
１ 車両
２ 駆動輪（前輪）
４ 動力源（エンジン）
６ エアコン用コンプレッサー
８ オルタネーター
１０ ブレーキシステム
１２ ブレーキ装置
１４ 液圧ポンプ
１６ ブレーキコントローラー
１８ ＥＣＵ
２０ カメラ
２２ ディスプレイ
２４ スピーカー
２６ 加速度センサー
２８ プロセッサー
３０ メモリー
２ 駆動輪（前輪）
４ 動力源（エンジン）
６ エアコン用コンプレッサー
８ オルタネーター
１０ ブレーキシステム
１２ ブレーキ装置
１４ 液圧ポンプ
１６ ブレーキコントローラー
１８ ＥＣＵ
２０ カメラ
２２ ディスプレイ
２４ スピーカー
２６ 加速度センサー
２８ プロセッサー
３０ メモリー
【図1】
【図2】
【図3】
【図4】
【図5】