(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024048773
(43)【公開日】2024-04-09
(54)【発明の名称】運転者状態判定装置
(51)【国際特許分類】
B60W 40/08 20120101AFI20240402BHJP
B60K 28/02 20060101ALI20240402BHJP
G08G 1/16 20060101ALI20240402BHJP
A61B 5/18 20060101ALI20240402BHJP
【ＦＩ】
B60W40/08
B60K28/02
G08G1/16 F
A61B5/18
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2022154857
(22)【出願日】2022-09-28
(71)【出願人】
【識別番号】000003137
【氏名又は名称】マツダ株式会社
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100059959
【弁理士】
【氏名又は名称】中村 稔
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100130937
【弁理士】
【氏名又は名称】山本 泰史
(74)【代理人】
【識別番号】100168871
【弁理士】
【氏名又は名称】岩上 健
(72)【発明者】
【氏名】福井 亜希子
(72)【発明者】
【氏名】岩下 洋平
(72)【発明者】
【氏名】岩瀬 耕二
(72)【発明者】
【氏名】竹中 聡
(72)【発明者】
【氏名】泉元 大貴
【テーマコード（参考）】
3D037
3D241
4C038
5H181
【Ｆターム（参考）】
3D037FA11
3D037FB09
3D241DD01Z
3D241DD07Z
4C038PP00
4C038PQ04
4C038PS07
5H181AA01
5H181AA21
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181FF04
5H181FF05
5H181FF22
5H181FF32
5H181LL07
5H181LL08
5H181LL20
(57)【要約】
【課題】運転者の異常状態の種類や段階を判定することができ、運転者の状態に応じた適切な運転支援を行うことが可能な、運転者状態判定装置を提供する。
【解決手段】運転者状態判定装置１００は、運転者の視線を検出し、運転者の頭部の挙動を検出する車内カメラ３２と運転者の視線と頭部の挙動とに基づき、運転者の状態を判定するように構成されたコントローラ１０とを備え、コントローラは、運転者の視線の移動に基づき、運転者が異常状態であると判定した場合、運転者の頭部のヨー角及びピッチ角の変化に基づき、運転者の異常状態が注意障害又は視野障害の何れであるのかを判定し、運転者の異常状態が視野障害であると判定した場合において、運転者の視線が向けられない方向がある場合、運転者が視野障害を自覚している状態と判定し、運転者の視線が向けられない方向がない場合、運転者が視野障害を自覚していない状態と判定する。
【選択図】図３
【解決手段】運転者状態判定装置１００は、運転者の視線を検出し、運転者の頭部の挙動を検出する車内カメラ３２と運転者の視線と頭部の挙動とに基づき、運転者の状態を判定するように構成されたコントローラ１０とを備え、コントローラは、運転者の視線の移動に基づき、運転者が異常状態であると判定した場合、運転者の頭部のヨー角及びピッチ角の変化に基づき、運転者の異常状態が注意障害又は視野障害の何れであるのかを判定し、運転者の異常状態が視野障害であると判定した場合において、運転者の視線が向けられない方向がある場合、運転者が視野障害を自覚している状態と判定し、運転者の視線が向けられない方向がない場合、運転者が視野障害を自覚していない状態と判定する。
【選択図】図３
【特許請求の範囲】
【請求項1】
車両を運転する運転者の状態を判定する運転者状態判定装置であって、
前記運転者の視線を検出する視線検出装置と、
前記運転者の頭部の挙動を検出する頭部挙動検出装置と、
前記運転者の視線と頭部の挙動とに基づき、前記運転者の状態を判定するように構成されたコントローラと、を備え、
前記コントローラは、
前記運転者の視線の移動に基づき、前記運転者が異常状態か否かを判定し、
前記運転者が異常状態であると判定した場合、前記運転者の頭部のヨー角及びピッチ角の変化に基づき、前記運転者の異常状態が注意障害又は視野障害の何れであるのかを判定し、
前記運転者の異常状態が視野障害であると判定した場合において、前記運転者の視線が向けられない方向がある場合、前記運転者が視野障害を自覚している状態と判定し、
前記運転者の異常状態が視野障害であると判定した場合において、前記運転者の視線が向けられない方向がない場合、前記運転者が視野障害を自覚していない状態と判定する、
ように構成されている、
運転者状態判定装置。
前記運転者の視線を検出する視線検出装置と、
前記運転者の頭部の挙動を検出する頭部挙動検出装置と、
前記運転者の視線と頭部の挙動とに基づき、前記運転者の状態を判定するように構成されたコントローラと、を備え、
前記コントローラは、
前記運転者の視線の移動に基づき、前記運転者が異常状態か否かを判定し、
前記運転者が異常状態であると判定した場合、前記運転者の頭部のヨー角及びピッチ角の変化に基づき、前記運転者の異常状態が注意障害又は視野障害の何れであるのかを判定し、
前記運転者の異常状態が視野障害であると判定した場合において、前記運転者の視線が向けられない方向がある場合、前記運転者が視野障害を自覚している状態と判定し、
前記運転者の異常状態が視野障害であると判定した場合において、前記運転者の視線が向けられない方向がない場合、前記運転者が視野障害を自覚していない状態と判定する、
ように構成されている、
運転者状態判定装置。
【請求項2】
前記コントローラは、前記運転者が異常状態であると判定した場合において、前記運転者の頭部のヨー角及びピッチ角の振幅が第１閾値以上の場合、前記運転者の異常状態が視野障害であると判定し、前記運転者の頭部のヨー角及びピッチ角の振幅が前記第１閾値未満の場合、前記運転者の異常状態が注意障害であると判定するように構成されている、
請求項１に記載の運転者状態判定装置。
請求項１に記載の運転者状態判定装置。
【請求項3】
前記コントローラは、前記運転者が異常状態ではないと判定した場合において、前記運転者の異常状態が視野障害であると過去に判定していた場合、前記運転者が視野障害の補償行動を会得した状態と判定するように構成されている、
請求項１又は２に記載の運転者状態判定装置。
請求項１又は２に記載の運転者状態判定装置。
【請求項4】
前記コントローラは、
前記運転者の視線の移動に基づき、前記運転者のサッケードの頻度を検出し、
前記サッケードの頻度が第２閾値以下の場合、前記運転者が異常状態であると判定するように構成されている、
請求項１又は２に記載の運転者状態判定装置。
前記運転者の視線の移動に基づき、前記運転者のサッケードの頻度を検出し、
前記サッケードの頻度が第２閾値以下の場合、前記運転者が異常状態であると判定するように構成されている、
請求項１又は２に記載の運転者状態判定装置。
【請求項5】
さらに、前記運転者に情報を出力する情報出力装置を備え、
前記コントローラは、前記運転者が視野障害を自覚していない状態と判定した場合、前記運転者が視野障害であることを示す情報を前記情報出力装置により出力させるように構成されている、
請求項１又は２に記載の運転者状態判定装置。
前記コントローラは、前記運転者が視野障害を自覚していない状態と判定した場合、前記運転者が視野障害であることを示す情報を前記情報出力装置により出力させるように構成されている、
請求項１又は２に記載の運転者状態判定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両を運転する運転者の状態を判定する運転者状態判定装置に関する。
【背景技術】
【0002】
従来、車両の運転者の異常を検出する運転者状態検出装置が提案されている。例えば、運転者の視線の方向の通常状態に対する分布の拡大が検出され、且つステアリング操作の通常状態に対する変化が検出された場合に、運転者に視野欠損の疑いがあると判定する運転者状態推定装置が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１８－１９８８４２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明者らの研究の結果、緑内障のように視野障害が徐々に進行する疾患においては、疾患の段階に応じて運転者の視線や頭部の動きが変化することが分かってきた。しかしながら、上述した特許文献１に記載されているような従来の技術では、疾患の段階に応じて視線や頭部の動きが変化することを考慮していないので、例えば、疾患発症直後の段階と運転者が疾患を自覚した段階とを判別することができない。したがって、運転者の状態に応じた適切な運転支援を行うことが難しい可能性がある。
【0005】
本発明は、このような問題を解決するためになされたものであり、運転者の異常状態の種類や段階を判定することができ、運転者の状態に応じた適切な運転支援を行うことが可能な、運転者状態判定装置を提供することを目的としている。
【課題を解決するための手段】
【0006】
上述した課題を解決するために、本発明は、車両を運転する運転者の状態を判定する運転者状態判定装置であって、運転者の視線を検出する視線検出装置と、運転者の頭部の挙動を検出する頭部挙動検出装置と、運転者の視線と頭部の挙動とに基づき、運転者の状態を判定するように構成されたコントローラと、を備え、コントローラは、運転者の視線の移動に基づき、運転者が異常状態か否かを判定し、運転者が異常状態であると判定した場合、運転者の頭部のヨー角及びピッチ角の変化に基づき、運転者の異常状態が注意障害又は視野障害の何れであるのかを判定し、運転者の異常状態が視野障害であると判定した場合において、運転者の視線が向けられない方向がある場合、運転者が視野障害を自覚している状態と判定し、運転者の異常状態が視野障害であると判定した場合において、運転者の視線が向けられない方向がない場合、運転者が視野障害を自覚していない状態と判定する、ように構成されている。
【0007】
このように構成された本発明によれば、コントローラは、運転者の視線の移動に基づき、運転者が異常状態であると判定した場合において、運転者の頭部のヨー角及びピッチ角の変化に基づき、運転者の異常状態が注意障害又は視野障害の何れであるのかを判定するので、運転者の異常状態が注意障害か視野障害かに応じて異なる頭部の挙動を利用して、異常状態の種類を判別することができる。また、コントローラは、運転者の異常状態が視野障害であると判定した場合において、運転者の視線が向けられない方向がある場合、運転者が視野障害を自覚している状態と判定し、運転者の視線が向けられない方向がない場合、運転者が視野障害を自覚していない状態と判定するので、緑内障など視野障害を伴う疾患の発症直後において、運転者が視野障害を自覚していない段階であるのか、あるいは、視野障害を伴う疾患の発症から時間が経ち、運転者が視野障害を自覚した段階であるのかを判別することができる。これにより、運転者の異常状態の種類や段階を判定することができ、運転者の状態に応じた適切な運転支援を行うことが可能となる。
【0008】
本発明において、好ましくは、コントローラは、運転者が異常状態であると判定した場合において、運転者の頭部のヨー角及びピッチ角の振幅が第１閾値以上の場合、運転者の異常状態が視野障害であると判定し、運転者の頭部のヨー角及びピッチ角の振幅が第１閾値未満の場合、運転者の異常状態が注意障害であると判定するように構成されている。
【0009】
このように構成された本発明によれば、運転者の異常状態が視野障害であり、運転者は意識的に又は無意識的に視野欠損を補うために、頭部を上下左右に振る傾向がある場合に、その頭部の挙動に基づき運転者の異常状態が視野障害であると判定することができ、そうでない場合、つまり運転者の異常状態が中障害である場合と適切に判別することができる。これにより、運転者の異常状態の種類を判定することができ、運転者の状態に応じた適切な運転支援を行うことが可能となる。
【0010】
本発明において、好ましくは、コントローラは、運転者が異常状態ではないと判定した場合において、運転者の異常状態が視野障害であると過去に判定していた場合、運転者が視野障害の補償行動を会得した状態と判定するように構成されている。
【0011】
このように構成された本発明によれば、運転者が正常状態である場合と、運転者が視野障害の補償行動を会得した状態とを、適切に判別することができる。これにより、運転者の異常状態の段階を判定することができ、運転者の状態に応じた適切な運転支援を行うことが可能となる。
【0012】
本発明において、好ましくは、コントローラは、運転者の視線の移動に基づき、運転者のサッケードの頻度を検出し、サッケードの頻度が第２閾値以下の場合、運転者が異常状態であると判定するように構成されている。
【0013】
このように構成された本発明によれば、コントローラは、サッケードの頻度に基づき運転者が異常状態であるか否かを判定するので、運転者の異常状態を精度よく判定することができる。
【0014】
本発明において、好ましくは、運転者状態判定装置は、さらに、運転者に情報を出力する情報出力装置を備え、コントローラは、運転者が視野障害を自覚していない状態と判定した場合、運転者が視野障害であることを示す情報を情報出力装置により出力させるように構成されている。
【0015】
このように構成された本発明によれば、視野障害であることを自覚していない運転者に対して適切な運転支援を提供することができる。
【発明の効果】
【0016】
本発明の運転者状態判定装置によれば、運転者の異常状態の種類や段階を判定することができ、運転者の状態に応じた適切な運転支援を行うことができる。
【図面の簡単な説明】
【0017】
【図1】本発明の実施形態による運転者状態判定装置が搭載された車両の説明図である。
【図2】本発明の実施形態による運転者状態判定装置のブロック図である。
【図3】本発明の実施形態による状態の運転者状態判定処理のフローチャートである。
【図4】視野障害の各段階におけるサッケード頻度を例示する図である。
【図5】視野障害を自覚していない状態における視線の分布を例示する図である。
【図6】視野障害を自覚している状態における視線の分布を例示する図である。
【発明を実施するための形態】
【0018】
以下、添付図面を参照して、本発明の実施形態による運転者状態判定装置を説明する。
【0019】
［システム構成］
まず、図１及び図２を参照して、本実施形態による運転者状態判定装置の構成について説明する。図１は運転者状態判定装置が搭載された車両の説明図、図２は運転者状態判定装置のブロック図である。
まず、図１及び図２を参照して、本実施形態による運転者状態判定装置の構成について説明する。図１は運転者状態判定装置が搭載された車両の説明図、図２は運転者状態判定装置のブロック図である。
【0020】
本実施形態による車両１は、駆動力を出力するエンジンや電気モータなどの駆動力源２、駆動力源２から出力された駆動力を駆動輪に伝達するトランスミッション３、車両１に制動力を付与するブレーキ４、及び車両１を操舵するための操舵装置５を備えている。
【0021】
運転者状態判定装置１００は、車両１の運転者の状態を判定し、必要に応じて車両１の制御や運転支援制御を行うように構成されている。図２に示すように、運転者状態判定装置１００は、コントローラ１０と、複数のセンサ類と、複数の制御システムと、複数の情報出力装置とを有する。
【0022】
具体的には、複数のセンサ類には、車両１の走行環境情報を取得する車外カメラ２１、レーダ２２、車両１の位置を検出するためのナビゲーションシステム２３、測位システム２４が含まれている。また、複数のセンサ類には、車両１の挙動や運転者による運転操作を検出するための車速センサ２５、加速度センサ２６、ヨーレートセンサ２７、操舵角センサ２８、操舵トルクセンサ２９、アクセルセンサ３０、ブレーキセンサ３１が含まれている。また、複数のセンサ類には、運転者の視線を検出するための車内カメラ３２が含まれている。複数の制御システムには、駆動力源２やトランスミッション３を制御するパワートレインコントロールモジュール（ＰＣＭ）３３、駆動力源２やブレーキ４を制御するダイナミックスタビリティコントロールシステム（ＤＳＣ）３４、及び操舵装置５を制御する電動パワーステアリングシステム（ＥＰＳ）３５が含まれている。複数の情報出力装置には、画像情報を出力するディスプレイ３６、及び音声情報を出力するスピーカ３７が含まれている。
【0023】
また、他のセンサ類として、車両１に対する周辺構造物の距離及び位置を測定する周辺ソナー、車両１の４箇所の角部における周辺構造物の接近を測定するコーナーレーダ、運転者の状態を検出する各種センサ（例えば、心拍センサ、心電図センサ、ステアリングホイールの把持力センサ等）が含まれていてもよい。
【0024】
コントローラ１０は、複数のセンサ類から受け取った信号に基づいて種々の演算を実行し、ＰＣＭ３３、ＤＳＣ３４、ＥＰＳ３５に対して、駆動力源２、トランスミッション３、ブレーキ４、操舵装置５を適宜に作動させるための制御信号を送信し、ディスプレイ３６、スピーカ３７に対して、所望の情報を出力させるための制御信号を送信する。コントローラ１０は、１つ以上のプロセッサ１０ａ（典型的にはＣＰＵ）、各種プログラムやデータを記憶するメモリ１０ｂ（ＲＯＭ、ＲＡＭなど）、入出力装置などを備えたコンピュータにより構成される。
【0025】
車外カメラ２１は、車両１の周囲を撮影し、画像データを出力する。コントローラ１０は、車外カメラ２１から受信した画像データに基づいて、対象物（例えば、先行車両、駐車車両、歩行者、走行路、区画線（車線境界線、白線、黄線）、交通信号、交通標識、停止線、交差点、障害物等）を特定する。
【0026】
レーダ２２は、対象物（特に、先行車両、駐車車両、歩行者、走行路上の落下物等）の位置及び速度を測定する。レーダ２２として、例えばミリ波レーダを用いることができる。レーダ２２は、車両１の進行方向に電波を送信し、対象物により送信波が反射されて生じた反射波を受信する。そして、レーダ２２は、送信波と受信波に基づいて、車両１と対象物との間の距離（例えば、車間距離）や、車両１に対する対象物の相対速度を測定する。なお、本実施形態において、レーダ２２に代えて、レーザレーダや超音波センサ等を用いて対象物との距離や相対速度を測定してもよい。また、複数のセンサ類を用いて、位置及び速度測定装置を構成してもよい。
【0027】
ナビゲーションシステム２３は、内部に地図情報を格納しており、コントローラ１０に地図情報を提供することができる。コントローラ１０は、地図情報及び現在車両位置情報に基づいて、車両１の周囲（特に、進行方向）に存在する道路、交差点、交通信号、建造物等を特定する。地図情報は、コントローラ１０内に格納されていてもよい。測位システム２４は、ＧＰＳシステム及び／又はジャイロシステムであり、車両１の位置（現在車両位置情報）を検出する。
【0028】
車速センサ２５は、例えば車輪やドライブシャフトの回転速度に基づき車両１の速度を検出する。加速度センサ２６は、車両１の加速度を検出する。この加速度は、車両１の前後方向の加速度と、横方向の加速度（つまり横加速度）とを含む。なお、本明細書においては、加速度には、速度が増加する方向の速度の変化率だけでなく、速度が減少する方向の速度の変化率（つまり減速度）も含むものとする。
【0029】
ヨーレートセンサ２７は、車両１のヨーレートを検出する。操舵角センサ２８は、操舵装置５のステアリングホイールの回転角度（操舵角）を検出する。操舵トルクセンサ２９は、ステアリングホイールを介してステアリングシャフトに加わるトルク（操舵トルク）を検出する。アクセルセンサ３０は、アクセルペダルの踏み込み量を検出する。ブレーキセンサ３１は、ブレーキペダルの踏み込み量を検出する。
【0030】
車内カメラ３２は、運転者を撮影し、画像データを出力する。コントローラ１０は、車内カメラ３２から受信した画像データに基づいて、運転者の視線方向や、運転者の頭部の挙動（例えば頭部のヨー角及びピッチ角）を検出する。なお、車内カメラ３２は、本発明における「視線検出装置」及び「頭部挙動検出装置」の一例に相当する。
【0031】
ＰＣＭ３３は、車両１の駆動力源２を制御して、車両１の駆動力を調整する。例えば、ＰＣＭ３３は、エンジンの点火プラグ、燃料噴射弁、スロットルバルブ、可変動弁機構や、トランスミッション３、電気モータに電力を供給するインバータなどを制御する。コントローラ１０は、車両１を加速又は減速させる必要がある場合に、ＰＣＭ３３に対して、駆動力を調整するために制御信号を送信する。
【0032】
ＤＳＣ３４は、車両１の駆動力源２やブレーキ４を制御して、車両１の減速制御や姿勢制御を行う。例えば、ＤＳＣ３４は、ブレーキ４の液圧ポンプやバルブユニットなどを制御し、ＰＣＭ３３を介して駆動力源２を制御する。コントローラ１０は、車両１の減速制御や姿勢制御を行う必要がある場合に、ＤＳＣ３４に対して、駆動力を調整したり制動力を発生させたりするために制御信号を送信する。
【0033】
ＥＰＳ３５は、車両１の操舵装置５を制御する。例えば、ＥＰＳ３５は、操舵装置５のステアリングシャフトにトルクを付与する電動モータなどを制御する。コントローラ１０は、車両１の進行方向を変更する必要がある場合に、ＥＰＳ３５に対して、操舵方向を変更するために制御信号を送信する。
【0034】
ディスプレイ３６は、車室内における運転者の前方に設けられ、運転者に画像情報を表示する。ディスプレイ３６としては、例えば液晶ディスプレイやヘッドアップディスプレイが用いられる。スピーカ３７は、車室内に設置され、各種の音声情報を出力する。なお、ディスプレイ３６及びスピーカ３７は、本発明における「情報出力装置」の一例に相当する。
【0035】
【0036】
運転者状態判定処理は、車両１の電源がＯＮにされた場合に開始され、コントローラ１０によって所定の周期（例えば、０．０５～０．２秒毎）で繰り返し実行される。
【0037】
運転者状態判定処理が開始されると、まず、コントローラ１０は、車外カメラ２１、レーダ２２、ナビゲーションシステム２３、測位システム２４、車内カメラ３２を含むセンサ類から受け取った信号に基づき、運転者の視線や頭部挙動を含む各種情報を取得する（ステップＳ１）。
【0038】
次に、コントローラ１０は、ステップＳ１において車内カメラ３２から受け取った信号に基づき、運転者の視線の移動を検出する（ステップＳ２）。具体的には、コントローラ１０は、車内カメラ３２により得られた画像（画像データ）の中から運転者の瞳孔を検出し、その検出された瞳孔に基づいて運転者の視線を検出する。次に、コントローラ１０は、運転者の視線の移動距離を算出する。そして、コントローラ１０は、運転者の視線の移動距離の時間的変化に基づいて、運転者の視線の速度を算出する。例えば、コントローラ１０は、時間経過に応じて変化する視線の移動距離を微分することにより、運転者の視線の速度を算出する。
【0039】
次に、コントローラ１０は、ステップＳ２において検出した運転者の視線移動に基づき、運転者のサッケードの頻度ｆｓが閾値ｆｔｈ（予め設定されメモリ１０ｂに記憶されている。本発明の「第２閾値」に対応）以下か否かを判定する（ステップＳ３）。具体的には、コントローラ１０は、ステップＳ２において算出した視線の移動速度に基づいて、サッケードの候補となるサッケード候補を抽出する。例えば、コントローラ１０は、視線の移動速度が予め定められた速度閾値（例えば４０ｄｅｇ／ｓ）未満である状態が予め定められた停滞時間（例えば０．１秒間）継続する期間を「注視期間」として抽出する。そして、コントローラ１０は、隣り合う２つの注視期間の間に挟まれた期間における視線移動のうち、移動速度が速度閾値（例えば４０ｄｅｇ／ｓ）以上であり、且つ、移動距離が予め定められた距離閾値（例えば３ｄｅｇ）以上である視線移動を「サッケード候補」として抽出する。さらに、コントローラ１０は、既知の手法によりサッケード候補からノイズを除去したものをサッケードとして抽出する。そして、コントローラ１０は、予め定められた周期毎（例えば１０秒毎）に、その周期内に含まれるサッケードの数をその周期の時間で除算して得られる値を「サッケードの頻度ｆｓ」として算出し、閾値ｆｔｈと比較する。
【0040】
図４は、視野障害の各段階におけるサッケード頻度を例示する図である。本発明者らの研究によれば、図４に示すように、運転者の状態が視野障害である場合には、運転者が視野障害を自覚しているか否かにかかわらず、サッケード頻度は閾値ｆｔｈ以下となる。一方、運転者の状態が正常状態である場合や、運転者が視野障害となった後、リハビリにより視野欠損を補償する行動を会得した場合には、サッケード頻度は閾値ｆｔｈより大きい。また、図４には表していないが、運転者の状態が注意障害である場合にも、サッケード頻度は閾値ｆｔｈ以下となる。したがって、サッケード頻度が閾値ｆｔｈ以下か否かを判定することにより、運転者の状態が異常状態（視野障害又は注意障害）であるのか、又は、正常状態若しくは視野障害後に補償行動会得した状態であるのかを判定することができる。
【0041】
そこで、ステップＳ３の判定の結果、運転者のサッケードの頻度ｆｓが閾値ｆｔｈ以下である場合（ステップＳ３：Ｙｅｓ）、コントローラ１０は、運転者が異常状態であると判定し、ステップＳ１において車内カメラ３２から受け取った信号に基づき、運転者の頭部の挙動を検出する（ステップＳ４）。具体的には、コントローラ１０は、車内カメラ３２により得られた画像（画像データ）から、ドライバの頭部を画像認識し、認識した頭部のヨー角ａｙ及びピッチ角ａｐを算出する。
【0042】
本発明者らの研究によれば、運転者のサッケードの頻度ｆｓが閾値ｆｔｈ以下であることにより、運転者の状態が異常状態であると判定した場合において、運転者の頭部の挙動に基づき、運転者の異常状態が注意障害又は視野障害の何れであるのかを判定できるとの知見が得られた。具体的には、運転者の異常状態が注意障害である場合、運転者の頭部の挙動は、正常状態のときと比較して大きくなることはない。一方、運転者の異常状態が視野障害である場合、運転者は意識的に又は無意識的に視野欠損を補うために、頭部を上下左右に振る傾向がある。その結果、運転者の頭部の挙動は、正常状態のときや注意障害のときと比較して大きくなる。したがって、運転者の頭部のヨー角ａｙ及びピッチ角ａｐの振れ幅が相対的に大きい場合（例えば所定の閾値以上である場合）には、運転者の異常状態が視野障害であり、運転者の頭部のヨー角ａｙ及びピッチ角ａｐの振れ幅が相対的に小さい場合（例えば所定の閾値未満である場合）には、運転者の異常状態が注意障害であると判定することができる。
【0043】
そこで、コントローラ１０は、ステップＳ４において検出した運転者の頭部の挙動に基づき、運転者の頭部のヨー角ａｙ及びピッチ角ａｐの振幅が閾値ａｔｈ（予め設定されメモリ１０ｂに記憶されている。本発明の「第１閾値」に対応）以上か否かを判定する（ステップＳ５）。具体的には、コントローラ１０は、予め定められた周期毎（例えば１０秒毎）に、その周期内に含まれる運転者の頭部のヨー角ａｙの振幅の平均値及びピッチ角ａｐの振幅の平均値を、それぞれ「ヨー角ａｙの振幅」及び「ピッチ角ａｐの振幅」として算出し、閾値ａｔｈと比較する。
【0044】
ステップＳ５の判定の結果、運転者の頭部のヨー角ａｙ及びピッチ角ａｐの振幅が閾値ａｔｈ以上である場合（ステップＳ５：Ｙｅｓ）、コントローラ１０は、運転者の異常状態が視野障害であると判定する（ステップＳ６）。このとき、コントローラ１０は、運転者の異常状態が視野障害であると判定したことを表す情報をメモリ１０ｂに記憶させる。
【0045】
次に、コントローラ１０は、ステップＳ２において検出した運転者の視線移動に基づき、運転者の視線の方向の分布を検出する（ステップＳ７）。例えば、コントローラ１０は、予め定められた周期毎（例えば１０秒毎）に、運転者の視線の方向を所定の時間間隔で特定し、その周期内に含まれる視線の方向の分布を取得する。
【0046】
図５及び図６は、視線の分布を例示する図であり、図５は視野障害を自覚していない状態における視線の分布を例示し、図６は視野障害を自覚している状態における視線の分布を例示している。図５及び図６の黒丸は、運転者の視野における、所定の時間間隔で特定された視線の方向を示している。
【0047】
本発明者らの研究によれば、緑内障など視野障害を伴う疾患の発症直後において、運転者が視野障害を自覚していない場合には、図５に示すように、視野における視線の分布には偏りがなく、視線が向けられない方向は特に存在しない。一方、視野障害を伴う疾患の発症から時間が経ち、運転者が視野障害を自覚した場合には、図６に網掛けにより示すように、視野欠損の箇所に応じて、視線が分布しない範囲（つまり視線が向けられない方向）が存在する。したがって、運転者の視線が分布しない範囲（つまり視線が向けられない方向）があるか否かを判定することにより、運転者が視野障害を自覚している状態又は自覚していない状態の何れであるのかを判定することができる。
【0048】
そこで、コントローラ１０は、ステップＳ７において検出した運転者の視線の方向の分布に基づき、運転者の視線が分布しない範囲があるか否かを判定する（ステップＳ８）。その結果、図５に例示したように、視線が分布しない範囲がない場合（つまり視線が向けられない方向がない場合）（ステップＳ８：Ｎｏ）、コントローラ１０は、運転者が視野障害を自覚していない状態であると判定する（ステップＳ９）。この場合、コントローラ１０は、運転者に視野障害が発生していることを運転者に通知する情報（視野障害通知情報）をディスプレイ３６及びスピーカ３７から出力させ（ステップＳ１０）、運転者状態判定処理を終了する。
【0049】
また、ステップＳ８において、運転者の視線が分布しない範囲がある場合（つまり視線が向けられない方向がある場合）（ステップＳ８：Ｙｅｓ）、コントローラ１０は、運転者が視野障害を自覚している状態であると判定する（ステップＳ１１）。この場合、運転者は視野障害を自覚しているので、視野障害通知情報の出力を行うことなく、コントローラ１０は運転者状態判定処理を終了する。
【0050】
また、ステップＳ５において、運転者の頭部のヨー角ａｙ及びピッチ角ａｐの振幅が閾値ａｔｈ未満である場合（ステップＳ５：Ｎｏ）、コントローラ１０は、運転者の異常状態が注意障害であると判定し（ステップＳ１２）、運転者状態判定処理を終了する。このとき、運転者に注意障害が発生していることを運転者に通知する情報をディスプレイ３６及びスピーカ３７から出力させてもよい。
【0051】
また、ステップＳ３において、運転者のサッケードの頻度ｆｓが閾値ｆｔｈより大きいである場合（ステップＳ３：Ｙｅｓ）、コントローラ１０は、過去に運転者が異常状態と判定され、その異常状態が視野障害であると判定されていたか否かを判定する（ステップＳ１３）。例えば、コントローラ１０は、運転者の異常状態が視野障害であると判定したことを表す情報がメモリ１０ｂに記憶されているか否かに基づき、過去に運転者の異常状態が視野障害であると判定されていたか否かを判定する。
【0052】
その結果、過去に運転者が異常状態と判定され、その異常状態が視野障害であると判定されていた場合（ステップＳ１３：Ｙｅｓ）、図４を参照して説明したように、運転者が過去に視野障害となったものの、リハビリ等により視野欠損を補償する行動を会得したことにより、サッケード頻度ｆｓが閾値ｆｔｈを上回るまで回復したものと考えられる。そこで、コントローラ１０は、運転者が視野障害の補償行動を会得した状態であると判定し（ステップＳ１４）、運転者状態判定処理を終了する。
【0053】
一方、過去に運転者の異常状態が視野障害であると判定されていない場合（ステップＳ１３：Ｎｏ）、コントローラ１０は、運転者の状態が正常状態であると判定し（ステップＳ１５）、運転者状態判定処理を終了する。
【0054】
なお、本実施形態の運転者状態判定処理では、ステップＳ３において、コントローラ１０は、運転者のサッケードの頻度ｆｓが閾値ｆｔｈ以下か否かに基づき、運転者が異常状態（視野障害又は注意障害）か否かを判定しているが、他の基準を用いて運転者が異常状態か否かを判定してもよい。例えば、運転者のサッケードの振幅が閾値以下である場合に、運転者が異常状態であると判定してもよい。また、特開２０２１－０７７１３６号公報に記載された技術のように、車両の運転者のサッケードの振幅や頻度を検出すると共に、車両の外部環境において運転者が走行中に確認すべき注意箇所が多くなるに連れて高くなるような注意度を検出し、注意度の高さと運転者のサッケードの振幅や頻度とに基づいて、運転者が異常状態であるか否かを判定してもよい。
【0055】
また、本実施形態の運転者状態判定処理では、ステップＳ１０において、コントローラ１０は、運転者に視野障害が発生していることを運転者に通知する情報（視野障害通知情報）をディスプレイ３６及びスピーカ３７から出力させるが、運転者の状態の判定結果に応じて、その他の情報をディスプレイ３６及びスピーカ３７から出力させてもよく、ＰＣＭ３３、ＤＳＣ３４、ＥＰＳ３５に対して、駆動力源２、トランスミッション３、ブレーキ４、操舵装置５を適宜に作動させるための制御信号を送信し、車両１の挙動を制御してもよい。
【0056】
［作用・効果］
次に、上述した本実施形態の運転者状態判定装置１００の作用効果を説明する。
次に、上述した本実施形態の運転者状態判定装置１００の作用効果を説明する。
【0057】
コントローラ１０は、運転者の視線の移動に基づき、運転者が異常状態であると判定した場合において、運転者の頭部のヨー角ａｙ及びピッチ角ａｐの変化に基づき、運転者の異常状態が注意障害又は視野障害の何れであるのかを判定するので、運転者の異常状態が注意障害か視野障害かに応じて異なる頭部の挙動を利用して、異常状態の種類を判別することができる。また、コントローラ１０は、運転者の異常状態が視野障害であると判定した場合において、運転者の視線が向けられない方向がある場合、運転者が視野障害を自覚している状態と判定し、運転者の視線が向けられない方向がない場合、運転者が視野障害を自覚していない状態と判定するので、緑内障など視野障害を伴う疾患の発症直後において、運転者が視野障害を自覚していない段階であるのか、あるいは、視野障害を伴う疾患の発症から時間が経ち、運転者が視野障害を自覚した段階であるのかを、精度よく判別することができる。これにより、運転者の異常状態の種類や段階を判定することができ、運転者の状態に応じた適切な運転支援を行うことが可能となる。
【0058】
また、コントローラ１０は、運転者が異常状態であると判定した場合において、運転者の頭部のヨー角ａｙ及びピッチ角ａｐの振幅が閾値ａｔｈ以上の場合、運転者の異常状態が視野障害であると判定し、閾値ａｔｈ未満の場合、運転者の異常状態が注意障害であると判定する。これにより、運転者の異常状態が視野障害であり、運転者は意識的に又は無意識的に視野欠損を補うために、頭部を上下左右に振る傾向がある場合に、その頭部の挙動に基づき運転者の異常状態が視野障害であると判定することができ、そうでない場合、つまり運転者の異常状態が中障害である場合と適切に判別することができる。これにより、運転者の異常状態の種類を判定することができ、運転者の状態に応じた適切な運転支援を行うことが可能となる。
【0059】
また、コントローラ１０は、運転者が異常状態ではないと判定した場合において、運転者の異常状態が視野障害であると過去に判定していた場合、運転者が視野障害の補償行動を会得した状態と判定するので、運転者が正常状態である場合と、運転者が視野障害の補償行動を会得した状態とを、適切に判別することができる。これにより、運転者の異常状態の段階を判定することができ、運転者の状態に応じた適切な運転支援を行うことが可能となる。
【0060】
また、コントローラ１０は、サッケードの頻度に基づき運転者が異常状態であるか否かを判定するので、運転者の異常状態を精度よく判定することができる。
【0061】
また、運転者状態判定装置１００は、さらに、運転者に情報を出力するディスプレイ３６及びスピーカ３７を備え、コントローラ１０は、運転者が視野障害を自覚していない状態と判定した場合、運転者が視野障害であることを示す情報をディスプレイ３６及びスピーカ３７により出力させる。したがって、視野障害であることを自覚していない運転者に対して適切な運転支援を提供することができる。
【符号の説明】
【0062】
１ 車両
１０ コントローラ
１００ 運転者状態判定装置
２１ 車外カメラ
２２ レーダ
２３ ナビシステム
２４ 測位システム
２５ 車速センサ
２６ 加速度センサ
２７ ヨーレートセンサ
２８ 操舵角センサ
２９ 操舵トルクセンサ
３０ アクセルセンサ
３１ ブレーキセンサ
３２ 車内カメラ
３６ ディスプレイ
３７ スピーカ
１０ コントローラ
１００ 運転者状態判定装置
２１ 車外カメラ
２２ レーダ
２３ ナビシステム
２４ 測位システム
２５ 車速センサ
２６ 加速度センサ
２７ ヨーレートセンサ
２８ 操舵角センサ
２９ 操舵トルクセンサ
３０ アクセルセンサ
３１ ブレーキセンサ
３２ 車内カメラ
３６ ディスプレイ
３７ スピーカ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】