特開 2024-48772 運転者異常予兆検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024048772

(43)【公開日】2024-04-09

(54)【発明の名称】運転者異常予兆検出装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240402BHJP

   B60W 40/08 20120101ALI20240402BHJP

【ＦＩ】

G08G1/16 F

B60W40/08

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022154856

(22)【出願日】2022-09-28

(71)【出願人】

【識別番号】000003137

【氏名又は名称】マツダ株式会社

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100059959

【弁理士】

【氏名又は名称】中村 稔

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100130937

【弁理士】

【氏名又は名称】山本 泰史

(74)【代理人】

【識別番号】100168871

【弁理士】

【氏名又は名称】岩上 健

(72)【発明者】

【氏名】福井 亜希子

(72)【発明者】

【氏名】岩瀬 耕二

(72)【発明者】

【氏名】岩下 洋平

【テーマコード（参考）】

3D241

5H181

【Ｆターム（参考）】

3D241BA70

3D241CE04

3D241CE05

3D241DA58Z

3D241DB01Z

3D241DB05Z

3D241DB12Z

3D241DC01Z

3D241DC25Z

3D241DC31Z

3D241DC33Z

3D241DC39Z

3D241DC44Z

3D241DC59Z

3D241DD04Z

3D241DD07Z

5H181AA01

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181FF04

5H181FF25

5H181FF27

5H181FF33

5H181FF35

5H181LL07

5H181LL08

5H181LL20

(57)【要約】

【課題】運転者が運転不能となるより十分に早い段階で、運転者の身体機能の低下を検知し異常状態の判定を早期に確定することが可能な、運転者異常予兆検出装置を提供する。
【解決手段】運転者異常予兆検出装置１００は、車両の走行環境情報を取得する車外カメラ２１、レーダ２２、ナビシステム２３、測位システム２４と、運転者の視線を検出する車内カメラ３２と、走行環境情報と運転者の視線とに基づき、運転者の異常予兆状態を検出するように構成されたコントローラ１０とを備え、コントローラは、走行環境情報に基づき、運転者が視認すべき要視認箇所を特定し、運転者の視線に基づき、運転者が要視認箇所を視認したか否かを判定し、運転者が要視認箇所を視認しなかったことに基づき、運転者の異常予兆状態を検出する。
【選択図】図５

【特許請求の範囲】

【請求項1】

車両を運転する運転者の異常予兆状態を検出する運転者異常予兆検出装置であって、
前記車両の走行環境情報を取得する走行環境情報取得装置と、
前記運転者の視線を検出する視線検出装置と、
前記走行環境情報と前記運転者の視線とに基づき、前記運転者の異常予兆状態を検出するように構成されたコントローラと、を備え、
前記コントローラは、
前記走行環境情報に基づき、前記運転者が視認すべき要視認箇所を特定し、
前記運転者の視線に基づき、前記運転者が前記要視認箇所を視認したか否かを判定し、
前記運転者が前記要視認箇所を視認しなかったことに基づき、前記運転者の異常予兆状態を検出するように構成されている、
運転者異常予兆検出装置。

【請求項2】

前記コントローラは、
前記運転者の視線が前記要視認箇所を含む所定範囲内に向けられている場合に、前記運転者が当該要視認箇所を視認したと判定し、
前記運転者が視認しなかった前記要視認箇所の数に基づき、前記運転者の異常予兆状態を検出するように構成されている、
請求項１に記載の運転者異常予兆検出装置。

【請求項3】

前記コントローラは、前記要視認箇所の総数に対する、前記運転者が視認しなかった前記要視認箇所の数の割合が所定値以上の場合に、前記運転者の異常予兆状態を検出するように構成されている、
請求項２に記載の運転者異常予兆検出装置。

【請求項4】

前記コントローラは、
前記運転者の視線と、前記運転者が視認しなかった前記要視認箇所との距離に基づき、前記運転者が視認可能な有効視野の広さを推定し、
推定した前記有効視野の広さが所定値未満である場合に、前記運転者の異常予兆状態を検出するように構成されている、
請求項１に記載の運転者異常予兆検出装置。

【請求項5】

さらに、前記運転者に情報を出力する情報出力装置を備え、
前記コントローラは、前記運転者の異常予兆状態を検出した場合、前記運転者の視線を前記要視認箇所へ誘導する情報を前記情報出力装置により出力させるように構成されている、
請求項１から４の何れか１項に記載の運転者異常予兆検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両運転中に運転者の異常予兆状態を検出するための運転者異常予兆検出装置に関する。

【背景技術】

【0002】

従来、車両の運転者の異常を検出する運転者状態検出装置が提案されている（例えば、特許文献１参照）。特許文献１に記載の装置では、車両の運転者のサッケード（運転者が意図的に視線を移動させる跳躍性眼球運動）の振幅や頻度を検出すると共に、車両の外部環境において運転者が走行中に確認すべき注意箇所が多くなるに連れて高くなるような注意度を検出し、注意度の高さと運転者のサッケードの振幅や頻度とに基づいて、運転者の異常を検出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０７７１３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、軽度の疾患や加齢等により運転者の注意機能が少し下がっているものの運転可能な状態、即ち運転が困難な異常状態に至る前の異常予兆状態では、異常の無い状態と比較して運転者のサッケードの振幅や頻度に明らかな差異が現れないので、上述したような従来の技術では異常予兆状態を検出することができない。

【0005】

本発明は、このような問題を解決するためになされたものであり、運転者が運転困難な異常状態となるより十分に早い段階で、運転者の異常予兆状態を検出することが可能な、運転者異常予兆検出装置を提供することを目的としている。

【課題を解決するための手段】

【0006】

上述した課題を解決するために、本発明は、車両を運転する運転者の異常予兆状態を検出する運転者異常予兆検出装置であって、車両の走行環境情報を取得する走行環境情報取得装置と、運転者の視線を検出する視線検出装置と、走行環境情報と運転者の視線とに基づき、運転者の異常予兆状態を検出するように構成されたコントローラと、を備え、コントローラは、走行環境情報に基づき、運転者が視認すべき要視認箇所を特定し、運転者の視線に基づき、運転者が要視認箇所を視認したか否かを判定し、運転者が要視認箇所を視認しなかったことに基づき、運転者の異常予兆状態を検出するように構成されている。

【0007】

このように構成された本発明によれば、コントローラは、走行環境情報に基づき、運転者が視認すべき要視認箇所を特定し、運転者の視線に基づき、運転者が要視認箇所を視認したか否かを判定し、運転者が要視認箇所を視認しなかったことに基づき、運転者の異常予兆状態を検出するので、運転者の注意機能の低下の初期段階における配分的注意機能の低下や有効視野の縮小に起因して、運転者が要視認箇所を視認できなかったことを利用して異常予兆状態を検出することができる。これにより、例えば運転者のサッケードの振幅や頻度に明らかな差異が現れないような、運転者が運転の困難な異常状態に至る前の十分に早い段階において、運転者の異常予兆状態を検出することができる。

【0008】

本発明において、好ましくは、コントローラは、運転者の視線が要視認箇所を含む所定範囲内に向けられている場合に、運転者が当該要視認箇所を視認したと判定し、運転者が視認しなかった要視認箇所の数に基づき、運転者の異常予兆状態を検出するように構成されている。

【0009】

このように構成された本発明によれば、運転者が視線を向けなかった要視認箇所の数に基づき、運転者の異常予兆状態を検出するので、注意機能の低下の初期段階において、配分的注意機能の低下により、運転者が複数の要視認箇所を同時に視認できなくなり、要視認箇所の見落としが発生し始めたときに、要視認箇所の見落としがどの程度発生しているのかに基づき、異常予兆状態を検出することができる。これにより、運転者が運転の困難な異常状態に至る前の十分に早い段階において、運転者の異常予兆状態を適切に検出することができる。

【0010】

本発明において、好ましくは、コントローラは、要視認箇所の総数に対する、運転者が視認しなかった要視認箇所の数の割合が所定値以上の場合に、運転者の異常予兆状態を検出するように構成されている。

【0011】

このように構成された本発明によれば、注意機能の低下の初期段階において、配分的注意機能の低下により、運転者が複数の要視認箇所を同時に視認できなくなり、要視認箇所の見落とし率が所定値以上となった場合に、異常予兆状態を検出することができる。これにより、運転者が運転の困難な異常状態に至る前の十分に早い段階において、運転者の異常予兆状態を適切に検出することができる。

【0012】

本発明において、好ましくは、コントローラは、運転者の視線と、運転者が視認しなかった要視認箇所との距離に基づき、運転者が視認可能な有効視野の広さを推定し、推定した有効視野の広さが所定値未満である場合に、運転者の異常予兆状態を検出するように構成されている。

【0013】

このように構成された本発明によれば、注意機能の低下の初期段階において有効視野が狭くなり要視認箇所の見落としが発生し始めたときに、有効視野がどの程度狭くなっているのかを推定することにより、異常予兆状態を検出することができる。これにより、運転者が運転の困難な異常状態に至る前の十分に早い段階において、運転者の異常予兆状態を適切に検出することができる。

【0014】

本発明において、好ましくは、運転者異常予兆検出装置は、さらに、運転者に情報を出力する情報出力装置を備え、コントローラは、運転者の異常予兆状態を検出した場合、運転者の視線を要視認箇所へ誘導する情報を情報出力装置により出力させるように構成されている。

【0015】

このように構成された本発明によれば、運転者の異常予兆状態を検出した場合、運転者の視線を要視認箇所へ誘導するので、注意機能の低下の初期段階において要視認箇所の見落としが発生し始めた運転者に対して適切な運転支援を提供することができる。

【発明の効果】

【0016】

本発明の運転者異常予兆検出装置によれば、運転者が運転困難な異常状態となるより十分に早い段階で、運転者の異常予兆状態を検出することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態による運転者異常予兆検出装置が搭載された車両の説明図である。

【図2】本発明の実施形態による運転者異常予兆検出装置のブロック図である。

【図3】本発明の実施形態による異常予兆検出の制御ブロック図である。

【図4】本発明の実施形態による要視認箇所データベースに格納されている情報を例示するテーブルである。

【図5】本発明の実施形態による異常予兆状態の検出処理のフローチャートである。

【発明を実施するための形態】

【0018】

以下、添付図面を参照して、本発明の実施形態による運転者異常予兆検出装置を説明する。

【0019】

［システム構成］
まず、図１及び図２を参照して、本実施形態による運転者異常予兆検出装置の構成について説明する。図１は運転者異常予兆検出装置が搭載された車両の説明図、図２は運転者異常予兆検出装置のブロック図である。

【0020】

本実施形態による車両１は、駆動力を出力するエンジンや電気モータなどの駆動力源２、駆動力源２から出力された駆動力を駆動輪に伝達するトランスミッション３、車両１に制動力を付与するブレーキ４、及び車両１を操舵するための操舵装置５を備えている。

【0021】

運転者異常予兆検出装置１００は、車両１の運転者の異常予兆状態を検出し、必要に応じて車両１の制御や運転支援制御を行うように構成されている。図２に示すように、運転者異常予兆検出装置１００は、コントローラ１０と、複数のセンサ類と、複数の制御システムと、複数の情報出力装置とを有する。

【0022】

具体的には、複数のセンサ類には、車両１の走行環境情報を取得する車外カメラ２１、レーダ２２、車両１の位置を検出するためのナビゲーションシステム２３、測位システム２４が含まれている。また、複数のセンサ類には、車両１の挙動や運転者による運転操作を検出するための車速センサ２５、加速度センサ２６、ヨーレートセンサ２７、操舵角センサ２８、操舵トルクセンサ２９、アクセルセンサ３０、ブレーキセンサ３１が含まれている。また、複数のセンサ類には、運転者の視線を検出するための車内カメラ３２が含まれている。複数の制御システムには、駆動力源２やトランスミッション３を制御するパワートレインコントロールモジュール（ＰＣＭ）３３、駆動力源２やブレーキ４を制御するダイナミックスタビリティコントロールシステム（ＤＳＣ）３４、及び操舵装置５を制御する電動パワーステアリングシステム（ＥＰＳ）３５が含まれている。複数の情報出力装置には、画像情報を出力するディスプレイ３６、及び音声情報を出力するスピーカ３７が含まれている。

【0023】

また、他のセンサ類として、車両１に対する周辺構造物の距離及び位置を測定する周辺ソナー、車両１の４箇所の角部における周辺構造物の接近を測定するコーナーレーダ、運転者の状態を検出する各種センサ（例えば、心拍センサ、心電図センサ、ステアリングホイールの把持力センサ等）が含まれていてもよい。

【0024】

コントローラ１０は、複数のセンサ類から受け取った信号に基づいて種々の演算を実行し、ＰＣＭ３３、ＤＳＣ３４、ＥＰＳ３５に対して、駆動力源２、トランスミッション３、ブレーキ４、操舵装置５を適宜に作動させるための制御信号を送信し、ディスプレイ３６、スピーカ３７に対して、所望の情報を出力させるための制御信号を送信する。コントローラ１０は、１つ以上のプロセッサ１０ａ（典型的にはＣＰＵ）、各種プログラムやデータを記憶するメモリ１０ｂ（ＲＯＭ、ＲＡＭなど）、入出力装置などを備えたコンピュータにより構成される。

【0025】

車外カメラ２１は、車両１の周囲を撮影し、画像データを出力する。コントローラ１０は、車外カメラ２１から受信した画像データに基づいて、対象物（例えば、先行車両、駐車車両、歩行者、走行路、区画線（車線境界線、白線、黄線）、交通信号、交通標識、停止線、交差点、障害物等）を特定する。なお、車外カメラ２１は、本発明における「走行環境情報取得装置」の一例に相当する。

【0026】

レーダ２２は、対象物（特に、先行車両、駐車車両、歩行者、走行路上の落下物等）の位置及び速度を測定する。レーダ２２として、例えばミリ波レーダを用いることができる。レーダ２２は、車両１の進行方向に電波を送信し、対象物により送信波が反射されて生じた反射波を受信する。そして、レーダ２２は、送信波と受信波に基づいて、車両１と対象物との間の距離（例えば、車間距離）や、車両１に対する対象物の相対速度を測定する。なお、本実施形態において、レーダ２２に代えて、レーザレーダや超音波センサ等を用いて対象物との距離や相対速度を測定してもよい。また、複数のセンサ類を用いて、位置及び速度測定装置を構成してもよい。なお、レーダ２２は、本発明における「走行環境情報取得装置」の一例に相当する。

【0027】

ナビゲーションシステム２３は、内部に地図情報を格納しており、コントローラ１０に地図情報を提供することができる。コントローラ１０は、地図情報及び現在車両位置情報に基づいて、車両１の周囲（特に、進行方向）に存在する道路、交差点、交通信号、建造物等を特定する。地図情報は、コントローラ１０内に格納されていてもよい。測位システム２４は、ＧＰＳシステム及び／又はジャイロシステムであり、車両１の位置（現在車両位置情報）を検出する。なお、ナビゲーションシステム２３及び測位システム２４も、本発明における「走行環境情報取得装置」の一例に相当する。

【0028】

車速センサ２５は、例えば車輪やドライブシャフトの回転速度に基づき車両１の速度を検出する。加速度センサ２６は、車両１の加速度を検出する。この加速度は、車両１の前後方向の加速度と、横方向の加速度（つまり横加速度）とを含む。なお、本明細書においては、加速度には、速度が増加する方向の速度の変化率だけでなく、速度が減少する方向の速度の変化率（つまり減速度）も含むものとする。

【0029】

ヨーレートセンサ２７は、車両１のヨーレートを検出する。操舵角センサ２８は、操舵装置５のステアリングホイールの回転角度（操舵角）を検出する。操舵トルクセンサ２９は、ステアリングホイールを介してステアリングシャフトに加わるトルク（操舵トルク）を検出する。アクセルセンサ３０は、アクセルペダルの踏み込み量を検出する。ブレーキセンサ３１は、ブレーキペダルの踏み込み量を検出する。

【0030】

車内カメラ３２は、運転者を撮影し、画像データを出力する。コントローラ１０は、車内カメラ３２から受信した画像データに基づいて、運転者の視線方向を検出する。なお、車内カメラ３２は、本発明における「視線検出装置」の一例に相当する。

【0031】

ＰＣＭ３３は、車両１の駆動力源２を制御して、車両１の駆動力を調整する。例えば、ＰＣＭ３３は、エンジンの点火プラグ、燃料噴射弁、スロットルバルブ、可変動弁機構や、トランスミッション３、電気モータに電力を供給するインバータなどを制御する。コントローラ１０は、車両１を加速又は減速させる必要がある場合に、ＰＣＭ３３に対して、駆動力を調整するために制御信号を送信する。

【0032】

ＤＳＣ３４は、車両１の駆動力源２やブレーキ４を制御して、車両１の減速制御や姿勢制御を行う。例えば、ＤＳＣ３４は、ブレーキ４の液圧ポンプやバルブユニットなどを制御し、ＰＣＭ３３を介して駆動力源２を制御する。コントローラ１０は、車両１の減速制御や姿勢制御を行う必要がある場合に、ＤＳＣ３４に対して、駆動力を調整したり制動力を発生させたりするために制御信号を送信する。

【0033】

ＥＰＳ３５は、車両１の操舵装置５を制御する。例えば、ＥＰＳ３５は、操舵装置５のステアリングシャフトにトルクを付与する電動モータなどを制御する。コントローラ１０は、車両１の進行方向を変更する必要がある場合に、ＥＰＳ３５に対して、操舵方向を変更するために制御信号を送信する。

【0034】

ディスプレイ３６は、車室内における運転者の前方に設けられ、運転者に画像情報を表示する。ディスプレイ３６としては、例えば液晶ディスプレイやヘッドアップディスプレイが用いられる。スピーカ３７は、車室内に設置され、各種の音声情報を出力する。

【0035】

［運転者異常予兆検出の概要］
次に、図３を参照して、本実施形態において上述したコントローラ１０によって実行される運転者異常予兆検出の基本概念について説明する。図３は、本実施形態による異常予兆検出の制御ブロック図である。

【0036】

運転者が運転の困難な異常状態に至る前の異常予兆状態においては、軽度の疾患や加齢等に起因して、運転者の注意機能が低下し始めていると考えられる。そこで、本発明者らは、この運転者の注意機能の低下を検出することにより、異常予兆状態を検出することが可能になると考えた。

【0037】

運転者の注意機能は、主として、複数の対象を同時に見る機能（配分的注意機能）、複数の対象から選択して見る機能（選択的注意機能）、対象を切り替える機能（転換性注意機能）及び対象を見続ける機能（持続的注意機能）を含んでいる。本発明者らによる研究の結果、何らかの疾患（例えば、心疾患、脳疾患、低血糖等）や加齢により注意機能が低下する場合、注意機能の低下は、配分的注意機能→選択的注意機能→転換性注意機能→持続的注意機能の順に低下するという知見が得られた。即ち、注意機能の低下の初期段階においては、配分的注意機能の低下により、運転者が運転中に視認（目で見て認識する）すべき複数の要視認箇所を同時に視認できなくなり、要視認箇所の見落としが発生するようになる。したがって、要視認箇所の見落としがどの程度発生しているのかに基づき、異常予兆状態を検出することができる。

【0038】

また、本発明者らによる研究の結果、注意機能が低下した患者においては、有効視野（視野全体の内、有効に情報を得られる範囲）が狭くなっており、対象物の付近まで視線が向いていてもその対象物を視認できないという知見が得られた。即ち、注意機能の低下の初期段階においては、有効視野が狭くなることにより、要視認箇所を視認し難くなり、要視認箇所の見落としが発生するようになる。したがって、要視認箇所を視認できなかったときの視線と要視認箇所との距離から、有効視野がどの程度狭くなっているのかを推定することにより、異常予兆状態を検出することができる。

【0039】

そこで、本実施形態のコントローラ１０は、走行環境情報に基づき、要視認箇所を特定し、運転者の視線に基づき、運転者が要視認箇所を視認したか否かを判定し、運転者が要視認箇所を視認しなかったことに基づき、要視認箇所の見落としの程度や有効視野の広さを特定することにより、運転者の異常予兆状態を検出するように構成されている。

【0040】

具体的には、図３に示すように、コントローラ１０は、車外カメラ２１、レーダ２２、ナビゲーションシステム２３、測位システム２４を含むセンサ類から受け取った信号に基づき、走行環境情報を取得する（走行環境情報取得）。走行環境情報は、車両１が走行する環境に関する情報であり、例えば、車両１の周囲に存在する先行車両、駐車車両、歩行者、走行路、区画線（車線境界線、白線、黄線）、交通信号、交通標識、停止線、交差点、障害物等の対象物の種別情報及び位置情報や、車両１が走行している道路の種別、形状、周辺の建造物、車両１の現在位置等に関する情報を含む。

【0041】

コントローラ１０は、取得した走行環境情報に基づき、走行環境と要視認箇所との対応付けを格納した要視認箇所データベースを参照し、運転者が視認すべき要視認箇所を特定する（要視認箇所特定）。要視認箇所データベースは、予めメモリ１０ｂ等に記憶されている。

【0042】

図４は、本実施形態による要視認箇所データベースに格納されている情報を例示するテーブルである。図４に例示する要視認箇所データベースの各列は、車両１が走行する走行環境を表している（例えば、「直進」における「直進」、「カーブ」等）。また、図４に例示する要視認箇所データベースの各行は、運転者が視認すべき要視認箇所を表している（例えば、「進行方向」、「ルームミラー」等）。そして、走行環境の各々において運転者が視認すべき要視認箇所が「〇」として表されている。コントローラ１０は、取得した走行環境情報に基づき、車両１の走行環境を特定し、特定した走行環境おける要視認箇所を、要視認箇所データベースから取得する。例えば、走行環境が「交差点」の「左折」である場合、図４の例では、要視認箇所は「進行方向」、「左ドアミラー」、「左側方」、「先行車」、「信号」、「横断歩道の渡り口」、「歩行者」及び「２輪車」であることが特定される。

【0043】

また、コントローラ１０は、車内カメラ３２から受け取った信号に基づき、運転者の視線を検出する（視線検出）。そして、コントローラ１０は、特定した要視認箇所と、検出した運転者の視線とに基づき、運転者が要視認箇所を視認したか否かを判定する（視認判定）。具体的には、コントローラ１０は、運転者の視線が要視認箇所を含む所定範囲内に向けられている場合（例えば、運転者の頭部から要視認箇所に向かう方向と、運転者の視線との成す角度が、５度以内である場合）に、その要視認箇所を運転者が視認したと判定する。この所定範囲は、予め設定されメモリ１０ｂ等に記憶されている。

【0044】

また、コントローラ１０は、車速センサ２５、加速度センサ２６、ヨーレートセンサ２７、操舵角センサ２８、操舵トルクセンサ２９、アクセルセンサ３０、ブレーキセンサ３１を含むセンサ類から受け取った信号に基づき、運転者による運転操作を検出する（運転操作検出）。運転操作には、例えば、加速操作、減速操作、左旋回操作、右旋回操作が含まれる。

【0045】

そして、コントローラ１０は、特定した要視認箇所と、検出した運転者の視線及び運転操作とに基づき、運転者が要視認箇所を視認したか否かを判定する（視認判定）。具体的には、コントローラ１０は、運転者の視線が要視認箇所を含む所定範囲内に向けられている場合（例えば、運転者の頭部から要視認箇所に向かう方向と、運転者の視線との成す角度が、３０度以内である場合）において、その後、その要視認箇所に対応する運転操作が行われた場合に、その要視認箇所を運転者が視認したと判定する。この所定範囲は、予め設定されメモリ１０ｂ等に記憶されている。また、「要視認箇所に対応する運転操作」とは、要視認箇所を視認した場合に運転者が実行すべき運転操作（例えば、要視認箇所が赤信号である場合、それに対応する運転操作は減速操作）であり、要視認箇所の各々について予め設定されメモリ１０ｂ等に記憶されている。

【0046】

また、コントローラ１０は、運転者の視線が要視認箇所を含む所定範囲内に向けられているか否かに基づく視認判定の結果から、要視認箇所の総数に対する、運転者が視認しなかった要視認箇所の数の割合（見落とし率）を算出する（見落とし率算出）。即ち、見落とし率Ｆｒは下記式により算出できる。
見落とし率Ｆｒ＝（運転者が視認しなかった要視認箇所）／（要視認箇所の総数）

【0047】

そして、見落とし率Ｆｒが所定の閾値Ａ以上（例えば、４０％以上）の場合に、運転者が異常予兆状態であると判断する。即ち、運転者の異常予兆状態を検出する（異常予兆検出）。この閾値Ａは、予め設定されメモリ１０ｂ等に記憶されている。

【0048】

また、コントローラ１０は、運転者の視線が要視認箇所を含む所定範囲内に向けられたときにその要視認箇所に対応する運転操作が行われたか否かに基づく視認判定の結果から、有効視野の広さを推定する（有効視野推定）。具体的には、コントローラ１０は、運転者が視認しなかったと判定された各要視認箇所の、運転者の頭部から要視認箇所に向かう方向と運転者の視線との成す角度の中から、最小値（有効視野外最小角）を取得する。また、コントローラ１０は、運転者が視認したと判定された各要視認箇所の、運転者の頭部から要視認箇所に向かう方向と運転者の視線との成す角度の中から、最大値（有効視野内最大角）を取得する。そして、有効視野外最小角と有効視野内最大角との中間値を、有効視野の広さ（有効視野角）Ｆｖとする。

【0049】

そして、有効視野の広さＦｖが所定の閾値Ｂ未満（例えば、５度未満）の場合に、運転者が異常予兆状態であると判断する。即ち、運転者の異常予兆状態を検出する（異常予兆検出）。この閾値Ｂは、予め設定されメモリ１０ｂ等に記憶されている。

【0050】

異常予兆状態を検出すると、コントローラ１０は、ＰＣＭ３３、ＤＳＣ３４、ＥＰＳ３５に対して、駆動力源２、トランスミッション３、ブレーキ４、操舵装置５を適宜に作動させるための制御信号を送信し、ディスプレイ３６、スピーカ３７に対して、所望の情報を出力させるための制御信号を送信する。例えば、コントローラ１０は、運転者が視認しなかった要視認箇所へ運転者の視線を誘導するための画像情報をディスプレイ３６に表示させたり、音声情報をスピーカ３７から出力させたりする。

【0051】

［異常予兆検出処理］
次に、図５を参照して、本実施形態の運転者異常予兆検出装置１００による異常予兆状態の検出処理の流れについて説明する。図５は異常予兆検出処理のフローチャートである。

【0052】

図５の異常予兆検出処理は、車両１の電源がＯＮにされた場合に開始され、コントローラ１０によって所定の周期（例えば、０．０５～０．２秒毎）で繰り返し実行される。

【0053】

異常予兆検出処理が開始されると、まず、コントローラ１０は、車外カメラ２１、レーダ２２、ナビゲーションシステム２３、測位システム２４を含むセンサ類から受け取った信号に基づき、走行環境情報を取得する（ステップＳ１）。

【0054】

また、コントローラ１０は、車内カメラ３２から受け取った信号に基づき、運転者の視線を検出する（ステップＳ２）。そして、コントローラ１０は、ステップＳ１において取得した走行環境情報に基づき、運転者が視認すべき要視認箇所を特定し、特定した要視認箇所と、ステップＳ２において検出した運転者の視線とに基づき、運転者が要視認箇所を視認したか否かを判定する（ステップＳ３）。上述したように、コントローラ１０は、運転者の視線が要視認箇所を含む所定範囲内に向けられている場合に、その要視認箇所を運転者が視認したと判定する。また、コントローラ１０は、運転者の視線が要視認箇所を含む所定範囲内に向けられている場合において、その後、その要視認箇所に対応する運転操作が行われた場合に、その要視認箇所を運転者が視認したと判定する。

【0055】

次に、コントローラ１０は、車外カメラ２１、レーダ２２、ナビシステム２３、測位システム２４、車速センサ２５、加速度センサ２６、ヨーレートセンサ２７、操舵角センサ２８、操舵トルクセンサ２９、アクセルセンサ３０、ブレーキセンサ３１、車内カメラ３２を含むセンサ類から受け取った信号に基づき、運転者が異常状態であるか否かを判定する（ステップＳ４）。

【0056】

例えば、コントローラ１０は、特開２０２１－０７７１３６号公報に記載された技術のように、車両の運転者のサッケードの振幅や頻度を検出すると共に、車両の外部環境において運転者が走行中に確認すべき注意箇所が多くなるに連れて高くなるような注意度を検出し、注意度の高さと運転者のサッケードの振幅や頻度とに基づいて、運転者が異常状態であるか否かを判定する。あるいは、運転者の視線方向、姿勢（上半身又は頭部の位置）、運転者のまぶたの開き具合、運転者によるステアリングホイールの把持力等を検出し、このような検出結果に基づいて、運転者が異常状態であることを判定することもできる。例えば、視線方向の安定性が所定値以下の場合、姿勢の安定性が所定値以下の場合、まぶたが所定時間以上にわたって閉じている場合、ステアリングホイールの把持力が所定値未満の場合に、運転者が異常状態であると判定することができる。また、例えば、コントローラ１０は、走行路上での中央線からの車両１の位置の安定性、操舵角の安定性等が所定値以下の場合に、運転者が異常状態であると推定することができる。

【0057】

その結果、運転者が異常状態であると判定された場合（ステップＳ４：Ｙｅｓ）、コントローラ１０は、ディスプレイ３６やスピーカ３７に制御信号を送信して警報を出力させると共に、ＰＣＭ３３、ＤＳＣ３４、ＥＰＳ３５に対して、駆動力源２、トランスミッション３、ブレーキ４、操舵装置５を適宜に作動させるための制御信号を送信し、例えば車両１を路肩に安全に停止させるように車両１の挙動を制御する（ステップＳ５）。ステップＳ５の後、コントローラ１０は、異常予兆検出処理を終了する。

【0058】

一方、運転者が異常状態ではないと判定された場合（ステップＳ４：Ｎｏ）、コントローラ１０は、運転者の視線が要視認箇所を含む所定範囲内に向けられているか否かに基づく視認判定の結果から、見落とし率Ｆｒを算出する（ステップＳ６）。

【0059】

次に、コントローラ１０は、ステップＳ６で算出した見落とし率Ｆｒが所定の閾値Ａ以上か否かを判定する（ステップＳ７）。その結果、見落とし率Ｆｒが所定の閾値Ａ以上である場合（ステップＳ７：Ｙｅｓ）、コントローラ１０は、運転者が異常予兆状態であると判断する。即ち、運転者の異常予兆状態を検出する（ステップＳ８）。

【0060】

次に、コントローラ１０は、ディスプレイ３６及びスピーカ３７に対して制御信号を送信し、運転者が視認しなかった要視認箇所へ運転者の視線を誘導するための画像情報及び音声情報（視線誘導情報）をディスプレイ３６及びスピーカ３７から出力させる（ステップＳ９）。ステップＳ９の後、コントローラ１０は、異常予兆検出処理を終了する。

【0061】

また、ステップＳ７において、見落とし率Ｆｒが所定の閾値Ａ以上ではない（閾値Ａ未満である）場合（ステップＳ７：Ｎｏ）、コントローラ１０は、ステップＳ３における、運転者の視線が要視認箇所を含む所定範囲内に向けられたときにその要視認箇所に対応する運転操作が行われたか否かに基づく視認判定の結果から、有効視野の広さＦｖを推定する（ステップＳ１０）。

【0062】

次に、コントローラ１０は、ステップＳ１０で推定した有効視野の広さＦｖが所定の閾値Ｂ未満か否かを判定する（ステップＳ１１）。その結果、有効視野の広さＦｖが所定の閾値Ｂ未満である場合（ステップＳ１１：Ｙｅｓ）、コントローラ１０は、運転者が異常予兆状態であると判断する。即ち、運転者の異常予兆状態を検出する（ステップＳ８）。この場合、コントローラ１０は、視線誘導情報をディスプレイ３６及びスピーカ３７から出力させ（ステップＳ９）、異常予兆検出処理を終了する。

【0063】

一方、ステップＳ１１において、有効視野の広さＦｖが所定の閾値Ｂ未満ではない（閾値Ｂ異常である）場合（ステップＳ１１：Ｎｏ）、コントローラ１０は、運転者が異常予兆状態ではないと判断する。即ち、運転者の異常予兆状態を検出しない（ステップＳ１２）。ステップＳ１２の後、コントローラ１０は、異常予兆検出処理を終了する。

【0064】

なお、本実施形態の異常予兆検出処理では、コントローラ１０は、見落とし率Ｆｒが所定の閾値Ａ以上か否か、及び、有効視野の広さＦｖが所定の閾値Ｂ未満か否かのそれぞれに基づき、運転者の異常予兆状態を検出しているが、見落とし率Ｆｒ又は有効視野の広さＦｖの何れか一方のみに基づいて異常予兆状態を検出するようにしてもよい。

【0065】

また、本実施形態の異常予兆検出処理では、コントローラ１０は、ステップＳ４において運転者が異常状態ではないと判定された場合に（ステップＳ４：Ｎｏ）、運転者の異常予兆状態を検出しているが、異常状態であるか否かの判定を省略してもよく、あるいは、異常予兆状態を検出した後に、異常状態であるか否かの判定を行ってもよい。

【0066】

また、本実施形態では、運転者の視線が要視認箇所を含む所定範囲内に向けられたときにその要視認箇所に対応する運転操作が行われたか否かに基づく視認判定の結果から、有効視野の広さＦｖを推定しているが、これとは異なる手法により有効視野の広さを推定してもよい。例えば、サリエンシーの高い対象物（例えば、周囲の領域に対して色差や輝度差が大きかったり、周囲に対して大きな動きをしていたりする対象物）に運転者の視線が向いたときの、運転者の頭部からその対象物に向かう方向と運転者の視線との成す角度に基づき、有効視野の広さを推定することもできる。

【0067】

［作用・効果］
次に、上述した本実施形態の運転者異常予兆検出装置１００の作用効果を説明する。

【0068】

コントローラ１０は、走行環境情報に基づき、運転者が視認すべき要視認箇所を特定し、運転者の視線に基づき、運転者が要視認箇所を視認したか否かを判定し、運転者が要視認箇所を視認しなかったことに基づき、運転者の異常予兆状態を検出するので、運転者の注意機能の低下の初期段階における配分的注意機能の低下や有効視野の縮小に起因して、運転者が要視認箇所を視認できなかったことを利用して異常予兆状態を検出することができる。これにより、例えば運転者のサッケードの振幅や頻度に明らかな差異が現れないような、運転者が運転の困難な異常状態に至る前の十分に早い段階において、運転者の異常予兆状態を検出することができる。

【0069】

また、コントローラ１０は、運転者の視線が要視認箇所を含む所定範囲内に向けられている場合に、運転者が当該要視認箇所を視認したと判定し、運転者が視認しなかった要視認箇所の数に基づき、運転者の異常予兆状態を検出する。したがって、注意機能の低下の初期段階において、配分的注意機能の低下により、運転者が複数の要視認箇所を同時に視認できなくなり、要視認箇所の見落としが発生し始めたときに、要視認箇所の見落としがどの程度発生しているのかに基づき、異常予兆状態を検出することができる。これにより、運転者が運転の困難な異常状態に至る前の十分に早い段階において、運転者の異常予兆状態を適切に検出することができる。

【0070】

また、コントローラ１０は、要視認箇所の見落とし率が所定値以上の場合に、運転者の異常予兆状態を検出するように構成されている。したがって、注意機能の低下の初期段階において、配分的注意機能の低下により、運転者が複数の要視認箇所を同時に視認できなくなり、要視認箇所の見落とし率が所定値以上となった場合に、異常予兆状態を検出することができる。これにより、運転者が運転の困難な異常状態に至る前の十分に早い段階において、運転者の異常予兆状態を適切に検出することができる。

【0071】

また、コントローラ１０は、運転者の視線と、運転者が視認しなかった要視認箇所との距離に基づき、運転者が視認可能な有効視野の広さを推定し、推定した有効視野の広さが所定値未満である場合に、運転者の異常予兆状態を検出する。したがって、注意機能の低下の初期段階において有効視野が狭くなり要視認箇所の見落としが発生し始めたときに、有効視野がどの程度狭くなっているのかを推定することにより、異常予兆状態を検出することができる。これにより、運転者が運転の困難な異常状態に至る前の十分に早い段階において、運転者の異常予兆状態を適切に検出することができる。

【0072】

また、運転者異常予兆検出装置１００は、さらに、運転者に情報を出力するディスプレイ３６及びスピーカ３７を備え、コントローラ１０は、運転者の異常予兆状態を検出した場合、運転者の視線を要視認箇所へ誘導する情報をディスプレイ３６及びスピーカ３７により出力させる。したがって、運転者の異常予兆状態を検出した場合、運転者の視線を要視認箇所へ誘導することができ、注意機能の低下の初期段階において要視認箇所の見落としが発生し始めた運転者に対して適切な運転支援を提供することができる。

【符号の説明】

【0073】

１ 車両
１０ コントローラ
１００ 運転者異常予兆検出装置
２１ 車外カメラ
２２ レーダ
２３ ナビシステム
２４ 測位システム
２５ 車速センサ
２６ 加速度センサ
２７ ヨーレートセンサ
２８ 操舵角センサ
２９ 操舵トルクセンサ
３０ アクセルセンサ
３１ ブレーキセンサ
３２ 車内カメラ
３６ ディスプレイ
３７ スピーカ

【図1】

【図2】

【図3】

【図4】

【図5】