特許 7658099 ドライバ状態推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-31

(45)【発行日】2025-04-08

(54)【発明の名称】ドライバ状態推定装置

(51)【国際特許分類】

   B60W 40/08 20120101AFI20250401BHJP

   A61B 5/11 20060101ALI20250401BHJP

   A61B 5/18 20060101ALI20250401BHJP

   G08G 1/16 20060101ALI20250401BHJP

【ＦＩ】

B60W40/08

A61B5/11 120

A61B5/18

G08G1/16 F

【請求項の数】 3

(21)【出願番号】P 2021017185

(22)【出願日】2021-02-05

(65)【公開番号】P2022120347

(43)【公開日】2022-08-18

【審査請求日】2023-12-19

(73)【特許権者】

【識別番号】000003137

【氏名又は名称】マツダ株式会社

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】吉田 誠

(72)【発明者】

【氏名】岩下 洋平

(72)【発明者】

【氏名】幾久 健

【審査官】戸田 耕太郎

(56)【参考文献】

【文献】特開２０１２－０６８８４１（ＪＰ，Ａ）

【文献】特開２０１８－０３２３３７（ＪＰ，Ａ）

【文献】国際公開第２０２０／２５５２３８（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１２／０１６９５０３（ＵＳ，Ａ１）

【文献】国際公開第２０１７／０６５２４１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｗ ４０／０８

Ａ６１Ｂ ５／１１

Ａ６１Ｂ ５／１８

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

移動体を運転するドライバの状態を推定するドライバ状態推定装置であって、
センサを用いて前記ドライバの頭部のピッチ方向の挙動及びロール方向の挙動を検出する頭部挙動検出部と、
前記頭部挙動検出部によって検出された各頭部挙動から、前記ドライバの異常予兆を検知する検知部と、を備え、
前記検知部は、
前記ドライバのピッチ方向の頭部の挙動及びロール方向の頭部の挙動を示す時系列データに対して、周期性特徴量をそれぞれ演算し、
演算した各周期性特徴量に対して特徴ベクトルをそれぞれ演算し、
演算したピッチ方向の特徴ベクトル及び演算したロール方向の特徴ベクトルに対して、該ピッチ方向及びロール方向の各特徴ベクトル全体の平均値がドライバの頭部挙動が規則的であると判定できる程度の大きさに設定された第１所定値以下である第１条件を満たし、かつ、前記ピッチ方向の特徴ベクトルの平均値と前記ロール方向の特徴ベクトルの平均値との差が、正常状態における、ピッチ方向の特徴ベクトルの平均値とロール方向の特徴ベクトルの平均値との差よりは大きく、疾患状態における、ピッチ方向の特徴ベクトルの平均値とロール方向の特徴ベクトルの平均値との差よりは小さく設定されている所定範囲である第２条件とを満たすときに前記ドライバが異常予兆状態であると推定する、
ことを特徴とするドライバ状態推定装置。

【請求項2】

請求項１に記載のドライバ状態推定装置において、
前記検知部は、
前記第１条件および前記第２条件に加えて、
前記ピッチ方向の特徴ベクトルの平均値がドライバの頭部挙動が規則的であると判定できる程度の大きさに設定された第２所定値以下で、かつ、前記ロール方向の特徴ベクトルの平均値がドライバの頭部挙動が規則的であると判定できる程度の大きさに設定された第３所定値以下であるときに前記ドライバが異常予兆状態であると推定する、ことを特徴とするドライバ状態推定装置。

【請求項3】

移動体を運転するドライバの状態を推定するドライバ状態推定装置であって、
センサを用いて前記ドライバの頭部のピッチ方向の挙動及びロール方向の挙動を検出する頭部挙動検出部と、
前記頭部挙動検出部によって検出された各頭部挙動から、前記ドライバの異常予兆を検知する検知部と、を備え、
前記検知部は、
前記ドライバのピッチ方向の頭部の挙動及びロール方向の頭部の挙動を示す時系列データに対して、周期性特徴量をそれぞれ演算し、
演算した各周期性特徴量に対して特徴ベクトルをそれぞれ演算し、
演算したピッチ方向の特徴ベクトル及び演算したロール方向の特徴ベクトルに対して、該ピッチ方向及びロール方向の各特徴ベクトル全体の平均値がドライバの頭部挙動が規則的であると判定できる程度の大きさに設定された第１所定値以下で、かつ、前記ピッチ方向の特徴ベクトルの平均値がドライバの頭部挙動が規則的であると判定できる程度の大きさに設定された第２所定値以下で、かつ、前記ロール方向の特徴ベクトルの平均値がドライバの頭部挙動が規則的であると判定できる程度の大きさに設定された第３所定値以下であるとき前記ドライバが異常予兆状態であると推定する、ことを特徴とするドライバ状態推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

ここに開示された技術は、移動体を運転するドライバの状態を推定するドライバ状態推定装置に関する技術分野に属する。

【背景技術】

【0002】

昨今、国家的に自動運転システムの開発が推進されている。本願出願人は、現時点において、自動運転システムには、大きく分けると２つの方向性があると考えている。

【0003】

第１の方向性は、自動車が主体となってドライバの操作を要することなく乗員を目的地まで運ぶシステムであり、いわゆる自動車の完全自動走行である。一方、第２の方向性は、自動車の運転を楽しみたい等、あくまで人間が運転をすることを前提とした自動運転システムである。

【0004】

第２の方向性の自動運転システムでは、例えば、ドライバに疾患等が発生し正常な運転が困難な状況が発生した場合等に、自動車が自動的に乗員に変わって自動運転を行うことが想定される。このため、ドライバに異常が発生したこと、特に、ドライバに機能障害や疾患が発生したことをいかに早期にかつ精度良く発見できるかが、ドライバの救命率の向上や周囲を含めた安全を確保する観点から極めて重要となる。

【0005】

特許文献１には、ドライバの頭部の揺れ幅に基づいてドライバの運転不能状態を検出したり、ドライバの目の白目度合いに基づいてドライバの運転不能状態を検出したりする状態検出装置が開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特許第６３６１３１２号公報

【非特許文献】

【0007】

【文献】T. Nakamura, et al., “Multiscale Analysis of Intensive Longitudinal Biomedical Signals and its Clinical Applications”, Proceedings of the IEEE, Institute of Electrical and Electronics Engineers, 2016, vol.104, pp.242-261

【文献】水田他、「重心動揺に対するフラクタル解析」、Equilibrium Research、日本めまい平衡医学会、2016，Vol.75(3), pp.154-161

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１，２に示されているように、ドライバの頭部の動きや眼球の状態に基づいてドライバの運転不能や異常を判定する技術は、すでに知られている。しかしながら、特許文献１では、集中力の低下や肉体的な疲労については検出できたとしても、運転者に生じている疾患については事前に予測できない。また、特許文献２は、ドライバに疾患が発現してから運転不能になった状態を検出するものである。ドライバの異常発生時において、より安全に緊急停車等を行うためには、ドライバが運転不能になってしまう前に、その予兆をいち早く捉えることが好ましい。

【0009】

本願発明者らは、ドライバの異常予兆を推定するために、ドライバが運転不能になる直前に見られる、ドライバの頭部挙動に周期性に着目した。具体的には、本願発明者らは、ドライバの頭部挙動の規則性に対して時系列変動パターンを求めることで、ドライバの異常予兆を推定することを提案している。しかしながら、ドライバの頭部挙動の規則性に対して時系列変動パターンを求めるには、演算量が膨大になる。このため、移動体内で演算を完了させるのが困難になり、ドライバの異常予兆を早期に検知しにくくなるおそれがある。

【0010】

ここに開示された技術は斯かる点に鑑みてなされたものであり、その目的とするところは、移動体を運転するドライバの異常予兆を推定する際の演算量を出来る限り小さくして、ドライバの異常予兆を出来る限り早期に検知することにある。

【課題を解決するための手段】

【0011】

前記課題を解決するために、ここに開示された技術では、移動体を運転するドライバの状態を推定するドライバ状態推定装置を対象として、センサを用いて前記ドライバの頭部のピッチ方向の挙動及びロール方向の挙動を検出する頭部挙動検出部と、前記頭部挙動検出部によって検出された各頭部挙動から、前記ドライバの異常予兆を検知する検知部と、を備え、前記検知部は、前記ドライバのピッチ方向の頭部の挙動及びロール方向の頭部の挙動を示す時系列データに対して、周期性特徴量をそれぞれ演算し、演算した各周期性特徴量に対して特徴ベクトルをそれぞれ演算し、演算したピッチ方向の特徴ベクトル及び演算したロール方向の特徴ベクトルに対して、該ピッチ方向及びロール方向の各特徴ベクトル全体の平均値がドライバの頭部挙動が規則的であると判定できる程度の大きさに設定された第１所定値以下である第１条件を満たし、かつ、前記ピッチ方向の特徴ベクトルの平均値と前記ロール方向の特徴ベクトルの平均値との差が、正常状態における、ピッチ方向の特徴ベクトルの平均値とロール方向の特徴ベクトルの平均値との差よりは大きく、疾患状態における、ピッチ方向の特徴ベクトルの平均値とロール方向の特徴ベクトルの平均値との差よりは小さく設定されている所定範囲である第２条件とを満たすときに前記ドライバが異常予兆状態であると推定する、というものとした。

【0012】

本願発明者らは、まず、ドライバの頭部のピッチ方向の挙動及びロール方向の挙動の時系列データに対して周期性特徴量を演算し、演算した周期性特徴量の時系列変動パターンを次元圧縮手法により演算した。そして、本願発明者らは、演算結果の時系列変動パターンから周期性特徴量を再現する逆解析を行うことで、周期性特徴量の時系列変動パターンを演算する際に考慮されている要素を算出した。これにより、本願発明者らは、頭部のピッチ方向の特徴ベクトルであるピッチ方向の特徴ベクトル及びロール方向の特徴ベクトルであるロール方向の特徴ベクトルに関する複数のパラメータのうち、ピッチ方向及びロール方向の特徴ベクトル全体の平均値、ピッチ方向の特徴ベクトルの平均値、並びに、ロール方向の特徴ベクトルの平均値が重要な要素であることを見出した。

【0013】

そこで、本開示に係る技術では、検知部は、ピッチ方向及びロール方向の各特徴ベクトル全体の平均値、ピッチ方向の特徴ベクトルの平均値、並びに、ロール方向の特徴ベクトルの平均値を少なくとも考慮して、ドライバの異常予兆の有無を検知するようにした。これにより、周期性特徴量の時系列変動パターンによりドライバの異常予兆を検知する際に利用する要素が限定されるため、演算量を小さくすることができる。この結果、ドライバの異常予兆を出来る限り早期に検知することができるようになる。

【0015】

本願発明者らが更に研究を進めたところ、ピッチ方向及びロール方向の各特徴ベクトル全体の平均値と、ピッチ方向の特徴ベクトルの平均値とロール方向の特徴ベクトルの平均値との差とにより異常予兆を検知するようにすれば、周期性特徴量の時系列変動パターンを用いた場合の検知結果を精度良く再現できることが分かった。これにより、演算量を効果的に削減して、ドライバの異常予兆を出来る限り早期に検知することができるようになる。

【0016】

前記ドライバ状態推定装置において、前記検知部は、前記第１条件および前記第２条件に加えて、前記ピッチ方向の特徴ベクトルの平均値がドライバの頭部挙動が規則的であると判定できる程度の大きさに設定された第２所定値以下で、かつ、前記ロール方向の特徴ベクトルの平均値がドライバの頭部挙動が規則的であると判定できる程度の大きさに設定された第３所定値以下であるときに前記ドライバが異常予兆状態であると推定する、という構成でもよい。

【0017】

この構成によると、ドライバの異常予兆をより精度良く検知することができる。結果として、ドライバの異常予兆を出来る限り早期に検知することができるようになる。

【発明の効果】

【0018】

以上説明したように、ここに開示された技術によると、移動体を運転するドライバの異常予兆を推定する際の演算量を出来る限り小さくして、ドライバの異常予兆を出来る限り早期に検知することができる。

【図面の簡単な説明】

【0019】

【図1】図１は、ドライバが疾患状態になる際の運転能力レベルの変動を例示するグラフである。

【図2】図２は、頭部挙動の恒常性と疾患との関係を示す図であり、（ａ）は正常状態を示し、（ｂ）は臨界減速状態を示し、（ｃ）は疾患状態を示す。

【図3】図３は、頭部挙動及び頭部挙動の周期性特徴量を示す図である。

【図4】図４は、頭部挙動の周期性特徴量の時系列変動パターンを示す２次元データを示す図である。

【図5】図５は、実施形態に係るドライバ状態推定装置の検知方法を検討する際の解析手法を模式的に示す図である。

【図6】図６は、周期性特徴量の時系列変動パターンを演算する際に利用される各要素を模式的に示す図である。

【図7】図７は、要素の数を変化させた際の周期性特徴量の再現度合いを示すグラフである。

【図8】図８は、ドライバ状態推定装置を含む車載システムの構成図である。

【図9】図９は、頭部挙動に基づくドライバ状態推定の処理を示すフローチャートの一部である。

【図10】図１０は、頭部挙動に基づくドライバ状態推定の処理を示すフローチャートの残部である。

【図11】図１１は、ドライバの異常予兆の検知を、次元圧縮手法により行った場合と、本実施形態に係るドライバ状態推定装置により行った場合との消費メモリを示すグラフである。

【発明を実施するための形態】

【0020】

以下、例示的な実施形態について、図面を参照しながら詳細に説明する。

【0021】

図１は本開示に係る技術の位置づけを表す概念図である。ドライバが運転不能に陥る状態変容は３つのパターンに集約される。ケースＡは、知覚、判断、運動のうち一部機能から低下するパターン、ケースＢは、全般機能が徐々に低下するパターン、ケースＣは急に意識を喪失するパターンである。このうち、ケースＡ，Ｂの場合は、図１に示すように、疾患が発症してから、ドライバの運転能力レベルが徐々に低下していき、やがて運転不能状態に至る。したがって、この運転能力の低下状態を検出できれば、ドライバの運転不能の予兆を検知することができる。運転不能の予兆を検知することができたら、その後は例えばドライバの意思確認を行い、自動走行制御によって車両を路肩に退避させる等の緊急対応が可能になる。また、ケースＣの場合であっても、意識を喪失する前の予兆を検知することができれば、緊急対応が可能になる。

【0022】

本開示に係る技術は、人の恒常性維持機能に着目し、ドライバの頭部挙動から運転不能の予兆（以下、異常予兆という）を検知するものである。

【0023】

図２は頭部挙動の恒常性と疾患との関係を示す（非特許文献１，２参照）。図２の各グラフは上方から見た頭部の動きを表している。図２の（ａ）は恒常性が維持された正常状態であり、図２の（ｂ）は正常と疾患との間の臨界減速という状態であり、図２の（ｃ）は疾患状態である。尚、図２（ａ），（ｃ）のグラフは非特許文献１から引用したものである。

【0024】

人間は、外乱に対して状態を一定に保とうとする恒常性という機能を持っている。頭部挙動の恒常性とは、運転中に頭部姿勢を維持しようとする性質のことをいう。図２（ａ）に示すように、正常状態では、恒常性維持のために、頭部は不規則に変動する。一方、図２（ｃ）に示すように、疾患時には、頭部の変動は小さくなり、挙動が安定する。そして図２（ｂ）に示すように、正常状態から疾患状態に遷移する間の臨界減速状態では、頭部は、周期性（自己相関）を持って変動する、と考えられる（非特許文献２参照）。

【0025】

本願発明者らは、上述した知見に着目し、ドライバの頭部挙動から、臨界減速状態への状態遷移を捉えることができれば、異常の予兆を検知することができる、と考えた。そして、ドライバの異常予兆の検知のために、頭部挙動の周期性特徴量を利用できる、と考えた。

【0026】

本願発明者らは、異常予兆が生じる場合の頭部挙動を取得するために、実際にケースＣの疾患を有する被験者に、ドライブシミュレータによる運転をさせる実験を行った。実験では、被験者の頭部挙動を示すデータとして、センサにより頭部のピッチ角（前後方向の角度）とロール角（左右方向の角度）とを取得した。また、実験では、被験者の脳波を取得することで、実際にてんかんが生じたか否かを判定した。

【0027】

図３の上図は、実際に頭部挙動を取得した結果である。図３に示す、正常区間、予兆区間、及び発作区間は、脳波の解析結果から判別している
本願発明者らの行った実験により、図３に示すように、正常状態では、頭部がランダムに小さく移動し、予兆状態において微小な振動が生じ、発作状態では、ランダムに大きく移動することが分かった。特に、予兆状態では、時折大きな動きがありつつも、基本的には周期的な振動が継続することが分かった。そこで、本願発明者らは、この周期的な変化を検出するために、頭部のピッチ角およびロール角の時系列データに対して、ＤＦＡ（Detrended Fluctuation Analysis）により、自己相関指標（スケーリング指数α）を求めた。ＤＦＡは、非常にゆっくりと変化する成分、いわゆるトレンドを除去してスケーリングを調べる手法である。自己相関指標（スケーリング指数α）は、データの周期性を示す特徴量の一例である。

【0028】

図３の下図は頭部のピッチ角及びロール角の自己相関指標を示すグラフである。自己相関指標の値は、小さいほど自己相関が強く、大きいほど自己相関が弱いことを表す。

【0029】

図３の下図に示すように、予兆区間では、自己相関指標が低下する傾向にあり、規則的な変化をすることが分かる。この実験結果は、正常状態では頭部は不規則に変動し、臨界減速状態では頭部は周期性を持って変動する、という上述した知見に合致している。一方で、図３の下図に示すように、正常区間であっても予兆区間と同程度の自己相関指標となる場合がある。

【0030】

そこで、本願発明者らは、自己相関指標の時系列変動パターンに注目した。本願発明者らは、時系列変動パターンを求めるために、自己相関指標の時系列データの規則性を示す特徴ベクトルを演算して、パターン分類を行った。本願発明者らは、まず、パターン分類の手法として、演算した特徴ベクトルに対して、非線形次元圧縮手法（ＵＭＡＰ：Uniform Manifold Approximation and Projection）を行った。

【0031】

図６は、ＵＭＡＰにより２次元に圧縮した時系列変動パターンである。図６に示すように、異常予兆が現れる際には、時系列変動パターンに特異な変化が見られることが分かる。つまり、ＵＭＡＰにより自己相関指標の特徴ベクトルを次元圧縮することにより、異常予兆を検知可能であることが分かった。

【0032】

しかしながら、本願発明者らが解析したところ、ＵＭＡＰを用いる方法では、演算量が膨大になることが分かった。このため、メモリの使用量が膨大になり、一般的なパソコンを用いれば十分に演算可能である一方で、自動車などの移動体に搭載される演算装置により演算することは困難であることが分かった。

【0033】

そこで、本願発明者らは、パターン分類方法をＵＭＡＰから他の方法に置き換えることを検討した。具体的には、図５に示すように、ＵＭＡＰにより得られた２次元データに対して逆解析を行い、図３に示すような自己相関指標の結果を得るために必要な要素を抽出した。ここでは、ランダムフォレスト法により逆解析を行うことで分類規則を示す要素を抽出した。

【0034】

本願発明者らが逆解析を行った結果、要素しては、図６に示すように、
・特徴ベクトル全体の平均値
・ピッチ方向の特徴ベクトルの平均値
・ロール方向の特徴ベクトルの平均値
・ピッチ方向の特徴ベクトルの平均値とロール方向の特徴ベクトルの平均値との差
・ピッチ方向の特徴ベクトルの傾き
・ロール方向の特徴ベクトルの傾き
・ピッチ方向の特徴ベクトルの傾きとロール方向の特徴ベクトルの傾きとの差
・特徴ベクトル全体の傾きとピッチ方向の特徴ベクトルの傾きとの差
・特徴ベクトル全体の傾きとロール方向の特徴ベクトルの傾きとの差
・ピッチ方向の特徴ベクトルの標準偏差
・ロール方向の特徴ベクトルの標準偏差
・ピッチ方向の特徴ベクトルの標準偏差とロール方向の特徴ベクトルの標準偏差との差
の１２の要素によりＵＭＡＰの２次元データから自己相関指標の時系列変化を説明できることが分かった。尚、図６に示す各特徴ベクトルは、ピッチ角及びロール角の周期性特徴量の時系列データを時間順に区切って算出されるものである。図６の縦軸は、前述のようにＤＦＡにて演算される自己相関指標であり、特徴ベクトルの量を表す。

【0035】

また、本願発明者らが解析を進めたところ、１２要素全てを考慮しなくとも特定の数要素のみで自己相関指標の時系列変化をほとんど説明できることが分かった。図７には、発明者らの解析結果を示す。縦軸の説明指数は、自己相関指標の時系列変化の再現度合いとみなすことができ、１であれば、自己相関指標の時系列変化を完全に再現できることを意味している。

【0036】

最も右の１要素（１）は、「ピッチ方向の特徴ベクトルの平均値とロール方向の特徴ベクトルの平均値との差」のみを考慮した場合であり、１要素（２）は、「特徴ベクトル全体の平均値」のみを考慮した場合である。図７に示すように、ピッチ方向の特徴ベクトルの平均とロール方向の特徴ベクトルの平均値との差のみを考慮した場合には、説明指数が０であるが、特徴ベクトル全体の平均値のみを考慮した場合には説明指数が少し上昇することが分かる。これは、特徴ベクトルの差のみでは、ピッチ方向の特徴ベクトルとロール方向の特徴ベクトルの相対的な位置関係を示すのみであって、各特徴ベクトルの絶対値が反映されないためである。一方で、特徴ベクトル全体の平均値を考慮した場合には、各特徴ベクトルの絶対値が反映されるため、説明指数が上昇すると考えられる。

【0037】

図７の２要素は、「特徴ベクトル全体の平均値」に加えて、「ピッチ方向の特徴ベクトルの平均とロール方向の特徴ベクトルの平均値との差」を考慮した場合である。図７に示すように、この場合、説明指数が０．９を超えることが分かる。これは、各特徴ベクトルの絶対値に関する情報に、ピッチ方向の特徴ベクトルとロール方向の特徴ベクトルの相対的な位置関係を示す情報が加えられるためである。

【0038】

図７の４要素は、「特徴ベクトル全体の平均値」及び「ピッチ方向の特徴ベクトルの平均値とロール方向の特徴ベクトルの平均値との差」に加えて、「ピッチ方向の特徴ベクトルの平均値」と「ロール方向の特徴ベクトルの平均値」とを考慮した場合である。図７に示すように、この場合、説明がほぼ１になり、１２要素全てを考慮したときと同程度の説明指数になることが分かる。これは、ピッチ方向の特徴ベクトルのみの絶対値とピッチ方向の特徴ベクトルのみの絶対値とが考慮されるようになるためである。

【0039】

尚、図示は省略するが、前述の１２要素のうち、「ピッチ方向の特徴ベクトルの傾き」や「ロール方向の特徴ベクトルの標準偏差」のみを１要素として考慮した場合には、説明指数は０になると考えられる。傾きや標準偏差は、特徴ベクトル毎の相対的な位置関係を示すのみであり、特徴ベクトルの絶対値が考慮されないためである。また、２要素を考慮する場合に、「特徴ベクトル全体の平均値」に加えて、「ピッチ方向の特徴ベクトルの傾き」や「ロール方向の特徴ベクトルの標準偏差」を考慮したとしても、「特徴ベクトル全体の平均値」及び「ピッチ方向の特徴ベクトルの平均とロール方向の特徴ベクトルの平均値との差」を２要素として採用したときよりも説明指数は低いと考えられる。これは、「ピッチ方向の特徴ベクトルの平均とロール方向の特徴ベクトルの平均値との差」は、「特徴ベクトル全体の平均値」と組み合わせることで、ピッチ方向の特徴ベクトル全体とロール方向の特徴ベクトル全体の相対的な位置関係を説明することができる一方で、傾きや標準偏差は、「特徴ベクトル全体の平均値」と組み合わせたとしても、ピッチ方向の特徴ベクトル全体とロール方向の特徴ベクトル全体の相対的な位置関係を表すことができないためである。

【0040】

これらの解析結果から、周期性特徴量から算出される特徴ベクトルに対して、少なくとも特徴ベクトル全体の平均値、ピッチ方向の特徴ベクトルの平均値、及びロール方向の特徴ベクトルの平均値を考慮して、ドライバの異常予兆を検知するようにした。具体的には、「特徴ベクトル全体の平均値」及び「ピッチ方向の特徴ベクトルの平均値とロール方向の特徴ベクトルの平均値との差」の２要素、好ましくは、更に「ピッチ方向の特徴ベクトルの平均値」及び「ロール方向の特徴ベクトルの平均値」を加えた４要素により、自己相関指標の時系列変動パターンをほぼ説明できることが分かった。そこで、本願発明者らは、「特徴ベクトル全体の平均値」、「ピッチ方向の特徴ベクトルの平均値とロール方向の特徴ベクトルの平均値との差」、「ピッチ方向の特徴ベクトルの平均値」、及び「ロール方向の特徴ベクトルの平均値」の４要素に基づいて、ドライバの異常予兆を検知するようにした。

【0041】

図８は本実施形態に係るドライバ状態推定装置を含む車載システムの構成例を示すブロック図である。図８の車載システムにおいて、カメラ１０、スピーカ１１、情報提示部１２、スイッチ１３、及びマイク１４は、車室内に搭載されている。情報処理装置２０は、例えば、プロセッサ及びメモリを備えた単一のＩＣチップ、あるいは、プロセッサ及びメモリを備えた、複数のＩＣチップ等によって構成される。車両停止制御部４０は、情報処理装置２０からの指示を受けて、車両を自動的に路肩退避させて停止させる制御を行う。

【0042】

カメラ１０は、例えばフロントガラスの内側に設置されており、ドライバを含む車内の状況を撮影する。カメラ１０によって撮影された画像は、例えば車載ネットワークを介して、情報処理装置２０に送信される。カメラ１０は、ドライバの微少な頭部の変動を計測可能な高性能のカメラである。尚、カメラ１０に換えて、ドライバが装着する形式のセンサにより頭部挙動を計測するようにしてもよい。

【0043】

情報処理装置２０において、頭部挙動検出部２１は、カメラ１０によって撮影された画像から、ドライバの頭部の挙動を検出する。例えば、画像からドライバの頭部を認識し、頭部の傾斜角、例えばピッチ角とロール角を求める。頭部挙動検出部２１における処理は、既存の画像処理技術によって実現することができる。頭部挙動検出部２１による処理によって、図４に示すような頭部挙動の時系列データを得ることができる。頭部挙動の時系列データは、ドライバの異常予兆を検知する検知部３０に送られる。

【0044】

検知部３０は、周期性特徴量演算部３１、特徴ベクトル演算部３２、異常判定部３３、及び異常判定データベース３４を備える。周期性特徴量演算部３１は、頭部挙動検出部２１によって得られた頭部挙動の時系列データから、周期性特徴量を演算する。具体的には例えば、ＤＦＡ（Detrended Fluctuation Analysis）により、自己相関指標（スケーリング指数α）を周期性特徴量として求める。周期性特徴量演算部３１によって、図５の中図に示すような周期性特徴量の時系列データを得ることができる。

【0045】

特徴ベクトル演算部３２は、周期性特徴量演算部３１によって得られた周期性特徴量の時系列データを、時間順に切り出し、切り出した時系列データから特徴ベクトルを演算する。

【0046】

異常判定部３３は、特徴ベクトル演算部３２によって得られたデータから、「特徴ベクトル全体の平均値」、「ピッチ方向の特徴ベクトルの平均値とロール方向の特徴ベクトルの平均値との差」、「ピッチ方向の特徴ベクトルの平均値」、及び「ロール方向の特徴ベクトルの平均値」の４要素を求める。異常判定部３３は、求めた前記４要素について、異常判定データベース３４に格納された所定値と比較し、ドライバに異常予兆が発生したか否かを判定する。

【0047】

検知部３０は、ドライバの異常予兆状態であるときを含む時系列変動パターンを蓄積し、該蓄積した前記時系列変動パターンに基づいて、異常判定データベース３４に格納された特定パターンに関するデータを修正する。

【0048】

検知部３０は、異常判定部３３が、異常予兆が発生したと判定したときは、ドライバへの問いかけ要求を問いかけ部２２に出力する。

【0049】

問いかけ部２２は、検知部３０からドライバへの問いかけ要求を受けたとき、ドライバに対して問いかけを行う。この問いかけは、車両を自動運転により緊急待避させてよいかどうか、ドライバの意思を確認するためのものである。問いかけは、例えば、スピーカ１１を介して音声により行ったり、モニタ等の情報提示部１２を介した表示により行ったりする。

【0050】

応答検出部２３は、問いかけ部２２による問いかけに対するドライバの応答を検出する。ドライバの応答は、例えば、スイッチ１３の操作や、マイク１４を介した発声によって行われる。ドライバの意思が確認できたとき、あるいは、ドライバの応答がないとき、情報処理装置２０は、車両停止制御部４０に、車両を自動的に路肩退避させて停止させるよう指示する。

【0051】

本実施形態に係るドライバ状態推定装置は、情報処理装置２０内の、頭部挙動検出部２１及び検知部３０を、少なくとも含む構成である。また、本開示に係るドライバ状態推定装置は、カメラ１０を含む場合もある。

【0052】

図９及び１０は、ドライバ異常推定装置により異常予兆を検知するための処理動作を示すフローチャートである。

【0053】

まず、ステップＳ１において、頭部挙動検出部２１は、カメラ１０によって撮影された画像から、ドライバの頭部を画像認識し、認識した頭部について、傾斜角、ここではピッチ角及びロール角を演算する。この演算は、例えば、１００ｍｓ毎に行われる。

【0054】

次に、ステップＳ２において、検知部３０は、頭部の傾斜角データが規定数以上蓄積されたか否かを判定する。検知部３０は、頭部の傾斜角データが規定数以上蓄積されたＹＥＳのときには、ステップＳ３に進む。一方で、検知部３０は、頭部の傾斜角データが規定数以上蓄積されていないＮＯのときには、ステップＳ１に戻る。

【0055】

前記ステップＳ３では、検知部３０は、頭部の傾斜角の時系列データに対して、周期性特徴量を演算する。検知部３０は、例えば、ＤＦＡにより、自己相関指標（スケーリング指数α）が、周期性特徴量として求められる。周期性特徴量の演算は、対象となる傾斜角データの時間範囲をずらしながら、例えば１００ｍｓ毎に、例えば２５６個の傾斜角データを用いて、行われる。

【0056】

次に、ステップＳ４において、検知部３０は、周期性特徴量のデータが規定数以上蓄積されたか否かを判定する。検知部３０は、データが規定数以上蓄積されたＹＥＳのときにはステップＳ５に進む。一方で、検知部３０は、データが規定数以上蓄積されていないＮＯのときにはステップＳ１に戻る。

【0057】

前記ステップＳ５では、検知部３０は、周期性特徴量に対して、特徴ベクトルを演算する。特徴ベクトルの演算は、対象となる周期性特徴量のデータの時間範囲をずらしながら、例えば１００ｍｓ毎に、例えば２５６個の周期性特徴量のデータに対して行われる。

【0058】

次に、ステップＳ６において、検知部３０は、異常判定データベース３４に保持されている各種所定値を取得する。

【0059】

そして、ステップＳ７において、検知部３０は、前記ステップＳ５で求めた各要素の値と、ステップＳ６で取得した各所定値とをそれぞれ比較する。

【0060】

検知部３０の判定は、図１０に示す。検知部３０は、ステップＳ７１において、特徴ベクトル全体の平均値が第１所定値以下であるか否かを判定する。検知部３０は、特徴ベクトル全体の平均値が第１所定値以下であるＹＥＳのときには、ステップＳ７２に進む。一方で、検知部３０は、特徴ベクトル全体の平均値が第１所定値よりも大きいＮＯのときには、ステップＳ１に戻る。

【0061】

前記ステップＳ７２では、検知部３０は、ピッチ方向の特徴ベクトルの平均値が第２所定値以下であるか否かを判定する。検知部３０は、ピッチ方向の特徴ベクトルの平均値が第２所定値以下であるＹＥＳのときには、ステップＳ７３に進む。一方で、検知部３０は、ピッチ方向の特徴ベクトルの平均値が第２所定値よりも大きいＮＯのときには、ステップＳ１に戻る。

【0062】

前記ステップＳ７３では、検知部３０は、ロール方向の特徴ベクトルの平均値が第３所定値以下であるか否かを判定する。検知部３０は、ロール方向の特徴ベクトルの平均値が第３所定値以下であるＹＥＳのときには、ステップＳ７４に進む。一方で、検知部３０は、ロール方向の特徴ベクトルの平均値が第３所定値よりも大きいＮＯのときには、ステップＳ１に戻る。

【0063】

前記ステップＳ７４では、検知部３０は、ピッチ方向の特徴ベクトルの平均値とロール方向の特徴ベクトルの平均値との差が所定範囲内であるか否かを判定する。検知部３０は、前記差が所定範囲内であるＹＥＳのときには、リターンしてステップＳ８に進む。一方で、検知部３０は、前記差が所定範囲外であるＮＯのときには、ステップＳ１に戻る。

【0064】

前記ステップＳ８では、検知部３０は、ドライバへの問いかけ要求を問いかけ部２２に出力する。ステップＳ８の後は処理を終了する。

【0065】

第１所定値、第２所定値、及び第３所定値は、ドライバの頭部挙動が規則的であると判定できる程度の大きさにそれぞれ設定されている。特徴ベクトルに関する各平均値が各所定値よりも小さいことは、自己相関指標が小さいことを表すため、頭部挙動が規則的であることを意味する。所定範囲は、従来の研究結果に基づいて、正常状態における、ピッチ方向の特徴ベクトルの平均値とロール方向の特徴ベクトルの平均値との差よりは大きく、疾患状態における、ピッチ方向の特徴ベクトルの平均値とロール方向の特徴ベクトルの平均値との差よりは小さく設定されている。例えば、従来の研究結果（非特許文献２参照）では、健常者の頭部揺動における周期性は、ロール方向に対してピッチ方向が約６％小さくなり、小脳失調者の頭部揺動における周期性は、ロール方向に対してピッチ方向が約１１％大きくなるといわれている。

【0066】

尚、前述のフローチャートにおいて、ステップＳ７１～ステップＳ７４は、順番を適宜入れ替えてもよい。また、ステップＳ７１～ステップＳ７４を同時進行で処理してもよい。

【0067】

図１１は、ＵＭＡＰによる解析と本実施形態の手法による解析との消費メモリをそれぞれ示す。図１１に示すように、ＵＭＡＰを利用する場合には、１００Ｍ程度必要であったメモリが１０の７乗オーダーで削減されて、１０程度になることが分かる。したがって、本実施形態により、消費メモリがかなり削減されて、移動体に搭載される演算装置であっても演算可能になることが分かった。

【0068】

したがって、本実施形態では、センサを用いて前記ドライバの頭部のピッチ方向の挙動及びロール方向の挙動を検出する頭部挙動検出部２１と、頭部挙動検出部２１によって検出された各頭部挙動から、ドライバの異常予兆を検知する検知部３０と、検知部３０は、ドライバのピッチ方向の挙動及びロール方向の挙動を示す時系列データに対して、周期性特徴量をそれぞれ演算し、演算した各周期性特徴量に対して特徴ベクトルをそれぞれ演算し、演算したピッチ方向の特徴ベクトル及び演算したロール方向の特徴ベクトルに対して、特徴ベクトル全体の平均値、ピッチ方向の特徴ベクトルの平均値、並びに、ロール方向の特徴ベクトルの平均値、を少なくとも考慮してドライバの異常予兆の有無を検知する。

【0069】

特に、本実施形態では、検知部３０は、特徴ベクトル全体の平均値が第１所定値以下で、かつ、ピッチ方向の特徴ベクトルの平均値とロール方向の特徴ベクトルの平均値との差が所定範囲であり、ピッチ方向の特徴ベクトルの平均値が第２所定値以下で、かつ、ロール方向の特徴ベクトルの平均値が第３所定値以下である、ときにドライバが異常予兆状態であると推定するように構成されている。

【0070】

これにより、周期性特徴量の時系列変動パターンによりドライバの異常予兆を検知する際に利用する要素が限定されるため、演算量を小さくすることができる。この結果、ドライバの異常予兆を出来る限り早期に検知することができるようになる。

【0071】

（その他の実施形態）
ここに開示された技術は、前述の実施形態に限られるものではなく、請求の範囲の主旨を逸脱しない範囲で代用が可能である。

【0072】

例えば、前述の実施形態では、頭部挙動の時系列データに対して、ＤＦＡにより、自己相関指標（スケーリング指数α）を周期性特徴量として求めるものとしたが、ＤＦＡ以外の手法により周期性特徴量を求めてもよい。

【0073】

また、前述の実施形態では、「特徴ベクトル全体の平均値」、「ピッチ方向の特徴ベクトルの平均値とロール方向の特徴ベクトルの平均値との差」、「ピッチ方向の特徴ベクトルの平均値」、及び「ロール方向の特徴ベクトルの平均値」の４要素を考慮してドライバの異常予兆を検知した。これに限らず、少なくとも「特徴ベクトル全体の平均値」、及び「ピッチ方向の特徴ベクトルの平均値とロール方向の特徴ベクトルの平均値との差」の２要素を考慮すればよい。また、「特徴ベクトル全体の平均値」、「ピッチ方向の特徴ベクトルの平均値」、及び「ロール方向の特徴ベクトルの平均値」の３要素によりドライバの異常予兆を検知する構成でもよい。

【0074】

また、前述の実施形態では、移動体として自動車を例示したが、自動車以外の、例えば電車等の移動体において、前述のドライバ状態推定装置１００を採用してもよい。

【0075】

前述の実施形態は単なる例示に過ぎず、本開示の範囲を限定的に解釈してはならない。本開示の範囲は請求の範囲によって定義され、請求の範囲の均等範囲に属する変形や変更は、全て本開示の範囲内のものである。

【産業上の利用可能性】

【0076】

ここに開示された技術は、移動体を運転するドライバの状態を推定するドライバ状態推定装置として有用である。

【符号の説明】

【0077】

１０ カメラ（センサ）
２１ 頭部挙動検出部
３０ 検知部
１００ ドライバ状態推定装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】