特開 2021-77141 車両制御装置及び運転者状態判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-77141(P2021-77141A)

(43)【公開日】2021年5月20日

(54)【発明の名称】車両制御装置及び運転者状態判定方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20210423BHJP

   B60W 40/08 20120101ALI20210423BHJP

【ＦＩ】

   G08G1/16 F

   B60W40/08

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

【全頁数】23

(21)【出願番号】特願2019-203792(P2019-203792)

(22)【出願日】2019年11月11日

(71)【出願人】

【識別番号】000003137

【氏名又は名称】マツダ株式会社

(74)【代理人】

【識別番号】110001427

【氏名又は名称】特許業務法人前田特許事務所

(72)【発明者】

【氏名】岩瀬 耕二

【テーマコード（参考）】

3D241

5H181

【Ｆターム（参考）】

3D241AA71

3D241BA31

3D241BA60

3D241BA64

3D241BA65

3D241BA70

3D241DB01Z

3D241DC12Z

3D241DC31Z

3D241DD01Z

3D241DD07Z

5H181AA01

5H181AA21

5H181CC02

5H181CC03

5H181CC04

5H181CC07

5H181CC11

5H181CC12

5H181CC14

5H181FF04

5H181FF27

5H181LL01

5H181LL02

5H181LL04

5H181LL06

5H181LL09

5H181LL20

(57)【要約】      （修正有）

【課題】運転者の異常対応をより適切に行う車両制御装置及び運転者状態判定方法を提供する。
【解決手段】車両制御装置は、運転者の注視点を検出する注視点検出部３０２と、車両前側を撮影する前カメラ２１ａから画像データを受信し、注視点検出部３０２で検出された運転者の注視点が、上記の画像データに基づくサリエンシーの高い領域を見る傾向が所定の第１基準よりも高いときに、運転者の異常に対応する動作を行う制御部とを備える。制御部は、上記の画像データに基づいて推定される危険度が所定の第２基準よりも高くかつ運転者の注視点のサリエンシーが第１基準よりも低い第３基準以下の場合において、注視点に基づくサッケードの振幅が所定の第４基準より小さいときにも運転者の異常に対応する動作を行う。
【選択図】図４

【特許請求の範囲】

【請求項1】

車両に設けられる車両制御装置であって、
前記車両の運転者の注視点を検出する注視点検出部と、
前記車両前側の環境情報を取得する車外情報取得手段から車外環境情報を受信し、前記注視点検出部で検出された運転者の注視点が、前記車外環境情報に基づくサリエンシーの高い領域を見る傾向が所定の第１基準よりも高いときに、運転者の異常に対応する動作を行う車両制御部とを備え、
前記車両制御部は、前記車外環境情報に基づいて推定される危険度が所定の第２基準よりも高くかつ前記注視点のサリエンシーが前記第１基準よりも低い第３基準以下の場合において、前記注視点に基づくサッケードの振幅が所定の第４基準より小さいときにも前記運転者の異常に対応する動作を行う
ことを特徴とする車両制御装置。

【請求項2】

請求項１に記載の車両制御装置において、
前記車外環境情報に基づいて推定される危険度が前記第２基準よりも高い場合、前記危険度の増加に応じて前記第１基準を低下させる
ことを特徴とする車両制御装置。

【請求項3】

請求項１に記載の車両制御装置において、
自動運転の経路生成のために車外環境を認識する外部環境認識部を備え、
前記車両制御部は、前記外部環境認識部の認識結果を基に、前記危険度を推定する
ことを特徴とする車両制御装置。

【請求項4】

車両の運転者の状態を判定する運転者状態判定方法であって、
前記車両の運転者の注視点、及び、該注視点の動きに基づくサッケード振幅を検出する検出ステップと、
前記車両前側の環境情報を取得する車外情報取得手段から受信した車外環境情報を基にしてサリエンシーの高い領域を抽出する抽出ステップと、
前記車外情報取得手段から受信した車外環境情報を基にして走行シーンの危険度を推定する推定ステップと、
前記検出ステップで検出された運転者の注視点が、前記抽出ステップで抽出されたサリエンシーの高い領域を見る傾向が所定の第１基準よりも高いときに、運転者に異常がある判定する判定ステップとを備え、
前記判定ステップは、前記推定ステップで推定された危険度が所定の第２基準よりも高くかつ前記運転者の注視点がサリエンシーの高い領域を見る傾向が前記第１基準よりも低い所定の第３基準より小さい場合において、前記注視点に基づくサッケードの振幅が所定の第４基準より小さいときにも運転者の異常と判定する
ことを特徴とする運転者状態判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

ここに開示する技術は、例えば車両制御装置及び自動車を運転する運転者の状態を判定する運転者状態判定方法に関する。

【背景技術】

【0002】

昨今、国家的に自動運転システムの開発が推進されている。本願出願人は、現時点において、自動運転システムには、大きく分けると２つの方向性があると考えている。

【0003】

第１の方向性は、自動車が主体となって運転者の操作を要することなく乗員を目的地まで運ぶシステムであり、いわゆる自動車の完全自動走行である。第２の方向性は、「自動車の運転が楽しめる環境を提供する」というように、あくまで人間が運転をすることを前提とした自動運転システムである。

【0004】

第２の方向性の自動運転システムでは、例えば、運転者に疾患等が発生し正常な運転が困難な状況が発生した場合等に、自動的に、自動車が乗員に変わって自動運転を行うことが想定される。このため、運転者に異常が発生したこと、特に、運転者に機能障害や疾患が発生したことをいかに早期にかつ精度良く発見できるかが、運転者の救命率の向上や周囲を含めた安全を確保する観点から極めて重要となる。

【0005】

運転者の異常を判定する方法として、例えば、特許文献１には、車両の前方画像をマッピングし、マッピングされた前方画像の画素値に基づいて目立ち度マップ（サリエンシーマップ）を生成するとともに、ドライバの視線先の目立ち度を計算し、ドライバが目立つ部分に視線を向けた度合いと予め定めた閾値とを比較して、ドライバが漫然状態か否かを判定する技術が開示されている。

【0006】

特許文献１の技術は、ドライバが漫然状態にある場合には、意図的な注意機能が働かなくなるため、例えば、死角領域からの歩行者の飛び出しが起こり得るような危険な場所に視線が行かなくなり、視覚的な刺激の目立つ部分に視線が向けられるという視線配分特性に基づいた判定となっている。また、特許文献１には、危険度計算手段により計算された危険度を差し引いて、漫然状態を判定することが示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特許第５９６６６４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

発明者らは、機能障害者と健常者とによりドライビングシミュレータで視線検出を行った結果、機能障害者でもサリエンシーが高い領域に誘目されない場合や健常者でもサリエンシーが高い領域に誘目される場合が多数生じることが分かった。

【0009】

例えば、サリエンシーが高い領域が、同時に運転中に見るべき注意箇所である場合に、健常者であってもサリエンシーが高い領域に視線が向かい、結果として、疾患発生と誤判定される場合がある。

【0010】

ここに開示された技術は、斯かる点に鑑みてなされたものであり、サリエンシーに対する誘目傾向から運転者の状態判定をする運転者状態判定装置において、車両の走行環境にかかわらずに運転者の異常対応をより適切に行うことができるようにすることにある。

【課題を解決するための手段】

【0011】

前記課題を解決するために、ここに開示された技術では、車両に搭載される車両制御装置を対象として、前記車両の運転者の注視点を検出する注視点検出部と、前記車両前側の環境情報を取得する車外情報取得手段から車外環境情報を受信し、前記注視点検出部で検出された運転者の注視点が、前記車外環境情報に基づくサリエンシーの高い領域を見る傾向が所定の第１基準よりも高いときに、運転者の異常に対応する動作を行う車両制御部とを備え、前記車両制御部は、前記車外環境情報に基づいて推定される危険度が所定の第２基準よりも高くかつ前記注視点のサリエンシーが前記第１基準よりも低い第３基準以下の場合において、前記注視点に基づくサッケードの振幅が所定の第４基準より小さいときにも前記運転者の異常に対応する動作を行う、構成とした。

【0012】

ここで、サリエンシーとは、色、輝度、動き等により刻々と変化する顕著性からなる視覚特徴量である。高サリエンシー領域とは、運転者の視界領域のうちでサリエンシーが高い（顕著性が高い）領域を指すものとし、換言すると、周囲に対して目立つ領域を指すものとする。より具体的には、高サリエンシー領域は、例えば、周囲の領域に対して色差や輝度差が大きかったり、周囲に対して大きな動きをしていたりする領域を指すものとする。

【0013】

また、サッケードとは、運転者が意図的に視線を移動させる跳躍性眼球運動のことであり、視線が所定時間停滞する注視点から次の注視点へ視線を移動させる眼球運動のことである。サッケードの振幅とは、運転者の視線が所定時間停滞する注視点から次の注視点への移動した場合における移動量のことを指す。

【0014】

上記の態様によると、サリエンシーの高い領域を見る傾向に加えて、サッケードの振幅に基づいた基準を設けることで、例えば、危険度が高まったことにより、運転者が異常状態であるにもかかわらず、運転者の異常対応ができていないという状態をできるだけ避けることができる。

【0015】

上記態様の車両制御装置において、前記車外環境情報に基づいて推定される危険度が前記第２基準よりも高い場合、前記危険度の増加に応じて前記第１基準を低下させる、としてもよい。

【0016】

このように、危険度の増加に応じて第１基準を低下させることにより、危険度が高まったことにより、運転者が異常状態であるにもかかわらず、サリエンシーが相対的に低い危険個所を見ているような場合に、未判定状態となることを低減することができる。

【0017】

上記態様の車両制御装置において、自動運転の経路生成のために車外環境を認識する外部環境認識部を備え、前記車両制御部は、前記外部環境認識部の認識結果を基に、前記危険度を推定する、としてもよい。

【0018】

このように、外部環境認識部で認識された危険度を用いることにより、新たに危険度を推定するための構成を追加する必要がない。

【0019】

前記課題を解決するために、ここに開示された技術では、車両の運転者の状態を判定する運転者状態判定方法を対象として、前記車両の運転者の注視点、及び、該注視点の動きに基づくサッケード振幅を検出する検出ステップと、前記車両前側の環境情報を取得する車外情報取得手段から受信した車外環境情報を基にしてサリエンシーの高い領域を抽出する抽出ステップと、前記車外情報取得手段から受信した車外環境情報を基にして走行シーンの危険度を推定する推定ステップと、前記検出ステップで検出された運転者の注視点が、前記抽出ステップで抽出されたサリエンシーの高い領域を見る傾向が所定の第１基準よりも高いときに、運転者に異常がある判定する判定ステップとを備え、前記判定ステップは、前記推定ステップで推定された危険度が所定の第２基準よりも高くかつ前記運転者の注視点がサリエンシーの高い領域を見る傾向が前記第１基準よりも低い所定の第３基準より小さい場合において、前記注視点に基づくサッケードの振幅が所定の第４基準より小さいときにも運転者の異常と判定する。

【0020】

このように、サリエンシーの高い領域を見る傾向に基づいた運転者の異常判定に、サッケードの振幅に基づいた基準に基づく異常判定を加えることにより、例えば、危険度が高まったことにより、運転者が異常状態であるにもかかわらず、サリエンシーが相対的に低い危険個所を見ているような場合においても、未判定状態となることを低減することができる。

【発明の効果】

【0021】

以上説明したように、ここに開示された技術によると、運転者の異常対応をより適切に行うことができる。

【図面の簡単な説明】

【0022】

【図1】例示的な実施形態に係る運転者状態推定装置を搭載した車両の車室内を前側部分を示す概略図である。

【図2】車両を前側から見た正面図である。

【図3】例示的な実施形態に係る車両制御システムの構成を例示するブロック図である。

【図4】運転者状態検出部の構成を例示するブロック図である。

【図5】前カメラにより撮影された車両前側の外部環境画像の一例を示す図である。

【図6】図５の外部環境画像を基にした合成画像の一例を示す図である。

【図7】図６の合成画像のサリエンシーマップの一例を示す図である。

【図8】図５の例において健常者及び注意機能障害患者による視線移動の一例を示す図である。

【図9】前カメラにより撮影された車両前側の外部環境画像を基にした合成画像の他の例を示す図である。

【図10】図９の例において健常者及び注意機能障害患者による視線移動の一例を示す図である。

【図11】前カメラにより撮影された車両前側の外部環境画像を基にした合成画像の他の例を示す図である。

【図12】図１１の例において健常者及び注意機能障害患者による視線移動の一例を示す図である。

【図13】サッケードの抽出について説明するためのグラフである。

【図14】サッケードのノイズ除去処理について説明するためのグラフである。

【図15】運転者の注視点のサリエンシーの時間変化の一例を示した図である。

【図16】図１５と同じ環境でランダムに座標を指定した場合におけるサリエンシーの時間変化の一例を示した図である。

【図17】ランダム点における閾値を超える割合と運転者の注視点における閾値を超える割合とを比較したグラフである。

【図18】サリエンシー指標について説明するための図である。

【図19】車両制御装置の動作を例示するフローチャートである。

【図20】健常者のサリエンシー指標の時間分布の一例を示した図である。

【図21】注意機能患者のサリエンシー指標の時間分布の一例を示した図である。

【発明を実施するための形態】

【0023】

＜本願発明者らにより得られた知見＞
特許文献１にも示されているように、運転者のサリエンシーに対する視線移動の変化を見て、運転者の異常（注意機能低下を引き起こす異常）を検出する技術が知られている。この技術では、例えば、サリエンシーが高い領域（高サリエンシー領域）への視線移動が所定の閾値を超える場合に運転者の異常を検出する。

【0024】

本願発明者らは、鋭意研究の結果、注意機能障害者の車両運転時の挙動を観測することにより、車両の運転者の異常時（例えば、注意機能低下を引き起こす異常時）の挙動を擬似的に観測することができることを見出した。そして、本願発明者らは、上記の観測結果を基に、高サリエンシー領域への視線移動が所定の閾値を超える場合に運転者の異常を検出するという手法について検証を行った。具体的には、注意機能障害者の車両運転時の挙動と、注意機能障害を有さない健常者の車両運転時の挙動とについて、後述するサリエンシー指標を用いて高サリエンシー領域への視線移動の傾向を検出し、サリエンシー指標が所定の閾値を超える場合に運転者の異常を検出するという手法についての検証を行った。

【0025】

この検証の結果、本願発明者らは、注意機能障害者でもサリエンシーが高い領域に誘目されない場合や健常者でもサリエンシーが高い領域に誘目される場合が多数生じることが分かった。例えば、サリエンシーが高い領域が、同時に運転中に見るべき注意箇所である場合に、健常者であってもサリエンシーが高い領域に視線が向かい、結果として、疾患発生と誤判定される場合があることが分かった。また、運転者に異常がある場合においても、危険度合いが増加すると、サリエンシーの高低にかかわらず危険個所を見る傾向があり、注視点のサリエンシーが低下して異常状態を判定できない場合があることがわかった。

【0026】

図２０，２１は、ドライビングシミュレータを用いて運転者の視線を検出し、サリエンシー指標の時間変化としてプロットしたものである。図２０は健常者の測定結果であり、図２１は注意機能障害患者の測定結果である。ただし、走行スピードが互いに異なるので、時間軸と走行場所が必ずしも一致しているわけではない。

【0027】

詳細は後述するが、サリエンシー指標とは、高サリエンシー領域への誘目度が高いほど数値が高くなる指標となっている。図２０，２１の例では、高サリエンシー領域への誘目度が相対的に高いと判断される０．６に閾値を設定し、サリエンシー指標が０．６を超える場合に注意機能の障害があると推定するものとした。

【0028】

そうすると、健常者でもサリエンシー指標が０．６を超える場面が散見されることが分かった（図２１のＡＲ１参照）。例えば、消防車のようにサリエンシーの高い車両を追い抜く際などには、健常者であってもサリエンシーの高い場所に誘目される傾向がある。また、機能障害患者であっても、交差点や駐車車両の追い越し時等の危険度が高い場所・シーンにおいて、サリエンシー指標が低い場所でも確認する傾向があり、サリエンシー指標が低い領域が確認されている（図２２のＡＲ２参照）。

【0029】

そこで、本願発明者らは、さらに鋭意検討を重ね、危険度合いを示すリスクポテンシャルを用いることで、より精度よく運転者の異常を検出することができることを見出した。リスクポテンシャルとは、自車両の走行環境における危険度（自車両の運転者が感じる危険感）を適切に反映するように人工的に設定された場であり、例えば、周辺車両に対して各周辺車両の中心位置が最大となり、各周辺車両の周囲に拡がって行くような形状を有する適当な関数が設定される。また、また、リスクポテンシャルとして、死角領域や交差点等に想定され得る危険度合いを推定するような指標としてもよい。また、危険度合（リスクポテンシャル）の判定方法として、周辺車両との車間距離やＴＴＣ(Time To Collision）、道路線形や線形変化点までの距離等を用いてもよい。

【0030】

より具体的には、運転者の異常判定において、危険度が増加傾向にある場合にはサリエンシー指標の判定閾値を相対的に下げる一方で、危険度が減少傾向にある場合にはサリエンシー指標の判定閾値を相対的に上げるようにする。すなわち、危険度の増減の傾向に応じて、サリエンシー指標の閾値を危険度の傾向とは反対の方向に変化させる。これにより、運転者の異常の未判定を低減させることができることを見出した。運転者の異常の未判定には、例えば、運転者の異常がある場合でもサリエンシーが低い危険場所を見る傾向がある場合における異常の未判定を含む。さらに、本願発明者らは、危険度が所定の基準値（第２基準に相当）よりも高い場合でかつ注視点のサリエンシー指標が所定の基準値（第３基準に相当）以下になった場合に、サッケード振幅を用いて運転者の異常を判定することにより、運転者の異常を判定しやすくなることを見出した。本願発明者らは、上記実験等を踏まえた鋭意検討の結果、運転者の異常時、特に、注意機能障害者は、危険度が所定の基準を超えると、運転者の視点が局所にとらわれる傾向があることを見出しており、サッケード振幅を用いた運転者の異常判定は、運転者の視点が局所にとらわれる傾向がある状態を検出することを目的としている。

【0031】

以下において、例示的な実施形態について、図面を参照しながら具体的に説明する。なお、以下の説明において、車両の前進走行側を単に前側といい、後退走行側を単に後側という。また、後側から前側を見たときの左側を左側といい、その逆を右側という。

【0032】

図１は、車両としての自動車の車室内を概略的に示す。この車両は、右ハンドル式の車両であって、右側にステアリングホイール５８が配置されている。

【0033】

車室内において、運転席から見て車両前側にはフロントウィンドウガラス５１が配置されている。フロントウィンドウガラス５１は、車室内側から見て、複数の車両構成部材により区画されている。具体的には、フロントウィンドウガラス５１は、左右のフロントピラートリム５２と、ルーフトリム５３と、インストルメントパネル５４とによって区画されている。

【0034】

左右のフロントピラートリム５２は、フロントウィンドウガラス５１の車幅方向外側の境界をそれぞれ構成している。各フロントピラートリム５２は、各フロントピラーに沿って配置されている。ルーフトリム５３は、フロントウィンドウガラス５１の上側の境界を構成している。ルーフトリム５３は、車両のルーフパネルの車室内側を覆っている。フロントウィンドウガラス５１の車幅方向の中央でかつルーフトリム５３のやや下側の部分には、バックミラー５５が取り付けられている。ルーフトリム５３におけるバックミラー５５の近傍部分には、車室内、特に、運転者の顔面を撮影する車内カメラ２８（図３参照）が設けられている。車内カメラ２８については後で詳しく説明する。インストルメントパネル５４は、フロントウィンドウガラス５１の下側の境界を構成している。インストルメントパネル５４には、メーターボックスやディスプレイ５７が設けられている。

【0035】

また、車両は、左右のフロントピラーよりも車幅方向外側に、サイドミラー５６をそれぞれ有している。各サイドミラー５６は、運転席に着座した運転手がサイドドアのウィンドウ越しに見ることが出来るように配置されている。

【0036】

図２に示すように、車両には、車両前側の外部環境を撮影するためのカメラ（以下、前カメラ２１ａという）が設けられている。前カメラ２１ａは、車両の前側端部であって、車両のボンネット５９よりもやや下側に配置されている。前カメラ２１ａは、車両前側の環境情報を取得する車外情報取得手段の一例である。

【0037】

＜車両制御システム＞
図３は、実施形態による車両制御システム１０の構成を例示する。車両制御システム１０は、車両（具体的には自動四輪車）に設けられる。車両は、マニュアル運転と、アシスト運転と、自動運転とに切り換え可能である。マニュアル運転は、運転者の操作（例えばアクセルの操作など）に応じて走行する運転である。アシスト運転は、運転者の操作を支援して走行する運転である。自動運転は、運転者の操作なしに走行する運転である。車両制御システム１０は、アシスト運転および自動運転において、車両を制御する。具体的には、車両制御システム１０は、車両に設けられたアクチュエータ１１を制御することで車両の動作（特に走行）を制御する。

【0038】

車両制御システム１０は、情報取得部２０と、制御部３０と、通知部４０とを備える。なお、以下の説明では、車両制御システム１０が設けられている車両を「自車両」と記載し、自車両の周囲に存在する他の車両を「他車両」と記載する。

【0039】

−アクチュエータ−
アクチュエータ１１は、駆動系のアクチュエータ、操舵系のアクチュエータ、制動系のアクチュエータなどを含む。駆動系のアクチュエータの例としては、エンジン、モータ、トランスミッションが挙げられる。操舵系のアクチュエータの例としては、ステアリングが挙げられる。制動系のアクチュエータの例としては、ブレーキが挙げられる。

【0040】

−情報取得部−
情報取得部２０は、車両の制御（特に走行制御）に用いられる各種情報を取得する。この例では、情報取得部２０は、複数のカメラ２１と、複数のレーダ２２と、位置センサ２３と、外部入力部２４と、車両状態センサ２５と、運転操作センサ２６と、運転者状態センサ２７とを含む。

【0041】

〔カメラ〕
複数のカメラ２１は、互いに同様の構成を有する。複数のカメラ２１は、車両の周囲を囲うように車両に設けられる。複数のカメラ２１の各々は、車両の周囲に広がる環境（車両の外部環境）の一部を撮像することで、車両の外部環境の一部を示す画像データを取得する。複数のカメラ２１の各々により得られた画像データは、制御部３０に送信される。複数のカメラ２１は、前述の前カメラ２１ａを含む。

【0042】

この例では、カメラ２１は、広角レンズを有する単眼カメラである。例えば、カメラ２１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary metal-oxide-semiconductor）などの固体撮像素子を用いて構成される。なお、カメラ２１は、狭角レンズを有する単眼カメラであってもよいし、広角レンズまたは狭角レンズを有するステレオカメラであってもよい。

【0043】

〔レーダ〕
複数のレーダ２２は、互いに同様の構成を有する。複数のレーダ２２は、車両の周囲を囲うように車両に設けられる。複数のレーダ２２の各々は、車両の外部環境の一部を検出する。具体的には、レーダ２２は、車両の外部環境の一部へ向けて電波を送信して車両の外部環境の一部からの反射波を受信することで、車両の外部環境の一部を検出する。複数のレーダ２２の検出結果は、制御部３０に送信される。

【0044】

例えば、レーダ２２は、ミリ波を送信するミリ波レーダであってもよいし、レーザ光を送信するライダ（Light Detection and Ranging）であってもよいし、赤外線を送信する赤外線レーダであってもよいし、超音波を送信する超音波センサであってもよい。

【0045】

〔位置センサ〕
位置センサ２３は、車両の位置（例えば緯度および経度）を検出する。例えば、位置センサ２３は、全地球測位システムからのＧＰＳ情報を受信し、ＧＰＳ情報に基づいて車両の位置を検出する。位置センサ２３により得られた情報（車両の位置）は、制御部３０に送信される。

【0046】

〔外部入力部〕
外部入力部２４は、車両の外部に設けられた車外ネットワーク（例えばインターネットなど）を通じて情報を入力する。例えば、外部入力部２４は、車両の周囲に位置する他車両（図示省略）からの通信情報、ナビゲーションシステム（図示省略）からのカーナビゲーションデータ、交通情報、高精度地図情報などを受信する。外部入力部２４により得られた情報は、制御部３０に送信される。

【0047】

〔車両状態センサ〕
車両状態センサ２５は、車両の状態（例えば速度や加速度やヨーレートなど）を検出する。例えば、車両状態センサ２５は、車両の速度を検出する車速センサ、車両の加速度を検出する加速度センサ、車両のヨーレートを検出するヨーレートセンサなどを含む。車両状態センサ２５により得られた情報（車両の状態）は、制御部３０に送信される。

【0048】

〔運転操作センサ〕
運転操作センサ２６は、車両に加えられる運転操作を検出する。例えば、運転操作センサ２６は、アクセル開度センサ、操舵角センサ、ブレーキ油圧センサなどを含む。アクセル開度センサは、車両のアクセルの操作量を検出する。操舵角センサは、車両のハンドルの操舵角を検出する。ブレーキ油圧センサは、車両のブレーキの操作量を検出する。運転操作センサ２６により得られた情報（車両の運転操作）は、制御部３０に送信される。

【0049】

〔運転者状態センサ〕
運転者状態センサ２７は、車両を運転する運転者の状態（例えば運転者の健康状態や感情や身体挙動など）を検出する。運転者状態センサ２７により得られた情報（運転者の状態）は、制御部３０に送信される。この例では、運転者状態センサ２７は、車内カメラ２８と、生体情報センサ２９とを含む。

【0050】

《車内カメラ》
車内カメラ２８は、車両の内部に設けられる。車内カメラ２８は、運転者の眼球を含む領域を撮像することで運転者の目を含む画像データを取得する。車内カメラ２８により得られた画像データは、制御部３０に送信される。例えば、車内カメラ２８は、運転者の前方に配置され、運転者の眼球が撮像範囲内となるように撮像範囲が設定される。なお、車内カメラ２８は、運転者に装着されるゴーグル（図示を省略）に設けられてもよい。

【0051】

《生体情報センサ》
生体情報センサ２９は、運転者の生体情報（例えば発汗など）を検出する。生体情報センサ２９により得られた情報（運転者の生体情報）は、制御部３０に送信される。

【0052】

−制御部−
制御部３０は、アシスト運転または自動運転において、情報取得部２０により取得された各種情報に基づいて、車両が走行すべき経路である目標経路を決定し、目標経路を走行するために必要となる車両の運動である目標運動を決定する。そして、制御部３０は、車両の運動が目標運動となるように、アクチュエータ１１の動作を制御する。例えば、制御部３０は、１つまたは複数の演算チップを有する電子制御ユニット（ＥＣＵ）により構成される。言い換えると、制御部３０は、１つまたは複数のプロセッサ、１つまたは複数のプロセッサを動作させるためのプログラムやデータを記憶する１つまたは複数のメモリなどを有する電子制御ユニット（ＥＣＵ）により構成される。

【0053】

この例では、図３に示すように、制御部３０は、画像処理部３１と、外部環境認識部３２と、候補経路生成部３３と、車両挙動認識部３４と、運転者挙動認識部３５と、目標経路決定部３６と、運動制御部３７とを有する。

【0054】

〔画像処理部〕
画像処理部３１は、複数のカメラ２１で撮像された画像を受信し、画像処理を行う。画像処理部３１で行われる画像処理には、外部環境認識部３２で物体等の外部環境を認識するために用いる画像のための第１画像処理と、サリエンシーマップの生成に用いるための第２画像処理とが含まれる。

【0055】

《第１画像処理》
画像処理部３１は、各カメラ２１の撮影した画像に対して、画像の歪み（この例ではカメラ２１の広角化による歪み）を補正する歪み補正処理や、画像のホワイトバランスを調整するホワイトバランス調整処理などを行う。また、画像処理部３１は、画像を構成する素子のうち後段の外部環境認識部３２での処理に不要な画素を削除したり、色彩に関するデータを間引いたり（車両を全て同じ色で表すなど）して、画像データを生成する。第１画像処理で生成された画像データは、外部環境認識部３２に送信される。

【0056】

《第２画像処理》
画像処理部３１は、例えば、前カメラ２１ａの撮影した画像に対して、画像を構成する素子のうち、後段のマップ生成部３０１の処理（例えば、サリエンシーマップの生成）に不要な画素を削除する処理を行う。また、画像処理部３１は、前カメラ２１ａで撮影された車両前側の外部環境を示す画像に対して、別の画像を合成して合成画像を生成する処理を行う。

【0057】

図５は、車両の走行シーンにおいて前カメラ２１ａが撮影した車両前側の外部環境を示す画像Ｄ１１の一例である。この画像Ｄ１１に示す外部環境には、車道１５０と、車道１５０上の白線１５１とが含まれる。また、この画像Ｄ１１に示された外部環境には、車道１５０の左側に形成された壁１６２と、壁１６２よりも左側の領域に形成された森林１６３と、車道１５０の右側の領域に広がる丘１６４と、丘１６４に形成された森林１６５が含まれる。また、この画像Ｄ１１に示された外部環境には、車道１５０及び森林１６３，１６５の上側に広がる空１６７が含まれる。なお、以下の説明において、画像Ｄ１１の空１６７は夕焼け空であり、赤みがかった空が広がっていると仮定する。換言すると、画像Ｄ１１は、図７に示すように、高サリエンシー領域の広がりＲＷが相対的に大きい画像であるものとする。なお、図７については後で詳細に説明する。

【0058】

画像処理部３１は、画像Ｄ１１に対して、車両の走行時に運転者の視界領域に入る車両構成部材を示す画像を合成する。具体的には、図６に示すように、画像処理部３１は、運転席に着座した運転者が車両前側を見たときの車両構成部材の画像（以下、車両画像という）を画像Ｄ１１に合成し、合成画像Ｄ１２を生成する。車両画像に撮影される車両構成部材は、例えば、右側（運転席側）のフロントピラートリム５２と、ルーフトリム５３の右側の部分と、インストルメントパネル５４の右側の部分と、バックミラー５５と、右側のサイドミラー５６と、ステアリングホイール５８である。車両画像は、例えば、運転席側から運転者の視界領域に入る車内構造を予め撮影しておき、撮影した画像データをレイヤとして制御部３０のメモリ（図示省略）に保存させておくことができる。そして、画像Ｄ１１に車両画像を合成するときには、画像処理部３１がメモリから当該車両画像を画像Ｄ１１と別レイヤに読み込み、画像Ｄ１１と車両画像との位置合わせをして重ねるようにすればよい。なお、車両構成部材として、さらにボンネット５９の一部を考慮するようにしてもよい。また、合成画像Ｄ１２を作成するのにあたって、前カメラ２１ａ以外の情報、例えば、レーダ２２の検出結果や、外部入力部２４からの入力情報を使用するようにしてもよい。画像処理部３１で生成された合成画像Ｄ１２の画像データ（以下、合成画像データという）は、後述するマップ生成部３０１に送信される（図４参照）。

【0059】

〔外部環境認識部〕
外部環境認識部３２は、複数のカメラ２１及びレーダ２２から出力されたデータに基づいて車両の外部環境を認識する。外部環境認識部３２により認識される車両の外部環境には、物体が含まれる。物体の例としては、時間経過により変位する動体と、時間経過により変位しない静止体とが挙げられる。動体の例としては、自動四輪車、自動二輪車、自転車、歩行者などが挙げられる。静止体の例としては、標識、街路樹、中央分離帯、センターポール、建物などが挙げられる。

【0060】

〔候補経路生成部〕
候補経路生成部３３は、外部環境認識部３２の出力に基づいて１つまたは複数の候補経路を生成する。候補経路は、車両が走行可能な経路であり、目標経路の候補である。また、候補経路生成部３３は、候補経路を生成するのにあたって、前述のリスクポテンシャルを演算する。例えば、図１１に示すように、他車両１６１（駐車車両）がある場合には、周辺車両の周囲に広がる危険領域が設定され、その広がりに応じた危険度がスコア化され、設定される。危険度のスコア化は、関数を用いて演算するようにしてもよいし、シーン等に応じた参照テーブルを設けるような方法であってもよい。

【0061】

図５〜図１２は、走行シーンの変化の一例を示している。図５〜８は、同じ走行シーン（以下、第１走行シーンという）を示している。図９，１０は、第１走行シーンから少し時間が経過した後の走行シーン（以下、第２走行シーンという）を示している。また、図１１，１２は、第２走行シーンから少し時間が経過した後の走行シーン（以下、第３走行シーンという）を示している。具体的に、第１走行シーンでは周囲に他車両が存在せずに危険度が低い状態であり、第２走行シーンでは遠方に停車中の他車両（以下停車車両１６１という）が見える走行シーンに移行して少し危険度が上昇しているものとする。また、第３走行シーンでは、停車車両１６１に近くなり、危険度が所定の第２基準を超えているものとする。候補経路生成部３３では、車両の走行中に継続的に走行シーンの危険度及び危険が予測される場所を推定し、危険度や危険が予測される場所に応じて複数の候補経路を生成するように構成されている。走行シーンに応じた異常検出方法については、後で具体的に説明する。

【0062】

候補経路生成部３３で生成された候補経路は、目標経路決定部３６に送信される。また、候補経路生成部３３で演算された危険度は、後述する異常検出部３０３に送信される（図４参照）。なお、危険度は、候補経路生成部３３以外の構成要素で演算されるようにしてもよい。例えば、外部環境認識部３２や、危険度演算専用の構成要素で演算するようにしてもよい。

【0063】

〔車両挙動認識部〕
車両挙動認識部３４は、車両状態センサ２５の出力に基づいて車両の挙動（例えば速度や加速度やヨーレートなど）を認識する。例えば、車両挙動認識部３４は、深層学習により生成された学習モデルを用いて車両状態センサ２５の出力から車両の挙動を認識する。

【0064】

〔運転者挙動認識部〕
運転者挙動認識部３５は、運転者状態センサ２７の出力に基づいて運転者の挙動（例えば運転者の健康状態や感情や身体挙動など）を認識する。例えば、運転者挙動認識部３５は、深層学習により生成された学習モデルを用いて運転者状態センサ２７の出力からドライバの挙動を認識する。この例では、運転者挙動認識部３５は、運転者状態検出部３００を有する。運転者状態検出部３００については、後で詳しく説明する。

【0065】

〔目標経路決定部〕
目標経路決定部３６は、車両挙動認識部３４の出力と、運転者挙動認識部３５の出力に基づいて、候補経路生成部３３により生成された１つまたは複数の候補経路の中から目標経路となる候補経路を選択する。例えば、目標経路決定部３６は、複数の候補経路のうち運転者が最も快適であると感じる候補経路を選択する。

【0066】

〔運動制御部〕
運動制御部３７は、目標経路決定部３６により目標経路として選択された候補経路に基づいて目標運動を決定し、その決定された目標運動に基づいてアクチュエータ１１を制御する。例えば、運動制御部３７は、目標運動を達成するための駆動力と制動力と操舵量である目標駆動力と目標制動力と目標操舵量をそれぞれ導出する。そして、運動制御部３７は、目標駆動力を示す駆動指令値と目標制動力を示す制動指令値と目標操舵量を示す操舵指令値とを、駆動系のアクチュエータと制動系のアクチュエータと操舵系のアクチュエータとにそれぞれ送信する。

【0067】

《通知部》
通知部４０は、車両の運転者に各種情報を通知する。この例では、通知部４０は、表示部４１と、スピーカ４２とを含む。表示部４１は、各種情報を画像で出力する。スピーカ４２は、各種情報を音声で出力する。

【0068】

《運転者状態検出部》
運転者状態検出部３００は、車両の運転者の異常を検出する。具体的には、図４に示すように、運転者状態検出部３００は、マップ生成部３０１と、注視点検出部３０２と、異常検出部３０３とを有する。

【0069】

なお、運転者の異常とは、運転者の注意機能低下を引き起こす異常のことである。このような運転者の異常の例としては、脳卒中などの脳疾患、心筋梗塞などの心疾患、癲癇、低血糖、眠気などが挙げられる。また、以下の説明で、異常状態にある運転者のことを、注意機能障害者というものとする。

【0070】

〔マップ生成部〕
マップ生成部３０１は、画像処理部３１から合成画像データを受信し、合成画像データに基づいて合成画像Ｄ１２についてのサリエンシーマップＤ１３を生成する。具体的には、マップ生成部３０１は、合成画像データのうち外部環境を表す部分、すなわち、画像処理部３１で合成した車両画像以外の部分についてのサリエンシーを算出する。このとき、マップ生成部３０１は、画像処理部３１での合成に使用した車両画像についてのサリエンシーは算出しないものの、合成画像Ｄ１２のうちの外部環境を表す部分のサリエンシーの算出には利用する。つまり、マップ生成部３０１は、車両の走行時に運転者の視界領域に入る車両構成部材を考慮してサリエンシーマップＤ１３を生成する。

【0071】

前述したように、サリエンシーは、物標の色、輝度、動き等により変化する。そこで、本実施形態では、マップ生成部３０１は、色に基づくサリエンシー、輝度に基づくサリエンシー、動きに基づくサリエンシー等、特徴毎にサリエンシーを算出して、特徴毎のサリエンシーマップを生成した後に、それらを足し合わせることで最終的な合成画像Ｄ１２に基づいたサリエンシーマップＤ１３を生成する。

【0072】

例えば、マップ生成部３０１は、色に基づくサリエンシーについて、合成画像データにおける車両構成部材の近傍領域において、当該近傍領域と車両構成部材との色差が大きいときには、該色差が小さいときと比較して、近傍領域のサリエンシーを高くする。なお、色差とは、ある画素の色のＲＧＢを（Ｒ１，Ｇ１，Ｂ１）とし、他の画素の色のＲＧＢを（Ｒ２，Ｇ２，Ｂ２）したときに、以下の式により算出される。
（色差）＝{（Ｒ２−Ｒ１）^２＋（Ｇ２−Ｇ１）^２＋（Ｂ２−Ｂ１）^２}^１／２
マップ生成部３０１は、色差が大きいほどサリエンシーを連続的に高くするように算出してもよいし、複数の閾値を設けて閾値を超える毎にサリエンシーが一定値高くなるように算出してもよい。

【0073】

また、例えば、マップ生成部３０１は、輝度に基づくサリエンシーについて、合成画像データにおける車両構成部材の近傍領域において、当該近傍領域と車両構成部材との輝度差が大きいときには、該輝度差が小さいときと比較して、近傍領域のサリエンシーを高くする。例えば、マップ生成部３０１は、合成した車両構成部品が黒色であるときには、白色に近い部分ほど輝度差が大きくなるため、近傍領域のうち白色に近い部分のサリエンシーを高くする。マップ生成部３０１は、輝度差が大きいほどサリエンシーを連続的に高くするように算出してもよいし、複数の閾値を設けて閾値を超える毎にサリエンシーが一定値高くなるように算出してもよい。

【0074】

図７は、マップ生成部３０１で生成されたサリエンシーマップの一例を示している。図７において、サリエンシーの高さに応じてハッチングを変えて表示している。図７ではハッチングの線間が密な方がサリエンシーが高い領域を示しており、ハッチングがない領域がサリエンシーが最も低い領域を示している。図８、図１０、図１２では、図面を見やすくするために、サリエンシーマップの等高線のみを記載している。

【0075】

なお、サリエンシーの算出自体は、インターネット上等で公開されている既知のコンピュータプログラムを用いることができる。また、特徴毎のサリエンシーマップの算出及び各サリエンシーマップの統合についても既知のコンピュータプログラムを用いることができる。

【0076】

〔注視点検出部〕
注視点検出部３０２は、車内カメラ２８により撮影された運転者の眼球画像から、運転者の視線方向を算出する。注視点検出部３０２は、例えば、運転者が車内カメラ２８のレンズを覗いた状態を基準にして、そこからの運転者の瞳孔の変化を検知することで運転者の視線方向を算出する。視線方向の算出は、運転者の左目及び右目のどちらか一方から算出してもよいし、運転者の両目のそれぞれから求めた視線方向（視線ベクトル）の平均値としてもよい。また、運転者の瞳孔の変化から運転者の視線方向を算出することが困難であるときには、運転者の顔面の向きを更に考慮して視線方向を算出してもよい。また、運転者の視線方向の算出に、深層学習により生成された学習モデル（視線を検出するための学習モデル）を用いてもよい。

【0077】

《注視点及びサッケードの検出》
注視点検出部３０２は、運転者の視線の動きに基づいて運転者のサッケードを検出する。サッケードとは、運転者が意図的に視線を移動させる跳躍性眼球運動のことであり、視線が所定時間停滞する注視点から次の注視点へ視線を移動させる眼球運動のことである。図１３に示すように、隣り合う２つの注視期間の間に挟まれた期間がサッケード期間となる。なお、注視期間は、視線が停滞しているとみなされる期間である。サッケードの振幅ｄｓは、サッケード期間における視線の移動距離である。

【0078】

注視点検出部３０２は、視線の移動距離の変化に基づいて視線の移動速度を算出し、視線の移動速度が予め定められた速度閾値（例えば２deg/s）未満である状態が予め定められた停滞時間（例えば０．１秒間）継続する期間を「注視期間」として抽出するとともに、その注視期間において運転者の視線の先にある点を「注視点」として抽出する。また、注視点検出部３０２は、隣り合う２つの注視期間の間に挟まれた期間における視線移動のうち、移動速度が速度閾値（例えば４０deg/s）以上であり、且つ、移動距離が予め定められ距離閾値（例えば３deg）以上である視線移動を「サッケード」として抽出する。

【0079】

なお、注視点検出部３０２は、抽出されたサッケードについて、ノイズ除去処理を行うようにしてもよい。具体的には、注視点検出部３０２は、図１４に示すように、複数のサッケード候補に基づいて回帰曲線Ｌ１０を導出する。注視点検出部３０２は、例えば、最小自乗法により複数のサッケード候補から回帰曲線Ｌ１０を導出する。次に、注視点検出部３０２は、回帰曲線Ｌ１０を移動速度が増加する方向（図１４の縦軸における増加方向）にシフトさせることで第１基準曲線Ｌ１１を導出し、回帰曲線Ｌ１０を移動速度が減少する方向（図１４の縦軸における減少方向）にシフトさせることで第２基準曲線Ｌ１２を導出し、第１基準曲線Ｌ１１と第２基準曲線Ｌ１２との間をサッケード範囲Ｒ１０とする。そして、注視点検出部３０２は、複数のサッケード候補のうちサッケード範囲Ｒ１０内に含まれるサッケード候補をサッケードとして抽出する。

【0080】

次に、注視点検出部３０２は、サッケードの指標であるサッケードの振幅ｄｓとサッケードの頻度ｆｓとを算出する。具体的には、注視点検出部３０２は、予め定められた周期毎（例えば１０秒毎）に、その周期内に含まれるサッケードの振幅ｄｓの平均値を「サッケードの振幅ｄｓ」として算出し、その周期内に含まれるサッケードの数をその周期の時間で除算して得られる値を「サッケードの頻度ｆｓ」として算出する。

【0081】

図８、図１０及び図１２は、サリエンシーマップ上の注視点の位置と、時間的に隣り合う注視点間を線で結んだ図である。図８、図１０及び図１２において、注視点間の線の長さは、サッケードの振幅ｄｓを示している。また、図８、図１０及び図１２において、丸印は健常者の注視点の一例であり、三角印は注意機能障害者の注視点の一例である。また、図８、図１０及び図１２において、実線は健常者の視線の動きの一例であり、破線は注意機能障害者の注視点の動きの一例である。

【0082】

〔異常検出部〕
異常検出部３０３は、マップ生成部３０１で生成されたサリエンシーマップＤ３と、注視点検出部３０２で検出された運転者の注視点及びサッケードの振幅ｄｓとに基づいて、運転者の異常を検出する。異常検出部３０３の動作は、以下の「車両制御システムの動作」において具体的に説明する。

【0083】

−車両制御システムの動作−
以下、図１９参照しつつ、車両制御システムの動作について説明する。

【0084】

（ステップＳＴ１１）
まず、ステップＳＴ１１において、車両制御システムでは、車両の運転者の注視点を検出する注視点検出ステップが実行される。具体的に、ステップＳＴ１１では、例えば、前述の「注視点及びサッケードの検出」の項で説明したように、注視点検出部３０２が、車内カメラ２８で検出された運転者の視線に基づいて注視点及びサッケードの振幅ｄｓを検出する。

【0085】

（ステップＳＴ１２）
ステップＳＴ１２において、車両制御システムでは、前カメラ２１ａから受信した画像データに基づいて、サリエンシーマップを生成するマップ生成ステップが実行される。具体的に、ステップＳＴ１２では、例えば、前述の「マップ生成部」の項で説明したように、マップ生成部３０１が画像処理部３１から出力された合成画像データに基づいて、合成画像Ｄ１２のサリエンシーマップＤ１３を生成する。

【0086】

（ステップＳＴ１３）
ステップＳＴ１３において、車両制御システムでは、前カメラ２１ａから受信した画像データに基づいて、車両の走行シーンにおける危険度を推定する。具体的に、ステップＳＴ１３では、例えば、前述の「候補経路生成部」の項で説明したように、候補経路生成部３３が、車両の走行期間中に、走行シーンの危険度を推定する。候補経路生成部３３は、例えば、所定の時間毎（例えば、１０秒毎）に危険度を更新する。なお、ステップＳＴ１１、ステップＳＴ１２及びステップＳＴ１３の実行順序は、特に限定されない。例えば、ステップＳ１２がステップＳ１１よりも先に実行されてもよいし、ステップＳ１３がステップＳ１１やステップＳＴ１２よりも先に実行されてもよいし、ステップＳＴ１１〜ＳＴ１３が同時に実行されてもよい。

【0087】

ステップＳＴ１３の後は、ステップＳＴ２１からの処理と、ステップＳＴ３１からの処理とが並行して実行される。

【0088】

（ステップＳＴ２１）
ステップＳＴ２１では、異常検出部３０３は、運転者がサリエンシーの高い領域を見る傾向が所定の第１基準よりも高いかどうかを判定する。具体的には、例えば、サリエンシー指標を用いて高サリエンシー領域への視線移動の傾向を検出し、サリエンシー指標が所定の閾値を超えるか否かが判定される。具体的には、異常検出部３０３は、マップ生成部３０１で生成されたサリエンシーマップと、注視点検出部３０２で検出された運転者の注視点とに基づいて、運転者がサリエンシーの高い領域を見る傾向が所定の第１基準よりも高いかどうかを判定する。本実施形態では、異常検出部３０３は、第１基準として、サリエンシー指標が０．６より高いかどうかを判定する。なお、第１基準に用いるサリエンシー指標は０．６以外の数値を用いてもよいし、ステップＳＴ２１の判定においてサリエンシー指標以外の指標を用いてもよい。

【0089】

《サリエンシー指標の算出》
サリエンシー指標の算出方法について、図１５〜図１８を用いて説明する。このサリエンシー指標の算出は、主に、異常検出部３０３により行われる。

【0090】

図１５は、運転者の注視点のサリエンシーの時間変化をプロットしたものである。このグラフは、例えば、図８に示すように、注視点の変化をサリエンシーマップに当てはめて、サッケードが生じる毎に注視点のサリエンシーの高さをプロットしたものである。一方で、図１６は、図１５と同じサリエンシーマップ（例えば、図８）からランダムに座標（以下、ランダム座標という）を指定して、サッケードが生じる毎にランダム座標のサリエンシーを求めることで生成される。

【0091】

図１５及び図１６のグラフをそれぞれ作成した後は、ランダム点における閾値を超える割合と運転者の注視点における閾値を超える割合とのＲＯＣ（Receiver Operating Characteristic）曲線を求める。具体的には、まず、第１ステップとして、閾値を図１５及び図１６のグラフにおいて最大値よりも大きい値に設定する。次に、第２ステップとして、閾値を低下させながら、閾値毎に該閾値を超えた点の割合を求める。そして、この第２ステップの処理を閾値が、図１５及び図１６のグラフにおいて最小値以下になるまで繰り返す。

【0092】

前記第１及び第２ステップの後、第３ステップとして、ランダム点における閾値を超える割合（第１確率という）を横軸にとりかつ運転者の注視点における閾値を超える割合（第２確率という）を縦軸にとって、図１７のようなグラフを作成する。図１７のグラフは、同一の閾値におけるランダム確率に対する注視確率を表す。図１７のグラフは、横軸及び縦軸ともに確率であるため、曲線の最小値は０であり、最大値は１である。

【0093】

図１７において破線は、運転者の視線がサリエンシーに対してどのように動いているかを表す。図１７の曲線Ｃ１のように、曲線が上側に凸になる場合は、運転者の注視点がランダム点よりも閾値を超える割合が高いことを表す。図１７の曲線Ｃ１のような形状の曲線が算出されたときは、運転者の視線がサリエンシーの高い箇所を見る傾向にあること、すなわち、高サリエンシー領域への誘目度が高いことを意味している。一方で、図１７の曲線Ｃ２のように、曲線が下側に凸になる場合は、運転者の注視点がランダム点よりも閾値を超える割合が低いことを表す。図１７の曲線Ｃ２のような形状の曲線が算出されたときは、運転者の視線が高サリエンシー領域の影響を受けていないことを意味している。

【0094】

本実施形態では、第４ステップとして、ＡＵＣ（Area Under Curve）を求める。ＡＵＣは、この曲線の右下部分の積分値である。すなわち、ＡＵＣは、図１８に斜線で示すように、図１７の曲線Ｃ１（または曲線Ｃ２）と２点鎖線とで囲まれた領域の面積である。本実施形態では、この積分値をサリエンシー指標と呼んでいる。サリエンシー指標を用いることで、走行シーンによる依存性を低減させることができる。具体的には、例えば、運転者が単純に高サリエンシー領域を見た割合を算出するだけでは、走行シーンが全体的に高サリエンシー領域を含むような場合に、高サリエンシー領域を見る頻度が高いという結果が得られる恐れがある。これに対して、本実施形態のように、ランダム点との比較を行ったサリエンシー指標を用いることで、高サリエンシー領域の多さや広がり等、走行シーンへの依存性を低減することができ、より精度の高い判断をすることができるようになる。

【0095】

ステップＳＴ２１において、サリエンシー指標が第１基準よりも高い場合、次のステップＳＴ２２に進む。一方で、ステップＳＴ２１において、サリエンシー指標が第１基準以下の場合、処理はステップＳＴ１１に戻る。ステップＳＴ２１は、例えば、判定ステップの一部を構成する処理の一例である。なお、ステップＳＴ１１〜ＳＴ１２は、ステップＳＴ２１，ＳＴ２２の処理にかかわらず、車両の走行中は継続して実行される。

【0096】

（ステップＳＴ２２）
ステップＳ２２では、制御部３０は、運転者の異常に対応する制御を行う。例えば、制御部３０は、運転者の異常の度合いが高い場合（例えば、運転者に疾患が発現したと認識した場合）、運動制御部３７等を介してアクチュエータ１１を制御して自動運転に切り替える処理を行う。また、制御部３０は、通知部４０を介して、運転者に「大丈夫ですか」、「少し休みませんか」との問いかけをする等、運転者に向けたアクチュエーションを実施し、運転者の反応を確認するようにしてもよい。例えば、制御部３０は、上記のアクチュエーションの結果、運転者の反応が薄い場合に、アクチュエータ１１を制御して自動運転に切り替える処理を行うようにしてもよい。

【0097】

このように、運転者への問いかけや注意喚起などのアクチュエーションを実施することで、運転者の異常判定の精度を高めたり、運転者に安全な行動を促すことができる。

【0098】

（ステップＳＴ３１）
ステップＳＴ３１において、異常検出部３０３は、ステップＳＴ１３で推定された危険度が所定の第２基準よりも高いか否かを判定する。所定の第２基準は、予測される危険度が定量的に評価できれば、具体的な内容は特に限定されないが、例えば、前述のリスクポテンシャルを用いることができる。以下の説明では、前述の第１走行シーン（図６参照）及び第２走行シーン（図９参照）は、危険度が所定の第２基準以下であり、第３走行シーン（図１１参照）は、危険度が所定の第２基準より高いものとする。すなわち、車両が第１走行シーンから第３走行シーンに移動し、他車両１６１が自車両の所定の範囲内に入った場合に、危険度が所定の第２基準より高くなったものとする。ステップＳＴ３１において、危険度が所定の第２基準よりも高いと判定された場合、すなわち、ＹＥＳ判定の場合フローはステップＳＴ３２に進む。

【0099】

（ステップＳＴ３２）
ステップＳＴ３２では、異常検出部３０３は、運転者がサリエンシーの高い領域を見る傾向が所定の第３基準よりも低いかどうかを判定する。具体的には、例えば、ステップＳＴ２１と同様に、サリエンシー指標を用いて高サリエンシー領域への視線移動の傾向を検出し、サリエンシー指標が所定の第３基準より低いか否かが判定される。ここで、第３基準は、第１基準よりも低い値である。また、第３基準は、ランダム点よりにおける閾値を超える確率（０．５）よりも低い値に設定され、例えば、０．３秒に設定される。ステップＳＴ２１と同様に、サリエンシー指標以外の指標を用いて判定するようにしてもよい。図１２の例では、他車両１６１は、サリエンシーが相対的に低い領域に停車している。前述のとおり、注意機能障害では、危険度が所定の基準を超えると、運転者の視点が局所にとらわれる傾向がある。例えば、図１２に示すように、健常者の例（丸印）では、駐車している他車両１６１に加えて、追い抜きのために、道路状況を確認したり、ミラーを用いて、後方や側方を確認している。これに対し、注意機能障害患者の例では、他車両１６１に注意は向いているものの、必要以上に他車両に視線がとらわれ、周囲の確認が不十分な状態となっている様子が表れている。この図１２の三角印のような状況では、サリエンシー指標は、相対的に低い値となり、その結果として、サリエンシー指標が所定の第３基準よりも低い値となる場合がある。ここでは、図１２の三角印の状況において、サリエンシー指標が所定の第３基準より低くなったものとする。ステップＳＴ３２で運転者がサリエンシーの高い領域を見る傾向が所定の第３基準よりも低いと判定された場合（例えば、図２１のＡＲ２参照）、すなわちＹＥＳ判定の場合フローはステップＳＴ３３に進む。

【0100】

（ステップＳＴ３３）
ステップＳＴ３３では、異常検出部３０３は、運転者のサッケードの振幅ｄｓが所定の第４基準より小さいかどうかを判定する。運転者のサッケードの振幅ｄｓを見ることにより、運転者の視点が局所（例えば、危険が想定される場所）にとらわれているかどうかを確認することができる。所定の第４基準は、任意に設定することができ、特に限定されない。例えば、所定の第４基準として、本願発明者らのようにドライブシミュレータ等を用いた実証実験を行い、健常者と注意機能障害患者との間の境界を第４基準としてもよい。ステップＳＴ３３で運転者のサッケードの振幅ｄｓが所定の第４基準より小さいと判定された場合、すなわちＹＥＳ判定の場合、フローはステップＳＴ３４に進む。

【0101】

（ステップＳＴ３４）
ステップＳＴ３４では、制御部３０は、ステップＳ２２と同様に、運転者の異常に対応する制御を行う。なお、ステップＳＴ３４とステップＳＴ２２とで同じ制御を行うようにしてよいし、互いに異なる制御をするようにしてもよい。また、例えば、制御部３０が、ステップＳＴ２１とステップＳＴ３３の両方の結果を基づいた制御を行うようにしてもよい。例えば、ステップＳＴ２１とステップＳＴ３３のいずれか一方がＹＥＳ判定の場合には運転者への問いかけや注意喚起などのアクチュエーションを実施し、ステップＳＴ２１とステップＳＴ３３の両方ともにＹＥＳ判定の場合には直ちに自動運転に切り替えるというような動作を設定してもよい。

【0102】

以上のように、本実施形態によると、できるだけ精度よく運転者の異常を検出し、車両が運転者の異常に対応する動作をすることができる。具体的には、例えば、危険度が高まったことにより、運転者が異常状態であるにもかかわらず、サリエンシーが相対的に低い危険個所を見ているような場合においても、未判定状態となることを低減することができる。

【0103】

なお、上記実施形態において、危険度と注視点のサリエンシーとの相関を用いて運転者の異常判定をするようにしてもよい。具体的に、運転者の異常時には、危険な状況や場所に対する気づきが正常状態の場合と比較して低下する傾向があるため、危険度と注視点のサリエンシーとの相関が低下する傾向にある。そこで、危険度と注視点のサリエンシーとの相関の度合いを基準とすることで、運転者の異常判定の精度を高めることができる。

【0104】

また、上記の実施形態において、ステップＳＴ３１からステップＳＴ３３の処理に代えて、または、加えて、ステップＳＴ２１において、危険度が所定の第２基準よりも低い場合、危険度の増加に応じて第１基準を低下させるようにしてもよい。この場合における危険度も、例えば、リスクポテンシャルを用いてスコア化することができる。

【0105】

また、上記の実施形態において、ステップＳＴ３１からステップＳＴ３３の処理に代えて、または、加えて、ステップＳＴ２１において、危険度（リスクポテンシャル）が増加傾向にある場合にサリエンシー指標の判定閾値を第２基準から下げるようにし、危険度（リスクポテンシャル）が減少傾向にある場合にサリエンシー指標の判定閾値を上げるようにしてもよい。これにより、例えば、危険度が高まったことにより、運転者が異常状態であるにもかかわらず、サリエンシーが相対的に低い危険個所を見ているような場合においても、未判定状態となることを低減することができる。

【0106】

また、上記の実施形態において、第１から第４の基準（以下、単に所定の基準という）を用い、それらよりも高いか低いかを判定するようにしているが、本判定には様々な方法を適用することができる。例えば、基準を超えている期間を判定要素に加えてもよいし、所定期間の平均値や加重平均値と所定の基準とを比較するようにしてもよい。また、所定の基準に関し、その基準を超えているまたは下回っている期間の概念を運転者の異常判定の基準に加えてもよい。また、所定の基準に関し、その基準を超えているまたは下回っている期間と大きさとで形成される領域の面積の概念を運転者の異常判定の基準に加えてもよい。

【産業上の利用可能性】

【0107】

ここに開示された技術は、自動車に搭載される運転者状態判定装置として有用である。

【符号の説明】

【0108】

２１ａ 前カメラ（車外情報取得手段）
３０ 制御部（車両制御部）
３０２ 注視点検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】