【解決手段】車両制御装置は、運転者の注視点を検出する注視点検出部302と、車両前側を撮影する前カメラ21aから画像データを受信し、注視点検出部302で検出された運転者の注視点が、上記の画像データに基づくサリエンシーの高い領域を見る傾向が所定の第1基準よりも高いときに、運転者の異常に対応する動作を行う制御部とを備える。制御部は、上記の画像データに基づいて推定される危険度が所定の第2基準よりも高くかつ運転者の注視点のサリエンシーが第1基準よりも低い第3基準以下の場合において、注視点に基づくサッケードの振幅が所定の第4基準より小さいときにも運転者の異常に対応する動作を行う。
【発明を実施するための形態】
【0023】
<本願発明者らにより得られた知見>
特許文献1にも示されているように、運転者のサリエンシーに対する視線移動の変化を見て、運転者の異常(注意機能低下を引き起こす異常)を検出する技術が知られている。この技術では、例えば、サリエンシーが高い領域(高サリエンシー領域)への視線移動が所定の閾値を超える場合に運転者の異常を検出する。
【0024】
本願発明者らは、鋭意研究の結果、注意機能障害者の車両運転時の挙動を観測することにより、車両の運転者の異常時(例えば、注意機能低下を引き起こす異常時)の挙動を擬似的に観測することができることを見出した。そして、本願発明者らは、上記の観測結果を基に、高サリエンシー領域への視線移動が所定の閾値を超える場合に運転者の異常を検出するという手法について検証を行った。具体的には、注意機能障害者の車両運転時の挙動と、注意機能障害を有さない健常者の車両運転時の挙動とについて、後述するサリエンシー指標を用いて高サリエンシー領域への視線移動の傾向を検出し、サリエンシー指標が所定の閾値を超える場合に運転者の異常を検出するという手法についての検証を行った。
【0025】
この検証の結果、本願発明者らは、注意機能障害者でもサリエンシーが高い領域に誘目されない場合や健常者でもサリエンシーが高い領域に誘目される場合が多数生じることが分かった。例えば、サリエンシーが高い領域が、同時に運転中に見るべき注意箇所である場合に、健常者であってもサリエンシーが高い領域に視線が向かい、結果として、疾患発生と誤判定される場合があることが分かった。また、運転者に異常がある場合においても、危険度合いが増加すると、サリエンシーの高低にかかわらず危険個所を見る傾向があり、注視点のサリエンシーが低下して異常状態を判定できない場合があることがわかった。
【0026】
図20,21は、ドライビングシミュレータを用いて運転者の視線を検出し、サリエンシー指標の時間変化としてプロットしたものである。
図20は健常者の測定結果であり、
図21は注意機能障害患者の測定結果である。ただし、走行スピードが互いに異なるので、時間軸と走行場所が必ずしも一致しているわけではない。
【0027】
詳細は後述するが、サリエンシー指標とは、高サリエンシー領域への誘目度が高いほど数値が高くなる指標となっている。
図20,21の例では、高サリエンシー領域への誘目度が相対的に高いと判断される0.6に閾値を設定し、サリエンシー指標が0.6を超える場合に注意機能の障害があると推定するものとした。
【0028】
そうすると、健常者でもサリエンシー指標が0.6を超える場面が散見されることが分かった(
図21のAR1参照)。例えば、消防車のようにサリエンシーの高い車両を追い抜く際などには、健常者であってもサリエンシーの高い場所に誘目される傾向がある。また、機能障害患者であっても、交差点や駐車車両の追い越し時等の危険度が高い場所・シーンにおいて、サリエンシー指標が低い場所でも確認する傾向があり、サリエンシー指標が低い領域が確認されている(
図22のAR2参照)。
【0029】
そこで、本願発明者らは、さらに鋭意検討を重ね、危険度合いを示すリスクポテンシャルを用いることで、より精度よく運転者の異常を検出することができることを見出した。リスクポテンシャルとは、自車両の走行環境における危険度(自車両の運転者が感じる危険感)を適切に反映するように人工的に設定された場であり、例えば、周辺車両に対して各周辺車両の中心位置が最大となり、各周辺車両の周囲に拡がって行くような形状を有する適当な関数が設定される。また、また、リスクポテンシャルとして、死角領域や交差点等に想定され得る危険度合いを推定するような指標としてもよい。また、危険度合(リスクポテンシャル)の判定方法として、周辺車両との車間距離やTTC(Time To Collision)、道路線形や線形変化点までの距離等を用いてもよい。
【0030】
より具体的には、運転者の異常判定において、危険度が増加傾向にある場合にはサリエンシー指標の判定閾値を相対的に下げる一方で、危険度が減少傾向にある場合にはサリエンシー指標の判定閾値を相対的に上げるようにする。すなわち、危険度の増減の傾向に応じて、サリエンシー指標の閾値を危険度の傾向とは反対の方向に変化させる。これにより、運転者の異常の未判定を低減させることができることを見出した。運転者の異常の未判定には、例えば、運転者の異常がある場合でもサリエンシーが低い危険場所を見る傾向がある場合における異常の未判定を含む。さらに、本願発明者らは、危険度が所定の基準値(第2基準に相当)よりも高い場合でかつ注視点のサリエンシー指標が所定の基準値(第3基準に相当)以下になった場合に、サッケード振幅を用いて運転者の異常を判定することにより、運転者の異常を判定しやすくなることを見出した。本願発明者らは、上記実験等を踏まえた鋭意検討の結果、運転者の異常時、特に、注意機能障害者は、危険度が所定の基準を超えると、運転者の視点が局所にとらわれる傾向があることを見出しており、サッケード振幅を用いた運転者の異常判定は、運転者の視点が局所にとらわれる傾向がある状態を検出することを目的としている。
【0031】
以下において、例示的な実施形態について、図面を参照しながら具体的に説明する。なお、以下の説明において、車両の前進走行側を単に前側といい、後退走行側を単に後側という。また、後側から前側を見たときの左側を左側といい、その逆を右側という。
【0032】
図1は、車両としての自動車の車室内を概略的に示す。この車両は、右ハンドル式の車両であって、右側にステアリングホイール58が配置されている。
【0033】
車室内において、運転席から見て車両前側にはフロントウィンドウガラス51が配置されている。フロントウィンドウガラス51は、車室内側から見て、複数の車両構成部材により区画されている。具体的には、フロントウィンドウガラス51は、左右のフロントピラートリム52と、ルーフトリム53と、インストルメントパネル54とによって区画されている。
【0034】
左右のフロントピラートリム52は、フロントウィンドウガラス51の車幅方向外側の境界をそれぞれ構成している。各フロントピラートリム52は、各フロントピラーに沿って配置されている。ルーフトリム53は、フロントウィンドウガラス51の上側の境界を構成している。ルーフトリム53は、車両のルーフパネルの車室内側を覆っている。フロントウィンドウガラス51の車幅方向の中央でかつルーフトリム53のやや下側の部分には、バックミラー55が取り付けられている。ルーフトリム53におけるバックミラー55の近傍部分には、車室内、特に、運転者の顔面を撮影する車内カメラ28(
図3参照)が設けられている。車内カメラ28については後で詳しく説明する。インストルメントパネル54は、フロントウィンドウガラス51の下側の境界を構成している。インストルメントパネル54には、メーターボックスやディスプレイ57が設けられている。
【0035】
また、車両は、左右のフロントピラーよりも車幅方向外側に、サイドミラー56をそれぞれ有している。各サイドミラー56は、運転席に着座した運転手がサイドドアのウィンドウ越しに見ることが出来るように配置されている。
【0036】
図2に示すように、車両には、車両前側の外部環境を撮影するためのカメラ(以下、前カメラ21aという)が設けられている。前カメラ21aは、車両の前側端部であって、車両のボンネット59よりもやや下側に配置されている。前カメラ21aは、車両前側の環境情報を取得する車外情報取得手段の一例である。
【0037】
<車両制御システム>
図3は、実施形態による車両制御システム10の構成を例示する。車両制御システム10は、車両(具体的には自動四輪車)に設けられる。車両は、マニュアル運転と、アシスト運転と、自動運転とに切り換え可能である。マニュアル運転は、運転者の操作(例えばアクセルの操作など)に応じて走行する運転である。アシスト運転は、運転者の操作を支援して走行する運転である。自動運転は、運転者の操作なしに走行する運転である。車両制御システム10は、アシスト運転および自動運転において、車両を制御する。具体的には、車両制御システム10は、車両に設けられたアクチュエータ11を制御することで車両の動作(特に走行)を制御する。
【0038】
車両制御システム10は、情報取得部20と、制御部30と、通知部40とを備える。なお、以下の説明では、車両制御システム10が設けられている車両を「自車両」と記載し、自車両の周囲に存在する他の車両を「他車両」と記載する。
【0039】
−アクチュエータ−
アクチュエータ11は、駆動系のアクチュエータ、操舵系のアクチュエータ、制動系のアクチュエータなどを含む。駆動系のアクチュエータの例としては、エンジン、モータ、トランスミッションが挙げられる。操舵系のアクチュエータの例としては、ステアリングが挙げられる。制動系のアクチュエータの例としては、ブレーキが挙げられる。
【0040】
−情報取得部−
情報取得部20は、車両の制御(特に走行制御)に用いられる各種情報を取得する。この例では、情報取得部20は、複数のカメラ21と、複数のレーダ22と、位置センサ23と、外部入力部24と、車両状態センサ25と、運転操作センサ26と、運転者状態センサ27とを含む。
【0041】
〔カメラ〕
複数のカメラ21は、互いに同様の構成を有する。複数のカメラ21は、車両の周囲を囲うように車両に設けられる。複数のカメラ21の各々は、車両の周囲に広がる環境(車両の外部環境)の一部を撮像することで、車両の外部環境の一部を示す画像データを取得する。複数のカメラ21の各々により得られた画像データは、制御部30に送信される。複数のカメラ21は、前述の前カメラ21aを含む。
【0042】
この例では、カメラ21は、広角レンズを有する単眼カメラである。例えば、カメラ21は、CCD(Charge Coupled Device)やCMOS(Complementary metal-oxide-semiconductor)などの固体撮像素子を用いて構成される。なお、カメラ21は、狭角レンズを有する単眼カメラであってもよいし、広角レンズまたは狭角レンズを有するステレオカメラであってもよい。
【0043】
〔レーダ〕
複数のレーダ22は、互いに同様の構成を有する。複数のレーダ22は、車両の周囲を囲うように車両に設けられる。複数のレーダ22の各々は、車両の外部環境の一部を検出する。具体的には、レーダ22は、車両の外部環境の一部へ向けて電波を送信して車両の外部環境の一部からの反射波を受信することで、車両の外部環境の一部を検出する。複数のレーダ22の検出結果は、制御部30に送信される。
【0044】
例えば、レーダ22は、ミリ波を送信するミリ波レーダであってもよいし、レーザ光を送信するライダ(Light Detection and Ranging)であってもよいし、赤外線を送信する赤外線レーダであってもよいし、超音波を送信する超音波センサであってもよい。
【0045】
〔位置センサ〕
位置センサ23は、車両の位置(例えば緯度および経度)を検出する。例えば、位置センサ23は、全地球測位システムからのGPS情報を受信し、GPS情報に基づいて車両の位置を検出する。位置センサ23により得られた情報(車両の位置)は、制御部30に送信される。
【0046】
〔外部入力部〕
外部入力部24は、車両の外部に設けられた車外ネットワーク(例えばインターネットなど)を通じて情報を入力する。例えば、外部入力部24は、車両の周囲に位置する他車両(図示省略)からの通信情報、ナビゲーションシステム(図示省略)からのカーナビゲーションデータ、交通情報、高精度地図情報などを受信する。外部入力部24により得られた情報は、制御部30に送信される。
【0047】
〔車両状態センサ〕
車両状態センサ25は、車両の状態(例えば速度や加速度やヨーレートなど)を検出する。例えば、車両状態センサ25は、車両の速度を検出する車速センサ、車両の加速度を検出する加速度センサ、車両のヨーレートを検出するヨーレートセンサなどを含む。車両状態センサ25により得られた情報(車両の状態)は、制御部30に送信される。
【0048】
〔運転操作センサ〕
運転操作センサ26は、車両に加えられる運転操作を検出する。例えば、運転操作センサ26は、アクセル開度センサ、操舵角センサ、ブレーキ油圧センサなどを含む。アクセル開度センサは、車両のアクセルの操作量を検出する。操舵角センサは、車両のハンドルの操舵角を検出する。ブレーキ油圧センサは、車両のブレーキの操作量を検出する。運転操作センサ26により得られた情報(車両の運転操作)は、制御部30に送信される。
【0049】
〔運転者状態センサ〕
運転者状態センサ27は、車両を運転する運転者の状態(例えば運転者の健康状態や感情や身体挙動など)を検出する。運転者状態センサ27により得られた情報(運転者の状態)は、制御部30に送信される。この例では、運転者状態センサ27は、車内カメラ28と、生体情報センサ29とを含む。
【0050】
《車内カメラ》
車内カメラ28は、車両の内部に設けられる。車内カメラ28は、運転者の眼球を含む領域を撮像することで運転者の目を含む画像データを取得する。車内カメラ28により得られた画像データは、制御部30に送信される。例えば、車内カメラ28は、運転者の前方に配置され、運転者の眼球が撮像範囲内となるように撮像範囲が設定される。なお、車内カメラ28は、運転者に装着されるゴーグル(図示を省略)に設けられてもよい。
【0051】
《生体情報センサ》
生体情報センサ29は、運転者の生体情報(例えば発汗など)を検出する。生体情報センサ29により得られた情報(運転者の生体情報)は、制御部30に送信される。
【0052】
−制御部−
制御部30は、アシスト運転または自動運転において、情報取得部20により取得された各種情報に基づいて、車両が走行すべき経路である目標経路を決定し、目標経路を走行するために必要となる車両の運動である目標運動を決定する。そして、制御部30は、車両の運動が目標運動となるように、アクチュエータ11の動作を制御する。例えば、制御部30は、1つまたは複数の演算チップを有する電子制御ユニット(ECU)により構成される。言い換えると、制御部30は、1つまたは複数のプロセッサ、1つまたは複数のプロセッサを動作させるためのプログラムやデータを記憶する1つまたは複数のメモリなどを有する電子制御ユニット(ECU)により構成される。
【0053】
この例では、
図3に示すように、制御部30は、画像処理部31と、外部環境認識部32と、候補経路生成部33と、車両挙動認識部34と、運転者挙動認識部35と、目標経路決定部36と、運動制御部37とを有する。
【0054】
〔画像処理部〕
画像処理部31は、複数のカメラ21で撮像された画像を受信し、画像処理を行う。画像処理部31で行われる画像処理には、外部環境認識部32で物体等の外部環境を認識するために用いる画像のための第1画像処理と、サリエンシーマップの生成に用いるための第2画像処理とが含まれる。
【0055】
《第1画像処理》
画像処理部31は、各カメラ21の撮影した画像に対して、画像の歪み(この例ではカメラ21の広角化による歪み)を補正する歪み補正処理や、画像のホワイトバランスを調整するホワイトバランス調整処理などを行う。また、画像処理部31は、画像を構成する素子のうち後段の外部環境認識部32での処理に不要な画素を削除したり、色彩に関するデータを間引いたり(車両を全て同じ色で表すなど)して、画像データを生成する。第1画像処理で生成された画像データは、外部環境認識部32に送信される。
【0056】
《第2画像処理》
画像処理部31は、例えば、前カメラ21aの撮影した画像に対して、画像を構成する素子のうち、後段のマップ生成部301の処理(例えば、サリエンシーマップの生成)に不要な画素を削除する処理を行う。また、画像処理部31は、前カメラ21aで撮影された車両前側の外部環境を示す画像に対して、別の画像を合成して合成画像を生成する処理を行う。
【0057】
図5は、車両の走行シーンにおいて前カメラ21aが撮影した車両前側の外部環境を示す画像D11の一例である。この画像D11に示す外部環境には、車道150と、車道150上の白線151とが含まれる。また、この画像D11に示された外部環境には、車道150の左側に形成された壁162と、壁162よりも左側の領域に形成された森林163と、車道150の右側の領域に広がる丘164と、丘164に形成された森林165が含まれる。また、この画像D11に示された外部環境には、車道150及び森林163,165の上側に広がる空167が含まれる。なお、以下の説明において、画像D11の空167は夕焼け空であり、赤みがかった空が広がっていると仮定する。換言すると、画像D11は、
図7に示すように、高サリエンシー領域の広がりRWが相対的に大きい画像であるものとする。なお、
図7については後で詳細に説明する。
【0058】
画像処理部31は、画像D11に対して、車両の走行時に運転者の視界領域に入る車両構成部材を示す画像を合成する。具体的には、
図6に示すように、画像処理部31は、運転席に着座した運転者が車両前側を見たときの車両構成部材の画像(以下、車両画像という)を画像D11に合成し、合成画像D12を生成する。車両画像に撮影される車両構成部材は、例えば、右側(運転席側)のフロントピラートリム52と、ルーフトリム53の右側の部分と、インストルメントパネル54の右側の部分と、バックミラー55と、右側のサイドミラー56と、ステアリングホイール58である。車両画像は、例えば、運転席側から運転者の視界領域に入る車内構造を予め撮影しておき、撮影した画像データをレイヤとして制御部30のメモリ(図示省略)に保存させておくことができる。そして、画像D11に車両画像を合成するときには、画像処理部31がメモリから当該車両画像を画像D11と別レイヤに読み込み、画像D11と車両画像との位置合わせをして重ねるようにすればよい。なお、車両構成部材として、さらにボンネット59の一部を考慮するようにしてもよい。また、合成画像D12を作成するのにあたって、前カメラ21a以外の情報、例えば、レーダ22の検出結果や、外部入力部24からの入力情報を使用するようにしてもよい。画像処理部31で生成された合成画像D12の画像データ(以下、合成画像データという)は、後述するマップ生成部301に送信される(
図4参照)。
【0059】
〔外部環境認識部〕
外部環境認識部32は、複数のカメラ21及びレーダ22から出力されたデータに基づいて車両の外部環境を認識する。外部環境認識部32により認識される車両の外部環境には、物体が含まれる。物体の例としては、時間経過により変位する動体と、時間経過により変位しない静止体とが挙げられる。動体の例としては、自動四輪車、自動二輪車、自転車、歩行者などが挙げられる。静止体の例としては、標識、街路樹、中央分離帯、センターポール、建物などが挙げられる。
【0060】
〔候補経路生成部〕
候補経路生成部33は、外部環境認識部32の出力に基づいて1つまたは複数の候補経路を生成する。候補経路は、車両が走行可能な経路であり、目標経路の候補である。また、候補経路生成部33は、候補経路を生成するのにあたって、前述のリスクポテンシャルを演算する。例えば、
図11に示すように、他車両161(駐車車両)がある場合には、周辺車両の周囲に広がる危険領域が設定され、その広がりに応じた危険度がスコア化され、設定される。危険度のスコア化は、関数を用いて演算するようにしてもよいし、シーン等に応じた参照テーブルを設けるような方法であってもよい。
【0061】
図5〜
図12は、走行シーンの変化の一例を示している。
図5〜8は、同じ走行シーン(以下、第1走行シーンという)を示している。
図9,10は、第1走行シーンから少し時間が経過した後の走行シーン(以下、第2走行シーンという)を示している。また、
図11,12は、第2走行シーンから少し時間が経過した後の走行シーン(以下、第3走行シーンという)を示している。具体的に、第1走行シーンでは周囲に他車両が存在せずに危険度が低い状態であり、第2走行シーンでは遠方に停車中の他車両(以下停車車両161という)が見える走行シーンに移行して少し危険度が上昇しているものとする。また、第3走行シーンでは、停車車両161に近くなり、危険度が所定の第2基準を超えているものとする。候補経路生成部33では、車両の走行中に継続的に走行シーンの危険度及び危険が予測される場所を推定し、危険度や危険が予測される場所に応じて複数の候補経路を生成するように構成されている。走行シーンに応じた異常検出方法については、後で具体的に説明する。
【0062】
候補経路生成部33で生成された候補経路は、目標経路決定部36に送信される。また、候補経路生成部33で演算された危険度は、後述する異常検出部303に送信される(
図4参照)。なお、危険度は、候補経路生成部33以外の構成要素で演算されるようにしてもよい。例えば、外部環境認識部32や、危険度演算専用の構成要素で演算するようにしてもよい。
【0063】
〔車両挙動認識部〕
車両挙動認識部34は、車両状態センサ25の出力に基づいて車両の挙動(例えば速度や加速度やヨーレートなど)を認識する。例えば、車両挙動認識部34は、深層学習により生成された学習モデルを用いて車両状態センサ25の出力から車両の挙動を認識する。
【0064】
〔運転者挙動認識部〕
運転者挙動認識部35は、運転者状態センサ27の出力に基づいて運転者の挙動(例えば運転者の健康状態や感情や身体挙動など)を認識する。例えば、運転者挙動認識部35は、深層学習により生成された学習モデルを用いて運転者状態センサ27の出力からドライバの挙動を認識する。この例では、運転者挙動認識部35は、運転者状態検出部300を有する。運転者状態検出部300については、後で詳しく説明する。
【0065】
〔目標経路決定部〕
目標経路決定部36は、車両挙動認識部34の出力と、運転者挙動認識部35の出力に基づいて、候補経路生成部33により生成された1つまたは複数の候補経路の中から目標経路となる候補経路を選択する。例えば、目標経路決定部36は、複数の候補経路のうち運転者が最も快適であると感じる候補経路を選択する。
【0066】
〔運動制御部〕
運動制御部37は、目標経路決定部36により目標経路として選択された候補経路に基づいて目標運動を決定し、その決定された目標運動に基づいてアクチュエータ11を制御する。例えば、運動制御部37は、目標運動を達成するための駆動力と制動力と操舵量である目標駆動力と目標制動力と目標操舵量をそれぞれ導出する。そして、運動制御部37は、目標駆動力を示す駆動指令値と目標制動力を示す制動指令値と目標操舵量を示す操舵指令値とを、駆動系のアクチュエータと制動系のアクチュエータと操舵系のアクチュエータとにそれぞれ送信する。
【0067】
《通知部》
通知部40は、車両の運転者に各種情報を通知する。この例では、通知部40は、表示部41と、スピーカ42とを含む。表示部41は、各種情報を画像で出力する。スピーカ42は、各種情報を音声で出力する。
【0068】
《運転者状態検出部》
運転者状態検出部300は、車両の運転者の異常を検出する。具体的には、
図4に示すように、運転者状態検出部300は、マップ生成部301と、注視点検出部302と、異常検出部303とを有する。
【0069】
なお、運転者の異常とは、運転者の注意機能低下を引き起こす異常のことである。このような運転者の異常の例としては、脳卒中などの脳疾患、心筋梗塞などの心疾患、癲癇、低血糖、眠気などが挙げられる。また、以下の説明で、異常状態にある運転者のことを、注意機能障害者というものとする。
【0070】
〔マップ生成部〕
マップ生成部301は、画像処理部31から合成画像データを受信し、合成画像データに基づいて合成画像D12についてのサリエンシーマップD13を生成する。具体的には、マップ生成部301は、合成画像データのうち外部環境を表す部分、すなわち、画像処理部31で合成した車両画像以外の部分についてのサリエンシーを算出する。このとき、マップ生成部301は、画像処理部31での合成に使用した車両画像についてのサリエンシーは算出しないものの、合成画像D12のうちの外部環境を表す部分のサリエンシーの算出には利用する。つまり、マップ生成部301は、車両の走行時に運転者の視界領域に入る車両構成部材を考慮してサリエンシーマップD13を生成する。
【0071】
前述したように、サリエンシーは、物標の色、輝度、動き等により変化する。そこで、本実施形態では、マップ生成部301は、色に基づくサリエンシー、輝度に基づくサリエンシー、動きに基づくサリエンシー等、特徴毎にサリエンシーを算出して、特徴毎のサリエンシーマップを生成した後に、それらを足し合わせることで最終的な合成画像D12に基づいたサリエンシーマップD13を生成する。
【0072】
例えば、マップ生成部301は、色に基づくサリエンシーについて、合成画像データにおける車両構成部材の近傍領域において、当該近傍領域と車両構成部材との色差が大きいときには、該色差が小さいときと比較して、近傍領域のサリエンシーを高くする。なお、色差とは、ある画素の色のRGBを(R1,G1,B1)とし、他の画素の色のRGBを(R2,G2,B2)したときに、以下の式により算出される。
(色差)={(R2−R1)
2+(G2−G1)
2+(B2−B1)
2}
1/2
マップ生成部301は、色差が大きいほどサリエンシーを連続的に高くするように算出してもよいし、複数の閾値を設けて閾値を超える毎にサリエンシーが一定値高くなるように算出してもよい。
【0073】
また、例えば、マップ生成部301は、輝度に基づくサリエンシーについて、合成画像データにおける車両構成部材の近傍領域において、当該近傍領域と車両構成部材との輝度差が大きいときには、該輝度差が小さいときと比較して、近傍領域のサリエンシーを高くする。例えば、マップ生成部301は、合成した車両構成部品が黒色であるときには、白色に近い部分ほど輝度差が大きくなるため、近傍領域のうち白色に近い部分のサリエンシーを高くする。マップ生成部301は、輝度差が大きいほどサリエンシーを連続的に高くするように算出してもよいし、複数の閾値を設けて閾値を超える毎にサリエンシーが一定値高くなるように算出してもよい。
【0074】
図7は、マップ生成部301で生成されたサリエンシーマップの一例を示している。
図7において、サリエンシーの高さに応じてハッチングを変えて表示している。
図7ではハッチングの線間が密な方がサリエンシーが高い領域を示しており、ハッチングがない領域がサリエンシーが最も低い領域を示している。
図8、
図10、
図12では、図面を見やすくするために、サリエンシーマップの等高線のみを記載している。
【0075】
なお、サリエンシーの算出自体は、インターネット上等で公開されている既知のコンピュータプログラムを用いることができる。また、特徴毎のサリエンシーマップの算出及び各サリエンシーマップの統合についても既知のコンピュータプログラムを用いることができる。
【0076】
〔注視点検出部〕
注視点検出部302は、車内カメラ28により撮影された運転者の眼球画像から、運転者の視線方向を算出する。注視点検出部302は、例えば、運転者が車内カメラ28のレンズを覗いた状態を基準にして、そこからの運転者の瞳孔の変化を検知することで運転者の視線方向を算出する。視線方向の算出は、運転者の左目及び右目のどちらか一方から算出してもよいし、運転者の両目のそれぞれから求めた視線方向(視線ベクトル)の平均値としてもよい。また、運転者の瞳孔の変化から運転者の視線方向を算出することが困難であるときには、運転者の顔面の向きを更に考慮して視線方向を算出してもよい。また、運転者の視線方向の算出に、深層学習により生成された学習モデル(視線を検出するための学習モデル)を用いてもよい。
【0077】
《注視点及びサッケードの検出》
注視点検出部302は、運転者の視線の動きに基づいて運転者のサッケードを検出する。サッケードとは、運転者が意図的に視線を移動させる跳躍性眼球運動のことであり、視線が所定時間停滞する注視点から次の注視点へ視線を移動させる眼球運動のことである。
図13に示すように、隣り合う2つの注視期間の間に挟まれた期間がサッケード期間となる。なお、注視期間は、視線が停滞しているとみなされる期間である。サッケードの振幅dsは、サッケード期間における視線の移動距離である。
【0078】
注視点検出部302は、視線の移動距離の変化に基づいて視線の移動速度を算出し、視線の移動速度が予め定められた速度閾値(例えば2deg/s)未満である状態が予め定められた停滞時間(例えば0.1秒間)継続する期間を「注視期間」として抽出するとともに、その注視期間において運転者の視線の先にある点を「注視点」として抽出する。また、注視点検出部302は、隣り合う2つの注視期間の間に挟まれた期間における視線移動のうち、移動速度が速度閾値(例えば40deg/s)以上であり、且つ、移動距離が予め定められ距離閾値(例えば3deg)以上である視線移動を「サッケード」として抽出する。
【0079】
なお、注視点検出部302は、抽出されたサッケードについて、ノイズ除去処理を行うようにしてもよい。具体的には、注視点検出部302は、
図14に示すように、複数のサッケード候補に基づいて回帰曲線L10を導出する。注視点検出部302は、例えば、最小自乗法により複数のサッケード候補から回帰曲線L10を導出する。次に、注視点検出部302は、回帰曲線L10を移動速度が増加する方向(
図14の縦軸における増加方向)にシフトさせることで第1基準曲線L11を導出し、回帰曲線L10を移動速度が減少する方向(
図14の縦軸における減少方向)にシフトさせることで第2基準曲線L12を導出し、第1基準曲線L11と第2基準曲線L12との間をサッケード範囲R10とする。そして、注視点検出部302は、複数のサッケード候補のうちサッケード範囲R10内に含まれるサッケード候補をサッケードとして抽出する。
【0080】
次に、注視点検出部302は、サッケードの指標であるサッケードの振幅dsとサッケードの頻度fsとを算出する。具体的には、注視点検出部302は、予め定められた周期毎(例えば10秒毎)に、その周期内に含まれるサッケードの振幅dsの平均値を「サッケードの振幅ds」として算出し、その周期内に含まれるサッケードの数をその周期の時間で除算して得られる値を「サッケードの頻度fs」として算出する。
【0081】
図8、
図10及び
図12は、サリエンシーマップ上の注視点の位置と、時間的に隣り合う注視点間を線で結んだ図である。
図8、
図10及び
図12において、注視点間の線の長さは、サッケードの振幅dsを示している。また、
図8、
図10及び
図12において、丸印は健常者の注視点の一例であり、三角印は注意機能障害者の注視点の一例である。また、
図8、
図10及び
図12において、実線は健常者の視線の動きの一例であり、破線は注意機能障害者の注視点の動きの一例である。
【0082】
〔異常検出部〕
異常検出部303は、マップ生成部301で生成されたサリエンシーマップD3と、注視点検出部302で検出された運転者の注視点及びサッケードの振幅dsとに基づいて、運転者の異常を検出する。異常検出部303の動作は、以下の「車両制御システムの動作」において具体的に説明する。
【0083】
−車両制御システムの動作−
以下、
図19参照しつつ、車両制御システムの動作について説明する。
【0084】
(ステップST11)
まず、ステップST11において、車両制御システムでは、車両の運転者の注視点を検出する注視点検出ステップが実行される。具体的に、ステップST11では、例えば、前述の「注視点及びサッケードの検出」の項で説明したように、注視点検出部302が、車内カメラ28で検出された運転者の視線に基づいて注視点及びサッケードの振幅dsを検出する。
【0085】
(ステップST12)
ステップST12において、車両制御システムでは、前カメラ21aから受信した画像データに基づいて、サリエンシーマップを生成するマップ生成ステップが実行される。具体的に、ステップST12では、例えば、前述の「マップ生成部」の項で説明したように、マップ生成部301が画像処理部31から出力された合成画像データに基づいて、合成画像D12のサリエンシーマップD13を生成する。
【0086】
(ステップST13)
ステップST13において、車両制御システムでは、前カメラ21aから受信した画像データに基づいて、車両の走行シーンにおける危険度を推定する。具体的に、ステップST13では、例えば、前述の「候補経路生成部」の項で説明したように、候補経路生成部33が、車両の走行期間中に、走行シーンの危険度を推定する。候補経路生成部33は、例えば、所定の時間毎(例えば、10秒毎)に危険度を更新する。なお、ステップST11、ステップST12及びステップST13の実行順序は、特に限定されない。例えば、ステップS12がステップS11よりも先に実行されてもよいし、ステップS13がステップS11やステップST12よりも先に実行されてもよいし、ステップST11〜ST13が同時に実行されてもよい。
【0087】
ステップST13の後は、ステップST21からの処理と、ステップST31からの処理とが並行して実行される。
【0088】
(ステップST21)
ステップST21では、異常検出部303は、運転者がサリエンシーの高い領域を見る傾向が所定の第1基準よりも高いかどうかを判定する。具体的には、例えば、サリエンシー指標を用いて高サリエンシー領域への視線移動の傾向を検出し、サリエンシー指標が所定の閾値を超えるか否かが判定される。具体的には、異常検出部303は、マップ生成部301で生成されたサリエンシーマップと、注視点検出部302で検出された運転者の注視点とに基づいて、運転者がサリエンシーの高い領域を見る傾向が所定の第1基準よりも高いかどうかを判定する。本実施形態では、異常検出部303は、第1基準として、サリエンシー指標が0.6より高いかどうかを判定する。なお、第1基準に用いるサリエンシー指標は0.6以外の数値を用いてもよいし、ステップST21の判定においてサリエンシー指標以外の指標を用いてもよい。
【0089】
《サリエンシー指標の算出》
サリエンシー指標の算出方法について、
図15〜
図18を用いて説明する。このサリエンシー指標の算出は、主に、異常検出部303により行われる。
【0090】
図15は、運転者の注視点のサリエンシーの時間変化をプロットしたものである。このグラフは、例えば、
図8に示すように、注視点の変化をサリエンシーマップに当てはめて、サッケードが生じる毎に注視点のサリエンシーの高さをプロットしたものである。一方で、
図16は、
図15と同じサリエンシーマップ(例えば、
図8)からランダムに座標(以下、ランダム座標という)を指定して、サッケードが生じる毎にランダム座標のサリエンシーを求めることで生成される。
【0091】
図15及び
図16のグラフをそれぞれ作成した後は、ランダム点における閾値を超える割合と運転者の注視点における閾値を超える割合とのROC(Receiver Operating Characteristic)曲線を求める。具体的には、まず、第1ステップとして、閾値を
図15及び
図16のグラフにおいて最大値よりも大きい値に設定する。次に、第2ステップとして、閾値を低下させながら、閾値毎に該閾値を超えた点の割合を求める。そして、この第2ステップの処理を閾値が、
図15及び
図16のグラフにおいて最小値以下になるまで繰り返す。
【0092】
前記第1及び第2ステップの後、第3ステップとして、ランダム点における閾値を超える割合(第1確率という)を横軸にとりかつ運転者の注視点における閾値を超える割合(第2確率という)を縦軸にとって、
図17のようなグラフを作成する。
図17のグラフは、同一の閾値におけるランダム確率に対する注視確率を表す。
図17のグラフは、横軸及び縦軸ともに確率であるため、曲線の最小値は0であり、最大値は1である。
【0093】
図17において破線は、運転者の視線がサリエンシーに対してどのように動いているかを表す。
図17の曲線C1のように、曲線が上側に凸になる場合は、運転者の注視点がランダム点よりも閾値を超える割合が高いことを表す。
図17の曲線C1のような形状の曲線が算出されたときは、運転者の視線がサリエンシーの高い箇所を見る傾向にあること、すなわち、高サリエンシー領域への誘目度が高いことを意味している。一方で、
図17の曲線C2のように、曲線が下側に凸になる場合は、運転者の注視点がランダム点よりも閾値を超える割合が低いことを表す。
図17の曲線C2のような形状の曲線が算出されたときは、運転者の視線が高サリエンシー領域の影響を受けていないことを意味している。
【0094】
本実施形態では、第4ステップとして、AUC(Area Under Curve)を求める。AUCは、この曲線の右下部分の積分値である。すなわち、AUCは、
図18に斜線で示すように、
図17の曲線C1(または曲線C2)と2点鎖線とで囲まれた領域の面積である。本実施形態では、この積分値をサリエンシー指標と呼んでいる。サリエンシー指標を用いることで、走行シーンによる依存性を低減させることができる。具体的には、例えば、運転者が単純に高サリエンシー領域を見た割合を算出するだけでは、走行シーンが全体的に高サリエンシー領域を含むような場合に、高サリエンシー領域を見る頻度が高いという結果が得られる恐れがある。これに対して、本実施形態のように、ランダム点との比較を行ったサリエンシー指標を用いることで、高サリエンシー領域の多さや広がり等、走行シーンへの依存性を低減することができ、より精度の高い判断をすることができるようになる。
【0095】
ステップST21において、サリエンシー指標が第1基準よりも高い場合、次のステップST22に進む。一方で、ステップST21において、サリエンシー指標が第1基準以下の場合、処理はステップST11に戻る。ステップST21は、例えば、判定ステップの一部を構成する処理の一例である。なお、ステップST11〜ST12は、ステップST21,ST22の処理にかかわらず、車両の走行中は継続して実行される。
【0096】
(ステップST22)
ステップS22では、制御部30は、運転者の異常に対応する制御を行う。例えば、制御部30は、運転者の異常の度合いが高い場合(例えば、運転者に疾患が発現したと認識した場合)、運動制御部37等を介してアクチュエータ11を制御して自動運転に切り替える処理を行う。また、制御部30は、通知部40を介して、運転者に「大丈夫ですか」、「少し休みませんか」との問いかけをする等、運転者に向けたアクチュエーションを実施し、運転者の反応を確認するようにしてもよい。例えば、制御部30は、上記のアクチュエーションの結果、運転者の反応が薄い場合に、アクチュエータ11を制御して自動運転に切り替える処理を行うようにしてもよい。
【0097】
このように、運転者への問いかけや注意喚起などのアクチュエーションを実施することで、運転者の異常判定の精度を高めたり、運転者に安全な行動を促すことができる。
【0098】
(ステップST31)
ステップST31において、異常検出部303は、ステップST13で推定された危険度が所定の第2基準よりも高いか否かを判定する。所定の第2基準は、予測される危険度が定量的に評価できれば、具体的な内容は特に限定されないが、例えば、前述のリスクポテンシャルを用いることができる。以下の説明では、前述の第1走行シーン(
図6参照)及び第2走行シーン(
図9参照)は、危険度が所定の第2基準以下であり、第3走行シーン(
図11参照)は、危険度が所定の第2基準より高いものとする。すなわち、車両が第1走行シーンから第3走行シーンに移動し、他車両161が自車両の所定の範囲内に入った場合に、危険度が所定の第2基準より高くなったものとする。ステップST31において、危険度が所定の第2基準よりも高いと判定された場合、すなわち、YES判定の場合フローはステップST32に進む。
【0099】
(ステップST32)
ステップST32では、異常検出部303は、運転者がサリエンシーの高い領域を見る傾向が所定の第3基準よりも低いかどうかを判定する。具体的には、例えば、ステップST21と同様に、サリエンシー指標を用いて高サリエンシー領域への視線移動の傾向を検出し、サリエンシー指標が所定の第3基準より低いか否かが判定される。ここで、第3基準は、第1基準よりも低い値である。また、第3基準は、ランダム点よりにおける閾値を超える確率(0.5)よりも低い値に設定され、例えば、0.3秒に設定される。ステップST21と同様に、サリエンシー指標以外の指標を用いて判定するようにしてもよい。
図12の例では、他車両161は、サリエンシーが相対的に低い領域に停車している。前述のとおり、注意機能障害では、危険度が所定の基準を超えると、運転者の視点が局所にとらわれる傾向がある。例えば、
図12に示すように、健常者の例(丸印)では、駐車している他車両161に加えて、追い抜きのために、道路状況を確認したり、ミラーを用いて、後方や側方を確認している。これに対し、注意機能障害患者の例では、他車両161に注意は向いているものの、必要以上に他車両に視線がとらわれ、周囲の確認が不十分な状態となっている様子が表れている。この
図12の三角印のような状況では、サリエンシー指標は、相対的に低い値となり、その結果として、サリエンシー指標が所定の第3基準よりも低い値となる場合がある。ここでは、
図12の三角印の状況において、サリエンシー指標が所定の第3基準より低くなったものとする。ステップST32で運転者がサリエンシーの高い領域を見る傾向が所定の第3基準よりも低いと判定された場合(例えば、
図21のAR2参照)、すなわちYES判定の場合フローはステップST33に進む。
【0100】
(ステップST33)
ステップST33では、異常検出部303は、運転者のサッケードの振幅dsが所定の第4基準より小さいかどうかを判定する。運転者のサッケードの振幅dsを見ることにより、運転者の視点が局所(例えば、危険が想定される場所)にとらわれているかどうかを確認することができる。所定の第4基準は、任意に設定することができ、特に限定されない。例えば、所定の第4基準として、本願発明者らのようにドライブシミュレータ等を用いた実証実験を行い、健常者と注意機能障害患者との間の境界を第4基準としてもよい。ステップST33で運転者のサッケードの振幅dsが所定の第4基準より小さいと判定された場合、すなわちYES判定の場合、フローはステップST34に進む。
【0101】
(ステップST34)
ステップST34では、制御部30は、ステップS22と同様に、運転者の異常に対応する制御を行う。なお、ステップST34とステップST22とで同じ制御を行うようにしてよいし、互いに異なる制御をするようにしてもよい。また、例えば、制御部30が、ステップST21とステップST33の両方の結果を基づいた制御を行うようにしてもよい。例えば、ステップST21とステップST33のいずれか一方がYES判定の場合には運転者への問いかけや注意喚起などのアクチュエーションを実施し、ステップST21とステップST33の両方ともにYES判定の場合には直ちに自動運転に切り替えるというような動作を設定してもよい。
【0102】
以上のように、本実施形態によると、できるだけ精度よく運転者の異常を検出し、車両が運転者の異常に対応する動作をすることができる。具体的には、例えば、危険度が高まったことにより、運転者が異常状態であるにもかかわらず、サリエンシーが相対的に低い危険個所を見ているような場合においても、未判定状態となることを低減することができる。
【0103】
なお、上記実施形態において、危険度と注視点のサリエンシーとの相関を用いて運転者の異常判定をするようにしてもよい。具体的に、運転者の異常時には、危険な状況や場所に対する気づきが正常状態の場合と比較して低下する傾向があるため、危険度と注視点のサリエンシーとの相関が低下する傾向にある。そこで、危険度と注視点のサリエンシーとの相関の度合いを基準とすることで、運転者の異常判定の精度を高めることができる。
【0104】
また、上記の実施形態において、ステップST31からステップST33の処理に代えて、または、加えて、ステップST21において、危険度が所定の第2基準よりも低い場合、危険度の増加に応じて第1基準を低下させるようにしてもよい。この場合における危険度も、例えば、リスクポテンシャルを用いてスコア化することができる。
【0105】
また、上記の実施形態において、ステップST31からステップST33の処理に代えて、または、加えて、ステップST21において、危険度(リスクポテンシャル)が増加傾向にある場合にサリエンシー指標の判定閾値を第2基準から下げるようにし、危険度(リスクポテンシャル)が減少傾向にある場合にサリエンシー指標の判定閾値を上げるようにしてもよい。これにより、例えば、危険度が高まったことにより、運転者が異常状態であるにもかかわらず、サリエンシーが相対的に低い危険個所を見ているような場合においても、未判定状態となることを低減することができる。
【0106】
また、上記の実施形態において、第1から第4の基準(以下、単に所定の基準という)を用い、それらよりも高いか低いかを判定するようにしているが、本判定には様々な方法を適用することができる。例えば、基準を超えている期間を判定要素に加えてもよいし、所定期間の平均値や加重平均値と所定の基準とを比較するようにしてもよい。また、所定の基準に関し、その基準を超えているまたは下回っている期間の概念を運転者の異常判定の基準に加えてもよい。また、所定の基準に関し、その基準を超えているまたは下回っている期間と大きさとで形成される領域の面積の概念を運転者の異常判定の基準に加えてもよい。