特開2021-77139(P2021-77139A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ マツダ株式会社の特許一覧
<>
  • 特開2021077139-運転者状態推定装置 図000003
  • 特開2021077139-運転者状態推定装置 図000004
  • 特開2021077139-運転者状態推定装置 図000005
  • 特開2021077139-運転者状態推定装置 図000006
  • 特開2021077139-運転者状態推定装置 図000007
  • 特開2021077139-運転者状態推定装置 図000008
  • 特開2021077139-運転者状態推定装置 図000009
  • 特開2021077139-運転者状態推定装置 図000010
  • 特開2021077139-運転者状態推定装置 図000011
  • 特開2021077139-運転者状態推定装置 図000012
  • 特開2021077139-運転者状態推定装置 図000013
  • 特開2021077139-運転者状態推定装置 図000014
  • 特開2021077139-運転者状態推定装置 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2021-77139(P2021-77139A)
(43)【公開日】2021年5月20日
(54)【発明の名称】運転者状態推定装置
(51)【国際特許分類】
   G08G 1/16 20060101AFI20210423BHJP
   B60K 28/06 20060101ALI20210423BHJP
   B60W 40/08 20120101ALI20210423BHJP
   B60W 40/02 20060101ALI20210423BHJP
   A61B 5/00 20060101ALI20210423BHJP
   A61B 3/113 20060101ALI20210423BHJP
   G06T 7/20 20170101ALI20210423BHJP
【FI】
   G08G1/16 F
   B60K28/06 Z
   B60W40/08
   B60W40/02
   A61B5/00 G
   A61B3/113
   G06T7/20 300B
【審査請求】未請求
【請求項の数】5
【出願形態】OL
【全頁数】19
(21)【出願番号】特願2019-203788(P2019-203788)
(22)【出願日】2019年11月11日
(71)【出願人】
【識別番号】000003137
【氏名又は名称】マツダ株式会社
(74)【代理人】
【識別番号】110001427
【氏名又は名称】特許業務法人前田特許事務所
(72)【発明者】
【氏名】岩瀬 耕二
(72)【発明者】
【氏名】坂本 和夫
(72)【発明者】
【氏名】原 利宏
【テーマコード(参考)】
3D037
3D241
4C117
4C316
5H181
5L096
【Fターム(参考)】
3D037FA01
3D037FB12
3D241BA49
3D241BA50
3D241BA60
3D241BA70
3D241CD03
3D241CD07
3D241CE05
3D241DD02Z
3D241DD04Z
3D241DD07Z
4C117XB02
4C117XB18
4C117XE06
4C117XE43
4C117XJ13
4C117XJ42
4C117XJ46
4C117XJ48
4C117XK09
4C117XR12
4C316AA21
4C316FA20
4C316FB13
4C316FB21
4C316FZ01
4C316FZ03
5H181AA01
5H181AA21
5H181CC04
5H181LL01
5H181LL02
5H181LL04
5H181LL06
5H181LL09
5H181LL20
5L096BA04
5L096CA04
5L096CA05
5L096DA03
5L096FA67
5L096GA51
5L096HA02
(57)【要約】      (修正有)
【課題】車両走行時における運転者の状態を推定する精度を向上させる運転者状態推定装置を提供する。
【解決手段】運転者状態推定装置20は、カメラ100により撮影された画像に対して、フロントピラートリムを示す画像を合成して、合成画像データを出力する画像処理部52と、合成画像データに示された物標に対して、運転者の視線の惹きつけやすさを示す誘目度を算出して、誘目度マップを生成する誘目度算出部53と、運転者の視線方向及び誘目度マップに基づいて、運転者の状態を推定する推定部54とを備える。誘目度算出部は、誘目度を算出するときには、フロントピラートリムの鉛直方向に対する傾斜角度を考慮して、フロントピラートリムの近傍領域の誘目度を算出する。
【選択図】図3
【特許請求の範囲】
【請求項1】
車両の運転者の視線移動に基づいて、該運転者の状態を推定する運転者状態推定装置であって、
前記運転者の視線方向を検知する視線検知装置と、
前記車両に搭載され、車両前側の外部環境を撮影するカメラと、
前記カメラにより撮影された画像に対して、前記車両の走行時に前記運転者の視界領域に入るフロントピラートリムを示す画像を合成して、合成画像データを出力する画像処理部と、
前記合成画像データに基づいて、車両前側の物標に対して、前記運転者の視線の惹きつけやすさを示す誘目度を算出して、誘目度マップを生成する誘目度算出部と、
前記視線検知装置が検知した前記運転者の視線方向及び前記誘目度マップに基づいて、前記運転者の状態を推定する推定部とを備え、
前記誘目度算出部は、前記フロントピラートリムの近傍領域の誘目度を算出するときには、前記合成画像データにおける当該フロントピラートリムの鉛直方向に対する傾斜角度を考慮して誘目度を算出することを特徴とする運転者状態推定装置。
【請求項2】
請求項1に記載の運転者状態推定装置において、
前記誘目度算出部は、前記フロントピラートリムの前記傾斜角度が大きいときには、前記傾斜角度が小さいときと比較して、誘目度を高くすることを特徴とする運転者状態推定装置。
【請求項3】
請求項1に記載の運転者状態推定装置において、
前記誘目度算出部は、前記合成画像データにおいて前記近傍領域に位置する物標の長手方向と前記フロントピラートリムの長手方向とのなす角度が大きいときには、前記角度が小さいときと比較して、誘目度を高くすることを特徴とする運転者状態推定装置。
【請求項4】
請求項1〜3のいずれか1つに記載の運転者状態推定装置において、
前記推定部は、前記視線検知装置により検知される前記運転者の視線が、誘目度が所定値以上の領域に向いた頻度である視線頻度に基づいて、前記運転者の状態を推定することを特徴とする運転者状態推定装置。
【請求項5】
請求項4に記載の運転者状態推定装置において、
前記推定部は、前記視線頻度が所定頻度以上であるときに、前記運転者に異常が生じていると推定することを特徴とする運転者状態推定装置。
【発明の詳細な説明】
【技術分野】
【0001】
ここに開示された技術は、運転者状態推定装置に関する技術分野に属する。
【背景技術】
【0002】
昨今、国家的に自動運転システムの開発が推進されている。本願出願人は、現時点において、自動運転システムには、大きく分けると2つの方向性があると考えている。
【0003】
第1の方向性は、自動車が主体となって運転者の操作を要することなく乗員を目的地まで運ぶシステムであり、いわゆる自動車の完全自動走行である。一方、第2の方向性は、自動車の運転を楽しみたい等、あくまで人間が運転をすることを前提とした自動運転システムである。
【0004】
第2の方向性の自動運転システムでは、例えば、運転者に疾患等が発生し正常な運転が困難な状況が発生した場合等に、自動車が自動的に乗員に変わって自動運転を行うことが想定される。このため、運転者に異常が発生したこと、特に、運転者に機能障害や疾患が発生したことをいかに早期にかつ精度良く発見できるかが、運転者の救命率の向上や周囲を含めた安全を確保する観点から極めて重要となる。
【0005】
運転者の異常を推定する方法として、例えば、特許文献1のように、車両の運転者の視線移動に基づいて、該運転者の状態を推定する試みが行われている。具体的に、特許文献1には、運転者の視線方向、及び自車両周辺を撮像する撮像手段より撮像された画像を取得すると共に、自車両周辺に存在する物体上の複数の点の各々の自車両を基準とする位置を特定する3次元位置情報を取得する取得手段と、運転者の視線先の目立ち度を計算する目立ち度計算手段と、目立ち度計算手段により計算された目立ち度に基づいて、運転者が目立つ部分に視線を向けた度合いと予め定めた閾値とを比較して、運転者の状態を判定する判定手段とを有する運転者状態判定装置が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第5966640号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、カメラにより取得された画像と、実際の運転者の視界領域とには違いがある。すなわち、一般に、運転者の視界には車両前側の外部環境に加えて、車両構成部材が含まれる。本願発明者らが鋭意研究した結果、これら車両構成部材の有無により、運転者の視界領域において、運転者の視線が惹きつけられる場所が変化することが分かった。このため、単純にカメラで撮影された画像から目立ち度等を算出するのでは、運転者の状態を推定する精度が低くなってしまう。
【0008】
ここに開示された技術は、車両走行時における運転者の状態を推定する精度を向上させる。
【課題を解決するための手段】
【0009】
前記課題を解決するために、ここに開示された技術では、車両の運転者の視線移動に基づいて、該運転者の状態を推定する運転者状態推定装置を対象として、前記運転者の視線方向を検知する視線検知装置と、前記車両に搭載され、車両前側の外部環境を撮影するカメラと、前記カメラにより撮影された画像に対して、前記車両の走行時に前記運転者の視界領域に入るフロントピラートリムを示す画像を合成して、合成画像データを出力する画像処理部と、前記合成画像データに基づいて、車両前側の物標に対して、前記運転者の視線の惹きつけやすさを示す誘目度を算出して、誘目度マップを生成する誘目度算出部と、前記視線検知装置が検知した前記運転者の視線方向及び前記誘目度マップに基づいて、前記運転者の状態を推定する推定部とを備え、前記誘目度算出部は、前記フロントピラートリムの近傍領域の誘目度を算出するときには、前記合成画像データにおける当該フロントピラートリムの鉛直方向に対する傾斜角度を考慮して誘目度を算出する、という構成とした。
【0010】
すなわち、本願発明者らの研究により、フロントピラートリムの角度が誘目度に影響を与えることが分かった。具体的には、フロントピラートリムの鉛直方向に対する傾斜角度(鋭角側の角度、以下、ピラー傾斜角度という)が大きいときには、運転者の視界領域におけるフロントピラートリムの近傍領域の誘目度が高くなることが分かった。ピラー傾斜角度が小さい場合、フロントピラートリムの近傍に位置する物標は、車両が前進したときには、その全体が略同時にフロントピラートリムによって遮られる。一方で、ピラー傾斜角度が大きい場合、フロントピラートリムの近傍領域に視認される物標は、車両が前進したときには、下側の部分から徐々にフロントピラートリムによって遮られる。これにより、ピラー傾斜角度が大きい場合、物標が後側かつ上側に移動しているように錯覚される。このため、ピラー傾斜角度が大きい場合、フロントピラートリムの近傍領域に視認される物標は運転者の視線を惹きつけやすくなる。
【0011】
前述の構成によると、フロントピラートリムの鉛直方向に対する傾斜角度を考慮して誘目度を算出されるため、運転者の視界領域における誘目度の算出精度が向上する。よって、運転者の視線移動に基づいて運転者の状態を推定する場合に、車両走行時における運転者の状態を推定する精度を向上させることができる。
【0012】
尚、ここでいう誘目度は、周囲に対する目立ちやすさを表すものであって、熟練の運転者が意識的に見る場合は考慮しないものである。
【0013】
前記運転者状態推定装置において、前記誘目度算出部は、前記フロントピラートリムの前記傾斜角度が大きいときには、前記傾斜角度が小さいときと比較して、誘目度を高くする、という構成でもよい。
【0014】
すなわち、前記ピラー傾斜角度が大きいときには、運転者の視線を惹きつけやすい。このため、前述の構成によると、運転者の視界領域における誘目度を一層精度良く算出することができる。この結果、車両走行時における運転者の状態を推定する精度を一層向上させることができる。
【0015】
前記運転者状態推定装置において、前記誘目度算出部は、前記合成画像データにおいて前記近傍領域に位置する物標の長手方向と前記フロントピラートリムの長手方向とのなす角度が大きいときには、前記角度が小さいときと比較して、誘目度を高くする、という構成でもよい。
【0016】
すなわち、前記ピラー傾斜角度が大きかったとしても、物標の長手方向がフロントピラートリムの長手方向と略平行であれば、車両が前進したときには、当該物標の全体が略同時にフロントピラートリムによって遮られる。つまり、物標の長手方向とフロントピラートリムの長手方向とのなす角度が小さければ、物標が動いているように錯覚されにくいため、運転者の視線を惹きつけにくくなる。したがって、物標の長手方向とフロントピラートリムの長手方向とのなす角度が小さければ誘目度は低くなる。よって、前述の構成によると、運転者の視界領域における誘目度を一層精度良く算出することができる。この結果、車両走行時における運転者の状態を推定する精度を一層向上させることができる。
【0017】
前記運転者状態推定装置の一実施形態において、前記推定部は、前記視線検知装置により検知される前記運転者の視線が、誘目度が所定値以上の領域に向いた頻度である視線頻度に基づいて、前記運転者の状態を推定する、という構成であってもよい。
【0018】
特に、前記一実施形態において、前記推定部は、前記視線頻度が所定頻度以上であるときに、前記運転者に異常が生じていると推定する、という構成であってもよい。
【0019】
すなわち、運転者は、正常な状態であれば、車両走行時には駐車車両、歩行者、脇道等の注視すべき視認対象物を見ながら運転する。しかしながら、運転者が漫然状態であったり、運転者に体調異常が発生して能動的な運転が出来なくなったりしたときには、運転者は、誘目度が高い領域に自然と視線を向けるようになる。つまり、運転者が誘目度の高い領域を見る頻度が高いときには、運転者に異常が生じている可能性が高い。このため、運転者の視線頻度により運転者の状態を推定するようにすれば、車両走行時における運転者の状態を推定する精度をより一層向上させることができる。
【発明の効果】
【0020】
以上説明したように、ここに開示された技術によると、運転者の視線移動に基づいて運転者の状態を推定する場合に、車両走行時における運転者の状態を推定する精度を向上させることができる。
【図面の簡単な説明】
【0021】
図1】例示的な実施形態1に係る運転者状態推定装置を搭載した車両の車室内を前側部分を示す概略図である。
図2】車両を前側から見た正面図である。
図3】運転者状態推定装置の構成を示すブロック図である。
図4】カメラにより撮影された車両前側の外部環境を示す図である。
図5A】合成画像データを示す図であって、フロントピラートリムの鉛直方向に対する傾斜角度が小さい場合を示す。
図5B】合成画像データを示す図であって、フロントピラートリムの鉛直方向に対する傾斜角度が大きい場合を示す。
図6A図5Aに示す合成画像データに基づいて算出されたサリエンシーの分布を示す図である。
図6B図5Bに示す合成画像データに基づいて算出されたサリエンシーの分布を示す図である。
図7】運転者の注視点のサリエンシーを示すグラフである。
図8】誘目度マップからランダムに摘出した点のサリエンシーを示すグラフである。
図9】ランダム点における閾値を超える割合と運転者の注視点における閾値を超える割合とを比較したグラフである。
図10】推定部の処理動作を示すフローチャートである。
図11】実施形態2に係る運転者状態推定装置において、サリエンシーの算出方法を概念的に示す図である。
【発明を実施するための形態】
【0022】
以下、例示的な実施形態について、図面を参照しながら詳細に説明する。尚、以下の説明において、車両の前進走行側を単に前側といい、後退走行側を単に後側という。また、後側から前側を見たときの左側を左側といい、その逆を右側という。
【0023】
〈実施形態1〉
図1は、車両としての自動車の車室内を概略的に示す。この車両は、右ハンドル式の車両であって、右側にステアリングホイール8が配置されている。
【0024】
車室内において、運転席から見て車両前側にはフロントウィンドウガラス1が配置されている。フロントウィンドウガラス1は、車室内側から見て、複数の車両構成部材により区画されている。具体的には、フロントウィンドウガラス1は、左右のフロントピラートリム2と、ルーフトリム3と、インストルメントパネル4とによって区画されている。
【0025】
左右のフロントピラートリム2は、フロントウィンドウガラス1の車幅方向外側の境界をそれぞれ構成している。各フロントピラートリム2は、各フロントピラー12に沿って配置されている。各フロントピラートリム2は、図1に示すように、上側に向かって互いに離間するように斜めに傾斜してそれぞれ配置されている。
【0026】
ルーフトリム3は、フロントウィンドウガラス1の上側の境界を構成している。ルーフトリム3は、車両のルーフパネル13の車室内側を覆っている。フロントウィンドウガラス1の車幅方向の中央でかつルーフトリム3のやや下側の部分には、バックミラー5が取り付けられている。ルーフトリム3におけるバックミラー5の近傍部分には、車室内、特に、運転者の顔面を撮影する車室内カメラ101(図3参照)が設けられている。車室内カメラ101は、運転者の瞳孔の変化を検出できる程度に高性能なカメラで構成されている。
【0027】
インストルメントパネル4は、フロントウィンドウガラス1の下側の境界を構成している。インストルメントパネル4には、メーターボックスやディスプレイ7が設けられている。
【0028】
また、前記車両は、左右のフロントピラー12よりも車幅方向外側に、サイドミラー6をそれぞれ有している。各サイドミラー6は、運転席に着座した運転手がサイドドアのウィンドウ越しに見ることが出来るように配置されている。
【0029】
前記車両は、図2に示すように、車両前側の外部環境を撮影するためのカメラ100が設けられている。カメラ100は、車両の前側端部であって、車両のボンネット9よりもやや下側に配置されている。
【0030】
(運転者状態推定装置の構成)
本実施形態1に係る車両は、運転者の視線移動に基づいて、該運転者の状態を推定する機能を有している。図3は、運転者状態推定装置20の構成を示す。運転者状態推定装置20は、実際に運転者状態を推定するための推定部54を有するコントローラ50を有する。このコントローラ50は、周知のマイクロコンピュータをベースとするコントローラであって、プログラムを実行する中央演算処理装置(Central Processing Unit:CPU)と、例えばRAM(Random Access Memory)やROM(Read Only Memory)により構成されてプログラム及びデータを格納するメモリと、電気信号の入出力をする入出力バスと、を備えている。
【0031】
コントローラ50は、図3に示すように、各種のセンサと接続されている。センサは、例えば、車両前側の外部環境を撮影するカメラ100と、運転者の顔面を撮影する車室内カメラ101と、ステアリングホイール8に設けられ、運転者の手の発汗状態を検知する発汗センサ102とを含む。
【0032】
コントローラ50は、車室内カメラ101により撮影された運転者の眼球から、運転者の視線方向を算出する視線算出部51を有する。視線算出部51は、例えば、運転者が車室内カメラ101のレンズを覗いた状態を基準にして、そこからの運転者の瞳孔の変化を検知することで運転者の視線方向を算出する。視線方向の算出は、運転者の左目及び右目のどちらか一方から算出してもよいし、運転者の両目のそれぞれから求めた視線方向(視線ベクトル)の平均値としてもよい。また、運転者の瞳孔の変化から運転者の視線方向を算出することが困難であるときには、運転者の顔面の向きを更に考慮して視線方向を算出してもよい。車室内カメラ101及びコントローラ50は、視線検知装置の一例である。
【0033】
コントローラ50は、カメラ100により撮影された画像D1に対して、フロントピラートリムを示す画像を合成する画像処理を行って、合成画像データD2を出力する画像処理部52を有する。画像処理部52により実行される画像処理については後述する。
【0034】
コントローラ50は、合成画像データD2に基づいて、車両前側の物標に対して、運転者の視線の惹きつけやすさを示す誘目度を算出して、誘目度マップD3を生成する誘目度算出部53を有する。本実施形態1では、誘目度算出部53は、誘目度としてサリエンシー(視覚的顕著性)を算出する。サリエンシーとは、色、輝度、動き等により刻々と変化する顕著性からなる視覚特徴量である。すなわち、サリエンシーが高いとは、顕著性が高いことを表し、サリエンシーが高い領域とは周囲に対して目立つ領域のことである。より具体的には、周囲の領域に対して色差や輝度差が大きかったり、周囲に対して動きが生じていたりする領域は、サリエンシーが高くなる。
【0035】
コントローラ50は、誘目度マップD3、視線算出部51が算出した運転者の視線方向、発汗センサ102の検出結果、及び車室内カメラ101により撮影された運転者の瞳孔径の変化に基づいて、運転者の状態を推定する推定部54を有する。詳しくは後述するが、推定部54は、誘目度マップD3及び視線算出部51の算出結果から、運転者が正常状態であるか異常状態であるかを推定する。推定部54は、運転者が異常状態であると推定されるときに、発汗センサ102の検出結果及び車室内カメラ101により撮影された運転者の瞳孔径の変化等から、運転者の状態をより詳細に推定する。尚、運転者の異常状態とは、運転者に体調異常が発生している状態に限らず、運転者の漫然状態や、運転者の覚醒度が低下(眠気が増加)している状態を含む。
【0036】
コントローラ50は、推定部54の推定結果に基づいて、車両に搭載された各種アクチュエータA、ディスプレイ7、ブザーB等を制御する。尚各種アクチュエータAとは、エンジンシステム、ブレーキシステム、及びステアリングシステムを構成するアクチュエータを含む。
【0037】
(画像処理部による画像処理)
次に、画像処理部52による画像処理について説明する。画像処理部52は、カメラ100で撮影された車両前側の外部環境を示す画像D1に対して、車両の走行時に前記運転者の視界領域に入るフロントピラートリムを示す画像を合成して合成画像データD2を生成する処理を行う。また、画像処理部52は、カメラ100の撮影した画像D1に対して、画像D1を構成する素子のうち誘目度算出部53での処理(サリエンシーの算出)に不要な画素を削除する処理を行う。
【0038】
図4は、カメラ100が撮影した車両前側の外部環境を示す画像D1である。この画像D1に示す外部環境には、車道150と、車道150上の白線151とが含まれている。また、この画像D1に示された外部環境には、他車両161と、車道150の右側に形成された壁162と、壁162よりも右側の領域に植えられた樹木163と、樹木163よりも右側の領域に広がる丘164と、車道150の左側に形成された森林165が含まれている。また、この画像D1に示された外部環境には、建物166と、建物166及び森林165の上側に広がる空167が含まれている。尚、以下の説明において、画像D1の空167は曇り空であり、ほぼ白色であると仮定する。
【0039】
本実施形態1において、画像処理部52は、画像D1に対して、車両の走行時に運転者の視界領域に入るフロントピラートリム2を示す画像を合成する。実際には、画像処理部52は、フロントピラートリム2以外に、運転席に着座した運転者が車両前側を見たときに該運転者の視界領域に入る車両構成部材を示す画像についても合成する。具体的には、図5A図5Bに示すように、画像処理部52は、運転席に着座した運転者が車両前側を見たときの、左側(運転席側)のフロントピラートリム2と、ルーフトリム3の左側の部分と、インストルメントパネル4の左側の部分と、左側のサイドミラー6と、ステアリングホイール8と、ボンネット9の一部とを示す画像を画像D1に合成する。この合成用の画像は、例えば、運転席側から予め撮影しておき、撮影したデータをレイヤとしてコントローラ50のメモリに保存させておくことができる。そして、画像D1に合成用の画像を合成するときには、画像処理部52がメモリから当該画像を読み込んで、当該画像をレイヤとして画像D1に重ねるようにすればよい。
【0040】
図5A図5Bに示すように、合成画像では、画像D1の一部が車両構成部材により遮られた状態になる。画像処理部52は、この合成画像を示す合成画像データD2を誘目度算出部53に出力する。
【0041】
(誘目度マップの生成)
誘目度算出部53は、合成画像データD2に対してサリエンシーを算出して、誘目度マップ(ここでは、サリエンシーマップ)を生成する。具体的には、誘目度算出部53は、合成画像データD2のうち外部環境を表す部分、すなわち、画像処理部52で合成した画像以外の部分についてサリエンシーを算出する。このとき、誘目度算出部53は、画像処理部52で合成した画像の部分(車両構成部材の部分)については、サリエンシー自体は算出しないものの、合成画像データD2のうち外部環境を表す部分のサリエンシーの算出には利用する。つまり、誘目度算出部53は、車両の走行時に運転者の視界領域に入る車両構成部材を考慮して誘目度を算出する。
【0042】
前述したように、サリエンシーは、物標の色、輝度、動き等により変化する。そこで、本実施形態1では、誘目度算出部53は、色に基づくサリエンシー、輝度に基づくサリエンシー、動きに基づくサリエンシー等、特徴毎にサリエンシーを算出して、特徴毎の誘目度マップを生成した後に、それらを足し合わせることで最終的な誘目度マップD3を生成する。
【0043】
例えば、色に基づくサリエンシーについては、誘目度算出部53は、合成画像データD2における車両構成部材の近傍領域において、当該近傍領域と車両構成部材との色差が大きいときには、該色差が小さいときと比較して、近傍領域のサリエンシーを高くする。尚、色差とは、ある画素の色のRGBを(R1,G1,B1)とし、他の画素の色のRGBを(R2,G2,B2)したときに、以下の式により算出される。
(色差)={(R2−R1)+(G2−G1)+(B2−B1)}1/2
誘目度算出部53は、色差が大きいほどサリエンシーを連続的に高くするように算出してもよいし、複数の閾値を設けて閾値を超える毎にサリエンシーが一定値高くなるように算出してもよい。
【0044】
また、例えば、輝度に基づくサリエンシーについては、誘目度算出部53は、合成画像データD2における車両構成部材の近傍領域において、当該近傍領域と車両構成部材との輝度差が大きいときには、該輝度差が小さいときと比較して、近傍領域のサリエンシーを高くする。例えば、誘目度算出部53は、合成した車両構成部品が黒色であるときには、白色に近い部分ほど輝度差が大きくなるため、近傍領域のうち白色に近い部分のサリエンシーを高くする。誘目度算出部53は、輝度差が大きいほどサリエンシーを連続的に高くするように算出してもよいし、複数の閾値を設けて閾値を超える毎にサリエンシーが一定値高くなるように算出してもよい。
【0045】
特に、本実施形態1では、動きに基づくサリエンシーを算出する際に、フロントピラートリム2の長手方向の鉛直方向に対する鋭角側の角度α(以下、ピラー傾斜角度αという)が考慮される。具体的には、誘目度算出部53は、ピラー傾斜角度αが大きいときには、該ピラー傾斜角度αが小さいときと比較して、フロントピラートリム2の近傍領域の誘目度を高くする。尚、本実施形態1では、ピラー傾斜角度αは、図5A及び図5Bに示すように、フロントピラートリム2におけるフロントウィンドウガラス1との境界部分の傾斜角度としている。当該境界部分の延びる方向は、フロントピラートリム2の長手方向とほぼ一致しているので、特に問題とならない。
【0046】
ピラー傾斜角度αが小さいときには、車両の前進時に、運転者の視界領域において物標の全体が略同時にフロントピラートリム2に遮られる。この場合には、物標に特に動きは生じない。
【0047】
一方で、ピラー傾斜角度αが大きいときには、車両の前進時に、運転者の視界領域において物標が下側の部分から徐々にフロントピラートリム2に遮られる。これにより、運転者は物標が後側かつ下側に移動しているように錯覚してしまう。つまり、物標自体は動いていないが、運転者の視界には物標に動きがあるように見える。このため、フロントピラートリム2の近傍領域は、他の部分と比較して目立ちやすくなる。このことから、ピラー傾斜角度αが大きいときには、フロントピラートリム2に近傍領域の誘目度を高くする。
【0048】
誘目度算出部53は、ピラー傾斜角度αが大きいほどサリエンシーを連続的に高くするように算出してもよいし、複数の閾値を設けて、ピラー傾斜角度αが各閾値を超える毎にサリエンシーが一定値高くなるように算出してもよい。特に、ピラー傾斜角度αが第1所定角度よりも大きいときに、ピラー傾斜角度αが該第1所定角度から大きくなるほどサリエンシーが高くなるように算出してもよい。
【0049】
尚、前述したように、合成用の画像は予め運転席から撮影したものを用いることができる。このため、ピラー傾斜角度αは、合成用の画像から予め算出された値をメモリに保存しておいてもよい。
【0050】
サリエンシーの算出自体は、インターネット上等で公開されている既知のコンピュータプログラムを用いることができる。また、特徴毎の誘目度マップ(ここではサリエンシーマップ)の算出及び各誘目度マップの統合についても既知のコンピュータプログラムを用いることができる。
【0051】
図6Aは、ピラー傾斜角度αが小さい場合の、サリエンシーの分布を示す誘目度マップD3である。図6Aに示すように、空166におけるルーフトリム3と森林164とで仕切られた部分が、特にサリエンシーの高い部分となっている。これは、ピラー傾斜角度αが小さい場合には、色差及び輝度差がサリエンシーに大きく影響するためである。つまり、空166におけるルーフトリム3と森林164とで仕切られた部分は、ルーフトリム3及び森林164との色差及び輝度差が大きくなるため、サリエンシーが高くなる。
【0052】
一方で、図6Bは、ピラー傾斜角度αが大きい場合の、サリエンシーの分布を示す誘目度マップD3である。図6Bに示すように、空166におけるルーフトリム3と森林164とで仕切られた部分に加えて、フロントピラートリム2の近傍部分がサリエンシーの高い部分となっている。これは、ピラー傾斜角度αが大きい場合には、フロントピラートリム2の近傍部分、特に境界部分には、色差及び輝度差に加えて、動きがサリエンシーを高める要素として加えられるためである。
【0053】
このように、本実施形態1のように、ピラー傾斜角度αを考慮してサリエンシーを算出することで、車両の走行時に、運転者が視線を惹きつけられやすい領域を精度良く算出することができる。
【0054】
(視線頻度の算出)
次に視線頻度の算出について図7図9を参照しながら説明する。尚、本実施形態では、視線頻度の算出は推定部54が行う。
【0055】
図7は、運転者の注視点、すなわち、運転者の視線の先にある点のサリエンシーをプロットしたものである。このグラフは、視線算出部51により運転者の視線方向を割り出して、該視線方向の先にある注視点を誘目度マップD3に当てはめて、該誘目度マップD3から当該注視点のサリエンシーを求めることで生成される。この各点は所定のサンプリング周期毎に求められる。
【0056】
一方で、図8は、誘目度算出部53により生成された誘目度マップD3からランダムに座標を指定して、該座標のサリエンシーを求めることで生成される。この各点は所定のサンプリング周期毎に求められる。
【0057】
図7及び図8のグラフをそれぞれ作成した後は、ランダム点における閾値を超える割合と運転者の注視点における閾値を超える割合とのROC(Receiver Operating Characteristic)曲線を求める。具体的には、まず、第1ステップとして、閾値を図7及び図8のグラフにおいて最大値よりも大きい値に設定する。次に、第2ステップとして、閾値を低下させながら、閾値毎に該閾値を超えた点の割合を求める。そして、この第2ステップの処理を閾値が、図7及び図8のグラフにおいて最小値以下になるまで繰り返す。
【0058】
図7及び図8に示すグラフは、所定の計測周期毎に区切って生成される。計測周期は任意に定めることができ、例えば、5秒に設定することができる。
【0059】
前記第1及び第2ステップの後、第3ステップとして、ランダム点における閾値を超える割合(第1確率という)を横軸にとりかつ運転者の注視点における閾値を超える割合(第2確率という)を縦軸にとって、図9のようなグラフを作成する。図9のグラフは、同一の閾値におけるランダム確率に対する注視確率を表す。図9のグラフは、横軸及び縦軸ともに確率であるため、曲線の最小値は0であり、最大値は1である。
【0060】
図9において破線は、運転者の視線が視界全体に偏りなく向いていることを表す。すなわち、運転者の視線が視角領域全体に亘っているのであれば、第1確率と第2確率とは大きくずれることはない。このため、運転者の視線が視角領域全体に亘っているのであれば、第1確率と第2確率とを比較したときには、図9に破線で示すような直線形状になる。これに対して、図9の曲線C1のように、曲線が上側に凸に広がる場合は、運転者の注視点は閾値を超える割合が高いことを表す。すなわち、図9の曲線C1のような形状の曲線が算出されたときは、運転者の視線がサリエンシーの高い箇所を見る傾向にあることを意味している。一方で、図9の曲線C2のように、曲線が下側に凸に広がる場合は、運転者の注視点は閾値を超える割合が低いことを表す。すなわち、図9の曲線C2のような形状の曲線が算出されたときは、運転者の視線がサリエンシーの低い箇所を見る傾向にあることを意味している。
【0061】
本実施形態では、第4ステップとして、AUC(Area Under Curve)を求める。AUCは、この曲線の右下部分の積分値(つまり、曲線と図9の2点鎖線とで囲まれた部分の面積)である。本実施形態では、この積分値を視線頻度としている。このように、運転者が注視した箇所のサリエンシーと、誘目度マップD3からランダムに指定した座標のサリエンシーとを比較して視線頻度を算出することで、視線頻度の算出精度を向上させることができる。すなわち、誘目度マップD3においてサリエンシーが高い領域がマップ全体に広がっていた場合、運転者がどの位置を注視したとしてもサリエンシーの高い箇所を見ることになる。この場合、単純に閾値以上のサリエンシーを見た割合を算出するだけでは、たとえ運転者が視界領域全体を偏りなく見ていたとしても、視線頻度が高いと算出されてしまう。これに対して、本実施形態のように、ランダム点との比較を行うようにすれば、サリエンシーが高い領域がマップ全体に広がっていたとしても、運転者の視界領域全体をランダムに見た場合と同じ傾向にあるか比較できる。したがって、運転者の視線方向に偏りがあるか否かをより正確に判断することができる。
【0062】
(運転者状態の推定)
次に、推定部54により運転者状態を推定する処理動作を図10のフローチャートに基づいて説明する。
【0063】
まず、ステップS101において、推定部54は、各種データを取得する。特に、推定部54は、視線算出部51の算出結果、誘目度算出部53により生成された誘目度マップD3、車室内カメラ101で取得された運転者の顔面の画像データ、及び発汗センサ102の検知結果を取得する。
【0064】
次のステップS102において、推定部54は、視線頻度を算出する。推定部54は、前述したような計算方法により視線頻度を算出する。
【0065】
続くステップS103において、推定部54は、運転者の注意力が低下しているか否かを推定する。具体的には、推定部54は、前記ステップS102で算出した視線頻度が所定頻度以上であるときには運転者の注意力が低下していると推定する。推定部54は、視線頻度が所定頻度以上であって、運転者の注意力が低下していると推定されるYESのときには、ステップS104に進む。一方で、推定部54は、視線頻度が所定頻度未満であって、運転者の注意力が低下していないと推定されるNOのときには、ステップS106に進む。
【0066】
前記ステップS104では、推定部54は、運転者が、交感神経が優位な状態であるか否かを推定する。具体的には、推定部54は、発汗センサ102により検知される単位時間あたりの発汗量が所定量以上であるときには、交感神経が優位な状態であると推定する。一方で、推定部54は、発汗センサ102により検知される単位時間あたりの発汗量が所定量未満であるときには、副交感神経が優位な状態であると推定する。推定部54は、発汗センサ102の検知結果が所定量以上であって、交感神経が優位であると推定されるYESのときには、ステップS105に進む。一方で、推定部54は、発汗センサ102の検知結果が所定量未満であって、副交感神経が優位であると推定されるYESのときには、ステップS107に進む。
【0067】
前記ステップS105では、推定部54は、運転者が、能動的に運転している状態であるか否かを推定する。具体的には、推定部54は、車室内カメラ101により撮影された運転者の瞳孔径の変化から推定する。より詳しくは、推定部54は、運転者の視線移動の前後で瞳孔径にほとんど変化がなかった場合には、運転者は能動的に運転していると推定する。一方で、推定部54は、運転者の視線移動の前後で瞳孔径が変化している場合には、運転者は受動的に運転していると推定する。これは、運転者が受動的に運転をしているときには、目に刺激を受けてから視線を移動させるためである。推定部54は、運転者が能動的に運転していると推定されるYESのときには、ステップS109に進む。一方、推定部54は、運転者が受動的に運転していると推定されるNOのときには、ステップS108に進む。尚、運転者の左目の視線と右目の視線との交差角である輻輳角を算出して、該輻輳角に基づいて運転者が能動的に運転しているか否かを推定するようにしてもよい。
【0068】
前記ステップS106では、推定部54は、運転者は正常な状態であると推定する。すなわち、運転者に何らかの異常がある場合には、運転者の注意力が低下する。よって、運転者に注意力の低下が見られない場合には、運転者は正常な状態であると推定する一方、運転者に注意力の低下が見られる場合には、運転者に異常が生じていると推定することができる。ステップS106の後は、リターンする。
【0069】
前記ステップS107では、推定部54は、運転者の覚醒度が低下(眠気が増加)している状態であると推定する。一般に、副交感神経が優位な状態は、睡眠時に交感神経に対して優位になる。このため、注意力が低下しかつ副交感神経が優位な状態とは、運転者の覚醒度が低下している状態であると推定することができる。ステップS107の後はリターンする。
【0070】
前記ステップS108では、推定部54は、運転者が漫然状態であると推定する。すなわち、運転者が覚醒状態でありながら受動的に運転していることから、運転者は運転以外のことを考えながら運転している漫然状態であると推定することができる。ステップS108の後はリターンする。
【0071】
前記ステップS109では、推定部54は、運転者に体調異常が生じていると推定する。すなわち、運転者は、体調に異常が生じていたとしても正常な運転を続けようとする。このため、正常な運転を運転者が覚醒状態であって、能動的に運転しているにも拘わらず、注意力が低下している状態であれば、運転者の体調に何らかの異常が生じていると推定することができる。ステップS109の後はリターンする。
【0072】
以上のようにして、推定部54により運転者の状態が推定される。コントローラ50は、運転者の覚醒度が低下していたり(ステップS107)、運転者が漫然状態であったり(ステップS108)と推定されたときには、例えば、ブザーBを鳴らしたり、ディスプレイ7に表示したりする。これにより、コントローラ50は、運転者の覚醒を促したり、運転に集中するように促したりする。また、コントローラ50は、推定部54により運転者に体調異常が生じていると推定されたときには、例えば、各種アクチュエータAに制御信号を出力して、車両を路肩等の安全な領域まで走行させるとともに、該安全な領域に車両を停止させる。
【0073】
したがって、本実施形態1では、運転者の視線方向を検知する視線検知装置(車室内カメラ101及び視線算出部51)と、車両に搭載され、車両前側の外部環境を撮影するカメラ100と、カメラ100により撮影された画像D1に対して、車両の走行時に運転者の視界領域に入るフロントピラートリム2を示す画像を合成して、合成画像データD2を出力する画像処理部52と、合成画像データD2に基づいて、車両前側の物標に対して、運転者の視線の惹きつけやすさを示す誘目度を算出して、誘目度マップD3を生成する誘目度算出部53と、前記視線検知装置が検知した運転者の視線方向及び誘目度マップD3に基づいて、運転者の状態を推定する推定部54とを備え、誘目度算出部53は、フロントピラートリム2の近傍領域の誘目度を算出するときには、合成画像データD2における当該フロントピラートリム2の鉛直方向に対する傾斜角度(ピラー傾斜角度α)を考慮して誘目度を算出する。
【0074】
特に、本実施形態1において、誘目度算出部53は、フロントピラートリム2のピラー傾斜角度αが大きいときには、ピラー傾斜角度αが小さいときと比較して、誘目度を高くする。
【0075】
すなわち、ピラー傾斜角度αが小さい場合、フロントピラートリム2の近傍に位置する物標は、車両が前進したときには、その全体が略同時にフロントピラートリム2によって遮られる。一方で、ピラー傾斜角度αが大きい場合、フロントピラートリム2の近傍領域に視認される物標は、車両が前進したときには、下側の部分から徐々にフロントピラートリム2によって遮られる。これにより、ピラー傾斜角度αが大きい場合、物標が後側かつ下側に移動しているように錯覚される。このため、ピラー傾斜角度αが大きい場合、フロントピラートリム2の近傍領域に視認される物標は運転者の視線を惹きつけやすくなる。したがって、ピラー傾斜角度αを考慮して誘目度を算出することで、運転者の視界領域における誘目度の算出精度が向上する。よって、運転者の視線移動に基づいて運転者の状態を推定する場合に、車両走行時における運転者の状態を推定する精度を向上させることができる。
【0076】
また、本実施形態において、推定部54は、前記視線検知装置により検知される運転者の視線が、誘目度が所定値以上の領域に向いた頻度である視線頻度が所定頻度以上であるときに、運転者に異常が生じていると推定する。すなわち、運転者は、正常な状態であれば、車両走行時には駐車車両、歩行者、脇道等の注視すべき視認対象物を見ながら運転する。しかしながら、運転者が漫然状態であったり、運転者に体調異常が発生して能動的な運転が出来なくなったりしたときには、運転者は、誘目度が高い領域に自然と視線を向けるようになる。つまり、運転者が誘目度の高い領域を見る頻度が高いときには、運転者に異常が生じている可能性が高い。このため、運転者の視線頻度により運転者の状態を推定するようにすれば、車両走行時における運転者の状態を推定する精度をより一層向上させることができる。
【0077】
〈実施形態2〉
以下、実施形態2について、図面を参照しながら詳細に説明する。尚、以下の説明において前記実施形態1と共通の部分については、同じ符号を付して、その詳細な説明を省略する。
【0078】
本実施形態2では、誘目度算出部53によるサリエンシーの算出方法が前記実施形態1とは異なる。具体的には、本実施形態2において、誘目度算出部53は、合成画像データD2において近傍領域に位置する物標の長手方向とフロントピラートリム2の長手方向とのなす角度β(以下、相対角度βという)が大きいときには、相対角度βが小さいときと比較して、サリエンシーを高くする。すなわち、物標の長手方向がフロントピラートリム2の長手方向と略平行であれば、車両が前進したときには、当該物標の全体が略同時にフロントピラートリム2によって遮られる。つまり、相対角度βが小さければ、物標が動いているように錯覚されにくいため、運転者の視線を惹きつけにくくなる。したがって、相対角度βが小さければサリエンシーは低くなる。よって、物標の長手方向まで考慮することにより、運転者の視界領域におけるサリエンシーを一層精度良く算出することができる。
【0079】
具体的に、誘目度算出部53は、図11に示すように、まず合成画像データD2から物標の長手方向を算出する。次に、誘目度算出部53は、物標の長手方向とフロントピラートリム2の長手方向とのなす相対角度βを算出する。そして、誘目度算出部53は、該相対角度βに応じてサリエンシーを算出する。尚、本実施形態2でも、前記実施形態1と同様に、フロントピラートリム2の長手方向として、フロントピラートリム2におけるフロントウィンドウガラス1との境界部分が延びる方向を採用している。
【0080】
誘目度算出部53は、相対角度βが大きいほどサリエンシーを連続的に高くするように算出してもよいし、複数の閾値を設けて、相対角度βが各閾値を超える毎にサリエンシーが一定値高くなるように算出してもよい。特に、相対角度βが第2所定角度よりも大きいときに、相対角度βが該第2所定角度から大きくなるほどサリエンシーが高くなるように算出してもよい。
【0081】
このように、物標とフロントピラートリム2との相対角度βを考慮することにより、運転者の視界領域における誘目度(ここではサリエンシー)を一層精度良く算出することができる。この結果、車両走行時における運転者の状態を推定する精度を一層向上させることができる。
【0082】
尚、誘目度算出部53は、物標の長手方向を算出した後、物標の長手方向の鉛直方向に対する傾斜角度(以下、物標傾斜角度という)を算出するようにしてもよい。この場合、誘目度算出部53は、物標がフロントピラートリム2側に傾いているときには、ピラー傾斜角度αと物標傾斜角度との差を計算する一方、物標がフロントピラートリム2とは反対側に傾いているときには、ピラー傾斜角度αと物標傾斜角度との和を計算する。そして、誘目度算出部53は、該計算値を物標の長手方向とフロントピラートリム2の長手方向とのなす相対角度βとして、サリエンシーを算出する。
【0083】
〈その他の実施形態〉
ここに開示された技術は、前述の実施形態に限られるものではなく、請求の範囲の主旨を逸脱しない範囲で代用が可能である。
【0084】
例えば、前述の実施形態1及び2では、誘目度算出部53は、ピラー傾斜角度α及びフロントピラートリム2と物標との相対角度βを考慮して、誘目度を算出していた。これに加えて、誘目度算出部53は、車速を更に考慮するようにしてもよい。すなわち、ピラー傾斜角度αや相対角度βが大きい場合において、運転者の視界領域における物標の動く速さは車速によって変化するため、車速によっても誘目度が変化する。このため、誘目度算出部53は、例えば、ピラー傾斜角度αや相対角度βが大きい場合において、車速が高いほど誘目度を高くするようにしてもよい。
【0085】
また、前述の実施形態1及び2では、フロントピラートリム2の長手方向として、フロントピラートリム2におけるフロントウィンドウガラス2との境界部分が延びる方向を採用した。これに限らず、フロントピラートリム2の車幅方向の中間部分が延びる方向をフロントピラートリム2の長手方向としてもよい。
【0086】
また、前述の実施形態1及び2では、誘目度を算出する際に考慮する車両構成部材として、左側(運転席側)のフロントピラートリム2と、ルーフトリム3の左側の部分と、インストルメントパネル4の左側の部分と、左側のサイドミラー6と、ステアリングホイール8と、ボンネット9の一部とを採用した。これに限らず、少なくとも、フロントウィンドウガラス1の周縁に位置する、左側(運転席側)のフロントピラートリム2を考慮すればよい。
【0087】
また、前述の実施形態1及び2では、視線頻度の算出を推定部54が行っていたが、これに限らず、視線頻度を計算するためのプロセッサを推定部54とは別に設けてもよい。
【0088】
前述の実施形態は単なる例示に過ぎず、本開示の範囲を限定的に解釈してはならない。本開示の範囲は請求の範囲によって定義され、請求の範囲の均等範囲に属する変形や変更は、全て本開示の範囲内のものである。
【産業上の利用可能性】
【0089】
ここに開示された技術は、車両の運転者の視線移動に基づいて、運転者の状態を推定する運転者状態推定装置として有用である。
【符号の説明】
【0090】
2 フロントピラートリム
20 運転者状態推定装置
50 コントローラ
51 視線算出部(視線検知装置)
52 画像処理部
53 誘目度算出部
54 推定部
100 カメラ
101 車室内カメラ(視線検知装置)
D1 画像
D2 合成画像データ
D3 誘目度マップ
α ピラー傾斜角度(フロントピラートリムの鉛直方向に対する傾斜角度)
β 相対角度(物標の長手方向とフロントピラートリムの長手方向とのなす角度)
図1
図2
図3
図4
図5A
図5B
図6A
図6B
図7
図8
図9
図10
図11