特開 2023-162978 運転者の運転状態の適否を判定するドライバモニタシステム、車両、及びドライバモニタ方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023162978

(43)【公開日】2023-11-09

(54)【発明の名称】運転者の運転状態の適否を判定するドライバモニタシステム、車両、及びドライバモニタ方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20231101BHJP

   G06V 20/59 20220101ALI20231101BHJP

   G06T 7/00 20170101ALI20231101BHJP

【ＦＩ】

G08G1/16 F

G06V20/59

G06T7/00 660A

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022073729

(22)【出願日】2022-04-27

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】森田 貢規

(72)【発明者】

【氏名】平槙 崇

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181CC04

5H181FF05

5H181LL20

5L096AA06

5L096BA04

5L096CA02

5L096DA02

5L096FA67

5L096JA11

(57)【要約】      （修正有）

【課題】運転者毎に車両の運転傾向が異なる場合において、運転者の運転状態の適否の判定を、運転者に応じて高精度に実行可能とする技術の提供。
【解決手段】車両を運転する運転者の運転状態の適否を判定するドライバモニタシステム１０は、複数の運転者の個々の運転者情報と関連付けて、適否を判定するための運転状態判定値を格納するデータベース１２と、運転者情報に基づいて特定した第１の運転者の第１の運転者情報に関連付けてデータベース１２に格納された第１の運転状態判定値を用いて、該第１の運転者の運転中に適否の判定を行うプロセッサ１４とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両を運転する運転者の運転状態の適否を判定するドライバモニタシステムであって、
複数の前記運転者の個々の運転者情報と関連付けて、前記適否を判定するための運転状態判定値を格納するデータベースと、
前記運転者情報に基づいて特定した第１の前記運転者の第１の前記運転者情報に関連付けて前記データベースに格納された第１の前記運転状態判定値を用いて、該第１の運転者の運転中に前記適否の判定を行うプロセッサと、を備える、ドライバモニタシステム。

【請求項2】

前記プロセッサは、
前記第１の運転者の運転状態を表す運転状態パラメータを取得し、
取得した前記運転状態パラメータに基づいて、前記第１の運転状態判定値を更新し、
更新した前記第１の運転状態判定値を、前記第１の運転者情報に関連付けて前記データベースに格納する、請求項１に記載のドライバモニタシステム。

【請求項3】

運転中の前記運転者の顔を撮像する撮像装置をさらに備え、
前記プロセッサは、前記撮像装置が撮像した前記第１の運転者の顔画像に基づいて、該第１の運転者の前記運転状態パラメータを取得する、請求項２に記載のドライバモニタシステム。

【請求項4】

前記プロセッサは、前記第１の運転者の運転中に繰り返し取得した複数の前記運転状態パラメータに基づいて、前記第１の運転状態判定値を更新する、請求項２に記載のドライバモニタシステム。

【請求項5】

前記プロセッサは、前記複数の運転状態パラメータから、新たな運転状態判定値を所定の演算により求め、該新たな運転状態判定値によって前記第１の運転状態判定値を更新する、請求項４に記載のドライバモニタシステム。

【請求項6】

前記プロセッサは、
運転中の前記車両の挙動を表す車両情報に基づいて、前記第１の運転者が前記車両の前方を見ているか否かを推定し、
前方を見ていると推定したときに取得した前記運転状態パラメータに基づいて、前記第１の運転状態判定値を更新する、請求項２に記載のドライバモニタシステム。

【請求項7】

前記車両情報は、前記車両のステアリングの操舵角、前記車両の速度、前記車両の周囲を撮像した環境画像、及び、前記車両の位置情報、の少なくとも１つを有する、請求項６に記載のドライバモニタシステム。

【請求項8】

前記運転状態パラメータは、前記運転者の顔向き方向、又は該運転者の眼の開度を有し、
前記運転状態判定値は、
前記車両の前方を見る前記運転者の前記顔向き方向を基準として定められる基準顔向き方向、及び、該基準顔向き方向に対する前記顔向き方向の角度の閾値を有するか、又は、
前記運転者が前記眼を開いているときの前記開度を基準として定められる基準開度、及び、該基準開度を基準として定められる前記開度の閾値を有する、請求項２に記載のドライバモニタシステム。

【請求項9】

前記運転者情報は、前記運転者の顔画像を有し、
前記ドライバモニタシステムは、運転前に前記運転者の顔を撮像する撮像装置をさらに備え、
前記プロセッサは、前記撮像装置によって撮像された前記運転者の顔画像と、前記データベースに前記運転者情報として予め格納された前記顔画像とを照合することで、前記運転者を特定する、請求項１に記載のドライバモニタシステム。

【請求項10】

請求項１に記載のドライバモニタシステムを備える、車両。

【請求項11】

車両を運転する運転者の運転状態の適否を判定するドライバモニタ方法であって、
複数の前記運転者の個々の運転者情報と関連付けて、前記適否を判定するための運転状態判定値を格納するデータベースを用意し、
プロセッサが、前記運転者情報に基づいて特定した第１の前記運転者の第１の前記運転者情報に関連付けて前記データベースに格納された第１の前記運転状態判定値を用いて、該第１の運転者の運転中に前記適否の判定を行う、ドライバモニタ方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、運転者の運転状態の適否を判定するドライバモニタシステム、車両、及びドライバモニタ方法に関する。

【背景技術】

【0002】

運転者の運転状態の適否を判定するドライバモニタシステムが知られている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９－１５５４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

運転者毎に車両の運転傾向が異なる場合がある。このような場合において、運転者の運転状態の適否の判定を、運転者に応じて高精度に実行可能とする技術が求められている。

【課題を解決するための手段】

【0005】

本開示の第１の態様は、車両を運転する運転者の運転状態の適否を判定するドライバモニタシステムであって、複数の運転者の個々の運転者情報と関連付けて、適否を判定するための運転状態判定値を格納するデータベースと、運転者情報に基づいて特定した第１の運転者の第１の運転者情報に関連付けてデータベースに格納された第１の運転状態判定値を用いて、該第１の運転者の運転中に適否の判定を行うプロセッサとを備える、ドライバモニタシステムである。

【0006】

本開示の第２の態様は、プロセッサは、第１の運転者の運転状態を表す運転状態パラメータを取得し、取得した運転状態パラメータに基づいて、第１の運転状態判定値を更新し、更新した第１の運転状態判定値を、第１の運転者情報に関連付けてデータベースに格納する、第１の態様に記載のドライバモニタシステムである。

【0007】

本開示の第３の態様は、運転中の運転者の顔を撮像する撮像装置をさらに備え、プロセッサは、撮像装置が撮像した第１の運転者の顔画像に基づいて、該第１の運転者の運転状態パラメータを取得する、第２の態様に記載のドライバモニタシステムである。

【0008】

本開示の第４の態様は、プロセッサは、第１の運転者の運転中に繰り返し取得した複数の運転状態パラメータに基づいて、第１の運転状態判定値を更新する、第２又は第３の態様に記載のドライバモニタシステムである。

【0009】

本開示の第５の態様は、プロセッサは、複数の運転状態パラメータから、新たな運転状態判定値を所定の演算により求め、該新たな運転状態判定値によって第１の運転状態判定値を更新する、第４の態様に記載のドライバモニタシステムである。

【0010】

本開示の第６の態様は、プロセッサは、運転中の車両の挙動を表す車両情報に基づいて、第１の運転者が車両の前方を見ているか否かを推定し、前方を見ていると推定したときに取得した運転状態パラメータに基づいて、第１の運転状態判定値を更新する、第２～第５の態様のいずれか１つに記載のドライバモニタシステムである。

【0011】

本開示の第７の態様は、車両情報は、車両のステアリングの操舵角、車両の速度、車両の周囲を撮像した環境画像、及び、車両の位置情報、の少なくとも１つを有する、第６の態様に記載のドライバモニタシステムである。

【0012】

本開示の第８の態様は、運転状態パラメータは、運転者の顔向き方向、又は該運転者の眼の開度を有し、運転状態判定値は、車両の前方を見る運転者の顔向き方向を基準として定められる基準顔向き方向、及び、該基準顔向き方向に対する顔向き方向の角度の閾値を有するか、又は、運転者が眼を開いているときの開度を基準として定められる基準開度、及び、該基準開度を基準として定められる開度の閾値を有する、第２～第７の態様に記載のドライバモニタシステムである。

【0013】

本開示の第９の態様は、運転者情報は、運転者の顔画像を有し、ドライバモニタシステムは、運転前に運転者の顔を撮像する撮像装置をさらに備え、プロセッサは、撮像装置によって撮像された運転者の顔画像と、データベースに運転者情報として予め格納された顔画像とを照合することで、運転者を特定する、第１～第８の態様のいずれか１つに記載のドライバモニタシステムである。

【0014】

本開示の第１０の態様は、第１～第９の態様のいずれか１つに記載のドライバモニタシステムを備える、車両である。

【0015】

本開示の第１１の態様は、車両を運転する運転者の運転状態の適否を判定するドライバモニタ方法であって、複数の運転者の個々の運転者情報と関連付けて、適否を判定するための運転状態判定値を格納するデータベースを用意し、プロセッサが、運転者情報に基づいて特定した第１の運転者の第１の運転者情報に関連付けてデータベースに格納された第１の運転状態判定値を用いて、該第１の運転者の運転中に適否の判定を行う、ドライバモニタ方法である。

【発明の効果】

【0016】

本開示によれば、プロセッサは、運転者に固有の運転状態判定値を用いて該運転者の運転状態の適否を判定できるので、該適否の判定を、運転者に応じて、高精度に実行できるようになる。

【図面の簡単な説明】

【0017】

【図1】一実施形態に係るドライバモニタシステムのブロック図である。

【図2】一実施形態に係る車両のブロック図である。

【図3】図２に示す車両の動作フローの一例を示すフローチャートである。

【図4】図２に示す撮像装置によって撮像された第１の運転者の顔画像の一例である。

【図5】図２に示す撮像装置によって撮像された第２の運転者の顔画像の一例である。

【図6】図２に示す車両の動作フローの他の例を示すフローチャートである。

【発明を実施するための形態】

【0018】

以下、本開示の実施の形態を図面に基づいて詳細に説明する。なお、以下に説明する種々の実施形態において、同様の要素には同じ符号を付し、重複する説明を省略する。まず、図１を参照して、一実施形態に係るドライバモニタシステム１０について説明する。ドライバモニタシステム１０は、車両を運転する運転者Ｄの運転状態ＤＣの適否を判定するシステムである。具体的には、ドライバモニタシステム１０は、データベース１２、及びプロセッサ１４を備える。データベース１２は、複数の運転者Ｄ_ｎ（ｎ＝１，２，３，・・・）の個々の運転者情報ＤＩ_ｎと関連付けて、運転状態判定値ＤＶ_ｎを格納する。

【0019】

運転者情報ＤＩ_ｎは、運転者Ｄ_ｎに固有の情報であって、該運転者Ｄ_ｎを特定する。例えば、運転者情報ＤＩ_ｎは、運転者Ｄ_ｎを識別するための識別コードＤＩ１_ｎ（番号、文字列等）、運転者Ｄ_ｎの顔画像ＤＩ２_ｎ、及び、運転者Ｄ_ｎの生体情報ＤＩ３_ｎ（体重、指紋情報、虹彩情報、音声情報等）の少なくとも１つを含む。なお、顔画像ＤＩ２_ｎは、運転者Ｄ_ｎの顔を撮像した画像データ（例えば、ＪＰＥＧ画像データ、又はＲＡＷ画像データ等）であってもよいし、又は、該画像データから抽出した運転者Ｄ_ｎの顔の特徴点をコード化した特徴量情報であってもよい。また、運転者情報ＤＩ_ｎは、ここに例示したもの以外の、運転者Ｄ_ｎを特定可能な如何なる情報を含んでもよい。

【0020】

一方、運転状態判定値ＤＶ_ｎは、車両を運転する運転者Ｄ_ｎの運転状態ＤＣの適否を判定するために用いられる。具体的には、運転状態判定値ＤＶ_ｎは、運転者Ｄ_ｎの運転状態ＤＣが適切であるか否かを判定するために、運転者Ｄ_ｎの運転状態ＤＣを表す運転状態パラメータＰＲと比較される。

【0021】

この運転状態パラメータＰＲは、例えば、運転中の運転者Ｄ_ｎの顔向き方向α、該運転者Ｄ_ｎの眼の開度β、該運転者Ｄ_ｎの目の瞬き頻度γ、該運転者Ｄ_ｎの口の開閉頻度ε、運転者Ｄ_ｎの視線方向δの少なくとも１つを含む。これら運転状態パラメータＰＲは、運転者Ｄ_ｎの運転状態ＤＣを定量的に表すパラメータである。

【0022】

運転状態判定値ＤＶ_ｎは、このような運転状態パラメータＰＲに対して設定される。一例として、運転状態判定値ＤＶ_ｎは、運転中に車両の前方を見る運転者Ｄ_ｎの顔向き方向αを基準として定められる基準顔向き方向α_０、及び、該基準顔向き方向α_０に対する、運転中の運転者Ｄ_ｎの顔向き方向αの角度φの閾値φ_ｔｈを有する。他の例として、運転状態判定値ＤＶ_ｎは、運転者Ｄ_ｎが眼を通常開いているときの開度βを基準として定められる基準開度β_０、及び、該基準開度β_０を基準として定められる、開度βの閾値β_ｔｈを有する。

【0023】

さらに他の例として、運転状態判定値ＤＶ_ｎは、通常時の運転者Ｄ_ｎの瞬き頻度γを基準として定められる基準瞬き頻度γ_０、及び、該基準瞬き頻度γ_０を基準として定められる、瞬き頻度γ_０の閾値γ_ｔｈを有する。さらに例として、運転状態判定値ＤＶ_ｎは、通常時の運転者Ｄ_ｎの口の開閉頻度εを基準として定められる基準開閉頻度ε_０、及び、該基準開閉頻度ε_０を基準として定められる、開閉頻度εの閾値ε_ｔｈを有する。

【0024】

データベース１２は、複数の運転者Ｄ_ｎの運転者情報ＤＩ_ｎ毎に、個々の運転者Ｄ_ｎに固有のデータとして運転状態判定値ＤＶ_ｎを格納している。データベース１２のデータ構造の一例を、以下の表１に模式的に示す。

【0025】

【表1】

【0026】

表１に示す例では、データベース１２は、運転者Ｄ_ｎの運転者情報ＤＩ_ｎに関連付けて、運転状態判定値ＤＶ_ｎとして、顔向き方向αに関する基準顔向き方向α_{０_ｎ}及び閾値φ_{ｔｈ_ｎ}、眼の開度βに関する基準開度β_{０_ｎ}及び閾値β_{ｔｈ_ｎ}等を格納している。例えば、１番目の運転者Ｄ_１の運転者情報ＤＩ_１には、運転状態判定値ＤＶ_１として、顔向き方向αに関する基準顔向き方向α_{０_１}及びφ_{ｔｈ_１}、開度βに関する基準開度β_{０_１}及び閾値β_{ｔｈ_１}等が関連付けて格納されている。このデータベース１２は、オペレータによって予め用意され、車両又は管理サーバに設けられたメモリ（ＲＯＭ、ＲＡＭ等）に記憶される。

【0027】

なお、表１では、データベース１２において、運転状態判定値ＤＶ_ｎとして、顔向き方向αに関する基準顔向き方向α_{０_ｎ}及びφ_{ｔｈ_ｎ}と、眼の開度βに関する基準開度β_{０_ｎ}及び閾値β_{ｔｈ_ｎ}とを例示しているが、実際は、瞬き頻度γに関する基準瞬き頻度γ_{０_ｎ}及び閾値γ_{ｔｈ_ｎ}、口の開閉頻度εに関する基準開閉頻度ε_{０_ｎ}及び閾値ε_{ｔｈ_ｎ}等、他の運転状態判定値ＤＶ_ｎが運転者情報ＤＩ_ｎに関連付けて格納されることを理解されたい。

【0028】

プロセッサ１４は、ＣＰＵ又はＧＰＵ等を有し、データベース１２にアクセス可能となっている。具体的には、プロセッサ１４は、データベース１２に格納された運転者情報ＤＩ_ｎに基づいて、車両を運転する運転者Ｄ_ｎを特定し、特定した該運転者Ｄ_ｎの運転者情報ＤＩ_ｎに関連付けてデータベース１２に格納された運転状態判定値ＤＩ_ｎを用いて、該運転者Ｄ_ｎの運転中に運転状態ＤＣの適否の判定を行う。

【0029】

例えば、プロセッサ１４が、データベース１２に格納された運転者情報ＤＩ_ｎに基づいて、車両に乗る運転者を、１番目の運転者Ｄ_１であると特定したとする。この場合、プロセッサ１４は、特定した運転者Ｄ_１の運転者情報ＤＩ_１に関連付けられて格納されている運転状態判定値ＤＶ_１（つまり、基準顔向き方向α_{０_１}及びφ_{ｔｈ_１}、基準開度β_{０_１}及び閾値β_{ｔｈ_１}、基準瞬き頻度γ_{０_１}及び閾値γ_{ｔｈ_１}、基準開閉頻度ε_{０_１}及び閾値ε_{ｔｈ_１}等）を、データベース１２から検索して取得する。

【0030】

そして、プロセッサ１４は、運転者Ｄ_１の運転中に取得された運転状態パラメータＰＲ（顔向き方向α、開度β、瞬き頻度γ、開閉頻度ε等）と、特定した運転者Ｄ_１の運転者情報ＤＩ_１に関連付けてデータベース１２に格納されていた運転状態判定値ＤＶ_１とを比較することで、運転者Ｄ_１の運転状態ＤＣの適否を判定する。なお、運転者Ｄ_ｎの特定方法、及び、運転状態ＤＣの適否の判定方法の詳細については、後述する。

【0031】

以上のように、本実施形態においては、ドライバモニタシステム１０は、複数の運転者Ｄ_ｎの個々の運転者情報ＤＩ_ｎと関連付けて運転状態判定値ＤＶ_ｎを格納するデータベース１２と、運転者情報ＤＩ_ｎに基づいて特定した第１の運転者Ｄ_１の第１の運転者情報ＤＩ_１に関連付けてデータベース１２に格納された第１の運転状態判定値ＤＶ_１を用いて、該第１の運転者Ｄ_１の運転中に運転状態ＤＣの適否の判定を行うプロセッサ１４とを備えている。この構成によれば、プロセッサ１４は、運転者Ｄ_ｎに固有の運転状態判定値ＤＶ_ｎを用いて該運転者Ｄ_ｎの運転状態ＤＣの適否を判定できるので、該適否の判定を、運転者Ｄ_ｎに応じて、高精度に実行できるようになる。

【0032】

次に、図２を参照して、一実施形態に係る車両２０について説明する。車両２０は、例えば４輪自動車であって、車体２２、電子制御装置（ＥＣＵ）２４、撮像装置２６、センサ２８、ヒューマン・マシン・インターフェース（ＨＭＩ）３０、及び通信機３２を備える。

【0033】

車体２２には、ＥＣＵ２４、撮像装置２６、センサ２８、ＨＭＩ３０、及び通信機３２に加えて、車両２０の駆動、制動、操舵、及びインフォテインメント等に関連する各種コンポーネント（エンジン、トランスミッション、車輪、ブレーキ機構、ステアリング、メーターパネル、ルームミラー、ディスプレイ、スピーカ、入力装置等）が搭載されている。

【0034】

ＥＣＵ２４は、車両２０の動作を制御する。具体的には、ＥＣＵ２４は、プロセッサ１４、メモリ３４、及びＩ／Ｏインターフェース３６を有するコンピュータである。メモリ３４は、ＲＡＭ又はＲＯＭ等を有し、プロセッサ１４で実行される演算処理で利用される各種データ、及び演算処理の途中で生成される各種データを、一時的又は恒久的に記憶する。本実施形態においては、メモリ３４は、データベース１２を記憶する。

【0035】

Ｉ／Ｏインターフェース３６は、例えば、コントローラエリアネットワーク（ＣＡＮ）ポート、イーサネット（登録商標）ポート、ＵＳＢポート、光ファイバコネクタ、又はＨＤＭＩ（登録商標）端子を有し、撮像装置２６、センサ２８、ＨＭＩ３０、及び通信機３２等の外部機器との間で、データを有線又は無線で通信する。プロセッサ１４は、メモリ３４、及びＩ／Ｏインターフェース３６（すなわち、撮像装置２６、センサ２８、ＨＭＩ３０、通信機３２）と通信しつつ、上述した運転状態ＤＣの適否を判定する機能を含む、各種機能を実行するための演算処理を行う。

【0036】

撮像装置２６は、運転者Ｄ_ｎの顔を撮像する。具体的には、撮像装置２６は、例えば、発光部（ＬＥＤ等）、撮像センサ（ＣＣＤ、ＣＭＯＳ等）、及び光学レンズ（コリメートレンズ、フォーカスレンズ等）を有し、車体２２の内装（例えば、メータパネル、又はルームミラー）に組み込まれている。撮像装置２６は、発光部から光（例えば、赤外光）を放射し、運転者Ｄ_ｎからの光を撮像センサに結像させることで、運転者Ｄ_ｎの顔を撮像する。

【0037】

センサ２８は、運転中の車両２０の各種データを検出する。例えば、センサ２８は、車両２０のステアリングの操舵角λを検出する操舵角センサ、車両２０の速度Ｖを検出する速度センサ、車両２０の周囲環境（車線等の道路標識、他の車両、通行人、障害物等）を撮像した環境画像ＩＭｓを検出する車外カメラを含む。

【0038】

通信機３２は、受信機及び送信機の少なくとも一方を有し、車両２０の外部機器と通信する。例えば、通信機３２は、ＧＰＳ衛星と通信し、該ＧＰＳ衛星からＧＰＳ信号を受信するＧＰＳ受信機、他の車両と通信し、該他の車両との間で自車位置情報等の各種データを送受信する車車間通信機、及び、運転者Ｄ_ｎが所有する携帯機（例えば、スマートキー、又はスマートフォン）と通信し、該携帯機から運転者Ｄ_ｎの識別コードを受信する携帯信号受信機を有する。

【0039】

プロセッサ１４は、車両２０の運転中にセンサ２８が検出した操舵角λ、速度Ｖ、及び環境画像ＩＭｓを、運転中の該車両２０の挙動を表す車両情報ＣＩとして、センサ２８から取得する。また、プロセッサ１４は、通信機３２が受信したＧＰＳ信号と、メモリ３４に予め記憶された地図データとに基づいて、車両情報ＣＩとして、車両２０の位置情報ＰＩを取得する。

【0040】

プロセッサ１４は、車両２０の運転中にこれら車両情報ＣＩ（操舵角λ、速度Ｖ、環境画像ＩＭｓ、位置情報ＰＩ）を連続的（例えば、周期的）に取得し、収集した車両情報ＣＩをメモリ３４に記憶する。なお、車両情報ＣＩは、操舵角λ、速度Ｖ、環境画像ＩＭｓ、位置情報ＰＩに限らず、車両２０の挙動を表す他の如何なる情報を含んでもよい。

【0041】

ＨＭＩ３０は、運転者Ｄ_ｎとの間で情報交換を行う。例えば、ＨＭＩ３０は、運転者Ｄ_ｎから情報の入力を受け付ける入力装置（スイッチ、押しボタン、回転式ダイヤル、タッチパネル等）、各種情報を画像として表示するディスプレイ、各種情報を音として出力するスピーカ、及び、運転者Ｄ_ｎの音声を電気信号に変換するマイクロフォンを有する。

【0042】

次に、図３を参照して、車両２０の動作について説明する。図３に示すフローは、運転者Ｄ_ｎが車両２０にアクセス（例えば、開錠）したときに、開始される。ステップＳ１において、プロセッサ１４は、運転者Ｄ_ｎを特定する。一例として、通信機３２は、運転者Ｄ_ｎが所有する携帯機と通信し、該携帯機から運転者Ｄ_ｎの識別コードを受信する。プロセッサ１４は、通信機３２を通して運転者Ｄ_ｎの識別コードを取得し、該識別コードと、データベース１２に予め格納された運転者情報ＤＩ_ｎに含まれる識別コードＤＩ１_ｎとを照合することで、運転者Ｄ_ｎを特定する。

【0043】

他の例として、撮像装置２６は、車両２０に乗り込んだ運転者Ｄ_ｎの顔を撮像する。プロセッサ１４は、撮像装置２６が撮像した運転者Ｄ_ｎの顔画像ＩＭｆ_ｎと、データベース１２に予め格納された運転者情報ＤＩ_ｎに含まれる顔画像ＤＩ２_ｎとを照合することで、運転者Ｄ_ｎを特定する。

【0044】

なお、プロセッサ１４は、顔画像ＩＭｆ_ｎの画像データと、データベース１２に格納された顔画像ＤＩ２_ｎの画像データとを照合してもよいし、又は、顔画像ＩＭｆ_ｎの画像データから抽出した運転者Ｄ_ｎの顔の特徴点をコード化した特徴量情報を取得し、該特徴量情報と、データベース１２に格納された顔画像ＤＩ２_ｎの特徴量情報とを照合してもよい。

【0045】

さらに他の例として、通信機３２は、運転者Ｄ_ｎが所有する携帯機と通信し、該携帯機に入力された運転者Ｄ_ｎの生体情報（例えば、指紋情報）を受信する。プロセッサ１４は、通信機３２を通して運転者Ｄ_ｎの生体情報を取得し、該生体情報と、データベース１２に予め格納された運転者情報ＤＩ_ｎに含まれる生体情報ＤＩ３_ｎとを照合することで、運転者Ｄ_ｎを特定する。

【0046】

さらに他の例として、センサ２８は、運転者シートに内蔵され、着座した運転者Ｄ_ｎの体重Ｗを検出する重量センサを有してもよい。この場合において、プロセッサ１４は、運転者Ｄ_ｎの生体情報ＤＩ３_ｎとして、重量センサが検出した体重Ｗを取得し、該体重Ｗと、データベース１２に生体情報ＤＩ３_ｎとして予め格納された体重Ｗ_ｎとを照合することで、運転者Ｄ_ｎを特定してもよい。

【0047】

ステップＳ２において、プロセッサ１４は、ステップＳ１で特定した運転者Ｄ_ｎの運転状態判定値ＤＶ_ｎを取得する。具体的には、プロセッサ１４は、ステップＳ１で特定した運転者Ｄ_ｎの運転者情報ＤＩ_ｎと関連付けてデータベース１２に格納されている運転状態判定値ＤＶ_ｎを、該データベース１２から検索して取得する。

【0048】

例えば、ステップＳ１で上述の表１中の１番目の運転者Ｄ_１を特定したとすると、プロセッサ１４は、このステップＳ２において、該運転者Ｄ_１の運転者情報ＤＩ_１に関連付けられた運転状態判定値ＤＶ_１（具体的には、基準顔向き方向α_{０_１}及び閾値φ_{ｔｈ_１}、基準開度β_{０_１}及び閾値β_{ｔｈ_１}等）を、データベース１２から検索して取得する。

【0049】

ステップＳ３においては、プロセッサ１４は、車両２０の運転が開始されたか否かを判定する。例えば、プロセッサ１４は、このステップＳ３において、車両２０のエンジンの回転数、又は車両２０の速度が予め定めた閾値を超えたときにＹＥＳと判定してもよい。プロセッサ１４は、ＹＥＳと判定した場合はステップＳ４へ進む一方、ＮＯと判定した場合はステップＳ１０へ進む。

【0050】

ステップＳ４において、プロセッサ１４は、運転状態パラメータＰＲ、及び車両情報ＣＩの取得を開始する。具体的には、プロセッサ１４は、撮像装置２６を動作させて、運転中の運転者Ｄ_ｎの顔を連続的（例えば、周期的）に撮像し、撮像装置２６が撮像した運転者Ｄ_ｎの顔画像ＩＭｆ_ｎ（具体的には、画像データ、又は該画像データから抽出した特徴点をコード化した特徴量情報）に基づいて、該運転者Ｄ_ｎの運転状態パラメータＰＲとして、該運転者Ｄ_ｎの顔向き方向α、眼の開度β、目の瞬き頻度γ、口の開閉頻度ε、及び視線方向δを取得する。

【0051】

顔向き方向αは、撮像装置２６が撮像した顔画像ＩＭｆ_ｎに基づいて求められる。図４に、顔画像ＩＭｆ_ｎの一例を示す。プロセッサ１４は、顔画像ＩＭｆ_ｎを解析することで、顔画像ＩＭｆ_ｎに写る運転者Ｄ_ｎの顔向き方向αを演算により求める。具体的には、プロセッサ１４は、顔画像ＩＭｆ_ｎの写る顔の両目の外端及び鼻の先端を特徴点として抽出し、抽出した両目の外端及び鼻の先端の特徴点の位置関係に基づいて、顔向き方向αを求めることができる。

【0052】

一方、眼の開度βは、例えば、瞼間の距離、又は眼の面積として求められる。瞬き頻度γは、所定時間（例えば、１０秒）における瞬きの回数として求められる。また、開閉頻度εは、所定時間（例えば、１０秒）における口の開閉回数として求められる。また、視線方向δは、図４に示すように、顔画像ＩＭｆ_ｎに写る運転者Ｄ_ｎの瞳の位置から求められ得る。

【0053】

また、プロセッサ１４は、車両情報ＣＩとして、車両２０の運転中にセンサ２８が検出した操舵角λ、速度Ｖ、及び環境画像ＩＭｓと、ＧＰＳ信号から求めた位置情報ＰＩとを、連続的（例えば、周期的）に取得する動作を開始する。こうして、プロセッサ１４は、運転状態パラメータＰＲ（つまり、顔向き方向α、開度β、瞬き頻度γ、開閉頻度ε、視線方向δ）と、車両情報ＣＩ（操舵角λ、速度Ｖ、環境画像ＩＭｓ、位置情報ＰＩ）とを、車両２０の運転中に連続的に取得する。

【0054】

ステップＳ５において、プロセッサ１４は、直近に取得した運転者Ｄ_ｎの運転状態パラメータＰＲと、この時点で設定されている運転者Ｄ_ｎの運転状態判定値ＤＶ_ｎとを用いて、該運転者Ｄ_ｎの運転状態ＤＣが適切であるか否かを判定する。なお、図３のフローを開始後、第１回目のステップＳ５を実行する場合、プロセッサ１４は、上述のステップＳ２で取得した運転者Ｄ_ｎの運転状態判定値ＤＶ_ｎを用いて、運転状態ＤＣの適否を判定する。

【0055】

一例として、プロセッサ１４は、運転状態パラメータＰＲとしての顔向き方向αと、運転状態判定値ＤＶ_ｎとしての基準顔向き方向α_{０_ｎ}及び閾値φ_{ｔｈ_ｎ}とを用いて、基準顔向き方向α_{０_ｎ}に対する、運転者Ｄ_ｎの顔向き方向αの角度φを求め、該角度φが閾値φ_{ｔｈ_ｎ}以下（φ≦φ_{ｔｈ_ｎ}）であるか否かを判定する。プロセッサ１４は、φ≦φ_{ｔｈ_ｎ}である場合に、運転者Ｄ_ｎが車両２０の前方を適切に視認して運転している（すなわち、ＹＥＳ）と判定する。

【0056】

また、プロセッサ１４は、運転状態パラメータＰＲとしての眼の開度βと、運転状態判定値ＤＶ_ｎとしての基準開度β_{０_ｎ}及び閾値β_{ｔｈ_ｎ}とを用いて、開度βが閾値β_{ｔｈ_ｎ}以上（β≧β_{ｔｈ_ｎ}）であるか否かを判定する。この閾値β_{ｔｈ_ｎ}は、基準開度β_{０_ｎ}を基準として、例えば、β_{ｔｈ_ｎ}＝ζβ_{０_ｎ}（但し、ζは、０＜ζ＜１の係数）なる式から定められ得る。プロセッサ１４は、β≧β_{ｔｈ_ｎ}である場合に、運転者Ｄ_ｎが居眠りせずに適切に開眼して運転している（すなわち、ＹＥＳ）と判定する。

【0057】

また、プロセッサ１４は、運転状態パラメータＰＲとしての瞬き頻度γ及び開閉頻度εと、運転状態判定値ＤＶ_ｎとしての基準瞬き頻度γ_{０_ｎ}及び閾値γ_{ｔｈ_ｎ}、並びに、基準開閉頻度ε_{０_ｎ}及び閾値ε_{ｔｈ_ｎ}とを用いて、瞬き頻度γ及び開閉頻度εが、閾値γ_{ｔｈ_ｎ}及びε_{ｔｈ_ｎ}以下（γ≦γ_{ｔｈ_ｎ}、且つ、ε≦ε_{ｔｈ_ｎ}）であるか否かを判定する。

【0058】

閾値γ_{ｔｈ_ｎ}及びε_{ｔｈ_ｎ}は、基準瞬き頻度γ_{０_ｎ}及び基準開閉頻度ε_{０_ｎ}を基準として、例えば、γ_{ｔｈ_ｎ}＝ζγ_{０_ｎ}、及び、ε_{ｔｈ_ｎ}＝ζε_{０_ｎ}（但し、ζは、０＜ζ＜１の係数）なる式から定められる。プロセッサ１４は、γ≦γ_{ｔｈ_ｎ}、且つ、ε≦ε_{ｔｈ_ｎ}である場合、運転者Ｄ_ｎが適切な健康状態で運転している（すなわち、ＹＥＳ）と判定する。プロセッサ１４は、ＹＥＳと判定した場合はステップＳ６へ進む一方、ＮＯと判定した場合はステップＳ９へ進む。

【0059】

ステップＳ６において、プロセッサ１４は、車両情報ＣＩ（操舵角λ、速度Ｖ、環境画像ＩＭｓ、位置情報ＰＩ）に基づいて、運転者Ｄ_ｎが車両２０の前方を見ているか否かを推定する。具体的には、プロセッサ１４は、操舵角λ、環境画像ＩＭｓに写る車線、及び車両２０の位置情報ＰＩの少なくとも１つに基づいて、車両２０が直線道路を走行しているか否かを判定する。車両２０が直線道路を走行しているとき、運転者Ｄ_ｎは、車両２０の前方を見ていると推定できる。

【0060】

また、プロセッサ１４は、車両２０の速度Ｖが予め定められた閾値Ｖ_ｔｈ以上（Ｖ≧Ｖ_ｔｈ）であるか否かを判定する。車両２０が高速走行しているとき、運転者Ｄ_ｎは、車両２０の前方を見ていると推定できる。プロセッサ１４は、車両２０が直線道路を走行しているか、又は、高速走行している場合に、運転者Ｄ_ｎが車両２０の前方を見ている（すなわち、ＹＥＳ）と判定し、ステップＳ７へ進む。一方、プロセッサ１４は、ＮＯと判定した場合はステップＳ８へ進む。なお、プロセッサ１４は、運転状態パラメータＰＲとして取得した運転者Ｄ_ｎの視線方向δにさらに基づいて、運転者Ｄ_ｎが車両２０の前方を見ているか否かを推定してもよい。

【0061】

ステップＳ７において、プロセッサ１４は、ステップＳ６でＹＥＳと判定したときに取得した運転状態パラメータＰＲに基づいて、運転者Ｄ_ｎの運転状態判定値ＤＶ_ｎを更新する。一例として、プロセッサ１４は、運転状態判定値ＤＶ_ｎとしてデータベース１２に格納されていた基準顔向き方向α_{０_ｎ}を、ステップＳ６でＹＥＳと判定したときに運転状態パラメータＰＲとして取得した顔向き方向αに置換することで、該基準顔向き方向α_{０_ｎ}を更新する。また、プロセッサ１４は、更新後の基準顔向き方向α_{０_ｎ}を基準として閾値φ_{ｔｈ_ｎ}を新たに設定することで、該閾値φ_{ｔｈ_ｎ}を更新する。

【0062】

他の例として、プロセッサ１４は、運転状態判定値ＤＶ_ｎとしてデータベース１２に格納されていた基準開度β_{０_ｎ}を、ステップＳ６でＹＥＳと判定したときに運転状態パラメータＰＲとして取得した開度βに置換することで、該基準開度β_{０_ｎ}を更新する。また、プロセッサ１４は、更新後の基準開度β_{０_ｎ}を基準として、例えば、β_{ｔｈ_ｎ}＝ζβ_{０_ｎ}なる式から閾値β_{ｔｈ_ｎ}を新たに設定することで、該閾値β_{ｔｈ_ｎ}を更新する。

【0063】

同様に、プロセッサ１４は、運転状態判定値ＤＶ_ｎとして基準瞬き頻度γ_{０_ｎ}及び閾値γ_{ｔｈ_ｎ}、及び、基準開閉頻度ε_{０_ｎ}及び閾値ε_{ｔｈ_ｎ}を、ステップＳ６でＹＥＳと判定したときに運転状態パラメータＰＲとして取得した瞬き頻度γ及び開閉頻度εに置換することで更新してもよい。

【0064】

プロセッサ１４は、更新した運転状態判定値ＤＶ_ｎ（基準顔向き方向α_{０_ｎ}及び閾値φ_{ｔｈ_ｎ}、基準開度β_{０_ｎ}及び閾値β_{ｔｈ_ｎ}、基準瞬き頻度γ_{０_ｎ}及び閾値γ_{ｔｈ_ｎ}、基準開閉頻度ε_{０_ｎ}及び閾値ε_{ｔｈ_ｎ}等）を、運転者情報ＤＩ_ｎと関連付けて、データベース１２に格納する。こうして、データベース１２に格納される運転状態判定値ＤＶ_ｎが、運転状態パラメータＰＲに基づいて更新される。

【0065】

ステップＳ８において、プロセッサ１４は、車両２０の内装に設けられたエンジンスタートボタン（図示せず）がＯＦＦにされたか否かを判定する。プロセッサ１４は、ＹＥＳと判定した場合は図３に示すフローを終了する一方、ＮＯと判定した場合は、ステップＳ５へ戻る。

【0066】

一方、ステップＳ５でＮＯと判定した場合、ステップＳ９において、プロセッサ１４は、警告信号ＡＬ１を生成する。例えば、プロセッサ１４は、ステップＳ５で角度φが閾値φ_{ｔｈ_ｎ}よりも大きい（φ＞φ_{ｔｈ_ｎ}）ことによってＮＯと判定した場合、このステップＳ９において、「脇見運転の可能性があります。車両前方を見てください」という画像又は音声の警告信号ＡＬ１を生成してもよい。

【0067】

代替的には、ステップＳ５で開度βが閾値β_{ｔｈ_ｎ}よりも小さい（β＜β_{ｔｈ_ｎ}）ことによってＮＯと判定した場合、プロセッサ１４は、このステップＳ９において、「居眠り運転の可能性があります。休憩を取ってください」という画像又は音声の警告信号ＡＬ１を生成してもよい。プロセッサ１４は、画像又は音声の形式で生成した警告信号ＡＬ１を、ＨＭＩ３０のディスプレイ又はスピーカを通して運転者Ｄ_ｎに出力する。

【0068】

一方、ステップＳ３でＮＯと判定した場合、プロセッサ１４は、ステップＳ１０において、上述のステップＳ８と同様に、エンジンスタートボタンがＯＦＦにされたか否かを判定する。プロセッサ１４は、ＹＥＳと判定した場合は図３に示すフローを終了する一方、ＮＯと判定した場合はステップＳ３へ戻る。

【0069】

以上のように、本実施形態においては、プロセッサ１４は、データベース１２と、撮像装置２６が撮像した画像とを用いて、運転状態ＤＣの適否を判定している。したがって、プロセッサ１４、データベース１２、及び撮像装置２６は、運転状態ＤＣの適否を判定するドライバモニタシステム１０（図２）を構成する。

【0070】

本実施形態においては、プロセッサ１４は、取得した運転状態パラメータＰＲに基づいて運転状態判定値ＤＶ_ｎを更新し、更新した運転状態判定値ＤＶ_ｎを、運転者情報ＤＩ_ｎに関連付けてデータベース１２に格納している（ステップＳ７）。この構成によれば、運転状態判定値ＤＶ_ｎを、運転者Ｄ_ｎの運転傾向を加味して、該運転者Ｄ_ｎ毎に更新できる。

【0071】

より具体的には、例えば、第１の運転者Ｄ_１は、車両２０の前方を見て適切に運転しているとき、図４に示すように、その顔向き方向αが車両２０の前方を向く運転傾向を有する一方、第２の運転者Ｄ_２は、車両２０の前方を見て適切に運転しているとき、図５に示すように、その顔向き方向αが、やや車両２０の側方に向く運転傾向を有する場合がある。

【0072】

このように、運転傾向が個々の運転者Ｄ_ｎに応じて変化するような場合において、本実施形態によれば、運転状態判定値ＤＶ_ｎを運転者Ｄ_ｎ毎に更新していることから、運転者Ｄ_ｎの運転傾向を加味して運転状態判定値ＤＶ_ｎを更新できる。この構成によれば、ステップＳ５における運転状態ＤＣの適否の判定を、運転者Ｄ_ｎに応じて、より高精度に実行できるようになる。

【0073】

また、本実施形態においては、ドライバモニタシステム１０は、運転中の運転者Ｄ_ｎの顔を撮像する撮像装置２６を備え、プロセッサ１４は、撮像装置２６が撮像した運転者Ｄ_ｎの顔画像ＩＭｆ_ｎに基づいて、該運転者Ｄ_ｎの運転状態パラメータＰＲ（顔向き方向α、開度β、瞬き頻度γ、開閉頻度ε、視線方向δ等）を取得している（ステップＳ４）。この構成によれば、運転者Ｄ_ｎの運転状態ＤＣを高度に表す運転状態パラメータＰＲを取得できる。

【0074】

また、本実施形態においては、プロセッサ１４は、運転中の車両２０の挙動を表す車両情報ＣＩに基づいて、運転者Ｄ_ｎが車両２０の前方を見ているか否かを推定し、前方を見ていると推定した（つまり、ステップＳ６でＹＥＳと判定した）ときに取得した運転状態パラメータＰＲに基づいて、運転状態判定値ＤＶ_ｎを更新している（ステップＳ７）。この構成によれば、運転者Ｄ_ｎが車両２０の前方を見ている状態を基準として運転状態判定値ＤＶ_ｎを更新できるので、該運転状態判定値ＤＶ_ｎを、運転者Ｄ_ｎの運転傾向を加味して改良することができる。

【0075】

また、本実施形態においては、車両情報ＣＩは、車両２０のステアリングの操舵角λ、車両２０の速度Ｖ、車両２０の周囲を撮像した環境画像ＩＭｓ、及び、車両２０の位置情報ＰＩの少なくとも１つを有する。この構成によれば、ステップＳ６で運転者Ｄ_ｎが車両２０の前方を見ているか否かを、より高精度に推定できる。

【0076】

また、本実施形態においては、運転状態判定値ＤＶ_ｎは、車両２０の前方を見る運転者Ｄ_ｎの顔向き方向αを基準として定められる基準顔向き方向α_{０_ｎ}、及び、該基準顔向き方向α_{０_ｎ}に対する顔向き方向αの角度φの閾値φ_{ｔｈ_ｎ}を有する。又は、運転状態判定値ＤＶ_ｎは、運転者Ｄ_ｎが眼を開いているときの開度βを基準として定められる基準開度β_{０_ｎ}、及び、該基準開度β_{０_ｎ}を基準として定められる開度βの閾値β_{ｔｈ_ｎ}を有する。

【0077】

この構成によれば、運転状態判定値ＤＶ_ｎとして、運転者Ｄ_ｎの運転傾向に高度に相関する基準顔向き方向α_{０_ｎ}及び閾値φ_{ｔｈ_ｎ}、又は、基準開度β_{０_ｎ}及び閾値β_{ｔｈ_ｎ}を、運転者Ｄ_ｎに固有のデータとして、データベース１２に格納できる。これにより、運転状態ＤＣの適否の判定を、運転者Ｄ_ｎの運転傾向に応じて、より高精度に実行できるようになる。

【0078】

また、本実施形態においては、運転者情報ＤＩ_ｎは、運転者Ｄ_ｎの顔画像ＩＭｆ_ｎを有し、ドライバモニタシステム１０は、運転前に運転者Ｄ_ｎの顔を撮像する撮像装置２６を備える。そして、プロセッサ１４は、撮像装置２６によって撮像された顔画像ＩＭｆ_ｎと、データベース１２に運転者情報ＤＩ_ｎとして予め格納された顔画像ＤＩ２_ｎとを照合することで、運転者Ｄ_ｎを特定している。この構成によれば、車両２０の運転者Ｄ_ｎが認証されている者である否か、高精度に特定できる。

【0079】

なお、上述のステップＳ７において、プロセッサ１４は、運転者Ｄ_ｎの運転中に繰り返し取得した複数の運転状態パラメータＰＲに基づいて、運転状態判定値ＤＶ_ｎを更新してもよい。一例として、プロセッサ１４は、ステップＳ６でＹＥＳと判定する毎に、運転状態パラメータＰＲとして、顔向き方向α_１、α_２、α_３、・・・α_ｍを繰り返し取得する。

【0080】

そして、プロセッサ１４は、ステップＳ７において、これまでに取得した複数の顔向き方向α_ｍを用いて、新たな基準顔向き方向α_{０_ｎ}を所定の演算により求めてもよい。例えば、プロセッサ１４は、取得した複数の顔向き方向α_ｍの加重平均α_ｍ’を演算し、データベース１２に格納されていた基準顔向き方向α_{０_ｎ}を、求めた加重平均α_ｍ’に置換することで更新してもよい。同様に、プロセッサ１４は、基準開度β_{０_ｎ}、基準瞬き頻度γ_{０_ｎ}、又は基準開閉頻度ε_{０_ｎ}等を、複数の開度β_ｍ、頻度γ_ｍ、又は頻度ε_ｍの加重平均β_ｍ’、γ_ｍ’、又はε_ｍ’を演算することで、更新してもよい。

【0081】

このように、本実施形態においては、プロセッサ１４は、複数の運転状態パラメータＰＲから、新たな運転状態判定値α_ｍ’、β_ｍ’、γ_ｍ’、又はε_ｍ’を所定の演算（例えば、加重平均）により求め、該新たな運転状態判定値α_ｍ’、β_ｍ’、γ_ｍ’、又はε_ｍ’によって運転状態判定値ＤＶ_ｎを更新する。この構成によれば、運転者Ｄ_ｎの過去の運転傾向を効果的に加味して、運転状態判定値ＤＶ_ｎを更新できる。

【0082】

なお、プロセッサ１４は、ステップＳ６でＹＥＳと判定したときに取得した運転状態パラメータＰＲに対し、ステップＳ６でＹＥＳと判定したときに撮像された運転者Ｄ_ｎの顔画像ＩＭｆ_ｎ、ステップＳ６でＹＥＳと判定したときに取得した運転状態パラメータＰＲ、又は、ステップＳ６でＹＥＳと判定したときに取得した車両情報ＣＩに応じた重み付け係数ηを付与してもよい。

【0083】

一例として、プロセッサ１４は、撮像された顔画像ＩＭｆ_ｎを画像解析し、運転者Ｄ_ｎが眼鏡又はサングラスを装着しているか否かを判定する。プロセッサ１４は、運転者Ｄ_ｎが眼鏡又はサングラスを装着していると判定した場合は、ステップＳ６でＹＥＳと判定したときに取得した運転状態パラメータＰＲ（例えば、顔向き方向α）に対し、第１の重み付け係数η_１を付与する一方、運転者Ｄ_ｎが眼鏡又はサングラスを装着していないと判定した場合は、該運転状態パラメータＰＲに対し、第１の重み付け係数η_１よりも高い第２の重み付け係数η_２（＞η_１）を付与する。

【0084】

他の例として、プロセッサ１４は、撮像された顔画像ＩＭｆ_ｎを画像解析し、運転者Ｄ_ｎの着座位置（換言すれば、撮像された顔画像ＩＭｆ_ｎに写る運転者Ｄ_ｎの顔の画像中の位置）が適切である否かを判定する。プロセッサ１４は、着座位置が不適切であると判定した場合は、ステップＳ６でＹＥＳと判定したときに取得した運転状態パラメータＰＲに対し第１の重み付け係数η_１を付与する一方、着座位置が適切である（例えば、運転者Ｄ_ｎの顔が顔画像ＩＭｆ_ｎの中央領域に配置されている）と判定した場合は、該運転状態パラメータＰＲに対し、第１の重み付け係数η_１よりも高い第２の重み付け係数η_２を付与する。

【0085】

さらに他の例として、プロセッサ１４は、ステップＳ６でＹＥＳと判定したときに取得した運転状態パラメータＰＲ（例えば、顔向き方向α）が、所定の基準値ＰＲ_{ｒ_ｎ}よりも大きい（又は、小さい）場合は、該運転状態パラメータＰＲに対して第１の重み付け係数η_１を付与する一方、所定の基準値ＰＲ_{ｒ_ｎ}以下（又は、以上）である場合は、該運転状態パラメータＰＲに対し、第１の重み付け係数η_１よりも高い第２の重み付け係数η_２を付与する。

【0086】

より具体的には、プロセッサ１４は、ステップＳ６でＹＥＳと判定したときに運転状態パラメータＰＲとして顔向き方向αを取得した場合、基準顔向き方向α_{０_ｎ}に対する該顔向き方向αの角度φが、所定の基準値φ_{ｒ_ｎ}よりも大きく、且つ上述の閾値φ_{ｔｈ_ｎ}以下の範囲内（φ_{ｒ_ｎ}＜φ≦φ_{ｔｈ_ｎ}）である場合は、取得した顔向き方向αに対し第１の重み付け係数η_１を付与する一方、角度φが基準値φ_{ｒ_ｎ}以下（φ≦φ_{ｒ_ｎ}）である場合は、取得した該顔向き方向αに対し、より高い第２の重み付け係数η_２を付与する。

【0087】

代替的には、プロセッサ１４は、ステップＳ６でＹＥＳと判定したときに運転状態パラメータＰＲとして眼の開度βを取得した場合、該開度βが、上述の閾値β_{ｔｈ_ｎ}以上、且つ所定の基準値β_{ｒ_ｎ}よりも小さい範囲内（β_{ｔｈ_ｎ}≦β＜β_{ｒ_ｎ}）である場合は、取得した開度βに対し第１の重み付け係数η_１を付与する一方、開度βが基準値β_{ｒ_ｎ}以上（β_{ｒ_ｎ}≦β）である場合は、取得した該開度βに対し、より高い第２の重み付け係数η_２を付与する。

【0088】

重み付け係数ηのための基準値ＰＲ_{ｒ_ｎ}（例えば、顔向き方向αに関する基準値φ_{ｒ_ｎ}、又は、開度βに関する基準値β_{ｒ_ｎ}）は、運転者Ｄ_ｎの運転状態ＤＣが、ステップＳ５の判定に用いた閾値（例えば、閾値φ_{ｔｈ_ｎ}又はβ_{ｔｈ_ｎ}）よりも適切であることを示す値（具体的には、φ_{ｒ_ｎ}＜φ_{ｔｈ_ｎ}の値、又は、β_{ｔｈ_ｎ}＜β_{ｒ_ｎ}の値）として、定められ得る。こうして、プロセッサ１４は、ステップＳ６でＹＥＳと判定したときに取得した運転状態パラメータＰＲに応じた重み付け係数η_１又はη_２を、該運転状態パラメータＰＲに付与する。

【0089】

さらに他の例として、プロセッサ１４は、ステップＳ６でＹＥＳと判定したときに車両情報ＣＩとして取得した操舵角λが所定の基準値λ_{ｒ_ｎ}よりも大きい（又は、速度Ｖが所定の基準値Ｖ_{ｒ_ｎ}よりも小さい）場合は、ステップＳ６でＹＥＳと判定したときに取得した運転状態パラメータＰＲに対して第１の重み付け係数η_１を付与する一方、操舵角λが基準値λ_{ｒ_ｎ}以下である（又は、速度Ｖが基準値Ｖ_{ｒ_ｎ}以上である）場合は、該運転状態パラメータＰＲに対し、より高い第２の重み付け係数η_２を付与する。こうして、プロセッサ１４は、ステップＳ６でＹＥＳと判定したときに取得した車両情報ＣＩに応じた重み付け係数η_１又はη_２を、運転状態パラメータＰＲに付与する。

【0090】

なお、重み付け係数ηを付与するために参照した運転状態パラメータＰＲの基準値ＰＲ_{ｒ_ｎ}（例えば、顔向き方向αの基準値φ_{ｒ_ｎ}）、又は、車両情報ＣＩの基準値（例えば、操舵角λの基準値λ_{ｒ_ｎ}）は、運転者情報ＤＩ_ｎに関連付けて、データベース１２にさらに格納されてもよい。

【0091】

すなわち、この場合、データベース１２には、運転状態判定値ＤＶ_ｎと、重み付け係数ηのための基準値ＰＲ_{ｒ_ｎ}又はλ_{ｒ_ｎ}とが、運転者情報ＤＩ_ｎに関連付けて格納されることになる。そして、プロセッサ１４は、上述のステップＳ７において、ステップＳ６でＹＥＳと判定する毎に繰り返し取得した複数の運転状態パラメータＰＲに個別に付与された重み付け係数ηを加味して、運転状態判定値ＤＶ_ｎを更新してもよい。

【0092】

例えば、プロセッサ１４は、ステップＳ６でＹＥＳと判定する毎に、運転状態パラメータＰＲとして顔向き方向α_ｍ（ｍ＝１，２，３・・・）を取得し、取得した顔向き方向α_ｍに対し、上述のように重み付け係数η_１又はη_２を付与したとする。この場合、プロセッサ１４は、各々の顔向き方向α_ｍに重み付け係数η_１又はη_２を乗算した値の加重平均α_ｍ’を演算し、データベース１２に格納されていた基準顔向き方向α_{０_ｎ}を、求めた加重平均α_ｍ’に置換することで更新してもよい。

【0093】

代替的には、プロセッサ１４は、ステップＳ６でＹＥＳと判定する毎に、運転状態パラメータＰＲとして開度β_ｍ（ｍ＝１，２，３・・・）を取得し、取得した開度β_ｍに対し、上述のように重み付け係数η_１又はη_２を付与したとする。この場合、プロセッサ１４は、各々の開度β_ｍに重み付け係数η_１又はη_２を乗算した値の加重平均β_ｍ’を演算し、データベース１２に格納されていた基準開度β_{０_ｎ}を、求めた加重平均β_ｍ’に置換することで更新してもよい。このように、ステップＳ７において重み付け係数ηを加味して運転状態判定値ＤＶ_ｎを更新することで、運転状態判定値ＤＶ_ｎを、さらに効果的に最適化できる。

【0094】

なお、上述の表１では、データベース１２に複数の運転者Ｄ_ｎの運転者情報ＤＩ_ｎと運転状態判定値ＤＶ_ｎとが既に格納されている例について述べた、しかしながら、最初の段階では、データベース１２に運転者情報ＤＩ_ｎ及び運転状態判定値ＤＶ_ｎが格納されていない場合があり得る。

【0095】

この場合、初期値として共通の運転状態判定値ＤＶ_０がメモリ３４に予め格納されていてもよい。そして、上述のステップＳ１において、運転者Ｄ_ｎの運転者情報ＤＩ_ｎ（例えば、運転者Ｄ_ｎの携帯機から取得した識別コード、又は、撮像装置２６が撮像した運転者Ｄ_ｎの顔画像等）を取得する。次いで、ステップＳ２において、プロセッサ１４は、メモリ３４から初期値としての運転状態判定値ＤＶ_０を取得し、第１回目に実行するステップＳ５において、該運転状態判定値ＤＶ_０を用いて運転状態ＤＣの適否を判定してもよい。

【0096】

そして、第１回目に実行するステップＳ７において、プロセッサ１４は、直近のステップＳ６でＹＥＳと判定したときに取得した運転状態パラメータＰＲに基づいて、該運転状態判定値ＤＶ_０を更新し、更新後の運転状態判定値ＤＶ_ｎを、ステップＳ１で取得した運転者Ｄ_ｎの運転者情報ＤＩ_ｎと関連付けて、データベース１２に格納してもよい。

【0097】

また、上述のステップＳ７において、プロセッサ１４は、更新後の運転状態判定値ＤＶ_ｎを、一旦、メモリ３４のＲＡＭに記憶してもよい。この場合、プロセッサ１４は、ステップＳ８でＮＯと判定してステップＳ５～Ｓ９のループを繰り返し実行している間、ステップＳ５を実行するときに、メモリ３４のＲＡＭに記憶した運転状態判定値ＤＶ_ｎを参照して、運転状態ＤＣの適否を判定してもよい。そして、ステップＳ８でＹＥＳと判定したときに、直近のステップＳ７で更新した運転状態判定値ＤＶ_ｎを、運転者情報ＤＩ_ｎと関連付けてデータベース１２に格納し、メモリ３４のＲＯＭに記憶してもよい。

【0098】

次に、図６を参照して、車両２０の動作の他の例について説明する。なお、図６に示すフローにおいて、図３に示すフローと同様のプロセスには同じステップ番号を付し、重複する説明を省略する。図６に示すフローの開始後、ステップＳ１１において、プロセッサ１４は、新規の運転者情報ＤＩ_ｎ＋１を登録する入力操作を受け付けたか否かを判定する。

【0099】

具体的には、新規の運転者Ｄ_ｎ＋１が、ＨＭＩ３０を操作して、運転者情報ＤＩ_ｎ＋１を新規登録する入力操作をしたとする。この場合、プロセッサ１４は、ＨＭＩ３０のディスプレイに、新規登録操作画像ＩＭｅを表示させる。運転者Ｄ_ｎ＋１は、ＨＭＩ３０の入力装置（例えば、タッチパネル）を操作し、ディスプレイに表示された新規登録操作画像ＩＭｅを通して、運転者情報ＤＩ_ｎ＋１を新規登録するための入力をプロセッサ１４に与える。プロセッサ１４は、このステップＳ１１において、運転者情報ＤＩ_ｎ＋１の入力操作を受け付けた場合はＹＥＳと判定し、ステップＳ１２へ進む一方、ＮＯと判定した場合はステップＳ１へ進む。

【0100】

ステップＳ１２において、プロセッサ１４は、撮像装置２６を動作させて、運転者Ｄ_ｎ＋１の顔を撮像する。このとき、撮像装置２６が運転者Ｄ_ｎ＋１の正面顔を撮像可能とするように、プロセッサ１４は、ＨＭＩ３０を通して、運転者Ｄ_ｎ＋１に撮像装置２６の方向を向かせるためのガイド情報を、新規登録操作画像ＩＭｅに画像として表示するか、又は音声としてスピーカから出力してもよい。プロセッサ１４は、撮像装置２６によって撮像された運転者Ｄ_ｎ＋１の顔画像ＩＭｆ_ｎ＋１（画像データ、又は該画像データから抽出した特徴点をコード化した特徴量情報）を、運転者情報ＤＩ_ｎ＋１に含まれる新たな顔画像ＤＩ２_ｎ＋１として、データベース１２に新規登録する。

【0101】

ステップＳ１３において、プロセッサ１４は、運転状態判定値ＤＶ_ｎ＋１の初期値を設定する。例えば、プロセッサ１４は、ステップＳ１２で撮像した運転者Ｄ_ｎ＋１の顔画像ＩＭｆ_ｎ＋１（つまり、運転者情報ＤＩ_ｎ＋１として新規登録された顔画像ＤＩ２_ｎ＋１）から、運転者Ｄ_ｎ＋１の顔向き方向α及び開度βを求め、該顔向き方向α及び開度βを、運転状態判定値ＤＶ_ｎ＋１の基準顔向き方向α_{０_ｎ＋１}及び基準開度β_{０_ｎ＋１}として新たに設定する。

【0102】

また、プロセッサ１４は、新たに設定した基準顔向き方向α_{０_ｎ＋１}に対して新たな閾値φ_{ｔｈ_ｎ＋１}を設定するとともに、新たに設定した基準開度β_{０_ｎ＋１}に対して新たな閾値β_{ｔｈ_ｎ＋１}を設定してもよい。プロセッサ１４は、設定した運転状態判定値ＤＶ_ｎ＋１の初期値（例えば、基準顔向き方向α_{０_ｎ＋１}及び閾値φ_{ｔｈ_ｎ＋１}、基準開度β_{０_ｎ＋１}及び閾値β_{ｔｈ_ｎ＋１}）を、運転者情報ＤＩ_ｎ＋１に関連付けて、データベース１２に格納する。

【0103】

ステップＳ１３の後、プロセッサ１４は、図３のフローと同様に、ステップＳ１～Ｓ１０を順次実行し、ステップＳ７において、直近のステップＳ６でＹＥＳと判定したときに取得した運転状態パラメータＰＲに基づいて、この時点で設定されている運転者Ｄ_ｎ＋１の運転状態判定値ＤＶ_ｎ＋１の初期値を更新する。

【0104】

本実施形態によれば、プロセッサ１４は、運転者情報ＤＩ_ｎ＋１の新規登録のために撮像した顔画像ＩＭｆ_ｎ＋１に基づいて、運転状態判定値ＤＶ_ｎ＋１の初期値を自動で設定できる。なお、図６中のステップＳ７において、プロセッサ１４は、運転状態判定値ＤＶ_ｎの一部を更新する一方、運転状態判定値ＤＶ_ｎの一部を更新せずに、ステップＳ１３で設定した初期値を維持してもよい。

【0105】

例えば、プロセッサ１４は、ステップＳ７において、基準顔向き方向α_{０_ｎ}及びφ_{ｔｈ_ｎ}、基準瞬き頻度γ_{０_ｎ}及び閾値γ_{ｔｈ_ｎ}、並びに、基準開閉頻度ε_{０_ｎ}及び閾値ε_{ｔｈ_ｎ}を更新する一方で、基準開度β_{０_ｎ}及び閾値β_{ｔｈ_ｎ}を更新せずに、ステップＳ１３で運転者Ｄ_ｎに関して設定した基準開度β_{０_ｎ}及び閾値β_{ｔｈ_ｎ}の初期値を維持してもよい。

【0106】

ここで、ステップＳ１２で新規登録のために顔画像ＩＭｆ_ｎを撮像するとき、運転者Ｄ_ｎは、目を通常状態で開いていると推定される。よって、ステップＳ７で基準開度β_{０_ｎ}及び閾値β_{ｔｈ_ｎ}を更新せずに初期値に維持することで、開度βに基づく運転状態ＤＣの適否の判定を、より高精度に実行できる。

【0107】

なお、図６に示すフローから、ステップＳ１３及びＳ２を省略してもよい。この場合、プロセッサ１４は、第１回目に実行するステップＳ７において、取得した運転状態パラメータＰＲ（例えば、顔向き方向α）に基づいて、運転状態判定値ＤＶ_ｎ（例えば、基準顔向き方向α_{０_ｎ}及び閾値φ_{ｔｈ_ｎ}）の初期値を設定する。そして、プロセッサ１４は、第２回目以降にステップＳ７を実行する毎に、運転状態判定値ＤＶ_ｎを更新する。

【0108】

なお、上述の実施形態においては、上述のステップＳ１１～Ｓ１３でプロセッサ１４が、新規の運転者Ｄ_ｎ＋１の入力操作に応じて運転者情報ＤＩ_ｎ＋１を新規登録する場合について述べた。しかしながら、プロセッサ１４は、運転者Ｄ_ｎ＋１の入力操作を受け付けることなく、運転者情報ＤＩ_ｎ＋１を自動で新規登録してもよい。

【0109】

具体的には、プロセッサ１４は、図３のフローのステップＳ１において、撮像装置２６を動作させて、車両２０に乗り込んだ新規の運転者Ｄ_ｎ＋１の顔を撮像し、該運転者Ｄ_ｎ＋１の顔画像ＩＭｆ_ｎ＋１と、データベース１２に運転者情報ＤＩ_ｎとして格納されている顔画像ＤＩ２_ｎとを照合する。その結果、プロセッサ１４は、車両２０に乗り込んだ運転者Ｄ_ｎ＋１が、データベース１２に予め格納された運転者情報ＤＩ_ｎに含まれていないことを認識したとする。

【0110】

この場合において、プロセッサ１４は、撮像した顔画像ＩＭｆ_ｎ＋１を、新規の運転者Ｄ_ｎ＋１の運転者情報ＤＩ_ｎ＋１として、データベース１２に新たに書き込んでもよい。そして、プロセッサ１４は、この運転者Ｄ_ｎ＋１の運転開始後、第１回目のステップＳ７を実行したときに、取得した運転状態パラメータＰＲ（例えば、顔向き方向α）に基づいて、運転状態判定値ＤＶ_ｎ＋１（例えば、基準顔向き方向α_{０_ｎ＋１}及び閾値φ_{ｔｈ_ｎ＋１}）の初期値を設定し、運転者情報ＤＩ_ｎ＋１と関連付けて、データベース１２に格納してもよい。

【0111】

この場合において、プロセッサ１４は、新規の運転者Ｄ_ｎ＋１が、データベース１２に登録済みの運転者Ｄ_ｎの運転者情報ＤＩ_ｎの少なくとも１つを保有していた場合にのみ、新たな運転者情報ＤＩ_ｎ＋１をデータベース１２に自動追加してもよい。例えば、新規の運転者Ｄ_ｎ＋１が、データベース１２に予め登録されている２番目の運転者Ｄ_２の識別コードＤＩ１_２を記録した携帯機（例えば、スマートキー）を保有していたとする。

【0112】

この場合、プロセッサ１４は、ステップＳ１において、車両２０に乗り込んだ新規の運転者Ｄ_ｎ＋１を、データベース１２に予め登録されている２番目の運転者Ｄ_２として認識する一方、撮像装置２６を動作させて、新規の運転者Ｄ_ｎ＋１の顔を撮像する。プロセッサ１４は、撮像した運転者Ｄ_ｎ＋１の顔画像ＩＭｆ_ｎ＋１と、データベース１２に２番目の運転者Ｄ_２の運転者情報ＤＩ_２として格納されている顔画像ＤＩ２_２とを照合した結果、車両２０に乗り込んだ運転者Ｄ_ｎ＋１が、データベース１２に登録された運転者Ｄ_２とは別人であることを認識することになる。

【0113】

この場合に、プロセッサ１４は、撮像した顔画像ＩＭｆ_ｎ＋１を、新規の運転者Ｄ_ｎ＋１の運転者情報ＤＩ_ｎ＋１として、データベース１２に新たに書き込んでもよい。このとき、データベース１２には、運転者情報ＤＩ_ｎ＋１として、顔画像ＩＭｆ_ｎ＋１と、２番目の運転者Ｄ_２の識別コードＤＩ１_２とが格納されてもよい。

【0114】

なお、プロセッサ１４は、撮像した新規の運転者Ｄ_ｎ＋１の顔画像ＩＭｆ_ｎ＋１と、データベース１２に格納された運転者情報ＤＩ_ｎの顔画像ＤＩ２_ｎとを照合できなかった場合（換言すれば、上述のステップＳ１で正規の運転者Ｄ_ｎとして特定できなかった場合）、データベース１２に運転者情報ＤＩ_ｎとして登録されている正規の運転者Ｄ_ｎの携帯機に、通信機３２を通して、画像又は音声の警告信号ＡＬ２を送信してもよい。

【0115】

なお、上述の実施形態においては、運転状態パラメータＰＲとして、顔向き方向α、目の瞬き頻度γ、口の開閉頻度ε、及び視線方向δを例示した。しかしながら、運転状態パラメータＰＲは、例えば、運転中の運転者Ｄ_ｎの頭部の揺動量、又は、ステアリングの操舵角λの時間変化量（例えば、時間微分値：Δλ／Δｔ）等、運転者Ｄ_ｎの運転状態ＤＣを定量的に表す如何なるパラメータを含んでもよい。

【0116】

なお、データベース１２は、車両２０のメモリ３４に格納される形態に限らず、例えば、車両２０の外部の管理サーバ（図示せず）に格納されてもよい。この場合、プロセッサ１４は、通信機３２を通して該管理サーバと通信し、該管理サーバからデータベース１２の情報（すなわち、運転者情報ＤＩ_ｎ、及び運転状態判定値ＤＶ_ｎ）を取得してもよい。

【0117】

この場合において、プロセッサ１４は、上述のステップＳ１において、撮像装置２６によって撮像した運転者Ｄ_ｎの顔画像ＩＭｆ_ｎを、通信機３２を通して管理サーバに送信し、該管理サーバが、受信した顔画像ＩＭｆ_ｎと、データベース１２に予め格納された顔画像ＤＩ２_ｎとを照合することで、運転者Ｄ_ｎを特定してもよい。以上、実施形態を通じて本開示を説明したが、上述の実施形態は、特許請求の範囲に係る発明を限定するものではない。

【符号の説明】

【0118】

１０ ドライバモニタシステム
１２ データベース
１４ プロセッサ
２０ 車両
２４ ＥＣＵ
２６ 撮像装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】