特許 6575293 状態判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6575293

(24)【登録日】2019年8月30日

(45)【発行日】2019年9月18日

(54)【発明の名称】状態判定装置

(51)【国際特許分類】

   B60W 40/08 20120101AFI20190909BHJP

   G08G 1/16 20060101ALI20190909BHJP

   B60W 50/14 20120101ALI20190909BHJP

   B60K 28/06 20060101ALN20190909BHJP

【ＦＩ】

   B60W40/08

   G08G1/16 F

   B60W50/14

   !B60K28/06 Z

【請求項の数】6

【全頁数】11

(21)【出願番号】特願2015-207167(P2015-207167)

(22)【出願日】2015年10月21日

(65)【公開番号】特開2017-77817(P2017-77817A)

(43)【公開日】2017年4月27日

【審査請求日】2018年9月29日

(73)【特許権者】

【識別番号】000000170

【氏名又は名称】いすゞ自動車株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100124084

【弁理士】

【氏名又は名称】黒岩 久人

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(72)【発明者】

【氏名】岩男 眞由美

【審査官】 鶴江 陽介

(56)【参考文献】

【文献】 特開２０１０−１２８６４９（ＪＰ，Ａ）

【文献】 特開平７−５７１７２（ＪＰ，Ａ）

【文献】 特開２０１６−２７４５２（ＪＰ，Ａ）

【文献】 特開２０１０−２０４８４７（ＪＰ，Ａ）

【文献】 特開２００８−２８７５６１（ＪＰ，Ａ）

【文献】 特開２００４−５６７８５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／００４２４７８（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｗ ４０／０８

Ｂ６０Ｗ ５０／１４

Ｇ０８Ｇ １／１６

Ｂ６０Ｋ ２８／０６

(57)【特許請求の範囲】

【請求項1】

車両の運転席に着座している運転者を撮影して画像を生成する撮像装置から前記画像を取得する画像取得部と、
前記画像における前記運転者の頭部を特定する特定部と、
前記画像における前記頭部が所定の基準範囲に入っていない場合に、前記運転者の状態を異常状態と判定する判定部と、
現時点から過去の所定の長さの判定期間において前記判定部が前記運転者の状態を前記異常状態と判定した期間の積算値に基づいて、警報装置に警報を出力させるか否かを制御する警報制御部と、
を有する、状態判定装置。

【請求項2】

前記警報制御部は、前記所定の長さの判定期間において、前記判定部が前記運転者の状態を異常状態と判定した期間の積算値が所定の閾値以上である場合に、前記警報装置に警報を出力させる、請求項１に記載の状態判定装置。

【請求項3】

前記運転者の状態が異常であるか否かを前記判定部が判定する前の所定の期間内に前記画像取得部が取得した前記画像における前記運転者の前記頭部が位置する範囲に基づいて、前記基準範囲を生成する基準生成部をさらに有する、請求項１又は２に記載の状態判定装置。

【請求項4】

前記判定部は、前記車両の走行時に前記画像取得部が取得した前記画像における前記頭部が、前記基準生成部が前記運転者の状態が異常であるか否かを前記判定部が判定する前の前記車両の走行時に前記画像取得部が取得した前記画像における前記運転者の前記頭部が位置する範囲に基づいて生成した前記基準範囲に入っていない場合に、前記運転者の状態を異常状態と判定する、請求項３に記載の状態判定装置。

【請求項5】

前記判定部は、前記車両の停止時に前記画像取得部が取得した前記画像における前記頭部が、前記基準生成部が前記運転者の状態が異常であるか否かを前記判定部が判定する前の前記車両の停止時に前記画像取得部が取得した前記画像における前記運転者の前記頭部が位置する範囲に基づいて生成した前記基準範囲に入っていない場合に、前記運転者の状態を異常状態と判定する、請求項３又は４に記載の状態判定装置。

【請求項6】

前記特定部は、前記画像における前記頭部の面積を特定し、
前記判定部は、前記画像における前記頭部の面積が所定の基準面積以下である場合に、前記運転者の状態を異常状態と判定する、請求項１から５のいずれか１項に記載の状態判定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運転者の状態が異常であるか否かを判定する状態判定装置に関する。

【背景技術】

【0002】

従来、車両の運転者の状態を判定する方法として、撮像装置を用いて運転者の顔を撮影して画像を生成し、画像における運転者の顔の特徴に基づいて運転者の状態を判定する方法が知られている。例えば、特許文献１には、眼の充血などの、運転者の顔に現れる特徴に基づいて、運転者の健康状態を判定する方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４９３２９３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

運転者を撮影する時に運転者の顔を照らす光の明るさが変化すると、画像における運転者の顔の特徴の見え方が変化することがある。このため、特許文献１に記載された方法によっては、運転者の状態に関連する顔の特徴を検出できず、運転者の状態を判定することができないことがあると考えられる。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、運転者の状態の判定精度を向上させることができる状態判定装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の態様においては、車両の運転席に着座している運転者を撮影して画像を生成する撮像装置から前記画像を取得する画像取得部と、前記画像における前記運転者の頭部を特定する特定部と、前記画像における前記頭部が所定の基準範囲に入っていない場合に、前記運転者の状態を異常状態と判定する判定部と、を有する、状態判定装置を提供する。

【0007】

上記の状態判定装置は、所定の判定期間において、前記判定部が前記運転者の状態を異常状態と判定した期間の積算値が所定の閾値以上である場合に、警報装置に警報を出力させる警報制御部、をさらに有していてもよい。

【0008】

上記の状態判定装置は、前記運転者の状態が異常であるか否かを前記判定部が判定する前の所定の期間内に前記画像取得部が取得した前記画像における前記運転者の前記頭部が位置する範囲に基づいて、前記基準範囲を生成する基準生成部、をさらに有していてもよい。

【0009】

前記判定部は、前記車両の走行時に前記画像取得部が取得した前記画像における前記頭部３１が、前記基準生成部が前記運転者の状態が異常であるか否かを前記判定部が判定する前の前記車両の走行時に前記画像取得部が取得した前記画像における前記運転者の前記頭部が位置する範囲に基づいて生成した前記基準範囲に入っていない場合に、前記運転者の状態を異常状態と判定してもよい。

【0010】

前記判定部は、前記車両の停止時に前記画像取得部が取得した前記画像における前記頭部３１が、前記基準生成部が前記運転者の状態が異常であるか否かを前記判定部が判定する前の前記車両の停止時に前記画像取得部が取得した前記画像における前記運転者の前記頭部が位置する範囲に基づいて生成した前記基準範囲に入っていない場合に、前記運転者の状態を異常状態と判定してもよい。

【0011】

前記特定部は、前記画像における前記頭部の面積を特定し、前記判定部は、前記画像における前記頭部の面積が所定の基準面積以下である場合に、前記運転者の状態を異常状態と判定してもよい。

【発明の効果】

【0012】

本発明によれば、運転者の状態の判定精度を向上させることができる。

【図面の簡単な説明】

【0013】

【図1】第１の実施形態に係る車両の構成を示すブロック図である。

【図2】第１の実施形態に係る状態判定装置の基準生成部が基準範囲を生成する方法を示す図である。

【図3】第１の実施形態に係る状態測定装置の動作を示すフローチャートである。

【図4】第２の実施形態に係る状態判定装置の基準生成部が基準範囲を生成する方法を示す図である。

【図5】撮像装置の撮影範囲に占める運転者の頭部の範囲の比率と、運転者の姿勢との関係を示す図である。

【発明を実施するための形態】

【0014】

＜第１の実施形態＞
図１は、本実施形態に係る車両１の構成を示すブロック図である。車両１は、撮像装置２１、状態判定装置１０、警報装置２２、送信装置２３、車両制御装置２４、及び入力装置２５を備えている。

【0015】

撮像装置２１は、例えば、車両１のダッシュボードに設けられたＣＣＤカメラを含んでいる。撮像装置２１は、走行中の車両１の運転席に着座している運転者を前方から撮影して画像を生成する。撮像装置２１は、画像を状態判定装置１０に対して出力する。

【0016】

状態判定装置１０は、撮像装置２１から入力された画像における運転者の頭部に関する情報に基づいて、運転者の状態を判定する。具体的には、状態判定装置１０は、車両１の走行時の画像における運転者の頭部が所定の基準範囲に入っていない場合に、運転者の状態を異常状態と判定する。

【0017】

警報装置２２は、状態判定装置１０からの制御に基づいて、運転者が異常状態であることを示す警報を出力する。例えば、警報装置２２は、警報を音声で出力するスピーカーを含んでいる。警報装置２２は、警報を文字又は画像で表示するディスプレイを含んでいてもよい。

【0018】

送信装置２３は、状態判定装置１０からの制御に基づいて、運転者の状態に関する情報を車両１の外部へ送信する。例えば、送信装置２３は、テレマティクスサービスにおける無線通信方式を利用して、情報を送信する。車両１が、バス、トラックなどの商用車である場合、送信装置２３は、例えば、車両１を管理する管理会社へ情報を送信する。

【0019】

車両制御装置２４は、例えば電子制御ユニット（ＥＣＵ）を含んでいる。車両制御装置２４は、運転者からの操作と、車両１の速度などの車両状態に関する車両情報と、に基づいて、車両１のエンジン、ブレーキ等を制御する。車両制御装置２４は、車両状態に関する車両情報を状態判定装置１０に対して出力する。

【0020】

入力装置２５は、例えば、警報装置２２からの警報出力を停止するために運転者が操作するスイッチを含んでいる。入力装置２５は、スイッチを介した運転者からの操作に関する情報を、状態判定装置１０に対して出力する。

【0021】

［状態判定装置１０の構成］
以下、状態判定装置１０の構成について詳細に説明する。状態判定装置１０は、例えばＣＰＵ、ＲＯＭ及びＲＡＭ等のメモリを含んでおり、ＲＯＭに記憶されたプログラムを実行することにより、画像取得部１１、特定部１２、判定部１３、基準生成部１４、警報制御部１５、及び送信制御部１６として機能する。

【0022】

画像取得部１１は、撮像装置２１が撮像した画像を撮像装置２１から取得する。画像取得部１１は、例えば、車両１の走行時に撮像装置２１が撮像した画像を撮像装置２１から取得する。

【0023】

特定部１２は、画像取得部１１が取得した画像における運転者の頭部を特定する。特定部１２は、特定した頭部に関する情報を、判定部１３に入力する。特定した頭部に関する情報は、例えば、画像における頭部の輪郭の座標を示す情報である。特定部１２は、画像における運転者の頭部を特定できない場合、頭部を特定不能であることを示すロスト情報を生成して判定部１３に入力する。頭部を特定できない原因としては、運転者の顔を照らす光の明るさが不適切であること、運転者の頭部が撮像装置２１の撮影範囲から逸脱していることなどが考えられる。特定部１２は、特定した頭部に関する情報を、判定部１３に入力する。

【0024】

判定部１３は、特定部１２から入力された頭部に関する情報が示す頭部の範囲と、基準生成部１４が運転者ごとに個別に生成した所定の基準範囲とを比較して、運転者の状態を判定する。例えば、判定部１３は、画像における頭部が基準範囲に入っている場合、運転者の状態を正常状態と判定し、画像における頭部が基準範囲に入っていない場合に、運転者の状態を異常状態と判定する。また、判定部１３は、ロスト情報が特定部１２から入力されている場合、画像における頭部が基準範囲に入っていないとみなして、運転者の状態を異常状態と判定する。

【0025】

判定部１３は、車両１が所定の制御状態にあることにより、頭部が基準範囲内に入っていないことが重大な問題を引き起こさないと考えられる場合には、画像に基づいて運転者の状態を判定する処理を中断してもよい。具体的には、判定部１３は、車両１の速度に関する情報、及び車両１の操舵状況に関する情報等の制御情報を車両制御装置２４から取得し、当該制御情報に基づいて、運転者の状態の判定を中断してもよい。例えば、判定部１３は、制御情報に基づいて、車両１が停止している間、又は車両１が低速で走行している間は、判定を中断する。また、運転者が操舵動作を行っている間は、撮像装置２１が撮影する画像において、運転者の頭部がハンドルのスポークによって遮蔽されることによって、画像における頭部を特定できないことが生じうるので、判定部１３は、判定を中断してもよい。

【0026】

基準生成部１４は、上述の基準範囲を運転者ごとに生成する。以下、基準生成部１４について、図２を参照して説明する。図２は、基準生成部１４が第１基準範囲Ｒ１を生成する方法の一例を示す図である。

【0027】

基準生成部１４は、図２（ａ）に示すように、車両１の走行時の所定のキャリブレーション期間内に画像取得部１１が取得した複数の画像における運転者の頭部３１の位置を、メモリに記憶させる。続いて、基準生成部１４は、図２（ｂ）に示すように、キャリブレーション期間が終了した後に、メモリに記憶させた複数の頭部３１を包含する第１基準範囲Ｒ１を生成する。キャリブレーション期間は、判定部１３が、運転者の状態が異常であるか否かの判定を開始する前の所定の期間である。例えば、キャリブレーション期間は、車両１が走行を開始してから所定の時間（例えば３分間）が経過するまでの期間である。

【0028】

警報制御部１５は、判定部１３が運転者の状態を異常状態と判定した期間の積算値に基づいて、警報装置２２に警報を出力させるか否かを制御する。例えば、警報制御部１５は、まず、所定の判定期間Ｔ１の間に判定部１３が運転者の状態を異常状態と判定した期間を積算した積算値Ｓ１を算出する。続いて、警報制御部１５は、判定期間Ｔ１における積算値Ｓ１が、所定の閾値Ｅ１以上である場合、警報装置２２に警報を出力させる。判定期間Ｔ１は、現時点から過去のＴ１の長さの期間（例えば、６０秒）である。閾値Ｅ１は、例えば５５秒である。

【0029】

警報制御部１５は、所定の警報停止条件が満たされるまで、警報装置２２に警報を出力させる。また、警報制御部１５は、警報停止条件が満たされた場合、警報装置２２に警報を出力させることを停止する。

【0030】

警報停止条件は、例えば、運転者が操舵動作、ブレーキ動作などの所定の動作を行うことである。警報制御部１５は、運転者が所定の動作を行ったか否かを、車両１を制御する車両制御装置２４から入力された情報に基づいて判定する。
また、警報停止条件は、警報を停止するための入力装置２５のスイッチが運転者によって操作されたことであってもよい。

【0031】

また、警報装置２２が警報を出力している間も判定部１３が運転者の状態の判定を行う場合、警報制御部１５は、警報装置２２が警報を出力している間の判定期間Ｔ１における積算値Ｓ１が閾値Ｅ１未満になった場合に、警報を停止してもよい。

【0032】

送信制御部１６は、警報制御部１５が警報装置２２に連続的に警報を出力させている警報継続期間Ｓ２を算出する。そして、送信制御部１６は、警報継続期間Ｓ２が、所定の閾値Ｅ２以上になった場合、送信装置２３を介して、運転者が異常状態にあるという情報を車両１の外部に送信する。

【0033】

［状態判定装置１０の動作］
次に、状態判定装置１０の動作について、図３を参照して説明する。図３は、状態判定装置１０の動作を示すフローチャートである。

【0034】

画像取得部１１は、車両１の走行時に撮像装置２１が運転者を前方から撮影して生成した画像を定期的に取得する（Ｓ１１）。続いて、特定部１２は、画像における運転者の頭部３１を特定する（Ｓ１２）。続いて、判定部１３は、画像における頭部３１全体が、所定の第１基準範囲Ｒ１に入っていないかどうかを判定する（Ｓ１３）。頭部３１全体が第１基準範囲Ｒ１に入っていない場合（Ｓ１３においてＹＥＳ）、判定部１３は、運転者の状態を異常状態と判定する（Ｓ１４）。

【0035】

警報制御部１５は、所定の判定期間Ｔ１において判定部１３が運転者の状態を異常状態と判定した期間の積算値Ｓ１を算出する（Ｓ１５）。続いて、警報制御部１５は、積算値Ｓ１が所定の閾値Ｅ１以上になるか否かを判定する（Ｓ１６）。積算値Ｓ１が閾値Ｅ１以上になる場合（Ｓ１６においてＹＥＳ）、警報制御部１５は、警報装置２２に警報を出力させる（Ｓ１７）。

【0036】

警報制御部１５が警報装置２２に警報を出力させている間、警報制御部１５は、所定のサンプリング周期ごとに、所定の警報停止条件が満たされたか否かを確認する（Ｓ１８）。警報停止条件が満たされておらず（Ｓ１８においてＮＯ）、このため、警報制御部１５が警報装置２２に警報を連続的に出力させている場合、送信制御部１６は、警報継続期間Ｓ２が所定の閾値Ｅ２以上になるか否かを判定する（Ｓ１９）。警報継続期間Ｓ２が閾値Ｅ２以上になる場合、（Ｓ１９においてＹＥＳ）、送信制御部１６は、送信装置２３に、車両１の管理会社へ、運転者が異常状態にあることを示す情報を送信させる（Ｓ２０）。

【0037】

警報制御部１５は、Ｓ１８において所定の警報停止条件が満たされた場合、送信装置２３に警報を出力させることを停止する（Ｓ２１）。

【0038】

［本実施形態による状態判定装置１０の効果］
本実施形態によれば、状態判定装置１０の判定部１３は、撮像装置２１が撮像した画像における運転者の頭部３１が所定の第１基準範囲Ｒ１に入っていないかどうかに基づいて、運転者の状態を判定する。このようにすることにより、運転者の顔の特徴を検出することが困難な場合であっても、運転者の状態を判定することができる。

【0039】

また、本実施形態によれば、状態判定装置１０の警報制御部１５は、所定の判定期間Ｔ１において判定部１３が運転者の状態を異常状態と判定した期間の積算値Ｓ１が所定の閾値Ｅ１以上である場合に、警報装置２２に警報を出力させる。このようにすることにより、頭部３１が一時的に第１基準範囲Ｒ１から出ただけで警報が出力されることを防止できる。

【0040】

また、本実施形態によれば、状態判定装置１０の基準生成部１４は、運転者の状態が異常であるか否かを判定部１３が判定する前の所定のキャリブレーション期間内に画像取得部１１が取得した画像における運転者の頭部３１が位置する範囲に基づいて、第１基準範囲Ｒ１を生成する。このようにすることにより、運転者の体形の個人差などに依らず、運転者の状態を精度良く判定することができる。

【0041】

また、本実施形態によれば、状態判定装置１０の判定部１３は、車両１の走行時のキャリブレーション期間内に基準生成部１４が生成した第１基準範囲Ｒ１に基づいて、車両１の走行時の運転者の状態を判定する。このようにすることにより、車両１の走行時に運転者の状態を精度良く判定することができる。

【0042】

また、本実施形態によれば、状態判定装置１０の特定部１２は、運転者の頭部３１が撮像装置２１の撮影範囲から逸脱していることなどに起因して画像における運転者の頭部３１を特定できない場合に、頭部３１を特定不能であることを示すロスト情報を生成する。また、判定部１３は、ロスト情報が特定部１２から入力されている場合、運転者の状態を異常状態と判定する。このようにすることにより、ロスト情報を利用して運転者の状態を判定することができる。

【0043】

＜第２の実施形態＞
第１の実施形態に係る状態判定装置１０は、車両１の走行時に撮像装置２１が撮像した画像における運転者の頭部３１に関する情報に基づいて、車両１の走行時における運転者の状態を判定した。これに対して、第２の実施形態に係る状態判定装置１０は、車両１の走行時及び停止時に撮像装置２１が撮像した画像における運転者の頭部３１に関する情報に基づいて、車両１の走行時及び停止時における運転者の状態を判定する。以下の説明では、第１の実施形態の場合と同一の構成要素については、説明を省略する。

【0044】

車両１の停止時、運転者は、オーディオ機器の操作など、車両１の運転操作以外の様々な操作を行う。このため、車両１の走行時に比べて、撮像装置２１が撮像した画像において、運転者の頭部３１が様々な位置に存在しうる。従って、仮に状態判定装置１０の判定部１３が、車両１の停止時の画像における運転者の頭部３１と、車両１の走行時のキャリブレーション期間内に基準生成部１４が生成した第１基準範囲Ｒ１とを比較して、車両１の停止時における運転者の状態を判定すると、判定部１３は、問題の無い動作をしている運転者の状態を異常状態と判定することがある。この点を考慮し、本実施形態による判定部１３は、車両１の停止時には、車両１の停止時の所定のキャリブレーション期間内に基準生成部１４が生成した第２基準範囲を用いて、運転者の状態を判定する。

【0045】

図４は、本実施形態に係る状態判定装置１０の基準生成部１４が、判定部１３が車両１の停止時に用いる第２基準範囲Ｒ２を生成する方法の一例を示す図である。基準生成部１４は、図４（ａ）に示すように、車両１の停止時の所定のキャリブレーション期間内に画像取得部１１が取得した複数の画像における運転者の頭部３１の位置を、メモリに記憶させる。続いて、基準生成部１４は、図４（ｂ）に示すように、キャリブレーション期間が終了した後に、メモリに記憶させた複数の頭部３１を包含する第２基準範囲Ｒ２を生成する。キャリブレーション期間は、判定部１３が、運転者の状態が異常であるか否かの判定を開始する前の所定の期間である。例えば、キャリブレーション期間は、車両１が走行を開始した後に、信号待ちなどの理由で車両１が停止している期間であって、車両１が停止している期間の積算値が所定の時間（例えば３分間）になるまでの期間である。

【0046】

本実施形態において、状態判定装置１０は、車両１の走行時に画像取得部１１が取得した画像における運転者の頭部３１が、車両１の走行時の所定のキャリブレーション期間内に基準生成部１４が生成した第１基準範囲Ｒ１に入っていない場合に、運転者の状態を異常状態と判定する。また、状態判定装置１０は、車両１の停止時に画像取得部１１が取得した画像における運転者の頭部３１が、車両１の停止時の所定のキャリブレーション期間内に基準生成部１４が生成した第２基準範囲Ｒ２に入っていない場合に、運転者の状態を異常状態と判定する。また、判定部１３は、車両１の走行時及び停止時のいずれにおいても、ロスト情報が特定部１２から入力されている場合、画像における頭部３１が基準範囲に入っていないとみなして、運転者の状態を異常状態と判定する。

【0047】

［本実施形態による状態判定装置１０の効果］
本実施形態によれば、判定部１３は、車両１の走行時には、車両１の走行時に基準生成部１４が生成した第１基準範囲Ｒ１に基づいて運転者の状態を判定し、車両１の停止時には、車両１の停止時に基準生成部１４が生成した第２基準範囲Ｒ２に基づいて運転者の状態を判定する。このようにすることにより、車両１の走行時及び停止時のいずれにおいても、運転者の状態を精度良く判定することができる。

【0048】

＜第３の実施形態＞
第１の実施形態に係る状態判定装置１０は、車両１の走行時に撮像装置２１が撮像した画像における運転者の頭部３１が所定の第１基準範囲Ｒ１に入っていないかどうかに基づいて、運転者の状態を判定した。これに対して、第３の実施形態に係る状態判定装置１０は、車両１の走行時に撮像装置２１が撮像した画像における運転者の頭部３１の面積が所定の基準範囲に入っているかどうかに基づいて、運転者の状態を判定する。以下の説明では、第１の実施形態の場合と同一の構成要素については、説明を省略する。

【0049】

図５は、撮像装置２１の撮影範囲Ｌ１に占める運転者の頭部３１の範囲Ｌ２の比率と、運転者の姿勢との関係を示す図である。図５（ａ）は、運転者が、上半身が運転席３０に沿って延びる正常姿勢をとる場合を示す図である。図５（ｂ）は、運転者が、正常姿勢に比べて後方に傾いた後傾姿勢をとる場合を示す図である。図５（ｃ）は、運転者が、正常姿勢に比べて前方に傾いた前傾姿勢をとる場合を示す図である。

【0050】

運転者が後傾姿勢をとる場合、正常姿勢の場合に比べて頭部３１が撮像装置２１から遠ざかり、撮影範囲Ｌ１に占める運転者の頭部３１の範囲Ｌ２の比率が低くなる。この結果、撮像装置２１が撮像した画像における頭部３１の面積が小さくなる。一方、運転者が前傾姿勢をとる場合、正常姿勢の場合に比べて頭部３１が撮像装置２１に近づき、撮影範囲Ｌ１に占める運転者の頭部３１の範囲Ｌ２の比率が高くなる。この結果、撮像装置２１が撮像した画像における頭部３１の面積が大きくなる。

【0051】

上記の性質を利用して運転者の状態を判定するために、本実施形態に係る特定部１２は、画像取得部１１が取得した画像における運転者の頭部３１の面積を特定する。特定部１２は、特定した頭部３１の面積に関する情報を、判定部１３に入力する。また、特定部１２は、画像における運転者の頭部３１の面積を特定できない場合、頭部３１の面積を特定不能状態であることを示すロスト情報を生成して判定部１３に入力する。

【0052】

また、基準生成部１４は、運転者が正常な状態における頭部３１の面積が含まれる基準範囲を示す情報（以下、基準範囲情報という）を生成する。基準生成部１４は、例えば以下の手順により基準範囲情報を生成する。まず、基準生成部１４は、車両１の走行時の所定のキャリブレーション期間内に画像取得部１１が取得した複数の画像における運転者の頭部３１の面積を、メモリに記憶させる。続いて、基準生成部１４は、キャリブレーション期間が終了した後に、メモリに記憶させた複数の頭部３１の面積の平均値よりも所定の比率だけ小さい第１基準面積及び所定の比率だけ大きい第２基準面積を、基準範囲情報として算出する。

【0053】

また、判定部１３は、画像における頭部３１の面積が基準範囲に入っているかどうかに基づいて、運転者の姿勢を推測する。具体的には、判定部１３は、頭部３１の面積が第１基準面積よりも大きく且つ第２基準面積よりも小さい場合は、運転者が正常姿勢であると推測する。判定部１３は、頭部３１の面積が第１基準面積以下である場合は、運転者が後傾姿勢であると推測する。判定部１３は、頭部３１の面積が第２基準面積以上である場合は、運転者が前傾姿勢であると推測する。

【0054】

また、判定部１３は、推測した運転者の姿勢に基づいて、運転者の状態を判定する。運転者は、例えば健康が悪化した状態の時に、後傾姿勢をとる。また、運転者は、例えば緊張状態にある時に、前傾姿勢をとる。状態判定装置１０は、運転者の姿勢と運転者の状態との間のこのような関係を利用して、運転者の状態を判定する。具体的には、判定部１３は、運転者の姿勢が後傾姿勢又は前傾姿勢であると推測される場合、運転者の状態を異常状態と判定する。

【0055】

［本実施形態による状態判定装置１０の効果］
本実施形態によれば、状態判定装置１０は、撮像装置２１が撮像した画像における運転者の頭部３１の面積が所定の基準範囲に入っているかどうかに基づいて、運転者の状態を判定する。このようにすることにより、運転者の顔の特徴を検出することが困難な場合であっても、運転者の状態を判定することができる。

【0056】

［変形例］
状態判定装置１０は、第１の実施形態における、画像における運転者の頭部３１が所定の第１基準範囲Ｒ１に入っていないかどうかに基づいて運転者の状態を判定する方法、及び、第３の実施形態における、画像における運転者の頭部３１の面積が所定の基準範囲に入っているかどうかに基づいて運転者の状態を判定する方法を組み合わせて用いて、運転者の状態を判定してもよい。

【0057】

例えば、状態判定装置１０の判定部１３は、画像取得部１１が取得した画像における頭部３１が第１基準範囲Ｒ１に入っていないかどうかを判定する。また、判定部１３は、画像取得部１１が取得した画像における頭部３１の面積が第１基準面積以下であるかどうかを判定する。続いて、判定部１３は、画像における頭部３１が第１基準範囲Ｒ１に入っていない場合、又は、画像における頭部３１の面積が第１基準面積以下である場合、運転者の状態を異常状態と判定する。このようにすることにより、状態判定装置１０は、異常状態にある運転者をより確実に検出することができる。

【0058】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【符号の説明】

【0059】

１ 車両
１０ 状態判定装置
１１ 画像取得部
１２ 特定部
１３ 判定部
１４ 基準生成部
１５ 警報制御部
１６ 送信制御部
２１ 撮像装置
２２ 警報装置
２３ 送信装置
２４ 車両制御装置
２５ 入力装置
３０ 運転席
３１ 頭部
Ｒ１ 第１基準範囲
Ｒ２ 第２基準範囲

【図1】

【図2】

【図3】

【図4】

【図5】