特許 7594843 乗員状態検知装置および乗員状態検知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-27

(45)【発行日】2024-12-05

(54)【発明の名称】乗員状態検知装置および乗員状態検知方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241128BHJP

【ＦＩ】

G08G1/16 F

【請求項の数】 9

(21)【出願番号】P 2023575342

(86)(22)【出願日】2022-01-27

(86)【国際出願番号】 JP2022002995

(87)【国際公開番号】W WO2023144951

(87)【国際公開日】2023-08-03

【審査請求日】2023-12-06

【早期審査対象出願】

(73)【特許権者】

【識別番号】324003048

【氏名又は名称】三菱電機モビリティ株式会社

(74)【代理人】

【識別番号】110003166

【氏名又は名称】弁理士法人山王内外特許事務所

(72)【発明者】

【氏名】甫天 翔悟

【審査官】▲高▼木 真顕

(56)【参考文献】

【文献】特開２０１２－０１４５０５（ＪＰ，Ａ）

【文献】特開２０１８－１３３０３２（ＪＰ，Ａ）

【文献】特開２０１１－０４２１７９（ＪＰ，Ａ）

【文献】国際公開第２００７／１０５７９２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｇ０１Ｃ ２１／００ － ２１／３６

Ｂ６０Ｗ １０／００ － １０／３０

Ｂ６０Ｗ ３０／００ － ６０／００

(57)【特許請求の範囲】

【請求項1】

車両内に配置された撮像装置により取得された複数のフレームの撮像画像を取得するように構成された画像取得部と、
前記複数のフレームの撮像画像から、前記車両の乗員の視線および顔向きを検出するように構成された特徴情報検出部と、
前記複数のフレームの撮像画像について、前記乗員の視線の検出を妨げる要因を推定して、推定した要因を示す情報を要因情報として出力するように構成された要因推定部と、
各フレームの撮像画像について、検出された視線および顔向き、並びに出力された要因情報の全部または一部に基づいて、前記乗員が前記車両の運転に適さない不注意状態か否かを判定するように構成された不注意状態判定部と、
を備え、
前記不注意状態判定部は、現在のフレームの撮像画像について前記乗員の視線が検出できない場合、前記現在のフレームの撮像画像について出力された要因情報、前記現在のフレームの撮像画像から検出された顔向き、および前記現在のフレームより前の過去のフレームの撮像画像についてなされた不注意状態であるとの判定結果に基づいて、前記乗員が不注意状態であるか否かを判定するように構成されている、
乗員状態検知装置。

【請求項2】

前記過去のフレームの撮像画像についてなされた不注意状態であるとの判定は、前記乗員の視線に基づいた脇見であるとの判定である、
請求項１に記載された乗員状態検知装置。

【請求項3】

前記要因推定部は、予め定められた閉眼時間以内に瞬きがなされたことを検出した場合、視線の検出を妨げる要因として瞬きを推定し、瞬きを示す情報を前記要因情報として出力するように構成されている、
請求項２に記載された乗員状態検知装置。

【請求項4】

前記要因推定部は、予め定められた閉眼時間を超える閉眼を検出した場合、視線の検出を妨げる要因として居眠りを推定し、居眠りを示す情報を前記要因情報として出力するように構成されている、
請求項２に記載された乗員状態検知装置。

【請求項5】

前記要因推定部は、前記撮像画像の輝度値が予め定められた第１の輝度値以下または前記第１の輝度値よりも高い予め定められた第２の輝度値以上である場合、視線の検出を妨げる要因として輝度異常を推定し、輝度異常を示す情報を前記要因情報として出力するように構成されている、
請求項２に記載された乗員状態検知装置。

【請求項6】

前記要因推定部は、視線の検出を妨げる要因として眼鏡反射を推定し、眼鏡反射を示す情報を要因情報として出力するように構成されている、
請求項２に記載された乗員状態検知装置。

【請求項7】

前記過去のフレームは、前記現在のフレームから予め定められたフレーム数以内である、
請求項３から６のいずれか１項に記載された乗員状態検知装置。

【請求項8】

前記不注意状態判定部は、前記現在のフレームの撮像画像について要因情報が出力され、かつ前記現在のフレームの撮像画像から検出された顔向きが運転エリアを向いている場合において、前記現在のフレームから予め定められたフレーム数以内の過去のフレームの撮像画像についてなされた判定が不注意状態を示すときは、現在のフレームの撮像画像について前記乗員が不注意状態であると判定するように構成されている、
請求項１に記載された乗員状態検知装置。

【請求項9】

画像取得部、特徴情報検出部、要因推定部、および不注意状態判定部を備えた乗員状態検知装置が行う乗員状態検知方法であって、
前記画像取得部が、車両内に配置された撮像装置により取得された複数のフレームの撮像画像を取得するステップと、
前記特徴情報検出部が、前記複数のフレームの撮像画像から、前記車両の乗員の視線および顔向きを検出するステップと、
前記要因推定部が、前記複数のフレームの撮像画像について、前記乗員の視線の検出を妨げる要因を推定して、推定した要因を示す情報を要因情報として出力するステップと、
前記不注意状態判定部が、各フレームの撮像画像について、検出された視線および顔向き並びに出力された要因情報の全部または一部に基づいて、前記乗員が前記車両の運転に適さない不注意状態か否かを判定するステップと、
を備え、
前記不注意状態判定部は、現在のフレームの撮像画像について前記乗員の視線が検出できない場合、前記現在のフレームの撮像画像について出力された要因情報、前記現在のフレームの撮像画像から検出された顔向き、および前記現在のフレームより前の過去のフレームの撮像画像についてなされた不注意状態であるとの判定結果に基づいて、前記乗員が不注意状態であるか否かを判定する、
乗員状態検知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、乗員状態検知技術に関する。

【背景技術】

【0002】

特許文献１には、運転者を撮影するカメラと、前記カメラにて撮影した画像から運転者の顔向きを検知する顔向き検知部と、前記カメラにて撮影した画像から運転者の視線を検知する視線検知部と、顔向きから運転者の視線を推定する視線推定部と、視線から運転者が視認している視認対象を推定する視認対象推定部と、前記視認対象推定部にて推定した視認対象を示す情報を出力する出力部と、を備え、前記視認対象推定部は、前記視線検知部にて検知した視線の検知精度が所定の閾値以上の場合には、前記視認対象推定部が前記視線検知部にて検知した視線に基づいて視認対象の推定を行い、前記視線の検知精度が所定の閾値より小さい場合には、前記顔向き検知部にて検知した顔向きから視線を推定し、前記視線推定部にて推定した視線に基づいて視認対象の推定を行う視認対象検知装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１０１５２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

運転者の顔向きは車両の前方を向いているものの、視線は側方を向いている場合を想定する。このような場合、上記の特許文献１の装置によれば、視線の検知精度が所定の閾値以上あって視線を取得できるときは、視線は側方を向いているので、脇見による不注意状態であると判定される。このような不注意状態であるとの判定がなされている状態において、視線が瞬き等の何らかの要因により取得できなくなったとすると、特許文献１の装置によれば顔向きに基づいた判定が実行されることになる。そのため、運転者が実際には脇見により不注意状態であるにも関わらず、不注意状態であるとの判定が解除されて不注意状態でないと判定されてしまうという問題があった。

【0005】

本開示は、このような問題を解決するためになされたものであり、車両の乗員が不注意状態の場合において視線を検出できなくなったときに、顔向きに基づいて不注意状態でないと直ちに判定することを防止できる乗員状態検知技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の実施形態による乗員状態検知装置は、車両内に配置された撮像装置により取得された複数のフレームの撮像画像を取得するように構成された画像取得部と、前記複数のフレームの撮像画像から、前記車両の乗員の視線および顔向きを検出するように構成された特徴情報検出部と、前記複数のフレームの撮像画像について、前記乗員の視線の検出を妨げる要因を推定して、推定した要因を示す情報を要因情報として出力するように構成された要因推定部と、各フレームの撮像画像について、検出された視線および顔向き、並びに出力された要因情報の全部または一部に基づいて、前記乗員が前記車両の運転に適さない不注意状態か否かを判定するように構成された不注意状態判定部と、を備え、前記不注意状態判定部は、現在のフレームの撮像画像について、前記現在のフレームの撮像画像について出力された要因情報、前記現在のフレームの撮像画像から検出された顔向き、および前記現在のフレームより前の過去のフレームの撮像画像についてなされた不注意状態であるとの判定結果に基づいて、前記乗員が不注意状態であるか否かを判定するように構成されている。

【発明の効果】

【0007】

本開示の実施形態による乗員状態検知装置によれば、車両の乗員が不注意状態の場合において視線を検出できなくなったときに、顔向きに基づいて不注意状態でないと直ちに判定することを防止できる。

【図面の簡単な説明】

【0008】

【図1】乗員状態検知装置および乗員状態検知システムの構成例を示す図である。

【図2A】乗員状態検知装置のハードウェアの構成例を示す図である。

【図2B】乗員状態検知装置のハードウェアの構成例を示す図である。

【図3】乗員状態検知装置の動作を示すフローチャートである。

【図4】乗員状態検知装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付の図面を参照して、本開示における種々の実施形態について詳細に説明する。なお、図面において同一または類似の符号を付された構成要素は、同一または類似の構成または機能を有するものであり、そのような構成要素についての重複する説明は省略する。

【0010】

実施の形態１．
＜乗員状態検知システムの構成＞
図１を参照して、本開示の乗員状態検知装置および乗員状態検知システムについて説明する。図１に示されているように、乗員状態検知システムは、乗員状態検知装置１および撮像装置２を備える。撮像装置２は、車両の内部を撮像可能な位置に配置され、車両の乗員、典型的には運転者の画像を撮像する。撮像装置２としては、例えば、乗員に赤外光を照射して角膜反射を取得する場合には赤外光カメラを用いることができる。明るい環境ではＲＧＢカメラを用いてもよい。撮像装置２は、撮像した画像を乗員状態検知装置１へ出力する。

【0011】

＜乗員状態検知装置の構成＞
図１に示されているように、乗員状態検知装置１は、画像取得部１１、特徴情報検出部１２、要因推定部１３、および不注意状態判定部１４を備え、撮像装置２により撮像された撮像画像に基づいて乗員が不注意状態であるか否かを判定する。

【0012】

（画像取得部）
画像取得部１１は、車両の乗員の時間的に連続する複数のフレームの撮像画像を撮像装置２から取得する。画像取得部１１は、取得した撮像画像を出力する。

【0013】

（特徴情報検出部）
特徴情報検出部１２は、画像取得部１１から出力された撮像画像から、乗員の少なくとも一方の視線と顔向きとを検出する。一例として、特徴情報検出部１２は、撮像画像から顔、目、瞳孔などの乗員の顔に関する顔パーツの形状および顔パーツの時間的変化量を算出することにより、視線および顔向きを検出する。視線は、例えば目頭と目尻の位置に対する瞳孔の位置を利用して算出することができる。なお、算出の際に角膜反射を検出して角膜反射の位置を利用してもよく、角膜反射は低輝度の領域内の高輝度の領域を抽出することにより検出できる。視線は、撮像装置２と乗員の左右いずれかの目の中心を結ぶ仮想的な直線に対して視線が成す角の角度により規定することができる。顔向きは、顔パーツの相対的な位置関係から算出することができる。

【0014】

また、他の例として、特徴情報検出部１２は、撮像画像と視線および顔向きとの関係を学習した不図示の学習済みモデルに、画像取得部１１から出力された撮像画像を入力して、視線および顔向きを検出してもよい。

【0015】

特徴情報検出部１２は、検出した特徴点を示す特徴情報、検出した視線を示す視線情報、および検出した顔向きを示す顔向き情報を出力する。

【0016】

（要因推定部）
要因推定部１３は、特徴情報検出部１２による視線検出を妨げる要因を推定して、推定結果である推定した要因を要因情報として出力する機能部である。

【0017】

一例として、要因推定部１３は、視線検出を妨げる要因が瞬きであるか否かを推定して、推定結果を要因情報として出力する。乗員が瞬きにより一時的に目を閉じているときは視線を検出できないので、乗員が瞬きをしているか否かを推定する。このような推定を行うため、要因推定部１３は、特徴情報検出部１２から出力された特徴情報を用いて乗員の開眼度を算出し、乗員による瞬きの有無を判定する。開眼度は、例えば、目頭の位置、目尻の位置および上瞼の最高点の位置を検出し、目頭と目尻とを結ぶ直線と上瞼の最高点との間の距離を、目頭と目尻の間の距離で除算することで目の扁平率を求め、扁平率を予め定められた基準値で除算して得られる値として算出することができる。なお、上瞼の最高点とは、目尻と目頭を結ぶ直線から最も離れている上瞼の点（頂点）である。開眼度が予め定められたしきい値ＴＨ１を下回った場合を閉眼と判定し、開眼度が予め定められたしきい値ＴＨ１よりも大きい予め定められたしきい値ＴＨ２を上回った場合を開眼と判定し、閉眼を検知した後に予め定められた時間（以下、「閉眼時間」と称する場合がある。）以内に開眼が検知された場合を「瞬き有り」と判定することができる。閉眼検知後、閉眼時間以内に開眼が検知されない場合は「瞬き無し」と判定する。要因推定部１３は、瞬き有りと判定した場合には瞬きフラグをＯＮにし、瞬き無しと判定した場合には瞬きフラグをＯＦＦにして、瞬きフラグを要因情報として出力する。

【0018】

このように、瞬きの有無を推定する場合、要因推定部１３は、閉眼時間に相当する連続する複数のフレームの撮像画像から瞬きの有無を推定する。

【0019】

別の例として、要因推定部１３は、視線検出を妨げる要因が居眠りであるか否かを推定して、推定結果を要因情報として出力する。乗員が居眠りにより目を閉じているときは視線を検出できないので、乗員が居眠りをしているか否かを推定する。このような推定を行うため、要因推定部１３は、特徴情報検出部１２から出力された特徴情報を用いて乗員の開眼度を算出し、乗員が居眠りをしているか否かを判定する。閉眼を検知した後に、閉眼が瞬き判定で用いた閉眼時間を超えて継続する場合を居眠りと判定することができる。瞬き判定で用いた閉眼時間よりも長い時間を基準としてもよい。要因推定部１３は、乗員が居眠りをしていると判定した場合には居眠りフラグをＯＮにし、居眠りをしていない判定した場合には居眠りフラグをＯＦＦにして、居眠りフラグを要因情報として出力する。なお、本開示において、「居眠り」との用語は、実際に居眠りをしている場合の他、居眠りの前兆である眠気の状態をも含む用語として用いる。

【0020】

別の例として、要因推定部１３は、視線検出を妨げる要因が画像の輝度の異常であるか否かを推定して、推定結果を要因情報として出力する。例えば、撮像画像における目の領域の輝度が低い場合、瞳孔とその周辺を識別できず瞳孔を検出できないため、視線を検出できないことがある。また、撮像画像における目の領域の輝度が高い場合、角膜反射を取得できないため、視線を検出できないことがある。そこで、要因推定部１３は輝度が異常であるか否かを推定する。このような推定を行うため、要因推定部１３は、撮像画像の輝度値が、予め定められた第１の輝度値以下の場合または第１の輝度値よりも大きい予め定められた第２の輝度値以上の場合、輝度異常であると判定する。撮像画像の輝度値が、第１の輝度値よりも大きく第２の輝度値よりも小さい場合、輝度正常であると判定する。撮像画像の輝度値としては、典型的には撮像画像における乗員の目の領域の輝度値が用いられるが、目の領域よりも広い領域の輝度値、例えば、目および瞼の領域の輝度値、または目、瞼および眉毛の領域の輝度値を用いてもよい。要因推定部１３は、画像の輝度が異常であると判定した場合には輝度フラグをＯＮにし、画像の輝度が正常であると判定した場合には輝度フラグをＯＦＦにして、輝度フラグを要因情報として出力する。

【0021】

別の例として、要因推定部１３は、視線検出を妨げる要因が眼鏡反射であるか否かを推定して、推定結果を要因情報として出力する。例えば、乗員が眼鏡またはサングラスを着用している場合、太陽光または車両周辺の建物等の種々の構造物による反射光により、眼鏡またはサングラス上で眼鏡反射と呼ばれる反射が生じ、角膜反射が眼鏡反射により隠れてしまうため、視線を検出できないことがある。そこで、要因推定部１３は、眼鏡反射であるか否かを推定する。このような推定を行うため、例えば、要因推定部１３は、特徴情報検出部１２から乗員の両目の視線を取得するように構成されており、特徴情報検出部１２から乗員の片目の視線しか取得できない場合に、眼鏡反射があると推定する。一般的には乗員は車両の左右のドアの何れかの側に着座しているので、眼鏡反射は眼鏡またはサングラスの両ガラスのうちの一方にのみ生じる場合が多い。したがって、乗員の片目の視線しか取得できない場合、他方の目の前にあるガラス上で眼鏡反射が生じたと推定することができる。眼鏡反射は、眼鏡に映り込んだ反射物の形状を検出する等の他の手法により推定してもよい。要因推定部１３は、眼鏡反射があると判定した場合には眼鏡反射フラグをＯＮにし、眼鏡反射がないと判定する場合には眼鏡反射フラグをＯＦＦにして、眼鏡反射フラグを要因情報として出力する。

【0022】

以上では、視線検出を妨げる要因として、瞬きの場合、居眠りの場合、輝度異常の場合、眼鏡反射の場合の４つの例に即して説明したが、これら以外の要因を推定して、瞬きまたはその他の要因等の場合と同様に処理を行ってもよい。

【0023】

（不注意状態判定部）
不注意状態判定部１４は、特徴情報検出部１２から出力された視線情報および顔向き情報、並びに要因推定部１３から出力された要因情報の全部または一部に基づいて、乗員が不注意状態であるか否かを判定する。このような判定を行うため、不注意状態判定部１４は、判定１）視線情報を受け付けた場合には視線情報により示される視線が運転に適した領域である運転エリアの範囲内にあるか否かを判定し、判定２）顔向き情報を受け付けた場合には顔向き情報により示される顔向きが運転エリアの範囲内にあるか否かを判定し、判定３）要因情報を受け付けた場合には要因情報に基づいて乗員が不注意状態であるか否かを判定する。なお、視線情報を用いる場合の運転エリアと顔向き情報を用いる場合の運転エリアとは異なっていてもよい。

【0024】

不注意状態判定部１４は、判定１を行うため、例えば、視線情報により示される視線が運転エリアの範囲内にない場合には視線フラグをＯＮにし、運転エリアの範囲内にある場合には視線フラグをＯＦＦにする。

【0025】

不注意状態判定部１４は、判定２を行うため、例えば、顔向き情報により示される顔向きが運転エリアの範囲内にない場合には顔向きフラグをＯＮにし、運転エリアの範囲内にある場合には顔向きフラグをＯＦＦにする。

【0026】

不注意状態判定部１４は、判定３を行うため、例えば、瞬きフラグおよび輝度フラグのいずれか一方がＯＮの場合において、顔向きフラグがＯＦＦのときは、過去数フレーム以内に不注意状態と判定されたか否かに基づいて、現在のフレームの乗員が不注意状態であるか否かを判定する。顔向きは運転エリア内にあるが視線は運転エリア内に無い脇見運転中の乗員が瞬きをしたことにより視線を検出できない場合、従来技術によれば、乗員の顔向きにより脇見判定を行い、乗員の顔向きが運転エリア内にあれば不注意状態でないと直ちに判定することとなる。しかしながら、かかる状況において瞬きまたは輝度異常等の一時的事象により視線を検出できない場合は、乗員が瞬きを終えた後も乗員の視線は運転エリア内に無い可能性が高いので、脇見運転であるとの判定を維持することが適切であると考えられる。そこで、視線を検出できない要因が瞬きまたは輝度異常等の一時的事象による場合には、過去数フレーム以内に不注意状態と判定されたか否か、即ち現在から遡って予め定められた時間以内に不注意状態と判定されたか否かを考慮する。過去数フレーム以内かどうかは、フレームレートに基づいて適宜設定される。人が瞬きをする時間は約０．１０～０．１５秒であるので、例えば、０．１２秒に相当するフレーム数以内に不注意状態と判定されたか否かを考慮する。考慮の結果、不注意状態判定部１４は、過去数フレーム以内に不注意状態と判定された場合には、現在のフレームの乗員は不注意状態であると判定する。判定の結果は、不図示のメモリに記録する。

【0027】

このように、過去数フレーム以内に不注意状態と判定されたか否かを考慮することにより、車両の乗員が不注意状態の場合において視線を検出できなくなったときに、顔向きに基づいて不注意状態でないと直ちに判定することを防止できる。これにより、不注意状態であるとの判定が維持され、不注意状態であるとの判定が解除される際の解除精度を高めることができる。

【0028】

また、不注意状態判定部１４は、各フレームについての判定結果に基づいて、乗員が警報を要する不注意状態であるか否かを判定する。例えば、不注意状態判定部１４は、各フレームについての不注意状態であるとの判定が所定の時間、例えば２秒以上継続する場合には、乗員は脇見であると推定して警報を要する不注意状態であると判定する。警報を要する不注意状態であると判定した場合、不注意状態判定部１４は警報を要する不注意状態であることを示す情報を不図示の車両側ＥＣＵへ出力し、車両側ＥＣＵの制御の下、所定の警報が行われる。例えば、不図示のスピーカを介した警報音の発生、不図示のディスプレイまたはインジケータを介した警報の表示が行われる。

【0029】

次に、図２Ａおよび図２Ｂを参照して、乗員状態検知装置１のハードウェア構成について説明する。一例として、図２Ａに示されているように、乗員状態検知装置１は、処理回路１００ａにより実現される。処理回路１００ａにより、乗員状態検知装置１が備える機能部の機能が実現される。処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は、これらの組合せである。乗員状態検知装置１の各機能部の機能を別個の処理回路で実現してもよく、これらの機能をまとめて１つの処理回路で実現してもよい。

【0030】

他の例として、図２Ｂに示されているように、乗員状態検知装置１は、プロセッサ１００ｂとメモリ１００ｃにより実現される。メモリ１００ｃに格納されたプログラムがプロセッサ１００ｂに読み出されて実行されることにより、乗員状態検知装置１が備える機能部の機能が実現される。プログラムは、ソフトウェア、ファームウェア又はソフトウェアとファームウェアとの組合せとして実現される。メモリ１００ｃの例には、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤが含まれる。

【0031】

＜動作：瞬き判定、居眠り判定、輝度異常判定＞
次に、図３を参照して、乗員状態検知装置１の動作について説明する。ステップＳＴ１０１において、画像取得部１１は、撮像装置２が撮像した撮像画像を撮像装置２から取得する。

【0032】

ステップＳＴ１０２において、特徴情報検出部１２は、画像取得部１１により取得された撮像画像から乗員の顔の特徴点、視線および顔向きを検出する。特徴情報検出部１２は、検出した特徴点を示す特徴情報、検出した視線を示す視線情報、および検出した顔向きを示す顔向き情報を出力する。

【0033】

ステップＳＴ１０３～ＳＴ１０５において、要因推定部１３は、特徴情報検出部１２から出力された特徴情報を用いて、視線検出を妨げる要因を推定するための処理を行う。

【0034】

ステップＳＴ１０３において、要因推定部１３は、例えば、あるフレームＦ_Ｌ、およびそのフレームＦ_Ｌに後続する閉眼時間に相当する時間以内のフレームＦ_Ｌ＋Ｎの特徴情報を用いて、各フレームについて乗員の目の開眼度を算出する。

【0035】

ステップＳＴ１０４において、要因推定部１３は、瞬きがなされたか否かを判定する。具体的には、要因推定部１３は、フレームＦ_Ｌについて閉眼を検知し且つフレームＦ_Ｌ＋Ｎについて開眼を検知した場合、瞬き有りと判定する。瞬き有りと判定された場合、処理はステップＳＴ１０５へ進み、要因推定部１３は瞬きフラグをＯＮにする。瞬き有りと判定されなかった場合、瞬きフラグはデフォルトのＯＦＦのまま、処理はステップＳＴ１０６へ進む。

【0036】

要因推定部１３は、視線検出を妨げる要因として、瞬きに代えて居眠りを推定してもよい。この場合、ステップＳＴ１０３において、要因推定部１３は、例えば、フレームＦ_Ｌ、およびフレームＦ_Ｌに後続する閉眼時間経過後のフレームＦ_{Ｌ＋Ｎ＋１}の撮像画像を用いて、各フレームについて乗員の目の開眼度を算出する。その後、ステップＳＴ１０４において、要因推定部１３は、居眠りがなされたか否かの判定を行う。具体的には、要因推定部１３は、フレームＦ_Ｌについて閉眼を検知し且つフレームＦ_{Ｌ＋Ｎ＋１}について開眼を検知した場合、居眠り有りと判定する。居眠り有りと判定された場合には処理はステップＳＴ１０５へ進み、ステップＳＴ１０５において要因推定部１３は居眠りフラグをＯＮにする。居眠り有りと判定されなかった場合、居眠りフラグはデフォルトのＯＦＦのまま、処理はステップＳＴ１０６へ進む。

【0037】

ステップＳＴ１０３において、要因推定部１３は、開眼度の算出に代えて、撮像画像の目の領域等の輝度を算出してもよい。この場合、ステップＳＴ１０４において、要因推定部１３は、輝度が異常か否かを判定する。輝度が異常の場合、処理はステップＳＴ１０５へ進み、要因推定部１３は輝度フラグをＯＮにする。輝度異常と判定されなかった場合、輝度フラグはデフォルトのＯＦＦのまま、処理はステップＳＴ１０６へ進む。

【0038】

ステップＳＴ１０６において、不注意状態判定部１４は、特徴情報検出部１２により検出された視線が運転エリアの範囲内にあるか否かを判定する。視線が運転エリアの範囲内にない場合、処理はステップＳＴ１０７へ進み、ステップＳＴ１０７において、不注意状態判定部１４は視線フラグをＯＮにする。運転エリアの範囲内にある場合、不注意状態判定部１４は、視線フラグをデフォルトのＯＦＦのままとする。

【0039】

ステップＳＴ１０３～ＳＴ１０６とパラレルなステップＳＴ１０８において、不注意状態判定部１４は、特徴情報検出部１２により検出された顔向きが運転エリアの範囲内にあるか否かを判定する。顔向きが運転エリアの範囲内にない場合、処理はステップＳＴ１０９へ進み、ステップＳＴ１０９において、不注意状態判定部１４は顔向きフラグをＯＮにする。運転エリアの範囲内にある場合、不注意状態判定部１４は、顔向きフラグをデフォルトのＯＦＦのままとする。

【0040】

ステップＳＴ１１０～ステップＳＴ１１７の処理は、いずれも不注意状態判定部１４により行われる。これらのステップにおける処理において、不注意状態判定部１４は、検出された視線および顔向き、並びに出力された要因情報としての瞬きフラグ、居眠りフラグ、および輝度フラグの全部または一部に基づいて、前記乗員が前記車両の運転に適さない不注意状態か否かを判定する

【0041】

ステップＳＴ１１０において、視線フラグおよび顔向きフラグの両方がＯＮか否かの判定がなされる。両方ともＯＮの場合、処理はステップＳＴ１１７へ進み、現在のフレームの撮像画像の乗員は不注意状態であるとの判定結果が不図示のメモリに記録される。両方ともＯＮでない場合、処理はステップＳＴ１１１へ進む。

【0042】

ステップＳＴ１１１において、視線フラグおよび顔向きフラグの両方がＯＦＦか否かの判定がなされる。両方ともＯＦＦの場合、処理はステップＳＴ１１６へ進み、現在のフレームの撮像画像の乗員は不注意状態でないとの判定結果が不図示のメモリに記録される。両方ともＯＦＦでない場合、処理はステップＳＴ１１２へ進む。

【0043】

ステップＳＴ１１２において、瞬きフラグまたは輝度フラグがＯＮか否かの判定がなされる。瞬きフラグに代えて居眠りフラグについて判定してもよい。瞬きフラグまたは輝度フラグがＯＮでない場合、処理はステップＳＴ１１５へ進む。瞬きフラグまたは輝度フラグがＯＮである場合、処理はステップＳＴ１１３へ進む。

【0044】

ステップＳＴ１１５において、視線フラグがＯＮか否かの判定がなされる。視線フラグがＯＮの場合には処理はステップＳＴ１１７へ進み、視線フラグがＯＦＦの場合には処理はステップＳＴ１１６へ進む。

【0045】

ステップＳＴ１１３において、顔向きフラグがＯＮか否かの判定がなされる。顔向きフラグがＯＮの場合、処理はステップＳＴ１１７へ進む。顔向きフラグがＯＮでない場合、即ち顔向きフラグがＯＦＦの場合、処理はステップＳＴ１１４へ進む。

【0046】

ステップＳＴ１１４において、過去数フレーム以内に不注意状態と判定されたか否の判定がなされる。例えば、現在のフレームがフレームＦ_Ｌであって、数フレームとして５フレームが予め定められている場合、過去数フレーム以内に含まれるフレームＦ_Ｌ－５～Ｆ_Ｌ－１について不注意状態と判定されたか否かを判定する。一例として、フレームＦ_Ｌ－５について不注意状態と判定されている場合、フレームＦ_Ｌ－５はフレームＦから遡って５フレーム以内であるので、過去数フレーム以内に不注意状態と判定されていると判定する。別の例として、フレームＦ_Ｌ－１について不注意状態と判定されている場合、フレームＦ_Ｌ－１はフレームＦから遡って５フレーム以内であるので、過去数フレーム以内に不注意状態と判定されていると判定する。なお、各フレームについての判定結果は不図示のメモリに格納されており、不注意状態判定部１４はその不図示のメモリを参照して過去のフレームについての判定結果を取得して、取得した判定結果を現在のフレームについての判定に用いる。

【0047】

過去数フレーム以内に不注意状態と判定された場合、処理はステップＳＴ１１７へ進む。過去数フレーム以内に不注意状態と判定されなかった場合、処理はステップＳＴ１１６へ進む。

【0048】

以上の処理により、現在のフレームの撮像画像について要因情報がステップＳＴ２０５で出力され（ステップＳＴ１１２でＹＥＳ）、かつ現在のフレームの撮像画像から検出された顔向きが運転エリアを向いている（ステップＳＴ１１３でＮＯ）場合において、現在のフレームから予め定められたフレーム数以内の過去のフレームの撮像画像についてなされた不注意状態か否かの判定が不注意状態を示す（ステップＳＴ１１４でＹＥＳ）ときは、不注意状態判定部１４は、現在のフレームの撮像画像について前記乗員が不注意状態であると判定して、判定結果を記録する（ステップＳＴ１１７）。

【0049】

＜眼鏡反射判定＞
以上では、視線検出を妨げる要因として、瞬き、居眠り、または輝度異常の場合に即して説明をした。以下、図４を参照して、視線検出を妨げる要因が眼鏡反射である場合に即して説明をする。

【0050】

図４は、図３のステップＳＴ１０３～ＳＴ１０５に代えてステップＳＴ２０４およびＳＴ２０５を含む点で、図３と相違する。また、この相違に応じて、図４は、図３のステップＳＴ１１２に代えてステップＳＴ２１２を含む点で、図３と相違する。図４のその他のステップについては、図３の場合と同様であるので説明を省略する。

【0051】

ステップＳＴ２０４において、要因推定部１３は、特徴情報検出部１２より検出された視線が片目のみか否かを判定する。検出された視線が片目のみの場合、処理はステップＳＴ２０５へ進み、要因推定部１３は眼鏡反射フラグをＯＮにする。検出された視線が片目のみでない場合、即ち両目の視線が検出されたとき、眼鏡反射フラグはデフォルトのＯＦＦのまま、処理はステップＳＴ１０６へ進む。

【0052】

ステップＳＴ２１２において、不注意状態判定部１４は、眼鏡反射フラグがＯＮか否かを判定する。眼鏡反射フラグがＯＮの場合には処理はステップＳＴ１１３へ進む。眼鏡反射フラグがＯＦＦの場合、処理はステップＳＴ１１５へ進む。

【0053】

＜付記＞
以上で説明した種々の実施形態のいくつかの側面について、以下のとおりまとめる。

【0054】

（付記１）
付記１の乗員状態検知装置（１）は、車両内に配置された撮像装置により取得された複数のフレームの撮像画像を取得するように構成された画像取得部（１１）と、前記複数のフレームの撮像画像から、前記車両の乗員の視線および顔向きを検出するように構成された特徴情報検出部（１２）と、前記複数のフレームの撮像画像について、前記乗員の視線の検出を妨げる要因を推定して、推定した要因を示す情報を要因情報として出力するように構成された要因推定部（１３）と、各フレームの撮像画像について、検出された視線および顔向き、並びに出力された要因情報の全部または一部に基づいて、前記乗員が前記車両の運転に適さない不注意状態か否かを判定するように構成された不注意状態判定部（１４）と、を備え、前記不注意状態判定部は、現在のフレームの撮像画像について、前記現在のフレームの撮像画像について出力された要因情報、前記現在のフレームの撮像画像から検出された顔向き、および前記現在のフレームより前の過去のフレームの撮像画像についてなされた不注意状態であるとの判定結果に基づいて、前記乗員が不注意状態であるか否かを判定するように構成されている。

【0055】

（付記２）
付記２の乗員状態検知装置は、付記１に記載された乗員状態検知装置であって、前記過去のフレームの撮像画像についてなされた不注意状態であるとの判定は、前記乗員の視線に基づいた脇見であるとの判定である。

【0056】

（付記３）
付記３の乗員状態検知装置は、付記１または２に記載された乗員状態検知装置であって、前記要因推定部は、予め定められた閉眼時間以内に瞬きがなされたことを検出した場合、視線の検出を妨げる要因として瞬きを推定し、瞬きを示す情報を前記要因情報として出力するように構成されている。

【0057】

（付記４）
付記４の乗員状態検知装置は、付記１または２に記載された乗員状態検知装置であって、前記要因推定部は、予め定められた閉眼時間を超える閉眼を検出した場合、視線の検出を妨げる要因として居眠りを推定し、居眠りを示す情報を前記要因情報として出力するように構成されている。

【0058】

（付記５）
付記５の乗員状態検知装置は、付記１または２に記載された乗員状態検知装置であって、前記要因推定部は、前記撮像画像の輝度値が予め定められた第１の輝度値以下または前記第１の輝度値よりも高い予め定められた第２の輝度値以上である場合、視線の検出を妨げる要因として輝度異常を推定し、輝度異常を示す情報を前記要因情報として出力するように構成されている。

【0059】

（付記６）
付記６の乗員状態検知装置は、付記１または２に記載された乗員状態検知装置であって、前記要因推定部は、視線の検出を妨げる要因として眼鏡反射を推定し、眼鏡反射を示す情報を要因情報として出力するように構成されている。

【0060】

（付記７）
付記７の乗員状態検知装置は、付記１から６の何れか１つに記載された乗員状態検知装置であって、前記過去のフレームは、前記現在のフレームから予め定められたフレーム数以内である。

【0061】

（付記８）
付記８の乗員状態検知装置は、付記１から７の何れか１つに記載された乗員状態検知装置であって、前記不注意状態判定部は、前記現在のフレームの撮像画像について要因情報が出力され、かつ前記現在のフレームの撮像画像から検出された顔向きが運転エリアを向いている場合において、前記現在のフレームから予め定められたフレーム数以内の過去のフレームの撮像画像についてなされた不注意状態か否かの判定が不注意状態を示すときは、現在のフレームの撮像画像について前記乗員が不注意状態であると判定するように構成されている。

【0062】

（付記９）
付記９の乗員状態検知方法は、画像取得部、特徴情報検出部、要因推定部、および不注意状態判定部を備えた乗員状態検知装置が行う乗員状態検知方法であって、前記画像取得部が、車両内に配置された撮像装置により取得された複数のフレームの撮像画像を取得するステップと、前記特徴情報検出部が、前記複数のフレームの撮像画像から、前記車両の乗員の視線および顔向きを検出するステップと、前記要因推定部が、前記複数のフレームの撮像画像について、前記乗員の視線の検出を妨げる要因を推定して、推定した要因を示す情報を要因情報として出力するステップと、前記不注意状態判定部が、各フレームの撮像画像について、検出された視線および顔向き並びに出力された要因情報の全部または一部に基づいて、前記乗員が前記車両の運転に適さない不注意状態か否かを判定するステップと、を備え、前記不注意状態判定部は、現在のフレームの撮像画像について、前記現在のフレームの撮像画像について出力された要因情報、前記現在のフレームの撮像画像から検出された顔向き、および前記現在のフレームより前の過去のフレームの撮像画像についてなされた不注意状態であるとの判定結果に基づいて、前記乗員が不注意状態であるか否かを判定する。

【0063】

なお、実施形態を組み合わせたり、各実施形態を適宜、変形、省略したりすることが可能である。

【産業上の利用可能性】

【0064】

本開示の乗員状態検知装置は、車両に搭載して、その車両の乗員が適切に運転をしているか否かを監視する装置として用いることができる。

【符号の説明】

【0065】

１ 乗員状態検知装置、２ 撮像装置、１１ 画像取得部、１２ 特徴情報検出部、１３ 要因推定部、１４ 不注意状態判定部、１００ａ 処理回路、１００ｂ プロセッサ、１００ｃ メモリ。

【図1】

【図2A】

【図2B】

【図3】

【図4】