ホーム > 特許ランキング > トヨタ自動車株式会社
▶ トヨタ自動車株式会社の特許一覧 ▶ アイシン精機株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024162514
(43)【公開日】2024-11-21
(54)【発明の名称】開閉眼推定装置、開閉眼推定方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20241114BHJP
G06T 7/20 20170101ALI20241114BHJP
G08G 1/16 20060101ALI20241114BHJP
【ＦＩ】
G06T7/00 660A
G06T7/20 300B
G06T7/00 350B
G08G1/16 F
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023078078
(22)【出願日】2023-05-10
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(71)【出願人】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100147555
【弁理士】
【氏名又は名称】伊藤 公一
(74)【代理人】
【識別番号】100123593
【弁理士】
【氏名又は名称】関根 宣夫
(74)【代理人】
【識別番号】100133835
【弁理士】
【氏名又は名称】河野 努
(72)【発明者】
【氏名】江▲崎▼ 大嗣
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181BB13
5H181BB20
5H181CC03
5H181CC04
5H181CC12
5H181CC14
5H181EE02
5H181FF04
5H181FF22
5H181FF27
5H181FF32
5H181LL09
5H181LL20
5L096AA06
5L096BA04
5L096CA04
5L096DA02
5L096FA09
5L096FA67
5L096GA08
5L096HA02
5L096HA04
5L096KA04
(57)【要約】
【課題】開閉眼推定対象者が伏目状態のときであっても開閉眼推定対象者が開眼状態であるか否かを適切に判定する。
【解決手段】開閉眼推定装置１０は、開閉眼推定対象者の顔を含む画像から切り出された開閉眼推定対象者の目領域の画像に基づいて開閉眼推定対象者が開眼状態であるか否かを判定する開閉眼判定部２３４と、開閉眼判定部２３４の判定結果の信頼度を算出する信頼度算出部２３５と、信頼度が閾値以下である場合に開閉眼推定対象者の瞼動作を検出する瞼動作検出部２３６と、瞼動作検出部２３６の検出結果に基づいて判定結果を補正する補正部２３７とを備える。
【選択図】図４
【解決手段】開閉眼推定装置１０は、開閉眼推定対象者の顔を含む画像から切り出された開閉眼推定対象者の目領域の画像に基づいて開閉眼推定対象者が開眼状態であるか否かを判定する開閉眼判定部２３４と、開閉眼判定部２３４の判定結果の信頼度を算出する信頼度算出部２３５と、信頼度が閾値以下である場合に開閉眼推定対象者の瞼動作を検出する瞼動作検出部２３６と、瞼動作検出部２３６の検出結果に基づいて判定結果を補正する補正部２３７とを備える。
【選択図】図４
【特許請求の範囲】
【請求項1】
開閉眼推定対象者の顔を含む画像から切り出された前記開閉眼推定対象者の目領域の画像に基づいて前記開閉眼推定対象者が開眼状態であるか否かを判定する開閉眼判定部と、
前記開閉眼判定部の判定結果の信頼度を算出する信頼度算出部と、
前記信頼度が閾値以下である場合に前記開閉眼推定対象者の瞼動作を検出する瞼動作検出部と、
前記瞼動作検出部の検出結果に基づいて前記判定結果を補正する補正部とを備える開閉眼推定装置。
前記開閉眼判定部の判定結果の信頼度を算出する信頼度算出部と、
前記信頼度が閾値以下である場合に前記開閉眼推定対象者の瞼動作を検出する瞼動作検出部と、
前記瞼動作検出部の検出結果に基づいて前記判定結果を補正する補正部とを備える開閉眼推定装置。
【請求項2】
前記補正部は、
前記開閉眼判定部によって前記開閉眼推定対象者が閉眼状態であると判定され、かつ、前記前記瞼動作検出部によって前記開閉眼推定対象者の瞼動作が検出された場合に、
前記開閉眼推定対象者が閉眼状態であることを示す前記判定結果を前記開閉眼推定対象者が開眼状態であることを示す前記判定結果に補正する、請求項１に記載の開閉眼推定装置。
前記開閉眼判定部によって前記開閉眼推定対象者が閉眼状態であると判定され、かつ、前記前記瞼動作検出部によって前記開閉眼推定対象者の瞼動作が検出された場合に、
前記開閉眼推定対象者が閉眼状態であることを示す前記判定結果を前記開閉眼推定対象者が開眼状態であることを示す前記判定結果に補正する、請求項１に記載の開閉眼推定装置。
【請求項3】
前記補正部は、
前記開閉眼判定部によって前記開閉眼推定対象者が開眼状態であると判定され、かつ、前記前記瞼動作検出部によって前記開閉眼推定対象者の瞼動作が検出されなかった場合に、
前記開閉眼推定対象者が開眼状態であることを示す前記判定結果を前記開閉眼推定対象者が閉眼状態であることを示す前記判定結果に補正する、請求項１又は２に記載の開閉眼推定装置。
前記開閉眼判定部によって前記開閉眼推定対象者が開眼状態であると判定され、かつ、前記前記瞼動作検出部によって前記開閉眼推定対象者の瞼動作が検出されなかった場合に、
前記開閉眼推定対象者が開眼状態であることを示す前記判定結果を前記開閉眼推定対象者が閉眼状態であることを示す前記判定結果に補正する、請求項１又は２に記載の開閉眼推定装置。
【請求項4】
前記開閉眼推定対象者の顔を含む画像から前記開閉眼推定対象者の顔特徴点を検出する顔特徴点検出部を備え、
前記信頼度算出部は、
前記顔特徴点検出部の検出結果を用いることによって前記開閉眼推定対象者の顔向きを算出し、
前記開閉眼推定対象者の顔向きが下向きであるほど、前記信頼度として低い値を算出する、請求項１又は２に記載の開閉眼推定装置。
前記信頼度算出部は、
前記顔特徴点検出部の検出結果を用いることによって前記開閉眼推定対象者の顔向きを算出し、
前記開閉眼推定対象者の顔向きが下向きであるほど、前記信頼度として低い値を算出する、請求項１又は２に記載の開閉眼推定装置。
【請求項5】
前記信頼度算出部は、予め学習された機械学習モデルを用いることによって前記信頼度を算出し、
前記機械学習モデルの学習は、所定の画像を用いて行われ、
前記信頼度算出部は、
前記所定の画像に対する前記開閉眼判定部の判定対象の画像の類似度を算出し、
前記所定の画像に対する前記開閉眼判定部の判定対象の画像の類似度が高いほど、前記信頼度として低い値を算出する、請求項１又は２に記載の開閉眼推定装置。
前記機械学習モデルの学習は、所定の画像を用いて行われ、
前記信頼度算出部は、
前記所定の画像に対する前記開閉眼判定部の判定対象の画像の類似度を算出し、
前記所定の画像に対する前記開閉眼判定部の判定対象の画像の類似度が高いほど、前記信頼度として低い値を算出する、請求項１又は２に記載の開閉眼推定装置。
【請求項6】
前記瞼動作検出部は、前記開閉眼推定対象者の顔を含む動画像の一部を構成する第１フレーム画像と、前記第１フレーム画像とは異なる第２フレーム画像との差分画像を用いて前記開閉眼推定対象者の瞼動作を検出する、請求項１又は２に記載の開閉眼推定装置。
【請求項7】
前記瞼動作検出部は、前記開閉眼推定対象者の顔を含む画像のオプティカルフローを算出し、前記オプティカルフローを用いて前記開閉眼推定対象者の瞼動作を検出する、請求項１又は２に記載の開閉眼推定装置。
【請求項8】
前記瞼動作検出部は、時系列データとしての前記開閉眼推定対象者の顔を含む動画像から、時系列モデルを用いて前記開閉眼推定対象者の瞼動作を検出する、請求項１又は２に記載の開閉眼推定装置。
【請求項9】
開閉眼推定装置が、開閉眼推定対象者の顔を含む画像から切り出された前記開閉眼推定対象者の目領域の画像に基づいて前記開閉眼推定対象者が開眼状態であるか否かを判定する開閉眼判定ステップと、
前記開閉眼判定ステップの判定結果の信頼度を算出する信頼度算出ステップと、
前記信頼度が閾値以下である場合に前記開閉眼推定対象者の瞼動作を検出する瞼動作検出ステップと、
前記瞼動作検出ステップの検出結果に基づいて前記判定結果を補正する補正ステップとを備える開閉眼推定方法。
前記開閉眼判定ステップの判定結果の信頼度を算出する信頼度算出ステップと、
前記信頼度が閾値以下である場合に前記開閉眼推定対象者の瞼動作を検出する瞼動作検出ステップと、
前記瞼動作検出ステップの検出結果に基づいて前記判定結果を補正する補正ステップとを備える開閉眼推定方法。
【請求項10】
プロセッサに、
開閉眼推定対象者の顔を含む画像から切り出された前記開閉眼推定対象者の目領域の画像に基づいて前記開閉眼推定対象者が開眼状態であるか否かを判定する開閉眼判定ステップと、
前記開閉眼判定ステップの判定結果の信頼度を算出する信頼度算出ステップと、
前記信頼度が閾値以下である場合に前記開閉眼推定対象者の瞼動作を検出する瞼動作検出ステップと、
前記瞼動作検出ステップの検出結果に基づいて前記判定結果を補正する補正ステップとを実行させるためのプログラム。
開閉眼推定対象者の顔を含む画像から切り出された前記開閉眼推定対象者の目領域の画像に基づいて前記開閉眼推定対象者が開眼状態であるか否かを判定する開閉眼判定ステップと、
前記開閉眼判定ステップの判定結果の信頼度を算出する信頼度算出ステップと、
前記信頼度が閾値以下である場合に前記開閉眼推定対象者の瞼動作を検出する瞼動作検出ステップと、
前記瞼動作検出ステップの検出結果に基づいて前記判定結果を補正する補正ステップとを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、開閉眼推定装置、開閉眼推定方法及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、閉眼開眼判定部により開眼度に基づく開眼状態及び閉眼状態が検知される眠気度推定装置について記載されている。特許文献１に記載された技術では、画像センサがドライバーの顔の画像を撮影し、顔特徴点検出部がドライバーの顔画像の中からドライバー（測定対象者）の顔の特徴点を検出し、開眼度算出部が、特徴点に基づいて複数の曲線をエッジ画像上に投影し、その曲線状のエッジの強度から上下瞼位置を検出し、上下瞼位置のＹ座標の差から測定対象者の開眼度を算出し、閉眼・開眼判定部が開眼度の閾値処理をおこなって開眼状態・閉眼状態を判定する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１１－２２９７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、開閉眼推定対象者が開眼状態かつ伏目状態（正面を向いている開閉眼推定対象者がまつ毛のエクステンションをつけおり、開閉眼推定対象者の目の一部がドライバモニタカメラから見えない状態を含む）のときには、開閉眼推定対象者があたかも閉眼状態であるかのように見える。そのため、開閉眼推定対象者が開眼状態かつ伏目状態であるのか、あるいは、開閉眼推定対象者が閉眼状態であるかの区別がつきづらい。
【0005】
一方、特許文献１には、開閉眼推定対象者が開眼状態かつ伏目状態のときに開閉眼推定対象者が開眼状態であると適切に判定するために必要な処理について記載されていない。そのため、特許文献１に記載された技術によっては、開閉眼推定対象者が開眼状態かつ伏目状態のときに開閉眼推定対象者が開眼状態であると適切に判定できないおそれがある。
【0006】
上述した点に鑑み、本発明は、開閉眼推定対象者が伏目状態のときであっても開閉眼推定対象者が開眼状態であるか否かを適切に判定することができる開閉眼推定装置、開閉眼推定方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
（１）本発明の一態様は、開閉眼推定対象者の顔を含む画像から切り出された前記開閉眼推定対象者の目領域の画像に基づいて前記開閉眼推定対象者が開眼状態であるか否かを判定する開閉眼判定部と、前記開閉眼判定部の判定結果の信頼度を算出する信頼度算出部と、前記信頼度が閾値以下である場合に前記開閉眼推定対象者の瞼動作を検出する瞼動作検出部と、前記瞼動作検出部の検出結果に基づいて前記判定結果を補正する補正部とを備える開閉眼推定装置である。
【0008】
（２）（１）の開閉眼推定装置では、前記補正部は、前記開閉眼判定部によって前記開閉眼推定対象者が閉眼状態であると判定され、かつ、前記前記瞼動作検出部によって前記開閉眼推定対象者の瞼動作が検出された場合に、前記開閉眼推定対象者が閉眼状態であることを示す前記判定結果を前記開閉眼推定対象者が開眼状態であることを示す前記判定結果に補正してもよい。
【0009】
（３）（１）又は（２）の開閉眼推定装置では、前記補正部は、前記開閉眼判定部によって前記開閉眼推定対象者が開眼状態であると判定され、かつ、前記前記瞼動作検出部によって前記開閉眼推定対象者の瞼動作が検出されなかった場合に、前記開閉眼推定対象者が開眼状態であることを示す前記判定結果を前記開閉眼推定対象者が閉眼状態であることを示す前記判定結果に補正してもよい。
【0010】
（４）（１）～（３）のいずれかの開閉眼推定装置は、前記開閉眼推定対象者の顔を含む画像から前記開閉眼推定対象者の顔特徴点を検出する顔特徴点検出部を備え、前記信頼度算出部は、前記顔特徴点検出部の検出結果を用いることによって前記開閉眼推定対象者の顔向きを算出し、前記開閉眼推定対象者の顔向きが下向きであるほど、前記信頼度として低い値を算出してもよい。
【0011】
（５）（１）～（４）のいずれかの開閉眼推定装置では、前記信頼度算出部は、予め学習された機械学習モデルを用いることによって前記信頼度を算出し、前記機械学習モデルの学習は、所定の画像を用いて行われ、前記信頼度算出部は、前記所定の画像に対する前記開閉眼判定部の判定対象の画像の類似度を算出し、前記所定の画像に対する前記開閉眼判定部の判定対象の画像の類似度が高いほど、前記信頼度として低い値を算出してもよい。
【0012】
（６）（１）～（５）のいずれかの開閉眼推定装置では、前記瞼動作検出部は、前記開閉眼推定対象者の顔を含む動画像の一部を構成する第１フレーム画像と、前記第１フレーム画像とは異なる第２フレーム画像との差分画像を用いて前記開閉眼推定対象者の瞼動作を検出してもよい。
【0013】
（７）（１）～（６）のいずれかの開閉眼推定装置では、前記瞼動作検出部は、前記開閉眼推定対象者の顔を含む画像のオプティカルフローを算出し、前記オプティカルフローを用いて前記開閉眼推定対象者の瞼動作を検出してもよい。
【0014】
（８）（１）～（７）のいずれかの開閉眼推定装置では、前記瞼動作検出部は、時系列データとしての前記開閉眼推定対象者の顔を含む動画像から、時系列モデルを用いて前記開閉眼推定対象者の瞼動作を検出してもよい。
【0015】
（９）本発明の一態様は、開閉眼推定装置が、開閉眼推定対象者の顔を含む画像から切り出された前記開閉眼推定対象者の目領域の画像に基づいて前記開閉眼推定対象者が開眼状態であるか否かを判定する開閉眼判定ステップと、前記開閉眼判定ステップの判定結果の信頼度を算出する信頼度算出ステップと、前記信頼度が閾値以下である場合に前記開閉眼推定対象者の瞼動作を検出する瞼動作検出ステップと、前記瞼動作検出ステップの検出結果に基づいて前記判定結果を補正する補正ステップとを備える開閉眼推定方法である。
【0016】
（１０）本発明の一態様は、プロセッサに、開閉眼推定対象者の顔を含む画像から切り出された前記開閉眼推定対象者の目領域の画像に基づいて前記開閉眼推定対象者が開眼状態であるか否かを判定する開閉眼判定ステップと、前記開閉眼判定ステップの判定結果の信頼度を算出する信頼度算出ステップと、前記信頼度が閾値以下である場合に前記開閉眼推定対象者の瞼動作を検出する瞼動作検出ステップと、前記瞼動作検出ステップの検出結果に基づいて前記判定結果を補正する補正ステップとを実行させるためのプログラムである。
【発明の効果】
【0017】
本発明によれば、開閉眼推定対象者が伏目状態のときであっても開閉眼推定対象者が開眼状態であるか否かを適切に判定することができる。
【図面の簡単な説明】
【0018】
【図1】第１実施形態の開閉眼推定装置１０が適用された車両１の概略構成の一例を示す図である。
【図4】第１実施形態の開閉眼推定装置１０のプロセッサ２３によって実行される処理の一例を説明するためのフローチャートである。
【図5】第５実施形態の開閉眼推定装置６０が適用された端末装置５１の概略構成の一例を示す図である。
【発明を実施するための形態】
【0019】
以下、図面を参照し、本発明の開閉眼推定装置、開閉眼推定方法及びプログラムの実施形態について説明する。
【0020】
【0021】
図１及び図２に示す例では、車両１が、車外カメラ２と、レーダー３と、ＬｉＤＡＲ（Light Detection And Ranging）４と、自動運転ＥＣＵ（Electronic Control Unit）１２とを備えている。車外カメラ２は、車両１の周辺車両及び車両１の周辺の道路環境（例えば道路構造、ルール等）を示す画像を撮像し、周辺車両及び周辺の道路環境を示す画像データを生成して自動運転ＥＣＵ１２に送信する。レーダー３は、例えばミリ波レーダー等であり、車両１に対する周辺車両及び周辺の道路構造の相対位置及び相対速度を検出し、その検出結果を自動運転ＥＣＵ１２に送信する。ＬｉＤＡＲ４は、車両１に対する周辺車両及び周辺の道路構造の相対位置及び相対速度を検出し、その検出結果を自動運転ＥＣＵ１２に送信する。
【0022】
また、車両１は、ＧＰＳ（Global Positioning System）ユニット５と、地図情報ユニット６とを備えている。ＧＰＳユニット５は、ＧＰＳ信号に基づいて車両１の現在位置を示す位置情報を取得し、車両１の位置情報を自動運転ＥＣＵ１２に送信する。地図情報ユニット６は、例えば車両１に搭載されたＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等のストレージ内に形成されている。地図情報ユニット６が有する地図情報には、道路構造（道路の位置、道路の形状、車線構造等）、ルール等の各種の情報が含まれる。
更に、車両１は、ドライバモニタカメラ７と、ＨＭＩ（Human Machine Interface）８と、開閉眼推定装置１０を備えている。ドライバモニタカメラ７は、開閉眼推定対象者としての車両１の運転者の顔を含む画像（詳細には、動画像）を撮像する。
更に、車両１は、ドライバモニタカメラ７と、ＨＭＩ（Human Machine Interface）８と、開閉眼推定装置１０を備えている。ドライバモニタカメラ７は、開閉眼推定対象者としての車両１の運転者の顔を含む画像（詳細には、動画像）を撮像する。
【0023】
図３は図１に示すドライバモニタカメラ７の配置の一例を示す図である。
図１～図３に示す例では、ドライバモニタカメラ７が、車両１の運転者の顔及び上半身の一部を撮像することができるように、車両１のステアリングコラム（図示せず）の上部に配置されている。
他の例では、ドライバモニタカメラ７が車両１のセンタークラスタに配置されたり、ドライバモニタカメラ７が車両１のルームミラー、メータパネル、メータフード等に配置されたりしてもよい。これらの例においても、ドライバモニタカメラ７は、車両１の運転者の顔及び上半身の一部を撮像することができる。
図１～図３に示す例では、ドライバモニタカメラ７が、車両１の運転者の顔及び上半身の一部を撮像することができるように、車両１のステアリングコラム（図示せず）の上部に配置されている。
他の例では、ドライバモニタカメラ７が車両１のセンタークラスタに配置されたり、ドライバモニタカメラ７が車両１のルームミラー、メータパネル、メータフード等に配置されたりしてもよい。これらの例においても、ドライバモニタカメラ７は、車両１の運転者の顔及び上半身の一部を撮像することができる。
【0024】
図１及び図２に示す例では、ＨＭＩ８が、開閉眼推定装置１０等と運転者との間で情報の入出力を行うためのインターフェースである。ＨＭＩ８は、運転者に各種情報を提供するための情報提供装置、具体的には、文字、画像等を表示するディスプレイ、音声を出力するスピーカ等を備えている。また、ＨＭＩ８は、運転者の入力操作を受け付ける操作ボタン、タッチパネル等を備えている。
車外カメラ２とレーダー３とＬｉＤＡＲ４とＧＰＳユニット５と地図情報ユニット６とドライバモニタカメラ７とＨＭＩ８と開閉眼推定装置１０と自動運転ＥＣＵ１２とは、車内ネットワーク１３を介して接続されている。
車外カメラ２とレーダー３とＬｉＤＡＲ４とＧＰＳユニット５と地図情報ユニット６とドライバモニタカメラ７とＨＭＩ８と開閉眼推定装置１０と自動運転ＥＣＵ１２とは、車内ネットワーク１３を介して接続されている。
【0025】
また、車両１は、操舵アクチュエータ１４と、制動アクチュエータ１５と、駆動アクチュエータ１６とを備えている。操舵アクチュエータ１４には、例えばパワーステアリングシステム、ステアバイワイヤ操舵システム、後輪操舵システム等が含まれる。制動アクチュエータ１５は、車両１を減速させる機能を有する。制動アクチュエータ１５には、例えば油圧ブレーキ、電力回生ブレーキ等が含まれる。駆動アクチュエータ１６は、車両１を加速させる機能を有する。駆動アクチュエータ１６には、例えばエンジン、ＥＶ（電気自動車）システム、ハイブリッドシステム、燃料電池システム等が含まれる。
【0026】
図１及び図２に示す例では、自動運転ＥＣＵ１２が、ＳＡＥ（Society of Automotive Engineers）の定義によるレベル３の運転制御レベル、すなわち、運転者による操舵アクチュエータ１４、制動アクチュエータ１５及び駆動アクチュエータ１６の操作及び車両１の周囲の監視を必要としない運転制御レベルで車両１を制御可能である。また、自動運転ＥＣＵ１２は、運転者が車両１の運転に関与する運転制御レベル、例えばＳＡＥの定義によるレベル０～２の運転制御レベルで車両１を制御する機能を有する。
図１及び図２に示す例では、車両１が、自動運転車両であり、自動運転ＥＣＵ１２を備えているが、他の例では、車両１が、手動運転車両であり、自動運転制御機能を有さないＥＣＵ（例えば運転支援ＥＣＵ等）を自動運転ＥＣＵ１２の代わりに備えていてもよい。
図１及び図２に示す例では、車両１が、自動運転車両であり、自動運転ＥＣＵ１２を備えているが、他の例では、車両１が、手動運転車両であり、自動運転制御機能を有さないＥＣＵ（例えば運転支援ＥＣＵ等）を自動運転ＥＣＵ１２の代わりに備えていてもよい。
【0027】
ＳＡＥの定義によるレベル３の自動運転では、運転交代要請にスムーズに対応できない運転者の居眠り等が許容されない。
そこで、図１及び図２に示す例では、開閉眼推定装置１０が、ドライバモニタカメラ７を用いることにより、運転者が居眠りしているか否かを監視するために運転者が開眼状態であるか否かを推定する。
そこで、図１及び図２に示す例では、開閉眼推定装置１０が、ドライバモニタカメラ７を用いることにより、運転者が居眠りしているか否かを監視するために運転者が開眼状態であるか否かを推定する。
【0028】
ドライバモニタカメラ７が車両１のステアリングコラムの上部に配置されたり（図３に示す例）、ドライバモニタカメラ７が車両１のセンタークラスタに配置されたりする場合、開閉眼推定対象者としての車両１の運転者が開眼状態かつ伏目状態（正面を向いている開閉眼推定対象者がまつ毛のエクステンションをつけおり、開閉眼推定対象者の目の一部がドライバモニタカメラ７から見えない状態を含む）のときに、開閉眼推定対象者があたかも閉眼状態であるかのようにドライバモニタカメラ７の位置から見える。そのため、開閉眼推定対象者が開眼状態かつ伏目状態であるのか、あるいは、開閉眼推定対象者が閉眼状態であるかの区別がつきづらい。
その点に鑑み、第１実施形態の開閉眼推定装置１０では、後述する対策が施されている。
その点に鑑み、第１実施形態の開閉眼推定装置１０では、後述する対策が施されている。
【0029】
図１及び図２に示す例では、開閉眼推定装置１０が、開閉眼推定対象者としての車両１の運転者が開眼状態であるか否かを推定する。開閉眼推定装置１０は、通信インターフェース（Ｉ／Ｆ）２１とメモリ２２とプロセッサ２３とを備えるマイクロコンピュータによって構成されている。通信インターフェース２１とメモリ２２とプロセッサ２３とは、信号線２４を介して接続されている。通信インターフェース２１は、開閉眼推定装置１０を車内ネットワーク１３に接続するためのインターフェース回路を有する。メモリ２２は、記憶部の一例であり、例えば揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。メモリ２２は、プロセッサ２３により実行される処理において使用されるプログラム及び各種のデータを記憶する。プロセッサ２３は、車両１の運転者が開眼状態であるか否かを判定する機能等を有する。
図１及び図２に示す例では、開閉眼推定装置１０が１つのプロセッサ２３を備えているが、他の例では、開閉眼推定装置１０が複数のプロセッサを備えていてもよい。また、図１及び図２に示す例では、開閉眼推定装置１０が１つのＥＣＵ（例えばドライバモニタＥＣＵ）によって構成されているが、他の例では、開閉眼推定装置１０が複数のＥＣＵ（例えばドライバモニタＥＣＵ、報知ＥＣＵ等）によって構成されていてもよい。
図１及び図２に示す例では、開閉眼推定装置１０が１つのプロセッサ２３を備えているが、他の例では、開閉眼推定装置１０が複数のプロセッサを備えていてもよい。また、図１及び図２に示す例では、開閉眼推定装置１０が１つのＥＣＵ（例えばドライバモニタＥＣＵ）によって構成されているが、他の例では、開閉眼推定装置１０が複数のＥＣＵ（例えばドライバモニタＥＣＵ、報知ＥＣＵ等）によって構成されていてもよい。
【0030】
図１及び図２に示す例では、プロセッサ２３が、取得部２３１と、顔特徴点検出部２３２と、目領域画像切り出し部２３３と、開閉眼判定部２３４と、信頼度算出部２３５と、瞼動作検出部２３６と、補正部２３７とを備えている。
取得部２３１は、ドライバモニタカメラ７によって撮像された開閉眼推定対象者としての車両１の運転者の顔を含む画像を取得する。
取得部２３１は、ドライバモニタカメラ７によって撮像された開閉眼推定対象者としての車両１の運転者の顔を含む画像を取得する。
【0031】
顔特徴点検出部２３２は、例えば公知の顔特徴点検出（抽出）技術を用いることにより、取得部２３１によって取得された車両１の運転者の顔を含む画像から、車両１の運転者の顔特徴点としての目尻及び目頭を抽出する。
【0032】
目領域画像切り出し部２３３は、例えば公知の目領域画像切り出し技術を用いることにより、顔特徴点検出部２３２によって抽出された車両１の運転者の顔特徴点（つまり、顔特徴点検出部２３２の検出結果としての目尻及び目頭）を使用して車両１の運転者の顔を含む画像から目領域の画像を切り出す。
【0033】
開閉眼判定部２３４は、例えば公知の開閉眼判定技術を用いることにより、目領域画像切り出し部２３３によって切り出された車両１の運転者の目領域の画像に基づいて車両１の運転者が開眼状態であるか否かを判定する。
【0034】
信頼度算出部２３５は、開閉眼判定部２３４の判定結果の信頼度を算出する。具体的には、信頼度算出部２３５が、例えば公知の顔向き判定技術を用いることにより、顔特徴点検出部２３２の検出結果（つまり、車両１の運転者の例えば目尻、目頭、口角等の顔特徴点）を使用して車両１の運転者の顔向きを算出する。更に、信頼度算出部２３５は、車両１の運転者の顔の正面に対する顔向きのずれが大きいほど、開閉眼判定部２３４の判定結果の信頼度として低い値を算出する。具体的には、信頼度算出部２３５は、車両１の運転者の顔向きが下向きであるほど、開閉眼判定部２３４の判定結果の信頼度として低い値を算出する。
例えば、車両１の運転者が伏目状態のときに、信頼度算出部２３５は、車両１の運転者の顔向きとして「下向き」を算出し、開閉眼判定部２３４の判定結果の信頼度として低い値を算出する。
例えば、車両１の運転者が伏目状態のときに、信頼度算出部２３５は、車両１の運転者の顔向きとして「下向き」を算出し、開閉眼判定部２３４の判定結果の信頼度として低い値を算出する。
【0035】
瞼動作検出部２３６は、信頼度算出部２３５によって算出された信頼度が所定の閾値以下である場合に、車両１の運転者の瞼動作（詳細には、例えば瞬き等の目の動きの有無）を検出する。詳細には、瞼動作検出部２３６が、例えば公知の差分画像処理技術を用いることにより、ドライバモニタカメラ７によって撮像された車両１の運転者の顔を含む動画像の一部を構成する第１フレーム画像（例えば現在の画像）と、その第１フレーム画像とは異なる第２フレーム画像（例えば過去の画像）との差分画像を使用して車両１の運転者の瞼動作を検出する。つまり、瞼動作検出部２３６は、第１フレーム画像と第２フレーム画像との間で変化が大きい部分を強調することによって、車両１の運転者の瞼動作を検出する。
【0036】
図１及び図２に示す例では、瞼動作検出部２３６が、車両１の運転者の瞼動作を検出するときに、顔特徴点検出部２３２の検出結果（顔特徴点検出部２３２によって検出された車両１の運転者の顔特徴点）を利用しないが、他の例では、瞼動作検出部２３６が、車両１の運転者の瞼動作を検出するときに、顔特徴点検出部２３２の検出結果を利用してもよい。
【0037】
図１及び図２に示す例では、補正部２３７が、瞼動作検出部２３６の検出結果に基づいて開閉眼判定部２３４の判定結果を補正する。
具体的には、車両１の運転者が開眼状態（瞼動作検出部２３６によって車両１の運転者の瞼動作が検出される状態）かつ伏目状態のとき、仮に、開閉眼判定部２３４が、車両１の運転者が閉眼状態であると誤判定した場合に、信頼度算出部２３５は、車両１の運転者の顔向きとして「下向き」を算出して、車両１の運転者が閉眼状態であることを示す開閉眼判定部２３４の判定結果の信頼度として低い値を算出し、補正部２３７は、車両１の運転者が閉眼状態であることを示す開閉眼判定部２３４の判定結果を車両１の運転者が開眼状態であることを示す開閉眼判定部２３４の判定結果に補正する。
また、車両１の運転者が閉眼状態（瞼動作検出部２３６によって車両１の運転者の瞼動作が検出されない状態）かつ伏目状態のとき、仮に、開閉眼判定部２３４が、車両１の運転者が開眼状態であると誤判定した場合に、信頼度算出部２３５は、車両１の運転者の顔向きとして「下向き」を算出して、車両１の運転者が開眼状態であることを示す開閉眼判定部２３４の判定結果の信頼度として低い値を算出し、補正部２３７は、車両１の運転者が開眼状態であることを示す開閉眼判定部２３４の判定結果を車両１の運転者が閉眼状態であることを示す開閉眼判定部２３４の判定結果に補正する。
具体的には、車両１の運転者が開眼状態（瞼動作検出部２３６によって車両１の運転者の瞼動作が検出される状態）かつ伏目状態のとき、仮に、開閉眼判定部２３４が、車両１の運転者が閉眼状態であると誤判定した場合に、信頼度算出部２３５は、車両１の運転者の顔向きとして「下向き」を算出して、車両１の運転者が閉眼状態であることを示す開閉眼判定部２３４の判定結果の信頼度として低い値を算出し、補正部２３７は、車両１の運転者が閉眼状態であることを示す開閉眼判定部２３４の判定結果を車両１の運転者が開眼状態であることを示す開閉眼判定部２３４の判定結果に補正する。
また、車両１の運転者が閉眼状態（瞼動作検出部２３６によって車両１の運転者の瞼動作が検出されない状態）かつ伏目状態のとき、仮に、開閉眼判定部２３４が、車両１の運転者が開眼状態であると誤判定した場合に、信頼度算出部２３５は、車両１の運転者の顔向きとして「下向き」を算出して、車両１の運転者が開眼状態であることを示す開閉眼判定部２３４の判定結果の信頼度として低い値を算出し、補正部２３７は、車両１の運転者が開眼状態であることを示す開閉眼判定部２３４の判定結果を車両１の運転者が閉眼状態であることを示す開閉眼判定部２３４の判定結果に補正する。
【0038】
図１及び図２に示す例では、補正部２３７が、車両１の運転者が開眼状態であることを示す開閉眼判定部２３４の判定結果を車両１の運転者が閉眼状態であることを示す開閉眼判定部２３４の判定結果に修正する補正を行うが、他の例では、補正部２３７が、車両１の運転者が開眼状態であることを示す開閉眼判定部２３４の判定結果を車両１の運転者が閉眼状態であることを示す開閉眼判定部２３４の判定結果に修正する補正を行わなくてもよい。
【0039】
図４は第１実施形態の開閉眼推定装置１０のプロセッサ２３によって実行される処理の一例を説明するためのフローチャートである。
図４に示す例では、ステップＳ１０において、取得部２３１が、ドライバモニタカメラ７によって撮像された開閉眼推定対象者としての車両１の運転者の顔を含む画像を取得する。
ステップＳ１１では、顔特徴点検出部２３２が、ステップＳ１０において取得された車両１の運転者の顔を含む画像から、車両１の運転者の顔特徴点としての目尻及び目頭を抽出する。
ステップＳ１２では、目領域画像切り出し部２３３が、ステップＳ１１において抽出された車両１の運転者の顔特徴点（目尻及び目頭）を使用して車両１の運転者の顔を含む画像から目領域の画像を切り出す。
図４に示す例では、ステップＳ１０において、取得部２３１が、ドライバモニタカメラ７によって撮像された開閉眼推定対象者としての車両１の運転者の顔を含む画像を取得する。
ステップＳ１１では、顔特徴点検出部２３２が、ステップＳ１０において取得された車両１の運転者の顔を含む画像から、車両１の運転者の顔特徴点としての目尻及び目頭を抽出する。
ステップＳ１２では、目領域画像切り出し部２３３が、ステップＳ１１において抽出された車両１の運転者の顔特徴点（目尻及び目頭）を使用して車両１の運転者の顔を含む画像から目領域の画像を切り出す。
【0040】
ステップＳ１３では、開閉眼判定部２３４が、ステップＳ１２において切り出された車両１の運転者の目領域の画像に基づいて車両１の運転者が開眼状態であるか否かを判定する。
ステップＳ１４では、信頼度算出部２３５が、ステップＳ１３における車両１の運転者が開眼状態であるか否かの判定結果の信頼度を算出する。
ステップＳ１５では、例えば信頼度算出部２３５が、ステップＳ１４において算出された信頼度が閾値以下であるか否かを判定する。ＹＥＳの場合にはステップＳ１６に進み、ＮＯの場合には図４に示すルーチンを終了する。
ステップＳ１６では、瞼動作検出部２３６が、車両１の運転者の瞼動作を検出する。
ステップＳ１４では、信頼度算出部２３５が、ステップＳ１３における車両１の運転者が開眼状態であるか否かの判定結果の信頼度を算出する。
ステップＳ１５では、例えば信頼度算出部２３５が、ステップＳ１４において算出された信頼度が閾値以下であるか否かを判定する。ＹＥＳの場合にはステップＳ１６に進み、ＮＯの場合には図４に示すルーチンを終了する。
ステップＳ１６では、瞼動作検出部２３６が、車両１の運転者の瞼動作を検出する。
【0041】
ステップＳ１７では、補正部２３７が、ステップＳ１６における車両１の運転者の瞼動作の検出結果に基づいて、ステップＳ１３における車両１の運転者が開眼状態であるか否かの判定結果を補正する。
詳細には、ステップＳ１３において車両１の運転者が閉眼状態であると判定された場合であって、ステップＳ１６において車両１の運転者の瞼動作が検出された場合に、補正部２３７は、車両１の運転者の瞼動作が検出されたことを示すステップＳ１６における検出結果に基づいて、車両１の運転者が閉眼状態であることを示すステップＳ１３における判定結果を、車両１の運転者が開眼状態であることを示す判定結果に補正する。
一方、ステップＳ１３において車両１の運転者が閉眼状態であると判定された場合であって、ステップＳ１６において車両１の運転者の瞼動作が検出されなかった場合に、補正部２３７は、車両１の運転者の瞼動作が検出されなかったことを示すステップＳ１６における検出結果に基づいて、車両１の運転者が閉眼状態であることを示すステップＳ１３における判定結果を補正することなく維持する。
また、ステップＳ１３において車両１の運転者が開眼状態であると判定された場合であって、ステップＳ１６において車両１の運転者の瞼動作が検出されなかった場合に、補正部２３７は、車両１の運転者の瞼動作が検出されなかったことを示すステップＳ１６における検出結果に基づいて、車両１の運転者が開眼状態であることを示すステップＳ１３における判定結果を、車両１の運転者が閉眼状態であることを示す判定結果に補正する。
一方、ステップＳ１３において車両１の運転者が開眼状態であると判定された場合であって、ステップＳ１６において車両１の運転者の瞼動作が検出された場合に、補正部２３７は、車両１の運転者の瞼動作が検出されたことを示すステップＳ１６における検出結果に基づいて、車両１の運転者が開眼状態であることを示すステップＳ１３における判定結果を補正することなく維持する。
詳細には、ステップＳ１３において車両１の運転者が閉眼状態であると判定された場合であって、ステップＳ１６において車両１の運転者の瞼動作が検出された場合に、補正部２３７は、車両１の運転者の瞼動作が検出されたことを示すステップＳ１６における検出結果に基づいて、車両１の運転者が閉眼状態であることを示すステップＳ１３における判定結果を、車両１の運転者が開眼状態であることを示す判定結果に補正する。
一方、ステップＳ１３において車両１の運転者が閉眼状態であると判定された場合であって、ステップＳ１６において車両１の運転者の瞼動作が検出されなかった場合に、補正部２３７は、車両１の運転者の瞼動作が検出されなかったことを示すステップＳ１６における検出結果に基づいて、車両１の運転者が閉眼状態であることを示すステップＳ１３における判定結果を補正することなく維持する。
また、ステップＳ１３において車両１の運転者が開眼状態であると判定された場合であって、ステップＳ１６において車両１の運転者の瞼動作が検出されなかった場合に、補正部２３７は、車両１の運転者の瞼動作が検出されなかったことを示すステップＳ１６における検出結果に基づいて、車両１の運転者が開眼状態であることを示すステップＳ１３における判定結果を、車両１の運転者が閉眼状態であることを示す判定結果に補正する。
一方、ステップＳ１３において車両１の運転者が開眼状態であると判定された場合であって、ステップＳ１６において車両１の運転者の瞼動作が検出された場合に、補正部２３７は、車両１の運転者の瞼動作が検出されたことを示すステップＳ１６における検出結果に基づいて、車両１の運転者が開眼状態であることを示すステップＳ１３における判定結果を補正することなく維持する。
【0042】
すなわち、第１実施形態の開閉眼推定装置１０では、車両１の運転者が開眼状態であるときに、例えば瞬き等のような車両１の運転者の瞼動作が検出され得るものの、車両１の運転者が閉眼状態であるときには車両１の運転者の瞼動作が検出され得ない（車両１の運転者が瞬き等をしない）、という考え方が採用されている。
【0043】
上述したように第１実施形態の開閉眼推定装置１０では、車両１の運転者が開眼状態であるか否かが誤判定されやすいとき（車両１の運転者が開眼状態であるにもかかわらず、あたかも車両１の運転者が閉眼状態であるかのように見えるとき）である車両１の運転者が伏目状態のとき（車両１の運転者が下向きのとき）に、車両１の運転者の瞼動作の有無に基づいて、車両１の運転者が開眼状態であるか否かの判定結果が補正される。
そのため、第１実施形態の開閉眼推定装置１０では、車両１の運転者が伏目状態のときであっても、車両１の運転者が開眼状態であるか否かを適切に判定することができる。
上述したように図４に示す例では、信頼度が閾値以下である場合に車両１の運転者の瞼動作の検出結果に基づいて、車両１の運転者が開眼状態であるか否かの判定結果が補正される。他の例では、車両１の運転者が閉眼状態であると判定されたときに車両１の運転者の瞼動作の有無を検出し、車両１の運転者の瞼動作が検出された場合に、車両１の運転者が閉眼状態である旨の判定結果を、車両１の運転者が開眼状態である旨の判定結果に補正してもよい（つまり、信頼度を用いることなく瞼動作の検出結果に基づいて判定結果を補正してもよい）。
そのため、第１実施形態の開閉眼推定装置１０では、車両１の運転者が伏目状態のときであっても、車両１の運転者が開眼状態であるか否かを適切に判定することができる。
上述したように図４に示す例では、信頼度が閾値以下である場合に車両１の運転者の瞼動作の検出結果に基づいて、車両１の運転者が開眼状態であるか否かの判定結果が補正される。他の例では、車両１の運転者が閉眼状態であると判定されたときに車両１の運転者の瞼動作の有無を検出し、車両１の運転者の瞼動作が検出された場合に、車両１の運転者が閉眼状態である旨の判定結果を、車両１の運転者が開眼状態である旨の判定結果に補正してもよい（つまり、信頼度を用いることなく瞼動作の検出結果に基づいて判定結果を補正してもよい）。
【0044】
＜第２実施形態＞
第２実施形態の開閉眼推定装置１０が適用された車両１は、後述する点を除き、図１に示す第１実施形態の開閉眼推定装置１０が適用された車両１と同様に構成されている。また、第２実施形態の開閉眼推定装置１０は、後述する点を除き、図２に示す第１実施形態の開閉眼推定装置１０と同様に構成されている。
第２実施形態の開閉眼推定装置１０が適用された車両１は、後述する点を除き、図１に示す第１実施形態の開閉眼推定装置１０が適用された車両１と同様に構成されている。また、第２実施形態の開閉眼推定装置１０は、後述する点を除き、図２に示す第１実施形態の開閉眼推定装置１０と同様に構成されている。
【0045】
上述したように第１実施形態の開閉眼推定装置１０では、信頼度算出部２３５が、顔特徴点検出部２３２の検出結果（つまり、車両１の運転者の例えば目尻、目頭、口角等の顔特徴点）を用いることによって車両１の運転者の顔向きを算出し、車両１の運転者の顔の正面に対する顔向きのずれが大きいほど（例えば車両１の運転者の顔向きが下向きであるほど）、開閉眼判定部２３４の判定結果の信頼度として低い値を算出する。
一方、第２実施形態の開閉眼推定装置１０では、信頼度算出部２３５が、予め学習された機械学習モデルを用いることによって、開閉眼判定部２３４の判定結果の信頼度を算出する。
一方、第２実施形態の開閉眼推定装置１０では、信頼度算出部２３５が、予め学習された機械学習モデルを用いることによって、開閉眼判定部２３４の判定結果の信頼度を算出する。
【0046】
第２実施形態の開閉眼推定装置１０では、所定の画像（例えば車両１の運転者が伏目状態のときにおける車両１の運転者の目領域の画像、車両１の運転者が脇見状態のときにおける車両１の運転者の目領域の画像等のような、開閉眼判定部２３４の判定精度が低くなる傾向がある画像）を用いて機械学習モデルの学習が行われる。
また、信頼度算出部２３５は、学習済みの機械学習モデルを用いると共に、例えば公知の類似度計算技術を用いることにより、上述した所定の画像に対する開閉眼判定部２３４の判定対象の画像の類似度を算出する。更に、信頼度算出部２３５は、その所定の画像に対する開閉眼判定部２３４の判定対象の画像の類似度が高いほど、開閉眼判定部２３４の判定結果の信頼度として低い値を算出する。
第２実施形態の開閉眼推定装置１０では、車両１の運転者の状態が、開閉眼判定部２３４の判定精度が低くなる傾向がある状態であるとき（つまり、車両１の運転者が開眼状態であるか否かの判定を開閉眼判定部２３４が苦手とするシーンであるとき）に、信頼度算出部２３５が、開閉眼判定部２３４の判定結果の信頼度として低い値を算出し、補正部２３７が、瞼動作検出部２３６の検出結果に基づいて開閉眼判定部２３４の判定結果を補正する。
そのため、第２実施形態の開閉眼推定装置１０では、例えば車両１の運転者が伏目状態のとき、車両１の運転者が脇見状態のとき等のような開閉眼判定部２３４の判定精度が低くなる傾向があるときであっても、車両１の運転者が開眼状態であるか否かを適切に判定することができる。
また、信頼度算出部２３５は、学習済みの機械学習モデルを用いると共に、例えば公知の類似度計算技術を用いることにより、上述した所定の画像に対する開閉眼判定部２３４の判定対象の画像の類似度を算出する。更に、信頼度算出部２３５は、その所定の画像に対する開閉眼判定部２３４の判定対象の画像の類似度が高いほど、開閉眼判定部２３４の判定結果の信頼度として低い値を算出する。
第２実施形態の開閉眼推定装置１０では、車両１の運転者の状態が、開閉眼判定部２３４の判定精度が低くなる傾向がある状態であるとき（つまり、車両１の運転者が開眼状態であるか否かの判定を開閉眼判定部２３４が苦手とするシーンであるとき）に、信頼度算出部２３５が、開閉眼判定部２３４の判定結果の信頼度として低い値を算出し、補正部２３７が、瞼動作検出部２３６の検出結果に基づいて開閉眼判定部２３４の判定結果を補正する。
そのため、第２実施形態の開閉眼推定装置１０では、例えば車両１の運転者が伏目状態のとき、車両１の運転者が脇見状態のとき等のような開閉眼判定部２３４の判定精度が低くなる傾向があるときであっても、車両１の運転者が開眼状態であるか否かを適切に判定することができる。
【0047】
＜第３実施形態＞
第３実施形態の開閉眼推定装置１０が適用された車両１は、後述する点を除き、図１に示す第１実施形態の開閉眼推定装置１０が適用された車両１と同様に構成されている。また、第３実施形態の開閉眼推定装置１０は、後述する点を除き、図２に示す第１実施形態の開閉眼推定装置１０と同様に構成されている。
第３実施形態の開閉眼推定装置１０が適用された車両１は、後述する点を除き、図１に示す第１実施形態の開閉眼推定装置１０が適用された車両１と同様に構成されている。また、第３実施形態の開閉眼推定装置１０は、後述する点を除き、図２に示す第１実施形態の開閉眼推定装置１０と同様に構成されている。
【0048】
上述したように第１実施形態の開閉眼推定装置１０では、瞼動作検出部２３６が、第１フレーム画像と第２フレーム画像との差分画像を使用して車両１の運転者の瞼動作を検出する。
一方、第３実施形態の開閉眼推定装置１０では、瞼動作検出部２３６が、例えば公知の映像分析技術を用いることによって、車両１の運転者の顔を含む画像のオプティカルフローを算出する。更に、瞼動作検出部２３６は、そのオプティカルフローを用いて車両１の運転者の瞼動作を検出する。
第３実施形態の開閉眼推定装置１０においても、第１実施形態の開閉眼推定装置１０と同様に、車両１の運転者が伏目状態のときであっても、車両１の運転者が開眼状態であるか否かを適切に判定することができる。
一方、第３実施形態の開閉眼推定装置１０では、瞼動作検出部２３６が、例えば公知の映像分析技術を用いることによって、車両１の運転者の顔を含む画像のオプティカルフローを算出する。更に、瞼動作検出部２３６は、そのオプティカルフローを用いて車両１の運転者の瞼動作を検出する。
第３実施形態の開閉眼推定装置１０においても、第１実施形態の開閉眼推定装置１０と同様に、車両１の運転者が伏目状態のときであっても、車両１の運転者が開眼状態であるか否かを適切に判定することができる。
【0049】
＜第４実施形態＞
第４実施形態の開閉眼推定装置１０が適用された車両１は、後述する点を除き、図１に示す第１実施形態の開閉眼推定装置１０が適用された車両１と同様に構成されている。また、第４実施形態の開閉眼推定装置１０は、後述する点を除き、図２に示す第１実施形態の開閉眼推定装置１０と同様に構成されている。
第４実施形態の開閉眼推定装置１０が適用された車両１は、後述する点を除き、図１に示す第１実施形態の開閉眼推定装置１０が適用された車両１と同様に構成されている。また、第４実施形態の開閉眼推定装置１０は、後述する点を除き、図２に示す第１実施形態の開閉眼推定装置１０と同様に構成されている。
【0050】
第４実施形態の開閉眼推定装置１０では、瞼動作検出部２３６が、公知の画像処理技術である例えばＬＳＴＭ（Long Short-Term Memory）等のような時系列モデルを用いる。詳細には、瞼動作検出部２３６が、時系列データとしての車両１の運転者の顔を含む動画像から、時系列モデルを用いて車両１の運転者の瞼動作を検出する。
第４実施形態の開閉眼推定装置１０においても、第１実施形態の開閉眼推定装置１０と同様に、車両１の運転者が伏目状態のときであっても、車両１の運転者が開眼状態であるか否かを適切に判定することができる。
第４実施形態の開閉眼推定装置１０においても、第１実施形態の開閉眼推定装置１０と同様に、車両１の運転者が伏目状態のときであっても、車両１の運転者が開眼状態であるか否かを適切に判定することができる。
【0051】
＜第５実施形態＞
図５は第５実施形態の開閉眼推定装置６０が適用された端末装置５１の概略構成の一例を示す図である。
図５に示す例では、端末装置５１が、例えばオンライン授業、オンライン会議等に用いられる。端末装置５１は、カメラ５７と、ＨＭＩ５８と、開閉眼推定装置６０とを備えている。カメラ５７は、開閉眼推定対象者としての端末装置５１の利用者の顔を含む画像（詳細には、動画像）を撮像する。
ＨＭＩ５８は、開閉眼推定装置６０等と端末装置５１の利用者との間で情報の入出力を行うためのインターフェースである。ＨＭＩ５８は、端末装置５１の利用者に各種情報を提供するための情報提供装置、具体的には、文字、画像等を表示するディスプレイ、音声を出力するスピーカ等を備えている。また、ＨＭＩ５８は、端末装置５１の利用者の入力操作を受け付けるキーボード、マウス、タッチパネル等を備えている。
カメラ５７とＨＭＩ５８と開閉眼推定装置６０とは、信号線６３を介して接続されている。
図５は第５実施形態の開閉眼推定装置６０が適用された端末装置５１の概略構成の一例を示す図である。
図５に示す例では、端末装置５１が、例えばオンライン授業、オンライン会議等に用いられる。端末装置５１は、カメラ５７と、ＨＭＩ５８と、開閉眼推定装置６０とを備えている。カメラ５７は、開閉眼推定対象者としての端末装置５１の利用者の顔を含む画像（詳細には、動画像）を撮像する。
ＨＭＩ５８は、開閉眼推定装置６０等と端末装置５１の利用者との間で情報の入出力を行うためのインターフェースである。ＨＭＩ５８は、端末装置５１の利用者に各種情報を提供するための情報提供装置、具体的には、文字、画像等を表示するディスプレイ、音声を出力するスピーカ等を備えている。また、ＨＭＩ５８は、端末装置５１の利用者の入力操作を受け付けるキーボード、マウス、タッチパネル等を備えている。
カメラ５７とＨＭＩ５８と開閉眼推定装置６０とは、信号線６３を介して接続されている。
【0052】
開閉眼推定装置６０は、端末装置５１の利用者が開眼状態であるか否かを推定する。開閉眼推定装置６０は、入力インターフェース７４と出力インターフェース７５と通信インターフェース７１とメモリ７２とプロセッサ７３とを備えるコンピュータによって構成されている。入力インターフェース７４と出力インターフェース７５と通信インターフェース７１とメモリ７２とプロセッサ７３とは、信号線７６を介して接続されている。メモリ７２は、プロセッサ７３により実行される処理において使用されるプログラム及び各種のデータを記憶する。プロセッサ７３は、端末装置５１の利用者が開眼状態であるか否かを判定する機能等を有する。
プロセッサ７３は、取得部２３１（図２参照）と同様の機能を有する取得部７３１と、顔特徴点検出部２３２（図２参照）と同様の機能を有する顔特徴点検出部７３２と、目領域画像切り出し部２３３（図２参照）と同様の機能を有する目領域画像切り出し部７３３と、開閉眼判定部２３４（図２参照）と同様の機能を有する開閉眼判定部７３４と、信頼度算出部２３５（図２参照）と同様の機能を有する信頼度算出部７３５と、瞼動作検出部２３６（図２参照）と同様の機能を有する瞼動作検出部７３６と、補正部２３７（図２参照）と同様の機能を有する補正部７３７とを備えている。
取得部７３１は、カメラ５７によって撮像された開閉眼推定対象者としての端末装置５１の利用者の顔を含む画像を取得する。
プロセッサ７３は、取得部２３１（図２参照）と同様の機能を有する取得部７３１と、顔特徴点検出部２３２（図２参照）と同様の機能を有する顔特徴点検出部７３２と、目領域画像切り出し部２３３（図２参照）と同様の機能を有する目領域画像切り出し部７３３と、開閉眼判定部２３４（図２参照）と同様の機能を有する開閉眼判定部７３４と、信頼度算出部２３５（図２参照）と同様の機能を有する信頼度算出部７３５と、瞼動作検出部２３６（図２参照）と同様の機能を有する瞼動作検出部７３６と、補正部２３７（図２参照）と同様の機能を有する補正部７３７とを備えている。
取得部７３１は、カメラ５７によって撮像された開閉眼推定対象者としての端末装置５１の利用者の顔を含む画像を取得する。
【0053】
顔特徴点検出部７３２は、取得部７３１によって取得された端末装置５１の利用者の顔を含む画像から、端末装置５１の利用者の顔特徴点としての目尻及び目頭を抽出する。
目領域画像切り出し部７３３は、顔特徴点検出部７３２によって抽出された端末装置５１の利用者の顔特徴点を使用して端末装置５１の利用者の顔を含む画像から目領域の画像を切り出す。
開閉眼判定部７３４は、目領域画像切り出し部７３３によって切り出された端末装置５１の利用者の目領域の画像に基づいて端末装置５１の利用者が開眼状態であるか否かを判定する。
信頼度算出部７３５は、開閉眼判定部７３４の判定結果の信頼度を算出する。具体的には、信頼度算出部７３５が、顔特徴点検出部７３２の検出結果（つまり、端末装置５１の利用者の例えば目尻、目頭、口角等の顔特徴点）を使用して端末装置５１の利用者の顔向きを算出する。更に、信頼度算出部７３５は、端末装置５１の利用者の顔の正面に対する顔向きのずれが大きいほど、開閉眼判定部７３４の判定結果の信頼度として低い値を算出する。具体的には、信頼度算出部７３５は、端末装置５１の利用者の顔向きが下向きであるほど、開閉眼判定部７３４の判定結果の信頼度として低い値を算出する。
例えば、端末装置５１の利用者が伏目状態のときに、信頼度算出部７３５は、端末装置５１の利用者の顔向きとして「下向き」を算出し、開閉眼判定部７３４の判定結果の信頼度として低い値を算出する。
目領域画像切り出し部７３３は、顔特徴点検出部７３２によって抽出された端末装置５１の利用者の顔特徴点を使用して端末装置５１の利用者の顔を含む画像から目領域の画像を切り出す。
開閉眼判定部７３４は、目領域画像切り出し部７３３によって切り出された端末装置５１の利用者の目領域の画像に基づいて端末装置５１の利用者が開眼状態であるか否かを判定する。
信頼度算出部７３５は、開閉眼判定部７３４の判定結果の信頼度を算出する。具体的には、信頼度算出部７３５が、顔特徴点検出部７３２の検出結果（つまり、端末装置５１の利用者の例えば目尻、目頭、口角等の顔特徴点）を使用して端末装置５１の利用者の顔向きを算出する。更に、信頼度算出部７３５は、端末装置５１の利用者の顔の正面に対する顔向きのずれが大きいほど、開閉眼判定部７３４の判定結果の信頼度として低い値を算出する。具体的には、信頼度算出部７３５は、端末装置５１の利用者の顔向きが下向きであるほど、開閉眼判定部７３４の判定結果の信頼度として低い値を算出する。
例えば、端末装置５１の利用者が伏目状態のときに、信頼度算出部７３５は、端末装置５１の利用者の顔向きとして「下向き」を算出し、開閉眼判定部７３４の判定結果の信頼度として低い値を算出する。
【0054】
瞼動作検出部７３６は、信頼度算出部７３５によって算出された信頼度が所定の閾値以下である場合に、端末装置５１の利用者の瞼動作（詳細には、例えば瞬き等の目の動きの有無）を検出する。詳細には、瞼動作検出部７３６が、カメラ５７によって撮像された端末装置５１の利用者の顔を含む動画像の一部を構成する第１フレーム画像（例えば現在の画像）と、その第１フレーム画像とは異なる第２フレーム画像（例えば過去の画像）との差分画像を使用して端末装置５１の利用者の瞼動作を検出する。つまり、瞼動作検出部７３６は、第１フレーム画像と第２フレーム画像との間で変化が大きい部分を強調することによって、端末装置５１の利用者の瞼動作を検出する。
【0055】
補正部７３７は、瞼動作検出部７３６の検出結果に基づいて開閉眼判定部７３４の判定結果を補正する。
具体的には、端末装置５１の利用者が開眼状態（瞼動作検出部７３６によって端末装置５１の利用者の瞼動作が検出される状態）かつ伏目状態のとき、仮に、開閉眼判定部７３４が、端末装置５１の利用者が閉眼状態であると誤判定した場合に、信頼度算出部７３５は、端末装置５１の利用者の顔向きとして「下向き」を算出して、端末装置５１の利用者が閉眼状態であることを示す開閉眼判定部７３４の判定結果の信頼度として低い値を算出し、補正部７３７は、端末装置５１の利用者が閉眼状態であることを示す開閉眼判定部７３４の判定結果を端末装置５１の利用者が開眼状態であることを示す開閉眼判定部７３４の判定結果に補正する。
また、端末装置５１の利用者が閉眼状態（瞼動作検出部７３６によって端末装置５１の利用者の瞼動作が検出されない状態）かつ伏目状態のとき、仮に、開閉眼判定部７３４が、端末装置５１の利用者が開眼状態であると誤判定した場合に、信頼度算出部７３５は、端末装置５１の利用者の顔向きとして「下向き」を算出して、端末装置５１の利用者が開眼状態であることを示す開閉眼判定部７３４の判定結果の信頼度として低い値を算出し、補正部７３７は、端末装置５１の利用者が開眼状態であることを示す開閉眼判定部７３４の判定結果を端末装置５１の利用者が閉眼状態であることを示す開閉眼判定部７３４の判定結果に補正する。
具体的には、端末装置５１の利用者が開眼状態（瞼動作検出部７３６によって端末装置５１の利用者の瞼動作が検出される状態）かつ伏目状態のとき、仮に、開閉眼判定部７３４が、端末装置５１の利用者が閉眼状態であると誤判定した場合に、信頼度算出部７３５は、端末装置５１の利用者の顔向きとして「下向き」を算出して、端末装置５１の利用者が閉眼状態であることを示す開閉眼判定部７３４の判定結果の信頼度として低い値を算出し、補正部７３７は、端末装置５１の利用者が閉眼状態であることを示す開閉眼判定部７３４の判定結果を端末装置５１の利用者が開眼状態であることを示す開閉眼判定部７３４の判定結果に補正する。
また、端末装置５１の利用者が閉眼状態（瞼動作検出部７３６によって端末装置５１の利用者の瞼動作が検出されない状態）かつ伏目状態のとき、仮に、開閉眼判定部７３４が、端末装置５１の利用者が開眼状態であると誤判定した場合に、信頼度算出部７３５は、端末装置５１の利用者の顔向きとして「下向き」を算出して、端末装置５１の利用者が開眼状態であることを示す開閉眼判定部７３４の判定結果の信頼度として低い値を算出し、補正部７３７は、端末装置５１の利用者が開眼状態であることを示す開閉眼判定部７３４の判定結果を端末装置５１の利用者が閉眼状態であることを示す開閉眼判定部７３４の判定結果に補正する。
【0056】
以上のように、本発明の開閉眼推定装置、開閉眼推定方法及びプログラムの実施形態について図面を参照して説明したが、本発明の開閉眼推定装置、開閉眼推定方法及びプログラムは上述した実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した実施形態の各例の構成を適宜組み合わせてもよい。
上述した実施形態の各例では、開閉眼推定装置１０、６０において行われる処理を、プログラムを実行することにより行われるソフトウエア処理として説明したが、開閉眼推定装置１０、６０において行われる処理が、ハードウエアにより行われる処理であってもよい。あるいは、開閉眼推定装置１０、６０において行われる処理が、ソフトウエア及びハードウエアの双方を組み合わせた処理であってもよい。また、開閉眼推定装置１０、６０のメモリ２２、７２に記憶されるプログラム（開閉眼推定装置１０、６０のプロセッサ２３、７３の機能を実現するプログラム）が、例えば半導体メモリ、磁気記録媒体、光記録媒体等のようなコンピュータ読み取り可能な記憶媒体に記録されて提供、流通等されてもよい。
上述した実施形態の各例では、開閉眼推定装置１０、６０において行われる処理を、プログラムを実行することにより行われるソフトウエア処理として説明したが、開閉眼推定装置１０、６０において行われる処理が、ハードウエアにより行われる処理であってもよい。あるいは、開閉眼推定装置１０、６０において行われる処理が、ソフトウエア及びハードウエアの双方を組み合わせた処理であってもよい。また、開閉眼推定装置１０、６０のメモリ２２、７２に記憶されるプログラム（開閉眼推定装置１０、６０のプロセッサ２３、７３の機能を実現するプログラム）が、例えば半導体メモリ、磁気記録媒体、光記録媒体等のようなコンピュータ読み取り可能な記憶媒体に記録されて提供、流通等されてもよい。
【符号の説明】
【0057】
１ 車両
２ 車外カメラ
３ レーダー
４ LiDAR
５ ＧＰＳユニット
６ 地図情報ユニット
７ ドライバモニタカメラ
８ ＨＭＩ
１０ 開閉眼推定装置
１２ 自動運転ＥＣＵ
１４ 操舵アクチュエータ
１５ 制動アクチュエータ
１６ 駆動アクチュエータ
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
２３１ 取得部
２３２ 顔特徴点検出部
２３３ 目領域画像切り出し部
２３４ 開閉眼判定部
２３５ 信頼度算出部
２３６ 瞼動作検出部
２３７ 補正部
２ 車外カメラ
３ レーダー
４ LiDAR
５ ＧＰＳユニット
６ 地図情報ユニット
７ ドライバモニタカメラ
８ ＨＭＩ
１０ 開閉眼推定装置
１２ 自動運転ＥＣＵ
１４ 操舵アクチュエータ
１５ 制動アクチュエータ
１６ 駆動アクチュエータ
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
２３１ 取得部
２３２ 顔特徴点検出部
２３３ 目領域画像切り出し部
２３４ 開閉眼判定部
２３５ 信頼度算出部
２３６ 瞼動作検出部
２３７ 補正部
【図1】
【図2】
【図3】
【図4】
【図5】