特許 6762794 瞼開閉検出装置および瞼開閉検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6762794

(24)【登録日】2020年9月11日

(45)【発行日】2020年9月30日

(54)【発明の名称】瞼開閉検出装置および瞼開閉検出方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20200917BHJP

   G08G 1/16 20060101ALI20200917BHJP

   H04N 5/232 20060101ALI20200917BHJP

【ＦＩ】

   G06T7/00 660A

   G08G1/16 F

   H04N5/232 290

【請求項の数】11

【全頁数】20

(21)【出願番号】特願2016-149808(P2016-149808)

(22)【出願日】2016年7月29日

(65)【公開番号】特開2018-18400(P2018-18400A)

(43)【公開日】2018年2月1日

【審査請求日】2019年7月1日

(73)【特許権者】

【識別番号】000101732

【氏名又は名称】アルパイン株式会社

(73)【特許権者】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】110001380

【氏名又は名称】特許業務法人東京国際特許事務所

(72)【発明者】

【氏名】増田 哲也

(72)【発明者】

【氏名】古川 賢司

(72)【発明者】

【氏名】橋本 真也

(72)【発明者】

【氏名】藤谷 卓靖

(72)【発明者】

【氏名】今井 康介

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２０１３−２０３５３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０８Ｇ １／１６

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

被写体の顔を撮像した撮像素子の出力にもとづいて生成された前記被写体の顔画像から、初期位置検出辞書を用いて目の領域を検出する初期検出部と、
第１の開閉判定辞書を用いて、前記初期検出部により検出された目の領域に含まれた前記被写体の瞼の開閉の第１判定結果を出力する第１識別器と、
前記第１の開閉判定辞書とは異なる入力画像を用いて作成された第２の開閉判定辞書を用いて、前記瞼の開閉の第２判定結果を出力する第２識別器と、
前記第１識別器および前記第２識別器の判定結果を統合評価し、前記瞼の開閉の最終判定結果を出力する統合判定部と、
を備えた瞼開閉検出装置。

【請求項2】

前記第２識別器は、
前記初期検出部により検出された前記目の領域を包含する領域から、前記初期位置検出辞書よりも高精細な入力画像を用いて生成された位置検出辞書を用いて目の領域を再度検出するとともに、前記第２の開閉判定辞書を用いて、この再度検出した目の領域に含まれた前記瞼の開閉の前記第２判定結果を出力する、
請求項１記載の瞼開閉検出装置。

【請求項3】

前記第２識別器の前記位置検出辞書は、
前記被写体の瞼が開いていると仮定した場合の目の位置である仮開眼位置を検出するための開眼用位置検出辞書と、前記被写体の瞼が閉じていると仮定した場合の目の位置である仮閉眼位置を検出するための閉眼用位置検出辞書と、を含み、
前記第２識別器は、
前記初期検出部により検出された前記目の領域を包含する領域から、前記開眼用位置検出辞書を用いて前記仮開眼位置を検出するとともに前記閉眼用位置検出辞書を用いて前記仮閉眼位置を検出し、前記仮開眼位置および前記仮閉眼位置のそれぞれについて前記第２の開閉判定辞書を用いることにより前記第２判定結果を出力する、
請求項２記載の瞼開閉検出装置。

【請求項4】

前記第１識別器および前記第２識別器は、
それぞれ輝度勾配方向共起ヒストグラムを用いた識別器である、
請求項１ないし３のいずれか１項に記載の瞼開閉検出装置。

【請求項5】

前記初期検出部の前記初期位置検出辞書は、
開眼した目の画像および閉眼した目の画像を用いて生成された、
請求項１ないし４のいずれか１項に記載の瞼開閉検出装置。

【請求項6】

前記第１識別器および前記第２識別器とは異なる特徴量を用いて、前記初期検出部により検出された目の領域に含まれた前記瞼の開閉の第３の判定結果を出力する補助判定部、
をさらに備えた請求項１ないし５のいずれか１項に記載の瞼開閉検出装置。

【請求項7】

前記補助判定部は、
前記特徴量としてエッジ強度を用い、前記初期検出部により検出された目の領域からエッジ強度にもとづいて前記瞼の開閉を判定して前記第３の判定結果を生成する、
請求項６に記載の瞼開閉検出装置。

【請求項8】

前記統合判定部は、
前記第１識別器、前記第２識別器および前記補助判定部の判定結果の多数決で、前記瞼の開閉の最終判定を行なう、
請求項６または７に記載の瞼開閉検出装置。

【請求項9】

前記撮像素子は、
近赤外光で照明された前記被写体の顔を撮像する、
請求項１ないし８のいずれか１項に記載の瞼開閉検出装置。

【請求項10】

請求項１ないし９のいずれか１項に記載の瞼開閉検出装置と、
前記撮像素子と、
を備えた車室内用カメラ。

【請求項11】

被写体の顔を撮像した撮像素子の出力にもとづいて前記被写体の顔画像を生成するステップと、
前記顔画像から、初期位置検出辞書を用いて目の領域を検出するステップと、
第１の開閉判定辞書を用いて、前記目の領域に含まれた前記被写体の瞼の開閉の第１判定結果を出力するステップと、
前記第１の開閉判定辞書とは異なる入力画像を用いて作成された第２の開閉判定辞書を用いて、前記瞼の開閉の第２判定結果を出力するステップと、
前記第１判定結果および前記第２判定結果を統合評価し、前記瞼の開閉の最終判定結果を出力するステップと、
を有する瞼開閉検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、瞼開閉検出装置および瞼開閉検出方法に関する。

【背景技術】

【0002】

最近、自動車などの車両には、車室内に運転者の顔を撮影するためのカメラ（以下、車室内用カメラという）を搭載したものが増えてきている。車室内用カメラの出力にもとづいて生成される運転者の顔の画像は、たとえば運転者の瞼の開閉を判定し居眠りを検出するために利用することができる。

【0003】

運転者を被写体として撮像した画像から被写体の瞼の開閉を判定する方法として、たとえば眉毛と上瞼との距離、および上瞼と下瞼の距離を用いる方法がある。また、他の方法として、時系列的に連続して得た画像を用いて上瞼と下瞼を検出し、上瞼と下瞼の距離にもとづいて瞼の開閉を判定する方法もある。

【0004】

しかし、眉毛を用いる方法では、被写体が眼鏡を着用している場合、眼鏡のフレームやその陰を眉毛と誤認してしまうことがある。また、時系列的に連続して得た画像を用いる方法では、所定のフレームレートで入力される画像を処理するため、高性能なプロセッサを用いる必要があり、安価なマイコン等を用いることが難しい。また、上瞼と下瞼との距離を用いる方法では、被写体が下を向いている場合や被写体のまつ毛が長い場合に、誤判定をしてしまうことがある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００８−２２０４２４号公報

【特許文献2】特開２００８−１１３９０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、上述した事情を考慮してなされたもので、時系列的に連続した画像を用いずとも高精度に被写体の瞼の開閉判定を行なうことができる瞼開閉検出装置および瞼開閉検出方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一実施形態に係る瞼開閉検出装置は、上述した課題を解決するために、被写体の顔を撮像した撮像素子の出力にもとづいて生成された前記被写体の顔画像から、初期位置検出辞書を用いて目の領域を検出する初期検出部と、第１の開閉判定辞書を用いて、前記初期検出部により検出された目の領域に含まれた前記被写体の瞼の開閉の第１判定結果を出力する第１識別器と、前記第１の開閉判定辞書とは異なる入力画像を用いて作成された第２の開閉判定辞書を用いて、前記瞼の開閉の第２判定結果を出力する第２識別器と、前記第１識別器および前記第２識別器の判定結果を統合評価し、前記瞼の開閉の最終判定結果を出力する統合判定部と、を備えたものである。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態に係る瞼開閉検出装置を含む車室内用カメラが設置された車両の一例を示す外観図。

【図2】（ａ）は、車室内用カメラの一構成例を示す側面図、（ｂ）は正面図。

【図3】本実施形態に係る瞼開閉検出装置のプロセッサによる実現機能例を示す概略的なブロック図。

【図4】図３に示す瞼開閉検出装置のプロセッサにより、時系列的に連続した画像を用いずとも高精度に被写体の瞼の開閉判定を行なう際の手順を示すフローチャート。

【図5】初期検出部が用いる初期位置検出辞書と、第２識別器が用いる開眼用位置検出辞書および閉眼用位置検出辞書について説明するための図。

【図6】統合判定部による最終判定方法について説明するための図。

【図7】図４のステップＳ４で第１識別器により実行される瞼開閉判定処理の詳細な手順の一例を示すサブルーチンフローチャート。

【図8】ＣｏＨＯＧ特徴量の求め方について説明するための図。

【図9】図４のステップＳ５で第２識別器により実行される瞼開閉判定処理の詳細な手順の一例を示すサブルーチンフローチャート。

【図10】第２識別器の一構成例を示す機能ブロック図。

【図11】第２識別器による特徴量算出処理を説明するための図。

【図12】第２識別器による仮開眼位置検出処理および仮閉眼位置検出処理を説明するための図。

【図13】図４のステップＳ６で補助判定部により実行されるエッジ強度を用いた瞼開閉判定処理の詳細な手順の一例を示すサブルーチンフローチャート。

【図14】補助判定部の一構成例を示す機能ブロック図。

【図15】（ａ）はエッジ強度画像生成に用いられるカーネルの一例を示す説明図であり（ｂ）はカーネルの他の例を示す説明図。

【図16】図１３のステップＳ６０４で組抽出部により実行される瞼候補点抽出処理およびそれらのペアリング処理の手順の一例を示すサブルーチンフローチャート。

【図17】上瞼候補点および下瞼候補点が抽出される様子の一例を示す説明図。

【図18】縦の１のライン上で抽出された上瞼候補点および下瞼候補点の一例を示す説明図。

【図19】上瞼候補点および下瞼候補点のペアリング方法の一例を示す説明図。

【図20】グルーピング結果の一例を示す説明図。

【図21】（ａ）はグループの長さおよびグループの重心付近の幅の平均値を説明するための図であり、（ｂ）は目頭側上瞼候補点の近似直線および目頭側の上下瞼の近似直線のなす角を説明するための図。

【図22】所定の特徴量を用いた開閉判定のルールの一例を示す説明図。

【図23】（ａ）は図２２に示す第１のルールを説明するための図、（ｂ）は図２２に示す第３のルールを説明するための図、（ｃ）は図２２に示す第４のルールを説明するための図。

【発明を実施するための形態】

【0009】

本発明に係る瞼開閉検出装置および瞼開閉検出方法の実施の形態について、添付図面を参照して説明する。

【0010】

図１は、本発明の一実施形態に係る瞼開閉検出装置１０を含む車室内用カメラ４が設置された車両１の一例を示す外観図である。図１にはカメラ光軸をｚ軸、水平軸をｘ軸とする場合の例を示した。なお、瞼開閉検出装置１０は被写体の顔画像にもとづいて被写体の瞼開閉を検出できればよく、顔画像を取得可能であれば、カメラの一部として設けられずともよい。以下の説明では、瞼開閉検出装置１０が車室内用カメラ４の一部として設けられる場合の例について示す。

【0011】

この場合、図１に示すように、車室内用カメラ４は車両１の運転席に座った運転者Ｄの顔Ｆを撮影できる位置に設けられるとよい。図１には、車室内用カメラ４が車両１のステアリングコラムカバー２の上面に設けられる場合の例を示したが、ダッシュボード３の上面、インストルメンタルパネル内などに設けられてもよい。より好ましくは、車室内用カメラ４は、運転者Ｄの顔Ｆを正面から撮影できるよう、カメラ光軸が運転者Ｄの顔Ｆの正中線と交わるように設けられることが好ましく、たとえばハンドル（ステアリングホイール）の回転軸を通るｙｚ平面上にカメラ光軸が位置するように設けられるとよい。

【0012】

図２（ａ）は、車室内用カメラ４の一構成例を示す側面図であり、（ｂ）は正面図である。車室内用カメラ４は、プロセッサを備えた瞼開閉検出装置１０、光源１１、レンズ１２、フィルタ１３、および撮像素子１４を有する。

【0013】

光源１１は、たとえば複数設けられる。以下の説明では、光源１１がたとえば８８０ｎｍや９４０ｎｍをピーク波長にもつ近赤外光を発光する近赤外光光源である場合の例について示す。なお、光源１１として、近赤外光光源にかえて可視光光源や紫外光光源を使用してもよい。

【0014】

レンズ１２は、撮像素子１４に集光し、運転者Ｄの顔Ｆの像を撮像素子１４に結ぶために用いられる。フィルタ１３は、光源１１が発光する光を透過する。撮像素子１４は、少なくとも光源１１の発光波長を検出可能な感度を有し、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成される。撮像素子１４は、瞼開閉検出装置１０に制御されて、フィルタ１３を介して被写体を撮像して被写体の顔画像の画像データを生成し、瞼開閉検出装置１０に与える。

【0015】

なお、撮像素子１４は、可視光域と近赤外域との両方の感度を有したものを使用してもよい。この場合、フィルタ１３は、たとえば可視光を遮り近赤外光を透過させるための第１の位置と、可視光を遮らない第２の位置との２つの位置のいずれかで位置決め可能に構成されるとよい。瞼開閉の検出技術において、被写体のまばたきを誘発してしまうことから、被写体が眩しさを感じることは好ましくない。この点、近赤外光を利用することにより、夜間やトンネルなど顔Ｆの照度が不足する場合でも、被写体が眩しさを感じることなく鮮明な顔画像を取得することができる。

【0016】

続いて、瞼開閉検出装置１０のプロセッサによる機能実現部の構成および動作について説明する。

【0017】

図３は、本実施形態に係る瞼開閉検出装置１０のプロセッサによる実現機能例を示す概略的なブロック図である。

【0018】

瞼開閉検出装置１０は、たとえばプロセッサおよびＲＡＭならびにＲＯＭをはじめとする記憶媒体により構成される。瞼開閉検出装置１０のプロセッサは、ＲＯＭをはじめとする記憶媒体に記憶された瞼開閉検出プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、時系列的に連続した画像を用いずとも高精度に被写体の瞼の開閉判定を行なう処理を実行する。

【0019】

瞼開閉検出装置１０のＲＡＭは、プロセッサが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。瞼開閉検出装置１０のＲＯＭをはじめとする記憶媒体は、たとえば車室内用カメラ４の起動プログラム、瞼開閉検出プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、プロセッサにより読み取り可能な記録回路を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は、ネットワークを介してまたは光ディスクなどの可搬型記憶媒体を介して更新されてもよい。

【0020】

なお、本実施形態において、「プロセッサ」という文言は、たとえば、専用または汎用のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、または、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（たとえば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、およびＦＰＧＡ）等の回路を意味するものとする。プロセッサは、記憶媒体に保存されたプログラムを読み出して実行することにより、各種機能を実現する。

【0021】

また、本実施形態では瞼開閉検出装置１０の単一のプロセッサが各機能を実現する場合の例について示したが、複数の独立したプロセッサを組み合わせて瞼開閉検出装置１０を構成し、各プロセッサが各機能を実現してもよい。また、プロセッサが複数設けられる場合、プログラムを記憶する記憶媒体はプロセッサごとに個別に設けられてもよいし、１つの記憶媒体が全てのプロセッサの機能に対応するプログラムを一括して記憶してもよい。

【0022】

図３に示すように、瞼開閉検出装置１０のプロセッサは、ＲＯＭをはじめとする記憶媒体に記憶された瞼開閉検出プログラムによって、少なくとも画像生成部２１、初期検出部２２、第１識別器２３、第２識別器２４、補助判定部２５および統合判定部２６として機能する。これらの各機能実現部２１−２６は、それぞれプログラムの形態で記憶媒体に記憶されている。

【0023】

図４は、図３に示す瞼開閉検出装置１０のプロセッサにより、時系列的に連続した画像を用いずとも高精度に被写体の瞼の開閉判定を行なう際の手順を示すフローチャートである。図４において、Ｓに数字を付した符号はフローチャートの各ステップを示す。

【0024】

撮像素子１４は、画像生成部２１に制御されて被写体を撮像し、被写体の顔画像の画像データを生成して画像生成部２１に与える（ステップＳ１）。

【0025】

画像生成部２１は、撮像素子１４を制御し、撮像素子１４が出力した画像データにもとづいて顔画像を生成する（ステップＳ２）。

【0026】

初期検出部２２は、被写体の顔画像から、たとえば輝度勾配方向共起ヒストグラム（ＣｏＨＯＧ：Co-occurrence Histograms of Oriented Gradients）を用いた処理（以下、ＣｏＨＯＧ処理という）を行なう識別器であり、初期位置検出辞書を用いて目の領域を検出する（ステップＳ３）。

【0027】

図５は、初期検出部２２が用いる初期位置検出辞書と、第２識別器２４が用いる開眼用位置検出辞書および閉眼用位置検出辞書について説明するための図である。

【0028】

図５に示すように、初期位置検出辞書は、目の画像を正解（ポジティブデータ）、目の周辺部分を不正解（ネガティブデータ）として学習した辞書である。すなわち、初期位置検出辞書は、瞼が開いた画像も閉じた画像も、ともに正解として学習させた辞書である。一方、開眼用位置検出辞書および閉眼用位置検出辞書は、初期位置検出辞書よりも解像度の高い入力画像により作成される。また、開眼用位置検出辞書は、瞼が開いた画像のみを正解とし、目の周辺部分を不正解として学習させた辞書である。閉眼用位置検出辞書は、瞼が閉じた画像のみを正解とし、目の周辺部分を不正解として学習させた辞書である。

【0029】

このため、初期位置検出辞書は、開眼用位置検出辞書および閉眼用位置検出辞書に比べ、位置ずれに強いが、精度には劣る。このため、初期位置検出辞書は、顔画像などの広い領域から目の領域を大まかに検出するのに適している。一方、開眼用位置検出辞書および閉眼用位置検出辞書は、位置ずれに弱い一方で、狭い領域から目の領域を高精度に検出するのに適している。したがって、本実施形態では、まず、初期検出部２２により初期位置検出辞書を用いて顔画像から大まかに目の領域を検出させておく。そして、この検出された目の領域を包含する領域について、第２識別器２４により開眼用位置検出辞書および閉眼用位置検出辞書を用いて高精度に目の領域を検出させる。

【0030】

そこで、ステップＳ３において、初期検出部２２は、画像全体を顔の辞書に合わせて正規化して顔を検出する。そして、初期検出部２２は、検出した顔の領域を目の辞書サイズに応じて正規化し、初期位置検出辞書を用いて目の領域を検出する。

【0031】

なお、本実施形態における辞書は全て、ポジティブとネガティブを逆に学習しても構わない。逆に学習した場合は、尤度にもとづく判定結果を反転させればよいだけである。

【0032】

以上のステップＳ１−Ｓ３の手順により、顔画像から目の領域をおおまかに検出することができる。次に、検出した目の領域について、左目、右目のそれぞれについて瞼の開閉判定を行なう。

【0033】

第１識別器２３は、第１の開閉判定辞書を用いて、初期検出部２２により検出された目の領域について瞼の開閉の判定を行い、判定結果（以下、第１判定結果という）を出力する（ステップＳ４）。第１識別器２３としては、正解と不正解を学習した識別器により構成することができ、たとえばＣｏＨＯＧ識別器により構成できる。

【0034】

第２識別器２４は、初期検出部２２により検出された目の領域を包含する走査領域を切り出し、この走査領域から開眼用位置検出辞書および閉眼用位置検出辞書を用いて高精度に目の領域を検出する。そして、第２識別器２４は、第１の開閉判定辞書とは異なる入力画像を用いて作成された第２の開閉判定辞書を用いて、高精度に検出した目の領域について瞼の開閉の判定を行い、判定結果（以下、第２判定結果という）を出力する（ステップＳ５）。第２識別器２４としては、正解と不正解を学習した識別器により構成することができ、第１識別器２３と同様にたとえばＣｏＨＯＧ識別器により構成できる。

【0035】

補助判定部２５は、第１識別器２３および第２識別器２４のいずれとも異なる特徴量を用いて、初期検出部２２により検出された目の領域について瞼の開閉の判定を行い、判定結果（以下、第３の判定結果という）を出力する（ステップＳ６）。

【0036】

補助判定部２５が用いる特徴量としては、たとえばエッジ強度、円形分離度（フィルタ）、勾配方向などを用いることができる。以下の説明では、補助判定部２５がエッジ強度を用いて瞼の開閉判定を行う場合の例について示す。

【0037】

統合判定部２６は、第１識別器２３、第２識別器２４および補助判定部２５の判定結果を統合評価し、被写体の瞼の開閉の最終判定を行なう（ステップＳ７）。

【0038】

図６は、統合判定部２６による最終判定方法について説明するための図である。

【0039】

図６に示すように、統合判定部２６は、たとえば第１識別器２３、第２識別器２４および補助判定部２５の判定結果の多数決をとることで最終判定を行う。また、本例では出力される判定結果が３つであるため、１つでも「判定不能」が含まれている場合には、多数決を取ることができなくなる。そこで、統合判定部２６は、精度の高い判定が期待できる順に、すなわち第２識別器２４の第２判定結果、第１識別器２３の第１判定結果、補助判定部２５の第３判定結果の順に優先度付けする。そして、「判定不能」が含まれることにより多数決がとれない場合には、この優先度の順で最終判定を行う（図６参照）。

【0040】

両目ともに最終判定を行った場合は一連の手順は終了となる。一方、片方の目の最終判定が行われていない場合は、ステップＳ４に戻る。

【0041】

以上の手順により、複数の識別器の瞼開閉判定結果を統合評価することができる。このため、時系列的に連続した画像を用いずとも、高精度に被写体の瞼の開閉判定を行なうことができる。

【0042】

次に、第１識別器２３による瞼開閉判定処理について詳細に説明する。

【0043】

図７は、図４のステップＳ４で第１識別器２３により実行される瞼開閉判定処理の詳細な手順の一例を示すサブルーチンフローチャートである。また、図８は、ＣｏＨＯＧ特徴量の求め方について説明するための図である。

【0044】

第１識別器２３は、第２識別器２４とは異なり、目の領域の再探索を行わず、初期検出部２２により検出された目の領域をそのまま用いる。また、第１識別器２３が瞼開閉判定に用いる第１の開閉判定辞書は、目の位置がずれても尤度が急激に変化したりしないように、同一の目の画像の位置をずらしたり拡大縮小したりして水増ししたデータを用いて作成されるため、位置ずれに強い。また、辞書をつくる時の輝度勾配閾値が低めに設定される。このため、入力画像に輝度の変化があれば、この変化も画像の特徴として第１の開閉判定辞書は学習している。このため、目の領域の画像について、輝度ヒストグラム平坦化などの輝度補正処理は不要である。

【0045】

ステップＳ４０１において、第１識別器２３は、初期検出部２２により検出された目の領域をそのまま切り出して、第１の開閉判定辞書の学習した目の画像サイズに応じて改めて正規化する。これは、図４のステップＳ３とは正規化のサイズが異なるためである。

【0046】

次に、ステップＳ４０２において、第１識別器２３は正規化された画像から特徴量を求める。特徴量としては、たとえばＣｏＨＯＧ特徴量を用いることができる（図８参照）。

【0047】

次に、ステップＳ４０３において、第１識別器２３は、求めた特徴量について、第１の開閉判定辞書とＳＶＭ（サポートベクターマシン）等で照合し、尤度（スコア）を算出する。

【0048】

たとえば、第１の開閉判定辞書が、閉じた瞼の画像データをポジティブ、開いた瞼の画像データをネガティブとして学習させた辞書である場合、尤度が第１の閾値以上の場合には（ステップＳ４０４のＹＥＳ）、目が閉じていると判定する（ステップＳ４０５）。一方、尤度が第１の閾値より小さい場合には、目が開いていると判定する。このとき、図７に示すように、閾値付近で判定結果がバタつくことを避けるよう、尤度が第１の閾値より小さい場合には（ステップＳ４０４のＮＯ）、さらに尤度が第２閾値以下であれば（ステップＳ４０６のＹＥＳ）目が開いていると判定する一方（ステップＳ４０７）、尤度が第２閾値より大きい場合には（ステップＳ４０６のＮＯ）、判定不能と判定するとよい（ステップＳ４０８）。

【0049】

なお、第１識別器２３は、目が検出されなかった場合も判定不能を出力する。ステップＳ４０１で正規化した際に画像がはみ出してしまう場合にも判定不能が出力される。

【0050】

次に、第２識別器２４による瞼開閉判定処理について詳細に説明する。

【0051】

図９は、図４のステップＳ５で第２識別器２４により実行される瞼開閉判定処理の詳細な手順の一例を示すサブルーチンフローチャートである。また、図１０は、第２識別器２４の一構成例を示す機能ブロック図である。図１０に示すように、第２識別器２４は、輝度補正部２４１、特徴量算出部２４２、仮開眼位置識別器２４３、仮閉眼位置識別器２４４、第１開閉識別器２４５、第２開閉識別器２４６および開閉判定部２４７を有する。

【0052】

ステップＳ５０１において、輝度補正部２４１は、初期検出部２２により検出された目の領域に対して輝度ヒストグラムを平坦化する輝度補正処理を行う。輝度補正処理を行うことにより、環境光に対するロバスト性が高まる。

【0053】

図１１は、第２識別器２４による特徴量算出処理を説明するための図である。

【0054】

ステップＳ５０２において、特徴量算出部２４２は、初期検出部２２により検出された目の領域を包含する走査領域を切り出し、第２識別器２４の辞書サイズに応じてサイズを正規化する（図１１の上側参照）。

【0055】

次に、ステップＳ５０３において、特徴量算出部２４２は、切り出した走査領域で走査枠をずらしながら走査し、各走査位置で特徴量を求める。特徴量は、たとえばＣｏＨＯＧ特徴量であれば、図８に示す方法と同様にして求められるが、走査位置の数だけ複数の特徴量が計算されることになる（図１１の下側参照）。

【0056】

図１２は、第２識別器２４による仮開眼位置検出処理および仮閉眼位置検出処理を説明するための図である。

【0057】

ステップＳ５０４において、仮開眼位置識別器２４３は、各走査位置の特徴量を開眼用位置検出辞書と照合して各走査位置で尤度を求め、被写体の瞼が開いていたと仮定した場合の目の位置である仮開眼位置を検出する。

【0058】

次に、ステップＳ５０５において、仮閉眼位置識別器２４４は、各走査位置の特徴量を閉眼用位置検出辞書と照合して各走査位置で尤度を求め、被写体の瞼が閉じていたと仮定した場合の目の位置である仮閉眼位置を検出する。

【0059】

図５に示すように、開眼用位置検出辞書は、初期位置検出辞書に比べ、高精細な（高解像度な）、開いた目のデータセットを用いて作成され、瞼が開いていると仮定した場合の目の、より高精度な位置（仮開眼位置）を検出するために用いられる。同様に、閉眼用位置検出辞書は、初期位置検出辞書に比べ、高精細な（高解像度な）、閉じた目のデータセットを用いて作成され、瞼が閉じていると仮定した場合の目の、より高精度な位置（仮閉眼位置）を検出するために用いられる。

【0060】

また、仮開眼位置および仮閉眼位置の検出方法としては、たとえば特徴量と辞書とを照合した時の尤度が高い座標を採用する方法や、閾値以上の尤度の座標について尤度で重みづけ平均をとった座標を採用するといった方法を用いることができる。

【0061】

以上のステップＳ５０１−５０５の手順により、仮開眼位置および仮閉眼位置を高精度に検出することができる。

【0062】

続いて、第１の開閉判定辞書とは異なる入力画像を用いて作成された第２の開閉判定辞書を用いて、瞼の開閉の第２判定結果を出力する処理を行う。第２の開閉判定辞書は、開眼用開閉判定辞書と、閉眼用開閉判定辞書とを含む。

【0063】

ステップＳ５０６において、第１開閉識別器２４５は、仮開眼位置で開眼用開閉判定辞書と照合し、開眼尤度を求める。また、ステップＳ５０７において、第２開閉識別器２４６は、仮閉眼位置で閉眼用開閉判定辞書と照合し、閉眼尤度を求める。

【0064】

次に、ステップＳ５０８において、開閉判定部２４７は、開眼尤度および閉眼尤度にもとづいて最終尤度を求める。そして、この最終尤度を用いて瞼の開閉判定を行う。たとえば図７と同様に開閉判定を行なう場合、最終尤度が第１の閾値以上の場合には（ステップＳ５０９のＹＥＳ）、目が閉じていると判定する（ステップＳ５１０）。一方、最終尤度が第１の閾値より小さい場合には（ステップＳ５０９のＮＯ）、さらに最終尤度が第２閾値以下であれば（ステップＳ５１１のＹＥＳ）目が開いていると判定する一方（ステップＳ５１２）、最終尤度が第２閾値より大きい場合には（ステップＳ５１１のＮＯ）、判定不能と判定するとよい（ステップＳ５１３）。

【0065】

なお、第２識別器２４は、第１識別器２３と同様に、目が検出されなかった場合や高精度な位置検出で閉じた目も開いた目も見つからなかった場合にも、判定不能を出力する。

【0066】

ここで、第１識別器２３および第２識別器２４の違いについて説明する。

【0067】

第１識別器２３と第２識別器２４は、どちらも瞼の開閉を検出する識別器であるが、第１識別器２３と第２識別器２４は違うデータセット（辞書作成に使う入力画像）を用いて作られている。

【0068】

第１識別器２３は、第１の開閉判定辞書の作成に用いるデータセットとして、位置をずらしたり拡大縮小したりして水増ししたデータを用い、閉じた瞼のデータをポジティブ、開いた瞼のデータをネガティブとして学習させる。位置をずらして水増しすることで、辞書の入力データが多くなる。なお、ポジティブとネガティブは逆でも構わない。

【0069】

一方、第２識別器２４は、第２の開閉判定辞書の作成に用いるデータセットとして、位置をずらした水増しを行わないデータを用いる。図９−１２を用いて説明したとおり、第２識別器２４は、初期検出部２２が検出した目の領域にもとづいて、より高精細な目の識別器である仮開眼位置識別器２４３および仮閉眼位置識別器２４４を用いて、再度目の位置（開いていると仮定した場合の仮開眼位置、閉じていると仮定した場合の仮閉眼位置）を検出することで位置精度を高める。そして、これらの位置のそれぞれで瞼開閉の識別器である第１開閉識別器２４５および第２開閉識別器２４６がそれぞれの開眼用開閉判定辞書および閉眼用開閉判定辞書を使って瞼開閉判定を行う。

【0070】

初期検出部２２による目の領域の検出では、閉じた目と開いた目が混ざっている初期位置検出辞書を用いるため、位置検出精度が低くなってしまう。一方、第２識別器２４を用いる方法では、目の位置の検出精度を高めることができるため、瞼開閉判定辞書との照合した時のスコアの信頼性が向上し、瞼開閉の判定結果の信頼性が向上する。

【0071】

また、統合判定部２６は、使用するデータセットや識別の方法が互いに異なる複数の識別器による複数の判定結果を統合評価して多数決などにより最終的な瞼開閉判定を行うことができる。

【0072】

たとえば、第２識別器２４は、少しでも位置がずれると急激に尤度が変化してしまう。また、目の位置を再探索するがゆえに、眼鏡のフレームを閉じた目として検出してしまうなど、局所的な紛らわしい画像に引きずられてしまう場合がありうる。一方、第１識別器２３は、位置ずれに強くこの種の局所的な紛らわしい画像に引きずられる可能性が低い。

【0073】

本実施形態に係る瞼開閉検出装置１０によれば、図６に示すように、１の識別器が苦手とする場面において当該識別器がたとえ判定不能を出力したとしても、他の識別器によって補うことにより、最終的な瞼開閉判定を高精度に行なうことができる。

【0074】

次に、補助判定部２５によるエッジ強度を用いた瞼開閉判定処理について詳細に説明する。

【0075】

図１３は、図４のステップＳ６で補助判定部２５により実行されるエッジ強度を用いた瞼開閉判定処理の詳細な手順の一例を示すサブルーチンフローチャートである。また、図１４は、補助判定部２５の一構成例を示す機能ブロック図である。図１４に示すように、補助判定部２５は、輝度補正部２５１、エッジ強度画像生成部２５２、組抽出部２５３、グループ化部２５４および開閉判定部２５５を有する。

【0076】

まず、ステップＳ６０１において、輝度補正部２５１は、初期検出部２２により検出された目の領域の画像サイズや傾きを正規化する。

【0077】

次に、ステップＳ６０２において、輝度補正部２５１は、初期検出部２２により検出された目の領域に対して輝度ヒストグラムを平坦化する輝度補正処理を行う。輝度補正処理を行うことにより、環境光に対するロバスト性が高まる。

【0078】

図１５（ａ）はエッジ強度画像生成に用いられるカーネルの一例を示す説明図であり（ｂ）はカーネルの他の例を示す説明図である。

【0079】

ステップＳ６０３において、エッジ強度画像生成部２５２は、たとえば図１５（ａ）や（ｂ）などに示すカーネルを畳み込むことによりエッジ強度画像を生成する。

【0080】

次に、ステップＳ６０４において、組抽出部２５３は、上瞼候補点および下瞼候補点を抽出するとともに、これらの候補点から上下瞼候補点の組を抽出する。

【0081】

図１６は、図１３のステップＳ６０４で組抽出部２５３により実行される瞼候補点抽出処理およびそれらのペアリング処理の手順の一例を示すサブルーチンフローチャートである。この手順では、目の輝度値が目の周辺の肌の輝度値に比べて低い値となることを利用する。

【0082】

図１７は、上瞼候補点および下瞼候補点が抽出される様子の一例を示す説明図である。

【0083】

ステップＳ６４０１において、組抽出部２５３は、エッジ強度画像を縦の各ラインについて上から下へ探索し始める。

【0084】

エッジ強度の極大値を示す位置があると（ステップＳ６４０２のＹＥＳ）、組抽出部２５３は、この位置を上瞼候補点として抽出し、当該位置の座標とエッジ強度を登録する（ステップＳ６４０３）。エッジ強度の極大値を示す位置は、輝度値が明から暗に変化する位置であり、目の周辺の肌と目との境界位置である可能性が高いためである。また、エッジ強度の極小値を示す位置があると（ステップＳ６４０４のＹＥＳ）、組抽出部２５３は、この位置を下瞼候補点として抽出し、当該位置の座標とエッジ強度を登録する（ステップＳ６４０５）。そして、現在探索中の縦のラインの最下部に到る（ステップＳ６４０６）。このとき、探索したラインに下瞼候補点がなかった場合は（ステップＳ６４０７のＹＥＳ）、組抽出部２５３はエッジ強度の最小値を示す位置を下瞼候補点として抽出し、この位置の座標とエッジ強度とを登録する。

【0085】

図１８は、縦の１のライン上で抽出された上瞼候補点および下瞼候補点の一例を示す説明図である。図１８に示すように、初期検出部２２に検出された目の領域にたとえば眼鏡のフレームなど目以外のものが含まれていると、上瞼候補点および下瞼候補点が誤検出されてしまうこともある。

【0086】

次に、組抽出部２５３は、探索したラインで抽出した上瞼候補点および下瞼候補点のペアリングを試みる。

【0087】

図１９は、上瞼候補点および下瞼候補点のペアリング方法の一例を示す説明図である。組抽出部２５３は、探索したラインで抽出した上瞼候補点のそれぞれについて、上下方向下側で最も近い下瞼候補点をペア候補とする（ステップＳ６４０９、図１９の上から下への矢印参照）。また、下瞼候補点のそれぞれについて、上下方向上側で最も近い上瞼候補点をペア候補とする（ステップＳ６４１０、図１９の下から上への矢印参照）。

【0088】

そして、互いにペア候補であって各候補点における輝度値変化量の差が閾値以下であるペア候補どうしがあると（ステップＳ６４１１のＹＥＳ）、このペア候補どうしを上瞼候補点と下瞼候補点との組としてペアリングする（ステップＳ６４１２）。各候補点における輝度値変化量の差が閾値以下であるとは、たとえば図１７に示す例では、ΔＡとΔＢの差の絶対値が閾値以下であることをいう。このステップＳ６４０１からＳ６４１２までの手順を、全ての縦のラインで繰り返す（ステップＳ６４１３のＮＯ、ステップＳ６４１４）。なお、図１６には全てのラインを処理する場合の例を示すためステップＳ６４１４で１ライン右に行く場合の例を示したが、処理量の低減のため１ライン飛ばしや２ライン飛ばしで処理を行ってもよく、この場合はＳ６４１４で１ライン飛ばしや２ライン飛ばしで右に移動する。１ライン飛ばしや２ライン飛ばしの場合は、処理対象ラインの数が少なくなる。

【0089】

全ての処理対象ラインで瞼候補点抽出処理およびそれらのペアリング処理が行われると（ステップＳ６４１３のＹＥＳ）、図１３のステップＳ６０５に進み、グループ化部２５４は、抽出された瞼候補点のペアのそれぞれについて、グループ化部２５４は、上瞼候補点どうしの距離および下瞼候補点どうしの距離がともに閾値以内であるペア同士が同一のグループに属するようにグルーピングする。

【0090】

図２０は、グルーピング結果の一例を示す説明図である。図２０において、同一のグループに属する候補点は同一形状（円形、四角形、六角形）で示した。

【0091】

次に、ステップＳ６０６において、開閉判定部２５５は、グループのそれぞれについて、各グループが上下瞼を構成するペアが属するグループであるか否かの判定や瞼の開閉判定に用いられる所定の特徴量を求める。次に、ステップＳ６０７において、開閉判定部２５５は、グループごとに優先度の高いグループから瞼の開閉判定を行い、瞼の開閉判定ができ次第、図４のステップＳ７に進む。

【0092】

図２１（ａ）はグループの長さおよびグループの重心付近の幅の平均値を説明するための図であり、（ｂ）は目頭側上瞼候補点の近似直線および目頭側の上下瞼の近似直線のなす角を説明するための図である。

【0093】

また、図２２は所定の特徴量を用いた開閉判定のルールの一例を示す説明図である。図２３（ａ）は図２２に示す第１のルールを説明するための図であり、（ｂ）は図２２に示す第３のルールを説明するための図であり、（ｃ）は図２２に示す第４のルールを説明するための図である。図２２に示すルールは、グループを構成する組の数（グループの長さ）、グループの重心付近における幅の平均、およびグループの目頭近傍における複数の上瞼候補点を結ぶ近似直線の傾き、から選ばれた少なくとも２つの特徴量にもとづいて、被写体の瞼の開閉を判定するためのルールである。

【0094】

開閉判定部２５５が求める所定の特徴量としては、たとえばグループの長さ、グループの重心付近の幅、グループの目頭側の上瞼の近似直線、目頭側の上下瞼の近似直線のなす角などが挙げられる。

【0095】

グループの長さは、各グループが上下瞼を構成するペアが属するグループであるか否かの判定に用いることができる。グループの長さが所定の長さ以上であれば、単なる誤検出ではなく当該グループが上下瞼を構成するペアが属するグループである可能性が高まる。なお、グループの長さは、グループを構成するペアの数であってもよい。長さにかえてペアの数を用いる場合、グループの長さは長いものの構成するペアの密度が低く誤検出の可能性の高いグループを排除することができる。

【0096】

また、グループの重心位置が画像中心から遠ざかるほど誤検出である可能性が高まり、画像中心に近づくほど、当該グループが上下瞼を構成するペアが属するグループである可能性が高まる。

【0097】

また、画像内におけるグループの重心付近（たとえば重心からグループ長さの２割〜４割ほどの横幅）にあるペアの幅（上下瞼候補点間距離）の平均値は、開閉判定に用いることができる。

【0098】

また、上下瞼を構成するペアが属するグループの目頭側の上瞼の近似直線は、閉眼している時はグループ中心に向かって下向きであるため、開閉判定に用いることができる。

【0099】

また、目頭側の上下瞼の近似直線のなす角は、瞼の開閉に応じて当然に変化するため、開閉判定に用いることができる。

【0100】

これらのほか、開閉判定部２５５は所定の特徴量として、ペアの幅の最大値、平均値、分散、グループの重心位置などを求めてもよい。

【0101】

特徴量を計算した後、開閉判定部２５５は、グループの長さや重心位置により、グループが上下瞼を構成するペアが属するグループである可能性が高いグループに対し、高優先度を与えて優先度の高い順番にグループをソートする。このとき、グループの長さや重心位置に応じて、誤検出の可能性が高いグループをフィルタして排除してもよい。

【0102】

そして、ソートした順番で、たとえば図２２に示した瞼開閉の判定ルールに合致するかを確認する。ルールに合致した時点で、その目についての判定処理は終了する。全てのグループがどのルールにも合致しない場合には、開閉判定部２５５は判定不能を出力する。

【0103】

補助判定部２５は、初期検出部２２が検出した目の領域のエッジ強度画像を作成し、エッジ強度から上下瞼候補点のペアを複数抽出し、抽出したペアを位置関係に応じてグルーピングする。そして、グループの長さ、重心付近の幅、目頭側の上瞼の近似直線などの各グループの特徴量から、瞼開閉を判定する。このため、眼鏡のフレームやその陰が映り込む場合であっても、被写体が下を向いている場合や被写体のまつ毛が長い場合であっても、時系列的に連続した画像を用いずとも高精度に被写体の瞼の開閉判定を行なうことができる。また、補助判定部２５による特徴量算出処理で処理負荷が係るものは、直線近似程度のものであり、瞼の輪郭を曲線フィッティングするような従来の技術に比べて非常に容易に瞼の開閉判定を行うことができる。

【0104】

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0105】

４…車室内用カメラ
１０…瞼開閉検出装置
１４…撮像素子
２１…画像生成部
２２…初期検出部
２５２…エッジ強度画像生成部
２５３…組抽出部
２５４…グループ化部
２５５…開閉判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】