特許 5728080 瞼検出装置、瞼検出方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5728080

(24)【登録日】2015年4月10日

(45)【発行日】2015年6月3日

(54)【発明の名称】瞼検出装置、瞼検出方法及びプログラム

(51)【国際特許分類】

   G06T 7/60 20060101AFI20150514BHJP

   G06T 1/00 20060101ALI20150514BHJP

【ＦＩ】

   G06T7/60 150B

   G06T1/00 340A

   G06T7/60 300A

【請求項の数】13

【全頁数】26

(21)【出願番号】特願2013-510770(P2013-510770)

(86)(22)【出願日】2011年4月19日

(86)【国際出願番号】JP2011059663

(87)【国際公開番号】WO2012144020

(87)【国際公開日】20121026

【審査請求日】2014年2月6日

(73)【特許権者】

【識別番号】000000011

【氏名又は名称】アイシン精機株式会社

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】平槇 崇

(72)【発明者】

【氏名】中林 敦

(72)【発明者】

【氏名】宇佐美 祐之

(72)【発明者】

【氏名】仁科 多美子

(72)【発明者】

【氏名】飯田 広明

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２００８−１５８９２２（ＪＰ，Ａ）

【文献】 特開２０１０−１４６１５９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−７／６０

(57)【特許請求の範囲】

【請求項1】

ドライバの眼が写る画像を構成する画素のエッジ値を算出するエッジ値算出手段と、
一端が前記画像に写る前記眼の目頭と一致し、他端が前記画像に写る前記眼の目尻に一致するフィッティング曲線を順次規定し、前記フィッティング曲線が前記眼の瞼のエッジと一致する度合いを示す評価値を算出する評価値算出手段と、
前記評価値算出手段の算出結果に基づいて、前記評価値の変化を示す特性曲線を生成する特性曲線生成手段と、
前記特性曲線の極大点を頂点とするピークと、前記特性曲線の極小点を頂点とするピークとが、交互に３つ以上現れた場合に、極性が等しい２つのピークによって規定される前記画像上の領域に、赤目現象に起因する領域があるか否かを判断する判断手段と、
前記判断手段によって、前記赤目現象に起因する領域があると判断された場合に、前記特性曲線のピークのうち、前記画像の最も高い位置に対応するピークによって定まる前記画像上の点を上瞼の基準位置に設定する設定手段と、
を備える瞼検出装置。

【請求項2】

ドライバの眼が写る画像を構成する画素のエッジ値を算出するエッジ値算出手段と、
一端が前記画像に写る前記眼の目頭と一致し、他端が前記画像に写る前記眼の目尻に一致するフィッティング曲線を順次規定し、前記フィッティング曲線が前記眼の瞼のエッジと一致する度合いを示す評価値を算出する評価値算出手段と、
前記評価値算出手段の算出結果に基づいて、前記評価値の変化を示す特性曲線を生成する特性曲線生成手段と、
前記特性曲線の極大点を頂点とするピークと、前記特性曲線の極小点を頂点とするピークとが、交互に３つ以上現れた場合に、極性が等しい２つのピークによって規定される前記画像上の領域に、赤目現象に起因する領域があるか否かを判断する判断手段と、
前記判断手段によって、前記赤目現象に起因する領域があると判断された場合に、前記特性曲線のピークのうち、前記画像の最も低い位置に対応するピークによって定まる前記画像上の点を下瞼の基準位置に設定する設定手段と、
を備える瞼検出装置。

【請求項3】

ドライバの眼が写る画像を構成する画素のエッジ値を算出するエッジ値算出手段と、
一端が前記画像に写る前記眼の目頭と一致し、他端が前記画像に写る前記眼の目尻に一致するフィッティング曲線を順次規定し、前記フィッティング曲線が前記眼の瞼のエッジと一致する度合いを示す評価値を算出する評価値算出手段と、
前記評価値算出手段の算出結果に基づいて、前記評価値の変化を示す特性曲線を生成する特性曲線生成手段と、
前記特性曲線の極大点を頂点とする２つのピークが現れた場合に、又は前記特性曲線の極小点を頂点とする２つのピークが現れた場合に、前記２つのピークによって規定される前記画像上の領域に、赤目現象に起因する領域があるか否かを判断する判断手段と、
前記判断手段によって、前記赤目現象に起因する領域がないと判断され、前記２つのピークとは極性が異なり、前記２つのピークの一方に隣接する隣接ピークがある場合に、前記２つのピークのうち、前記隣接ピークに隣接するピークによって定まる前記画像上の点を前記瞼の基準位置に設定する設定手段と、
を備える瞼検出装置。

【請求項4】

前記設定手段は、
前記特性曲線のピークのうち、前記隣接ピークが、前記画像上の最も低い位置に対応するピークである場合に、前記隣接ピークによって定まる前記画像上の点を下瞼の基準位置に設定し、前記２つのピークのうち前記隣接ピークに隣接するピークを、上瞼の基準位置に設定する請求項３に記載の瞼検出装置。

【請求項5】

前記設定手段は、
前記特性曲線のピークのうち、前記隣接ピークが、前記画像上の最も高い位置に対応するピークである場合に、前記隣接ピークによって定まる前記画像上の点を上瞼の基準位置に設定し、前記２つのピークのうち前記隣接ピークに隣接するピークを、下瞼の基準位置に設定する請求項３に記載の瞼検出装置。

【請求項6】

前記判断手段は、前記ピークによって規定される前記画像上の領域で、垂直エッジを検出するための処理を実行し、
前記垂直エッジが検出された場合に、前記赤目現象に起因する領域があると判断する請求項１乃至５のいずれか一項に記載の瞼検出装置。

【請求項7】

前記判断手段は、前記ピークによって規定される前記画像上の領域に含まれる画素の輝度情報に基づいて、前記赤目現象に起因する領域があるか否かを判断する請求項１乃至５のいずれか一項に記載の瞼検出装置。

【請求項8】

ドライバの眼が写る画像を構成する画素のエッジ値を算出する工程と、
一端が前記画像に写る前記眼の目頭と一致し、他端が前記画像に写る前記眼の目尻に一致するフィッティング曲線を規定する工程と、
前記フィッティング曲線が前記眼の瞼のエッジと一致する度合いを示す評価値を算出する工程と、
前記評価値の算出結果に基づいて、前記評価値の変化を示す特性曲線を生成する工程と、
前記特性曲線の極大点を頂点とするピークと、前記特性曲線の極小点を頂点とするピークとが、交互に３つ以上現れた場合に、極性が等しい２つのピークによって規定される前記画像上の領域に、赤目現象に起因する領域があるか否かを判断する工程と、
前記赤目現象に起因する領域があると判断された場合に、前記特性曲線のピークのうち、前記画像の最も高い位置に対応するピークによって定まる前記画像上の点を上瞼の基準位置に設定する工程と、
を含む瞼検出方法。

【請求項9】

ドライバの眼が写る画像を構成する画素のエッジ値を算出する工程と、
一端が前記画像に写る前記眼の目頭と一致し、他端が前記画像に写る前記眼の目尻に一致するフィッティング曲線を規定する工程と、
前記フィッティング曲線が前記眼の瞼のエッジと一致する度合いを示す評価値を算出する工程と、
前記評価値の算出結果に基づいて、前記評価値の変化を示す特性曲線を生成する工程と、
前記特性曲線の極大点を頂点とするピークと、前記特性曲線の極小点を頂点とするピークとが、交互に３つ以上現れた場合に、極性が等しい２つのピークによって規定される前記画像上の領域に、赤目現象に起因する領域があるか否かを判断する工程と、
前記赤目現象に起因する領域があると判断された場合に、前記特性曲線のピークのうち、前記画像の最も低い位置に対応するピークによって定まる前記画像上の点を下瞼の基準位置に設定する工程と、
を含む瞼検出方法。

【請求項10】

ドライバの眼が写る画像を構成する画素のエッジ値を算出する工程と、
一端が前記画像に写る前記眼の目頭と一致し、他端が前記画像に写る前記眼の目尻に一致するフィッティング曲線を規定する工程と、
前記フィッティング曲線が前記眼の瞼のエッジと一致する度合いを示す評価値を算出する工程と、
前記評価値の算出結果に基づいて、前記評価値の変化を示す特性曲線を生成する工程と、
前記特性曲線の極大点を頂点とする２つのピークが現れた場合に、又は前記特性曲線の極小点を頂点とする２つのピークが現れた場合に、前記２つのピークによって規定される前記画像上の領域に、赤目現象に起因する領域があるか否かを判断する工程と、
前記赤目現象に起因する領域がないと判断され、前記２つのピークとは極性が異なり、前記２つのピークの一方に隣接する隣接ピークがある場合に、前記２つのピークのうち、前記隣接ピークに隣接するピークによって定まる前記画像上の点を前記瞼の基準位置に設定する工程と、
を含む瞼検出方法。

【請求項11】

コンピュータに、
ドライバの眼が写る画像を構成する画素のエッジ値を算出する手順と、
一端が前記画像に写る前記眼の目頭と一致し、他端が前記画像に写る前記眼の目尻に一致するフィッティング曲線を規定する手順と、
前記フィッティング曲線が前記眼の瞼のエッジと一致する度合いを示す評価値を算出する手順と、
前記評価値の算出結果に基づいて、前記評価値の変化を示す特性曲線を生成する手順と、
前記特性曲線の極大点を頂点とするピークと、前記特性曲線の極小点を頂点とするピークとが、交互に３つ以上現れた場合に、極性が等しい２つのピークによって規定される前記画像上の領域に、赤目現象に起因する領域があるか否かを判断する手順と、
前記赤目現象に起因する領域があると判断された場合に、前記特性曲線のピークのうち、前記画像の最も高い位置に対応するピークによって定まる前記画像上の点を上瞼の基準位置に設定する手順と、
を実行させるプログラム。

【請求項12】

コンピュータに、
ドライバの眼が写る画像を構成する画素のエッジ値を算出する手順と、
一端が前記画像に写る前記眼の目頭と一致し、他端が前記画像に写る前記眼の目尻に一致するフィッティング曲線を規定する手順と、
前記フィッティング曲線が前記眼の瞼のエッジと一致する度合いを示す評価値を算出する手順と、
前記評価値の算出結果に基づいて、前記評価値の変化を示す特性曲線を生成する手順と、
前記特性曲線の極大点を頂点とするピークと、前記特性曲線の極小点を頂点とするピークとが、交互に３つ以上現れた場合に、極性が等しい２つのピークによって規定される前記画像上の領域に、赤目現象に起因する領域があるか否かを判断する手順と、
前記赤目現象に起因する領域があると判断された場合に、前記特性曲線のピークのうち、前記画像の最も低い位置に対応するピークによって定まる前記画像上の点を下瞼の基準位置に設定する手順と、
を実行させるプログラム。

【請求項13】

コンピュータに、
ドライバの眼が写る画像を構成する画素のエッジ値を算出する手順と、
一端が前記画像に写る前記眼の目頭と一致し、他端が前記画像に写る前記眼の目尻に一致するフィッティング曲線を規定する手順と、
前記フィッティング曲線が前記眼の瞼のエッジと一致する度合いを示す評価値を算出する手順と、
前記評価値の算出結果に基づいて、前記評価値の変化を示す特性曲線を生成する手順と、
前記特性曲線の極大点を頂点とする２つのピークが現れた場合に、又は前記特性曲線の極小点を頂点とする２つのピークが現れた場合に、前記２つのピークによって規定される前記画像上の領域に、赤目現象に起因する領域があるか否かを判断する手順と、
前記赤目現象に起因する領域がないと判断され、前記２つのピークとは極性が異なり、前記２つのピークの一方に隣接する隣接ピークがある場合に、前記２つのピークのうち、前記隣接ピークに隣接するピークによって定まる前記画像上の点を前記瞼の基準位置に設定する手順と、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、瞼検出装置、瞼検出方法及びプログラムに関し、更に詳しくは、眼の画像に写る瞼を検出する瞼検出装置、眼の画像に写る瞼を検出するための瞼検出方法及びプログラムに関する。

【背景技術】

【0002】

近年、交通事故の死者数は減少傾向にあるものの、事故の発生件数は依然として高い水準にある。事故の原因は様々であるが、居眠り運転等、ドライバが覚醒度が低下した状態で車両の運転を行うことも、事故を誘発する原因の１つである。

【0003】

そこで、ドライバの覚醒度の低下を精度良く検出するための技術が種々提案されている。（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００４−１９２５５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に開示された装置は、ドライバの顔の画像に写る眼の縦の大きさ、上瞼に沿った曲線と当該曲線の両端を結ぶ線との距離、及び当該曲線の曲率半径に基づいて、ドライバの眼が閉じているか否かを総合的に判定する。

【0006】

眼の画像に基づいて、ドライバの眼が閉じているか否かを判定するためには、画像から瞼のエッジを正確に検出する必要がある。しかしながら、撮影時にいわゆる赤目現象が発生すると、瞼のエッジの近傍にも、赤目現象に起因するエッジが発生することがある。また、被撮影者がアイシャドウをつけている場合には、眼やその周囲の画像を構成する画素の輝度が一様になってしまうことがある。このような場合には、瞼のエッジを正確に検出することができなくなり、結果的にドライバの眼が閉じているか否かを精度よく判定することができなくなる。

【0007】

本発明は、上述の事情の下になされたもので、ドライバの眼の画像に基づいて、ドライバの眼が閉じているか否かを精度よく判定することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本発明の第１の観点に係る瞼検出装置は、
ドライバの眼が写る画像を構成する画素のエッジ値を算出するエッジ値算出手段と、
一端が前記画像に写る前記眼の目頭と一致し、他端が前記画像に写る前記眼の目尻に一致するフィッティング曲線を順次規定し、前記フィッティング曲線が前記眼の瞼のエッジと一致する度合いを示す評価値を算出する評価値算出手段と、
前記評価値算出手段の算出結果に基づいて、前記評価値の変化を示す特性曲線を生成する特性曲線生成手段と、
前記特性曲線の極大点を頂点とするピークと、前記特性曲線の極小点を頂点とするピークとが、交互に３つ以上現れた場合に、極性が等しい２つのピークによって規定される前記画像上の領域に、赤目現象に起因する領域があるか否かを判断する判断手段と、
前記判断手段によって、前記赤目現象に起因する領域があると判断された場合に、前記特性曲線のピークのうち、前記画像の最も高い位置に対応するピークによって定まる前記画像上の点を上瞼の基準位置に設定する設定手段と、
を備える。
本発明の第２の観点に係る瞼検出装置は、
ドライバの眼が写る画像を構成する画素のエッジ値を算出するエッジ値算出手段と、
一端が前記画像に写る前記眼の目頭と一致し、他端が前記画像に写る前記眼の目尻に一致するフィッティング曲線を順次規定し、前記フィッティング曲線が前記眼の瞼のエッジと一致する度合いを示す評価値を算出する評価値算出手段と、
前記評価値算出手段の算出結果に基づいて、前記評価値の変化を示す特性曲線を生成する特性曲線生成手段と、
前記特性曲線の極大点を頂点とするピークと、前記特性曲線の極小点を頂点とするピークとが、交互に３つ以上現れた場合に、極性が等しい２つのピークによって規定される前記画像上の領域に、赤目現象に起因する領域があるか否かを判断する判断手段と、
前記判断手段によって、前記赤目現象に起因する領域があると判断された場合に、前記特性曲線のピークのうち、前記画像の最も低い位置に対応するピークによって定まる前記画像上の点を下瞼の基準位置に設定する設定手段と、
を備える。
本発明の第３の観点に係る瞼検出装置は、
ドライバの眼が写る画像を構成する画素のエッジ値を算出するエッジ値算出手段と、
一端が前記画像に写る前記眼の目頭と一致し、他端が前記画像に写る前記眼の目尻に一致するフィッティング曲線を順次規定し、前記フィッティング曲線が前記眼の瞼のエッジと一致する度合いを示す評価値を算出する評価値算出手段と、
前記評価値算出手段の算出結果に基づいて、前記評価値の変化を示す特性曲線を生成する特性曲線生成手段と、
前記特性曲線の極大点を頂点とする２つのピークが現れた場合に、又は前記特性曲線の極小点を頂点とする２つのピークが現れた場合に、前記２つのピークによって規定される前記画像上の領域に、赤目現象に起因する領域があるか否かを判断する判断手段と、
前記判断手段によって、前記赤目現象に起因する領域がないと判断され、前記２つのピークとは極性が異なり、前記２つのピークの一方に隣接する隣接ピークがある場合に、前記２つのピークのうち、前記隣接ピークに隣接するピークによって定まる前記画像上の点を前記瞼の基準位置に設定する設定手段と、
を備える。

【0009】

本発明の第４の観点に係る瞼検出方法は、
ドライバの眼が写る画像を構成する画素のエッジ値を算出する工程と、
一端が前記画像に写る前記眼の目頭と一致し、他端が前記画像に写る前記眼の目尻に一致するフィッティング曲線を規定する工程と、
前記フィッティング曲線が前記眼の瞼のエッジと一致する度合いを示す評価値を算出する工程と、
前記評価値の算出結果に基づいて、前記評価値の変化を示す特性曲線を生成する工程と、
前記特性曲線の極大点を頂点とするピークと、前記特性曲線の極小点を頂点とするピークとが、交互に３つ以上現れた場合に、極性が等しい２つのピークによって規定される前記画像上の領域に、赤目現象に起因する領域があるか否かを判断する工程と、
前記赤目現象に起因する領域があると判断された場合に、前記特性曲線のピークのうち、前記画像の最も高い位置に対応するピークによって定まる前記画像上の点を上瞼の基準位置に設定する工程と、
を含む。
本発明の第５の観点に係る瞼検出方法は、
ドライバの眼が写る画像を構成する画素のエッジ値を算出する工程と、
一端が前記画像に写る前記眼の目頭と一致し、他端が前記画像に写る前記眼の目尻に一致するフィッティング曲線を規定する工程と、
前記フィッティング曲線が前記眼の瞼のエッジと一致する度合いを示す評価値を算出する工程と、
前記評価値の算出結果に基づいて、前記評価値の変化を示す特性曲線を生成する工程と、
前記特性曲線の極大点を頂点とするピークと、前記特性曲線の極小点を頂点とするピークとが、交互に３つ以上現れた場合に、極性が等しい２つのピークによって規定される前記画像上の領域に、赤目現象に起因する領域があるか否かを判断する工程と、
前記赤目現象に起因する領域があると判断された場合に、前記特性曲線のピークのうち、前記画像の最も低い位置に対応するピークによって定まる前記画像上の点を下瞼の基準位置に設定する工程と、
を含む。
本発明の第６の観点に係る瞼検出方法は、
ドライバの眼が写る画像を構成する画素のエッジ値を算出する工程と、
一端が前記画像に写る前記眼の目頭と一致し、他端が前記画像に写る前記眼の目尻に一致するフィッティング曲線を規定する工程と、
前記フィッティング曲線が前記眼の瞼のエッジと一致する度合いを示す評価値を算出する工程と、
前記評価値の算出結果に基づいて、前記評価値の変化を示す特性曲線を生成する工程と、
前記特性曲線の極大点を頂点とする２つのピークが現れた場合に、又は前記特性曲線の極小点を頂点とする２つのピークが現れた場合に、前記２つのピークによって規定される前記画像上の領域に、赤目現象に起因する領域があるか否かを判断する工程と、
前記赤目現象に起因する領域がないと判断され、前記２つのピークとは極性が異なり、前記２つのピークの一方に隣接する隣接ピークがある場合に、前記２つのピークのうち、前記隣接ピークに隣接するピークによって定まる前記画像上の点を前記瞼の基準位置に設定する工程と、
を含む。

【0010】

本発明の第７の観点に係るプログラムは、
コンピュータに、
ドライバの眼が写る画像を構成する画素のエッジ値を算出する手順と、
一端が前記画像に写る前記眼の目頭と一致し、他端が前記画像に写る前記眼の目尻に一致するフィッティング曲線を規定する手順と、
前記フィッティング曲線が前記眼の瞼のエッジと一致する度合いを示す評価値を算出する手順と、
前記評価値の算出結果に基づいて、前記評価値の変化を示す特性曲線を生成する手順と、
前記特性曲線の極大点を頂点とするピークと、前記特性曲線の極小点を頂点とするピークとが、交互に３つ以上現れた場合に、極性が等しい２つのピークによって規定される前記画像上の領域に、赤目現象に起因する領域があるか否かを判断する手順と、
前記赤目現象に起因する領域があると判断された場合に、前記特性曲線のピークのうち、前記画像の最も高い位置に対応するピークによって定まる前記画像上の点を上瞼の基準位置に設定する手順と、
を実行させる。
本発明の第８の観点に係るプログラムは、
コンピュータに、
ドライバの眼が写る画像を構成する画素のエッジ値を算出する手順と、
一端が前記画像に写る前記眼の目頭と一致し、他端が前記画像に写る前記眼の目尻に一致するフィッティング曲線を規定する手順と、
前記フィッティング曲線が前記眼の瞼のエッジと一致する度合いを示す評価値を算出する手順と、
前記評価値の算出結果に基づいて、前記評価値の変化を示す特性曲線を生成する手順と、
前記特性曲線の極大点を頂点とするピークと、前記特性曲線の極小点を頂点とするピークとが、交互に３つ以上現れた場合に、極性が等しい２つのピークによって規定される前記画像上の領域に、赤目現象に起因する領域があるか否かを判断する手順と、
前記赤目現象に起因する領域があると判断された場合に、前記特性曲線のピークのうち、前記画像の最も低い位置に対応するピークによって定まる前記画像上の点を下瞼の基準位置に設定する手順と、
を実行させる。
本発明の第９の観点に係るプログラムは、
コンピュータに、
ドライバの眼が写る画像を構成する画素のエッジ値を算出する手順と、
一端が前記画像に写る前記眼の目頭と一致し、他端が前記画像に写る前記眼の目尻に一致するフィッティング曲線を規定する手順と、
前記フィッティング曲線が前記眼の瞼のエッジと一致する度合いを示す評価値を算出する手順と、
前記評価値の算出結果に基づいて、前記評価値の変化を示す特性曲線を生成する手順と、
前記特性曲線の極大点を頂点とする２つのピークが現れた場合に、又は前記特性曲線の極小点を頂点とする２つのピークが現れた場合に、前記２つのピークによって規定される前記画像上の領域に、赤目現象に起因する領域があるか否かを判断する手順と、
前記赤目現象に起因する領域がないと判断され、前記２つのピークとは極性が異なり、前記２つのピークの一方に隣接する隣接ピークがある場合に、前記２つのピークのうち、前記隣接ピークに隣接するピークによって定まる前記画像上の点を前記瞼の基準位置に設定する手順と、
を実行させる。

【発明の効果】

【0011】

本発明によれば、目頭と目尻とを基点として順次規定されるフィッティング曲線についての評価値が算出される。次に、当該評価値の変化を示す特性曲線のピークによって規定される領域で、例えば赤目現象に起因する画素群の検出が行われる。そして、当該画素群の検出結果を考慮して、瞼のエッジの基準位置が設定される。このため、撮影の際にいわゆる赤目現象等が発生し、瞼のエッジの近傍に当該瞼のエッジ以外のエッジが発生したとしても、精度よく瞼の基準位置を設定することができる。これにより、ドライバの眼が閉じているか否かを精度良く判定したり、眼の開度を精度良く検出することが可能となる。

【図面の簡単な説明】

【0012】

【図1】第１の実施形態に係る瞼検出装置のブロック図である。

【図2】撮影装置によって撮影された画像を示す図である。

【図3】ＣＰＵによって実行される一連の処理を示すフローチャートである。

【図4】顔領域と探索領域を示す図である。

【図5A】水平エッジ検出オペレータを示す図である。

【図5B】垂直エッジ検出オペレータを示す図である。

【図6】上瞼及び下瞼のエッジを構成する画素を示す図である。

【図7】画素群と、上瞼探索ウインドを示す図である。

【図8】評価値が最大となったときの画素群と、上瞼探索ウインドとの位置関係を示す図である。

【図9】瞼探索領域を示す図である。

【図10】画像と特性曲線との関係を示す図である。

【図11】基準位置の設定手順を説明するための図である。

【図12】赤目現象が発生したときの画像の一例を示す図である。

【図13】基準位置の設定手順を説明するための図である。

【図14】探索領域を示す図である。

【図15】探索領域と特性曲線との関係を示す図である。

【図16】画像と特性曲線との関係を示す図である。

【図17】画像と特性曲線との関係を示す図である。

【図18】第２の実施形態に係る瞼検出装置のブロック図である。

【発明を実施するための形態】

【0013】

《第１の実施形態》
以下、本発明の第１の実施形態を、図面を参照しつつ説明する。図１は本実施形態に係る瞼検出装置１０の概略的な構成を示すブロック図である。瞼検出装置１０は、ドライバの顔が写った画像に基づいて、ドライバの眼の開度を算出する装置である。図１に示されるように、瞼検出装置１０は、演算装置２０と、撮影装置３０を有している。

【0014】

撮影装置３０は、被写体を撮影することにより取得した画像を電気信号に変換して出力する装置である。図２は、撮影装置３０によって撮影された画像ＩＭが示されている。画像ＩＭを参照するとわかるように、この撮影装置３０は、車両の運転席に着座するドライバ５０の顔が、視野のほぼ中心に位置するように、取り付け角や画角が調整された状態で、例えばステアリングコラム上或いはステアリングに取り付けられている。そして、撮影装置３０は、ドライバ５０の顔を所定の周期で撮影し、撮影して得た画像に関する情報を演算装置２０へ出力する。

【0015】

ここで、説明の便宜上、画像ＩＭの左下のコーナーを原点とするＸＹ座標系を定義し、以下、適宜ＸＹ座標系を用いた説明を行う。

【0016】

図１に戻り、演算装置２０は、ＣＰＵ（Central Processing Unit）２１、主記憶部２２、補助記憶部２３、表示部２４、入力部２５、及びインターフェイス部２６を有するコンピュータである。

【0017】

ＣＰＵ２１は、補助記憶部２３に記憶されたプログラムを読み出して実行する。ＣＰＵ２１の具体的な動作については後述する。

【0018】

主記憶部２２は、ＲＡＭ（Random Access Memory）等の揮発性メモリを有している。主記憶部２２は、ＣＰＵ２１の作業領域として用いられる。

【0019】

補助記憶部２３は、ＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリを有している。補助記憶部２３は、ＣＰＵ２１が実行するプログラム、及び各種パラメータなどを記憶している。また、撮影装置３０から出力される画像に関する情報、及びＣＰＵ２１による処理結果などを含む情報を順次記憶する。

【0020】

表示部２４は、ＬＣＤ（Liquid Crystal Display）などの表示ユニットを有している。表示部２４は、ＣＰＵ２１の処理結果等を表示する。

【0021】

入力部２５は、入力キーや、タッチパネル等のポインティングデバイスを有している。オペレータの指示は、入力部２５を介して入力され、システムバス２７を経由してＣＰＵ２１へ通知される。

【0022】

インターフェイス部２６は、シリアルインターフェイスまたはＬＡＮ（Local Area Network）インターフェイス等を含んで構成されている。撮影装置３０は、インターフェイス部２６を介してシステムバス２７に接続される。

【0023】

図３のフローチャートは、ＣＰＵ２１によって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図３を参照しつつ、瞼検出装置１０の動作について説明する。図３のフローチャートに示される一連の処理は、例えば車両のイグニッションスイッチがオンになると実行される。また、ここでは撮影装置３０によって、図２に示される画像ＩＭが撮影されたものとする。

【0024】

まず、最初のステップＳ２０１では、ＣＰＵ２１は、撮影装置３０から出力された画像ＩＭから、ドライバ５０の顔を構成する眼や鼻等が写り込む顔領域Ａ１を検出する。

【0025】

この顔領域Ａ１の検出は、まず、画像ＩＭに対してソーベルフィルタを用いた画像処理を実行し、画像ＩＭに含まれるエッジを抽出する。次に、抽出したエッジの中から、ドライバ５０の顔の輪郭Ｆを示すエッジを検出する。そして、ドライバ５０の顔の輪郭Ｆに囲まれた領域に含まれるエッジから、ドライバ５０の眉と口を表すエッジを検出して、ドライバ５０の眉と口との位置をおおよそ特定する。眉と口の位置が特定されると、ＣＰＵ２１は、例えば図４に示されるように、Ｘ軸方向の大きさが顔の輪郭Ｆの大きさとほぼ一致し、ドライバ５０の眉及び口を含む最も小さな矩形の領域を、顔領域Ａ１として検出する。

【0026】

次のステップＳ２０２では、ＣＰＵ２１は、瞼の検出処理を施す探索領域Ａ２を規定する。顔を構成する眉、目、鼻、及び口の位置関係は、多少の個人差はあるものの顔の輪郭や、眉或いは眼等の部位を基準に概ね特定することができる。したがって、上端に眉が位置し、下端に口が位置するように規定された顔領域Ａ１においては、眼が位置する領域をある程度正確に特定することができる。そこで、ＣＰＵ２１は、顔領域Ａ１に含まれる眉毛の画像の下方に、長手方向をＸ軸方向とする長方形の探索領域Ａ２を規定する。

【0027】

次のステップＳ２０３では、ＣＰＵ２１は、探索領域Ａ２に対してエッジの検出処理を実行する。エッジの検出に際しては、ＣＰＵ２１は、図５Ａに示される水平エッジ検出オペレータと、図５Ｂに示される垂直エッジ検出オペレータとを用いる。

【0028】

例えば、ＣＰＵ２１は、まず水平エッジ検出オペレータを用いて、各画素のエッジ値を算出する。このエッジ値は、エッジ値の算出対象となる画素の上側（＋Ｙ側）の画素の輝度が高く、下側（−Ｙ側）の画素の輝度が低い場合に＋になる。そして、エッジ値の算出対象となる画素の上側（＋Ｙ側）の画素の輝度が低く、下側（−Ｙ側）の画素の輝度が高い場合に−になる。そこで、ＣＰＵ２１は、エッジ値が第１の閾値以上の画素と、エッジ値が第２の閾値以下の画素を抽出する。

【0029】

次に、ＣＰＵ２１は、垂直エッジ検出オペレータを用いて、各画素のエッジ値を算出する。このエッジ値は、エッジ値の算出対象となる画素の左側（−Ｘ側）の画素の輝度が高く、右側（＋Ｘ側）の画素の輝度が低い場合に＋になる。そして、エッジ値の算出対象となる画素の左側（−Ｘ側）の画素の輝度が低く、右側（＋Ｘ側）の画素の輝度が高い場合に−になる。そこで、ＣＰＵ２１は、エッジ値が第１の閾値以上の画素からなる画素と、エッジ値が第２の閾値以下の画素を抽出する。

【0030】

これにより、例えば図６に示されるように、眼５１，５２の上瞼及び下瞼のエッジを構成する画素Ｄが抽出される。以下、右眼５１の上瞼のエッジを画素群Ｇ１とし、下瞼のエッジを画素群Ｇ２とする。また、左眼５２の上瞼のエッジを画素群Ｇ３とし、下瞼のエッジを画素群Ｇ４とする。

【0031】

次のステップＳ２０４では、ＣＰＵ２１は、上瞼探索ウインドを用いた走査を行うことで、上瞼の位置を検出する。図７は、画素群Ｇ１，Ｇ２と、画素群Ｇ１によって示される上瞼を検出するための上瞼探索ウインドＷ１を示す図である。図７に示されるように、上瞼探索ウインドＷ１は、長手方向をＸ軸方向とする長方形の水平エッジウインドＰ１と、水平エッジウインドＰ１の両端に規定された垂直エッジウインドＰ２，Ｐ３とから構成されている。

【0032】

ＣＰＵ２１は、上瞼探索ウインドＷ１を、探索領域Ａ２内で例えば１画素に相当する距離ずつ移動させる。そして、同時に水平エッジウインドＰ１と重なる画素Ｄのエッジ値の総和と、垂直エッジウインドＰ２と重なる画素Ｄのエッジ値の総和から垂直エッジウインドＰ３と重なる画素のエッジ値の総和を減算した値との合計を評価値として順次算出する。そして、ＣＰＵ２１は、評価値が最大になったときの上瞼探索ウインドＷ１の位置を右眼５１の上瞼の位置として検出する。

【0033】

図８は、評価値が最大となったときの画素群Ｇ１と上瞼探索ウインドＷ１との位置関係を示す図である。図８に示されるように、評価値が最大となったときには、上瞼探索ウインドＷ１は、画素群Ｇ１と重なった状態となる。ＣＰＵ２１は、右眼５１の上瞼の位置を検出すると、同様の手順で左眼５２の上瞼の位置を検出する。

【0034】

次のステップＳ２０５では、ＣＰＵ２１は、瞼探索領域を設定する。下瞼は、上瞼の下方に位置している。そこで、ＣＰＵ２１は、図９に示されるように、上瞼のエッジを構成する画素群Ｇ１を基準に、上瞼と下瞼とを含む瞼探索領域Ａ３を設定する。同様に、ＣＰＵ２１は、画素群Ｇ３を基準に、瞼探索領域Ａ４を設定する。

【0035】

次のステップＳ２０６では、ＣＰＵ２１は、瞼探索領域Ａ３，Ａ４内で、眼５１，５２の目頭及び目尻の位置を特定する。具体的には、ＣＰＵ２１は、目頭を探索するためのテンプレートＴＰ１を、例えば１画素に相当する距離ずつ移動させながら、テンプレートＴＰ１と、当該テンプレートＴＰ１と重なる部分画像との相関値を算出する。そして、相関値が最大となったときのテンプレートＴＰ１の位置を、眼５１，５２の目頭の位置と特定する。

【0036】

同様に、ＣＰＵ２１は、目尻を探索するためのテンプレートＴＰ２を移動させながら、テンプレートＴＰ２と、当該テンプレートＴＰ２と重なる部分画像との相関値を算出する。そして、相関値が最大となったときのテンプレートＴＰ２の位置を、眼５１，５２の目尻の位置と特定する。

【0037】

図１０には、部分画像との相関値が最大になったところに位置するテンプレートＴＰ１，ＴＰ２が示されている。図１０を参照するとわかるように、ＣＰＵ２１は、テンプレートＴＰ１，ＴＰ２の中心と一致する点ＣＰ１，ＣＰ２のＸＹ座標系における位置を、眼５１，５２の目頭或いは目尻の位置と特定する。

【0038】

次のステップＳ２０７では、ＣＰＵ２１は、図１０に示されるように、フィッティング曲線として、両端が点ＣＰ１，ＣＰ２に一致する二次曲線ＣＶを順次規定しつつ、当該二次曲線ＣＶと重なる画素のエッジ値の総和を評価値Ｖとして算出する。同時に、例えば点ＣＰ１と点ＣＰ２によって規定される線分の中点を通りＹ軸に平行な直線ＣＬと、二次曲線ＣＶとの交点の位置を算出する。そして、ＣＰＵ２１は、算出した評価値Ｖと交点の位置情報を、評価値Ｖと交点のＹ座標ＰＹとからなるデータ（ＰＹ，Ｖ）として、補助記憶部２３に記憶する。

【0039】

次のステップＳ２０８では、ＣＰＵ２１は、眼５１，５２について、データ（ＰＹ，Ｖ）によって規定される特性曲線Ｓｙを生成する。具体的には、図１０を参照するとわかるように、ＣＰＵ２１は、縦軸をＹ軸とし、横軸を評価値を表す軸とする座標系に、データ（ＰＹ，Ｖ）によって規定される点をプロットすることにより、特性曲線Ｓｙを生成する。

【0040】

次のステップＳ２０９では、ＣＰＵ２１は、上瞼と下瞼の基準位置をステップＳ２０８で生成した特性曲線Ｓｙに基づいて設定する。

【0041】

上瞼及び下瞼は前方へ突出するように湾曲し、眼球は上瞼と下瞼との間から露出した状態となる。このため、画像ＩＭに写りこむ上瞼及び下瞼は、図１０に模式的に示されるように、比較的輝度が高い画素によって構成される。一方、上瞼と下瞼との間から露出する瞳や白目の部分は、比較的輝度が低い画素によって構成される。このため、図５Ａ及び図５Ｂに示されるオペレータを用いてエッジ値を算出した場合には、特性曲線Ｓｙによって示される評価値は、二次曲線ＣＶと直線ＣＬの交点のＹ座標が、直線ＣＬ上の上瞼のエッジの座標Ｙ１と一致するときに最大となる。そして、二次曲線ＣＶと直線ＣＬの交点のＹ座標が、直線ＣＬ上の下瞼のエッジの座標Ｙ２と一致するときに最小となる。

【0042】

そこで、ＣＰＵ２１は、図１１に示されるように、直線ＣＬ上に位置し、Ｙ座標の値がＹ１である点ＳＰ１を、上瞼の基準位置として設定する。また、直線ＣＬ上に位置し、Ｙ座標の値がＹ２である点ＳＰ２を、下瞼の基準位置として設定する。

【0043】

特性曲線Ｓｙは、上述したように、上蓋の基準位置に対応するピークと、下瞼の基準位置に対応するピークをもつのが一般的である。しかしながら、例えば図１２の画像に示されるように、眼の画像の撮影時に赤目現象が発生した場合には、本来は輝度が低い画素で構成される瞳が、輝度が高い画素群ＨＧ（図１３参照）で構成される。赤目現象が発生した場合に、図５Ａ及び図５Ｂに示されるオペレータを用いてエッジ値を算出すると、図１３に示されるように、画素群ＨＧの上側（＋Ｙ側）でのエッジ値が小さくなり、画素群ＨＧの下側（−Ｙ側）でのエッジ値が大きくなる。

【0044】

このため、上述した手順で、特性曲線Ｓｙを生成すると、図１３に示されるように、＋側のピークが、上瞼と眼との境界に対応する位置と、画素群ＨＧの下端部に対応する位置に現れる。また、−側のピークが、画素群ＨＧの上端部に対応する位置と、眼と下瞼との境界に対応する位置に現れる。つまり、特性曲線Ｓｙは、Ｙ座標の値がＹ１，Ｙ４の位置で＋側のピークが現れ、Ｙ座標の値がＹ２，Ｙ３の位置で−側のピークが現れる曲線となる。

【0045】

特性曲線Ｓｙについて、＋側に２つのピークが現れた場合には、ＣＰＵ２１は、例えば図１４に示されるように、＋側の２つのピークで規定される矩形の探索領域Ａ５を、瞼探索領域Ａ３に規定する。この探索領域Ａ５は、上端のＹ座標がＹ１で、下端のＹ座標がＹ４である。そして、中心が直線ＣＬ上に位置し、Ｘ軸方向の大きさが、Ｙ１とＹ２との差に等しい。

【0046】

ＣＰＵ２１は、探索領域Ａ５を規定すると、例えば図５Ｂに示される垂直エッジ検出オペレータを用いて、探索領域Ａ５に含まれる垂直エッジの検出を試みる。具体的には、図１４を参照するとわかるように、探索領域Ａ５の中心を通りＸ軸に平行な直線ＨＬに沿って垂直エッジ検出オペレータを移動させながら、エッジ値ＥＶを算出する。そして、ＣＰＵ２１は、算出したエッジ値ＨＶと、当該ＨＶが算出されたときの垂直エッジ検出オペレータのＸ座標ＰＸとで規定される点（ＰＸ，ＥＶ）を、横軸をＸ軸とし、縦軸をエッジ値を表す軸とする座標系にプロットする。これにより、図１５に示される特性曲線Ｓｘが生成される。

【0047】

ＣＰＵ２１は、特性曲線Ｓｘが生成されると、特性曲線Ｓｘのピークの検出を試みる。そして、特性曲線Ｓｘのピークを検出した場合には、特性曲線Ｓｙにつて、Ｙ座標が大きい方の位置に現れた＋側のピークを、上瞼のエッジに対応するピークとして、上瞼の基準位置を設定する。例えば、図１４に示されるように、特性曲線Ｓｙについて、Ｙ座標がＹ１、Ｙ４の位置に＋側のピークが現れている場合には、ＣＰＵ２１は、直線ＣＬ上に位置し、Ｙ座標の値がＹ１の点ＳＰ１を基準位置に設定する。

【0048】

次に、ＣＰＵ２１は、特性曲線Ｓｙについて、−側のピークのうちから、Ｙ座標が最も小さい位置に現れたピークを、下瞼のエッジに対応するピークとして、下瞼の基準位置を設定する。例えば、図１４に示されるように、特性曲線Ｓｙについて、Ｙ座標の値がＹ２，Ｙ３の位置に−側のピークが現れている場合には、ＣＰＵ２１は、直線ＣＬ上に位置し、Ｙ座標の値がＹ２である点ＳＰ２を基準位置に設定する。

【0049】

ＣＰＵ２１は、上述した処理と同様の処理を、瞼探索領域Ａ４についても実行する。

【0050】

また、図１６に示されるように、例えば上瞼の上にアイシャドウを示す低輝度画素群ＬＧ１が存在することによって、特性曲線Ｓｙについて、＋側に２つのピークが現れた場合にも、ＣＰＵ２１は同様に、探索領域Ａ５を、瞼探索領域Ａ３に規定する。そして、垂直エッジ検出オペレータを用いた演算を行い、次に、特性曲線Ｓｘを生成する。

【0051】

アイシャドウを示す低輝度画素群ＬＧ１が存在することによって、特性曲線Ｓｙに２つのピークが現れたときには、探索領域Ａ５に位置する画素は一様な輝度となる。このため、特性曲線Ｓｘにはピークが現れない。ＣＰＵ２１は、まず特性曲線Ｓｘのピークの検出を試みる。その結果、特性曲線Ｓｘのピークを検出することが出来なかった場合には、特性曲線Ｓｙにつて、Ｙ座標が小さい方の位置に現れた＋側のピークを、上瞼のエッジに対応するピークとして、上瞼の基準位置を設定する。例えば、図１６に示されるように、特性曲線Ｓｙについて、Ｙ座標がＹ１、Ｙ３の位置に＋側のピークが現れている場合には、ＣＰＵ２１は、直線ＣＬ上に位置し、Ｙ座標の値がＹ１の点ＳＰ１を、上瞼の基準位置に設定する。そして、下瞼のエッジに対応するピークに基づいて、直線ＣＬ上に位置し、Ｙ座標の値がＹ２である点ＳＰ２を、下瞼の基準位置に設定する。

【0052】

また、図１７に示されるように、例えば下瞼の下に眼鏡のフレームを示す低輝度画素群ＬＧ２が存在することによって、特性曲線Ｓｙについて、−側に２つのピークが現れた場合には、ＣＰＵ２１は、−側の２つのピークで規定される探索領域Ａ５を、瞼探索領域Ａ３に規定する。そして、垂直エッジ検出オペレータを用いた演算を行い、次に、特性曲線Ｓｘを生成する。

【0053】

眼鏡のフレームを示す低輝度画素群ＬＧ２が存在することによって、特性曲線Ｓｙに２つのピークが現れたときには、探索領域Ａ５に位置する画素は一様な輝度となる。このため、特性曲線Ｓｘにはピークが現れない。ＣＰＵ２１は、まず特性曲線Ｓｘのピークの検出を試みる。その結果、特性曲線Ｓｘのピークを検出することが出来なかった場合には、特性曲線Ｓｙにつて、Ｙ座標が大きい方の位置に現れた−側のピークを、下瞼のエッジに対応するピークとして、下瞼の基準位置を設定する。例えば、図１７に示されるように、特性曲線Ｓｙについて、Ｙ座標がＹ２、Ｙ３の位置に−側のピークが現れている場合には、ＣＰＵ２１は、直線ＣＬ上に位置し、Ｙ座標の値がＹ２の点ＳＰ２を、下瞼の基準位置に設定する。そして、上瞼のエッジに対応するピークに基づいて、直線ＣＬ上に位置し、Ｙ座標の値がＹ１である点ＳＰ１を、上瞼の基準位置に設定する。

【0054】

次のステップＳ２１０では、ＣＰＵ２１は、例えば図１１を参照するとわかるように、上瞼の基準位置としての点ＳＰ１と、下瞼の基準位置としての点ＳＰ２との距離を計測する。そして、この距離と所定の閾値との比較結果を開度として出力する。これにより、開度を指標として、ドライバ５０の覚醒度の判定を行うことが可能となる。

【0055】

ＣＰＵ２１は、ステップＳ２１０での処理を終了すると、ステップＳ２０１へ戻り、以降、ステップＳ２０１〜Ｓ２１０の処理を繰り返し実行する。

【0056】

以上説明したように、本第１の実施形態では、両端が目頭と目尻に一致する二次曲線ＣＶが順次規定され、当該二次曲線ＣＶと重なる画素のエッジ値の総和が評価値Ｖとして算出される。次に、直線ＣＬと二次曲線ＣＶの交点のＹ座標ＰＹと、当該二次曲線ＣＶに対応する評価値Ｖとからなるデータ（ＰＹ，Ｖ）に基づいて、特性曲線Ｓｙが生成される（ステップＳ２０８）。次に、特性曲線Ｓｙに現れるピークの位置に基づいて、眼５１，５２の上瞼及び下瞼の基準位置が設定される（ステップＳ２０９）。

【0057】

また、特性曲線Ｓｙが＋側に２つのピークを有する場合には、２つのピークによって規定される領域で、赤目現象に起因する画素群ＨＧの検出が行われる。具体的には、２つのピークによって規定される探索領域Ａ５が規定され、当該探索領域Ａ５に対して、画素群ＨＧに起因する垂直エッジの検出処理が行われる。そして、探索領域Ａ５から画素群ＨＧに起因する垂直エッジが検出された場合、すなわち特性曲線Ｓｘに現れたピークが検出された場合には、特性曲線Ｓｙの＋側のピークのうち、Ｙ座標の値が大きい方の位置に現れたピークに基づいて上瞼の基準位置が設定される（ステップＳ２０９）。

【0058】

したがって、撮影装置３０による撮影の際に、いわゆる赤目現象等が発生し、瞼のエッジの近傍に当該瞼のエッジ以外のエッジが発生したとしても、精度よく瞼の基準位置を設定することができる。

【0059】

本実施形態では、特性曲線Ｓｙが＋側に２つのピークを有する場合には、２つのピークによって規定される領域で、赤目現象に起因する画素群ＨＧの検出が行われる。具体的には、２つのピークによって規定される探索領域Ａ５が規定され、当該探索領域Ａ５に対して、画素群ＨＧに起因する垂直エッジの検出処理が行われる。そして、探索領域Ａ５から画素群ＨＧに起因する垂直エッジが検出されなかった場合、すなわち特性曲線Ｓｘからピークが検出されなかった場合には、特性曲線Ｓｙの＋側のピークのうち、Ｙ座標の値が小さい方の位置に現れたピークに基づいて上瞼の基準位置が設定される（ステップＳ２０９）。

【0060】

したがって、ドライバ５０がアイシャドウをつけていることによって、特性曲線Ｓｙに、瞼の基準位置を設定するためのピークが複数現れたとしても、精度よく瞼の基準位置を設定することができる。

【0061】

本実施形態では、特性曲線Ｓｙが−側に２つのピークを有する場合には、２つのピークによって規定される探索領域Ａ５が規定され、当該探索領域Ａ５に対して、画素群ＨＧに起因する垂直エッジの検出処理が行われる。そして、探索領域Ａ５から画素群ＨＧに起因する垂直エッジが検出されなかった場合、すなわち特性曲線Ｓｘからピークが検出されなかった場合には、特性曲線Ｓｙの−側のピークのうち、Ｙ座標の値が大きい方の位置に現れたピークに基づいて下瞼の基準位置が設定される（ステップＳ２０９）。

【0062】

したがって、ドライバ５０が眼鏡をかけていることに起因して、特性曲線Ｓｙに、瞼の基準位置を設定するためのピークが複数現れたとしても、精度よく瞼の基準位置を設定することができる。

【0063】

《第２の実施形態》
次に、本発明の第２の実施形態を、図面を参照しつつ説明する。なお、第１の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。

【0064】

本実施形態に係る瞼検出装置１０Ａは、演算装置２０が、ハードウエアで構成されている点で、第１の実施形態に係る瞼検出装置１０と相違している。図１８に示されるように、瞼検出装置１０Ａは、記憶部２０ａ、画素抽出部２０ｂ、上瞼位置検出部２０ｃ、瞼探索領域設定部２０ｄ、評価値算出部２０ｅ、特性曲線生成部２０ｆ、基準位置設定部２０ｇ、及び開度算出部２０ｈを有している。

【0065】

記憶部２０ａは、撮影装置３０から出力される画像に関する情報、及び上記各部２０ｂ〜２０ｈの処理結果などを含む情報を順次記憶する。

【0066】

画素抽出部２０ｂは、画像ＩＭに対してソーベルフィルタを用いた画像処理を実行し、画像ＩＭに含まれるエッジを抽出する。次に、抽出したエッジの中から、ドライバ５０の顔の輪郭Ｆを示すエッジを検出する。次に、ドライバ５０の顔の輪郭Ｆに囲まれた領域に含まれるエッジから、ドライバ５０の眉と口を表すエッジを検出して、ドライバ５０の眉と口との位置をおおよそ特定する。眉と口の位置が特定されると、画素抽出部２０ｂは、例えば図４に示されるように、Ｘ軸方向の大きさが顔の輪郭とほぼ一致し、ドライバ５０の眉及び口を含む最も小さな矩形の領域を、顔領域Ａ１として検出する。

【0067】

顔を構成する眉、目、鼻、及び口の位置は、多少の個人差はあるものの顔の輪郭や、眉や眼等のいずれかの部位等を基準に概ね特定することができる。したがって、上端に眉が位置し、下端に口が位置するように規定された顔領域Ａ１においては、眼が位置する領域をある程度正確に特定することができる。そこで、画素抽出部２０ｂは、顔領域Ａ１に含まれる眉毛の画像の下方に長手方向をＸ軸方向とする長方形の探索領域Ａ２を規定する。

【0068】

次に、画素抽出部２０ｂは、探索領域Ａ２に対してエッジの検出処理を実行する。エッジの検出に際しては、図５Ａに示される水平エッジ検出オペレータと、図５Ｂに示される垂直エッジ検出オペレータとを用いる。このエッジの検出処理によって、例えば図６に示されるように、眼５１，５２の上瞼及び下瞼のエッジを構成する画素Ｄが抽出される。以下、右眼５１の上瞼のエッジを画素群Ｇ１とし、下瞼のエッジを画素群Ｇ２とする。また、左眼５２の上瞼のエッジを画素群Ｇ３とし、下瞼のエッジを画素群Ｇ４とする。

【0069】

上瞼位置検出部２０ｃは、上瞼探索ウインドＷ１を用いた走査を行うことで、上瞼の位置を検出する。具体的には、上瞼位置検出部２０ｃは、上瞼探索ウインドＷ１を、探索領域Ａ２内で例えば１画素に相当する距離ずつ移動させる。同時に水平エッジウインドＰ１と重なる画素Ｄのエッジ値の総和と、垂直エッジウインドＰ２と重なる画素Ｄのエッジ値の総和から垂直エッジウインドＰ３と重なる画素のエッジ値の総和を減算した値との合計を評価値として順次算出する。そして、上瞼位置検出部２０ｃは、評価値が最大になったときの上瞼探索ウインドＷ１の位置を右眼５１の上瞼の位置として検出する。また、同様の手順で左眼５２の上瞼の位置を検出する。

【0070】

瞼探索領域設定部２０ｄは、瞼探索領域を設定する。下瞼は、上瞼の下方に位置している。そこで、瞼探索領域設定部２０ｄは、図９に示されるように、上瞼のエッジを構成する画素群Ｇ１を基準に、上瞼と下瞼とを含む瞼探索領域Ａ３を設定する。同様に、瞼探索領域設定部２０ｄは、画素群Ｇ３を基準に、瞼探索領域Ａ４を設定する。

【0071】

評価値算出部２０ｅは、目頭を探索するためのテンプレートＴＰ１を、例えば１画素に相当する距離ずつ移動させながら、テンプレートＴＰ１と、当該テンプレートＴＰ１と重なる部分画像との相関値を算出する。そして、相関値が最大となったときのテンプレートＴＰ１の位置を、眼５１，５２の目頭の位置と特定する。同様に、評価値算出部２０ｅは、目尻を探索するためのテンプレートＴＰ２を用いて、眼５１，５２の目尻の位置を特定する。

【0072】

次に、評価値算出部２０ｅは、図１０に示されるように、フィッティング曲線として、両端が点ＣＰ１，ＣＰ２に一致する二次曲線ＣＶを順次規定しつつ、当該二次曲線ＣＶと重なる画素のエッジ値の総和を評価値Ｖとして算出する。同時に、直線ＣＬと二次曲線ＣＶの交点の位置を算出する。そして、評価値算出部２０ｅは、評価値Ｖと交点の位置情報をデータ（ＰＹ，Ｖ）として、記憶部２０ａに記憶する。

【0073】

特性曲線生成部２０ｆは、図１０を参照するとわかるように、縦軸をＹ軸とし、横軸を評価値を表す軸とする座標系に、データ（ＰＹ，Ｖ）によって規定される点をプロットすることにより、特性曲線Ｓｙを生成する。

【0074】

基準位置設定部２０ｇは、上瞼と下瞼の基準位置を特性曲線Ｓｙに基づいて設定する。具体的には、図１１に示されるように、基準位置設定部２０ｇは、直線ＣＬ上に位置し、Ｙ座標の値がＹ１である点ＳＰ１を、上瞼の基準位置として設定する。また、直線ＣＬ上に位置し、Ｙ座標の値がＹ２である点ＳＰ２を、下瞼の基準位置として設定する。

【0075】

特性曲線Ｓｙは、上蓋の基準位置に対応するピークと、下瞼の基準位置に対応するピークをもつのが一般的である。しかしながら、例えば図１２の画像に示されるように、眼の画像の撮影時に赤目現象が発生した場合には、本来輝度が低い画素で構成される瞳が、輝度が高い画素群ＨＧ（図１３参照）で構成される。赤目現象が発生した場合に、図５Ａ及び図５Ｂに示されるオペレータを用いてエッジ値を算出すると、図１３に示されるように、画素群ＨＧの上側（＋Ｙ側）でのエッジ値が小さくなり、画素群ＨＧの下側（−Ｙ側）でのエッジ値が大きくなる。この場合、特性曲線Ｓｙは、Ｙ座標の値がＹ１，Ｙ４の位置で＋側のピークが現れ、Ｙ座標の値がＹ２，Ｙ３の位置で−側のピークが現れる曲線となる。

【0076】

このような場合には、基準位置設定部２０ｇは、例えば図１４に示されるように、＋側の２つのピークで規定される矩形の探索領域Ａ５を、瞼探索領域Ａ３に規定する。次に、基準位置設定部２０ｇは、例えば図５Ｂに示される垂直エッジ検出オペレータを用いて、探索領域Ａ５に含まれる垂直エッジの検出を試みる。具体的には、図１４を参照するとわかるように、探索領域Ａ５の中心を通りＸ軸に平行な直線ＨＬ沿って垂直エッジ検出オペレータを移動させながら、エッジ値ＥＶを算出する。そして、基準位置設定部２０ｇは、算出したエッジ値ＨＶと、当該ＨＶが算出されたときの垂直エッジ検出オペレータのＸ座標ＰＸとで規定される点（ＰＸ，ＥＶ）を、横軸をＸ軸とし、縦軸をエッジ値を表す軸とする座標系にプロットする。これにより、図１５に示される特性曲線Ｓｘが生成される。

【0077】

基準位置設定部２０ｇは、特性曲線Ｓｘが生成されると、特性曲線Ｓｘのピークの検出を試みる。そして、特性曲線Ｓｘのピークを検出した場合には、特性曲線Ｓｙにつて、Ｙ座標が大きい方の位置に現れた＋側のピークを、上瞼のエッジに対応するピークとして、上瞼の基準位置を設定する。例えば、図１４に示されるように、特性曲線Ｓｙについて、Ｙ座標がＹ１、Ｙ４の位置に＋側のピークが現れている場合には、基準位置設定部２０ｇは、直線ＣＬ上に位置し、Ｙ座標の値がＹ１の点ＳＰ１を基準位置に設定する。

【0078】

次に、基準位置設定部２０ｇは、特性曲線Ｓｙについて、−側のピークのうちから、Ｙ座標が最も小さい位置に現れたピークを、下瞼のエッジに対応するピークとして、下瞼の基準位置を設定する。例えば、図１４に示されるように、特性曲線Ｓｙについて、Ｙ座標の値がＹ２，Ｙ３の位置に−側のピークが現れている場合には、基準位置設定部２０ｇは、直線ＣＬ上に位置し、Ｙ座標の値がＹ２である点ＳＰ２を基準位置に設定する。

【0079】

基準位置設定部２０ｇは、上述した処理と同様の処理を、瞼探索領域Ａ４についても実行する。

【0080】

また、図１６に示されるように、例えば上瞼の上にアイシャドウを示す低輝度画素群ＬＧ１が存在することによって、特性曲線Ｓｙについて、＋側に２つのピークが現れた場合にも、基準位置設定部２０ｇは、探索領域Ａ５を、瞼探索領域Ａ３に規定する。そして、垂直エッジ検出オペレータを用いた演算を行い、次に、特性曲線Ｓｘを生成する。

【0081】

次に、基準位置設定部２０ｇは、特性曲線Ｓｘのピークの検出を試みる。その結果、特性曲線Ｓｘのピークを検出することが出来なかった場合には、特性曲線Ｓｙについて、Ｙ座標が小さい方の位置に現れた＋側のピークを、上瞼のエッジに対応するピークとして、上瞼の基準位置を設定する。例えば、図１６に示されるように、特性曲線Ｓｙについて、Ｙ座標がＹ１、Ｙ３の位置に＋側のピークが現れている場合には基準位置設定部２０ｇは、直線ＣＬ上に位置し、Ｙ座標の値がＹ１の点ＳＰ１を、上瞼の基準位置に設定する。そして、下瞼のエッジに対応するピークに基づいて、直線ＣＬ上に位置し、Ｙ座標の値がＹ２である点ＳＰ２を、下瞼の基準位置に設定する。

【0082】

また、図１７に示されるように、例えば下瞼の下に眼鏡のフレームを示す低輝度画素群ＬＧ２が存在することによって、特性曲線Ｓｙについて、−側に２つのピークが現れた場合には、基準位置設定部２０ｇは、−側の２つのピークで規定される探索領域Ａ５を、瞼探索領域Ａ３に規定する。そして、垂直エッジ検出オペレータを用いた演算を行い、次に、特性曲線Ｓｘを生成する。

【0083】

次に、基準位置設定部２０ｇは、まず特性曲線Ｓｘのピークの検出を試みる。その結果、特性曲線Ｓｘのピークを検出することが出来なかった場合には、特性曲線Ｓｙにつて、Ｙ座標が大きい方の位置に現れた−側のピークを、下瞼のエッジに対応するピークとして、下瞼の基準位置を設定する。例えば、図１７に示されるように、特性曲線Ｓｙについて、Ｙ座標がＹ２、Ｙ３の位置に−側のピークが現れている場合には、基準位置設定部２０ｇは、直線ＣＬ上に位置し、Ｙ座標の値がＹ２の点ＳＰ２を、下瞼の基準位置に設定する。そして、上瞼のエッジに対応するピークに基づいて、直線ＣＬ上に位置し、Ｙ座標の値がＹ１である点ＳＰ１を、上瞼の基準位置に設定する。

【0084】

開度算出部２０ｈは、例えば図１１を参照するとわかるように、上瞼の基準位置としての点ＳＰ１と、下瞼の基準位置としての点ＳＰ２との距離を計測する。そして、この距離と所定の閾値との比較結果を開度として出力する。これにより、開度を指標として、ドライバ５０の覚醒度の判定を行うことが可能となる。

【0085】

以上説明したように、本第２の実施形態では、両端が目頭と目尻を基準とする二次曲線ＣＶが順次規定され、当該二次曲線ＣＶと重なる画素のエッジ値の総和が評価値Ｖとして算出される。次に、直線ＣＬと二次曲線ＣＶの交点のＹ座標ＰＹと、当該二次曲線ＣＶに対応する評価値Ｖとからなるデータ（ＰＹ，Ｖ）に基づいて、特性曲線Ｓｙが生成される。そして、特性曲線に現れるピークの配置に基づいて、眼５１，５２の上瞼及び下瞼の基準位置が設定される。

【0086】

また、特性曲線Ｓｙが＋側に２つのピークを有する場合には、２つのピークによって規定される探索領域Ａ５で、赤目現象に起因する垂直エッジの検出が行われる。そして、探索領域Ａ５から垂直エッジが検出された場合には、特性曲線Ｓｙのピークのうち、Ｙ座標の値が大きい方の位置に現れたピークに基づいて上瞼の基準位置が設定される。

【0087】

したがって、撮影装置３０による撮影の際に、いわゆる赤目現象等が発生し、瞼のエッジの近傍に当該瞼のエッジ以外のエッジが発生したとしても、精度よく瞼の基準位置を設定することができる。

【0088】

本実施形態では、特性曲線Ｓｙが＋側に２つのピークを有する場合には、２つのピークによって規定される探索領域Ａ５で、赤目現象に起因する垂直エッジの検出が行われる。そして、探索領域Ａ５から画素群ＨＧに起因する垂直エッジが検出されなかった場合には、特性曲線Ｓｙのピークのうち、Ｙ座標の値が小さい方の位置に現れたピークに基づいて上瞼の基準位置が設定される。

【0089】

したがって、ドライバ５０がアイシャドウをつけていることに起因して、特性曲線Ｓｙに、瞼の基準位置を設定するためのピークが複数現れたとしても、精度よく瞼の基準位置を設定することができる。

【0090】

本実施形態では、特性曲線Ｓｙが−側に２つのピークを有する場合には、２つのピークによって規定される探索領域Ａ５で、垂直エッジの検出処理が行われる。そして、探索領域Ａ５から垂直エッジが検出されなかった場合には、特性曲線Ｓｙの−側のピークのうち、Ｙ座標の値が大きい方の位置に現れたピークに基づいて下瞼の基準位置が設定される。

【0091】

したがって、ドライバ５０が眼鏡をかけていることによって、特性曲線Ｓｙに、瞼の基準位置を設定するためのピークが複数現れたとしても、精度よく瞼の基準位置を設定することができる。

【0092】

以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。

【0093】

例えば、上記実施形態では、特性曲線Ｓｙが＋側に２つのピークを有する場合に、これら２つのピークによって規定される探索領域Ａ５に対して、垂直エッジの検出処理を実行することで、赤目現象に起因する画素群ＨＧの検出を試みた。これに限らず、探索領域Ａ５から、赤目現象に起因して輝度が大きくなった画素を抽出し、画素の抽出結果に基づいて、探索領域Ａ５に存在する画素群ＨＧの検出を試みてもよい。この場合、探索領域Ａ５から、輝度が閾値以上の画素を抽出し、抽出した画素によって規定される領域が、所定の基準値以上となった場合に、画素群ＨＧが存在すると判断することができる。

【0094】

上記実施形態では、例えば図１４に示されるように、特性曲線Ｓｙの＋側のピークに基づいて、探索領域Ａ５が規定される場合について説明した。これに限らず、特性曲線Ｓｙの−側のピークに基づいて、探索領域Ａ５を規定してもよい。この場合の探索領域Ａ５は、上端のＹ座標がＹ３で、下端のＹ座標がＹ２となる。このため、探索領域Ａ５から画素群ＨＧが検出された場合には、直線ＣＬ上に位置しＹ座標をＹ２とする点を下瞼の基準位置に設定する。そして、ＣＬ上に位置し、特性曲線Ｓｙのピークのうち最もＹ座標の値が大きいピークに対応する点を上瞼の基準位置に設定する。

【0095】

上記実施形態では、上瞼の基準位置に対応するピークと、下瞼の基準位置に対応するピークが現れる特性曲線Ｓｙを算出し、当該特性曲線Ｓｙに基づいて、各基準位置を設定した。これに限らず、上瞼の基準位置の設定と、下瞼の基準位置の設定をそれぞれ独立して実行してもよい。

【0096】

上記実施形態では、二次曲線ＣＶを順次規定し、当該二次曲線と重なる画素のエッジ値に基づいて、評価値を算出した。これに限らず、フィッティング曲線として、三次以上の曲線を規定し、当該フィッティング曲線と重なる画素のエッジ値に基づいて、評価値を算出することとしてもよい。また、瞼のエッジに相似する曲線を順次規定し、当該曲線と重なる画素のエッジ値に基づいて、評価値を算出してもよい。

【0097】

上記実施形態では、点ＣＰ１，ＣＰ２よって規定される線分の中点を通る直線ＣＬと二次曲線ＣＶの交点のＹ座標と、当該二次曲線ＣＶに対応する評価値Ｖとに基づいて、特性曲線を生成した。これに限らず、点ＣＰ１，ＣＰ２の間に位置する任意の直線と二次曲線ＣＶの交点のＹ座標と、当該二次曲線ＣＶに対応する評価値とに基づいて、特性曲線を生成することとしてもよい。

【0098】

上記実施形態では、エッジ値の総和を評価値とした。これに限らず、例えば、画素の位置とエッジ値の双方を考慮して評価値を算出してもよい。その他、評価値として、種々の指標を用いることができる。

【0099】

上記実施形態に係る演算装置２０の機能は、専用のハードウエアによっても、通常のコンピュータシステムによっても実現することができる。

【0100】

上記第１の実施形態において演算装置２０の補助記憶部２３に記憶されているプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。

【0101】

また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。

【0102】

また、プログラムは、通信ネットワークを介して転送しながら起動実行することとしてもよい。

【0103】

また、プログラムは、全部又は一部をサーバ装置上で実行させ、その処理に関する情報を通信ネットワークを介して送受信しながら、上述の画像処理を実行することとしてもよい。

【0104】

なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等しても良い。

【0105】

なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。

【産業上の利用可能性】

【0106】

本発明の瞼検出装置、瞼検出方法及びプログラムは、瞼の基準位置を検出するのに適している。

【符号の説明】

【0107】

１０，１０Ａ 瞼検出装置
２０ 演算装置
２０ａ 記憶部
２０ｂ 画素抽出部
２０ｃ 上瞼位置検出部
２０ｄ 瞼探索領域設定部
２０ｅ 評価値算出部
２０ｆ 特性曲線生成部
２０ｇ 基準位置設定部
２０ｈ 開度算出部
２１ ＣＰＵ
２２ 主記憶部
２３ 補助記憶部
２４ 表示部
２５ 入力部
２６ インターフェイス部
２７ システムバス
３０ 撮影装置
５０ ドライバ
５１ 右眼
５２ 左眼
Ａ１ 顔領域
Ａ２ 探索領域
Ａ３，Ａ４ 瞼探索領域
Ａ５ 探索領域
ＣＶ 二次曲線
ＣＰ１，ＣＰ２ 点
Ｄ 画素
Ｆ 輪郭
Ｇ１〜Ｇ４，ＨＧ 画素群
ＨＧ 画素群
ＬＧ１，ＬＧ２ 低輝度画素群
ＩＭ 画像
Ｐ１ 水平エッジウインド
Ｐ２，Ｐ３ 垂直エッジウインド
Ｓｘ，Ｓｙ 特性曲線
ＳＰ１，ＳＰ２ 点
ＴＰ１，ＴＰ２ テンプレート
Ｗ１ 上瞼探索ウインド
ＣＬ，ＨＬ 直線

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図12】