特許第5694471号(P5694471)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ユーテックゾーン カンパニー リミテッドの特許一覧

特許5694471眼探索方法及び該方法を使用した眼状態検出装置と眼探索装置
<>
  • 特許5694471-眼探索方法及び該方法を使用した眼状態検出装置と眼探索装置 図000002
  • 特許5694471-眼探索方法及び該方法を使用した眼状態検出装置と眼探索装置 図000003
  • 特許5694471-眼探索方法及び該方法を使用した眼状態検出装置と眼探索装置 図000004
  • 特許5694471-眼探索方法及び該方法を使用した眼状態検出装置と眼探索装置 図000005
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5694471
(24)【登録日】2015年2月13日
(45)【発行日】2015年4月1日
(54)【発明の名称】眼探索方法及び該方法を使用した眼状態検出装置と眼探索装置
(51)【国際特許分類】
   G06T 1/00 20060101AFI20150312BHJP
【FI】
   G06T1/00 340A
【請求項の数】7
【全頁数】10
(21)【出願番号】特願2013-186069(P2013-186069)
(22)【出願日】2013年9月9日
(65)【公開番号】特開2014-59869(P2014-59869A)
(43)【公開日】2014年4月3日
【審査請求日】2013年9月12日
(31)【優先権主張番号】101133736
(32)【優先日】2012年9月14日
(33)【優先権主張国】TW
(73)【特許権者】
【識別番号】512272270
【氏名又は名称】ユーテックゾーン カンパニー リミテッド
(74)【代理人】
【識別番号】100087398
【弁理士】
【氏名又は名称】水野 勝文
(74)【代理人】
【識別番号】100067541
【弁理士】
【氏名又は名称】岸田 正行
(74)【代理人】
【識別番号】100103506
【弁理士】
【氏名又は名称】高野 弘晋
(74)【代理人】
【識別番号】100105072
【弁理士】
【氏名又は名称】小川 英宣
(72)【発明者】
【氏名】チア‐チュン,ツォウ
(72)【発明者】
【氏名】チ‐ヘン,ファン
(72)【発明者】
【氏名】ポ‐ツン,リン
【審査官】 松浦 功
(56)【参考文献】
【文献】 特開平08−300978(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00
(57)【特許請求の範囲】
【請求項1】
プログラムを保存するストレージユニットと、利用者の顔のオリジナル画像を捕捉するための撮影ユニットと、前記撮影ユニット及び前記ストレージユニットに電気的に接続される処理ユニットと、を含み、
前記処理ユニットは、前記プログラムをロードして実行して、
前記オリジナル画像を受信するステップと、
前記オリジナル画像から顔画像を取り出すステップと、
前記顔画像内の2つの鼻孔の各々の中点である両鼻孔中点を定義するステップと、
前記両鼻孔中点間の間隔Dを計算し、前記両鼻孔中点間にある鼻央点を表す起算点座標A(x1、y1)を決定するステップと、
前記間隔D、及び、前記起算点座標A(x1、y1)に基づいて、基準点座標B(x2、y2)を決定するステップと、
前記基準点座標B(x2、y2)に従って顔画像の矩形枠を定義するステップと、
前記矩形枠で囲む範囲内から前記利用者の眼を含む眼部画像を取り出すステップと、
を遂行するように設定され、
x2=x1+k1×D, y2=y1+k2×D, k1=1.6〜1.8, k2
=1.6〜1.8であり、
前記基準点座標B(x2、y2)は、前記矩形枠の中心点であること
を特徴とする眼状態検出装置。
【請求項2】
k1=k2とすることを特徴とする請求項1に記載の眼状態検出装置。
【請求項3】
さらに、前記処理ユニットは、前記眼部画像に基づいて眼状態判断ステップを遂行して、前記眼部画像内で眼の上瞼の外観を取得し、前記上瞼外観の湾曲度を決定し、該決定結果に基づいて、開眼状態または閉眼状態を示す眼状態のデータを生成すること特徴とする請求項1に記載の眼状態検出装置。
【請求項4】
コンピュータにより実行されるステップが、
a)顔画像内から2つの鼻孔のそれぞれの中点(両鼻孔中点)を定義すること、
b)前記両鼻孔中点間の間隔D、及び、前記両鼻孔中点間にある鼻央点を算出すること、及び、
c)前記間隔D、及び、前記鼻央点に基いて前記顔画像内の眼を取得すること、
を含み、
前記ステップcは、
前記鼻央点との水平距離、及び、垂直距離がそれぞれk1×D、k2×Dで、且つ、k1=1.6〜1.8、k2=1.6〜1.8となる基準点を決定すること、及び、
前記基準点を中心とし、矩形枠の水平方向の幅が前記矩形枠の垂直方向の幅を上回り、且つ、前記顔画像内の眼を囲む矩形枠を定義すること、
を含むことを特徴とする眼探索方法。
【請求項5】
k1=k2とすることを特徴とする請求項4に記載の眼探索方法。
【請求項6】
処理ユニットとプログラムとを備える眼探索装置であって、
前記処理ユニットは、前記プログラムを実行して、
a)顔画像から2つの鼻孔のそれぞれの中点(両鼻孔中点)を定義し、
b)前記両鼻孔中点間の間隔D、及び、前記両鼻孔中点間にある鼻央点を算出し、及び、
c)前記間隔D、及び、前記鼻央点に基いて前記顔画像内の眼を取得する、
ように設定され
さらに、前記処理ユニットは、
前記鼻央点との水平距離、及び、垂直距離がそれぞれk1×D、k2×Dとなる基準点を決定し、
前記基準点を中心とし、k1=1.6〜1.8、k2=1.6〜1.8とし、矩形枠の水平方向の幅が前記矩形枠の垂直方向の幅を上回り、且つ、前記顔画像内の眼を囲む矩形枠を定義する
ように設定されたことを特徴とする眼探索装置。
【請求項7】
k1=k2とすることを特徴とする請求項に記載の眼探索装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理技術に関し、特に、顔画像から迅速、且つ正確に眼を見つけ出し、その後の応用に供する技術に関する。
【背景技術】
【0002】
例えば運転手の眼状態を検出することで運転手の居眠りの有無を判断し、筋萎縮性側索硬化症患者の眼状態を検出することでその患者が現在出したコマンドを判断するような眼の状態を認識する必要がある若干の応用は、すでに多項目の眼の技術として世間に発表されている。画像処理方法を介して眼状態を認識する技術は、下記の特許文献1、特許文献2、特許文献3、特許文献4、特許文献5、特許文献6及び特許文献7等の中でも言及されている。これらの技術は、主に利用者の顔画像を生成するため、まず撮影装置で該利用者の顔を撮影してから眼の認識装置でこれら顔画像を処理し、当該処理結果によって該利用者の眼状態を判断する。該眼部認識装置は、各顔画像を処理する際に、まず顔領域を見つけ出し、更に見付けた顔領域に基いて眼領域を見つけ出し、次に見付けた該眼領域において眼の所定の部位(例えば上瞼、下瞼、瞳)を見つけ出してから該所定部位の変化状況によって該利用者の眼状態、例えば開眼状態或いは閉眼状態を判断する。これら技術において特に関心が寄せられる課題の一つは、如何にして装置で素早く確実に顔画像内から眼領域を見付け出せるかということである。
【0003】
特許文献7に開示されている従来の眼部検出装置は、顔画像内から鼻孔の位置を見付け、また鼻孔位置に基づいて眼探索領域を設定してから該眼探索領域内に上下瞼を見付け出す。かかる眼部検出装置は、顔画像内で直接眼を見付ける手法に比べると、速く確実に眼を見付け出すことができるが、これは、顔画像内の鼻孔が黒色を呈するため正確に認識されやすいからである。
【0004】
しかしながら、該従来の眼部検出装置で設定した眼探索領域は、水平方向の幅が狭く、垂直方向の方が大きな矩形領域であり、そのカバー範囲が非常に大きい(眉毛及び頬骨をカバーする)ため、該従来の眼部検出装置では、該眼探索領域内から上下瞼を見付け出すのに多くの時間を費やしていた。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】台湾特許第436436号明細書
【特許文献2】台湾特許第I349214号明細書
【特許文献3】台湾特許第M416161号明細書
【特許文献4】台湾特許第201140511号明細書
【特許文献5】米国特許第US8,094,883号明細書
【特許文献6】米国特許第US8,184,008号明細書
【特許文献7】中国特許第CN101196993号明細書
【発明の概要】
【発明が解決しようとする課題】
【0006】
そこで、本発明は、該従来の眼部検出装置で設定した眼探索領域が大きすぎて、該眼探索領域内から例えば上下瞼或いは瞳のように眼のある部位を見付けることに多くの時間が費やされていたことに鑑みて、かかる問題を解決できる方法及び装置を提供するものである。
【課題を解決するための手段】
【0007】
更に詳細には、本発明は、ストレージユニットと、撮影ユニットと、処理ユニットと、を含む眼状態検出装置を提供する。かかる装置では、撮影ユニットは、利用者の顔のオリジナル画像を捕捉する。ストレージユニットは、プログラムと利用者の顔のオリジナル画像を格納する。処理ユニットは、撮影ユニット及びストレージユニットと電気的に接続され、眼検出を遂行するためにプログラムをロードして実行する。処理ユニットがプログラムをロードして実行するときに、該プログラムは処理ユニットに、オリジナル画像を受信するステップと、該オリジナル画像から顔画像を取り出すステップと、該顔画像内の2つの鼻孔の各々の中点(両鼻孔中点)を定義するステップと、該両鼻孔中点間の間隔Dを計算し、起算点座標A(x1、y1)を決定するステップと、該間隔D及び該起算点座標A(x1、y1)に基いて基準点座標B(x2、y2)を算出するステップと、該基準点座標B(x2、y2)に基いて該顔画像内で矩形枠を定義するステップと、該矩形枠で囲まれた範囲から利用者の目の眼部画像を取り出すステップと、を実行させる。該起算点座標A(x1、y1)が表わす点は、該両鼻孔中点間にある鼻央点で、且つ座標は次式に示される関係となる。
(数1)
x2=x1+k1×D
(数2)
y2=y1+k2×D
上記各数式において、k1=1.6〜1.8、k2=1.6〜1.8であり、好ましくは、k1=k2とする。該基準点座標B(x2、y2)が表わす点は、矩形枠の中心点となり、前記矩形枠の水平方向の幅が前記矩形枠の垂直方向の幅を上回り、並びに該矩形枠が該顔画像内の眼を囲むことで該眼部画像内に該利用者の眼を含ませる。
【0008】
好ましくは、該プログラムは、処理ユニットが眼部画像を取り出した後に、続いて眼状態判断ステップを処理ユニットにさらに遂行させる。この眼状態判断ステップは、処理ユニットが、該眼部画像内で眼の上瞼の外観を取得し、該上瞼外観の湾曲度を検出すると共に検出結果に基づいて開眼或いは閉眼を示す眼状態のデータを生成する処理を含む。
【0009】
本発明は、処理ユニットとプログラムとを含み、処理ユニットがプログラムを実行して眼探索を遂行するように設定された眼探索装置を更に提供する。特に、該処理ユニットが該プログラムを実行するとき、該プログラムは、処理ユニットに一連のステップと上記眼探索方法と該処理ユニットが該顔画像から眼を見付けた後に続いて眼状態判断ステップと、を実行させる。該眼状態判断ステップは、眼の画像から上瞼の外観を取り出し、また該上瞼外観の湾曲度を検出すると共に検出結果に基づいて開眼或いは閉眼を示す眼状態のデータを生成する処理を含む。これらステップには、a)顔画像内から2つの鼻孔の各々の中点(両鼻孔中点)を定義することと、b)該両鼻孔中点間の間隔D及び該両鼻孔中点間にある鼻央点を算出することと、c)該間隔D及び該鼻央点に基いて該顔画像内の眼を取り出すことと、を含む。好ましくは、前記ステップcは、座標(k1×D、k2×D)を有する基準点を決定し、かかる基準点を中心とし、該基準点を取り囲む矩形枠を定義することと、を含み、ここで、k1=1.6〜1.8、k2=1.6〜1.8であり、矩形枠は、その水平方向の幅が該矩形枠の垂直方向の幅を上回り、顔画像内の眼を囲む。好ましくは、k1=k2とする。
【発明の効果】
【0010】
本発明に係る方法または装置を通じて得られた眼部画像或いは矩形枠は、その領域内に眼を含むことに加えて、従来技術で用いられる眼探索領域よりも小さくなるため、容易かつ迅速に、眼のある部位を取得することができる。
【0011】
本発明その他発明内容と更なる詳細な技術及び機能の説明に関し、後記の説明で開示する。
【図面の簡単な説明】
【0012】
図1】本発明の好ましい実施形態による眼状態検出装置を示すシステムブロック図である。
図2】該好ましい実施形態の処理ユニットの実行フローチャートである。
図3】該好ましい実施形態の撮影ユニットで撮影した画像を示す図である。
図4】該画像から取り出した眼部画像を示す図である。
【発明を実施するための形態】
【0013】
図1は、本発明の好ましい実施形態による眼状態検出装置のブロック構成図であり、この眼状態検出装置は、ストレージユニット1と、撮影ユニット2と、処理ユニット3と、該処理ユニット3に電気的に接続する出力ユニット4及び複数のボタンを備えた入力ユニット5と、を含む。ストレージユニット1は、一個又は複数のアクセスできる不揮発性メモリからなり、プログラムと、撮影ユニット2によって捕捉された利用者の顔のオリジナル画像と、を格納する。かかるプログラムは、一組の眼探索プログラムコード10を含み、好ましくは、一組の眼状態判断プログラムコード11を更に含む。撮影ユニット2は、利用者の顔を捕捉(撮影)することで数枚の連続したオリジナル画像を生成すると共に、該生成された画像を一時的に保存するために、該画像をストレージユニット1に送る。
【0014】
撮像ユニット2は、好ましくは方向及び角度を回転的に調整できるカメラ(図示せず)を有し、該カメラが利用者の顔を見上げるような状態として調整され、例えば該カメラを仰角45度で利用者の顔に向ける。こうすることで、撮像ユニット2で撮影した各画像内の鼻孔を明確に表示でき、これは各顔画像の鼻孔認識度が大幅にアップして後述する鼻孔探索プロセスの実行をサポートできることを意味する。通常、撮像ユニット2は、撮影したこれら顔画像の鮮明度を確保するため、更に照度不足時に適時補光するための照明素子を有する。
【0015】
処理ユニット3は、撮像ユニット2とストレージユニット1とに電気的に接続され、且つ少なくとも1台の中央処理装置(CPU、図示せず)と1台のランダムアクセスメモリ(RAM、図示せず)とを含む。図2図3に示すように、処理ユニット3が眼探索プログラムコード10をロードすると共に実行したとき、眼探索プログラムコード10が処理ユニット3に以下のステップa乃至ステップdを実行させる。
【0016】
a)処理ユニット3は、オリジナル画像6を受信する。該オリジナル画像6は、撮影ユニット2で撮影した利用者の顔から生成し、その内容が該利用者の顔を含むだけではなく、除去待ち部分を含む。該除去待ち部分は、該利用者の頭髮と首と該利用者の背景とを含む。
【0017】
b)処理ユニット3は、該オリジナル画像6から顔画像61を取り出す。これは、Adaboostのアルゴリズム及び若干の既存の画像処理技術を介して該顔画像を取り出すことで目的を達成できる。好ましくは、取り出した顔画像61の中ですでに大部分或いは完全に上記除去待ち部分が除去されることである。
【0018】
c)処理ユニット3は、該顔画像61内の2つの鼻孔のそれぞれの鼻孔中点(両鼻孔中点)62を定義する。顔画像内で該両鼻孔を定義する手法は、従来の技術ですでに言及されているため、ここでは詳細な説明を省略する。該顔画像61内の各鼻孔が占拠した領域(つまり鼻孔領域)は、他の領域に比べて明らかに黒いため、各鼻孔領域の一番長い横軸及び一番長い縦軸の交差点を各鼻孔中点として大まかに取ることができる。
【0019】
d)処理ユニット3は、両鼻孔中点(62、62)間の間隔Dを算出すると共に、起算点座標A(x1、y1)を決定する。該起算点座標A(x1、y1)が表わす点は、該両鼻孔中点間にある鼻央点に位置する。
【0020】
e)処理ユニット3は、算出された間隔D及び決定された起算点座標A(x1、y1)に基いて、基準点座標B(x2、y2)を計算する。かかる座標は、次式に示される関係となる。
(数1)
x2=x1+k1×D
(数2)
y2=y1+k2×D
上記各数式において、k1=1.6〜1.8、k2=1.6〜1.8であり、好ましくは、k1=k2とする。実際の検証結果によれば、前述の処理を通じて算出した基準点座標B(x2、y2)が表わす点は、顔画像61内の片眼中心点にちょうど入る又は非常に接近する。必要があれば、このステップにおいて間隔D及び起算点座標A(x1、y1)に基づいて別の基準点座標C(x3、y3)を算出できる。かかる座標は、次式に示される関係となる。
(数3)
x3=x1−k1×D
(数4)
y3=y1+k2×D
かかる基準点座標C(x3、y3)が表わす点は、該顔画像61内の片眼中心点にちょうど入る又は非常に接近する。
【0021】
f)処理ユニット3は、算出された基準点座標B(x2、y2)に基づいて、顔画像61内で矩形枠R1を定義する。かかる基準点座標B(x2、y2)が表わす点は、該矩形枠R1の中心点で、矩形枠R1の水平方向の幅w1=30〜50pixelで矩形枠R1の垂直方向の幅w2=15〜29pixelで、且つw1>w2となる。好ましくは、w1=40pixel、w2=25pixelとなる。必要がある場合、このステップにおいて該基準点座標C(x3、y3)に基づいて該顔画像61内でサイズが該矩形枠R1と同じ別の矩形枠R2を更に定義できる。該基準点座標C(x3、y3)が表わす点は、該矩形枠R2の中心点となる。
【0022】
g)処理ユニット3は、該矩形枠R1で囲む範囲内から眼部画像63を取り出す(図4参照)。必要がある場合、このステップにおいて矩形枠R2で囲む範囲内から別の眼部画像を更に取り出すことができる。
【0023】
実際の検証結果によれば、ステップfによって定義された矩形枠R1は、該顔画像61内の片眼の周りをちょうど囲み、該眼の直上にある眉毛は該矩形枠内に入ってこない(或いは眉毛の極く僅かな部分のみが該矩形枠内に入る)。該眼の直下にある頬骨も該矩形枠内に入ってこない(若しくは頬骨の極く僅かな部分のみが該矩形枠内に入る)。他方の矩形枠R2も同様である。これは、ステップgにおいて得られたいずれかの眼部画像の内容は眼を含み、且つ該眼部画像は、従来技術として言及された眼探索領域よりも小さい。
【0024】
処理ユニット3は、上記ステップに基いて該オリジナル画像6から眼部画像63或いは両眼部画像63を取得した後、眼状態判断プログラムコード11をロードすると共に実行し続ける。かかる眼状態判断プログラムコード11は、該処理ユニット3に眼状態判断ステップを実施させ、該眼部画像63又は該両眼部画像63の中で例えば上下瞼の外観若しくは瞳の外観のような眼のある部位を探索し、また、当該部位に対する検出結果によって例えば「0」を開眼状態、「1」が閉眼状態を示す眼状態のデータを生成するために用いられる。本実施形態では、主に上瞼の湾曲度の検出を利用して該眼状態のデータを生成し、その原理が開眼状態の下で、眼の上瞼が水平方向に沿って延伸する弧線を呈し、閉眼状態の下で眼の上瞼が水平方向に沿って延伸する直線を大まかに呈する。処理ユニット3は、画像処理技術を通じて眼部画像63を処理した後、眼部画像63の中の上瞼に沿って描いた上瞼図を得ることができる。眼部画像63の中の眼が開眼状態の場合、該上瞼の輪郭が放物線グラフのようになる。このような場合、処理ユニット3は、放物線の式を用いて該放物線グラフの焦点距離を算出できる。他方、眼部画像63の中の眼が閉眼状態の場合、該上瞼の輪郭は、直線グラフのようになる。この場合、処理ユニット3が放物線の式で算出した焦点距離は、無限大である。簡潔に言うと、処理ユニット3は、眼部画像63の処理から焦点距離を得ることができ、異なる焦点距離が得られる場合は湾曲度の違う上瞼を表わし、湾曲度の異なる上瞼が眼状態を表わす。処理ユニット3は、チェックにより処理された数枚の連続画像から対応して得られた焦点距離が或る数値から徐々に無限大に逓増していることを検知した場合、これら画像内に写り込んだ人の眼が閉じられていると判定し、これによって閉眼を表わす眼状態のデータ「1」を生成する。他方、処理ユニット3は、チェックによリ処理された数枚の連続画像から対応して得られた焦点距離が無限大から徐々に特定の数値に低減することを検知した場合、これら画像内に写り込んだ人の眼が開いていると判定し、これによって開眼を表わす眼状態のデータ「0」を生成する。
【0025】
処理ユニット3は、上述のステップを実行する過程において、必要なデータ或いは生成したデータ(例えば、顔画像、目画像)をストレージユニット1の中に保存し、実際の実行のニーズやユーザの操作等により、これらデータを一時的に保存する又は永久的に保存することを決定する。
【0026】
上述の説明から分かるように、本実施形態の眼状態検出装置は、撮影ユニット2を通じて利用者の顔を撮影でき、また、処理ユニット3を通じて、撮影ユニット2で撮影した各画像を処理すると共に各画像の処理結果に基づいて対応した眼状態のデータを生成して諸運用に供することができる。例えば、処理ユニット3は、予め定められた枚数の画像の連続画像を処理した場合において、得られた眼状態のデータが閉眼状態を表わす「1」の場合、或いは「1」の出現頻度が閾値を超えた場合に、当該利用者が睡眠状態に入っていると判定し、このとき出力ユニット4に注意喚起メッセージを生成させる。例えば、出力ユニット4がスピーカを備える場合、注意喚起メッセージは、当該スピーカから発せられる警告音とすることができる。出力ユニット4は、かかる注意喚起メッセージ又はその他の関連情報(例えば、設定操作用に供するマンマシンインターフェース)を各種画像や文字等で表示するためのディスプレイ(例えばタッチスクリーン)を更に備えることができる。
【0027】
上記ステップa〜ステップfの説明から、処理ユニット3は、実際上、眼探索方法を実施することが分かる。この眼探索方法は、
顔画像上の2つの鼻孔のそれぞれの中点(両鼻孔中点)を定義することと、
該両鼻孔中点間の間隔D及び該両鼻孔中点間にある鼻央点を算出することと、
座標(k1×D、k2×D)を有し、且つk1=1.6〜1.8、k2=1.6〜1.8となり、好ましくはk1=k2となる基準点を決定することと、
該決定された基準点を中心とした矩形枠であって、該矩形枠の水平方向の幅w1=30〜50pixelで、該矩形枠の垂直方向の幅w2=15〜29pixelで、且つw1>w2となり、好ましくはw1=40pixel、w2=25pixelとなる矩形枠を決定すること、を含む。
【0028】
従来の技術と比較して、本実施形態を通じて得られた上記眼部画像或いは上記矩形枠では、その領域内に眼を含むことに加えて、従来技術で用いられる眼探索領域よりも小さくなることから、処理ユニット3の探索範囲が相対的に小さくなり、容易に且つ迅速に眼のある部位を見付けることが可能になる。
【符号の説明】
【0029】
1 ストレージユニット
2 撮影ユニット
10 眼探索プログラムコード
11 眼状態判断プログラムコード
3 処理ユニット
4 出力ユニット
5 入力ユニット
6 オリジナル画像
60 基準点
61 顔画像
62 鼻孔中点
63 眼部画像
図1
図2
図3
図4