特許 6040274 瞳孔位置検出方法、瞳孔位置検出装置および記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6040274

(24)【登録日】2016年11月11日

(45)【発行日】2016年12月7日

(54)【発明の名称】瞳孔位置検出方法、瞳孔位置検出装置および記録媒体

(51)【国際特許分類】

   G06T 1/00 20060101AFI20161128BHJP

   A61B 3/113 20060101ALI20161128BHJP

【ＦＩ】

   G06T1/00 340A

   A61B3/10 B

【請求項の数】8

【外国語出願】

【全頁数】11

(21)【出願番号】特願2015-77802(P2015-77802)

(22)【出願日】2015年4月6日

(65)【公開番号】特開2016-42348(P2016-42348A)

(43)【公開日】2016年3月31日

【審査請求日】2015年4月6日

(31)【優先権主張番号】103127951

(32)【優先日】2014年8月14日

(33)【優先権主張国】TW

(73)【特許権者】

【識別番号】511248629

【氏名又は名称】由田新技股▲ふん▼有限公司

(74)【代理人】

【識別番号】100105050

【弁理士】

【氏名又は名称】鷲田 公一

(72)【発明者】

【氏名】鄒嘉駿

(72)【発明者】

【氏名】林伯聰

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 国際公開第２００８／００７７８１（ＷＯ，Ａ１）

【文献】 特開平０８−１４５６４４（ＪＰ，Ａ）

【文献】 松田圭司，永見武司，山根茂，視線位置計測システムの開発，電子情報通信学会技術研究報告ＴＬ２０００−２，日本，社団法人電子情報通信学会，２０００年 ５月，Ｖｏｌ．１００，Ｎｏ．４７，p9-p16

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ａ６１Ｂ ３／１１３

(57)【特許請求の範囲】

【請求項1】

瞳孔画像を取得するステップと、
前記瞳孔画像から瞳孔輪郭を取得するステップと、
前記瞳孔輪郭の曲率情報に基づいて楕円特徴を取得するステップと、
前記楕円特徴に基づいて視線方向を判断するステップと
を含み、
前記曲率情報が、１つまたはそれ以上の曲線セグメントの曲率を含み、前記瞳孔輪郭の前記曲率情報に基づいて前記楕円特徴を取得する前記ステップが、
前記瞳孔輪郭の起点から所定の方向に沿って前記瞳孔輪郭の複数の曲線の曲率を計算するステップと、
各前記曲線の前記曲率がエラー許容値範囲内で同じ曲率方程式に符合するかどうかを判断するステップと、
前記エラー許容値範囲内で前記同じ曲率方程式に符合する前記曲線を同じ曲線セグメントとして設定するステップと、
所定の曲面方向に符合しない前記１つまたはそれ以上の曲線セグメントをフィルタリングするステップと、
前記瞳孔輪郭に基づいて得られた前記１つまたはそれ以上の曲線セグメントに基づいて前記楕円特徴を取得するステップと、
を含む瞳孔位置検出方法。

【請求項2】

瞳孔変位を計算して、視点の変位を取得するステップをさらに含み、
前記楕円特徴に基づいて前記視線方向を判断する前記ステップが、
データベースから前記楕円特徴に対応する前記視線方向を照会するステップを含む請求項１に記載の瞳孔位置検出方法。

【請求項3】

原画像を受信するステップと、
前記原画像から顔画像を抽出するステップと、
前記顔画像の鼻孔領域を検出して、鼻孔位置情報を取得するステップと、
前記鼻孔位置情報の第１鼻孔中心点と第２鼻孔中心点の間の距離に基づいて、眼検索フレームの中心点および長さと幅を推定し、前記眼検索フレームから眼画像を取得するステップと、
前記眼画像から前記瞳孔画像を取得するステップと
をさらに含む請求項１または２に記載の瞳孔位置検出方法。

【請求項4】

原画像を取得する撮像ユニットと、
画像分析モジュールを含み、前記画像分析モジュールが、瞳孔検出モジュールと、曲率計算モジュールと、視線判断モジュールと、を含む記憶ユニットと、
前記撮像ユニットおよび前記記憶ユニットに結合され、前記瞳孔検出モジュールを起動して、前記瞳孔検出モジュールによって前記原画像から得られた眼画像から瞳孔画像を取得し、前記瞳孔画像から瞳孔輪郭を取得し、前記曲率計算モジュールによって前記瞳孔輪郭の曲率情報を計算し、前記瞳孔輪郭の曲率情報に基づいて楕円特徴を取得し、前記視線判断モジュールによって前記楕円特徴に基づいて視線方向を判断する処理ユニットと
を含み、
前記曲率計算モジュールが、前記瞳孔輪郭における１つまたはそれ以上の曲線セグメントの曲率を計算し、前記曲率情報が、前記１つまたはそれ以上の曲線セグメントを含み、
前記曲率計算モジュールが、前記瞳孔輪郭の起点から所定の方向に沿って前記瞳孔輪郭の前記曲率を計算し、エラー許容値範囲内で、各曲線の前記曲率が同じ曲率方程式に符合するかどうかを判断し、前記曲率計算モジュールが、前記エラー許容値範囲内で前記同じ曲率方程式に符合する複数の連続曲線を同じ曲線セグメントとして設定し、所定の曲面方向に符合しない前記１つまたはそれ以上の曲線セグメントをフィルタリングし、前記瞳孔輪郭に基づいて得られた前記１つまたはそれ以上の曲線セグメントに基づいて、前記楕円特徴を取得する、
瞳孔位置検出装置。

【請求項5】

前記記憶ユニットが、さらに、
複数の所定の楕円特徴およびそれらに対応する前記視線方向を記憶するデータベースを含み、
前記視線判断モジュールが、前記データベースを照会し、前記楕円特徴に符合する前記所定の楕円特徴のうちの１つに基づいて対応する前記視線方向を取得する請求項４に記載の瞳孔位置検出装置。

【請求項6】

前記視線判断モジュールが、さらに、瞳孔変位を計算して、視点の変位を取得する請求項４または５に記載の瞳孔位置検出装置。

【請求項7】

前記画像分析モジュールが、さらに、
前記原画像から顔画像を抽出する顔検出モジュールと、
前記顔画像の鼻孔領域を検出して、鼻孔位置情報を取得する鼻孔検出モジュールと、
前記鼻孔位置情報の第１鼻孔中心点と第２鼻孔中心点の間の距離に基づいて、眼検索フレームの中心点および長さと幅を推定し、前記眼検索フレームから前記眼画像を取得する眼検出モジュールと
を含む請求項４〜６のいずれか１項に記載の瞳孔位置検出装置。

【請求項8】

請求項１〜３のいずれか１項に記載の瞳孔位置検出方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視覚認識技術に関するものであり、特に、瞳孔位置検出方法、瞳孔位置検出装置および記録媒体に関するものである。

【背景技術】

【0002】

現在の視標追跡技術は、主に、侵襲性（invasive）視標追跡技術と非侵襲性（non-invasive）視標追跡技術に分けられる。侵襲性視標追跡技術は、眼球内に探りコイル（search coil）を設置する、あるいは、電気眼球図（electrooculogram）を使用する技術である。非侵襲性視標追跡技術は、頭部非装着型（head-free）視標追跡技術または頭部装着型（head-mount）視標追跡技術を含む。技術の発展とともに、視標追跡技術は、神経科学、心理学、生産管理工学、人間工学、マーケティング広告、コンピューターサイエンス等の様々な分野に広く応用されるようになった。

【0003】

視標追跡技術を利用して発声の不自由な人や身体的に困難な人のコミュニケーションを補助することにより、運動機能に制限のある人に対して多くの便利を与えることができる。例えば、視標追跡電子製品を利用して口の代わりに目を使うことによって、コミュニケーション、インターネットアクセス、ビデオ・オーディオエンターテイメント活動等を実施することができる。しかしながら、侵襲性および非侵襲性視標追跡技術は、高価なソフトウェアおよびハードウェア装置と合せて使用しなければならず、複雑な較正手順を必要とすることから、実行状態の安定性が悪く、製品コストが比較的高いため、視標追跡技術を普及させることができない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の視標追跡技術は、高価なソフトウェアおよびハードウェア装置と合せて使用しなければならず、複雑な較正手順を必要とすることから、実行状態の安定性が悪く、製品コストが比較的高いため、視標追跡技術を普及させることができない。

【課題を解決するための手段】

【0005】

本発明は、瞳孔の位置を正確に検出して正確な視標追跡を達成することのできる瞳孔位置検出方法、瞳孔位置検出装置および記録媒体を提供する。

【0006】

本発明は、以下のステップを含む瞳孔位置検出方法を提供する。瞳孔画像を取得する。瞳孔画像から瞳孔輪郭を取得する。瞳孔輪郭の曲率情報に基づいて楕円特徴を取得する。楕円特徴に基づいて視線方向を判断する。さらに、曲率情報が、１つまたはそれ以上の曲線セグメントの曲率を含み、瞳孔輪郭の曲率情報に基づいて楕円特徴を取得するステップが、瞳孔輪郭の起点から所定の方向に沿って瞳孔輪郭の複数の曲線の曲率を計算し、各曲線の曲率がエラー許容値範囲内で同じ曲率方程式に符合するかどうかを判断し、エラー許容値範囲内で同じ曲率方程式に符合する曲線を同じ曲線セグメントとして設定し、所定の曲面方向に符合しない１つまたはそれ以上の曲線セグメントをフィルタリングし、瞳孔輪郭に基づいて得られた１つまたはそれ以上の曲線セグメントに基づいて楕円特徴を取得する。

【0008】

本発明の１つの実施形態において、瞳孔輪郭の曲率情報に基づいて楕円特徴を取得するステップは、さらに、所定の曲面方向に符合しない１つまたはそれ以上の曲線セグメントをフィルタリングするステップを含む。

【0009】

本発明の１つの実施形態において、楕円特徴に基づいて視線方向を判断するステップは、データベースから楕円特徴に対応する視線方向を照会するステップを含む。

【0010】

本発明の１つの実施形態において、瞳孔位置検出方法は、さらに、瞳孔変位を計算して、視点の変位を取得するステップを含む。

【0011】

本発明の１つの実施形態において、瞳孔位置検出方法は、さらに、以下のステップを含む。原画像を受信する。原画像から顔画像を抽出する。顔画像の鼻孔領域を検出して、鼻孔位置情報を取得する。鼻孔位置情報に基づいて眼画像を取得し、眼画像から瞳孔画像を取得する。

【0012】

本発明の１つの実施形態において、鼻孔位置情報に基づいて眼画像を取得するステップは、以下のステップを含む。鼻孔位置情報の第１鼻孔中心点と第２鼻孔中心点の間の距離に基づいて、眼検索フレームの中心点および長さと幅を推定し、眼検索フレームから眼画像を取得する。

【0013】

本発明は、撮像ユニットと、記憶ユニットと、処理ユニットとを含む瞳孔位置検出装置を提供する。撮像ユニットは、原画像を取得するよう構成される。記憶ユニットは、画像分析モジュールを含み、画像分析モジュールが、瞳孔検出モジュールと、曲率計算モジュールと、視線判断モジュールと、を含む。処理ユニットは、撮像ユニットおよび記憶ユニットに結合される。処理ユニットは、瞳孔検出モジュールを起動して、瞳孔検出モジュールによって原画像から得られた眼画像から瞳孔画像を取得し、瞳孔画像から瞳孔輪郭を取得し、曲率計算モジュールによって瞳孔輪郭の曲率情報を計算し、瞳孔輪郭の曲率情報に基づいて楕円特徴を取得し、視線判断モジュールによって楕円特徴に基づいて視線方向を判断する。さらに、曲率計算モジュールが、瞳孔輪郭における１つまたはそれ以上の曲線セグメントの曲率を計算し、曲率情報が、１つまたはそれ以上の曲線セグメントを含む。また、曲率計算モジュールが、瞳孔輪郭の起点から所定の方向に沿って瞳孔輪郭の曲率を計算し、エラー許容値範囲内で、各曲線の曲率が同じ曲率方程式に符合するかどうかを判断し、曲率計算モジュールが、エラー許容値範囲内で同じ曲率方程式に符合する複数の連続曲線を同じ曲線セグメントとして設定し、所定の曲面方向に符合しない１つまたはそれ以上の曲線セグメントをフィルタリングし、瞳孔輪郭に基づいて得られた１つまたはそれ以上の曲線セグメントに基づいて、楕円特徴を取得する。

【0014】

本発明は、瞳孔位置検出方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。

【発明の効果】

【0015】

以上のように、瞳孔の視線方向および瞳孔変位を迅速かつ正確に検出することにより、正確な視標追跡を行い、様々な応用を達成することができる。

【0016】

本発明の上記および他の目的、特徴、および利点をより分かり易くするため、図面と併せた幾つかの実施形態を以下に説明する。

【図面の簡単な説明】

【0017】

【図1】本発明の１つの実施形態に係る瞳孔位置検出装置のブロック図である。

【図2】本発明の１つの実施形態に係る画像分析モジュールのブロック図である。

【図3】本発明の１つの実施形態に係る瞳孔位置検出方法を示すフローチャートである。

【図4】本発明の１つの実施形態に係る眼検索フレームを推定する概略図である。

【図5】（ａ）は、本発明の１つの実施形態に係る瞳孔画像の概略図である。（ｂ）は、本発明の１つの実施形態に係る瞳孔輪郭の概略図である。

【図6】本発明の１つの実施形態に係る楕円形状と視線方向の間の対応関係の概略図である。

【発明を実施するための形態】

【0018】

一般的な視標追跡技術は、光源を用いて使用者の目を照射することにより、目の表面に光点を形成し、瞳孔と光点の間の相対位置に基づいて使用者の視線方向を判断する。しかしながら、従来の方法は、画面位置を変換する際のエラーを回避するために、使用前に較正手順を行わなければならない。したがって、本発明は、瞳孔の曲率を特徴として使用し、眼球運動制御を行う瞳孔位置検出方法、装置およびコンピュータプログラム製品を提供する。

【0019】

図１は、本発明の１つの実施形態に係る瞳孔位置検出装置のブロック図である。瞳孔位置検出装置１００は、使用者の瞳孔位置を画面上のカーソル位置に変換するために使用される。瞳孔位置検出装置１００は、内蔵画面を有しても、画面に接続されてもよい。瞳孔位置検出装置１００は、例えば、デスクトップコンピュータ、ノートブック、タブレットＰＣ、スマートフォン等の演算能力を有する電子装置または電子製品である。

【0020】

図１を参照すると、瞳孔位置検出装置１００は、主に、処理ユニット１１０と、撮像ユニット１２０と、記憶ユニット１３０とを含む。処理ユニット１１０は、例えば、中央処理装置（central processing unit, CPU）、またはプログラム可能な一般用途または特殊用途のマイクロプロセッサ（microprocessor）、デジタル信号プロセッサ（digital signal processor, DSP）、プログラマブルコントローラ（programmable controller）、特定用途向け集積回路（application specific integrated circuit, ASIC）、プログラム可能論理デバイス（programmable logic device, PLD）、あるいは他の類似装置またはこれらの装置の組み合わせである。

【0021】

撮像ユニット１２０は、例えば、ＣＣＤ（charge coupled device）レンズ、ＣＭＯＳ（complementary metal oxide semiconductor transistor）レンズまたは赤外線レンズを有するビデオカメラまたはカメラである。撮像ユニット１２０は、画像系列（複数の原画像を含む）を取り込むために使用される。

【0022】

記憶ユニット１３０は、例えば、任意の種類のＲＡＭ（removable random access memory）、ＲＯＭ（read-only memory）、フラッシュメモリ、ハードディスク、あるいはその他の類似装置またはこれらの装置の組み合わせである。

【0023】

本実施形態では、プログラム命令を使用して瞳孔位置検出を行う。つまり、記憶ユニット１３０が複数のプログラム命令を記憶し、これらのプログラム命令をロードした後、処理ユニット１１０がプログラム命令を実行する。例えば、記憶ユニット１３０は、１つまたは複数のプログラム命令で構成された画像分析モジュール１４０を含み、画像分析モジュール１４０を使用して複数の機能を実行する。また、記憶ユニット１３０は、さらに、データベース１５０を含む。データベース１５０は、複数の所定の楕円特徴および対応する視線方向を記憶する。

【0024】

三次元（３Ｄ）眼球が二次元（２Ｄ）画像に変換された時、２Ｄ画像の瞳孔は、いくつかの曲率変形が生じるため、曲率情報を分析することによって、視線方向を判断することができる。詳しく説明すると、処理ユニット１１０は、画像分析モジュール１４０を起動して、原画像から瞳孔画像を取得し、瞳孔画像から瞳孔輪郭を取得し、瞳孔輪郭の曲線情報に基づいて楕円特徴を取得し、楕円特徴に基づいて視線方向を判断する。例えば、画像分析モジュール１４０は、データベース１５０を照会して、楕円特徴に符合する所定の楕円特徴に基づいて、対応する視線方向を取得する。楕円特徴は、例えば、楕円方程式である。

【0025】

以下、画像分析モジュール１４０について説明する。図２は、本発明の１つの実施形態に係る画像分析モジュールのブロック図である。画像分析モジュール１４０は、顔検出モジュール２０１と、鼻孔検出モジュール２０３と、眼検出モジュール２０５と、瞳孔検出モジュール２０７と、曲率計算モジュール２０９と、視線判断モジュール２１１とを含む。顔検出モジュール２０１は、原画像から顔画像を抽出するよう構成される。鼻孔検出モジュール２０３は、顔画像の鼻孔領域を検出して、鼻孔位置情報を取得するよう構成される。眼検出モジュール２０５は、鼻孔位置情報に基づいて眼画像を取得するよう構成される。瞳孔検出モジュール２０７は、眼画像から瞳孔画像を検出し、瞳孔画像から瞳孔輪郭を取得するよう構成される。曲率計算モジュール２０９は、瞳孔輪郭の曲率情報を計算し、楕円特徴を取得するよう構成される。視線判断モジュール２１１は、楕円特徴に基づいて視線方向を判断するよう構成される。

【0026】

上述した瞳孔位置検出装置１００を参照しながら、瞳孔位置検出方法について説明する。図３は、本発明の１つの実施形態に係る瞳孔位置検出方法を示すフローチャートである。まず、ステップＳ３０５において、画像分析モジュール１４０が瞳孔画像を取得する。例えば、撮像ユニット１２０が原画像を受信した後、処理ユニット１１０は、画像分析モジュール１４０を起動して、まず、原画像から顔画像を取得し、顔画像の鼻孔領域を検出して鼻孔位置情報を取得し、鼻孔位置情報に基づいて眼画像を取得する。その後、処理ユニット１１０は、瞳孔検出アルゴリズムに基づいて、眼画像から瞳孔画像を取得する。

【0027】

図２の画像分析モジュール１４０を例に挙げると、顔検出モジュール２０１は、顔認識アルゴリズムに基づいて、撮像ユニット１２０で取り込んだ原画像が顔を有するかどうかを検出し、原画像から顔画像を取得する。例えば、記憶ユニット１３０は、特徴データベースを記憶する。特徴データベースは、複数の顔特徴パターンを含む。顔検出モジュール２０１は、特徴データベースの顔特徴パターンを比較して、顔オブジェクトを取得する。１つの実施形態において、Haar-likeに基づくアダブースト（AdaBoost）アルゴリズムまたは他の既存の顔認識アルゴリズムを使用して、原画像中の顔画像を取得してもよい。

【0028】

そして、鼻孔検出モジュール２０３は、顔検出モジュール２０１から顔画像を受信し、顔画像の鼻孔領域を検出して、鼻孔位置情報を取得する。人間の顔の鼻孔には黒色があるため、容易に正しく認識することができる。鼻孔位置情報は、例えば、２つの鼻孔の第１鼻孔中心点および第２鼻孔中心点である。

【0029】

一般的な顔特徴比率は、統計上の近似値範囲を有するため、統計上の顔特徴比率関係に基づいて鼻孔位置情報を取得した後、眼検出モジュール２０５は、鼻孔位置情報に基づいて眼域位置を取得することができる。例えば、眼検出モジュール２０５は、鼻孔位置情報における第１鼻孔中心点と第２鼻孔中心点の間の接続線の中心点に基づいて、眼検索フレームの中心点および長さと幅を推定し、眼検索フレームから眼画像を取得する。

【0030】

例えば、図４は、本発明の１つの実施形態に係る眼検索フレームを推定する概略図である。第１鼻孔中心点Ｎ１および第２鼻孔中心点Ｎ２を見つけた後、第１鼻孔中心点Ｎ１と第２鼻孔中心点Ｎ２の間の距離Ｄを計算する。そして、距離Ｄに基づいて、検索フレームの中心点および長さと幅を推定する。詳しく説明すると、座標（Ｎ１＿ｘ，Ｎ１＿ｙ）を有する第１鼻孔中心点Ｎ１を起点とすると、第１推定値ｋ１でＸ座標を、第２推定値ｋ２でＹ座標を追加することにより、中心点Ｃ１を取得する。つまり、中心点Ｃ１のＸ座標は、Ｃ＿ｘ＝Ｎ１＿ｘ＋ｋ１であり、Ｙ座標は、Ｃ＿ｙ＝Ｎ１＿ｙ＋ｋ２である。第１および第２推定値ｋ１およびｋ２は、ｋ１＝Ｄ×ｅ１、ｋ２＝Ｄ×ｅ２（１．３＜ｅ１＜２．０および１．５＜ｅ２＜２．２）に設定することができるが、実際の要求に応じて調整可能であるため、本発明はこれに限定されない。中心点Ｃ１を取得した後、予め定義した幅ｗおよび高さｈ（幅ｗは高さｈよりも大きい）に基づいて、眼検索フレーム４１０を取得する。例えば、幅ｗは、２×２２ピクセルであり、高さｈは、２×４２ピクセルである。

【0031】

さらに、上記の方法に類似して、座標（Ｎ２＿ｘ，Ｎ２＿ｙ）を有する第２鼻孔中心点Ｎ２を起点とすると、Ｘ座標から第１推定値ｋ１を差し引き、第２推定値ｋ２によりＹ座標を追加することにより、別の中心点Ｃ２を取得する。中心点Ｃ２を取得した後、予め定義した幅ｗおよび高さｈに基づいて、別の眼検索フレーム４２０を取得する。さらに、別の実施形態において、起点は、第１鼻孔中心点Ｎ１と第２鼻孔中心点Ｎ２の間の中心点であってもよく、本発明はこれに限定されない。眼検索フレーム４１０および４２０を取得した後、処理ユニット１１０は、さらに、眼検索フレーム４１０および４２０から、さらに正確な眼画像４１１および４２１を取得する。

【0032】

その後、眼検出モジュール２０５は、眼画像４１１および４２１のコントラストを調整して強調画像を取得し、強調画像に対してノイズ除去処理を行ってノイズ除去画像を取得し、ノイズ除去画像に対してエッジシャープニング（edge sharpening）処理を行ってシャープ化画像を取得し、シャープ化画像に対して二値化処理（binarization processing）を行って二値画像を取得する。その後、眼検出モジュール２０５は、二値画像に対して再度エッジシャープニング処理を行い、眼オブジェクトを取得する。そして、瞳孔検出モジュール２０７は、眼オブジェクトに対してそれぞれ瞳孔検出アルゴリズムを実行し、瞳孔画像を取得する。

【0033】

しかしながら、上述した瞳孔画像の取得に関する実施形態は単なる例であるため、本発明はこれに限定されない。例えば、画像分析モジュール１４０が眼特徴を利用して直接眼画像を取得し、鼻孔位置情報を取得するステップを省略してもよい。

【0034】

図３を再び参照すると、ステップＳ３１０において、画像分析モジュール１４０は、瞳孔画像から瞳孔輪郭を取得する。例えば、図５（ａ）は、本発明の１つの実施形態に係る瞳孔画像の概略図であり、図５（ｂ）は、本発明の１つの実施形態に係る瞳孔輪郭の概略図である。図５（ａ）および図５（ｂ）を参照すると、瞳孔検出モジュール２０７は、瞳孔画像５００が眼オブジェクトＥおよび瞳孔オブジェクトＰを含むかどうかを検出する。そして、瞳孔検出モジュール２０７は、瞳孔オブジェクトＰに対してエッジ検出アルゴリズムを実行し、図５（ｂ）に示した瞳孔輪郭５１０を取得する。

【0035】

瞳孔輪郭５１０を取得した後、ステップＳ３１５において、画像分析モジュール１４０は、瞳孔輪郭５１０の曲率情報に基づいて楕円特徴を取得する。詳しく説明すると、曲率計算モジュール２０９は、瞳孔輪郭５１０に含まれる１つまたは複数の曲線セグメントの曲率を計算する。曲率情報は、曲線セグメントの曲率を含む。本実施形態において、図５（ｂ）に示した瞳孔輪郭５１０は、複数の曲線セグメントを含む。さらに、別の実施形態において、瞳孔輪郭５１０が円形を有する場合、瞳孔輪郭５１０は、１つの曲線セグメントしか含まない。

【0036】

曲率計算モジュール２０９は、瞳孔輪郭５１０の起点ａ１から所定の方向（本実施形態では時計回り方向）に沿って瞳孔輪郭５１０の複数の曲線の曲率を計算する。エラー許容値範囲内で、最小二乗誤差（least square error, LSE）アルゴリズム、修正緩勾配方程式（modified mild-slope equation, MMSE）アルゴリズム、ニューラルネットワークアルゴリズム、遺伝的アルゴリズム等を用いて、曲線の曲率が曲率方程式に符合するかどうかを判断する。さらに、エラー許容値範囲内で同じ曲率方程式に符合する曲線を同じ曲線セグメントとして設定する。図５（ｂ）を例に挙げると、瞳孔輪郭５１０は、曲線セグメントａｒｃ１〜ａｒｃ６および曲線セグメントＥｒ１〜Ｅｒ２を含んでもよい。また、曲率計算モジュール２０９は、さらに、所定の曲面方向（凹、凸）に符合しない曲線セグメントＥｒ１〜Ｅｒ２をフィルタリングする。その後、曲率計算モジュール２０９は、瞳孔輪郭５１０から取得した曲線セグメントａｒｃ１〜ａｒｃ６に基づいて、楕円特徴（例えば、楕円方程式）を取得する。楕円特徴に基づいて、対応する楕円形状を取得することができる。

【0037】

そして、ステップＳ３２０において、画像分析モジュール１４０は、楕円特徴に基づいて視線方向を判断する。例えば、視線判断モジュール２１１は、取得した楕円特徴に基づいてデータベース１５０を照会し、楕円特徴に符合する所定の楕円方程式に基づいて、対応する視線方向を取得する。例えば、図６は、本発明の１つの実施形態に係る楕円形状と視線方向の間の対応関係の概略図である。図６では、４つの所定の楕円方程式に対応する楕円形状のみを図示し、それぞれの楕円形状は、対応する視線方向を有する。図６に示すように、楕円形状ａは、左上右下の視線方向ｅに対応し、楕円形状ｂは、右上左下の視線方向ｆに対応し、楕円形状ｃは、水平の視線方向ｇに対応し、楕円形状ｄは、垂直の視線方向ｈに対応する。しかしながら、本発明はこれに限定されない。楕円特徴に符合する所定の楕円方程式に基づいて対応する楕円形状を取得することにより、対応する視線方向を取得する。

【0038】

視線方向を取得した後、視線判断モジュール２１１は、さらに、瞳孔変位を計算し、視線方向および瞳孔変位に基づいて視点の変位方向および変位を取得し、画面上のカーソルを移動する。例えば、前後２つの瞳孔画像中の中心点の変位を計算する。

【0039】

ここで、処理ユニット１１０は、まず、座標システム変換方法に基づいて初期瞳孔位置を画面カーソル座標に変換する。例えば、透視変換（perspective transformation）法を用いて座標変換マトリックスを生成し、座標変換マトリックスは、眼画像の瞳孔位置を画面カーソル位置に変換するよう構成される。そして、後続の受信した原画像に基づいて得られた視線方向および瞳孔変位に基づいて、画面上のカーソルを移動させる。

【0040】

本発明は、さらに、瞳孔位置検出装置に適用されるコンピュータプログラム製品を提供する。コンピュータプログラム製品は、基本的に、複数のプログラム命令（例えば、組織図確立プログラム命令、テーブル承認プログラム命令、設定プログラム命令および配備プログラム命令）からなり、これらのプログラム命令を瞳孔位置検出装置にロードして、瞳孔位置検出装置で実行することにより、上述した瞳孔位置検出方法の各ステップおよび瞳孔位置検出装置の各機能を達成する。

【0041】

以上のように、瞳孔輪郭に含まれる曲線セグメントおよび曲率を分析することによって、瞳孔輪郭に対応する楕円形状を取得する。このように、瞳孔の視線方向および瞳孔変位を迅速かつ正確に判断することによって、瞳孔位置を正確に検出して正確な視標追跡を行い、様々な応用を達成することができる。

【産業上の利用可能性】

【0042】

本発明は、視標追跡技術を普及させることのできる瞳孔位置検出方法、瞳孔位置検出装置および記録媒体を提供する。

【0043】

以上のごとく、この発明を実施形態により開示したが、もとより、この発明を限定するためのものではなく、当業者であれば容易に理解できるように、この発明の技術思想の範囲内において、適当な変更ならびに修正が当然なされうるものであるから、その特許権保護の範囲は、特許請求の範囲および、それと均等な領域を基準として定めなければならない。

【符号の説明】

【0044】

１００ 瞳孔位置検出装置
１１０ 処理ユニット
１２０ 撮像ユニット
１３０ 記憶ユニット
１４０ 画像分析モジュール
１５０ データベース
２０１ 顔検出モジュール
２０３ 鼻孔検出モジュール
２０５ 眼検出モジュール
２０７ 瞳孔検出モジュール
２０９ 曲率計算モジュール
２１１ 視線判断モジュール
４１０、４２０ 眼検索フレーム
４１１、４２１ 眼画像
５００ 瞳孔画像
ａ１ 起点
ａｒｃ１〜ａｒｃ６、Ｅｒ１〜Ｅｒ２ 曲線セグメント
Ｃ１、Ｃ２ 中心点
Ｄ 距離
Ｅ 眼オブジェクト
ｈ 高さ
ｋ１ 第１推定値
ｋ２ 第２推定値
Ｎ１ 第１鼻孔中心点
Ｎ２ 第２鼻孔中心点
Ｐ 瞳孔オブジェクト
ｗ 幅
Ｓ３０５〜Ｓ３２５ ステップ
ａ〜ｄ 楕円形状
ｅ〜ｈ 視線方向

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】