特許 5885835 ユーザの眼球の動きによって操作可能なコンピュータ装置、およびそのコンピュータ装置を操作する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5885835

(24)【登録日】2016年2月19日

(45)【発行日】2016年3月16日

(54)【発明の名称】ユーザの眼球の動きによって操作可能なコンピュータ装置、およびそのコンピュータ装置を操作する方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20160303BHJP

【ＦＩ】

   G06F3/01 510

【請求項の数】13

【全頁数】13

(21)【出願番号】特願2014-516161(P2014-516161)

(86)(22)【出願日】2011年6月24日

(65)【公表番号】特表2014-517429(P2014-517429A)

(43)【公表日】2014年7月17日

(86)【国際出願番号】CN2011076288

(87)【国際公開番号】WO2012174743

(87)【国際公開日】20121227

【審査請求日】2014年6月18日

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100134094

【弁理士】

【氏名又は名称】倉持 誠

(74)【代理人】

【識別番号】100121175

【弁理士】

【氏名又は名称】石井 たかし

(74)【代理人】

【識別番号】100123629

【弁理士】

【氏名又は名称】吹田 礼子

(74)【代理人】

【識別番号】100191824

【弁理士】

【氏名又は名称】西谷 明子

(72)【発明者】

【氏名】ソン，ウエンジユアン

(72)【発明者】

【氏名】ソン，ジアンピン

(72)【発明者】

【氏名】ドウ，リン

【審査官】 菊池 智紀

(56)【参考文献】

【文献】 特開２０００−０２０５３４（ＪＰ，Ａ）

【文献】 特開２００７−３１０８１５（ＪＰ，Ａ）

【文献】 特開２００９−０７５９３７（ＪＰ，Ａ）

【文献】 特開２０１２−０６３８９９（ＪＰ，Ａ）

【文献】 特開平０６−３１８２３５（ＪＰ，Ａ）

【文献】 特開２０００−０１０７２２（ＪＰ，Ａ）

【文献】 特開２０１０−１０２５８１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／００− ３／０４８９

(57)【特許請求の範囲】

【請求項1】

ユーザの眼球の動きによって操作可能なコンピュータ装置であって、
前記ユーザの眼球の動きを検出する手段と、
前記検出したユーザの眼球の動きにおける眼球動きパターンと前記眼球動きパターンを完了するのに要する期間とを特定するために、前記ユーザの眼球の動きを解析する手段と、
前記眼球動きパターンと前記期間との組合せに関連付けられたコマンドを特定する手段と、
前記コマンドに従って前記装置を動作させる手段と、
を含む前記装置。

【請求項2】

前記装置は、眼球動きパターンと前記眼球動きパターンの期間との様々な組合せと、それぞれの前記組合せに関連付けられた様々なコマンドとを記憶する手段をさらに含んでいる、請求項１に記載の装置。

【請求項3】

前記検出手段は、前記ユーザの凝視位置を収集するように構成されており、
前記解析手段は、
前記収集されたユーザの凝視位置が前記記憶手段に記憶された前記様々な組合せ中の何れかの眼球動きパターンと一致するかどうかを判定し、
前記眼球動きパターンを完了するのに要する期間を特定するように構成されている、請求項２に記載の装置。

【請求項4】

前記装置はディスプレイをさらに含んでおり、前記解析手段は、前記検出された眼球動きパターンの前記ディスプレイ上の位置を識別するように構成されており、それぞれの前記組合せが、眼球動きパターンの前記ディスプレイ上の位置をさらに含んでおり、
前記検出手段は、前記ユーザの凝視位置を収集するように構成されており、
前記解析手段は、
前記収集されたユーザの凝視位置が前記記憶手段に記憶された前記様々な組合せ中の何れかの眼球動きパターンと一致するかどうかを判定し、
前記眼球動きパターンを完了するのに要する期間を特定するように構成されており、
前記特定する手段は、前記眼球動きパターンと、前記期間と、前記眼球動きパターンの前記ディスプレイ上の前記位置との組合せに関連付けられたコマンドを特定する、請求項２に記載の装置。

【請求項5】

ユーザの眼球の動きによって操作可能なコンピュータ装置であって、
前記ユーザの眼球の動きを検出する検出器と、
前記検出したユーザの眼球の動きにおける眼球動きパターンと前記眼球動きパターンを完了するのに要する期間とを特定するために、前記ユーザの眼球の動きを解析し、
前記眼球動きパターンと前記期間との組合せに関連付けられたコマンドを特定し、
前記コマンドに従って前記装置を動作させるように構成されたプロセッサと、
を含む前記装置。

【請求項6】

前記装置は、眼球動きパターンと前記眼球動きパターンの期間との様々な組合せと、それぞれの前記組合せに関連付けられた様々なコマンドとを記憶する記憶装置をさらに含んでいる、請求項５に記載の装置。

【請求項7】

前記検出器は、前記ユーザの凝視位置を収集するように構成されており、
前記プロセッサは、
前記収集されたユーザの凝視位置が前記記憶装置に記憶された前記様々な組合せ中の何れかの眼球動きパターンと一致するかどうかを判定し、
前記眼球動きパターンを完了するのに要する期間を特定するようにさらに構成されている、請求項６に記載の装置。

【請求項8】

前記装置はディスプレイをさらに含んでおり、前記プロセッサは、前記検出された眼球動きパターンの前記ディスプレイ上の位置を識別するように構成されており、それぞれの前記組合せが、眼球動きパターンの前記ディスプレイ上の位置をさらに含んでおり、
前記検出器は、前記ユーザの凝視位置を収集するように構成されており、
前記プロセッサは、
前記収集されたユーザの凝視位置が前記記憶装置に記憶された前記様々な組合せ中の何れかの眼球動きパターンと一致するかどうかを判定し、
前記眼球動きパターンを完了するのに要する期間を決定し、
前記眼球動きパターンと、前記期間と、前記眼球動きパターンの前記ディスプレイ上の前記位置との組合せに関連付けられたコマンドを特定するようにさらに構成されている、請求項６に記載の装置。

【請求項9】

ユーザの眼球の動きによってコンピュータ装置を操作する方法であって、
前記ユーザの眼球の動きを検出するステップと、
前記検出したユーザの眼球の動きにおける眼球動きパターンと前記眼球動きパターンを完了するのに要する期間とを特定するために、前記ユーザの眼球の動きを解析するステップと、
前記眼球動きパターンと前記期間との組合せに関連付けられたコマンドを特定するステップと、
前記コマンドに従って前記装置を動作させるステップと、
を含む前記方法。

【請求項10】

前記装置は記憶装置を含んでおり、眼球動きパターンと前記眼球動きパターンの期間との様々な組合せと、それぞれの前記組合せに関連付けられた様々なコマンドとが、前記記憶装置に記憶される、請求項９に記載の方法。

【請求項11】

前記検出ステップは、前記ユーザの凝視位置を収集するステップを含んでおり、
前記解析ステップは、
前記収集されたユーザの凝視位置が前記記憶装置に記憶された前記様々な組合せ中の何れかの眼球動きパターンと一致するかどうかを判定するステップと、
前記眼球動きパターンを完了するのに要する期間を特定するステップとを含んでいる、請求項１０に記載の方法。

【請求項12】

前記装置はディスプレイを含んでおり、前記解析ステップは前記検出された眼球動きパターンの前記ディスプレイ上の位置をさらに識別し、それぞれの前記組合せが、眼球動きパターンの前記ディスプレイ上の位置をさらに含んでおり、
前記検出ステップは、前記ユーザの凝視位置を収集するステップを含んでおり、
前記解析ステップは、
前記収集されたユーザの凝視位置が前記記憶装置に記憶された前記様々な組合せ中の何れかの眼球動きパターンと一致するかどうかを判定するステップと、
前記眼球動きパターンを完了するのに要する期間を特定するステップとを含み、
前記特定ステップは、前記眼球動きパターンと、前記期間と、前記眼球動きパターンの前記ディスプレイ上の前記位置との組合せに関連付けられたコマンドを特定するステップを含む、請求項１０に記載の方法。

【請求項13】

ユーザの眼球の動きによって操作可能なコンピュータ装置によって実行可能なプログラムを記憶した、コンピュータによって読取り可能な記憶媒体であって、前記装置は、
前記ユーザの眼球の動きを検出する検出器と、
プロセッサと、を含んでおり、
前記プログラムは、
前記検出器によって前記ユーザの眼球の動きを検出することと、
前記検出したユーザの眼球の動きにおける眼球動きパターンと前記眼球動きパターンを完了するのに要する期間とを特定するために、前記ユーザの眼球の動きを解析することと、
前記眼球動きパターンと前記期間との組合せに関連付けられたコマンドを特定することと、
前記コマンドに従って前記装置を動作させることと、
を前記プロセッサに実行させる、前記記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの眼球の動きによって操作可能なコンピュータ装置、およびユーザの眼球の動きによってコンピュータ装置を操作する方法に関する。

【背景技術】

【0002】

電子書籍（ｅ−Ｂｏｏｋ、ｅＢｏｏｋまたはディジタル書籍とも呼ぶ）は、コンピュータまたは他のディジタル装置上で生成され、公表され、読むことができる、ディジタル形式のテキストおよび画像に基づく出版物として知られている。ｅＢｏｏｋは、通常、ｅＲｅａｄｅｒまたはｅＢｏｏｋ装置として知られている専用のハードウェア装置上で読まれる。ｅＢｏｏｋを読むために、スマートフォンなどのコンピュータ装置を使用することもできる。

【0003】

さらに多くの人々がｅＢｏｏｋを読むためにコンピュータ装置を使用するようになると、コンピュータ装置を操作するためのより便利な操作が期待される。

【0004】

アイ・トラッキング（視線追跡）は、盛んに研究が行われている分野の１つである。アイ・トラッキングは、視線の先の点（凝視点）と、ユーザの頭部に対する眼球の相対的な動きとを測定するプロセスである。眼球の動きを測定する方法は、いくつかある。最も一般的なものは、ビデオ画像を使用して、そこから眼球の位置を抽出するものである。視線の検出は、多くのヒューマン／コンピュータ・インタラクションの用途に使用されている。視線を推定する手法には、ユーザにとって煩わしい手法と、煩わしさを伴わない手法との両方がある。ユーザにとって煩わしい手法では、ユーザは、ヘッドギア・カメラを装着して、カメラの画面が見える状態で両眼の位置を固定する、またはカメラで赤外線光を使用して両眼を検出する必要がある。煩わしさを伴わない手法では、ユーザは、ユーザの目を撮像する簡単なカメラが必要になるだけであり、その他にはいかなる機器を装着する必要もない。現在では、スマートフォンや携帯型電子ゲーム機などのコンピュータ装置のほとんどが、ユーザを撮像するためのカメラを備えており、ｅＲｅａｄｅｒとして使用することができる。

【0005】

動きパターン解析（ＭＰＡ）は、非言語的挙動の規律解析に基づいて、意思決定プロセスにおける個人の核心的動機を評価する包括的な体系である。

【0006】

ユーザの眼球の動きのパターンを認識するアイ・トラッキング装置が、米国特許出願公開第２００８／０１４３６７４（Ａ１）号に示されている。

【0007】

本発明の目的は、コンピュータ装置を操作するためにユーザの眼球の動きを利用する、より便利な操作を提供することである。

【0008】

本発明の一態様によれば、ユーザの眼球の動きによって操作可能なコンピュータ装置が提供される。このコンピュータ装置は、ユーザの眼球の動きを検出する手段と、検出したユーザの眼球の動きにおける眼球動きパターンと眼球動きパターンを完了するのに要する期間とを特定するために、ユーザの眼球の動きを解析する手段と、眼球動きパターンと期間との組合せに関連付けられたコマンドを特定する手段と、コマンドに従って装置を動作させる手段とを含む。

【0009】

本発明の他の態様によれば、ユーザの眼球の動きによってコンピュータ装置を操作する方法が提供される。この方法は、ユーザの眼球の動きを検出するステップと、検出したユーザの眼球の動きにおける眼球動きパターンと眼球動きパターンを完了するのに要する期間とを特定するために、ユーザの眼球の動きを解析するステップと、眼球動きパターンと期間との組合せに関連付けられたコマンドを特定するステップと、コマンドに従って装置を動作させるステップとを含む。

【0010】

本発明の上記その他の態様、特徴および利点は、添付の図面と関連付けて以下の説明を読むことにより明らかになるであろう。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態によるコンピュータ装置の例示的なブロック図である。

【図2A】本発明の一実施形態によるコンピュータ装置を使用する基本的環境を示す図である。

【図2B】光学的な線が追加されたこと以外は図２Ａに示すものと同じである基本的環境を示す図である。

【図3】図（ａ）〜（ｃ）は、コンピュータ装置のディスプレイ上に提示されたページの１行のテキストを左から右に読み取る、基本的な読取りプロセスを示す図である。

【図4】図（ａ）〜（ｃ）は、コンピュータ装置のディスプレイ上に提示されたページを上から下に読み取る、基本的な読取りプロセスを示す図である。

【図5】図４（ａ）〜（ｃ）に示すコンピュータ装置のディスプレイ上に提示されたページを読み取る読取りプロセスの結果として検出される眼球動きパターンを示す図である。

【図6】図５に示す眼球動きパターンに従って、どのようにしてコンピュータ装置のディスプレイ上に示されるページが次のページにスクロールされるかを示す図である。

【図7】図（ａ）〜（ｆ）は、本発明によるコンピュータ装置を操作する様々な種類のコマンドを生成する、眼球動きパターンと眼球動きパターンを完了するのに要する期間との様々な種類の組合せを示す図である。

【図8】図（ａ）〜（ｃ）は、ディスプレイ上の異なる位置でトラッキングされた眼球動きパターンを示す図である。

【図9】本発明の一実施形態による、ユーザの眼球の動きによってコンピュータ装置を操作する方法を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下の説明では、本発明の実施形態の様々な態様について述べる。説明を目的として、完全に理解できるようにするために、具体的な構成および詳細を記載する。ただし、当業者には、本明細書に示す具体的な詳細がなくても本発明を実施することができることは明らかであろう。

【0013】

図１は、本発明の一実施形態によるコンピュータ装置１１０の例示的なブロック図を示す。コンピュータ装置１１０は、タブレット、スマートフォン、ｅＢｏｏｋリーダーなどであってもよい。コンピュータ装置１１０は、ＣＰＵ（中央処理装置）１１１、眼球動き検出器１１２、記憶装置１１３、ディスプレイ１１４、およびユーザ入力モジュール１１５を含む。図１に示すように、ＲＡＭ（ランダム・アクセス・メモリ）などのメモリ１１６が、ＣＰＵ１１１に接続されていてもよい。

【0014】

眼球動き検出器１１２は、装置１１０のユーザの眼球を検出し、その眼球および視線の動きをモニタリングする構成要素である。また、眼球動き検出器１１２は、ディスプレイ１１４上の視線位置を検出して収集し、各視線の時間を測定するように構成されている。眼球動き検出器１１２は、視線トラッキングのために、多種多様な技術を利用することができる。例えば、眼球動き検出器１１２は、３段階のステップを利用して、視線トラッキングを実現することができる。第１のステップで、Ｈａａｒ−ｌｉｋｅ特徴に基づいてユーザの顔の中における眼球を検出し、第２のステップで、Ｌｕｃａｓ Ｋａｎａｄｅアルゴリズムを用いて眼球の動きのトラッキングを実行し、第３のステップで、ガウスプロセスを用いて視線を検出する。当業者であれば、上記の技術だけが視線トラッキングの方法ではなく、その他の多くの技術を使用して視線トラッキングを行うことができることが分かるであろう。

【0015】

ディスプレイ１１４は、テキスト、画像、ビデオ、およびその他の任意のコンテンツを、装置１１０のユーザに対して視覚的に提示するように構成されている。ディスプレイ１１４をタッチ・スクリーンにして、ユーザがユーザ入力モジュール１１５だけでなくディスプレイ１１４上でも装置１１０を操作することができるようにすることもできる。

【0016】

ユーザ入力モジュール１１５は、文字またはコマンドを入力するためのキーまたはボタンを装置１１０上に含むことができ、キーまたはボタンを用いて入力された文字またはコマンドを認識する機能を備えることもできる。ディスプレイ１１４がタッチ・スクリーンであり、ディスプレイ１１４上で文字またはコマンドを入力することができるように装置１１０が構成されている場合には、ユーザ入力モジュール１１５はオプションとしてもよい。

【0017】

記憶装置１１３は、以下に説明するように、ＣＰＵ１１１が眼球動き検出器１１２、ディスプレイ１１４およびユーザ入力モジュール１１５を駆動して動作させるためのソフトウェア・プログラムおよびデータを記憶するように構成されている。

【0018】

図２Ａは、本発明の一実施形態によるコンピュータ装置を使用する基本的環境を示す。図２Ｂは、光学的な線が追加されたこと以外は図２Ａに示すものと同じである基本的環境を示す。図２Ａおよび図２Ｂでは、図１に示すコンピュータ装置１１０は、参照番号「１１」で示されている。

【0019】

図２Ａおよび図２Ｂは、ユーザ１２が装置１１のディスプレイ上に提示されたコンテンツを読んでいる、または閲覧している様子を示している。装置１１は、ユーザ１２の顔を撮像してユーザ１２の眼球を検出し、眼球および視線の動きをモニタリングするカメラ１０を備えている。カメラ１０は、ユーザ１２の顔を取り込み、ユーザ１２の凝視点１６を検出する役割を担う。カメラ１０は、図１に示す眼球動き検出器１１２の一要素であってもよい。

【0020】

図２Ｂでは、破線１４は、カメラ１０の視野または範囲を表す。ユーザが注目している大まかな領域が、２本の破線１５で近似的に示されている。

【0021】

図３（ａ）〜（ｃ）は、装置１１のディスプレイ上に提示されたページの１行のテキストを左から右に読み取る、基本的な読取りプロセスを示している。ユーザの左右の眼球２０は、この読取りプロセスの間に移動する。図３（ａ）に示すように、凝視点２１は、読取りプロセスの開始時には、テキスト行の先頭に位置している。その後、凝視点２２は、図３（ｂ）に示すようにテキスト行の中央に移動し、最終的に、凝視点２３は、図３（ｃ）に示すようにテキスト行の末尾に移動する。眼球動き検出器１１２（図１）が、これらの眼球の動きを検出し、テキスト行上の各視線の期間を測定する。１行のテキスト行を読み取るのにかかる総時間は、近似的に、図１に示すＣＰＵ１１１がテキスト行上の各視線の期間を合計することによって計算される。

【0022】

図４（ａ）〜（ｃ）は、装置１１のディスプレイ上に提示されたページ全体を上から下に読み取る、基本的な読取りプロセスを示している。図４（ａ）に示すように、最初に、ユーザ３０は、このページの１行目のテキスト行３１を左から右に読み取る。その後、ユーザ３０は、２行目のテキスト行３２を左から右に読み取り、その他のテキスト行について同じ読取りプロセスを繰り返す（図４（ｂ））。最後に、ユーザ３０は、最後のテキスト行３３を左から右に読み取る（図４（ｃ））。図３（ａ）〜（ｃ）を参照して述べたのと同様にして、眼球動き検出器１１２（図１）が、ユーザ３０がこのページのテキスト行を読んでいる間の眼球の動きを検出し、これらのテキスト行上の各視線の期間を測定する。このページを読み取るのにかかる総時間は、近似的に、ＣＰＵ１１１（図１）がこれらのテキスト行上の各視線の期間を合計することによって計算される。

【0023】

図４（ａ）〜（ｃ）に示す、装置のディスプレイ上に提示されたページを読み取る読取りプロセスの結果として、図５に示す眼球動きパターンが、この装置によって検出される。図５に示す黒丸は、それぞれ、ユーザの凝視点を示している。矢印は、ユーザの凝視点の移動方向を意味している。図５から分かるように、ユーザの凝視点は、一番上のテキスト行から一番下のテキスト行まで、各テキスト行の左から右にジグザグ形に移動する。

【0024】

図４（ａ）〜（ｃ）に示すこの基本読取りプロセスでは、例えば、装置１１（図２Ａおよび図２Ｂ）は、ユーザがディスプレイ上のページを始めから終わりまで読んだときに、ディスプレイに提示されているページを次のページにめくるように構成されている。

【0025】

ここで、ディスプレイ上のページをめくる操作メカニズムについて、図１、図５および図６を参照して説明する。装置１１０の記憶装置１１３には、眼球動きパターンおよびコマンドを含む表が記憶されている。この表では、各コマンドは、それぞれの眼球動きパターンに関連付けられている。図６のモジュール５５に示すように、ユーザ５０がページ５１を始めから終わり５３まで読んだとき、ＣＰＵ１１１および眼球動き検出器１１２を用いて、図５に示すジグザグ形の眼球動きパターンを検出する。その後、ＣＰＵ１１１は、検出した眼球動きパターンを記憶装置１１３に記憶された表中にある眼球動きパターンと比較する。検出した眼球動きパターンと一致する眼球動きパターンが表中で見つかった場合には、ＣＰＵ１１１は、表中にある一致した眼球動きパターンに関連付けられたコマンドを実行する。そのコマンドが「ディスプレイ上のページをめくる」というコマンドである場合には、ＣＰＵ１１１は、図６のモジュール５６に示すように、ディスプレイ上のページ５１を次のページ５２にスクロールする。本発明の一実施形態によれば、この装置のディスプレイ上に提示されるページ５１は、上述のようにカメラ１０（図２Ａおよび図２Ｂ）を含み得る眼球動き検出器１１２（図１）によって検出されたユーザの眼球の動きによってめくることができ、その後、ユーザ５０は、図６のモジュール５７に示すように、次のページ５２を始め５４から読み始めることができる。

【0026】

図７（ａ）〜（ｆ）は、本発明によるコンピュータ装置を操作する様々な種類のコマンドを生成する、眼球動きパターンと眼球動きパターンを完了するのに要する期間との様々な種類の組合せを示している。

【0027】

図７（ａ）は、凝視点が左から右に移動する眼球動きパターンを示している。「左」コマンドが、この眼球動きパターンと、この眼球動きパターンを完了するのに要するしきい値期間Ｔとの組合せに関連付けられている。この眼球動きパターンが検出され、この眼球動きパターンを完了するのに要する期間ｔが所定のしきい値期間Ｔ未満である場合には、ｅＢｏｏｋなどのコンテンツの前のページが左側から現れてディスプレイ上に示されるように「左」コマンドが実行される。

【0028】

図７（ｂ）は、凝視点が上から下に移動する眼球動きパターンを示している。「次」コマンドが、この眼球動きパターンと、この眼球動きパターンを完了するのに要するしきい値期間Ｔとの組合せに関連付けられている。この眼球動きパターンが検出され、この眼球動きパターンを完了するのに要する期間ｔが所定のしきい値期間Ｔ未満である場合には、「次」コマンドが実行されて、このコンテンツの次のページをディスプレイ上に示す。

【0029】

図７（ｃ）〜（ｆ）は、さらに異なる眼球動きパターンを示している。図７（ａ）および図７（ｂ）に示す場合と同様に、コマンドが、眼球動きパターンと、その眼球動きパターンを完了するのに要するしきい値期間Ｔとの組合せに関連付けられており、図７（ｃ）〜（ｆ）に示す眼球動きパターンの何れか１つが検出され、その眼球動きパターンを完了するのに要する期間ｔが所定のしきい値期間Ｔ未満である場合には、対応するコマンドが実行される。これらの例では、図７（ｃ）の眼球動きパターンは、ディスプレイに提示されているコンテンツのバージョンを示す「バージョン」コマンドに関連付けられていてもよく、図７（ｄ）の眼球動きパターンは、コンテンツの最後のページにジャンプする「終了」コマンドに関連付けられていてもよく、図７（ｅ）の眼球動きパターンは、コンテンツの最初のページにジャンプする「ホーム」コマンドに関連付けられていてもよく、図７（ｆ）の眼球動きパターンは、ディスプレイに提示されているコンテンツを回転させる「回転」コマンドに関連付けられていてもよい。これらのコマンドと、眼球動きパターンおよびしきい値期間の組合せとは、互いに関連付けられ、記憶装置１１３（図１）に記憶されている。

【0030】

上述の例では、期間ｔがＴ以上である場合には、コマンドは実行されない。期間ｔがＴ≦ｔを満たすときには、ユーザがディスプレイ上のコンテンツを読んでいる、または見ているだけであることが理解されるであろう。

【0031】

なお、より多くの様々なしきい値期間を眼球動きパターンに関連付けることができることに留意されたい。例として図７（ａ）を参照すると、上述のしきい値期間Ｔに加えて、しきい値期間Ｔ／２を眼球動きパターンに関連付けることができる。この例では、検出された眼球動きパターンを完了するのに要する期間ｔがｔ＜Ｔ／２を満たす場合には２ページ以上前のページが左側から現れてそのページがディスプレイに示され、期間ｔが２／Ｔ≦ｔ＜Ｔを満たす場合には１つ前のページが左側から現れてディスプレイに示されるように、「左」コマンドを実行することができる。これらの例から分かるように、複数のしきい値期間を１つの眼球動きパターンに関連付けることによって、１つの眼球動きパターンを用いて複数のコマンドを生成することができる。

【0032】

さらに、ディスプレイ上でトラッキングされる眼球動きパターンの異なる位置を、１つまたは複数のしきい値期間に加えて、眼球動きパターンに関連付けることができることに留意されたい。

【0033】

図８（ａ）〜（ｃ）は、眼球動きパターンがディスプレイ上の異なる位置でトラッキングされることを示している。眼球動きパターンが、ディスプレイの左側（図８（ａ））、ディスプレイの中央（図８（ｂ））、およびディスプレイの右側（図８（ｃ））でトラッキングされることが示されている。

【0034】

しきい値期間Ｔが、凝視点が上から下に移動する眼球動きパターンに関連付けられているとすると、例えば、「フォント・サイズ」コマンドを、この眼球動きパターンと、この眼球動きパターンを完了するのに要するしきい値期間Ｔと、この眼球動きパターンがディスプレイ上でトラッキングされる位置（図８（ａ）に示す左側位置）との組合せに関連付けることができ、「次」コマンドを、この眼球動きパターンと、この眼球動きパターンを完了するのに要するしきい値期間Ｔと、この眼球動きパターンがディスプレイ上でトラッキングされる位置（図８（ｂ）に示す中央位置）との組合せに関連付けることができ、「ズーム」コマンドを、この眼球動きパターンと、この眼球動きパターンを完了するのに要するしきい値期間Ｔと、この眼球動きパターンがディスプレイ上でトラッキングされる位置（図８（ｃ）に示す右側位置）との組合せに関連付けることができる。

【0035】

図８（ａ）〜（ｃ）に示す眼球動きパターンが検出され、この眼球動きパターンを完了するのに要する期間ｔが所定のしきい値期間Ｔ未満であるという条件下では、
（１）眼球動きパターンが図８（ａ）に示すようにディスプレイの左側でトラッキングされた場合には、「フォント・サイズ」コマンドを実行して、ユーザがディスプレイ上のフォント・サイズを調節できるようにし、
（２）眼球動きパターンが図８（ｂ）に示すようにディスプレイの中央でトラッキングされた場合には、「次」コマンドを実行して、そのコンテンツの次のページをディスプレイ上に示し、
（３）眼球動きパターンが図８（ｃ）に示すようにディスプレイの右側でトラッキングされた場合には、「ズーム」コマンドを実行して、ディスプレイ上のコンテンツを拡大する。

【0036】

もちろん、より多くの様々なしきい値期間を、眼球動きパターンの種々の位置のそれぞれに関連付けることもできる。種々のしきい値期間とディスプレイ上の眼球動きパターンの種々の位置とを１つの眼球動きパターンに関連付けることによって、種々のしきい値期間または眼球動きパターンの種々の位置のうちの一方を１つの眼球動きパターンに関連付けた場合と比較して、１つの眼球動きパターンを用いてより多くのコマンドを生成することができる。

【0037】

眼球動きパターンおよびしきい値期間の様々な組合せが、記憶装置１１３（図１）に記憶されている。各々の組合せが、ディスプレイ上の眼球動きパターンの位置を含んでいてもよい。また、様々なコマンドが、記憶装置１１３中のそれぞれの組合せと関連付けられた状態で、記憶装置１１３に記憶されている。これらの様々な組合せおよびそれらが関連付けられたコマンドは、表形式で記憶装置に記憶することができる。

【0038】

なお、ディスプレイ上にユーザによって形成された眼球動きパターンは、図７および図８に示す眼球動きパターンの１つと厳密に同じとはいえないこともあること、さらには、本発明の上述の実施形態において、眼球動きパターンは、その基準眼球動きパターンと比較して一定の許容範囲内で変形している場合でも検出することができることに留意されたい。

【0039】

また、図７および図８に示す各眼球動きパターンの、ディスプレイのサイズに対する相対的なサイズは、図７および図８に示す例に限定されないことにも留意されたい。ディスプレイ上の眼球動きパターンは、この装置によって検出することができる限り、いかなるサイズであってもよい。

【0040】

図９は、本発明の一実施形態による、ユーザの眼球の動きによってコンピュータ装置を操作する方法を示すフローチャートである。以下、コンピュータ装置を操作するこの方法について、図１および図９を参照して説明する。

【0041】

ステップＳ１０２で、装置１１０の眼球動き検出器１１２によって、コンピュータ装置１１０のユーザの眼球の動きを検出する。このステップでは、眼球動き検出器１１２によって、装置１１０のユーザの眼球を検出し、その眼球および視線の動きをモニタリングする。また、眼球動き検出器１１２によって、ディスプレイ１１４上の各視線位置を検出し、各視線の時間を測定する。

【0042】

ステップＳ１０４で、装置１１０のＣＰＵ１１１によって、ユーザの検出された眼球の動きを解析する。このステップでは、装置１１０のＣＰＵ１１１が、検出された眼球の動きに含まれる眼球動きパターンと、その眼球動きパターンを完了するのに要する期間を特定する。ＣＰＵ１１１は、検出した眼球の動きを記憶装置１１３に記憶された眼球動きパターンと比較することによって、眼球動きパターンを特定する。眼球動きパターンが特定されたら、ＣＰＵ１１１は、特定された眼球動きパターンの総視線時間を計算することにより、特定された眼球動きパターンを完了するのに要する期間を特定する。このステップでは、ＣＰＵ１１１が、特定された眼球動きパターンのディスプレイ１１４上の位置を特定することもできる。

【0043】

ステップＳ１０６で、ＣＰＵ１１１が、眼球動きパターンと、その眼球動きパターンのしきい値期間との組合せに関連付けられたコマンドを特定する。このステップでは、ＣＰＵ１１１は、記憶装置１１３を探索して、特定された眼球動きパターンが一致する眼球動きパターンを見つける。その後、ＣＰＵ１１１は、特定された眼球動きパターンを完了するのに要する特定された期間が、一致した眼球動きパターンに関連付けられた所定のしきい値期間を満たすかどうかを判定する。特定された期間が所定のしきい値期間を満たす場合には、ＣＰＵ１１１が、一致した眼球動きパターンと、その一致する眼球動きパターンの所定のしきい値期間との組合せに関連付けられたコマンドを特定する。

【0044】

ステップＳ１０６で、ディスプレイ上の眼球動きパターンの位置も、眼球動きパターンとしきい値期間との組合せに関連付けられており、かつ特定された眼球動きパターンのディスプレイ１１４上の位置がＣＰＵ１１１によって特定されている場合には、ＣＰＵ１１１が、一致する眼球動きパターン、その一致する眼球動きパターンのしきい値期間、およびディスプレイ上のその一致する眼球動きパターンの位置を含む３つの要素の組合せに関連付けられたコマンドを特定する。

【0045】

ステップＳ１０８で、ＣＰＵ１１１が、特定されたコマンドを実行し、その後、コンピュータ装置１１０は、そのコマンドに従って動作する。

【0046】

本発明の原理の上記その他の特徴および利点は、当業者であれば、本明細書の教示に基づいて容易に確認することができる。これらの本発明の原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサ、またはそれらの組合せの様々な形態で実施することができることを理解されたい。

【0047】

本発明の原理の教示は、ハードウェアとソフトウェアの組合せとして実施されることが最も好ましい。さらに、ソフトウェアは、プログラム記憶装置上で有形に具現化されたアプリケーション・プログラムとして実施することができる。アプリケーション・プログラムは、任意の適当なアーキテクチャを備える機械にアップロードし、この機械によって実行することができる。この機械は、１つまたは複数の中央処理装置（「ＣＰＵ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）および入出力（「Ｉ／Ｏ」）インタフェースなどのハードウェアを有するコンピュータ・プラットフォームで実施されることが好ましい。コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロ命令コードも備えることができる。本明細書に記載する様々なプロセスおよび機能は、ＣＰＵによって実行することができる、マイクロ命令コードの一部またはアプリケーション・プログラムの一部あるいはそれらの任意の組合せの何れかにすることができる。さらに、追加のデータ記憶装置など、その他の様々な周辺装置をコンピュータ・プラットフォームに接続することもできる。

【0048】

さらに、添付の図面に示すシステム構成要素および方法の一部はソフトウェアで実施することが好ましいので、システム構成要素間またはプロセス機能ブロック間の実際の接続は、本発明の原理をプログラミングする方法によって異なっていてもよいことも理解されたい。本明細書の教示があれば、当業者なら、本発明の原理の上記の実施態様または構成およびそれらと同様の実施態様または構成を思いつくことができるであろう。

【0049】

本明細書では、添付の図面を参照して例示的な実施形態について述べたが、本発明の原理は、これらの具体的な実施形態に限定されるわけではなく、当業者なら、本発明の原理の範囲または趣旨を逸脱することなく様々な変更および修正をそれらの実施形態に加えることができることを理解されたい。そうした変更および修正は全て、添付の特許請求の範囲に記載する本発明の原理の範囲に含まれるものとする。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】