特許 6407246 検出された視線に基づくデバイスインタラクションのためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6407246

(24)【登録日】2018年9月28日

(45)【発行日】2018年10月17日

(54)【発明の名称】検出された視線に基づくデバイスインタラクションのためのシステムおよび方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20181004BHJP

   G06F 1/32 20060101ALI20181004BHJP

   H04M 1/73 20060101ALI20181004BHJP

【ＦＩ】

   G06F3/01 510

   G06F1/32 Z

   H04M1/73

【請求項の数】15

【全頁数】20

(21)【出願番号】特願2016-501828(P2016-501828)

(86)(22)【出願日】2014年3月13日

(65)【公表番号】特表2016-517087(P2016-517087A)

(43)【公表日】2016年6月9日

(86)【国際出願番号】US2014025346

(87)【国際公開番号】WO2014151277

(87)【国際公開日】20140925

【審査請求日】2017年2月23日

(31)【優先権主張番号】13/831,197

(32)【優先日】2013年3月14日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507364838

【氏名又は名称】クアルコム，インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田 晋平

(72)【発明者】

【氏名】ダレル・エル・クルース

(72)【発明者】

【氏名】フランシス・ビー・マクドゥーガル

(72)【発明者】

【氏名】ショーン・ダブリュー・ヴァン・ダイケン

【審査官】 田川 泰宏

(56)【参考文献】

【文献】 特開平１０−２４０３８９（ＪＰ，Ａ）

【文献】 特開２００６−２１７４８７（ＪＰ，Ａ）

【文献】 特開平１１−２８８２５９（ＪＰ，Ａ）

【文献】 特開平０９−１２０３２３（ＪＰ，Ａ）

【文献】 特開２０１２−０６５１０７（ＪＰ，Ａ）

【文献】 特開２００８−０１５８００（ＪＰ，Ａ）

【文献】 特開２００５−２６９８９１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ １／３２

Ｈ０４Ｍ １／７３

(57)【特許請求の範囲】

【請求項1】

デバイスインタラクションのための方法であって、
高電力状態で動作する1つまたは複数のセンサにおいて、トリガリングイベントを検出するステップと、
前記トリガリングイベントを検出した後、視線が検出されない場合前記1つまたは複数のセンサを低電力状態に入らせるステップであって、前記1つまたは複数のセンサは、前記高電力状態のときよりも前記低電力状態においてより少ない電力を消費する、ステップと、
前記トリガリングイベントを検出すると、光検出センサを少なくとも1つの画像を取り込むための第1の画像キャプチャレートから少なくとも1つの画像を取り込むための第2の画像キャプチャレートに増加させて、視線検出をアクティブ化するステップであって、前記光検出センサは、前記第1の画像キャプチャレートで動作するときに少なくとも1つの画像を取り込み、前記第2の画像キャプチャレートで動作するときに少なくとも1つの画像を取り込むように構成される、ステップと、
前記アクティブ化された視線検出を用いて視線が検出されるかどうかを前記光検出センサからの情報に基づいて決定するステップと、
視線が検出されたとき、デバイスのディスプレイを非アクティブ状態からアクティブ化するステップと、
視線が検出されないとき、所定の時間量後、前記視線検出を非アクティブ化するステップと
を含む、方法。

【請求項2】

トリガリングイベントを検出するステップは、デバイスアラート、ユーザの近さ、前記デバイスの動作のうちの少なくとも1つを検出するステップを含む、請求項1に記載の方法。

【請求項3】

デバイスアラートを検出する前記ステップは、受信したメッセージおよびカレンダアラートのうちの少なくとも1つを検出するステップを含む、請求項2に記載の方法。

【請求項4】

前記1つまたは複数のセンサは、超音波センサ、電界センサ、周囲光センサ、および赤外線センサの少なくとも1つを含み、ユーザの近さを検出するステップは、前記超音波センサ、前記電界センサ、前記周囲光センサ、および前記赤外線センサのうちの少なくとも1つを使用して、前記ユーザの近さを検出するステップを含む、請求項2に記載の方法。

【請求項5】

前記デバイスの動作を検出するステップは、前記デバイスの加速度を検出するステップを含む、請求項2に記載の方法。

【請求項6】

前記デバイスのディスプレイをアクティブ化するステップは、前記デバイスの前記ディスプレイをアクティブ化するステップ、ならびにキーロックおよびセキュリティチャレンジのうちの少なくとも1つを回避するステップを含む、請求項1に記載の方法。

【請求項7】

視線が検出されるかどうかを決定するステップは、ユーザの顔と、検出された顔の眼球方向、前記検出された顔の眼球および口の1つまたは複数の隅部、ならびに前記検出された顔における耳のうちの少なくとも1つとを検出するステップを含み、かつ、
視線が検出されるかどうかを決定するステップは、前記検出された顔において顔面認識を行うステップをさらに含み、前記ディスプレイは、前記検出された顔が前記デバイスの承認済みユーザとして認識されるとき、アクティブ化される、請求項1に記載の方法。

【請求項8】

前記視線が検出され、前記ディスプレイがアクティブ化され、前記方法は、前記視線がもはや検出されなくなるまで、前記ディスプレイをアクティブ状態に維持するステップをさらに含む、請求項1に記載の方法。

【請求項9】

視線が検出されるかどうかを決定するステップは、検出された顔における顔面認識を行うステップをさらに含み、前記検出された顔が前記デバイスの承認済みユーザとして認識されるとき、セキュリティチャレンジは回避される、請求項1に記載の方法。

【請求項10】

デバイスにコンテンツを表示するための方法であって、
トリガリングイベントを検出するステップと、
前記トリガリングイベントが検出されたとき、前記デバイスのディスプレイコンポーネントを非アクティブ状態からアクティブ化するステップと、
前記トリガリングイベントが検出されたとき、前記デバイスの光検出センサをアクティブ化するステップと、
前記光検出センサによって視線検出をアクティブ化するステップであって、前記光検出センサのデューティサイクルを増加するステップを含み、前記デューティサイクルを増加するステップは、少なくとも1つの画像を取り込むための第1の画像キャプチャレートから少なくとも1つの画像を取り込むための第2の画像キャプチャレートに増加するステップを含み、前記光検出センサは、前記第1の画像キャプチャレートで動作するときに少なくとも1つの画像を取り込み、前記第2の画像キャプチャレートで動作するときに少なくとも1つの画像を取り込むように構成され、1つまたは複数のセンサはトリガリングイベントを検出するように構成され、前記1つまたは複数のセンサは、前記トリガリングイベントが検出された後で視線が検出されない場合低電力状態で動作するように構成される、ステップと、
視線が検出されるかどうかを前記光検出センサと通信している、前記デバイスの1つまたは複数のプロセッサによって決定するステップと、
視線が検出されたとき、前記コンテンツを表示し、前記視線が検出される限り、前記ディスプレイコンポーネントをアクティブの状態に保つステップと、
視線が検出されないとき、前記光検出センサおよび前記ディスプレイコンポーネントを非アクティブ化するステップであって、前記ディスプレイコンポーネントがアクティブ状態から非アクティブ化される、ステップと
を含む、方法。

【請求項11】

前記光検出センサが視線を検出したとき、キーロックおよびセキュリティチャレンジのうちの少なくとも1つを回避するステップをさらに含む、請求項10に記載の方法。

【請求項12】

視線が検出されるかどうかを決定するステップは、
前記光検出センサの視野において顔を検出するステップと、
検出された顔が前記ディスプレイコンポーネントに視線を向けているかどうかを決定するステップと
を含む、請求項10に記載の方法。

【請求項13】

前記検出された顔が前記ディスプレイコンポーネントに視線を向けているかどうかを決定するステップは、前記検出された顔が承認済みユーザの顔に一致するかどうかを決定するステップをさらに含み、
前記方法は、前記検出された顔が前記承認済みユーザの顔に一致しているとき、セキュリティチャレンジを回避するステップをさらに含む、
請求項12に記載の方法。

【請求項14】

デバイスインタラクションのためのシステムであって、
高電力状態で動作しているときにトリガリングイベントを検出するための手段であって、前記トリガリングイベントを検出するための手段はさらに、低電力状態で動作するように構成される、手段と、
視線を検出するための手段であって、前記トリガリングイベントが検出されたときに、視線検出を実行するためにアクティブ化され、視線を検出するための手段をアクティブ化することは、視線を検出するための手段のデューティサイクルを増加させることを含み、前記デューティサイクルを増加させることは、少なくとも1つの画像を取り込むための第1の画像キャプチャレートから少なくとも1つの画像を取り込むための第2の画像キャプチャレートに増加させることを含み、前記視線を検出するための手段は、前記第1の画像キャプチャレートで動作するときに少なくとも1つの画像を取り込み、前記第2の画像キャプチャレートで動作するときに少なくとも1つの画像を取り込むように構成される、手段と、
前記トリガリングイベントが検出された後、視線が検出されない場合、前記トリガリングイベントを検出するための手段を前記低電力状態に入らせるための手段であって、前記トリガリングイベントを検出するための手段は、前記高電力状態のときよりも前記低電力状態で動作する間より少ない電力を消費する、手段と、
前記トリガリングイベントが検出されたことに基づいて視線が検出されるかどうかを決定するための手段と、
前記視線が検出されたとき、デバイスのディスプレイを非アクティブ状態からアクティブ化するための手段と、
前記視線が検出されない場合、所定の時間量後、前記視線を検出するための前記手段を非アクティブ化するための手段と
を備えるシステム。

【請求項15】

デバイスの1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに請求項１〜１３のいずれか一項に記載の方法を行わせる命令を含むコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書に開示の諸実施形態は、一般には、検出された視線に基づいてデバイスとインタラクションするためのシステムおよび方法に関する。

【背景技術】

【0002】

電子デバイスが、より速くなるとともに、向上した解像度を備えたより大きいディスプレイを有するようになるにつれて、これらの電子デバイスを動作させるのに必要な電力も増加する。電力を保存するために、多くのデバイスには、使用していないときはディスプレイをオフにする設定が含まれている。

【0003】

しかしながら、ユーザは、デバイスとインタラクションしたいとき、まず、ボタンを押して、または別の形で手動によりデバイスとインタラクションして、ディスプレイをアクティブ化することが必要であることが多い。たとえば、デスクトップコンピュータでは、ユーザは、1つまたは複数のボタンを押して、またはマウスなどのインタラクションデバイスを操作して、ディスプレイをアクティブ化するように求められることが多い。モバイルデバイスにおいては、ユーザは、ボタンを押す、またはディスプレイをタップしなくてはならない場合がある。さらには、ロック画面など、セキュリティチャレンジを含むデバイスにおいてもやはり、モバイルデバイスにおける簡単なスワイプであれ、または複雑なパスワードの入力であれ、ユーザは、ロック解除機能を行わなくてはならないことが多い。

【発明の概要】

【発明が解決しようとする課題】

【0004】

したがって、改善され、より円滑なインタラクションエクスペリエンスを提供し、ユーザのデバイスとのインタラクションをより容易にする、デバイスとインタラクションするための方法が必要とされている。

【課題を解決するための手段】

【0005】

いくつかの実施形態に従って、検出された視線に基づいてデバイスとインタラクションするためのシステムが提供される。本システムは、トリガリングイベントを検出するように構成された1つまたは複数のセンサと、ユーザの視線を検出するように構成された光検出センサモジュールとを含み、光検出センサモジュールは、1つまたは複数のセンサがトリガリングイベントを検出したとき、アクティブ化される。本システムはまた、ディスプレイコンポーネントを含み、ディスプレイコンポーネントは、光検出センサがユーザの視線を検出したとき、アクティブ化され、光検出センサが視線をもはや検出しなくなったとき、所定の時間量後、非アクティブ化される。

【0006】

いくつかの実施形態に従って、デバイスインタラクションのための方法がさらに提供される。本方法は、トリガリングイベントを検出するステップと、トリガリングイベントが検出されたとき、視線検出をアクティブ化するステップと、アクティブ化された視線検出に基づいて視線が検出されるかどうかを、光検出センサからの情報に基づいて決定するステップと、視線が検出されたとき、デバイスのディスプレイをアクティブ化するステップと、視線が検出されないとき、所定の時間量後、視線検出を非アクティブ化するステップとを含む。本方法はまた、コンピュータ可読媒体において実施可能である。

【0007】

いくつかの実施形態に従って、コンテンツをデバイス上に表示するための方法がさらに提供される。本方法は、コンテンツがデバイスによる表示に利用できることを決定するステップと、コンテンツが表示に利用できると決定されたとき、デバイスのディスプレイコンポーネントおよびデバイスの光検出センサをアクティブ化するステップと、光検出センサと通信している、デバイスの1つまたは複数のプロセッサによって、視線が検出されるかどうかを決定するステップと、視線が検出されたとき、コンテンツを表示し、視線が検出される限り、ディスプレイコンポーネントをアクティブの状態に保つステップと、視線が検出されないとき、光検出センサおよびディスプレイコンポーネントを非アクティブ化するステップとを含む。

【0008】

いくつかの実施形態に従って、デバイスインタラクションのためのシステムがさらに提供される。本システムは、トリガリングイベントを検出するための手段と、視線を検出するための手段であって、トリガリングイベントが検出されたときに、アクティブ化される、手段とを含む。本システムはまた、視線が検出されるかどうかを決定するための手段と、視線が検出されたとき、デバイスのディスプレイをアクティブ化するための手段と、視線が検出されない場合、所定の時間量後、視線検出を非アクティブ化するための手段とを含む。

【図面の簡単な説明】

【0009】

【図1】いくつかの実施形態に従った、処理デバイスを示す略図である。

【図2】いくつかの実施形態に従った、ユーザの視線を検出することに基づくデバイスインタラクションのためのプロセスを示すフローチャートである。

【図3】いくつかの実施形態に従った、視線検出を用いてデバイスのディスプレイコンポーネントをアクティブ化するためのプロセスを示すフローチャートである。

【図4】いくつかの実施形態に従った、視線検出を用いてディスプレイコンポーネントにコンテンツを表示するためのプロセスを示すフローチャートである。

【発明を実施するための形態】

【0010】

図では、同じ指示を有する要素は、同じまたは類似の機能を有する。

【0011】

以下の記載では、特定の実施形態を記載する具体的な詳細が説明される。しかしながら、開示の実施形態は、これらの具体的な詳細のうちの一部またはすべてがなくても実践可能であることは、当業者には明らかであろう。提示の具体的な実施形態は、例示であり、限定するものでないことを意味する。本明細書において具体的には述べないが、当業者なら、本開示の範囲および趣旨の範囲内にある他の材料に気付くことができる。

【0012】

図1は、いくつかの実施形態に従った、処理デバイス100を示す略図である。処理デバイス100は、iPhone(商標)といったスマートフォンなどのモバイルデバイス、またはiOS(商標)オペレーティングシステム、Android(商標)オペレーティングシステム、BlackBerry(商標)オペレーティングシステム、Microsoft(登録商標)Windows(登録商標)Phoneオペレーティングシステム、Symbian(商標)OS、もしくはwebOS(商標)を実行する他のモバイルデバイスでよい。処理デバイス100は、iPad(商標)など、タブレットコンピュータ、または前述のオペレーティングシステムのうちの1つを実行する他のタブレットコンピュータであってもよい。処理デバイス100はまた、PC、すなわちラップトップまたはネットブック、ケーブルまたは衛星のコンテンツプロバイダによって提供されるセットトップボックス(STB)、あるいはNintendo(登録商標)Wii(商標)、Microsoft(登録商標)Xbox360(商標)、もしくはSony(登録商標)PlayStation(商標)3などのビデオゲームシステムコンソール、または他のビデオゲームシステムコンソールであってもよい。いくつか実施形態によれば、処理デバイス100は、とりわけ、情報をユーザに表示するため、ユーザなどの対象物との近さを検出するため、およびユーザの顔および視線を検出するために構成されたハードウェアならびに/またはソフトウェアの任意の適切な組合せを使用して実装可能である。具体的には、処理デバイス100は、1つまたは複数のプロセッサを有し、その1つまたは複数のプロセッサによる、とりわけ、情報をユーザに表示するため、ユーザなどの対象物の近さを検出するため、およびユーザの顔および視線を検出するための実行に関して、非一時的機械可読媒体に記憶された命令を読み取ることができるハードウェアならびに/またはソフトウェアの任意の適切な組合せを含むことができる。機械可読媒体のいくつの一般的な形態としては、たとえば、フロッピディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、CD-ROM、任意の他の光媒体、パンチカード、紙テープ、孔のパターンを備えた任意の他の物理媒体、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップもしくはカートリッジ、および/あるいは1つまたは複数のプロセッサまたはコンピュータが読み取るようになされている任意の他の媒体が挙げられる。

【0013】

処理デバイス100は、ネットワークと通信するために構成されたネットワークインターフェースコンポーネント102を含むことができる。いくつの実施形態に従って、ネットワークインターフェースコンポーネント102は、同軸ケーブル、光ファイバケーブル、デジタル加入者線(DSL)モデム、公衆交換電話網(PSTN)モデム、Ethernet(登録商標)デバイス、および/または様々な他のタイプの有線ネットワーク通信デバイスとインターフェースを取るように構成可能である。ネットワークインターフェースコンポーネント102はまた、1つまたは複数のワイヤレス送受信機を含むことができ、各ワイヤレス送受信機は、分離可能または一体型の、かつWi-Fi(商標)、3G、4G、HDSPA、LTE、RF、NFCなどの異なるワイヤレスネットワーキングプロトコルに従って情報を送受信できるアンテナを含むことができる。いくつかの実施形態に従って、処理デバイス100は、処理デバイス100内で様々なコンポーネントを相互接続するため、および様々なコンポーネント間で情報を通信するためのシステムバス104を含む。いくつかの実施形態では、バス104は、System on Chip(SoC)において実装され、1つまたは複数のプロセッサのチップおよび/またはコア上の様々な要素またはコンポーネントを接続する。コンポーネントは、1つまたは複数のプロセッサ、中央処理装置(CPU)、画像信号プロセッサ(ISP)、マイクロコントローラ、あるいはデジタル信号プロセッサ(DSP)とすることができる処理コンポーネント106、ランダムアクセスメモリ(RAM)に対応することができるシステムメモリコンポーネント108、読取り専用メモリ(ROM)に対応することができる内部メモリコンポーネント110、および光メモリ、磁気メモリ、もしくはソリッドステートメモリに対応することができる外部メモリまたはスタティックメモリ112を含むことができる。いくつかの実施形態に従って、処理デバイス100はまた、情報をユーザに表示するためのディスプレイコンポーネント114を含むことができる。ディスプレイコンポーネント114は、液晶ディスプレイ(LCD)画面、有機発光ダイオード(OLED)画面(アクティブマトリクスAMOLED画面を含める)、LED画面、プラズマディスプレイ、または陰極線管(CRT)ディスプレイとすることができる。ディスプレイコンポーネント114は、処理デバイス100と一体化しても、または処理デバイス100から分離および処理デバイス100と連結していてもよい。ディスプレイコンポーネント114は、検出された周囲の明るさに基づいてディスプレイコンポーネント114の明るさを制御するように構成され得る関連周囲光センサ(図示せず)を有することができる。処理デバイス100はまた、入力/ナビゲーション制御コンポーネント116を含むことができ、それによりユーザは、情報を入力し、ディスプレイコンポーネント114に沿ってナビゲートすることが可能になる。入力/ナビゲーション制御コンポーネント116としては、たとえば、物理的か仮想的かにかかわらずキーボードもしくはキーパッド、マウス、トラックボール、または他のそのようなデバイス、あるいは容量式センサベースのタッチ画面を挙げることができる。処理デバイス100は、いくつかの実施形態により、図1に示すものより多くのコンポーネントを含んでいても、またはより少ないコンポーネントを含んでいてもよい。たとえば、処理デバイス100は、システムメモリコンポーネント108、内部メモリコンポーネント110、および外部メモリコンポーネント112のうちのいずれか1つまたは2つを含んでよい。さらには、図1に示すコンポーネントは、図1の1つまたは複数の他のコンポーネントに直接、連結していてよく、それによりシステムバス104の必要性がなくなる。概して、図1に示すコンポーネントは、処理デバイス100において、本明細書に開示の実施形態を行うことができるコンポーネントの例として示されている。しかしながら、処理デバイス100は、より多くのコンポーネントを有していても、またはより少ないコンポーネントを有していてもよく、それでも本明細書に開示のいくつかの実施形態を行うことができ得る。

【0014】

処理デバイス100はまた、処理デバイス100の加速度を検出するための加速度計118を含むことができる。いくつかの実施形態によれば、加速度計118によって検出された加速度は、処理デバイス100の移動または動作を示すことができる。たとえば、検出された加速度は、ユーザ120が処理デバイス100を持ち上げること、または移動させることを示すことができる。いくつかの実施形態によれば、加速度計118は、デバイス100の加速度を検出し、検出された加速度を、メモリ108、110、および112のうちのいずれかに記憶された命令に従って、動作を示す既知の加速度と比較する。いくつかの実施形態では、加速度計118は、デバイス100の加速度を検出し、検出された加速度に関する情報を処理コンポーネント106に送信して、その加速度情報をメモリ108〜112のうちのいずれかに記憶された命令に従って処理することができる。提供された情報に基づいて、処理コンポーネント106は、デバイスが動いている、または継続して動いているかどうかを決定することができる。

【0015】

処理デバイス100はまた、光検出センサモジュール122を含むことができる。光検出センサモジュール122は、ユーザ120など、人の顔および/または視線を検出できる任意のセンサモジュールとすることができる。さらには、光検出センサモジュール122は、1つまたは複数のプロセッサおよび少なくとも1つのメモリを含むことができ、この1つまたは複数のプロセッサは、少なくとも1つのメモリに記憶された命令を実行して、光情報を取り込み、取り込まれた光情報を分析して、ユーザ120などの人の顔および/または視線を検出するように構成されている。いくつかの実施形態では、光検出センサモジュール122は、光情報を取り込み、この情報を処理コンポーネント106に送信し、処理コンポーネント106は、この情報を分析して、光検出センサモジュール122およびメモリ108〜112のうちのいずれかに記憶された命令に基づいて顔および/または視線を検出することができる。

【0016】

いくつかの実施形態によれば、光検出センサモジュール122は、処理デバイス100の内蔵型前向きカメラ、または連結されたディスプレイ内もしくは連結された周辺カメラデバイス内に内蔵されたカメラなど、カメラを含むか、またはカメラと通信していることができる。カメラは、可視光カメラであっても、またはMicrosoft(登録商標)Xbox(商標)Kinect(商標)カメラなど、奥行き感知カメラであってもよい。いくつかの実施形態では、光検出センサモジュール122はまた、ユーザ120の眼球または眼球の中の特定の特徴部から反射された光を感知して、ユーザ120の眼球を追跡する赤外線または他の光ベースの眼球トラッカを含むか、または眼球トラッカと通信していることができる。いくつかの実施形態によれば、光検出センサモジュール122は、センサに、モジュール122内で、またはいくつかの実施形態では、処理コンポーネント106によって処理される画像フレームを取り込ませて、画像フレーム内の顔を検出し、顔が検出された場合、顔から視線を検出するように構成可能である。顔および視線は、モジュール122に、またはメモリ108、110、および112のうちのいずれかに記憶された1つまたは複数の顔/視線検出アルゴリズムを使用して検出され得る。たとえば、視線は、ユーザ120など、検出された顔の眼球方向を決定することによって検出され得る。いくつかの実施形態によれば、光検出センサモジュール122は、ディスプレイコンポーネント114をアクティブ化すべきか、または非アクティブ化すべきかを決定する際に使用するためのユーザ120の顔、次いで視線を検出し、デバイス100のセキュリティチェックをパス(pass)し、かつ/またはディスプレイコンポーネント114にアラートもしくはメッセージを表示するように構成可能である。いくつかの実施形態では、光検出センサモジュール122は、処理デバイス100またはディスプレイコンポーネント114など、所定の対象物または領域に視線を向けるユーザ120に基づいた視線を検出するように構成可能である。したがって、本明細書に記載される視線の検出には、ユーザ120は、処理デバイス100またはディスプレイコンポーネント114と対面することが求められる場合がある。いくつかの実施形態では、ユーザ120は、視線を検出するために、処理デバイス100またはディスプレイコンポーネント114の方に眼球を向けることしか求められない場合がある。

【0017】

処理デバイス100はまた、近接センサ124を含むことができる。近接センサ124は、対象物がデバイス100の近くに来たとき、検出するように構成可能である。いくつかの実施形態によれば、対象物は、ユーザ120とすることができる。さらには、近接センサ124は、対象物がデバイス100の約20〜50cm内に来たとき、検出するように構成可能である。いくつかの実施形態に従って、近接センサ124は、1つまたは複数の超音波近接センサとすることができる。近接センサ124はまた、ユーザ120など、対象物がデバイスの近くにいるとき、対象物によって発生する熱を検出する赤外線熱センサなど、1つまたは複数の熱センサを含むことができる。近接センサ124はまた、ユーザ120など、導電または部分的導電対象物がセンサ上のまたは別の形でセンサと関連付けられる電極によって生成される電界に入ると、対象物の存在を検出することができる1つまたは複数の電界近接センサを含むことができる。近接センサ124はまた、ディスプレイコンポーネント114に関して上述したような周囲光センサを含むことができ、周囲光センサは、ユーザ120など、対象物が対象物による光の遮蔽の結果として周囲光を低減させることによって対象物の存在を検出することができる。いくつかの実施形態によれば、近接センサ124は、光検出センサモジュール122および/またはモジュール122と関連付けられるセンサ、たとえば、カメラをアクティブ化し、顔および視線検出のアルゴリズムを起動するためのトリガとして働くように構成可能である。ユーザ120など、対象物がデバイス100の近くにいるときにのみ、光検出センサモジュール122および/またはその関連センサをアクティブ化し、顔および視線検出のアルゴリズムを起動することによって、デバイスは、顔がデバイス100の近くにないときは、電力を保存できる。

【0018】

処理デバイス100のコンポーネントは、処理デバイス100と一体化であるように示されているが、そのように限定されず、処理デバイス100から分離していても、処理デバイス100の外部にあってもよく、有線またはワイヤレスの連結器を介して処理デバイス100およびシステムバス104に連結していてもよい。

【0019】

いくつかの実施形態に従って、デバイス100は、加速度計118、光検出センサモジュール122、および近接センサ124を個々にまたは様々な組合せで使用して、ユーザ120が、ディスプレイコンポーネント114に、光検出センサモジュール122によって検出される視線を向けたとき、ディスプレイコンポーネント114をアクティブ化し、ユーザ120がディスプレイコンポーネント114に視線を向けている限り、ディスプレイコンポーネント114をアクティブ化し続けることができる。さらには、電力を保存するために、デバイス100は、加速度計118、光検出センサモジュール122、および近接センサ124を個々にまたは様々な組合せで使用して、ユーザ120がディスプレイコンポーネント114に視線を向けていないときは、ディスプレイコンポーネント114を非アクティブ化し、トリガリングイベントに応答する場合にのみ光検出センサモジュール122および/またはその関連センサをアクティブ化し、かつ/あるいは視線検出をアクティブ化することが可能である。いくつかの実施形態に従って、トリガリングイベントは、加速度計118によって検出されたデバイス100の移動、および近接センサ124によって検出されたユーザ120など、対象物の近さのうちの少なくとも1つを含むことができる。

【0020】

図2は、いくつかの実施形態に従った、ユーザの視線を検出することに基づくデバイスインタラクションのためのプロセスを示すフローチャートである。例示を目的として、図2に示すプロセス200は、図1を参照して説明することとする。図2に示すプロセスは、デバイス100の処理コンポーネント106における1つまたは複数のプロセッサによって実行されるようにコンピュータ可読命令において実施可能である。いくつかの実施形態では、プロセス200は、メモリ108〜112のうちのいずれかに記憶され、処理コンポーネント106によって実行されるデバイス100のオペレーティングシステムによって実装可能である。いくつかの実施形態では、プロセス200は、オペレーティングシステムにおけるバックグランドサービスとして実装可能である。図2に示すように、プロセス200は、たとえば処理コンポーネント106によって、トリガリングイベントが検出されたとき、開始する(202)。いくつかの実施形態によれば、トリガリングイベントは、加速度計118によって検出された、デバイス100の移動を示す加速度とすることができる。デバイス100の付随的な移動がトリガリングイベントとして検出されないようにするために、検出された加速度は、ユーザ120がデバイス100を持ち上げていることを示す既知の加速度閾値と加速度計118または処理コンポーネント106によって比較され得る。トリガリングイベントはまた、近接センサ124によって検出される、ユーザ120の検出された近さとすることができる。検出された近さはまた、ユーザ120が近接検出センサ124およびデバイス100の近くにいるときにのみ、検出された近さがトリガリングイベントとして登録されることを確実にするように、検出された熱を含むことができる。トリガリングイベントはまた、処理コンポーネント106によって生成されるアラートを含むことができる。アラートは、受信した電子メール、電話呼出し、もしくは他のメッセージをユーザ120に知らせるシステムアラート、または次回のカレンダ予約をユーザ120に知らせるアラートなどとすることができる。いくつかの実施形態では、トリガリングイベントは、たとえば、タッチ画面により、および/あるいはデバイスの縁部に配設された1つまたは複数の容量式タッチセンサにより、および/あるいは電界センサにより、検出され得るようなユーザがデバイスにタッチすることを含む。

【0021】

いくつかの実施形態では、トリガリングイベントは、加速度センサ118によって検出された加速度、近接センサ124によって検出されたユーザ120の近さ、または処理コンポーネント106によって生成されるアラートのうちのいずれかの組合せとすることができる。たとえば、処理コンポーネント106は、処理デバイス100を振動させるアラートを生成し、可聴音を生成し、または点滅光、もしくはユーザ120にアラートについて知らせるために、ユーザ120の注意を引きつけることができる他のインジケータを生成することができる。次いで、ユーザ120は、デバイス100を持ち上げ、アラートを見るために極めて近くにデバイス100を持ってくる場合がある。加速度計118は、デバイス100を持ち上げる動作を検出することができ、近接センサ124は、ユーザ120の近さを検出することができる。いくつかの実施形態では、トリガリングイベントは、処理コンポーネント106によって生成されるアラート、およびデバイスの閾値近さの範囲内にいるユーザを含む。これらの実行のうちのいずれかまたはすべての組合せは、処理コンポーネント106がその後の実行を行うことになるトリガリングイベントとすることができる。

【0022】

トリガリングイベントが検出された後、視線検出がアクティブ化される(204)。いくつかの実施形態では、視線検出をアクティブ化するステップは、たとえば、光検出センサモジュール122および/もしくは処理コンポーネント106、またはそれらの組合せによって実行されるような、視線検出モジュール、関数、および/もしくは方法をアクティブ化し、または起動するステップを含む。いくつかの実施形態によれば、視線検出をアクティブ化するステップは、光検出センサモジュール122をアクティブ化して、視線を検出するための光画像をモジュール122内で、および/または処理コンポーネント106によって取り込み、処理するステップを含む。さらには、視線検出をアクティブ化するステップは、顔検出をアクティブ化し、次いで、顔が検出された場合、視線検出をアクティブ化するステップを含むことができる。いくつかの実施形態では、視線検出をアクティブ化するステップは、モジュール122と関連付けられた光検出センサが、視線検出がアクティブ化される前よりも多くの画像を取り込むように、光検出センサのデューティサイクルまたはフレームレートを増加させるステップを含むことができる。光検出センサモジュール122は、モジュール122内におよび/または処理コンポーネント106との組合せで含まれる機能、ならびにメモリ108、110、および112のうちのいずれかに記憶された命令を使用して、視線が検出されるかどうかを決定することができる(206)。視線は、いくつかの視線検出アルゴリズムのうちのいずれかを使用して検出され得、既知の顔面検出アルゴリズムに従って行われる顔面検出を含むことができる。たとえば、顔が検出された場合、光検出センサモジュール122は、光検出センサによって取り込まれた情報を分析して、検出された顔における眼球の方向を決定することによって、顔がディスプレイコンポーネント114の方向に視線を向けているかどうかを決定することができる。光検出センサモジュール122はまた、たとえば眼球もしくは口の隅部など、検出された顔の他の特徴部、検出された顔における眉、検出された顔における耳、または視線の方向を決定するのに使用され得る他の顔面特徴部を分析することによって、顔がディスプレイコンポーネント114の方向に視線を向けているかどうかを決定することができる。

【0023】

視線が検出されない場合、別のトリガリングイベントが検出される(202)まで、視線検出は非アクティブ化され得る(208)。いくつかの実施形態では、視線検出を非アクティブ化するステップは、電力を保存するために、光検出センサモジュール122および/または関連センサの電力を下げるステップを含むことができる。いくつかの実施形態では、視線検出を非アクティブ化するステップは、視線検出がアクティブ化されているときよりも少ない画像が取り込まれるように、光検出センサのデューティサイクルまたはフレームレートを低下させるステップを含むことができる。いくつかの実施形態では、視線検出を非アクティブ化するステップは、光検出センサが、取り込まれた画像を処理する光検出センサモジュール122なしに画像を継続して取り込むステップを含むことができる。いくつかの実施形態では、取り込まれた画像は、バッファ、光検出センサモジュール122の内部にあるメモリ、またはメモリ108〜112のうちのいずれかに記憶され得る。

【0024】

視線が検出された場合、ディスプレイコンポーネント114は、アクティブ化され得、かつ/またはコンテンツは、所定の時間量の間、ディスプレイコンポーネント114に表示され得(210)、それにより、ユーザは、ディスプレイコンポーネント114における情報を見ることができる。ディスプレイコンポーネント114をアクティブ化し、コンテンツを表示するステップは、キーロックまたはセキュリティチャレンジをパスするステップを含むことができる。いくつかの実施形態では、ディスプレイコンポーネント114をアクティブ化するステップにより、処理コンポーネント106は、ディスプレイコンポーネント114によって表示され得るキーロックまたはセキュリティチャレンジを生成し得る。キーロックは、指示された方向にスライダをスライドすることなど、ユーザにキーロックを解除するためのアクションを行うように求めるスライダまたは他のモーションチャレンジでもよい。セキュリティチャレンジは、セキュリティ目的で、ユーザに示される所要のパスワード、個人識別番号(PIN)、パターンチャレンジ、またはバイオメトリックチャレンジとすることができる。いくつかの実施形態では、キーロックおよびセキュリティチャレンジのうちの少なくとも1つは、所定の非活動時間後、またはデバイス100を保護するためにロックスイッチもしくはコマンドを介してユーザ120が手動でデバイス100をロックした後、デバイス100のオペレーティングシステムによって要求される場合がある。検出された視線によりディスプレイコンポーネント114をアクティブ化するステップは、キーロックまたはセキュリティチャレンジを回避することができる。たとえば、視線検出が視線を検出した場合、この視線の検出は、ディスプレイコンポーネント114をアクティブ化し、キーロックを回避するには十分であるが、セキュリティチャレンジを回避するには不十分である場合がある。しかしながら、いくつかの実施形態では、視線検出が顔面検出を含む場合、光検出センサモジュール122は単独でまたは処理コンポーネントとの組合せで、顔を検出し、検出された顔が、光検出センサモジュール122の内部メモリ、またはメモリ108〜112のうちのいずれかに記憶され得るユーザ120または他の承認されたユーザの顔など、既知の顔に一致するかどうかを決定するように構成可能である。検出された顔がユーザ120の顔に一致する場合、セキュリティチャレンジは、ディスプレイコンポーネント114がアクティブ化されているとき、回避され得る。

【0025】

所定の時間量が経過した後、光検出センサモジュール122は、視線が検出されるかどうかを再度、決定することができ(206)、ディスプレイコンポーネント114は、視線がまだ検出される場合、アクティブのままの状態であり、かつ/またはコンテンツを表示することができる(210)。視線が所定の時間量後にもはや検出されなくなったとき、ディスプレイは、非アクティブ化され得、かつ/またはコンテンツは、もはや表示され得ず、別のトリガリングイベントが検出されるまで(202)、光検出センサモジュール122による視線検出は非アクティブ化され得る(208)。いくつかの実施形態では、ユーザ120は、ディスプレイコンポーネント114を非アクティブ化でき、時間量が経過する前、または時間量が経過しないうちは視線検出を非アクティブ化することができ得る。たとえば、ユーザは、物理的か仮想的かにかかわらずディスプレイコンポーネント114に表示されたボタンを押すことによって、またはデバイス100の設定を変更することによって、ディスプレイコンポーネント114および/または視線検出を手動でオフにすることができる。いくつかの実施形態では、光検出センサモジュール122は、ジェスチャを検出するようにさらに構成可能であり、検出されたジェスチャは、ディスプレイコンポーネント114および/または視線検出が非アクティブ化されるように命令することができる。たとえば、ディスプレイコンポーネント114の上をスワイプすること、またはデバイス100の光学センサを遮蔽することを用いて、いくつかの実施形態では、アラートを却下し、かつ/またはディスプレイコンポーネント114がアクティブ化されないようにすることができる。いくつかの実施形態では、先に述べたような周囲光センサを使用して、ディスプレイコンポーネント114および/または視線検出を非アクティブ化することができる。たとえば、周囲光センサは、周囲光が全く存在しないか、または非常に少量存在していること(これは、デバイスが、引出し、バッグ、またはポケットの中に置かれていることを示す場合がある)を検出することができる。周囲光センサは、電力を保存するために、ディスプレイコンポーネント114および/または視線検出を非アクティブ化する決定を行うことができる処理コンポーネント106にこの情報を送ることができる。

【0026】

いくかの実施形態では、ユーザ120は、光検出センサモジュール122単独によってまたは処理コンポーネント106との組合せで実装される視線検出および/または眼球追跡を通じて、アクティブ化されたディスプレイコンポーネント114に表示されたコンテンツとさらにインタラクションすることができ得る。たとえば、光検出センサモジュール122によって検出されたとき、ディスプレイコンポーネント114に表示されたコンテンツへのスワイプ、表示されたアラートを却下すること、次のメッセージに移動することなどと解釈され得る「スワイプ」動作において、ユーザ120は、自分の眼球を一方の側から他方の側に動かすことができ得る。ユーザ120が所定の時間期間の間、表示されたコンテンツに視線を向けていることを検出することは、コンテンツを選択していることと解釈され得る。ユーザ120が瞬きをしていることを検出することは、ユーザ120が、表示されたコンテンツを閉じていることと解釈され得る。ユーザ120が、検出された点頭との組合せで所定の時間期間の間、コンテンツを見ていることを検出することは、ユーザ120が、たとえば、コンテンツをファイルフォルダに移動する、コンテンツを削除するなどのために、ディスプレイコンポーネント114の画面における表示されたコンテンツを移動できるように、表示されたコンテンツの選択と解釈され得る。いくつかの実施形態では、ディスプレイコンポーネント114をアクティブ化し、ディスプレイコンポーネント114にコンテンツを表示するために視線を検出するステップを、たとえば、ディスプレイコンポーネント114がアクティブ化された後、およびコンテンツが表示されている後、追加のやり方で、表示されたコンテンツとインタラクションするために、既知の視線、および頭部または顔面のジェスチャ検出アルゴリズムと組み合わせてユーザ120の頭部または顔によって作られるジェスチャを変換することができる。

【0027】

いくつかの実施形態に従って、図2に示されるプロセス200は、トリガリングイベントに応答する場合にのみ視線検出をアクティブ化し、ユーザ120が光検出センサモジュール122に視線を向けていると、ディスプレイコンポーネントをアクティブの状態に、かつコンテンツを表示の状態に保つことによって電力節約をもたらすことができる。さらには、図2に示されるプロセス200はまた、ユーザ120によってデバイス100とのインタラクションの向上をもたらすことができ、これにより、ユーザ120は、デバイス100の光検出センサモジュール122に視線を向けることによって、デバイス100とインタラクションして、ディスプレイコンポーネント114に表示されたコンテンツを見ることができるようになる。

【0028】

図3は、いくつかの実施形態に従った、視線検出を用いるデバイス100のディスプレイコンポーネント114をアクティブ化するためのプロセスを示すフローチャートである。例示を目的として、図3は、図1を参照して説明することとする。図3に示すプロセス300は、デバイス100の処理コンポーネント106における1つまたは複数のプロセッサによって実行されるようにコンピュータ可読命令において実施可能である。いくつかの実施形態では、プロセス300は、メモリ108〜112のうちのいずれかに記憶され、処理コンポーネント106によって実行されるデバイス100のオペレーティングシステムによって実装可能である。いくつかの実施形態では、プロセス300は、オペレーティングシステムにおけるバックグランドサービスとして実装可能である。図3に示すように、プロセス300は、近接検出センサ124を使用して近接検出を起動することによって開始する(302)。いくつかの実施形態では、近接検出は、ユーザ120によって起動され得る。いくつかの実施形態では、近接検出は、デバイス100のオペレーティングシステムによって自動的に起動され得る。近接検出の起動は、図2に関して上述したように、トリガリングイベントに応答するものであってよい。近接検出はまた、デバイス100が電力オンにされたとき起動され得、デバイス100が電力オンである間、オンのままの状態であることが可能である。近接検出センサ124は、処理コンポーネント106、ならびにメモリ108、110、および112のうちのいずれかに記憶された命令との組合せで、対象物が近接検出センサの近くで検出されるかどうかを決定することができる(304)。いくつかの実施形態によれば、対象物が近くにいるかどうかを決定するステップは、超音波センサおよび/または赤外線センサを使用して、近さを検出するステップを含むことができる。さらには、対象物が近くにいるかどうかを決定するステップはまた、ユーザでない対象物が検出されないように、対象物の熱を検出するステップを含むことができる。近接検出はまた、ユーザ120がデバイス100の近くに来ると、ユーザ120など、対象物が背景光を遮蔽することによって引き起こされる周囲光の低減を、周囲光センサを使用して検出することを含むことができる。

【0029】

近接検出が起動された後、近接検出センサ124は、近接検出センサ124の近くの対象物について継続して監視することができる。近接検出センサ124が近くの対象物を検出したとき、光検出センサモジュール122がアクティブ化され得る(306)。いくつかの実施形態では、近接検出センサ124は、光検出センサモジュール122および/またはそれと関連付けられる光学センサよりも電力を消費しない場合がある。したがって、いくつかの実施形態では、近接検出センサ124を使用してすぐ近くの対象物について監視することは、光検出センサモジュール122を使用してすぐ近くの対象物について監視することと比較して電力を節約することができる。光検出センサモジュール122によって取り込まれた情報は、顔が検出されるかどうかを決定するために分析され得る(308)。いくつかの実施形態では、光検出センサモジュール122によって取り込まれた情報は、光検出センサモジュール122内で、顔面検出アルゴリズムなど、方法または関数を実行することによって分析され得る。光検出センサモジュール122によって取り込まれた情報はまた、メモリ108〜112のうちのいずれかに記憶された顔面検出アルゴリズムに従って分析するために処理コンポーネント106に送信され得る。さらには、光検出センサモジュールによって取り込まれた情報は、顔面検出アルゴリズムに従って、処理コンポーネント106および光検出センサモジュール122の組合せによって分析され得る。いくつかの実施形態では、顔面検出アルゴリズムは、任意の既知の顔面検出アルゴリズムとすることができる。顔が検出されない場合、光検出センサモジュール122および/または関連センサは、別の対象物が近接検出センサ124の近くで検出されるまで(304)、抑制電力モードに入ることができる(310)。いくつかの実施形態では、光検出センサモジュール122の抑制電力モードは、電力を保存するために、関連センサの電力を下げるステップを含むことができる。いくつかの実施形態では、抑制電力モードは、光検出センサモジュール122がアクティブ化されているときよりも少ない画像が取り込まれるように、関連センサのデューティサイクルまたはフレームレートを低下させるステップを含むことができる。いくつかの実施形態では、抑制電力モードは、取り込まれた画像を処理する光検出センサモジュール122なしに画像を継続して取り込む光学センサを含むことができる。そのような実施形態では、取り込まれた画像は、バッファ、光検出センサモジュール122の内部のメモリ、またはメモリ108〜112のうちのいずれかに記憶され得る。

【0030】

308において顔が検出された場合、視線検出が起動され得る(312)。いくつかの実施形態では、視線検出を起動するステップは、たとえば、光検出センサモジュール122および/もしくは処理コンポーネント106、またはそれらの組合せによって実行される視線検出モジュール、関数、および/もしくは方法をアクティブ化し、または起動するステップを含む。いくつかの実施形態によれば、視線検出を起動するステップは、光検出センサモジュール122を起動して、視線を検出するための光画像をモジュール内で、および/または処理コンポーネント106によって取り込み、処理するステップを含む。いくつかの実施形態では、視線検出を起動するステップは、視線検出がアクティブ化される前よりも多くの画像を光検出センサモジュール122が取り込むように、光検出センサモジュール122と関連付けられる光学センサのデューティサイクルまたはフレームレートを増加させるステップを含むことができる。光検出センサモジュール122は、モジュール122内におよび/または処理コンポーネント106との組合せで含まれる機能、ならびにメモリ108、110、および112のうちのいずれかに記憶される命令を使用して、視線が検出されるかどうかを決定することができる(314)。視線は、たとえば上述したように、任意の数の視線検出アルゴリズムを使用して検出され得、これは、光検出センサモジュール122によって取り込まれた情報を分析して、検出された顔における眼球の方向を決定するステップを含み得る。視線はまた、眼球もしくは口の隅部など、検出された顔の他の特徴部、検出された顔における眉、検出された顔における耳、または視線の方向を決定し、検出された顔がディスプレイコンポーネント114の方向に視線を向けているかどうかを決定するために使用され得る他の顔面特徴部を分析することによって検出され得る。視線が検出されない場合、光検出センサモジュール122は、顔が光検出センサモジュール122の視野内に依然として入っている限り、視線を継続して探す(308、312、314)。しかしながら、いくつかの実施形態では、視線が、所定の時間期間後、検出されない場合、光検出センサモジュール122は、抑制電力モードに入ることができ(310)、視線検出は、非アクティブ化され得る。しかしながら、視線が検出された場合、ディスプレイコンポーネント114は、アクティブ化され得(316)、それにより、ユーザは、ディスプレイコンポーネントに表示されたコンテンツを見ることが可能になる。ディスプレイコンポーネント114をアクティブ化し、コンテンツを表示するステップは、図2に示すプロセス200に関して上述したようなキーロックまたはセキュリティチャレンジをパスするステップを含むことができる。さらには、ユーザ120は、図2に示すプロセス200に関して上述したように、光検出センサモジュール122単独によってまたは処理コンポーネント106との組合せで実装される視線検出および/または眼球追跡を通じて、アクティブ化されたディスプレイコンポーネント114に表示されたコンテンツとさらにインタラクションすることができ得る。

【0031】

いくつかの実施形態に従って、図3に示すプロセス300は、ユーザ120がデバイス100の所定の近さの範囲内に存在し、活発にデバイス100に視線を向けていると決定されたとき、ディスプレイコンポーネント114をアクティブ化することによって電力節約をもたらすことができる。さらには、プロセス300は、顔がデバイス100の所定の近さの範囲内に存在すると決定された場合、視線検出をアクティブ化することによってさらなる電力節約をもたらす。さらには、プロセス300はまた、ユーザ120によってデバイス100とのインタラクションの向上をもたらすことができ、これにより、ユーザ120は、デバイス100の光検出センサモジュール122に視線を向けることによって、デバイス100とインタラクションして、ディスプレイコンポーネント114に表示されたコンテンツを見ることができるようになる。

【0032】

図4は、いくつかの実施形態に従った、視線検出を用いるディスプレイコンポーネント114にコンテンツを表示するためのプロセスを示すフローチャートである。例示を目的として、図4は、図1を参照して説明することとする。図4に示すプロセス400は、デバイス100の処理コンポーネント106における1つまたは複数のプロセッサによって実行されるようにコンピュータ可読命令において実施可能である。いくつかの実施形態では、プロセス400は、メモリ108〜112のうちのいずれかに記憶され、処理コンポーネント106によって実行されるデバイス100のオペレーティングシステムによって実装可能である。いくつかの実施形態では、プロセス400は、オペレーティングシステムにおけるバックグラウンドサービスとして実装可能である。図4に示すように、プロセス400は、トリガリングイベントが検出されたとき、開始する(402)。いくつかの実施形態によれば、トリガリングイベントは、加速度計118によって検出された、デバイス100の移動を示す加速度とすることができる。デバイス100の付随的な移動がトリガリングイベントとして検出されないようにするために、検出された加速度は、ユーザ120がデバイス100を持ち上げていることを示す既知の加速度閾値と加速度計118または処理コンポーネント106によって比較され得る。トリガリングイベントはまた、近接センサ124によって検出される、ユーザ120の検出された近さとすることができる。検出された近さはまた、ユーザ120が近接検出センサ124およびデバイス100の近くにいるとき、検出された近さのみがトリガリングイベントとして登録されることを確実にするように、検出された熱を含むことができる。トリガリングイベントはまた、処理コンポーネント106によって、生成されるアラートを含むことができる。アラートは、受信した電子メール、電話呼出し、もしくは他のメッセージをユーザ120に知らせるシステムアラート、または次回のカレンダ予約をユーザ120に知らせるアラートなどとすることができる。

【0033】

いくつかの実施形態では、トリガリングイベントは、加速度センサ118によって検出される加速度、近接センサ124によるユーザ120の近さ、タッチ、または処理コンポーネント106によって生成されるアラートのうちのいずれかの組合せを含むことができる。たとえば、処理コンポーネント106は、処理デバイス100を振動させるアラートを生成し、可聴音を生成し、または点滅光、もしくはユーザ120にアラートについて知らせるために、ユーザ120の注意を引きつけることができる他のインジケータを生成することができる。次いで、ユーザ120は、デバイス100を持ち上げ、アラートを見るために極めて近くにデバイス100を持ってくる場合がある。加速度計118は、デバイス100を持ち上げる動作を検出することができ、近接センサ124は、ユーザ120の近さを検出することができる。これらの実行のうちのいずれかまたはすべての組合せは、処理コンポーネント106がその後の実行を行うことになるトリガリングイベントとすることができる。

【0034】

トリガリングイベントを検出するステップに応答して、ディスプレイコンポーネント114がアクティブ化され得る(404)。いくつかの実施形態では、デバイス100において実行されるオペレーティングシステムは、トリガリングイベントが検出されたとき、たとえば、トリガリングイベントの指示を提供し、かつ/またはユーザ120に、アラートなど、トリガリングイベントのプレビューを提供するために、ディスプレイコンポーネント114を自動的にアクティブ化することができる。所定の時間後、何らアクションが行われない場合、オペレーティングシステムは、電力を保存するために、ディスプレイコンポーネント114を非アクティブ化することができる。近接センサ124もまた、トリガリングイベントを検出するステップに応答してアクティブ化され得る(406)。いくつかの実施形態では、近接センサ124は、ディスプレイコンポーネント114がアクティブであるときにはアクティブであるように、またはディスプレイコンポーネントがアクティブでないときには非アクティブ、すなわち抑制電力モードであるように構成可能である。近接センサ124の構成は、オペレーティングシステム構成とすることができる。

【0035】

トリガリングイベントを検出するステップに応答して、光検出センサモジュール122もまた、アクティブ化され得る(408)。光検出センサモジュール122は、モジュール122内のおよび/または処理コンポーネント106との組合せでの機能、ならびにメモリ108、110、および112のいずれかに記憶された命令を使用して、視線が検出されるかどうかを決定することができる(410)。視線は、いくつかの視線検出アルゴリズムのうちのいずれかを使用して検出され得、既知の顔面検出アルゴリズムに従って行われる顔面検出を含むことができる。たとえば、顔が検出された場合、光検出センサモジュール122は、光検出センサモジュール122によって取り込まれた情報を分析して、検出された顔における眼球の方向を決定することによって、顔がディスプレイコンポーネント114の方向に視線を向けているかどうかを決定することができる。光検出センサモジュール122はまた、顔が、眼球もしく口の隅部など、検出された顔の他の特徴部、検出された顔における眉、検出された顔における耳、または視線の方向を決定するために使用され得る他の顔面特徴部を分析することによって、ディスプレイコンポーネント114の方向に視線を向けているかどうかを決定することができる。

【0036】

視線が検出されない場合、光検出センサモジュール122は抑制電力モードに入ることができる(412)。いくつかの実施形態では、光検出センサモジュール122の抑制電力モードは、電力を保存するために、光学センサの電力を下げるステップを含むことができる。いくつかの実施形態では、抑制電力モードは、光検出センサモジュールがアクティブ化されているときよりも少ない画像が取り込まれるように、光検出センサのデューティサイクルまたはフレームレートを低下させるステップを含むことができる。いくつかの実施形態では、抑制電力モードは、取り込まれた画像を処理する光検出センサモジュール122なしに継続して画像を取り込む光学センサを含むことができる。このような実施形態では、取り込まれた画像は、バッファ、光検出センサモジュール122の内部にあるメモリ、またはメモリ108〜112のうちのいずれかに記憶され得る。

【0037】

視線が検出されない場合、近接センサ124はまた、非アクティブ化され得る(414)。近接センサ124の非アクティブ化は、光検出センサモジュール122の低電力モードに類似し得る低電力モードに入るステップを含むことができる。いくつかの実施形態では、近接センサの非アクティブ化は、電力を消費しないように近接センサ124を非アクティブ化するステップを含み得る。視線が検出されない場合、別のトリガリングイベントが検出されるまで(402)、ディスプレイコンポーネント114もまた、非アクティブ化され得る(416)。ディスプレイコンポーネント114を非アクティブ化するステップは、ディスプレイコンポーネントによって表示するためにレンダリングされるコンテンツがユーザ120に見えないように、ディスプレイコンポーネント114のバックライトを非アクティブ化するステップを含むことができる。ディスプレイコンポーネント114を非アクティブ化するステップはまた、非アクティブ化である間、コンテンツがディスプレイコンポーネント114によって表示するためにレンダリングされないように、ディスプレイコンポーネント114と関連付けられたレンダリングおよび処理機能を非アクティブ化するステップを含み得る。ディスプレイコンポーネント114は、416で自動的に非アクティブ化され得るが、いくつかの実施形態では、ユーザ120が、たとえば、物理的か仮想的かにかかわらずディスプレイコンポーネント114に表示されたボタンを押すことによって、またはデバイス100の設定を変更することによって、ディスプレイコンポーネント114を非アクティブ化することができ得る。いくつかの実施形態では、光検出センサモジュール122は、ジェスチャを検出するようにさらに構成可能であり、検出されたジェスチャは、ディスプレイコンポーネント114を非アクティブ化することができる。さらには、ディスプレイコンポーネント114は、上述したように、周囲光センサによって周囲光をまったく検出しないか、または非常に少ない量の周囲光を検出することに応答して、非アクティブ化され得る。

【0038】

視線が光検出センサモジュール122によって検出された場合、キーロックまたはセキュリティチャレンジがパスされ得る(418)。いくつかの実施形態では、検出された視線は、キーロックを回避するには十分であるが、パスワードまたはPINなどのセキュリティチャレンジを回避するには不十分である場合がある。いくつかの実施形態に従って、光検出センサモジュール122は単独でまたは処理コンポーネント106との組合せで、顔を検出し、検出された顔が、光検出センサモジュール122の内部メモリ、またはメモリ108〜112のうちのいずれかに記憶され得るユーザ120の顔など、既知の顔に一致するかどうかを決定するように構成可能である。検出された顔がユーザ120の顔に一致する場合、セキュリティチャレンジは、ディスプレイコンポーネント114がアクティブ化されているとき、回避され得る。いくつかの実施形態では、トリガのあるタイプは、セキュリティチャレンジが回避されるかどうかを決定することができる。たとえば、更新されているニュースフィードのアラートにより、セキュリティチャレンジが回避されることになる場合があるが、個人電子メールの受信により、なおもセキュリティチャレンジが示されることになる場合がある。いくつかの実施形態では、承認済みユーザは、デバイスにおけるすべてのコンテンツについて承認される。他の実施形態では、承認済み各ユーザは、セキュリティチャレンジが承認済みユーザを認識すると示されることになるかどうか、および/または所与のタイプのトリガリングイベントが起きたとき、ユーザがアクセスを許可されることになるかどうかを決定する許可のセットを有することができる。いくつかの実施形態では、ユーザを認証するステップは、ユーザの眼球の色と既知の眼球色を照合するステップ、および/またはユーザのバイオメトリックデータ、たとえばユーザの眼球の揺れを確認するステップを含むことができる。ディスプレイコンポーネント114は、ユーザがセキュリティをパスした後、コンテンツを表示することができる(420)。表示されたコンテンツは、受信した電子メール、カレンダアラート、メッセージなど、上述のトリガリングアラートとすることができる。コンテンツは、所定の時間の間、ディスプレイコンポーネントに表示され得、その後、光検出センサは、ユーザ120が光検出センサモジュール122になおも視線を向けているかどうかを決定することができる(422)。視線が検出されない場合、光検出センサモジュール122は抑制電力モードに入ることができ(412)、近接センサ124は非アクティブ化され得(414)、ディスプレイコンポーネント114は、別のトリガリングイベントが検出されるまで(402)、またはユーザ120がこれらのコンポーネントのうちのいずれかを手動でアクティブ化するまで、上述したように、非アクティブ化され得る(416)。視線が検出された場合、ディスプレイコンポーネント114は、視線が検出される限り、またはユーザがディスプレイコンポーネント114を手動で非アクティブ化するまで、非アクティブ化のままの状態であることができ(424)、近接センサ124は、電力を節約するために非アクティブ化され得る(426)。さらには、ユーザ120は、図2におけるプロセス200に関して上述したように、光検出センサモジュール122単独によってまたは処理コンポーネント106との組合せで実装される視線検出および/または眼球追跡を通じて、アクティブ化されたディスプレイコンポーネント114に表示されたコンテンツとさらにインタラクションすることができ得る。

【0039】

いくつかの実施形態に従って、プロセス400は、ユーザ120が活発にデバイス100に視線を向けていると決定されたとき、コンテンツを表示するためのディスプレイコンポーネント114をアクティブ化することによって電力節約をもたらすことができる。さらには、プロセス400は、トリガリングイベントに応答して、近接センサ124および光検出センサモジュール122をアクティブ化することによって、さらなる電力節約をもたらすことができる。さらには、プロセス400はまた、ユーザ120によってデバイス100とのインタラクションの向上をもたらすことができ、それにより、ユーザ120は、デバイス100の光検出センサモジュール122に視線を向けることによって、デバイス100とインタラクションして、キーロックまたはセキュリティチャレンジをパスし、ディスプレイコンポーネント114に表示されるコンテンツを見ることができるようになる。

【0040】

プログラムコードおよび/またはデータなど、本開示によるソフトウェアは、デバイス100におけるメモリ108、110、および112のうちのいずれかなど、非一時的機械可読媒体を含む1つまたは複数の機械可読媒体において記憶され得る。また、本明細書に特定されたソフトウェアは、1つまたは複数の汎用もしくは専用のコンピュータ、または特定用途向け集積回路(ASIC)、および/あるいはコンピュータシステム、ネットワーク化ならびに/あるいは別の形を使用して実装可能であることが企図される。適用可能な場合には、本明細書に説明した様々なステップの順序は、本明細書に説明した特徴を提供するために、変更しても、複合ステップに組み合わせても、かつ/またはサブステップに分けてもよい。

【0041】

結果として、本明細書に説明した実施形態は、デバイス内に組み込まれ、またはデバイスに連結された光検出センサをユーザが見ることでデバイスをアクティブ化し、ロック解除することを可能にすることによって、ユーザ便宜をもたらすことができる。さらには、本明細書に説明した実施形態はまた、1つまたは複数のトリガリングイベントに応答してのみ視線検出をアクティブ化し、次いで、視線が検出されたときのみ、デバイスのディスプレイをアクティブ化することによって電力節約をもたらすことができる。上記に与えた例は、単なる例示にすぎず、限定していると意図するものではない。当業者は、本開示の範囲内にあると意図される開示の実施形態に従って他のシステムを容易に考案することができる。したがって、本願は、添付の特許請求の範囲によってのみ限定される。

【符号の説明】

【0042】

100 処理デバイス
102 ネットワークインターフェースコンポーネント
104 システムバス
106 処理コンポーネント
108 メモリ、システムメモリコンポーネント
110 メモリ、内部メモリコンポーネント
112 メモリ、外部メモリコンポーネント、スタティックメモリ
114 ディスプレイコンポーネント
116 入力/ナビゲーション制御コンポーネント
118 加速度計
120 ユーザ
122 光検出センサモジュール
124 近接センサ
200 プロセス
202 トリガリングイベントを検出する
204 視線検出をアクティブ化する
206 視線が検出されるかどうかを決定する
208 視線検出を非アクティブ化する
210 ディスプレイコンポーネントをアクティブ化し、コンテンツを所定の時間量の間、ディスプレイコンポーネントに表示する
300 プロセス
302 近接検出を起動する
304 対象物が近接検出センサの近くで検出されるかどうかを決定する
306 光検出センサモジュールをアクティブ化する
308 顔が検出されるかどうかを決定する
310 光検出センサモジュールおよび/または関連センサが抑制電力モードに入る
312 視線検出を起動する
314 視線が検出されるかどうかを決定する
316 ディスプレイコンポーネントをアクティブ化する
400 プロセス
402 トリガリングイベントを検出する
404 ディスプレイコンポーネントをアクティブ化する
406 近接センサをアクティブ化する
408 光検出センサモジュールをアクティブ化する
410 視線が検出されるかどうかを決定する
412 光検出センサモジュールが抑制電力モードに入る
414 近接センサを非アクティブ化する
416 ディスプレイコンポーネントを非アクティブ化する
418 キーロックまたはセキュリティチャレンジをパスする
420 コンテンツを表示する
422 ユーザが光検出センサモジュールになおも視線を向けているかどうかを決定する
424 ディスプレイコンポーネントを非アクティブ化のままの状態にする
426 近接センサを非アクティブ化する

【図1】

【図2】

【図3】

【図4】