特表 2024-526868 光検出器アレイを用いたバイオメトリック検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-19

(54)【発明の名称】光検出器アレイを用いたバイオメトリック検出

(51)【国際特許分類】

   A61B 5/02 20060101AFI20240711BHJP

   A61B 5/0245 20060101ALI20240711BHJP

【ＦＩ】

A61B5/02 310B

A61B5/02 310F

A61B5/0245 200

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024503469

(86)(22)【出願日】2022-07-14

(85)【翻訳文提出日】2024-02-21

(86)【国際出願番号】 US2022073715

(87)【国際公開番号】W WO2023004250

(87)【国際公開日】2023-01-26

(31)【優先権主張番号】17/305,990

(32)【優先日】2021-07-19

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】シン，ドンギク

(72)【発明者】

【氏名】シルバーシャッツ，ポール・ジョセフ

【テーマコード（参考）】

4C017

【Ｆターム（参考）】

4C017AA02

4C017AA10

4C017AA14

4C017AB02

4C017AC28

4C017BC16

4C017BC21

4C017DD01

(57)【要約】

ウェアラブルデバイスなどのコンピューティングデバイスは光源および光検出器アレイを含み得る。光検出器アレイは、ある時間間隔中に発生するユーザのタッチイベントを決定するために使用され得る。タッチイベントに関連する複数の光検出器のサブセットは、時間間隔内の複数の時間のそれぞれで検出信号を提供し、検出信号は、時系列の集約検出信号を取得するように集約され得る。ユーザのバイオメトリックデータは、時系列の集約検出信号に基づいて生成され得る。

【特許請求の範囲】

【請求項1】

非一時的コンピュータ可読記憶媒体上に有形的に具現化されるとともに、命令を含み、該命令は、少なくとも１つのコンピューティングデバイスによって実行されると、前記少なくとも１つのコンピューティングデバイスに、
ある時間間隔中に、複数の光検出器を含む光検出器アレイで発生するユーザのタッチイベントを決定させ、
前記タッチイベントが前記複数の光検出器のサブセットの光検出器からの検出信号を引き起こす、前記複数の光検出器の前記サブセットを決定させ、
前記時間間隔内の複数の時間のそれぞれにおける前記複数の光検出器の前記サブセットの前記光検出器からの前記検出信号を集約させて、時系列の集約検出信号を取得させ、
前記時系列の集約検出信号に基づいて、前記ユーザのバイオメトリックデータを生成させる、
ように構成される、コンピュータプログラムプロダクト。

【請求項2】

前記命令は、実行されると、前記少なくとも１つのコンピューティングデバイスに、前記光検出器アレイによって前記時間間隔中に捕捉される画像フレームのセットを記憶させるようにさらに構成され、前記画像フレームのセットの各画像フレームは、光源から前記ユーザに向けられて前記ユーザから反射される光の反射光から決定される前記タッチイベントのタッチ表面を含む、請求項１に記載のコンピュータプログラムプロダクト。

【請求項3】

前記命令は、実行されると、前記少なくとも１つのコンピューティングデバイスに、
前記画像フレームのセットのうちの１つの画像フレームに関して、前記画像フレームの前記タッチ表面に関連する反射光を受ける候補光検出器を決定させ、
それぞれの前記候補光検出器ごとに、閾値と比較して、前記タッチ表面に関連する前記反射光を評価することを含めて、前記候補光検出器から前記複数の光検出器の前記サブセットを選択させる、
ようにさらに構成される、請求項２に記載のコンピュータプログラムプロダクト。

【請求項4】

前記命令は、実行されると、前記少なくとも１つのコンピューティングデバイスに、
前記画像フレームのセットのそれぞれの画像フレームごとに、各光検出器において、タッチ表面に関連する反射光に関し、接触二値化を実行させ、それにより、対応する画像フレームにおける前記複数の光検出器の前記サブセットに各光検出器を含めるかどうかを決定させる、
ようにさらに構成される、請求項２または請求項３に記載のコンピュータプログラムプロダクト。

【請求項5】

前記命令は、実行されると、前記少なくとも１つのコンピューティングデバイスに、
前記タッチ表面の時空間的な滑らかさを特徴付けさせる、
ようにさらに構成される、請求項２～請求項４のいずれか１項に記載のコンピュータプログラムプロダクト。

【請求項6】

前記命令は、実行されると、前記少なくとも１つのコンピューティングデバイスに、
各画像フレームの前記タッチ表面の凸性を特徴付けさせ、
それぞれの画像フレームごとに、前記凸性に基づき、前記光検出器のサブセットの前記光検出器からの前記検出信号を前記時系列の集約検出信号に含めるかどうかを決定させる、
ようにさらに構成される、請求項２～請求項５のいずれか１項に記載のコンピュータプログラムプロダクト。

【請求項7】

前記命令は、実行されると、前記少なくとも１つのコンピューティングデバイスに、
前記画像フレームのセットの前記集約検出信号に対してスペクトル解析を実行させて、前記集約検出信号における周波数情報を決定させ、
前記周波数情報を用いて、前記ユーザの心拍数を含む前記バイオメトリックデータを生成させる、
ようにさらに構成される、請求項２～請求項６のいずれか１項に記載のコンピュータプログラムプロダクト。

【請求項8】

前記命令は、実行されると、前記少なくとも１つのコンピューティングデバイスに、前記複数の光検出器の全体にわたって前記時間間隔中に前記タッチイベントのタッチ表面の移動を追跡させるようにさらに構成され、前記タッチ表面は前記ユーザと前記複数の光検出器との間の接触点を含み、前記複数の光検出器の前記サブセットが光検出器を含み、該光検出器から前記移動中に前記検出信号が取得される、
先行する請求項のいずれか１項に記載のコンピュータプログラムプロダクト。

【請求項9】

前記命令は、実行されると、前記少なくとも１つのコンピューティングデバイスに、
前記光検出器アレイが光学式フィンガーナビゲーション（ＯＦＮ）のために使用されている間に、前記光検出器アレイからの前記タッチイベントの発生を決定させる、
ようにさらに構成される、先行する請求項のいずれか１項に記載のコンピュータプログラムプロダクト。

【請求項10】

前記命令は、実行されると、前記少なくとも１つのコンピューティングデバイスに、
前記バイオメトリックデータと前記ユーザの記憶されたバイオメトリックデータとの比較を実行させ、
前記比較に基づいて前記ユーザを認証させる、
ようにさらに構成される、先行する請求項のいずれか１項に記載のコンピュータプログラムプロダクト。

【請求項11】

ある時間間隔中に、複数の光検出器を含む光検出器アレイで発生するユーザのタッチイベントを決定することと、
前記タッチイベントが前記複数の光検出器のサブセットの光検出器からの検出信号を引き起こす、前記複数の光検出器の前記サブセットを決定することと、
前記時間間隔内の複数の時間のそれぞれにおける前記複数の光検出器の前記サブセットの前記光検出器からの前記検出信号を集約して、時系列の集約検出信号を取得することと、
前記時系列の集約検出信号に基づいて、前記ユーザのバイオメトリックデータを生成することと、
を含むコンピュータが実行する方法。

【請求項12】

前記光検出器アレイによって前記時間間隔中に捕捉される画像フレームのセットを記憶することをさらに含み、前記画像フレームのセットの各画像フレームは、光源から前記ユーザに向けられて前記ユーザから反射される光の反射光から決定される前記タッチイベントのタッチ表面を含む、請求項１１に記載の方法。

【請求項13】

前記画像フレームのセットのうちの１つの画像フレームに関して、前記画像フレームの前記タッチ表面に関連する反射光を受ける候補光検出器を決定することと、
それぞれの前記候補光検出器ごとに、閾値と比較して、前記タッチ表面に関連する前記反射光を評価することを含めて、前記候補光検出器から前記複数の光検出器の前記サブセットを選択することと、
をさらに含む、請求項１２に記載の方法。

【請求項14】

各画像フレームの前記タッチ表面の凸性を特徴付けさせることと、
それぞれの画像フレームごとに、前記凸性に基づき、前記光検出器のサブセットの前記光検出器からの前記検出信号を前記時系列の集約検出信号に含めるかどうかを決定することと、
をさらに含む、請求項１２または請求項１３に記載の方法。

【請求項15】

前記画像フレームのセットの前記集約検出信号に対してスペクトル解析を実行して、前記集約検出信号における周波数情報を決定することと、
前記周波数情報を用いて、前記ユーザの心拍数を含む前記バイオメトリックデータを生成することと、
をさらに含む、請求項１２～請求項１４のいずれか１項に記載の方法。

【請求項16】

前記複数の光検出器の全体にわたって前記時間間隔中に前記タッチイベントのタッチ表面の移動を追跡することをさらに含み、前記タッチ表面は前記ユーザと前記複数の光検出器との間の接触点を含み、前記複数の光検出器の前記サブセットが光検出器を含み、該光検出器から前記移動中に検出信号が取得される、請求項１１～請求項１５のいずれか１項に記載の方法。

【請求項17】

前記光検出器アレイが光学式フィンガーナビゲーション（ＯＦＮ）のために使用されている間に、前記光検出器アレイからの前記タッチイベントの発生を決定することをさらに含む、請求項１１～請求項１６のいずれか１項に記載の方法。

【請求項18】

コンピューティングデバイスであって、
プロセッサと、
命令を記憶する記憶媒体と、
本体と、
前記本体に結合され、前記コンピューティングデバイスがユーザによって着用または保持されている間に前記ユーザの方向に光を生成するように構成される光源と、
前記本体に結合されて前記ユーザから反射される前記光源の光を検出するように構成される複数の光検出器を含む光検出器アレイと、
を備え、
前記命令は、前記プロセッサによって実行されると、前記コンピューティングデバイスに、
ユーザから反射される前記光源の前記光から、ある時間間隔中に、前記光検出器アレイで発生する前記ユーザのタッチイベントを決定させ、
前記タッチイベントが前記複数の光検出器のサブセットの光検出器からの検出信号を引き起こす、前記複数の光検出器の前記サブセットを決定させ、
前記時間間隔内の複数の時間のそれぞれにおける前記複数の光検出器の前記サブセットの前記光検出器からの前記検出信号を集約させて、時系列の集約検出信号を取得させ、
前記時系列の集約検出信号に基づいて、前記ユーザのバイオメトリックデータを生成させる、
コンピューティングデバイス。

【請求項19】

前記命令は、前記プロセッサによって実行されると、前記コンピューティングデバイスに、
前記光検出器アレイによって前記時間間隔中に捕捉される画像フレームのセットを記憶させ、前記画像フレームのセットの各画像フレームは、前記タッチイベントのタッチ表面を含む、
請求項１８に記載のコンピューティングデバイス。

【請求項20】

スマートウォッチ、リング、スマートグラス、またはスマートフォンのうちの少なくとも１つ以上を含む、請求項１８または請求項１９に記載のコンピューティングデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
この出願は、その開示全体が参照により本明細書に組み込まれる、２０２１年７月１９日に出願された「光検出器アレイを用いたバイオメトリック検出」という名称の米国非仮特許出願第１７／３０５，９９０号の継続出願であるとともに、この米国非仮特許出願の優先権を主張する。

【0002】

技術分野
この明細書本文はバイオメトリック検出に関する。

【背景技術】

【0003】

背景
ユーザバイオメトリクスを捕捉するためのデバイスおよび技術が存在し得る。例えば、さまざまなバイオメトリックモニタリング技術が、ユーザの皮膚表面で発光ダイオード（ＬＥＤ）やフォトダイオードなどの光源と光検出器を利用して、ユーザの血液循環の容積変化を測定する。例えば、フォトプレチスモグラフィ（ＰＰＧ）センサを使用して、そのような容積変化を測定し、心拍数、呼吸数、および他のバイオメトリック因子を決定することができる。

【発明の概要】

【0004】

概要
１つの一般的な態様によれば、コンピュータプログラムプロダクトは、非一時的コンピュータ可読記憶媒体上に有形的に具現化される。コンピュータプログラムプロダクトは、命令を含み、該命令は、少なくとも１つのコンピューティングデバイスによって実行されると、少なくとも１つのコンピューティングデバイスに、ある時間間隔中に、複数の光検出器を含む光検出器アレイで発生するユーザのタッチイベントを決定させるとともに、タッチイベントに関連する複数の光検出器のサブセットを決定させるように構成される。命令は、少なくとも１つのコンピューティングデバイスによって実行されると、少なくとも１つのコンピューティングデバイスに、時間間隔内の複数の時間のそれぞれにおける複数の光検出器のサブセットからの検出信号を集約させて、時系列の集約検出信号を取得させるとともに、時系列の集約検出信号に基づいて、ユーザのバイオメトリックデータを生成させるようにさらに構成される。

【0005】

他の一般的な態様によれば、コンピュータが実行する方法は、ある時間間隔中に、複数の光検出器を含む光検出器アレイで発生するユーザのタッチイベントを決定することと、タッチイベントに関連する複数の光検出器のサブセットを決定することとを含む。方法は、時間間隔内の複数の時間のそれぞれにおける複数の光検出器のサブセットからの検出信号を集約して、時系列の集約検出信号を取得することと、時系列の集約検出信号に基づいて、ユーザのバイオメトリックデータを生成することとをさらに含む。

【0006】

他の一般的な態様によれば、コンピューティングデバイスは、プロセッサと、命令を記憶する記憶媒体と、本体と、本体に結合され、コンピューティングデバイスがユーザによって着用または保持されている間にユーザの方向に光を生成するように構成される光源とを含む。コンピューティングデバイスは、本体に結合されてユーザから反射される光源の光を検出するように構成される複数の光検出器を含む光検出器アレイをさらに含む。命令は、プロセッサによって実行されると、コンピューティングデバイスに、ユーザから反射される光源の光から、ある時間間隔中に光検出器アレイで発生するユーザのタッチイベントを決定させ、タッチイベントに関連する複数の光検出器のサブセットを決定させ、時間間隔内の複数の時間のそれぞれにおける複数の光検出器のサブセットからの検出信号を集約させて、時系列の集約検出信号を取得させ、時系列の集約検出信号に基づいて、ユーザのバイオメトリックデータを生成させる。

【0007】

１つ以上の実装形態の詳細は、添付図面および以下の説明に記載される。他の特徴は、説明、図面、および特許請求の範囲から明らかになる。

【図面の簡単な説明】

【0008】

【図1】光検出器アレイを使用するバイオメトリック検出用のシステムのブロック図である。

【図2】図１のシステムの動作例を示すフローチャートである。

【図3】図１のシステムの実装例を示す。

【図4】図３の実装例に関する追加の詳細を示す。

【図5】図３の実装例で使用され得る例示的な動き検出技術を示す。

【図6A】図５の例におけるユースケースシナリオ例を示す。

【図6B】図５の例におけるユースケースシナリオ例を示す。

【図6C】図５の例におけるユースケースシナリオ例を示す。

【図7A】図１のシステムを使用して実装される心拍数検出技術の例を示す。

【図7B】図１のシステムを使用して実装される心拍数検出技術の例を示す。

【図8】図１のシステムにおけるタッチイベント解析に関する実装例を示すブロック図である。

【図9】図１のシステムにおける心拍数推定および図８の例における実装例を示すブロック図である。

【図10】認証のための図１のシステムの実装例のブロック図である。

【図11】スマートウォッチを使用して実装される、図１のシステムの例示的な図である。

【図12】スマートグラスを使用して実装される、図１のシステムの例示的な図である。

【図13】スマートフォンを使用して実装される、図１のシステムの例示的な図である。

【図14】少なくとも１つの例示的な実装形態に係るコンピュータデバイス、モバイルコンピュータデバイス、およびヘッドマウントデバイスの一例を示す。

【発明を実施するための形態】

【0009】

詳細な説明
記載されたシステムおよび技術により、光検出器アレイを使用したバイオメトリック検出が可能になる。説明されるシステムは、単一の光検出器、例えば単一のフォトダイオードを使用するのではなく、複数の光検出器および関連する検出技術を使用して、例えば心拍数、心拍数変動、または呼吸数などのバイオメトリックデータを生成する。

【0010】

説明した検出技術とともに複数の光検出器を使用することにより、ユーザがさまざまな態様で、または多くの異なる位置のいずれか１つで光検出器アレイに接触する場合でも、また、ユーザが光検出器アレイに対して接触点（例えば、ユーザの指）を移動させる場合でも、さまざまなタイプのバイオメトリックデータを収集することが可能である。さらに、ユーザが光検出器アレイを使用して、第２のデバイスの機能を制御するなど、他の機能を同時に実行しながら、バイオメトリックデータを収集することも可能である。

【0011】

一部の従来のデバイスは、ユーザが所定の態様で光検出器または他のタイプの検出器に接触することを要求することによって、バイオメトリック検出を実行する。例えば、パルスオキシメータでは、ユーザが光源と光検出器とを含むクリップ内に指を置く必要がある場合がある。他の例では、フィットネスウォッチなどのウェアラブルデバイスが装着中にユーザと接触する場合がある。

【0012】

これらおよび他のシナリオでは、上で言及したように、ＰＰＧセンサはユーザのさまざまなバイオメトリックパラメータを測定する場合がある。そのような従来のシステムは、例えば、使用されている光源／光検出に対してユーザの指がパルスオキシメータ内の期待される位置に配置されるようにするため、または、ウェアラブルデバイスのＰＰＧセンサ（例えば、時計）が、ＰＰＧ測定の所望のレベルの精度を確保するべく着用しているユーザに対して十分に安定しているようにするために、閾値関数を実行する場合がある。

【0013】

これらの技術および類似の技術は多くの利点を提供するが、そのような技術にはさまざまな欠点もある。例えば、ユーザは、所望の測定値を取得するために、最小限の時間でパルスオキシメータ内にユーザの指を積極的かつ正確に配置することが求められる場合がある。同様に、ウェアラブル時計などの一部のウェアラブルデバイスは、心拍数の測定が必要なときにユーザに時計に結合されたセンサに触れることを要求することにより、断続的な心拍数検出を提供する。これらおよび他の例では、ウェアラブルデバイス内の従来のＰＰＧセンサは、そのようなデバイスにコストを追加し、使用が不便である場合があり、および／または捕捉されたバイオメトリックデータに関して所望のタイプの測定値または精度レベルを提供できない場合がある。

【0014】

例えば、時計で使用されるＰＰＧセンサは、時計の着用中に、時計の下にあるユーザの１つ以上の動脈内のユーザの血流の容積変化を検出する場合がある。したがって、時計の装着者にさらなる特定の行動（指の表面で時計のセンサに触れさせるなど）をとることを要求することなく、心拍数またはその他のデータを捕捉することが可能である。

【0015】

しかしながら、多くの場合、ユーザの動脈は、通常のユーザの動きの一部としてＰＰＧセンサに対して動くことがある。そのような動きは、特にユーザが移動している場合、および／または連続測定が必要な場合に、対応するＰＰＧ測定の精度を低下させる場合がある。

【0016】

そのような困難に対処するために、従来のＰＰＧセンサの多くは、加速度計や複数の周波数を伴う複数の光源などの追加のハードウェア（および関連ソフトウェア）を使用する。例えば、そのようなデバイスは、例えば今言及したタイプの動脈運動を考慮するために使用される光の異なる波長の異なる特徴を利用するマルチパスアプローチを実装することができる。例えば、そのようなＰＰＧセンサは、赤外線（ＩＲ）、赤色、および緑色の光源を使用する場合がある。

【0017】

そのようなアプローチでは、ウェアラブルデバイスのコストが増加する。さらに、光の波長が異なれば、ユーザの皮膚に対する透過レベルも異なり、それに応じて、望ましい態様で動脈の変化を検出および測定する能力も異なる。例えば、所望の皮膚透過レベルを達成するという観点からはＩＲ光が好ましいかもしれないが、上で言及したタイプのマルチパス解決策を達成するには緑色光が必要な場合がある。

【0018】

しかしながら、本明細書に記載の技術では、個々の光検出器の光検出器アレイを使用して、複数のタッチイベント中に、光検出器アレイの多数の異なるサブセットのいずれかからバイオメトリックデータを収集することが可能である。したがって、バイオメトリックデータは、ユーザの多数のタッチイベントにわたって収集され得る、および／または測定中のユーザの動き（例えば、指または動脈の動きを含む）を説明し得る。

【0019】

その結果、例えば、上で言及したマルチカラーアプローチなどのマルチパス解決策を使用する必要なく、受動的で継続的な心拍数測定を行うことが可能になる。説明した技術でＩＲ光を使用することにより、例えば、より深い皮膚透過が得られ、コストが削減され、信頼性と精度とが向上し得る。

【0020】

さらに、心拍数測定値を取得する目的で、ユーザ側の積極的な行動（ユーザに指定された表面に触れるように要求するなど）を必要とせずに、指定された態様で、指定された時間、所望の測定値を取得することができる。その代わりに、例えば、ユーザが何らかの他の目的で光検出器表面に接触する場合、および／またはバイオメトリック測定を行うための特定のまたは別個の要求がなくても、バイオメトリック測定値を取得することができる。

【0021】

例えば、図３および図４の例に示すように、光学式フィンガーナビゲーション（ＯＦＮ）システムのＯＦＮ表面は、バイオメトリックデータを収集するために本明細書で説明される技術を実装するように構成され得る。このとき、ＯＦＮシステムが拡張現実（ＡＲ）グラスやその他のデバイスなどのデバイスの機能を制御するなどの意図された目的に使用される場合、指定されたバイオメトリックデータが受動的かつ同時に収集され得る。

【0022】

例えば、ユーザは、ＡＲグラスやその他のデバイスを制御するために、ＯＦＮシステムを繰り返しまたは頻繁に使用する場合がある。そのような使用中、ユーザが、本明細書に記載されるようなバイオメトリック検出と互換性があると決定される態様でＯＦＮシステムに接触すると、そのようなバイオメトリック検出は、ＡＲグラスを制御するときにユーザによって実行される多数のタッチイベントにわたって実行され得る。その性質上、そのようなタッチイベントは、数時間、数日、または数週間などの期間にわたって実行される場合がある。次に、例えば、関連する期間にわたってユーザの心拍数データを捕捉、集約、解析し、それによって傾向を識別したり、収集されたデータを解釈したりすることができる。そのようなデータ解析から得られた結論はユーザに提供され得るため、ユーザは、費用対効果の高い態様で、および所望の情報を取得するために心拍数測定を開始するための別個の意識的な行動を必要としない態様で、所望の情報を取得する。

【0023】

図１は、光検出器アレイを使用するバイオメトリック検出システムのブロック図である。図１において、アレイベースのバイオメトリック検出器１０２が、コンピューティングデバイス１０６の一部としてユーザ１０４によって着用または保持されるように示されている。

【0024】

図１の例では、コンピューティングデバイス１０６は、ユーザ１０４の腕の端、例えばユーザの手首、手、または指に装着され得る。したがって、コンピューティングデバイス１０６は、例えば、時計、バンド、ストラップ、ブレスレット、またはリングを使用して実装され得る。

【0025】

しかしながら、以下でより詳細に言及するように、そのような例は非限定的であり、コンピューティングデバイス１０６は、所望のジェスチャを捕捉する目的で、ユーザ１０４の任意の適切なまたは所望の身体部分に装着され得る。例えば、コンピューティングデバイス１０６は、ユーザの脚（例えば、足首）に装着されてもよいし、スマートグラスを含むヘッドマウントデバイス（ＨＭＤ）に組み込まれてもよい。さらに他の例では、コンピューティングデバイス１０６は、手袋、靴下、ベルト、またはシャツの袖などの衣類に組み込まれてもよい。図１のコンピューティングデバイス１０６のウェアラブルバージョンの具体例は、図１１および図１２に関して以下で提供される。

【0026】

追加のまたは別の例では、コンピューティングデバイス１０６は、ユーザ１０４によって保持されてもよい。例えば、以下に説明する図１３は、スマートフォンを使用したコンピューティングデバイス１０６の保持された実装の例を示す。しかしながら、コンピューティングデバイス１０６は、多くの異なる方法で、また多くの異なるフォームファクタを使用して、保持された実装として構成することができる。例えば、コンピューティングデバイス１０６は、ゲーム実装のためのジョイスティックまたは他のゲームデバイスの一部として、またはコンピュータまたは他のデバイスを制御するための任意の保持型Ｉ／Ｏデバイスの一部として構築され得る。

【0027】

したがって、一般に、コンピューティングデバイス１０６を装着するということは、ユーザ１０４側のさらなる行動を必要とせずに、コンピューティングデバイス１０６がユーザ１０４の身体部分に留まるあらゆるシナリオを指す。コンピューティングデバイス１０６を保持するということは、保持中に維持されるユーザ１０４の行動の結果として、コンピューティングデバイス１０６がユーザ１０４と接触した状態、またはユーザ１０４の物理的な所有状態に維持されるシナリオを指す。例えば、そのような保持には、握る、掴む、または運ぶことが含まれ得る。

【0028】

コンピューティングデバイス１０６の装着と保持の両方を同時に、または重複して行うことが可能である。例えば、コンピューティングデバイス１０６は、一方の腕または手に装着され、同時に他方の手で保持されてもよいし、保持可能な位置（例えば、袖先端、または他の衣服の上）に装着されてもよい。

【0029】

図１は、コンピューティングデバイス１０６が本体１０７を含み得ることをさらに示す。本明細書で提供されるさまざまな例から理解されるように、本体１０７は、コンピューティングデバイス１０６の特定の実装の装着または保持を可能にするのに適した任意のハウジングまたはケーシングであり得る。

【0030】

本体１０７は、光源１０８および光検出器アレイ１１０、例えば光検出器アレイを含む、１つまたは複数のセンサおよび他の構成要素を取り付けるか、またはそれらに結合するように構成され得る。例えば、光源１０８は、１つまたは複数の光の波長を提供する発光ダイオード（ＬＥＤ）に相当し得る。光検出器アレイ１１０は、ユーザ１０４を透過する、またはユーザ１０４から反射される光源１０８からの光を捕捉するように構成された複数の光検出面（例えば、ピクセル、またはピクセルのグループ）を含んでもよい。

【0031】

図１において、光検出器アレイ１１０は、光検出器アレイ１１０の個々の光検出器を示す拡大図でも示されている。例えば、光検出器アレイの個々の光検出器は、個々のピクセル、ピクセルのグループ、またはピクセル領域に相当し得る。

【0032】

図１の簡略化された例では、光検出器アレイ１１０は４×４アレイとして示される。さまざまな実装において、光検出器アレイ１１０は、図１のｎ×ｎの例またはｎ×ｍなど、任意の所望のサイズまたは形状で実装され得る。光検出器アレイ１１０は、周期的または対称である必要はなく、本明細書に記載の技術を使用する目的でグループ化された任意の複数の光検出器を含むことができる。

【0033】

光検出器アレイ１１０の拡大図には、４×４アレイのうち、光検出器１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが含まれる。タッチ表面１０５は、ユーザ１０４と光検出器アレイ１１０との間の検出された接触点に相当し、これは、光検出器アレイ１１０に対するユーザ１０４のタッチイベント中に発生し得る。

【0034】

例えば、タッチ表面１０５は、光検出器アレイ１１０の表面に押し付けられているユーザ１０４の指先に相当し得る。より一般的な例では、タッチ表面１０５は、光検出器アレイ１１０と接触しているユーザ１０４の任意の皮膚表面に相当し得る。例えば、介在面が十分なレベルの光の透過および反射を許容する場合、介在面（例えば、スクリーンプロテクタ）がユーザ１０４の皮膚表面と光検出器アレイ１１０との間に存在してもよい。

【0035】

単純化された例では、タッチ表面１０５は、ある期間一定であってもよい。以下で説明するように、他の例では、タッチ表面１０５は、ユーザ１０４の動きに連動して動いてもよい。

【0036】

図１に示すように、タッチ表面１０５は、光検出器アレイ１１０の個々の光検出器の一部（光検出器のサブセット）をカバーする、接触する、遮蔽する、またはその他の方法で関連付けられるだけでよい。この例では、タッチ表面１０５は、個々の光検出器１１０ａ、１１０ｂ、１１０ｃ、１１０ｄを少なくとも部分的にカバーする。

【0037】

これも観察されるように、個々の光検出器１１０ａ、１１０ｂ、１１０ｃ、１１０ｄのカバー範囲は、タッチ表面１０５全体にわたって変化する。例えば、個々の光検出器１１０ａのごく一部だけがタッチ表面１０５によってカバーされるが、一方、個々の光検出器１１０ｂのほぼ全体がカバーされる。

【0038】

したがって、個々の光検出器１１０ａ、１１０ｂ、１１０ｃ、１１０ｄのうちのいくつかは、ユーザ１０４のバイオメトリックデータを決定する際に、アレイベースのバイオメトリック検出器１０２による使用または包含に不適格である可能性がある。例えば、個々の光検出器１１０ａ、１１０ｂのいずれかによって検出された信号は、タッチ表面１０５によるカバー範囲が小さいため、有用なバイオメトリックデータを提供しない可能性がある。

【0039】

逆に、個々の光検出器１１０ｃ、１１０ｄのいずれかによって検出された信号は、他のさまざまな要因に応じて、バイオメトリックデータを決定するために使用されてもよい。しかしながら、図示されている個々の光検出器１１０ｂ、１１０ｄの広範な範囲であっても、信号品質が低い場合、あるいはタッチイベントが短いか散発的である場合、あるいはそうでなければ、信号が信頼できるバイオメトリックデータを提供するのに使用できないと決定される場合、個々の光検出器１１０ｂ、１１０ｄのいずれかまたは両方からの検出信号が破棄され得る。

【0040】

別の言い方をすると、アレイベースのバイオメトリック検出器１０２は、タッチイベントにおけるバイオメトリックデータを決定する際に潜在的に使用される光検出器アレイ１１０の候補光検出器を決定するように構成されてもよく、さらに、候補光検出器のサブセットを選択してバイオメトリックデータを生成するように構成されてもよい。タッチイベントは、ユーザ１０４の対応する動きと連動して、タッチ表面１０５が移動、再配置、および／または静止したままとなり得る時間間隔にわたることができる。

【0041】

場合によっては、例えば、上で言及したように、タッチイベントおよび対応するタッチ表面および動きによって、データが使用不能または信頼性の低いデータになる可能性がある。それにもかかわらず、アレイベースのバイオメトリック検出器１０２は、より長い期間（および対応する数のタッチイベント）にわたって、十分な数およびタイプのコンテキストで十分な量のデータを収集して、重要で非常に有用な量のバイオメトリックデータを生成することができる。さらに、アレイベースのバイオメトリック検出器１０２は、対応するタッチイベントと連動してバイオメトリックデータを生成するかどうか、またいつ生成するかを決定するように構成されるため、ユーザ１０４は、バイオメトリックデータを生成するためにいかなる特定の行動も行う必要がない。代わりに、ユーザ１０４は、光検出器アレイ１１０を別の目的（例えば、本明細書で説明する光学式フィンガーナビゲーションなど）に使用することができ、アレイベースのバイオメトリック検出器１０２は、信頼性が高く、便利で、正確かつ費用対効果の高い態様で所望のバイオメトリックデータを受動的に収集することができる。

【0042】

上記および関連する機能を実行するために、アレイベースのバイオメトリック検出器１０２は、光検出器アレイ１１０によって収集された一連の画像フレームを収集して記憶するように構成されるフレームバッファ１２０を含む。例えば、フレームバッファ１２０は、光検出器アレイ１１０からの画像フレームを継続的に記憶することができ、所定の期間後、またはフレームの最大数に達した後、または特定の量のメモリが使用された後、および／または他の削除基準に基づいて、記憶されたフレームを削除することができる。他の例では、ある時間間隔にわたって発生するタッチイベント中に、フレームバッファ１２０は、その時間間隔から画像フレームを収集して記憶することができる。

【0043】

タッチイベント解析器１２２は、フレームバッファ１２０からのフレームを解析するように構成され得る。例えば、タッチイベント解析器１２２は、フレームのセットを解析して、フレームのセットにおいて捕捉されたタッチイベントの発生がバイオメトリックデータの生成に使用するのに十分な品質と程度のものであるかどうかを決定するように構成され得る。例えば、タッチイベント解析器１２２は、タッチ表面１０５による任意の程度のカバレッジを有する候補光検出器を検出することができ、閾値処理またはゲート機能を実行して、バイオメトリックデータ生成のために候補光検出器の使用可能なサブセットを選択することができる。

【0044】

例えば、タッチイベント解析器１２２は、対応する検出信号がバイオメトリックデータの生成に使用するのに十分な品質を有する光検出器のサブセットをそれぞれのフレームごとに選択するように構成され得るとともに、フレームのセット全体がバイオメトリックデータ生成に使用可能なデータを提供するかどうかを決定するようにさらに構成され得る。より具体的な例では、タッチイベント解析器１２２は、使用可能なタッチイベント（例えば、使用可能なユーザの指の接触）が発生したことを確認するために、グループセットの一貫性の測定を含む、時間の経過とともにフレームバッファ１２０の複数のフレームにわたって関連するピクセル領域の時空間グループ化を実行するように構成され得る。

【0045】

例えば、ユーザ１０４は、さまざまな程度の硬さまたは滑らかさで光検出器アレイ１１０に触れることがある。例えば、ユーザ１０４は、光検出器アレイ１１０上でユーザの指（または他の皮膚表面もしくは接触点）を（散発的、断続的、または不規則な態様とは対照的に）滑らかかつ連続的な態様で動かすことができる。タッチイベント解析器１２２は、タッチイベントを全体として評価するために、単一フレームおよび一連のフレームにわたって、タッチイベントに関連する検出信号について上で言及したタイプの時空間グループ化を実行し得る。

【0046】

タッチイベント解析器１２２によって検証された場合、フレームバッファ１２０内の一連のフレーム内に捕捉されたタッチイベントにおける収集データは、処理され、バイオメトリック生成器１２４に提供されて、所望のタイプのバイオメトリックデータを生成することができる。例えば、関連するフレームのセットのスペクトル解析は、フレームごとに（例えば、各フレームの選択された光検出器のサブセットごとに）実行され、それにより、一連のフレームから得られた測定値は、ユーザ１０４の心拍数などのユーザ１０４のバイオメトリックデータに相当する時系列データを与えることができる。

【0047】

上で言及したように、そのようなバイオメトリックデータは多くの目的で処理および使用され得る。例えば、傾向や異常なイベントを識別するために、一定期間にわたってバイオメトリックデータをまとめて解析することができる。他の例では、図１０に関して以下に説明するように、バイオメトリックデータは、コンピューティングデバイス１０６または別のデバイスの使用に関してユーザ１０４を認証するために使用され得る。

【0048】

これも上で言及したように、バイオメトリックデータは、ユーザ１０４がコンピューティングデバイス１０６を使用して光学式フィンガーナビゲーションなどの別個の機能を実行している間に収集され得る。したがって、コンピューティングデバイス１０６は、今しがた言及したさまざまな機能から恩恵を受け得る、またはそれを実行できる任意のコンピューティングデバイスを含むと理解されるべきである。

【0049】

したがって、図１の例では、コンピューティングデバイス１０６は、少なくとも１つのプロセッサ１１２、非一時的コンピュータ可読記憶媒体１１４、さまざまなタイプの入力／出力（Ｉ／Ｏ）ハードウェア１１６、および機能マネージャ１１８を含むものとして概略的に示される。コンピューティングデバイス１０６ａは、相互に通信する２つ以上のコンピューティングデバイスを潜在的に表すと理解されるべきであり、そのいくつかの例が本明細書に提供される。したがって、少なくとも１つのプロセッサ１１２は、他の機能の中でもとりわけ、非一時的コンピュータ可読記憶媒体１１４を使用して記憶された命令を実行するように構成され得る、そのようなコンピューティングデバイス上の１つまたは複数のプロセッサに相当し得る。

【0050】

少なくとも１つのコンピューティングデバイス１０６は、本明細書でその例が提供される多くのタイプのコンピューティングデバイスに相当し得るため、そのようなコンピューティングデバイスで使用され得る多くのタイプの入力／出力（Ｉ／Ｏ）ハードウェアがＩ／Ｏハードウェア１１６として図１にまとめて示されている。非限定的な例として、そのようなＩ／Ｏハードウェアとしては、ディスプレイ（例えば、タッチスクリーン）、ボタン、スピーカまたはオーディオセンサ、触覚センサまたは出力、カメラ、または周辺機器（例えば、マウス、キーボード、スタイラス）を挙げることができる。

【0051】

Ｉ／Ｏハードウェア１１６に加えて、少なくとも１つのコンピューティングデバイス１０６ａは、少なくとも１つのプロセッサ１１２、非一時的コンピュータ可読記憶媒体１１４、およびＩ／Ｏハードウェア１１６を利用する、またはそれらによって実装される多くのタイプのソフトウェアを実行および提供することができる。そのようなソフトウェア（および関連機能）は図１に含まれており、機能マネージャ１１８によって図１に示される。

【0052】

すなわち、図１の簡略化された例を説明するために、機能マネージャ１１８は、Ｉ／Ｏハードウェア１１６の動作と関連付けられ得る任意のソフトウェアの実装を表し包含すると理解されるべきである。例えば、機能マネージャ１１８は、少なくとも１つのコンピューティングデバイス１０６ａによって提供され得るオペレーティングシステムおよび多くの異なるタイプのアプリケーションを含むことができ、そのいくつかの例が以下により詳細に与えられる。

【0053】

例えば、機能マネージャ１１８は、光源１０８、光検出器アレイ１１０、およびＩ／Ｏハードウェア１１６の適切なハードウェアを使用して、光学式フィンガーナビゲーションを提供するために使用され得る。また、機能マネージャ１１８は、本明細書で説明するさまざまなタイプのバイオメトリックデータ解析を行うように構成され得る。機能マネージャ１１８は、収集されたバイオメトリックデータから利益を得る、または収集されたバイオメトリックデータを利用することができる、認証などの任意の補足機能を提供するように構成することもできる。

【0054】

機能マネージャ１１８によるアレイベースのバイオメトリック検出器１０２の動作を容易にするために、機能インタフェース１２６は、対応する機能を実装するために機能マネージャ１１８と通信するように構成され得る。今しがた言及したように、対応する機能は、機能マネージャ１１８による収集されたバイオメトリックデータの任意の所望の使用または処理に関連することができる。

【0055】

いくつかの実装形態では、バイオメトリックデータを特徴付けるフィードバックがユーザ１０４に提供され得る。例えば、機能インタフェース１２６は、収集されているバイオメトリックデータがネガティブなイベント（例えば、過度に高い心拍数）を示す場合に、視覚、音声、または触覚インジケータをユーザ１０４に提供するように機能マネージャ１１８に命令することができる。

【0056】

図２は、図１のシステムの動作例を示すフローチャートである。図２の例では、工程２０２～２０８が別個の連続した工程として示される。しかしながら、さまざまな例示的な実装形態では、工程２０２～２０８は、重複または並列方式で、および／または入れ子、反復、ループ、または分岐方式で実施することができる。さらに、さまざまな工程またはサブ工程を含めたり、省略したり、置換したりすることができる。

【0057】

図２において、ある時間間隔中に複数の光検出器を含む光検出器アレイで発生するユーザのタッチイベントが決定され得る（２０２）。例えば、光検出器アレイ１１０から収集されたフレームバッファ１２０からのフレームは、タッチイベントが発生したかどうかを決定するためにタッチイベント解析器１２２によって解析され得る。

【0058】

タッチイベントと関連付けられた複数の光検出器のサブセットが決定され得る（２０４）。例えば、タッチイベント解析器１２２は、バイオメトリックデータ生成にとって十分な信号強度および他の特性を有し得る各フレームと関連付けられた候補光検出器を決定するように構成され得る。タッチイベント解析器１２２は、候補光検出器からの信号をテストして、バイオメトリックデータの生成に使用されるべき複数の光検出器のサブセットを選択することができる。複数の光検出器のサブセットは、個別に評価することも、全体として評価することも、フレームごとに評価することもできる。したがって、フレームは個別に評価することも、まとめて評価することもできる。例えば、光検出器のサブセットのグループセット一貫性は、複数のフレームにわたって評価され得る。タッチイベントの検出および解析の例は、例えば図８に関して以下で詳細に与えられる。

【0059】

時間間隔内の複数の時間のそれぞれにおける複数の光検出器のサブセットからの検出信号を集約して、時系列の集約検出信号を取得することができる（２０６）。例えば、バイオメトリック生成器１２４は、各フレームの信号強度の空間平均化およびプール化を実行して、空間的に平均化されてプールされた複数のフレームが効果的に時系列を形成するようにすることができる。

【0060】

ユーザのバイオメトリックデータは、時系列の集約検出信号に基づいて生成され得る（２０８）。例えば、バイオメトリック生成器１２４は、時系列のスペクトル解析およびフィルタリングを実行して、心拍数測定値を取得することができる。

【0061】

図３～図６Ｃは、リング上の光学式フィンガーナビゲーション（ＯＦＮ）モジュールによりユーザがスマートグラス（例えば、ＡＲグラス）または他のデバイスをナビゲートして対話できるようにするユースケースシナリオ例を示す。図１のアレイベースのバイオメトリック検出器１０２は、ユーザ１０４がＡＲグラスと対話する数秒間、明示的なユーザトリガなしで、心拍数および心拍数変動の測定値などのユーザのバイオメトリックを日和見的に監視するために、ＡＲリング上のそのようなＯＦＮモジュールを使用するように構成され得る。上で言及したように、アレイベースのバイオメトリック検出器１０２は、一連の色増幅されたＯＦＮ画像から小さな血管容積の変化を測定するために使用され得る。アレイベースのバイオメトリック検出器は、測定を開始するためにユーザ１０４に認知負荷を必要としない、受動的健康監視システムの一例を提供する。

【0062】

したがって、説明される実装形態には専用のＰＰＧセンサが装備されていない場合があるが、それにもかかわらず、説明される実装形態は、ＯＦＮシステムからの光学撮像結果をデコードし、ブラインドソース分離問題を解決して人間の脈拍および他のバイオメトリックを正確に回復することができる。その結果、例えば、心血管情報は毎日保存され、ユーザ１０４が単に通常の日常活動を行っているだけの場合でも、早期発見のために異常状態（例えば、徐脈、頻脈）をユーザに警告するスクリーナを構築することができる。

【0063】

図３は、上で今しがた言及した図１のシステムの実装例を示す。図３において、コンピューティングデバイス１０６は、光学式フィンガーナビゲーション（ＯＦＮ）表面３０４を有するリング３０２として実装される。上で言及したように、ＯＦＮ表面３０４は、光検出器アレイ１１０および関連するハードウェア／ソフトウェア（図３には個別に示されない）を利用して、ユーザ１０４の親指３０６が入力を提供できるようにし、さもなければリング３０２または別のデバイスの機能を制御できるようにする。例えば、ユーザ１０４は、スマートグラスを着用していてもよく、ＯＦＮ表面３０４を使用して、スマートグラスの画面の画面ナビゲーションなどのスマートグラスの機能を制御してもよい。

【0064】

ユーザ１０４がＯＦＮ表面３０４を使用するときはいつでも、アレイベースのバイオメトリック検出器１０２は、ＯＦＮ表面３０４の現在の使用がバイオメトリックデータ生成に使用できるタッチイベントを構成するかどうかを決定することができる。例えば、親指３０６の表面は、そのようなタッチ表面に関連する反射光から決定されるように、図１のタッチ表面１０５に対応するタッチ表面をもたらすことができる。すなわち、タッチ表面（図１のタッチ表面１０５など）に関連する反射光は、光源からユーザに向けられてユーザから（例えば、ユーザの親指３０６の表面から）反射される光の反射光を指し、反射光は、本明細書で説明するように、タッチイベントから生じる画像フレームにおけるタッチ表面を示す。

【0065】

例えば、リング３０２は、ユーザ１０４の人差し指に着用され得る。親指３０６の付け根は、ＯＦＮ表面３０４が見えるリング３０２の部分に触れ得る。

【0066】

図４は、図３の実装例に関する追加の詳細を示す。具体的には、図４は、ＯＦＮモジュール４０２を使用して図３のＯＦＮ表面３０４を提供でき、ＯＦＮモジュール４０２が図１の光検出器アレイ１１０に対応するＬＥＤ４０４および光検出器アレイ４０６を含むことができることを示す。前述したように、ＬＥＤ４０４からの光を親指３０６から反射することができ、その反射光は光検出器アレイ４０６によって検出され得る。

【0067】

図５は、光検出器アレイ４０６のより詳細な例を提供する光検出器アレイ５０２を示す。タッチ表面５０４は、ＯＦＮモジュール４０２によって検出され得る。左スクロール５０６は、ユーザがユーザの親指３０６を左に動かすと検出され得る。右スクロール５０８は、ユーザがユーザの親指３０６を右に動かすと検出され得る。

【0068】

したがって、親指３０６に向けて赤外光を照射するミニＬＥＤ光源（例えば、ＬＥＤ４０４）と、反射光エネルギーを受ける光検出器アレイ４０６とを使用して、反射光エネルギーを測定して使用し、リング３０２、ＡＲグラス、または他のデバイスを制御できる。

【0069】

親指とＯＦＮとの接触が確立されると、ＯＦＮ表面３０４内のピクセル（図５では８×８光検出器アレイ５０２として示される）は、光反射エネルギーを測定することによって指の領域が光検出器アレイ５０２に触れているかどうかを感知することができる。複数のピクセルにわたる総応答を集約してオプティカルフローを計算することによって、ＯＦＮモジュール３０４は、親指の動きの微妙な方向を決定することができる。言及したように、この方向推定は、メニュー画面またはＡＲグラスの他の動作を制御するためにＡＲグラスインタフェースに提供され得る。

【0070】

ユーザ１０４は、一日の多くの異なる時間に、スクロール操作５０６、５０８、および他の多くのタイプのナビゲーションまたはＯＦＮモジュール４０２の使用を実行することができる。ユーザ１０４は、そのようなＯＦＮの使用と連動してバイオメトリックデータの検出または収集を要求する必要はない。それにもかかわらず、アレイベースのバイオメトリック検出器１０２は、図３のリング３０２の使用に関連する潜在的なタッチイベントごとにバイオメトリックデータを生成および収集することが可能かどうかを決定するように構成され得る。

【0071】

例えば、図６Ａ～図６Ｃは、本明細書で説明される時空間グループ化戦略のためのタッチイベントおよび関連するコンテキストを示す例示的な画像フレームを提供する。そのような戦略は、所定の期間が心拍数の測定やバイオメトリックデータの生成に適した時間であるかどうかを決定するために使用できる。

【0072】

例えば、図６Ａにおいて、フレーム６０２、フレーム６０４、およびフレーム６０６は、時間ｔ＝０、ｔ＝１、およびｔ＝Ｎで図１のフレームバッファ１２０内に捕捉されて記憶された一連のフレームに相当する。図６Ａの例では、タッチイベントが検出されない。

【0073】

図６Ｂでは、時間ｔ＝０におけるフレーム６０８が、タッチ表面６１０を捕捉したものとして示される。時間ｔ＝１における後続のフレーム６１２が、前のタッチ表面６１０から離れて位置するタッチ表面６１６を示す（比較のためにフレーム６１２では点線６１４により表される）。同様に、時間ｔ＝Ｎにおける後続のフレーム６１８が、前のタッチ表面６１６から離れて位置されたタッチ表面６２２を示す（比較のためにフレーム６１８では点線６２０により表される）。

【0074】

したがって、図６Ｂは、タッチイベントが行われた場合を示すが、比較的高速で散発的なタッチ表面の接触および移動を含む。例えば、図６Ｂは、クリックイベントを実行するためのＯＦＮモジュール４０２の使用を表してもよく、ＯＦＮ表面３０４の偶発的なタッチなどの非親指アーチファクトを表してもよい。したがって、図６Ｂは、信頼できる心拍数測定が可能であるか、または行われるべきである可能性が低く、したがって、バイオメトリックデータ生成のための潜在的なタッチイベントとして拒否される可能性があるシナリオを示している。例えば、タッチイベント解析器１２２は、図８に関して以下で詳細に説明する技術を使用して、図６Ｂの例を拒否することができる。

【0075】

図６Ｃにおいて、時間ｔ＝０におけるフレーム６２４が、タッチ表面６２６を捕捉したものとして示される。時間ｔ＝１における後続のフレーム６２９が、前のタッチ表面６２６から離れて位置するタッチ表面６３０を示す（比較のためにフレーム６２９では点線６２８により表される）。同様に、時間ｔ＝Ｎにおける後続のフレーム６３２が、前のタッチ表面６３０から離れて位置されたタッチ表面６３６を示す（比較のためにフレーム６３２では点線６３４により表される）。

【0076】

したがって、図６Ｃは、タッチイベントが行われ、タッチイベントが空間的および時間的に一貫性があり、滑らかである場合を示す。例えば、図６Ｃは、図５の例示的なスクロール操作を表す、またはそれに対応し得る。したがって、図６Ｃは、信頼性の高い心拍数測定が行われる可能性が高く、したがってバイオメトリックデータ生成のための潜在的なタッチイベントとして受け入れられ得るシナリオを示す。例えば、タッチイベント解析器１２２は、図８に関して以下で詳細に説明する技術を使用して、図６Ｃの例を受け入れることができる。

【0077】

図７Ａおよび図７Ｂは、図１のシステムを使用して実装される心拍数検出技術の例を示す。図７Ａおよび図７Ｂは、図１のシステムが専用のＰＰＧセンサの使用を必要とせずにプロキシ信号または事実上のＰＰＧ信号を模倣または提供するために使用され得ることを示す。

【0078】

そのようなＰＰＧセンサに関して上で言及したように、ユーザ１０４の脈拍ごとに、ユーザの心臓はユーザの体全体に血液を送り出す。したがって、図３の親指３０６に関しては、親指３０６の下の血管の容積には小さな変化がある。一般に、図４のＬＥＤ４０４の光からの光吸収は、例えば、ユーザ１０４および使用される光に関連するさまざまな要因に依存し得る。

【0079】

例えば、反射信号は、皮膚、骨、組織による吸収の程度と、静脈血による吸収の程度とによって特徴付けられ得る。非拍動性動脈血による吸収は反射信号に実質的にＤＣ成分を提供するが、拍動性動脈血による吸収はＡＣ信号を提供する。ＡＣ信号は、ＤＣ成分よりも大きさがかなり小さいが、ユーザ１０４の心拍数に対応する振動速度を有する。結果として得られる信号は、時間変化信号７０２を示す図７Ａの例と同様となる。

【0080】

図１の技術を使用することにより、さもなければ本明細書で説明されるように、信号７０２は、フレームバッファ１２０の複数のフレームを使用して生成され得る。その後、図７Ａにも示すように、位相不変特徴を使用して波形７０２を表すために、波形７０２の平均減算高速フーリエ変換（ＦＦＴ）を計算することができる。例示的なプロセスは、対応する信号振幅オフセットがユーザ１０４の心拍数に関連する情報を記述していないため、波形７０２の平均成分（例えば、上で言及したさまざまな吸収パラメータおよび関連するＤＣ成分に由来する）を最初に除去することを含み得る。その後、スペクトル特徴を取得するために、得られたゼロ平均信号からＦＦＴ信号７０４を計算することができる。

【0081】

そのような高振幅周波数を取得することによって、また、人間の心臓は一連の周期的なイベントで拍動するため、周波数信号７０６がスペクトル表示におけるピーク７０８を示している図７Ｂに示されるように、結果として生じる周波数信号７０６を取得することができる。その後、以下で言及するように、最大フィルタリング技術を使用してピークを選択することができ、その後、ピークをユーザ１０４の人間の心拍数の推定値として保存することができる。

【0082】

上記の例は、脈拍数検出および他のバイオメトリックデータの収集が、任意の時点で関連する（心拍数など）測定アルゴリズムを開始するかどうかを決定する機能を含め、日和見的な終日方式で実行できることを示す。例において、この決定は、例えば、時間の経過とともに関連するピクセル領域を時空間的にグループ化し、グループセットの一貫性を測定してユーザの指の接触を確認するための説明された技術を使用して行われ得る。その後、指定された適格なタッチイベントが発生したという確信が得られると、上で言及したタイプのスペクトル解析を使用して、正確な脈拍数を計算できる。

【0083】

図８は、図１のシステムにおけるタッチイベント解析における実装例を示すブロック図である。つまり、図８は、脈拍数推定または他のバイオメトリックデータの生成および収集を開始するかどうかを決定するための技術の具体例を提供する。

【0084】

図８において、バッファリングされたフレーム８０２のセットは、図１のフレームバッファ１２０から取得され得る。図１、図５、および図６Ａ～図６Ｃに関して説明したように、各フレームは、タッチ表面８０４に対応する検出信号を含むことができる。

【0085】

さらに図８において、バッファリングされたフレーム８０２のセット（例えば、画像のストリーム）は、接触二値化エンジン８０６に提供され得る。接触二値化エンジン８０６は、バッファリングされたフレーム８０２のセットの各連続ＯＦＮ画像を０－１画像に変換するように構成され得る。結果として得られるバイナリ画像は、解析を容易にするために圧縮され得る。例えば、接触二値化エンジン８０６は、平均的な親指がＯＦＮモジュール４０２に光を反射する程度に基づいて較正された閾値を使用して二値画像を生成することができる。

【0086】

その後、結果として生じるバイナリ画像のストリームは、バイナリ画像のタッチ表面の凸性の３次元特性を生成する凸性生成器８０８に入る。例えば、各バイナリ画像内の各タッチ表面の凸外殻は、各タッチ表面の形状の最小の凸セットを指すことができる。例えば、タッチ表面が有界のサブセットとみなされる場合、凸外殻はサブセットの周囲に囲まれた形状として表すことができる。

【0087】

図８との関連で、凸性生成器８０８は、バイナリ画像内およびバイナリ画像間のタッチ表面の時空間的滑らかさを効果的に特徴付けて、タッチ表面が、図６Ｃに関して前述して図示したタイプのタッチイベントなどのバイオメトリックデータ生成に適したタッチイベントを表すかどうかを決定する。

【0088】

例えば、そのような凸性特性は、ｃｏｎｖｅｘｉｔｙ＿ｓｃｏｒｅ＝１／（（３Ｄ二値化データの凸外殻）－（３Ｄ二値化データ））という式を使用して決定することができる。この例では、完全に凸の３Ｄ二値化データの場合、ｃｏｎｖｅｘｉｔｙ＿ｓｃｏｒｅは高い数値になる。したがって、凸性閾値をｃｏｎｖｅｘｉｔｙ＿ｓｃｏｒｅに関して設定することができ、この凸性閾値を超えると画像の入力ストリームが時空間的にコヒーレントであると検証され得る。この閾値が満たされる場合（はい）、バッファリングされたフレーム８０２のセットは、バイオメトリック生成器１２４の実装例を表す心拍数推定エンジン８１０に提供され得る。そうでない場合（いいえ）、図８のプロセスは、バッファリングされたフレームの次のバッチに関して繰り返され得る。

【0089】

図９は、図１のシステムにおける心拍数推定のための、および図８の例における実装例を示すブロック図である。つまり、図９は、図８の心拍数推定エンジン８１０の実装例を表し、心拍数推定エンジン８１０は、心拍数を正確に測定できるようにするために、ＯＦＮモジュール４０２の空間分解能を利用した時空間コヒーレンスチェックから十分な信頼性が得られた時点で使用され得る。

【0090】

図９において、バッファリングされたフレーム８０２のセットが、プーリングエンジン９０２に入力されるように示される。プーリングエンジン９０２は、バッファリングされたフレーム８０２のセットの各画像の空間平均プーリングを行う。すなわち、図８の２値化演算から、それぞれの画像ごとに関心領域が規定され、その画像領域内のＯＦＮ値が平均化され得る。このようにして、各画像を１つの数字で要約することができる。

【0091】

ある時間間隔にわたって取得される、バッファリングされたフレームのセットに関する数値の結果のセットは、時系列の数値を与え、それにより、図７Ａおよび図７Ｂに関して前述したように、ＰＰＧ信号と同様の信号を提供する。この時系列は、図７Ａに示されるように、信号内の高振幅周波数を表すために時系列信号の時間平均を除去してＦＦＴを適用するように構成され得るスペクトル解析器９０４に提供され得る。すでに図７Ｂに示されるように、人間の心臓は一連の周期的なイベントで鼓動するため、その結果、スペクトル表示ではピークの周波数信号が得られる。次に、最大フィルタリングを使用して、周波数信号の値を抽出することができ、その値は、ユーザ１０４の心拍数の決定された推定値９０６に対応する。

【0092】

図１０は、認証のための図１のシステムの実装例のブロック図である。図１０は、アレイベースのバイオメトリック検出器１００２が、バッファリングされたフレーム８０２のセットを利用して、図１のコンピューティングデバイス１０６または関連するコンピューティングデバイスの使用に関してユーザ１０４を認証するために認証エンジン１００６によって使用されるべきバイオメトリックデータ１００４のセットを生成するように構成され得ることを示す。例えば、認証エンジン１００６は、ユーザ１０４を認証するために、ユーザ１０４の保存されたバイオメトリックデータの事前校正された辞書１００８とバイオメトリックデータのセット１００４とを比較するように構成され得る。

【0093】

例えば、コンピューティングデバイス１０６のセットアップ中または初期使用中に、ユーザ１０４は、特定のジェスチャ、ナビゲーションルーチン、またはＯＦＮモジュール４０２のＯＦＮ表面３０４を使用する際に実行されるタスクなどの光検出器アレイ１１０の他の使用を記録するように設計された較正セッションに参加するように要求され、誘導される場合がある。較正セッションは、指のサイズ、指の形状、特定のジェスチャのジェスチャパターン、図７Ａ、図７Ｂ、および図９に関して前述したプロキシＰＰＧ信号の形態、およびユーザ１０４の安静時心拍数を含む、バイオメトリックデータのセット１００４の例のいずれかを記録するように設計され得る。

【0094】

その後の使用中に、ユーザはコンピューティングデバイス１０６（例えば、図３のリング３０２）と自然に対話することができる。関連する識別パラメータは、アレイベースのバイオメトリック検出器１００２によって提供され、認証エンジン１００６によって事前に校正された辞書１００８と照合され得る。

【0095】

例示的なマッチングプロセスは、任意の適切な技術を使用して実行され得る。例えば、決定木などの分類子が使用されてもよい。照合は、バイオメトリックデータのセット１００４の個々のデータに異なる重みを割り当ててもよい。照合は、ユーザ１０４との現在の対話における最高品質の測定値を有するパラメータの最小セットを選択することなどによって、特定の認証プロセスで使用するために、バイオメトリックデータのセット１００４の個々のデータを選択してもよい。

【0096】

好適には、ユーザ１０４は認証プロセスを開始する必要がない。代わりに、ユーザ１０４は、コンピューティングデバイス１０６、例えばリング３０２を標準的な態様で単に使用することができ、認証はバックグラウンドで実行することができる。

【0097】

図１１は、スマートウォッチ１１０２を使用して実装される、図１のシステムの例示的な図である。より具体的には、図１１は、光源１１０４および光検出器アレイ１１０６を示す、スマートウォッチ１１０２の底面図を示す。したがって、ユーザ１０４による着用中、光源１１０４および光検出器アレイ１１０６は、本明細書で説明するようにバイオメトリックデータを生成するためにユーザ１０４の手首に対して適切に配置され得る。

【0098】

例えば、スマートウォッチ１１０２を通常通りに着用している間、ユーザ１０４は通常の日常動作を行うことができる。さらに、スマートウォッチ１１０２は、ユーザ１０４によって、さまざまなレベルの締め付けで固定されてもよい。したがって、ユーザ１０４（例えば、ユーザの手首）とスマートウォッチ１１０２との間で画定されるタッチ表面も変化し得る。言い換えれば、スマートウォッチ１１０２は、通常の着用中にユーザ１０４に対して移動することができる。

【0099】

しかしながら、本明細書で説明する技術を使用すると、変化する／移動するタッチ表面を追跡および解析して、信頼できる生体測定データを提供することができる。例えば、タッチ表面は、光学式フィンガーナビゲーションとの関連で前述したオプティカルフロー技術を使用して追跡することができる。例えば、従来のスマートウォッチでは、本明細書で説明するような表面追跡および関連する概念がなければ、複数の波長の光が使用される場合でも、モーションアーチファクトが存在する可能性があり、このモーションアーチファクトが所望のデータ（例えば、心拍数測定）の収集を混乱させる可能性がある。しかしながら、図１１において、また上でも言及したように、単一波長の光、例えばＩＲ光を使用してそのようなバイオメトリックデータを収集することが可能である。したがって、ユーザ１０４は、低コストの態様で確実かつ正確に収集された受動的なバイオメトリックデータ検出を享受することができる。

【0100】

図１２は、スマートグラス１２０２を使用して実装される、図１のシステムの例示的な図である。図示されるように、スマートグラス１２０２は、光源および光検出器アレイを含むノーズブリッジモジュール１２０４を含むことができる。ノーズブリッジモジュール１２０４は、今しがた説明したスマートウォッチ１１０２と同様に、ユーザ１０４の鼻に対して移動することができるが、依然として、本明細書に説明する技術を使用してバッファデータを捕捉するように機能し得る。さらに、ノーズブリッジの取り付けで示されているが、同様の技術が、スマートグラス１２０２の一方または両方のアームなど、スマートグラス１２０２の他の位置に実装されてもよい。スマートウォッチ１１０２およびスマートグラス１２０２の両方において、ＯＦＮモジュールも実装され得る。

【0101】

図１３は、スマートフォン１３０２を使用して実装される、図１のシステムの例示的な図である。図示のように、スマートフォン１３０２は、本明細書に記載の技術を使用して実装されたＯＦＮモジュール１３０４を含むことができる。

【0102】

スマートフォン１３０２の側面に取り付けられて示されるが、ＯＦＮモジュール１３０４は、スマートフォン１３０２上の任意の所望の位置に取り付けられ得る。例えば、ＯＦＮモジュール１３０４は、スマートフォン１３０２の画面の反対側のスマートフォン１３０２の背面に取り付けられ得る。次に、ユーザ１０４は、同時にスマートフォン１３０２の画面を見ながら、またバイオメトリックデータが受動的に収集されている間に、ＯＦＮモジュール１３０４を用いてナビゲーション機能を実行することができる。

【0103】

図１４は、本明細書で説明される技術とともに使用され得るコンピュータデバイス１４００およびモバイルコンピュータデバイス１４５０の一例を示す。コンピューティングデバイス１４００は、ラップトップ、デスクトップ、タブレット、ワークステーション、携帯情報端末、スマートデバイス、家電製品、電子センサベースのデバイス、テレビ、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータデバイスなど、さまざまな形式のデジタルコンピュータを表すことを意図している。コンピューティングデバイス１４５０は、携帯情報端末、携帯電話、スマートフォン、および他の同様のコンピューティングデバイスなど、さまざまな形態のモバイルデバイスを表すことを意図している。ここに示される構成要素、それらの接続および関係、ならびにそれらの機能は、例示のみを意図としており、この文書で説明および／または請求される実装を制限することを意図したものではない。

【0104】

コンピューティングデバイス１４００は、プロセッサ１４０２、メモリ１４０４、記憶デバイス１４０６、メモリ１４０４および高速拡張ポート１４１０に接続する高速インタフェース１４０８、および低速バス１４１４および記憶デバイス１４０６に接続する低速インタフェース１４１２を含む。プロセッサ１４０２は、半導体ベースのプロセッサとすることができる。メモリ１４０４は、半導体ベースのメモリとすることができる。構成要素１４０２、１４０４、１４０６、１４０８、１４１０、１４１２のそれぞれは、さまざまなバスを使用して相互接続され、共通のマザーボード上に、または必要に応じて他の態様で実装され得る。プロセッサ１４０２は、高速インタフェース１４０８に結合されたディスプレイ１４１６などの外部入出力装置上にＧＵＩ用のグラフィック情報を表示するために、メモリ１４０４または記憶デバイス１４０６に記憶された命令を含む、コンピューティングデバイス１４００内で実行するための命令を処理することができる。他の実装形態では、複数のプロセッサおよび／または複数のバスが、複数のメモリおよびメモリのタイプとともに、必要に応じて使用され得る。また、複数のコンピューティングデバイス１４００が接続されてもよく、各デバイスは必要な動作の一部を提供する（例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）。

【0105】

メモリ１４０４は、コンピューティングデバイス１４００内に情報を記憶する。一実装形態では、メモリ１４０４は、１つまたは複数の揮発性メモリユニットである。別の実装形態では、メモリ１４０４は１つまたは複数の不揮発性メモリユニットである。メモリ１４０４は、磁気ディスクまたは光ディスクなどの別の形態のコンピュータ可読媒体であってもよい。一般に、コンピュータ可読媒体は、非一時的コンピュータ可読媒体であってもよい。

【0106】

記憶デバイス１４０６は、コンピューティングデバイス１４００に大容量ストレージを提供することができる。一実装形態では、記憶デバイス１４０６は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリまたは他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークまたは他の構成におけるデバイスを含むデバイスのアレイなどのコンピュータ可読媒体であってもよく、または該コンピュータ可読媒体を含んでもよい。コンピュータプログラムプロダクトは、情報担体に有形的に具現化され得る。コンピュータプログラムプロダクトは、実行されると、前述したような１つまたは複数の方法および／またはコンピュータが実行する方法を行う命令を含むこともできる。情報担体は、メモリ１４０４、記憶デバイス１４０６、またはプロセッサ１４０２上のメモリなどのコンピュータ可読または機械可読媒体である。

【0107】

高速コントローラ１４０８は、コンピューティングデバイス１４００の帯域幅を大量に消費する動作を管理し、一方、低速コントローラ１４１２は、帯域幅をあまり消費しない動作を管理する。そのような機能の割り当ては一例に過ぎない。一実装形態では、高速コントローラ１４０８は、メモリ１４０４、ディスプレイ１４１６に（例えば、グラフィックプロセッサまたはアクセラレータを介して）結合され、さまざまな拡張カード（図示せず）を受け入れることができる高速拡張ポート１４１０に結合される。この実装形態では、低速コントローラ１４１２は、記憶デバイス１４０６および低速拡張ポート１４１４に結合される。さまざまな通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、イーサネット（登録商標）、無線イーサネット（登録商標））を含み得る低速拡張ポートは、例えばネットワークアダプタを介して、キーボード、ポインティングデバイス、スキャナなどの１つまたは複数の入力／出力デバイス、あるいはスイッチやルータなどのネットワーキングデバイスに結合され得る。

【0108】

コンピューティングデバイス１４００は、図に示すように、多くの異なる形式で実装することができる。例えば、コンピューティングデバイス１４００は、標準サーバ１４２０として実装されてもよく、そのようなサーバのグループ内で複数回実装されてもよい。コンピューティングデバイス１４００は、ラックサーバシステム１４２４の一部として実装することもできる。さらに、コンピューティングデバイス１４００はラップトップコンピュータ１４２２などのコンピュータに実装することもできる。あるいは、コンピューティングデバイス１４００からの構成要素を、デバイス１４５０などのモバイルデバイス（図示せず）の他の構成要素と組み合わせることができる。そのようなデバイスのそれぞれは、１つまたは複数のコンピューティングデバイス１４００、１４５０を含むことができ、システム全体は、互いに通信する複数のコンピューティングデバイス１４００、１４５０で構成され得る。

【0109】

コンピューティングデバイス１４５０は、他の構成要素の中でもとりわけ、プロセッサ１４５２、メモリ１４６４、ディスプレイ１４５４などの入力／出力デバイス、通信インタフェース１４６６、およびトランシーバ１４６８を含む。デバイス１４５０には、追加のストレージを提供するために、マイクロドライブまたは他のデバイスなどのストレージデバイスも設けられ得る。構成要素１４５０、１４５２、１４６４、１４５４、１４６６、１４６８のそれぞれは、さまざまなバスを使用して相互接続され、構成要素のいくつかは、共通のマザーボード上に、または必要に応じて他の態様で実装され得る。

【0110】

プロセッサ１４５２は、メモリ１４６４に記憶された命令を含む、コンピューティングデバイス１４５０内の命令を実行することができる。プロセッサは、別個の複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実装され得る。プロセッサは、例えば、ユーザインタフェース、デバイス１４５０によって実行されるアプリケーション、およびデバイス１４５０による無線通信の制御など、デバイス１４５０の他の構成要素の調整をもたらし得る。

【0111】

プロセッサ１４５２は、ディスプレイ１４５４に結合された制御インタフェース１４５８およびディスプレイインタフェース１４５６を介してユーザと通信することができる。ディスプレイ１４５４は、例えば、ＴＦＴＬＣＤ（薄膜トランジスタ液晶ディスプレイ）またはＯＬＥＤ（有機発光ダイオード）ディスプレイ、または他の適切なディスプレイ技術であってもよい。ディスプレイインタフェース１４５６は、ディスプレイ１４５４を駆動してグラフィック情報および他の情報をユーザに提示するための適切な回路を備えることができる。制御インタフェース１４５８は、ユーザからコマンドを受信し、それらを変換してプロセッサ１４５２に提出することができる。さらに、デバイス１４５０と他のデバイスとの近距離通信を可能にするために、プロセッサ１４５２と通信する外部インタフェース１４６２を提供することができる。外部インタフェース１４６２は、例えば、いくつかの実装形態では有線通信を行うことができ、他の実装形態では無線通信を行うことができ、複数のインタフェースを使用することもできる。

【0112】

メモリ１４６４は、コンピューティングデバイス１４５０内に情報を記憶する。メモリ１４６４は、１つまたは複数のコンピュータ可読媒体、１つまたは複数の揮発性メモリユニット、あるいは１つまたは複数の不揮発性メモリユニットのうちの１つ以上として実装され得る。拡張メモリ１４８４も提供され、この拡張メモリ１４８４は、例えばＳＩＭＭ（シングルインラインメモリモジュール）カードインタフェースを含み得る拡張インタフェース１４８２を介してデバイス１４５０に接続され得る。そのような拡張メモリ１４８４は、デバイス１４５０に追加の記憶空間を提供することができ、またはデバイス１４５０にアプリケーションまたは他の情報を記憶することもできる。具体的には、拡張メモリ１４８４は、前述のプロセスを実行または補足するための命令を含むことができ、安全な情報も含むことができる。したがって、例えば、拡張メモリ１４８４は、デバイス１４５０のセキュリティモジュールとして提供され、デバイス１４５０の安全な使用を可能にする命令でプログラムされ得る。さらに、安全なアプリケーションは、ハッキング不可能な態様でＳＩＭＭカードに識別情報を配置するなど、追加情報とともにＳＩＭＭカードを介して提供され得る。

【0113】

メモリは、例えば、以下に説明するように、フラッシュメモリおよび／またはＮＶＲＡＭメモリを含み得る。一実装形態では、コンピュータプログラムプロダクトは情報担体に有形的に具現化される。コンピュータプログラムプロダクトは、実行時に上記のような１つまたは複数の方法を実行する命令を含む。情報担体は、例えばトランシーバ１４６８または外部インタフェース１４６２を介して受信され得る、メモリ１４６４、拡張メモリ１４８４、またはプロセッサ１４５２上のメモリなどのコンピュータ可読または機械可読媒体である。

【0114】

デバイス１４５０は、通信インタフェース１４６６を介して無線通信することができ、通信インタフェース１４６６は、必要に応じてデジタル信号処理回路を含むことができる。通信インタフェース１４６６は、とりわけ、ＧＳＭ（登録商標）音声通話、ＳＭＳ、ＥＭＳ、またはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳなどのさまざまなモードまたはプロトコルの下での通信を行い得る。そのような通信は、例えば、無線周波数トランシーバ１４６８を通じて行われ得る。さらに、Ｂｌｕｅｔｏｏｔｈ、低電力Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、または他のそのようなトランシーバ（図示せず）を使用するなどの短距離通信が行われ得る。さらに、ＧＰＳ（全地球測位システム）受信機モジュール１４８０は、追加のナビゲーションおよび位置関連の無線データをデバイス１４５０に提供することができ、無線データは、デバイス１４５０上で実行されるアプリケーションによって適宜使用され得る。

【0115】

デバイス１４５０は、オーディオコーデック１４６０を使用して音声通信することもでき、オーディオコーデック１４６０は、ユーザから話された情報を受信し、それを使用可能なデジタル情報に変換することができる。オーディオコーデック１４６０は、同様に、例えばデバイス１４５０のハンドセット内のスピーカなどを介して、ユーザに対して可聴音を生成することができる。そのような音は、音声通話からの音を含むことができ、録音された音（例えば、音声メッセージ、音楽ファイルなど）また、デバイス１４５０上で動作するアプリケーションによって生成される音を含むこともできる。

【0116】

コンピューティングデバイス１４５０は、図に示すように、多くの異なる形式で実装することができる。例えば、コンピューティングデバイス１４５０は、携帯電話１４８３として実装されてもよい。また、コンピューティングデバイス１４５０は、スマートフォン１４８１、携帯情報端末、または他の同様のモバイルデバイスの一部として実装されてもよい。

【0117】

ここで説明されるシステムおよび技術のさまざまな実装は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせにおいて実現され得る。これらのさまざまな実装は、データおよび命令形式を受信し、データおよび命令をストレージシステム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスに送信するように結合された、専用または汎用の少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および／または解釈可能な１つまたは複数のコンピュータプログラムでの実装を含み得る。

【0118】

これらのコンピュータプログラム（モジュール、プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られている）は、プロラマブルプロセッサ用の機械命令を含み、高レベルの手続き型および／またはオブジェクト指向プログラミング言語、および／またはアセンブリ言語／機械語で実装され得る。本明細書で使用される「機械可読媒体」「コンピュータ可読媒体」という用語は、機械命令および／またはデータを機械読み取り可能な信号として機械命令を受信する機械読み取り可能な媒体を含むプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラムプロダクト、装置および／またはデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指す。「機械可読信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するために使用される任意の信号を指す。

【0119】

ユーザとの対話を提供するために、ここで説明するシステムおよび技術は、ユーザに情報を表示するための表示デバイス（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ、またはＬＥＤ（発光ダイオード））ならびにユーザがコンピュータに入力を提供できるキーボードおよびポインティングデバイス（例えば、マウスやトラックボール）を有するコンピュータで実装され得る。他の種類のデバイスを使用して、ユーザとの対話を提供することもできる。例えば、ユーザに提供されるフィードバックは、任意の形式の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）とすることができ、ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形式で受信することができる。

【0120】

ここで説明されるシステムおよび技術は、バックエンド構成要素（例えば、データサーバとして）を含む、またはミドルウェア構成要素（例えば、アプリケーションサーバ）を含む、またはフロントエンド構成要素（例えば、ユーザがここで説明するシステムおよび技術の実装と対話できるグラフィカルユーザインタフェースまたはＷｅｂブラウザを有するクライアントコンピュータ）、またはそのようなバックエンド、ミドルウェア、またはフロントエンド構成要素の任意の組み合わせを含むコンピューティングシステムで実装され得る。システムの構成要素は、デジタルデータ通信の任意の形式または媒体（通信ネットワークなど）によって相互接続できる。通信ネットワークの例としては、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、およびインターネットが挙げられる。

【0121】

コンピューティングシステムはクライアントおよびサーバを含むことができる。クライアントおよびサーバは、一般に、互いに離れており、一般に通信ネットワークを通じて対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行されて相互にクライアントとサーバとの関係を持つコンピュータプログラムによって発生する。

【0122】

いくつかの実装形態では、図１４に示されるコンピューティングデバイスは、ＨＭＤ１４９０とインタフェースする、またはＨＭＤ１４９０に含まれるセンサを含むことができる。例えば、図１４に示されるコンピューティングデバイス１４５０または他のコンピューティングデバイスに含まれる１つまたは複数のセンサは、ＨＭＤ１４９０に入力を提供することができ、または一般に、ＨＭＤ１４９０によって使用できる入力を提供することができる。センサは、タッチスクリーン、加速度計、ジャイロスコープ、圧力センサ、バイオメトリックセンサ、温度センサ、湿度センサ、周囲光センサを含むが、これらに限定されない。コンピューティングデバイス１４５０（例えば、ＨＭＤ１４９０）は、センサを使用して、ＨＭＤ１４９０による使用のための入力として使用できるＨＭＤ１４９０の絶対位置および／または検出された回転を決定することができる。

【0123】

いくつかの実装形態では、コンピューティングデバイス１４５０および／またはＨＭＤ１４９０に含まれる、またはそれらに接続される１つまたは複数の入力デバイスは、ＨＭＤ１４９０によって使用される入力として使用され得る。入力デバイスは、タッチスクリーン、キーボード、１つまたは複数のボタン、トラックパッド、タッチパッド、ポインティングデバイス、マウス、トラックボール、ジョイスティック、カメラ、マイク、入力機能付きのイヤホンまたはバド、ゲームコントローラ、またはその他の接続可能な入力デバイスを含むが、これらに限定されない。

【0124】

いくつかの実装形態では、コンピューティングデバイス１４５０上および／またはＨＭＤ１４９０内に含まれる１つまたは複数の出力デバイスは、出力および／またはフィードバックをＨＭＤ１４９０のユーザに提供することができる。出力およびフィードバックは、視覚的、戦術的、または聴覚的であり得る。出力および／またはフィードバックは、ＨＭＤ１４９０の表示のレンダリング、振動、１つまたは複数のライトまたはストロボのオンおよびオフまたは点滅および／またはフラッシング、アラームの鳴動、チャイムの再生、曲の再生、オーディオファイルの再生を含むことができるが、これらに限定されない。出力デバイスは、振動モータ、振動コイル、圧電デバイス、静電デバイス、発光ダイオード（ＬＥＤ）、ストロボ、スピーカを含むことができるが、これらに限定されない。

【0125】

いくつかの実装形態では、コンピューティングデバイス１４５０をＨＭＤ１４９０内に配置して、一体型ＨＭＤシステムを作成することができる。ＨＭＤ１４９０は、スマートフォン１４８１などのコンピューティングデバイス１４５０をＨＭＤ１４９０内の適切な位置に配置できるようにする１つまたは複数の位置決め要素を含むことができる。そのような実装形態では、スマートフォン１４８１のディスプレイは、ＨＭＤ１４９０のディスプレイを使用して画像をレンダリングすることができる。

【0126】

いくつかの実装形態では、コンピューティングデバイス１４５０は、コンピュータ生成の３Ｄ環境において別のオブジェクトとして現れ得る。ユーザによるコンピューティングデバイス１４５０との対話（例えば、回転する、振る、タッチスクリーンに触れる、タッチスクリーン上で指をスワイプする）は、ＡＲ／ＶＲ空間におけるオブジェクトとの対話として解釈することができる。ほんの一例として、コンピューティングデバイスはレーザポインタとなり得る。そのような例では、コンピューティングデバイス１４５０は、コンピュータ生成の３Ｄ環境において仮想レーザポインタとして現れる。ユーザがコンピューティングデバイス１４５０を操作すると、ＡＲ／ＶＲ空間内のユーザはレーザポインタの動きを見る。ユーザは、コンピューティングデバイス１４５０上またはＨＭＤ１４９０上のＡＲ／ＶＲ環境におけるコンピューティングデバイス１４５０との対話からフィードバックを受け取る。

【0127】

いくつかの実装形態では、コンピューティングデバイス１４５０はタッチスクリーンを含み得る。例えば、ユーザは、タッチスクリーン上で起こっていることとＨＭＤ１４９０のディスプレイで起こっていることを模倣できる特定の態様でタッチスクリーンと対話できる。例えば、ユーザは、つまむタイプの動きを使用して、タッチスクリーンに表示されているコンテンツをズームすることができる。タッチスクリーン上のこのつまむタイプの動きにより、ディスプレイに表示される情報をズームさせることができる。別の例では、コンピューティングデバイスは、コンピュータで生成された３Ｄ環境において仮想書籍としてレンダリングされ得る。

【0128】

いくつかの実装形態では、コンピューティングデバイスに加えて１つまたは複数の入力デバイス（例えば、マウス、キーボード）をＨＭＤ１４９０のディスプレイにレンダリングすることができる。レンダリングされた入力デバイス（例えば、レンダリングされたマウス、レンダリングされたキーボード）をディスプレイにレンダリングされたように使用できる。

【0129】

多くの実装形態を説明してきた。それにも関わらず、説明および特許請求の範囲の技術思想および範囲から逸脱することなく、さまざまな修正を行うことができることが理解される。

【0130】

さらに、図に示されている論理フローは、望ましい結果を達成するために、示されている特定の順序または連続した順序を必要としない。加えて、説明したフローから他のステップを提供したり、ステップを削除したりすることができ、また、他の構成要素を説明したシステムに追加したり、説明したシステムから削除したりすることができる。したがって、他の実装形態も特許請求の範囲に含まれる。

【0131】

上記の説明に加えて、本明細書で説明されるシステム、プログラム、デバイス、ネットワーク、または機能がユーザ情報（例えば、ユーザのソーシャルネットワーク、ソーシャルアクションまたはアクティビティ、職業、ユーザの好み、またはユーザの現在位置に関する情報）の収集を可能にするかどうか、またいつ可能にするかについて、およびユーザがサーバからコンテンツまたは通信を送信されるかどうかについてユーザが選択できるようにする制御がユーザに提供される。さらに、特定のデータは、ユーザ情報が削除されるように、保存または使用される前に１つまたは複数の方法で処理され得る。例えば、ユーザの識別情報は、そのユーザに関してユーザ情報を決定できないように処理されてもよく、あるいは、ユーザの地理的位置は、ユーザの特定の場所を決定できないように、位置情報が取得される場所（都市、郵便番号、州レベルなど）で一般化されてもよい。したがって、ユーザは、ユーザに関してどのような情報が収集されるか、その情報がどのように使用されるか、およびどのような情報がユーザに提供されるかを制御できる。

【0132】

コンピュータシステム（例えば、コンピューティングデバイス）は、無線周波数（ＲＦ）、マイクロ波周波数（ＭＷＦ）および／またはネットワーク上の通信に適合した赤外線周波数（ＩＲＦ）無線通信技術およびプロトコルを含む任意の既知の無線通信技術およびプロトコルを使用して、ネットワークサーバと確立された通信リンクを介して、ネットワークを介してネットワークサーバと無線通信するように構成され得る。

【0133】

本開示の態様によれば、本明細書に記載されるさまざまな技術の実装形態は、デジタル電子回路、またはコンピュータハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせで実装され得る。実装形態は、データ処理装置（例えば、プログラム可能なプロセッサ、コンピュータ、または複数のコンピュータ）によって処理するため、またはデータ処理装置の動作を制御するために、コンピュータプログラムプロダクト（例えば、情報担体、機械可読記憶装置、コンピュータ可読媒体、有形のコンピュータ可読媒体に具体的に具体化されたコンピュータプログラム）として実装され得る。いくつかの実装形態では、有形のコンピュータ可読記憶媒体は、実行されるとプロセッサにプロセスを実行させる命令を記憶するように構成され得る。前述のコンピュータプログラムなどのコンピュータプログラムは、コンパイル言語またはインタープリタ言語を含む任意の形式のプログラミング言語で記述でき、スタンドアロンプログラムまたはモジュール、構成要素、サブルーチン、またはコンピューティング環境での使用に適したその他のユニットとしてなど、任意の形式で展開できる。コンピュータプログラムは、１つのコンピュータ上でまたは１つのサイトの複数のコンピュータ上で処理されるように展開されてもよく、または複数のサイトに分散されて通信ネットワークによって相互接続されてもよい。

【0134】

本明細書に開示される特定の構造および機能の詳細は、例示的な実装を説明する目的で単に代表的なものである。しかしながら、実装例は多くの代替形式で具現化することができ、本明細書に記載された実装のみに限定されるものとして解釈されるべきではない。

【0135】

ここで使用される用語は、特定の実装を説明することだけを目的としており、実装を限定することを意図したものではない。本明細書で使用される場合、単数形「１つの（ａ）」、「１つの（ａｎ）」、および「その（ｔｈｅ）」は、文脈上明らかに別段の指示がない限り、複数形も含むものとする。さらに、「備える」、「備えている」、「含む」、および／または「含んでいる」という用語は、本明細書で使用される場合、記載された特徴、ステップ、動作、要素、および／または構成要素の存在を特定することが理解される。ただし、１つまたは複数の他の機能、ステップ、操作、要素、構成要素、および／またはそれらのグループの存在または追加を排除するものではない。

【0136】

ある要素が別の要素に「結合される」、「接続される」、もしくは「応答する」、または「上にある」と称される場合、その要素は、別の要素に直接結合される、接続される、もしくは応答する、または上にあることができ、あるいは、介在する要素も存在する可能性があることが理解される。対照的に、ある要素が別の要素に「直接結合」される、「直接接続」される、もしくは「直接応答」する、または「直接上に」あると称される場合、介在する要素は存在しない。本明細書で使用される「および／または」という用語には、関連するリストされた項目の１つまたは複数のあらゆる組み合わせが含まれる。

【0137】

本明細書では、説明を容易にするために、「下に」、「下方に」、「下側」、「上方に」、「上側」などの空間的に相対的な用語を使用して、ある要素または特徴を図に示される別の要素または特徴との関係で説明する場合がある。空間的に相対的な用語は、図に示された向きに加えて、使用中または動作中のデバイスの異なる向きを包含することを意図していることが理解される。例えば、図中の装置が裏返されると、他の要素または特徴の「下方に」または「下に」として説明された要素は、他の要素または特徴の「上方に」に配向されることになる。したがって、「下方に」という用語は、上方にと下方にの両方の向きを包含することができる。デバイスは別の向き（１３０度回転または他の向き）であってもよく、本明細書で使用される空間相対記述子はそれに応じて解釈され得る。

【0138】

概念の例示的な実装は、例示的な実装の理想化された実装（および中間構造）の概略図である断面図を参照して本明細書で説明される。したがって、製造技術や公差などの結果として、図の形状が異なることが予想される。したがって、説明される概念の例示的な実装は、本明細書に示される領域の特定の形状に限定されるものとして解釈されるべきではなく、例えば製造から生じる形状の偏差を含むものとする。したがって、図に示す領域は本質的に概略的なものであり、その形状はデバイスの領域の実際の形状を示すことを意図したものではなく、実装例の範囲を制限することを意図したものではない。

【0139】

「第１」、「第２」などの用語が本明細書ではさまざまな要素を説明するために使用され得るが、これらの要素はこれらの用語によって限定されるべきではないことが理解される。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。したがって、本実装形態の教示から逸脱することなく、「第１」要素を「第２」要素と呼ぶこともできる。

【0140】

別段の定義がない限り、本明細書で使用される用語（技術用語および科学用語を含む）は、これらの概念が属する当業者によって一般に理解されるのと同じ意味を有する。さらに、一般的に使用される辞書で定義されているような用語は、関連技術および／または本明細書の文脈における意味と一致する意味を有するものとして解釈されるべきであり、ここで明示的に定義されていない限り、理想化された、または過度に形式的な意味で解釈されるべきではない。

【0141】

記載された実装形態の特定の特徴が本明細書で記載されたように示されているが、多くの修正、置換、変更、および等価物が当業者には思い浮かぶであろう。したがって、添付の特許請求の範囲は、実装形態の範囲内に含まれるそのような修正および変更を網羅することを意図していることを理解されたい。これらは限定ではなく例としてのみ提示されており、形式および詳細においてさまざまな変更が可能であることを理解されたい。本明細書に記載される装置および／または方法の任意の部分は、相互に排他的な組み合わせを除いて、任意の組み合わせで組み合わせることができる。本明細書で説明される実装形態は、説明される異なる実装の機能、構成要素、および／または特徴のさまざまな組み合わせおよび／または部分組み合わせを含むことができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【国際調査報告】