特許 6879938 ニューラルネットワークを利用するバイオメトリックユーザ認識のためのデバイス、方法、およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6879938

(24)【登録日】2021年5月7日

(45)【発行日】2021年6月2日

(54)【発明の名称】ニューラルネットワークを利用するバイオメトリックユーザ認識のためのデバイス、方法、およびシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210524BHJP

   G06N 3/04 20060101ALI20210524BHJP

   A61B 5/1171 20160101ALI20210524BHJP

【ＦＩ】

   G06T7/00 510D

   G06N3/04 154

   G06T7/00 350C

   A61B5/1171 300

【請求項の数】11

【全頁数】24

(21)【出願番号】特願2017-558715(P2017-558715)

(86)(22)【出願日】2016年5月9日

(65)【公表番号】特表2018-524666(P2018-524666A)

(43)【公表日】2018年8月30日

(86)【国際出願番号】US2016031499

(87)【国際公開番号】WO2016183020

(87)【国際公開日】20161117

【審査請求日】2019年5月8日

(31)【優先権主張番号】62/159,593

(32)【優先日】2015年5月11日

(33)【優先権主張国】US

【前置審査】

(73)【特許権者】

【識別番号】514108838

【氏名又は名称】マジック リープ， インコーポレイテッド

【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】ブラドスキー， ゲイリー アール．

【審査官】 粕谷 満成

(56)【参考文献】

【文献】 米国特許第０５８５０４７０（ＵＳ，Ａ）

【文献】 特開２０１３−２５０８５６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／０３３６５４７（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ３／０４

Ａ６１Ｂ ５／１１７１

(57)【特許請求の範囲】

【請求項1】

システムのユーザを識別するためのユーザ識別システムの作動の方法であって、前記ユーザ識別システムは、画像認識ネットワーク、ジェネラリストネットワーク、調整層およびスペシャリスト層を備え、前記方法は、
画像データを分析することと、
前記画像データに基づいて、形状データを生成することと、
前記形状データを分析することと、
前記形状データに基づいて、一般的カテゴリデータを生成することと、
前記スペシャリスト層によって前記一般的カテゴリデータを特性と比較することによって、狭カテゴリデータを生成することと、
前記狭カテゴリデータに基づいて、分類決定を生成することと
を含み、
前記特性は、既知の個人からのものであり、かつ、前記ユーザ識別システムの前記画像認識ネットワークおよび前記ジェネラリストネットワークおよび前記調整層によって前記一般的カテゴリデータと潜在的に混同される、方法。

【請求項2】

データにおけるエラーを識別することをさらに含む、請求項１に記載の方法。

【請求項3】

前記エラーが識別された前記データを抑制することをさらに含む、請求項２に記載の方法。

【請求項4】

前記画像データを分析することは、前記画像データの複数のピクセルを走査することを含む、請求項１に記載の方法。

【請求項5】

前記画像データは、前記ユーザの眼に対応している、請求項１に記載の方法。

【請求項6】

システムのユーザを識別するためのユーザ識別システムの作動の方法であって、前記ユーザ識別システムは、画像認識ネットワーク、ジェネラリストネットワーク、調整層およびスペシャリスト層を備え、前記方法は、
画像データを分析することと、
前記画像データに基づいて、形状データを生成することと、
前記形状データを分析することと、
前記形状データに基づいて、一般的カテゴリデータを生成することと、
前記スペシャリスト層によって前記一般的カテゴリデータを特性と比較することによって、狭カテゴリデータを生成することと、
前記狭カテゴリデータに基づいて、分類決定を生成することと
を含み、
前記特性は、眉毛形状および眼形状から成る群から選択され、
前記特性は、既知の個人からのものであり、かつ、前記ユーザ識別システムの前記画像認識ネットワークおよび前記ジェネラリストネットワークおよび前記調整層によって前記一般的カテゴリデータと潜在的に混同される、方法。

【請求項7】

特性のネットワークを生成することをさらに含み、前記ネットワークの各それぞれの特性は、データベース内で潜在的に混同する不一致の個人に関連付けられている、請求項１に記載の方法。

【請求項8】

前記特性のネットワークは、前記システムが前記ユーザのために最初に較正されるとき、生成される、請求項７に記載の方法。

【請求項9】

前記ユーザの眼の移動を時間と共に追跡することをさらに含む、請求項１または６に記載の方法。

【請求項10】

前記一般的カテゴリデータを前記特性と比較する前に、前記ユーザの眼の移動に基づいて、前記一般的カテゴリデータを修正することをさらに含む、請求項９に記載の方法。

【請求項11】

前記ユーザの眼の移動から生じる相違に適合するように前記一般的カテゴリデータを修正することをさらに含む、請求項１０に記載の方法。

【発明の詳細な説明】

【背景技術】

【0001】

物理的世界から接続された電子（「仮想」）空間への金融および健康関連アクティビティ等の重要なアクティビティの移行は、ヒトの生活を改善する潜在性を有する。しかしながら、重要なアクティビティのこの移行は、識別および情報の窃盗を通した不正行為のための新しい機会も提供する。

【0002】

詳しく説明すると、従来の取引システム（金融またはその他）は、商取引に参加するために、典型的には、ユーザが、ある形態の金銭トークン（例えば、現金、小切手、クレジットカード等）、ある場合には、身分証明書（例えば、運転免許証等）、および認証（例えば、署名、ピンコード等）を物理的に携行すること、または思い出すことを要求する。あるユーザが、百貨店の中に入って行くとする。任意の種類の購入を行うために、ユーザは、典型的には、商品を取り上げ、商品をカートの中に入れ、レジまで歩いて行き、レジ係の前で列に並び、レジ係がいくつかの商品を走査することを待ち、クレジットカードを取り出し、身分証明書を提供し、クレジットカード領収証に署名し、商品の将来的返品のために領収証を保管する。従来の取引システムでは、これらのステップは、必要ではあるが、時間がかかり、非効率的である。ある場合には、これらのステップは、ユーザが購入を行うことを抑止または禁止する（例えば、ユーザが金銭トークンまたは身分証明書を携行していない等）。しかしながら、拡張現実（「ＡＲ」）デバイスの状況では、これらのステップは、冗長かつ不必要である。１つ以上の実施形態では、ＡＲデバイスは、その識別が事前に識別または事前に認証されているユーザが、ユーザが上で述べた面倒な手順を行うことを要求せずに、多くのタイプの取引（例えば、金融）をシームレスに行うことを可能にするように構成され得る。

【0003】

故に、本明細書に説明および請求されるバイオメトリックデータを使用してユーザを認識するためのデバイス、方法、およびシステムは、それらの取引に関連付けられたリスク（例えば、セキュリティ）を軽減しながら、重要な電子取引を促進することができる。

【発明の概要】

【課題を解決するための手段】

【0004】

ユーザ識別システムを対象とする一実施形態では、システムは、画像データを分析し、画像データに基づいて、形状データを生成するための画像認識ネットワークを含む。システムはまた、形状データを分析し、形状データに基づいて、一般的カテゴリデータを生成するためのジェネラリストネットワークを含む。システムはさらに、一般的カテゴリデータを特性と比較し、狭カテゴリデータを生成するためのスペシャリストネットワークを含む。さらに、システムは、狭カテゴリデータに基づいて分類決定を表すための複数のノードを含む分類層を含む。

【0005】

１つ以上の実施形態では、システムはまた、複数の層を含むバックプロパゲーションニューラルネットワークを含む。バックプロパゲーションニューラルネットワークはまた、エラー抑制および学習向上を含み得る。

【0006】

１つ以上の実施形態では、システムはまた、画像認識ネットワークでエンコードされたＡＳＩＣを含む。スペシャリストネットワークは、複数の層を含むバックプロパゲーションネットワークを含み得る。システムはまた、ユーザの眼の移動に基づいて一般的カテゴリデータを修正するための調整層を含み得る。

【0007】

システムのユーザを識別する方法を対象とする別の実施形態では、方法は、画像データを分析することと、画像データに基づいて、形状データを生成することを含む。方法はまた、形状データを分析することと、形状データに基づいて、一般的カテゴリデータを生成することとを含む。方法はさらに、一般的カテゴリデータを特性と比較することによって、狭カテゴリデータを生成することを含む。さらに、方法は、狭カテゴリデータに基づいて、分類決定を生成することを含む。

【0008】

１つ以上の実施形態では、方法はまた、データにおけるエラーを識別することを含む。方法はまた、エラーが識別されたデータを抑制することを含み得る。画像データを分析することは、画像データの複数のピクセルを走査することを含み得る。画像データは、ユーザの眼に対応し得る。

【0009】

１つ以上の実施形態では、特性は、既知の潜在的に混同する不一致の個人からのものである。特性は、眉毛形状および眼形状から成る群から選択され得る。方法はまた、特性のネットワークを生成することを含み得、ネットワークの各それぞれの特性は、データベース内で潜在的に混同する不一致の個人に関連付けられる。特性のネットワークは、システムがユーザのために最初に較正されるときに生成され得る。

【0010】

１つ以上の実施形態では、方法はまた、ユーザの眼の移動を時間と共に追跡することを含む。方法はまた、一般的カテゴリデータを特性と比較する前に、ユーザの眼の移動に基づいて、一般的カテゴリデータを修正することを含み得る。方法はまた、ユーザの眼の移動から生じる相違に適合するように一般的カテゴリデータを修正することを含み得る。

【0011】

非一過性コンピュータ読み取り可能な媒体において具現化されるコンピュータプログラム製品を対象とするなおも別の実施形態では、コンピュータ読み取り可能な媒体は、プロセッサによって実行されると、プロセッサに、システムのユーザを識別する方法を実行させるその上に記憶される一連の命令を有し、方法は、画像データを分析することと、画像データに基づいて、形状データを生成することとを含む。方法はまた、形状データを分析することと、形状データに基づいて、一般的カテゴリデータを生成することとを含む。方法はさらに、一般的カテゴリデータを特性と比較することによって、狭カテゴリデータを生成することを含む。さらに、方法は、狭カテゴリデータに基づいて、分類決定を生成することを含む。
本発明は、例えば、以下を提供する。
（項目１）
ユーザ識別システムであって、前記システムは、
画像データを分析し、前記画像データに基づいて、形状データを生成するための画像認識ネットワークと、
前記形状データを分析し、前記形状データに基づいて、一般的カテゴリデータを生成するためのジェネラリストネットワークと、
前記一般的カテゴリデータを特性と比較し、狭カテゴリデータを生成するためのスペシャリストネットワークと、
前記狭カテゴリデータに基づいて分類決定を表すための複数のノードを含む分類層と
を備えている、システム。
（項目２）
複数の層を含むバックプロパゲーションニューラルネットワークをさらに備えている、項目１に記載のシステム。
（項目３）
前記バックプロパゲーションニューラルネットワークは、エラー抑制および学習向上も含む、項目２に記載のシステム。
（項目４）
前記画像認識ネットワークでエンコードされたＡＳＩＣをさらに備えている、項目１に記載のシステム。
（項目５）
前記スペシャリストネットワークは、複数の層を含むバックプロパゲーションネットワークを備えている、項目１に記載のシステム。
（項目６）
ユーザの眼の移動に基づいて前記一般的カテゴリデータを修正するための調整層をさらに備えている、項目１に記載のシステム。
（項目７）
システムのユーザを識別する方法であって、前記方法は、
画像データを分析することと、
前記画像データに基づいて、形状データを生成することと、
前記形状データを分析することと、
前記形状データに基づいて、一般的カテゴリデータを生成することと、
前記一般的カテゴリデータを特性と比較することによって、狭カテゴリデータを生成することと、
前記狭カテゴリデータに基づいて、分類決定を生成することと
を含む、方法。
（項目８）
データにおけるエラーを識別することをさらに含む、項目７に記載の方法。
（項目９）
前記エラーが識別された前記データを抑制することをさらに含む、項目８に記載の方法。
（項目１０）
前記画像データを分析することは、前記画像データの複数のピクセルを走査することを含む、項目７に記載の方法。
（項目１１）
前記画像データは、前記ユーザの眼に対応している、項目７に記載の方法。
（項目１２）
前記特性は、既知の潜在的に混同する不一致の個人からのものである、項目７に記載の方法。
（項目１３）
前記特性は、眉毛形状および眼形状から成る群から選択される、項目７に記載の方法。
（項目１４）
特性のネットワークを生成することをさらに含み、前記ネットワークの各それぞれの特性は、データベース内で潜在的に混同する不一致の個人に関連付けられている、項目７に記載の方法。
（項目１５）
前記特性のネットワークは、前記システムが前記ユーザのために最初に較正されるとき、生成される、項目１４に記載の方法。
（項目１６）
前記ユーザの眼の移動を時間と共に追跡することをさらに含む、項目７に記載の方法。
（項目１７）
前記一般的カテゴリデータを前記制限と比較する前に、前記ユーザの眼の移動に基づいて、前記一般的カテゴリデータを修正することをさらに含む、項目１６に記載の方法。
（項目１８）
前記ユーザの眼の移動から生じる相違に適合するように前記一般的カテゴリデータを修正することをさらに含む、項目１６に記載の方法。
（項目１９）
非一過性コンピュータ読み取り可能な媒体において具現化されるコンピュータプログラム製品であって、前記コンピュータ読み取り可能な媒体は、一連の命令を記憶しており、前記命令は、プロセッサによって実行されると、前記プロセッサにシステムのユーザを識別する方法を実行させ、前記方法は、
画像データを分析することと、
前記画像データに基づいて、形状データを生成することと、
前記形状データを分析することと、
前記形状データに基づいて、一般的カテゴリデータを生成することと、
前記一般的カテゴリデータを特性と比較することによって、狭カテゴリデータを生成することと、
前記狭カテゴリデータに基づいて、分類決定を生成することと
を含む、コンピュータプログラム製品。

【図面の簡単な説明】

【0012】

図面は、本発明の種々の実施形態の設計および可用性を図示する。図は、正確な縮尺で描かれておらず、同様の構造または機能の要素は、図全体を通して同様の参照番号によって表されることに留意されたい。本発明の種々の実施形態の前述および他の利点ならびに目的を得る方法をより深く理解するために、簡単に前述された発明を実施するための形態が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、したがって、その範囲の限定として見なされないことを理解した上で、本発明は、付随の図面の使用を通して追加の具体性および詳細とともに記載ならびに説明されるであろう。

【図1A】図１Ａ−１Ｄおよび２Ａ−２Ｄは、種々の実施形態による、拡張現実／ユーザ識別システムの概略図である。

【図1B】図１Ａ−１Ｄおよび２Ａ−２Ｄは、種々の実施形態による、拡張現実／ユーザ識別システムの概略図である。

【図1C】図１Ａ−１Ｄおよび２Ａ−２Ｄは、種々の実施形態による、拡張現実／ユーザ識別システムの概略図である。

【図1D】図１Ａ−１Ｄおよび２Ａ−２Ｄは、種々の実施形態による、拡張現実／ユーザ識別システムの概略図である。

【図2】図１Ａ−１Ｄおよび２Ａ−２Ｄは、種々の実施形態による、拡張現実／ユーザ識別システムの概略図である。

【図3】図３は、別の実施形態による、拡張現実／ユーザ識別システムの詳述な概略図である。

【図4】図４は、さらに別の実施形態による、拡張現実／ユーザ識別システムを装着するユーザの概略図である。

【図5】図５は、一実施形態による、虹彩テンプレートを含む、ユーザの眼の概略図である。

【図6】図６は、別の実施形態による、ユーザの網膜の例示的画像である。

【図7】図７および８は、２つの実施形態による、ニューラルネットワークを描写する略図である。

【図8】図７および８は、２つの実施形態による、ニューラルネットワークを描写する略図である。

【図9】図９は、別の実施形態による、特徴ベクトルを描写する略図である。

【図10】図１０および１１は、２つの実施形態による、ユーザを識別する方法を描写するフロー図である。

【図11】図１０および１１は、２つの実施形態による、ユーザを識別する方法を描写するフロー図である。

【発明を実施するための形態】

【0013】

本発明の種々の実施形態は、単一実施形態または複数の実施形態における、バイオメトリックユーザ識別システムを実装するための（例えば、拡張現実システムとの使用のための）方法、システム、および製造品を対象とする。本発明の他の目的、特徴、および利点は、発明を実施するための形態、図、および請求項に説明される。

【0014】

ここで、種々の実施形態が、当業者が本発明を実践することを可能にするように、本発明の例証的実施例として提供される図面を参照して詳細に説明されるであろう。留意すべきこととして、以下の図および実施例は、本発明の範囲を限定することを意味するものではない。本発明のある要素が、公知のコンポーネント（または方法もしくはプロセス）を使用して部分的または完全に実装され得る場合、本発明の理解のために必要なそのような公知のコンポーネント（または方法もしくはプロセス）のそれらの部分のみ、説明され、そのような公知のコンポーネント（または方法もしくはプロセス）の他の部分の詳細な説明は、本発明を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は、例証として本明細書に参照されるコンポーネントの現在および将来的公知の均等物を包含する。

【0015】

（拡張現実およびユーザ識別システ）
拡張現実ディスプレイシステムの種々の実施形態は、公知である。ユーザ認識デバイスは、ＡＲシステムから独立して実装され得るが、以下の多くの実施形態は、例証目的のためだけにＡＲシステムに関連して説明される。

【0016】

開示されるのは、種々のコンピュータシステムのユーザを認識するためのデバイス、方法、およびシステムである。一実施形態では、コンピュータシステムは、種々の他のコンピュータシステム（例えば、金融コンピュータシステム）とのユーザ相互作用を促進するように構成される頭部搭載型システムであり得る。他の実施形態では、コンピュータシステムは、ユーザの金融取引を促進するように構成される静止したデバイス（例えば、商業用端末またはＡＴＭ）であり得る。種々の実施形態は、ＡＲシステム（例えば、頭部搭載型）を利用したユーザの金融取引の状況におけるユーザ認識に関して以下に説明されるであろうが、本明細書に開示される実施形態がどんな既存および／または公知のＡＲもしくは金融取引システムからも独立して使用され得ることを理解されたい。

【0017】

例えば、ＡＲシステムのユーザが、ＡＲシステムを使用して商取引を完了しようとする（例えば、オンライン当座預金口座からの資金を使用して、商品をオンライン小売店から購入する）とき、システムは、商取引を進める前に、最初に、ユーザの識別を確立しなければならない。このユーザ識別決定のための入力は、ＡＲシステムによって時間と共に生成されるユーザの画像であることができる。虹彩パターンが、ユーザを識別するために使用されることができる。しかしながら、ユーザ識別は、虹彩パターンに限定されず、ユーザの他の固有の属性または特性を含み得る。

【0018】

本明細書に説明されるユーザ識別デバイスおよびシステムは、１つ以上のバックプロパゲーションニューラルネットワークを利用して、ユーザ属性の分析を促進し、ユーザ／装着者の識別を決定する。マシン学習方法は、バックプロパゲーションニューラルネットワークを使用して、識別決定（例えば、Ｓａｍまたは非Ｓａｍ）を効率的に下すことができる。本明細書に説明されるニューラルネットワークは、コンピューティング／処理要件（例えば、プロセッササイクルおよび時間）を最小化しながら、より正確（すなわち、「真実」により近い）かつ精密に（すなわち、より再現性がある）識別決定を下すための追加の層を含む。

【0019】

ここで図１Ａ−１Ｄを参照すると、種々の実施形態による、いくつかの一般的ＡＲシステムコンポーネントオプションが、図示される。図１Ａ−１Ｄの実施形態は、頭部搭載型ディスプレイを図示するが、同一コンポーネントは、静止したコンピュータシステム内にも同様に組み込まれて得、図１Ａ−１Ｄは、限定として見なされるべきではないことを理解されたい。

【0020】

図１Ａに示されるように、頭部搭載型デバイスユーザ６０は、ユーザ６０の眼の正面に位置付けられるディスプレイシステム６２に結合されるフレーム６４構造を装着して描写される。フレーム６４は、セキュリティの要求されるレベルに応じて、１つ以上のユーザ識別特定のサブシステムに恒久的または一時的に結合され得る。いくつかの実施形態は、ユーザ識別用途のため特に構築され得、他の実施形態は、ユーザ識別可能でもある、一般的ＡＲシステムであり得る。いずれの場合も、以下は、ユーザ識別のために使用されるユーザ識別システムまたはＡＲシステムの可能なコンポーネントを説明する。

【0021】

スピーカ６６が、描写される構成においてフレーム６４に結合され、ユーザ６０の外耳道に隣接して位置付けられ得る。代替実施形態では、別のスピーカ（図示せず）が、ユーザ６０の他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する。１つ以上の実施形態では、ユーザ識別デバイスは、ディスプレイ６２を有し得、ディスプレイ６２は、有線導線または無線接続性等によってローカル処理およびデータモジュール７０に動作可能に結合され、ローカル処理およびデータモジュール７０は、フレーム６４に固定して取り付けられるか、図１Ｂに描写される実施形態に示されるようにヘルメットまたは帽子８０に固定して取り付けられるか、ヘッドホン内に埋設されるか、図１Ｃの実施形態に示されるようにリュック式構成においてユーザ６０の胴体８２に除去可能に取り付けられるか、または、図１Ｄの実施形態に示されるようにベルト結合式構成においてユーザ６０の臀部８４に除去可能に取り付けられる等、種々の構成において搭載され得る。

【0022】

ローカル処理およびデータモジュール７０は、電力効率的プロセッサまたはコントローラと、フラッシュメモリ等のデジタルメモリとを備え得、両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ等、フレーム６４に動作可能に結合され得るセンサから捕捉され得る。代替として、または加えて、データは、そのような処理もしくは読み出し後、おそらく、ディスプレイ６２への移動のために、遠隔処理モジュール７２および／または遠隔データリポジトリ７４を使用して、取得ならびに／もしくは処理され得る。ローカル処理およびデータモジュール７０は、有線または無線通信リンク等を介して、遠隔処理モジュール７２および遠隔データリポジトリ７４に動作可能に結合７６、７８され得、それによって、これらの遠隔モジュール７２、７４は、互いに動作可能に結合され、ローカル処理およびデータモジュール７０へのリソースとして利用可能である。

【0023】

一実施形態では、遠隔処理モジュール７２は、データおよび／または画像情報を分析ならびに処理するように構成される、１つ以上の比較的に高度なプロセッサまたはコントローラを備え得る。一実施形態では、遠隔データリポジトリ７４は、比較的に大規模なデジタルデータ記憶設備を備え得、それは、「クラウド」リソース構成において、インターネットまたは他のネットワーキング構成を通して利用可能であり得る。一実施形態では、全てのデータが、ローカル処理およびデータモジュール内に記憶され、全ての計算が、そこで行われ、任意の遠隔モジュールから完全に自律した使用を可能にする。

【0024】

本開示により関連して、図１Ａ−１Ｄに説明されるものに類似するユーザ識別デバイス（またはユーザ識別用途を有するＡＲシステム）は、ユーザの眼への固有のアクセスを提供する。ユーザ識別／ＡＲデバイスが、ユーザが３−Ｄ仮想コンテンツを知覚することを可能にするためにユーザの眼と重要な相互作用を果たし、多くの実施形態において、ユーザの眼に関連する種々のバイオメトリック（例えば、虹彩パターン、両眼離反運動、眼の運動、桿体細胞および錐体細胞のパターン、眼の移動のパターン等）を追跡するならば、得られる追跡データは、ユーザ識別用途において有利に使用され得る。したがって、ユーザの眼へのこの先例のないアクセスは、当然、種々のユーザ識別用途に適している。

【0025】

１つ以上の実施形態では、拡張現実ディスプレイシステムは、ユーザ装着型ユーザ識別デバイスまたはシステムとして使用され得る。そのようなユーザ識別デバイスおよびシステムは、ユーザの眼の画像を捕捉し、ユーザの眼の移動を追跡し、ユーザ識別のためのデータを得る。従来、ユーザ識別デバイスは、ユーザが一時的に取り付けられるデバイスが静止しているので、ユーザが静止したままであることを要求する。典型的には、ユーザは、デバイスがデータ取得を完了するまで、ユーザ識別器具またはデバイスに拘束される（例えば、顔を正面に向けた状態でのユーザ識別デバイスの顔を載せるコンポーネント上の顔、および／または指紋読み取りデバイスにおける指等）。したがって、現在のユーザ識別アプローチは、いくつかの限界を有する。

【0026】

ユーザ識別データ取得中のユーザ移動を制限することに加え、従来のアプローチは、画像捕捉エラーをもたらし、それは、ユーザ識別エラーにつながり得る。さらに、既存の画像（例えば、虹彩または指紋）分析アルゴリズムも、ユーザ識別エラーをもたらし得る。例えば、大部分の既存の画像分析アルゴリズムは、ユーザ識別正確度および精度とコンピュータシステム要件のバランスを取るように設計ならびに／または較正される。したがって、第三者が十分な量のユーザ特性をユーザと共有している場合、既存の画像分析アルゴリズムは、誤って、第三者をユーザとして識別し得る。

【0027】

１つ以上の実施形態では、図１Ａ−１Ｄに示されるものに類似するユーザ識別デバイスを含む頭部装着型ＡＲシステムは、ＡＲシステムのセキュアな特徴（以下に説明される）へのアクセスを提供する前に、ユーザを最初に、かつ継続的に識別するために使用され得る。１つ以上の実施形態では、ＡＲディスプレイシステムは、頭部装着型ユーザ識別デバイスとして使用され得る。以下に説明されるいくつかの実施形態は、頭部装着型システム内に実装され得るが、他の実施形態は、静止したデバイス内に実装され得ることを理解されたい。例証目的のために、本開示は、主に、頭部装着型ユーザ識別デバイス、特に、ＡＲデバイスに焦点を当てるであろうが、同一原理は、非頭部装着型および非ＡＲ実施形態にも同様に適用され得ることを理解されたい。

【0028】

１つ以上の実施形態では、ＡＲディスプレイデバイスは、ユーザ装着型ユーザ識別デバイスとして使用され得る。ユーザ装着型ユーザ識別デバイスは、典型的には、特定のユーザの頭部のために適合され、光学コンポーネントは、ユーザの眼と整列させられる。これらの構成ステップは、ユーザが、頭痛、吐き気、不快感等の任意の生理学的副作用を生じさせずに、最適拡張現実体験が提供されることを確実にするために、使用され得る。したがって、１つ以上の実施形態では、ユーザ装着型ユーザ識別デバイスは、各個々のユーザのために構成され（物理的かつデジタルの両方で）、プログラムの組が、そのユーザのために較正され得る。他のシナリオでは、ＡＲデバイスを緩く適合させることによって、種々のユーザによって快適に使用され得る。例えば、いくつかの実施形態では、ユーザ装着型ユーザ識別デバイスは、ユーザの眼間の距離、頭部装着型ディスプレイとユーザの眼との間の距離、およびユーザの額の曲率を把握している。これらの測定値は全て、所与のユーザに適合するためにカスタマイズされた頭部装着型ディスプレイシステムを提供するために使用され得る。他の実施形態では、そのような測定値は、ユーザ識別機能を行うために必要ではないこともある。

【0029】

例えば、図２Ａ−２Ｄを参照すると、ユーザ識別デバイスは、各ユーザのためにカスタマイズされ得る。ユーザの頭部形状４０２が、図２Ａに示されるように、１つ以上の実施形態では、頭部搭載ユーザ装着型ユーザ識別システムを適合させるときに考慮され得る。同様に、眼用コンポーネント４０４（例えば、光学、光学のための構造等）が、図２Ｂに示されるように、水平および垂直の両方にユーザの快適性のために回転もしくは調節され得るか、またはユーザの快適性のために回転させられ得る。１つ以上の実施形態では、図２Ｃに示されるように、ユーザの頭部に対するヘッドセットの回転点が、ユーザの頭部の構造に基づいて調節され得る。同様に、瞳孔間距離（ＩＰＤ）（すなわち、ユーザの眼間の距離）が、図２Ｄに示されるように、補償され得る。

【0030】

有利には、ユーザ装着型ユーザ識別デバイスの状況では、各ユーザのための頭部装着型デバイスのカスタマイズは、カスタマイズされたシステムが、ユーザの物理的特徴（例えば、眼サイズ、頭部サイズ、眼間の距離等）についての測定値の組およびユーザ識別において使用され得る他のデータへのアクセスをすでに有するので、有利である。

【0031】

ユーザ上で行われる種々の測定および較正に加え、ユーザ装着型ユーザ識別デバイスは、ユーザについてのバイオメトリックデータの組を追跡するように構成され得る。例えば、システムは、眼の移動、眼の移動パターン、瞬きパターン、両眼離反運動、疲労パラメータ、眼色の変化、焦点距離の変化、および光学拡張現実体験をユーザに提供することにおいて使用され得る多くの他のパラメータを追跡し得る。ユーザ識別用途のために使用されるＡＲデバイスの場合、上で述べた実施形態のうちのいくつかは、一般的に利用可能なＡＲデバイスの一部であり得、他の特徴（本明細書に説明される）は、特定のユーザ識別用途のために組み込まれ得ることを理解されたい。

【0032】

ここで図３を参照して、例示的ユーザ装着型ユーザ識別ディスプレイデバイスの種々のコンポーネントが、説明されるであろう。他の実施形態は、システムが使用される用途（例えば、特定のユーザ識別手順）に応じて、追加のコンポーネントを有し得ることを理解されたい。それにもかかわらず、図３は、種々のコンポーネントの基本概念と、ユーザ装着型ユーザ識別デバイスまたはＡＲデバイスを通して収集および記憶され得るバイオメトリックデータのタイプとを提供する。図３は、例証目的のために、右側のブロック図において、頭部搭載型ユーザ識別デバイス６２の簡略化されたバージョンを示す。

【0033】

図３を参照すると、好適なユーザディスプレイデバイス６２の一実施形態が、筐体またはフレーム１０８によってユーザの頭部もしくは眼に搭載され得るディスプレイレンズ１０６を備えているように示される。ユーザディスプレイデバイス６２は、その装着者／ユーザの識別を含む種々の機能を行うように構成されるＡＲシステムである。ディスプレイレンズ１０６は、ユーザの眼２０の正面において筐体８４によって位置付けられ、ローカル環境からの少なくとも一部の光の透過も可能にしながら、投影された光３８を眼２０の中に跳ね返し、ビーム成形を促進するように構成される、１つ以上の透明ミラーを備え得る。描写される実施形態では、２つの広角マシンビジョンカメラ１６が、筐体１０８に結合され、ユーザの周囲の環境を撮像する。一実施形態では、これらのカメラ１６は、デュアル捕捉可視光／赤外線光カメラである。

【0034】

描写される実施形態は、示されるように、光３８を眼２０の中に投影するように構成されるディスプレイミラーおよび光学を伴う一対の走査式レーザ成形波面（すなわち、深度のため）光プロジェクタモジュール１８も備えている。描写される実施形態は、赤外線光源２６（発光ダイオード、すなわち、「ＬＥＤ」等）と対にされた２つの小型赤外線カメラ２４を備え、カメラ２４は、ユーザの眼２０を追跡し、レンダリングおよびユーザ入力をサポートするように構成される。これらの赤外線カメラ２４は、ユーザ識別において利用され得るユーザの眼、特に、眼の虹彩の画像を継続的かつ動的に捕捉するようにも構成される。

【0035】

システム６２は、センサアセンブリ３９をさらに特徴とし、センサアセンブリ３９は、Ｘ、Ｙ、およびＺ軸加速度計能力と、方位磁石ならびにＸ、Ｙ、およびＺ軸ジャイロスコープ能力とを備え、好ましくは、２００Ｈｚ等の比較的に高周波数でデータを提供する。例示的センサアセンブリ３９は、慣性測定ユニット（「ＩＭＵ」）である。描写されるシステム６２は、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、および／またはＡＲＭプロセッサ（高度縮小命令セットマシン）等の頭部姿勢プロセッサ３６（「画像姿勢プロセッサ」）も備え、プロセッサ３６は、リアルまたは近リアルタイムユーザ頭部姿勢を捕捉デバイス１６からの広角画像情報出力から計算するように構成され得る。

【0036】

さらに示されるのは、デジタルおよび／またはアナログ処理を実行し、姿勢をセンサアセンブリ３９からのジャイロスコープ、コンパス、ならびに／もしくは加速度計データから導出するように構成される別のプロセッサ３２（「センサ姿勢プロセッサ」）である。描写される実施形態は、姿勢および位置決めを補助するためのＧＰＳ（全地球測位システム）サブシステム３７も特徴とする。加えて、ＧＰＳはさらに、ユーザの場所についてのクラウドベースの情報を提供し得る。この情報は、ユーザ識別目的のために使用され得る。例えば、ユーザ識別アルゴリズムが、検出されたユーザ特性を２つの潜在的ユーザ識別に絞り込むことができる場合、ユーザの現在および履歴場所データが、潜在的ユーザ識別のうちの一方を排除するために使用され得る。

【0037】

最後に、描写される実施形態は、ソフトウェアプログラムを起動するハードウェアを特徴とし得るレンダリングエンジン３４を備え、ソフトウェアプログラムは、ユーザの世界のビューのために、ユーザのローカルのレンダリング情報を提供し、スキャナの動作およびユーザの眼の中への結像を促進するように構成される。レンダリングエンジン３４は、レンダリングされた光が、網膜走査ディスプレイに類似する様式において、走査式レーザ配列１８を使用して投影されるように、画像姿勢プロセッサ３６、眼追跡カメラ２４、投影サブシステム１８、およびセンサ姿勢プロセッサ３２に動作可能に結合される９４、１００、１０２、１０４、１０５（すなわち、有線または無線接続性を介して）。投影された光ビーム３８の波面は、投影された光の所望の焦点距離と一致するように曲げられ、または焦点を合わせられ得る。

【0038】

小型赤外線眼追跡カメラ２４は、眼を追跡し、レンダリングおよびユーザ入力（例えば、ユーザが見ている場所、焦点を合わせられている深度等）をサポートするために利用され得る。以下に議論されるように、両眼離反運動が、ユーザの焦点深度を推定するために利用され得る。ＧＰＳ３７と、センサアセンブリ３９内のジャイロスコープ、コンパス、および加速度計とが、大まかな、および／または高速の姿勢推定を提供するために利用され得る。カメラ１６の画像およびセンサ姿勢情報が、関連付けられたクラウドコンピューティングリソースからのデータと併せて、ローカル世界をマップし、ユーザビューを仮想または拡張現実コミュニティおよび／もしくはユーザ識別システムと共有するために利用され得る。

【0039】

図３に特徴付けられるディスプレイシステム６２内のハードウェアの多くは、ディスプレイ１０６およびユーザの眼２０に隣接する筐体１０８に直接結合されて描写されるが、描写されるハードウェアコンポーネントは、例えば、図１Ｄに示されるように、ベルト搭載型コンポーネント等の他のコンポーネントに搭載され、またはその中に格納され得る。

【0040】

一実施形態では、図３に特徴付けられるシステム６２のコンポーネントは全て、画像姿勢プロセッサ３６、センサ姿勢プロセッサ３２、およびレンダリングエンジン３４を除き、ディスプレイ筐体１０８に直接結合され、後者３つとシステム６２の残りのコンポーネントとの間の通信は、超広帯域等の無線通信または有線通信によって行われ得る。描写される筐体１０８は、好ましくは、頭部搭載型であって、かつユーザによって装着可能である。それは、ユーザの耳の中に挿入され、音をユーザに提供するために利用され得るもの等、スピーカを特徴とし得る。

【0041】

ユーザの眼２０の中への光３８の投影に関して、一実施形態では、小型カメラ２４が、ユーザの眼２０の中心が幾何学的に近づけられている空間内のポイントを決定するために利用され得、そのポイントは、一般に、眼２０の焦点の位置、すなわち、「焦点深度」と一致する。投影された画像の焦点距離は、有限数の深度をとり得るか、またはユーザによって視認するための３−Ｄ画像の投影を促進するために、無限に可変であり得る。小型カメラ２４は、眼追跡のために利用され得、ソフトウェアは、両眼離反運動幾何学形状だけではなく、ユーザ入力としての役割を果たすための焦点場所の手掛かりも取り上げるように構成され得る。

【0042】

ＡＲ／ユーザ識別システムの一般的コンポーネントが説明されたことを踏まえ、ユーザ識別に関する追加のコンポーネントおよび／または特徴が、以下に議論されるであろう。以下に説明される特徴のうちのいくつかは、ユーザ識別デバイスまたはユーザ識別目的のために使用される大部分のＡＲシステムに一般的であるであろうが、他の特徴は、ユーザ識別目的のために、追加のコンポーネントを要求するであろうことを理解されたい。

【0043】

（ユーザ識別）
主題の拡張現実システムは、ユーザを識別、認証、位置特定、およびさらにその視線を決定するために非常に好適であるので、理想的には、ユーザの種々のタイプの重要な取引、金融、およびその他を補助するために好適である。

【0044】

（眼追跡／眼撮像からのユーザ識別）
主題のＡＲシステム６２は、概して、ユーザの眼が注視している（または「見ている」）場所およびユーザの眼が焦点を合わせられている場所を把握することが必要である。したがって、種々の実施形態では、頭部搭載型ディスプレイ（「ＨＭＤ」）コンポーネントは、ユーザの眼２０に関する画像情報を捕捉するように向けられている１つ以上のカメラ２４を特徴とする。図４に描写される実施形態では、ユーザの各眼２０は、眼に焦点を合わせられたカメラ２４を、３つ以上のＬＥＤ（図示せず）とともに有し得、ＬＥＤは、カメラ２４までの既知のオフセット距離を有し、眼の表面に閃光を誘発する。一実施形態では、ＬＥＤは、眼２０の直下にある。

【0045】

各カメラ２４までの既知のオフセットを伴う３つ以上のＬＥＤの存在は、三角測量によって、３−Ｄ空間内のカメラ２４から各閃光ポイントまでの距離を決定することを可能にする。少なくとも３つの閃光ポイントおよび眼２０の略球状モデルを使用して、システム６２は、眼２０の曲率を推測することができる。既知の３−Ｄオフセットおよび眼２０に対する向きを用いて、システム６２は、ユーザを識別するために使用するための虹彩もしくは網膜の正確な（例えば、画像）または抽象的（例えば、勾配もしくは他の特徴）テンプレートを形成することができる。他の実施形態では、眼２０内およびその上の静脈のパターン等の眼２０の他の特性も、ユーザを識別するために使用され得る（例えば、虹彩または網膜テンプレートとともに）。

【0046】

ａ．虹彩画像識別。一実施形態では、眼２０の虹彩内の筋線維のパターンは、斑点、溝、および環を含む、各個人に対して安定した固有のパターンを形成する。種々の虹彩特徴は、可視光撮像と比較して、赤外線または近赤外線撮像を使用して容易に捕捉され得る。システム６２は、多くの異なる方法において、捕捉された虹彩特徴を識別コード６８に変換することができる。目標は、眼２０から十分に豊富なテクスチャを抽出することである。収集されたデータ内の十分な自由度を用いて、システム６２は、数十億人の生存しているヒトの中から固有のユーザを理論的に識別することができる。システム６２は、下方または側方からユーザの眼２０に向けられたカメラ２４を含むので、システムコード６８は、回転不変である必要はないであろう。図５は、参照のための虹彩からの例示的コード６８を示す。

【0047】

例えば、ユーザ眼２０の下方のシステムカメラ２６、捕捉画像、および３−Ｄ深度情報を提供するためのいくつかのＬＥＤを使用して、システム６２は、瞳孔直径およびその３−Ｄ位置に対して正規化されるテンプレートコード６８を形成する。システム６２は、ユーザがデバイス６２と位置が合っている場合、いくつかの異なる視点からの一連のテンプレートコード６８を時間と共に捕捉することができる。この一連のテンプレートコード６８は、組み合わせられ、分析のための単一テンプレートコード６８を形成することができる。

【0048】

ｂ．網膜画像識別。別の実施形態では、ＨＭＤは、回折ディスプレイを備え、回折ディスプレイは、操向可能光ファイバケーブルによって操向されるレーザスキャナによって駆動される。このケーブルは、眼の内部を視覚化し、視覚受容体（桿体細胞および錐体細胞）ならびに血管の固有のパターンを有する網膜を撮像するためにも利用されることができる。これらは、各個人に固有のパターンも形成し、各個人を固有に識別するために使用されることができる。

【0049】

図６は、多くの従来の方法によってパターンに変換され得る網膜の画像を図示する。例えば、暗および明血管のパターンは、固有であり、パターンは、勾配演算子を網膜画像に適用し、網膜の中心に中心を置かれた標準化されたグリッド内の高低遷移を計数すること等の標準的技法によって、「暗−明」コードに変換されることができる。

【0050】

したがって、主題のシステム６２は、システム６２によって捕捉または検出されたユーザ特性をシステム６２の承認されたユーザのための既知のベースラインユーザ特性と比較することによって、高度な正確度および精度を伴って、ユーザを識別するために利用され得る。これらのユーザ特性は、上で述べたように、虹彩および網膜画像を含み得る。

【0051】

ユーザ特性は、眼２０の曲率／サイズを含み得、それは、ユーザの識別を補助する。なぜなら、異なる人々の眼は、類似であるが、正確に同一ではないからである。曲率および／またはサイズを有するからである。眼曲率および／またはサイズを利用することは、平坦な複製を用いた虹彩ならびに網膜画像のスプーフィングも防止する。上で述べた一実施形態では、ユーザの眼２０の曲率は、撮像された閃光から計算されることができる。

【0052】

ユーザ特性は、一時的情報をさらに含み得る。一時的情報は、ユーザがストレス（例えば、それらの識別が疑われていることの告知）を受けている間に収集されることができる。一時的情報は、心拍数、ユーザの眼が水の膜を産生しているかどうか、眼が近づき、一緒に集中しているかどうか、呼吸パターン、瞬き率、脈拍数等を含む。

【0053】

さらに、ユーザ特性は、相関情報を含み得る。例えば、システム６２は、環境の画像と予期される眼の移動パターンを相関させることができる。システム６２は、ユーザに、ＧＰＳ、Ｗｉ−Ｆｉ信号、および／または環境のマップから導出される場所と相関する同じ予期される場面が見えているかどうかを決定することもできる。例えば、ユーザが自宅に居ると考えられる場合（ＧＰＳおよびＷｉ−Ｆｉ信号から）、システムは、自宅内の予期される姿勢の正しい場面を検出するはずである。

【0054】

加えて、ユーザ特性は、ユーザを識別するために使用され得るハイパースペクトルおよび／または皮膚／筋肉コンダクタンスを含み得る（既知のベースライン特性と比較することによって）。ハイパースペクトルおよび／または皮膚／筋肉コンダクタンスは、ユーザが生存しているヒトであることを決定するために使用されることができる。

【0055】

ユーザ特性は、主題の拡張現実システム構成が継続的に装着されるように設計されているので、眼の移動パターンも含み得る。眼の移動パターンは、既知のベースライン特性と比較され、ユーザを識別する（または識別に役立つ）こともできる。

【0056】

他の実施形態では、システムは、複数の眼特性（例えば、虹彩および網膜パターン、眼形状、眉毛形状、睫毛パターン、眼サイズ、および曲率等）を使用して、ユーザを識別することができる。複数の特性を使用することによって、そのような実施形態は、単一の眼特性（例えば、虹彩パターン）のみを使用してユーザを識別するシステムと比較して、より低い分解能画像からユーザを識別することができる。

【0057】

識別システム（例えば、本明細書に説明される深層バイオメトリック識別ニューラルネットワーク）へのユーザ入力は、眼（またはユーザの別の部分）の画像もしくは時間と共に取得された眼の複数の画像（例えば、ビデオ）であり得る。いくつかの実施形態では、ネットワークは、単一画像と比較して、同一眼の複数の画像からより多くの情報を取得する。いくつかの実施形態では、複数の画像の一部または全部は、当業者に周知であるように、分析される前に事前に処理され、経時的な複数の画像の安定化合成を使用して、画像の有効分解能を増加させる。

【0058】

ＡＲ／ユーザ識別システムは、ユーザを周期的に識別するために、および／またはシステムがユーザの頭部から除去されていないことを確認するために使用されることもできる。

【0059】

上で述べたＡＲ／ユーザ識別システムは、非常にセキュアな形態のユーザ識別を提供する。言い換えると、システムは、比較的に高度な正確度および精度を伴って、ユーザの身元を決定するために利用され得る。システムは、非常に高度な確実性を伴って、かつ継続的ベース（周期的監視を使用して）でユーザの身元を把握するために利用されることができるので、それは、別個のログインを必要とせずに種々のセキュアな金融取引を有効にするために利用されることができる。

【0060】

種々のコンピューティングパラダイムが、コンピューティング／処理要件を最小化しながら、正確度および精度を伴って、捕捉または検出されたユーザ特性を承認されたユーザのための既知のベースラインユーザ特性と比較し、ユーザを効率的に識別するために利用されることができる。

【0061】

（ニューラルネットワーク）
図７は、一実施形態による、バックプロパゲーションニューラルネットワーク２００を図示する。ネットワーク２００は、複数のコネクタ２０４によって接続される複数のノード２０２を含み、コネクタ２０４は、１つのノード２０２の出力を表し、その１つのノード２０２は、別のノード２０２のための入力を形成する。ネットワーク２００は、バックプロパゲーションニューラルネットワークであるので、コネクタ２０４は、各ノード２０２がそのノード２０２の上方および下方の層内のノード２０２への入力を提供し得るという点において、双方向性である。

【0062】

ネットワーク２００は、第１の層２０６ａから開始し、第６の（「分類」）層２０６ｆまで通過（「上昇」）する６つの層を含む。ネットワーク２００は、検出されたユーザ特性に基づいて、分類（例えば、Ｓａｍ／非Ｓａｍ）決定を導出するように構成される。いくつかの実施形態では、分類決定は、Ｂｏｏｌｅａｎ決定である。第１の層２０６ａは、捕捉された画像２１２（例えば、ユーザの眼、特に、ユーザの虹彩の画像）のピクセルを走査するように構成される。第１の層２０６ａからの情報は、その中のノード２０２によって処理され、第２の層２０６ｂ内のノード２０２にパスされる。

【0063】

第２の層２０６ｂ内のノード２０２は、エラーチェックを含む、第１の層２０６ａからの情報を処理する。第２の層２０６ｂが第１の層２０６ａからの情報にエラーを検出する場合、誤った情報は、第２の層２０６ｂにおいて抑制される。第２の層２０６ｂが第１の層２０６ａからの情報を確認する場合、確認された情報は、向上／強化される（例えば、次の層のためにより重く重み付けされる）。このエラー抑制／情報向上プロセスは、第２および第３の層２０６ｂ、２０６ｃ間で繰り返される。最初の３つの層２０６ａ、２０６ｂ、２０６ｃは、世界の中で見出された基本形状（例えば、三角形、縁、平坦表面等）を認識／識別するように構成される画像処理サブネットワーク２０８を形成する。いくつかの実施形態では、画像処理サブネットワーク２０８は、特定用途向け集積回路（「ＡＳＩＣ」）上に書き込まれ得る、固定コードである。

【0064】

ネットワーク２００はまた、情報を最初の３つの層２０６ａ、２０６ｂ、２０６ｃから、かつ互いから受信するように構成される第４および第５の層２０６ｄ、２０６ｅを含む。第４および第５の層２０６ｄ、２０６ｅは、世界内のオブジェクト（例えば、花、顔、リンゴ等）を識別するように構成されるジェネラリストサブネットワーク２１０を形成する。画像処理サブネットワーク２０８に関して上で述べたエラー抑制／情報向上プロセスは、ジェネラリストサブネットワーク２１０内、および画像処理サブネットワーク２０８とジェネラリストサブネットワーク２１０との間で繰り返される。

【0065】

画像処理およびジェネラリストサブネットワーク２０８、２１０は、一緒に、エラー抑制／学習向上およびバックプロパゲーションを伴う非線形ロジスティック回帰ネットワークを形成し、非線形ロジスティック回帰ネットワークは、捕捉されたユーザ画像２１２のピクセルを走査し、分類層２０６ｆにおいて分類決定を出力するように構成される。分類層２０６ｆは、２つのノード、すなわち、（１）正／識別ノード２０２ａ（例えば、Ｓａｍ）と、（２）負／非識別ノード２０２ｂ（例えば、非Ｓａｍ）とを含む。

【0066】

図８は、別の実施形態による、ニューラルネットワーク２００を描写する。図８に描写されるニューラルネットワーク２００は、図７に描写されるものに類似するが、２つの追加の層が、ジェネラリストサブネットワーク２１０と分類層２０６ｆとの間に追加されている。図８に描写されるネットワーク２００では、第５の層２０６ｅからの情報は、第６の（「調整」）層２０６ｇにパスされる。調整層２０６ｇは、画像２１２データを修正し、ユーザの特有の眼の移動によって生じる相違を考慮するように構成される。調整層２０６ｇは、ユーザの眼の移動を時間と共に追跡し、画像２１２データを修正し、それらの移動によって生じるアーチファクトを除去する。

【0067】

図８は、調整層２０６ｇと分類層２０６ｆとの間に配置される第７の（「スペシャリスト」）層２０６ｈも描写する。スペシャリスト層２０６ｈは、いくつかの層を備えている小規模バックプロパゲーションスペシャリストネットワークであり得る。スペシャリスト層２０６ｈは、ユーザの画像２１２データを画像のデータベース（例えば、クラウド上に位置する）からの他の類似画像から導出されるデータに対して比較するように構成される。スペシャリスト層２０６ｈはさらに、画像認識ネットワーク２０８、ジェネラリストネットワーク２１０、および調整層２０６ｇがユーザからの画像２１２データと混同し得る全ての既知の画像を識別するように構成される。虹彩認識の場合、例えば、任意の特定のユーザの虹彩と混同され得る世界中の７０億人の人々からの２０，０００個の虹彩が存在し得る。

【0068】

スペシャリスト層２０６ｈは、各潜在的に混同する画像に対して、ユーザ画像２１２データをそれぞれの潜在的に混同する画像から区別するように構成されるノード２０２を含む。例えば、スペシャリスト層２０６ｈは、Ｓａｍの虹彩をＴｏｍの虹彩から区別するように構成されるノード２０２ｃと、Ｓａｍの虹彩をＡｎｎｅの虹彩から区別するように構成されるノード２０２ｄとを含み得る。スペシャリスト層２０６ｈは、眉毛形状および眼形状等の他の特性を利用して、ユーザを潜在的に混同する他の画像から区別し得る。スペシャリスト層２０６ｈ内の各ノード２０２は、各ノード２０２によって行われる機能の高度に特殊な性質に起因して、約１０の追加動作のみを含み得る。スペシャリスト層またはネットワーク２０６ｈからの出力は、分類層２０６ｈにパスされる。

【0069】

図９は、数千個のノード長であり得る、単一特徴ベクトルを描写する。いくつかの実施形態では、ニューラルネットワーク２００内の全てのノード２０２、例えば、図７および８に描写されるものが、特徴ベクトル内のノード２０２に報告し得る。

【0070】

図７、８、および９に図示されるネットワーク２００は、隣接する層２０６間のみを進行する情報を描写するが、大部分のネットワーク２００は、全層間の通信を含む（これらの通信は、明確にするために、図７、８、および９から省略されている）。図７、８、および９に描写されるネットワーク２００は、異なる層２０６への深層接続性を有するノード２０２を伴う深層信念または畳み込みニューラルネットワークを形成する。バックプロパゲーションを使用して、より弱いつながりのノードは、ゼロ値に設定され、学習された接続性パターンは、ネットワーク２００内で上位にパスされる。図７、８、および９に図示されるネットワーク２００は、特定の数の層２０６およびノード２０２を有するが、ネットワーク２００は、他の実施形態によると、異なる（より少ないまたはより多い）数の層２０６およびノード２０２を含む。

【0071】

ニューラルネットワーク２００のいくつかの実施形態が説明されたことを踏まえ、虹彩画像情報と上で述べたニューラルネットワーク２００とを使用して、分類決定（Ｓａｍ／非Ｓａｍ）を行う方法３００が、ここで議論されるであろう。図１０に示されるように、分類方法３００は、ステップ３０２から開始し、画像認識サブネットワーク２０８が、ユーザの虹彩画像２１２データを分析し、その画像２１２データ内の基本形状を決定する。ステップ３０４では、ジェネラリストサブネットワーク２１０が、画像認識サブネットワーク２０８からの形状データを分析し、虹彩画像２１２データのためのカテゴリを決定する。いくつかの実施形態では、「カテゴリ」は、「Ｓａｍ」または「非Ｓａｍ」であることができる。そのような実施形態では、このカテゴリ化は、十分にユーザを識別し得る。

【0072】

その例が図１１に描写される他の実施形態では、「カテゴリ」は「Ｓａｍ」を含む複数の潜在的ユーザ識別であることができる。図１１におけるステップ３０２および３０４は、図１０におけるものと同じである。ステップ３０６では、調整層２０６ｇが、画像形状およびカテゴリデータを修正し、ユーザの眼の移動によって生じるアーチファクトを除去する。調整層２０６ｇを用いたデータの処理は、ユーザの眼の不完全画像２１２（例えば、極端な角度によって生じる歪）に対してデータを弾力的にする。ステップ３０８では、スペシャリスト層／サブネットワーク２０６ｈが、随意に、ユーザの虹彩を１つ以上のデータベース内の全ての既知の潜在的に混同する虹彩から区別するように構成されるノード２０２（各固有の潜在的に混同する虹彩に対して固有のノード）を追加することによって、それ自体を構築する。いくつかの実施形態では、ステップ３０８は、ＡＲ／ユーザ識別システムが最初にその承認されたユーザのために較正されるときと、他の（例えば、より従来的）方法を使用してユーザの識別が確立された後とに行われ得る。ステップ３１０では、スペシャリスト層／サブネットワーク２０６ｈが、ジェネラリストサブネットワーク２１０および調整層２０６ｇからの「カテゴリ」データをスペシャリスト層／サブネットワーク２０６ｈ内の各ノード２０２に通し、「Ｓａｍ」または「非Ｓａｍ」のみが残るまで、「カテゴリ」内の混同を低減させる。

【0073】

上で述べたニューラルネットワーク２００およびユーザ識別方法３００は、コンピューティング／処理要件を最小化しながら、ユーザ特性からより正確かつ精密なユーザ識別を提供する。

【0074】

（セキュアな金融取引）
上で述べたように、パスワードまたはサインアップ／ログイン／認証コードは、上で述べたＡＲ／ユーザ識別システムおよび方法を使用して、個々のセキュアな取引から排除され得る。主題のシステムは、非常に高度な確実性を伴って、ユーザを事前に識別／事前に認証することができる。さらに、システムは、周期的監視を使用して、ユーザの識別を時間と共に維持することができる。したがって、識別されたユーザは、そのサイトの条項についての通知（オーバーレイされたユーザインターフェースアイテムとしてユーザに表示されることができる）後、任意のサイトへの瞬間アクセスを有することができる。一実施形態では、システムは、ユーザがそのサイト上の条件を瞬時に把握するように、ユーザによって事前に決定された標準的条項の組を作成し得る。サイトがこの条件（例えば、標準的条項）の組に準拠しない場合、主題のシステムは、自動的に、アクセスまたはそこでの取引を不可能にし得る。

【0075】

例えば、上で述べたＡＲ／ユーザ識別システムは、「少額取引」を促進するために使用されることができる。非常に少額のデビットおよびクレジットのみをユーザの金融口座に生成する少額取引は、典型的には、約数セントまたは１セント未満である。所与のサイト上において、主題のシステムは、ユーザが視聴または使用したコンテンツだけではなく、その時間（短いブラウジングは無料であり得るが、ある量を超えると、有料となるであろう）も確認するように構成され得る。種々の実施形態では、ニュース記事は、１／３セントであり得、書籍は、１ページあたり１ペニー課金され得、音楽は、１回の視聴あたり１０セントであり得る等。別の実施形態では、広告主が、バナー広告を選択すること、またはアンケートを行うことに対してユーザに０．５セントを支払い得る。システムは、取引料金のわずかなパーセンテージをサービスプロバイダに配分するように構成され得る。

【0076】

一実施形態では、システムは、ユーザによって制御可能な専用小額取引口座を作成するために利用され得、小額取引に関連した資金は、集約され、所定の有意の金額で、ユーザのより従来の金融口座（例えば、オンライン銀行口座）へ／から分配される。小額取引口座は、定期的間隔（例えば、四半期毎）において、またはあるトリガに応答して（例えば、ユーザが特定のウェブサイトにおいて数ドルを超えて費やすと）、清算または預金され得る。

【0077】

主題のシステムおよび機能性は、拡張現実に焦点を当てた企業によって提供され得るので、かつ、ユーザのＩＤは、非常に確実かつセキュアに把握されるので、ユーザは、その口座への瞬時のアクセス、金額、支出、支出率、ならびにその支出のグラフィカルおよび／または地理的マップの３−Ｄビューを提供され得る。そのようなユーザは、支出（例えば、小額取引）をオフおよびオンにすることを含む支出アクセスを瞬時に調節することを可能にされ得る。

【0078】

別の実施形態では、両親は、その子供の口座への同様のアクセスを有し得る。両親は、ある額の支出を上回らないように、またはあるカテゴリ等に対してあるパーセンテージのみを可能にするようにポリシを設定することができる。

【0079】

高額支出（例えば、数ペニーまたはわずかなペニーではなく、数ドルの金額）に対して、種々の実施形態が、主題のシステム構成を用いて促進され得る。

【0080】

ユーザは、システムを使用して、その追跡された場所またはユーザ選択されたマップ場所への配達のために、生鮮食料品を注文し得る。システムは、配達が到着する時間をユーザに通知することもできる（例えば、ＡＲシステム内に行われている配達のビデオを表示することによって）。ＡＲテレプレゼンスを用いて、ユーザは、その自宅から離れたオフィスに物理的に位置するが、配達員がその自宅に入ることを許可し、アバタテレプレゼンスによって配達員に対して出現し、配達員が製品を配達したことを見届け、次いで、配達員が退出したことを確認し、アバタテレプレゼンスによってその自宅のドアを施錠することができる。

【0081】

随意に、システムは、ユーザ製品選好を記憶し、ユーザに、ユーザの好ましい製品に関連するセールまたは他のプロモーションをアラートし得る。これらの高額支出実施形態に対して、ユーザは、その口座概要、その口座の全統計、および購買パターンを確認し、それによって、その注文を行う前に、買物の比較を促進することができる。

【0082】

システムは、眼を追跡するために利用され得るので、それは、「一瞥」による買物を可能にすることもできる。例えば、ユーザが、オブジェクト（例えば、ホテル内のローブ）を見て、「口座の金額が＄３，０００を超えたらこれが欲しい」と言ったとする。システムは、特定の条件（例えば、口座残高が＄３，０００を上回る）が達成されると、購入を実行するであろう。

【0083】

システム／サービスは、主題の技術を使用する各人物の非常に信頼性のある識別に連動された、ＢＩＴＣＯＩＮまたは同等代替通貨システムに類似する確立された通貨システムの代替を提供する。ユーザの正確かつ精密な識別は、代替通貨システムに関連する犯罪の機会を減少させる。

【0084】

（セキュアな通信）
一実施形態では、虹彩および／または網膜署名データは、通信をセキュアにするために使用され得る。そのような実施形態では、主題のシステムは、テキスト、画像、および他のコンテンツが、ユーザが１つ以上の動的に測定された虹彩および／もしくは網膜署名に基づいて認証されるときのみアクセスを可能にする、信頼されたセキュアなハードウェアデバイスに選択的に伝送可能であり、かつその上で表示可能であることを可能にするように構成され得る。ＡＲシステムディスプレイデバイスは、直接ユーザの網膜上に投影するので、意図される受信者（虹彩および／または網膜署名によって識別される）のみが、保護されたコンテンツを視聴可能となり得、さらに、視聴デバイスがユーザ眼を能動的に監視するので、動的に読み取られた虹彩および／または網膜署名が、コンテンツがユーザの眼に実際に提示されたことの証明として記録され得る（例えば、可能性として、眼の移動の要求されるシーケンスを実行する等、検証アクションによって遂行される、デジタル受信の形態として）。

【0085】

スプーフィング検出は、予期される自然変動のモデルに基づいて、網膜画像の以前の記録、静的または２Ｄ網膜画像、生成された画像等を使用した試みを排除し得る。固有の基準／ウォーターマークが、網膜上に生成および投影され、監査のための固有の網膜署名を生成し得る。

【0086】

上で述べた金融および通信システムは、より正確かつ精密なユーザ識別から利益を享受し得る、種々の一般的システムの実施例として提供される。故に、本明細書に説明されるＡＲ／ユーザ識別システムの使用は、開示される金融および通信システムに限定されず、むしろ、ユーザ識別を要求する任意のシステムに適用可能である。

【0087】

本発明の種々の例示的実施形態が、本明細書で説明される。非限定的な意味で、これらの実施例が参照される。それらは、本発明のより広くて適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われ得、本発明の真の精神および範囲から逸脱することなく、同等物が置換され得る。加えて、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを本発明の目的、精神、もしくは範囲に適合させるように、多くの修正が行われ得る。さらに、当業者によって理解されるように、本明細書で説明および例証される個々の変形例の各々は、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、またはそれらと組み合わせられ得る、個別のコンポーネントおよび特徴を有する。全てのそのような修正は、本開示に関連付けられる請求項の範囲内にあることを目的としている。

【0088】

本発明は、主題デバイスを使用して行われ得る方法を含む。方法は、そのような好適なデバイスを提供するという行為を含み得る。そのような提供は、エンドユーザによって行われ得る。換言すれば、「提供する」行為は、単に、エンドユーザが、主題方法において必須デバイスを提供するように、取得し、アクセスし、接近し、位置付けし、設定し、起動し、電源を入れ、または別様に作用することを要求する。本明細書で記載される方法は、論理的に可能である記載された事象の任意の順番で、ならびに事象の記載された順番で実行され得る。

【0089】

本発明の例示的実施形態が、材料選択および製造に関する詳細とともに、上で記載されている。本発明の他の詳細に関しては、これらは、上で参照された特許および出版物と関連して理解されるとともに、概して、当業者によって公知または理解され得る。一般的または論理的に採用されるような追加の行為の観点から、本発明の方法ベースの実施形態に関して、同じことが当てはまり得る。

【0090】

加えて、本発明は、種々の特徴を随意的に組み込むいくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるような説明および指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物（本明細書に記載されようと、いくらか簡単にするために含まれていなかろうと）が置換され得る。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定または介在値が、本発明内に包含されることを理解されたい。

【0091】

また、説明される本発明の変形例の任意の随意的な特徴が、独立して、または本明細書で説明される特徴のうちのいずれか１つ以上のものと組み合わせて、記載および請求され得ることが考慮される。単数形のアイテムへの参照は、複数形の同一のアイテムが存在するという可能性を含む。より具体的には、本明細書で、および本明細書に関連付けられる請求項で使用されるように、「１つの（「ａ」、「ａｎ」）」、「該（ｓａｉｄ）」、および「前記（ｔｈｅ）」という単数形は、特に規定がない限り、複数形の指示主題を含む。換言すれば、冠詞の使用は、上記の説明ならびに本開示に関連付けられる請求項において、主題アイテムの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意的な要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項の要素の記載と関連して、「単に」、「のみ」、および同等物等の排他的用語の使用、または「否定的」制限の使用のために、先行詞としての機能を果たすことを目的としている。

【0092】

そのような排他的用語を使用することなく、本開示に関連付けられる請求項での「備えている」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質の変換として見なすことができるかにかかわらず、任意の追加の要素を含むことを可能にするものとする。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の有効性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるものである。

【0093】

本発明の範疇は、提供される実施例および／または主題の明細書に限定されるものではなく、むしろ、本開示に関連付けられる請求項の言葉の範囲のみによって限定されるものである。

【0094】

上で述べた明細書では、本発明が、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広義の精神ならびに範囲から逸脱することなく、本明細書に成され得ることは、明白であろう。例えば、上で述べたプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本発明の範囲または動作に影響を及ぼさずに変更され得る。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。

【図1A】

【図1B】

【図1C】

【図1D】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】