特許 6785952 眼画像セグメント化および画質推定のためのニューラルネットワーク

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6785952

(24)【登録日】2020年10月29日

(45)【発行日】2020年11月18日

(54)【発明の名称】眼画像セグメント化および画質推定のためのニューラルネットワーク

(51)【国際特許分類】

   G06T 7/00 20170101AFI20201109BHJP

   G06N 3/04 20060101ALI20201109BHJP

   G06N 3/08 20060101ALI20201109BHJP

【ＦＩ】

   G06T7/00 350C

   G06T7/00 510D

   G06N3/04

   G06N3/08

【請求項の数】20

【全頁数】49

(21)【出願番号】特願2019-516390(P2019-516390)

(86)(22)【出願日】2017年5月25日

(65)【公表番号】特表2019-530929(P2019-530929A)

(43)【公表日】2019年10月24日

(86)【国際出願番号】US2017034482

(87)【国際公開番号】WO2018063451

(87)【国際公開日】20180405

【審査請求日】2020年5月22日

(31)【優先権主張番号】2016138608

(32)【優先日】2016年9月29日

(33)【優先権主張国】RU

【早期審査対象出願】

(73)【特許権者】

【識別番号】514108838

【氏名又は名称】マジック リープ， インコーポレイテッド

【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】スピゼヴォイ， アレクセイ

(72)【発明者】

【氏名】ケーラー， エイドリアン

(72)【発明者】

【氏名】バドリナラヤナン， ヴィジャイ

【審査官】 粕谷 満成

(56)【参考文献】

【文献】 米国特許出願公開第２０１６／００１２２１８（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１４／０２９４２５２（ＵＳ，Ａ１）

【文献】 特開平０４−０４７４７４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ３／０４

Ｇ０６Ｎ ３／０８

(57)【特許請求の範囲】

【請求項1】

眼画像セグメント化および画質推定のためのシステムであって、前記システムは、
眼画像を取得するように構成される眼結像カメラと、
前記眼画像を記憶するように構成される非一過性メモリと、
前記非一過性メモリと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記眼画像を受信することと、
畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像のセグメント化を生成することと、
前記畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像の品質推定値を生成することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備え、
前記畳み込みニューラルネットワークは、セグメント化タワーと、品質推定タワーとを備え、
前記セグメント化タワーは、セグメント化層と、共有層とを備え、
前記品質推定タワーは、品質推定層と、前記共有層とを備え、
前記共有層の第１の出力層は、前記セグメント化タワーの第１の入力層および前記セグメント化タワーの第２の入力層に接続され、前記第１の入力層または前記第２の入力層のうちの少なくとも１つは、連結層を備え、
前記共有層の第１の出力層は、前記品質推定層の入力層に接続され、
前記眼画像は、前記共有層の入力層によって受信される、
システム。

【請求項2】

前記共有層の第２の出力層は、前記セグメント化タワーの第３の入力層に接続され、前記第３の入力層は、連結層を備える、請求項１に記載のシステム。

【請求項3】

前記畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像のセグメント化を生成するために、前記ハードウェアプロセッサは、
前記セグメント化タワーを使用して、前記眼画像のセグメント化を生成するようにプログラムされ、
前記セグメント化タワーの出力層の出力は、前記眼画像のセグメント化を備える、請求項１に記載のシステム。

【請求項4】

前記眼画像のセグメント化は、前記眼画像の背景、強膜、虹彩、または瞳孔を含む、請求項３に記載のシステム。

【請求項5】

前記ハードウェアプロセッサはさらに、
前記眼画像のセグメント化を使用して、前記眼画像内の眼の瞳孔輪郭を決定することと、
前記眼画像のセグメント化を使用して、前記眼画像内の眼の虹彩輪郭を決定することと、
前記眼画像内の非関連エリアのためのマスクを決定することと
を行うようにプログラムされる、請求項４に記載のシステム。

【請求項6】

前記共有層は、前記共有層によって算出された特徴マップの空間寸法を減少させ、特徴マップの数を増加させることによって、前記眼画像をエンコードするように構成される、請求項１に記載のシステム。

【請求項7】

前記セグメント化層は、前記特徴マップの空間寸法を増加させ、前記特徴マップの数を低減させることによって、前記共有層によってエンコードされた前記眼画像をデコードするように構成される、請求項６に記載のシステム。

【請求項8】

前記畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像の品質推定値を生成するために、前記ハードウェアプロセッサは、
前記品質推定タワーを使用して、前記眼画像の品質推定値を生成するようにプログラムされ、
前記品質推定タワーの出力層の出力は、前記眼画像の品質推定値を備える、請求項１に記載のシステム。

【請求項9】

前記品質推定タワーは、少なくとも２つのチャネルの出力を出力するように構成され、前記少なくとも２つのチャネルの第１のものは、高品質推定値を備え、前記少なくとも２つのチャネルの第２のものは、低品質推定値を備える、請求項１に記載のシステム。

【請求項10】

前記共有層、前記セグメント化層、または前記品質推定層は、畳み込み層、明度正規化層、バッチ正規化層、正規化線形層、アップサンプリング層、連結層、プーリング層、全結合層、線形全結合層、ソフトサイン層、または任意のそれらの組み合わせを備える、請求項１に記載のシステム。

【請求項11】

眼画像セグメント化および画質推定のためのシステムであって、前記システムは、
眼画像を取得するように構成される眼結像カメラと、
前記眼画像を記憶するように構成される非一過性メモリと、
前記非一過性メモリと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記眼画像を受信することと、
畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像のセグメント化を生成することと、
前記畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像の品質推定値を生成することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備え、
前記畳み込みニューラルネットワークは、セグメント化タワーと、品質推定タワーとを備え、
前記セグメント化タワーは、セグメント化層と、共有層とを備え、
前記品質推定タワーは、品質推定層と、前記共有層とを備え、
前記セグメント化層は、前記品質推定タワーと共有されず、
前記品質推定層は、前記セグメント化タワーと共有されず、
前記眼画像は、前記共有層の入力層によって受信される、
システム。

【請求項12】

前記共有層の第１の出力層は、前記セグメント化タワーの第１の入力層に接続される、請求項１１に記載のシステム。

【請求項13】

前記共有層の第１の出力層は、前記セグメント化タワーの第２の入力層に接続され、
前記第１の入力層または前記第２の入力層は、連結層を備える、
請求項１２に記載のシステム。

【請求項14】

前記共有層の第１の出力層はさらに、前記品質推定タワーの入力層に接続される、請求項１２に記載のシステム。

【請求項15】

前記畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像のセグメント化を生成するために、前記ハードウェアプロセッサは、
前記セグメント化タワーを使用して、前記眼画像のセグメント化を生成するようにプログラムされ、
前記セグメント化タワーの出力層の出力は、前記眼画像のセグメント化を備える、請求項１１に記載のシステム。

【請求項16】

前記眼画像のセグメント化は、前記眼画像の背景、強膜、虹彩、または瞳孔を含む、請求項１１に記載のシステム。

【請求項17】

前記畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像の品質推定値を生成するために、前記ハードウェアプロセッサは、
前記品質推定タワーを使用して、前記眼画像の品質推定値を生成するようにプログラムされ、
前記品質推定タワーの出力層の出力は、前記眼画像の品質推定値を備える、請求項１１に記載のシステム。

【請求項18】

前記共有層、前記セグメント化層、または前記品質推定層は、畳み込み層、バッチ正規化層、正規化線形層、アップサンプリング層、連結層、プーリング層、全結合層、線形全結合層、または任意のそれらの組み合わせを備える、請求項１１に記載のシステム。

【請求項19】

前記バッチ正規化層は、バッチローカルコントラスト正規化層またはバッチローカル応答正規化層である、請求項１８に記載のシステム。

【請求項20】

前記共有層、前記セグメント化層、または前記品質推定層は、明度正規化層、ソフトサイン層、または任意のそれらの組み合わせを備える、請求項１１に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０１６年９月２９日に出願され、ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ ＦＯＲ ＥＹＥ ＩＭＡＧＥ ＳＥＧＭＥＮＴＡＴＩＯＮ ＡＮＤ ＩＭＡＧＥ ＱＵＡＬＩＴＹ ＥＳＴＩＭＡＴＩＯＮと題されたロシア特許出願第２０１６１３８６０８号に対する優先権の利益を主張するものであり、該特許出願の全体は、参照により本明細書中に援用される。

【0002】

本開示は、概して、眼画像セグメント化のためのシステムおよび方法に関し、より具体的には、両眼画像セグメント化および画質推定のための畳み込みニューラルネットワークの使用に関する。

【背景技術】

【0003】

個人のバイオメトリック識別の分野では、最も効果的な公知の方法のうちの１つは、ヒトの眼、主に、虹彩または網膜内に自然に生じるパターンを使用することである。虹彩および網膜の両方において、虹彩の場合のストロマの線維または網膜の場合の血管のパターンのいずれかからの色のパターンが、個人のバイオメトリック識別のために使用される。いずれの場合も、これらのパターンは、本組織の形態形成における無作為事象によって後成的に生成される。これは、それらが遺伝子的に同じ（一卵性）双生児でも、明確に異なるであろうことを意味する。

【0004】

従来の虹彩コードは、虹彩の画像から抽出される、ビットストリングである。虹彩コードを算出するために、眼画像は、セグメント化され、虹彩を瞳孔および強膜から分離し、セグメント化された眼画像は、極または擬似極座標にマッピングされ、位相情報が、複素値２次元ウェーブレット（例えば、ガボールまたはハール）を使用して抽出される。典型的虹彩コードは、ウェーブレット畳み込みの符号に基づく、ビットストリングであって、２，０４８ビットを有する。虹彩コードは、分析される領域が、眼瞼、睫毛、鏡面反射によってオクルージョンされているか、または雑音によって破損されているかどうかを表す、等数のビットを伴うマスクを付随し得る。そのような虹彩コードの使用は、パスポートデータからの通行者の識別等、多くの一般的虹彩ベースのバイオメトリックタスクの標準である。

【発明の概要】

【課題を解決するための手段】

【0005】

眼画像をセグメント化し、虹彩を瞳孔および強膜から分離するプロセスは、多くの課題を有する。

【0006】

一側面では、眼画像セグメント化および画質推定のための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で、眼画像を受信するステップと、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像のセグメント化を生成するステップと、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像の品質推定値を生成するステップとを含み、畳み込みニューラルネットワークは、セグメント化タワーと、品質推定タワーとを備え、セグメント化タワーは、セグメント化層と、共有層とを備え、品質推定タワーは、品質推定層と、共有層とを備え、共有層の第１の出力層は、セグメント化タワーの第１の入力層およびセグメント化タワーの第２の入力層に接続され、共有層の第１の出力層は、品質推定層の入力層に接続され、眼画像を受信するステップは、共有層の入力層によって眼画像を受信するステップを含む。

【0007】

別の側面では、眼画像セグメント化および画質推定のための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で、眼画像を受信するステップと、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像のセグメント化を生成するステップと、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像の品質推定値を生成するステップとを含む。

【0008】

さらに別の側面では、眼画像セグメント化および画質推定のための畳み込みニューラルネットワークを訓練するための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で、眼画像の訓練セットを取得するステップと、畳み込みニューラルネットワークに眼画像の訓練セットを提供するステップと、畳み込みニューラルネットワークを眼画像の訓練セットで訓練するステップとを含み、畳み込みニューラルネットワークは、セグメント化タワーと、品質推定タワーとを備え、セグメント化タワーは、セグメント化層と、共有層とを備え、品質推定タワーは、品質推定層と、共有層とを備え、共有層の出力層は、セグメント化タワーの第１の入力層およびセグメント化タワーの第２の入力層に接続され、共有層の出力層は、品質推定層の入力層に接続される。

【0009】

さらなる側面では、意味論的にセグメント化された眼画像内の眼輪郭を決定するための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で、複数のピクセルを含む眼画像の意味論的にセグメント化された眼画像を受信するステップであって、意味論的にセグメント化された眼画像のピクセルは、色値を有し、意味論的にセグメント化された眼画像のピクセルの色値は、第１の色値、第２の色値、第３の色値、および第４の色値であって、第１の色値は、眼画像の背景に対応し、第２の色値は、眼画像内の眼の強膜に対応し、第３の色値は、眼画像内の眼の虹彩に対応し、第４の色値は、眼画像内の眼の瞳孔に対応する、ステップと、意味論的にセグメント化された眼画像を使用して、瞳孔輪郭を決定するステップと、意味論的にセグメント化された眼画像を使用して、虹彩輪郭を決定するステップと、意味論的にセグメント化された眼画像内の非関連エリアのためのマスクを決定するステップとを含む。

【0010】

別の側面では、意味論的にセグメント化された眼画像内の眼輪郭を決定するための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で、眼画像の意味論的にセグメント化された眼画像を受信するステップと、意味論的にセグメント化された眼画像を使用して、眼画像内の眼の瞳孔輪郭を決定するステップと、意味論的にセグメント化された眼画像を使用して、眼画像内の眼の虹彩輪郭を決定するステップと、眼画像内の非関連エリアのためのマスクを決定するステップとを含む。

【0011】

本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、ならびに請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。

【図面の簡単な説明】

【0012】

【図1】図１は、共有層を共有する、セグメント化タワーと、品質推定タワーとを含む、融合アーキテクチャを伴う例示的畳み込みニューラルネットワークのブロック図である。

【図2】図２は、眼画像内の例示的眼を図式的に図示する。

【図3A】図３Ａ−３Ｃは、融合アーキテクチャを伴う例示的畳み込みニューラルネットワークを描写する。

【図3B】図３Ａ−３Ｃは、融合アーキテクチャを伴う例示的畳み込みニューラルネットワークを描写する。

【図3C】図３Ａ−３Ｃは、融合アーキテクチャを伴う例示的畳み込みニューラルネットワークを描写する。

【図4】図４は、図３に図示される融合畳み込みネットワークアーキテクチャを伴う畳み込みニューラルネットワークを使用して眼画像をセグメント化する例示的結果を示す。

【図5】図５は、融合アーキテクチャを伴う畳み込みニューラルネットワークを作成する例示的プロセスのフロー図である。

【図6】図６は、融合アーキテクチャを伴う畳み込みニューラルネットワークを使用して眼画像をセグメント化する例示的プロセスのフロー図である。

【図7】図７は、セグメント化された眼画像内の瞳孔輪郭、虹彩輪郭、および非関連画像エリアのためのマスクを決定する例示的プロセスのフロー図である。

【図8】図８は、例示的な意味論的にセグメント化された眼画像を図式的に図示する。

【図9】図９は、セグメント化された眼画像内の瞳孔輪郭または虹彩輪郭を決定する例示的プロセスのフロー図である。

【図10A】図１０Ａ−１０Ｃは、例示的瞳孔輪郭決定を図式的に図示する。

【図10B】図１０Ａ−１０Ｃは、例示的瞳孔輪郭決定を図式的に図示する。

【図10C】図１０Ａ−１０Ｃは、例示的瞳孔輪郭決定を図式的に図示する。

【図11】図１１は、図７および９に図示される例示的プロセスを使用して瞳孔輪郭、虹彩輪郭、および非関連画像エリアのためのマスクを決定する例示的結果を示す。

【図12】図１２Ａ−１２Ｂは、図７および９に示される例示的プロセスを用いて瞳孔輪郭および虹彩輪郭をフィッティング後に取得される極座標内の虹彩画像上でトリプレットネットワークアーキテクチャを用いて畳み込みニューラルネットワークを訓練する例示的結果を示す。

【図13】図１３は、トリプレットネットワークアーキテクチャを伴う例示的畳み込みニューラルネットワークのブロック図である。

【図14】図１４は、ウェアラブルディスプレイシステムの実施例を図式的に図示する。

【発明を実施するための形態】

【0013】

図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。
概要

【0014】

２０４８ビットを用いた従来のウェーブレットベースの虹彩コードが、虹彩識別のために使用されることができる。しかしながら、虹彩コードは、画像クロッピング、画像のぼけ、画像を捕捉する際の照明条件、眼瞼および睫毛によるオクルージョン、ならびに画像視野角を含む、変動に敏感であり得る。加えて、虹彩コードの算出に先立って、眼画像は、虹彩領域を瞳孔領域および周囲強膜領域から分離するようにセグメント化される必要がある。

【0015】

畳み込みニューラルネットワーク（ＣＮＮ）が、眼画像をセグメント化するために使用されてもよい。眼画像は、眼の眼球周囲領域を含むことができ、これは、眼と、眼瞼、眉毛、睫毛、および眼を囲繞する皮膚等の眼の周囲の部分とを含む。眼画像は、セグメント化され、眼画像内の眼の瞳孔領域、虹彩領域、または強膜領域を生成することができる。眼画像はまた、セグメント化され、眼画像内の眼の周囲の眼瞼等の皮膚を含む、眼画像の背景を生成することができる。セグメント化された眼画像は、虹彩コードを算出するために使用されることができ、これは、ひいては、虹彩識別のために使用されることができる。虹彩識別のために有用または好適な眼画像セグメント化を生成するために、眼画像またはセグメント化された眼画像の品質が、決定または推定されてもよい。眼画像またはセグメント化された眼画像の品質が決定されると、虹彩識別のために有用または好適ではあり得ない眼画像が、決定され、後続虹彩識別からフィルタリング除去されることができる。例えば、瞬目、ぼけた眼画像、または不適切にセグメント化された眼画像を捕捉した眼画像は、虹彩識別のために有用または好適ではあり得ない。低品質の眼画像またはセグメント化された眼画像をフィルタリング除去することによって、虹彩識別は、改良されることができる。不適切にセグメント化された眼画像を生成する１つの可能性として考えられる原因は、畳み込みニューラルネットワークを訓練し、眼画像をセグメント化するとき、不適切にセグメント化された眼画像に類似する、不十分な数の眼画像を有することである。

【0016】

本明細書に開示されるシステムおよび方法は、眼画像セグメント化および画質推定に関連する種々の課題に対処する。例えば、深層ニューラルネットワーク（ＤＮＮ）等の畳み込みニューラルネットワークが、両眼画像セグメント化および画質推定を実施するために使用されることができる。両眼画像セグメント化および画質推定を実施するためのＣＮＮは、融合アーキテクチャを有することができる。融合アーキテクチャを伴うＣＮＮは、眼画像をセグメント化する、セグメント化タワーと、眼画像の品質推定値を決定する、品質推定タワーとを含むことができ、したがって、低品質眼画像は、フィルタリング除去されることができる。セグメント化タワーは、共有層に接続される、セグメント化層を含むことができる。セグメント化層は、セグメント化タワーに一意のＣＮＮ層であり得、品質推定タワーと共有されることができない。品質推定タワーは、共有層に接続される、品質推定層を含むことができる。品質推定層は、品質推定タワーに一意のＣＮＮ層であって、セグメント化タワーと共有されることができない。共有層は、セグメント化タワーおよび品質推定タワーによって共有される、ＣＮＮ層であることができる。

【0017】

セグメント化タワーは、眼画像をセグメント化し、眼画像のセグメント化を生成することができる。セグメント化タワー（または品質推定タワー）の共有層は、その入力として、眼画像、例えば、１２０×１６０グレースケール画像を受信することができる。セグメント化タワーは、セグメント化タワー出力を生成することができる。セグメント化タワー出力は、複数の画像、例えば、眼画像の瞳孔領域、虹彩領域、強膜領域、または背景領域毎に１つずつ、４つの画像を含むことができる。品質推定タワーは、眼画像またはセグメント化された眼画像の品質推定値を生成することができる。

【0018】

融合アーキテクチャを伴う畳み込みニューラルネットワークを訓練するとき、多くのカーネルが、学習されることができる。カーネルは、その入力に適用されると、その特定の学習されたカーネルに対する応答を示す、結果として生じる特徴マップを生産する。結果として生じる特徴マップは、次いで、ＣＮＮの別の層のカーネルによって処理されることができ、これは、プーリング演算を通して、結果として生じる特徴マップをダウンサンプリングし、より小さい特徴マップを生成する。プロセスは、次いで、その結果として生じる特徴マップを算出するために、繰り返され、新しいカーネルを学習することができる。

【0019】

融合ＣＮＮアーキテクチャ内のセグメント化タワー（または品質推定タワー）は、エンコーディング−デコーディングアーキテクチャを実装することができる。共有層等のセグメント化タワー（または品質推定タワー）の前層は、徐々に、層によって算出された特徴マップの空間寸法を減少させ、特徴マップの数を増加させることによって、眼画像をエンコードすることができる。セグメント化層（または品質推定層）の後層等のセグメント化タワー（または品質推定タワー）のいくつかの層は、徐々に、層によって算出された特徴マップの空間寸法をオリジナル眼画像サイズに戻るように増加させ、特徴マップの数を減少させることによって、エンコードされた眼画像をデコードすることができる。

【0020】

セグメント化タワーおよび品質推定タワーの両方を含む、融合ＣＮＮアーキテクチャの可能性として考えられる利点は、訓練の間、ＣＮＮの共有層が、セグメント化および画質の両方のために有用な特徴マップを見出すことである。故に、そのようなＣＮＮは、別個のＣＮＮ毎の特徴マップが殆どまたは全く関係を有し得ない、セグメント化のために１つおよび品質推定のために別の１つの別個のＣＮＮの使用と比較して、有益であり得る。
（例示的畳み込みニューラルネットワーク）

【0021】

図１は、共有層１１２を共有する、セグメント化タワー１０４と、品質推定タワー１０８とを含む、融合アーキテクチャを伴う例示的畳み込みニューラルネットワーク１００のブロック図である。深層ニューラルネットワーク（ＤＮＮ）等の畳み込みニューラルネットワーク１００は、両眼画像セグメント化および画質推定を実施するために使用されることができる。融合アーキテクチャを伴うＣＮＮ１００は、セグメント化タワー１０４と、品質推定タワー１０８とを含むことができる。セグメント化タワー１０４は、共有層１１２に接続される、セグメント化層１１６を含むことができる。共有層１１２は、セグメント化タワー１０４および品質推定タワー１０８によって共有される、ＣＮＮ層であることができる。共有層１１２の出力層は、セグメント化層１１６の入力層に接続されることができる。共有層１１２の１つ以上の出力層は、セグメント化層１１６の１つ以上の入力層に接続されることができる。セグメント化層１１６は、セグメント化タワー１０４に一意であって、品質推定タワー１０８と共有されない、ＣＮＮ層であることができる。

【0022】

品質推定タワー１０８は、品質推定層１２０と、共有層１１２とを含むことができる。品質推定層１２０は、品質推定タワー１０８に一意であって、セグメント化タワー１０４と共有されない、ＣＮＮ層であることができる。共有層１１２の出力層は、品質推定層１２０の入力層に接続される、共有層１１２であることができる。品質推定層１２０の入力層は、共有層１１２の出力層に接続されることができる。共有層１１２の１つ以上の出力層は、品質推定層１２０の１つ以上の入力層に接続されることができる。

【0023】

共有層１１２は、異なる実装では、異なるようにセグメント化層１１６または品質推定層１２０に接続されることができる。例えば、共有層１１２の出力層は、セグメント化層１１６の１つ以上の入力層または品質推定層１２０の１つ以上の入力層に接続されることができる。別の実施例として、共有層１１２の出力層は、セグメント化層１１６の１つ以上の入力層および品質推定層１２０の１つ以上の入力層に接続されることができる。１つ、２つ、３つ、またはそれを上回る出力層等の共有層１１２の異なる数の出力層が、セグメント化層１１６または品質推定層１２０の入力層に接続されることができる。１つ、２つ、３つ、またはそれを上回る入力層等のセグメント化層１１６または品質推定層１２０の異なる数の入力層が、共有層１１２の出力層に接続されることができる。

【0024】

セグメント化タワー１０４は、眼画像１２４を処理し、眼画像のセグメント化を生成することができる。図２は、眼画像１２４内の例示的眼２００を図式的に図示する。眼２００は、眼瞼２０４と、強膜２０８と、虹彩２１２と、瞳孔２１６とを含む。曲線２１６ａは、瞳孔２１６と虹彩２１２との間の瞳孔境界を示し、曲線２１２ａは、虹彩２１２と強膜２０８（眼の「白眼」）との間の辺縁境界を示す。眼瞼２０４は、上側眼瞼２０４ａと、下側眼瞼２０４ｂとを含む。

【0025】

図１を参照すると、セグメント化タワー１０４（または品質推定タワー１０８）の共有層１１２の入力層は、その入力として、眼画像１２４、例えば、１２０×１６０グレースケール画像を受信することができる。セグメント化タワー１０４は、セグメント化タワー出力１２８を生成することができる。セグメント化タワー出力１２８は、複数の画像、例えば、眼画像１２４内の瞳孔２１６、虹彩２１２、強膜２０８、または背景に対応する領域毎に１つずつの４つの画像を含むことができる。眼画像の背景は、眼画像１２４内の眼瞼、眉毛、睫毛、または眼を囲繞する皮膚に対応する領域を含むことができる。いくつかの実装では、セグメント化タワー出力１２８は、セグメント化された眼画像を含むことができる。セグメント化された眼画像は、セグメント化された瞳孔、虹彩、強膜、または背景を含むことができる。

【0026】

品質推定タワー１０８は、眼画像１２４を処理し、眼画像１２４の品質推定値等の品質推定タワー出力を生成することができる。眼画像１２４の品質推定値は、バイナリ分類、すなわち、高品質推定値分類または低品質推定値分類であることができる。眼画像１２４の品質推定値は、高品質推定値分類を有する眼画像１２４の確率を含むことができる。眼画像１２４が高質である確率が、高品質閾値（７５％、８５％、９５％等）を超える場合、画像は、高質として分類されることができる。逆に言えば、いくつかの実施形態では、確率が、低品質閾値（２５％、１５％、５％等）を下回る場合、眼画像１２４は、低質として分類されることができる。

【0027】

畳み込みニューラルネットワーク１００を訓練するとき、多くのカーネルが、学習される。カーネルは、入力眼画像１２４または前のＣＮＮ層によって算出された特徴マップに適用されると、その特定のカーネルに対するその入力の応答を示す、結果として生じる特徴マップを生産する。結果として生じる特徴マップは、次いで、畳み込みニューラルネットワーク１００の別の層のカーネルによって処理されることができ、これは、プーリング演算を通して、結果として生じる特徴マップをダウンサンプリングし、より小さい特徴マップを生成する。プロセスは、次いで、その結果として生じる特徴マップを算出するために、繰り返され、新しいカーネルを学習することができる。故に、共有層は、有利には、セグメント化タワー１０４および品質推定タワー１０８を訓練するときに同時に訓練されることができる。

【0028】

セグメント化タワー１０４（または品質推定タワー１０８）は、エンコーディング−デコーディングアーキテクチャを実装することができる。共有層１１２等のセグメント化タワー１０４（または品質推定タワー１０８）の前層は、徐々に、層によって算出された特徴マップの空間寸法を減少させ、特徴マップの数を増加させることによって、眼画像１２４をエンコードすることができる。空間寸法を減少させることは、有利には、セグメント化タワー１０４（または品質推定タワー１０８）の中央層の特徴マップをグローバルコンテキストアウェアにする結果をもたらし得る。

【0029】

しかしながら、空間寸法を減少させることは、正確度劣化を、例えば、瞳孔境界または辺縁境界等のセグメント化境界にもたらし得る。いくつかの実装では、セグメント化タワー１０４（または品質推定タワー１０８）の層は、共有層１０４の出力層等の異なる層からの特徴マップを連結することができる。結果として生じる連結された特徴マップは、有利には、複数のスケールにおいて抽出された特徴が、ローカルおよびグローバルコンテキストの両方を提供するために使用されることができ、前層の特徴マップが、より多くの高周波数詳細を留保し、より鮮明なセグメント化境界につながり得るため、マルチスケールとなり得る。

【0030】

いくつかの実装では、３ピクセル×３ピクセルを上回るカーネルサイズを伴う畳み込み層が、連続３ピクセル×３ピクセル畳み込み層と置換されることができる。連続３ピクセル×３ピクセル畳み込み層を用いることで、畳み込みニューラルネットワーク１００は、有利には、より小さくまたはより高速となり得る。

【0031】

セグメント化層１１６（または品質推定層１２０）の後層等のセグメント化タワー１０４（または品質推定タワー１０８）のいくつかの層は、徐々に、特徴マップの空間寸法をオリジナル眼画像サイズに戻るように増加させ、特徴マップの数を減少させることによって、エンコードされた眼画像をデコードすることができる。畳み込みニューラルネットワーク１００のいくつかの層、例えば、品質推定層１２０の最後の２つの層は、全結合されることができる。
（例示的畳み込みニューラルネットワーク層）

【0032】

畳み込みニューラルネットワーク１００は、１つ以上のニューラルネットワーク層を含むことができる。ニューラルネットワーク層は、線形または非線形変換をその入力に適用し、その出力を生成することができる。ニューラルネットワーク層は、畳み込み層、正規化層（例えば、明度正規化層、バッチ正規化（ＢＮ）層、ローカルコントラスト正規化（ＬＣＮ）層、またはローカル応答正規化（ＬＲＮ）層）、正規化線形層、アップサンプリング層、連結層、プーリング層、全結合層、線形全結合層、ソフトサイン層、再帰層、または任意のそれらの組み合わせであることができる。

【0033】

畳み込み層は、畳み込みを行うまたは畳み込みをその入力に適用する、カーネルのセットを適用し、その出力を生成することができる。正規化層は、例えば、Ｌ２正規化を用いて、その入力の明度を正規化し、その出力を生成する、明度正規化層であることができる。正規化層は、複数の画像の明度を相互に対して一度に正規化し、複数の正規化された画像をその出力として生成し得る、バッチ正規化（ＢＮ）層であることができる。明度を正規化するための方法の非限定的実施例は、ローカルコントラスト正規化（ＬＣＮ）またはローカル応答正規化（ＬＲＮ）を含む。ローカルコントラスト正規化は、ピクセル毎に画像のローカル領域を正規化し、平均値ゼロおよび分散１を持たせることによって、画像のコントラストを非線形に正規化することができる。ローカル応答正規化は、ローカル入力領域にわたって画像を正規化し、平均値ゼロおよび分散１を持たせることができる。正規化層は、眼セグメント化および品質推定値の算出を加速させ得る。

【0034】

正規化線形層は、正規化線形層ユニット（ＲｅＬＵ）層またはパラメトリック正規化線形層ユニット（ＰＲｅＬＵ）層であることができる。ＲｅＬＵ層は、ＲｅＬＵ関数をその入力に適用し、その出力を生成することができる。ＲｅＬＵ関数ＲｅＬＵ（ｘ）は、例えば、ｍａｘ（０，ｘ）であることができる。ＰＲｅＬＵ層は、ＰＲｅＬＵ関数をその入力に適用し、その出力を生成することができる。ＰＲｅＬＵ関数ＰＲｅＬＵ（ｘ）は、例えば、ｘ≧０の場合、ｘであって、ｘ＜０の場合、ａｘであることができ、ａは、正の数である。

【0035】

アップサンプリング層は、その入力をアップサンプリングし、その出力を生成することができる。例えば、アップサンプリング層は、最近傍法またはバイキュービック補間法等のアップサンプリング方法を使用して、４ピクセル×５ピクセル入力をアップサンプリングし、８ピクセル×１０ピクセル出力を生成することができる。連結層は、その入力を連結し、その出力を生成することができる。例えば、連結層は、４つの５ピクセル×５ピクセル特徴マップを連結し、１つの２０ピクセル×２０ピクセル特徴マップを生成することができる。別の実施例として、連結層は、４つの５ピクセル×５ピクセル特徴マップおよび４つの５ピクセル×５ピクセル特徴マップを連結し、８つの５ピクセル×５ピクセル特徴マップを生成することができる。プーリング層は、プーリング関数を適用することができ、これは、その入力をダウンサンプリングし、その出力を生成する。例えば、プーリング層は、２０ピクセル×２０ピクセル画像を１０ピクセル×１０ピクセル画像にダウンサンプリングすることができる。プーリング関数の非限定的実施例は、最大プーリング、平均プーリング、または最小プーリングを含む。

【0036】

全結合層内のノードは、前の層内の全てのノードに接続される。線形分類子に類似する、線形全結合層は、高品質または低品質等の２つの出力値を伴う、全結合層であることができる。ソフトサイン層は、ソフトサイン関数をその入力に適用することができる。ソフトサイン関数（ｓｏｆｔｓｉｇｎ（ｘ））は、例えば、（ｘ／（１＋｜ｘ｜））であることができる。ソフトサイン層は、要素別誤対応の影響を無視し得る。要素別誤対応は、眼画像内の眼瞼オクルージョンまたは偶発的な明るいスポットのために生じ得る。

【0037】

時間点ｔにおいて、再帰層は、隠蔽状態ｓ（ｔ）を算出することができ、再帰結合は、時間ｔにおける隠蔽状態ｓ（ｔ）を再帰層に入力として後続時間点ｔ＋１において提供することができる。再帰層は、時間ｔにおける隠蔽状態ｓ（ｔ）に基づいて、その出力を時間ｔ＋１において算出することができる。例えば、再帰層は、ソフトサイン関数を時間ｔにおける隠蔽状態ｓ（ｔ）に適用し、その出力を時間ｔ＋１において算出することができる。時間ｔ＋１における再帰層の隠蔽状態は、入力として、時間ｔにおける再帰層の隠蔽状態ｓ（ｔ）を有する。再帰層は、例えば、ＲｅＬＵ関数をその入力に適用することによって、隠蔽状態ｓ（ｔ＋１）を算出することができる。

【0038】

畳み込みニューラルネットワーク１００内のニューラルネットワーク層の数は、異なる実装では、異なり得る。例えば、畳み込みニューラルネットワーク１００内のニューラルネットワーク層の数は、１００であることができる。ニューラルネットワーク層の入力タイプは、異なる実装では、異なり得る。例えば、ニューラルネットワーク層は、ニューラルネットワーク層の出力をその入力として受信することができる。ニューラルネットワーク層の入力は、異なる実装では、異なり得る。例えば、ニューラルネットワーク層の入力は、ニューラルネットワーク層の出力を含むことができる。

【0039】

ニューラルネットワーク層の入力サイズまたは出力サイズは、非常に大きくあることができる。ニューラルネットワーク層の入力サイズまたは出力サイズは、ｎ×ｍであることができ、ｎは、入力または出力のピクセル単位における高さを示し、ｍは、ピクセル単位における幅を示す。例えば、ｎ×ｍは、１２０ピクセル×１６０ピクセルであることができる。ニューラルネットワーク層の入力または出力のチャネルサイズは、異なる実装では、異なり得る。例えば、ニューラルネットワーク層の入力または出力のチャネルサイズは、８であることができる。したがって、ニューラルネットワーク層は、８つのチャネルまたは特徴マップをその入力として受信する、または８つのチャネルまたは特徴マップをその出力として生成することができる。ニューラルネットワーク層のカーネルサイズは、異なる実装では、異なり得る。カーネルサイズは、ｎ×ｍであることができ、ｎは、カーネルのピクセル単位の高さを示し、ｍは、ピクセル単位の幅を示す。例えば、ｎまたはｍは、３ピクセルであることができる。ニューラルネットワーク層のストライドサイズは、異なる実装では、異なり得る。例えば、ニューラルネットワーク層のストライドサイズは、３であることができる。ニューラルネットワーク層は、パディング、例えば、ｎ×ｍパディングをその入力に適用することができ、ｎは、パディングの高さを示し、ｍは、幅を示す。例えば、ｎまたはｍは、１つのピクセルであることができる。
（例示的共有層）

【0040】

図３Ａ−３Ｃは、融合アーキテクチャを伴う例示的畳み込みニューラルネットワーク１００を描写する。図３Ａは、畳み込みニューラルネットワーク１００のセグメント化タワー１０４の共有層１１２の例示的アーキテクチャを描写する。共有層１１２の入力層は、１×１パディング（１ピクセル×１ピクセル）を追加後、入力眼画像１２４（１２０×１６０グレースケール画像）を３×３カーネル（３ピクセル×３ピクセル）で畳み込む、畳み込み層３０２ａであることができる。パディングを追加し、その入力を畳み込み後、畳み込み層３０２ａは、８チャネルの出力を生成し、各チャネルは、畳み込み層３０２ａを表すブロック内に８×１２０×１６０として示される、１２０×１６０特徴マップである。８チャネルの出力は、ローカル応答正規化（ＬＲＮ）層３０２ｂ、バッチ正規化（ＢＮ）層３０２ｃ、および正規化線形層ユニット（ＲｅＬＵ）層３０２ｄによって処理されることができる。

【0041】

ＲｅＬＵ層３０２ｄは、１×１パディングを追加後、ＲｅＬＵ層３０２ｄの出力を３×３カーネルで畳み込み、８チャネルの出力（１２０×１６０特徴マップ）を生成する、畳み込み層３０４ａに接続されることができる。８チャネルの出力は、バッチ正規化層３０４ｃおよびＲｅＬＵ層３０４ｄによって処理されることができる。ＲｅＬＵ層３０４ｄは、２×２ストライド（２ピクセル×２ピクセル）を使用して、ＲｅＬＵ層３０４ｄの出力を２×２カーネルでプールし、８チャネルの出力（６０×８０特徴マップ）を生成する、最大プーリング（ＭＡＸＰＯＯＬＩＮＧ）層３０６ａに接続されることができる。

【0042】

最大プーリング層３０６ａは、１×１パディングを追加後、最大プーリング層３０６ａの出力を３×３カーネルで畳み込み、１６チャネルの出力（６０×８０特徴マップ）を生成する、畳み込み層３０８ａに接続されることができる。１６チャネルの出力は、バッチ正規化層３０８ｃおよびＲｅＬＵ層３０８ｄによって処理されることができる。

【0043】

ＲｅＬＵ層３０８ｄは、１×１パディングを追加後、ＲｅＬＵ層３０８ｄの出力を３×３カーネルで畳み込み、１６チャネルの出力（６０×８０特徴マップ）を生成する、畳み込み層３１０ａに接続されることができる。１６チャネルの出力は、バッチ正規化層３１０ｃおよびＲｅＬＵ層３１０ｄによって処理されることができる。ＲｅＬＵ層３１０ｄは、２×２ストライドを使用して、ＲｅＬＵ層３１０ｄの出力を２×２カーネルでプールし、１６チャネルの出力（３０×４０特徴マップ）を生成する、最大プーリング層３１２ａに接続されることができる。

【0044】

最大プーリング層３１２ａは、１×１パディングを追加後、最大プーリング層３１２ａの出力を３×３カーネルで畳み込み、３２チャネルの出力（３０×４０特徴マップ）を生成する、畳み込み層３１４ａに接続されることができる。訓練サイクルの間、畳み込みニューラルネットワーク１００を訓練するとき、畳み込み層３１４ａの加重値の３０％は、０．３のドロップアウト比のために、ゼロの値にランダムに設定されることができる。３２チャネルの出力は、バッチ正規化層３１４ｃおよびＲｅＬＵ層３１４ｄによって処理されることができる。

【0045】

ＲｅＬＵ層３１４ｄは、１×１パディングを追加後、ＲｅＬＵ層３１４ｄの出力を３×３カーネルで畳み込み、３２チャネルの出力（３０×４０特徴マップ）を生成する、畳み込み層３１６ａに接続されることができる。３２チャネルの出力は、バッチ正規化層３１６ｃおよびＲｅＬＵ層３１６ｄによって処理されることができる。ＲｅＬＵ層３１６ｄは、２×２ストライドを使用して、ＲｅＬＵ層３１６ｄの出力を２×２カーネルでプールし、３２チャネルの出力（１５×２０特徴マップ）を生成する、最大プーリング層３１８ａに接続されることができる。

【0046】

最大プーリング層３１８ａは、１×１パディングを追加後、最大プーリング層３１８ａの出力を３×３カーネルで畳み込み、３２チャネルの出力（１５×２０特徴マップ）を生成する、畳み込み層３２０ａに接続されることができる。訓練サイクルの間、畳み込みニューラルネットワーク１００を訓練するとき、畳み込み層３２０ａの加重値の３０％は、０．３のドロップアウト比のために、ゼロの値にランダムに設定されることができる。３２チャネルの出力は、バッチ正規化層３２０ｃおよびＲｅＬＵ層３２０ｄによって処理されることができる。

【0047】

ＲｅＬＵ層３２０ｄは、１×１パディングを追加後、ＲｅＬＵ層３２０ｄの出力を３×３カーネルで畳み込み、３２チャネルの出力（１５×２０特徴マップ）を生成する、畳み込み層３２２ａに接続されることができる。３２チャネルの出力は、バッチ正規化層３２２ｃおよびＲｅＬＵ層３２２ｄによって処理されることができる。ＲｅＬＵ層３２２ｄは、１×０パディングを追加後、２×２ストライドを使用して、ＲｅＬＵ層３２２ｄの出力を２×２カーネルでプールし、３２チャネルの出力（８×１０特徴マップ）を生成する、最大プーリング層３２４ａに接続されることができる。最大プーリング層３２４ａは、セグメント化層１１６の入力層に接続されることができる。

【0048】

最大プーリング層３２４ａは、１×１パディングを追加後、最大プーリング層３２４ａの出力を３×３カーネルで畳み込み、３２チャネルの出力（８×１０特徴マップ）を生成する、畳み込み層３２６ａに接続されることができる。訓練サイクルの間、畳み込みニューラルネットワーク１００を訓練するとき、畳み込み層３２６ａの加重値の３０％は、０．３のドロップアウト比のために、ゼロの値にランダムに設定されることができる。３２チャネルの出力は、バッチ正規化層３２６ｃおよびＲｅＬＵ層３２６ｄによって処理されることができる。最大プーリング層３２４ａは、セグメント化層１１６に接続されることができる。

【0049】

ＲｅＬＵ層３２６ｄは、１×１パディングを追加後、ＲｅＬＵ層３２６ｄの出力を３×３カーネルで畳み込み、３２チャネルの出力（８×１０特徴マップ）を生成する、畳み込み層３２８ａに接続されることができる。３２チャネルの出力は、バッチ正規化層３２８ｃおよびＲｅＬＵ層３２８ｄによって処理されることができる。ＲｅＬＵ層３２８ｄは、２×２ストライドを使用して、ＲｅＬＵ層３２８ｄの出力を２×２カーネルでプールし、３２チャネルの出力（４×５特徴マップ）を生成する、最大プーリング層３３０ａに接続されることができる。最大プーリング層３３０ａは、セグメント化層１１６および品質推定層１２０に接続されることができる。

【0050】

図３Ａにおける例示的共有層１１２は、エンコーディングアーキテクチャを実装する。例示的共有層１１２は、徐々に、層によって算出された特徴マップの空間寸法を減少させ、特徴マップの数を増加させることによって、眼画像１２４をエンコードする。例えば、畳み込み層３０２ａは、８チャネルの出力を生成し、各チャネルは、１２０×１６０特徴マップである一方、畳み込み層３２６ａは、３２チャネルの出力を生成し、各チャネルは、８×１０特徴マップである。
（例示的セグメント化層）

【0051】

図３Ｂは、畳み込みニューラルネットワーク１００のセグメント化タワー１０４のセグメント化層１１６の例示的アーキテクチャを描写する。セグメント化層１１６の入力層は、共有層１１２の最大プーリング層３３０ａに接続される、平均プーリング層３３２ａであることができる。平均プーリング層３３２ａは、最大プーリング層３３０ａの出力を４×５カーネル（４ピクセル×５ピクセル）でプールし、３２チャネルの出力（１×１特徴マップ、すなわち、それぞれ、１ピクセル×１ピクセルの寸法を伴う、特徴マップ）を生成することができる。平均プーリング層３３２ａは、−１×０パディング（−１ピクセル×０ピクセル）を用いた最近傍法を使用して、３２チャネルの出力（４×５特徴マップ）を生成する、アップサンプリング層３３４ａに接続されることができる。

【0052】

連結層３３６ａは、共有層１１２の最大プーリング層３３０ａに接続される、セグメント化層１１６の入力層であることができる。連結層３３６ａはまた、アップサンプリング層３３４ａに接続されることができる。最大プーリング層３３０ａおよびアップサンプリング層３３４ａから受信されたその入力を連結後、連結層３３６ａは、６４チャネルの出力（４×５特徴マップ）を生成することができる。２つの層からの出力を連結することによって、複数のスケールにおいて抽出された特徴が、ローカルおよびグローバルの両方のコンテキストを提供するために使用されることができ、前層の特徴マップは、より多くの高周波数詳細を留保し、より鮮明なセグメント化境界につながることができる。したがって、連結層３３６ａによって生成された結果として生じる連結された特徴マップは、有利には、マルチスケールとなり得る。連結層３３６ａは、最近傍法を使用して、６４チャネルの出力（８×１０特徴マップ）を生成する、アップサンプリング層３３８ａに接続されることができる。訓練サイクルの間、畳み込みニューラルネットワーク１００を訓練するとき、アップサンプリング層３３８ａの加重値の３０％は、０．３のドロップアウト比のために、ゼロの値にランダムに設定されることができる。

【0053】

アップサンプリング層３３８ａは、１×１パディングを追加後、アップサンプリング層３３８ａの出力を３×３カーネルで畳み込み、３２チャネルの出力（８×１０特徴マップ）を生成する、畳み込み層３４０ａに接続されることができる。３２チャネルの出力は、バッチ正規化層３４０ｃおよびＲｅＬＵ層３４０ｄによって処理されることができる。ＲｅＬＵ層３４０ｄは、１×１パディングを追加後、ＲｅＬＵ層３４０ｄの出力を３×３カーネルで畳み込み、３２チャネルの出力（８×１０特徴マップ）を生成する、畳み込み層３４２ａに接続されることができる。３２チャネルの出力は、バッチ正規化層３４２ｃおよびＲｅＬＵ層３４２ｄによって処理されることができる。

【0054】

連結層３４４ａは、共有層１１２の最大プーリング層３２４ａに接続される、セグメント化層１１６の入力層であることができる。連結層３４４ａはまた、ＲｅＬＵ層３４２ａに接続されることができる。ＲｅＬＵ層３４２ａおよび最大プーリング層３２４ａから受信されたその入力を連結後、連結層３４４ａは、６４チャネルの出力（６４個の８×１０特徴マップ）を生成する。連結層３４４ａは、最近傍法を使用して、６４チャネルの出力（１５×２０特徴マップ）を生成する、アップサンプリング層３４６ａに接続されることができる。訓練サイクルの間、畳み込みニューラルネットワーク１００を訓練するとき、アップサンプリング層３４６ａの加重値の３０％は、０．３のドロップアウト比のために、ゼロの値にランダムに設定されることができる。

【0055】

アップサンプリング層３４６ａは、１×１パディングを追加後、アップサンプリング層３４６ａの出力を３×３カーネルで畳み込み、３２チャネルの出力（１５×２０特徴マップ）を生成する、畳み込み層３４８ａに接続されることができる。３２チャネルの出力は、バッチ正規化層３４８ｃおよびＲｅＬＵ層３４８ｄによって処理されることができる。ＲｅＬＵ層３４８ｄは、１×１パディングを追加後、ＲｅＬＵ層３４８ｄの出力を３×３カーネルで畳み込み、３２チャネルの出力（１５×２０特徴マップ）を生成する、畳み込み層３５０ａに接続されることができる。３２チャネルの出力は、バッチ正規化層３５０ｃおよびＲｅＬＵ層３５０ｄによって処理されることができる。

【0056】

ＲｅＬＵ層３５０ｄは、最近傍法を使用して、３２チャネルの出力（３０×４０特徴マップ）を生成する、アップサンプリング層３５２ａに接続されることができる。訓練サイクルの間、畳み込みニューラルネットワーク１００を訓練するとき、アップサンプリング層３５２ａの加重値の３０％は、０．３のドロップアウト比のために、ゼロの値にランダムに設定されることができる。

【0057】

アップサンプリング層３５２ａは、１×１パディングを追加後、アップサンプリング層３５２ａの出力を３×３カーネルで畳み込み、３２チャネルの出力（３０×４０特徴マップ）を生成する、畳み込み層３５４ａに接続されることができる。３２チャネルの出力は、バッチ正規化層３５４ｃおよびＲｅＬＵ層３５４ｄによって処理されることができる。ＲｅＬＵ層３５４ｄは、１×１パディングを追加後、ＲｅＬＵ層３５４ｄの出力を３×３カーネルで畳み込み、３２チャネルの出力（３０×４０特徴マップ）を生成する、畳み込み層３５６ａに接続されることができる。３２チャネルの出力は、バッチ正規化層３５６ｃおよびＲｅＬＵ層３５６ｄによって処理されることができる。

【0058】

ＲｅＬＵ層３５６ｄは、最近傍法を使用して、３２チャネルの出力（６０×８０特徴マップ）を生成する、アップサンプリング層３５８ａに接続されることができる。アップサンプリング層３５８ａは、１×１パディングを追加後、アップサンプリング層３５８ａの出力を３×３カーネルで畳み込み、１６チャネルの出力（６０×８０特徴マップ）を生成する、畳み込み層３６０ａに接続されることができる。１６チャネルの出力は、バッチ正規化層３６０ｃおよびＲｅＬＵ層３６０ｄによって処理されることができる。ＲｅＬＵ層３６０ｄは、１×１パディングを追加後、ＲｅＬＵ層３６０ｄの出力を３×３カーネルで畳み込み、１６チャネルの出力（６０×８０特徴マップ）を生成する、畳み込み層３６２ａに接続されることができる。１６チャネルの出力は、バッチ正規化層３６２ｃおよびＲｅＬＵ層３６２ｄによって処理されることができる。

【0059】

ＲｅＬＵ層３６２ｄは、最近傍法を使用して、１６チャネルの出力（１２０×１６０特徴マップ）を生成する、アップサンプリング層３６４ａに接続されることができる。アップサンプリング層３６４ａは、２×２パディングを追加後、アップサンプリング層３６４ａの出力を５×５カーネルで畳み込み、４チャネルの出力（１２０×１６０出力画像）を生成する、畳み込み層３６６ａに接続されることができる。畳み込み層３６６ａは、セグメント化層１１６の出力層であることができる。４つの出力画像は、瞳孔２１６、虹彩２１２、強膜２０８、または眼画像１２４の背景に対応する到達領域毎に１つのセグメント化タワー出力１２８であることができる。いくつかの実装では、セグメント化タワー出力１２８は、瞳孔２１６、虹彩２１２、強膜２０８、または眼画像１２４の背景に対応する領域毎に１つずつの４つの色値を伴う画像であることができる。

【0060】

図３Ｂにおける例示的セグメント化層１１６は、デコーディングアーキテクチャを実装する。例示的セグメント化層１１６は、徐々に、特徴マップの空間寸法をオリジナル眼画像サイズに戻るように増加させ、特徴マップの数を減少させることによって、エンコードされた眼画像をデコードする。例えば、平均プーリング層３３２ａは、３２チャネルの出力を生成し、各チャネルは、１×１特徴マップである一方、畳み込み層３６６ａは、４チャネルの出力を生成し、各チャネルは、１２０×１６０特徴マップである。
（例示的品質推定層）

【0061】

図３Ｃは、畳み込みニューラルネットワーク１００の品質推定タワー１０８の品質推定層１２０の例示的アーキテクチャを描写する。品質推定層１２０の入力層は、畳み込み層３６８ａであることができる。畳み込み層３６８ａは、１×１パディング（１ピクセル×１ピクセル）を追加後、共有層１１２の最大プーリング層３３０ａの出力を３×３カーネル（３ピクセル×３ピクセル）で畳み込み、３２チャネルの出力（４×５特徴マップ、すなわち、４ピクセル×５ピクセルの寸法を伴う特徴マップ）を生成することができる。訓練サイクルの間、畳み込みニューラルネットワーク１００を訓練するとき、畳み込み層３６８ａの加重値の５０％は、０．５のドロップアウト比のために、ゼロの値にランダムに設定されることができる。３２チャネルの出力は、バッチ正規化層３６８ｃおよびＲｅＬＵ層３６８ｄによって処理されることができる。

【0062】

ＲｅＬＵ層３６８ｄは、１×１パディングを追加後、ＲｅＬＵ層３６８ｄの出力を３×３カーネルで畳み込み、１６チャネルの出力（４×５特徴マップ）を生成する、畳み込み層３７０ａに接続されることができる。１６チャネルの出力は、バッチ正規化層３７０ｃおよびＲｅＬＵ層３７０ｄによって処理されることができる。ＲｅＬＵ層３７０ｄは、ＲｅＬＵ層３７０ｄの出力を４×５カーネルでプールし、１６チャネルの出力（１×１特徴マップ）を生成し得る、平均プーリング層３７２ａに接続されることができる。

【0063】

平均プーリング層３７０ｄは、８チャネルの出力（１ピクセル×１ピクセル特徴マップ）を生成する、線形全結合層３７４ａに接続されることができる。訓練サイクルの間、畳み込みニューラルネットワーク１００を訓練するとき、線形全結合層３７４ａの加重値の５０％は、０．５のドロップアウト比のために、ゼロの値にランダムに設定されることができる。８チャネルの出力は、バッチ正規化層３７４ｃおよびＲｅＬＵ層３７４ｄによって処理されることができる。ＲｅＬＵ層３７４ｄは、少なくとも２つのチャネルの出力（１×１特徴マップ）を生成する、線形全結合層３７６ａに接続されることができる。線形全結合層３７６ａは、品質推定層１２０の出力層であることができる。少なくとも２つのチャネルの出力は、品質推定タワー出力１２８であることができ、１つのチャネルは、高品質推定値に対応し、１つのチャネルは、低品質推定値に対応する。
（畳み込みニューラルネットワークの例示的訓練）

【0064】

異なる畳み込みニューラルネットワーク（ＣＮＮ）は、２つの点において、相互に異なり得る。ＣＮＮのアーキテクチャ、例えば、層の数および層が相互接続される方法が、異なり得る。１つの層から別の層に伝搬される影響の強度に影響を及ぼし得る、加重も、異なり得る。層の出力は、その入力の加重された和のある非線形関数であることができる。ＣＮＮの加重は、これらの総和内に現れる加重であることができ、生物学的システムにおけるニューラル接続のシナプス強度にほぼ類似することができる。

【0065】

ＣＮＮ１００を訓練するプロセスは、ＣＮＮ１００に眼画像１２４の訓練セットを提示するプロセスである。訓練セットは、入力データと対応する基準出力データの両方を含むことができる。本訓練セットは、例示的入力と対応する基準出力の両方を含むことができる。訓練のプロセスを通して、ＣＮＮ１００の加重は、ネットワークの出力が、訓練セットからの特定の入力データを前提として、その入力データに対応する基準出力に合致するようになる（可能な限り近接して）ように、漸次的に学習されることができる。

【0066】

したがって、いくつかの実装では、融合アーキテクチャを有する、ＣＮＮ１００が、眼画像１２４の訓練セットを使用して訓練され、眼画像１２４のセグメント化および品質推定を学習する。訓練サイクルの間、訓練されているセグメント化タワー１０４は、訓練セットの眼画像１２４を処理し、セグメント化タワー出力１２８を生成することができ、これは、瞳孔２１６、虹彩２１２、強膜２０８、または眼画像１２４の背景に対応する到達領域毎に１つの４つの出力画像を含むことができる。訓練されている品質推定タワー１０８は、訓練セットの眼画像１２４を処理し、眼画像１２４の品質推定タワー出力１３２を生成することができる。眼画像１２４のセグメント化タワー出力１２８と眼画像１２４の基準セグメント化タワー出力との間の差異が、算出されることができる。眼画像１２４の基準セグメント化タワー出力は、瞳孔２１６、虹彩２１２、強膜２０８、または眼画像１２４の背景に対応する到達領域毎に１つの４つの基準出力画像を含むことができる。眼画像１２４の品質推定タワー出力１３２と眼画像１２４の基準品質推定タワー出力との間の差異も、算出されることができる。

【0067】

ＣＮＮ１００のパラメータは、差異の一方または両方に基づいて、更新されることができる。例えば、ＣＮＮ１００のセグメント化層１１６のパラメータは、眼画像１２４のセグメント化タワー出力１２８と基準眼画像１２４のセグメント化タワー出力との間の差異に基づいて、更新されることができる。別の実施例として、ＣＮＮ１００の品質推定層１２０のパラメータは、眼画像１２４の品質推定タワー出力１３２と眼画像１２４の基準品質推定タワー出力との間の差異に基づいて、更新されることができる。さらに別の実施例として、共有層１１２のパラメータは、両方の差異に基づいて、更新されることができる。さらなる実施例として、ＣＮＮ１００のセグメント化層１１６のパラメータまたはＣＮＮ１００の品質推定層１２０のパラメータは、両方の差異に基づいて、更新されることができる。２つの差異は、異なる実装では、共有層１１２、セグメント化層１１６、または品質推定層１３０のパラメータに異なるように影響を及ぼし得る。例えば、セグメント化タワー出力１２８と基準セグメント化タワー出力との間の差異は、品質推定タワー出力１３２と基準品質推定タワー出力との間の差異の影響と比較して、より大きな程度まで共有層１１２またはセグメント化層１１６のパラメータに影響を及ぼし得る。

【0068】

訓練サイクルの間、畳み込みニューラルネットワーク１００のパラメータのパーセンテージは、ゼロの値に設定されることができる。パーセンテージは、例えば、０．０５〜０．５０のドロップアウト比のために、５％〜５０％であることができる。訓練サイクルの間、ゼロの値に設定されるＣＮＮ１００のパラメータは、異なる実装では、異なり得る。例えば、ゼロの値に設定されるＣＮＮ１００のパラメータは、ランダムに選択されることができる。別の実施例として、ＣＮＮ１００のパラメータの３０％が、ゼロの値に設定される場合、ＣＮＮ１００の各層のパラメータの約３０％は、ゼロの値にランダムに設定されることができる。

【0069】

融合アーキテクチャを伴う畳み込みニューラルネットワーク１００を訓練するとき、多くのカーネルが、学習される。カーネルは、その入力に適用されると、その特定の学習されたカーネルに対する応答を示す、結果として生じる特徴マップを生産する。結果として生じる特徴マップは、次いで、ＣＮＮの別の層のカーネルによって処理されることができ、これは、プーリング演算を通して、結果として生じる特徴マップをサンプリングし、より小さい特徴マップを生成する。プロセスは、次いで、その結果として生じる特徴マップを算出するために、繰り返され、新しいカーネルを学習することができる。
（例示的眼画像およびセグメント化された眼画像）

【0070】

図４は、図３に図示される融合畳み込みネットワークアーキテクチャを伴う畳み込みニューラルネットワーク１００を使用して眼画像１２４をセグメント化する例示的結果を示す。図４のパネルａは、図４のパネルｂに示される眼画像のセグメント化を示す。眼画像のセグメント化は、眼画像の背景領域４０４ａ、強膜領域４０８ａ、虹彩領域４１２ａ、または瞳孔領域４１６ａを含んでいた。図４のパネルｂに示される眼画像の品質推定値は、１．０００の高品質推定値であった。故に、眼画像の品質推定値は、高品質推定値であった。

【0071】

図４のパネルｃは、図４のパネルｄに示される眼画像のセグメント化を示す。眼画像のセグメント化は、眼画像の背景領域４０４ｃ、強膜領域４０８ｃ、虹彩領域４１２ｃ、または瞳孔領域４１６ｃを含んでいた。図４のパネルｄに示される眼画像の品質推定値は、０．９９７の高品質推定値であった。故に、眼画像の品質推定値は、高品質推定値であった。

【0072】

図４のパネルｅは、図４のパネルｆに示される眼画像のセグメント化を示す。図４のパネルｆに示される眼画像内の眼の強膜、虹彩、および瞳孔は、眼の眼瞼によってオクルードされていた。眼画像のセグメント化は、眼画像の背景領域４０４ｅ、強膜領域４０８ｅ、虹彩領域４１２ｅ、または瞳孔領域４１６ｅを含んでいた。図４のパネルｆに示される眼画像の品質推定値は、０．００９の高品質推定値であった。故に、眼画像の品質推定値は、低品質推定値であった。

【0073】

図４のパネルｇは、図４のパネルｈに示される眼画像のセグメント化を示す。図４のパネルｈに示される眼画像内の眼の強膜、虹彩、および瞳孔は、眼の眼瞼によってオクルードされていた。さらに、眼画像は、ぼけていた。眼画像のセグメント化は、眼画像の背景領域４０４ｇ、強膜領域４０８ｇ、虹彩領域４１２ｇ、または瞳孔領域４１６ｇを含んでいた。図４のパネルｈに示される眼画像の品質は、０．０６４の高品質推定値であった。故に、眼画像の品質推定値は、低品質推定値であった。
（眼画像セグメント化および画質推定のための例示的プロセス）

【0074】

図５は、融合アーキテクチャを伴う畳み込みニューラルネットワーク１００を作成する例示的プロセス５００のフロー図である。プロセス５００は、ブロック５０４から開始する。ブロック５０８では、畳み込みニューラルネットワーク（ＣＮＮ）１００の共有層１１２が、作成される。共有層１１２は、複数の層と、複数のカーネルとを含むことができる。共有層１１２を作成するステップは、複数の層を作成するステップ、適切なカーネルサイズ、ストライド、またはパディングを伴う複数のカーネルを作成するステップ、または複数の層の連続層を接続するステップを含むことができる。

【0075】

ブロック５１２では、ＣＮＮ１００のセグメント化層１１６が、作成される。セグメント化層１１６は、複数の層と、複数のカーネルとを含むことができる。セグメント化層１１６を作成するステップは、複数の層を作成するステップ、適切なカーネルサイズ、ストライド、またはパディングを伴う複数のカーネルを作成するステップ、または複数の層の連続層を接続するステップを含むことができる。ブロック５１６では、共有層１１２の出力層は、セグメント化層１１６の入力層に接続され、ＣＮＮ１００のセグメント化タワー１０４を生成することができる。

【0076】

ブロック５２０では、ＣＮＮ１００の品質推定層１２０が、作成される。品質推定層１２０は、複数の層と、複数のカーネルとを含むことができる。品質推定層１２０を作成するステップは、複数の層を作成するステップ、適切なカーネルサイズ、ストライド、またはパディングを伴う複数のカーネルを作成するステップ、または複数の層の連続層を接続するステップを含むことができる。ブロック５２４では、共有層１１２の出力層は、品質推定層１２０の入力層に接続され、ＣＮＮ１００の品質推定タワー１０８を生成することができる。プロセス５００は、ブロック５２８において終了する。

【0077】

図６は、融合アーキテクチャを伴う畳み込みニューラルネットワーク１００を使用して、眼画像１２４をセグメント化する例示的プロセス６００のフロー図である。プロセス６００は、ブロック６０４から開始する。ブロック６０８では、ニューラルネットワークが、眼画像１２４を受信する。例えば、ＣＮＮ１００の共有層１１２の入力層が、眼画像１２４を受信することができる。ユーザデバイスの画像センサ（例えば、デジタルカメラ）が、ユーザの眼画像１２４を捕捉することができ、ニューラルネットワークは、眼画像１２４を画像センサから受信することができる。

【0078】

ブロック６０８において眼画像１２４を受信後、ニューラルネットワークは、ブロック６１２において、眼画像１２４をセグメント化する。例えば、ＣＮＮ１００のセグメント化タワー１０４は、眼画像１２４のセグメント化を生成することができる。セグメント化タワー１０４の出力層は、セグメント化タワー１０４の他の層とともに、眼画像１２４内の眼の瞳孔領域、虹彩領域、強膜領域、または背景領域を含む、眼画像１２４のセグメント化を算出することができる。

【0079】

ブロック６１６では、ニューラルネットワークは、眼画像１２４の品質推定値を算出する。例えば、ＣＮＮ１００の品質推定タワー１０８は、眼画像１２４の品質推定値を生成することができる。品質推定タワー１０８の出力層は、品質推定タワー１０８の他の層とともに、高品質推定値または低品質推定値等の眼画像１２４の品質推定値を算出することができる。
（瞳孔輪郭、虹彩輪郭、および非関連画像エリアのためのマスクを決定する例示的プロセス）

【0080】

従来の虹彩コードは、虹彩の画像から抽出されたビットストリングである。虹彩コードを算出するために、眼画像は、例えば、図１に図示される融合アーキテクチャを伴う畳み込みニューラルネットワーク１００を使用して、セグメント化され、虹彩を瞳孔および強膜から分離する。セグメント化された眼画像は、次いで、位相情報が複素値２次元ウェーブレット（例えば、ガボールまたはハール）を使用して抽出され得る前に、極または擬似極座標にマッピングされることができる。虹彩の極（または擬似極）画像を作成する１つの方法は、瞳孔輪郭を決定するステップと、虹彩輪郭を決定するステップと、決定された瞳孔輪郭および決定された虹彩輪郭を使用して、極画像を作成するステップとを含むことができる。

【0081】

図７は、セグメント化された眼画像内の瞳孔輪郭、虹彩輪郭、および非関連画像エリアのためのマスクを決定する例示的プロセス７００のフロー図である。プロセス７００は、ブロック７０４から開始する。ブロック７０８では、セグメント化された眼画像が、受信される。セグメント化された眼画像は、セグメント化された瞳孔、虹彩、強膜、または背景を含むことができる。ユーザデバイスは、ユーザの眼画像１２４を捕捉し、セグメント化された眼画像を算出することができる。ユーザデバイスは、図３Ａ−３Ｃに図示される融合アーキテクチャを伴う例示的畳み込みニューラルネットワーク（ＣＮＮ）１００または図６に図示される例示的プロセス６００を実装し、セグメント化された眼画像を算出することができる。

【0082】

セグメント化された眼画像は、意味論的にセグメント化された眼画像であることができる。図８は、例示的な意味論的にセグメント化された眼画像８００を図式的に図示する。意味論的にセグメント化された眼画像８００は、図２に図示される眼２００の画像から算出されることができる。意味論的にセグメント化された眼画像８００は、ｎピクセル×ｍピクセルの寸法を有することができ、ｎは、意味論的にセグメント化された眼画像８００のピクセル単位の高さを示し、ｍは、ピクセル単位の幅を示す。

【0083】

意味論的にセグメント化された眼画像８００のピクセルは、４つの色値のうちの１つを有することができる。例えば、意味論的にセグメント化された眼画像８００のピクセル８０４は、眼画像の背景８０８に対応する、色値（図８では、「第１の色値」として示される）を有することができる。眼画像の背景８０８に対応する、色値は、１などの数値を有することができる。眼画像の背景８０８は、眼瞼、眉毛、睫毛、または眼２００を囲繞する皮膚に対応する、領域を含むことができる。別の実施例として、意味論的にセグメント化された眼画像８００のピクセルは、眼画像内の眼２００の強膜２０８に対応する、色値（図８では、「第２の色値」として示される）を有することができる。眼画像内の眼２００の強膜２０８に対応する、色値は、２などの数値を有することができる。さらなる実施例として、意味論的にセグメント化された眼画像８００のピクセルは、眼画像内の眼２００の虹彩２１２に対応する、色値（図８では、「第３の色値」として示される）を有することができる。眼画像内の眼２００の虹彩２１２に対応する、色値は、３などの数値を有することができる。別の実施例として、意味論的にセグメント化された眼画像８００のピクセル８１２は、眼画像内の眼２００の瞳孔２１６に対応する、色値（図８では、「第４の色値」として示される）を有することができる。眼画像内の眼２００の瞳孔２１６に対応する、色値は、４などの数値を有することができる。図８では、曲線２１６ａは、瞳孔２１６と虹彩２１２との間の瞳孔境界を示し、曲線２１２ａは、虹彩２１２と強膜２０８（眼の「白眼」）との間の辺縁境界を示す。

【0084】

図７を参照すると、ブロック７１２では、眼画像内の眼２００の瞳孔輪郭が、決定されることができる。瞳孔輪郭は、瞳孔２１６と虹彩２１２との間の瞳孔境界を示す、曲線２１６ａであることができる。瞳孔輪郭は、図９に図示される例示的プロセス９００（下記により詳細に説明される）を使用して決定されることができる。ブロック７１６では、眼画像内の眼２００の虹彩輪郭が、決定されることができる。虹彩輪郭は、虹彩２１２と強膜２０８との間の辺縁境界を示す、曲線２１２ａであることができる。虹彩輪郭は、図９に図示される例示的プロセス９００（下記により詳細に説明される）を使用して決定されることができる。瞳孔輪郭および虹彩輪郭を決定するために使用されるプロセスは、同一であることができる、または、例えば、瞳孔サイズおよび虹彩サイズが異なり得るため、決定毎に最適化されることができる。

【0085】

ブロック７２０では、眼画像内の非関連エリアのためのマスク画像が、決定されることができる。マスク画像は、ｎピクセル×ｍピクセルの寸法を有することができ、ｎは、マスク画像のピクセル単位の高さを示し、ｍは、ピクセル単位の幅を示す。意味論的にセグメント化された眼画像８００の寸法およびマスク画像の寸法は、同一であり得る、または異なり得る。マスクは、バイナリマスク画像であることができる。バイナリマスク画像のピクセルは、ゼロの値または１の値を有することができる。バイナリマスク画像のピクセルは、意味論的にセグメント化された眼画像８００内の対応するピクセルが、例えば、３の数値等の第３の色値を上回るまたはそれと等しい値を有する場合、ゼロの値を有することができる。バイナリマスク画像のピクセルは、意味論的にセグメント化された眼画像８００内の対応するピクセルが、例えば、３の数値等の第３の色値を上回るまたはそれと等しい値を有していない場合、１の値を有することができる。いくつかの実装では、プロセス７００は、随意に、意味論的にセグメント化された眼画像内の瞳孔輪郭、虹彩輪郭、および非関連エリアのためのマスクを使用して、眼画像内の眼２００の虹彩２１２の極画像を作成することができる。プロセス７００は、ブロック７２４において終了する。
（瞳孔輪郭または虹彩輪郭を決定する例示的プロセス）

【0086】

図９は、セグメント化された眼画像内の瞳孔輪郭または虹彩輪郭を決定する例示的プロセス９００のフロー図である。プロセス９００は、ブロック９０４から開始する。ブロック９０８では、バイナリ画像は、意味論的にセグメント化された眼画像８００等のセグメント化された眼画像から作成されることができる。図１０Ａは、ブロック９０４において作成された例示的バイナリ画像１０００Ａを図式的に図示する。バイナリ画像１０００Ａは、ｎピクセル×ｍピクセルの寸法を有することができ、ｎは、バイナリ画像１０００Ａのピクセル単位の高さを示し、ｍは、ピクセル単位の幅を示す。セグメント化された眼画像または意味論的にセグメント化された眼画像８００の寸法およびバイナリ画像１０００Ａの寸法は、同一であり得る、または異なり得る。

【0087】

バイナリ画像１０００Ａのピクセル１００４ａは、意味論的にセグメント化された眼画像８００内の対応するピクセルが、閾値色値、例えば、「第４の色値」を上回らずかつそれと等しくない値を有する場合、ゼロの色値を有することができる。バイナリ画像１０００Ａのピクセル１０１２ａは、意味論的にセグメント化された眼画像８００内の対応するピクセルが、閾値色値、例えば、「第４の色値」を上回るまたはそれと等しい値を有する場合、１の色値を有することができる。いくつかの実装では、バイナリ画像１０００Ａのピクセルは、ゼロまたは１以外の値を有することができる。例えば、バイナリ画像１０００Ａのピクセル１００４ａは、数値３などの「第３の色値」の色値を有することができる。バイナリ画像１０００Ａのピクセル１０１２ａは、数値４などの「第４の色値」の色値を有することができ、「第４の色値」は、「第３の色値」を上回る。

【0088】

図９を参照すると、ブロック９１２では、バイナリ画像１０００Ａ内の輪郭が、決定される。例えば、バイナリ画像１０００Ａ内の輪郭は、例えば、ＯｐｅｎＣＶ ｆｉｎｄＣｏｎｔｏｕｒｓ関数（ｏｐｅｎｃｖ．ｏｒｇから利用可能）を使用して決定されることができる。図１０Ｂは、バイナリ画像１０００Ａ内の例示的輪郭１０１６を図式的に図示する。図９を参照すると、ブロック９１６では、輪郭境界が、決定されることができる。輪郭境界は、バイナリ画像１０００Ａ内の最長輪郭であることができる。バイナリ画像１０００Ａ内の輪郭１０１６は、バイナリ画像１０００Ａ内の最長輪郭であることができる。輪郭１０１６は、ピクセル１０２４ａ等のバイナリ画像１０００Ａの複数のピクセルを含むことができる。

【0089】

ブロック９２０では、輪郭点境界ボックス（例えば、図１０Ｂにおける輪郭点境界ボックス１０２０）が、決定される。輪郭点境界ボックス１０２０は、輪郭境界１０１６等の最長輪郭境界を包囲する、最小長方形であることができる。ブロック９２４では、点面積サイズが、決定されることができる。点面積サイズは、図１０Ｂにおけるバイナリ画像１０００Ａ内の輪郭点境界ボックス１０２０の対角線１０２８であることができる。

【0090】

ブロック９２８では、第２のバイナリ画像が、意味論的にセグメント化された眼画像８００等のセグメント化された眼画像から作成されることができる。図１０Ｃは、例示的な第２のバイナリ画像１０００Ｃを図式的に図示する。第２のバイナリ画像１０００Ｃは、ｎピクセル×ｍピクセルの寸法を有することができ、ｎは、第２のバイナリ画像１０００Ｃのピクセル単位の高さを示し、ｍは、ピクセル単位の幅を示す。バイナリ画像１０００Ａの寸法およびバイナリ画像１０００Ａの寸法は、同一であり得る、または異なり得る。

【0091】

第２のバイナリ画像１０００Ｃのピクセル１００４ｃは、意味論的にセグメント化された眼画像８００内の対応するピクセルが、閾値色値、例えば、「第３の色値」を上回らずかつそれと等しくない値を有する場合、ゼロの色値を有することができる。第２のバイナリ画像１０００Ｃのピクセル１０１２ｃは、意味論的にセグメント化された眼画像８００内の対応するピクセルが、閾値色値、例えば、「第３の色値」を上回るまたはそれと等しい値を有する場合、１の色値を有することができる。いくつかの実装では、第２のバイナリ画像１０００Ｃのピクセルは、ゼロまたは１以外の値を有することができる。例えば、第２のバイナリ画像１０００Ｃのピクセル１００４ｃは、数値２などの「第２の色値」の色値を有することができる。第２のバイナリ画像１０００Ｂのピクセル１０１２ｃは、数値３などの「第３の色値」の色値を有することができ、「第３の色値」は、「第２の色値」を上回る。

【0092】

図９を参照すると、ブロック９３２では、バイナリ画像１０００Ａ内のピクセル１０２４ａに対応する、第２のバイナリ画像１０００Ｃ内のピクセル（例えば、図１０におけるピクセル１０２４ｃ）が、決定される。第２のバイナリ画像１０００Ｃの寸法およびバイナリ画像１０００Ａの寸法が、同一である場合、ピクセル１０２４ｃは、第２のバイナリ画像１０００Ｃ内に座標（ｍ_１；ｎ_１）を有することができ、ピクセル１０２４ａは、バイナリ画像１０００Ａ内に座標（ｍ_１；ｎ_１）を有することができ、ｍ_１は、幅方向における座標を示し、ｎ_１は、高さ方向における座標を示す。ピクセル１０２４ｃと、０の色値を有し、ピクセル１０２４ｃに最も近い、第２のバイナリ画像１０００Ｃ内のピクセルとの間の距離が、決定される。例えば、距離は、ピクセル１０２４ｃと、０の色値を有し、ピクセル１０２４ｃに最も近い、第２のバイナリ画像１０００Ｃ内のピクセル１０３６との間の図１０Ｃにおける距離１０３２であることができる。距離１０３２は、例えば、ＯｐｅｎＣＶ ｄｉｓｔａｎｃｅＴｒａｎｓｆｏｒｍ関数を使用して決定されることができる。

【0093】

ブロック９３６では、ピクセル１０２４ａは、瞳孔輪郭を決定するために不適切である場合、輪郭１０１６のピクセルから除去されることができる。ピクセル１０２４ａは、距離１０３２が所定の閾値より小さい場合、瞳孔輪郭を決定するために不適切であり得る。所定の閾値は、図１０Ｂにおける輪郭点境界ボックス１０２０の点面積サイズまたは対角線１０２８のサイズ等の輪郭点境界ボックス１０２０のサイズによって乗算される割合であることができる。割合は、０．０２〜０．２０の範囲内であることができる。例えば、割合は、０．０８であることができる。

【0094】

ブロック９４０では、瞳孔輪郭は、曲線（楕円形等）を残りのピクセルにフィッティングすることによって、輪郭境界１０１６の残りのピクセルから決定されることができる。楕円形は、例えば、ＯｐｅｎＣＶ ｆｉｔＥｌｌｉｐｓｅ関数を使用して決定されることができる。プロセス９００は、ブロック９４４において終了する。図１０Ａ−１０Ｃは、プロセス９００を使用して、瞳孔輪郭を決定するステップを図示するために使用されているが、プロセス９００はまた、虹彩輪郭を決定するためにも使用されることができる。
（例示的瞳孔輪郭および虹彩輪郭決定）

【0095】

図１１は、図７および９に図示される例示的プロセス７００および９００を使用して虹彩輪郭、瞳孔輪郭、および非関連画像エリアのためのマスクを決定する例示的結果を示す。図１１のパネルａ−ｆは、眼画像の虹彩輪郭、瞳孔輪郭、および非関連画像エリアのためのマスクを決定する例示的結果を示す。図１１のパネルａは、眼画像を示す。図１１のパネルｂは、図３に図示される融合畳み込みネットワークアーキテクチャを伴う畳み込みニューラルネットワーク１００を使用して、図１１のパネルａにおける眼画像の意味論的にセグメント化された眼画像を示す。意味論的にセグメント化された眼画像は、眼画像の１の数値色値を伴う背景領域１１０４ａ、２の数値色値を伴う強膜領域１１０８ａ、３の数値色値を伴う虹彩領域１１１２ａ、または４の数値色値を伴う瞳孔領域１１１６ａを含んでいた。

【0096】

図１１のパネルｃは、ブロック９３６においてプロセス９００を使用して決定された図１１のパネルａに示される眼画像上にオーバーレイされる、瞳孔の輪郭境界の残りのピクセル１１２０ａと、虹彩の輪郭境界の残りのピクセル１１２４ａとを示す。図１１のパネルｄは、図１１のパネルｂに示される意味論的にセグメント化された眼画像上にオーバーレイされる、瞳孔の輪郭境界の残りのピクセル１１２０ａと、虹彩の輪郭境界の残りのピクセル１１２４ａとを示す。図１１のパネルｅは、ブロック９４０においてプロセス９００によって、瞳孔１１２０ａの輪郭境界および虹彩１１２４ａの輪郭境界の残りのピクセルをフィッティングすることによって決定される、瞳孔１１２８ａの楕円形と、虹彩１１３２ａの楕円形とを示す。図１１のパネルｆは、ブロック７２０におけるプロセス７００による、眼画像内の非関連エリアのためのバイナリマスク画像を示す。バイナリマスク画像は、図１１のパネルｂに示される意味論的にセグメント化された眼画像の虹彩領域１１１２ａおよび瞳孔領域１１１６ａに対応する、領域１１３６ａを含む。バイナリマスク画像はまた、背景領域１１０４ａおよび強膜領域１１０８ａに対応する、領域１１４０ａを含む。

【0097】

図１１のパネルａ−ｆと同様に、図１１のパネルｇ−ｌは、別の眼画像の虹彩輪郭、瞳孔輪郭、および非関連画像エリアのためのマスクを決定する、例示的結果を示す。
（セグメント化された極画像上で訓練されたトリプレットネットワークアーキテクチャを用いたＣＮＮを使用した例示的虹彩認証）

【0098】

図１２Ａ−１２Ｂは、図７および９に示される例示的プロセスを用いて瞳孔輪郭および虹彩輪郭をフィッティング後に取得される極座標内の虹彩画像上でトリプレットネットワークアーキテクチャを伴う畳み込みニューラルネットワーク（ＣＮＮ）を訓練する例示的結果を示す。トリプレットネットワークアーキテクチャは、図１３に示され、下記により詳細に説明される。

【0099】

図１２Ａは、確率密度対埋込距離のヒストグラムプロットである。同一対象の虹彩画像は、埋込空間内でともにより近接し、異なる対象の虹彩画像は、埋込空間内で相互からより離れていた。図１２Ｂは、真陽性率（ＴＰＲ）対偽陽性率（ＦＰＲ）の受信者動作特性（ＲＯＣ）曲線である。ＲＯＣ曲線下面積は、９９．９４７％であった。極座標内の虹彩画像を使用して、トリプレットネットワークアーキテクチャを伴うＣＮＮを訓練することによって、０．８８４％のＥＥＲが、達成された。
（トリプレットネットワークアーキテクチャ）

【0100】

ヒトの眼の画像を使用して、トリプレットネットワークアーキテクチャを伴う畳み込みニューラルネットワーク（ＣＮＮ）が、より高次元の眼画像空間からより低次元の埋込空間にマッピングする、埋込を学習するように訓練されることができる。眼画像空間の寸法は、非常に大きくあり得る。例えば、２５６ピクセル×２５６ピクセルの眼画像は、潜在的に、数千または数万自由度を含むことができる。図１３は、トリプレットネットワークアーキテクチャを伴う例示的畳み込みニューラルネットワーク１３００のブロック図である。ＣＮＮ１３００は、埋込１３０４（Ｅｍｂ）を学習するように訓練されることができる。埋込１３０４は、より高次元の眼画像空間内の眼画像（Ｉｍｇ）１３０８をより低次元の埋込空間内の眼画像の埋込空間表現（ＥｍｂＩｍｇ）にマッピングする、関数であることができる。例えば、Ｅｍｂ（Ｉｍｇ）＝ＥｍｂＩｍｇである。眼画像（Ｉｍｇ）１３０８は、図７および９に示される例示的プロセスを用いて決定された瞳孔輪郭および虹彩輪郭を使用して算出された極座標内の虹彩画像であることができる。

【0101】

埋込空間表現、すなわち、埋込空間内の眼画像の表現は、ｎ−次元の実数ベクトルであることができる。眼画像の埋込空間表現は、ｎ−次元の眼記述であることができる。埋込空間内の表現の次元は、異なる実装では、異なり得る。例えば、次元は、範囲１６〜２０４８内にあることができる。いくつかの実装では、ｎは、１２８である。埋込空間表現の要素は、実数によって表されることができる。いくつかのアーキテクチャでは、埋込空間表現は、訓練の間、ｎ浮動点数として表されるが、認証のために、ｎバイトに量子化されてもよい。したがって、ある場合には、各眼画像は、ｎバイト表現によって表される。より大きい次元を伴う埋込空間内の表現は、より低次元を伴うものより良好に性能を発揮し得るが、より多くの訓練を要求し得る。埋込空間表現は、例えば、単位長を有することができる。

【0102】

ＣＮＮ１３００は、埋込空間内でともにクラスタ化されるため、結像条件から独立して、埋込空間内の１人の人物（または１人の人物の左または右眼）の眼画像間の距離が小さくなるように、埋込１３０４を学習するように訓練されることができる。対照的に、異なる人物（または人物の異なる眼）の眼画像のペア間の距離は、埋込空間内でともにクラスタ化されないため、埋込空間内で大きくなり得る。したがって、埋込空間内の同一人物からの眼画像間の距離、すなわち、埋込距離は、埋込空間内の異なる人物からの眼画像間の距離より小さくなり得る。２つの眼画像間の距離は、例えば、２つの眼画像の埋込空間表現間のユークリッド距離（Ｌ２ノルム）であることができる。

【0103】

１人の人物の２つの眼画像、例えば、アンカ眼画像（ＩｍｇＡ）１３１２ａと正の眼画像（ＩｍｇＰ）１３１２ｐとの間の距離は、埋込空間内で小さくなり得る。異なる人物の２つの眼画像、例えば、アンカ眼画像（ＩｍｇＡ）１３１２ａと負の眼画像（ＩｍｇＮ）１３１２ｎとの間の距離は、埋込空間内でより大きくなり得る。ＩｍｇＡ１３１２ａは、その埋込空間表現が同一人物（例えば、ＩｍｇＰ１３１２ｐ）および異なる人物（例えば、ＩｍｇＮ１３１２ｎ）の眼画像の埋込空間表現と比較され得るため、「アンカ」画像である。ＩｍｇＡ１３１２ｐは、ＩｍｇＰ１３１２ｐおよびＩｍｇＡ１３１２ａが同一人物の眼画像であるため、「正」の画像である。ＩｍｇＮ１３１２ｎは、ＩｍｇＮ１３１２ｎおよびＩｍｇＡ１３１２ａが異なる人物の眼画像であるため、「負」の画像である。したがって、埋込空間内のＩｍｇＡ１３１２ａとＩｍｇＰ１３１２ｐとの間の距離は、埋込空間内のＩｍｇＡ１３１２ａとＩｍｇＮ１３１２Ｎとの間の距離より小さくあり得る。

【0104】

埋込ネットワーク（Ｅｍｂ）１３０４は、ＩｍｇＡ１３１２ａ、ＩｍｇＰ１３１２ｐ、およびＩｍｇＮ１３１２ｎを、より高次元の眼画像空間から、アンカ埋込画像（ＥｍｂＡ）１３１６ａ、正の埋込画像（ＥｍｂＰ）１３１６ａ、および負の埋込画像（ＥｍｂＮ）１３１６ｎにマッピングすることができる。例えば、Ｅｍｂ（ＩｍｇＡ）＝ＥｍｂＡ、Ｅｍｂ（ＩｍｇＰ）＝ＥｍｂＰ、およびＥｍｂ（ＩｍｇＮ）＝ＥｍｂＮである。したがって、埋込空間内のＥｍｂＡ１３１６ａとＥｍｂＰ１３１６ａとの間の距離は、埋込空間内のＥｍｂＰ１３１６ａとＥｍｂＮ１３１６ｎとの間の距離より小さくなり得る。

【0105】

埋込１３０４を学習するために、眼画像１３０８の訓練セットＴ１が、使用されることができる。眼画像１３８０は、図７−９に示される例示的プロセスを用いて決定された瞳孔輪郭および虹彩輪郭を使用して算出された極座標内の虹彩画像であることができる。眼画像１３０８は、左眼および右眼の画像を含むことができる。眼画像１３０８は、ラベルと関連付けられることができ、ラベルは、１人の人物の眼画像を別の人の眼画像から区別する。ラベルはまた、人物の左眼および右眼の眼画像を区別することができる。訓練セットＴ１は、眼画像とラベルのペア（Ｉｍｇ；Ｌａｂｅｌ）を含むことができる。（Ｉｍｇ；Ｌａｂｅｌ）ペアの訓練セットＴ１は、眼画像データ記憶から受信されることができる。

【0106】

埋込１３０４を学習するために、トリプレットネットワークアーキテクチャを伴うＣＮＮ１３００は、３つの同じ埋込ネットワーク、例えば、アンカ埋込ネットワーク（ＥＮｅｔｗｏｒｋＡ）１３２０ａと、正の埋込ネットワーク（ＥＮｅｔｗｏｒｋＰ）１３２０ｐと、負の埋込ネットワーク（ＥＮｅｔｗｏｒｋＮ）１３２０ｎとを含むことができる。埋込ネットワーク１３２０ａ、１３２０ｐ、または１３２０ｎは、眼画像空間からの眼画像を埋込空間内の眼画像の埋込空間表現にマッピングすることができる。例えば、ＥＮｅｔｗｏｒｋＡ１３２０ａは、ＩｍｇＡ１３１２ａをＥｍｂＡ１３１６ａにマッピングすることができる。ＥＮｅｔｗｏｒｋＡ１３２０ｐは、ＩｍｇＰ１３１２ｐをＥｍｂＰ１３１６ｐにマッピングすることができる。ＥＮｅｔｗｏｒｋＮ１３２０ｎは、ＩｍｇＮ１３１２ｎをＥｍｂＮ１３１６ｎにマッピングすることができる。

【0107】

トリプレットネットワークアーキテクチャを伴う畳み込みニューラルネットワーク１３００は、眼画像のトリプレットを含む、トリプレット訓練セットＴ２を用いて、埋込１３０４を学習することができる。トリプレットの２つの眼画像は、同一人物からのもの、例えば、ＩｍｇＡ１３１２ａおよびＩｍｇＰ１３１２ｐである。トリプレットの第３の眼画像は、異なる人物からのもの、例えば、ＩｍｇＮ１３１２ｎである。ＥＮｅｔｗｏｒｋＡ１３２０ａ、ＥＮｅｔｗｏｒｋＰ１３２０ｐ、およびＥＮｅｔｗｏｒｋＮ１３２０ｎは、（ＩｍｇＡ；ＩｍｇＰ；ＩｍｇＮ）のトリプレットをトリプレット（ＥｍｂＡ；ＥｍｂＰ；ＥｍｂＮ）にマッピングすることができる。眼認証訓練装置１３０４は、トリプレット訓練セットＴ２を（Ｉｍｇ；Ｌａｂｅｌ）ペアの訓練セットＴ１から生成することができる。

【0108】

ＩｍｇＡ１３１２ａ、ＩｍｇＰ１３１２ｐ、またはＩｍｇＮ１３１２ｎは、異なる実装では、異なり得る。例えば、ＩｍｇＡ１３１２ａおよびＩｍｇＰ１３１２ｐは、１人の人物の眼画像であることができ、ＩｍｇＮ１３１２ｎは、別の人物の眼画像であることができる。別の実施例として、ＩｍｇＡ１３１２ａおよびＩｍｇＰ１３１２ｐは、１人の人物の左眼の画像であることができ、ＩｍｇＮ１３１２ｎは、その人物の右眼の画像または別の人物の眼画像であることができる。

【0109】

トリプレットネットワークアーキテクチャは、埋込空間内の人物の眼画像が、埋込空間内の任意の他の人物の眼画像より埋込空間内の同一人物の全ての他の眼画像に近くなるように、埋込１３０４を学習するように使用されることができる。例えば、｜ＥｍｂＡ−ＥｍｂＰ｜＜｜ＥｍｂＡ−ＥｍｂＮ｜であって、｜ＥｍｂＡ−ＥｍｂＰ｜は、埋込空間内のＥｍｂＡ１３１６ａとＥｍｂＰ１３１６ｐとの間の絶対距離を示し、｜ＥｍｂＡ−ＥｍｂＮ｜は、埋込空間内のＥｍｂＡ１３１６ａとＥｍｂＮ１３１６ｎとの間の絶対距離を示す。

【0110】

いくつかの実装では、トリプレットネットワークアーキテクチャは、埋込空間内の人物の左眼の画像が、埋込空間内のその人物の右眼の任意の画像または別の人物の任意の眼画像より埋込空間内の同一人物の左眼の全ての画像に近くなるように、埋込１３０４を学習するように使用されることができる。

【0111】

埋込空間表現の寸法は、異なる実装では、異なり得る。ＥｍｂＡ１３１６ａ、ＥｍｂＰ１３１６ｐ、およびＥｍｂＮ１３１６ｎの寸法は、同一、例えば、４３１であることができる。埋込空間表現の長さは、異なる実装では、異なり得る。例えば、ＥｍｂＡ１３１６ａ、ＥｍｂＰ１３１６ｐ、またはＥｍｂＮ１３１６ｎは、Ｌ２正規化を使用して、埋込空間内で単位長を有するように正規化されることができる。したがって、眼画像の埋込空間表現は、埋込空間内の超球面上にある。

【0112】

トリプレットネットワークアーキテクチャは、ＥｍｂＡ１３１６ａ、ＥｍｂＰ１３１６ｐ、およびＥｍｂＮ１３１６ｎを比較するように構成される、トリプレット損失層１３２４を含むことができる。トリプレット損失層１３２４で学習された埋込１３０４は、１人の人物の眼画像を埋込空間内の近接近する単一点または点のクラスタ上にマッピングすることができる。トリプレット損失層１３２４は、埋込空間内の同一人物の眼画像（例えば、ＥｍｂＡ１３１６ａおよびＥｍｂＰ１３１６ｐ）の間の距離を最小限にすることができる。トリプレット損失層１３２４は、埋込空間内の異なる人物の眼画像（例えば、ＥｍｂＡ１３１６ａおよびＥｍｂＮ１３１６ｎ）の間の距離を最大限にすることができる。

【0113】

トリプレット損失層１３２４は、いくつかの方法において、ＥｍｂＡ１３１６ａ、ＥｍｂＰ１３１６ｐ、およびＥｍｂＮ１３１６ｎを比較することができる。例えば、トリプレット損失層１３２４は、以下を算出することによって、ＥｍｂＡ１３１６ａ、ＥｍｂＰ１３１６ｐ、およびＥｍｂＮ１３１６ｎを比較することができる。

【数1】

式中、｜ＥｍｂＡ−ＥｍｂＰ｜は、埋込空間内のＥｍｂＡ１３１６ａとＥｍｂＰ１３１６ｐとの間の絶対距離を示し、｜ＥｍｂＡ−ＥｍｂＮ｜は、ＥｍｂＡ１３１６ａとＥｍｂＮ１３１６ｎとの間の絶対距離を示し、ｍは、マージンを示す。マージンは、異なる実装では、異なり得る。例えば、マージンは、０．１６または０．０１〜１．０の範囲内の別の数であることができる。したがって、いくつかの実装では、埋込１３０４は、同一人物からの眼画像間の埋込空間内の距離が異なる人物からの眼画像間の埋込空間内の距離より小さくなるように、複数の人物の眼画像から学習されることができる。式（１）の特定の実装の観点から、同一人物からの全ての眼画像間の埋込空間内の平方距離は、小さく、異なる人物からの眼画像のペア間の埋込空間内の平方距離は、大きい。

【0114】

ＥｍｂＡ１３１６ａ、ＥｍｂＰ１３１６ｐ、およびＥｍｂＮ１３１６ｎを比較する際に使用される、マージンｍの関数は、異なる実装では、異なり得る。例えば、マージンｍは、１人の人物の眼画像の各ペアと埋込空間内の全ての他の人物の眼画像との間にマージンを適用することができる。故に、１人の人物の眼画像の埋込空間表現は、埋込空間内でともに近接してクラスタ化されることができる。同時に、異なる人物の眼画像の埋込空間表現は、維持または最大限にされることができる。別の実施例として、マージンｍは、１人の人物の左眼の画像の各ペアとその人物の右眼の画像または全ての他の人物の眼画像との間にマージンを適用することができる。

【0115】

埋込１３０４の学習の反復の間、トリプレット損失層１３２４は、異なる数のトリプレットに関して、ＥｍｂＡ１３１６ａ、ＥｍｂＰ１３１６ｐ、およびＥｍｂＮ１３１６ｎを比較することができる。例えば、トリプレット損失層１３２４は、トリプレット訓練セットＴ２内の全てのトリプレット（ＥｍｂＡ；ＥｍｂＰ；ＥｍｂＮ）に関して、ＥｍｂＡ１３１６ａ、ＥｍｂＰ１３１６ｐ、およびＥｍｂＮ１３１６ｎを比較することができる。別の実施例として、トリプレット損失層１３２４は、トリプレット訓練セットＴ２内のトリプレット（ＥｍｂＡ；ＥｍｂＰ；ＥｍｂＮ）のバッチに関して、ＥｍｂＡ１３１６ａ、ＥｍｂＰ１３１６ｐ、およびＥｍｂＮ１３１６ｎを比較することができる。バッチ内のトリプレットの数は、異なる実装では、異なり得る。例えば、バッチは、（ＥｍｂＡ；ＥｍｂＰ；ＥｍｂＮ）の６４のトリプレットを含むことができる。別の実施例として、バッチは、トリプレット訓練セットＴ２内の全てのトリプレット（ＥｍｂＡ；ＥｍｂＰ；ＥｍｂＮ）を含むことができる。

【0116】

埋込１３０４の学習の反復の間、トリプレット損失層１３２４は、トリプレット損失を算出することによって、トリプレット（ＥｍｂＡ；ＥｍｂＰ；ＥｍｂＮ）のバッチに関してＥｍｂＡ１３１６ａ、ＥｍｂＰ１３１６ｐ、およびＥｍｂＮ１３１６ｎを比較することができる。トリプレット損失は、例えば、以下であることができる。

【数2】

式中、ｎは、トリプレットのバッチ内のトリプレットの数を示し、ＥｍｂＡ（ｉ）、ＥｍｂＰ（ｉ）、およびＥｍｂＮ（ｉ）は、トリプレットのバッチ内のｉ番目のＥｍｂＡ１３１６ａ、ＥｍｂＰ１３１６ｐ、およびＥｍｂＮ１３１６ｎを示す。

【0117】

埋込１３０４の学習の間、眼認証訓練装置１３０４は、トリプレット（ＥｍｂＡ；ＥｍｂＰ；ＥｍｂＮ）のバッチ間の比較、例えば、トリプレット（ＥｍｂＡ；ＥｍｂＰ；ＥｍｂＮ）のバッチ間のトリプレット損失に基づいて、ＥＮｅｔｗｏｒｋＡ１３２０ａ、ＥＮｅｔｗｏｒｋＰ１３２０ｐ、およびＥＮｅｔｗｏｒｋＮ１３２０ｎを更新することができる。眼認証訓練装置１３０４は、周期的に、例えば、反復毎または１，０００反復毎に、ＥＮｅｔｗｏｒｋＡ１３２０ａ、ＥＮｅｔｗｏｒｋＰ１３２０ｐ、およびＥＮｅｔｗｏｒｋＮ１３２０ｎを更新することができる。眼認証訓練装置１３０４は、ＥＮｅｔｗｏｒｋＡ１３２０ａ、ＥＮｅｔｗｏｒｋＰ１３２０ｐ、およびＥＮｅｔｗｏｒｋＮ１３２０ｎを更新し、埋込空間を最適化することができる。埋込空間の最適化は、異なる実装では、異なり得る。例えば、埋込空間の最適化は、式（２）を最小限にすることを含むことができる。別の実施例として、埋込空間の最適化は、ＥｍｂＡ１３１６ａとＥｍｂＰ１３１６ｐとの間の距離を最小限にし、ＥｍｂＡ１３１６ａとＥｍｂＮ１３１６ｎとの間の距離を最大限にすることを含むことができる。

【0118】

埋込空間の最適化の反復後、以下のうちの１つ以上のもの、すなわち、眼画像をより高次元の眼画像空間からより低次元の埋込空間内の眼画像の表現にマッピングする、埋込１０３４、またはユーザデバイスが、ユーザが認可されたユーザとして認証されるはずであるように、ユーザの眼画像の埋込空間表現が埋込空間内の認可されたユーザの眼画像に十分に類似するかどうかを決定するための閾値１３２８が、算出されることができる。埋込１３０４または閾値１３２８は、埋込１３０４または閾値１３２８を算出する際に使用し得る、または使用すべき、眼画像の特徴を規定せずに、決定されることができる。

【0119】

閾値１３２８は、異なる実装では、異なり得る。例えば、閾値１３２８は、埋込１３０４の学習の最後の反復の際に（ＩｍｇＡ；ＩｍｇＰ；ＩｍｇＮ）トリプレットから決定された同一人物の眼画像間の最大距離であることができる。別の実施例として、閾値１３２８は、埋込１３０４の学習の最後の反復の際に（ＩｍｇＡ；ＩｍｇＰ；ＩｍｇＮ）トリプレットから決定された同一人物の眼画像間の中央値距離であることができる。さらに別の実施例として、閾値１３２８は、埋込１３０４の学習の最後の反復の際に（ＩｍｇＡ；ＩｍｇＰ；ＩｍｇＮ）トリプレットから決定された異なる人物の眼画像間の最大距離より小さくあることができる。

【0120】

埋込１３０４を学習するために要求される反復の数は、異なる実装では、異なり得る。例えば、反復の数は、１００，０００であることができる。別の実施例として、反復の数は、事前に定義されなくてもよく、等価エラー率（ＥＥＲ）２％を有する等の満足の行く特性を伴って埋込１３０４を学習するために要求される反復に依存することができる。さらに別の実施例として、反復の数は、満足の行くトリプレット損失を取得するために要求される反復に依存することができる。

【0121】

埋込１３０４の認可されていないユーザと認可されたユーザを区別する能力は、異なる実装では、異なり得る。例えば、埋込１３０４の偽陽性率（ＦＰＲ）は、０．０１％であることができ、埋込１３０４の真陽性率（ＴＰＲ）は、９９．９９％であることができる。別の実施例として、埋込１３０４の偽陰性率（ＦＮＲ）は、０．０１％であることができ、埋込１３０４の真陰性（ＴＮＲ）は、９９．９９％であることができる。埋込１３０４の等価エラー率（ＥＥＲ）は、例えば、１％であることができる。
（例示的ウェアラブルディスプレイシステム）

【0122】

いくつかの実施形態では、ユーザデバイスは、ウェアラブルディスプレイデバイスであることができ、またはその中に含まれることができ、有利なこととして、より没入型の仮想現実（ＶＲ）、拡張現実（ＡＲ）、または複合現実（ＭＲ）体験を提供し得、デジタル的に再現された画像またはその一部が、それらが現実のように見える、または現実として知覚され得る様式で装着者に提示される。

【0123】

理論によって限定されるわけではないが、人間の眼は、典型的には、深度知覚を提供するために、有限数深度面を解釈し得ると考えられる。その結果、知覚される深度の高度に真実味のあるシミュレーションが、これらの限定された数の深度面のそれぞれに対応する画像の異なる表現を眼に提供することによって達成され得る。例えば、導波管のスタックを含有するディスプレイが、ユーザまたは視認者の眼の正面に位置付けられて装着されるように構成され得る。導波管のスタックは、複数の導波管を使用し、画像投入デバイス（例えば、１つ以上の光ファイバを介して画像情報を送る、多重化ディスプレイの離散ディスプレイまたは出力端）から、特定の導波管と関連付けられる深度面に対応する特定の角度（および発散量）において視認者の眼に光を指向させることによって、３次元知覚を眼／脳に提供するために利用され得る。

【0124】

いくつかの実施形態では、導波管の２つのスタック（視認者の眼毎に１つ）が、異なる画像を各眼に提供するために利用され得る。一実施例として、拡張現実シーンは、ＡＲ技術の装着者には、人物、木、背景における建物、およびコンクリートプラットフォームを特徴とする、実世界公園状設定を見えるようにし得る。これらのアイテムに加えて、ＡＲ技術の装着者はまた、自身が、実世界プラットフォーム上に立っているロボット像およびマルハナバチの擬人化のように見える飛んでいる漫画のようなアバタキャラクタを、そのロボットの像およびマルハナバチが実世界に存在していないにもかかわらず、「見える」と知覚し得る。導波管のスタックは、入力画像に対応するライトフィールドを生成するために使用され得、いくつかの実装では、ウェアラブルディスプレイは、ウェアラブルライトフィールドディスプレイを含む。ライトフィールド画像を提供するためのウェアラブルディスプレイデバイスおよび導波管スタックの実施例が、米国特許公開第２０１５／００１６７７７号（参照することによって、これが含有するあらゆるものに関してその全体として本明細書に組み込まれる）に説明されている。

【0125】

図１４は、ＶＲ、ＡＲ、またはＭＲ体験をディスプレイシステム装着者または視認者１４０４に提示するために使用され得る、ウェアラブルディスプレイシステム１４００の実施例を図示する。ウェアラブルディスプレイシステム１４００は、本明細書に説明される用途または実施形態のいずれか（例えば、眼画像セグメント化、眼画質推定、瞳孔輪郭決定、または虹彩輪郭決定）を実施するようにプログラムされ得る。ディスプレイシステム１４００は、ディスプレイ１４０８と、そのディスプレイ１４０８の機能をサポートするための種々の機械的ならびに電子的モジュールおよびシステムとを含む。ディスプレイ１４０８は、フレーム１４１２に結合されてもよく、これは、ディスプレイシステム装着者または視認者１４０４によって装着可能であって、装着者１４０４の眼の正面にディスプレイ１４０８を位置付けるように構成される。ディスプレイ１４０８は、ライトフィールドディスプレイであり得る。いくつかの実施形態では、スピーカ１４１６が、フレーム１４１２に結合され、ユーザの外耳道に隣接して位置付けられ、いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音響制御を提供する。ディスプレイ１４０８は、有線導線または無線接続等によって、フレーム１４１２に固定して取り付けられる、ユーザによって装着されるヘルメットもしくは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ１４０４に（例えば、リュック式構成において、ベルト結合式構成において）除去可能に取り付けられる等、種々の構成において搭載され得る、ローカルデータ処理モジュール１４２４に動作可能に結合される（１４２０）。

【0126】

ローカル処理およびデータモジュール１４２４は、ハードウェアプロセッサと不揮発性メモリ（例えば、フラッシュメモリ）等の非一過性デジタルメモリとを備え得、その両方は、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、（ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／もしくはジャイロスコープ等の（例えば、フレーム１４１２に動作可能に結合される、または別様に装着者１４０４に取り付けられ得る）センサから捕捉されるデータ、ならびに／または、（ｂ）場合によっては処理もしくは読出後のディスプレイ１４０８への通過のために、遠隔処理モジュール１４２８および／もしくは遠隔データリポジトリ１４３２を使用して入手および／もしくは処理されるデータを含む。ローカル処理およびデータモジュール１４２４は、これらの遠隔モジュール１４２８、１４３２が、相互に動作可能に結合され、ローカル処理およびデータモジュール１４２４へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク１４３６、１４４０によって、遠隔処理モジュール１４２８および遠隔データリポジトリ１４３２に動作可能に結合されてもよい。画像捕捉デバイスは、眼画像セグメント化、眼画質推定、瞳孔輪郭決定、または虹彩輪郭決定プロシージャにおいて使用される眼画像を捕捉するために使用されることができる。

【0127】

いくつかの実施形態では、遠隔処理モジュール１４２８は、画像捕捉デバイスによって捕捉されたビデオ情報等のデータおよび／または画像情報を分析ならびに処理するように構成される、１つ以上のプロセッサを備えてもよい。ビデオデータは、ローカル処理およびデータモジュール１４２４内に、ならびに／または遠隔データリポジトリ１４３２内にローカルで記憶され得る。いくつかの実施形態では、遠隔データリポジトリ１４３２は、デジタルデータ記憶設備を備え得、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュール１４２４において実施され、遠隔モジュールからの完全に自律的な使用を可能にする。

【0128】

いくつかの実装では、ローカル処理およびデータモジュール１４２４および／または遠隔処理モジュール１４２８は、本明細書に開示される眼画像セグメント化、眼画質推定、瞳孔輪郭決定、または虹彩輪郭決定の実施形態を実施するようにプログラムされる。例えば、ローカル処理およびデータモジュール１４２４および／または遠隔処理モジュール１４２８は、図５、６、７、または９を参照して説明されるプロセス５００、６００、７００、または９００の実施形態を実施するようにプログラムされることができる。ローカル処理およびデータモジュール１４２４および／または遠隔処理モジュール１４２８は、バイオメトリック抽出において、本明細書に開示される眼画像セグメント化、眼画質推定、瞳孔輪郭決定、または虹彩輪郭決定技法を使用して、例えば、装着者１４０４の識別を識別または認証するようにプログラムされることができる。画像捕捉デバイスは、特定の用途のためのビデオ（例えば、眼追跡用途のための装着者の眼のビデオまたはジェスチャ識別用途のための装着者の手もしくは指のビデオ）を捕捉することができる。ビデオは、処理モジュール１４２４、１４２８の一方または両方によって、ＣＮＮ１００を使用して分析されることができる。ある場合には、眼画像セグメント化、眼画質推定、瞳孔輪郭決定、または虹彩輪郭決定のうちの少なくともいくつかを（例えば、「クラウド」内の）遠隔処理モジュールにオフロードすることは、算出の効率または速度を改良し得る。ＣＮＮ１００のパラメータ（例えば、加重、バイアス項、プーリング層のためのサブサンプリング係数、異なる層内のカーネルの数およびサイズ、特徴マップの数等）は、データモジュール１４２４および／または１４３２内に記憶されることができる。

【0129】

ビデオ分析の結果（例えば、ＣＮＮ１００の出力）は、付加的動作または処理のために、処理モジュール１４２４、１４２８の一方または両方によって使用されることができる。例えば、種々のＣＮＮ用途では、バイオメトリック識別、眼追跡、ジェスチャの認識または分類、オブジェクト、姿勢等が、ウェアラブルディスプレイシステム１４００によって使用されてもよい。例えば、装着者の眼のビデオは、眼画像セグメント化または画質推定のために使用されることができ、これは、ひいては、ディスプレイ１４０８を通して、装着者１４０４の虹彩輪郭決定または瞳孔輪郭決定に対する処理モジュール１４２４、１４２８によって使用されることができる。ウェアラブルディスプレイシステム１４００の処理モジュール１４２４、１４２８は、眼画像セグメント化、眼画質推定、瞳孔輪郭決定、または虹彩輪郭決定の１つ以上の実施形態を用いて、本明細書に説明されるビデオまたは画像処理用途のいずれかを実施するようにプログラムされることができる。

【0130】

ＣＮＮ１００の実施形態は、眼画像をセグメント化し、他のバイオメトリック用途において画質推定値を提供するために使用されることができる。例えば、ユーザ（例えば、乗客またはセキュア設備における作業者等）の眼を走査および分析するために使用される、バイオメトリックセキュリティシステム（例えば、空港、鉄道駅等の交通機関の発着所、またはセキュリティ施設において使用されるもの等）内の眼スキャナは、眼結像カメラと、ＣＮＮ１００の実施形態を使用して眼画像を処理するようにプログラムされるハードウェアとを含むことができる。バイオメトリック識別（例えば、虹彩コードを生成する）、眼視線追跡等のため等のＣＮＮ１００の他の用途も、可能性として考えられる。
（付加的側面）

【0131】

第１の側面では、眼画像セグメント化および画質推定のための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で実施され、眼画像を受信するステップと、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像のセグメント化を生成するステップと、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像の品質推定値を生成するステップとを含み、畳み込みニューラルネットワークは、セグメント化タワーと、品質推定タワーとを備え、セグメント化タワーは、セグメント化層と、共有層とを備え、品質推定タワーは、品質推定層と、共有層とを備え、共有層の第１の出力層は、セグメント化タワーの第１の入力層およびセグメント化タワーの第２の入力層に接続され、共有層の第１の出力層は、品質推定層の入力層に接続され、眼画像を受信するステップは、共有層の入力層によって眼画像を受信するステップを含む。

【0132】

第２の側面では、共有層の第２の出力層は、セグメント化タワーの第３の入力層に接続される、側面１に記載の方法。

【0133】

第３の側面では、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像のセグメント化を生成するステップは、セグメント化タワーを使用して、眼画像のセグメント化を生成するステップを含み、セグメント化タワーの出力層の出力は、眼画像のセグメント化である、側面１−２のいずれか１項に記載の方法。

【0134】

第４の側面では、眼画像のセグメント化は、眼画像の背景、強膜、虹彩、または瞳孔を含む、側面３に記載の方法。

【0135】

第５の側面では、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像の品質推定値を生成するステップは、品質推定タワーを使用して、眼画像の品質推定値を生成するステップを含み、品質推定タワーの出力層の出力は、眼画像の品質推定値を備える、側面１−４のいずれか１項に記載の方法。

【0136】

第６の側面では、眼画像の品質推定値は、高品質推定値または低品質推定値である、側面１−５のいずれか１項に記載の方法。

【0137】

第７の側面では、共有層、セグメント化層、または品質推定層は、畳み込み層、明度正規化層、バッチ正規化層、正規化線形層、アップサンプリング層、連結層、プーリング層、全結合層、線形全結合層、ソフトサイン層、または任意のそれらの組み合わせを備える、側面１−６のいずれか１項に記載の方法。

【0138】

第８の側面では、眼画像セグメント化および画質推定のための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で、眼画像を受信するステップと、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像のセグメント化を生成するステップと、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像の品質推定値を生成するステップとを含む。

【0139】

第９の側面では、畳み込みニューラルネットワークは、セグメント化タワーと、品質推定タワーとを備え、セグメント化タワーは、セグメント化層と、共有層とを備え、品質推定タワーは、品質推定層と、共有層とを備え、眼画像を受信するステップは、共有層の入力層によって眼画像を受信するステップを含む、側面８に記載の方法。

【0140】

第１０の側面では、共有層の第１の出力層は、セグメント化タワーの第１の入力層に接続される、側面９に記載の方法。

【0141】

第１１の側面では、共有層の第１の出力層は、セグメント化タワーの第２の入力層に接続される、側面１０に記載の方法。

【0142】

第１２の側面では、共有層の第１の出力層は、品質推定タワーの入力層に接続される、側面１０−１１のいずれか１項に記載の方法。

【0143】

第１３の側面では、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像のセグメント化を生成するステップは、セグメント化タワーを使用して、眼画像のセグメント化を生成するステップを含み、セグメント化タワーの出力層の出力は、眼画像のセグメント化である、側面９−１２のいずれか１項に記載の方法。

【0144】

第１４の側面では、眼画像のセグメント化は、眼画像の背景、強膜、虹彩、または瞳孔を含む、側面９−１３のいずれか１項に記載の方法。

【0145】

第１５の側面では、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像の品質推定値を生成するステップは、品質推定タワーを使用して、眼画像の品質推定値を生成するステップを含み、品質推定タワーの出力層の出力は、眼画像の品質推定値である、側面９−１４のいずれか１項に記載の方法。

【0146】

第１６の側面では、共有層、セグメント化層、または品質推定層は、畳み込み層、バッチ正規化層、正規化線形層、アップサンプリング層、連結層、プーリング層、全結合層、線形全結合層、または任意のそれらの組み合わせを備える、側面９−１５のいずれか１項に記載の方法。

【0147】

第１７の側面では、バッチ正規化層は、バッチローカルコントラスト正規化層またはバッチローカル応答正規化層である、側面１６に記載の方法。

【0148】

第１８の側面では、共有層、セグメント化層、または品質推定層は、明度正規化層、ソフトサイン層、または任意のそれらの組み合わせを備える、側面９−１７のいずれか１項に記載の方法。

【0149】

第１９の側面では、眼画像は、認証のためにユーザデバイスの画像センサによって捕捉される、側面８−１８のいずれか１項に記載の方法。

【0150】

第２０の側面では、眼画像のセグメント化は、主に、眼画像の虹彩部分から成る、側面８−１９のいずれか１項に記載の方法。

【0151】

第２１の側面では、眼画像のセグメント化は、主に、眼画像の網膜部分から成る、側面８−１９のいずれか１項に記載の方法。

【0152】

第２２の側面では、眼画像セグメント化および画質推定のための畳み込みニューラルネットワークを訓練するための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で、眼画像の訓練セットを取得するステップと、畳み込みニューラルネットワークに眼画像の訓練セットを提供するステップと、畳み込みニューラルネットワークを眼画像の訓練セットで訓練するステップとを含み、畳み込みニューラルネットワークは、セグメント化タワーと、品質推定タワーとを備え、セグメント化タワーは、セグメント化層と、共有層とを備え、品質推定タワーは、品質推定層と、共有層とを備え、共有層の出力層は、セグメント化タワーの第１の入力層およびセグメント化タワーの第２の入力層に接続され、共有層の出力層は、品質推定層の入力層に接続される。

【0153】

第２３の側面では、畳み込みニューラルネットワークを眼画像の訓練セットで訓練するステップは、セグメント化タワーを使用して、訓練セットの眼画像を処理し、眼画像のセグメント化を生成するステップと、品質推定タワーを使用して、訓練セットの眼画像を処理し、眼画像の品質推定値を生成するステップと、眼画像のセグメント化と眼画像の基準セグメント化との間の第１の差異を算出するステップと、眼画像の品質推定値と眼画像の基準品質推定値との間の第２の差異異を算出するステップと、第１の差異および第２の差異を使用して、畳み込みニューラルネットワークのパラメータを更新するステップとを含む、側面２２に記載の方法。

【0154】

第２４の側面では、第１の差異および第２の差異を使用して、畳み込みニューラルネットワークのパラメータを更新するステップは、畳み込みニューラルネットワークを訓練するとき、第１の訓練サイクルの間、畳み込みニューラルネットワークのパラメータの第１のパーセンテージをゼロの値に設定するステップを含む、側面２３に記載の方法。

【0155】

第２５の側面では、畳み込みニューラルネットワークを訓練するとき、第１の訓練サイクルの間、畳み込みニューラルネットワークのパラメータの第１のパーセンテージをゼロの値に設定するステップは、畳み込みニューラルネットワークを訓練するとき、第１の訓練サイクルの間、畳み込みニューラルネットワークのパラメータの第１のパーセンテージをゼロの値にランダムに設定するステップを含む、側面２４に記載の方法。

【0156】

第２６の側面では、第１の差異および第２の差異を使用して、畳み込みニューラルネットワークのパラメータを更新するステップはさらに、畳み込みニューラルネットワークを訓練するとき、第２の訓練サイクルの間、畳み込みニューラルネットワークのパラメータの第２のパーセンテージをゼロの値に設定するステップを含む、側面２４−２５のいずれか１項に記載の方法。

【0157】

第２７の側面では、畳み込みニューラルネットワークを訓練するとき、第２の訓練サイクルの間、畳み込みニューラルネットワークのパラメータの第２のパーセンテージをゼロの値に設定するステップは、畳み込みニューラルネットワークを訓練するとき、第２の訓練サイクルの間、畳み込みニューラルネットワークのパラメータの第２のパーセンテージをゼロの値にランダムに設定するステップを含む、側面２６に記載の方法。

【0158】

第２８の側面では、第１のパーセンテージまたは第２のパーセンテージは、５０％〜３０％である、側面２７に記載の方法。

【0159】

第２９の側面では、眼画像のセグメント化は、眼画像の背景、強膜、虹彩、または瞳孔を備え、眼画像の基準セグメント化は、眼画像の基準背景、基準強膜、基準虹彩、または基準瞳孔を備える、側面２３−２８のいずれか１項に記載の方法。

【0160】

第３０の側面では、共有層、セグメント化層、または品質推定層は、畳み込み層、明度正規化層、バッチ正規化層、正規化線形層、アップサンプリング層、連結層、プーリング層、全結合層、線形全結合層、ソフトサイン層、または任意のそれらの組み合わせを備える、側面２２−２８のいずれか１項に記載の方法。

【0161】

第３１の側面では、コンピュータシステムが、開示される。コンピュータシステムは、ハードウェアプロセッサと、ハードウェアプロセッサによって実行されると、プロセッサに、側面１−３０のいずれか１項に記載の方法を実施させる、その上に記憶される命令を有する、非一過性メモリとを備える。

【0162】

第３２の側面では、コンピュータシステムは、モバイルデバイスを備える、側面３１に記載のコンピュータシステム。

【0163】

第３３の側面では、モバイルデバイスは、ウェアラブルディスプレイシステムを備える、側面３２に記載のコンピュータシステム。

【0164】

第３４の側面では、意味論的にセグメント化された眼画像内の眼輪郭を決定するための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で、複数のピクセルを含む眼画像の意味論的にセグメント化された眼画像を受信するステップであって、意味論的にセグメント化された眼画像のピクセルは、色値を有し、意味論的にセグメント化された眼画像のピクセルの色値は、第１の色値、第２の色値、第３の色値、および第４の色値であって、第１の色値は、眼画像の背景に対応し、第２の色値は、眼画像内の眼の強膜に対応し、第３の色値は、眼画像内の眼の虹彩に対応し、第４の色値は、眼画像内の眼の瞳孔に対応する、ステップと、意味論的にセグメント化された眼画像を使用して、瞳孔輪郭を決定するステップと、意味論的にセグメント化された眼画像を使用して、虹彩輪郭を決定するステップと、意味論的にセグメント化された眼画像内の非関連エリアのためのマスクを決定するステップとを含む。

【0165】

第３５の側面では、第１の色値は、第２の色値を上回り、第２の色値は、第３の色値を上回り、第３の色値は、第４の色値を上回る、側面３４に記載の方法。

【0166】

第３６の側面では、意味論的にセグメント化された眼画像を使用して、瞳孔輪郭を決定するステップは、複数のピクセルを含む第１のバイナリ画像を作成するステップであって、第１のバイナリ画像の第１のバイナリ画像ピクセルの色値は、意味論的にセグメント化された眼画像内の対応するピクセルが、第４の色値を上回るまたはそれと等しい値を有する場合、第４の色値であって、意味論的にセグメント化された眼画像内の対応するピクセルが、第４の色値を上回らずかつそれと等しくない値を有する場合、第３の色値である、ステップと、第１のバイナリ画像内の輪郭を決定するステップと、第１のバイナリ画像内の決定された輪郭の最長輪郭を瞳孔輪郭境界として選択するステップと、瞳孔輪郭境界を包囲する瞳孔輪郭点境界ボックスを決定するステップと、瞳孔点面積サイズを瞳孔輪郭点境界ボックスの対角線として算出するステップと、複数のピクセルを含む第２のバイナリ画像を作成するステップであって、第２のバイナリ画像の複数のピクセルの第２のバイナリ画像ピクセルの色値は、意味論的にセグメント化された眼画像内の対応するピクセルが、第３の色値を上回るまたはそれと等しい値を有する場合、第３の色値であって、意味論的にセグメント化された眼画像内の対応するピクセルが、第３の色値を上回らずかつそれと等しくない値を有する場合、第２の色値である、ステップと、瞳孔輪郭境界の瞳孔輪郭境界ピクセルに関して、第２の色値の色値を有し、瞳孔輪郭境界ピクセルに最も近い、第２のバイナリ画像内の最も近いピクセルを決定するステップと、瞳孔輪郭境界ピクセルと第２のバイナリ画像内の最も近いピクセルとの間の距離を決定するステップと、瞳孔輪郭境界ピクセルと第２のバイナリ画像内の最も近いピクセルとの間の距離が、所定の瞳孔輪郭閾値より小さい場合、瞳孔輪郭境界ピクセルを瞳孔輪郭境界から除去するステップと、瞳孔輪郭を楕円形として瞳孔輪郭境界の残りのピクセルから決定するステップとを含む、側面３４−３５のいずれか１項に記載の方法。

【0167】

第３７の側面では、意味論的にセグメント化された眼画像を使用して、虹彩輪郭を決定するステップは、複数のピクセルを含む第３のバイナリ画像を作成するステップであって、第３のバイナリ画像の複数のピクセルの第３のバイナリ画像ピクセルの色値は、意味論的にセグメント化された眼画像内の対応するピクセルが、第３の色値を上回るまたはそれと等しい値を有する場合、第３の色値であって、意味論的にセグメント化された眼画像内の対応するピクセルが、第３の色値を上回らずかつそれと等しくない値を有する場合、第２の色値である、ステップと、第３のバイナリ画像内の輪郭を決定するステップと、第３のバイナリ画像内の決定された輪郭の最長輪郭を虹彩輪郭境界として選択するステップと、虹彩輪郭境界を包囲する虹彩輪郭点境界ボックスを決定するステップと、虹彩点面積サイズを虹彩輪郭点境界ボックスの対角線として算出するステップと、複数のピクセルを含む第４のバイナリ画像を作成するステップであって、第４のバイナリ画像の複数のピクセルの第４のバイナリ画像ピクセルの色値は、意味論的にセグメント化された眼画像内の対応するピクセルが、第２の色値を上回るまたはそれと等しい値を有する場合、第２の色値であって、意味論的にセグメント化された眼画像内の対応するピクセルが、第２の色値を上回らずかつそれと等しくない値を有する場合、第１の色値である、ステップと、輪郭境界の虹彩輪郭境界ピクセルに関して、第１の色値の色値を有し、虹彩輪郭境界ピクセルに最も近い、第４のバイナリ画像内の最も近いピクセルを決定するステップと、虹彩輪郭境界ピクセルと第４のバイナリ画像内の最も近いピクセルとの間の距離を決定するステップと、虹彩輪郭境界ピクセルと第４のバイナリ画像内の最も近いピクセルとの間の距離が、所定の虹彩輪郭閾値より小さい場合、虹彩輪郭境界ピクセルを虹彩輪郭境界から除去するステップと、楕円形を虹彩輪郭境界の残りのピクセルから決定することによって、虹彩輪郭を決定するステップとを含む、側面３４−３６のいずれか１項に記載の方法。

【0168】

第３８の側面では、眼画像内の非関連エリアのためのマスクを決定するステップは、複数のピクセルを含むバイナリマスク画像を作成するステップであって、バイナリマスク画像のバイナリマスク画像ピクセルは、色値を有する、ステップと、意味論的にセグメント化された眼画像内の対応するピクセルが、第３の色値を上回るまたはそれと等しい値を有する場合、バイナリマスク画像ピクセルの色値を第３の色値に設定するステップと、意味論的にセグメント化された眼画像内の対応するピクセルが、第３の色値を上回らずかつそれと等しくない値を有する場合、バイナリマスク画像ピクセルの色値を第２の色値に設定するステップとを含む、側面３４−３７のいずれか１項に記載の方法。

【0169】

第３９の側面では、所定の瞳孔輪郭閾値は、瞳孔点面積サイズによって乗算される割合であって、割合は、０．０２〜０．２０の範囲内である、側面３６−３８のいずれか１項に記載の方法。

【0170】

第４０の側面では、所定の虹彩輪郭閾値は、虹彩点面積サイズによって乗算される割合であって、割合は、０．０２〜０．２０の範囲内である、側面３７−３９のいずれか１項に記載の方法。

【0171】

第４１の側面では、意味論的にセグメント化された眼画像内の瞳孔輪郭、虹彩輪郭、および非関連エリアのためのマスクを使用して、眼画像内の眼の虹彩の極画像を眼画像から作成するステップをさらに含む、側面３４−４０のいずれか１項に記載の方法。

【0172】

第４２の側面では、複数のピクセルを含む眼画像の意味論的にセグメント化された眼画像を受信するステップは、眼画像を受信するステップと、畳み込みニューラルネットワークを使用して、眼画像を処理し、意味論的にセグメント化された眼画像を生成するステップと、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像の品質推定値を生成するステップとを含み、畳み込みニューラルネットワークは、セグメント化タワーと、品質推定タワーとを備え、セグメント化タワーは、セグメント化層と、共有層とを備え、品質推定タワーは、品質推定層と、共有層とを備え、共有層の第１の出力層は、セグメント化タワーの第１の入力層およびセグメント化タワーの第２の入力層に接続され、共有層の第１の出力層は、品質推定層の入力層に接続され、眼画像を受信するステップは、共有層の入力層によって眼画像を受信するステップを含む、側面３４−４１のいずれか１項に記載の方法。

【0173】

第４３の側面では、意味論的にセグメント化された眼画像内の眼輪郭を決定するための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で、眼画像の意味論的にセグメント化された眼画像を受信するステップと、意味論的にセグメント化された眼画像を使用して、眼画像内の眼の瞳孔輪郭を決定するステップと、意味論的にセグメント化された眼画像を使用して、眼画像内の眼の虹彩輪郭を決定するステップと、眼画像内の非関連エリアのためのマスクを決定するステップとを含む。

【0174】

第４４の側面では、意味論的にセグメント化された眼画像の寸法およびマスク画像の寸法は、同一である、側面４３に記載の方法。

【0175】

第４５の側面では、意味論的にセグメント化された眼画像は、複数のピクセルを含み、意味論的にセグメント化された眼画像のピクセルの色値は、眼画像の背景、眼画像内の眼の強膜、眼画像内の眼の虹彩、または眼画像内の眼の瞳孔に対応する、側面４３−４４のいずれか１項に記載の方法。

【0176】

第４６の側面では、意味論的にセグメント化された眼画像のピクセルの色値は、第１の色値、第２の色値、第３の色値、または第４の色であって、第１の色値は、眼画像の背景に対応し、第２の色値は、眼画像内の眼の強膜に対応し、第３の色値は、眼画像内の眼の虹彩に対応し、第４の色値は、眼画像内の眼の瞳孔に対応する、側面４５に記載の方法。

【0177】

第４７の側面では、第１の色値は、第２の色値を上回り、第２の色値は、第３の色値を上回り、第３の色値は、第４の色値を上回る、側面４６に記載の方法。

【0178】

第４８の側面では、意味論的にセグメント化された眼画像を使用して、瞳孔輪郭を決定するステップは、第１のバイナリ画像を意味論的にセグメント化された眼画像から作成するステップと、第１のバイナリ画像内の最長瞳孔輪郭を決定するステップと、第２のバイナリ画像をセグメント化された眼画像から作成するステップと、瞳孔輪郭を決定するために不適切な第２のバイナリ画像を使用して最長瞳孔輪郭の最長瞳孔輪郭ピクセルを除去するステップと、瞳孔輪郭を楕円形として第１のバイナリ画像内の最長瞳孔輪郭の残りのピクセルから決定するステップとを含む、側面４６−４７のいずれか１項に記載の方法。

【0179】

第４９の側面では、第１のバイナリ画像のピクセルは、意味論的にセグメント化された眼画像内の対応するピクセルが、第４の色値を上回るまたはそれと等しい値を有する場合、第１のバイナリ画像色値を、そうでなければ、第２のバイナリ画像色値を有し、第１のバイナリ画像色値は、第２のバイナリ画像色値を上回り、第２のバイナリ画像のピクセルは、意味論的にセグメント化された眼画像内の対応するピクセルが、第３の色値を上回るまたはそれと等しい値を有する場合、第１のバイナリ画像色値を、そうでなければ、第２のバイナリ画像色値を有する、側面４８に記載の方法。

【0180】

第５０の側面では、瞳孔輪郭を決定するために不適切な第２のバイナリ画像を使用して、最長瞳孔輪郭の最長瞳孔輪郭ピクセルを除去するステップは、最長瞳孔輪郭ピクセルと、第２のバイナリ画像色値を有し、最長瞳孔輪郭ピクセルに最も近い、第２のバイナリ画像内のピクセルとの間の距離を決定するステップと、距離が所定の瞳孔輪郭閾値より小さい場合、最長瞳孔輪郭ピクセルを最長瞳孔輪郭から除去するステップとを含む、側面４８−４９のいずれか１項に記載の方法。

【0181】

第５１の側面では、最長瞳孔輪郭ピクセルと、第２のバイナリ画像色値を有し、最長瞳孔輪郭ピクセルに最も近い、第２のバイナリ画像内のピクセルとの間の距離を決定するステップは、最長瞳孔輪郭ピクセルに対応する第２のバイナリ画像内のピクセルと、第２のバイナリ画像色値を有し、最長瞳孔輪郭ピクセルに対応する第２のバイナリ画像内のピクセルに最も近い、第２のバイナリ画像内のピクセルとの間の距離を決定するステップを含む、側面５０に記載の方法。

【0182】

第５２の側面では、第１のバイナリ画像内の最長瞳孔輪郭を包囲する最小境界ボックスを決定するステップをさらに含む、側面４８−４９のいずれか１項に記載の方法。

【0183】

第５３の側面では、第１のバイナリ画像内の最長瞳孔輪郭を包囲する最小境界ボックスのサイズを決定するステップをさらに含む、側面５２に記載の方法。

【0184】

第５４の側面では、第１のバイナリ画像内の最長瞳孔輪郭を包囲する最小境界ボックスのサイズは、第１のバイナリ画像内の最長瞳孔輪郭を包囲する最小境界ボックスの対角線である、側面５３に記載の方法。

【0185】

第５５の側面では、所定の瞳孔輪郭閾値は、第１のバイナリ画像内の最長瞳孔輪郭を包囲する最小境界ボックスのサイズによって乗算される割合であって、割合は、０．０２〜０．２０の範囲内である、側面５３−５４のいずれか１項に記載の方法。

【0186】

第５６の側面では、意味論的にセグメント化された眼画像を使用して、虹彩輪郭を決定するステップは、第３のバイナリ画像を意味論的にセグメント化された眼画像から作成するステップと、第１のバイナリ画像内の最長虹彩輪郭を決定するステップと、第４のバイナリ画像を意味論的にセグメント化された眼画像から作成するステップと、虹彩輪郭を決定するために不適切な第４のバイナリ画像を使用して、最長虹彩輪郭の最長虹彩輪郭ピクセルを除去するステップと、虹彩輪郭を楕円形として第１のバイナリ画像内の最長虹彩輪郭の残りのピクセルから決定するステップとを含む、側面４８−５５のいずれか１項に記載の方法。

【0187】

第５７の側面では、第３のバイナリ画像のピクセルは、意味論的にセグメント化された眼画像内の対応するピクセルが、第３の色値を上回るまたはそれと等しい値を有する場合、第１のバイナリ画像色値を、そうでなければ、第２のバイナリ画像色値を有し、第４のバイナリ画像のピクセルは、意味論的にセグメント化された眼画像内の対応するピクセルが、第２の色値を上回るまたはそれと等しい値を有する場合、第１のバイナリ画像色値を、そうでなければ、第２のバイナリ画像色値を有する、側面５６に記載の方法。

【0188】

第５８の側面では、虹彩輪郭を決定するために不適切な第４のバイナリ画像を使用して、最長虹彩輪郭の最長虹彩輪郭ピクセルを除去するステップは、最長虹彩輪郭ピクセルと、第２のバイナリ画像色値を有し、最長虹彩輪郭ピクセルに最も近い、第４のバイナリ画像内のピクセルとの間の距離を決定するステップと、最長虹彩輪郭ピクセルと第４のバイナリ画像内のピクセルとの間の距離が、所定の虹彩輪郭閾値より小さい場合、最長虹彩輪郭ピクセルを最長虹彩輪郭から除去するステップとを含む、側面５６−５７のいずれか１項に記載の方法。

【0189】

第５９の側面では、最長虹彩輪郭ピクセルと、第２のバイナリ画像色値を有し、最長虹彩輪郭ピクセルに最も近い、第４のバイナリ画像内のピクセルとの間の距離を決定するステップは、最長虹彩輪郭ピクセルに対応する第４のバイナリ画像内のピクセルと、第２のバイナリ画像色値の色値を有し、最長虹彩輪郭ピクセルに対応する第４のバイナリ画像内のピクセルに最も近い、第４のバイナリ画像内のピクセルとの間の距離を決定するステップを含む、側面５８に記載の方法。

【0190】

第６０の側面では、第３のバイナリ画像内の最長虹彩輪郭を包囲する最小境界ボックスを決定するステップをさらに含む、側面５６−５７のいずれか１項に記載の方法。

【0191】

第６１の側面では、第３のバイナリ画像内の最長虹彩輪郭を包囲する最小境界ボックスのサイズを決定するステップをさらに含む、側面６０に記載の方法。

【0192】

第６２の側面では、第３のバイナリ画像内の最長虹彩輪郭を包囲する最小境界ボックスのサイズは、第３のバイナリ画像内の最長虹彩輪郭を包囲する最小境界ボックスの対角線である、側面６１に記載の方法。

【0193】

第６３の側面では、所定の虹彩輪郭閾値は、第１のバイナリ画像内の最長虹彩輪郭を包囲する最小境界ボックスのサイズによって乗算される割合であって、割合は、０．０２〜０．２０の範囲内である、側面６１−６２のいずれか１項に記載の方法。

【0194】

第６４の側面では、眼画像内の非関連エリアのためのマスクを決定するステップは、複数のピクセルを含むバイナリマスク画像を作成するステップを含み、バイナリマスク画像のピクセルは、意味論的にセグメント化された眼画像内の対応するピクセルが、第３の色値を上回るまたはそれと等しい値を有する場合、第１のバイナリ画像色値を、そうでなければ、第２のバイナリ画像色値を有する、側面４９−６３のいずれか１項に記載の方法。

【0195】

第６５の側面では、意味論的にセグメント化された眼画像内の瞳孔輪郭、虹彩輪郭、および非関連エリアのためのマスクを使用して、眼画像内の眼の虹彩の極画像を眼画像から作成するステップをさらに含む、側面４３−６４のいずれか１項に記載の方法。

【0196】

第６６の側面では、眼画像の意味論的にセグメント化された眼画像を受信するステップは、眼画像を受信するステップと、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像のセグメント化を生成するステップと、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像の品質推定値を生成するステップとを含む、側面４３−６５のいずれか１項に記載の方法。

【0197】

第６７の側面では、眼画像の意味論的にセグメント化された眼画像を受信するステップは、眼画像を受信するステップと、畳み込みニューラルネットワークを使用して、眼画像を処理し、意味論的にセグメント化された眼画像を生成するステップと、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像の品質推定値を生成するステップとを含む、側面４３−６６のいずれか１項に記載の方法。

【0198】

第６８の側面では、コンピュータシステムが、開示される。コンピュータシステムは、ハードウェアプロセッサと、ハードウェアプロセッサによって実行されると、プロセッサに、側面３４−６７のいずれか１項に記載の方法を実施させる、その上に記憶される命令を有する、非一過性メモリとを備える。

【0199】

第６９の側面では、コンピュータシステムは、モバイルデバイスを備える、側面６８に記載のコンピュータシステム。

【0200】

第７０の側面では、モバイルデバイスは、ウェアラブルディスプレイシステムを備える、側面６９に記載のコンピュータシステム。ウェアラブルディスプレイシステムは、頭部搭載型拡張または仮想現実ディスプレイシステムを備えてもよい。

【0201】

第７１の側面では、眼画像セグメント化および画質推定のためのシステムであって、眼画像を取得するように構成される、眼結像カメラと、眼画像を記憶するように構成される、非一過性メモリと、非一過性メモリと通信する、ハードウェアプロセッサであって、眼画像を受信し、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像のセグメント化を生成し、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像の品質推定値を生成するようにプログラムされる、ハードウェアプロセッサとを備え、畳み込みニューラルネットワークは、セグメント化タワーと、品質推定タワーとを備え、セグメント化タワーは、セグメント化層と、共有層とを備え、品質推定タワーは、品質推定層と、共有層とを備え、共有層の第１の出力層は、セグメント化タワーの第１の入力層およびセグメント化タワーの第２の入力層に接続され、第１の入力層または第２の入力層のうちの少なくとも１つは、連結層を備え、共有層の第１の出力層は、品質推定層の入力層に接続され、眼画像は、共有層の入力層によって受信される、システム。

【0202】

第７２の側面では、共有層の第２の出力層は、セグメント化タワーの第３の入力層に接続され、第３の入力層は、連結層を備える、側面７１に記載のシステム。

【0203】

第７３の側面では、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像のセグメント化を生成するために、ハードウェアプロセッサは、セグメント化タワーを使用して、眼画像のセグメント化を生成するようにプログラムされ、セグメント化タワーの出力層の出力は、眼画像のセグメント化を備える、側面７１または７２のいずれか１項に記載のシステム。

【0204】

第７４の側面では、眼画像のセグメント化は、眼画像の背景、強膜、虹彩、または瞳孔を含む、側面７１−７３のいずれか１項に記載のシステム。

【0205】

第７５の側面では、ハードウェアプロセッサはさらに、眼画像のセグメント化を使用して、眼画像内の眼の瞳孔輪郭を決定し、眼画像のセグメント化を使用して、眼画像内の眼の虹彩輪郭を決定し、眼画像内の非関連エリアのためのマスクを決定するようにプログラムされる、側面７４に記載のシステム。

【0206】

第７６の側面では、共有層は、共有層によって算出された特徴マップの空間寸法を減少させ、特徴マップの数を増加させることによって、眼画像をエンコードするように構成される、側面７１−７５のいずれか１項に記載のシステム。

【0207】

第７７の側面では、セグメント化層は、特徴マップの空間寸法を増加させ、特徴マップの数を低減させることによって、共有層によってエンコードされた眼画像をデコードするように構成される、側面７６に記載のシステム。

【0208】

第７８の側面では、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像の品質推定値を生成するために、ハードウェアプロセッサは、品質推定タワーを使用して、眼画像の品質推定値を生成するようにプログラムされ、品質推定タワーの出力層の出力は、眼画像の品質推定値を備える、側面７１−７７のいずれか１項に記載のシステム。

【0209】

第７９の側面では、品質推定タワーは、少なくとも２つのチャネルの出力を出力するように構成され、少なくとも２つのチャネルの第１のものは、高品質推定値を備え、少なくとも２つのチャネルの第２のものは、低品質推定値を備える、側面７１−７８のいずれか１項に記載のシステム。

【0210】

第８０の側面では、共有層、セグメント化層、または品質推定層は、畳み込み層、明度正規化層、バッチ正規化層、正規化線形層、アップサンプリング層、連結層、プーリング層、全結合層、線形全結合層、ソフトサイン層、または任意のそれらの組み合わせを備える、側面７１−７９のいずれか１項に記載のシステム。

【0211】

第８１の側面では、眼画像セグメント化および画質推定のためのシステムであって、眼画像を取得するように構成される、眼結像カメラと、眼画像を記憶するように構成される、非一過性メモリと、非一過性メモリと通信する、ハードウェアプロセッサであって、眼画像を受信し、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像のセグメント化を生成し、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像の品質推定値を生成するようにプログラムされる、ハードウェアプロセッサとを備え、畳み込みニューラルネットワークは、セグメント化タワーと、品質推定タワーとを備え、セグメント化タワーは、セグメント化層と、共有層とを備え、品質推定タワーは、品質推定層と、共有層とを備え、セグメント化層は、品質推定タワーと共有されず、品質推定層は、セグメント化タワーと共有されず、眼画像は、共有層の入力層によって受信される、システム。

【0212】

第８２の側面では、共有層の第１の出力層は、セグメント化タワーの第１の入力層に接続される、側面８１に記載のシステム。

【0213】

第８３の側面では、共有層の第１の出力層は、セグメント化タワーの第２の入力層に接続され、第１の入力層または第２の入力層は、連結層を備える、側面８２に記載のシステム。

【0214】

第８４の側面では、共有層の第１の出力層はさらに、品質推定タワーの入力層に接続される、側面８２または８３に記載のシステム。

【0215】

第８５の側面では、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像のセグメント化を生成するために、ハードウェアプロセッサは、セグメント化タワーを使用して、眼画像のセグメント化を生成するようにプログラムされ、セグメント化タワーの出力層の出力は、眼画像のセグメント化を備える、側面８１−８４のいずれか１項に記載のシステム。

【0216】

第８６の側面では、眼画像のセグメント化は、眼画像の背景、強膜、虹彩、または瞳孔を含む、側面８１−８５のいずれか１項に記載のシステム。

【0217】

第８７の側面では、畳み込みニューラルネットワークを使用して、眼画像を処理し、眼画像の品質推定値を生成するために、ハードウェアプロセッサは、品質推定タワーを使用して、眼画像の品質推定値を生成するようにプログラムされ、品質推定タワーの出力層の出力は、眼画像の品質推定値を備える、側面８１−８６のいずれか１項に記載のシステム。

【0218】

第８８の側面では、共有層、セグメント化層、または品質推定層は、畳み込み層、バッチ正規化層、正規化線形層、アップサンプリング層、連結層、プーリング層、全結合層、線形全結合層、または任意のそれらの組み合わせを備える、側面８１−８７のいずれか１項に記載のシステム。

【0219】

第８９の側面では、バッチ正規化層は、バッチローカルコントラスト正規化層またはバッチローカル応答正規化層である、側面８８に記載のシステム。

【0220】

第９０の側面では、共有層、セグメント化層、または品質推定層は、明度正規化層、ソフトサイン層、または任意のそれらの組み合わせを備える、側面８１−８９のいずれか１項に記載のシステム。

【0221】

第９１の側面では、仮想画像をシステムのユーザに表示するように構成される、ディスプレイをさらに備える、側面７１−９０のいずれか１項に記載のシステム。

【0222】

第９２の側面では、ディスプレイは、ライトフィールドディスプレイまたは仮想画像を複数の深度平面に表示するように構成されるディスプレイを備える、側面９１に記載のシステム。

【0223】

第９３の側面では、ハードウェアプロセッサはさらに、バイオメトリックシグネチャを眼画像のセグメント化から計算するようにプログラムされ、セグメント化は、畳み込みニューラルネットワークのセグメント化タワーによって生成される、側面７１−９２のいずれか１項に記載のシステム。

【0224】

第９４の側面では、バイオメトリックシグネチャは、虹彩コードを備える、側面９３に記載のシステム。
（結論）

【0225】

本明細書に説明される、ならびに／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／もしくは電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。

【0226】

さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量もしくは複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスク（例えば、融合アーキテクチャを伴うＣＮＮ１００を使用した眼画像セグメント化および品質推定値）または用途を提供するようにビデオデータを処理する必要がある。

【0227】

コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性もしくは不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一もしくは多重化アナログ信号の一部として、または複数の離散デジタルパケットもしくはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的もしくは別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。

【0228】

本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、もしくは機能性は、プロセスにおいて具体的機能（例えば、論理もしくは算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムもしくはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。

【0229】

本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線もしくは無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。

【0230】

本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

【0231】

別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装において組み合わせで実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要もしくは必須ではない。

【0232】

とりわけ、「〜できる（ｃａｎ）」、「〜し得る（ｃｏｕｌｄ）」、「〜し得る（ｍｉｇｈｔ）」、「〜し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／もしくはステップが、１つ以上の実施形態に対していかようにも要求されること、または１つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／もしくはステップが任意の特定の実施形態において含まれる、もしくは実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「〜を備える」、「〜を含む」、「〜を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」もしくは「少なくとも１つ」を意味するように解釈されるべきである。

【0233】

本明細書で使用されるように、項目のリスト「〜のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、ならびにＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。

【0234】

同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、もしくは連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図10C】

【図11a)】

【図11b)】

【図11c)】

【図11d)】

【図11e)】

【図11f)】

【図11g)】

【図11h)】

【図11i)】

【図11j)】

【図11k)】

【図11l)】

【図12】

【図13】

【図14】