知財求人 - 知財ポータルサイト「IP Force」
特表2022-512393生体認証および健康状態判定のための光学装置および関連デバイス
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-02-03
(54)【発明の名称】生体認証および健康状態判定のための光学装置および関連デバイス
(51)【国際特許分類】
A61B 3/10 20060101AFI20220127BHJP
G06F 21/32 20130101ALI20220127BHJP
A61B 3/12 20060101ALI20220127BHJP
G06T 7/00 20170101ALI20220127BHJP
【ＦＩ】
A61B3/10 100
G06F21/32
A61B3/12
G06T7/00 510D
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021533501
(86)(22)【出願日】2019-12-12
(85)【翻訳文提出日】2021-07-28
(86)【国際出願番号】 US2019066067
(87)【国際公開番号】W WO2020123862
(87)【国際公開日】2020-06-18
(31)【優先権主張番号】62/778,494
(32)【優先日】2018-12-12
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/833,239
(32)【優先日】2019-04-12
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/833,210
(32)【優先日】2019-04-12
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/833,179
(32)【優先日】2019-04-12
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＴＥＮＳＯＲＦＬＯＷ
(71)【出願人】
【識別番号】518293446
【氏名又は名称】テッセラクト ヘルス インコーポレイテッド
【氏名又は名称原語表記】ＴＥＳＳＥＲＡＣＴ ＨＥＡＬＴＨ，ＩＮＣ．
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(74)【代理人】
【識別番号】100142907
【弁理士】
【氏名又は名称】本田 淳
(72)【発明者】
【氏名】ロスバーグ、ジョナサン エム．
(72)【発明者】
【氏名】ウエスト、ローレンス シー．
(72)【発明者】
【氏名】ラルストン、タイラー エス．
(72)【発明者】
【氏名】アリエンツォ、マウリツィオ
(72)【発明者】
【氏名】ケイ－カウデラー、オーウェン
(72)【発明者】
【氏名】ローゼンブルース、ベンジャミン
(72)【発明者】
【氏名】マクナルティ、クリストファー トーマス
(72)【発明者】
【氏名】クーマンズ、ジェイコブ
【テーマコード（参考）】
4C316
5B043
【Ｆターム（参考）】
4C316AA09
4C316AB02
4C316AB07
4C316AB11
4C316AB16
4C316AB17
4C316FA06
4C316FC01
4C316FC14
4C316FC15
4C316FC28
4C316FY05
4C316FZ01
5B043BA01
5B043DA05
(57)【要約】
本開示は、人の眼底網膜の画像を撮像し、その人物の特定を行い、その人物に関連付けられた様々な電子記録（健康記録を含む）、アカウントもしくはデバイスにアクセスし、特定の疾病に対するその人物の傾向を判定し、かつ／または、その人物の健康上の問題を診断する手法および装置を提供する。いくつかの実施形態は、人の眼の１つまたは複数の画像を撮像するための１つまたは複数の撮像デバイスを有する撮像装置を提供する。本明細書に記載の撮像装置は、撮像された画像および／または健康状態データの分析および／または他のデバイスとのやり取りを実行するための電子機器回路を有している。様々な実施形態においては、本明細書に記載の撮像装置は、生体認証および／または健康状態判定手法を行うように代替的または追加的に構成される。
【特許請求の範囲】
【請求項1】
撮像装置であって、人物の第１の眼および第２の眼に対応するように構成されたハウジングを備え、
前記ハウジングが、
前記第１の眼の網膜の撮像および測定の少なくともいずれか一方を行うように構成された光干渉断層撮影（ＯＣＴ）デバイスと、
前記第２の眼の網膜の撮像および測定の少なくともいずれか一方を行うように構成された蛍光デバイスと、を内部に有している、撮像装置。
【請求項2】
撮像装置であって、光学撮像デバイスおよび蛍光撮像デバイスを含む複数の撮像デバイスを内部に有している、双眼鏡の形状をなすハウジングを備え、
前記光学撮像デバイスおよび蛍光撮像デバイスが、同一の光学部品を使用して撮像および測定の少なくともいずれか一方を行うように構成されている、撮像装置。
【請求項3】
前記同一の光学部品がレンズを含んでいる、請求項２に記載の撮像装置。
【請求項4】
前記光学撮像デバイスが、光干渉断層撮影（ＯＣＴ）デバイスを含んでいる、請求項２に記載の撮像装置。
【請求項5】
前記蛍光撮像デバイスが、蛍光寿命撮像デバイスを含んでいる、請求項２に記載の撮像装置。
【請求項6】
前記複数の撮像デバイスを使用して撮像された少なくとも１つの画像に基づいて、前記撮像装置を装着している人物の特定を行うように構成された少なくとも１つのプロセッサをさらに備えている請求項２に記載の撮像装置。
【請求項7】
前記少なくとも１つのプロセッサが、前記少なくとも１つの画像を、訓練された統計分類子（ＴＳＣ）に入力することと、
前記ＴＳＣからの出力として、前記人物の身元を取得することと、を行うように構成されている、請求項６に記載の撮像装置。
【請求項8】
前記少なくとも１つのプロセッサが、通信ネットワークを介して、前記少なくとも１つの画像をデバイスに送信することと、
前記人物の身元を前記デバイスから前記通信ネットワークを介して受信することと、を行うように構成されている、請求項６に記載の撮像装置。
【請求項9】
前記少なくとも１つのプロセッサが、前記通信ネットワークを介して、前記人物に関連付けられた健康情報にアクセスするようにさらに構成されている、請求項８に記載の撮像装置。
【請求項10】
前記少なくとも１つのプロセッサが、前記人物の特定を行うことに基づいて、前記人物のセキュリティアクセスを許可するようにさらに構成されている、請求項６に記載の撮像装置。
【請求項11】
前記少なくとも１つのプロセッサが、前記少なくとも１つの画像に基づいて前記人物の健康状態を判定するようにさらに構成されている、請求項６に記載の撮像装置。
【請求項12】
前記少なくとも１つのプロセッサが、前記少なくとも１つの画像を、訓練された統計分類子（ＴＳＣ）に入力することと、
前記ＴＳＣからの出力として、前記人物の前記健康状態を取得することと、を行うように構成されている、請求項９に記載の撮像装置。
【請求項13】
前記少なくとも１つのプロセッサが、前記少なくとも１つの画像に基づいて前記人物の医学的状態を判定するようにさらに構成されている、請求項６に記載の撮像装置。
【請求項14】
前記少なくとも１つのプロセッサが、前記少なくとも１つの画像を、訓練された統計分類子（ＴＳＣ）に入力することと、
前記ＴＳＣからの出力として、前記人物の前記医学的状態を取得することと、を行うように構成されている、請求項１３に記載の撮像装置。
【請求項15】
前記複数の撮像デバイスを使用して撮像された少なくとも１つの画像を、通信ネットワークを介して送信するように構成された回路をさらに備えている請求項２に記載の撮像装置。
【請求項16】
撮像装置であって、複数の撮像デバイスおよび少なくとも２つのレンズを内部に有しているハウジングを備え、
前記少なくとも２つのレンズが、人物の第１および第２の眼のうちの少なくとも一方の撮像および測定の少なくともいずれか一方を行うために、前記複数の撮像デバイスのうちの少なくとも２つとそれぞれ位置合わせされている、撮像装置。
【請求項17】
前記ハウジングが、前記人物の第１および第２の眼を前記少なくとも２つのレンズと位置合わせするために、前記第１および第２の眼に対応するように構成された部分を含んでいる、請求項１６に記載の撮像装置。
【請求項18】
前記少なくとも２つのレンズが、前記第１の眼と、前記複数の撮像デバイスのうちの前記少なくとも２つのうちの第１の撮像デバイスと位置合わせされるように配置されている第１のレンズと、
前記第２の眼と、前記複数の撮像デバイスのうちの前記少なくとも２つのうちの第２の撮像デバイスと位置合わせされるように配置されている第２のレンズと、を含んでいる、請求項１６に記載の撮像装置。
【請求項19】
前記第１の撮像デバイスが、光干渉断層撮影（ＯＣＴ）デバイスを含み、前記第２の撮像デバイスが、蛍光寿命デバイスを含んでいる、請求項１８に記載の撮像装置。
【請求項20】
前記複数の撮像デバイスを使用して撮像された少なくとも１つの画像に基づいて、前記撮像装置を装着している人物の特定を行うように構成された少なくとも１つのプロセッサをさらに備えている請求項１６に記載の撮像装置。
【請求項21】
前記少なくとも１つのプロセッサが、前記少なくとも１つの画像を、訓練された統計分類子（ＴＳＣ）に入力することと、
前記ＴＳＣからの出力として、前記人物の身元を取得することと、を行うように構成されている、請求項２０に記載の撮像装置。
【請求項22】
前記少なくとも１つのプロセッサが、通信ネットワークを介して、前記少なくとも１つの画像をデバイスに送信することと、
前記人物の身元を前記デバイスから前記通信ネットワークを介して受信することと、を行うように構成されている、請求項２０に記載の撮像装置。
【請求項23】
前記少なくとも１つのプロセッサが、通信ネットワークを介して、前記人物に関連付けられた健康情報にアクセスするようにさらに構成されている、請求項２０に記載の撮像装置。
【請求項24】
前記少なくとも１つのプロセッサが、前記人物の特定を行うことに基づいて、前記人物のセキュリティアクセスを許可するようにさらに構成されている、請求項２０に記載の撮像装置。
【請求項25】
前記少なくとも１つのプロセッサが、前記少なくとも１つの画像に基づいて前記人物の健康状態を判定するようにさらに構成されている、請求項２０に記載の撮像装置。
【請求項26】
前記少なくとも１つのプロセッサが、前記少なくとも１つの画像を、訓練された統計分類子（ＴＳＣ）に入力することと、
前記ＴＳＣからの出力として、前記人物の前記健康状態を取得することと、を行うように構成されている、請求項２５に記載の撮像装置。
【請求項27】
前記少なくとも１つのプロセッサが、前記少なくとも１つの画像に基づいて前記人物の医学的状態を判定するようにさらに構成されている、請求項２０に記載の撮像装置。
【請求項28】
前記少なくとも１つのプロセッサが、前記少なくとも１つの画像を、訓練された統計分類子（ＴＳＣ）に入力することと、
前記ＴＳＣからの出力として、前記人物の前記医学的状態を取得することと、を行うように構成されている、請求項２７に記載の撮像装置。
【請求項29】
前記複数の撮像デバイスを使用して撮像された少なくとも１つの画像を、通信ネットワークを介して送信するように構成された回路をさらに備えている請求項１６に記載の撮像装置。
【請求項30】
撮像装置用のスタンドであって、前記撮像装置のハウジングを受容するように構成された保持部と、
前記保持部に連結され、前記撮像装置が保持部に受容されたときに前記撮像装置を支持するように構成されたベースと、を備えたスタンド。
【請求項31】
前記撮像装置が前記保持部に受容されたときに前記撮像装置に電力を供給するように構成されたワイヤレス充電デバイスをさらに備えている請求項３０に記載のスタンド。
【請求項32】
前記ワイヤレス充電デバイスが、前記撮像装置が前記保持部に受容されたときに前記撮像装置に前記電力をワイヤレスで送るように構成された電源および少なくとも１つのワイヤレス充電コイルを備えている請求項３１に記載のスタンド。
【請求項33】
前記保持部が前記ワイヤレス充電デバイスを収容している、請求項３２に記載のスタンド。
【請求項34】
前記電源が充電式電池を含んでいる、請求項３２に記載のスタンド。
【請求項35】
前記電源が、標準的な壁コンセントから給電されるように構成されている、請求項３２に記載のスタンド。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、人の眼底網膜を用いた認証等の生体認証に関する。
【背景技術】
【0002】
人物特定、人の個人デバイスまたはアカウントへのアクセス、人の健康状態の判定および／または健康状態の診断を行うための既存技術は、改良を加えることによってさらに向上する。
【発明の概要】
【0003】
本開示のいくつかの態様は、人物の第１の眼および第２の眼に対応するように構成されたハウジングを備えた撮像装置を提供する。ハウジングは、第１の眼の網膜の撮像および測定の少なくともいずれか一方を行うように構成されたＯＣＴ（光干渉断層撮影）デバイスと、第２の眼の網膜の撮像および測定の少なくともいずれか一方を行うように構成された蛍光デバイスと、を内部に有している。
【0004】
本開示のいくつかの態様は、光学撮像デバイスおよび蛍光撮像デバイスを含む複数の撮像デバイスを内部に有している、双眼鏡の形状をなすハウジングを備えた撮像装置を提供する。光学撮像デバイスおよび蛍光撮像デバイスは、同一の光学部品を使用して撮像および測定の少なくともいずれか一方を行うように構成されている。
【0005】
本開示のいくつかの態様は、複数の撮像デバイスおよび少なくとも２つのレンズを内部に有しているハウジングを備えた撮像装置を提供する。少なくとも２つのレンズは、人物の第１および第２の眼のうちの少なくとも一方の撮像および測定の少なくともいずれか一方を行うために、複数の撮像デバイスのうちの少なくとも２つとそれぞれ位置合わせされている。
【0006】
本開示のいくつかの態様は、撮像装置用のスタンドを提供する。スタンドは、撮像装置のハウジングを受容するように構成された保持部と、保持部に連結され、撮像装置が保持部に受容されたときに撮像装置を支持するように構成されたベースと、を備えている。
【0007】
上記の概要は、限定を意図するものではない。さらに、様々な実施形態は、本開示の任意の態様を単独または組み合わせて備えることができる。
添付の図面は寸法比率が等しいものではない。図面において、異なる図における同一または類似の構成要素には同様の符号が付されている。図示を明瞭にするため、図面において全ての構成要素に符号が付されているわけではない。
添付の図面は寸法比率が等しいものではない。図面において、異なる図における同一または類似の構成要素には同様の符号が付されている。図示を明瞭にするため、図面において全ての構成要素に符号が付されているわけではない。
【図面の簡単な説明】
【0008】
【図1】本明細書に記載の技術のいくつかの実施形態に係る、生体認証および健康状態もしくは他のアカウントへのアクセスを行うためのクラウド接続システムのブロック図。
【図5A-C】図５Ａは、図３の方法のいくつかの実施形態に係る、例示的なＣＮＮ（畳み込みニューラルネットワーク）のブロック図であり、図５Ｂは、図５ＡのＣＮＮのいくつかの実施形態に係る、例示的なＣＮＮ（畳み込みニューラルネットワーク）のブロック図であり、図５Ｃは、図５ＡのＣＮＮの別の実施形態に係る、ＬＳＴＭ（長・短期記憶）ネットワークを含む例示的な再帰型ニューラルネットワーク（ＲＮＮ）のブロック図である。
【図12】本明細書に記載の技術のいくつかの実施形態に係る、ネットワークを介してアクセス可能であるコンポーネントを備えた例示的な分散型台帳を示すブロック図。
【図13A】本明細書に記載の技術のいくつかの実施形態に係る、人の眼底網膜の第１の画像に関連付けられ、かつ／または第１の画像を含む第１の画像データを、通信ネットワークを介して送信することと、通信ネットワークを介してその人物の身元を受信することとを含む例示的な方法を示すフロー図。
【図13B】本明細書に記載の技術のいくつかの実施形態に係る、人の眼底網膜の第１の画像に関連付けられ、かつ／または第１の画像を含む第１の画像データに基づいてその人物の特定を行うことと、その人物の第１の生体認証特性を用いて、身元を検証することとを含む例示的な方法を示すフロー図。
【図13C】本明細書に記載の技術のいくつかの実施形態に係る、人の眼底網膜の第１の画像に関連付けられ、かつ／または第１の画像を含む第１の画像データに基づいてその人物の特定を行うことと、複数の網膜眼底画像に関連付けられた格納データを更新することを含む例示的な方法を示すフロー図。
【図13D】本明細書に記載の技術のいくつかの実施形態に係る、ＴＳＣ（訓練された統計分類子）への第１の入力として、人の眼底網膜の第１の画像に関連付けられ、かつ／または第１の画像を含む第１の画像データを提供することと、ＴＳＣからの少なくとも１つの出力に基づいて、その人物の特定を行うこととを含む、例示的な方法を示すフロー図。
【図13E】本明細書に記載の技術のいくつかの実施形態に係る、人の眼底網膜の第１の画像に関連付けられ、かつ／または第１の画像を含む第１の画像データに基づいて、その人物の特定を行うことと、その人物の医学的状態を判定することとを含む、例示的な方法を示すフロー図。
【図13F】本明細書に記載の技術のいくつかの実施形態に係る、ＴＳＣ（訓練された統計分類子）への第１の入力として、人の眼底網膜の第１の画像に関連付けられ、かつ／または第１の画像を含む第１の画像データを提供することと、ＴＳＣからの少なくとも１つの出力に基づいて、ステップでその人物の特定を行うことと、その人物の医学的状態を判定することとを含む、例示的な方法を示すフロー図。
【図14A】本明細書に記載の技術のいくつかの実施形態に係る、例示的な撮像装置の正面斜視図。
【図15】本明細書に記載の技術のいくつかの実施形態に係る、別の例示的な撮像装置の底面図。
【図16A】本明細書に記載の技術のいくつかの実施形態に係る、さらに別の例示的な撮像装置の背面斜視図。
【発明を実施するための形態】
【0009】
本発明者は、人の眼底網膜（retina fundus）が撮像された画像を使用して、その人物の特定を行い、特定の疾病に対する傾向を判定し、かつ／または健康上の問題を診断できることを発見した。このため、本発明者は、人の眼底網膜の画像を撮像するための手法を開発した。さらに、本発明者は、人物特定を行い、その人物に関連付けられた様々な電子記録（健康記録を含む）、アカウントまたはデバイスにアクセスし、特定の疾病に対する傾向を判定し、かつ／または、その人物の健康上の問題を診断するための手法を開発した。
【0010】
本明細書に記載の技術のいくつかの実施形態は、クラウドに格納された電子記録またはアカウント等の機密データを保護できるクラウドベースの生体認証システムを提供する。いくつかの実施形態は、様々な患者に関連付けられた健康情報をクラウドに格納するシステムや、セキュリティまたは機密性を損なうことなく患者が健康情報によりアクセスしやすくなるように、生体認証システムで患者の健康情報を保護するシステムを提供する。いくつかの実施形態では、生体認証システムは、健康情報を格納するためのシステムや、患者の医学的状態を判定するためのシステムと統合可能であり、その結果、人物特定を行うために使用される１つまたは複数の撮像画像から得たデータを、その人物の健康情報を更新するため、かつ／または、その人物の医学的状態を判定するために使用できる。
【0011】
本発明者は、英数字のパスワードまたはパスコードシステムを使用する認証や、様々な形態の生体認証セキュリティ等の、既存のセキュリティシステムにおけるいくつかの問題を認識している。英数字のパスワードまたはパスコードシステムは、ブルートフォース（brute force）（例えば、考えられる全ての英数字の組み合わせを試みること）等によるハッキングの対象となるおそれがある。これに対し、ユーザーは、長い文字列を使用するか、より多様な文字（句読点や文字と数字の組み合わせ等）を使用してパスワードを強化できる。しかしながら、このような方法では、ユーザーが記憶しにくいパスワードになってしまう。また、個人情報（生年月日、記念日、ペットの名前等）を含んだパスワードやパスコードをユーザーが選択することもある。この場合、覚えやすくはなるが、第三者によって推測されやすくなる。
【0012】
声紋、顔、指紋、虹彩識別等の認証を行うように構成された生体認証セキュリティシステムも存在する。このようなシステムは、パスワードやパスコードシステムと比較して不正防止の点では優れているが、正しい人物の特定には非効率的であると発明者は認識している。上記システムは、他人受入率または本人拒否率のいずれかが高くなる場合が多い。他人受入率が高いと不正行為が容易になり、本人拒否率が高いと患者の人物特定の成功が困難になる。さらに、ＤＮＡ認証等の他のシステムは正しい人物の特定を行うという点では効果的であるが、このようなシステムは過度に侵襲的であると本発明者は認識している。例えば、ＤＮＡ認証には、血液や唾液のサンプル等の侵襲的な検査手順が必要であるため、認証の頻度が高くなるにつれて非現実的となり、かつ費用が高くなる。さらに、ＤＮＡ認証には費用がかかり、ＤＮＡを含む毛髪等の要素を盗んで行う不正行為の被害を受けやすくなる可能性がある。
【0013】
既存のシステムに関連する問題を解決するために、本発明者は、人の眼底網膜の撮像画像を使用して人物特定を行うように構成された生体認証システムを開発した。このようなシステムによって、他人受入率（false acceptance rate）および本人拒否率（false rejection rate）の低い、低侵襲（minimally invasive）の撮像方法が達成される。
【0014】
さらに、本明細書に記載の生体認証は、この生体認証システムが、人の身元（person’s identity）を確認するだけでなく、人物からの情報の提供を必要とせずにその人物の身元を判定するように構成されている点において、従来のシステムの認証手法と異なっている。通常の認証では、人が識別情報をパスワード、パスコードまたは生体認証測定値とともに提供し、提供された識別情報が、パスワード、パスコードまたは生体認証測定値と一致するか否かが判断される。これに対し、本明細書に記載のシステムは、人の眼底網膜の１つまたは複数の撮像画像に基づいて人物特定を行うように構成されている。いくつかの実施形態では、パスワード、パスコードまたはその人物の声紋、顔、指紋および虹彩等の生体認証測定値等の別のセキュリティ保護方法も、生体認証に対する補助として追加的認証を行うために使用される。いくつかの実施形態では、眼底網膜の撮像画像だけでなく、その人物の識別情報も生体認証システムに提供される。
【0015】
本発明者はさらに、撮像された画像から人物特定を行うために利用される眼底網膜の特徴は、その人物が特定の疾病に対する傾向を有しているかを表す指標として用いることができ、さらには、その人物の医学的状態を診断するためにも使用できることを確認した。したがって、本明細書に記載のシステムは、代替的または追加的に、人が特定の疾病に対する傾向を有しているか否かを様々な疾病に関して判定することができ、また、その人物の健康上の問題を診断するように構成できる。例えば、人物特定を目的として人の眼底網膜の１つまたは複数の画像の撮像等を行った後に、システムは、上記のような判定や診断を画像に基づいて実行できる。
【0016】
図１および２に、生体認証、健康情報管理、医学的状態判定および電子アカウントアクセスの一部または全部を実施するための手法を実装するように構成された例示的なシステムおよびデバイスを示す。図１および２に表すシステムおよびデバイスは、システムおよびデバイスの説明の後に記載される、上記手法の説明においても参照される。
【0017】
図１および２において、図１には、本明細書に記載の手法に関連する様々な処理を実行するためにリモートコンピュータと通信するデバイスを備えた、クラウド接続システムが示されている。図１とは対照的に、図２には、本明細書に記載の手法の一部または全部をローカルで実行するデバイスが示されている。
【0018】
図１に関し、ユーザー側デバイスで行われる生体認証、健康情報管理および他のタスク等の処理は、少なくともいくつかの状況において、電力消費やコストの高い処理コンポーネントやメモリコンポーネントを必要とすることが確認されている。この問題を解決するために、本発明者は、最も要求の厳しい処理および／またはメモリ負荷の高いタスクの一部または全部をリモートコンピュータに移し、その結果、ユーザー側デバイスをより安価で電力効率の高いハードウェアによって実装可能とするクラウド接続システムおよびデバイスを開発した。いくつかの例では、デバイスは、人の画像を撮像し、その画像に関するデータをリモートコンピュータに送信するだけでよい。このような場合、コンピュータは、生体認証を実行し、健康情報および／またはアカウント情報のアクセス／更新を行い、かつ／または、画像データに基づいて医学的状態を判定し、結果として得られたデータをデバイスに返信する。デバイスは画像を撮像し、その画像に関するデータをコンピュータに送信するだけであるため、必要な処理能力やメモリを非常に小さくでき、デバイス側でのコストと消費電力の両方を低減できる。その結果、デバイスのバッテリ寿命を延ばすことができ、また、エンドユーザーにとってより手頃な価格で提供できる。
【0019】
図１は、通信ネットワーク１６０に接続されたデバイス１２０ａおよびコンピュータ１４０を含む例示的なシステム１００のブロック図である。
デバイス１２０ａは、撮像装置１２２ａおよびプロセッサ１２４ａを有している。いくつかの実施形態では、デバイス１２０ａは、携帯電話やタブレットコンピュータ等の携帯型デバイスおよび／またはスマートウォッチ等のウェアラブルデバイスである。いくつかの実施形態では、デバイス１２０ａは、通信ネットワーク１６０を介して通信するための独立型ネットワークコントローラを有している。または、ネットワークコントローラは、プロセッサ１２４ａと統合される。いくつかの実施形態では、デバイス１２０ａは、ユーザインターフェイスを介して情報を提供するための１つまたは複数のディスプレイを有している。いくつかの実施形態では、撮像装置１２２ａは、デバイス１２０ａの他の構成要素とは別に組み付けられる。例えば、撮像装置１２２ａは、電気ケーブル（例えば、ＵＳＢ（ユニバーサルシリアルバス）ケーブル）および／または有線または無線ネットワーク接続を介して、他の構成要素と通信可能に接続される。他の実施形態では、撮像装置１２２ａは、例えば同一の携帯電話またはタブレットコンピュータのハウジング内において、デバイス１２０ａの他の構成要素と一緒に組み付けられる。
デバイス１２０ａは、撮像装置１２２ａおよびプロセッサ１２４ａを有している。いくつかの実施形態では、デバイス１２０ａは、携帯電話やタブレットコンピュータ等の携帯型デバイスおよび／またはスマートウォッチ等のウェアラブルデバイスである。いくつかの実施形態では、デバイス１２０ａは、通信ネットワーク１６０を介して通信するための独立型ネットワークコントローラを有している。または、ネットワークコントローラは、プロセッサ１２４ａと統合される。いくつかの実施形態では、デバイス１２０ａは、ユーザインターフェイスを介して情報を提供するための１つまたは複数のディスプレイを有している。いくつかの実施形態では、撮像装置１２２ａは、デバイス１２０ａの他の構成要素とは別に組み付けられる。例えば、撮像装置１２２ａは、電気ケーブル（例えば、ＵＳＢ（ユニバーサルシリアルバス）ケーブル）および／または有線または無線ネットワーク接続を介して、他の構成要素と通信可能に接続される。他の実施形態では、撮像装置１２２ａは、例えば同一の携帯電話またはタブレットコンピュータのハウジング内において、デバイス１２０ａの他の構成要素と一緒に組み付けられる。
【0020】
コンピュータ１４０は、記憶媒体１４２およびプロセッサ１４４を有している。記憶媒体１４２は、人物特定を行うための画像および／または画像に関連付けられたデータを格納している。例えば、いくつかの実施形態では、記憶媒体１４２は、人物特定の対象である人物の網膜眼底画像との比較を目的として、網膜眼底画像および／または網膜眼底画像に関連付けられたデータを格納している。
【0021】
様々な実施形態において、通信ネットワーク１６０は、ＬＡＮ（ローカルエリアネットワーク）、携帯電話ネットワーク、ブルートゥース（登録商標）ネットワーク、インターネットまたは他の任意のネットワークである。例えば、コンピュータ１４０は、デバイス１２０ａとは別の部屋等、デバイス１２０ａに対して離れた場所に配置され、通信ネットワーク１６０はＬＡＮで構成される。いくつかの実施形態では、コンピュータ１４０は、デバイス１２０ａとは異なる地理的領域に配置され、インターネットを介して通信を行う。
【0022】
様々な実施形態においては、デバイス１２０ａの代わりに、またはデバイス１２０ａに加えて、複数のデバイスが配置される。例えば、システム１００は、デバイス１２０ａとコンピュータ１４０との間で通信を行う中間デバイスを有している。代替的または追加的に、コンピュータ１４０で生じる様々なタスクを実行するために、コンピュータ１４０の代わりに、またはコンピュータ１４０に加えて、複数のコンピュータを備えていてもよい。
【0023】
図２は、本明細書に記載の技術のいくつかの実施形態に係る、例示的なデバイス１２０ｂのブロック図である。デバイス１２０ａと同様に、デバイス１２０ｂは、撮像装置１２２ｂおよびプロセッサ１２４ｂを有し、これらは、デバイス１２０ａと同様に構成される。デバイス１２０ｂは、ユーザインターフェイスを介して情報を提供するための１つまたは複数のディスプレイを有している。また、デバイス１２０ｂは記憶媒体１２６を有している。画像データ、健康情報、アカウント情報または他の類似データ等の、記憶媒体１２６に格納されたデータは、デバイス１２０ｂでのローカル人物特定（local identification）、健康情報管理、医学的状態判定および／またはアカウントアクセスに利用できる。なお、デバイス１２０ｂは、本明細書に記載の手法に関連する処理の一部または全部をローカルで実行するように構成してもよいし、このような処理をリモートで実行するように、コンピュータ１４０等のリモートコンピュータにデータを送信してもよい。例えば、デバイス１２０ｂは、通信ネットワーク１６０に接続するように構成してもよい。
【0024】
Ｉ．人の網膜を撮像および／または測定するための手法および装置
本発明者は、人の眼底網膜の１つまたは複数の画像の撮像や、画像に関するデータの取得を行う手法を開発した。この手法の態様を図１および２を参照して以下に記載する。
本発明者は、人の眼底網膜の１つまたは複数の画像の撮像や、画像に関するデータの取得を行う手法を開発した。この手法の態様を図１および２を参照して以下に記載する。
【0025】
撮像装置１２２ａまたは１２２ｂは、人の眼底網膜の１つの画像を撮像するように構成してもよい。あるいは、撮像装置１２２ａまたは１２２ｂは、人の眼底網膜の複数の画像を撮像するように構成してもよい。いくつかの実施形態では、撮像装置１２２ａまたは１２２ｂは、デジタルカメラ等の２Ｄ（二次元）撮像装置である。いくつかの実施形態では、撮像装置１２２ａまたは１２２ｂはより高度な装置であり、例えば、ＯＣＴ（Optical Coherence Tomography : 光干渉断層撮影）やＦＬＩＭ（Fluorescence Lifetime Imaging Microscopy : 蛍光寿命イメージング顕微鏡法）等の方法を利用した装置である。例えば、いくつかの実施形態では、撮像装置１２２ａまたは１２２ｂは、白色光もしくはＩＲ（赤外線）光、蛍光強度、ＯＣＴまたは蛍光寿命データ等を利用する、広視野式または走査式の眼底網膜撮像を行うために構成された網膜感知デバイスである。代替的または追加的に、撮像装置１２２ａまたは１２２ｂは、１Ｄ（１次元）、２Ｄ（２次元）、３Ｄ（３次元）または他の次元のコントラストイメージングを行うように構成される。ここで、蛍光と寿命とは、コントラストの異なる次元（different dimensions of contrast）と見なされる。画像は、赤色情報チャネル（例えば、波長が６３３～６３５ｎｍ）、緑色情報チャネル（例えば、波長が約５３２ｎｍ）または任意の他の好適な１つまたは複数の光画像チャネル（light imaging channel）を用いて撮像できる。例えば、蛍光励起波長は４８０～５１０ｎｍであり、発光波長は４８０～８００ｎｍであるが、これらに限定されない。
【0026】
撮像装置１２２ａまたは１２２ｂは、人の眼の近くに配置されるように、デバイス１２０ａまたは１２０ｂの他の構成要素とは別に組み付けられる（packaged）。いくつかの実施形態では、デバイス１２０ａまたはデバイス１２０ｂは、人の顔、特に人の眼の周囲等に対応する（例えば、形状的に一致する）ように構成される。あるいは、デバイス１２０ａまたは１２０ｂは、人の眼の前に保持されるように構成される。いくつかの実施形態では、撮像装置１２２ａまたは１２２ｂのレンズは、眼底網膜の撮像を行う際に、使用者の眼の前に配置される。いくつかの実施形態では、撮像装置１２２ａまたは１２２ｂは、使用者がデバイス１２０ａまたは１２０ｂ上のボタンを押すことに応じて、１つまたは複数の画像を撮像するように構成される。いくつかの実施形態では、撮像装置１２２ａまたは１２２ｂは、使用者からの音声指示に応答して画像を撮像するように構成される。いくつかの実施形態では、撮像装置１２２ａが、コンピュータ１４０からのコマンドに応答して画像を撮像するように構成される。いくつかの実施形態では、撮像装置１２２ａまたは１２２ｂが、撮像装置１２２ａまたは１２２ｂの視野内で眼底網膜を検出すること等によって、デバイス１２０ａまたは１２０ｂが人の存在を感知したときに自動的に画像を撮像するように構成される。
【0027】
本発明者はまた、強化された撮像機能および汎用性の高いフォームファクタ（form factor）を有する、改良された新規の撮像装置を開発した。いくつかの実施形態では、撮像装置は、共通のハウジング内にＯＣＴおよび／またはＦＬＩＭデバイス等の２つ以上の撮像デバイスを有している。例えば、単一の撮像装置は、内部にＯＣＴデバイスおよびＦＬＩＭデバイスを支持できる形状のハウジングを有しており、撮像や、画像の格納および／または送信を行うためのクラウドへのアクセスを行う関連電子機器回路もハウジングに収容される。いくつかの実施形態では、撮像装置に搭載された電子機器回路は、撮像装置を使用している人物の特定（例えば、その人物の眼底網膜を撮像することによる人物特定）、使用者の電子健康記録へのアクセス、使用者の健康状態や医学的状態の判定等の、本明細書に記載の様々な処理タスクを実行するように構成される。
【0028】
いくつかの実施形態では、本明細書に記載の撮像装置は、人の両眼を（例えば、同時に）撮像するために適したフォームファクタを有している。いくつかの実施形態では、本明細書に記載の撮像装置は、撮像装置の異なる撮像デバイスで各眼を撮像するように構成される。例えば、後述するように、撮像装置は、人の眼に位置合わせされるように撮像装置のハウジング内に保持された一対のレンズを有し、この一対のレンズは、撮像装置の対応する撮像デバイスとも位置合わせされている。いくつかの実施形態では、撮像装置が実質的に双眼鏡（binocular）の形状をなし、撮像装置の各側に撮像デバイスが配置されている。使用者は、撮像装置の使用中に、撮像装置の垂直方向の向きを反転させる（例えば、撮像が実行される方向に平行な軸線を中心としてデバイスを回転させる）。その結果、撮像装置は、第１の撮像デバイスによる右眼の撮像から第２の撮像デバイスによる右眼の撮像に移行し、同様に、第２の撮像デバイスによる左眼の撮像から、第１の撮像デバイスによる左眼の撮像に移行する。いくつかの実施形態では、本明細書に記載の撮像装置は、テーブルまたは机上に設置するように構成され、例えばスタンドに設置される。例えば、スタンドは、使用中に使用者が容易に回転できるように、１つまたは複数の軸線を中心に撮像装置が回転できるように構成される。
【0029】
なお、本明細書に記載の撮像装置の態様は、実質的に双眼鏡の形状とは異なるフォームファクタを有するように構成してもよい。例えば、実質的に双眼鏡の形状とは異なるフォームファクタを有する実施形態は、以下に記載される例示的な撮像装置に関連して本明細書に記載される状態に構成できる。例えば、そのような撮像装置は、撮像装置の１つまたは複数の撮像デバイスを使用して、人の片眼または両眼を同時に撮像するように構成される。
【0030】
図１４Ａおよび１４Ｂに、本明細書に記載の技術による撮像装置の一例を示す。図１４Ａに示すように、撮像装置１４００は、第１のハウジング部１４０２および第２のハウジング部１４０３を有したハウジング１４０１を備えている。いくつかの実施形態では、第１のハウジング部１４０２は、撮像装置１４００の第１の撮像デバイス１４２２を収容し、第２のハウジング部１４０３は、撮像装置の第２の撮像デバイス１４２３を収容する。図１４Ａおよび１４Ｂに示されるように、ハウジング１４０１は、実質的に双眼鏡の形状を有する。
【0031】
いくつかの実施形態では、第１および第２の撮像デバイス１４２２は、光学撮像デバイス、蛍光撮像デバイスおよび／またはＯＣＴ撮像デバイスを含んでいる。例えば、一実施形態では、第１の撮像デバイス１４２２はＯＣＴ撮像デバイスであり、第２の撮像デバイス１４２３は光学式および蛍光式の撮像デバイスである。いくつかの実施形態では、撮像装置１４００は、単一の撮像デバイス１４２２または１４２３のみを有しており、例えば、光学撮像デバイスのみまたは蛍光撮像デバイスのみを備える。いくつかの実施形態では、第１および第２の撮像デバイス１４２２および１４２３は、レンズ（例えば、収束レンズや発散レンズ）、ミラーおよび／または他の撮像部品等の１つまたは複数の光学部品を共有している。例えば、いくつかの実施形態では、第１および第２の撮像デバイス１４２２および１４２３は、共通の光路を共有している。デバイスは、独立してまたは共同して動作することが想定されている。各デバイスがＯＣＴ撮像デバイスであってもよいし、各デバイスが蛍光撮像デバイスであってもよいし、各デバイスがどちらか一方であってもよい。撮像や測定は、両眼に対して同時に行ってもよいし、それぞれの眼に対して別々に行ってもよい。
【0032】
ハウジング部１４０２および１４０３は、前側ハウジング部１４０５によってハウジング１４０１の前端部に接続されている。例示的な実施形態では、前側ハウジング部１４０５は、人の顔の輪郭に対応するように形成されており、例えば、人の顔に一致する形状を有している。使用者の顔に対応して配置された状態において、前側ハウジング部１４０５は、使用者の眼から撮像装置１４００の撮像デバイス１４２２および／または１４２３への視線を確保するように構成されている。例えば、前側ハウジング部１４０５は、第１のハウジング部１４０２および第２のハウジング部１４０３のそれぞれの開口部に対応する第１の開口部１４１０および第２の開口部１４１１を有し、人の眼と第１および第２の光学デバイス１４２２および１４２３との間の光路の妨げを最小限に留めるように形成されている。いくつかの実施形態では、開口部１４１０および１４１０は、ガラス製またはプラスチック製の１つまたは複数の透明な窓（例えば、各自個別の窓または共有窓）で覆われている。
【0033】
第１および第２のハウジング部１４０２および１４０３は、ハウジング１４０１の後端において、後側ハウジング部１４０４に接続されている。後側ハウジング部１４０４は、第１および第２のハウジング部１４０２および１４０３の端部を覆うように成形され、その結果、撮像装置１４００の周囲の光がハウジング１４０１内に入って撮像デバイス１４２２または１４２３に干渉することがない。
【0034】
いくつかの実施形態では、撮像装置１４００は、携帯電話、デスクトップ、ラップトップ、タブレットコンピュータ、スマートウォッチ等の別のデバイスに通信可能に接続するように構成される。例えば、撮像装置１４００は、ＵＳＢや適切な無線ネットワーク等によって、上記デバイスに対する有線および／または無線接続を確立するように構成される。いくつかの実施形態では、ハウジング１４０１は、１つまたは複数の電気（例えば、ＵＳＢ）ケーブルを収容するための１つまたは複数の開口部を有している。いくつかの実施形態では、ハウジング１４０１には、上記デバイスとの間で無線信号を送信および／または受信するために、１つまたは複数のアンテナが搭載される。いくつかの実施形態では、撮像デバイス１４２２および／または１４２３は、電気ケーブルおよび／またはアンテナに接続して機能するように構成される。いくつかの実施形態では、撮像デバイス１４２２および／または１４２３は、ケーブルおよび／またはアンテナから電力を受けて、ハウジング１４０１内に配置された充電式電池の充電等を行う。
【0035】
撮像装置１４００の動作時には、撮像装置１４００の使用者は、眼が開口部１４１０および１４１１に位置合わせされるように、前側ハウジング部１４０５を顔に当てて配置する。いくつかの実施形態では、撮像装置１４００は、ハウジング１４０１に連結され、人の手で把持するように構成された把持部材（図示せず）を有している。いくつかの実施形態では、把持部材は、柔らかいプラスチック材料を使用して形成され、人の指を受容するように人間工学的に形成される。例えば、使用者は、把持部材を両手でつかみ、眼が開口部１４１０および１４１１と一直線になるように、前側ハウジング部１４０５を顔に当てる。撮像装置１４００は、代替的または追加的に、撮像装置１４００をテーブルまたは他の機器に設置等するために、撮像装置１４００を設置アームに設置するようにハウジング１４０１に連結された設置部材（図示せず）を有していてもよい。例えば、設置部材を介して撮像装置１４００を設置した場合、一箇所に安定して配置されるため、使用者が撮像装置１４００を所定の位置に保持する必要がなくなる。
【0036】
いくつかの実施形態では、撮像装置１４００から使用者の眼に向かって投影される可視光等の固視手段（fixator）を撮像装置１４００が備えており、例えば、この可視光は、開口部１４１０および１４１１が使用者の眼と位置合わせされる方向に沿って照射される。様々な実施形態においては、固視手段は、円形もしくは楕円形のスポット等の輝点、または家（house）もしくは他の物体の映像等である。一般的に、人がある物体に焦点を合わせるときには、物体を視認しているのは片方の眼だけであっても、両方の眼を同じ方向に動かすことが確認されている。したがって、いくつかの実施形態では、撮像装置１４００は、片眼のみに固視手段を提供するように構成され、例えば開口部１４１０および１４１１のいずれか一方のみが使用される。他の実施形態では、固視手段は両眼に対して提供され、開口部１４１０および１４１１の両方が使用される。
【0037】
図１５に、いくつかの実施形態に係る、撮像装置１５００の別の実施形態を表す。図示されるように、撮像装置１５００はハウジング１５０１を有し、ハウジング１５０１内に、１つまたは複数の撮像デバイス（図示せず）が配置される。ハウジング１５０１は、中央ハウジング部１５０４に接続された第１のハウジング部１５０２および第２のハウジング部１５０３を有している。中央ハウジング部１５０４は、第１および第２のハウジング部１５０２および１５０３を接続するヒンジ（hinge）を有しているか、ヒンジとして機能する。このヒンジを中心として第１および第２のハウジング部１５０２および１５０３が回転可能となっている。第１および／または第２のハウジング部１５０２，１５０３を、中央ハウジング部１５０４を中心に回転させると、これに応じて第１のハウジング部１５０２と第２のハウジング部１５０３との間の距離が増減する。撮像装置１５００の使用前や使用中に、使用者は、両眼の間の距離に対応させて第１および第２のハウジング部１５０２および１５０３を回転させ、第１および第２のハウジング部１５０２および１５０３の開口部に対して眼を容易に位置合わせできる。
【0038】
第１および第２のハウジング部１５０２および１５０３は、図１４Ａおよび１４Ｂの第１および第２のハウジング部１４０２および１４０３と同様に構成されている。例えば、各ハウジング部は、光学撮像デバイス、蛍光撮像デバイスおよび／またはＯＣＴ撮像デバイス等の１つまたは複数の撮像デバイスを内部に収容している。図１５に示されるように、各ハウジング部１５０２および１５０３には、前側ハウジング部１５０５Ａおよび１５０５Ｂのうちいずれか一方が接続されている。前側ハウジング部１５０５Ａおよび１５０５Ｂは、撮像装置１５００の使用者の顔の輪郭に沿うように形成されており、例えば、眼の周辺部位に沿うように形成されている。一例においては、前側ハウジング部１５０５Ａおよび１５０５Ｂは、人の顔に当接したときに顔の輪郭に沿って配置される柔軟なプラスチックを使用して形成される。前側ハウジング部１５０５Ａおよび１５０５Ｂは、第１および第２のハウジング部１５０２および１５０３の開口部に対応する開口部１５１１および１５１０を有している。例えば、開口部１５１１および１５１０は、第１および第２のハウジング部１５０２および１５０３の開口部と位置合わせされて配置され、使用者の眼から撮像装置１５００の撮像デバイスへの光路の妨げを最小限に留めるように形成されている。いくつかの実施形態では、開口部１５１０および１５１１は、ガラス製またはプラスチック製の透明な窓で覆われている。
【0039】
いくつかの実施形態では、中央ハウジング部１５０４は、撮像装置１５００を動作させるための１つまたは複数の電子回路（集積回路、プリント回路基板等）を有している。いくつかの実施形態では、デバイス１２０ａおよび／または１２０ｂの１つまたは複数のプロセッサが中央ハウジング部１５０４に配置され、撮像デバイスを用いて撮像されたデータの分析等を行う。中央ハウジング部１５０４は、撮像装置１４００に関して記載したように、他のデバイスおよび／またはコンピュータと電気的に通信する有線および／または無線手段を有している。例えば、撮像装置１５００に通信可能に接続されたデバイスおよび／またはコンピュータによって、さらに別の処理（例えば、本明細書に記載される処理）が実行される。いくつかの実施形態では、撮像装置１５００に搭載された電子回路は、通信可能に接続された上記デバイスまたはコンピュータから受信した命令に基づいて撮像画像データを処理する。いくつかの実施形態では、撮像装置１５００は、撮像装置１５００に通信可能に接続されたデバイスおよび／またはコンピュータから受信した命令に基づいて画像撮像シーケンスを開始する。いくつかの実施形態では、デバイス１２０ａおよび／または１２０ｂについて本明細書に記載される処理機能が、撮像装置に搭載された１つまたは複数のプロセッサによって実行される。
【0040】
撮像装置１４００に関連して前述したように、撮像装置１５００は、把持部材、設置部材および／または固視手段を有している。
図１６Ａ～１６Ｄに、いくつかの実施形態に係る、撮像装置１６００の別の実施形態を示す。図１６Ａに示されるように、撮像装置１６００は、複数のハウジング部１６０１ａ，１６０１ｂ，１６０１ｃを含むハウジング１６０１を備えている。ハウジング部１６０１ａは、撮像装置１６００のオンオフや、走査シーケンスの開始を行うための複数のボタンを含む制御パネル１６２５を有している。図１６Ｂは撮像装置１６００の分解図であり、撮像デバイス１６２２および１６２３ならびに電子機器回路１６２０等の、ハウジング１６０１内に配置された構成要素を示す。図１４Ａ、１４Ｂおよび１５を参照して前述したように、撮像デバイス１６２２および１６２３は、様々な実施形態に係る、光学撮像デバイス、蛍光撮像デバイスおよび／またはＯＣＴ撮像デバイスである。例えば図１６Ｃに示されるように、撮像装置は、撮像のために使用者の眼を受容するように構成された前側ハウジング部１６０５をさらに有している。図１６Ｄは、前述したように、スタンド１６５０に着座した撮像装置１６００を表す。
図１６Ａ～１６Ｄに、いくつかの実施形態に係る、撮像装置１６００の別の実施形態を示す。図１６Ａに示されるように、撮像装置１６００は、複数のハウジング部１６０１ａ，１６０１ｂ，１６０１ｃを含むハウジング１６０１を備えている。ハウジング部１６０１ａは、撮像装置１６００のオンオフや、走査シーケンスの開始を行うための複数のボタンを含む制御パネル１６２５を有している。図１６Ｂは撮像装置１６００の分解図であり、撮像デバイス１６２２および１６２３ならびに電子機器回路１６２０等の、ハウジング１６０１内に配置された構成要素を示す。図１４Ａ、１４Ｂおよび１５を参照して前述したように、撮像デバイス１６２２および１６２３は、様々な実施形態に係る、光学撮像デバイス、蛍光撮像デバイスおよび／またはＯＣＴ撮像デバイスである。例えば図１６Ｃに示されるように、撮像装置は、撮像のために使用者の眼を受容するように構成された前側ハウジング部１６０５をさらに有している。図１６Ｄは、前述したように、スタンド１６５０に着座した撮像装置１６００を表す。
【0041】
図１６Ａ～１６Ｄに示されるように、ハウジング部１６０１ａおよび１６０１ｂは、撮像装置１６００を実質的に取り囲んでおり、例えば、ハウジング部１６０１ａおよび１６０１ｂの間に配置された撮像装置１６００の構成要素の全部または大部分を収容している。ハウジング部１６０１ｃは、例えば組み立てられたハウジング１６０１を固定する１つまたは複数のネジによって、ハウジング部１６０１ａおよび１６０１ｂに機械的に連結されている。図１６Ｂに示されるように、ハウジング部１６０１ｃは複数のハウジング部を含み、例えば、撮像デバイス１６２２および１６２３を収容するためのハウジング部１６０２および１６０３等を含んでいる。例えば、いくつかの実施形態では、ハウジング部１６０２および１６０３は、撮像デバイス１６２２および１６２３を所定の位置に保持するように構成される。ハウジング部１６０１ｃは、レンズ１６１０および１６１１が配置される一対のレンズ部をさらに有している。ハウジング部１６０２および１６０３ならびにレンズ部は、レンズ１６１０および１６１１と位置合わせして撮像デバイス１６２２および１６２３を保持するように構成される。ハウジング部１６０２および１６０３は、レンズ１６１０および１６１１の焦点を調整するためのフォーカス部１６２６および１６２７も収容している。いくつかの実施形態では、固定タブ（securing tabs）１６２８もさらに配置されている。固定タブ１６２８を調整（例えば、押圧、引く、押す等）することによって、ハウジング部１６０１ａ、１６０１ｂおよび／または１６０１ｃを互いから切り離して、例えば、保守や修理を行うために撮像装置１６００の構成要素に到達できる。
【0042】
電子機器回路１６２０は、図１５を参照して電子機器回路１６２０について説明したように構成可能である。制御パネル１６２５は、電子機器回路１５２０に電気的に接続されている。例えば、制御パネル１６２５の走査ボタンは、走査コマンド（scan command）を電子機器回路１６２０に通信して、撮像デバイス１６２２および／または１６２３による走査を開始するように構成される。別の例では、制御パネル１６２５の電源ボタンは、電源オンまたは電源オフのコマンドを電子機器回路１６２０に通信するように構成される。図１６Ｂに示されるように、撮像装置１６００は、撮像装置１６００の周囲環境におけるＥＭＩ（電磁干渉）の発生源から電子機器回路１６２０を隔離するように構成された電磁シールド１６２４をさらに有している。電磁シールド１６２４を備えていることによって、電子機器回路１６２０の動作（ノイズ性能等）が向上する。いくつかの実施形態では、電磁シールド１６２４は、電子機器回路１６２０の１つまたは複数のプロセッサに接続されて、１つまたは複数のプロセッサで生成された熱を放散する。
【0043】
いくつかの実施形態では、本明細書に記載の撮像装置は、図１６Ｄの例に示されるように、スタンドに設置するように構成される。図１６Ｄでは、撮像装置１６００は、ベース１６５２および保持部１６５８を含むスタンド１６５０によって支持されている。ベース１６５２は、実質的にＵ字状の支持部を備え、支持部の下側に取り付けられた複数の脚部１６５４を有している。ベース１６５２は、図に示されているように、テーブルまたは机の上で撮像装置１６００を支持するように構成される。保持部１６５８は、撮像装置１６００のハウジング１６０１を収容するように形成される。例えば、保持部１６５８の外側は、ハウジング１６０１の形状に一致するように形成される。
【0044】
図１６Ｄに示されるように、ベース１６５２は、ヒンジ１６５６によって保持部１６５８に連結されている。ヒンジ１６５６は、ベース１６５２を支持する面に平行な軸線を中心に回転可能に構成される。例えば、撮像装置１６００およびスタンド１６５０の使用時には、撮像装置１６００を受容した状態の保持部１６５８を、片眼もしくは両眼の撮影に適した角度に使用者が回転できる。例えば、使用者は、スタンド１６５０が支持されたテーブルまたは机に着席する。いくつかの実施形態では、撮像装置内の撮像デバイスが使用者の眼を撮像する光軸に平行な軸線を中心に、使用者が撮像装置１６００を回転させる。例えば、いくつかの実施形態では、スタンド１６５０は、代替的または追加的に、光軸に平行なヒンジを有している。
【0045】
いくつかの実施形態では、保持部１６５８（またはスタンド１６５０の他の部分）は、有線または無線接続を介して撮像装置１６００に電力を送るように構成された充電ハードウェアを有している。一例では、スタンド１６５０内の充電ハードウェアは、１つまたは複数のワイヤレス充電コイルに接続された電源を有し、撮像装置１６００は、スタンド１６５０内のコイルから給電されるように構成されたワイヤレス充電コイルを有している。別の例では、スタンド１６５０内の充電ハードウェアは保持部１６５８の外側の電気コネクタに接続され、これによって、撮像装置１６００が保持部１６５８に着座したときに、撮像装置１６００の相補的コネクタがスタンド１６５０のコネクタに接続されて機能するように構成されている。様々な実施形態においては、ワイヤレス充電ハードウェアは、充電のために撮像装置１６００に適切な電圧および電流を提供するように構成された１つまたは複数の電力変換器（例えば、ＡＣからＤＣ、ＤＣからＤＣ等）を有している。いくつかの実施形態では、スタンド１６５０は、撮像装置１６００に有線または無線で給電するように構成された少なくとも１つの充電式電池を収容している。いくつかの実施形態では、スタンド１６５０が、単相の壁コンセント等の標準的な壁コンセントから給電されるように構成された１つまたは複数の電源コネクタを有している。
【0046】
いくつかの実施形態では、前側ハウジング部１６０５は、複数の部分１６０５ａおよび１６０５ｂを有している。部分１６０５ａは、機械的に弾性を有する材料を用いて形成され、一方、前側の部分１６０５ｂは、機械的に柔軟性を有する材料を用いて形成される。その結果、使用者は、前側ハウジング部１６０５を快適に着用できる。例えば、いくつかの実施形態では、部分１６０５ａはプラスチックを用いて形成され、部分１６０５ｂはゴムまたはシリコーン（silicone）を用いて形成される。他の実施形態では、前側ハウジング部１６０５は、単一の、機械的弾性または機械的柔軟性を有する材料を使用して形成される。いくつかの実施形態では、部分１６０５ｂは、前側ハウジング部１６０５の外側に配置され、部分１６０５ａは、部分１６０５ｂ内に配置される。
【0047】
人の眼底網膜の複数の画像を撮像することには、いくつかの利点が確認されている。例えば、複数の撮像画像からデータを抽出することで、実装コストを抑えながらも、詐欺の被害を受けにくい生体認証手法が可能となる。本明細書のセクションＩＩＩに記載されるように、撮像された画像から抽出されたデータは、撮像画像データと、格納画像データとを比較することによって人物特定を行うために使用できる。いくつかの実施形態では、撮像画像データが、格納画像データのある部分に対して少なくとも所定の類似度を有する場合、人物特定の成功が示される。システムが人物特定を誤って成功させることを防ぐためには、所定の類似度を高く設定する（例えば、１００％に近い類似度）ことが望ましいが、必要とされる類似度が高い場合、従来技術ではＦＲＲ（false-rejection ratio : 本人拒否率）が高くなる。つまり、本人であっても本人確認が成功しにくくなる。これは、例えば解像度が低く、かつ／または視野の狭い単一の撮像画像を用いて人物特定を行った場合、このような撮像画像では特徴要素に欠けや歪み等が発生していることがあり、高く設定された類似度を達成できない場合があるためである。このため、ＦＲＲの増加を伴うことなく高い類似度に設定するためには、解像度が高く、視野の広い画像を撮像できる撮像装置を構成することが望ましい。しかしながら、高い類似度の設定を可能とする高性能の撮像装置は、単純なデジタルカメラよりも高価である場合が多い。より高価な撮像装置を使用する代わりに従来採用されてきた手法は、設定される類似度を低くすることであった。しかしながら、そのようなシステムは詐欺の被害を受けやすくなる。
【0048】
この問題を解決するために、本発明者は、汎用性を高めるために通常のデジタルカメラを使用して実行できる生体認証手法を開発した。単一画像を比較するシステムとは異なり、本発明者が開発したシステムは、複数の画像を撮像して比較を行う。このシステムによって、高解像度や広視野を備えた撮像装置を必要とせずに、類似度をより高く設定できる。いくつかの実施形態では、人の眼底網膜の複数の画像からデータを抽出し、比較のために１つのセットに結合する。例えば、撮像装置１２２ａまたは１２２ｂによって複数の画像が撮像され、撮像時には、その人物の眼底網膜の異なる部分を撮像するために、各画像はそれぞれわずかに異なる回転位置で撮像される。いくつかの実施形態では、その人物の眼を回転させたり、撮像装置１２２ａまたは１２２ｂを追跡させたりする。このようにして、人の眼底網膜の特徴を表すデータを画像から抽出し、様々な特徴の位置を表すデータセットに結合する。複数の画像を結合して利用するため、単一の撮像画像の解像度を高くしたり、視野を広くする必要がない。反対に、携帯電話に搭載されたデジタルカメラ等の単純なデジタルカメラを、本明細書に記載される撮像に使用できる。
【0049】
いくつかの実施形態では、システム１００または１２０ｂは、記録された生体認証特性を用いて、眼底網膜による人物特定（retina fundus identification）の検証を行う（例えば、多要素認証を行う）ように構成される。例えば、デバイス１２０ａまたは１２０ｂは、指紋リーダおよび／またはマイク等の１つまたは複数の生体認証センサを有している。したがって、デバイス１２０ａまたは１２０ｂは、人の指紋および／または声紋等、人の１つまたは複数の生体認証特性を記録できる。生体認証特性の特徴を表すデータは、網膜眼底画像（retina fundus images）と同様に抽出できる。デバイス１２０ａの場合、データはコンピュータ１４０に送信されて検証される。このように、網膜眼底画像に基づいて人物特定が行われた後に、生体認証特性データを、その人物に関連付けて格納されている特性データと比較することによって、眼底網膜による人物特定を検証できるため、セキュリティがさらに強化される。
【0050】
ＩＩ．網膜画像に基づいて人物特定を行うための手法
本発明者は、人の網膜画像に基づいて人物特定を行う手法を開発した。この手法では、人の眼底網膜の１つまたは複数の撮像画像から抽出されたデータが、他の網膜眼底画像から抽出された格納データと比較される。図３および４を参照して、１つまたは複数の撮像画像からデータを抽出する手法について説明する。図３に、人の眼底網膜の１つまたは複数の画像を撮像し、撮像された画像からデータを抽出するための例示的な方法を示す。図４に、画像から抽出されたデータに表される、人の眼底網膜のいくつかの特徴を示す。
本発明者は、人の網膜画像に基づいて人物特定を行う手法を開発した。この手法では、人の眼底網膜の１つまたは複数の撮像画像から抽出されたデータが、他の網膜眼底画像から抽出された格納データと比較される。図３および４を参照して、１つまたは複数の撮像画像からデータを抽出する手法について説明する。図３に、人の眼底網膜の１つまたは複数の画像を撮像し、撮像された画像からデータを抽出するための例示的な方法を示す。図４に、画像から抽出されたデータに表される、人の眼底網膜のいくつかの特徴を示す。
【0051】
図３のフロー図に示す例示的方法３００は、ステップ３０２で１つまたは複数の網膜眼底画像を撮像することと、ステップ３０４で画像から画像データを抽出することとを含む。図１の実施形態においては、方法３００は、デバイス１２０ａによって実行されるか、あるいは、部分的にデバイス１２０ａによって、そして部分的にコンピュータ１４０によって実行される。図２の実施形態においては、デバイス１２０ｂが方法３００全体を実行する。
【0052】
ステップ３０２での画像の撮像は、セクションＩに記載された技術の一部または全部の実施形態に従って実行される。ステップ３０４での画像からの画像データの抽出は、プロセッサ１２４ａまたは１２４ｂが、撮像装置１２２ａまたは１２２ｂから撮像画像を取得して、当該画像から人の眼底網膜の特徴を表すデータを抽出することによって行われる。例えば、このデータには、特徴の相対位置および向きが含まれる。いくつかの実施形態では、特徴データは、複数の撮像画像から抽出されて、単一の特徴データセットに結合される。なお、ステップ３０４での特徴抽出は、コンピュータ１４０が行ってもよい。例えば、システム１００のいくつかの実施形態では、デバイス１２０ａは、画像を撮像し、データ抽出のために画像をコンピュータ１４０に送信するように構成される。
【0053】
また、ステップ３０４の処理では、抽出されたデータが、デバイス１２０ｂの記憶媒体１２４等の記憶媒体に記録される。クラウドベースのシステム１００のいくつかの実施形態では、撮像装置１２２ａは、デバイス１２０ａが通信ネットワーク１６０にアクセスできないときに画像の撮像や画像からのデータ抽出を行う場合もある。このため、プロセッサ１２４ａは、少なくとも通信ネットワーク１６０を介して送信できるようになるまで、画像および／またはデータを記憶媒体に格納する。この場合、プロセッサ１２４ａは、画像および／またはデータをコンピュータ１４０に送信する直前に、記憶媒体から画像および／またはデータを取得する。いくつかの実施形態では、網膜眼底画像は、デバイス１２０ａまたは１２０ｂではなく、別の装置によって撮像される。撮像された画像はデバイス１２０ａまたは１２０ｂに転送され、この画像からデータが抽出されて記憶媒体に格納される。あるいは、別のデバイスによってデータが抽出されてデバイス１２０ａまたはデバイス１２０ｂに転送されてもよい。例えば、デバイス１２０ａは、データをコンピュータ１４０に渡すように機能し、デバイス１２０ｂは、データに基づいて人物特定を行うか、または他の何らかのタスクを実行する。
【0054】
図４は、様々な特徴を含む眼底網膜４００の側面図である。これらの特徴は、図３の方法３００のステップ３０２で１つまたは複数の画像に撮像された特徴や、ステップ３０４で画像から抽出されたデータに表される特徴である。例えば、人物特定には、眼底網膜４００の静脈および動脈の特徴を利用できる。このような特徴には、静脈および動脈の枝端点（branch endings）４１０および分岐点（bifurcations）４２０が含まれる。指紋と同様に、枝端点４１０および分岐点４２０（「特徴点」と称する場合もある）の位置は、一意の識別子として利用できることが確認されている。したがって、いくつかの実施形態では、枝端点４１０および／または分岐点４２０の相対位置が、単一の撮像画像から抽出され、１つまたは複数のデータセットに記録される。他の例では、枝端点４１０および／または分岐点４２０の相対位置が、複数の撮像画像から抽出され、単一のデータセットに結合される。例えば、各枝端点４１０および／または分岐点４２０の平均相対位置がデータセットに記録される。いくつかの実施形態では、鼻側動脈４３０、鼻側静脈４４０、側頭側動脈（temporal artery）４５０および／または側頭側静脈４６０等の特定の静脈または動脈の相対的な位置が、１つまたは複数のデータセットに記録される。
【0055】
いくつかの実施形態では、ステップ３０４で、枝端点４１０および／または分岐点４２０のデータに対して代替的または追加的に、他の特徴を表すデータが抽出される。一例では、視神経乳頭（optic disc）４７０または視神経乳頭の縁部の様相、例えば眼底網膜４００内の相対位置が、データセットに記録される。いくつかの実施形態では、視神経乳頭４７０に関するデータは、静脈または動脈に関するデータとは別のデータセットに記録される。代替的または追加的に、中心窩４８０および／または黄斑４９０の相対位置を表すデータがデータセットに記録される。撮像画像から抽出されたデータには、例えば、視神経、血管周辺部、ＡＶニック（AV nicks）、ドルーゼン（drusen）、網膜色素沈着等の特徴も含まれる。
【0056】
いくつかの実施形態では、上記の特徴の一部または全部を抽出する処理には、各特徴の相対位置および向きを含む完全な空間マップへの画像のセグメンテーションを実行することが含まれる。例えば、空間マップは、枝端点４１０または分岐点４２０等の特徴がマップ内の特定の位置に存在するか否かを表すバイナリマスク（binary mask）を有している。いくつかの実施形態では、特徴の位置を表す相対角度が、空間マップに基づいて計算される。格納スペースの節約や、空間マップ計算の単純化を行うために、静脈等のいくつかの特徴の厚みを単一ピクセル幅（single pixel width）に減らしてもよい。代替的または追加的に、複数の画像の結合によって生じるデータ等の、冗長なデータを空間マップから削除してもよい。
【0057】
いくつかの実施形態では、特徴データには、平行移動および回転に対して不変な特徴の相対位置および向きが含まれ、これによって、セクションＩＩＩに記載されるように、ＳＩＦＴ（Scale Invariant Feature Transform : スケール不変特徴変換）および／またはＳＵＲＦ（Speeded Up Robust Feature : 高速化ロバスト特徴）の比較が可能となる。例えば、上記の抽出された特徴は、ＳＩＦＴ（スケール不変特徴変換）特徴および／またはＳＵＲＦ（高速化ロバスト特徴）である。
【0058】
本発明者はまた、図５Ａ～５Ｃ、６、７Ａおよび７Ｂに示される実施形態に係り、ＴＳＣ（Trained Statistical Classifier : 訓練された統計分類子）を使用して、１つまたは複数の撮像された画像からデータを抽出する手法を開発した。例えば、いくつかの実施形態では、方法３００のステップ３０４は、図５Ａ～５Ｃ、６、７Ａおよび７Ｂの実施形態に示されるようなＴＳＣによって実行される。ＴＳＣには、撮像装置１２２ａまたは１２２ｂによって撮像された１つまたは複数の画像が入力される。撮像された画像は、白色光、ＩＲ、蛍光強度、ＯＣＴまたは１Ｄ、２Ｄもしくは３Ｄ蛍光寿命データ等による、撮像装置１２２ａまたは１２２ｂで取得された１つまたは複数の広視野網膜画像または走査網膜画像のデータを含む。ＴＳＣは、画像内の様々な眼底網膜の特徴の様相を識別して出力するように構成される。本発明者は、撮像された画像から特徴データを抽出するＴＳＣを実装することにより、複数の撮像画像を利用した識別を容易に実施できることを確認した。例えば、本明細書に記載されるＴＳＣは、個々の画像または画像グループに基づいて予測を出すように構成される。予測は、ＴＳＣからの１つまたは複数の出力の形式をとる。各出力は、単一の画像または複数の画像に対応する。例えば、１つの出力は、特定の眼底網膜の特徴が特定の画像の１つまたは複数の場所に現れる尤度（likelihood）を表す。あるいは、出力は、画像の１つまたは複数の場所に複数の特徴が現れる尤度を表す。さらに別の例では、出力は、単一の特徴または複数の特徴が複数の画像の１つまたは複数の場所に現れる尤度を表す。
【0059】
本明細書に記載のＴＳＣは、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの任意の適切な組み合わせを使用して実装できる。例えば、ＴＳＣは、デバイス１２０ａのプロセッサ１２４ａ、コンピュータ１４０のプロセッサ１４４および／またはデバイス１２０ｂのプロセッサ１２４ｂ上で実行される。いくつかの実施形態では、Ｔｈｅａｎｏ、Ｔｏｒｃｈ、Ｃａｆｆｅ、ＫｅｒａｓおよびＴｅｎｓｏｒＦｌｏｗ等の１つまたは複数の機械学習ソフトウェアライブラリを使用して、本明細書に記載のＴＳＣが実装される。これらのライブラリは、ニューラルネットワーク等の統計分類子を訓練するためや、訓練された統計分類子を実装するために使用できる。
【0060】
いくつかの実施形態では、ＴＳＣを用いたデータ抽出は、デバイス１２０ａ上で行われ、デバイス１２０ａは、通信ネットワーク１６０を介してＴＳＣの出力をコンピュータ１４０に送信する。別の例では、コンピュータ１４０がデバイス１２０ａから撮像画像を取得し、例えば、コンピュータ１４０上で実行されるＴＳＣによって、撮像画像から撮像画像データを抽出する。後者の実施形態においては、デバイス１２０ａからコンピュータ１４０に送信される撮像画像は、例えばＪＰＥＧ（Joint Photographic Experts Group）によって標準化された圧縮形式の１つもしくは複数の画像として送信されるか、または、ＰＮＧ（Portable Network Graphic）による非圧縮形式の１つもしくは複数の画像として送信される。図２の実施形態では、デバイス１２０ｂが、プロセッサ１２４ｂ上で実行されるＴＳＣによる抽出等を行って、撮像された画像から撮像画像データを取得する。
【0061】
図５Ａ～５Ｃ、６、７および８に、本明細書に記載の生体認証セキュリティシステムで使用するニューラルネットワーク統計分類子（neural network statistical classifiers）の態様を示す。図５Ａおよび５Ｂの例示的な実施形態においては、ニューラルネットワーク統計分類子は、ＣＮＮ（convolutional neural network : 畳み込みニューラルネットワーク）を有している。図５Ａおよび５Ｃの例示的な実施形態においては、ニューラルネットワーク統計分類子は、ＬＳＴＭ（long short-term memory : 長・短期記憶）ネットワーク等のＲＮＮ（recurrent neural network : 再帰型ニューラルネットワーク）をさらに有している。図６に表す別の例示的な実施形態においては、ニューラルネットワーク統計分類子は、完全畳み込みニューラルネットワーク（fully convolutional neural network : ＦＣＮＮ）を有している。図７は、人の眼底網膜の画像内の特徴の境界（boundaries of features）を識別するように構成されたＦＣＮＮを示している。図８は、血管等の様々な眼底網膜特徴の位置に対して高い不変性を有するという利点を備えた個々のボクセル（individual voxels）を識別するように構成されたＣＮＮを示している。
【0062】
図５Ａおよび５Ｂは、人の眼底網膜の撮像画像からデータを抽出するように構成された例示的なＣＮＮ（畳み込みニューラルネットワーク）を形成する部分５００ａおよび５００ｂのブロック図である。図５Ａおよび５Ｂの例示的な実施形態では、部分５００ａは部分５００ｂに動作可能に接続され、例えば、部分５００ａの出力が部分５００ｂの入力に接続される。
【0063】
図５Ａに示すように、ＣＮＮの部分５００ａには、畳み込み層（convolutional layers）５１０ａ～５１０ｇおよびプーリング層（pooling layers）５２０ａ～５２０ｃが交互に並べられている。人の眼底網膜の２５６ピクセル×２５６ピクセル（２５６×２５６）の画像等である画像５３０は、部分５００ａに入力される。部分５００ａは、画像５３０から特徴マップ５４０を取得し、特徴マップ５４０を部分５００ｂに出力するように構成される。部分５００ｂは、眼底網膜の特徴の位置等、画像５３０の様相（aspects）を表す予測（predictions）５７０を算出するように構成されている。
【0064】
画像５３０は、部分５００ａに入力される前に、リサンプリング（resampling）、フィルタリング、補間、アフィン変換（affine transformation）、セグメンテーション、エロージョン（erosion）、ダイレーション（dilation）、メトリック計算（すなわち特徴点）、ヒストグラム平坦化、スケーリング、ビニング（binning）、トリミング、色の正規化、サイズ変更、再整形、背景差分（background subtraction）、エッジ強調、コーナー検出および／または他の任意の適切な前処理手法を用いて、前処理されてもよい。以下に前処理手法の例を表す。
【0065】
１．画像の倍率を変えて同範囲（３００ピクセル等）にする。
２．局所平均色を差分する。
例：局所平均が５０％グレー（gray）にマッピングされる。
２．局所平均色を差分する。
例：局所平均が５０％グレー（gray）にマッピングされる。
【0066】
３．画像のサイズを部分的（９０％等）にトリミングして、境界効果を除去する。
この処理には、網膜のピクセル（retina pixels）だけを含むように画像をトリミングすることや、ヒストグラムの平坦化がアルゴリズムの性能に与える影響をテストすること等が含まれる。
この処理には、網膜のピクセル（retina pixels）だけを含むように画像をトリミングすることや、ヒストグラムの平坦化がアルゴリズムの性能に与える影響をテストすること等が含まれる。
【0067】
４．主に網膜のピクセルを含むように画像をトリミングする。
（注：この処理を行う場合は、範囲に基づいて画像の倍率変更を行う必要がない場合もある。）
いくつかの実施形態においては、画像５３０は、圧縮形式または非圧縮形式の、撮像装置１２２ａまたは１２２ｂによって撮像された画像である。別の例では、画像５３０は、撮像装置１２２ａまたは１２２ｂによって撮像された１つまたは複数の画像から合成される。いくつかの実施形態では、画像５３０は、１つまたは複数の３Ｄ体積測定ＯＣＴ画像等の画像再構成後の網膜データを有している。代替的または追加的に、画像５３０は、撮像された画像の未処理部分を含む。例えば、画像５３０には、１つまたは複数のスペクトルドメインＯＣＴ画像からのスペクトル、蛍光寿命統計、事前にフィルタリングされた画像、または事前に準備された走査画像が含まれる。いくつかの実施形態では、画像５３０は、人の眼底網膜の断面に対応する複数の２Ｄ画像に関連付けられている。いくつかの実施形態では、これらの断面は隣接している。例えば、様々な実施形態においては、画像５３０は、２つ、３つ、４つまたは５つの隣接する断面にそれぞれ対応する画像と関連付けられている。いくつかの実施形態では、画像５３０は、血管が顕著に示されている１つまたは複数の断面の１つまたは複数の２Ｄ画像である。
（注：この処理を行う場合は、範囲に基づいて画像の倍率変更を行う必要がない場合もある。）
いくつかの実施形態においては、画像５３０は、圧縮形式または非圧縮形式の、撮像装置１２２ａまたは１２２ｂによって撮像された画像である。別の例では、画像５３０は、撮像装置１２２ａまたは１２２ｂによって撮像された１つまたは複数の画像から合成される。いくつかの実施形態では、画像５３０は、１つまたは複数の３Ｄ体積測定ＯＣＴ画像等の画像再構成後の網膜データを有している。代替的または追加的に、画像５３０は、撮像された画像の未処理部分を含む。例えば、画像５３０には、１つまたは複数のスペクトルドメインＯＣＴ画像からのスペクトル、蛍光寿命統計、事前にフィルタリングされた画像、または事前に準備された走査画像が含まれる。いくつかの実施形態では、画像５３０は、人の眼底網膜の断面に対応する複数の２Ｄ画像に関連付けられている。いくつかの実施形態では、これらの断面は隣接している。例えば、様々な実施形態においては、画像５３０は、２つ、３つ、４つまたは５つの隣接する断面にそれぞれ対応する画像と関連付けられている。いくつかの実施形態では、画像５３０は、血管が顕著に示されている１つまたは複数の断面の１つまたは複数の２Ｄ画像である。
【0068】
ＣＮＮ５００ａは、畳み込み層５１０ａ～５１０ｇおよびプーリング層５２０ａ～５２０ｃを介して画像５３０を処理するように構成されている。いくつかの実施形態では、畳み込み層５１０ａ～５１０ｇおよびプーリング層５２０ａ～５２０ｃは、撮像された画像内の眼底網膜特徴の様相を検出するように訓練される。まず、ＣＮＮ５００ａは、畳み込み層５１０ａおよび５１０ｂによって画像５３０を処理して、３２個の２５６×２５６特徴マップ５３２を取得する。次に、最大プーリング層等であるプーリング層５２０ａが適用された後、畳み込み層５１０ｃおよび５１０ｄが適用されて、６４個の１２８×１２８特徴マップ５３４が得られる。次に、最大プーリング層等であるプーリング層５２０ｂが適用された後、畳み込み層５１０ｅおよび５１０ｆが適用されて、１２８個の６４×６４特徴マップ５３６が得られる。次に、プーリング層５２０ｃおよび畳み込み層５１０ｇが適用された後、結果として得られる２５６個の３２×３２特徴マップ５３８が、図５Ｂに示されるＣＮＮの部分５００ｂの入力として出力５４０で算出される。ＣＮＮ部分５００ａは、勾配降下法、確率的勾配降下法、誤差逆伝播法および／または他の反復最適化方法を使用して訓練される。
【0069】
いくつかの実施形態では、ＣＮＮ５００ａは、人の眼底網膜の単一の断面等の単一の画像を一度に処理するように構成される。あるいは、いくつかの実施形態では、ＣＮＮ５００ａは、３Ｄ体積測定画像から得られた複数の隣接する断面等の複数の画像を同時に処理するように構成される。本発明者は、枝端点、分岐点、重複部、サイジング（sizings）等の特徴の様相は、単一の断面または複数の隣接する断面から得られる情報を用いて計算できることを確認した。いくつかの実施形態では、人の眼底網膜の複数の断面に対して畳み込み層５１０ａ～５１０ｇで実行される畳み込みは、２次元（２Ｄ）または３次元（３Ｄ）である。いくつかの実施形態では、ＣＮＮ５００ａは、特定の断面からの情報のみを使用して、その断面の特徴を予測するように構成される。あるいは、いくつかの実施形態では、ＣＮＮ５００ａは、特定の断面からの情報および１つまたは複数の隣接する断面からの情報を使用するように構成される。いくつかの実施形態では、ＣＮＮ５００ａは、複数の断面の特徴を、全断面に存在するデータを用いて同時に演算するように、完全に３Ｄの処理パイプライン（fully-3D processing pipeline）を有している。
【0070】
図５Ｂに示されるように、部分５００ｂは、畳み込み層５１２ａ～５１２ｂおよび全結合層（fully connected layers）５６０を有している。部分５００ｂは、部分５００ａの出力５４０から特徴マップ５３８を取得するように構成される。例えば、部分５００ｂは、畳み込み層５１２ａおよび５１２ｂを介して特徴マップ５３８を処理して、２５６個の３２×３２特徴マップ５４２を取得するように構成される。次に、特徴マップ５４２は、全結合層５６０を介して処理されて、予測５７０が算出される。例えば、全結合層５６０は、特徴マップ５４２の確率分布を使用して、畳み込み層５１０ａ～５１０ｇおよび５１２ａ～５１２ｂおよびプーリング層５２０ａ～５２０ｃによって識別された可能性が最も高い眼底網膜特徴を決定するように構成される。その結果、予測５７０は、画像５３０内の眼底網膜の特徴の様相を表す。いくつかの実施形態では、予測５７０は、特定の特徴が画像５３０の特定の領域に位置するという尤度の算出値に対応する確率的ヒートマップ（probabilistic heat-map）等の確率値を含む。いくつかの実施形態では、予測５７０は、枝端点または分岐点の相対位置やサイズ、または他の特性を表す。
【0071】
図５Ａ～５Ｃの実施形態において、部分５００ｃは、図５Ａに示される部分５００ａに動作可能に接続される。例えば、部分５００ｃは、部分５００ｂの代わりに出力５４０に接続される。図５Ａに示される部分５００ａは、ＣＮＮ部分であり、部分５００ｃはＲＮＮ（recurrent neural network : 再帰型ニューラルネットワーク）部分である。部分５００ｃは、ある期間にわたって入力として提供される入力画像間の時間的制約をモデル化するために使用される。ＲＮＮ部分５００ｃは、ＬＳＴＭ（long short-term memory : 長・短期記憶）ニューラルネットワークとして実装される。このようなニューラルネットワークアーキテクチャは、監視タスクの実行中に撮像装置１２２ａまたは１２２ｂによって取得された一連の画像（比較的長期間にわたる時系列画像）を処理するために使用される。例えば、図１の実施形態においては、デバイス１２０ａは、一連の画像をコンピュータ１４０に送信する。いくつかの実施形態では、デバイス１２０ａは、一連の画像における各画像間の経過時間等、一連の画像のタイミング情報を送信する。図５Ａおよび５ＣのＣＮＮ－ＬＳＴＭニューラルネットワークは、一連の画像を入力として受け取り、少なくとも１つの先に取得された画像から得た眼底網膜特徴を、後に取得された画像から得た特徴と組み合わせて、予測５８０を算出する。
【0072】
いくつかの実施形態では、図５Ａ～５Ｃに示されるＣＮＮおよびＣＮＮ－ＬＳＴＭにおいて、畳み込み層のカーネルのサイズが「３」、ストライド（stride）が「１」であり、プーリング層のカーネルサイズが「２」であり、分散スケーリング初期化子（variance scaling initializer）が使用される。ＲＮＮ部分５００ｃは、確率的勾配降下法および／または通時的誤差逆伝播法を使用して訓練できる。
【0073】
図６は、例示的な完全畳み込みニューラルネットワーク（fully convolutional neural network : ＦＣＮＮ）６００のブロック図である。ＦＣＮＮ６００は、出力圧縮部分６２０および入力拡張部分６６０を有している。出力圧縮部分６２０は、交互に並べられた畳み込み層とプーリング層を有し、これは、図５Ａの部分５００ａと同様に構成されている。入力拡張部分６６０は、交互に並べられた畳み込み層および逆畳み込み層と、重心層（center-of-mass layer）６６６とを有している。重心層６６６は、各位置での回帰位置推定値から計算された重心として推定値を計算する。
【0074】
いくつかの実施形態では、出力圧縮部分６２０および入力拡張部分６６０は、処理パス６４０ａによって接続されている。処理パス６４０ａは、ＬＳＴＭ（long short-term memory : 長・短期記憶）部分を含み、これは、図５ＣのＲＮＮ部分５００ｃと同様に構成される。処理パス６４０ａを含む実施形態は、図５Ａおよび５ＣのＣＮＮ－ＬＳＴＭと同様に時間的制約をモデル化するために使用される。または、他の実施形態においては、出力圧縮部分６２０および入力拡張部分６６０は、処理パス６４０ｂによって接続されている。処理パス６４０ａとは異なり、処理パス６４０ｂは、図５ＢのＣＮＮ部分５００ｂと同様に構成されたＣＮＮ（convolutional network : 畳み込みネットワーク）部分を有している。
【0075】
いくつかの実施形態では、ＦＣＮＮ６００においては、カーネルサイズが「３」でストライドが「１」の畳み込み層と、カーネルサイズが「２」のプーリング層と、カーネルサイズが「６」でストライドが「２」の逆畳み込み層と、分散スケーリング初期化子とが使用される。
【0076】
ＦＣＮＮ６００の出力は、入力と同じ次元（dimensionality）を有する単一チャネル出力である。したがって、血管特徴点等の点位置のマップは、点位置にガウスカーネル強度プロファイルを導入することによって算出でき、ＦＣＮＮ６００は、平均二乗誤差損失法を使用してこれらのプロファイルを回帰するように訓練される。
【0077】
ＦＣＮＮ６００は、勾配降下法、確率的勾配降下法、誤差逆伝播法および／または他の反復最適化手法によって訓練できる。
いくつかの実施形態において、ＴＳＣは、ラベル付けされた画像を使用して訓練される。例えば、ＴＳＣは、血管の枝端点、分岐点もしくは重複部、視神経乳頭、血管、分岐点、端点、重複部および中心窩等の眼底網膜の特徴の画像を用いて訓練できる。走査画像には、１人または複数の臨床専門家が手動で注釈を付けてもよい。いくつかの実施形態では、注釈は、血管の重複部、分岐点、および終点の位置の表示を含む。いくつかの実施形態では、注釈は、完全な血管、視神経乳頭または中心窩のような完全な構造の範囲を有している。
いくつかの実施形態において、ＴＳＣは、ラベル付けされた画像を使用して訓練される。例えば、ＴＳＣは、血管の枝端点、分岐点もしくは重複部、視神経乳頭、血管、分岐点、端点、重複部および中心窩等の眼底網膜の特徴の画像を用いて訓練できる。走査画像には、１人または複数の臨床専門家が手動で注釈を付けてもよい。いくつかの実施形態では、注釈は、血管の重複部、分岐点、および終点の位置の表示を含む。いくつかの実施形態では、注釈は、完全な血管、視神経乳頭または中心窩のような完全な構造の範囲を有している。
【0078】
本発明者は、ＴＳＣをマルチタスクモデルとして構成することにより、ＴＳＣの出力を用いて、人の眼底網膜の特徴の１つまたは複数の位置を特定し、血管を区分化できることを確認した。例えば、血管は人物特定に使用できる複数の特徴を有しており、血管ラベルをマルチタスクモデルの訓練に用いることによって、血管の位置をより正確に特定可能なモデルを構成できる。このように、ＣＮＮ部分５００ａおよび／またはＦＣＮＮ６００は、マルチタスクモデルを有している。
【0079】
図７は、撮像された画像内の血管、視神経乳頭または中心窩等の特定の眼底網膜特徴の境界の位置を表すように構成された完全畳み込みニューラルネットワーク（fully convolutional neural network : ＦＣＮＮ）７００のブロック図である。ＦＣＮＮ７００の訓練には、ゼロパディング訓練画像（zero-padding training images）を使用し、サイズ「３」およびストライド「１」の畳み込みカーネルと、サイズ「２」の最大プーリングカーネルと、サイズ「６」およびサイズ「２」の逆畳み込み（アップスケールおよび畳み込み）カーネルとを使用する。ニューラルネットワークの出力は、特定の眼底網膜特徴の境界の位置を表す。
【0080】
本発明者は、ＴＳＣが個々のボクセルを分類するように構成できることを確認しているが、これによって、血管等の様々な眼底網膜特徴の位置の不変性が高くなるという効果がもたらされる。図８は、ＣＮＮ（convolutional neural network : 畳み込みニューラルネットワーク）８００のブロック図であり、個々のボクセルを分類することによって、特定の眼底網膜特徴の境界の位置を表すように構成できる。いくつかの実施形態では、ＣＮＮ８００は、第１の層にサイズ「５」およびストライド「１」の畳み込みカーネルを有し、後続の層にサイズ「３」のカーネルを有している。図８の例示的な実施形態では、ＣＮＮ８００の入力近傍は「２５」である。他の実施形態では、ＣＮＮ８００は、「３０」または「３５」等の異なるサイズの入力近傍を扱うビルディングブロック（building block）として繰り返される。いくつかの実施形態では、近傍の増加に伴い初期カーネルサイズが大きくなり、例えばサイズ「７」を用いる。ＣＮＮ８００の特徴マップは最後の特徴層でマージされ、結合されて単一の予測が算出される。
【0081】
一実施形態では、入力画像に対する出力カテゴリの勾配を計算することによって、画像のどの部分が出力に寄与しているかを理解するために顕著性マップが作成される。このようにして、入力画像ピクセルの小さな変化に対して出力カテゴリ値がどのように変化するかが定量化される。これらの勾配を強度画像として視覚化すると、注目すべき位置の特定が可能となる。
【0082】
この演算は、基本的には、入力画像に対する出力カテゴリの勾配の比率である。
∂出力／∂入力
これらの勾配は、出力に最も大きな変化をもたらす入力領域を強調することによって、出力に最も寄与する顕著な画像領域を強調するために使用される。
∂出力／∂入力
これらの勾配は、出力に最も大きな変化をもたらす入力領域を強調することによって、出力に最も寄与する顕著な画像領域を強調するために使用される。
【0083】
なお、図５Ａ～５Ｃ、６、７および８に示されるニューラルネットワークアーキテクチャは、例示であり、これらのアーキテクチャは変更可能である。例えば、１つまたは複数の上記の層に加えて、またはその代わりに、畳み込み層、逆畳み込み層、正規化線形ユニット層、アップサンプリング層、連結層またはパッド層等の１つまたは複数の他のニューラルネットワーク層を、図５Ａ～５Ｃ、６、７および８のニューラルネットワークアーキテクチャのいずれかに使用できる。別の例では、１つまたは複数の層の次元が異なっており、さらに、１つまたは複数の畳み込み層、プーリング層および／または逆畳み込み層のカーネルサイズも異なる。さらに、本明細書で説明されるＴＳＣは、代替的または追加的に、サポートベクターマシン（support vector machine）、グラフィカルモデル（graphical model）、ベイズ分類子（Bayesian classifier）または決定木分類子を有していてもよい。
【0084】
本発明者は、１つまたは複数の撮像画像から抽出されたデータを、１つまたは複数の他の網膜眼底画像から抽出された格納データと比較する技術を開発した。図９に示すように、撮像画像データおよび格納画像データを取得し、格納画像データの少なくとも一部が、撮像画像データと少なくとも所定の類似度を有するか否かを判断する。撮像画像データおよび／または格納画像データは、図５Ａ～５Ｃ、６、７および８の実施形態の一部または全部に従って、ＴＳＣを使用して抽出することによって取得される。図１０Ａの例示的な方法では、撮像画像データと格納画像データとの間でテンプレートマッチングが実行されて、類似性測度（similarity measure）が求められる。これに対し、図１０Ｂの例示的な方法は、平行移動および回転に対して不変な特徴を比較して類似性測度を算出する。
【0085】
図９は、人の眼底網膜の撮像画像から抽出された撮像画像データを格納画像データと比較することによって人物特定を行う例示的な方法９００を示すフロー図である。方法９００は、ステップ９０２で撮像画像データを取得することと、ステップ９０４で格納画像データの一部分を取得することと、ステップ９０６で撮像画像データを格納画像データの一部分と比較することと、ステップ９０８で格納画像データの一部分が撮像画像データと少なくとも所定の類似度を有するか否かを判定することとを含む。格納画像データの一部分が、照合一致と判断できる程度に類似している場合、方法９００は、ＩＤ（identification : 人物特定）が成功したと判定する。これに対し、格納画像データの一部分が照合一致と判断できる程度に類似していない場合、方法９００は、ステップ９１０に進み、撮像画像データとまだ比較されていない格納画像データが存在するか否かを判断する。存在する場合は、方法９００は、ステップ９０４に戻り、撮像画像データと比較するために、格納画像データの別の一部分を取得する。照合一致が成立することなく全ての格納画像データが撮像画像データと比較された場合、方法９００は、ＩＤが失敗したと判定する。図１の実施形態においては、方法９００は、デバイス１２０ａから送信された１つまたは複数の画像および／またはデータを使用して、コンピュータ１４０によって実行される。一方、図２の実施形態においては、方法９００全体が、デバイス１２０ｂによって実行される。
【0086】
ステップ９０２での撮像画像データの取得は、図３のステップ３０４に関連して説明された画像抽出手法によって実行できる。代替的または追加的に、撮像画像データは、図５Ａ～５Ｃ、６、７および８の実施形態の一部または全部に従って、ＴＳＣから出力してもよい。いくつかの実施形態では、ステップ９０２で取得された撮像画像データは、実行中の人物特定のために取得された全ての撮像画像データである。例えば、撮像装置１２２ａまたは１２２ｂは、人の眼底網膜の複数の画像を撮像して、各画像の全ての眼底網膜の特徴に対応するデータをステップ９０２で取得する。あるいは、ステップ９０２では、画像の一部のみに対応するデータを取得する。さらに別の例では、ステップ９０２では、各画像の特定の眼底網膜の特徴または特徴セットに対応するデータを取得する。いくつかの実施形態では、方法９００は、ステップ９０６での比較の結果に応じて、撮像画像データの他の部分を取得するためにステップ９０２に戻る。
【0087】
ステップ９０４での格納画像データの取得は、撮像データと同様の方法で行える。格納画像データは、１つまたは複数の以前に処理された網膜眼底画像に関連付けられている。例えば、格納画像データは、人がシステム１００またはデバイス１２０ｂに登録されるたびに蓄積される。いくつかの実施形態では、システム１００またはデバイス１２０ｂで人を登録することは、その人物の眼底網膜の１つまたは複数の画像を撮像することと、撮像された画像からその人物の眼底網膜の特徴を表すデータを抽出することと、抽出されたデータを記憶媒体１４２または１２６に格納することとを含む。いくつかの実施形態では、人を登録することは、その人物の氏名および政府発行の識別番号（例えば、社会保障番号）等の識別情報を取得することを含む。いくつかの実施形態では、識別情報は、その人物の電話番号および／または電子メールアドレス等の連絡先情報とリンクされている。いくつかの実施形態では、登録時にその人物のユーザー名も登録される。いくつかの実施形態では、登録された人物に関連付けられた格納画像データは、システム１００またはデバイス１２０ｂがその人物の特定に成功するたびに更新される。例えば、システム１００またはデバイス１２０ｂは、登録された人物の特定が成功したときに、その人物特定に使用された撮像画像を、格納画像データに追加する。
【0088】
撮像画像データに関し、格納画像データは、３Ｄ体積測定画像、２Ｄ画像、蛍光寿命データまたはＯＣＴスペクトルデータ等から処理されてＴＳＣに提供される。例えば、撮像画像データおよび格納画像データは、撮像画像データおよび格納画像データから抽出された特徴データを比較できるように、同じＴＳＣに提供される。いくつかの実施形態では、撮像画像データと格納画像データは同じ種類のデータである。例えば、撮像画像データおよび格納画像データのそれぞれは、隣接する断面等の１つまたは複数の網膜断面の１つまたは複数の２Ｄ画像を有している。撮像画像データおよび格納画像データが同じ人物に関連付けられている場合、撮像画像データは、第１の時点に取得された隣接断面の複数の画像を含み、格納画像データは、第１の時点より後の第２の時点に取得された同じ隣接断面の複数の画像を含む。例えば、格納画像データは、撮像画像データが取得された時点に対して、数分前程度のごく最近に処理されたデータである場合もあるし、数年前程度のかなり前に処理されたデータである場合もある。
【0089】
眼底網膜による人物特定に加えて生体認証特性に基づく検証を行う実施形態では、１つまたは複数の記録された生体認証特性（声紋、指紋等）も、網膜眼底画像に加えて、またはその代わりに、ＴＳＣに提供される。この場合、複数の生体認証特性（例えば、複数のユーザーの特性）に関する格納特性データがＴＳＣに提供される。その結果、生体認証特性の特徴を示す出力がＴＳＣから出されるため、網膜眼底画像に関して前述したように、特性の比較を容易に実施できる。このように、ＴＳＣは、生体認証特性を使用した身元の検証も容易化できる。
【0090】
システム１００またはデバイス１２０ｂには複数の個人が登録されているため、記憶媒体１４２または１２６の格納画像データの各部分は、それぞれ対応する個人に関連付けられている。したがって、ステップ９０４で格納画像データを取得することは、登録された個人に関連付けられた格納画像データの一部分を取得することを含む。例えば、特定の人物に関連付けられた全ての画像データ（例えば、過去に成功した人物特定の全データ）が、撮像画像データと比較するためにステップ９０４で取得される。または、単一のデータセット、例えば、その特定の人物のために取得された最新の画像データおよび／または特定の眼底網膜特徴または特徴グループの様相を表すデータが、ステップ９０４で取得される。いくつかの実施形態では、単一のデータセットは、平均値等の、複数の格納データセットを結合したものとして、ステップ９０４で取得される。いくつかの実施形態では、ステップ９０６での比較の結果に応じてステップ９０２に戻ったときに、格納画像データの別の部分が取得される。
【0091】
ステップ９０６での撮像画像データと格納画像データの一部分との比較は、コンピュータ１４０またはデバイス１２０ｂによって実行される。様々な実施形態においては、比較は、相互相関、テンプレートマッチング、平行移動および回転に対して不変な最大重みおよび／または距離メトリックを使用して実行される。例えば、図１０Ａの例示的な実施形態においては、コンピュータ１４０またはデバイス１２０ｂは、ステップ９０２で取得された撮像画像データとステップ９０４で取得された格納画像データとの間のテンプレートマッチングを実行して、類似性測度を算出する。または、図１０Ｂの例示的な実施形態においては、コンピュータ１４０またはデバイス１２０ｂは、ステップ９０２で得られた撮像画像データとステップ９０４で得られた格納画像データとの平行移動および回転に対して不変な特徴の相対位置および／または向きを比較して、類似性測度を算出する。ステップ９０６の比較では、全ての眼底網膜特徴についてデータを比較するか、または、各特徴もしくは特徴のグループについてデータを比較する。例えば、撮像画像データおよび格納画像データにおける視神経乳頭の様相の比較は、撮像画像データおよび格納画像データにおける枝端点または分岐点等の血管の様相の比較とは別に実行される。一例では、ステップ９０６で１つの様相が比較された後に、方法９００がステップ９０６に戻って、別の様相について別の比較を実行する。
【0092】
格納画像データの一部分と撮像画像データとが、少なくとも所定の類似度を有するか否かをステップ９０８で決定する処理は、ステップ９０６で算出された類似性測度に基づいて行われる。例えば、類似性測度は、２つのデータセット間の類似度を示し、ステップ９０８では、類似性測度によって示される類似度が、人物特定の成功を判定するための閾値として使用されている所定の類似度を満たすか否かが判定される。
【0093】
所定の類似度は、撮像画像データが抽出された撮像画像の数、画像の解像度や視野、撮像画像データおよび格納画像データに表される種類の異なる特徴の数、ステップ９０６で実施される比較手法等、多くの要因に基づいて設定される。不正な人物特定を防ぐために、所定の類似度を比較的高く設定する必要があるが、設定された類似度が高い場合は本人拒否率が高くなり、正しい人物の人物特定の成功が困難になる場合もある。一般に、所定の類似度は、使用される画像の数、画像の解像度および視野ならびに異なる種類の特徴の数に鑑みて、許容可能な程度まで高く設定される。例えば、多種類の特徴を含んだ高品質の撮像画像が数多く存在する場合は、本人拒否率を高くするリスクを抑えながらも、所定の類似度を高く設定できる。これは、撮像データに多くの情報が含まれていることから、撮像された画像の欠陥（照明の不足等）や、送信されたデータの欠陥（送信エラーによる欠陥等）の欠陥の影響が抑制できるためである。
【0094】
格納画像データの一部分が、格納画像データと少なくとも所定の類似度を有する場合、方法９００は、照合が一致したと判定する。いくつかの実施形態では、コンピュータ１４０またはデバイス１２０ｂは、記憶媒体１４２または１２６から、格納画像データの一部分に関連付けられた識別情報を取得する。または、コンピュータ１４０またはデバイス１２０ｂは、通信ネットワーク１６０上の別の場所から識別情報を取得する。例えば、識別情報は、格納画像データの一部分と一緒に格納されるか、または、格納画像データが、識別情報の格納された場所へのリンクを有している。いくつかの実施形態では、識別情報は、その人物の氏名および／またはユーザー名を含む。
【0095】
記録された生体認証特性に基づいて生体検証が実行される実施形態では、取得された生体認証特性データと格納された生体認証特性データとの比較は、網膜眼底画像および画像データと同様に行われる。生体検証は通常、識別情報が取得された後に実行される。例えば、格納された生体認証特性データは、識別情報と共に格納される。したがって、生体認証特性の比較が、眼底網膜による人物特定が完了した後に実行される。ＴＳＣを使用する実施形態では、格納された生体認証特性データは、記録された生体認証特性データの入力と同時に、または入力後に、ＴＳＣに入力される。例えば、記録された生体認証特性データは、人物特定と同時に、またはその前でもＴＳＣに入力可能であり、ＴＳＣの出力は、人物特定完了後に使用するために保存される。
【0096】
図１の実施形態においては、コンピュータ１４０が、識別情報を取得してデバイス１２０ａに送信し、人物特定を完了する。デバイス１２０ａまたは１２０ｂは、例えば、１つまたは複数のディスプレイ上に表示されたユーザインターフェイスを介して、人物特定が成功したことを本人に通知する。いくつかの実施形態では、デバイス１２０ａまたは１２０ｂは、セクションＩＩＩ等に記載されるように、その人物に関連付けられた健康情報またはアカウントへのその人物のアクセスを許可する。いくつかの実施形態では、今後の人物特定のために、撮像画像データの一部または全部（眼底網膜の特徴を表すデータ等）を含むように格納画像データが更新される。
【0097】
格納画像データの一部分が、撮像画像データに対して所定の類似度を有していない場合、方法９００は、ステップ９１０に進み、撮像画像データとまだ比較されていない格納画像データが存在するか否かを判断する。撮像画像データとまだ比較されていない格納画像データが存在する場合、方法９００はステップ９０４に戻り、まだ比較されていない格納画像データの一部分を取得する。例えば、撮像画像データと比較される格納画像データの各部分は、各登録者に関連付けられているため、残りの格納画像データの一部分が撮像画像データと一致して、その人物の特定が成功する場合もある。なお、いくつかの実施形態では、方法９００は、ステップ９０４ではなく、ステップ９０２に戻る場合もある。例えば、撮像画像データには、人の眼底網膜の複数の撮像画像に対応する複数の部分が含まれる。したがって、１つまたは複数の他の撮像画像に対応するさらに別の部分をステップ９０２で取得して、ステップ９０４で以前に取得された同じ格納画像データと比較する。
【0098】
または、撮像画像データと比較できる格納画像データがそれ以上ない場合、方法９００は、人物特定が失敗したと判定する。例えば、撮像画像データは、システム１００またはデバイス１２０ｂにまだ登録されていない人に対応している場合もある。図１の実施形態においては、コンピュータ１４０は、人物特定の失敗をデバイス１２０ａに通知し、デバイス１２０ａは、その人物にシステム１００への登録を行うように通知する。登録は、例えば、撮像画像データと共に格納される識別情報を提供することによって行われる。図２の実施形態においては、デバイス１２０ｂが、その人物にデバイス１２０ｂへの登録を促す通知を行う。なお、例えば新規ユーザーの登録は医療従事者の立ち会いのもとでのみ行うように構成されているシステム１００およびデバイス１２０ｂの実施形態においては、デバイス１２０ａおよび１２０ｂは、新しいユーザーを登録するようには構成されない。
【0099】
図１０Ａは、テンプレートマッチングによって撮像画像データを格納画像データと比較するための例示的な方法１０００ａのフロー図である。方法１０００ａは、ステップ１００２ａでテンプレートマッチングを実行することと、ステップ１００４ａで類似性測度を算出することとを含んでいる。いくつかの実施形態では、方法１０００ａは、デバイス１２０ｂまたはコンピュータ１４０によって実行される。いくつかの実施形態では、方法１０００ａは、単一の画像、または同じ人物に関連付けられた複数の画像の組み合わせに対応する、記憶媒体１４２または記憶媒体１２６に格納されたデータの各サブセットに対して実行される。
【0100】
ステップ１００２ａのテンプレートマッチングでは、方法９００のステップ９０２で得られた撮像画像データの少なくとも一部と、ステップ９０４で得られた格納画像データの少なくとも一部とを、デバイス１２０ｂまたはコンピュータ１４０が比較する。例えば、撮像装置１２２ａまたは１２２ｂによって撮像された画像の領域に対応する撮像画像データの一部分を、格納画像データが抽出された１つまたは複数の画像の領域に対応する格納画像データの１つまたは複数の部分と比較する。このような比較において、畳み込みまたは他の乗算等による相互相関が、撮像画像データの一部分と格納画像データの１つまたは複数の部分との間で実行される。いくつかの実施形態では、比較は、結果が相似行列（similarity matrix）に収められる行列乗算を使用して行われる。相似行列は、類似性測度を算出するためにステップ１００４ａで使用される。
【0101】
場合によっては、撮像画像の一部分は、格納画像データの１つまたは複数の部分と比較されてからサイズ変更および／または回転され、同じ部分に対して比較が実行される。次に、撮像画像データの一部分は、格納画像データが抽出された画像の他の領域に対応する格納画像データの他の１つまたは複数の部分と比較される。格納画像データが複数の画像に関連付けられている実施形態では、撮像画像データの一部分が特定の画像に関連付けられた格納画像データの全てと比較された後に、撮像画像データの当該一部分が、別の画像に関連付けられた格納画像データと比較される。または、眼底網膜の各特徴もしくは複数の画像における特徴のグループに対して個別の比較を行ってもよい。撮像画像データの一部分が、特定の人物に関連付けられた全ての格納画像データ、例えば、その人物の全ての画像または画像の様々な特徴を表す全てのデータと比較されると、方法１０００ａはステップ１００４ａに進み、その人物に対応する類似性測度の算出を行う。例えば、類似性測度は、撮像された画像が特定の人物と一致するか否かを示す。
【0102】
ステップ１００４ａで類似性測度を算出することは、デバイス１２０ｂまたはコンピュータ１４０が、方法９００のステップ９０２で得られた撮像画像データとステップ９０４で得られた格納画像データとの間の類似性を計算することを含む。いくつかの実施形態では、撮像画像データと、特定の画像に関連付けられた格納画像データの各部分との間で類似性測度が個別に算出される。いくつかの実施形態では、比較された画像データと格納画像データ全体との間で、１つの類似性測度のみが算出される。例えば、類似性測度は、撮像画像データと格納データとの間で計算された最大の類似度である。別の例では、類似性測度は、撮像画像データと格納画像データの様々な部分との間の平均類似性である。撮像画像データを格納画像データと比較することが、畳み込みを実行して相似行列を出力することを含む実施形態では、類似性測度の一部が比較中に算出され、テンプレートマッチングが完了すると、全ての比較データを考慮して最終的な類似性測度が算出される。
【0103】
図１０Ｂは、平行移動および回転に対して不変な特徴について、撮像画像データが表す特徴を、格納画像データが表す特徴と比較するための例示的な方法１０００ｂのフロー図である。例えば、平行移動および回転に対して不変な特徴は、図５Ａ～５Ｃ、６、７および８の実施形態に係るＴＳＣの出力に表される。方法１０００ｂは、ステップ１００２ｂで平行移動および回転に対して不変な特徴の比較を実行することと、ステップ１００４ｂで類似性測度を算出することとを含む。方法１０００ｂは、デバイス１２０ｂまたはコンピュータ１４０によって実行される。
【0104】
ステップ１００２ｂで平行移動および回転に対して不変な特徴の比較を実行することは、デバイス１２０ｂまたはコンピュータ１４０が、撮像画像データが表す平行移動および回転に対して不変な特徴の相対位置および向きを、格納画像データが表す平行移動および回転に対して不変な特徴の相対位置および向きと比較することを含む。例えば、ＳＩＦＴまたはＳＵＲＦ比較は、撮像画像データの一部または全部と、格納画像データとの間で実行される。格納画像データが複数の画像に関連付けられている実施形態では、特定の画像に関連付けられている格納画像データの各部分に対して別々に比較が実行される。あるいは、いくつかの実施形態では、例えば、複数の画像内の特定の特徴を表す複数の画像に関連付けられたデータを含む、特定の眼底網膜特徴または特徴グループを表す格納データの各部分に対して別々に比較が実行される。場合によっては、特徴データは、複数の画像の結合によって生成されて、撮像画像データと比較される。
【0105】
ステップ１００４ｂでの類似性測度の算出は、図１０Ａのステップ１００４ａについて説明した方法で実施できる。例えば、類似性測度は、撮像画像データと比較される格納画像データの各部分に対して算出される。または、同じ人物の複数の画像に関連付けられた格納画像データの各部分を比較することや、各比較において異なる眼底網膜の特徴に注目することによって単一の類似性測度を算出して、各画像、特定の特徴または特徴グループのそれぞれに対して類似性測度を算出してもよい。
【0106】
ＩＩＩ．人の網膜画像に基づいてその人物の電子記録またはデバイスにアクセスするための手法
本発明者は、人の眼底網膜の画像に基づいてアクセスを可能にするように構成された生体認証セキュリティシステムを用いて、個人に関連付けられた電子アカウント、記録またはデバイスのセキュリティ保護やアクセスを可能とする手法を開発した。一例として、本発明者は、生体認証を利用してユーザーアカウントまたはデバイスをセキュリティ保護するための手法を開発した。さらに、本発明者は、生体認証を利用して、個人に関連付けられた電子健康記録等の健康情報をセキュリティ保護するための手法を開発した。生体認証の手法は、金融取引のセキュリティ保護等、人物特定の他の場面においても有益である。生体認証には、人の網膜画像および／または網膜測定値に基づいて人物特定を行うことによってアクセスを可能にすることが含まれる。人の網膜画像および／または測定値は、ＯＣＴおよびＦＬＩＯの少なくとも一方を使用することによって取得できる。
本発明者は、人の眼底網膜の画像に基づいてアクセスを可能にするように構成された生体認証セキュリティシステムを用いて、個人に関連付けられた電子アカウント、記録またはデバイスのセキュリティ保護やアクセスを可能とする手法を開発した。一例として、本発明者は、生体認証を利用してユーザーアカウントまたはデバイスをセキュリティ保護するための手法を開発した。さらに、本発明者は、生体認証を利用して、個人に関連付けられた電子健康記録等の健康情報をセキュリティ保護するための手法を開発した。生体認証の手法は、金融取引のセキュリティ保護等、人物特定の他の場面においても有益である。生体認証には、人の網膜画像および／または網膜測定値に基づいて人物特定を行うことによってアクセスを可能にすることが含まれる。人の網膜画像および／または測定値は、ＯＣＴおよびＦＬＩＯの少なくとも一方を使用することによって取得できる。
【0107】
図１および２の実施形態では、デバイス１２０ａまたは１２０ｂは、人物特定が成功したときに、デバイス１２０ａまたは１２０ｂへのアクセスをその人物に許可するように構成される。例えば、デバイス１２０ａは、コンピュータ１４０から人物特定が成功した旨の通知を受信すると、その人物にアクセスを許可する。いくつかの実施形態では、デバイス１２０ａは、通知とともに、その人物専用のユーザアカウントデータを受信する。例えば、デバイス１２０ａはコンピュータ１４０からカスタマイズされた設定を受信する。カスタマイズされた設定とは、例えば、選択されているオーディオ／ビジュアルテーマ（audio/visual theme）（カラーテーマおよび／またはサウンド等）、グラフィック設定（色覚異常に対応した設定等）、カスタマイズされたホーム画面（デスクトップ背景等）および／またはその人物が以前にデバイス１２０ａを操作したときにアクセスしたソフトウェアアプリケーション等である。いくつかの実施形態では、デバイス１２０ｂの記憶媒体１２６にカスタマイズされた設定が格納されており、人物特定が成功すると、その人物専用のカスタマイズ設定をデバイス１２０ｂが選択する。代替的または追加的に、デバイス１２０ａまたはデバイス１２０ｂは、インターネット上のソーシャルメディアアカウントおよび／または取引を行うための金融アカウント等の様々な他の種類のアカウントへのアクセスをその人物に許可するように構成される。
【0108】
図１および２の実施形態では、デバイス１２０ａまたは１２０ｂは、人物特定が成功したときに、電子健康記録等の健康情報へのアクセスを許可するように構成される。例えば、コンピュータ１４０は、１人または複数の個人に関連付けられた健康情報を格納することができ、人物特定が成功すると、その人物に関連付けられた健康情報をデバイス１２０ａに送信する。または、デバイス１２０ｂは、人物特定が成功したときに、記憶媒体１２６等から取得できる健康情報をデバイス１２０ｂに格納している。いくつかの実施形態では、デバイス１２０ａもしくは１２０ｂまたはコンピュータ１４０は、撮像された画像に示される眼底網膜の特徴に基づいて健康情報を更新する。例えば、いくつかの実施形態では、健康情報は、人物特定時等に撮像された画像および／またはその画像から抽出された特徴データを含むように更新される。このようにして、健康情報は、その人物がデバイス１２０ａまたは１２０ｂにログインするたびに更新される。いくつかの実施形態では、デバイス１２０ａまたは１２０ｂを介して、個人が現在の症状を電子健康記録に直接的に報告することによって自身の電子健康記録を更新できるため、医療従事者と頻繁に面会する必要がなくなる。
【0109】
図１１は、図１および２の実施形態に係る例示的なユーザインターフェイス１１００を表すブロック図である。例えば、ユーザインターフェイス１１００は、デバイス１２０ａまたは１２０ｂのディスプレイであるディスプレイ１１３０上に示される。
【0110】
ディスプレイ１１３０は、コンピュータモニタもしくは電話画面等のＬＣＤ（液晶ディスプレイ）画面であるか、または、投影もしくはホログラムである。いくつかの実施形態では、ディスプレイ１１３０は、タッチ画面上に表示されるコンテンツを押してユーザインタラクション（user interaction）を行うように構成されたタッチ画面を有している。いくつかの実施形態では、ディスプレイ１１３０は、デバイス１２０ａまたは１２０ｂに統合される。または、いくつかの実施形態では、ディスプレイ１１３０は、デバイス１２０ａまたは１２０ｂから分離されており、有線または無線接続を介してデバイス１２０ａまたは１２０ｂに接続される。
【0111】
ディスプレイ１１３０は、識別情報１１３２、健康情報１１３４、金融情報１１３６およびディスプレイ１１３０上の他の情報１１３８のための部分を有している。いくつかの実施形態では、識別情報１１３２、健康情報１１３４および／または金融情報１１３６は、他の情報１１３８がユーザーに表示されている間、ディスプレイ１１３０の端に表示される。非限定的な例では、識別情報１１３２にはその人物のユーザー名が表示され、健康情報１１３４にはストレスレベルが表示され、金融情報１１３６には銀行口座残高が表示され、他の情報１１３８には、ソーシャルメディアを介して受信されたメッセージが表示される。
【0112】
いくつかの実施形態では、識別情報１１３２は、人物特定が成功したか否かをユーザーに示す。例えば、識別情報１１３２には、人物特定の成功を示す通知が含まれる。代替的または追加的に、識別情報１１３２には、生体認証によって取得された、人物特定された人の名前が含まれる。
【0113】
いくつかの実施形態では、健康情報１１３４、金融情報および／または他の情報１１３８は、生体認証中に、または生体認証に加えて取得できる。いくつかの実施形態では、デバイス１２０ａまたは１２０ｂは、人物特定が成功すると、その人物に関連付けられた健康情報のアクセスおよび／または更新を行うように構成される。代替的または追加的に、デバイス１２０ａまたは１２０ｂは、人物特定が成功したときに、その人物に関連付けられた金融情報または他のアカウント情報のアクセスおよび／または更新を行うように構成される。
【0114】
健康情報１１３４は、図１の実施形態ではコンピュータ１４０から取得され、図２の実施形態では、デバイス１２０ｂの記憶媒体１２６から取得される。いくつかの実施形態では、健康情報１１３４には、例えば、コンピュータ１４０または記憶媒体１２６から取得された情報に基づいて、健康状態に関する警告を伴う通知が含まれる。健康情報１１３４には、糖尿病、心血管疾病、脳震とう、パーキンソン病、アルツハイマー病および／またはストレスに関連するリスク評価を含むことができる。いくつかの実施形態では、健康情報には、代替的または追加的に、網膜の健康状態に特化したリスク評価が含まれる。例えば、リスク評価は、糖尿病性網膜症、加齢性黄斑変性症、黄斑浮腫、網膜動脈閉塞症、網膜神経線維層および／または緑内障に関連した評価である。
【0115】
金融情報１１３６は、図１の実施形態ではコンピュータ１４０から取得され、図２の実施形態では、デバイス１２０ｂの記憶媒体１２６から取得される。いくつかの実施形態では、金融情報１１３６は、銀行口座または投資口座等の、その人物に関連付けられた１つまたは複数の金融口座の残高を示す。
【0116】
なお、上記の例は、様々な実施形態において複数の形式の情報をユーザーとどのようにやり取りできるかを例示しているものであり、ディスプレイ１１３０は、識別情報１１３２、健康情報１１３４、金融情報１１３６および／または他の情報１１３８の一部のみを有する場合もある。
【0117】
一般的に、患者は医療従事者に直接相談するか、パスワードまたはパスコードでアクセスできるオンラインデータベースを介して、電子健康記録に対するアクセスや更新を行う。セクションＩＩで説明したように、本発明者は、上記のように人の眼底網膜の撮像画像を使用して人物特定を行うように構成された生体認証セキュリティシステムによって、パスワードおよびパスコードよりも堅牢な保護をもたらすとともに、既存の生体認証セキュリティシステムよりも低い本人拒否率および他人受入率を達成できることを確認した。患者の健康情報へのアクセスを可能にし、患者自身で自分の健康情報を容易に更新できることを可能とするにあたっては、患者の健康情報のセキュリティ保護と機密性が重要な課題となる。電子健康記録が保護されていない、または保護が不十分である場合、患者とその医療従事者以外の人物によって、機密性の高い健康情報にアクセスされるおそれがある。このように機密保護が失われると、自身の情報が非公開であるという信頼を患者が持てなくなり、医師の診察を受けることを止めてしまうかもしれない。さらに、もし患者の電子健康記録が偽造や改ざんされた場合、医療従事者は適切な診断を行うことができない。したがって、本発明者は、生体認証システムを使用して健康情報に安全にアクセスするためのシステムを開発した。このシステムによって、機密性およびセキュリティを維持しながら、患者が自分の健康情報に容易にアクセスできる。
【0118】
いくつかの実施形態では、デバイス１２０ａまたはデバイス１２０ｂは、たとえ対象者が意識を失っていても、その人物を特定し、その人物の電子健康記録にアクセスできるように構成される。例えば、自然災害等の、大量の死傷者を出す事故が発生した際に、意識を失っている被害者の特定を行って、その人物の電子健康記録をデバイス１２０ａまたはデバイス１２０ｂを介して取得できる。例えば、ＥＭＴ（救命士）等のファーストレスポンダーは、デバイスを用いて各人物を特定して健康情報にアクセスできるため、トリアージをより正確に行える。このように、本デバイスは、自然災害等の事象に対して、迅速かつ組織的な方法で対応することを可能とする。
【0119】
図１２に示されるように、健康状態または他のアカウント情報は、ブロックチェーン等の分散型台帳（distributed ledger）の１つまたは複数のコンポーネントに格納してもよい。本発明者は、分散型台帳では、台帳に格納されたデータに加えられた変更が具体的に記録されることを確認した。例えば、台帳の各コンポーネントは、コンポーネントに加えられた変更の時間および／または範囲や、台帳内の他のコンポーネントに加えられた変更を反映するように更新される一意の識別子を有している。したがって、分散型台帳では、識別情報、ユーザアカウントデータ、金融データまたは健康情報等の、台帳に格納された情報が変更されたか否か、変更時期および変更の程度の検出を容易に行うことができる。本発明者は、生体認証システムを用いて電子健康記録の分散型台帳のコンポーネントへのアクセスをセキュリティ保護することにより、電子健康記録の正確性および機密性が向上することを確認した。いくつかの実施形態では、分散型台帳に格納された健康情報の変更は、当該健康情報に関連付けられている人物、またはその人物の医師等の認定された医療従事者によってのみ行うことができる。
【0120】
様々な実施形態においては、分散型台帳のコンポーネントは、ユーザアカウントデータ、金融データ、電子健康記録等の健康情報、格納画像データおよび／または本人または他者に関連付けられた識別情報を有している。
【0121】
図１２は、ネットワーク１２６０を介してアクセス可能なコンポーネント１２２０および１２４０を含む例示的な分散型台帳１２００を表すブロック図である。分散型台帳１２００は、台帳のコンポーネント１２２０および１２４０が、デバイス１２０ａ、デバイス１２０ｂまたはコンピュータ１４０等の様々なデバイスおよびコンピュータに格納され、通信ネットワーク１６０を介してアクセス可能である、分散データ構造を実装している。例えば、いくつかの実施形態では、ネットワーク１２６０は、図１の通信ネットワーク１６０であり、コンポーネント１２２０および１２４０は、デバイス１２０ａおよび／もしくはコンピュータ１４０上に格納されるか、またはこれらにアクセスできる。あるいは、ネットワーク１２６０は通信ネットワーク１６０のサブネットワークであり、例えば、通信ネットワーク１６０全体に分散されているが通信ネットワーク１６０上の全てのデバイスにはアクセス可能ではないＰ２Ｐ（peer-to-peer : ピアツーピア）ネットワークである。非限定的な例では、分散型台帳１２００は、ブロックチェーンを実装し、コンポーネント１２２０および１２４０は、チェーン内の他のブロックにリンクされたブロックヘッダを備えたブロックとして機能する。
【0122】
コンポーネント１２２０は、ヘッダ１２２２およびデータ１２２４を有し、コンポーネント１２４０は、ヘッダ１２４２およびデータ１２４４を有している。様々な実施形態においては、データ１２２４および／または１２４４は、格納画像データ、電子健康記録等の健康情報、ユーザアカウントデータ、金融データおよび／または人に関連付けられた識別情報を含む。各ヘッダ１２２２および１２４２は、コンポーネント１２２０および１２４０に固有の一意の識別子（コンポーネント１２２０または１２４０を識別するためのアドレスまたはハッシュ等）を有している。識別子は、チェーン内の１つまたは複数の他のコンポーネントを逆方向および／または正方向に参照する情報を有している。例えば、コンポーネント１２２０および１２４０がリンクされている場合、ヘッダ１２２２は、コンポーネント１２４０を参照する情報を含み、ヘッダ１２４２は、コンポーネント１２２０を参照する情報を含む。代替的または追加的に、識別子は、変更が行われた時間または範囲等、各コンポーネントのデータ１２２４または１２４４に対して行われた変更に基づく情報を有している。いくつかの実施形態では、識別子は、他のコンポーネントの識別子および／またはコンポーネントのデータの変更に関連する情報を用いた数学演算によって算出される。例えば、コンポーネント１２２０のデータ１２２４は、個人の識別情報および／または電子健康記録を含み、これらは、更新された健康情報を含むように変更される。したがって、ヘッダ１２２２は、変更が行われたことや、場合によっては変更の範囲を表すために更新される。さらに、コンポーネント１２２０にリンクされた他のコンポーネントのヘッダもまた、コンポーネント１２２０の更新された識別子を含むように更新される。例えば、コンポーネント１２４０がコンポーネント１２２０にリンクされているいくつかの実施形態では、ヘッダ１２４２は、ヘッダ１２２２への変更に基づいて更新され、またこの逆も同様である。
【0123】
図１および２の実施形態では、デバイス１２０ａおよび／またはコンピュータ１４０は、分散型台帳の１つまたは複数のコンポーネントを格納する場合がある。代替的または追加的に、デバイス１２０ａおよび／またはコンピュータ１４０は、個人に関連付けられたデータ１２２４および／または１２４４を有する分散型台帳１２００のコンポーネント１２２０および／または１２４０にアクセスするように構成される。
【0124】
図１～１０Ｂの実施形態では、生体認証は、分散型台帳１２００のコンポーネント１２２０および／または１２４０からの格納画像データを使用して実行される。例えば、デバイス１２０ｂまたはコンピュータ１４０は、分散型台帳１２００のコンポーネント１２２０および／または１２４０から格納された画像データを取得する。さらに、識別情報は、コンポーネント１２２０および／または１２４０のデータ１２２４および／または１２４４の少なくとも一部として格納される。いくつかの実施形態では、コンポーネント１２２０のデータ１２２４は、格納された画像データに加え、データ１２４４の格納画像データに関連付けられた識別情報を格納しているコンポーネント１２４０へのリンクを有している。コンポーネント１２２０に格納された画像データが、撮像画像データと少なくとも所定の類似度を有すると判断されると、その人物に関連付けられた識別情報が、格納画像データを有するコンポーネント１２２０から取得されるか、またはリンクされたコンポーネント１２４０から取得される。
【0125】
ＩＶ．人の網膜画像に基づいて健康状態を判定するための手法
本発明者は、人の眼底網膜の撮像画像を使用して、その人物が特定の疾病に対する傾向を有しているかを判定する手法を開発した。例えば、人の眼底網膜の外観には、その人物が糖尿病、有害な心血管イベントまたはストレス等の様々な症状のリスクがあるか否かが示される。生体認証システムに健康状態判定を組み込むことによって、人物特定を行うための撮像画像データを使用して、その人物の健康状態を判定できるという効果がもたらされる。様々な実施形態において、人の眼底網膜の画像に基づくその人物の傾向の判定は、人物特定の前、途中または後に実行できる。例えば、この判定は、人物特定とは別に実行されるか、または人物特定中の追加または代替のステップとして実行される。
本発明者は、人の眼底網膜の撮像画像を使用して、その人物が特定の疾病に対する傾向を有しているかを判定する手法を開発した。例えば、人の眼底網膜の外観には、その人物が糖尿病、有害な心血管イベントまたはストレス等の様々な症状のリスクがあるか否かが示される。生体認証システムに健康状態判定を組み込むことによって、人物特定を行うための撮像画像データを使用して、その人物の健康状態を判定できるという効果がもたらされる。様々な実施形態において、人の眼底網膜の画像に基づくその人物の傾向の判定は、人物特定の前、途中または後に実行できる。例えば、この判定は、人物特定とは別に実行されるか、または人物特定中の追加または代替のステップとして実行される。
【0126】
人の眼底網膜の外観には、様々な医学的状態が示されることがわかっている。例えば、糖尿病性網膜症にかかっていた場合、細い血管の血管壁から突出する小さな膨らみや微小動脈瘤が観察され、網膜に体液や血液が漏れる場合もある。さらに、太い網膜血管が拡張し、径が不規則になる場合もある。網膜の神経線維が腫れることもある。黄斑浮腫等、網膜の中心部（黄斑）が腫れることもある。損傷した血管が閉塞し、網膜に新しい異常な血管が成長する場合もある。緑内障性視神経症、または緑内障にかかっていた場合、網膜神経節細胞の軸索の損失または二次的な損失に起因して、乳頭周囲のＲＮＦＬ（retinal nerve fiber layer : 網膜神経線維層）および乳頭陥凹が薄くなる場合がある。例えばＯＣＴによって示されるＲＮＦＬ欠損は、緑内障の最も初期の兆候の１つであることが確認されている。また、ＡＭＤ（age-related macular degeneration : 加齢性黄斑変性症）に罹患していた場合、黄斑の剥離および／または浮き上がり、網膜中央部の色素上皮層の下の黄色がかった物質等の黄斑色素沈着の異常や、黄斑ドルーゼン、末梢ドルーゼン、粒状パターンドルーゼン等のドルーゼンが観察される場合がある。輪郭のはっきりとした円形の色素沈着過剰、貨幣状湿疹および／または網膜下液等の地図状萎縮も、ＡＭＤの症状である場合がある。網膜の中心部にある視細胞の損傷は、シュタルガルト病の症状である場合がある。中心窩を取り巻く領域の溝は、黄斑浮腫の症状である場合がある。黄斑の穴は、黄斑円孔の症状である場合がある。焦点が合っていない光路の混濁は、飛蚊症の症状である場合がある。重度の視神経乳頭の破壊および／または下側の色素上皮からの分離は、網膜剥離の症状である場合がある。網膜の劣化は、網膜の変性を示している場合がある。黄斑の感覚網膜の上昇および／または色素上皮からの局部的な剥離は、ＣＳＲ（Central serous retinopathy : 中心性漿液性網膜症）の症状である場合がある。脈絡膜の色素細胞から発生する悪性腫瘍は、脈絡膜黒色腫の症状である場合がある。白内障に罹患していた場合、水晶体が不透明になる場合があり、また、蛍光寿命画像や２Ｄ網膜眼底画像にぼけが発生する場合もある。黄斑の蛍光寿命のリングが劇的に増加した場合や、中心窩内およびその周辺で細い血管が劣化した場合は、黄斑部毛細血管拡張症を罹患している可能性がある。ＲＮＦＬが薄くなった場合、アルツハイマー病やパーキンソン病の症状である場合がある。糖尿病性網膜症、緑内障および他の類似の状態は、適切に検査および治療されない場合、失明または重度の視覚障害につながる可能性がある。
【0127】
したがって、いくつかの実施形態では、本明細書に記載のシステムおよびデバイスは、人の眼底網膜の１つまたは複数の画像に基づいて、様々な医学的状態に対するその人物の傾向を判定するように構成される。例えば、特定の医学的状態の上記の兆候（例えば、加齢性黄斑変性症の兆候である黄斑剥離および／または浮き上がり（lifting））の１つまたは複数が画像から検出された場合、システムおよび／またはデバイスは、その人物が当該医学的状態に対する傾向を有していると判定する。この場合、システムまたはデバイスは、この傾向を本人に直接知らせたり、その人を担当する医療従事者に知らせたりすることが可能である。
【0128】
いくつかの実施形態では、システムおよびデバイスは、撮像および格納された画像に基づいてこのような医学的傾向の判定を行う。例えば、ＲＮＦＬの厚み減少等の兆候は、人物特定を行う際に、撮像画像を格納画像と比較することによって検出できる。このような症状の進行は、本人が誤って拒否される状況を招くおそれがあるため、既存の人物特定システムでは問題となるが、本明細書に記載のシステムは、対象者の医学的状態を判定する際にこのような相違点を考慮するように構成される。つまり、本発明者は、人の医学的状態の兆候を検出して判定するだけでなく、人物特定時にこのような医学的状態を考慮するように構成されたシステムおよびデバイスを開発した。
【0129】
代替的または追加的に、いくつかの実施形態では、システムおよびデバイスは、ＴＳＣからの１つまたは複数の出力に基づいて、前述したような医学的傾向の判定を行う。例えば、人の眼底網膜の１つまたは複数の画像がＴＳＣに入力され、ＴＳＣは、その人物の眼底網膜の特徴を表す１つまたは複数の出力を算出する。いくつかの実施形態では、各出力は、特定の画像の特定の部分にある医学的状態の兆候の尤度を表す。または、１つまたは複数の出力は、単一または複数の画像内の複数の医学的状態の兆候の尤度を表す。さらに、出力は、単一または複数の画像内の１つまたは複数の医学的状態の複数の兆候の尤度を表してもよい。出力は、１つまたは複数の画像内の複数の場所に存在する１つまたは複数の医学的状態の１つまたは複数の兆候の尤度を表してもよい。このようにして、ＴＳＣからの出力に基づいて、様々な医学的状態に対するその人物の傾向の判定を行うことができる。格納画像データもＴＳＣへの入力として用いられる場合、ＴＳＣからの出力は、上記のように人物特定を行うためだけでなく、出力に示される特徴に基づいて医学的状態を判定するためにも使用できる。
【0130】
いくつかの実施形態では、人物特定が成功すると、撮像画像データ内の眼底網膜の特徴の外観に基づいて、その人物の健康情報のリスク評価が更新される。例えば、図１の実施形態においては、リスク評価は、コンピュータ１４０上で更新されて、かつ／または、図１１のユーザインターフェイス１１００に表示するためにデバイス１２０ａに送られる。図２の実施形態においては、リスク評価は、デバイス１２０ｂ上で更新されて、かつ／または、ユーザインターフェイス１１００に表示される。
【0131】
Ｖ．人の網膜画像に基づいて健康状態を診断するための手法
さらに、本発明者は、人の眼底網膜の撮像画像を使用して、その人物の様々な健康状態または疾病を診断するための手法を開発した。例えば、いくつかの実施形態では、セクションＩＶに記載された健康状態のいずれかが、１回または複数回の人物特定において蓄積されたデータを用いて、人物特定前、人物特定中および／または人物特定成功後に診断される。代替的または追加的に、このような状態には、網膜芽細胞腫や、近視または弱視等の矯正可能な視力の問題が含まれる。上記の判定は、セクションＩＶに記載の方法で実施できる。図１の実施形態においては、コンピュータ１４０が、診断を実行し、診断の結果をデバイス１２０ａに提供する。図２の実施形態においては、デバイス１２０ｂが診断を実行し、診断の結果を提供する。いくつかの実施形態では、診断の結果は、代替的または追加的に、その人物の医師等の医療従事者に提供される。
さらに、本発明者は、人の眼底網膜の撮像画像を使用して、その人物の様々な健康状態または疾病を診断するための手法を開発した。例えば、いくつかの実施形態では、セクションＩＶに記載された健康状態のいずれかが、１回または複数回の人物特定において蓄積されたデータを用いて、人物特定前、人物特定中および／または人物特定成功後に診断される。代替的または追加的に、このような状態には、網膜芽細胞腫や、近視または弱視等の矯正可能な視力の問題が含まれる。上記の判定は、セクションＩＶに記載の方法で実施できる。図１の実施形態においては、コンピュータ１４０が、診断を実行し、診断の結果をデバイス１２０ａに提供する。図２の実施形態においては、デバイス１２０ｂが診断を実行し、診断の結果を提供する。いくつかの実施形態では、診断の結果は、代替的または追加的に、その人物の医師等の医療従事者に提供される。
【0132】
ＶＩ．アプリケーション
前述したように、人の眼底網膜の撮像画像は、その人物の、人物特定、電子記録へのアクセス、デバイスのセキュリティ保護、健康状態の判定（特定の疾病や症状に対するその人物の傾向の判定を含む）および／または実際の疾病または健康状態（アルツハイマー病、糖尿病、特定の自己免疫疾病等）の診断を行うために使用される。さらに、本明細書に記載のシステムおよびデバイスは、人のバイタルサイン、血圧、心拍数および／または赤血球数および白血球数を求めるように構成される。さらに、本明細書に記載のシステムおよびデバイスは、超音波プローブ、ＭＲＩ（磁気共鳴画像法）システム等の他の医療装置と共に使用するように構成できる。本明細書に記載のシステムおよびデバイスで使用可能な超音波プローブの例は、「汎用超音波装置並びに関係する装置及び方法」と題された米国特許出願公開第２０１７／０３６０３９７号明細書に記載されている。本明細書に記載のシステムおよびデバイスで使用可能なＭＲＩシステムの例は「磁気共鳴撮像方法および装置のための電磁シールド」と題された米国特許出願公開第２０１８／０１６４３９０号明細書に記載されている。
前述したように、人の眼底網膜の撮像画像は、その人物の、人物特定、電子記録へのアクセス、デバイスのセキュリティ保護、健康状態の判定（特定の疾病や症状に対するその人物の傾向の判定を含む）および／または実際の疾病または健康状態（アルツハイマー病、糖尿病、特定の自己免疫疾病等）の診断を行うために使用される。さらに、本明細書に記載のシステムおよびデバイスは、人のバイタルサイン、血圧、心拍数および／または赤血球数および白血球数を求めるように構成される。さらに、本明細書に記載のシステムおよびデバイスは、超音波プローブ、ＭＲＩ（磁気共鳴画像法）システム等の他の医療装置と共に使用するように構成できる。本明細書に記載のシステムおよびデバイスで使用可能な超音波プローブの例は、「汎用超音波装置並びに関係する装置及び方法」と題された米国特許出願公開第２０１７／０３６０３９７号明細書に記載されている。本明細書に記載のシステムおよびデバイスで使用可能なＭＲＩシステムの例は「磁気共鳴撮像方法および装置のための電磁シールド」と題された米国特許出願公開第２０１８／０１６４３９０号明細書に記載されている。
【0133】
本開示の技術のいくつかの態様および実施形態について上記したが、当業者であれば、様々な変更、修正および改善を容易に行うことが可能である。そのような変更、修正および改善は、本明細書に記載の技術の精神および範囲内にあることを意図している。例えば、本明細書に記載の機能を実行し、その結果および１つもしくは複数の効果を得るための、様々な手段および／または構造を当業者であれば容易に想到できるが、このような修正例および／または変形例は、本明細書に記載の実施形態の範囲内であると見なされる。当業者であれば、本明細書に記載の特定の実施形態と同等のものを多く認識し、または通常の実験のみによって確認できるであろう。したがって、上記の実施形態は単なる例示であり、添付の特許請求の範囲および同等の範囲内で、本発明の実施形態は、明示された方法以外の方法で実施できると理解される。さらに、本明細書に記載の２つ以上の特徴、システム、物品、材料、キットおよび／または方法の任意の組み合わせは、そのような特徴、システム、物品、材料、キットおよび／または方法が相互に矛盾する場合を除いて、本開示の範囲内である。
【0134】
上記の実施形態は、多くの方法で実施できる。処理または方法の実行を含む本開示の１つまたは複数の態様および実施形態は、処理または方法を実行または制御するために、デバイス（例えば、コンピュータ、プロセッサまたは他のデバイス）によって実行可能なプログラム命令を利用する。この点に関して、様々な発明概念は、１つまたは複数のコンピュータまたは他のプロセッサで実行されると上記の様々な実施形態の１つまたは複数を実施する方法を実行する１つまたは複数のプログラムがコード化されたコンピュータ可読記憶媒体（または複数のコンピュータ可読記憶媒体）（例えば、コンピュータメモリ、１つまたは複数のフロッピーディスク、コンパクトディスク、光ディスク、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイもしくは他の半導体デバイスの回路構成または他の有形コンピュータ記憶媒体）として具現化できる。１つまたは複数のコンピュータ可読媒体は可搬型であってもよく、格納された１つまたは複数のプログラムを１つまたは複数の異なるコンピュータまたは他のプロセッサに展開して、上記の様々な態様を実行可能としてもよい。いくつかの実施形態では、コンピュータ可読媒体は、非一時的媒体である。
【0135】
「プログラム」または「ソフトウェア」という用語は、本明細書では一般的な意味で使用され、上記のような様々な態様を実装するようにコンピュータまたは他のプロセッサをプログラムするために使用できる任意の種類のコンピュータコードまたはコンピュータ実行可能命令のセットを指す。さらに、一態様においては、実行されたときに本開示の方法を実施する１つまたは複数のコンピュータプログラムは、単一のコンピュータまたはプロセッサ上に存在する必要はなく、多数の異なるコンピュータまたはプロセッサにモジュール方式で分散されて、本開示の様々な態様を実施する。
【0136】
コンピュータ実行可能命令には、プログラムモジュール等、１つまたは複数のコンピュータまたは他の装置によって実行される多くの形式を用いることができる。一般に、プログラムモジュールには、特定のタスクを実行したり、特定の抽象データ型を実装したりするルーチン、プログラム、オブジェクト、コンポーネント、データ構造等が含まれる。概して、プログラムモジュールの機能は、様々な実施形態において任意に組み合わされ、または分散される。
【0137】
また、データ構造は、任意の適切な形式でコンピュータ可読媒体に格納できる。説明を簡単にするために、データ構造は、データ構造内の場所を介して関連するフィールドを持つように示されている場合がある。このような関係は、フィールド間の関係を示すコンピュータ可読媒体内の場所を備えたフィールドにストレージを割り当てることによっても達成できる。しかしながら、データ構造のフィールド内の情報間の関係を確立するためにはいずれの好適な構造を用いてもよく、例えば、データ要素間の関係を確立するポインタ、タグまたは他の構造を使用できる。
【0138】
ソフトウェアに実装された場合、ソフトウェアコードは、単一のコンピュータで提供されるか、複数のコンピュータに分散されるかにかかわらず、任意の適切なプロセッサまたはプロセッサの集まりで実行できる。
【0139】
さらに、コンピュータは、非限定的な例として、ラックマウント型コンピュータ、デスクトップコンピュータ、ラップトップコンピュータまたはタブレットコンピュータ等のいくつかの形態のいずれかで具体化できる。または、コンピュータは、ＰＤＡ（携帯情報端末）、スマートフォンまたは他の好適な携帯型もしくは固定型の電子デバイス等の、一般にコンピュータとは見なされないが適宜の処理能力を備えたデバイスに内蔵される。
【0140】
また、コンピュータは、１つまたは複数の入力デバイスおよび出力デバイスを備えていてもよい。これらのデバイスは、一例としては、ユーザインターフェイスを提供するために使用できる。ユーザインターフェイスを提供するために使用できる出力デバイスの例としては、出力を視覚的に提供するプリンタまたはディスプレイ画面や、出力を可聴的に提供するスピーカおよび他の音声生成デバイスが挙げられる。ユーザインターフェイスに使用できる入力デバイスの例としては、キーボード、マウス等のポインティングデバイス、タッチパッド、ディジタイズ用タブレット等が挙げられる。別の例では、コンピュータは、音声認識または他の可聴形式で入力情報を受け取る。
【0141】
このようなコンピュータは、ローカルエリアネットワーク、エンタープライズネットワーク等のワイドエリアネットワーク、ＩＮ（intelligent network : インテリジェントネットワーク）、インターネット等の、任意の適切な形態の１つまたは複数のネットワークによって相互接続される。このようなネットワークは、任意の適切な技術に基づき、任意の適切なプロトコルに従って動作し、無線ネットワーク、有線ネットワークまたは光ファイバーネットワークを含む。
【0142】
さらに、前述の通り、いくつかの態様は、１つまたは複数の方法として具体化できる。いくつかの実施形態では、本明細書に記載の１つまたは複数の手法の態様を方法に組み込むことができる。
【0143】
例えば、図１３Ａのフロー図に示す例示的方法１３００ａは、上記実施形態の一部または全部において、ステップ１３２０ａで、人の眼底網膜の第１の画像に関連付けられ、かつ／または第１の画像を含む第１の画像データを、通信ネットワークを介して（例えば、クラウドに）送信することと、ステップ１３４０ａで、通信ネットワークを介してその人物の身元を受信することとを含んでいる。
【0144】
図１３Ｂのフロー図に示す例示的方法１３００ｂは、上記実施形態の一部または全部において、ステップ１３２０ｂで、人の眼底網膜の第１の画像に関連付けられ、かつ／または第１の画像を含む第１の画像データに基づいてその人物の特定を行うことと、ステップ１３４０ｂで身元を検証することとを含む。いくつかの実施形態では、ステップ１３２０ａは、代替的または追加的に、第１の画像データに示される複数種類の特徴のうちの第１の特徴に基づいて人物特定を行うことを含み、１３４０ｂは、複数種類の特徴のうちの第２の特徴に基づいて身元の検証を行う。
【0145】
図１３Ｃのフロー図に示す例示的方法１３００ｃは、上記実施形態の一部または全部において、ステップ１３２０ｃで、人の眼底網膜の第１の画像に関連付けられ、かつ／または第１の画像を含む第１の画像データに基づいてその人物の特定を行うことと、ステップ１３４０ｃで複数の網膜眼底画像に関連付けられた格納データを更新することとを含む。
【0146】
図１３Ｄのフロー図に示す例示的方法１３００ｄは、上記実施形態の一部または全部において、ＴＳＣ（訓練された統計分類子）への第１の入力として、ステップ１３２０ｄで、人の眼底網膜の第１の画像に関連付けられ、かつ／または第１の画像を含む第１の画像データを提供することと、ステップ１３４０ｄでその人物の特定を行うこととを含む。
【0147】
図１３Ｅのフロー図に示す例示的方法１３００ｅは、上記実施形態の一部または全部において、ステップ１３２０ｅで、人の眼底網膜の第１の画像に関連付けられ、かつ／または第１の画像を含む第１の画像データに基づいてその人物の特定を行うことと、ステップ１３４０ｅでその人物の医学的状態を判定することとを含む。
【0148】
図１３Ｆのフロー図に示す例示的方法１３００ｇは、上記実施形態の一部または全部において、ＴＳＣ（訓練された統計分類子）への第１の入力として、ステップ１３２０ｆで人の眼底網膜の第１の画像に関連付けられ、かつ／または第１の画像を含む第１の画像データを提供することと、ステップ１３４０ｆで、ＴＳＣの少なくとも１つの出力に基づいて、その人物の特定を行うことと、ステップ１３６０ｆでその人物の医学的状態を判定することとを含む。
【0149】
上記方法の一部として実行される行為は、任意の適切な順序で実行できる。したがって、例示された順序とは異なる順序で動作が行われるように実施形態が構成される場合もある。例示した実施形態においては連続的に実行されている動作が、同時に実行される場合もある。
【0150】
本明細書で定義および使用される全ての定義は、辞書の定義、参照により組み込まれる文書内の定義および／または定義された用語の通常の意味に優先して適用される。
本明細書および特許請求の範囲で使用される「１つの」は、内容が明らかに異なることを示していない限り、「少なくとも１つ」を意味すると理解される。
本明細書および特許請求の範囲で使用される「１つの」は、内容が明らかに異なることを示していない限り、「少なくとも１つ」を意味すると理解される。
【0151】
本明細書および特許請求の範囲で使用される「および／または」という用語は、この用語によって接続された要素の「一方または両方」を指すと理解され、つまり、接続的に理解される場合と、離接的に理解される場合がある。「および／または」という用語とともに列挙された複数の要素も同様に解釈され、つまり、列挙された要素のうちの「１つまたは複数」を指す。「および／または」を用いて具体的に特定された要素以外の要素も、具体的に特定された要素に関連するか否かにかかわらず、任意的に存在していてもよい。したがって、非限定的な例として、「Ａおよび／またはＢ」は、「備える」等の非制限語句と組み合わせて使用される場合において、一実施形態では、Ａのみ（任意的にＢ以外の要素も含む）を意味し、別の実施形態では、Ｂのみ（任意的にＡ以外の要素も含む）を意味し、さらに別の実施形態では、ＡおよびＢの両方（任意的に他の要素も含む）を意味する。
【0152】
本明細書の明細書および特許請求の範囲において、１つまたは複数の要素の列挙を参照する「少なくとも１つ」という句は、その列挙された要素のうちの１つまたは複数の要素から選択される少なくとも１つの要素を指すと理解されるが、列挙された要素において具体的に挙げられている全ての要素のそれぞれを少なくとも１つ含む必要はなく、列挙された要素のうちの要素の組み合わせを除外するものではない。この定義においてはまた、「少なくとも１つ」という句が参照する列挙された要素において具体的に特定された要素以外の要素も、具体的に特定された要素に関連するか否かにかかわらず、任意的に存在していてもよい。したがって、非限定的な例として、「ＡおよびＢの少なくとも１つ」（同様に「ＡまたはＢの少なくとも１つ」または「Ａおよび／またはＢの少なくとも１つ」）は、一実施形態では、少なくとも１つ、任意的に２つ以上のＡを含み、Ｂが存在しない（および任意的にＢ以外の要素を含む）ことを意味し、別の実施形態では、少なくとも１つ、任意的に２つ以上のＢを含み、Ａが存在しない（および任意的にＡ以外の要素を含む）ことを意味し、さらに別の実施形態では、少なくとも１つ、任意的に複数のＡを含み、少なくとも１つ、任意的に複数のＢを含む（および任意的に他の要素を含む）ことを意味する。
【0153】
また、本明細書で使用される表現および用語は説明を目的とするものであり、限定的ではない。本明細書における「含む」、「備える」、「有する」、「持つ」、「用いる」およびこれらの変形は、その後に記載される項目およびその同等物ならびに追加の項目を包含することを意味する。
【0154】
特許請求の範囲および上記の明細書において、「備える」、「含む」、「持つ」、「有する」、「構成されている」、「伴う」、「保持する」、「構成する」等の全ての移行句は、非制限語句であり、含むがこれに限定されないことを意味すると理解される。「からなる」および「本質的にからなる」の移行句のみが、制限語句または半制限語句として理解される。
【図1】
【図2】
【図3】
【図4】
【図5A-C】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13A】
【図13B】
【図13C】
【図13D】
【図13E】
【図13F】
【図14A】
【図14B】
【図15】
【図16A】
【図16B】
【図16C】
【図16D】
【国際調査報告】