特表 2022-507811 遠隔眼科学における網膜テンプレート合致のためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-01-18

(54)【発明の名称】遠隔眼科学における網膜テンプレート合致のためのシステムおよび方法

(51)【国際特許分類】

   A61B 3/14 20060101AFI20220111BHJP

   A61B 3/10 20060101ALI20220111BHJP

   A61B 10/00 20060101ALI20220111BHJP

【ＦＩ】

A61B3/14

A61B3/10 100

A61B3/10 300

A61B10/00 U

A61B10/00 K

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021527904

(86)(22)【出願日】2019-11-20

(85)【翻訳文提出日】2021-07-13

(86)【国際出願番号】 US2019062327

(87)【国際公開番号】W WO2020106792

(87)【国際公開日】2020-05-28

(31)【優先権主張番号】62/770,612

(32)【優先日】2018-11-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】517075883

【氏名又は名称】ユニバーシティ オブ ワシントン

【氏名又は名称原語表記】Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｗａｓｈｉｎｇｔｏｎ

【住所又は居所原語表記】４５４５ Ｒｏｏｓｅｖｅｌｔ Ｗａｙ ＮＥ， Ｓｕｉｔｅ ４００， Ｓｅａｔｔｌｅ， Ｗａｓｈｉｎｇｔｏｎ ９８１０５ ＵＳ

(71)【出願人】

【識別番号】514108838

【氏名又は名称】マジック リープ， インコーポレイテッド

【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．

【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】シーベル， エリック ジェイ．

(72)【発明者】

【氏名】ゴン， チェン

(72)【発明者】

【氏名】ブラントン， スティーブン エル．

(72)【発明者】

【氏名】エリクソン， ニルス ベンジャミン

(72)【発明者】

【氏名】トルトイウ， ローラ

(72)【発明者】

【氏名】ショーウェンガート， ブライアン ティー．

【テーマコード（参考）】

4C316

【Ｆターム（参考）】

4C316AA09

4C316AA21

4C316AA30

4C316AB02

4C316AB11

4C316AB12

4C316AB16

4C316FB05

4C316FB21

4C316FB23

4C316FB26

4C316FC04

4C316FC28

(57)【要約】

網膜画像テンプレート合致方法は、ポータブル低費用眼底カメラ（例えば、典型的には、スマートフォンまたはタブレットコンピュータの中に組み込まれる消費者等級カメラ）を用いて捕捉された画像とベースライン画像との間の位置合わせおよび比較に基づく。本方法は、そのようなカメラを用いて捕捉された小さい低品質の網膜テンプレート画像を位置合わせすることによって課される課題を解決する。本発明者らの方法は、次元削減方法を相互情報（ＭＩ）ベースの画像位置合わせ技法と組み合わせる。特に、主成分分析（ＰＣＡ）および随意に、ブロックＰＣＡが、テンプレート画像をベースライン画像に大まかに位置特定するための次元削減方法として使用され、次いで、結果として生じる変位パラメータが、テンプレート画像とベースライン画像の最近接領域との位置合わせのためのＭＩメトリック最適化を初期化するために使用される。

【特許請求の範囲】

【請求項1】

対象の網膜を監視するための方法であって、
（ａ）ポータブル眼底カメラを用いて捕捉された前記網膜の小さい視野（ＦＯＶ）（「テンプレート」）画像のセットを取得するステップと、
（ｂ）ベースライン画像およびテンプレート画像に関する次元削減および前記テンプレート画像を前記ベースライン画像の一部に位置合わせするための相互情報位置合わせ方法を使用して、前記テンプレート画像を前記網膜の以前に捕捉された広いＦＯＶベースライン画像に合致させるステップと、
（ｃ）前記テンプレート画像の位置合わせされたセットを前記ベースライン画像と比較し、前記テンプレート画像の位置合わせされたセットと前記ベースライン画像との間の任意の差異を検出するステップであって、任意の差異は、前記網膜または前記対象の条件の発生または変化を示す、ステップと
を含む、方法。

【請求項2】

ステップｂ）において、前記ベースライン画像は、多数のより小さいオフセット標的画像にクロッピングされ、前記テンプレート画像および前記標的画像はそれぞれ、主成分分析によってより低次元の空間における表現に変換され、前記合致させるステップｂ）において、大まかな位置特定ステップが、前記テンプレート画像のそれぞれに最近傍の前記より低次元の空間における標的画像を見出すために実施され、前記相互情報位置合わせ方法および前記ベースライン画像上への前記テンプレート画像の場所を使用して、前記テンプレート画像およびその最近傍の標的画像の位置合わせが続く、請求項１に記載の方法。

【請求項3】

前記ポータブル眼底カメラは、頭部装着網膜撮像デバイス、光コヒーレンストモグラフィ（ＯＣＴ）特徴をさらに含む眼底カメラおよびフライングスポット走査装置設計、ポータブル走査レーザ検眼鏡、前記網膜を撮像するために適合されるカメラを含む専用ハンドヘルドデバイス、および眼の写真を撮影することを補助するための装置とともに構成されるスマートフォンまたはタブレットコンピュータ内に埋設されるカメラから成るデバイスの群から選択される、請求項１または請求項２に記載の方法。

【請求項4】

前記ベースライン画像に位置合わせされる前記テンプレート画像から成るモザイクを用いて前記ベースライン画像を更新するステップをさらに含む、請求項１－３のいずれかに記載の方法。

【請求項5】

前記条件は、高血圧、虐待による頭部外傷、糖尿病性網膜症、および緑内障から成る医学的条件の群から選択される、請求項１－４のいずれかに記載の方法。

【請求項6】

狭い視野のテンプレート画像を広い視野の以前に取得されたベースライン画像に位置合わせするコンピュータ実装方法であって、
（１）前記ベースライン画像を多数のより小さいオフセット標的画像にクロッピングするステップと、
（２）次元削減方法を適用し、前記オフセット標的画像をより低次元の空間における表現にマッピングするステップと、
（３）前記次元削減方法を使用して、前記テンプレート画像を前記より低次元の空間にマッピングするステップと、
（４）前記より低次元の空間において前記テンプレート画像に関する対応する最近傍の標的画像を見出すステップと、
（５）前記テンプレート画像を前記最近傍の標的画像に位置合わせするステップと、
（６）前記最近傍の標的画像の位置に基づいて、前記ベースライン画像上の前記テンプレート画像の場所を識別するステップと、
（７）ステップ（６）において識別された前記場所において、前記テンプレート画像を前記ベースライン画像に位置合わせするステップと
を含む、方法。

【請求項7】

前記ベースライン画像は、眼底画像を備える、請求項６に記載の方法。

【請求項8】

前記テンプレート画像は、ポータブル眼底カメラによって捕捉された画像を備える、請求項７に記載の方法。

【請求項9】

前記ポータブル眼底カメラは、眼の写真を撮影することを補助するための装置とともに構成されるスマートフォンまたはタブレットコンピュータ内に埋設されるカメラを備える、請求項８に記載の方法。

【請求項10】

請求項６に記載の前記処理ステップは、前記スマートフォンまたはタブレットコンピュータ内の処理ユニットにおいて実施される、請求項９に記載の方法。

【請求項11】

ステップ（５）における前記位置合わせは、相互情報手順を採用する、請求項６に記載の方法。

【請求項12】

ステップ（２）および（３）の前記次元削減方法は、主成分分析を備える、請求項６に記載の方法。

【請求項13】

ステップ（４）において、前記見出すステップは、ブロック主成分分析を使用して実施される、請求項６に記載の方法。

【請求項14】

前記眼底画像は、前記対象の瞳孔の化学的拡張を伴わずに取得される、請求項７に記載の方法。

【請求項15】

前記対象の注視位置を決定するステップをさらに含む、請求項６に記載の方法。

【請求項16】

前記位置合わせされたテンプレート画像から前記眼内に外科手術ツールを配置するステップをさらに含む、請求項６に記載の方法。

【請求項17】

ポータブル眼底カメラであって、
カメラと、
眼の内部の画像を収集することを促進する前記カメラに結合される光学デバイスと、
処理ユニットと、
処理ユニットのための命令を記憶するメモリであって、前記命令は、請求項６－１５のいずれかに記載の手順を実施するためのコードの形態である、メモリと
を備える、ポータブル眼底カメラ。

【請求項18】

前記カメラは、スマートフォンまたはタブレットコンピュータ内に組み込まれる、請求項１７に記載のポータブル眼底カメラ。

【請求項19】

前記カメラは、頭部搭載仮想または拡張現実ユニットの中に組み込まれる、ポータブル眼底カメラ。

【請求項20】

多数の小さい視野の画像から広い視野のモザイク画像を組み立てるための方法であって、
（ａ）ＰＣＡを使用して、前記小さい視野の画像Ｘ＝Ｘ_１，Ｘ_２，．．．Ｘ_ｎをより低次元の空間にマッピングするステップと、
（ｂ）前記小さい視野の画像Ｘ_ｉのそれぞれに関して、
（１）特徴距離Δ（Ｚ_ｉ，Ｚ_ｊ）を最小限にすることによって、最近傍の近隣の小さい視野の画像を見出すステップであって、Ｚ_ｉ，Ｚ_ｊは、ｉ番目およびｊ番目の画像Ｘ_ｉおよびＸ_ｊの主要成分を表す、ステップと、
（２）各Ｘ_ｉとステップ（１）において見出された前記最近傍の近隣との間の相互情報（ＭＩ）を算出し、最も高いＭＩを伴うその画像を隣接する画像として指定するステップと、
（ｃ）ＭＩベースの位置合わせ方法を使用して、ステップ（ｂ）（２）から決定された前記隣接する画像のうちの少なくともいくつかを整合させるステップと
を含む、方法。

【請求項21】

前記小さい視野の画像は、眼底画像を備える、請求項２０に記載の方法。

【請求項22】

ポータブル網膜監視システムであって、前記ポータブル網膜監視システムは、経時的に網膜を監視し、捕捉された小さい視野（ＦＯＶ）画像を前記網膜の以前に捕捉された広いＦＯＶベースライン画像に位置合わせし、それらを比較することによって、前記網膜の変化を検出するように構成される、ポータブル網膜監視システム。

【請求項23】

ポータブル眼底カメラ（ＰＦＣ）を備える、請求項２２に記載のシステム。

【請求項24】

頭部装着網膜撮像デバイスを備える、請求項２２に記載のシステム。

【請求項25】

前記頭部装着網膜撮像デバイスは、光コヒーレンストモグラフィ（ＯＣＴ）をさらに含む眼底カメラおよびフライングスポット走査装置設計を備える、請求項２４に記載のシステム。

【請求項26】

テンプレート合致は、捕捉された小さいＦＯＶ画像を前記網膜の以前に捕捉された広いＦＯＶベースライン画像に位置合わせし、それらを比較するステップを含み、さらに、次元削減を用いた大まかな位置特定および相互情報（ＭＩ）メトリックを使用する正確な位置合わせを含む、請求項２２に記載のシステム。

【請求項27】

前記テンプレート合致は、様々な品質の画像を合致させるように構成される、請求項２６に記載のシステム。

【請求項28】

前記主成分分析（ＰＣＡ）方法の効率を高めるためのランダム化特異値分解を備える次元削減能力をさらに備える、請求項２６に記載のシステム。

【請求項29】

前記網膜画像は、ポータブル眼底カメラ（ＰＦＣ）によって入手される、請求項２２に記載のシステム。

【請求項30】

前記網膜画像は、ポータブル走査レーザ検眼鏡（ＰＳＬＯ）等の光学走査デバイスによって入手される、請求項２２に記載のシステム。

【請求項31】

前記網膜画像は、ポータブル光コヒーレンストモグラフィ（ＰＯＣＴ）等の光コヒーレンス測定デバイスによって入手される、請求項２２に記載のシステム。

【請求項32】

前記完全ベースライン網膜画像は、前記捕捉された小さいＦＯＶ網膜画像によって更新される、請求項２２に記載のシステム。

【請求項33】

隣接する画像を合致させる際の次元削減およびモザイク化のために隣接する画像対を位置合わせする相互情報（ＭＩ）ベースの位置合わせ方法を利用する、画像モザイク化方法。

【請求項34】

一般的画像のテンプレート合致を実施するように構成される、テンプレート合致方法。

【請求項35】

本明細書に説明および／または例証されるような１つ以上の構成要素を備える、システム。

【請求項36】

本明細書に説明および／または例証されるような１つ以上の要素を備える、デバイス。

【請求項37】

本明細書に説明および／または例証されるような１つ以上のステップを含む、方法。

【請求項38】

非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、その上に記憶されるコンピュータ実行可能命令を有しており、前記コンピュータ実行可能命令は、コンピューティングデバイスの１つ以上のプロセッサによって実行される場合、前記コンピューティングデバイスに、本明細書に説明および／または例証されるような１つ以上のステップを実施させる、非一過性コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（優先権）
本願は、その内容が、参照することによって本明細書に組み込まれる、２０１８年１１月２１日に出願された米国仮出願第６２／７７０，６１２号の優先権の利益を主張する。

【0002】

（分野）
本開示は、眼底の小さい視野の画像を以前に取得されたベースラインの広い視野の画像に合致させ、位置合わせするためのシステムおよび方法に関する。ベースライン画像は、例えば、眼科診療所において見出されるタイプの眼底カメラによって取得される広い視野の眼底画像の形態をとることができる。代替として、ベースライン画像は、以前に取得されたステッチまたは位置合わせされた画像からの眼底のうちのいくつかまたは全ての合成またはモザイク画像であり得る。用語「ベースライン画像」は、いずれかの状況を網羅するように解釈されることを意図している。

【0003】

本書では、用語「テンプレート」、または代替として、「テンプレート画像」は、ベースライン画像と合致および位置合わせされるべき小さい視野の画像を指すために使用される。「遠隔眼科学」は、遠隔で、すなわち、患者が従来的な眼科診療所に物理的に存在しない状態で、患者の網膜の健康状態および視覚性能を監視する実践を指すために使用される。監視は、本開示のポータブル眼底カメラのうちの１つを用いて、その眼科医からの直接入力を伴わずに患者によって、または情報および眼底画像を共有するためにコンピュータネットワークを使用して、遠隔に位置する患者およびその眼科医によって行われ得る。

【背景技術】

【0004】

最近では、遠隔眼科学が、眼底の画像を取得する、スマートフォンにおいて見出されるもの等の消費者等級カメラの能力によって促進されている。自宅設定における人物によって捕捉された眼底の画像は、コンピュータネットワークを経由して送信され、その人物の眼科医によって研究され、それによって、その人物が眼科診療所を物理的に訪れることなく、眼の健康状態の監視を可能にすることができる。加えて、新たに出現した仮想および混合現実の分野は、頭部装着眼撮像および監視に関する新しい遠隔眼科学シナリオを可能にし得る。これらの新たに出現した技術を高度な画像処理アルゴリズムと組み合わせることによって、健康状態の長期的または縦断的監視が、人物の日常生活において網膜を撮像することによって初めて提供されることができる。

【0005】

スマートフォンと組み合わせられるように設計されるデバイスを含む、これらの新しいポータブル眼底カメラ（ＰＦＣ）の実施例は、多くの源から商業的に入手可能である、あるいは文献に説明されている。例えば、米国特許第８，８３６，７７８号の「Ｄ－Ｅｙｅ」として公知のスマートフォンを組み込むデジタル眼底カメラ製品（ｈｔｔｐｓ：／／ｗｗｗ．ｄ－ｅｙｅｃａｒｅ．ｃｏｍおよびＲＮ Ｍａａｍａｒｉ， ｅｔ ａｌ．， 「Ａ ｍｏｂｉｌｅ ｐｈｏｎｅ－ｂａｓｅｄ ｒｅｔｉｎａｌ ｃａｍｅｒａ ｆｏｒ ｐｏｒｔａｂｌｅ ｗｉｄｅ ｆｉｅｌｄ ｉｍａｇｉｎｇ」 Ｂｒｉｔｉｓｈ Ｊｏｕｒｎａｌ ｏｆ Ｏｐｈｔｈａｌｍｏｌｏｇｙ９８（４）：４３８ （２０１４）参照）を参照されたい。ポータブル走査レーザ検眼鏡（ＰＳＬＯ）（米国特許第６，７５８，５６４号参照）およびポータブル光コヒーレンストモグラフィ（ＰＯＣＴ）システム（米国特許第７，６４８，２４２号参照）である、他のポータブルレーザベースの撮像システムも、それらが臨床眼科撮像の主流になるにつれて、登場予定である。可視光撮像を使用する眼底カメラと異なり、これらのレーザベースの網膜撮像システムは、典型的には、赤外波長の光を使用する。加えて、拡張現実ヘッドセットが、眼底を撮像するために、カメラおよび補助的光学構成要素と適合されることができる。用語「ポータブル眼底カメラ」は、眼底の画像を捕捉するために使用されるように設計または適合される、任意のポータブル、例えば、ハンドヘルドまたは頭部装着デバイスを指すことを意図しており、上記および上記の特許および科学文献に説明されるデバイスを包含するように解釈される。

【0006】

網膜テンプレート合致および位置合わせは、これらの低費用かつポータブルな撮像デバイスを伴う遠隔眼科学における重要な課題である。これは、低品質撮像デバイスを用いて捕捉されたテンプレート画像を以前に取得された大きい視野（ＦＯＶ）ベースライン画像上に合致させることによって、網膜変化の定期的なスクリーニングおよび比較を可能にする。現在の画像と事前の画像との間の変化は、疾患の進行または改善、または疾患の発症を示し得る。典型的には、そのような低費用デバイスからの画像は、品質が低く、瞳孔が、眼科診療所において拡張されていないため、概して、はるかに小さいＦＯＶを有すると定義される。さらに、より低費用の検出器およびより低パワーの光源は、多くの異なる品質劣化を有する、訓練されていないユーザによる画像を入手する。新しいポータブル網膜撮像デバイスのこれらの属性は、ユーザの健康ステータスの変化を決定するために、小さいＦＯＶ画像（すなわち、「テンプレート」）を網膜の大きいＦＯＶまたはパノラマベースライン画像に合致させることに対する主要な課題を提示する。

【0007】

網膜画像位置合わせアプローチは、面積ベースおよび特徴ベースの方法に分類されることができる。特徴ベースの方法は、網膜画像内の抽出された顕著な物体の間の対応を最適化する。例えば、Ｃ． Ｖ． Ｓｔｅｗａｒｔ， ｅｔ ａｌ．， 「Ｔｈｅ ｄｕａｌ－ｂｏｏｔｓｔｒａｐ ｉｔｅｒａｔｉｖｅ ｃｌｏｓｅｓｔ ｐｏｉｎｔ ａｌｇｏｒｉｔｈｍ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｒｅｔｉｎａｌ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ」 ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｍｅｄｉｃａｌ ｉｍａｇｉｎｇ， ｖｏｌ． ２２， ｎｏ． １１， ｐｐ． １３７９-１３９４， ２００３を参照されたい。典型的には、分岐部、中心窩、および視神経円板が、網膜画像位置合わせのために使用される一般的特徴である。小さいＦＯＶテンプレートは、網膜上の具体的目印を含有する確率を殆ど有しておらず、したがって、中心窩および視神経円板は、適用可能ではない。血管分岐部が、より一般的であるが、同様に、テンプレート内の少量の分岐部は、ロバストな位置合わせの基礎を形成することができない。その上、不良品質の画像内の血管網の抽出は、困難である。これは、分岐部を標識化するとき、不明瞭な血管方向を引き起こし得る。ＳＩＦＴベース（Ｙ． Ｗａｎｇ， ｅｔ ａｌ． 「Ａｕｔｏｍａｔｉｃ ｆｕｎｄｕｓ ｉｍａｇｅｓ ｍｏｓａｉｃ ｂａｓｅｄ ｏｎ ｓｉｆｔ ｆｅａｔｕｒｅ」 ｉｎ Ｉｍａｇｅ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＣＩＳＰ）， ２０１０ ３ｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｇｒｅｓｓ ｏｎ， ｖｏｌ． ６． ＩＥＥＥ， ２０１０， ｐｐ． ２７４７-２７５１； Ｃ．－Ｌ． Ｔｓａｉ， ｅｔ ａｌ．， 「Ｔｈｅ ｅｄｇｅ－ｄｒｉｖｅｎ ｄｕａｌ－ｂｏｏｔｓｔｒａｐ ｉｔｅｒａｔｉｖｅ ｃｌｏｓｅｓｔ ｐｏｉｎｔ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ｍｕｌｔｉｍｏｄａｌ ｆｌｕｏｒｅｓｃｅｉｎ ａｎｇｉｏｇｒａｍ ｓｅｑｕｅｎｃｅ」 ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｍｅｄｉｃａｌ ｉｍａｇｉｎｇ， ｖｏｌ． ２９， ｎｏ． ３， ｐｐ． ６３６-６４９， ２０１０参照）およびＳＵＲＦベースの方法（Ｇ． Ｗａｎｇ， ｅｔ ａｌ．， 「Ｒｏｂｕｓｔ ｐｏｉｎｔ ｍａｔｃｈｉｎｇ ｍｅｔｈｏｄ ｆｏｒ ｍｕｌｔｉｍｏｄａｌ ｒｅｔｉｎａｌ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ」 Ｂｉｏｍｅｄｉｃａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｃｏｎｔｒｏｌ， ｖｏｌ． １９， ｐｐ． ６８-７６， （２０１５）， Ｃ． Ｈｅｒｎａｎｄｅｚ－Ｍａｔａｓ， ｅｔ ａｌ．， 「Ｒｅｔｉｎａｌ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ｂａｓｅｄ ｏｎ ｋｅｙｐｏｉｎｔ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ， ｓｐｈｅｒｉｃａｌ ｅｙｅ ｍｏｄｅｌｉｎｇ ａｎｄ ｃａｍｅｒａ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ」 ｉｎ Ｅｎｇｉｎｅｅｒｉｎｇ ｉｎ Ｍｅｄｉｃｉｎｅ ａｎｄ Ｂｉｏｌｏｇｙ Ｓｏｃｉｅｔｙ （ＥＭＢＣ）， ２０１５ ３７ｔｈ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ ＩＥＥＥ， ＩＥＥＥ， ２０１５， ｐｐ． ５６５０-５６５４）等の一般的特徴点ベースのアプローチもまた、網膜位置合わせにおいて実装される。これらのアプローチは、複雑なシナリオにおいて画像を位置合わせすることができ、算出的に効率的である。それらは、特徴点対が、確実に検出され、変換を推定するために合致され得ると仮定する。殆どの場合に適しているが、プロセスは、十分に明確に異なる特徴を伴わない低品質網膜画像上で失敗し得る。

【0008】

面積ベースのアプローチは、ＳＳＤ（自乗差の合計）Ｋ． Ｊ． Ｆｒｉｓｔｏｎ， ｅｔ ａｌ．， 「Ｓｐａｔｉａｌ ｒｅｇｉｓｔｒａｔｉｏｎ ａｎｄ ｎｏｒｍａｌｉｚａｔｉｏｎ ｏｆ ｉｍａｇｅｓ」 Ｈｕｍａｎ ｂｒａｉｎ ｍａｐｐｉｎｇ， ｖｏｌ． ３， ｎｏ． ３， ｐｐ． １６５-１８９， １９９５、ＣＣ（交差相関）（Ａ． Ｖ． Ｃｉｄｅｃｉｙａｎ， 「Ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ｏｃｕｌａｒ ｆｕｎｄｕｓ ｉｍａｇｅｓ： ａｎ ａｌｇｏｒｉｔｈｍ ｕｓｉｎｇ ｃｒｏｓｓ－ｃｏｒｒｅｌａｔｉｏｎ ｏｆ ｔｒｉｐｌｅ ｉｎｖａｒｉａｎｔ ｉｍａｇｅ ｄｅｓｃｒｉｐｔｏｒｓ」 ＩＥＥＥ Ｅｎｇｉｎｅｅｒｉｎｇ ｉｎ Ｍｅｄｉｃｉｎｅ ａｎｄ Ｂｉｏｌｏｇｙ Ｍａｇａｚｉｎｅ， ｖｏｌ． １４， ｎｏ． １， ｐｐ． ５２-５８， １９９５参照）、およびＭＩ（相互情報）（Ｙ．－Ｍ． Ｚｈｕ， 「Ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ－ｂａｓｅｄ ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ｔｅｍｐｏｒａｌ ａｎｄ ｓｔｅｒｅｏ ｒｅｔｉｎａｌ ｉｍａｇｅｓ ｕｓｉｎｇ ｃｏｎｓｔｒａｉｎｅｄ ｏｐｔｉｍｉｚａｔｉｏｎ」 Ｃｏｍｐｕｔｅｒ ｍｅｔｈｏｄｓ ａｎｄ ｐｒｏｇｒａｍｓ ｉｎ ｂｉｏｍｅｄｉｃｉｎｅ， ｖｏｌ． ８６， ｎｏ． ３， ｐｐ． ２１０-２１５， （２００７）参照）等の類似性測度下で画像対の強度差を合致させ、次いで、変換空間内を探索することによって、類似性測度を最適化する。ピクセルレベルの特徴検出を回避するため、そのようなアプローチは、特徴ベースのアプローチよりも不良品質の画像に対してロバストである。しかしながら、疎らな特徴および類似する背景を伴う網膜画像は、最適化を局所的極値に導く可能性が高い。加えて、テンプレートと完全画像との間のサイズ差が、大きすぎるとき、相互情報（ＭＩ、下記に説明される）を用いた位置合わせは、算出的に非常に高価であり得る。

【0009】

低品質を伴う小さい網膜テンプレート画像は、他の面積内に存在する均質な非血管面に類似する均質な非血管面をもたらし、これは、現在の網膜画像位置合わせ方法を適用不能にする。網膜テンプレート合致における課題を克服して、低費用撮像デバイスからのテンプレート画像をベースライン画像上に合致させるための方法が、本書に開示される。本アプローチは、整合位置の近傍の正確かつロバストなテンプレート合致を達成することが、より確実であるため、ＭＩメトリックを用いた面積ベースの方法に優る改良である。また、網膜テンプレート合致方法が、遠隔網膜健康状態監視に関して遠隔眼科学において提示されることは、これが初めてである。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】米国特許第８，８３６，７７８号公報

【発明の概要】

【課題を解決するための手段】

【0011】

遠隔網膜健康状態監視のために特に好適である、本明細書では「網膜合致」と称される、網膜画像テンプレート合致方法が、開示される。本開示の方法は、特に、診療所および定期的な眼処置へのアクセスが、距離および移動の困難および費用によって限定される、僻地において使用されることができる。網膜監視は、ポータブル低費用眼底カメラ（ＰＬＦＣ、例えば、スマートフォンまたはタブレットコンピュータの中に組み込まれるカメラ等の消費者等級カメラ）を用いて遠隔で捕捉された画像とベースライン画像との間の位置合わせおよび比較に基づく。網膜合致は、そのようなカメラを用いて捕捉された小さい低品質の網膜テンプレート画像を位置合わせすることによって課される課題を解決する。

【0012】

本発明者らの方法は、次元削減方法を相互情報（ＭＩ）ベースの画像位置合わせ技法と組み合わせる。特に、主成分分析（ＰＣＡ）および随意に、ブロックＰＣＡが、テンプレート画像をベースライン画像に大まかに位置特定するための次元削減方法として使用され、次いで、結果として生じる変位パラメータが、テンプレート画像とベースライン画像の最近接領域との位置合わせのためのＭＩメトリック最適化を初期化するために使用される。最適な位置の近傍の初期化を用いて、最適化のための変換探索空間は、有意に狭化される。

【0013】

また、個々のテンプレート画像のセットからパノラマまたはモザイク画像を構築する方法を開示する。次元削減はまた、テンプレート画像モザイク化の処理において実装されることができ、これは、重複された画像パッチの合致を高速化する。加えて、新しい画像モザイク化方法が、本明細書に議論される大まかな整合方法論を使用して提示される。ＰＣＡが、ステッチされるべき隣接する画像を決定するために使用され、ＭＩベースの位置合わせが、隣接する画像対上に適用される。

【0014】

一具体的実施形態では、対象の網膜を監視するための方法が、開示される。本方法は、（ａ）ポータブル眼底カメラを用いて捕捉された網膜の小さい視野（ＦＯＶ）（「テンプレート」）画像のセットを取得するステップと、（ｂ）ベースライン画像およびテンプレート画像に関する次元削減およびテンプレート画像をベースライン画像の一部に位置合わせするための相互情報位置合わせ方法を使用して、テンプレート画像を網膜の以前に捕捉された広いＦＯＶベースライン画像に合致させるステップと、（ｃ）テンプレート画像の位置合わせされたセットをベースライン画像と比較し、テンプレート画像の位置合わせされたセットとベースライン画像との間の任意の差異を検出するステップであって、任意の差異は、網膜または対象の条件の発生または変化を示す、ステップとを含む。例えば、差異は、疾患または条件の進行（例えば、悪化または改善）、治療または療法に対する対象応答、緑内障等の眼疾患の発症、または糖尿病等、概して、対象における疾患の発症または進行を示し得る。変化は、進行の一部である、または代替として、いずれかの検出された傾向または進行と無関係であり得る。遠隔眼科学の文脈における本方法の例示的用途が、本書に以降で詳細に解説される。

【0015】

別の側面では、狭い視野のテンプレート画像を広い視野の以前に取得されたベースライン画像に位置合わせするコンピュータ実装方法が、開示される。前述で解説されるように、ベースライン画像は、例えば、眼科診療所における従来の眼底カメラから取得された単一の画像、または以前に取得された画像のモザイクであり得る。本方法は、
（１）ベースライン画像を多数のより小さいオフセット標的画像にクロッピングするステップと、
（２）次元削減方法を適用し、オフセット標的画像をより低次元の空間における表現にマッピングするステップと、
（３）次元削減方法を使用して、テンプレート画像をより低次元の空間にマッピングするステップと、
（４）より低次元の空間においてテンプレート画像に関する対応する最近傍の標的画像を見出すステップと、
（５）テンプレート画像を最近傍の標的画像に位置合わせするステップと、
（６）最近傍の標的画像の位置に基づいて、ベースライン画像上のテンプレート画像の場所を識別するステップと、
（７）ステップ（６）において識別された場所において、テンプレート画像をベースライン画像に位置合わせするステップとを含む。

【0016】

なおも別の側面では、カメラと、眼の内部の画像を収集することを促進する、カメラに結合される、光学デバイスと、処理ユニットと、処理ユニットのための命令を記憶する、メモリであって、命令は、前述の段落に列挙される手順を実施するためのコードの形態である、メモリとを含む、新規のポータブル眼底カメラが、想定される。本実施形態では、ポータブル眼底カメラは、テンプレートをベースライン画像に合致させるためのソフトウェアを含む。一構成では、カメラは、スマートフォンまたはタブレットコンピュータ内に組み込まれる。別の構成では、カメラは、頭部搭載仮想または拡張現実ユニットの中に組み込まれる。

【0017】

なおも別の側面では、多数の小さい視野の画像から広い視野のモザイク画像を組み立てるための方法が、開示される。本方法は、
（ａ）主成分分析（ＰＣＡ）を使用して、小さい視野の画像Ｘ＝Ｘ_１，Ｘ_２，．．．Ｘ_ｎをより低次元の空間にマッピングするステップと、
（ｂ）小さい視野の画像Ｘ_ｉのそれぞれに関して、
（１）特徴距離Δ（Ｚ_ｉ，Ｚ_ｊ）を最小限にすることによって、最近傍の近隣の小さい視野の画像を見出すステップであって、Ｚ_ｉ，Ｚ_ｊは、ｉ番目およびｊ番目の画像Ｘ_ｉおよびＸ_ｊの主要成分を表す、ステップと、
（２）各Ｘ_ｉとステップ（１）において見出された最近傍の近隣との間の相互情報（ＭＩ）を算出し、最も高いＭＩを伴うその画像を隣接する画像として指定するステップと、
（ｃ）ＭＩベースの位置合わせ方法を使用して、ステップ（ｂ）（２）から決定された隣接する画像のうちの少なくともいくつかを整合させるステップとを含む。

【図面の簡単な説明】

【0018】

添付される図面の図は、本開示の本好ましい実施形態の限定ではなく、実施例としてもたらされる。

【0019】

【図1】図１は、本開示の特徴が実践され得る、遠隔眼科学環境の一実施例の図示である。

【0020】

【図2】図２は、４つのパネルまたは処理ステップ、すなわち、（ａ）完全／ベースライン画像から多数のオフセット標的画像を作成するステップと、（ｂ）ＰＣＡを使用して、標的画像のそれぞれの低次元表現を作成するステップと、（ｃ）テンプレート画像の大まかな位置特定を実施し、低次元空間において最近傍の標的画像を見出すステップと、（ｄ）テンプレートおよび最近傍の標的画像のＭＩベースの位置合わせを行い、ベースライン画像上にテンプレート画像を配置するステップと、を含む、本発明者らのテンプレート合致方法の概観を図示する。

【0021】

【図3】図３は、図２のパネル（ａ）および（ｂ）を表す、処理命令のシーケンスのフローチャートである。これらの処理ステップは、事前算出または「オフライン」様式で、すなわち、図２のパネル（ｃ）および（ｄ）のテンプレート合致および位置合わせステップの前に行われることができる。

【0022】

【図4】図４は、図２のパネル（ｃ）および（ｄ）を表す、処理命令のシーケンスのフローチャートである。これらの処理ステップは、「オンライン」様式で、すなわち、テンプレート画像が入手される時点で行われることができる。処理ステップは、テンプレート画像を入手するデバイス（例えば、ポータブル眼底カメラ、例えば、スマートフォン等）において、または患者がテンプレート画像を入手するために使用するデバイスからテンプレート画像を受信する眼科診療所におけるコンピュータワークステーション等の遠隔処理ユニットにおいて実行されることができる。

【0023】

【図5】図５は、図４のブロックＰＣＡステップ３０８のフローチャートである。

【0024】

【図6】図６は、テンプレート画像のモザイクまたはパノラマを構築するための処理命令のシーケンスのフローチャートである。

【0025】

【図7】図７は、図５の手順を使用する標的画像パッチ上へのテンプレートパッチのマッピングを示す、ブロックＰＣＡの低次元表現である。標的画像毎のＴ辞書は、図の白丸ドットの情報を保存する。

【発明を実施するための形態】

【0026】

本書は、次元削減および相互情報（ＭＩ）を組み合わせる、効率的かつ正確な網膜合致システムおよび方法を開示し、ここでは、その技法を網膜合致と称する。概観として、次元削減は、ＭＩ最適化を大まかな位置特定プロセスとして初期化し、これは、最適化ドメインを狭化し、局所的最適を回避する。開示されるシステムおよび方法は、現在までの既存のテンプレート合致解決策よりも性能が優れている。加えて、面積ベースの位置合わせを用いた画像モザイク化のためのシステムおよび方法を開示し、特徴ベースの方法が失敗するときに使用され得る、ロバストなアプローチを提供する。本発明者らの知る限りでは、これは、制約のない網膜面積からの小さいテンプレート画像を用いた網膜画像に関する初めてのテンプレート合致技法である。

【0027】

本発明者らのアプローチは、整合位置の近傍の正確かつロバストなテンプレート合致を達成することが、より確実であるため、ＭＩメトリックを用いた面積ベースの合致方法に優る改良である。本発明者らのアプローチの１つの一意の側面は、局所的極値の干渉を低減させ、合致効率を向上させるために、次元削減方法をＭＩベースの位置合わせと組み合わせることである。

【0028】

遠隔眼科学設定において網膜を監視する際の本発明者らの方法の実践的使用の実施例が、図１に示される。対象１０が、本実施例では、眼を撮像するために適合される補助的装置１４（例えば、Ｄ－ｅｙｅデバイス）を伴うスマートフォン１２の形態における、ポータブル眼底カメラを有する。対象の眼は、化学的に拡張される必要はない。対象１０は、自身の眼に合わせてカメラ１２および装置１４を保持し、一連の小さい視野の画像を、おそらく、合計３０または５０枚捕捉する。一構成では、スマートフォン１２は、処理ユニットと、図２のテンプレート合致手順（下記に議論される）を実装するための命令を記憶する、メモリとを含む。特に、スマートフォンは、一連のテンプレート画像を捕捉し、それらを電話内に記憶されるベースライン画像に位置合わせし、差異が存在するかどうかを決定するために、２つの間の比較を実行し、差異は、その間の網膜の条件の発生または変化を示し得る。変化は、例えば、比較を実施するテンプレート合致アプリを介して、対象１０に報告されることができる。ある条件が、比較に基づいて、発症または悪化している場合では、対象は、その眼科医にアラートする、および／またはセルラーネットワーク１６、インターネット１８を介して眼科診療所にモザイク化テンプレート画像を送信することができる。眼科診療所は、眼科医が、現在取得されているモザイク化画像２６および記憶された事前のモザイク化またはベースライン画像２８を閲覧し、比較を行い、特定の網膜特徴等の測定を行い、対象の治療またはさらなる評価を調整し得る、ワークステーション２４を含む。上記の説明は、対象１０が、患者であり得ることを示すが、これは、必ずしもそうではない場合があり、任意のユーザ、例えば、仮想現実（ＶＲ）ヘッドセットのユーザであり得る（下記の用途の節の議論参照）。

【0029】

また、スマートフォン１２によって捕捉されたテンプレート画像は、ネットワーク１６、１８を経由して眼科診療所におけるコンピューティングシステム２２に送信され得、オフライン処理ステップ（下記の議論参照）、ベースライン画像へのテンプレート画像のテンプレート合致および位置合わせを含む、図２の処理ステップは、眼科診療所コンピューティングシステム２２において実施され得ることも想定される。本構成は、患者１０によって使用されるポータブル眼底カメラが、限定された処理能力を有するときに好適であり得る。ポータブル眼底カメラは、コンピュータネットワークに接続し、直接（例えば、ＷＩＦＩを使用して）か、または画像が別様にパーソナルコンピュータまたはスマートフォン等の別のデバイスにダウンロードされ、次いで、処理のために眼科診療所に伝送され得るかのいずれかで、眼科診療所と画像を共有する能力を有してもよい。

【0030】

遠隔眼科学設定における網膜テンプレート合致の用途の具体的実施例が、本書の以降で詳細に議論されるであろう。

【0031】

上記の説明を念頭に置いて、本開示の主要な側面のうちの１つは、局所的極値の推論を低減させ、合致効率を向上させるためのＭＩベースの位置合わせを伴う次元削減方法の適用である。

【0032】

図２は、（ａ）－（ｄ）からの４つのパネルに示される網膜テンプレート合致方法の概観および概略図を図示する。パネル（ａ）において、広いＦＯＶ完全またはベースライン画像１０が、多くの重複またはオフセット「標的」画像１０２、１０４等にサンプリングまたはクロッピングされる。矢印１０６および１０８は、破線で示される完全画像１０が、画像１０２および１０４に類似するオフセットされたより小さい標的画像にクロッピングされるように、標的画像のクロッピングまたは作成が、ＸおよびＹ方向において起こることを示す。パネル（ｂ）において、各標的画像（画像１０２Ａ、１０２Ｂ、１０２Ｃ、１０２Ｄ等として示される）は、ＰＣＡを使用して、その位置関係に従って、低次元空間Ω_２にマッピングされる。ドットＰ、Ｐ２、Ｐ３、Ｐ４は、低次元空間における画像１０２Ａ、１０２Ｂ、１０２Ｃ、１０２Ｄの低次元表現を示す。（パネル（ｂ）は、２次元空間のみを示すが、実践では、表現は、ＰＣＡの実装に応じて、例えば、２０次元の低次元空間において作製され得ることを理解されたい。）パネル（ｃ）において、小さい視野のテンプレート画像１１０もまた、ＰＣＡを使用して本空間にマッピングされ（ドット１１２によって表される）、その最近傍の標的画像（ドットＰ２によって表される、画像１０２Ｂ）が、見出される。パネル（ｄ）において、テンプレート画像１１０は、相互情報（ＭＩ）を用いてその最近傍の標的画像１０２Ｂに位置合わせされる。具体的には、パネル（ｃ）において、主成分分析（ＰＣＡ）およびブロックＰＣＡが、テンプレート画像１１０を大まかに位置特定するために使用され、次いで、結果として生じる変位パラメータが、パネル（ｄ）の位置合わせ手順のためにＭＩメトリック最適化を初期化するために使用される。大まかな位置特定によって提供される初期パラメータは、ＭＩメトリックの収束ドメイン内にある。最適な位置の近傍の初期化を用いて、最適化のための変換探索空間は、有意に狭化される。パネル（ｂ）および（ｃ）に示されるＰＣＡ算出は、ランダム化方法を用いて高速化され、これは、大まかな位置特定の効率を向上させる。パネル（ｄ）に示されるように、テンプレート１１０は、最近傍の標的画像１０２Ｂの場所の情報を使用して、完全またはベースライン画像１００上に配置または合致される。

【0033】

図２のパネル（ｃ）および（ｄ）のプロセスは、捕捉される全てのテンプレート画像１１０に関して繰り返され、それらは全て、その最近傍の標的画像に位置合わせされ、次いで、ベースライン画像上に配置される。全てのテンプレート画像１１０に関するパネル（ｄ）プロセスの完了後、位置合わせされたテンプレート画像とベースライン画像との間の比較が、実施されることができる。加えて、テンプレート画像は、テンプレート画像の後続セットが、取得されるとき、それらが、図２の手順の以前の反復から作成された更新されたベースライン画像と比較され得るように、新しいベースライン画像にモザイク化されることができる。

【0034】

図２のパネル（ａ）および（ｂ）に示される手順は、完全（またはベースライン）画像が、取得されるとき、事前処理されることができる一方、パネル（ｃ）および（ｄ）は、テンプレート画像が、リアルタイムで入手される、または代替として、遠隔場所における患者から診療所に送られるとき、「オンライン」段階と見なされ得る。パネル（ａ）－（ｄ）の手順は全て、テンプレート画像を入手するために使用される、ポータブル眼底カメラ、スマートフォン等の処理ユニットにおいて実行され得る。代替として、パネル（ａ）－（ｄ）の処理ステップのうちのいくつかまたは全ては、例えば、図１に示されるような眼科診療所におけるワークステーション等の遠隔コンピューティングプラットフォーム上で行われ得る。図２の概略図は、最近傍の標的画像を見出すためにブロックＰＣＡの改良を使用しない方法を説明する。図５は、ブロックＰＣＡの詳細を示し、下記に詳細に議論されるであろう。

【0035】

上記の解説を念頭に置いて、ここで、図３および４に注意が向けられ、パネル（ａ）－（ｄ）のステップは、さらに詳細に説明されるであろう。図３は、事前処理部分の詳細なステップ２００を図示し、図２の（ａ）および（ｂ）パネルに言及する。入力は、大きいＦＯＶ完全画像Ｆ（１００）であり、これは、ステップ２０２において、あるオフセット、例えば、１０ピクセルを伴うパッチ（標的画像）Ｉ_ｉに分割またはクロッピングされる。ステップ２０４において、次元削減プロセス（例えば、ＰＣＡ）が、標的画像に実施され、それらを低次元空間にマッピングし（図２のパネル（ｂ））、出力は、Ｆのパッチの低次元表現Ｚである。ＰＣＡは、画像の次元削減のために使用され、低次元空間における表現を発生させる。ステップ２０６において、本低次元表現は、コンピュータメモリ内に保存される。

【0036】

図４は、テンプレート画像に関する処理ステップ３００のシーケンスを図示し、図２の（ｃ）および（ｄ）パネルに言及する。ともに、それらは、テンプレート画像に関する次元削減および相互情報を使用する位置合わせの合致ステップを形成する。プロセスは、２つのステップ、すなわち、大まかな位置特定（ステップ３０２および３０４、図２のパネル（ｃ））および正確な位置合わせ（ステップ３０８、３１０、および３１２、図２のパネル（ｄ））を有する。入力は、合致されるべきテンプレート画像Ｓ（１１０）であり、出力は、ステップ３１２が実施された後、完全画像Ｆ上のマッピングされたテンプレートである。ステップ３０２において、Ｓは、低次元空間にマッピングされる。ステップ３０４において、低次元空間において最近傍の標的表現を見出す（３０６）。ステップ３０８において、ブロックＰＣＡを使用し、標的画像領域をＩ^＊＊に更新する。ステップ３１０において、ＭＩメトリックを用いてＳとＩ^＊＊との間の正確な位置合わせを実施する。ステップ３１２において、更新された標的画像領域Ｉ^＊＊の位置に基づいて、完全画像Ｆ上のテンプレート画像の場所を決定する。完全画像上のＳの最近傍の標的画像Ｉ^＊が、大まかな位置特定において取得され、画像Ｉ^＊およびＳは、大きい重複を有する。ブロックＰＣＡが、完全画像Ｆ上でＩ^＊をＩ^＊＊に更新するために使用され、Ｓとのさらなる重複を得る。テンプレートＳは、Ｉ^＊＊の場所に基づいて、Ｆ上で合致されることができる。

【0037】

使用される図２の本発明者らの手順の具体的実施形態が、下記に記載される。
１．図２のパネル（ａ）：完全（ベースライン）画像から標的画像を作成するステップ

【0038】

完全画像およびテンプレートを、それぞれ、ＦおよびＳと定義する。完全画像Ｆは、標的画像Ｉ_１，Ｉ_２，…，Ｉ_Ｎに分割され、すなわち、以下である。

【化1】

【0039】

関数φは、ｂ_ｉおよびｂ_ｉ＝［ｘ_ｉ，ｙ_ｉ，ｈ，ｗ］においてＦから標的画像Ｉ_ｉをクロッピングし、式中、（ｘ_ｉ，ｙ_ｉ）は、中心位置を表し、（ｈ，ｗ）は、クロッピングされた画像の幅および高さを表す。ｘおよびｙ軸における近隣標的画像のある変位ｆが、存在する。図２のパネル（ａ）に示されるように、各標的画像は、その近隣との大きい重複を有する。重複は、各画像とその近隣との間の場所分布を示し得る、データの冗長性を形成する。そのようなデータに対して次元削減技法を適用すると、下記に解説されるように、全ての標的画像の低次元分布マップを取得することができる。

【0040】

標的画像は、ベクトルにリサイズされ、行列Ｘ∈Ｒ^ｎｘｄを形成する。

【0041】

２．図２のパネル（ｂ）：ＰＣＡを用いて標的画像の低次元表現を作成するステップ

【0042】

次元削減方法は、データにおける冗長性および雑音を排除しながら、低次元の要約の構築を可能にする。２Ｄ空間におけるテンプレート場所を推定するために、完全画像次元は、冗長であり、したがって、テンプレートの大まかな位置特定のために次元削減方法を適用する。

【0043】

概して、線形および非線形次元削減技法を区別することができる。最も卓越した線形技法は、ＰＣＡである。ＰＣＡは、ＰＣＡが、単純かつ多用途であるため、網膜合致における次元削減方法として選択される。具体的には、ＰＣＡは、入力変数の加重線形結合として新しい変数のセットを形成する。次元ｎ×ｄの行列Ｘ＝［ｘ_１，ｘ_２，．．．，ｘ_ｄ］を検討し、ｎは、観察の回数を表し、ｄは、変数の数である。さらに、行列Ｘが、列方向平均値中心であると仮定する。ＰＣＡの構想は、入力変数の線形結合として、無相関の新しい変数（主成分と称される）のセットを形成することであり、すなわち、以下である。

【化2】

式中、ｚ_ｉは、ｉ番目の主成分（ＰＣ）であり、ｗ_ｉは、加重ベクトルである。最初のＰＣは、データにおける変動の大部分を解説し、後続ＰＣは、次いで、降順で残りの変動を説明する。それによって、ＰＣＡは、加重ベクトルが直交する制約を課す。本問題は、以下の最小化として簡潔に表されることができる。

【化3】

式中、

【化3-1】

は、フロベニウスノルムである。入力データをサブ空間にマッピングする加重行列Ｗは、入力行列Ｘの右特異ベクトルであることが分かる。多くの場合、低ランク近似が、望ましく、例えば、切断加重行列Ｗ_ｋ＝［ｗ_１，ｗ_２，．．．，ｗ_ｋ］を使用して、ｋ個の支配的なＰＣを算出する。ｋは、２０等のある整数である。

【0044】

ＰＣＡは、概して、特異値分解（ＳＶＤ）によって算出される。多くのアルゴリズムが、低次元パターンを呈する高次元データに関するＳＶＤまたはＰＣＡの算出を合理化するために開発されている（Ｊ． Ｎ． Ｋｕｔｚ， ｅｔ ａｌ．， 「Ｄｙｎａｍｉｃ ｍｏｄｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎ： ｄａｔａ－ｄｒｉｖｅｎ ｍｏｄｅｌｉｎｇ ｏｆ ｃｏｍｐｌｅｘ ｓｙｓｔｅｍｓ」 ＳＩＡＭ， ２０１６， ｖｏｌ． １４９参照）。特に、線形代数に関するランダム化方法を使用して、ＳＶＤおよび関連する算出を高速化することで、飛躍的な進歩が、遂げられている。優先権米国仮出願のマニュスクリプト部分に引用される参考文献２４－３１を参照されたい。２０個未満の主成分で高性能を実証したため、ランダム化ＳＶＤは、主成分を算出するために使用され、モバイルデバイスプラットフォーム（例えば、スマートフォン、タブレット）に関する本網膜マッピング用途の効率を向上させる。ランダム化アルゴリズムは、以下の入力行列のスケッチＹを形成することによって進行する。

【化4】

式中、Ωは、ｄ×ｌランダム試験行列であり、例えば、独立同分布ランダム標準正規エントリを伴う。したがって、Ｙのｌ列は、入力行列の列のランダム加重線形結合として形成され、Ｘの列空間に関する基底を提供する。ｌは、主成分の所望の数よりもわずかに大きくなるように選定されることに留意されたい。次に、ＱＲ分解Ｙ＝ＱＲを使用して、直交基底Ｑを形成する。ここでは、以下のように、本基底行列を使用し、入力データ行列を低次元空間に投影する。

【化5】

【0045】

次元ｌ×ｄの本より小さい行列Ｂは、次いで、低ランクＳＶＤ、続けて、支配的な主成分を効率的に算出するために使用されることができる。Ｂ＝ＵΣＶ^ＴのＳＶＤを前提として、近似的主成分を以下として取得する。

【化6】

【0046】

ここでは、ＵおよびＶは、左および右特異ベクトルであり、Σの対角要素は、対応する特異値である。近似正確度は、付加的オーバサンプリングおよび冪乗法を介して制御されることができる。

【0047】

再び、図２のパネル（ｂ）を参照して、本発明者らの特定の実装では、Ｘに対してＰＣＡを実装することによって、標的画像分布の低次元分布表現、すなわち、以下を取得することができる。

【化7】

式中、Ｚ＝［ｚ_１、ｚ_２、ｚ_３、．．．、ｚ_Ｎ］^Ｔ∈Ｒ^ｎｘｌ、Ｗ∈Ｒ^ｄｘｌおよびｌ＜＜ｄである。画像空間Ω_１は、マッピングＷを用いて低次元空間Ω_２にマッピングされる。ＷおよびＺは、「辞書」Ｄと呼んでいる、メモリ内に保存される。

【0048】

ＰＣＡは、データの外れ値、オクルージョン、および破損に敏感であることに留意することが、重要である。眼科撮像用途では、完全画像を撮像するとき、ぼけ、未補正非点収差、不均質な照明、水晶体混濁からのグレア、内部反射（例えば、硝子体網膜界面および水晶体から）、硝子体内の一過性浮遊物、およびカメラにおけるショット雑音を含む、破損および外れ値のいくつかの潜在的源が、存在する。さらに、多くの場合、照明と画像品質との間のトレードオフが、存在し、患者快適性および健康のために、必要な限りのわずかな光を導入する強い動機が、存在する。ロバスト主成分分析（ＲＰＣＡ）が、具体的に本問題に対処するために導入され、データ行列を、低ランクコヒーレント構造を含有する行列および外れ値および破損したエントリのスパース行列の和に分解する。一般に、ＲＰＣＡは、ＰＣＡよりも高価であり、元々の行列をスパースおよび低ランク成分に分解するために、反復的最適化を要求する。反復の各ステップは、通常のＰＣＡと同程度に高価であり、典型的には、約数十回の反復が、要求されるが、しかしながら、ＰＣＡは、本発明者らの手順においてオフラインステップと見なされ得、したがって、本付加的算出費用は、対処可能である。ＲＰＣＡは、画像品質を向上させるための網膜撮像用途において成功を収めている。本作業において提示される実施例では、データは、ＲＰＣＡが必要でないほど十分に少ない外れ値を有すると考えられるが、外れ値および破損を伴うデータのための選択肢としてＲＣＰＡを残しておくことが、重要である。ＲＰＣＡに関するさらなる詳細が、本発明者らの先の仮出願のマニュスクリプト部分に引用される参考文献に含有されている。

【0049】

３．図２のパネル（ｃ）：大まかな位置特定を行い、低次元空間において最近傍の標的画像を見出すステップ

【0050】

テンプレートＳを前提として、大まかな位置が、その最近傍の標的画像を認識することによって推定されることができる。画像空間Ω_１における最近傍の標的画像はまた、より低次元の空間Ω_２におけるＳの最近傍の表現でもあるはずである。故に、Ω_２におけるテンプレートの低次元特徴ｚ_ｓ、すなわち、以下を取得する。

【化8】

式中、ｓ∈Ｒ^ｄは、テンプレートＳの再成形されたベクトルである。Δ（ｚ_ｓ，ｚ）をｚ_ｓとＺにおける特徴ｚとの間のユークリッド距離とする。ｚ^＊は、Ω_２におけるソース画像Ｓの最近傍の標的特徴であり、すなわち、以下である。

【化9】

【0051】

対応する標的画像場所は、Ｓの大まかな場所として使用される。理想的には、ｘおよびｙ軸における大まかな場所とグラウンドトゥルースとの間の差異は、ｆ／２ピクセル未満であるべきである。

【0052】

実施した実験のうちの１つでは、ＰＣＡは、他の非線形次元削減方法よりも性能が優れている一方、誤差は、ｆ／２よりも大きい。主な理由は、画像劣化が、最終的分類に寄与するスプリアス特徴を作成するためである。局所的特徴の影響を低減させるために、ブロックＰＣＡを実装し、大まかな位置特定の正確度をさらに向上させる。テンプレート内の異なる局所的パッチのＰＣＡを算出することによって、正しく配置されることができない局所的特徴の効果は、低減される。本手順は、図５に示される。入力は、テンプレートＳ（１１０）および大まかな位置特定１０２Ｂからの最近傍の標的画像Ｉである。大まかな位置特定における局所的変形の効果を低減させるために、ＳおよびＩは、それぞれ、小さいパッチに分割され（ステップ４０２Ａ、４０２Ｂ）、ＰＣＡが、小さいパッチに対して適用される（ステップ４０４、４０６）。大まかな位置特定と同様に、最近傍の標的パッチは、テンプレートパッチ毎に決定される（ステップ４０８）。全ての選定された標的パッチの平均位置は、Ｉの新しい中心位置として算出され（ステップ４１０）、Ｉの新しい位置は、更新される（ステップ４１２）。

【0053】

最近傍の標的画像を取得して、新しい標的画像Ｉとして完全画像から同一の位置におけるより大きい画像をクロッピングする。このように、テンプレートは、２つの画像の間の大きいオフセットが、存在するとき、新しい標的画像とのより多くの重複を有することができる。クロッピング関数

【化10】

を用いてＩおよびテンプレートＳを小さいパッチにセグメント化し、パッチサイズは、近隣のパッチｆ’の軸方向変位を伴って、ソース画像よりも小さい。同様に、Ｉからの全ての画像パッチは、Ｗ’を用いて低次元空間Ω_３にマッピングされる。Ｚ’を標的画像分布の低次元表現とする。各テンプレートパッチは、次いで、Ｗ’を用いて空間にマッピングされる。テンプレートパッチ毎の最近傍の標的パッチは、前述で説明されるようなユークリッド距離を用いて決定される。位置特定のために、テンプレートの領域毎に同一の加重を使用する。ｂ_ｍを選択された最近傍の標的パッチの座標の平均値とし、これは、次いで、Ｉ上のテンプレートの中心を表す。故に、完全画像上のテンプレート場所が、推定されることができ、領域は、画像

【化11】

としてクロッピングされる。より低次元の空間における標的画像パッチのそれぞれの表現を、「辞書」Ｔと称されるメモリ内に記憶する。正確な位置合わせは、次いで、テンプレートＳおよび画像

【化12】

に適用される。このように、大まかな位置特定は、正確な位置合わせのための良好な初期点の推定値を提供する（図２のパネル（ｄ））。

【0054】

提案される大まかな位置特定の実装では、完全（ベースライン）画像は、存在すると仮定され、したがって、標的画像毎の辞書Ｄおよび辞書Ｔが、前もって構築されることができる。これは、図２のパネル（ａ）および（ｂ）に示されるような事前算出部分である。

【0055】

図７は、図５の手順を使用する標的画像パッチ（白丸ドットによって表される）上へのテンプレートパッチ（中実ドットによって表される）のマッピングを示す、ブロックＰＣＡの低次元表現である。標的画像毎のＴ辞書は、図の白丸ドットの情報を保存する。

【0056】

大まかな位置特定のための例示的処理命令

【化13】

【0057】

４．図２のパネル（ｄ）：ベースライン上へのテンプレートの正確な位置合わせおよび配置

【0058】

図２のパネル（ｄ）は、２つのサブステップ、すなわち、（１）図２のパネル（ｃ）の手順に見出される、テンプレート画像と最近傍の標的画像との間の画像位置合わせと、（２）完全（またはベースライン）画像上へのテンプレートの配置とを含む。

【0059】

（１）相互情報（ＭＩ）を使用するテンプレートと最近傍の標的画像との間の画像位置合わせ（図４のステップ３１０）

【0060】

本節では、マルチモーダル画像位置合わせのためのＭＩの最大化を説明する。画像Ｓおよび

【化14】

を、それぞれ、テンプレートおよび標的画像と定義する。変換ｕが、ピクセル場所ｘ∈Ｓを

【化15】

におけるピクセル場所にマッピングするために定義される。

【0061】

位置合わせの主な構想は、変形されたテンプレート画像Ｓ（ｕ（ｘ））と標的画像

【化16】

との間のＭＩを最大限にする各ピクセル場所ｘにおける変形

【化17】

を見出すことである。故に、以下であり、

【化18】

式中、以下である。

【化19】

ここでは、ｉ_１およびｉ_２は、それぞれ、Ｓ（ｕ（ｘ））および

【化20】

における画像強度値であり、ｐ（ｉ_１）およびｐ（ｉ_２）は、その周辺確率分布である一方、ｐ（ｉ_１，ｉ_２）は、その結合確率分布である。確率分布ｐ（ｉ_１，ｉ_２）は、Ｓ（ｕ（ｘ））および

【化21】

における各ピクセルのグレースケール（画像強度）値が類似する程度を反映し、ｐ（ｉ_１，ｉ_２）は、ピクセル値が、類似する場合、高い値（１により近い）を有し、ピクセル値が、類似しない場合、低い値（０により近い）を有する。より詳細には、相互情報の観点から、画像のような離散的データに基づいて、各ピクセルは、０～２５５のグレースケール値を有する。（本明細書の実施例は、眼底画像作業に関するグレースケール画像の使用を説明し得るが、実施形態は、そのように限定されず、また、適宜、カラー画像を採用してもよい。）最初に、２つの画像の結合ヒストグラムを算出し、結合ヒストグラムは、２５６×２５６であり、これは、２つの画像からの対応するピクセルのグレースケールの数をカウントする。例えば、最初のピクセルにおいて、１つの画像が、１００のグレースケールを有し、別のものが、１２０である場合、結合ヒストグラムマップ（１００，１２０）は、１を追加するであろう。結合ヒストグラムを終了した後、結合確率ｐ（ｉ_１，ｉ_２）が、結合ヒストグラムを正規化することによって取得されることができる。次いで、周辺確率が、以下に従って算出される。

【化22】

【0062】

（２）テンプレートを完全画像上に配置するステップ（図４のステップ３１２）

【0063】

本ステップでは、画像Ｓおよび

【化23】

が、上記のサブステップ（ｄ）（１）に従って、相互情報の最大化を用いて正確に位置合わせされる。完全画像Ｆ上の画像

【化24】

の場所は、テンプレートＳの推定された変位になる。本発明者らの作業では、整合に関する変換ｕは、アフィン変換として与えられ、すなわち、以下である。

【化25】

【0064】

標的画像を作成し、それらをより低次元の空間にマッピングするための処理（図２のパネル（ａ）および（ｂ））は、オフラインで、例えば、患者からテンプレート画像のセットを受信する前に行われ得ることを理解されたい。上記に説明される図２のパネル（ｃ）および（ｄ）の処理は、「オンライン」であると考えられ、ポータブル眼底カメラにおいて画像を収集する、または眼科診療所において患者のデバイスから画像を受信する時点で実施され得る。いったん図２の手順が、実施され、テンプレート画像が、ベースライン画像に合致されると、網膜全体のモザイクが、テンプレート画像から作成され、次いで、現在の網膜画像モザイクとベースライン画像との間の差異が、例えば、対象の健康状態を監視する、または眼疾患における発症、進行、または改善に関してチェックするために、比較から確認されることができる（下記の用途の節参照）。

【0065】

画像モザイク化
図６は、次元削減構想に基づく新しい画像モザイク化方法の概観を図示する。一連の画像がステッチされる（１１０）ことを前提として、ＰＣＡは、重複を伴う近傍の画像を見出すことが容易である、低次元空間にそれらをマッピングすることができる（ステップ５０２）。ＭＩメトリックを用いた画像位置合わせ方法は、次いで、全ての画像をステッチするために、隣接する画像対に反復的に適用される。

【0066】

前述で指摘されるように、完全網膜画像は、多くの小さいテンプレートを使用することによってパノラマにステッチされることができる。ユーザは、網膜の異なる領域を調査するために、自然に制約のない眼位置における一連の画像を捕捉しなければならない。面積ベースの位置合わせアプローチを適用するとき、位置合わせの前に隣接する画像を決定することは、その時点で、それらは、合致のために有効な記述子を有していない場合があるため、問題となる。

【0067】

提案されるテンプレート合致方法における次元削減に関連して、ここで、ステッチされるべき画像の位置関係を学習するために、下記の表に示される手順を提示する。このように、隣接する画像は、効率的に認識および位置合わせされることができる。

【0068】

一連の小さい画像Ｘ_ｉに関して、行列Ｘを形成する。ＰＣＡが、Ｘに適用され、Ω_２における画像毎に低次元特徴を返す。Ω_２における特徴の間の距離は、画像の間の距離を示す。低次元空間において最近傍のＮ（例えば、Ｎ＝３）個の標的近隣を見出す。画像Ｘ_ｉの最近傍の近隣Ｘ_ｊは、最も大きい重複を伴うものであり、画像対は、次いで、ＭＩベースのアプローチを用いて位置合わせされる。アルゴリズムロバスト性を向上させるために、画像毎の最初のＮ個の最近傍の近隣は、最初に、ＭＩを算出するために選択され、最も大きいメトリック値を伴うものを維持する。上記の手順は、以下の擬似コードにおいて表されることができる。

【0069】

処理命令：画像ステッチング（図６参照）
１ 画像を空間Ω_２にマッピングし、Ｚ＝ＸＷである（ステップ５０２）。
２ 画像Ｘ_ｉ毎に、
３ （ｉ）特徴距離Δ（Ｚ_ｉ，Ｚ_ｊ）を最小限にする最近傍のＮ（例えば、Ｎ＝３）個の近隣Ｘ_ｊを見出す（ステップ５０４）。
４ （ｉｉ）各Ｘ_ｊとＸ_ｉとの間の相互情報を算出し、最も高いＭＩを伴う隣接する画像をとる（ステップ５０６、５０８）。
５ パノラマＲモザイク化：相互情報ベースの位置合わせ方法を用いて全ての隣接する画像を整合させる（ステップ５１０）。
６ パノラマを配合する（ステップ５１２）。
７ モザイク化パノラマＲを返す（ステップ５１４）。

【0070】

用途
ベースライン画像とのテンプレート合致および画像モザイク化の本出願人らの方法は、患者の以前に取得された眼底画像との縦断的比較を可能にする。そのような縦断的比較は、下記に説明されるであろうような眼科学の分野におけるいくつかの用途を有する。そのような用途は、本開示の方法が遠隔眼科学設定において実践され得る方法の実施例である。網膜テンプレート合致の分野以外の選択肢を含む、他の好適な用途もまた、本明細書に説明される実施形態によって支援される。

【0071】

高血圧
高血圧の網膜症状では、より大きい動脈は、収縮し、静脈血管は、直径が拡大する。眼科医は、血管上のいくつかの検出点を選択することができる。捕捉された画像が、図１に従って患者から送られると、眼底のモザイク画像を構築し、選択された検出点を網羅するそれらの画像を検出することができる。次いで、選択点における血管幅が、血管幅の測定を行い、それらを患者の以前に記憶された眼底画像と比較することによって、以前の状態と比較されることができる。より精密な血管幅測定に関して、図２の本発明者らの方法は、血管セグメント化と組み合わせられることができる。各選択された点に対応する血管幅が、マッピングされた場所の周囲のセグメント化によって取得される。血管セグメント化は、ここでは、次いで、点の周囲の非常に小さい網膜パッチ上に適用され、これは、広いＦＯＶ網膜画像のセグメント化よりもロバストかつ正確である。

【0072】

虐待による頭部外傷
虐待による頭部外傷（ＡＨＴ）のバイオマーカが、別の実施例である。ＡＨＴの最も一般的な網膜兆候は、網膜の複数の層における複数の網膜出血である。捕捉された画像を完全網膜画像上に合致させると、出血スポットが、現在の網膜領域および以前のステータスの減算後に容易にセグメント化されることができる。ＡＨＴは、次いで、そのようなスポットが、検出されると、自動的に認識されることができる。本方法は、ポータブル眼底カメラを用いて取得された画像からのＡＨＴの識別を可能にする。

【0073】

糖尿病性網膜症
糖尿病性網膜症（ＤＲ）の明白な症状は、網膜出血および滲出液の存在である。それらは、ＡＨＴスクリーニングの類似するプロセスに従って監視されることができる。

【0074】

緑内障
緑内障は、視神経乳頭を拡大させ得る。本発明者らの合致方法は、視神経を網羅する画像を自動的に選択することができる。続くセグメント化は、容易に実装され、視神経乳頭直径の算出が、実施されることができる。経時的な視神経乳頭の拡大は、現在の画像からの算出を以前の時点からの画像と比較することによって確認されることができる。

【0075】

一般的画像テンプレート合致方法としての網膜合致の使用
網膜画像の他に、網膜合致の技法は、他のタイプの画像テンプレート合致タスクにおいて使用されることができる。図２の本発明者らの方法は、網膜の具体的特徴を使用しないことに留意されたい。むしろ、本発明者らの方法は、大まかな位置特定およびＭＩに基づく正確な位置特定の組み合わせである。正確な位置合わせは、任意の他の既存の画像位置合わせ方法によって置換されることができ、大まかな位置特定は、常時、小さいテンプレートサイズおよびまばらな画像特徴によって引き起こされる誤差を低減させることができる。したがって、図２の手順は、概して、小さい視野の画像を以前に取得された広い視野の画像に合致させる問題に適用可能である。

【0076】

カメラ位置特定のための網膜合致の使用
完全ビューの画像を有すると、図２の本発明者らの方法は、完全またはベースライン画像上に捕捉された視野を合致させるとき、カメラ位置特定のために使用されることができる。外科手術ロボットによる療法の内視鏡誘導の場合では、現在の限定されたサイズのＦＯＶは、内視鏡位置特定のためにパノラマ上に合致されることができる。したがって、本画像テンプレート合致技法は、ロボットアームおよび外科手術ツール誘導のためのより信頼性のある閉ループ制御を作成するために使用されることができる。例えば、テンプレート画像を位置合わせした後、結果として生じるモザイク化画像が、例えば、眼内に外科手術ツールを配置するために、検査されることができる。

【0077】

拡張現実（ＡＲ）、メガネレンズ等、および経時的な変化の監視
網膜撮像システム（例えば、補助的撮像デバイス、例えば、Ｄ－ｅｙｅを伴う消費者等級カメラ）は、ポータブルであり得、さらに、例えば、メガネレンズ、または拡張現実（ＡＲ）、仮想現実（ＶＲ）、および／または混合現実（ＭＲ）ヘッドセットに統合されたものとして装着され、一連の画像が、日単位、週単位、月単位、またはユーザまたは眼科医が要求するときのいずれかで、撮影および分析されることを可能にすることができる。これらの測定は、離散的、連続的であるが、時系列であり、増加する時間周期にわたって縦断的に分析されることができる。網膜の変化が、本発明者らのテンプレート合致方法を使用して、捕捉された小さいＦＯＶ画像を完全ベースライン網膜画像に位置合わせし、それらを比較することによって検出されることができる。

【0078】

ＡＲ、ＶＲ、および／またはＭＲデバイスは、網膜を光学的に走査し、画像を形成し、それによって、テンプレート画像を入手するために使用されることができる。さらにより現実的な方法では、眼鏡またはサングラスが、より小さいサイズ、より低い費用、およびユーザにとっての高い実用性のため、使用されることができる。ユーザの脳によって知覚されるビデオレート画像を形成するために、眼の瞳孔に入射し、網膜に衝突する走査光ビームもまた、血液を含有する脈管等の高コントラスト構造の画像を入手するために使用されることができる。

【0079】

デバイスは、その寿命の間に性能の大きな変化を伴わずに動作することができ、ユーザの眼の条件の監視装置として使用されることができる。経時的にそのようなデバイスからの網膜画像を比較することによって、ユーザの光学系（角膜、眼内レンズ、網膜、および液体環境等）の変化が、可能性として考えられる健康状態変化においてユーザにアラートするために監視されることができる。例えば、これらの変化は、白内障形成に起因する水晶体または眼内レンズからの光散乱の増加、または糖尿病性網膜症に起因する網膜の外観および構造変化のように、漸進的であり得る。加えて、高血圧の条件における血管サイズおよび形状の経時的な変動を有し得る、慢性疾患は、別の例である。網膜内での出血等の急性変化は、脳外傷を示し得る。網膜画像内の構造の数、サイズ、および形状の相対的かつ繰り返し可能な変化は、測定された変化が、特定の疾患タイプに起因することを示し得、ＡＲ、ＶＲ、ＭＲ、メガネレンズ、または他のタイプの監視デバイスが、その撮像性能を緩慢または急激に変化させた、または不安定になったことを示さない。

【0080】

しかしながら、多くの健康なユーザにおいて、光学系は、経時的に変化しないであろう。この場合では、網膜の脈管は、光学的不整合、焦点誤差、光走査誤差および歪み、照明における不均一性および色不均衡、および撮像システムにおける収差を検出するための試験標的として使用されることができる。本状況は、ＡＲ、ＶＲ、またはＭＲデバイス等の監視デバイスが、機械的衝撃、破損、印加された応力、印加された振動、熱変化、および光電気的途絶または干渉に起因して劣化した場合に起こり得る。これらの変化は、これらの変化がＡＲ、ＶＲ、またはＭＲデバイスに起こる前と比較される現在の網膜画像の測定可能な変化において観察されることができる。網膜脈管画像は、高コントラストラインの具体的パターンを分解することによって、撮像システム内の画像歪みのレベルを測定するために使用されることができる。網膜画像またはそのパノラマモザイクを強度二値化および／またはセグメント化によってバイナリ（黒色および白色）高コントラストに処理することによって、血管網は、網膜試験標的にされることができる。

【0081】

ＡＲ、ＭＲ、またはＭＲデバイスの性能の変化の前および後に網膜試験標的の画像の変化を測定することによって、撮像性能の較正測定が、動的に行われることができる。本較正測定値は、ＡＲ、ＶＲ、またはＭＲデバイスの性能の変化の分析および診断のために、ローカルコンピューティングデバイスまたは遠隔場所に伝送されることができる。さらに、較正測定値は、是正措置が、ＡＲ、ＶＲ、またはＭＲデバイス内で実装されるときに更新されることができ、これは、ＡＲ、ＶＲ、またはＭＲデバイスの最適な性能を取り戻す目的のために、誤差信号としてフィードバックループにおいて使用されることができる。血液は、動脈および静脈内で明確に異なる光吸収スペクトルを有し、散乱の差異が、決定されることができるため、較正された撮像性能は、ＡＲ、ＶＲ、またはＭＲデバイスによって使用されている可視から近赤外の波長のスペクトル範囲を横断して実施されるべきである。

【0082】

注視追跡
上記に説明されるようなテンプレート画像の入手およびベースライン画像上への位置合わせはさらに、ユーザの注視位置を決定するために使用されることができる。特に、ユーザの注視が、位置を変化させるにつれて、カメラの光軸と眼の後部における中心窩または他の構造との間の角度も、それに応じて変化し、本角度の偏移を測定することによって、注視位置が、決定されることができる。

【0083】

上記の議論は、主として、網膜の変化を検出し、眼疾患の変化、進行、発生等に関して監視することを対象としているが、より一般的には、本方法は、それ自体は網膜条件ではないが、網膜内で測定され得る、他の条件（例えば、糖尿病等）に関して監視するために使用されることができる。さらに、本発明者らの方法はまた、疾患の発症または悪化を検出することに加えて、網膜の条件の改善を監視するために、例えば、治療または療法の有効性を監視するために使用されることができる。

【0084】

他の用途も、当業者に明白であろうように、当然ながら可能性として考えられる。

【0085】

本発明者らの優先権米国仮出願のマニュスクリプト部分は、ＳＴＡＲＥデータセットからのシミュレートされた画像のセットに対する検証と、完全眼底画像およびモザイク化完全画像に合致されたＤ－ｅｙｅスマートフォンデバイスから捕捉された生体内テンプレート化画像とを含む、本発明者らのテンプレート合致方法を使用して実行した実験に関するデータを含む。興味のある読者は、さらなる詳細に関して仮出願のその部分を参照されたい。

【0086】

請求項に使用されるように、用語「頭部装着網膜撮像デバイス」は、限定ではないが、メガネレンズおよび拡張、混合、または仮想現実ヘッドセットを含む、網膜を撮像するために設計される検出器またはカメラおよび関連付けられる光学構成要素を含む、頭部によって装着または支持される任意のデバイスを広く指すことを意図している。別の実施例として、近赤外（ＮＩＲ）波長を使用する走査光（レーザまたはＬＥＤから）ディスプレイを含むデバイスもまた、高速ＮＩＲ検出器を追加したカメラであり得、そのようなデバイスは、頭部装着網膜撮像デバイスとして適合され得る。

【0087】

本明細書に示される詳細は、実施例としてのものであり、本発明の好ましい実施形態の例証的議論の目的のみのためのものであり、本発明の種々の実施形態の原理および概念的側面の最も有用かつ容易に理解される説明であると考えられるものを提供するために提示される。この点で、本発明の基本的理解のために必要なものよりも詳細に本発明の構造的詳細を示すためのいかなる試みも、行われず、図面および／または実施例と併せて想定される説明は、本発明のいくつかの形態が実践において具現化され得る方法を当業者に明白にする。

【0088】

本明細書に使用されるように、別様に示されない限り、用語「ａ」および「ａｎ」は、「１つ」、「少なくとも１つ」、または「１つ以上の」を意味するようにとられる。文脈によって別様に要求されない限り、本明細書に使用される単数形用語は、複数形を含むものとし、複数形用語は、単数形を含むものとする。文脈が明確に別様に要求しない限り、説明および請求項全体を通して、単語「～を備える（ｃｏｍｐｒｉｓｅ）」、「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」、および同等物は、排他的または網羅的な意味とは対照的に、包括的な意味で、すなわち、「限定ではないが、～を含む」の意味で解釈されるものである。単数または複数を使用する単語はまた、それぞれ、複数および単数を含む。加えて、単語「本明細書」、「上記」、および「下記」、および類似する意味の単語は、本願に使用されるとき、本願の任意の特定の部分ではなく、本願を全体として指す。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】