特許 7518088 単一露光多種撮像と、改善された焦点合わせと、改善された血管造影画像シーケンス表示とを備えた、患者に合わせて調整される眼科撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-08

(45)【発行日】2024-07-17

(54)【発明の名称】単一露光多種撮像と、改善された焦点合わせと、改善された血管造影画像シーケンス表示とを備えた、患者に合わせて調整される眼科撮像システム

(51)【国際特許分類】

   A61B 3/12 20060101AFI20240709BHJP

   A61B 3/15 20060101ALI20240709BHJP

   A61B 3/10 20060101ALI20240709BHJP

   A61B 3/14 20060101ALI20240709BHJP

   G06T 7/00 20170101ALI20240709BHJP

【ＦＩ】

A61B3/12

A61B3/15

A61B3/10 300

A61B3/14

G06T7/00 350C

G06T7/00 612

【請求項の数】 12

(21)【出願番号】P 2021556553

(86)(22)【出願日】2020-03-18

(65)【公表番号】

(43)【公表日】2022-05-18

(86)【国際出願番号】 EP2020057522

(87)【国際公開番号】W WO2020188007

(87)【国際公開日】2020-09-24

【審査請求日】2023-03-08

(31)【優先権主張番号】62/821,283

(32)【優先日】2019-03-20

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】503317201

【氏名又は名称】カール ツァイス メディテック インコーポレイテッド

【氏名又は名称原語表記】Ｃａｒｌ Ｚｅｉｓｓ Ｍｅｄｉｔｅｃ Ｉｎｃ．

(73)【特許権者】

【識別番号】502303382

【氏名又は名称】カール ツアイス メディテック アクチエンゲゼルシャフト

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(74)【代理人】

【識別番号】100142907

【弁理士】

【氏名又は名称】本田 淳

(72)【発明者】

【氏名】リーヒー、コナー

(72)【発明者】

【氏名】シュミット、ジェフリー

(72)【発明者】

【氏名】ブロック、キース

(72)【発明者】

【氏名】クルカルニ、プリヤ

(72)【発明者】

【氏名】ノーラン、デイビッド

(72)【発明者】

【氏名】オハラ、キース

(72)【発明者】

【氏名】エベレット、マシュー ジェイ．

(72)【発明者】

【氏名】チェン、マイケル

(72)【発明者】

【氏名】オムラー、ラース

(72)【発明者】

【氏名】マニヴァンナン、ニランチャナ

(72)【発明者】

【氏名】ダービン、メアリー

【審査官】佐々木 創太郎

(56)【参考文献】

【文献】特開２００９－２６１５７３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０１３１０５０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００ － ３／１８

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

眼科撮像システムの焦点ずれ測定値を決定するための方法であって、
眼の網膜の第１の領域を照明することと、
前記第１の領域から検出器上に戻る光の第１の画像を収集することと、
前記眼の網膜の第２の領域を照明することであって、前記第２の領域は前記第１の領域に部分的に重なる、照明することと、
前記第２の領域から前記検出器上に戻る光の第２の画像を収集することと、
前記第１の画像と前記第２の画像との差を求めることにより第３の画像を定義することであって、前記第３の画像は線形領域を含む、定義することと、
前記線形領域の幅測定値を決定することと、
前記幅測定値に基づいて前記焦点ずれ測定値を決定することと
を含む、方法。

【請求項2】

前記幅測定値は、前記第３の画像の強度分布の２次モーメントに基づく、請求項１に記載の方法。

【請求項3】

前記第３の画像を前景セグメントと背景セグメントとにセグメント化することをさらに含み、前記幅測定値は、前記前景セグメントから決定される、請求項１または２に記載の方法。

【請求項4】

前記第３の画像の前記線形領域にガウス形状をフィッティングし、フィッティングされた前記ガウス形状に少なくとも部分的に基づいて前記幅測定値を決定することをさらに含む、請求項１乃至３のいずれか１項に記載の方法。

【請求項5】

前記第１の領域は、幅方向に沿った第１の幅を有する第１の照明線で照明され、
前記第２の領域は、幅方向に沿った前記第１の幅を有する第２の照明線で照明され、
前記第２の領域は、幅方向に沿って前記第１の領域からオフセットされ、
前記第３の画像の前記線形領域の幅は、幅方向に沿った前記第１の領域からの前記第２の領域のオフセットによって定義される、請求項１乃至４のいずれか１項に記載の方法。

【請求項6】

前記第１の画像と前記第２の画像の強度差をとることにより、正の線形画像と負の線形画像が生成され、
前記正の線形画像と前記負の線形画像のうちの一方が前記第３の画像の線形領域として選択される、請求項１乃至５のいずれか１項に記載の方法。

【請求項7】

以下のプロセス

【数1】

を適用することによって前記第３の画像の解像度を向上させることをさらに含み、ここで、画像は観測された強度であり、ｐ _{ｉｌｌｕｍ} は照明の点広がり関数であり、ｐ _{ｄｅｔｅｃｔ} は検出の点広がり関数であり、且つ

【数2】

は、照明の矩形ストライプであり、アスタリスク記号「＊」は、畳み込みを表し、ドット「・」は、乗算を表す、請求項１乃至６のいずれか１項に記載の方法。

【請求項8】

以下の

【数3】

のように重みを使用して正弦照明を最初に概算することによって前記第３の画像の解像度を向上させること、
ここで、ｗ _ｉ は重みであり、

【数4】

は、照明の矩形ストライプであり、
続いて、

【数5】

を定義すること、
ここで、画像は観測された強度であり、アルファα _ｉ はスケーリング係数であり、ｐ _{ｄｅｔｅｃｔ} は検出の点広がり関数であり、アスタリスク記号「＊」は、畳み込みを表し、ドット「・」は、乗算を表し、
強度の正規化によりアルファα _ｉ スケーリング係数を除去すること、
正弦波を再結合すること、を含む請求項１乃至６のいずれか１項に記載の方法。

【請求項9】

前記第３の画像の前記線形領域の光強度の重心に基づいて網膜のトポグラフィ情報を決定することをさらに含む、請求項１乃至８のいずれか１項に記載の方法。

【請求項10】

前記第３の画像の矩形形状部の長さによって画定される網膜領域に関して、前記矩形形状部の長さに沿った光強度の重心の位置の変化を追跡することによって前記トポグラフィ情報が決定される、請求項９に記載の方法。

【請求項11】

前記トポグラフィ情報に基づいて血管をセグメント化すること、光ディスクをセグメント化すること、または腫瘍の体積を決定することをさらに含む、請求項９または１０に記載の方法。

【請求項12】

眼科撮像システムは眼底カメラである、請求項１乃至１１のいずれか１項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、概して、眼科撮像システムの分野を対象とする。より具体的には、眼科撮像システムのユーザ操作を容易にするための技術に関する。

【背景技術】

【0002】

検眼鏡、光干渉断層撮像法（ＯＣＴ）、及び他の眼科撮像システムを含む、様々なタイプの眼科検査システムがある。眼科撮像の一例は、スリット走査式眼底撮像又は幅広線眼底撮像であり（例えば、以下の明細書の全ての内容が、参照により本明細書に組み込まれる、（特許文献１）、（特許文献２）、（特許文献３）、（特許文献４）、及び（特許文献５）を参照）、この眼底撮像は、人間の網膜の高解像度生体内撮像を達成するための有望な技術である。撮像手法は、共焦点撮像システムと広視野撮像システムとのハイブリッドである。走査中に網膜の狭く細長い部分を照明することにより、その照明は視認経路の外に留まり、従来の眼底カメラで使用される環状リング照明と比較して網膜のより大部分のより明瞭な視認を可能にする。

【0003】

良好な画像を得るためには、照明ストリップが良好に焦点合わせされ、弱まることなく眼の瞳孔を通過して眼の眼底に達することが望ましい。これには、システムの慎重な焦点合わせと、眼と眼科撮像システムとの位置合わせとが必要となる。眼科撮像を更に複雑にするのは、患者が撮像中に静止したままでいることが困難であり得ることである。このことは、複数の異なるタイプの画像が必要となる場合、又は患者が高強度照明に対する嫌悪感、例えば羞明を有する場合に、特に問題となる可能性がある。結果として、そのようなシステムを使用するときに高度な能力を達成するのに、概して、かなりの訓練が必要となる。

【先行技術文献】

【特許文献】

【0004】

【文献】米国特許第４１７０３９８号明細書

【文献】米国特許第４７３２４６６号明細書

【文献】国際公開第２０１２０５９２３６号

【文献】米国特許出願公開第２０１４／０２３２９８７号明細書

【文献】米国特許出願公開第２０１５／０１３１０５０号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の目的は、眼科撮像又は検査システムの焦点合わせを容易にするためのツールを提供することである。
本発明の別の目的は、眼科画像の撮像を高速化するための様々な方法を提供することである。

【0006】

本発明の更なる目的は、眼科画像の取り込み中に、患者の不安又は不快感を軽減するための方法を提供することである。

【課題を解決するための手段】

【0007】

上記目的は、改善された焦点及び機能を有するシステム／方法で達成される。まず、連続線走査間の差に基づく焦点機構は、焦点ずれ測定値を決定する目的で幅広線を細線に効果的に変換する。これらの細線は更に、網膜のトポロジを決定するために使用され得る。

【0008】

好ましい実施形態では、システムオペレータには、予め指定された複数の焦点補助位置を有するプレビュー画面が提示される。プレビュー画面上に画像が表示され得、且つシステムオペレータは、焦点をよりしっかりと合わせるべくプレビュー画面上の任意の点を自由に選択し得る。次いで、プレビュー画面は、焦点補助位置からの焦点情報を組み合わせることにより、選択点において画像に焦点を合わせる。

【0009】

いくつかの実施形態では、焦点は更に、患者の固視角度に基づいて調整される。固視角度は、患者の視神経乳頭（ＯＮＨ）の位置を特定することにより決定され得る。本明細書では、患者の真の固視角度を確認できるように、赤外線（ＩＲ）プレビュー画像内のＯＮＨを特定するための技術が提供される。

【0010】

ＯＮＨの特定には付加的用途があるので、任意のタイプの画像内のＯＮＨを特定することが有益であることに留意されたい。本明細書では、ＦＡ（蛍光眼底血管造影）及び／又はＩＣＧＡ（インドシアニングリーン血管造影）画像内及び／又は他の任意の撮像モダリティにおいてＯＮＨを見つけ出す方法が提示される。システムは、ＦＡ又はＩＣＧＡ画像を取り込む前にＩＲ（赤外線）プレビュー画像を連続的に取り込み得るので、システムはＩＲプレビュー画像内のＯＮＨの位置を特定し、次いで、位置の特定されたＯＮＨを取り込まれたＦＡ又はＩＣＧＡ画像に転写する。

【0011】

これを達成するために、システムは、赤外線画像内のＯＮＨの位置を特定する方法を学習するために訓練用カラー画像の大規模なライブラリを利用するために移行訓練を使用する、Ｕネット（Ｕネットの概要は、ロンネベルガー（Ｒｏｎｎｅｂｅｒｇｅｒ）他著、「Ｕネット：医用画像セグメンテーションのための畳み込みネットワーク（Ｕ－Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ）」コンピュータビジョンとパターン認識（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ）、２０１５年、アーカイブ（ａｒＸｉｖ）：１５０５．０４５９７［ｃｓ．ＣＶ］に見られ得る）を提供する。まず、Ｕネットは、カラー画像のみを使用して訓練される。その後、Ｕネットの所定数の初期層が固定され、残りの層は、より小さい訓練セットの赤外線画像で訓練される。赤外線画像内のＯＮＨの位置特定には、依然として問題がある可能性があり、ＯＮＨの位置特定を最適化するための追加のステップが提供される。

【0012】

ＦＡ及びＩＣＧＡ検査を更に改善するために、本システムは、ＦＡ又はＩＣＧＡ画像シーケンスの簡略化した取り込みを提供する。本システムは、ＦＡ又はＩＣＧＡ画像シーケンスを取り込んでいる間に、オペレータが画像の輝度を調節する必要がないように、非常に高いダイナミックレンジを提供する。生画像が記憶され、シーケンスにおける画像間の相対的輝度情報が生データから決定され、例えばプロットとして、ユーザに正確に提供され得る。加えて、オペレータには、取得された画像シーケンス間の相対的な輝度を維持しながら視認のための記憶された画像を高輝度化するためのオプションが与えられる。

【0013】

患者に更に対応するように、本システムは、患者に合わせて調整された撮像を提供する。このシステムは、羞明の指標がないか患者の眼の物理的特徴（及び／又は患者の医療記録）を調べる。患者が羞明である候補であるとの疑いがあるか又は以前に羞明と診断されている場合、システムオペレータは、この事実への注意を喚起される。次いで、システムオペレータは、患者の羞明の程度に基づいてシステムに調光撮像スキームを使用させることを選択し得る。

【0014】

本システムの他の改良形態は、単一の取り込み指示で複数の撮像モダリティを行うための様々な機構を含む。これにより、検査に必要な時間が短縮されるだけでなく、追加の診断に使用され得る追加の情報が提供される。例えば、システムは、全てのカラー画像と共に、ＩＲ画像を自動的に取り込み得、このＩＲ画像は、一部の組織の視認性を高めることができる。

【0015】

本発明のその他の目的及び達成事項は、本発明のより十分な理解と共に、添付の図面と併せて解釈される以下の説明と特許請求の範囲を参照することにより明らかとなり、理解されるであろう。

【0016】

本明細書で開示される実施形態は例にすぎず、本開示の範囲はそれらに限定されない。１つの請求カテゴリ、例えばシステムにおいて記載される何れの実施形態の特徴も、他の請求カテプリ、例えば方法においても特許請求できる。付属の請求項中の従属性又は後方参照は、形式的な理由のためにのみ選択されている。しかしながら、それ以前の請求項への慎重な後方参照から得られる何れの主題もまた特許請求でき、それによって請求項及びその特徴のあらゆる組合せが開示され、付属の特許請求の範囲の中で選択された従属性に関係なく、特許請求できる。

【図面の簡単な説明】

【0017】

特許又は出願ファイルは、カラーで作成された少なくとも１つの図面を含む。カラー図面を伴う本特許又は特許出願公開の複写は、請求および必要な手数料の納付に応じて特許商標庁により提供される。

【図1】走査される対象物上に走査線が生成され得るときの走査線の簡略化したパターンを図示する。

【図2A】走査線間のステップサイズが走査線の幅よりも小さい、重複線走査シーケンスを図示する。

【図2B-2C】２Ｂは、図２Ａの連続する走査線の２つの連続して取り込まれた画像の差し引き効果を図示し、２Ｃが、２つの走査線からの単一の細線の作成と、線幅を定義する、２次モーメントσの特定とを図示する。

【図3A-3B】３Ａは、重心の変位が眼の深さ（又は高さ）の変化（例えば、逆畳み込み測定値）にどのように対応し得るかを図示し、３Ｂは、重心の変位が眼の深さ（又は高さ）の変化（例えば、逆畳み込み測定値）にどのように対応し得るかを図示する。

【図4A-4B】４Ａは、複数の焦点補助位置が眼底画像に重ね合わされた、電子ディスプレイ上のプレビューウィンドウ内のプレビュー眼底画像を図示し、４Ｂは、焦点を合わせるべきプレビュー画像の任意の点をユーザがどのように自由に選択し得るかの例を提供する。

【図5】血管造影検査の異なる段階で撮影された２つの血管画像を提供する。

【図6】本発明に従って動作中にＦＡ／ＩＣＧＡ画像内のＯＮＨを見つけ出すためのセグメンテーション及び位置特定フレームワークを提供する。

【図7A-7B】７Ａは、図６のシステムを使用して特定されたＩＲプレビュー画像内のＯＮＨ領域の位置特定を図示し、７Ｂは、図６のＩＲプレビュー画像を取り込んだ直後に取り込まれたＦＡ画像を図示する。

【図8】血管造影検査の一部として取り込まれた一連の画像内の個々の画像を処理するためのフレームワークを提供する。

【図9】各個々の画像がそのそれぞれの個々の白色レベルに従って調節されたＦＡタイムラプス画像シーケンスを示す。

【図10】輝度調節がどの画像にも適用されていない生ＦＡ画像シーケンス（図９の画像シーケンスに対応する）を示す。

【図11】全ての画像が同じ全体的スケーリング係数（例えば、２５５／ｗ_ｍａｘ）により高輝度化された、全体的に調節されたＦＡ画像シーケンス（図１０の画像シーケンスに対応する）を示す。

【図12A】同じ全体的スケーリング係数により全ての画像を高輝度化することに等しい、圧縮パラメータ∝がゼロに設定される効果を図示する。

【図12B】各画像の記憶された白色レベルに従って各画像を個々に自動的に高輝度化することに等しい、圧縮パラメータ∝が１に設定される効果を図示する。

【図12C】圧縮パラメータ∝の修正が、∝の異なる値について画像シーケンスの輝度にどのように影響を与えるかを図示する。

【図12D】圧縮パラメータ∝の修正が、∝の異なる値について画像シーケンスの輝度にどのように影響を与えるかを図示する。

【図12E】圧縮パラメータ∝の修正が、∝の異なる値について画像シーケンスの輝度にどのように影響を与えるかを図示する。

【図12F】圧縮パラメータ∝の修正が、∝の異なる値について画像シーケンスの輝度にどのように影響を与えるかを図示する。

【図13】眼科撮像装置に好適なグラフィカルユーザインタフェース（ＧＵＩ）の例を提供する。

【図14】患者の相対的な光感度に応じて減光量を調整（例えば、調節）するための例示的な工程を提供する。

【図15】走査テーブル（例えば、画像取得に使用される強度レベル）が瞳孔の大きさ及び／又は虹彩色に基づいてどのように選択され得るか及び／又は修正され得るかを図示する。

【図16】マルチスペクトルオプションが選択された単一の取り込み指示入力に応答して取り込まれ得る、複数の波長にわたる例示的な一連の複数の画像を図示する。

【図17】単一の取り込み指示に応答してＦＡ＋ＩＣＧＡ機能を提供する２つの従前の方法と本発明とを比較する。

【図18】４つのチャネルで構成されたカラー眼底画像を示す。

【図19】赤色、緑色、青色、及び赤外チャネルを別個に視認するためのオプションを提供する「チャネル分割」レビュー画面の例を示す。

【図20】酸素化及び脱酸素化ヘモグロビン吸光スペクトルを示す。

【図21】酸素飽和度マップの例を提供する。

【図22】ＭＰＯＤ測定の原理（左）及びＭＰＯＤプロファイル（右）を図示する。

【図23】８つの光源（赤色、緑色、青色、及びＩＲを各２つずつ）を備えたライトボックス設計を図示する。

【図24】眼底を撮影するためのスリットスキャニング眼科システムの例を図解する。

【図25】本発明と使用するのに適した眼の３Ｄ画像データを収集するために使用される一般型周波数領域光干渉断層撮影システムを図解する。

【図26】ｅｎ ｆａｃｅ脈管画像の例を示す。

【図27】多層パーセプトロン（ＭＬＰ）ニューラルネットワークの例を図解する。

【図28】入力層、隠れ層、及び出力層からなる単純化されたニューラルネットワークを示す。

【図29】例示的な畳み込みニューラルネットワークアーキテクチャを図解する。

【図30】例示的なＵ－Ｎｅｔアーキテクチャを図解する。

【図31】例示的なコンピュータシステム（又は計算装置又はコンピュータ装置）を図解する。

【発明を実施するための形態】

【0018】

眼底撮像システム及び光干渉断層撮像法（ＯＣＴ）撮像システムのセクションで後述するように、様々なタイプの眼科撮像システムがある。本発明の態様は、そのような眼科撮像システムのいずれか又は全てに適用され得る。概して、本発明は、眼科撮像システムの動作及びユーザインタフェースに様々な拡張をもたらす。

【0019】

焦点及び深さの分析のための細線走査
本発明の一態様は、焦点合わせ用途（例えば、自動焦点）及び逆畳み込み（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）用途（例えば、トポグラフィ）のための画像測定値を決定する改善された方法を提供する。特定の例として、本発明の向上した焦点合わせ（及び逆畳み込み）技術及び用途は、組み合わせてサンプルの合成画像を構築できる一連の画像セグメントを作成するためにサンプルを横切って走査される、幅広線などの、線状光ビームを使用する眼科撮像システムに適用されるものとして説明されているが、本発明は、他のタイプの眼科撮像システムにも適用され得ることを理解されたい。

【0020】

例えば、図１は、走査される対象物上に走査線（例えば、スリット又は幅広線）が生成され得るときの走査線の簡略化したパターンを図示する。本例では、走査線は、垂直方向の走査パターンであるＶ走査で複数の走査線Ｌ１～Ｌｉを生成するように垂直方向に走査（例えば、横断）される。そのような走査パターンは、線走査眼底撮像システム（又はＯＣＴに基づくシステム）により使用され得、概して、走査線は、走査線（Ｌ１～Ｌｉ）に直交する（例えば、Ｙ軸に沿った）焦点外光のある程度の共焦点抑制（ｃｏｎｆｏｃａｌ ｓｕｐｐｒｅｓｓｉｏｎ）を維持し得るが、線に沿った（例えば、Ｘ軸に沿った）共焦点抑制を欠くことがある。走査線はまた、撮像を改善するために使用され得る。例えば、照明ストリップのエッジの鮮明度は、検出器による取得中に照明が大きく移動しなかった場合（典型的には、走査ビームが、段階的に走査され、取得中に相対的に静止している場合）、線走査システムのために最適化された焦点を見つけ出すために使用され得る。線走査眼底撮像システムに好適な焦点合わせ方法は、全体が参照により本明細書に組み込まれる、国際公開第２０１８１７８２６９号パンフレットに開示されている。別の改善例として、眼の焦点外領域からの、背景光レベル、例えば、迷光レベルを評価するために、走査線により直接照明されない網膜上の位置が検出され（例えば、画像が取り込まれ）得、次いで、この背景レベルは、取り込まれた線画像から差し引かれ得る。線走査撮像装置はまた、瞳分割と組み合わせられている（例えば、全体が参照により本明細書に組み込まれる、ミュラー（Ｍｕｌｌｅｒ）らの米国特許第８４８８８９５号明細書を参照）。

【0021】

要約すると、線走査撮像システムは、眼の網膜上の個々の走査線の画像を記録することにより眼底画像を構築するが、記録された走査線は、より多くの情報を抽出するために使用することができる。例えば、線幅は、焦点の直接の測定値である。この情報は、システムの（例えば、自動）焦点合わせのために又は逆畳み込みアルゴリズムへの追加の入力として使用することができる。また、検出器（例えば、カメラ）上の線位置（重心）は、サンプルの高さ（例えば、特定の点における網膜の深さ）の直接の測定値である。このトポグラフィ情報は、例えば、血管、血管交差、又は網膜上の他の構造（体積を測定すべき腫瘍など）を分析するために使用することができる。

【0022】

線走査の極めて重要な技術的詳細の１つは、線幅である。線があまりに幅広である場合には、不可能ではないにしても、反射率を位置及び線幅と区別することが困難であり、線の位置特定の不確実性が増し、例えば、幅広線は、広い領域にわたる情報を自動的に平均化し得る。幅広線を使用して画像を走査することには利点があるが、以下に説明するように、幅広線は、位置特定又は幅分析に理想的ではない場合がある。本発明は、走査シーケンスを利用して有効線幅を狭める方法を提供し、この方法は、焦点及び／又はトポグラフィ分析のために使用することができる。

【0023】

図２Ａは、走査線間のステップサイズが走査線の幅よりも小さい、重複線走査シーケンスを図示する。例えば、第１の走査線ｌ１と第２の走査線ｌ２との間の走査ステップサイズＳ１は、第２の走査線ｌ２が、第１の走査線ｌ１により定義された走査領域に重なるように、走査線ｌ１（及び走査線ｌ２）の幅Ｗよりも小さい。図２Ｂは、図２Ａの連続する走査線（例えば、隣り合う走査線）の２つの連続して取り込まれた画像（例えば、走査画像）の差し引き効果（例えば、ｌ１から差し引かれたｌ２）を図示する。隣り合う走査線は、変位幅Ｓ１を有する二重線Ｄ１／Ｄ２をもたらす小さな変位Ｓ１がある複数の矩形としてモデル化され得る。ここで、２つの線Ｄ１／Ｄ２の幅Ｓ１及び位置に基づいて、２つの線Ｄ１／Ｄ２（一方は正であり、他方は負である）を分析することができる。これにより、小さなステップサイズＳ１の幅広線（例えば、ｌ１及び／又はｌ２）の走査画像が、同じステップサイズの（二重）細線Ｄ１／Ｄ２の走査画像に効果的に変換される。

【0024】

取り込まれる走査画像の線位置を決定するために、取り込まれる走査画像の（光）強度の重心（例えば、標的領域）が算出され得る。これは、非常に高速なアルゴリズムであるが、ノイズの影響を受けやすいことがある。ロバスト性を改善するために、走査画像が、前景及び背景（例えば、線及びノイズ）セグメントにセグメント化され得、且つ前景セグメントについて重心が算出され得る。重心の位置は、深さ感度を高める、サブピクセル精度で算出することができる。

【0025】

図３Ａ及び図３Ｂは、重心の変位が眼の深さ（又は高さ）の変化（例えば、逆畳み込み測定値）にどのように対応し得るかを図示する。（予測位置に対する重心の）変位は、網膜トポグラフィの直接の測定値であり、較正システムで実際の高さ（計測）に変換することができる。すなわち、（予測位置からの）線位置の位置ずれは、走査対象物の高さの変化又は凸部（例えば、互いに交差する２つの血管などに起因する眼の深さの変化）によるものであり得る。図３Ａは、深さに不規則性のない平面対象物の走査などからの、走査線ｌ３のずれのない走査画像を示す。図３Ｂは、走査対象物がその表面に不規則性（例えば、凸部）を有することに起因して凸部Ｂ１を有する同じ走査線ｌ３の走査画像を示す。取り込まれた走査画像の長さに沿った重心の位置の変化に追従することにより決定できる、凸部Ｂ１の高さΔｚは、走査対象物の表面における差（凸部）の高さに相当する（例えば、高さの測定値である）。この手法は、カメラ及び照明光学系の較正から利益を得ることがある。

【0026】

線位置の位置特定と同様に、線幅は、強度分布の２次モーメント（注記：重心は１次モーメントに対応する）を使用して前景セグメントから決定され得る。幅は、少なくとも走査線に直交する方向における、画像の非鮮明度（例えば、焦点ずれ）の直接の測定値である。この幅測定値は、図２Ｂに図示する作成された細線のいずれかから決定され得る。

【0027】

例えば、二重細線Ｄ１／Ｄ２は、分析のために正の線（例えば、Ｄ１）又は負の線（例えば、Ｄ２）の一方を選択することにより、単一の線に変換され得る。例えば、（ｌ１－ｌ２）の最大値を選択して残りをゼロ（例えば、ｍａｘ［（ｌ１－ｌ２），０］）に設定することにより細線Ｄ１が単独で定義され得るか、又は（ｌ１－ｌ２）の最小値を選択して残りをゼロ（ｍｉｎ［（ｌ１－ｌ２），０］）に設定することにより細線Ｄ２が単独で定義され得る。図２Ｃは、ｍａｘ［（ｌ１’－ｌ２’），０］を定義することによる２つの走査線ｌ１’及びｌ２’からの単一の細線Ｄ１’の作成を図示し、且つＤ１’の線幅とその位置とを定義する、２次モーメントσを特定する。代替的に、又は第２のモーメントσの使用に加えて、線の位置及び幅は、観察データ（例えば、Ｄ１’）に機能的形状（例えば、ガウス分布）をフィッティングさせることにより定義され得る。次いで、このフィッティングのパラメータにより位置と幅が得られる。この手法の利点は、走査線の形状（例えば矩形照明）に関する予備知識を考慮に入れることができることである。加えて、ノイズ感度を下げるためにロバストフィッティング法を使用することができる。

【0028】

このようにして、眼底撮像システムでの幅広線（図２Ａに示すものなど）は、小ステップ走査画像の差として細線に（例えば、デジタル処理で）変換され得る。次に、幅（焦点ずれ）及び位置（対象物の深さ）に関して細線を分析することができる。

【0029】

線幅及び線の変位は、焦点ずれの直接の測定値であり、網膜の深さ、すなわち、網膜の高さに等しいとみなされ得る。これらの測定値は、例えば、自動焦点を提供するために、撮像システム内で使用され得る。図２を参照して説明するような、より高い解像度では、この情報を他の目的にも使用することが可能である（例えば、深さは、血管をセグメント化する、光ディスクをセグメント化する、腫瘍の体積を推定するなどのために使用することができる）。基本的に、本方法は、解像度の向上をもたらす。

【0030】

この高解像度化は、以下の撮像モデルを使用して説明され得る。

【0031】

【数1】

ここで、画像は観測された強度であり、ｐ_{ｉｌｌｕｍ}は照明の点広がり関数であり、ｐ_{ｄｅｔｅｃｔ}は検出の点広がり関数であり、且つ

【0032】

【数2】

は、照明の矩形ストライプである。アスタリスク記号「＊」は、畳み込みを表し、ドット「・」は、乗算を表す。このモデルは、照明において線形であり、以下を意味する。

【0033】

【数3】

解像度を向上させるために、

【0034】

【数4】

という項が除去され得る。ストライプを差し引く基本概念は、ストライプをδピーク：

【0035】

【数5】

に変換することである。簡単な差し引きにより２つのデルタが得られるが、上記で説明したように、これは、最小－最大演算により容易に対処される。これにより、撮像システムに入力される照明の幅が最小限に抑えられるが、解像度に対する制限係数として照明のぼやけが依然として残る（δ＊ｐ_{ｉｌｌｕｍ}＝ｐ_{ｉｌｌｕｍ}）。

【0036】

代替案として、重みを使用して正弦照明が概算され得る。

【0037】

【数6】

これは、（複素）正弦波が畳み込みの固有関数であることによるものである（例えば、何かで畳み込まれた正弦／余弦は、スケーリングされた正弦／余弦である）。ここで、照明のぼやけを取り除くために、ｐ_{ｉｌｌｕｍ}を逆畳み込みする、アルファ（α）スケーリング係数が除去され得る。強度の正規化などにより、アルファ（α）スケーリング係数を取り除いた後に、正弦波を（逆の重みで）再結合して、照明としてデルタ又は矩形のいずれかに戻すことができる。

【0038】

本技術を使用して、（単方向）焦点ずれマップは、走査画像に沿った複数の点における焦点（及び／又は重心位置）を決定することにより構築され得、次いで、焦点ずれマップは、自動焦点ツールとして又は逆畳み込みアルゴリズムを改良するために使用され得る。

【0039】

代替的に、単一の走査線を分析する代わりに、３Ｄ走査で使用されるパターンなどの構造化光パターンが生成され得る。照明の矩形形状がぼやけている（すなわち、よりガウスベル（又は凸部）形状である）ので、交互に代わる符号（例えば、正符号及び負符号）と組み合わせて、正弦照明をリサンプリングすることができる。そのような３つのパターンは、深さ情報を抽出するための位相シフトのために使用することができる。別の例は、相関関係により矩形パターンから近似させることができる三角形の照明パターンの使用である。

【0040】

上記の例では、照明のぼやけを取り除く（又は軽減する）ために、振幅（例えば、強度）の測定値であり得る、アルファ（α）スケーリング係数を除去したが、アルファ（α）スケーリング係数は、照明の焦点ずれに伴って変化し（例えば、焦点ずれを表し、又は焦点ずれに関連し）、それゆえ、システムの焦点ずれの直接の測定値を提供し得ることが分かっている。例えば、焦点ずれ測定値は、正弦波状照明の振幅に基づいて決定され得る。更に、アルファ（α）スケーリング係数は周波数に依存することが分かっている。結果として、異なる周波数の正弦波を使用することにより、システムの完全な（又は実質的に完全な）点広がり関数を表すために使用され得る一連のアルファ値が得られる。振幅は使用される周波数に依存するので、振幅情報を使用して、システム光学系、眼、及びストライプ幅を含み得る、疑似変調伝達関数（ＭＴＦ）も生成され得る。これらのアルファ（α）値は、自動焦点合わせの目的及び／又は深さ測定の目的（例えば、表面トポグラフィ／トポロジ）で使用され得る「アルファマップ」を構成し得る。例えば、異なる周波数は異なるアルファ（α）値（例えば、異なる振幅）をもたらすので、周波数を掃引することにより、トポグラフィマップが取得され得る。トポグラフィ情報は、走査ごとに振幅データの高速フーリエ変換（ＦＦＴ）を行うことにより決定され得る。したがって、網膜のトポグラフィ及び／又は焦点ずれマップは、画像ストライプ（又は走査）の線形結合を使用して決定され得る。

【0041】

バランスの取れた多点自動焦点
（眼を撮像／走査する前の予備画像又はプレビュー画像上などの）眼底画像上の複数の点又は位置における上記で説明した焦点ずれを決定する方法のいずれか（又は焦点ずれを測定する他の既知の方法）は、眼底の使用可能な画像を取り込むユーザの（例えば、人間オペレータの）能力を向上させるために、グラフィカルユーザインタフェース（ＧＩＵ）と共に使用され得る。

【0042】

広視野眼底カメラの焦点深さは、網膜深さの変化よりも小さい可能性があり、画像の周辺の焦点ずれを起こす原因となる。これは、近視網膜の画像に非常に頻繁に見られる。また、網膜剥離及び腫瘍の場合、ユーザは、腫瘍若しくは隆起した網膜の又は周囲の網膜の焦点画像を取得するのに苦労する可能性がある。眼科撮像システムで使用される従来の自動焦点方法では、（眼底）画像は、画像の中心に焦点が合わせられるが、この方法は、臨床医が網膜の（例えば、中心から外れた）特定の部分に焦点を合わせたいと望む又は全体的に最も良く焦点の合った画像を取得したいと単に望む場合には役に立たない。本発明はこの問題に対処する。

【0043】

典型的には、自動焦点は、概して、多数の異なる技術を使用してカメラの視野（ＦＯＶ）の中心において提供される。この手法の限界は、純粋に画像の中心に基づいて焦点が選択され、したがって、視野の中心以外の領域には使用することができないことである。この手法はまた、撮像システムが画像のより多くに焦点を合わせることができることを防止する。理解されるように、眼の後部は平坦ではなく、そのため、カメラのＦＯＶ内の眼の眼底の異なる部分は、それらに焦点を合わせるのに異なる焦点設定を必要とし得る。

【0044】

本発明は、各部分が焦点補助位置を定義する、眼の異なる部分における焦点を決定し得る。次いで、焦点補助位置は、新たな画像を取り込むのに最適な焦点を決定するために使用され得る。本発明は、例えば、上記で且つ／又は国際公開第２０１８１７８２６９号パンフレットで説明されているように、複数の焦点補助／機構のいずれかを使用して眼内の複数の別個の位置（焦点補助位置）における焦点読み取り値を取得し得る（例えば、複数の別個の位置（焦点補助位置）についての焦点ずれ測定値を決定し得る）。各位置における焦点は、患者の固視方向を考慮して、様々な焦点ずれ状態（眼の乱視の領域（不規則な形状の角膜）、飛蚊症、眼の曲率などの）を補償するように調節され得る。追加的に、システムは、ユーザ（撮像システムオペレータ）からの入力命令に従ってどのように画像に焦点を合わせるかを調節し得る。例えば、ユーザがどのように画像に焦点を合わせたいとを望むか（例えば、バランスの取れた焦点合わせ又はある点での焦点合わせ）に応じて、複数の焦点補助位置の各々に対する重みが算出され得る。任意選択で、集められた情報は、単一の焦点読み取り値を算出するために組み合わせられ得る。このようにして、本発明は、眼の任意のユーザ指定部分に焦点を合わせるか、又は撮像システムのＦＯＶのより広い領域に焦点を合わせ得る。

【0045】

図４Ａは、複数の焦点補助位置ｆ_１～ｆ_７が眼底画像１１に重ね合わされた、電子ディスプレイ上のプレビューウィンドウ（又は表示領域）１５内のプレビュー眼底画像１１を図示する。例示の目的で７つの焦点補助位置が示されていることと、任意の数の複数の焦点補助位置が提供され得ることを理解されたい。更に、焦点補助位置ｆ_１～ｆ_７は、予め指定された（任意選択で固定された）位置に位置決めされ且つ眼底画像１１又は表示領域１５の予め定められた領域（固定又は可変）にわたり得ることを理解されたい。任意選択で、焦点補助位置ｆ_１～ｆ_７は、眼底画像１１上に表示され（例えば、眼底画像１１に重ね合わされ）得るか、又は表示領域１５の視界から隠され得る。すなわち、ユーザは、任意の数の焦点補助位置ｆ_１～ｆ_７を視認して選択することが許可され得るか、又は焦点補助位置ｆ_１～ｆ_７は、ユーザの視界から隠され得る。ユーザは、好ましくは、画像を取り込むために焦点を合わせるべき眼底画像１１内の１つ又は複数の領域（又は点）を選択する。ユーザは、任意の既知の入力装置又は機構（例えば、キーボード、ポインタ、ローラ、タッチスクリーン、音声、入力スクリプトなど）を用いて、この選択を入力し得る。

【0046】

動作中には、以下に説明するように、撮像システムのカメラの視認経路（例えば、集光経路）に対してオフセットされた、患者の瞳孔内に入る光路を通して、網膜（眼底）上の各焦点補助位置が、（例えば、特別な走査線又は他の形状の光ビームであり得る、それぞれの焦点補助照明により）照明される。患者の眼の屈折力の異常は、眼から外に出る視認経路とは異なるように、眼内に入る焦点補助照明を屈曲させ、結果として、屈折異常に依存する各焦点補助位置の位置（例えば、予測位置と異なる位置）がもたらされ、網膜上の焦点補助照明の位置を鮮明に撮像するのに必要な焦点設定に対するシステムのカメラの焦点ずれ測定値に変換される。

【0047】

各焦点補助ｆ_１～ｆ_７は、他の方向への屈折とは異なる可能性がある、瞳孔内のオフセット方向への屈折成分を感知し、次いで、特に乱視がある場合に、各焦点補助位置での最良の画像鮮明度のための焦点を決定する。人間の平均的な眼は、数ジオプトリの乱視を有し、調節可能な非点収差のない眼底カメラ（又は他の眼科撮像システム）は、典型的には、カメラの中心を見るように眼を回転させたときに平均的な眼の乱視を矯正するだけである。任意の所与の固視標においてなど、カメラに対して眼を回転させたときに、本システムは、眼の乱視と眼底カメラの非点収差補正との不整合を考慮に入れることができる。これは、以下の式を使用して行われ得る。

【0048】

【数7】

ここで、ｆ_ｋは、所与の焦点補助位置における焦点であり、
Ｈは、水平方向視線配向係数であり、
Ｘ_{Ｆｉｘａｔｉｏｎ}は、固視標のＸ位置であり、
Ｘ_{ｆｏｃｕｓ ａｉｄ}は、焦点補助のＸ位置であり、
Ｖは、上下方向視線配向係数であり、
Ｙ_{Ｆｉｘａｔｉｏｎ}は、固視標のＹ位置であり、
Ｙ_{ｆｏｃｕｓ ａｉｄ}＝焦点補助のＹ位置である。

【0049】

したがって、ユーザは、所与の焦点補助位置又はプレビュー眼底画像１１上の任意の位置を選択することなどにより、システムのＦＯＶ内の任意の所与の点／領域での焦点合わせのためにシステムを最適化することを選択し得る。焦点合わせのためにユーザが選択した点／領域が、プレビュー画像１１上に表示される又はされないことがある、特定の焦点補助位置（ｆ_１～ｆ_７）に対応していない場合に、ユーザが選択した点に最適な焦点は、ユーザが選択した点の位置に対して重み付けされた焦点補助（ｆ_１～ｆ_７）の適切な組み合わせにより決定され得る。代替的に、ユーザは、焦点補助位置の各々に対して所定の重みを適用し得る、プレビュー画像にわたる所定の焦点のバランスを使用することを選択し得る。例えば、バランスの取れた焦点は、以下のように算出され得る。

【0050】

【数8】

ここで：ｗ_ｋ＝焦点位置における重みであり、
ｆ_ｋ＝ある位置における非点収差補正焦点である。

【0051】

図４Ｂは、焦点を合わせるべきプレビュー画像１１の任意の点をユーザがどのように自由に選択し得るかの例を提供する。本例では、ユーザが入力した焦点は、星により特定される。ユーザは、入力装置（例えば、クリック点）を用いて、又はタッチスクリーンを用いて、所望の焦点を入力し得る。この場合、ユーザが入力した点に対する最適な焦点は、ユーザが入力した点に対する焦点補助位置の重み付けされた組み合わせとして決定され得る。例えば、入力されたクリック点からそれぞれの焦点補助位置ｆ_１～ｆ_７までの個々の距離ｄ_１～ｄ_７が決定される。次いで、クリック点（星印）に対する焦点は、以下のように決定され得る。

【0052】

【数9】

ここで、ｄ_ｋは、所望の焦点位置と所与の焦点補助位置との間の距離である。

【0053】

要約すると、本手法は、眼上の複数の別個の位置（例えば、ｆ_１～ｆ_７）での焦点読み取りを行う。次に、各位置での焦点読み取りは、固視角度を考慮して調整される。重みは、ユーザが入力した焦点に対する各焦点位置について算出される（重みは、所与の別個の焦点位置からユーザが選択した焦点までの距離に依存し得る）。最後に、画像取り込みのための焦点調節は、別個の各焦点位置の重み付けされた焦点に基づいて、ユーザが選択した焦点について算出され得る。

【0054】

システムオペレータは患者に固視点を提供し得るが、患者は、提供された固視点に焦点を維持できないことがあることに留意されたい。すなわち、患者の真の固視点は、システムが提供する固視点と異なることがある。それゆえ、本システムは更に、上述のように、最適な焦点設定を決定するときに患者の真の固視方向を決定するための機構を提供する。例えば、システムは、赤外線撮像を使用して、プレビュー画像１１であり得る、検査画像を取得し得る。次いで、システムは、検査（例えば、プレビュー）画像内の視神経乳頭を特定し、特定された視神経乳頭の位置に基づいて患者の視線角度を決定し得る。視神経の特定は、通常は未発達の視神経に関連付けられる、視神経低形成を患者が患っている場合、複雑になることがある。それゆえ、システムは更に、中心窩又は特有の血管系などの、視線角度を示す他の目印を探し得る。次いで、患者の視線は、ＩＲプレビュー画像内の特定された目印の位置と、患者の眼に対するシステムの既知の撮像設定（例えば、照明及び視野角）とに基づいて決定され得る。ＩＲプレビュー画像の使用は、眼がＩＲ波長に敏感ではないので有利であり、ＩＲプレビュー画像は、システムの位置合わせの目的などで、眼の邪魔をせずに連続的に取り込まれ得る。特定の目印は、特定の撮像処理アルゴリズム又は機械学習技術（例えば、深層学習）を使用して特定され得る。可視光画像内の目印は、蛍光眼底血管造影（ＦＡ）又はインドシアニングリーン血管造影（ＩＣＧＡ）撮像など、特定のタイプの画像を撮影した場合に、見つけ出すのがより困難であり得るので、このタスクでは、赤外線（プレビュー）画像が、可視光（プレビュー）画像よりも優先される。しかしながら、ＩＲプレビュー画像から決定された視神経乳頭の特定された位置は、取り込まれるＦＡ及び／又はＩＣＧＡ画像に時間的に実質的に近接して（例えば、取り込まれるＦＡ及び／又はＩＣＧＡ画像の直前又はそれらと同時に）ＩＲプレビュー画像が撮影される場合に、取り込まれたＦＡ及び／又はＩＣＧＡ画像に直接適用され得る。理解されるように、眼の固視角を決定するためのこのＩＲ撮像の使用では、ＯＣＴなどの、他の眼科撮像システムと共に使用され得る。更に、ＩＲ画像は、本明細書では固視検出のために使用され、したがって眼の眼底（又は後部）を撮像し、眼の瞳孔（又は前部）を撮像する、視線追跡には使用されないことに留意されたい。

【0055】

広視野眼底画像内の視神経乳頭の中心を見つけ出すためのＵネット
本明細書では、深層学習を使用して、広視野眼底画像内などの、視神経乳頭の中心を特定する例が提供される。上述のように、視神経乳頭の中心は、患者の視線方向を特定するために使用され得る。

【0056】

視神経乳頭（ＯＮＨ）は、眼底画像内に観察される最も目立つ目印の１つであり、眼底画像処理ではＯＮＨを自動的に見つけ出す機能が非常に望ましい。ＯＮＨ位置特定アルゴリズムは、病変を探すことを開始するために標準化オフセット又は関心領域（ＲＯＩ）を適用する基準を提供することにより中心窩又は他の目印を見つけ出すのに役立つことができる。ＯＮＨ位置特定で利用可能な文献のほとんどは、カラー（例えば、可視光）眼底画像内のＯＮＨの位置を特定することに対処する。しかしながら、いくつかのタイプの眼底画像と、カラー画像に適用可能なＯＮＨ位置特定技術があり、その技術の多くは、他のタイプの画像にはあまり適していない。例えば、血管造影検査の様々な段階で色素が眼血管系を通って進むにつれてＯＮＨの外観が変化するので、蛍光眼底血管造影（ＦＡ）画像及びインドシアニングリーン血管造影（ＩＣＧＡ）血管造影画像内の視神経の位置を特定することが非常に困難である。本明細書では、ＦＡ及びＩＣＧＡ画像の全ての段階でＯＮＨを確実に見つけ出すために赤外線（ＩＲ）プレビュー画像に適用されるＵネットベースの深層学習アーキテクチャが提供される。

【0057】

従来のＯＮＨ位置特定アルゴリズムでは、手作りの特徴／フィルタが使用される。例えば、シンタナヨシン（Ｓｉｎｔｈａｎａｙｏｔｈｉｎ）他著、「デジタルカラー眼底画像からの視神経乳頭、中心窩、及び網膜血管の自動位置特定（Ａｕｔｏｍａｔｉｃ Ｌｏｃａｌｉｓａｔｉｏｎ ｏｆ ｔｈｅ Ｏｐｔｉｃ Ｄｉｓｋ， Ｆｏｖｅａ， ａｎｄ Ｒｅｔｉｎａｌ Ｂｌｏｏｄ Ｖｅｓｓｅｌｓ ｆｒｏｍ Ｄｉｇｉｔａｌ Ｃｏｌｏｕｒ Ｆｕｎｄｕｓ Ｉｍａｇｅｓ）」、英国眼科学会誌（Ｂｒ．Ｊ．Ｏｐｈｔｈａｌｍｏｌ．）、第８３巻、第８号、ｐ．９０２～９１０、１９９９年では、分散フィルタを使用して、視神経乳頭における血管の存在に起因する強度の急速な変化を利用する。しかしながら、この手法は、カラー眼底画像に対してのみ有効であり、小さなデータセットで検査された。また、この手法は、白色病変及び浮き出た脈絡膜血管を有する眼底では失敗する可能性が高いことも示されている。アキタ（Ａｋｉｔａ）他著、「眼底画像を理解するコンピュータによる方法（Ａ Ｃｏｍｐｕｔｅｒ Ｍｅｔｈｏｄ ｏｆ Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｏｃｕｌａｒ Ｆｕｎｄｕｓ Ｉｍａｇｅｓ）」、パターン認識（Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ）、第１５巻、第６号、１９８２年、４３１～４４３頁で提供されている別の手法は、血管追跡を使用してＯＮＨの位置を特定する。しかしながら、このアルゴリズムは、血管セグメンテーションアルゴリズムの良好な適用に依存している。アルゴリズムが血管系に依存しているので、異常な血管系は偽検出につながることがある。メンデル（Ｍｅｎｄｅｌｓ）他著（「動的輪郭を使用した網膜画像内の視神経乳頭境界の特定（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ ｔｈｅ Ｏｐｔｉｃ Ｄｉｓｋ Ｂｏｕｎｄａｒｙ ｉｎ Ｒｅｔｉｎａｌ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ａｃｔｉｖｅ Ｃｏｎｔｏｕｒｓ）」、アイルランドマシンビジョン及び画像処理会議の会議録（Ｐｒｏｃ．Ｉｒｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｃｏｎｆ．）、１９９９年９月、ｐ．１０３～１１５）では、ＯＮＨの検出のために動的輪郭を使用する。この手法の欠点は、画質の変化に対してロバストではない、モルフォロジフィルタリングにより生成される初期輪郭への依存性にある。アルゴリズムが動的輪郭に基づくので、時間効率も高くない。スカール（Ｓｅｋａｒ）他著、「網膜眼底画像内の視神経乳頭及び中心窩の自動位置特定」、２００８年の第１６回ヨーロッパ信号処理会議（２００８ １６ｔｈ Ｅｕｒｏｐｅａｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ）、ローザンヌ（Ｌａｕｓａｎｎｅ）、２００８年、ｐ．１～５において提供されている更に別の手法は、モルフォロジ演算とその後のハフ変換とを使用して、ＯＮＨを見つけ出す。このアルゴリズムでは、ハフ変換は、所与の限界半径を有する円のフィッティングを行うために使用される。アルゴリズムは、グレイレベル強度の変化が大きい画像領域を見つけ出し、その領域をＯＮＨを見つけ出すための基準として使用する。このことは通常の画像（例えば、健康な眼の画像）では問題ではない場合があるが、病変のある画像では、視神経乳頭が、強度変化の大きい唯一の構造ではない可能性があり、このことがエラーにつながる場合がある。ジュ（Ｚｈｕ）他著、「円のハフ変換を使用した網膜の眼底画像内の視神経乳頭の検出（Ｄｅｔｅｃｔｉｏｎ ｏｆ ｔｈｅ Ｏｐｔｉｃ Ｎｅｒｖｅ Ｈｅａｄ ｉｎ Ｆｕｎｄｕｓ Ｉｍａｇｅｓ ｏｆ ｔｈｅ Ｒｅｔｉｎａ Ｕｓｉｎｇ ｔｈｅ Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍ ｆｏｒ Ｃｉｒｃｌｅｓ）」、デジタル画像ジャーナル（Ｊ Ｄｉｇｉｔ Ｉｍａｇｉｎｇ）、２００９年、第２３巻（第３号）、ｐ．３３２～４１では、ＯＮＨを見つけ出すためにエッジ情報及びハフ変換が使用される。しかしながら、このアルゴリズムは、良好なエッジ情報（画質）を抽出してある半径の円に一致させることができるかどうかに依存するので、変化する画質及びＯＮＨ関連の病変に対してロバストではない可能性が高い。ランガイヤン（Ｒａｎｇａｙｙａｎ）他著、「ガボールフィルタと位相ポートレート解析とを用いた網膜の眼底画像内の視神経乳頭の検出（Ｄｅｔｅｃｔｉｏｎ ｏｆ ｔｈｅ Ｏｐｔｉｃ Ｎｅｒｖｅ Ｈｅａｄ ｉｎ Ｆｕｎｄｕｓ Ｉｍａｇｅｓ ｏｆ ｔｈｅ Ｒｅｔｉｎａ ｗｉｔｈ Ｇａｂｏｒ Ｆｉｌｔｅｒｓ ａｎｄ Ｐｈａｓｅ Ｐｏｒｔｒａｉｔ Ａｎａｌｙｓｉｓ）」、デジタル画像学会誌（Ｊｏｕｒｎａｌ ｏｆ ｄｉｇｉｔａｌ ｉｍａｇｉｎｇ）、第２３巻（第４号）、ｐ．４３８～５３で説明されている、別の手法は、血管の検出にガボールフィルタを使用し、位相ポートレートモデリングを適用してＯＮＨの位置を特定しようと試みる。このアルゴリズムは、具体的には、網膜血管の集合点としてのＯＮＨの特性に基づいている。血管又は集合中心点が画質又は病変により不明瞭である場合、このアルゴリズムの性能が影響を受ける。畳み込みニューラルネットワーク（ＣＮＮ）を使用して視神経の位置を特定するために深層学習アルゴリズムを使用するいくつかの手法も報告されている。ＣＮＮの説明が以下に提供される。ＣＮＮを使用して視神経を見つけ出す例は、Ｄ．ニウ（Ｄ．Ｎｉｕ）他著、「眼底画像における深層学習に基づく視神経乳頭の自動位置特定（Ａｕｔｏｍａｔｉｃ Ｌｏｃａｌｉｚａｔｉｏｎ ｏｆ Ｏｐｔｉｃ Ｄｉｓｃ Ｂａｓｅｄ ｏｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ｉｎ Ｆｕｎｄｕｓ Ｉｍａｇｅｓ）」、２０１７年ＩＥＥＥ第２回信号及び画像処理に関する国際会議（２０１７ ＩＥＥＥ ２ｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｉｇｎａｌ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）（ＩＣＳＩＰ）、シンガポール（Ｓｉｎｇａｐｏｒｅ）、２０１７年、ｐ．２０８～２１２、ゴンザレス・ヘルナンデス・Ｄ．（Ｇｏｎｚａｌｅｚ－Ｈｅｒｎａｎｄｅｚ Ｄ．）他著、「健常者及び緑内障患者におけるヘモグロビン含有量を測定するための深層学習に基づく視神経乳頭のセグメンテーション（Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ Ｏｐｔｉｃ Ｎｅｒｖｅ Ｈｅａｄ Ｂａｓｅｄ ｏｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ｔｏ Ｄｅｔｅｒｍｉｎｅ ｉｔｓ Ｈｅｍｏｇｌｏｂｉｎ Ｃｏｎｔｅｎｔ ｉｎ Ｎｏｒｍａｌ ａｎｄ Ｇｌａｕｃｏｍａｔｏｕｓ Ｓｕｂｊｅｃｔｓ）」、臨床的＆実験的眼科学会誌（Ｊ Ｃｌｉｎ Ｅｘｐ Ｏｐｔｈａｍｏｌ）、第９巻：７６０、並びにＨ．Ｓ．アルガムディ（Ｈ．Ｓ．Ａｌｇｈａｍｄｉ）他著、「眼底画像内の視神経乳頭の異常の自動検出：深層学習法（Ａｕｔｏｍａｔｉｃ Ｏｐｔｉｃ Ｄｉｓｃ Ａｂｎｏｒｍａｌｉｔｙ Ｄｅｔｅｃｔｉｏｎ ｉｎ Ｆｕｎｄｕｓ Ｉｍａｇｅｓ：Ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｐｐｒｏａｃｈ）」、眼科医用画像解析国際ワークショップ（ｔｈｅ Ｏｐｈｔｈａｌｍｉｃ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ）（ＭＩＣＣＡＩ、２０１６年と同時にギリシャのアテネで開催されたＯＭＩＡ ２０１６年）の議事録、アイオワリサーチオンライン（Ｉｏｗａ Ｒｅｓｅａｒｃｈ Ｏｎｌｉｎｅ）、ｐ．１７～２４、２０１６年１０月において説明されている。上記の公開された著作物の全ては、それらの全体が参照により本明細書に組み込まれる。しかしながら、これらの公表された著作物の全てにおいて、視神経乳頭がカラー眼底画像内に検出されることに留意されたい。すなわち、これらの手法の全ては、特徴を使用するか、又は（例えば、ＯＮＨの）カラー眼底画像を使用して（深層学習）アルゴリズムを訓練する。

【0058】

本発明のＯＮＨ位置特定手法は、ＦＡ及びＩＣＧＡ画像内などの、カラー画像以外の画像タイプ（例えば、撮像モダリティ）でＯＮＨの位置を特定するのに好適であるという点で、上記の例とは異なる。

【0059】

ＦＡ及びＩＣＧＡ血管造影検査では、光反応性色素（例えば、ＦＡでは蛍光色素、及びＩＣＧＡではインドシアニングリーン色素）を被検者の血流に注入した後に、一連のタイムラプス画像が取り込まれる。高コントラストの画像は、色素を励起するために選択された特定の光周波数を使用して取り込まれる。色素が眼内を流れるときに、眼の様々な部分を明るく輝かせ（例えば、蛍光させ）、眼を通る色素の進行ひいては血流を識別することを可能にする。典型的には、色素が眼内に入っていない（又はほとんど入っていない）間は暗色であり、より多くの色素が眼内に入って眼内を流れるにつれて輝度が増し、色素が眼から出ると再び暗くなることにより、取り込まれた一連の画像が特徴付けられるように、より多くの色素を含む部分がより明るく輝く。結果として、血管造影検査の様々な段階で色素が血管を通って進むにつれてＯＮＨの外観が経時的に変化し、この変化は、概して、蛍光眼底血管造影（ＦＡ）及びインドシアニングリーン血管造影（ＩＣＧＡ）画像内のＯＮＨの位置を特定することを非常に困難にする。例示の目的で、図５は、血管造影検査の異なる段階（又は血管造影検査中の異なる時点）で撮像された、２つの血管画像Ａ１及びＡ２を提供する。図示のように、画像Ａ１内のＯＮＨは、画像Ａ２内のＯＮＨとは非常に異なって見え、このことは、血管造影検査の全ての段階に好適なフィルタの作製を複雑にする。したがって、ＯＮＨの位置特定で利用可能な文献のほとんどは、概して、それ自体をカラー眼底画像に限定しており、ＦＡ又はＩＣＧＡ画像内のＯＮＨの位置を特定する難題を避けている。しかしながら、本明細書では、ＦＡ及びＩＣＧＡ画像又は任意の他のタイプの画像／走査の全ての段階でＯＮＨを確実に見つけ出すためにＩＲプレビュー画像に適用されるＵネットベースの深層学習アーキテクチャが提示される。

【0060】

概して、眼底／網膜のＩＲプレビュー画像は、検査のために走査（撮像）を行う前に収集される。上記で説明したように、ＩＲプレビュー画像は、焦点を調節するために使用され得、以下に説明するように、ＩＲプレビュー画像は、患者に対するシステムの正確な位置合わせを確実にし、眼の正しい領域が撮像されることを確実にするために使用され得る。したがって、ＩＲプレビュー画像は、ＦＡ及び／又はＩＣＧＡ画像の取り込み直前に収集／記録される。本明細書では、ＦＡ又はＩＣＧＡ画像（又は他の任意のタイプの画像）を取り込む前にＩＲプレビュー画像内に直ぐに見つけ出されるＯＮＨの位置は、取り込まれたＦＡ又はＩＣＧＡ画像内においても同じである（変わらないままである）ことが述べられている。すなわち、ＩＲプレビュー画像内のＯＨＮの位置は、ＦＡ及びＩＣＧＡ画像内のＯＮＨの位置特定のために使用される。本発明は、ＦＡ及び／又はＩＣＧＡ画像の取り込みを開始する直前に撮影された（ＩＲ画像を使用して訓練されたアルゴリズムを使用して）網膜のＩＲプレビュー画像内のＯＮＨを特定して、ＩＲプレビュー画像からＯＮＨの位置をＦＡ及び／又はＩＣＧＡ画像に転写することにより、ＦＡ及び／又はＩＣＧＡ画像内のＯＨＮの位置を間接的に特定する。

【0061】

以前の従来の手法は、カラー眼底画像内のＯＮＨの位置を特定することに限定されていた。そして、カラー眼底画像内のＯＮＨを特定することは、ＦＡ及びＩＣＧＡ画像のような動的撮像モダリティ（撮像タイプ）でＯＮＨの位置を特定することと比較して、（かなりの訓練画像が与えられた場合には）比較的簡単である。ＦＡ及び／又はＩＣＧＡ撮像の様々な段階の各々について、かなりの訓練画像セット（例えば、１０００枚を超える画像）を収集することは、特に光反応性色素の注入を伴うので、非常に困難である。本発明は、これらの困難の一部を回避する。

【0062】

本発明は、機械学習モデルを訓練するために大量の取得するのが困難な血管造影画像（例えば、ＦＡ及び／又はＩＣＧＡ画像）を必要とせずに、ＯＮＨ（又は他の任意の所定の構成又は構造）の位置をどうにか特定する。本発明の一実施形態では、移行訓練は、ＩＲ画像を含むように機械学習モデルの動作を拡張することによりカラー画像内のＯＮＨの位置を特定するように訓練される既存の機械学習モデルに基づくように使用され得る。移行訓練は、第１のタスクのために開発された機械学習モデルが、第２のタスクに関して別の機械モデルを訓練するための開始点として再使用される、機械学習方法である。これらの問題に関するニューラルネットワークモデルの開発に必要な膨大な計算及び時間資源を考慮して、予め訓練されたモデルが開始点として使用される。例えば、本機械学習モデルは、まず、カラー画像（又はカラー画像から抽出された個々のカラーチャネル）を使用して訓練し、次いで、ＩＲ画像に対する移行訓練がなされる。移行訓練の使用は、本発明の別の新規な特徴である。例えば、本アルゴリズムは、２つのステップで訓練され得る、すなわち、第１に、カラー画像及び／又はカラー画像から抽出されたカラーチャネル（例えば、約２０００枚の訓練画像）を使用して訓練され、第２に、ＩＲ画像（例えば、約１０００枚の画像）に対する移行訓練がなされる。すなわち、アルゴリズムは、最初にカラー画像及び／又は個々のカラーチャネル画像（例えば、モノクロ画像）で訓練され、次いでＩＲ画像での訓練を終了し得る。この理由から、この２ステップ手法は、よくあることであるが、多数のカラー画像がすぐに利用可能であり（例えば、２０００枚の画像は、ニューラルネットワークの全てのパラメータを訓練するのに十分な量である）、且つ訓練に利用可能なＩＲ画像の数が少ない場合であり得る。例えば、カラー画像から抽出された赤色チャネル画像はまず、第１のステップでネットワークを訓練するために使用され得、ＩＲプレビュー画像は、同じネットワーク上の機械モデルを移行訓練するために使用され得る。この２ステップ手法では、例えば、カラー画像を使用してニューラルネットワークを訓練した後に、所与の数の初期層が固定され（例えば、重み／パラメータが、その後の訓練で変化しないように固定され）、ニューラルネットワークが再び、ＩＲプレビュー画像を使用して残りの固定されていない層のみで訓練される（又は所与の数の最後の、例えば２つの層のみでの訓練）。この第２のステップでの重み／パラメータ訓練は、第１のステップでの重み／パラメータ訓練よりも制限される。しかしながら、ＩＲプレビュー画像の利用可用性は、概して、カラー画像の利用可能性よりも低いので、ネットワーク内の全ての重み／パラメータを訓練するのに十分なＩＲプレビュー画像がないことがある。この理由から、一般的に利用可能なモダリティ画像（例えば、カラー画像）を使用して機械モデルを訓練し、いくつかの層を固定し、利用可能なＩＲプレビュー画像を使用してニューラルネットワークのごく少数の層を移行訓練することが有益である。

【0063】

代替的に、十分な数のＩＲ（プレビュー）画像（例えば、５０００枚を超える画像）が訓練に利用可能である場合には、機械モデルは、ＩＲ画像のみで、又は１回（例えば、１つの訓練ステップ）でＩＲ画像とカラー（又はカラーチャネル）画像との組み合わせで訓練され得る。しかしながら、カラー眼底画像が概してＩＲ画像よりも広く利用可能であるので、移行訓練はなお、パフォーマンスを向上させるために使用され得る。実験は、１ステップ工程と比較して、本ステップ工程を使用したときの精度の測定可能な向上を示した。

【0064】

図６は、本発明に従って動作中に（配備システムにおいて）ＦＡ／ＩＣＧＡ画像内のＯＮＨを見つけ出すためのセグメンテーション及び位置特定フレームワークを提供する。システムは、ブロックＢ３においてＦＡ及び／又はＩＣＧＡ画像を取り込むことが後続する、ＩＲ（例えば、プレビュー）画像を取り込むことにより、ブロックＢ１で開始し得る。代替的に、ブロックＢ３では、ＩＲ画像と異なる別のタイプの画像（例えば、ＦＡＦ、色など）は、ＦＡ及び／又はＩＣＧＡ画像の代わりに（又はそれに加えて）撮影され得、且つ本フレームワークは、同様に、他のタイプの画像内のＯＮＨを特定するのに効果的である。ブロックＢ１からの取り込まれたＩＲ画像は、処理のために、既に訓練されたＵネット、深層学習機械モデルに（入力検査画像として）送られる（ブロックＢ７）前に、アンチエイリアシングフィルタ及びダウンサンプリングを適用し得る、任意選択の前処理ブロックＢ５に送られ得る。

【0065】

好適なＵネットアーキテクチャの例が以下で提供される。ブロックＢ７のＵネットは、検査（ＩＲ）画像を受信して検査画像内のＯＮＨを特定するように訓練される。好ましくは、Ｕネットは、上述のように、２ステップ工程で、ＩＲ眼底画像（例えば、ＩＲプレビュー画像）の訓練セット及びカラー眼底／チャネル抽出カラー眼底のセットを使用して訓練される。Ｕネットは、まず、カラー画像及び／又は視神経乳頭セグメント（例えば、手動マーキングにより又はカラー画像内のＯＨＮを特定する自動アルゴリズムを用いて境界が定められたＯＮＨを有する画像セグメント）を使用してカラー画像から抽出されたチャネル－チャネルを使用して訓練され得る。この第１の訓練ステップは、Ｕネットの全ての層に初期重み／パラメータを割り当てる。結果として得られる重みは、手動マーキング又は自動アルゴリズムから生成された視神経乳頭セグメントを用いたＩＲプレビュー画像を使用して移行訓練される。すなわち、Ｕネットは、初期重み／パラメータで固定された初期層のいくつかと、ＩＲプレビュー画像を使用して訓練された残りの固定されていない層（例えば、最後の２つの層）とを用いて訓練され得る。したがって、Ｕネットは、検査（ＩＲ）画像を受信して、検査画像内において特定された多数の可能性のあるＯＮＨセグメントを出力する。

【0066】

ブロックＢ９は、Ｕネットにより特定された全ての可能性のあるＯＮＨセグメンテーションを受信して、サイズ基準に基づいて候補ＯＮＨセグメントを選択する。この基準は、（例えば、面積又は直径が）第１の閾値よりも大きく且つ第２の閾値よりも小さい受信した全てのＯＮＨセグメントを除外することを含み得る。許容可能なサイズ範囲は、基準範囲に従って決定され得る。

【0067】

次いで、選択された候補ＯＮＨセグメントがブロックＢ１１に送信され、Ｂ１１では、候補ＯＮＨセグメントの１つが真のＯＮＨセグメントとして選択される。この選択は、候補ＯＮＨセグメントの形状に基づき得る。例えば、最も丸みを帯びた形状を有する候補ＯＮＨセグメントが、真のＯＮＨセグメントとして選択され得る。この真のＯＮＨセグメントは、各候補ＯＮＨセグメントの短軸と長軸（半径）との差を決定することなどにより、各候補ＯＮＨ領域の真円度を測ることにより決定され得る。短軸と長軸との差が最も小さいＯＮＨセグメントが、真のＯＮＨセグメントとして選択され得る。複数のＯＮＨセグメントが同じ真円度を有すると分かった場合には、これらのＯＮＨセグメントの中で最も大きいＯＮＨセグメントが真のＯＮＨ領域と指定され得る。

【0068】

このように特定された真のＯＮＨセグメントを用いて、次のステップは、ＩＲ（プレビュー）画像内の真のＯＮＨセグメントの位置を決定することである。ＩＲプレビュー画像内の候補ＯＮＨセグメントの位置特定は、候補ＯＮＨセグメントの重心を見つけ出すことにより行われ得る（ブロックＢ１３）。

【0069】

最後に、ブロックＢ１３では、特定されたＯＮＨセグメンテーション及び位置特定は、ブロックＢ１の取り込まれたＩＲプレビュー画像並びに／或いはブロックＢ３の取り込まれたＦＡ及び／又はＩＣＧＡ画像に適用され得る。

【0070】

図７Ａは、図６のシステムを使用して特定されたＩＲプレビュー画像ＩＲ－１内のＯＮＨ領域ＯＮＨ－１の位置特定を図示する。図７Ｂは、図６のＩＲプレビュー画像ＩＲ－１を取り込んだ直後に取り込まれたＦＡ画像ＦＡ－１（例えば、血管造影画像）を図示し、例えば、画像ＦＡ－１は、眼によりＯＮＨの実質的な移動がなされないように十分に短いと判断された、画像ＩＲ－１の取り込みの後に続く時間期間内に取り込まれる。図７Ｂは、画像ＩＲ－１からＦＡ画像ＦＡ－１上に転写された、位置が特定されたＯＮＨ領域ＯＮＨ－１を示す。このようにして、血管造影検査（ＦＡ又はＩＣＧＡ）の任意の段階でのＯＮＨは、素早く且つ効率的に特定され得る。任意選択で、撮像システムにより支援される場合、追加のＩＲプレビュー画像は、ＯＮＨの位置が、連続的に取り込まれたＩＲ画像から、必要に応じて、連続的に更新され得るように、血管造影検査の複数の（又は全ての）段階を通して連続的に取り込まれ得る。

【0071】

次いで、取り込まれたＦＡ又はＩＣＧＡ画像シーケンスは、特定されたＯＮＨ領域が強調表示されるか否かにかかわらず表示され得る。それに関係なく、取り込まれた一連のＦＡ又はＩＣＧＡ画像の表示に伴う困難がある。

【0072】

血管造影画像シーケンスの自動調節
血管造影撮像、蛍光眼底血管造影（ＦＡ）及びインドシアニングリーン血管造影（ＩＣＧＡ）の両方は、注入された色素が眼を通り抜けるときに暗色から明色までの広範囲の光強度を取り込む必要がある。画像シーケンスのこの強度の変化を取り込むようにカメラを設定することは、困難である可能性があり、結果として、いくつかの画像が飽和する（例えば、非常に多くの信号利得が過度に明るい又は色あせた画像を生じさせる）又は過度に薄暗くなる。それゆえ、システムオペレータは典型的には、ＦＡ又はＩＣＧＡ検査のための画像シーケンスが取り込まれているときに、カメラの取り込み設定を手動で調節する。例えば、システムオペレータは、現在取り込まれた画像を監視して、画像のシーケンスにおける後続の画像の利得を増減するようにカメラを調節し得る。すなわち、ほとんどの眼底カメラは、オペレータが血管造影中に、照明の輝度、センサ利得、又は開口サイズを調節して、信号レベルの多様性に対処し、表示のための良好な輝度を有する画像（すなわち、飽和していない又は過度に薄暗くない画像）を取り込もうとすることを必要とする。これにはいくつかの明確な欠点がある。第１の欠点は、カメラの設定を調節する（例えば、輝度を制御する）必要性によりオペレータの注意がそらされることである。第２の欠点は、オペレータの過誤又は不作為が、画像の露光不足又は露光過多につながる可能性があることである。第３の欠点は、結果として得られる血管造影画像シーケンスが互いに異なるように高輝度化され得ることであり、（血流を示し且つ疾患の評価に関連し得る）時間の経過に伴う画像強度の真の変化が部分的又は完全に不明瞭であることを意味する。いくつかの眼科撮像システムは、システムオペレータからカメラを調節する負担を軽減するために、自動輝度制御（又は感度制御又は自動利得制御）を提供し得る。このタイプの自動制御は、第１及び第２の欠点を克服するのに役立つ可能性があるが、概して、第３の欠点に対処しない。実際に、自動輝度制御は典型的には個々の画像ごとに適用されるので、取り込まれたシーケンスにおける全ての画像は、同様に明るい画像を提供するように個々に調節され得る。この自動輝度制御は、シーケンスにおける画像間の輝度の自然に発生する相対的な変化を更に隠すので、第３の欠点を悪化させる。

【0073】

本発明は、血管造影検査中に（異なる画像間で）信号強度の真の比例した変化を維持しながら、画像輝度の自動調節を提供する。追加的に、本発明はまた、特定の眼疾患に臨床的関連性を有し得る、時間に対する光強度レベルの傾向を提供し得る。

【0074】

第１に、本発明の眼科撮像システムは、好ましくは、高ダイナミックレンジ（光）センサを使用して、血管造影検査（例えば、ＦＡ又はＩＣＧＡ）において画像シーケンスを取り込む。本発明の新規な特徴は、システム／ハードウェアの調節なしに（例えば、照明輝度、センサ利得、及び／又は開口サイズに対する調節なしに）血管造影検査中に画像シーケンスにおける全ての画像の取り込み中の露光不足及び飽和を回避するのに十分に広いダイナミックレンジを有するセンサの使用である。システムは、（例えば、将来の処理のために）取り込まれた生画像を記憶するが、画像の生データを変更せずに、光学表示のために各画像を任意選択で調節し得る。本システムは、画像の領域を調べて、ディスプレイの最大限の活用のために画像を最適に調節する「画像高輝度化係数」を決定し得る。システムは、一連の画像内の画像間の相対的な輝度が維持されるという制約の中で、ディスプレイの最大限の活用のために一連の画像における全ての画像を調節する「シーケンス高輝度化係数」を決定するために、一連の血管造影の一環として取得された全ての画像の「画像高輝度化係数」を更に調べ得る。この場合、各画像の個々の「画像高輝度化係数」ではなく、同じ「シーケンス高輝度化係数」が、表示のための各画像に適用され得る。「シーケンス高輝度化係数」又は生データを使用して、本システムは更に、色素注入からの経過時間に対する画像強度レベルの傾向を決定して記録し得る。

【0075】

本システムは、血管造影のために最適化される。本システムは、血管造影に必要な蛍光範囲に対応するのに十分なダイナミックレンジを提供する。結果として、画像が露光過多になるリスクがごく僅かであり、これにより、血管造影中に照度又は検出器感度を常に調節する必要性がない。それゆえ、オペレータは、画像取り込みシーケンスの輝度又は感度を監視又は制御する必要性に気を取られることは決してない。光センサに対する調節がなされないので、取り込まれた画像シーケンスは、医師により検討される場合、多くの疾患／病状において重要である、血管造影を通して取得された画像強度の真の相対的な変化を忠実に表す。例えば、静脈又は動脈の閉塞は、網膜を通る色素の通過を遅らせることがあり、経時的な画像強度の低下率を低下させる可能性があることを意味する。画像間の蛍光性の相対的な差も、炎症状態を診断するために重要である。対照的に、従来の眼科撮像システムは、データ取得中に輝度又は感度設定を手動又は自動で調節することに起因して画像強度の真の相対的な変化を不明瞭にし、画像を検討する医師が存在しない可能性も高かった。

【0076】

血管造影画像の強度は、色素の通過段階、色素の投与量、網膜の色素沈着、眼球媒体の状態、及び疾患状態によって大きく異なる。ほとんどの眼底撮像システムは、ダイナミックレンジが制限されており、それゆえ、露光不足又は露光過多を回避するために血管造影中に照明輝度又は検出器感度設定の調節を必要とし得る。血管造影中の蛍光信号の自然な変化（通常は初期段階で最も強く、後期段階へと徐々に減少する）は、眼の健康を評価するのに臨床医にとって有用であり得る、網膜を通る血液の通過動力学に関する情報を含む。

【0077】

図８は、血管造影検査の一部として取り込まれた一連の画像内の個々の画像を処理するためのフレームワークを提供する。取得中に、取得ウィンドウ内の「自動調節」チェックボックスをオンにするなどにより、システムオペレータにより有効にされた場合、取り込まれた画像は、（例えば、血管造影検査の経過時間を表す画像のグループ又はシーケンスの一部として表示するためではなく）個々の表示のために（グレイレベル範囲の点で）最適化される。この最適化により、専門家が画質を適切に評価するのを妨げる可能性がある、個々に表示される画像が非常に暗くなること又は過飽和になることが防止される。まず、画像２０が取り込まれる。画像２０の取り込みは、複数の走査線（例えば、ストライプデータ）２２を取り込むことと、ストライプデータを合成して（組み合わせて）（未調節）生画像２０を作成すること２４を含み得る。各画像２０について、取得された生画素強度が記憶される。画像を表示するのに最適化された白色レベルが、生画像２０に対して決定される。白色レベルは、取得された画像データ２０の一部２６又は全てを調べて、９９．９パーセンタイル（又は他の適切に選択されたパーセンタイル）ピクセル強度を算出することにより決定され得る。決定された最適な白色レベルは、生画像２０に関連付けられる画像メタデータ２８に記憶される。メタデータ２８には、（光）センサの電子ノイズをマスキングするレベルで予め設定され得、且つ構成ファイルにより提供され得る、画像を表示するための黒色レベルも含まれる。画像メタデータ２８は、個々の画像２０についての自動高輝度化情報を（例えば、画像２０の白色レベルに従って）効果的に提供する。個々の画像２０の「画像高輝度化係数」は、画像２０の個々に決定された白色レベル及び／又は黒色レベルに基づき得る。

【0078】

表示のために個々の画像２０が選択されたときに、個々の画像２０は、それに関連するメタデータ２８に応じて（例えば、記憶された白色レベル及び／又は黒色レベルに応じて）画像調節３０（例えば、自動高輝度化）を受ける。次いで、調節された画像は、電子ディスプレイ３４上のレビュー画面３２に出力され得る。任意選択で、調節された画像はまた、更なる処理のためにレビューソフトウェア３６に送信され得る。

【0079】

所与の血管造影検査のために全ての撮像が完了した（例えば、全てのタイムラプス画像が取り込まれた）後に、タイムラプス画像はグループとして表示され得る。例えば、グループ画像は、レビュー画面３２に表示され得る。各画像の対応するメタデータは個々の表示調節のための情報を提供するが、個々に最適化された表示設定に従って各画像を表示することにより、画像の多くは、時間の経過に伴う注入された色素の移動による視覚的変化がある画像と別の画像とで容易に識別できないような、同様の外観を有する。例えば、図９は、各個々の画像がそのそれぞれの個々の白色レベルに従って調節された（例えば、高輝度化された）ＦＡタイムラプス画像シーケンス４０を示す。後期画像は、真の蛍光信号が時間の経過に伴って減少するにもかかわらず、初期画像と同様に明るく見え、それゆえ、後期画像は初期画像よりも暗く見えるべきであることに留意されたい。

【0080】

色素の移行に起因するある画像から別の画像への視覚的変化は、画像のそれぞれの生データでは利用できるが、画像のそれぞれの表示最適化形式では利用できない。各画像の生データ形式に従って各画像をタイムラプスシーケンスで表示することは、色素移行情報を保持するが、表示最適化が適用されないので、各画像の詳細を識別することが困難であり得る。例えば、図１０は、任意の画像（例えば、各画像の生信号レベルを表示する）に輝度調節が適用されていない、生ＦＡ画像シーケンス４２（図９の画像シーケンスに対応する）を示す。結果として、画像の多くは薄暗く、評価するのが困難である。

【0081】

グループ表示の場合、本発明の目的は、色素移行に起因する全体的な輝度の点で個々の画像間の相対的な差（例えば、視覚的変化）を保持しながら、可能な限り詳細を表示するように、タイムラプスシーケンスにおける全ての画像をグループとして調節することである。（図９に図示するように）シーケンスにおける全ての画像をそれぞれの白色レベルに従って個々に自動的に高輝度化するのではなく、本発明の一実施形態は、シーケンス内の全ての画像の白色レベル（例えば、各画像の対応するメタデータに記憶された白色レベル）を検査して、それらの白色レベルの中で最大白色レベルを見つけ出し、この最大白色レベルは、本明細書では「ｗ_ｍａｘ」呼ばれる。全体的スケーリング係数（例えば、シーケンスにおける全ての画像に及ぶスケーリング係数）は、利用可能な画像強度レベルの最大数をｗ_ｍａｘ（例えば、２５５／ｗ_ｍａｘ）で割ったものとして定義される。次に、この同じ全体的スケーリング係数は、画像間の輝度の相対的な差が保持されるように、シーケンスにおける全ての画像に適用される。図１１は、全ての画像が同じ全体的スケーリング係数（例えば、２５５／ｗ_ｍａｘ）により高輝度化された、全体的に調節されたＦＡ画像シーケンス４４（図１０の画像シーケンスに対応する）を示す。図示のように、画像は、真の蛍光信号を示す相対的な強度変化を保持するが、図１０の生ＦＡ画像シーケンス４２とは異なり、図１１の画像は、視認可能な細部を最適化するために高輝度化されている。

【0082】

代替実施形態では、シーケンスにおける全ての画像に同じ全体的スケーリング係数を適用するのではなく、各画像は、各画像のそれぞれ記憶された白色レベルに基づいて個々に調節され得るが、各画像の輝度設定はそのグループのｗ_ｍａｘを考慮して調節される。このようにして、シーケンス（例えば、グループ）における画像の相対的な輝度は、画像が概してより明るく且つより解釈しやすいが、血管造影中の蛍光信号の変化のある程度の類似性を依然として保持するように圧縮される。この圧縮高輝度化技術は、カスタマイズされた輝度スケーリング係数をシーケンスにおける個々の画像に適用することにより実施することができ、この輝度スケーリング係数は、次のように計算され得る。

【0083】

【数10】

ここで、Ｂ（Ｔ）は、血管造影検査のタイムラプスシーケンス中に時間Ｔで取得された画像に適用されたカスタマイズされた輝度スケーリングであり、ｗ（Ｔ）は、時間Ｔで取得された画像の白色レベルであり、∝は、所定の範囲内（例えば、［０，１］の範囲内）で選択された圧縮パラメータであり、且つｗ_ｍａｘは、例えば上記で説明したような、全体的スケーリング係数である。圧縮パラメータ∝＝０を設定することは、図１１に図示するように、体的スケーリング係数ｗ_ｍａｘを（修正なしに）適用することに等しく、それに対して、∝＝１を設定することは、図９に図示するように、個々に最適化された表示設定に従って（修正なしに）画像を自動的に高輝度化することに等しい。

【0084】

圧縮パラメータ∝は、個々の血管造影検査中に固定値に設定され得（例えば、好ましくは圧縮パラメータ∝は画像シーケンスの取得中に変更されない）、且つ理想的には臨床医（例えば、システムオペレータ）により選択された値に設定され得る。すなわち、システムオペレータからの入力信号は、圧縮パラメータ∝の値を調節することにより、シーケンスにおける画像間の相対的な輝度圧縮の量を修正し得る。例えば、システムオペレータは、輝度スライドバーを用いて、増分／減分ボタンを用いて、及び／又は∝の数値を直接入力することにより、圧縮パラメータ∝を調節し得る。

【0085】

図１２Ａ～図１２Ｆは、この圧縮高輝度化技術が、圧縮パラメータ∝の異なる値に対するタイムラプスシーケンスにおける個々の画像の輝度にどのように影響を及ぼすかのいくつかの例を提供する。図１２Ａ～図１２Ｆの各々では、結果として得られる高輝度化された画像シーケンスが左側に示され、血管造影の経過時間に対する輝度のプロットが右側に示されている。図１２Ａでは、圧縮パラメータ∝がゼロに設定され、このことは、図１１を参照して上記で説明したように、同じ全体的スケーリング係数、例えば、この場合は「ｗ_ｍａｘ」により、全ての画像を高輝度化することに等しい。比較の目的で、取り込まれた生データも記憶されるので、複数のプロットが示される。プロット５０は、取り込まれた一連の画像内の時間の経過に伴う（例えば、ゼロから１０分までの）生画像間の相対的な輝度を図示する。プロット５２は、概して画像に同様の輝度をもたらす、各画像の記憶された白色レベルに従って各画像が自動的に輝度調節されたときの、画像間の相対的な輝度を図示する。プロット５４は、同じｗ_ｍａｘ値に従って全ての画像が輝度調節されたときの、画像間の相対的な輝度に対応する。図示のように、ｗ_ｍａｘプロット５４の相対的な差は、生画像プロット５０の相対的な差に従う。

【0086】

図１２Ｂでは、圧縮パラメータ∝が１に設定され、このことは、図９を参照して上述したように、各画像の記憶された白色レベルに従って各画像を個々に自動的に高輝度化することに等しい。この場合も、プロット５０は、生画像間の相対的な輝度を図示し、プロット５４は、同じ輝度係数ｗ_ｍａｘを使用した画像間の相対的な輝度を図示し、且つプロット５２は、時間の経過を伴う画像間の相対的な輝度を示し、各画像は、画像自体の個々の白色レベルに基づいて高輝度化される。プロット５２により示すように、画像のそれぞれの白色レベル（のみ）に応じて各画像を自動的に高輝度化することにより、時間の経過に伴う画像間の相対的な輝度の差が隠される。

【0087】

図１２Ｃ～図１２Ｆは、圧縮パラメータ∝の修正が、∝の異なる値に対する画像シーケンスの輝度にどのように影響を及ぼすかを図示している。図１２Ｃ～図１２Ｆでは、圧縮パラメータ∝は、図１２Ｃの∝＝０．２から図１２Ｆの∝＝０．８まで、０．２の増分で増加する。図１２Ｃ～図１２Ｆの各々は、タイムラプスシーケンスにおける画像（それぞれ５６Ｃ～５６Ｆ）間の結果として得られる相対的な輝度のプロットを提供する。比較の目的で、図１２Ｃ～図１２Ｆの各々は、プロット５０（生画像）、プロット５２（記憶された白色レベルに基づいて最大限に自動的に高輝度化された画像）、プロット５４（ｗ_ｍａｘに基づいて高輝度化された画像）を示す。プロット５６Ｃ～５６Ｆが示すように、∝を増加させることは、生画像プロット５０と同様の、画像間の相対的な差を維持しながら、生画像プロット５０と比較して、表示された画像シーケンスの輝度を増加させる効果を有する。

【0088】

グラフィカルユーザインタフェース
上述のように、本システムは、拡張された焦点合わせ機能を提供する。ユーザが焦点合わせのために多数の所定の点／領域の中から選択することを可能にすること又はユーザが焦点合わせのために任意のランダム点を自由に選択することを可能にすることに加えて、本発明は、複数の撮像タイプ（撮像モダリティ）を取り込むための且つ／又は特定の患者に合わせて特定の撮像タイプを修正するための追加の特徴を提供する。例示として、図１３は、眼科撮像装置に好適なグラフィカルユーザインタフェース（ＧＵＩ）の例を提供し、これらの追加の特徴のいくつかを強調する。ＧＵＩは、患者の画像／走査を取得する（例えば、取り込む）ために使用され得る取得（インタフェース）画面２１を提供する。任意選択で、現在の患者を特定する患者データ２３を取得画面２１の上部に表示され得る。取得画面２１は、複数の表示域（例えば、情報を視認するための表示画面上の囲み領域）、並びに取得パラメータの設定と画像の取り込み及び検討とデータの分析とを通じて機器オペレータをガイドするための表示要素及びアイコンを提供し得る。例えば、複数の焦点補助位置ｆ_１～ｆ_７がプレビュー（眼底）画像（例えば、ＩＲプレビュー画像）１１に重ね合わされたプレビューウィンドウ１５は、表示域内に提供され得る。上記で説明するように、システムオペレータは、ユーザ入力装置（例えば、電子ポインタ装置、タッチスクリーンなど）を用いて焦点を合わせるためのプレビュー画像１１上の任意の点（例えば、標的焦点領域）を選択し得る。

【0089】

所望であれば、（ステップ調節）焦点ボタン３３又は焦点スライドバー３５などの、追加の焦点オプションが提供され得る。例示的な実施態様では、プレビューウィンドウ１５の標的焦点領域、及び焦点ボタン３３、又は焦点スライドバー３５は、一方の使用により他方が無効にされるように、相互に排他的であり得る。例えば、焦点ボタン３３又は焦点スライドバー３５の使用により、プレビューウィンドウ１５上の以前に手動で選択された任意の標的焦点領域が無効にされ、焦点ボタン３３及び／又は焦点スライドバー３５に従って眼底画像１１全体に従来の全体的焦点調節が適用され得る。同様に、レビュー画面１５上で標的焦点領域を割り当てる（例えば選択する）ことにより、焦点ボタン３３又は焦点スライドバー３５の任意の焦点設定が無効にされ得る。代替的に、プレビューウィンドウ１５の標的焦点領域及び焦点ボタン３３又はスライドバー３５は協働して機能し得る。例えば、ユーザが、焦点を合わせる眼底画像１１内の標的焦点領域を選択した場合、本システムは、上述したように、それに応じて、選択された焦点領域における焦点を調節し得る。しかしながら、ユーザが、本システムにより自動的に提供される焦点領域以外の選択された標的焦点領域の焦点設定を更に調節したいと望む場合、ユーザは、焦点ボタン３３及び／又はスライドバー３５を使用して、選択された標的焦点領域における焦点を更に調節し得る。したがって、本システムは、眼底画像１１内（例えば、プレビュー画面１５内）の選択された任意の標的焦点領域に対して手動焦点を提供し得る。

【0090】

取得画面２１は、眼科撮像システムと患者との間の位置合わせを容易にするために使用され得る、異なる視野角からの眼の瞳孔のライブ画像（例えば、赤外線画像）の１つ又は複数の瞳孔ストリーム３９を表示し得る。例えば、半透明帯域４７又は十字線４９などの、オーバーレイガイドは、良好な画像取得のために患者の瞳孔が位置決めされるべきである、標的位置又は標的位置範囲を明らかにするために、ライブストリームに重ね合わせることができる。オーバーレイガイドは、撮像のための標的瞳孔位置と患者の瞳孔中心の現在位置との間の現在のオフセットに関してシステムオペレータに知らせ、その結果、是正措置が講じられ得る。

【0091】

オペレータが取り込み設定に満足した時点で、取り込み作動入力、例えば、取り込みボタン３７を用いて画像が取り込まれ得る。
画像が取り込まれるときに、画像は、取得画面２１の取り込みビンセクション４１にサムネイル形式で表示され得る。フィルタオプションのドロップダウンリストを提供し得る、表示フィルタ４３（例えば、左右性、走査（又は画像）タイプなど）は、取り込みビン４１内に表示されるサムネイルを絞り込む（選択又は制限する）ために使用され得る。複数の画像の取得を必要とする撮像モードが選択される場合、（例えば、２つの取り込まれた画像を合成し得る、超広視野オプション（ＵＷＦ）、又は互いにオフセットされた所定数の取り込まれた画像を合成し得る、自動合成）、取り込みビン４１には、取り込むべき画像のプレースホルダを示すプレースホルダアイコン４５（例えば、破線円）が予め用意され得る。必要な各画像が取り込まれるときに、プレースホルダアイコン４５は、撮像モードの実行状況の表示をユーザに提供するために、取り込まれた画像のサムネイルに置き換えられ得る。

【0092】

しかしながら、理解されるように、システムオペレータには、画像を取り込む（例えば、走査動作を作動させる）前に、複数のオプション設定が提供され得る。例えば、追加の表示要素及びアイコンは、システムオペレータ（ユーザ）が、取得すべき画像（走査）のタイプを選択して、適切な焦点と、眼科撮像システムに対する患者の適切な位置合わせとを確保することを可能にするために提供される。例えば、検査される眼の左右性は、例えば、左右性アイコン２５により、表示／選択され得、右眼又は左眼のどちらの眼（例えば、右眼（オキュラスデクスタ（ｏｃｕｌｕｓ ｄｅｘｔｅｒ））ＯＤ）又は左眼（オキュラスシニスタ（ｏｃｕｌｕｓ ｓｉｎｉｓｔｅｒ））ＯＳ）が検査／撮像されているかを強調表示する。

【0093】

様々なユーザ選択可能な走査（例えば、撮像）オプションは、取得画面２１上に表示され得る。走査オプションは、取得すべき１つ又は複数の画像の撮像ＦＯＶをユーザが選択するためのＦＯＶボタン２７を含み得る。ＦＯＶオプションボタンは、標準的な単一画像操作のための広視野オプション（ＷＦ）、２つの画像を取り込んで合成する超広視野オプション（ＵＷＦ）、所定数（例えば、４つの）画像を収集して合成する予め設定された合成シーケンスを提供する「自動合成」オプション、及び／又はユーザがユーザ指定の合成シーケンスを提示することを可能にするユーザ定義可能な「合成」オプションを含み得る。加えて、チェックボックスは、ユーザがステレオ撮像を行いたいと望む及び／又は外部固視標を使用したいと望むかどうかを示すために提供され得る。外部固視標を選択することにより、撮像中にシステム内の内部固視標が無効にされ得る。

【0094】

眼底撮像システムは、複数の走査タイプ（例えば、撮像モダリティ）を支援し得る。走査タイプの例としては、フルカラーで眼底ビューを提供し、且つ患者が不快に感じ得る明るい光を必要とする、カラー撮像が挙げられ得る。別のタイプの画像はＩＲ画像であり、ＩＲ画像は、患者には見えず、したがって、より快適である。ＩＲ画像は、概してモノクロ画像であり、カラー画像よりも細部を特定するのに役立つ可能性がある。いくつかの種類の組織は、特定の波長、例えば５００～８００ｎｍで蛍光を発するように作られ得る自然光感知分子を有し、これらの組織は、カラー又はＩＲ周波数で容易に定義されないことがある病変の可能性がある領域／構造を特定するために使用され得る。標的型の組織を蛍光させるために選択された特定の波長を使用して眼を撮像することは、眼底自発蛍光撮像（ＦＡＦ）と呼ばれる。異なる周波数でのＦＡＦ撮像は、異なる種類の組織を自動的に蛍光させ、それにより、異なる種類の病変に対する異なる診断ツールを提供し得る。他の撮像モダリティは、上記で説明したように、一連の画像内の血流を追跡するために、注入された色素を利用する、ＦＡ及びＩＣＧＡを含む。

【0095】

本例では、取得画面２１は、複数の撮像モダリティの中から選択するための走査型セクション２９を提供する。選択可能な走査タイプの例としては、カラー（例えば、赤色、緑色、及び青色の光成分／チャネルなどの、可視光を使用したトゥルーカラー撮像）、ＩＲ（非可視赤外光を使用した、例えばＩＲレーザの使用による撮像）、ＦＡＦ－緑色（緑色励起による眼底自発蛍光）、及びＦＡＦ－青色（青色励起による眼底自発蛍光）、ＦＡＦ－ＮＩＡ（近赤外光を用いた眼底自発蛍光）、ＦＡ（例えば、蛍光色素を患者の血流に注入することによる、蛍光眼底血管造影）、ＦＡ－ＮＩＡ（近赤外光を用いた蛍光眼底血管造影）及びＩＣＧＡ（例えば、インドシアニングリーン色素を患者の血流に注入することによる、インドシアニングリーン血管造影）が挙げられ得る。

【0096】

取得画面２１は更に、拡張した眼（散瞳モード）、拡張していない眼（非散瞳モード）、及び／又は光感度を有し得る眼（例えば、羞明を患う患者）のためなどの、様々な画像取り込み設定のための入力を提供し得る。ユーザは、それぞれのモードのためにボタン３１を選択することにより、散瞳（Ｍｙｄ）撮像モードと非散瞳（Ｎｏｎ－Ｍｙｄ）撮像モードのいずれかを選択し得る。任意選択で、システムは、眼の状態に基づいてどのモードが適切であるかを自動的に選択（例えば、自動選択）し得る。

【0097】

オペレータは、画像取り込みシーケンスを開始する前に、複数の羞明関連設定を利用し得る。任意選択で、システムは、以前に羞明を患っていると又は光に敏感である候補であると診断されているとして患者を特定し得る／患者にフラグを立て得る。いずれの場合も、システムは、オペレータにその事実を警告し、それに応じて撮像シーケンスが調節されることを提案し得る。例えば、患者が光に敏感である候補である場合、警告アイコン／ボタン６１は、オペレータの注意を引くように、点灯され、色を変化させ、且つ／又は点滅し得る。次いで、オペレータは、ボタンを選択し且つ／又は光強度修正オプション６３のリストから手動で選択することにより既定の明所視設定を選択し得、それらオプション６３の各々は、適用された光強度を画像取得中に調節し得る。患者の医学的条件（例えば、羞明）に応じた画像取得設定の調整（調節）は、患者に合わせて調整された診断の一例である。

【0098】

患者に合わせて調整された診断
眼科撮像システムは、眼底画像を取得するために、走査パターンなどでの、閃光を使用し得る。例えば、カール ツァイス メディテック インコーポレイテッド社（Ｃａｒｌ Ｚｅｉｓｓ Ｍｅｄｉｔｅｃ Ｉｎｃ．）のクラルス５００（商標）（ＣＬＡＲＵＳ ５００（商標））は、閃光を使用して高解像度の広視野画像を取り込み得る。ＦＡＦ－青色モード撮像のために使用される閃光などの、いくつかのタイプの閃光は、明るいものとすることができ、視界不良、弱視、及び／又は色覚低下を含む、患者の短期視覚への影響を及ぼすことができる。羞明、例えば、露光による眼の不快感又は疼痛の症状がある患者に対しては、眼科撮像システムの光源は、かなり影響力が大きく、疼痛、片頭痛、吐き気、流涙、及び他の症状を含む、短期的影響を誘発する可能性がある。

【0099】

典型的には、既知の光感度を有する患者を撮像するときに、システムオペレータは、患者の露光量を低減するためのステップを行い得る。例えば、システムオペレータは、患者の眼の散大を防止し且つ暗室設定で検査（例えば、撮像）を行うことにより、光感度を有する患者に対して診断を実行（例えば、患者の眼を撮像）し得る。可能であれば、システムオペレータは、システムの光強度を低減し、より小さいＦＯＶの撮像を使用しようと試み得るが、これは、画質の低下をもたらす可能性がある。

【0100】

本明細書では、光感度を有する患者に対する診断モード（例えば、撮像モード）を有する眼科撮像システム及び／又は光に敏感である候補であり得る患者を特定することが可能なシステムが提示される。

【0101】

本システムは、眼科撮像システムの光出力を低減する、光に敏感な患者のために「調整された」（例えば、羞明モード又は光敏感モード）撮像モードを提供し得るが、診断のための（例えば、最低限）実現可能な画質をもたらす。図１４は、患者の相対的な光感度に応じて減光量を調整（例えば、調節）するための例示的な工程を提供する。この工程は、（例えば、患者の医療記録で）光に敏感であるとして特定された患者に対する任意選択の自動化モードと、画像取得画面内（例えば、図１３のボタン６１及び／又は６３）などの、グラフィカルユーザインタフェース（ＧＵＩ）内でシステムオペレータに手動選択／選択解除オプションを提供することを含み得る。したがって、工程は、患者の記録を確認するなどにより、光敏感モードを自動又は手動で設定すること（ステップ６０）により開始し得る。任意選択で、患者の光感度レベルの評価は、虹彩サイズ、虹彩色、及び／又は明／暗網膜検出などの、追加の情報／パラメータを提供すること（ステップ６２）により調節／決定され得る。

【0102】

走査に基づく眼科撮像システムは、眼底上の所与の位置に適用される走査線の光周波数、強度、及び／又は持続時間を指定する走査テーブルを使用し得る。典型的には、１つの走査テーブルは、撮像タイプごとに構築／定義される。しかしながら、本羞明モードの実施態様は、所与の撮像タイプについての現在の／標準的な光設定（例えば、既定の光設定）の一部を使用して１つ又は複数の走査テーブルを生成することを含み得る。走査テーブルは、光強度の低減と持続時間の短縮（例えば、より短時間の閃光）の両方を提供し得る。走査テーブルはまた、患者の瞳孔サイズ及び／又は虹彩色に基づいた固有の走査設定（例えば、追加的な強度及び持続時間の調節）を含み得る。各撮像モード／タイプ（カラー、ＦＡＦ－Ｂ、ＦＡＦ－Ｇ、ＩＧＣ、ＦＡ）での最小露光量に基づく最低限実現可能な画質は、臨床検査に基づいて予め決定され得る。例えば、光感度を有する患者はまず、患者の光感度量に基づいてシステムに代替の走査テーブルの１つを自動的に選択させ得ること（ステップ６４）により、光敏感モードを使用して検査（撮像）され得る。代替的に、ユーザは、所定の代替の走査テーブルを選択し得る。次いで、システムは、選択された走査テーブルを使用して患者を走査（撮像）し（ステップ６６）、その後、取得画像の評価が行われる（ステップ６８）。この評価は、取得画像の画質測定値を決定するなどにより、システムにより自動的に行われ得るか、又はシステムオペレータにより行われ得る。結果として得られた画像が十分な画質を有しない場合には、追加的に、画像は、必要に応じて、通常モード強度まで強度をステップ関数的に増加させて撮像され得る（ステップ７０）。この段階的増加の手動選択は、例えば、図１３の入力６３を用いて行われ得る。

【0103】

本システムは、瞳孔サイズ、虹彩色の自動検出、自動明暗網膜検出（例えば、網膜のＩＲプレビュー画像を使用する）などの、任意選択の要素／パラメータ（例えば、任意選択のステップ６２で示す）を含み得る。淡色の網膜は、暗色の網膜よりも重度の羞明になる傾向がある。直接的なテーブル相関関係は、羞明指標と所与の画像取得動作のための対応する光／持続時間設定（例えば、走査テーブル選択）との異なる組み合わせの間で作成され得る。代替的に、画質に影響を及ぼすパラメータの組み合わせに基づく最適（最小）電力設定のために数学的方程式が作成され得る。追加的に、本システムは更に、ＤＮＡデータを統合して、可能な光感度を示し得る１つのマーカ又はマーカの集合に基づいて診断装置設定を自動的に調節し得る。これは更に、最適な設定のためのマーカセットの数学的評価に拡張することができる。

【0104】

図１５は、走査テーブル（例えば、画像取得に使用される強度レベル）が瞳孔の大きさ及び／又は虹彩色に基づいてどのように選択され得るか及び／又は修正され得るかを図示する。任意選択で、システムの既定の強度及び持続時間設定は、淡色の眼に関連付けられる最低限の設定に設定され得、且つ強度（及び／又は持続時間）は、羞明ではない眼では増加され得る。更に任意選択で、システムの既定の強度及び持続時間設定は、淡色の眼に関連付けられる最低限の設定に設定され得、且つ取り込まれた画質が最小値以下である場合には、強度及び／又は持続時間は、最低限の画質の画像が得られるまで現在の画像取り込みシーケンス内の追加の画像を取り込むために、所定の段階的増分で自動的に増加され得る。

【0105】

本発明の患者に合わせて調整された診断は、ＯＣＴ撮像のためにドライアイモードを追加してなど、患者の既知の状態又は疾患に基づく複数の動作モードを用いて既存の眼科撮像システムを増強し得る。本手法は、ストレス又は不安などの不快感が、閃光又は輝度強度により誘発され得る、精神的健康状態を有する患者にも適用され得る。例えば、本発明の患者に合わせて調整された診断は、患者の不快感及び有害な症状を最小限に抑えるために、心的外傷後ストレス障害（ＰＴＳＤ）を持つ患者に適用され得る。

【0106】

図１３に戻ると、走査型セクション２９により示すように、本システムは、１つのボタンを用いて複数の画像タイプ（異なる撮像モダリティ）を取得するための機能を更に提供し得る。以下により十分に説明するように、これは、単一の画像取り込みシーケンス内の複数の撮像モダリティを支援する走査テーブルを提供することにより達成され得る。例えば、マルチスペクトルオプション／ボタン６３は、波長のスペクトルにわたって複数の画像を取り込むために提供され得る。図１６は、マルチスペクトルオプション６３が選択された単一の取り込み指示入力に応答して取り込まれ得る、複数の波長にわたる例示的な一連の複数の画像を図示する。別の例は、以下により十分に説明するように、異なる選択波長で複数の画像を取り込むことにより血液中の酸素の測定値を決定する酸素測定オプション／ボタン６５であり得る。また、単一の画像取り込みボタンに応答して単一の画像取り込みシーケンスでカラー画像とＩＲ画像の両方を取り込む、カラー＋ＩＲオプション／ボタン６７が提供される。別のオプションは、単一の画像取り込み指示に応答して、ＦＡ画像とＩＣＧＡ画像の両方又は画像のシーケンスを撮影するためのＦＡ＋ＩＣＧＡオプション／ボタン６９であり得る。本明細書では、ＦＡ＋ＩＣＧＡオプションを実行するための好ましい方法が提供される。

【0107】

単一の「取り込み」指示に応答したＦＡ画像及びＩＣＧＡ画像の連続取得
蛍光眼底血管造影（ＦＡ）とインドシアニングリーン血管造影（ＩＣＧＡ）の両方は、単一の検査の一環として行うことができる。蛍光色素の直前又は直後にＩＣＧ（インドシアニングリーン）色素を注入することができ、又は混合ボーラスが使用され得る。ＦＡ画像は、青色／緑色照明源を使用して取得され得、且つＩＣＧＡ画像は、近赤外照明源を使用して取得される。両方のモダリティを１つの検査に組み込むことにより、患者が椅子に座る時間が短縮される。しかしながら、血管造影の異なる段階を通してＦＡとＩＣＧＡの両方の十分な回数の取り込みを行うことは、患者（特により重度の羞明の患者）とオペレータの両方にとって負担が大きくなることがある。この負担は、単一の露光シーケンスでＦＡ画像とＩＣＧＡ画像の両方を取得することが可能である撮像装置を使用することにより軽減することができる。

【0108】

ＦＡ画像とＩＣＧＡ画像の両方を同時に取得することは、それぞれのモダリティに対する異なる光源及び光学フィルタ要件のため、システム設計における課題を提示する。眼球運動のリスクがあるので、医師が眼の状態を評価するのに十分な画質を達成しながら、短時間（約１００ｍｓ）で露光を完了する必要がある。

【0109】

網膜に可視光を送る任意の機器に関しては、患者の快適さが、コンプライアンスを確保する上で重要な考慮事項であり、羞明の症状がある患者は、撮像中に過度に動く若しくはまばたきをすることがあり、又は検査の完了を拒否することさえある。Ｊ．Ｍ．ストリンガム（Ｊ．Ｍ．Ｓｔｒｉｎｇｈａｍ）他著、「羞明についての作用スペクトル（Ａｃｔｉｏｎ ｓｐｅｃｔｒｕｍ ｆｏｒ ｐｈｏｔｏｐｈｏｂｉａ）」、米国光学会誌Ａ（ＪＯＳＡ Ａ）、２００３年、第２０巻（第１０号）、ｐ．１８５２～１８５８で説明されているように、羞明感は波長が短くなるにつれて増大する。ＦＡに典型的に使用される光の短波長（４７０～５１０ｎｍ）は、ＩＣＧＡに使用される近赤外光よりもはるかに不快である。更に、知覚される閃光持続時間が閃光持続時間の関数として増加することが示されている（オサカ エヌ．（Ｏｓａｋａ Ｎ．）著、「周辺視野における閃光持続時間の関数としての知覚輝度（Ｐｅｒｃｅｉｖｅｄ ｂｒｉｇｈｔｎｅｓｓ ａｓ ａ ｆｕｎｃｔｉｏｎ ｏｆ ｆｌａｓｈ ｄｕｒａｔｉｏｎ ｉｎ ｔｈｅ ｐｅｒｉｐｈｅｒａｌ ｖｉｓｕａｌ ｆｉｅｌｄ）」知覚＆精神物理学学会誌（Ｐｅｒｃｅｐｔｉｏｎ ＆ Ｐｓｙｃｈｏｐｈｙｓｉｃｓ）、１９７７年、第２２巻（第１号）、ｐ．６３～６９）。それゆえ、患者の快適さを助長するために、（閃光エネルギーを最小限に抑えることのみならず）痛みを伴う可能性のある露光の持続時間を最小限に抑えることが望ましい。

【0110】

図１７は、単一の取り込み指示に応答してＦＡ＋ＩＣＧＡ機能を提供する２つの従前の方法と本発明とを比較する。第１の従前の手法８２は、青色及び赤外線レーザ源の両方を使用して、眼に光を同時に送り、２つの別々の光検出器を用いて、放射された蛍光を同時に集光する。第２の従前の手法８４は、照明及び検出をインターリーブする（又は交互に行う）。すなわち、レーザ源は、ＦＡ画像の１つの線が走査され、次いでＩＣＧＡの１つの線が走査され、次いでＦＡの第２の線が走査されるなどのように、交互に入れ替えられる。これらの２つの手法は、眼球運動が生じても、取得されたＦＡ及びＩＣＧＡ画像が共に正確に登録されるという利点を有する。この利点は、画像後処理及び視覚化ツールに対して利益をもたらし得る。

【0111】

しかしながら、これらの２つの従来の手法にも欠点がある。全く同時の手法８２は、比較的複雑なハードウェアを必要とし、例えば、別々の検出器及びフィルタがＦＡ及びＩＣＧＡ収集経路の各々に必要とされる。インターリーブ手法８４は、（ＩＣＧＡ源よりも患者にとってはるかに厄介である）青色／緑色ＦＡ照明源が、露光（すなわち、長い閃光）の全期間にわたって持続すると患者により知覚されるので、患者の快適さの点で欠点を有し得る。この手法は、羞明反応（例えば、まばたき、縮瞳、眼球運動、ベル現象）を引き起こし得る。

【0112】

現時点で好ましい手法８６は、ユーザからの単一の「取り込み」指示に応答して、ＦＡ及びＩＣＧＡ画像を順番に取り込む。すなわち、単一の画像取り込みシーケンスで（例えば、１回の閃光時間内に）、完全なＩＣＧＡ画像（又は画像シーケンス）が取り込まれ、その直後に、完全なＦＡ画像（又は画像シーケンス）が取り込まれる。

【0113】

好ましい実施形態では、必要な赤外線源は患者にとって不快ではないので、ＩＣＧＡ画像が最初に走査される。ＩＣＧＡ画像取得走査が完了すると、ＦＡ走査が開始される。これは、両方の光源を用いて一度に眼を照明する（８２）、又は両方の画像を構築するために複数回のＦＡ及びＩＣＧＡ取得をインターリーブする（８４）、ＦＡ＋ＩＣＧＡの同時取り込みのための２つの従前の手法とは異なる。

【0114】

この連続的ＦＡ＋ＩＣＧＡ手法８６は、（インターリーブＦＡ＋ＩＣＧＡ手法８４と比較して）知覚可能な可視光露光の時間間隔を短縮するので、患者の羞明不快感をあまり引き起こさず、まばたき及び／又は眼球運動アーチファクトの起こる確率を低減し得る。すなわち、可視光（例えば、ＦＡの場合）の開始から終了までの時間は、同じエネルギーを送るインターリーブされる閃光の場合よりもはるかに短く、それゆえ、患者に羞明が誘発され得る間隔が最小限に抑えられ得る。これは、血管造影検査からの患者の快適さ及び画質の改善につながることがある。本手法８６はまた、第１の手法８２の複雑なハードウェア要件を回避する。実際には、本手法８６は、適切に定義された走査テーブルを用いて実施され得る。

【0115】

このＦＡ＋ＩＣＧＡに加えて、本システムは、図１３を参照して示すように、追加のマルチスペクトル眼底撮像モード６３～６７を提供し得る。
スリット走査式検眼鏡のための単一取り込みマルチスペクトル撮像
マルチスペクトル眼底撮像は、複数の波長帯の光（例えば、可視及び非可視反射率並びに自発蛍光）を用いて取得された画像から得られた情報を統合することにより、網膜の構造及び機能の可視性及び識別の向上をもたらすことができる。

【0116】

トゥルーカラー眼底撮像は、網膜検査の標準である。近赤外光は、より長い波長は血液及びメラニンにより吸収され難いので、網膜のより深部に入り込むことができる。したがって、赤外線眼底撮像は、網膜下の特徴（網膜色素上皮（ＲＰＥ）下の小さなドルーゼンなど）のより良好な視認性を実現することにより、トゥルーカラー撮像に相補的な情報を提供できることがある。

【0117】

血液酸素化は、マルチスペクトル撮像手法を使用して網膜内において非侵襲的に調べることができる。Ｊ．Ｍ．ビーチ（Ｂｅａｃｈ）他著、「２波長撮像による網膜血管の酸素測定：色素沈着の補正及び影響（Ｏｘｉｍｅｔｒｙ ｏｆ ｒｅｔｉｎａｌ ｖｅｓｓｅｌｓ ｂｙ ｄｕａｌ－ｗａｖｅｌｅｎｇｔｈ ｉｍａｇｉｎｇ：ｃａｌｉｂｒａｔｉｏｎ ａｎｄ ｉｎｆｌｕｅｎｃｅ ｏｆ ｐｉｇｍｅｎｔａｔｉｏｎ）」、臨床生理学会誌（Ｊｏｕｒｎａｌ ｏｆ Ａｐｐｌｉｅｄ Ｐｈｙｓｉｏｌｏｇｙ）、第８６巻、第２号（１９９９年）、ｐ．７４８～７５８で説明されているように、２つ以上の励起波長（血液吸収が酸素化に反応しない励起波長）は、血管内径及び網膜色素沈着に対して好適な補正が得られた場合に、血液酸素飽和度を推測するのに使用できる、反射率画像を取り込むために使用され得る。

【0118】

眼底自発蛍光（ＦＡＦ）撮像では、取得された画像情報は、励起及び集光波長帯のスペクトル成分に応じて異なる。これらの相違は、網膜の状態に関する臨床情報を抽出するために使用することができる。別々の波長帯でＦＡＦを集光することは、Ｍ．ハマー著、「加齢黄斑変性症及び糖尿病性網膜症におけるカラー自発蛍光撮像（Ｃｏｌｏｒ Ａｕｔｏｆｌｕｏｒｅｓｃｅｎｃｅ Ｉｍａｇｉｎｇ ｉｎ Ａｇｅ－Ｒｅｌａｔｅｄ Ｍａｃｕｌａｒ Ｄｅｇｅｎｅｒａｔｉｏｎ ａｎｄ Ｄｉａｂｅｔｉｃ Ｒｅｔｉｎｏｐａｔｈｙ）」、調査眼科＆視覚科学誌（Ｉｎｖｅｓｔｉｇａｔｉｖｅ Ｏｐｈｔｈａｌｍｏｌｏｇｙ＆Ｖｉｓｕａｌ Ｓｃｉｅｎｃｅ）、第４９巻、第１３号（２００８年）、ｐ．４２０７～４２０７で説明されているように、例えば、網膜内の蛍光体を区別するために使用することができる。同様に、ＦＡＦ励起波長帯を変化させることは、デロリ・フランソワ・Ｃ．（Ｄｅｌｏｒｉ，Ｆｒａｎｃｏｉｓ Ｃ．）他著、「自発蛍光分光法により測定された黄斑色素密度：反射率測定法及び交照法との比較（Ｍａｃｕｌａｒ ｐｉｇｍｅｎｔ ｄｅｎｓｉｔｙ ｍｅａｓｕｒｅｄ ｂｙ ａｕｔｏｆｌｕｏｒｅｓｃｅｎｃｅ ｓｐｅｃｔｒｏｍｅｔｒｙ：ｃｏｍｐａｒｉｓｏｎ ｗｉｔｈ ｒｅｆｌｅｃｔｏｍｅｔｒｙ ａｎｄ ｈｅｔｅｒｏｃｈｒｏｍａｔｉｃ ｆｌｉｃｋｅｒ ｐｈｏｔｏｍｅｔｒｙ）」、米国光学会誌Ａ（ＪＯＳＡ Ａ）、第１８巻、第６号（２００１年）、ｐ．１２１２～１２３０において説明されているように、黄斑色素の光学密度を推定するのに使用することができる。

【0119】

本明細書に記載される全ての参照文献は、それらの全体が参照により組み込まれる。
ほとんどの市販の眼底撮像システムでは、マルチスペクトルデータを取得することは、典型的には、オペレータにとって時間がかかり且つ患者にとって不快である、複数の取り込みを必要とする。本システムは、単一の取り込みプロトコルのみを使用して、マルチスペクトル眼底撮像を行うために、広視野スリット走査式眼底撮像を拡張する経路を提供する。

【0120】

いくつかの従来の眼底撮像システムは、複数の波長での撮像を提供するが、これらは、典型的には、各モードが専用の取り込み入力を必要とする、個々の走査モードとして提供される。したがって、例えば、ＲＧＢカラー画像と赤外線画像の両方を取得するには、２つの別々の走査が必要であり、結果として得られる画像は、（走査間の不可避の眼球運動／再位置合わせに起因して）登録されない可能性が高い。従来の酸素測定手法は、同時２波長酸素測定法を用いる。カラーセンサのベイヤー（Ｂａｙｅｒ）フィルタは、波長チャネルを分離するために使用され、分析ソフトウェアは、血管ヘモグロビン酸素飽和度の算出を行う。学術研究では、黄斑色素評価のために２つの別々のＦＡＦ撮像モダリティを用いる従来のシステムが使用されている。ＣＬＡＲＵＳ（商標）５００はまた、２つの異なるＦＡＦ励起／検出帯域を提供する。しかしながら、各モードは、別々の専用の取り込みを必要とする。

【0121】

本明細書では、同時のカラー撮像と赤外線撮像のための技術が提示される。
ある用途では、順序付けられたマルチスペクトル走査は、追加の走査としてＩＲ画像を取得する必要性を排除する。代わりに、完全に登録された赤外線画像は、全てのトゥルーカラー走査で自動的に提供される。機器ソフトウェアのレビュー画面における４帯域チャネル分割機能により、追加の画像情報をユーザに利用できるようにし得る。例えば、図１８は、４つのチャネルで構成されたカラー（例えば、トゥルーカラー）眼底画像８８－Ｃを示す。すなわち、このカラー画像８８－Ｃは、典型的な赤色チャネル８８－Ｒ、緑色チャネル８８－Ｇ、及び青色チャネル８８－Ｂに加えて、赤外チャネル８８－ＩＲを追加的に有する。

【0122】

本発明の眼科撮像システムは、順序付けられた光源及びモノクロカメラを使用して網膜を撮像する。この撮像は、スリット取得ごとにハードウェアに特定の光源のスイッチを入れるように命令する走査テーブルを使用して達成される。この方法は、異なるタイプの光の走査及び順序付けの両方に関して、大きな柔軟性を与える。

【0123】

走査テーブル指示の順序は、取得されたスリット画像を別々の画像に仕上げることができるように、スリット画像を個々の色によりグループ化するために使用され、次いで、それらの別々の画像は、トゥルーカラー画像を形成する処理において互いに組み合わされる。走査テーブルは、特定の走査位置、励起波長（例えば、チャネル）などを特定するためにシステムにより使用されるパラメータの横列及びテーブルに配置され得る。例えば、トゥルーカラーモードのための典型的な走査テーブルでは、テーブルにおける各横列はスリット取得を指示し、「チャネル」縦列は、その特定の取得のために光の色を追跡し、後に画像カラーチャネルを別々に組み合わせるために使用される。この場合、チャネルは、赤色、緑色、及び青色のＬＥＤの取得を表すようにＲ、Ｇ、及びＢであり得る。赤外線画像の取り込みを含むようにカラー画像の取り込みを拡張するために、走査テーブルは、（走査テーブルの「チャネル」縦列に「Ｉ」と表される）追加のＩＲ取得を組み込むように修正され得、その結果、カラー画像の「チャネル」縦列におけるＲ、Ｇ、及びＢの各シーケンスは、Ｒ、Ｇ、Ｂ、及びＩのシーケンスに拡張する。これにより、４チャネルのマルチスペクトル画像が効果的に提供される。したがって、全てのトゥルーカラー画像はまた、走査の一部分として完全に登録されたＩＲ画像を提供する。ＩＲ光は患者にとって不快ではないので、閃光輝度に大きな影響を及ぼさないことに留意されたい。複数の励起を伴うＦＡＦの場合、緑色及び青色照明は、ロングパスバリアフィルタ（例えば、送られたＦＡＦ信号を収集するために使用される＞６５０ｎｍ）を用いて、走査テーブルにおいて同様に順序付けられる。

【0124】

全てのカラーチャネル成分画像は、単一の閃光シーケンスで取得されるので、（走査中に眼球運動がなければ）完全に登録される。各チャネルビューの選択は、「チャネル分割」レビュー画面において提供することができる。例えば、図１９は、オペレータが赤色、緑色、青色、及び赤外チャネルを別個に視認することを可能にするシステムオペレータによる使用のためのオプション９２を提供する「チャネル分割」レビュー画面９０の例を示す。別の実施形態では、ＩＲ画像情報は、カラー画像と組み合わせて合成画像を形成することができる。例えば、カラー画像の赤色チャネルは、「深さが強調された」トゥルーカラー眼底画像を提供するために、ＩＲ画像情報と線形的に結合させることができる。

【0125】

別個の取り込みモードとしてＩＲ撮像を提供する従前のシステムとは異なり、本技術は、全てのトゥルーカラー取り込みの一環としてＩＲ画像を自動的に提供し得る。これには、椅子に座る追加の時間を必要とせず、患者にとって認識できる更なる不快感がなく、結果として得られたＩＲ画像がカラー画像に完全に登録されるという利点がある。この特徴は、認識できるコストを払わずに、ＩＲにより与えられた追加情報が網膜専門家に提供されるので、網膜専門家の間でのＩＲ撮像への関心を高めるのに役立つことがある。

【0126】

本明細書では、網膜血管の酸素測定のための技術も提示される。血液酸素飽和度は、マルチスペクトル反射率撮像法を使用して網膜内において非侵襲的に調べることができる。基本的な手法では、２つの励起波長のみが必要とされる。１つの励起波長は、ヘモグロビン（血液中の酸素が結合する）による波長の吸収が酸素飽和（等吸収）度に依存しないように選択される。他の励起波長は、酸素ヘモグロビンと脱酸素ヘモグロビンとの間に吸収における有意差を示すはずである。

【0127】

図２０は、酸素化及び脱酸素化ヘモグロビン吸光スペクトルを示す。好適な等吸収点は、３９０、４２２、４５２、５００、５３０、５４５、５７０、５８４、及び７９７ｎｍに見られる。用いられる波長は、網膜内での光搬送（例えば、散乱）の波長依存性の差を最小限に抑えるために、できるだけ近い波長である必要がある。酸素測定の現時点で好ましい手法は、広視野を提供し、（例えば、従来の方法により使用されるベイヤー（Ｂａｙｅｒ）フィルタ分離ではなく）順序付けられた照明に加えて、スリット走査技術を使用する。

【0128】

本システムは、スリットホイールに専用の励起フィルタを用いて酸素測定を達成し得る。フィルタは、２波長の光を通過させるための５～１０ｎｍのノッチを備えた、デュアルバンドパスフィルタ又は積層フィルタであり得る。波長ノッチ中心は、波長ノッチ中心が２波長酸素測定に好適であり且つ波長ノッチ中心をライトボックス内の別々のＬＥＤ（例えば、５７０ｎｍ及び６１５ｎｍ）により提供できるように選択され得る。次に、酸素測定を実施する方法は、以下のようなものであり得る。

【0129】

ａ）単一の走査パターンで緑色光と赤色光を順序付け、次いで、単一の取り込みで５７０ｎｍと６１５ｎｍの２つの画像（これらを登録する必要はない）を収集する。
ｂ）血管をセグメント化する。

【0130】

ｃ）ビーチ（Ｂｅａｃｈ）他により用いられた方法を適用する［１］（血管直径と網膜色素沈着の変化のある程度の補正を伴う）。
ｄ）酸素飽和度マップの表示。図２１は、酸素飽和度マップの例を提供する。

【0131】

本システムは更に、黄斑色素光学密度を測定するために使用され得る。この場合、２波長励起での自発蛍光画像は、青色及び緑色励起を順序付けることにより、単一の走査で得られる。取得データは、黄斑色素光学密度（ＭＰＯＤ）の客観的な測定を可能にする。ＭＰＯＤは、加齢黄斑変性症（ＡＭＤ）を発症する患者のリスクを判定するのに臨床的に有用である可能性がある。ＡＭＤは、西欧諸国では失明の主な原因である。ＡＭＤは、網膜の黄斑領域に影響を及ぼして、中心視の高解像度の色覚の喪失をもたらす、進行性の不治の疾患である。この疾患は、主に５０歳を超える人々に影響を与える。発症率は、年齢プロファイル、食習慣、及び眼のより軽度の平均色素沈着に起因して、一般的に西欧諸国では高くなっている。ＭＰＯＤの測定は、特にスクリーニングの設定において、医師にいくつかの利点をもたらす可能性がある。ＭＰＯＤ測定は、医療提供者が栄養補助食品（その多くは市販されている）を提供して患者の食の健康にその範囲を拡大する可能性を開く。現時点で好ましい方法は、単一の画像取り込みを使用して、黄斑色素光学密度の客観的な測定を可能にするために、複数の励起帯域を使用する順序付けられたＦＡＦ取り込みを使用し得る。

【0132】

好ましい実施形態では、２波長励起での自発蛍光画像は、ＦＡＦ－緑色に通常使用される＞６５０ｎｍのバリアフィルタを用いて青色及び緑色励起を順序付けることにより、単一の走査で得られる。ＯＤスクリーニング設定において小瞳孔撮像を可能にするために、非散瞳モードを使用することができ、閃光に反応する患者の快適さは、走査を黄斑とその周辺領域とに走査を限定することにより最適化することができる。取得データは、黄斑色素光学密度の客観的な測定を可能にするはずである。

【0133】

図２２は、ＭＰＯＤ測定の原理（左）及びＭＰＯＤプロファイル（右）を図示する。ＦＡＦ－緑色画像は、ＦＡＦ－緑色とＦＡＦ－青色との間の正規化された差の（所定の色、例えば黄色の）オーバーレイを有する。この正規化された差は、ＭＰＯＤプロファイルを推測するために使用することができる。

【0134】

本明細書では、マルチスペクトル撮像に関するいくつかの考慮事項が提供される。様々な波長の追加の光源は、単一露光の、順序付けられた、マルチスペクトル撮像のためにライトボックス設計に組み込むことができる。これにより、（多くの露光ではなく）単一露光と完全に登録された画像出力とを伴うマルチスペクトル撮像機能を提供することができる。

【0135】

図２３は、８つの光源（赤色、緑色、青色、及びＩＲを各２つずつ）を備えたライトボックス設計を図示する。典型的には、（より良好な画像ＳＮＲ（信号対雑音比）を取得し、反射をより効果的に抑制するために）より大きな瞳孔に可能であれば各色の両方の光源を使用することに対していくつかの利点があるが、各光源の１つのみが、非散瞳モードでの撮像に必要である。しかしながら、ライトボックス設計は、追加の光源を組み込むように修正され得る。この設計は、図１６に図示するように、５００～９４０ｎｍの範囲にわたる波長で、ＬＥＤ（発光ダイオード）光源とフィルタとの複数の組み合わせを使用して、撮像をもたらす、図１３のマルチスペクトル機能６３を提供することができる。

【0136】

図１３に戻ると、システムオペレータからの単一の制御入力に応答して２つ以上のタイプの画像を撮影する複数の多機能（組み合わせ）キー６３～６９が提供される。これらの組み合わせは、予め決定されており、固定多機能キー６３～６９として提示されるが、任意選択で、オペレータは、単一の取り込み指示に応答して異なる撮像モダリティの複数の画像を取り込むカスタム多機能キーを定義し得る。例えば、オペレータには、追加のタイプの画像を単一の画像タイプの選択肢にリンクするための設定ウィンドウが提供され得る。異なるタイプの画像が異なるタイプのフィルタを必要とし得ることと、システムが一度に１つのフィルタの使用のみを支援する場合に、これにより、互いにリンクされ得る画像のタイプの数が制限され得る（例えば、同様のフィルタを必要とする画像のタイプのみが互いにリンクされ得る）ことに留意されたい。システムは、それに応じて利用可能な選択肢を制限し得る。代替的に、システムが、各々がそれ自体のフィルタを有する複数の検出器を有する場合に、光スプリッタは、それぞれのフィルタを介して異なる波長帯の光を異なる検出器に向けるために使用され得る。これにより、単一の取り込み指示に応答してリンクされ且つ撮影され得る画像のタイプの数が増加する。

【0137】

以下に、本発明に好適な様々なハードウェア及びアーキテクチャの説明が提供される。
眼底撮像システム
眼底を撮像するために使用される撮像システムの２つのカテゴリは、投光照明撮像システム（又は投光照明撮像装置）及び走査照明撮像システム（又は走査撮像装置）である。投光照明撮像装置は、閃光ランプを用いるなどにより、被検査物の対象となる視野（ＦＯＶ）全体を同時に光であふれさせ、フルフレームカメラ（例えば、全体として、所望のＦＯＶを取り込むのに十分なサイズの２次元（２Ｄ）光センサアレイを有するカメラ）を用いて被検査物（例えば、眼底）のフルフレーム画像を取り込む。例えば、投光照明眼底撮像装置は、眼の眼底を光であふれさせ、カメラの単一の画像取り込みシーケンスで眼底のフルフレーム画像を取り込む。走査撮像装置は、対象物、例えば眼を横切って走査される走査ビームを提供し、走査ビームは、走査ビームが対象物を横切って走査され、所望のＦＯＶの合成画像を作成するように再構成され、例えば合成され得る一連の画像セグメントを作成するときに、異なる走査位置で結像される。走査ビームは、点、線、又はスリット若しくは幅広線などの２次元領域とすることができる。

【0138】

図２４は、眼水晶体（又は水晶体）ＣＬとは反対側の眼Ｅの内表面であり且つ網膜、視神経乳頭、黄斑、中心窩、及び後極を含み得る、眼底Ｆを撮像するためのスリット走査式眼科システムＳＬＯ－１の例を図示する。本例では、撮像システムは、走査線ビームＳＢは、眼底Ｆ全体にわたって走査されるように、眼Ｅの光学構成要素（角膜Ｃｒｎ、虹彩Ｉｒｓ、瞳孔Ｐｐｌ、及び水晶体を含む）を横断する、いわゆる「スキャン－デスキャン」構成である。投光眼底撮像装置の場合には、スキャナは不要であり、光は一度に所望の視野（ＦＯＶ）全体に照射される。他の走査構成は当技術分野で知られており、特定の走査構成は本発明にとって重要ではない。図示のように、撮像システムは、１つ又は複数の光源ＬｔＳｒｃ、好ましくは、エタンデュが好適に調節された多色ＬＥＤシステム又はレーザシステムを含む。任意選択のスリットＳｌｔ（調節可能又は静止）は、光源ＬｔＳｒｃの前に位置決めされ、走査線ビームＳＢの幅を調節するために使用され得る。追加的に、スリットＳｌｔは、撮像中に静止したままであり得るか、又は特定の走査に関して若しくは反射抑制に使用される走査中に異なる共焦点レベル及び異なる用途を可能にするために異なる幅に調整され得る。任意選択の対物レンズＯｂｊＬは、スリットＳｌｔの前に配置することができる。対物レンズＯｂｊＬは、限定されるものではないが、屈折、回折、反射、又はハイブリッドレンズ／システムを含む最先端のレンズのいずれか１つとすることができる。スリットＳｌｔからの光は、瞳分割ミラーＳＭを通過して、スキャナＬｎＳｃｎへ導かれる。走査面と瞳面とをできるだけ近づけて、システムの口径食を低減することが望ましい。２つの構成要素の画像間の光学距離を操作するために、オプションの光学系ＤＬが含まれ得る。瞳分割ミラーＳＭは、光源ＬｔＳｒｃからスキャナＬｎＳｃｎに照明ビームを通過させ、スキャナＬｎＳｃｎからの検出ビーム（例えば、眼Ｅから戻る反射光）をカメラＣｍｒに向けて反射し得る。瞳分割ミラーＳＭのタスクは、照明ビームと検出ビームとを分割し、システム反射の抑制を補助することである。スキャナＬｎＳｃｎは、回転ガルボスキャナ又は他のタイプのスキャナ（例えば、圧電又はボイスコイル、微小電気機械システム（ＭＥＭＳ）スキャナ、電気光学偏向器、及び／又は回転ポリゴンスキャナ）とすることができる。瞳分割がスキャナＬｎＳｃｎの前に行われるか又は後に行われるかに応じて、１つのスキャナが照明経路内にあり、別々のスキャナが検出経路内にある２つのステップに走査を分割することができる。特定の瞳分割配置は、米国特許第９４５６７４６号明細書において詳細に説明されており、その全体は参照により本明細書に組み込まれる。

【0139】

スキャナＬｎＳｃｎから、照明ビームは、眼Ｅの瞳孔がシステムの画像瞳に結像されることを可能にする１つ又は複数の光学系、この場合は、走査レンズＳＬ及び眼科用又は接眼レンズＯＬを通過する。概して、走査レンズＳＬは、複数の走査角度（入射角）のいずれかでスキャナＬｎＳｃｎから走査照明ビームを受け取り、略平面焦点面（例えば、コリメートされた光路）を有する走査線ビームＳＢを生成する。眼科用レンズＯＬは、走査線ビームＳＢを眼Ｅの眼底Ｆ（又は網膜）に集束させ、眼底を撮像し得る。このようにして、走査線ビームＳＢは、眼底Ｆを横切って移動する横断走査線を作成する。これらの光学系の可能な構成の１つは、２つのレンズ間の距離がほぼテレセントリックな中間眼底画像（４－ｆ構成）を生成するように選択されるケプラー型望遠鏡である。眼科用レンズＯＬは、単レンズ、色消しレンズ、又は異なるレンズの配置とすることができる。全てのレンズは、当業者に知られているように、屈折性、回折性、反射性、又はハイブリッドとすることができる。眼科用レンズＯＬ、走査レンズＳＬの焦点距離、瞳分割ミラーＳＭ及びスキャナＬｎＳｃｎのサイズ及び／又は形状は、所望の視野（ＦＯＶ）に応じて異なる可能性があり、そのため、例えば、視野に応じて、光学系のフリップ、電動ホイール、又は着脱可能な光学要素を使用することにより、複数の構成要素をビーム経路の内外に切り替えることができる配置を想定することができる。視野の変化により瞳孔上に異なるビームサイズがもたらされるので、ＦＯＶの変更に合わせて瞳分割をも変更することができる。例えば、４５°～６０°の視野は、眼底カメラについての典型的な又は標準的なＦＯＶである。６０°～１２０°以上のより高視野、例えば広視野ＦＯＶも実現可能であり得る。広視野ＦＯＶは、幅広線眼底撮像装置（ＢＬＦＩ）と光干渉断層撮像法（ＯＣＴ）などの別の撮像モダリティとの組み合わせに望ましい場合がある。視野の上限は、人間の眼の周りの生理学的条件と組み合わせたアクセス可能な作動距離により決定され得る。典型的な人間の網膜は、ＦＯＶが水平１４０°及び垂直８０°～１００°であるため、システム上で可能な限り高いＦＶＯに関して非対称の視野を有することが望ましいことがある。

【0140】

走査線ビームＳＢは、眼Ｅの瞳孔Ｐｐｌを通過して、網膜又は眼底、すなわち表面Ｆへ導かれる。スキャナＬｎＳｃｎ１は、眼Ｅの横方向位置の範囲が照明されるように、網膜又は眼底Ｆ上の光の位置を調整する。反射光又は散乱光（又は蛍光撮像の場合は放射光）は、照明と同様の経路に沿って導かれ、カメラＣｍｒへの検出経路上に集光ビームＣＢを定義する。

【0141】

本発明の例示的なスリット走査式眼科システムＳＬＯ－１の「スキャン－デスキャン」構成では、眼Ｅから戻る光は、瞳分割ミラーＳＭへの途中でスキャナＬｎＳｃｎにより「デスキャン」される。すなわち、スキャナＬｎＳｃｎは、瞳分割ミラーＳＭからの照明ビームＳＢを走査して、眼Ｅを横切る走査照明ビームＳＢを定義するが、スキャナＬｎＳｃｎは、同じ走査位置で眼Ｅからの戻り光も受け取るので、戻り光をデスキャンして（例えば、走査動作をキャンセルして）、スキャナＬｎＳｃｎから瞳分割ミラーＳＭへの非走査（例えば、定常又は静止）集光ビームを定義するという効果があり、瞳分割ミラーＳＭは、集光ビームをカメラＣｍｒに向けて折り返す。瞳分割ミラーＳＭにおいて、反射光（又は蛍光撮像の場合には放射光）は、画像を取り込むために光センサを有するデジタルカメラであり得る、カメラＣｍｒへ導かれる、検出経路上への照明光から分離される。撮像（例えば、対物レンズ）レンズＩｍｇＬは、眼底がカメラＣｍｒに結像されるように検出経路内に位置決めされ得る。対物レンズＯｂｊＬの場合のように、撮像レンズＩｍｇＬは、当技術分野で知られている任意のタイプのレンズ（例えば、屈折、回折、反射又はハイブリッドレンズ）であり得る。追加の動作の詳細、特に、画像におけるアーチファクトを低減する方法が、国際公開第２０１６／１２４６４４号パンフレットで説明されており、その内容の全体は参照により本明細書に組み込まれる。カメラＣｍｒは、受信した画像を取り込み、例えば、画像ファイルを作成し、この画像ファイルは、１つ又は複数の（電子）プロセッサ又は計算装置（例えば、図３１に示すコンピュータシステム）により更に処理することができる。したがって、集光ビーム（走査線ビームＳＢの全ての走査位置から戻る）は、カメラＣｍｒにより収集され、フルフレーム画像Ｉｍｇは、個々に取り込まれた集光ビームの合成から、モンタージュなどにより、構築され得る。しかしながら、照明ビームが眼Ｅを横切って走査され、集光ビームがカメラの光センサアレイを横切って走査されるものを含む、他の走査構成も想定される。参照により本明細書に組み込まれる、国際公開第２０１２／０５９２３６号パンフレット及び米国特許出願公開第２０１５／０１３１０５０号明細書は、戻り光がカメラの光センサアレイを横切って掃引される設計、戻り光がカメラの光センサアレイを横切って掃引されない設計などの様々な設計を含む、スリット走査式検眼鏡のいくつかの実施形態を説明している。

【0142】

本例では、カメラＣｍｒは、プロセッサ（例えば、処理モジュール）Ｐｒｏｃとディスプレイ（例えば、表示モジュール、コンピュータ画面、電子画面など）Ｄｓｐｌとに接続され、プロセッサとディスプレイの両方は、画像システム自体の一部とすることができ、又は、無線ネットワークを含むケーブル又はコンピュータネットワークを介してデータがカメラＣｍｒからコンピュータシステムに渡されるコンピュータシステムなどの、別個の専用の処理及び／又は表示ユニットの一部であり得る。ディスプレイ及びプロセッサは、一体型ユニットとすることができる。ディスプレイは、従来の電子ディスプレイ／画面とするか又はタッチスクリーン型とすることができ、機器オペレータ又はユーザに情報を表示し且つ機器オペレータ又はユーザから情報を受信するためのユーザインタフェースを含むことができる。ユーザは、限定されるものではないが、マウス、ノブ、ボタン、ポインタ、及びタッチスクリーンを含む、当技術分野で知られているような任意のタイプのユーザ入力装置を使用してディスプレイと対話することができる。

【0143】

撮像の実行中に患者の視線が固定されたままであることが望ましい場合がある。視線の固定を達成する１つの方法は、患者に凝視するように指示できる固視標を提供することである。固視標は、眼のどの領域が撮像されるかに応じて、機器の内部又は外部とすることができる。内部固視標の一実施形態が図２４に示されている。撮像のために使用される一次光源ＬｔＳｒｃに加えて、１つ又は複数のＬＥＤなどの、任意選択の第２の光源ＦｘＬｔＳｒｃは、レンズＦｘＬ、走査要素ＦｘＳｃｎ及び反射器／ミラーＦｘＭを使用して光パターンが網膜に結像されるように位置決めすることができる。固視スキャナＦｘＳｃｎは、光パターンの位置を移動させることができ、反射器ＦｘＭは、光パターンを固視スキャナＦｘＳｃｎから眼Ｅの眼底Ｆへ導く。好ましくは、固視スキャナＦｘＳｃｎは、所望の固視位置に応じて網膜／眼底上の光パターンを移動させることができるように固視スキャナＦｘＳｃｎがシステムの瞳面に位置するように配置される。

【0144】

スリット走査式検眼システムは、用いられる光源及び波長選択フィルタリング要素に応じて、異なる撮像モードで動作することが可能である。トゥルーカラー反射率撮像（手持ち式又は細隙灯検眼鏡を使用して眼を検査するときに臨床医により観察される撮像と同様の撮像）は、一連の有色ＬＥＤ（赤色、青色、緑色）を用いて眼を撮像する場合に達成することができる。各カラーの画像は、各走査位置で各ＬＥＤをオンにした状態で段階的に構築することができ、又は各カラー画像を別個に完全に撮影することができる。３つのカラー画像は、トゥルーカラー画像を表示するために組み合わせることができ、又は網膜の異なる特徴を強調するために個々に表示することができる。赤色チャネルは、脈絡膜を最も良く強調し、緑色チャネルは網膜を強調し、青色チャネルは網膜前層を強調する。追加的に、特定の周波数の光（例えば、個々の有色ＬＥＤ又はレーザ）は、眼内の異なる蛍光体（例えば、自発蛍光）を励起するために使用することができ、結果として得られる蛍光は、励起波長をフィルタで除去することにより検出できる。

【0145】

眼底撮像システムはまた、赤外線レーザ（又は他の赤外線光源）を使用するなどにより、赤外線（ＩＲ）反射率画像を提供することができる。赤外線（ＩＲ）モードは、眼がＩＲ波長に敏感ではないという点で有利である。この赤外線（ＩＲ）モードは、機器の位置合わせ中にユーザを補助するために（例えば、プレビュー／位置合わせモードで）眼の邪魔をせずにユーザが画像を連続的に撮影することを可能にし得る。また、ＩＲ波長は、組織を通る透過性が高く、且つ脈絡膜構造の視覚化の改善をもたらし得る。加えて、蛍光眼底血管造影（ＦＡ）及びインドシアニングリーン血管造影（ＩＣＧ）撮像は、蛍光色素が被検者の血流に注入された後に画像を収集することにより達成することができる。

【0146】

光干渉断層撮影システム
眼底写真、眼底自発蛍光（ＦＡＦ）、蛍光眼底造影法（ＦＡ）に加えて、眼科画像はその他の撮像モダリティ、例えば光干渉断層撮影法（ＯＣＴ）、ＯＣＴ眼底造影法（ＯＣＴＡ）、及び／又は眼エコー写真によって製作されてもよい。本発明又は本発明の少なくとも一部は、当業界で理解されるように、若干の改良を加えて、これらのその他の眼科撮像モダリティにも応用されてもよい。より具体的には、本発明はまた、ＯＣＴ及び／又はＯＣＴＡ画像を生成するＯＣＴ／ＯＣＴＡシステムにより生成された眼科画像にも応用されてよい。例えば、本発明は、ｅｎ ｆａｃｅ ＯＣＴ／ＯＣＴＡ画像にも応用されてよい。眼底画像の例は米国特許第８９６７８０６号明細書及び同第８９９８４１１号明細書において提供されており、ＯＣＴシステムの例は米国特許第６７４１３５９号明細書及び同第９７０６９１５号明細書において提供され、ＯＣＴＡ撮像システムの例は米国特許第９７００２０６号明細書及び同第９７５９５４４号明細書に見られるかもしれず、これらすべての内容の全体を参照によって本願に援用する。万全を期して、例示的なＯＣＴ／ＯＣＴＡシステムの例を本願で提供する。

【0147】

図２５は、本発明との使用に適した眼の３Ｄ画像データ収集用の一般型周波数領域光干渉断層撮影（ＦＤ－ＯＣＴ）システムを図解する。ＦＤ－ＯＣＴシステムＯＣＴ＿１は、光源ＬｔＳｒｃ１を含む。典型的な光源には、時間コヒーレンス長が短い広帯域光源、又は掃引レーザ源が含まれるがこれらに限定されない。光源ＬｔＳｃｒ１からの光のビームは、典型的に光ファイバＦｂｒ１によってサンプル、例えば眼Ｅを照明するように誘導され、典型的なサンプルは人間の眼内組織である。光源ＬｒＳｒｃ１は、スペクトル領域ＯＣＴ（ＳＤ－ＯＣＴ）の場合の短い時間コヒーレンス長の広帯域光源か、掃引光源ＯＣＴ（ＳＳ－ＯＣＴ）の場合の波長調整可能レーザ源の何れかとすることができる。光は、典型的には光ファイバＦｂｒ１の出力とサンプルＥとの間のスキャナＳｃｎｒ１でスキャンされ、それによって光のビーム（破線Ｂｍ）はサンプルの画像撮影対象領域を横方向に（ｘ及びｙに）スキャンされる。フルフィールドＯＣＴの場合、スキャナは不要であり、光は一度に所望の視野（ＦＯＶ）全体に当てられる。サンプルから散乱した光は、典型的に照明用の光を案内するために使用されるものと同じ光ファイバＦｂｒ１へと集光される。同じ光源ＬｔＳｒｃ１から派生する参照光は別の経路に沿って移動し、この場合、これには光ファイバＦｂｒ２及び調整可能な光学遅延を有する逆反射板ＲＲ１が含まれる。当業者であればわかるように、透過性参照経路も使用でき、調整可能遅延はサンプル又は干渉計の参照アームの中に設置できる。集光されたサンプル光は、典型的にファイバカプラＣｐｌｒ１において参照光と結合され、ＯＣＴ光検出器Ｄｔｃｔｒ１（例えば、光検出器アレイ、デジタルカメラ等）内の光干渉を形成する。１つのファイバポートが検出器Ｄｔｃｔｒ１に到達するように示されているが、当業者であればわかるように、干渉信号のバランス又はアンバランス検出のために様々な設計の干渉計を使用できる。検出器Ｄｔｃｔｒ１からの出力は、プロセッサＣｍｐ１（例えば、コンピューティングデバイス）に供給され、それが観察された干渉をサンプルの深さ情報へと変換する。深さ情報は、プロセッサＣｍｐ１に関連付けられるメモリ内に保存され、及び／又はディスプレイ（例えば、コンピュータ／電子ディスプレイ／スクリーン）Ｓｃｎ１に表示されてよい。処理及び保存機能はＯＣＴ機器内に配置されてよく、又は機能は収集されたデータが転送される外部処理ユニット（例えば、図２０に示されるコンピュータシステム）上で実行されてもよい。このユニットは、データ処理専用とすることも、又はごく一般的で、ＯＣＴデバイス装置に専用ではないその他のタスクを実行することもできる。プロセッサＣｍｐ１は例えば、ホストプロセッサに供給される前に、又は並行してデータ処理ステップの一部又は全部を実行するフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）、グラフィクス処理ユニット（ＧＰＵ）、システムオンチップ（ＳｏＣ）、中央処理ユニット（ＣＰＵ）、汎用グラフィクス処理ユニット（ＧＰＧＰＵ）、又はそれらの組合せを含んでいてよい。

【0148】

干渉計内のサンプルアームと参照アームは、バルク光学系、ファイバ光学系、又はハイブリッドバルク光学システムで構成でき、また、当業者の間で知られているように、マイケルソン、マッハ・ツェンダ、又は共通光路系設計等、異なるアーキテクチャを有することができる。光ビームとは、本明細書において使用されるかぎり、慎重に方向付けられるあらゆる光路と解釈されるべきである。ビームを機械的にスキャンする代わりに、光の場が網膜の１次元又は２次元エリアを照明して、ＯＣＴデータを生成できる（例えば、米国特許第９３３２９０２号明細書、ディー．ヒルマン（Ｄ．Ｈｉｌｌｍａｎｎ）他著、「ホロスコピ－ホログラフィック光干渉断層撮影（Ｈｏｌｏｓｃｏｐｙ－ｈｏｌｏｇｒａｐｈｉｃ ｏｐｔｉｃａｌ ｃｏｈｅｒｅｎｃｅ ｔｏｍｏｇｒａｐｈｙ）」オプティクスレターズ（Ｏｐｔｉｃｓ Ｌｅｔｔｅｒｓ）、第３６巻（１３）、ｐ．２２９０、２０１１年、ワイ．ナカムラ（Ｙ．Ｎａｋａｍｕｒａ）他著、「ラインフィールドスペクトルドメイン光干渉断層撮影法による高速３次元ヒト網膜撮像（Ｈｉｇｈ－Ｓｐｅｅｄ ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎａｌ ｈｕｍａｎ ｒｅｔｉｎａｌ ｉｍａｇｉｎｇ ｂｙ ｌｉｎｅ ｆｉｅｌｄ ｓｐｅｃｔｒａｌ ｄｏｍａｉｎ ｏｐｔｉｃａｌ ｃｏｈｅｒｅｎｃｅ ｔｏｍｏｇｒａｐｈｙ）」、オプティクスエクスプレス（Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ）、第１５巻（１２）、ｐ．７１０３、２００７年、ブラスコヴィッチ（Ｂｌａｚｋｉｅｗｉｃｚ）他著、「フルフィールドフーリエドメイン光干渉断層撮影法の信号対ノイズ比の研究（Ｓｉｇｎａｌ－ｔｏ－ｎｏｉｓｅ ｒａｔｉｏ ｓｔｕｄｙ ｏｆ ｆｕｌｌ－ｆｉｅｌｄ Ｆｏｕｒｉｅｒ－ｄｏｍａｉｎ ｏｐｔｉｃａｌ ｃｏｈｅｒｅｎｃｅ ｔｏｍｏｇｒａｐｈｙ）」、アプライド・オプティクス（Ａｐｐｌｉｅｄ Ｏｐｔｉｃｓ）、第４４巻（３６）、ｐ．７７２２（２００５年）参照）。時間領域システムでは、参照アームは干渉を生じさせるために調整可能な光学遅延を有する必要がある。バランス検出システムは典型的にＴＤ－ＯＣＴ及びＳＳ－ＯＣＴシステムで使用され、分光計はＳＤ－ＯＣＴシステムのための検出ポートで使用される。本明細書に記載の発明は、何れの種類のＯＣＴシステムにも応用できる。本発明の様々な態様は、何れの種類のＯＣＴシステムにも、又はその他の種類の眼科診断システム及び／又は、眼底撮像システム、視野試験装置、及び走査型レーザ偏光計を含むがこれらに限定されない複数の眼科診断システムにも適用できる。

【0149】

フーリエドメイン光干渉断層撮影法（ＦＤ－ＯＣＴ）において、各測定値は実数値スペクトル制御干渉図形（Ｓｊ（ｋ））である。実数値スペクトルデータには典型的に、背景除去、分散補正等を含む幾つかの後処理ステップが行われる。処理された干渉図形のフーリエ変換によって、複素ＯＣＴ信号出力Ａｊ（ｚ）＝｜Ａｊ｜ｅｉφが得られる。この複素ＯＣＴ信号の絶対値、｜Ａｊ｜から、異なる経路長での散乱強度、したがってサンプル内の深さ（ｚ－方向）に関する散乱のプロファイルが明らかとなる。同様に、位相φｊもまた、複素ＯＣＴ信号から抽出できる。深さに関する手散乱のプロファイルは、軸方向スキャン（Ａ－スキャン）と呼ばれる。サンプル内の隣接する位置において測定されたＡ－スキャンの集合により、サンプルの断面画像（断層画像又はＢ－スキャン）が生成される。サンプル上の横方向の異なる位置で収集されたＢスキャンの集合が、データボリューム又はキューブを構成する。特定のデータボリュームについて、速い軸とは１つのＢ－スキャンに沿ったスキャン方向を指し、遅い軸とは、それに沿って複数のＢ－スキャンが収集される軸を指す。「クラスタスキャン」という用語は、血流を識別するために使用されてよいモーションコントラストを解析するために、同じ（又は実質的に同じ）位置（又は領域）での反復的取得により生成されるデータの１つのユニット又はブロックを指してよい。クラスタスキャンは、サンプル上のほぼ同じ位置において比較的短い時間間隔で収集された複数のＡ－スキャン又はＢ－スキャンで構成できる。クラスタスキャンのスキャンは同じ領域のものであるため、静止構造はクラスタスキャン中のスキャン間で比較的変化しないままであるのに対し、所定の基準を満たすスキャン間のモーションコントラストは血液流として識別されてよい。Ｂ－スキャンを生成するための様々な方法が当業界で知られており、これには、水平又はｘ方向に沿ったもの、垂直又はｙ方向に沿ったもの、ｘ及びｙの対角線に沿ったもの、又は円形若しくは螺旋パターンのものが含まれるがこれらに限定されない。Ｂ－スキャンは、ｘ－ｚ次元内であってよいが、ｚ次元を含む何れの断面画像であってもよい。

【0150】

ＯＣＴ血管造影法又は関数型ＯＣＴにおいて、解析アルゴリズムは、動き又は流れを解析するために、サンプル上の同じ、又はほぼ同じサンプル位置において異なる時間に収集された（例えば、クラスタスキャン）ＯＣＴデータに適用されてよい（例えば、米国特許出願公開第２００５／０１７１４３８号明細書、同第２０１２／０３０７０１４号明細書、同第２０１０／００２７８５７号明細書、同第２０１２／０２７７５７９号明細書、及び米国特許第６５４９８０１号明細書を参照されたく、これらの全ての全体を参照によって本願に援用する）。ＯＣＴシステムでは、血流を識別するために多くのＯＣＴ血管造影法処理アルゴリズム（例えば、モーションコントラストアルゴリズム）のうちの何れの１つを使用してもよい。例えば、モーションコントラストアルゴリズムは、画像データから導出される強度情報（強度に基づくアルゴリズム）、画像データからの位相情報（位相に基づくアルゴリズム）、又は複素画像データ（複素に基づくアルゴリズム）に適用できる。ｅｎ ｆａｃｅ画像は３Ｄ ＯＣＴデータの２Ｄ投射である（例えば、個々のＡ－スキャンの各々の強度を平均することにより、これによって、各Ａ－スキャンが２Ｄ投射内のピクセルを画定する）。同様に、ｅｎ ｆａｃｅ脈管画像は、モーションコントラスト信号を表示する画像であり、その中で深さに対応するデータディメンション（例えば、Ａ－スキャンに沿ったｚ方向）は、典型的にはデータの全部又は隔離部分を加算又は集積することによって、１つの代表値（例えば、２Ｄ投射画像内のピクセル）として表示される（例えば、米国特許第７３０１６４４号明細書を参照されたく、その全体を参照によって本願に援用する）。血管造影機能を提供するＯＣＴシステムは、ＯＣＴ血管造影（ＯＣＴＡ）システムと呼ばれてよい。

【0151】

図２６は、ｅｎ ｆａｃｅ脈管構造画像の例を示す。データを処理し、当業界で知られるモーションコントラスト法の何れかを用いてモーションコントラストをハイライトした後に、網膜の内境界膜（ＩＬＭ：ｉｎｔｅｒｎａｌ ｌｉｍｉｔｉｎｇ ｍｅｍｂｒａｎｅ）の表面からのある組織深さに対応するピクセル範囲を加算して、その脈管構造のｅｎ ｆａｃｅ（例えば、正面図）画像が生成されてよい。

【0152】

ニューラルネットワーク
前述のように、本発明はニューラルネットワーク（ＮＮ）機械学習（ＭＬ）モデルを使用してよい。万全を期して、本明細書ではニューラルネットワークについて概説する。発明は、下記のニューラルネットワークアーキテクチャの何れも、単独でも組み合わせても使用してよい。ニューラルネットワーク、又はニューラルネットは、相互接続されたニューロンの（ノードを介した）ネットワークであり、各ニューロンはネットワーク内のノードを表す。ニューロンの集合は層状に配置されてよく、１つの層の出力は多層パーセプトロン（ＭＬＰ）配置の中の次の層へと順方向に供給される。ＭＬＰは、入力データの集合を出力データの集合にマッピングするフィードフォワードニューラルネットワークと理解されてよい。

【0153】

図２７は、多層パーセプトロン（ＭＬＰ）ニューラルネットワークの例を図解する。その構造は、複数の隠れ（例えば内側）層ＨＬ１～ＨＬｎを含んでいてよく、これは入力層ＩｎＬ（入力（又はベクトル入力）の集合ｉｎ＿１～ｉｎ＿３を受け取る）を出力層ＯｕｔＬにマッピングし、それが出力（又はベクトル出力）の集合、例えばｏｕｔ＿１及びｏｕｔ＿２を生成する。各層は、何れの数のノードを有していてもよく、これらはここでは説明のために各層内の円として示されている。この例では、第一の隠れ層ＨＬ１は２つのノードを有し、隠れ層ＨＬ２、ＨＬ３、及びＨＬｎは各々３つのノードを有する。一般に、ＭＬＰが深いほど（例えば、ＭＬＰ内の隠れ層の数が多いほど）、その学習容量は大きい。入力層ＩｎＬは、ベクトル入力（説明のために、ｉｎ＿１、ｉｎ＿２、及びｉｎ＿３からなる３次元ベクトルとして示されている）を受け取り、受け取ったベクトル入力を隠れ層のシーケンス内の第一の隠れ層ＨＬ１に供給してよい。出力層ＯｕｔＬは、多層モデル内の最後の隠れ層、例えばＨＬｎからの出力を受け取り、ベクトル出力結果（説明のためにｏｕｔ＿１及びｏｕｔ＿２からなる２次元ベクトルとして示されている）を生成する。

【0154】

典型的に、各ニューロン（すなわちノード）は１つの出力を生成し、それがその直後の層のニューロンへと順方向に供給される。しかし、隠れ層内の各ニューロンは、入力層から、又はその直前の隠れ層内のニューロンの出力から、複数の入力を受け取るかもしれない。一般に、各ノードはその入力に関数を適用して、そのノードのための出力を生成してよい。隠れ層（例えば、学習層）内のノードは、それぞれの入力に同じ関数を適用して、それぞれの出力を生成してよい。しかしながら、幾つかのノード、例えば入力層ＩｎＬ内のノードは１つの入力しか受け取らず、受動的であってよく、これは、それらが単純にその１つの入力の値をその出力へと中継することを意味し、例えばこれらはその入力のコピーをその出力に提供し、これは説明のために入力層ＩｎＬのノード内の破線矢印によって示されている。

【0155】

説明を目的として、図２８は、入力層ＩｎＬ’、隠れ層ＨＬ１’、及び出力層ＯｕｔＬ’からなる単純化されたニューラルネットワークを示す。入力層ＩｎＬ’は、２つの入力ノードｉ１及びｉ２を有するように示されており、これらはそれぞれ入力Ｉｎｐｕｔ＿１及びＩｎｐｕｔ＿２を受け取る（例えば、層ＩｎＬ’の入力ノードは、２次元の入力ベクトルを受け取る）。入力層ＩｎＬ’は、２つのノードｈ１及びｈ２を有する１つの隠れ層ＨＬ１’へと順方向に供給し、それが今度は、２つのノードｏ１及びｏ２の出力層ＯｕｔＬ’に順方向に供給する。ニューロン間の相互接続、又はリンクは（説明のために実線の矢印で示されている）は重みｗ１～ｗ８を有する。典型的に、入力層を除き、ノード（ニューロン）は入力としてその直前の層のノードの出力を受け取るかもしれない。各ノードは、その入力の各々に各入力の対応する相互接続重みを乗じ、その入力の積を加算し、その特定のノードに関連付けられるかもしれない他の重み又はバイアス（例えば、それぞれノードｈ１、ｈ２、ｏ１、及びｏ２に対応するノード重みｗ９、ｗ１０、ｗ１１、ｗ１２）により定義される定数を加算し（又は、それを乗じ）、その後、その結果に非線形関数又は対数関数を適用することによってその出力を計算してよい。非線形関数は、活性化関数又は伝達関数と呼ばれてよい。複数の活性化関数が当業界で知られており、特定の活性化関数の選択はこの説明には重要ではない。しかしながら、留意すべき点として、ＭＬモデルの演算、ニューラルネットの挙動は重みの値に依存し、これはニューラルネットワークがある入力のための所望の出力を提供するように学習されてよい。

【0156】

ニューラルネットは、訓練、又は学習段階中に、ある入力にとって望ましい出力を実現するための適当な重み値を学習する（例えば、それを特定するように訓練される）。ニューラルネットが訓練される前に、各重みは個々に初期の（例えば、ランダムな、任意選択によりゼロ以外の）値、例えば乱数シードに割り当てられてもよい。初期重みを割り当てる様々な方法が当業界で知られている。すると、重みは、ある訓練ベクトル入力について、ニューラルネットワークが所望の（所定の）訓練ベクトル出力に近い出力を生成するように訓練される（最適化される）。例えば、重みはバックプロパゲーションと呼ばれる方法によって、何千回もの繰返しサイクルで徐々に調整されてよい。バックプロパゲーションの各サイクルで、訓練入力（例えば、ベクトル入力又は訓練入力画像／サンプル）はニューラルネットワークを通じてフォワードパスが行われて、その実際の出力（例えば、ベクトル出力）が提供される。その後、各出力ニューロン、又は出力ノードのエラーが、実際のニューロンの出力及びそのニューロンのための教師値訓練出力（例えば、現在の訓練入力画像／サンプルに対応する訓練出力画像／サンプル）に基づいて計算される。すると、それはニューラルネットワークを通じて逆方向に（出力層から入力層へと逆方向に）伝搬し、各重みが全体的エラーに対してどの程度の影響を有するかに基づいて重みが更新され、それによってニューラルネットワークの出力は所望の訓練出力に近付く。このサイクルはその後、ニューラルネットワークの実際の出力がその訓練入力のための所望の訓練出力の容認可能なエラー範囲内になるまで繰り返される。理解されるように、各訓練入力は、所望のエラー範囲を実現するまでに多くのバックプロパゲーションイテレーションを必要とするかもしれない。典型的に、エポックは全ての訓練サンプルの１つのバックプロパゲーションイテレーション（例えば、１回のフォワードパスと１回のバックワードパス）を指し、ニューラルネットワークの訓練には多くのエポックが必要かもしれない。一般に、訓練セットが大きいほど、訓練されるＭＬモデルのパフォーマンスは向上するため、各種のデータ拡張方法が、訓練セットのサイズを大きくするために使用されてよい。例えば、訓練セットが対応する訓練入力画像と訓練出力画像のペアを含む場合、訓練画像は複数の対応する画像セグメント（又はパッチ）に分割されてよい。訓練入力画像及び訓練出力画像からの対応するパッチがペアにされて、１つの入力／出力画像ペアから複数の訓練パッチペアが画定されてよく、それによって訓練セットが拡張される。しかしながら、大きい訓練セットを訓練することによって、コンピュータリソース、例えばメモリ及びデータ処理リソースへの要求が高まる。演算要求は、大きい訓練セットを複数のミニバッチに分割することによって軽減されるかもしれず、このミニバッチのサイズは１回のフォワード／バックワードパスにおける訓練サンプルの数が決まる。この場合、そして１つのエポックは複数のミニバッチを含んでいてよい。他の問題は、ＮＮが訓練セットを過剰適合して、特定の入力から異なる入力へと一般化するその能力が減少する可能性である。過剰適合の問題は、ニューラルネットワークのアンサンブルを作るか、又は訓練中にニューラルネットワーク内のノードをランダムにドロップアウトすることによって軽減されるかもしれず、これはドロップされたリードをニューラルネットワークから有効に除去する。インバースドロップアウト等、各種のドロップアウト調整方法が当業界で知られている。

【0157】

留意すべき点として、訓練済みのＮＮ機械モデルの演算は、演算／解析ステップの単純なアルゴリズムではない。実際に、訓練済みのＮＮ機械モデルが入力を受け取ると、その入力は従来の意味では解析されない。むしろ、入力の主旨や性質（例えば、ライブ画像／スキャンを画定するベクトル、又は人口構造的説明又は活動の記録等のその他何れかのエンティティを画定するベクトル）に関係なく、入力は、訓練済みニューラルネットワークの同じアーキテクチャ構築（例えば、同じノード／層配置、訓練済み重み及びバイアス値、所定の畳み込み／逆畳み込み演算、活性化関数、プーリング演算等）の対象となり、訓練済みネットワークのアーキテクチャ構築がその出力をどのように生成するかは明らかでないかもしれない。さらに、訓練された重みとバイアスの値は、決定的ではなく、そのニューラルネットワークに付与される訓練のための時間の量（例えば、訓練におけるエポック数）、訓練開始前の重みのランダムな開始値、ＮＮがそこで訓練されるマシンのコンピュータアーキテクチャ、訓練サンプルの選択、複数のミニバッチ間の訓練サンプルの分布、活性化関数の選択、重みを変更するエラー関数の選択、さらには訓練が１つのマシン（例えば、第一のコンピュータアーキテクチャを有する）で中断され、他のマシン（例えば、異なるコンピュータアーキテクチャを有する）で完了したか等、多くの要素に依存する。ポイントは、訓練済みのＭＬモデルが特定の出力になぜ到達したかの理由は明白でなく、ＭＬモデルがその出力の基礎とする要素を特定しようとする多くの研究が現在行われている、ということである。したがって、ライブデータに対するニューラルネットワークの処理は、単純なステップのアルゴリズムまで減少させることはできない。むしろ、その演算は、その訓練アーキテクチャ、訓練サンプルセット、訓練シーケンス、及びＭＬモデルの訓練における様々な状況に依存する。

【0158】

概略すると、ＮＮ機械学習モデルの構成は、学習（又は訓練）ステージと分類（又は演算）ステージを含んでいてよい。学習ステージでは、ニューラルネットワークは特定の目的のために訓練されてよく、また訓練例の集合が提供されてよく、これには訓練（サンプル）入力及び訓練（サンプル）出力が含まれ、任意選択により、訓練の進行状況を試験するためのバリデーションの例の集合が含まれる。この学習プロセス中、ニューラルネットワーク内のノード及びノード相互接続に関係付けられる各種の重みが徐々に調整されて、ニューラルネットワークの実際の出力と所望の訓練出力との間のエラーが縮小される。このようにして、多層フィードフォワードニューラルネットワーク（例えば前述のもの）は、何れの測定可能関数を何れの所望の精度までも概算できるかもしれない。学習ステージの結果として得られるのは、学習した（例えば、訓練済みの）（ニューラルネットワーク）機械学習（ＭＬ）である。演算ステージで、試験入力（又はライブ入力）の集合が学習済み（訓練済み）ＭＬモデルに提供されてよく、それが学習したことを応用して、試験入力に基づいて出力予測を生成するかもしれない。

【0159】

図２６及び図２７の通常のニューラルネットワークと同様に、畳み込みニューラルネットワーク（ＣＮＮ）もまた、学習可能な重みとバイアスを有するニューロンで構成される。各ニューロンは入力を受け取り、演算（例えば、ドット積）を行い、任意選択によってそれに非線形変換が続く。しかしながら、ＣＮＮは、一方の端（例えば入力端）で生の画像ピクセルを受け取り、反対の端（例えば、出力端）で分類（又はクラス）のスコアを提供する。ＣＮＮは入力として画像を予想するため、これらはボリューム（例えば、画像のピククセル高さと幅及び、画像の深さ、例えば赤、緑、及び青の３色で定義されるＲＧＢ深さ等の色深さ）を扱うように最適化される。例えば、ＣＮＮの層は、３次元で配置されるニューロンのために最適化されてよい。ＣＮＮ層内のニューロンは、完全に接続されたＮＮのニューロンの全部ではなく、その前の層の小さい領域に接続されてもよい。ＣＮＮの最終的な出力層は、フル画像を深さの次元に沿って配置される１つのベクトル（分類）に縮小するかもしれない。

【0160】

図２９は、例示的な畳み込みニューラルネットワークアーキテクチャを提供する。畳み込みニューラルネットワークは、２つ又はそれ以上の層（例えば、層１～層Ｎ）の連続として定義されてよく、層は（画像）畳み込みステップ、（結果の）加重和ステップ、及び非線形関数ステップを含んでいてよい。畳み込みはその入力データについて、例えばその入力データにわたる移動ウィンドウ上のフィルタ（又はカーネル）を適用して特徴マップを生成することによって行われてよい。各層及び層の構成要素は、異なる所定のフィルタ（フィルタバンクからのもの）、重み（又は重み付けパラメータ）、及び／又は関数パラメータを有していてよい。この例において、入力データは、あるピクセル高さと幅の画像であり、この画像の生のピクセル値であってもよい。この例において、入力画像は３つの色チャネルＲＧＢ（赤、緑、青）の深さを有するように描かれている。任意選択により、入力画像には様々な前処理が行われてよく、前処理の結果が生の画像データの代わりに、又はそれに加えて入力されてもよい。画像処理の幾つかの例には、網膜血管マップセグメンテーション、色空間変換、適応型ヒストグラム均一化、接続構成要素生成等が含まれていてよい。ある層内で、ドット積がある重みとそれらが入力ボリューム内で接続された小さい領域との間で計算されてよい。ＣＮＮを構成するための多くの方法が当業界で知られているが、例として、層はゼロにおけるｍａｘ（０，ｘ）閾値等、要素ごと活性化関数を適用するために構成されてもよい。プーリング関数は、ボリュームをダウンサンプルするために（例えばｘ－ｙ方向に沿って）行われてもよい。完全に接続された層は、分類出力を特定し、画像認識及び分類に有益であることが判明している１次元出力ベクトルを生成するために使用されてよい。しかしながら、画像セグメンテーションのためには、ＣＮＮは各ピクセルを分類する必要がある。各ＣＮＮ層は入力画像の解像度を低下させる傾向があるため、画像をその当初の解像度へとアップサンプルするための別のステージが必要である。これは、転置畳み込み（又は逆畳み込み）ステージＴＣの適用によって実現されてよく、これは典型的に、何れの所定の補間方法も使用せず、その代わりに学習可能パラメータを有する。

【0161】

畳み込みニューラルネットワークは、コンピュータビジョンの多くの問題にうまく適用されている。前述のように、ＣＮＮを訓練するには一般に、大きな訓練データセットが必要である。Ｕ－ＮｅｔアーキテクチャはＣＮＮに基づいており、一般に従来のＣＮＮより小さい訓練データセットで訓練できる。

【0162】

図３０は、例示的なＵ－Ｎｅｔアーキテクチャを図解する。この例示的なＵ－Ｎｅｔは、入力モジュール（又は入力層若しくはステージ）を含み、これは何れかのサイズ（例えば、１２８×１２８ピクセルのサイズ）の入力Ｕ－ｉｎ（例えば、入力画像又は画像パッチ）を受け取る。入力画像は、眼底画像、ＯＣＴ／ＯＣＴＡ ｅｎ ｆａｃｅ、Ｂ－スキャン画像等であってよい。しかしながら、理解すべき点として、入力は何れの大きさ及び次元のものであってもよい。例えば、入力画像はＲＧＢカラー画像、モノクロ画像、体積画像等であってよい。入力画像は一連の処理層を経て、その各々は例示的な大きさで図解されているが、これらの大きさは説明を目的としているにすぎず、例えば画像のサイズ、畳み込みフィルタ、及び／又はプーリングステージに依存するであろう。このアーキテクチャは、収束経路（４つの符号化モジュールを含む）とそれに続く拡張経路（４つの復号モジュールを含む）、及び対応するモジュール／ステージ間にあり、収束経路内の１つの符号化モジュールの出力をコピーして、それを拡張経路内の対応する復号モジュールの入力に結合する４つのコピー・アンド・クロップリンク（例えば、ＣＣ１～ＣＣ４）からなる。その結果、特徴的なＵ字型となり、そこからこのアーキテクチャが名付られている。収束経路はエンコーダと同様であり、その基本機能はコンパクトの特徴マップを介してコンテキストを捕捉することである。この例において、収束経路内の各符号化モジュールは２つの畳み込みニューラルネットワーク層を含み、それに続いて１つの最大プーリング層（例えば、ダウンサンプリング層）があってよい。例えば、入力画像Ｕ＿ｉｎは２つの畳み込み層を経るが、各々が３２の特徴マップを有する。特徴マップの数は各プーリングにおいて、第一のブロックの３２の特徴マップから始まり、第二のブロックで６４等々と、２倍になる。それゆえ、収束経路は、各々が畳み込みステージを提供する複数の符号化モジュール（又はステージ）と、それに続く活性化関数（例えば、正規化線形ユニットＲｅＬＵ、又はシグモイド層）及び最大プーリング演算からなる畳み込みネットワークを形成する。拡張経路はデコーダと同様であり、その機能は、収縮ステージで行われたダウンサンプリング及び何れの最大プーリングにもかかわらず、局所化を提供し、空間情報を保持することである。収束経路では、空間情報が縮小され、特徴情報は増大される。拡張経路は、複数の復号モジュールを含み、各復号モジュールは、その現在の値を対応する符号化モジュールの出力と結合する。すなわち、特徴及び空間情報は拡張経路においてアップコンボリューション（例えば、アップサンプリング又は転置畳み込み、すなわち逆畳み込み）と収束経路からの高解像度特徴との結合（例えば、ＣＣ１～ＣＣ４を介する）の連続を通じて組み合わされる。それゆえ、逆畳み込み層の出力は、収束経路からの対応する（任意選択によりクロップされた）特徴マップと、それに続いて２つの畳み込み層及び活性化関数（任意選択によるバッチ正規化）に結合される。拡張経路内の最後のモジュールからの出力は、分類器ブロック等、他の処理／訓練ブロック又は層に供給されてよく、これはＵ－Ｎｅｔアーキテクチャと共に訓練されてもよい。

【0163】

収束経路と拡張経路との間のモジュール／ステージ（ＢＮ）は、「ボトルネック」と呼ばれてもよい。ボトルネックＢＮは、２つの畳み込み層（バッチ正規化と任意選択によるドロップアウトを伴う）からなっていてよい。

【0164】

コンピューティングデバイス／システム
図３１は、例示的なコンピュータシステム（又はコンピューティングデバイス又はコンピュータデバイス）を図解する。幾つかの実施形態において、１つ又は複数のコンピュータシステムは本明細書において記載又は図解された機能を提供し、及び／又は本明細書において記載又は図解された１つ又は複数の方法の１つ又は複数のステップを実行してよい。コンピュータシステムは、何れの適当な物理的形態をとってもよい。例えば、コンピュータシステムは、埋込みコンピュータシステム、システムオンチップ（ＳＯＣ）、又はシングルボードコンピュータシステム（ＳＢＣ）（例えば、コンピュータ・オン・モジュール（ＣＯＭ）又はシステム・オン・モジュール（ＳＯＭ）等）、デスクトップコンピュータシステム、ラップトップ若しくはノートブックコンピュータシステム、コンピュータシステムのメッシュ、携帯電話、携帯型情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、拡張／仮想現実装置、又はこれらのうちの２つ以上の組合せであってよい。適当であれば、コンピュータシステムはクラウド内にあってよく、これは１つ又は複数のクラウドコンポーネントを１つ又は複数のネットワーク内に含んでいてよい。

【0165】

幾つかの実施形態において、コンピュータシステムはプロセッサＣｐｎｔ１、メモリＣｐｎｔ２、ストレージＣｐｎｔ３、入力／出力（Ｉ／Ｏ）インタフェースＣｐｎｔ４、通信インタフェースＣｐｎｔ５、及びバスＣｐｎｔ６を含んでいてよい。コンピュータシステムは、任意選択により、ディスプレイＣｐｎｔ７、例えばコンピュータモニタ又はスクリーンも含んでいてよい。

【0166】

プロセッサＣｐｎｔ１は、コンピュータプログラムを構成するもの等、命令を実行するためのハードウェアを含む。例えば、プロセッサＣｐｎｔ１は、中央処理ユニット（ＣＰＵ）又は汎用コンピューティング・オン・グラフィクス処理ユニット（ＧＰＧＰＵ）であってもよい。プロセッサＣｐｎｔ１は、命令を内部レジスタ、内部キャッシュ、メモリＣｐｎｔ２、又はストレージＣｐｎｔ３から読み出し（又はフェッチし）、この命令を復号して実行し、１つ又は複数の結果を内部レジスタ、内部キャッシュ、メモリＣｐｎｔ２、又はストレージＣｐｎｔ３に書き込んでよい。特定の実施形態において、プロセッサＣｐｎｔ１は、データ、命令、又はアドレスのための１つ又は複数の内部キャッシュを含んでいてよい。プロセッサＣｐｎｔ１は、１つ又は複数の命令キャッシュ、１つ又は複数のデータキャッシュを、例えばデータテーブルを保持するために含んでいてよい。命令キャッシュ内の命令は、メモリＣｐｎｔ２又はストレージＣｐｎｔ３内の命令のコピーであってもよく、命令キャッシュはプロセッサＣｐｎｔ１によるこれらの命令の読出しをスピードアップするかもしれない。プロセッサＣｐｎｔ１は、何れの適当な数の内部レジスタを含んでいてもよく、１つ又は複数の算術論理演算ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔｓ）を含んでいてよい。プロセッサＣｐｎｔ１は、マルチコアプロセッサであるか、又は１つ若しくは複数のプロセッサＣｐｎｔ１を含んでいてよい。本開示は特定のプロセッサを説明し、図解しているが、本開示は何れの適当なプロセッサも想定している。

【0167】

メモリＣｐｎｔ２は、処理を実行し、又は処理中に中間データを保持するプロセッサＣｐｎｔ１のための命令を保存するメインメモリを含んでいてよい。例えば、コンピュータシステムは、命令又はデータ（例えば、データテーブル）をストレージＣｐｎｔ３から、又は他のソース（例えば、他のコンピュータシステム）からメモリＣｐｎｔ２にロードしてもよい。プロセッサＣｐｎｔ１は、メモリＣｐｎｔ２からの命令とデータを１つ又は複数の内部レジスタ又は内部キャッシュにロードしてもよい。命令を実行するために、プロセッサＣｐｎｔ１は内部レジスタ又は内部キャッシュから命令を読み出して復号してもよい。命令の実行中又はその後に、プロセッサＣｐｎｔ１は１つ又は複数の結果（これは、中間結果でも最終結果でもよい）を内部レジスタ、内部キャッシュ、メモリＣｐｎｔ２、又はストレージＣｐｎｔ３に書き込んでよい。バスＣｐｎｔ６は、１つ又は複数のメモリバス（これは各々、アズレスバスとデータバスを含んでいてよい）を含んでいてよく、プロセッサＣｐｎｔ１をメモリＣｐｎｔ２及び／又はストレージＣｐｎｔ３に連結してよい。任意選択により、１つ又は複数のメモリ管理ユニット（ＭＭＵ）は、プロセッサＣｐｎｔ１とメモリＣｐｎｔ２との間のデータ伝送を容易にする。メモリＣｐｎｔ２（これは、高速揮発性メモリであってもよい）には、ランダムアクセスメモリ（ＲＡＭ）、例えばダイナミックＲＡＭ（ＤＲＡＭ）又はスタティックＲＡＭ（ＳＲＡＭ）が含まれていてよい。ストレージＣｐｎｔ３には、データ又は命令のための長期又は大容量メストレージを含んでいてよい。ストレージＣｐｎｔ３はコンピュータシステムに内蔵されても外付けでもよく、ディスクドライブ（例えば、ハードディスクドライブＨＤＤ、又はソリッドステートドライブＳＳＤ）、フラッシュメモリ、ＲＯＭ、ＥＰＲＯＭ、光ディスク、磁気光ディスク、磁気テープ、ユニバーサルシリアルバス（ＵＳＢ）－アクセス可能ドライブ、又はその他の種類の不揮発性メモリのうちの１つ又は複数を含んでいてよい。

【0168】

Ｉ／ＯインタフェースＣｐｎｔ４は、ソフトウェア、ハードウェア、又はそれら両方の組合せであってよく、Ｉ／Ｏデバイスと通信するための１つ又は複数のインタフェース（例えば、シリアル又はパラレル通信ポート）を含んでいてよく、これはヒト（例えば、ユーザ）との通信を可能にしてもよい。例えば、Ｉ／Ｏデバイスとしては、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカ、スチールカメラ、スタイラス、テーブル、タッチスクリーン、トラックボール、ビデオカメラ、他の適当なＩ／Ｏデバイス、又はこれら２つ以上の組合せが含まれていてよい。

【0169】

通信インタフェースＣｐｎｔ５は、他のシステム又はネットワークと通信するためのネットワークインタフェースを提供してもよい。通信インタフェースＣｐｎｔ５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）インタフェース又はその他の種類のパケットベース通信を含んでいてよい。例えば、通信インタフェースＣｐｎｔ５は、ネットワークインタフェースコントローラ（ＮＩＣ）及び／又は、無線ネットワークとの通信のための無線ＮＩＣ若しくは無線アダプタを含んでいてよい。通信インタフェースＣｐｎｔ５は、ＷＩ－ＦＩネットワーク、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、無線ＰＡＮ（例えば、Ｂｌｕｅｔｏｏｔｈ ＷＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、携帯電話ネットワーク（例えば、汎欧州デジタル移動電話方式（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）（ＧＳＭ（登録商標））ネットワーク等）、インタネット、又はこれらの２つ以上の組合せとの通信を提供してよい。

【0170】

バスＣｐｎｔ６は、コンピューティングシステムの上述のコンポーネント間の通信リンクを提供してよい。例えば、バスＣｐｎｔ６は、アクセラレーテッド・グラフィックス・ポート（Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ）（ＡＧＰ）若しくはその他のグラフィクスバス、拡張業界標準（Ｅｎｈａｎｃｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ）アーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ハイパートランスポート（ＨｙｐｅｒＴｒａｎｓｐｏｒｔ）（ＨＴ）インタコネクト、業界標準アーキテクチャ（ＩＳＡ）バス、インフィニバンド（ＩｎｆｉｎｉＢａｎｄ）バス、ｌｏｗ－ｐｉｎ－ｃｏｕｎｔ（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、ペリフェラル・コンポーネント・インターコネクト（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）（ＰＣＩ）バス、ＰＣＩ－Ｅｘｐｒｅｓｓ（ＰＣＩｅ）バス、シリアル・アドバンスト・テクノロジ・アタッチメント（ｓｅｒｉａｌ ａｄｖａｎｃｅｄ ｔｅｃｈｎｏｌｏｇｙ ａｔｔａｃｈｍｅｎｔ）（ＳＡＴＡ）バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション・ローカル（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ ｌｏｃａｌ）（ＶＬＢ）バス、若しくはその他の適当なバス、又はこれらの２つ以上の組合せを含んでいてよい。

【0171】

本開示は、特定の数の特定のコンポーネントを特定の配置で有する特定のコンピュータシステムを説明し、図解しているが、本開示は何れの適当な数の何れの適当なコンポーネントを何れの適当な配置で有する何れの適当なコンピュータシステムも想定している。

【0172】

本明細書において、コンピュータ可読非一時的記憶媒体は、１つ又は複数の半導体ベース又はその他の集積回路（ＩＣ）（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）若しくは特定用途ＩＣ（ＡＳＩＣ））、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、磁気光ディスク、磁気光ドライブ、フロッピディスケット、フロッピディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭ－ドライブ、ＳＥＣＵＲＥ ＤＩＧＩＴＡＬカード若しくはドライブ、その他のあらゆる適当なコンピュータ可読非一時的記憶媒体、又は適当であればこれらの２つ以上あらゆる適当な組合せを含んでいてよい。コンピュータ可読非一時的記憶媒体は、揮発性、不揮発性、又は適当であれば揮発性と不揮発性の組合せであってよい。

【0173】

本発明は幾つかの具体的な実施形態と共に説明されているが、当業者にとっては明白であるように、上記の説明を参照すれば多くのその他の代替案、改良、及び変形型が明らかである。それゆえ、本明細書に記載の発明は、付属の特許請求の範囲の主旨と範囲に含まれるかもしれないあらゆるこのような代替案、改良、応用、及び変形型の全てを包含することが意図されている。

【図1】

【図2A】

【図2B-2C】

【図3A-3B】

【図4A-4B】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図12C】

【図12D】

【図12E】

【図12F】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】