特許 7654010 ハイパースペクトル網膜画像における陰影のリアルタイム検出および補正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-21

(45)【発行日】2025-03-31

(54)【発明の名称】ハイパースペクトル網膜画像における陰影のリアルタイム検出および補正

(51)【国際特許分類】

   A61B 3/14 20060101AFI20250324BHJP

   G06T 7/00 20170101ALI20250324BHJP

   G06T 7/60 20170101ALI20250324BHJP

   G06V 10/58 20220101ALI20250324BHJP

   G06T 7/66 20170101ALI20250324BHJP

【ＦＩ】

A61B3/14

G06T7/00 612

G06T7/60 300

G06V10/58

G06T7/66

【請求項の数】 22

(21)【出願番号】P 2022560408

(86)(22)【出願日】2021-04-28

(65)【公表番号】

(43)【公表日】2023-06-07

(86)【国際出願番号】 IB2021053515

(87)【国際公開番号】W WO2021224726

(87)【国際公開日】2021-11-11

【審査請求日】2023-09-25

(31)【優先権主張番号】16/866,889

(32)【優先日】2020-05-05

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(74)【代理人】

【識別番号】100120710

【弁理士】

【氏名又は名称】片岡 忠彦

(72)【発明者】

【氏名】マエツシケ、ステファン

(72)【発明者】

【氏名】フォウ、ノエル

【審査官】牧尾 尚能

(56)【参考文献】

【文献】米国特許出願公開第２０１５／０１１０３７２（ＵＳ，Ａ１）

【文献】特開２０１８－０１５１８９（ＪＰ，Ａ）

【文献】特表２０１３－５２７７７５（ＪＰ，Ａ）

【文献】特開２００７－３３０５５７（ＪＰ，Ａ）

【文献】特開２０２０－０４４０２７（ＪＰ，Ａ）

【文献】特開２０１４－１４０４８７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００ － ３／１８

(57)【特許請求の範囲】

【請求項1】

コンピュータが実行する方法であって、
プロセッサを使用して、患者の網膜のハイパースペクトル画像を受信するステップと、
前記プロセッサによって、前記ハイパースペクトル画像内の陰影を検出するステップと、
前記プロセッサによって、前記ハイパースペクトル画像の前記陰影が閾値を越えると判定するステップと、
前記ハイパースペクトル画像の前記陰影が前記閾値を越えると判定したことに応答して、前記プロセッサによって、前記患者の前記網膜の追加的なハイパースペクトル画像のキャプチャを開始するステップと
を含む、方法。

【請求項2】

ユーザに向けて、前記陰影のため、前記網膜の新しいハイパースペクトル画像が必要とされることを示すメッセージを含むアラートを生成するステップをさらに含む、請求項１に記載の方法。

【請求項3】

前記ハイパースペクトル画像内の前記陰影を検出するステップが、前記ハイパースペクトル画像内の前記陰影のシフト・ベクトルを算出するステップを含む、請求項１に記載の方法。

【請求項4】

前記シフト・ベクトルが、陰影の大きさと角度を示す、請求項３に記載の方法。

【請求項5】

前記ハイパースペクトル画像の前記陰影が前記閾値を越えると判定するステップが、前記シフト・ベクトルを前記閾値と比較するステップを含む、請求項３に記載の方法。

【請求項6】

前記プロセッサによって、前記ハイパースペクトル画像内の前記網膜の視野（ＦＯＶ）および視神経乳頭（ＯＤ）を検出するステップと、
前記プロセッサによって、前記ハイパースペクトル画像内の前記網膜の前記ＦＯＶおよび前記ＯＤを使用してソフト・マスクを計算するステップと、
前記プロセッサによって、前記ソフト・マスクおよび前記ハイパースペクトル画像を使用して第１の重心を計算するステップと、
前記プロセッサによって、前記ハイパースペクトル画像を正規化するステップと、
前記プロセッサによって、前記正規化されたハイパースペクトル画像にテンソルを適用するステップと、
前記プロセッサによって、前記テンソルを持つ前記正規化されたハイパースペクトル画像を使用して第２の重心を計算するステップと、
前記プロセッサによって、前記第１の重心および前記第２の重心を使用して前記シフト・ベクトルを生成するステップと
をさらに含む、請求項３に記載の方法。

【請求項7】

前記プロセッサによって、前記追加的なハイパースペクトル画像内の第２の陰影を検出するステップと、
前記プロセッサによって、前記追加的なハイパースペクトル画像の前記第２の陰影が前記閾値を越えないと判定するステップと、
前記追加的なハイパースペクトル画像の前記第２の陰影が前記閾値を越えないと判定したことに応答して、前記プロセッサによって、前記ハイパースペクトル画像および前記追加的なハイパースペクトル画像を送信するステップであって、前記ハイパースペクトル画像が前記陰影のオーバレイおよび前記シフト・ベクトルの値を含む、前記送信するステップと
をさらに含む、請求項３に記載の方法。

【請求項8】

前記プロセッサによって、前記ハイパースペクトル画像を位置合わせして、前記ハイパースペクトル画像間で検出された目の動きを補正するステップを含み、前記検出するステップが、前記プロセッサによって、前記位置合わせされたハイパースペクトル画像内の陰影を検出するステップを含む、請求項１に記載の方法。

【請求項9】

前記シフト・ベクトルが、前記陰影の長さと前記陰影の角度を含む、請求項５に記載の方法。

【請求項10】

システムであって、
メモリと、
前記メモリに結合されるプロセッサであって、前記プロセッサが、
患者の網膜のハイパースペクトル画像を受信するステップと、
前記ハイパースペクトル画像内の陰影を検出するステップと、
前記ハイパースペクトル画像の前記陰影が閾値を越えると判定するステップと、
前記ハイパースペクトル画像の前記陰影が前記閾値を越えると判定したことに応答して、画像センサが前記患者の前記網膜の追加的なハイパースペクトル画像をキャプチャすることを容易にするステップと
を含む方法を実施するように構成される、前記プロセッサと
を備える、システム。

【請求項11】

前記プロセッサによって実施される前記方法が、ユーザに向けて、前記陰影のため、前記網膜の新しいハイパースペクトル画像が必要とされることを示すメッセージを含むアラートを生成するステップをさらに含む、請求項１０に記載のシステム。

【請求項12】

前記ハイパースペクトル画像内の前記陰影を検出するステップが、前記ハイパースペクトル画像内の前記陰影のシフト・ベクトルを算出するステップを含む、請求項１０に記載のシステム。

【請求項13】

前記シフト・ベクトルが、陰影の大きさと角度を示す、請求項１２に記載のシステム。

【請求項14】

前記ハイパースペクトル画像の前記陰影が前記閾値を越えると判定するステップが、前記シフト・ベクトルを前記閾値と比較するステップを含む、請求項１３に記載のシステム。

【請求項15】

前記プロセッサによって実施される前記方法が、
前記ハイパースペクトル画像内の前記網膜の視野（ＦＯＶ）および視神経乳頭（ＯＤ）を検出するステップと、
前記ハイパースペクトル画像内の前記網膜の前記ＦＯＶおよび前記ＯＤを使用してソフト・マスクを計算するステップと、
前記ソフト・マスクおよび前記ハイパースペクトル画像を使用して第１の重心を計算するステップと、
前記ハイパースペクトル画像を正規化するステップと、
前記正規化されたハイパースペクトル画像にテンソルを適用するステップと、
前記テンソルを持つ前記正規化されたハイパースペクトル画像を使用して第２の重心を計算するステップと、
前記第１の重心および前記第２の重心を使用して前記シフト・ベクトルを生成するステップと
をさらに含む、請求項１３に記載のシステム。

【請求項16】

前記プロセッサによって実施される前記方法が、
前記追加的なハイパースペクトル画像内の第２の陰影を検出するステップと、
前記追加的なハイパースペクトル画像の前記第２の陰影が前記閾値を越えないと判定するステップと、
前記追加的なハイパースペクトル画像の前記第２の陰影が前記閾値を越えないと判定したことに応答して、前記ハイパースペクトル画像および前記追加的なハイパースペクトル画像を送信するステップであって、前記ハイパースペクトル画像が前記陰影のオーバレイおよび前記シフト・ベクトルの値を含む、前記送信するステップと
をさらに含む、請求項１３に記載のシステム。

【請求項17】

請求項１ないし９のいずれかに記載の方法をコンピュータに実行させるコンピュータ・プログラムが記憶されたコンピュータ読み取り可能な記憶媒体。

【請求項18】

コンピュータが実行する方法であって、
プロセッサを使用して、患者の網膜のハイパースペクトル画像を受信するステップと、
前記プロセッサによって、前記ハイパースペクトル画像のシフト・ベクトルを算出することによって、前記ハイパースペクトル画像内の陰影を検出するステップと、
前記プロセッサによって、前記ハイパースペクトル画像の前記シフト・ベクトルが閾値を越えると判定するステップと、
前記ハイパースペクトル画像の前記シフト・ベクトルが前記閾値を越えると判定したことに応答して、前記プロセッサを使用して、前記患者の前記網膜の追加的なハイパースペクトル画像のキャプチャを開始するステップと
を含む、方法。

【請求項19】

前記シフト・ベクトルが、前記陰影の長さと前記陰影の角度を含む、請求項１８に記載の方法。

【請求項20】

コンピュータが実行する方法であって、
プロセッサを使用して、患者の網膜のハイパースペクトル画像を受信するステップと、
前記プロセッサによって、前記ハイパースペクトル画像を位置合わせして、前記ハイパースペクトル画像間で検出された目の動きを補正するステップと、
前記プロセッサによって、前記位置合わせされたハイパースペクトル画像内の陰影を検出するステップと、
前記プロセッサによって、前記ハイパースペクトル画像の前記陰影が閾値を越えると判定するステップと、
前記ハイパースペクトル画像の前記陰影が前記閾値を越えると判定したことに応答して、前記プロセッサを使用して、前記患者の前記網膜の追加的なハイパースペクトル画像のキャプチャを開始するステップと
を含む、方法。

【請求項21】

前記ハイパースペクトル画像内の前記陰影を検出するステップが、前記ハイパースペクトル画像内の前記陰影のシフト・ベクトルを算出するステップを含む、請求項２０に記載の方法。

【請求項22】

コンピュータ・プログラムであって、コンピュータに、請求項１ないし９のいずれか、または請求項１８ないし２１のいずれかに記載の方法を実行させる、コンピュータ・プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般にはコンピュータベースの画像分析に関し、より詳細には、ハイパースペクトル網膜画像における陰影のリアルタイム検出および補正を実施するように設定および構成されたコンピュータ・システムに関する。

【背景技術】

【0002】

ハイパースペクトル・センサは、特定波長ラムダにおける画像フレームをキャプチャするために使用することができる（例えば、９００ｎｍから４５０ｎｍを５ｎｍ間隔で）。各画像は、スペクトル帯を表現しており（例えば、電磁波スペクトルの狭い波長範囲）、スペクトル帯は、処理と分析のために三次元（ｘ，ｙ，λ）のハイパースペクトル・データ形状（例えば、立方体）を形成するように組み合わせることが可能である。変数ｘとｙは、シーンの２つの空間次元を表現することができ、λはある範囲の波長を含み得るスペクトル次元を表現することができる。

【0003】

ハイパースペクトル・センサを用いて網膜画像をキャプチャするための既知の技術は、不均一な照明や不十分な瞳孔散大による陰影など、様々なアーチファクトに悩まされる。陰影により画像品質は低下し、この場合、網膜画像の陰影補正または再取得が必要となる可能性がある。残念ながら、ハイパースペクトル・センサによってキャプチャされた網膜画像における陰影検出のための従来の方法は、リアルタイムの結果を与えるものではない。画像における陰影の補正が難しい事例では、臨床的なセッティングにおいて画像の再取得は非常に時間がかかる可能性がある。

【発明の概要】

【0004】

一態様によると、コンピュータ実装方法であって、プロセッサを使用して、患者の網膜のハイパースペクトル画像を受信することと、プロセッサによって、ハイパースペクトル画像内の陰影を検出することと、プロセッサによって、ハイパースペクトル画像の陰影が閾値を越えると判定することと、ハイパースペクトル画像の陰影が閾値を越えると判定したことに応答して、プロセッサによって、患者の網膜の追加的なハイパースペクトル画像のキャプチャを開始することとを含む、コンピュータ実装方法が提供される。

【0005】

別の態様によると、システムであって、メモリと、メモリに結合されるプロセッサであって、プロセッサが、患者の網膜のハイパースペクトル画像を受信することと、ハイパースペクトル画像内の陰影を検出することと、ハイパースペクトル画像の陰影が閾値を越えると判定することと、ハイパースペクトル画像の陰影が閾値を越えると判定したことに応答して、画像センサが患者の網膜の追加的なハイパースペクトル画像のキャプチャすることを容易にすることとを含む方法を実施するように構成される、プロセッサとを備える、システムが提供される。

【0006】

別の態様によると、コンピュータ実行可能命令が記憶されたコンピュータ可読記憶媒体を含むコンピュータ・プログラム製品であって、コンピュータ実行可能命令はプロセッサによって実行されると、プロセッサに、患者の網膜のハイパースペクトル画像を受信することと、ハイパースペクトル画像内の陰影を検出することと、ハイパースペクトル画像の陰影が閾値を越えると判定することと、ハイパースペクトル画像の陰影が閾値を越えると判定したことに応答して、画像センサが患者の網膜の追加的なハイパースペクトル画像のキャプチャすることを容易にすることとを含む方法を実行させる、コンピュータ・プログラム製品が提供される。

【0007】

別の態様によると、コンピュータ実装方法であって、プロセッサを使用して、患者の網膜のハイパースペクトル画像を受信することと、プロセッサによって、ハイパースペクトル画像のシフト・ベクトルを算出することによって、ハイパースペクトル画像内の陰影を検出することと、プロセッサによって、ハイパースペクトル画像のシフト・ベクトルが閾値を越えると判定することと、ハイパースペクトル画像のシフト・ベクトルが閾値を越えると判定したことに応答して、プロセッサを使用して、患者の網膜の追加的なハイパースペクトル画像のキャプチャを開始することとを含む、コンピュータ実装方法が提供される。

【0008】

別の態様によると、コンピュータ実装方法であって、プロセッサを使用して、患者の網膜のハイパースペクトル画像を受信することと、プロセッサによって、ハイパースペクトル画像を位置合わせして、ハイパースペクトル画像間で検出された目の動きを補正することと、プロセッサによって、位置合わせされたハイパースペクトル画像内の陰影を検出することと、プロセッサによって、ハイパースペクトル画像の陰影が閾値を越えると判定することと、ハイパースペクトル画像の陰影が閾値を越えると判定したことに応答して、プロセッサを使用して、患者の網膜の追加的なハイパースペクトル画像のキャプチャを開始することとを含む、コンピュータ実装方法が提供される。

【0009】

本開示の１つまたは複数の実施形態によると、ハイパースペクトル網膜画像内の陰影のリアルタイム検出および補正のための方法は、プロセッサを使用して、患者の網膜のハイパースペクトル画像を受信することと、プロセッサによって、ハイパースペクトル画像内の陰影を検出することと、プロセッサによって、ハイパースペクトル画像の陰影が閾値を越えると判定することと、ハイパースペクトル画像の陰影が閾値を越えると判定したことに応答して、プロセッサを使用して、患者の網膜の追加的なハイパースペクトル画像のキャプチャを開始することとを含む。画像内で陰影および他のアーチファクトを識別することによって、本明細書で説明されるシステムおよび方法は、リアルタイムに画像を補正または再取得あるいはその両方を行なうことが可能となり、臨床的なセッティングにおいて時間を費やすことを回避し、最終的な画像の精度を向上させる。

【0010】

本発明の１つまたは複数の実施形態では、方法は、ユーザに向けて、陰影のため、網膜の新しいハイパースペクトル画像が必要とされることを示すメッセージを含むアラートを生成することを含む。ハイパースペクトル画像内の陰影を検出することは、ハイパースペクトル画像内の陰影のシフト・ベクトルを算出することを含む。シフト・ベクトルは、陰影の大きさと角度を示す。ハイパースペクトル画像の陰影が閾値を越えると判定することは、シフト・ベクトルを閾値と比較することを含む。

【0011】

本発明の１つまたは複数の実施形態では、方法は、プロセッサによって、ハイパースペクトル画像内の網膜の視野（ＦＯＶ）および視神経乳頭（ＯＤ）を検出することと、プロセッサによって、ハイパースペクトル画像内の網膜のＦＯＶおよびＯＤを使用してソフト・マスクを計算することと、プロセッサによって、ソフト・マスクおよびハイパースペクトル画像を使用して第１の重心を計算することと、プロセッサによって、ハイパースペクトル画像を正規化することと、プロセッサによって、正規化されたハイパースペクトル画像にテンソルを適用することと、プロセッサによって、適用されたテンソルを有する正規化されたハイパースペクトル画像を使用して第２の重心を計算することと、プロセッサによって、第１の重心および第２の重心を使用してシフト・ベクトルを生成することとを含む。いくつかの例では、方法は、プロセッサによって、追加的なハイパースペクトル画像内の第２の陰影を検出することと、プロセッサによって、追加的なハイパースペクトル画像の第２の陰影が閾値を越えないと判定することと、追加的なハイパースペクトル画像の第２の陰影が閾値を越えないと判定したことに応答して、プロセッサによって、ハイパースペクトル画像および追加的なハイパースペクトル画像を送信することであって、ハイパースペクトル画像が陰影のオーバレイおよびシフト・ベクトルの値を含む、送信することとを含む。

【0012】

技術的な解決策はまた、システム、コンピュータ・プログラム製品、装置、機械、デバイス、または本発明の１つもしくは複数の実施形態における他の実用的な用途において、実装することが可能である。

【0013】

加えて、本発明の１つまたは複数の実施形態では、ハイパースペクトル網膜画像内の陰影のリアルタイム検出および補正のための方法は、プロセッサを使用して、患者の網膜のハイパースペクトル画像を受信することと、プロセッサによって、ハイパースペクトル画像のシフト・ベクトルを算出することによって、ハイパースペクトル画像内の陰影を検出することと、プロセッサによって、ハイパースペクトル画像のシフト・ベクトルが閾値を越えると判定することと、ハイパースペクトル画像のシフト・ベクトルが閾値を越えると判定したことに応答して、画像センサが患者の網膜の追加的なハイパースペクトル画像のキャプチャすることを容易にすることとを含む。シフト・ベクトルは、陰影の大きさと角度を示す。画像内で陰影および他のアーチファクトを識別することは、臨床的なセッティングにおける時間のかかる画像の再取得を減らし、最終的な画像の精度を向上させる。

【0014】

加えて、本開示の１つまたは複数の実施形態では、ハイパースペクトル網膜画像内の陰影のリアルタイム検出および補正のための方法は、プロセッサを使用して、患者の網膜のハイパースペクトル画像を受信することと、プロセッサによって、ハイパースペクトル画像を位置合わせして、ハイパースペクトル画像間で検出された目の動きを補正することと、プロセッサによって、位置合わせされたハイパースペクトル画像内の陰影を検出することと、プロセッサによって、ハイパースペクトル画像の陰影が閾値を越えると判定することと、ハイパースペクトル画像の陰影が閾値を越えると判定したことに応答して、画像センサが患者の網膜の追加的なハイパースペクトル画像のキャプチャすることを容易にすることとを含む。ハイパースペクトル画像内の陰影を検出することは、ハイパースペクトル画像内の陰影のシフト・ベクトルを算出することを含む。キャプチャされた画像内で低画像品質をリアルタイム識別することによって、本明細書で説明されるシステムおよび方法は、臨床的なセッティングにおいて画像の補正または再取得あるいはその両方を迅速に行なうことができる。

【0015】

さらなる技術上の特徴および恩恵は、本開示の技術を通じて実現される。本開示の実施形態および態様は、本明細書において詳細に説明され、特許請求される主題の一部と考えられる。さらなる理解のために、詳細な説明と図面を参照されたい。

【0016】

次に、単なる例として、以下の図面を参照して、本発明の好ましい実施形態を説明する。

【図面の簡単な説明】

【0017】

【図1A】本開示の１つまたは複数の実施形態による、ハイパースペクトル・センサによってキャプチャされた例示的な網膜画像の図である。

【図1B】本開示の１つまたは複数の実施形態による、ハイパースペクトル・センサによってキャプチャされた例示的な網膜画像の図である。

【図2】本開示の１つまたは複数の実施形態による、ハイパースペクトル画像における、リアルタイム陰影検出および補正を図示する概略的なハイブリッド・データ・フロー／ブロック図である。

【図3】本開示の１つまたは複数の実施形態による、ハイパースペクトル網膜画像における陰影検出を図示する概略的なハイブリッド・データ・フロー／ブロック図である。

【図4A】本開示の１つまたは複数の実施形態による、ハイパースペクトル網膜画像における陰影検出の間に生成されるソフト・マスクを表示する例示的な網膜画像の図である。

【図4B】本開示の１つまたは複数の実施形態による、ハイパースペクトル網膜画像における陰影検出の間に生成されるソフト・マスクの重心を表示する例示的な網膜画像の図である。

【図5A】本開示の１つまたは複数の実施形態による、陰影検出の間に生成されるソフト・マスクで重み付けされた例示的な網膜画像の図である。

【図5B】本開示の１つまたは複数の実施形態による、陰影検出の間に生成されるデータを有するオーバレイを伴う例示的な網膜画像の図である。

【図6】本開示の１つまたは複数の実施形態による、ハイパースペクトル網膜画像における陰影を検出および補正するための例証的な方法のプロセス・フロー図である。

【図7】本開示の１つまたは複数の実施形態による、コンピュータ・システムの図である。

【発明を実施するための形態】

【0018】

本明細書で描かれる図は例証的である。図面または図面で説明される動作には、本開示の思想から逸脱することなく、多くの変形例が存在する可能性がある。例えば、アクションは異なる順序で行なわれてもよいし、アクションは追加、削除、または改変されてもよい。また、「結合される」という用語およびその変形例は、２つの要素間に通信経路を有することを説明し、要素間に要素／接続の介在なしに、要素間に直接的な接続があることを暗示するものではない。これらの変形例のすべては、本明細書の一部と考えられる。

【0019】

本開示の例示的な実施形態は、とりわけハイパースペクトル画像におけるリアルタイム陰影検出および補正についての、デバイス、システム、方法、コンピュータ可読媒体、技術、および方法論に関する。ハイパースペクトル・イメージング・デバイスには、画像の記憶、処理および可視化を容易にするために使用される、ハイパースペクトル画像センサおよびプロセッサが含まれる。画像センサは様々な波長で画像フレームをキャプチャし、得られるデータは順序付けされたフレームの集合であり得る。

【0020】

ハイパースペクトル・イメージング・デバイスを使用して網膜画像をキャプチャすることは、不均一な照明または患者の不十分な瞳孔散大に起因する陰影など、様々なアーチファクトを含む画像をもたらす。網膜画像における陰影の存在により低品質な画像が生じる可能性があり、これはキャプチャした網膜画像を却下して再取得することを必要とする、またはキャプチャした画像の陰影を補正する、あるいはその両方の必要がある。陰影検出の従来の方法は、ゆっくりであり（例えば、非リアルタイム）、臨床的なセッティングにおける画像の再取得を時間がかかるものにしている。加えて、従来の方法では、ハイパースペクトル網膜画像で検出された陰影のリアルタイム補正向けの、簡単に利用可能なツールが提供されない。

【0021】

本明細書で説明されるシステムおよび方法は、画像で検出された陰影による低品質に起因して不十分と思われる画像のリアルタイム再取得をトリガするために使用される、リアルタイムの陰影検出を対象とする。画像再取得の従来の方法は、数秒かかる場合があり、陰影検出にはさらなる時間がかかり、これは臨床的な環境では時間的な負担が増える。リアルタイムの陰影検出（および補正）と画像の再取得は、正確で信頼できる画像を取得するのにかかる時間を低減し、これは全体的なコストの節約となる。加えて、より短い時間フレームの間に、より多くの高品質な画像をキャプチャすることが可能であるため、医師および技師はより正確な診断を行なうことができ、より良好な患者転帰となる。さらには、システムは、新しく取得した画像を用いて陰影検出の間に生成される、追加的な情報（例えば、陰影の補正についての角度とオフセット）を提供することが可能であり、これはコンテキストを与え、画像を使用してより正確に診断を行なうために使用される。システムは、視神経乳頭または他の網膜器官などの画像のアーチファクトに起因して、網膜とは異なる明るさの陰影または他の画像領域あるいはその両方を検出することが可能である。

【0022】

一部の例示的な例では、ハイパースペクトル・カメラまたはハイパースペクトル・イメージング・デバイスの画像センサは、患者の網膜の画像をキャプチャする。画像は、スキャン同士の間の目の動きを補正するよう位置合わせされる（例えば、位置揃えされる）。次いで、システムは位置合わせされた画像を処理し、網膜の視野（ＦＯＶ）、および網膜の視神経乳頭（ＯＤ）などの網膜特徴を検出する。ＦＯＶと検出された網膜特徴を使用して、システムはソフト・マスクを計算する、または生成する、あるいはその両方を行なう。ソフト・マスクは、画像内の陰影の正確な検出における精度を保証するために、画像の特徴を見えなくするために用いられる重みテンソルである。ソフト・マスクは、ハイパースペクトル画像のシフト・ベクトルを取得するために用いられる。シフト・ベクトルは、ハイパースペクトル画像内で検出された陰影の大きさと陰影の方向（例えば、角度）を示す、少なくとも２つの値を含む。ハイパースペクトル画像の陰影補正は、シフト・ベクトルによって示されるように、ソフト・マスク下で画像ピクセルを重み付けすることによって行なわれる。システムは、シフト・ベクトルを使用してハイパースペクトル画像を再取得するかどうかを判定する。例えば、システムは、シフト・ベクトルの値を所定の閾値と比較する。シフト・ベクトルの値が所定の閾値を超える場合、新しい画像が自動的に取得される。新しい画像を取得すると、元の画像と新しい画像とが医師または技師に提示される。いくつかの実施形態では、元の画像は、医師または技師に画像が提示される前に、陰影検出の間に生成されたデータを提示するオーバレイで増強することが可能である（例えば、シフト・ベクトル、網膜特徴など）。

【0023】

網膜画像をキャプチャするコンテキストで説明したが、本明細書で説明されるシステムおよび方法は、ハイパースペクトル・イメージングを利用し、最初にキャプチャした画像のアーチファクトまたは品質の問題に起因して画像の再取得を必要とする、あらゆるデバイス、シナリオ、または分野、あるいはその組合せに適用可能である。

【0024】

次に図１Ａを参照すると、本開示の１つまたは複数の実施形態による、ハイパースペクトル・センサによってキャプチャされた例示の網膜画像１００が描かれている。画像は、網膜のハイパースペクトル画像の単一フレームを描いている。ハイパースペクトル網膜画像には陰影１１０などの１つまたは複数のアーチファクトが存在する。陰影は、瞳孔の不均一な照射または患者の不十分な瞳孔散大あるいはその両方の結果である可能性がある。図１Ｂは、視野（ＦＯＶ）１７０を表示する例示的な網膜画像１５０および患者の網膜の視神経乳頭（ＯＤ）１６０を描いている。いくつかの実施形態では、ＦＯＶ１７０とは、ある特定の位置と向きにあるハイパースペクトルのカメラまたはセンサを通じて可視である網膜の部分を指す。ＦＯＶ１７０の外部にある物体は、網膜イメージングではキャプチャされない。ＯＤ１６０とは、網膜神経節細胞の軸索が集まっている点である、目の中にある小さな盲点を指す。ＯＤ１６０は、網膜の画像内では明るいスポットとして現れる。

【0025】

図２は、本開示の１つまたは複数の実施形態による、イメージング・デバイスのハイパースペクトル画像における、リアルタイム陰影検出および補正についてのデータ・フロー２００を図示する概略的なハイブリッド・データ・フロー／ブロック図である。いくつかの例では、イメージング・デバイス２０５の画像センサ２１０を使用して、患者２３０の網膜の画像１００をキャプチャすることが可能である。画像センサ２１０は、網膜の画像１００をキャプチャすることが可能なあらゆるタイプのイメージング・デバイスであることができる。画像センサ２１０の例としては、ハイパースペクトル・デバイスまたは網膜イメージング用のカメラが挙げられる。ハイパースペクトル・カメラは、特定波長で（例えば、９００ｎｍから４５０ｎｍを５ｎｍ間隔で）画像フレームをキャプチャし、得られるデータは順序付けされたフレームの集合、または処理と分析に使用される三次元（ｘ，ｙ，λ）のハイパースペクトル・データ形状であり、ここでｘとｙは、シーンの２つの空間次元を表現し、λはある範囲の波長を含むスペクトル次元を表現する。イメージング・デバイス２０５の例は、画像センサ２１０、ならびに画像の記憶、処理、および可視化のためのプロセッサを含む、Ｍｅｔａｂｏｌｉｃ Ｈｙｐｅｒｓｐｅｃｔｒａｌ Ｒｅｔｉｎａｌ Ｃａｍｅｒａ（ＭＨＲＣ）などの網膜イメージング用のハイパースペクトル・デバイスである。画像センサ２１０は、イメージング・デバイス２０５の一体化されたコンポーネントとして描かれているが、いくつかの実施形態では、画像センサ２１０は、イメージング・デバイス２０５と通信する外部コンポーネントである。

【0026】

画像センサ２１０によってキャプチャされた画像は、イメージング・デバイス２０５の物理プロセッサ２１５に結合された陰影検出モジュール２２０に送信される。物理プロセッサ２１５は、一般的にはあらゆるタイプの、またはあらゆる形態の、コンピュータ可読命令を解釈または実行あるいはその両方を行なうことができる、ハードウェア実装処理ユニットを表現することができる。一例では、物理プロセッサ２１５は、メモリに記憶されたモジュール（例えば、陰影検出モジュール２２０または画像管理モジュール２２５あるいはその両方）のうちの１つまたは複数を、アクセスする、または改変する、あるいはその両方を行なう。追加的に、または代替的に、物理プロセッサ２１５は、モジュールのうちの１つまたは複数を実行して、ハイパースペクトル画像におけるリアルタイムの陰影検出および補正を行なう。物理プロセッサ２１５の例としては、限定しないが、マイクロプロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、ソフトコア・プロセッサを実装するフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、それらのうちの１つもしくは複数の部分、それらのうちの１つもしくは複数の変形例もしくは組合せ、またはあらゆる他の好適な物理プロセッサが挙げられる。

【0027】

画像センサ２１０によってキャプチャされた画像は、陰影検出モジュール２２０によって処理され、画像内の陰影をリアルタイムに検出する。いくつかの例では、陰影検出モジュール２２０は、画像内の陰影１１０を検出し、陰影１１０に関連するデータをイメージング・デバイス２０５の画像管理モジュール２２５に送信する。プロセッサ２１５に結合された画像管理モジュール２２５は、陰影１１０に関連するデータを所定の閾値と比較する。いくつかの例では、所定の閾値は、イメージング・デバイス２０５のユーザによって手動でセットされるか、イメージング・デバイス２０５を使用している間に技師または医師２４０などのユーザの以前のアクションに基づいて動的にセットまたは調節あるいはその両方を行なうことが可能である。画像管理モジュール２２５が、検出された陰影１１０に関連するデータが所定の閾値を越えていると判定した場合、画像管理モジュール２２５はリアルタイムでアクションをトリガする。アクションの例としては、限定しないが、患者２３０の網膜のハイパースペクトル画像の再取得を自動的に促すこと、および技師または医師２４０に、陰影によって生じた画像内の不十分な品質が検出されたため、新しい画像を取得する必要があるとアラートすることが挙げられる。いくつかの例では、アクションには、画像を再取得することを開始すること、および再取得に進むための確認を要求することに先立って、技師または医師２４０にアラートすることを含む。

【0028】

ハイパースペクトル画像で検出された陰影に起因して、画像管理モジュール２２５がリアルタイムのアクションをトリガしたことに応答して、プロセッサ２１５は画像センサ２１０を開始して、患者２３０の網膜の新しいハイパースペクトル画像をキャプチャする。画像は、処理のために陰影検出モジュール２２０に送信される。画像管理モジュール２２５は、患者２３０の網膜の新しいハイパースペクトル画像内で検出されたあらゆる陰影について陰影検出モジュール２２０によって生成されたデータを受信し、新しいハイパースペクトル画像内で検出された陰影に関連するデータが所定の閾値を越えていないかどうか判定する。画像管理モジュール２２５は、患者２３０の網膜の元のハイパースペクトル画像および新しいハイパースペクトル画像を、医師２４０に送信する。いくつかの例では、元のハイパースペクトル画像は、陰影に関連する情報で増強される（例えば、画像内で検出された陰影の場所または大きさあるいはその両方）。

【0029】

イメージング・デバイス２０５は、満足のいく（例えば、閾値を越えない）画像を取得して医師２４０に送信するべく、画像再取得の複数の反復を実行することが可能である。いくつかの例では、イメージング・デバイス２０５は、画像再取得の反復数を制限する限度（例えば、手動でセットする、または自動的に判定される、あるいはその両方）を有する。限度に達し、かつ満足のいく画像がキャプチャされていない場合、画像管理モジュール２２５は、満足のいく画像がキャプチャすることができなかったというメッセージを生成し、医師２４０に送信することができる。メッセージには、画像を取得しようと試行した回数のインジケーション、以前に取得した画像の１つもしくは複数のセット、または画像が低品質もしくは不十分であったことの考えられる理由、あるいはその組合せを含むことが可能である。

【0030】

いくつかの例では、イメージング・デバイス２０５によってキャプチャされた画像は、イメージング・デバイス２０５にローカルの、またはイメージング・デバイス２０５の外部の（例えば、クラウド・ストレージ、リモート・ストレージ・デバイスなど）、あるいはその両方のデータストアに記憶される。

【0031】

図３は、ハイパースペクトル網膜画像における陰影検出についてのプロセス３００を図示する概略的なハイブリッド・データ・フロー／ブロック図である。本発明の実施形態によると、プロセス３００は、例えばデータ・フロー２００（図２に示される）を含め、コンピュータベースのシステムによって実行される。ブロック３０２において、イメージング・デバイス２０５などの網膜イメージング・デバイスの、画像センサ２１０などの画像センサは、患者２３０の網膜のハイパースペクトル画像をキャプチャする。キャプチャされた画像は、様々な波長で得られ、順序付けされたフレームの集合として記憶される。ブロック３０４において、キャプチャされた画像は、位置合わせされる。例えば、キャプチャされた画像は、陰影検出モジュール２２０によって位置合わせされる。画像は、例えば、網膜のスキャン同士の間の、目の動きを補正するよう位置合わせされる。画像は、ハイパースペクトル画像を位置合わせするための、あらゆる既知の技術またはアルゴリズムあるいはその両方を使用して位置合わせされる。いくつかの例では、画像の位置合わせは、画像に含まれる空間情報および様々な波長のどこで画像が得られたかのスペクトル情報を用いる、ハイパースペクトル画像のフレームの位置揃えを含み得る。ブロック３０６では、陰影検出モジュール２２０は、位置合わせされた画像を処理し、画像のＦＯＶ１７０などの画像の様々な構成要素、およびＯＤ１６０などの画像の網膜特徴を検出する。

【0032】

次にブロック３０８を参照すると、陰影検出モジュール２２０は、画像についてのソフト・マスクを計算することができる。ソフト・マスクは、検出されたＦＯＶ１７０およびＯＤ１６０、または他の関連する網膜器官を使用して計算される。ソフト・マスクは、診断目的での画像の使用を妨げるか悪影響を及ぼし得る、画像の検出された構成要素を見えなくするために使用することが可能な重みテンソルである。ブロック３１０において、陰影検出モジュール２２０は、ソフト・マスクを使用してソフト・マスクの重心を計算する。いくつかの例では、ソフト・マスクの重心は、あらゆる既知の技術またはアルゴリズムを使用して算出され、ソフト・マスクなどの画像または構成要素についての重心を算出してもよい。例えば、ソフト・マスクの重心は、計算されたソフト・マスクに対して、行および列方向にソフト・マスクを平均するなどの計算を実施することによって算出することが可能である。

【0033】

次にブロック３１２を参照すると、陰影検出モジュール２２０は、ブロック３０４からの位置合わせされた画像を正規化する。いくつかの実施形態では、陰影検出モジュール２２０は、ブロック３０４からの位置合わせされた画像に、算出されたブロック３０８からのソフト・マスクを要素ごとに乗じ、次いで画像をフレームごとに正規化する（例えば、合計が１になるフレームの重み付けされたピクセル）。ブロック３１４において、１つまたは複数のテンソルが、ブロック３１２からの正規化された画像に適用される。例えば、ブロック３１２からの、（ソフト・マスクで）重み付けされて正規化された画像に、要素ごとに行列座標テンソル（row and column coordinate tensor）を乗ずる。ブロック３１６では、適用されたテンソルを有する画像を使用して、重み付けされた画像内の重心を計算する。重心を計算するための、あらゆる既知の技術またはアルゴリズムが、重心を導出するために重み付けされた画像に適用される。ブロック３１８において、シフト・ベクトルを算出することが可能である。いくつかの例では、ブロック３１６からの重心およびブロック３１０からの重心は、シフト・ベクトルを算出するために使用される。シフト・ベクトルは、ソフト・マスクの重心と重み付けされた画像の重心との間の、要素ごとの差を計算することによって、計算される。

【0034】

シフト・ベクトルは少なくとも２つの値を含む。いくつかの例では、シフト値は、画像内の陰影の大きさを示す長さの値を含む。シフト・ベクトルはまた、画像内の陰影の場所を示す方向（例えば、角度）値を含む。いくつかの例では、陰影検出モジュール２２０は、ブロック３１８で算出されたシフト・ベクトルなどのシフト・ベクトルを使用して、画像内の陰影を検出する。陰影検出は、シフト・ベクトルの長さ値を、確立された、所定の閾値と比較することによって行なわれる。陰影補正は、シフト・ベクトルによって示されるように、リング状の重みマスク（例えば、ＦＯＶ１７０と同一の直径）をシフトし、画像フレームに重みマスクを乗ずることによって、陰影検出モジュール２２０によって行なわれる。

【0035】

次に図４Ａを参照すると、ハイパースペクトル網膜画像において陰影検出の間に生成されたソフト・マスク４００が描かれている。ソフト・マスク４００は、ハイパースペクトル画像（例えば、ＦＯＶまたはＯＤあるいはその両方の測定）から取得したデータを使用して陰影検出モジュール２２０によって生成された重みテンソルであり、陰影補正に使用される。ソフト・マスク４００は、診断目的での画像の使用を妨げるか悪影響を及ぼし得る、網膜のアーチファクトおよび特性を見えなくするために使用される。例えば、構成要素４１０は、元のハイパースペクトル画像内で検出されたＯＤ１６０を見えなくするために生成されたソフト・マスク４００の一部であり、構成要素４１５は、元のハイパースペクトル画像内で検出された陰影１１０を見えなくするために生成されたソフト・マスク４００の一部である。図４Ｂは、陰影検出モジュール２２０によって算出されたソフト・マスク４００の重心４６０を表示する画像４５０を描いている。ソフト・マスクの重心４６０は、患者２３０の網膜の新しいハイパースペクトル画像を再取得するかどうかを判定するために画像管理モジュール２２５によって使用される、シフト・ベクトルを算出するために使用される。

【0036】

次に図５Ａを参照すると、画像センサ２１０によってキャプチャされたハイパースペクトル画像の集合からの画像（またはフレーム）５００が描かれている。画像５００は、図３で説明されるように、陰影検出モジュール２２０によって算出されたソフト・マスク４００で重み付けまたは補正される。図５Ｂは、患者２３０の網膜のハイパースペクトル画像からの画像またはフレーム５５０である。画像５５０は、陰影検出モジュール２２０によって生成された情報のオーバレイを含む。例えば、画像５５０は、ソフト・マスク重心４６０、重み付けされた画像重心５６０、および元のハイパースペクトル画像内の陰影のサイズおよび方向を示すシフト・ベクトル５７０を含む。情報は、医師２４０または技師に提供され、診断目的で画像を使用する際、彼らを支援する。

【0037】

本開示の例示の実施形態による例証的な方法、および方法を実施するための対応するデータ構造（例えば、モジュール、ユニット、および他のそのようなコンポーネント）を、次に説明する。図６で描かれる方法６００の各動作は、本明細書で説明されるモジュールなどのうちの１つまたは複数によって実行されることに留意されたい。これらのモジュールは、本明細書で説明されるような、ハードウェア、ソフトウェア、またはファームウェアあるいはその組合せの、あらゆる組合せで実装することが可能である。特定の例示の実施形態では、これらのモジュールのうちの１つまたは複数は、少なくとも部分的に、処理回路によって実行されると１つまたは複数の動作を実行させる、コンピュータ実行可能命令を含むソフトウェア・モジュールまたはファームウェア・モジュールあるいはその両方として、実装することが可能である。本明細書で説明される、例示の実施形態を実装するように設定されたシステムまたはデバイスは、１つまたは複数の処理回路を含むことが可能であり、処理回路のそれぞれは、１つまたは複数の処理ユニットまたはノードを含んでもよい。コンピュータ実行可能命令は、処理ユニットによって実行されると、コンピュータ実行可能プログラム・コードに含まれるかそれによって参照される入力データをアクセスおよび処理させ、出力データを与えることが可能な、コンピュータ実行可能プログラム・コードを含むことが可能である。

【0038】

図６は、ハイパースペクトル画像における、リアルタイムの陰影検出および補正を提供するための例示のコンピュータ実装方法６００のフロー図である。図６に示されるステップは、あらゆる好適なコンピュータ実行可能コードまたはコンピューティング・システムあるいはその両方によって実行することが可能である。一例では、図６に示されるステップのそれぞれは、構造に複数のサブステップを含むアルゴリズムまたは構造が複数のサブステップによって表現されるアルゴリズムあるいはその両方を表現することが可能であり、それらの例を以下でさらに詳細に与える。

【0039】

図６に図示されるように、ステップ６０２において、本明細書で説明されるシステムのうちの１つまたは複数は、患者の網膜のハイパースペクトル画像を受信する。本明細書で説明されるシステムは、あらゆる好適なやり方でステップ６０２を実行することが可能である。例えば、イメージング・デバイス２０５の画像センサ２１０は、患者の網膜のハイパースペクトル画像をキャプチャする。本明細書で議論されるように、画像センサ２１０は、処理と分析のための三次元（ｘ，ｙ，λ）のハイパースペクトル・データ形状を形成するように組合せ可能な、様々な波長における画像を得ることができるあらゆるタイプのハイパースペクトル・センサであることができ、ここでｘとｙは、シーンの２つの空間次元を表現し、λはある範囲の波長を含むスペクトル次元を表現する。

【0040】

ステップ６０４において、本明細書で説明されるシステムのうちの１つまたは複数は、ハイパースペクトル画像内の陰影を検出する。本明細書で説明されるシステムは、あらゆる好適なやり方でステップ６０４を実行することが可能である。例えば、イメージング・デバイス２０５の陰影検出モジュール２２０は、画像センサ２１０によってキャプチャされたハイパースペクトル画像内の陰影１１０を検出する。

【0041】

いくつかの例では、ステップ６０２でキャプチャされたハイパースペクトル画像のフレームは、位置合わせされる。陰影検出モジュール２２０は、キャプチャされた画像の位置合わせ（例えば、位置揃え）を実行するか、容易にする。画像は、スキャン同士の間で患者の目の動きを補正するためなど、フレーム中の変動を補正する、または補償する、あるいはその両方のために位置合わせされる。位置合わせされた画像を使用して、陰影検出モジュール２２０は、画像のＦＯＶ１７０、網膜のＯＤ１６０など、異なる構成要素および網膜特徴を検出して識別するために、画像を処理する。

【0042】

いくつかの例では、ソフト・マスク４００は、画像から識別された構成要素と特徴を使用して、陰影検出モジュール２２０によって計算される。ソフト・マスク４００は、正確な診断を妨げるか画像の品質を下げることに寄与する可能性がある画像の特徴を見えなくするために使用される重みテンソルである。

【0043】

算出されたソフト・マスク４００を使用して、図３で説明されるように、陰影検出モジュール２２０は、ソフト・マスクの重心４６０を計算する。次いで陰影検出モジュールは、要素ごとに、ソフト・マスクと位置合わせされた画像とを乗算し、次いでフレームごとに、画像を正規化する。陰影検出モジュール２２０は、１つまたは複数のテンソルを、正規化されて重み付けされた画像に適用し、得られた画像を使用して重み付けされて正規化された画像について重心５６０を算出する。次いで、陰影検出モジュール２２０は、重み付けされて正規化された画像の重心５６０、およびソフト・マスク４００の重心４６０を使用して、シフト・ベクトル５７０を計算または生成する。シフト・ベクトル５７０は、少なくとも２つの値、長さ、および角度を含む。長さは陰影の大きさを示し、シフト・ベクトルの角度は画像における陰影１１０の場所を示す。

【0044】

ステップ６０６において、本明細書で説明されるシステムのうちの１つまたは複数は、ハイパースペクトル画像内の陰影が閾値を越えていると判定する。本明細書で説明されるシステムは、あらゆる好適なやり方でステップ６０６を実行することが可能である。例えば、イメージング・デバイス２０５の画像管理モジュール２２５は、ハイパースペクトル画像の陰影１１０が閾値を越えたと判定する。

【0045】

いくつかの例では、画像管理モジュール２２５は、陰影検出モジュール２２０によって計算されたシフト・ベクトル５７０を受信する。画像管理モジュール２２５は、長さ値などのシフト・ベクトルの少なくとも１つの値を、識別された閾値と比較する。いくつかの例では、閾値は、技師または医師によって、イメージング・デバイス２０５を使用して手動で入力することができる。閾値は、デバイスを使用する技師または医師に関連付けられたプロファイルに記憶された値であってもよく、個人ごとに違っていることができる。閾値は、イメージング・デバイス２０５によってキャプチャされたすべての画像に適用されるグローバル値であり得る。いくつかの例では、閾値は、複数の成分を含むことが可能である。閾値は、異なる値に異なるアクションを指定することが可能な、条件付きまたはマルチパートの閾値であることができる。例えば、閾値は、シフト・ベクトルの値が第１の範囲に入る場合は陰影補正を適用することができ、シフト・ベクトルの値が第２の範囲に入る場合は新しい画像を取得する必要があることを示すことができる。

【0046】

ステップ６０８において、本明細書で説明されるシステムのうちの１つまたは複数は、患者の網膜の追加的なハイパースペクトル画像のキャプチャを開始することができる。本明細書で説明されるシステムは、あらゆる好適なやり方でステップ６０８を実行することが可能である。例えば、イメージング・デバイス２０５の画像管理モジュール２２５は、ハイパースペクトル画像の陰影が閾値を越えたと判定したことに応答して、患者の網膜の追加的なハイパースペクトル画像をキャプチャすることを容易にすることができる。

【0047】

いくつかの例では、画像管理モジュール２２５はシフト・ベクトルの値が閾値を越えないと判定し、この場合、画像はさらなる処理またはあらゆる追加的なアクションを伴うことなく医師に送信される。

【0048】

いくつかの例では、画像管理モジュール２２５は、シフト・ベクトルの長さ値が、陰影補正を必要とする閾値の範囲に入ると判定し、画像管理モジュール２２５は画像の陰影補正を容易にする。いくつかの例では、陰影補正は、シフト・ベクトルによって示されるように、リング状の重み付けされたソフト・マスク（例えば、ＦＯＶと同一の直径）をシフトし、画像フレームに重み付けされたマスクを乗ずることによって行なわれる。陰影補正された画像は、次いで陰影検出モジュール２２０によって処理され、新しいシフト・ベクトルを算出する。画像管理モジュール２２５は、新しいシフト・ベクトルからの値を使用して、陰影補正された画像が医師に送信するのに十分かどうか、または陰影補正にも関わらず新しい画像を取得する必要があるかどうかを判定する。

【0049】

いくつかの例では、シフト・ベクトルの値が閾値を越える、または新しい画像を取得する必要があることを示す閾値の範囲に入る場合、画像管理モジュール２２５は、技師または医師に向けてメッセージを生成し、新しい画像が必要であることを示し、新しい画像を取得するかどうかに関する命令を要求する。イメージング・デバイス２０５は、技師または医師からのインジケーションを受信する。インジケーションが、新しい画像を取得しないというものである場合、元の画像は新しい画像が推奨されることを示す注記とともに技師または医師に送信される。いくつかの例では、インジケーションが新しい画像を取得するというものである場合、画像管理モジュール２２５は、ユーザからのインジケーションを受信したことに応答して、新しい画像を取得して処理する新しい反復を促す。

【0050】

いくつかの例では、画像管理モジュール２２５は、シフト・ベクトルの長さ値が所定の閾値を越えるか、新しい画像を取得する必要があることを示す閾値の範囲に入るかどうかを判定する。画像管理モジュール２２５は、画像の再取得を自動的に開始する（例えば、新しい画像が画像センサ２１０によって取得されることを容易にする）。画像管理モジュール２２５はまた、新しい画像が取得されていることを示すアラートを生成して、医師または技師に送信する。アラートは、なぜ新しい画像が取得されているかを示す。次いで新しい画像は陰影検出モジュール２２０によって処理され、新しく取得された画像についての新しいシフト・ベクトルを生成する。画像管理モジュール２２５は、新しいシフト・ベクトルを使用して、新しく取得された画像が、医師または技師に送信するのに十分な品質の画像かどうか、または画像の再取得がやはり必要かどうかを判定する。

【0051】

新しい画像が満足のいくものである（例えば、閾値を越えない）場合、新しい画像が医師または技師に送信される。いくつかの例では、古い画像もまた、医師または技師に送信される。古い画像は、その元の状態で送信される、またはシフト・ベクトル、識別された構成要素（例えば、ＦＯＶ、ＯＤなど）、陰影の場所とサイズ、ソフト・マスクの重心、重み付けされて正規化された画像の重心など、陰影検出モジュール２２０によって生成されたデータで増強することができる、あるいはその両方である。追加的なデータは、診断目的で画像を使用するために、医師または技師に追加的なコンテキストを与える。

【0052】

いくつかの例では、本明細書で説明されるシステムおよび方法は、画像取得および処理の複数の反復を実行して、満足のいく画像をキャプチャする。イメージング・デバイスは、プロセスの反復数を制限する限度を利用して、システムに過度な負担を掛けることと時間を費やすことを回避する。限度は、イメージング・デバイス２０５のユーザによって手動でセットすることが可能であり、または画像の品質に基づいて動的に決定されてもよい。例えば、取得された画像の各セットのシフト・ベクトルが、画像取得の特定回数の特定された範囲内に留まる場合、システムは満足のいく画像が今回はキャプチャすることができないと判定することが可能である。画像管理モジュール２２５は、画像の再取得が推奨されないことを示すメッセージを医師または技師向けに生成する。メッセージは、再取得の試行回数および画像が低品質であるというデータを示す。いくつかの例では、メッセージは以前にキャプチャした画像、もしくは以前にキャプチャした画像のサブセットを含む、またはそのようなデータにアクセスするためのリンクを含む、あるいはその両方であり、データはイメージング・デバイス２０５のローカルかリモートに記憶されるかのいずれかで、データストアに記憶され得る。

【0053】

いくつかの例示の実施形態では、ハイパースペクトル網膜画像内の陰影のリアルタイム検出および補正のための方法は、プロセッサを使用して、患者の網膜のハイパースペクトル画像を受信することと、プロセッサによって、ハイパースペクトル画像のシフト・ベクトルを算出することによって、ハイパースペクトル画像内の陰影を検出することと、プロセッサによって、ハイパースペクトル画像のシフト・ベクトルが閾値を越えると判定することと、ハイパースペクトル画像のシフト・ベクトルが閾値を越えると判定したことに応答して、プロセッサによって、画像センサが患者の網膜の追加的なハイパースペクトル画像のキャプチャすることを容易にすることとを含む。シフト・ベクトルは、陰影の長さおよび陰影の角度を含む。

【0054】

別の例示の実施形態では、ハイパースペクトル網膜画像内の陰影のリアルタイム検出および補正のための方法は、プロセッサを使用して、患者の網膜のハイパースペクトル画像を受信することと、プロセッサによって、ハイパースペクトル画像を位置合わせして、ハイパースペクトル画像間で検出された目の動きを補正することと、プロセッサによって、位置合わせされたハイパースペクトル画像内の陰影を検出することと、プロセッサによって、ハイパースペクトル画像の陰影が閾値を越えると判定することと、ハイパースペクトル画像の陰影が閾値を越えると判定したことに応答して、プロセッサによって、画像センサが患者の網膜の追加的なハイパースペクトル画像のキャプチャすることを容易にすることとを含む。ハイパースペクトル画像内の陰影を検出することは、ハイパースペクトル画像内の陰影のシフト・ベクトルを算出することを含む。

【0055】

次に図７を参照すると、コンピュータ・システム７００は、一般的に本発明の実施形態にしたがって示される。コンピュータ・システム７００は、本明細書で説明されるような、あらゆる数および組合せのコンピューティング・デバイス、ならびに様々な通信技術を利用するネットワークを含む、または利用する、あるいその両方の、電子的なコンピュータ・フレームワークであることが可能である。コンピュータ・システム７００は、容易にスケーラブル、拡張可能、モジュール的であり、異なるサービスに変わるか他のサービスとは無関係に一部の特徴を再設定する能力を有するものであることができる。コンピュータ・システム７００は、例えば、サーバ、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータまたはスマートフォンであり得る。いくつかの例では、コンピュータ・システム７００は、クラウド・コンピューティング・ノードであり得る。コンピュータ・システム７００は、コンピュータ・システムによって実行されるプログラム・モジュールなどのコンピュータ・システム実行可能命令の一般的なコンテキストで説明され得る。一般的に、プログラム・モジュールは、特定のタスクを実施するか、または特定の抽象的なデータ・タイプを実装する、ルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造などを含む。コンピュータ・システム７００は、タスクが通信ネットワークを通じてリンクされたリモート処理デバイスによって実施される分散クラウド・コンピューティング環境において実用化することができる。分散クラウド・コンピューティング環境において、プログラム・モジュールはローカルおよびリモートの両方の、メモリ記憶デバイスを含むコンピュータ・システム記憶媒体に配置することができる。

【0056】

図７に示されるように、コンピュータ・システム７００は、１つまたは複数の中央処理装置（ＣＰＵ）７０１ａ、７０１ｂ、７０１ｃなど（まとめて、または一般的に、プロセッサ７０１と称する）。プロセッサ７０１は、シングルコア・プロセッサ、マルチコア・プロセッサ、コンピューティング・クラスタ、またはあらゆる数の他の構成であることができる。処理回路とも称されるプロセッサ７０１はまた、システム・バス７０２を介してシステム・メモリ７０３および様々な他のコンポーネントに結合される。システム・メモリ７０３は、読み取り専用メモリ（ＲＯＭ）７０４およびランダム・アクセス・メモリ（ＲＡＭ）７０５を含むことが可能である。ＲＯＭ７０４は、システム・バス７０２に結合され、コンピュータ・システム７００の特定の基本的な機能を制御する、基本入出力システム（ＢＩＯＳ）を含むことが可能である。ＲＡＭは、システム・バス７０２に結合された、プロセッサ７０１が使用するための読み取り書き込みメモリである。システム・メモリ７０３は、動作中、前記命令の演算用に一時的な記憶空間を提供する。システム・メモリ７０３は、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ、フラッシュ・メモリ、または任意の他の適切なメモリ・システムを含むことができる。

【0057】

コンピュータ・システム７００は、入出力（Ｉ／Ｏ）アダプタ７０６およびシステム・バス７０２に結合された通信アダプタ７０７を含む。Ｉ／Ｏアダプタ７０６は、ハード・ディスク７０８またはあらゆる他の類似のコンポーネントあるいはその両方と通信するスモール・コンピュータ・システム・インターフェース（ＳＣＳＩ）アダプタであってもよい。Ｉ／Ｏアダプタ７０６およびハード・ディスク７０８は、本明細書では大容量ストレージ７１０と総称される。

【0058】

コンピュータ・システム７００で実行するソフトウェア７１１は、大容量ストレージ７１０に記憶されてもよい。大容量ストレージ７１０は、プロセッサ７０１によって可読で有形な記憶媒体の一例であり、様々な図面に関して本明細書の以下で説明されるように、大容量ストレージ７１０では、ソフトウェア７１１は、コンピュータ・システム７００を動作させるプロセッサ７０１によって実行される命令として記憶される。コンピュータ・プログラム製品およびそのような命令の実行の例を、本明細書でさらに詳細に説明する。通信アダプタ７０７は、ネットワークの外部にあり得るシステム・バス７０２をネットワーク７１２と内部接続し、コンピュータ・システム７００が他のそのようなシステムと通信できるようにしている。一実施形態では、システム・メモリ７０３と大容量ストレージ７１０の一部は、ＩＢＭ（Ｒ）社のｚ／ＯＳ（Ｒ）またはＡＩＸ（Ｒ）オペレーティング・システムなどのあらゆる適当なオペレーティング・システムであってもよいオペレーティング・システムをまとめて記憶し、図７に示される様々なコンポーネントの機能を調整する。

【0059】

追加的な入出力デバイスは、ディスプレイ・アダプタ７１５およびインターフェース・アダプタ７１６を介してシステム・バス７０２に接続されるものとして示される。一実施形態では、アダプタ７０６、７０７、７１５、および７１６は、中間的なバス・ブリッジ（図示せず）を介してシステム・バス７０２に接続される１つまたは複数のＩ／Ｏバスに接続されてもよい。ディスプレイ７１９（例えば、スクリーンまたはディスプレイ・モニタ）は、グラフィックス集約的アプリケーションのパフォーマンスを向上させるためのグラフィックス・コントローラおよびビデオ・コントローラを含み得る、ディスプレイ・アダプタ７１５によってシステム・バス７０２に接続される。キーボード７２１、マウス７２２、スピーカ７２３などは、例えば、複数のデバイス・アダプタを単一の集積回路に統合するＳｕｐｅｒＩ／Ｏチップを含み得るインターフェース・アダプタ７１６を介して、システム・バス７０２に接続することが可能である。ハード・ディスク・コントローラ、ネットワーク・アダプタ、およびグラフィックス・アダプタなどの周辺デバイスを接続するための好適なＩ／Ｏバスは、通常Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）などの共通のプロトコルを含む。故に、図７で設定されるように、コンピュータ・システム７００は、プロセッサ７０１の形態の処理機能、ならびにシステム・メモリ７０３および大容量ストレージ７１０を含むストレージ機能、キーボード７２１およびマウス７２２などの入力手段、ならびにスピーカ７２３およびディスプレイ７１９を含む出力機能を含む。

【0060】

いくつかの実施形態では、通信アダプタ７０７は、とりわけインターネット・スモール・コンピュータ・システム・インターフェースなど、あらゆる適切なインターフェースまたはプロトコルを使用して、データを送信することができる。ネットワーク７１２は、とりわけ、セルラ・ネットワーク、無線ネットワーク、ワイド・エリア・ネットワーク（ＷＡＮ）、ローカル・エリア・ネットワーク（ＬＡＮ）、またはインターネットであり得る。外部コンピューティング・デバイスは、ネットワーク７１２を通じてコンピュータ・システム７００に接続することができる。いくつかの例では、外部コンピューティング・デバイスは、外部のウェブサーバまたはクラウド・コンピューティング・ノードであり得る。

【0061】

図７のブロック図は、コンピュータ・システム７００が図７に示されるコンポーネントのすべてを含むことを示すよう意図されていないことを理解されたい。むしろ、コンピュータ・システム７００は、図７には図示されないあらゆる適当な、より少ない、または追加的なコンポーネントを含むことができる（例えば、追加的なメモリ・コンポーネント、埋め込みコントローラ、モジュール、追加的なネットワーク・インターフェースなど）。さらには、コンピュータ・システム７００に関して本明細書で説明される実施形態は、あらゆる適当なロジックで実装されてもよく、この場合ロジックとは、本明細書で称される場合、様々な実施形態における、あらゆる好適なハードウェア（例えば、とりわけプロセッサ、埋め込みコントローラ、または特定用途向け集積回路など）、ソフトウェア（例えば、とりわけアプリケーション）、ファームウェア、またはハードウェア、ソフトウェア、およびファームウェアのあらゆる好適な組合せを含むことが可能である。

【0062】

本発明は、統合のあらゆる可能な技術的詳細レベルにおける、システム、方法、またはコンピュータ・プログラム製品あるいはその組合せであってもよい。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を含むことができる。

【0063】

コンピュータ可読記憶媒体は、命令実行デバイスによる使用のための命令を保持および記憶することができる有形のデバイスであり得る。コンピュータ可読記憶媒体は、例えば、電子ストレージ・デバイス、磁気ストレージ・デバイス、光学ストレージ・デバイス、電磁気ストレージ・デバイス、半導体ストレージ・デバイス、または前述のあらゆる適切な組合せであってもよいが、それに限定はしない。コンピュータ可読記憶媒体のより具体的な例の非網羅的な列挙としては、以下が挙げられる：ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、静的ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピ・ディスク、命令が記録されたパンチカードまたは命令が溝に刻まれた構造などの機械的にエンコードされたデバイス、および前述のあらゆる適切な組合せ。本明細書において使用される場合、コンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の送信媒体を介して伝搬する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、または電線を介して送信される電気的信号など、一過性の信号そのものであると解釈されてはならない。

【0064】

本明細書において説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から、個別のコンピューティング／処理デバイスに、あるいは、例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワークもしくは無線ネットワークまたはその組合せなどのネットワークを介して、外部のコンピュータまたは外部のストレージ・デバイスに、ダウンロードすることができる。ネットワークは、銅の送信ケーブル、光学送信ファイバ、無線送信、ルータ、ファイヤウォール、スイッチ、ゲートウェイ・コンピュータまたはエッジ・サーバあるいはその組合せを備えることができる。それぞれのコンピューティング／処理デバイスのネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、個別のコンピューティング／処理デバイス内のコンピュータ可読記憶媒体における記憶向けにコンピュータ可読プログラム命令を転送する。

【0065】

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための設定データ、あるいはスモールトーク（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語などの手続き型プログラミング言語もしくは類似するプログラミング言語、を含む１つまたは複数のプログラミング言語のあらゆる組合せで記述された、ソース・コードまたはオブジェクト・コードのいずれかであってもよい。コンピュータ可読プログラム命令は、すべてユーザのコンピュータ上で、一部はユーザのコンピュータ上でスタンドアロンのソフトウェア・パッケージとして、一部はユーザのコンピュータ上で一部はリモート・コンピュータ上で、またはすべてリモート・コンピュータ上もしくはサーバ上で、実行することができる。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）もしくはワイド・エリア・ネットワーク（ＷＡＮ）を含むあらゆるタイプのネットワークを介してユーザのコンピュータに接続することができ、または接続は外部のコンピュータ（例えば、インターネット・サービス・プロバイダを使用するインターネットを介して）に対してなされてもよい。一部の実施形態において、例えば、プログラマブル論理回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用することによって、コンピュータ可読プログラム命令を実行して電子回路をカスタマイズすることができる。

【0066】

本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照しながら本明細書において説明される。フローチャート図またはブロック図あるいはその両方のそれぞれのブロック、およびフローチャート図またはブロック図あるいはその両方におけるブロックの組合せは、コンピュータ可読プログラム命令によって実装され得ることを理解されたい。

【0067】

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行する命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／動作を実装する手段を作成すべく、汎用コンピュータ、特殊目的コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されてマシンを作るものであってよい。これらのコンピュータ可読プログラム命令はまた、命令を記憶して有するコンピュータ可読記憶媒体が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／動作の態様を実装するための命令を含む製造物品を備えるべく、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラマブル・データ処理装置、または他のデバイスあるいはその組合せに特定のやり方で機能するように指示するものであってもよい。

【0068】

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブル装置、または他のデバイスで実行する命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／動作を実装するように、コンピュータ実装処理を作るべく、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイス上にロードされ、コンピュータ、他のプログラマブル装置、または他のデバイス上で一連の動作可能なステップを実施させるものであってもよい。

【0069】

図面中のフローチャートおよびブロック図は、本発明の様々な実施形態にしたがって、システム、方法、およびコンピュータ・プログラム製品の可能な実装形態の、アーキテクチャ、機能性、および動作を図示している。この点において、フローチャートまたはブロック図のそれぞれのブロックは、指定される論理機能を実装するための１つまたは複数の実行可能な命令を含む、命令のモジュール、セグメント、または部分を表現することができる。一部の代替的な実装形態において、ブロックにおいて示した機能は図面で示した順とは異なって発生してもよい。例えば、連続して示される２つのブロックは、実際には実質的に同時に実行されてもよく、またはブロックは関与する機能性によっては、時に逆の順で実行されてもよい。ブロック図またはフローチャート図あるいはその両方のそれぞれのブロック、およびブロック図またはフローチャート図あるいはその両方のブロックの組合せは、指定される機能もしくは作用を実施する、または特殊目的ハードウェアとコンピュータ命令との組合せを実行する、特殊目的ハードウェア・ベースのシステムによって実装され得ることにも留意されたい。

【0070】

例示を目的として本発明の様々な実施形態の説明を提示してきたが、網羅的であること、または開示された実施形態に限定することは意図されていない。説明された実施形態の範囲および思想から逸脱することなく、多くの修正形態および変形形態が当業者にとって明らかとなろう。本明細書において使用される用語法は、実施形態の原理、実践的な用途もしくは市場で見られる技術より優れた技術的な改善を最良に説明するため、または当業者の他の者が本明細書において説明される実施形態を理解できるように選ばれたものである。

【0071】

本発明の様々な実施形態は、関連する図面を参照して説明される。本発明の代替的な実施形態は、本発明の範囲から逸脱することなく工夫され得る。様々な接続および位置関係（例えば、～の上、～の下、隣接する、など）が、以下の説明および図面において、要素間で説明される。これらの接続または位置関係あるいはその両方は、そうではないと指定されない限り、直接的または間接的であってもよく、この点で本発明は、限定的であることを意図されない。したがって、エンティティのカップリングは、直接的または間接的なカップリングのいずれかを称することが可能であり、エンティティ同士の位置関係は、直接的または間接的な位置関係であることができる。さらには、本明細書で説明される様々なタスクおよびプロセス・ステップは、本明細書で詳細には説明されない追加的なステップまたは機能性を有する、より包括的な手順またはプロセスに組み込むことが可能である。

【0072】

以下の定義および略称は、特許請求の範囲および明細書の解釈に用いられる。本明細書で使用される際、「～を含む（comprises）」、「～を含む（comprising）」、「～を含む（includes）」、「～を含む（including）」、「～を有する（has）」、「～を有する（having）」、「～を含む（contains）」、もしくは「～を含む（containing）」という用語、またはあらゆる他のその変形例は、非網羅的な包含関係をカバーするよう意図される。例えば、要素の列挙を含む組成物、混合物、プロセス、方法、物品、または装置は、必ずしもそのような要素のみに限定されず、明示的に列挙されない他の要素またはそのような組成物、混合物、プロセス、方法、物品、または装置に固有な他の要素を含むことが可能である。

【0073】

加えて、「例示的な（exemplary）」という用語は、本明細書では「例、事例、または図示として機能する」ことを意味するよう、使用される。本明細書で「例示的」として説明されるあらゆる実施形態または設計は、必ずしも他の実施形態または設計よりも好ましいまたは有利であるとして解釈されてはならない。「少なくとも１つ（at least one）」および「１つまたは複数（one or more）」という用語は、１以上のあらゆる整数、つまり１、２、３、４などを含むものと理解されてもよい。「複数の（a plurality）」という用語は、２以上のあらゆる整数、つまり２、３、４、５などを含むものと理解されてもよい。「接続（connection）」という用語は、間接的な「接続」および直接的な「接続」の両方を含んでもよい。

【0074】

「約（about）」、「実質的に（substantially）」、「およそ（approximately）」という用語、およびその変形例は、本出願を提出した時点での利用可能な機器に基づいて、特定の数量の測定に関連する誤差の程度を含むよう意図される。例えば、「約」は、所与の値の±８％、または５％、または２％の範囲を含むことが可能である。

【0075】

簡潔にするために、本発明の態様を利用および使用することに関連する従来の技術は、本明細書で詳細に説明される場合もあるし、説明されない場合もある。特に、本明細書で説明される様々な技術的特徴を実装するためのコンピューティング・システムおよび特定のコンピュータ・プログラムの様々な態様は、周知である。したがって、簡潔にするために、多くの従来の実装形態の詳細は、周知のシステムまたはプロセス詳細あるいはその両方を与えることなく、本明細書では簡単に言及されるだけであるか、全体が省略される。

【図1A】

【図1B】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7】