特許 7314410 選択的照明帯域を用いる網膜カメラ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-14

(45)【発行日】2023-07-25

(54)【発明の名称】選択的照明帯域を用いる網膜カメラ

(51)【国際特許分類】

   A61B 3/12 20060101AFI20230718BHJP

【ＦＩ】

A61B3/12

【請求項の数】 16

(21)【出願番号】P 2022517293

(86)(22)【出願日】2020-09-23

(65)【公表番号】

(43)【公表日】2022-12-15

(86)【国際出願番号】 US2020052184

(87)【国際公開番号】W WO2021076283

(87)【国際公開日】2021-04-22

【審査請求日】2022-05-13

(31)【優先権主張番号】62/915,114

(32)【優先日】2019-10-15

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】516035068

【氏名又は名称】ヴェリリー ライフ サイエンシズ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】ウー，ホンレイ

(72)【発明者】

【氏名】カヴーシ，サム

【審査官】小野 健二

(56)【参考文献】

【文献】特開２００６－２３９１００（ＪＰ，Ａ）

【文献】国際公開第２０１９／１７２２０６（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１３／００３３５９３（ＵＳ，Ａ１）

【文献】特表２０１５－５１１５０９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／０３２７３６８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００－３／１８

(57)【特許請求の範囲】

【請求項1】

網膜撮像システムであって、
１つ又は複数の網膜画像を取得するように構成されたイメージセンサと、
前記イメージセンサが前記１つ又は複数の網膜画像を取得している間、網膜を照明する、前記イメージセンサに対して位置決めされるマルチバンド照明器であって、前記マルチバンド照明器は、緑色可視光を実質的に欠く可視光波長を含む複数の別個の照明帯域を生成するように構成される、マルチバンド照明器と、
前記イメージセンサ及び前記マルチバンド照明器に結合されるコントローラであって、前記コントローラは、前記コントローラによって実行されると、前記網膜撮像システムに、
前記緑色可視光で前記網膜を照明することを実質的に欠きながら、前記別個の照明帯域で前記網膜を照明することと、
前記別個の照明帯域で前記網膜を照明しながら、前記緑色可視光で前記網膜を実質的に照明せずに、前記イメージセンサを用いて前記１つ又は複数の網膜画像の第１の網膜画像を取得することと、
前記緑色可視光を含まない前記別個の照明帯域を用いて前記網膜を照明しながら、前記第１の網膜画像を含む連続網膜画像を順次取得すること、
前記緑色可視光を用いた照明を実質的に除いて前記連続網膜画像を取得した後、前記緑色可視光を含む白色光を用いて前記網膜を閃光で照らすことと、
前記白色光で前記網膜を閃光で照明している間、フルカラー画像を取得して、前記緑色可視光を実質的に欠いた複数のマルチバンド画像と、前記緑色可視光を含む前記フルカラー画像と、を含むデータセットを取得することと、
を含む動作を実行させる論理を含む、コントローラと、
を備える網膜撮像システム。

【請求項2】

前記緑色可視光を実質的に欠いた前記別個の照明帯域で前記網膜を照明すること及び前記連続網膜画像を取得することは両方とも、前記網膜撮像システムがまだ前記網膜との位置合わせを達成していないと前記コントローラによって見なされている位置合わせ期間中に実行され、前記白色光で前記網膜を閃光で照らすこと及び前記フルカラー画像を取得することは、位置合わせが達成されたと見なされた後、実行される、請求項１に記載の網膜撮像システム。

【請求項3】

前記複数の別個の照明帯域は、前記緑色可視光を実質的に欠いた５つの別個の照明帯域を含む、請求項１に記載の網膜撮像システム。

【請求項4】

前記５つの別個の照明帯域は、
４００ｎｍ波長を含む第１の帯域、
７００ｎｍ波長を含む第２の帯域、
８００ｎｍ波長を含む第３の帯域、
９００ｎｍ波長を含む第４の帯域、及び
９５０ｎｍ波長を含む第５の帯域
を含む、請求項３に記載の網膜撮像システム。

【請求項5】

網膜撮像システムであって、
１つ又は複数の網膜画像を取得するように構成されたイメージセンサと、
前記イメージセンサが前記１つ又は複数の網膜画像を取得している間、網膜を照明する、前記イメージセンサに対して位置決めされるマルチバンド照明器であって、前記マルチバンド照明器は、緑色可視光を実質的に欠く可視光波長を含む複数の別個の照明帯域を生成するように構成される、マルチバンド照明器と、
前記イメージセンサ及び前記マルチバンド照明器に結合されるコントローラであって、前記コントローラは、前記コントローラによって実行されると、前記網膜撮像システムに、
前記緑色可視光で前記網膜を照明することを実質的に欠きながら、前記別個の照明帯域で前記網膜を照明することと、
前記別個の照明帯域で前記網膜を照明しながら、前記緑色可視光で前記網膜を実質的に照明せずに、前記イメージセンサを用いて前記１つ又は複数の網膜画像の第１の網膜画像を取得することと、
を含む動作を実行させる論理を含む、コントローラと、
を備え、
前記複数の別個の照明帯域は、前記緑色可視光を実質的に欠いた５つの別個の照明帯域を含み、
前記マルチバンド照明器は、
前記イメージセンサが前記網膜を撮像する中心アパーチャの周辺に拡散した複数の別個の照明源を含み、前記複数の別個の照明源は各々、前記５つの別個の照明帯域の対応する１つを生成するように構成される、網膜撮像システム。

【請求項6】

網膜撮像システムであって、
１つ又は複数の網膜画像を取得するように構成されたイメージセンサと、
前記イメージセンサが前記１つ又は複数の網膜画像を取得している間、網膜を照明する、前記イメージセンサに対して位置決めされるマルチバンド照明器であって、前記マルチバンド照明器は、緑色可視光を実質的に欠く可視光波長を含む複数の別個の照明帯域を生成するように構成される、マルチバンド照明器と、
前記イメージセンサ及び前記マルチバンド照明器に結合されるコントローラであって、前記コントローラは、前記コントローラによって実行されると、前記網膜撮像システムに、
前記緑色可視光で前記網膜を照明することを実質的に欠きながら、前記別個の照明帯域で前記網膜を照明することと、
前記別個の照明帯域で前記網膜を照明しながら、前記緑色可視光で前記網膜を実質的に照明せずに、前記イメージセンサを用いて前記１つ又は複数の網膜画像の第１の網膜画像を取得することと、
を含む動作を実行させる論理を含む、コントローラと、
を備え、
前記複数の別個の照明帯域は、前記緑色可視光を実質的に欠いた５つの別個の照明帯域を含み、
前記コントローラは、前記コントローラによって実行されると、前記網膜撮像システムに、
前記５つの別個の照明帯域を用いて取得された前記第１の網膜画像をＲＧＢ疑似色画像に変換すること
を含む追加の動作を実行させる更なる論理を含む、網膜撮像システム。

【請求項7】

前記ＲＧＢ疑似色画像は、前記緑色可視光を実質的に欠いた前記別個の照明帯域で取得したマルチバンド画像と関連付けられたフルカラーＲＧＢ画像を使用してトレーニングされたニューラルネットワークを使用して変換される、請求項６に記載の網膜撮像システム。

【請求項8】

前記第１の網膜画像を受信し、前記第１の網膜画像が複数の疾患の１つ又は複数の症状であるか否かを分類するように結合された機械学習（ＭＬ）分類器であって、前記ＭＬ分類器は、前記緑色可視光を実質的に欠いた前記複数の別個の照明帯域を用いて取得されたラベル付き画像データを用いてトレーニングされたニューラルネットワークを含む、ＭＬ分類器を更に備える請求項１に記載の網膜撮像システム。

【請求項9】

網膜カメラを用いて網膜を撮像する方法であって、
緑色可視光で前記網膜を照明することを実質的に欠きながら、前記緑色可視光を実質的に欠いた複数の別個の照明帯域を用いて前記網膜を照明することと、
前記別個の照明帯域を用いて前記網膜を照明し、前記緑色可視光を用いて前記網膜を実質的に照明せずに、第１の網膜画像を取得することと、
前記別個の照明帯域を用いて前記網膜を照明しながら、前記緑色可視光を用いて前記網膜を実質的に照明せずに、前記第１の網膜画像を含む連続網膜画像を順次取得することと、
前記緑色可視光を用いた照明を実質的に除いて前記連続網膜画像を取得した後、前記緑色可視光を含む白色光を用いて前記網膜を閃光で照らすことと、
前記白色光で前記網膜を照明している間、フルカラー画像を取得して、前記緑色可視光を実質的に欠いて取得された複数のマルチバンド画像と、前記緑色可視光を用いて取得される前記フルカラー画像と、を含むデータセットを取得することと、
を含む方法。

【請求項10】

前記連続網膜画像は、前記網膜カメラが前記網膜との位置合わせをまだ達成していないと見なされる位置合わせ期間中に取得され、前記フルカラー画像は、位置合わせが達成されたと見なされると取得される、請求項９に記載の方法。

【請求項11】

前記網膜は、前記緑色可視光を含む前記白色光を用いて前記網膜を閃光で照らす時間期間の２倍を超える時間にわたり、前記緑色光を実質的に欠いた前記複数の別個の照明帯域
によって照明される、請求項１０に記載の方法。

【請求項12】

前記別個の照明帯域を用いて前記網膜を照明しながら、前記緑色可視光を用いて前記網膜を照明せずに、前記連続網膜画像を順次取得することは、
前記連続網膜画像内の画像取得の瞬間の間で前記緑色可視光を実質的に欠いた前記別個の照明帯域の異なる組合せを順次照明することを含む、請求項９に記載の方法。

【請求項13】

前記複数の別個の照明帯域は、前記緑色可視光を実質的に欠いた５つの別個の照明帯域を含む、請求項９に記載の方法。

【請求項14】

前記５つの別個の照明帯域は、
４００ｎｍ波長を含む第１の帯域、
７００ｎｍ波長を含む第２の帯域、
８００ｎｍ波長を含む第３の帯域、
９００ｎｍ波長を含む第４の帯域、及び
９５０ｎｍ波長を含む第５の帯域
を含む、請求項１３に記載の方法。

【請求項15】

網膜カメラを用いて網膜を撮像する方法であって、
緑色可視光で前記網膜を照明することを実質的に欠きながら、前記緑色可視光を実質的に欠いた複数の別個の照明帯域を用いて前記網膜を照明することと、
前記別個の照明帯域を用いて前記網膜を照明し、前記緑色可視光を用いて前記網膜を実質的に照明せずに、第１の網膜画像を取得することと、
前記緑色可視光を実質的に欠いた前記別個の照明帯域を用いて取得された前記マルチバンド画像と関連付けられたフルカラーＲＧＢ画像を使用してトレーニングされたニューラルネットワークを使用して、前記別個の照明帯域を用いて取得された前記第１の網膜画像をＲＧＢ疑似色画像に変換することと、
を含む方法。

【請求項16】

機械学習（ＭＬ）分類器を用いて、前記第１の網膜画像が複数の疾患の１つ又は複数の症状であるか否かを分類することを更に含み、前記ＭＬ分類器は、前記緑色可視光を実質的に欠いた前記複数の別個の照明帯域を用いて取得されたラベル付き画像データを用いてトレーニングされたニューラルネットワークを含む、請求項９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
[0001] 本願は、２０１９年１０月１５日付けで出願された米国仮特許出願第６２／９１５，１１４号に基づき、この米国仮特許出願は全体的に参照により本明細書に援用される。

【0002】

技術分野
[0002] 本開示は、一般的には網膜撮像技術に関し、排他的ではないが特に網膜撮像の照明技法に関する。

【背景技術】

【0003】

背景情報
[0003] 網膜撮像は、スクリーニング、現場診断、及び多くの網膜疾患の進行モニタリングの基本的な眼科検診の一環である。高忠実度網膜画像が、正確なスクリーニング、診断、及びモニタリングにとって重要である。瞳孔を通した眼球（即ち網膜）の後下面の高輝度照明は、画像の忠実度を改善するが、患者にとって不快であることが知られている。

【0004】

[0004] カメラ位置合わせ、特に、網膜カメラが患者の眼球と位置合わせされていない場合に生じる有害な画像アーチファクトをブロックする必要があることに起因して、通常、非常に限られたアイボックスを有する従来の網膜カメラとのカメラ位置合わせが非常に重要である。網膜カメラのアイボックスは、通常、網膜カメラの接眼レンズに対して画定される、空間中の三次元領域であり、網膜の許容可能な画像を得るためには、アイボックス内に眼球の瞳孔又は角膜の中心が存在すべきである。従来のアイボックスのサイズが小さいことにより、網膜カメラの位置合わせは難しく、位置合わせプロセス中の患者の相互作用は多くの場合、緊張するものである。

【発明の概要】

【課題を解決するための手段】

【0005】

[0005] 網膜撮像プロセス中、患者は頭部を絶対的に静止したままにする必要がある。患者の瞳孔は通常、点眼薬を用いて拡張するか、又は暗順応して瞳孔は自然に拡張する。瞳孔が拡張又は暗順応している状態で、強い白色光閃光がアクティブ化される。拡張又は暗順応した眼球への高輝度可視光のこの急な閃光は、大きな不快さ又はストレスを生じさせ得、これは多くの場合、患者を後ずさりさせるか、又は動きを生じさせる。したがって、従来の網膜撮像システムは、長々とした１回の位置合わせにつき１枚の網膜画像しか捕捉できず、複数の網膜画像が望ましい場合、全体撮像プロセスを長引かせ得る。

【0006】

図面の簡単な説明
[0006] 本発明の非限定的で非網羅的な実施形態について以下の図を参照して説明し、以下の図では、種々の図を通して、別記される場合を除き、同様の参照番号は同様の部分を指す。図面を乱雑にしないように、適切な場合、必ずしも要素の全ての事例にラベルが付されているわけではない。図面は必ずしも一定の縮尺ではなく、その代わり、説明されている原理を示すことに重点が置かれている。

【図面の簡単な説明】

【0007】

【図1】[0007]画像アーチファクトを含む網膜画像を示す。

【図2】[0008]本開示の一実施形態によるマルチバンド照明器を有する網膜撮像システムを示す。

【図3】[0009]本開示の一実施形態による、中心アパーチャの周囲に離散した複数の別個の照明源を有する例証的なマルチバンド照明器を示す。

【図4】[0010]本開示の一実施形態によるマルチバンド照明器を使用した網膜撮像システムの動作を示すフローチャートである。

【発明を実施するための形態】

【0008】

詳細な説明
[0011] 網膜撮像中、マルチバンド照明器を用いて網膜を選択的に照明するシステム、装置、及び方法の実施形態が本明細書に記載される。以下の説明では、実施形態の完全な理解を提供するために、多くの具体的な詳細が記載される。しかしながら、具体的な詳細の１つ又は複数なしで又は他の方法、構成要素、材料等を用いて本明細書に記載の技法を実施することも可能なことを当業者は認識するであろう。他の場合、特定の態様を曖昧にすることを避けるために、周知の構造、材料、又は動作については示しておらず、又は説明していない。

【0009】

[0012] 本明細書全体を通しての「一実施形態（one embodiment）」又は「一実施形態（an embodiment）」への言及は、その実施形態と関連して説明された特定の特徴、構造、又は特性が本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体を通しての種々の場所での「一実施形態では（in one embodiment）」又は「一実施形態では（in an embodiment）」という句の出現は、必ずしも全てが同じ実施形態を指すわけではない。更に、特定の特徴、構造、又は特性は、１つ又は複数の実施形態において任意の適した様式で組み合わせることが可能である。

【0010】

[0013] 従来の網膜（眼底の）カメラは患者にとって不快であり、それと同時に、高輝度白色照明源を用いた各閃光照明で１枚の網膜画像しか取得されないため、低スループット能力しか提供しないことが知られている。網膜撮像に関連する不快さは、患者が網膜画像の撮影に乗り気ではないことの一因である。本明細書に開示される実施形態は、マルチバンド照明器を使用して不快さの問題及び低スループット能力を軽減する。一実施形態では、緑色可視光を実質的に欠いた可視光波長を含む複数の別個の照明帯域が、画像捕捉中、網膜の照明に使用される。人間の眼球の光受容体は緑色光に特に敏感であるため、本明細書に開示される実施形態は、緑色光を実質的に欠いた照明を使用して、連続網膜画像を取得するのに十分な露光時間があるより長い照明窓（緑色波長を含む白色光照明を用いた場合に患者が耐えることができる照明窓と比較して）を可能にする。

【0011】

[0014] 一実施形態では、網膜撮像システムがユーザの眼球と位置合わせされている間、緑色可視光を実質的に欠いたマルチバンド照明が、患者の網膜を照明するのに使用される。この位置合わせ時間中、網膜撮像システムによって連続網膜画像（例えばマルチバンド画像）を取得し得る。閾値位置合わせが網膜カメラシステムとユーザの眼球との間で達成されたと判断されると、緑色可視光を含む白色光照明を用いて閃光で網膜を照らして、フルカラー画像を取得し得る。白色光閃光照明を用いる場合、１枚のフルカラー画像又は緑色可視光を実質的に欠いたマルチバンド照明と比べて少なくとも比較的少数の画像を取得するのに十分な露光時間（患者が後ずさる前）だけがあり得る。

【0012】

[0015] 上記技法は、１回のセットアップ及び位置合わせにつき複数の画像取得（緑色可視光を実質的に欠いたマルチバンド画像及び任意選択的に緑色可視光を含む１つ又は複数のフルカラー画像を含む）を含むデータセットの取得を容易にする。次いで、医師又は技師による検討のために、種々の画像走査技法を使用して、データセットを組み合わせて複合画像にし得る。例えば、マルチバンド画像は検討のためにＲＧＢ疑似画像に変換され得、又はフルカラー画像と組み合わせられて、高品質／忠実度で低アーチファクトのマルチスペクトル網膜画像を取得し得る。代替（又は追加）として、機械学習技法を適用して、データセットを分類し、患者が１つ又は複数の眼疾患の症状を有するか否かの指示を提供し得る。

【0013】

[0016] 高忠実度網膜画像は、多くの網膜疾患のスクリーニング、診断、及びモニタリングに重要である。このため、患者が耐える意思を有する割り振られた時間で実現可能な限り多くの網膜画像を取得することは、画像の忠実度を改善し、網膜画像の部分を遮蔽又は他の方法で害を及ぼす画像アーチファクトを低減又はなくすが望ましい。図１は、複数の画像アーチファクト１０５を有する一例の網膜画像１００を示す。網膜撮像システムと眼球との位置合わせずれにより、照明源からの迷光及び有害な反射が画像路に入り、最終的に網膜画像光と共にイメージセンサによって捕捉される場合、これらの画像アーチファクトが生じ得る。位置合わせずれは、有害な角膜／虹彩反射、水晶体からの屈折散乱、及び撮像アパーチャの遮蔽に繋がる恐れがある。閾値許容差内での位置合わせ達成は時間がかかり得るため、１回のセットアップ及び位置合わせにつきより多くの網膜画像を取得できるほどよい。

【0014】

[0017] 図２は、本開示の一実施形態によるマルチバンド照明器を有する網膜撮像システム２００を示す。網膜撮像システム２００の図示の実施形態は、マルチバンド照明器２０５、イメージセンサ２１０（網膜カメラセンサとも呼ばれる）、コントローラ２１５、ユーザインターフェース２２０、ディスプレイ２２５、位置合わせ追跡器２３０、及び光学中継システムを含む。レンズ２３５、２４０、２４５及びビームスプリッタ２５０を含む光学中継システムの図示の実施形態。動的照明器２０５の図示の実施形態は、中心アパーチャ２５５と、中心アパーチャ２５５の周囲に延在する照明源２６５とを含む。網膜撮像システム２００が単に、本明細書に記載の技法を実施するための例証例であることを理解されたい。本明細書に開示のマルチバンド撮像技法が、本明細書に記載されるものを超えて多種多様な様々な網膜又は眼底撮像アーキテクチャを用いて実施可能なことが理解される。

【0015】

[0018] 光学中継システムは、マルチバンド照明器２０５から出力された照明光２８０を眼球２７０の瞳孔を通る照明路に沿って向けて（例えば透過又は反射して）、網膜２７５を照明しながら、網膜２７５の画像光２８５（即ち網膜画像）を画像路に沿ってイメージセンサ２１０に向けもするように機能する。画像光２８５は、網膜２７５からの照明光２８０の散乱反射によって形成される。図示の実施形態では、光学中継システムはビームスプリッタ２５０を更に含み、これは、画像光２８５の少なくとも一部をイメージセンサ２１０に透過しながら、ディスプレイ２２５から出力されたディスプレイ光２９０を眼球２７０に向けもする。ビームスプリッタ２５０は、偏光ビームスプリッタ、非偏光ビームスプリッタ（例えば９０％透過及び１０％反射、５０／５０ビームスプリッタ等）、又はダイクロイックビームスプリッタ等として実施し得る。光学中継システムは、種々の光路を必要に応じて集束させる、レンズ２３５、２４０、及び２４５等の幾つかのレンズを含む。例えば、レンズ２３５は、動作中、眼球２７０の角膜から瞳距離２９５だけ変位する接眼レンズを集合的に形成する１つ又は複数のレンズ要素を含み得る。レンズ２４０は、画像光２８５をイメージセンサ２１０上の焦点に導く１つ又は複数のレンズ要素を含み得る。レンズ２４５は、ディスプレイ光２９０を集束するための１つ又は複数のレンズ要素を含み得る。幾つかの様々な光学要素（例えばレンズ、反射面、回折面等）を用いて光学中継システムを実施し得ることを理解されたい。

【0016】

[0019] 一実施形態では、ディスプレイ２２５から出力されたディスプレイ光２９０は、固視標又は他の視覚刺激である。固視標は、視覚的フィードバックを患者に提供することによって網膜撮像システム２００と眼球２７０との位置合わせ取得を助けることができるだけでなく、患者が視覚を適合させることができる固視標を患者に提供することもできる。ディスプレイ２２５は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、又は種々の照明された形状（例えば照明された十字又は同心円）等を含む様々な技術を用いて実施し得る。

【0017】

[0020] コントローラ２１５は、イメージセンサ２１０、ディスプレイ２２５、マルチバンド照明器２０５、及び位置合わせ追跡器２３０に結合されて、それらの動作を統制する。コントローラ２１５は、マイクロコントローラ、ハードウェア論理（例えば特定用途向け集積回路、フィールドプログラマブルゲートアレイ等）、又はソフトウェア論理とハードウェア論理との組合せで実行されるソフトウェア／ファームウェア論理を含み得る。図２は別個の機能要素としてコントローラ２１５を示すが、コントローラ２１５によって実行される論理機能は幾つかのハードウェア要素に分散してもよい。コントローラ１１５は、入出力（Ｉ／Ｏポート）、通信システム、メモリ、又はデータストレージ等を更に含み得る。コントローラ２１５はユーザインターフェース２２０に結合されて、ユーザ入力を受信し、網膜撮像システム２００のユーザ制御を提供する。ユーザインターフェース２２０は、１つ又は複数のボタン、ダイアル、フィードバック表示、インジケータ灯等を含み得る。

【0018】

[0021] コントローラ２１５は、コンピュータリソースを画像後処理に更に充て得る。この処理は、種々の異なるスペクトル帯域照明を用いて取得した複数の網膜画像を結合（又は画像積層）して１つの複合画像にすることを含み得る。更に、コントローラ２１５は、緑色可視波長を欠いた別個の照明帯域を用いて取得した網膜画像をＲＧＢ疑似色画像に変換し得る。一実施形態では、コントローラ２１５は、緑色可視光を実質的に欠いた別個の照明帯域を用いて取得したマルチバンド画像と関連付けられたフルカラーＲＧＢ画像を使用して、ＲＧＢ疑似色画像への変換を実行するようにトレーニングされたニューラルネットワークを含み得る。更に他の実施形態では、コントローラ２１５は、網膜画像が１つ又は複数の疾患の症状であるか否かを分類する機械学習（ＭＬ）分類器２１６を含み得る。ＭＬ分類器２１６のニューラルネットワークは、緑色可視光を実質的に欠いた別個の照明帯域を用いて取得したラベル付き画像データを用いてトレーニングし得る。

【0019】

[0022] イメージセンサ２１０は、相補型金属酸化膜半導体（ＣＭＯＳ）イメージセンサ、又は電荷結合素子（ＣＣＤ）イメージセンサ等の種々の撮像技術を使用して実施し得る。一実施形態では、イメージセンサ２１０は、網膜画像を記憶するオンボードメモリバッファ又は接続されたメモリを含む。

【0020】

[0023] 位置合わせ追跡器２３０は、網膜撮像システム２００と眼球２７０との位置合わせを追跡するように動作する。位置合わせ追跡器２３０は、瞳孔追跡、網膜追跡、又は虹彩追跡等を含む、眼球２７０と網膜撮像システム２００との相対的位置を追跡する多種多様な様々な技法を使用して動作し得る。一実施形態では、位置合わせ追跡器２３０は、網膜画像が可視スペクトル光及び／又は赤外線（ＩＲ）光を用いて取得されている間、ＩＲ光を介して眼球２７０を追跡するための１つ又は複数のＩＲエミッタを含む。そのような一実施形態では、ＩＲフィルタを画像内に位置決め（又は選択的に位置決め）して、ＩＲ追跡光を濾波し得る。他の実施形態では、追跡照明は画像取得から時間的にオフセットされる。幾つかの実施形態では、イメージセンサ２１０はＩＲ画像も取得し得る。

【0021】

[0024] 動作中、コントローラ１１５は、マルチバンド照明器２０５及びイメージセンサ２１０を動作させて１つ又は複数の網膜画像を捕捉する。マルチバンド照明器２０５は、その照明波長及び任意選択的にその物理的照明パターンが静的ではなく、むしろ、眼球２７０との特定された位置合わせに基づいて又は他の要因に基づいてコントローラ２１５の影響下で動的に変わるという点で動的である。照明光２８０は眼球２７０の瞳孔を通して網膜２７５を照明するように向けられる。網膜２７５からの散乱反射は画像路に沿って中心アパーチャ２５５を通ってイメージセンサ２１０に向けられる。中心アパーチャ２５５の周囲のストップは、中心アパーチャ２５５が画像光自体を透過する間、網膜画像に害を及ぼす有害な反射及び光散乱をブロックするように動作する。マルチバンド照明器２０５によって出力される照明パターン及び波長は、現在の位置合わせ（又は位置合わせがないこと）に基づいて及び／又は所定のシーケンスに従って選択される。照明のパターンは、眼球２７０内の人間の水晶体からの散乱から生じる画像アーチファクト、角膜／虹彩からの反射を低減し、又は網膜２７５からの照明光２８０の鏡面反射を向けるように選択することもできる。網膜２７５又は角膜／虹彩からの直接鏡面反射は、網膜画像に色飛び領域（例えば画像アーチファクト１０５）を生じさせ得る。マルチバンド照明器２０５から出力される照明パターンの動的変更は、これらの鏡面反射を画像路から軸外に向け、したがって、中心アパーチャ２５５の周囲のフィールドストップによってブロックするように機能することができる。

【0022】

[0025] 図３は、本開示の一実施形態による、中心アパーチャ３１０の周囲に拡散した複数の別個の照明源３０５Ａ～Ｆ（集合的に照明源３０５と呼ぶ）を有する例証的なマルチバンド照明器３００を示す。マルチバンド照明３００の図示の実施形態は、図２に示すマルチバンド照明器２０５の可能な一実施態様である。しかしながら、マルチバンド照明器３００が単に例証であり、他の物理的レイアウト、波長帯域、照明源タイプ等を使用してもよいことを理解されたい。

【0023】

[0026] マルチバンド照明器３００は、緑色可視光の高度に不快な帯域を欠いた複数の異なるスペクトル照明帯域の使用を促進する。人間の眼球は、可視色の「緑色」帯域の周囲の可視光（例えば、５００ｎｍ～６００ｎｍの範囲に概ね対応する波長）に最も敏感である。少なくとも撮像プロセス中の始めに、緑色可視光を欠くことにより、患者の不快さを低減し、又は少なくとも撮像手順の終わりまで遅らせることができる。緑色可視光を実質的に欠いた照明を用いて人間の眼球を照明しながら、不快さを低減することにより、患者はより長い照明及び露光窓に耐えることができ、各位置合わせサイクルでのより多数の網膜画像の取得を促進する。「実質的に欠く」という句は、本明細書では、照明が緑色波長成分を１００％欠く必要はなく、むしろ、緑色波長成分（例えば５００ｎｍ～６００ｎｍ）が、任意の緑色光スペクトル残留に起因した顕著な生理学的反応（例えば患者が後ずさる又は顕著な不快さを経験する）を引き起こさないように他の照明波長成分と比べて十分に抑制されることを意味するのに使用されている。

【0024】

[0027] 図示の実施形態では、マルチバンド照明器３００は、別個の照明源３０５Ｂ～Ｆに対応する、緑色可視光を実質的に欠いた５つの別個の照明帯域を含む。例えば、別個の照明源３０５Ｂ～Ｆは、青色光源（別個の照明源３０５Ｂ）、赤色光源（別個の照明源３０５Ｃ）、及び赤外線源（別個の照明源３０５Ｄ～Ｆ）を含む。マルチバンド照明器３００の図示の実施形態は、緑色光源３０５Ａ（例えば５００～６００ｎｍ）も含む。緑色光源３０５Ａを別個の照明源３０５Ｂ（青色光）及び別個の照明源３０５Ｃ（赤色光）等の他の非緑色源の組合せと共に照明して、白色光照明パターンを形成し得る。代替的には、マルチバンド照明器３００は、別個の白色光源（例えば１つ若しくは複数のリン層を有する青色ＬＥＤ）を含んでもよく、又は別個の緑色照明源３０５Ａを別個の白色光源で置換してもよい。更に他の実施形態では、マルチバンド照明器３００は、調整可能な波長源、調整可能な波長フィルタ、又はそれらの組合せ等を含む様々な技法を使用してスペクトル出力を調整可能な動的スペクトル源であってもよい。

【0025】

[0028] 図３の図示の実施形態は、緑色可視光を実質的に欠くが、以下の波長を含む５つの別個の照明帯域を含む：４００ｎｍ、７００ｎｍ、８００ｎｍ、９００ｎｍ、及び９５０ｎｍ。当然ながら、６つ以上又は５つ未満の別個の波長帯域を有する非緑色波長の他の組合せを使用及び／又は実施してもよい。別個の照明帯域は別個の中心波長（例えばピークスペクトル電力が放射される波長）を有するが、種々の帯域幅（例えば±１０ｎｍ、±１５ｎｍ、±２０ｎｍ等）を有し得る。別個の照明帯域はそれぞれ３ｄＢ点（電力半値点）、又は半値全幅（ＦＷＨＭ）帯域等によって定義し得る。別個の照明帯域は、非重複波長帯域であってもよく、又は重複波長帯域であってもよい。図３は別個の照明源の使用を示すが、別個の照明源の代わりに又は別個の照明源と共に、１つ又は複数の調整可能な照明源を実施してもよい。図３は、中心アパーチャ３１０の周囲に拡散した４象限クラスタに配置された５つの別個の照明源タイプを緑色照明源タイプと共に示すが、各波長帯域に別個の照明源のより多数又はより少数のインスタンスを有する他のレイアウトパターンを実施してもよい。

【0026】

[0029] これらの別個の照明帯域は全て、同時に、非同時に順次パターンで、又はその種々の下位組合せにおいて閃光で照らされ又は照明されて、種々のマルチバンド（例えばマルチスペクトル）画像を取得し得る。別個の照明源３０５Ａ～Ｃ（又は代わりに別個の白色光源）を閃光させることにより、１つ又は複数のフルカラー画像を選択的に取得し得る。非緑色照明源（例えば３０５Ｂ～Ｆ）の種々の組合せを照明することにより、緑色可視光を実質的に欠いたマルチバンド画像を選択的に取得し得る。

【0027】

[0030] 一実施形態では、患者が網膜カメラシステム２００の前方に着座しているとき、イメージセンサ２１０及びマルチバンド照明器２０５（又は３００）は、コントローラ２１５の影響下で動作して、網膜画像を高フレームレート（例えば３０フレーム／秒）で連続捕捉し得る。この高フレームレートでの画像捕捉は、ある時間（例えば１０秒）にわたって継続、位置合わせが達成されたとコントローラ２１５が見なすまで継続、又は網膜の所望の部分をカバーする十分な良質の画像が取得されるまで継続等し得る。コントローラ２１５は、イメージセンサ２１０を介した網膜追跡を使用し、外部位置合わせ追跡器２３０を介して眼球位置合わせ及び／又は眼球追跡（例えば瞳孔又は虹彩の追跡）を判断し得る。一実施形態では、緑色可視光を実質的に欠いたマルチバンド画像は、位置合わせが判断されるまで連続して取得され、位置合わせが判断された時点で、コントローラ２１５は白色光の閃光で網膜２７５を照らして、フルカラー画像を取得する。次いで、取得された多くのマルチバンド画像を分析し（例えばソフトウェアアルゴリズム又は人間のオペレータを介して）、幾つかの良好な網膜画像フレームを選択し得る。

【0028】

[0031] 図４は、本開示の一実施形態による、マルチバンド照明器３００（又は２０５）を使用した網膜撮像システム２００の動作プロセス４００を示すフローチャートである。プロセスブロックの幾つか又は全てがプロセス４００において現れる順序は、限定と見なされるべきではない。むしろ、プロセスブロックの幾つかは、図示されていない様々な順序で又は並行して実行してもよいことを本開示の恩恵を受ける当業者は理解しよう。

【0029】

[0032] プロセスブロック４０５において、網膜２７５の撮像が開始される。患者の眼球が接眼レンズ２３５の前方に配置されたとき、及び／又は開始コマンド（例えば開始ボタン又は捕捉ボタン）が選択されたとき、開始し得る。プロセスブロック４１０において、コントローラ２１５は患者の眼球位置合わせのモニタリングを開始する。上述したように、眼球の位置合わせは位置合わせ追跡器２３０（例えば瞳孔又は虹彩の大まかな位置合わせ追跡）を介して及び／又はイメージセンサ２１０（例えば網膜２７５の微細位置合わせ追跡）を用いて判断し得る。

【0030】

[0033] コントローラ２１５が眼球位置合わせを追跡し、閾値量内及び／又は閾値時間にわたって許容可能な位置合わせを探している間（判断ブロック４２０）、マルチバンド照明器３００は、照明帯域３０５Ｂ～Ｆ等の緑色可視光を実質的に欠いた別個の照明帯域を用いて眼球２７０及び網膜２７５を照明する（プロセスブロック４１５）。眼球位置合わせがまだ達成されず（判断ブロック４２０）、物理的照明パターンが静的パターンであることが意図される（判断ブロック４２５）場合、連続網膜画像が取得される（プロセスブロック４３０）。これらの画像は、位置合わせが達成されるまで及び／又は一定数の画像が取得されるまで、一定の時間にわたり、又は他の決定要因に基づいて比較的高いフレームレート（例えば３０フレーム／秒）で取得し得る。

【0031】

[0034] 他方、コントローラ２１５は眼球位置合わせ追跡（プロセスブロック４１０）を使用して、眼球位置合わせを容易にするように物理的照明パターンを動的に調整し得る（判断ブロック４２０）。照明パターンへの動的調整がイネーブルされる場合（判断ブロック４２５）、照明パターン及び／又は波長帯域が調整され（プロセスブロック４３５）、プロセスブロック４４０において網膜画像が取得される。照明パターンは、別個の照明源３０５が所与の時間にイネーブルされる物理的場所を変えることによって調整し得る。例えば、図３は、別個の各照明源タイプがいかに、異なる場所に複数のインスタンスを有するかを示す。更に、プロセスブロック４３５において実行される動的調整は、照明帯域の異なる組合せへの順次変更を含むこともできる。例えば、別個の照明源３０５Ｂをまずイネーブルし得、その後続けて別個の照明源３０５Ｃ、Ｄ、Ｅ、及びＦをイネーブルし得る。代替的には、緑色可視光を実質的に欠いた異なる波長帯域の種々のグループ又は組合せを種々の順序でイネーブルし得る。例えば、全ての別個の照明源３０５Ｂ～Ｆは同時にイネーブルし得る。したがって、プロセスブロック４４０における連続撮像を通して、照明の種々の組合せを順次循環させ得る。

【0032】

[0035] 判断ブロック４２０に戻り、眼球位置合わせが達成されると、プロセス４００はプロセスブロック４４５に進み、網膜２７５は白色光照明の閃光で照らされる。白色光は、別個の白色光源（図示せず）であってもよく、又は赤色光（照明源３０５ｃ）、緑色光（照明源３０５Ａ）、及び青色光（照明源３０５Ｂ）の同時閃光であってもよい。

【0033】

[0036] 緑色可視光を実質的に欠いた全てのマルチバンド画像及び／又はフルカラー画像（白色光照明に基づく）が取得されると、コントローラ２１５は種々の積層、ステッチング、又はビニングアルゴリズムを使用して、１つ又は複数の画像を結合して１つ又は複数の複合画像にし得る（プロセスブロック４５０）。例えば、人間又はコンピュータアルゴリズム（例えばＭＬ分類器２１６）による分析のために、緑色可視光を実質的に欠いたマルチバンド画像をＲＧＢ疑似色画像に変換し得る。例えば、５つの別個の照明帯域（例えば以下の波長を含む別個の波長帯域：４００ｎｍ、７００ｎｍ、８００ｎｍ、９００ｎｍ、及び９５０ｎｍ）をＲＧＢ疑似色画像に変換使用し得る。一実施形態では、この変換は、緑色可視光を実質的に欠いた別個の照明帯域を用いて取得されたマルチバンド画像と関連付けられたフルカラーＲＧＢ画像を使用してトレーニングされたニューラルネットワークを使用して達成し得る。次いでこのトレーニングデータセットを使用して、表示のために５つの帯域のマルチバンド画像を通常のＲＧＢ画像にマッピングするようにニューラルネットワークをトレーニングし得る。

【0034】

[0037] プロセスブロック４５５において、取得されたマルチバンド画像、フルカラー画像、及び／又は複合／変換済み画像を分析して、疾患を識別し、網膜画像のいずれかが１つ又は複数の疾患の症状であるか否かを分類し得る。一実施形態では、網膜画像は人間（例えば医師、技師等）によって分析し得る。他の実施形態では、網膜画像はＭＬ分類器２１６等のコンピュータアルゴリズムによって分析し得る。例えば、ＭＬ分類器は、緑色可視光を実質的に欠いた複数の別個の照明帯域を用いて取得されたラベル付き画像データを用いてトレーニングされたニューラルネットワークであり得る。換言すれば、網膜撮像システム２００を使用して、幾つかの基準網膜画像、緑色可視光を実質的に欠いた別個の照明帯域のみを用いて（例えば照明源３０５Ｂ～３０５Ｆを使用して）取得した幾つかの画像、白色照明（例えば照明源３０５Ａ～Ｃ）を含む幾つかの画像、及び照明の種々の異なる組合せ（例えば照明源３０５のいずれか）を用いた幾つかの画像を取得し得る。これらの画像は、既知の疾患を有し、したがって、そのようにラベル付けられた網膜の集団から取得し得る。次いでこのラベル付きデータセットを使用して、将来の画像においてそのような疾患を識別するようにＭＬ分類器２１６をトレーニングし得る。

【0035】

[0038] 最後に、プロセスブロック４６０において、コントローラ２１５は、網膜画像、複合画像、及び／又は分析に基づく診断リポートを出力する。

【0036】

[0039] 上述したプロセスはコンピュータソフトウェア及びハードウェアに関して説明されている。記載された技法は、機械によって実行されると、機械に記載された動作を実行させる、有形又は非一時的機械（例えばコンピュータ）可読記憶媒体内に具現される機械実行可能命令を構成し得る。更に、プロセスは、特定用途向け集積回路（「ＡＳＩＣ」）等のハードウェア内で実施してもよい。

【0037】

[0040] 有形の機械可読記憶媒体は、機械（例えばコンピュータ、ネットワークデバイス、個人情報端末、製造ツール、１組の１つ又は複数のプロセッサを有する任意のデバイス等）によってアクセス可能な非一時的な形態で情報を提供（即ち記憶）する任意のメカニズムを含む。例えば、機械可読記憶媒体は、記録可能／非記録可能媒体（例えば読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス等）を含む。

【0038】

[0041] 本発明の図示の実施形態の上記説明は、要約書に記載のものを含め、網羅的である又は本発明を開示された厳密な形態に限定することを意図しない。例示を目的として本発明の特定の実施形態及び例を本明細書に記載したが、当業者は認識するように、本発明の範囲内で種々の変更が可能である。

【0039】

[0042] これらの変更は、上記の詳細な説明に鑑みて本発明に対して行うことができる。以下の特許請求の範囲で使用される用語は、本明細書に開示された特定の実施形態に本発明を限定するものとして解釈されるべきではない。むしろ、本発明の範囲は全体的に以下の特許請求の範囲によって決定されるべきであり、特許請求の範囲は、請求項解釈の確立された教義に従って解釈されるべきである。

【図1】

【図2】

【図3】

【図4】