特許 6849856 網膜撮像用焦点重ね合わせ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6849856

(24)【登録日】2021年3月8日

(45)【発行日】2021年3月31日

(54)【発明の名称】網膜撮像用焦点重ね合わせ

(51)【国際特許分類】

   A61B 3/14 20060101AFI20210322BHJP

   A61B 3/15 20060101ALI20210322BHJP

   A61B 3/12 20060101ALI20210322BHJP

   G06T 1/00 20060101ALI20210322BHJP

   G06T 5/50 20060101ALI20210322BHJP

   G06T 7/12 20170101ALI20210322BHJP

   G06T 7/11 20170101ALI20210322BHJP

   G06T 7/168 20170101ALI20210322BHJP

   H04N 5/225 20060101ALI20210322BHJP

   H04N 5/232 20060101ALI20210322BHJP

【ＦＩ】

   A61B3/14ZDM

   A61B3/15

   A61B3/12

   G06T1/00 430G

   G06T1/00 440

   G06T5/50

   G06T7/12

   G06T7/11

   G06T7/168

   H04N5/225 600

   H04N5/232 290

   H04N5/232

【請求項の数】19

【全頁数】14

(21)【出願番号】特願2020-506329(P2020-506329)

(86)(22)【出願日】2018年8月22日

(65)【公表番号】特表2020-532346(P2020-532346A)

(43)【公表日】2020年11月12日

(86)【国際出願番号】US2018047605

(87)【国際公開番号】WO2019046076

(87)【国際公開日】20190307

【審査請求日】2020年3月30日

(31)【優先権主張番号】62/551,708

(32)【優先日】2017年8月29日

(33)【優先権主張国】US

(31)【優先権主張番号】16/046,265

(32)【優先日】2018年7月26日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】516035068

【氏名又は名称】ヴェリリー ライフ サイエンシズ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】ランバ，ドゥルーブ

(72)【発明者】

【氏名】カヴーシ，サム

【審査官】 宮川 哲伸

(56)【参考文献】

【文献】 特開２０１２−２１３５５５（ＪＰ，Ａ）

【文献】 特開平９−２９４７１９（ＪＰ，Ａ）

【文献】 特開２０１２−４６５３（ＪＰ，Ａ）

【文献】 特開２００５−１３７５８４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１７／００８２８５８（ＵＳ，Ａ１）

【文献】 特表２０１３−５１０６９３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３／１４

Ａ６１Ｂ ３／１２

Ａ６１Ｂ ３／１５

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ５／５０

Ｇ０６Ｔ ７／１１

Ｇ０６Ｔ ７／１２

Ｇ０６Ｔ ７／１６８

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

眼の内部を撮像する方法であって、
光源からの１つ以上の光ビームにより前記眼の前記内部を照明することであって、前記眼の瞳孔への変化をトリガするように構成されている、前記眼の前記内部を照明することと、
画像センサにより、前記照明することに応答して前記瞳孔の幅が変化しているときに予想タイムフレーム中に前記眼の前記内部により反射される光の画像のシーケンスを捕捉することと、
処理装置により、前記画像のシーケンスにおける画像の各々の被写界深度より大きい被写界深度を有する合成画像を形成するように、前記画像のシーケンスにおける前記画像を組み合わせることであって、前記画像の各々についての前記被写界深度は前記画像の各々が捕捉されるときの前記瞳孔の前記幅に対応する、前記画像のシーケンスにおける前記画像を組み合わせることと、を含む、方法。

【請求項2】

前記眼の前記内部を照明することは、前記処理装置により、前記光源からの照明出力のレベルを変化させることを含み、前記画像のシーケンスを捕捉することは、前記光源からの前記照明出力のレベルが変化するにつれて、前記画像のシーケンスを捕捉することを含み、前記瞳孔の前記幅は前記照明のレベルを変化させることに応答して変化する、請求項１に記載の方法。

【請求項3】

前記処理装置により、前記画像のシーケンスから第１の画像のセットを除去することをさらに含み、前記第１の画像のセットは前記合成画像を形成するために使用されない、請求項１に記載の方法。

【請求項4】

前記第１の画像のセットは、
第１の輝度閾値より大きい輝度値を有する露光過剰画像、および、
第２の輝度閾値より小さい輝度値を有する露光不足画像、のうちの少なくとも１つを含む、請求項３に記載の方法。

【請求項5】

前記眼と前記画像センサとの間に配置された開口により、前記画像センサに達しないように前記眼の角膜から反射される光の少なくとも一部を遮蔽することをさらに含む、請求項１に記載の方法。

【請求項6】

前記画像センサは、毎秒少なくとも２００フレームのフレームレートで前記画像のシーケンスを捕捉し、前記画像のシーケンスは少なくとも１０個の画像を含む、請求項１に記載の方法。

【請求項7】

前記画像を組み合わせることは焦点重ね合わせアルゴリズムを使用する前記処理装置を含み、前記画像の焦点が合った部分が、エッジ検出、特徴検出、またはフーリエ解析のうちの少なくとも１つを使用して特定され、前記画像の前記焦点の合った部分が前記合成画像を形成するように組み合わされる、請求項１に記載の方法。

【請求項8】

前記１つ以上の光ビームにより前記眼の前記内部を照明することは、網膜上の１つ以上の点を照明することを含み、前記光源に含まれる発光ダイオードまたはレーザダイオードのうちの少なくとも１つから出射される実質的にコリメートされた光ビームが、開口またはレンズ光学系のうちの少なくとも１つを使用して形成される、請求項１に記載の方法。

【請求項9】

眼の網膜を撮像するシステムであって、
１つ以上の光ビームにより前記網膜を照明するために位置決めされた光源と、
前記網膜から反射される光を受けて、前記眼の瞳孔の幅が変化するにつれて、前記網膜の画像を含む画像のシーケンスを捕捉するように位置決めされた画像センサと、
前記画像センサに達しないように前記眼の角膜から反射される少なくとも一部の光を遮蔽するように形状決めかつ位置決めされた開口と、
前記画像のシーケンスを受けるように前記画像センサに通信可能に結合された処理装置と、を含み、
前記処理装置は、前記処理装置により実行されるときに前記処理装置に動作を実行させる論理を含み、
前記動作は、前記画像のシーケンスにおける画像の各々の被写界深度より大きい被写界深度を有する合成画像を形成するように前記画像のシーケンスにおける前記画像を組み合わせることを含み、前記画像の各々の前記被写界深度は、前記画像の各々が捕捉されるときの前記瞳孔の前記幅に対応する、システム。

【請求項10】

前記処理装置は前記光源にさらに結合され、前記処理装置は、前記処理装置により実行されるときに前記処理装置に動作を実行させる論理をさらに含み、前記動作は、
前記光源から出力されかつ前記網膜に向けられる照明のレベルを変化させることと、
前記光源から出力される前記照明のレベルが変化するにつれて、前記画像センサにより前記画像のシーケンスを捕捉することと、を含み、前記画像のシーケンスにおける前記画像の各々は異なる被写界深度を有する、請求項９に記載のシステム。

【請求項11】

前記画像の前記異なる被写界深度は、前記光源からの前記照明のレベルを変化させることによりサイズが増加または減少する前記眼の前記瞳孔の前記幅に応答し、前記照明のレベルを変化させることは、前記光源のオン時間、前記光源から出力される前記１つ以上の光ビームの強度、瞳孔応答を誘発するように構成された前記１つ以上の光ビームのパターン、または前記１つ以上の光ビームの色分布のうちの少なくとも１つを変化させることを含む、請求項１０に記載のシステム。

【請求項12】

前記処理装置は、前記処理装置により実行されるときに、前記処理装置に、
前記画像のシーケンスにおける前記画像を組み合わせる前に前記画像のシーケンスから第１の画像のセットを除去することを含む動作を実行させる論理をさらに含む、請求項９に記載のシステム。

【請求項13】

前記第１の画像のセットは、
第１の輝度閾値より大きい輝度値を有する露光過剰画像、または、
第２の輝度閾値より小さい輝度値を有する露光不足画像、のうちの少なくとも１つを含む、請求項１２に記載のシステム。

【請求項14】

前記光源は複数の発光ダイオード（ＬＥＤ）を含み、前記ＬＥＤ前記複数のＬＥＤの各々は、前記眼に対して、前記ＬＥＤの各々が前記網膜の異なる場所に光ビームを照らすように異なる場所にそれぞれ位置決めされている、請求項９に記載のシステム。

【請求項15】

前記１つ以上の光ビームが前記網膜を照明しながら、前記眼が認識するように位置決めされた画像を表示する前記処理画像に結合されたディスプレイと、
前記画像センサと前記開口との間に配置された中間光学系と、をさらに含み、前記中間光学系はレンズまたはビームスプリッタのうちの少なくとも１つを含む、請求項９に記載のシステム。

【請求項16】

前記光源は赤外光を出射し、前記画像のシーケンスにおける前記画像の各々は、前記ディスプレイ上の前記画像を変化させることによりサイズが増加または減少する前記眼の前記瞳孔の前記幅に応答して異なる被写界深度を有する、請求項１５に記載のシステム。

【請求項17】

前記光源の前記オン時間は、前記画像の各々の捕捉中の前記画像センサの積算時間より少ない、または、前記画像センサの前記積算時間は、前記画像の各々の捕捉中の前記光源の前記オン時間より少ない、請求項９に記載のシステム。

【請求項18】

前記光源の前記オン時間は前記積算時間の５０％未満である、請求項１７に記載のシステム。

【請求項19】

前記画像のシーケンスを捕捉するための前記画像センサの総積算時間は、前記網膜を照明するときの前記光源の総オン時間を超える、請求項９に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１７年８月２９日に出願された米国特許出願第ＵＳ６２／５５１，７０８号の利益を主張するものであり、該特許出願の内容は、参照により本明細書に組み込まれる。

【0002】

本開示は、一般に、撮像技術に関し、特に、網膜撮像に関する。

【背景技術】

【0003】

網膜撮像は、多くの網膜疾患のスクリーニング、フィールド診断、および進捗監視のための基本的検眼の一部である。高忠実度網膜画像は、正確なスクリーニング、診断、および監視のために重要である。瞳孔を通過する眼（例えば、網膜）の後方内部表面の明るい照明は、画像忠実度を改善する一方、光学収差またはレンズフレアなどの画像アーチファクトをしばしば生成する。レンズフレアは、内部反射、様々の内部境界での屈折率変化、不完全性などによるレンズ系の内部構成要素から散乱する現象である。この散乱光は、画像品質に対して有害であるレンズフレアとして網膜画像に現れる。照明が明るくなればなるほど、画像忠実度を改善する目的を阻害するレンズフレアが顕著になる。瞳とのずれによる角膜反射または虹彩反射により他の画像アーチファクトが生じることがある。

【図面の簡単な説明】

【0004】

本発明の非限定的かつ非網羅的な実施形態が以下の図を参照して説明されていて、別段の規定がない限り、同じ参照番号は種々の図を通して同じ部品を指すものとする。要素のすべてのインスタンスは、妥当であれば、図を煩雑にしないように必ずしもラベル付けされていない。図は、記載されている原理を例示するときに配置されることに代えて、必ずしも拡大、強調になっていない。

【0005】

【図1】本開示の実施形態に従った、眼の網膜を撮像するシステムを示す。

【図2】本開示の実施形態に従った、統合画像信号プロセッサを含む網膜カメラの機能ブロック図である。

【図3】本開示の実施形態に従った、統合画像信号プロセッサを含む網膜カメラによる画像処理を示すブロックフロー図である。

【図4】本開示の実施形態にしたがった、光の列により眼を照明することを示す。

【図5】本開示の実施形態に従った、網膜の焦点重ね合わせ画像を示す。

【図6】本開示の実施形態に従った、眼の網膜を撮像する方法を示す。

【図7】本開示の実施形態に従った眼照明パターンを示す。

【発明を実施するための形態】

【0006】

網膜撮像のための焦点重ね合わせ用装置および方法の実施形態が本明細書で説明されている。以下の説明では、多数の具体的詳細が、実施形態の徹底的な理解を提供するように記載されている。しかし、本明細書で説明されている技術が、具体的詳細の１つ以上によってではなく、または他の方法、構成要素、材料などで実行され得ることを、当業者は理解するであろう。他の例では、公知の構造、材料、または動作は、特定の態様を不明瞭にすることを回避するために詳細には図示または説明されていない。

【0007】

本明細書全体を通しての「１つの実施形態」または「実施形態」への言及は、実施形態に関連して説明されている特定の特徴、構造または特性が本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体を通して様々の場所で語句「１つの実施形態で」または「実施形態で」の出現は、必ずしもすべてが同じ実施形態を指していない。さらに、特定の特徴、構造、または特性は、１つ以上の実施形態で任意の適切な方法で組み合わされてもよい。

【0008】

瞳孔拡張は、網膜撮像の不都合な構成要素である。患者の瞳孔が十分に拡張された（それ自身、時間の掛かるプロセス）後でさえ、網膜を撮像するのに必要な明るい照らしは患者にまばたきさるものであり、照らしは、一般に、患者にとってかなり不快である。さらに、増加された瞳孔径により提供される一方、撮像のために眼に入る光を最大化するのに良好である大きい開口は、被写界深度をかなり浅くする欠点を有する。したがって、網膜の小さい部分のみが一度に撮像可能である。逆に、収縮された（小さい）瞳孔で網膜を撮像することは困難であって、少量の光のみが網膜に進み（および網膜から反射され）、光源と眼の小さなずれは角膜反射をもたらし得る。本開示は、焦点重ね合わせを介してこれらの網膜撮像の準最適態様を改善する。

【0009】

眼の瞳孔は、照明における変化に少なくとも一部が基づいて瞳孔径を調整する比較的速い光制御系（例えば、生体力学的開口）である。したがって、各「ｆストップ」、すなわち、入射瞳の直径に対する系の焦点距離の比で虹彩を同時に撮像して、「焦点重ね合わせ」または「フォーカス重ね合わせ」と呼ばれる技術を実施しながら、（照らしで虹彩を投射するのとは反対に）虹彩の入射照明はゆっくりランプアップされ得る。焦点重ね合わせは、より大きい被写界深度（すなわち、画像において焦点が合って許容可能に見えるシーンで最も近い対象と最も遠い対象との間の距離）で画像を生成する。本開示の利益を有する当業者は、視認されるシーンに依存して瞳孔の大きさも変化することを理解するであろう。したがって、いくつかの実施形態では、シーンは刺激として使用されてもよい一方、網膜は、赤外線スペクトル（単一帯域または複数帯域）を使用して照明および撮像されてもよい。いくつかの実施形態では、眼は、赤外光だけで照明されてもよく、または赤外光および可視光の組み合わせで照明されてもよい。

【0010】

焦点重ね合わせでは、同じ被写体を含む複数の画像（各々が被写体の焦点が合った部分を有する）が組み合わされて、被写体全体が、焦点が合うようになる。本明細書において画像を組み合わせることは、重ね合わせること（すなわち、異なる焦点距離で撮像される複数の画像を組み合わせて、個々のソース画像のいずれかより大きい被写界深度を有する結果画像を得ること）と、ステッチングすること（すなわち、視野を重畳して複数の写真画像を組み合わせて、セグメント化パノラマまたは高解像度画像を生成すること）と、混合すること（すなわち、背景画像と部分透過性の外観を与える前景画像とを組み合わせること）、それらの組み合わせと、または他の種類の画像の組み合わせとを含んでもよいことが、本開示の利益を有する当業者により理解される。一実施形態では、重ね合わせることは、重ね合わせされる画像フレームの画素間アライメントを含んでもよい。別のまたは同じ実施形態では、重ね合わせることは、画像フレームの面積の少なくとも２５％だけ重ね合わされる別の画像フレームと重畳して重ね合わされた各画像フレームを含む。ここで、虹彩の複数の画像を画像センサで捕捉することができ、画像の焦点が合った構成要素が組み合わされて、大きい被写界深度で虹彩の合成画像を生成することができる。

【0011】

本明細書で開示している技術の付加的な新規態様は、点照明（環状リングを出射する光源ではなく）が未拡張の瞳孔（例えば、医師により化学的に拡張されていない）を撮像するために使用され得ることである。これは、瞳孔が収縮されたときでさえ、網膜が照明されることを可能にする。さらに、本明細書に開示されている網膜カメラシステムは、従来の眼底カメラよりかなり高いフレームレート（＞２４０フレーム／秒）を有し、かなり短い時間のバースト（ｂｕｒｓｔ）で複数の異なる「ｆストップ」の撮像を可能にする。捕捉時間は短いため、その時間フレーム内の動きの確率は減少する。一連の画像における動きが少なければ少ないほど、高い品質の合成画像を生成する。さらに、点照射源の強度または出射時間は、瞳孔収縮を補償する（例えば、瞳孔が小さくなるにつれて、光源はより多くのまたはより明るい光を出射し、したがって、より多くの光が眼の内部からカメラに反射される）ように変化されてもよい。

【0012】

本明細書に開示されているシステムおよび方法を用いることにより、そうでなければ嵩高な網膜撮像システムをより小さい装置に縮小することが可能であることが理解される。最低限、装置の移送、配送および保守に関連するコストが低減されるために、装置が小さければ小さいほど、より多くの人が医療にアクセスすることを可能にする。

【0013】

図１は、本開示の実施形態に従った網膜撮像システム１００を示す図である。網膜撮像システム１００の例示の実施形態は、開口１３５と、網膜カメラ１１０と、処理装置１１７と、ユーザインタフェース１１５と、ディスプレイ１２０と、光源（発光ダイオード１３７Ａおよび１３７Ｂを含む）と、レンズ１２５を含む光中継システム１２５と、ビームスプリッタ１３０とを含む。網膜撮像システム１００は、本開示の教示にしたがって、眼の内部の他の部分（網膜以外）を撮像するように使用されてもよいことが理解される。

【0014】

描画されている実施形態では、開口１３５は、網膜から網膜カメラ１１０（画像センサを含む）への光の光路内に物理的に位置決めされて、そうでなければ網膜カメラ１１０に達することもある数多くの軸外有害反射を遮蔽するストップとして動作する。しかし、他の実施形態では、開口１３５は他の場所に位置決めされてもよく、付加的な開口１３５がシステムに付加されてもよい。例えば、網膜と共役であり、かつ光が他の場所から入射することを許可しない開口１３５が存在してもよい。例示の実施形態では、網膜画像は、開口１３５を介して網膜カメラ１１０まで通される。一実施形態では、開口１３５は、１つ以上の光学膜（例えば、ダイクロイックコーティング）がコーティングされて、赤外線（ＩＲ）注視トラッキングの使用を容易にする９００ｎｍを超える光を実質的に反射しつつ、９００ｎｍ未満の波長の光を実質的に通す（すなわち、ローパスフィルタとして動作する）。一実施形態では、虹彩カメラ（図示せず）は、ＩＲ注視トラッキングを支援するように横方向に配置されている。虹彩カメラは、眼１０１の虹彩および／または瞳孔をトラッキングまたは撮像することにより、まばたきおよび注視トラッキングなどの眼１０１の動き全体をトラッキングするように動作してもよい。

【0015】

ビームスプリッタ１３０は、ディスプレイ１２０から眼１０１に表示光出力を反射しつつ、網膜カメラ１１０に網膜画像の光の一部を通すように位置決めされている。表示光は、撮像中に網膜アライメントを支援する固視標または他の視覚刺激を含んでもよい。換言すれば、ディスプレイ１２０は、光ビーム（例えば、ダイオード１３７Ａ／１３７Ｂからの）が網膜を照射している間に、眼が見るように位置決めされた画像を表示する処理装置１１７に結合されている。さらに、示しているように、他の中間光学系（例えば、レンズ１２５）は、画像センサと開口１３５との間に配置されてもよい。

【0016】

いくつかの実施形態では、ビームスプリッタ１３０は反射性より透過性が大きい。一実施形態では、ビームスプリッタ１３０は約９０％の透過性および１０％の反射性である。他の反射率／透過率比が実施されてもよい。レンズ１２５は、システム１００全体に亘って備えられて、光路内に画像および光フォーカシングを提供する。ユーザインタフェース１１５は、バースト画像捕捉を開始する機構を提供する。一実施形態では、ユーザインタフェース１１５はボタンであるが、また、システムのユーザに撮像システム１００の様々な状態／ステータスを通信するタッチスクリーンなどを含んでもよい。

【0017】

示しているように、複数の発光ダイオード（ＬＥＤ）、例えば、ＬＥＤ１３７Ａおよび１３７Ｂを備えた光源が、１つ以上の光ビームで眼１０１の網膜を照明するように位置決めされている。描画されている実施形態では、ＬＥＤ１３７Ａおよび１３７Ｂは、ダイオードからの光がシステムの他の光学系を通って眼１０１に達するように進まないように、眼１０１の近傍に位置決めされている。しかし、光源は、本開示の教示にしたがって、システム１００内のどこに配置されてもよい。描画されている実施形態では、複数のＬＥＤにおける個々のＬＥＤ（例えば、１３７Ａおよび１３７Ｂ）は、眼１００に対して異なる場所に位置決めされていて、異なる時間に個々のＬＥＤを起動させることにより網膜１２９の異なる場所に光ビームを照らす。例えば、ＬＥＤ１３７Ａが点灯して、網膜１２９の１つの部分を照明してもよく、次いで、ＬＥＤ１３７Ａが消灯してもよく、およびＬＥＤ１３７Ｂが点灯して、網膜１２９の異なる部分を照明してもよい。代替的にまたは追加的に、単一のＬＥＤは、異なる場所に光をフォーカシングするように動くことができてもよい。

【0018】

画像センサ（例えば、毎秒少なくとも２００フレームのフレームレートを有してもよい網膜カメラ１１０内に含まれる）は、網膜１２９から反射される光を受けて、網膜の画像を含む画像のシーケンス（例えば、一度に１つ、グループで、または一挙に）出力するように位置決めされている。開口１３５は、眼１０１と網膜カメラ１１０との間に位置決めされて、画像センサに達しないように眼１０１の角膜から反射される光の少なくとも一部を遮断するように形状決めされている。これは、反射が画像センサにおける画像画素の飽和をもたらす輝度値の原因になり得るために、不要な画像ノイズを防止し得る。処理装置１１７は、画像センサからの画像のシーケンスを受ける画像センサ（例えば、網膜カメラ１１０内に物理的に含まれる、または網膜カメラに配線されている）に結合されている。画像のシーケンスは、１０個以上の画像を含んでもよいが、４０個または５０個の画像などのより多い画像を含んで、オーバーサンプルデータセットを提供してもよい。処理装置１１７は、処理装置により実行されるときに処理装置に種々の動作を実行させる論理を含む。例えば、処理装置１１７は、画像のシーケンスにおける個々の画像を結合させて、合成画像を形成してもよく、合成画像は、画像のシーケンスにおける個々の画像の被写界深度より大きい被写界深度を有してもよい。

【0019】

異なるまたは同じ実施形態では、処理装置１１７はまた、光源に結合されて、光源から出力されかつ網膜１２９で方向付けられる照明のレベルを変化させてもよい。光源からの照明出力のレベルが変化しているときに、処理装置１１７は、画像のシーケンスを捕捉するよう画像センサに指示してもよい。したがって、照明のレベルが変化しつつ、眼１０１の瞳孔の直径が変化していて、光学系に対して異なる開口サイズを生成するために、画像のシーケンスにおける個々の画像は異なる被写界深度を有する。換言すると、画像のシーケンスの個々の画像は、変化している照明のレベルによりサイズが増加または減少する瞳孔の幅の結果として異なる被写界深度を有する。したがって、瞳孔はシステム１００における開口としての役割を果たしている。

【0020】

別のまたは同じ実施形態では、処理装置１１７は、画像のシーケンスから第１のセット画像（例えば、低品質の画像）を除去する論理をさらに含む。この第１の画像のセットは、合成画像を形成するのに使用される個々の画像含まれない。いくつかの実施形態では、第１の画像のセットは、第１の輝度閾値より大きい輝度値（例えば、画像におけるすべての画素または画素のセットにおける平均輝度値）を有する露光過剰画像、または第２の輝度閾値より小さい輝度値を有する露光不足画像を含む場合がある。いくつかの例では、第１のセットにおける画像は、ぼやけ過ぎている（例えば、画像センサが捕捉中に動いたために）画像、網膜の画像を含まない（例えば、対象物が画像捕捉中に動いたために）画像などの他の理由のために鮮明に解像されない場合がある。画像は、手動選択によりまたは自動選択により除去されてもよい（例えば、ハイパスフィルタ／ローパスフィルタを使用して、高過ぎるもしくは低すぎる輝度値の画像を除去する、または／および、機械学習アルゴリズムを使用して、網膜を含まない画像を除去するなど）。高品質の画像が選択されて、低品質の画像が除去されると、高品質の画像は、エッジ検出、特徴検出、またはフーリエ解析などの焦点重ね合わせ方法を使用して組み合わされてもよい。

【0021】

図２は、本開示の実施形態に従った、統合画像信号プロセッサ２２０（例えば、図１の処理装置１１７の一実施形態）を含む網膜カメラ２００の機能ブロック図である。網膜カメラ２００は、図１の網膜カメラ１１０の１つの可能な実施形態である。網膜カメラ２００の例示の実施形態は、二次元画像センサレイ２０５と、データ変換回路２１０と、メモリバッファ２１５と、統合画像信号プロセッサ（ＩＳＰ）２２０と、出力ポート２２５とを含む。

【0022】

動作中、二次元画像データ（例えば、網膜画像）はセンサアレイ２０５により取得されて、データ変換回路２１０によりアナログドメインからデジタルドメインに変換される。画像データは高フレームレート（例えば、毎秒２４、４８、６０、２４０、１０００フレーム）で取得されて、メモリバッファ２１５に記憶されてもよい。ＩＳＰ２２０は、バッファリングされた網膜画像フレームに関して動作して、使用可能または欠陥領域を特定し、画像フレームにおける対象領域に注釈を付け、および／または使用可能な領域を高品質の合成網膜画像に組み合わせる。したがって、一実施形態では、上記画像処理タスクの一部は、図１の処理装置１１７からＩＳＰ２２０への搭載を外されてもよい。ＩＳＰ２２０は、図１の処理装置１１７の論理補助構成要素とみなされてもよい。

【0023】

図３は、本開示の実施形態に従った、統合ＩＳＰ２２０を有する利益を活用する図２の網膜カメラ２００による画像処理を示すブロックフロー図である。示しているように、網膜（例えば、図１の網膜１２９）の画像フレーム３０５Ａ〜３５０Ｃは、高フレームレートでセンサアレイ２０５により取得され、データ変換回路２１０によりデジタルドメインに変換され、メモリバッファ２１５にバッファリングされる。画像解析装置３１０は、バッファリングされた網膜画像３０５を解析して（一種の前処理）、画像フレーム３０５Ａ〜３０５Ｃのどの部分が十分な品質を有するか、およびどの部分が許容不可の画像アーチファクトのために不十分な品質を有するかを決定するＩＳＰ２２０により実行される。例えば、画像解析装置３１０は、有用である十分なコントラストを有しない、消失された、および／または許容できない角膜もしくは虹彩反射またはレンズフレアを含むぼやけた部分のために画像フレーム３０５Ａ〜３０５Ｃを解析してもよい。許容不可とみなされる画像部分は許容不可とフラグ付けされる一方、許容可とみなされる画像部分はそのようにフラグ付けされる。次いで、画像フレームは、互いに対して登録され（例えば、画素間アライメント）、画像登録／クロッピングモジュール３１５により共通視野に対してクロッピングされ、続いて、重ね合わせモジュール３２０により単一の合成網膜画像３２５に組み合わされる。重ね合わせモジュール３２０は、画像を組み合わせて、大きい被写界深度で高ダイナミックレンジの画像を生成してもよい。他の実施形態では、画像フレーム３０５は、個々の画像フレームの解析／注釈付けなしに簡単に組み合わされる。

【0024】

図４は、本開示の実施形態に従った、光ビーム４５３で眼４０１を照明することを示している。示しているように、ＬＥＤまたは他の照明源は、眼４０１の瞳孔４５１に光ビーム４５３を照らしてもよい。例示の実施形態では、光ビームは環状ではなく、ビーム全体が光子を充填されていて、眼４０１の網膜上にドット（例えば、任意の形状の照明点）を生成する。換言すれば、光ビーム４５３は、網膜上のドット形状領域を照明し、ドット形状領域全体が光源からの光子を受ける。いくつかの実施形態では、光ビーム４５３は、ＬＥＤから出射されて、実質的にコリメートされ、人間の瞳孔の幅より小さい第１の幅を有する。いくつかの実施形態では、実質的にコリメートされた光ビームが、レーザ、開口、またはレンズ光学系のうちの少なくとも１つを使用して形成される。いくつかの実施形態では、網膜上のドット形状点は、環状照明より優れていて、画像を捕捉するときの眼の周りの異なる点からのグレアを低減してもよい。これは、画像のシーケンスにおける露光過剰または消失画像にわたってより少なくもたらしてもよい。

【0025】

描画されている実施形態では、光ビーム４５３は時間の関数としての強度が増加しているために、瞳孔４５１は大きさが次第に収縮している。光源から出力される照明のレベルを変化させることにより、瞳孔４５１の幅も変化する。次いで、画像センサは、光源から出力される照明のレベルが変化するにつれて、画像のシーケンスを捕捉してもよく、画像のシーケンスにおける画像は、変化する瞳孔の幅に応答して異なる被写界深度を有する。光の強度は時間と共により明るく（より高い強度）なり得る（したがって、瞳孔を収縮させる）一方、他の実施形態では、光は時間と共に徐々により暗く（強度を減少させる）なり得る（したがって、瞳孔を拡張する）ことが理解される。本開示の利益を有する当業者は、多数の異なる光強度変化のシーケンスが、合成画像を形成するように組み合わされてもよい異なる焦点で画像を得てもよい。例えば、光源からの光は、より明るく、次いでより暗く、次いで再びより明るくなってもよい。または逆に、光は、より暗く、次いでより明るく、次いで再びより暗くなってもよい。

【0026】

図５は、本開示の実施形態に従った、眼の内部の網膜または別の部分の焦点重ね合わせ画像を示す。示しているように、網膜の４つの画像フレーム（５０５Ａ〜５０５Ｄ）は画像センサにより捕捉される。長い線は、網膜内／上の完全に解像された静脈および他の解剖学的構造を表し、短い破線は、画像の焦点がずれているまたは消失された部分を表す。示しているように、画像フレーム５０５Ａの左下側角は完全に解像されているが、画像の残りはそうではない。同様に、画像フレーム５０５Ｂの中間部分（フレームの左上側角から右下側角まで広がっている）は焦点が合っていて、十分に解像されているが、画像フレーム５０５Ｂの残りはそうではない。画像フレーム５０５Ｃの右上側角は焦点が合っているが、画像の残りはそうではない。最後に、画像フレーム５０５Ｄは、焦点がずれており、有用な情報を含んでいない。したがって、画像フレーム５０５Ｄは、除去されて、合成画像５２５に使用する重ね合わせモジュール５２０に送られない。画像フレーム５０５Ａ〜５０５Ｃの残りは、重ね合わせモジュール５２０に送られて、大きい被写界深度で単一の高解像度合成画像５２５に組み合わされる。一実施形態では、画像は、エッジ検出、特徴検出、またはフーリエ解析を使用して組み合わされてもよい。

【0027】

図６は、本開示の実施形態に従った、眼の網膜を撮像する方法６００を示している。本開示の利益を有する当業者は、方法６００におけるブロックが任意の順序で、かつ並列にさえ存在してもよいことを理解するであろう。さらに、ブロックは、本開示の教示に従った方法６００に追加またはそれから除去されてもよい。方法６００は、網膜を含む眼の内部の他の部分を撮像するように使用されてもよいが、それに限定されない。例えば、網膜の前方または後方の眼の部分は、本明細書に開示されている本技術およびシステムを使用して撮像されてもよい。

【0028】

ブロック６０１は、光源からの光ビームで網膜を照明することを示している。上記のように、光ビームは、人間の眼の瞳孔の幅より小さい幅を有してもよい。開示されている装置および方法は非拡張の瞳孔を使用してもよいため、眼が非拡張であってもよいことが理解される。さらに、これは、患者の眼を拡張する煩雑なおよび不快な処理を排除する。

【0029】

いくつかの実施形態では、光ビームで網膜を照明することは、複数のＬＥＤまたは複数のレーザダイオードから出射される実質的にコリメートされた光ビームを使用することを含む。さらに、網膜の照明される部分は、網膜上に１つ以上のドット形状領域を含んでもよく、１つ以上のドット形状領域全体は光源からの光子を受ける。換言すれば、これらの実施形態の照明は環状でなくてもよい。

【0030】

いくつかの実施形態では、眼と画像センサとの間に配置された開口により画像センサに達しないように、眼の角膜から反射される光の少なくとも一部を遮蔽することが必要であり得る。これは、捕捉される画像のより多くが合成画像を形成するのに十分高い品質を有することを可能にする。開口はまた、角膜以外の眼の部分からの不要な反射を遮蔽してもよい。

【0031】

ブロック６０３は、画像センサにより、網膜から反射された光の画像のシーケンスを捕捉することを示す。これは、光源から出力される照明のレベルを変化させることと同時に起こってもよい。照明のレベルを変化させることは瞳孔の直径を変化させて、異なる被写界深度を有する複数の画像が捕捉されることを可能にする。

【0032】

ブロック６０５は、画像センサから処理装置に画像のシーケンスを出力することを表し、画像のシーケンスは網膜の画像を含む。画像は、有線または無線で（例えば、インターネットまたはローカルエリアネットワークで）転送されてもよい。処理装置は、画像センサまたはカメラの一部であってもよく、または、別の離散的なハードウェアに含まれてもよい。処理装置はまた、ソフトウェアおよび／またはハードウェアに実装されて、単一の装置内に含まれまたは複数の装置にわたって（例えば、複数のサーバ上に）分散されてもよい。

【0033】

ブロック６０７は、処理装置により、画像のシーケンスにおける画像を組み合わせて、画像のシーケンスにおける画像の各々の被写界深度より大きい被写界深度を有する合成画像を形成することを示す。画像の各々の被写界深度は、画像の各々が捕捉されるときの瞳孔の幅に対応することが理解される。上記のように、画像を組み合わせる前に、処理装置は、合成画像を形成するのに使用される画像から、画像アーチファクト、グレア、露光過剰／露光不足を有し得る第１のセット画像を除去してもよい。低い品質の画像が除去された後、処理装置は、焦点重ね合わせ技術を使用して画像を組み合わせてもよく、ここで、画像の焦点が合った部分が、エッジ検出、特徴検出、またはフーリエ解析を使用して特定される。

【0034】

図７は、本開示の実施形態に従った眼照明パターンを示す。示しているように、画像取得ウィンドウ７０１（Ｌ１、Ｌ２、Ｌ３などとラベル付けされた積算時間としても知られている）の間、光源（例えば、図１の発光ダイオード１３７Ａ／１３７Ｂ）は、光の強度、ＬＥＤのオン時間（例えば、眼を照明する長さ）、または同時に両方を変化させることにより受けられる照明のレベルを変化してもよい。例えば、ＬＥＤ出力パターン７０３では、光の強度は、各遂次取得ウィンドウと共に増加する。したがって、瞳孔が光に応答して収縮しているとき、より多くの光が網膜から反射されるために、システムはなおも画像を捕捉することができる。同様に、ＬＥＤ出力パターン７０３では、光源が光を出力している時間は、各遂次取得ウィンドウと共に増加している。したがって、瞳孔が光に応答して収縮しながら、より多くの光が網膜から反射されるためにシステムはなおも画像を捕捉することができる。示しているように、いくつかの実施形態では、光源のオン時間が画像センサの積算時間（例えば、フォトダイオードが画像電荷を生成している時間）より短い一方、他の実施形態では、画像センサの積算時間は光源のオン時間より少ない。いくつかの実施形態では、光源は、複数の積算時間期間にわたってオンを維持して、各積算時間期間間に強度出力を次第に変化させてもよい。したがって、光源の総オン時間は、画像のシーケンスを捕捉する総積算時間を超える。あるいは、光源は、例えば、積算時間期間中、および各積算時間期間の５０％未満に対してのみオンであってもよい。他の実施形態では、光源は、各積算時間期間の４０％未満、３０％、２０％、または１０％に対してのみオンであってもよい。したがって、いくつかの実施形態では、画像のシーケンスを捕捉する総積算時間は、網膜を照明するときの光源の総オン時間を超える。

【0035】

いくつかの実施形態では、積算時間または捕捉ウィンドウは長くかつ複数の照明イベントにわたってもよい。あるいは、積算時間は、画像飽和を防止するように毎秒数百フレームで画像センサにおけるフォトダイオードから読み取られる電荷により、比較的短くてもよい。

【0036】

本開示の教示にしたがって、光強度、持続時間、および積算時間の数多くのパターンが存在する（例示に適用するには多過ぎる）ことと、任意のパターンが本明細書で開示されているシステムおよび方法により採用されてもよいこととが理解される。

【0037】

上記のプロセスは、コンピュータソフトウェアおよびハードウェアについて説明されている。説明されている技術は、機械により実行されるときに、機械に、説明されている動作をさせる有体または非一自的機械（例えば、コンピュータ）可読記憶媒体内に具現化されている機械実行可能命令を構成してもよい。さらに、処理は、特定用途向け集積回路（「ＡＳＩＣ」）などのハードウェア内に具現化されてもよい。

【0038】

有体機械可読記憶媒体は、機械（例えば、コンピュータ、ネットワーク装置、携帯情報端末、製造ツール、１つ以上のプロセッサのセットを備えた任意の装置など）によりアクセス可能な非一時的な形式で情報を提供（すなわち、記憶）する任意の機構を含む。例えば、機械可読記憶媒体は記録可能／非記録可能媒体（例えば、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置など）を含む。

【0039】

本発明の例示の実施形態についての上記説明は、要約書で説明されているものを含み、開示されている正確な形態に対して網羅的であるようにまたは本発明を限定するように意図されているものではない。当業者が認識するであろうように、本発明の特定の実施形態および本発明についての例は例示目的で本明細書に説明されている一方、様々な変更が本発明の範囲内で可能である。

【0040】

これらの変更は、上記詳細な説明に照らして、本発明に対してなされ得るものである。以下の特許請求の範囲で使用されている用語は、本明細書に開示されている特定の実施形態に本発明を限定するものと解釈されるべきではない。むしろ、本発明の範囲は、請求項の解釈の確立された法理にしたがって解釈されるべきである、以下の特許請求の範囲によりすべて決定されるべきである。排他的所有権または特権が請求されている本発明の実施形態が特許請求の範囲において特定されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】