▶ ヴェリリー ライフ サイエンシズ エルエルシーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-01
(45)【発行日】2022-08-09
(54)【発明の名称】網膜連続撮像中のフラッシュ最適化
(51)【国際特許分類】
A61B 3/15 20060101AFI20220802BHJP
G02B 7/36 20210101ALI20220802BHJP
G03B 13/36 20210101ALI20220802BHJP
A61B 3/12 20060101ALI20220802BHJP
H04N 5/235 20060101ALI20220802BHJP
H04N 5/232 20060101ALI20220802BHJP
H04N 5/225 20060101ALI20220802BHJP
A61B 3/113 20060101ALI20220802BHJP
【ＦＩ】
A61B3/15
G02B7/36
G03B13/36
A61B3/12
H04N5/235 400
H04N5/232 290
H04N5/225 600
A61B3/113
【請求項の数】
23
(21)【出願番号】P 2020517849
(86)(22)【出願日】2018-10-09
(65)【公表番号】
(43)【公表日】2020-12-24
(86)【国際出願番号】 US2018054965
(87)【国際公開番号】W WO2019079063
(87)【国際公開日】2019-04-25
【審査請求日】2020-05-25
(31)【優先権主張番号】62/573,324
(32)【優先日】2017-10-17
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】516035068
【氏名又は名称】ヴェリリー ライフ サイエンシズ エルエルシー
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100126480
【弁理士】
【氏名又は名称】佐藤 睦
(72)【発明者】
【氏名】ウォルシュ，コーリー
(72)【発明者】
【氏名】グリク，エリエゼル
(72)【発明者】
【氏名】カヴーシ，サム
【審査官】北島 拓馬
(56)【参考文献】
【文献】特開２０１０－１９４１６０（ＪＰ，Ａ）
【文献】特開２００８－２１２３２７（ＪＰ，Ａ）
【文献】特開２００５－２４５８９４（ＪＰ，Ａ）
【文献】特表２０１７－５２６５０７（ＪＰ，Ａ）
【文献】特開２００３－３３９６４２（ＪＰ，Ａ）
【文献】特開２０１２－０５０５８８（ＪＰ，Ａ）
【文献】特開２０１４－０８３３９７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３／００ － ３／１８
(57)【特許請求の範囲】
【請求項1】
眼の内部を撮像するための装置であって、画像センサと、
可視光を出力することができる複数の光エミッタ（ＬＥ）と、
非可視光を出力することができる複数の非可視光エミッタ（ＮＶ－ＬＥ）と、
前記複数のＬＥ、前記複数のＮＶ－ＬＥ、および前記画像センサに連結されたコントローラとを備え、前記コントローラは、前記コントローラによって実行されると、前記装置に、
前記複数のＮＶ－ＬＥからの前記非可視光で前記眼を照らすことと、
前記複数のＮＶ－ＬＥ中の前記ＮＶ－ＬＥの各々について、前記眼からの前記非可視光の反射量を決定することと、
前記ＮＶ－ＬＥの各々について前記非可視光の前記反射量に少なくとも部分的に基づいて、前記複数のＬＥ中の１つ以上のＬＥを選択することと、
前記複数のＬＥ中の選択された１つ以上のＬＥで前記眼を照らすことと、
前記画像センサを用いて、前記眼が前記ＬＥからの前記可視光で照らされている間に、前記眼の内部の一連の画像を撮影することとを含む動作を実行させるロジックを実施する、装置。
【請求項2】
前記ＬＥの各々は、前記ＮＶ－ＬＥの各々と同位置に配置され、前記コントローラは、前記コントローラによって実行されると、前記装置に、前記ＮＶ－ＬＥの各々について前記眼からの前記非可視光の前記反射量を、前記ＬＥの各々について前記眼からの前記可視光の第２の反射量と相関させることを含む動作を実行させるロジックをさらに実施する、請求項１に記載の装置。
【請求項3】
前記ＬＥのうちの選択された１つ以上で前記眼を照らすことは、対応するＮＶ－ＬＥからの前記非可視光の前記反射量が反射閾値よりも大きいとき、前記ＬＥのうちのいくつかを無効にすることを含む、請求項２に記載の装置。
【請求項4】
前記コントローラに連結された複数のフォトダイオードをさらに備え、前記コントローラは、前記コントローラによって実行されると、前記装置に、前記複数のフォトダイオードを用いて、前記眼からの前記非可視光の前記反射量を測定することを含む動作を実行させるロジックをさらに実施し、前記コントローラは、前記複数のフォトダイオードによって測定された前記反射量を分析して、前記ＮＶ－ＬＥの各々について前記眼からの前記非可視光の前記反射量を決定する、請求項１に記載の装置。
【請求項5】
前記コントローラは、前記コントローラによって実行されると、前記装置に、前記複数のフォトダイオードで測定されるような、前記眼からの前記非可視光の前記反射量に基づいて、前記眼の前記内部に焦点が合ったときを決定することを含む動作を実行させるロジックをさらに実施する、請求項４に記載の装置。
【請求項6】
前記コントローラは、前記コントローラによって実行されると、前記装置に、前記画像センサを使用して、前記眼からの前記非可視光の前記反射量を測定することを含む動作を実行させるロジックをさらに実施し、前記コントローラは、前記画像センサによって測定された前記反射量を分析して、前記ＮＶ－ＬＥの各々について前記眼からの前記非可視光の前記反射量を決定する、請求項１に記載の装置。
【請求項7】
前記コントローラは、前記コントローラによって実行されると、前記装置に、前記画像センサによって測定される、前記眼からの前記非可視光の前記反射量に基づいて、前記眼の前記内部に焦点が合ったときを決定することを含む動作を実行させるロジックをさらに実施する、請求項６に記載の装置。
【請求項8】
前記コントローラは、前記コントローラによって実行されると、前記装置に、前記一連の画像の少なくともいくつかの画像を合成して、前記眼の前記内部の合成画像を形成することを含む動作を実行させるロジックをさらに実施し、合成することは、フォーカススタッキング、画像スティッチング、画像ブレンディング、またはこれらの任意の組み合わせのうちの少なくとも１つを含む、請求項１に記載の装置。
【請求項9】
前記ＮＶ－ＬＥからの前記非可視光で前記眼を照らすことは、前記複数のＮＶ－ＬＥ中の前記ＮＶ－ＬＥの各々で前記眼を順次照らすことを含み、ＬＥからの前記可視光で前記眼を照らすことは、前記複数のＬＥ中のいくつかのＬＥで前記眼を順次照らすことを含む、請求項１に記載の装置。
【請求項10】
前記コントローラは、前記コントローラによって実行されると、前記装置に、前記ＮＶ－ＬＥの各々について前記眼からの前記非可視光の前記反射量に応答して、前記眼を照らす前記ＬＥの順序を決定することを含む動作を実行させるロジックをさらに実施する、請求項９に記載の装置。
【請求項11】
前記複数のＬＥおよび前記複数のＮＶ－ＬＥは、リング上に配置され、前記ＬＥの各々および前記ＮＶ－ＬＥの各々は、互いに隣接して、かつ前記リングの周りに等間隔で配置されている、請求項１に記載の装置。
【請求項12】
眼の内部を撮像するための装置の作動方法であって、前記装置は、画像センサと、複数の光エミッタ（ＬＥ）と、複数の非可視光エミッタ（ＮＶ－ＬＥ）と、前記複数のＬＥ、前記複数のＮＶ－ＬＥ、および前記画像センサに連結されたコントローラとを備え、
前記作動方法は、
前記装置が、前記複数のＮＶ－ＬＥ中のＮＶ－ＬＥからの非可視光で前記眼を照らすことと、
前記装置が、前記コントローラを用いて、前記ＮＶ－ＬＥの各々について前記眼からの前記非可視光の反射量を決定することと、
前記装置が、前記ＮＶ－ＬＥの各々についての前記非可視光の前記反射量に基づいて、前記複数のＬＥからＬＥを選択することと、
前記装置が、選択されたＬＥからの可視光で前記眼を照らすことと、
前記装置が、前記画像センサを用いて、前記眼が前記ＬＥからの前記可視光で照らされている間に、前記眼の内部の画像を含む一連の画像を撮影することと、を含む、作動方法。
【請求項13】
前記装置が、前記コントローラを用いて、前記ＮＶ－ＬＥの各々についての前記眼からの前記非可視光の前記反射量を、前記ＬＥの各々についての前記眼からの前記可視光の第２の反射量と相関させることをさらに含む、請求項１２に記載の作動方法。
【請求項14】
前記装置が、前記非可視光の前記反射量に基づいて、前記眼を照らす前記ＬＥの順序を決定することをさらに含む、請求項１２に記載の作動方法。
【請求項15】
前記装置が、前記コントローラを用いて、前記一連の画像の少なくともいくつかの画像を合成して前記眼の前記内部の合成画像を形成することをさらに含み、合成することは、フォーカススタッキング、画像スティッチング、画像ブレンディング、またはこれらの任意の組み合わせのうちの少なくとも１つを含む、請求項１２に記載の作動方法。
【請求項16】
前記非可視光で前記眼を照らすことは、前記可視光で前記眼を照らす前に行われ、前記ＮＶ－ＬＥの各々は、前記ＬＥの各々と同位置に配置されている、請求項１２に記載の作動方法。
【請求項17】
前記装置は、前記コントローラに連結された複数のフォトダイオードをさらに備え、前記装置が、前記複数のフォトダイオードを用いて、前記ＮＶ－ＬＥの各々について前記眼からの前記非可視光の前記反射量を測定することをさらに含む、請求項１２に記載の作動方法。
【請求項18】
前記装置が、コントラスト検出オートフォーカスを使用して前記一連の画像を撮影するために、前記画像センサが合焦であると決定することをさらに含む、請求項１７に記載の作動方法。
【請求項19】
前記非可視光の前記反射量を測定することは、前記複数のフォトダイオードの上に配置されたカラーフィルタで前記非可視光以外の光の波長をフィルタリングすることを含む、請求項１７に記載の作動方法。
【請求項20】
コントラスト検出オートフォーカスを使用することは、前記フォトダイオード間の前記非可視光の強度差を前記コントローラを用いて測定することを含む、請求項１８に記載の作動方法。
【請求項21】
コントラスト検出オートフォーカスを使用することは、前記コントローラを使用して、前記画像センサ内の隣接ピクセル間の前記非可視光の強度差を決定することを含む、請求項１８に記載の作動方法。
【請求項22】
前記装置が、前記複数のＬＥから前記ＬＥを選択する前に、前記眼の瞳孔の画像を撮影することと、前記装置が、前記コントローラを用いて、前記画像または前記瞳孔を使用して前記瞳孔の位置を決定することとをさらに含み、前記ＬＥを選択することは、少なくとも部分的には、前記瞳孔の位置を使用して前記ＬＥを選択することを含む、請求項１２に記載の作動方法。
【請求項23】
前記選択されたＬＥのうちの少なくともいくつかは、前記眼を照らすために使用される前記ＮＶ－ＬＥの各々と同位置に配置されていない、請求項１２に記載の作動方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０１７年１０月１７日に出願された米国仮特許出願第６２／５７３，３２４号の優先権を主張し、その内容は参照により本明細書に組み込まれる。
本出願は、２０１７年１０月１７日に出願された米国仮特許出願第６２／５７３，３２４号の優先権を主張し、その内容は参照により本明細書に組み込まれる。
【0002】
本開示は、概して、撮像技術に関し、具体的には、網膜撮像に関する。
【背景技術】
【0003】
網膜撮像は、多くの網膜疾患のスクリーニング、現場診断、および進行モニタリングのための、基本的な眼検査の一部である。高忠実度の網膜画像は、正確なスクリーニング、診断、およびモニタリングに重要である。瞳孔を通して眼の後部内面（例えば、網膜）を明るく照らすと、画像の忠実度が向上する一方で、光学収差や、レンズフレアなどの画像アーチファクトが生じることがよくある。レンズフレアは、内部反射、さまざまな内部境界での屈折率変化、不完全性などにより、レンズシステムの内部コンポーネントから光が散乱する現象である。この散乱光は、網膜像にレンズフレアとして現れ、画像品質に有害である。明るく照らすほど、レンズフレアが顕著になり、画像の忠実度を向上させるという目標が損なわれる。瞳孔との不整合による角膜反射または虹彩反射が原因で、他の画像アーチファクトが生じる場合がある。
【図面の簡単な説明】
【0004】
本発明の非限定的かつ非網羅的な実施形態を以下の図を参照して説明するが、ここで、特に指定されない限り、同様の参照番号は、さまざまな図全体を通して同様の部分を指す。必要に応じて図面が煩雑にならないように、要素のすべての例が必ずしもラベル付けされているわけではない。図面は必ずしも縮尺通りではなく、説明されている原理を示すことに重点が置かれている。
【0005】
【図1A】本開示の一実施形態による、眼の内部を撮像するためのシステムを示す。
【図2】本開示の一実施形態による、動的照明器を使用する例示的な網膜撮像システムを示す図である。
【図3】本開示の一実施形態による、統合画像信号プロセッサを含む網膜カメラの機能ブロック図である。
【図4】本開示の一実施形態による、統合画像信号プロセッサを含む網膜カメラによる画像処理を示すブロック流れ図である。
【図5A】本開示の一実施形態による、異なる照明パターンで撮影された網膜の画像フレームを示す。
【図5B】本開示の一実施形態による、異なる照明パターンで撮影された網膜の画像フレームを示す。
【図5C】本開示の一実施形態による、異なる照明パターンで撮影された網膜の画像フレームを示す。
【図6】本開示の一実施形態による、虹彩のフォーカススタッキング画像を示す。
【図7】本開示の一実施形態による、眼の内部を撮像する方法のフローチャートを示す。
【発明を実施するための形態】
【0006】
本明細書では、網膜連続撮像中のフラッシュ最適化のシステム、装置、および方法の実施形態を説明する。以下の説明では、実施形態が完全に理解されるように、多くの特定の詳細を示す。しかしながら、関連技術の当業者は、本明細書に記載された技術が、１つ以上の特定の詳細なしで、または他の方法、構成要素、材料などを用いて実施され得ることを認識するであろう。他の例では、特定の態様を不明瞭にしないために、周知の構造、材料、または操作は詳細に図示または説明しない。
【0007】
本明細書全体を通して「１つの実施形態」または「一実施形態」というのは、実施形態に関連して説明された特定の特徴、構造、または特性が本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体にわたるさまざまな箇所における「１つの実施形態では」または「一実施形態では」という句の出現は、必ずしもすべてが同じ実施形態を指しているわけではない。さらに、特定の特徴、構造、または特性は、１つ以上の実施形態において任意の好適な様式で組み合わせることができる。
【0008】
高忠実度の網膜画像は、多くの網膜疾患のスクリーニング、診断、およびモニタリングに重要である。このために、網膜画像の部分を閉塞または別様に害する画像アーチファクト（例えば、有害な角膜反射など）の事例を低減または排除することが望ましい。本明細書で説明される実施形態は、眼の内部を撮像するときに眼の反射を低減するためのシステムおよび方法を説明する。撮影された画像を合成して、眼の内部（例えば、虹彩）の合成画像を形成する。不良の少ない画像を使用することで、撮影する必要のある画像数が減り、高品質の合成画像を生成するために必要な処理能力も減る。
【0009】
いくつかの実施形態では、眼を撮像するための照明アセンブリに、モジュール式プリント回路基板（ＰＣＢ）マウントを使用し得る。複数の可視フラッシュ源がＰＣＢに取り付けられ得、どの光が発射すべき（例えば、光源を短時間点灯にし、次いで光源を消灯する）かをすばやく決定する必要があり得る。可視フラッシュ源を順次またはランダムかのいずれかで発射させると、少なくとも１つの良好なフレーム（例えば、焦点が合っている、露出十分なフレーム）が得られる可能性があるだけでなく、不良フレーム（例えば、焦点が外れている、露出不十分なフレーム）の割合も高くなる。ここで、画像フレームを撮影するために発射されるフラッシュ源の順序および数は、赤外線（ＩＲ）事前照明を使用し、ＩＲ事前照明の、異なる位置からのそれぞれの反射光をモニタリングして、最適化される。
【0010】
いくつかの実施形態では、複数のＩＲ源が、ＰＣＢ上に、白色／可視源に可能な限り近接して配置され得る。例えば、各ＩＲ源のハウジングは、各白色／可視光源のハウジングと接触することができ、または、ＩＲ光および可視光は、同じダイオード構造から放射される。すべてのＩＲ源が順次またはランダムに発射され、コントローラ（例えば、汎用プロセッサとメモリ、分散システム、画像信号プロセッサなど）は、どのＩＲ光源が、反射および他の画像不良が最も少なかったかを決定し得る。ＩＲ反射は、可視（例えば、白色光など）反射と相関し得る。観察されたＩＲ反射に基づいて、コントローラは、可視画像撮影中にどの可視フラッシュ源を発射させるかを決定する。
【0011】
いくつかの実施形態では、画像処理を備えた画像センサを使用して、眼から反射して戻ったＩＲ光を検出し得、コントローラは、カメラによって観察されるＩＲ反射に基づいて、どの可視光を発射するかを決定し得る。しかしながら、別のまたは同じ実施形態では、可視光エミッタおよびＩＲ光エミッタに近接して配置された一群のフォトダイオードを使用して、低反射フレームを検出し得る。いくつかの実施形態では、最も暗いフレーム（照明が不十分である可能性がある）だけを撮影することは望ましくないため、フォトダイオード上にカラーフィルタを使用して、最も明るい、多くの場合に赤色（網膜は主に赤であるため）の画像を検出することが可能である。これは、撮影中に非常に高速で実行でき、動いている眼により良く対応することができる可能性がある。いくつかの実施形態では、アナログ回路が、ＩＲ光エミッタの順次発射を制御し、順番の各ステップにおけるフォトダイオードの出力を分析し、分析に従って画像経路の周りに配置された可視光エミッタの発射を制御することができる。他のまたは同じ実施形態では、追加のマイクロプロセッサ、または網膜カメラの既存のコントローラを使用して、そのようなアナログ回路の機能を達成することができる。いくつかの実施形態では、フォトダイオードは、可視光源およびＩＲ光源と同じＰＣＢ上に取り付けられる。いくつかの実施形態では、これらの光検出フォトダイオードは、画像センサ平面の近くまたは周りに配置され得る。これは、大きな反射が画像平面に到達しているかどうかを判定するのに役立つ。
【0012】
いくつかの実施形態では、事前撮影の間、被写体を光路と整列させ、赤外線照明のみを使用して眼を撮像し、反射がどこから生じているかを判定し得る。ＩＲ反射は、カメラ（または複数のフォトダイオード）を用いて測定し得、これらの信号は、反射を生成したＩＲ光源を決定するコントローラで受信し得る。ＩＲ事前照明は、各ＩＲ光エミッタを順番に発射することによって順次に行い得、またはランダムにもしくは他の順番で行い得ることが理解される。画像センサは、赤外線で照らされた画像を受け取り、それらの画像（および他の利用可能な情報）に基づいて、システムは、後続のフェーズにいつ、どのように入るかを決定することができる。赤外線スペクトルで入手可能な情報に基づいて、システムは、高品質の画像を生成すると予想される、順次に発射する１組の白色照明源を決定する。これは、使用可能な赤外線照明器を順次発射させ、各々について品質量を決定することによって達成することができる。次いで、光学系のモデルを使用して、同様に高品質の画像を生成すると予想される１組の白色照明器を決定することができる。ＩＲ照明時間は、どの可視光源が高品質の画像を生成するかを決定するのにかかる時間に応じて、可視照明時間よりも長いかまたは短いか、またはその逆であり得ることが理解される。
【0013】
撮影フェーズは継続時間が限られているため、システム構成についての決定をリアルタイムで行うことが重要である。画像センサによって収集されたデータに依存するいかなる方法も、データの転送および処理によって引き起こされる待ち時間を被る可能性がある。述べたように、フラッシュ順番をリアルタイムで更新する１つの潜在的な方法は、１組のフォトダイオードを使用して画質状態を推定することである。不整合な照明は、暗い画像を特徴とする可能性がある。逆に、角膜反射はしばしば明るい白色領域を伴う。高品質の網膜画像は、概して、中程度の明るさで、主に色相が赤である。撮像経路内に光フィルタを備えたフォトダイオードは、これらの状態を非常に迅速に（画像センサ露出よりもはるかに短いタイムスケールで）検出し、有効な照明器のセットを継続的に変更して、好ましい状態に最適化することができる。
【0014】
網膜撮像システムの可視ＬＥＤ（例えば、白色ＬＥＤ、またはレーザーダイオード、フラッシュ電球など他の照明源）が点灯されると、撮影が始まり得る。明るい光により、被写体の虹彩は急速に閉じる。したがって、網膜像を構築するために後で使用されるデータを収集する好機は短い。このフェーズの間、システムを制御して、可能な限り最良のデータを収集することが重要である。一旦白色光が消えると、撮影後処理が開始する。このフェーズでは、前のフェーズの間にシステムによって収集されたデータを処理する時間がある。
【0015】
【0016】
図１Ａは、本開示の一実施形態による、眼の内部を撮像するためのシステム１００を示す。図示された撮像システム１００の実施形態は、動的照明器１０５と、カメラ１１０と、コントローラ１１５と、眼１０１の網膜１２５の連続画像フレームを撮影することができる光学リレーシステム１２０とを含む。また、眼１０１の虹彩１３５および瞳孔１３０も示されており、光は、瞳孔１３０を通過して眼１０１に入り、眼１０１から出、虹彩１３５は、光の状態に応じて大きさが増減する。
【0017】
図１Ｂに関連してより詳細に示されるように、動的照明器１０５は、可視光を出力することができる複数の可視光発光ダイオード（Ｖ－ＬＥＤ）と、赤外光を出力することができる複数の赤外光発光ダイオード（ＩＲ－ＬＥＤ）とを含む。動的照明器１０５、その構成コンポーネント、およびカメラ１１０（＞２４０フレーム／秒を撮影することが可能であり得る）は、コントローラ１１５に連結されている。コントローラ１１５は、コントローラ１１５によって実行されると、システム１００に、複数のＩＲ－ＬＥＤからの赤外光で眼１０１を照らすことと、複数のＩＲ－ＬＥＤ中のＩＲ－ＬＥＤの各々について眼１０１からの赤外光の反射量（例えば、強度、位置に対する強度など）を決定することとを含むさまざまな動作を実行させるロジックを実施する。次いで、システム１００は、ＩＲ－ＬＥＤの各々についての赤外光の反射量に少なくとも部分的に基づいて、複数のＶ－ＬＥＤ中の選択された１つ以上のＶ－ＬＥＤで眼１０１を照らし得る。次いで、システム１００は、カメラ１１０を用いて、眼１０１がＶ－ＬＥＤからの可視光で照らされている間に、眼１０１の内部（例えば、網膜）の一連の画像を撮影し得る。言い換えると、図示の実施形態では、最初に動的照明器１０５が眼１０１をＩＲ光で照らし得、次いでカメラ１１０が眼１０１から反射されたＩＲ光を撮像し得る。コントローラ１１５は、反射ＩＲ光の画像を処理し、画像品質を損なう反射がある場所を確認する。コントローラ１１５は、これらの反射がどのＩＲ－ＬＥＤから来たかを確認し得、またどのＩＲ－ＬＥＤが反射を生成しなかったのかを確認し得る。次いで、コントローラ１１５は、反射光を生成しなかったＩＲ－ＬＥＤと同位置に配置されたＶ－ＬＥＤのみを発射させ得る（例えば、対応するＩＲ－ＬＥＤからの赤外光の反射量が反射閾値よりも大きい場合、Ｖ－ＬＥＤのいくつかを無効とする）。コントローラ１１５はまた、ＩＲ－ＬＥＤの各々についての眼からの赤外光の反射量に応答して、眼１０１を照らすＶ－ＬＥＤの順序を決定し得る。したがって、カメラ１１０は、ほとんど反射を含まない眼１０１の可視画像を撮影する。
【0018】
眼１０１からのＩＲ光および可視光の反射プロファイルは同じではない可能性があるため（例えば、眼１０１は可視光よりも多くのＩＲ光を吸収することができ、またはその逆もあり得る）、いくつかの実施形態では、コントローラ１１５は、ＩＲ－ＬＥＤの各々についての眼１０１からの赤外光の反射量をＶ－ＬＥＤの各々についての眼１０１からの可視光の第２の反射量と相関させ得る。言い換えると、ＩＲ光の反射プロファイルを可視光の反射プロファイルと相関させ、コントローラは、ＩＲ光の反射プロファイルを見た後に、どのＶ－ＬＥＤを点灯または消灯させるかが分かる。
【0019】
動的照明器１０５は、可視光パルスおよびＩＲ光パルスを任意の順序で、さらには並行して放射し得、画像を同様の様式で撮影し得ることが理解される。例えば、動的照明器１０５は、すべてのＩＲ－ＬＥＤを順次発射し得、次いで、コントローラ１１５は、すべてのＩＲ－ＬＥＤについて反射プロファイルを展開することができる。次いで、動的照明器１０５は、選択されたＶ－ＬＥＤを発射することができる。しかしながら、他の実施形態では、動的照明器１０５は、１つのＩＲ－ＬＥＤを発射し、次いで１つのＶ－ＬＥＤを発射するなどしてもよい。他の実施形態では、複数のＩＲ－ＬＥＤおよびＶ－ＬＥＤが同時に発射され得る。
【0020】
フォーカススタッキング（つまり、異なる焦点距離で撮影された複数の画像を合成して、個々のソース画像のいずれよりも被写界深度が大きい画像を得る）、画像スティッチング（つまり、視野が重なり合う複数の写真画像を合成して、セグメント化されたパノラマまたは高解像度画像を生成する）、画像ブレンディング（つまり、背景画像と前景画像とを合成して、部分的に透明な外観を得る）、またはこれらの任意の組み合わせのうちの少なくとも１つを使用して、撮影された可視画像の少なくともいくつかを合成して合成画像を形成し得る。
【0021】
低反射の画像を生成する可能性のあるＶ－ＬＥＤのみを点灯することに加えて、低品質画像を除外する他の手法を使用し得ることが理解される。例えば、第１のセットの低品質画像は、第１の輝度閾値よりも大きい輝度値（例えば、画像中のすべてのピクセルまたはピクセルのセットの平均輝度値）を有する露出過多画像、または第２の輝度閾値よりも小さい輝度値を有する露出不足画像を含み得る。いくつかの実施形態では、第１のセットの画像は、（例えば、撮像中に画像センサが動いたために）画像がぼやけすぎている、（例えば、撮像中に被写体が動いたために）画像が網膜の画像を含まないなど、他の理由ではっきりと解像されないことがある。画像は、手動選択または自動選択によって除外され得る（例えば、高域／低域フィルタを使用して高すぎるまたは低すぎる輝度値を有する画像を除外する、および／または機械学習アルゴリズムを使用して、網膜を含まない画像を除外するなど）。
【0022】
図１Ｂは、本開示の一実施形態による、図１Ａの装置に含まれる動的照明器１０５の正面図を示す。動的照明器１０５は、Ｖ－ＬＥＤ１５１、ＩＲ－ＬＥＤ１５３、および（ＩＲ光を吸収することができる）フォトダイオード１５５を含む。図示した実施形態では、Ｖ－ＬＥＤ１５１、ＩＲ－ＬＥＤ１５３、およびフォトダイオード１５５は、互いに実質的に同位置に配置されている。さらに、動的照明器１０５の（例えば、上述のＰＣＢを含む）リング１６０の周りに均一に（または他の実施形態では不均一に）間隔を置いて配置された、Ｖ－ＬＥＤ１５１、ＩＲ－ＬＥＤ１５３、およびフォトダイオード１５５の各々からなる１６個のセットが存在する。当業者は、動的照明器１０５が（リング以外の）多数の形状を取り得、任意の数のＶ－ＬＥＤ１５１、ＩＲ－ＬＥＤ１５３、およびフォトダイオード１５５を含み得ることを理解するであろう。
【0023】
１つの実施形態では、コントローラ（例えば、コントローラ１０５）は、すべてのＩＲ－ＬＥＤ１５３を動的照明器１０５の周りの時計回りパターン（例えば、１～１６）で発射し得、次いで、コントローラは、いくつかのＶ－ＬＥＤのみを同様に時計回りパターン（１、３、５、６、８、９、１１など）で発射し得る。あるいは、ＩＲ－ＬＥＤ１５３およびＶ－ＬＥＤ１５１の両方を発射する順序は、ランダムであってもよい。いくつかの実施形態では、カメラを使用して、どのＩＲ－ＬＥＤ１５３が反射を生成するかを決定し得、以下で説明するように、他の実施形態では、フォトダイオード１５５（およびカメラも）を使用して、より小さい処理能力で反射量を決定し得る。
【0024】
複数のフォトダイオード１５５（例えば、ＧａＡｓ系、Ｓｉ系など）も、コントローラ（例えば、コントローラ１５５）に連結することができ、コントローラは、動的照明器１０５に、複数のフォトダイオードを用いて、眼からの赤外光の反射量を測定することを含む動作を実行させる。コントローラは、複数のフォトダイオードによって測定された反射量を分析して、ＩＲ－ＬＥＤの各々について眼からの赤外光の反射量を決定し得る。いくつかの実施形態では、これは単に閾値レベルの反射であり得、フォトダイオード１５５のうちの１つが、眼から反射された、閾値レベルよりも大きいＩＲ光を受け取った場合、コントローラは、可視画像撮影中に対応するＶ－ＬＥＤを点灯しない。いくつかの実施形態では、フォトダイオード１５５は、フォトダイオード１５５上に配置されたカラーフィルタ（例えば、ポリマーカラーフィルタ、金属メッシュなど）を有し、他の波長の光を遮断しながら、ＩＲ光および／または赤色光がフォトダイオードを通過することを可能にする。したがって、フォトダイオード１５５の測定において誤差を引き起こし得る他の波長の光が除去される。
【0025】
同様に、コントローラは、複数のフォトダイオード１５５で測定されるような、眼からの赤外光の反射量に基づいて、眼の内部に焦点が合ったときを決定し得る。これは、コントラスト検出オートフォーカスまたは他の技法で達成し得る。フォトダイオード１５５を使用してカメラが合焦であるかどうかを判定すると、オートフォーカスに必要な処理能力を削減し得る。しかしながら、他のまたは同じ実施形態では、コントローラは、カメラによって測定されるようなＩＲ反射量を分析して、ＩＲ－ＬＥＤの各々について眼からの赤外光の反射量を決定する。
【0026】
いくつかの実施形態では、同位置配置は、ＩＲおよび白色ＬＥＤの「平均的同位置配置」を含み得ることが理解される。両方の光源を同位置に配置するのではなく、ＩＲ－ＬＥＤ１５３は、同じ空間として効果的に作用する（例えば、光学的直径の周りに）Ｖ－ＬＥＤ１５１に隣接して配置される（光学系は対称なので、ＬＥＤを同じ直径上に配置することにより、位置Ｘ、Ｙにおけるシフトはいくらか相殺される）。これは、「交互ダイオード構成」に示される。本開示の利益を有する当業者は、他のダイオード構成（図示せず）が考えられることを理解するであろう。
【0027】
当業者は、図１Ａおよび図１Ｂに示されたダイオード（Ｖ－ＬＥＤおよびＩＲ－ＬＥＤ）が、眼を照らすために使用され得る「光エミッタ」の単なる１つの実施形態であることを理解するであろう。フラッシュ電球、レーザーなどの他の光源を使用し得る。さらに、可視光とＩＲ光だけを使用する必要はない。Ｖ－ＬＥＤは、非可視光エミッタ（ＮＶ－ＬＥ）または可視光を発し得る他の光エミッタ（ＬＥ）に置き換え得る。また、ＩＲ－ＬＥＤは、他の非可視波長の光（例えば、低エネルギー紫外線など）を生成する他のＮＶ－ＬＥに置き換え得る。
【0028】
図１Ｃは、本開示の一実施形態による、図１Ａの装置に含まれる動的照明器１０５の正面図を示す。図示したように、図１Ｃの動的照明器１０５は、図１Ｂに示された動的照明器と同じコンポーネントの多くを有する。しかしながら、図１Ｃでは、２つのＩＲ－ＬＥＤ１５３が各Ｖ－ＬＥＤ１５１の両側上に配置されている。さらに、ここでは、内側の円に配置されたＩＲ－ＬＥＤ１５３およびＶ－ＬＥＤ１５１が最初に（一度にすべてまたは個々にかのいずれかで）発射し、その後、内側の円の外に配置された列状のＬＥＤ（例えば、列２、列３、列４など）が順次発射する。当業者は、図示された列内のＬＥＤが任意の順序（例えば、順次、ランダムなど）に発射し得ること、およびここで説明されたＬＥＤ発射の順序は単にいくつかの例を示すにすぎないことを理解するであろう。さらに、すべての光エミッタが同じＺ平面上に配置されていなくてもよく（ページの内外）、例えば、可視光エミッタは、非可視光エミッタよりも眼の近くに配置され得、またはその逆もあり得る。
【0029】
図示の例では、瞳孔カメラ（図１Ａのカメラ１１０と同じカメラまたは別個のカメラに含めることができる）は、ＩＲ－ＬＥＤ１５３またはＶ－ＬＥＤ１５１のいずれかで眼を照らす前に、瞳孔の位置を決定し得る。瞳孔カメラは、瞳孔の位置についての情報をシステム／コントローラに提供し得、システムは、瞳孔の位置に少なくとも部分的に基づいて、最良の照明条件を得る可能性が高いＬＥＤを選択する。その後、システムは、眼の内部の画像を撮影するときに、より少ない光エミッタで眼を照らすことができる。
【0030】
いくつかの実施形態では、ＩＲ－ＬＥＤ１５３およびＶ－ＬＥＤ１５１が同位置に配置される一方で、非可視光エミッタ（例えば、ＩＲ－ＬＥＤ１５３）は、同位置に配置されていない光エミッタ（例えば、Ｖ－ＬＥＤ１５１）にマッピングされ得る。例えば、行３のＩＲ－ＬＥＤ１５３によって生成された反射は、（ＩＲ－ＬＥＤ１５３およびＶ－ＬＥＤ１５１から放射される光の焦点距離は異なるために）行４のＶ－ＬＥＤによって生成された可視反射のより良い指標となり得る。したがって、検索テーブルなどを使用して、可視光エミッタからの可視反射の正確な予測を得るために、どの非可視光エミッタを使用して眼を照らすべきかを決定し得る。述べたように、本実施形態では、眼を照らすのに使用される非可視光エミッタは、可視光エミッタと同位置に配置される必要はない。
【0031】
図２は、本開示の一実施形態による、動的照明器２０５を使用する例示的な網膜撮像システム２００を示す図である。網膜撮像システム２００は、システム１００の１つの考えられる（より複雑な）実施である。図示した網膜撮像システム２００の実施形態は、動的ラジアル照明器２０５と、網膜カメラ２１０と、コントローラ２１５と、ユーザインターフェース２１５と、ディスプレイ２２０と、レンズ２２５およびビームスプリッタ２３０を含む光学リレーシステムとを含む。システム２００は、システム１００に関連して説明したのと同じ様式で動作する。
【0032】
動的照明器２０５の中央セクション２３５は、網膜２２５の視野（ＦＯＶ）の周りの光路内に物理的に配置される。いくつかの実施形態では、動的照明器２０５の環状領域は、多くの軸外有害反射を網膜カメラ２１０に到達する前に遮断するためのストップとして動作する。網膜画像は、中央セクション２３５を通過して網膜カメラ２１０に送られる。角膜からの有害な反射に起因する画像アーチファクトを低減することに加えて、動的照明器２０５の環状領域の周りに複数の照明位置を使用することは、システム２００のアイボックスを増加させるのにも役立つ。アイボックスとは、眼２０１の位置を特定して撮像することができる空間内の領域である。いくつかの実施形態では、動的照明器２０５の個々の光源のすべてまたはいくつかが、網膜２２５から網膜カメラ２１０まで延びる撮像経路の外周の外側（例えば、周辺）に配置される。他の実施形態では、動的照明器２０５の個々の光源の１つ以上が、網膜カメラ２１０までの撮像経路の外周の内側に配置される。
【0033】
ビームスプリッタ２３０（または偏光ビームスプリッタ）が、網膜画像の光の一部分を網膜カメラ２１０に送り、一方で、ディスプレイ２２０から眼２０１に出力されたディスプレイ光を反射させるように配置されている。ディスプレイ光は、撮像中に網膜整列を助けるための固視標または他の視覚刺激を含み得る。いくつかの実施形態では、ビームスプリッタ２３０は、反射性よりも透過性が大きい。１つの実施形態では、ビームスプリッタ２３０は、約９０％透過性であり、１０％反射性である。他の反射／透過比が実施されてもよい。レンズ２２５は、システム２００全体にわたって設けられ、画像および光路に収束する光を提供する。ユーザインターフェース２１５は、連続画像撮影を開始するメカニズムを提供する。１つの実施形態では、ユーザインターフェース２１５は、ボタン、タッチスクリーン、マウスなどである。
【0034】
図３は、本開示の一実施形態による、統合画像信号プロセッサを含む網膜カメラ３００の機能ブロック図である。網膜カメラ３００は、網膜カメラ１１０（または２１０）の１つの考えられる実施である。図示した網膜カメラ３００の実施形態は、２次元センサアレイ３０５、データ変換回路３１０、メモリバッファ３１５、統合画像信号プロセッサ（ＩＳＰ）３２０、および出力ポート３２５を含む。
【0035】
動作中、２次元画像データ（例えば、網膜画像）が、センサアレイ３０５によって取得され、データ変換回路３１０によってアナログドメインからデジタルドメインに変換される。画像データは、高フレームレート（例えば、毎秒２４、４８、６０、２４０、１０００フレーム）で取得され、メモリバッファ３１５に記憶され得る。ＩＳＰ３２０は、バッファリングされた網膜画像フレームに動作して、使用可能領域または不良領域を識別し、画像フレーム内の関心領域に注釈を付け、かつ／または使用可能領域を合成して高品質の合成網膜画像とする。したがって、１つの実施形態では、上記の画像処理タスクのいくつかは、コントローラ３１５からＩＳＰ３２０に搭載変更されてもよい。ＩＳＰ３２０は、コントローラ３１５の論理的サブコンポーネントと見なし得る。
【0036】
図４は、本開示の一実施形態による、統合画像信号プロセッサ（例えば、図３のＩＳＰ３２０）を含む網膜カメラ（例えば、図３の網膜カメラ３００）による画像処理を示すブロックフロー図である。図示したように、網膜の画像フレーム４０５Ａ～４０５Ｃが、センサアレイ（例えば、図３のセンサアレイ３０５）によって高フレームレートで取得され、データ変換回路（例えば、図３のデータ変換回路３１０）によってデジタルドメインに変換され、メモリバッファに（例えば、図３のメモリバッファ３１５）にバッファリングされる。画像分析器４１０が、ＩＳＰによって実行され、バッファリングされた網膜画像４０５を分析して（一種の前処理）、画像フレームのどの部分が十分な品質であり、どれが、容認不可の画像アーチファクトのために不十分な品質であるかを決定する。例えば、画像分析器４１０は、ぼやけた部分、有用であるために十分なコントラストを有さず、色褪せたり、かつ／または容認不可の角膜または虹彩反射、もしくはレンズフレアを含む部分について、画像フレーム４０５を分析し得る。容認不可と見なされた画像部分には容認不可のフラグが付けられ（例えば、マークまたは注釈が付けられる）、容認可と見なされた画像部分にはそのようなフラグが付けられる。次いで、画像フレームは互いに位置合わせされ（例えば、ピクセル対ピクセル整列）、画像位置合わせ／トリミングモジュール４１５によって共通のＦＯＶにトリミングされ、次いで、スタッキングモジュール４２０によって単一の合成網膜画像４２５に合成される。スタッキングモジュール４２０は、画像を合成して、高動的範囲の画像を生成し得る。他の実施形態では、画像フレーム４０５は、個々の画像フレームの分析および／または注釈付けなしに、単純に合成される。図３および図４に関連して説明したすべての画像処理ステップおよびハードウェアは、本開示の教示に従って「コントローラ」の一部と見なすことができる。
【0037】
図５Ａ～図５Ｃは、本開示の一実施形態による、異なる照明パターンで撮影された網膜の画像フレームを示す。例えば、図５Ａは、画像の右上の象限に画像アーチファクト５２５を有する網膜５２５の例示的な画像フレーム５０５を示す。これは、眼の右上隅に近接して配置されたＩＲ－ＬＥＤによるＩＲ照明の後にカメラによって撮影された画像であり得る。画像アーチファクト５２５は、角膜反射、虹彩、レンズフレア、またはその他による反射または妨害であり得る。したがって、画像フレーム５０５の右上の象限は、容認不可の不良領域と見なされ得る。したがって、眼は、右上隅に近接して配置されていないＶ－ＬＥＤによって照らされ得る。対応して、画像アーチファクト５３０を含む画像フレーム５１０の右下の象限は、不良領域であると見なされ得る。画像フレーム５１０は、右下隅に近接して配置されたＩＲ－ＬＥＤで照明されていた可能性がある。したがって、眼が、対応するＶ－ＬＥＤで照らされることはない。画像フレーム５１５には不良がないように見える。画像フレーム５１５は、眼の左下隅に近接して配置されたＩＲ－ＬＥＤによって照明されていた可能性がある。したがって、コントローラは、眼の可視画像を撮影している間、眼の右下隅にあるＶ－ＬＥＤに点灯するよう指示し得る。
【0038】
図６は、本開示の一実施形態による、虹彩のフォーカススタッキング画像を示す。図示したように、網膜の４つの画像フレーム（６０５Ａ～６０５Ｄ）が画像センサで撮影される。長い線は、網膜内または網膜上の完全に解像された静脈および他の解剖学的構造を表し、短い破線は、画像の焦点が合っていない、または色褪せた部分を表している。図示したように、画像フレーム６０５Ａの左下隅は完全に解像されているが、画像の残りの部分は解像されていない。同様に、画像フレーム６０５Ｂの（フレームの左上隅から右下隅まで延在する）中央部分は焦点が合っており、完全に解像されているが、画像フレーム６０５Ｂの残りの部分は解像されていない。画像フレーム６０５Ｃの右上隅は焦点が合っているが、画像の残りの部分は焦点が合っていない。最後に、画像フレーム６０５Ｄは焦点が外れており、有用な情報を含まない。したがって、画像フレーム６０５Ｄは除外され、合成画像６２５に使用するためにスタッキングモジュール６２０に送られることはない。残りの画像フレーム６０５Ａ～６０５Ｃは、スタッキングモジュール６２０に送られ、大きな被写界深度を有する単一の高解像度合成画像６２５に合成される。１つの実施形態では、エッジ検出、特徴検出、またはフーリエ解析を使用して画像を合成し得る。
【0039】
図７は、本開示の一実施形態による、眼の内部を撮像する方法７００のフローチャートを示す。方法７００のブロック（例えば、ブロック７０１～７０７）は、任意の順序で、さらには並行して、起こり得ることが理解される。さらに、ブロックを、本開示の教示に従い、方法７００に追加または方法７００から除外してもよい。
【0040】
ブロック７０１は、複数の赤外光発光ダイオード（ＩＲ－ＬＥＤ）中のＩＲ－ＬＥＤからの赤外光で眼を照らすことを示す。これは、ＩＲ－ＬＥＤを順番に点灯／消灯することで起こり得る。あるいは、グループをなすＩＲ－ＬＥＤを同時に点灯および消灯してもよい。当業者は、ＩＲ－ＬＥＤが、任意の順序で、さらには並行して、点灯および消灯され得ることを理解するであろう。さらに、眼をＩＲ－ＬＥＤおよびＶ－ＬＥＤの両方で同時に照明してもよい。
【0041】
ブロック７０３は、コントローラを用いて、ＩＲ－ＬＥＤの各々について眼からの赤外光の反射量を決定することを示す。１つの実施形態では、決定することは、反射して戻ってくる光（例えば、カメラまたはフォトダイオードの飽和レベルを使用して、他のＩＲ－ＬＥＤに対して、どれだけのＩＲ光が反射して画像センサに戻るか）を測定することを含み得る。コントローラは、ＩＲ－ＬＥＤの各々についての眼からの赤外光の反射量を、Ｖ－ＬＥＤの各々についての眼からの可視光の第２の反射量と相関させ得る。言い換えると、コントローラは、（例えば、検索テーブルなどを介して）どのくらいのＩＲ反射量が特定のレベルの可視反射に対応するかを知ることができる。いくつかの実施形態では、可視光で眼を照らす前に、眼を赤外光で照らし得るが、しかしながら、他の実施形態では、逆もあり得る。
【0042】
いくつかの実施形態では、システムは、複数のフォトダイオードを含み得、複数のフォトダイオードは、ＩＲ－ＬＥＤの各々について眼からの赤外光の反射量を測定する。複数のフォトダイオード中のフォトダイオードの各々は、ＩＲ－ＬＥＤの各々およびＶ－ＬＥＤの各々と同位置に配置され得る。
【0043】
ブロック７０５は、ＩＲ－ＬＥＤの各々についての赤外光の反射量に基づいて、複数のＶ－ＬＥＤから選択された可視光発光ダイオード（Ｖ－ＬＥＤ）からの可視光（例えば、白色光、青色光、緑色光、赤色光、またはこれらの任意の組み合わせ）で眼を照らすことを開示する。いくつかの実施形態では、可視光発光ダイオード（Ｖ－ＬＥＤ）からの可視光で眼を照らすことは、対応するＩＲ－ＬＥＤからの赤外光の反射量が反射閾値よりも大きいとき、Ｖ－ＬＥＤのうちのいくつかを無効にすることを含む。さらに、コントローラは、赤外光の反射量に基づいて、眼を照らすＶ－ＬＥＤの順序を決定し得る。Ｖ－ＬＥＤが活性化される順序およびタイミングを使用して、画像内の反射をさらに軽減し得る。
【0044】
ブロック７０７は、カメラを用いて、眼がＶ－ＬＥＤからの可視光で照らされている間に、眼の内部の画像を含む一連の画像を撮影することを示す。いくつかの実施形態では、システムは、Ｖ－ＬＥＤが発射を開始した後、フラッシュ最適化を継続し得る。いくつかの実施形態では、フォトダイオードまたはカメラのいずれかを使用して、反射ＩＲ光を撮影し、コントラスト検出オートフォーカスを使用して一連の画像を撮影するためにカメラが合焦であることを判定し得る。いくつかの実施形態では、これは、コントローラを用いて、カメラをオートフォーカスさせるためにカメラまたはフォトダイオードを使用するかどうかに応じて、フォトダイオード間の赤外光の強度差、またはカメラの隣接ピクセル間の赤外光の強度差を測定することを含み得る。
【0045】
一連の画像を撮影した後、コントローラを使用して、一連の画像の少なくともいくつかの画像を合成して、眼の内部の合成画像を形成し、合成することは、フォーカススタッキング、画像スティッチング、画像ブレンディング、これらの任意の組み合わせのうちの少なくとも１つを含む。
【0046】
上記で説明したプロセスは、コンピュータソフトウェアおよびハードウェアの観点から説明されている。説明された技法は、機械によって実行されると、説明された動作を機械に実行させる、有形のまたは非一時的な機械（例えば、コンピュータ）可読記憶媒体内で具現化される機械実行可能命令を構成し得る。さらに、プロセスは、特定用途向け集積回路（「ＡＳＩＣ」）など、またはその他のハードウェア内で具体化され得る。
【0047】
有形の機械可読記憶媒体は、機械（例えば、コンピュータ、ネットワークデバイス、個人用デジタルアシスタント、製造ツール、１つ以上のプロセッサのセットを備える任意のデバイスなど）がアクセス可能な非一時的形態の情報を提供（例えば、記憶）する任意のメカニズムを含む。例えば、機械可読記憶媒体は、記録可能／記録不可能な媒体（例えば、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイスなど）を含む。
【0048】
要約に記載されているものを含む、本発明の例示された実施形態の上記の説明は、網羅的であることや、または本発明を開示された正確な形態に限定することを意図するものではない。本発明の特定の実施形態および例が本明細書に例示目的で記載されているが、当業者が認識するように、本発明の範囲内でさまざまな変更が可能である。
【0049】
これらの変更は、上記の詳細な説明に照らして、本発明に対して行うことができる。以下の特許請求の範囲で使用される用語は、本発明を明細書に開示された特定の実施形態に限定するものと解釈されるべきではない。むしろ、本発明の範囲は、以下の特許請求の範囲によって完全に決定されるべきであり、それらは、特許請求項解釈の確立された原則に従って解釈されるべきである。
【図1A】
【図1B】
【図1C】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6】
【図7】
