特許 7523684 眼底カメラ及び眼底画像全自動撮影方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-18

(45)【発行日】2024-07-26

(54)【発明の名称】眼底カメラ及び眼底画像全自動撮影方法

(51)【国際特許分類】

   A61B 3/15 20060101AFI20240719BHJP

   A61B 3/12 20060101ALI20240719BHJP

【ＦＩ】

A61B3/15

A61B3/12

【請求項の数】 10

(21)【出願番号】P 2023519780

(86)(22)【出願日】2021-01-27

(65)【公表番号】

(43)【公表日】2023-11-13

(86)【国際出願番号】 CN2021073875

(87)【国際公開番号】W WO2022077800

(87)【国際公開日】2022-04-21

【審査請求日】2023-04-14

(31)【優先権主張番号】202011095133.3

(32)【優先日】2020-10-14

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】523111500

【氏名又は名称】上海鷹瞳医療科技有限公司

【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩ ＥＡＧＬＥＶＩＳＩＯＮ ＭＥＤＩＣＡＬ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ ０１， ８ｔｈ Ｆｌｏｏｒ， Ｂｌｏｃｋ １， Ｎｏ．１８０， Ｙｉｚｈｏｕ Ｒｏａｄ， Ｘｕｈｕｉ Ｄｉｓｔｒｉｃｔ Ｓｈａｎｇｈａｉ ２０００３０， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100146374

【弁理士】

【氏名又は名称】有馬 百子

(72)【発明者】

【氏名】胡 丁山

(72)【発明者】

【氏名】▲パン▼ 新強

(72)【発明者】

【氏名】姜 欣

(72)【発明者】

【氏名】郭 韓越

(72)【発明者】

【氏名】任 文斌

(72)【発明者】

【氏名】常 献剛

(72)【発明者】

【氏名】王 鵬

(72)【発明者】

【氏名】魏 宇博

(72)【発明者】

【氏名】和 超

(72)【発明者】

【氏名】張 大磊

【審査官】佐々木 創太郎

(56)【参考文献】

【文献】中国特許出願公開第１１１４４９６２０（ＣＮ，Ａ）

【文献】特開２０２０－１５６５５５（ＪＰ，Ａ）

【文献】特開平０７－１３６１１９（ＪＰ，Ａ）

【文献】中国特許出願公開第１０９５４７６７７（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１９／０１１０６７７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００－３／１８

(57)【特許請求の範囲】

【請求項1】

眼底画像全自動撮影方法であって、
眼底カメラのレンズを移動させて瞳孔に位置合わせることと、
前記レンズが眼球に近づき、角膜で反射された照明光に対する結像である画像を収集するように制御することと、
前記画像で作動距離を決定することと、
焦点距離を調整して眼底画像を収集し、前記眼底画像で撮影の焦点距離を決定することと、
前記作動距離にて、前記撮影の焦点距離で眼底画像を撮影することと、
眼底カメラのレンズを移動させて瞳孔に位置合わせる前に、前記方法は、眼底カメラの運動アセンブリ、照明アセンブリ、フォーカスアセンブリが正常であるかどうかを検出することと、を含む、ことを特徴とする眼底画像全自動撮影方法。

【請求項2】

眼底カメラの運動アセンブリ、照明アセンブリ、フォーカスアセンブリが正常であるかどうかを検出することは、
運動アセンブリを制御してレンズの位置を調節し、前記レンズが各位置決めアセンブリのある位置に移動できるかどうかを検出することと、
前記レンズが各位置決めアセンブリのある位置に移動できた後に、前記運動アセンブリを制御して前記レンズを設定位置に移動させ、照明アセンブリをオンするとともにフォーカスアセンブリを制御して第１の焦点距離に調整し、撮影して第１の画像を得ることと、
前記第１の画像における照明アセンブリの画像特徴から、前記フォーカスアセンブリ及び前記照明アセンブリが正常であるかどうかを判断することと、
前記フォーカスアセンブリ及び前記照明アセンブリが正常である時に、運動アセンブリを制御してレンズを設定深さ位置に調節し、フォーカスアセンブリを制御して第２の焦点距離に調整し、撮影して第２の画像を得ることと、
前記第２の画像における被写体の画像特徴から、結像機能が正常であるかどうかを判断することとを含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

眼底カメラのレンズを移動させて瞳孔に位置合わせる前に、前記方法は、人の頭部が眼底カメラの顔密着アセンブリに密着するかどうかを検出することをさらに含む、ことを特徴とする請求項１に記載の方法。

【請求項4】

人の頭部が眼底カメラの顔密着アセンブリに密着するかどうかを検出することは、具体的に
照明アセンブリをオフし、レンズが顔密着アセンブリの窓を通して収集した第１の画像を取得することと、
前記第１の画像の輝度が設定基準に達するかどうかを判断することと、
前記第１の画像の輝度が設定基準に達したときに、前記照明アセンブリをオンし、レンズが顔密着アセンブリの窓を通して収集した第２の画像を取得することと、
前記第２の画像から、人の頭部が前記顔密着アセンブリに密着するかどうかを決定することとを含む、ことを特徴とする請求項３に記載の方法。

【請求項5】

前記画像で作動距離を決定することは、具体的に
前記画像における光スポットの特徴が設定特徴に合致するかどうかを検出することと、
前記光スポットの特徴が設定特徴に合致するときに、作動距離に達したと決定することとを含む、ことを特徴とする請求項１から４のいずれか１項に記載の方法。

【請求項6】

前記眼底画像で撮影の焦点距離を決定することは、具体的に
前記眼底画像において視神経乳頭領域を認識することと、
前記視神経乳頭領域の鮮鋭度から、撮影の焦点距離を決定することとを含む、ことを特徴とする請求項１から４のいずれか１項に記載の方法。

【請求項7】

前記作動距離にて、前記撮影の焦点距離で眼底画像を撮影することは、具体的に
瞳孔のサイズが眼底カメラの照明アセンブリの環状照明光のサイズよりも小さいかどうかを判断することと、
前記瞳孔のサイズが前記環状照明光のサイズよりも小さいときに、前記レンズを複数の方向のそれぞれへ移動させて瞳孔との間にずれを生じさせることによって、前記環状照明光の一部を瞳孔に照射させ、複数の眼底画像を撮影することと、
前記複数の眼底画像を一つの眼底画像に統合することとを含む、ことを特徴とする請求項１から４のいずれか１項に記載の方法。

【請求項8】

前記作動距離にて、前記撮影の焦点距離で眼底画像を撮影することは、具体的に
レンズの状態が変わらない場合に撮影された複数の眼底画像を取得することと、
前記複数の眼底画像のそれぞれにおいて高品質領域を抽出することと、
複数の前記高品質領域により眼底画像を合成することとを含む、ことを特徴とする請求項１から４のいずれか１項に記載の方法。

【請求項9】

少なくとも一つのプロセッサと、前記少なくとも一つのプロセッサと通信可能に接続されるメモリとを含む電子機器であって、前記メモリは、前記一つのプロセッサに実行されることが可能な命令を格納しており、前記命令が前記少なくとも一つのプロセッサに実行されることによって、請求項１から８のいずれか１項に記載の眼底画像全自動撮影方法を前記少なくとも一つのプロセッサに実行させる、ことを特徴とする電子機器。

【請求項10】

顔密着アセンブリと、運動アセンブリと、フォーカスアセンブリと、照明アセンブリと、レンズと、少なくとも一つのプロセッサと、前記少なくとも一つのプロセッサと通信可能に接続されるメモリとを含む眼底カメラであって、前記メモリは、前記一つのプロセッサに実行されることが可能な命令を格納しており、前記命令が前記少なくとも一つのプロセッサに実行されることによって、請求項１から８のいずれか１項に記載の眼底画像全自動撮影方法を前記少なくとも一つのプロセッサに実行させる、ことを特徴とする眼底カメラ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、眼科機器分野に関し、具体的に眼底カメラ及び眼底画像全自動撮影方法に関する。

【背景技術】

【0002】

網膜は、人の毛細血管及び神経を直接的に観察できるユニックな組織であり、網膜を観察することによって、眼部の健康問題を検査することができるだけでなく、糖尿病合併症及び高血圧のような全身の病変も発見することができる。眼底カメラは、網膜を撮影するための専用装置である。

【0003】

従来の眼底カメラは、眼底画像の自動撮影を実現でき、自動的な撮影プロセスは、主に瞳孔への主レンズの自動位置合わせ、レンズと瞳孔との軸方向における距離（作動距離）の自動調整、焦点距離の自動調整に関わる。カメラには、主カメラヘッド、補助カメラヘッド、多数の補助光学デバイスが設けられ、主カメラヘッドは、Ｘ、Ｙ、Ｚの三つの方向に移動可能なテーブルに取り付けられ、眼底を撮影するために用いられる。補助カメラヘッドは、主カメラヘッドの付近に取り付けられ、顔部及び外眼部を撮影するために用いられ、主に眼部を探索し、瞳孔への自動位置合わせを実現するために用いられる。補助光学デバイスは、フォーカス、作動距離の調整などに用いられる。

【0004】

従来の眼底カメラは、瞳孔へのレンズの位置合わせを解決するために、レンズと瞳孔との軸方向における距離を固定し、フォーカスには複雑で高価なハードウェアモジュールを必要とし、使用も複雑で、眼底カメラの普及を阻害した。

【発明の概要】

【0005】

これに鑑み、本発明は、眼底画像全自動撮影方法を提供し、この方法は、
眼底カメラのレンズを移動させて瞳孔に位置合わせることと、
前記レンズが眼球に近づき、角膜で反射された照明光に対する結像である画像を収集するように制御すること、
前記画像で作動距離を決定することと、
焦点距離を調整して眼底画像を収集し、前記眼底画像で撮影の焦点距離を決定することと、
前記作動距離にて、前記撮影の焦点距離で眼底画像を撮影することとを含む。

【0006】

選択的に、眼底カメラのレンズを移動させて瞳孔に位置合わせる前に、前記方法は、眼底カメラの運動アセンブリ、照明アセンブリ、フォーカスアセンブリが正常であるかどうかを検出することをさらに含む。

【0007】

選択的に、眼底カメラの運動アセンブリ、照明アセンブリ、フォーカスアセンブリが正常であるかどうかを検出することは、
運動アセンブリを制御してレンズの位置を調節し、前記レンズが各位置決めアセンブリのある位置に移動できるかどうかを検出することと、
前記レンズが各位置決めアセンブリのある位置に移動できた後に、前記運動アセンブリを制御して前記レンズを設定位置に移動させ、照明アセンブリをオンするとともにフォーカスアセンブリを制御して第１の焦点距離に調整し、撮影して第１の画像を得ることと、
前記第１の画像における照明アセンブリの画像特徴から、前記フォーカスアセンブリ及び前記照明アセンブリが正常であるかどうかを判断することと、
前記フォーカスアセンブリ及び前記照明アセンブリが正常である時に、運動アセンブリを制御してレンズを設定深さ位置に調節し、フォーカスアセンブリを制御して第２の焦点距離に調整し、撮影して第２の画像を得ることと、
前記第２の画像における被写体の画像特徴から、結像機能が正常であるかどうかを判断することとを含む。

【0008】

選択的に、眼底カメラのレンズを移動させて瞳孔に位置合わせる前に、前記方法は、人の頭部が眼底カメラの顔密着アセンブリに密着するかどうかを検出することをさらに含む。

【0009】

選択的に、人の頭部が眼底カメラの顔密着アセンブリに密着するかどうかを検出することは、
照明アセンブリをオフし、レンズが顔密着アセンブリの窓を通して収集した第１の画像を取得することと、
前記第１の画像の輝度が設定基準に達するかどうかを判断することと、
前記第１の画像の輝度が設定基準に達したときに、前記照明アセンブリをオンし、レンズが顔密着アセンブリの窓を通して収集した第２の画像を取得することと、
前記第２の画像から、人の頭部が前記顔密着アセンブリに密着するかどうかを決定することとをさらに含む。

【0010】

選択的に、前記画像で作動距離を決定することは、具体的に
前記画像における光スポットの特徴が設定特徴に合致するかどうかを検出することと、
前記光スポットの特徴が設定特徴に合致するときに、作動距離に達したと決定することとを含む。

【0011】

選択的に、前記眼底画像で撮影の焦点距離を決定することは、具体的に
前記眼底画像において視神経乳頭領域を認識することと、
前記視神経乳頭領域の鮮鋭度から、撮影の焦点距離を決定することとを含む。

【0012】

選択的に、前記作動距離にて、前記撮影の焦点距離で眼底画像を撮影することは、具体的に
瞳孔のサイズが眼底カメラの照明アセンブリの環状照明光のサイズよりも小さいかどうかを判断することと、
前記瞳孔のサイズが前記環状照明光のサイズよりも小さいときに、前記レンズを複数の方向のそれぞれへ移動させて瞳孔との間にずれを生じさせることによって、前記環状照明光の一部を瞳孔に照射させ、複数の眼底画像を撮影することと、
前記複数の眼底画像を一つの眼底画像に統合することとを含む。

【0013】

選択的に、前記作動距離にて、前記撮影の焦点距離で眼底画像を撮影することは、具体的に
レンズの状態が変わらない場合に撮影された複数の眼底画像を取得することと、
前記複数の眼底画像のそれぞれにおいて高品質領域を抽出することと、
複数の前記高品質領域により眼底画像を合成することとを含む。

【0014】

それに応じて、本発明は、電子機器を提供し、前記電子機器は、少なくとも一つのプロセッサと、前記少なくとも一つのプロセッサと通信可能に接続されるメモリとを含み、前記メモリは、前記一つのプロセッサに実行されることが可能な命令を格納しており、前記命令が前記少なくとも一つのプロセッサに実行されることによって、前記眼底画像全自動撮影方法を前記少なくとも一つのプロセッサに実行させる。

【0015】

それに応じて、本発明は、眼底カメラを提供し、前記眼底カメラは、顔密着アセンブリと、運動アセンブリと、フォーカスアセンブリと、照明アセンブリと、レンズと、少なくとも一つのプロセッサと、前記少なくとも一つのプロセッサと通信可能に接続されるメモリとを含み、前記メモリは、前記一つのプロセッサに実行されることが可能な命令を格納しており、前記命令が前記少なくとも一つのプロセッサに実行されることによって、前記眼底画像全自動撮影方法を前記少なくとも一つのプロセッサに実行させる。

【0016】

本発明による眼底カメラ及び眼底画像全自動撮影方法によれば、眼底カメラが、自動的に、主レンズを瞳孔に位置合わせ、作動距離を自動的に調整し、焦点距離を自動的に調整するようにすることができ、本態様は、補助カメラヘッド及び補助光学デバイスを使用することなく、画像認識アルゴリズムによって眼底カメラ全自動撮影眼底画像を実現し、ハードウェアの複雑度及び使用の難しさを低減し、ユーザが自発的に眼底画像を撮影でき、眼底カメラの普及を促す。

【図面の簡単な説明】

【0017】

本発明の具体的な実施形態又は従来の技術における技術案をよりはっきり説明するために、以下、具体的な実施形態又は従来の技術に対する記述において用いられる図面を簡単に紹介し、以下に記述する図面は、本発明のいくつかの実施形態であり、当業者にとって、創造的な労力を払わない前提でこれらの図面に基づいて他の図面を得ることもできることは自明である。

【図1】本発明の実施例における眼底カメラの構造図である。

【図2】本発明の実施例における眼底カメラの顔密着アセンブリの概略図である。

【図3】レンズ及び位置決めアセンブリの概略図である。

【図4】本発明の実施例における眼底画像全自動撮影方法のフローチャートである。

【図5】瞳孔をマークする概略図である。

【図6】本発明の実施例における好ましい眼底画像全自動撮影方法のフローチャートである。

【図7】瞳孔が照明光よりも大きい概略図である。

【図8】瞳孔が照明光よりも小さい概略図である。

【図9】瞳孔が照明光よりも小さいときに眼底画像を撮影する概略図である。

【図10】角膜で反射された照明光の結像である。

【図11】鏡筒と眼球との間の距離概略図である。

【図12】光スポットをマークする概略図である。

【図13】作動距離に達したときに、角膜で反射された照明光の結像である。

【図14】視神経乳頭をマークする概略図である。

【図15】眼底画像を撮影するときに、光スポットに応じてレンズの位置を移動させる概略図である。

【図16】使用不可能な領域がある二つの眼底画像の概略図である。

【図17】眼底画像の合成方式の概略図である。

【図18】照明ランプの構造図である。

【図19】カメラの状態の検出際の照明反射光に対する結像の概略図である。

【図20】カメラの状態の検出際の顔密着アセンブリの突起部に対する結像の概略図である。

【図21】カメラの状態の検出際のターゲットが設けられる顔密着アセンブリの突起部に対する結像の概略図である。

【図22】被撮影者の使用状態の検出際に収集された両眼間の領域の画像である。

【発明を実施するための形態】

【0018】

以下、図面を参照して、本発明の技術案を明瞭、完全に記述し、記述された実施例は、本発明の一部の実施例であり、すべての実施例ではないことは明らかなことである。本発明における実施例に基づき、当業者が創造的な労力を払わない前提で得られた他の実施例も、すべて本発明の保護範囲にある。

【0019】

本発明の記述において、説明すべきこととして、用語である「中心」、「上」、「下」、「左」、「右」、「鉛直」、「水平」、「内」、「外」などで示す方位又は位置関係は、図面に基づく方位又は位置関係であり、本発明の記述及び記述の簡略化のためのものに過ぎず、言及された装置又は素子が必ず特定の方位を有し、特定の方位で構成され、操作されなければならないことを示唆又は暗示するものではないため、本発明に対する制限的なものと理解すべきではない。なお、用語である「第１」、「第２」、「第３」は、記述のためのものに過ぎず、相対的な重要性を示唆又は暗示すると理解すべきではない。

【0020】

本発明の記述において、説明すべきこととして、特に明確に規定、限定しない限り、用語である「取り付け」、「繋がり」、「接続」は、広義的なものと理解されるべきであり、例えば、固定的な接続であってもよく、取り外し可能な接続であってもよく、又は一体的な接続であってもよく、機械的な接続であってもよく、電気的な接続であってもよく、直接的な繋がりであってもよく、媒体を介する間接的な繋がりであってもよく、二つの素子の内部における連通であってもよく、無線接続であってもよく、有線接続であってもよい。当業者にとって、具体的な状況によって、本発明における上記の用語の具体的な意味を理解することができる。

【0021】

なお、以下に記述された本発明の異なる実施の形態における技術的特徴は、矛盾しない限り、お互いに組み合わせることができる。

【0022】

図１は、全自動携帯自撮り眼底カメラを示し、このカメラは、顔密着アセンブリ０１と、運動アセンブリと、位置決めアセンブリ０３と、鏡筒１とを含み、鏡筒１の内部に照明アセンブリ、フォーカスアセンブリ、レンズ（接眼対物レンズ）、光学レンズ群、結像プローブ１０などが設けられ、鏡筒１の内部の構造については、中国特許文献ＣＮ１１１１３４６１６Ａを参照すればよい。実際の製品は、ケースをさらに含み、運動アセンブリ及び鏡筒１がケースの内部に位置する。顔密着アセンブリ０１は、ケースの前部にシールに接続され、顔密着アセンブリは、顔密着本体と、顔密着本体に成形され被撮影者の眼部の密着際に前記眼部を収容するための窓貫通穴とを含む。顔密着アセンブリ０１は、被撮影者の眼部と接する部品として、鏡筒１は、顔密着アセンブリ０１の貫通穴を通して被撮影者の眼底網膜画像を収集する。

【0023】

顔密着本体の、鏡筒１から離反する面は、被撮影者の眼部周囲の顔部輪郭に密着する形状に構成される。具体的には、顔密着アセンブリ０１は、人の頭部の円弧状に合わせるために、内へ凹みの形状に形成し、その貫通穴のサイズは、少なくとも被測者の眼部がこのアセンブリに密着するときに両眼を収容するものである。顔密着アセンブリ０１の、内（ケース内、鏡筒）へ向ける面には、カメラの各機能を検出するための少なくとも一つの特定の位置がある。一つの具体的な実施例では、図１及び図２を結び付けながら、図２に示すのは、顔密着アセンブリ０１の、内へ向ける面であり、貫通穴０１１の中部の上縁には一つの突起部０１２があり、鏡筒１のレンズは、この箇所に位置合わせて画像を撮影することができる。この突起部０１２にはターゲットとして一つのパターン又は簡単な図形が設けられることはより好ましい。この特定の位置は、様々な用途があり、カメラの照明アセンブリの検出、フォーカスアセンブリが正常であるかどうかの検出、被撮影者の眼部が顔密着アセンブリ０１に正確に密着するかどうかの検出などの用途を含み、詳細については後述する。

【0024】

運動アセンブリは、鏡筒１の三次元空間での移動を制御するために用いられ、図１における座標係を例として、図におけるＸ、Ｙ、Ｚの三軸に移動することができる。説明すべきこととして、鏡筒１がＺ方向に限界位置まで移動したときに、端部が顔密着アセンブリ０１の外へはみ出すことはない。一つの具体的な実施例として、運動アセンブリは、三つのレールアセンブリを含み、第１組のレール０２１は、Ｘ軸における鏡筒１の運動を制御するために用いられ、第２組のレール０２２は、Ｙ軸における鏡筒１の運動を制御するために用いられ、未図示の第３組のレールは、Ｚ軸における鏡筒１の運動を制御するために用いられる。具体的には、鏡筒１が第２組のレール０２２とともに一つのテーブル（ベース）に設けられ、第１組のレール０２１は、ベース全体を動かして運動させることができ、第３組のレールは、ベース及び第１組のレール０２１を動かして運動させ、全体として顔密着アセンブリ０１に対して接近又は離れる。

【0025】

位置決めアセンブリ０３は、鏡筒１の移動状況を検出するために用いられる。具体的には、位置決めアセンブリ０３は、電磁誘導の信号に応じて、鏡筒１が位置決めアセンブリ０３のある位置に移動したことを検知する電磁誘導器であってもよい。図３を結び付けながら、本実施例では３つの位置決めアセンブリ０３が設けられ、そのうちの二つの位置決めアセンブリは、Ｘ軸における鏡筒１の移動を検出するように、移動可能なベースの両側に設けられ、第３の位置決めアセンブリは、Ｙ軸における鏡筒１の移動を検出するように、このベースに設けられ、即ち、位置決めアセンブリ０３は、鏡筒１のＸＹ平面での移動状況を検出するために用いられる。

【0026】

本発明による眼底カメラによれば、結像のための照明アセンブリ、フォーカスアセンブリ、接眼対物レンズ、光学レンズ群及び結像プローブが一つの鏡筒に集積することによって、光路構造の小型化を実現し、眼底カメラの体積を小さくし、携帯性を向上させる。眼底カメラの顔密着アセンブリには、被撮影者の眼部を収容するための窓貫通穴が設けられ、ユーザは、自分で眼底カメラを装着し、眼部を窓貫通穴の位置に置き、運動アセンブリによって鏡筒が駆動され窓貫通穴の範囲において瞳孔を探索し、作動距離を調整することによって、眼底画像を撮影することができ、本態様は、眼底カメラのハードウェアの複雑度と使用の難しさを低減し、ユーザが自発的に眼底画像を撮影することができ、眼底カメラの普及を促す。

【0027】

本発明の実施例は、眼底画像全自動撮影方法を提供し、この方法は、眼底カメラ自体により実行されてもよく、コンピュータ又はサーバなどの電子機器により（制御方法として）実行されてもよい。図４に示すように、この方法は以下のステップを含む。

【0028】

Ｓ３００、眼底カメラのレンズを移動させて瞳孔に位置合わせる。

【0029】

Ｓ４００、レンズが眼球に近づき、角膜で反射された照明光に対する結像である画像を収集するように制御する。

【0030】

Ｓ５００、上記画像で作動距離を決定する。

【0031】

Ｓ６００、焦点距離を調整して眼底画像を収集し、眼底画像で撮影の焦点距離を決定する。

【0032】

Ｓ７００、作動距離にて、撮影の焦点距離で眼底画像を撮影する。

【0033】

好ましい実施例では、上記ステップＳ１００の前に、カメラの状態及びユーザの使用状態を検出するステップをさらに実行してもよく、図６に示すように、本方法は、以下をさらに含む。

【0034】

Ｓ１００、眼底カメラの運動アセンブリ、照明アセンブリ、フォーカスアセンブリが正常であるかどうかを検出する。このステップは、選択的な操作として、眼底カメラの起動時に実行されてもよい。ある部品に異常があったことを検出した場合、後続の撮影操作を終止し、該当する異常提示を行う。

【0035】

Ｓ２００、人の頭部が眼底カメラの顔密着アセンブリに密着するかどうかを検出する。このステップは、選択的な操作として、人の頭部が眼底カメラの顔密着アセンブリに密着していないことを検出した場合、音声モジュールによってユーザへ提示を与えて、ユーザが眼底カメラを正確に装着するように案内する。

【0036】

上記ステップＳ１００に対して、本発明の実施例は、眼底カメラ検出方法を提供し、この方法は、眼底カメラ自体により実行されてもよく、一つの自己検査方法として、コンピュータ又はサーバなどの電子機器により実行されてもよく、一つの製品の検出方法として、この方法は以下のステップを含む

【0037】

Ｓ１、運動アセンブリを制御してレンズの位置を調節し、レンズか各位置決めアセンブリのある位置に移動できるかどうかを検出する。本方法は、眼底カメラが起動した直後に実行されるのに適し、まず、レンズ（上記実施例によれば、レンズと鏡筒とが一体として設けられるため、鏡筒を移動させることは、レンズを移動させることである）が初期位置に移動される。そして、図３を結び付けながら、運動アセンブリによってレンズの位置を調節し、レンズがこの３つの位置決めアセンブリのある位置に移動できるかどうかを検出する。これらの位置に移動できた場合、運動アセンブリの機能が正常であると考えられ、ステップＳ２を実行してもよく、逆の場合には、ステップＳ６を実行する。ステップＳ１は、ＸＹ軸における運動アセンブリの運動の検出ステップと称されてもよい。

【0038】

Ｓ２、運動アセンブリを制御してレンズを設定位置に移動させ、照明アセンブリをオンするとともにフォーカスアセンブリを制御して第１の焦点距離に調整し、撮影して第１の画像を得る。このステップの目的は、フォーカスアセンブリ及び照明アセンブリの機能が正常であるかどうかを検出することであり、理論的には、レンズがある位置に位置合わせなければならないことに限定される必要がないため、このステップにおける前記設定位置は、様々な選択がある。実際の作動環境において、外部環境が未確定であり、例えば、明るい環境であり、このステップにより第１の画像を撮影するときに外部環境が明るい場合、画像の内容が干渉されてしまう。実際の作動環境に適用するために、このステップにおいて、レンズを顔密着アセンブリに位置合わせるある特定の部位（例えば、上記の突起部）に移動させ、できるだけ外部環境を少なく撮影し、画像において外部環境が占める比例よりも顔密着アセンブリが占める比例が大きい。無論、顔密着アセンブリ及びその貫通穴の形状を変えることによって、このステップにおいて撮影された画像には外部環境が完全に含まれないようにすることも可能である。

【0039】

適当な焦点距離を設定することによって、照明アセンブリを結像させることができる。例えば、図１８は、一つの鏡筒における照明ランプの構造を示し、一つの環状構造の上に四つの電球が設けられる。これらの四つの電球をオンし、第１の焦点距離で結像し、図１９に示すような画像を得ることが期待される。

【0040】

好ましい実施例では、撮影された画像におけるバックグラウンドによる照明アセンブリの結像への影響を回避するために設定された第１の焦点距離は、顔密着アセンブリを結像させることができず、照明アセンブリを結像させることができる。それによって、顔密着アセンブリの突起部などの物体が存在せず、前記第１の画像には照明アセンブリのみ存在し、後続のステップにおける画像認識の正確性を向上させる。

【0041】

Ｓ３、第１の画像における照明アセンブリの画像特徴から、フォーカスアセンブリ及び照明アセンブリが正常であるかどうかを判断する。フォーカスアセンブリの機能が正常である場合に、設定された焦点距離によって、図１９に示す画像を得ることができるはずであり、この画像には顕著な特徴があり、具体的には照明アセンブリの実際形状に依存する。例えば、本実施例では、第１の画像には四つの独立した明瞭な点状物があるはずであり、これらは上記四つの電球に対する結像の結果である。この時に調整された焦点距離が上記第１の焦点距離でなければ、画像における点状物が大きくなってぼけ、又はより小さくなる。照明アセンブリをオンしなければ、画像には形状が現れない。

【0042】

マシンビジョンアルゴリズムかニューラルネットワークアルゴリズムかにより第１の画像を認識する場合、いずれも画像には予定の特徴が存在するかどうかを認識することができる。フォーカスアセンブリ及び照明アセンブリが正常であると判定すれば、ステップＳ４を実行し、そうでなければ、ステップＳ６を実行する。ステップＳ２－Ｓ３は、フォーカスアセンブリ及び照明アセンブリの検出ステップと称されてもよい。

【0043】

Ｓ４、運動アセンブリを制御してレンズを設定深さ位置に調節し、フォーカスアセンブリを制御して第２の焦点距離に調整し、撮影して第２の画像を得る。このステップでは、一つの既知物体を結像する必要があり、好ましい実施例として、顔密着アセンブリの突起部を既知物体とする。具体的には、まず、レンズをＸＹ平面で顔密着アセンブリの突起部に位置合わせ、本実施の形態では、ステップＳ２においてこの部位に位置合わせるため、このステップにおいてさらに調整する必要がない。他の実施例では、ステップＳ２においてこの部位に位置合わせていなければ、このステップにおいて調整する。このステップでは深さを調整する必要があり、即ち、Ｚ軸にはレンズの位置を調整する必要があり、既知物体に対する撮影距離を調整してから焦点距離を設定すると理解されてもよい。

【0044】

外部の物体を結像させることができるように、この時の焦点距離がステップＳ２において使用される焦点距離と異なり、このステップにおける焦点距離が現在のレンズ位置（深さ位置）に適合すべきであり、図２０に示すような画像を得ることが期待される。

【0045】

好ましい実施例では、撮影された画像における照明アセンブリの映像による被写体の結像への影響を回避するために設定された第２の焦点距離は、照明アセンブリを結像させることができず、顔密着アセンブリを結像させることができる。それによって、前記第２の画像には照明アセンブリの映像が現れず、顔密着アセンブリの突起部のような被写体のみ存在し、後続のステップにおける画像認識の正確性を向上させる。

【0046】

Ｓ５、第２の画像における被写体の画像特徴から、結像機能が正常であるかどうかを判断する。第２の画像は、ＸＹ軸における運動アセンブリの運動、照明アセンブリ及びフォーカスアセンブリのいずれも正常である場合に撮影された画像であり、このステップの目的は、Ｚ軸における運動アセンブリの運動が正常であるかどうかを検出することであり、ステップＳ４において運動アセンブリがレンズを設定深さ位置に調整できれば、撮影された第２の画像には明瞭な被写体、例えば図２０に示す顔密着アセンブリの突起部が現れるはずである。

【0047】

マシンビジョンアルゴリズムかニューラルネットワークアルゴリズムかにより第２の画像を認識する場合、いずれも画像には予期どおりの特徴が存在するかどうかを認識することができる。Ｚ軸における運動アセンブリの運動が正常であると判定すれば、検出を終了し、眼底カメラのそれぞれの主なアセンブリ機能が正常であると判定し、そうでなければ、ステップＳ６を実行する。ステップＳ４－Ｓ５は、Ｚ軸における運動アセンブリの運動の検出ステップと称されてもよい。

【0048】

Ｓ６、眼底カメラの状態異常を判定する。異常があったアセンブリによって、ユーザへ具体的な故障箇所を提示する。眼底カメラには音声モジュール又は情報表示モジュールが設けられ、ユーザへ該当する故障情報を放送又は表示する。

【0049】

本発明の実施例による眼底カメラ検出方法によれば、位置決めアセンブリによって運動アセンブリがレンズの位置を正常に調整できるかどうかを検証する。運動アセンブリが正常であると確認した後に、焦点距離を調整して照明アセンブリを結像させ、収集された画像に対する判断によって、フォーカスアセンブリ及び照明アセンブリが正常であるかどうかを決定することができる。最後には、運動アセンブリによってレンズの深さを調整し、焦点距離を調整して被写体を結像させ、画像における物体特徴に対する判断によって、運動アセンブリがレンズの深さを正常に調整できるかどうかを検証し、それによって眼底カメラのそれぞれの主な部品が正常に作動できるかどうかを自動的に決定する。本態様は、遠隔の無人環境で機器の作動状態を自動的に検査することによって、眼底写真の撮影の利便性を向上させ、眼底カメラの普及を促すことができる。

【0050】

好ましい実施例では、顔密着アセンブリの突起部にはターゲットが設けられ、即ち、上記被写体が顔密着アセンブリの設定箇所におけるターゲットであり、ターゲットの具体的な内容は限定されず、輪廓が明瞭な一つ又は複数のパターンであってもよく、形状であってもよい。得られた第２の画像には、図２１に示すように、一つの円形ターゲット８１が含まれ、ステップＳ５は、具体的には以下を含む。

【0051】

Ｓ５１、第２の画像には明瞭なターゲットの映像が存在するかどうかを認識し、
Ｓ５２、第２の画像には明瞭なターゲットの映像が存在すれば、結像機能が正常であると決定する。

【0052】

マシンビジョンアルゴリズム又はニューラルネットワークアルゴリズムによるターゲットに対する認識の結果がより正確であり、画像にはターゲットがない場合、又は輪廓が不明瞭な場合に、さらに認識されやすく、それによってカメラの機能に対する判断の正確性をさらに向上させる。

【0053】

上記ステップＳ２００に対して、本発明の実施例は、眼底カメラの使用状態の検出方法を提供し、ユーザが上記実施例における眼底カメラを正しく装着したかどうかを検出するために用いられる。この方法は、眼底カメラ自体により実行されてもよく、一つの自己検査方法として、コンピュータ又はサーバなどの電子機器により実行されてもよい。本方法は、上記検出方法によりカメラのそれぞれの主な部品が正常であると決定してから実行されるのに適し、この方法は以下のステップを含む。

【0054】

Ｓ１、レンズが顔密着アセンブリの窓を通して収集した第１の画像を取得する。本態様では、レンズが図２に示すような貫通穴０１１を通して外部環境の画像を収集し、顔密着アセンブリがレンズを遮蔽することを回避すべきであり（顔密着アセンブリが結像の範囲にない）、被撮影者が眼底カメラを正しく装着したときに、眼部が顔密着アセンブリ０１に密着し、窓（貫通穴０１１）の中は人の両眼及びその周囲の皮膚となり、レンズが該当する第１の画像を収集した。このステップでは、照明アセンブリをオフ状態に維持する必要があり、即ち、レンズを介して外へ光を照射していない。本態様では、収集画像の鮮鋭度に対する要求が高くないため、画像の収集に用いられる焦点距離が一つの固定値であってもよく、結像平面をほぼ人の表面に設ければよい。無論、先に照明アセンブリをオンし、自動フォーカスを行い、結像平面を人の表面にさらに精確に設けてから照明アセンブリをオフしてもよい。

【0055】

Ｓ２、第１の画像の輝度が設定基準に達するかどうかを判断する。被撮影者の眼部が顔密着アセンブリ０１に密着して周囲には大きい隙間がない場合に、収集された第１の画像が暗くなる。ここで、先に第１の画像の輝度に対して判断し、輝度が設定基準に達すれば、ステップＳ３を実行し、そうでなければ、ステップＳ６を実行する。

【0056】

画像の輝度が設定基準に達するかどうかを判断する方法は様々であり、例えば、画像の画素値から輝度値を計算し、そして閾値と比較してもよい。ニューラルネットワークアルゴリズムにより、予め異なる輝度の画像でニューラルネットワークをトレーディングすることによって、ニューラルネットワークが画像輝度に対する分類又は回帰予測能力を有し、ここでニューラルネットワークにより第１の画像を認識し、輝度に関する認識結果を出力する。

【0057】

一つの好ましい実施例では、第１の画像をグレースケール画像に変換してから、グレースケール画像の輝度を認識する。

【0058】

Ｓ３、照明アセンブリをオンし、レンズが顔密着アセンブリの窓を通して収集した第２の画像を取得する。この時、レンズ及び被撮影者の状態が変わっていなく、単に照明光源をオンし、レンズを介して外へ照明し、この時、照明光は被撮影者の眼部又は皮膚に照射されて反射される。一つの好ましい実施例では、レンズの位置を顔密着アセンブリの窓の中心位置に位置合わせるように設けており、使用される光源が赤外光であり、人の頭部が顔密着アセンブリに密着すれば、レンズが位置合わせるのは両眼間の領域となり、図２２に示すような画像を収集することができる。

【0059】

Ｓ４、第２の画像から、人の頭部が顔密着アセンブリに密着するかどうかを決定する。被撮影者の頭部が顔密着アセンブリに密着する場合、人の皮膚が照明光を反射するため、図２２に示す画像には一つの顕著な光スポットが現れるとともに、光スポットの周囲には人の皮膚特徴を呈しており、画像には、中心が明るくてエッジが次第に暗くなる特徴があるかどうかを判断することによって、人の頭部が顔密着アセンブリに密着するかどうかを決定することができる。

【0060】

仮に、ステップＳ１－Ｓ２では、顔密着アセンブリに密着している物がないが、カメラが暗い空間に置かれる又は顔密着アセンブリが他の物により遮蔽される場合にも、第１の画像の輝度が設定基準に合致すると判定されてしまい、ステップＳ３－Ｓ４をさらに実行して判断する必要がある。顔密着アセンブリに密着している物がない場合、収集された第２の画像には光スポットが現れることはない。顔密着アセンブリが他の物により遮蔽される場合、第２の画像には光スポットが現れ、材質、表面形状の違いによって、照明光に対する反射の状況が人の場合と異なるため、光スポットの特徴によって人であるかどうかを判断できる。

【0061】

他の選択的な実施例では、第１、第２の画像の収集の時に、レンズが他の位置に位置合わせてもよく、例えば眼球に位置合わせ、ステップＳ４では、画像において眼球の特徴を認識することによって人であるかどうかを確定する。

【0062】

好ましい実施例では、ステップＳ４では、まず第２の画像の輝度が設定基準に達するかどうかを判断し、第１の画像の輝度の認識と似たように、第２の画像をグレースケール画像に変換してから輝度値を計算し、又はニューラルネットワークによって認識してもよい。この時に、顔密着アセンブリと人との密着箇所に隙間があって光が漏れる場合に、環境光の影響を受けて、第２の画像の輝度がカメラ自体の光源だけで照明する時の輝度と異なる。光の漏れを除外した後に、第２の画像における特徴が人の皮膚特徴に合致するかどうかをさらに判断する。

【0063】

人の頭部が顔密着アセンブリに密着したと決定すると、ステップＳ５を実行し、そうでなければ、ステップＳ６を実行する。

【0064】

Ｓ５、眼底画像を撮影し始める。具体的には、自動的に、瞳孔を探し、作動距離を調整し、焦点距離を調整して結像平面を眼底に設けて、最終的に撮影して眼底画像を得る。

【0065】

Ｓ６、眼底カメラを正しく装着するようにユーザへ提示する。例えば、眼底カメラには音声モジュールを設け、眼底カメラをどのように正しく装着するかなどを、ユーザへ提示し、その後にステップＳ１に戻し、新たに判断してもよい。

【0066】

本発明の実施例による眼底カメラの使用状態の検出方法によれば、照明アセンブリをオフする場合に画像を収集し、画像の輝度によって、初歩的に顔密着アセンブリが物によく遮蔽されるかどうかを判断し、そして照明アセンブリをオンする場合に画像を収集し、画像特徴によって遮蔽体が人であるかどうかをさらに判断し、それによって被撮影者が眼底カメラを正しく装着しているかどうか、適切な環境では眼底カメラを使用しているかどうかを自動的に決定し、本態様によって、手動で撮影のトリガーを介入することなく、専門人員が操作することなく、眼底写真を撮影するように眼底カメラを全自動的にトリガーすることができるため、眼底写真の撮影の利便性を向上させ、眼底カメラの普及を促すことができる。

【0067】

カメラが撮影し始めるときに、実際の応用シナリオで瞳孔と接眼対物レンズとが完全に位置合わせるわけではなく、この時に、カメラがセンサにおける瞳孔の結像によって瞳孔に対するレンズの位置を判断し、そしてレンズを瞳孔の真正面に移動させて撮影する必要がある。上記ステップＳ３００に対して、本発明の実施例は、眼底カメラレンズ自動位置合わせ方法を提供し、この方法は、眼底カメラ自体により実行されてもよく、コンピュータ又はサーバなどの電子機器により（制御方法として）実行されてもよく、この方法は以下のステップを含む。

【0068】

Ｓ１、眼底カメラのレンズが収集した画像を認識し、その中に瞳孔が存在するかどうかを判断する。具体的には、ユーザが上記眼底カメラを装着した後、システムは、連続に（例えば、フレーム毎に）瞳孔の画像を収集し、画像から瞳孔を認識した場合、瞳孔がすでに結像範囲にあったことを示し、この場合に、微調整してレンズを瞳孔に完全に位置合わせれば、撮影することができる。画像から瞳孔を認識できない場合、レンズと瞳孔との位置ずれが大きいことを示し、これは、レンズの初期位置が適切ではない又はユーザの装着方式が基準に合わないからである。

【0069】

画像から瞳孔映像を認識する方式は様々であり、例えば、マシンビジョンアルゴリズムによって、画像における図形特徴から瞳孔の輪廓と位置を検出してもよい。しかしながら、最終の撮影の前に、眼底カメラが赤外光を使用し照明しているため、瞳孔の結像が非常に明瞭ではなく、また、角膜における反射光は瞳孔の検出へ困難をもたらし、この場合には、コンピュータビジョンアルゴリズムでは誤って判断しやすいため、一つの好ましい実施例では、深さ学習アルゴリズムによってこの問題を解決する。

【0070】

まず、多数の瞳孔の写真を収集し、これらの写真は、異なる人が上記眼底カメラの接眼対物レンズからの異なる方向及び距離にて、異なるタイミングで収集された画像である。そして、画像ごとの瞳孔をマークすることによって、ニューラルネットワークをトレーニングするためのトレーニングデータが得られる。これらのマークされたデータを使用し一つのニューラルネットワークモデル（例えば、ＹＯＬＯネットワーク）をトレーニングし、トレーニングされたら、ニューラルネットワークモデルの認識結果は、画像における瞳孔の位置及びサイズを表すための検出枠を含む。

【0071】

図５に示すように、一つの具体的な実施例では、トレーニングデータでは、四角形の枠５１で瞳孔をマークし、トレーニングされたニューラルネットワークモデルの認識結果も四角形の検出枠となる。他の実施例では、円形の枠でマークしてもよく、他の類似のマーク方法でもよい。

【0072】

いずれの瞳孔の検出方法を採用しても、このステップでは、画像には瞳孔が存在するかどうかを認識すればよく、画像には瞳孔が存在しなければ、ステップＳ２を実行し、そうでなければ、ステップＳ３を実行する。

【0073】

Ｓ２、眼底カメラのレンズを制御して現在の位置付近で移動させて瞳孔を探す。上記運動アセンブリにより鏡筒を移動させ、例えば、螺旋状の軌跡のように移動させることによって、現在の位置から次第に周囲へ広がる。説明すべきこととして、本実施例は、上記ＸＹ平面における移動のみに関連し、仮にＺ軸の移動を記述していなく、Ｚ軸の移動は、眼底カメラの最適な作動距離に関連し、後続の実施例では詳細を紹介する。

【0074】

限界位置まで移動しても瞳孔を探さなかった場合、装着の状態を調整するようにユーザへ提示する。瞳孔を探した場合、ユーザの眼部がレンズから遠くずれて、運動アセンブリの運動可能な範囲を超えるかどうかをさらに判断し、例えば、レンズの移動距離が移動閾値を超えるかどうかを判断し、移動距離が移動閾値を超えた時に、レンズの移動範囲に合わせるために、顔密着アセンブリ内に頭をわずかに移動させるようにユーザへ提示する。そして、探し続け、移動距離が移動閾値を超えていない時に、ステップＳ３を実行する。

【0075】

Ｓ３、画像における瞳孔が設定条件に合致するかどうかを判断する。具体的には、様々な設定条件、例えばサイズに関する条件、形状に関する条件などを設定してもよい。

【0076】

一つの選択的な実施例では、設定条件は、サイズ閾値を含み、画像における瞳孔のサイズがサイズの閾値よりも大きいかどうかを判断し、画像における瞳孔のサイズがサイズの閾値よりも大きいときに、設定条件に合致する瞳孔が存在すると判定し、そうでなければ、目を閉めて休むようにユーザへ提示し、瞳孔を増大させてから撮影し始める。眼底画像を撮影する時に一般的には両眼を順次に撮影する必要があるため、一つ目の眼部を撮影した後に、瞳孔が小さくなるため、システムも、ユーザに目を閉めて休ませることによって、瞳孔の大きさを回復させる必要がなる。

【0077】

別の選択的な実施例では、設定条件は、形態の特徴を含み、画像における瞳孔の形状が設定された形態特徴に合致するかどうかを判断し、画像における瞳孔の形状が設定された形態特徴に合致するときに、設定条件に合致する瞳孔が存在すると判定し、そうでなければ、目を大きく開けて、できるだけ瞬きをしないようにユーザへ提示する。設定された形態特徴が円形又は近似円形であり、検出した瞳孔が予め設定された形態特徴に合致しなく、例えば扁平である場合に、これは一般的にはユーザが目を開けないためである。

【0078】

第３の選択的な実施例では、上記ニューラルネットワークモデルを使用し瞳孔検出を行う必要があり、ニューラルネットワークモデルの認識結果は瞳孔の信頼度情報、即ち、モデルにより画像に瞳孔が存在すると判定される確率値を示すものを含む。前記設定条件は、信頼度閾値を含み、ニューラルネットワークモデルによる信頼度情報が前記信頼度閾値より大きいかどうかを判断する。前記信頼度情報が信頼度閾値よりも大きいときに、設定条件に合致する瞳孔が存在すると判定し、そうでなければ、目を大きく開け、髪などの遮蔽物を移動して除去するようにユーザへ提示する。ニューラルネットワークモデルによる瞳孔の信頼度が低いことは、画像に瞳孔が存在するものの、それが他の物により干渉される可能性があることを示し、撮影の品質を向上させるために、調整するようにユーザへ提示する。

【0079】

上記の三つの実施例については、択一的に使用してもよく、組み合わせて使用してもよい。画像における瞳孔が設定条件に合致するときに、ステップＳ４を実行し、そうでなければ、ユーザの自体の状態の調整を待つと共に、設定条件に合致するまでに判断し続く。

【0080】

Ｓ４、画像における瞳孔の位置によって、眼底カメラのレンズを移動させて瞳孔に位置合わせる。上記運動アセンブリにより鏡筒を移動させ、移動方向及び距離は、画像における瞳孔とレンズとのずれに依存する。収集した画像の中心点をレンズの中心点と見なし、画像における瞳孔の中心点を認識する。画像における瞳孔の中心点の認識方式については、例えば、上記ニューラルネットワークモデルを使用し瞳孔を検出する場合に、検出枠の中心点を瞳孔の中心点と見なせればよい。ステップＳ４は、具体的には以下を含む。

【0081】

Ｓ４１、検出枠の中心位置と前記画像における中心位置とのずれによって、移動距離及び移動方向を決定し、
Ｓ４２、決定された移動距離及び移動方向によって、眼底カメラのレンズを移動させて瞳孔に位置合わせる。

【0082】

本発明の実施例による眼底画像撮影方法によれば、画像における瞳孔の状態を判断することによって、被撮影者の現在の瞳孔の状態が眼底画像の撮影に適するかどうかを自動的に決定し、その状態が眼底画像の撮影に適していないときに、被撮影者へ該当する提示を与えることによって被撮影者にその自体の状態を調整させ、その状態が眼底画像の撮影に適するときに、瞳孔の位置を認識することによって、自動位置合わせを行い、その後に撮影し、それよって使用不可能な眼底画像を撮影したことを回避し、プロセス全体に専門人員が要らなく、ユーザの自己撮影を実現する。

【0083】

実際の応用シナリオでは、瞳孔のサイズが環状照明光のサイズよりも小さいような特別な状況が生じるかもしれない。この場合に、瞳孔と接眼対物レンズとを位置合わせると、何らかの光も瞳孔に入れないようになってしまうため、撮影された画像が黒くなる。

【0084】

この問題を解決するために、上記ステップＳ７００に対して、本発明の実施例は、好ましい眼底画像撮影方法を提供し、この方法は、以下のステップを含む。

【0085】

Ｓ５１、画像における瞳孔のサイズが眼底カメラの照明アセンブリの環状照明光のサイズよりも小さいかどうかを判断する。図７は、一つの瞳孔７２のサイズが環状光７１のサイズよりも大きい場合を示し、この場合に、ステップＳ５２を実行する。

【0086】

図８は、二つの環状照明光のサイズが瞳孔のサイズよりも大きい場合を示し、照明光源は、完全な環状照明ランプ、又は複数の照明ランプが環状に並べられた光源であり、環状光７１の内径は、瞳孔７２の径より大きい。

【0087】

瞳孔のサイズが環状照明光のサイズよりも小さいときに、即ち、図８に示す状況に合致するときに、ステップＳ５３を実行する。

【0088】

Ｓ５２、現在のレンズ位置にて眼底画像を撮影する。これは、光源が眼底をよく照射する場合に撮影した画像である。

【0089】

Ｓ５３、レンズを複数の方向へ移動させて瞳孔との間にずれを生じさせることによって、環状照明光の一部を瞳孔に照射させ、複数の眼底画像を取得する。図９に示す移動を例として、本実施例では、レンズを水平の二つの方向のそれぞれへ移動させ、レンズを一側へ移動させて環状光７１の一部７３を瞳孔７２に照射させ、この時に一枚の眼底画像を撮影する。レンズを他側へ移動させて環状光束７１の他の一部７４を瞳孔７２に照射させ、この時に他の一枚の眼底画像を撮影する。

【0090】

図９に示す移動及び照明は、撮影状況を説明するための例に過ぎず、実際の応用では、より多い方向へ移動させてより多い眼底画像を撮影する。しかしながら、このような移動及び照明の状況で撮影された眼底画像における一部の領域に白飛びが生じて、このような眼底画像をそのまま撮影結果とすることができないため、ステップＳ５４を実行する。

【0091】

また、白飛びが生じた領域を低減させるために、一つの好ましい実施例では、以下のような移動及び撮影を採用する。

【0092】

Ｓ５３１、瞳孔の縁位置を決定する。具体的には、マシンビジョンアルゴリズム又は上記ニューラルネットワークモデルを使用し、図９における瞳孔７２の左側縁点７２１及び右側縁点７２２を得る。

【0093】

Ｓ５３２、瞳孔の縁位置によって移動距離を決定する。具体的には、現在のレンズ中心の位置Ｏ（画像中心位置）と左側縁点７２１及び右側縁点７２２との位置関係から運動アセンブリの移動距離を計算する。

【0094】

Ｓ５３３、前記レンズを、複数の方向へ決定された移動距離だけ移動させ、決定された移動距離にて、環状照明光のエッジと瞳孔のエッジとが重なり合う。図９に示すように、環状光７１の外周縁は、ちょうど瞳孔７２のエッジと重なり合うことによって、眼底に入る環状光７１の部分を眼底のエッジに位置させ、眼底中心領域に対する結像への影響を低減する。

【0095】

Ｓ５４、複数の眼底画像を一つの眼底画像に統合する。このステップでは、それぞれの眼底画像から使用可能な領域を抽出し、これらの眼底画像を繋ぎ一つの完全の眼底画像に統合する。繋ぎ及び統合の方法は様々であり、一つの選択的な実施例として、ステップＳ５４は、具体的には以下を含む。

【0096】

Ｓ５４１ａ、取得された眼底画像に対応するレンズの移動距離から、複数の眼底画像の変位ずれを計算し、
Ｓ５４２ａ、複数の眼底画像において有効領域を選択し、
Ｓ５４３ａ、変位ずれによって、複数の有効領域を繋ぎ、繋いた眼底画像を得る。さらに、画像統合アルゴリズムによって、それぞれの前記有効領域の繋ぎ箇所で統合処理を行う。

【0097】

別の一つの選択的な実施例として、ステップＳ５４は具体的には以下を含む。

【0098】

Ｓ５４１ｂ、複数の眼底画像において、該当する特徴点を検出し、
Ｓ５４２ｂ、特徴点の位置から、複数の眼底画像の空間変換関係を計算し、
Ｓ５４３ｂ、空間変換関係から、複数の眼底画像を同一座標係に設定し、
Ｓ５４４ｂ、同一の座標係にある複数の眼底画像において、有効領域を選択して繋いて、繋いた眼底画像を得る。

【0099】

本発明の実施例による眼底画像撮影方法によれば、眼底カメラのレンズが瞳孔に位置合わせるときに、まず、画像における瞳孔のサイズ及びカメラ自体からの環状光のサイズを判断して比較し、瞳孔のサイズが小さすぎることにより照明光が眼底に正常に照射できなくなる場合、レンズを移動させ、現在の位置合わせ位置からずれさせて環状照明光の一部を瞳孔に照射させ、複数のずれ位置に眼底画像を取得し、最終的に複数の眼底画像から一つの眼底画像として統合し、本態様は、被撮影者の瞳孔が小さい場合に眼底画像を撮影することであり、専門人員が撮影プロセスに関与する必要がなく、被撮影者の瞳孔状態に対する要求を低減し、撮影効率を向上させる。

【0100】

以下、Ｚ軸におけるカメラレンズ（鏡筒）の移動を紹介し、Ｚ軸の移動は眼底カメラの最適作動距離に関連する。上記ステップＳ４００－Ｓ５００に対して、本実施例は、眼底カメラの作動距離調整方法を提供し、この方法は、眼底カメラ自体により実行されてもよく、コンピュータ又はサーバなどの電子機器により（制御方法として）実行されてもよい。この方法は、以下のステップを含む。

【0101】

Ｓ１：レンズが眼球に近づき、角膜で反射された照明光に対する結像である画像を収集するように制御する。このステップは、上記実施例の態様に基づき、ＸＹ平面内でレンズを瞳孔に位置合わせた場合に実行され、このステップにおける、眼球へのレンズの近づきについての制御は、運動アセンブリによって、レンズを制御してＺ軸で眼球の方向へ移動させることを指す。初期の距離にて、照明アセンブリの光源が光学レンズによって目の角膜に照射した反射光は、ｃｍｏｓに結像して、図１０に示すような結果が得られ、本実施例における光源は、十字型で照明アセンブリの４側に分布される４つの電球であり、この光源に対する結像にもそれに応じて４つの光スポットが表示される。他の実施例において、照明光源は、図８に示すような形状であってもよく、収集された画像には、該当する形状又は配列の光スポットが表示される。

【0102】

Ｓ２：画像における光スポットの特徴が設定特徴に合致するかどうかを検出する。図１１に示すように、鏡筒１がＺ軸で眼球０１へ移動することに伴い、角膜での反射光の結像は変わることになる。具体的に、結像の位置、サイズ及び鮮鋭度は、接眼対物レンズと角膜との間の距離に関連する。距離が近いほど、入力光線と角膜の法線とがなす角が大きくなり、反射による散乱効果がより顕著になり、光スポットのサイズが大きくなり、更に広がり、輝度が低くなる。

【0103】

画像において光スポットの特徴を認識する方式は様々であり、例えば、マシンビジョンアルゴリズムを用いて、画像における図形特徴から光スポットの輪郭及び位置を検出してもよい。しかしながら、光スポットの鮮鋭度、サイズ等の変化範囲が大きく、この場合に、コンピュータビジョンアルゴリズムでは誤って判断しやすいため、一つの好ましい実施例において、深層学習アルゴリズムを用いてこの問題を解決する。

【0104】

まず、多数の光スポットの結像を収集し、これらの結像は、異なる人が、上記眼底カメラの接眼対物レンズからの異なる方向及び距離、異なるタイミングで収集された画像である。そして、それぞれの画像における光スポットをマークすることによって、ニューラルネットワークをトレーニングするためのトレーニングデータが得られる。これらのマークされたデータを用いて一つのニューラルネットワークモデル（例えばＹＯＬＯネットワーク）をトレーニングし、トレーニングされたら、ニューラルネットワークモデルの認識結果は、画像における光スポットの位置及びサイズを表すための一つの検出枠を含む。

【0105】

図１２に示すように、一つの具体的な実施例では、トレーニングデータにおいて四角形枠１２１を用いて光スポットをマークし、トレーニングされたニューラルネットワークモデルの認識結果も四角形の検出枠になる。他の実施例において、円形枠を用いてマークしてもよく、又は他の類似したマーク方式でもよい。

【0106】

いずれの光スポット検出方法を採用しても、このステップでは現在の画像における光スポットの特徴が設定特徴に合致したと認識すればよい。前記設定特徴は、サイズに関する特徴であってもよく、例えば、画像における光スポットのサイズが設定サイズよりも小さい場合、設定特徴に合致すると判定する。光スポットの消滅であってもよく、例えば、マシンビジョンアルゴリズム又はニューラルネットワークによって画像における光スポットを検出できない場合、設定特徴に合致すると判定する。

【0107】

画像における光スポットが設定特徴に合致する場合に、ステップＳ３を実行し、そうでなければ、ステップＳ１に戻し、レンズの移動及び画像の収集を継続する。

【0108】

Ｓ３：作動距離に達したことを決定する。画像における光スポットの特徴が設定特徴に合致すると決定した場合、この時のレンズと眼球との間の距離は、作動距離に達したと見なされる。具体的な実施例において、ハードウェアパラメータに基づいて、この距離の上で、距離補償を行い、補償の方向、距離値は、ハードウェアパラメータに関連する。例として、図１３は、光スポットが設定特徴に合致する画像を示し、この時、レンズ１と眼球０１との距離はＷＤであり、その上で、レンズを制御して眼球に近づく方向へ予め設定される距離ｄだけ移動させ続けることによって、より正確な作動距離ＷＤ＋に達する。

【0109】

この作動距離にて、焦点距離をさらに調整すれば、眼底画像を撮影できる。焦点距離を調整する方式について、後述の実施例では詳細を紹介する。

【0110】

本発明の実施例による作動距離調整方法によれば、角膜で反射された照明光に対する結像を収集、認識し、画像における光スポットの特徴によって、レンズと眼球との距離を判断、調整し、眼底カメラにいかなる別の光学デバイス又はハードウェアを設ける必要がなく、適当な照明光を設けるだけで、作動距離の正確な位置決めを実現でき、それによって眼底カメラのコストを低下させ、作動距離の調整効率を向上させることができる。

【0111】

眼球の方向へのレンズの移動中、ユーザが頭部をわずかに回す可能性があることなどを考慮すると、これは、レンズがもはや瞳孔に位置合わせた状態ではないことを招くため、作動距離の調整中、さらに、ＸＹ平面でレンズの位置を調整して、瞳孔に位置合わせるように維持する。本実施例は、好ましい作動距離調整方法を提供し、この方法は、以下のステップを含む。

【0112】

Ｓ１Ａ：角膜で反射された照明光に対する結像を収集し、
Ｓ２Ａ：ニューラルネットワークを呼び出して画像における光スポットを検出し、画像には光スポットが存在するかどうかを判断する。画像には光スポットが存在しない場合には、ステップＳ６Ａを実行し、逆の場合には、ステップＳ３Ａを実行する。

【0113】

Ｓ３Ａ：画像における光スポットの中心点を認識し、光スポットの中心点と画像の中心点とが重なり合うかどうかを判断する。ここで、ニューラルネットワークによる検出枠の中心を光スポットの中心と見なす。画像の中心点は、レンズの中心と見なされ、画像の中心点と光スポットの中心とが重なり合うと、レンズが瞳孔に位置合わせたことを示し、ステップＳ５Ａを実行し、両者が重なり合わないと、レンズが位置合わせ位置からずれたことを示し、ステップＳ４Ａを実行する。

【0114】

Ｓ４Ａ：光スポットの中心点と画像の中心点とのズレ量に基づいてレンズの位置を微調整する。検出－調整－再検出は、一つのフィードバックの過程であり、一つの好ましい実施例として、ここで、以下のような平滑化調整アルゴリズムが用いられる。

【0115】

Ａｄｊｕｓｔｍｅｎｔ（ｉ）＝ａ＊Ｓｈｉｆｔ（ｉ）＋（１－ａ）Ａｄｊｕｓｔｍｅｎｔ（ｉ－１）
ここで、Ａｄｊｕｓｔｍｅｎｔ（ｉ－１）は、前回のレンズの調整変位を示し、Ｓｈｉｆｔ（ｉ）は、前記ズレ量（瞳孔の中心と画像の中心とのずれ）を示し、Ａｄｊｕｓｔｍｅｎｔ（ｉ）は、今回のレンズの調整すべき変位を示し、ａは０－１間の係数である。レンズの位置がＸＹ平面での２次元座標であるため、Ａｄｊｕｓｔｍｅｎｔ及びＳｈｉｆｔはいずれも２次元ベクトルである。

【0116】

光スポットの中心点と画像の中心点とを重なり合うように調整した後、ステップＳ５Ａを実行する。

【0117】

Ｓ５Ａ：レンズを制御して眼球に近づく方向へ移動させて、距離を短縮させる。その後、ステップＳ１Ａに戻し、繰り返してレンズが眼球へ近づき、該当する画像における光スポットのサイズは、大から小へ変わる。光スポットが消える臨界点を高精度に捕捉するために、光スポットが消える画像が検出されるまで、フレームごとの画像を収集し、それに応じて上記判断及び調整を行ってもよい。

【0118】

Ｓ６Ａ：レンズを制御して眼球に近づく方向へ予め設定される距離だけ移動させ続けていくことによって、作動距離に達する。

【0119】

好ましい実施例において、上記調整過程を実行するとともに、画像における光スポットが完全であるかどうかを検出し、光スポットが完全ではなく、例えば半分しかない場合に、ユーザが目を瞬くか目を開けていないことを意味し、この時、システムは、音声で目を大きく開けて、できるだけ目を瞬かないなどのようにユーザへ提示する。

【0120】

本発明の実施例による作動距離調整方法によれば、レンズと眼球との距離を調整するとともに、画像における光スポットの位置に基づいてレンズの位置を微調整することによって、作動距離の調整の際、レンズが瞳孔に位置合わせるように維持し、本態様は、眼底カメラにいかなる別の光学デバイス又はハードウェアを設ける必要がなく、適当な照明光を設けるだけで、作動距離を正確に位置決めること及びレンズが瞳孔に位置合わせるように維持することを実現でき、それによって眼底カメラのコストを低下させ、眼底画像の撮影効率を向上させることができる。

【0121】

上記実施例による自動位置合わせ及び作動距離の自動調整の後に、適当な焦点距離を設定しないと、明瞭な眼底画像を撮影できない。以下では、焦点距離の自動調整に関する技術案を紹介し、上記ステップＳ６００に対し、本実施例は、眼底カメラの焦点距離調整方法を提供し、該方法は、眼底カメラ自体により実行されてもよく、コンピュータ又はサーバなどの電子機器により（制御方法として）実行されてもよい。この方法は、以下のステップを含む。

【0122】

Ｓ１：焦点距離を調整し、眼底画像を収集する。このステップは、眼底カメラのレンズが瞳孔に位置合わせ且つ作動距離に達した場合に実行され、この時のレンズ及び眼球の位置は図１３に示すようである。説明すべきこととして、上記実施例においてレンズの位置及び作動距離の調整中に画像を収集する場合にも、無論、固定の焦点距離を設定する必要があり、例えば、作動距離の調整の際、焦点距離は０屈折位置に固定されてもよい。被撮影者の屈折が正常であると、作動距離が適切に調整されれば、眼底画像を直接に撮影することができる。ただし、実際の応用の際、被撮影者の実際の屈折を考慮して適当な焦点距離を設定する必要がある。

【0123】

眼底カメラが露光を行うように眼底画像を撮影する前に、例えば、上記自動位置合わせ及び作動距離の自動決定中、いずれも赤外光を用いて結像し、この時、画像の収集に用いられる光源は、依然として赤外光である。現在の焦点距離にて眼底を鮮明に結像させることができないが、この時収集された画像は、眼底の特徴を基本的に呈し、画像には少なくとも視神経乳頭が表示されるため、収集された画像を眼底画像と称する。

【0124】

Ｓ２：眼底画像において視神経乳頭領域を認識する。視神経乳頭領域は、眼底の中の、質感が最も多く、輝度が最も高い領域であるため、フォーカスに最も好適に用いられる。

【0125】

眼底画像において視神経乳頭を認識する方式は様々であり、例えば、マシンビジョンアルゴリズムを用いて、眼底画像における図形特徴から視神経乳頭の輪郭及び位置を検出してもよい。しかしながら、赤外光による結像は相対的にぼけて、視神経乳頭の認識に大きいチャレンジをもたらし、この場合に、コンピュータビジョンアルゴリズムでは誤って判断しやすいため、一つの好ましい実施例において、深層学習アルゴリズムを用いてこの問題を解決する。

【0126】

まず、多数の眼底画像を収集し、これらの画像は、異なる人が、異なる焦点距離にて収集した眼底画像である。そして、画像ごとの視神経乳頭をマークすることによって、ニューラルネットワークをトレーニングするためのトレーニングデータが得られる。これらのマーク済みデータを用いて１つのニューラルネットワークモデル（例えばＹＯＬＯネットワーク）をトレーニングし、トレーニングされたら、ニューラルネットワークモデルの認識結果は、眼底画像における視神経乳頭の位置を表すための一つの検出枠を含む。

【0127】

図１４に示すように、一つの具体的な実施例では、トレーニングデータにおいて四角形枠１４１を用いて視神経乳頭をマークし、トレーニングされたニューラルネットワークモデルの認識結果も四角形の検出枠になる。他の実施例において、円形枠を用いてマークしてもよく、又は他の類似したマーク方式でもよい。

【0128】

Ｓ３：視神経乳頭領域の鮮鋭度に基づいて撮影の焦点距離を決定する。具体的に、初期の焦点距離から始めて、勾配上昇法で焦点距離を変換しながら該当する眼底画像を収集し、そのうちの視神経乳頭の鮮鋭度が予め設定された基準に達するかどうかを判断してもよく、予め設定された基準に達すると、現在の焦点距離が最適な焦点距離であると判定し、これ以上探索し続ける必要がなくなる。焦点距離の調整可能な範囲で全ての使用可能な焦点距離を用いて該当する眼底画像を収集し、全ての眼底画像から視神経乳頭の鮮鋭度が最も高い一つの眼底画像を決定し、該画像を収集する時の焦点距離が最適な焦点距離であると判定してもよい。

【0129】

一つの具体的な実施例において、トラバースの方式で、まず、設定された焦点距離の範囲８００－１３００内で、第１の設定ステップ長４０で焦点距離を調整し、第１組の眼底画像を収集し、それによって焦点距離８００時の眼底画像、焦点距離８４０時の眼底画像、焦点距離８８０時の眼底画像…焦点距離１３００時の眼底画像が得られる。これらの眼底画像において視神経乳頭領域をそれぞれ認識し、眼底画像ごとの鮮鋭度をそれぞれ決定し、本実施例においては、視神経乳頭領域内の画素値の平均値を鮮鋭度として計算する。そして、第１組の眼底画像から最も高い鮮鋭度を有する一つの眼底画像を決定してもよく、この時、該眼底画像の収集の際に使用される焦点距離Ｘ（第１の焦点距離）を撮影の焦点距離としてもよい。

【0130】

より良い撮影効果を得るために、焦点距離をさらに探索し、例えば、上記焦点距離Ｘの付近でトラバースをもう一回行ってもよく、今回のトラバース過程に使用される第２の設定ステップ長は、上記第１の設定ステップ長よりも小さく、例えば第２の設定ステップ長が１０であり、それによって第２組の眼底画像、即ち焦点距離Ｘ＋１０時の眼底画像、焦点距離Ｘ＋２０時の眼底画像、Ｘ－１０時の眼底画像、Ｘ－２０時の眼底画像などをさらに得ることができる。そして、これらの眼底画像において視神経乳頭領域をそれぞれ認識し、眼底画像ごとの鮮鋭度をそれぞれ決定し、例えば焦点距離Ｘ－２０時の眼底画像を鮮鋭度が最も高い眼底画像として決定すると、焦点距離Ｘ－２０（第２の焦点距離）を撮影の焦点距離とする。

【0131】

焦点距離をさらに探索する範囲について、好ましい実施例として、第１の焦点距離Ｘを中点とし、増大された第１の設定ステップ長を最大値とし、減少された第１の設定ステップ長を最小値とする焦点距離の範囲であってもよく、範囲はＸ±４０となる。

【0132】

本発明の実施例による焦点距離調整方法によれば、異なる焦点距離で眼底画像を収集し、眼底画像における視神経乳頭の鮮鋭度によって現在の焦点距離が眼底画像の撮影に適するかどうかを判断し、眼底カメラにいかなる別の光学デバイス又はハードウェアを設ける必要がなく、画像認識アルゴリズムを設定するだけで、最適なフォーカス位置を見つけることができ、それによって眼底カメラのコストを低下させ、焦点距離の調整効率を向上させることができる。

【0133】

焦点距離の調整中、ユーザが頭部をわずかに回す可能性があることなどが考えられ、これは、レンズがこれ以上瞳孔に位置合わせた状態ではないことを招くため、焦点距離の調整中、さらに、ＸＹ平面でレンズの位置を調整して、瞳孔に位置合わせるように維持する。そして、この段階まで行った時は、眼底画像の撮影直前になり、この時被撮影者が目を瞬くか目を閉じると、撮影に成功できないため、この過程でさらに瞬き及び／又は目の閉めの検出を行う必要がある。本実施例は、好ましい焦点距離調整方法を提供し、以下のステップを含む。

【0134】

Ｓ１Ａ：現在の焦点距離で眼底画像を収集する。

【0135】

Ｓ２Ａ：眼底画像によって被撮影者が目を瞬いた及び／又は目を閉じたかどうかを判断する。被撮影者が目を瞬いた及び／又は目を閉じた場合、提示を行い、例えば音声で目を瞬かない又は目を閉じないようにユーザへ提示した後、ステップＳ１Ａに戻し、逆の場合には、ステップＳ３Ａを実行する。瞬き及び目の閉じの検出は、マシンビジョンアルゴリズム又はニューラルネットワークアルゴリズムによって実現されてもよく、被撮影者が目を瞬いた又は目を閉じた場合、収集された画像は、全く黒くなるか、又は非常にぼけて、特徴が相対的に顕著となり、様々な方法で検出してもよく、ここで、これ以上説明しない。

【0136】

Ｓ３Ａ：眼底画像には角膜で反射された照明光による光スポットが存在するかどうかを認識する。上記実施例の作動距離の調整の際にレンズが瞳孔に位置合わせるように維持する方式と異なり、作動距離に達した後、位置合わせた状態となった場合、角膜で反射された照明光は結像の範囲内にないはずであり、眼底画像には上記光スポットが再度現れることはなく、特に光スポットの完全な結像が現れる可能性はない。たとえ光スポットが現れても、光スポット全体の一部になり、一つの具体的な実施例において、複数の照明ランプが環状で並べられた光源を使用し、完全な光スポットは図１２に示すようである。焦点距離の調整の際に眼底画像に光スポットが現れると、図１５に示すような場合になり、そのうち一部の光スポット１５１しかない。光源自体が一つの完全な環状ランプであると、画像には棒状物が現れる。

【0137】

眼底画像に光スポットが存在する場合、ステップＳ４Ａを実行し、逆の場合には、ステップＳ５Ａを実行する。

【0138】

Ｓ４Ａ：少なくとも光スポットの位置によってレンズの位置を微調整して、光スポットを移動して除去することによって、レンズが瞳孔に位置合わせるように維持する。光スポットが異なる位置に現れる場合、そのサイズ及び輝度は異なる。好ましい実施例として、画像における光スポットの位置、サイズ及び輝度と合わせて、ベクトルのズレを計算することができる。図１５を例にすると、画像の中心を原点（０，０）として座標系を構築し、画像の半径はＲである。それぞれの光スポット１５１の近似円形領域を計算し、本実施例において、近似円形領域は光スポット１５１を含む最小円形領域である。例えば、ｉ番目の光スポットの近似円形領域の中心座標は（ｘ_ｉ，ｙ_ｉ）であり、半径はｒ_ｉである。

【0139】

再度、レンズを瞳孔に位置合わせた後、ステップＳ１Ａに戻す。

【0140】

Ｓ５Ａ：眼底画像において視神経乳頭領域を認識し、視神経乳頭領域の鮮鋭度が設定基準に達するかどうかを判断する。本実施例において、ｍｏｂｉｌｅｎｅｔ－ｙｏｌｏｖ３ニューラルネットワークモデルを用いて視神経乳頭を認識し、ニューラルネットワークが出力した視神経乳頭領域は、視神経乳頭及びバックグラウンドを含む領域である。そして、エッジ検出アルゴリズム（例えば、ｓｏｂｅｌ、Ｌａｐｌａｃｅ等のアルゴリズム）によってこの視神経乳頭領域内で視神経乳頭のエッジを検出し、正確な視神経乳頭画像が得られ、視神経乳頭画像の平均値を鮮鋭度値として計算する。

【0141】

例えば、得られた鮮鋭度値と閾値を比較することによって設定基準に達するかどうかを判断してもよく、視神経乳頭領域の鮮鋭度が設定基準に達していない場合、ステップＳ６Ａを実行する。視神経乳頭領域の鮮鋭度が設定基準に達した場合、現在の焦点距離が眼底画像の撮影に適すると判定し、その後、赤外光を閉じ、白色光を用いて露光を行い、眼底画像を撮影することができる。

【0142】

Ｓ６Ａ：焦点距離を調整し、その後、ステップＳ１Ａに戻す。ステップＳ１Ａにおいて使用される初期焦点距離に基づいて、例えば初期焦点距離が調整可能な焦点距離のうちの最小値である場合には、固定のステップ長又は可変のステップ長に応じて焦点距離を増大させ、逆の場合には、焦点距離を減少させる。

【0143】

上記各実施例による態様を用いて、レンズを瞳孔に位置合わせ、最適な作動距離に調整して焦点距離を決定した後に、眼底画像を撮影し始める。眼底画像の撮影の際、照明アセンブリで露光を行う（本実施例のカメラに用いられる光源は白色光である）必要がある。しかしながら、露光撮影中、例えば瞳孔が小さくなり、瞼が遮蔽され、目を瞬き、顔密着アセンブリから光が漏れるなどのことにより、被撮影者は依然として眼底画像の撮影品質に影響を与える可能性があり、これらの状況が発生した場合、撮影された眼底画像に使用不可能な領域が現れる。撮影の成功率を向上させるために、上記ステップＳ７００に対して、本実施例は、眼底画像撮影方法を提供し、この方法は眼底カメラ自体により実行されてもよく、コンピュータ又はサーバ等の電子機器により（制御方法として）実行されてもよく、この方法は、以下のステップを含む。

【0144】

Ｓ１：レンズの状態をそのまま維持し、複数の眼底画像を撮影する。具体的には、上記各実施例の方法に基づいて、レンズをＸＹ平面での位置に固定して瞳孔に位置合わせ、且つＺ軸の距離に位置決め、固定の焦点距離を用いて、レンズの位置、作動距離及び焦点距離をそのまま維持した場合に、照明アセンブリを露光させ、複数の眼底画像を撮影することを指す。

【0145】

Ｓ２：複数の眼底画像の品質をそれぞれ決定する。眼底画像の品質を分析する手段は様々であり、例えば中国特許文献ＣＮ１０８３４６１４９Ａによる眼底画像に対する検出方法を参照してもよい。本実施例において、ニューラルネットワークモデルを用いて画像の品質を分析し、ニューラルネットワークモデルは分類タスクを実行し、画像の品質を分類し、例えば品質が高い又は品質が悪いという分類結果を出力してもよく、回帰予測タスクを実行し、画像の品質を量子化し、例えば１－１０点を出力して画像の品質に対する評価を表してもよい。

【0146】

モデルのトレーニングについて、白色光によって露光された多数の網膜ピクチャを予め収集し、画像の品質の良否について人工的にマークするか（分類モデルに適用される）、又は画像の品質について採点を与える（例えば、１～１０点、回帰予測モデルに適用される）。これらの眼底画像及びマーク又は評価値をトレーニングデータとして、ニューラルネットワークモデルをトレーニングし、モデルが収束されたら、眼底画像の品質を認識するために用いられる。

【0147】

Ｓ３：各眼底画像の品質が設定基準に達するかどうかを判断し、いずれか一つの眼底画像が設定基準に達する場合に、該眼底画像を撮影結果とすればよい（撮影結果を出力する）。複数の眼底画像の品質がすべて設定基準に達していない場合に、ステップＳ４を実行する。

【0148】

Ｓ４：複数の眼底画像を用いて、一つの眼底画像に合成して撮影結果とする。連続的に撮られた複数枚の眼底画像については、全体としての品質がいずれも良くない可能性があるが、どの眼底画像にも品質の良い一部の領域がある可能性があり、これらの使用可能な領域を用いて、繋いで統合すれば、高品質で完全な眼底画像を一枚得ることができる。

【0149】

本発明の実施例による眼底画像撮影方法によれば、レンズの状態をそのまま維持し、複数の眼底画像を撮影し、複数の眼底画像の品質をそれぞれ決定し、全ての眼底画像がいずれも使用不可能であると判定した場合に、複数の眼底画像を用いて一つの完全な眼底画像を合成し、被撮影者が撮影過程を干渉しても、既存の眼底画像を用いて品質が高い眼底画像が得られ、撮影し直す回数を減少させ、ユーザの使用の難しさを低下させ、眼底画像を撮影する成功率を向上させる。

【0150】

さらに、本発明の実施例は、眼底画像合成方法を提供し、この方法は、以下のステップを含む。

【0151】

Ｓ４１：レンズの状態が変わらない場合に撮影された複数の眼底画像を取得する。これらの眼底画像には、品質の悪い領域及び品質の良い領域がそれぞれ存在する。無論、いくつかの眼底画像の品質が極めて悪いと、例えば評価ポイントが０である画像は、全く黒い又は全く白い可能性があり、これらの完全に使用不可能な画像を直接に除去することができる。

【0152】

Ｓ４２：複数の眼底画像において高品質領域をそれぞれ抽出する。このステップにおいて、眼底画像の画素値に基づいて輝度を計算し、輝度の閾値と比較して、輝度の高い領域及び輝度の低い領域を除去することによって、露光過多及び露光不足の領域を除去することによって、輝度が適切な領域、即ち高品質領域を抽出してもよい。眼底画像の画素値に基づいてシャープネスを計算し、シャープネスの閾値と比較して、シャープネスの低い領域を除去することによって、露光ぼけ領域を除去することによって、高品質領域を得てもよい。又は、輝度及びシャープネスに基づいて高品質領域を総合的に抽出してもよい。

【0153】

眼底画像の実際の輝度及び／又はシャープネスに基づいて抽出された領域は、一般的に境界が不規則な領域であり、例えば図１６に示す二つの高品質領域のように、左側に示す領域が一つの眼底画像の上部からのものであり、右側に示す領域が一つの眼底画像の下部からのものである。

【0154】

他の選択的な実施例において、固定の区画方式でそれぞれの眼底画像を格子に区画し、そして、各格子領域の品質をそれぞれ分析し、高品質の格子を抽出することによって、境界が規則な高品質領域を得ることができる。

【0155】

Ｓ４３：複数の高品質領域を用いて眼底画像を合成する。各眼底画像の間には若干のズレが存在する可能性があるため、眼底画像をより正確に合成するために、ここで、まず、ズレ量に基づいて各眼底画像を同一の座標系にマッピングしてから繋いで統合処理を行ってもよい。

【0156】

好ましい実施例として、図１７に示すように、まず、複数の眼底画像に対して異常領域の検出を行い、高品質領域を抽出する。ステップＳ４３において、まず、それぞれ複数の眼底画像に対して、特徴点の抽出を行い（又は、キーポイントと称する）、特徴点は、視神経乳頭の中心点、血管の交差点などの顕著な位置であってもよい。その後、特徴点のマッチングを行い、異なる眼底画像間の特徴点をマッチングし、これらの特徴点がマッチングされた後、マッチング情報は、それぞれの眼底画像間のズレ量を計算するために用いられる（投影行列計算）。そして、ズレ量に基づいて複数の高品質領域を１枚の眼底画像にマッピングする。複数の高品質領域間に存在する重畳部分に対して、例えば図１６に示す２つの領域のように、これらの中部が重複し、複数の高品質領域の画素値及び該当する重みを用いて重畳部分の画素値を決定してもよい。これは、加重平均に基づく統合処理であり、例として、この統合処理は、ｑ１／（ｑ１＋ｑ２）＊ｉｍａｇｅ１＋ｑ２／（ｑ１＋ｑ２）＊ｉｍａｇｅ２で示されてもよく、ここで、ｑ１は１番目の高品質領域に対応する重みを示し、ｑ２は２番目の高品質領域に対応する重みを示し、ｉｍａｇｅ１は１番目の高品質領域を示し、ｉｍａｇｅ２は２番目の高品質領域を示す。

【0157】

上記重みの取り値は、眼底画像全体の品質に基づいて設定され、例えば１番目の高品質領域は第１の眼底画像からのものであり、２番目の高品質領域は第２の眼底画像からのものであり、上記品質分析方法による第１の眼底画像の品質（例えば、ニューラルネットワークから出力されたスコア）は第２の眼底画像の品質よりも高く、その場合、該当する重みｑ１はｑ２よりも大きくなる。

【0158】

図１６、１７に示される場合は、本態様の原理を説明するための例に過ぎず、実際の使用の際には、より多い眼底画像を撮影することで、できるだけより多い高品質領域を抽出するように確保することで、生成された眼底画像の完全を保証する。

【0159】

本発明の実施例による眼底画像合成方法によれば、被撮影者に対して撮影した複数の眼底画像にいずれも不良が存在する場合、本態様によって複数の眼底画像において高品質領域をそれぞれ抽出し、繋ぎ及び統合を行って品質の高い完全な眼底画像が得られ、それによってユーザが自発的に眼底画像を撮影する難しさを低下させ、撮影の成功率を向上させる。

【0160】

本発明の実施例が方法、システム又はコンピュータプログラム製品として提供されることは、当業者であれば自明である。従って、本発明は、完全なハードウェアの実施例、完全なソフトウェアの実施例、又はソフトウェアとハードウェアとを組み合わせた実施例の形態を採用してもよい。そして、本発明は、コンピュータ利用可能なプログラムコードが含まれる一つ又は複数のコンピュータに利用可能な記憶媒体（磁気ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリ等を含むが、これらに限定されない）で実施されるコンピュータプログラム製品の形態を採用してもよい。

【0161】

本発明の実施例による方法、機器（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して、本発明を記述した。フローチャート及び／又はブロック図における各フロー及び／又は各ブロック、及びフローチャート及び／又はブロック図におけるフロー及び／又はブロックの組み合わせは、コンピュータプログラム命令によって実現されると考えられるべきである。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ又は他のプログラマブルデータプロセッシングデバイスのプロセッサに提供されて一つのマシンを創出することで、コンピュータ又は他のプログラマブルデータプロセッシングデバイスのプロセッサが実行する命令により、フローチャートの一つ又は複数のフロー及び／又はブロック図の一つ又は複数のブロックで指定された機能を実現するための装置を創出してもよい。

【0162】

これらのコンピュータプログラム命令は、コンピュータ又は他のプログラマブルデータプロセッシングデバイスが特定の方式で作動するように導くことができるコンピュータ可読記憶装置に記憶されることで、該コンピュータ可読記憶装置に記憶された命令により、フローチャートの一つ又は複数のフロー及び／又はブロック図の一つ又は複数のブロックで指定された機能を実現するための命令装置を含む製造品を創出してもよい。

【0163】

これらのコンピュータプログラム命令は、コンピュータ又は他のプログラマブルデータプロセッシングデバイスにロードされ、コンピュータ又は他のプログラマブルデバイスで一連の動作及びステップを実行して、コンピュータによって実現される処理を生成することで、コンピュータ又は他のプログラマブルデバイスで実行される命令により、フローチャートの一つ又は複数のフロー及び／又はブロック図の一つ又は複数のブロックで指定された機能を実現するためのステップを提供してもよい。

【0164】

上記実施例は、明確に説明するための例に過ぎず、実施形態を限定するものではないことは明らかである。当業者にとっては、上記の説明を基に、他の異なる形式の変形又は変更を行うこともできる。ここで、全ての実施形態を網羅的に列挙する必要性も可能性もない。それから導き出される明らかな変形又は変更は、依然として本発明による保護の範囲に属する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】