特許 7508216 撮影装置およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-21

(45)【発行日】2024-07-01

(54)【発明の名称】撮影装置およびその制御方法

(51)【国際特許分類】

   A61B 3/10 20060101AFI20240624BHJP

【ＦＩ】

A61B3/10 300

【請求項の数】 9

(21)【出願番号】P 2019215790

(22)【出願日】2019-11-28

(65)【公開番号】P2021083781

(43)【公開日】2021-06-03

【審査請求日】2022-11-25

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】野里 宏治

【審査官】増渕 俊仁

(56)【参考文献】

【文献】特開２０１２－２３５８３４（ＪＰ，Ａ）

【文献】特開２０１７－１８９２１９（ＪＰ，Ａ）

【文献】FEI X et al.，Deblurring adaptive optics retinal images using deep convolutional neural networks，BIOMEDICAL OPTICS EXPRESS，2017年11月16日，Vol. 8, No. 12，pp. 5675-5687

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００－３／１８

(57)【特許請求の範囲】

【請求項1】

測定光を被検眼に照射することにより得られる戻り光に基づき、前記被検眼の第１の画像を生成する生成手段と、
第１の分解能の前記第１の画像と前記第１の画像の分解能より高い分解能の第３の画像と学習済モデルとを用いて、前記第１の分解能の前記第１の画像を、前記測定光の波面を補正して前記被検眼に照射することにより得られる前記第１の分解能より高い分解能である第２の分解能の第２の画像に変換する変換手段と
を有することを特徴とする撮影装置。

【請求項2】

前記変換手段が、前記第３の画像から学習済モデルを用いて、前記第３の画像を前記第２の分解能の第２の画像に変換すること
を特徴とする請求項１に記載の撮影装置。

【請求項3】

前記学習済モデルは、前記生成手段により生成された、第１のビーム径の測定光に対応する第１の画像、前記第１のビーム径の波面を補正した測定光に対応する第２の画像、及び、前記第１のビーム径より細い第２のビーム径の測定光に対応する第３の画像を用いて深層学習することにより得られるモデルであること
を特徴とする請求項１又は２に記載の撮影装置。

【請求項4】

前記学習済モデルは、前記生成手段により生成された、第１のビーム径の測定光に対応する第１の画像と前記第１のビーム径より細い第２のビーム径の測定光に対応する第３の画像の組み合わせ、及び、前記第１のビーム径の波面を補正した測定光に対応する第２の画像と前記第３の画像の組み合わせを用いて深層学習することにより得られるモデルであること
を特徴とする請求項１乃至３のいずれか１項に記載の撮影装置。

【請求項5】

前記学習済モデルは、前記生成手段により生成された、第１のビーム径の波面を補正した測定光に対応する第２の画像と前記第１のビーム径より細い第２のビーム径の測定光に対応する第３の画像の組み合わせを用いて深層学習することにより得られるモデルであること
を特徴とする請求項１乃至４のいずれか１項に記載の撮影装置。

【請求項6】

前記第１の画像、前記第２の画像、及び、前記第３の画像は、測定光の波面を測定する測定手段と、前記波面を補正する補正手段と、測定光のビーム径を設定する設定手段とを有する撮影装置により生成された画像であり、
前記第１の画像は、前記設定手段により前記測定光を前記第１のビーム径に設定し、前記補正手段による補正を行わずに生成した画像であり、
前記第２の画像は、前記設定手段により前記測定光を前記第１のビーム径に設定し、前記補正手段による補正を行い生成した画像であり、
前記第３の画像は、前記設定手段により前記測定光を前記第２のビーム径に設定し、前記補正手段による補正を行わずに生成した画像であること
を特徴とする請求項３乃至５のいずれか１項に記載の撮影装置。

【請求項7】

測定光を被検眼に照射することにより得られる戻り光に基づき、前記被検眼の第１の画像を生成する生成工程と、
第１の分解能の前記第１の画像と前記第１の画像の分解能より高い分解能の第３の画像と学習済モデルとを用いて、前記第１の分解能の前記第１の画像を、前記測定光の波面を補正して前記被検眼に照射することにより得られる前記第１の分解能より高い分解能である第２の分解能の第２の画像に変換する変換工程と
を有することを特徴とする撮影装置の制御方法。

【請求項8】

前記変換工程が、前記第３の画像から学習済モデルを用いて、前記第３の画像を前記第２の分解能の第２の画像に変換すること
を特徴とする請求項７に記載の撮影装置の制御方法。

【請求項9】

請求項７又は８に記載の撮影装置の制御方法をコンピュータに実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影装置およびその制御方法に関する。

【背景技術】

【0002】

近年、眼科用の撮影装置として、眼底に２次元的にレーザ光を照射してその戻り光を受光して画像化するＳＬＯ（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ：走査レーザ検眼鏡）や、低コヒーレンス光の干渉を利用したイメージング装置が開発されている。低コヒーレンス光の干渉を利用したイメージング装置は、ＯＣＴ（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ：光干渉断層像装置あるいは光干渉断層像法）と呼ばれ、特に、眼底あるいはその近傍の断層像を得る目的で用いられている。ＯＣＴの種類としては、ＴＤ－ＯＣＴ（Ｔｉｍｅ Ｄｏｍａｉｎ ＯＣＴ：タイムドメイン法）や、ＳＤ－ＯＣＴ（Ｓｐｅｃｔｒａｌ Ｄｏｍａｉｎ ＯＣＴ：スペクトラルドメイン法）等を含め、種々のものが開発されてきている。

【0003】

特に、このような眼科用の撮影装置は、近年において、照射レーザの高ＮＡ化等によってさらなる高解像度化が進められている。しかしながら、眼底を撮影する場合には、角膜や水晶体等の眼の光学組織を通して撮影をしなければならない。そのため、高解像度化が進むにつれて、これら角膜や水晶体による収差が撮影画像の画質に大きく影響するようになってきた。そこで、眼による収差を測定し、その収差を補正する補償光学（Ａｄａｐｔｉｖｅ Ｏｐｔｉｃｓ：ＡＯ）機能を光学系に組み込んだ、ＡＯ－ＳＬＯやＡＯ－ＯＣＴの研究が進められている。例えば、非特許文献１に、ＡＯ－ＯＣＴの例が示されている。

【0004】

これらＡＯ－ＳＬＯやＡＯ－ＯＣＴは、一般的にはシャックハルトマン波面センサー方式によって戻り光の波面を測定する。シャックハルトマン波面センサー方式とは、眼に測定光を入射し、その戻り光を、マイクロレンズアレイを通してＣＣＤカメラに受光することによって戻り光の波面を測定するものである。測定した波面を補正するように可変形状ミラーや、空間位相変調器を駆動し、それらを通して眼底の撮影を行うことにより、ＡＯ－ＳＬＯやＡＯ－ＯＣＴは眼底の高分解能な平面画像や断層画像の撮影が可能となる（特許文献１）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１５－２２１０９１号公報

【非特許文献】

【0006】

【文献】Ｚｈａｎｇ，ｅｔ ａｌ．，“Ｈｉｇｈ－ｓｐｅｅｄ ｖｏｌｕｍｅｔｒｉｃ ｉｍａｇｉｎｇ ｏｆ ｃｏｎｅ ｐｈｏｔｏｒｅｃｅｐｔｏｒｓ ｗｉｔｈ ａｄａｐｔｉｖｅ ｏｐｔｉｃｓ ｓｐｅｃｔｒａｌ－ｄｏｍａｉｎ ｏｐｔｉｃａｌ ｃｏｈｅｒｅｎｃｅ ｔｏｍｏｇｒａｐｈｙ”，Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ，Ｍａｙ １５，２００６，ｐａｇｅｓ ４３８０－４３９４，Ｖｏｌ．１４，Ｎｏ．１０

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、波面補正デバイスや関係する光学系を設ける必要があるため、眼底撮影装置の制御が複雑化すること、装置が大型化すること、更には高コスト化を招くことといったデメリットがある。

【0008】

本発明は、このような課題を解決するためになされたものであり、その目的は、比較的簡素な構成で高い分解能の画像の取得が可能な撮影装置を提供することにある。

【課題を解決するための手段】

【0009】

本発明の撮影装置の構成は、測定光を被検眼に照射することにより得られる戻り光に基づき、前記被検眼の第１の画像を生成する生成手段と、第１の分解能の前記第１の画像と前記第１の画像の分解能より高い分解能の第３の画像と学習済モデルとを用いて、前記第１の分解能の前記第１の画像を、前記測定光の波面を補正して前記被検眼に照射することにより得られる前記第１の分解能より高い分解能である第２の分解能の第２の画像に変換する変換手段とを有することを特徴とする。

【発明の効果】

【0010】

本発明によれば、高分解能な画質を得るための波面収差の補正光学系を用いた撮影装置に比べて装置の小型化を実現できる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態１における学習用ＳＬＯ装置の構成例の模式図である。

【図2】シャックハルトマンセンサーの模式図である。

【図3】測定された波面の模式図である。

【図4】収差がある場合の波面の模式図である。

【図5】実施形態１における標準的な制御ステップを示すフローチャートである。

【図6】教師データとなる撮影制御フローを説明するフローチャートである。

【図7】ＣＮＮ処理部の構成を説明する図である。

【図8】実施形態１におけるＳＬＯ装置の構成例の模式図である。

【図9】撮影制御フローを説明するフローチャートである。

【図10】本発明の実施形態２における学習用ＳＬＯ装置の構成例の模式図である。

【図11】実施形態２の教師データとなる撮影制御フローを説明するフローチャートである。

【図12】実施形態２のＣＮＮ処理部の構成を説明する図である。

【図13】実施形態２におけるＳＬＯ装置の構成例の模式図である。

【図14】実施形態２の撮影制御フローを説明するフローチャートである。

【発明を実施するための形態】

【0012】

本発明を実施するための形態を、以下の実施形態により説明する。但し、以下の実施形態の構成は、特許請求の範囲にかかわる本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

【0013】

［実施形態１］
実施形態１として、本発明を適用した眼底撮影装置の構成について図１から図９を用いて説明する。

【0014】

なお、本実施形態においては、測定対象である被検体を眼とし、複数の被検眼のそれぞれの被検眼の収差を補正していない状態の低分解能な画像と、収差補正を行った状態の高分解能な画像とを用いて予め学習して画像処理パラメータを取得する。その学習された画像処理パラメータによって収差補正せずに撮影した低解像度の画像を処理するようにした一例について説明する。なお、低分解能、高分解能とは、相対的なものであり特定の数値を表すものではない。

【0015】

＜教師データ作成装置説明＞
まず、画像処理パラメータを学習するための教師データとなる画像の取得方法について説明する。まず、教師データとなる眼底画像を撮影する撮影装置について、図１を用いて説明する。

【0016】

図１において、１０１は光源であり、波長７９５ｎｍのＳＬＤ光源（Ｓｕｐｅｒ Ｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｏｄｅ）を用いた。光源１０１の波長は特に制限されるものではないが、眼底撮影用としては被検者の眩しさの軽減と分解能維持のために、７５０～１５００ｎｍ程度が好適に用いられる。本実施形態においてはＳＬＤ光源を用いたが、その他にレーザ等も用いられる。本実施形態では眼底撮影と波面測定のための光源を共用しているが、それぞれを別光源とし、光路の途中で合波する構成としても良い。

【0017】

光源１０１から照射された光は、単一モード光ファイバー１０２を通って、コリメータ１０３により、平行光線（測定光１０５）として照射される。照射される光の偏光は、単一モード光ファイバー１０２の経路に具備された不図示の偏光調整器により調整される。別の構成としては、コリメータ１０３から出射された後の光路に偏光を調整する光学部品を配置する構成がある。本実施形態においては、コリメータ１０３から出射される光の偏光が図の紙面に水平な偏光成分となるように偏光調整器が調整される。

【0018】

照射された測定光１０５はビームスプリッターからなる光分割部１０４を透過し、補償光学の光学系に導光される。

【0019】

補償光学系は、光分割部１０６、波面センサー１１５、波面補正デバイス１０８および、それらに導光するための反射ミラー１０７－１～４から構成される。

【0020】

ここで、反射ミラー１０７－１～４は、少なくとも被検眼１１１の瞳と波面センサー１１５、波面補正デバイス１０８とが光学的に共役関係になるように設置されている。また、光分割部１０６として、本実施形態ではビームスプリッターを用いた。

【0021】

光分割部１０６を透過した測定光１０５は、反射ミラー１０７－１と１０７－２で反射されて波面補正デバイス１０８に入射する。波面補正デバイス１０８で反射された測定光１０５は、さらに反射ミラー１０７－３と１０７－４で反射され、走査光学系に導光される。

【0022】

本実施形態では、波面補正デバイス１０８として可変形状ミラーを用いた。可変形状ミラーは反射面が複数領域に分割されており、各領域の反射面の角度を変えることにより、戻り光の波面を変化させることができるミラーである。波面補正デバイス１０８としては、可変形状ミラーの代わりに液晶素子を用いた空間位相変調器を用いることも可能である。その場合、被検眼１１１からの光の両偏光を補正するために、２つの空間位相変調器を用いる場合もある。

【0023】

図１において、反射ミラー１０７－３、４で反射された測定光１０５は、走査光学系１０９－１によって、１次元もしくは２次元に走査される。本実施形態では走査光学系１０９－１に主走査用（眼底水平方向）と副走査用（眼底垂直方向）として一つの共振スキャナーと一つのガルバノスキャナーを用いた。別の構成では、走査光学系１０９－１に二つのガルバノスキャナーを用いることもある。走査光学系１０９－１内の各スキャナーを光学的な共役状態にするために、各スキャナーの間にミラーやレンズといった光学素子を用いる装置構成の場合もある。走査光学系はさらにトラッキングミラー１０９－２を持つ場合もある。トラッキングミラー１０９－２は２つのガルバノスキャナーから構成され、撮影領域をさらに２方向に移動させることが可能である。別の構成では、走査光学系１０９－１がトラッキングミラー１０９－２を兼ねる構成、トラッキングミラー１０９－２が走査光学系１０９－１の共振スキャナー方向のみの構成、トラッキングミラー１０９－２が２次元ミラーである構成もある。また、１０９－１と１０９－２を光学的に共役関係とするために、不図示のリレー光学系が用いられてもよい。

【0024】

走査光学系１０９－１および１０９－２で走査された測定光１０５は、接眼レンズ１１０－１および１１０－２を通して被検眼１１１に入射される。なお、本実施形態において被検眼に入射される測定光１０５のビーム径は６ｍｍに設定されており、理想的に収差が補正された場合は眼底上で３．５μｍのスポットを形成するが、この設定の数値はあくまでも一例である。被検眼１１１に入射された測定光１０５は眼底で反射もしくは散乱される。接眼レンズ１１０－１および１１０－２の位置を調整することによって、被検眼１１１の視度にあわせて最適な測定箇所の照射を行うことが可能となる。ここでは、接眼部にレンズを用いたが、球面ミラー等で構成しても良い。

【0025】

被検眼１１１の眼底の網膜から反射もしくは散乱された戻り光は、入射した時の経路を逆向きに進行し、光分割部１０６によって一部は波面センサー１１５に反射され、光線の波面を測定するために用いられる。光分割部１０６で波面センサー１１５に向けて反射された光線は、リレー光学系１１９－１、１１９－２を通り、波面センサー１１５に入射する。リレー光学系１１９－１と１１９－２の間にはアパーチャー１２０が設置されており、レンズ等からの不要な反射散乱光を波面センサーに入射させないようにする。

【0026】

本実施形態では、波面センサー１１５としてシャックハルトマンセンサーを用いた。図２にシャックハルトマンセンサーの模式図を示す。１３１が波面を測定される光線であり、マイクロレンズアレイ１３２を通して、ＣＣＤセンサー１３３上の焦点面１３４に集光される。図２の（ａ）のＡ―Ａ‘で示す位置から見た様子を示す図が図２の（ｂ）であり、マイクロレンズアレイ１３２が、複数のマイクロレンズ１３５から構成されている様子を示したものである。光線１３１は各マイクロレンズ１３５を通してＣＣＤセンサー１３３上に集光されるため、光線１３１は、光線１３１が通過したマイクロレンズ１３５の個数分のスポットに分割されて集光される。

【0027】

図３にＣＣＤセンサー１３３上に集光された状態を示す。各マイクロレンズを通過した光線はスポット１３６に集光される。そして、この各スポット１３６の位置から、入射した光線の波面を計算する。収差を含まない光が入射したときのスポットの基準の位置と測定されたスポットの位置の差から各収差測定点における波面の傾きが算出される。この傾きを積分することによって、各収差測定点における位相情報が得られる。また、各基準位置と測定されたスポットの位置の差からＺｅｒｎｉｋｅ係数を算出することも可能である。

【0028】

例えば、図４に球面収差を持つ波面を測定した場合の模式図を示す。光線１３１は１３７で図４の（ａ）で示すような波面で形成されている。光線１３１はマイクロレンズアレイ１３２によって、波面の局所的な垂線方向の位置に集光される。この場合のＣＣＤセンサー１３３の集光状態を図４の（ｂ）に示す。光線１３１が球面収差を持つため、スポット１３６は中央部に偏った状態で集光される。この位置を計算することによって、光線１３１の波面が分かる。

【0029】

本実施形態においては、３０×４０個のマイクロレンズアレイを有するシャックハルトマンセンサーを用いた。

【0030】

図１において、光分割部１０６を透過した戻り光は光分割部１０４によって一部が反射され、コリメータ１１２、光ファイバー１１３を通して光強度センサー１１４に導光される。光強度センサー１１４で戻り光はその強度に応じた電気信号に変換され、制御部１１７によって眼底画像として画像に構成されて、ディスプレイ１１８に表示される。

【0031】

波面センサー１１５は補償光学制御部１１６に接続され、受光した波面を補償光学制御部１１６に伝える。波面補正デバイス１０８も補償光学制御部１１６に接続されており、補償光学制御部１１６から指示された変調を行う。補償光学制御部１１６は波面センサー１１５の測定結果による取得された波面を基に、収差のない波面へと補正するような波面補正デバイス１０８の各領域の反射面ごとの変調量（補正量）を計算し、波面補正デバイス１０８にそのように変調するように指令する。波面の測定と波面補正デバイスへの指示は繰り返し実行され、常に最適な波面となるようにフィードバック制御が行われる。

【0032】

本実施形態のように接眼レンズ１１０－１、１１０－２で被検眼の視度に対応するような光学系がある場合には、接眼レンズ１１０－１、１１０－２が視度に応じて良好に調整されていることが重要である。そうすることで収差補正処理実行時に、被検眼の収差の大部分を占めるデフォーカス成分を収差補正器で補正する必要がなくなる。

【0033】

また、波面センサー１１５の直前のアパーチャー１２０によって不要光をカットすることで正しい収差を測定することが可能となる。しかしながら、眼の収差のデフォーカスが補正されていないと、本来は通過させるべき網膜からの信号光もアパーチャー１２０の部分で広がった状態となり、大部分がアパーチャー１２０でカットされてしまうことになる。

【0034】

さらに、収差補正を最大限動作させるためには、正しい位置に被検眼を配置することが重要であり、不図示の前眼部モニターや波面センサー１１５の信号を見ながら、被検眼の位置を調整する。なお、表示される波面センサー１１５からの信号は、例えば、図２の（ｂ）に示したハルトマン像と呼ばれる画像である。

【0035】

次に、本実施形態の学習用の教師データとなる波面補正していない眼底像と波面補正された眼底像の撮影制御フローに関して、図５のフローチャートを用いて説明する。

【0036】

図５の（ａ）のステップＳ１０１において、被検眼１１１への光照射を開始する。本実施形態では、撮影光と波面測定光が同一の光（測定光１０５）であるため、ステップＳ１０１で撮影と波面測定が可能な状態となる。

【0037】

ステップＳ１０２において、被検眼１１１の顔位置調整、フォーカス調整を行う。フォーカス値はあらかじめ別の装置で測定した値を入力する構成でもよい。ステップＳ１０３において波面センサー１１５でハルトマン像を取得する。ステップＳ１０４において、ディスプレイ１１８に表示されたハルトマン像も参照しつつ装置に対する被検眼位置を精密に調整する。

【0038】

ここで、ステップＳ１０５でＳＬＯ撮影を行い第一の画像を取得する。ＳＬＯ撮影は図５の（ｃ）のステップＳ１２１からステップＳ１２５に示すフローで行われる。まず、ステップＳ１２１でスタートし、Ｓ１２２において光強度センサー１１４からの出力に基づいて、画像信号を取得する。ステップＳ１２３で取得した画像信号を記憶装置に記録する。記録するデータは取得した電圧データでもよいし、変換および加工した画像信号でもよい。連続した画像を取得することも可能であるので、取得ステップＳ１２４で終了か否かを確認し、終了要求が来るまでステップＳ１２２、Ｓ１２３を繰り返して連続画像として記録する。終了要求が来た場合にはステップＳ１２５で終了する。得られた連続動画は動画のままでもよいし、平均処理を行って単一の静止画像として使用することも可能である。

【0039】

その後、図５の（ａ）のステップＳ１０６において収差補正を行う。収差補正ステップＳ１０６は収差補正のフローであり、図５の（ｂ）のステップＳ１１１からステップＳ１１７より構成される。ステップＳ１１１で制御を開始する。ステップＳ１１２において波面センサー１１５により収差を測定して収差情報を測定する。測定した結果を元にステップＳ１１３において補償光学制御部１１６により補正量を計算し、ステップＳ１１４において補償光学制御部１１６の制御に基づき補正デバイス１０８を駆動する。そして、補正デバイス１０８の駆動が行われた後、ステップＳ１１５において収差を測定する。

【0040】

この測定はシャックハルトマンセンサーのスポットを計測し、各測定点のスポット位置の基準位置からの移動量（ずれ量）を算出することで行う。ステップＳ１１３からステップＳ１１５までの処理が繰り返し行われることになる。一般的移動量はＸ方向とＹ方向の変位量であらわされる。本実施形態では、４０×３０のマイクロレンズアレイのシャックハルトマンセンサーを使用しているので、全レンズアレイに測定光が入射している場合には、４０×３０で１２００の測定点におけるスポットの移動量が算出される。このスポットの移動量データからステップＳ１１３において補正量を計算する。この方法以外にも、測定したスポットの移動量から波面を表現するためのＺｅｒｎｉｋｅ係数を算出する事も可能で、それを基に補正デバイス１０８を制御することが可能であることは言うまでもない。

【0041】

ステップＳ１１６において収差量が所定の値以下になったことを判断することにより完了確認を行い、収差補正が完了していない場合には、ステップＳ１１３からステップＳ１１５の補償光学の処理が再度行われる。ステップＳ１１６において完了が確認された場合には、ステップＳ１１７で収差補正を終了する。また、収差補正完了後も、涙等による眼収差の変動に対応するために、ステップＳ１１３からステップＳ１１５の収差補正処理を継続する場合もある。この場合、ある程度の収差量に達した時点でステップＳ１１７に進み元の撮影ステップに戻るが、それと並行して収差補正の処理が継続し、撮影終了まで収差補正が行われる。

【0042】

収差補正が完了すると、図５の（ａ）のステップＳ１０７においてＳＬＯ撮影を行い第二の画像を取得する。ＳＬＯ撮影は第一の画像取得と同様で、ステップＳ１２１からステップＳ１２５に示すフローで行われる。得られた連続動画は動画のままでもよいし、平均処理を行って単一の静止画像として使用することも可能である。

【0043】

ステップＳ１０８に進み、終了要求が来ている場合にはＳ１０９に進み撮影を終了する。終了要求が来ていない場合には、ステップＳ１０２に戻り、ＳＬＯ撮影を継続する。

【0044】

このようにして、教師データとして、収差補正されていない状態で撮影した第一の画像と、収差補正された状態で撮影した第二の画像が得られる。なお、この処理は複数の異なる被検眼に対して言実行され、複数の被検眼から複数の第一の画像と第二の画像を取得して教師データとしている。

【0045】

＜学習＞
次に、図５を用いて説明したように取得された第一の画像と第二の画像を用いて、第一の画像から第二の画像を生成する処理パラメータを学習させる例について説明する。

【0046】

図６に画像処理部６００の機能構成を示す。画像処理部６００は制御部１１７に含まれ、画像取得部６０１と、ＣＮＮ処理部６０２と、学習部６０３を備えている。画像取得部６０１は、制御部１１７より同一被検眼の第一の画像および第二の画像を取得する。

【0047】

ＣＮＮ処理部６０２は、畳み込みニューラルネットワークを用いて画像処理を行って、入力となる第一の画像から、第二の画像を生成する。

【0048】

学習部６０３は、ＣＮＮ処理部６０２が参照する畳み込みニューラルネットワークの学習処理を行う。本実施形態では、ディープラーニング（深層学習）の一種であるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）によってモデルを学習する。

【0049】

画像を変換するＣＮＮの構成例に関して図７を用いて説明する。

【0050】

当該ＣＮＮの構成には、複数の畳み込み処理ブロック７００群が含まれる。畳み込み処理ブロック７００は、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層７０１と、バッチ正規化層（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層７０２と、正規化線形関数を用いた活性化層（Ａｃｔｉｖａｔｉｏｎ）７０３を含む。当該ＣＮＮの構成には、合成（Ｍｅｒｇｅｒ）層７０４と最後の畳み込み層７０５が含まれる。合成層７０４は、畳み込み処理ブロック７００の出力値群と画像を構成する画素値群とを連結したり加算したりして合成する。最後の畳み込み層７０５は、合成層７０４で合成された高分解能な第二の画像ｏｍ７０２を構成する画素値群を出力する。このような構成では、入力された第一の画像ｉｍ７０１を構成する画素値群が畳み込み処理ブロック７００を経て出力された値群と、入力された画像ｉｍ７０１を構成する画素値群とが、合成層７０４で合成される。その後、合成された画素値群は最後の畳み込み層７０５で高画質・高分解能な第二の画像ｏｍ７０２に形成される。なお、画素密度等の自由度を向上させるために、途中でダウンサンプリング層やアップサンプリング層を設けても良い。

【0051】

学習データとしては、入力として波面補正デバイスによる波面の収差補正を行っていない第一の画像と、出力として、波面補正デバイスによる波面の収差補正を行った第二の画像を学習データとする。この学習データは、可能な限り短い時間で撮影されたものを用いることとする。この学習データを用いて、モデルを機械学習（深層学習）し、学習した学習済モデルを用いて画像処理を行うネットワークパラメータを得る。

【0052】

＜ＣＮＮによる画像処理を用いた撮影＞
次に、前述の学習結果（学習済モデル）を用いて、眼底像を撮影する方法について説明する。

【0053】

図８は、本実施形態において、波面補正デバイスを用いることなしに、学習データから画像処理を実施する眼底観察装置の実施形態である。図８の眼底観察装置は、図１における眼底観察装置から波面補正デバイス１０８、波面センサー１１５および、それらに導光するための反射ミラー１０７－３～１０７－４等の光学素子群、収差補正制御システム１１６を除いた構成となっている。また、図８の眼底観察装置を構成する部材及びその配置は、図１の対応する部材と光学特性が同一ないしはほぼ同一であることが望ましいが、異なる光学特性であってもかまわない。

【0054】

前述の教師データ作成時の眼底観察と同様に、光源１０１から照射された光は、単一モード光ファイバー１０２を通って、コリメータ１０３により、平行光線（測定光１０５）として照射される。照射された測定光１０５はビームスプリッターからなる光分割部１０４を透過し、走査光学系１０９－１、１０９－２や接眼レンズ１１０－１および１１０－２を通して被検眼１１１に入射される。

【0055】

被検眼１１１に入射された測定光は眼底で走査され反射もしくは散乱されて戻り光となる。接眼レンズ１１０－１および１１０－２の位置を調整することによって、被検眼１１１の視度にあわせて適切な測定位置へ照射を行うことが可能となる。

【0056】

被検眼１１１の眼底の網膜から反射もしくは散乱された戻り光は、入射した時の経路を逆向きに進行し、光分割部１０４によってその一部が反射され、コリメータ１１２、光ファイバー１１３を通して光強度センサー１１４に導光される。光強度センサー１１４で受光した光の強度に応じた電気信号に変換され、制御部１１７によって眼底画像として画像に構成される。また、画像処理部１１８を介して、ディスプレイ１１９に表示される。

【0057】

このような撮影手法により第一の画像から第二の画像を生成する際のステップに関して図９のフローチャートを用いて説明する。

【0058】

図９の（ａ）のステップＳ２０１において光照射を開始する。ステップＳ２０２において装置に対する被検眼１１１の顔位置調整、フォーカス調整を行う。

【0059】

ここで、ステップＳ２０３においてＳＬＯ撮影を行い第一の画像を取得する。ＳＬＯ撮影の処理は、図５の（ｃ）のステップＳ１２１からＳ１２５で説明したとおりである。

【0060】

次に、第一の画像を用いてステップＳ２０４において画像処理を行う。画像処理のステップを図９の（ｂ）のステップＳ２１１からＳ２１５で説明する。ステップＳ２１２において撮影装置から第一の画像を取得し、前述の学習済モデルを用いてステップＳ２１３において画像を高分解能化・高画質化する。得られた画像をステップＳ２１４において出力する。

【0061】

ステップＳ２０５以降の処理は図５の（ａ）のＳ１０８以降のフローの説明と同様である。

【0062】

このようにして、比較的安易な構成の装置を用いて撮影した第一の画像より、高画質・高分解能な第二の画像を得ることが可能となる。

【0063】

［実施形態２］
次に実施形態１で説明した測定光のビーム径とは異なるビーム径の測定光で撮影を行って取得する第三の画像も用いて学習し、第三の画像から高分解能な第二の画像を得る例について説明する。

【0064】

図１０が本実施形態の撮影装置である。ビーム径変換素子１００１以外は実施形態１と同じ構成である。ビーム径変換素子１００１は測定光１０５のビーム径を変換する。

【0065】

例えば、コリメータ１０３から出射された測定光は第一のビーム径であるφ６．５ｍｍ程度であり、収差補正されれば高分解能な眼底画像が得られる。一方で、φ６．５ｍｍの測定光は被検眼の収差の影響を大きく受け、収差補正機構がなければ高分解能な画像が得られない。ビーム径変換素子１００１はコリメータ側から入力した第一のビーム径φ６．５ｍｍの測定光を第二のビーム径φ２．５ｍｍ程度に変換して被検眼１１１側に照射する。ビーム変換素子１００１は２枚以上のレンズ群で構成しても良いし、ミラー等を組み合わせて構築しても良い。φ２．５ｍｍ程度であれば、眼の収差の影響はそれほど大きくなく、ある程度の画像は得られる。ただし、分解能はφ６．５ｍｍの測定光で収差補正して撮影したほどよくない。

【0066】

ビーム変換素子１００１を光学系から抜去することで、ビーム径を変換しない状態での撮影が可能となる。ビーム変換素子をズーム光学系等で構成することにより、素子を抜去することなく動的にビーム径の変換方法を変更することも可能である。なお、眼底で反射散乱された戻り光は、ビーム変換素子１００１を往路とは逆向きに通過することにより、第二のビーム径から第一のビーム径に変換される。図１０では、ビーム変換素子１００１を収差補正素子１０８や波面センサー１１５よりも被検眼側に設置したが、設置位置はこの位置に限定されるものではない。ただし、波面補正素子１０８と波面センサー１１５の間に設置した場合には、収差補正素子の有無により波面センサー１１５と波面補正素子１０８の関係性が変化するので、収差補正制御を変更する必要がある。

【0067】

＜教師データ作成＞
本実施形態の学習用の教師データとなる、第一のビーム径の測定光の波面補正せずに撮影することにより得られる第一の画像と収差補正して撮影することにより得られる第二の画像、第二のビーム径の測定光で撮影する第三の画像を取得する撮影制御フローに関して、図１１のフローチャートを用いて説明する。

【0068】

ステップＳ１１００において撮影を開始し、ステップＳ１１０１において光照射を開始する。本実施形態では、撮影光と波面測定光が同一の測定光であるため、ステップＳ１１０１において撮影と波面測定が可能な状態となる。

【0069】

まず、ビーム変換素子１００１を光路から抜去し、第一のビーム径の測定光１０５とする。本実施形態では第一のビーム径をφ６．５ｍｍとする。

【0070】

ステップＳ１１０３からステップＳ１１０８は実施形態１のステップＳ１０２からステップＳ１０７と同様であり、収差補正していない時点での第一の画像と、収差補正後の第二の画像が得られる。ＳＬＯ撮影の処理も実施形態１と同様であり、連続動画や重ね合わせて静止画像を得ることが可能である。

【0071】

第二の画像が取得できれば、ステップＳ１１０９において収差補正を終了する。

【0072】

次に、ステップＳ１１１０において光路にビーム変換素子１００１を光路中に挿入し、測定光のビーム径をφ６．５ｍｍからφ２．５ｍｍに変換する。その後、ステップＳ１１１１において第三の画像（収差補正は行われていない画像）を取得する。

【0073】

ステップＳ１１１２に進み、終了要求が来ている場合にはＳ１１１３に進み撮影を終了する。終了要求が来ていない場合には、ステップＳ１１０２に戻り、ＳＬＯ撮影を継続する。

【0074】

このようにして、教師データとして、収差補正されていない状態で撮影した第一の画像と、収差補正された状態で撮影した第二の画像、第二のビーム径で撮影した第三の画像が得られる。第三の画像の分解能は、第一の画像の分解能よりも高く、第二の画像の分解能より低い。なお、教師データとして、複数の異なる被検眼の第一の画像、第二の画像、第三の画像を取得し記録している。

【0075】

＜学習＞
次に、第一のビーム径で収差補正されていない状態で撮影した第一の画像、第一のビーム径で収差補正を行ったうえで撮影した第二の画像、および、第二のビーム径で撮影した第三の画像を用いて、第一の画像および第三の画像から第二の画像を生成する処理パラメータを学習させる例について説明する。

【0076】

本例も実施形態１と同様にＣＮＮ（深層学習）によってモデルを学習する構成とする。画像を変換するＣＮＮの構成例に関して図１２を用いて説明する。

【0077】

当該ＣＮＮの構成には、実施形態１と同様に複数の畳み込み処理ブロック群が含まれる。収差補正していない第一のビーム径の第一の画像ｉｍ７０１をもとに処理を行う畳み込み処理ブロック群７００と、第二のビーム径の第三の画像をもとに処理を行う畳み込み処理ブロック群１２００とで構成される。

【0078】

畳み込み処理ブロック７００および１２００は、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層７０１、１２０１と、バッチ正規化層（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層７０２、１２０２と、正規化線形関数を用いた活性化層（Ａｃｔｉｖａｔｉｏｎ）７０３、１２０３を含む。

【0079】

両フローより得られた結果は、合成（Ｍｅｒｇｅｒ）層７０４により統合され、最後の畳み込み層７０５が実行される。合成層７０４は、各畳み込み処理ブロックの出力値群と画像を構成する画素値群とを連結したり加算したりして合成する。最後の畳み込み層７０５は、合成層７０４で合成された高分解能な第二の画像ｏｍ７０２を構成する画素値群を出力する。その後、合成された画素値群は最後の畳み込み層７０５で高画質・高分解能な第二の画像ｏｍ７０２に形成される。なお、画素密度等の自由度を向上させるために、途中でダウンサンプリング層やアップサンプリング層を設けても良い。

【0080】

学習データとしては、入力として第一のビーム径による波面補正デバイスによる波面の収差補正を行っていない第一の画像と、第二のビーム径の第三の画像、出力として、波面補正デバイスによる波面の収差補正を行った第二の画像を学習データとする。この学習データは、可能な限り短い時間で撮影されたものを用いることとする。この学習データを用いて、モデルを機械学習し、学習したモデルを用いて画像処理を行うネットワークパラメータを得る。

【0081】

＜ＣＮＮによる画像処理を用いた撮影＞
次に、前述の学習結果を用いて、眼底像を撮影する方法について説明する。

【0082】

図１３は、本実施例において、波面補正を用いることなしに、学習データから画像処理を実施する眼底観察装置の実施例である。図１３の眼底観察装置は、図１０における眼底観察装置から波面補正デバイス１０８、波面センサー１１５および、それらに導光するための反射ミラー１０７－３～１０７－４等の光学素子群、収差補正制御システム１１６をのぞいた構成となっている。また、図１３の眼底観察装置を構成する部材及びその配置は、図１０の対応する部材と光学特性が同一ないしはほぼ同一であることが望ましいが、異なる光学特性であってもかまわない。

【0083】

前述の教師データ作成時の眼底観察と同様に、光源１０１から照射された光は、単一モード光ファイバー１０２を通って、コリメータ１０３により、平行光線（測定光１０５）として照射される。照射された測定光１０５はビームスプリッターからなる光分割部１０４を透過し、走査光学系１０９－１、１０９－２や接眼レンズ１１０－１および１１０－２を通して被検眼１１１に照射される。

【0084】

被検眼１１１に照射された測定光は眼底で走査され反射もしくは散乱されて戻り光となる。接眼レンズ１１０－１および１１０－２の位置を調整することによって、被検眼１１１の視度にあわせて適切な測定位置の照射を行うことが可能となる。

【0085】

被検眼１１１の網膜から反射もしくは散乱された戻り光は、入射した時の経路を逆向きに進行し、光分割部１０４によってその一部が反射され、コリメータ１１２、光ファイバー１１３を通して光強度センサー１１４に導光される。光強度センサー１１４で受光した光の強度に応じた電気信号に変換され、制御部１１７によって眼底画像として画像に構成される。また、画像処理部１１８を介して、ディスプレイ１１９に表示される。

【0086】

まず、ビーム変換素子１３０１を抜去した状態でφ６．５ｍｍの第一のビーム径にて撮影を行い、第一の画像を取得する。次にビーム変換素子１３０１を光路に挿入し、φ２．５ｍｍの第二のビーム径にて撮影を行い、第三の画像を取得する。

【0087】

このような撮影手法により、第一の画像および第三の画像から第二の画像を生成する際のフローに関して図１４のフローチャートを用いて説明する。

【0088】

図１４の（ａ）のステップＳ１４０１において光照射を開始する。ステップＳ１４０２において被検眼の顔位置調整、フォーカス調整を行う。

【0089】

ここで、ステップＳ１４０３においてビーム径をφ６．５ｍｍに設定する。その後、ステップＳ１４０４において第一の画像を取得する。

【0090】

次に、ステップＳ１４０５において光路にビーム変換素子１３０１を光路中に挿入し、ビーム径をφ６．５ｍｍからφ２．５ｍｍに変換する。その後、ステップＳ１４０６において第三の画像を取得する。

【0091】

次に、第一の画像を用いてステップＳ１４０７において画像処理を行う。画像処理のフローを図１４の（ｂ）のステップＳ１４１０からＳ１４１５で説明する。ステップＳ１４１１において撮影装置から第一の画像を取得し、ステップＳ１４１２において第三の画像を取得する。

【0092】

前述の学習済モデルを用いて、ステップＳ１４１３において画像を高分解能化・高画質化する。得られた画像をステップＳ１３１４で出力する。

【0093】

ステップＳ１４０８以降の処理は図１１のＳ１１１２以降のフローの説明と同様である。

【0094】

このようにして、比較的安易な構成の装置を用いて撮影した第一の画像および第三の画像より、高画質・高分解能な第二の画像を得ることが可能となる。

【0095】

また、本実施形態では第一の画像と第三の画像を入力とし第二の画像を出力としたが、第三の画像のみ入力とし、第二の画像を出力とする構成でもよい。

【0096】

（その他の実施形態）
上述したそれぞれの実施形態は、本発明を撮影装置として実現したものである。しかしながら、本発明の実施形態は、撮影装置、或いは、実施形態において述べた撮影方法のみに限定されるものではない。本発明をコンピュータ上で動作するソフトウェアとして実現することも可能である。また、撮影装置のＣＰＵは、ＲＡＭやＲＯＭに格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、撮影装置の各部に対応するソフトウェアの実行を制御して、各部の機能を実現し、画像処理時に行われる各工程を実行することもできる。

【0097】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0098】

以上、実施形態を参照して本発明について説明したが、本発明は上記実施形態に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施形態は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】