知財求人 - 知財ポータルサイト「IP Force」
特許7419042医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-12
(45)【発行日】2024-01-22
(54)【発明の名称】医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム
(51)【国際特許分類】
A61B 3/10 20060101AFI20240115BHJP
A61B 3/12 20060101ALI20240115BHJP
【ＦＩ】
A61B3/10 100
A61B3/12 300
【請求項の数】
19
(21)【出願番号】P 2019216516
(22)【出願日】2019-11-29
(65)【公開番号】P2021083919
(43)【公開日】2021-06-03
【審査請求日】2022-11-28
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100094112
【弁理士】
【氏名又は名称】岡部 讓
(74)【代理人】
【識別番号】100101498
【弁理士】
【氏名又は名称】越智 隆夫
(74)【代理人】
【識別番号】100106183
【弁理士】
【氏名又は名称】吉澤 弘司
(74)【代理人】
【識別番号】100136799
【弁理士】
【氏名又は名称】本田 亜希
(72)【発明者】
【氏名】岩瀬 好彦
【審査官】下村 一石
(56)【参考文献】
【文献】特開２０１９－１８７５５１（ＪＰ，Ａ）
【文献】特開２０１８－１７５２５８（ＪＰ，Ａ）
【文献】特開２０２１－０６２０７７（ＪＰ，Ａ）
【文献】田中優ほか，放射状断面画像からの眼底ボリュームデータの高精度再構成手法，MIRU 2007 画像の認識・理解シンポジウム論文集，日本，画像情報フォーラム，2007年07月，第487-492頁，http://ir.lib.hiroshima-u.ac.jp/00019812
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３／００－３／１８
(57)【特許請求の範囲】
【請求項1】
被検眼上で測定光を放射状に走査して得られた、前記被検眼の複数箇所にそれぞれ対応する複数の断層画像、及び各断層画像に対応する撮影パラメータを取得する取得部と、前記撮影パラメータを用いて、前記撮影パラメータに対応する断層画像の形状を補正する補正部と、
前記形状が補正された複数の断層画像を互いに位置合わせする位置合わせ部と、
前記位置合わせを行った複数の断層画像を用いて、三次元データを生成するデータ生成部と、
三次元空間において、前記位置合わせを行った複数の断層画像のうち少なくとも二つの断層画像が交わる位置の画素値を、該少なくとも二つ断層画像の該位置の画素値を統合した値を用いて定めるデータ統合部と、
を備え、
前記データ生成部は、前記位置合わせを行った複数の断層画像及び前記データ統合部が定めた前記画素値を用いて三次元データを生成する、医用画像処理装置。
【請求項2】
前記位置合わせ部は、前記形状が補正された複数の断層画像を、少なくとも前記断層画像における深さ方向において互いに位置合わせする、請求項１に記載の医用画像処理装置。
【請求項3】
前記データ統合部は、前記画素値を統合した値として、前記位置における前記少なくとも二つの断層画像の画素値の統計値又は該画素値のうちの１つの画素値を用いる、請求項１又は２に記載の医用画像処理装置。
【請求項4】
前記データ生成部は、前記三次元データにおける前記複数箇所間のデータを、前記位置合わせを行った複数の断層画像のうちの二つを用いた補間処理により生成する、請求項１乃至３のいずれか一項に記載の医用画像処理装置。
【請求項5】
前記データ生成部は、被検眼を撮影して得た三次元データを学習データとして学習を行った学習済モデルを用いて、前記位置合わせを行った複数の断層画像から前記三次元データを生成する、請求項１乃至３のいずれか一項に記載の医用画像処理装置。
【請求項6】
前記データ生成部は、前記三次元データの少なくとも一部のデータを二次元平面に投影した正面画像を生成する、請求項１乃至５のいずれか一項に記載の医用画像処理装置。
【請求項7】
前記断層画像は、輝度の断層画像又はモーションコントラストの断層画像であり、前記正面画像は、Ｅｎ－Ｆａｃｅ画像又はモーションコントラスト正面画像である、請求項６に記載の医用画像処理装置。
【請求項8】
前記撮影パラメータは、前記測定光の走査情報、前記被検眼と対物レンズとの距離、及び前記測定光の光軸に対する前記被検眼の偏芯量の少なくとも１つを含む、請求項１乃至７のいずれか一項に記載の医用画像処理装置。
【請求項9】
前記補正部は、前記測定光の走査情報、前記測定光を走査する走査部と共役である前記被検眼内の位置、及び前記被検眼内の屈折要素の屈折率を用いて、前記断層画像の形状を補正する、請求項８に記載の医用画像処理装置。
【請求項10】
前記補正部は、前記被検眼と前記対物レンズとの距離及び前記測定光の光軸に対する前記被検眼の偏芯量の少なくとも一方を用いて、前記断層画像の形状を補正する、請求項８又は９に記載の医用画像処理装置。
【請求項11】
前記取得部は、前記被検眼上で前記測定光を円形状に走査して得られた、前記被検眼の少なくとも一箇所に対応する断層画像を更に取得し、前記位置合わせ部は、前記測定光を円形状に走査して得られた断層画像を基準として、前記複数の断層画像を位置合わせする、請求項１乃至１０のいずれか一項に記載の医用画像処理装置。
【請求項12】
複数の断層画像を用いてモーションコントラスト画像を生成する画像生成部を更に備え、前記取得部は、前記複数箇所について所定時間内に同一箇所を走査して得られた断層画像群を取得し、
前記画像生成部は、前記断層画像群を用いてモーションコントラスト画像を生成する、請求項１乃至１１のいずれか一項に記載の医用画像処理装置。
【請求項13】
前記位置合わせ部は、前記複数の断層画像に対応する複数のモーションコントラスト画像を互いに位置合わせし、該医用画像処理装置は、前記位置合わせを行った複数のモーションコントラスト画像を用いて、三次元データを生成するデータ生成部を更に備える、請求項１２に記載の医用画像処理装置。
【請求項14】
前記位置合わせを行った断層画像について画像解析を行う解析部を更に備える、請求項１乃至１３のいずれか一項に記載の医用画像処理装置。
【請求項15】
被検眼上で測定光を放射状に走査して得られた、前記被検眼の複数箇所にそれぞれ対応する複数の第１の断層画像、及び前記被検眼上で前記測定光を円形状に走査して得られた、前記被検眼の少なくとも一箇所に対応する第２の断層画像を取得する取得部と、前記複数の第１の断層画像及び前記第２の断層画像を、少なくとも断層画像における深さ方向において互いに位置合わせする位置合わせ部と、
を備え、
前記位置合わせ部は、前記複数の第１の断層画像を基準とした位置合わせと、前記第２の断層画像を基準とした位置合わせとを操作者の指示に応じて切り替える、医用画像処理装置。
【請求項16】
請求項１乃至１５のいずれか一項に記載の医用画像処理装置と、測定光を走査する走査部を含む光学系と、
を備える、光干渉断層撮影装置。
【請求項17】
被検眼上で測定光を放射状に走査して得られた、前記被検眼の複数箇所にそれぞれ対応する複数の断層画像、及び各断層画像に対応する撮影パラメータを取得することと、前記撮影パラメータを用いて、前記撮影パラメータに対応する断層画像の形状を補正することと、
前記形状が補正された複数の断層画像を互いに位置合わせすることと、
前記位置合わせを行った複数の断層画像を用いて、三次元データを生成することと、
三次元空間において、前記位置合わせを行った複数の断層画像のうち少なくとも二つの断層画像が交わる位置の画素値を、該少なくとも二つ断層画像の該位置の画素値を統合した値を用いて定めることと、
を含み、
前記生成することは、前記位置合わせを行った複数の断層画像及び前記定めた画素値を用いて三次元データを生成することを含む、医用画像処理方法。
【請求項18】
被検眼上で測定光を放射状に走査して得られた、前記被検眼の複数箇所にそれぞれ対応する複数の第１の断層画像、及び前記被検眼上で前記測定光を円形状に走査して得られた、前記被検眼の少なくとも一箇所に対応する第２の断層画像を取得することと、前記複数の第１の断層画像及び前記第２の断層画像を、少なくとも断層画像における深さ方向において互いに位置合わせすることと、
を含み、
前記位置合わせすることは、前記複数の第１の断層画像を基準とした位置合わせと、前記第２の断層画像を基準とした位置合わせとを操作者の指示に応じて切り替えることを含む、医用画像処理方法。
【請求項19】
コンピュータによって実行されると、該コンピュータに請求項１７又は１８に記載の医用画像処理方法を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
光干渉断層撮影法（ＯＣＴ：Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）を用いたＯＣＴ装置などの眼部の断層画像撮影装置を用いることで、網膜層内部の状態を三次元的に観察することが可能である。断層画像撮影装置は、疾病の診断をより的確に行うのに有用であることから近年注目を集めている。ＯＣＴの形態として、例えば、高速に画像を取得する方法として、広帯域光源を用い、分光器でインターフェログラムを取得する、ＳＤ－ＯＣＴ（Ｓｐｅｃｔｒａｌ Ｄｏｍａｉｎ ＯＣＴ）が知られている。また、光源として高速波長掃引光源を用いることで、単一チャネル光検出器でスペクトル干渉を計測する方法としてＳＳ－ＯＣＴ（Ｓｗｅｐｔ Ｓｏｕｒｃｅ ＯＣＴ）が知られている。
【0003】
そして、近年では、造影剤を用いない血管造影法としてＯＣＴを用いた血管造影法（ＯＣＴＡ：ＯＣＴ Ａｎｇｉｏｇｒａｐｈｙ）が提案されている。ＯＣＴＡでは、ＯＣＴを用いて取得した三次元のモーションコントラスト画像を二次元平面に投影することで、血管画像（以下、ＯＣＴＡ画像又はモーションコントラスト正面画像という。）を生成することができる。ここで、モーションコントラスト画像とは、測定対象の同一断面をＯＣＴで繰り返し撮影し、その撮影間における測定対象の時間的な変化を検出したデータである。モーションコントラスト画像は、例えば、複素ＯＣＴ信号の位相やベクトル、強度の時間的な変化を差、比率、又は相関等から計算することによって得ることができる。
【0004】
ＯＣＴ装置で測定対象のデータを取得する場合、被検眼が動くことによりデータに動きのアーティファクトが発生する。そのため、ＯＣＴ装置によって計測時間の短縮を図りつつ三次元データを取得するために、被検眼を放射状に走査（スキャン）して断層画像を取得する方法が、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２００８－２０９１６６号公報
【文献】特開２０１２－１４８００３号公報
【文献】特開２０１２－１４７９７６号公報
【文献】特開２０１８－１７５２５８号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
網膜を放射状にスキャンすると、全方向から網膜をスキャンした二次元断層画像を取得することができる。そのため、水平方向や垂直方向のスキャンと比較すると、放射状のスキャンでは網膜の全体的な形状を把握することができる。
【0007】
しかしながら、放射状にスキャンした複数の二次元断層画像は異なる時間において取得されるため、隣接する断層画像間では撮影位置にずれが生じてしまう。そのため、隣接する断層画像間で対比して確認を行う場合等には位置合わせを行うことが望まれる。そこで、本発明の一実施形態では、放射状のスキャンにより得た複数のデータ間の位置ずれを低減することができる、医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラムを提供する。
【課題を解決するための手段】
【0008】
本発明の一実施態様に係る医用画像処理装置は、被検眼上で測定光を放射状に走査して得られた、前記被検眼の複数箇所にそれぞれ対応する複数の断層画像、及び各断層画像に対応する撮影パラメータを取得する取得部と、前記撮影パラメータを用いて、前記撮影パラメータに対応する断層画像の形状を補正する補正部と、前記形状が補正された複数の断層画像を互いに位置合わせする位置合わせ部と、前記位置合わせを行った複数の断層画像を用いて、三次元データを生成するデータ生成部と、三次元空間において、前記位置合わせを行った複数の断層画像のうち少なくとも二つの断層画像が交わる位置の画素値を、該少なくとも二つ断層画像の該位置の画素値を統合した値を用いて定めるデータ統合部とを備え、前記データ生成部は、前記位置合わせを行った複数の断層画像及び前記データ統合部が定めた前記画素値を用いて三次元データを生成する。
【発明の効果】
【0009】
本発明の一実施形態によれば、放射状のスキャンにより得た複数のデータ間の位置ずれを低減することができる。
【図面の簡単な説明】
【0010】
【図1】一実施形態に係る光干渉断層撮影装置の概略的な構成の一例を示す。
【図2】実施例１に係る信号処理部の概略的な構成の一例を示す。
【図3】眼部の構造と断層画像と眼底画像を説明するための図である。
【図4】実施例１に係る処理の流れの一例を示すフロー図である。
【図5】実施例１に係る走査状態の一例を説明するための図である。
【図6】実施例１に係る位置合わせの一例を説明するための図である。
【図7】実施例１に係る走査状態におけるデータの取り扱いの一例を説明するための図である。
【図8】実施例１に係る走査状態におけるデータ生成の一例を説明するための図である。
【図9】実施例１に係る三次元データから任意の断面を切り出した断層画像の一例を説明するための図である。
【図10A】実施例１に係る機械学習モデルを説明するための図である。
【図10B】実施例１に係る学習データを説明するための図である。
【図11A】実施例１に係るユーザーインターフェースの一例を示す。
【図11B】実施例１に係るユーザーインターフェースの一例を示す。
【図12】実施例２に係る走査状態の一例を説明するための図である。
【図13】実施例３乃至５に係る信号処理部の概略的な構成の一例を示す。
【図14】実施例３に係る処理の流れの一例を示すフロー図である。
【図15】実施例４に係る被検眼に入射する測定光と断層画像データの一例を示す。
【図16】実施例４に係る処理の流れの一例を示すフロー図である。
【図17】実施例４に係る実形状補正処理を説明するための図である。
【図18】実施例５に係る処理の流れの一例を示すフロー図である。
【図19A】実施例５に係るユーザーインターフェースの一例を示す。
【図19B】実施例５に係るユーザーインターフェースの一例を示す。
【発明を実施するための形態】
【0011】
以下、本発明を実施するための例示的な実施形態及び実施例を、図面を参照して詳細に説明する。ただし、以下の実施形態及び実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
【0012】
なお、以下において、機械学習モデルとは、機械学習アルゴリズムによる学習モデルをいう。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量や結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて以下の実施例及び変形例に適用することができる。また、教師データとは、学習データのことをいい、入力データ及び出力データのペアで構成される。さらに、正解データとは、学習データ（教師データ）の出力データのことをいう。
【0013】
なお、学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な教師データ（学習データ）を用いてトレーニング（学習）を行ったモデルをいう。ただし、学習済モデルは、事前に適切な学習データを用いて得ているが、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。追加学習は、装置が使用先に設置された後も行われることができる。
【0014】
ここで、本発明の一実施形態に係る、被検体を撮影する光干渉断層撮影装置（ＯＣＴ装置）について説明する。本実施形態に係るＯＣＴ装置は、第１の波長帯域の光を被検体に照射する照射部を有する。ここで、第１の波長帯域は、例えば、４００ｎｍ～７００ｎｍである。また、照射部は、例えば、対物レンズを含む照明光学系である。
【0015】
また、ＯＣＴ装置は、照射手段により照射した光に関する被検体からの戻り光に基づいて、被検体の平面画像を取得する平面画像取得部を有する。さらに、ＯＣＴ装置は、例えば、第１の波長帯域の光を照射した被検体からの戻り光を、撮像光学系を介して結像することで、該被検体の撮像を行う撮像部を有する。平面画像取得部は、撮像部の出力信号に基づいて、該被検体の平面画像を取得することができる。
【0016】
また、ＯＣＴ装置は、第１の波長帯域よりも長い第２の波長帯域を掃引させながらレーザ光を射出する光源を有する。ここで、第２の波長帯域は、例えば、９８０ｎｍ～１１００ｎｍである。また、光源は、例えば、ＳＳ－ＯＣＴの波長掃引光源である。
【0017】
さらに、ＯＣＴ装置は、照射手段により光源から射出されたレーザ光に基づく測定光を照射した被検体からの戻り光と、該測定光に対応する参照光とを合波した光に基づいて、該被検体の断層画像を取得する断層画像取得部を有する。断層画像取得部は、ＳＳ－ＯＣＴに係る断層画像を取得することができる。以下、ＯＣＴ装置についてＳＳ－ＯＣＴ装置を例として説明するが、ＯＣＴ装置はこれに限らない。例えば、ＳＤ－ＯＣＴ（Ｓｐｅｃｔｒａｌ ｄｏｍａｉｎ ＯＣＴ）、ＰＳ－ＯＣＴ（Ｐｏｌａｒｉｚａｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ ＯＣＴ）、ＡＯ－ＯＣＴ（Ａｄａｐｔｉｖｅ Ｏｐｔｉｃｓ ＯＣＴ）など撮影方式の異なるＯＣＴ装置であってもよい。
【0018】
なお、本発明に係るＯＣＴ装置は、被検眼、皮膚、又は内臓等の被検体について測定を行う装置に適用することができる。また、被検体が被検眼の眼底である場合、平面画像は眼底画像のことである。また、本発明に係るＯＣＴ装置としては、例えば、眼科装置や内視鏡等であり、その一例として眼科装置について、図面を用いて詳細に説明する。
【0019】
（実施例１）
以下、図１乃至図１１Ｂを参照して、本発明の実施例１に係るＯＣＴ装置について説明する。図１は、本実施例におけるＯＣＴ装置の概略的な構成例を示す。ＯＣＴ装置には、ＯＣＴ光学系（ＳＳ－ＯＣＴ光学系）１００、ＳＬＯ（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ：走査型検眼鏡）光学系１４０、前眼部撮像部１６０、内部固視灯１７０、及び制御装置２００が設けられている。
以下、図１乃至図１１Ｂを参照して、本発明の実施例１に係るＯＣＴ装置について説明する。図１は、本実施例におけるＯＣＴ装置の概略的な構成例を示す。ＯＣＴ装置には、ＯＣＴ光学系（ＳＳ－ＯＣＴ光学系）１００、ＳＬＯ（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ：走査型検眼鏡）光学系１４０、前眼部撮像部１６０、内部固視灯１７０、及び制御装置２００が設けられている。
【0020】
＜ＯＣＴ光学系の構成＞
まず、図１を参照して、ＯＣＴ光学系１００の構成について説明する。ＯＣＴ光学系１００には、光源１０１、偏光コントローラ１０３、ファイバカプラ１０４，１０６、及びＰＭ（Ｐｏｗｅｒ Ｍｅｔｅｒ）１３１が設けられている。また、ＯＣＴ光学系１００には、コリメータ１１７、Ｘスキャナ１０７、レンズ１０８，１０９、Ｙスキャナ１１０、ファイバカプラ１２６、及び差動検出器（ｂａｌａｎｃｅｄ ｒｅｃｅｉｖｅｒ）１２９が設けられている。さらに、ＯＣＴ光学系１００には、コリメータ１２０－ａ，１２０－ｂ、分散補償ガラス１２１、コヒーレンスゲートステージ１２２、及びミラー１２３－ａ，１２３－ｂが設けられている。
まず、図１を参照して、ＯＣＴ光学系１００の構成について説明する。ＯＣＴ光学系１００には、光源１０１、偏光コントローラ１０３、ファイバカプラ１０４，１０６、及びＰＭ（Ｐｏｗｅｒ Ｍｅｔｅｒ）１３１が設けられている。また、ＯＣＴ光学系１００には、コリメータ１１７、Ｘスキャナ１０７、レンズ１０８，１０９、Ｙスキャナ１１０、ファイバカプラ１２６、及び差動検出器（ｂａｌａｎｃｅｄ ｒｅｃｅｉｖｅｒ）１２９が設けられている。さらに、ＯＣＴ光学系１００には、コリメータ１２０－ａ，１２０－ｂ、分散補償ガラス１２１、コヒーレンスゲートステージ１２２、及びミラー１２３－ａ，１２３－ｂが設けられている。
【0021】
光源１０１は、可変波長光源であり、例えば、中心波長１０４０ｎｍ、バンド幅１００ｎｍの光を出射する。光源１０１から出射される光の波長は、制御装置２００の制御部１９１によって制御される。より具体的には、制御部１９１による制御に基づいて、光源１０１から出射される光の波長が掃引される。このため、制御部１９１は、光源１０１から出射される光の波長の掃引を制御する制御手段の一例として機能する。なお、光源１０１から射出される光の波長は、一定の周期で掃引されることができ、フーリエ変換する際の計算上の制約から、波数（波長の逆数）が等間隔になるように掃引されることができる。
【0022】
光源１０１から出射された光は、ファイバ１０２及び偏光コントローラ１０３を介して、ファイバカプラ１０４に導かれる。ファイバカプラ１０４は、入射した光を分割して、光量を測定するためのＰＭ１３１に接続されるファイバ１３０と、ＯＣＴ測定するための光学系に接続されるファイバ１０５に出射する。光源１０１から出射された光は、ファイバ１３０を介し、ＰＭ１３１に入射する。ＰＭ１３１は、入射した光の光量（パワー）を測定する。
【0023】
ファイバ１０５に入射した光はファイバカプラ１０６に導かれる。ファイバカプラ１０６は、入射した光を、測定光（ＯＣＴ測定光とも言う）と参照光に分割し、測定光をファイバ１１８に出射し、参照光をファイバ１１９に出射する。
【0024】
偏光コントローラ１０３は、光源１０１から出射された光の偏光の状態を調整するものであり、当該偏光状態を直線偏光に調整する。ファイバカプラ１０４の分割比は、９９：１であり、ファイバカプラ１０６の分割比は、９０（参照光）：１０（測定光）である。なお、分割比はこれらの値に限定されるものではなく、他の値とすることも可能である。
【0025】
ファイバカプラ１０６で分割された測定光は、ファイバ１１８を介してコリメータ１１７から平行光として出射される。コリメータ１１７から出射された測定光は、眼底Ｅｆにおいて測定光を水平方向（紙面上下方向）にスキャンするガルバノミラーから構成されるＸスキャナ１０７、及びレンズ１０８を介して、レンズ１０９に到達する。さらに、レンズ１０９を通った測定光は、眼底Ｅｆにおいて測定光を垂直方向（紙面奥行き方向）にスキャンするガルバノミラーから構成されるＹスキャナ１１０を介し、ダイクロイックミラー１１１に到達する。また、ダイクロイックミラー１１１は、例えば９５０ｎｍ～１１００ｎｍの光を反射し、それ以外の光を透過する特性を有する。
【0026】
ここで、Ｘスキャナ１０７及びＹスキャナ１１０は、制御装置２００の駆動制御部１８０により制御され、眼底Ｅｆ上の所望の範囲の領域を測定光により走査することができる走査部を構成する。なお、Ｘスキャナ１０７及びＹスキャナ１１０は、他の任意の偏向ミラーを用いて構成されてもよい。
【0027】
ダイクロイックミラー１１１により反射された測定光は、レンズ１１２を介し、ステージ１１６上に乗ったフォーカスレンズ１１４に到達する。フォーカスレンズ１１４を通った測定光は、被検眼の前眼部Ｅａを介し、測定光を眼底Ｅｆの網膜層に到達する。フォーカスレンズ１１４は、駆動制御部１８０により制御されるステージ１１６によって図中矢印で示される光軸方向に移動され、測定光を眼底Ｅｆの網膜層にフォーカスすることができる。ここで、光源１０１から被検眼までの間に配置された光学系は、光源１０１から出射された光を被検眼に導く照明光学系の一例として機能する。眼底Ｅｆに到達した測定光は、各網膜層で反射・散乱され、上述の光学経路を介してファイバカプラ１０６に戻る。眼底Ｅｆからの測定光の戻り光は、ファイバカプラ１０６からファイバ１２５を介し、ファイバカプラ１２６に到達する。
【0028】
一方、ファイバカプラ１０６で分割された参照光は、ファイバ１１９を介してコリメータ１２０－ａから平行光として出射される。コリメータ１２０－ａから出射された参照光は、分散補償ガラス１２１を介し、コヒーレンスゲートステージ１２２上のミラー１２３－ａ，１２３－ｂで反射される。ミラー１２３－ａ，１２３－ｂによって反射された参照光は、コリメータ１２０－ｂ及びファイバ１２４を介し、ファイバカプラ１２６に到達する。コヒーレンスゲートステージ１２２は、駆動制御部１８０によって制御され、図中矢印で示される光軸方向に移動することができる。駆動制御部１８０は、コヒーレンスゲートステージ１２２を移動させることで、参照光の光路長を変更することができ、被検眼によって異なる測定光の光路長に合わせて参照光の光路長を調整することができる。
【0029】
ファイバカプラ１２６に到達した測定光と参照光とは合波されて干渉光となり、ファイバ１２７，１２８を経由し、光検出器である差動検出器１２９に入射する。差動検出器１２９は、干渉光を検出し、電気信号である干渉信号を出力する。ここで、被検眼から差動検出器１２９までの間に配置される光学系は、制御部１９１によって制御された掃引光に基づく測定光の被検眼からの戻り光を撮像手段に導く撮像光学系の一例として機能する。差動検出器１２９から出力された干渉信号は制御装置２００の信号処理部１９０で解析される。なお、光検出器は差動検出器に限定されるものではなく、他の検出器を用いることとしてもよい。信号処理部１９０は、差動検出器１２９から出力された干渉信号に基づいて、被検眼の断層画像を生成することができる。
【0030】
また、本実施例では、ファイバカプラ１２６において測定光と参照光とが干渉する構成となっているが、これに限定されるものではない。例えば、ミラー１２３－ａを、参照光をファイバ１１９へ反射するように配置し、ファイバカプラ１０６において測定光と参照光とを干渉させることとしてもよい。この場合には、ファイバカプラ１０６が光検出器に接続され、ミラー１２３－ｂ、コリメータ１２０－ｂ、ファイバ１２４、及びファイバカプラ１２６は不要となる。なお、この際には光サーキュレータを用いることもできる。
【0031】
＜ＳＬＯ光学系の構成＞
次に、ＳＬＯ光学系１４０の構成について説明する。ＳＬＯ光学系１４０は、被検眼の眼底画像を取得する眼底画像取得部の一例として機能する。ＳＬＯ光学系１４０には、光源１４１、偏光コントローラ１４５、コリメータ１４３、穴あきミラー１４４、レンズ１５５、Ｘスキャナ１４６、レンズ１４７，１４８、Ｙスキャナ１４９、レンズ１５０、及びＡＰＤ（アバランシェフォトダイオード）１５２が設けられている。
次に、ＳＬＯ光学系１４０の構成について説明する。ＳＬＯ光学系１４０は、被検眼の眼底画像を取得する眼底画像取得部の一例として機能する。ＳＬＯ光学系１４０には、光源１４１、偏光コントローラ１４５、コリメータ１４３、穴あきミラー１４４、レンズ１５５、Ｘスキャナ１４６、レンズ１４７，１４８、Ｙスキャナ１４９、レンズ１５０、及びＡＰＤ（アバランシェフォトダイオード）１５２が設けられている。
【0032】
光源１４１は、例えば半導体レーザであり、本実施例では、例えば、中心波長７８０ｎｍの光を出射する。光源１４１から出射されたＳＬＯ測定光は、ファイバ１４２を介し、偏光コントローラ１４５で直線偏光に調整され、コリメータ１４３から平行光として出射される。出射されたＳＬＯ測定光は、穴あきミラー１４４の穴あき部を通過し、レンズ１５５に到達する。レンズ１５５を通ったＳＬＯ測定光は、Ｘスキャナ１４６、レンズ１４７，１４８、及びガルバノミラーから構成されるＹスキャナ１４９を介し、ダイクロイックミラー１５４に到達する。なお、偏光コントローラ１４５を設けないこととしてもよい。ダイクロイックミラー１５４は、例えば７６０ｎｍ～８００ｎｍを反射し、それ以外の光を透過する特性を有する。
【0033】
ここで、Ｘスキャナ１４６は、眼底ＥｆにおいてＳＬＯ測定光を水平方向にスキャンするガルバノミラーから構成され、Ｙスキャナ１４９は眼底ＥｆにおいてＳＬＯ測定光を垂直方向にスキャンするガルバノミラーから構成される。Ｘスキャナ１４６及びＹスキャナ１４９は、駆動制御部１８０により制御され、眼底Ｅｆ上における所望の範囲をＳＬＯ測定光により走査できる。なお、Ｘスキャナ１４６及びＹスキャナ１４９は、他の任意の偏向ミラーを用いて構成されてもよく、例えば、Ｘスキャナ１４６はポリゴンミラー等によって構成されてもよい。
【0034】
ダイクロイックミラー１５４にて反射された直線偏光のＳＬＯ測定光は、ダイクロイックミラー１１１を透過後、ＯＣＴ光学系１００におけるＯＣＴ測定光と同様の光路を経由し、眼底Ｅｆに到達する。
【0035】
眼底Ｅｆに照射されたＳＬＯ測定光は、眼底Ｅｆで反射・散乱され、上述の光学経路を辿り、穴あきミラー１４４に到達し、穴あきミラー１４４によって反射される。ここで、穴あきミラー１４４の位置は、被検眼の瞳孔位置と共役となっており、眼底Ｅｆに照射されたＳＬＯ測定光が反射・散乱された光のうち、瞳孔周辺部を通った光が、穴あきミラー１４４によって反射される。穴あきミラー１４４で反射された光は、レンズ１５０を介し、ＡＰＤ１５２に到達し、ＡＰＤ１５２によって受光される。ＡＰＤ１５２は、受光したＳＬＯ測定光の戻り光を電気信号に変換して、信号処理部１９０に出力する。信号処理部１９０は、ＡＰＤ１５２からの出力に基づいて、被検眼の正面画像である眼底画像を生成することができる。
【0036】
＜前眼部撮像部の構成＞
次に前眼部撮像部１６０の構成について説明する。前眼部撮像部１６０には、レンズ１６２，１６３，１６４、及び前眼部カメラ１６５が設けられている。前眼部撮像部１６０で撮影を行う場合には、例えば、波長８５０ｎｍの照明光を発するＬＥＤ１１５－ａ，１１５－ｂを含む照明光源１１５が前眼部Ｅａに照明光を照射する。前眼部Ｅａで反射され光は、フォーカスレンズ１１４、レンズ１１２、ダイクロイックミラー１１１，１５４を介し、ダイクロイックミラー１６１に到達する。ダイクロイックミラー１６１は、例えば８２０ｎｍ～９００ｎｍの光を反射し、それ以外の光を透過する特性を有する。なお、照明光源１１５は駆動制御部１８０によって制御されてよい。
次に前眼部撮像部１６０の構成について説明する。前眼部撮像部１６０には、レンズ１６２，１６３，１６４、及び前眼部カメラ１６５が設けられている。前眼部撮像部１６０で撮影を行う場合には、例えば、波長８５０ｎｍの照明光を発するＬＥＤ１１５－ａ，１１５－ｂを含む照明光源１１５が前眼部Ｅａに照明光を照射する。前眼部Ｅａで反射され光は、フォーカスレンズ１１４、レンズ１１２、ダイクロイックミラー１１１，１５４を介し、ダイクロイックミラー１６１に到達する。ダイクロイックミラー１６１は、例えば８２０ｎｍ～９００ｎｍの光を反射し、それ以外の光を透過する特性を有する。なお、照明光源１１５は駆動制御部１８０によって制御されてよい。
【0037】
ダイクロイックミラー１６１で反射された光は、レンズ１６２，１６３，１６４を介し、前眼部カメラ１６５に到達し、前眼部カメラ１６５で受光される。前眼部カメラ１６５は、受光された光を電気信号に変換し、信号処理部１９０に出力する。信号処理部１９０は、前眼部カメラ１６５からの出力に基づいて、被検眼の前眼部画像を生成することができる。
【0038】
＜内部固視灯の構成について＞
次に、内部固視灯１７０について説明する。内部固視灯１７０には、固視灯表示部１７１、及びレンズ１７２が設けられている。固視灯表示部１７１としては、例えば複数の発光ダイオード（ＬＤ）がマトリックス状に配置されたものを用いることができる。発光ダイオードの点灯位置は、駆動制御部１８０の制御により撮像したい部位に合わせて変更される。固視灯表示部１７１からの光は、レンズ１７２を介し、被検眼に導かれる。固視灯表示部１７１から出射される光は例えば５２０ｎｍの波長を有する。また、固視灯としては、駆動制御部１８０の制御により所望のパターンが表示されることができる。
次に、内部固視灯１７０について説明する。内部固視灯１７０には、固視灯表示部１７１、及びレンズ１７２が設けられている。固視灯表示部１７１としては、例えば複数の発光ダイオード（ＬＤ）がマトリックス状に配置されたものを用いることができる。発光ダイオードの点灯位置は、駆動制御部１８０の制御により撮像したい部位に合わせて変更される。固視灯表示部１７１からの光は、レンズ１７２を介し、被検眼に導かれる。固視灯表示部１７１から出射される光は例えば５２０ｎｍの波長を有する。また、固視灯としては、駆動制御部１８０の制御により所望のパターンが表示されることができる。
【0039】
内部固視灯１７０を点灯して被検眼に注視させた状態で、前眼部撮像部１６０により観察される被検眼の前眼部画像を用いて、装置のアライメントを行うことができる。なお、アライメントは、制御装置２００によって前眼部画像を解析して自動的に行ってもよいし、前眼部画像を操作者に提示して手動で行ってもよい。アライメント完了後に、ＯＣＴ光学系１００及びＳＬＯ光学系１４０を用いた眼底の撮像が行うことができる。
【0040】
＜制御装置の構成について＞
次に、制御装置２００（医用画像処理装置）について説明する。制御装置２００には、駆動制御部１８０、信号処理部１９０、制御部１９１、及び表示部１９２が設けられている。駆動制御部１８０は、上述の通り、ＯＣＴ光学系１００、ＳＬＯ光学系１４０、前眼部撮像部１６０、及び内部固視灯１７０におけるＸスキャナ１０７等の構成要素を制御する。
次に、制御装置２００（医用画像処理装置）について説明する。制御装置２００には、駆動制御部１８０、信号処理部１９０、制御部１９１、及び表示部１９２が設けられている。駆動制御部１８０は、上述の通り、ＯＣＴ光学系１００、ＳＬＯ光学系１４０、前眼部撮像部１６０、及び内部固視灯１７０におけるＸスキャナ１０７等の構成要素を制御する。
【0041】
信号処理部１９０は、差動検出器１２９、ＡＰＤ１５２、及び前眼部カメラ１６５からそれぞれ出力される信号に基づき、画像の生成、生成された画像の解析、解析結果の可視化情報の生成等を行う。なお、画像の生成処理等の詳細については、後述する。
【0042】
制御部１９１は、ＯＣＴ装置全体を制御するとともに、信号処理部１９０で生成された画像等を表示部１９２の表示画面に表示させる。なお、信号処理部１９０で生成された画像データは、制御部１９１に有線で送信されてもよいし、無線で送信されてもよい。
【0043】
表示部１９２は、例えば、液晶等のディスプレイ等の任意のモニタにより構成することができ、表示装置の一例として機能する。表示部１９２は、制御部１９１の制御の下、後述するように種々の情報を表示する。なお、制御部１９１からの画像データは、表示部１９２に有線で送信されてもよいし、無線で送信されてもよい。また、表示部１９２や制御部１９１等は、制御装置２００に含まれているが、制御装置２００とは別に設けられてもよい。なお、制御装置２００は、ＯＣＴ装置の専用のコンピュータとして構成されてもよいし、一般的なコンピュータを用いて構成されてもよい。また、駆動制御部１８０、信号処理部１９０、及び制御部１９１は、制御装置２００のＣＰＵによって実行されるソフトウェアモジュールによって構成されてもよいし、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。
【0044】
また、制御部１９１と表示部１９２とを一体的に構成してもよく、例えば、ユーザが持ち運び可能な装置であるタブレットコンピュータとして構成してもよい。この場合、表示部１９２にタッチパネル機能を搭載させ、タッチパネル上で画像の表示位置の移動、拡大縮小、表示される画像の変更等を操作可能なように構成することができる。なお、制御部１９１と表示部１９２とが一体的に構成された場合でなくとも、表示部１９２にタッチパネル機能を搭載させてもよく、指示装置としてタッチパネルを用いることとしてもよい。また、制御装置２００には不図示の指示装置が接続されてよく、例えば、マウスやキーボード等が接続されてよい。
【0045】
次に、図２を参照して、信号処理部１９０における画像生成及び画像解析について説明する。図２は、信号処理部１９０の概略的な構成例を示す。信号処理部１９０には、再構成部１９０１、位置合わせ部１９０２、データ統合部１９０３、データ生成部１９０４、及び検出部１９０５が設けられている。
【0046】
信号処理部１９０における再構成部１９０１は、差動検出器１２９から出力された干渉信号に対して、波数変換、高速フーリエ変換（ＦＦＴ）、及び絶対値変換（振幅の取得）等を含む一般的な再構成処理を行うことで、断層画像を生成する。なお、再構成処理の方法はこれに限られず、公知の任意の方法を用いてよい。
【0047】
ここで、図３（ａ）乃至図３（ｃ）を参照して、ＯＣＴ光学系１００を用いて撮像され、再構成部１９０１で生成される断層画像と、ＳＬＯ光学系１４０を用いて撮像され、信号処理部１９０で生成される眼底画像と、眼の構造について説明する。図３（ａ）は、眼球の模式図を示す。図３（ａ）には、角膜Ｃ、水晶体ＣＬ、硝子体Ｖ、黄斑部Ｍ（黄斑の中心部は中心窩を表す）、視神経乳頭部Ｄが示されている。以下においては、ＯＣＴ光学系１００を用いて、主に、硝子体、黄斑部、視神経乳頭部を含む網膜の後極部を撮影する場合について説明を行う。なお、説明を省略するが、ＯＣＴ光学系１００を用いて、角膜、水晶体の前眼部を撮影することも可能である。
【0048】
図３（ｂ）は、ＯＣＴ光学系１００を用いて網膜を撮影した場合の断層画像の一例を示す。図３（ｂ）において、ＡＳはＡスキャンというＯＣＴ断層画像における画像取得の単位を表し、１つのＡスキャンにより、眼底のある一点における深さ方向の断層画像が取得できる。眼底の一横断方向について測定光を走査しながら、このＡスキャンを繰り返すことで、一回のＢスキャンを構成する。このため、１回のＢスキャンを行うことで、Ａスキャンにより得られたＡスキャン画像が複数集まった一つのＢスキャン画像を得ることができる。ここで、Ｂスキャン画像のことを二次元の断層画像（あるいは断層像）と呼ぶ。
【0049】
図３（ｂ）には、硝子体Ｖ、黄斑部Ｍ、及び視神経乳頭部Ｄが示されている。また、図３（ｂ）には、内境界膜（ＩＬＭ）と神経線維層（ＮＦＬ）との境界Ｌ１、神経線維層と神経節細胞層（ＧＣＬ）との境界Ｌ２、視細胞内節外節接合部（ＩＳＯＳ）Ｌ３、網膜色素上皮層（ＲＰＥ）Ｌ４、ブルッフ膜（ＢＭ）Ｌ５、及び脈絡膜Ｌ６が示されている。なお、図３（ｂ）に示す断層画像の例では、横軸（ＯＣＴの走査方向（Ｂスキャン方向））をｘ軸、縦軸（深さ方向）をｚ軸としている。
【0050】
図３（ｃ）は、ＳＬＯ光学系１４０を用いて取得した眼底画像の一例を示す。ＳＬＯ光学系１４０は、眼部の眼底画像を撮影するための光学系である。なお、ＳＬＯ光学系１４０は、ＳＬＯ装置として設けられてもよい。なお、眼底画像を取得するための装置として、眼底カメラ等を設けてもよい。
【0051】
図３（ｃ）には、黄斑部Ｍ及び視神経乳頭部Ｄが示されており、図３（ｃ）における太い曲線は網膜の血管を表している。眼底画像では、横軸をｘ軸、縦軸をｙ軸とする。なお、ＯＣＴ光学系１００とＳＬＯ光学系１４０に関する装置構成は、一体型でもよいし別体型でもよい。
【0052】
次に、図４（ａ）及び図４（ｂ）を参照して、本実施例に係る制御装置２００の処理手順を示す。図４（ａ）は、本実施例に係る一連の動作処理の流れを示すフローチャートであり、図４（ｂ）は、本実施例に係る三次元データ生成処理の流れを示すフローチャートである。本実施例に係る一連の動作処理が開始されると、処理はステップＳ４０１に移行する。
【0053】
＜ステップＳ４０１＞
ステップＳ４０１では、制御装置２００は、被検眼を同定する情報として被検者識別番号を外部から取得する。なお、被検者識別番号は、不図示の入力部を介して操作者によって入力されてよい。制御装置２００は、被検者識別番号に基づいて、不図示の外部記憶部が保持している当該被検眼に関する情報を取得して不図示の記憶部に記憶する。なお、記憶部は、制御装置２００に設けられた任意のメモリや記憶媒体であってよい。
ステップＳ４０１では、制御装置２００は、被検眼を同定する情報として被検者識別番号を外部から取得する。なお、被検者識別番号は、不図示の入力部を介して操作者によって入力されてよい。制御装置２００は、被検者識別番号に基づいて、不図示の外部記憶部が保持している当該被検眼に関する情報を取得して不図示の記憶部に記憶する。なお、記憶部は、制御装置２００に設けられた任意のメモリや記憶媒体であってよい。
【0054】
＜ステップＳ４０２＞
ステップＳ４０２では被検眼をスキャンして撮影を行う。被検眼のスキャンは、操作者によるスキャン開始の指示に応じて行われてよい。制御装置２００は、スキャン開始の指示が入力されると、駆動制御部１８０によりＸスキャナ１０７及びＹスキャナ１１０の動作を制御し、ＯＣＴ光学系１００を用いて被検眼のスキャンを行う。
ステップＳ４０２では被検眼をスキャンして撮影を行う。被検眼のスキャンは、操作者によるスキャン開始の指示に応じて行われてよい。制御装置２００は、スキャン開始の指示が入力されると、駆動制御部１８０によりＸスキャナ１０７及びＹスキャナ１１０の動作を制御し、ＯＣＴ光学系１００を用いて被検眼のスキャンを行う。
【0055】
Ｘスキャナ１０７及びＹスキャナ１１０の向きをそれぞれ変更すると、装置座標系における水平方向（Ｘ）及び垂直方向（Ｙ）のそれぞれの方向に測定光を走査することができる。このため、Ｘスキャナ１０７及びＹスキャナ１１０の向きを同時に変更させることで、水平方向と垂直方向とを合成した方向に走査することができ、眼底平面上の任意の方向に測定光を走査することができる。
【0056】
制御装置２００の制御部１９１は、撮影を行うにあたり各種撮影パラメータの調整を行う。具体的には、制御部１９１は、内部固視灯１７０の位置、スキャン範囲、スキャンパターン、コヒーレンスゲート位置、及びフォーカスに関するパラメータを少なくとも設定する。駆動制御部１８０は、設定された撮影パラメータに基づいて、固視灯表示部１７１の発光ダイオードを制御して、黄斑部や視神経乳頭部など所望の箇所で撮影を行うように内部固視灯１７０の位置を制御する。なお、内部固視灯１７０の位置は非図示のユーザーインターフェースを用いて操作者が指示できるものとし、制御部１９１は操作者の指示に応じて、内部固視灯１７０に位置を設定することができる。
【0057】
また、本実施例に係る制御部１９１は、スキャンパターンとして放射状スキャンのスキャンパターンを設定する。また、制御部１９１は、撮影パラメータとして、放射状スキャンに係る走査線の数や位置、走査の順番を設定することもできる。なお、制御部１９１は、操作者の指示に応じてこれら撮影パラメータを設定してもよいし、所定の撮影モード毎に設定された撮影パラメータを自動で設定してもよい。これら撮影パラメータの調整終了後、操作者が非図示の撮影開始を選択する等の指示を行うことで、制御装置２００は被検眼の撮影を開始する。
【0058】
ここで、図５（ａ）乃至図５（ｄ）を参照して、本実施例における放射状スキャンについて説明する。図５（ａ）乃至図５（ｄ）は、放射状スキャンの走査線の一例を示している。矢印は走査する方向を示している。なお、走査する方向は図に示した方向ではなく逆向きでもよい。
【0059】
図５（ａ）には、説明の都合により１２本の走査線を示すが、放射状スキャンから三次元データを構築することを目的とする場合、図５（ｂ）に示すように、密に走査線を設定した方がよく、走査線数ｎを例えば９０本以上とすることができる。走査線数ｎが９０の場合、３６０度の円形領域を２度の間隔で走査することを意味している。走査線数ｎが１２の場合だと、１５度間隔であるため、ｎを増やすことで高密度に撮影することができる。
【0060】
さらに、放射状スキャンを実行する順番は図５（ａ）に示すように隣接する走査線の順番である必要はなく、任意の順番であってよく、例えば、図５（ｃ）や図５（ｄ）に示すような順番でもよい。図５（ｃ）に示す例は、９０度間隔で順番にスキャンを行う例であり、図５（ｄ）に示す例は、隣接する走査線との時間差を最小となるようにスキャンを行う例である。例えば、図５（ａ）に示す例では、１回目の走査と１２回目の走査では、走査線は隣接するものの、走査線について走査を行う時間は間に１１回の走査を含むため、比較的大きくなる。これに対し、図５（ｃ）に示す例では、隣接する走査線について走査が行われる時間間隔は、最大でも２回の走査にかかる時間で済むことになる。隣接する走査線に関する時間間隔を短くすることで、隣接する走査線について走査を行って取得した隣接する断層画像間の位置ずれを低減することができる。なお、放射状スキャンにおける走査線の順番を変えることで、例えば血流速度が速い人等について血流計測をより適切に対応できる等の利点が期待できる。
【0061】
＜ステップＳ４０３＞
ステップＳ４０３では、再構成部１９０１が差動検出器１２９から出力された干渉信号に対して、上述した再構成処理を行うことで、断層画像を生成する。まず、再構成部１９０１は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は、例えば検出した複数のＡスキャン信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。次に、再構成部１９０１は、有限区間でフーリエ変換した場合にトレードオフの関係となる、深さ分解能とダイナミックレンジとを最適化するために、所望の窓関数処理を行う。次に、再構成部１９０１は、ＦＦＴ処理を行うことによって、断層画像を生成する。なお、上述のように再構成処理はこれに限られず、公知の任意の方法により行われてよい。
ステップＳ４０３では、再構成部１９０１が差動検出器１２９から出力された干渉信号に対して、上述した再構成処理を行うことで、断層画像を生成する。まず、再構成部１９０１は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は、例えば検出した複数のＡスキャン信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。次に、再構成部１９０１は、有限区間でフーリエ変換した場合にトレードオフの関係となる、深さ分解能とダイナミックレンジとを最適化するために、所望の窓関数処理を行う。次に、再構成部１９０１は、ＦＦＴ処理を行うことによって、断層画像を生成する。なお、上述のように再構成処理はこれに限られず、公知の任意の方法により行われてよい。
【0062】
＜ステップＳ４０４＞
ステップＳ４０４では、三次元データの生成を行う。以下、図４（ｂ）のフローチャート及び図６（ａ）乃至図１１を参照して、三次元データの生成に関して詳細に説明する。三次元データの生成処理が開始されると、処理はステップＳ４４１に移行する。
ステップＳ４０４では、三次元データの生成を行う。以下、図４（ｂ）のフローチャート及び図６（ａ）乃至図１１を参照して、三次元データの生成に関して詳細に説明する。三次元データの生成処理が開始されると、処理はステップＳ４４１に移行する。
【0063】
＜ステップＳ４４１＞
ステップＳ４４１では、断層画像の位置合わせを行うために、検出部１９０５が網膜の境界線を検出する。位置合わせを行うための層として、例えば、図３（ｂ）に示したＩＬＭとＮＦＬの境界Ｌ１と、視細胞内節外節接合部Ｌ３を検出する。検出部１９０５は、処理対象とする断層画像に対して、メディアンフィルタとＳｏｂｅｌフィルタをそれぞれ適用して画像を作成する（以下、メディアン画像、Ｓｏｂｅｌ画像とする）。次に、作成したメディアン画像とＳｏｂｅｌ画像から、Ａスキャン毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Ｓｏｂｅｌ画像では勾配のプロファイルとなる。そして、Ｓｏｂｅｌ画像から作成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界線を検出する。なお、境界線の検出方法はこれに限られず、公知の任意の方法を用いてよい。例えば、検出部１９０５は、機械学習モデルに関する学習済モデルを用いて断層画像から境界線を検出してもよい。この場合、学習済モデルに関する学習データとしては、例えば、断層画像を入力データとし、該断層画像について医師等が境界線のラベルを付したラベル画像を出力データとしてもよい。
ステップＳ４４１では、断層画像の位置合わせを行うために、検出部１９０５が網膜の境界線を検出する。位置合わせを行うための層として、例えば、図３（ｂ）に示したＩＬＭとＮＦＬの境界Ｌ１と、視細胞内節外節接合部Ｌ３を検出する。検出部１９０５は、処理対象とする断層画像に対して、メディアンフィルタとＳｏｂｅｌフィルタをそれぞれ適用して画像を作成する（以下、メディアン画像、Ｓｏｂｅｌ画像とする）。次に、作成したメディアン画像とＳｏｂｅｌ画像から、Ａスキャン毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Ｓｏｂｅｌ画像では勾配のプロファイルとなる。そして、Ｓｏｂｅｌ画像から作成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界線を検出する。なお、境界線の検出方法はこれに限られず、公知の任意の方法を用いてよい。例えば、検出部１９０５は、機械学習モデルに関する学習済モデルを用いて断層画像から境界線を検出してもよい。この場合、学習済モデルに関する学習データとしては、例えば、断層画像を入力データとし、該断層画像について医師等が境界線のラベルを付したラベル画像を出力データとしてもよい。
【0064】
＜ステップＳ４４２＞
ステップＳ４４２では、位置合わせ部１９０２が隣接する断層画像の位置合わせを行う。高密度な放射状スキャンを撮影している間に眼は動いている。ＸＹ面内の移動に関しては、リアルタイムにトラッキングを行いながら撮影を行うため、撮影時にほとんど位置合わせができている。しかしながら、深さ方向に関しては、リアルタイムトラッキングをしていないため、断層画像同士のデータ間で位置合わせを行う必要がある。そのため、ここでは放射状スキャンによって得られた断層画像のデータ間の位置合わせに関して、図６（ａ）乃至図６（ｃ）を用いて説明する。
ステップＳ４４２では、位置合わせ部１９０２が隣接する断層画像の位置合わせを行う。高密度な放射状スキャンを撮影している間に眼は動いている。ＸＹ面内の移動に関しては、リアルタイムにトラッキングを行いながら撮影を行うため、撮影時にほとんど位置合わせができている。しかしながら、深さ方向に関しては、リアルタイムトラッキングをしていないため、断層画像同士のデータ間で位置合わせを行う必要がある。そのため、ここでは放射状スキャンによって得られた断層画像のデータ間の位置合わせに関して、図６（ａ）乃至図６（ｃ）を用いて説明する。
【0065】
図６（ａ）は、位置合わせに用いる境界線の例を示している。本実施例においては、位置合わせに、内境界膜（ＩＬＭ）と神経線維層（ＮＦＬ）の境界Ｌ１の線（以下、単に境界線Ｌ１という）を用いる場合について説明する。なお、本実施例においては、位置合わせに用いる境界線として境界線Ｌ１を使用する例について説明を行うが、境界線の種類はこれに限らない。他の境界線でもよいし、複数の境界線を組み合わせてもよい。
【0066】
図６（ａ）において、基準データをＩｎｄｅｘｃ、対象データをＩｎｄｅｘｃ－１としている。なお、本実施例では、最初の基準データは放射状スキャンの１回目のスキャンに関する断層画像に関する境界線Ｌ１のデータ（画像）とする。また、対象データは基準データに対して円周方向で隣接する断層画像（基準データの走査線に隣接する走査線に対応する断層画像）に関する境界線Ｌ１のデータ（画像）としている。ただし、最初の基準データは１回目のスキャンの断層画像のデータに限られず、任意に設定されてよい。
【0067】
図６（ｂ）は、位置合わせ処理を説明するための図である。図６（ｂ）は、基準データの境界線Ｌ１と位置合わせ対象のデータの境界線Ｌ１’とを同時に示している。まず、位置合わせ部１９０２は、基準データ及び対象データを所定数の領域に分割する。本実施例では、境界線Ｌ１に関する基準データ及び対象データのそれぞれについて縦方向に１２分割する。ここで、分割されたそれぞれの領域を領域Ａｒｅａ０～Ａｒｅａ１１とする。なお、図６（ｂ）では、簡略化のため、画像中心部に分割領域を描画していないが、実際には画像全体を領域分割している。
【0068】
なお、領域の分割数は１２に限られず任意に設定されてよい。また、領域の分割数は横方向の画像サイズに応じて変更してもよいし、共通して検出した境界線の横幅のサイズに応じて変更してもよい。本実施例では簡単のため、基準データと対象データにおける横方向の境界線のサイズを同じとしているが、実際には、網膜層が断層画像の上方向にずれ（ｚ軸で０の方向）、網膜層の一部領域が画像から欠損する場合がある。その場合には、画像全体では境界線が検出できない。そのため、境界線同士の位置合わせにおいては、基準データの境界線Ｌ１と位置合わせ対象の境界線Ｌ１’について、境界線が検出できている範囲を分割して位置合わせしてもよい。
【0069】
次に、位置合わせ部１９０２は、領域Ａｒｅａ０～Ａｒｅａ１１のそれぞれについて、境界線Ｌ１と境界線Ｌ１’との深さ方向（Ｚ方向）の位置の差を求める。図６（ｂ）における上下方向の矢印Ｄｉｆｆｅｒｅｎｃｅ１は、境界線Ｌ１と境界線Ｌ１’との深さ方向の差を表す。位置合わせ部１９０２は、各領域におけるＡスキャン画像に対応するデータ毎に、境界線Ｌ１と境界線Ｌ１’との深さ方向の位置の差を求め、各領域における当該差を平均し、各領域の差の代表値Ｄ１～Ｄ１１とする。
【0070】
次に、位置合わせ部１９０２は、各領域で求めた代表値Ｄ０～Ｄ１１を小さい順にソートする。位置合わせ部１９０２は、ソートした代表値を小さい順から８個選択し、選択した８個の代表値を用いて平均値と分散値を算出する。なお、本実施例では、選択数は８個としたが、選択数はこれに限定されない。選択数は分割数よりも小さければよい。
【0071】
ここで、位置合わせ部１９０２は、平均値と分散値の計算は、ソートした代表値について、選択する組み合わせを代表値が大きい方へ一つずつずらして、繰り返し計算する。言い換えると、位置合わせ部１９０２は、ソートした代表値の１番目に小さい値から８番目に小さい値までについて平均値と分散値を計算したら、次に、２番目に小さい値から９番目に小さい値までについて平均値と分散値を算出する。位置合わせ部１９０２は、この処理を、５番目に小さい数から１２番目に小さい数までについての平均値と分散値の算出まで行う。本実施例では、１２個に分割した領域のうち８個の代表値を用いて計算を行うため、全部で５種類の平均値と分散値が求まる。
【0072】
位置合わせ部１９０２は、求めた５種類の分散値の中で最小となる分散値を算出した際の８個の差分の代表値を用いて深さ方向のシフト値を求める。これについて、図６（ｃ）と数１を用いて説明する。図６（ｃ）は、横軸は走査方向における分割領域の中心位置（座標）を示し、縦軸は差分の代表値を示すグラフである。図６（ｃ）において、黒丸は分散値が最小となった組み合わせに関する代表値の例であり、黒三角は分散値が最小となった組み合わせとして選択されなかった代表値の例を示している。
【0073】
位置合わせ部１９０２は、数１に示す式に基づいて、分散値が最小となった組み合わせに関する代表値（図６（ｃ）における黒丸）を用いて、基準データの境界線Ｌ１と対象データの境界線Ｌ１’間における各Ａスキャンの深さ方向のシフト値を算出する。
ここで、数１に示す式においてＤは深さ方向のシフト値であり、ｘは走査方向における位置（座標）、すなわちＡスキャン位置である。
【数1】
【0074】
また、数１におけるａとｂに関して、下記の数２と数３に示す。
数２及び数３において、ｉは選択された代表値を特定する番号であり、ｘｉは走査方向における選択された代表値に対応する分割領域の中心位置（座標）、Ｄｉは選択された代表値である。なお、ｎは選択した代表値の数であり、本実施例においてｎは８となる。
【数2】
【数3】
【0075】
位置合わせ部１９０２は、算出したシフト値を用いて、対象データに対応する断層画像をシフトさせ、基準データに対応する断層画像とこれに隣接する断層画像の位置合わせを行う。本実施例のように、位置合わせ時に領域を分割し、分割した領域の差分値の組み合わせにおいて最もバラつきが小さくなる値を用いることで、境界線の検出に誤りがあったとしても、境界線の検出の誤りを含む領域の値はシフト値の算出に使用しない。そのため、安定して深さ方向のシフト値を算出することができる。なお、各領域の深さ方向の代表値として平均値を用いたが中央値でもよく、代表的な任意の種類の値を用いることができればよい。さらに、バラつきを示す値として分散値を算出したが、標準偏差を算出してもよく、当該値は値のバラつきを評価できる指標であればよい。
【0076】
この処理に関して、位置合わせ部１９０２は、基準データと対象データを変えながら全ての隣接する断層画像のデータに関して位置合わせを行う。本実施例では、最初の基準データを、最初に撮影したデータ（例えば、図５（ａ）の走査線１に対応するデータ）から検出した境界線のデータとする。また、対象データを、基準データの円周方向で隣のデータ（図５（ａ）の走査線２に対応するデータ）から検出した境界線のデータとする。そして、これらの基準データ及び対象データに対応する断層画像の位置合わせが終了したら、次に、先ほど対象データとしたデータ（図５（ａ）の走査線２に対応するデータ）を基準データとして、さらにその隣のデータ（図５（ａ）の走査線３に対応するデータ）を対象データとして位置合わせを行う。この処理を放射状スキャンの１周分、全ての断層画像のデータに対して行う。
【0077】
なお、図５（ａ）に示す放射状スキャンにおいて、最初と最後のスキャンが隣接する境界線データ（図５（ａ）の走査線１及び１２に対応するデータ）で位置合わせを行う場合、撮影時の走査方向が逆向きである。そのため、これらの二次元の断層画像で位置合わせを行う場合、画像の左右を反転して位置合わせを行うことができる。
【0078】
また、１周分の複数の断層画像について位置合わせをした結果、最初と最後のスキャンに対応する断層画像間で位置ずれが生じる場合がある。この場合には、最初と最後のスキャンに対応するデータ間に生じた位置ずれ量（シフト値）を逆方向に戻すことで全体的に補正を行うことができる。例えば、最初と最後のスキャンに対応するデータ間に生じた位置ずれ量が＋５ピクセルで、放射状スキャンの枚数が１００枚だとした場合、１枚ずつ位置ずれ量を＋０．０５ピクセル補正する。例えば、走査線１００の位置ずれ量が＋５ピクセル、走査線９９の位置ずれ量が＋４．９５ピクセル、走査線９８の位置ずれ量が＋４．９ピクセル、というように補正量を走査線ごとに算出する。そして、隣接する断層画像同士の間で求めた位置ずれ量と、補正量とを統合して、それぞれの断層画像の位置ずれ量を求める。位置合わせ部１９０２は、このように算出したそれぞれの断層画像の位置ずれ量に基づいて、それぞれの断層画像をシフトさせて、断層画像同士の位置合わせを実行することもできる。
【0079】
本実施例では、深さ方向の位置合わせを行う方法の一例について示したが、この方法に限らない。例えば、放射状スキャンの場合、断層画像の中心付近で全ての断層画像が交差する。そのため、断層画像の中心のＡスキャンデータ（あるいは中心付近の複数のＡスキャンデータを含む）を用いて深さ方向の位置合わせを行うようにしてもよい。この場合、最初に撮影した断層画像の位置を基準にして位置を合わせるようにしてもよいし、複数の断層画像の中で、網膜の位置が一番下だが画像内には網膜が入っている断層画像を基準に位置合わせを行うようにしてもよい。さらには、上述したように境界線のデータを用いて深さ方向だけではなく横方向にも移動させて最も境界線の位置が合う場所を検出してもよいし、断層画像の画像特徴を用いて断層画像面内の横方向と深さ方向の位置合わせをしてもよい。画像特徴を用いた位置合わせでは、例えば、画像にＲＯＩ（関心領域）を設定し、隣接する断層画像間のＲＯＩ同士の類似度による位置合わせを行ってもよい。この際、ＲＯＩとしては画像全体よりは小さいが網膜層を含むような領域を設定する。あるいは、画像から特徴点を検出して特徴点同士の位置合わせとしてもよい。さらには、二次元の断層画像を深さ方向に投影することで１次元の画像を生成し、１次元の画像とＳＬＯ画像との画像特徴による位置合わせをするようにしてもよい。なお、これらの位置合わせ方法は一例であり、公知の任意の方法により、断層画像の位置合わせを行ってよい。
【0080】
＜ステップＳ４４３＞
ステップＳ４４３では、データ統合部１９０３が放射状にスキャンして取得し、位置合わせを行った断層画像を三次元空間に配置するとともに、複数の断層画像に関するデータの統合を行う。当該処理に関して、図７（ａ）乃至（ｃ）を参照して説明する。
ステップＳ４４３では、データ統合部１９０３が放射状にスキャンして取得し、位置合わせを行った断層画像を三次元空間に配置するとともに、複数の断層画像に関するデータの統合を行う。当該処理に関して、図７（ａ）乃至（ｃ）を参照して説明する。
【0081】
図７（ａ）は、放射状にスキャンした複数の断層画像７０２を、三次元空間７０１に配置した例を示す。複数の断層画像７０２は、ステップＳ４４２において位置合わせを行っているので、データ統合部１９０３は、三次元空間において、走査線毎に対応する位置合わせ済みの断層画像を配置する。なお、データ統合部１９０３は、ステップＳ４４２で算出した位置合わせパラメータに基づいて断層画像の位置ずれ補正を行うように、三次元空間に走査線毎に対応する位置合わせ前の断層画像を配置してもよい。
【0082】
放射状スキャンを行う場合、スキャンの中心位置では走査線が密になるためＡスキャンが密になり、周辺では走査線が疎になるためＡスキャンは疎になる。Ａスキャンが密になると、走査線に対応する断層画像が互いに交差することとなり、断層画像が交差する位置では、Ａスキャンデータを重複して取得することとなる。そのため、データ統合部１９０３はＡスキャンが密になるスキャンの中心付近において、重複したＡスキャンデータの統合処理を行う。当該処理に関して、図７（ｂ）及び図７（ｃ）を参照して説明する。
【0083】
図７（ｂ）及び図７（ｃ）は、放射状スキャンにおいてＸＹ面の中心の領域を一部拡大した例であり、図７（ｂ）は４回スキャン、図７（ｃ）は６回スキャンの場合を示している。図７（ｂ）及び図７（ｃ）において、黒い四角７１２はスキャンした位置、白い四角７０４はスキャンしていない位置、斜線の四角７０５は複数回スキャンした位置を示している。図７（ｃ）に示すように、スキャン回数（走査線数）が増えることにより、複数回Ａスキャンを行う領域が大きくなる。言い換えると、被検眼のより正確な形状に対応する三次元データを構築するためにスキャン本数を増やすと、中心部ではスキャン密度が高くなり、スキャンデータが重複していくこととなる。
【0084】
そこで、データ統合部１９０３は、図７（ｂ）及び図７（ｃ）で示す斜線の四角７０５の領域におけるＡスキャンデータの統合処理を行って代表値を定め、当該代表値を対応する斜線領域の四角７０５の領域のＡスキャンデータとすることができる。例えば、データ統合部１９０３は、斜線領域の四角７０５の領域における複数のＡスキャンデータを統合し、当該領域の代表値とすることができる。統合方法は、対応する領域において取得した全てのＡスキャンデータを用いて平均値、重み付け平均値、中央値、最大値、又は最小値等を算出する統計的な計算によりデータを統合する方法を用いてよい。あるいは、取得したＡスキャンデータそれぞれで相関値を計算し、相関値の高いＡスキャンデータだけを用いて平均値、重み付け平均値、中央値、最大値、又は最小値等を算出する統計的な計算によりデータ統合をしてもよい。
【0085】
また、データ統合部１９０３は、データの統合処理として、複数のＡスキャンデータの中から１つのＡスキャンデータを選択して、代表値を定めてもよい。選択方法として、最初に取得したＡスキャンデータ、中間に取得したＡスキャンデータ、又は最後に取得したＡスキャンデータなど、取得したタイミングに応じてＡスキャンデータを選択してよい。あるいは、取得したＡスキャンデータそれぞれで相関値を計算し、最も相関値の平均値が高いＡスキャンデータ、又は最も相関値のばらつきが低いＡスキャンデータなど、計算を行った結果に応じてＡスキャンデータを選択してもよい。
【0086】
なお、データ統合部１９０３は、データの統合を行うＡスキャン位置を、撮影パラメータに含まれる走査線の数や角度間隔、撮影範囲、及び１Ｂスキャンに含まれるＡスキャン数等に応じて定めてよい。例えば、データの統合を行うＡスキャン位置を上述の撮影パラメータを対応付けたテーブルを用意し、データ統合部１９０３は、当該テーブルを参照して、当該Ａスキャン位置を定めることができる。なお、制御装置２００が、各走査線を特定する番号を各走査線に対応する断層画像と関連付けて記憶しておき、データ統合部１９０３は、当該番号と撮影パラメータに基づいて、データの統合を行うＡスキャン位置を定めてもよい。
【0087】
＜ステップＳ４４４＞
ステップＳ４４４では、データ統合部１９０３が放射状にスキャンして取得した断層画像を三次元空間に配置・統合したデータに基づいて、データ生成部１９０４が三次元データの構築を行う。当該処理に関して、図８（ａ）乃至図８（ｃ）を参照して説明する。図８（ａ）は図７（ａ）で示した実際に放射状にスキャンして取得した断層画像を配置した後に、スキャンをしていない残りの空間に対して推定断層画像８０３（推定Ａスキャンデータ）を生成した例である。図８（ｂ）は、スキャンして取得した断層画像７０２と推定断層画像８０３から生成された三次元データ８０４を示す。図８（ｃ）は、図８（ａ）の放射状スキャンにおいてｘｙ面の中心の領域を一部拡大した例であり、ひし形のパターンの四角８１３は、図８（ａ）における推定断層画像８０３の位置を示している。なお、図８（ｃ）における、ひし形のパターンの四角８１４は、ひし形のパターンの四角８１３を含む面において、撮影したＡスキャンデータが存在する位置を示している。
ステップＳ４４４では、データ統合部１９０３が放射状にスキャンして取得した断層画像を三次元空間に配置・統合したデータに基づいて、データ生成部１９０４が三次元データの構築を行う。当該処理に関して、図８（ａ）乃至図８（ｃ）を参照して説明する。図８（ａ）は図７（ａ）で示した実際に放射状にスキャンして取得した断層画像を配置した後に、スキャンをしていない残りの空間に対して推定断層画像８０３（推定Ａスキャンデータ）を生成した例である。図８（ｂ）は、スキャンして取得した断層画像７０２と推定断層画像８０３から生成された三次元データ８０４を示す。図８（ｃ）は、図８（ａ）の放射状スキャンにおいてｘｙ面の中心の領域を一部拡大した例であり、ひし形のパターンの四角８１３は、図８（ａ）における推定断層画像８０３の位置を示している。なお、図８（ｃ）における、ひし形のパターンの四角８１４は、ひし形のパターンの四角８１３を含む面において、撮影したＡスキャンデータが存在する位置を示している。
【0088】
ここで、データ生成部１９０４が補間処理によって推定断層画像８０３を生成処理について説明する。データ生成部１９０４は、推定断層画像８０３について、Ａスキャンデータが存在しない位置８１３に関しては補間処理によってＡスキャンデータを推定する。補間処理によって画像を推定・生成する場合、データ生成部１９０４は、例えば、円周方向に沿ってＡスキャンデータの補間を行う。
【0089】
具体的には、データ生成部１９０４は、Ａスキャンデータを推定する箇所における中心からの距離や角度を用いて、当該箇所の両隣の放射状にスキャンして取得した断層画像の重みづけ平均を算出して、Ａスキャンデータを推定する。具体的には、データ生成部１９０４は、Ａスキャンデータを推定する箇所の中心から当該両隣の断層画像までの円周方向における距離に応じて、両隣の断層画像の重み付け平均を算出することで、推定Ａスキャンデータを生成することができる。ここで、両隣の断層画像に関する重み付けについては、Ａスキャンデータを推定する箇所から断層画像までの円周方向における距離が近いほど当該断層画像のデータの比重が大きくなるような重み付けを行う。また、重みづけ平均に用いる断層画像中のデータは、例えば、当該断層画像において、Ａスキャンデータを指定する箇所に最も近い位置のＡスキャンデータを用いてもよいし、当該箇所に近い複数の位置のＡスキャンデータの平均値や中央値等であってもよい。当該補間処理を繰り返し行うことで、データ生成部１９０４は三次元データ８０４の構築を行うことができる。
【0090】
図９（ａ）乃至図９（ｃ）に、放射状にスキャンした断層画像から構築した三次元データから任意の断面を切り出した断層画像の一例を示す。図９（ａ）は、ステップＳ４０４の三次元データ生成処理によって生成された三次元データ８０４と、図９（ｂ）及び図９（ｃ）に示す断層画像の断面位置９００を示している。
【0091】
図９（ｂ）は、三次元データ８０４の断面位置９００の断層画像を示す。図９（ｂ）において、断層画像９０１は、ステップＳ４４２において位置合わせ処理を行ったデータを用いて構築した三次元データから生成した画像の一例である。また、断層画像９０２は、ステップＳ４４２の位置合わせ処理を行わずに構築した三次元データから生成した画像の一例である。図９（ｂ）の断層画像９０２に示すように、位置合わせ処理を行わずに三次元データを構築した場合、当該三次元データから任意断面の断層画像を生成すると網膜の構造が歪んでしまう。これに対し、断層画像９０１に示すように、位置合わせ処理を行ったデータを用いて構築した三次元データから任意断面の断層画像を生成すると、網膜の構造のゆがみを低減することができる。
【0092】
なお、図９（ｃ）は、データ生成部１９０４が補間処理を行う前の三次元データから生成した断層画像であり、放射状に１２８回スキャンして取得した断層画像の一例を示す。断層画像９１１は断層画像９０１、断層画像９１２は断層画像９０２にそれぞれ対応している。図９（ｃ）に示すように、放射状スキャンでは、中心部に近いほどＡスキャンデータが密に取得され、周辺部ほど疎になることが分かる。
【0093】
また、データ生成部１９０４は、補間処理によって生成した推定断層画像を機械学習モデルにより、自然な（実際的な）断層画像に推定する処理を行うこともできる。本実施例では、データ生成部１９０４は、予め学習を行った学習済モデルを用いて、補間処理によって生成した推定断層画像から自然な断層画像を生成する。ここで、本実施例に係るデータ生成部１９０４が、機械学習の一つである深層学習（ディープラーニング）を用いて、自然な断層画像を生成する例を、図１０Ａ及び図１０Ｂを参照して説明する。
【0094】
図１０Ａは、データ生成部１９０４における深層学習モデルの構成の一例として、Ｕ－ｎｅｔ型の畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を示している。図１０Ａで示す構成１０１０は、入力値群を加工して出力する処理を担う、複数の層群によって構成される。なお、構成１０１０に含まれる層の種類としては、図１０Ａに示すように、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、及び合成（Ｍｅｒｇｅｒ）層がある。
【0095】
畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、及びダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、フィルタのカーネルサイズの次元数も変更してもよい。
【0096】
ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。具体的な処理として、例えば、Ｍａｘ Ｐｏｏｌｉｎｇ処理がある。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。具体的な処理としては、例えば、線形補間処理がある。合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。
【0097】
このような構成では、入力された画像１００１を構成する画素値群が畳み込み処理ブロックを経て出力された値群と、入力された画像１００１を構成する画素値群が、合成層で合成される。その後、合成された画素値群は最後の畳み込み層で推論画像１００２に成形される。
【0098】
なお、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、学習データからトレーニングされた傾向を出力データに再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて好ましい値に変更することができる。
【0099】
また、上述したようなパラメータを変更するという方法だけでなく、ＣＮＮの構成を変更することによって、ＣＮＮがより良い特性を得られる場合がある。より良い特性とは、例えば、処理の精度が高かったり、処理の時間が短かったり、機械学習モデルのトレーニングにかかる時間が短かったりする等である。
【0100】
なお、本変形例で用いるＣＮＮの構成１０１０は、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ－ｎｅｔ型の機械学習モデルである。Ｕ－ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。
【0101】
なお、図示はしないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（Ｒｅｃｔｉｆｉｅｒ Ｌｉｎｅａｒ Ｕｎｉｔ）を用いた活性化層を組み込む等をしてもよい。
【0102】
ここで、本実施例に係る機械学習モデルについての学習データについて説明する。本実施例では、補間処理によって生成した三次元データに含まれる断層画像を入力データとし、実際に密に走査を行って取得した三次元データに含まれる断層画像と出力データとし、これらを学習データのペアとする。当該学習データに関して、図１０Ｂを参照して説明する。なお、学習済モデルに関しては、予め学習が行われた機械学習モデルであってよく、学習処理は予め実施例に係るＯＣＴ装置や他の装置等を用いて行われてよい。
【0103】
図１０Ｂにおいて、三次元データ１０１１はラスタスキャンで撮影した三次元データを示している。ラスタスキャンで撮影した三次元データから補間データを生成する際に、隣接する断層画像同士で位置合わせができている必要がある。なお、学習データの用意（作成）に関しては、例えば、位置合わせ部１９０２を用いてラスタスキャンで撮影した隣接する断層画像の位置合わせを行ってもよいし、他の画像処理装置等で位置合わせを行ってもよい。
【0104】
三次元データ１０１２は、位置合わせを行った三次元データ１０１１において、放射状スキャンに対応するＡスキャン位置のデータを残し、放射状スキャンの位置にないデータを除去した三次元データの例を示している。このため、三次元データ１０１２の任意断面の断層画像を生成すると、図９（ｃ）で示した断層画像９１１のようになっている。
【0105】
三次元データ１０１３は、三次元データ１０１２から補間処理によって生成した三次元データの例である。また、三次元データ１０１４は、三次元データ１０１１において、三次元データ１０１３に対応するデータを抽出したものである。ここで、三次元データ１０１３及び三次元データ１０１４は三次元データ１０１１を基にして生成されているため、三次元データ１０１３と三次元データ１０１４の２つのデータ間での位置合わせ処理は不要である。本実施例に係る機械学習モデルは、このように生成した三次元データ１０１３における補間データを含む断層画像を入力データとし、三次元データ１０１４の対応する断層画像を出力データとした学習データを学習する。これにより、学習済モデルは、補間処理によって推定した断層画像から、実際に撮影した断層画像を推定・生成することができる。
【0106】
なお、補間処理によって推定する断層画像としては、上記の放射状スキャンに展開したものに限られない。例えば、１０００Ａスキャンの断層画像を５００Ａスキャンに間引いた後に補間処理で推論した１０００Ａスキャンの断層画像と、元々の１０００Ａスキャンの断層画像とをペアで学習するようにしてもよい。
【0107】
さらに、三次元データ１０１２，１０１３，１０１４の生成方法は上記方法に限られない。例えば、三次元データ１０１１から放射状スキャンによる撮影範囲に対応する三次元データ１０１４を抽出し、三次元データ１０１４から所定の放射状スキャンに対応するＡスキャン位置のデータを残し、三次元データ１０１２を作成してもよい。
【0108】
データ生成部１９０４は、補間処理により推定した三次元データにおける、補間データを含む断層画像について、学習済モデルを用いて当該断層画像から生成した断層画像と置き換えることで、より自然な三次元データを構築することができる。なお、学習データの入力データを三次元データ１０１３とし、出力データを三次元データ１０１４として、学習を行った学習済モデルを用いてもよい。この場合、データ生成部１９０４は、学習済モデルを用いて、補間処理により推定した三次元データからより自然な（実際的な）三次元データを構築することができる。データ生成部１９０４により三次元データの構築が終了したらステップＳ４０５に進む。
【0109】
＜ステップＳ４０５＞
ステップＳ４０５では、放射状スキャンで取得した断層画像から生成した三次元データを制御部１９１が表示部１９２に表示させる。本実施例における表示画面の一例を図１１Ａ及び図１１Ｂに示す。基本的な画面の説明は、図１１Ａを参照して行う。図１１Ａには、表示画面１１００が示されており、表示画面１１００には、患者タブ１１０１、撮影タブ１１０２、レポートタブ１１０３、及び設定タブ１１０４が設けられている。レポートタブ１１０３における斜線は、レポート画面のアクティブ状態を表している。本実施例においては、撮影処理終了後に画像確認のため、レポート画面を表示する例について説明する。
ステップＳ４０５では、放射状スキャンで取得した断層画像から生成した三次元データを制御部１９１が表示部１９２に表示させる。本実施例における表示画面の一例を図１１Ａ及び図１１Ｂに示す。基本的な画面の説明は、図１１Ａを参照して行う。図１１Ａには、表示画面１１００が示されており、表示画面１１００には、患者タブ１１０１、撮影タブ１１０２、レポートタブ１１０３、及び設定タブ１１０４が設けられている。レポートタブ１１０３における斜線は、レポート画面のアクティブ状態を表している。本実施例においては、撮影処理終了後に画像確認のため、レポート画面を表示する例について説明する。
【0110】
レポート画面には、患者情報表示部１１０５、検査ソートタブ１１０６、検査リスト１１０７、及び検査リスト１１０８が設けられている。検査リスト１１０８の黒枠は選択されている検査を表し、選択されている検査データが画面に表示される。図１１（ａ）に示される検査リスト１１０７には、眼底画像と断層画像のサムネイルが表示されている。また、レポート画面には、ビューモードのタブ１１５０，１１５１が設けられており、タブ１１５０に関するレポート画面では断層画像を表示し、タブ１１５１に関するレポート画面では三次元データを表示する。
【0111】
ここでは、タブ１１５０に関するレポート画面について説明する。当該レポート画面には、ＳＬＯ光学系１４０を用いて取得した眼底画像１１１０、放射状スキャンで取得した断層画像から生成した三次元データを用いて生成した正面画像（Ｅｎ－Ｆａｃｅ画像）１１１５、第１の断層画像１１２１、及び第２の断層画像１１２２が表示されている。なお、Ｅｎ－Ｆａｃｅ画像については後述する。
【0112】
眼底画像１１１０上には、第１及び第２の断層画像１１２１，１１２２の走査位置１１１１，１１１２が示されており、走査位置１１１１，１１１２は、放射状にスキャンした一つの断面位置と、それに直交する断面位置を示している。第１及び第２の断層画像１１２１，１１２２には、指標１１３１，１１３２が示されており、指標１１３１，１１３２は断層画像の向きと位置を示している。また、第１及び第２の断層画像１１２１，１１２２には、縦横比１１４１，１１４２が表示されており、これは断層画像の縦横比を示している。具体的には、縦横比１１４１，１１４２は、図１１Ａで示す断層画像において基準となる長さ（例えば、２００μｍ）を縦横それぞれの線で示している。
【0113】
なお、制御部１９１は、第１の断層画像１１２１及び第２の断層画像１１２２について、不図示のユーザーインターフェースを用いて画像を切り替えて表示できるものとする。例えば、制御部１９１は、操作者が入力部のマウスホイールを回転させることで、眼底画像１１１０上に表示する断層画像の走査位置１１１１が時計回り又は反時計回りに変化させ、当該走査位置に対応する断層画像を連続的に切り替えて表示させることができる。この場合、第１及び第２の断層画像１１２１，１１２２は、直交の位置関係を保ったまま連動して画像が切り替えられてもよいし、それぞれの画像が独立して切り替わるようにしてもよい。
【0114】
次に、図１１Ｂを参照して、放射状スキャンにより取得した断層画像に基づいて構築した三次元データから任意の断層画像を表示する場合について説明する。図１１Ｂは、三次元データから任意の断面を表示するために、チェックボックス１１１６にチェックが入っている状態の表示画面１１００を示す。第１の断層画像１１２１は、放射状にスキャンした一つの断面の画像の例であり、第３の断層画像１１２３は、構築した三次元データから水平方向にスキャンした断面に相当する画像の例である。
【0115】
走査位置１１１３は第３の断層画像１１２３に対応するスキャンの位置を眼底画像１１１０上に示しており、指標１１３３は第３の断層画像１１２３の向きと位置を示している。縦横比１１４３は、表示している断層画像の縦横比を示している。なお、第３の断層画像１１２３も同様に、不図示のユーザーインターフェースを用いて切り替えて表示できるものとする。例えば、マウスホイールを回転させることで、眼底画像１１１０上に表示する断層画像の位置（走査位置１１１３）が上下に移動して、隣接する断層画像を連続的に切り替えて表示できる。この場合、第１及び第３の断層画像１１２１，１１２３はそれぞれが独立して切り替わってよい。
【0116】
図示しないが、第３の断層画像１１２３に対応するスキャン位置に関する任意の断面は、水平方向に限らず、垂直方向でもよいし、斜め方向であってもよい。さらに、操作者が指定した任意の直線、又は任意の曲面等であってもよい。例えば、操作者がマウス操作やタッチパネル操作により、眼底画像１１１０上に任意の点を指定する。眼底画像１１１０上の点はＸＹ座標の点であるため、データ生成部１９０４は、指定された点を結ぶ直線又は曲線上に位置する複数のＡスキャンデータを集めて１枚のＢスキャンを生成する。制御部１９１は、データ生成部１９０４が生成したＢスキャン画像を、第３の断層画像１１２３として表示部１９２に表示させる。なお、第３の断層画像１１２３を表示する領域は、第１の断層画像１１２１を表示している領域でもよい。
【0117】
以上で述べた構成によれば、本実施例に係るＯＣＴ装置は、高密度で放射状にスキャンした複数の断層画像から三次元データを生成して、任意の断面の画像を表示することができる。それにより、１度の撮影データで網膜全体の状態を容易に把握することができる。
【0118】
上記のように、本実施例に係るＯＣＴ装置は、信号処理部１９０と、位置合わせ部１９０２と、データ生成部１９０４とを備える。信号処理部１９０は、被検眼上で測定光を放射状に走査して得られた、被検眼の複数箇所にそれぞれ対応する複数の断層画像を取得する取得部の一例として機能する。位置合わせ部１９０２は、取得した複数の断層画像を、少なくとも断層画像における深さ方向において互いに位置合わせする。データ生成部１９０４は、位置合わせを行った複数の断層画像を用いて、三次元データを生成する。なお、本実施例において断層画像は輝度の断層画像であり、信号処理部１９０は、再構成部１９０１によって断層画像を生成して取得してもよいし、制御装置２００の外部のサーバ等の外部装置から断層画像を取得してもよい。また、信号処理部１９０は、外部装置から干渉信号を取得し、再構成部１９０１によって、取得した干渉信号から断層画像を生成し取得してもよい。
【0119】
また、ＯＣＴ装置は、データ統合部１９０３を更に備える。データ統合部１９０３は、三次元空間において、位置合わせを行った複数の断層画像のうち少なくとも二つの断層画像が交わる位置の画素値を、該少なくとも二つ断層画像の該位置の画素値を統合した値を用いて定める。特に、データ統合部１９０３は、画素値を統合した値として、少なくとも二つの断層画像が交わる位置における少なくとも二つの断層画像の画素値の統計値又は該画素値のうちの１つの画素値を用いる。データ生成部１９０４は、複数の断層画像及びデータ統合部１９０３によって定められた画素値を用いて三次元データを生成する。また、データ生成部１９０４は、三次元データにおける、複数の断層画像に対応する複数箇所間のデータを、位置合わせを行った複数の断層画像のうちの二つを用いた補間処理により生成する。
【0120】
このような構成を有する、本実施例に係るＯＣＴ装置では、放射状のスキャンにより得た複数のデータ間の位置ずれを低減することができる。また、複数の二次元の断層画像を用いて三次元データを生成する場合にも、隣接する断層画像間での位置ずれが低減されるため、データ間の位置ずれが低減された三次元データを生成することができる。それにより、１度の撮影データで網膜全体の状態を容易に把握することができる。また、放射状のスキャンにより同一箇所について重複して取得されたデータを統合して用いることで、取得したデータを効率よく利用することができる。さらに、補間処理により複数箇所間のデータを補間することで、１度の撮影データで網膜全体の厚みや状態、網膜の形状を精度良く把握することができる。
【0121】
なお、本実施例に係るステップＳ４４２の位置合わせ処理では、基準データと対象データを変えながら処理を行った。しかしながら、位置合わせ処理はこれに限られない。例えば、放射状スキャンのうちの１つのスキャンに対応するデータ（断層画像）をテンプレートとして選択して、テンプレートを基準データとして、他のデータの位置を基準データに合わせてもよい。また、例えば、放射状スキャンのうちの所定のスキャン、例えば９０°毎の４つのスキャンに対応するデータ（断層画像）をテンプレートとし、当該スキャンの前後４５°に含まれるスキャンに対応するデータを、テンプレートに対して位置合わせしてもよい。
【0122】
また、本実施例では、Ａスキャン毎に位置合わせを行ったが、位置合わせは所定のＡスキャンをまとめた短冊状の領域毎に行ってもよい。この場合、シフト値の算出やデータの位置の移動は、当該領域毎に行われてよい。なお、シフト値はＡスキャン毎に算出したものについて、当該領域の平均値等の統計値を算出し、算出した統計値を当該領域のシフト値としてもよいし、当該領域に含まれる所定のＡスキャンのシフト値を領域全体のシフト値としてもよい。また、シフト値の算出は、全てのＡスキャンについて行わなくてもよく、例えば、１Ｂスキャンに含まれるＡスキャンのうち、離散的に定められたいくつかのＡスキャンについてのみシフト値の算出を行い、他のＡスキャンについてはシフト値の補間値を用いてもよい。
【0123】
さらに、断層画像毎に位置合わせを行ってもよい。この場合、位置合わせは各データ（断層画像）の中心のＡスキャンのデータ等の代表的なＡスキャンのデータのみを対比して行われてもよい。また、Ａスキャン毎や所定のＡスキャンをまとめた領域毎に算出したシフト値の平均値等の統計値を算出し、算出した統計値を当該データ全体のシフト量としてもよい。
【0124】
また、シフト値を算出する際に対比するデータはＡスキャンの全体のデータに限られない。例えば、Ａスキャンに含まれる深さ方向における所定の領域の画像のデータを対比してよい。なお、基準データと対象データのうち一方は、Ａスキャンデータのデータ全体を用いてもよい。同様に、複数のＡスキャンをまとめた短冊状の領域のデータのうち、深さ方向における所定の領域のデータを対比してもよい。
【0125】
さらに、放射状スキャンの位置合わせは、複数の断層画像についてまとめて行ってもよい。例えば、所定のスキャン回数分の断層画像毎にまとめて位置合わせを行ってもよいし、所定の角度に含まれるスキャンに対応する断層画像毎にまとめて位置合わせを行ってもよい。なお、位置合わせをまとめて行う断層画像の単位は、放射状スキャンに含まれる走査線の数に応じて動的に定められてもよいし、操作者の指示に応じて決められてもよいし、予め設定されてもよい。なお、この場合、シフト値の算出も、当該断層画像の単位ごとに行ってよい。この場合、シフト値は、当該単位に含まれる断層画像毎のシフト値の平均値等の統計値であってもよいし、当該単位に含まれる所定の断層画像のシフト値であってもよい。
【0126】
またさらに、本実施例では、１組の基準データと対象データに対するシフト値を算出した都度、基準データと対象データの位置を合せたが、データの位置を合せるタイミングはこれに限られない。放射状スキャンに含まれる全てのデータについてシフト量を算出した後、一括してデータの位置を合せてもよい。この場合には、各走査線に対応するデータについて、当該データまでの基準データと対象データとの対比で求めたシフト値を累積したシフト値分だけ移動させて位置合わせを行ってよい。
【0127】
なお、本実施例では、シフト値を算出する際に、最初と最後のスキャンに対応するデータ間に生じたシフト値を逆方向に戻すことで全体的に補正を行うこととした。しかしながら、当該処理は行わなくてもよい。また、当該処理はＡスキャン毎でなく、複数のＡスキャンをまとめた短冊状の領域毎に行ってもよいし、各走査線に対応する断層画像毎に行ってもよい。さらに、複数の走査線に対応する複数の断層画像毎に行ってもよい。
【0128】
また、本実施例では、学習済モデルを用いて、放射状スキャンによる走査方向とｚ軸で構成される面における断層画像について、自然な（実際的な）断層画像を生成する例について説明した。しかしながら、学習済モデルを用いて生成される画像はこれに限らない。例えば、データ生成部１９０４が、学習済モデルを用いて、ｘｙ面における正面画像（Ｅｎ－Ｆａｃｅ画像）から自然な正面画像を生成してもよい。この場合には、データ生成部１９０４は、補間処理により生成した三次元データから生成したＥｎ－Ｆａｃｅ画像を学習済モデルに入力し、より自然なＥｎ－Ｆａｃｅ画像を生成する。この場合の学習データとしては、図１０Ｂに示す、三次元データ１０１３から生成したＥｎ－Ｆａｃｅ画像を入力データとし、三次元データ１０１４の対応する深度範囲のデータから生成したＥｎ－Ｆａｃｅ画像を出力データとすればよい。
【0129】
ここで、Ｅｎ－Ｆａｃｅ画像とは、三次元データの任意の深度範囲におけるデータを二次元平面（ｘｙ平面）に投影した画像をいう。ここで、Ｅｎ－Ｆａｃｅ画像を生成する深度範囲は、被検眼の断層画像に含まれる任意の２つの層境界で定義されることができる。また、深度範囲は操作者によってオフセット指示されることで定義されてもよい。さらに、深度範囲はある層境界を基準として浅い方向又は深い方向に所定の画素分を含む範囲として定義されてもよい。また、Ｅｎ－Ｆａｃｅ画像は、三次元データにおけるｘｙ面の１断面画像などであってよい。なお、深度範囲に対応するデータを二次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を二次元平面上の画素値とする手法を用いることができる。ここで、代表値は、深度範囲内における画素値の平均値、中央値又は最大値などの値を含むことができる。データ生成部１９０４は、三次元データの少なくとも一部のデータを二次元平面に投影して正面画像であるＥｎ－Ｆａｃｅ画像を生成することができる。
【0130】
なお、本実施例では、データ生成部１９０４が、学習済モデルを用いてより自然な断層画像やＥｎ－Ｆａｃｅ画像を生成するとしたが、信号処理部１９０が当該処理を行ってもよいし、当該処理を行うための構成要素を設けてもよい。また、学習済モデルを用いてより自然な画像を生成する処理は、必ずしも行う必要はなく、例えば、操作者の指示に応じて行うように構成されてもよい。なお、Ｅｎ－Ｆａｃｅ画像は、深度範囲が異なると画像中の特徴が異なることがあるため、所定の深度範囲毎に学習済モデルを用意してもよい。
【0131】
（実施例２）
実施例１においては、駆動制御部１８０がＸスキャナ１０７及びＹスキャナ１１０を制御して、放射状に走査する例について説明した。本実施例では、放射状の走査に加えて、円形状に走査することで、より精度良く三次元データを生成する例について説明する。
実施例１においては、駆動制御部１８０がＸスキャナ１０７及びＹスキャナ１１０を制御して、放射状に走査する例について説明した。本実施例では、放射状の走査に加えて、円形状に走査することで、より精度良く三次元データを生成する例について説明する。
【0132】
以下、図１２（ａ）乃至（ｃ）を参照して、本実施例に係るＯＣＴ装置について実施例１に係るＯＣＴ装置との違いを中心に説明する。なお、本実施例に係るＯＣＴ装置の各構成要素は、実施例１に係るＯＣＴ装置の各構成要素と同様であるため、同じ参照符号を用いて説明を省略する。
【0133】
図１２（ａ）乃至（ｃ）は、放射状スキャンと円形スキャンとを組み合わせた走査線の一例を示している。図中、矢印は走査する方向を示している。なお、走査する方向は図に示した方向ではなく逆向きでもよい。図１２（ａ）には、説明の都合により１２本の放射状の走査線と１本の円形の走査線を示す。
【0134】
なお、放射状スキャンから三次元データを構築することを目的とする場合、図１２（ｂ）に示すように、密に走査線を設定した方が良く、放射状の走査線数ｎを例えば９０本以上とすることができる。さらに、円形スキャンを位置合わせに用いるだけではなく、三次元データ構築に用いる場合、円形状の走査線数ｍを例えば２以上とすることもできる。
【0135】
放射状スキャンと円形スキャンを組み合わせる場合、放射状スキャンを実行した後に円形スキャンを実行してもよいし、円形スキャンを実行した後に放射状スキャンを実行してもよい。あるいは、放射状スキャンを行っている途中で円形スキャンを行ってもよく、異なるスキャンパターンを実行するタイミングは一意に限定されない。
【0136】
本実施例に係る三次元データ生成処理は、実施例１に係る三次元データ生成処理と比較して、位置合わせ部１９０２の位置合わせ処理、及びデータ統合部１９０３によるＡスキャンデータの統合処理が異なる。そのため、本実施例ではこれらの処理に関して説明する。
【0137】
本実施例では、ステップＳ４２２に係る位置合わせ処理において、まず、データ統合部１９０３が、円形スキャンで取得したＡスキャンデータと放射状スキャンで取得したＡスキャンデータを三次元空間上に配置する。その後、位置合わせ部１９０２は、円形スキャンを基にして放射状スキャンの位置合わせを行う。当該位置合わせ処理に関して図１２（ｃ）を参照して説明する。図１２（ｃ）は、円形スキャンと放射状スキャンにおいてＸＹ面の一部の領域を拡大した例を示している。図１２（ｃ）において、斜線の四角１２０１は円形スキャンの位置、黒い四角１２０２は放射状スキャンの位置、白い四角１２０３はスキャンしていない位置、点線の円１２０４は円形スキャンと放射状スキャンが接する箇所を示している。
【0138】
位置合わせ部１９０２は、円形スキャンと放射状スキャンが接する箇所（円１２０４）を基準に、Ａスキャンデータの位置合わせを行う。当該箇所において求められた位置合わせパラメータを断層画像全体の位置合わせパラメータ（シフト値）とすることができる。円形スキャンは短い時間に連続する面を撮影しているため、１枚の画像内での位置ずれがほとんど見られない。そのため、本実施例では、位置合わせ部１９０２は、複数の放射状スキャンについて円形スキャンのデータを基にして位置合わせを行う。本実施例に係る位置合わせ部１９０２による位置合わせは、検出部１９０５が検出した境界線データに基づいて行われてもよいし、画像特徴量に基づいて行われてもよい。円１２０４に示すように、円形スキャンと放射状スキャンとが接する箇所（Ａスキャン位置）が複数ある場合には、複数箇所のデータを平均したものと位置合わせを行ってもよいし、いずれか一つのデータを用いて位置合わせをしてもよい。具体的には、図１２（ｃ）の例では、黒い四角１２０２の端と接する斜線の四角１２０１の２つの画素位置（Ａスキャン位置）のデータを平均したものと、黒い四角１２０２の端のデータを位置合わせしてよい。
【0139】
また、１走査線に対応する放射状スキャンは、両端部で円形スキャンと接する。両端部の位置合わせ結果を用いて放射状スキャンの位置合わせを行う際に、位置合わせ部１９０２は、両端部の位置合わせパラメータの平均値を用いてもよいし、接する部分のＡスキャンデータの類似度が高い方の結果を用いてもよい。あるいは、両端部の位置合わせパラメータに差が出る場合には、位置合わせ部１９０２は、放射状スキャンで取得した画像を両端部のパラメータ（深さ方向の位置）が合うように滑らかに画像を変形させて位置合わせをしてもよい。例えば、両端部の位置合わせパラメータの差分を１走査に含まれるＡスキャン数で割って求めた値だけ、各Ａスキャンデータを画像の一方の端部から累積的に（徐々に）深さ方向に移動させて、画像を変形させることができる。
【0140】
本実施例では、円形スキャンを基にして放射状スキャンの位置合わせを行う例について説明したがこれに限らない。例えば、実施例１と同様に、放射状スキャンの位置合わせを先に行った後に、円形スキャンに対して放射状スキャンの位置合わせを実行するようにしてもよい。
【0141】
次に、データ統合部１９０３による、ステップＳ４４３に係るデータの配置・統合処理について説明する。データ統合部１９０３は、Ａスキャンが密になる中心付近と、円形スキャンと放射状スキャンとが重複する周辺箇所において、重複したＡスキャンデータの統合処理を行うとともに、三次元空間において、走査線毎に対応する位置合わせ済みの断層画像を配置する。なお、データ統合部１９０３は、ステップＳ４４２で算出した位置合わせパラメータに基づいて断層画像の位置ずれ補正を行うように、三次元空間に走査線毎に対応する位置合わせ前の断層画像を配置してもよい。ここで、中心付近に関しては実施例１に係る処理と同様であるためここでは説明を省略する。
【0142】
データ統合部１９０３は、円形スキャンと放射状スキャンとが重複する周辺箇所におけるデータの統合処理として、例えば、円形スキャンで取得したＡスキャンデータを選択して、データの統合処理を行う箇所の代表値とする。これは、上述したように円形スキャンは短い時間に連続する面を撮影しているため、１枚の画像内での位置ずれがほとんど見られないためである。また、位置合わせ部１９０２により位置合わせ処理が完了しているため、データ統合部１９０３は、円形スキャンと放射状スキャンとが重複する周辺箇所におけるデータの統合処理として、円形スキャンのＡスキャンデータと放射状スキャンのＡスキャンデータとを統合して代表値を定めてもよい。統合方法として、データ統合部１９０３は、重複するＡスキャンデータを用いて平均値、重み付け平均値、中央値、最大値、又は最小値等を算出する統計的な計算によりデータ統合をしてもよい。また、データ統合部１９０３は、重複するＡスキャンデータそれぞれで相関値を計算し、相関値の高いＡスキャンデータだけを用いて平均値、重み付け平均値、中央値、最大値、又は最小値等を算出する統計的な計算によりデータ統合を行ってもよい。
【0143】
ここでは、複数の走査線を含む放射状スキャンに対応するデータと、１つの円形スキャンに対応するデータを用いた位置合わせとデータ統合について説明した。しかしながら、放射状スキャンと円形スキャンを組み合わせたスキャンに関する位置合わせ方法は、これに限られない。図１２（ｂ）に示したように、複数の放射状スキャンと複数の円形スキャンとを組み合わせてもよい。複数の円形スキャンを行う場合、放射状スキャンの範囲と重複する領域内で、それぞれの円形の直径サイズを変更することができる。
【0144】
次に、本実施例に係るデータ生成部１９０４が補間処理によって推定断層画像（推定Ａスキャンデータ）を生成する例について説明する。実施例１では、放射状スキャンだけを用いて、推定断層画像を生成する例について示したが、ここでは放射状スキャンと円形スキャンとを用いた例について説明する。特に、データ生成部１９０４が、円形スキャン（斜線の四角１２０１）の内側にあるＡスキャンデータが存在しない位置（白い四角１２０３）に関して、補間によってＡスキャンデータの推定する例について説明する。
【0145】
当該位置に関する推定断層画像を補間処理によって生成する場合、データ生成部１９０４は、例えば、円周方向と法線方向に沿ってデータの補間を行う。より具体的には、データ生成部１９０４は、Ａスキャンデータを推定する箇所における中心からの距離と角度を用いて、当該箇所の両隣（円周方向）の放射状スキャンの断層画像、及び円周方向と直交する法線方向にある円形スキャンの断層画像の重みづけ平均を算出して、Ａスキャンデータを推定する。具体的には、データ生成部１９０４は、Ａスキャンデータを推定する箇所から当該特定した両隣の断層画像までの円周方向における距離、及び当該特定した円形スキャンの断層画像までの法線方向の距離に応じて重みづけ平均を算出することで、推定Ａスキャンデータを生成することができる。ここで、重み付けについては、Ａスキャンデータを推定する箇所からの距離が近いほど当該断層画像のデータの比重が大きくなるような重み付けを行う。また、重みづけ平均に用いる断層画像中のデータは、例えば、当該断層画像において、Ａスキャンデータを指定する箇所に最も近い位置のＡスキャンデータを用いてもよいし、当該箇所に近い複数の位置のＡスキャンデータの平均値や中央値等であってもよい。これらの補間処理を繰り返し行うことで、データ生成部１９０４は三次元データの構築を行うことができる。なお、以降の処理は、実施例１と同様であるため説明を省略する。
【0146】
上記のように、本実施例に係る信号処理部１９０は、被検眼上で測定光を円形状に走査して得られた、被検眼の少なくとも一箇所に対応する断層画像を更に取得する。また、位置合わせ部１９０２は、測定光を円形状に走査して得られた断層画像を基準として、測定光を放射状に走査して得られた複数の断層画像を位置合わせする。
【0147】
以上で述べた構成によれば、本実施例に係るＯＣＴ装置では、放射状のスキャンにより得られた複数の断層画像について、短い時間に連続する面を撮影する円形状のスキャンにより得られた断層画像を基準として位置合わせを行う。このため、放射状スキャンにより得られた複数の断層画像をより精度良く位置合わせを行うことができる。このため、位置合わせ後の断層画像から三次元データを生成することで、より正確な三次元データを生成することができる。これにより、１度の撮影データで網膜全体の厚みや状態、網膜の形状をより精度良く取得することができる。
【0148】
（実施例３）
実施例１及び２においては、駆動制御部１８０がＸスキャナ１０７及びＹスキャナ１１０を制御して、放射状及び円形状に走査して断層画像を取得する例について説明した。本実施例では、これらの走査により断層画像を取得するとともに、モーションコントラスト画像を生成する。以下、図１３乃至図１４（ｂ）を参照して、本実施例に係るＯＣＴ装置について、実施例１に係るＯＣＴ装置との違いを中心について説明する。本実施例に係るＯＣＴ装置の各構成要素は、信号処理部１９０において、モーションコントラスト画像生成部１９０６が更に設けられている点を除いて、実施例１に係るＯＣＴ装置の各構成要素と同様であるため、同じ参照符号を用いて説明を省略する。
実施例１及び２においては、駆動制御部１８０がＸスキャナ１０７及びＹスキャナ１１０を制御して、放射状及び円形状に走査して断層画像を取得する例について説明した。本実施例では、これらの走査により断層画像を取得するとともに、モーションコントラスト画像を生成する。以下、図１３乃至図１４（ｂ）を参照して、本実施例に係るＯＣＴ装置について、実施例１に係るＯＣＴ装置との違いを中心について説明する。本実施例に係るＯＣＴ装置の各構成要素は、信号処理部１９０において、モーションコントラスト画像生成部１９０６が更に設けられている点を除いて、実施例１に係るＯＣＴ装置の各構成要素と同様であるため、同じ参照符号を用いて説明を省略する。
【0149】
図１３は、実施例３乃至５に係る信号処理部１９０の構成の概略的な構成例を示している。本実施例に係る信号処理部１９０には、再構成部１９０１、位置合わせ部１９０２、データ統合部１９０３、データ生成部１９０４、及び検出部１９０５に加えて、モーションコントラスト画像生成部１９０６が設けられている。なお、図１３には、その他に画像補正部１９０７及び解析部１９０８が示されているが、これらについては、実施例４及び５において説明する。
【0150】
モーションコントラスト画像生成部１９０６は、生成された断層画像に基づいてモーションコントラストデータを生成し、断層画像に対応するモーションコントラスト画像を生成する。モーションコントラスト画像とは、上述のように、測定対象の同一断面をＯＣＴで繰り返し撮影し、その撮影間における測定対象の時間的な変化を検出したデータである。モーションコントラスト画像は、例えば、複素ＯＣＴ信号の位相やベクトル、強度の時間的な変化を差、比率、又は相関等から計算することによって得ることができる。本実施例に係るモーションコントラストデータの生成方法は後述する。
【0151】
次に、図１４（ａ）及び図１４（ｂ）を参照して、本実施例に係る一連の動作処理及び三次元データ生成処理について説明する。図１４（ａ）は、本実施例に係る一連の動作処理の流れを示すフローチャートであり、図１４（ｂ）は、本実施例に係る三次元データ生成処理の流れを示すフローチャートである。本実施例では、簡単のため、実施例１と同様に放射状スキャンを行う場合について説明する。ただし、実施例２のように円形スキャンを組み合わせてもよい。本実施例に係る一連の動作処理に関して、ステップＳ４０１の被検眼情報取得処理、ステップＳ４０３の断層画像生成処理、及びステップＳ４０６の終了判断処理は実施例１に係るそれぞれの処理と同様であるため説明を省略する。以下、本実施例に係るステップＳ１４０２の撮影処理、ステップＳ１４０３のモーションコントラスト画像生成処理、ステップＳ１４０４の三次元データ生成処理、及びステップＳ１４０５の表示処理について説明する。
【0152】
ステップＳ４０１において被検眼情報が取得されると、処理はステップＳ１４０２に移行する。ステップＳ１４０２では、断層画像からモーションコントラスト画像を生成するために、駆動制御部１８０が、Ｘスキャナ１０７及びＹスキャナ１１０を制御して放射状に走査する際に、同一走査線を複数回（少なくとも２回以上）繰り返し走査する。
【0153】
ステップＳ４０３において、再構成部１９０１は、同一走査線を繰り返し走査することで取得した干渉信号に基づいて、各走査線について複数の断層画像を生成する。なお、再構成部１９０１は、三次元データの生成に用いる断層画像を生成する場合には、同一の走査線について生成した複数の断層画像を加算平均した断層画像を生成してもよい。また、複数の断層画像のうちの１つの断層画像を三次元データの生成に用いる断層画像としてもよい。複数の断層画像が生成されたら、処理はステップＳ１４０３に移行する。
【0154】
ステップＳ１４０３では、モーションコントラスト画像生成部１９０６が、同一走査線について生成された複数の断層画像に基づいて、モーションコントラスト画像（モーションコントラストの断面画像）の生成を行う。モーションコントラスト画像生成部１９０６は、まず被検眼の同一範囲（同一走査線）で撮影された複数の断層画像間の位置ずれを補正する。位置ずれの補正方法は任意の方法であってよい。例えば、モーションコントラスト画像生成部１９０６は、同一範囲をＭ回撮影し、同一箇所に相当する断層画像同士について、眼底形状等の特徴等を利用して位置合わせを行う。具体的には、Ｍ個の断層画像のうちの１つをテンプレートとして選択し、テンプレートの位置と角度を変えながらその他の断層画像との類似度を求め、テンプレートとの位置ずれ量を求める。その後、モーションコントラスト画像生成部１９０６は、求めた位置ずれ量に基づいて、各断層画像を補正する。
【0155】
次にモーションコントラスト画像生成部１９０６は、各断層画像に関する撮影時間が互いに連続する２つの断層画像間で数４に示す式により脱相関値Ｍ（ｘ，ｚ）を求める。なお、脱相関値を求める際に用いる２つの断層画像は、所定の撮影時間内に撮影された断層画像であればよく、撮影時間が互いに連続していなくてもよい。
ここで、Ａ（ｘ，ｚ）は断層画像Ａの位置（ｘ，ｚ）における輝度、Ｂ（ｘ，ｚ）は断層画像Ｂの同一位置（ｘ，ｚ）における輝度を示している。なお、位置座標ｘは走査方向（断層画像の横方向）の位置を示し、位置座標ｚは深さ方向（断層画像の縦方向）の位置を示しており、位置座標ｘはｘ軸方向の位置に限られない。
【数4】
【0156】
脱相関値Ｍ（ｘ，ｚ）は０～１の値となり、２つの輝度の差が大きいほどＭ（ｘ，ｚ）の値は大きくなる。モーションコントラスト画像生成部１９０６は、同一位置で繰り返し取得したＭが３以上の場合には、同一位置（ｘ，ｚ）において複数の脱相関値Ｍ（ｘ，ｚ）を求めることができる。モーションコントラスト画像生成部１９０６は、求めた複数の脱相関値Ｍ（ｘ，ｚ）の最大値演算や平均演算などの統計的な処理を行うことで、最終的なモーションコントラスト画像を生成することができる。なお、繰り返し回数Ｍが２の場合、最大値演算や平均演算などの統計的な処理は行わず、二つの断層画像Ａ，Ｂの脱相関値Ｍ（ｘ，ｚ）が、位置（ｘ，ｚ）におけるモーションコントラストデータの値となる。モーションコントラスト画像生成部１９０６は、断層画像の各画素位置についてモーションコントラストデータを生成し、モーションコントラストデータを対応する画素位置に配置することで、断層画像に対応するモーションコントラスト画像を生成することができる。
【0157】
数４に示したモーションコントラストデータの計算式はノイズの影響を受けやすい傾向がある。例えば、複数の断層画像の無信号部分にノイズがあり、互いに値が異なる場合には、脱相関値が高くなり、モーションコントラスト画像にもノイズが重畳してしまう。これを避けるために、モーションコントラスト画像生成部１９０６は、前処理として、所定の閾値を下回る断層画像のデータはノイズとみなして、ゼロに置き換えることもできる。これにより、モーションコントラスト画像生成部１９０６は、生成されたモーションコントラストデータに基づいて、ノイズの影響を低減したモーションコントラスト画像を生成することができる。
【0158】
ステップＳ１４０４では、信号処理部１９０は、断層画像による輝度の三次元データと、モーションコントラストの三次元データを生成する。当該三次元データの生成処理に関して、図１４（ｂ）のフローチャートを参照して説明する。図１４（ｂ）のフローチャートにおいて、ステップＳ１４４１は実施例１のステップＳ４４１と同様であるため、説明を省略する。ステップＳ１４４１において、検出部１９０５が網膜の境界線を検出したら処理はステップＳ１４４２に移行する。
【0159】
ステップＳ１４４２では、位置合わせ部１９０２が隣接する断層画像の位置合わせを行う。なお、位置合わせ部１９０２は、ステップＳ１４４２の位置合わせについて、実施例１で説明した位置合わせを行い、放射状スキャンにおいて隣接する走査線に対応する断層画像の位置合わせパラメータを算出する。また、モーションコントラスト画像は、断層画像から生成されるため、断層画像を用いて求めた位置合わせパラメータを適用可能である。
【0160】
ステップＳ１４４３では、データ統合部１９０３が放射状にスキャンして取得した断層画像を三次元空間に配置するとともに、複数の断層画像からデータの統合を行う。ステップＳ１４４３のデータ配置・統合は、実施例１で説明した処理と同様に行われてよい。なお、データ統合部１９０３は、モーションコントラスト画像に関しても同様に、各Ａスキャンにおいて断層画像において処理をした統合処理と同じ処理を適用することができる。
【0161】
ステップＳ１４４４では、データ統合部１９０３が放射状にスキャンして取得した断層画像、及びモーションコントラスト画像を三次元空間に配置・統合したデータに基づいて、データ生成部１９０４が三次元データの構築を行う。ステップＳ１４４４における三次元データの構築は、実施例１で説明した処理と同様の処理で行われてよい。なお、データ生成部１９０４は、モーションコントラスト画像に関しても同様に、補間処理によって推定モーションコントラスト画像を生成することができる。また、データ生成部１９０４は、実施例１で説明した処理と同様に、学習済モデルを用いて、補間により生成したモーションコントラスト画像から自然なモーションコントラスト画像を生成する処理を行ってもよい。
【0162】
なお、モーションコントラスト画像から自然なモーションコントラスト画像を生成するための学習済モデルに関する学習データは、実施例１で説明した学習データについてモーションコントラスト画像を用いて生成したものを用いることができる。
【0163】
ステップＳ１４０５では、放射状スキャンで取得した断層画像と、モーションコントラスト画像から生成した三次元データを制御部１９１が表示部１９２に表示させる。表示部１９２に表示させる画像は、図１１（ａ）で説明した例と同様に、放射状にスキャンした断層画像やモーションコントラスト画像とすることができる。なお、モーションコントラスト画像は、そのまま表示することも可能だが、閾値以上の値を断層画像に重畳して表示することができる。
【0164】
また、図１１（ｂ）で説明した例と同様に、制御部１９１は、放射状スキャンから構築した三次元データから任意の断層画像やモーションコントラスト画像を表示部１９２に表示させることができる。なお、任意の位置のモーションコントラスト画像に関しても同様に、閾値以上の値を断層画像に重畳して表示することができる。
【0165】
また、モーションコントラスト画像を撮影している場合、モーションコントラストデータを二次元平面に投影したモーションコントラスト正面画像であるＯＣＴＡ画像も生成し、表示することが可能である。ＯＣＴＡ画像の生成に関して、データ生成部１９０４は、モーションコントラスト画像の三次元データにおける、指定された深度範囲上端と深度範囲下端との範囲に対応するモーションコントラスト画像を二次元平面上に投影し、ＯＣＴＡ画像を生成することができる。
【0166】
具体的には、モーションコントラスト画像の三次元データのうち、指定された深度範囲上端と深度範囲下端の間の範囲に対応するモーションコントラスト画像に基づいて、その範囲内のモーションコントラスト画像を平均値投影（ＡＩＰ）又は最大値投影（ＭＩＰ）などの処理を行う。これにより、データ生成部１９０４は、モーションコントラスト画像の正面画像であるＯＣＴＡ画像を生成することができる。なお、ＯＣＴＡ画像を生成する際の投影方法は平均値や最大値に限らない。データ生成部１９０４は、最小値、中央値、分散、標準偏差、又は総和などの値を用いてＯＣＴＡ画像を生成してもよい。
【0167】
制御部１９１は、データ生成部１９０４が生成したＯＣＴＡ画像を表示部１９２に表示させる。ＯＣＴＡ画像は、眼底画像１１１０に重畳して表示してもよいし、Ｅｎ－Ｆａｃｅ画像１１１５と切り替えて表示してもよい。
【0168】
上記のように、本実施例に係るＯＣＴ装置は、複数の断層画像を用いてモーションコントラスト画像を生成するモーションコントラスト画像生成部１９０６を更に備える。また、信号処理部１９０は、複数箇所について所定時間内に同一箇所を走査して得られた断層画像群を取得し、モーションコントラスト画像生成部１９０６は、得られた断層画像群を用いてモーションコントラスト画像を生成する。さらに、位置合わせ部１９０２は、複数の断層画像に対応する複数のモーションコントラスト画像を互いに位置合わせし、データ生成部１９０４は、位置合わせを行った複数のモーションコントラスト画像を用いて三次元データを生成する。また、データ生成部１９０４は、モーションコントラストデータを用いて生成した三次元データからモーションコントラスト正面画像であるＯＣＴＡ画像を生成する。なお、信号処理部１９０は、制御装置２００の外部のサーバ等の外部装置からモーションコントラスト画像を取得してもよい。
【0169】
以上で述べた構成によれば、本実施例では、高密度で放射状に走査して得た複数の断層画像とモーションコントラスト画像を生成し、モーションコントラスト画像の位置ずれを低減することができる。また、位置合わせを行ったモーションコントラスト画像から三次元データを生成して、任意の断面を表示することもできる。それにより、１度の撮影データで網膜全体の状態や血管の状態を容易に把握することができる。
【0170】
また、上記の方法では二つの値の脱相関値を演算することによってモーションコントラストデータを取得したが、二つの値の差分に基づいてモーションコントラストデータを求めてもよいし、二つの値の比に基づいてモーションコントラストデータを求めてもよい。また、断層画像の画素値（輝度値）の分散値に基づいてモーションコントラストデータを求めてもよい。さらに、上記では取得された複数の脱相関値の平均値を求めることで最終的なモーションコントラストデータを得ているが、複数の脱相関値や差分、比の最大値や中央値等を最終的なモーションコントラストデータとしてもよい。
【0171】
また、本実施例では、実施例１と同様に放射状スキャンにより得たモーションコントラストデータについての位置合わせ等について説明した。これに対し、実施例２と同様に、放射状スキャンと円形状スキャンにより得たモーションコントラストデータについての位置合わせ等は、各処理を実施例２と同様に行えばよい。なお、モーションコントラストデータの生成処理やＯＣＴＡ画像の生成処理については、本実施例で説明したものを適用できる。
【0172】
（実施例４）
実施例１乃至３においては、駆動制御部１８０がＸスキャナ１０７及びＹスキャナ１１０を制御して、放射状、さらには円形状に走査して断層画像やモーションコントラスト画像を取得する例について説明した。ここで、一般的なＯＣＴ装置によって取得した断層画像は空間的な形状を正しく表示していない。これに関して、図１５を参照して説明する。
実施例１乃至３においては、駆動制御部１８０がＸスキャナ１０７及びＹスキャナ１１０を制御して、放射状、さらには円形状に走査して断層画像やモーションコントラスト画像を取得する例について説明した。ここで、一般的なＯＣＴ装置によって取得した断層画像は空間的な形状を正しく表示していない。これに関して、図１５を参照して説明する。
【0173】
図１５は、一般的なＯＣＴ装置によって取得した断層画像の表示について説明するための図である。一般的に断層画像はスキャンミラーの角度に対応したデータを平行に並べて生成される。図１５において、点Ｐはピボットポイントを示し、光線は常に瞳孔の中央部の点Ｐを通る。ここで、ピボットポイントは、測定光が被検眼に入射する入射点に対応する点であり、測定光の走査部（スキャンミラー）と共役な点である。図１５において、撮影データ１５０１はスキャンミラーの角度に対応したデータの一例を示しており、画像データ１５０２は、撮影データ１５０１を平行に並べて表示する例である。すなわち、一般的なＯＣＴ装置で撮影した断層画像は、略扇状である撮影データ１５０１を画像データ１５０２のように平行に並べて表示している。そのため、画像データ１５０２は、被検眼の実形状に対してスキャン歪みがある。
【0174】
さらに、一般的なＯＣＴ装置では断層画像を表示する際に、走査する範囲（撮影範囲）が異なっている場合でも、断層画像のアスペクト比を同じにして表示している。例えば、画像データ１５０２に関して、幅Ｗが２０ｍｍで深さＨが５ｍｍ、及び幅Ｗが１５ｍｍで深さＨが５ｍｍの２種類の異なる範囲を走査した断層画像があった場合でも、これら断層画像は表示画面に設定されている画面領域に同じアスペクト比で表示される。実形状に近い断層画像を表示するには、横方向（ｓ）と縦方向（ｚ）のピクセルサイズを１：１にする必要がある。ここで、断層画像の横方向に関するｓは走査方向に沿った方向を示す。
【0175】
図１１Ａ及び図１１Ｂで示す例では、縦横比１１４１，１１４２，１１４３に示したように断層画像の縦横比は１：１ではなく、横方向よりも深さ方向を引き延ばして表示している。これは、撮影時の走査範囲（ｓ）の方が、深さ範囲（ｚ）よりも広く撮影できることが多く、１：１の縦横比で断層画像を画面上に表示しようとする場合、網膜内層が薄く表示されてしまうためである。そのため、実形状よりも網膜内層の構造に注目するために、一般的なＯＣＴ装置で取得され表示される断層画像には、実形状に対してアスペクト比歪みがある。
【0176】
そのため、本実施例では、ＯＣＴ装置により取得した断層画像及びモーションコントラスト画像に対して補正処理を実行して、実形状に近い三次元の断層画像及び実形状に近い三次元のモーションコントラスト画像を含む三次元データを生成し、表示する。以下、図１３、及び図１６乃至図１７（ｂ）を参照して、本実施例に係るＯＣＴ装置について、実施例３に係るＯＣＴ装置との違いを中心について説明する。本実施例に係るＯＣＴ装置の各構成要素は、信号処理部１９０において、画像補正部１９０７が更に設けられている点を除いて、実施例３に係るＯＣＴ装置の各構成要素と同様であるため、同じ参照符号を用いて説明を省略する。
【0177】
図１３は、実施例３乃至５に係る信号処理部１９０の構成の概略的な構成例を示している。本実施例に係る信号処理部１９０には、再構成部１９０１、位置合わせ部１９０２、データ統合部１９０３、データ生成部１９０４、検出部１９０５、及びモーションコントラスト画像生成部１９０６に加えて、画像補正部１９０７が設けられている。なお、図１３には、その他に解析部１９０８が示されているが、これについては、実施例５において説明する。
【0178】
画像補正部１９０７は、断層画像及びモーションコントラスト画像について、実形状補正処理を行う。ここで、実形状補正処理とは、上述した被検眼の実形状に対するスキャン歪みを補正する処理をいう。
【0179】
次に、図１６乃至図１７（ｂ）を参照して、本実施例に係る一連の動作処理について説明する。本実施例に係る一連の動作処理は、モーションコントラスト生成処理の後に実形状補正処理を行う点と、実形状補正後の画像を表示する点以外、実施例３に係る一連の動作処理と同様である。そのため、実施例３の処理と同様の処理については同じ参照符号を用いて説明を省略する。ステップＳ１４０３において、モーションコントラスト画像生成部１９０６がモーションコントラスト画像を生成したら、処理はステップＳ１６０４に移行する。
【0180】
ステップＳ１６０４では、画像補正部１９０７が、生成された断層画像及びモーションコントラスト画像について、実形状補正処理を行う。画像補正部１９０７は、実形状補正処理として、公知の任意の方法を用いてよい。画像補正部１９０７は、例えば、特許文献２乃至４に記載されるような実形状補正方法を用いてよい。以下、これらの実形状補正処理のいくつかの例について説明する。
【0181】
（実形状補正）
上述のように、断層画像に示される眼底の形状と実際の眼球における眼底Ｅｆの形状は異なる。具体的には、通常の断層画像はスキャンミラーの角度に対応したデータを平行に並べて生成されるが、実際には、これらの画像データはスキャンの中心（ピボットポイント）を中心とする極座標上に表されるべき画像データである。
上述のように、断層画像に示される眼底の形状と実際の眼球における眼底Ｅｆの形状は異なる。具体的には、通常の断層画像はスキャンミラーの角度に対応したデータを平行に並べて生成されるが、実際には、これらの画像データはスキャンの中心（ピボットポイント）を中心とする極座標上に表されるべき画像データである。
【0182】
そこで、１つ目の実形状補正処理の例では、二次元座標でデータを並べて生成された断層画像に含まれるデータを、ピボットポイントを中心とする極座標上に並び替えることで、断層画像を補正する。特に、被検眼の光学的な情報（屈折要素の屈折率及び入射角に対する走査角の関係等）と光路長とを用いて断層画像を補正することにより、実形状に近い被検眼の断層画像を生成する。より具体的には、ピボットポイントから網膜層までの光学的距離を被検眼内の屈折要素の屈折率で除した値、及び眼底Ｅｆにおける測定光の網膜到達点（照射位置）とピボットポイントとを結ぶ線分と測定光軸との成す角度を求める。その後、求めた値及び角度をパラメータとして、ピボットポイントを原点とする極座標を用いて断層画像を補正する。なお、以下において、Ｂスキャン画像上の点の明るさ（画素値）は、スキャンミラーの角度θｉと、網膜と参照光学系の光路長との差分であるｈｊをパラメータとしてＩｍａｇｅ（θｉ，ｈｊ）で表すものとする。
【0183】
以下、１つ目の実形状補正処理の例について、図１７（ａ）を参照して説明する。当該例では、ピボットポイントＰ１からコヒーレンスゲート位置Ｃｇまでの距離をＲｍｘＬとし、コヒーレンスゲート位置Ｃｇから網膜Ｒｅまでの距離をｈｊとし、これらを硝子体の屈折率Ｎｖｉｔで除することで、被検眼中のそれぞれの実距離（ＲｍｘＬ’，ｈｊ’）を算出する。この場合、被検眼の眼軸長に対応するピボットポイントＰ１から網膜面Ｒｅまでの距離ｐｖｌは、ｐｖｌ＝ＲｍｘＬ’－ｈｊ’として算出することができる。
【0184】
また、眼底Ｅｆにおける測定光の網膜到達点とピボットポイントＰ１とを結ぶ線分と測定光軸との成す角度θｉ’を算出する。ピボットポイントＰ１が被検眼の後側主平面と一致している場合には、角度θｉ’は、θｉ’＝ａｓｉｎ｛（ｓｉｎθｉ）／Ｎｖｉｔ｝とすることができる。
【0185】
一方で、ピボットポイントＰ１が後側主平面と異なる場合には、ピボットポイントＰ１と後側主平面の距離δｐｖを用いて角度θｉ’を算出する。この場合、眼の焦点距離をｆｅｙｅ、角膜頂点から前側主点までの距離をｏｌ、角膜頂点からピボットの結像位置（スキャンミラー共役位置）までの距離をｉｎｐｖとすると、δｐｖ＝（１／ｆｅｙｅ－１／（ｏｌ－ｉｐｖ））＾（－１）×Ｎｖｉｔとできる。なお、ピボットの結像位置はピボットポイントに対応する。
【0186】
コヒーレンスゲート面上の測定光の到達位置と被検眼の後側主点Ｒｆとを結ぶ線分と、虹彩面とピボットポイントＰ１を通過する光とは、光軸（眼軸）が網膜Ｒｅと交わる点を通り光軸に垂直な面上で交わる。このため、ピボットポイントＰ１と後側主点Ｒｆとの距離をδｐｖとすると、角度θｉ’は、θｉ’＝ａｔａｎ（（δｐｖ＋ｐｖｌ）×ｔａｎ（ｒｅｆθｉ）／ｐｖｌ）と表すことができる。ここで、ｒｅｆθｉ＝ａｓｉｎ（ｓｉｎ（θｉ）／Ｎｖｉｔ）である。
【0187】
このようにして算出した、距離ＲｍｘＬ’，ｈｊ’及び角度θｉ’を用いることで、直交するｘ，ｚ座標に関する実形状を表す画像データをＩｍａｇｅ（ｘ，ｚ）と表すことができる。ここで、ｘ＝（ＲｍｘＬ’－ｈｊ’）×ｓｉｎ（θｉ’）であり、ｚ＝ＲｍｘＬ’－｛（ＲｍｘＬ’－ｈｊ’）×ｃｏｓ（θｉ’）｝である。
【0188】
当該処理により、被検眼の実形状に近い断層画像を生成することができる。なお、上記処理において、被検眼の眼軸長に対応するピボットポイントから網膜面までの距離を参照光の光路長に基づいて求めるとしたが、眼軸長を別個の装置によって求めてもよい。
【0189】
また、２つめの実形状補正の例では、被検眼の角膜表面と対物レンズ表面との距離であるワーキングディスタンスに基づいて、Ｂスキャン画像におけるＡスキャン画像毎の深度方向の位置を補正する。ワーキングディスタンスが距離ｇだけ変化すると、網膜から見た測定光の回転中心（ピボットポイント）から網膜までの距離ｆ（ｇ）及び走査角θ（ｇ）が変化する。ここで、距離ｇはワーキングディスタンスの設計値からの距離を示す。一方で、走査範囲Ｗはほぼ変わらないため、網膜から見た走査角θ（ｇ）は、以下の式のような関係を有する。
【数5】
【0190】
ここで、被検眼についてＢスキャンを行う場合、コヒーレンスゲート位置の軌跡は扇形の弧を描く。そのため、Ｂスキャンにおけるｊ番目のＡスキャンを行った場合、当該Ａスキャンに対応するコヒーレンスゲート位置をｚ軸上に投影すると、ｚ軸上のコヒーレンスゲート位置に対してｚ軸方向において変化量ｄ（ｇ）が生じることとなる。この場合、変化量ｄ（ｇ）は、以下の式により算出することができる。
ここで、スキャナは、ワーキングディスタンスが設計値から距離ｇだけ異なる場合の走査角θ（ｇ）を用いて、θ（ｇ）／（Ｎ－１）ずつ回転するものとする。また、ｊはＮ－１を満たす整数、Ｎは主走査方向のＡスキャン数である。
【数6】
【0191】
このようにして求めたｄｊ（ｇ）に対し、被検眼内の屈折要素の屈折率ｎｈを乗算した後、ピクセル分解能で除することで、各Ａスキャン位置におけるｚ軸方向の補正値を算出することができる。
【0192】
また、被検眼に対し、測定光のアライメント偏芯が生じている場合には、アライメント偏芯に起因して網膜に対する測定光の入射角度及び測定光の光路長変化が生じる。このような場合に関して、断層画像のひずみを軽減する３つめの実形状補正処理の例について説明する。当該例では、まず、アライメント偏芯量δｘを取得する。アライメント偏芯量δｘは、既知の任意の方法で求めることができる。例えば、前眼部画像に現れる角膜輝点に基づいてアライメント偏芯量δｘを求めてもよいし、前眼部画像における被検眼の虹彩の模様に基づいてアライメント偏芯量δｘを求めてもよい。また、電動ステージの移動量に基づいてアライメント偏芯量δｘを求めてよい。
【0193】
そして、アライメント偏芯量δｘ、及び被検眼の眼軸長に対応するピボットポイントから網膜面までの距離ｐｖｌを用いて、アライメント偏芯に起因する網膜に対する測定光の入射角度変化量δθを求める。ここで、入射角度変化量δθは、δθ≒δｘ／ｐｖｌとして求めることができる。
【0194】
また、被検眼への測定光の入射角θｉをスキャンミラーの角度の情報から求め、アライメント偏芯量δｘ及び入射角θｉから、アライメント偏芯に起因する測定光の光路長変化量δｚを求める。ここで、光路長変化量δｚは、δｚ＝δｘ×ｓｉｎθｉとして求めることができる。
【0195】
このようにして求めた入射角度変化量δθ及び光路長変化量δｚに基づいて、断層画像について実形状補正を行うことができる。より具体的には、光路長変化量δｚに基づいて、各Ａスキャン位置に対応する画素位置を、深さ方向に移動させることができる。また、入射角度変化量δθに基づいて、各Ａスキャン位置に対応する画素位置を回転させることができる。これにより、アライメント偏芯に起因して生じる光路長変化量δｚ及び入射角度変化量δθに基づく断層画像のひずみを軽減することができる。また、このようなアライメント偏芯の補正を行った断層画像について、１つ目の例で述べた実形状補正処理を行うこともできる。
【0196】
これらの処理により、画像補正部１９０７は、断層画像について、実形状に関するスキャン歪みを補正することができる。特に、２つ目の例では被検眼と対物レンズのワーキングディスタンスの違いによる断層画像の形状の違いを補正でき、３つ目の例では、被検眼とアライメント偏芯に起因する断層画像の歪みを補正することができる。また、モーションコントラスト画像についても、同様の処理により、実形状補正処理を行うことができる。
【0197】
なお、上述の例では、ｘ軸方向のスキャンにより得られた断層画像に関する実形状補正の方法を説明した。これに対し、ラジアルスキャンを行う場合には、上述のように走査方向に応じて、Ｘスキャナ１０７及びＹスキャナ１１０によりｘ軸方向及びｙ軸方向に測定光を偏向してスキャンを行う。そのため、走査角度θに関して、ｘ軸方向の走査角度及びｙ軸方向の走査角度を考慮した合成角度を用いて同様の処理を行うことで、実形状補正処理を行うことができる。なお、Ｘスキャナ１０７とＹスキャナ１１０の構成・配置によっては、それぞれによる測定光のピボットポイントが互いに異なる場合がある。そのため、ｘ軸方向の走査角度及びｙ軸方向の走査角度を考慮した合成角度を用いて実形状補正処理を行う場合には、Ｘスキャナ１０７とＹスキャナ１１０に関するピボットポイントのうちより角膜側（装置側）のピボットポイントを基準に処理を行うことができる。なお、ピボットポイントの位置は、装置構成から求められてもよいし、実測値に応じて求められてもよい。
【0198】
また、Ｘスキャナ１０７及びＹスキャナ１１０によりｘ軸方向のみ又はｙ軸方向にのみ測定光を偏向する走査に関しては、上述の実形状補正の方法をそのまま適用すればよい。ただし、ｙ軸方向にのみ測定光を偏向する走査に関しては、上述のように、Ｙスキャナ１１０によるピボットポイントの位置を考慮して補正を行うことができる。
【0199】
実形状補正処理が終了すると、処理はステップＳ１４０４に移行する。ステップＳ１４０４では、実施例３と同様にデータ生成部１９０４等により三次元データを生成する。この際、実形状補正後の断層画像やモーションコントラスト画像に基づいて処理が行われることにより、被検眼の実形状に近い三次元データを生成することができる。なお、データ生成部１９０４が、上述した学習済モデルを用いた処理を行う場合には、学習データとして実形状補正を行った断層画像から構成された三次元データに含まれる断層画像を用いる。これにより、実形状補正後の断層画像を用いた三次元データを学習済モデルに入力し、実形状に近いより自然な三次元データを生成することができる。
【0200】
三次元データ生成処理が終了すると、処理はステップＳ１６０５に移行する。ステップＳ１６０５では、生成された三次元データ等を用いて、制御部１９１が表示部１９２に断層画像等を表示させる。上記のように、三次元データは被検眼の実形状に近いデータとなっているため、制御部１９１は、三次元データを任意に切り出した断層画像やモーションコントラスト画像に関して、被検眼の実形状に近い画像を、表示部１９２に表示させることができる。これにより、操作者は、スキャン歪みが低減された画像を確認することができる。
【0201】
また、制御部１９１は、断層画像やモーションコントラスト画像に関する縦横のアスペクト比を１：１として、これら画像を表示させることができる。これにより、操作者は、アスペクト比歪みが低減された画像を確認することができる。なお、制御部１９１は、画面例を図示しないが、図１１に示した表示画面１１００と同様の画面に断層画像やモーションコントラスト画像を表示することができる。
【0202】
図１７（ｂ）には、上記処理により、スキャン歪みとアスペクト比歪みが低減された断層画像の一例を示す。図１７（ｂ）には、一般的なＯＣＴ装置で表示される断層画像１７１１、及び断層画像１７１１に対してピクセルの縦横比（アスペクト比）を１：１に補正した断層画像１７１２が示されている。また、図１７（ｂ）には、断層画像１７１１に対してアスペクト比歪みとスキャン歪みを低減した断層画像１７１３が示されている。このような画像を提示することで、操作者は、被検眼の実形状に近い被検眼の画像を確認することができる。
【0203】
上記のように、本実施例に係るＯＣＴ装置は、画像補正部１９０７を更に備える。信号処理部１９０と、被検眼上で測定光を放射状に走査して得られた、被検眼の複数箇所にそれぞれ対応する複数の断層画像、及び各断層画像に対応する撮影パラメータを取得する。画像補正部１９０７は、取得した撮影パラメータを用いて、当該撮影パラメータに対応する断層画像の形状を補正する。また、位置合わせ部１９０２は、形状が補正された複数の断層画像を互いに位置合わせする。本実施例において、撮影パラメータは、測定光の走査情報、被検眼と対物レンズとの距離、及び測定光の光軸に対する被検眼の偏芯量の少なくとも１つを含む。ここで、測定光の走査情報としては、放射状スキャンの走査線の位置や長さ、走査部の角度等を含んでよい。また、撮影パラメータについては、制御部１９１で設定された撮影パラメータを取得してもよいし、制御装置２００の外部装置から取得してもよいし、ＯＣＴ装置と被検眼との間の実測値として取得してもよい。
【0204】
例えば、画像補正部１９０７は、測定光の走査情報、測定光を走査する走査部と共役である被検眼内の位置、及び被検眼内の屈折要素の屈折率を用いて、断層画像の形状を補正する。また、画像補正部１９０７は、被検眼と対物レンズとの距離及び測定光の光軸に対する被検眼の偏芯量の少なくとも一方を用いて、断層画像の形状を補正してもよい。
【0205】
以上で述べた構成によれば、本実施例に係るＯＣＴ装置では、高密度で放射状に走査した複数の断層画像に対して実形状補正処理を行うことで、実形状に近い複数の断層画像について位置ずれを低減することができる。また、位置ずれが低減された複数の断層画像を用いて三次元データを生成して、任意の断面を表示することができる。これにより、操作者は、網膜全体の状態を実形状に近い画像として把握することができる。このため、１度の撮影データで網膜全体の厚みや状態、網膜の形状をより精度良く把握することができる。
【0206】
なお、画像補正部１９０７がモーションコントラスト画像について形状を補正し、位置合わせ部１９０２が複数のモーションコントラスト画像について位置合わせを行ってもよい。この場合には、実形状に近い複数のモーションコントラスト画像について位置ずれを低減することができ、位置ずれが低減された複数のモーションコントラスト画像を用いて三次元データを生成して、任意の断面を表示することができる。これにより、操作者は、血管の状態等を実形状に近い画像として把握することができる。
【0207】
なお、本実施例では、画像補正部１９０７が実形状補正処理を行った断層画像及びモーションコントラスト画像に対して、三次元データ生成処理を行う例について説明したがこれに限らない。三次元データ生成を行った後に、画像補正部１９０７が断層画像、及びモーションコントラスト画像に対して実形状補正処理を行う構成とすることも可能である。
【0208】
また、上述の実形状補正処理の方法では、二次元の断層画像又はモーションコントラスト画像について実形状補正を行うことについて説明したが、三次元データについて同様の実形状補正処理を行ってもよい。なお、三次元画像上の点の明るさ（画素値）は、Ｘスキャナ１０７の走査角度θｘｉ、Ｙスキャナ１１０の走査角度θｙｉ、網膜と参照光学系の光路長との差分であるｈｋをパラメータとしてＩｍａｇｅ（θｘｉ，θｙｉ，ｈｋ）で表すものとする。この場合には、実形状補正処理（ステップＳ１６０４）は、三次元データ生成処理（ステップＳ１４０４）の後に行われることができる。
【0209】
ここで、Ｘスキャナ１０７に関するピボットポイントからコヒーレンスゲート位置までの距離をＲｍｘｌ、Ｙスキャナ１１０に関するピボットポイントからコヒーレンスゲート位置までの距離をＲｍｙｌとする。この場合、上記二次元の断層画像等に対する処理と同様の原理により、直交するｘ，ｙ，ｚ座標に関する実形状を表す画像データをＩｍａｇｅ（ｘ，ｙ，ｚ）と表すことができる。ここで、ｘ＝（ＲｍｘＬ’－ｈｋ’）×ｃｏｓ（θｙｊ’）×ｓｉｎ（θｘｉ’）であり、ｙ＝（ＲｍｙＬ’－ｈｋ）×ｃｏｓ（θｘｉ’）×ｓｉｎ（θｙｊ’）であり、ｚ＝ＲｍｘＬ’－｛（ＲｍｘＬ’－ｈｋ’）×ｃｏｓ（θｘｉ’）×（θｙｊ’）｝である。
【0210】
なお、本実施例では、実施例３との違いを中心と説明したが、本実施例に係る実形状補正処理は、実施例１及び２に係るＯＣＴ装置にも適用することができる。また、本実施例では、実形状補正によるスキャン歪みの補正と、表示時のアスペクト比歪みの補正の両方を行う構成としたが、片方のみを行う構成としてもよい。
【0211】
（実施例５）
実施例１乃至４においては、放射状、さらには円形状に走査して断層画像及びモーションコントラスト画像を取得し、画像補正部１９０７が実形状補正処理を行った断層画像及びモーションコントラスト画像から三次元データを生成する例について説明した。本実施例では、これら断層画像又はモーションコントラスト画像に対して解析処理を実行する例について説明する。
実施例１乃至４においては、放射状、さらには円形状に走査して断層画像及びモーションコントラスト画像を取得し、画像補正部１９０７が実形状補正処理を行った断層画像及びモーションコントラスト画像から三次元データを生成する例について説明した。本実施例では、これら断層画像又はモーションコントラスト画像に対して解析処理を実行する例について説明する。
【0212】
以下、図１３、図１８乃至図１９Ｂを参照して、本実施例に係るＯＣＴ装置について、実施例４に係るＯＣＴ装置との違いを中心について説明する。本実施例に係るＯＣＴ装置の各構成要素は、信号処理部１９０において、解析部１９０８が更に設けられている点を除いて、実施例４に係るＯＣＴ装置の各構成要素と同様であるため、同じ参照符号を用いて説明を省略する。
【0213】
図１３は、実施例３乃至５に係る信号処理部１９０の構成の概略的な構成例を示している。本実施例に係る信号処理部１９０には、再構成部１９０１、位置合わせ部１９０２、データ統合部１９０３、データ生成部１９０４、検出部１９０５、モーションコントラスト画像生成部１９０６、及び画像補正部１９０７に加えて、解析部１９０８が設けられている。
【0214】
解析部１９０８は、断層画像やモーションコントラスト画像、三次元データについて画像解析処理を行う。解析部１９０８は、例えば、断層画像や三次元の断層画像から、境界線の曲率や網膜の厚み等を計測したり、モーションコントラスト画像や三次元のモーションコントラスト画像から、血管密度や血管形状等を計測したりすることができる。
【0215】
次に、図１８乃至図１９Ｂを参照して、本実施例に係る一連の動作処理について説明する。本実施例に係る一連の動作処理は、三次元データ生成処理後に解析処理を行う点と、解析結果等を表示する点以外、実施例４に係る一連の動作処理と同様である。そのため、実施例４の処理と同様の処理については同じ参照符号を用いて説明を省略する。ステップＳ１４０４において、データ生成部１９０４が三次元データを生成したら、処理はステップＳ１８０５に移行する。
【0216】
ステップＳ１８０５では、予め定められていた設定や操作者の指示に応じて、解析部１９０８が、断層画像やモーションコントラスト画像、三次元データについて画像解析処理を行う。上述のように、解析部１９０８は、例えば、境界線の曲率や網膜の厚み、血管密度、血管形状等について解析を行うことができる。なお、解析方法は、公知の任意の方法であってよい。
【0217】
一例として、解析部１９０８が、断層画像を用いて網膜の曲率を計測する場合について説明を行う。断層画像において、横軸をｘ座標、縦軸をｚ座標とし、形状解析の対象となる層（ＲＰＥ）の境界線の曲率を計算する。ここで、横軸をｘ座標としたが、当該座標はｘ軸に沿ったものに限られず、単に断層画像の横方向の座標を示すものである。曲率κは境界線の各点において、数５の式に従って求めることができる。曲率κの符号で上に凸か下に凸かが分かり、数値の大きさで形状の曲がり具合が分かる。例えば、上に凸を＋、下に凸を－とした場合、各断層画像において、曲率の符号が－領域、＋領域、－領域となる場合はＷ形状となる。
【数5】
【0218】
なお、ここでは、断層画像の境界線で曲率を計算する場合を示した。しかしながら、曲率計算はこれに限らず、三次元データから形状解析の対象となる層の境界線の三次元の曲率を計算するようにしてもよい。
【0219】
また、解析部１９０８は、解析対象の形状解析後、解析結果に基づいて解析マップとして曲率マップを作成することができる。曲率マップでは、例えば、単位面積当たりの曲率が大きい箇所の色を濃く、単位面積当たりの曲率が小さい箇所の色は薄く表現することができる。なお、曲率マップに設定する色は、曲率値０を基準に正負で色を変えることができる。このため、網膜形状が滑らかなのか、上に凸形状か下に凸形状なのかが曲率マップを見ることで把握することができる。なお、解析マップにおいて、解析結果を色で表現するだけではなく、解析結果の数値を表示させることもできる。
【0220】
ステップＳ１８０６では、制御部１９１が、断層画像やモーションコントラスト画像、三次元データ、解析結果となる各種マップ画像等を表示部１９２に表示させる。これに関して、図１９Ａ及び図１９Ｂに本実施例に係る表示画面１９００の一例を示す。なお、図１９Ａ及び図１９Ｂにおいて、図１１Ａ及び図１１Ｂに示す項目と同様の項目については同じ参照符号を用いて説明を省略する。
【0221】
図１９Ａに示す表示画面１９００には、解析マップ１９１５、チェックボックス１９１６，１９１７、断層画像１９２１，１９２２、及び縦横比１９４１，１９４２が示されている。チェックボックス１９１６は、画像補正部１９０７による、スキャン歪みを低減するための実形状補正処理の適用有無を選択するための選択手段の表示である。また、チェックボックス１９１７は、制御部１９１による、アスペクト比歪み補正処理の適用有無を選択するための選択手段の表示である。なお、表示上の選択手段はチェックボックスである必要はなく、右クリックメニュー表示やリスト選択など、任意のものでよい。
【0222】
断層画像１９２１，１９２２はそれぞれ、実形状補正処理及びアスペクト比補正処理を適用した場合の断層画像である。また、断層画像１９２１，１９２２には、モーションコントラスト画像１９５１，１９５２が重畳表示されている。画像補正部１９０７は、チェックボックス１９１６が選択された場合、図に示すように、断層画像及びモーションコントラスト画像の両方に実形状補正処理を行ってよい。縦横比１９４１，１９４２は表示している断層画像の縦横比を示しており、断層画像１９２１，１９２２ではアスペクト比歪みを補正しているため、縦横比は１：１である。なお、断層画像毎に補正処理の適用の有無を選択するための選択手段が設けられてもよい。
【0223】
解析マップ１９１５は、解析部１９０８によって生成された、解析結果を示すマップ画像である。マップ画像は、例えば、上述した曲率マップや、層厚マップ、血管密度マップ等であってよい。なお、解析マップ１９１５は、チェックボックス１９１６（ＲｅａｌＳｈａｐｅ）のチェック有無によって値や色の変化はする。一方で、チェックボックス１９１７（ＲｅａｌＳｃａｌｅ）のチェック有無によって値や色の変化はない。これは、アスペクト比歪みは断層画像の表示の問題であり、一般的なＯＣＴ装置において解析値を計算する場合、計算上ではアスペクト比に関係ない数値で計算を行っているためである。これに対し、実形状補正処理の有無に応じて断層画像に表れる組織の形状が変化するため、チェックボックス１９１６のチェックの有無に応じて解析結果が変わる。そのため、例えば、網膜の形に関する解析を行う場合には、より正確な解析結果を得るために、実形状補正処理を行うことができる。なお、解析処理に関しては、曲率だけではなく、網膜厚み、血管密度、及び血管形状等を、実形状補正処理したデータに対してそれぞれ解析することが可能である。
【0224】
図１９Ｂに示す表示画面１９００は、三次元データを表示する表示画面の一例である。図１９Ｂに示す表示画面１９００では、実形状補正処理及びアスペクト比補正処理を適用した三次元のボリュームデータ１９２５が示されている。図１９Ｂにおいては、例えば、ＲＰＥ層のみを表示する場合の例を示している。なお、表示している三次元データに対して、上述した曲率値を色で表現してもよい。すなわち、解析マップ１９１５を二次元平面ではなく、三次元のボリュームデータ１９２５の形と色を同時に表現してもよい。
【0225】
上記のように、本実施例に係るＯＣＴ装置は、位置合わせを行った断層画像について画像解析を行う解析部１９０８を更に備える。このような構成によれば、本実施例に係るＯＣＴ装置は、高密度で放射状に走査した複数の断層画像とモーションコントラスト画像に対して補正処理を行い、補正を行ったデータに対して解析を実行することができる。それにより、操作者は網膜全体の状態や血管の状態を実形状に近い数値として定量的に把握することができる。
【0226】
断層画像やモーションコントラスト画像について実形状補正を行う場合には、眼底形状のより詳細な解析を行うことができる。被検眼の実形状に近い形状の断層画像やモーションコントラスト画像を生成することで、例えば画像診断等における網膜層の曲率半径及び層厚等の解析をより適切に行うことができる。
【0227】
なお、本実施例では、実施例４との違いを中心と説明したが、本実施例に係る実形状補正処理は、実施例１乃至３に係るＯＣＴ装置にも適用することができる。また、本実施例では、実形状補正処理を行った画像について解析処理を行う構成としたが、解析処理を行う対象はこれに限られない。解析部１９０８は、実形状補正処理を行っていない断層画像やモーションコントラスト画像、三次元データについて解析処理を行ってもよい。この場合でも、操作者は網膜全体の状態や血管の状態を定量的に把握することができる。
【0228】
（変形例１）
上述した様々な実施例において、測定光を放射状に走査して得た断層画像、又は放射状と円形状に走査して得た断層画像から三次元データを生成する例について説明した。これに対して、測定光を水平方向や垂直方向に走査（ラスタスキャン）した断層画像と、測定光を放射状又は円形状に走査して得た断層画像とを組み合わせて、正確な三次元データを生成してもよい。この場合、測定光を水平方向や垂直方向に走査して得た断層画像に対して、交差する位置で、別の走査により得た断層画像を用いて位置合わせを行うことができる。なお、位置合わせ処理やデータ統合処理、主走査と副走査方向でのＡスキャン間隔が等方でない場合の画像補間処理等は上述した実施例で説明した処理と同様に行うことが可能である。
上述した様々な実施例において、測定光を放射状に走査して得た断層画像、又は放射状と円形状に走査して得た断層画像から三次元データを生成する例について説明した。これに対して、測定光を水平方向や垂直方向に走査（ラスタスキャン）した断層画像と、測定光を放射状又は円形状に走査して得た断層画像とを組み合わせて、正確な三次元データを生成してもよい。この場合、測定光を水平方向や垂直方向に走査して得た断層画像に対して、交差する位置で、別の走査により得た断層画像を用いて位置合わせを行うことができる。なお、位置合わせ処理やデータ統合処理、主走査と副走査方向でのＡスキャン間隔が等方でない場合の画像補間処理等は上述した実施例で説明した処理と同様に行うことが可能である。
【0229】
（変形例２）
上述した様々な実施例において、測定光を放射状に走査して得た断層画像、又は放射状と円形状に走査して得た断層画像から三次元データを生成する例について説明した。これに対して、必ずしも三次元データを生成して表示する必要はなく、表示するデータは、密に撮影した放射状スキャンの画像としてもよい。言い換えると、上述した実施例においてチェックボックス１１１６を設けない構成としてもよい。ただし、表示をしないだけで、解析などのために内部では三次元データを生成してもよい。生成した三次元データは必ずしも保存する必要はなく、実行の度に生成してもよい。
上述した様々な実施例において、測定光を放射状に走査して得た断層画像、又は放射状と円形状に走査して得た断層画像から三次元データを生成する例について説明した。これに対して、必ずしも三次元データを生成して表示する必要はなく、表示するデータは、密に撮影した放射状スキャンの画像としてもよい。言い換えると、上述した実施例においてチェックボックス１１１６を設けない構成としてもよい。ただし、表示をしないだけで、解析などのために内部では三次元データを生成してもよい。生成した三次元データは必ずしも保存する必要はなく、実行の度に生成してもよい。
【0230】
（変形例３）
上述した様々な実施例において、機械学習を用いて、補間で生成した断層画像から実際に撮影したような断層画像を生成する例について示した。これに対して、機械学習モデルを用いて、三次元データに関する補間処理自体を行ってもよい。例えば、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）を用いて画像を生成することができる。ＧＡＮは、生成器（Ｇｅｎｅｒａｔｏｒ）と識別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）という二つのニューラルネットワークで構成される。生成器は訓練データと同じようなデータを生成しようとし、識別器はデータが訓練データから来たものか、それとも生成モデルから来たものかを識別する。この場合、図９（ｂ）の断層画像９１１で示したような放射状スキャンデータから構築した三次元データの任意断面位置の断層画像を入力した際に、実際に撮影したような断層画像を生成する生成モデルとなるように学習を行う。それにより、データ生成部１９０４は、補間処理を自身では行わずに、学習済モデルを用いて、放射状スキャンにより得た複数の断層画像から直接三次元データを生成してもよい。
上述した様々な実施例において、機械学習を用いて、補間で生成した断層画像から実際に撮影したような断層画像を生成する例について示した。これに対して、機械学習モデルを用いて、三次元データに関する補間処理自体を行ってもよい。例えば、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）を用いて画像を生成することができる。ＧＡＮは、生成器（Ｇｅｎｅｒａｔｏｒ）と識別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）という二つのニューラルネットワークで構成される。生成器は訓練データと同じようなデータを生成しようとし、識別器はデータが訓練データから来たものか、それとも生成モデルから来たものかを識別する。この場合、図９（ｂ）の断層画像９１１で示したような放射状スキャンデータから構築した三次元データの任意断面位置の断層画像を入力した際に、実際に撮影したような断層画像を生成する生成モデルとなるように学習を行う。それにより、データ生成部１９０４は、補間処理を自身では行わずに、学習済モデルを用いて、放射状スキャンにより得た複数の断層画像から直接三次元データを生成してもよい。
【0231】
また、上述したＣＮＮに関して、学習データの入力データを実際に撮影して得た三次元データのうちの所定の放射状スキャンに対応するデータとし、出力データを実際に撮影して得た三次元データ全体としてもよい。この場合にも、学習済モデルを用いて、三次元データに関する補間処理自体を行うことができる。なお、この場合、学習データに関しては、放射状スキャンの撮影範囲外（円柱範囲の外）のデータは削除することができる。
【0232】
（変形例４）
上述した様々な実施例において、複数の異なる時刻に撮影した放射状スキャンの断層画像やモーションコントラス画像を用いて重ね合わせ処理を実行してもよい。例えば、複数の異なる時刻に同一の箇所について撮影した放射状スキャンの断層画像について位置合わせを行う。異なる時間に撮影した複数データの位置合わせの方法としては、上述した方法のいずれかの方法を用いて放射状スキャンから三次元データを生成する。複数の三次元データにおいて特徴的なＸＹ面のデータを用いて位置合わせを行う。ＸＹ面内の位置合わせにおいては、ＸＹのシフトだけではなく回転や歪みを考慮して位置合わせを行ってもよい。さらに深度方向Ｚにおいても位置合わせを行う。深度方向Ｚにおいては、Ｂスキャン単位やＡスキャン単位で位置合わせを行ってもよい。その後、重ね合わせ処理することで、ノイズが低減された三次元データを生成することができる。なお、重ね合わせ処理については、例えば加算平均処理を用いてよい。
上述した様々な実施例において、複数の異なる時刻に撮影した放射状スキャンの断層画像やモーションコントラス画像を用いて重ね合わせ処理を実行してもよい。例えば、複数の異なる時刻に同一の箇所について撮影した放射状スキャンの断層画像について位置合わせを行う。異なる時間に撮影した複数データの位置合わせの方法としては、上述した方法のいずれかの方法を用いて放射状スキャンから三次元データを生成する。複数の三次元データにおいて特徴的なＸＹ面のデータを用いて位置合わせを行う。ＸＹ面内の位置合わせにおいては、ＸＹのシフトだけではなく回転や歪みを考慮して位置合わせを行ってもよい。さらに深度方向Ｚにおいても位置合わせを行う。深度方向Ｚにおいては、Ｂスキャン単位やＡスキャン単位で位置合わせを行ってもよい。その後、重ね合わせ処理することで、ノイズが低減された三次元データを生成することができる。なお、重ね合わせ処理については、例えば加算平均処理を用いてよい。
【0233】
（変形例５）
上述した様々な実施例において、位置合わせ済みの三次元データを３Ｄプリンタで印刷できるような形式で出力できるようにしてもよい。例えば、位置合わせ済み、又は位置合わせ後に実形状補正処理済みの断層画像やモーションコントラスト画像をＲＡＷ形式で出力したり、サーフェスレンダリング後の形式で出力したり、ＳＴＬ（Ｓｔａｎｄａｒｄ Ｔｒｉａｎｇｕｌａｔｅｄ Ｌａｎｇｕａｇｅ、又はＳｔｅｒｅｏｌｉｔｈｏｇｒａｐｈｙ）形式で出力することで、３Ｄプリンタで印刷することが可能である。
上述した様々な実施例において、位置合わせ済みの三次元データを３Ｄプリンタで印刷できるような形式で出力できるようにしてもよい。例えば、位置合わせ済み、又は位置合わせ後に実形状補正処理済みの断層画像やモーションコントラスト画像をＲＡＷ形式で出力したり、サーフェスレンダリング後の形式で出力したり、ＳＴＬ（Ｓｔａｎｄａｒｄ Ｔｒｉａｎｇｕｌａｔｅｄ Ｌａｎｇｕａｇｅ、又はＳｔｅｒｅｏｌｉｔｈｏｇｒａｐｈｙ）形式で出力することで、３Ｄプリンタで印刷することが可能である。
【0234】
（変形例６）
なお、実施例２においては、放射状にスキャンして得た断層画像を、円形状にスキャンして得た断層画像を基準として位置合わせ処理を行った。ここで、断層画像の位置合わせについて、基準となる断層画像を、放射状にスキャンして得た断層画像（第１の断層画像）と円形状にスキャンして得た断層画像（第２の断層画像）とで切り替えることができるように位置合わせ部１９０２を構成してもよい。この場合、位置合わせ部１９０２は、操作者の指示に応じてこれらの位置合わせ処理を切り替えてよい。
なお、実施例２においては、放射状にスキャンして得た断層画像を、円形状にスキャンして得た断層画像を基準として位置合わせ処理を行った。ここで、断層画像の位置合わせについて、基準となる断層画像を、放射状にスキャンして得た断層画像（第１の断層画像）と円形状にスキャンして得た断層画像（第２の断層画像）とで切り替えることができるように位置合わせ部１９０２を構成してもよい。この場合、位置合わせ部１９０２は、操作者の指示に応じてこれらの位置合わせ処理を切り替えてよい。
【0235】
このような構成では、放射状にスキャンして得た断層画像を基準とした位置合わせ処理を行う場合には、他の放射状の走査線との交差位置が位置合わせの基準となることが想定されるため、断層画像の中央部分のデータの位置合わせの精度が高くなると考えられる。このため、撮影範囲の中心を黄斑部等とする場合には、検査を行いたい対象（黄斑部等）の付近のデータが精度良く位置合わせされるため、黄斑部等の対象をより正確に確認できることが期待できる。
【0236】
一方で、円形状にスキャンして得た断層画像を基準として位置合わせ処理を行う場合には、円形状の走査線との交差位置が位置合わせの基準となることが想定されるため、断層画像の周縁部（端部）のデータの位置合わせの精度が高くなると考えられる。このため、例えば、黄斑部周辺の血管等のデータが精度良く位置合わせされるため、血管等の対象をより正確に確認できることが期待できる。
【0237】
上記のように、本変形例に係る信号処理部１９０は、被検眼上で測定光を放射状に走査して得られた、被検眼の複数箇所にそれぞれ対応する複数の第１の断層画像を取得する。また信号処理部１９０は、被検眼上で前記測定光を円形状に走査して得られた、被検眼の少なくとも一箇所に対応する第２の断層画像を取得する。また、位置合わせ部１９０２は、複数の第１の断層画像及び第２の断層画像を、少なくとも断層画像における深さ方向において互いに位置合わせする。特に、位置合わせ部１９０２は、複数の第１の断層画像を基準とした位置合わせと、第２の断層画像を基準とした位置合わせとを操作者の指示に応じて切り替える。当該構成により、位置合わせ部１９０２が位置合わせ処理を切り替えて行えることで、検査を行いたい対象に応じて、より正確な三次元データを生成することができることが期待できる。
【0238】
（変形例７）
上述した様々な実施例では、撮影して得た断層画像やモーションコントラスト画像以外の位置については補間処理によりデータを生成した。これに対し、例えば、Ｘスキャナ１０７及びＹスキャナ１１０による測定光の帰線期間にも干渉信号を取得し、これに基づく断層画像等をデータ生成部１９０４が補間用のデータとして用いてもよい。ここで、帰線期間とは、測定光を所望の走査線に沿って走査した後に、次の走査線の開始位置まで測定光を移動させるために各スキャナの角度を変更する期間をいう。なお、当該帰線期間に得た断層画像について間引いたものを補間用のデータとして用いてもよい。
上述した様々な実施例では、撮影して得た断層画像やモーションコントラスト画像以外の位置については補間処理によりデータを生成した。これに対し、例えば、Ｘスキャナ１０７及びＹスキャナ１１０による測定光の帰線期間にも干渉信号を取得し、これに基づく断層画像等をデータ生成部１９０４が補間用のデータとして用いてもよい。ここで、帰線期間とは、測定光を所望の走査線に沿って走査した後に、次の走査線の開始位置まで測定光を移動させるために各スキャナの角度を変更する期間をいう。なお、当該帰線期間に得た断層画像について間引いたものを補間用のデータとして用いてもよい。
【0239】
上述した様々な実施例では、位置合わせ断層画像やモーションコントラスト画像、三次元データ、Ｅｎ－Ｆａｃｅ画像、ＯＣＴＡ画像、解析結果を表示部１９２に表示させる構成とした。これに対し、これらデータや解析結果を、外部装置に送信するように制御装置２００を構成してもよい。
【0240】
また、上述した様々な実施例では、ＯＣＴ光学系１００として、ＳＳ－ＯＣＴ光学系を用いる。ただし、上述のように、他の形式のＯＣＴ光学系を用いてもよい。例えば、ＯＣＴとして、ＳＬＤを光源として用いて、分光器を用いて干渉光に関する撮像を行うＳＤ－ＯＣＴを用いてもよい。また、ライン光を用いたＬｉｎｅ－ＯＣＴ（あるいはＳＳ－Ｌｉｎｅ－ＯＣＴ）に対して本発明を適用することもできる。また、エリア光を用いたＦｕｌｌ Ｆｉｅｌｄ－ＯＣＴ（あるいはＳＳ－Ｆｕｌｌ Ｆｉｅｌｄ－ＯＣＴ）にも本発明を適用することもできる。さらに、波面補償光学系を用いた波面補償ＯＣＴ（ＡＯ－ＯＣＴ）、又は偏光位相差や偏光解消に関する情報を可視化するための偏光ＯＣＴ（ＰＳ－ＯＣＴ）にも本発明を適用することができる。
【0241】
ここで、ＳＤ－ＯＣＴに関する光学系を用いる場合には、撮像に用いる分光器は、回折格子によって干渉光を空間で分光するため、ラインセンサの隣接する画素間で干渉光のクロストークが発生し易い。深さ位置Ｚ＝Ｚ０に位置する反射面からの干渉光は、波数ｋに対してＺ０／πの周波数で振動する。このため、反射面の深さ位置Ｚ０が大きくなる（すなわちコヒーレンスゲート位置から遠く離れる）に従って、干渉光の振動周波数は高くなり、ラインセンサの隣接する画素間での干渉光のクロストークの影響が大きくなる。これによって、ＳＤ－ＯＣＴでは、より深い位置を撮像しようとすると、感度低下が顕著となる。一方、分光器を用いないＳＳ－ＯＣＴは、ＳＤ－ＯＣＴよりも、深い位置での断層画像の撮像が有利となる。また、ＳＤ－ＯＣＴで用いる分光器では、回折格子による干渉光の損失がある。
【0242】
一方、ＳＳ－ＯＣＴでは、分光器を用いず干渉光を例えば差動検出する構成とすることで感度向上が容易である。よって、ＳＳ－ＯＣＴは、ＳＤ－ＯＣＴと同等の感度で高速化が可能であり、この高速性を活かして、広画角の断層画像を取得することが可能である。
【0243】
上述した様々な実施例及び変形例では、分割手段としてカプラーを使用した光ファイバ光学系を用いているが、コリメータとビームスプリッタを使用した空間光学系を用いてもよい。また、ＯＣＴ装置の構成は、上記の構成に限られず、ＯＣＴ装置に含まれる構成の一部をこれらとは別体の構成としてもよい。なお、干渉系としてマッハツェンダー干渉系を用いたが、マイケルソン干渉系を用いてもよい。
【0244】
なお、上述した様々な実施例及び変形例では、制御装置２００がＯＣＴ装置に含まれる構成としたが、ＯＣＴ装置と別個に設けられてもよい。また、制御装置２００がＯＣＴ装置と別個に設けられる場合には、これらは有線又は無線で接続されてよく、例えば、インターネット等の任意のネットワークを介して接続されてもよい。
【0245】
また、上述した様々な実施例及び変形例では、フォーカスレンズ１１４はＯＣＴ光学系１００とＳＬＯ光学系１４０とで共通に用いられているが、これに限定されるものではなく、それぞれの光学系に別々にフォーカスレンズを備えることとしてもよい。また、フォーカスレンズ１１４の駆動制御部１８０による制御は、光源１０１が用いる波長と光源１４１が用いる波長との違いに基づいてフォーカスレンズを駆動することとしてもよい。例えば、ＯＣＴ光学系１００とＳＬＯ１４０光学系とに共通でフォーカスレンズが設けられている場合、駆動制御部１８０は、ＳＬＯ光学系１４０を用いた撮影とＯＣＴ光学系１００を用いた撮影とが切り替えられると、波長の違いに応じてフォーカスレンズ１１４を移動させてよい。また、フォーカスレンズがＯＣＴ光学系１００及びＳＬＯ光学系１４０のそれぞれの光学系に設けられている場合、一方の光学系のフォーカスレンズが調整されると駆動制御部１８０は波長の違いに応じて他方の光学系のフォーカスレンズを移動させてもよい。
【0246】
また、上述した様々な実施例及び変形例で用いられる機械学習モデルは、例えば、カプセルネットワーク（ＣａｐｓＮｅｔ：Ｃａｐｓｕｌｅ Ｎｅｔｗｏｒｋ）でもよい。ここで、一般的なニューラルネットワークでは、各ユニット（各ニューロン）はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係（相対位置）に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット（各カプセル）は空間情報をベクトルとして出力するように構成されることよって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。
【0247】
また、上述した様々な実施例及び変形例で説明したＧＵＩ等の表示態様は、上述のものに限られず、所望の構成に応じて任意に変更されてよい。例えば、表示画面１１００等について、ＯＣＴＡ正面画像、断層画像、及び深度範囲を表示すると記載したが、断層画像上に、モーションコントラストデータを表示してもよい。この場合、どの深度にモーションコントラスト値が分布しているのかを合わせて確認することができる。また、画像の表示等に色を用いるなどしてもよい。
【0248】
また、上述した様々な実施例及び変形例では、制御装置２００は、ＯＣＴ光学系１００を用いて干渉信号や再構成部１９０１で生成された断層画像、信号処理部１９０で生成された眼底正面画像等を取得した。しかしながら、制御装置２００がこれらの信号や画像を取得する構成はこれに限られない。例えば、制御装置２００は、制御装置２００とＬＡＮ、ＷＡＮ、又はインターネット等を介して接続されるサーバや撮影装置からこれらの信号やデータを取得してもよい。また、制御装置２００は、これら信号やデータを取得する際に、併せて、スキャンパターンや走査線の数等を含む撮影パラメータ等も取得してよい。
【0249】
なお、上述した様々な実施例及び変形例に係る学習済モデルは制御装置２００に設けられることができる。学習済モデルは、例えば、ＣＰＵや、ＭＰＵ、ＧＰＵ、ＦＰＧＡ等のプロセッサーによって実行されるソフトウェアモジュール等で構成されてもよいし、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。また、これら学習済モデルは、制御装置２００と接続される別のサーバの装置等に設けられてもよい。この場合には、制御装置２００は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバ等に接続することで、学習済モデルを用いることができる。ここで、学習済モデルを備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。また、学習済モデルの学習データは、実際の撮影を行う眼科装置自体を用いて得たデータに限られず、所望の構成に応じて、同型の眼科装置を用いて得たデータや、同種の眼科装置を用いて得たデータ等であってもよい。
【0250】
なお、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、学習部（不図示）の一例である制御装置２００による処理には、ＣＰＵに加えてＧＰＵを用いることもできる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理は、ＣＰＵ又はＧＰＵのみにより演算が行われてもよい。また、上述した様々な学習済モデルを用いた処理を実行する処理部（推定部）も、学習部と同様にＧＰＵを用いてもよい。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
【0251】
（その他の実施例）
本発明は、上述の実施例及び変形例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、一つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
本発明は、上述の実施例及び変形例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、一つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
【0252】
プロセッサー又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。
【0253】
以上、実施例及び変形例を参照して本発明について説明したが、本発明は上記実施例及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
【符号の説明】
【0254】
１９０：信号処理部（取得部）、２００：制御装置（医用画像処理装置）、１９０２：位置合わせ部、１９０６：画像補正部（補正部）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11A】
【図11B】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19A】
【図19B】
