知財求人 - 知財ポータルサイト「IP Force」
特許7602935医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-11
(45)【発行日】2024-12-19
(54)【発明の名称】医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
(51)【国際特許分類】
A61B 3/10 20060101AFI20241212BHJP
A61B 3/12 20060101ALI20241212BHJP
G06T 7/00 20170101ALI20241212BHJP
【ＦＩ】
A61B3/10 100
A61B3/12
G06T7/00 612
【請求項の数】
26
(21)【出願番号】P 2021033863
(22)【出願日】2021-03-03
(65)【公開番号】P2022134615
(43)【公開日】2022-09-15
【審査請求日】2024-02-22
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100094112
【弁理士】
【氏名又は名称】岡部 讓
(74)【代理人】
【識別番号】100101498
【弁理士】
【氏名又は名称】越智 隆夫
(74)【代理人】
【識別番号】100106183
【弁理士】
【氏名又は名称】吉澤 弘司
(74)【代理人】
【識別番号】100136799
【弁理士】
【氏名又は名称】本田 亜希
(72)【発明者】
【氏名】トマッシュ ジィーバック
(72)【発明者】
【氏名】坂川 幸雄
【審査官】渡戸 正義
(56)【参考文献】
【文献】特開２０２０－１０３５７９（ＪＰ，Ａ）
【文献】国際公開第２０２０／１２２６０６（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１７／０２９９３７０（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３／００ － ３／１８
Ｇ０６Ｔ ７／００ － ７／１９４
(57)【特許請求の範囲】
【請求項1】
被検眼の断層画像を取得する取得部と、前記取得した断層画像における層及び境界の少なくとも一方を検出する処理部と、
を備え、
前記処理部は、
前記取得部により取得した断層画像における複数の部分領域の画像を並べて合成することにより合成画像を生成し、
学習済モデルを用いて、前記合成画像における層及び境界の少なくとも一方を検出し、
前記学習済モデルを用いて得た検出結果を用いて、前記取得した断層画像における層及び境界の少なくとも一方を検出し、
前記複数の部分領域のそれぞれは、網膜領域と脈絡膜を含む注目領域である、医用画像処理装置。
【請求項2】
前記処理部は、前記複数の部分領域の画像を被検眼の深さ方向に並べて合成することにより合成画像を生成する、請求項１に記載の医用画像処理装置。
【請求項3】
前記断層画像は、二次元の断層画像又は複数の二次元の断層画像を含む三次元の断層画像である、請求項１又は２に記載の医用画像処理装置。
【請求項4】
前記処理部は、前記二次元の断層画像を、被検眼の深さ方向に交差する方向において複数の領域に分割し、該分割した複数の領域の各々から部分領域を検出する、又は、
前記二次元の断層画像から部分領域を検出し、検出した部分領域の画像を前記深さ方向に交差する方向において複数の部分領域に分割する、請求項３に記載の医用画像処理装置。
【請求項5】
前記分割した複数の領域又は前記分割した複数の部分領域は、該分割した複数の領域又は該分割した複数の部分領域における隣接する領域に重複する領域を有する、請求項４に記載の医用画像処理装置。
【請求項6】
前記処理部は、前記分割した複数の領域又は前記分割した複数の部分領域において前記重複する領域の情報を間引く、請求項５に記載の医用画像処理装置。
【請求項7】
前記処理部は、前記分割した複数の領域又は前記分割した複数の部分領域において、隣接する領域がない領域には、該領域の一部を反転させた領域を前記重複する領域として付加する、請求項５又は６に記載の医用画像処理装置。
【請求項8】
前記取得部は、前記深さ方向に交差する方向を、被検眼の三次元の断層画像におけるサンプリング数の少ない走査方向とした二次元の断層画像を取得する、請求項４乃至７のいずれか一項に記載の医用画像処理装置。
【請求項9】
前記取得部は、前記深さ方向に交差する方向を、被検眼の三次元の断層画像における撮影領域サイズ又は網膜の湾曲度が小さい走査方向とした二次元の断層画像を取得する、請求項４乃至７のいずれか一項に記載の医用画像処理装置。
【請求項10】
前記処理部は、前記二次元の断層画像における、又は、前記二次元の断層画像を被検眼の深さ方向に交差する方向において分割した複数の領域の各々における、網膜又は部分領域の深さ方向の位置を揃え、
前記学習済モデルを用いて得た検出結果と、網膜又は部分領域の深さ方向の位置を揃えた際の位置の移動量を用いて、前記取得した断層画像における層及び境界の少なくとも一方を検出する、請求項３乃至９のいずれか一項に記載の医用画像処理装置。
【請求項11】
前記処理部は、前記複数の二次元の断層画像を用いて、前記複数の二次元の断層画像における部分領域を複数検出する、請求項３乃至１０のいずれか一項に記載の医用画像処理装置。
【請求項12】
前記処理部は、前記複数の二次元の断層画像の各々から１つの部分領域を検出する、請求項１１に記載の医用画像処理装置。
【請求項13】
前記処理部は、前記複数の二次元の断層画像の各々から複数の部分領域を検出する、請求項１１に記載の医用画像処理装置。
【請求項14】
前記処理部は、被検眼の断層画像の複数の部分領域の画像を合成して得た合成画像と、合成画像における領域及び境界の少なくとも一方を示すラベル画像とを学習データとして用いて得た学習済モデルに前記生成した合成画像を入力して、前記生成した合成画像における領域及び境界の少なくとも一方を示すラベル画像を取得する、請求項１乃至１３のいずれか一項に記載の医用画像処理装置。
【請求項15】
前記処理部は、前記取得した断層画像における画素値と閾値を用いて、前記複数の部分領域を検出する、請求項１乃至１４のいずれか一項に記載の医用画像処理装置。
【請求項16】
前記処理部は、前記取得した断層画像に対してルールベースの処理により、前記複数の部分領域を検出する、請求項１乃至１４のいずれか一項に記載の医用画像処理装置。
【請求項17】
前記部分領域は網膜を含む、請求項１乃至１６のいずれか一項に記載の医用画像処理装置。
【請求項18】
前記処理部は、前記学習済モデルを用いて得た検出結果を用いて、各部分領域における検出結果を取得し、
前記取得した各部分領域における検出結果を用いて、各部分領域に対応する断層画像における層及び境界の少なくとも一方を検出する、請求項１乃至１７のいずれか一項に記載の医用画像処理装置。
【請求項19】
前記処理部は、前記検出した部分領域と閾値を用いて、該検出した部分領域に関するセグメンテーション処理を、前記学習済モデルを用いたセグメンテーション処理とルールベースのセグメンテーション処理とのうちから選択する、請求項４乃至９のいずれか一項に記載の医用画像処理装置。
【請求項20】
前記処理部は、前記検出した部分領域を解析し、解析結果に基づいて、該検出した部分領域に関するセグメンテーション処理を、前記学習済モデルを用いたセグメンテーション処理とルールベースのセグメンテーション処理とのうちから選択する、請求項４乃至９のいずれか一項に記載の医用画像処理装置。
【請求項21】
前記処理部は、前記解析結果に対応する部分領域が閾値より大きい場合、又は前記解析結果に対応する部分領域に疾病部が存在する場合、前記ルールベースの処理を選択する、請求項２０に記載の医用画像処理装置。
【請求項22】
前記処理部は、前記解析結果に対応する部分領域の部位に基づいて、前記ルールベースの処理を選択する、請求項２０に記載の医用画像処理装置。
【請求項23】
前記処理部は、検出した部分領域における画素値の信号対雑音比若しくは最大値が閾値より小さい場合又は該部分領域に折り返し像が含まれる場合には、該部分領域の画像を合成画像の生成に用いない、請求項１乃至１８のいずれか一項に記載の医用画像処理装置。
【請求項24】
前記学習済モデルは、それぞれが被検眼の断層画像における網膜領域と脈絡膜を含む複数の部分領域の画像を並べて合成して得た合成画像と、該合成画像における領域及び境界の少なくとも一方を示すラベル画像とを学習データとして用いて学習されることにより得た学習済モデルである、請求項１乃至２３のいずれか一項に記載の医用画像処理装置。
【請求項25】
被検眼の断層画像を取得することと、前記取得した断層画像における複数の部分領域の画像を並べて合成することにより合成画像を生成することと、
学習済モデルを用いて、前記合成画像における層及び境界の少なくとも一方を検出することと、
前記学習済モデルを用いて得た検出結果を用いて、前記取得した断層画像における層及び境界の少なくとも一方を検出することと、
を含み、
前記複数の部分領域のそれぞれは、網膜領域と脈絡膜領域を含む注目領域である、医用画像処理方法。
【請求項26】
コンピュータによって実行されると、該コンピュータに請求項２５に記載の医用画像処理方法の各工程を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医用画像処理装置、学習済モデル、医用画像処理方法及びプログラムに関する。
【背景技術】
【0002】
光干渉断層撮影法（ＯＣＴ：Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）を用いた装置（ＯＣＴ装置）などの眼部の断層画像撮影装置は、網膜層内部の状態を三次元的に観察することが可能である。この断層画像撮影装置は、疾病の診断をより的確に行うのに有用であることから近年注目を集めている。
【0003】
ＯＣＴの形態として、例えば、広帯域な光源とマイケルソン干渉計を組み合わせたＴＤ－ＯＣＴ（Ｔｉｍｅ Ｄｏｍａｉｎ ＯＣＴ）がある。ＴＤ－ＯＣＴは、参照アームの遅延を走査することで、信号アームの後方散乱光との干渉光を計測し、深さ方向の情報を得るように構成されている。しかしながら、ＴＤ－ＯＣＴでは参照アームの遅延の走査に起因して高速な画像取得は難しい。
【0004】
そのため、より高速に画像を取得する方法として、広帯域光源を用い、分光器でインターフェログラムを取得する手法によるＳＤ－ＯＣＴ（Ｓｐｅｃｔｒａｌ Ｄｏｍａｉｎ ＯＣＴ）が知られている。また、光源として、高速波長掃引光源を用い、単一チャネル光検出器でスペクトル干渉を計測する手法によるＳＳ－ＯＣＴ（Ｓｗｅｐｔ Ｓｏｕｒｃｅ ＯＣＴ）が知られている。
【0005】
ＯＣＴを用いて断層画像が取得された場合には、神経線維層の厚みを計測できれば、緑内障などの疾病の進行度や治療後の回復具合を定量的に診断することができる。これに関連して、網膜の各層の厚みを定量的に計測するために、学習済モデルを用いて断層画像から網膜の各層を領域検出し、各層の厚みを計測する技術が、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０２０－９３０７６号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献１に記載の技術では、ＯＣＴで撮影された断層画像の全領域を対象に、学習済モデルを用いて網膜層を領域検出している。そのため、重要ではない断層画像の領域でも処理対象になるため、データの転送や準備、網膜層領域の検出処理に余計な負荷がかかってしまい、多くの処理時間がかかっていた。
【0008】
そこで、本発明の一実施態様では、短い処理時間で断層画像における対象物の領域又は境界を検出することができる医用画像処理装置、学習済モデル、医用画像処理方法及びプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【0009】
本発明の一実施態様に係る医用画像処理装置は、被検眼の断層画像を取得する取得部と、前記取得した断層画像における層及び境界の少なくとも一方を検出する処理部と、を備え、前記処理部は、前記取得部により取得した断層画像における複数の部分領域の画像を並べて合成することにより合成画像を生成し、学習済モデルを用いて、前記合成画像における層及び境界の少なくとも一方を検出し、前記学習済モデルを用いて得た検出結果を用いて、前記取得した断層画像における層及び境界の少なくとも一方を検出し、前記複数の部分領域のそれぞれは、網膜領域と脈絡膜を含む注目領域である。
【発明の効果】
【0010】
本発明の一実施態様によれば、短い処理時間で断層画像における対象物の領域又は境界を検出することができる。
【0011】
本発明のさらなる特徴が、添付の図面を参照して以下の例示的な実施形態の説明から明らかになる。
【図面の簡単な説明】
【0012】
【図1】第１の実施形態に係る画像処理システムの概略的な構成の一例を示す。
【図2】眼部の構造、断層画像と眼底画像を説明するための図である。
【図3】第１の実施形態に係る注目領域の検出処理を説明するための図である。
【図4】第１の実施形態に係る注目領域のパッキング処理を説明するための図である。
【図5】第１の実施形態に係るアンパック処理を説明するための図である。
【図6】領域検出処理用の学習データの一例を説明するための図である。
【図7】領域検出処理用の学習データの別例を説明するための図である。
【図8】第１の実施形態に係る学習データの一例を示す。
【図9】第１の実施形態に係る学習データの例を説明するための図である。
【図10】第１の実施形態に係る機械学習モデルの一例を説明するための図である。
【図11】第１の実施形態に係る一連の処理のフローチャートである。
【図12】第１の実施形態に係る表示画面の一例を示す。
【図13】第１の実施形態に係る後処理の結果を説明するための図である。
【図14】第１の実施形態の変形例に係る境界線の検出の一例を説明するための図である。
【図15】第１の実施形態の変形例に係る境界線の検出の別例を説明するための図である。
【図16】第２の実施形態に係る網膜層検出処理のフローチャートである。
【図17】第２の実施形態に係るストライプ分割処理の一例を説明する図である。
【図18】第２の実施形態に係る注目領域のパッキング処理及びアンパック処理を説明するための図である。
【図19】第２の実施形態に係るストライプ連結処理及び境界検出処理の一例を説明する図である。
【図20】第２の実施形態の変形例に係るオーバーラップ領域を有するストライプの作成処理の一例を説明する図である。
【図21】第３の実施形態に係る一連の処理のフローチャートである。
【図22】第３の実施形態に係る断層画像の再構成処理の一例を説明する図である。
【図23】第４の実施形態に係る網膜層検出処理のフローチャートである。
【図24】第４の実施形態に係る処理結果の一例を説明する図である。
【図25】第６及び第７の実施形態に係る網膜層検出処理のフローチャートである。
【発明を実施するための形態】
【0013】
以下、本発明を実施するための例示的な実施形態を、図面を参照して詳細に説明する。ただし、以下の実施形態で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
【0014】
なお、以下において、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な教師データ（学習データ）を用いてトレーニングした（学習を行った）モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。
【0015】
（第１の実施形態）
以下、図１乃至図１３を参照して、本発明の第１の実施形態に係る、眼部の断層画像を処理する医用画像処理装置を備える医用画像処理システム及び医用画像処理方法について説明する。本実施形態に係る網膜層の領域検出処理では、機械学習モデルに関する学習済モデルを用いて、網膜領域を含む注目領域における網膜層の領域検出（セグメンテーション）処理を行う。ここで、本実施形態では、領域検出処理の入力データに関して、断層画像から注目領域を抽出し、抽出した複数の注目領域のデータをまとめた合成画像を用いる。これにより、本実施形態によれば、転送するデータや領域検出処理対象のデータを減らし、領域検出効率を向上させ、処理を高速化することができる。
以下、図１乃至図１３を参照して、本発明の第１の実施形態に係る、眼部の断層画像を処理する医用画像処理装置を備える医用画像処理システム及び医用画像処理方法について説明する。本実施形態に係る網膜層の領域検出処理では、機械学習モデルに関する学習済モデルを用いて、網膜領域を含む注目領域における網膜層の領域検出（セグメンテーション）処理を行う。ここで、本実施形態では、領域検出処理の入力データに関して、断層画像から注目領域を抽出し、抽出した複数の注目領域のデータをまとめた合成画像を用いる。これにより、本実施形態によれば、転送するデータや領域検出処理対象のデータを減らし、領域検出効率を向上させ、処理を高速化することができる。
【0016】
図１は、本実施形態に係る画像処理装置（医用画像処理装置）を備える画像処理システムの概略的な構成の一例を示す。図１に示すように、画像処理システムには、断層画像撮影装置の一例であるＯＣＴ装置１０、画像処理装置２０、眼底画像撮影装置３０、外部記憶装置４０、表示部５０、及び入力部６０が設けられている。
【0017】
ＯＣＴ装置１０は、被検眼の断層画像を撮影するための装置である断層画像撮影装置の一例である。ＯＣＴ装置としては、任意の種類のＯＣＴ装置を用いることができ、例えばＳＤ－ＯＣＴ装置やＳＳ－ＯＣＴ装置を用いることができる。
【0018】
画像処理装置２０は、インターフェースを介してＯＣＴ装置１０、眼底画像撮影装置３０、外部記憶装置４０、表示部５０、及び入力部６０と接続されており、これらを制御することができる。画像処理装置２０は、ＯＣＴ装置１０、眼底画像撮影装置３０、及び外部記憶装置４０から取得する各種信号に基づいて、被検眼の断層画像やＥｎ－Ｆａｃｅ画像（正面画像）等の各種画像を生成することができる。また、画像処理装置２０は、これら画像について画像処理を施すことができる。
【0019】
なお、画像処理装置２０は、汎用のコンピュータによって構成されてもよいし、画像処理システムの専用のコンピュータによって構成されてもよい。画像処理装置２０は、不図示のプロセッサ、及び光学ディスクやＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリを含む記憶媒体を備えている。プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等であってよい。なお、プロセッサは、ＣＰＵやＭＰＵに限定されるものではなく、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等であってもよい。
【0020】
眼底画像撮影装置３０は、被検眼の眼底画像を撮影するための装置であり、当該装置としては、例えば、眼底カメラやＳＬＯ（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）等を用いることができる。なお、ＯＣＴ装置１０と眼底画像撮影装置３０の装置構成は、一体型でもよいし別体型でもよい。
【0021】
外部記憶装置４０は、被検眼に関する情報（患者の氏名、年齢、及び性別等）と、撮影した各種画像データ、撮影パラメータ、画像解析パラメータ、及び操作者によって設定されたパラメータをそれぞれ関連付けて保持している。外部記憶装置４０は、任意の記憶装置によって構成されてよく、例えば、光学ディスクやメモリ等の記憶媒体によって構成されてよい。
【0022】
表示部５０は、任意のディスプレイによって構成され、画像処理装置２０による制御に従い、被検眼に関する情報や各種画像等を表示することができる。入力部６０は、例えば、マウス、キーボード、又はタッチディスプレイなどであり、操作者は、入力部６０を介して、画像処理装置２０やＯＣＴ装置１０、眼底画像撮影装置３０への指示を画像処理装置２０に入力することができる。
【0023】
なお、これら構成要素は図１では別体として示されているが、これら構成要素の一部又は全部を一体として構成してもよい。例えば、入力部６０をタッチディスプレイとする場合には、入力部６０を表示部５０と一体として構成することができる。
【0024】
次にＯＣＴ装置１０について説明する。ＯＣＴ装置１０には、光源１１、ガルバノミラー１２、フォーカスレンズステージ１３、コヒーレンスゲートステージ１４、ディテクタ１５、及び内部固視灯１６が設けられている。なお、ＯＣＴ装置１０は既知の装置であるため詳細な説明は省略し、ここでは、画像処理装置２０からの指示により行われる断層画像の撮影について説明を行う。
【0025】
画像処理装置２０から撮影の指示が伝えられると、光源１１が光を出射する。光源１１からの光は不図示の分割部を用いて測定光と参照光に分割される。ＯＣＴ装置１０では、測定光を被検体（被検眼）に照射し、被検体からの戻り光と、参照光との干渉光を検出することで、被検体の断層情報を含む干渉信号を取得することができる。
【0026】
ガルバノミラー１２は、測定光を被検眼の眼底において走査するために用いられる走査部の一例であり、ガルバノミラー１２による測定光の走査範囲により、ＯＣＴ撮影による眼底の撮影範囲を規定することができる。画像処理装置２０は、ガルバノミラー１２の駆動範囲及び速度を制御することで、眼底における平面方向の撮影範囲及び走査線数（平面方向の走査速度）を規定することができる。図１では、説明を簡略化するため、ガルバノミラー１２を１つのユニットとして示したが、ガルバノミラー１２は、実際にはＸスキャン用のミラーとＹスキャン用の２枚のミラーで構成され、眼底上における所望の範囲を測定光で走査できる。なお、測定光を走査するための走査部の構成はガルバノミラーに限られず、他の任意の偏向ミラーを用いることができる。また、走査部として、例えば、ＭＥＭＳミラーなどの１枚で二次元方向に測定光を走査することができる偏向ミラーを用いてもよい。
【0027】
フォーカスレンズステージ１３には不図示のフォーカスレンズが設けられている。フォーカスレンズステージ１３を移動させることで、フォーカスレンズを測定光の光軸に沿って移動させることができる。このため、フォーカスレンズによって、被検眼の前眼部を介し、眼底の網膜層に測定光をフォーカスすることができる。眼底に照射された測定光は各網膜層で反射・散乱して、戻り光として光路を戻る。
【0028】
コヒーレンスゲートステージ１４は、被検眼の眼軸長の相違等に対応するため、参照光又は測定光の光路の長さを調整するために用いられる。本実施形態では、コヒーレンスゲートステージ１４は、ミラーが設けられたステージによって構成され、参照光の光路において光軸方向に移動することで参照光の光路長を測定光の光路長に対応させることができる。ここで、コヒーレンスゲートの位置は、ＯＣＴにおける測定光と参照光の光学距離が等しい位置を表す。コヒーレンスゲートステージ１４は、画像処理装置２０により制御されることができる。画像処理装置２０は、コヒーレンスゲートステージ１４によりコヒーレンスゲートの位置を制御することで、被検眼の深さ方向の撮影範囲を制御することができ、網膜層側の撮影、又は網膜層より深部側の撮影等を制御することができる。
【0029】
ディテクタ１５は、不図示の干渉部において生じた、被検眼からの測定光の戻り光と参照光との干渉光を検出し、干渉信号を生成する。画像処理装置２０は、ディテクタ１５からの干渉信号を取得し、干渉信号に対してフーリエ変換等を行うことで被検眼の断層画像を生成することができる。
【0030】
内部固視灯１６には、表示部１６１及びレンズ１６２が設けられている。本実施形態では、表示部１６１の一例として複数の発光ダイオード（ＬＤ）がマトリックス状に配置されたものを用いる。発光ダイオードの点灯位置は、画像処理装置２０の制御により撮影したい部位に応じて変更される。表示部１６１からの光は、レンズ１６２を介し、被検眼に導かれる。表示部１６１から出射される光は、例えば５２０ｎｍの波長を有し、画像処理装置２０による制御により所望のパターンで表示される。
【0031】
なお、ＯＣＴ装置１０には、他の構成が含まれてもよい。例えば、ＯＣＴ装置１０に、画像処理装置２０による制御に基づいて、各構成要素の駆動を制御するＯＣＴ装置１０用の駆動制御部や測定光を遮るように駆動するシャッター等が更に設けられてもよい。
【0032】
次に、図２（ａ）乃至図２（ｃ）を参照して、画像処理システムで取得する眼の構造と画像について説明する。図２（ａ）は眼球の模式図である。図２（ａ）には、角膜Ｃ、水晶体ＣＬ、硝子体Ｖ、黄斑部Ｍ（黄斑の中心部は中心窩を表す）、及び視神経乳頭部Ｄが表されている。本実施形態では、主に、硝子体Ｖ、黄斑部Ｍ、及び視神経乳頭部Ｄを含む網膜の後極部を撮影する場合について説明を行う。なお、以下では説明しないが、ＯＣＴ装置１０は、角膜や水晶体等の前眼部を撮影することも可能である。
【0033】
図２（ｂ）は、ＯＣＴ装置１０を用いて網膜を撮影することで取得した断層画像の一例を示す。図２（ｂ）において、ＡＳは一回のＡスキャンにより取得される画像単位を示す。ここで、Ａスキャンとは、ＯＣＴ装置１０の上記一連の動作により、被検眼の一点における深さ方向の断層情報を取得することをいう。また、Ａスキャンを任意の横断方向（主走査方向）において複数回行うことで被検眼の当該横断方向と深さ方向の二次元の断層情報を取得することをＢスキャンという。Ａスキャンによって取得されたＡスキャン画像を複数集めることで、１つのＢスキャン画像を構成することができる。以下、このＢスキャン画像のことを、二次元の断層画像と呼ぶ。本例における断層画像では、横軸（ＯＣＴの主走査方向）をＸ軸とし、縦軸（深さ方向）をＺ軸とする。
【0034】
さらに、被検眼上の撮影範囲に対して、走査部によって走査位置を所定の方向（副走査方向）に移動させながら、主走査方向の走査を繰り返すことで、複数のＢスキャン画像を取得することができる。例えば、走査位置をＹ方向において移動させながら、ＸＺ面のＢスキャンを繰り返すことで、ＸＹＺ空間の三次元情報を得ることができる。得られた複数のＢスキャン画像を用いて構成されるデータをボリュームデータと呼ぶ。画像処理装置２０は、このボリュームデータから被検眼の三次元の断層画像を生成することができる。このようなスキャン方式をＣスキャンと呼び、得られる三次元の断層画像をＣスキャン画像と呼ぶ。また、画像処理装置２０は、三次元情報の少なくとも一部の深度範囲における情報を投影又は積算することにより、眼底のＥｎ－Ｆａｃｅ画像（正面画像）を取得することもできる。
【0035】
図２（ｂ）には、血管Ｖｅ、硝子体Ｖ、黄斑部Ｍ、及び視神経乳頭部Ｄが表されている。また、境界線Ｌ１は内境界膜（ＩＬＭ）、境界線Ｌ２は神経線維層（ＮＦＬ）と神経節細胞層（ＧＣＬ）との境界、境界線Ｌ３は内膜状層（ＩＰＬ）と内顆粒層（ＩＮＬ）との境界を表す。さらに、境界線Ｌ４は網膜色素上皮層（ＲＰＥ）、境界線Ｌ５はブルッフ膜（ＢＭ）、境界線Ｌ６は脈絡膜を表す。
【0036】
図２（ｃ）は、眼底画像撮影装置３０を用いて被検眼の眼底を撮影することで取得した眼底画像の一例を示す。図２（ｃ）には、黄斑部Ｍ、及び視神経乳頭部Ｄが表されており、網膜の血管が太い曲線で表されている。眼底画像において、横軸（ＯＣＴの主走査方向）をＸ軸とし、縦軸（ＯＣＴの副走査方向）をＹ軸とする。
【0037】
次に、再び図１を参照して、画像処理装置２０について説明する。画像処理装置２０には、取得部２１、画像処理部２２、駆動制御部２３、記憶部２４、及び表示制御部２５が設けられている。
【0038】
取得部２１は、ＯＣＴ装置１０から被検眼の干渉信号のデータを取得することができる。なお、取得部２１が取得する干渉信号のデータは、アナログ信号でもデジタル信号でもよい。取得部２１がアナログ信号を取得する場合には、画像処理装置２０でアナログ信号をデジタル信号に変換することができる。また、取得部２１は、画像処理部２２で生成された断層データや、断層画像及びＥｎ－Ｆａｃｅ画像等の各種画像を取得することができる。ここで、断層データとは、被検体の断層に関する情報を含むデータであり、ＯＣＴによる干渉信号に基づくデータ、及びこれに高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）や任意の信号処理を行ったデータを含むものをいう。
【0039】
さらに、取得部２１は、画像処理すべき断層画像の撮影条件群（例えば、撮影日時、撮影部位名、撮影領域、撮影画角、撮影方式、画像の解像度や階調、画像の画素サイズ、画像フィルタ、及び画像のデータ形式に関する情報など）を取得する。なお、撮影条件群については、例示したものに限られない。また、撮影条件群は、例示したもの全てを含む必要はなく、これらのうちの一部を含んでもよい。
【0040】
また、取得部２１は、眼底画像撮影装置３０で取得した眼底情報を含むデータや眼底正面画像等を取得することができる。さらに、取得部２１は、被検者識別番号等の被検眼を同定するための情報を入力部６０や外部記憶装置４０等から取得することができる。また、取得部２１は、外部記憶装置４０や不図示の外部装置に記憶された各種画像や、他の撮影装置を用いて得られた情報等を取得することもできる。取得部２１は、取得した各種データや画像を記憶部２４に記憶させることができる。
【0041】
画像処理部２２は、取得部２１で取得されたデータや記憶部２４に記憶されたデータから、断層画像やＥｎ－Ｆａｃｅ画像等を生成し、生成又は取得した画像に画像処理を施すことができる。画像処理部２２には、断層画像生成部２２１及び処理部２２２が設けられている。
【0042】
断層画像生成部２２１は、取得部２１で取得された干渉信号に対してフーリエ変換等の処理を施して断層データを生成し、断層データに基づいて断層画像を生成することができる。なお、断層画像の生成方法としては既知の任意の方法を採用してよく、詳細な説明は省略する。
【0043】
処理部２２２は、断層画像において注目領域の検出処理を行う。なお、本実施形態において、処理部２２２は、注目領域として、網膜領域と脈絡膜を含む領域を検出する。また、処理部２２２は、検出した複数の注目領域のうち少なくとも２つの注目領域の画像を縦（被検眼の深さ方向）に並べて配置した合成画像を生成するパッキング処理を行う。さらに、処理部２２２は、合成画像から各注目領域の画像を分割し、分割した各注目領域の画像を断層画像に戻すアンパック処理を行う。これらの処理方法の詳細については後述する。
【0044】
さらに、処理部２２２は、ディープラーニング等の機械学習アルゴリズムによる機械学習モデルに関する学習済モデルを含む。処理部２２２は、学習済モデルを用いて、断層画像において被検眼の網膜領域における層構造や層境界を検出するセグメンテーション処理を行う。機械学習モデルやセグメンテーション処理の詳細については後述する。
【0045】
駆動制御部２３は、画像処理装置２０に接続されているＯＣＴ装置１０や眼底画像撮影装置３０の各構成要素の駆動を制御することができる。記憶部２４は、取得部２１で取得された断層データ、及び画像処理部２２で生成・処理された断層画像等の各種画像やデータ等を記憶することができる。また、記憶部２４は、プロセッサによって実行されることで画像処理装置２０の各構成要素の機能を果たすためのプログラム等を記憶することもできる。
【0046】
表示制御部２５は、取得部２１で取得された各種情報や画像処理部２２で生成・処理された断層画像等の各種画像、及び操作者によって入力された情報等の表示部５０における表示を制御することができる。
【0047】
上述した画像処理装置２０における記憶部２４以外の各構成要素は、ＣＰＵやＭＰＵ、ＧＰＵ等のプロセッサによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。記憶部２４は、例えば、光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。
【0048】
次に、図３（ａ）乃至図１０を参照して、処理部２２２による各種処理について説明する。上述のように、学習済モデルを用いた従来の網膜層の検出処理では、断層画像の全領域を対象として処理を行うため、データの転送や準備、網膜層の領域検出処理に余計な負荷がかかってしまい、多くの処理時間がかかっていた。そこで、本実施形態では、断層画像から網膜層の領域検出処理を行うべき注目領域を抽出し、抽出した複数の注目領域の画像をまとめるパッキング処理を行って合成画像を生成し、学習済モデルを用いて合成画像から網膜層の検出を行う。
【0049】
（注目領域検出）
まず、図３（ａ）乃至図３（ｅ）を参照して、本実施形態に係る注目領域の検出処理について説明する。上述のように、本実施形態では、注目領域として、断層画像における網膜領域と脈絡膜を含む領域を検出する。入力される断層画像全体の領域に対して、注目領域が占める割合が少ない場合には、有効な情報のない領域や網膜層の領域検出の処理をする必要がない領域が多く存在する。そのような領域についても領域検出処理を行うと余計な処理時間が発生し、全体の処理時間が多くなる。そのため、事前に注目領域（網膜層の存在する領域）を検出することで、効率よく網膜層の領域検出を行うことができる。
まず、図３（ａ）乃至図３（ｅ）を参照して、本実施形態に係る注目領域の検出処理について説明する。上述のように、本実施形態では、注目領域として、断層画像における網膜領域と脈絡膜を含む領域を検出する。入力される断層画像全体の領域に対して、注目領域が占める割合が少ない場合には、有効な情報のない領域や網膜層の領域検出の処理をする必要がない領域が多く存在する。そのような領域についても領域検出処理を行うと余計な処理時間が発生し、全体の処理時間が多くなる。そのため、事前に注目領域（網膜層の存在する領域）を検出することで、効率よく網膜層の領域検出を行うことができる。
【0050】
処理部２２２は、注目領域検出処理として、断層画像に対して二値化処理を行う。図３（ａ）は処理対象の断層画像の一例を示す。まず、処理部２２２は、断層画像に対してガウシアンフィルタリング処理を行う。図３（ｂ）は、ガウシアンフィルタリング処理が行われた断層画像の一例を示す。なお、本実施形態では、ガウシアンフィルタのカーネルサイズを３×３とするが、ガウシアンフィルタのカーネルサイズはこれに限定されることなく、例えば５×５やその他のサイズでもよい。さらに、ガウシアンフィルタのようなノイズ軽減フィルタであれば、その他のフィルタでもよい。
【0051】
次に、処理部２２２は、フィルタリング処理を行った断層画像に対して正規化処理を行う。ここでは、処理部２２２は、断層画像の画素値を、０～２５５の範囲で正規化する。さらに、処理部２２２は、正規化した画像に対して二値化処理を行い、マスク画像を生成する。図３（ｃ）は、生成されたマスク画像の一例を示す。マスク画像の生成処理では、正規化された断層画像の画素値が閾値以上の場合には、処理部２２２は、その画素の位置に対応するマスク画像の画素値を１にする。また、断層画像の画素値が閾値未満の場合には、処理部２２２は、その画素の位置に対応するマスク画像の画素値を０にする。ここでは閾値は、５０とする。ただし、閾値は、今回のように経験に基づいて決定してもよいし、例えば、断層画像のノイズレベルに基づいて定める等、断層画像の統計処理により動的に決定してもよい。なお、断層画像のノイズレベルに基づく二値化処理の方法は、上記方法に限られず、公知の任意の方法を用いて行われてよい。処理部２２２は、二値化処理により生成されたマスク画像において、画素値が１である領域を注目領域とする。
【0052】
その後、処理部２２２は、処理対象の断層画像における注目領域を切り出すために、注目領域を囲む最小の長方形のマスク画像を設定する。図３（ｄ）は設定されたマスク画像の一例を示す。処理部２２２は、設定したマスク画像を用いて、処理対象の断層画像から注目領域の抽出を行う。また、処理部２２２は、断層画像から注目領域の画像の抽出を行う際に、抽出が行われた断層画像の情報と、断層画像における、抽出した注目領域の位置情報とを記憶部２４に記憶する。図３（ｅ）は抽出された注目領域の画像の一例を示す。
【0053】
なお、本実施形態では二値化処理を用いて注目領域検出処理を行った。しかしながら、注目領域検出処理の方法は二値化処理に限られず、例えばルールベースの領域検出を用いてもよい。ここで、ルールベースの処理とは既知の規則性を利用した処理をいい、ルールベースの領域検出とは、例えば網膜の形状の規則性等の既知の規則性を利用した領域検出処理をいう。
【0054】
（パッキング処理及びアンパック処理）
次に、図４及び図５を参照して、本実施形態に係るパッキング処理及びアンパック処理について説明する。図４は、本実施形態に係るパッキング処理の概略を示し、図５は本実施形態に係るアンパック処理の概略を示す。
次に、図４及び図５を参照して、本実施形態に係るパッキング処理及びアンパック処理について説明する。図４は、本実施形態に係るパッキング処理の概略を示し、図５は本実施形態に係るアンパック処理の概略を示す。
【0055】
処理部２２２は、パッキング処理として、図４に示すように、複数の断層画像４０１～４０４から抽出された複数の注目領域４０６～４０９の画像を、一つの画像に縦（被検眼の深さ方向）に並べて詰め込み（パッキングし）、合成画像４０５を生成する。なお、生成する合成画像４０５は後述する学習済モデルへの入力画像となるため、合成画像４０５の画像サイズは学習済モデルが処理可能な画像サイズとすることができる。本実施形態では、合成画像４０５の画像サイズは、学習済モデルに関する学習データの入力データとして用いられる画像の画像サイズと同じサイズとすることができる。
【0056】
ここで、注目領域の深さ方向（Ｚ方向）の大きさは、被検眼の網膜の状態に応じて変化する。そのため、処理部２２２は、合成画像４０５に詰め込む注目領域の画像の数を可変とすることができる。ここで、本実施形態に係る処理部２２２は、合成画像４０５になるべく多く注目領域の画像を詰め込むように構成される。
【0057】
また、処理部２２２は、アンパック処理として、学習済モデルを用いたセグメンテーション処理により得られたラベル画像５０５をそれぞれの注目領域の画像にアンパック（分割）し、分割したそれぞれの領域の画像を元の断層画像の注目領域に上書きする。この際に、処理部２２２、記憶部２４に記憶されたそれぞれの注目領域に対応する断層画像の情報と位置情報を用いて、対応する断層画像における注目領域の位置を特定し、分割された注目領域の画像を、対応する断層画像における注目領域の位置に戻す。当該アンパック処理により、処理部２２２は、図５に示すように、処理対象の断層画像４０１～４０４に対応する検出結果画像５０１～５０４を生成することができる。
【0058】
（学習データ）
次に、図６（ａ）乃至図９（ｃ）を参照して、本実施形態に係る機械学習モデルの学習について説明する。機械学習モデルの学習データは、１つ以上の入力データと出力データとのペア群で構成される。本実施形態に係る学習データでは、複数の断層画像における注目領域の画像をパッキング処理した合成画像を入力データとし、当該合成画像に対応するラベル画像を出力データとする。ここで、ラベル画像とは画素毎にラベル付けがなされた画像であり、本実施形態では、画素毎に当該画素に現れている（撮影されている）像に関するラベルが与えられた画像をいう。なお、本実施形態では領域毎にラベルを付したラベル画像を学習データの出力データに用いて領域検出を行うが、領域に限らず、境界を示す又は境界毎にラベルを付された境界画像を学習データの出力データに用いて境界検出を行ってもよい。
次に、図６（ａ）乃至図９（ｃ）を参照して、本実施形態に係る機械学習モデルの学習について説明する。機械学習モデルの学習データは、１つ以上の入力データと出力データとのペア群で構成される。本実施形態に係る学習データでは、複数の断層画像における注目領域の画像をパッキング処理した合成画像を入力データとし、当該合成画像に対応するラベル画像を出力データとする。ここで、ラベル画像とは画素毎にラベル付けがなされた画像であり、本実施形態では、画素毎に当該画素に現れている（撮影されている）像に関するラベルが与えられた画像をいう。なお、本実施形態では領域毎にラベルを付したラベル画像を学習データの出力データに用いて領域検出を行うが、領域に限らず、境界を示す又は境界毎にラベルを付された境界画像を学習データの出力データに用いて境界検出を行ってもよい。
【0059】
図６（ａ）及び図６（ｂ）は、領域検出処理用の学習データの一例を説明するための図である。ただし、図６（ａ）及び図６（ｂ）においては、説明の簡略化のため、断層画像と当該断層画像に対応するラベル画像を学習データの一例として示す。図６（ａ）はＯＣＴの撮影によって取得された断層画像６０１の一例を示す。図６（ｂ）は、断層画像６０１から任意の層にラベルを与えたラベル画像６０２を示す。以下、断層画像６０１及びラベル画像６０２のペア群によって構成される学習データを例に説明する。
【0060】
ラベル画像６０２においては、境界線Ｌ１と境界線Ｌ２の間のラベルをＮＦＬの領域６０３とする。また、境界線Ｌ２と境界線Ｌ３の間のラベルをＧＣＬ＋ＩＰＬの領域６０４とする。さらに、境界線Ｌ３と境界線Ｌ４の間のラベルをＩＮＬ＋ＯＰＬ＋ＯＮＬ＋視細胞層の領域６０５とする。また、境界線Ｌ４の下部の領域のラベルをＲＰＥ層の領域６０６とする。なお、その他の領域として、神経節細胞層（ＧＣＬ）、内網状層（ＩＰＬ）、内顆粒層（ＩＮＬ）、外網状層（ＯＰＬ）、外顆粒層（ＯＮＬ）、視細胞層、及び網膜色素上皮層（ＲＰＥ）のそれぞれの単独領域又は複数の層の集まりの領域を示してもよい。
【0061】
ここで、例えば、学習データに用いるラベル画像に関して、脈絡膜についての領域ラベルを含めないことで、学習済モデルから出力されるラベル画像においても、脈絡膜の領域のラベルを省くことができる。この場合には、学習済モデルを用いて、脈絡膜と網膜領域を適切に区別したセグメンテーション処理を行うことができる。
【0062】
なお、学習データは、１の入力データに対して、複数の出力データとの群で構成されてもよい。例えば、入力データとして断層画像６０１を用いて、出力データとして、図７（ａ）乃至図７（ｄ）に示されているそれぞれの領域を特定するラベル画像７０７～７１０を用いてもよい。
【0063】
なお、出力データとして用いられるラベル画像６０２は、医師等により断層画像において領域にラベルが付された画像であってもよいし、ルールベースの領域検出処理により領域が検出された画像であってもよい。さらに、出力データとして用いられるラベル画像６０２は、ルールベースの領域検出処理により領域が検出された画像について、医師等が修正を行った画像であってもよい。ただし、適切に領域検出が行われていない画像を学習データの出力データとして用いて機械学習を行うと、当該学習データを用いて学習した学習済モデルが出力する画像も適切に領域検出が行われていない画像となってしまう可能性がある。そのため、そのような領域画像を含むペアを学習データから取り除くことで、学習済モデルが適切でない領域画像を生成する可能性を低減させることができる。
【0064】
なお、上述のように、学習データの出力データとして境界画像が用いられてもよい。この場合、出力データとして用いられる境界画像は、医師等により断層画像において境界が示された画像又は境界にラベルが付された境界画像であってもよいし、ルールベースの領域検出処理により境界が検出された境界画像であってもよい。この場合、出力データとして用いられる境界画像も、ルールベースの領域検出処理により領域が検出された画像について、医師等が修正を行った画像であってもよい。
【0065】
さらに、図６（ａ）及び図６（ｂ）においては、網膜のＸＹ面内においてある一つのＸＺ断面の例を示しているが、断面はこれに限らない。図示しないが、ＸＹ面内における任意の複数のＸＺ断面を事前に学習しておき、ラスタスキャンやラジアルスキャン等、異なる様々なスキャンパターンで撮影された断面に対して対応できるようにしておくことができる。例えば、ラスタスキャンで三次元的に網膜を撮影した三次元の断層画像等のデータを用いる場合には、隣接する複数の断層画像間の位置合わせをしたボリュームデータを学習データに用いることができる。この場合には、１つのボリュームデータとこれに対応する１つの三次元ラベルデータ（三次元のラベル画像）とから、任意の角度のペア画像群を生成することが可能である。また、機械学習モデルは、実際に様々なスキャンパターンで撮影した画像を学習データとして用いて学習してもよい。
【0066】
上記では、説明の簡略化のために、断層画像と対応するラベル画像を学習データの例としたが、本実施形態では、複数の注目領域をパッキング処理して生成した合成画像と当該合成画像に対応するラベル画像を学習データとして用いる。ここで、図８は、本実施形態に係る学習データの入力データとして用いる合成画像８０１と、合成画像８０１に対応するラベル画像８０２の一例を示す。なお、本実施形態に係る合成画像に対応するラベル画像の生成方法も、上述のラベル画像の生成方法と同様の方法であってよい。また、学習データとして用いる合成画像についても、ＸＺ面内の断面に関する断層画像の注目領域を詰め込んだものに限られず、ＹＺ面内の断面や様々なスキャンパターンで撮影した画像を学習データとして用いてもよい。
【0067】
ここで、上述のように、注目領域の深さ方向（Ｚ方向）の大きさは、被検眼の網膜の状態に応じて変化するため、本実施形態に係る処理部２２２は、合成画像になるべく多く注目領域の画像を詰め込むように構成される。これに対応して、学習データの入力データとして用いられる合成画像についても、合成画像に含まれる注目領域の数を可変とすることができる。このため、学習データに用いる合成画像８０１としては、２つ以上の様々な数の注目領域が合成画像を用いることができる。例えば、学習済モデルの出力データとして用いられる合成画像の群には、２つの注目領域が含まれる合成画像、３つの注目領域が含まれる合成画像、及び４つの注目領域が含まれる合成画像等が含まれてよい。なお、学習データの出力データとして用いられるラベル画像は、当該様々な数の注目領域が含まれる合成画像に対応するラベル画像であればよい。
【0068】
次に、学習データとして用いる画像について説明する。本実施形態では、機械学習モデルの学習データを構成する、合成画像８０１とラベル画像８０２とのペア群については、位置関係が対応する一定の画像サイズの矩形領域画像のペアによって構成する。以下、図９（ａ）乃至図９（ｃ）を参照して、当該画像のペアについて説明する。
【0069】
まず、学習データを構成するペア群の１つを、合成画像８０１とラベル画像８０２とした場合について説明する。この場合には、図９（ａ）に示すように、合成画像８０１の全体である矩形領域画像９０１を入力データ、ラベル画像８０２の全体である矩形領域画像９０２を出力データとして、ペアを構成する。なお、図９（ａ）に示す例では各画像の全体により入力データと出力データのペアを構成しているが、ペアはこれに限らない。
【0070】
例えば、図９（ｂ）に示すように、合成画像８０１のうちの矩形領域画像９１１を入力データ、ラベル画像８０２における対応する画素位置の矩形領域画像９１３を出力データとして、ペアを構成してもよい。矩形領域画像９１１，９１３は、Ａスキャン単位を基本としている。Ａスキャン単位とは、１本のＡスキャン単位でもよいし、数本のＡスキャン単位でもよい。
【0071】
なお、図９（ｂ）ではＡスキャン単位を基本としているが、画像に対して深さ方向の全てを矩形領域の範囲とするのではなく、上下に矩形領域外の部分を設けてもよい。すなわち、矩形領域の横方向のサイズはＡスキャン数本分、矩形領域の深さ方向のサイズは、画像の深さ方向のサイズよりも小さく設定してもよい。例えば、図９（ｃ）に示すように、合成画像８０１のうちの矩形領域画像９２１を入力データ、ラベル画像８０２における対応する画素位置の矩形領域画像９２３を出力データとして、ペアを構成してもよい。この場合、矩形領域のサイズは、１つの矩形領域内に複数のラベルを含むサイズとすることができる。
【0072】
なお、学習時には、スキャン範囲（撮影画角）、スキャン密度（Ａスキャン数）を正規化して画像サイズを揃えて、学習時の矩形領域サイズを一定に揃えることができる。また、図９（ａ）乃至図９（ｃ）に示した矩形領域画像は、それぞれ別々に学習する際の矩形領域サイズの一例である。
【0073】
矩形領域の数は、図９（ａ）に示す例では１つ、図９（ｂ）及び図９（ｃ）に示す例では複数設定可能である。例えば、図９（ｂ）に示す例において、合成画像８０１のうちの矩形領域画像９１２を入力データ、ラベル画像８０２における対応する画素位置の矩形領域画像９１４を出力データとしてペアを構成することもできる。また、例えば、図９（ｃ）に示す例において、合成画像８０１のうちの矩形領域画像９２２を入力データ、ラベル画像８０２における対応する画素位置の矩形領域画像９２４を出力データとしてペアを構成することもできる。このように、１枚ずつの合成画像及びラベル画像のペアから、互いに異なる矩形領域画像のペアを作成できる。なお、元となる合成画像及びラベル画像において、領域の位置を異なる座標に変えながら多数の矩形領域画像のペアを作成することで、学習データを構成するペア群を充実させることができる。
【0074】
図９（ｂ）及び図９（ｃ）に示す例では、離散的に矩形領域を示しているが、実際には、元となる合成画像及びラベル画像を、隙間なく連続する一定の画像サイズの矩形領域画像群に分割することができる。また、元となる合成画像及びラベル画像について、互いに対応する、ランダムな位置の矩形領域画像群に分割してもよい。このように、矩形領域（又は、短冊領域）として、より小さな領域の画像を入力データ及び出力データのペアとして選択することで、もともとのペアを構成する合成画像８０１及びラベル画像８０２から多くのペアデータを生成できる。そのため、機械学習モデルのトレーニングにかかる時間を短縮することができる。一方で、完成した機械学習モデルの学習済モデルでは、実行するセグメンテーション処理の時間が長くなる傾向にある。ここで、セグメンテーション処理とは、画像内の領域や境界を識別したり、区別したりする処理をいう。
【0075】
また、その他の機械学習モデルの学習データの例として、合成画像８０１と当該合成画像８０１について、ラベル画像７０７～７１０のように、それぞれの領域を示すラベルのみを付したラベル画像とのペア群を用いてもよい。さらに、このようなラベル単位での学習データと、図９（ｂ）及び図９（ｃ）に示すような合成画像内の領域単位での学習データの作成方法の組み合わせで学習データを作成し、学習データとして利用してもよい。例えば、学習データのペア群として、図８に示す合成画像８０１における矩形領域の画像を入力データとし、当該画像に対応する不図示の複数のラベル単位の画像を出力データとした学習データを利用してもよい。
【0076】
（機械学習モデルの構成）
次に、本実施形態に係る機械学習モデルの一例として、入力された合成画像に対して、セグメンテーション処理を行う畳み込みニューラルネットワーク（ＣＮＮ）に関して、図１０を参照して説明する。図１０は、処理部２２２が用いる学習済モデルに関する機械学習モデルの構成１００１の一例を示している。
次に、本実施形態に係る機械学習モデルの一例として、入力された合成画像に対して、セグメンテーション処理を行う畳み込みニューラルネットワーク（ＣＮＮ）に関して、図１０を参照して説明する。図１０は、処理部２２２が用いる学習済モデルに関する機械学習モデルの構成１００１の一例を示している。
【0077】
図１０に示す機械学習モデルは、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお、当該機械学習モデルの構成１００１に含まれる層の種類としては、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、及び合成（Ｍｅｒｇｅｒ）層がある。
【0078】
畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、フィルタのカーネルサイズの次元数も変更してもよい。
【0079】
ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。具体的には、このような処理として、例えば、Ｍａｘ Ｐｏｏｌｉｎｇ処理がある。
【0080】
アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。具体的には、このような処理として、例えば、線形補間処理がある。
【0081】
合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。
【0082】
なお、図１０に示す構成１００１に含まれる畳み込み層群に設定されるパラメータとして、例えば、フィルタのカーネルサイズを幅３画素、高さ３画素、フィルタの数を６４とすることで、一定の精度のセグメンテーション処理が可能である。ただし、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、学習データからトレーニングされた傾向を出力データに再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて好ましい値に変更することができる。
【0083】
また、上述したようなパラメータを変更するという方法だけでなく、ＣＮＮの構成を変更することによって、ＣＮＮがより良い特性を得られる場合がある。より良い特性とは、例えば、セグメンテーション処理の精度が高かったり、セグメンテーション処理の時間が短かったり、機械学習モデルのトレーニングにかかる時間が短かったりする等である。図示しないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（Ｒｅｃｔｉｆｉｅｒ Ｌｉｎｅａｒ Ｕｎｉｔ）を用いた活性化層を組み込む等をしてもよい。
【0084】
このような機械学習モデルの学習済モデルにデータを入力すると、機械学習モデルの設計に従ったデータが出力される。例えば、学習データを用いてトレーニングされた傾向に従って入力データに対応する可能性の高い出力データが出力される。
【0085】
（領域検出処理）
本実施形態に係る学習済モデルでは、合成画像８０１が入力されると、学習データを用いてトレーニングされた傾向に従って、ラベル画像８０２が出力される。処理部２２２は、ラベル画像８０２についてアンパック処理を行うことで、図５に示すように合成画像の生成に使用された各断層画像に対応するラベル画像を取得することができる。処理部２２２は、取得したラベル画像に基づいて、処理対象である断層画像における網膜層の領域を検出することができる。なお、学習データの出力データとして境界を示す又は境界毎にラベルが付された境界画像を用いている場合には、処理部２２２は、処理対象である断層画像における網膜層の境界を検出することができる。
本実施形態に係る学習済モデルでは、合成画像８０１が入力されると、学習データを用いてトレーニングされた傾向に従って、ラベル画像８０２が出力される。処理部２２２は、ラベル画像８０２についてアンパック処理を行うことで、図５に示すように合成画像の生成に使用された各断層画像に対応するラベル画像を取得することができる。処理部２２２は、取得したラベル画像に基づいて、処理対象である断層画像における網膜層の領域を検出することができる。なお、学習データの出力データとして境界を示す又は境界毎にラベルが付された境界画像を用いている場合には、処理部２２２は、処理対象である断層画像における網膜層の境界を検出することができる。
【0086】
なお、図９（ｂ）及び図９（ｃ）に示すように、画像の領域を分割して学習している場合には、処理部２２２は、複数の断層画像をパッキングした合成画像を学習データに対応する画像サイズの矩形領域画像に分割し、学習済モデルに入力する。学習済モデルは、それぞれの矩形領域に対応するラベル画像である矩形領域画像を出力する。これにより、処理部２２２は、各矩形領域において網膜層の領域を検出することができる。
【0087】
また、処理部２２２は、学習済モデルから出力されたラベル画像である矩形領域画像群のそれぞれを、学習済モデルに入力した矩形領域画像群のぞれぞれと同様の位置関係に配置して結合し、合成画像に対応するラベル画像を取得する。処理部２２２は、取得したラベル画像についてアンパック処理を行うことで、入力された断層画像に対応するラベル画像を取得することができる。これにより、処理部２２２は、取得されたラベル画像に基づいて、処理対象である断層画像における網膜層の領域を検出することができる。なお、学習データの出力データとして境界を示す又は境界毎にラベルが付された境界画像を用いている場合には、処理部２２２は、処理対象である断層画像における網膜層の境界を検出することができる。
【0088】
なお、学習データの出力データとしてラベル単位でのラベル画像を用いる場合には、学習済モデルに合成画像が入力されると、ラベル画像７０７～７１０のように、合成画像に対応するそれぞれの領域毎のラベル画像が出力される。この場合には、処理部２２２は、出力された複数のラベル画像についてアンパック処理を行うことで、断層画像における網膜層の領域を検出することができる。
【0089】
（一連の動作処理）
次に、図１１（ａ）及び図１１（ｂ）を参照して、本実施形態に係る一連の処理について説明する。図１１（ａ）は、本実施形態に係る一連の処理のフローチャートである。本実施形態に係る一連の処理が開始されると、処理はステップＳ１１１０に移行する。
次に、図１１（ａ）及び図１１（ｂ）を参照して、本実施形態に係る一連の処理について説明する。図１１（ａ）は、本実施形態に係る一連の処理のフローチャートである。本実施形態に係る一連の処理が開始されると、処理はステップＳ１１１０に移行する。
【0090】
ステップＳ１１１０では、取得部２１が、被検眼を同定する情報の一例である被検者識別番号を入力部６０等の画像処理装置２０の外部から取得する。取得部２１は、被検者識別番号に基づいて、外部記憶装置４０が保持している当該被検眼に関する情報を取得して記憶部２４に記憶する。
【0091】
ステップＳ１１２０では、駆動制御部２３がＯＣＴ装置１０を制御して被検眼をスキャンすることで撮影を行い、取得部２１がＯＣＴ装置１０から被検眼の断層情報を含む干渉信号を取得する。被検眼のスキャンは、操作者によるスキャン開始の指示に応じて、駆動制御部２３がＯＣＴ装置１０を制御し、光源１１やガルバノミラー１２等を動作させることで行われる。
【0092】
ガルバノミラー１２は、水平方向用のＸスキャナと垂直方向用のＹスキャナを含む。そのため、駆動制御部２３は、これらのスキャナの向きをそれぞれ変更することで、装置座標系における水平方向（Ｘ）及び垂直方向（Ｙ）のそれぞれの方向に測定光を走査することができる。なお、駆動制御部２３は、これらのスキャナの向きを同時に変更させることで、水平方向と垂直方向とを合成した方向にも測定光を走査することができる。そのため、駆動制御部２３は、眼底平面上の任意の方向に測定光を走査することができる。
【0093】
駆動制御部２３は、撮影を行うにあたり各種撮影パラメータの調整を行う。具体的には、駆動制御部２３は、内部固視灯１６で表示するパターンの位置、ガルバノミラー１２によるスキャン範囲やスキャンパターン、コヒーレンスゲート位置、及びフォーカスを少なくとも設定する。
【0094】
駆動制御部２３は、表示部１６１の発光ダイオードを制御して、被検眼の黄斑部中心や視神経乳頭部の撮影を行うように内部固視灯１６で表示するパターンの位置を制御する。また、駆動制御部２３は、ガルバノミラー１２のスキャンパターンとして、三次元ボリュームを撮影するラスタスキャンや放射状スキャン、サークルスキャン、クロススキャンなどのスキャンパターンを設定する。なお、どのスキャンパターンを選択した場合においても、一つのライン上を繰り返し複数枚（繰り返し回数は２枚以上）撮影してもよい。本実施形態においては、スキャンパターンは、ボリュームデータ（三次元の断層画像）を取得するためのラスタスキャンとする。これら撮影パラメータの調整終了後、操作者による撮影開始の指示に応じて、駆動制御部２３がＯＣＴ装置１０を制御して被検眼の撮影を行い、三次元の断層データに対応する干渉信号を取得する。
【0095】
なお、本開示においては詳細な説明を省略するが、ＯＣＴ装置１０は、加算平均用やＯＣＴＡ（ＯＣＴ Ａｎｇｉｏｇｒａｐｈｙ）に関するモーションコントラストデータの算出用に同じ箇所を撮影するために、被検眼のトラッキングを行うことができる。これにより、ＯＣＴ装置１０は、固視微動の影響を少なくして被検眼のスキャンを行うことができる。
【0096】
ステップＳ１１３０では、断層画像生成部２２１が、取得部２１によって取得された干渉信号に基づいて三次元の断層画像の生成を行う。断層画像生成部２２１は、それぞれの干渉信号に対して、一般的な再構成処理を行うことで、断層画像を生成することができる。
【0097】
まず、断層画像生成部２２１は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は、取得した複数のＡスキャンの信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。その後、断層画像生成部２２１は、有限区間で干渉信号をフーリエ変換した場合にトレードオフの関係となる深さ分解能とダイナミックレンジを最適化するために、所望の窓関数処理を行う。断層画像生成部２２１は、窓関数処理を行った干渉信号に対して高速フーリエ変換（ＦＦＴ）処理を行うことによって三次元の断層データを生成する。
【0098】
断層画像生成部２２１は、生成した三次元の断層データに基づいて断層画像の各画素値を求め、三次元の断層画像を生成する。なお、断層画像の生成方法はこれに限られず、既知の任意の方法で行われてよい。
【0099】
ステップＳ１１４０では、画像処理部２２の処理部２２２が網膜層の検出処理を行う。ステップＳ１１４０の詳細は後述する。ステップＳ１１４０において、画像処理部２２が網膜層の検出処理を行うと、処理はステップＳ１１５０に移行する。
【0100】
ステップＳ１１５０では、表示制御部２５が、処理部２２２によって検出した層領域又は境界と断層画像等を表示部５０に表示する。ここで、図１２は表示部５０に表示する表示画面１２００の一例を示す。
【0101】
図１２に示される表示画面１２００には、眼底正面画像１２０１、眼底正面画像１２０１に重畳表示される厚みマップ１２０２、輝度のＥｎ－Ｆａｃｅ画像１２０３、断層画像１２１１、及び網膜の厚みグラフ１２１２が示されている。断層画像１２１１には、網膜の境界１２１５，１２１６が重畳表示されている。
【0102】
なお、本実施形態では網膜の範囲を、内境界膜を示す境界線Ｌ１から、網膜色素上皮を示す境界線Ｌ４までとしており、境界１２１５，１２１６はそれぞれ境界線Ｌ１及び境界線Ｌ４に対応する。網膜の範囲はこれに限られず、例えば、内境界膜を示す境界線Ｌ１～脈絡膜を示す境界線Ｌ６の範囲としてもよく、この場合、境界１２１５，１２１６はそれぞれ境界線Ｌ１及び境界線Ｌ６に対応することができる。
【0103】
網膜の厚みグラフ１２１２は、境界１２１５，１２１６から求められる網膜の厚みを示すグラフである。また、厚みマップ１２０２は境界１２１５，１２１６から求められる網膜の厚みをカラーマップで表現したものである。なお、図１２では、説明のため、厚みマップ１２０２に対応する色情報は示されていないが、実際には、厚みマップ１２０２は、眼底正面画像１２０１における各座標に対応する網膜の厚みを対応するカラーマップに従って表示することができる。輝度のＥｎ－Ｆａｃｅ画像１２０３は、被検眼について取得した三次元の断層データのうち境界１２１５，１２１６の間の範囲のデータをＸＹ方向に投影して生成した正面画像である。
【0104】
ここで、厚みマップ１２０２、輝度のＥｎ－Ｆａｃｅ画像１２０３、厚みグラフ１２１２、及び境界１２１５，１２１６の表示は、処理部２２２で検出した網膜層や境界に基づいて、画像処理装置２０によって生成されることができるものの例である。なお、これらを生成する生成方法は既存の任意の方法を採用してよい。また、画像処理装置２０は、例えば、検出した網膜層や境界に基づいて正面画像の生成範囲を決定し、当該生成範囲内のモーションコントラストデータをＸＹ方向に投影して生成したＯＣＴＡ正面画像（ＯＣＴＡ Ｅｎ－Ｆａｃｅ画像）等を表示してもよい。なお、ＯＣＴＡ正面画像やモーションコントラストデータの生成方法は公知の任意の方法を用いてよい。
【0105】
また、上記では、厚みマップ１２０２等の生成に用いられる網膜層の範囲を、内境界膜と神経線維層との境界線Ｌ１～境界線Ｌ４としたが、当該範囲はこれに限られない。当該範囲は、処理部２２２で検出した境界や網膜層に基づいて定めることができる範囲であればよく、例えば、境界線Ｌ２～境界線Ｌ３や、境界線Ｌ１～境界線Ｌ３等、所望の構成に応じて設定や変更が可能に構成されてよい。
【0106】
なお、表示部５０の表示画面１２００には、これらに加えて患者タブ、撮影タブ、レポートタブ、及び設定タブ等を設けてもよい。この場合、図１２の表示画面１２００に示されている内容は、レポートタブに表示されることとなる。また、表示画面１２００には、患者情報表示部、検査ソートタブ、及び検査リスト等を表示することもできる。検査リストには、眼底画像や断層画像、ＯＣＴＡ正面画像のサムネイルを表示してもよい。なお、ステップＳ１１５０での処理が終了すると、本実施形態に係る一連の処理が終了する。
【0107】
（網膜層の検出処理）
次に、図４、図５、図１１（ｂ）及び図１３を用いて本実施形態に係るステップＳ１１４０での網膜層の検出処理に関する具体的な手順を説明する。図１１（ｂ）は、本実施形態に係る網膜層の検出処理のフローチャートである。ステップＳ１１４０において、網膜層の検出処理が開始されると、処理はステップＳ１１４１に移行する。
次に、図４、図５、図１１（ｂ）及び図１３を用いて本実施形態に係るステップＳ１１４０での網膜層の検出処理に関する具体的な手順を説明する。図１１（ｂ）は、本実施形態に係る網膜層の検出処理のフローチャートである。ステップＳ１１４０において、網膜層の検出処理が開始されると、処理はステップＳ１１４１に移行する。
【0108】
ステップＳ１１４１では、処理部２２２は、処理対象の断層画像から注目領域の検出を行う。具体的には、処理部２２２は、上述のように、取得された三次元の断層画像に含まれる二次元の断層画像４０１～４０４から、それぞれ注目領域４０６～４０９を検出し、注目領域４０６～４０９の画像を抽出する。また、処理部２２２は、抽出が行われた断層画像の情報と、各断層画像における、抽出されたそれぞれの注目領域の位置情報とを記憶部２４に記憶する。
【0109】
ステップＳ１１４２では、処理部２２２は、ステップＳ１１４１で複数の断層画像から抽出された注目領域の画像をパッキング処理し、合成画像を生成する。具体的には、処理部２２２は、上述のように、複数の断層画像４０１～４０４から抽出された注目領域４０６～４０９の画像を一枚の画像に縦（被検眼の深さ方向）に並べて詰め込み（合成し）、合成画像４０５を生成する。
【0110】
ステップＳ１１４３では、処理部２２２は、学習済モデルを用いて、ステップＳ１１４２で生成された合成画像についてセグメンテーション処理を行う。具体的には、処理部２２２は、合成画像４０５を学習済モデルに入力し、出力されたラベル画像５０５を取得する。
【0111】
ステップＳ１１４４では、処理部２２２は、ステップＳ１１４３で取得したラベル画像に対してアンパック処理を行い、それぞれの注目領域に対応する検出結果画像５０１～５０４を取得する。この際に、処理部２２２は、ステップＳ１１４２で、記憶部２４に記憶されたそれぞれの注目領域に対応する断層画像の情報と位置情報を用いて、ラベル画像から分割されたそれぞれの注目領域の画像を、対応する断層画像における注目領域の位置に戻す。
【0112】
ステップＳ１１４５では、処理部２２２は、ステップＳ１１４４の検出結果画像５０１～５０４に対して後処理を行う。本実施形態では、処理部２２２は、後処理として、網膜のそれぞれの層領域の検出結果画像の動的閾値による二値化処理と穴埋め処理を行う。検出結果画像５０１～５０４では、ノイズなどにより、検出された領域の中に穴が発生することがある。図１３（ａ）は、検出結果画像１３０１の検出領域１３０２に穴１３０３が生じている例を示す。
【0113】
本実施形態では、処理部２２２は、穴埋め処理として、画像の膨張・収縮アルゴリズムを用いて、穴を消すことができる。図１３（ｂ）は、当該穴埋め処理により、穴１３０３が消された検出領域１３０５を有する検出結果画像１３０４の例を示す。なお、本実施形態では、穴埋め処理として画像の膨張・収縮アルゴリズムを用いたが、穴埋め処理はこれに限られない。処理部２２２は、例えば、二値化された抽出領域の中を全て抽出領域とする（フィーリングする）などにより穴埋め処理を行ってもよい。
【0114】
ステップＳ１１４６では、処理部２２２は、後処理が行われた検出結果画像に基づいて各断層画像における網膜層の領域を検出する。検出結果画像では、学習済モデルを用いたセグメンテーション処理により網膜層の領域についてラベルが付されているため、処理部２２２は、当該ラベルを用いて断層画像における網膜層の領域を検出することができる。また、処理部２２２は、網膜層の領域についてラベルが付された検出結果画像の各ラベルに基づいて各境界を検出してもよい。処理部２２２は、例えば、検出結果画像におけるラベル同士の境界を網膜層の境界として検出してもよい。
【0115】
なお、学習データの出力データとして境界を示す又は境界毎にラベルが付された境界画像を用いる場合には、処理部２２２は、検出結果画像として境界画像を取得できる。この場合には、処理部２２２は、後処理が行われた検出結果画像に基づいて、網膜領域における各境界を検出することができる。また、この場合には、処理部２２２は、ルールベースの処理により、検出した各境界に基づいて、各網膜層の領域を検出することもできる。ステップＳ１１４６において、網膜層の領域が検出されると、本実施形態の網膜層の検出処理が終了し、処理はステップＳ１１５０に移行する。
【0116】
上記のように、本実施形態に係る画像処理装置２０は、被検眼の断層画像を取得する取得部２１と、取得した断層画像における層及び境界の少なくとも一方を検出する処理部２２２とを備える。処理部２２２は、取得した断層画像における複数の部分領域である複数の注目領域の画像を合成することにより合成画像を生成する。さらに、処理部２２２は、学習済モデルを用いて、生成した合成画像における層及び境界の少なくとも一方を検出し、学習済モデルを用いて得た検出結果を用いて、取得した断層画像における層及び境界の少なくとも一方を検出する。
【0117】
具体的には、本実施形態に係る処理部２２２は、複数の注目領域（部分領域）の画像を被検眼の深さ方向に並べて合成することにより合成画像を生成する。また、取得部２１は、被検眼の複数の二次元の断層画像を含む三次元の断層画像を取得する。さらに、処理部２２２は、取得した三次元の断層画像に含まれる複数の二次元の断層画像を用いて、複数の二次元の断層画像における注目領域を複数検出する。本実施形態では、処理部２２２は、複数の二次元の断層画像の各々から１つの注目領域を検出する。また、処理部２２２は、取得した断層画像における画素値と閾値を用いて、複数の注目領域を検出する。ここで、注目領域は網膜を含む。
【0118】
なお、処理部２２２は、三次元の断層画像に含まれる全ての注目領域を用いて１枚の合成画像を生成する必要はなく、少なくとも２つの注目領域を用いて１枚の合成画像を生成できればよい。そのため、処理部２２２は、１枚の合成画像の生成に用いる複数の注目領域として、三次元の断層画像に含まれる少なくとも２つの注目領域を検出できればよい。
【0119】
また、用いられる学習済モデルは、被検眼の断層画像の複数の注目領域を含む合成画像と、合成画像における領域及び境界の少なくとも一方を示すラベル画像とを学習データとして用いて得た学習済モデルである。処理部２２２は、生成した合成画像をこのような学習済モデルに入力して、生成した合成画像における領域及び境界の少なくとも一方を示すラベル画像を取得する。また、処理部２２２は、学習済モデルを用いて得た検出結果を用いて、各注目領域における検出結果を取得し、取得した各注目領域における検出結果を用いて、各注目領域に対応する断層画像における層及び境界の少なくとも一方を検出する。
【0120】
本実施形態に係る画像処理装置は、以上のような構成を有するため、学習済モデルを用いて断層画像から網膜層を領域検出する際に、断層画像から網膜領域を含む注目領域を検出する。また、画像処理装置は、検出した複数の注目領域の画像をまとめた合成画像を領域検出処理の対象データとする。これにより、学習済モデルを用いて対象となる全ての網膜層の領域検出（セグメンテーション）を行いつつ、転送するデータや領域検出処理の対象データを減らすことができ、領域検出処理の効率を向上させ、処理を高速化させることができる。
【0121】
なお、本実施形態では、ＯＣＴ装置１０を用いて断層画像を撮影することで、干渉信号を取得し、三次元の断層画像を取得した。しかしながら、被検眼の三次元の断層画像を得る方法はこれに限られない。画像処理装置２０は例えば、過去に撮影され、外部記憶装置４０等に記憶されている三次元の断層データや断層画像を取得し、取得した三次元の断層データや断層画像に対してセグメンテーション処理を行ってもよい。なお、当該処理については、以下で説明する各変形例や実施形態についても適用することができる。
【0122】
なお、本実施形態では、脈絡膜及び強膜の層についてはラベル付けしていないラベル画像を学習データに用いたが、脈絡膜及び強膜の層についてもラベル付けしたラベル画像を学習データに用いてもよい。この場合、処理部２２２は、学習済モデルを用いた処理により、脈絡膜や強膜の層についてもラベル付けされたラベル画像を取得することができ、脈絡膜や強膜の層も検出することができる。なお、当該処理については、以下で説明する各変形例や実施形態についても適宜適用することができる。
【0123】
なお、本実施形態では、学習データの出力データとして領域のラベルを付したラベル画像を用いて学習を行った学習済モデルを用いて、合成画像からラベル画像を取得し、網膜層の領域検出を行った。これに対し、上述のように、学習データの出力データとして、境界を示す又は境界毎にラベルを付された境界画像を用いて学習を行った学習済モデルを用いて、合成画像から境界画像を取得し、網膜の境界を検出してもよい。なお、境界を示す境界画像に関しては、ルールベース処理により、示されている境界が網膜層のどの境界であるかを特定されてよい。なお、これらの処理については、以下で説明する各変形例や実施形態についても適用することができる。
【0124】
また、処理部２２２は、検出された網膜層の領域や境界について、入力部６０を介した操作者の指示に応じて、修正を行うように構成されることもできる。また、処理部２２２は、学習済モデルから取得したラベル画像について、入力部６０を介した操作者の指示に応じて、修正を行うように構成されることもできる。この場合には、修正したラベル画像と対応する合成画像を学習データとして、学習済モデルについて追加学習を行うことができるように、画像処理装置２０が構成されてもよい。なお、当該処理については、以下で説明する各変形例や実施形態についても適用することができる。
【0125】
（第１の実施形態の変形例１）
第１の実施形態では、ステップＳ１１４３において、処理部２２２は、学習済モデルを用いて、複数の領域のラベルを有するラベル画像を取得する例を示したが、学習済モデルを用いて取得される画像はこれに限らない。例えば、学習データの出力データとして用いる合成画像のラベル画像として、図７に示すような、ラベル単位のラベル画像を用いてもよい。このような学習を行った学習済モデルを用いる場合には、学習済モデルから出力される画像もラベル単位でのラベル画像となり、それぞれの画像は各々の異なるラベルの領域検出結果に対応する。処理部２２２は、このような領域検出結果について、上記と同様にアンパック処理等を行い、網膜層の各領域や境界を検出することもできる。ただし、隣り合った網膜層の検出された領域の境界線に不整合性（共通の境界線の場所が一致しない場合）が発生する場合がある。この場合は、それぞれの領域の対応する境界線の中心線（平均線）を共通の境界線とすればよい。
第１の実施形態では、ステップＳ１１４３において、処理部２２２は、学習済モデルを用いて、複数の領域のラベルを有するラベル画像を取得する例を示したが、学習済モデルを用いて取得される画像はこれに限らない。例えば、学習データの出力データとして用いる合成画像のラベル画像として、図７に示すような、ラベル単位のラベル画像を用いてもよい。このような学習を行った学習済モデルを用いる場合には、学習済モデルから出力される画像もラベル単位でのラベル画像となり、それぞれの画像は各々の異なるラベルの領域検出結果に対応する。処理部２２２は、このような領域検出結果について、上記と同様にアンパック処理等を行い、網膜層の各領域や境界を検出することもできる。ただし、隣り合った網膜層の検出された領域の境界線に不整合性（共通の境界線の場所が一致しない場合）が発生する場合がある。この場合は、それぞれの領域の対応する境界線の中心線（平均線）を共通の境界線とすればよい。
【0126】
（第１の実施形態の変形例２）
第１の実施形態に係るステップＳ１１４２では、処理部２２２は抽出された注目領域の画像を一つの画像に詰め込み（パッキングし）、合成画像を生成した。ここで、パッキング処理において、処理部２２２は、合成画像に詰め込む注目領域と注目領域の間に空白を設けてもよい。ここでは空白は、例えば１０ピクセルとすることができる。ただし、空白の大きさは、注目領域を区別できる程度の大きさであればよく、所望の構成に応じて任意の値に設定されてよい。
第１の実施形態に係るステップＳ１１４２では、処理部２２２は抽出された注目領域の画像を一つの画像に詰め込み（パッキングし）、合成画像を生成した。ここで、パッキング処理において、処理部２２２は、合成画像に詰め込む注目領域と注目領域の間に空白を設けてもよい。ここでは空白は、例えば１０ピクセルとすることができる。ただし、空白の大きさは、注目領域を区別できる程度の大きさであればよく、所望の構成に応じて任意の値に設定されてよい。
【0127】
また、処理部２２２は、注目領域を解析することで、空白の大きさを決めてもよい。処理部２２２は、例えば、注目領域に肥大化した網膜が含まれる場合には空白を大きくすることができる。さらに、例えば、注目領域に傾いた網膜が含まれる場合には、空白をゼロにする、又は、注目領域に既に含まれている空白を考慮して、隣り合う注目領域の空白をマイナスにして、注目領域をオーバーラップさせてもよい。
【0128】
（第１の実施形態の変形例３）
第１の実施形態では、学習データの出力データとして、網膜層の領域のラベルが付されたラベル画像を用いることで、学習済モデルから網膜層の領域を示すラベル画像が出力される構成とした。また、処理部２２２は、学習済モデルから出力されるラベル画像に対してアンパック処理した検出結果画像から網膜層の領域を検出する構成とした。これに対し、処理部２２２は、学習済モデルを用いて注目領域の画像から網膜領域の画像を検出し、網膜領域の画像に対してルールベースの処理を行うことで、網膜層の領域を検出してもよい。
第１の実施形態では、学習データの出力データとして、網膜層の領域のラベルが付されたラベル画像を用いることで、学習済モデルから網膜層の領域を示すラベル画像が出力される構成とした。また、処理部２２２は、学習済モデルから出力されるラベル画像に対してアンパック処理した検出結果画像から網膜層の領域を検出する構成とした。これに対し、処理部２２２は、学習済モデルを用いて注目領域の画像から網膜領域の画像を検出し、網膜領域の画像に対してルールベースの処理を行うことで、網膜層の領域を検出してもよい。
【0129】
被検眼の断層画像において、網膜色素上皮と脈絡膜や強膜との境界は、ルールベースの領域検出処理では適切に検出できない場合があることが知られている。そのため、上述のように、学習済モデルを用いて断層画像における網膜領域を検出し、検出した網膜領域に対してルールベースの領域検出処理を行うことで、網膜層の領域や境界線の検出精度を向上させることができると期待される。
【0130】
そこで、第１の実施形態の変形例３では、処理部２２２は、学習済モデルを用いて注目領域の画像から網膜領域の画像を検出し、網膜領域の画像に対してルールベースの処理を行う。この場合には、学習データの出力データとして、入力データである合成画像に対応する、網膜領域にラベルを付したラベル画像を用いる。なお、当該ラベル画像の作成方法は、第１の実施形態に係る学習データの出力データとして用いられるラベル画像の作成方法と同様であってよい。
【0131】
ここで、本変形例に係る学習データの出力データとしては、ＮＦＬの領域～ＲＰＥ層の領域を網膜の範囲とし、当該領域について網膜領域のラベルを付したラベル画像を用いることができる。なお、本変形例ではＮＦＬの領域～ＲＰＥ層の領域を網膜の範囲とするが、網膜の範囲はそれに限らない。例えば、網膜の範囲を、境界線Ｌ１～境界線Ｌ３の範囲、境界線Ｌ１～境界線Ｌ５の範囲、又は境界線Ｌ１～境界線Ｌ６の範囲等と定義してもよい。
【0132】
本変形例に係る処理部２２２は、このような学習を行った学習済モデルに第１の実施形態で述べた合成画像を入力することで、合成画像に対応する網膜領域についてラベルが付されたラベル画像を取得することができる。処理部２２２は、第１の実施形態におけるアンパック処理と同様に、当該取得したラベル画像についてアンパック処理を行い、それぞれのラベル画像を元の断層画像の注目領域に上書きすることができる。処理部２２２は、アンパック処理が行われた断層画像に基づいて、網膜領域を検出することができる。
【0133】
また、処理部２２２は、検出された網膜領域について、画像処理のエッジ検出（ＳｏｂｅｌフィルタやＧｒａｄｉｅｎｔ ｅｄｇｅ ｄｅｔｅｃｔｏｒ）を用いて、画像特徴抽出を行うことで、領域の境界線検出処理を行うことができる。ここで、画像特徴としては、網膜層の境界線を抽出する。さらに、処理部２２２は、その結果をルールベースで判断して網膜層の領域検出（セグメンテーション）を行うことができる。
【0134】
（境界検出処理）
ここで、図１４（ａ）乃至図１４（ｄ）を参照して、本変形例に係る境界検出処理について説明する。図１４（ａ）は入力となる断層画像の一例である断層画像１４０１を示す。図１４（ｂ）は、学習済モデルを用いて取得したラベル画像についてアンパック処理を行って取得した検出結果画像に対応するラベル画像１４０２であって、網膜領域のラベル１４０４とそれ以外に対応するラベル１４０３，１４０５を付与した画像を示す。本変形例に係る処理部２２２は、ラベル画像１４０２におけるラベル１４０４で示される網膜領域の範囲を層検出の対象領域とする。
ここで、図１４（ａ）乃至図１４（ｄ）を参照して、本変形例に係る境界検出処理について説明する。図１４（ａ）は入力となる断層画像の一例である断層画像１４０１を示す。図１４（ｂ）は、学習済モデルを用いて取得したラベル画像についてアンパック処理を行って取得した検出結果画像に対応するラベル画像１４０２であって、網膜領域のラベル１４０４とそれ以外に対応するラベル１４０３，１４０５を付与した画像を示す。本変形例に係る処理部２２２は、ラベル画像１４０２におけるラベル１４０４で示される網膜領域の範囲を層検出の対象領域とする。
【0135】
処理部２２２は、ラベル画像１４０２におけるラベル１４０４で示される網膜領域内の輪郭を検出することで、対象となる境界を検出することができる。図１４（ｃ）は、処理部２２２が、網膜領域内の輪郭を検出する処理としてノイズ除去処理とエッジ強調処理を行った強調画像１４０６を示す。
【0136】
ここで、ノイズ除去処理とエッジ強調処理について説明する。なお、図１４（ｃ）及び１４（ｄ）に示すように、視神経乳頭部については、網膜層が途切れるため、本変形例に係る処理部２２２による境界検出を行わないこととする。
【0137】
処理部２２２は、処理の対象とする断層画像１４０１において、ラベル１４０４に対応する領域に対して、ノイズ除去とエッジ強調処理を行う。処理部２２２は、ノイズ除去処理として、例えばメディアンフィルタやガウシアンフィルタを適用する。また、処理部２２２は、エッジ強調処理として、ＳｏｂｅｌフィルタやＨｅｓｓｉａｎフィルタを適用する。
【0138】
ここで、二次元のＨｅｓｓｉａｎフィルタを用いた、二次元断層画像に対するエッジ強調処理について説明する。Ｈｅｓｓｉａｎフィルタは、ヘッセ行列の２つの固有値（λ１、λ２）の関係に基づいて、二次元濃淡分布の二次局所構造を強調することができる。そのため、本変形例では、ヘッセ行列の固有値と固有ベクトル（ｅ１、ｅ２）の関係を用いて、二次元の線構造を強調する。被検眼についての二次元断層画像における線構造は網膜層の構造に相当するため、当該Ｈｅｓｓｉａｎフィルタの適用により、網膜層の構造を強調することができる。
【0139】
なお、厚みの異なる網膜層を検出するには、ヘッセ行列を計算する際に行うガウス関数による平滑化の解像度を変更すればよい。また、二次元のＨｅｓｓｉａｎフィルタを適用する際には、画像のＸＺの物理サイズを合わせるようにデータを変形した後に適用することができる。一般的なＯＣＴの場合、ＸＹ方向とＺ方向の物理サイズが異なる。そのため、画素毎の網膜層の物理サイズを合わせて（正規化して）フィルタを適用する。なお、ＸＹ方向とＺ方向の物理サイズは、ＯＣＴ装置１０の設計／構成から把握できるため、当該物理サイズに基づいて、断層画像のデータを変形させることができる。また、物理サイズを正規化しない場合には、ガウス関数による平滑化の解像度を変更することでも近似的に対応できる。
【0140】
上記では、二次元の断層画像での処理について説明したが、Ｈｅｓｓｉａｎフィルタを適用する対象はこれに限られない。断層画像を撮影した際のデータ構造がラスタスキャンによる三次元の断層画像である場合、三次元のＨｅｓｓｉａｎフィルタを適用することも可能である。この場合、画像処理部２２によって、隣接する断層画像間においてＸＺ方向の位置合わせ処理を行った後に、処理部２２２がヘッセ行列の３つの固有値（λ１、λ２、λ３）の関係に基づいて、三次元濃淡分布の二次局所構造を強調することができる。そのため、ヘッセ行列の固有値と固有ベクトル（ｅ１、ｅ２、ｅ３）の関係を用いて三次元の層構造を強調することで、三次元的にエッジを強調することも可能である。
【0141】
強調画像１４０６においては、エッジを強調した部分が白線１４０７として現れる。なお、断層画像１４０１における、ラベル１４０４に対応しない領域については、エッジ検出されない領域として扱うことができる。また、ここでは、Ｈｅｓｓｉａｎフィルタを用いてエッジ強調処理を行う構成について説明したが、エッジ強調処理の処理方法はこれに限られず、既存の任意の方法によって行われてよい。
【0142】
図１４（ｄ）は、処理部２２２が、ラベル画像１４０２と強調画像１４０６を用いて検出した網膜層の境界を示す境界画像１４０８を示す。境界画像１４０８においては、黒線１４０９が境界の例を示す。
【0143】
次に、処理部２２２が、ラベル画像１４０２と強調画像１４０６から網膜層の境界を検出する処理について説明する。処理部２２２は、強調画像１４０６からエッジ強調された境界を検出する。本変形例では、既にＩＬＭとＮＦＬとの境界とＲＰＥについて検出しているので、処理部２２２は、続けて、ＩＳＯＳ、ＮＦＬとＧＣＬ境界を検出する。なお、図示しないが、その他の境界として、外網状層（ＯＰＬ）と外顆粒層（ＯＮＬ）との境界、内網状層（ＩＰＬ）と内顆粒層（ＩＮＬ）との境界、ＩＮＬとＯＰＬとの境界、又はＧＣＬとＩＰＬとの境界等を検出してもよい。
【0144】
境界の検出方法としては、各Ａスキャンにおいてエッジ強度が強い箇所を境界候補として複数検出し、隣接するＡスキャンにおいて境界候補同士の連続性を基に、点（エッジ強度が強い箇所）を線としてつなげる処理を行う。また、処理部２２２は、点を線としてつなげた場合に、線の滑らかさを評価することで、外れ値を除去することができる。より具体的には、例えば、つなげた点同士のＺ方向の位置を比較し、所定の閾値よりもＺ方向の位置の差が大きい場合には、新しくつなげられた点を外れ値として判断し、つなげる処理から除外することができる。また、外れ値を除去した場合、除外した点のＡスキャン位置に隣接するＡスキャンにおける境界候補を線としてつなげてもよい。なお、外れ値の除去方法はこれに限られず、既存の任意の方法によって行われてよい。
【0145】
処理部２２２は、点をつなげて形成した各線について、網膜層の境界のＺ方向の上下の距離や位置関係に基づいて、対応する境界を決定する。なお、各Ａスキャンにおいて外れ値を除去した結果として検出された境界がない場合には、周囲の境界から補間で求めてもよい。また、周囲の境界からエッジを頼りに水平方向（Ｘ又はＹ方向）に境界候補を探索していき、周囲の境界から探索した境界候補を基にして再度、境界を決定するようにしてもよい。
【0146】
その後、処理部２２２は、検出した境界に対して、境界の形状を滑らかに補正する処理を実行する。例えば、ＳｎａｋｅｓやＬｅｖｅｌ Ｓｅｔ法等の動的輪郭モデル等により、画像特徴と形状特徴とを用いて境界の形状を滑らかにしてもよい。また、境界形状の座標値を信号による時系列データとみなして、Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙフィルタや、単純移動平均、加重移動平均、指数移動平均等の平滑化処理で形状を滑らかにしてもよい。
【0147】
このような処理により、処理部２２２は、検出した網膜領域内の網膜層を検出することができる。なお、前述した処理部２２２による網膜層の検出処理は一例であり、既存の任意のセグメンテーション処理を用いて網膜層を検出することもできる。
【0148】
当該変形例では、学習済モデルを用いて網膜領域を検出し、網膜領域についてルールベースのセグメンテーション処理を行うことで網膜層の領域や境界を検出した。このような場合でも、学習済モデルに入力する画像として、注目領域の画像に対してパッキング処理を行った合成画像を用いることで、転送するデータや領域検出処理の対象データを減らすことができる。そのため、領域検出処理の効率を向上させ、処理を高速化させることができる。
【0149】
なお、本変形例では、処理部２２２が学習済モデルから取得したラベル画像に対してアンパック処理を施した検出結果画像に対して、境界検出処理を行う例について述べた。これに対し、処理部２２２は、学習済モデルから取得したラベル画像に対して境界検出処理を行ってから、アンパック処理を行ってもよい。
【0150】
なお、本変形例では、学習データの出力データとして、網膜領域のラベルを付したラベル画像を用いた。これに対し、学習データの出力データとして、入力データである合成画像に対応する、網膜領域の境界を示す境界画像を用いてもよい。なお、当該境界画像の作成方法は、第１の実施形態に係る学習データの出力データとして用いられる境界画像の作成方法と同様であってよい。
【0151】
また、本変形例では、処理部２２２が、学習済モデルを用いた網膜領域の検出処理と、検出結果画像を用いた境界検出処理を行う構成としたが、これらの処理を別々に行う構成要素を設けてもよい。この場合には、処理部２２２がこれらの処理を別々に行う構成要素を含むような構成とすることができる。
【0152】
（第１の実施形態の変形例４）
第１の実施形態では、処理部２２２は、網膜層の領域についてラベル付けされた検出結果画像における各ラベルに基づいて、境界線を検出してもよいとした。しかしながら、網膜領域の境界検出方法はこれに限られない。ここで、図１５（ａ）乃至図１５（ｃ）を参照して、処理部２２２による境界検出処理の他の例について説明する。
第１の実施形態では、処理部２２２は、網膜層の領域についてラベル付けされた検出結果画像における各ラベルに基づいて、境界線を検出してもよいとした。しかしながら、網膜領域の境界検出方法はこれに限られない。ここで、図１５（ａ）乃至図１５（ｃ）を参照して、処理部２２２による境界検出処理の他の例について説明する。
【0153】
図１５（ａ）は、処理部２２２が取得した、網膜層の領域についてラベル付けされた検出結果画像１５００を示す。検出結果画像１５００において、網膜領域１５０１は、網膜層のラベルが付された網膜領域を示す。処理部２２２は、検出結果画像１５００の検出結果画像１５００の網膜領域１５０１全体に対して二値化処理を行う。図１５（ｂ）は、当該二値化処理が行われた二値化画像１５０７を示す。
【0154】
次に、処理部２２２は、二値化された網膜領域１５０１の中心線１５０２を算出する。具体的には、処理部２２２は、二値化された網膜領域１５０１について、画像の横方向（横断方向）の各画素位置において網膜領域１５０１の縦方向（深さ方向）の中心を算出し、これらをつなげることで中心線１５０２を算出する。なお、図１５（ｂ）においては、中心線１５０２を破線で示す。
【0155】
その後、処理部２２２は、二値化画像１５０７において、中心線１５０２より上の境界線は、ＩＬＭ１５０３であると判断し、ＩＬＭ１５０３より上の領域は、硝子体領域１５０４であると判断する。さらに、処理部２２２は、二値化画像１５０７において、中心線１５０２より下の境界線は、ブルーフ膜１５０５であると判断し、ブルーフ膜１５０５より下の領域を脈略膜や強膜の領域１５０６として判断する。次に、処理部２２２は、例えば、第１の実施形態の変形例３で述べた境界検出処理等により、ＩＬＭ１５０３とブルーフ膜１５０５の間の境界線を抽出し、図１５（ｃ）に示す境界線画像１５０８を取得する。このような処理によっても、処理部２２２は、網膜層の領域についてラベル付けされた検出結果画像を用いて、網膜領域の境界を検出することができる。
【0156】
なお、本変形例では、処理部２２２が学習済モデルから取得したラベル画像に対してアンパック処理を施した検出結果画像を用いて、境界検出処理を行う例について述べた。これに対し、処理部２２２は、学習済モデルから取得したラベル画像を用いて境界検出処理を行ってから、アンパック処理を行ってもよい。
【0157】
（第２の実施形態）
第１の実施形態においては、複数の断層画像から注目領域を抽出し、複数の注目領域をパッキング処理した合成画像を領域検出処理の入力データとし、転送するデータや領域検出処理の対象のデータを減らし、領域検出の効率を向上させ、処理の高速化を行った。これに対し、本発明の第２の実施形態に係る眼科装置では、注目領域の粒度（サイズ）を更に減らし、検出効率を更に向上させる。
第１の実施形態においては、複数の断層画像から注目領域を抽出し、複数の注目領域をパッキング処理した合成画像を領域検出処理の入力データとし、転送するデータや領域検出処理の対象のデータを減らし、領域検出の効率を向上させ、処理の高速化を行った。これに対し、本発明の第２の実施形態に係る眼科装置では、注目領域の粒度（サイズ）を更に減らし、検出効率を更に向上させる。
【0158】
以下、図１６乃至図１９（ｂ）を参照して、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との相違点を中心に説明する。なお、本実施形態に係る画像処理装置の構成は、第１の実施形態に係る画像処理装置の構成と同様であるため、各構成要素について同じ参照符号を用いて説明を省略する。また、本実施形態に係る一連の処理は、図１１（ａ）に示す第１の実施形態に係る一連の処理と、ステップＳ１１４０での処理以外は同様であるため、ステップＳ１１４０での処理以外の処理については説明を省略する。
【0159】
まず、図１６乃至図１８（ｉ）を参照して、本実施形態に係るステップＳ１１４０での網膜層の検出処理の具体的な手順について説明する。図１６は、本実施形態に係る網膜層の検出処理のフローチャートである。本実施形態では、ステップＳ１１４０において網膜層の検出処理が開始されると、処理はステップＳ１６０１に移行する。
【0160】
ステップＳ１６０１では、処理部２２２は、取得部２１が取得した三次元の断層画像に含まれる各二次元の断層画像を、該断層画像の横断方向において複数のストライプ（短冊状の領域）に分割する。ここで、断層画像の横断方向は、深さ方向に交差する方向であればよく、例えばラスタスキャンにおける主走査方向であってよい。図１７（ａ）は、処理対象となる断層画像１７００を示し、図１７（ｂ）は、ステップＳ１６０１のストライプ分割処理後の複数のストライプ１７０１～１７０７の例を示す。ストライプ１７０１～１７０７は、それぞれ、断層画像１７００を断層画像１７００の横断方向において分割したストライプである。本実施形態では、ストライプの幅を１２８Ａスキャンにするが、ストライプの幅はこれに限られず、例えば２５６Ａスキャン等の処理部２２２が処理可能な幅であればよい。さらに、ストライプの幅は事前に決められる必要はなく、例えば、処理対象の断層画像を断層画像の横断方向において所定の数（Ｎ個）に分割した場合の幅のように動的に決められてもよい。
【0161】
ステップＳ１６０２では、処理部２２２は処理対象の断層画像から注目領域を検出する。ステップＳ１６０２での処理は、第１の実施形態に係るステップＳ１１４１での処理と同様であるため、説明を省略する。ただし、本実施形態に係る注目領域検出は、ストライプ単位で行う。図１７（ｃ）は、ステップＳ１６０２での処理の結果例を示す。具体的には、処理部２２２は、第１の実施形態に係る注目領域の検出処理と同様の処理により、ストライプ１７０１～１７０７のそれぞれから、部分領域である注目領域１７１１～１７１７を検出し、注目領域１７１１～１７１７の画像を抽出する。また、処理部２２２は、ストライプから注目領域の画像の抽出を行う際に、抽出が行われたストライプの情報と、ストライプにおける、抽出された注目領域の位置情報とを記憶部２４に記憶する。
【0162】
ステップＳ１６０３では、処理部２２２は、ステップＳ１６０２において複数のストライプから抽出された複数の注目領域を、一つの画像にパッキング処理し、合成画像を生成する。ステップＳ１６０３での処理は、第１の実施形態に係るステップＳ１１４２での処理と同様である。ただし、本実施形態でのパッキング処理は、ストライプ単位で行う。なお、一つの合成画像に詰め込める注目領域の数は、注目領域のサイズ及び合成画像のサイズに依存するが、処理部２２２は、できる限り多くの注目領域を詰め込めるようにパッキング処理を行う。また、これに関連して、処理部２２２は、断層画像における注目領域を詰め込んだ合成画像において空きの領域がある場合には、他の断層画像における注目領域の画像を合成画像に詰め込むことができる。
【0163】
図１８（ａ）乃至図１８（ｄ）は、当該パッキング処理を説明するための図である。図１８（ａ）は、処理部２２２によって、二次元の断層画像１８００において検出された注目領域１８０１～１８０７の例を示す。図１８（ｂ）は、処理部２２２によって、三次元の断層画像における他の二次元の断層画像１８１０において検出された注目領域１８１１～１８１７の例を示す。図１８（ｃ）乃至図１８（ｅ）のそれぞれは、注目領域１８０１～１８０７，１８１１～１８１５についてパッキング処理を行って生成した、合成画像１８２０，１８３０，１８４０の例を示す。
【0164】
本実施形態に係るステップＳ１６０３では、処理部２２２は、処理対象である断層画像１８００から抽出された注目領域１８０１～１８０４の画像をパッキング処理し、合成画像１８２０を生成する。また、処理部２２２は、処理対象である断層画像１８００から抽出された注目領域１８０５～１８０７及び処理対象である他の断層画像１８１０から抽出された注目領域１８１１の画像をパッキング処理し、合成画像１８３０を生成する。さらに、処理部２２２は、処理対象である断層画像１８１０から抽出された注目領域１８１２～１８１５の画像をパッキング処理し、合成画像１８４０を生成する。その後、処理部２２２は、以降の注目領域、例えば、注目領域１８１６～１８１７や、不図示の残りの二次元の断層画像における注目領域について同様にパッキング処理を行い、合成画像を生成する。
【0165】
ステップＳ１６０４では、処理部２２２は、学習済モデルを用いて、ステップＳ１６０３において生成された合成画像のセグメンテーション処理を行い、合成画像に対応するラベル画像を取得する。ステップＳ１６０４での処理は、第１の実施形態に係るステップＳ１１４３での処理と同様である。具体的には、処理部２２２は、生成した合成画像１８２０等を学習済モデルに入力し、学習済モデルから出力されるラベル画像を取得する。ここで、図１８（ｆ）は、図１８（ｃ）に示す合成画像１８２０を学習済モデルに入力し、学習済モデルから出力されるラベル画像１８５０の例を示す。
【0166】
なお、本実施形態に係る学習済モデルの学習データは、断層画像のストライプから抽出した注目領域の画像をパッキング処理した合成画像を入力データとし、合成画像に対応するラベル画像を出力データとすればよい。なお、合成画像及び合成画像に対応するラベル画像の作成方法は、注目領域の画像を断層画像のストライプから抽出した画像とする点を除き、第１の実施形態に係る合成画像及びラベル画像の作成方法と同様であってよい。
【0167】
ステップＳ１６０５では、処理部２２２は、ステップＳ１６０４で取得したラベル画像に対してアンパック処理を行い、それぞれの注目領域に対応する検出結果画像を取得する。ステップＳ１６０５での処理は、第１の実施形態に係るステップＳ１１４４での処理と同様である。具体的には、処理部２２２は、ステップＳ１６０４で取得したラベル画像をそれぞれの注目領域の画像に分割する。また、処理部２２２は、記憶部２４に記憶されたそれぞれの注目領域に対応するストライプの情報と位置情報を用いて、ラベル画像におけるそれぞれの注目領域を、対応するストライプにおける注目領域の位置に戻す。
【0168】
ここで、図１８（ｇ）は、注目領域１８５１の画像を含む検出結果画像１８５５の例を示し、図１８（ｈ）は、注目領域１８５２の画像を含む検出結果画像１８５６の例を示す。また、図１８（ｉ）は、注目領域１８５３の画像を含む検出結果画像１８５７の例を示し、図１８（ｊ）は、注目領域１８５４の画像を含む検出結果画像１８５８の例を示す。この例によれば、処理部２２２は、ラベル画像１８５０を注目領域１８５１～１８５４の画像に分割し、注目領域１８５１～１８５４の画像を対応するストライプにおける注目領域の位置に戻し、検出結果画像１８５５～１８５８を取得することができる。
【0169】
ステップＳ１６０６では、処理部２２２は、ステップＳ１６０５で取得した検出結果画像についてストライプ結合処理を行い、処理対象の断層画像に対応する検出結果画像を取得する。図１９（ａ）は、ストライプの検出結果画像１８５５～１８６１について、ストライプ結合処理を行って取得した、処理対象の断層画像に対応する検出結果画像１９１０の例を示す。
【0170】
ステップＳ１６０７では、処理部２２２は、ステップＳ１６０６で取得した検出結果画像に対して後処理を行う。ステップＳ１６０７での処理は、第１の実施形態に係るステップＳ１１４５での処理と同様であるため、説明を省略する。
【0171】
ステップＳ１６０８では、処理部２２２は、ステップＳ１６０７で後処理が行われた検出結果画像に基づいて、各断層画像における網膜層の領域を検出する。検出結果画像では、学習済モデルを用いたセグメンテーション処理により網膜層の領域についてラベルが付されているため、処理部２２２は、当該ラベルを用いて断層画像における網膜層の領域を検出することができる。
【0172】
また、処理部２２２は、網膜層の領域についてラベルが付された検出結果画像の各ラベルに基づいて各境界を検出してもよい。処理部２２２は、例えば、検出結果画像におけるラベル同士の境界を網膜層の境界として検出してもよい。また、処理部２２２は、第１の実施形態の変形例４で述べた方法で網膜層の境界を検出してもよい。図１９（ｂ）は、検出結果画像１９１０から境界線を抽出した境界画像１９２０の例を示す。ステップＳ１６０８において、網膜層の領域が検出されると、本実施形態の網膜層の検出処理が終了し、処理はステップＳ１１５０に移行する。
【0173】
上記のように、本実施形態に係る処理部２２２は、二次元の断層画像を、被検眼の深さ方向に交差する方向（横断方向）において複数のストライプ（領域）に分割し、該分割した複数のストライプの各々から部分領域である注目領域を検出する。このため、処理部２２２は、取得した複数の二次元の断層画像の各々から複数の注目領域を検出する。なお、処理部２２２は、三次元の断層画像に含まれる全ての注目領域を用いて１枚の合成画像を生成する必要はなく、少なくとも２つの注目領域を用いて１枚の合成画像を生成できればよい。そのため、処理部２２２は、１枚の合成画像の生成に用いる複数の注目領域として、三次元の断層画像に含まれる少なくとも２つの注目領域を検出できればよい。
【0174】
上記の構成を有するため、本実施形態に係る画像処理装置２０は、処理対象の断層画像を複数のストライプに分割することで、領域検出処理の対象データの粒度（サイズ）を更に減らすことができる。このため、学習済モデルを用いて対象となる全ての網膜層の領域検出（セグメンテーション）を行いつつ、検出効率を更に向上させることができる。
【0175】
なお、本実施形態では、画像処理装置２０は、複数の二次元の断層画像を含む三次元の断層画像について網膜層の領域検出処理を行う構成とした。これに対し、画像処理装置２０は、一枚の二次元の断層画像について、本実施形態に係るストライプの分割及び統合を含む網膜層の領域検出処理を行う構成としてもよい。
【0176】
（第２の実施形態の変形例１）
第２の実施形態では、断層画像を複数のストライプに分割し、複数のストライプのそれぞれから注目領域を検出した。これに対して、第１の実施形態で説明したように、断層画像から網膜層に対応する注目領域を検出し、検出した注目領域を、第２の実施形態で説明したように複数のストライプに分割してもよい。この場合、処理部２２２は、分割した複数のストライプについて、所定の空白を空けて縦（深さ方向）に並べて合成画像を生成し、学習済モデルを用いた処理に用いてよい。このような場合には、一枚の断層画像から、学習済モデルに入力する合成画像を生成することができる。なお、合成画像を生成する際のストライプ間の空白は、第１の実施形態の変形例２で述べたように設定されてもよい。また、本変形例に係る処理は、後述する実施形態及び変形例に対して適宜適用されてもよい。
第２の実施形態では、断層画像を複数のストライプに分割し、複数のストライプのそれぞれから注目領域を検出した。これに対して、第１の実施形態で説明したように、断層画像から網膜層に対応する注目領域を検出し、検出した注目領域を、第２の実施形態で説明したように複数のストライプに分割してもよい。この場合、処理部２２２は、分割した複数のストライプについて、所定の空白を空けて縦（深さ方向）に並べて合成画像を生成し、学習済モデルを用いた処理に用いてよい。このような場合には、一枚の断層画像から、学習済モデルに入力する合成画像を生成することができる。なお、合成画像を生成する際のストライプ間の空白は、第１の実施形態の変形例２で述べたように設定されてもよい。また、本変形例に係る処理は、後述する実施形態及び変形例に対して適宜適用されてもよい。
【0177】
（第２の実施形態の変形例２）
第２の実施形態に係るステップＳ１６０１では、処理対象の断層画像を横断方向において複数のストライプに分割する際に、１２８Ａスキャン分の幅毎に分割した。これに対し、断層画像をストライプに分割する際に、後段でのストライプの結合処理におけるストライプ同士の位置合わせを容易にするため、ストライプにオーバーラップ領域（“のりしろ”とも称する）を設けてもよい。
第２の実施形態に係るステップＳ１６０１では、処理対象の断層画像を横断方向において複数のストライプに分割する際に、１２８Ａスキャン分の幅毎に分割した。これに対し、断層画像をストライプに分割する際に、後段でのストライプの結合処理におけるストライプ同士の位置合わせを容易にするため、ストライプにオーバーラップ領域（“のりしろ”とも称する）を設けてもよい。
【0178】
以下、図２０（ａ）乃至図２０（ｃ）を参照して、第２の実施形態の変形例２に係る画像処理装置について説明する。本変形例に係る画像処理装置について、第２の実施形態に係る画像処理装置との相違点を中心に説明する。なお、本変形例に係る画像処理装置の構成は、第２の実施形態に係る画像処理装置の構成と同様であるため、各構成要素について同じ参照符号を用いて説明を省略する。
【0179】
本変形例では、処理部２２２は、ステップＳ１６０１において、断層画像をストライプに分割する際に、ストライプにオーバーラップ領域を設ける。ここで、オーバーラップ領域とは、隣り合うストライプ同士で、重複する領域（共通領域）である。このような構成によれば、ステップＳ１６０６でのストライプ連結処理において、オーバーラップ領域を隣接するストライプに適切に重ね合わせることで、隣り合うストライプ同士の位置合わせをよりスムースに行うことができる。
【0180】
図２０（ａ）乃至図２０（ｃ）は、オーバーラップ領域を有するストライプを作成する方法の一例を説明するための図である。図２０（ａ）は、ストライプ１７０１～１７０７に分割された断層画像の例を示す。本変形例に係る処理部２２２は、ステップＳ１６０１において、断層画像を複数のストライプに分割する際に、隣接するストライプに重複するオーバーラップ領域をストライプに設ける。なお、処理部２２２は、ストライプに隣り合うストライプがない場合、つまり、断層画像の最初や最後のストライプに対しては、ストライプの端部を折り返した領域をオーバーラップ領域として設けることができる。これにより、ストライプに隣り合うストライプに関しても、オーバーラップ領域を設けることができ、後段の処理において処理するデータの大きさを同一にすることができる。なお、ストライプの端部を折り返した領域では、ストライプに含まれる断層像についてのミラーリング像が含まれることになる。
【0181】
ここで、図２０（ｂ）及び図２０（ｃ）を参照して、ストライプ１７０３にオーバーラップ領域を設ける例について説明する。なお、図２０（ａ）に示す断層画像ではストライプ１７０３については隣り合うストライプ１７０２が存在するが、図２０（ｂ）及び図２０（ｃ）では、処理の例示的な説明のため、隣り合うストライプ１７０２が存在しないものとしてストライプ１７０３を示す。
【0182】
まず、処理部２２２は、ストライプ１７０３について、紙面左側に隣接するストライプがない場合、図２０（ｂ）に示すように、ストライプ１７０３の左側の端部の一部を折り返した領域をオーバーラップ領域２００１としてストライプ１７０３の左側に設ける。なお、紙面右側に隣接するストライプがない場合には、処理部２２２は、ストライプ１７０３の右側の端部の一部を折り返した領域をオーバーラップ領域としてのストライプ１７０３右側に設ける。
【0183】
また、処理部２２２は、紙面右側に隣接するストライプがある場合には、図２０（ｃ）に示すように、ストライプ１７０４の左側の端部の一部をストライプ１７０３の右側にオーバーラップ領域２００２として設ける。なお、処理部２２２は、紙面左側に隣接するストライプがある場合には、当該隣接するストライプの右側の端部の一部をストライプ１７０３の左側にオーバーラップ領域として設ける。このような処理を全てのストライプに対して行うことで、処理部２２２は、処理対象となる断層画像から、隣接するストライプに重複するオーバーラップ領域を有する複数のストライプを取得することができる。
【0184】
上記のように、本変形例に係る処理部２２２は、二次元の断層画像を、被検眼の深さ方向に交差する方向（横断方向）において複数のストライプ（領域）に分割し、該分割した複数のストライプの各々から注目領域を検出する。ここで、分割した複数の領域は、該分割した複数の領域における隣接する領域に重複する領域を有する。また、処理部２２２は、分割した複数の領域において、隣接する領域がない領域には、該領域の一部を反転させた領域を当該重複する領域として付加する。このような構成から、本変形例に係る画像処理装置は、断層画像を分割したストライプに対応するラベル画像のストライプについての結合処理の効率を向上させることができる。
【0185】
なお、本変形例では、ストライプの幅が１２８Ａスキャンの場合は、オーバーラップ領域の幅は３２Ａスキャンとする。ただし、オーバーラップ領域の幅は、このサイズに限定する必要はない。ここで、オーバーラップ領域が小さすぎるとストライプ連結処理の際にスムースな位置合わせを行えない可能性があり、逆にオーバーラップ領域が大きすぎるとオーバーヘッドが発生し、全体の処理時間が大きくなる。そのため、オーバーラップ領域の幅は予め行った処理結果等に基づいて定められてよい。また、処理部２２２は、網膜の形状を解析して、オーバーラップの幅を決めてもよい。
【0186】
なお、処理部２２２は、オーバーラップ領域を生成する際にオーバーラップ領域に用いる隣り合うストライプの領域に含まれるＡスキャンのデータ（Ａスキャンデータ）を間引いてもよい。この場合、処理部２２２は、断層画像を分割した複数の領域において重複する領域の情報を間引き、重複する領域の情報が間引かれた複数の領域の各々から注目領域を検出する。このような構成によれば、オーバーラップ領域の情報を低減することができ、全体の処理時間を低減させることができる。なお、本変形例のように、ストライプにオーバーラップ領域を設ける場合には、学習データとして用いる合成画像及びラベル画像（又は境界画像）についてもオーバーラップ領域を含む注目領域を含んだ画像とすることができる。
【0187】
なお、ステップＳ１６０６でのストライプ連結処理では、オーバーラップ領域のセグメンテーション処理結果について、隣接するストライプにおけるセグメンテーション処理結果との間で誤差が発生する可能性がある。この場合には、処理部２２２は、メインのストライプについてのセグメンテーション結果とオーバーラップ領域のセグメンテーション結果の平均処理を行ってもよい。なお、平均処理は、重み付けの平均処理であってもよい。例えば、メインのストライプ（例えばストライプ１７０３）のセグメンテーション処理結果の重みを重く（例えば４に）し、隣り合うストライプ１７０４の左オーバーラップ領域のセグメンテーション処理結果の重みを軽く（例えば１に）して、平均処理してよい。なお、その他の重み値は所望の構成に応じて任意に設定されてよい。
【0188】
（第３の実施形態）
第２の実施形態の変形例においては、処理対象の断層画像を、オーバーラップ領域を含む複数のストライプに分割して、領域検出処理の対象データの粒度（サイズ）を更に減らし、検出効率を更に向上させる方法について説明を行った。これに対し、本発明の第３の実施形態では、ストライプにおけるオーバーラップ領域を減らすため、処理対象の三次元の断層画像において、サンプリング数の少ない方向で二次元の断層画像からストライプ分割を行い、処理対象となるストライプの画像を取得する。
第２の実施形態の変形例においては、処理対象の断層画像を、オーバーラップ領域を含む複数のストライプに分割して、領域検出処理の対象データの粒度（サイズ）を更に減らし、検出効率を更に向上させる方法について説明を行った。これに対し、本発明の第３の実施形態では、ストライプにおけるオーバーラップ領域を減らすため、処理対象の三次元の断層画像において、サンプリング数の少ない方向で二次元の断層画像からストライプ分割を行い、処理対象となるストライプの画像を取得する。
【0189】
以下、図２１及び図２２を参照して、本実施形態に係る画像処理装置について、第２の実施形態の変形例に係る画像処理装置との相違点を中心に説明する。なお、本実施形態に係る画像処理装置の構成は、第２の実施形態の変形例に係る画像処理装置の構成と同様であるため、各構成要素について同じ参照符号を用いて説明を省略する。また、本実施形態に係る網膜層の検出処理は、第２の実施形態の変形例に係る網膜層の検出処理と同様であるため、説明を省略する。
【0190】
図２１及び図２２を参照して、本実施形態に係る一連の処理について説明する。図２１は、本実施形態に係る一連の処理のフローチャートである。本実施形態に係る一連の処理が開始されると、処理はステップＳ２１１０に移行する。
【0191】
ステップＳ２１１０では、取得部２１が、被検眼を同定する情報の一例である被検者識別番号を入力部６０等の画像処理装置２０の外部から取得する。ステップＳ２１１０での処理は、ステップＳ１１１０での処理と同様であるため、説明を省略する。
【0192】
ステップＳ２１２０では、駆動制御部２３がＯＣＴ装置１０を制御して被検眼をスキャンすることで撮影を行い、取得部２１がＯＣＴ装置１０から被検眼の断層情報を含む三次元の断層データに対応する干渉信号を取得する。ステップＳ２１２０での処理は、ステップＳ１１２０での処理と同様であるため、説明を省略する。
【0193】
ステップＳ２１３０では、断層画像生成部２２１が、取得部２１によって取得された干渉信号に基づいて断層画像の生成を行う。ステップＳ２１３０での処理は、ステップＳ１１３０での処理と同様であるため、説明を省略する。
【0194】
ステップＳ２１４０では、断層画像生成部２２１が、ステップＳ２１３０で生成された断層画像の再構成を行う。ここでは、断層画像生成部２２１は、網膜の三次元の断層画像を撮影する際の主走査方向のサンプリング数（Ａスキャン数）と、副走査方向のサンプリング数（Ｂスキャン数）を比較する。断層画像生成部２２１は、比較結果に基づいて、サンプリング数の少ない方向での断層画像を再構成する。
【0195】
ここで、例えば、ステップＳ２１２０で取得された断層画像について、主走査方向のサンプリング数が１０２４（Ａスキャン）、副走査方向のサンプリング数が１２８（Ｂスキャン）であるとする。この場合には、ステップＳ２１４０では、断層画像生成部２２１が、サンプリング数の少ない副走査方向を横断方向として断層画像を再構成する。これにより、取得部２１は横断方向のサンプリング数が１２８（Ａスキャン）である断層画像を１０２４枚取得することができる。
【0196】
このステップＳ２１２０での処理例を、図２２（ａ）及び図２２（ｂ）を参照して説明する。なお、図２２（ａ）及び図２２（ｂ）において、網膜２２０１は撮影対象の網膜を示す。図２２（ａ）は、主走査方向がＸ方向で、副走査方向がＹ方向であるラスタスキャンによる撮影によって得られる三次元の断層画像の概略を示す。この場合、断層画像生成部２２１は、ステップＳ２１３０において、副走査方向でのサンプリング数が２０Ｂスキャン（Ｕ０１～２０）であり、主走査方向でのサンプリング数が２９Ａスキャン（Ｔ０１～２９）で構成される三次元の断層画像を生成する。このような三次元の断層画像に対し、断層画像生成部２２１は、ステップＳ２１４０での処理結果として、図２２（ｂ）に示すように、横断方向のサンプリング数が２０Ａスキャンである２９枚の二次元の断層画像を取得する。
【0197】
ステップＳ２１５０では、処理部２２２が網膜層の検出処理を行う。ステップＳ２１５０での処理は、ステップＳ１１４０での処理と同様であるため、説明を省略する。ただし、本実施形態での網膜層の検出処理は、ステップＳ２１４０で再構成された複数の二次元の断層画像について行われる。
【0198】
ステップＳ２１６０では、断層画像生成部２２１が、ステップＳ２１５０で取得された検出結果画像を、元の横断方向での画像として再構成する。なお、画像の再構成の方法は任意の方法であってよい。例えば、断層画像生成部２２１は、ステップＳ２１５０で取得された複数の二次元の検出結果画像を三次元方向に並べて三次元の検出結果画像を構成し、三次元の検出結果画像から元の横断方向での二次元画像を再構成してよい。ステップＳ２１６０での処理によれば、断層画像生成部２２１は、ステップＳ２１３０で生成された断層画像と同じ横断方向での検出結果画像を取得することができる。
【0199】
ステップＳ２１７０では、表示制御部２５が、ステップＳ２１６０によって検出した網膜層の領域又は境界と断層画像等を表示部５０に表示する。ステップＳ２１７０での処理はステップＳ１１５０での処理と同様であるため、説明を省略する。なお、ステップＳ２１７０での処理が終了すると、本実施形態に係る一連の処理が終了する。
【0200】
上記のように、本実施形態に係る取得部２１は、被検眼の深さ方向に交差する方向に対応する横断方向を、被検眼の三次元の断層画像におけるサンプリング数の少ない走査方向とした二次元の断層画像を取得する。これにより、ストライプにおけるオーバーラップ領域を減らすことができ、ストライプ化の効率を向上させるとともにパッキング処理の効率を向上させ、処理全体の時間が減らすことができる。
【0201】
（第３の実施形態の変形例）
第３の実施形態に係るステップＳ２１４０では、主走査のサンプリング数（Ａスキャン数）と、副走査のサンプリング数（Ｂスキャン数）を比較してサンプリング数の少ない方向を横断方向とした断層画像を再構成した。しかしながら、断層画像の再構成を行う方向は、その他の基準により判断されてもよい。例えば、断層画像生成部２２１は、横断方向を、網膜上の撮影領域のＸ方向のサイズとＹ方向のサイズを対比してサイズが小さい方向として断層画像を再構成してもよい。この場合、取得部２１は、被検眼の三次元の断層画像における撮影領域サイズが小さい走査方向を横断方向とした二次元の断層画像を取得する。
第３の実施形態に係るステップＳ２１４０では、主走査のサンプリング数（Ａスキャン数）と、副走査のサンプリング数（Ｂスキャン数）を比較してサンプリング数の少ない方向を横断方向とした断層画像を再構成した。しかしながら、断層画像の再構成を行う方向は、その他の基準により判断されてもよい。例えば、断層画像生成部２２１は、横断方向を、網膜上の撮影領域のＸ方向のサイズとＹ方向のサイズを対比してサイズが小さい方向として断層画像を再構成してもよい。この場合、取得部２１は、被検眼の三次元の断層画像における撮影領域サイズが小さい走査方向を横断方向とした二次元の断層画像を取得する。
【0202】
また、断層画像生成部２２１は、例えば、ステップＳ２１３０で取得された三次元の断層画像を用いて網膜の湾曲具合を解析し、ＸＹ方向において、より湾曲度が小さい方向を横断方向としてＢスキャンを再構成してもよい。この場合、取得部２１は、横断方向を網膜の湾曲度が小さい走査方向とした二次元の断層画像を取得する。なお、網膜の湾曲具合の解析に用いられる画像は三次元の断層画像に限られず、眼底画像撮影装置３０を用いて得られた眼底正面画像等であってもよい。また、網膜の湾曲具合の解析は公知の任意の方法を用いてよい。
【0203】
これらの処理を行う場合であっても、ストライプにおけるオーバーラップ領域を減らすことができ、ストライプ化の効率を向上させるとともにパッキング処理の効率を向上させ、処理全体の時間を減らすことができる。
【0204】
（第４の実施形態）
第２の実施形態においては、処理対象の断層画像を複数のストライプに分割して、領域検出処理の対象データの粒度（サイズ）を更に減らし、検出効率を更に向上させる方法について説明を行った。これに対し、本発明の第４の実施形態では、網膜の湾曲度や傾きによる処理への影響を減らし、セグメンテーション処理の対象データをより減らすために、注目領域をフラット化する。
第２の実施形態においては、処理対象の断層画像を複数のストライプに分割して、領域検出処理の対象データの粒度（サイズ）を更に減らし、検出効率を更に向上させる方法について説明を行った。これに対し、本発明の第４の実施形態では、網膜の湾曲度や傾きによる処理への影響を減らし、セグメンテーション処理の対象データをより減らすために、注目領域をフラット化する。
【0205】
以下、図２３及び図２４を参照して、本実施形態に係る画像処理装置について、第２の実施形態に係る画像処理装置との相違点を中心に説明する。なお、本実施形態に係る画像処理装置の構成は、第２の実施形態に係る画像処理装置２０の構成と同様であるため、各構成要素について同じ参照符号を用いて説明を省略する。また、本実施形態に係る一連の処理は、第２の実施形態に係る一連の処理と、ステップＳ１１４０での処理以外の処理は同様であるため、ステップＳ１１４０での処理以外の処理については説明を省略する。なお、本実施形態では、例示的に、学習データの出力データとして境界画像を用いた場合の処理について説明する。ただし、第１乃至第３の実施形態のように、学習データの出力データとしてラベル画像を用いて処理を行ってもよい。
【0206】
図２３及び図２４を参照して、本実施形態に係るステップＳ１１４０での網膜層の検出処理の具体的な手順について説明する。図２３は、本実施形態に係る網膜層の検出処理のフローチャートである。また、図２４（ａ）乃至（ｆ）は、本実施形態に係る網膜層の検出処理を説明するための図である。本実施形態では、ステップＳ１１４０において網膜層検出処理が開始されると、処理はステップＳ２３０１に移行する。
【0207】
ステップＳ２３０１では、処理部２２２は、処理対象の断層画像のフラット化処理を行う。具体的には、処理部２２２は、二次元の断層画像（Ｂスキャン画像）を構成するＡスキャン単位で断層画像をＺ方向において移動し、二次元の断層画像における網膜の位置を揃える。なお、本実施形態では、処理部２２２は、断層画像におけるＩＬＭを基準にフラット化処理を行うが、それに限らず、ＲＰＥ（網膜色素上皮細胞）層や、網膜の中心、その他の基準によりフラット化処理を行ってもよい。
【0208】
本実施態様に係るフラット化処理では、処理部２２２は、例えば断層画像における各ＡスキャンデータについてＺ方向において上から順に画素値を調べ、初めて検出した背景値でない画素値を有する画素を網膜の上部位置に対応する画素とする。処理部２２２は、断層画像の横断方向における全てのＡスキャンデータにおける網膜の上部位置を揃えるように、断層画像におけるＡスキャンデータを移動させる。また、処理部２２２は、例えば断層画像のＡスキャンデータについてＺ方向において上から順に画素値を調べ、隣り合う画素との間で画素値の変化が大きい画素をＩＬＭとみなし、その画素の位置を基準にＡスキャンデータを揃えてもよい。また、処理部２２２は、ステップＳ２３０１における各Ａスキャンデータの移動量の情報を、記憶部２４に記憶する。
【0209】
ここで、図２４（ａ）は処理対象であるステップＳ１１３０で生成された断層画像２４０１の一例を示す。また、図２４（ｂ）に示される断層画像２４０２は、断層画像２４０１についてフラット化処理を行った、断層画像の一例である。図２４（ｂ）を参照すると、網膜層の上部（ＩＬＭ）の位置が各Ａスキャンデータで揃えられていることが分かる。
【0210】
ステップＳ２３０２では、処理部２２２は、フラット化した断層画像２４０２を横断方向において複数のストライプに分割する。ステップＳ２３０２での処理は、ステップＳ１６０１での処理と同様であるため、説明を省略する。ここで、図２４（ｂ）に示される断層画像２４０２における各ストライプ２４２１～２４２７は、ステップＳ２３０２において分割されたストライプの例を示す。
【0211】
ステップＳ２３０３では、処理部２２２は各ストライプから注目領域検出を行う。ステップＳ２３０３での処理は、ステップＳ１６０２での処理と同様であるため、説明を省略する。ここで、図２４（ｃ）は、注目領域検出が行われる断層画像２４０３における注目領域２４３１～２４３７は、ステップＳ２３０３において検出された注目領域の例を示す。
【0212】
ステップＳ２３０４では、処理部２２２は、ステップＳ２３０３において複数のストライプから抽出された複数の注目領域の画像を、一つの画像にパッキング処理し、合成画像を生成する。ステップＳ２３０４での処理は、ステップＳ１６０３での処理と同様であるため、説明を省略する。図２４（ｄ）は、ステップＳ２３０４において生成された合成画像２４０４の一例を示す。
【0213】
ステップＳ２３０５では、処理部２２２は、学習済モデルを用いて、ステップＳ２４０４で生成された合成画像のセグメンテーション処理を行い、合成画像に対応する境界画像を取得する。ステップＳ２３０５での処理は、ステップＳ１６０４での処理と同様であるため、説明を省略する。ただし、本実施形態では、学習データの出力データとして境界画像を用いているため、処理部２２２は、合成画像に対応する境界画像を取得する。
【0214】
ステップＳ２３０６では、処理部２２２は、ステップＳ２３０５で取得した境界画像から、それぞれの注目領域の境界画像をアンパックし、注目領域の境界画像を、当該注目領域に対応するストライプにおける注目領域の位置に上書きする。これにより、処理部２２２は、各ストライプの検出結果画像を取得することができる。ステップＳ２３０６での処理は、ステップＳ１６０５での処理と同様であるため、説明を省略する。
【0215】
ステップＳ２３０７では、処理部２２２は、ステップＳ２３０６で得られたストライプの検出結果画像についてストライプ結合処理を行い、フラット化された断層画像に関する検出結果画像を取得する。ステップＳ２３０７での処理は、ステップＳ１６０６での処理と同様であるため、説明を省略する。図２４（ｅ）は、フラット化された断層画像に関する検出結果画像２４０５の例を示す。
【0216】
ステップＳ２３０８では、処理部２２２は、ステップＳ２３０７で得られた領域検出結果断層像の逆フラット化処理を行う。ここで、本実施形態に係る逆フラット化処理は、Ａスキャン単位で、注目領域（網膜領域）を断層画像の深さ方向において元の位置に戻す処理である。そのため、処理部２２２は、ステップＳ２３０１で記憶部２４に記憶された各Ａスキャンデータの移動量の情報を用いて、フラット化された断層画像に関する検出結果画像における各Ａスキャンデータの移動を行う。図２４（ｆ）は、検出結果画像２４０５に対して逆フラット化処理を行って生成した検出結果画像２４０６の一例を示す。
【0217】
ステップＳ２３０９では、処理部２２２は、ステップＳ１６０６の検出結果画像の後処理を行う。ステップＳ２３０９での処理は、ステップＳ１６０７での処理と同様であるため、説明を省略する。ただし、本実施形態では、検出結果画像として、境界画像を取得しているため、ステップＳ２３０９での後処理は、穴埋め処理ではなく、途切れている境界線をつなぐ処理等であってもよい。このような処理に関しては、公知の任意の方法を用いて行ってよい。
【0218】
ステップＳ２３１０では、処理部２２２は、ステップＳ２３０９で後処理が行われた検出結果画像に基づいて、各断層画像における網膜層の領域を検出する。ステップＳ２３１０での処理は、ステップＳ１６０８での処理と同様であってよい。ただし、本実施形態では、検出結果画像として境界画像を取得していることから、処理部２２２は、検出結果画像である境界画像についてルールベースの処理を行い、各境界間の領域を検出すればよい。
【0219】
また、処理部２２２は、この段階で、境界画像である検出結果画像から網膜層の各境界を検出してもよい。このとき、検出結果画像に示される境界にラベルが付されていない場合には、処理部２２２は、ルールベースの処理を行い、各境界が網膜領域のどの境界を示すかを検出してもよい。ステップＳ２３１０において、網膜層の領域が検出されると、本実施形態の網膜層の検出処理が終了し、処理はステップＳ１１５０に移行する。
【0220】
上記のように、本実施形態に係る処理部２２２は、二次元の断層画像における、又は、二次元の断層画像を、被検眼の深さ方向に交差する方向において分割した複数の領域の各々における、網膜又は注目領域の深さ方向の位置を揃える。また、処理部２２２は、学習済モデルを用いて得た検出結果と、網膜又は注目領域の深さ方向の位置を揃えた際の位置の移動量を用いて、取得部２１によって取得した断層画像における層及び境界の少なくとも一方を検出する。
【0221】
上記の構成を有するため、本実施形態に係る画像処理装置は、断層画像やストライプの画像に対して注目領域のフラット化処理を行うことによって、網膜の湾曲度や傾きの影響を減らすことができる。このため、領域検出（セグメンテーション）処理の対象となるストライプにより多くの注目領域が詰め込めることができ、領域検出（セグメンテーション）処理対象データを更に減らすことができ、検出効率（速度）を更に向上させることができる。
【0222】
本実施形態に係るフラット化処理は、処理対象の断層画像に対して行われることとした。これに対し、処理部２２２は、ステップＳ２３０２のストライプ分割処理の後に、ストライプの画像に対してフラット化処理を行ってもよい。この場合は、逆フラット化処理は、ステップＳ２３０６のアンパック処理の後に行うことができる。
【0223】
（第５の実施形態）
第２の実施形態においては、処理対象である断層画像を複数のストライプに分割して、領域検出処理対象データの粒度（サイズ）を更に減らし、検出効率を更に向上させる方法の説明を行った。これに対し、本発明の第５の実施形態では、注目領域の画像を解析し、学習済モデルを用いたセグメンテーション処理が困難と判断した場合には、当該注目領域について学習済モデルを用いたセグメンテーション処理から除外する。
第２の実施形態においては、処理対象である断層画像を複数のストライプに分割して、領域検出処理対象データの粒度（サイズ）を更に減らし、検出効率を更に向上させる方法の説明を行った。これに対し、本発明の第５の実施形態では、注目領域の画像を解析し、学習済モデルを用いたセグメンテーション処理が困難と判断した場合には、当該注目領域について学習済モデルを用いたセグメンテーション処理から除外する。
【0224】
以下、本実施形態に係る画像処理装置について、第２の実施形態に係る画像処理装置との相違点を中心に説明する。なお、本実施形態に係る画像処理装置の構成は、第２の実施形態に係る画像処理装置２０の構成と同様であるため、各構成要素について同じ参照符号を用いて説明を省略する。また、本実施形態に係る処理は、図１６に示す第２の実施形態に係る処理と、ステップＳ１６０２での処理以外の処理は同様であるため、同じ参照符号を用いて説明を省略する。
【0225】
本実施形態では、ステップＳ１６０２において、処理部２２２は断層画像から注目領域を検出し、且つ、検出された注目領域について学習済モデルを用いたセグメンテーション処理から除外するか否かの判定を行う。ステップＳ１６０２での注目領域の検出処理は、第２の実施形態に係るステップＳ１６０１での処理と同じであるため、説明を省略する。以下、本実施形態に係るステップＳ１６０２における、検出された注目領域について学習済モデルを用いたセグメンテーション処理から除外するか否かの判定について説明する。
【0226】
処理部２２２は、まず、検出された注目領域において、画素値が低い又はノイズが多いか否かを判定する。具体的には、処理部２２２は、注目領域における画素値（信号値）に関して信号対雑音比（ＳＮＲ：Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ Ｒａｔｉｏ）を算出する。処理部２２２は、算出したＳＮＲが閾値以下である場合には、当該注目領域について学習済モデルを用いたセグメンテーション処理から除外すると判定する。また、処理部２２２は、注目領域における画素値（信号値）の最大値を計算し、当該最大値が閾値以下である場合には、当該注目領域について学習済モデルを用いたセグメンテーション処理から除外すると判断してもよい。
【0227】
また、処理部２２２は、注目領域に断層像の虚像（折り返し像）が含まれているか否かを判定する。具体的な判定方法は、公知の方法を用いてよい。処理部２２２は、注目領域に断層像の虚像が含まれている場合には、当該注目領域について学習済モデルを用いたセグメンテーション処理から除外すると判断する。なお、処理部２２２は、注目領域における虚像の存在を判定するために、処理対象である断層画像の全体を解析してもよい。
【0228】
ステップＳ１６０２において、セグメンテーション処理から除外すると判断された注目領域は、ステップＳ１６０３のパッキング処理に用いられない。ただし、処理部２２２は、当該注目領域について、学習済モデルを用いたセグメンテーション処理の代わりに、ルールベースでのセグメンテーション処理を行ってもよい。このようなセグメンテーション処理は公知の任意の方法により行われてよい。
【0229】
なお、表示制御部２５は、ステップＳ１６０２において、学習済モデルを用いたセグメンテーション処理から除外された注目領域について、ステップＳ１１５０での表示処理において、セグメンテーションされていない領域であることを提示してもよい。この場合、処理部２２２は、検出結果画像において、当該注目領域について、信頼できない領域（セグメンテーション処理なし領域）であることを示すラベルを付けてもよい。
【0230】
上記のように本実施形態に係る処理部２２２は、検出した注目領域における画素値の信号対雑音比若しくは最大値が閾値より小さい場合又は該注目領域に折り返し像が含まれる場合には、該注目画像を合成画像の生成に用いない。このような構成を有することから、本実施形態に係る画像処理装置は、注目領域の画像に基づいて、学習済モデルを用いたセグメンテーション処理が困難か否かを判定する。処理部２２２は、学習済モデルを用いたセグメンテーション処理が困難であると判定した注目領域について、学習済モデルを用いたセグメンテーション処理から除外することで不必要な処理を避けることができ、検出効率（速度）を向上させることができる。
【0231】
（第６の実施形態）
第２の実施形態においては、処理対象の断層画像を複数のストライプに分割して、領域検出処理対象データの粒度（サイズ）を更に減らし、検出効率を更に向上させる方法について説明を行った。しかしながら、網膜が疾病などで肥大化した場合には、注目領域が大きくなり、注目領域のパッキング処理において一つの合成画像にパッキングできる注目領域の数が少なくなるため、処理効率が下がる可能性がある。これに対し、本発明の第６の実施形態では、注目領域を解析し、注目領域が大きい場合には、ルールベースのセグメンテーション処理に切り替える。
第２の実施形態においては、処理対象の断層画像を複数のストライプに分割して、領域検出処理対象データの粒度（サイズ）を更に減らし、検出効率を更に向上させる方法について説明を行った。しかしながら、網膜が疾病などで肥大化した場合には、注目領域が大きくなり、注目領域のパッキング処理において一つの合成画像にパッキングできる注目領域の数が少なくなるため、処理効率が下がる可能性がある。これに対し、本発明の第６の実施形態では、注目領域を解析し、注目領域が大きい場合には、ルールベースのセグメンテーション処理に切り替える。
【0232】
以下、図２５を参照して、第６の実施形態に係る画像処理装置について、第２の実施形態に係る画像処理装置との相違点を中心に説明する。なお、本実施形態に係る画像処理装置の構成は、第２の実施形態に係る画像処理装置の構成と同様であるため、各構成要素について同じ参照符号を用いて説明を省略する。また、本実施形態に係る一連の処理は、第２の実施形態に係る一連の処理と、ステップＳ１１４０での処理以外の処理は同様であるため、ステップＳ１１４０での処理以外の処理については説明を省略する。
【0233】
図２５を参照して、本実施形態に係るステップＳ１１４０の網膜層の検出処理の具体的な手順について説明する。図２５は、本実施形態に係る網膜層の検出処理のフローチャートである。本実施形態では、ステップＳ１１４０において網膜層検出処理が開始されると、処理はステップＳ２５０１に移行する。
【0234】
ステップＳ２５０１では、処理部２２２は断層画像を横断方向において複数のストライプに分割する。ステップＳ２５０１での処理はステップＳ１６０１での処理と同様であるため、説明を省略する。
【0235】
ステップＳ２５０２では、処理部２２２は断層画像から注目領域検出を行う。ステップＳ２５０２での処理はステップＳ１６０２での処理と同様であるため、説明を省略する。
【0236】
ステップＳ２５０３では、処理部２２２はステップＳ２５０２で検出された注目領域の解析を行う。本実施形態では、処理部２２２は、注目領域の画像を解析し、注目領域のＺ方向（深さ方向）の大きさを算出する。
【0237】
ステップＳ２５０４では、処理部２２２は、ステップＳ２５０３での注目領域の解析結果を用いて、学習済モデルを用いたセグメンテーションを行うか、ルールベースのセグメンテーション（第２のセグメンテーション）を行うかを選択する。ここでの選択基準は、例えば、注目領域のＺ方向の大きさが、ストライプ（又は断層画像）の深さ方向の大きさの１０分の１より小さいか否かとすることができる。
【0238】
処理部２２２は、注目領域のＺ方向の大きさが、ストライプの深さ方向の大きさの１０分の１より小さい場合には、学習済モデルを用いたセグメンテーション処理を選択する。また、処理部２２２は、注目領域のＺ方向の大きさが、ストライプの深さ方向の大きさの１０分の１以上である場合には、ルールベースのセグメンテーション処理を選択する。ステップＳ２５０４において、処理部２２２が学習済モデルを用いたセグメンテーション処理を選択した場合には、処理はステップＳ２５０５に移行する。
【0239】
ステップＳ２５０５では、処理部２２２は、ステップＳ２５０２において複数のストライプから抽出された複数の注目領域をパッキング処理し、合成画像を生成する。ステップＳ２５０５での処理は、ステップＳ１６０３での処理と同様であるため、説明を省略する。
【0240】
ステップＳ２５０６では、処理部２２２は、学習済モデルを用いて、ステップＳ２５０５で生成された合成画像のセグメンテーション処理を行う。ステップＳ２５０６での処理は、ステップＳ１６０４での処理と同様であるため、説明を省略する。
【0241】
ステップＳ２５０７では、処理部２２２は、ステップＳ２５０６で取得されたラベル画像に対してアンパック処理を行い、それぞれの注目領域に対応する検出結果画像を取得する。ステップＳ２５０７での処理は、ステップＳ１６０５での処理と同様であるので、説明を省略する。
【0242】
一方で、ステップＳ２５０４において、処理部２２２が、ルールベースのセグメンテーション処理を選択した場合には、処理はステップＳ２５０８に移行する。ステップＳ２５０８では、処理部２２２は、ステップＳ２５０４での注目領域の解析結果に基づいて、代替の処理として、ルールベースのセグメンテーション処理（第２のセグメンテーション処理）を行い、注目領域におけるラベル画像を取得する。
【0243】
また、ステップＳ２５０８では、処理部２２２は、取得した注目領域のラベル画像について、ステップＳ２５０７でのアンパック処理における、対応するストライプでの注目領域の位置へ注目領域のラベル画像を戻す処理と同様の処理を行う。これにより、処理部２２２は、ルールベースのセグメンテーション処理により取得した注目領域におけるラベル画像を用いて、当該注目領域に対応するストライプに関する検出結果画像を取得することができる。
【0244】
ステップＳ２５０９では、処理部２２２は、ステップＳ２５０７及びＳ２５０８で取得した検出結果画像についてストライプ結合処理を行い、処理対象の断層画像の検出結果画像を取得する。ステップＳ２５０９での処理はステップＳ１６０６での処理と同様であるため、説明を省略する。
【0245】
ステップＳ２５１０では、処理部２２２は、ステップＳ２５０９で取得した領域抽出結果画像に対して後処理を行う。ステップＳ２５１０での処理はステップＳ１６０７での処理と同様であるため、説明を省略する。
【0246】
ステップＳ２５１１では、処理部２２２は、ステップＳ２５１０で後処理が行われた検出結果画像に基づいて、各断層画像における網膜層の領域を検出する。ステップＳ２５１１での処理はステップＳ１６０８での処理と同様であるため、説明を省略する。ステップＳ２５１１において、網膜層の領域が検出されると、本実施形態の網膜層の検出処理が終了し、処理はステップＳ１１５０に移行する。
【0247】
上記のように、本実施形態に係る処理部２２２は、検出した注目領域における画素値と閾値を用いて、該検出した注目領域に対して行う処理を、学習済モデルを用いた処理とルールベースの処理とのうちから選択する。言い換えると、処理部２２２は、検出した注目領域を解析し、解析結果に基づいて、該検出した注目領域に対して行う処理を、学習済モデルを用いた処理とルールベースの処理とのうちから選択する。特に、本実施形態では、処理部２２２は、解析結果に対応する注目領域が閾値より大きい場合に、ルールベースの処理を選択する。
【0248】
上記の構成を有するため、本実施形態に係る画像処理装置は、注目領域を解析し、注目領域が大きく、注目領域のパッキング処理において一つの合成画像にパッキングできる注目領域の数が少なくなる場合には、ルールベースのセグメンテーション処理を行う。これにより、網膜が疾病などで肥大化した場合等の注目領域が大きい場合でも、全体のセグメンテーション処理を効率よく、高速に行うことができる。
【0249】
なお、本実施形態では、ステップＳ２５０４の選択基準として、注目領域のＺ方向の大きさが、ストライプの深さ方向の１０分の１より小さいか否かとした。しかしながら、ステップＳ２５０４での選択基準はこれに限られない。当該選択基準は、例えば、注目領域のＺ方向の大きさがストライプの深さ方向の５分の１より小さいか否かであってもよく、当該大きさの基準は所望の構成に応じて任意に設定されてよい。
【0250】
また、本実施形態では、ルールベースのセグメンテーション処理を行ってラベル画像を取得する構成とした。しかしながら、ルールベースのセグメンテーション処理による網膜層の領域検出結果は画像である必要はなく、各領域や境界を識別できる情報であればよい。この場合には、処理部２２２は、最終的に、ルールベースのセグメンテーション処理で取得した領域や境界を識別するための情報と、学習済モデルを用いたセグメンテーション処理の結果とを統合できればよい。
【0251】
（第７の実施形態）
第６の実施形態においては、注目領域の解析により、注目領域が大きいと判断した場合に、ルールベースのセグメンテーション処理を選択する方法について説明を行った。これに対し、本発明の第７の実施形態では、注目領域を解析し、網膜の部位に基づいて、セグメンテーション処理を選択する。
第６の実施形態においては、注目領域の解析により、注目領域が大きいと判断した場合に、ルールベースのセグメンテーション処理を選択する方法について説明を行った。これに対し、本発明の第７の実施形態では、注目領域を解析し、網膜の部位に基づいて、セグメンテーション処理を選択する。
【0252】
以下、図２５を参照して、第７の実施形態に係る画像処理装置について、第６の実施形態の変形例に係る画像処理装置との相違点を中心に説明する。なお、本実施形態に係る画像処理装置の構成は、第６の実施形態に係る画像処理装置の構成と同様であるため、各構成要素について同じ参照符号を用いて説明を省略する。また、本実施形態に係る処理は、ステップＳ２５０３、ステップＳ２５０４、及びステップＳ２５０８以外の処理は第６の実施形態に係る処理と同様であるため、説明を省略する。本実施形態に係る網膜層の検出処理では、ステップＳ２５０２において注目領域が検出されると処理はステップＳ２５０３に移行する。
【0253】
ステップＳ２５０３では、処理部２２２はステップＳ２５０２で検出された注目領域の解析を行う。具体的には、処理部２２２は、注目領域の部位を解析し、注目領域の部位が視神経乳頭部であるか否かを判断する。ここで、処理部２２２は、注目領域の部位が視神経乳頭部であるか否かを判断するために、取得部２１により取得された被検眼についての眼底正面画像を用いる。なお、眼底正面画像は、ステップＳ１１２０における断層画像の撮影の際に、眼底画像撮影装置３０を用いて被検眼を撮影して取得してもよい。なお、処理対象の断層画像が外部記憶装置４０等から取得されている場合には、当該断層画像の撮影時に取得された眼底正面画像を用いればよい。
【0254】
処理部２２２は、断層画像及び眼底正面画像の撮影条件等に応じて眼底正面画像と断層画像の位置合わせを行い、断層画像における視神経乳頭部の位置を認識する。例えば、処理部２２２は、眼底正面画像上の視神経乳頭部を認識するため、眼底正面画像上の視神経乳頭部の特有な輝度値に基づいて認識を行ってよい。また、処理部２２２は、断層画像において視神経乳頭部の形状を確認しながら、例えば視神経が通る箇所を視神経乳頭部の位置として認識してよい。なお、これらの処理は公知の任意の処理を用いて行ってもよい。
【0255】
ステップＳ２５０４では、処理部２２２はステップＳ２５０３での注目領域の解析結果を用いて、セグメンテーション処理を選択する。当該選択基準は、注目領域に視神経乳頭部が含まれているか否かとすることができる。処理部２２２は、注目領域に視神経乳頭部が含まれていると判断する場合には、学習済モデルを用いたセグメンテーション処理を選択する。一方で、処理部２２２は、注目領域に視神経乳頭部が含まれていないと判断する場合には、ルールベースのセグメンテーション処理を選択する。ステップＳ２５０４において、処理部２２２が学習済モデルを用いたセグメンテーション処理を選択した場合には、処理はステップＳ２５０５へ移行する。ステップＳ２５０５～ステップＳ２５０７での処理は、第６の実施形態に係る同ステップでの処理と同様であるため説明を省略する。
【0256】
ステップＳ２５０４において、処理部２２２がルールベースのセグメンテーション処理を選択した場合には、処理はステップＳ２５０８へ移行する。ステップＳ２５０８では、処理部２２２は、ステップＳ２５０４での注目領域の解析結果に基づいて、視神経乳頭部に関するルールベースのセグメンテーション処理（第２のセグメンテーション処理）を行い、注目領域におけるラベル画像を取得する。なお、視神経乳頭部に関するルールベースのセグメンテーション処理は公知の方法を用いて行ってよい。
【0257】
また、ステップＳ２５０８では、処理部２２２は、取得した注目領域のラベル画像について、ステップＳ２５０７でのアンパック処理における、対応するストライプでの注目領域の位置へ注目領域のラベル画像を戻す処理と同様の処理を行う。これにより、処理部２２２は、ルールベースのセグメンテーション処理により取得した注目領域におけるラベル画像を用いて、当該注目領域に対応するストライプに関する検出結果画像を取得することができる。以降の処理は、第６の実施形態に係る処理と同様であるため説明を省略する。
【0258】
なお、本実施形態では、注目領域の部位が視神経乳頭部である場合に当該注目領域に対してルールベースのセグメンテーション処理を行う構成とした。しかしながら、ルールベースのセグメンテーション処理を行う対象の注目領域の部位は視神経乳頭部に限られない。例えば、注目領域の部位が中心窩等のその他の部位である場合に、ルールベースのセグメンテーション処理を行うように構成してもよい。また、例えば、処理部２２２は、注目領域に疾病部が含まれるかを解析し、注目領域に疾病部が含まれる場合にルールベースのセグメンテーション処理を選択するようにしてもよい。
【0259】
上記のように、本実施形態に係る処理部２２２は、解析される注目領域の部位に基づいて、ルールベースの処理を選択する。また、処理部２２２は、複数の注目領域に疾病部が存在する場合に、ルールベースの処理を選択してもよい。
【0260】
このような構成を有することから、本実施形態に係る画像処理装置２０は、注目領域を解析し、網膜の部位又は疾病状況に基づいて、セグメンテーション処理を適切に選択することができる。このため、全体のセグメンテーション処理を効率よく、高速に行うことができる。
【0261】
なお、本実施形態では、ルールベースのセグメンテーション処理を行ってラベル画像を取得する構成とした。しかしながら、ルールベースのセグメンテーション処理による網膜層の領域検出結果は画像である必要はなく、各領域や境界を識別できる情報であればよい。この場合には、処理部２２２は、最終的に、ルールベースのセグメンテーション処理で取得した領域や境界を識別するための情報と、学習済モデルを用いたセグメンテーション処理の結果とを統合できればよい。
【0262】
なお、上述した様々な実施形態及び変形例では、処理部２２２が、ストライプの分割・統合処理、注目領域の検出処理、セグメンテーションの選択処理、パッキング・アンパック処理、及び学習済モデルを用いたセグメンテーション処理等を行う構成とした。これに対し、これらの処理を行う構成要素を別々に設けてもよい。この場合には、このような別々に設けられた構成要素を含むように処理部２２２を構成してよい。
【0263】
なお、上述した様々な実施形態及び変形例では、学習済モデルに入力する画像のサイズと学習データの入力データとして用いられる画像のサイズを一致させた。しかしながら、機械学習モデルの構成によっては、これらの画像のサイズを一致させなくてもよい。例えば、ＣＮＮ等では、フィルタのカーネルサイズに応じて処理が行われることから、学習済モデルに入力する画像のサイズと学習データの入力データの画像サイズは一致していなくても処理が可能であると期待される。このため、学習済モデルに入力する画像のサイズは任意であってよく、学習データの入力データの画像サイズも任意であってもよい。
【0264】
このため、例えば、処理対象となる複数の注目領域を合成画像に詰め込んでいった際に、最終的に１つの注目領域が残ってしまった場合等には、処理部２２２は、残った１つの注目領域を学習済モデルに入力してもよい。これに関連して、学習済モデルによって、当該１つの注目領域を処理することができるように、学習データに、一つの注目領域の画像を入力データとし、当該注目領域の画像に対応するラベル画像を出力データとしたペア群を含めることもできる。
【0265】
また、上述した様々な実施形態及び変形例では、取得部２１は、ＯＣＴ装置１０で取得された干渉信号や断層画像生成部２２１で生成された断層データ等を取得した。しかしながら、取得部２１がこれらの信号や画像を取得する構成はこれに限られない。例えば、取得部２１は、画像処理装置２０とＬＡＮ、ＷＡＮ、又はインターネット等を介して接続される外部記憶装置４０やサーバ、撮影装置等からこれらの信号やデータを取得してもよい。
【0266】
なお、上述した様々な実施形態及び変形例に係る学習済モデルは画像処理装置２０に設けられることができる。学習済モデルは、例えば、ＣＰＵや、ＭＰＵ、ＧＰＵ、ＦＰＧＡ等のプロセッサによって実行されるソフトウェアモジュール等で構成されてもよいし、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。また、これら学習済モデルは、画像処理装置２０と接続される別のサーバの装置等に設けられてもよい。この場合には、画像処理装置２０は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバ等に接続することで、学習済モデルを用いることができる。ここで、学習済モデルを備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。また、学習済モデルの学習データは、実際の撮影を行うＯＣＴ装置１０自体を用いて得たデータに限られず、所望の構成に応じて、同型のＯＣＴ装置を用いて得たデータや、同種のＯＣＴ装置を用いて得たデータ等であってもよい。
【0267】
なお、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、学習部（不図示）の一例である処理部２２２による処理には、ＣＰＵに加えてＧＰＵを用いてもよい。この場合には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理は、ＣＰＵ又はＧＰＵのみにより演算が行われてもよい。また、上述した様々な学習済モデルを用いた処理を実行する処理部（推定部）も、学習部と同様にＧＰＵを用いてもよい。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
【0268】
また、上述した様々な実施形態及び変形例において、モーションコントラストデータとは、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得た複数のリュームデータ間での変化を示すデータである。このとき、ボリュームデータは、異なる位置で得た複数の断層画像により構成される。そして、異なる位置それぞれにおいて、略同一位置で得た複数の断層画像の間での変化を示すデータを得ることで、モーションコントラストデータをボリュームデータとして得ることができる。なお、モーションコントラスト正面画像は、血流の動きを測定するＯＣＴアンギオグラフィ（ＯＣＴＡ）に関するＯＣＴＡ正面画像（ＯＣＴＡのＥｎ－Ｆａｃｅ画像）とも呼ばれ、モーションコントラストデータはＯＣＴＡデータとも呼ばれる。モーションコントラストデータは、例えば、２枚の断層画像又はこれに対応する干渉信号間の脱相関値、分散値、又は最大値を最小値で割った値（最大値／最小値）として求めることができ、公知の任意の方法により求められてよい。このとき、２枚の断層画像は、例えば、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得ることができる。
【0269】
また、Ｅｎ－Ｆａｃｅ画像は、例えば、２つの層境界の間の範囲のデータをＸＹ方向に投影して生成した正面画像である。このとき、正面画像は、光干渉を用いて得たボリュームデータ（三次元の断層画像）の少なくとも一部の深度範囲であって、２つの基準面に基づいて定められた深度範囲に対応するデータを二次元平面に投影又は積算して生成される。Ｅｎ－Ｆａｃｅ画像は、ボリュームデータのうちの、検出された網膜層に基づいて決定された深度範囲に対応するデータを二次元平面に投影して生成された正面画像である。なお、２つの基準面に基づいて定められた深度範囲に対応するデータを二次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を二次元平面上の画素値とする手法を用いることができる。ここで、代表値は、２つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含むことができる。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の一方を基準として、より深い方向又はより浅い方向に所定の画素数分だけ含んだ範囲であってもよい。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の間の範囲から、操作者の指示に応じて変更された（オフセットされた）範囲であってもよい。
【0270】
また、上述した様々な実施形態及び変形例に係るＯＣＴ装置としては、公知の任意のＯＣＴ装置を用いてよい。例えば、ＯＣＴ装置は、ＳＬＤを光源として用いたスペクトラルドメインＯＣＴ（ＳＤ－ＯＣＴ）装置や、出射光の波長を掃引することができる波長掃引光源を用いた波長掃引型ＯＣＴ（ＳＳ－ＯＣＴ）装置等の他の任意の種類のＯＣＴ装置であってもよい。また、ＯＣＴ装置は、ライン光を用いたＬｉｎｅ－ＯＣＴ装置（あるいはＳＳ－Ｌｉｎｅ－ＯＣＴ装置）や、エリア光を用いたＦｕｌｌ Ｆｉｅｌｄ－ＯＣＴ装置（あるいはＳＳ－Ｆｕｌｌ Ｆｉｅｌｄ－ＯＣＴ装置）であってもよい。さらに、ＯＣＴ装置は、波面補償光学系を用いた波面補償ＯＣＴ（ＡＯ－ＯＣＴ）装置、又は偏光位相差や偏光解消に関する情報を可視化するための偏光ＯＣＴ（ＰＳ－ＯＣＴ）装置であってもよい。
【0271】
（その他の実施例）
本発明は、上述の実施形態及び変形例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読み出し実行する処理でも実現可能である。コンピュータは、一つ又は複数のプロセッサ若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサ若しくは回路のネットワークを含みうる。
本発明は、上述の実施形態及び変形例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読み出し実行する処理でも実現可能である。コンピュータは、一つ又は複数のプロセッサ若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサ若しくは回路のネットワークを含みうる。
【0272】
プロセッサ又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサ又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。
【0273】
以上、実施形態及び変形例を参照して本発明について説明したが、本発明は上記実施形態及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施形態及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
【符号の説明】
【0274】
２０：医用画像処理装置、２１：取得部、２２２：処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
