(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-08
(45)【発行日】2024-11-18
(54)【発明の名称】医用画像処理装置及びその制御方法、並びにプログラム
(51)【国際特許分類】
A61B 3/10 20060101AFI20241111BHJP
【ＦＩ】
A61B3/10 300
A61B3/10 100
【請求項の数】
14
(21)【出願番号】P 2020172672
(22)【出願日】2020-10-13
(65)【公開番号】P2022064132
(43)【公開日】2022-04-25
【審査請求日】2023-10-06
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】福原 誠
(72)【発明者】
【氏名】稲生 耕久
(72)【発明者】
【氏名】宮田 和英
【審査官】渡戸 正義
(56)【参考文献】
【文献】特開２０２２－０１２５９９（ＪＰ，Ａ）
【文献】特開２０２１－０３５４０９（ＪＰ，Ａ）
【文献】特開２０１８－１３９７１７（ＪＰ，Ａ）
【文献】特開２０１９－１７７０３２（ＪＰ，Ａ）
【文献】国際公開第２０１９／１７２２０６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３／００ － ３／１８
(57)【特許請求の範囲】
【請求項1】
可視光を被検体の任意の領域に照射して取得した色情報を有する第１の医用画像を教師データとして用いることにより得られた学習済みモデルを利用して、赤外レーザ、赤色レーザ、緑色レーザ、青色レーザのうち少なくとも１つの波長のレーザを用いて取得された少なくとも１つのＳＬＯ画像による第２の医用画像における色情報が補正された第３の医用画像を生成する生成手段を備える、医用画像処理装置。
【請求項2】
可視光を被検体である被検眼の眼底の任意の領域に照射して取得した色情報を有する眼底画像である第１の医用画像を教師データとして用いることにより得られた学習済みモデルを利用して、前記可視光の帯域に対して狭い帯域の測定光を用いて得られた眼底画像である第２の医用画像における色情報が補正された眼底画像である第３の医用画像を生成する生成手段を備える、医用画像処理装置。
【請求項3】
前記第２の医用画像は、赤外レーザ、赤色レーザ、緑色レーザ、青色レーザのうち少なくとも２つの波長のレーザを用いて取得された少なくとも２つのＳＬＯ画像による合成画像である、請求項１又は２に記載の医用画像処理装置。
【請求項4】
前記赤色レーザ、前記緑色レーザ、前記青色レーザの被検体における光の吸収率を較正データとして利用し、前記赤色レーザ、前記緑色レーザ、前記青色レーザで取得する画像の輝度値を補正する補正手段を更に備える、請求項３に記載の医用画像処理装置。
【請求項5】
ＯＣＴによる複数の断層画像の位置合わせを行うことにより生成された３次元データから、任意の深度情報に基づきＯＣＴ正面画像を生成し、撮像深度に伴うＯＣＴ信号の減衰特性を較正データとして利用し、前記ＯＣＴ正面画像の生成の際に利用する前記深度情報に基づいて、前記ＯＣＴ正面画像の輝度値を補正し、可視光を被検体の任意の領域に照射して取得した色情報を有する第１の医用画像を教師データとして用いることにより得られた学習済みモデルを利用して、前記輝度値が補正されたＯＣＴ正面画像である第２の医用画像における色情報が補正された第３の医用画像を生成する生成手段を備える、医用画像処理装置。
【請求項6】
前記第２の医用画像と前記第３の医用画像とのうち一方の画像の表示を他方の画像の表示に変更するように表示手段を制御する表示制御手段を更に備える、請求項１乃至５のいずれか一項に記載の医用画像処理装置。
【請求項7】
前記第２の医用画像が前記任意の領域と同一の領域に対して取得されるように撮影領域の調整を行う撮影領域調整手段を更に備える、請求項１乃至６のいずれか一項に記載の医用画像処理装置。
【請求項8】
前記第１の医用画像は、眼底カメラ又はＣｏｌｏｒ－ＳＬＯにより取得される画像である、請求項１乃至７のいずれか一項に記載の医用画像処理装置。
【請求項9】
前記学習済みモデルは、前記第１の医用画像を教師データとして、前記第２の医用画像と、当該第２の医用画像に対応するＯＣＴ干渉信号とを併せて学習することにより得られる、請求項１乃至８のいずれか一項に記載の医用画像処理装置。
【請求項10】
前記第２の医用画像における前記色情報の補正は、前記第２の医用画像のカラー化又は色味の補正である、請求項１乃至９のいずれか一項に記載の医用画像処理装置。
【請求項11】
可視光を被検体の任意の領域に照射して取得した色情報を有する第１の医用画像を教師データとして用いることにより得られた学習済みモデルを利用して、赤外レーザ、赤色レーザ、緑色レーザ、青色レーザのうち少なくとも１つの波長のレーザを用いて取得された少なくとも１つのＳＬＯ画像による第２の医用画像における色情報が補正された第３の医用画像を生成する生成ステップを含む、医用画像処理装置の制御方法。
【請求項12】
可視光を被検体である被検眼の眼底の任意の領域に照射して取得した色情報を有する眼底画像である第１の医用画像を教師データとして用いることにより得られた学習済みモデルを利用して、前記可視光の帯域に対して狭い帯域の測定光を用いて得られた眼底画像である第２の医用画像における色情報が補正された眼底画像である第３の医用画像を生成する生成ステップを含む、医用画像処理装置の制御方法。
【請求項13】
ＯＣＴによる複数の断層画像の位置合わせを行うことにより生成された３次元データから、任意の深度情報に基づきＯＣＴ正面画像を生成し、撮像深度に伴うＯＣＴ信号の減衰特性を較正データとして利用し、前記ＯＣＴ正面画像の生成の際に利用する前記深度情報に基づいて、前記ＯＣＴ正面画像の輝度値を補正し、可視光を被検体の任意の領域に照射して取得した色情報を有する第１の医用画像を教師データとして用いることにより得られた学習済みモデルを利用して、前記輝度値が補正されたＯＣＴ正面画像である第２の医用画像における色情報が補正された第３の医用画像を生成する生成ステップを含む、医用画像処理装置の制御方法。
【請求項14】
請求項１１乃至１３のいずれか一項に記載の医用画像処理装置の制御方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医用画像処理装置及びその制御方法、並びにプログラムに関する。
【背景技術】
【0002】
被検眼の眼底を白色光にて照射し、眼底のカラー画像を取得する眼底カメラが、眼科診療において広く普及している。また、被検眼の眼底画像を取得する別のモダリティとして、レーザ走査により被検眼を撮影する走査レーザ検眼鏡（ＳＬＯ：Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）を用いた装置が実用化されている。これは、被検眼の表面画像を高解像度で撮影することができる。また、別のモダリティとして、光干渉断層計（ＯＣＴ：Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）があり、網膜層内部の状態を三次元的に観察することが可能である。この断層画像撮影装置は、疾病の診断をより的確に行うのに有用であることから近年普及が進んでいる。ＯＣＴの形態として、例えば、高速に画像を取得する方法があり、また、広帯域光源を用いて分光器でインターフェログラムを取得するＯＣＴとして、ＳＤ－ＯＣＴ（Ｓｐｅｃｔｒａｌ Ｄｏｍａｉｎ ＯＣＴ）が知られている。また、光源として、高速波長掃引光源を用いることで、単一チャネル光検出器でスペクトル干渉を計測する手法によるＳＳ－ＯＣＴ（Ｓｗｅｐｔ Ｓｏｕｒｃｅ ＯＣＴ）が知られている。
【0003】
従来、ＳＬＯやＯＣＴは、測定光に近赤外光（ＩＲ）を用いるのが一般的であり、取得される眼底画像や断層画像はモノクロ表示が主流であったが、近年ではカラー画像を表示できる装置が注目を集めている。例えば、ＳＬＯの測定光に可視域の赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のレーザ光を用いて眼底を照射し、カラーの眼底画像を取得するＣｏｌｏｒ－ＳＬＯが開発されている。また、モノクロで取得される撮影画像に対して画像処理を行い、カラー表示する技術も開示されている。
【0004】
特許文献１では、赤外域に波長帯域を有する光を被検眼に照射するＯＣＴ装置において、取得するスペクトル干渉信号の帯域を、疑似的にＲＧＢに対応付けて分割し、周波数空間における波長帯域毎の信号強度に対応する色情報を取得し、色情報に基づいて可視域における色情報を含む画像データを取得する技術が開示されている。また、特許文献２では、ＯＣＴの３次元画像とＣｏｌｏｒ－ＳＬＯ画像を取得する装置において、ＳＬＯ画像を基準画像としてＯＣＴの所定の深さ領域から生成する正面画像を位置合わせし、可視成分のＳＬＯ画像（ＲＧＢ）に対応する複数のＯＣＴ画像を合成することで、カラーのＯＣＴ画像を構築する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１９－１３４８９６号公報
【文献】特開２０１８－１３９７１７号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献１に開示されている方法では、赤外の波長帯域のスペクトル情報から疑似的に色を割り当ててカラー化する手法であるので、可視域との相関関係が弱く、色再現性の観点で課題がある。また、特許文献２に開示されている方法では、Ｃｏｌｏｒ－ＳＬＯの各波長で取得したそれぞれの画像と略一致するＯＣＴ正面画像に対し、Ｃｏｌｏｒ－ＳＬＯの波長に相当する色を割り当てて合成するために、測定対象をＣｏｌｏｒ－ＳＬＯで撮影する必要がある。
【0007】
本発明は上記課題を鑑みたものであって、簡単な装置構成で、汎用性が高く、良好な疑似カラー画像を生成することが可能な医用画像処理装置及びその制御方法、並びにプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【0008】
本開示の一実施形態に係る医用画像処理装置は、可視光を被検体の任意の領域に照射して取得した色情報を有する第１の医用画像を教師データとして用いることにより得られた学習済みモデルを利用して、赤外レーザ、赤色レーザ、緑色レーザ、青色レーザのうち少なくとも１つの波長のレーザを用いて取得された少なくとも１つのＳＬＯ画像による第２の医用画像における色情報が補正された第３の医用画像を生成する生成手段を備える。
本開示の一実施形態に係る医用画像処理装置は、可視光を被検体である被検眼の眼底の任意の領域に照射して取得した色情報を有する眼底画像である第１の医用画像を教師データとして用いることにより得られた学習済みモデルを利用して、前記可視光の帯域に対して狭い帯域の測定光を用いて得られた眼底画像である第２の医用画像における色情報が補正された眼底画像である第３の医用画像を生成する生成手段を備える。
本開示の一実施形態に係る医用画像処理装置は、ＯＣＴによる複数の断層画像の位置合わせを行うことにより生成された３次元データから、任意の深度情報に基づきＯＣＴ正面画像を生成し、撮像深度に伴うＯＣＴ信号の減衰特性を較正データとして利用し、前記ＯＣＴ正面画像の生成の際に利用する前記深度情報に基づいて、前記ＯＣＴ正面画像の輝度値を補正し、可視光を被検体の任意の領域に照射して取得した色情報を有する第１の医用画像を教師データとして用いることにより得られた学習済みモデルを利用して、前記輝度値が補正されたＯＣＴ正面画像である第２の医用画像における色情報が補正された第３の医用画像を生成する生成手段を備える。
また、本開示は、上述した医用画像処理装置の制御方法、及び、上述した医用画像処理装置の制御方法をコンピュータに実行させるプログラムを含む。
本開示の一実施形態に係る医用画像処理装置は、可視光を被検体である被検眼の眼底の任意の領域に照射して取得した色情報を有する眼底画像である第１の医用画像を教師データとして用いることにより得られた学習済みモデルを利用して、前記可視光の帯域に対して狭い帯域の測定光を用いて得られた眼底画像である第２の医用画像における色情報が補正された眼底画像である第３の医用画像を生成する生成手段を備える。
本開示の一実施形態に係る医用画像処理装置は、ＯＣＴによる複数の断層画像の位置合わせを行うことにより生成された３次元データから、任意の深度情報に基づきＯＣＴ正面画像を生成し、撮像深度に伴うＯＣＴ信号の減衰特性を較正データとして利用し、前記ＯＣＴ正面画像の生成の際に利用する前記深度情報に基づいて、前記ＯＣＴ正面画像の輝度値を補正し、可視光を被検体の任意の領域に照射して取得した色情報を有する第１の医用画像を教師データとして用いることにより得られた学習済みモデルを利用して、前記輝度値が補正されたＯＣＴ正面画像である第２の医用画像における色情報が補正された第３の医用画像を生成する生成手段を備える。
また、本開示は、上述した医用画像処理装置の制御方法、及び、上述した医用画像処理装置の制御方法をコンピュータに実行させるプログラムを含む。
【発明の効果】
【0009】
本発明によれば、簡単な装置構成で、汎用性高く、良好な疑似カラー画像を生成することができる。
【図面の簡単な説明】
【0010】
【図1】第１の実施形態に係る医用画像処理装置の概略構成の一例を示す図である。
【図4】第１の実施形態に係る医用画像処理装置の撮影処理の流れと撮影画像を着色する処理の流れの一例を示すフローチャートである。
【図5】第１の実施形態に係る撮影画面の一例を示す図である。
【図6】第１の実施形態において構築する着色モデルの構成の一例を示す図である。
【図7】第１の実施形態に係るレポート画面の一例を示す図である。
【図8】第２の実施形態に係る医用画像処理装置の概略構成の一例を示す図である。
【図9】第２の実施形態に係る医用画像処理装置の撮影処理の流れの一例を示すフローチャートである。
【図10】第２の実施形態に係る医用画像処理装置で撮影を行う際の撮影画面の一例を示す図である。
【図11】第３の実施形態に係る医用画像処理装置の概略構成の一例を示す図である。
【図12】第３の実施形態に係る信号処理部の概略構成の一例を示すブロック図である。
【図13】第３の実施形態に係る医用画像処理装置の撮影処理の流れと撮影画像を着色する処理の流れの一例を示すフローチャートである。
【図14】第３の実施形態に係る撮影画面の一例を示す図である。
【図15】第３の実施形態に係る３次元データ生成方法の説明図である。
【図16】第３の実施形態に係る医用画像処理装置におけるＯＣＴ信号特性の一例であるＲｏｌｌｏｆｆ特性の一例を示す説明図である。
【発明を実施するための形態】
【0011】
本発明の実施形態に係る医用画像処理装置は、機械学習モデルを用いて、色情報を持たない画像に対して色情報を付与し（色情報補正）、疑似カラー画像を生成する。
【0012】
機械学習モデルとは、任意の機械学習アルゴリズムに対して、適切な教師データ（学習データ）を用いてトレーニング（学習）を行ったモデル（学習が完了した学習済みモデル）である。教師データは、１つ以上の、入力データと出力データとのペア群で構成される。なお、教師データを構成するペア群の入力データと出力データの形式や組み合わせは、一方が画像で他方が数値であったり、一方が複数の画像群で構成され他方が文字列であったり、双方が画像であったりする等、所望の構成に適したものであってよい。具体的には、例えば、ＯＣＴによって取得された画像と、該画像に対応する撮影部位ラベルとのペア群によって構成された教師データ（以下、第１の教師データ）が挙げられる。なお、撮影部位ラベルは部位を表すユニークな数値や文字列である。また、その他の教師データの例として、ＯＣＴの通常撮影によって取得されたノイズの多い低画質画像と、ＯＣＴにより複数回撮影して高画質化処理した高画質画像とのペア群によって構成されている教師データ（以下、第２の教師データ）等が挙げられる。
【0013】
機械学習モデルに入力データを入力すると、該機械学習モデルの設計に従った出力データが出力される。機械学習モデルは、例えば、教師データを用いてトレーニングされた傾向に従って、入力データに対応する可能性の高い出力データを出力する。また、機械学習モデルは、例えば、教師データを用いてトレーニングされた傾向に従って、出力データの種類のそれぞれについて、入力データに対応する可能性を数値として出力することができる。具体的には、例えば、第１の教師データでトレーニングされた機械学習モデルにＯＣＴによって取得された画像を入力すると、機械学習モデルは、当該画像に撮影されている撮影部位の撮影部位ラベルを出力したり、撮影部位ラベル毎の確率を出力したりする。また、例えば、第２の教師データでトレーニングされた機械学習モデルにＯＣＴの通常撮影によって取得されたノイズの多い低画質画像を入力すると、機械学習モデルは、ＯＣＴにより複数回撮影して高画質化処理された画像相当の高画質画像を出力する。
【0014】
また、機械学習アルゴリズムは、畳み込みニューラルネットワーク（ＣＮＮ）等のディープラーニングに関する手法を含む。ディープラーニングに関する手法においては、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、教師データを用いてトレーニングされた傾向を出力データに再現することのできる程度が異なる場合がある。例えば、第１の教師データを用いたディープラーニングの機械学習モデルにおいては、より適切なパラメータが設定されていると、正しい撮影部位ラベルを出力する確率が高くなる場合がある。また、例えば、第２の教師データを用いたディープラーニングの機械学習モデルにおいては、より適切なパラメータが設定されていると、より高画質な画像を出力できる場合がある。
【0015】
具体的には、ＣＮＮにおけるパラメータは、例えば、畳み込み層に対して設定される、フィルタのカーネルサイズ、フィルタの数、ストライドの値、及びダイレーションの値、並びに全結合層の出力するノードの数等を含むことができる。なお、パラメータ群やトレーニングのエポック数は、教師データに基づいて、機械学習モデルの利用形態に好ましい値に設定することができる。例えば、教師データに基づいて、正しい撮影部位ラベルをより高い確率で出力したり、より高画質な画像を出力したりできるパラメータ群やエポック数を設定することができる。
【0016】
このようなパラメータ群やエポック数の決定方法の１つを例示する。まず、教師データを構成するペア群の７割をトレーニング用とし、残りの３割を評価用としてランダムに設定する。次に、トレーニング用のペア群を用いて機械学習モデルのトレーニングを行い、トレーニングの各エポックの終了時に、評価用のペア群を用いてトレーニング評価値を算出する。トレーニング評価値とは、例えば、各ペアを構成する入力データをトレーニング中の機械学習モデルに入力したときの出力と、入力データに対応する出力データとを損失関数によって評価した値群の平均値である。最後に、最もトレーニング評価値が小さくなったときのパラメータ群及びエポック数を、当該機械学習モデルのパラメータ群やエポック数として決定する。なお、このように、教師データを構成するペア群をトレーニング用と評価用とに分けてエポック数の決定を行うことによって、機械学習モデルがトレーニング用のペア群に対して過学習してしまうことを防ぐことができる。
【0017】
上述のとおり、本発明の実施形態に係る医用画像処理装置又はプログラムは、ＳＬＯやＯＣＴで撮影し生成するモノクロ画像や疑似カラー画像に対して学習モデルを適用し、画像をカラー化したり、画像の色味を補正したりする。更に、カラー化に際し、眼底カメラやＣｏｌｏｒ－ＳＬＯで取得されたカラー眼底画像を教師データとして参照し、取得画像を学習することでカラー化するモデルを構築することを特徴とする。ここで、教師データは、別のモダリティによって撮影された同一の撮影領域における過去の測定データであってもよいし、新規撮影によって取得されてもよい。なお、取得画像は、教師データに対して減色の関係にある。ここで、減色の関係とは、例えば、眼底カメラで用いる白色光に対する、Ｃｏｌｏｒ－ＳＬＯで用いるＲＧＢ光の関係や、Ｃｏｌｏｒ－ＳＬＯのＲＧＢ光に対する、近赤外のＳＬＯ（以後、ＩＲ－ＳＬＯと呼称する）の光やＯＣＴの光の関係を指す。即ち、カラー化を施す画像の撮影に用いられた測定光の帯域に対し、広い帯域の測定光で測定された画像を教師データとして学習することで、実際の測定光では表現できない色情報を付与し、画像をカラー化する。
【0018】
したがって、本発明に係る医用画像処理装置としては、例えば単独のモダリティとしては、Ｃｏｌｏｒ－ＳＬＯやＩＲ－ＳＬＯ、ＯＣＴ等がある。また、教師データを新規に取得する装置構成としては、教師データ取得用に眼底カメラやＣｏｌｏｒ－ＳＬＯを備え、カラー化する画像の取得用にＣｏｌｏｒ－ＳＬＯやＩＲ－ＳＬＯ、ＯＣＴを備える複合機構成の装置が挙げられる。その一例について、図面を用いて詳細に説明する。
【0019】
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。第１の実施形態では、ＩＲ－ＳＬＯで眼底正面画像を取得し、眼底カメラ画像、又はＣｏｌｏｒ－ＳＬＯ画像を教師データとして画像を着色する（すなわちカラー化する）方法について説明する。
まず、本発明の第１の実施形態について説明する。第１の実施形態では、ＩＲ－ＳＬＯで眼底正面画像を取得し、眼底カメラ画像、又はＣｏｌｏｒ－ＳＬＯ画像を教師データとして画像を着色する（すなわちカラー化する）方法について説明する。
【0020】
図１は、第１の実施形態に係る医用画像処理装置１００の概略構成の一例を示す図である。以下の説明においては、図１に示す第１の実施形態に係る医用画像処理装置１００を「医用画像処理装置１００－１」と記載する。また、図１では、医用画像処理装置１００－１として、ＳＬＯ装置を適用した例を示している。医用画像処理装置１００－１は、専用の光源１２０、被検眼Ｅの眼底Ｅｆからの反射光を得るためのＳＬＯ光学系８０、制御部２００、内部固視灯１１０、医用画像処理装置１００－１の所謂アライメントに用いる前眼部画像を得るための前眼部撮影部９０、画像を表示する表示部３００を備えている。制御部２００は、医用画像処理装置１００－１の各種可動部の制御を行う他、検出信号の取得を行い、取得された検出信号を内部の信号処理部（後述する図２の信号処理部２２０）に伝送する。後述する図２の信号処理部２２０は、伝送された検出信号に基づいて、画像の生成、位置合わせ、学習、着色を行う。なお、本実施形態では被検査物である被写体を人眼（被検眼Ｅ）としているが、本発明はこれに限るものではない。また、図１には、被検眼Ｅにおける深さ方向を示すｚ軸方向、及び、当該ｚ軸方向と直交し且つ相互に直交するｘ軸方向及びｙ軸方向を示す、ｘｙｚ座標系を図示している。
【0021】
＜ＳＬＯ測定系の構成＞
ＳＬＯ光源１２０から出射された照明光は、光ファイバーを介してＳＬＯ光学系８０に導かれる。ＳＬＯ光学系８０には、光源１２０側から順に、コリメータ８１、穴あきミラー１０１、レンズ８２、Ｘ走査スキャナー８３、レンズ８４，８５、Ｙ走査スキャナー８６及びダイクロイックミラー１０２が配置される。
ＳＬＯ光源１２０から出射された照明光は、光ファイバーを介してＳＬＯ光学系８０に導かれる。ＳＬＯ光学系８０には、光源１２０側から順に、コリメータ８１、穴あきミラー１０１、レンズ８２、Ｘ走査スキャナー８３、レンズ８４，８５、Ｙ走査スキャナー８６及びダイクロイックミラー１０２が配置される。
【0022】
より具体的には、照明光は、コリメータ８１から平行光として空間へ出射され、穴あきミラー１０１の穴あき部を通過し、レンズ８２を介し、当該照明光を図１のｘ軸方向に走査するＸ走査スキャナー８３、レンズ８４，８５、当該照明光を図１のｙ軸方向に走査するＹ走査スキャナー８６に至る。Ｙ走査スキャナーを経た照明光は、ダイクロイックミラー１０２に到達する。ここで、Ｘ走査スキャナー８３、Ｙ走査スキャナー８６は、ガルバノミラーから構成されており、駆動制御部２３０により制御され、眼底Ｅｆで所望の範囲の領域を測定光により走査することができる。
【0023】
ダイクロイックミラー１０２は、７６０ｎｍ～８００ｎｍを反射し、それ以外の光を透過する特性を有する。ダイクロイックミラー１０２にて反射された照明光は、レンズ５７、フォーカスレンズ５８及び対物レンズ１０６を経由し、被検眼Ｅの眼底Ｅｆに到達する。フォーカスレンズ５８はフォーカスステージ５９に対して固定され、当該フォーカスステージ５９を駆動制御部２３０が駆動することによって、図中矢印で示す光軸方向に移動可能とされている。被検眼Ｅの眼底Ｅｆを照射したＳＬＯ測定光は、眼底Ｅｆで反射・散乱され、上述の光学経路をたどり穴あきミラー１０１に達する。穴あきミラー１０１で反射された光は、レンズ８７を介し、アバランシェフォトダイオード（以下、ＡＰＤともいう）等の受光素子８８で受光され、電気信号に変換されて、制御部２００を介して、後述する図２の信号処理部２２０に伝送される。なお、受光素子には、ＰＭＴ（Ｐｈｏｔｏｍｕｌｔｉｐｌｉｅｒ Ｔｕｂｅ）又はＭＰＰＣ（Ｍｕｌｔｉ－Ｐｉｘｅｌ Ｐｈｏｔｏｎ Ｃｏｕｎｔｅｒ）等を適用してもよい。ここで、穴あきミラー１０１の位置は、被検眼の瞳孔位置と共役となっており、眼底Ｅｆに照射された測定光が反射・散乱された光のうち、瞳孔周辺部を通った光が、穴あきミラー１０１によって反射される。
【0024】
＜前眼部撮像部９０＞
前眼部撮像部９０の構成の一例について説明する。前眼部撮像部９０は、レンズ９１、９２、９３及び前眼部カメラ９４を備える。例えば、波長８５０ｎｍの照明光を発するＬＥＤ９５－ａ、９５－ｂから成る照明光源９５は、前眼部に光を照射する。前眼部で反射された光は、レンズ１０６を介し、ダイクロイックミラー１０５に達する。ダイクロイックミラー１０５は、例えば８２０ｎｍ～９００ｎｍの光を反射し、それ以外の光を透過する特性を有する。ダイクロイックミラー１０５で反射された光は、レンズ９１，９２，９３を介し、前眼部カメラ９４で受光される。前眼部カメラ９４で受光された光は、電気信号に変換され、制御部２００を介して、後述する図２の信号処理部２２０に伝送される。
前眼部撮像部９０の構成の一例について説明する。前眼部撮像部９０は、レンズ９１、９２、９３及び前眼部カメラ９４を備える。例えば、波長８５０ｎｍの照明光を発するＬＥＤ９５－ａ、９５－ｂから成る照明光源９５は、前眼部に光を照射する。前眼部で反射された光は、レンズ１０６を介し、ダイクロイックミラー１０５に達する。ダイクロイックミラー１０５は、例えば８２０ｎｍ～９００ｎｍの光を反射し、それ以外の光を透過する特性を有する。ダイクロイックミラー１０５で反射された光は、レンズ９１，９２，９３を介し、前眼部カメラ９４で受光される。前眼部カメラ９４で受光された光は、電気信号に変換され、制御部２００を介して、後述する図２の信号処理部２２０に伝送される。
【0025】
＜内部固視灯１１０＞
内部固視灯１１０は、固視灯表示部１１１、レンズ１１２で構成される。固視灯表示部１１１としては、例えば複数の発光ダイオード（ＬＥＤ）がマトリックス状に配置されたものを用いる。それぞれのＬＥＤ素子は、非図示のＲＧＢ用の３色のチップと色を変更するコントロール部を備え、後述する図２の駆動制御部２３０からの制御により、表示色を変更することが可能である。また、内部固視灯の点灯位置は、制御部２００の制御により、撮像したい部位に合わせて変更される。以上の構成により、所望のパターンと色に調整された固視灯表示部１１１からの光は、レンズ１１２を介し、被検眼Ｅに導かれる。
内部固視灯１１０は、固視灯表示部１１１、レンズ１１２で構成される。固視灯表示部１１１としては、例えば複数の発光ダイオード（ＬＥＤ）がマトリックス状に配置されたものを用いる。それぞれのＬＥＤ素子は、非図示のＲＧＢ用の３色のチップと色を変更するコントロール部を備え、後述する図２の駆動制御部２３０からの制御により、表示色を変更することが可能である。また、内部固視灯の点灯位置は、制御部２００の制御により、撮像したい部位に合わせて変更される。以上の構成により、所望のパターンと色に調整された固視灯表示部１１１からの光は、レンズ１１２を介し、被検眼Ｅに導かれる。
【0026】
【0027】
取得部２１０は、ＡＰＤ８８及び前眼部カメラ９４と接続され、これらから出力される各種信号を取得する。取得部２１０が取得する信号はデジタルでもアナログでもよく、取得部２１０は、アナログ信号を取得した場合には、これをデジタル信号に変換してもよい。
【0028】
信号処理部２２０は、ＡＰＤ８８から伝送される信号に基づき、撮影画像を生成する。また、信号処理部２２０は、記憶部２４０内に保存されている色情報を有する同一の被検眼Ｅの参照画像を参照し、生成された撮影画像と共に学習することで、撮影画像の着色モデルを学習する。更に、学習が完了したモデル（学習済みモデル）を用いて前記撮影画像を着色する。また、信号処理部２２０は、撮影画像を解析し、解析結果の可視化情報の生成を行う。なお、画像の生成や学習方法の詳細については後述する。
【0029】
駆動制御部２３０は、上述のとおり各部を制御する。
【0030】
記憶部２４０は、医用画像処理装置１００－１とは異なるモダリティの装置で予め取得された、被検者を同定するための被検者識別番号や、被検眼Ｅの色情報を有する画像を記憶する。また、記憶部２４０は、信号処理部２２０により生成される撮影画像と、後述する図３の学習部２２３によって構築される着色モデルを更に記憶する。なお、本実施形態では、記憶部２４０を医用画像処理装置１００－１内の構成として説明をするが、必ずしも医用画像処理装置１００－１に内蔵される必要はなく、例えば匿名化が施された患者情報や撮影情報がデーターベースとして集約される基幹ネットワークであってもよい。
【0031】
＜信号処理部２２０＞
図３は、図２に示す信号処理部２２０の概略構成の一例を示すブロック図である。信号処理部２２０は、図３に示すように、画像参照部２２１、位置合わせ部２２２、学習部２２３及び着色部２２４を有する。前述したように、信号処理部２２０内にある画像参照部２２１によって、医用画像処理装置１００－１とは異なるモダリティの装置で予め取得された、被検眼Ｅの色情報を有する参照画像が参照される。位置合わせ部２２２は、信号処理部２２０が生成する撮影画像に対して、画像参照部２２１が参照する参照画像の位置合わせを行う。学習部２２３は、画像参照部２２１によって参照され、位置合わせ部２２２によって位置合わせされた、色情報を有する参照画像を教師データとして撮影画像を学習し、撮影画像を着色するモデルを構築する。着色部２２４は、学習部２２３によって構築される着色モデルを適用して、撮影画像に色情報を与えてカラー化する。
図３は、図２に示す信号処理部２２０の概略構成の一例を示すブロック図である。信号処理部２２０は、図３に示すように、画像参照部２２１、位置合わせ部２２２、学習部２２３及び着色部２２４を有する。前述したように、信号処理部２２０内にある画像参照部２２１によって、医用画像処理装置１００－１とは異なるモダリティの装置で予め取得された、被検眼Ｅの色情報を有する参照画像が参照される。位置合わせ部２２２は、信号処理部２２０が生成する撮影画像に対して、画像参照部２２１が参照する参照画像の位置合わせを行う。学習部２２３は、画像参照部２２１によって参照され、位置合わせ部２２２によって位置合わせされた、色情報を有する参照画像を教師データとして撮影画像を学習し、撮影画像を着色するモデルを構築する。着色部２２４は、学習部２２３によって構築される着色モデルを適用して、撮影画像に色情報を与えてカラー化する。
【0032】
＜表示部３００＞
表示部３００は、例えば、液晶等のディスプレイである。表示部３００は、制御部２００の制御の下、後述するように種々の情報を表示する。なお、制御部２００からの画像データは、表示部３００に有線で送信されてもよいし、無線で送信されてもよい。
表示部３００は、例えば、液晶等のディスプレイである。表示部３００は、制御部２００の制御の下、後述するように種々の情報を表示する。なお、制御部２００からの画像データは、表示部３００に有線で送信されてもよいし、無線で送信されてもよい。
【0033】
次に、図４と図５を参照して、本実施形態の撮影と信号処理手順を示す。図４は、第１の実施形態に係る医用画像処理装置１００－１の撮影処理の流れと撮影画像を着色する処理の流れの一例を示すフローチャートである。また、図５は、第１の実施形態に係る撮影画面の一例を示す図である。
【0034】
＜ステップＳ４０１＞
ステップＳ４０１では、医用画像処理装置１００－１は、被検眼Ｅと当該装置のアライメントを行う。アライメントは、内部固視灯１１０を点灯して被検眼に注視させた状態で、前眼撮像部９０により観察される被検眼の前眼部画像（図５の前眼表示領域５１０に表示される前眼部画像）に基づいて、操作者によって入力された情報に基づいてなされてもよいし、医用画像処理装置１００－１が自動で行ってもよい。
ステップＳ４０１では、医用画像処理装置１００－１は、被検眼Ｅと当該装置のアライメントを行う。アライメントは、内部固視灯１１０を点灯して被検眼に注視させた状態で、前眼撮像部９０により観察される被検眼の前眼部画像（図５の前眼表示領域５１０に表示される前眼部画像）に基づいて、操作者によって入力された情報に基づいてなされてもよいし、医用画像処理装置１００－１が自動で行ってもよい。
【0035】
具体的には、医用画像処理装置１００－１の前に配置された被検眼Ｅの前眼部は、前眼部照明光源のＬＥＤ９５－ａ、９５－ｂの発した光により照明される。このように照明された前眼部の像は、対物レンズ１０６を通り、ダイクロイックミラー１０５で反射され、レンズ９３により、撮像素子９４の撮像面に結像する。撮像素子９４からの映像信号は、取得部２１０に入力される。取得部２１０に入力された映像信号に基づき、制御部２００は前眼部画像を生成し、図５の前眼表示領域５１０に表示する。
【0036】
医用画像処理装置１００－１の光学系は、非図示のステージ上に配置されている。制御部２００は、ステージ内の駆動部を制御し、上下左右前後に駆動する。また、光学系の光軸は、撮像面の中心と一致するように調整されている。このため、前眼撮像部９０で撮影された前眼部画像の瞳孔中心と撮像中心との偏心量が、被検眼Ｅと光学系の偏心量に相当する。
【0037】
医用画像処理装置１００－１は、操作者によって入力された情報に基づいて、或いは自動で被検眼Ｅの瞳孔中心と光軸が一致するように位置調整を行う。具体的には、制御部２００は、被検眼の前眼部画像のうちの特に虹彩の模様によって、被検眼Ｅの偏心及びフォーカスの状態を判定する。そして、制御部２００は、瞳孔中心と光軸が一致するようにステージ内の駆動部を制御して位置を調整し、虹彩の模様のコントラストが最も高くなるように光軸方向の位置調整を行う。これにより、制御部２００は、虹彩と同一面である被検眼Ｅの瞳孔と光学系の対物レンズ１０６との距離（ワーキングディスタンス）を一定に保つ。操作者は、図５の前眼表示領域５１０に表示された前眼部画像を確認することにより、光軸偏心を確認することができる。
【0038】
＜ステップＳ４０２＞
ステップＳ４０２では、制御部２００が、参照画像を教師として撮影画像を着色するモデルを学習するかどうかの判定を行う。モデル学習の設定は、設定ファイルを装置に読み込ませることによってなされてもよいし、ＧＵＩ上に設けられた設定ボタンを介して任意に切り替えられてもよい（非図示）。このステップＳ４０２の判定の結果、着色するモデルを学習しない場合には（Ｓ４０２／ｎ）、プロセスは、そのままステップＳ４０５の撮影パラメータ調整のステップへ進む。一方、ステップＳ４０２の判定の結果、着色するモデルの学習を行う場合には（Ｓ４０２／ｙ）、プロセスは次のステップＳ４０３へ進む。
ステップＳ４０２では、制御部２００が、参照画像を教師として撮影画像を着色するモデルを学習するかどうかの判定を行う。モデル学習の設定は、設定ファイルを装置に読み込ませることによってなされてもよいし、ＧＵＩ上に設けられた設定ボタンを介して任意に切り替えられてもよい（非図示）。このステップＳ４０２の判定の結果、着色するモデルを学習しない場合には（Ｓ４０２／ｎ）、プロセスは、そのままステップＳ４０５の撮影パラメータ調整のステップへ進む。一方、ステップＳ４０２の判定の結果、着色するモデルの学習を行う場合には（Ｓ４０２／ｙ）、プロセスは次のステップＳ４０３へ進む。
【0039】
＜ステップＳ４０３＞
ステップＳ４０３では、画像参照部２２１が、被検眼Ｅの色情報を有する参照画像を参照する。なお、被検眼の同定は、記憶部２４０が記憶する被検者識別番号に基づいて行われ、画像参照部２２１は、記憶部２４０が保持している当該被検眼に関する情報を取得する。参照画像は、図５の撮影画面５００に表示されてもよく、例えば参照画像５２０のように表示される。
ステップＳ４０３では、画像参照部２２１が、被検眼Ｅの色情報を有する参照画像を参照する。なお、被検眼の同定は、記憶部２４０が記憶する被検者識別番号に基づいて行われ、画像参照部２２１は、記憶部２４０が保持している当該被検眼に関する情報を取得する。参照画像は、図５の撮影画面５００に表示されてもよく、例えば参照画像５２０のように表示される。
【0040】
＜ステップＳ４０４＞
ステップＳ４０４では、制御部２００が撮影領域の指定を行う。制御部２００は、例えば、図５の参照画像５２０に重畳表示する注目領域５２１を拡縮・移動して、ＳＬＯで撮影する領域を指定する（領域指定）。なお、撮影領域の指定は、上述のＧＵＩによる指定の他、記憶部２４０に保存される撮影情報に基づいてなされてもよい。例えば、記憶部２４０は、当該被検眼の過去撮影時の撮影範囲、内部固視灯位置、フォーカス情報等を記憶し、制御部２００は、これらのいずれかの情報に基づいて、医用画像処理装置１００－１における撮影領域を指定してもよい。
ステップＳ４０４では、制御部２００が撮影領域の指定を行う。制御部２００は、例えば、図５の参照画像５２０に重畳表示する注目領域５２１を拡縮・移動して、ＳＬＯで撮影する領域を指定する（領域指定）。なお、撮影領域の指定は、上述のＧＵＩによる指定の他、記憶部２４０に保存される撮影情報に基づいてなされてもよい。例えば、記憶部２４０は、当該被検眼の過去撮影時の撮影範囲、内部固視灯位置、フォーカス情報等を記憶し、制御部２００は、これらのいずれかの情報に基づいて、医用画像処理装置１００－１における撮影領域を指定してもよい。
【0041】
＜ステップＳ４０５＞
ステップＳ４０５では、医用画像処理装置１００－１が、被検眼Ｅをスキャンしてプレビュー表示を開始し、各種撮影パラメータを調整する。プレビュー表示は、操作者が非図示のスキャン開始ボタンを押下することによって開始されてもよいし、医用画像処理装置１００－１に設けられる非図示のスイッチを介して開始されてもよい。スキャン開始が選択されると、制御部２００は、駆動制御部２３０を制御し、ガルバノミラーを動作させて、図５に示す撮影画像５３０のプレビュー表示を行う。操作者は、プレビュー表示を確認しながら、撮影のための各種撮影パラメータの調整を行うことができる。具体的には、少なくとも、撮影範囲、内部固視灯の位置、フォーカスが設定される。駆動制御部２３０は、固視灯表示部１１１の発光ダイオードを制御して、黄斑部や視神経乳頭部など所望の箇所で撮影を行うように、内部固視灯１１０の位置を制御する。撮影範囲の調整や内部固視灯の位置は、非図示のユーザーインターフェースを用いて操作者が設定できるものとする。また、フォーカスの調整は、撮影画像５３０の画像の輝度値が高くなるように、図５に示すフォーカス調整用のスライダー５３１を用いて設定することができる。
ステップＳ４０５では、医用画像処理装置１００－１が、被検眼Ｅをスキャンしてプレビュー表示を開始し、各種撮影パラメータを調整する。プレビュー表示は、操作者が非図示のスキャン開始ボタンを押下することによって開始されてもよいし、医用画像処理装置１００－１に設けられる非図示のスイッチを介して開始されてもよい。スキャン開始が選択されると、制御部２００は、駆動制御部２３０を制御し、ガルバノミラーを動作させて、図５に示す撮影画像５３０のプレビュー表示を行う。操作者は、プレビュー表示を確認しながら、撮影のための各種撮影パラメータの調整を行うことができる。具体的には、少なくとも、撮影範囲、内部固視灯の位置、フォーカスが設定される。駆動制御部２３０は、固視灯表示部１１１の発光ダイオードを制御して、黄斑部や視神経乳頭部など所望の箇所で撮影を行うように、内部固視灯１１０の位置を制御する。撮影範囲の調整や内部固視灯の位置は、非図示のユーザーインターフェースを用いて操作者が設定できるものとする。また、フォーカスの調整は、撮影画像５３０の画像の輝度値が高くなるように、図５に示すフォーカス調整用のスライダー５３１を用いて設定することができる。
【0042】
着色モデルの学習を行う場合は、ステップＳ４０４で記載したように、撮影範囲は、図５の参照画像５２０に重畳表示される注目領域５２１によって指定される。撮影範囲が指定された後、プロセスは本ステップに移行し、医用画像処理装置１００－１が図５に示す撮影画像５３０のプレビュー表示を行う。このとき、参照画像と同じ範囲を撮影するように、制御部２００は駆動制御部２３０を制御し、Ｘ走査スキャナー８３とＹ走査スキャナー８６の走査位置を調整する。具体的には、位置合わせ部２２２が、図５に示す注目領域５２１に含まれる参照画像と撮影画像５３０の位置合わせを行い、最も相関が高くなる走査範囲を算出して、スキャナー駆動に反映させることで撮影範囲を自動調整する。なお、位置合わせは、例えば位相限定相関法などを用いるが、手法はこれに限らず、画像間の相対的な位置関係が算出できるものであれば何でもよい。参照画像として用いる画像の周縁部が、例えば鏡筒や睫毛などによって暗い場合には、閾値処理によって計算対象から除外してもよい。また、処理の高速化を図るために、予め参照画像と撮影画像のそれぞれに平滑フィルタを適用して、高周波成分を除去してもよい。なお、設定で本ステップの自動調整を非実行としてもよく、また、本ステップで自動的に撮影範囲が設定された後、上述のとおり、ユーザーインターフェースを用いて手動で撮影範囲が修正されてもよい。
【0043】
＜ステップＳ４０６＞
ステップＳ４０５までの一連の撮影領域調整を終えた後、ステップＳ４０６において、医用画像処理装置１００－１は、操作者が図５の撮影ボタン５３２を押下すると、撮影を開始する。なお、撮影開始は、医用画像処理装置１００－１に設けられる非図示のスイッチが担ってもよい。
ステップＳ４０５までの一連の撮影領域調整を終えた後、ステップＳ４０６において、医用画像処理装置１００－１は、操作者が図５の撮影ボタン５３２を押下すると、撮影を開始する。なお、撮影開始は、医用画像処理装置１００－１に設けられる非図示のスイッチが担ってもよい。
【0044】
＜ステップＳ４０７＞
ステップＳ４０７では、ステップＳ４０２と同様、制御部２００が、参照画像を教師として撮影画像を着色するモデルを学習するかどうかの判定を行う。このステップＳ４０７の判定の結果、着色するモデルを学習しない場合には（Ｓ４０７／ｎ）、そのままステップＳ４１０の着色モデル適用の判定ステップへ進む。一方、ステップＳ４０７の判定の結果、着色するモデルの学習を行う場合には（Ｓ４０７／ｙ）、次のステップＳ４０８へ進む。
ステップＳ４０７では、ステップＳ４０２と同様、制御部２００が、参照画像を教師として撮影画像を着色するモデルを学習するかどうかの判定を行う。このステップＳ４０７の判定の結果、着色するモデルを学習しない場合には（Ｓ４０７／ｎ）、そのままステップＳ４１０の着色モデル適用の判定ステップへ進む。一方、ステップＳ４０７の判定の結果、着色するモデルの学習を行う場合には（Ｓ４０７／ｙ）、次のステップＳ４０８へ進む。
【0045】
＜ステップＳ４０８＞
ステップＳ４０８では、位置合わせ部２２２が、参照画像と撮影画像の位置合わせを行う。位置合わせの前処理として、位置合わせ部２２２は、参照画像をグレースケールに変換する。グレースケールへの変換は輝度に関して行い、例えば、以下の（１）式を用いてＲＧＢ色空間からＹＣｂＣｒ色空間へ変換を行う際のＹの値を参照すればよい。なお、変換式は必ずしもこれに限らず、設計に応じて係数は適応的に変化させてもよい。
ステップＳ４０８では、位置合わせ部２２２が、参照画像と撮影画像の位置合わせを行う。位置合わせの前処理として、位置合わせ部２２２は、参照画像をグレースケールに変換する。グレースケールへの変換は輝度に関して行い、例えば、以下の（１）式を用いてＲＧＢ色空間からＹＣｂＣｒ色空間へ変換を行う際のＹの値を参照すればよい。なお、変換式は必ずしもこれに限らず、設計に応じて係数は適応的に変化させてもよい。
【数1】
【0046】
続いて、位置合わせ部２２２は、位相限定相関法などを用いて位置合わせを行い、図５に示す撮影画像５３０に対して、グレースケール化された参照画像５２０を変形する。変形の際は、Ｙの値だけでなく、ＣｂやＣｒの値もＹの値の変化に応じて修正を行う。例えば、変形によって、ある画素のＹの値に、隣接画素のＹの値が代入される場合には、同様にＣｒ、Ｃｂの値も代入する。なお、ステップＳ４０５と同様、参照画像として用いる画像の周縁部が、例えば鏡筒や睫毛などによって暗い場合には、閾値処理によって相関計算の対象から除外してもよい。また、位置合わせ部は、参照画像と撮影画像の解像度が等しくなるように、参照画像の画素を補間又は平均してリスケールする。最後に、以下の（２）式に示す変換式により、参照画像を再びカラー画像へ変換する。また、上記変換式と同様、変換式は必ずしもこれに限らず、設計に応じて係数は適応的に変化させてもよい。
【数2】
【0047】
＜ステップＳ４０９＞
ステップＳ４０９では、学習部２２３が、位置合わせされた参照画像５２０を教師データとし、撮影により取得した撮影画像５３０を学習データとして、撮影画像５３０を着色する着色モデルの学習を行う。図６は、第１の実施形態において、構築する着色モデルの構成の一例を示す図である。
ステップＳ４０９では、学習部２２３が、位置合わせされた参照画像５２０を教師データとし、撮影により取得した撮影画像５３０を学習データとして、撮影画像５３０を着色する着色モデルの学習を行う。図６は、第１の実施形態において、構築する着色モデルの構成の一例を示す図である。
【0048】
図６で示す構成は、入力値群を加工して出力する処理を担う、複数の層群によって構成される。なお、前記構成に含まれる層の種類としては、図６に示すように、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、合成（Ｍｅｒｇｅｒ）層がある。畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、前記フィルタのカーネルサイズの次元数も変化してよい。ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。処理の具体例としては、Ｍａｘ Ｐｏｏｌｉｎｇ処理がある。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。処理の具体例としては、線形補間処理がある。合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。このような構成では、入力された画像６０１を構成する画素値群が畳み込み処理ブロックを経て出力された値群と、入力された画像６０１を構成する画素値群が、合成層で合成される。その後、合成された画素値群は最後の畳み込み層で推論画像６０２に成形される。
【0049】
なお、図示はしないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（Ｒｅｃｔｉｆｉｅｒ Ｌｉｎｅａｒ Ｕｎｉｔ）を用いた活性化層を組み込む等をしてもよい。また、ＣＮＮの構築には学習用に大量の画像データが必要となるが、とりわけ、医療分野においては画像データを大量に用意することが困難である。そこで、例えば、新しいデータを生成する敵対的生成ネットワークであるＧｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ（ＧＡＮ）を利用する方法も有効である。
【0050】
本実施形態の学習部２２３における推論処理は、上述のとおり、図５の参照画像５２０と撮影画像５３０とをペアで学習する。ステップＳ４０８において、参照画像５２０は撮影画像５３０に対して位置合わせがされているので、２つの画像をペアで学習することで、輝度情報のみを有するＩＲ－ＳＬＯの撮影画像に対して、対応するカラーの参照画像から色情報を推定することができる。着色モデルの構築が完了した後、制御部２００は、着色モデルを記憶部２４０に記憶する。
【0051】
＜ステップＳ４１０＞
ステップＳ４１０では、制御部２００が、記憶部２４０に記憶されている学習モデル（着色モデル）を、撮影画像に対して適用し、画像をカラー化するかどうかの判定を行う。モデル適用の設定は、設定ファイルを医用画像処理装置１００－１に読み込ませることによってなされてもよいし、ＧＵＩ上に設けられた設定ボタンを介して任意に切り替えられてもよい（非図示）。このステップＳ４１０の判定の結果、着色モデルを適用する場合には（Ｓ４１０／ｙ）、プロセスは、次のステップＳ４１１へ進む。一方、ステップＳ４１０の判定の結果、着色モデルを適用しない場合には（Ｓ４１０／ｎ）、プロセスは、一連の処理を終了する。
ステップＳ４１０では、制御部２００が、記憶部２４０に記憶されている学習モデル（着色モデル）を、撮影画像に対して適用し、画像をカラー化するかどうかの判定を行う。モデル適用の設定は、設定ファイルを医用画像処理装置１００－１に読み込ませることによってなされてもよいし、ＧＵＩ上に設けられた設定ボタンを介して任意に切り替えられてもよい（非図示）。このステップＳ４１０の判定の結果、着色モデルを適用する場合には（Ｓ４１０／ｙ）、プロセスは、次のステップＳ４１１へ進む。一方、ステップＳ４１０の判定の結果、着色モデルを適用しない場合には（Ｓ４１０／ｎ）、プロセスは、一連の処理を終了する。
【0052】
＜ステップＳ４１１＞
ステップＳ４１１では、着色部２２４が、学習した着色モデルを適用し、撮影画像５３０をカラー化する。着色部２２４は、記憶部２４０に保存されている既習の着色モデルを読み込み、実行して、撮影画像５３０をカラー化した疑似カラー画像７１０を生成する。
ステップＳ４１１では、着色部２２４が、学習した着色モデルを適用し、撮影画像５３０をカラー化する。着色部２２４は、記憶部２４０に保存されている既習の着色モデルを読み込み、実行して、撮影画像５３０をカラー化した疑似カラー画像７１０を生成する。
【0053】
＜ステップＳ４１２＞
ステップＳ４１２では、制御部２００が、ステップＳ４１１で生成した疑似カラー画像７１０をレポート画面７００に表示する。図７は、第１の実施形態に係るレポート画面の一例を示す図である。レポート画面７００には、ＩＲ－ＳＬＯで撮影された撮影画像５３０がデフォルトで表示される（非図示）。ここで、操作者は、ユーザーインターフェースとして設けられるＣｏｌｏｒｉｚａｔｉｏｎボタン７１１を押下することで、撮影画像５３０に対して着色モデルを適用して着色した疑似カラー画像７１０を切り替えて表示するように表示制御することができる。なお、表示の形態はこれに限らず、例えば撮影画像５３０と疑似カラー画像７１０が並べて表示されてもよい。疑似カラー画像７１０は、レポートデータとして記憶部２４０に保存されてもよいし、レポート表示の都度、最新の着色モデルを適用して表示されてもよい。
ステップＳ４１２では、制御部２００が、ステップＳ４１１で生成した疑似カラー画像７１０をレポート画面７００に表示する。図７は、第１の実施形態に係るレポート画面の一例を示す図である。レポート画面７００には、ＩＲ－ＳＬＯで撮影された撮影画像５３０がデフォルトで表示される（非図示）。ここで、操作者は、ユーザーインターフェースとして設けられるＣｏｌｏｒｉｚａｔｉｏｎボタン７１１を押下することで、撮影画像５３０に対して着色モデルを適用して着色した疑似カラー画像７１０を切り替えて表示するように表示制御することができる。なお、表示の形態はこれに限らず、例えば撮影画像５３０と疑似カラー画像７１０が並べて表示されてもよい。疑似カラー画像７１０は、レポートデータとして記憶部２４０に保存されてもよいし、レポート表示の都度、最新の着色モデルを適用して表示されてもよい。
【0054】
ステップＳ４１２の処理を完了すると、制御部２００は、ＩＲ－ＳＬＯで取得した撮影画像を利用して着色モデルを学習する処理と、該撮影画像に着色モデルを適用してカラー化する一連の処理を終了する。
【0055】
以上に述べた構成によれば、異なるモダリティで撮影された色情報を有する参照画像とＩＲ－ＳＬＯで取得した撮影画像をペアで学習し、着色するモデルを生成することができる。また、生成した着色モデルを適用させることで、ＩＲ－ＳＬＯで取得した撮影画像をカラー化することができる。それにより、実際に用いる測定光では表現できない色情報を付与し、撮影画像をカラー化することができる。
【0056】
なお、着色モデルを適用することで、過去に取得されたＩＲ－ＳＬＯ画像をカラー化することも可能である。この場合は、処理プログラムのバージョンアップ対応として、既存の装置に付随のソフト、或いは表示専用ソフトを更新することで本実施形態の処理を実行することが可能となる。
【0057】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態に係る医用画像処理装置は、Ｃｏｌｏｒ－ＳＬＯで眼底正面画像を取得し、眼底カメラ画像とペアで機械学習にかけることで、画像の色味を補正するモデルを構築する。また、当該構築したモデルを使用して、Ｃｏｌｏｒ－ＳＬＯ画像の色味を補正することを特徴とする。以下に詳細を説明する。なお、以下に記載する第２の実施形態の説明において、第１の実施形態で説明した構成や処理と同様の内容については、詳細な説明を省略する。
次に、本発明の第２の実施形態について説明する。第２の実施形態に係る医用画像処理装置は、Ｃｏｌｏｒ－ＳＬＯで眼底正面画像を取得し、眼底カメラ画像とペアで機械学習にかけることで、画像の色味を補正するモデルを構築する。また、当該構築したモデルを使用して、Ｃｏｌｏｒ－ＳＬＯ画像の色味を補正することを特徴とする。以下に詳細を説明する。なお、以下に記載する第２の実施形態の説明において、第１の実施形態で説明した構成や処理と同様の内容については、詳細な説明を省略する。
【0058】
図８は、第２の実施形態に係る医用画像処理装置１００の概略構成の一例を示す図である。以下の説明においては、図８に示す第２の実施形態に係る医用画像処理装置１００を「医用画像処理装置１００－２」と記載する。図８に示す医用画像処理装置１００－２では、図１に示す医用画像処理装置１００－１の光源１２０に替えて、Ｃｏｌｏｒ－ＳＬＯ光源８００を用いるものである。図８に示すＣｏｌｏｒ－ＳＬＯ光源８００は、赤外光を出力する赤外レーザ光源８０１ＩＲ、赤色波長域の光を出力する赤色レーザ光源８０１Ｒ、緑色波長域の光を出力する緑色レーザ光源８０１Ｇ、青色波長域の光を出力する青色レーザ光源８０１Ｂを備える。出力波長は、例えば、赤外光が１０６０ｎｍ、赤色が６４０ｎｍ、緑色が５３２ｎｍ、青色が４４７ｎｍの光源を利用するが、選択する波長はこれに限定されない。また、Ｃｏｌｏｒ－ＳＬＯ光源８００内には、赤外レーザ光を反射する反射ミラー８０２ＩＲ、赤色レーザ光を分岐する波長分岐ミラー８０２Ｒ、緑色レーザ光を分岐する波長分岐ミラー８０２Ｇ、青色レーザ光を分岐する波長分岐ミラー８０２Ｂが配置される。また、Ｃｏｌｏｒ－ＳＬＯ光源８００内には、赤外レーザ光を平行光に変換するコリメータレンズ８０３ＩＲ、赤色レーザ光を平行光に変換するコリメータレンズ８０３Ｒ、緑色レーザ光を平行光に変換するコリメータレンズ８０３Ｇ、青色レーザ光を平行光に変換するコリメータレンズ８０３Ｂが配置される。なお、光出力部の構成はこれに限らず、少なくとも２種類の異なる波長域を持つレーザ光を出力できればよい。
【0059】
Ｃｏｌｏｒ－ＳＬＯ光源８００から出力された光は、ファイバー８０５を介してコリメータ８１に導かれ、上述した第１の実施形態と同様に、ＳＬＯ光学系を介して被検眼Ｅの眼底Ｅｆに達する。更に、眼底Ｅｆで反射された光は、眼底入射時と同一の光路を戻り、レンズ８７、波長カットフィルタ８９－ａ、受光素子８８に達する。なお、第１の実施形態と同様に、受光素子８８にはＡＰＤの他、ＰＭＴやＭＰＰＣ等を適用してもよい。眼底Ｅｆから反射された光は受光素子８８で電気信号に変換されて、制御部２００を介して信号処理部２２０に伝送される。
【0060】
図８では、波長カットフィルタ８９－ａが光路上に配置されているが、波長カットフィルタ８９－ａと光路外に配置されている波長カットフィルタ８９－ｂは、駆動制御部駆動部２３０によって選択的に光路に配置可能に構成されている。波長カットフィルタ８９－ａと波長カットフィルタ８９－ｂは、それぞれ異なる波長の光を遮断する特性を有する。なお、本実施形態に係る医用画像処理装置１００－２の前眼部撮影部９０や内部固視灯１１０は、第１の実施形態に係る医用画像処理装置１００－１と同様の構成であるので、説明を省略する。
【0061】
＜制御部２００＞
次に、本実施形態に係る医用画像処理装置１００－２を制御する制御部２００について説明する。本実施形態の制御部２００は、図２に示す第１の実施形態と同様の構成であり、取得部２１０、信号処理部２２０、駆動制御部２３０及び記憶部２４０を有する。ただし、本実施形態の駆動制御部２３０は、赤外レーザ光源の他、赤色レーザ光源、緑色レーザ光源、青色レーザ光源を制御する。また、制御部２００は、上述したとおり、波長カットフィルタ８９－ａと波長カットフィルタ８９－ｂを光路に選択的に配置するように駆動制御を行う。
次に、本実施形態に係る医用画像処理装置１００－２を制御する制御部２００について説明する。本実施形態の制御部２００は、図２に示す第１の実施形態と同様の構成であり、取得部２１０、信号処理部２２０、駆動制御部２３０及び記憶部２４０を有する。ただし、本実施形態の駆動制御部２３０は、赤外レーザ光源の他、赤色レーザ光源、緑色レーザ光源、青色レーザ光源を制御する。また、制御部２００は、上述したとおり、波長カットフィルタ８９－ａと波長カットフィルタ８９－ｂを光路に選択的に配置するように駆動制御を行う。
【0062】
＜撮影シーケンス＞
次に、本実施形態に係る医用画像処理装置１００－２を用いて、被検眼Ｅの眼底Ｅｆを撮影する方法について説明する。撮影シーケンスは、図４で示す第１の実施形態のフローチャートと基本的に同様であるので、同図を用いて、差分のみに関して詳細を説明する。
次に、本実施形態に係る医用画像処理装置１００－２を用いて、被検眼Ｅの眼底Ｅｆを撮影する方法について説明する。撮影シーケンスは、図４で示す第１の実施形態のフローチャートと基本的に同様であるので、同図を用いて、差分のみに関して詳細を説明する。
【0063】
＜撮影パラメータ調整＞
ステップＳ４０５において、駆動制御部２３０は、赤外レーザ光源８０１ＩＲを点灯する。このとき、赤色レーザ光源８０１Ｒ、緑色レーザ光源８０１Ｇ、青色レーザ光源８０１Ｂは消灯し、赤外レーザのみを用いて被検眼Ｅのプレビューが行われる。
ステップＳ４０５において、駆動制御部２３０は、赤外レーザ光源８０１ＩＲを点灯する。このとき、赤色レーザ光源８０１Ｒ、緑色レーザ光源８０１Ｇ、青色レーザ光源８０１Ｂは消灯し、赤外レーザのみを用いて被検眼Ｅのプレビューが行われる。
【0064】
なお、本実施形態ではカラー撮影を行うので、受光素子８８は、赤外から青色までの波長の光を検出可能な帯域幅を有する。固視灯の光も検出帯域に含まれるので、受光素子８８が検出しないようにフィルタでカットする必要がある。そこで、駆動制御部２３０は、受光素子８８へ入射する光路上に波長カットフィルタ８９－ａを挿入する。波長カットフィルタ８９－ａは、内部固視に用いる５２０ｎｍ前後の波長帯の光を遮断し、それ以外の波長を透過する特性を有する。これにより、眼底観察画像に、内部固視灯の光がノイズとして映り込むことを防ぐ。
【0065】
受光素子８８から出力される光強度信号は、非図示のＡ／Ｄ変換器でデジタル信号にリアルタイムに変換された後、検出部２１０に入力される。デジタル信号は信号処理部２２０へ伝送され、信号処理部２２０は、入力されたデジタル信号から撮影画像を生成する。そして、制御部２００は、生成した撮影画像を撮影画像５３０として撮影画面５００上に表示する。
【0066】
＜撮影＞
ステップＳ４０６において行われる撮影処理のフローチャートの詳細について、図９を用いて説明する。図９は、第２の実施形態に係る医用画像処理装置１００－２の撮影処理の流れの一例を示すフローチャートである。まず、制御部２００は、ユーザによって撮影ボタン５３２が押下されたことを検出して、撮影を開始する。
ステップＳ４０６において行われる撮影処理のフローチャートの詳細について、図９を用いて説明する。図９は、第２の実施形態に係る医用画像処理装置１００－２の撮影処理の流れの一例を示すフローチャートである。まず、制御部２００は、ユーザによって撮影ボタン５３２が押下されたことを検出して、撮影を開始する。
【0067】
＜ステップＳ９０１＞
ステップＳ９０１では、駆動制御部２３０は、プレビュー用に点灯していた赤外レーザ光源８０１ＩＲを消灯する。また、駆動制御部２３０は、Ｘ走査スキャナー８３とＹ走査スキャナー８６を制御して、撮影開始位置に移動させる。赤外レーザ光源８０１ＩＲの消灯するタイミングと、Ｘ走査スキャナー８３とＹ走査スキャナー８６を撮影開始位置に移動させるタイミングは、任意でよい。例えば、撮影ボタン５３２が押下されたことを検出した直後でもよいし、撮影ボタン５３２が押下された後のプレビューによる１フレーム分の走査が終わった後でもよい。
ステップＳ９０１では、駆動制御部２３０は、プレビュー用に点灯していた赤外レーザ光源８０１ＩＲを消灯する。また、駆動制御部２３０は、Ｘ走査スキャナー８３とＹ走査スキャナー８６を制御して、撮影開始位置に移動させる。赤外レーザ光源８０１ＩＲの消灯するタイミングと、Ｘ走査スキャナー８３とＹ走査スキャナー８６を撮影開始位置に移動させるタイミングは、任意でよい。例えば、撮影ボタン５３２が押下されたことを検出した直後でもよいし、撮影ボタン５３２が押下された後のプレビューによる１フレーム分の走査が終わった後でもよい。
【0068】
＜ステップＳ９０２＞
ステップＳ９０２では、駆動制御部２３０は、赤色レーザ光源８０１Ｒを点灯させる。駆動制御部２３０は、ＸＹの両スキャナーが所定の走査位置に移動したことを検出した後、赤色レーザ光源８０１Ｒを点灯する。また、駆動制御部２３０は、青色レーザ光源８０１Ｂが点灯していたら消灯する。
ステップＳ９０２では、駆動制御部２３０は、赤色レーザ光源８０１Ｒを点灯させる。駆動制御部２３０は、ＸＹの両スキャナーが所定の走査位置に移動したことを検出した後、赤色レーザ光源８０１Ｒを点灯する。また、駆動制御部２３０は、青色レーザ光源８０１Ｂが点灯していたら消灯する。
【0069】
＜ステップＳ９０３＞
ステップＳ９０３では、駆動制御部２３０は、Ｘ走査スキャナー８３とＹ走査スキャナー８６を制御して、赤色レーザ光で１フレーム分の走査を行う。これにより、１フレーム分だけ被検眼Ｅの眼底Ｅｆに赤色レーザ光が照射され、受光素子８８には赤色レーザ光による戻り光が導かれる。また、このとき、駆動制御部２３０は、操作者が指定した位置に応じて内部固視灯を表示するように、内部固視灯１１０を点灯している。ただし、被検眼Ｅの眼底Ｅｆで反射された緑色の光は、波長カットフィルタ８９－ａで遮断され、受光素子８８では赤色レーザ光による戻り光のみが受光される。これにより、赤色レーザ光による撮影画像に、内部固視灯の光がノイズとして映り込むことを防いでいる。また、撮影波長と異なる波長の光で固視灯を表示しているので、固視灯の視認性を向上させるのに有利になる。そして、受光素子８８から出力される光強度信号はデジタル信号に変換された後、検出部２１０に入力される。これによって、検出部２１０は、赤色レーザ光における１フレーム分のデジタル信号を取得する。駆動制御部２３０は、赤色レーザ光による１フレーム分の走査が完了したら、赤色レーザ光源８０１Ｒを消灯する。
ステップＳ９０３では、駆動制御部２３０は、Ｘ走査スキャナー８３とＹ走査スキャナー８６を制御して、赤色レーザ光で１フレーム分の走査を行う。これにより、１フレーム分だけ被検眼Ｅの眼底Ｅｆに赤色レーザ光が照射され、受光素子８８には赤色レーザ光による戻り光が導かれる。また、このとき、駆動制御部２３０は、操作者が指定した位置に応じて内部固視灯を表示するように、内部固視灯１１０を点灯している。ただし、被検眼Ｅの眼底Ｅｆで反射された緑色の光は、波長カットフィルタ８９－ａで遮断され、受光素子８８では赤色レーザ光による戻り光のみが受光される。これにより、赤色レーザ光による撮影画像に、内部固視灯の光がノイズとして映り込むことを防いでいる。また、撮影波長と異なる波長の光で固視灯を表示しているので、固視灯の視認性を向上させるのに有利になる。そして、受光素子８８から出力される光強度信号はデジタル信号に変換された後、検出部２１０に入力される。これによって、検出部２１０は、赤色レーザ光における１フレーム分のデジタル信号を取得する。駆動制御部２３０は、赤色レーザ光による１フレーム分の走査が完了したら、赤色レーザ光源８０１Ｒを消灯する。
【0070】
＜ステップＳ９０４＞
ステップＳ９０４において、駆動制御部２３０は、Ｘ走査スキャナー８３とＹ走査スキャナー８６を制御し、赤色レーザ光の走査開始位置と同じ位置に移動させる。そして、駆動制御部２３０は、該両スキャナーが所定の位置に移動したことを検出したら、青色レーザ光源８０１Ｂを点灯する。
ステップＳ９０４において、駆動制御部２３０は、Ｘ走査スキャナー８３とＹ走査スキャナー８６を制御し、赤色レーザ光の走査開始位置と同じ位置に移動させる。そして、駆動制御部２３０は、該両スキャナーが所定の位置に移動したことを検出したら、青色レーザ光源８０１Ｂを点灯する。
【0071】
＜ステップＳ９０５＞
ステップＳ９０５において、駆動制御部２３０は、Ｘ走査スキャナー８３とＹ走査スキャナー８６を制御して、青色レーザ光で１フレーム分の走査を行う。これにより、１フレーム分だけ被検眼Ｅの眼底Ｅｆに青色レーザ光が照射され、受光素子８８には青色レーザ光による戻り光が導かれる。また、このとき、緑色レーザ光源８０１Ｇは、操作者が指定した位置に応じて内部固視灯を表示するように、点灯タイミングを制御されて点灯している。具体的には、青色レーザ光が１フレーム撮影される間点灯し続けるのに対し、緑色レーザ光はより短い周期でオンオフを制御されて、操作者が指定した位置に内部固視灯を表示する。被検眼Ｅの眼底Ｅｆで反射された緑色レーザ光は、波長カットフィルタ８９－ａで遮断され、受光素子８８では青色レーザ光による戻り光のみが受光される。これにより、青色レーザ光による撮影画像に、内部固視灯の光がノイズとして映り込むことを防いでいる。また、撮影波長と異なる波長の光で固視灯を表示しているので、固視灯の視認性を向上させるのに有利になる。そして、受光素子８８から出力される光強度信号はデジタル信号に変換された後、検出部２１０に入力される。これによって、検出部２１０は、青色レーザ光における１フレーム分のデジタル信号を取得する。駆動制御部２３０は、青色レーザ光による１フレーム分の走査が完了したら、青色レーザ光源８０１Ｂを消灯する。
ステップＳ９０５において、駆動制御部２３０は、Ｘ走査スキャナー８３とＹ走査スキャナー８６を制御して、青色レーザ光で１フレーム分の走査を行う。これにより、１フレーム分だけ被検眼Ｅの眼底Ｅｆに青色レーザ光が照射され、受光素子８８には青色レーザ光による戻り光が導かれる。また、このとき、緑色レーザ光源８０１Ｇは、操作者が指定した位置に応じて内部固視灯を表示するように、点灯タイミングを制御されて点灯している。具体的には、青色レーザ光が１フレーム撮影される間点灯し続けるのに対し、緑色レーザ光はより短い周期でオンオフを制御されて、操作者が指定した位置に内部固視灯を表示する。被検眼Ｅの眼底Ｅｆで反射された緑色レーザ光は、波長カットフィルタ８９－ａで遮断され、受光素子８８では青色レーザ光による戻り光のみが受光される。これにより、青色レーザ光による撮影画像に、内部固視灯の光がノイズとして映り込むことを防いでいる。また、撮影波長と異なる波長の光で固視灯を表示しているので、固視灯の視認性を向上させるのに有利になる。そして、受光素子８８から出力される光強度信号はデジタル信号に変換された後、検出部２１０に入力される。これによって、検出部２１０は、青色レーザ光における１フレーム分のデジタル信号を取得する。駆動制御部２３０は、青色レーザ光による１フレーム分の走査が完了したら、青色レーザ光源８０１Ｂを消灯する。
【0072】
＜ステップＳ９０６＞
ステップＳ９０６では、駆動制御部２３０は、受光素子８８へ入射する光路から、波長カットフィルタ８９－ａを脱出させ、赤色レーザ光源８０１Ｒの波長を遮断する波長カットフィルタ８９－ｂを光路に挿入する。
ステップＳ９０６では、駆動制御部２３０は、受光素子８８へ入射する光路から、波長カットフィルタ８９－ａを脱出させ、赤色レーザ光源８０１Ｒの波長を遮断する波長カットフィルタ８９－ｂを光路に挿入する。
【0073】
＜ステップＳ９０７＞
ステップＳ９０７では、緑色レーザ光源８０１Ｇを点灯させる。駆動制御部２３０は、Ｘ走査スキャナー８３とＹ走査スキャナー８６を制御し、青色レーザ光の走査開始位置と同じ位置に移動させる。そして、駆動制御部２３０は、該両スキャナーが所定の位置に移動したことを検出したら、緑色レーザ光源８０１Ｇを点灯する。
ステップＳ９０７では、緑色レーザ光源８０１Ｇを点灯させる。駆動制御部２３０は、Ｘ走査スキャナー８３とＹ走査スキャナー８６を制御し、青色レーザ光の走査開始位置と同じ位置に移動させる。そして、駆動制御部２３０は、該両スキャナーが所定の位置に移動したことを検出したら、緑色レーザ光源８０１Ｇを点灯する。
【0074】
＜ステップＳ９０８＞
ステップＳ９０８では、駆動制御部２３０は、Ｘ走査スキャナー８３とＹ走査スキャナー８６を制御し、緑色レーザ光で１フレーム分の走査を行う。これにより、１フレーム分だけ被検眼Ｅの眼底Ｅｆに緑色レーザ光が照射され、受光素子８８には緑色レーザ光による戻り光が導かれる。また、このとき、駆動制御部２３０の制御により、内部固視灯に配置されるＬＥＤ素子は、緑色から赤色に発光色を変更し、操作者が指定した位置に応じて内部固視灯を表示するように点灯している。被検眼Ｅの眼底Ｅｆで反射された赤色の固視灯の光は、波長カットフィルタ８９－ｂで遮断され、受光素子８８では緑色レーザ光による戻り光のみが受光される。これにより、緑色レーザ光による撮影画像に、内部固視灯の光がノイズとして映り込むことを防いでいる。また、撮影波長と異なる波長の光で固視灯を表示しているので、固視灯の視認性を向上させるのに有利になる。そして、受光素子８８から出力される光強度信号は、デジタル信号に変換された後、検出部２１０に入力される。これによって、検出部２１０は、緑色レーザ光における１フレーム分のデジタル信号を取得する。駆動制御部２３０は、緑色レーザ光による１フレーム分の走査が完了したら、緑色レーザ光源８０１Ｇを消灯する。
ステップＳ９０８では、駆動制御部２３０は、Ｘ走査スキャナー８３とＹ走査スキャナー８６を制御し、緑色レーザ光で１フレーム分の走査を行う。これにより、１フレーム分だけ被検眼Ｅの眼底Ｅｆに緑色レーザ光が照射され、受光素子８８には緑色レーザ光による戻り光が導かれる。また、このとき、駆動制御部２３０の制御により、内部固視灯に配置されるＬＥＤ素子は、緑色から赤色に発光色を変更し、操作者が指定した位置に応じて内部固視灯を表示するように点灯している。被検眼Ｅの眼底Ｅｆで反射された赤色の固視灯の光は、波長カットフィルタ８９－ｂで遮断され、受光素子８８では緑色レーザ光による戻り光のみが受光される。これにより、緑色レーザ光による撮影画像に、内部固視灯の光がノイズとして映り込むことを防いでいる。また、撮影波長と異なる波長の光で固視灯を表示しているので、固視灯の視認性を向上させるのに有利になる。そして、受光素子８８から出力される光強度信号は、デジタル信号に変換された後、検出部２１０に入力される。これによって、検出部２１０は、緑色レーザ光における１フレーム分のデジタル信号を取得する。駆動制御部２３０は、緑色レーザ光による１フレーム分の走査が完了したら、緑色レーザ光源８０１Ｇを消灯する。
【0075】
上述したステップＳ９０２からステップＳ９０８の動作を行うことによって、制御部２００は、同じ走査位置１フレーム分の赤色レーザ光でのデジタル信号、緑色レーザ光でのデジタル信号、青色レーザ光でのデジタル信号を取得する。
【0076】
なお、上述した例では赤色レーザ光源、青色レーザ光源、緑色レーザ光源の順に１フレーム分のデジタル信号を取得しているが、必ずしもこの順番で切り替えなくてもよい。また、赤色レーザ光と青色レーザ光のフレームでは緑色に制御された光で内部固視灯を表示し、緑色レーザ光のフレームでは赤色に制御された光で内部固視灯を表示しているが、必ずしもこれに限らない。Ｃｏｌｏｒ－ＳＬＯ光源８００で出力される波長のうち、撮影光の波長と異なる可視波長の光であればよい。
【0077】
＜ステップＳ９０９＞
ステップＳ９０９では、制御部２００は、所定のフレーム数だけ撮影画像が取得できたかどうかを判断する。制御部２００は、ＲＧＢ画像が所定のフレーム数だけ取得できたと判断したら、撮影を終了する。このとき撮影するフレーム数は、撮影前に予め操作者の入力によって設定されてもよいし、撮影された画像を処理した結果のコントラスト等の画質評価指標から定められてもよい。撮影終了後、駆動制御部２３０は、観察光として赤外レーザ光源８０１ＩＲを点灯する。
ステップＳ９０９では、制御部２００は、所定のフレーム数だけ撮影画像が取得できたかどうかを判断する。制御部２００は、ＲＧＢ画像が所定のフレーム数だけ取得できたと判断したら、撮影を終了する。このとき撮影するフレーム数は、撮影前に予め操作者の入力によって設定されてもよいし、撮影された画像を処理した結果のコントラスト等の画質評価指標から定められてもよい。撮影終了後、駆動制御部２３０は、観察光として赤外レーザ光源８０１ＩＲを点灯する。
【0078】
撮影が終了したら、信号処理部２２０は、赤色レーザ光における所定のフレーム数分のデジタル信号から赤色眼底画像を生成し、緑色レーザ光における所定のフレーム数分のデジタル信号から緑色眼底画像を生成し、青色レーザ光における所定のフレーム数分のデジタル信号から青色眼底画像を生成する。そして、位置合わせ部２２２が、赤色眼底画像、緑色眼底画像、青色眼底画像の位置ずれ補正を行った後に合成処理し、合成カラー画像を生成する。位置ずれ補正は、例えば被検眼Ｅの赤色眼底画像、緑色眼底画像、青色眼底画像のそれぞれから視神経乳頭や眼底血管を特徴点として抽出し、差分値を求めることで位置ずれ補正量を導出できる。
【0079】
合成画像生成の際には、生体における赤色レーザ、緑色レーザ、青色レーザの光吸収の差を補正して、合成カラー画像を生成してもよい。７００ｎｍよりも短波長の光は血中に含まれるヘモグロビンの光吸収が強く、一方で１２００ｎｍよりも長波長の光は水による光吸収が強いので、一般に生体計測に用いられる光の波長は、７００ｎｍ～１２００ｎｍ程度が望ましい。この領域の光は比較的生体深部まで到達することができるので、深部の情報を得ることができる。上述のとおり、本実施形態の医用画像処理装置１００－２で用いる光は、赤色の６４０ｎｍ、緑色の５３２ｎｍ、青色の４４７ｎｍであり、いずれもヘモグロビンによって吸収される程度が比較的大きい波長帯域である。また、短波長になるほど光の吸収率が高くなるので、制御部２００は、波長に応じた吸収率の比を較正データとして持っておき、色を合成する際に、較正データに基づいて輝度を補正してもよい。
【0080】
以上の制御を行うことにより、内部固視灯を表示して固視状態を保ちながら、赤色レーザ光のデジタル信号、緑色レーザ光のデジタル信号、青色レーザ光のデジタル信号を取得することができる。これによって、撮影中の被検眼の動きを抑えられ、各色眼底画像内及び各色眼底画像間の位置ずれを低減することができる。
【0081】
＜色補正モデルの学習＞
ここで再び、図４を用いた説明に戻る。ステップＳ４０８、ステップＳ４０９では、制御部２００は、眼底カメラで取得された参照画像を教師として、上記の撮影フローにより生成された合成カラー画像の色味を補正するモデルを学習する。まず、ステップＳ４０８では、位置合わせ部２２２は、参照画像と合成カラー画像の位置合わせを行う。位置合わせの前処理として、位置合わせ部２２２は、（１）式に基づいて参照画像と合成カラー画像をグレースケールに変換する。グレースケールへの変換は、第１の実施形態と同様であるので、詳細の説明は省略する。
ここで再び、図４を用いた説明に戻る。ステップＳ４０８、ステップＳ４０９では、制御部２００は、眼底カメラで取得された参照画像を教師として、上記の撮影フローにより生成された合成カラー画像の色味を補正するモデルを学習する。まず、ステップＳ４０８では、位置合わせ部２２２は、参照画像と合成カラー画像の位置合わせを行う。位置合わせの前処理として、位置合わせ部２２２は、（１）式に基づいて参照画像と合成カラー画像をグレースケールに変換する。グレースケールへの変換は、第１の実施形態と同様であるので、詳細の説明は省略する。
【0082】
続いて、位置合わせ部２２２は、例えば、位相限定相関法などを用いて参照画像の位置合わせを行い、グレースケールに変換された合成カラー画像に対して、参照画像を変形する。また、位置合わせ部２２２は、画像の解像度が等しくなるように、参照画像の画素を補間又は平均してリスケールする。最後に、位置合わせ部２２２は、（２）式に基づいて、グレースケールに変換された参照画像と合成カラー画像をカラー画像に再変換する。
【0083】
＜ステップＳ４０９＞
ステップＳ４０９では、学習部２２３が、位置合わせされた参照画像５２０を教師データとし、撮影により取得し生成された合成カラー画像を学習データとして、合成カラー画像の色味を補正する色補正モデルの学習を行う。学習の方法は、第１の実施形態と同様であるため詳細な説明は省略する。
ステップＳ４０９では、学習部２２３が、位置合わせされた参照画像５２０を教師データとし、撮影により取得し生成された合成カラー画像を学習データとして、合成カラー画像の色味を補正する色補正モデルの学習を行う。学習の方法は、第１の実施形態と同様であるため詳細な説明は省略する。
【0084】
ステップＳ４０９の処理を完了すると、制御部２００は、Ｃｏｌｏｒ－ＳＬＯで取得した撮影画像に対して、眼底カラー画像を教師とする色補正モデルを学習する処理を終了する。上述した第１の実施形態と同様に、該撮影画像に色補正モデルを適用してカラー化し、表示することも可能であり、当該処理はステップＳ４１０、ステップＳ４１１と同様である。
【0085】
以上で述べた構成によれば、本実施形態では、眼底カラー画像の色情報を有する参照画像とＣｏｌｏｒ－ＳＬＯで取得した撮影画像をペアで学習し、色を補正するモデルを生成することができる。また、生成した補正モデルを適用させることで、Ｃｏｌｏｒ－ＳＬＯで取得した撮影画像の色味を補正することができる。それにより、実際に用いる測定光では表現できない色情報を付与し、撮影画像の色味を補正することができる。
【0086】
本実施形態では、赤色レーザ、緑色レーザ、青色レーザを用いて画像を取得し、合成することでＣｏｌｏｒ－ＳＬＯ画像を構築する例を挙げたが、画像の構築はこの例に限らない。例えば、上記レーザの中のいずれか２つの光源の組み合わせから構成されるＣｏｌｏｒ－ＳＬＯ画像であってもよいし、赤外レーザと組み合わせて合成される画像であってもよい。
【0087】
補正モデルを適用することで、過去に取得されたＣｏｌｏｒ－ＳＬＯ画像の色味を補正することも可能である。この場合は、処理プログラムのバージョンアップ対応として、Ｃｏｌｏｒ－ＳＬＯ装置に付随のソフト、或いは表示専用ソフトを更新することで本実施形態の処理を実行することが可能となる。
【0088】
次に、本実施形態に係る医用画像処理装置１００－２を用いて撮影を行う際の、フォーカス調整方法の派生例について説明する。Ｃｏｌｏｒ－ＳＬＯでは、各々が異なる波長の赤色レーザ、緑色レーザ、青色レーザを用いて撮影を行い、画像を合成することで疑似カラー画像を生成するが、異なる波長を用いることにより、焦点がシフトする問題が生じる。そこで、ここでは、各波長のレーザを用いて取得する画像から、赤色レーザ使用時、緑色レーザ使用時、青色レーザ使用時に最適なフォーカス位置を求めて撮影する方法について説明する。
【0089】
図１０は、第２の実施形態に係る医用画像処理装置１００－２で撮影を行う際の撮影画面の一例を示す図である。フォーカス調整は、撮影フローにおけるステップＳ４０５において実施される。まず、操作者が非図示のスキャン開始ボタンを押下するか、医用画像処理装置１００－２に設けられる非図示のスイッチを押下して、プレビューを開始する。プレビューが開始されると、制御部２００は駆動制御部２３０を制御して、赤外レーザ光源８０１ＩＲを点灯し、ガルバノミラーを動作させて撮影画像５３０のプレビュー表示を行う。操作者は、プレビュー表示を確認しながら、撮影のための各種撮影パラメータの調整を行うことができる。具体的には、少なくとも、撮影範囲、内部固視灯の位置、フォーカスが設定される。このうち、まずは撮影範囲と内部固視灯の位置が調整される。駆動制御部２３０は、固視灯表示部１１１の発光ダイオードを制御して、黄斑部や視神経乳頭部など所望の箇所で撮影を行うように内部固視灯１１０の位置を制御する。撮影範囲の調整や内部固視灯の位置は、非図示のユーザーインターフェースを用いて操作者が設定できるものとする。
【0090】
撮影範囲と内部固視灯の位置設定を終えたら、駆動制御部２３０は、Ｃｏｌｏｒ－ＳＬＯ光源８００を制御して、赤色、緑色、青色のレーザを画像毎に順次切り替えながらスキャンを行い、画像の取得を行う。次に、赤色、緑色、青色のレーザでスキャンして得る画像の各々（以下、Ｒ画像、Ｇ画像、Ｂ画像と呼称する）に対して、フォーカスの調整が実施される。具体的には、図１０のＲ画像１００１、Ｇ画像１００２、Ｂ画像１００３とこれらの合成画像１０１０を参照画像１０２０と比較しながら、Ｒ画像フォーカス制御器１００４、Ｇ画像フォーカス制御器１００５、Ｂ画像フォーカス制御器１００６を調整する。ここで、合成画像１０１０は、Ｒ画像、Ｇ画像、Ｂ画像を位置合わせし、加算することでグレースケールの画像として生成されてもよいし、位置合わせの後、疑似カラー画像として生成されてもよい。フォーカスの調整は、操作者が合成画像１０１０と参照画像１０２０を比較しながら手動で行ってもよいし、信号処理部２２０が合成画像１０１０と参照画像１０２０の類似度を計算して、相関値が最も高くなるように自動的に行ってもよい。類似度を計算し、自動的に各フォーカス位置を調整する場合には、信号処理部２２０は、グレースケールの合成画像を生成し、参照画像を（１）式に基づいてグレースケールに変換する。なお、眼底カメラで取得される参照画像１０２０は周縁部が鏡筒により暗いので、例えば、合成画像１０１０と参照画像１０２０で同一の領域を示す注目領域１０１１、１０２１を設けて、この領域内の画像について類似度を計算してもよい。或いは、前述のとおり閾値処理によって計算対象から除外してもよい。
【0091】
また、合成画像１０１０と参照画像の表示は、カラー表示とグレースケール表示のどちらであってもよい。ＧＵＩに設けられる非図示の切り替えボタンによって表示を切り替える構成としてもよい。
【0092】
赤色レーザ、緑色レーザ、青色レーザは赤外レーザと異なり視認できるので、繰り返しプレビューを行いながらフォーカス調整を行うと、被検者への負担が増加してしまう。加えて、プレビューによって被検眼の瞳孔が小さくなると、撮影画質の劣化につながる。よって、プレビュー画像の取得回数は少ない方が好ましい。したがって、各レーザで取得する画像のそれぞれについて、フォーカスを数ステップ自動で振った画像を予め撮影しておき、撮影の終了後、ポスト処理により取得した画像から最適なフォーカス位置を選択してもよい。また、被検眼の視度と、ＩＲ画像、Ｒ画像、Ｇ画像、Ｂ画像のフォーカス位置を、記憶部２４０がテーブルとして記憶し、例えば視度の類似する被検眼を撮影する場合には、記憶したテーブルを参照して撮影の設定を行う構成としてもよい。
【0093】
以上の調整により、異なる波長を用いることで生じる焦点シフトの影響を軽減し、撮影画像と参照画像の画質を近づけることが可能となる。
【0094】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第３の実施形態に係る医用画像処理装置は、ＯＣＴで取得する眼底のボリュームデータから眼底の正面画像を生成し、眼底カメラ画像やＣｏｌｏｒ－ＳＬＯ画像とペアで機械学習にかけることで、ＯＣＴ正面画像をカラー化するモデルを構築する。また、当該構築したモデルを使用して、ＯＣＴ正面画像をカラー化することを特徴とする。以下に詳細を説明する。なお、以下に記載する第３の実施形態の説明において、第１及び第２の実施形態で説明した構成や処理と同様の内容については、詳細な説明を省略する。
次に、本発明の第３の実施形態について説明する。第３の実施形態に係る医用画像処理装置は、ＯＣＴで取得する眼底のボリュームデータから眼底の正面画像を生成し、眼底カメラ画像やＣｏｌｏｒ－ＳＬＯ画像とペアで機械学習にかけることで、ＯＣＴ正面画像をカラー化するモデルを構築する。また、当該構築したモデルを使用して、ＯＣＴ正面画像をカラー化することを特徴とする。以下に詳細を説明する。なお、以下に記載する第３の実施形態の説明において、第１及び第２の実施形態で説明した構成や処理と同様の内容については、詳細な説明を省略する。
【0095】
図１１は、第３の実施形態に係る医用画像処理装置１００の概略構成の一例を示す図である。以下の説明においては、図１１に示す第３の実施形態に係る医用画像処理装置１００を「医用画像処理装置１００－３」と記載する。また、図１１では、医用画像処理装置１００－３として、ＯＣＴとＣｏｌｏｒ－ＳＬＯが複合構成された装置を適用した例を示している。医用画像処理装置１００－３は、ＯＣＴ光源１１、干渉光を生成するＯＣＴ干渉部２０、干渉光を検出するＯＣＴ検出部３０、被検眼Ｅの眼底ＥｆへＯＣＴ測定光を導くＯＣＴ測定光学系５０、ＯＣＴ測定光と干渉させるための参照光を生成するためのＯＣＴ参照光学系６０を有している。また、本実施形態において必須ではないが、更に、医用画像処理装置１００－３は、Ｃｏｌｏｒ－ＳＬＯ光源８００、眼底からのＳＬＯ反射光を得るためのＳＬＯ光学系８０を備えている。更に、医用画像処理装置１００－３は、制御部２００、内部固視灯１１０、医用画像処理装置１００－３の所謂アライメントに用いる前眼部画像を得るための前眼部撮影部９０、画像を表示する表示部３００を備えている。なお、本実施形態では、ＳＳ－ＯＣＴの構成例を示すが、装置構成はこれに限らず、ＳＤ－ＯＣＴの装置構成であってもよい。
【0096】
＜ＯＣＴ測定系の構成＞
ＯＣＴ干渉部２０は、カプラ２１、２２を有している。まず、カプラ２１は、波長掃引光源１１から射出された光を眼底へ照射する測定光と参照光とに分岐する。この実施形態において、分岐比は２：８程度であり、測定光：参照光＝２：８とする。測定光は、測定アーム５０を経由して被検眼Ｅの眼底Ｅｆに照射される。より具体的には、測定アーム５０に入射した照射光は、偏光コントローラ５１で偏光状態を整えられた後、コリメータ５２から空間光として射出される。その後、照射光は、Ｘ走査スキャナー５３、レンズ５４、５５、Ｙ走査スキャナー５６、ダイクロイックミラー１０３、レンズ５７、フォーカスステージ５９に固定されたフォーカスレンズ５８、対物レンズ１０６を介して被検眼Ｅの眼底Ｅｆに照射される。なお、Ｘ走査スキャナー５３、Ｙ走査スキャナー５６は眼底を照射光で走査する機能を有する走査部である。走査部によって、測定光の眼底への照射位置が変えられる。また、ダイクロイックミラー１０３は、波長１０００ｎｍ～１１００ｎｍの光を反射し、それ以外の光を透過する特性を有する。また、フォーカスステージ５９は駆動制御部２３０によって光軸方向に移動し、被検眼の目的とする眼底部位に対して、ＯＣＴ測定光が集光するように調整される。そして、眼底からの後方散乱光（反射光）は、再び上述の光学経路をたどり測定アーム５０から射出される。そして、カプラ２１を経由してカプラ２２に入射する。前記の分岐比に従い、眼底からの戻り光の８割がカプラ２２に導かれる。
ＯＣＴ干渉部２０は、カプラ２１、２２を有している。まず、カプラ２１は、波長掃引光源１１から射出された光を眼底へ照射する測定光と参照光とに分岐する。この実施形態において、分岐比は２：８程度であり、測定光：参照光＝２：８とする。測定光は、測定アーム５０を経由して被検眼Ｅの眼底Ｅｆに照射される。より具体的には、測定アーム５０に入射した照射光は、偏光コントローラ５１で偏光状態を整えられた後、コリメータ５２から空間光として射出される。その後、照射光は、Ｘ走査スキャナー５３、レンズ５４、５５、Ｙ走査スキャナー５６、ダイクロイックミラー１０３、レンズ５７、フォーカスステージ５９に固定されたフォーカスレンズ５８、対物レンズ１０６を介して被検眼Ｅの眼底Ｅｆに照射される。なお、Ｘ走査スキャナー５３、Ｙ走査スキャナー５６は眼底を照射光で走査する機能を有する走査部である。走査部によって、測定光の眼底への照射位置が変えられる。また、ダイクロイックミラー１０３は、波長１０００ｎｍ～１１００ｎｍの光を反射し、それ以外の光を透過する特性を有する。また、フォーカスステージ５９は駆動制御部２３０によって光軸方向に移動し、被検眼の目的とする眼底部位に対して、ＯＣＴ測定光が集光するように調整される。そして、眼底からの後方散乱光（反射光）は、再び上述の光学経路をたどり測定アーム５０から射出される。そして、カプラ２１を経由してカプラ２２に入射する。前記の分岐比に従い、眼底からの戻り光の８割がカプラ２２に導かれる。
【0097】
一方、参照光は参照アーム６０を経由し、カプラ２２に入射する。より具体的には、参照アーム６０に入射した参照光は、偏光コントローラ６１で偏光状態を整えられた後、コリメータ６２から空間光として射出される。その後、参照光は分散補償ガラス６３、光路長調整光学系６４、分散調整プリズムペア６５を通り、コリメータレンズ６６を介して光ファイバーに入射され、参照アーム６０から射出されてカプラ２２に入射する。
【0098】
カプラ２２で、測定アーム５０を経由した被検眼Ｅの反射光と、参照アーム６０を通った光とが干渉する。このとき、駆動制御部２３０を介して光路長調整光学系６４を光軸方向に沿って前後に移動させ、眼底部からの戻り光と参照光との光路長差が調整された干渉信号を取得する。そして、その干渉光を検出部３０で検出する。検出部３０は、差動検出器３１とＡ／Ｄ変換器３２を有している。まず、検出部３０では、カプラ２２で干渉光を発生させた後すぐに分波された干渉光を差動検出器３１で検出する。
【0099】
そして、差動検出器３１で電気信号に変換されたＯＣＴ干渉信号をＡ／Ｄ変換器３２でデジタル信号に変換している。ここで、図１１の医用画像処理装置１００－３では、干渉光のサンプリングは、波長掃引光源１１の中に組み込まれたｋクロック発生部が発信するｋクロック信号に基づいて等光周波数（等波数）間隔に行われる。Ａ／Ｄ変換器３２が出力したデジタル信号は、取得部２１０に伝送される。
【0100】
以上は、被検体のある１点における断層に関する情報の取得のプロセスであり、このように、被検体の奥行き方向の断層に関する情報を取得することを、Ａ－ｓｃａｎと呼ぶ。また、Ａ－ｓｃａｎと直交する方向で被検体の断層に関する情報、すなわち２次元画像を取得するための走査方向をＢ－ｓｃａｎと呼び、更にＡ－ｓｃａｎ及びＢ－ｓｃａｎのいずれの走査方向とも直交する方向に走査することをＣ－ｓｃａｎと呼ぶ。これは、３次元断層像を取得する際に眼底面内に２次元ラスター走査する場合、高速な走査方向がＢ－ｓｃａｎ、Ｂ－ｓｃａｎをその直交方向に並べて走査する低速な走査方向をＣ－ｓｃａｎと呼ぶ。Ａ－ｓｃａｎ及びＢ－ｓｃａｎを行うことで２次元の断層像が得られ、Ａ－ｓｃａｎ、Ｂ－ｓｃａｎ及びＣ－ｓｃａｎを行うことで、３次元の断層像を得ることができる。Ｂ－ｓｃａｎ、Ｃ－ｓｃａｎは、上述したＸ走査スキャナー５３、Ｙ走査スキャナー５４により行われる。
【0101】
なお、Ｘ走査スキャナー５３、Ｙ走査スキャナー５６は、それぞれ回転軸が互いに直交するよう配置された偏向ミラーで構成されている。Ｘ走査スキャナー５３は、Ｘ軸方向の走査を行い、Ｙ走査スキャナー５６は、Ｙ軸方向の走査を行う。Ｘ軸方向、Ｙ軸方向の各方向は、眼球の眼軸方向に対して垂直な方向で、互いに垂直な方向である。また、Ｂ－ｓｃａｎ、Ｃ－ｓｃａｎのようなライン走査方向と、Ｘ軸方向又はＹ軸方向とは、一致していなくてもよい。このため、Ｂ－ｓｃａｎ、Ｃ－ｓｃａｎのライン走査方向は、撮像したい２次元の断層像又は３次元の断層像に応じて、適宜決めることができる。
【0102】
＜ＳＬＯ測定系の構成＞
本実施形態の医用画像処理装置１００－３は、ＯＣＴ測定系とは別に、Ｃｏｌｏｒ－ＳＬＯ測定系を備える。上述のとおり本実施形態の必須構成要件ではないが、一例としてＣｏｌｏｒ－ＳＬＯ測定系を医用画像処理装置１００－３に含める構成で説明する。なお、Ｃｏｌｏｒ－ＳＬＯ測定系は、第２の実施形態と同様の構成であるので、詳細な説明は省略する。
本実施形態の医用画像処理装置１００－３は、ＯＣＴ測定系とは別に、Ｃｏｌｏｒ－ＳＬＯ測定系を備える。上述のとおり本実施形態の必須構成要件ではないが、一例としてＣｏｌｏｒ－ＳＬＯ測定系を医用画像処理装置１００－３に含める構成で説明する。なお、Ｃｏｌｏｒ－ＳＬＯ測定系は、第２の実施形態と同様の構成であるので、詳細な説明は省略する。
【0103】
【0104】
取得部２１０は、Ａ／Ｄ変換器３２、ＡＰＤ８８及び前眼部カメラ９４と接続され、これらから出力される各種信号を取得する。
【0105】
信号処理部２６０は、Ａ／Ｄ変換器３２やＡＰＤ８８から伝送される信号に基づき、撮影画像を生成する。また、記憶部２４０内に保存されている色情報を有する同一の被検眼Ｅの参照画像を参照し、生成された撮影画像やＯＣＴ干渉信号と共に学習することで、撮影画像の着色モデルを学習する。更に、学習したモデルを用いて前記撮影画像を着色する。また、撮影画像を解析し、解析結果の可視化情報の生成を行う。なお、画像の生成や学習方法の詳細については後述する。
【0106】
駆動制御部２３０は、上述のとおり各部を制御する。
【0107】
記憶部２４０は、被検者を同定するための被検者識別番号や、被検眼Ｅの色情報を有する画像を記憶する。また、記憶部２４０は、取得部２１０が取得するＯＣＴ干渉信号、信号処理部２６０により生成される撮影画像と、学習部２２３によって構築される着色モデルを更に記憶する。なお、本実施形体では、記憶部２４０は装置の構成として説明をするが、必ずしも装置に内蔵される必要はなく、例えば匿名化が施された患者情報や撮影情報がデーターベースとして集約される基幹ネットワークであってもよい。
【0108】
＜信号処理部２６０＞
図１２は、第３の実施形態に係る信号処理部２６０の概略構成の一例を示すブロック図である。本実施形態の信号処理部２６０は、図１２に示すように、画像参照部２６１、再構成部２６２、位置合わせ部２６３、データ生成部２６４、検出部２６５、抽出部２６６、学習部２６７及び着色部２６８から成る。
図１２は、第３の実施形態に係る信号処理部２６０の概略構成の一例を示すブロック図である。本実施形態の信号処理部２６０は、図１２に示すように、画像参照部２６１、再構成部２６２、位置合わせ部２６３、データ生成部２６４、検出部２６５、抽出部２６６、学習部２６７及び着色部２６８から成る。
【0109】
画像参照部２６１は、被検眼Ｅの色情報を有する参照画像を参照する。なお、参照画像は、医用画像処理装置１００－３の構成に含まれるＣｏｌｏｒ－ＳＬＯで取得されてもよいし、事前に異なる装置で取得された画像であってもよい。
【0110】
再構成部２６２は、検出部２１０に伝送される干渉信号に対して、一般的な再構成処理を行うことで、断層画像を生成する。ここで、一般に再構成処理は、ノイズ除去、位相補正、分散補償、フーリエ変換、輝度変換、対数変換、階調処理を含む。
【0111】
位置合わせ部２６３は、隣接する断層画像の位置合わせを行い、３次元データの歪みを抑制する。また、位置合わせ部２６３は、後述するＯＣＴ正面画像と、画像参照部２６１が参照する参照画像の位置合わせを行う。
【0112】
データ生成部２６４は、ＯＣＴ測定光をスキャンして取得した断層画像を３次元空間に配置・統合したデータに基づいて、３次元データの構築を行う。
【0113】
検出部２６５は、網膜の境界線を検出する。検出された境界線は、断層画像の位置合わせや正面画像の生成に利用される。
【0114】
抽出部２６６は、３次元データからサブセットを抽出して、サブセットデータにおける深さ方向のデータを積算することで、ＯＣＴの正面画像を抽出する。ここで、抽出部２６６は、生成されるＯＣＴ正面画像と参照画像の類似度を参照し、画像の比較を行いながら、サブセットとして抽出する領域の修正を行う。
【0115】
学習部２６７は、画像参照部２６１によって参照され、位置合わせ部２６３によって位置合わせされた、色情報を有する参照画像を教師データとして撮影画像を学習し、撮影画像を着色するモデルを構築する。
【0116】
着色部２６８は、学習部２６７によって構築される着色モデルを適用して、撮影画像に色情報を与えてカラー化する。
【0117】
次に、図１３を用いて本実施形態におけるデータ処理の流れを説明する。図１３は、第３の実施形態に係る医用画像処理装置１００－３の撮影処理の流れと撮影画像を着色する処理の流れの一例を示すフローチャートである。
【0118】
＜ステップＳ１３０１＞
ステップＳ１３０１では、非図示の被検眼情報取得部が、被検眼を同定する情報として被検者識別番号を生成する。或いは、眼底カメラやＣｏｌｏｒ－ＳＬＯによって既に取得された画像を参照画像として読み込む場合には、被検眼情報取得部は、参照画像に紐づく被検者識別番号を読み込む。そして、被検者識別番号に基づいて、非図示の外部記憶部が保持している当該被検眼に関する情報を取得して非図示の記憶部に記憶する。
ステップＳ１３０１では、非図示の被検眼情報取得部が、被検眼を同定する情報として被検者識別番号を生成する。或いは、眼底カメラやＣｏｌｏｒ－ＳＬＯによって既に取得された画像を参照画像として読み込む場合には、被検眼情報取得部は、参照画像に紐づく被検者識別番号を読み込む。そして、被検者識別番号に基づいて、非図示の外部記憶部が保持している当該被検眼に関する情報を取得して非図示の記憶部に記憶する。
【0119】
＜ステップＳ１３０２＞
ステップＳ１３０２では、医用画像処理装置１００－３は、被検眼Ｅをスキャンして撮影を行う。図１４は、第３の実施形態に係る撮影画面の一例を示す図である。
ステップＳ１３０２では、医用画像処理装置１００－３は、被検眼Ｅをスキャンして撮影を行う。図１４は、第３の実施形態に係る撮影画面の一例を示す図である。
【0120】
まず、操作者は、前眼部画像１４１０を見ながら、被検眼Ｅと装置とのアライメントを行う。アライメントを終えた後、操作者が非図示のスキャン開始を選択すると、医用画像処理装置１００－３は、駆動制御部２３０を制御し、ガルバノミラーを動作させてＳＬＯとＯＣＴのスキャンを行い、ＳＬＯ画像１４２０、ＯＣＴ断層画像１４３０を撮影画面１４００上に表示する。
【0121】
次に、撮影を行うにあたり、各種撮影パラメータの調整が実施される。具体的には、少なくとも、内部固視灯の位置、スキャン範囲、スキャンパターン、コヒーレンスゲート位置、フォーカスが設定される。駆動制御部２３０は、固視灯表示部１１１の発光ダイオードを制御して、黄斑部や視神経乳頭部など所望の箇所で撮影を行うように内部固視灯１１０の点灯位置を制御する。内部固視灯の位置は、非図示のユーザーインターフェースを用いて操作者が設定できるものとする。本実施形態においてスキャンパターンは、ラスタスキャンのパターンを設定する。ＳＬＯとＯＣＴのフォーカスは、例えば独立に調整が可能であり、それぞれＳＬＯフォーカス調整器１４２１、ＯＣＴフォーカス調整器１４３１を用いる。なお、ＳＬＯとＯＣＴのフォーカス調整は独立でなくてもよく、例えばＳＬＯとＯＣＴの相対的なフォーカス位置をテーブルとして管理し、いずれか一方の調整を行うことで、双方の画像のフォーカスが調整されるようにしてもよい。コヒーレンスゲートの調整は、コヒーレンゲート調整器１４３２を用いて行い、眼底ＥｆがＯＣＴ断層画像１４３０の所望の位置に表示されるように調整する。また、フォーカス調整やコヒーレンスゲート調整は全て自動で行われてもよい。この場合、制御部２００が例えば画像の輝度値をモニタして行い、ＳＬＯ画像１４２０とＯＣＴ断層画像１４３０の輝度積算値が最大となるように、各々のフォーカスが調整される。また、コヒーレンスゲートは、ＯＣＴ断層画像１４３０の輝度積算値が最大となる位置がゼロディレイ位置に相当するので、輝度値が最大となる位置から所定量のオフセットを行うことで、位置を自動調整する。これら撮影パラメータの調整終了後、操作者が非図示の撮影開始を選択することで撮影を行う。
【0122】
撮影は、まず、ＯＣＴの撮影を実行し（断層画像取得）、次にＣｏｌｏｒ－ＳＬＯの撮影を実行するのがよい。これは、ＯＣＴで利用する光の波長帯が赤外域であり、不可視であるからである。すなわち、被検眼Ｅは、ＯＣＴで撮影された際に眩しさを感じず、可視光を入射させる場合と比較して負担を感じにくい。また、眩しさを感じないので、瞳孔の収縮が起こらず、続けて行われるＳＬＯ撮影においても、被検眼Ｅへの入射光が瞳孔によって遮られにくいといった利点がある。
【0123】
＜ステップＳ１３０３＞
ステップＳ１３０３では、再構成部２６２が、検出部２１０から伝送された干渉信号に対して、一般的な再構成処理を行うことで、断層画像を生成する。
ステップＳ１３０３では、再構成部２６２が、検出部２１０から伝送された干渉信号に対して、一般的な再構成処理を行うことで、断層画像を生成する。
【0124】
まず、再構成部２６２は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は、例えば検出した複数のＡスキャン信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。次に、再構成部２６２は、例えば、予め取得した較正信号に基づき、干渉信号の位相補正と分散補償を行う。続いて、再構成部２６２は、有限区間でフーリエ変換した場合にトレードオフの関係となる、深さ分解能とダイナミックレンジとを最適化するために、所望の窓関数処理を行う。次に、ＦＦＴ処理を行い、振幅を抽出し、対数変換、階調変換を経る事によって、断層画像を生成する。
【0125】
＜ステップＳ１３０４＞
ステップＳ１３０４では、断層画像の位置合わせを行うために、検出部２６５が網膜の境界線を検出する。位置合わせを行うための層として、例えば、図１４におけるＬ１（ＩＬＭとＮＦＬとの境界）と、Ｌ２（ＩＳＯＳ）を検出する。検出部２６５は、処理対象とする断層画像に対して、メディアンフィルタとＳｏｂｅｌフィルタをそれぞれ適用して画像を作成する（以下、メディアン画像、Ｓｏｂｅｌ画像とする）。次に、作成したメディアン画像とＳｏｂｅｌ画像から、Ａスキャン毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Ｓｏｂｅｌ画像では勾配のプロファイルとなる。そして、Ｓｏｂｅｌ画像から作成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界線を検出する。
ステップＳ１３０４では、断層画像の位置合わせを行うために、検出部２６５が網膜の境界線を検出する。位置合わせを行うための層として、例えば、図１４におけるＬ１（ＩＬＭとＮＦＬとの境界）と、Ｌ２（ＩＳＯＳ）を検出する。検出部２６５は、処理対象とする断層画像に対して、メディアンフィルタとＳｏｂｅｌフィルタをそれぞれ適用して画像を作成する（以下、メディアン画像、Ｓｏｂｅｌ画像とする）。次に、作成したメディアン画像とＳｏｂｅｌ画像から、Ａスキャン毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Ｓｏｂｅｌ画像では勾配のプロファイルとなる。そして、Ｓｏｂｅｌ画像から作成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界線を検出する。
【0126】
＜ステップＳ１３０５＞
ステップＳ１３０５において、位置合わせ部２６３がＯＣＴの断層画像を位置合わせし、データ生成部２６４が３次元データを生成する。眼は、撮影している間にも動いているので、まず、位置合わせ部２６３が隣接する断層画像の位置合わせを行う。ＸＹ面内の移動に関しては、リアルタイムにトラッキングを行いながら撮影を行うので、撮影時にほとんど位置合わせができている。しかし、深さ方向に関してはリアルタイムトラッキングをしていないので、データ内部でも位置合わせを行う必要がある。そのため、ここではラスタスキャンデータ内の位置合わせに関して、図１５を用いて説明をする。具体的に、図１５は、第３の実施形態に係る３次元データ生成方法の説明図である。図１５（ａ）は、位置合わせに用いる境界線の例を示している。本実施形態においては、境界線Ｌ１（ＩＬＭ）を用いる場合について説明をする。なお、本実施形態においては、境界線Ｌ１を使用する例について説明を行うが、境界線の種類はこれに限らない。他の境界線でもよいし、複数の境界線を組み合わせてもよい。
ステップＳ１３０５において、位置合わせ部２６３がＯＣＴの断層画像を位置合わせし、データ生成部２６４が３次元データを生成する。眼は、撮影している間にも動いているので、まず、位置合わせ部２６３が隣接する断層画像の位置合わせを行う。ＸＹ面内の移動に関しては、リアルタイムにトラッキングを行いながら撮影を行うので、撮影時にほとんど位置合わせができている。しかし、深さ方向に関してはリアルタイムトラッキングをしていないので、データ内部でも位置合わせを行う必要がある。そのため、ここではラスタスキャンデータ内の位置合わせに関して、図１５を用いて説明をする。具体的に、図１５は、第３の実施形態に係る３次元データ生成方法の説明図である。図１５（ａ）は、位置合わせに用いる境界線の例を示している。本実施形態においては、境界線Ｌ１（ＩＬＭ）を用いる場合について説明をする。なお、本実施形態においては、境界線Ｌ１を使用する例について説明を行うが、境界線の種類はこれに限らない。他の境界線でもよいし、複数の境界線を組み合わせてもよい。
【0127】
図１５（ａ）において、基準データをＩｎｄｅｘｃ、対象データをＩｎｄｅｘｃ－１としている。なお、最初の基準データはラスタスキャンで最初に取得される断層画像とし、対象データは基準データに隣接する断層画像とする。
【0128】
図１５（ｂ）に、説明のために、基準データの境界線Ｌ１と位置合わせ対象の境界線Ｌ１'とを同時に表示する。図１５（ｂ）において、境界線を縦方向に１２分割している。本実施形態では分割数を１２として説明をする。それぞれの領域はＡｒｅａ０～Ａｒｅａ１１とする。なお、図１５（ｂ）において、画像中心部に分割領域を描画していないが、実際には画像全体を領域分割している。そして、上下矢印Ｄｉｆｆｅｒｅｎｃｅ１は、Ｌ１とＬ１'との差を表す。これらの差は、それぞれの領域Ａｒｅａ０～Ａｒｅａ１１それぞれで求める。これらの分割数は横方向の画像サイズに応じて変更してもよい。或いは、共通して検出した境界線の横幅のサイズに応じて変更してもよい。本実施形態では簡単のために、横方向の境界線サイズを同じで表示しているが、実際には、網膜層が画像の上方向にずれ（Ｚ軸で０の方向）、網膜層の一部領域が画像から欠損する場合がある。その場合には、画像全体で境界線が検出できない。そのため、境界線同士の位置合わせにおいては、基準データの境界線Ｌ１と位置合わせ対象の境界線Ｌ１'との境界線が検出できている範囲を分割して位置合わせをすることが望ましい。
【0129】
図１５（ｂ）において、各領域のＤｉｆｆｅｒｅｎｃｅ１の平均をそれぞれＤ0～Ｄ11とする。すなわち、ＩＬＭの差の平均をその領域の差分の代表値とする。次に、各領域で求めた代表値Ｄ0～Ｄ11を小さい順にソートする。そして、ソートした代表値を小さい順から８個用いて、平均と分散を計算する。なお、本実施形態では選択数は８個とする。しかし、数はこれに限定されない。選択する数は分割数よりも小さければよい。平均と分散の計算は、ソートした代表値を１つずつずらして計算する。すなわち、本実施形態では１２個に分割した領域のうち８個の代表値を用いて計算をするので、全部で５種類の平均値と分散値が求まる。
【0130】
次に、求めた５種類の分散値の中で最小となる分散値を算出した際の８個の差分の代表値を用いて、深さ方向のシフト値と傾きを求める。これについて、図１５（ｃ）と以下の（３）式を用いて説明をする。図１５（ｃ）は、横軸に分割領域の中心ｘ座標、縦軸に差分の代表値としたグラフである。図１５（ｃ）において、黒丸は分散値が最小となった組み合わせの差分の代表値の例であり、黒三角は選択されなかった差分の代表値の例を示している。以下の（３）式は、分散値が最小となった組み合わせの差分の代表値（図１５（ｃ）における黒丸）を用いて計算をする。
【0131】
【数3】
【0132】
（３）式においてＤが深さ方向のシフト値であり、ｘは図１１に示すｘ軸方向のｘ座標、すなわちＡスキャン位置である。（３）式におけるａとｂに関して、（４）式と（５）式に示す。（４）式、（５）式において、ｘｉは選択された分割領域の中心ｘ座標、Ｄｉは選択された差分の代表値であり、ｎは選択した代表値の数であるので、本実施形態においてｎは８となる。（３）式により、各Ａスキャンの深さ方向のシフト値が求まる。
【0133】
ここで示すように、境界線位置合わせ時に領域を分割し、分割した領域の差分値の組み合わせにおいて最もバラつきが小さくなる値を用いることで、境界線検出に誤りがあったとしても、それらの領域の値は使用されない。そのため、安定して深さ方向のシフト値を計算することができる。なお、各領域の深さ方向の代表値として平均値を用いたが中央値でもよく、代表的な値を用いることができればよい。さらに、バラつきの値として分散値を用いたが標準偏差でもよく、値のバラつきを評価できる指標であればよい。
【0134】
この処理に関して、基準データと対象データを変えながら全ての隣接するデータに関して位置合わせを行い、深さ方向に位置の揃った３次元データを生成する。
【0135】
＜ステップＳ１３０６＞
ステップＳ１３０６において、信号処理部２６０は、参照画像を教師としてＯＣＴ正面画像を着色するモデルを学習するかどうかの判定を行う。モデル学習の設定は、設定ファイルを医用画像処理装置１００－３に読み込ませることによってなされてもよいし、ＧＵＩ上に設けられた設定ボタンを介して任意に切り替えられてもよい（非図示）。ステップＳ１３０６の判定の結果、着色するモデルを学習しない場合には（Ｓ１３０６／ｎ）、プロセスは、ステップＳ１３０７のＯＣＴ正面画像生成のステップへ進む。一方、ステップＳ１３０６の判定の結果、着色するモデルの学習を行う場合には（Ｓ１３０６／ｙ）、プロセスは次のステップＳ１３０８へ進む。
ステップＳ１３０６において、信号処理部２６０は、参照画像を教師としてＯＣＴ正面画像を着色するモデルを学習するかどうかの判定を行う。モデル学習の設定は、設定ファイルを医用画像処理装置１００－３に読み込ませることによってなされてもよいし、ＧＵＩ上に設けられた設定ボタンを介して任意に切り替えられてもよい（非図示）。ステップＳ１３０６の判定の結果、着色するモデルを学習しない場合には（Ｓ１３０６／ｎ）、プロセスは、ステップＳ１３０７のＯＣＴ正面画像生成のステップへ進む。一方、ステップＳ１３０６の判定の結果、着色するモデルの学習を行う場合には（Ｓ１３０６／ｙ）、プロセスは次のステップＳ１３０８へ進む。
【0136】
＜ステップＳ１３０７＞
ステップＳ１３０７では、信号処理部２６０は、与えられる深度情報に基づいて、ＯＣＴの３次元データから部分的な深さ領域に切り出されたサブセットを生成し、サブセットを深さ方向に積算することでＯＣＴの正面画像を生成する。深度情報は任意に設定が可能であり、全ての断層画像で共通の、浅層と深層を示す２つの固定値であったり、断層画像毎に求めるＸＺ座標系における多項式や指数関数であったり、ステップＳ１３０４で求める層の座標情報であってもよい。
ステップＳ１３０７では、信号処理部２６０は、与えられる深度情報に基づいて、ＯＣＴの３次元データから部分的な深さ領域に切り出されたサブセットを生成し、サブセットを深さ方向に積算することでＯＣＴの正面画像を生成する。深度情報は任意に設定が可能であり、全ての断層画像で共通の、浅層と深層を示す２つの固定値であったり、断層画像毎に求めるＸＺ座標系における多項式や指数関数であったり、ステップＳ１３０４で求める層の座標情報であってもよい。
【0137】
＜ステップＳ１３０８＞
ステップＳ１３０８では、信号処理部２６０は、参照画像の読み込みを行う。参照画像は、予め異なる装置で取得された、被検眼Ｅの色情報を有する眼底画像であってもよいし、或いは、医用画像処理装置１００－３の撮影において、ＯＣＴ画像に続いて取得されるＣｏｌｏｒ－ＳＬＯ画像であってもよい。
ステップＳ１３０８では、信号処理部２６０は、参照画像の読み込みを行う。参照画像は、予め異なる装置で取得された、被検眼Ｅの色情報を有する眼底画像であってもよいし、或いは、医用画像処理装置１００－３の撮影において、ＯＣＴ画像に続いて取得されるＣｏｌｏｒ－ＳＬＯ画像であってもよい。
【0138】
＜ステップＳ１３０９＞
ステップＳ１３０９では、信号処理部２６０は、ステップＳ１３０８で読み込んだ参照画像をグレースケールに変換する。実施形態１、２と同様に、グレースケールへの変換は、式（１）に基づきＲＧＢ色空間からＹＣｂＣｒ空間へ変換した際の、Ｙの値を利用する。
ステップＳ１３０９では、信号処理部２６０は、ステップＳ１３０８で読み込んだ参照画像をグレースケールに変換する。実施形態１、２と同様に、グレースケールへの変換は、式（１）に基づきＲＧＢ色空間からＹＣｂＣｒ空間へ変換した際の、Ｙの値を利用する。
【0139】
＜ステップＳ１３１０＞
ステップＳ１３１０では、信号処理部２６０は、異なる２つの深度情報を用いて、ステップＳ１３０５で生成したＯＣＴの３次元データからサブセットを抽出する。深度情報は任意に設定が可能であり、全ての断層画像で共通の、浅層と深層を示す２つの固定値であったり、断層画像毎に求めるＸＺ座標系における多項式や指数関数であったり、ステップＳ１３０４で求める層の座標情報であってもよい。
ステップＳ１３１０では、信号処理部２６０は、異なる２つの深度情報を用いて、ステップＳ１３０５で生成したＯＣＴの３次元データからサブセットを抽出する。深度情報は任意に設定が可能であり、全ての断層画像で共通の、浅層と深層を示す２つの固定値であったり、断層画像毎に求めるＸＺ座標系における多項式や指数関数であったり、ステップＳ１３０４で求める層の座標情報であってもよい。
【0140】
例えば、本実施形態では、ステップＳ１３０４で検出した網膜各層から、２層が選択される。選択する２層の組み合わせは複数設定することが可能であり、ループ処理により組み合わせを順次変更することで、次のステップＳ１３０９で生成する正面画像が順次更新されていく。例えば、選択する層として、ＩＬＭ、ＯＰＬ、ＩＳＯＳ、ＲＰＥ、ＢＭの５層の中から２層を選択する場合、層の組み合わせとしては１０通りとなり、ループ処理により全ての組み合わせを計算する。固定値や関数で深度情報を指定する場合は、例えば、Ｚ方向に所定のオフセットを所定回数実行し、選択する層の候補を生成することで、複数の正面画像を生成してもよい。
【0141】
＜ステップＳ１３１１＞
ステップＳ１３１１では、抽出部２６６が、ステップＳ１３１０で指定された２つの層情報に基づいて、ＯＣＴ３次元データのサブセットを深さ方向に積算して正面画像を生成する。
ステップＳ１３１１では、抽出部２６６が、ステップＳ１３１０で指定された２つの層情報に基づいて、ＯＣＴ３次元データのサブセットを深さ方向に積算して正面画像を生成する。
【0142】
＜ステップＳ１３１２＞
ステップＳ１３１２において、位置合わせ部２６３は、ステップＳ１３０８で読み込む参照画像と、生成したＯＣＴの正面画像の位置合わせを行う。位置合わせは、例えば位相限定相関法などを用いるが、手法はこれに限らず、画像間の相対的な位置関係が算出できるものであれば何でもよい。位置合わせにより、ＯＣＴ正面画像に対して、グレースケール化された参照画像を変形する。変形の際は、Ｙの値だけでなく、ＣｂやＣｒの値もＹの値の変化に応じて修正を行う。参照画像として用いる画像の周縁部が、例えば鏡筒や睫毛などによって暗い場合には、閾値処理によって相関計算の対象から除外してもよい。また、位置合わせ部は、参照画像と撮影画像の解像度が等しくなるように、参照画像の画素を補間又は平均してリスケールする。なお、位置合わせ部２６３は、参照画像とＯＣＴ正面画像の位置合わせを実施する際、画像間の類似度を算出する。最後に、位置合わせ部２６３は式（２）に基づいてグレースケールに変換された参照画像をカラー画像に再変換する。
ステップＳ１３１２において、位置合わせ部２６３は、ステップＳ１３０８で読み込む参照画像と、生成したＯＣＴの正面画像の位置合わせを行う。位置合わせは、例えば位相限定相関法などを用いるが、手法はこれに限らず、画像間の相対的な位置関係が算出できるものであれば何でもよい。位置合わせにより、ＯＣＴ正面画像に対して、グレースケール化された参照画像を変形する。変形の際は、Ｙの値だけでなく、ＣｂやＣｒの値もＹの値の変化に応じて修正を行う。参照画像として用いる画像の周縁部が、例えば鏡筒や睫毛などによって暗い場合には、閾値処理によって相関計算の対象から除外してもよい。また、位置合わせ部は、参照画像と撮影画像の解像度が等しくなるように、参照画像の画素を補間又は平均してリスケールする。なお、位置合わせ部２６３は、参照画像とＯＣＴ正面画像の位置合わせを実施する際、画像間の類似度を算出する。最後に、位置合わせ部２６３は式（２）に基づいてグレースケールに変換された参照画像をカラー画像に再変換する。
【0143】
＜ステップＳ１３１３＞
ステップＳ１３１３において、信号処理部２６０は、全てのＯＣＴ正面画像に対して、類似度が算出されたどうかを判定する。全てのＯＣＴ正面画像について類似度が算出されていなければステップＳ１３１１へ戻り処理を繰り返し、全ての類似度が算出されていれば次のステップＳ１３１４へ移行する。
ステップＳ１３１３において、信号処理部２６０は、全てのＯＣＴ正面画像に対して、類似度が算出されたどうかを判定する。全てのＯＣＴ正面画像について類似度が算出されていなければステップＳ１３１１へ戻り処理を繰り返し、全ての類似度が算出されていれば次のステップＳ１３１４へ移行する。
【0144】
＜ステップＳ１３１４＞
ステップＳ１３１４では、信号処理部２６０は、毎回のループにおいてステップＳ１３１２で算出される全ての類似度を比較し、参照画像に対して最も類似度の高いＯＣＴの正面画像を選択する。
ステップＳ１３１４では、信号処理部２６０は、毎回のループにおいてステップＳ１３１２で算出される全ての類似度を比較し、参照画像に対して最も類似度の高いＯＣＴの正面画像を選択する。
【0145】
＜ステップＳ１３１５＞
ステップＳ１３１５では、信号処理部２６０は、参照画像を教師データとして、選択されたＯＣＴ正面画像を着色するモデルを学習する。なお、実施形態１、２と同様に、教師データに用いる参照画像は、位置合わせにより変形されたグレースケールの画像を、再びカラー画像へ再変換したものを用いる。本実施形態の学習部２６７における推論処理は、実施形態１、２と同様に、参照画像とＯＣＴ正面画像とをペアで学習する。２つの画像をペアで学習することで、輝度情報のみを有するＯＣＴ正面画像に対して、対応するカラーの参照画像から色情報を推定することができる。また、更に本実施形態に係る学習では、ＯＣＴの干渉信号を併せて学習してもよい。干渉信号は所謂スペクトル情報であり、参照画像と紐づけて学習することで、より精度良く着色モデルを構築することができる。着色モデルの構築が完了した後、制御部２００は着色モデルを記憶部２４０に記憶する。
ステップＳ１３１５では、信号処理部２６０は、参照画像を教師データとして、選択されたＯＣＴ正面画像を着色するモデルを学習する。なお、実施形態１、２と同様に、教師データに用いる参照画像は、位置合わせにより変形されたグレースケールの画像を、再びカラー画像へ再変換したものを用いる。本実施形態の学習部２６７における推論処理は、実施形態１、２と同様に、参照画像とＯＣＴ正面画像とをペアで学習する。２つの画像をペアで学習することで、輝度情報のみを有するＯＣＴ正面画像に対して、対応するカラーの参照画像から色情報を推定することができる。また、更に本実施形態に係る学習では、ＯＣＴの干渉信号を併せて学習してもよい。干渉信号は所謂スペクトル情報であり、参照画像と紐づけて学習することで、より精度良く着色モデルを構築することができる。着色モデルの構築が完了した後、制御部２００は着色モデルを記憶部２４０に記憶する。
【0146】
＜ステップＳ１３１６＞
ステップＳ１３１６では、信号処理部２６０は、記憶部２４０に記憶されている学習モデル（着色モデル）を、ＯＣＴ正面画像に対して適用し、画像をカラー化するかどうかの判定を行う。なお、モデル適用の設定は、設定ファイルを管理して医用画像処理装置１００－３に読み込ませてもよいし、ＧＵＩ上に設定ボタンを設け、任意に切り替えてもよい（非図示）。このステップＳ１３１６の判定の結果、着色モデルを適用する場合には（Ｓ１３１６／ｙ）、プロセスは、次のステップＳ１３１７へ進、む。一方、ステップＳ１３１６の判定の結果、着色モデルを適用しない場合には（Ｓ１３１６／ｎ）、プロセスは、一連の処理を終了する。
ステップＳ１３１６では、信号処理部２６０は、記憶部２４０に記憶されている学習モデル（着色モデル）を、ＯＣＴ正面画像に対して適用し、画像をカラー化するかどうかの判定を行う。なお、モデル適用の設定は、設定ファイルを管理して医用画像処理装置１００－３に読み込ませてもよいし、ＧＵＩ上に設定ボタンを設け、任意に切り替えてもよい（非図示）。このステップＳ１３１６の判定の結果、着色モデルを適用する場合には（Ｓ１３１６／ｙ）、プロセスは、次のステップＳ１３１７へ進、む。一方、ステップＳ１３１６の判定の結果、着色モデルを適用しない場合には（Ｓ１３１６／ｎ）、プロセスは、一連の処理を終了する。
【0147】
＜ステップＳ１３１７＞
ステップＳ１３１７では、着色部２６８は、学習した着色モデルを適用し、ＯＣＴ正面画像をカラー化する。着色部２６８は、記憶部２４０に保存されている既習の着色モデルを読み込み、実行して、ＯＣＴ正面画像をカラー化した疑似カラー画像を生成する。
ステップＳ１３１７では、着色部２６８は、学習した着色モデルを適用し、ＯＣＴ正面画像をカラー化する。着色部２６８は、記憶部２４０に保存されている既習の着色モデルを読み込み、実行して、ＯＣＴ正面画像をカラー化した疑似カラー画像を生成する。
【0148】
＜ステップＳ１３１８＞
ステップＳ１３１８では、信号処理部２６０は、ステップＳ１３１７で生成した疑似カラー化されたＯＣＴ正面画像を、非図示のレポート画面に表示する。レポート画面には、ＯＣＴ正面画像がデフォルトで表示される。ここで、操作者はユーザーインターフェースとして設けられるＣｏｌｏｒｉｚａｔｉｏｎボタンを押下することで、ＯＣＴ正面画像に対して着色モデルを適用して着色した疑似カラー画像を切り替えて表示することができる。表示の形態はこれに限らず、例えばＯＣＴ正面画像と疑似カラー画像を並べて表示してもよい。疑似カラー画像はレポートデータとして記憶部２４０に保存されてもよいし、レポート表示の都度、最新の着色モデルを適用して表示してもよい。
ステップＳ１３１８では、信号処理部２６０は、ステップＳ１３１７で生成した疑似カラー化されたＯＣＴ正面画像を、非図示のレポート画面に表示する。レポート画面には、ＯＣＴ正面画像がデフォルトで表示される。ここで、操作者はユーザーインターフェースとして設けられるＣｏｌｏｒｉｚａｔｉｏｎボタンを押下することで、ＯＣＴ正面画像に対して着色モデルを適用して着色した疑似カラー画像を切り替えて表示することができる。表示の形態はこれに限らず、例えばＯＣＴ正面画像と疑似カラー画像を並べて表示してもよい。疑似カラー画像はレポートデータとして記憶部２４０に保存されてもよいし、レポート表示の都度、最新の着色モデルを適用して表示してもよい。
【0149】
ステップＳ１３１８の処理を完了すると、信号処理部２６０は、ＯＣＴで取得・生成した正面画像を利用して着色モデルを学習する処理と、該正面画像に着色モデルを適用してカラー化する一連の処理を終了する。
【0150】
なお、本実施形態の医用画像処理装置１００－３は、ＳＳ－ＯＣＴの構成で説明したが、前述のとおりＳＤ－ＯＣＴの構成であってもよい。ただし、ＳＤ－ＯＣＴで用いられる分光器は、回折格子によって干渉光を空間で分光するので、ラインセンサの隣接する画素間で干渉光のクロストークが発生しやすい。深さ位置Ｚ＝Ｚ0に位置する反射面からの干渉光は、波数ｋに対してＺ0／πの周波数で振動するので、Ｚ0が大きくなる（すなわちコヒーレンスゲート位置から遠く離れる）に従って、干渉光の振動周波数は高くなり、ラインセンサの隣接する画素間での干渉光のクロストークの影響が大きくなる。これによって、ＳＤ－ＯＣＴでは、より深い位置を撮像しようとすると、感度低下が顕著となる。一方、分光器を用いないＳＳ－ＯＣＴは、ＳＤ－ＯＣＴよりも、深い位置での断層画像の撮像が有利となる。
【0151】
また、ＳＤ－ＯＣＴの分光器では、回折格子による干渉光の損失がある。一方、ＳＳ－ＯＣＴでは、分光器を用いずに干渉光を差動検出する構成とすることで感度向上が容易である。よって、ＳＳ－ＯＣＴは、ＳＤ－ＯＣＴと同等の感度で高速化が可能となり、この高速性を活かして、広画角の断層画像を取得することが可能となる。
【0152】
図１６は、第３の実施形態に係る医用画像処理装置１００－３におけるＯＣＴ信号特性の一例であるＲｏｌｌｏｆｆ特性の一例を示す説明図である。具体的に、図１６は、ＯＣＴの撮像深度と減衰特性の関係を示すものである。上述のとおり、ＳＤ－ＯＣＴで深い位置を撮像しようとすると、減衰が生じるので、ＳＤ－ＯＣＴのＲｏｌｌｏｆｆ特性１６０２は、一般にＳＳ－ＯＣＴのＲｏｌｌｏｆｆ特性１６０１と比較して悪くなる。そのため、例えば、ＯＣＴ正面画像を生成する際の深度情報に基づき、Ｒｏｌｌｏｆｆ特性を反映させて輝度補正を行ってもよい。具体的には、正面画像を生成する際に利用する深度情報とＲｏｌｌｏｆｆ特性を用いて、深さ位置Ｚ＝Ｚ0の位置に相当する輝度値を換算して正面画像を生成してもよい。深さ位置は、例えば正面画像を生成する深度位置Ｚ＝Ｚ1、Ｚ＝Ｚ2のいずれかであったり、２つの深度情報の平均値であったりしてもよい。Ｒｏｌｌｏｆｆ特性は、例えば予め装置の較正データとして取得されてもよく、各装置の組み立て構成時などに取得される。
【0153】
以上の方法によって、ＯＣＴで利用する方式や正面画像生成で利用する深度情報に依らず、安定して同一輝度レベルのＯＣＴ正面画像が生成できる。
【0154】
以上に述べた構成によれば、同一装置構成であるＣｏｌｏｒｏ－ＳＬＯで取得した画像を参照画像とするか、異なる装置で撮影された色情報を有する画像を参照画像とし、ＯＣＴで取得した撮影画像をペアで学習し、着色するモデルを生成することができる。更に、学習データにＯＣＴ干渉信号を用いることで、色再現精度を高めることができる。また、生成した着色モデルを適用させることで、ＯＣＴで取得した撮影画像をカラー化することができる。それにより、実際に用いる測定光では表現できない色情報を付与し、撮影画像をカラー化することができる。
【0155】
着色モデルを適用することで、過去に取得されたＯＣＴ画像をカラー化することも可能である。この場合は、処理プログラムのバージョンアップ対応として、既存の装置に付随のソフト、或いは表示専用ソフトを更新することで、本実施形態の処理を実行することが可能となる。
【0156】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１つ以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。以上、実施形態を参照して本発明について説明したが、本発明は上記実施形態に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施形態は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１つ以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。以上、実施形態を参照して本発明について説明したが、本発明は上記実施形態に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施形態は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
【符号の説明】
【0157】
２００：制御部、２１０：取得部、２２０：信号処理部、２３０：駆動制御部、２４０：記憶部、２２１：画像参照部、２２２：位置合わせ部、２２３：学習部、２２４：着色部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】