(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-13
(45)【発行日】2024-02-21
(54)【発明の名称】眼科画像処理装置および眼科画像処理プログラム
(51)【国際特許分類】
A61B 3/10 20060101AFI20240214BHJP
【FI】
A61B3/10 100
(21)【出願番号】P 2020042503
(22)【出願日】2020-03-12
【審査請求日】2023-02-07
(73)【特許権者】
【識別番号】000135184
【氏名又は名称】株式会社ニデック
(74)【代理人】
【識別番号】100166785
【氏名又は名称】大川 智也
(72)【発明者】
【氏名】坂下 祐輔
(72)【発明者】
【氏名】熊谷 佳紀
(72)【発明者】
【氏名】柴 涼介
(72)【発明者】
【氏名】竹野 直樹
【審査官】佐々木 創太郎
(56)【参考文献】
【文献】特開2020-000678(JP,A)
【文献】特開2019-216848(JP,A)
【文献】米国特許出願公開第2012/0165799(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00-3/18
(57)【特許請求の範囲】
【請求項1】
被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、
前記眼科画像処理装置の制御部は、
OCT装置によって撮影された眼科画像、または、前記OCT装置によって組織の同一部位を撮影した複数の眼科画像を加算平均した加算平均画像を、基画像として取得する基画像取得ステップと、
加算平均に用いられた眼科画像の枚数(≧1)である加算枚数以外の撮影条件の指定指示の入力を受け付ける撮影条件入力ステップと、
機械学習アルゴリズムによって訓練された数学モデルに
、前記撮影条件入力ステップにおいて入力された前記撮影条件と、前記基画像を入力することで、
入力された加算枚数以外の前記撮影条件で撮影された画像に相当する目的画像を取得する目的画像取得ステップと、
を実行し、
前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、一部の前記訓練用眼科画像のデータを入力用訓練データとすると共に、加算枚数以外の撮影条件が前記入力用訓練データの撮影条件とは異なる前記訓練用眼科画像のデータを出力用訓練データとして訓練されていることを特徴とする眼科画像処理装置。
【請求項2】
被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、
前記眼科画像処理装置の制御部は、
OCT装置によって撮影された眼科画像、または、前記OCT装置によって組織の同一部位を撮影した複数の眼科画像を加算平均した加算平均画像を、基画像として取得する基画像取得ステップと、
前記基画像が前記OCT装置によって撮影された際の撮影条件を取得する基画像撮影条件取得ステップと、
機械学習アルゴリズムによって訓練された数学モデルに、前記基画像撮影条件取得ステップにおいて取得された前記基画像の前記撮影条件と、前記基画像を入力することで、前記OCT装置によって前記基画像が撮影された際の撮影条件に対して、加算平均に用いられた眼科画像の枚数(≧1)である加算枚数以外の撮影条件が異なる画像に相当する目的画像を取得する目的画像取得ステップと、
を実行し、
前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、一部の前記訓練用眼科画像のデータを入力用訓練データとすると共に、加算枚数以外の撮影条件が前記入力用訓練データの撮影条件とは異なる前記訓練用眼科画像のデータを出力用訓練データとして訓練されていることを特徴とする眼科画像処理装置。
【請求項3】
被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、
前記眼科画像処理装置の制御部は、
OCT装置によって撮影された眼科画像、または、前記OCT装置によって組織の同一部位を撮影した複数の眼科画像を加算平均した加算平均画像を、基画像として取得する基画像取得ステップと、
画像範囲全体のうち一部の範囲の指定指示の入力を受け付ける範囲入力ステップと、
機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、前記OCT装置によって前記基画像が撮影された際の撮影条件に対して、加算平均に用いられた眼科画像の枚数(≧1)である加算枚数以外の撮影条件が前記範囲入力ステップにおいて入力された範囲において異なる画像に相当する目的画像を取得する目的画像取得ステップと、
を実行し、
前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、一部の前記訓練用眼科画像のデータを入力用訓練データとすると共に、加算枚数以外の撮影条件が前記入力用訓練データの撮影条件とは異なる前記訓練用眼科画像のデータを出力用訓練データとして訓練されていることを特徴とする眼科画像処理装置。
【請求項4】
被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、
前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、
OCT装置によって撮影された眼科画像、または、前記OCT装置によって組織の同一部位を撮影した複数の眼科画像を加算平均した加算平均画像を、基画像として取得する基画像取得ステップと、
加算平均に用いられた眼科画像の枚数(≧1)である加算枚数以外の撮影条件の指定指示の入力を受け付ける撮影条件入力ステップと、
機械学習アルゴリズムによって訓練された数学モデルに、前記撮影条件入力ステップにおいて入力された前記撮影条件と、前記基画像を入力することで、入力された加算枚数以外の前記撮影条件で撮影された画像に相当する目的画像を取得する目的画像取得ステップと、
を前記眼科画像処理装置に実行させ、
前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、一部の前記訓練用眼科画像のデータを入力用訓練データとすると共に、加算枚数以外の撮影条件が前記入力用訓練データの撮影条件とは異なる前記訓練用眼科画像のデータを出力用訓練データとして訓練されていることを特徴とする眼科画像処理プログラム。
【請求項5】
被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、
前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、
OCT装置によって撮影された眼科画像、または、前記OCT装置によって組織の同一部位を撮影した複数の眼科画像を加算平均した加算平均画像を、基画像として取得する基画像取得ステップと、
前記基画像が前記OCT装置によって撮影された際の撮影条件を取得する基画像撮影条件取得ステップと、
機械学習アルゴリズムによって訓練された数学モデルに、前記基画像撮影条件取得ステップにおいて取得された前記基画像の前記撮影条件と、前記基画像を入力することで、前記OCT装置によって前記基画像が撮影された際の撮影条件に対して、加算平均に用いられた眼科画像の枚数(≧1)である加算枚数以外の撮影条件が異なる画像に相当する目的画像を取得する目的画像取得ステップと、
を前記眼科画像処理装置に実行させ、
前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、一部の前記訓練用眼科画像のデータを入力用訓練データとすると共に、加算枚数以外の撮影条件が前記入力用訓練データの撮影条件とは異なる前記訓練用眼科画像のデータを出力用訓練データとして訓練されていることを特徴とする眼科画像処理プログラム。
【請求項6】
被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、
前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、
OCT装置によって撮影された眼科画像、または、前記OCT装置によって組織の同一部位を撮影した複数の眼科画像を加算平均した加算平均画像を、基画像として取得する基画像取得ステップと、
画像範囲全体のうち一部の範囲の指定指示の入力を受け付ける範囲入力ステップと、
機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、前記OCT装置によって前記基画像が撮影された際の撮影条件に対して、加算平均に用いられた眼科画像の枚数(≧1)である加算枚数以外の撮影条件が前記範囲入力ステップにおいて入力された範囲において異なる画像に相当する目的画像を取得する目的画像取得ステップと、
を前記眼科画像処理装置に実行させ、
前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、一部の前記訓練用眼科画像のデータを入力用訓練データとすると共に、加算枚数以外の撮影条件が前記入力用訓練データの撮影条件とは異なる前記訓練用眼科画像のデータを出力用訓練データとして訓練されていることを特徴とする眼科画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、被検眼の眼科画像を処理する眼科画像処理装置および眼科画像処理プログラムに関する。
【背景技術】
【0002】
従来、高画質の画像を取得するための種々の技術が提案されている。例えば、特許文献1に記載の眼科画像処理装置は、機械学習アルゴリズムによって訓練された数学モデルに基画像を入力することで、基画像よりも高画質の目的画像を取得する。数学モデルは、低解像度訓練画像を入力用訓練データとし、且つ、高解像度訓練画像を出力用訓練データとして予め訓練されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載の眼科画像処理装置によると、高画質(高解像度)の眼科画像が実際に撮影されなくても、高画質の目的画像が取得され得る。しかし、実際に撮影された画像から、高画質化以外の他の効果を奏する画像を得ることは、従来の技術では困難であった。
【0005】
本開示の典型的な目的は、実際に撮影された画像から有用な画像を取得するための眼科画像処理装置および眼科画像処理プログラムを提供することである。
【課題を解決するための手段】
【0006】
本開示における典型的な実施形態が提供する眼科画像処理装置の第1態様は、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、OCT装置によって撮影された眼科画像、または、前記OCT装置によって組織の同一部位を撮影した複数の眼科画像を加算平均した加算平均画像を、基画像として取得する基画像取得ステップと、加算平均に用いられた眼科画像の枚数(≧1)である加算枚数以外の撮影条件の指定指示の入力を受け付ける撮影条件入力ステップと、機械学習アルゴリズムによって訓練された数学モデルに、前記撮影条件入力ステップにおいて入力された前記撮影条件と、前記基画像を入力することで、入力された加算枚数以外の前記撮影条件で撮影された画像に相当する目的画像を取得する目的画像取得ステップと、を実行し、前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、一部の前記訓練用眼科画像のデータを入力用訓練データとすると共に、加算枚数以外の撮影条件が前記入力用訓練データの撮影条件とは異なる前記訓練用眼科画像のデータを出力用訓練データとして訓練されている。
本開示における典型的な実施形態が提供する眼科画像処理装置の第2態様は、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、OCT装置によって撮影された眼科画像、または、前記OCT装置によって組織の同一部位を撮影した複数の眼科画像を加算平均した加算平均画像を、基画像として取得する基画像取得ステップと、前記基画像が前記OCT装置によって撮影された際の撮影条件を取得する基画像撮影条件取得ステップと、機械学習アルゴリズムによって訓練された数学モデルに、前記基画像撮影条件取得ステップにおいて取得された前記基画像の前記撮影条件と、前記基画像を入力することで、前記OCT装置によって前記基画像が撮影された際の撮影条件に対して、加算平均に用いられた眼科画像の枚数(≧1)である加算枚数以外の撮影条件が異なる画像に相当する目的画像を取得する目的画像取得ステップと、を実行し、前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、一部の前記訓練用眼科画像のデータを入力用訓練データとすると共に、加算枚数以外の撮影条件が前記入力用訓練データの撮影条件とは異なる前記訓練用眼科画像のデータを出力用訓練データとして訓練されている。
本開示における典型的な実施形態が提供する眼科画像処理装置の第3態様は、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、OCT装置によって撮影された眼科画像、または、前記OCT装置によって組織の同一部位を撮影した複数の眼科画像を加算平均した加算平均画像を、基画像として取得する基画像取得ステップと、画像範囲全体のうち一部の範囲の指定指示の入力を受け付ける範囲入力ステップと、機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、前記OCT装置によって前記基画像が撮影された際の撮影条件に対して、加算平均に用いられた眼科画像の枚数(≧1)である加算枚数以外の撮影条件が前記範囲入力ステップにおいて入力された範囲において異なる画像に相当する目的画像を取得する目的画像取得ステップと、を実行し、前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、一部の前記訓練用眼科画像のデータを入力用訓練データとすると共に、加算枚数以外の撮影条件が前記入力用訓練データの撮影条件とは異なる前記訓練用眼科画像のデータを出力用訓練データとして訓練されている。
【0007】
本開示における典型的な実施形態が提供する眼科画像処理プログラムの第1態様は、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、OCT装置によって撮影された眼科画像、または、前記OCT装置によって組織の同一部位を撮影した複数の眼科画像を加算平均した加算平均画像を、基画像として取得する基画像取得ステップと、加算平均に用いられた眼科画像の枚数(≧1)である加算枚数以外の撮影条件の指定指示の入力を受け付ける撮影条件入力ステップと、機械学習アルゴリズムによって訓練された数学モデルに、前記撮影条件入力ステップにおいて入力された前記撮影条件と、前記基画像を入力することで、入力された加算枚数以外の前記撮影条件で撮影された画像に相当する目的画像を取得する目的画像取得ステップと、を前記眼科画像処理装置に実行させ、前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、一部の前記訓練用眼科画像のデータを入力用訓練データとすると共に、加算枚数以外の撮影条件が前記入力用訓練データの撮影条件とは異なる前記訓練用眼科画像のデータを出力用訓練データとして訓練されている。
本開示における典型的な実施形態が提供する眼科画像処理プログラムの第2態様は、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、OCT装置によって撮影された眼科画像、または、前記OCT装置によって組織の同一部位を撮影した複数の眼科画像を加算平均した加算平均画像を、基画像として取得する基画像取得ステップと、前記基画像が前記OCT装置によって撮影された際の撮影条件を取得する基画像撮影条件取得ステップと、機械学習アルゴリズムによって訓練された数学モデルに、前記基画像撮影条件取得ステップにおいて取得された前記基画像の前記撮影条件と、前記基画像を入力することで、前記OCT装置によって前記基画像が撮影された際の撮影条件に対して、加算平均に用いられた眼科画像の枚数(≧1)である加算枚数以外の撮影条件が異なる画像に相当する目的画像を取得する目的画像取得ステップと、を前記眼科画像処理装置に実行させ、前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、一部の前記訓練用眼科画像のデータを入力用訓練データとすると共に、加算枚数以外の撮影条件が前記入力用訓練データの撮影条件とは異なる前記訓練用眼科画像のデータを出力用訓練データとして訓練されている。
本開示における典型的な実施形態が提供する眼科画像処理プログラムの第3態様は、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、OCT装置によって撮影された眼科画像、または、前記OCT装置によって組織の同一部位を撮影した複数の眼科画像を加算平均した加算平均画像を、基画像として取得する基画像取得ステップと、画像範囲全体のうち一部の範囲の指定指示の入力を受け付ける範囲入力ステップと、機械学習アルゴリズムによって訓練された数学モデルに前記基画像を入力することで、前記OCT装置によって前記基画像が撮影された際の撮影条件に対して、加算平均に用いられた眼科画像の枚数(≧1)である加算枚数以外の撮影条件が前記範囲入力ステップにおいて入力された範囲において異なる画像に相当する目的画像を取得する目的画像取得ステップと、を前記眼科画像処理装置に実行させ、前記数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、一部の前記訓練用眼科画像のデータを入力用訓練データとすると共に、加算枚数以外の撮影条件が前記入力用訓練データの撮影条件とは異なる前記訓練用眼科画像のデータを出力用訓練データとして訓練されている。
【0008】
本開示に係る眼科画像処理装置および眼科画像処理プログラムによると、実際に撮影された画像から有用な画像が取得される。
【図面の簡単な説明】
【0009】
【
図1】数学モデル構築装置1、眼科画像処理装置21、および眼科画像撮影装置11A,11Bの概略構成を示すブロック図である。
【
図2】数学モデル構築装置1が実行する数学モデル構築処理のフローチャートである。
【
図3】入力用訓練データと出力用訓練データの取得パターンの一例を説明するための説明図である。
【
図4】眼科画像処理装置21が実行する撮影条件変更処理のフローチャートである。
【
図5】条件指定画面30と、目的画像表示画面40の一例を示す図である。
【発明を実施するための形態】
【0010】
本開示で例示する眼科画像処理装置の制御部は、基画像取得ステップ、および目的画像取得ステップを実行する。基画像取得ステップでは、制御部は、OCT装置によって撮影された眼科画像、または、OCT装置によって組織の同一部位を撮影した複数の眼科画像を加算平均した加算平均画像を、基画像として取得する。目的画像取得ステップでは、制御部は、機械学習アルゴリズムによって訓練された数学モデルに基画像を入力することで、目的画像を取得する。数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、一部の訓練用眼科画像のデータを入力用訓練データとすると共に、加算枚数以外の撮影条件が入力用訓練データの撮影条件とは異なる訓練用眼科画像のデータを出力用訓練データとして訓練されている。取得される目的画像は、OCT装置によって基画像が撮影された際の撮影条件に対して、加算平均に用いられた眼科画像の枚数(≧1)である加算枚数以外の撮影条件が異なる画像に相当する。
【0011】
本開示で例示する眼科画像処理装置によると、OCT装置によって実際に撮影された基画像から、加算枚数以外の撮影条件が基画像の撮影条件とは異なる画像に相当する目的画像が取得される。従って、ユーザにとって有用な撮影条件で撮影された画像に相当する画像が、容易に取得される。
【0012】
なお、本開示では、OCT装置によって撮影された眼科画像を処理する眼科画像処理装置を例示する。しかし、本開示で例示する技術は、OCT装置以外の眼科撮影装置(例えば、走査型レーザ検眼鏡(SLO)、眼底カメラ、および角膜内皮細胞撮影装置等の少なくともいずれか)によって撮影された眼科画像を処理する眼科画像処理装置にも適用できる。
【0013】
加算枚数以外の撮影条件は、OCT装置における測定光と参照光の少なくともいずれかの光路長、測定光および参照光の少なくともいずれかの偏光状態、OCT信号を取得する際の受光素子の露光時間、1つのスキャンラインに対して測定光を走査させる際に取得されるAスキャンデータの数、および、Aスキャン方向の解像度の少なくともいずれかであってもよい。この場合、基画像の撮影条件とは異なる撮影条件で撮影された画像に相当する目的画像が、眼科画像処理装置によって適切に取得される。
【0014】
詳細には、数学モデルによって変更する撮影条件を光路長とする場合には、組織の深さ方向における各位置のうち、画像に鮮明に映り込む位置が変化する。変更する撮影条件を偏光状態とする場合には、偏光状態に応じて画像に現れる組織の構造の差異が変化する。変更する撮影条件を露光時間とする場合には、露光時間に起因する画像の輝度が変化する。変更する撮影条件を、スキャンライン毎のAスキャンデータの数とする場合には、スキャンライン方向(所謂Bスキャン方向)における画像の解像度が変化する。変更する撮影条件を、Aスキャン方向の解像度とする場合には、組織の深さ方向における画像の解像度が変化する。なお、数学モデルによって変更する撮影条件を、光路長、偏光状態、露光時間、Aスキャンデータの数、およびAスキャン方向の解像度とは異なる撮影条件とすることも可能である。
【0015】
数学モデルの訓練に用いられる入力用訓練データは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、L枚(L≧1)の訓練用眼科画像に基づくデータであってもよい。また、数学モデルの訓練に用いられる出力用訓練データは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、加算枚数以外の撮影条件が入力用訓練データの撮影条件とは異なる、H枚(H>L)の訓練用眼科画像の加算平均画像のデータであってもよい。この場合、OCT装置によって実際に撮影された基画像から、ノイズの影響が抑制され、且つ、異なる撮影条件で撮影された画像に相当する目的画像が、数学モデルによって容易に取得される。
【0016】
制御部は、基画像、または、取得された目的画像のノイズの影響を抑制するデノイジングステップをさらに実行してもよい。この場合、加算枚数以外の撮影条件が変更されることに加え、画像に含まれるノイズの影響が抑制される。よって、より有用な眼科画像が取得される。
【0017】
なお、目的画像取得ステップとデノイジングステップが別々に実行される場合、デノイジングステップの具体的な方法は適宜選択できる。例えば、制御部は、加算平均画像を出力用訓練モデルとして予め訓練された数学モデルに、基画像または目的画像を入力することで、基画像または目的画像のノイズの影響が抑制された画像を取得してもよい。また、制御部は、数学モデルを使用しない他の手法(例えば、加算平均処理またはフィルター処理等)を用いて、基画像または目的画像のノイズの影響を抑制してもよい。制御部は、基画像のノイズの影響を抑制した後に、目的画像取得ステップを実行してもよい。
【0018】
制御部は、加算枚数以外の撮影条件の指定指示の入力を受け付ける撮影条件入力ステップをさらに実行してもよい。制御部は、目的画像取得ステップにおいて入力された撮影条件と、基画像とを数学モデルに入力することで、入力された撮影条件で撮影された画像に相当する目的画像を取得してもよい。つまり、制御部は、入力された撮影条件を画像の変換条件として、基画像を変換した目的画像を取得してもよい。この場合、ユーザが所望する撮影条件で撮影された画像に相当する目的画像が、適切に取得される。
【0019】
入力される撮影条件は、変更される撮影条件の種類であってもよいし、目的画像の撮影条件を指定する数値等であってもよい。撮影条件の種類および数値等が共に入力されてもよい。また、複数の撮影条件の候補の中から、ユーザが所望する撮影条件を選択することで、撮影条件が入力されてもよい。
【0020】
ただし、ユーザが撮影条件を指定せずに、変更される撮影条件(撮影条件の種類および数値等の少なくともいずれか)が予め定められていてもよい。
【0021】
制御部は、基画像がOCT装置によって撮影された際の撮影条件を取得する基画像撮影条件取得ステップをさらに実行してもよい。制御部は、基画像撮影条件取得ステップにおいて取得された基画像の撮影条件と、基画像とを数学モデルに入力することで、目的画像を取得してもよい。この場合には、基画像の撮影条件が数学モデルに入力されない場合に比べて、数学モデルから出力される目的画像の品質が向上する。
【0022】
また、制御部は、基画像と、基画像のノイズの程度を示すノイズ情報とを数学モデルに入力することで、目的画像を取得してもよい。この場合には、ノイズ情報が数学モデルに入力されない場合に比べて、数学モデルから出力される目的画像のノイズがより適切に減少する。なお、ノイズ情報は、基画像のノイズの程度を示す値であってもよい。また、基画像が加算平均画像である場合には、ノイズ情報は、基画像を生成する際に加算平均された画像の枚数であってもよい。
【0023】
なお、基画像の撮影条件およびノイズ情報を数学モデルに入力する処理は、省略されてもよい。この場合でも、基画像の撮影条件とは異なる撮影条件で撮影された画像に相当する目的画像が、適切に取得される。
【0024】
制御部は、画像範囲全体のうち一部の範囲の指定指示の入力を受け付ける範囲入力ステップを実行してもよい。制御部は、入力された範囲において撮影条件が変更された目的画像を取得してもよい。この場合、画像範囲全体のうち、ユーザが所望する範囲において、撮影条件が変更される。よって、ユーザにとってより有用な画像が取得される。
【0025】
なお、以下では、基画像を数学モデルに入力することで、基画像よりもノイズの影響が抑制され、且つ、OCT装置によって基画像が撮影された際の撮影条件とは異なる撮影条件で撮影された画像に相当する目的画像が取得される場合を例示する。しかし、ノイズの影響が基画像から変更されず、且つ、基画像の撮影条件とは異なる撮影条件で撮影された画像に相当する目的画像が、数学モデルによって取得されてもよい。この場合、数学モデルは、組織の同一部位を撮影した複数の訓練用眼科画像のうち、1枚または複数枚の訓練用眼科画像に基づく画像を入力用訓練データとすると共に、入力用訓練データが撮影された際の撮影条件とは異なる条件で撮影された、1枚または複数枚の訓練用眼科画像に基づく画像を出力用訓練データとして訓練されていてもよい。
【0026】
<実施形態>
(装置構成)
以下、本開示における典型的な実施形態の1つについて、図面を参照して説明する。
図1に示すように、本実施形態では、数学モデル構築装置1、眼科画像処理装置21、および眼科画像撮影装置11A,11Bが用いられる。数学モデル構築装置1は、機械学習アルゴリズムによって数学モデルを訓練させることで、数学モデルを構築する。構築された数学モデルは、入力された基画像に基づいて、基画像が撮影された際の撮影条件(加算枚数以外の撮影条件)とは異なる撮影条件で撮影された画像に相当する目的画像を出力する。眼科画像処理装置21は、数学モデルを用いて、基画像から目的画像を取得する。眼科画像撮影装置11A,11Bは、被検眼の組織の画像である眼科画像を撮影する。
【0027】
一例として、本実施形態の数学モデル構築装置1にはパーソナルコンピュータ(以下、「PC」という)が用いられる。詳細は後述するが、数学モデル構築装置1は、眼科画像撮影装置11Aから取得した眼科画像を利用して数学モデルを訓練させることで、数学モデルを構築する。しかし、数学モデル構築装置1として機能できるデバイスは、PCに限定されない。例えば、眼科画像撮影装置11Aが数学モデル構築装置1として機能してもよい。また、複数のデバイスの制御部(例えば、PCのCPUと、眼科画像撮影装置11AのCPU13A)が、協働して数学モデルを構築してもよい。
【0028】
また、本実施形態の眼科画像処理装置21にはPCが用いられる。しかし、眼科画像処理装置21として機能できるデバイスも、PCに限定されない。例えば、眼科画像撮影装置11Bまたはサーバ等が、眼科画像処理装置21として機能してもよい。眼科画像撮影装置(本実施形態ではOCT装置)11Bが眼科画像処理装置21として機能する場合、眼科画像撮影装置11Bは、眼科画像を撮影しつつ、撮影した眼科画像に対して撮影条件が変更された眼科画像を適切に取得することができる。また、タブレット端末またはスマートフォン等の携帯端末が、眼科画像処理装置21として機能してもよい。複数のデバイスの制御部(例えば、PCのCPUと、眼科画像撮影装置11BのCPU13B)が、協働して各種処理を行ってもよい。
【0029】
また、本実施形態では、各種処理を行うコントローラの一例としてCPUが用いられる場合について例示する。しかし、各種デバイスの少なくとも一部に、CPU以外のコントローラが用いられてもよいことは言うまでもない。例えば、コントローラとしてGPUを採用することで、処理の高速化を図ってもよい。
【0030】
数学モデル構築装置1について説明する。数学モデル構築装置1は、例えば、眼科画像処理装置21または眼科画像処理プログラムをユーザに提供するメーカー等に配置される。数学モデル構築装置1は、各種制御処理を行う制御ユニット2と、通信I/F5を備える。制御ユニット2は、制御を司るコントローラであるCPU3と、プログラムおよびデータ等を記憶することが可能な記憶装置4を備える。記憶装置4には、後述する数学モデル構築処理(
図2参照)を実行するための数学モデル構築プログラムが記憶されている。また、通信I/F5は、数学モデル構築装置1を他のデバイス(例えば、眼科画像撮影装置11Aおよび眼科画像処理装置21等)と接続する。
【0031】
数学モデル構築装置1は、操作部7および表示装置8に接続されている。操作部7は、ユーザが各種指示を数学モデル構築装置1に入力するために、ユーザによって操作される。操作部7には、例えば、キーボード、マウス、タッチパネル等の少なくともいずれかを使用できる。なお、操作部7と共に、または操作部7に代えて、各種指示を入力するためのマイク等が使用されてもよい。表示装置8は、各種画像を表示する。表示装置8には、画像を表示可能な種々のデバイス(例えば、モニタ、ディスプレイ、プロジェクタ等の少なくともいずれか)を使用できる。なお、本開示における「画像」には、静止画像も動画像も共に含まれる。
【0032】
数学モデル構築装置1は、眼科画像撮影装置11Aから眼科画像のデータ(以下、単に「眼科画像」という場合もある)を取得することができる。数学モデル構築装置1は、例えば、有線通信、無線通信、着脱可能な記憶媒体(例えばUSBメモリ)等の少なくともいずれかによって、眼科画像撮影装置11Aから眼科画像のデータを取得してもよい。
【0033】
眼科画像処理装置21について説明する。眼科画像処理装置21は、例えば、被検者の診断または検査等を行う施設(例えば、病院または健康診断施設等)に配置される。眼科画像処理装置21は、各種制御処理を行う制御ユニット22と、通信I/F25を備える。制御ユニット22は、制御を司るコントローラであるCPU23と、プログラムおよびデータ等を記憶することが可能な記憶装置24を備える。記憶装置24には、後述する眼科画像処理(例えば、
図4に例示する撮影条件変更処理等)を実行するための眼科画像処理プログラムが記憶されている。眼科画像処理プログラムには、数学モデル構築装置1によって構築された数学モデルを実現させるプログラムが含まれる。通信I/F25は、眼科画像処理装置21を他のデバイス(例えば、眼科画像撮影装置11Bおよび数学モデル構築装置1等)と接続する。
【0034】
眼科画像処理装置21は、操作部27および表示装置28に接続されている。操作部27および表示装置28には、前述した操作部7および表示装置8と同様に、種々のデバイスを使用することができる。
【0035】
眼科画像処理装置21は、眼科画像撮影装置11Bから眼科画像を取得することができる。眼科画像処理装置21は、例えば、有線通信、無線通信、着脱可能な記憶媒体(例えばUSBメモリ)等の少なくともいずれかによって、眼科画像撮影装置11Bから眼科画像を取得してもよい。また、眼科画像処理装置21は、数学モデル構築装置1によって構築された数学モデルを実現させるプログラム等を、通信等を介して取得してもよい。
【0036】
眼科画像撮影装置11A,11Bについて説明する。一例として、本実施形態では、数学モデル構築装置1に眼科画像を提供する眼科画像撮影装置11Aと、眼科画像処理装置21に眼科画像を提供する眼科画像撮影装置11Bが使用される場合について説明する。しかし、使用される眼科画像撮影装置の数は2つに限定されない。例えば、数学モデル構築装置1および眼科画像処理装置21は、複数の眼科画像撮影装置から眼科画像を取得してもよい。また、数学モデル構築装置1および眼科画像処理装置21は、共通する1つの眼科画像撮影装置から眼科画像を取得してもよい。なお、本実施形態で例示する2つの眼科画像撮影装置11A,11Bは、同一の構成を備える。従って、以下では、2つの眼科画像撮影装置11A,11Bについて纏めて説明を行う。
【0037】
また、本実施形態では、眼科画像撮影装置11(11A,11B)として、OCT装置を例示する。ただし、OCT装置以外の眼科画像撮影装置(例えば、レーザ走査型検眼装置(SLO)、眼底カメラ、または角膜内皮細胞撮影装置(CEM)等)が用いられてもよい。
【0038】
眼科画像撮影装置11(11A,11B)は、各種制御処理を行う制御ユニット12(12A,12B)と、眼科画像撮影部16(16A,16B)を備える。制御ユニット12は、制御を司るコントローラであるCPU13(13A,13B)と、プログラムおよびデータ等を記憶することが可能な記憶装置14(14A,14B)を備える。
【0039】
眼科画像撮影部16は、被検眼の眼科画像を撮影するために必要な各種構成を備える。図示しないが、眼科画像撮影部16は、OCT光源と、OCT光源から出射されたOCT光を測定光と参照光に分岐する分岐光学素子を備える。さらに、本実施形態の眼科画像撮影部16は、受光素子17(17A,17B)、スキャナ18(18A,18B)、光路長調整部19(19A,19B)、偏光状態調整部20(20A,20B)を備える。受光素子17は、被検眼の組織によって光と参照光の合成光を受光する。スキャナ18は、測定光を被検眼の組織上で走査する。光路長調整部19は、測定光と参照光の少なくともいずれかの光路長を調整する。偏光状態調整部20は、測定光および参照光の少なくともいずれかの偏光状態を調整する。
【0040】
眼科画像撮影装置11は、被検眼の眼底の二次元断層画像および三次元断層画像を撮影することができる。詳細には、CPU13は、スキャンライン上にOCT光(測定光)を走査させることで、スキャンラインに交差する断面の二次元断層画像を撮影する。また、CPU13は、OCT光を二次元的に走査することによって、組織における三次元断層画像を撮影することができる。例えば、CPU13は、組織を正面から見た際の二次元の領域内において、位置が互いに異なる複数のスキャンライン上の各々に測定光を走査させることで、複数の二次元断層画像を取得する。次いで、CPU13は、撮影された複数の二次元断層画像を組み合わせることで、三次元断層画像を取得する。
【0041】
また、CPU13は、各種撮影条件を変更して眼科画像を撮影することができる。例えば、CPU13は、光路長調整部19によって光路長を調整することで、組織の深さ方向における各位置のうち、断層画像に鮮明に映り込む位置を変化させることができる。CPU13は、偏光状態調整部20によって偏光状態を調整することで、偏光状態に応じて画像に現れる組織の構造を変化させることができる。CPU13は、受光素子17における露光時間を調整することで、露光時間に起因する眼科画像の輝度を変化させることができる。CPU13は、各スキャンライン毎のAスキャンデータ(深さ方向のデータ)の数を調整することで、スキャンライン方向(Bスキャン方向)における画像の解像度を変化させることができる。CPU13は、Aスキャン方向の画像の解像度を変化させることも可能である。
【0042】
さらに、CPU13は、組織上の同一部位(本実施形態では、同一のスキャンライン上)に測定光を複数回走査させることで、同一部位の眼科画像を複数撮影する。CPU13は、同一部位の複数の眼科画像に対して加算平均処理を行うことで、スペックルノイズの影響が抑制された加算平均画像を取得することができる。加算平均処理は、例えば、複数の眼科画像のうち、同一の位置の画素の画素値を平均化することで行われてもよい。加算平均処理を行う画像の数が多い程、スペックルノイズの影響は抑制され易いが、撮影時間は長くなる。なお、眼科画像撮影装置11は、同一部位の眼科画像を複数撮影する間に、被検眼の動きにOCT光の走査位置を追従させるトラッキング処理を実行する。
【0043】
(数学モデル構築処理)
図2および
図3を参照して、数学モデル構築装置1が実行する数学モデル構築処理について説明する。数学モデル構築処理は、記憶装置4に記憶された数学モデル構築プログラムに従って、CPU3によって実行される。
【0044】
数学モデル構築処理では、訓練データセットによって数学モデルが訓練されることで、基画像が撮影された際の撮影条件(加算枚数以外の撮影条件)とは異なる撮影条件で撮影された画像に相当する(つまり、撮影条件が変更された画像に相当する)目的画像を出力するための数学モデルが構築される。さらに、本開示で例示する数学モデルは、目的画像よりもノイズの影響が抑制された目的画像を出力する。詳細は後述するが、訓練データセットには、入力用訓練データと出力用訓練データが含まれる。本実施形態では、入力用訓練データとして、1枚~複数枚の眼科画像(本実施形態では眼底の二次元断層画像)に基づくデータが使用される。また、出力用訓練データとして、入力用訓練データが撮影された際の加算枚数以外の撮影条件とは異なる撮影条件で撮影された眼科画像に基づくデータが使用される。さらに、本実施形態では、出力用訓練データとして、入力用訓練データに使用される眼科画像の枚数(L枚)よりも多い枚数(H枚)の眼科画像に基づく加算平均画像のデータが使用される。入力用訓練データと出力用訓練データは、組織の同一部位を撮影対象としている。
【0045】
図2に示すように、CPU3は、入力用訓練データ用の眼科画像Iを取得する(S1)。本実施形態では、被検眼の眼底上にOCT光を走査させることで撮影された二次元断層画像が、入力用訓練データ用の眼科画像Iとして、眼科画像撮影装置11Aから取得される。ただし、CPU3は、二次元断層画像を生成する基となる信号(例えばOCT信号)を眼科画像撮影装置11Aから取得し、取得した信号に基づいて二次元断層画像を生成することで、二次元断層画像を取得してもよい。
【0046】
図3に示す例では、第1撮影条件で撮影された1枚の眼科画像30Iのデータが、入力用訓練データとして取得される。しかし、組織の同一部位を撮影した複数の眼科画像30Iのデータ、または、組織の同一部位を撮影した複数の眼科画像30Iの加算平均画像のデータが、入力用訓練データとして取得されてもよい。加算平均画像のデータが入力用訓練データとして取得されることで、1枚の眼科画像30Iのデータが入力用訓練データとして取得される場合に比べて、数学モデルが出力する目的画像の画質が向上する。
【0047】
なお、本実施形態のS1で取得される入力用訓練データには、眼科画像Iが撮影された際の、加算枚数以外の第1撮影条件(光路長、偏光状態、露光時間、スキャンライン毎のAスキャンデータの数、および、Aスキャン方向の解像度のうちの少なくともいずれか)と、眼科画像Iのノイズの程度を示すノイズ情報とが含まれる。第1撮影条件は、眼科画像撮影装置11Aから取得されてもよい。また、眼科画像Iのノイズの程度を示す情報は、眼科画像Iから自動的に取得されてもよいし、ユーザによって入力されてもよい。
【0048】
次いで、CPU3は、入力用訓練データ(眼科画像I)と同一の被検眼の同一部位を、入力用訓練データの加算枚数以外の撮影条件(第1撮影条件)とは異なる撮影条件(第2撮影条件)で撮影した複数の眼科画像Oを、出力用訓練データ用の眼科画像として取得する(S2)。つまり、CPU3は、入力用訓練データを撮影する際にOCT光が走査されたスキャンラインと同一のスキャンライン上でOCT光を走査させることで撮影された、複数の眼科画像Oを、眼科画像撮影装置11Aから取得する。
【0049】
図3に示す例では、入力用訓練データとして使用された眼科画像30Iの枚数(L枚)よりも多いH枚の眼科画像O(30O1~30OH)が、出力用訓練データ用の眼科画像として取得される。例えば、入力用訓練データとして、L枚の眼科画像30Iの加算平均画像が取得された場合には、加算平均画像に使用された眼科画像30Iの枚数(L枚)よりも多いH枚の眼科画像Oが、S2で取得される。
【0050】
本実施形態では、入力用訓練データ用の眼科画像Iの撮影条件(第1撮影条件)と、出力用訓練データ用の眼科画像Oの撮影条件(第2撮影条件)の間で、前述した光路長、偏光状態、露光時間、スキャンライン毎のAスキャンデータの数、および、Aスキャン方向の解像度のうちの1つまたは複数が異なる。
【0051】
次いで、CPU3は、出力用訓練データ用の複数の眼科画像Oの加算平均画像31を、出力用訓練データとして取得する(S3)前述したように、出力用訓練データである加算平均画像31に使用される眼科画像Oの枚数Hは、入力用訓練データに使用される眼科画像Iの枚数Lよりも多い。なお、加算平均画像31は、数学モデル構築装置1が生成してもよい。また、数学モデル構築装置1は、眼科画像撮影装置11Aによって生成された加算平均画像31を取得してもよい。
【0052】
なお、本実施形態のS1,S3で取得される出力用訓練データには、複数の眼科画像Oが撮影された際の第2撮影条件(光路長、偏光状態、露光時間、スキャンライン毎のAスキャンデータの数、および、Aスキャン方向の解像度のうちの少なくともいずれか)と、加算平均画像31のノイズの程度を示すノイズ情報とが含まれる。第2撮影条件は、眼科画像撮影装置11Aから取得されてもよい。また、加算平均画像31のノイズの程度を示す情報は、加算平均画像31から自動的に取得されてもよいし、ユーザによって入力されてもよい。加算平均画像31に使用された眼科画像Oの枚数の情報が、ノイズの程度を示す情報として取得されてもよい。
【0053】
次いで、CPU3は、機械学習アルゴリズムによって、訓練データセットを用いた数学モデルの訓練を実行する(S4)。機械学習アルゴリズムとしては、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン(SVM)等が一般的に知られている。
【0054】
ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する手法である。ニューラルネットワークには、例えば、フィードフォワード(順伝播型)ニューラルネットワーク、RBFネットワーク(放射基底関数)、スパイキングニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク(リカレントニューラルネット、フィードバックニューラルネット等)、確率的ニューラルネット(ボルツマンマシン、ベイシアンネットワーク等)等がある。
【0055】
ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて学習を行って、多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐を辿り、各決定木から得られる結果の平均(あるいは多数決)を取る。
【0056】
ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習させることで、強識別器を構築する。
【0057】
SVMは、線形入力素子を利用して2クラスのパターン識別器を構成する手法である。SVMは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準(超平面分離定理)で、線形入力素子のパラメータを学習する。
【0058】
数学モデルは、例えば、入力データと出力データの関係を予測するためのデータ構造を指す。数学モデルは、訓練データセットを用いて訓練されることで構築される。訓練データセットは、入力用訓練データと出力用訓練データのセットである。数学モデルは、ある入力用訓練データが入力された時に、それに対応する出力用訓練データが出力されるように訓練される。例えば、訓練によって、各入力と出力の相関データ(例えば、重み)が更新される。
【0059】
本実施形態では、機械学習アルゴリズムとして多層型のニューラルネットワークが用いられている。ニューラルネットワークは、データを入力するための入力層と、予測したいデータを生成するための出力層と、入力層と出力層の間の1つ以上の隠れ層を含む。各層には、複数のノード(ユニットとも言われる)が配置される。詳細には、本実施形態では、多層型ニューラルネットワークの一種である畳み込みニューラルネットワーク(CNN)が用いられている。ただし、他の機械学習アルゴリズムが用いられてもよい。例えば、競合する2つのニューラルネットワークを利用する敵対的生成ネットワーク(Generative adversarial networks:GAN)が、機械学習アルゴリズムとして採用されてもよい。
【0060】
なお、本実施形態のS4では、前述したように、眼科画像Iが撮影された際の第1撮影条件と、眼科画像Iのノイズの程度を示す情報とが、入力用訓練データに含まれる。また、複数の眼科画像Oが撮影された際の第2撮影条件と、加算平均画像31のノイズの程度を示す情報とが、出力用訓練データに含まれる。その結果、数学モデルは、入力される基画像の第1撮影条件およびノイズの程度に応じて、適切に目的画像を出力することができる。
【0061】
また、加算枚数以外の複数の撮影条件(本実施形態では、光路長、偏光状態、露光時間、スキャンライン毎のAスキャンデータの数、および、Aスキャン方向の解像度)のうち、入力用訓練データ用の眼科画像Iと出力用訓練データ用の眼科画像Oの間で異なるいずれかの撮影条件に応じて、複数の数学モデルの各々が訓練されてもよい。つまり、数学モデルを利用して変更する撮影条件毎に、別々に数学モデルが訓練されてもよい。また、入力用訓練データ用の眼科画像Iと出力用訓練データ用の眼科画像Oの間で、加算枚数以外の複数の撮影条件を変更して、数学モデルを訓練してもよい。この場合、数学モデルは、入力された基画像に基づいて、基画像の撮影条件に対して複数の撮影条件を変更した目的画像を出力することができる。
【0062】
数学モデルの構築が完了するまで(S5:NO)、S1~S4の処理が繰り返される。数学モデルの構築が完了すると(S5:YES)、数学モデル構築処理は終了する。構築された数学モデルを実現させるプログラムおよびデータは、眼科画像処理装置21に組み込まれる。
【0063】
(撮影条件変更処理)
図4および
図5を参照して、眼科画像処理装置21が実行する撮影条件変更処理について説明する。撮影条件変更処理は、記憶装置24に記憶された眼科画像処理プログラムに従って、CPU23によって実行される。本実施形態の撮影条件変更処理では、数学モデルに基画像が入力されることで、基画像よりもノイズの影響が抑制され、且つ、基画像が撮影された際の撮影条件(加算枚数以外の撮影条件)とは異なる撮影条件で撮影された画像に相当する目的画像が取得される。
【0064】
まず、CPU23は、眼科画像撮影装置(本実施形態ではOCT装置)11Bによって撮影された基画像31(
図5参照)を取得する。本実施形態の基画像31は、前述した入力用訓練データと同様に、第1撮影条件で撮影された1枚の眼科画像の、または、第1撮影条件で撮影された複数枚の眼科画像の加算平均画像である。
【0065】
CPU23は、基画像31が眼科画像撮影装置11Bによって撮影された際の、加算枚数以外の撮影条件(基画像31の撮影条件)と、基画像31のノイズの程度を示すノイズ情報を取得する(S2)。基画像31の撮影条件は、例えば、有線通信、無線通信、または着脱可能な記憶媒体等を介して取得されてもよいし、ユーザによって入力されてもよい。また、ノイズ情報は、基画像31から自動的に取得されてもよいし、ユーザによって入力されてもよい。基画像31が加算平均画像である場合には、ノイズ情報は、基画像31を生成する際に加算平均された画像の枚数(加算枚数)であってもよい。
【0066】
CPU23は、S1で取得した基画像31と条件指定部32を、表示装置28に表示させる(S3)。
図5に、基画像31と条件指定部32が表示された条件指定画面30の一例を示す。条件指定部32には、基画像31の撮影条件と、ユーザが指定する目的画像の撮影条件(つまり、基画像31の撮影条件から変更する撮影条件)が、複数の撮影条件(本実施形態では、光路長、偏光状態、露光時間、スキャンライン毎のAスキャンデータの数、および、Aスキャン方向の解像度)の各々について表示される。なお、本実施形態では、基画像31および目的画像の加算枚数も表示されている。ユーザは、変更したい撮影条件の欄を指定し、所望の値を入力することで、目的画像の撮影条件を適宜指定することができる。なお、複数の撮影条件のうち、ユーザが変更することを指定しない撮影条件の欄には、「-」が表示されている。
【0067】
CPU23は、撮影条件を指定する指示が入力されたか否かを判断する(S5)。入力されていなければ(S5:NO)、処理はそのままS8へ移行する。撮影条件を指定する指示が入力されると(S5:YES)、CPU23は、指定された撮影条件を目的画像の撮影条件(つまり、画像の変換条件)に設定し、条件指定部32の表示を変更する(S6)。
【0068】
CPU23は、範囲指定指示がユーザによって入力されたか否かを判断する(S8)。本実施形態では、ユーザは、基画像31の撮影条件を変更する変更範囲33(
図5参照)を指定することができる。変更範囲33が指定されると、基画像31の画像範囲全体のうち、指定された変更範囲内において、ノイズの影響が抑制され且つ撮影条件が変更された目的画像が取得される。変更範囲33が指定されていなければ(S8:NO)、処理はそのままS11へ移行する。変更範囲33が指定されると(S8:YES)、CPU23は、指定された変更範囲33を、撮影条件の変更範囲に設定する(S9)。
【0069】
CPU23は、撮影条件を決定する指示がユーザによって入力されたか否かを判断する(S11)。入力されていなければ(S11:NO)、処理はS5へ戻り、S5~S11の処理が繰り返される。ユーザが決定ボタン34(
図5参照)を操作して決定指示を入力すると(S11:YES)、CPU23は、基画像31、基画像31の撮影条件、基画像31のノイズ情報、および、指定された目的画像の撮影条件を数学モデルに入力する(S12)。その結果、基画像31よりもノイズの影響が抑制され、且つ、基画像31が撮影された際の撮影条件とは異なる撮影条件(本実施形態では、指定された撮影条件)で撮影された画像に相当する目的画像が、数学モデルによって出力される。CPU23は、取得した目的画像を表示装置28に表示させる。
図5に、目的画像表示画面40の一例を示す。表示される目的画像41では、ノイズの影響が抑制されている。また、目的画像41の撮影条件は、基画像31の撮影条件とは異なる撮影条件に変更されている。
【0070】
なお、S9で変更範囲33が設定されている場合、本実施形態のS12では、基画像31の画像範囲全体のうち、S9で設定された変更範囲33内の画像が数学モデルに入力される。その結果、基画像31の画像範囲全体のうち、ユーザが所望する範囲において、ノイズの影響および撮影条件が変更される。
【0071】
上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。まず、上記実施形態で例示された複数の技術のうちの一部のみを実行することも可能である。例えば、眼科画像処理装置21は、数学モデルに基画像31を入力することで、基画像31のノイズの影響を変更せずに、基画像31が撮影された際の撮影条件とは異なる撮影条件で撮影された画像に相当する目的画像41を取得してもよい。この場合、眼科画像処理装置21は、撮影条件が変更された目的画像41を取得する処理とは別に、基画像31または目的画像41のノイズの影響を抑制するデノイジング処理を実行してもよい。デノイジング処理は、目的画像41を取得するための数学モデルとは別に設けられた、画像のノイズの影響を抑制するための数学モデルが利用されることで実行されてもよい。また、数学モデルを利用せずに、公知の処理(例えば、加算平均処理またはフィルター処理等)によって、デノイジング処理が実行されてもよい。
【0072】
また、上記実施形態では、ユーザは、所望する撮影条件を自由に眼科画像処理装置21に入力することが可能である。眼科画像処理装置21は、入力された撮影条件を変換条件として、基画像31を変換することで、目的画像41を取得する。しかし、眼科画像処理装置21は、多数の撮影条件の組み合わせの中から、目的画像41の画質が良好となる撮影条件の組み合わせを自動的に設定し、設定した撮影条件の組み合わせを変換条件として目的画像41を取得してもよい。
【0073】
なお、
図4のS1で基画像31を取得する処理は、「基画像取得ステップ」の一例である。
図4のS12で目的画像を取得する処理は、「目的画像取得ステップ」の一例である。
図4のS5で撮影条件の指定指示の入力を受け付ける処理は、「撮影条件入力ステップ」の一例である。
図4のS2で基画像31の撮影条件を取得する処理は、「基画像撮影条件取得ステップ」の一例である。
図4のS8で変更範囲33の指定指示の入力を受け付ける処理は、「範囲入力ステップ」の一例である。
【符号の説明】
【0074】
1 数学モデル構築装置
11A,11B 眼科画像撮影装置
17A,17B 受光素子
18A,18B スキャナ
19A,19B 光路長調整部
20A,20B 偏光状態調整部
21 眼科画像処理装置
23 CPU
24 記憶装置
28 表示装置
31 基画像
41 目的画像