(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-31
(45)【発行日】2023-11-09
(54)【発明の名称】眼底画像処理装置および眼底画像処理プログラム
(51)【国際特許分類】
A61B 3/14 20060101AFI20231101BHJP
【FI】
A61B3/14
(21)【出願番号】P 2019237244
(22)【出願日】2019-12-26
【審査請求日】2022-11-21
(73)【特許権者】
【識別番号】000135184
【氏名又は名称】株式会社ニデック
(74)【代理人】
【識別番号】100166785
【氏名又は名称】大川 智也
(72)【発明者】
【氏名】柴 涼介
(72)【発明者】
【氏名】熊谷 佳紀
(72)【発明者】
【氏名】芳野 雅幸
【審査官】増渕 俊仁
(56)【参考文献】
【文献】特開2004-016486(JP,A)
【文献】特開2017-184787(JP,A)
【文献】特開2007-173894(JP,A)
【文献】特開2019-150405(JP,A)
【文献】特開2017-080145(JP,A)
【文献】特表2007-524943(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00-3/18
(57)【特許請求の範囲】
【請求項1】
眼底撮影装置によって撮影された眼底画像を処理する眼底画像処理装置であって、
前記眼底撮影装置は、
照明光を出射する光源と、
前記照明光を光路の下流側へ向けて照射する対物レンズと、
前記対物レンズから入射した撮影光を受光する受光素子と、
を備え、
前記眼底画像処理装置の制御部は、
前記眼底撮影装置によって撮影された被検眼の眼底の画像である眼底画像を取得する眼底画像取得ステップと、
前記眼底撮影装置によって撮影された画像であり、被検眼の眼底が撮影対象に含まれず、且つ前記照明光に起因するアーチファクトが映り込んだ画像である補正用画像を取得する補正用画像取得ステップと、
前記補正用画像の画素値を変換する変換処理を、処理内容を変更しつつ複数回実行することで、複数の変換画像を取得する変換画像取得ステップと、
前記複数の変換画像の各々と、前記眼底画像との差分を取ることで取得される複数の差分画像のうち、アーチファクトの影響が基準以下まで抑制された差分画像を高画質画像として取得する高画質画像取得ステップと、
を実行することを特徴とする眼底画像処理装置。
【請求項2】
請求項1に記載の眼底画像処理装置であって、
前記制御部は、
前記高画質画像取得ステップにおいて、前記複数の変換画像の各々と、前記眼底画像との差分を取ることで、複数の差分画像を取得し、前記複数の差分画像のうち、前記変換画像または前記補正用画像との間の相関が基準以下となる差分画像を前記高画質画像として取得することを特徴とする眼底画像処理装置。
【請求項3】
請求項1又は2記載の眼底画像処理装置であって、
前記制御部は、
前記高画質画像取得ステップにおいて、アーチファクトの影響が基準以下となる前記差分画像が存在しない場合に、前記眼底画像および前記補正用画像の少なくともいずれかの再撮影指示を出力する再撮影処理、または、前記眼底画像の画質が低い旨をユーザに警告する警告処理を実行することを特徴とする眼底画像処理装置。
【請求項4】
請求項1から3のいずれかに記載の眼底画像処理装置であって、
前記変換画像取得ステップにおいて実行される変換処理は、ガンマ補正、明るさ補正、コントラスト強調、ヒストグラム伸長、およびヒストグラム均一化の少なくともいずれかを含むことを特徴とする眼底画像処理装置。
【請求項5】
眼
底撮影装置によって撮影された眼底画像を処理する眼底画像処理装置において実行される眼底画像処理プログラムであって、
前記眼
底撮影装置は、
照明光を出射する光源と、
前記照明光を光路の下流側へ向けて照射する対物レンズと、
前記対物レンズから入射した撮影光を受光する受光素子と、
を備え、
前記眼底画像処理プログラムが前記眼底画像処理装置の制御部によって実行されることで、
前記眼底撮影装置によって撮影された被検眼の眼底の画像である眼底画像を取得する眼底画像取得ステップと、
前記眼底撮影装置によって撮影された画像であり、被検眼の眼底が撮影対象に含まれず、且つ前記照明光に起因するアーチファクトが映り込んだ画像である補正用画像を取得する補正用画像取得ステップと、
前記補正用画像の画素値を変換する変換処理を、処理内容を変更しつつ複数回実行することで、複数の変換画像を取得する変換画像取得ステップと、
前記複数の変換画像の各々と、前記眼底画像との差分を取ることで取得される複数の差分画像のうち、アーチファクトの影響が基準以下まで抑制された差分画像を高画質画像として取得する高画質画像取得ステップと、
を前記眼底画像処理装置に実行させることを特徴とする眼底画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、眼底撮影装置によって撮影された被検眼の眼底画像を処理する眼底画像処理装置、および、眼底画像処理装置によって実行される眼底画像処理プログラムに関する。
【背景技術】
【0002】
被検眼の眼底画像を撮影する種々の眼底撮影装置が知られている。例えば、特許文献1には、眼底上でスリット状の照明光を走査し、照明された眼底領域の像を、走査に従って2次元的な撮像面に逐次投影させることで、眼底の正面画像を得る装置が開示されている。また、スポット状の照明光を走査して眼底の正面画像を撮影する装置(例えば、走査型レーザ検眼鏡(SLO)等)も知られている。さらに、眼底の二次元領域に照明光を同時に照射することで眼底の正面画像を撮影する装置(例えば、眼底カメラ等)も知られている。
【0003】
眼底撮影装置によって撮影された眼底画像には、種々のアーチファクト(例えば、照明光が対物レンズ等によって反射されて受光素子に入射することで生じるアーチファクト等)が含まれる場合がある。眼底画像に含まれるアーチファクトを除去するために、同一の眼底撮影装置によってアーチファクトのみが撮影された補正用画像を取得し、眼底画像と補正用画像の差分画像を、高画質画像として取得する方法がある。この方法では、差分画像と補正用画像の相関が小さくなるように、補正用画像を変換する際の重みが予め決められており、重みによって変換された補正用画像と眼底画像の差分画像が取得される。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
眼底撮影装置の受光素子によって出力される受光信号に基づいて、画像のデータを生成する画像化プロセスにおいて、種々の処理(例えば、ゲイン調整およびガンマ補正等の少なくともいずれか)が行われる場合が多い。従来の方法では、補正用画像を変換する際に画像化プロセスの内容が考慮されないので、アーチファクトの影響を適切に抑制することが困難な場合がある。仮に、画像化プロセスの内容が既知であれば、画像化プロセスの内容に基づいて補正用画像を変換することも考えられるが、画像化プロセスに関する情報を取得することが困難な場合も多い。さらに、従来の方法では、補正用画像にアーチファクト以外の要素が含まれてしまうと、眼底画像のアーチファクトが適切に除去されない。従って、従来の処理では、眼底画像のアーチファクトの影響を適切に抑制することは困難であった。
【0006】
本開示の典型的な目的は、眼底画像のアーチファクトの影響を適切に抑制することが可能な眼底画像処理装置および眼底画像処理プログラムを提供することである。
【課題を解決するための手段】
【0007】
本開示における典型的な実施形態が提供する眼底画像処理装置は、眼底撮影装置によって撮影された眼底画像を処理する眼底画像処理装置であって、前記眼底撮影装置は、照明光を出射する光源と、前記照明光を光路の下流側へ向けて照射する対物レンズと、前記対物レンズから入射した撮影光を受光する受光素子と、を備え、前記眼底画像処理装置の制御部は、前記眼底撮影装置によって撮影された被検眼の眼底の画像である眼底画像を取得する眼底画像取得ステップと、前記眼底撮影装置によって撮影された画像であり、被検眼の眼底が撮影対象に含まれず、且つ前記照明光に起因するアーチファクトが映り込んだ画像である補正用画像を取得する補正用画像取得ステップと、前記補正用画像の画素値を変換する変換処理を、処理内容を変更しつつ複数回実行することで、複数の変換画像を取得する変換画像取得ステップと、前記複数の変換画像の各々と、前記眼底画像との差分を取ることで取得される複数の差分画像のうち、アーチファクトの影響が基準以下まで抑制された差分画像を高画質画像として取得する高画質画像取得ステップと、を実行する。
【0008】
本開示における典型的な実施形態が提供する眼底画像処理プログラムは、眼底撮影装置によって撮影された眼底画像を処理する眼底画像処理装置において実行される眼底画像処理プログラムであって、前記眼底撮影装置は、照明光を出射する光源と、前記照明光を光路の下流側へ向けて照射する対物レンズと、前記対物レンズから入射した撮影光を受光する受光素子と、を備え、前記眼底画像処理プログラムが前記眼底画像処理装置の制御部によって実行されることで、前記眼底撮影装置によって撮影された被検眼の眼底の画像である眼底画像を取得する眼底画像取得ステップと、前記眼底撮影装置によって撮影された画像であり、被検眼の眼底が撮影対象に含まれず、且つ前記照明光に起因するアーチファクトが映り込んだ画像である補正用画像を取得する補正用画像取得ステップと、前記補正用画像の画素値を変換する変換処理を、処理内容を変更しつつ複数回実行することで、複数の変換画像を取得する変換画像取得ステップと、前記複数の変換画像の各々と、前記眼底画像との差分を取ることで取得される複数の差分画像のうち、アーチファクトの影響が基準以下まで抑制された差分画像を高画質画像として取得する高画質画像取得ステップと、を前記眼底画像処理装置に実行させる。
【0009】
本開示に係る眼底画像処理装置および眼底画像処理プログラムによると、眼底画像のアーチファクトの影響が適切に抑制される。
【図面の簡単な説明】
【0010】
【
図1】本実施形態の眼底撮影装置1の外観構成を示す側面図である。
【
図2】本実施形態の撮影ユニット3に収容される光学系を示す図である。
【
図3】本実施形態の眼底撮影装置1の制御系を示すブロック図である。
【
図4】被検眼Eが正視眼である場合の、視度補正の状態の一例を示す図である。
【
図5】被検眼Eが近視眼である場合の、視度補正の状態の一例を示す図である。
【
図6】眼底撮影装置(眼底画像処理装置)1が実行する眼底画像処理のフローチャートである。
【
図7】眼底撮影装置(眼底画像処理装置)1によって処理される眼底画像60、補正用画像70、変換画像80、および差分画像90を説明するための説明図である。
【
図8】眼底撮影装置(眼底画像処理装置)1が実行する眼底画像処理のフローチャートの変容例である。
【発明を実施するための形態】
【0011】
<概要>
本開示で例示する眼底画像処理装置は、眼底撮影装置によって撮影された眼底画像を処理する。眼底撮影装置は、光源、対物レンズ、および受光素子を備える。光源は照明光を出射する。対物レンズは、照明光を光路の下流側へ向けて照射する。受光素子は、対物レンズから入射した撮影光を受光する。眼底画像処理装置の制御部は、眼底画像取得ステップ、補正用画像取得ステップ、変換画像取得ステップ、および高画質画像取得ステップを実行する。眼底画像取得ステップでは、制御部は、眼底撮影装置によって撮影された被検眼の眼底画像を取得する。補正用画像取得ステップでは、制御部は、眼底撮影装置によって撮影された画像であり、被検眼の眼底が撮影対象に含まれず、且つ照明光に起因するアーチファクトが映り込んだ画像である補正用画像を取得する。変換画像取得ステップでは、制御部は、補正用画像の画素値を変換する変換処理を、処理内容を変更しつつ複数回実行することで、複数の変換画像を取得する。高画質画像取得ステップでは、制御部は、複数の変換画像の各々と、眼底画像との差分を取ることで取得される複数の差分画像のうち、アーチファクトの影響が基準以下まで抑制された差分画像を高画質画像として取得する。
【0012】
本開示における補正用画像取得ステップにおいて取得される補正用画像には、アーチファクト(例えば、照明光が対物レンズ等によって反射されて受光素子に入射することで生じるアーチファクト等)のみが写り込む。眼底画像処理装置の制御部は、補正用画像に対し、処理内容を変更しつつ変換処理を複数回実行することで、複数の変換画像を取得する。制御部は、眼底画像と各々の変換画像の差分を取ることで取得される複数の差分画像のうち、アーチファクトの影響が基準以下まで抑制された差分画像を探索し、探索された差分画像を高画質画像として取得する。従って、画像化プロセスの内容が未知である場合でも、画像化プロセスの内容に応じた変換処理が適切に行われた変換画像によって、眼底画像のアーチファクトが除去される。よって、眼底画像のアーチファクトの影響が適切に除去される。
【0013】
眼底画像処理装置によって処理される眼底画像には、種々の眼底画像を採用できる。例えば、眼底画像は、被検眼の視線方向から眼底を撮影した二次元正面画像であってもよい。この場合、眼底撮影装置は、眼底の二次元領域に照明光を同時に照射することで眼底の二次元正面画像を撮影する眼底カメラであってもよい。また、眼底撮影装置は、スリット状の照明光を、スリットの伸長方向に対して交差する方向に走査することで、眼底の二次元正面画像を撮影するスリットスキャン方式の撮影装置であってもよい。また、眼底撮影装置は、眼底にスポット(点)状の照明光を照射し、スポット状の照明光を二次元的に走査することで、眼底の二次元正面画像を撮影する撮影装置(例えば、走査型レーザ検眼鏡(SLO)等)であってもよい。
【0014】
補正用画像は、照明光の光路における対物レンズの下流側から対物レンズへ向かう光が遮断された状態で、眼底撮影装置が照明光を照射して撮影した画像であってもよい。一例として、補正用画像は、眼底撮影装置における対物レンズよりも照明光の下流側が、カバー等で遮蔽された状態で撮影されてもよい。また、眼底撮影装置によって暗幕等が撮影されることで、補正用画像が撮影されてもよい。この場合、補正用画像には、眼底等の撮影対象が映り込まず、アーチファクトのみが写り込む。
【0015】
制御部は、高画質画像取得ステップにおいて、複数の変換画像の各々と眼底画像との差分を取ることで、複数の差分画像を取得してもよい。制御部は、複数の差分画像のうち、変換画像または補正用画像との間の相関が基準以下となる差分画像を探索し、探索された差分画像を高画質画像として取得してもよい。この場合、差分画像と、変換画像または補正用画像の間の相関によって、アーチファクトの影響が抑制された高画質画像が適切に探索される。
【0016】
ただし、高画質画像を取得するための具体的な方法を変更することも可能である。例えば、制御部は、複数の変換画像のうち、眼底画像との間の相関が基準以上となる変換画像を探索し、探索された変換画像と眼底画像の差分画像を高画質画像として取得してもよい。この場合でも、変換画像と眼底画像の相関によって、アーチファクトの影響が抑制された高画質画像が適切に探索される。
【0017】
眼底撮影装置は、被検眼に応じた視度補正を、照明光および撮影光について連動させて、または別々に実行する視度補正部をさらに備えていてもよい。補正用画像取得ステップにおいて取得される補正用画像は、眼底画像が撮影された際の視度補正部による補正量との差が閾値以下の補正量で視度補正された状態で撮影された画像であってもよい。この場合、眼底画像と補正用画像が、近似する視度補正量(フォーカス調整量)で撮影されているので、眼底画像に含まれるアーチファクトと、補正用画像に含まれるアーチファクトが近似しやすい。よって、眼底画像のアーチファクトの影響がより適切に除去される。
【0018】
なお、眼底画像撮影時と補正用画像撮影時の撮影条件のうち、視度補正量以外の撮影条件が同一であってもよい。例えば、眼底画像撮影時と補正用画像撮影時の撮影条件のうち、照明光の光量、および、画像を撮影する撮影範囲の少なくとも一方が同一であってもよい。この場合、眼底画像のアーチファクトの影響がより適切に除去される。
【0019】
仮に被検眼が常に正視眼である場合には、対物レンズに関して眼底と共役な位置(つまり、眼底の中間像面の位置)が、対物レンズよりも常に照明光の上流側に位置するように、光学系を設計することが可能である。この場合、照明光の集光位置が、対物レンズよりも照明光の上流側に位置するので、対物レンズによって反射されて受光素子に導光される照明光の光量が増加し難い。よって、対物レンズに起因するアーチファクトの発生は適切に抑制される。しかし、高品質の眼底正面画像を撮影するためには、視度補正部によって被検眼に応じた視度補正を行う必要がある。視度補正が行われることで、例えば、照明範囲の誤差の抑制、および、眼底における照明光の光量分布の均一化等が図られる。一方で、視度補正が行われると、眼底共役位置が光軸に沿って移動する。被検眼が近視眼である場合に視度補正が行われると、眼底共役位置(つまり、照明光の集光位置)が光軸に沿って対物レンズに近づく。その結果、眼底画像におけるアーチファクトが強くなる。被検眼の屈折度数がマイナスディオプター側の値である程(つまり、被検眼の近視の度合いが強い程)、対物レンズに起因するアーチファクトが強くなる。
【0020】
従って、制御部は、眼底画像が撮影された際の視度補正量(視度補正部によって補正された被検眼の屈折度数)が閾値よりもマイナスディオプター側である場合にのみ、補正用画像取得ステップ、変換画像取得ステップ、および高画質画像取得ステップを実行してもよい。この場合、被検眼の屈折度数が閾値よりもマイナスディオプター側であり、アーチファクトの影響が強い可能性が高い眼底画像に対しては、アーチファクトの影響を抑制するための処理が実行される。一方で、視度補正量が閾値よりもマイナスディオプター側でなく、眼底画像にアーチファクトが含まれ難い場合には、補正用画像を用いた各種処理が省略される。よって、眼底画像処理装置における処理量が適切に削減される。
【0021】
なお、眼底画像におけるアーチファクトの部位(例えば輝点等)がサチュレーション(白飛び)を起こしている場合には、高画質画像取得ステップを実行しても、アーチファクトを除去して組織の画像を復元することは困難である。従って、眼底撮影装置は、視度補正量が閾値よりもマイナスディオプター側である場合には、視度補正量が閾値よりもプラスディオプター側である場合に比べて、照明光の光量、ゲイン、および露光時間の少なくともいずれかを制限してもよい。この場合、眼底画像のサチュレーションが抑制されるので、高画質画像取得ステップが実行されることで組織の画像が適切に復元され易い。
【0022】
視度補正部による補正量を変更しつつ眼底撮影装置によって撮影された複数の補正用画像が、記憶装置に予め記憶されていてもよい。補正用画像取得ステップでは、記憶装置に記憶された複数の補正用画像のうち、眼底画像撮影時と近似する補正量で視度補正された状態で撮影された補正用画像が取得されてもよい。この場合、眼底画像撮影時に補正用画像を撮影する必要が無いので、撮影時の作業量および撮影時間等が適切に減少する。
【0023】
ただし、補正用画像の取得方法を変更することも可能である。例えば、眼底画像処理装置の制御部は、高画質画像取得ステップを実行する際に、補正用画像の撮影の実行指示を眼底撮影装置に出力してもよい。つまり、眼底撮影装置は、眼底画像を撮影する際に補正用画像も撮影してもよい。この場合、眼底画像撮影時の撮影条件と、補正用画像撮影時の撮影条件がより近似しやすいので、眼底画像に含まれるアーチファクトと、補正用画像に含まれるアーチファクトがより近似しやすい。よって、眼底画像に含まれるアーチファクトの影響が、より適切に抑制される。
【0024】
制御部は、高画質画像取得ステップにおいて、アーチファクトの影響が基準以下となる差分画像が存在しない場合に、眼底画像および補正用画像の少なくともいずれかの再撮影指示を出力する再撮影処理、または、眼底画像の画質が低い旨をユーザに警告する警告処理を実行してもよい。アーチファクトの影響が基準以下とならない場合は、眼底画像および補正用画像の少なくとも一方が適切に撮影されていない可能性がある。従って、眼底画像および補正用画像の少なくともいずれかが再撮影されることで、その後に実行される高画質画像取得ステップにおいて、高画質画像が適切に取得され得る。また、警告処理が実行されることで、ユーザは、取得された眼科画像の画質が低い旨を容易に把握できる。
【0025】
なお、補正用画像が記憶装置に記憶されており、且つ補正用画像が再撮影された場合、再撮影された補正用画像が新たに記憶装置に記憶されてもよい。この場合、その時点の眼底撮影装置の状態(例えば、光源の光量等)に応じた適切な補正用画像が新たに記憶されるので、眼底画像のアーチファクトの影響がより適切に除去される。
【0026】
また、アーチファクトの影響が基準以下となる差分画像が存在するか否かを判断する方法は、適宜選択できる。例えば、制御部は、変換画像または補正用画像との間の相関が基準以下となる差分画像が存在するか否かを判断してもよい。また、制御部は、眼底画像との間の相関が基準以上となる変換画像が存在するか否かを判断することで、アーチファクトの影響が基準以下となる差分画像が存在するか否かを判断してもよい。
【0027】
制御部は、眼底画像取得ステップにおいて取得された眼底画像におけるアーチファクトの輝度値が閾値以上である場合に、眼底画像の再撮影指示を出力してもよい。前述したように、眼底画像におけるアーチファクトの部位(例えば輝点等)がサチュレーション(白飛び)を起こしている場合には、高画質画像取得ステップを実行しても、アーチファクトを除去して組織の画像を復元することは困難である。従って、眼底画像におけるアーチファクトの輝度値が閾値以上である場合に眼底画像が再撮影されることで、高画質の眼底画像が適切に取得され易い。
【0028】
変換画像取得ステップにおいて実行される変換処理は、ガンマ補正、明るさ補正、コントラスト強調、ヒストグラム伸長、およびヒストグラム均一化の少なくともいずれかを含んでいてもよい。この場合、差分画像におけるアーチファクトの影響が小さくなるように、補正用画像が適切に変換画像に変換される。
【0029】
なお、変換処理では、補正用画像のチャンネル(例えば、RGB、CMYK、またはHSV等)毎に異なる処理が行われてもよい。この場合、差分画像におけるアーチファクトの影響がより小さくなるように、補正用画像が変換画像に変換される。また、変換処理では、補正用画像のチャンネルの各々に同一の処理が行われてもよい。
【0030】
制御部は、眼科画像および補正用画像の画像領域全体のうち、アーチファクトが含まれる一部の領域に対して、変換画像取得ステップにおける変換処理、および、高画質画像取得ステップにおいて眼底画像と変換画像の差分を取る処理を実行してもよい。この場合、アーチファクトが存在しない領域における変換処理および差分処理が省略されるので、処理量が適切に削減される。ただし、制御部は、画像領域全体に対して変換処理等を行うことも可能である。
【0031】
なお、眼底画像処理装置の制御部は、眼底撮影装置の受光素子によって出力される受光信号に基づいて眼底画像のデータを生成する画像化プロセスの情報に基づいて、補正用画像を変換画像に変換してもよい。この場合、眼底画像に含まれるアーチファクトと、変換画像に含まれるアーチファクトが近似しやすいので、眼底画像のアーチファクトの影響が適切に抑制される。
【0032】
この場合、眼底画像処理装置は以下のように表現することも可能である。眼底画像撮影装置によって撮影された眼底画像を処理する眼底画像処理装置であって、前記眼底画像撮影装置は、照明光を出射する光源と、前記照明光を光路の下流側へ向けて照射する対物レンズと、前記対物レンズから入射した照明光を受光する受光素子と、を備え、前記眼底画像処理装置の制御部は、前記眼底画像撮影装置によって撮影された被検眼の眼底の画像である眼底画像を取得する眼底画像取得ステップと、前記眼底撮影装置によって撮影された画像であり、被検眼の眼底が撮影対象に含まれず、且つ前記照明光に起因するアーチファクトが映り込んだ画像である補正用画像を取得する補正用画像取得ステップと、前記受光素子によって出力された受光信号に基づいて前記眼底画像のデータが生成された際の画像化プロセスの情報を取得する画像化情報取得ステップと、前記画像化プロセスの情報に基づいて、前記補正用画像の画素値を変換する変換処理を実行することで、変換画像を取得する変換画像取得ステップと、前記眼底画像と前記変換画像の差分画像を、前記眼底画像のアーチファクトの影響が抑制された高画質画像として取得する高画質画像取得ステップと、を実行することを特徴とする眼底画像処理装置。
【0033】
<実施形態>
以下、本開示に係る典型的な実施形態の1つについて説明する。本実施形態の眼底撮影装置1は、被検眼の眼底画像および補正用画像を撮影すると共に、補正用画像に基づいて眼底画像を処理する。つまり、本実施形態の眼底撮影装置は、眼底画像を処理する眼底画像処理装置としても機能する。しかし、眼底画像処理装置の構成を変更することも可能である。例えば、パーソナルコンピュータ(以下、「PC」という)、サーバ、携帯端末、およびスマートフォン等のいずれかが、眼底撮影装置1によって撮影された眼底画像および補正用画像を取得して眼底画像を処理してもよい。つまり、眼底撮影装置とは異なる情報処理装置が眼底画像処理装置として機能してもよい。
【0034】
また、一例として、本実施形態の眼底撮影装置1は、被検眼の眼底上で照明光をスリット状に照射し、スリットの伸長方向に交差する方向に照明光を走査する。眼底撮影装置1は、照明光の眼底反射光を受光することで、眼底の二次元正面画像を撮影する。つまり、本実施形態の眼底撮影装置1は、スリットスキャン方式によって眼底画像を撮影する。しかし、前述したように、眼底画像を撮影する方式はスリットスキャン方式に限定されない。
【0035】
<装置の外観>
図1を参照して、眼底撮影装置1の外観構成について説明する。眼底撮影装置1は、撮影ユニット3を有する。撮影ユニット3は、
図2で示す光学系を備える。眼底撮影装置1は、筐体6、基台7、駆動部8、顔支持ユニット9、および顔撮影カメラ110を有し、これらを用いて、被検眼Eと撮影ユニット3の位置関係を調整する。
【0036】
駆動部8は、基台7に対して撮影ユニット3を左右方向(X方向)、上下方向(Y方向)、および前後方向(Z方向であり、換言すれば作動距離方向)に移動できる。つまり、駆動部8は、撮影ユニット3と被検眼Eの相対位置を三次元方向に移動させる。駆動部8は、予め定められた各可動方向に撮影ユニット3を移動させるためのアクチュエータを備える。駆動部8は、制御部100からの制御信号に基づいて駆動される。顔支持ユニット9は、被検者の顔を支持する。顔支持ユニット9は、基台7に固定されている。
【0037】
顔撮影カメラ110は、撮影ユニット3に対する位置関係が一定となるように、筐体6に固定されている。顔撮影カメラ110は、被検者の顔を撮影する。制御部100は、撮影された顔画像から被検眼Eの位置を特定し、駆動部8を駆動制御することで、特定した被検眼Eの位置に対して撮影ユニット3を位置合わせする。また、眼底撮影装置1は、モニタ120を備える。モニタ(表示部)120には、各種画像(例えば、眼底観察像、眼底撮影像(眼底画像)、前眼部観察像等)が表示される。
【0038】
<光学系>
図2を参照して、眼底撮影装置1の光学系について説明する。眼底撮影装置1は、撮影光学系(眼底撮影光学系)10、および前眼部観察光学系40を備える。撮影光学系10および前眼部観察光学系40は、撮影ユニット3に設けられている。
図2において、被検眼の瞳と共役な位置には撮影光軸上に「△」を、眼底共役位置には撮影光軸上に「×」を付している。
【0039】
撮影光学系10は、照射光学系10Aおよび受光光学系10Bを備える。本実施形態の照射光学系10Aは、光源ユニット11、レンズ13、スリット状部材15A、レンズ17A,17B、ミラー18、穴開きミラー20、および対物レンズ22を備える。受光光学系10Bは、対物レンズ22、穴開きミラー20、レンズ25A,25B、スリット状部材15B、および受光素子28を備える。穴開きミラー20は、照射光学系10Aの光路と受光光学系10Bの光路を結合する光路結合部である。穴開きミラー20は、光源ユニット11から出射される照明光を対物レンズ22側(つまり、被検眼E側)へ反射し、対物レンズ22からの光(例えば、被検眼Eからの眼底反射光等)のうち、開口を通過した一部を受光素子28側へ通過させる。光路結合部には、穴開きミラー20以外のビームスプリッタを用いることも可能である。例えば、穴開きミラー20に代えて、透光部と反射部が穴開きミラー20と逆のミラーが光路結合部として用いられてもよい。この場合、ミラーの反射側に受光光学系10Bの独立光路が置かれ、ミラーの透過側に照射光学系10Aの独立光路が置かれる。また、穴開きミラー20、および、穴開きミラー20の代替手段としてのミラーは、それぞれ、ハーフミラーと遮光部の組み合わせに置き換えられてもよい。
【0040】
本実施形態において、光源ユニット11は、波長帯が異なる複数種類の光源を備える。例えば、光源ユニット11は、可視光源11A,11Bと、赤外光源11C,11Dを備える。可視光源11A,11Bは、複数の波長域を含む可視光を照明光として出射する。従って、可視光源11A,11Bが出射する照明光によって、眼底のカラー画像が撮影される。可視光源11A,11Bは、例えば、白色光源であってもよいし、出射波長が互いに異なる複数の単色光源を組み合わせた光源であってもよい。本実施形態の光源ユニット11には、可視光源および赤外光源が2つずつ設けられている。2つの可視光源11A,11B、および2つの赤外光源11C,11D(以下、単に「2つの光源」という場合もある)は、瞳共役面上において、撮影光軸Lから離れて配置される。2つの光源は、
図2における走査方向であるX方向に沿って並べて配置されており、撮影光軸Lに関して軸対称に配置される。
図2に示すように、2つの光源の外周形状は、走査方向に比べて、走査方向と交差する方向が長い矩形形状であってもよい。
【0041】
2つの光源からの光は、レンズ13を通過して、スリット状部材15に照射される。本実施形態において、スリット状部材15Aは、Y方向に沿って細長く形成された透光部(開口)を持つ。その結果、眼底共役面において、照明光がスリット状に形成される(眼底上でスリット状に照明された領域を、符号Bとして図示する)。つまり、本実施形態のスリット状部材15Aは、被検眼Eの眼底上で照明光をスリット状に形成するスリット形成部として機能する。
【0042】
スリット状部材15Aは、透光部が撮影光軸LをX方向に横切るようにして、駆動部15Cによって変位される。これにより、本実施例における照明光の走査が実現される。なお、本実施例では、受光系側でも、スリット状部材15Bによる走査が行われる。本実施例では、投光側と受光側のスリット状部材は、1つの駆動部(アクチュエータ)15Cによって、連動して駆動される。以上のように、本実施形態のスリット状部材15A,15Bおよび駆動部15Cは、スリット状の照明光を、スリットの伸長方向(Y方向)に対して交差(本実施形態では垂直に交差)する方向(X方向)へ走査する走査部として機能する。
【0043】
照射光学系10Aでは、各光源の像が、レンズ13から対物レンズ22までの光学系によってリレーされて、瞳共役面上で結像される。つまり、瞳共役面上において、走査方向に関して分離した位置に、2つの光源の像が形成される。このようにして、本実施形態では、瞳共役面上における2つの投光領域P1,P2は、2つの光源の像として形成される。
【0044】
また、スリット状部材15Aを通過したスリット状の光は、レンズ17Aから対物レンズ22までの光学系によってリレーされて、眼底ER上に結像する。これにより、眼底ER上で照明光がスリット状に形成される。照明光は、眼底ER上で反射され、瞳孔EPから取り出される。
【0045】
ここで、穴開きミラー20の開口は、被検眼Eの瞳と共役なので、眼底画像の撮影に利用される眼底反射光は、被検眼Eの瞳上において穴開きミラー20の開口の像(瞳像)を通過する一部に制限される。このように、被検眼の瞳上における開口の像が、本実施例における受光領域Rとなる。受光領域Rは、照明光の眼底反射光のうち、受光素子28に導光される眼底反射光が通過する瞳上の領域である。つまり、穴開きミラー20は、受光領域Rからの反射光を受光素子28の撮像面側へ通過させ、それ以外の光を遮光する遮光部材の一例である。受光領域Rは、2つの投光領域P1,P2(2つの光源の像)に挟まれて形成される。また、各像の結像倍率、開口の径、2つの光源の配置間隔が適宜設定された結果として、受光領域Rと、2つの投光領域P1,P2とは、瞳上において互いに重ならないように形成される。詳細には、本実施形態では、受光領域Rは2つの投光領域P1,P2の間に形成される。これにより、白斑の発生が軽減される。また、2つの投光領域P1,P2は、撮影光軸Lに対して対称に形成される。
【0046】
対物レンズ22および穴開きミラー20の開口を通過した光(例えば眼底反射光等)は、レンズ25A,25Bを介して、眼底共役位置に、眼底ERのスリット状領域を結像する。このとき、結像の位置にスリット状部材15Bの透光部が配置されていることで、有害光が除去される。つまり、スリット状部材15Bは、撮影範囲の一部である局所的な有効領域以外からの光を除去する有害光除去部の一例である。
【0047】
受光素子28は、眼底共役位置に配置されている。本実施例では、スリット状部材15Bと受光素子28の間にリレー系27が設けられている。リレー系27によって、スリット状部材15Bと受光素子28との双方が、眼底共役位置で配置される。その結果、有害光の除去と、結像との両方が、良好に行われる。これに代えて、受光素子28とスリット状部材15Bとの間のリレー系27を省略し、両者を近接配置してもよい。本実施形態では、受光素子28として、2次元的な受光面を持つデバイスが用いられている。例えば、受光素子28は、CMOS、二次元CCD等であってもよい。受光素子28には、スリット状部材15Bの透光部で結像した、眼底ERのスリット状領域の像が投影される。本実施形態の受光素子28は、赤外光および可視光の両方に感度を持つ。
【0048】
本実施形態では、スリット状の照明光が眼底ER上で走査されるに従って、受光素子28の走査線毎に、眼底ER上の走査位置の像(スリット状の像)が順次投影される。このように、受光素子28には、時分割で走査範囲の全体像が投影される。結果として、走査範囲の全体像として、眼底ERの二次元正面画像が撮影される。
【0049】
本実施形態の受光光学系10Bは、対物レンズ22と被検眼Eの間において、眼底からの照明光の反射光を含む撮影光を、眼底に照明される照明光の光路から離間した(つまり、照明光の光路と交差および重複しない)光路を通過させて、受光素子28に導光する。従って、視度補正量に関わらず、被検眼Eの角膜等によって反射された反射光が受光素子28に導光される可能性がさらに低下する。よって、眼底画像のアーチファクトが生じることが、より適切に抑制される。
【0050】
なお、本実施形態における走査部は、メカニカルにスリットを走査するデバイスである。しかし、走査部の構成を変更することも可能である。例えば、受光光学系10B側の走査部は、電子的にスリットを走査するデバイスであってもよい。一例として、受光素子28がCMOSである場合、CMOSのローリングシャッター機能によって、スリットの走査が実現されてもよい。この場合、撮像面上で露光される領域を、投光系における走査部と同期して変位させることで、有害光を除去しつつ、効率良く撮影できる。また、液晶シャッター等を、電子的にスリットを走査する走査部として用いることもできる。また、照射光学系10Aにおける走査部は、照明光の偏向方向を変化させる光スキャナ(例えば、ガルバノミラーまたは音響光学素子等)であってもよい。また、外周に複数のスリットが形成されたホイールを回転させることで、スリットをスキャンするオプティカルチョッパーが、走査部として使用されてもよい。また、走査部は、照射光学系10Aと受光光学系10Bの共通光路上に配置されてもよい。
【0051】
撮影光学系10は、視度補正部を有している。本実施例では、照射光学系10Aの独立光路、および受光光学系10Bの独立光路のそれぞれに視度補正部(視度補正光学系17,25)が設けられている。以下では、便宜上、照射側の(つまり、照明光の視度補正を行う)視度補正光学系を照射側視度補正光学系17と称し、受光側の(つまり、撮影光の視度補正を行う)視度補正光学系を受光側視度補正光学系25と称する。本実施形態の照射側視度補正光学系17は、レンズ17A,レンズ17Bおよび駆動部17C(
図3参照)を含む。また、本実施例の受光側視度補正光学系25は、レンズ25A、レンズ25B、および、駆動部25C(
図3参照)を含む。照射側視度補正光学系17においてはレンズ17Aとレンズ17Bとの間隔が、受光側視度補正光学系25においては、レンズ25Aとレンズ25Bとの間隔が変更される。その結果、照射光学系10Aと受光光学系10Bの各々において視度補正が行われる。以上のように、本実施形態では、照射光学系10Aの駆動部17Cと、受光光学系10Bの駆動部25Cとは、独立に駆動可能である。しかし、照射光学系10Aの視度補正と、受光光学系10Bの視度補正が同期して行われてもよい。
【0052】
本実施例において、照射側視度補正光学系17と、受光側視度補正光学系25と、の各々は、テレセントリック光学系を含む。各々のテレセントリック光学系は、視度補正量が変化しても像側の領域における像高さを維持する。これにより、眼底上における照射光学系のスリット開口と受光光学系のスリット開口との位置関係を、照射側補正量と受光側補正量とのバランスに関わらず一定に保つことができる。このため、眼底上における照射光学系のスリット開口と受光光学系のスリット開口とを、照射側補正量と受光側補正量とのバランスに関わらず常に一致させることができる。また、視度補正量の変化に応じた画像サイズの変化を抑制できる。
【0053】
撮影光学系10は、フォーカス指標投影光学系の1例として、スプリット指標投影光学系50を有する。スプリット指標投影光学系50は、2つのスプリット指標を眼底に投影する。スプリット指標は、フォーカス状態の検出に利用される。また、本実施形態では、フォーカス状態の検出結果から、視度補正量(つまり、被検眼Eの屈折度数)が取得される。
【0054】
スプリット指標投影光学系50は、例えば、光源51(赤外光源)と、指標板52と、偏角プリズム53とを少なくとも有していてもよい。本実施形態において、指標板52は、受光素子28における撮像面と対応する位置へ配置されている。同様に、各々のスリット状部材15A,15Bとも対応する位置へ配置される。詳細には、照射側および受光側の視度補正量が0Dである場合に、正視眼(0D眼)の眼底と略共役な位置に、指標板52は配置される。偏角プリズム53は、指標板52よりも被検眼側において、指標板52に近接して配置される。
【0055】
指標板52は、例えば、スリット光を指標として形成する。偏角プリズム53は、指標板52を介した指標光束を分離し、スプリット指標を形成する。分離されたスプリット指標は、照射側視度補正光学系17から対物レンズ22までを介して、被検眼の眼底へ投影される。このため、スプリット指標は、眼底画像(例えば、眼底観察画像)に映り込む。
【0056】
指標板52が眼底共役位置からズレている場合は、眼底上で2つのスプリット指標は分離しており、指標板52が眼底共役位置に配置される場合は、2つのスプリット指標は一致される。共役関係は、偏角プリズム53と被検眼Eとの間に配置される照射側視度補正光学系17によって調整される。そこで、本実施例では、照射側視度補正量と受光側視度補正量とを一致させつつデフォーカスが行われる。このとき、スプリット指標の分離状態が、フォーカス状態を示す。2つのスプリット指標が合致されるように、照射側および受光側の視度補正量の各々が調整されることによって、撮像面とスリット状部材15A,15Bとの各々が、眼底と共役な位置関係となる。
【0057】
撮像面とスリット状部材15A,15Bとの各々が眼底と共役な位置関係であるときの視度補正量から、被検眼Eの屈折度数を導くことができる。そこで、本実施形態において、更に、レンズ17Aとレンズ17Bとの間隔、または、レンズ25Aとレンズ25Bとの間隔のうちの少なくともいずれかを読み出すエンコーダ(図示を省略する)を有していてもよく、エンコーダからの信号に基づいて、被検眼Eの屈折度数が取得されてもよい。
【0058】
前眼部観察光学系40は、対物レンズ22とダイクロイックミラー43と、を撮影光学系10と共用する。前眼部観察光学系40は、更に、光源41、ハーフミラー45、受光素子47等を含む。受光素子47は、二次元撮像素子であり、例えば瞳孔EPと光学的に共役な位置に配置される。前眼部観察光学系40は、光源41から出射される赤外光で前眼部を照明し、前眼部の正面画像を撮影する。なお、
図2に示した前眼部観察光学系40は一例に過ぎず、他の光学系とは独立した光路で前眼部を撮像してもよい。
【0059】
<制御系>
図3を参照して、眼底撮影装置(眼底画像処理装置)1の制御系について説明する。本実施形態では、制御部100によって、眼底撮影装置1の各部の制御が行われる。また、前述したように、眼底撮影装置1で得られた各種画像の画像処理についても、制御部100によって行われるものとする。換言すれば、本実施形態では、制御部100が、画像処理部を兼用している。
【0060】
制御部100は、各部の制御処理と、演算処理とを行う電子回路を有する処理装置(プロセッサ)である。制御部100は、コントローラであるCPU(Central Processing Unit)、およびメモリ等で実現される。制御部100は、記憶部101と、バス等を介して電気的に接続されている。記憶部(記憶装置)101には、各種の制御プログラムおよび固定データ等が格納される。本実施形態では、眼底画像処理(
図6参照)を実行するための眼底画像処理プログラム、および複数の補正用画像70(
図7参照)のデータ(以下、単に「補正用画像」という場合もある)が、記憶部101に記憶されている。また、記憶部101には、一時データ等が記憶されてもよい。眼底撮影装置1による撮影画像は、記憶部101に記憶されていてもよい。但し、必ずしもこれに限られるものではなく、外部の記憶装置(例えば、LANおよびWANで制御部100に接続される記憶装置)へ撮影画像が記憶されてもよい。
【0061】
制御部100は、駆動部8、光源11A~11D、駆動部15C、駆動部17C、駆動部25C、受光素子28、光源41、受光素子47、光源51、入力インターフェイス110、およびモニタ120等の各部とも電気的に接続されている。また、制御部100は、入力インターフェイス110から出力される操作信号に基づいて、上記の各部材を制御する。入力インターフェイス110は、検者の操作を受け付ける操作入力部の一例である。入力インターフェイス110は、例えば、マウスおよびキーボード等であってもよい。
【0062】
<アーチファクト>
図4および
図5を参照して、本実施形態の眼底画像60(
図7参照)におけるアーチファクトの発生要因について説明する。
図4および
図5に示すように、対物レンズ22から照明光の光路の上流側への距離が、閾値以上となる領域を、領域A1とする。対物レンズ22から照明光の光路の上流側への距離が、閾値未満となる領域を、領域A2とする。本実施形態の眼底撮影装置1では、対物レンズ22に関して眼底と共役な位置(つまり、眼底の中間像面の位置J)、および、照明光の集光位置Kが、領域A1に位置している場合には、対物レンズ22によって反射されて受光素子28に導光される照明光の光量が増加し難い。一方で、眼底の中間像面の位置J、および照明光の集光位置Kが、領域A2に位置すると、対物レンズ22による照明光の反射光が、受光素子28に導光され易くなる。その結果、その結果、
図7に示すように、撮影される眼底画像60には、対物レンズ22による照明光の反射光に起因するアーチファクト(白斑)Nが発生しやすくなる。被検眼Eの屈折度数がマイナスディオプター側の値である程、アーチファクトNは強くなる。
【0063】
図4に示すように、被検眼Eが正視眼である場合(つまり、被検眼Eの屈折度数が0D(ディオプター)である場合)には、眼底の中間像面の位置J、および、照明光の集光位置Kは、領域A1に位置する。よって、眼底画像60におけるアーチファクトは生じにくい。
【0064】
しかし、
図5に示すように、被検眼が近視眼(
図5に示す例では、被検眼Eの屈折度数が-15Dである場合)には、視度補正部(本実施形態では、レンズ17A,17B、およびレンズ25A,25B等)によって視度補正が行われると、眼底の中間像面の位置J、および照明光の集光位置Kが、領域A2に位置する。その結果、眼底画像60には、対物レンズ22による照明光の反射光に起因するアーチファクトNが発生しやすくなる。
【0065】
なお、本実施形態では、対物レンズ22による照明光の反射光に起因するアーチファクトNを例示して、眼底画像60におけるアーチファクトの説明を行う。しかし、アーチファクトは、照明光と撮影光の共通光路で発生する種々の反射光および散乱光等によっても生じうる。本開示で例示する技術によると、対物レンズ22による照明光の反射光に起因するアーチファクトのみならず、照明光と撮影光の共通光路で発生する種々の光に起因するアーチファクトの影響を低下させることが可能である。
【0066】
<眼底画像処理>
図6および
図7を参照して、本実施形態の眼底画像処理について説明する。
図6に例示する眼底画像処理は、記憶部101に記憶された眼底画像処理プログラムに従って、眼底撮影装置(眼底画像処理装置)1の制御部100によって実行される。
【0067】
図6に示すように、制御部100は、被検眼の眼底画像60を取得する(S1)。本実施形態では、眼底撮影装置1の制御部は、被検眼の眼底画像60の撮影動作を実行し、受光素子28(
図2参照)が光(撮影光)を受光することで出力した受光信号に画像化プロセスを実行することで、眼底画像60のデータを生成する。
【0068】
制御部100は、S1で取得された眼底画像60におけるアーチファクトN(
図7参照)に白飛びが生じているか否かを判断する(S2)。本実施形態では、制御部100は、眼底画像60におけるアーチファクトNの輝度値が閾値以上である場合に、アーチファクトNの部分に白飛びが生じていると判断する。アーチファクトNに白飛びが生じている場合には(S2:YES)、補正用画像70を用いた画像処理を実行しても、アーチファクトNと重複した部分の組織の画像を復元することは困難である。従って、制御部100は、被検眼の眼底の再撮影をユーザに促す指示を出力し(S3)、処理はS1へ戻る。再撮影指示は、例えば、メッセージをモニタ120に表示させることで出力されてもよいし、音声によって出力されてもよい。
【0069】
眼底画像60に白飛びが生じていない場合には(S2:NO)、制御部100は、眼底画像60を撮影した際の視度補正量(つまり、フォーカス調整量)を取得する(S5)。前述したように、本実施形態では、視度補正部(視度補正光学系17,25)に設けられたエンコーダの検出結果に基づいて、視度補正量が取得される。なお、視度補正は、照明光と撮影光の各々について連動して行われていてもよいし、照明光と撮影光の各々について別々に行われていてもよい。
【0070】
制御部100は、眼底画像60を撮影した際の視度補正量(本実施形態では、少なくとも照明光の視度補正量)が閾値未満(つまり、閾値よりもマイナスディオプター側)であるか否かを判断する(S8)。前述したように、本実施形態の眼底撮影装置1では、被検眼Eの屈折度数(つまり、視度補正部によって補正された視度補正量)がマイナスディオプター側の値である程、アーチファクトNは強くなる。一方で、視度補正量がプラスディオプター側の値であれば、アーチファクトNは生じにくい。従って、制御部100は、視度補正量が閾値よりもマイナスディオプター側でない場合には(S8:NO)、眼底画像60のアーチファクトNの影響を抑制するための処理(S9~S19)を省略する。なお、S8で参照される閾値は、視度補正量とアーチファクトNの程度に応じて適宜設定されればよい。本実施形態では、
図4および
図5に示すように、照明光の集光位置Kが、アーチファクトNが生じにくい領域A1と、アーチファクトNが生じる領域A2の境界に到達する際の視度補正量が、S8で参照される閾値とされる。
【0071】
視度補正量が閾値よりも大きい場合には(S8:YES)、制御部100は、S5で取得された視度補正量と同一の視度補正量で撮影された補正用画像70(
図7参照)を取得する(S9)。補正用画像70とは、照明光の光路における対物レンズ22(
図2参照)の下流側から対物レンズ22へ向かう光が遮断された状態で、照明光を照射して撮影した画像である。つまり、補正用画像70は、被検眼の眼底が撮影対象に含まれず、照明光に起因するアーチファクトのみが映り込んだ画像である。眼底撮影装置1によって補正用画像70を撮影する方法は、適宜選択できる。例えば、対物レンズ22よりも照明光の下流側をカバーで遮蔽した状態で画像が撮影されることで、補正用画像70が撮影されてもよい。また、暗幕等が撮影されることで、補正用画像70が撮影されてもよい。なお、S5d取得された視度補正量と、補正用画像70の撮影時の視度補正量は、完全に同一でなくてもよく、両者の差が閾値以下であればよい。
【0072】
図7に示すように、補正用画像70ではアーチファクトNが写り込む。画像に含まれるアーチファクトNは、視度補正量(つまり、フォーカス調整量)に応じて変化する。従って、S5で取得された視度補正量で撮影された補正用画像70のアーチファクトNと、S1で取得された眼底画像60に含まれるアーチファクトNは、近似する。
【0073】
なお、本実施形態では、視度補正量を変更しつつ眼底撮影装置1によって撮影された複数の補正用画像70が、記憶部101に予め記憶されている。S9では、制御部100は、記憶部101に記憶された複数の補正用画像70のうち、S5で取得された視度補正量との差が閾値以下の(例えば同一の)視度補正量で撮影された補正用画像70を取得する。従って、眼底画像60を撮影する毎に補正用画像70を撮影する必要が無い。ただし、眼底画像60を撮影する際に補正用画像70も撮影することで、補正用画像70が取得されてもよい。
【0074】
次いで、制御部100は、S9で取得された補正用画像70の画素値を変換する変換処理を実行することで、変換画像80(
図7参照)を取得する(S11)。変換処理の方法は適宜選択できる。一例として、本実施形態では、ルックアップテーブルを使用して、補正用画像70の各画素値に対してガンマ補正を行うことで、変換画像80が取得される。しかし、ガンマ補正以外の処理(例えば、明るさ補正、コントラスト強調、ヒストグラム伸長、ヒストグラム均一化等の少なくともいずれか)が、変換処理として実行されてもよい。また、本実施形態のS11では、補正用画像70の画素のチャンネル(一例として、本実施形態ではRGBのチャンネル)毎に異なる処理が行われる。従って、補正用画像70に対して多数の変換処理を実行することができる。しかし、チャンネルの各々に同一の処理が行われてもよい。
【0075】
また、
図7に示すように、本実施形態の制御部100は、S11において、補正用画像70の画像領域全体のうち、アーチファクトNが含まれる一部の領域を切り出した部分補正用画像70Pを取得する。制御部100は、部分補正用画像70Pに対して変換処理を実行することで、変換画像80を取得する。従って、アーチファクトNが存在しない領域における変換処理が省略されるので、処理量が適切に削減される。
【0076】
次いで、制御部100は、S1で取得された眼底画像60と、S11で取得された変換画像80(本実施形態では部分補正用画像70Pの変換画像80)の位置を合わせた状態で、各画素の差分を取ることで、差分画像90を取得する(S12)。眼底画像60のアーチファクトNと、補正用画像70のアーチファクトNは近似している。従って、補正用画像70から変換画像80への変換が適切に実行されていれば、差分画像90は、眼底画像60からアーチファクトNが除去された画像となる。
【0077】
次いで、制御部100は、S12で取得された差分画像90と、S11で取得された変換画像80(本実施形態では部分補正用画像70Pの変換画像80)の相関を取得する(S13)。差分画像90にアーチファクトNの影響が残っている場合には、差分画像90と変換画像80の相関は大きくなる。一方で、差分画像90に残っているアーチファクトNの影響が小さければ、差分画像90と変換画像80の相関は小さくなる。従って、差分画像90と変換画像80の相関を用いることで、眼底画像60におけるアーチファクトNの影響が抑制されたか否かが適切に判断される。なお、制御部100は、差分画像90と補正用画像70の相関を取得してもよい。差分画像90に残っているアーチファクトNの影響が小さければ、差分画像90と補正用画像70の相関は小さくなる。よって、この場合でも、眼底画像60におけるアーチファクトNの影響が抑制されたか否かが適切に判断される。
【0078】
なお、本実施形態では、差分画像90と、部分補正用画像70Pに基づく変換画像80が位置合わせされた状態で、変換画像80の領域内における相関が取得される。よって、画像領域全体の相関が取得される場合に比べて、処理量が適切に削減される。
【0079】
次いで、制御部100は、複数の差分画像90の取得処理を終了するか否かを判断する(S14)。例えば、制御部100は、差分画像90と補正用画像70の相関が最も小さくなる差分画像90を既に取得したと判断した場合に、複数の差分画像90の取得処理を終了してもよい。また、制御部100は、所定数の差分画像90を取得した際に、差分画像90の取得処理を終了してもよい。差分画像90の取得処理を終了しない場合には(S14:NO)、制御部100は、S11で実行する変換処理の処理内容を変更し(S15)、S11~S13の処理を再度実行する。
【0080】
複数の差分画像90の取得処理を終了すると(S14:YES)、制御部100は、取得した複数の差分画像90の中に、変換画像80との間の相関が基準以下となる差分画像90が存在するか否かを判断する(S17)。つまり、制御部100は、複数の差分画像90から、変換画像80との間の相関が基準以下となる差分画像90を探索する。S17で参照する基準は、差分画像90においてアーチファクトNの影響が抑制される程度と、差分画像90と変換画像80の相関とに応じて適宜設定されればよい。相関が基準以下となる差分画像90が存在しない場合には(S17:NO)、眼底画像60および補正用画像70の少なくとも一方が適切に撮影されていない可能性がある。従って、制御部100は、再撮影処理または警告処理を実行する(S18)。再撮影処理では、眼底画像60および補正用画像70の少なくともいずれかが再度撮影されて、処理はS2へ戻る。警告処理では、眼底画像(この場合は、アーチファクトNの影響が抑制された差分画像90)の画質が低い旨が、ユーザに対して警告される。警告は、例えば、メッセージをモニタ120に表示させることで出力されてもよいし、音声によって出力されてもよい。
【0081】
取得した複数の差分画像90の中に、相関が基準以下となる差分画像90が存在する場合には(S17:YES)、相関が基準以下となる差分画像90の少なくともいずれかが、アーチファクトNの影響が抑制された高画質画像として取得される(S19)。詳細には、本実施形態のS19では、取得された複数の差分画像90のうち、変換画像80との間の相関が最も小さい差分画像90が、高画質画像として取得される。なお、制御部100は、補正用画像70との間の相関が基準以下となる差分画像90を高画質画像として取得してもよい。
【0082】
図8を参照して、
図6に例示した眼底画像処理の変容例について説明する。前述したように、眼底撮影装置1の受光素子28によって出力される受光信号に基づいて画像のデータを生成する画像化プロセスにおいて、種々の処理が行われる場合が多い。
図8に示す変容例では、画像化プロセスの情報に基づいて補正用画像70が変換画像80に変換され、眼底画像60と変換画像80の差分が取られることで、高画質画像が取得される。なお、
図8に示す変容例のうちの一部のステップ(S1,S2,S3,S5,S8,S9)には、前述した眼底画像処理(
図6参照)における各ステップと同じ処理を採用できる。従って、
図8に示す複数のステップのうち、
図6に示すステップと同じ処理を採用できるステップについては、
図6と同じステップ番号を付し、その説明を省略または簡略化する。
【0083】
図8に示すように、変容例の眼底画像処理では、制御部100は、S5で取得された視度補正量との差が閾値以下の(例えば同一の)視度補正量で撮影された補正用画像70(
図7参照)を取得する(S9)。制御部100は、受光素子28(
図2参照)によって出力された受光信号に基づいて眼底画像60のデータが生成された際の、画像化プロセス(例えば、ガンマ補正およびゲイン調整等の少なくともいずれか)の情報を取得する(S110)。
【0084】
次いで、制御部100は、S110で取得された画像化プロセスの情報に基づいて、補正用画像70の画素値を変換する変換処理を実行することで、変換画像80を取得する(S111)。つまり、S111では、眼底画像60を生成する際の画像化プロセスと、補正用画像70を生成する際の画像化プロセスの差が無くなるように、眼底画像60を生成する際の画像化プロセスの情報に基づいて、補正用画像70が変換される。その結果、眼底画像60に含まれるアーチファクトNと、変換画像80に含まれるアーチファクトNが近似する。制御部100は、S1で取得された眼底画像60と、S111で取得された変換画像80の差分画像90を、眼底画像60のアーチファクトNの影響が抑制された高画質画像として取得する(S112)。
【0085】
上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。例えば、
図6および
図8で例示した複数の処理の一部を省略することも可能である。具体的には、
図6および
図8におけるS2,S3の処理を省略してもよい。
図6および
図8におけるS8の処理を省略してもよい。
【0086】
図6および
図8のS1で眼底画像60を取得する処理は、「眼底画像取得ステップ」の一例である。
図6および
図8のS9で補正用画像70を取得する処理は、「補正用画像取得ステップ」の一例である。
図6のS11および
図8のS111で変換画像を取得する処理は、「変換画像取得ステップ」の一例である。
図6のS12~S15,S19で、アーチファクトの影響が基準以下となる差分画像90を高画質画像として取得する処理は、「高画質画像取得ステップ」の一例である。
図6および
図8のS5で視度補正量を取得する処理は、「視度補正量取得ステップ」の一例である。
図8のS110で画像化プロセスの情報を取得する処理は、「画像化情報取得ステップ」の一例である。
図8のS111で、画像化プロセスの情報に基づいて変換画像80を取得する処理は、「変換画像取得ステップ」の一例である。
図8のS112で差分画像90を高画質画像として取得する処理は、「高画質画像取得ステップ」の一例である。
【符号の説明】
【0087】
1 眼底撮影装置(眼底画像処理装置)
11 光源ユニット
17 照射側視度補正光学系
22 対物レンズ
25 受光側視度補正光学系
28 受光素子
60 眼底画像
70 補正用画像
70P 部分補正用画像
80 変換画像
90 差分画像
100 制御部
101 記憶部