(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
この発明に係る眼科画像処理装置及び眼科撮影装置の実施形態の例について、図面を参照しながら詳細に説明する。なお、この明細書において引用された文献の記載内容や任意の公知技術を、以下の実施形態に援用することが可能である。
【0012】
実施形態は、被検眼の画像を観察するためのGUI(Graphical User Interface)を提供する。このGUIは、少なくともOCT画像の観察に使用される。OCT画像には、任意の断面モードの画像、3次元データセットの任意の範囲を投影して得られるシャドウグラム、血管強調画像(アンギオグラム)などがある。任意の断面モードの画像には、Bモード画像、Cモード画像、多断面再構成(MPR)画像等がある。3次元データセットには、ボリュームデータ、スタックデータ等がある。血管強調画像は、例えば、被検眼の実質的に同じ範囲を繰り返しスキャンして得られた複数の2次元データセットから構成された3次元データセットに基づき形成される。3次元データセットは、例えば、複数のB断面BX1、BX2、・・・、BXnをそれぞれ所定回数ずつ(例えば4回ずつ)スキャンして、各B断面BXi(i=1、2、・・・、n)のBモード画像を所定枚数ずつ(例えば4枚ずつ)形成し、これらを同じ3次元座標系に埋め込むことによって(更に、それをボクセル化することによって)取得される。このような画像形成技術は既知である。以下では、被検眼の眼底の水平方向(左右方向)をX方向とし、垂直方向(上下方向)をY方向とし、OCTを実行するための光学系の光軸方向(深さ方向)をZ方向として説明する場合がある。また、以下では、画像と、当該画像を表す画像データとを同一視する場合がある。
【0013】
実施形態の眼科画像処理装置は、3次元データセットから画像を形成する機能(レンダリング機能、画像形成部)を有している。眼科画像処理装置は、眼科OCT装置により取得された3次元データセットをネットワーク(院内LAN等)や記録媒体を介して取得し、ユーザやコンピュータからの指示にしたがって3次元データセットをレンダリングすることにより観察用の画像を形成する。なお、画像が表示される表示デバイスが、眼科画像処理装置に含まれていてもよい。
【0014】
実施形態の眼科撮影装置は、上記のような眼科画像処理装置に加え、OCTを実行するための光学系や駆動系や制御系やデータ処理系を備える。眼科撮影装置は、例えばフーリエドメインOCT(周波数ドメインOCT)を実行可能に構成される。フーリエドメインOCTには、スペクトラルドメインOCTとスウェプトソースOCTとがある。スペクトラルドメインOCTは、広帯域の低コヒーレンス光源と分光器とを用いて、干渉光のスペクトルを空間分割で取得し、それをフーリエ変換することによって被検眼を画像化する手法である。スウェプトソースOCTは、波長掃引光源(波長可変光源)と光検出器(バランスドフォトダイオード等)とを用いて、干渉光のスペクトルを時分割で取得し、それをフーリエ変換することによって被検眼を画像化する手法である。眼科撮影装置は、OCT以外のモダリティを含んでいてもよい。そのようなモダリティとして、眼底カメラ、SLO(Scanning Laser Ophthalmoscope)、スリットランプ顕微鏡、眼科手術用顕微鏡などがある。
【0015】
〈眼科画像処理装置〉
[構成]
眼科画像処理装置の実施形態を説明する。
図1及び
図2に、実施形態に係る眼科画像処理装置の構成例を示す。眼科画像処理装置1は、被検眼の画像を観察するためのGUIや被検眼に関する各種情報を表示デバイス2に表示させる。表示デバイス2は眼科画像処理装置1の一部であってもよいし、眼科画像処理装置1に接続された外部装置であってもよい。
【0016】
眼科画像処理装置1は、制御部10と、記憶部20と、データ入出力部30と、データ処理部40と、操作部50とを含む。
【0017】
(制御部10)
制御部10は、眼科画像処理装置1の各部を制御する。制御部10はプロセッサを含む。なお、本明細書において「プロセッサ」は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array))等の回路を意味する。制御部10は、例えば、記憶回路や記憶装置(記憶部20等)に格納されているプログラムを読み出し実行することで、実施形態に係る機能を実現する。
【0018】
制御部10は表示制御部11を含む。表示制御部11は、表示デバイス2に情報を表示させるための制御を実行する。表示制御部11は、記憶部20に格納された情報に基づいて表示制御を実行することができる。
【0019】
図2に示すように、表示制御部11は、GUI表示制御部111と、正面画像表示制御部112と、合成正面画像表示制御部113と、Bモード画像表示制御部114と、セグメント表示制御部115とを備える。
【0020】
GUI表示制御部111は、記憶部20に記憶されているGUIテンプレート21及び表示制御プログラム22に基づいて、GUIとしての画面やダイアログやアイコン等を表示デバイス2に表示させる。
【0021】
正面画像表示制御部112は、表示制御プログラム22に基づいて、Cモード画像やシャドウグラムや血管強調画像(アンギオグラム)等の正面画像を、GUI画面に表示させる。この実施形態では、3次元データセットDから形成された複数の正面画像のそれぞれが、GUI画面の所定の表示領域に表示される。
【0022】
合成正面画像表示制御部113は、被検眼の複数の正面画像の合成画像(合成正面画像)をGUI画面の所定の表示領域に表示させる。なお、合成正面画像は、単一の画像データに基づく画像でもよいし、複数の画像データに基づく画像でもよい。前者の場合、合成正面画像表示制御部113は、データ処理部40により形成された合成正面画像をGUI画面に表示させる。後者の場合、合成正面画像表示制御部113は、複数の画像データを重ねて表示させる。この表示制御は、例えば、レイヤ表示機能を用いて実行される。具体的には、合成正面画像表示制御部113は、複数の画像データに基づく複数の画像を複数のレイヤにそれぞれ表示させる処理と、各レイヤの不透明度(α値)を設定する処理と、これらレイヤを重ねて表示させる処理とを実行することができる。
【0023】
Bモード画像表示制御部114は、3次元データセットDから形成されたBモード画像をGUI画面の所定の表示領域に表示させる。
【0024】
セグメント表示制御部115は、各正面画像が表す3次元データセットDのスライス範囲(セグメント)に対応するBモード画像の部分領域を示す情報(セグメント情報)をGUI画面に表示させる。セグメント情報は、対応する正面画像に割り当てられた色で表示される。
【0025】
表示制御部11(GUI表示制御部111、正面画像表示制御部112、合成正面画像表示制御部113、Bモード画像表示制御部114、セグメント表示制御部115)が実行する処理の具体例については後述する。
【0026】
(記憶部20)
記憶部20には各種情報が記憶される。本実施形態では、GUIテンプレート21と、表示制御プログラム22と、データ処理プログラム23と、3次元データセットDとが、記憶部20に記憶される。3次元データセットDは、Y方向(第1方向)に直交するX方向(第2方向)にそれぞれ沿った複数のBモード画像がY方向に配列されたスタックデータや、このスタックデータを補間することにより形成されたボクセルデータであってよい。3次元データセットDは、眼科OCT装置を用いて取得される。
【0027】
記憶部20には、2次元データセットが記憶されていてもよい。2次元データセットは、3次元データセットDに基づいて形成された2次元画像の画像データ、又は眼科OCT装置により取得された2次元画像の画像データであってよい。2次元画像には、Bモード画像や、正面画像や、MPR画像などがある。正面画像には、プロジェクション画像、en−face画像、OCT血管造影画像、シャドウグラム画像などがある。2次元の正面画像の画像データは、眼科OCT装置において被検眼の眼底のX方向(速軸方向、水平方向)の1次元スキャンをY方向(遅軸方向、垂直方向)に繰り返すラスタスキャンにより取得された画像データであってよい。
【0028】
GUIテンプレート21は、表示デバイス2にGUIとして表示される画面やダイアログやアイコン等のテンプレートを含む。
【0029】
表示制御プログラム22は、GUIテンプレート21に基づき表示されるGUIに関する制御を制御部10が行うために実行されるプログラムを含む。特に、表示制御プログラム22には、GUIや画像を表示するための制御を表示制御部11が実行するためのプログラムが含まれている。本実施形態の表示制御は、ハードウェア(プロセッサ)としての表示制御部11と、ソフトウェアとしての表示制御プログラム22との協働によって実現される。表示処理の具体例については後述する。
【0030】
データ処理プログラム23は、データ処理部40(及び制御部10)が各種データ処理を行うために実行されるプログラムを含む。本実施形態のデータ処理は、ハードウェア(プロセッサ)としてのデータ処理部40(及び制御部10)と、ソフトウェアとしてのデータ処理プログラム23との協働によって実現される。データ処理の具体例については後述する。
【0031】
3次元データセットDについて説明する。3次元データセットDは、被検眼の3次元領域の状態(形態、機能等)を表す画像データである。3次元データセットDは、3次元座標系によって画素(ピクセル、ボクセル等)の位置が定義された画像データを含んでよい。このような画像データの例として、2以上のBモード画像データを3次元座標系に埋め込んで形成されたスタックデータや、スタックデータのピクセルをボクセルに変換して形成されたボリュームデータがある。他の例の3次元データセットDは、2次元座標系によってピクセルの位置が定義されたBモード画像データの群を含んでもよい。更に他の例として、3次元データセットDは、時系列画像データであってよく、或いは、時系列画像データから構築された画像データであってよい。その一例として、血管が強調された3次元画像データ(3次元アンギオグラム)や、複数の縦断面(Bスキャン面)又は3次元領域における血流動態を表す画像データがある。3次元データセットDの種別は任意であり、その種別に応じた公知のOCT技術を利用して3次元データセットDが形成される。
【0032】
眼科OCT装置(又はそれにより取得されたデータを処理するコンピュータ)により形成された3次元データセットDは、例えば、医療機関内、ネットワーク上などに設置された画像管理サーバに送信され格納される。3次元データセットDには付帯情報が関連付けられる。付帯情報には、被検者識別情報(患者ID等)、左眼/右眼の識別情報、撮影日時、医療機関識別情報などが含まれる。具体的な運用例として、3次元データセットDは、DICOM(Digital Imaging and COmmunication in Medicine)フォーマットで管理され、付帯情報の少なくとも一部はDICOMタグ情報に含まれる。或いは、被検者の電子カルテに3次元データセットDを関連付けて管理することも可能である。画像管理サーバは、眼科画像処理装置1からの要求を受けたことに対応し、当該被検者の3次元データセットDを検索して眼科画像処理装置1に送信する。他の運用例として、可搬記録媒体やモバイルコンピュータに3次元データセットDが保存されている場合、眼科画像処理装置1のリーダライタ(後述)等によって3次元データセットDが可搬記録媒体等から読み出される。このようにして入力された3次元データセットDは、制御部10によって記憶部20に記憶される。
【0033】
3次元データセットDが表す被検眼の部位は任意であり、例えば、眼底(網膜、脈絡膜、強膜等)、硝子体、水晶体、前眼部(角膜、前房、虹彩、水晶体、毛様体、チン小帯等)、及び、瞼のうちの少なくとも1つを含んでよい。以下、眼底の一部と硝子体の一部を含む被検眼の3次元領域をOCTスキャンして得られた3次元データセットDを典型例として説明する。
【0034】
(データ入出力部30)
データ入出力部30は、眼科画像処理装置1へのデータの入力と、眼科画像処理装置1からのデータの出力とを実行する。なお、データ入出力部30は、データの入力又は出力のみを行う構成であってもよい。データ入出力部30は、例えば、LAN、インターネット、専用線等の通信回線を介してデータの送受信を行うための通信デバイスを含んでよい。また、データ入出力部30は、記録媒体からのデータの読み取りと、記録媒体へのデータの書き込みとを行うためのリーダライタを含んでよい。また、データ入出力部30は、印刷媒体等に記録された情報を読み取るスキャナや、紙媒体に情報を記録するプリンタなどを含んでいてよい。
【0035】
(データ処理部40)
データ処理部40は、データ処理プログラム23を実行するプロセッサを含み、各種のデータ処理を行う。例えば、データ処理部40は、被検眼の画像データに対して画像処理を施す。その典型例として、データ処理部40は、3次元コンピュータグラフィクス(3DCG)等のレンダリングや、3次元データセットDに基づいて形成された画像に描出されるアーチファクトを除去又は低減する処理や、当該画像に基づく解析処理を実行する。
【0036】
図2に示すように、データ処理部40は、画像処理部41と、解析部42とを含む。
【0037】
(画像処理部41)
画像処理部41は、3次元データセットDに基づいて様々な画像を形成する。例えば、画像処理部41は、3次元データセットDに基づいて、Bモード画像と、複数の正面画像と、これら正面画像(の少なくとも一部)が合成された合成正面画像とを形成する。画像処理部41により生成された画像の画像データは、記憶部20に記憶される。このとき、画像処理部41は、3次元データセットDに基づいて形成された画像に描出されるアーチファクトを除去又は低減することが可能である。
【0038】
画像処理部41は、セグメンテーション処理部411と、正面画像形成部412と、色変換部413と、合成正面画像形成部414と、Bモード画像形成部415と、セグメント特定部416と、輝度プロファイル生成部417と、輝度補正部418と、特定部419とを含む。
【0039】
セグメンテーション処理部411は、3次元データセットDを解析することにより、被検眼の複数の組織に相当する複数の部分データセットを特定する。セグメンテーションは、特定の組織や組織境界を特定するための画像処理であり、眼科OCTでは広く利用されている。セグメンテーション処理部411は、例えば、3次元データセットDに含まれる各Aモード画像における画素値(輝度値)の勾配を求め、勾配が大きい位置を組織境界として特定する。なお、Aモード画像は、眼底の深さ方向に延びる1次元画像データである。なお、眼底の深さ方向は、例えば、Z方向、OCT測定光の入射方向、軸方向、対物レンズの光軸方向などとして定義される。
【0040】
典型的な例において、セグメンテーション処理部411は、眼底(網膜、脈絡膜等)及び硝子体を表す3次元データセットDを解析することにより、眼底の複数の層組織に相当する複数の部分データセットを特定する。各部分データセットは、層組織の境界によって画成される。部分データセットとして特定される層組織の例として、網膜を構成する、内境界膜、神経線維層、神経節細胞層、内網状層、内顆粒層、外網状層、外顆粒層、外境界膜、視細胞層、網膜色素上皮層がある。他の例として、ブルッフ膜、脈絡膜、強膜、硝子体等に相当する部分データセットを特定することができる。また、病変部に相当する部分データセットを特定することも可能である。病変部の例として、剥離部、浮腫、出血、腫瘍、ドルーゼンなどがある。
【0041】
正面画像形成部412は、セグメンテーション処理部411により特定された複数の部分データセットの少なくとも一部に基づいて、複数の正面画像を形成する。各正面画像は、3次元データセットDの所定のスライス範囲を表す画像である。スライス範囲は、例えば、眼底の深さ方向に厚みを有する。スライス範囲は、例えば、ユーザ又は眼科画像処理装置1によって設定される。
【0042】
スライス範囲は、セグメンテーション処理部411により特定された複数の部分データセットのうちの1つ以上に相当する領域であってよい。例えば、内境界膜(ILM)〜内網状層(IPL)の範囲に相当する部分データセット群を含むスライス範囲(表層部)や、外顆粒層(ONL)〜網膜色素上皮層(RPE)の範囲に相当する部分データセット群を含むスライス範囲(網膜外層部)や、脈絡膜(ブルッフ膜(BM)〜脈絡膜−強膜境界(CSI))に相当する部分データセットを含むスライス範囲などを適用することが可能である。このように、スライス範囲の厚さ(Z方向における境界間距離)は一定でなくてもよいが、一定の厚さのスライス範囲を設定することも可能である。
【0043】
正面画像形成部412は、設定されたスライス範囲に含まれるデータを深さ方向(Z方向)に投影することにより正面画像を形成することが可能である。このような投影正面画像はシャドウグラムと呼ばれる。なお、3次元データセットDのZ方向の全範囲にわたる投影正面画像はプロジェクション画像と呼ばれ、眼底写真と3次元データセットDとのレジストレーションなどに用いられる。また、正面画像形成部412は、3次元データセットDの横断面(XY断面、水平断面)を表すCモード画像(en−face画像)を正面画像として設定することも可能である。また、正面画像は、任意のMPR画像であってよい(例えば、XY平面に対して小さな角度を有する断面の画像でもよい)。
【0044】
正面画像形成部412により形成される正面画像は、任意の種別のOCT画像であってよく、例えば、被検眼の形態を表す画像(通常のOCT画像)でも、血管強調画像(アンギオグラム)でも、血流動態画像(位相画像)でもよい。また、正面画像形成部412は、セグメンテーション処理部411により特定された層(又は層境界)に相当するスライス範囲をXY面に平坦化することによって正面画像(平坦化画像)を形成することも可能である。
【0045】
色変換部413は、正面画像形成部412により形成された複数の正面画像の少なくとも1つをグレースケール画像からカラー画像に変換する。色変換部413は、正面画像の少なくとも一部の画素の値(輝度値)をカラー値に置換する。カラー値は一定値でもよいし、所定範囲にわたる値でもよい。また、色変換部413は、色変換の対象となる画素を選択する処理を行うことができる。この処理は、例えば、輝度値に関する閾値処理、形状解析(パターン解析、パターンマッチング等)、二値化、フィルタ処理などの任意の画像処理を含んでよい。
【0046】
具体例を説明する。正面画像は血管強調画像(アンギオグラム)であるとする。限定を意図するものではないが、典型的な血管強調画像において、血管に相当する画素は比較的高い輝度値で表現される。つまり、血管に相当する画素は、黒の背景に白く(明るく)表現される。色変換部413は、例えば閾値処理、二値化又はハイパスフィルタ等の画像処理を用いて、正面画像に含まれる画素のうちから、輝度値が比較的高い画素(高輝度画素)を抽出する。更に、色変換部413は、抽出された各画素の輝度値を所定のカラー値に置換する。このカラー値が表す色は、当該正面画像に対して予め割り当てられた色である。詳細は後述するが、正面画像に割り当てられる色は、例えば、当該正面画像が表示されるGUI画面内の表示領域の枠部の表示色と同じ(又は類似)であってよい。また、全ての高輝度画素に対して同じカラー値を付与してもよいし、例えば輝度値の大きさに応じて異なるカラー値を付与してもよい。前者の場合、既定のカラー値(デフォルト値)が付与される。後者の例として、疑似カラー表示のためのカラーパレット(ルックアップテーブル)を用いた色変換がある。
【0047】
合成正面画像形成部414は、色変換部413によりカラー画像に変換された1以上の正面画像の少なくとも一部を含む複数の正面画像を合成する。それにより得られる画像を合成正面画像と呼ぶ。合成される複数の正面画像は同じ3次元データセットDから形成されたものであるから、複数の正面画像のレジストレーションは不要である。或いは、3次元データセットDにおける複数の正面画像の位置(複数のスライス範囲の位置)に基づく自然なレジストレーションを複数の合成画像に施すことができる。
【0048】
合成正面画像には、複数のスライス範囲のオブジェクト(血管、病変部、層組織等)が表現されている。このとき、複数のスライス範囲の位置関係に応じて、オブジェクトの表現態様を変えることができる。例えば、眼底表面(内境界膜)に近い側のスライス範囲のオブジェクトを優先的に提示することができる。また、合成正面画像に表現されるオブジェクトの少なくとも一部(カラー値が付された所定のスライス範囲の血管等)はカラー表示される。
【0049】
なお、前述したように、合成正面画像表示制御部113がレイヤ表示機能等を利用して複数の正面画像を重ねて表示させる場合には、合成正面画像形成部414は不要であるか、或いはその動作が停止される。また、レイヤの不透明度(α値)に関する処理は、スライス範囲に応じた優先的提示(前述)の代替手段である。
【0050】
Bモード画像形成部415は、3次元データセットDに基づいて、予め設定された縦断面(横断面に直交する断面)を表すBモード画像を形成する。この処理には、例えばMPR処理等の公知の画像処理が適用される。
【0051】
セグメント特定部416は、正面画像形成部412により形成された正面画像(特に合成正面画像の形成に用いられた正面画像)が表す3次元データセットDのスライス範囲(セグメント)に対応する、Bモード画像形成部415により形成されたBモード画像の部分領域を特定する。この部分領域の特定は、対象となるスライス範囲とBモード画像の縦断面との共通領域を求める処理に相当する。
【0052】
輝度プロファイル生成部417は、画像処理部41により形成された画像のY方向に沿った輝度値の分布を輝度プロファイルとして生成する。輝度プロファイル生成部417は、第1輝度プロファイル生成部417Aと、第2輝度プロファイル生成部417Bとを含む。
【0053】
第1輝度プロファイル生成部417Aは、画像処理部41により形成された画像データの輝度値を積算することによりY方向に沿った第1輝度プロファイルを生成する。Y方向は速軸方向であるX方向に直交する遅軸方向であり、第1輝度プロファイルは、遅軸輝度プロファイルである。例えば、第1輝度プロファイル生成部417Aは、画像処理部41により形成された画像において輝度値をX方向に積算してX方向の画素数で除算する(平均化する)ことによりY方向に沿った輝度プロファイルを第1輝度プロファイルとして生成する。第1輝度プロファイル生成部417Aは、記憶部20に記憶された画像から上記と同様に第1輝度プロファイルを生成してもよい。第1輝度プロファイル生成部417Aは、輝度値をX方向に積算することによりY方向に沿った輝度プロファイルを第1輝度プロファイルとして生成してもよい。
【0054】
第2輝度プロファイル生成部417Bは、第1輝度プロファイル生成部417Aにより生成された第1輝度プロファイルを加工して第2輝度プロファイルを生成する。例えば、第2輝度プロファイル生成部417Bは、第1輝度プロファイルを平滑化することにより第2輝度プロファイルを生成する。ここで、平滑化は、第1輝度プロファイルにおける突出値や乖離値を除去したり、他の値に近付けたりすることにより全体的に突出のない(少ない)状態にすることを意味する。このような、第2輝度プロファイル生成部417Bは、平滑化フィルタを第1輝度プロファイルに適用することにより第2輝度プロファイルを生成することが可能である。平滑化フィルタは、メディアンフィルタ、ローリングボールフィルタ、ローパスフィルタ、ハイパスフィルタ、及び移動平均フィルタの少なくとも1つを含んでよい。この実施形態では、第2輝度プロファイル生成部417Bは、メディアンフィルタ及びローリングボールフィルタの少なくとも1つを第1輝度プロファイルに適用する。第2輝度プロファイル生成部417Bは、第1輝度プロファイルをX方向に2以上の領域に分割して得られた2以上の部分輝度ファイルのそれぞれにメディアンフィルタ及びローリングボールフィルタの少なくとも1つを適用してもよい。
【0055】
第2輝度プロファイル生成部417Bは、第1輝度プロファイルの一部だけを加工して第2輝度プロファイルを生成してもよい。それにより、後述の輝度補正部418による輝度補正を局所的に行うことが可能になる。
【0056】
輝度補正部418は、第1輝度プロファイルと第2輝度プロファイルとに基づいて、第1輝度プロファイルの生成元である画像データの輝度補正を行う。具体的には、輝度補正部418は、Y方向の複数の画素位置のそれぞれについて、Y方向の各画素位置における第1輝度プロファイルの値と第2輝度プロファイルの値とに基づいて、画像データにおいて当該画素位置に対応する画素に対して輝度補正を行う。このとき、輝度補正部418は、Y方向の各画素位置における第1輝度プロファイルの値と第2輝度プロファイルの値との比又は差に基づいて輝度補正を行うことが可能である。
【0057】
この実施形態では、輝度補正部418は、次の式(1)に従って、Y方向の各画素位置における第1輝度プロファイルの値と第2輝度プロファイルの値との比又は差に基づいて輝度補正を行う。
【0059】
式(1)において、xをX方向の画素位置(0≦x≦xW、Wは1以上の整数)とし、yをY方向の画素位置(0≦xy≦xH、Hは1以上の整数)とする。O(x,y)は、第1輝度プロファイルの生成元になった画像における画素位置(x、y)の輝度値を表す。Vp(y)は、第1輝度プロファイルを表し、Fp(y)を第2輝度プロファイルを表す。式(1)に示すように、輝度補正部418は、元の画像の画素毎に、対応する第2輝度プロファイルに対する第1輝度プロファイルの比で除算することにより輝度値が補正された画像データを生成する。生成された画像データは、記憶部20に記憶される。この場合、輝度補正部418により輝度補正が行われた画像データが、正面画像形成部412により形成された正面画像の画像データとして出力される。輝度補正が行われた画像データは、合成正面画像形成部414又はBモード画像形成部415により形成された画像の画像データとして出力されてもよい。表示制御部11は、輝度補正が行われた画像データに基づいて前述の表示制御を実行することができる。
【0060】
図3、
図4、
図5A及び
図5Bを用いて、血管領域が強調されたen−face画像についてアーチファクトを除去又は低減する場合の動作例を説明する。
【0061】
図3に、実施形態に係る第1輝度プロファイルの説明図を示す。
図3は、水平方向をX方向とし、垂直方向をY方向とするen−face画像について生成された第1輝度プロファイルの説明図を表す。このen−face画像には、固視ずれに起因してX方向(速軸方向)に延びるアーチファクトN1〜N6が存在する。第1輝度プロファイル生成部417Aにより生成された第1輝度プロファイルでは、輝度値がX方向に積算されるため、アーチファクトN1〜N6が存在するラインに相当する位置で輝度値の積算値(又は輝度値の平均値)がスパイク状に変化する。
【0062】
図4に、実施形態に係る第2輝度プロファイルの説明図を示す。第2輝度プロファイル生成部417Bは、例えば、第1輝度プロファイルに対してメディアンサイズが9のメディアンフィルタを適用することにより、第2輝度プロファイルを生成する。
図4に示すように、第2輝度プロファイルPF2では、メディアンサイズにおける中央値が求められるため、第1輝度プロファイルPF1においてスパイク状に変化する部分が除去される。
【0063】
図5A及び
図5Bに、輝度補正部418の動作説明図を示す。
図5Aは、画像処理部41により形成された元のen−face画像又は記憶部20に記憶された元のen−face画像の一例を表す。
図5Bは、
図5Aに示すen−face画像に対して輝度補正部418により輝度補正が行われたen−face画像の一例を表す。
図5A及び
図5Bにおいて、X方向及びY方向は
図3と同様である。
図5Aに示すように、このen−face画像では、
図3と同様に、固視ずれに起因してX方向に延びるアーチファクトN1〜N6が描出される。輝度補正部418は、上記のように元のen−face画像に対して、画素毎に、第2輝度プロファイルに対する第1輝度プロファイルの比で除算することにより輝度値を補正する。それにより、
図5Bに示すように、アーチファクトN1〜N6が除去又は低減されたen−face画像が得られる。
【0064】
特定部419は、第1輝度プロファイルに基づいて画像データの部分領域を特定する。例えば、特定部419は、画像データの部分領域としてアーチファクト領域を特定することが可能である。この場合、特定部419は、第1輝度プロファイルにおいて所定の半値幅以下であり、かつ、所定の振幅レベル以上のピークをアーチファクトとして検出する。半値幅は、所定の振幅レベルにおける所定の幅以下であってよい。所定の振幅レベルの例には、固定値、第1輝度プロファイルに基づく相対値、第1輝度プロファイルの標準偏差に基づく値に所定の係数を掛けた値などがある。
【0065】
(解析部42)
解析部42は、画像処理部41により生成された画像に基づいて所定の解析処理を実行する。この実施形態では、解析部42は、特定部419により特定された部分領域としてのアーチファクト領域を除外して、上記の画像に基づいて所定の解析処理を実行することが可能である。
【0066】
例えば、解析部42は、画像処理部41により生成された画像において、特定部419により特定されたアーチファクト領域を除外して所定の輝度レベル以上のエリアの面積を求める。具体的には、解析部42は、画像処理部41により生成された血管強調画像において、特定されたアーチファクト領域を除外して所定の輝度レベル以上のエリアを特定することにより、CNV(中心窩下脈絡膜新生血管)などのNV(新生血管)面積を求める。それにより、アーチファクトによる影響を受けることなく、NVの成長を阻害する抗血管内皮増殖因子薬(Anti−VEGF薬)による効果の経過観察を行うことが可能である。
【0067】
例えば、解析部42は、画像処理部41により生成された画像において、特定部419により特定されたアーチファクト領域を除外して所定の輝度レベル以下のエリアの面積を求める。具体的には、解析部42は、画像処理部41により生成された血管強調画像において、特定されたアーチファクト領域を除外して所定の輝度レベル以下のエリアを特定することにより、DM(糖尿病)やAMD(加齢黄斑変性)での虚血領域の面積を求める。それにより、アーチファクトによる影響を受けることなく、DM等の経過観察を行うことが可能である。
【0068】
例えば、解析部42は、画像処理部41により生成された画像において、特定部419により特定されたアーチファクト領域を除外して血流の占める割合を求める。具体的には、解析部42は、画像処理部41により生成された血管強調画像(アンギオグラム)において、特定されたアーチファクト領域を除外して血管領域を特定することにより、血流の占める割合を求める。それにより、毛細血管の血流の占める割合をより正確に求めることができる。従って、アーチファクトによる影響を受けることなく、DMやBRVO(網膜静脈分枝閉塞症)、Glaucoma(緑内障)などの虚血状態やダメージを受けた部位の毛細血管の分布を可視化したり、定量的な経過観察を行ったりすることが可能になる。
【0069】
データ処理部40の機能は上記に限定されるものではない。例えば、データ処理部40は、以下において適宜に説明される機能や任意の公知の機能を実行可能であってよい。
【0070】
なお、セグメンテーション処理部411は、上記のように輝度補正部418により輝度補正を行うことによりアーチファクトが除去又は低減された画像に対してセグメンテーション処理を行うことが可能である。それにより、アーチファクトによる影響を受けることなく、眼底の複数の層組織に相当する複数の部分データセットをより正確に特定することができる。
【0071】
(操作部50)
操作部50は、眼科画像処理装置1に対してユーザが指示を入力するために使用される。操作部50は、コンピュータに用いられる公知の操作デバイスを含んでよい。例えば、操作部50は、マウスやタッチパッドやトラックボール等のポインティングデバイスを含んでよい。また、操作部50は、キーボードやペンタブレット、専用の操作パネルなどを含んでよい。眼科画像処理装置1が眼科装置(例えばOCT装置)に接続されている場合、眼科装置に設けられた操作デバイス(ジョイスティック、ボタン、スイッチ等)を用いて眼科画像処理装置1に指示を入力できるように構成することが可能である。その場合、操作部50は、眼科装置の操作デバイスを含む。
【0072】
[動作例]
図6に、実施形態に係る眼科画像処理装置1の動作例のフロー図を示す。
図6は、表示制御プログラム22及びデータ処理プログラム23における処理の流れの一例を表す。
【0073】
(S1)
制御部10は、例えば、データ入出力部30を介して入力されたデータに基づいて、被検眼の眼底における血管領域が強調されたen−face画像をデータ処理部40(正面画像形成部412)に形成させる。例えば、
図5Aに示すようにアーチファクトが描出されたen−face画像が形成される。制御部10は、形成されたen−face画像の画像データを記憶部20に記憶させる。
【0074】
(S2)
制御部10は、S1において形成されたen−face画像の画像データの輝度値を速軸方向であるX方向に平均化することにより遅軸方向であるY方向に沿った第1の輝度プロファイルを第1輝度プロファイル生成部417Aに生成させる。例えば、
図4に示す第1輝度プロファイルPF1が生成される。
【0075】
(S3)
制御部10は、S1において形成されたen−face画像に対して予め決められた解析処理を行うか否かを判定する。この解析処理は、予め決められた制御シーケンスで実行されたり、操作部50を用いてユーザにより指示されたときに実行されたりする。制御部10は、予め決められた制御シーケンス又は操作部50を用いたユーザの指示内容に基づいて、この解析処理を行うか否かを判定する。解析処理を行うと判定されたとき(S3:Y)、眼科画像処理装置1の動作はS7に移行する。解析処理を行わないと判定されたとき(S3:N)、眼科画像処理装置1の動作はS4に移行する。
【0076】
(S4)
解析処理を行わないと判定されたとき(S3:N)、制御部10は、S2にて生成された第1輝度プロファイルに対してメディアンサイズが9のメディアンフィルタを適用することにより第2輝度プロファイル生成部417Bに第2輝度プロファイルを生成させる。例えば、
図4に示す第2輝度プロファイルPF2が生成される。
【0077】
(S5)
制御部10は、S3において求められた第1輝度プロファイルとS4において求められた第2輝度プロファイルとを用いて画素毎に式(1)に従った輝度補正を輝度補正部418に行わせる。輝度補正部418に輝度補正が行われた画像データは、記憶部20に記憶される。
【0078】
(S6)
表示制御部11は、S5において輝度補正が行われた画像データに基づいて表示デバイス2に画像を表示させる。それにより、例えば、
図5Bに示すようにアーチファクトが除去又は低減されたen−face画像が表示デバイス2に表示される。以上で、眼科画像処理装置1の動作は終了する(エンド)。
【0079】
(S7)
S3において解析処理を行うと判定されたとき(S3:Y)、制御部10は、S3において生成された第1輝度プロファイルからアーチファクト領域を特定部419に特定させる。
【0080】
(S8)
制御部10は、S1において生成されたen−face画像からS7において特定されたアーチファクト領域を除外して予め決められた解析処理を解析部42に実行させる。
【0081】
(S9)
表示制御部11は、S8における解析により得られた情報に基づいて表示デバイス2に画像を表示させる。例えば、S8において、解析部42は、アーチファクト領域を除外してen−face画像を解析することにより眼底の虚血状態やダメージを受けた部位の毛細血管の部位を可視化するための可視化情報を求める。この場合、S9では、アーチファクトによる影響を受けることなく、より正確な可視化情報を取得することが可能になる。以上で、眼科画像処理装置1の動作は終了する(エンド)。
【0082】
[表示画面及び使用形態]
例えば、眼科画像処理装置1は、次のようなGUI画面の一部にS6又はS9における画像表示を行わせることができる。
【0083】
以下、眼科画像処理装置1の典型的な使用形態を表示画面の例とともに説明する。以下の例において、制御部10は、GUIテンプレート21及び表示制御プログラム22に基づいてGUI画面等を表示させ、表示制御プログラム22に基づいて画像等を表示させる。また、データ処理部40は、データ処理プログラム23に基づいて各種処理を実行する。
【0084】
まず、眼科画像処理装置1のユーザ(医師等)がGUIの使用を開始するための指示を入力する。表示制御部11(GUI表示制御部111)は、この指示を受けると、表示制御プログラム22を起動させ、GUIテンプレート21に基づいてGUI画面を表示デバイス2に表示させる。ユーザは、このGUI画面に対し、操作部50を用いて患者IDを入力する。或いは、眼科画像処理装置1は、データ入出力部30に含まれるカードリーダで患者カード等を読み取ることにより患者IDを受け付ける。患者IDの入力方法はこれらに限定されない。なお、例えば記録媒体に保存された3次元データセットDが眼科画像処理装置1に入力される場合のように、患者IDの入力を行わなくてもよい場合もある。
【0085】
制御部10は、データ入出力部30に含まれる通信デバイスを制御することで、入力された患者IDをネットワークを介して画像管理サーバに送る。画像管理サーバは、この患者IDを受け付け、それに関連付けられた画像データを検索し、検索された画像データを眼科画像処理装置1に送信する。このステップにおいては、例えば、当該被検眼(及び当該患者の他方の眼)について過去に取得された全ての又は幾つかの画像データが検索され送信される。画像管理サーバから送信される画像データには3次元データセットDが含まれている。
【0086】
データ入出力部30に含まれる通信デバイスは、画像管理サーバから送信された画像データを受け付ける。制御部10は、受け付けられた画像データを患者IDとともに記憶部20に格納する。それにより、3次元データセットDを少なくとも含む画像データが記憶部20に記憶される。なお、本例において、3次元データセットDは眼底の3次元領域を表す画像データであり、眼底像(眼底写真)の画像データに含まれているものとする。
【0087】
GUI表示制御部111は、当該被検眼(又は当該患者)の画像データのリストをGUI画面に表示させる。ユーザは、操作部50を用いて所望の画像データを選択する。ここでは、3次元データセットDが選択されたものとする。制御部10は、選択された3次元データセットDを記憶部20から読み出してデータ処理部40に送る。
【0088】
このとき、
図7に示すGUI画面1000が表示デバイス2に表示されている。GUI画面1000には、各種ソフトウェアキーとともに、複数の画像表示領域が設けられている。具体的には、複数の画像表示領域は、上段に設けられた4つの画像表示領域(正面画像表示領域1101〜1104)と、下段に設けられた3つの画像表示領域(Bモード画像表示領域1400、合成正面画像表示領域1300、眼底像表示領域1500)とを含む。
【0089】
正面画像表示領域1101〜1104には、3次元データセットDを基に形成された正面画像が表示される。正面画像表示領域1101〜1104の少なくとも1つ(例えば、正面画像表示領域1101)には、S5において輝度補正が行われたen−face画像が表示されてよい。正面画像表示領域1101〜1104のそれぞれの枠部は、所定の色で表示される。4つの枠部の色は全て異なっている。例えば、正面画像表示領域1101〜1104の枠部は、それぞれ、オレンジ色、黄緑色、空色、青色で表示される。
【0090】
正面画像表示領域1101〜1104のそれぞれの下方には、正面画像に関する条件を設定するための条件設定部1200が設けられている。条件設定部1200には各種のソフトキーが設けられている。本例の条件設定部1200は、次のソフトウェアキーを含む:画像化されるスライス範囲を所定の選択肢(Superficial、Deep、Outer retina、Choriocapillaris等)から選択するためのプルダウンメニュー;ガウシアンフィルタの適用の有無を選択するためのチェックボックス;スライス範囲の上端となる眼底の層(境界)を選択するためのプルダウンメニュー;この上端位置を深さ方向(Z方向)に移動するための上下ボタン及びオフセット表示部;スライス範囲の下端となる眼底の層(境界)を選択するためのプルダウンメニュー;この下端位置を深さ方向に移動するための上下ボタン及びオフセット表示部;現在の設定内容をリセットするためのリセットボタン。なお、スライス範囲の上端及び下端の選択肢の典型的な例として、ILM(内境界膜)、NFL/GCL(神経線維層−神経節細胞層境界)、IPL/INL(内網状層−内顆粒層境界)、IS/OS(視細胞内節外節接合部)、RPE(網膜色素上皮層)、BM(ブルッフ膜)、CSI(脈絡膜−強膜境界)などがある。ユーザは、上端のプルダウンメニュー及び下端のプルダウンメニューのそれぞれにおいて所望のバウンダリ(組織及び組織境界をまとめてバウンダリと呼ぶ)を設定し、更に、Bモード画像等を参照しつつ上下ボタンを操作することにより上端及び下端のそれぞれのオフセットを設定することができる。設定されたバウンダリに相当する3次元データセットD中の領域は、3次元データセットDのセグメンテーションの結果に基づき特定される。
【0091】
下段には、左側から順に、Bモード画像表示領域1400、合成正面画像表示領域1300、及び眼底像表示領域1500が配置されている。
【0092】
なお、この段階では、GUI画面1000に被検眼の画像は表示されていない。ただし、眼底像表示領域1500にはこの段階で既に眼底像が表示されていてよい。
【0093】
データ処理部40のBモード画像形成部415は、3次元データセットDに基づいてBモード画像を形成する。Bモード画像の断面の設定は、ユーザ又はBモード画像形成部415により実行される。Bモード画像表示制御部114は、形成されたBモード画像HをBモード画像表示領域1400に表示させる(
図7を参照)。ユーザは、Bスキャン面を変更するための操作を行うことができる。例えば、Bモード画像表示領域1400の下方に設けられたスライダを左右方向に移動することで、Bスキャン面を平行移動させることができる。Bモード画像形成部415は、スライダの位置に応じた断面を表す新たなBモード画像を形成する。Bモード画像表示制御部114は、この新たなBモード画像でBモード画像Hを更新する。
【0094】
また、セグメンテーション処理部411は、3次元データセットDのセグメンテーションを行う。本例では、網膜を構成する複数の層組織に相当する複数の部分データセットと、脈絡膜に相当する部分データセットと、硝子体に相当する部分データセットとが、セグメンテーションによって特定される。Bモード画像表示制御部114は、セグメンテーションにより特定された層組織やその境界に相当するBモード画像H中の画像領域の表示態様を変更することができる。
【0095】
ユーザは、所望のスライス範囲を設定するためにBモード画像Hを参照することができる。条件設定部1200を用いてスライス範囲等が設定されると、正面画像形成部412は、設定されたスライス範囲に基づく正面画像を形成する。正面画像表示制御部112は、形成された正面画像を、この条件設定部1200に対応する正面画像表示領域(正面画像表示領域1101〜1104のうち、この条件設定部1200の上方に配置された1つ)に表示させる。このような操作及び処理を繰り返すことで、正面画像表示領域1101〜1104にそれぞれ正面画像G1〜G4が表示される(
図7を参照)。
【0096】
色変換部413は、4つの正面画像G1〜G4の少なくとも一部の正面画像(グレースケール画像)を(部分的に)カラー画像に変換する。正面画像に付される色は、その正面画像が表示されている正面画像表示領域の枠部の色と同じである。例えば、色変換部413は、次の4つの処理のうちの一部又は全部を実行する:正面画像G1に描出された血管領域の画素に、正面画像表示領域1101の枠部と同じオレンジ色を割り当てる;正面画像G2に描出された血管領域の画素に、正面画像表示領域1102の枠部と同じ黄緑色を割り当てる;正面画像G3に描出された血管領域の画素に、正面画像表示領域1103の枠部と同じ空色を割り当てる;正面画像G4に描出された血管領域の画素に、正面画像表示領域1104の枠部と同じ青色を割り当てる。
【0097】
合成正面画像形成部414は、色変換部413により(部分的な)カラー画像に変換された正面画像の一部又は全部を含む複数の正面画像を合成することにより合成正面画像を形成する。また、合成正面画像形成部414は、4つの正面画像G1〜G4のうちの3つの正面画像G1〜G3を合成することにより合成正面画像Gを形成する。合成正面画像表示制御部113は、形成された合成正面画像Gを合成正面画像表示領域1300に表示させる。
図7に示す3つの正面画像G1〜G3が合成される場合、正面画像G1〜G3は互いに異なる深さ位置の血管強調画像(アンギオグラム)であるから、形成される合成正面画像Gには、正面画像G1中の血管領域がオレンジ色で表現され、正面画像G2中の血管領域が黄緑色で表現され、正面画像G3中の血管領域が空色で表現されている。すなわち、様々な深さに存在する血管が、深さ位置に応じた色によって識別可能に表現されている。
【0098】
セグメント特定部416は、正面画像G1〜G4のそれぞれのスライス範囲(セグメント)に対応するBモード画像Hの部分領域を特定する。セグメント表示制御部115は、セグメント特定部416により特定されたBモード画像Hの部分領域を示すセグメント情報をBモード画像H上に表示させる。各セグメント情報は、対応する正面画像に割り当てられた色で表示される。
【0099】
セグメント情報の表示例を
図7に示す。本例では、正面画像G1のスライス範囲は「Superficial」に設定され、正面画像G2のスライス範囲は「Deep」に設定され、正面画像G3のスライス範囲は「Outer retina」に設定され、正面画像G4のスライス範囲は「Choriocapillaris」に設定されている。
【0100】
正面画像G1のスライス範囲は、境界B1を上端とし境界B2を下端とする部分領域H1に相当し、これを表すセグメント情報として部分領域H1がオレンジ色(枠部1101aの色)で提示される。正面画像G2のスライス範囲は、境界B2を上端とし境界B3を下端とする部分領域H2に相当し、これを表すセグメント情報として部分領域H2が黄緑色(枠部1102aの色)で提示される。正面画像G3のスライス範囲は、境界B3を上端とし境界B4を下端とする部分領域H3に相当し、これを表すセグメント情報として部分領域H3が空色(枠部1103aの色)で提示される。正面画像G4のスライス範囲は、境界B4を上端とする部分領域H4に相当し、これを表すセグメント情報として部分領域H4が青色(枠部1104aの色)で提示される。なお、符号H5は硝子体に相当する部分領域を示す。
【0101】
ここで、正面画像G1〜G4の全てについてセグメント情報を提示する必要はない。例えば、合成正面画像Gの形成に用いられた正面画像G1〜G3についてのみセグメント情報を提示することができる。
【0102】
ユーザは正面画像G1〜G4のうちの所望の正面画像を指定することができる。所望の正面画像の指定は、例えば、操作部50に含まれるポインティングデバイスを用いて1以上の正面画像をクリックすることによって行われる。セグメント表示制御部115は、指定された正面画像に対応するセグメント情報のみを表示させる。例えば、正面画像G1が指定されると、それに対応する部分領域H1にのみセグメント情報が付され(つまりオレンジ色で表示され)、他の部分領域H2〜H5はグレースケールで表示される。それにより、注目している正面画像に対応するセグメントを容易に把握できる。なお、指定された正面画像に対応するセグメントを疑似カラー表示することで、このセグメントを詳細に観察できるようにしてよい。
【0103】
ユーザは、合成正面画像の形成に供される正面画像を選択することができる。この選択は、例えば、操作部50に含まれるポインティングデバイスを用いて2以上の正面画像をクリックすることによって行われる。また、現在の合成正面画像の形成に用いられた正面画像のいずれかを削除又は置換することや、新たな正面画像を付加することも可能である。合成正面画像形成部414は、正面画像の新たな組み合わせ(色変換がされた正面画像を含む)に基づいて新たな合成正面画像を形成する。合成正面画像表示制御部113は、現在の合成正面画像の代わりに新たな合成正面画像を表示させる。それにより、ユーザが指定した正面画像の組み合わせに基づく合成正面画像を観察することができる。
【0104】
正面画像の選択を自動で行うよう構成することも可能である。例えば、設定されたスライス範囲に基づいて正面画像の選択を行うことができる。具体例として、脈絡膜の一部や硝子体の一部がスライス範囲として指定された場合、このようなスライス範囲を合成正面画像の形成の対象から外すことができる。脈絡膜内には小さな血管が多数分布しており、血管領域に色を割り当てると正面画像全体が薄く色付いたように見えて、網膜血管の分布の把握を妨げるおそれがある。硝子体については、一般に、眼底血管の観察には不要である。なお、硝子体牽引のような硝子体の異常を観察する場合などには、硝子体の一部を含むスライス範囲を含めて合成正面画像を形成することができる。更に、硝子体と網膜との接触面や、網膜近傍の硝子体を観察したい場合などにも、硝子体の一部を含むスライス範囲を含めて合成正面画像を形成することができる。また、3次元データセットDの種別(血管強調画像、形態画像、血流動態画像等)に応じて、合成正面画像の形成の対象となるスライス範囲を切り替えることができる。
【0105】
ユーザは、現在の正面画像G1〜G4のうち所望の正面画像のスライス範囲を任意に変更することができる。スライス範囲の変更には条件設定部1200が用いられる。ユーザは、操作部50に含まれるポインティングデバイス(マウス等)を用いて条件設定部1200内のソフトウェアキーを操作することにより、所望のスライス範囲を設定する。
【0106】
例えば正面画像G1のスライス範囲が変更されると、正面画像形成部412は、新たに設定されたスライス範囲に基づいて新たな正面画像を形成する。正面画像表示制御部112は、現在の正面画像G1の代わりに新たな正面画像を表示させる。
【0107】
また、色変換部413は、新たな正面画像の一部(血管領域等)に正面画像G1に対応する色(オレンジ色)を割り当てる。合成正面画像形成部414は、この新たな正面画像を正面画像G1の代わりに用いて新たな合成正面画像を形成する。合成正面画像表示制御部113は、現在の合成正面画像Gの代わりに新たな合成正面画像を表示させる。新たな合成正面画像では、新たな正面画像における血管領域等が更新前の正面画像G1と同じ色で表現されている。
【0108】
更に、セグメント特定部416は、新たな正面画像のスライス範囲に対応するBモード画像Hの部分領域を新たに求める。セグメント表示制御部115は、現在の正面画像G1に対応するセグメント情報の代わりに、新たに特定された部分領域を示す新たなセグメント情報を表示させる。
【0109】
このような構成によれば、正面画像のスライス範囲の任意の変更に対応して、正面画像の更新、合成正面画像の更新、及び、セグメント情報の更新を自動で行うことが可能である。
【0110】
GUI画面1000には、輝度補正部418による輝度補正を実行するか否かを選択するためのソフトウェアキーやチェックボックス(選択部)が表示されてもよい。この場合、輝度補正部418による輝度補正を実行するか否かの指定は、例えば、操作部50に含まれるポインティングデバイスを用いてソフトウェアキー又はチェックボックスをクリックすることによって行われる。輝度補正を実行すると指定されたとき、正面画像表示領域1101〜1104の少なくとも1つ(例えば、正面画像表示領域1101)には、S5において輝度補正が行われたen−face画像(例えば、
図5Bに示すen−face画像)が表示される。輝度補正を実行しないと指定されたとき、正面画像表示領域1101〜1104の少なくとも1つ(例えば、正面画像表示領域1101)には、正面画像形成部412により形成された、輝度補正が実行される前のen−face画像(例えば、
図5Aに示すen−face画像)が表示される。なお、輝度補正が実行されたen−face画像と輝度補正が実行されないen−face画像とを並べて表示させてから、輝度補正部418による輝度補正を実行するか否かの指定を受け付けるようにしてもよい。
【0111】
なお、実施形態では、血管領域が強調されたen−face画像について遅軸方向の輝度プロファイルを生成し、生成された輝度プロファイルに基づいて当該en−face画像の輝度補正を行っていたが、実施形態に係る輝度補正はこれに限定されるものではない。例えば、血管領域が強調されたBモード画像について遅軸方向の輝度プロファイルを生成して当該Bモード画像の輝度補正を行うと、en−face画像において強調される血管領域の輝度と当該Bモード画像において強調される血管領域の輝度とが実質的に異なる可能性がある。この場合、血流部分が強調されなかったり、逆に血流部分ではない部分が強調されたりする可能性がある。そこで、血管領域が強調されたBモード画像におけるアーチファクトを除去又は低減する場合、第1輝度プロファイル生成部417Aは、例えば、3次元データセットDから生成されたプロジェクション画像を表す画像データの輝度値を積算することによりY方向に沿った第1輝度プロファイルを生成する。輝度補正部418は、生成された第1輝度プロファイルを用いてBモード画像に対して上記のように輝度補正を行う。それにより、実施形態に係る輝度補正を行う場合に、en−face画像において描出された血管領域の輝度とほぼ同じ輝度で血管領域が強調される画像を取得することが可能になる。
【0112】
また、実施形態では、en−face画像の遅軸方向の輝度プロファイルを生成する場合について説明したが、実施形態に係る眼科画像処理装置1の動作はこれに限定されるものではない。例えば、第1輝度プロファイル生成部417Aは、3次元データセットDとしてのボリュームデータについて遅軸方向に沿った輝度プロファイルを生成するようにしてもよい。具体的には、第1輝度プロファイル生成部417Aは、ボリュームデータから生成されたプロジェクション画像の遅軸方向に沿った第1輝度プロファイルを生成する。第2輝度プロファイル生成部417Bは、生成された第1輝度プロファイルから実施形態と同様に第2輝度プロファイルを生成する。それにより、ボリュームデータから遅軸方向に沿った第1輝度プロファイルを1つだけ生成すればよいため、深さ方向の位置が異なるen−face画像を表示させるたびに第1輝度プロファイルを生成する必要がなくなる。
【0113】
なお、上記の実施形態では、第2輝度プロファイル生成部417Bは、主として、第1輝度プロファイルに対して所定のフィルタを適用する場合について説明したが、これに限定されるものではない。
【0114】
図8に、実施形態の変形例に係る第2輝度プロファイル生成部417Bの構成例のブロック図を示す。第2輝度プロファイル生成部417Bは、検出部51と、除去部52とを含む。検出部51は、第1輝度プロファイルのピークを検出する。例えば、検出部51は、第1輝度プロファイルにおいて所定の半値幅以下で、かつ、所定の振幅レベル以上のピークを検出し、検出されたピークの位置を特定する。除去部52は、検出部51により検出されたピークを除去する。例えば、除去部52は、検出部51により特定されたピークの位置における輝度プロファイルの値を、当該位置の前後の輝度プロファイルの値で補間することによりピークを除去する。それにより、第2輝度プロファイル生成部417Bは、第1輝度プロファイルに対する平滑化処理を行うことができる。
【0115】
〈眼科撮影装置〉
実施形態に係る眼科撮影装置は、上記実施形態の眼科画像処理装置の一部又は全部を含んでよい。眼科撮影装置の構成例を
図9に示す。なお、上記実施形態の眼科画像処理装置1(
図1)と同様の構成部位には同じ符号を付し、特に言及しない限りその説明は省略する。また、
図9に示す眼科撮影装置100は、
図2に示す構成の一部又は全部を備えていてよい。更に、表示画面や表示画像については
図7に示す態様と同じ又は類似であってよい。また、画像処理等のデータ処理については、
図6を参照して説明した処理の一部又は全部、更にはその変形を適用することが可能である。
【0116】
眼科撮影装置100は、OCTを利用して被検眼のデータを収集する機能と、被検眼の画像を観察するためのGUIや被検眼に関する各種情報を表示デバイス2に表示させる機能とを備える。表示デバイス2は眼科撮影装置100の一部であってもよいし、眼科撮影装置100に接続された外部装置であってもよい。
【0117】
眼科撮影装置100は、制御部10と、記憶部20と、データ処理部40と、操作部50と、撮影部110とを含む。制御部10は表示制御部11を含む。記憶部20には、上記実施形態と同様に、GUIテンプレート21と、表示制御プログラム22と、データ処理プログラム23と、3次元データセットDとが記憶される。3次元データセットDは、撮影部110により作成されて記憶部20に格納される。制御部10、記憶部20、データ処理部40及び操作部50は、上記実施形態の眼科画像処理装置1におけるそれらと同様の機能を少なくとも含んでよい。
【0118】
撮影部110は、OCTを用いて被検眼の眼底をX方向及びY方向の双方に2次元的にスキャンして3次元データセット(画像データ)を生成する。撮影部110は、例えばスペクトラルドメインOCT又はスウェプトソースOCTを利用した計測を実行するための構成(光学系、駆動系、制御系等)と、OCTにより取得されたデータに基づいて画像データを形成するための構成(プロセッサ)とを含む。画像データ形成処理は、例えば従来のOCT技術と同様に、FFT(Fast Fourier Transform)などの処理を含む。
【0119】
撮影部110は、被検眼の3次元領域をスキャンする。そのときのスキャンモードは、例えばラスタスキャン(3次元スキャン)である。このラスタスキャンは、例えば、複数のB断面のそれぞれを所定回数ずつスキャンするように、つまり、複数のB断面を所定回数ずつ順次にスキャンするように実行される。撮影部110は、ラスタスキャンにより収集されたデータに基づいて、各B断面について複数の断面像(Bモード画像)を形成する。これら断面像を単一の3次元座標系に埋め込むことによりスタックデータが形成される。このスタックデータにおいては、各B断面に所定枚数の断面像が割り当てられている。また、このスタックデータに対して補間処理等を施すことによりボリュームデータ(ボクセルデータ)が形成される。このボリュームデータについても、各B断面に相当する位置に所定数のボクセル群が割り当てられている。スタックデータやボリュームデータは、3次元データセットDの例である。作成された3次元データセットDは、制御部10により記憶部20に格納される。
【0120】
眼科撮影装置100は、このようにして得られた3次元データセットDに基づいて、上記実施形態の眼科画像処理装置1と同様のGUIや制御やデータ処理を提供する。データ処理部40は、3次元データセットDに基づいて、Bモード画像と、複数の正面画像と、これら正面画像の一部又は全部が合成された合成正面画像とを形成する。この処理は、上記実施形態の画像処理部41と同様であってよい(
図2を参照)。
【0121】
表示制御部11は、データ処理部40により形成されたBモード画像と複数の正面画像と合成正面画像とを所定のレイアウトで表示デバイス2に表示させる。更に、表示制御部11は、複数の正面画像を色で識別するための識別色情報を表示させる。また、表示制御部11は、複数の正面画像のそれぞれが表す3次元データセットDのスライス範囲に対応するBモード画像の部分領域を、識別色情報に応じた色で示すスライス範囲情報を表示させる。加えて、表示制御部11は、識別色情報に応じた色でそれぞれが表現された複数の正面画像に基づく合成正面画像を表示させる。
【0122】
このように、眼科撮影装置100は、実施形態に係る眼科画像処理装置に撮影部(OCT機能及びOCT画像形成機能)を追加した構成と言える。また、眼科撮影装置100は、上記実施形態の眼科画像処理装置に関する任意の事項(構成、制御、作用、効果等)を具備していてよい。
【0123】
このような眼科撮影装置100によれば、上記実施形態の眼科画像処理装置1と同様に、被検眼の様々な深さ位置の状態を容易にかつ総合的に把握することが可能である。
【0124】
[作用・効果]
実施形態に係る眼科画像処理装置の作用及び効果について説明する。
【0125】
実施形態に係る眼科画像処理装置(1)は、記憶部(20)と、第1輝度プロファイル生成部(417A)と、第2輝度プロファイル生成部(417B)と、輝度補正部(418)とを含む。記憶部は、光コヒーレンストモグラフィを用いて被検眼をスキャンして取得された画像データを記憶する。第1輝度プロファイル生成部は、画像データの輝度値を積算することにより第1方向(Y方向)に沿った第1輝度プロファイル(PF1)を生成する。第2輝度プロファイル生成部は、第1輝度プロファイルを加工して第2輝度プロファイル(PF2)を生成する。輝度補正部は、第1輝度プロファイルと第2輝度プロファイルとに基づいて画像データの輝度補正を行う。
【0126】
このような構成によれば、第1方向に沿った第1輝度プロファイルと、この第1輝度プロファイルを加工して得られた第2輝度プロファイルとに基づいて、当該画像データの輝度補正を行うようにしたので、第1方向のアーチファクトに起因した輝度値を補正することができる。それにより、OCTにより取得された画像に描出された第1方向のアーチファクトに基づく画質の低下を防ぐことが可能になる。
【0127】
また、実施形態に係る眼科画像処理装置では、輝度補正部は、第1方向の複数の位置のそれぞれについて、第1方向の各位置における第1輝度プロファイルの値と第2輝度プロファイルの値とに基づいて、画像データにおいて当該位置に対応する画素に対して輝度補正を行ってもよい。
【0128】
このような構成によれば、第1輝度プロファイルの値と第2輝度プロファイルの値とに基づいて画素毎に輝度補正を行うようにしたので、画素単位でアーチファクトを除去又は低減することが可能になる。
【0129】
また、実施形態に係る眼科画像処理装置では、輝度補正部は、第1方向の各位置における第1輝度プロファイルの値と第2輝度プロファイルの値との比又は差に基づいて輝度補正を行ってもよい。
【0130】
このような構成によれば、第1輝度プロファイルの値と第2輝度プロファイルの値との比又は差に基づいて輝度補正を行うようにしたので、簡素な処理でアーチファクトに基づく画質の低下を防ぐことが可能になる。
【0131】
また、実施形態に係る眼科画像処理装置では、第2輝度プロファイル生成部は、第1輝度プロファイルを平滑化することにより第2輝度プロファイルを生成してもよい。
【0132】
このような構成によれば、第1輝度プロファイルを平滑化することにより第2輝度プロファイルを生成するようにしたので、第1輝度プロファイルにおける突出値や乖離値を除去するように輝度補正を行って、アーチファクトを除去又は低減することが可能になる。
【0133】
また、実施形態に係る眼科画像処理装置では、第2輝度プロファイル生成部は、メディアンフィルタ及びローリングボールフィルタの少なくとも1つを第1輝度プロファイルに適用してもよい。
【0134】
このような構成によれば、公知のメディアンフィルタやローリングボールフィルタを用いることにより簡素な処理でアーチファクトを除去又は低減することが可能になる。
【0135】
また、実施形態に係る眼科画像処理装置では、第2輝度プロファイル生成部は、第1輝度プロファイルのピークを検出する検出部(51)と、検出部により検出されたピークを除去する除去部(52)と、を含んでもよい。
【0136】
このような構成によれば、第1輝度プロファイルのピークを検出し、検出されたピークを除去することにより第1輝度プロファイルにおける突出値や乖離値を除去するようにしたので、より一層簡素な処理で、アーチファクトを除去又は低減することが可能になる。
【0137】
また、実施形態に係る眼科画像処理装置では、第2輝度プロファイル生成部は、第1輝度プロファイルの一部だけを加工してもよい。
【0138】
このような構成によれば、第1輝度プロファイルに対する局所的な加工により第2輝度プロファイルを生成するようにしたので、最低限の処理負荷でアーチファクトを除去又は低減することが可能になる。
【0139】
実施形態に係る眼科画像処理装置(1)は、記憶部(20)と、第1輝度プロファイル生成部(417A)と、特定部(419)と、解析部(42)とを含む。記憶部は、光コヒーレンストモグラフィを用いて被検眼をスキャンして取得された画像データを記憶する。第1輝度プロファイル生成部は、画像データの輝度値を積算することにより第1方向(Y方向)に沿った第1輝度プロファイルを生成する。特定部は、第1輝度プロファイルに基づいて画像データの部分領域を特定する。解析部は、特定部により特定された部分領域を除外して画像データの解析を行う。
【0140】
このような構成によれば、第1方向に沿った第1輝度プロファイルに基づいて画像データの部分領域を特定し、特定された部分領域を除外して当該画像データの解析を行うようにしたので、第1方向のアーチファクトに影響を受けることなく画像データの解析を行うことができる。それにより、OCTにより取得された画像に描出された第1方向のアーチファクトに基づく解析結果の信頼性の低下を防ぐことが可能になる。
【0141】
また、実施形態に係る眼科画像処理装置では、画像データは、第1方向に直交する第2方向(X方向)にそれぞれ沿った複数のBモード画像を第1方向に配列して形成された3次元画像データ又は3次元画像データに基づき生成された正面画像データであり、第1輝度プロファイル生成部は、第2方向に沿って輝度値の積算を行ってもよい。
【0142】
このような構成によれば、第2方向にそれぞれ沿った複数のBモード画像を第1方向に配列して形成された3次元画像データ又は当該3次元画像データに基づいて生成された正面画像データを第2方向に沿って輝度値の積算を行うことにより第1輝度プロファイルを生成するようにしたので、第1方向のアーチファクトに起因した輝度値を補正することができる。それにより、OCTにより取得された画像に描出された第1方向のアーチファクトに基づく画質の低下又は解析結果の信頼性の低下を防ぐことが可能になる。
【0143】
実施形態に係る眼科撮影装置(100)は、撮影部(110)と、第1輝度プロファイル生成部(417A)と、第2輝度プロファイル生成部(417B)と、輝度補正部(418)とを含む。撮影部は、光コヒーレンストモグラフィを用いて被検眼をスキャンして画像データを生成する。第1輝度プロファイル生成部は、画像データの輝度値を積算することにより第1方向に沿った第1輝度プロファイル(PF1)を生成する。第2輝度プロファイル生成部は、第1輝度プロファイルを加工して第2輝度プロファイル(PF2)を生成する。輝度補正部は、第1輝度プロファイルと第2輝度プロファイルとに基づいて画像データの輝度補正を行う。
【0144】
このような構成によれば、第1方向に沿った第1輝度プロファイルと、この第1輝度プロファイルを加工して得られた第2輝度プロファイルとに基づいて、当該画像データの輝度補正を行うようにしたので、第1方向のアーチファクトに起因した輝度値を補正することが可能な眼科撮影装置を提供することができる。それにより、OCTにより取得された画像に描出された第1方向のアーチファクトに基づく画質の低下を防ぐことが可能になる。
【0145】
実施形態に係る眼科撮影装置(100)は、撮影部(110)と、第1輝度プロファイル生成部(417A)と、特定部(419)と、解析部(42)とを含む。撮影部は、光コヒーレンストモグラフィを用いて被検眼をスキャンして画像データを生成する。第1輝度プロファイル生成部は、画像データの輝度値を積算することにより第1方向(Y方向)に沿った第1輝度プロファイルを生成する。特定部は、第1輝度プロファイルに基づいて画像データの部分領域を特定する。解析部は、特定部により特定された部分領域を除外して画像データの解析を行う。
【0146】
このような構成によれば、第1方向に沿った第1輝度プロファイルに基づいて画像データの部分領域を特定し、特定された部分領域を除外して当該画像データの解析を行うようにしたので、第1方向のアーチファクトに影響を受けることなく画像データの解析を行うことが可能な眼科撮影装置を提供することができる。それにより、OCTにより取得された画像に描出された第1方向のアーチファクトに基づく解析結果の信頼性の低下を防ぐことが可能になる。
【0147】
以上に説明した構成は、本発明を好適に実施するための一例に過ぎない。よって、本発明の要旨の範囲内における任意の変形(省略、置換、付加等)を適宜に施すことが可能である。