【文献】
加藤裕, 外3名,“局所的加重平均を用いた医用断層画像のノイズ除去手法”,FIT2015 第14回情報科学技術フォーラム 講演論文集 第3分冊,2015年 8月24日,p.243-244
【文献】
Radhakrishna Achanta, 外5名,"SLIC Superpixels Compared to State-of-the-Art Superpixel Methods",IEEE Transactions on Pattern Analysis and Machine Intelligence,2012年 5月29日,第34巻, 第11号,p.2274-2281
【文献】
Juan Xu, 外3名,"3D optical coherence tomography super pixel with machine classifier analysis for glaucoma detection",2011 Annual International Conference of the IEEE Engineering in Medicine and Biology Society,2011年 8月30日,p.3395-3398
(58)【調査した分野】(Int.Cl.,DB名)
光コヒーレンストモグラフィー(OCT)により取得した単一または複数の試料画像データから、光学的特徴が異なる複数の試料断面画像を生成する画像生成方法であって、
前記試料画像データに含まれる画素データの光学的特徴類似性および空間近接性に基づき、各画素データに対応した画素(ピクセル)をクラスタリングし、スーパーピクセルを生成するステップと、
前記スーパーピクセルに含まれる各画素の前記画素データに基づき、当該スーパーピクセルを代表する画素群データを生成するステップと、
前記画素群データに基づき、前記複数の試料断面画像を生成するステップと、
を有する画像生成方法。
前記光学的特徴類似性の基礎となる光学的特徴が、OCT信号の散乱度合いに関連する光学的特徴に分類される第1特徴群、OCT信号の偏光度合いに関連する光学的特徴に分類される第2特徴群、OCT信号の偏光均一性に関連する光学的特徴に分類される第3特徴群、および、OCT造影(OCT−A)に関連する光学的特徴に分類される第4特徴群、から任意に選択された単一または複数の光学的特徴である
請求項1に記載の画像生成方法。
リシェイプの結果、属する画素数が所定画素数以下となった場合、当該所定画素数以下となるスーパーピクセルを、隣接する最も大きなスーパーピクセルに併合するようリシェイプする
請求項4に記載の画像処理方法。
前記スーパーピクセルを生成するステップが、前記リシェイプするステップの前に、前記試料断面画像が生成される画像領域を埋め尽くす初期スーパーピクセルを生成するステップをさらに有し、
前記初期スーパーピクセルのそれぞれが、均一な空間形状を有する
請求項3から請求項8の何れか一項に記載の画像処理方法。
光コヒーレンストモグラフィー(OCT)により取得した単一または複数の試料画像データから、光学的特徴が異なる複数の試料断面画像を生成する画像生成システムであって、
前記試料画像データに含まれる画素データの光学的特徴類似性および空間近接性に基づき、各画素データに対応した画素(ピクセル)をクラスタリングし、スーパーピクセルを生成するスーパーピクセル生成部と、
前記スーパーピクセル生成部で生成したスーパーピクセルに含まれる各画素の画素データに基づき、当該スーパーピクセルを代表する画素群データを生成する画素群データ生成部と、
前記画素群データ生成部で生成した画素群データに基づき、複数の試料断面画像を生成する試料断面画像生成部と、
を有する画像生成システム。
光コヒーレンストモグラフィー(OCT)により取得した単一または複数の試料画像データから、光学的特徴が異なる複数の試料断面画像を生成する画像生成用のコンピュータに、
前記試料画像データに含まれる画素データの光学的特徴類似性および空間近接性に基づき、各画素データに対応した画素(ピクセル)をクラスタリングし、スーパーピクセルを生成するスーパーピクセル生成機能と、
前記スーパーピクセル生成機能により生成されたスーパーピクセルに含まれる各画素の画素データに基づき、当該スーパーピクセルを代表する画素群データを生成する画素群データ生成機能と、
前記画素群データ生成機能により生成された画素群データに基づき、複数の試料断面画像を生成する試料断面画像生成機能と、
を実現させるためのプログラム。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004−028970号公報
【非特許文献】
【0006】
【非特許文献1】春名正光著、「知っておきたいキーワード 光コヒーレンストモグラフィ(OCT)」、映像情報メディア学会誌Vol. 65, No. 1, pp. 67〜71(2011)
【非特許文献2】D. Kasaragod, S. Makita, S. Fukuda, Simone Beheregaray, Tetsuro Oshika, and Y. Yasuno, “Bayesian maximum likelihood estimator of phase retardation for quantitative polarization-sensitive optical coherence tomography,” Opt.Express 22(13), 16472?16492 (2014).
【非特許文献3】S. Makita, Y.-J. Hong, M. Miura, and Y. Yasuno, “Degree of polarization uniformity with high noise immunity using polarization-sensitive optical coherence tomography,” Opt.Letters 39(24), 6783?6786 (2014).
【非特許文献4】S. Makita, K. Kurokawa, Y.-J. Hong, M. Miura, and Y. Yasuno, “Noise-immune complex correlation for optical coherence angiography based on standard and Jones matrix optical coherence tomography,” Opt.Express 7(3), 1525?1548 (2016).
【非特許文献5】M. J. Ju, Y.-J. Hong, S. Makita, Y.Lim, K.Kurokawa, L. Duan, M. Miura, S. Tang, and Y. Yasuno, “Advanced multicontrast Jones matrix optical coherence tomography for Doppler and polarization sensitive imaging,” Opt.Express 21(16), 19412?19436 (2013).
【発明の概要】
【発明が解決しようとする課題】
【0007】
JM−OCTイメージングにおいて、イメージの局所的な統計処理は重要である。たとえば、ローカル平均(統計処理の対象となる局所領域に含まれる信号の平均値)はノイズおよびスペックルの低減に用いられ、DOPUは局所領域における偏光状態のポアンカレ分散として計算される。しかし、従来の局所領域は、そのサイズおよび形状がたとえば所定の大きさの正方形等に固定されるため、画像の鮮明さと統計的な正確さ(精度または確度)との間にトレードオフが発生する。すなわち、局所領域のサイズを大きくすると当該領域における画像の正確さは向上するが、画像は不鮮明になる。一方、局所領域のサイズを小さくすると画像は鮮明になるが、統計的正確さは低下する。
【0008】
本発明は、上記したトレードオフの解消または改善を目的とするものであり、オリジナル画像の鮮明さを維持しつつも、局所領域における統計計算が前提となる画像の画質改善を目的とする。また、本発明は、そのような画質改善を最適化する手法の提供を目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明の第1の態様においては、光コヒーレンストモグラフィー(OCT)により取得した単一または複数の試料画像データから、光学的特徴が異なる複数の試料断面画像を生成する画像生成方法であって、前記試料画像データに含まれる画素データの光学的特徴類似性および空間近接性に基づき、各画素データに対応した画素(ピクセル)をクラスタリングし、スーパーピクセルを生成するステップと、前記スーパーピクセルに含まれる各画素の前記画素データに基づき、当該スーパーピクセルを代表する画素群データを生成するステップと、前記画素群データに基づき、前記複数の試料断面画像を生成するステップと、を有する画像生成方法を提供する。
【0010】
前記光学的特徴類似性の基礎となる光学的特徴が、OCT信号の散乱度合いに関連する光学的特徴に分類される第1特徴群、OCT信号の偏光度合いに関連する光学的特徴に分類される第2特徴群、OCT信号の偏光均一性に関連する光学的特徴に分類される第3特徴群、および、OCT造影(OCT−A)に関連する光学的特徴に分類される第4特徴群、から任意に選択された単一または複数の光学的特徴であってもよい。
【0011】
前記スーパーピクセルを生成するステップが、前記光学的特徴に対応する特徴量および空間座標を指標とする多次元空間における前記画素の位置または2点間距離に基づき、前記スーパーピクセルをリシェイプするステップを有してもよい。この場合、前記リシェイプするステップが、前記スーパーピクセルごとの前記多次元空間における重心を計算するステップを有し、判断対象の画素との距離が最も近い重心を有するスーパーピクセルに前記画素を属させるようリシェイプしても良い。さらにこの場合、リシェイプの結果、属する画素数が所定画素数以下となった場合、当該所定画素数以下となるスーパーピクセルを、隣接する最も大きなスーパーピクセルに併合するようリシェイプしてもよい。
【0012】
前記多次元空間における2点a,b間の距離D
fが、数1により定義されてもよい。
【数1】
但し、D
optは、2点a,b間の光学的特徴距離であり、数2により定義される。D
spcは、2点a,b間の空間距離であり、数3により定義される。mは、コンパクトネス因子であり、Sは、初期スーパーピクセルのインターバルである。m/Sは、光学的特徴距離D
optと空間距離D
spcとの間の重みに対応する。
【数2】
【数3】
但し、a
iおよびb
iは、それぞれ、多次元空間における点aのi番目の要素および点bのi番目の要素であり、w
iは、a
iおよびb
i間の重みである。i
opt_lおよびi
opt_hは、それぞれ、点a,点bに係る要素のうち光学的特徴に係る要素(以下「光学的特徴要素」という。)の最小要素番号および最大要素番号である。i
spc_lおよびi
spc_hは、それぞれ、点a,点bに係る要素のうち空間座標に係る要素(以下「空間座標要素」という。)の最小要素番号および最大要素番号である。
【0013】
数4に示すコスト関数E(w)を最少にするよう前記リシェイプを繰り返し、前記数2における重みw
iが決定されてもよい。
【数4】
但し、C
iは、i番目の光学的特徴要素の寄与度であり、数5に示すように、i番目の光学的特徴要素についてのスーパーピクセル内分散V
iのリシェイプ後の値V
ireshapedを初期値V
iinitialで規格化したものの逆数で定義される。スーパーピクセル内分散V
iは数6で定義される。Cバー(記号Cの上に「バー(横線)」を付したもの。以下「バー」付記号につき同様に表現する。)は、全てのC
iの平均であり、N
optは、光学的特徴要素の数である。
【数5】
【数6】
但し、Kは、画像領域内のスーパーピクセル数である。σ
2i,kは、k番目のスーパーピクセルにおけるi番目の光学的特徴要素の分散であり、数7により定義される。
【数7】
但し、sは、k番目のスーパーピクセル内の画素数である。x
i,j,kは、k番目のスーパーピクセル内のj番目の画素におけるi番目の光学的特徴要素の値(光学特徴値)である。x
i,kバーは、k番目のスーパーピクセルにおけるi番目の光学特徴値の平均(平均光学特徴値)である。
【0014】
前記数1におけるコンパクトネス因子mが、数6に示すV
iが最少となる範囲で選択されてもよい。
【0015】
前記スーパーピクセルを生成するステップが、前記リシェイプするステップの前に、前記試料断面画像が生成される画像領域を埋め尽くす初期スーパーピクセルを生成するステップをさらに有してもよく、この場合、前記初期スーパーピクセルのそれぞれが、均一な空間形状を有するものとしてもよい。
【0016】
本発明の第2の態様においては、光コヒーレンストモグラフィー(OCT)により取得した単一または複数の試料画像データから、光学的特徴が異なる複数の試料断面画像を生成する画像生成システムであって、前記試料画像データに含まれる画素データの光学的特徴類似性および空間近接性に基づき、各画素データに対応した画素(ピクセル)をクラスタリングし、スーパーピクセルを生成するスーパーピクセル生成部と、前記スーパーピクセル生成部で生成したスーパーピクセルに含まれる各画素の画素データに基づき、当該スーパーピクセルを代表する画素群データを生成する画素群データ生成部と、前記画素群データ生成部で生成した画素群データに基づき、複数の試料断面画像を生成する試料断面画像生成部と、を有する画像生成システムを提供する。
【0017】
本発明の第3の態様においては、光コヒーレンストモグラフィー(OCT)により取得した単一または複数の試料画像データから、光学的特徴が異なる複数の試料断面画像を生成する画像生成用のコンピュータに、前記試料画像データに含まれる画素データの光学的特徴類似性および空間近接性に基づき、各画素データに対応した画素(ピクセル)をクラスタリングし、スーパーピクセルを生成するスーパーピクセル生成機能と、前記スーパーピクセル生成機能により生成されたスーパーピクセルに含まれる各画素の画素データに基づき、当該スーパーピクセルを代表する画素群データを生成する画素群データ生成機能と、前記画素群データ生成機能により生成された画素群データに基づき、複数の試料断面画像を生成する試料断面画像生成機能と、を実現させるためのプログラムを提供する。
【発明の効果】
【0018】
上記した本発明の態様により、画像の鮮明さと統計的な正確さ(精度または確度)との間のトレードオフが解消または改善され、オリジナル画像の鮮明さを維持しつつも、局所領域における統計計算が前提となる画像の画質を改善することができる。また、そのような画質改善を最適化する手法を提供できる。
【発明を実施するための形態】
【0020】
図1は、本実施の形態の画像処理方法を実施する光コヒーレンストモグラフィー(OCT)装置の一例を示す概念図である。本実施の形態では、OCT装置として偏光感受光画像計測装置1を例示する。偏光感受光画像計測装置1を含む一般のOCT装置では、光源からのビームを参照アームと試料アームに分離して送り、試料アームでは試料(被検体)の深さ方向(A方向)に垂直な方向に走査(Bスキャン)して試料を照射し、この反射光と参照アームから反射される参照光との干渉スペクトルからA−B画像を得る(OCT計測を行う)。
【0021】
偏光感受光画像計測装置1は、Bスキャンと同時に(同期して)光源からの偏光ビーム(偏光子により直線的に偏光されたビーム)をEO変調器(偏光変調器、電気光学変調器)によって連続的に変調し、この連続的に偏光を変調した偏光ビームを分けて、一方を入射ビームとして走査して試料に照射し、その反射光(物体光)を得ると共に、他方を参照光として、両者のスペクトル干渉によりOCT計測を行う。そして、このスペクトル干渉成分のうち、垂直偏光成分(H)と水平偏光成分(V)を同時に2つの光検出器で測定することにより、試料の偏光特性を表すジョーンズベクトルを得る(H画像とV画像)。なお、ここでは、EO変調器により連続的に偏光を変調する例を説明するが、単一または複数の偏光板を用いて直線偏光や円偏光を任意に作り出し、複数回の測定によって、必要な偏光状態におけるOCT計測を行っても良い。
【0022】
偏光感受光画像計測装置1は、光源2、偏光子3、EO変調器4、ファイバーカプラー(光カプラー)5、参照アーム6、試料アーム7、分光器8等の光学要素を備えている。この偏光感受光画像計測装置1の光学系は、光学要素が互いにファイバー9で結合されているが、ファイバーで結合されていないタイプの構造(フリースペース型)であってもよい。
【0023】
光源2は、広帯域スペクトルを有するスーパールミネッセントダイオード(SLD:Super Luminescent Diode)が使用できる。なお、光源2は、パルスレーザでもよい。光源2には、コリメートレンズ11、光源2からの光を直線偏光にする偏光子3、進相軸を45°の方向にセットされたEO変調器(偏光変調器、電気光学変調器)4、集光レンズ13及びファイバーカプラー5が、順次、接続されている。
【0024】
EO変調器4は、進相軸を45°の方向に固定して、該EO変調器4にかける電圧を正弦的に変調することで、進相軸とそれに直交する遅相軸との間の位相差(リタデーション)を連続的に変えるもので、これにより、光源2から出て偏光子3で(縦)直線偏光となった光がEO変調器4に入射すると、上記変調の周期で、直線偏光→楕円偏光→直線偏光………などのように変調される。EO変調器4は、市販されているEO変調器を使用すればよい。
【0025】
ファイバーカプラー5には分岐するファイバー9を介して、参照アーム6と試料アーム7が接続されている。参照アーム6には、偏波コントローラ(polarization controller)10、コリメートレンズ11、偏光子12、集光レンズ13及び参照鏡(固定鏡)14が、順次、設けられている。参照アーム6の偏光子12は、上記のとおり偏光状態を変調しても参照アーム6から戻ってくる光の強度が変化しないような方向を選択するために用いている。この偏光子12の方向(直線偏光の偏光方向)の調整は偏波コントローラ10とセットで行う。
【0026】
試料アーム7では、偏波コントローラ15、コリメートレンズ11、固定鏡24、ガルバノ鏡16、集光レンズ13が、順次、設けられ、ファイバーカプラー5からの入射ビームが2軸のガルバノ鏡16により走査されて試料17に照射される。試料17からの反射光は物体光として再びファイバーカプラー5に戻り、参照光と重畳されて干渉ビームとして分光器8に送られる。
【0027】
分光器8は、順次接続される偏波コントローラ18、コリメートレンズ11、(偏光感受型体積位相ホログラフィック)回折格子19、フーリエ変換レンズ20、偏光ビームスプリッター21及び2つの光検出器22、23を備えている。この実施例では、光検出器22、23として、ラインCCDカメラ(1次元CCDカメラ)を利用する。ファイバーカプラー5から送られてくる干渉ビームは、コリメートレンズ11でコリメートされ、回折格子19によって干渉スペクトルに分光される。
【0028】
回折格子19で分光された干渉スペクトルビームは、フーリエ変換レンズ20でフーリエ変換され偏光ビームスプリッター21で水平及び垂直成分に分けられ、それぞれ2つラインCCDカメラ(光検出器)22、23で検出される。この2つラインCCDカメラ22、23は、水平および垂直偏光信号両方の位相情報を検知するために使われるので、2つのラインCCDカメラ22、23は同一の分光器の形成に寄与するものでなくてはならない。
【0029】
なお、光源2、参照アーム6、試料アーム7及び分光器8には、それぞれ偏波コントローラ10、15、18が設けられているが、これらは、光源2から参照アーム6、試料アーム7、分光器8に送られるそれぞれのビームの初期偏光状態を調整して、EO変調器4で連続的に変調された偏光状態が、参照光と物体光においても互いに一定の振幅と一定の相対偏光状態の関係が維持され、さらにファイバーカプラー5に接続された分光器8において一定の振幅と一定の相対偏光状態を保たれるようにコントロールする。
【0030】
また、2つラインCCDカメラ22、23を含む分光器8を校正するときはEO変調器4は止める。参照光をブロックし、スライドガラスと反射鏡を試料アーム7におく。この配置は水平および垂直偏光成分のピークの位置が同じであることを保証する。そして、スライドガラスの後ろの面と反射鏡からのOCT信号は2つの分光器8で検知される。OCT信号のピークの位相差はモニターされる。
【0031】
この位相差はすべての光軸方向の深さでゼロであるべきである。次に、信号は2つラインCCDカメラ22、23を含む分光器8で複素スペクトルを得るために、ウィンドウされ逆フーリエ変換される。この位相差はすべての周波数でゼロであるべきなので、これらの値をモニターすることによって2つラインCCDカメラ22、23の物理的な位置は位相差が最小になるようにアライメントされる。
【0032】
本実施の形態の偏光感受光画像計測装置1では、光源2からの光を直線偏光し、この直線偏光されたビームをEO変調器4により連続的に偏光状態の変調を行う。即ち、EO変調器4は、進相軸を45°の方向に固定して、該EO変調器4にかける電圧を正弦的に変調することで、進相軸とそれに直交する遅相軸との間の位相差(偏光角:リタデーション)を連続的に変えるもので、これにより、光源2から出て直線偏光子で(縦)直線偏光となった光がEO変調器4に入射すると、上記変調の周期で、直線偏光→楕円偏光→直線偏光………などのように変調される。
【0033】
直線偏光された偏光ビームをEO変調器4により連続的に偏光状態の変調を行うと同時に、Bスキャンを同期して行う。即ち、1回のBスキャンの間に、EO変調器4による偏光の連続的な変調を複数周期行う。ここで、1周期とは、偏光角(リターデーション)φが0〜2πと変化する期間である。要するに、この1周期の間に、偏光子からの光の偏光が、直線偏光(垂直偏光)→楕円偏光→直線偏光(水平偏光)………などのように連続的に変調する。
【0034】
このように偏光ビームの偏光を連続的に変調しながら、試料アーム7では、入射ビームをガルバノ鏡16により試料17に走査してBスキャンを行い、分光器8において、その反射光である物体光と参照光の干渉スペクトルについて、その水平偏光成分および垂直偏光成分を2つのラインCCDカメラ22、23で検出する。これにより、1回のBスキャンによって、それぞれ水平偏光成分及び垂直偏光成分に対応する2枚のA−Bスキャン画像が得られる。
【0035】
1回のBスキャンの間に、偏光ビームの偏光の連続的な変調を複数周期行うが、各周期(1周期)の連続的な変調の間に2つのラインCCDカメラ22、23で検出した水平偏光成分および垂直偏光成分それぞれの偏光情報が1画素分の偏光情報となる。1周期の連続的な変調の間に2つのラインCCDカメラ22、23で偏光情報を検出タイミング信号に同期して行い、1周期に検出回数(取込回数)を、4回、8回等、適宜決めればよい。
【0036】
1回のBスキャンの間に得た2枚のA−Bスキャン画像のデータを、Bスキャン方向に1次元フーリエ変換を行う。すると、0次、1次、−1次のピークが出る。ここで、0次のピークをそれぞれ抽出し、そのデータのみを用いて逆フーリエ変換すると、H0、V0画像が得られる。同様に、1次のピークをそれぞれ抽出し、そのデータのみを用いて逆フーリエ変換すると、H1、V1画像が得られる。
【0037】
H0、H1画像およびV0、V1画像から、試料17の偏光特性であるジョーンズマトリックスを求めることができる。すなわち、H0、H1画像から、ジョーンズマトリックスのJ(1,1)成分およびJ(1,2)成分を求める事ができ、V0、V1画像から、ジョーンズマトリックスのJ(2,1)成分およびJ(2,2)成分を求める事ができる。
【0038】
このようにして、4つの偏光特性を含む情報が得られる。そして、この4つの情報をそれぞれ、通常のFD−OCTと同様にAスキャン方向にフーリエ変換すると、1次のピークが試料17の深さ方向の情報を有し、しかもそれぞれ偏光特性に応じた4枚のA−B画像に対応する資料画像データが得られる。このような複数の偏光特性に応じたA−B画像(断面画像)の取得は、いわゆる偏光感受型OCT(PS−OCT)をベースとしたジョーンズマトリックスを用いる「JM−OCT」によるものである。
【0039】
本実施の形態の画像生成方法は、たとえば、上記したようなJM−OCTにより得られる複数のA−B画像に対応する試料画像データから、光学的特徴が異なる複数の試料断面画像を生成するものである。なお、本実施の形態の画像生成方法は、「JM−OCT」により得られた画像データへの適用に限られるものではなく、一般的な光コヒーレンストモグラフィー(OCT)により取得された単一または複数の試料画像データに適用することが可能である。たとえば、「偏光感受型OCT(PS−OCT)」、「OCTアンギオグラフィー(OCT−A)」、「局所減衰係数トモグラフィー」、または、これらの機能を併せ持つ「マルチファンクショナルOCT」で得られた単一または複数の試料画像データに適用可能である。
【0040】
本実施の形態の画像生成方法は、試料画像データに含まれる画素データの光学的特徴類似性および空間近接性に基づき、各画素データに対応した画素(ピクセル)をクラスタリングし、スーパーピクセルを生成するステップと、スーパーピクセルに含まれる各画素の画素データに基づき、当該スーパーピクセルを代表する画素群データを生成するステップと、画素群データに基づき、複数の試料断面画像を生成するステップと、を有する。
【0041】
本実施の形態の画像生成方法によれば、各画素をクラスタリングしてスーパーピクセルを生成し、当該スーパーピクセルを代表する画素群データを用いて試料断面画像を生成するため、オリジナル画像の鮮明さを維持しつつも、スーパーピクセル領域を最適化して画像の画質を改善することができる。
【0042】
なお、本実施の形態における画素クラスタリングは、画素データの光学的特徴類似性および空間近接性に基づき実施される。この点は、SLIC(Simple Linear Iterative Clustering)アルゴリズムによるスーパーピクセルが、カラー画像の位置座標(空間近接性)と色空間座標(色類似性)に基づき生成される点と異なる。特に、SLICアルゴリズムにおいては、(L,a,b)や(L
*,a
*,b
*)等画像の色パラメータが既に重み調整された表色系を前提としているのに対し、本実施の形態の画素クラスタリングにおける光学的特徴類似性は、(1) 光学的特徴量の相対的な大きさが調整されておらず、光学特徴量の値のスケールが独立している点、(2) 光学的特徴量は必ずしも組織の物理的な特徴に対して線形ではない点(たとえば、後述するDOPUはメラニン量に対応していることは既知であるものの、メラニン量に線形に比例しているわけではない。)、がSLICアルゴリズムと明らかに相違する。
【0043】
前記した光学的特徴類似性の基礎となる光学的特徴は、OCT信号の散乱度合いに関連する光学的特徴に分類される第1特徴群、OCT信号の偏光度合いに関連する光学的特徴に分類される第2特徴群、OCT信号の偏光均一性に関連する光学的特徴に分類される第3特徴群、および、OCT造影(OCT−A)に関連する光学的特徴に分類される第4特徴群、から任意に選択された単一または複数の光学的特徴とすることができる。
【0044】
前記した「第1特徴群」に含まれる光学的特徴を具体的に示す特徴量として、「信号強度」、「信号振幅」、「信号減衰率」および「信号吸光度」、並びに、これらの「分光値」(「分光信号強度」、「分光信号振幅」、「分光信号減衰率」および「分光信号吸光度」)が例示できる。前記した「第2特徴群」に含まれる光学的特徴を具体的に示す特徴量として、「複屈折」、「偏光位相差」、「偏光位相差の深さ方向スロープ」および「局所偏光位相差」が例示できる。前記した「第3特徴群」に含まれる光学的特徴を具体的に示す特徴量として、「偏光均一度(DOPU)」、「ジョーンズ行列(Jones matrix)のシャノンエントロピー」、「ミュラー行列(Muller matrix)の偏光解消成分」、「ストークスベクトルで表した検出光の円分散」が例示できる。前記した「第4特徴群」に含まれる光学的特徴を具体的に示す特徴量として、「OCT造影相関マッピング(OCT−A)」、「光コヒーレントアンギオグラフィー(Optical coherence angiography)」、「時間相関画像」、「ドップラーOCT信号」、「ドップラー分散信号」、「位相分散・標準偏差信号」、「強度分散・標準偏差信号」、「スペックルコントラスト信号」が例示できる。これら第1乃至第4特徴群からの光学的特徴の任意の選択は、第1乃至第4特徴群の何れか一つの特徴群からの単一または複数の光学的特徴の選択でもよく、第1乃至第4特徴群のうち複数の特徴群のそれぞれからの単一または複数の光学的特徴の選択でもよい。
【0045】
スーパーピクセルの生成において、前記した光学的特徴に対応する特徴量および空間座標を指標とする多次元空間における画素の位置または2点間距離に基づき、スーパーピクセルをリシェイプすることができる。たとえば、スーパーピクセルごとの多次元空間における重心を計算し、判断対象の画素との距離が最も近い重心を有するスーパーピクセルに画素を属させるようリシェイプすることができる。このようなリシェイプを行うことで、スーパーピクセルの空間形状を組織形状等の空間構造に合わせることができ、画像を鮮明にすることができる。
【0046】
また、リシェイプの結果、属する画素数が所定画素数以下となった場合、当該所定画素数以下となるスーパーピクセルを、隣接する最も大きなスーパーピクセルに併合するようリシェイプすることができる。このように小さなスーパーピクセルを大きなスーパーピクセルに併合することで、必要以上にスーパーピクセルが細分化されることを防止し、局所領域における統計精度を高めることができる。
【0047】
多次元空間における2点a,b間の距離Dfとして、数1による定義が例示できる。
【数1】
但し、D
optは、2点a,b間の光学的特徴距離であり、数2により定義できる。D
spcは、2点a,b間の空間距離であり、数3により定義できる。mは、コンパクトネス因子であり、Sは、初期スーパーピクセルのインターバルである。インターバルSは初期スーパーピクセルの配置間隔に相当する概念であり、初期スーパーピクセルの一次元方向における画素数に対応する。つまり画像領域全体に含まれる画素数をN、当該画像領域をK個のスーパーピクセルでカバーすると仮定すると、K=N/S
2で計算され、1つの初期スーパーピクセルに含まれる画素数はS
2となる。コンパクトネス因子mをインターバルSで規格化した値m/Sは、光学的特徴距離D
optと空間距離D
spcとの間の重みに対応し、mが大きいと多次元空間における2点間の距離Dfに対する空間距離D
spcの寄与が大きくなり、相対的に光学的特徴距離D
optの寄与が小さくなる。その結果、mが大きいと、光学的特徴量の変化が距離Dfに影響せず、リシェイプにおけるスーパーピクセルの空間的形状変化が生じにくくなる。その結果、スーパーピクセルの空間形状が、画像領域における微細な構造から乖離し、画像の鮮明さが失われる可能性がある。逆に、コンパクトネス因子mが小さすぎると、スーパーピクセルが必要以上に細分化され、局所領域における統計的正確さを失う可能性がある。よって、コンパクトネス因子mは適切な値が存在し、そのような適切な値の範囲でコンパクトネス因子mを選択する必要がある。コンパクトネス因子mは、後に説明する数6に示すV
iが最少となる範囲で選択することが好ましい。
【0048】
数2および数3は、各々、光学的特徴距離D
optおよび空間距離D
spcの定義の一例である。
【数2】
【数3】
ここで、a
iおよびb
iは、それぞれ、多次元空間における点aのi番目の要素および点bのi番目の要素であり、w
iは、a
iおよびb
i間の重みである。i
opt_lおよびi
opt_hは、それぞれ、点a,点bに係る要素のうち光学的特徴に係る要素(以下「光学的特徴要素」という。)の最小要素番号および最大要素番号である。i
spc_lおよびi
spc_hは、それぞれ、点a,点bに係る要素のうち空間座標に係る要素(以下「空間座標要素」という。)の最小要素番号および最大要素番号である。
【0049】
また、上記数2における重みw
iを、数4に示すコスト関数E(w)が最少になるようリシェイプを繰り返し、決定することができる。
【数4】
但し、C
iは、i番目の光学的特徴要素の寄与度であり、数5に示すように、i番目の光学的特徴要素についてのスーパーピクセル内分散V
iのリシェイプによる変化率(リシェイプ後の値V
ireshapedをリシェイプ前の初期値V
iinitialで割った値)の逆数で定義する。スーパーピクセル内分散V
iは数6で定義できる。Cバー(記号Cの上に「バー(横線)」を付したもの。以下「バー」付記号につき同様に表現する。)は、全てのC
iの平均であり、N
optは、光学的特徴要素の数である。
【数5】
【数6】
ここで、Kは、画像領域内のスーパーピクセル数である。σ
2i,kは、k番目のスーパーピクセルにおけるi番目の光学的特徴要素の分散であり、数7により計算できる。なお、C
iの逆数は、リシェイプによってどの程度スーパーピクセル内分散V
iが低下したかを示す指標となることから、各光学的特徴についての1/C
iの平均は、スーパーピクセルの評価指標として用いることができる。よって、これを「スーパーピクセル内平均乱雑度」としてスーパーピクセルの評価指標に用いるものとする。
【数7】
ここで、sは、k番目のスーパーピクセル内の画素数である。x
i,j,kは、k番目のスーパーピクセル内のj番目の画素におけるi番目の光学的特徴要素の値(光学特徴値)である。x
i,kバーは、k番目のスーパーピクセルにおけるi番目の光学特徴値の平均(平均光学特徴値)である。
【0050】
以上のように重みw
iを決定し、スーパーピクセルのリシェイプを繰り返すことで、スーパーピクセルの形状が、層構造のような生体組織の微細構造に適合するようになり、同時に光学特徴値のスーパーピクセル内での分散値の全スーパーピクセルについての総計が最少になるよう収束する。この結果、スーパーピクセルの形状および大きさは、オリジナル画像の微細構造を維持しつつ、全ての光学的特徴において妥当な統計的正確さをバランスよく実現するよう、収束する。この結果、トレードオフの関係にある画像の鮮明さと統計的な正確さとを合理的に調整し、鮮明さと統計的正確さの両方に優れた断面画像を生成することができる。
【0051】
なお、スーパーピクセルを生成する最初のステップとして、試料断面画像が生成される画像領域を埋め尽くす初期スーパーピクセルを生成することができる。この場合、初期スーパーピクセルのそれぞれが、均一な空間形状を有することが好ましい。均一な空間形状として、三角形、長方形、正方形、正六角形が例示できる。
【0052】
また、光学的特徴として、信号強度(I)、ローカル複屈折(BR)、偏光均一度(DOPU)およびOCT造影相関マッピング(OCT−A)の4つを選択した場合、多次元空間における指標は、これら4つの光学的特徴に加え、試料断面画像における画素位置を示すBスキャン方向座標(x)およびAスキャン方向座標(z)を有する6次元となる。当該6次元空間における点aをベクトル表記した場合、
a=[a
I,a
BR,a
DOPU,a
OCT−A,a
x,a
z]
T
となり、点bは、
b=[b
I,b
BR,b
DOPU,b
OCT−A,b
x,b
z]
T
となる。点a,bの1番目〜4番目の要素は、それぞれ、I,BR,DOPU,OCT−Aの光学的特徴に対応し、5番目および6番目の要素は、それぞれ、x座標,z座標に対応する。この場合、数2のD
optおよび数3のD
spcは、それぞれ、数8および数9のようになり、数4のE(w)は、数10のようになる。
【実施例】
【0054】
本実施の形態の画像処理方法を、眼科診断用に取得したJM−OCT画像データに適用した例を示す。
(試料画像データの取得)
JM−OCTを用い、試料画像データを取得した。OCT装置におけるプローブ光(光源)の中心波長を1.06μmとし、スキャンレートを100,000A−ライン/s、軸分解能を6.2μmとした。感度を91dBとし、二人の健常者の斑紋および視神経乳頭(ONHs)を試料として、6.0mmレンジの水平方向スキャン(Bスキャン)を連続16回行い、試料画像データを取得した。1回のBスキャンに含まれるAライン数(Aスキャンのライン数)は490とした。得られた16回分のBスキャンデータは、複合的に平均化し、非特許文献2〜5に記載されたJM−OCTを適用して、信号強度(I)、ローカル複屈折(BR)、偏光均一度(DOPU)およびOCT造影相関マッピング(OCT−A)の各光学的特徴に対応する試料画像データを得た。
【0055】
試料断面画像が生成される画像領域の全面に、正六角形の初期スーパーピクセルを、S=6画素となるよう配置した。1画像領域内の初期スーパーピクセルの数Kは、オリジナル画像の画素数Nの1/36となり、本実施例の場合、K=6533個であった。
【0056】
重みw
iにランダムな値を割り当て、数1、数8および数9を用いて各画素とスーパーピクセルの重心との距離を計算し、判断対象の画素が最も近い重心をもつスーパーピクセルに属するようスーパーピクセルをリシェイプした。同時に数10、数5〜7を用いてコスト関数E(w)を計算し、E(w)が小さくなるようにw
iに変位を与え、スーパーピクセルのリシェイプを繰り返した。これによりw
iの最適化を実行した。
【0057】
図2は、信号強度(I)、ローカル複屈折(BR)、偏光均一度(DOPU)およびOCT造影相関マッピング(OCT−A)のそれぞれについての重みの値がリシェイプの繰り返しにより変化する様子を示したグラフであり、(a)、(b)および(c)のそれぞれは、ランダムに与えたw
i初期値を独立な3通りについて示したものである。(a)〜(c)の何れの初期値の場合であっても、I,BR,DOPU,OCT−Aの各重みw
iは一定の値に収束することがわかった。また、その収束は概ね10回の繰り返しで達成されることもわかった。
【0058】
図3は、繰り返し数に対するコスト関数の変化を示したグラフであり、
図4は、繰り返し数に対するI,BR,DOPU,OCT−Aの各寄与度の変化を示したグラフである。
図3から、リシェイプの繰り返しによりコスト関数が大きく低下していることがわかる。また
図4から、I,BR,DOPU,OCT−Aの各光学的特徴の寄与度が均等であることがわかる。
【0059】
図5は、コンパクトネス因子がスーパーピクセルのリシェイプに与える影響を説明するための図である。
図5において、上から1行目の写真(a)〜(e)は、各スーパーピクセルまたは画素の平均信号強度(I)画像であり、2行目の写真(f)〜(i)は、1行目写真それぞれのスーパーピクセル領域が明確に認識できるようランダムにグレー表記したものである。3行目の写真(j)〜(n)は、1行目写真それぞれの白枠内を拡大して示したもの、4行目の写真(o)〜(r)は、2行目写真それぞれの白枠内を拡大して示したものである。また、左から1列目の写真(a)、(f)、(j)および(o)はコンパクトネス因子が100の場合、2列目の写真(b)、(g)、(k)および(p)はコンパクトネス因子が70の場合、3列目の写真(c)、(h)、(l)および(q)はコンパクトネス因子が40の場合、4列目の写真(d)、(i)、(m)および(r)はコンパクトネス因子が10の場合、5列目の写真(e)および(n)はオリジナル画像を示す。
【0060】
図5から、コンパクトネス因子が100の場合、スーパーピクセルの形状が初期状態の正六角形から形状も大きさも大きく変化していないことがわかる。一方、コンパクトネス因子が10の場合、スーパーピクセルの形状は初期状態が大きく変わり、オリジナル画像と比較しても遜色ない程度に微細な組織の層構造を再現していることがわかる。
【0061】
図6は、コンパクトネス因子に対するスーパーピクセル内平均乱雑度の変化を示したグラフである。コンパクトネス因子が10に至るまでは、スーパーピクセル内平均乱雑度が低下し、スーパーピクセルの形状が組織構造と良好に合致していることがわかる。ただし、コンパクトネス因子が0になるとスーパーピクセル内平均乱雑度は逆に大きくなり好ましくない。よって、コンパクトネス因子には適切な範囲が存在し、実際の計算においては当該適切な範囲でコンパクトネス因子を選択することが好ましい。本実施例では、コンパクトネス因子の適切な範囲は10周辺であり、コンパクトネス因子として10を選択した。
【0062】
図7は、視神経乳頭(ONHs)部の生体試料画像である。
図7において、左から1列目に信号強度(I)、2列目にOCT造影相関マッピング(OCT−A)、3列目にローカル複屈折(BR)、4列目に偏光均一度(DOPU)の試料断面画像を示す。また、上から1行目の写真(a)〜(d)はオリジナル画像を、2行目の写真(e)〜(h)はリシェイプ後のスーパーピクセルを適用したものの試料断面画像を示す。3行目の写真(i)〜(t)は、各光学的特徴(I、OCT−A、BRおよびDOPU)における拡大写真であって、オリジナル画像((i)、(l)、(o)および(r))、初期スーパーピクセルを配置したのみでリシェイプ前のスーパーピクセルを適用した画像((j)、(m)、(p)および(s))、リシェイプ後のスーパーピクセルを適用した画像((k)、(n)、(q)および(t))を示す。
【0063】
図7の信号強度(I)に係る画像を観察すると、リシェイプ後のスーパーピクセルを適用した画像(k)において、網膜色素上皮を含む網膜の微細な層構造が明瞭に表現されていることがわかる。画像(k)の明瞭さは、オリジナル画像(i)の明瞭さに引けを取らないと思われる。また、偏光均一度(DOPU)に係る画像を観察すると、オリジナル画像(r)では不明瞭であるのに対し、リシェイプ後のスーパーピクセルを適用した画像(t)では信号強度(I)の場合と同様に、網膜色素上皮が明瞭に認識できる。また、OCT造影相関マッピング(OCT−A)に係る画像を観察すると、オリジナル画像(l)では不明瞭であるのに対し、リシェイプ後のスーパーピクセルを適用した画像(n)では血管構造が明瞭に表現されていることがわかる。さらに、ローカル複屈折(BR)に係る画像を観察すると、オリジナル画像(o)では構造が判別不能であるのに対し、リシェイプ後のスーパーピクセルを適用した画像(q)では強膜構造が明瞭に表現されていることがわかる。以上のとおり、本実施例の画像処理方法を用いれば、いろいろな種類の生体組織に応じた微細な組織構造を、明瞭に表示することが可能になる。
【0064】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0065】
なお、上記実施の形態では、主に画像処理方法について説明したが、本願発明は画像処理システムあるいはプログラムとして把握することも可能である。
【0066】
すなわち、本願発明は、光コヒーレンストモグラフィー(OCT)により取得した単一または複数の試料画像データから、光学的特徴が異なる複数の試料断面画像を生成する画像生成システムであって、試料画像データに含まれる画素データの光学的特徴類似性および空間近接性に基づき、各画素データに対応した画素(ピクセル)をクラスタリングし、スーパーピクセルを生成するスーパーピクセル生成部と、スーパーピクセル生成部で生成したスーパーピクセルに含まれる各画素の画素データに基づき、当該スーパーピクセルを代表する画素群データを生成する画素群データ生成部と、画素群データ生成部で生成した画素群データに基づき、複数の試料断面画像を生成する試料断面画像生成部と、を有する画像生成システムとして把握することができる。
【0067】
また、本願発明は、光コヒーレンストモグラフィー(OCT)により取得した単一または複数の試料画像データから、光学的特徴が異なる複数の試料断面画像を生成する画像生成用のコンピュータに、試料画像データに含まれる画素データの光学的特徴類似性および空間近接性に基づき、各画素データに対応した画素(ピクセル)をクラスタリングし、スーパーピクセルを生成するスーパーピクセル生成機能と、スーパーピクセル生成機能により生成されたスーパーピクセルに含まれる各画素の画素データに基づき、当該スーパーピクセルを代表する画素群データを生成する画素群データ生成機能と、画素群データ生成機能により生成された画素群データに基づき、複数の試料断面画像を生成する試料断面画像生成機能と、を実現させるためのプログラムとして把握することができる。