(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-05
(45)【発行日】2025-02-14
(54)【発明の名称】画像処理装置、画像処理方法およびプログラム
(51)【国際特許分類】
G01N 21/17 20060101AFI20250206BHJP
【FI】
G01N21/17 625
(21)【出願番号】P 2021556159
(86)(22)【出願日】2020-11-13
(86)【国際出願番号】 JP2020042352
(87)【国際公開番号】W WO2021095826
(87)【国際公開日】2021-05-20
【審査請求日】2023-08-10
(31)【優先権主張番号】P 2019206436
(32)【優先日】2019-11-14
(33)【優先権主張国・地域又は機関】JP
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和1年度、国立研究開発法人科学技術振興機構、「未来社会創造事業」 「仮想開口顕微鏡ハードウェア・信号画像処理ソフトウェア開発」 委託研究開発、産業技術力強化法第17条の適用を受ける特許出願
(73)【特許権者】
【識別番号】504171134
【氏名又は名称】国立大学法人 筑波大学
(74)【代理人】
【識別番号】100106909
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100188558
【氏名又は名称】飯田 雅人
(74)【代理人】
【識別番号】100169764
【氏名又は名称】清水 雄一郎
(72)【発明者】
【氏名】安野 嘉晃
(72)【発明者】
【氏名】笈田 大輔
【審査官】小野寺 麻美子
(56)【参考文献】
【文献】特開2017-080344(JP,A)
【文献】特開2018-066762(JP,A)
【文献】特開2014-228473(JP,A)
【文献】特開2008-175698(JP,A)
【文献】米国特許出願公開第2019/0117109(US,A1)
【文献】WARTAK, A. et al.,Multi-directional optical coherence tomography for retinal imaging,BIOMEDICAL OPTICS EXPRESS,2017年11月13日,Vol. 8, No. 12,https://doi.org/10.1364/BOE.8.005560
【文献】LY, A. et al.,An evidence-based approach to the routine use of optical coherence tomography,Clinical and Experimental Optometry,2019年05月03日,Vol. 102,pp. 242-259,https://doi.org/10.1111/cxo.12847
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/17
A61B 3/00 - A61B 3/18
G06T 7/11
JSTPlus/JMEDPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
試料の状態を表す光干渉断層信号を空間周波数領域に変換して前記試料の逆空間に対応する瞳面における電場を示す電場データを生成する電場推定部と、
前記瞳面における電場の通過特性分布を示すマスクを前記電場データに作用して、マスク電場データを生成するマスク部と、
前記マスク電場データを空間領域に変換してマスク光干渉断層信号を生成する変換部と、
M個(Mは、2以上の整数)の前記マスク光干渉断層信号のそれぞれに基づくマスク画像を異なる表示態様をもって合成して合成画像を生成する合成部と、を備え、
前記マスク部は、前記電場データに前記通過特性分布が異なるM個のマスクをそれぞれ作用してM個のマスク電場データを取得し、
前記変換部は、前記M個のマスク電場データをそれぞれ空間領域に変換して前記M個のマスク光干渉断層信号を生成する
画像処理装置。
【請求項2】
前記通過特性分布は、前記瞳面において前記電場を通過する方位角の空間周波数帯域を示す
請求項1に記載の画像処理装置。
【請求項3】
前記通過特性分布は、前記瞳面において前記電場を通過する動径の空間周波数帯域を示す
請求項1または請求項2に記載の画像処理装置。
【請求項4】
前記マスクは、空間周波数に対応するサンプル点ごとに前記電場の通過の有無を示す
請求項2または請求項3に記載の画像処理装置。
【請求項5】
前記マスクは、前記電場を通過する通過領域と前記電場を通過しない遮断領域との境界から所定の範囲内においてサンプル点間で単調に変化するマスク値を有する
請求項4に記載の画像処理装置。
【請求項6】
前記マスク光干渉断層信号に基づく前記試料の構造を示すマスク画像を生成する合成部を備える
請求項1から請求項5のいずれか一項に記載の画像処理装置。
【請求項7】
前記表示態様として前記M個のマスク画像をそれぞれ表す色の色相が異なる
請求項1に記載の画像処理装置。
【請求項8】
前記表示態様として前記M個のマスク画像をそれぞれ表す色を前記M個間で合成した色は、無彩色である
請求項
7に記載の画像処理装置。
【請求項9】
画像処理装置における方法であって、
試料の状態を表す光干渉断層信号を空間周波数領域に変換して前記試料の逆空間に対応する瞳面における電場を示す電場データを生成する電場推定過程と、
前記瞳面における電場の通過特性分布を示すマスクを前記電場データに作用して、マスク電場データを生成するマスク過程と、
前記マスク電場データを空間領域に変換してマスク光干渉断層信号を生成する変換過程と、
M個(Mは、2以上の整数)の前記マスク光干渉断層信号のそれぞれに基づくマスク画像を異なる表示態様をもって合成して合成画像を生成する合成過程と、を有し、
前記マスク過程において、前記電場データに前記通過特性分布が異なるM個のマスクをそれぞれ作用してM個のマスク電場データを取得し、
前記変換過程において、前記M個のマスク電場データをそれぞれ空間領域に変換して前記M個のマスク光干渉断層信号を生成する
画像処理方法。
【請求項10】
画像処理装置のコンピュータに、
試料の状態を表す光干渉断層信号を空間周波数領域に変換して前記試料の逆空間に対応する瞳面における電場を示す電場データを生成する電場推定手順と、
前記瞳面における電場の通過特性分布を示すマスクを前記電場データに作用して、マスク電場データを生成するマスク手順と、
前記マスク電場データを空間領域に変換してマスク光干渉断層信号を生成する変換手順と、
M個(Mは、2以上の整数)の前記マスク光干渉断層信号のそれぞれに基づくマスク画像を異なる表示態様をもって合成して合成画像を生成する合成過程と、
を実行させるためのプログラム
であって、
前記マスク手順において、前記電場データに前記通過特性分布が異なるM個のマスクをそれぞれ作用してM個のマスク電場データを取得し、
前記変換手順において、前記M個のマスク電場データをそれぞれ空間領域に変換して前記M個のマスク光干渉断層信号を生成する
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
本願は、2019年11月14日に日本に出願された特願2019-206436号について優先権を主張し、それらの内容をここに援用する。
【背景技術】
【0002】
光干渉断層撮影(OCT:Optical Coherence Tomography)は、光の干渉性(コヒーレンス)を利用して試料(主に生体)の断層画像を取得する技術である。OCTによれば、試料の表面に限らず、その内部の構造を高い空間分解能で表す画像を取得することができる。従来から、OCTは眼科の網膜診断への実用化が行われている。その他、培養組織、ex vivo(生体外)サンプルなどの被観察組織を試料とする光学分解能以下の組織構造、微小繊維構造の特性(例えば、方向性、大きさの統計的性質)の可視化、定量化に用いられる。
【0003】
OCTを用いて試料を複数の方向から撮影すると、撮影方向ごとに異なる信号強度パターンを有する画像が得られる。信号強度パターンの変化は、試料を構成する組織の微細構造によると考えられている。そこで、非特許文献1に示すように、多方向(Multi-directional)OCT計測を行うことで、組織の微細構造の特性を間接的に可視化する手法が試みられている。
【先行技術文献】
【非特許文献】
【0004】
【文献】Wartak et al., “Multi-directional optical coherence tomography for retinal imaging,” Biomedical Optics Express Vol.8, No.12, p.5560-5578, December 1, 2017.
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、非特許文献1に記載の手法は、ハードウェアを用いて多方向の観察を実現されるため、装置の構成が複雑となり、経済的な実現が困難であった。また、計測を複数回行うために計測時間が長くなりがちである。そのため、生きた試料に適用することは必ずしも現実的ではない。また、計測回数が制限されるので、多くの計測回数を要する定量的観察には不向きであるなど、計測対象の制約が生じる。
【0006】
本発明は上記事情に鑑みてなされたものであり、本発明の課題は、例えば、観察方向、計測時間、計測回数、計測対象などの観察に係る制約を解消または緩和して、より簡便に試料の観察に係る空間的条件を調整することができる画像処理装置、画像処理方法およびプログラムを提供することである。
【課題を解決するための手段】
【0007】
(1)本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、試料の状態を表す光干渉断層信号を空間周波数領域に変換して前記試料の逆空間に対応する瞳面における電場を示す電場データを生成する電場推定部と、前記瞳面における電場の通過特性分布を示すマスクを前記電場データに作用して、マスク電場データを生成するマスク部と、前記マスク電場データを空間領域に変換してマスク光干渉断層信号を生成する変換部と、M個(Mは、2以上の整数)の前記マスク光干渉断層信号のそれぞれに基づくマスク画像を異なる表示態様をもって合成して合成画像を生成する合成部と、を備え、前記マスク部は、前記電場データに前記通過特性分布が異なるM個のマスクをそれぞれ作用してM個のマスク電場データを取得し、前記変換部は、前記M個のマスク電場データをそれぞれ空間領域に変換して前記M個のマスク光干渉断層信号を生成する画像処理装置である。
【0008】
(2)本発明の他の態様は、(1)の画像処理装置であって、前記通過特性分布は、前記瞳面において前記電場を通過する方位角の空間周波数帯域を示してもよい。
【0009】
(3)本発明の他の態様は、(1)または(2)の画像処理装置であって、前記通過特性分布は、前記瞳面において前記電場を通過する動径の空間周波数帯域を示してもよい。
【0010】
(4)本発明の他の態様は、(1)または(2)の画像処理装置であって、前記マスクは、空間周波数に対応するサンプル点ごとに前記電場の通過の有無を示してもよい。
【0011】
(5)本発明の他の態様は、(4)の画像処理装置であって、前記マスクは、前記電場を通過する通過領域と前記電場を通過しない遮断領域との境界から所定の範囲内においてサンプル点間で単調に変化するマスク値を有してもよい。
【0012】
(6)本発明の他の態様は、(1)から(5)のいずれかの画像処理装置であって、前記マスク光干渉断層信号に基づく前記試料の構造を示すマスク画像を生成する合成部を備えてもよい。
【0014】
(7)本発明の他の態様は、(1)の画像処理装置であって、前記表示態様として前記M個のマスク画像をそれぞれ表す色の色相が異なってもよい。
【0015】
(8)本発明の他の態様は、(7)の画像処理装置であって、前記表示態様として前記M個のマスク画像をそれぞれ表す色を前記M個間で合成した色は、無彩色であってもよい。
【0016】
(9)本発明の他の態様は、画像処理装置における方法であって、試料の状態を表す光干渉断層信号を空間周波数領域に変換して前記試料の逆空間に対応する瞳面における電場を示す電場データを生成する電場推定過程と、前記瞳面における電場の通過特性分布を示すマスクを前記電場データに作用して、マスク電場データを生成するマスク過程と、前記マスク電場データを空間領域に変換してマスク光干渉断層信号を生成する変換過程と、M個(Mは、2以上の整数)の前記マスク光干渉断層信号のそれぞれに基づくマスク画像を異なる表示態様をもって合成して合成画像を生成する合成過程と、を有し、前記マスク過程において、前記電場データに前記通過特性分布が異なるM個のマスクをそれぞれ作用してM個のマスク電場データを取得し、前記変換過程において、前記M個のマスク電場データをそれぞれ空間領域に変換して前記M個のマスク光干渉断層信号を生成する画像処理方法である。
【0017】
(10)本発明の他の態様は、画像処理装置のコンピュータに、試料の状態を表す光干渉断層信号を空間周波数領域に変換して前記試料の逆空間に対応する瞳面における電場を示す電場データを生成する電場推定手順と、前記瞳面における電場の通過特性分布を示すマスクを前記電場データに作用して、マスク電場データを生成するマスク手順と、前記マスク電場データを空間領域に変換してマスク光干渉断層信号を生成する変換手順と、M個(Mは、2以上の整数)の前記マスク光干渉断層信号のそれぞれに基づくマスク画像を異なる表示態様をもって合成して合成画像を生成する合成過程と、を実行させるためのプログラムであって、前記マスク手順において、前記電場データに前記通過特性分布が異なるM個のマスクをそれぞれ作用してM個のマスク電場データを取得し、前記変換手順において、前記M個のマスク電場データをそれぞれ空間領域に変換して前記M個のマスク光干渉断層信号を生成するプログラムである。
【発明の効果】
【0018】
本発明によれば、より簡便に試料の観察に係る空間的条件を調整することができる。例えば、各方向からの反射光を取得するための光学部品の具備または調整を伴わなくても観察方向の調整や多方向観察を仮想的に実現することができる。
【図面の簡単な説明】
【0019】
【
図1】本実施形態に係る光干渉断層計の一例を示す構成図である。
【
図2】本実施形態に係る信号処理装置の機能構成例を示すブロック図である。
【
図3】本実施形態に係る画像処理の一例を示す説明図である。
【
図4】本実施形態に係る画像処理の他の例を示す説明図である。
【
図5】本実施形態に係る合成処理の例を示す説明図である。
【
図6A】本実施形態に係る合成画像の第1例を示す図である。
【
図6B】本実施形態に係る合成画像の第2例を示す図である。
【
図6C】本実施形態に係る合成画像の第3例を示す図である。
【
図6D】本実施形態に係る合成画像の第4例を示す図である。
【
図6E】本実施形態に係る合成画像の第5例を示す図である。
【
図6F】本実施形態に係る合成画像の第6例を示す図である。
【
図7A】本実施形態に係る断面OCT画像の例を示す図である。
【
図7B】本実施形態に係る断面OCT画像に対する合成画像の第1例を示す図である。
【
図7C】本実施形態に係る断面OCT画像に対する合成画像の第2例を示す図である。
【
図8】本実施形態に係る指向性マスクの他の例を示す図である。
【
図9】信号強度の主方向依存性の第1例を示す図である。
【
図10】信号強度の主方向依存性の第2例を示す図である。
【
図12A】本実施形態に係る合成画像の第7例を示す図である。
【
図12B】本実施形態に係る合成画像の第8例を示す図である。
【
図12C】本実施形態に係る合成画像の第9例を示す図である。
【
図12D】本実施形態に係る合成画像の第10例を示す図である。
【発明を実施するための形態】
【0020】
以下、図面を参照しながら本発明の実施形態について説明する。
図1は、本実施形態に係る光干渉断層計1の一例を示す構成図である。
光干渉断層計1は、OCTを用いて試料の状態を観測するための観測システムを構成する。
光干渉断層計1は、試料Smに光を照射し、試料Smから反射した反射光と、参照鏡40(後述)で反射された参照光とを干渉させて生じた干渉光を取得し、取得した干渉光から試料Smの表面とその内部の状態を示す画像を生成する装置である。
試料Smとする観測対象の物体は、例えば、人間もしくは動物の生体、非生物のいずれでもよい。生体は、眼底、血管、歯牙、皮下組織などであってもよい。非生物は、電子部品、機械部品など人工的な構造体、石材、鉱物などの天然の構造体、特定の形状を有しない物質のいずれでもよい。
【0021】
光干渉断層計1は、光源10、ビームスプリッタ20、コリメータ30a、30b、50a、50b、参照鏡40、ガルバノミラー60a、60b、分光器70、および画像処理装置100を含んで構成される。これらの構成部品のうち、ビームスプリッタ20、コリメータ30a、30b、50a、50b、参照鏡40、ガルバノミラー60a、60b、および分光器70は、干渉計と呼ばれる光学系を構成する。
図1に例示される干渉計は、光ファイバFを備えるマイケルソン干渉計である。より具体的には、光源10と分光器70、コリメータ30aとコリメータ50aは、それぞれ光ファイバFを用いてビームスプリッタに接続されている。光ファイバFは、光源10から照射される光の波長帯を含む伝送帯域を有する。
【0022】
光干渉断層計1では、フーリエドメインOCT(FD-OCT:Fourier-Domain OCT)である。光干渉断層計1では、FD-OCTとして分類される方式であるスペクトラルドメインOCT(SD-OCT:Spectral-DomainOCT)、波長掃引OCT(SS-OCT:Swept-Source OCT)等、のいずれが採用されてもよい。
【0023】
光源10は、超短波パルスレーザ、SLD(スーパールミネセントダイオード;Superluminescent Diode)などの波長掃引光源である。光源10は、例えば、近赤外の波長(例えば、800~1000nm)を有し、コヒーレンスが低いプローブ光を照射する。光源10から照射された光は、光ファイバF内部で導光され、ビームスプリッタ20に入射する。
【0024】
ビームスプリッタ20は、入射した光をコリメータ30aに向けて導光される光(以下、参照光)と、コリメータ50aに向けて導光される光(以下、測定光)に分離する。ビームスプリッタ20は、例えば、キューブビームスプリッタなどである。
【0025】
コリメータ30aは、ビームスプリッタ20から導光される参照光を平行光に変化させ、平行光をコリメータ30bに向けて出射する。
コリメータ30bは、コリメータ30aから入射される平行光を集光し、集光した参照光を参照鏡40に向けて出射する。なお、コリメータ30bは、参照鏡40で反射した参照光を入射し、平行光に変換し、変換した平行光をコリメータ30aに向けて出射する。
コリメータ30aは、コリメータ30bから入射した平行光を集光し、ビームスプリッタ20に向けて導光する。
【0026】
他方、コリメータ50aは、ビームスプリッタ20から導光される測定光を平行光に変換し、変換した平行光をガルバノミラー60aに向けて出射する。ガルバノミラー60a、60bの表面において、コリメータ50aから入射される平行光は、それぞれ反射され、コリメータ50bに向けて出射される。コリメータ50bは、コリメータ50aからガルバノミラー60a、60bを経由して入射された平行光を集光し、集光した測定光を試料Smに照射する。試料Smに照射される測定光は、試料Smの反射面において反射されコリメータ50bに入射される。反射面は、例えば、試料Smと試料Smの周囲環境(例えば、大気)との境界面に限られず、試料Sm内部における屈折率が異なる材質間もしくは組織間を区分する境界面となりうる。以下、試料Smの反射面において反射され、コリメータ50bに入射される光を反射光と呼ぶ。
【0027】
コリメータ50bは、入射された反射光をガルバノミラー60bに向けて出射する。ガルバノミラー60b、60aそれぞれの表面において、それぞれ反射され、コリメータ50aに向けて出射される。コリメータ50aは、コリメータ50aからガルバノミラー60a、60bを経由して入射された平行光を集光し、集光した反射光をビームスプリッタ20に向けて導光する。
ビームスプリッタ20は、参照鏡40で反射された参照光と試料Smで反射された反射光とを、光ファイバFを経由して分光器70に導光する。
【0028】
分光器70は、その内部に回折格子と受光素子を備える。回折格子は、ビームスプリッタ20から導光された参照光と反射光を分光する。分光した参照光と反射光は、互いに干渉し、干渉した干渉光となる。受光素子は、干渉光が照射される撮像面に配置される。受光素子は、照射される干渉光を検出し、検出した干渉光に基づく信号(以下、検出信号)を生成する。受光素子は、生成した検出信号を画像処理装置100に出力する。
【0029】
画像処理装置100は、分光器70から入力した検出信号から試料Smの状態を表すOCT信号を取得する。画像処理装置100は、観測点を所定の順序に従って順次変更し、個々の観測点において、または所定の単位をなす複数の観測点ごとに一括して取得された検出信号を順次累積して所定の観測領域内のOCT信号を生成する。
画像処理装置100は、生成したOCT信号を空間周波数領域に変換して試料Smの逆空間に対応する瞳面における反射光の電場を瞳面電場として推定する。画像処理装置100は、瞳面における電場の通過特性分布を示すマスクを推定した電場を示す電場データに作用して、マスク電場データを取得する。画像処理装置100は、取得したマスク電場データを空間領域に変換してマスクOCT信号を生成する。画像処理装置100は、生成したマスクOCT信号に基づくマスクOCT画像を生成する。
【0030】
画像処理装置100は、通過特性分布が異なるM個(Mは、2以上の整数)のマスクを電場データにそれぞれ作用してM個のマスク電場データを生成し、生成したM個のマスク電場データをそれぞれ空間領域に変換してM個のマスク画像を生成してもよい。画像処理装置100は、生成したM個のマスク画像にそれぞれ異なる表示態様(例えば、色)をもって合成して合成画像を生成してもよい。
【0031】
次に、本実施形態に係る画像処理装置100の機能構成例について説明する。
図2は、本実施形態に係る画像処理装置100の機能構成例を示すブロック図である。
画像処理装置100は、制御部110と記憶部190を含んで構成される。制御部110の一部または全部の機能は、例えば、CPU(Central Processing Unit)等のプロセッサを含んで構成されるコンピュータとして実現される。プロセッサは、予め記憶部190に記憶させておいたプログラムを読み出し、読み出したプログラムに記述された指令で指示される処理を行って、その機能を奏する。本願では、プログラムに記述された指令で指示される処理を行うことを、プログラムを実行する、プログラムの実行、などと呼ぶことがある。制御部110の一部または全部は、プロセッサなどの汎用のハードウェアに限られず、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)等の専用のハードウェアを含んで構成されてもよい。
【0032】
制御部110は、光学系制御部120、検出信号取得部130、電場推定部140、マスク部150、変換部160、画像合成部170、および出力処理部180を含んで構成される。
【0033】
光学系制御部120は、ガルバノミラー60a、60bの位置を可変にする駆動機構を駆動させ、試料Smの観測点であるサンプル点を走査する。試料Smのサンプル点は、試料Smの深さ方向と、その方向に交差する方向(例えば、試料Smの正面に平行な方向)のそれぞれについて走査される。以下の説明では、試料の深さ方向を、三次元直交座標系におけるz方向と呼び、z方向と相互に直交する第1方向、第2方向をそれぞれx方向、y方向と呼ぶことがある。試料の深さ方向への信号取得は、A-スキャン(A-scan)と呼ばれ、その方向に交差する方向(例えば、x方向またはy方向)への信号取得は、B-スキャン(B-scan)と呼ばれることがある。
【0034】
検出信号取得部130は、分光器70から検出信号を逐次に取得する。検出信号取得部130は、取得した検出信号に基づいて試料Smの深さ方向の反射光の強度分布を示す信号値を試料Smが存在する三次元空間において所定の間隔で配列されたサンプル点ごとに取得する。試料Smの深さ方向は、測定光の入射方向(z方向)に相当する。検出信号取得部130は、z方向に交差する面(例えば、x-y平面)に沿った信号取得により変更される観測点ごとに反射光の強度分布を取得する処理を繰り返す。取得される反射光の強度分布は、試料Smの屈折率の深さ方向の分布に基づく。これにより、検出信号取得部130は、観測可能とする三次元領域(以下、観測可能領域)内の試料Smの状態を表すデータを三次元OCT信号(OCTボリューム(OCT volume)とも呼ばれる)として取得することができる。検出信号取得部130は、三次元OCT信号を記憶部190に記憶する。なお、z方向に交差する面は、必ずしもz方向に直交していなくてもよく、z方向と平行でなければよい。また、z方向に交差する二次元の面において、個々のサンプル点は、必ずしも、直交格子の各格子点上に配置されていなくてもよい。個々のサンプル点は、例えば、斜め格子の各格子点上に配置されてもよいし、非周期的に配置されてもよい。
上記の説明では、対象とするサンプル点の変更を伴う信号取得もしくは複数のサンプル点に対する一括した信号取得に対して「スキャン」と呼称しているが、必ずしも光学系を構成する部材(例えば、コリメータ50b、試料Smの支持台)または検出器の駆動による走査を伴わない場合も含まれうる。その場合には、信号取得に係る機能を検出信号取得部130が担い、光学系制御部120において省略される。例えば、OCTの方式としてFD-OCTを用いてx-y平面上のある1点においてA-スキャンを行う際、検出信号取得部130は、試料Smの深さにより異なる周波数成分を有する反射光に基づく干渉光を検出信号として検出する。検出信号取得部130は、検出信号をフーリエ変換して周波数ごとの変換係数を算出し、周波数に対応付けられた深さの変換係数をその深さにおける信号値として定めることができる。さらに、x方向またはy方向への駆動による走査を要しない場合には、光学系制御部120が省略されうる。
【0035】
検出信号取得部130は、取得した三次元OCT信号のうち観測対象とする二次元平面(以下、観測対象平面)における反射光の強度分布を表す部分を二次元OCT信号(以下、単にOCT信号と呼ぶことがある)として抽出する。観測対象平面は、例えば、試料Smの正面である。正面は、試料Smの深さ方向に直交する平面(つまり、x-y平面)であり、en face面とも呼ばれる。検出信号取得部130は、抽出したOCT信号を記憶部190に記憶する。
検出信号取得部130は、例えば、出力処理部180から入力される制御信号が示す深度(つまり、z座標)の二次元平面(例えば、x-y平面)を観測対象平面として選択してもよい。
なお、本実施形態では、観測可能領域における隣接するサンプル点の間隔は、光学系の空間分解能以下とすることが望ましい。
【0036】
電場推定部140は、記憶部190に記憶されたOCT信号を読み出し、読み出した空間領域のOCT信号に対して二次元フーリエ変換を行い、空間周波数領域のデータを生成する。フーリエ変換により得られた空間周波数領域のデータは瞳面(pupil plane)における電場(以下、瞳面電場)を示すデータ(以下、電場データ)に相当する。即ち、観測対象平面に係るOCT信号に対して二次元フーリエ変換を行うことで瞳面に投影された反射光の電場が推定される。また、一般に空間周波数領域に変換された周波数サンプル点(周波数ビン)ごとの変換係数は複素数となり、その絶対値と偏角をもって表される。従って、電場データは、個々の変換係数の絶対値、偏角により振幅強度、位相が表される。電場推定部140は、生成した空間周波数領域のデータを電場データとして記憶部190に記憶する。
【0037】
図3に例示されるように、瞳面Ppは、試料Smの逆空間に対応する後焦点面(back-focal plane)に相当する。つまり、瞳面Ppは、試料Smを挟んで対物レンズOlとは反対側に配置される面であって、試料Smから拡散し、対物レンズOlにより平行化された反射光が仮想的に投影される面である。空間周波数領域に変換される空間周波数の全帯域が、瞳面において電場の観測対象とする観測領域に対応する。対物レンズOlの光学軸と瞳面が交わる交点が空間周波数の原点に対応する。空間周波数領域における空間周波数は、観測領域内のサンプル点に対応する。試料Smは、対物レンズOlの光学軸と交わる位置に設置される。
【0038】
図2に戻り、マスク部150は、記憶部190に記憶された電場データを読み出し、読み出した電場データに対してマスク(mask)を作用してマスク電場(masked electric field)を示すマスク電場データを生成する。マスクは、空間周波数領域における反射光の電場の通過特性分布を示す数値データである。マスクは、個々の空間周波数に相当する周波数サンプル点ごとに電場の通過特性を示す数値をマスク値として示す。例えば、周波数サンプル点ごとのマスク値は、1または0の2通りのうち一方の値をとり、1、0は、それぞれ電場の通過の有無を示す。従って、マスク値を1とする周波数サンプル点の分布は、試料Smの逆空間において電場を通過する空間周波数領域の通過帯域を示す。他の観点では、通過帯域は反射光を通過する瞳面上の仮想的な開口部(aperture)を示す。他方、マスク値を0とする周波数サンプル点の分布は、試料Smの逆空間において電場を通過しない空間周波数領域の遮断帯域を示す。他の観点では、遮断帯域は反射光を通過しない瞳面上の仮想的な遮蔽部(shield)を示す。
【0039】
マスクを作用する際、マスク部150は、電場データが示す周波数サンプル点ごとの電場値に当該周波数サンプルのマスク値を乗算する。マスク部150は、乗算により得られる乗算値をマスク電場値として周波数サンプル点ごとに有するデータをマスク電場データとして生成する。マスク電場データは、後述するように通過特性分布に対応する空間特性(例えば、指向性)を反映したOCT画像の生成に用いられる。マスク部150は、生成したマスク電場データを記憶部190に記憶する。マスクの具体例については、後述する。
【0040】
変換部160は、記憶部190に記憶されたマスク電場データを読み出し、読み出した空間周波数領域のマスク電場データに対して二次元逆フーリエ変換を行い、空間領域のマスクOCT信号を生成する。変換部160は、生成した空間領域のマスクOCT信号を記憶部190に記憶する。
なお、空間周波数領域における電場の通過特性分布がそれぞれ異なるM個のマスクが設定される場合には、マスク部150は、読み出した電場データに対してM個のマスクのそれぞれを作用して、M個のマスク電場データを生成してもよい。その場合、変換部160は、空間周波数領域のM個のマスク電場データのそれぞれに対して空間領域のマスクOCT信号に変換する。
【0041】
画像合成部170は、記憶部190に記憶されたマスクOCT信号を読み出し、読み出したマスクOCT信号が示す観測対象平面におけるサンプル点ごとの信号値に対して所定の変換関数を用いて画素ごとの輝度値に変換する。変換される輝度値は、画素ごとのビット深度で表現可能な値域内の値をとる。画像合成部170は、サンプル点ごとに変換した輝度値を有するマスク画像データを生成する。生成されるマスク画像データは、通過特性分布に対応する空間特性が反映されたマスク画像を示す。
瞳面電場のマスクに用いられるマスクの数が1個である場合には、画像合成部170は、生成したマスク画像データを、出力処理部180から入力される制御信号に応じて出力画像データとして表示部(図示せず)に出力する。
【0042】
M個のマスクにそれぞれ対応するマスクOCT信号が取得される場合には、画像合成部170は、M個のマスクOCT画像信号のそれぞれについて異なる表示態様(例えば、色)を有するマスク画像を生成する。
画像合成部170は、生成したM個のマスク画像を合成して、1個の合成画像を示す合成画像データを生成する。例えば、RGB表色系を用いたカラーの合成画像を生成する場合には、画像合成部170は、M個のマスク画像間で画素ごとの画素値の平均値を、合成画像の画素値として定める。RGB表色系では、濃淡が設定される画素ブロックごとに原色である赤、緑、青を表す画素それぞれの画素値の比率で色合い(色度)が定まる。画像合成部170は、生成した合成画像データを、出力処理部180から入力される制御信号に応じて出力画像データとして表示部に出力する。
画像合成部170は、出力処理部180から入力される制御信号に応じて出力画像データを記憶部190に記憶してもよい。
【0043】
出力処理部180は、操作入力部(図示せず)から入力される操作信号に基づいてOCT画像を示す出力画像データの生成または出力を制御する。
操作入力部は、例えば、ボタン、つまみ、ダイヤル、マウス、ジョイスティックなど、ユーザの操作を受け付け、受け付けた操作に応じた操作信号を生成する部材を含んで構成されてもよい。操作入力部は、他の機器(例えば、リモートコントローラ等の携帯機器)から操作信号を無線または有線で受信する入力インタフェースであってもよい。
【0044】
操作信号により、例えば、OCT画像の表示または記憶の要否、観測対象領域とする観測対象平面、マスクの空間周波数特性などがパラメータとして指示される。出力処理部180は、操作により設定可能とするパラメータ、パラメータの設定、設定可能とするパラメータを案内するための設定画面を表示部に表示させ、OCT画像の表示に係るユーザインタフェースを構成してもよい。
例えば、OCT画像の表示の要否を示す操作信号が入力されるとき、出力処理部180は、その表示の要否を示す制御信号を画像合成部170に出力する。画像合成部170は、出力処理部180から表示要を示す制御信号が入力されるとき出力画像データを表示部に出力し、出力処理部180から表示否を示す制御信号が入力されるとき出力画像データを表示部に出力しない。
【0045】
観測対象平面を示す操作信号が入力されるとき、出力処理部180は、その観測対象平面を示す制御信号を検出信号取得部130に出力する。検出信号取得部130は、三次元OCT信号のうち出力処理部180から入力される制御信号で示される観測対象平面に係る部分をOCT信号として出力する。観測対象平面は、例えば、試料Smの表面からの深さ、観察方向、観察領域の面積、などをパラメータとして定義される。
マスクの空間周波数特性を示す操作信号が入力されるとき、出力処理部180は、その空間周波数特性を示す制御信号をマスク部150に出力する。出力処理部180は、入力される操作信号に基づいて複数のマスクのそれぞれの空間周波数特性を設定し、設定した空間周波数特性を示す制御信号をマスク部150に出力してもよい。マスク部150は、出力処理部180から入力される制御信号で示される空間周波数特性を有するマスクを設定する。
【0046】
記憶部190は、上記のプログラムの他、制御部110が実行する処理に用いられる各種のデータ、制御部110が取得した各種のデータを記憶する。
記憶部190は、例えば、ROM(Read Only Memory)、フラッシュメモリ、HDD(Hard Disk Drive)などの不揮発性の(非一時的)記憶媒体を含んで構成される。記憶部190は、例えば、RAM(Random Access Memory)、レジスタなどの揮発性の記憶媒体を含んで構成される。
【0047】
(画像処理)
次に、本実施形態に係る画像処理の例について説明する。
図3は、本実施形態に係る画像処理の一例を示す説明図である。
図3に例示される画像処理は、OCT画像の指向性イメージング(directional imaging)への一応用例である。指向性イメージングでは、空間周波数領域における指向性(directionality)を有するマスク(以下、指向性マスク)が用いられる。指向性マスクは、二次元の空間周波数領域において原点からの方位角(azimuth)に対応する空間周波数(以下、方位角空間周波数)に対する依存性を伴うマスク値を有する。
【0048】
(ステップS01)電場推定部140は、検出信号取得部130が取得した空間領域の正面OCT画像Oi01を示すOCT信号に対して二次元フーリエ変換を行い、瞳面電場Pe01を示す空間周波数領域の瞳面電場データを生成する。正面OCT画像Oi01は、観測対象平面を正面とするOCT画像である。
(ステップS02)マスク部150は、電場推定部140が生成した瞳面電場データに対して、仮想マスクの例として指向性マスクDm01を作用してマスク電場Ie01を示すマスク電場データを生成する。
指向性マスクDm01は、原点からの距離(動径)に対応する空間周波数(以下、動径空間周波数)が所定の帯域内であって、かつ、方位角空間周波数として-π/2から0を経てπ/2までの半周の帯域を通過帯域とし、それ以外の帯域を遮断帯域とする。
【0049】
(ステップS03)変換部160は、マスク部150が生成したマスク電場データに対して二次元逆フーリエ変換を行い、空間領域のマスクOCT信号を生成する。
画像合成部170は、マスクOCT信号が示すサンプル点ごとの信号値に対し、画素ごとの画素値に変換し、変換により得られた画素値を有するマスク画像データを生成する。
画像合成部170は、生成したマスク画像データを出力画像データとして表示部(図示せず)に出力する。
【0050】
上記のように、指向性マスクDm01を瞳面電場Pe01に作用することで、方位角空間周波数が0(rad)を中心(主方向)とする帯域幅πの範囲内の空間周波数帯域における瞳面電場が通過され、それ以外の帯域における瞳面電場が遮断される。これにより、得られたマスク電場Ie01により方位角空間周波数0(rad)を主方向とする指向性を有するOCT画像が得られる。
【0051】
また、マスクの空間周波数特性を操作に応じて可変とすることで、光学系の駆動または調整を伴わずに取得済のOCT信号を用いて、ユーザは任意にOCT画像の指向性を調整することができる。例えば、出力処理部180は、操作入力部(図示せず)から入力される操作信号に基づいて電場を通過させる通過帯域として方位角空間周波数帯域と動径空間周波数帯域の一方または両方を設定可能とする。マスク部150は、出力処理部180が設定した通過帯域内の周波数サンプル点におけるマスク値を1とし、その他の周波数サンプル点に係るマスク値を0と設定し、設定したマスク値を示す指向性マスクを生成すればよい。
【0052】
図4は、本実施形態に係る画像処理の他の例を示す説明例である。
図4を用いて、仮想多方向イメージング(virtual multi-directional imaging)への応用例について説明する。
多方向イメージングでは、ステップS02(
図3)において、マスク部150は、共通の瞳面電場に対して空間周波数領域における指向性がそれぞれ異なるM個の指向性マスクを用いて、マスク電場データを生成する。
図4に示す例では、3個の指向性マスクDm01-Dm03が用いられる。指向性マスクDm01-Dm03のそれぞれの通過帯域は、2π/3周期で設定され、空間周波数領域において互いに重ならない。
【0053】
ステップS03(
図3)において、変換部160は、生成されたM個のマスク電場データに対してそれぞれ二次元逆フーリエ変換を行い、空間領域のマスクOCT信号を生成する。画像合成部170は、生成したM個の空間領域のマスクOCT信号のそれぞれをマスクOCT画像に変換する。
画像合成部170は、変換されたM個のマスクOCT画像に対してそれぞれ異なる色で表示される合成画像を示す出力画像データを生成し、生成した出力画像データを表示部に出力する。よって、指向性がそれぞれ異なるOCT画像を異なる色で多重化した合成画像が表示される。
ここで、出力処理部180は、操作入力部(図示せず)から入力される操作信号に基づいてM個(Mは、2以上の整数)のマスクのそれぞれについて、電場を通過させる通過帯域として方位角空間周波数帯域と動径空間周波数帯域の一方または両方を設定可能としてもよい。その場合、マスク部150は、個々のマスクについて、出力処理部180が設定した通過帯域内の周波数サンプル点のマスク値を1とし、その他の周波数サンプル点のマスク値0と設定する。
【0054】
次に、M個のそれぞれ異なる指向性を付与したマスクOCT画像(以下、指向性画像)に対する合成処理の例について説明する。
図5は、本実施形態に係る合成処理の例を示す説明図である。
(ステップS11)画像合成部170は、M個の指向性画像に対してそれぞれ異なる色で着色し、着色画像を示す着色画像データを生成する。
図5に示す例では、画像合成部170は、2つの指向性画像Di11、Di12に対して、それぞれ異なる色(例えば、赤、緑)で着色して着色画像Ci11、Ci12を生成する。
図5では、それぞれの色は、右上がりの斜線と右下がりの斜線を用いて表されている。指向性画像Di11、Di12は、それぞれ指向性1、2を有する指向性マスクを用いて生成されたOCT画像である。指向性1は、方位角7/6πを主方向とし、帯域幅をπとする通過帯域を示す。指向性2は、方位角-5/6πを主方向とし、帯域幅をπとする通過帯域を示す。
【0055】
(ステップS12)画像合成部170は、M個の着色画像データがそれぞれ示す着色画像を合成して合成画像を示す合成画像データを生成する。
図5に示す例では、着色画像Ci11、Ci12のそれぞれに着色された色が部位ごとに混合される。合成画像Si11は、部位ごとに混合して得られる混合色を表す。斜めの網掛けの部位は、着色画像Ci11、Ci12にそれぞれ着色された色を混合して得られた混合色を示す。右上がりの斜線の部位、右下がりの斜線の部位は、それぞれ着色画像Ci11、Ci12において着色されているが、着色画像Ci12、Ci11において着色されていない部位を示す。
【0056】
従って、表示された合成画像に接したユーザは、色合いにより試料の観察領域における指向性に対応する試料の状態の分布を直感的に把握することができる。表示態様として色相を用いることで、その他の種別の表示態様、例えば、網掛けなどの模様などで区別する場合よりも微細な指向性の分布の差異が表現できる。色相とは、一般に画像光のうち特定の顕著な波長の成分で表される色合いを意味し、色の三属性のうちの1つである。着色される色の色相は、M個のマスクOCT画像間で色空間において極力異なっていることが望ましい。Mが2である場合には、一方のマスクOCT画像の色が他方のマスクOCT画像の色に対する補色であればよい。例えば、一方のマスクOCT画像の色が赤であるとき、他方のマスクOCT画像の色は緑であればよい。Mが3である場合には、例えば、3個のマスクOCT画像それぞれの色が、赤、緑、青の三原色であればよい。
【0057】
また、M個のマスクOCT画像の色をM個間で単純に混合して得られる色が、無彩色となるように設定されてもよい。無彩色とは、彩度を有しない色、つまり、白、黒、または各種の濃度の灰色である。Mが2である場合、一方のマスクOCT画像の色が他方のマスクOCT画像の色に対する補色であれば、それぞれの色を混合すると無彩色となる。Mが3である場合には、3個のマスクOCT画像それぞれの色が、赤、緑、青の三原色であるとき、それぞれの色を混合すると無彩色となる。
これにより、合成画像の色により異なる指向性間での明るさの違いが表現される。そのため、合成画像に接したユーザは、特定の色が顕著に表される部位が、その色に関連付けられた指向性に対応する組織構造を有することを容易に認識することができる。
【0058】
なお、画像合成部170は、M個のマスクOCT画像データがそれぞれ示す画素値を平均して得られる平均値を画素値として有する平均画像データを生成してもよい。そして、画像合成部170は、平均画像データに対して、M個の着色画像のいずれとも異なる色で着色した新たな着色画像(以下、平均着色画像)を示す平均着色画像データを生成する。
画像合成部170は、M個の着色画像データが示す着色画像と平均着色画像データが示す平均着色画像を合成して、合成画像を示す合成画像データを生成する。例えば、Mが2である場合、画像合成部170は、2つの着色画像のそれぞれの色を赤、緑とし、平均着色画像の色を青とする。
これにより、合成画像に顕著に表された色により、それぞれの指向性に対応する状態が顕著な部位が、それらの平均値を比較対象として表される。
【0059】
合成画像の生成に係る合成モードは、これには限られない。合成モードとは、合成画像の生成に用いられるマスクOCT画像(例えば、指向性画像)のそれぞれに生成に用いられるマスクの空間周波数特性の組み合わせを指す。
図6A-
図6Fは、本実施形態に係る合成モードごとの合成画像の例を示す図である。合成画像の生成にあたり
図6A-
図6F間で共通のOCT画像として正面OCT画像Oi01が用いられる場合を例にする。
【0060】
図6Aに示す低域画像Li11は、合成モード11を用いて生成される合成画像である。合成モード11は、方位角7/6πを主方向とし、帯域幅がπとなる通過帯域を示す指向性を示す第1の空間周波数特性、方位角-5/6πを主方向とし、帯域幅がπとなる通過帯域を示す指向性を有する第2の空間周波数特性とからなる。但し、第1の空間周波数特性と第2の空間周波数特性は、それぞれ動径空間周波数が周波数1から周波数2までの低域を通過帯域とし、それ以外の動径空間周波数を遮断帯域とする。周波数1は、0または0に十分に近似した所定の動径空間周波数である。周波数2は、周波数1より高く動径空間周波数の上限よりも低い所定の動径空間周波数である。動径空間周波数の上限は、サンプリング定理によりOCT信号のサンプル点間隔に基づいて定まる。低域画像Li11は、瞳面電場のうち低域成分を用いて生成されるため、より粗く、輪郭が不明瞭な模様を含んで構成される。
【0061】
図6Bに示す高域画像Hi11は、合成モード12を用いて生成される合成画像である。合成モード12は、方位角7/6πを主方向とし、帯域幅がπとなる通過帯域を示す指向性を示す第1の空間周波数特性、方位角-5/6πを主方向とし、帯域幅がπとなる通過帯域を示す指向性を有する第2の空間周波数特性とからなる。但し、第1の空間周波数特性と第2の空間周波数特性は、それぞれ動径空間周波数が周波数2から周波数3までの高域を通過帯域とし、それ以外の動径空間周波数を遮断帯域とする。周波数3は、周波数2より高く、動径空間周波数の上限以下となる低い所定の動径空間周波数である。高域画像Hi11は、瞳面電場のうち高域成分を用いて生成されるため、比較的微細な模様を含んで構成される。
【0062】
図6Cに示す合成画像Si11は、合成モード13を用いて生成される合成画像である。合成モード13は、方位角7/6πを主方向とし、帯域幅がπとなる通過帯域を示す指向性を示す第1の空間周波数特性、方位角-5/6πを主方向とし、帯域幅がπとなる通過帯域を示す指向性を有する第2の空間周波数特性とからなる。但し、第1の空間周波数特性と第2の空間周波数特性は、動径空間周波数領域において帯域制限が設けられていない。即ち、合成モード13は、
図5に例示される指向性1、2からなる合成モードと同様であり、合成モード11の通過帯域と合成モード12の通過帯域を併せ持つ。
【0063】
図6Dに示す低域画像Li12は、合成モード14を用いて生成される合成画像である。合成モード14は、方位角5/6πを主方向とし、帯域幅がπとなる通過帯域を示す指向性を示す第1の空間周波数特性、方位角-7/6πを主方向とし、帯域幅がπとなる通過帯域を示す指向性を有する第2の空間周波数特性とからなる。但し、第1の空間周波数特性と第2の空間周波数特性は、それぞれ動径空間周波数が周波数1から周波数2までの低域を通過帯域とし、それ以外の動径空間周波数を遮断帯域とする。
低域画像Li12は、低域画像Li11とは通過帯域の主方向が異なるマスクを用いて生成されているため、低域画像Li11とは異なる模様を表す。低域画像Li12には、比較的粗く、輪郭が不明瞭な模様が表される。
【0064】
図6Eに示す高域画像Hi12は、合成モード15を用いて生成される合成画像である。合成モード15は、方位角5/6πを主方向とし、帯域幅がπとなる通過帯域を示す指向性を示す第1の空間周波数特性、方位角-7/6πを主方向とし、帯域幅がπとなる通過帯域を示す指向性を有する第2の空間周波数特性とからなる。但し、第1の空間周波数特性と第2の空間周波数特性は、それぞれ動径空間周波数が周波数2から周波数3までの高域を通過帯域とし、それ以外の動径空間周波数を遮断帯域とする。高域画像Hi12は、生成に用いられたマスクの通過帯域の動径空間周波数が共通の高域画像Hi11よりも、通過帯域の方位角空間周波数が共通の低域画像Li12に類似した模様を表す。高域画像Hi12には、低域画像Li12よりも微細な模様が表される。
【0065】
図6Fに示す合成画像Si12は、合成モード16を用いて生成される合成画像である。合成モード16は、方位角7/6πを主方向とし、帯域幅がπとなる通過帯域を示す指向性を示す第1の空間周波数特性、方位角-5/6πを主方向とし、帯域幅がπとなる通過帯域を示す指向性を有する第2の空間周波数特性とからなる。但し、第1の空間周波数特性と第2の空間周波数特性は、動径空間周波数領域において帯域制限が設けられていない。即ち、合成モード16は、合成モード14の通過帯域と合成モード15の通過帯域を併せ持つ。
【0066】
なお、
図5、
図6A-
図6Fに示す指向性パターンでは、複数のマスクのそれぞれに係る通過帯域の一部または全部が重なり合わない場合を例にしたが、これには限られない。複数のマスクのうち、少なくとも2つのマスクの間で通過帯域の一部が重なり合ってもよい。また、複数のマスクのそれぞれの通過帯域の全体が、必ずしも空間周波数帯域の全体を網羅しなくでもよい。
【0067】
なお、
図3-
図6Fは、観測対象平面が試料Smの深さ方向に垂直な正面である場合を例示したが、観測対象領域の一部または全部を横断する面であれば、これには限られない。
そこで、出力処理部180は、観測対象平面の方向をユーザの操作により設定可能としてもよい。より具体的には、操作入力部(図示せず)から観察対象平面の方向を示す操作信号が入力され、操作信号が示す観察対象平面の方向を示す制御信号を検出信号取得部130に出力する。検出信号取得部130は、出力処理部180から入力される制御信号が示す方向に観察対象平面を定める。
【0068】
図7A-
図7Cは、観測対象平面が試料Smの深さ方向に平行な断面である場合の表示例を示す。
図7Aに例示される断面OCT画像Cs21は、深さ方向に平行な断面における試料Smの状態を示すOCT画像である。断面OCT画像Cs21は、正面OCT画像Oi01とは異なる模様を表す。
図7Bに例示される合成画像Si21は、断面OCT画像Cs21に係るOCT信号に対して、合成モード13を用いて生成される合成画像である。斜めの斜線の部位は、合成モード13を構成する第1の指向性、第2の指向性を有するマスクを用いて共通して抽出される部位を示す。右上がりの斜線の部位、右下がりの斜線の部位は、それぞれ第1の指向性、第2の指向性を有するマスクにより抽出されるが、第2の指向性、第1の指向性を有するマスクでは抽出されない部位を示す。着色されていない部位は、第1の指向性、第2の指向性を有するマスクのいずれによっても抽出されない部位を示す。
図7Cに例示される合成画像Si22は、断面OCT画像Cs21に係るOCT信号に対して、合成モード16を用いて生成される合成画像である。合成画像Si22は、合成画像Si21とは異なる模様を表す。
【0069】
次に、指向性マスクの他の例について説明する。指向性マスクは、方位角空間周波数がより狭い帯域幅を有していてもよい。
図8に例示される指向性マスクDm31の合成モードは、2個の通過帯域を有する。2個の通過帯域の帯域幅は、それぞれπ/9となる。但し、それぞれの通過帯域の主方向は、それぞれ方位角π/2、-π/2となり、互いに逆方向に向けられている。帯域幅が狭い指向性マスクを用いることで、主方向を目標方向(target direction)として、主方向まわりの方位角空間周波数の成分を抽出することができる。かかる指向性マスクは、試料の構造の分析に応用することができる。
【0070】
マスク部150は、例えば、微小な角度(例えば、1°~5°)間隔で通過帯域の主方向を方位角の方向に回転させ、回転させた主方向ごとに、瞳面電場データに指向性マスクを作用して、マスク電場データを生成する。変換部160は、生成された個々のマスク電場データに対して二次元逆フーリエ変換を行って空間領域のマスクOCT信号を生成する。制御部110は、回転させた主方向ごとのマスクOCT信号、もしくは、マスクOCT信号に基づくマスク画像データの一部または全部の強度の変化特性を解析する解析部(図示せず)を備えてもよい。
【0071】
図9、
図10は、それぞれウシのアキレス腱(bovine Achilles tendon)、ニワトリの胸筋(chicken breast muscle)を試料として取得された信号強度の主方向依存性を例示する。縦軸、横軸は、それぞれ信号強度、主方向を示す。信号強度として、マスク画像データの総画素強度を用いた。画素強度は、画素ごとの信号値の合計値に相当する。
図9、
図10は、それぞれ信号強度が主方向に依存し、信号強度が有意な最大値を有することを示す。
図9、
図10に示す例では、最大値をとる主方向は、それぞれ152°、116°となった。また、信号強度の最大値は、平均値の4倍程度となる。このことは、試料とする組織構造が、信号強度が最大値をとる主方向に対して高い周期性を有することを示唆する。
【0072】
このことは、次のシミュレーションによっても裏付けられる。シミュレーションでは、
図11に示す試料モデルSpにz方向からの光線が入射される場合を仮定した。試料モデルSpの表面は、そのz方向の高さが、y方向に依存せず、x方向に一定の周期を有する三角波となる。そして、試料モデルSpのz座標が基準点(光学系の焦点、
図1のコリメータ50bの焦点に相当)よりも遠い場合(Δz>0)、近い場合(Δz<0)のそれぞれについてOCTボリュームを合成した。各OCTボリュームから得られる正面画像、断面画像のOCT画像信号に基づく瞳面電場データに対して、指向性マスクを作用して通過帯域ごとにマスク電場データを生成した。但し、指向性マスクとして、主方向がπであり帯域幅がπとなる通過領域と、主方向が0であり帯域幅がπとなる通過領域を有する合成モード32(
図12A)を用いた。そして、通過帯域ごとに生成したマスク電場データに対して二次元逆フーリエ変換を行って空間領域のマスクOCT信号を用いて、各1個の合成画像を示すOCT画像データを生成した。
【0073】
図12A、
図12Bは、Δz>0となる場合を仮定して生成された正面画像に対する合成画像、断面画像に対する合成画像をそれぞれ示す。
図12A、
図12Bともに、x方向への高さの周期に応じた模様を示す。但し、
図12Aは、y方向に対して輝度が一定であり、x方向に対しては、各周期の中心よりも負方向、正方向に周囲よりも輝度が高い部分が存在する。各周期の中心よりも負方向、正方向は、それぞれπ、0を主方向とする通過帯域に対応する。
図12Bは、試料モデルSpの表面のz方向の高さに比例する部位に周囲よりも輝度が高い部分が存在する。
図12C、
図12Dは、Δz<0となる場合を仮定して生成された正面画像に対する合成画像、断面画像に対する合成画像をそれぞれ示す。
図12C、
図12Dが示す合成画像の模様は、それぞれ
図12A、
図12Bに示す合成画像の模様とは左右対称となる。
【0074】
従って、
図9、
図10の例において試料としたウシのアキレス腱、ニワトリの胸筋は、それぞれ、その界面の高さが、高さ方向(z方向)と交差する一方向(x方向)に高い周期性を有し、他の方向(y方向)への依存性が低い構造を有することが裏付けられる(
図13参照)。そして、z方向よりも、その周期の負方向に傾いた面の像と、正方向に傾いた面の像が、個々の通過帯域の主方向に対応付けられ、それぞれ異なるパターンで合成画像に表示される。
【0075】
上記の例では、主に1個の指向性マスクの個数Mが1個または2個である場合について説明したが、これには限られない。マスクの数Mは3個以上、例えば、60個、120個、360個、などであってもよい。マスクの数Mの増加に応じて、個々のマスクに係る通過帯域の帯域幅は、より微細なものとなりうる。帯域幅は、方位角空間周波数に限らず、動径空間周波数、または、方位角空間周波数と動径空間周波数の組に対しても固定または可変のいずれでもよく、より細分化されてもよい。マスクの数は、個々の通過帯域が空間的に連続しているとみなせる程度に十分に多い数になってもよい。M個のマスクそれぞれの通過帯域は、空間周波数領域において必ずしも周期的、規則的または網羅的に分布していなくてもよく、乱雑または間欠的に分布していてもよい。
【0076】
なお、上記の例では、マスクを構成する個々の周波数サンプル点に対応する空間周波数ごとのマスク値が0または1のいずれか一方である場合を主としたが、これには限られない。マスク値は、任意の実数であってもよい。これにより、空間周波数ごとの瞳面電場の通過の度合いがより詳細に設定可能となる。例えば、通過帯域におけるマスク値は、遮断帯域におけるマスク値よりも大きい値であれば、それぞれ1、0に限定されるよりも、マスクOCT信号のマスクによる依存性を強調または緩和することができる。また、通過帯域と遮断帯域との境界から所定の範囲内において空間周波数に対応するサンプル点間で単調に変化するようにマスク値を設定することで、その境界の周辺における空間周波数に応じたマスク値の変化がより緩やかにすることができる。そのため、マスクOCT信号に生じうる折り返し雑音(エリアシング(aliasing))による、マスクOCT画像の異常な輝度の異常な空間変化を緩和することができる。
【0077】
空間周波数ごとのマスク値は、実数に限らず複素数であってもよい。マスク値は、例えば、上記のマスク値に対して光学系および被計測試料で生ずる収差を表す空間周波数ごとの位相と振幅を示す係数(複素数)でさらに除算された値であってもよい。かかるマスク値を用いることで、光学系および被計測試料で生ずる収差が補償される。
上記に説明したマスクを用いたマスク電場データひいてはマスクOCT信号の生成は、空間周波数領域において複素数の演算により実現することができることである。言い換えれば、既存の光学部品などのハードウェアや、実数である輝度値もしくは色信号値を扱う画像処理では到底なしえない。
【0078】
制御部110は、OCT信号の空間周波数特性を解析する解析部(図示せず)をさらに備えてもよい。解析部は、例えば、所定の帯域幅の方位角空間周波数帯域を通過帯域とするマスクを用いて、ステップS01-S03の処理を行わせ、生成されたマスクOCT信号のパワーを算出し、処理対象とする通過帯域の主方向を変更する処理を繰り返してもよい。これにより、解析部は、パワーの方位角空間周波数依存性を取得し、パワーが最大、極大、最小または極小となる方位角空間周波数を特定することができる。
図8に例示した指向性マスクを用いた、
図9、
図10に例示される信号強度の解析が、この方位角空間周波数の解析例に相当する。
解析部は、方位角空間周波数帯域に代えて、もしくは、方位角空間周波数とともに動径空間周波数帯域で定まる通過帯域ごとに、マスクOCT信号のパワーを算出してもよい。これにより、解析部は、パワーの空間周波数依存性を取得し、パワーが最大、極大、最小または極小となる空間周波数を特定することができる。
解析部は、上記のパワーを算出する処理を、OCT信号が示す観察対象平面の全体ではなく、その一部となる部位ごとに実行してもよい。解析部は、パワーの空間周波数依存性を部位ごとに取得し、部位ごとにパワーが最大、極大、最小または極小となる空間周波数を特定することができる。また、解析部は、部位ごとにとりうる空間周波数ごとのパワーの範囲を定め、空間周波数依存性が所定の範囲よりも著しい部位を特定することができる。
出力処理部180は、操作入力部から入力される操作信号に応じて、解析部が算出したパワーの少なくともいずれか、特定した空間周波数、または部位を示す情報を表示部、またはその他の機器に出力してもよい。
【0079】
以上に説明したように、上述した実施形態に係る画像処理装置100は、試料の状態を表す光干渉断層信号を空間周波数領域に変換して試料の逆空間に対応する瞳面における電場を示す電場データを生成する電場推定部140を備える。また、画像処理装置100は、瞳面における電場の通過特性分布を示すマスクを電場データに作用して、マスク電場データを生成するマスク部150と、マスク電場データを空間領域に変換してマスク光干渉断層信号を生成する変換部160と、を備える。
この構成により、瞳面における電場にマスクを作用することで、マスクが示す通過特性分布を反映したマスク光断層信号を取得することができる。また、画像合成部170は、取得されたマスク光断層信号の信号値を輝度値に変換することでマスク光断層画像を取得することができる。そのため、光学系に現実に各種の光学部品を備えなくても、試料の観察に係る空間的条件に応じた電場の通過特性分布をマスクの作用により仮想的に調整することができる。
【0080】
また、マスクの通過特性分布は、瞳面において電場を通過する方位角の空間周波数帯域を示してもよい。
この構成により、電場の通過帯域とする方位角の空間周波数帯域がマスクの通過特性分布として指示されるので、通過帯域に応じた観察方向の指向性をもった試料の観察が実現する。また、当該マスクに基づいて試料の構造を示すマスク画像を取得することで、観察方向に係る制約を解消または緩和して、試料を構成する組織の微細構造の異方性を可視化することができる。
【0081】
また、マスクの通過特性分布は、瞳面において電場を通過する動径の空間周波数帯域を示してもよい。
この構成により、電場の通過帯域とする動径の空間周波数帯域がマスクの通過特性分布として指示されるので、通過帯域に応じた空間分解能をもった試料の観察が実現する。
【0082】
また、マスクは、空間周波数に対応するサンプル点ごとに電場の通過の有無を示してもよい。
この構成により、瞳面電場を通過させる空間周波数帯域がディジタルデータとして定義されるため、マスクの作用に係る演算を簡素に行うことができる。
【0083】
また、本実施形態に係る画像処理装置100は、M個のマスク光干渉断層信号のそれぞれに基づくマスク画像を個々に異なる表示態様をもって合成して合成画像を生成する画像合成部170を備えてもよい。但し、マスク部150は、電場データに通過特性分布が異なるM個のマスクをそれぞれ作用してM個のマスク電場データを取得する。変換部160は、M個のマスク電場データをそれぞれ空間領域に変換してM個のマスク光干渉断層信号を生成する。
この構成により、合成画像に接したユーザは、合成画像に表れる表示態様に基づいて、個々のマスク画像を直感的に識別することができる。個々のマスク画像を比較することで、ユーザは通過特性分布(例えば、指向性)による試料の状態の依存性を直感的に把握することができる。
【0084】
また、表示態様としてM個のマスク画像をそれぞれ表す色の色相が異なっていてもよい。
この構成により、ユーザは、合成画像に表れる色に基づいて個々のマスク画像を直感的に識別できるとともに、通過特性分布(例えば、指向性)に対応した試料の状態が表れる部位を容易に把握することができる。
【0085】
また、M個のマスク画像をそれぞれ表す色をM個のマスク画像間で合成した色は無彩色である。
この構成により、ユーザは合成画像に表れる色に対応する通過特性分布(例えば、指向性)に応じた試料の状態が他の透過特性分布よりも顕著に表れる部位を特定できるとともに、その濃淡により通過特性分布によらない試料の状態を認識することができる。
【0086】
以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【0087】
例えば、上記の説明では、画像処理装置100が光干渉断層計1の一部である場合を例にしたが、これには限られない。画像処理装置100は、光干渉断層計1から独立し、光学系を備えない単一の機器であってもよい。その場合、画像処理装置100の制御部110において光学系制御部120が省略されてもよい。検出信号取得部130は、光学系に限られず、データ蓄積装置、PCなど、他の機器から有線または無線で、例えば、ネットワークを経由して検出信号またはOCT信号を取得してもよい。
【0088】
また、画像処理装置100は、上記の操作入力部と表示部を備えてもよいし、それらの一方または両方が省略されてもよい。
画像処理装置100の制御部110において画像合成部170と出力処理部180の一方または両方が省略されてもよい。画像合成部170が省略される場合、変換部160は、生成したマスクOCT信号を、データ蓄積装置、PC、他の画像処理装置など、他の機器に出力してもよい。出力先とする機器は、画像合成部170と同様の機能、つまり、画像処理装置100から入力されるマスクOCT信号に基づいて出力画像データを生成し、生成した出力画像データに基づく画像を表示する機能を有してもよい。
画像合成部170が採用する表色系は、必ずしもRGB表色系に限られず、その他の表色系、例えば、YCbCr表色系であってもよい。
M個のマスク画像それぞれの表示態様として、色相や階調に限らず、網点、格子、斜線などの模様、点滅などの輝度や色相の時間変化など、その他の手法が用いられてもよい。
【0089】
なお、上述した実施形態における画像処理装置100の一部、例えば、制御部110の全部または一部をコンピュータで実現する場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、画像処理装置100に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0090】
また、上述した実施形態における画像処理装置100の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。画像処理装置100の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【符号の説明】
【0091】
1…光干渉断層計、10…光源、20…ビームスプリッタ、30a、30b、50a、50b…コリメータ、40…参照鏡、60a、60b…ガルバノミラー、70…分光器、100…画像処理装置、110…制御部、120…光学系制御部、130…検出信号取得部、140…電場推定部、150…マスク部、160…変換部、170…画像合成部、180…出力処理部、190…記憶部