【文献】
Jorge D. Mendiola-Santibanez, et al.,Filtering og mixed Gaussian and impulsive noise using morphological contrast detectors,IET Image Processing,2014年,Vol. 8, Lss. 3,131-141
【文献】
Philippe Salembier,Morphological multiscale segmentation for image coding,Signal Processing,ELSEVIER,1994年,Vol. 38,359-386
【文献】
E. Annie Edel Quinn, et al.,Retinal Blood Vessel Segmentation using Curvelet Transform and Morphological Reconstruction,2013 IEEE International Conference on Emerging Trends in computing, Communication and Nanotechnology,米国,IEEE,2013年,570-574
(58)【調査した分野】(Int.Cl.,DB名)
前記第1のモルフォロジー処理が、前記抽出された輝度成分に対し膨張処理と収縮処理をこの順に繰り返すクロージング処理、前記クロージング処理が施された前記輝度成分に対する前記平滑フィルタ処理、及び前記平滑フィルタ処理が施された前記輝度成分から前記撮影画像の前記輝度成分を減算する減算処理を含むことを特徴とする請求項7に記載の診断支援装置。
前記第2のモルフォロジー処理が、前記抽出された部位らしさに対し収縮処理と膨張処理をこの順に繰り返すオープニング処理、前記オープニング処理が施された部位らしさに対する前記平滑フィルタ処理、及び前記平滑フィルタ処理が施された部位らしさを前記抽出された部位らしさから減算する処理を含むことを特徴とする請求項9に記載の診断支援装置。
【発明を実施するための形態】
【0012】
以下、添付図面を参照して、本発明を実施するための形態(以下、「実施形態」と称する)について詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号を付している。
【0013】
(第1実施形態)
(第1実施形態の構成)
図1は、第1実施形態に係る診断支援装置100の構成を示すブロック図である。
図1に示すように、第1実施形態に係る診断支援装置100には、ダーモスコープ付き撮影装置110が接続されている。ダーモスコープ付き撮影装置110は、診断支援装置100(処理部101)からの指示により撮影を行ない、撮影画像(ダーモスコピー画像。原画像ともいう。)を画像記憶部102に格納するとともに表示装置120上に表示する。また、撮影画像は、処理部101により強調処理が施されて画像記憶部102に保存されると共に表示装置120上に表示される。入力装置130は、ダーモスコープ画像の撮影開始指示、後述するダーモスコピー画像中の部位選択操作等を行う。
【0014】
なお、表示装置120、例えば、LCD(Liquid Crystal Display)モニタにより構成され、入力装置130は、マウス等により構成されている。
【0015】
処理部101は、画像記憶部102に記憶された撮影画像を処理するもので、
図1に示すように、分離手段101aと、抽出手段101bと、を含む。処理部101は、さらに明瞭化手段101cを含んでもよく、明瞭化手段101cを含む態様については第3実施形態として後述する。
【0016】
分離手段101aは、前記撮影画像を輝度成分と色情報成分に分離する手段として機能する。
【0017】
抽出手段101bは、診断の対象の部位を抽出する手段として機能し、部位候補を輝度成分により抽出する第1の抽出手段101b−1と、部位らしさを輝度成分と色情報成分とから構成される色空間により抽出する第2の抽出手段101b−2の少なくとも1つを含み、抽出された部位候補又は部位らしさに平滑フィルタ処理を含むモルフォロジー処理を施す。
【0018】
抽出手段101bは、撮影画像における構造化要素中の部位候補又は部位らしさを示す形状を抽出する場合、第1の抽出手段101b−1が輝度成分を用いて第1のモルフォロジー処理により部位候補を抽出するとともに、第2の抽出手段101b−2が色空間を用いて部位らしさを抽出し、抽出手段101bが抽出された部位候補と部位らしさを統合して抽出画像を生成してもよい。
【0019】
抽出手段101bは、撮影画像における構造化要素中の部位候補又は部位らしさを示す形状を抽出する場合、第2の抽出手段101b−2が色空間を用いて部位らしさを抽出し、抽出手段101bが抽出された部位らしさを用いて第2のモルフォロジー処理により部位抽出画像を生成してもよい。
【0020】
ここで、第1のモルフォロジー処理とは、抽出された輝度成分に対し膨張処理と収縮処理をこの順に繰り返すクロージング処理、クロージング処理が施された輝度成分に対する平滑フィルタ処理、及び平滑フィルタ処理が施された輝度成分から撮影画像の輝度成分を減算する減算処理を含む。また、第2のモルフォロジー処理とは、抽出された部位らしさに対し収縮処理と膨張処理をこの順に繰り返すオープニング処理、オープニング処理が施された部位らしさに対する平滑フィルタ処理、及び平滑フィルタ処理が施された部位らしさを抽出された部位らしさから減算する処理を含む。なお、クロージング処理を行って得られた画像を画像(A)、画像(A)の作成を行う処理部を第1処理部、オープニング処理を行って得られた画像を画像(B)、画像(B)の作成を行う処理部を第2処理部ともいう。
【0021】
上記した分離手段101a、抽出手段101b(第1の抽出手段101b−1,第2の抽出手段101b−2)は、いずれも、処理部101が有する第1実施形態に係るプログラムを逐次読み出し実行することにより、それぞれが持つ上記した機能を実現する。
【0022】
(第1実施形態の動作)
以下、
図1に示す第1実施形態に係る診断支援装置100の動作について、
図2以降を参照しながら詳細に説明する。なお、以下に説明する診断支援装置100の動作は、コンピュータに対し該当する各機能を実行させて達成することができる。後述する第2及び第3実施形態においても同様である。
【0023】
図2に、第1実施形態に係る診断支援装置100の基本処理動作の流れが示されている。
図2によれば、処理部101は、まず、ダーモスコープ付き撮影装置110で撮影された、例えば、皮膚病変部位等、患部の撮影画像を取得する(ステップS11)。そして、取得した撮影画像を画像記憶部102の所定の領域に格納するとともに、表示装置120に表示する(ステップS12)。続いて、処理部101は、撮影画像から血管抽出E処理を行い(ステップS13)、抽出された血管を強調処理し、その処理画像を先に表示した撮影画像とともに表示装置120に並べて表示し、診断を医師に委ねる(ステップS14)。
【0024】
図9に表示装置120に表示される表示画面イメージの一例が示されている。画面に向かって左に撮影画像表示領域121が、右に、強調画像表示領域122が割り当てられており、それぞれの領域に、撮影画像、血管の強調画像が表示されている。医師が、入力装置130を用い、表示装置120の画面右下に割り当てられている「撮影開始」ボタン123をクリックすることにより、ダーモスコープ付き撮影装置110による患部の撮影が開始される。そして処理部101による血管抽出処理により、表示装置120の撮影画像表示領域121に撮影画像が、強調画像表示領域122に、撮影画像のうち抽出された血管が強調された強調画像が並んで表示される。
【0025】
図3に、
図2のステップS13の「血管抽出E処理」の詳細な手順が示されている。
図3によれば、処理部101は、まず、分離手段101aが、RGB色空間の撮影画像を、Lab色空間(正確には、CIE 1976 L*a*b色空間)に変換する(ステップS131a)。Lab色空間の詳細は、インターネットURL(http://ja.wikipedia.org/wiki/Lab%E8%89%B2%E7%A9%BA%E9%96%93)<平成26年9月1日>に記載されている。
【0026】
次に、処理部101は、抽出手段101bが、診断の対象として選択された部位を抽出する。具体的に、第1の抽出手段101b−1が、選択された部位の候補(血管候補)をLab色空間において分離された輝度成分から抽出する。このため、第1の抽出手段101b−1は、分離手段101aによって色空間変換されたLab色空間で輝度に相当するL画像を用い、モルフォロジー処理A(第1のモルフォロジー処理)により血管候補画像BHを得る(ステップS132a)。ここで、モルフオロジー処理とは、構造化要素を入力画像に適用し、同じサイズの出力画像としての血管候補画像BHを生成するもので、出力画像の各値は、入力画像内の対応する画素と近傍画素との比較に基づいている。
【0027】
最も基本的なモルフォロジー処理は、膨張と収縮である。膨張は入力画像内のオブジェクトの境界に画素を付加し、収縮は、境界の画素を除去する。オブジェクトに付加し、あるいは削除する画素の数は、画像処理に使用される構造化要素のサイズと形状によって異なる。
【0028】
ここでは、モルフォロジー処理Aを実行し、診断の対象として選択された部位(血管候補)を輝度成分から抽出する方法について説明する。ボトムハット処理については、
図4にその詳細手順が示されている。
【0029】
図4によれば、第1の抽出手段101b−1は、L画像に膨張処理を行い、処理後の輝度画像L1を得る(ステップS132a−1)。膨張処理の詳細は、インターネットURL(http://www.mathworks.co.jp/jp/help/images/morphology−fundamentals−dilation−and−erosion.html)<平成26年9月1日閲覧>に記載されている。
【0030】
次に、第1の抽出手段101b−1は、膨張処理後の輝度画像L1に対して収縮処理を行い、収縮処理後の輝度画像L2を得る(ステップS132a−2)。続いて、第1の抽出手段101b−1は、収縮処理後の輝度画像L2に対して輝度を滑らかにする平滑フィルタ処理を施し、平滑化された輝度画像L3を得る(ステップS132a−3)。ここでは、ガウシアンフィルタにより平滑化が施される。
【0031】
ガウシアンフィルタによる平滑化は以下の演算式で表現される。
f(x,y)=(1/(2πσ^2))exp(−(x^2+y^2)/(2σ^2))
【0032】
ガウシアンフィルタでは、ガウス分布による重み付けが上記所定レートとして利用される。上記した演算式中のσの大きさにより平滑度を制御でき、所定の値を設定することにより実現される。なお、平滑フィルタは、ガウシアンフィルタに限定されず、メディアンフィルタ、平均フィルタ等を用いてもよい。平滑処理後の輝度画像L3からL画像を減算して(BH=L2−L)ボトムハット処理後の画像BHを得る(ステッフS132a−4)。
【0033】
以上の処理を規定回数について繰り返し、規定回数が終了したときは、画像BHを血管抽出画像Eとする。規定回数内のときは、画像BHを画像Lとして膨張処理(ステップS132a−1)、収縮処理(ステップS132a−2)等を繰り返す。
【0034】
ここで、膨張処理について補足する。例えば、半径5ドットの構造化要素を考える。膨張処理とは、注目画素の構造化要素の範囲内での最大値をその注目画像の値とする処理を全画素について行うことをいう。すなわち、出力される注目画素値は、入力画素近傍の中で全ての画素の最大値である。一方、縮小処理は、注目画素の構造化要素の範囲内での最小値をその注目画素の値とする。すなわち、注目画素値は、入力画素近傍の中で全ての画素の最小値である。なお、構造化要素は円としたが、例えば、矩形でもよい。但し、円にしたほうが平滑フィルタの平滑度を小さくできる。
【0035】
説明を
図3に戻す。次に、処理部101は、第2の抽出手段101b−2が、選択された部位のそれらしさ(血管らしさ)を輝度成分と色情報成分とから構成される色空間により抽出する。このため、第2の抽出手段101b−2は、血管らしさを尤度Aとして計算する(ステップS133a)。尤度Aの求め方は
図5にその一例が示されている。
【0036】
図5によれば、処理部101は、第2の抽出手段101b−2が、色空間の赤系の色相方向に応じた色情報成分であるa軸の値、及び青系の色相方向に応じた色情報成分であるb軸の値を用いて抽出する。すなわち、第2の抽出手段101b−2は、Lab色空間のa軸,b軸の値から以下の計算を行うことによってLH1を生成する(ステップS133b)。
【0037】
ad=(a−ca)*cos(r)+b*sin(r)+ca
bd=−(a−ca)*sin(r)+b*cos(r)
LH1=exp(−((ad.*ad)/sa/sa+(bd.*bd)/sb/sb))
【0038】
ここで、ad,bdは、(ca,0)を中心に、反時計回りにab平面をrラジアンだけ回転させたものとなる。また、rの値として、0.3〜0.8ラジアン程度を設定する。caは、0〜50の間で設定する。sa,sbは、それぞれa軸方向の感度の逆数、b軸方向の感度の逆数となる。ここでは、sa>sbとして設定する。なお、上式において、「.*」は、行列の要素同士の乗算を意味する。
【0039】
次に、第2の抽出手段101b−2は、得られたLH1に輝度Lで制限をかける。輝度Lが閾値TH1以上であれば0にしたものをLH2とし(ステップS133c)、輝度Lが閾値TH2以下のものをLH3とする(ステップS133d)。ここでは、閾値TH1は60から100の間で、閾値TH2は0から40の間で設定するものとする。ここで求めたLH3を、血管らしさを示す尤度Aとする(ステップS133e)。
【0040】
説明を
図3に戻す。第2の抽出手段101b−2は、上記した手順にしたがい血管らしさを尤度Aとして抽出した後(ステップS133a)、ボトムハット処理後の画像BHと、血管らしさを示す尤度Aの各要素を乗算し、係数Nで除算する(ステップS134a)。さらに、1でクリッピング処理を行なうことで強調された血管抽出画像Eを生成する(ステップS135a)。
【0041】
上記した例によれば、血管抽出画像Eは、0〜1までの値を持つ多値画像であるものの、ポトムハット処理を経ているため、抽出された血管の境界は急峻になっている。さらに急峻な境界を得たい場合は、所望の閾値で2値化をしてもよい。
【0042】
上述したように、第2の抽出手段101b−2は、色空間の赤系の色相方向と、青系の色相方向で構成される平面座標を、赤系の色相方向軸の特定の点を中心に反時計まわりに所定角回転させ、特定の値域で輝度成分に制限をかけることにより、選択された部位の血管らしさを示す尤度Aを算出する。そして、算出された尤度Aを、輝度成分の画像にボトムハット処理を施して得られる輝度画像に乗算して選択された部位を強調する。
【0043】
血管らしさを尤度Aとして抽出する変形例について、
図6のフローチャートを参照して説明する。抽出手段は、Lab色空間の赤系の色相方向であるa軸の値を取得し(ステップS133x)、Sを例えば80とし(ステップS133y)、血管らしさAの値を、0〜80の範囲で制限を与えて正規化(A←max(min(a,S),0)/S)を行い、0から1の値範囲に設定している(ステップS133z)。ここでは、0から80の値で制限を与えたが、この値は一例であり、この値に制限されない。
【0044】
次に、色情報から直接血管を抽出する方法について
図7,
図8のフローチャートを参照しながら説明する。以降の説明では、色情報から血管尤度画像を生成し、改良されたトップハット処理(以下、モルフォロジー処理Bという)によって血管を抽出するものである。なお、血管尤度画像は、尤度の高い方が画像の値が大きい。
【0045】
図4に示すモルフォロジー処理Aは、ソース画像に対して膨張処理を施した後に縮小処理を行なっている。膨張、収縮を同じ回数分繰り返して行う処理はクロージング処理と呼ばれている。つまり、第1実施形態に係る診断支援装置100では、クロージング処理した画像に平滑フィルタ処理を施し、ソース画像から減算(ブラックハット処理)している。ここで、ソース画像は輝度画像Lであり、血管での画像の値は比較的小さくなっている。このように、画像中の値が小さい形状を抽出する場合に
図4に示すモルフォロジー処理Aが用いられる。
【0046】
以下に、モルフォロジー処理Bによる血管抽出E処理IIについて説明する。
図7に示すように、処理部101は、まず、分離手段101aが、RGB色空間の撮影画像を、Lab色空間変換する(ステップS131b)。次に、処理部101は、第2の抽出手段101b−2が、選択された部位のそれらしさ(血管らしさ)をLab色空間において分離された色情報成分により抽出する。このため、第2の抽出手段101b−2は、血管らしさを尤度Aとして計算する(ステップS132b)。尤度Aの求め方は
図5、
図6を使用して説明したとおりである。
【0047】
続いて、第2の抽出手段101−bは、血管らしさを示す血管尤度画像Aから血管抽出E画像を取得する(ステップS133b)。血管尤度画像Aから血管抽出E画像を取得する手順は
図8に示されている。
【0048】
図8によれば、第2の抽出手段101b−2は、まず、血管尤度画像Aを適切な構造化要素により収縮処理を行なって収縮処理後の血管尤度画像A1を取得する(ステップS133b−1)。次に、収縮処理後の血管尤度画像A1を膨張処理して膨張処理後の血管尤度画像A2を得る(ステップS133b−2)。第2の抽出手段101b−2は、更にこの膨張処理後の血管尤度画像A2に平滑フィルタ処理(ガウシアンフィルタ)を施し、平滑処理後の血管尤度画像A3を得る(ステップS133b−3)。最後に、血管尤度画像Aから平滑処理後の血管尤度画像A3を差し引いて血管抽出画像Eを得る(ステップS133b−4)。
【0049】
上記したように、ソース画像(血管尤度画像A)に対して収縮処理を行ない、続いて膨張処理を行なったものを、オープニング処理という。第2の抽出手段101b−2は、オープニング処理した画像に対して平滑フィルタ処理を施し、ソース画像からオープニングした画像を差し引いて(トップハット処理)、ソース画像中の血管形状を抽出している。ここで、ソース画像は血管尤度画像になっているため、血管らしいところでは画像の値が大きくなっている。
【0050】
説明を
図7に戻す。第2の抽出手段101b−2は、血管尤度画像Aから血管抽出E画像を取得した後、血管抽出E画像に適切な係数Nを乗算し(ステップS134b)、1でクリッピング処理を行なうことで強調された血管抽出画像Eを生成する(ステップS135b)。
【0051】
上記したように、第1実施形態に係る診断支援装置100は、多値画像から形状を取得するために、画像中の値が大きい形状を取得する場合には、クロージング処理を行った画像に対して平滑フィルタ処理を施し、ソース画像を差し引くことにより血管抽出E画像を得、一方、画像中の値が小さい形状を取得する場合には、オープニング処理を行ったものに対して平滑フィルタ処理を施してソース画像から減算することにより血管抽出E画像を得る。ここで、オープニング処理とは、収縮処理と膨張処理をその順で一回あるいは複数回繰り返したものをいい、クロー
ジング処理とは、膨張処理と収縮処理をその順で一回あるいは複数回繰り返したものをいう。オープニング処理、クロージング処理ともに、使用する構造化要素の形状は円が好ましい。また、平滑フィルタとし、例えば、ガウシアンフィルタ、平均フィルタ、メディアンフィルタ等が使用される。
【0052】
上記した診断支援装置100をダーモスコピーでの形状取得に利用することで、輝度画像からの血管形状抽出、血管尤度画像からの血管形状抽出を行い、その結果、不規則な形状、値変動が大きな形状に対してもモアレ等の疑似模様を発生させることなく形状取得が可能になる。したがって、医師の診断を容易にするとともに診断精度の向上がはかれる。
【0053】
(第2実施形態)
第1実施形態では皮膚の病変を対象とするダーモスコピー画像を用いた例について説明したが、本発明は、その他の病変を対象とする撮影画像を用いて行うこともできる。第2実施形態では、眼底を対象とした撮影画像を用いた例について説明する。
【0054】
眼底画像検査は、比較的に安いコストで簡便に行えることから、健康診断や人間ドックでも広く利用されている。眼底画像検査は、瞳孔の奥にある眼底を、眼底カメラや眼底鏡を用い、レンズを通して観察し、眼底の血管、網膜、視神経を非侵襲に調べる検査法であり、網膜剥離や眼底出血、緑内障などの目の病気を調べるときに行なわれる。また、眼底の血管は人間の体の中で唯一直接に血管を観察できる部位のため、そこを観察することにより、血液循環器系疾患である高血圧症、動脈硬化症、脳腫瘍などの全身の病気が推察でき、生活習慣病の検査としても有効とされている。
【0055】
第2実施形態に係る診断支援装置100の構成は、ダーモスコープ付き撮影装置110を眼底カメラ110と読み替える点を除き、
図1に示した第1実施形態に係る診断支援装置100と同様である。
【0056】
第2実施形態に係る診断支援装置100の動作についても、基本的には第1実施形態に係る
図2ないし8と同様であるが、これらと異なる点について、
図10ないし12を参照して説明する。
【0057】
図10(第1実施形態に係る
図2に対応する)は、第2実施形態に係る診断支援装置100の基本処理動作の流れを示している。処理部101は、まず、眼底カメラ110で撮影された眼底の撮影画像Iを取得する(ステップS21)。そして、取得した撮影画像Iを画像記憶部102の所定の領域に格納するとともに、表示装置120に表示する(ステップS22)。続いて、処理部101は、撮影画像Iから血管抽出E処理を行い(ステップS23)、抽出された血管を強調処理し、その処理画像を先に表示した撮影画像Iとともに表示装置120に並べて表示し、診断を医師に委ねる(ステップS24)。
【0058】
眼底の撮影画像Iでは、血管の反射強度は周囲に比べて弱く、値は小さいものとなっている。眼底カメラ110は一般にモノクロであるが、カラーカメラを用いてモノクロ画像(輝度画像)を生成してもよい。
【0059】
図11(第1実施形態に係る
図4に対応する)は、撮影画像Iから血管抽出画像Eを得る流れを示している。まず、眼底の撮影画像IをL画像とする(ステップS231)。そして、第1の抽出手段101b−1は、L画像に膨張処理を行い、処理後の輝度画像L1を得る(ステップS232)。
【0060】
次に、第1の抽出手段101b−1は、膨張処理後の輝度画像L1に対して収縮処理を行い、収縮処理後の輝度画像L2を得る(ステップS233)。続いて、第1の抽出手段101b−1は、収縮処理後の輝度画像L2に対して輝度を滑らかにする平滑フィルタ処理を施し、平滑化された輝度画像L3を得る(ステップS234)。ここでは、ガウシアンフィルタにより平滑化が施される。ガウシアンフィルタについての説明は、第1実施形態で述べたとおりである。平滑処理後の輝度画像L3からL画像を減算して(BH=L2−L)ボトムハット処理後の画像BHを得る(ステップS235)。
【0061】
以上の処理を規定回数について繰り返し、規定回数が終了したときは、画像BHを血管抽出画像Eとする。規定回数内のときは、画像BHを画像Lとして膨張処理(ステップS232)、収縮処理(ステップS233)等を繰り返す。
【0062】
なお、上記の説明では、
図11に示すように、撮影画像Iの血管の値が周囲に比べて小さいことから、平滑フィルタ付きのボトムハット処理を用いている。これに対し、撮影画像I内の血管の値が周囲に比べて大きいような撮影画像が得られる場合には、第1実施形態に係る
図8で説明したように、平滑フィルタ付きのトップハット処理を用いればよい。
【0063】
眼底の撮影画像を得るには眼底カメラ110のほかにも走査型レーザー検眼鏡(Scanning Laser Ophthalmoscope:SLO)を用いることができるが、その場合には、平滑フィルタ付きのボトムハット処理が好適である。
【0064】
図12には、第2実施形態に係る表示装置120に表示される表示画面イメージの一例が示されている。画面に向かって左に撮影画像表示領域121が、右に、強調画像表示領域122が割り当てられており、それぞれの領域に、撮影画像、血管の強調画像が表示されている。眼底カメラ110による患部の撮影に基づく点を除き、第1実施形態と同様に、処理部101による血管抽出処理により、表示装置120の撮影画像表示領域121に撮影画像が、強調画像表示領域122に、撮影画像のうち抽出された血管が強調された強調画像が並んで表示される。
【0065】
(第3実施形態)
第3実施形態では、処理部101が明瞭化手段101cを含んだ例について説明する。第3実施形態は第1及び第2実施形態の双方に適用できるものであるが、以下では、第1実施形態に対応させて説明する。また、第3実施形態の説明にあたっては、診断支援装置100の処理部101の基本処理動作をブロックチャートで示した
図13を参照しつつ説明する。
【0066】
図13に示す明瞭化手段101cは、輝度成分に明瞭化処理を施す手段として機能するものであり、ハイダイナミックレンジ(HDR)合成を用いて明瞭化処理を施す。
【0067】
上記したボトムハット、あるいはトップハットを使用したモルフォロジー処理による血管候補抽出処理によれば、血管の形状は、明瞭に、かつきれいに抽出できるが、不規則な血管、あるいは僅かにしか現れていない不鮮明な血管を抽出した場合にモアレ等の疑似模様が発生してしまう。このため、以下に説明する例では、撮影画像内の僅かな変化として出現する血管を抽出するために、明瞭化処理を行なった後に上記したモルフォロジー等の処理を施すこととした。明瞭化処理とは、HDR合成画像に近い効果が得られる処理を行ないながら微細な変化を際立たせる処理をいう。つまり、明瞭化処理を行なうことにより、僅かに認識できる画像中の血管を所定量だけ浮き上がらせ、更にモルフォロジー等の処理を行なうことにより血管をはっきり抽出することができる。
【0068】
HDR合成とは、通常の写真撮影に比べてより幅広いダイナミックレンジを表現するための写真技法の一種である。通常の撮影であれば、人の眼に比べてダイナミックレンジが狭い。つまり、人の眼では見えているものをそのまま撮影しても、人の見た目と同じように記録することができない。ダイナミックレンジが狭いために、明るい所、若しくは暗い所、或いはその両方のコントラストが著しく低下して記録される。コントラストが低いということは、変化を認識できにくい、若しくはできないということである。このため、複数の露出、例えば、明るい所に合わせた露出、中央の明るさにあわせた露出、暗い所にあわせた露出のように、異なる露出で3枚撮影し、それらを合成することによりダイナミックレンジを広くして記録する方法がHDR合成である。HDR合成は、人の見た目に近い印象で撮影画像を記録することができる。
【0069】
図13によれば、処理部101は、診断対象となる撮影画像(ダーモスコピー画像)にノイズフィルタ処理を施した後(ブロックB01)、原画像のRGB色空間の撮影画像をLab色空間に変換する(ブロックB02)。そして、変換されたLab色空間において、輝度成分Lと色情報成分a,bとに分離し、選択された部位の輝度成分、または色情報成分を抽出し、抽出した画像と後述するHDR強調を施した画像とを再合成して、例えば、
図9に示すように表示装置120に血管強調画像として表示する。
【0070】
また、処理部101は、Lab色空間で輝度成分に相当するL画像を用い、明瞭化手段101cがHDR合成によって明瞭化処理を実行し(ブロックB04「構造明瞭化」)、明瞭化処理が施されたL画像からモルフォロジー処理により血管の形状を抽出する(ブロックB05)。同時に、色情報成分a,bに対してモルフォロジー処理を実行して血管尤度画像を抽出する(ブロックB03:血管らしさ抽出)。
【0071】
処理部101は、その血管尤度画像に対して平滑フィルタ処理を施したオープニング処理画像を用い、輝度成分に対し、平滑フィルタ処理(ブロックB05−3)を施したクロージング処理画像から輝度画像を減算したものを用いてモルフォロジー処理を実行する。なお、オープニング処理とは、収縮処理と膨張処理をその順で一回あるいは複数回繰り返したものをいい、クロージング処理とは、
図13に示すように、膨張処理(B05−1:多値膨張)と収縮処理(B05−2:多値収縮)をその順で一回、あるいは複数回繰り返り返したものをいう。なお、平滑フィルタとして、例えば、ガウシアンフィルタを使用することは上記したとおりである。
【0072】
明瞭化処理では、1枚の画像から行なっており、HDR合成画像も1枚の撮影画像から得られる。HDR合成を1枚の画像から得る方法として、エッジ保存型平滑フィルタで構成された成分分解フィルタによりベース画像を得、そのベース画像を減衰させて再び合成する方法が知られている。
図4に示した血管候補抽出処理(L画像から血管候補BHを生成)においてL画像に明瞭化処理を行ない、LHDR画像とする処理の流れを、
図14にフローチャートで示す。
【0073】
図14によれば、最初にLHDR画像を生成する処理(ステップS132b−1)以外の処理(ステップS132b−2〜S132b−5)は、
図4に示すボトムハット処理によりL画像から血管候補BHを得る処理(ステップS131a−1〜S132a−4のそれぞれに対応する)と同様であるため、重複を回避する意味で説明を省略する。なお、ステップS132b−1に示すLHDR画像を得る明瞭化処理は、
図1に示す処理部101(第1処理部)が実行するものとし、第1処理部は、原画像に明瞭化処理を施す明瞭化手段101cを含むものとする。以下、明瞭化手段101cによる明瞭化処理の流れについて、
図15のフローチャートを参照しながら詳細に説明する。
【0074】
図15において、明瞭化手段101cは、まず、L画像をエッジ保存型平滑フィルタであるバイラテラルフィルタで構成された成分分解フィルタによりフィルタ処理を実行してベース画像(B画像)を得る(ステップS132b−11)。次に、明瞭化手段101cは、L画像からB画像を減算してディティール画像(D画像)を得る(ステップS132b−12)。そして、B画像からオフセットZを減算し、係数K1で増幅してBx画像とする(ステップS132b−13)。ここで、K1<1とすることでHDR合成の効果を得ることができる。次に、明瞭化手段101cは、D画像を係数K2で増幅してDx画像とし、D画像を増幅させることにより形状の微細変化を強調する(ステップS132b−14)。但し、ここではK2≧1である。
【0075】
明瞭化手段101cは、最後に、Bx画像とDx画像とを加算することによりLHDR画像を得、第1の抽出手段101b−1に引き渡す(ステップS132b−15)。LHDR画像を取得した第1の抽出手段101b−1が、
図4のステップS132a−1〜S132a−4、
図14のステップS132b−2〜S132b−5に示すように、ボトムハットを用いたモルフォロジー処理により血管抽出処理を実行することは上述したとおりである。
【0076】
以上説明のように、第3実施形態によれば、処理部101(第1処理部)が、原画像に明瞭化処理を施した後、モルフォロジー処理による血管候補抽出処理を実行することにより、不規則な形状、あるいは値変動が大きな形状の血管を抽出した場合でも疑似模様が発生することなく、撮影画像内の僅かな変化として出現する血管の形状取得が可能になり、その結果、血管の形状をはっきり、かつきれいに抽出することができる。
【0077】
なお、
図15に示す明瞭化処理は一例であり、他に、出願人が既に出願しているように、輝度成分に対して成分分解フィルタを用いて骨格成分と詳細成分とに分解し、骨格成分に明るめにコントラスト強調を施して明瞭化する方法(特願2014−227528)、特性が異なる2種類の成分分解フィルタによる処理結果を結合することにより原画像を明瞭化する方法(特願2015−054328)、が考えられる。これらは、輝度画像Lを利用した明瞭化処理である。また、詳細成分の血管尤度を考慮して強調処理を施しとて原画像を明瞭化する方法(特願2014−227530)も考えられる。これは、輝度Lに加えて色情報も用いて明瞭化処理を行なう方法である。これらのうちいずれか一つ、または全てを用いて明瞭化処理を実行してもよい。
【0078】
(実施形態の効果)
以上説明のように、第1実施形態に係る診断支援装置100によれば、処理部101は、分離手段101aによって分離された撮影画像の輝度成分と色情報成分とに基づき、第1の抽出手段101b−1が、第1のモルフォロジー処理を用いて部位候補を輝度成分により抽出し(
図3)、第2の抽出手段101b−2が、部位らしさを輝度成分と色情報成分とから構成される色空間により抽出して第2のモルフォロジー処理(
図7)により部位抽出画像を生成して表示装置120に表示する。このとき、抽出された部位候補又は部位らしさに平滑フィルタ処理を含むモルフォロジー処理(
図4、
図7)を施すことにより、不規則な形状、値変動が大きな形状に対してもモアレ等の疑似模様を発生させることなく形状取得が可能になる。このため、医師は、診断の対象の部位について強調表示された画面を視認することで、容易、かつ的確に診断を行うことができ、その結果、診断精度が向上する。第2実施形態に係る診断支援装置100についても、同様である。さらに、第3実施形態に係る診断支援装置100については、明瞭化手段101cによって輝度成分にHDR合成を施してからモルフォロジー処理を行うため、より一層強調表示された診断画像を得ることができる。
【0079】
以上、各実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態及び実施例に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。また、その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0080】
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
【0081】
[付記]
[請求項1]
撮影画像から病変を診断するための診断支援装置であって、
原画像である多値画像から構成される前記撮影画像を処理する処理部を備え、
前記処理部が、
前記原画像を基に暗い部分を検出するモルフォロジー処理におけるボトムハットのクロージング処理を行って画像(A)を作成する第1処理部と、
前記原画像を基に明るい部分を検出するモルフォロジー処理におけるトップハットのオープニング処理を行って画像(B)を作成する第2処理部と、
前記原画像中の画素値が小さい値から形状を取得する場合には、前記画像(A)に平滑フィルタを施して前記画像(A)を減算処理して部位候補を抽出する第1の抽出手段と、
前記原画像中の画素値が大きい値から形状を取得する場合には、前記画像(B)に平滑フィルタを施して前記画像(B)より減算処理して部位らしさを抽出する第2の抽出手段と、
を含むことを特徴とする診断支援装置。
[請求項2]
前記処理部が、
前記画像(A)に対し膨張処理と収縮処理をこの順に繰り返すクロージング処理、前記クロージング処理が施された前記画像(A)に対する平滑フィルタ処理、及び前記平滑フィルタ処理が施された前記画像(A)から前記画像(A)を減算する減算処理を含む第1のモルフォロジー処理を実行し、
前記画像(B)に対し収縮処理と膨張処理をこの順に繰り返すオープニング処理、前記オープニング処理が施された平滑フィルタ処理、及び前記平滑フィルタ処理が施された前記画像(B)を前記画像(B)より減算する処理を含む第2のモルフォロジー処理を実行することを特徴とする請求項1に記載の診断支援装置。
[請求項3]
前記第1の抽出手段は、前記原画像の輝度成分に対し前記第1のモルフォロジー処理を実行して前記部位候補として血管の形状を抽出し、
前記第2の抽出手段は、前記原画像の色情報に対し前記第2のモルフォロジー処理を実行して血管尤度を抽出する
ことを特徴とする請求項2に記載の診断支援装置。
[請求項4]
前記第1処理部が、前記原画像に明瞭化処理を施す明瞭化手段をさらに含み、
前記第1の抽出手段が、明瞭化処理を施された前記原画像をもとに前記部位候補を抽出することを特徴とする請求項1から3のいずれか1項に記載の診断支援装置。
[請求項5]
前記明瞭化手段がハイダイナミックレンジ(HDR)合成によって前記明瞭化処理を施すことを特徴とする請求項4に記載の診断支援装置。
[請求項6]
患部の撮影画像を用いて病変を診断するための診断支援装置であって、
前記撮影画像を記憶する画像記憶部と、
前記画像記憶部に記憶された前記撮影画像を処理する処理部と、を備え、
前記処理部が、
前記撮影画像を輝度成分と色情報成分に分離する分離手段と、
診断の対象の部位を抽出する抽出手段と、を備え、
前記抽出手段が、
部位候補を前記輝度成分により抽出する第1の抽出手段、及び部位らしさを前記色情報成分により抽出する第2の抽出手段の少なくとも1つを含み、前記抽出された部位候補又は部位らしさに平滑フィルタ処理を含むモルフォロジー処理を施すことを特徴とする診断支援装置。
[請求項7]
前記撮影画像における構造化要素中の前記部位候補又は部位らしさを示す形状を抽出する場合、
前記第1の抽出手段が前記輝度成分を用いて第1のモルフォロジー処理により前記部位候補を抽出するとともに、前記第2の抽出手段が前記色空間を用いて前記部位らしさを抽出し、
前記抽出手段が前記抽出された部位候補と部位らしさを統合して部位抽出画像を生成することを特徴とする請求項6に記載の診断支援装置。
[請求項8]
前記第1のモルフォロジー処理が、前記抽出された輝度成分に対し膨張処理と収縮処理をこの順に繰り返すクロージング処理、前記クロージング処理が施された前記輝度成分に対する前記平滑フィルタ処理、及び前記平滑フィルタ処理が施された前記輝度成分から前記撮影画像の前記輝度成分を減算する減算処理を含むことを特徴とする請求項7に記載の診断支援装置。
[請求項9]
前記撮影画像における構造化要素中の前記部位候補又は部位らしさを示す形状を抽出する場合、
前記第2の抽出手段が前記色情報成分を用いて前記部位らしさを抽出し、
前記抽出手段が前記抽出された部位らしさを用いて第2のモルフォロジー処理により部位抽出画像を生成することを特徴とする請求項6に記載の診断支援装置。
[請求項10]
前記第2のモルフォロジー処理が、前記抽出された部位らしさに対し収縮処理と膨張処理をこの順に繰り返すオープニング処理、前記オープニング処理が施された部位らしさに対する前記平滑フィルタ処理、及び前記平滑フィルタ処理が施された部位らしさを前記抽出された部位らしさから減算する処理を含むことを特徴とする請求項9に記載の診断支援装置。
[請求項11]
前記処理部が、前記輝度成分に明瞭化処理を施す明瞭化手段をさらに備え、
前記第1の抽出手段が、明瞭化処理を施された前記輝度成分をもとに前記部位候補を抽出することを特徴とする請求項6から10のいずれか1項に記載の診断支援装置。
[請求項12]
前記明瞭化手段がハイダイナミックレンジ(HDR)合成によって前記明瞭化処理を施すことを特徴とする請求項11に記載の診断支援装置。
[請求項13]
患部の撮影画像を用いて病変を診断する診断支援装置における画像処理方法であって、
記憶された前記撮影画像を輝度成分と色情報成分に分離するステップと、
診断の対象の部位を前記輝度成分又は前記色情報成分により抽出するステップと、を備え、
前記撮影画像中の値が大きい形状を取得する場合には、
前記抽出ステップが、部位候補を前記輝度成分により抽出する第1の抽出ステップを実行し、
前記撮影画像中の値が小さい形状を取得する場合には、
前記抽出ステップが、部位らしさを前記色情報成分により抽出する第2の抽出ステップを実行し、
前記抽出された部位候補又は部位らしさに平滑フィルタ処理を含むモルフォロジー処理を施すことを特徴とする画像処理方法。
[請求項14]
原画像である多値画像からモルフォロジー処理により形状を取得する画像処理方法であって、
前記原画像中の画素値が小さい値から形状を取得する場合には、処理した画像をモルフォロジー処理におけるクロージング処理したものに対して、平滑フィルタを施し、前記処理した画像から前記原画像を減算処理し、
前記原画像中の画素値が大きい値から形状を取得する場合には、モルフォロジー処理におけるオープニング処理したものに対して、平滑フィルタを施し、前記原画像から減算処理する
ことを特徴とする画像処理方法。
[請求項15]
患部の撮影画像を用いて病変を診断する診断支援装置における画像処理のプログラムであって、
コンピュータに、
記憶された前記撮影画像を輝度成分と色情報成分に分離する分離機能と、
診断の対象の部位を前記輝度成分又は前記色情報成分により抽出する抽出機能と、を実行させ、
前記撮影画像中の値が大きい形状を取得する場合には、
前記抽出機能が、部位候補を前記輝度成分により抽出する第1の抽出機能を実行し、
前記撮影画像中の値が小さい形状を取得する場合には、
前記抽出機能が、部位らしさを前記色情報成分により抽出する第2の抽出機能を実行し、
前記抽出された部位候補又は部位らしさに平滑フィルタ処理を含むモルフォロジー処理を施すことを特徴とするプログラム。
[請求項16]
原画像である多値画像からモルフォロジー処理により形状を取得する診断支援装置における画像処理のプログラムであって、
コンピュータに、
前記原画像中の画素値が小さい値から形状を取得する場合には、処理した画像をモルフォロジー処理におけるクロージング処理したものに対して、平滑フィルタを施し、前記処理した画像から前記原画像を減算処理する機能を実行させ、
前記原画像中の画素値が大きい値から形状を取得する場合には、モルフォロジー処理におけるオープニング処理したものに対して、平滑フィルタを施し、前記原画像から減算処理する機能をさせる
ことを特徴とするプログラム。