特許第6361501号(P6361501)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ カシオ計算機株式会社の特許一覧

<>
  • 特許6361501-診断装置 図000002
  • 特許6361501-診断装置 図000003
  • 特許6361501-診断装置 図000004
  • 特許6361501-診断装置 図000005
  • 特許6361501-診断装置 図000006
  • 特許6361501-診断装置 図000007
  • 特許6361501-診断装置 図000008
  • 特許6361501-診断装置 図000009
  • 特許6361501-診断装置 図000010
  • 特許6361501-診断装置 図000011
  • 特許6361501-診断装置 図000012
  • 特許6361501-診断装置 図000013
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6361501
(24)【登録日】2018年7月6日
(45)【発行日】2018年7月25日
(54)【発明の名称】診断装置
(51)【国際特許分類】
   A61B 5/00 20060101AFI20180712BHJP
   A61B 10/00 20060101ALI20180712BHJP
   A61B 5/107 20060101ALI20180712BHJP
【FI】
   A61B5/00 M
   A61B10/00 Q
   A61B5/107 800
【請求項の数】12
【全頁数】20
(21)【出願番号】特願2014-263717(P2014-263717)
(22)【出願日】2014年12月26日
(65)【公開番号】特開2016-123420(P2016-123420A)
(43)【公開日】2016年7月11日
【審査請求日】2016年2月2日
(73)【特許権者】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(72)【発明者】
【氏名】北條 芳治
(72)【発明者】
【氏名】青木 信裕
(72)【発明者】
【氏名】峯尾 茂樹
【審査官】 門田 宏
(56)【参考文献】
【文献】 特開2005−192944(JP,A)
【文献】 特開2009−211313(JP,A)
【文献】 特開2014−004252(JP,A)
【文献】 特開2013−013744(JP,A)
【文献】 特開2011−103118(JP,A)
【文献】 特開平08−266480(JP,A)
【文献】 特開2004−097830(JP,A)
【文献】 特開2008−289923(JP,A)
【文献】 Aurora Saez,Segmentation and classification of dermatological lesions,Medical Imaging 2010: Computer-Aided Diagnosis,米国,2010年 2月18日,Vol.7624, 76243L,p.1-7
【文献】 Aurora Saez,Segmentation and classification of dermatological lesions,Medical Imaging 2010: Computer-Aided Diagnosis,米国,2010年 2月13日,Vol.7624, 76243L,p.1-7
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00−5/22
(57)【特許請求の範囲】
【請求項1】
皮膚患部のダーモスコープ画像である撮影画像を用いて病変を診断するための診断装置であって、
前記撮影画像を記憶する画像記憶部と、
前記画像記憶部に記憶された前記撮影画像を処理する処理部と、を備え、
前記処理部が、
診断の対象となる前記撮影画像を病変の進行度により分類する分類手段を含み、前記分類手段により分類された分類に対応する画像変換処理を実行して変換画像を生成するとともに、
前記処理部の前記画像変換処理が、前記進行度が低位の分類に対応する画像変換処理である構造明瞭変換処理を含むことを特徴とする診断装置。
【請求項2】
前記分類手段は、前記患部がホクロ状であって、実質的に黒色又は茶色で構成されている画像を前記進行度が低位の分類として分類することを特徴とする請求項1に記載の診断装置。
【請求項3】
前記処理部が、
前記構造明瞭変換処理を実行するように、
前記撮影画像を輝度成分と色情報成分とに分離する第1の分離手段と、
前記輝度成分を骨格成分と詳細成分とに分離する第2の分離手段と、
前記骨格成分に対して強調処理を施す強調手段と、
前記強調された骨格成分と前記詳細成分とから輝度を復元し、前記色情報成分を用いて強調画像を生成する生成手段と、を備え、
前記強調手段が、
前記骨格成分を中心値よりも明るく圧縮する第1の強調手段、及び前記骨格成分にシャープネスフィルタ処理を施す第2の強調手段の少なくとも1つを含むことを特徴とする請求項1又は2に記載の診断装置。
【請求項4】
前記構造明瞭変換処理において、前記生成手段が、前記強調された骨格成分と前記詳細成分とを加算して前記輝度を復元し、前記復元された輝度と、第1の色空間の赤系の色相方向と青色の色相方向に応じた前記色情報成分とから第2の色空間に変換して前記強調画像を生成することを特徴とする請求項3に記載の診断装置。
【請求項5】
皮膚患部のダーモスコープ画像である撮影画像を用いて病変を診断するための診断装置であって、
前記撮影画像を記憶する画像記憶部と、
前記画像記憶部に記憶された前記撮影画像を処理する処理部と、を備え、
前記処理部が、
診断の対象となる前記撮影画像を病変の進行度により分類する分類手段を含み、 前記分類手段により分類された分類に対応する画像変換処理を実行して変換画像を生成するとともに、前記進行度が中位の分類に対応する画像変換処理である部位強調変換処理を含むことを特徴とする診断装置。
【請求項6】
前記分類手段は、前記患部がホクロ状であって、部分的に血管で構成されている画像を
前記進行度が中位の分類として分類することを特徴とする請求項5に記載の診断装置。
【請求項7】
前記処理部が、
前記部位強調変換処理を実行するように、
前記撮影画像を輝度成分と色情報成分に分離する第1の分離手段と、
診断の対象の部位を抽出する抽出手段と、を備え、
前記抽出手段が、
前記部位の候補を前記輝度成分により抽出する第1の抽出手段、及び前記部位のそれらしさを前記輝度成分と前記色情報成分とから構成される色空間により抽出される第2の抽出手段の少なくとも1つを含むことを特徴とする請求項5又は6に記載の診断装置。
【請求項8】
前記部位強調変換処理において、前記第2の抽出手段が色空間の赤系の色相方向に応じた色情報成分を用いて抽出することを特徴とする請求項7に記載の診断装置。
【請求項9】
皮膚患部のダーモスコープ画像である撮影画像を用いて病変を診断するための診断装置であって、
前記撮影画像を記憶する画像記憶部と、
前記画像記憶部に記憶された前記撮影画像を処理する処理部と、を備え、
前記処理部が、
診断の対象となる前記撮影画像を病変の進行度により分類する分類手段を含み、前記分類手段により分類された分類に対応する画像変換処理を実行して変換画像を生成するとともに、
前記進行度が高位の分類に対応する画像変換処理である部位蛍光色変換処理を含むことを特徴とする診断装置。
【請求項10】
前記分類手段は、前記患部がホクロ状であって、全体的に赤みを帯びた血管で構成されている画像を前記進行度が高位の分類として分類することを特徴とする請求項9に記載の診断装置。
【請求項11】
前記処理部が、
前記部位蛍光色変換処理を実行するように、
前記撮影画像を輝度成分と色情報成分に分離する第1の分離手段と、
診断の対象の部位を抽出する抽出手段と、を備え、
前記抽出手段が、
前記部位の候補を前記輝度成分により抽出してボトムハット処理を施す第1の抽出手段、及び前記部位のそれらしさを前記輝度成分と前記色情報成分とから構成される色空間により抽出される第2の抽出手段の少なくとも1つを含むことを特徴とする請求項9又は10に記載の診断装置。
【請求項12】
前記部位蛍光色変換処理において、前記第2の抽出手段が色空間の緑系の色相方向に応じた色情報成分を用いて抽出することを特徴とする請求項11に記載の診断装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、診断装置に関する。
【背景技術】
【0002】
皮膚病変の診断として視診は必ず行われ、多くの情報を得ることが出来る。しかしながら、肉眼やルーペだけでは、ホクロとしみの判別さえ難しく、良性腫瘍と悪性腫瘍の鑑別も難しい。そこで、ダーモスコープ付きカメラを用いて病変を撮影するダーモスコピー診断が行われている。
【0003】
ダーモスコープとは、LED照明やハロゲンランプ等で病変部を明るく照らし、エコージェルや偏光フィルタなどにより反射光の無い状態にし、10倍程度に拡大して観察する非侵襲性の診察器具である。この器具を用いた観察法をダーモスコピーと呼んでいる。ダーモスコピー診断については、インターネットURL(http://www.twmu.ac.jp/DNH/department/dermatology/dermoscopy.html)<平成26年9月1日閲覧>に詳細に記載されている。ダーモスコピー診断によれば、角質による乱反射がなくなることにより、表皮内から真皮浅層までの色素分布が良く見えてくる。
【0004】
例えば、特許文献1に、上記したダーモスコープで撮影された皮膚画像に対して、色調、テクスチャ、非対称度、円度等の値を用いて診断を行う色素沈着部位の遠隔診断システムの技術が開示されている。それは、ダーモスコープを付けたカメラ付き携帯電話を用い、ダーモスコープを通して、メラノーマの心配がある良性色素性母斑などがある皮膚を撮影する。そして、携帯電話のネットワーク接続機能を用いてインターネットに接続し、撮影した皮膚画像を遠隔診断装置に送信して診断を依頼するものである。皮膚画像を受信した遠隔診断装置は、メラノーマ診断プログラムを用い、皮膚画像から、それがメラノーマであるか否か、あるいはメラノーマであった場合にどの病期のメラノーマであるかを診断し、その結果を医師に返信する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005−192944号
【発明の概要】
【発明が解決しようとする課題】
【0006】
皮膚病については上記したダーモスコープ画像による診断が普及しつつあるが、従来、明瞭な形状変化や模様を得るため、撮影により得られるダーモスコープ画像にHDR(High Dynamic Range)変換を施すことにより表示していた。この場合、病変の種類、あるいは進行の度合いに関わらず一様に画像変換していたため、満足できる診断精度を得ることができず、医師の診断スキルに依存しているのが現状であった。
【0007】
本発明は上記した課題を解決するためになされたものであり、医師の診断を容易にするとともに診断精度の向上をはかる、診断装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一態様は、皮膚患部のダーモスコープ画像である撮影画像を用いて病変を診断するための診断装置であって、前記撮影画像を記憶する画像記憶部と、前記画像記憶部に記憶された前記撮影画像を処理する処理部と、を備え、前記処理部が、診断の対象となる前記撮影画像を病変の進行度により分類する分類手段を含み、前記分類手段により分類された分類に対応する画像変換処理を実行して変換画像を生成するとともに、前記処理部の前記画像変換処理が、前記進行度が低位の分類に対応する画像変換処理である構造明瞭変換処理を含むことを特徴とする診断装置である。
【発明の効果】
【0011】
本発明によれば、医師の診断を容易にするとともに診断精度の向上をはかる、診断装置を提供することができる。
【図面の簡単な説明】
【0012】
図1】本発明の実施の形態に係る診断装置の構成を示すブロック図である。
図2】本発明の実施の形態に係る診断装置の基本処理動作を示すフローチャートである。
図3図2の色成分解析による分類処理の詳細手順を示すフローチャートである。
図4図2の構造明瞭変換処理の詳細手順を示すフローチャートである。
図5図4の血管らしさを尤度Aとして抽出する処理の詳細手順を示すフローチャートである。
図6図2の部位強調変換、部位蛍光色変換処理の詳細手順を示すフローチャートである。
図7図7の輝度画像からボトムハット処理で輝度強調画像を得る処理の詳細手順を示すフローチャートである。
図8図7の膨張処理画像の一例を示す図である。
図9図6の血管らしさを尤度Aとして抽出する処理の詳細手順を示すフローチャートである。
図10】本発明の実施の形態に係る診断装置の表示画面構成の一例を示す図である。
図11】本発明の実施の形態に係る診断装置をシステム化した場合のネットワーク構成を示す図である。
図12】皮膚の病変の基本的なパターンを示す図である。
【発明を実施するための形態】
【0013】
以下、添付図面を参照して、本発明を実施するための形態(以下、「実施形態」と称する)について詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号を付している。
【0014】
(実施形態の構成)
図1は、本実施形態に係る診断装置100の構成を示すブロック図である。図1に示すように、本実施形態に係る診断装置100には、ダーモスコープ付き撮影装置110が接続されている。ダーモスコープ付き撮影装置110は、診断装置100(処理部101)からの指示により撮影を行ない、撮影画像(ダーモスコピー画像)を画像記憶部102に格納するとともに表示装置120上に表示する。また、撮影画像は、処理部101により強調処理が施されて画像記憶部102に保存されると共に表示装置120上に表示される。入力装置130は、ダーモスコープ画像の撮影開始指示、後述するダーモスコピー画像中の部位選択操作等を行う。
【0015】
なお、表示装置120、例えば、LCD(Liquid Crystal Display)モニタにより構成され、入力装置130は、マウス等により構成されている。
【0016】
処理部101は、画像記憶部102に記憶された撮影画像を処理するもので、図1に示すように、分類手段101aと、第1の分離手段101bと、第2の分離手段101cと、強調手段101dと、生成手段101eと、抽出手段101fと、を含む。
【0017】
分類手段101aは、診断の対象となる患部の撮影画像を病変の進行度により分類する手段として機能する。処理部101は、分類手段101aにより分類された分類に対応する画像変換処理を実行して変換画像を生成する。
【0018】
このとき、画像記憶部102は、撮影画像を分類ごとに記憶しており、分類手段101aは、画像記憶部102に記憶された撮影画像を参照して、診断の対象となる患部の撮影画像を病変の進行度により分類する。
【0019】
なお、処理部101による画像変換処理は、進行度が低位の分類に対応する画像変換処理である構造明瞭変換(組織明瞭変換ともいう)処理、前記進行度が中位の分類に対応する画像変換処理である部位強調変換処理、進行度が高位の分類に対応する画像変換処理である部位蛍光色変換処理を含む。
【0020】
分類手段101aは、患部がホクロ状であって、実質的に黒色又は茶色で構成されている画像を進行度が低位の分類(I型)として分類する。
【0021】
分類手段101aは、患部がホクロ状であって、部分的に血管で構成されている画像を進行度が中位の分類(II型)として分類する。
【0022】
分類手段101aは、患部がホクロ状であって、全体的に赤みを帯びた血管で構成されている画像を進行度が高位の分類(III型)として分類する。
【0023】
<構造明瞭変換>
処理部101が構造明瞭変換処理を実行する場合、第1の分離手段101bは、撮影画像を輝度成分と色情報成分とに分離する手段として機能し、第2の分離手段101cは、輝度成分を骨格成分と詳細成分とに分離する手段として機能する。
【0024】
強調手段101dは、骨格成分に対して強調処理を施す手段として機能し、骨格成分を中心値よりも明るく圧縮する第1の強調手段101d−1、及び骨格成分にシャープネスフィルタ処理を施す第2の強調手段101d−2の少なくとも1つを含む。
【0025】
生成手段101eは、強調された骨格成分と詳細成分とから輝度を復元し、色情報成分を用いて強調画像を生成する手段として機能する。生成手段101eは、強調された骨格成分と詳細成分とを加算して輝度を復元し、復元された輝度と、第1の色空間の赤系の色相方向と青色の色相方向に応じた色情報成分とから第2の色空間に変換して強調画像を生成する。
【0026】
<部位強調変換>
処理部101が部位強調変換処理を実行する場合、第1の分離手段101bは、撮影画像を輝度成分と色情報成分に分離する手段として機能し、抽出手段101fは、診断の対象の部位を抽出する手段として機能する。
【0027】
このとき抽出手段101fは、部位の候補を輝度成分により抽出する第1の抽出手段101f−1、及び部位のそれらしさを輝度成分と色情報成分とから構成される色空間により抽出される第2の抽出手段101f−2の少なくとも1つを含む。なお、部位強調変換処理において、第2の抽出手段101f−2は、色空間の赤系の色相方向に応じた色情報成分を用いて抽出する。
【0028】
<部位蛍光色変換>
処理部101が、部位蛍光色変換処理を実行する場合、第1の分離手段101bは、撮影画像を輝度成分と色情報成分に分離する手段として機能し、抽出手段101fは、診断の対象の部位を抽出する手段として機能する。
【0029】
このとき、抽出手段101fは、部位の候補を輝度成分により抽出してボトムハット処理を施す第1の抽出手段101f−1、及び部位のそれらしさを輝度成分と色情報成分とから構成される色空間により抽出される第2の抽出手段101f−2の少なくとも1つを含む。なお、上記した部位蛍光色変換処理において、第2の抽出手段101f−2は、色空間の緑系の色相方向に応じた色情報成分を用いて抽出する。
【0030】
上記した分類手段101a、第1の分離手段101b、第2の分離手段101c、強調手段101d(第1の強調手段101d−1、第2の強調手段101d−2)、生成手段101e、抽出手段101f(第1の抽出手段101f−1,第2の抽出手段101f−2)は、いずれも、処理部101が有する本実施形態に係るプログラムを逐次読み出し実行することにより、それぞれが持つ上記した機能を実現する。
【0031】
(実施形態の動作)
以下、図1に示す本実施形態に係る診断装置100の動作について、図2以降を参照しながら詳細に説明する。
【0032】
図2に、本実施形態に係る診断装置100の基本処理動作の流れが示されている。図2によれば、処理部101は、まず、ダーモスコープ付き撮影装置110で撮影された、例えば、皮膚病変部位等、患部の撮影画像を取得する(ステップS11)。そして、取得した撮影画像を画像記憶部102の所定の領域に格納するとともに、表示装置120に表示する(ステップS12)。
【0033】
続いて、処理部101は、分類手段101aが、色成分解析による分類を行い(ステップS13)、少なくともI型、II型及びIII型の3つに分類する(ステップS14)。
【0034】
分類した型に応じて、構造明瞭変換処理(ステップS15)、部位強調変換処理(ステップS16)、部位蛍光色変換処理(ステップS17)のそれぞれを実行し、その処理画像を撮影画像と共に表示装置に並べて表示し、診断を医師に委ねる(ステップS18)。
【0035】
このとき、分類手段101aは、患部がホクロ状であって、実質的に黒色又は茶色で構成されている画像を進行度が低位の分類(I型)として分類する。
【0036】
分類手段101aは、患部がホクロ状であって、部分的に血管で構成されている画像を進行度が中位の分類(II型)として分類する。
【0037】
分類手段101aは、患部がホクロ状であって、全体的に赤みを帯びた血管で構成されている画像を進行度が高位の分類(III型)として分類する。
【0038】
I型に分類されると、病変の進行度が低位の分類に対応する画像変換処理である構造明瞭変換処理(ステップS15)を実行する。
【0039】
II型に分類されると、進行度が中位の分類に対応する画像変換処理である部位強調変換処理(ステップS16)を実行する。
【0040】
III型に分類されると、進行度が高位の分類に対応する画像変換処理である部位蛍光色変換処理(ステップS17)を実行する。
【0041】
図10に表示装置120に表示される表示画面イメージの一例が示されている。画面に向かって左に撮影画像表示領域121が、右に、処理画像表示領域122が割り当てられており、それぞれの領域に、撮影画像、および処理画像が表示されている。
【0042】
医師が、入力装置130を用い、表示装置120の画面右下に割り当てられている「撮影開始」ボタン123をクリックすることにより、ダーモスコープ付き撮影装置110による患部の撮影が開始される。
【0043】
そして、処理部101により分類されたI型〜III型に応じた画像変換処理(構造明瞭変換処理、部位強調変換処理、部位蛍光色変換処理)により、表示装置120の撮影画像表示領域121に撮影画像が、処理画像表示領域122に、処理画像が並んで表示される。
【0044】
なお、画面の任意の場所にそれぞれの処理画像が表示されるサムネール領域を付加し、選択操作されたサムネールに該当する処理画像を処理画像表示領域122に表示してもよい。また、複数の処理画像を並べて表示してもよい。
【0045】
図3に、図2のステップS13の「色成分解析による分類処理」の詳細手順が示されている。図3によれば、処理部101は、まず、第1の分離手段101bが、ダーモスコープ付き撮影装置110から取得されるRGB色空間の撮影画像を、Lab色空間(正確には、CIE 1976 L*a*b色空間)に変換する。Lab色空間の詳細は、インターネットURL(http://ja.wikipedia.org/wiki/Lab%E8%89%B2%E7%A9%BA%E9%96%93)<平成26年9月1日>に記載されている。
【0046】
そして、処理部101は、分類手段101aが、病変部位の色分布を示すヒストグラムを作成し(ステップS141)、例えば、8割以上の面積が赤系の色成分で占められているか否かを判定する(ステップS142)。
【0047】
ここで、殆どが赤系の色成分で占められていると判定された場合(ステップS142“YES”)、分類手段101aは、II型かIII型に分類する。
【0048】
このため、分類手段101aは、病変部位の多くが血管形状を示すか否かを判定し(ステップS143)、血管形状を示す場合(ステップS143“YES”)はIII型(ステップS144)に分類する。
【0049】
血管形状を示していない場合(ステップS143“NO”)はII型に分類する(ステップS145)。
【0050】
一方、ステップS142で病変部位が赤系の色成分で占められていない場合(ステップS142“NO”)、分類手段101aは、更に、赤系以外の色成分が均等に分布しているか否か(ステップS146)、および赤系以外の色成分が点在しているか否かを判定する(ステップS148)。
【0051】
ここで、分類手段101aは、赤系以外の色成分が均等に分布しているか(ステップS146“YES”)、点在して分布していた場合は(ステップS148“YES”)、I型に分類する(ステップS147)。
【0052】
均等に分布していないか(ステップS146“NO”)、点在していない場合は(ステップS147“NO”)、その他に分類する(ステップS149)。
【0053】
<構造明瞭変換>
次に、I型に分類された場合に実行される構造明瞭変換処理について、図4のフローチャート用いて詳述する。図4において、処理部101は、第1の分離手段101bが、ダーモスコープ付き撮影装置110から取得されるRGB色空間の撮影画像を、Lab色空間画像に変換する(ステップS161)。次に、処理部101は、第2の分離手段101cが、撮影画像を骨格成分と詳細成分とに分離するために、L画像にエッジ保存型フィルタ処理を施す(ステップS162)。ここで、エッジ保存型フィルタとして、例えば、バイラテラルフィルタを用いる。バイラテラルフィルタは、例えば、インターネットURL(http://en.wikipedia.org/wiki/Bilateral filter)<平成26年9月1日閲覧>にその詳細が記載されている。
【0054】
次に、処理部101は、強調手段101dが、L画像にバイラテルフィルタ処理を施して得られるB画像、B=bilateral_filter(L)を取得する。ここで、B画像は骨格成分である。次に、強調手段101dが、詳細成分であるD画像を取得する。ここで、詳細画像Dは、D=L画像−B画像により取得することができる(ステップS163)。
【0055】
続いて、強調手段101d(第1の強調手段101d−1)は、骨格画像Bをp階乗することにより強調された骨格画像B1を得る(ステップS134)。このときのpは、p<=1となる。このとき、強調手段101dは、骨格画像Bの取りうる最大値と最小値が変換前後で同じになるように処理する。具体的には、Lab色空間では輝度Lの値範囲が0から100であるため、B1は、B1=(B^p)/(100^p)*100で求めることができる。次に、強調手段101dは、B1を、値Zを基準にK1倍して圧縮画像B2を得る(S165)。
【0056】
圧縮画像B2は、B2=(B1−Z)*K1+Zで求めることができる。ここで、係数K1は圧縮率で1以下とし、ここでは0.2〜0.8程度の値とする。また、Zは、中心Cよりも明るめに設定する。ここで、Cは圧縮を行う中心位置であり、C=(50^p)/(100^p)*100であり、これを5%から50%程度大きくした値がZになる。すなわち、強調手段101dは、骨格成分を中心値よりも明るく圧縮して強調する。
【0057】
次に、強調手段101d(第2の強調手段101d−2)は、圧縮画像B2にシャープネスフィルタ処理を施して鮮鋭化画像B3とする(ステップS166:B3 ← sharpnessFilter(B2))。第2の強調手段101d−2は、シャープネスフィルタ処理を実行するにあたり、以下のカーネルMを圧縮画像B2に畳み込み演算(convoltion)を行う。なお、以下に示すコンボリューション行列(畳み込みカーネルMの値)は一例である。
【0058】
|−0.1667 −0.6667 −0.1667|
M=|−0.6667 4.3333 −0.6667|
|−0.1667 −0.6667 −0.1667|
【0059】
なお、上記した圧縮強調処理を第1の強調手段101d−1が実行し、続くシャープネスフィルタ処理を第2の強調手段101d−2が行うものとして説明したが、強調手段101dが、圧縮強調処理とシャープネスフィルタ処理の両方を実行することは必須でなく、圧縮強調処理とシャープネスフィルタ処理のいずれか一方でもよい。
【0060】
次に、強調手段101dは、血管らしさを尤度Aとして抽出して詳細画像Dの強調の度合いに反映させる処理を実行する(ステップS167)。血管らしさ(尤度A)は、ノイズを除去した骨格画像の圧縮画像B2と同じ次元の情報をもっており、各ピクセルに対して0から1の血管らしさ情報(尤度A)を持つ。血管らしさが増すと1に近づく。図5に、ステップS167の「血管らしさを尤度Aとして抽出する処理」がフローチャートで示されている。
【0061】
図5によれば、強調手段101dは、Lab色空間の赤系の色相方向であるa軸の値を取得し(ステップS167a)、血管らしさ(尤度A)について、aの値を、0からSの範囲で制限を与えて正規化(A←max(min(a,S),0)/S)を行い、0から1の値範囲に設定する(ステップS167b,S167c)。ここで、Sは、例えば80とする。ここでは、0から80の値で制限を与えたが、この値は一例であり、この値に制限されない。なお、上述した「血管らしさを尤度Aとして抽出する処理」は、図9に示すフローチャートに従ってもよい。図9については後述する。
【0062】
説明を図4に戻す。第2の抽出手段101f−2は、上記した手順にしたがい血管らしさを尤度Aとして求めた後(ステップS167)、その尤度Aを用いて詳細画像Dの強調係数K3を求める(ステップS3168)。強調係数K3は、K3=A*K2で求めることができる。ここでは、強調係数K3の下限を係数K2のLM1倍とする。ここで、LM1は、0〜1の範囲で、例えば0.5とする。すなわち、K3=max(K3,LM1)で、max()は、要素ごとに2つの引数の最大値を返す関数である。LM1はスカラーであるため、強調係数K3と同次元に同値で拡張して処理がなされる(ステップS169)。
【0063】
続いて、強調手段101dは、詳細画像Dに強調係数K3を用いて強調処理を施し、詳細画像Dの強調画像D1とする(ステップS170)。すなわち、強調画像D1は、D1=D*K3で求められる。なお、*は要素ごとの乗算を表している。
【0064】
続いて、処理部101は、生成手段101eが、強調手段101dにより強調され変換された骨格画像B1と、強調され変換された強調画像D1とを加算(L”=B3+D1)することにより、変換された輝度画像L”を取得する。続いて、得られた輝度画像L”と、赤系の色相成分であるa軸ならびに青系の色相成分であるb軸の値とによりRGB色空間に変換して最終的な強調画像Eを生成する(ステップS171)。
【0065】
すなわち、生成手段101eは、強調された骨格成分と詳細成分画像とから輝度を復元し、色情報成分を用いて強調画像を生成する。そして、処理部101は、表示装置120に、例えば、図10の表示画面に示すように、撮影画像表示領域121と処理画像表示領域122とを並べて表示する。
【0066】
なお、強調手段101dは、上記したように、骨格成分と、詳細成分のいずれをも強調することができ、骨格成分については明るめに圧縮するか、シャープネスフィルタ処理により圧縮して強調し、詳細成分については、血管らしさに応じて強調処理を施した。このとき、生成手段101eは、必ずしも、強調された骨格成分と強調された詳細成分とを必要とせず、少なくとも一方から輝度を復元することが可能である。例えば、生成手段101eは、強調手段101dにより強調された骨格成分(B2またはB3)と、第2の分離手段101cにより分離された詳細成分(D)とを加算することにより、変換された輝度画像L”を取得することが可能である。
【0067】
上記した構造明瞭変換処理によれば、処理部101が、画像記憶部102に記憶された撮影画像を輝度成分と色情報成分とに分離し、輝度成分を骨格成分と詳細成分とに分離し、骨格成分を中心値よりも明るく圧縮するか、骨格成分にシャープネスフィルタ処理を施し、強調された骨格成分と詳細成分とから輝度を復元し、色情報成分を用いて強調画像を生成することにより、例えば、図10の表示画面に示すように、撮影画像表示領域121と処理画像表示領域122とを並べて表示することができる。
【0068】
ここで、骨格成分を中心値よりも明るく圧縮して強調した場合、血管色が維持され、骨格成分にシャープネスフィルタ処理を施して強調した場合、細かなノイズが増えずに、画像内の骨格成分がシャープになる。したがって、医師は、例えば、線状血管や点状血管について明瞭な画像を視認でき、容易、かつ的確に診断を行うことができ、診断精度が向上する。
【0069】
なお、輝度成分を骨格成分と詳細成分とに分離する際にバイラテラルフィルタ処理を用いることとしたが、バイラテラルフィルタに限らず、エプシロンフィルタ等、エッジ保存型平滑化フィルタであれば代替可能である。また、輝度画像を得るのにLab色空間を利用したが、Lab色空間によらず、例えば、輝度信号と2つの色差信号を使って表現されるYUV色空間の輝度信号Yを使用してもよい。なお、YUV色空間については、インターネットURL:http://Ja.wikipedia.org/wiki/YUV(平成26年9月1日閲覧)にその詳細が開示されている。
【0070】
また、血管らしさ(尤度A)として、Lab色空間のa軸を用いたが、a軸をb軸のプラス方向に、(a1,b1)を中心として回転させた軸を使用してもよい。その場合、a1は10〜50の値を、b1は0、回転量は0.3ラジアンから0.8ラジアン程度回転させることが必要である。
【0071】
<部位強調変換><部位蛍光色変換>
次に、図6を参照して部位強調変換および部位蛍光色変換処理について説明する。図6によれば、処理部101は、まず、第1の分離手段101bが、RGB色空間の撮影画像を、Lab色空間に変換する(ステップS171)。次に、処理部101は、抽出手段101fが、診断の対象として選択された部位を抽出する。
【0072】
具体的には、第1の抽出手段101f−1が、選択された部位の候補(血管候補)を輝度成分から抽出する。このため、第1の抽出手段101f−1は、第1の分離手段101bによって色空間変換されたLab色空間で輝度に相当するL画像を用い、モルフォロジー処理(ここでは、Bottmhat:ボトムハット処理)によりコントラスト強調画像BHを得る(ステップS172)。
【0073】
モルフオロジー処理とは、構造化要素を入力画像に適用し、同じサイズの出力画像としてのBHを生成するもので、出力画像の各値は、入力画像内の対応する画素と近傍画素との比較に基づいている。
【0074】
最も基本的なモロフォロジー処理は、膨張と収縮である。膨張は入力画像内のオブジェクトの境界に画素を付加し、収縮は、境界の画素を除去する。オブジェクトに付加し、あるいは削除する画素の数は、画像処理に使用される構造化要素のサイズと形状によって異なる。
【0075】
ここでは、ボトムハットを用いたモルフォロジー処理を実行し、診断の対象として選択された部位(血管候補)を輝度成分から抽出する方法について説明する。ボトムハット処理については、図7にその詳細手順が示されている。
【0076】
図7によれば、第1の抽出手段101f−1は、L画像に膨張処理を行い、処理後の輝度画像L1を得る(ステップS172a)。膨張処理の詳細は、インターネットURL(http://www.mathworks.co.jp/jp/help/images/morphology−fundamentals−dilation−and−erosion.html)<平成26年9月1日閲覧>に記載されている。
【0077】
次に、第1の抽出手段101f−1は、膨張処理後の輝度画像L1に対して収縮処理を行い、輝度画像L2を得る(ステップS172b)。続いて、第1の抽出手段101f−1は、収縮処理後の輝度画像L2からL画像を減算して(BH=L2−L)ボトムハット処理後の画像BHを得る(ステッフS172c)。この様子が図8に示されている。図8(a)がL画像、(b)が膨張処理後の画像L1、(c)がボトムハット処理後の画像BHである。
【0078】
ここで、膨張処理について補足する。例えば、半径5ドットの構造化要素を考える。膨張処理とは、注目画素の構造化要素の範囲内での最大値をその注目画像の値とする処理を全画素について行うことをいう。すなわち、出力される注目画素値は、入力画素近傍の中で全ての画素の最大値である。一方、縮小処理は、注目画素の構造化要素の範囲内での最小値をその注目画素の値とする。すなわち、注目画素値は、入力画素近傍の中で全ての画素の最小値である。以上により、L画像からボトムハット処理でコントラスト強調された画像BHを得ることができる。
【0079】
説明を図6に戻す。次に、処理部101は、第2の抽出手段101f−2が、選択された部位のそれらしさ(血管らしさ)を輝度成分と色情報成分とから構成される色空間により抽出する。このため、第2の抽出手段101f−2は、血管らしさを尤度Aとして計算する(ステップS173)。
【0080】
図9に、ステップS173の「血管らしさを尤度Aとして抽出する処理」の詳細手順が示されている。図9によれば、処理部101は、第1の分離手段101bが、撮影画像をLab色空間に変換した後(ステップS167h)、第2の抽出手段101f−2が、色空間の赤系の色相方向に応じた色情報成分であるa軸の値、及び青系の色相方向に応じた色情報成分であるb軸の値を用いて抽出する。すなわち、第2の抽出手段101f−2は、Lab色空間のa軸,b軸の値から以下の計算を行うことによってLH1を生成する(ステップS167i)。
【0081】
ad=(a−ca)*cos(r)+b*sin(r)+ca
bd=−(a−ca)*sin(r)+b*cos(r)
LH1=exp(−((ad*ad)/sa/sa+(bd*bd)
/sb/sb))
【0082】
ここで、ad,bdは、(ca,0)を中心に、反時計回りにab平面をrラジアンだけ回転させたものとなる。また、rの値として、0.3〜0.8ラジアン程度を設定する。caは、0〜50の間で設定する。sa,sbは、それぞれa軸方向の感度の逆数、b軸方向の感度の逆数となる。ここでは、sa>sbとして設定する。
【0083】
次に、第2の抽出手段101b−2は、得られたLH1に輝度Lで制限をかける。輝度Lが閾値TH1以上であれば0にしたものをLH2とし(ステップS167j)、輝度Lが閾値TH2以下のものをLH3とする(ステップS167k)。ここでは、閾値TH1は60から100の間で、閾値TH2は0から40の間で設定するものとする。ここで求めたLH3を、血管らしさを示す尤度Aとする(ステップS167l)。なお、血管らしさを尤度Aとして抽出する際に、上記した構造明瞭変換処理で用いた図5のフローチャートにしたがってもよい。
【0084】
説明を図6に戻す。第2の抽出手段101f−2は、上記した手順にしたがい血管らしさを尤度Aとして抽出した後(ステップS173)、ボトムハット処理後の画像BHと、血管らしさを示す尤度Aの各要素を乗算し、係数Nで除算する(ステップS174)。さらに、1でクリッピング処理を行なうことで強調された血管抽出Eの画像を生成する(ステップS175)。
【0085】
上記した例によれば、血管抽出Eの画像は、0〜1までの値を持つ多値画像であるものの、ポトムハット処理を経ているため、抽出された血管の境界は急峻になっている。さらに急峻な境界を得たい場合は、所望の閾値で2値化をしてもよい。
【0086】
上述したように、第2の抽出手段101f−2は、色空間の赤系の色相方向と、青系の色相方向で構成される平面座標を、赤系の色相方向軸の特定の点を中心に反時計まわりに所定角回転させ、特定の値域で輝度成分に制限をかけることにより、選択された部位の血管らしさを示す尤度Aを算出する。そして、算出された尤度Aを、輝度成分の画像にボトムハット処理を施して得られる輝度画像に乗算して選択された部位を強調する。
【0087】
最後に、処理部101は、生成手段101eが、部位の抽出された結果を背景画像と再合成して表示装置120に表示する。このとき、背景画像としては、撮影画像、あるいは撮影画像のグレー変換画像のいずれかである。
【0088】
ここで、部位強調変換処理は、部位の抽出された結果をRGB空間の背景画像と合成して血管強調して表現する。
【0089】
部位蛍光色変換処理は、部位の抽出された結果をRGB空間の背景画像と合成して血管を緑で表現する。
【0090】
上記した部位強調変換処理、部位蛍光色変換処理によれば、処理部101は、第1の抽出手段101f−1が、選択された部位の候補を輝度成分により抽出し、第2の抽出手段101f−2が、選択された部位のそれらしさを輝度成分と色情報成分とから構成される色空間により抽出し、抽出された結果を表示装置120に表示する。このため、医師は、診断の対象の部位について強調表示された画面を視認することで、容易、かつ的確に診断を行うことができ、その結果、診断精度が向上する。
【0091】
また、処理部101は、第1の抽出手段101f−1が、モルフォロジー処理(ボトムハット処理)を用いて血管候補を抽出し、第2の抽出手段101f−2が、血管らしさを尤度として算出し、尤度Aと血管候補とから血管領域を抽出するため、血管の明瞭な形状変化や模様等を再現することができる。
【0092】
なお、処理部101は、生成手段101eが、部位の抽出された結果を背景画像と再合成して表示装置120に表示する。このとき、背景画像として、医師に、撮影画像、あるいは撮影画像のグレー変換画像を提供することで、診断目的に応じた表示形態を動的に変更でき、その結果、医師は、一層容易に、かつ的確に診断を行うことができ、診断精度が一段と向上する。
【0093】
なお、本実施形態に係る診断装置100は、スタンドアロン構成により実現されることを前提に説明したが、診断サイトとしてサーバを用いたネットワーク形態で実現してもよい。図11にその場合の診断システムの構成例が示されている。
【0094】
図11によれば、診断サイトが管理運営する診断サーバ200と、診断サーバ200とは、例えば、IP網(Internet Protocol)等のネットワーク400経由で接続される、利用者サイド(病院)のPC端末300とにより、システムが構築される。PC端末300は、診断サーバ200に対し、図示省略したダーモスコピー付き撮影装置で撮影した患部の撮影画像をアップロードして診断要求を送信する。これを受けた診断サーバ200は、上記した診断装置100と同様、撮影画像をパターン認識してI,II,IIIに分類し、分類に適した構造明瞭変換、血管強調変換、血管蛍光色変換等の画像変換処理を行い、得られる処理画像を、診断要求があったPC端末300にネットワーク400経由で送信する診断サービスを実行する。この場合、利用者サイドは、画像解析と症状の分類にあった変換画像を少ない資源で自動的に得ることができる。
【0095】
以上の実施形態では、病変の進行度による分類をもとにした例を説明したが、皮膚上に観察されたメラノーマが疑われる病変のパターンによって分類することもできる。メラノーマが疑われる病変を全体的な構築の面から分類した基本的なパターンとしては、次のようなものがある。すなわち、網状パターン、小球状パターン、敷石状パターン、均一パターン、平行パターン、スターバーストパターン、多構築パターン、及び非特異的パターンである(出典:「ダーモスコピー超簡単ガイド」、株式会社学研メディカル秀潤社、田中勝 著)。
【0096】
これらは、母斑(色素斑)の状態がどのようになっているかによって分類されるものであり、図12に示すように、(a)網状パターンは色素斑全体が網目(色素ネットワーク)で構成されるパターンを、(b)小球状パターンは色素斑全体が黒色又は茶色、青色の色素小球で構成されるパターンを、(c)敷石状パターンは互いに密接し角張ってみえる色素小球が集蔟して色素斑全体を構成するパターンを、(d)均一パターンは色素斑全体がほとんど無構造で色調の偏りが少ないパターンを、(e)平行パターンは掌蹠の色素斑において皮溝皮丘に沿って平行に配列する線状の分布がみられるパターンを、(f)スターバーストパターンは色素斑が全周性に線条で囲まれるパターンを、(g)多構築パターンは色素斑全体が前述のパターンのうち3つ以上のパターンで不規則に構成されるパターンを、(h)非特異的パターンは色素斑全体に特徴的な構造物がみられず、前述のいずれのパターンにも該当しないパターンを、それぞれ指す。
【0097】
これらのパターンに応じて撮影画像の画像変換処理を行うことができるが、例えば、網目状パターンについては、病変内部の格子または網目状の形状を浮き立たせるため、網目の態様や間隔を明確に確認する変換を、小球状パターンについては、病変内部の小球(斑点)を浮き立たせ、その配列、個々の大きさの違いを明確にするため、色の変化を抑えた高感度撮影で色のうすい小球も明確に確認する変換を、平行パターンについては、病変内部の平行に走る線形を強調する変換を、スターバーストパターンについては、病変の輪郭を強調するとともに、その外部から延びる繊毛状の形状を明確に変換する必要からエッジ強調と輪郭強調を用いた変換を、それぞれ行えばよい。
【0098】
(実施形態の効果)
以上説明のように、本実施形態に係る診断装置100によれば、処理部101は、分類手段101aが、診断の対象となる患部の撮影画像を病変の進行度又はパターンにより分類することで、分類された分類に対応する画像変換処理を実行する。例えば、進行度が低位の分類に分類された場合、構造明瞭変換処理を実行し、進行度が中位の分類に分類された場合、部位強調変換処理を実行し、進行度が高位の分類に分類された場合、部位蛍光色変換処理を実行することで、病変の種類あるいは進行の度合いによりそれに適した処理画像を得ることができ、したがって、医師の診断を容易にするとともに診断精度の向上がはかれる。なお、ネットワークを利用したシステム構成をとることで、利用者サイドは、少ない資源で診断サービスを享受することができる。
【0099】
以上、各実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態及び実施例に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。また、その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0100】
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
【0101】
[付記]
[請求項1]
患部の撮影画像を用いて病変を診断するための診断装置であって、
前記撮影画像を記憶する画像記憶部と、
前記画像記憶部に記憶された前記撮影画像を処理する処理部と、を備え、
前記処理部が、
診断の対象となる前記患部の撮影画像を病変の進行度により分類する分類手段を含み、前記分類手段により分類された分類に対応する画像変換処理を実行して変換画像を生成することを特徴とする診断装置。
[請求項2]
前記画像記憶部は、前記撮影画像を前記分類ごとに記憶しており、
前記分類手段は、前記画像記憶部に記憶された前記撮影画像を参照して、診断の対象となる前記患部の撮影画像を病変の進行度により分類することを特徴とする請求項1に記載の診断装置。
[請求項3]
前記処理部の前記画像変換処理が、前記進行度が低位の分類に対応する画像変換処理である構造明瞭変換処理を含むことを特徴とする請求項1又は2に記載の診断装置。
[請求項4]
前記分類手段は、前記患部がホクロ状であって、実質的に黒色又は茶色で構成されている画像を前記進行度が低位の分類として分類することを特徴とする請求項3に記載の診断装置。
[請求項5]
前記処理部が、
前記構造明瞭変換処理を実行するように、
前記撮影画像を輝度成分と色情報成分とに分離する第1の分離手段と、
前記輝度成分を骨格成分と詳細成分とに分離する第2の分離手段と、
前記骨格成分に対して強調処理を施す強調手段と、
前記強調された骨格成分と前記詳細成分とから輝度を復元し、前記色情報成分を用いて強調画像を生成する生成手段と、を備え、
前記強調手段が、
前記骨格成分を中心値よりも明るく圧縮する第1の強調手段、及び前記骨格成分にシャープネスフィルタ処理を施す第2の強調手段の少なくとも1つを含むことを特徴とする請求項3又は4に記載の診断装置。
[請求項6]
前記構造明瞭変換処理において、前記生成手段が、前記強調された骨格成分と前記詳細成分とを加算して前記輝度を復元し、前記復元された輝度と、第1の色空間の赤系の色相方向と青色の色相方向に応じた前記色情報成分とから第2の色空間に変換して前記強調画像を生成することを特徴とする請求項5に記載の診断装置。
[請求項7]
前記処理部の前記画像変換処理が、前記進行度が中位の分類に対応する画像変換処理である部位強調変換処理を含むことを特徴とする請求項1又は2に記載の診断装置。
[請求項8]
前記分類手段は、前記患部がホクロ状であって、部分的に血管で構成されている画像を前記進行度が中位の分類として分類することを特徴とする請求項7に記載の診断装置。
[請求項9]
前記処理部が、
前記部位強調変換処理を実行するように、
前記撮影画像を輝度成分と色情報成分に分離する第1の分離手段と、
診断の対象の部位を抽出する抽出手段と、を備え、
前記抽出手段が、
前記部位の候補を前記輝度成分により抽出する第1の抽出手段、及び前記部位のそれらしさを前記輝度成分と前記色情報成分とから構成される色空間により抽出される第2の抽出手段の少なくとも1つを含むことを特徴とする請求項7又は8に記載の診断装置。
[請求項10]
前記部位強調変換処理において、前記第2の抽出手段が色空間の赤系の色相方向に応じた色情報成分を用いて抽出することを特徴とする請求項9に記載の診断装置。
[請求項11]
前記処理部の前記画像変換処理が、前記進行度が高位の分類に対応する画像変換処理である部位蛍光色変換処理を含むことを特徴とする請求項1又は2に記載の診断装置。
[請求項12]
前記分類手段は、前記患部がホクロ状であって、全体的に赤みを帯びた血管で構成されている画像を前記進行度が高位の分類として分類することを特徴とする請求項11に記載の診断装置。
[請求項13]
前記処理部が、
前記部位蛍光色変換処理を実行するように、
前記撮影画像を輝度成分と色情報成分に分離する第1の分離手段と、
診断の対象の部位を抽出する抽出手段と、を備え、
前記抽出手段が、
前記部位の候補を前記輝度成分により抽出してボトムハット処理を施す第1の抽出手段、及び前記部位のそれらしさを前記輝度成分と前記色情報成分とから構成される色空間により抽出される第2の抽出手段の少なくとも1つを含むことを特徴とする請求項11又は12に記載の診断装置。
[請求項14]
前記部位蛍光色変換処理において、前記第2の抽出手段が色空間の緑系の色相方向に応じた色情報成分を用いて抽出することを特徴とする請求項13に記載の診断装置。
[請求項15]
患部の撮影画像を用いて病変を診断する診断装置における画像処理方法であって、
前記撮影画像を記憶するステップと、
記憶された前記撮影画像を処理するステップと、を備え、
前記処理ステップにおいて、
診断の対象となる前記患部の撮影画像を病変の進行度により分類し、分類された分類に対応する画像変換処理を実行して変換画像を生成することを特徴とする画像処理方法。
[請求項16]
患部の撮影画像を用いて病変を診断する診断装置における画像処理のプログラムであって、
コンピュータに、
前記撮影画像を記憶する記憶機能と、
記憶された前記撮影画像を処理する処理機能と、を実行させ、
前記処理機能において、
診断の対象となる前記患部の撮影画像を病変の進行度により分類し、分類された分類に対応する画像変換処理を実行して変換画像を生成することを特徴とするプログラム。
【符号の説明】
【0102】
100…診断装置、101…処理部、101a…分類手段、101b…第1の分離手段、101c…第2の分離手段、101d…強調手段(101d−1…第1の強調手段、101d−2…第2の強調手段)、101e…生成手段、101f…抽出手段(101f−1…第1の抽出手段、101f−2…第2の抽出手段)、110…ダーモスコープ付き撮影装置、120…表示装置、121…撮影画像表示領域、122…強調画像表示領域、130…入力装置、200…診断サーバ、300…PC端末、400…ネットワーク
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12