(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023142112
(43)【公開日】2023-10-05
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
A61B 6/03 20060101AFI20230928BHJP
G06T 7/00 20170101ALI20230928BHJP
【FI】
A61B6/03 360D
G06T7/00 300G
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022048810
(22)【出願日】2022-03-24
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】敦森 洋和
(72)【発明者】
【氏名】ストコ ステファニー
(72)【発明者】
【氏名】舟根 司
(72)【発明者】
【氏名】西村 彩子
(72)【発明者】
【氏名】神鳥 明彦
【テーマコード(参考)】
4C093
5L096
【Fターム(参考)】
4C093AA26
4C093CA29
4C093FD09
4C093FF09
4C093FF19
4C093FF28
5L096BA06
5L096BA13
5L096DA01
5L096FA19
5L096FA35
5L096GA51
5L096JA11
(57)【要約】
【課題】簡易な処理で高精度な注目領域の強調を行うことを課題とする。
【解決手段】医用画像を取得する画像取得部101と、病変部位を含む領域として医用画像に設定された内側領域の周辺に周辺領域を設定する領域設定部102と、内側領域について強度値割合の分布であるヒストグラムを算出するとともに、周辺領域について強度値割合の分布であるヒストグラムを算出する強度値割合分布算出部と、内側領域における強度値割合と、周辺領域における強度値割合との差分である割合差分を、それぞれの所定の強度値について算出する割合差分算出部104と、割合差分を基に、医用画像において強調表示する画素を選択する強度値決定部107と、医用画像について、画素選択部で選択された画素が強調表示された医用画像を表示装置に出力する表示処理部108と、を有することを特徴とする。
【選択図】
図2
【特許請求の範囲】
【請求項1】
第1の画像中の注目領域を含む領域として前記第1の画像に設定された第1の領域に対して、前記第1の領域の近傍の領域であり、かつ、前記注目領域及び前記第1の領域を含まない領域である第2の領域を前記第1の画像に設定する領域設定部と、
前記第1の領域について、所定の強度値を有する画素の個数の分布に関する情報である第1の強度値度数分布を算出するとともに、前記第2の領域について、所定の強度値を有する画素の個数の分布に関する情報である第2の強度値度数分布を算出する強度値度数分布算出部と、
前記第1の強度値度数分布と、前記第2の強度値度数分布との差分値を、それぞれの前記所定の強度値について算出する差分値算出部と、
前記差分値を基に、前記第1の画像において強調表示する画素を選択する画素選択部と、
前記第1の画像について、前記画素選択部で選択された前記画素が強調表示された第2の画像を出力部に出力する出力処理部と、
を有することを特徴とする画像処理装置。
【請求項2】
前記画素選択部は、
前記差分値に対して順位を付与し、当該順位に従って前記所定の強度値を整列させることで差分順位分布を算出する順位分布算出部と、
前記差分順位分布の前記順位に対して、所定の閾値を設定する閾値設定部と、
前記閾値に基づいて、強調表示の対象となる強度値を決定する強度値決定部と、
を有し、
前記出力処理部は、
前記強度値決定部によって決定された前記強度値に基づいて、強調表示する前記画素を決定し、当該画素が強調表示された前記第2の画像を前記出力部に表示する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記順位分布算出部は、前記順位をパーセンタイル順位に変換した前記差分順位分布を算出し、
前記閾値設定部は、前記順位を前記パーセンタイル順位に変換した前記差分順位分布の前記パーセンタイル順位に対して閾値を設定する
ことを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記強度値度数分布算出部は、
前記第1の領域について、所定の強度値を有する画素の個数を前記第1の領域を構成する画素の個数で除算した強度値割合の分布として前記第1の強度値度数分布を算出するとともに、前記第2の領域について、所定の強度値を有する画素の個数を前記第2の領域を構成する画素の個数で除算した強度値割合の分布として前記第2の強度値度数分布を算出し、
前記差分値算出部は、
前記差分値として、前記第1の強度値度数分布における前記強度値割合と、前記第2の強度値度数分布における前記強度値割合との差分を、それぞれの前記所定の強度値について算出する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項5】
前記出力処理部は、
前記第1の画像と、前記第2の画像とを同じ画面中に表示する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項6】
前記第1の領域は、入力部を介して設定される
ことを特徴とする請求項1に記載の画像処理装置。
【請求項7】
前記第1の画像はx軸-y軸平面に広がる2次元画像であり、
前記領域設定部は、設定された前記第1の領域と前記第2の領域を、z軸方向に隣接している他の第1の画像に対して設定する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項8】
画像処理装置が、
第1の画像中の注目領域を含む領域として前記第1の画像に設定された第1の領域に対して、前記第1の領域の近傍の領域であり、かつ、前記注目領域及び前記第1の領域を含まない領域である第2の領域を前記第1の画像に設定する領域設定ステップと、
前記第1の領域について、所定の強度値を有する画素の個数の分布に関する情報である第1の強度値度数分布を算出するとともに、前記第2の領域について、所定の強度値を有する画素の個数の分布に関する情報である第2の強度値度数分布を算出する強度値度数分布算出部ステップと、
前記第1の強度値度数分布と、前記第2の強度値度数分布との差分値を、それぞれの前記所定の強度値について算出する差分値算出ステップと、
前記差分値を基に、前記第1の画像において強調表示する画素を選択する画素選択部と、
前記第1の画像について、前記画素選択部で選択された前記画素が強調表示された第2の画像を出力部に出力する出力処理ステップと、
を実行することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理方法の技術に関する。
【背景技術】
【0002】
脳を始めとした白黒コントラスト臓器画像において、脳梗塞等の病変部位を特定するためには、現在のところ経験豊富な専門医等の見立てが必要である。また、この判断に基づき画像上にマーク(色塗り)を入れる作業も手作業によるため煩雑である。
【0003】
このような作業を簡易化するための技術として、特許文献1には「確率画像算出部102は、指定対象画像に含まれる病変がテクスチャ型の病変である場合、指定対象画像のそれぞれの画素が病変領域に含まれる確率値を算出する。出力部103は、確率画像算出部102から取得した確率画像において、第1閾値以上の確率値を持つ画素からなる領域を候補領域として算出し、第1閾値を含む所定の確率範囲の確率値を持つ画素からなる領域を修正領域として算出する。入力部104は、操作装置を操作することで、出力部103がディスプレイに表示した修正領域の画素に対するユーザの入力を検知する。病変領域指定部105は、確率画像算出部102から取得した確率画像と、出力部103から取得した候補領域と修正領域と、入力部104から取得したユーザの操作情報とに基づき病変領域を指定する」制御方法、情報端末、及びプログラムが開示されている(要約参照)。
【0004】
また、非特許文献1には、CNN(Convolutional Neural Network)による病変部位判定に関する技術が記載されている。
【先行技術文献】
【特許文献】
【0005】
【非特許文献】
【0006】
【非特許文献1】Xue, Y., et al. A multi-path 2.5 dimensional convolutional neural network system for segmenting stroke lesions in brain MRI images. NeuroImage: Clinical 25, 102118 (2020).
【発明の概要】
【発明が解決しようとする課題】
【0007】
前記したような技術として、これまでに画像上の強度データの所定の閾値を用いた病変部位(半)自動判定技術や、多数の画像を用いた機械学習による(半)自動判定技術 が提案されている。しかし、一般的に、これらの技術病変部位特定の判定精度(パフォーマンス)は60~80%にとどまっており高いとはいえない。
【0008】
このような背景に鑑みて本発明がなされたのであり、本発明は、簡易な処理で高精度な注目領域の強調を行うことを課題とする。
【課題を解決するための手段】
【0009】
前記した課題を解決するため、本発明は、第1の画像中の注目領域を含む領域として前記第1の画像に設定された第1の領域に対して、前記第1の領域の近傍の領域であり、かつ、前記注目領域及び前記第1の領域を含まない領域である第2の領域を前記第1の画像に設定する領域設定部と、前記第1の領域について、所定の強度値を有する画素の個数の分布に関する情報である第1の強度値度数分布を算出するとともに、前記第2の領域について、所定の強度値を有する画素の個数の分布に関する情報である第2の強度値度数分布を算出する強度値度数分布算出部と、前記第1の強度値度数分布と、前記第2の強度値度数分布との差分値を、それぞれの前記所定の強度値について算出する差分値算出部と、前記差分値を基に、前記第1の画像において強調表示する画素を選択する画素選択部と、前記第1の画像について、前記画素選択部で選択された前記画素が強調表示された第2の画像を出力部に出力する出力処理部と、を有することを特徴とする。
その他の解決手段は実施形態中において適宜記載する。
【発明の効果】
【0010】
本発明によれば、簡易な処理で高精度な注目領域の強調を行うことができる。
【図面の簡単な説明】
【0011】
【
図1】本実施形態における画像処理システムの構成例を示す図である。
【
図2】本実施形態における計算機の構成を示す図である。
【
図4】本実施形態に係る計算機が行う病変部位強調処理の手順を示すフローチャートである。
【
図5】内側領域及び周辺領域の設定処理の詳細な手順を示すフローチャートである。
【
図7】図強度値群割合分布算出の詳細な手順を示すフローチャートである。
【
図8】内側領域及び周辺領域の強度値群割合分布の例を示す図である。
【
図10】割合差分順位分布の算出の詳細な手順を示すフローチャートである。
【
図11】割合差分の昇順ソート結果を示す図である。
【
図12】横軸をパーセンタイル順位に変換した図である。
【
図14】本実施形態による病変部位強調処理の結果を示す図である。
【
図15】本実施形態で表示装置に表示される表示画面の例を示す図である。
【発明を実施するための形態】
【0012】
次に、本発明を実施するための形態(「実施形態」という)について、適宜図面を参照しながら詳細に説明する。
本実施形態は、X線CT(Computed Tomography)や、MRI(Magnetic Resonance Imaging)、PET(Positron Emission Tomography)、SPECT(Single Photon Emission Computed Tomography)等の2次元もしくは3次元画像に対して適用可能である。本実施形態では、2次元画像に対して適用した例を示す。
【0013】
[システム]
図1は、本実施形態における画像処理システムZの構成例を示す図である。
画像処理システムZは、医用画像取り込み部Mと、医用画像取り込み部Mで取り込まれた画像を処理する画像処理装置1とを有する。医用画像取り込み部Mは、X線CTや、MRI、PET、SPECT等(以下、医用機器)で撮像された画像を取り込む。画像処理装置1は、医用機器で撮像された画像(医用画像201(
図6参照)と称する)を医用画像取り込み部Mから取得する。
【0014】
画像処理装置1は、医用画像201中の病変部位を強調する病変部位強調処理を行う。画像処理装置1は、計算機100と、記憶装置120と、入力装置(入力部)131と、表示装置(出力部)132とを備える。計算機100の詳細については後記する。記憶装置120は、HDD(Hard Disk Drive)や、SSD(Solid State Drive)等で構成され、医用画像取り込み部Mから取得した医用画像201や、後記する閾値等の情報が格納されている。なお、
図1に示す例では、記憶装置120が画像処理装置1と一体になっているが、記憶装置120をデータベース等とし、画像処理装置1とは別の装置としてもよい。入力装置131は、マウスや、キーボード等で構成される。表示装置132は、ディスプレイである。
【0015】
[計算機100]
図2は、本実施形態における計算機100の構成を示す図である。適宜、
図1を参照する。
計算機100は、画像取得部101、領域設定部102、強度値群割合分布算出部(強度値度数分布算出部)103、割合差分算出部(差分値算出部)104を備える。さらに計算機100は、順位分布算出部(画素選択部)105、閾値設定部(画素選択部)106、強度値決定部(画素選択部)107、表示処理部(出力処理部)108を備える。
画像取得部101は、記憶装置120から医用画像201(
図6参照)を取得する。
領域設定部102は、医用画像201に、後記する内側領域212(
図6参照)及び周辺領域222(
図6参照)を設定する。
強度値群割合分布算出部103は、設定した内側領域212及び周辺領域222について、所定の強度値を有する画素の個数の分布に関する情報である第1の強度値度数分布及び第2の強度値度数分布であるヒストグラム301,302(
図8参照)を算出する。ヒストグラム301,302については後記する。
割合差分算出部104は、ヒストグラム301及びヒストグラム302を強度値群毎に減算した割合差分(差分値)を算出する。強度値群及び割合差分については後記する。
順位分布算出部105は、割合差分を小さい順(昇順)にソートすることで、割合差分順位分布330b(
図12参照)を算出する。
閾値設定部106は、割合差分順位分布(差分順位分布)330bに所定の閾値を設定する。
強度値決定部107は、割合差分順位分布330bと、設定された閾値に基づいて、強調表示する強度値を決定する。
表示処理部108は、強度値決定部107によって決定された強度値に該当する画素が強調表示された医用画像201Aを表示装置132に表示する。
【0016】
なお、強度値とはX線CTや、MRI、PET、SPECT等の医用機器で測定される際の信号強度値であり、表示装置132(
図1参照)では輝度値として出力される。
【0017】
[計算機100のハードウェア構成]
図3は、計算機100のハードウェア構成を示す図である。
図3に示すように、計算機100は、RAM(Random Access Memory)等で構成されるメモリ111、CPU(Central Processing Unit)112、通信装置113を備えている。
記憶装置120(
図1参照)に格納されているプログラムがメモリ111にロードされ、CPU112によって実行されることにより、
図2に示す各部101~108が具現化する。また、通信装置113は、医用画像取り込み部M(
図1参照)に対して情報の授受を行う。
【0018】
[フローチャート]
図4は、本実施形態に係る計算機100が行う病変部位強調処理の手順を示すフローチャートである。適宜、
図2を参照する。
まず、医用機器で撮像され、医用画像取り込み部Mから取り込まれた医用画像201(
図6参照)は画像処理装置1によって取得された後、記憶装置120に格納される。
そして、画像取得部101は、記憶装置120に格納されている医用画像(第1の画像)201(
図6参照)を読み込む(S101)。
続いて、表示処理部108は、表示装置132に読み込んだ医用画像201を表示する(S102)。
その後、領域設定部102は、内側領域(第1の領域)212(
図6参照)を設定し、設定した内側領域212を基に周辺領域(第2の領域)222(
図6)を設定する(S110:領域設定ステップ)。ステップS110の処理については後記する。
【0019】
次に、強度値群割合分布算出部103は、内側領域212について強度値群割合分布を算出し、さらに、周辺領域222について強度値群割合分布を算出する(S120:強度値度数分布算出ステップ)。強度値群割合分布については後記する。
そして、割合差分算出部104は強度値群割合分布を基に割合差分を算出する(S130:差分値算出ステップ)。割合差分については後記する。
さらに、順位分布算出部105は割合差分を基に割合差分順位分布330b(
図12参照)を算出する(S140:画素選択ステップ)。割合差分順位分布330bについては後記する。
【0020】
続いて、閾値設定部106は割合差分順位分布330bに閾値を設定する(S151:画素選択ステップ)。
そして、強度値決定部107は、割合差分順位分布330bに設定した閾値に基づいて強調表示の対象となる強度値を決定する(S160:画素選択ステップ)。ステップS160の処理については後記する。
詳細は後記するが、ステップS140,S151,S160によって、割合差分を基に、医用画像201において強調表示する画素が選択される。
次に、表示処理部108は、医用画像201について、強度値決定部107で選択された画素が強調表示された医用画像201A(
図14、
図15参照)を表示装置132に表示(出力)する(S171:出力ステップ)
【0021】
(内側領域212及び周辺領域222の設定:
図4のS110)
続いて、
図4を参照しつつ、
図5を参照して、内側領域212及び周辺領域222の設定(
図4のS110)について説明する。適宜、
図2を参照する。
図5は、
図4のステップS110における内側領域212及び周辺領域222の設定処理の詳細な手順を示すフローチャートである。
図6は、内側領域212及び周辺領域222の例を示す図である。
【0022】
図6には、脳に関する医用画像201が示されている。
まず、ユーザは第1の画像である医用画像201に内側線211を指定する(
図5のS111)。太い実線として図示されている内側線211は、医用画像201の病変部位と考えられる領域(注目領域)202のすべてを含む領域を囲う線として指定される。また、内側線211は、ユーザがマウスでドラッグすることによって指定されてもよいし、マウスで複数箇所をクリックすることで、領域設定部102がクリックした箇所を頂点として結んだ線を内側線211としてもよい。なお、内側線211より内側の領域を内側領域212と称する。このようにして、領域設定部102は医用画像201に内側領域212を設定する(
図5のS112)。このように、内側領域212は、病変部位と考えられる領域202を含む領域として設定される。また、内側領域212は、入力装置131を介して内側線211が設定されることによって医用画像201に設定される。
【0023】
続いて、領域設定部102は、内側線211を基に周辺領域222を設定する(
図5のS113)。具体的には、領域設定部102は内側領域212の面積のx倍(xはx>1を満たす実数)となる拡大領域231を設定する。そして、領域設定部102は拡大領域231の輪郭を外側線221とする。
図6の例では、x=1.2の場合を示しているが、x=1.2に限らない。なお、xの値は入力装置131を介してユーザによって予め設定されている。
【0024】
そして、領域設定部102は、外側線221と内側線211とで囲まれている領域を周辺領域222として医用画像201に設定する。このように、第2の領域である周辺領域222は、第1の領域である内側領域212の近傍の領域であり、かつ、病変部位と考えられる領域202及び内側領域212を含まない領域として、領域設定部102によって設定される。
【0025】
(強度値群割合分布の算出:
図4のS120)
次に、
図7を参照しつつ、
図8を参照して、
図4のステップS120における強度値群割合分布の算出について説明する。
図7は、
図4のステップS120における強度値群割合分布算出の詳細な手順を示すフローチャートである。また、
図8は、内側領域212及び周辺領域222の強度値群割合分布の例を示す図である。強度値群割合分布については後記する。適宜、
図2及び
図6を参照する。
図8において、横軸は強度値群を示し、縦軸は強度値群割合を示している。また、
図8において、黒で示すヒストグラム301は内側領域212における強度値群割合を示している。また、斜線で示すヒストグラム302は周辺領域222における強度値群割合を示している。強度値群割合については後記する。
【0026】
以下、強度値群の定義について説明する。本実施形態では、複数の強度値のグループを強度値群と称する。例えば、「0~31」、「32~63」、・・・「960~991」、「992~1023」のそれぞれを強度値群(所定の強度値)と称する。また、本実施形態では「n~m」(n,mは0を含む自然数)に該当する強度値群を強度値群「m+1」と表記する。例えば、強度値「0~31」に該当する強度値群は、強度値群「32」と記載される。
【0027】
図8に示すような強度値群割合分布を生成するため、まず、強度値群割合分布算出部103は内側領域212について、各強度値群に関する画素の個数(画素数:所定の強度値を有する画素の個数)を計数する(
図7のS121)。例えば、強度値群割合分布算出部103は、内側領域212において強度値「672」~「703」(強度値群「704」)を有する画素の個数「n1」を計数する。
【0028】
そして、強度値群割合分布算出部103は、各強度値群の画素数を内側領域212の総画素数(内側領域212を構成する画素の個数)で除算する。これによって、強度値群割合分布算出部103は、内側領域212における各強度値群を有する画素の割合(強度値群割合と称する)を算出する(
図7のS122)。例えば、内側領域212に含まれる総画素数が「N1」であるとし、内側領域212において強度値群「704」を有する画素の個数が「n1」であるとする。この場合、内側領域212における強度値群「704」の強度値群割合は「n1/N1」となる。このようにして算出された強度値群割合が、
図8の強度値群「704」に黒で示すヒストグラム301として示されている。強度値群割合分布算出部103は、内側領域212において、対象となるすべての強度値群について強度値群割合を算出することで、
図8に示すような黒で示すヒストグラム(強度値割合の分布、所定の強度値を有する画素の個数の分布に関する情報である第1の強度値度数分布)301を算出する。
【0029】
なお、本実施形態では、ヒストグラム301を強度値群割合で示しているが、内側領域212及び周辺領域222の総画素数が同じであれば、単純な各強度値群の画素数(前記した例では「n1」)としてもよい。なお、ヒストグラム301を単純な画素数ではなく、強度値群割合とすることで、内側領域212と周辺領域222の総画素数が異なっていても、以降の処理を行うことができる。後記するヒストグラム302でも同様である。
【0030】
強度値群割合分布算出部103は、周辺領域222についても同様の手順で強度値群割合を算出する。強度値群割合分布算出部103は周辺領域222について、各強度値群に関する画素の個数(画素数:所定の強度値を有する画素の個数)を計数する(
図7のS123)。例えば、強度値群割合分布算出部103は、周辺領域222において強度値「256」~「287」(強度値群「288」)を有する画素の個数「n2」を計数する。
【0031】
そして、強度値群割合分布算出部103は、各強度値群の画素数を周辺領域222の総画素数(周辺領域222を構成する画素の個数)で除算する。これによって、強度値群割合分布算出部103は、周辺領域222における各強度値群を有する画素の割合(強度値群割合と称する)を算出する(
図7のS124)。例えば、周辺領域222に含まれる総画素数が「N2」であるとし、周辺領域222において強度値群「288」を有する画素の個数が「n2」であるとする。この場合、周辺領域222における強度値群「288」の強度値群割合は「n2/N2」となる。このようにして算出された強度値群割合が、
図8の強度値群「288」に斜線で示すヒストグラム302として示されている。強度値群割合分布算出部103は、周辺領域222において、対象となるすべての強度値群について強度値群割合を算出することで、
図8に示すような斜線で示すヒストグラム(強度値割合の分布、所定の強度値を有する画素の個数の分布に関する情報である第2の強度値度数分布)302を算出する。
【0032】
なお、
図8では、ビン(それぞれのヒストグラム301,302の間隔)を「32」としているがビンは「32」に限らなくてもよい。ちなみに、ビンを「1」とすれば、強度値群と、強度値は一致する。
図7のステップS124の終了後、計算機100は、
図4のステップS130へ処理をリターンする。
【0033】
(割合差分の算出:
図4のS130)
次に、
図9を参照して、
図4のステップS130における割合差分の算出について説明する。また、適宜、
図2を参照する。
図9は、割合差分の例を示す図である。
割合差分算出部104は、
図8に示すヒストグラム301における強度値割合と、
図8に示すヒストグラム302における強度値割合との差分である割合差を、それぞれの強度値群について算出する。つまり、割合差分算出部104は、
図8に示す強度値群割合分布の強度値群毎に、内側領域212(
図6参照)の強度値群割合(
図8の黒で示すヒストグラム301)から周辺領域222(
図6参照)の強度値群割合(
図8の斜線で示すヒストグラム302)を減算する。このような処理によって、
図9に示す割合差分が算出される。
【0034】
図9において、横軸は強度値群を示し、縦軸は割合差分を示す。また、
図9においてプロット311は、各強度値群における割合差分を示している。なお、符号311a,311bについては後記する。
【0035】
(割合差分順位分布330bの算出~強度値の決定:
図4のS140~S160)
続いて、
図10を参照しつつ、
図11及び
図12を参照して、
図4のステップS140~S160の処理について説明する。
図10は、
図4のステップS140における割合差分順位分布330b(
図12参照)の算出の詳細な手順を示すフローチャートである。
まず、順位分布算出部105は、割合差分をソートする(割合差分の値に対して順位を付与し、当該順位に従って前記所定の強度値を整列させる:
図10のS141)。本実施形態では、割合差分は昇順ソートされるが、降順ソートされてもよい。
【0036】
図11は、割合差分の昇順ソート結果を示す図である。
図11において、横軸は順位を示し、縦軸は割合差分を示している。また、
図11のプロットのそれぞれに付与されている数字は該当する強度値群(すなわち、
図9の横軸の値)を示している。
例えば、
図9に示す割合差分で最も小さい割合差分を有する強度値群は、割合差分が約「-0.1」である強度値群「320」である(
図9のプロット311a)。その次に、小さい割合差分を有する強度値群は、割合差分が約「-0.09」である強度値群「352」である(
図9のプロット311b)。順位分布算出部105は、一番順位の低い(すなわち、順位「1」)割合差分として強度値群「320」を
図11のグラフにプロットし、その次に低い順位(すなわち、順位「2」)の割合差分として強度値群「352」を
図11のグラフにプロットする。
図11には、このように割合差分の小さい強度値群から順に、強度値群の順位と割合差分とを対応付けたグラフが示されている。なお、同じ割合差分を有する強度値群が複数ある場合、強度値群の値が小さい方の順位を低くする。
図11に示すグラフを割合差分順位分布(差分順位分布)330aと称する。
【0037】
図8に示すように、本実施形態に示す例では強度値群の数が33あるため、
図11に示す例では「1」から「33」まで順位が示されている。ちなみに、
図11に示す例では、順位「1」が最も小さい割合差分を有する強度値群の順位であり、「33」が最も大きい割合差分を有する強度値群の順位である。
【0038】
続いて、順位分布算出部105は、
図11の横軸で示されている順位をパーセンタイル順位に変換する(
図10のS142)。
図12は、
図11に示す割合差分の昇順ソートを示す図の横軸をパーセンタイル順位に変換した図である。
パーセンタイル順位とは、
図11に示す順位について最小順位が「0」、最大順位が「1」となるよう規格化されたものである。横軸をパーセンタイル順位とすることで、割合差分を最小のものから最大のものまで並べた際に,それぞれの割合差分が累積的に何%の順位に位置するかが表される。なお、
図12の各プロットに付与されている数字は
図11と同様、強度値群を示している。
図12に示す例では、
図11の横軸に示す各順位を最小の順位「1」で減算し、最大の順位から「1」を減算した「32」で各順位を除算することで、パーセンタイル順位が得られる。
【0039】
内側領域212(
図6参照)や、周辺領域222(
図6参照)は、ユーザの選択毎に、その範囲が異なる。つまり、ユーザの選択毎に、内側領域212や、周辺領域222に含まれる画素や、強度値の総数が異なる。すると、
図11に示すように横軸が順位のままであると、順位の最大値がユーザの選択毎に異なる。あるいは、
図8に示すビンの設定によっても順位の最大値が異なる。横軸をパーセンタイル順位とすることで、規格化が行われ、ユーザの選択毎に、内側領域212や、周辺領域222に含まれる画素や、強度値の総数、ビンの設定等が異なっても、後記する強度値決定部107の処理を定量化することができる。
【0040】
図12に示すような、横軸をパーセンタイル順位、縦軸を割合差分とするグラフを割合差分順位分布(順位をパーセンタイル順位に変換した割合差分順位分布)330bと称する。このような割合差分順位分布330bが算出されることにより、割合差分の大きい強度値群や、逆に割合差分の小さい強度値群を定量的に探索することが可能となる。
【0041】
続いて、閾値設定部106は、割合差分順位分布330bのパーセンタイル順位(割合差分順位分布の順位)に対して所定の閾値を設定する(
図4のステップS151)。
図12に示す破線331は設定される閾値である。
図12に示す例では、パーセンタイル順位「0.95」として閾値が設定されている。なお、閾値はユーザによって予め設定されている。また、本実施形態には、順位がパーセンタイル順位に変換された割合差分順位分布330bに閾値が設定されているが、割合差分順位分布330aの順位に対して閾値が設定されてもよい。
【0042】
続いて、強度値決定部107は、閾値以上のパーセンタイル順位を有する強度値群を抽出する。これによって、強度値決定部107は、割合差分順位分布330bに設定した閾値を基に強調表示する強度値を抽出する。
図12に示す例では、閾値は、「0.95」であるため、パーセンタイル順位が上位5%に入る強度値群が抽出される。
図12に示す例では、閾値以上のパーセンタイル順位を有する強度値群として強度値群「608」、「576」が抽出される(
図12では白丸332で示されている)。そして、強度値決定部107は、抽出された強度値群のうち、最も小さい強度値群を選択する。
図12に示す例では、強度値群「576」が選択される。
【0043】
(強調する強度値の決定)
図13は、
図8に示す強度値群割合分布の例を示す図である。
図13において、星印で示している強度値群が、
図12の閾値(破線331)以上のパーセンタイル順位を有する強度値群である。前記したように、強度値決定部107は、閾値以上のパーセンタイル順位を有する強度値群のうち、最小の強度値群を選択する。
図13の破線341は、閾値以上のパーセンタイル順位を有する強度値群のうち、最小の強度値群として選択された強度値群「576」を示している。そして、強度値決定部107は、内側領域212(
図4参照)において、選択された強度値群「576」の値(「576」)より大きい強度値(つまり、強度値「577」以上)を選択する(
図4のステップS160)。これによって、強調表示の対象となる強度値が決定される。決定された強度値を有する画素が強調表示される画素となる。
【0044】
(強調表示)
図14は、本実施形態による病変部位強調処理の結果を示す図である。
図14では、本実施形態による病変部位強調処理の結果である医用画像(第2の画像)201Aが表示されている。医用画像201Aには、
図13において選択された強度値「577」以上の強度値を有する画素が符号351に示すように強調表示されている。つまり、表示処理部108は、強度値決定部107によって決定された強度値に基づいて、強調表示する画素を決定し、当該画素が強調表示された医用画像201Aを表示装置132に表示する。
【0045】
[表示画面400]
図15を参照して、本実施形態で表示装置132に表示される表示画面400の例を示す。適宜、
図2及び
図4を参照する。
図15は、本実施形態で表示装置132(
図1参照)に表示される表示画面400の例を示す図である。適宜、
図2を参照する。
表示画面400は、画面410,420,430,440を有する。
画面410は、
図4のステップS101で読み込まれ、ステップS102で表示される医用画像201が表示されるものである。
領域202に病変部位と疑われる箇所が表示されている。また、カラーバー401aは画面410における強度値に対応している。
【0046】
画面420は、
図4のステップ110の処理の際に表示されるものである。
ユーザは、画面410に表示されている医用画像201の病変部位と考えられる場所を拡大することで、拡大された医用画像201が表示されている画面420を表示させる。そして、前記したように、ユーザは、画面420において、内側線211を設定し、領域設定部102が内側線211を基に、外側線221を設定する。
なお、画面420に示される内側線211及び外側線221は、
図6において説明済みであるため、ここでの説明を省略する。
【0047】
画面430及び画面440は、本実施形態の病変部位強調処理を行った結果である医用画像201Aが表示されている。
画面430は医用画像201Aの全体画像を示し、画面440は、医用画像201Aにおける病変部位近傍の拡大画像を示している。
画面430及び画面440において、病変部位431が強調表示されている。強調表示されている病変部位431は、
図14の符号351に示す画素に相当する部分である。
【0048】
また、画面430のカラーバー401bは、画面430における強度値に対応している。
【0049】
なお、前記したように、画面410は
図4のステップS102の段階で表示されるものである。そして、画面420は
図4のステップS110の段階で表示されるものである。そして、画面430及び画面440は
図4のステップS171の段階で表示されるものである。
【0050】
また、画面420及び画面440にカラーバー401a,401bが表示されてもよい。
【0051】
このように、病変部位強調処理が行われる前の医用画像201が表示されている画面410と、病変部位強調処理が行われた後の医用画像201Aが表示されている画面430,440が同じ表示画面(同じ画面中)400に表示されている。このような表示が行われることで、ユーザは、病変部位強調処理が行われる前後の医用画像201,201Aを比較することができる。
【0052】
ユーザは、画面430及び画面440の結果を確認した後、画面430や、画面440に表示されている医用画像201Aを病名等とともに病変データとして保存することができる。なお、本実施形態では2次元画像(例えば、x軸-y軸平面に広がる2次元画像)の処理について説明したが、z軸方向に隣接する複数の2次元画像(スライス画像)について、それぞれ同じ内側線211を利用することで、処理を3次元に拡張することが可能である。
図16は、
図6に示す医用画像201と、この医用画像201に対しz軸方向に隣接する医用画像201-a(他の医用画像)、さらに医用画像201-aに対しz軸方向に隣接する医用画像201-b(他の医用画像)の例を示している。また、医用画像201上に、
図6で示した領域202と、ユーザが設定した内側線211、内側線を拡張した外側線221を示している。ここで、領域設定部102が、医用画像201に設定された内側線211及び外側線221を、z軸方向に隣接する医用画像201-a、及び医用画像201-aに隣接する医用画像201-bに設定する(内側線211a及び外側線221a)ことにより、内側線211を1つの2次元画像(医用画像201)において指定するだけで、3次元画像の処理が可能となる。
【0053】
本実施形態では、ユーザの見立てによる病変部位相当の領域範囲を入力として受け付け、選択された範囲とその周辺領域の強度分布を比較することにより、指定された範囲内の病変部位を簡易な処理で強調表示する技術が提案されている。このような技術によって、病変部位の強調画像を得るにあたって、専門的な視点と煩雑な作業を簡易化することができる。
【0054】
非特許文献1に記載の技術では、病変部位判定の精度がダイス係数で54%である。ダイス係数とは、正解の集合(教師データ)とどれだけ類似しているかをこれらの係数で計算し(各サンプルデータで実施)、それを全サンプルデータで平均化して精度としたものである。これに対して、本実施形態によれば、感度が91.7%の精度で病変部位が強調表示されている。感度は、TP/Pで定義される。ここで、Pは真の病変(正解の集合)の画素数であり、TP(true positive)は真の病変の画素の集合のうち、アルゴリズムで病変だと判断された画素数である。
【0055】
また、非特許文献1では、学習による病変部位の判定がCNN、つまり機械学習によって行われている。一般に、機械学習を行うためには大量の学習データが必要になる。本実施形態は、機械学習を使用せず、また機械学習のための大量の学習データを必要としない。本実施形態では、病変部位相当領域に対するユーザの指定が受け付けされることで、精度の高い病変部位のマーキングが可能となる。
【0056】
本実施形態では、医用画像201のうち、明るい箇所を強調表示することが示されているが、暗い箇所を強調表示することも可能である。この場合、閾値設定部106は、
図4のステップS151で設定される閾値(
図12の破線331)を、例えば、「0.05」と設定し、この閾値以下のパーセンタイル順位を有する強度値群のうち、最大のパーセンタイル順位を有する強度値群を選択する。そして、表示処理部108は、選択した強度値群の値未満の強度値を有する画素を強調表示する。
【0057】
また、閾値設定部106は、
図4のステップS151で2つの閾値を設定してもよい。そして、強度値決定部107は、一方の閾値(例えば、「0.95」)以上のパーセンタイル順位を有する強度値群のうち、最小のパーセンタイル順位を有する強度値群を選択する。そして、表示処理部108は、選択した強度値群の値より大きい強度値を有する画素(明画素と称する)を強調表示する。さらに、強度値決定部107は、他方の閾値(例えば、「0.05」)以下のパーセンタイル順位を有する強度値群のうち、最大のパーセンタイル順位を有する強度値群を選択する。そして、表示処理部108は、選択した強度値群の値未満の強度値を有する画素(暗画素と称する)を強調表示する。そして、表示処理部108は、明画素と暗画素とを同じ医用画像201A上に強調表示する。このようにすることで、医用画像201の明るい箇所、及び、暗い箇所の双方を強調表示することができる。
【0058】
明画素と暗画素とを同じ医用画像201A上に強調表示することで、2種類の病気による病変部位を同時に強調表示することができる。ユーザは、強調表示された医用画像201Aに対して、病名等の属性データを付与した上で記憶装置120に格納することができる。
【0059】
図15では、同じ医用機器で撮像された画像が表示されているが、異なる複数の医用機器(例えば、X線CTとMRI等)で撮像された画像が、同じ表示画面400で表示されてもよい。また、同じ患者において異なる箇所で撮像された画像が同じ表示画面400で表示されてもよい。
さらに、本実施形態では、周辺領域222と、内側領域212とが隣接しているが、それぞれが離れた箇所に設定されてもよい。
【0060】
本発明は前記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を有するものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0061】
また、前記した各構成、機能、各部101~108、記憶装置120等は、それらの一部又はすべてを、例えば集積回路で設計すること等によりハードウェアで実現してもよい。また、
図3に示すように、前記した各構成、機能等は、CPU112等のプロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、HDD(Hard Disk Drive)に格納すること以外に、メモリ111や、SSD(Solid State Drive)等の記録装置、又は、IC(Integrated Circuit)カードや、SD(Secure Digital)カード、DVD(Digital Versatile Disc)等の記録媒体に格納することができる。
また、各実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には、ほとんどすべての構成が相互に接続されていると考えてよい。
【符号の説明】
【0062】
1 画像処理装置
100 計算機
101 画像取得部
102 領域設定部
103 強度値群割合分布算出部(強度値度数分布算出部)
104 割合差分算出部(差分値算出部)
105 順位分布算出部(画素選択部)
106 閾値設定部(画素選択部)
107 強度値決定部(画素選択部)
108 表示処理部(出力処理部)
120 記憶装置
131 入力装置(入力部)
132 表示装置(出力部)
201 医用画像(第1の画像)
201-a 医用画像201に隣接する医用画像(他の医用画像)
201-b 医用画像201-bに隣接する医用画像(他の医用画像)
201A 医用画像(第2の画像)
202 領域(注目領域)
211 内側線
211a 隣接する医用画像に設定される内側線
212 内側領域(第1の領域)
221 外側線
221a 隣接する医用画像に設定される外側線
222 周辺領域(第2の領域)
231 拡大領域
301 ヒストグラム(強度値割合の分布、第1の強度値度数分布)
302 ヒストグラム(強度値割合の分布、第2の強度値度数分布)
311 プロット(割合差分:差分値)
330a 割合差分順位分布(差分順位分布)
330b 割合差分順位分布(順位をパーセンタイル順位に変換した差分順位分布)
331 破線(閾値)
332 白丸(閾値以上のパーセンタイル順位を有する強度値)
341 破線
351 符号(強調表示される画素)
400 表示画面(同じ画面中)
410 画面
420 画面
430 画面
431 病変部位
440 画面
M 医用画像取り込み部
Z 画像処理システム
S101 医用画像の読み込み
S110 内側領域及び周辺領域の設定(領域設定ステップ)
S120 強度値群割合分布の算出(強度値度数分布算出ステップ)
S130 割合差分の算出(差分値算出ステップ)
S140 割合差分順位分布の算出(画素選択ステップ)
S151 閾値の設定(画素選択ステップ)
S160 強度値の決定(画素選択ステップ)
S171 表示(出力ステップ)