(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-03
(45)【発行日】2022-03-11
(54)【発明の名称】領域分割装置、方法およびプログラム、類似度決定装置、方法およびプログラム、並びに特徴量導出装置、方法およびプログラム
(51)【国際特許分類】
A61B 6/03 20060101AFI20220304BHJP
G06T 7/00 20170101ALI20220304BHJP
G06T 1/00 20060101ALI20220304BHJP
A61B 5/00 20060101ALI20220304BHJP
【FI】
A61B6/03 360D
A61B6/03 360Q
G06T7/00 612
G06T1/00 290B
A61B5/00 D
(21)【出願番号】P 2020540137
(86)(22)【出願日】2019-07-18
(86)【国際出願番号】 JP2019028299
(87)【国際公開番号】W WO2020044840
(87)【国際公開日】2020-03-05
【審査請求日】2020-11-12
(31)【優先権主張番号】P 2018162862
(32)【優先日】2018-08-31
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】特許業務法人太陽国際特許事務所
(72)【発明者】
【氏名】金田 昭治
【審査官】山口 裕之
(56)【参考文献】
【文献】国際公開第2018/116727(WO,A1)
【文献】特開2008-200368(JP,A)
【文献】特開2003-070781(JP,A)
【文献】武部 浩明 Hiroaki TAKEBE,病変の性状と3次元分布に基づくCT画像に対する類似症例画像検索 Similar CT image retrieval method based on lesion natures and their three-dimensional distribution,電子情報通信学会技術研究報告 Vol.117 No.106 IEICE Technical Report,日本,一般社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers,第117巻
【文献】朝倉 輝 他,「非特異性間質性肺炎X線CT像の病巣領域分割手法」,画像電子学会誌,2004年12月31日,Vol. 33、No. 2,pp. 180-188
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/03
(57)【特許請求の範囲】
【請求項1】
肺を含む第1の医用画像と肺を含む第2の医用画像との類似度を決定する類似度決定装置であって、
肺を含む被検体を撮影することにより取得された医用画像に含まれる肺領域から気管支を抽出する気管支抽出部と、
前記気管支の複数の分岐位置を特定し、
少なくとも前記複数の分岐位置に基づいて前記肺領域を
上下方向に複数の領域に分割する分割部と、
前記第1の医用画像の各画素を少なくとも1つの所見に分類する所見分類部と、
前記分割された領域毎に、前記第1の医用画像において分類された所見毎の第1の特徴量を算出する特徴量算出部と、
前記第1の医用画像において算出された前記所見毎の前記第1の特徴量と、前記第2の医用画像において予め算出された前記所見毎の第2の特徴量とに基づいて、前記分割された領域毎に前記第1の医用画像と前記第2の医用画像との領域類似度を導出する領域類似度導出部と、
前記所見を背景所見グループおよび病変所見グループのいずれかに分類し、前記病変所見グループに分類される所見のみを用いて重み係数を算出し、前記重み係数および前記複数の領域類似度に基づいて、前記第1の医用画像と前記第2の医用画像との類似度を導出する類似度導出部とを備え
た、類似度決定装置。
【請求項2】
前記
分割部は、前記複数の分岐位置のうち、気管支第1分岐および気管支第3分岐を基準として、前記肺領域を上、中、下の3つの領域に分割する請求項
1に記載の類似度決定装置。
【請求項3】
前記分割部は、前記複数の分岐位置のうちの特定の分岐位置からの特定の距離内の領域と該特定の距離内の領域以外の領域とに前記肺領域を
さらに分割する
請求項1
または2に記載の類似度決定装置。
【請求項4】
前記
分割部は、前記複数の分岐位置のうちの気管支第3分岐を前記特定の分岐位置として、前記肺領域を前記気管支第3分岐から前記特定の距離内の中枢領域と該中枢領域以外の領域とに分割する請求項
3に記載の類似度決定装置。
【請求項5】
前記分割部は、前記肺領域を外側領域と内側領域とにさらに分割する
請求項1から
4のいずれか1項に記載の類似度決定装置。
【請求項6】
前記分割部は、前記肺領域を背側領域と腹側領域とにさらに分割する
請求項1から
5のいずれか1項に記載の類似度決定装置。
【請求項7】
前記
第1の特徴量を表示部に表示する表示制御部をさらに備えた請求項
6に記載の
類似度決定装置。
【請求項8】
肺を含む第1の医用画像と肺を含む第2の医用画像との類似度を決定する類似度決定方法であって、
肺を含む被検体を撮影することにより取得された医用画像に含まれる肺領域から気管支を抽出し、
前記気管支の複数の分岐位置を特定し、
少なくとも前記複数の分岐位置に基づいて前記肺領域を
上下方向に複数の領域に分割し、
前記第1の医用画像の各画素を少なくとも1つの所見に分類し、
前記分割された領域毎に、前記第1の医用画像において分類された所見毎の第1の特徴量を算出し、
前記第1の医用画像において算出された前記所見毎の前記第1の特徴量と、前記第2の医用画像において予め算出された前記所見毎の第2の特徴量とに基づいて、前記分割された領域毎に前記第1の医用画像と前記第2の医用画像との領域類似度を導出し、
前記所見を背景所見グループおよび病変所見グループのいずれかに分類し、前記病変所見グループに分類される所見のみを用いて重み係数を算出し、前記重み係数および前記複数の領域類似度に基づいて、前記第1の医用画像と前記第2の医用画像との類似度を導出
する、類似度決定方法。
【請求項9】
肺を含む第1の医用画像と肺を含む第2の医用画像との類似度を決定する処理をコンピュータに実行させる類似度決定プログラムであって、
肺を含む被検体を撮影することにより取得された医用画像に含まれる肺領域から気管支を抽出する手順と、
前記気管支の複数の分岐位置を特定し、
少なくとも前記複数の分岐位置に基づいて前記肺領域を
上下方向に複数の領域に分割する手順と
前記第1の医用画像の各画素を少なくとも1つの所見に分類する手順と、
前記分割された領域毎に、前記第1の医用画像において分類された所見毎の第1の特徴量を算出する手順と、
前記第1の医用画像において算出された前記所見毎の前記第1の特徴量と、前記第2の医用画像において予め算出された前記所見毎の第2の特徴量とに基づいて、前記分割された領域毎に前記第1の医用画像と前記第2の医用画像との領域類似度を導出する手順と、
前記所見を背景所見グループおよび病変所見グループのいずれかに分類し、前記病変所見グループに分類される所見のみを用いて重み係数を算出し、前記重み係数および前記複数の領域類似度に基づいて、前記第1の医用画像と前記第2の医用画像との類似度を導出する手順と
をコンピュータに実行させる類似度決定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、医用画像に含まれる肺領域を分割する領域分割装置、方法およびプログラム、2つの医用画像の類似度を決定する類似度決定装置、方法およびプログラム、並びに特徴量導出装置、方法およびプログラムに関するものである。
【背景技術】
【0002】
近年、CT(Computed Tomography)装置およびMRI(Magnetic Resonance Imaging)装置等の医療機器の進歩により、より質の高い高解像度の3次元画像が画像診断に用いられるようになってきている。
【0003】
一方、医療分野において、検査の対象となるCT画像等の検査画像に基づいて、検査画像に類似する過去の症例を検索する類似症例検索装置が知られている(例えば非特許文献1および特許文献1,2参照)。非特許文献1には、肺の症例画像を複数種類の組織または病変(以下組織または病変を所見と総称するものとする)をそれぞれ示す複数の領域に分類した上で、症例データベースに登録しておき、検査画像についても同様に肺を複数種類の所見をそれぞれ示す複数の領域に分類し、検査画像についての所見の分類結果に基づいて、検査画像に類似する症例画像を検索する手法が提案されている。また、特許文献1,2には、画像の濃度ヒストグラム、濃度の平均または濃度の分散等の画像の特徴量とデータベースに登録された画像との特徴量を比較することにより、検査画像に類似する画像を検索する手法が提案されている。また、画像間の類似度を算出する手法として、複数の画像のうち少なくとも一つの画像内に複数の部分領域を設定し、設定した部分領域毎に、他の画像内の対応する領域との間の類似度を決定し、決定した部分領域類似度を、各部分領域に対して設定された重み係数を用いて重み付け加算することにより、全体領域類似度を算出する手法が提案されている(特許文献3参照)。
【0004】
ところで、肺の疾患として間質性肺炎が知られている。間質性肺炎の患者のCT画像を解析することにより、CT画像に含まれる蜂窩肺、網状影および嚢胞等の特定の所見を示す病変を分類して定量化する手法が提案されている(非特許文献2,3参照)。このようにCT画像を解析して病変を分類して定量化することにより、肺の疾患の程度を容易に判定することができる。また、このように分類して定量化した領域にそれぞれ異なる色を割り当てて表示することにより、特定の症状の領域がどの程度画像内に含まれているかを、容易に診断できることとなる。
【0005】
上述したように肺の画像を用いて診断を行う際には、肺領域は解剖学的な肺区域(上葉、中葉および下葉)で分割することが診断的に重要である。このため、肺を含む3次元画像から気管支を抽出し、気管支構造の分岐に基づいて、気管支構造を分割し、気管支構造に基づいて肺領域を肺区域に分割する手法が提案されている(特許文献4参照)。また、肺の表面からの距離を基準とした予め定められた割合により肺領域を複数の領域に分割する手法も提案されている(特許文献5参照)。
【先行技術文献】
【特許文献】
【0006】
【文献】再公表2013-65090号
【文献】特開2011-118543号公報
【文献】特開2000-342558号公報
【文献】特開2014-73355号公報
【文献】特開2017-12382号公報
【非特許文献】
【0007】
【文献】Case-based lung image categorization and retrieval For interstitial lung diseases: clinical workflow、Adrien Depeursingeら、Int J CARS (2012) 7:97-110、Published online: 1 June 2011
【文献】Evaluation of computer-based computer tomography stratification against outcome models in connective tissue disease-related interstitial lung disease: a patient outcome study、Joseph Jacob1ら、BMC Medicine (2016) 14:190、DOI 10.1186/s12916-016-0739-7
【文献】コンピュータによる間質性肺炎のCT画像の定量評価、岩澤多恵、断層映像研究会雑誌 第41巻第2号、2014年8月
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、疾患が進行した症例では、肺区域の境界が不明瞭になったり、末梢側の気管支の変形が大きくなったりするため、特許文献4に記載されたように気管支構造を用いたとしても、肺区域に基づいての領域分割は困難となる。このような状況において、特許文献5に記載されたように、肺の表面からの距離を基準とした予め定められた割合により肺領域を複数の領域に分割した場合、疾患領域が拡張したり縮小したりすることによる領域サイズの変化が、分割した領域に分散されるため、疾患領域を領域の特徴としてとらえることができなくなる。
【0009】
本発明は上記事情に鑑みなされたものであり、画像に含まれる肺領域を適切に分割できるようにすることを目的とする。
【課題を解決するための手段】
【0010】
本開示による領域分割装置は、肺を含む被検体を撮影することにより取得された医用画像に含まれる肺領域から気管支を抽出する気管支抽出部と、
気管支の複数の分岐位置を特定し、分岐位置に基づいて肺領域を複数の領域に分割する分割部とを備える。
【0011】
なお、本開示による領域分割装置においては、分割部は、分岐位置に基づいて、肺領域を上下方向に複数の領域に分割する第1分割部を備えるものであってもよい。
【0012】
「上下方向」とは、医用画像を取得した被検体である患者の体軸方向を意味する。
【0013】
また、本開示による領域分割装置においては、第1分割部は、複数の分岐位置のうち、気管支第1分岐および気管支第3分岐を基準として、肺領域を上、中、下の3つの領域に分割するものであってもよい。なお、本開示における気管支第1分岐とは、気管と左右気管支との分岐点に相当する。そして、本開示においては、気管支第1分岐から気管支末梢に向かうにつれて出現する分岐を、順次第2気管支分岐、第3気管支分岐…と称するものとする。
【0014】
また、本開示による領域分割装置においては、分割部は、複数の分岐位置のうちの特定の分岐位置からの特定の距離内の領域と特定の距離内の領域以外の領域とに、肺領域を分割する第2分割部を備えるものであってもよい。
【0015】
また、本開示による領域分割装置においては、第2分割部は、複数の分岐位置のうちの気管支第3分岐を特定の分岐位置として、肺領域を気管支第3分岐から特定の距離内の中枢領域と中枢領域以外の領域とに分割するものであってもよい。
【0016】
また、本開示による領域分割装置においては、分割部は、肺領域を外側領域と内側領域とにさらに分割する第3分割部を備えるものであってもよい。
【0017】
また、本開示による領域分割装置においては、分割部は、肺領域を背側領域と腹側領域とにさらに分割する第4分割部を備えるものであってもよい。
【0018】
本開示による類似度決定装置は、肺を含む第1の医用画像と肺を含む第2の医用画像との類似度を決定する類似度決定装置であって、
第1の医用画像における肺領域を複数の領域に分割する本開示による領域分割装置と、
第1の医用画像の各画素を少なくとも1つの所見に分類する所見分類部と、
分割された領域毎に、第1の医用画像において分類された所見毎の第1の特徴量を算出する特徴量算出部と、
第1の医用画像において算出された所見毎の第1の特徴量と、第2の医用画像において予め算出された所見毎の第2の特徴量とに基づいて、分割された領域毎に第1の医用画像と第2の医用画像との領域類似度を導出する領域類似度導出部と、
複数の領域類似度に基づいて、第1の医用画像と第2の医用画像との類似度を導出する類似度導出部とを備える。
【0019】
本開示による特徴量導出装置は、医用画像における肺領域を複数の領域に分割する本開示による領域分割装置と、
前記医用画像の各画素を少なくとも1つの所見に分類する所見分類部と、
前記分割された領域毎に、前記医用画像において分類された所見毎の特徴量を算出する特徴量算出部とを備える。
【0020】
なお、本開示による特徴量導出装置、方法およびプログラムにおいては、特徴量を表示部に表示する表示制御部をさらに備えるものであってもよい。
【0021】
本開示による領域分割方法は、肺を含む被検体を撮影することにより取得された医用画像に含まれる肺領域から気管支を抽出し、
気管支の複数の分岐位置を特定し、分岐位置に基づいて肺領域を複数の領域に分割する。
【0022】
本開示による類似度決定方法は、肺を含む第1の医用画像と肺を含む第2の医用画像との類似度を決定する類似度決定方法であって、
本開示による領域分割方法により、第1の医用画像における肺領域を複数の領域に分割し、
第1の医用画像の各画素を少なくとも1つの所見に分類し、
分割された領域毎に、第1の医用画像において分類された所見毎の第1の特徴量を算出し、
第1の医用画像において算出された所見毎の第1の特徴量と、第2の医用画像において予め算出された所見毎の第2の特徴量とに基づいて、分割された領域毎に第1の医用画像と第2の医用画像との領域類似度を導出し、
複数の領域類似度に基づいて、第1の医用画像と第2の医用画像との類似度を導出する。
【0023】
本開示による特徴量導出方法は、医用画像における肺領域を複数の領域に分割し、
医用画像の各画素を少なくとも1つの所見に分類し、
分割された領域毎に、医用画像において分類された所見毎の特徴量を算出する。
【0024】
なお、本開示による領域分割方法、類似度決定方法および特徴量導出方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【0025】
本開示による他の領域分割装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
肺を含む被検体を撮影することにより取得された医用画像に含まれる肺領域から気管支を抽出し、
気管支の複数の分岐位置を特定し、分岐位置に基づいて肺領域を複数の領域に分割する処理を実行する。
【0026】
本開示による他の類似度決定装置は、第1の医用画像と第2の医用画像との類似度を決定する処理をコンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
本開示による領域分割方法により、第1の医用画像における肺領域を複数の領域に分割し、
第1の医用画像の各画素を少なくとも1つの所見に分類し、
分割された領域毎に、第1の医用画像において分類された所見毎の第1の特徴量を算出し、
第1の医用画像において算出された所見毎の第1の特徴量と、第2の医用画像において予め算出された所見毎の第2の特徴量とに基づいて、分割された領域毎に第1の医用画像と第2の医用画像との領域類似度を導出し、
複数の領域類似度に基づいて、第1の医用画像と第2の医用画像との類似度を導出する処理を実行する。
【0027】
本開示による他の特徴量導出装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
本開示による領域分割方法により、医用画像における肺領域を複数の領域に分割し、
医用画像の各画素を少なくとも1つの所見に分類し、
分割された領域毎に、医用画像において分類された所見毎の特徴量を算出する処理を実行する。
【発明の効果】
【0028】
本開示の領域分割装置、方法およびプログラムによれば、気管支の分岐位置に基づいて、肺区域にとらわれることなく、かつ予め定められた割合にとらわれることなく、肺領域を分割することができる。したがって、肺領域を適切に分割することができる。
【0029】
本開示の類似度決定装置、方法およびプログラムによれば、対象領域内における所見の位置および分布に応じて適切に重み付けを行うことにより、第1の医用画像と第2の医用画像との類似度を適切に決定することができる。
【図面の簡単な説明】
【0030】
【
図1】本開示の第1の実施形態による領域分割装置を備えた類似度決定装置を適用した、診断支援システムの概要を示すハードウェア構成図
【
図2】第1の実施形態による領域分割装置を備えた類似度決定装置の構成を示す概略ブロック図
【
図4】気管支領域におけるグラフ構造を肺領域と併せて示す図
【
図5】第1分割部による第1分割処理を説明するための図
【
図6】第2分割部による第2分割処理を説明するための図
【
図7】第3分割部による第3分割処理を説明するための図
【
図8】第4分割部による第4分割処理を説明するための図
【
図9】第1分割部から第4分割部による肺領域の分割結果を模式的に示す図
【
図10】多層ニューラルネットワークの一例を示す図
【
図11】ある関心領域の中心画素についての所見の種類に応じた評価値を示す図
【
図12】分類に応じた色が割り当てられたマッピング画像における一断面を示す図
【
図16】第1の実施形態において行われる処理を示すフローチャート
【発明を実施するための形態】
【0031】
以下、図面を参照して本開示の実施形態について説明する。
図1は、本開示の第1の実施形態による領域分割装置を備えた類似度決定装置を適用した、診断支援システムの概要を示すハードウェア構成図である。
図1に示すように、診断支援システムでは、本実施形態による領域分割装置を備えた類似度決定装置1、3次元画像撮影装置2、および画像保管サーバ3が、ネットワーク4を経由して通信可能な状態で接続されている。
【0032】
3次元画像撮影装置2は、被検体の診断対象となる部位を撮影することにより、その部位を表す3次元画像を生成する装置であり、具体的には、CT装置、MRI装置、およびPET(Positron Emission Tomography)装置等である。この3次元画像撮影装置2により生成された、複数のスライス画像からなる3次元画像は画像保管サーバ3に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は肺であり、3次元画像撮影装置2はCT装置であり、被検体の肺を含む胸部のCT画像を3次元画像として生成する。
【0033】
画像保管サーバ3は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ3は、有線あるいは無線のネットワーク4を介して他の装置と通信を行い、画像データ等を送受信する。具体的には3次元画像撮影装置2で生成された3次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク4経由での各装置間の通信は、DICOM(Digital Imaging and Communication in Medicine)等のプロトコルに基づいている。なお、本実施形態においては、画像保管サーバ3には、検査の対象となる3次元画像(以下、検査画像とする)、および症例画像が登録された症例データベースDBが保存されているものとする。症例データベースDBについては後述する。また、本実施形態においては、検査画像は1以上のスライス画像(以下、検査スライス画像とする)からなる3次元画像である。また、症例画像も1以上のスライス画像(以下、症例スライス画像とする)からなる3次元画像である。なお、検査画像が第1の医用画像に、症例画像が第2の医用画像にそれぞれ対応する。
【0034】
類似度決定装置1は、1台のコンピュータに、本開示の領域分割プログラムを含む類似度決定プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。類似度決定プログラムは、DVD(Digital Versatile Disc)あるいはCD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
【0035】
図2は、コンピュータに類似度決定プログラムをインストールすることにより実現される本開示の実施形態による類似度決定装置の概略構成を示す図である。
図2に示すように、類似度決定装置1は、標準的なワークステーションの構成として、CPU(Central Processing Unit)11、メモリ12およびストレージ13を備えている。また、類似度決定装置1には、液晶ディスプレイ等からなる表示部14、並びにキーボードおよびマウス等からなる入力部15が接続されている。
【0036】
ストレージ13は、ハードディスクおよびSSD(Solid State Drive)等からなる。ストレージ13には、ネットワーク4を経由して画像保管サーバ3から取得した、被検体の検査画像および処理に必要な情報を含む各種情報が記憶されている。
【0037】
また、メモリ12には、類似度決定プログラムが記憶されている。類似度決定プログラムは、CPU11に実行させる処理として、検査の対象となる検査画像を取得する画像取得処理、検査画像における対象領域を複数の領域に分割する本開示による領域分割処理、検査画像の各画素を少なくとも1つの所見に分類する所見分類処理、分割された領域毎に、検査画像において分類された所見毎の第1の特徴量を算出する特徴量算出処理、検査画像において算出された所見毎の第1の特徴量と、症例画像において予め算出された所見毎の第2の特徴量とに基づいて、分割された領域毎に検査画像と症例画像との領域類似度を導出する領域類似度導出処理、分割された各領域のサイズおよび分割された各領域に含まれる特定の所見のサイズの少なくとも一方に応じた重み係数により、複数の領域類似度の重み付け演算を行って、検査画像と症例画像との類似度を導出する類似度導出処理、導出された類似度に基づいて、検査画像に類似する症例画像を検索する検索処理、並びに検索結果を表示部14に表示する表示制御処理を規定する。
【0038】
そして、CPU11がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部21、領域分割部22、所見分類部23、特徴量算出部24、領域類似度導出部25、類似度導出部26、検索部27および表示制御部28として機能する。なお、領域分割部22が、本開示の領域分割装置に対応する。
図3は領域分割部22の構成を示す概略ブロック図である。領域分割部22の構成については後述する。
【0039】
また、メモリ12には、領域分割処理を行う領域分割プログラムが記憶されている。領域分割プログラムは、CPU11に実行させる領域分割処理として、検査画像に含まれる肺領域から気管支を抽出する気管支抽出処理、気管支の分岐位置に基づいて、肺領域を上下方向に複数の領域に分割する第1分割処理、複数の分岐位置のうちの特定の分岐位置からの特定の距離内の領域と特定の距離内の領域以外の領域とに肺領域を分割する第2分割処理、肺領域を外側領域と内側領域とに分割する第3分割処理、並びに肺領域を背側領域と腹側領域とに分割する第4分割処理を規定する。
【0040】
そして、CPU11がプログラムに従いこれらの分割処理を実行することで、コンピュータは、
図3に示すように、領域分割部22を構成する気管支抽出部30、第1分割部31、第2分割部32、第3分割部33および第4分割部34として機能する。なお、第1分割部31、第2分割部32、第3分割部33および第4分割部34が、本開示の分割部に対応する。
【0041】
画像取得部21は、検査の対象となる被検体の検査画像V0を取得する。なお、検査画像V0が既にストレージ13に保存されている場合には、画像取得部21は、ストレージ13から検査画像V0を取得するようにしてもよい。
【0042】
領域分割部22は、検査画像における肺領域を複数の領域に分割する。以下、領域分割処理について詳細に説明する。
図3に示すように、領域分割部22は、検査画像における肺領域から気管支領域を抽出する気管支抽出部30、気管支の分岐位置に基づいて、肺領域を上下方向に複数の領域に分割する第1分割部31、複数の分岐位置のうちの特定の分岐位置からの特定の距離内の領域と特定の距離内の領域以外の領域とに肺領域を分割する第2分割部32、肺領域を外側領域と内側領域とに分割する第3分割部33、並びに肺領域を背側領域と腹側領域とに分割する第4分割部34を有する。
【0043】
気管支抽出部30は、検査画像V0から気管支の構造を気管支領域として抽出する。このために、気管支抽出部30は、検査画像V0から対象領域である肺領域を抽出する。肺領域を抽出する手法としては、検査画像V0における画素毎の信号値をヒストグラム化し、肺をしきい値処理することにより抽出する方法、または肺を表すシード点に基づく領域拡張法(Region Growing)等、任意の手法を用いることができる。なお、肺領域を抽出するように機械学習がなされた判別器を用いるようにしてもよい。
【0044】
そして、気管支抽出部30は、検査画像V0から抽出した肺領域に含まれる気管支領域のグラフ構造を、3次元の気管支領域として抽出する。気管支領域を抽出する手法としては、例えば特開2010-220742号公報等に記載された、ヘッセ行列を用いて気管支のグラフ構造を抽出し、抽出したグラフ構造を、開始点、端点、分岐点および辺に分類し、開始点、端点および分岐点を辺で連結することによって、気管支領域を抽出する手法を用いることができる。なお、気管支領域を抽出する手法はこれに限定されるものではない。
【0045】
図4は、気管支抽出部30が抽出した気管支領域におけるグラフ構造を肺領域と併せて示す図である。
図4に示すように、左肺領域40Lおよび右肺領域40Rに、気管支のグラフ構造41が含まれている。なお、グラフ構造41において、気管支分岐を白丸にて示している。
【0046】
ここで、肺領域は解剖学的な肺区域で分割することが診断的に重要である。しかしながら、疾患が進行した症例では、肺区域の境界が不明瞭になるため、肺区域に基づいての領域分割は困難となる。このような状況において、仮に肺領域を上下方向に均等な体積となるように3分割した場合、疾患領域が拡張したり縮小したりすることによる領域サイズの変化が、分割した領域に均等に分散されるため、疾患領域を領域の特徴としてとらえることができない。ここで、肺領域に含まれる気管支は、上方主体へ向かう気管支、および下方主体へ向かう気管支と別れる。このため、気管支分岐位置を基準として肺領域を分割することにより、進行した疾患の肺領域内における部分的な変化をとらえやすくなる。
【0047】
このため、第1分割部31は、気管支の分岐位置に基づいて、肺領域を上下方向に複数の領域に分割する。具体的には、気管支第1分岐および気管支第3分岐を基準として、左右の肺領域を上、中、下の3つの領域に分割する。
図5は第1分割部31による第1分割処理を説明するための図である。なお、気管支第3分岐は左右の肺領域のそれぞれに2つ存在する。第1分割部31は、被検体の体軸方向下側に位置する気管支第3分岐を基準として、領域分割を行うものとする。
図5に示すように、第1分割部31は、気管支第1分岐B1において水平面42を設定し、左右の肺領域40L,40Rにおける下側の気管支第3分岐B31にそれぞれ水平面43L,43Rを設定する。なお、
図5は肺領域を2次元で示しているが、検査画像V0は3次元画像であるため、実際には上述したように水平面を設定することとなる。ここで、水平面とは、検査画像V0を取得した被検体の体軸に垂直に交わる面を意味する。
【0048】
第1分割部31は、左肺領域40Lを、水平面42と左肺領域40Lの上端との間の左上肺領域40LU、水平面42と水平面43Lとの間の左中肺領域40LM、および水平面43Lと左肺領域40Lの下端との間の左下肺領域40LLの3つの領域に分割する。
また、第1分割部31は、右肺領域40Rを、水平面42と右肺領域40Rの上端との間の右上肺領域40RU、水平面42と水平面43Rとの間の右中肺領域40RM、および水平面43Lと右肺領域40Rの下端との間の右下肺領域40RLの3つの領域に分割する。
【0049】
また、肺門部付近の肺の中枢領域は大きな気管支および血管が存在するため、検査画像V0と症例画像との類似度を決定するに際しては、肺胞が主体となる他の領域とは区別した方が好ましい。肺の中枢領域も疾患による全体的な肺の縮小および位置の偏りが生じるため、気管支の分岐点を基準とすることが好ましい。
【0050】
第2分割部32は、複数の分岐位置のうちの特定の分岐位置からの特定の距離内の領域と特定の距離内の領域以外の領域とに肺領域を分割する。具体的には、左右の肺領域40L,40Rにおいて、気管支第3分岐を中心として特定の半径を有する球領域を設定する。
図6は第2分割部32による第2分割処理を説明するための図である。なお、気管支第3分岐は左右の肺領域のそれぞれに2つ存在する。第2分割部32は左右の肺領域40L,40Rにおける2つの気管支第3分岐B31,B32のそれぞれにおいて、特定の半径を有する球領域を設定する。すなわち、第2分割部32は、
図6に示すように、左肺領域40Lに関して、下側の気管支第3分岐B31を中心とする球領域44L1および上側の気管支第3分岐B32を中心とする球領域44L2を設定する。また、第2分割部32は、右肺領域40Rに関して、下側の気管支第3分岐B31を中心とする球領域44R1および上側の気管支第3分岐B32を中心とする球領域44R2を設定する。
【0051】
なお、球領域の半径は、気管支第3分岐B31,B32から、左右の肺領域の左右の端部までの距離に応じて設定すればよい。例えば、球領域の半径を、当該距離に対する0.5~0.65倍とすればよい。ここで、
図6に示す右肺領域40Rにおいて、気管支第3分岐B31から右肺領域40Rの右端までの距離の方が、気管支第3分岐B32から右肺領域40Rの右端までの距離よりも大きい。このため、球領域の半径は、球領域44R1>球領域44R2となる。一方、
図6に示す左肺領域40Lにおいて、気管支第3分岐B31,B32のそれぞれから左肺領域40Lの左端までの距離は略同一である。このため、球領域の半径は、球領域44L1と球領域44L2とで略同一となる。
【0052】
そして、第2分割部32は、左肺領域40Lを、球領域44L1および球領域44L2からなる左中枢領域44LCと、左中枢領域44LC以外の領域44LOとに分割する。
また、右肺領域40Rを、球領域44R1と球領域44R2とからなる右中枢領域44RCと、右中枢領域44RC以外の領域44ROとに分割する。なお、領域44L0および領域44ROが肺胞が主体の領域となる。
【0053】
第3分割部33は、肺領域を外側領域と内側領域とに分割する。ここで、第3分割部33は、第2分割部32により分割された領域44LOおよび領域44ROのみを、外側領域と内側領域とに分割する。
図7は第3分割部33による第3分割処理を説明するための図である。なお、
図7にはアキシャル面の断層画像G1、サジタル面の断層画像G2およびコロナル面の断層画像G3を示している。第3分割部33は、胸膜から肺領域の体積で50~60%となる外側領域と、それ以外の内側領域とに肺領域を分割する。具体的には、第3分割部33は、左肺領域40Lを、外側領域40Lexおよび内側領域40Linに分割し、右肺領域40Rを、外側領域40Rexおよび内側領域40Rinに分割する。
【0054】
なお、第3分割部33により、第1分割部31により分割された、左上肺領域40LU、左中肺領域40LM、左下肺領域40LL、右上肺領域40RU、右中肺領域40RMおよび右下肺領域40RLのそれぞれが、外側領域と内側領域とに分割される。
【0055】
第4分割部34は、肺領域を背側領域と腹側領域とに分割する。ここで、第4分割部34は、第2分割部32により分割された領域44LOおよび領域44ROのみを、背側領域と腹側領域とに分割する。
図8は第4分割部44による第4分割処理を説明するための図である。なお、
図8にはアキシャル面の断層画像G1およびサジタル面の断層画像G2を示している。第4分割部34は、肺領域の体積を2等分するコロナル面を基準として、肺領域を背側領域と腹側領域とに分割する。具体的には、第4分割部34は、左肺領域40Lに基準となるコロナル断面46Lを設定し、コロナル断面46Lを基準として、左肺領域40Lを背側領域40LBおよび腹側領域40LFに分割する。また、第4分割部34は、右肺領域40Rに基準となるコロナル断面46Rを設定し、コロナル断面46Rを基準として、右肺領域40Rを背側領域40RBおよび腹側領域40RFに分割する。
【0056】
なお、第4分割部34により、第3分割部33により分割された、左上肺領域40LU、左中肺領域40LM、左下肺領域40LL、右上肺領域40RU、右中肺領域40RMおよび右下肺領域40RLのそれぞれの外側領域と内側領域とが、さらに背側領域と腹側領域とに分割される。
【0057】
図9は第1分割部31から第4分割部34による肺領域の分割結果を模式的に示す図である。
図9における上側の図は肺領域のアキシャル断面を、下側の図はコロナル断面を閉めず。また、
図9には左中枢領域40LCおよび右中枢領域40RCのみ符号を付与し、分割により取得された他の領域は符号を省略している。第1分割部31から第4分割部34による分割によって、左右の肺領域はそれぞれ13の領域に分割される。
【0058】
なお、領域分割部22による肺領域の分割は上述した第1~第4の分割に限定されるものではない。例えば、肺の疾患の1つである間質性肺炎は、気管支および血管の周囲に病変部が広がる場合がある。このため、肺領域において気管支領域および血管領域を抽出し、気管支領域および血管領域の周囲の予め定められた範囲の領域とそれ以外の領域とに、肺領域を分割してもよい。なお、予め定められた範囲としては、気管支および血管の表面から1cm程度の範囲の領域とすることができる。
【0059】
所見分類部23は、検査画像V0に含まれる肺領域の各画素を少なくとも1つの所見に分類する。具体的には、所見分類部23は、検査画像V0に含まれる肺領域の画素毎に、複数種類の組織または病変(すなわち所見)のそれぞれであることの可能性を表す複数の評価値を算出し、複数の評価値に基づいて、検査画像V0の各画素を複数種類の所見のうちの少なくとも1つの所見に分類する。本実施形態においては、所見分類部23は、検査画像V0の各画素を1つの所見に分類するものとする。
【0060】
本実施形態の所見分類部23は、機械学習の1つであるディープラーニング(深層学習)によって生成された多層ニューラルネットワークからなる判別器を有し、この判別器を用いて、検査画像V0の各画素が属する所見の種類を特定する。なお、機械学習の手法としては、ディープラーニングに限定されるものではなく、サポートベクターマシン等の他の手法を用いることもできる。
【0061】
多層ニューラルネットワークでは、各層において、前段の階層により得られる異なる複数の特徴量のデータに対して各種カーネルを用いて演算処理を行う。そして、この演算処理によって得られる特徴量のデータに対して次段以降の層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させ、入力されたデータを複数のクラスに分類することができる。
【0062】
なお、本実施形態においては、多層ニューラルネットワークを、検査画像V0を入力として、肺領域の複数種類の所見への分類結果を出力するものとして説明するが、検査画像V0を構成する複数の検査スライス画像のそれぞれを入力とし、肺領域の複数種類の所見への分類結果を出力するように構成することも可能である。
【0063】
図10は多層ニューラルネットワークの一例を示す図である。
図10に示すように多層ニューラルネットワーク50は、入力層51および出力層52を含む複数の階層からなる。本実施形態においては、検査画像V0に含まれる肺領域を、例えば、浸潤影、腫瘤影、すりガラス影、小葉中心性結節影、非小葉中心性結節影、点状影、網状影、線状影、小葉間隔壁肥厚、蜂窩肺、嚢胞、低吸収域(気腫)、気腫傾向、空洞、胸膜肥厚、胸水、空洞、気管支拡張、牽引性気管支拡張、血管、正常肺、胸壁および縦隔等の複数の所見に分類するように学習がなされている。なお、所見の種類はこれらに限定されるものではなく、これらより多くの所見であってもよく、これらより少ない所見であってもよい。
【0064】
本実施形態においては、これらの所見について、数百万という多数の教師データを用いて、多層ニューラルネットワーク50に学習させる。学習の際には、所見の種類が既知の断面画像から、予め定められたサイズ(例えば1.5cm×1.5cm)の関心領域を切り出し、その関心領域を教師データとして用いる。そして、多層ニューラルネットワーク50に教師データを入力して、所見の種類の分類処理の結果(以下、分類結果とする)を出力させる。次いで、出力された結果を教師データと比較し、正解か不正解かに応じて、出力側から入力側に向かって、多層ニューラルネットワーク50の各層に含まれるユニット(
図10に丸印で示す)の各階層間における結合の重みを修正する。結合の重みの修正を、多数の教師データを用いて、予め定められた回数、または出力される分類結果の正解率が100%になるまで繰り返し行い、学習を終了する。
【0065】
なお、入力される画像が検査スライス画像である場合において、多層ニューラルネットワーク50の学習の際には、病変が既知の3次元画像を構成するスライス画像から、予め定められたサイズ(例えば1.5cm×1.5cm)に正規化された2次元領域を切り出し、切り出した2次元領域の画像を教師データとして用いる。
【0066】
所見分類部23は、分類のために、検査画像V0から対象領域である肺領域を抽出する。肺領域の抽出は、上述した気管支抽出部30と同様に行えばよい。また、所見分類部23において、気管支抽出部30が抽出した肺領域を用いてもよい。
【0067】
所見分類部23は、所見分類処理を行う際に、検査画像V0の肺領域から教師データと同じ大きさの関心領域を順次切り出し、その関心領域を多層ニューラルネットワーク50からなる判別器に入力する。これにより、切り出した関心領域の中心画素について、所見の各分類に対応する評価値が出力される。なお、この各分類に対応する評価値は、中心画素が各分類に属する可能性を示す評価値であり、この評価値が大きいほど、その分類に属する可能性が高いことを意味する。
【0068】
図11は、ある関心領域の中心画素についての所見の種類に応じた評価値を示す図である。なお、
図11においては、説明を簡単なものとするために一部の所見についての評価値を示す。本実施形態において、判別器は、関心領域の中心画素を、複数の所見のうち、最も評価値が大きい所見に分類する。例えば、
図11に示すような評価値が取得された場合、その関心領域の中心画素は、網状影である可能性が最も高く、次にすりガラス影の可能性が高い。逆に正常肺または低吸収域の可能性はほとんど無い。このため、
図11に示すような評価値が取得された場合、所見分類処理により、関心領域の中心画素は評価値が最大の8.5である網状影に分類される。これにより、検査画像V0に含まれる肺領域の全画素が複数種類の所見のいずれに分類される。
【0069】
このように、所見分類部23は、多層ニューラルネットワーク50に入力された関心領域の中心画素を、複数の評価値のうち最大の評価値となる所見に分類して所見分類結果を生成する。これにより、検査画像V0に含まれる肺領域の全画素が複数種類の所見のいずれかに分類される。
【0070】
所見分類部23は、所見分類処理の結果に基づいて、検査画像V0における各分類の領域に色を割り当てることによってマッピング画像を生成する。具体的には、所見分類部23は、上述した複数種類の所見のうちのいずれかに分類された3次元空間上の全ての画素について、同一の分類とされた画素に対して同じ色を割り当てることによって3次元のマッピング画像を生成する。
図12は、複数種類の各分類に対して、その分類に応じた色が割り当てられたマッピング画像における一断面を示す図である。なお、
図12においては、説明を簡単なものとするために、すりガラス影、正常肺、気管支拡張、蜂窩肺、網状影、浸潤影、低吸収域および嚢胞の8種類の所見に分類した場合のマッピング画像を示す。
なお、後述する表示制御部28によりマッピング画像を表示部14に表示してもよい。マッピング画像を表示部14に表示する際には、
図12に示すように、3次元のマッピング画像における任意の断面の断面画像を表示すればよい。しかしながら、これに限らず、3次元のマッピング画像を表示部14に表示してもよい。
【0071】
特徴量算出部24は、検査画像V0において分類された所見毎に特徴量を算出する。具体的には、所見毎の領域の大きさ、所見毎の平均濃度、所見毎の濃度の分散、所見毎の領域の数および所見毎の領域の平均サイズ等の少なくとも1つを特徴量として算出する。なお、検査画像V0について算出した特徴量を、第1の特徴量と称するものとする。また、所見毎の領域の大きさ、所見毎の領域の数および所見毎の領域の平均サイズ等がサイズ特徴量である。所見毎の領域の大きさとしては、所見毎の領域の体積を用いることができる。
【0072】
なお、上述した症例データベースDBには、複数の症例画像のそれぞれに対して、ファイル名、各画素における複数の所見についての評価値、および所見毎の特徴量が登録されている。症例画像について症例データベースDBに登録されている特徴量を第2の特徴量と称するものとする。第1の特徴量および第2の特徴量は0以上1以下の値となるように正規化される。また、検査画像V0について、各画素における複数の所見についての評価値、および所見毎の特徴量が取得されると、その検査画像V0が症例データベースDBに新たな症例画像として登録される。その際、その検査画像V0についての評価値および第1の特徴量が、新たな症例画像の評価値および第2の特徴量として症例データベースDBに登録される。
【0073】
領域類似度導出部25は、検査画像V0において算出された所見毎の第1の特徴量と、症例画像において予め算出された所見毎の第2の特徴量とに基づいて、分割された領域毎に、検査画像V0と症例画像との類似度である領域類似度を導出する。なお、領域類似度導出部25は、検査画像V0と症例データベースDBに登録されたすべての症例画像との対応する領域毎に領域類似度を導出するものである。
【0074】
このために、領域類似度導出部25は、検査画像V0について算出された第1の特徴量を0以上1以下の値に正規化する。そして、下記の式(1)に示すように、分割された各領域において、所見毎に、第1の特徴量と症例画像の第2の特徴量との距離の差を特徴量の差Ddiとして算出する。なお、式(1)において、iは所見の種類を、kは特徴量の種類、Tvkは検査画像V0における種類毎の第1の特徴量を、Tckは症例画像における種類毎の第2の特徴量を表す。なお、差分が算出される第1の特徴量と第2の特徴量とは特徴量の種類は同一である。また、式(1)においてΣはすべての種類の特徴量についての(Tvk-Tck)2の総和を求めることを表す。なお、第1の特徴量および第2の特徴量は0以上1以下の値に正規化されているため、特徴量の差Ddiも0以上1以下の値となる。また、第1の特徴量Tvkと第2の特徴量Tckとが一致する場合、特徴量の差Ddiは0となる。なお、第1の特徴量と第2の特徴量との距離の差に代えて、第1の特徴量と第2の特徴量との差の絶対値等を用いてもよい。
【0075】
Ddi=√(Σ(Tvk-Tck)2) (1)
【0076】
そして、領域類似度導出部25は、検査画像V0と症例画像との領域類似度Sj0を下記の式(2)により算出する。すなわち、分割された各領域において、所見毎に特徴量の差Ddiをすべての所見について加算することにより、領域類似度Sj0を算出する。式
(2)において、jは分割された領域の種類を表す。なお、式(2)を用いて領域類似度Sj0を算出した場合、第1の特徴量と第2の特徴量との距離が小さいほど、検査画像V0と症例画像との対応する領域が類似することとなる。このため、式(2)には負号を付与し、検査画像V0と症例画像とが類似するほど、領域類似度Sj0の値が大きくなるようにしている。
【0077】
Sj0=-ΣDdi (2)
【0078】
一方、上記式(2)により領域類似度Sj0を算出した場合、同一の所見が同一のサイズであれば、領域類似度Sj0は0となる。しかしながら、同一の病変同士を比較した場合、病変が大きいほど類似するというのが事実である。上記式(2)により領域類似度Sj0を算出した場合、サイズが比較的大きい所見が同一の特徴量である場合と、サイズが比較的小さい所見が同一の特徴量である場合とで両者の相違がなく、病変のサイズが大きいほど類似するという事実を反映できていないものとなる。
【0079】
したがって、検査画像V0および症例画像の分割された領域に含まれる同一の所見については、サイズは単なる差として扱うべきではなく、サイズが類似するほど領域類似度を大きくすることが好ましい。このため、本実施形態においては、領域類似度導出部25は、以下の式(3)により、検査画像V0と症例画像との間において、分割された各領域において所見毎のサイズの差Dsiをさらに算出する。なお、式(3)において、分割された各領域におけるPviは検査画像V0の所見iの所見占有率、Pciは症例画像の所見iの所見占有率を示す。
【0080】
Dsi=1-|Pvi-Pci|/(Pvi+Pci) (3)
【0081】
したがって、領域類似度導出部25は、下記の式(4)により検査画像V0と症例画像との領域類似度Sj1を算出することが好ましい。ここで、Ddiは検査画像V0および症例画像の分割された各領域において所見の特徴量が類似するほど値が小さくなり、Dsiは検査画像V0および症例画像の分割された各領域において所見のサイズが類似するほど大きい値となる。このため、式(4)を用いることにより、同一の所見についてのサイズを考慮して、検査画像V0と症例画像との対応する領域が類似するほど大きい値となる領域類似度Sj1を算出することができる。
【0082】
Sj1=Σ(Dsi-Ddi) (4)
【0083】
ここで、所見占有率は下記のように算出する。まず、領域類似度導出部25は、分割された各領域において、各所見iの体積を算出する。所見の体積は各領域に含まれる各所見の画素数に対して検査画像V0の1ボクセル当たりの体積を乗算することにより算出することができる。
図13に所見の体積の算出結果を示す。
図13においては体積の単位は立方ミリメートルである。そして、領域類似度導出部25は、所見の体積を各領域の体積により正規化して所見占有率(=所見体積/肺体積)を算出する。なお、所見占有率をサイズ特徴量として第1の特徴量に含めて、特徴量算出部24において算出するようにしてもよい。
【0084】
なお、式(4)により領域類似度Sj1を算出した場合、検査画像V0における分割された各領域に応じて領域類似度Sj1の最大値が異なるものとなる。このため、検査画像V0と症例画像との対応する領域間の領域類似度Sj1が最大となる条件、すなわち検査画像V0と症例画像との対応する領域間に差異が無いという条件により領域類似度Sj1を正規化することが好ましい。式(5)は式(4)により算出した領域類似度S1を、検査画像V0と症例画像との対応する領域間の領域類似度Sj1が最大となる条件Sjmaxにより正規化したものである。式(5)においてSj2は正規化した領域類似度である。
【0085】
Sj2=Sj1/Sjmax=Σ(Dsi-Ddi)/Sjmax (5)
【0086】
なお、式(2)により領域類似度を算出する場合も、領域類似度Sj0を正規化することが好ましい。式(6)は式(2)を検査画像V0と症例画像との対応する領域間の領域類似度Sj0が最大となる条件により正規化したものである。式(6)においてSj3は正規化した領域類似度である。
【0087】
Sj3=Sj0/Sjmax=ΣDsi/Sjmax (6)
【0088】
類似度導出部26は、分割された各領域のサイズおよび分割された各領域に含まれる特定の所見のサイズの少なくとも一方に応じた重み係数により、複数の領域類似度の重み付け演算を行って、検査画像V0と症例画像との類似度を導出する。なお、類似度導出部26は領域類似度Sj2を用いて、検査画像V0と症例画像との類似度を導出するものとする。
【0089】
ここで、肺疾患における肺線維症等では、肺下側優位および胸膜直下優位に網状影および蜂窩肺所見が生じやすい、逆に一般的な細菌性肺炎の初期は、胸膜直下には生じず、内部側からすりガラス影および浸潤影が進展する。また、誤嚥性肺炎等は肺の背側に起きやすい。このように肺疾患には、疾患毎に肺における発症位置が特徴的なものがある。このような発症位置の特徴を考慮して、検査画像V0と症例画像との類似度を導出するためには、分割した領域毎に導出した領域類似度Sj2を全領域において加算することにより、疾病の発症位置の類似性を考慮して、検査画像V0と症例画像との類似度を導出することができる。
【0090】
しかしながら、上述したように領域分割部22により分割された領域のサイズは、領域毎に異なる。領域のサイズに依存することなく、類似度を導出するためには、分割された領域のサイズにより領域類似度Sj2を重み付けすればよい。また、医学的に重要な領域等があり、そのような重要な領域に対しては重みを大きくすることが好ましい。
【0091】
さらに、一般的には病変を主体に類似度を導出して症例画像の検索を行うものである。
このため、病変が存在する領域が重要な領域であり、検査画像V0の分割された各領域における病変の大きさを、肺の全域内の病変の大きさにより正規化し、これにより取得される病変割合に対応した重み付けを領域類似度Sj2に対して行うことにより、病変を重要視して検査画像V0と症例画像との類似度を導出することができる。また、このように類似度を導出することにより、医師が所望する症例画像を検索できる。
【0092】
例えば、肺領域を10個の領域に分割したとする。分割された10個の領域のうち、9個の領域は正常な状態にあり、1個の領域に病変が存在したとする。このような場合、10個の領域のそれぞれにおいて導出した領域類似度がすべて0.9の場合、すべての領域を同等に評価すると、検査画像V0と症例画像との類似度は9.0となる。一方、10個の領域のうちの正常な状態にある9個の領域おいて導出した領域類似度がすべて1.0であり、病変が存在する領域において導出した領域類似度が0の場合、すべての領域を同等に評価すると、検査画像V0と症例画像との類似度は、10個の領域のそれぞれにおいて導出した領域類似度がすべて0.9の場合と同一の9.0となる。したがって、病変が存在する領域の領域類似度の重みを大きくし、正常な領域の領域類似度の重みを小さくすることにより、病変が存在する領域を考慮した類似度を導出することができる。
【0093】
このため、本実施形態においては、類似度導出部26は、複数種類の所見を、正常肺および気腫傾向等の背景となる所見グループ(以下、背景所見グループとする)、並びに点状影、すりガラス影および浸潤影等の病変となる所見グループ(以下、病変所見グループとする)に分類する。そして、検査画像V0と症例画像との類似度を導出するに際して使用する重み係数Wjを、病変所見グループに分類される所見のみを用いて算出する。具体的には、下記の式(7)により、領域毎の重み係数Wjを算出する。式(7)において、Ajは領域jのサイズ、Pv1jは領域jにおける病変所見グループに分類されたすべての所見についての所見占有率である。なお、Ajを重み係数Wjとしてもよく、Pv1ijを重み係数Wjとしてもよい。
【0094】
Wj=Aj×Pv1ij (7)
【0095】
類似度導出部26は、式(7)により算出した重み係数Wjを用いて、下記の式(8)
により検査画像V0と症例画像との類似度Stを算出する。式(8)においてB0は肺領域全体のサイズに肺領域内の病変所見グループに分類されたすべての所見についての所見占有率を乗算した値である。
【0096】
St=Σ(Wj×Sj2)/B0 (8)
【0097】
一方、病変となる所見についても所見の種類に応じて重要度が異なる。このため、所見の重要度を考慮して類似度を導出することが好ましい。このため、類似度導出部26は、下記の式(9)により所見毎の重要度Iiを設定する。なお、式(9)において、iは病変に分類される所見の種類、fiは検査画像V0の分割された各領域における病変に分ついされた所見毎の所見占有率Pviをパラメータとする関数である。
【0098】
Ii=fi(Pvi) (9)
【0099】
ここで、
図13に示すように大きいサイズの所見と小さいサイズの所見とでは、体積の値の桁数が異なる。このため、3次元の情報である所見占有率を関数fiにより2次元相当に変換する等して次元を下げることが好ましい。これにより、所見のサイズの差異が医師の感覚と一致するものとなる。このため、上述したように、サイズが小さくても重要性が高い所見は、その重要度を高くするために、関数fiにより非線形に変換することが好ましい。このため、本実施形態においては、関数fiを下記の式(10)に示すように設定する。
【0100】
fi=a・(b・X+(1-b)・Xc) (10)
【0101】
なお、式(10)において、aは所見毎の全体的な重要性の違いを決定する定数である。cは1以下の値をとり、サイズが小さい所見を強調する効果を決定する定数である。bは定数cによる効果の程度を決定する定数である。また、X=(Pvi)2/3 である。所見占有率Pvを2/3乗することにより、所見占有率Pviを3次元から2次元相当に変換することとなる。
【0102】
類似度導出部26は、式(10)に示す関数を所見毎に設定して式(9)に適用することにより、分割された領域毎に病変に分類された所見のそれぞれについての重要度Iijを設定する。そして、類似度導出部26は、下記の式(11)に示すように、このようにして設定された重要度Iijの領域内においての総和を算出し、これに領域のサイズAjを乗算することにより、重み係数W1jを算出する。なお、ΣIijを重み係数W1jとしてもよい。
【0103】
W1j=Aj×ΣIij (11)
【0104】
そして、類似度導出部26は、式(11)により算出した重み係数W1jを用いて、下記の式(12)により検査画像V0と症例画像との類似度Stを算出する。式(12)においてB1は、肺領域内の病変所見グループに分類されたすべての所見についての重要度Iijの総和を、肺領域全体のサイズに乗算した値である。
【0105】
St=Σ(W1j×Sj2)/B1 (12)
【0106】
検索部27は、症例データベースDBから、類似度Stに基づいて、検査画像V0に類似する症例画像を類似症例画像として検索する検索処理を行う。まず、症例データベースDBについて説明する。
【0107】
症例データベースDBには、1以上の症例スライス画像からなる症例画像が複数登録されている。詳細には、複数の症例画像のそれぞれについての所見分類結果、特徴量(すなわち第2の特徴量)が、複数の症例画像のそれぞれと対応づけられて登録されている。本実施形態においては、検査画像V0が新たに取得されると、検査画像V0が症例データベースDBに新たな症例画像として登録される。
【0108】
検索部27は、検査画像V0と症例データベースDBに登録されたすべての症例画像との類似度Stに基づいて、検査画像V0に類似する症例画像を類似症例画像として検索する。具体的には、検索部27は、類似度Stが大きい順に症例画像をソートして検索結果リストを作成する。
図14は検索結果リストを示す図である。
図14に示すように、検索結果リストL0には、症例データベースDBに登録された症例画像が、類似度Stが大きい順にソートされている。そして、検索部27は、検索結果リストL0におけるソート順が上位所定数の症例画像を、症例データベースDBから類似症例画像として抽出する。
【0109】
表示制御部28は、検索部27による検索結果を表示部14に表示する。
図15は検索結果を示す図である。
図15に示すように、検索結果61には、ラベリングされた検査画像V1およびラベリングされた類似症例画像R1~R4が表示されている。なお、ここでは4つの類似症例画像R1~R4を表示しているが、さらに多くの類似症例画像を表示してもよい。
【0110】
図15において、検査画像V1および類似症例画像R1~R4は予め定められた投影方法により投影された投影画像となっている。なお、
図15においては説明のために5種類のラベリングのみを示しているが、実際には分類された所見の種類に応じたラベリングがなされている。検査画像V1の下方には、アキシャル断面、サジタル断面およびコロナル断面の3つの断面における検査スライス画像62~64が表示されている。また、類似症例画像R1~R4の下方にも、同様の3つの断面における症例スライス画像が表示されている。また、検査画像V1の下方に表示された検査スライス画像62~64および類似症例画像R1~R4の下方に表示された症例スライス画像のスライス面は、入力部15からの操作により切り替えることが可能である。
【0111】
次いで、第1の実施形態において行われる処理について説明する。
図16は第1の実施形態において行われる処理を示すフローチャートである。まず、画像取得部21が、検査画像V0を取得し(ステップST1)、領域分割部22が、検査画像V0における肺領域を複数の領域に分割する(ステップST2)。
【0112】
図17は領域分割処理のフローチャートである。領域分割処理においては、気管支抽出部30が、検査画像V0から気管支の構造を気管支領域として抽出する(ステップST11)。次いで、第1分割部31が、気管支の分岐位置に基づいて、肺領域を上下方向に複数の領域に分割する(第1の分割処理;ステップST12)。また、第2分割部32が、肺領域を中枢領域と中枢領域外の領域とに分割する(第2の分割処理;ステップST13)。また、第3分割部33が、肺領域を外側領域と内側領域とに分割する(第3の分割処理;ステップST14)。そして、第4分割部34が、肺領域を背側領域と腹側領域とに分割し(第4の分割処理;ステップST15)、領域分割処理を終了する。
【0113】
図16に戻り、所見分類部23は、検査画像V0に含まれる肺領域の各画素を少なくとも1つの所見に分類して所見分類結果を生成する(ステップST3)。そして、特徴量算出部24が、分割された領域毎に、かつ検査画像V0において分類された所見毎に第1の特徴量を算出する(ステップST4)。また、領域類似度導出部25が、検査画像V0において算出された所見毎の第1の特徴量と、症例画像において予め算出された所見毎の第2の特徴量とに基づいて、分割された領域毎の検査画像V0と症例画像との類似度である領域類似度を導出する(ステップST5)。さらに、類似度導出部26が、複数の領域類似度の重み付け演算を行って、検査画像V0と症例画像との類似度を導出する(ステップST6)。なお、上述したように、類似度導出部26は、検査画像V0と症例データベースDBに登録されたすべての症例画像との類似度を導出するものである。さらに、検索部27が、類似度に基づいて検索処理を行い(ステップST7)、表示制御部28が検索結果を表示部14に表示し(ステップST8)、処理を終了する。
【0114】
このように、本実施形態によれば、検査画像V0における肺領域が複数の領域に分割され、検査画像V0の各画素が少なくとも1つの所見に分類される。また、分割された領域毎に、検査画像V0において分類された所見毎の第1の特徴量が算出される。そして、検査画像V0において算出された所見毎の第1の特徴量と、症例画像において予め算出された所見毎の第2の特徴量とに基づいて、分割された領域毎に検査画像V0と症例画像との領域類似度が導出される。さらに、分割された各領域のサイズおよび分割された各領域に含まれる特定の所見のサイズの少なくとも一方に応じた重み係数により、複数の領域類似度の重み付け演算が行われて、検査画像V0と症例画像との類似度が導出される。本実施形態によれば、このように、分割された領域毎の領域類似度の重み付け演算を行っているため、対象領域内における所見の位置および分布に応じて適切に重み付けを行うことにより、検査画像V0と症例画像との類似度を適切に決定することができる。
【0115】
とくに、領域分割処理においては、検査画像V0に含まれる肺領域から気管支が抽出され、気管支の複数の分岐位置が特定され、特定された分岐位置に基づいて肺領域が複数の領域に分割される。このため、本実施形態によれば、気管支の分岐位置に基づいて、肺区域にとらわれることなく、かつ予め定められた割合にとらわれることなく、肺領域を分割することができる。したがって、肺領域を適切に分割することができる。
【0116】
次いで、本開示の第2の実施形態について説明する。上記第1の実施形態においては、領域分割部22が分割することにより得られる左右それぞれ13の領域について領域類似度を導出して、検査画像V0と症例画像との類似度を導出している。第2の実施形態においては、互いに異なる複数種類の領域パターンに基づいて、肺領域を領域パターン毎の複数の領域に分割し、領域パターン毎に領域類似度を導出するようにした点が第1の実施形態と異なる。なお、第2の実施形態による類似度決定装置の構成は、第1の実施形態による類似度決定装置の構成と同一であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。
【0117】
ここで、肺における疾患の発症位置が、疾患に特徴的な位置であり、かつ比較的広範囲に及ぶ場合は、上記第1の実施形態のように、1つの領域パターンにより肺領域を分割しても、検査画像V0と症例画像との類似度を適切に導出できる。しかしながら、腫瘤性病変等の局所的に発症し、かつ肺領域内の様々な位置に発症する病変の場合、検査画像V0と症例画像との双方に病変が存在していても、検査画像V0と症例画像との対応する領域に病変が存在しないと、類似度の値は大きくならない。その結果、検査画像V0に類似する症例画像を検索できなくなってしまう。
【0118】
一般的に局所的に発症する局所的病変とびまん性の病変とは特徴が異なる。したがって、これらの病変は異なる所見に分類される。例えば、すりガラス影および網状影等の所見はびまん性病変であり、結節影等の所見は局所的病変である。びまん性病変に分類される所見の場合は、肺領域をより細かく分割した領域毎の領域類似度を導出することにより、検査画像V0と症例画像との類似度を適切に導出できる。一方、局所的病変に分類される所見の場合は、肺領域を粗く分割した領域毎の領域類似度を導出することにより、検査画像V0と症例画像との類似度を適切に導出できる。
【0119】
このため、第2の実施形態においては、第1の実施形態のように左右の肺領域のそれぞれを13の領域に分割する領域パターン(以下第1領域パターンとする)の他、第1分割部31による第1分割処理のみを行うことにより取得される分割領域のパターン(以下第2領域パターンとする)、第2分割部32による第2分割処理のみを行うことにより取得される分割領域のパターン(以下第3領域パターンとする)、第3分割部33による第3の分割処理のみを行うことにより取得される分割領域のパターン(以下第4領域パターンとする)、および第4分割部34による第4の分割処理のみを行うことにより取得される分割領域のパターン(以下第5領域パターンとする)によっても領域類似度を導出する。
なお、第2の実施形態においては、左右の肺領域40L,40Rの全く分割しない状態も、領域パターンの1つに含めるものとする(第6の領域パターン)。
【0120】
ここで、第2の実施形態においては、第1~第6の領域パターンのすべてを用いる必要はなく、これらのうちの2以上の領域パターンにより左右の肺領域40L,40Rを分割すればよいものである。なお、片方の肺領域は、第1の領域パターンにより13個に、第2の領域パターンにより3個に、第3の領域パターンにより2個に、第4の領域パターンにより2個に、第5の領域パターンにより2個に、第1の領域パターンにより1個に分割されることとなる。このため、第1~第6の領域パターンのすべてを用いた場合、領域類似度は片方の肺領域で23個(左右の肺で46個)導出されることとなる。
【0121】
第2の実施形態においては、類似度導出部26は、すべての領域パターンに基づく領域類似度に対して、以下の式(13)により領域毎の重み係数W2jを算出する。式(13)において、Iijは分割された領域毎に病変に分類された所見のそれぞれについての重要度であり、PWirは領域パターンrにより分割された領域に含まれる所見iに対する重み係数である。したがって、式(13)は、分割された領域毎の所見の重要度Iijを領域パターンに応じた所見iに対する重み係数PWirにより重み付けした値の乗算値の領域内の総和を算出し、これに領域のサイズAjを乗算することにより、重み係数W2jを算出することとなる。なお、重み係数PWirが領域パターン重み係数である。また、Σ(Pwir×Iij)を重み係数W2jとしてもよい。
【0122】
W2j=Aj×Σ(Pwir×Iij) (13)
【0123】
図18は重み係数PWirの例を示す図である。なお、
図18において第1、第2および第6はそれぞれ第1の領域パターン(片肺13分割)、第2の領域パターン(片肺3分割)および第6の領域パターン(片肺1分割)を示す。
図18に示すように、例えば第1の領域パターンにより分割された領域に含まれるすりガラス影の所見に対しては、重み係数PWirとして0.7が設定される。また、第2の領域パターンにより分割された領域に含まれるすりガラス影の所見に対しては、重み係数PWirとして0.3が設定される。また、第6の領域パターンにより分割された領域に含まれるすりガラス影の所見に対しては、重み係数PWirとして0が設定される。重み係数PWirが0ということは式(13)により算出される重み係数W2jも0となる。一方、第1の領域パターンにより分割された領域に含まれる結節影の所見に対しては、重み係数PWirとして0が設定される。また、第2の領域パターンにより分割された領域に含まれる結節影の所見に対しては、重み係数PWirとして0.5が設定される。また、第6の領域パターンにより分割された領域に含まれる結節影の所見に対しては、重み係数PWirとして0.5が設定される。
【0124】
したがって、
図18に示す重み係数PWirを採用することにより、類似度Stの導出に際して、すりガラス影および網状影の所見に対しては、細かく分割された領域についての領域類似度が主に採用され、結節影の所見に対しては、粗く分割された領域についての領域類似度が主に採用されることとなる。これにより、局所的病変およびびまん性の病変の特徴を考慮して、検査画像V0と症例画像との類似度Stを導出することができる。
【0125】
そして、第2の実施形態において、類似度導出部26は、式(13)により算出した重み係数W2jを用いて、下記の式(14)により検査画像V0と症例画像との類似度Stを算出する。式(14)においてB3は、肺領域内の病変所見グループに分類されたすべての所見についてのW2jの総和を、肺領域全体のサイズに乗算した値である。
【0126】
St=Σ(W2j×Sj2)/B3 (14)
【0127】
なお、上記第2の実施形態においては、重み係数PWirを変更可能なものとしてもよい。例えば、検査画像V0において注目される病変が局所的なものであるかびまん性のものであるかに応じて、重み係数PWirを変更可能なものとしてもよい。この場合、操作者による入力部15からの変更指示により、重み係数PWirを変更可能なものとすることが好ましい。
図19および
図20は、重み係数PWirの他の例を示す図である。
図19に示す重み係数PWirは、いずれの所見に対しても第6の領域パターンに対して値が0となる。このような重み係数PWirを用いることにより、検査画像V0において注目される病変が局所的な病変のみである場合に、類似症例画像を適切に検索することができる。
【0128】
一方、
図20に示す重み係数PWirは、いずれの所見に対しても第1の領域パターンに対して値が0となる。このような重み係数PWirを用いることにより、検査画像V0において注目される病変がびまん性の病変のみである場合に、類似症例画像を適切に検索することができる。
【0129】
なお、上記各実施形態においては、検査画像V0と症例画像とにおける対応する領域間における領域類似度を導出しているが、これに限定されるものではない。例えば、対応する領域のみならず、対応する領域以外の領域との領域類似度を導出するようにしてもよい。対応する領域以外の領域との領域類似度を導出するに際しては、対応する領域に近いほど重みを大きくする等することが好ましい。
【0130】
また、上記各実施形態においては、検査画像V0の画素毎に、複数種類の所見のそれぞれであることの可能性を表す複数の評価値を算出し、複数の評価値に基づいて、第1の医用画像の各画素を複数種類の所見のうちの少なくとも1つの所見に分類しているが、所見分類の手法は評価値を用いる手法に限定されるものではない。
【0131】
また、上記各実施形態においては、画像保管サーバ3に症例データベースDBを保存しているが、ストレージ13に症例データベースDBを保存してもよい。
【0132】
また、上記各実施形態においては、検査画像を症例データベースDBに登録しているが、検査画像以外の画像を登録対象画像として症例データベースに登録してもよい。
【0133】
また、上記実施形態においては、類似度決定装置における領域分割部22、所見分類部23、特徴量算出部24、および表示制御部28のみを特徴量導出装置として用いてもよい。この場合、特徴量導出プログラムは、CPU11に領域分割処理、所見分類処理、特徴量算出処理および表示制御処理を実行させるものとなる。導出された特徴量を表示部14に表示することにより、医師等の操作者は、検査画像V0に含まれる肺領域の所見についての特徴量を認識することが可能となる。
【0134】
また、上記各実施形態において、例えば、画像取得部21、領域分割部22、所見分類部23、特徴量算出部24、領域類似度導出部25、類似度導出部26、検索部27および表示制御部28、並びに気管支抽出部30、第1分割部31、第2分割部32、第3分割部33および第4分割部といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0135】
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせまたはCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
【0136】
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
【0137】
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
【符号の説明】
【0138】
1 類似度決定装置
2 3次元画像撮影装置
3 画像保管サーバ
4 ネットワーク
11 CPU
12 メモリ
13 ストレージ
14 表示部
15 入力部
21 画像取得部
22 領域分割部
23 所見分類部
24 特徴量算出部
25 領域類似度導出部
26 類似度導出部
27 検索部
28 表示制御部
30 気管支抽出部
31 第1分割部
32 第2分割部
33 第3分割部
34 第4分割部
40L 左肺領域
40R 右肺領域
41 気管支
50 多層ニューラルネットワーク
51 入力層
52 出力層
61 検索結果
62~64 検査スライス画像
B1、B31 気管支分岐
DB 症例データベース
G1 アキシャル方向の断面画像
G2 コロナル方向の断面画像
G3 サジタル方向の断面画像
L0 検査リスト
R1~R4 類似症例画像
V0,V1 検査画像