【解決手段】画像取得部110は、あらかじめ結節状陰影の位置が既知である胸部X線のデジタル画像を取得する。画像濃度変換部111は、デジタル画像に設定された所定の部分領域に含まれる画素値のヒストグラムに基づいて、デジタル画像全体の濃度を正規化した濃度正規化画像を取得する。フィルタ処理部113は、濃度正規化画像に対してフィルタ処理を実行してフィルタ画像を取得する。候補領域取得部114は、フィルタ画像を2値化して結節状陰影の候補領域を取得する。学習部115は、候補領域のうち、既知である結節状陰影に対応する領域をひとつのクラス、既知である結節状陰影と対応しない領域を他のクラスとして深層畳み込みニューラルネットワークによる学習を実行して識別器を生成する。
【発明を実施するための形態】
【0015】
以下本発明を好適な実施の形態をもとに説明する。まず、実施の形態の基礎となる理論を前提技術として述べ、その後、具体的な実施の形態を説明する。
【0016】
[前提技術]
1.はじめに
本発明の実施の形態は、胸部X線画像における結節状陰影をコンピュータによる処理により自動で検出し、医師の診断を支援する技術に関する。医用画像からコンピュータ処理にて病変を検出して診断支援を行うシステムは一般にCADと呼ばれる。CADの主な用途は、医用画像をコンピュータで定量的に分析し、その結果を医師の診断に対する第二の意見として利用することである。CADを使用することにより、診断の精度や再現性を改善し、医師の読影に要する負担を軽減することで診断の質と生産性を向上させることが期待できる[1]。
【0017】
CADはさらに、病変検出による存在診断を目的としたコンピュータ支援検出(CADe:Computer-Aided Detection)と良悪性の鑑別を行う鑑別診断を目的としたコンピュータ支援診断(CADx:Computer-Aided Diagnosis)に分類される[2]。実施の形態は、病変の存在を検出するCADeに該当する。
【0018】
1.1.背景
概要
胸部X線検査のニーズは今後も増加すると予想される。診断精度と再現性を保ちながら医師の読影負担を軽減し、効率よく画像を読影するためのシステムの開発が急務である。
【0019】
1.1.1.胸部X線画像について
本発明の実施の形態で対象とする胸部X線画像は、胸部X線検査から生成される医用画像である。胸部X線検査は、疾患のある患者に加え、健常者に対しても定期健康診断で広く実施されている検査であり、最も多く実施される画像検査の1つといえる。胸部X線検査は特に肺がんの早期検出においては有用であり[3]、本邦の肺がん検診にも用いられている。
【0020】
1.1.2.今後予想される肺がん罹患数の増加と胸部X線画像
肺がん検診に関わる日本国内の動向として厚生労働省による「がん対策推進基本計画」がある。2012年度から2016年度までの5年間を対象としてがん対策の総合的かつ計画的な推進が図られ、日本国内における胸部検診受診者数は年々増加してきた。一方、日本国内における肺がん患者数も増加することが予想されている。2015年の国立がん研究センターの報告[4]によると、肺がんの予測罹患者数は133500人であった。部位別では大腸がんの135800人に次ぐ第2位の予測罹患数である。2014年の予測値より約10万例増加しており、その原因は高齢化やがん登録精度向上の影響とされている。今後も2029年まで肺がん罹患数は引き続き増加していくことが予想され[5]、肺がん検査において現段階で第一選択となっている胸部X線検査の実施数も同様に増加し続けると考えられる。
【0021】
1.1.3.画像の読影について
[4]によると、2013年の肺がん検診の受診率は38.7%であり、対象者総数から受診者数は約3900万人と推計される。ここで、医用画像の読影は画像診断を専門とする放射線科医によって行われることが多いが、平成26年の厚生労働省の調査では、国内の放射線科医数は6169人となっている[6]。肺がん検診の胸部X線画像が放射線科医によってすべて読影されると仮定すると、放射線科医は一人あたり年間約6200枚もの読影を行うことになる。放射線科医は胸部X線画像の読影のみならず他検査の読影や他業務も行わなければならないため、放射線科医の業務負担も増加する一方であるといえる。
【0022】
1.1.4.医師の負担軽減ツールとしてのCAD
医師の負担軽減を目的として、胸部X線画像用CADは国内外で多く提案されている。読影されるべき画像は増え続けているのに対し国内においては未だCADの実用化が進んでいない。その理由としては2つ考えられる。1つは医療経営においてCADがあまり寄与しない環境であることが挙げられる。つまりCADの使用は米国と異なり保険適用外であるため高額なCADが積極的に導入されづらいことである。2つ目として、現状の技術では1症例あたりに検出される偽陽性の数が多いことが挙げられる。第二の目としてCADを用いた際に、真の異常陰影(真陽性)に加え異常ではない陰影(偽陽性)が多く提示されることは医師の確認作業を増やすことになり、CAD使用における読影業務が非効率となる。
【0023】
1.2.現状の課題―技術レベルと課題
CADに求められることとして、1)放射線科医のパフォーマンスの改善、2)読影時間の短縮、3)放射線科医の読影作業一連の流れに組み込まれること、4)CADが出す結果には責任が求められず、コストもできるだけかからないこと。の4つがある[7]。特にCADの技術が影響する1)については、胸部X線画像用CADの実用化に向けて改良すべき点である。従来技術においては真陽性に加えて、偽陽性が複数検出され、この偽陽性候補数を減らすことが読影作業効率改善のための最も主要な課題となっている[8]。すなわち、1画像あたりに検出される偽陽性候補が多いほど、医師は複数の陰影から真の異常陰影を選択しなければならず、従来技術によるCADはむしろ読影における負担となっているとも考えられる。
【0024】
1.3.目的
実施の形態に係るCADは肺がんの早期発見に寄与する結節状陰影の検出を支援することを目的とする。そのため、従来技術よりも偽陽性を多く削減することを課題とした。なお、今回開発に用いた画像データベースと同様のデータベースを用いた研究の最新報告[9]では、異常陰影を検出する精度を表す指標である感度は81%、偽陽性は1画像あたり5.0個であった。[9]は結節影画像の一部を除いた140例での検討結果であるが、本発明においてはデータベース内の結節を有する画像全154例を用い、より恣意性を排除した条件での検出を目的とした。
【0025】
2.対象と方法
本手法の原理概要
実施の形態に係る学習装置は、胸部X線像から腫瘤影を検出する装置である。
図1は、学習処理の一連の流れを示すフローチャートである。腫瘤陰影像、非腫瘤陰影像を含む画像データベース画像に対し、コントラストと濃度を正規化し全画像の画質のバラつきをなくす。画像内の肺野領域をセグメントした後、LoG(Laplacian of Gaussian)フィルタ又はDoG(Difference of Gaussian)フィルタにより結節状陰影を選択的に強調する。高い感度を維持した状態で閾値処理を施し目的陰影を残す。残った陰影の中から深層畳み込みニューラルネットワーク(Deep Convolutional Neural Network:以下「DCNN」と記載する。)によって結節を選択し、結節以外の陰影を削除する。
【0026】
2.1.画像データベース
概要
実施の形態に係る学習装置では、日本放射線技術学会(JSRT)が作成した標準デジタル画像データベースを使用して学習を行った[10]。本データベースは胸部X線検査で撮影されたデジタル画像247枚が含まれており、臨床で用いられるCR(Computed Radiography)システムから得られる画像とほぼ同等の画質を持っている。
【0027】
2.1.1.詳細
a)画像仕様
・マトリクスサイズ:2048×2048。
・濃度分解能:12bits。
・ピクセルサイズ:0.175mm。
【0028】
b)画像に含まれる病変の特徴。
・病変内訳:腫瘤画像154枚、非腫瘤陰影画像93枚。
・原則として悪性・良性を含む孤立性腫瘤影。
・腫瘤影の大きさは径5mm〜60mm程度。
・CT検査によって腫瘤影の存在が確認されている。
【0029】
c)陰影検出の難易度
本データベースでは全腫瘤影画像に対して結節状陰影の位置と検出における難易度が示されている。
Degree of subtlety in detection of lung nodules
1:extremely subtle(極めて微細)。
2:very subtle(とても微細)。
3:subtle(微細)。
4:relatively subtle(比較的微細)。
5:obvious(明白)。
【0030】
d)医師の観察者実験結果と陰影検出難易度との比較。
[10]では、データベースに対する医師の観察者実験が行われている。難易度別に感度・特異度が示されている。画像全体での腫瘤影検出の感度は70.3%であり、特異度は80.9%であった。
【0031】
2.2.濃度とコントラストの正規化
デジタル画像247枚のマトリクスサイズ512×512、濃度分解能12bitsに変換した元画像に対し、濃度とコントラストの正規化を行った。画像の中心から画像全体の1/4となる大きさに対するヒストグラムの影響を加味し、全画像の濃度とコントラストのヒストグラムを安定させた。
図2は、正規化処理の前後における画像及びヒストグラムを示す図である。
【0032】
2.3.陰影の強調
肺野領域をセグメントした後、DoGフィルタ又はLoGフィルタを用い、結節状陰影を選択的に強調する。
図3は、フィルタ処理の各ステップにおける胸部X線画像の一例を示す図である。
【0033】
2.3.1.LoGフィルタ
X線画像における肺の腫瘤影強調においてLoGフィルタが有用であることが報告されている[9][11][12]。LoGフィルタは画像f(x,y)と以下の式(1)に示すガウシアンフィルタを畳み込むことで得られる平滑化画像F(x,y)(式(2)に示す)に対し、式(3)に示す8近傍ラプラシアンフィルタを適用することで、式(4)に示すように腫瘤影を選択的に強調する強調画像を得ることができる。
【0034】
【数1】
【数2】
【数3】
【数4】
【0035】
2.3.2.DoGフィルタ
DoGは、σの異なる2つのガウシアンフィルタ画像を差分した以下の式(5)のように近似され、LoGフィルタと同様に腫瘤影の特徴を抽出できる。
【数5】
その際、式(4)のLoGに近似できるDoGはσ=5.59である。DoGは人間の視覚特性に近いフィルタと考えられており、本発明で目的とする目視可能な腫瘤影の検出に適している。
【0036】
2.4.閾値処理
陰影を強調した画像の濃度ヒストグラムにおいて21.16%を閾値とし二値化した。閾値は目的陰影の拾い上げに対し高い感度を保った値とした。また、
図3に示すように、事前に原画像から肺野をセグメントし、肺野外の陰影は除去した。
【0037】
2.5.DCNNによる偽陽性削除
2.4.で拾い上げた陰影に対し、DCNNによって結節を選択し、結節以外の陰影を削除した。
【0038】
2.5.1.入力画像
DCNNには、2.4.で拾い上げた陰影に対し、その陰影を含むマトリクスサイズ256×256で切り取った画像を入力した。
【0039】
2.5.2.DCNN
DCNNとは機械学習法の一種で、畳み込み層とプーリング層と呼ばれる2種類の層を交互に積み重ねた構造を持つフィードフォワード型の多層構造のニューラルネットワークである。従来の画像認識研究は、人間が識別タスクに合わせた画像特徴量を設計し、その特徴量を解析することが一般的であった。一方DCNNでは、DCNNそのものが画像を学習して特徴量を獲得し、画像を識別するという特徴がある。これにより、人為的にデータから特徴量を抽出する必要がなくなり、タスクに応じた表現力豊かな特徴量の生成が可能となった。近年、コンピュータビジョンの分野ではImageNet Large Scale Visual Recognition Challenge(ILSVRC)のような一般画像認識タスクでDCNNが驚異的な性能を達成していることが知られている[13]。
【0040】
2.5.3.転移学習法
DCNNは教師あり学習が基本であり、DCNNを適切に学習させるにはクラスラベルが付与された膨大な学習データが必要である。一般物体画像認識タスクでは、ImageNetのように約22000クラス、1400万枚以上の教師付き大規模画像データセットが整備されているため、人間を凌ぐ識別性能をすでに達成している[14]。しかし、医用画像ではImageNetのような大規模教師付き画像データベースは現時点で整備されておらず、また膨大な医用画像を収集するのは現実的に困難である。
【0041】
そこで実施の形態に係る学習装置では、事前学習済みDCNNを用いた転移学習(transfer learning)を行う。転移学習とは、一般物体認識を学習したDCNNを異なる画像認識のタスクに流用する学習方法である。DCNNが学習する特徴はその層構造に対応した階層性を持ち、下位層の特徴ほど普遍性を持ち、上位層の特徴ほどタスク依存性が高くなるといわれている[15]。
【0042】
転移学習の方法のひとつとしてfine−tuningによる転移学習が広く用いられている。fine−tuningとは、一般物体画像を学習した学習済みモデルとそのDCNNを利用して、学習済みモデルの重みパラメータを適用先タスクのデータで再学習させることである。
図4は、fine−tuningによる転移学習を説明するための概要図である。
図4に示すように、事前学習済みDCNNの識別層を対象タスクのものへと付け替える。実施の形態に係る学習装置はILSVRCのタスクで用いられた1000クラスの識別層を本研究のタスクで用いる2クラス(結節と偽陽性)の識別層へと変更した。その他の層は、一般物体画像で学習済みのパラメータを初期値として学習を行った。
【0043】
DCNNの学習は初期値依存性が強く、適用先タスクの学習データが少ない場合は、できるだけよい初期値を得ることが過学習を防ぐことが知られている。事前学習済みDCNNによるfine−tuningは、一般物体認識タスクにおいて、ゼロベースからの学習と比較して認識精度が向上すると報告されている[16]。この学習済みモデルを利用したfine−tuningによる転移学習は、教師データの量が十分になくても高い性能を達成することが知られており、医用画像認識タスクにおいても胸部X線画像[17]や大腸3D−CT(CTコロノグラフィ)[18]などでその有効性が報告されている。
【0044】
2.5.4.使用した学習済みモデルとDCNN
実施の形態に係る学習装置では、カリフォルニア大学バークレー校の研究センターBVLCが公開しているディープラーニングのオープンソースライブラリであるCaffeを用い、学習済みモデルには一般物体画像データベースImageNetで学習済みのモデル(caffe_reference_imagenet_model)を、DCNNには100万枚、1000カテゴリーの一般画像を用いたILSVRC2012の分類タスクにおいて優勝したAlexNet[13]のNormalization層とPooling層の順番を変更するなどの改変を加えたBVLC Reference CaffeNet[19]をそれぞれ用いた。結節、偽陽性の各クラスの入力画像の90%を学習用データ、10%を評価用データとして、確率的勾配降下法により再学習した。最終的な出力は、結節と偽陽性の計2クラスとし、最終分類クラスと各クラスの確信度を得た。
【0045】
3.結果
概要
図5は、実施の形態に係る学習装置が生成した識別器による結節状陰影検出結果を表形式で示す図である。実施の形態に係る学習装置が生成した識別器による胸部X線画像からの結節状陰影検出において以下のような結果となった。
・総合感度:80.5%(124/154)。
・1画像あたりの偽陽性(FP)数:0.89個(221/247)。
・特異度:98.2%(12269/12490)。
これは、実施の形態に係る学習装置が生成した識別器が検出する陰影はほぼ真陽性(TP)であることを示している。
【0046】
3.1.閾値処理による結果
・感度:83.8%(129/154)。なお、重複検出は2か所であった。
・1画像あたりの偽陽性数:50.6個(12490/247)。
閾値処理で検出した結節状陰影の候補となる陰影は全部で12619個であり、そのうち真の結節状陰影は129個であった。残りの12490個の陰影は偽陽性である。
【0047】
3.2.DCNN処理による結果
・感度:80.5%(124/154)。なお、重複検出2か所は含まれていない。
・1画像あたりの偽陽性数:0.89個(221/247)。
DCNN処理で検出した結節状陰影は124個であった。また、3.1.で検出した偽陽性は221個に減らすことができた。
図6(a)―(b)は、閾値処理、DCNN処理過程での腫瘤難易度別の真陽性、偽陽性検出詳細を表形式で示す図である。具体的には、
図6(a)は真陽性の腫瘤難易度別の検出結果を示す図であり、
図6(b)は偽陽性の腫瘤難易度別の検出結果を示す図である。
【0048】
3.3.JSRTデータベースとの比較
図7は、実施の形態に係る学習装置が用いたデータベースに対し、Shiraishiらが行った観察者実験[10]と実施の形態に係る学習装置が生成した識別器による結果との比較を表形式で示す図である。
図7に示すように、実施の形態に係る学習装置が生成した識別器による結節状陰影の検出は、5つのうち4つのカテゴリーにおいて医師による読影よりも検出感度が高い結果となった。
【0049】
4.考察
従来との比較
DCNNを用いた偽陽性削除法はこれまでも提案されてきたが、感度を維持したまま偽陽性を減らそうとした結果、1画像あたりの偽陽性の個数を1未満とすることができていなかった。実施の形態に係る学習装置が生成した識別器は従来法と比較し、性能が非常に高い結果が出たといえる。実施の形態に係る学習装置が用いた胸部X線画像データベースは、日本放射線技術学会によって胸部放射線科医を含む医師グループに対し観察者実験が実施されている。Shiraishiらの報告[10]によれば、腫瘤陰影の感度は70.3%であった。このことから、本発明の性能はまた医師の読影以上であることを示している。
【0050】
実施の形態に係る学習装置の効果
実施の形態に係る学習装置が生成した識別器は1画像あたりの偽陽性数において従来技術を凌駕している。これは医師の負担軽減につながるものであり、さらに質の良い診断をもたらす。総務省統計局平成27年定期健康診断実施結果によると、胸部X線検査の有所見率は4.2%となっている。将来的に実施の形態に係る学習装置が生成した識別器による胸部X線検査の1次チェックが実現すると、医師は異常症例の読影に注力することができ、医療施設における人員の最適化が期待できる。
【0051】
5.結論
胸部X線画像の結節状陰影検出手法にDCNNを用いることにより、感度80.5%、症例1件当たりの偽陽性数0.89個を達成した。従来技術よりも効率よく胸部X線画像の診断を支援することが期待できる。
【0052】
6.参考文献
[1].土井邦雄:“CADの現状と今後の進展”,日本放射線技術学会雑誌,563,318-320,2000.
[2].ML. Giger et al, : “Anniversary Paper: History and status of CAD and quantitative image analysis: The role of Medical Physics and AAPM” Med. Phys. 35(12), December 2008.
[3].Sobue T et al, : Survival for clinical stage I lung cancer not surgically treated. Cancer 182:115-122, 1992.
[4].国立研究開発法人国立がん研究センタープレスリリース「2015年のがん罹患数,死亡数予測」。
[5].国立がん研究センターがん対策情報センター:がん・統計白書2012−データに基づくがん対策のために(篠原出版新社)。
[6].厚生労働省:平成26年(2014年)医師・歯科医師・薬剤師調査の概況。
[7].Van Ginneken et al, : “Computer-aided diagnosis: how to move from the laboratory to the clinic”, Radiology 261:719-732, 2011.
[8].Suzuki K: A review of computer-aided diagnosis in thoracic and colonic imaging. Quant. Imaging Med .Surg.2:163-176, 2012.
[9].Chen Se et al, : A parameterized logarithmic image processing method with Laplacian of Gaussian filtering for lung nodule enhancement in chest radiographs ,Medical & Biological Engineering & Computing1-14, 2016.
[10].Shiraishi et al, : Development of a digital image database for chest radiographs with and without a lung nodule: Receiver operating characteristic analysis of radiologists’detection of pulmonary nodules. AJR 174; 71-74, 2000.
[11].Artit C Jirapatnakul et al, : Automated nodule location and size estimation using a multi-scale Laplacian of Gaussian filtering approach. Conf Proc IEEE Eng Med Biol Soc. 2009; 2009:1028-31.
[12].Saien S et al, : Refinement of lung nodule candidates based on local geometric shape analysis and Laplacian of Gaussian kernels. Comput Biol Med. 2014 Nov; 54: 188-98.
[13].Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems. 2012.
[14].Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., ... & Rabinovich, A. (2015). Going deeper with convolutions. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 1-9).
[15].Caruana, Rich. "Multitask learning." Learning to learn. Springer US, 1998. 95-133.
[16].Agrawal, Pulkit, Ross Girshick, and Jitendra Malik. "Analyzing the performance of multilayer neural networks for object recognition." European Conference on Computer Vision. Springer International Publishing, 2014.
[17].Bar, Y., Diamant, I., Wolf, L., & Greenspan, H. (2015, March). Deep learning with non-medical training used for chest pathology identification. In SPIE Medical Imaging (pp. 94140V-94140V). International Society for Optics and Photonics.
[18].Naeppi, J. J., Hironaka, T., Regge, D., & Yoshida, H. (2016, March). Deep transfer learning of virtual endoluminal views for the detection of polyps in CT colonography. In SPIE Medical Imaging (pp. 97852B-97852B). International Society for Optics and Photonics.
[19].Jia, Y., Shelhamer, E., Donahue, J., Karayev, S., Long, J., Girshick, R., ... & Darrell, T. (2014, November). Caffe: Convolutional architecture for fast feature embedding. In Proceedings of the 22nd ACM international conference on Multimedia (pp. 675-678). ACM.
【0053】
[具体例]
実施の形態
上述の前提技術を踏まえ、本発明の実施の形態についてより詳細に説明する。
図8は、実施の形態に係る検出支援システムSの構成を模式的に示す図である。実施の形態に係る検出支援システムSは、学習装置1、識別装置2、識別器格納部3、教師画像格納部4、未知画像格納部5、出力部6、及び事前学習済みデータ格納部7を含む。
【0054】
前提技術の[2]において説明したように、実施の形態に係る学習装置1は、胸部X線検査で撮影されたデジタル画像に濃度正規化やフィルタ処理等の前処理を施したのち、DCNNを用いて識別器を生成する。学習装置1が生成した識別器は、識別器格納部3が保持する。なお、教師画像格納部4は、学習装置1がDCNNに用いるデジタル画像を格納している。
【0055】
識別装置2は、胸部X線検査のスクリーニング検査等において稼働する。未知画像格納部5は、胸部X線撮影装置(不図示)が撮影した胸部X線検査のデジタル画像を保持している。未知画像格納部5が保持しているデジタル画像は識別装置2が結節状陰影の検出対象とする画像であり、陰影の有無及び存在する場合にはその位置が未知である画像である。
【0056】
識別装置2は、識別器格納部3が保持する識別器を用いて、未知画像中の結節状陰影の候補を検出する。識別装置2は、検出した結節状陰影の候補を、モニタ等の出力部6に出力する。医師等の医療従事者は出力部6に出力された結節状陰影の候補を観察することにより、胸部X線検査のスクリーニング検査における効率を向上することができる。なお、事前学習済みデータ格納部7については後述する。
【0057】
まず、学習装置1による学習過程を説明する。
図9は、実施の形態に係る学習装置1の機能構成を模式的に示す図である。実施の形態に係る学習装置1は、記憶部10と制御部11とを備える。制御部11は、画像取得部110、画像濃度変換部111、肺野検出部112、フィルタ処理部113、候補領域取得部114、及び学習部115を含む。
【0058】
記憶部10は、学習装置1のBIOS(Basic Input Output System)等を格納するROM(Read Only Memory)や学習装置1の作業領域となるRAM(Random Access Memory)、OS(Operating System)やアプリケーションプログラム等を格納するHDD(Hard Disk Drive)やSSD(Solid State Drive)等の大容量記憶装置である。
【0059】
制御部11は、学習装置1のCPU(Central Processing Unit)やGPU(Graphics Processing Unit)等のプロセッサであり記憶部10に記憶されたプログラムを実行することによって画像取得部110、画像濃度変換部111、肺野検出部112、フィルタ処理部113、候補領域取得部114、及び学習部115として機能する。
【0060】
画像取得部110は、あらかじめ結節状陰影の位置が既知である胸部X線のデジタル画像を取得する。前提技術の[2.1]において説明したように、教師画像格納部4に格納されているデジタル画像は、全腫瘤影画像に対して結節状陰影の位置があらかじめ示されている。
【0061】
画像濃度変換部111は、デジタル画像に設定された所定の部分領域に含まれる画素値のヒストグラムに基づいて、デジタル画像全体の濃度を正規化した濃度正規化画像を取得する。具体的には、前提技術の[2.2]において説明したように、画像濃度変換部111はデジタル画像の中心から画像全体の1/4となる大きさの領域に対する画素値のヒストグラムに基づいて、画像全体の画素値の濃度を正規化する。
【0062】
一般に、胸部X線画像の中心部には被検者の肺野が撮像されている。そして、この被検者の肺野領域に、学習装置1が学習対象とする結節状陰影が多く存在する。このように、胸部X線画像において結節状陰影が多く存在する領域を対象として画像濃度変換部111が画素値の濃度を正規化することにより、学習精度を向上させることができる。
【0063】
肺野検出部112は、濃度正規化画像から肺野領域を検出する。肺野検出部112は、例えばブースティング、SVM(Support Vector Machine)、又はDCNN等の既知の機械学習手法を用いて生成された自動認識技術を用いて実現できる。
【0064】
フィルタ処理部113は、濃度正規化画像に対してフィルタ処理を実行してフィルタ画像を取得する。より具体的には、フィルタ処理部113は、濃度正規化画像から検出された肺野領域に対して、前提技術の[2.3]で説明したいずれかのフィルタを用いてフィルタ処理を実行する。これによりフィルタ処理部113によるフィルタ処理の対象が絞られるため、フィルタ処理を高速化することができる。
【0065】
候補領域取得部114は、フィルタ処理部113が生成したフィルタ画像を2値化して、結節状陰影の候補領域を取得する。より具体的には、前提技術の[2.4]で説明したように、候補領域取得部114はデジタル画像の濃度正規化に使用したヒストグラムにおいて画素値の高い順に21.16%までの範囲に含まれる画素値を残し、他の領域を削除することでフィルタ画像を2値化する。候補領域取得部114は、2値化によって残った領域を候補領域とする。
【0066】
学習部115は、候補領域取得部114が取得した候補領域のうち、既知である結節状陰影に対応する領域をひとつのクラス、既知である結節状陰影と対応しない領域を他のクラスとして、DCNNによる学習により識別器を生成する。学習部115は生成した識別器を識別器格納部3に格納する。学習部115は、候補領域取得部114が生成した候補領域に対応する濃度正規化画像の領域を、前提技術の[2.5.1]で説明したように256ピクセル×256ピクセルの大きさで切り出したデータを学習データとして学習を実行する。
【0067】
学習部115は、前提技術の[2.5.2]〜[2.5.4]で説明した学習手法により学習を実行する。前提技術の[2.5.3]及び[2.5.4]で説明したように、実施の形態に係る学習部115は一般物体画像を学習した学習済みモデルとそのDCNNを利用して学習を実行する。事前学習済みデータ格納部7は、これらの一般物体画像を学習した学習済みモデルとそのDCNNを保持している。
【0068】
なお、記憶部10は、画像取得部110が教師画像格納部4から読み出した胸部X線のデジタル画像と、学習部115が事前学習済みデータ格納部7から読み出した学習済みモデルとそのDCNNとを格納してもよい。これにより、学習装置1は、ひとたび胸部X線のデジタル画像や学習済みモデル等を外部の格納部から読み出した後は、再度読み出しを実行することなく学習を実行することができる。
【0069】
以上により、実施の形態に係る学習装置1は、あらかじめ結節状陰影の位置が既知である胸部X線のデジタル画像を学習することにより、デジタル画像から結節状陰影の候補を検出するための識別器を生成することができる。
【0070】
続いて、識別装置2による識別過程を説明する。
図10は、実施の形態に係る識別装置2の機能構成を模式的に示す図である。実施の形態に係る識別装置2は、記憶部20と制御部21とを備える。制御部21は、画像取得部210、画像濃度変換部211、肺野検出部212、フィルタ処理部213、候補領域取得部214、及び識別部215を含む。
【0071】
記憶部20は、識別装置2のBIOS等を格納するROMや識別装置2の作業領域となるRAM、OSやアプリケーションプログラム等を格納するHDDやSSD等の大容量記憶装置である。
【0072】
制御部21は、識別装置2のCPUやGPU等のプロセッサであり記憶部20に記憶されたプログラムを実行することによって画像取得部210、画像濃度変換部211、肺野検出部212、フィルタ処理部213、候補領域取得部214、及び識別部215として機能する。
【0073】
画像取得部210は、胸部X線のデジタル画像を取得する。前提技術の[1.1]で説明したように、実施の形態に係る検出支援システムSは、定期健康診断等で実施されている胸部X線検査で得られた胸部X線画像に撮像されている結節状陰影の候補を検出するためのシステムである。未知画像格納部5はこのような胸部X線検査のデジタル画像を保持しており、画像取得部210から胸部X線のデジタル画像を取得する。画像取得部210が取得するデジタル画像は、当然ながら結節状陰影の有無やその存在位置は未知である。
【0074】
画像濃度変換部211は、画像取得部210が取得したデジタル画像に設定された所定の部分領域に含まれる画素値のヒストグラムに基づいて、デジタル画像全体の濃度を正規化した濃度正規化画像を取得する。具体的には、前提技術の[2.2]において説明したように、画像濃度変換部211はデジタル画像の中心から画像全体の1/4となる大きさの領域に対する画素値のヒストグラムに基づいて、画像全体の画素値のヒストグラムを正規化する。
【0075】
肺野検出部212は、肺野検出部112と同様に、既知の機械学習手法を用いて生成された肺野検出エンジンを用いることにより、画像濃度変換部211が生成した濃度正規化画像から肺野領域を検出する。
【0076】
フィルタ処理部213は、濃度正規化画像から検出された肺野領域に対してフィルタ処理を実行し、フィルタ画像を取得する。より具体的には、フィルタ処理部213は、学習装置1におけるフィルタ処理部113が用いたフィルタと同じフィルタを用いてフィルタ処理を実行する。
【0077】
候補領域取得部214は、フィルタ処理部213が生成したフィルタ画像を2値化して、結節状陰影の候補領域を取得する。候補領域取得部214は、学習装置1における候補領域取得部114が採用した閾値と同じ値の閾値により、フィルタ画像を2値化する。候補領域取得部214は、2値化によって残った領域を候補領域とする。
【0078】
識別部215は、学習装置1における学習部115がDCNNによる学習によって生成した識別器を識別器格納部3から読み出す。識別部215は、候補領域取得部214が取得した候補領域に対応する濃度正規化画像の領域に読み出した識別を適用して、結節状陰影の候補の有無を識別する。
【0079】
識別部215は、識別器を適用した濃度正規化画像中に結節状陰影の候補を検出した場合、濃度正規化画像において結節状陰影の候補を含む領域を他の領域とは異なる態様として出力部6に出力する。例えば識別部215は、濃度正規化画像において結節状陰影の候補を含む領域を矩形で囲ったり、結節状陰影の候補の輝度を相対的に高くしたりすることにより、結節状陰影の候補を強調する。これにより、医師等の医療従事者は、識別部215が検出した結節状陰影の候補を見つけやすくなり、その候補が真の結節状陰影か否かを判別することに集中することができる。
【0080】
なお、画像取得部210は、識別部215が識別器格納部3から読み出した識別器を格納してもよい。これにより、識別装置2は、ひとたび識別器を識別器格納部3から読み出した後は、再度読み出しを実行することなく識別を実行することができる。
【0081】
図11は、実施の形態に係る識別装置2が実行する識別処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば識別装置2が起動したときに開始する。
【0082】
画像取得部210は、未知画像格納部5から胸部X線検査で得られた胸部X線画像を読み出して取得する(S2)。画像濃度変換部211は、取得したデジタル画像に設定された所定の部分領域に含まれる画素値のヒストグラムに基づいて、デジタル画像全体のコントラストを正規化した濃度正規化画像を取得する(S4)。
【0083】
肺野検出部212は、濃度正規化画像から肺野領域を検出する(S6)。フィルタ処理部213は、検出した肺野領域に対してフィルタ処理を実行する(S8)。候補領域取得部214は、フィルタ処理部213が生成したフィルタ画像を閾値処理によって2値化し、結節状陰影の候補領域を取得する(S10)。
【0084】
識別部215は、DCNNによる学習により得られた識別器を、候補領域に対応する濃度正規化画像の領域に適用して、結節状陰影の候補の有無を識別する(S12)。識別部215が結節状陰影の候補の有無を識別すると、本フローチャートにおける処理は終了する。識別装置2は、未知画像格納部5から読み出したすべての胸部X線画像に対して上記の処理を繰り返すことにより、医師等の医療従事者による結節状陰影の判別を補助する。
【0085】
以上説明したように、実施の形態に係る検出支援システムSによれば、胸部X線画像用コンピュータ支援診断の識別性能を向上させることができる。特に、実施の形態に係る学習装置1は、所定の部分領域に含まれる画素値のヒストグラムに基づいてデジタル画像全体の濃度を正規化した濃度正規化画像を用いて学習を実行するため、画像間の濃度のばらつきの影響を低減して学習を実行することができる。未知画像の識別時にも同様の正規化を実行するため、結果として学習装置1は画像間の濃度のばらつきに対してロバスト性を向上することができる。
【0086】
また、実施の形態に係る学習装置1は胸部X線のデジタル画像から肺野を検出し、検出した領域のヒストグラムを用いてデジタル画像全体の濃度を正規化する。検出対象とする結節状陰影は主に肺野領域に存在するため、学習装置1は検出対象の検出に適した濃度正規化を実行することになる。結果として学習装置1は結節状陰影の検出精度を高めることができる。
【0087】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0088】
上記の説明では、識別装置2は未知画像格納部5から識別対象とする胸部X線画像を取得する場合、すなわち識別装置2が胸部X線撮像装置とは別の装置の場合について説明した。しかしながら、識別装置2は胸部X線撮像装置に含まれていてもよい。この場合、胸部X線撮像装置が胸部X線画像を撮像してそのまま結節状陰影の検出を実行することができる。