(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-25
(45)【発行日】2022-09-02
(54)【発明の名称】疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム
(51)【国際特許分類】
A61B 6/03 20060101AFI20220826BHJP
G06T 7/00 20170101ALI20220826BHJP
G06N 3/04 20060101ALI20220826BHJP
G06N 3/08 20060101ALI20220826BHJP
G06N 20/00 20190101ALI20220826BHJP
A61B 5/055 20060101ALN20220826BHJP
G01T 1/161 20060101ALN20220826BHJP
【FI】
A61B6/03 360J
A61B6/03 360T
G06T7/00 660Z
G06T7/00 350C
G06N3/04 154
G06N3/08
G06N20/00
A61B5/055 380
G01T1/161 D
(21)【出願番号】P 2018186789
(22)【出願日】2018-10-01
【審査請求日】2021-01-20
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】特許業務法人太陽国際特許事務所
(72)【発明者】
【氏名】赤堀 貞登
【審査官】亀澤 智博
(56)【参考文献】
【文献】特開2018-011958(JP,A)
【文献】米国特許出願公開第2016/0174902(US,A1)
【文献】韓国登録特許第10-1740464(KR,B1)
【文献】国際公開第2017/127439(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00 - 6/14
A61B 5/055
G06T 1/00 , 7/00
G16H 30/00 -30/40
(57)【特許請求の範囲】
【請求項1】
入力部及び出力部を有する共通学習部と、各々入力部及び出力部を有し、各々の入力部が前記共通学習部の出力部に接続された複数の学習部と、を備えた判別器を学習させる学習方法であって、
医用画像及び該医用画像において第1の疾患が現れた第1の疾患領域の正解マスクのデータセットを複数用いて、前記医用画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第1の学習部の出力部から前記第1の疾患領域を示す情報が出力されるように
、前記共通学習部及び前記第1の学習部を学習させ、
かつ、医用画像及び該医用画像において前記第1の疾患と医学的及び解剖学的の少なくとも一方に因果のある第2の疾患が現れた第2の疾患領域の正解マスクのデータセットを複数用いて、前記医用画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第2の学習部の出力部から前記第2の疾患領域を示す情報が出力されるように
、前記共通学習部及び前記第2の学習部を学習させる学習方法。
【請求項2】
医用画像及び該医用画像における前記第1の疾患の解剖学的な部位の正解情報のデータセットを複数用いて、前記医用画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第3の学習部の出力部から前記第1の疾患の解剖学的な部位を示す情報が出力されるように学習させる請求項1に記載の学習方法。
【請求項3】
医用画像及び該医用画像における前記第2の疾患の有無を示す情報を複数用いて、前記医用画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第4の学習部の出力部から前記第2の疾患の有無を示す情報が出力されるように学習させる請求項1又は2に記載の学習方法。
【請求項4】
前記共通学習部及び前記複数の学習部の各々は、前記入力部としての入力層、複数の中間層、及び前記出力部としての出力層を備えたニューラルネットワークである請求項1から3の何れか1項に記載の学習方法。
【請求項5】
前記第1の疾患は血栓であり、前記第2の疾患は梗塞である請求項1から4の何れか1項に記載の学習方法。
【請求項6】
前記医用画像が脳画像である請求項1から5の何れか1項に記載の学習方法。
【請求項7】
入力部及び出力部を有する共通学習部と、各々入力部及び出力部を有し、各々の入力部が前記共通学習部の出力部に接続された複数の学習部と、を備えた判別器を学習させる学習装置であって、
医用画像及び該医用画像において第1の疾患が現れた第1の疾患領域の正解マスクのデータセットを複数用いて、前記医用画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第1の学習部の出力部から前記第1の疾患領域を示す情報が出力されるように
、前記共通学習部及び前記第1の学習部を学習させ、
かつ、医用画像及び該医用画像において前記第1の疾患と医学的及び解剖学的の少なくとも一方に因果のある第2の疾患が現れた第2の疾患領域の正解マスクのデータセットを複数用いて、前記医用画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第2の学習部の出力部から前記第2の疾患領域を示す情報が出力されるように
、前記共通学習部及び前記第2の学習部を学習させる学習装置。
【請求項8】
入力部及び出力部を有する共通学習部と、各々入力部及び出力部を有し、各々の入力部が前記共通学習部の出力部に接続された複数の学習部と、を備えた判別器を学習させる学習プログラムであって、
医用画像及び該医用画像において第1の疾患が現れた第1の疾患領域の正解マスクのデータセットを複数用いて、前記医用画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第1の学習部の出力部から前記第1の疾患領域を示す情報が出力されるように
、前記共通学習部及び前記第1の学習部を学習させる手順と、
医用画像及び該医用画像において前記第1の疾患と医学的及び解剖学的の少なくとも一方に因果のある第2の疾患が現れた第2の疾患領域の正解マスクのデータセットを複数用いて、前記医用画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第2の学習部の出力部から前記第2の疾患領域を示す情報が出力されるように
、前記共通学習部及び前記第2の学習部を学習させる手順とをコンピュータに実行させる学習プログラム。
【請求項9】
請求項1から6の何れか1項に記載の学習方法、請求項7に記載の学習装置、及び請求項8に記載の学習プログラムの何れかにより学習がなされた判別器。
【請求項10】
判別対象の医用画像を取得する画像取得部と、
前記判別対象の医用画像における第1の疾患領域を判別する、請求項9に記載の判別器とを備えた疾患領域判別装置。
【請求項11】
判別対象の医用画像を取得する画像取得部と、
前記判別対象の医用画像における第2の疾患領域を判別する、請求項9に記載の判別器とを備えた疾患領域判別装置。
【請求項12】
前記判別器による判別結果を表示部に表示させる表示制御部をさらに備えた請求項10又は請求項11に記載の疾患領域判別装置。
【請求項13】
判別対象の医用画像を取得する手順と、
請求項9に記載の判別器により、前記判別対象の医用画像における第1の疾患領域を判別する手順とをコンピュータに実行させる疾患領域判別プログラム。
【請求項14】
判別対象の医用画像を取得する手順と、
請求項9に記載の判別器により、前記判別対象の医用画像における第2の疾患領域を判別する手順とをコンピュータに実行させる疾患領域判別プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラムに関する。
【背景技術】
【0002】
近年、CT(Computed Tomography)装置及びMRI(Magnetic Resonance Imaging)装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。特に、対象部位を脳とした場合において、CT画像及びMRI画像等を用いた画像診断により、脳梗塞、脳血栓、及び脳出血等の血管障害を起こしている疾患領域を特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。
【0003】
そこで、医用画像から疾患領域を自動的に判別するための各種手法が提案されている。例えば、特許文献1においては、入力層と中間層と出力層とを有する第1及び第2のニューラルネットワークを備え、第1のニューラルネットワークのうちの入力層から中間層までの出力を、第2のニューラルネットワークの入力層に入力するように結合した判別装置が提案されている。特許文献1に記載の判別装置においては、第1のニューラルネットワークに入力される画像データに基づいて、画像データの領域属性についての判別結果が出力される。このような判別装置を用いることにより、上述したような医用画像に含まれる特定の医学的特徴を判別することが可能となる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
一方、CT画像上で抽出される血栓領域は、急性期の梗塞を特定する際の手がかりとなる。また、血栓領域の特定は、血管内を治療する際にも必要となる。しかしながら、特に非造影CTの画像上においては、造影されていないことから画像上で血管が見え難いため、血栓領域は必ずしも鮮明ではなく、場所の特定が困難である。そのため、計算機による血栓領域の自動抽出が望まれている。そこで、血栓領域を自動抽出する方法として、近年注目されている深層学習を応用することができる。しかしながら、深層学習を用いるには、CT画像とCT画像における血栓の正解領域とのデータセットを複数含む学習情報が必要になる。しかしながら、上述したようにCT画像上において血栓領域は必ずしも鮮明ではないため、CT画像における血栓の正解領域を示すデータを多く用意することは困難である。
【0006】
本開示は上記事情に鑑みなされたものであり、疾患の正解領域を示すデータを多く用意することが困難な画像であっても、限られたデータを用いて疾患領域を精度よく判別することを目的とする。
【課題を解決するための手段】
【0007】
本開示の学習方法は、入力部及び出力部を有する共通学習部と、各々入力部及び出力部を有し、各々の入力部が共通学習部の出力部に接続された複数の学習部と、を備えた判別器を学習させる学習方法であって、
医用画像及びこの医用画像において第1の疾患が現れた第1の疾患領域の正解マスクのデータセットを複数用いて、医用画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第1の学習部の出力部から第1の疾患領域を示す情報が出力されるように学習させ、
かつ、医用画像及びこの医用画像において第1の疾患と医学的及び解剖学的の少なくとも一方に因果のある第2の疾患が現れた第2の疾患領域の正解マスクのデータセットを複数用いて、医用画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第2の学習部の出力部から第2の疾患領域を示す情報が出力されるように学習させる。
【0008】
なお、本開示の学習方法においては、医用画像及びこの医用画像における第1の疾患の解剖学的な部位の正解情報のデータセットを複数用いて、医用画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第3の学習部の出力部から第1の疾患の解剖学的な部位を示す情報が出力されるように学習させてもよい。
【0009】
また、本開示の学習方法においては、医用画像及びこの医用画像における第2の疾患の有無を示す情報を複数用いて、医用画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第4の学習部の出力部から第2の疾患の有無を示す情報が出力されるように学習させてもよい。
【0010】
また、本開示の学習方法においては、共通学習部及び複数の学習部の各々は、入力部としての入力層、複数の中間層、及び出力部としての出力層を備えたニューラルネットワークであってもよい。
【0011】
また、本開示の学習方法においては、第1の疾患は血栓であり、第2の疾患は梗塞であってもよい。
【0012】
また、本開示の学習方法においては、医用画像が脳画像であってもよい。
【0013】
なお、本開示による学習方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【0014】
本開示の学習装置は、入力部及び出力部を有する共通学習部と、各々入力部及び出力部を有し、各々の入力部が共通学習部の出力部に接続された複数の学習部と、を備えた判別器を学習させる学習装置であって、
医用画像及びこの医用画像において第1の疾患が現れた第1の疾患領域の正解マスクのデータセットを複数用いて、医用画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第1の学習部の出力部から第1の疾患領域を示す情報が出力されるように学習させ、
かつ、医用画像及びこの医用画像において第1の疾患と医学的及び解剖学的の少なくとも一方に因果のある第2の疾患が現れた第2の疾患領域の正解マスクのデータセットを複数用いて、医用画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第2の学習部の出力部から第2の疾患領域を示す情報が出力されるように学習させる。
【0015】
本開示による他の学習装置は、入力部及び出力部を有する共通学習部と、各々入力部及び出力部を有し、各々の入力部が共通学習部の出力部に接続された複数の学習部と、を備えた判別器を学習させる学習装置であって、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
医用画像及びこの医用画像において第1の疾患が現れた第1の疾患領域の正解マスクのデータセットを複数用いて、医用画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第1の学習部の出力部から第1の疾患領域を示す情報が出力されるように学習させ、
かつ、医用画像及びこの医用画像において第1の疾患と医学的及び解剖学的の少なくとも一方に因果のある第2の疾患が現れた第2の疾患領域の正解マスクのデータセットを複数用いて、医用画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第2の学習部の出力部から第2の疾患領域を示す情報が出力されるように学習させる処理を実行する。
【0016】
本開示の判別器は、本開示の上記学習方法、上記学習装置、及び上記学習プログラムの何れかにより学習がなされた判別器である。
【0017】
本開示の疾患領域判別装置は、判別対象の医用画像を取得する画像取得部と、
判別対象の医用画像における第1の疾患領域を判別する、本開示の判別器とを備える。
【0018】
本開示の他の疾患領域判別装置は、判別対象の医用画像を取得する画像取得部と、
判別対象の医用画像における第2の疾患領域を判別する、本開示の判別器とを備える。
【0019】
なお、本開示の疾患領域判別装置においては、判別器による判別結果を表示部に表示させる表示制御部をさらに備えてもよい。
【0020】
本開示の疾患領域判別プログラムは、判別対象の医用画像を取得する手順と、
本開示の判別器により、判別対象の医用画像における第1の疾患領域を判別する手順とをコンピュータに実行させる。
【0021】
本開示の他の疾患領域判別プログラムは、判別対象の医用画像を取得する手順と、
本開示の判別器により、判別対象の医用画像における第2の疾患領域を判別する手順とをコンピュータに実行させる。
【0022】
また、本開示の他の疾患領域判別装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
判別対象の医用画像を取得し、
本開示の判別器により、判別対象の医用画像における第1の疾患領域を判別する処理を実行する。
【0023】
また、本開示の他の疾患領域判別装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
判別対象の医用画像を取得し、
本開示の判別器により、判別対象の医用画像における第2の疾患領域を判別する処理を実行する。
【発明の効果】
【0024】
本開示の疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラムによれば、疾患の正解領域を示すデータを多く用意することが困難な画像であっても、限られたデータを用いて疾患領域を精度よく判別することができる。
【図面の簡単な説明】
【0025】
【
図1】本開示の一実施形態である疾患領域判別装置を適用した、診断支援システムの概要を示すハードウェア構成図
【
図2】本開示の第1の実施形態である疾患領域判別装置の構成を示す概略ブロック図
【
図3】CT画像と血栓領域とのデータセットを説明するための図
【
図4】CT画像と梗塞領域とのデータセットを説明するための図
【
図5】第1の実施形態における判別器の構成を示す概略図
【
図8】第1の実施形態において学習時に行われる処理を示すフローチャート
【
図9】血栓領域の判別時に行われる処理を示すフローチャート
【
図10】梗塞領域の判別時に行われる処理を示すフローチャート
【
図14】第2の実施形態における判別器の構成を示す概略図
【
図17】部位の判別時に行われる処理を示すフローチャート
【
図18】梗塞領域の有無の判別時に行われる処理を示すフローチャート
【発明を実施するための形態】
【0026】
以下、図面を参照して本開示の第1の実施形態について説明する。
図1は、本開示の実施形態による判別器の学習装置、判別器及び疾患領域判別装置を適用した、診断支援システムの概要を示すハードウェア構成図である。
図1に示すように、診断支援システムでは、本実施形態による疾患領域判別装置1、3次元画像撮影装置2、及び画像保管サーバ3が、ネットワーク4を経由して通信可能な状態で接続されている。なお、疾患領域判別装置1には、本実施形態による学習装置及び判別器が内包される。
【0027】
3次元画像撮影装置2は、被検体の診断対象となる部位を撮影することにより、その部位を表す3次元画像を生成する装置であり、具体的には、CT装置、MRI装置、及びPET装置等である。この3次元画像撮影装置2により生成された医用画像は画像保管サーバ3に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は脳であり、3次元画像撮影装置2はCT装置である。そして、CT装置2において、被検体の脳を含む3次元のCT画像B0を生成する。なお、本実施形態においては、CT画像B0は、造影剤を使用しないで撮影を行うことにより取得される非造影CT画像とするが、造影剤を使用して撮影を行うことにより取得した造影CT画像を用いてもよい。
【0028】
画像保管サーバ3は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置及びデータベース管理用ソフトウェアを備えている。画像保管サーバ3は、有線あるいは無線のネットワーク4を介して他の装置と通信を行い、画像データ等を送受信する。具体的には3次元画像撮影装置2で生成されたCT画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式及びネットワーク4経由での各装置間の通信は、DICOM(Digital Imaging and Communication in Medicine)等のプロトコルに基づいている。
【0029】
疾患領域判別装置1は、1台のコンピュータに、本開示の学習プログラム及び疾患領域判別プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーション又はパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。学習プログラム及び疾患領域判別プログラムは、DVD(Digital Versatile Disc)あるいはCD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。又は、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
【0030】
図2は、コンピュータに学習プログラム及び疾患領域判別プログラムをインストールすることにより実現される本開示の一実施形態である疾患領域判別装置の概略構成を示す図である。
図2に示すように、疾患領域判別装置1は、標準的なワークステーションの構成として、CPU(Central Processing Unit)11、メモリ12及びストレージ13を備えている。また、疾患領域判別装置1には、液晶ディスプレイ等からなる表示部14、並びにキーボード及びマウス等からなる入力部15が接続されている。入力部15は、ユーザによる種々の設定入力を受け付ける。なお、タッチパネルを用いることによって表示部14と入力部15とを兼用するようにしてもよい。
【0031】
ストレージ13は、ハードディスクドライブ及びSSD(Solid State Drive)等からなる。ストレージ13には、ネットワーク4を経由して画像保管サーバ3から取得した、被検体の医用画像、並びに処理に必要な情報を含む各種情報が記憶されている。
【0032】
また、メモリ12には、学習プログラム及び疾患領域判別プログラムが記憶されている。学習プログラムは、後述する第1CNN(Convolutional Neural Network)31(共通学習部)と、後述する第2CNN32(第1の学習部)及び第3CNN33(第2の学習部)とを備えた判別器23を学習させる学習プログラムであって、CPU11に実行させる処理として、CT画像及びこのCT画像において血栓が現れた血栓領域の正解マスクのデータセットを複数用いて、CT画像を第1CNN31の入力部へ入力した場合に、第2CNN32の出力部から血栓領域を示す情報が出力されるように学習させる処理、及びCT画像及びこのCT画像において梗塞が現れた梗塞領域の正解マスクのデータセットを複数用いて、CT像を第1CNN31の入力部へ入力した場合に第3CNN33の出力部から梗塞領域を示す情報が出力されるように学習させる処理を規定する。
【0033】
また、疾患領域判別プログラムは、CPU11に実行させる処理として、判別対象のCT画像を取得する画像取得処理、判別対象のCT画像における血栓領域又は梗塞領域を判別する判別処理、及び判別器23による判別結果を表示部14に表示する表示制御処理を規定する。
【0034】
そして、CPU11がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部21、学習部22、判別器23及び表示制御部24として機能する。ここで、学習部22が、本実施形態の判別器23の学習装置を構成する。また、画像取得部21、判別器23及び表示制御部24が、本実施形態の疾患領域判別装置を構成する。
【0035】
画像取得部21は、後述する判別器23の学習のために、脳血栓を発症している被検体の脳のCT画像Bt1及び脳梗塞を発症している被検体の脳のCT画像Bi1を画像保管サーバ3から取得する。また、血栓領域及び梗塞領域の疾患領域の抽出のために、疾患領域の抽出対象となるCT画像B0を画像保管サーバ3から取得する。なお、CT画像Bt1、CT画像Bi1、及びCT画像B0が既にストレージ13に記憶されている場合には、画像取得部21は、ストレージ13からCT画像Bt1、CT画像Bi1、及びCT画像B0を取得するようにしてもよい。また、画像取得部21は、後述する判別器23の学習のために、多数の被検体についての脳のCT画像Bt1及びCT画像Bi1を取得する。
【0036】
学習部22は、判別器23を学習させる。
図3はCT画像Bt1と血栓領域A1とのデータセットを説明するための図、
図4はCT画像Bi1と梗塞領域A2とのデータセットを説明するための図である。学習部22は、
図3に示すように、CT画像Bt1とCT画像Bt1において特定された血栓領域A1とのデータセットを教師データとして、入力されたCT画像B0における血栓領域を判別する判別器23を学習する。また、学習部22は、
図4に示すように、CT画像Bi1とCT画像Bi1において特定された梗塞領域A2とのデータセットを教師データとして、入力されたCT画像B0における梗塞領域を判別する判別器23を学習する。
【0037】
ここで判別器23について説明する。判別器23は、脳画像B0における疾病領域を判別する。疾病領域としては、本実施形態においては血栓領域及び梗塞領域とする。本実施形態においては、判別器23は、複数の処理層が階層的に接続され、深層学習(ディープラーニング)がなされた多層ニューラルネットワークの1つである、畳み込みニューラルネットワーク(以下CNNとする)を複数含むものとする。
【0038】
図5は本実施形態における判別器23の構成を示す概略図である。
図5に示すように、判別器23は、第1CNN31、第2CNN32、及び第3CNN33を有する。第1CNN31、第2CNN32、及び第3CNN33は、各々入力部としての入力層31a,32a,33a及び出力部としての出力層31b,32b,33bを含む複数の処理層を有して構成されている。第1CNN31の出力層31bは、第2CNN32の入力層32a及び第3CNN33の入力層33aと接続されている。なお、第1CNN31は本開示の共通学習部、第2CNN32は本開示の第1の学習部、第3CNN33は本開示の第2の学習部にそれぞれ対応する。
【0039】
第1CNN31、第2CNN32及び第3CNN33が有する処理層は、畳み込み層及びプーリング層の少なくとも一方を含む。畳み込み層は、入力される画像に対して各種カーネルを用いた畳み込み処理を行い、畳み込み処理により得られた特徴量データからなる特徴量マップを出力する。カーネルは、n×n画素サイズ(例えばn=3)を有し、各要素に重みが設定されている。具体的には、脳画像B0又は特徴量マップといった2次元画像のエッジを強調する微分フィルタのような重みが設定されている。畳み込み層は、カーネルの注目画素をずらしながら、脳画像B0又は特徴量マップの全体にカーネルを適用する。さらに、畳み込み層は、畳み込みされた値に対してシグモイド関数等の活性化関数を適用し、特徴量マップを出力する。
【0040】
プーリング層は、畳み込み層が出力した特徴量マップをプーリングすることにより、特徴量マップのデータ量を低減して、データ量が低減された特徴量マップを出力する。
【0041】
なお、本実施形態においては、2次元のカーネルを用いた畳み込み処理を使用したが、本開示の技術はこれに限られず、3次元フィルタを使用した畳み込み処理を使用することができる。例えば、3次元のカーネルを使用する場合、カーネルはn×n×nボクセルサイズ(例えばn=3)を有し、各要素に重みが設定される。
【0042】
本実施形態において、第1CNN31及び第2CNN32は、血栓領域を含む多数の脳のCT画像とこのCT画像において特定された血栓領域とのデータセットを教師データとして使用して、入力されたCT画像に含まれる各画素についての血栓領域の判別結果R1を出力するように学習がなされている。なお、血栓領域が第1の疾患に相当する。これにより、第1CNN31の入力層31aにCT画像B0が入力されると、第1CNN31及び第2CNN32の複数の処理層において、前段の処理層から出力された特徴量マップが次段の処理層に順次入力され、CT画像B0における各画素についての血栓領域の判別結果R1が第2CNN32の出力層32bから出力される。なお、第2CNN32が出力する判別結果R1は、CT画像B0の各画素が血栓領域であるか血栓領域以外の領域であるかを判別した結果となる。
【0043】
また、第1CNN31及び第3CNN33は、梗塞領域を含む多数の脳のCT画像とこのCT画像において特定された梗塞領域とのデータセットを教師データとして使用して、入力されたCT画像に含まれる各画素についての梗塞領域の判別結果R2を出力するように学習がなされている。なお、梗塞領域が第2の疾患に相当する。これにより、第1CNN31の入力層31aにCT画像B0が入力されると、第1CNN31及び第3CNN33の複数の処理層において、前段の処理層から出力された特徴量マップが次段の処理層に順次入力され、CT画像B0における各画素についての梗塞領域の判別結果R2が第3CNN33の出力層33bから出力される。なお、第3CNN33が出力する判別結果R2は、CT画像B0の各画素が梗塞領域であるか梗塞領域以外の領域であるかを判別した結果となる。
【0044】
ここで、本実施形態においては、第1CNN31の出力層31bから出力された特徴量マップが、第2CNN32の入力層32aと第3CNN33の入力層33aの両方に入力される。すなわち、第1CNN31においては、血栓領域を判別する場合と梗塞領域を判別する場合の両方において、共通の特徴量マップが出力される。
【0045】
一般的に、脳血栓が発症すると脳に酸素及び栄養等が送れなくなるために、脳の細胞が障害を受けて脳梗塞を発症する。すなわち、脳血栓と脳梗塞とは医学的に因果関係があり、血栓が発症する領域と梗塞が発症する領域とは解剖学的に因果関係がある。このため、特徴量マップを、脳血栓と脳梗塞の両方の教師データを用いて学習させることによって、脳血栓領域を抽出する際に脳梗塞で見られる画像特徴を利用したり、脳梗塞領域を抽出する際に脳血栓で見られる画像特徴を利用したりすることが可能になり、相互に関係のある画像特徴を利用することにより精度向上が可能になる。本実施形態においては、第2CNN32及び第3CNN33の入力層32a,33aには、第1CNN31の出力層31bから出力された共通の特徴量マップが入力される。そして、第2CNN32の出力層32bからは、CT画像B0における血栓領域の判別結果R1が出力され、第3CNN33の出力層33bからは、CT画像B0における梗塞領域の判別結果R2が出力されることとなる。
【0046】
ここで、非造影CTのCT画像B0によっては、造影されていないことから画像上で血管が見え難いため、血栓領域は必ずしも鮮明ではなく、場所の特定が困難な場合がある。このため、CT画像B0における血栓の正解領域を示すデータを多く用意することは困難である。本実施形態においては、第1CNN31において、血栓の正解領域を示すデータだけではなく、梗塞の正解領域を示すデータを用いて学習がなされている。すなわち、第2CNN32から出力される血栓領域の判別結果R1には、血栓だけではなく、梗塞についての知識が反映されていることとなり、判別結果の精度が向上する。また、同様に、第3CNN33から出力される梗塞領域の判別結果R2には、梗塞だけではなく、血栓についての知識が反映されていることとなり、判別結果の精度が向上する。従って、本実施形態においては、疾患の正解領域を示すデータを多く用意することが困難な画像であっても、限られたデータを用いて疾患領域を精度よく判別することができる。
【0047】
表示制御部24は、血栓領域及び梗塞領域が判別された脳画像を表示部14に表示する。
図6,
図7は表示された脳のCT画像を示す図である。なお、
図6,
図7においては、CT画像B0の1つの断層面のスライス画像を示している。CT画像B0において判別された血栓領域A1は、
図6に示すように、線で囲まれて表示されている。なお、表示制御部24は、血栓領域A1を網掛で表示させる、血栓領域A1に特定の色を付与する、血栓領域A1に矢印を付与する、及び血栓領域A1を他の領域とは異ならせて強調して表示する等、任意の態様を用いて表示部14に表示することができる。CT画像B0において判別された梗塞領域A2は、
図7に示すように、線で囲まれて表示されている。なお、表示制御部24は、梗塞領域A2を網掛で表示させる、梗塞領域A2に特定の色を付与する、梗塞領域A2に矢印を付与する、及び梗塞領域A2を他の領域とは異ならせて強調して表示する等、任意の態様を用いて表示部14に表示することができる。
【0048】
次いで、本実施形態において行われる処理について説明する。
図8は本実施形態において学習時に行われる処理を示すフローチャートである。まず、画像取得部21が、脳血栓又は脳梗塞を発症している被検体の脳のCT画像Bt1,Bi1を取得する(ステップST1)。次に、学習部22が、CT画像Bt1,Bi1においてそれぞれ特定された血栓領域及び梗塞領域を教師データとして、入力されたCT画像B0における血栓領域及び梗塞領域を判別する判別器23を学習させて(ステップST2)、処理を終了する。
【0049】
図9は本実施形態において血栓領域の判別時に行われる処理を示すフローチャートである。まず、画像取得部21が、判別対象となるCT画像B0を取得し(ステップST21)、判別器23が判別対象のCT画像B0における血栓領域を判別する(ステップST22)。そして、表示制御部24が、血栓領域が判別されたCT画像B0を表示部14に表示し(ステップST23)、処理を終了する。
【0050】
図10は本実施形態において梗塞領域の判別時に行われる処理を示すフローチャートである。まず、画像取得部21が、判別対象となるCT画像B0を取得し(ステップST21)、判別器23が判別対象のCT画像B0における梗塞領域を判別する(ステップST22)。そして、表示制御部24が、梗塞領域が判別されたCT画像B0を表示部14に表示し(ステップST23)、処理を終了する。
【0051】
以上のように、第1の実施形態によれば、第2CNN32から出力される血栓領域の判別結果には、血栓だけではなく、梗塞についての知識が反映されていることとなり、同様に、第3CNN33から出力される梗塞領域の判別結果には、梗塞だけではなく、血栓についての知識が反映されていることとなるので、判別結果の精度が向上する。従って、本実施形態においては、疾患の正解領域を示すデータを多く用意することが困難な画像であっても、限られたデータを用いて疾患領域を精度よく判別することができる。
【0052】
次に、図面を参照して本開示の第2の実施形態について説明する。なお、第2の実施形態の疾患領域判別装置は、上記実施形態と概略同様の構成であるため、ここでの詳細な説明は省略し、異なる箇所についてのみ詳細に説明する。
【0053】
第2の実施形態の学習部22-2は、判別器23-2を学習する。
図11は脳血管の解剖学的な部位を示す図である。解剖学的な部位は、一例として
図11に示すように、内頚動脈(ICA:Internal Carotid Artery)、前大脳動脈(ACA:Anterior Cerebral Artery)、中大脳動脈(MCA:Middle CerebralArtery)、及び後大脳動脈(PCA:Posterior Cerebral Artery)等である。なお、脳血管の解剖学的な部位については、公知の解剖学的な部位を使用することができる。
【0054】
図12は脳のCT画像Bt1の一例を示す図である。なお、CT画像Bt1は3次元画像であるが、ここでは説明のため、CT画像Bt1の1つの断層面における2次元の断層画像を用いて説明する。例えば、
図12のCT画像Bt1において、矢印で示す領域は、中大脳動脈主幹部閉塞を示唆しているため、分類はMCAとなる。学習部22-2は、
図12に示すように、CT画像Bt1において特定された血栓の解剖学的な部位の正解情報を教師データとして、入力されたCT画像B0における血栓の解剖学的な部位を判別する判別器23-2を学習する。
【0055】
図13は脳のCT画像Bi1の一例を示す図である。なお、CT画像Bi1は3次元画像であるが、ここでは説明のため、CT画像Bi1の1つの断層面における2次元の断層画像を用いて説明する。CT画像Bi1は、
図13に示すように、頭蓋骨及び脳実質を含んでいる。学習部22-2は、
図13に示すように、梗塞領域A3が存在するCT画像Bi1を梗塞領域が有ることを示す情報の教師データとして、また、梗塞領域A3が存在しないCT画像Bi1を梗塞領域が無いことを示す情報の教師データとして、入力されたCT画像B0における梗塞領域の有無を判別する判別器23-2を学習する。
【0056】
ここで第2の実施形態の判別器23-2について説明する。判別器23-2は、第1の実施形態の判別器23に、さらに、第4CNN34及び第5CNN35を備える。
【0057】
図14は第2の実施形態における判別器23-2の構成を示す概略図である。
図14に示すように、判別器23-2は、第1CNN31、第2CNN32、第3CNN33、第4CNN34、及び第5CNN35を有する。第1CNN31、第2CNN32、第3CNN33、第4CNN34、及び第5CNN35は、各々入力部としての入力層31a,32a,33a,34a,35a及び出力部としての出力層31b,32b,33b,34b,35bを含む複数の処理層を有して構成されている。第1CNN31の出力層31bは、第2CNN32の入力層32a、第3CNN33の入力層33a、第4CNN34の入力層34a、及び第5CNN35の入力層35aと接続されている。なお、第4CNN34は本開示の第3の学習部、第5CNN35は本開示の第4の学習部にそれぞれ対応する。
【0058】
第4CNN34及び第5CNN35が有する処理層は、第1CNN31、第2CNN32及び第3CNN33が有する処理層と同様に、畳み込み層及びプーリング層の少なくとも一方を含む。
【0059】
本実施形態において、第1CNN31及び第4CNN34は、血栓領域を含む多数の脳のCT画像において特定された血栓の解剖学的な部位の正解情報を教師データとして使用して、入力されたCT画像に含まれる血栓領域についての解剖学的な部位の判別結果R3を出力するように学習がなされている。これにより、第1CNN31の入力層31aにCT画像B0が入力されると、第1CNN31及び第4CNN34の複数の処理層において、前段の処理層から出力された特徴量マップが次段の処理層に順次入力され、CT画像B0に含まれる血栓領域についての解剖学的な部位の判別結果R3が第4CNN34の出力層34bから出力される。なお、第4CNN34が出力する判別結果R3は、CT画像B0において解剖学的な部位毎に血栓領域であるか否かを判別した結果となる。
【0060】
また、第1CNN31及び第5CNN35は、CT画像Bi1において分類された梗塞領域の有無を示す情報を教師データとして使用して、入力されたCT画像における梗塞領域の有無の判別結果R4を出力するように学習がなされている。これにより、第1CNN31の入力層31aにCT画像B0が入力されると、第1CNN31及び第5CNN35の複数の処理層において、前段の処理層から出力された特徴量マップが次段の処理層に順次入力され、CT画像B0における梗塞領域の有無の判別結果R4が第5CNN35の出力層35bから出力される。なお、第5CNN35が出力する判別結果R4は、CT画像B0上に梗塞領域が有るか無いかを判別した結果となる。
【0061】
ここで、第2の実施形態においては、第1CNN31の出力層31bから出力された特徴量マップが、第2CNN32の入力層32a、第3CNN33の入力層33a、第4CNN34の入力層34a、及び第5CNN35の入力層35aの全てに入力される。すなわち、第1CNN31においては、血栓領域を判別する場合、梗塞領域を判別する場合、血栓領域の解剖学的な部位を判別する場合、及び梗塞領域が有るか無いかを判別する場合の全てにおいて、共通の特徴量マップが出力される。
【0062】
第2の実施形態においては、第1CNN31において、血栓の正解領域を示すデータ及び梗塞の正解領域を示すデータだけではなく、血栓の解剖学的な部位の正解情報を示すデータ及び梗塞領域の有無を示す情報のデータを用いて学習がなされている。すなわち、第2CNN32から出力される血栓領域の判別結果R1には、血栓だけではなく、脳の血管の解剖学的な部位についての知識、及び梗塞についての知識が反映されていることとなり、判別結果の精度が向上する。また、同様に、第3CNN33から出力される梗塞領域の判別結果R2には、梗塞だけではなく、血栓についての知識、及び脳の血管の解剖学的な部位についての知識が反映されていることとなり、判別結果の精度が向上する。
【0063】
また、同様に、第4CNN34から出力される血栓領域についての解剖学的な部位の判別結果R3には、脳の血管の解剖学的な部位についての知識だけではなく、血栓についての知識及び梗塞についての知識が反映されていることとなり、判別結果の精度が向上する。また、同様に、第5CNN35から出力される梗塞領域の有無の判別結果R4には、梗塞領域の有無だけではなく、梗塞についての知識、血栓についての知識、及び脳の血管の解剖学的な部位についての知識が反映されていることとなり、判別結果の精度が向上する。
【0064】
なお、第2の実施形態において、表示制御部24は、血栓領域の解剖学的な部位が分類された脳画像を表示部14に表示する。
図15は表示された脳のCT画像を示す図である。なお、
図15においては、CT画像B0の1つの断層面のスライス画像を示している。表示制御部24は、
図15に示すように、CT画像B0において分類された血栓領域の解剖学的な部位として「MCA」を表示する。なお、表示制御部24は、血栓領域の解剖学的な部位が分かるように表示できれば、例えば、解剖学的な部位の一覧表を表示させ、該当する部位を強調して表示するようにしてもよいし、任意の態様を用いて表示部14に表示することができる。
【0065】
また、表示制御部24は、梗塞領域の有無が分類された脳画像を表示部14に表示する。
図16は表示された脳のCT画像を示す図である。なお、
図16においては、CT画像B0の1つの断層面のスライス画像を示している。表示制御部24は、
図16に示すように、CT画像B0において分類された梗塞領域の有無として「有」を表示する。なお、表示制御部24は、梗塞領域の有無が分かるように表示できれば、何れの態様で表示してもよい。
【0066】
次いで、第2の実施形態において行われる処理について説明する。なお、第2の実施形態において学習時に行われる処理は、
図8のフローチャートを使用することができる。まず、画像取得部21が、脳血栓又は脳梗塞を発症している被検体の脳のCT画像Bt1,Bi1を取得する(ステップST1)。次に、学習部22が、CT画像Bt1,Bi1においてそれぞれ特定された血栓領域及び梗塞領域、並びにCT画像Bt1,Bi1における血栓の解剖学的な部位を示す情報及び梗塞領域の有無を示す情報を教師データとして、入力されたCT画像B0における血栓領域、梗塞領域、血栓の解剖学的な部位、及び梗塞領域の有無を判別する判別器23-2を学習させて(ステップST2)、処理を終了する。
【0067】
図17は第2の実施形態において部位の判別時に行われる処理を示すフローチャートである。まず、画像取得部21が、判別対象となるCT画像B0を取得し(ステップST41)、判別器23-2が判別対象のCT画像B0における血栓領域の解剖学的な部位を判別する(ステップST42)。そして、表示制御部24が、解剖学的な部位が判別されたCT画像B0を表示部14に表示し(ステップST43)、処理を終了する。
【0068】
図18は第2の実施形態において梗塞領域の有無の判別時に行われる処理を示すフローチャートである。まず、画像取得部21が、判別対象となるCT画像B0を取得し(ステップST51)、判別器23-2が判別対象のCT画像B0における梗塞領域の有無を判別する(ステップST52)。そして、表示制御部24が、梗塞領域の有無が判別されたCT画像B0を表示部14に表示し(ステップST53)、処理を終了する。
【0069】
以上のように、第2の実施形態によれば、第2CNN32から出力される血栓領域の判別結果には、血栓だけではなく、脳の血管の解剖学的な部位についての知識、及び梗塞についての知識が、第3CNN33から出力される梗塞領域の判別結果には、梗塞だけではなく、血栓についての知識、及び脳の血管の解剖学的な部位についての知識が、第4CNN34から出力される血栓領域についての解剖学的な部位の判別結果には、脳の血管の解剖学的な部位についての知識だけではなく、血栓についての知識及び梗塞についての知識が、第5CNN35から出力される梗塞領域の有無の判別結果には、梗塞領域の有無だけではなく、梗塞についての知識、血栓についての知識、及び脳の血管の解剖学的な部位についての知識が、それぞれ反映されていることとなるので、判別結果の精度が向上する。従って、第2の実施形態の判別器23-2は、第1の実施形態よりも、広範な知識を用いて学習されているため、疾患領域を精度よく判別することができる。
【0070】
なお、上記第2の実施形態においては、本開示の複数の学習部として4つのCNN32,33,34,35を備えているが、本開示の技術はこれに限られず、2つ以上のCNNを備えていればいくつ備えていてもよい。
【0071】
また、上述した実施形態においては、第1の疾患を血栓、第2の疾患を梗塞としたが、本開示の技術はこれに限られない。第1の疾患を梗塞、第2の疾患を血栓としてもよい。また、第1の疾患又は第2の疾患は、例えば出血であってもよい。
【0072】
また、上述した実施形態においては、脳画像としてCT画像を用いているが、これに限定されるものではなく、MRI画像及びPET画像等の他の医用画像を用いてもよい。
【0073】
また、上述した実施形態においては、医用画像として脳画像を用いているが、これに限定されるものではない。例えば、人体の胸部、腹部、全身及び四肢等の医用画像に含まれる医学的特徴を判別する場合にも、本開示を適用することができる。
【0074】
また、上述した実施形態においては、各CNNとして畳み込みニューラルネットワークを用いているが、これに限定されるものではない。複数の処理層から構成されるニューラルネットワークであれば、ディープニューラルネットワーク(DNN(Deep Neural Network))及びリカレントニューラルネットワーク(RNN(Recurrent Neural Network))等を用いることができる。また、全てのニューラルネットワークが同一のニューラルネットワークでなくてもよい。例えば、第1CNN31を畳み込みニューラルネットワークとし、その他のCNNをリカレントニューラルネットワークとしてもよい。CNNの種類については適宜変更することができる。
【0075】
また、上述した実施形態においては、本開示の共通学習部である第1CNN31以外のCNNは互いに接続されていないが、本開示の技術は、第1CNN31以外のCNNについても各々が接続していてもよい。
【0076】
また、上述した実施形態においては、CT画像B0,Bt1,Bi1として、非造影CT画像を用いているが、造影CT画像及び非造影CT画像の双方を判別器23,23-2の学習に用いるようにしてもよい。このように学習された判別器23,23-2を用いることにより、抽出対象のCT画像が造影CT画像及び非造影CT画像のいずれであっても、血栓領域及び梗塞領域を判別できることとなる。
【0077】
また、上述した実施形態において、例えば、画像取得部21、学習部22、判別器23、及び表示制御部24といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0078】
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
【0079】
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
【0080】
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
【符号の説明】
【0081】
1 疾患領域判別装置
2 3次元画像撮影装置
3 画像保管サーバ
4 ネットワーク
11 CPU
12 メモリ
13 ストレージ
14 表示部
15 入力部
21 画像取得部
22,22-2 学習部
23,23-2 判別器
24 表示制御部
31 第1CNN(共通学習部)
32 第2CNN(第1の学習部)
33 第3CNN(第2の学習部)
34 第4CNN(第3の学習部)
35 第5CNN(第4の学習部)
A1 血栓領域
A2 梗塞領域
B0 判別対象のCT画像
Bt1 血栓領域を含むCT画像
Bi1 梗塞領域を含むCT画像