特許 7098498 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-01

(45)【発行日】2022-07-11

(54)【発明の名称】疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム

(51)【国際特許分類】

   A61B 6/03 20060101AFI20220704BHJP

   A61B 5/055 20060101ALI20220704BHJP

   G06T 7/00 20170101ALI20220704BHJP

【ＦＩ】

A61B6/03 360D

A61B6/03 360Z

A61B6/03 360Q

A61B5/055 380

A61B5/055 382

G06T7/00 660Z

G06T7/00 350C

【請求項の数】 14

(21)【出願番号】P 2018186790

(22)【出願日】2018-10-01

(65)【公開番号】P2020054581

(43)【公開日】2020-04-09

【審査請求日】2021-01-20

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】赤堀 貞登

【審査官】遠藤 直恵

(56)【参考文献】

【文献】国際公開第２０１７／１０６６４５（ＷＯ，Ａ１）

【文献】特表２０１７－５２０３０５（ＪＰ，Ａ）

【文献】国際公開第２０１８／０４８５０７（ＷＯ，Ａ１）

【文献】得居 誠也，最適化から見たディープラーニングの考え方，オペレーションズ・リサーチ，日本，2015年04月，2015年４月号，191-197

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００－６／１４

Ａ６１Ｂ ５／０５５

(57)【特許請求の範囲】

【請求項1】

入力部及び出力部を有する共通学習部と、各々入力部及び出力部を有し、各々の入力部が前記共通学習部の出力部に接続された複数の学習部と、を備えた判別器を学習させる学習方法であって、
疾患を発症している被検体を撮影することにより得られた第１の画像及び該第１の画像において疾患が現れた疾患領域の正解マスクのデータセットを複数用いて、前記第１の画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第１の学習部の出力部から前記疾患領域を示す情報が出力されるように学習させ、
かつ、前記第１の画像及び前記被検体と同一の被検体を撮影することにより得られた前記第１の画像とは異なる種類の第２の画像とを位置合わせした画像の組のデータセットを複数用いて、前記第１の画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第２の学習部の出力部から前記第２の画像の推定画像が出力されるように学習させ、
対象画像を前記共通学習部の入力部へ入力した際に、前記第１の学習部の出力部から、前記疾患領域を示す情報が出力されるように学習した学習結果と、前記第２の画像の推定画像が出力されるように学習した学習結果とが反映された疾患領域を示す情報を出力させる学習方法。

【請求項2】

前記第１の画像と前記第２の画像は、撮影条件が異なる画像である請求項１に記載の学習方法。

【請求項3】

前記第１の画像と前記第２の画像は、撮影原理が異なる画像である請求項１に記載の学習方法。

【請求項4】

前記第１の画像がＣＴ画像であり、前記第２の画像がＭＲ画像である請求項１に記載の学習方法。

【請求項5】

前記ＭＲ画像が拡散強調画像である請求項４に記載の学習方法。

【請求項6】

被検体が脳梗塞を発症している患者の脳であり、前記疾患領域が梗塞領域である請求項１から５の何れか１項に記載の学習方法。

【請求項7】

前記共通学習部及び前記複数の学習部の各々は、前記入力部としての入力層、複数の中間層、及び前記出力部としての出力層を備えたニューラルネットワークである請求項１から６の何れか１項に記載の学習方法。

【請求項8】

前記第２の画像が、前記第２の画像において疾患が現れた領域と前記疾患が現れた領域以外の領域との信号値の相違が前記第１の画像の前記信号値の相違よりも高い画像である請求項１から７の何れか１項に記載の学習方法。

【請求項9】

入力部及び出力部を有する共通学習部と、各々入力部及び出力部を有し、各々の入力部が前記共通学習部の出力部に接続された複数の学習部と、を備えた判別器を学習させる学習装置であって、
疾患を発症している被検体を撮影することにより得られた第１の画像及び該第１の画像において疾患が現れた疾患領域の正解マスクのデータセットを複数用いて、前記第１の画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第１の学習部の出力部から前記疾患領域を示す情報が出力されるように学習させ、
かつ、前記第１の画像及び前記被検体と同一の被検体を撮影することにより得られた前記第１の画像とは異なる種類の第２の画像とを位置合わせした画像の組のデータセットを複数用いて、前記第１の画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第２の学習部の出力部から前記第２の画像の推定画像が出力されるように学習させ、
対象画像を前記共通学習部の入力部へ入力した際に、前記第１の学習部の出力部から、前記疾患領域を示す情報が出力されるように学習した学習結果と、前記第２の画像の推定画像が出力されるように学習した学習結果とが反映された疾患領域を示す情報を出力させる学習装置。

【請求項10】

入力部及び出力部を有する共通学習部と、各々入力部及び出力部を有し、各々の入力部が前記共通学習部の出力部に接続された複数の学習部と、を備えた判別器を学習させる学習プログラムであって、
疾患を発症している被検体を撮影することにより得られた第１の画像及び該第１の画像において疾患が現れた疾患領域の正解マスクのデータセットを複数用いて、前記第１の画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第１の学習部の出力部から前記疾患領域を示す情報が出力されるように学習させる手順と、
前記第１の画像及び前記被検体と同一の被検体を撮影することにより得られた前記第１の画像とは異なる種類の第２の画像とを位置合わせした画像の組のデータセットを複数用いて、前記第１の画像を前記共通学習部の入力部へ入力した場合に、前記複数の学習部のうちの第２の学習部の出力部から前記第２の画像の推定画像が出力されるように学習させる手順とをコンピュータに実行させ、
対象画像を前記共通学習部の入力部へ入力した際に、前記第１の学習部の出力部から、前記疾患領域を示す情報が出力されるように学習した学習結果と、前記第２の画像の推定画像が出力されるように学習した学習結果とが反映された疾患領域を示す情報を出力させる学習プログラム。

【請求項11】

請求項１から８何れか１項に記載の学習方法、請求項９に記載の学習装置、及び請求項１０に記載の学習プログラムの何れかにより学習がなされた判別器。

【請求項12】

判別対象の第１の画像を取得する画像取得部と、
前記判別対象の第１の画像における疾患領域を判別する、請求項１１に記載の判別器とを備えた疾患領域判別装置。

【請求項13】

前記判別器による判別結果を表示部に表示させる表示制御部をさらに備えた請求項１２に記載の疾患領域判別装置。

【請求項14】

判別対象の第１の画像を取得する手順と、
請求項１１に記載の判別器により、前記判別対象の第１の画像における疾患領域を判別する手順とをコンピュータに実行させる疾患領域判別プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラムに関する。

【背景技術】

【0002】

近年、ＣＴ（Computed Tomography）装置及びＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。特に、対象部位を脳とした場合においては、ＣＴ画像及びＭＲ画像等を用いた画像診断により、脳梗塞及び脳出血等の脳の血管障害を起こしている領域を特定することができる。このため、画像診断を支援するための各種手法が提案されている。

【0003】

例えば、特許文献１においては、ＭＲＩの拡散強調画像（ＤＷＩ：Diffusion Weighted Image）に含まれる脳梗塞部位を検出し、拡散強調画像の異常部位と健常者の拡散強調画像とから、両者の解剖学的位置合わせに必要な位置変換データを取得し、患者の脳の各組織位置が健常者の脳の各組織位置に合致するように、位置変換データを用いて、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置で撮影されたＳＰＥＣＴ画像を変換し、ＳＰＥＣＴ画像上で脳梗塞部位を判別する手法が提案されている。また、特許文献２においては、ＭＲ画像を入力し、入力されたＭＲ画像に機械学習による変換を適用してＣＴ画像を生成し、生成したＣＴ画像を含めた複数のモダリティの画像を用いて診断を行う手法が提案されている。

【0004】

また、特許文献３においては、入力層と中間層と出力層とを有する第１及び第２のニューラルネットワークを備え、第１のニューラルネットワークのうちの入力層から中間層までの出力を、第２のニューラルネットワークの入力層に入力するように結合した判別装置が提案されている。特許文献３に記載の判別装置においては、第１のニューラルネットワークに入力される画像データに基づいて、画像データの領域属性についての判別結果が出力される。このような判別装置を用いることにより、上述したような医用画像に含まれる特定の医学的特徴を判別することが可能となる。

【0005】

ところで、脳梗塞患者に対しては、アルテプラーゼという治療薬を使った血栓溶解療法が行われる。血栓溶解療法においては、脳梗塞の未発症が確認された時刻から４．５時間以内が適用対象であり、時間の経過により梗塞領域が広がるほど、治療後に出血が生じるリスクが高くなることが知られている。このため、血栓溶解療法の適否を判断するためには、医用画像を用いて梗塞領域を迅速かつ適切に判別することが必要である。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１３－１６５７６５号公報

【文献】特表２０１８－５０５７０５号公報

【文献】特開平８－２５１４０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

一方、梗塞領域がすでに広範囲である場合には出血が生じる可能性が高くなることが知られている。しかしながら、ＣＴ画像上で梗塞領域を的確に捉えることは、専門医であっても難易度が高く、計算機による梗塞領域の自動抽出と定量化が望まれている。そこで、梗塞領域を自動抽出する方法として、近年注目されている深層学習を応用することができる。深層学習を用いるには、ＣＴ画像とＣＴ画像における梗塞の正解領域とのデータセットを複数含む学習情報が必要になる。しかしながら、ＣＴ画像上において梗塞領域は必ずしも鮮明ではないため、ＣＴ画像における梗塞の正解領域を示すデータを多く用意することは困難である。

【0008】

本開示は上記事情に鑑みなされたものであり、疾患の正解領域を示すデータを多く用意することが困難な画像であっても、限られたデータを用いて疾患領域を精度よく判別することを目的とする。

【課題を解決するための手段】

【0009】

本開示の学習方法は、入力部及び出力部を有する共通学習部と、各々入力部及び出力部を有し、各々の入力部が共通学習部の出力部に接続された複数の学習部と、を備えた判別器を学習させる学習方法であって、
疾患を発症している被検体を撮影することにより得られた第１の画像及びこの第１の画像において疾患が現れた疾患領域の正解マスクのデータセットを複数用いて、第１の画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第１の学習部の出力部から疾患領域を示す情報が出力されるように学習させ、
かつ、第１の画像及び被検体と同一の被検体を撮影することにより得られた第１の画像とは異なる種類の第２の画像とを位置合わせした画像の組のデータセットを複数用いて、第１の画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第２の学習部の出力部から第２の画像の推定画像が出力されるように学習させる。

【0010】

ここで、本開示においては、例えば同じＣＴ画像であっても、被検体に造影剤が投与されて取得されたＣＴ画像と被検体に造影剤が投与されずに取得されたＣＴ画像とでは「異なる種類の画像」とする。すなわち、少しでも異なる撮影条件で撮影されて取得された画像であれば「異なる種類の画像」とする。また、ＣＴ画像、ＭＲ画像、及びＰＥＴ（Positron Emission Tomography）画像等、異なる撮影原理により取得された画像も「異なる種類の画像」とする。

【0011】

なお、本開示の学習方法においては、第１の画像と第２の画像は、撮影条件が異なる画像であってもよい。

【0012】

ここで、本開示において「撮影条件」は、被検体に造影剤が投与されているか否か、Ｘ線照射条件、スライス幅等、撮影時の各種条件を意味する。

【0013】

また、本開示の学習方法においては、第１の画像と第２の画像は、撮影原理が異なる画像であってもよい。

【0014】

ここで、本開示において「撮影原理」は、ＣＴ撮影、ＭＲ撮影、及びＰＥＴ撮影等の撮影行う際の撮影方法を意味する。

【0015】

また、本開示の学習方法においては、第１の画像がＣＴ画像であり、第２の画像がＭＲ画像であってもよい。

【0016】

また、本開示の学習方法においては、ＭＲ画像が拡散強調画像であってもよい。

【0017】

また、本開示の学習方法においては、被検体が脳梗塞を発症している患者の脳であり、疾患領域が梗塞領域であってもよい。

【0018】

また、本開示の学習方法においては、共通学習部及び複数の学習部の各々は、入力部としての入力層、複数の中間層、及び出力部としての出力層を備えたニューラルネットワークであってもよい。

【0019】

なお、本開示による学習方法をコンピュータに実行させるためのプログラムとして提供してもよい。

【0020】

本開示の学習装置は、入力部及び出力部を有する共通学習部と、各々入力部及び出力部を有し、各々の入力部が共通学習部の出力部に接続された複数の学習部と、を備えた判別器を学習させる学習装置であって、
疾患を発症している被検体を撮影することにより得られた第１の画像及びこの第１の画像において疾患が現れた疾患領域の正解マスクのデータセットを複数用いて、第１の画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第１の学習部の出力部から疾患領域を示す情報が出力されるように学習させ、
かつ、第１の画像及び上記被検体と同一の被検体を撮影することにより得られた第１の画像とは異なる種類の第２の画像とを位置合わせした画像の組のデータセットを複数用いて、第１の画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第２の学習部の出力部から第２の画像の推定画像が出力されるように学習させる。

【0021】

本開示による他の学習装置は、入力部及び出力部を有する共通学習部と、各々入力部及び出力部を有し、各々の入力部が共通学習部の出力部に接続された複数の学習部と、を備えた判別器を学習させる学習装置であって、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
疾患を発症している被検体を撮影することにより得られた第１の画像及びこの第１の画像において疾患が現れた疾患領域の正解マスクのデータセットを複数用いて、第１の画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第１の学習部の出力部から疾患領域を示す情報が出力されるように学習させ、
かつ、第１の画像及び上記被検体と同一の被検体を撮影することにより得られた第１の画像とは異なる種類の第２の画像とを位置合わせした画像の組のデータセットを複数用いて、第１の画像を共通学習部の入力部へ入力した場合に、複数の学習部のうちの第２の学習部の出力部から第２の画像の推定画像が出力されるように学習させる処理を実行する。

【0022】

本開示の判別器は、本開示の上記学習方法、上記学習装置、及び上記学習プログラムの何れかにより学習がなされた判別器である。

【0023】

本開示の疾患領域判別装置は、判別対象の第１の画像を取得する画像取得部と、
判別対象の第１の画像における疾患領域を判別する、本開示の判別器とを備える。

【0024】

なお、本開示の疾患領域判別装置においては、判別器による判別結果を表示部に表示させる表示制御部をさらに備えてもよい。

【0025】

本開示の疾患領域判別プログラムは、判別対象の第１の画像を取得する手順と、
本開示の判別器により、判別対象の第１の画像における疾患領域を判別する手順とをコンピュータに実行させる。

【0026】

本開示の他の疾患領域判別装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
判別対象の第１の画像を取得し、
本開示の判別器により、判別対象の第１の画像における疾患領域を判別する処理を実行する。

【発明の効果】

【0027】

本開示の疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラムによれば、疾患の正解領域を示すデータを多く用意することが困難な画像であっても、限られたデータを用いて疾患領域を精度よく判別することができる。

【図面の簡単な説明】

【0028】

【図1】本開示の一実施形態である疾患領域判別装置を適用した、診断支援システムの概要を示すハードウェア構成図

【図2】本開示の一実施形態である疾患領域判別装置の構成を示す概略ブロック図

【図3】ＣＴ画像と梗塞領域とのデータセットを説明するための図

【図4】ＣＴ画像とＭＲ画像とのデータセットを説明するための図

【図5】判別器の構成を示す概略図

【図6】ＭＲ推定画像の一例を示す図

【図7】判別対象の脳のＣＴ画像を示す図

【図8】表示された脳のＣＴ画像を示す図

【図9】学習時に行われる処理を示すフローチャート

【図10】梗塞領域の判別時に行われる処理を示すフローチャート

【発明を実施するための形態】

【0029】

以下、図面を参照して本開示の第１の実施形態について説明する。図１は、本開示の実施形態による判別器の学習装置、判別器及び疾患領域判別装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による疾患領域判別装置１、３次元画像撮影装置２、及び画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。なお、疾患領域判別装置１には、本実施形態による学習装置及び判別器が内包される。

【0030】

３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、及びＰＥＴ装置等である。この３次元画像撮影装置２により生成された医用画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は脳であり、３次元画像撮影装置２はＣＴ装置２Ａ及びＭＲＩ装置２Ｂである。そして、ＣＴ装置２Ａにおいて、被検体の脳を含む３次元のＣＴ画像Ｂｃ０を生成し、ＭＲＩ装置２Ｂにおいて、被検体の脳を含む３次元のＭＲ画像Ｂｍ０を生成する。なお、本実施形態においては、ＭＲ画像Ｂｍ０は、拡散強調画像とする。また、本実施形態においては、ＣＴ画像Ｂｃ０は、造影剤を使用しないで撮影を行うことにより取得される非造影ＣＴ画像とするが、造影剤を使用して撮影を行うことにより取得した造影ＣＴ画像を用いてもよい。

【0031】

画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置及びデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成されたＣＴ画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式及びネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。

【0032】

疾患領域判別装置１は、１台のコンピュータに、本開示の学習プログラム及び疾患領域判別プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーション又はパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。学習プログラム及び疾患領域判別プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。又は、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。

【0033】

図２は、コンピュータに学習プログラム及び疾患領域判別プログラムをインストールすることにより実現される本開示の一実施形態である疾患領域判別装置の概略構成を示す図である。図２に示すように、疾患領域判別装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２及びストレージ１３を備えている。また、疾患領域判別装置１には、液晶ディスプレイ等からなる表示部１４、並びにキーボード及びマウス等からなる入力部１５が接続されている。入力部１５は、ユーザによる種々の設定入力を受け付ける。なお、タッチパネルを用いることによって表示部１４と入力部１５とを兼用するようにしてもよい。

【0034】

ストレージ１３は、ハードディスクドライブ及びＳＳＤ(Solid State Drive)等からなる。ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した、被検体の医用画像、並びに処理に必要な情報を含む各種情報が記憶されている。

【0035】

また、メモリ１２には、学習プログラム及び疾患領域判別プログラムが記憶されている。学習プログラムは、後述する第１ＣＮＮ(Convolutional Neural Network)３１（共通学習部）と、後述する第２ＣＮＮ３２（第１の学習部）及び第３ＣＮＮ３３（第２の学習部）とを備えた判別器２３を学習させる学習プログラムであって、ＣＰＵ１１に実行させる処理として、梗塞を発症している脳を撮影することにより得られたＣＴ画像及びＣＴ画像において梗塞が現れた梗塞領域の正解マスクのデータセットを複数用いて、ＣＴ画像を第１ＣＮＮ３１の入力部へ入力した場合に、第２ＣＮＮ３２の出力部から梗塞領域を示す情報が出力されるように学習させる処理、及びＣＴ画像及び上記脳と同一の脳を撮影することにより得られたＣＴ画像とは異なる種類のＭＲ画像（拡散強調画像を含む）とを位置合わせした画像の組のデータセットを複数用いて、ＣＴ像を第１ＣＮＮ３１の入力部へ入力した場合に第３ＣＮＮ３３の出力部から拡散強調画像の推定画像が出力されるように学習させる処理を規定する。

【0036】

また、疾患領域判別プログラムは、ＣＰＵ１１に実行させる処理として、判別対象のＣＴ画像を取得する画像取得処理、判別対象のＣＴ画像における梗塞領域を判別する判別処理、及び判別器２３による判別結果を表示部１４に表示する表示制御処理を規定する。

【0037】

そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、学習部２２、判別器２３及び表示制御部２４として機能する。ここで、学習部２２が、本実施形態の判別器２３の学習装置を構成する。また、画像取得部２１、判別器２３及び表示制御部２４が、本実施形態の疾患領域判別装置を構成する。

【0038】

画像取得部２１は、後述する判別器２３の学習のために、脳梗塞を発症している被検体の脳のＣＴ画像Ｂｃ０及びＭＲ画像Ｂｍ０を画像保管サーバ３から取得する。また、梗塞領域の判別のために、梗塞領域の判別対象となるＣＴ画像Ｂｃ１を画像保管サーバ３から取得する。なお、ＣＴ画像Ｂｃ０、ＣＴ画像Ｂｃ１及びＭＲ画像Ｂｍ０が既にストレージ１３に記憶されている場合には、画像取得部２１は、ストレージ１３からＣＴ画像Ｂｃ０、ＣＴ画像Ｂｃ１及びＭＲ画像Ｂｍ０を取得するようにしてもよい。また、画像取得部２１は、後述する判別器２３の学習のために、多数の被検体についてのＣＴ画像Ｂｃ０及びＭＲ画像Ｂｍ０を取得する。

【0039】

学習部２２は、判別器２３を学習させる。図３はＣＴ画像Ｂｃ０と梗塞領域Ａ１とのデータセットを説明するための図、図４はＣＴ画像とＭＲ画像との位置合わせを説明するための図である。なお、図３において、ＣＴ画像Ｂｃ０は３次元画像であるが、ここでは説明のため、ＣＴ画像Ｂｃ０の１つの断層面における２次元の断層画像を用いて説明する。また、図４において、ＣＴ画像Ｂｃ０およびＭＲ画像Ｂｍ０はともに３次元画像であるが、ここでは説明のため、ＣＴ画像Ｂｃ０およびＭＲ画像Ｂｍ０の対応する１つの断層面における２次元の断層画像を用いて説明する。

【0040】

学習部２２は、図３に示すように、ＣＴ画像Ｂｃ０とＣＴ画像Ｂｃ０において特定された梗塞領域Ａ１とのデータセットを教師データとして、入力されたＣＴ画像Ｂｃ１における梗塞領域を判別する判別器２３を学習する。また、学習部２２は、図４に示すように、位置合わせがなされたＣＴ画像Ｂｃ０及びＭＲ画像Ｂｍ０の画像の組のデータセットを教師データとして、入力されたＣＴ画像Ｂｃ１と同一の被検体を撮影することにより得られたＭＲ画像を推定したＭＲ推定画像Ｄｍ１を出力するように判別器２３を学習する。

【0041】

ここで、ＣＴ画像Ｂｃ０とＭＲ画像Ｂｍ０との位置合わせは、学習部２２に備えられた位置合わせ部（図示せず）によって行うことができる。位置合わせ部は、画像取得部２１により取得された多数の被検体についてのＣＴ画像Ｂｃ０及びＭＲ画像Ｂｍ０に対して、ＣＴ画像Ｂｃ０とＭＲ画像Ｂｍ０との位置合わせを行う。図４に示すように、同一被検体においては、脳の形状は略同一となる。一方、ＭＲ画像Ｂｍ０においては、梗塞領域が他の領域と比較して大きい画素値（高い信号値）を有するものとなる。なお、ＣＴ画像Ｂｃ０は、拡散強調画像であるＭＲ画像Ｂｍ０とは異なり、頭蓋骨および脳実質を含んでいる。このため、位置合わせ部２２Ｂは、ＣＴ画像Ｂｃ０から脳実質の領域を脳領域として抽出し、抽出した脳領域とＭＲ画像Ｂｍ０との位置合わせを行う。

【0042】

本実施形態において、位置合わせ部は、剛体位置合わせにより、ＣＴ画像Ｂｃ０およびＭＲ画像Ｂｍ０のいずれか一方を他方に対して位置合わせする。本実施形態においては、ＣＴ画像Ｂｃ０をＭＲ画像Ｂｍ０に対して位置合わせするものとするが、ＭＲ画像Ｂｍ０をＣＴ画像Ｂｃ０に対して位置合わせするようにしてもよい。なお、位置合わせとしては非剛体位置合わせを用いてもよい。非剛体位置合わせとしては、例えばＢスプラインおよびシンプレートスプライン等の関数を用いて、ＣＴ画像Ｂｃ０における特徴点をＭＲ画像Ｂｍ０における特徴点に対応する対応点に非線形に変換することによる手法を用いることができるが、これに限定されるものではない。

【0043】

なお、本実施形態においては、位置合わせ部は学習部２２に備えられているが、本開示はこれに限られず、例えば疾患領域判別装置１が新たに位置合わせ部を備えていてもよいし、疾患領域判別装置１とは別に新たに位置合わせ部を備えていてもよい。

【0044】

次に、判別器２３について説明する。判別器２３は、ＣＴ画像Ｂｃ１における疾病領域を判別する。本実施形態においては、一例として疾病領域を梗塞領域とする。本実施形態においては、判別器２３は、複数の処理層が階層的に接続され、深層学習（ディープラーニング）がなされた多層ニューラルネットワークの１つである、畳み込みニューラルネットワーク（以下ＣＮＮとする）を複数含むものとする。

【0045】

図５は本実施形態における判別器２３の構成を示す概略図である。図５に示すように、判別器２３は、第１ＣＮＮ３１、第２ＣＮＮ３２、及び第３ＣＮＮ３３を有する。第１ＣＮＮ３１、第２ＣＮＮ３２、及び第３ＣＮＮ３３は、各々入力部としての入力層３１ａ，３２ａ，３３ａ及び出力部としての出力層３１ｂ，３２ｂ，３３ｂを含む複数の処理層を有して構成されている。第１ＣＮＮ３１の出力層３１ｂは、第２ＣＮＮ３２の入力層３２ａ及び第３ＣＮＮ３３の入力層３３ａと接続されている。なお、第１ＣＮＮ３１は本開示の共通学習部、第２ＣＮＮ３２は本開示の第１の学習部、第３ＣＮＮ３３は本開示の第２の学習部にそれぞれ対応する。

【0046】

第１ＣＮＮ３１、第２ＣＮＮ３２及び第３ＣＮＮ３３が有する処理層は、畳み込み層及びプーリング層の少なくとも一方を含む。畳み込み層は、入力される画像に対して各種カーネルを用いた畳み込み処理を行い、畳み込み処理により得られた特徴量データからなる特徴量マップを出力する。カーネルは、ｎ×ｎ画素サイズ（例えばｎ＝３）を有し、各要素に重みが設定されている。具体的には、ＣＴ画像Ｂｃ１又は特徴量マップといった２次元画像のエッジを強調する微分フィルタのような重みが設定されている。畳み込み層は、カーネルの注目画素をずらしながら、ＣＴ画像Ｂｃ１又は特徴量マップの全体にカーネルを適用する。さらに、畳み込み層は、畳み込みされた値に対してシグモイド関数等の活性化関数を適用し、特徴量マップを出力する。

【0047】

プーリング層は、畳み込み層が出力した特徴量マップをプーリングすることにより、特徴量マップのデータ量を低減して、データ量が低減された特徴量マップを出力する。

【0048】

なお、本実施形態においては、２次元のカーネルを用いた畳み込み処理を使用したが、本開示の技術はこれに限られず、３次元フィルタを使用した畳み込み処理を使用することができる。例えば、３次元のカーネルを使用する場合、カーネルはｎ×ｎ×ｎボクセルサイズ（例えばｎ＝３）を有し、各要素に重みが設定される。

【0049】

本実施形態において、第１ＣＮＮ３１及び第２ＣＮＮ３２は、梗塞領域を含む多数の脳のＣＴ画像Ｂｃ０とＣＴ画像ＣＴ画像Ｂｃ０において特定された梗塞領域Ａ１とのデータセットを教師データとして使用して、入力されたＣＴ画像Ｂｃ１に含まれる各画素についての梗塞領域の判別結果Ｒ１を出力するように学習がなされている。これにより、第１ＣＮＮ３１の入力層３１ａにＣＴ画像Ｂｃ１が入力されると、第１ＣＮＮ３１及び第２ＣＮＮ３２の複数の処理層において、前段の処理層から出力された特徴量マップが次段の処理層に順次入力され、ＣＴ画像Ｂｃ１における各画素についての梗塞領域の判別結果Ｒ１が第２ＣＮＮ３２の出力層３２ｂから出力される。なお、第２ＣＮＮ３２が出力する判別結果Ｒ１は、ＣＴ画像Ｂｃ１の各画素が梗塞領域であるか梗塞領域以外の領域であるかを判別した結果となる。

【0050】

また、第１ＣＮＮ３１及び第３ＣＮＮ３３は、多数の脳のＣＴ画像Ｂｃ０と、ＣＴ画像Ｂｃ０と同一の被写体を撮影することにより得られたＭＲ画像Ｂｍ０とを位置合わせした画像の組のデータセットを教師データとして使用して、入力されたＣＴ画像Ｂｃ１に含まれる被検体と同一の被検体を撮影することにより得られたＭＲ画像を推定したＭＲ推定画像Ｄｍ１を判別結果Ｒ２として出力するように学習がなされている。

【0051】

一般的に脳のＣＴ画像Ｂｃ１においては、梗塞領域と他の領域との信号値の相違はそれほど大きくないため、ＣＴ画像Ｂｃ１を用いて梗塞領域を抽出することは、困難であることが多い。一方、拡散強調画像であるＭＲ画像は、頭蓋骨が描出されず脳実質等の軟部組織のみを含む画像（図５の右図のＭＲ画像Ｂｍ０参照）であり、梗塞領域は他の領域と比較して大きい画素値（高い信号値）を有する。そこで、学習部２２は、ＣＴ画像Ｂｃ１に基づいて脳のＭＲ画像を推定したＭＲ推定画像Ｄｍ１を出力できるように判別器２３を学習させることにより、ＭＲの画素値と、ＣＴ画像における画像特徴との関係を捉えることを可能にする。図６はＭＲ推定画像Ｄｍ１の一例を示す図である。なお、ＭＲ推定画像Ｄｍ１は３次元画像であるが、ここでは説明のため、ＭＲ推定画像Ｄｍ１の対応する１つの断層面における２次元の断層画像を用いて説明する。図６に示すように、拡散強調画像であるＭＲ画像の推定画像であるＭＲ推定画像Ｄｍ１は、頭蓋骨が描出されず脳実質等の軟部組織のみを含む画像となる。

【0052】

以上により、第１ＣＮＮ３１の入力層３１ａにＣＴ画像Ｂｃ１が入力されると、第１ＣＮＮ３１及び第３ＣＮＮ３３の複数の処理層において、前段の処理層から出力された特徴量マップが次段の処理層に順次入力され、判別結果Ｒ２としてのＭＲ推定画像Ｄｍ１が第３ＣＮＮ３３の出力層３３ｂから出力される。

【0053】

本実施形態においては、第１ＣＮＮ３１の出力層３１ｂから出力された特徴量マップが、第２ＣＮＮ３２の入力層３２ａと第３ＣＮＮ３３の入力層３３ａの両方に入力される。すなわち、第１ＣＮＮ３１においては、梗塞領域を判別する場合とＭＲ推定画像を出力する場合の両方において、共通の特徴量マップが出力される。

【0054】

ＭＲ画像において梗塞領域は大きい画素値を有することから、ＣＴ画像からＭＲ画像を推定する際に重要な画像特徴と、ＣＴ画像から梗塞領域を抽出する際に重要な画像特徴とは共通性が高いと考えることができる。したがって、本実施形態においては、第２ＣＮＮ３２及び第３ＣＮＮ３３の入力層３２ａ，３３ａには、第１ＣＮＮ３１の出力層３１ｂから出力された共通の特徴量マップが入力される。そして、第２ＣＮＮ３２の出力層３２ｂからは、ＣＴ画像Ｂｃ１における梗塞領域の判別結果Ｒ１が出力され、第３ＣＮＮ３３の出力層３３ｂからは、判別結果Ｒ２としてＣＴ画像Ｂｃ１に基づいたＭＲ推定画像Ｄｍ１が出力されることとなる。

【0055】

図７は判別対象の脳のＣＴ画像Ｂｃ１を示す図である。なお、ＣＴ画像Ｂｃ１は３次元画像であるが、ここでは説明のため、ＣＴ画像Ｂｃ１の対応する１つの断層面における２次元の断層画像を用いて説明する。一例として図７に示すように、非造影ＣＴのＣＴ画像Ｂｃ１においては、梗塞領域の描出は淡く、正解領域を示すデータを多く用意することは困難である。本実施形態においては、第１ＣＮＮ３１において、梗塞の正解領域を示すデータだけではなく、ＣＴ画像Ｂｃ１からＭＲ推定画像Ｄｍ１を推定するタスクが学習されている。すなわち、第２ＣＮＮ３２から出力される梗塞領域の判別結果Ｒ１には、梗塞だけではなく、ＭＲ推定画像Ｄｍ１を推定するための知識が反映されていることとなり、判別結果の精度が向上する。

【0056】

表示制御部２４は、梗塞領域が判別された脳画像を表示部１４に表示する。図８は表示された脳のＣＴ画像を示す図である。なお、図８においては、ＣＴ画像Ｂｃ１の１つの断層面のスライス画像を示している。ＣＴ画像Ｂｃ１において判別された梗塞領域Ａ１は、図８に示すように、線で囲まれて表示されている。なお、表示制御部２４は、梗塞領域Ａ１を網掛で表示させる、梗塞領域Ａ１に特定の色を付与する、梗塞領域Ａ１に矢印を付与する、及び梗塞領域Ａ１を他の領域とは異ならせて強調して表示する等、任意の態様を用いて表示部１４に表示することができる。

【0057】

次いで、本実施形態において行われる処理について説明する。図９は本実施形態において学習時に行われる処理を示すフローチャートである。まず、画像取得部２１が、脳梗塞を発症している被検体の脳のＣＴ画像Ｂｃ０及びＭＲ画像Ｂｍ０を取得する（ステップＳＴ１）。次いで、学習部２２は、ＣＴ画像Ｂｃ０において特定された梗塞領域を教師データとして、入力されたＣＴ画像Ｂｃ１における梗塞領域を判別するように判別器２３を学習させ、かつ、位置合わせがなされたＣＴ画像Ｂｃ０及びＭＲ画像Ｂｍ０の画像の組のデータセットを教師データとして、入力されたＣＴ画像Ｂｃ１からＭＲ推定画像Ｄｍ１が出力されるように判別器２３を学習させて（ステップＳＴ２）、処理を終了する。

【0058】

図１０は本実施形態において梗塞領域の判別時に行われる処理を示すフローチャートである。まず、画像取得部２１が、判別対象となるＣＴ画像Ｂｃ１を取得し（ステップＳＴ２１）、判別器２３が判別対象のＣＴ画像Ｂｃ１における梗塞領域を判別する（ステップＳＴ２２）。そして、表示制御部２４が、梗塞領域が判別されたＣＴ画像Ｂｃ１を表示部１４に表示し（ステップＳＴ２３）、処理を終了する。

【0059】

このように、本実施形態においては、判別器２３の第１ＣＮＮ３１及び第２ＣＮＮ３２によりＣＴ画像Ｂｃ１における梗塞領域が判別され、第１ＣＮＮ３１及び第３ＣＮＮ３３により、ＣＴ画像Ｂｃ１からＭＲ推定画像Ｄｍ１を推定する処理が行われる。この際、第１ＣＮＮ３１の出力層３１ｂから出力された特徴量マップが、第２ＣＮＮ３２の入力層３２ａと第３ＣＮＮ３３の入力層３３ａの両方に入力される。すなわち、第１ＣＮＮ３１においては、梗塞領域を判別する場合とＭＲ推定画像Ｄｍ１を推定する場合の両方において、共通の特徴量マップが出力される。

【0060】

このため、第１ＣＮＮ３１において、梗塞の正解領域を示すデータだけではなく、ＭＲ推定画像を推定するタスクを用いて学習がなされている。すなわち、第２ＣＮＮ３２から出力される梗塞領域の判別結果には、梗塞だけではなく、ＭＲ推定画像を推定するための知識が反映されていることとなるので、判別結果の精度が向上する。従って、本実施形態においては、疾患の正解領域を示すデータを多く用意することが困難な画像であっても、限られたデータを用いて疾患領域を精度よく判別することができる。

【0061】

なお、上記実施形態においては、本開示の複数の学習部として２つのＣＮＮ３２，３３を備えているが、本開示の技術はこれに限られず、２つ以上のＣＮＮを備えていればいくつ備えていてもよい。例えば、ＣＴ画像から梗塞領域を抽出するために使用可能な、例えばＰＥＴ画像、超音波画像、Ｔ１画像、及びＴ２画像等から梗塞領域を抽出するために学習部をさらに備えることができる。

【0062】

また、上記実施形態においては、疾患を梗塞としたが、本開示の技術はこれに限られず、例えば疾患は血栓及び出血等であってもよい。

【0063】

また、上記実施形態においては、本開示の第１の画像としてＣＴ画像を用いているが、本開示の技術はこれに限定されるものではなく、本開示の第１の画像は例えばＰＥＴ画像、超音波画像、Ｔ１画像、Ｔ２画像、及び拡散強調画像等の他の医用画像であってもよい。また、本開示の第２の画像として拡散強調画像を用いているが、本開示の技術はこれに限定されるものではなく、本開示の第２の画像は第１の画像と異なる画像であれば、例えばＰＥＴ画像、超音波画像、Ｔ１画像、及びＴ２画像等の他の医用画像であってもよい。なお、第１の画像は撮影が容易であるが、疾患領域の判別が第２の画像よりも困難である画像、第２の画像は撮影は第１の画像を取得する場合よりも困難であるが、疾患領域の判別が第１の画像よりも容易である画像とすると、本開示の技術による効果がより高められる。

【0064】

また、上記実施形態においては、医用画像として脳画像を用いているが、これに限定されるものではない。例えば、人体の胸部、腹部、全身及び四肢等の医用画像に含まれる医学的特徴を判別する場合にも、本開示を適用することができる。

【0065】

また、上記実施形態においては、各ＣＮＮとして畳み込みニューラルネットワークを用いているが、これに限定されるものではない。複数の処理層から構成されるニューラルネットワークであれば、ディープニューラルネットワーク（ＤＮＮ(Deep Neural Network)）及びリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等を用いることができる。また、全てのニューラルネットワークが同一のニューラルネットワークでなくてもよい。例えば、第１ＣＮＮ３１を畳み込みニューラルネットワークとし、その他のＣＮＮをリカレントニューラルネットワークとしてもよい。ＣＮＮの種類については適宜変更することができる。

【0066】

また、上記実施形態においては、本開示の共通学習部である第１ＣＮＮ３１以外のＣＮＮは互いに接続されていないが、本開示の技術は、第１ＣＮＮ３１以外のＣＮＮについても各々が接続していてもよい。

【0067】

また、上記実施形態においては、ＣＴ画像Ｂｃ１，Ｂｃ０として、非造影ＣＴ画像を用いているが、造影ＣＴ画像及び非造影ＣＴ画像の双方を判別器２３の学習に用いるようにしてもよい。このように学習された判別器２３を用いることにより、判別対象のＣＴ画像が造影ＣＴ画像及び非造影ＣＴ画像のいずれであっても、疾患領域を判別できることとなる。

【0068】

また、上述した実施形態において、例えば、画像取得部２１、学習部２２、判別器２３、及び表示制御部２４といった各種の処理を実行する処理部（Processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0069】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0070】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0071】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。

【符号の説明】

【0072】

１ 疾患領域判別装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ 表示部
１５ 入力部
２１ 画像取得部
２２，２２－２ 学習部
２３ 判別器
２４ 表示制御部
３１ 第１ＣＮＮ（共通学習部）
３２ 第２ＣＮＮ（第１の学習部）
３３ 第３ＣＮＮ（第２の学習部）
Ａ１ 梗塞領域
Ｂｃ１ 判別対象のＣＴ画像
Ｂｃ０ 梗塞領域を含むＣＴ画像
Ｂｍ０ 梗塞領域を含むＭＲ画像
Ｄｍ１ 推定ＭＲ画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】