▶ 大日本印刷株式会社の特許一覧 ▶ 国立大学法人大阪大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-24
(45)【発行日】2022-09-01
(54)【発明の名称】医用画像診断支援装置、プログラム及び医用画像診断支援方法
(51)【国際特許分類】
A61B 6/03 20060101AFI20220825BHJP
A61B 5/055 20060101ALI20220825BHJP
G06T 7/00 20170101ALI20220825BHJP
【ＦＩ】
A61B6/03 360Z
A61B5/055 380
G06T7/00 350B
G06T7/00 612
【請求項の数】
10
(21)【出願番号】P 2018134526
(22)【出願日】2018-07-17
(65)【公開番号】P2020010804
(43)【公開日】2020-01-23
【審査請求日】2021-03-01
(73)【特許権者】
【識別番号】000002897
【氏名又は名称】大日本印刷株式会社
(73)【特許権者】
【識別番号】504176911
【氏名又は名称】国立大学法人大阪大学
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】田中 隆寛
(72)【発明者】
【氏名】渡邉 嘉之
【審査官】松岡 智也
(56)【参考文献】
【文献】特開２０１６－２０９３３５（ＪＰ，Ａ）
【文献】特表２０１０－５０４１２９（ＪＰ，Ａ）
【文献】特開２００９－０６１１７０（ＪＰ，Ａ）
【文献】国際公開第２０１９／１９３９８２（ＷＯ，Ａ１）
【文献】特開２００２－２３０５１８（ＪＰ，Ａ）
【文献】Aditya Golatkar et al.，"Classification of Breast Cancer Histology using Deep Learning"，[online]，arXiv:1802.08080v1，2018年02月22日，［検索日：令和４年７月１９日］，インターネット＜URL:https://arxiv.org/pdf/1802.08080.pdf＞
【文献】メディホーム株式会社，”医療法人社団 葵会とメディホーム株式会社による共同Ｒ＆Ｄ ［業界初］歯科エックス線における診断ＡＩ，[online]，2018年06月13日，[2019年1月30日検索], インターネット<URL:http://medihome.jp/ir/dentalai/medihome_ai_20180604c.pdf>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ５／００－５／０１
５／０５５
６／００－６／１４
８／００－８／１５
Ｇ０６Ｑ５０／２２
Ｇ１６Ｈ１０／００－８０／００
医中誌ＷＥＢ
(57)【特許請求の範囲】
【請求項1】
病変の複数種類のいずれかを特定する医用画像診断支援装置であって、撮影対象に対して所定方向に走査しつつ得られた複数の断面画像を取得する画像取得部と、
病変画像及び該病変画像に対する病変の種類を含む教師データに基づいて学習した学習モデルを用いて、前記画像取得部が取得した前記複数の断面画像のそれぞれに対して、前記病変の種類毎に前記病変の種類である可能性を示す確率を算出する判別部と、
前記判別部が前記複数の断面画像のそれぞれに対して算出した前記病変の種類毎の前記確率と、前記複数の断面画像のそれぞれにおける病変領域の大きさとに基づいて、前記撮影対象に対する前記病変の種類毎の判別確率を算出する算出部と、
前記算出部が算出した判別確率に基づいて、前記病変の複数種類の中から、前記撮影対象に対する病変の種類を特定する特定部と
を備える医用画像診断支援装置。
【請求項2】
前記判別部が前記病変の種類毎に算出した前記確率から、前記断面画像のそれぞれにおける病変領域の大きさに応じた係数を用いた加重平均値を算出する加重平均算出部を更に備え、前記算出部は、前記加重平均算出部が算出した前記加重平均値に基づいて、前記撮影対象に対する前記病変の種類毎の判別確率を算出する
請求項１に記載の医用画像診断支援装置。
【請求項3】
前記画像取得部が取得した前記断面画像から、所定の画素数で構成される画素ブロックを複数抽出する抽出部と、前記抽出部が抽出した画素ブロックに対する病変の種類を、前記学習モデルを用いて判別するブロック判別部とを更に備え、
前記判別部は、前記ブロック判別部による各画素ブロックに対する判別結果に基づいて、前記画素ブロックを抽出した前記断面画像に対して、前記病変の種類毎の前記確率を算出する
請求項１又は２に記載の医用画像診断支援装置。
【請求項4】
前記ブロック判別部は、前記画素ブロックのそれぞれに対して、前記病変の種類毎に前記病変の種類である可能性を示す確率を算出し、前記ブロック判別部が前記病変の種類毎に算出した前記確率の平均値を算出する平均算出部を更に備え、
前記判別部は、前記平均算出部が算出した前記確率の平均値に基づいて、前記画素ブロックを抽出した前記断面画像に対する前記病変の種類毎の前記確率を算出する
請求項３に記載の医用画像診断支援装置。
【請求項5】
前記特定部が特定した種類であると前記判別部が判別した前記断面画像のうちで、前記特定部が特定した種類である可能性を示す確率が高い断面画像を出力する出力部を更に備える請求項１から４までのいずれかひとつに記載の医用画像診断支援装置。
【請求項6】
前記画像取得部は、前記撮影対象に対して第１方法によって得られた複数の第１断面画像を取得する第１画像取得部と、
前記撮影対象に対して前記第１方法とは異なる第２方法によって得られた複数の第２断面画像を取得する第２画像取得部とを備え、
前記判別部は、
前記第１方法によって得られた病変画像及び該病変画像に対する病変の種類を含む教師データに基づいて学習した第１学習モデルを用いて、前記第１画像取得部が取得した前記複数の第１断面画像のそれぞれに対して、前記病変の種類毎に前記病変の種類である可能性を示す第１確率を算出する第１判別部と、
前記第２方法によって得られた病変画像及び該病変画像に対する病変の種類を含む教師データに基づいて学習した第２学習モデルを用いて、前記第２画像取得部が取得した前記複数の第２断面画像のそれぞれに対して、前記病変の種類毎に前記病変の種類である可能性を示す第２確率を算出する第２判別部とを備え、
前記算出部は、前記第１判別部が前記病変の種類毎に算出した前記第１確率と、前記第２判別部が前記病変の種類毎に算出した前記第２確率とに基づいて、前記撮影対象に対する病変の種類毎の判別確率を算出し、
前記特定部は、前記算出部が算出した前記病変の種類毎の判別確率に基づいて、前記撮影対象に対する病変の種類を特定する
請求項１から５までのいずれかひとつに記載の医用画像診断支援装置。
【請求項7】
前記算出部は、前記病変の種類毎に算出された前記第１確率及び前記第２確率の平均値を、前記病変の種類毎の判別確率として算出する請求項６に記載の医用画像診断支援装置。
【請求項8】
前記第１断面画像及び前記第２断面画像は、前記撮影対象の同一部分を撮影した画像である請求項６又は７に記載の医用画像診断支援装置。
【請求項9】
コンピュータに、撮影対象に対して所定方向に走査しつつ得られた複数の断面画像を取得し、
病変画像及び該病変画像に対する病変の複数種類のいずれかを含む教師データに基づいて学習した学習モデルを用いて、取得した前記複数の断面画像のそれぞれに対して、前記病変の種類毎に前記病変の種類である可能性を示す確率を算出し、
前記複数の断面画像のそれぞれに対して算出した前記病変の種類毎の前記確率と、前記複数の断面画像のそれぞれにおける病変領域の大きさとに基づいて、前記撮影対象に対する前記病変の種類毎の判別確率を算出し、
算出した前記撮影対象に対する前記病変の種類毎の判別確率に基づいて、前記病変の複数種類の中から、前記撮影対象に対する病変の種類を特定する
処理を実行させるプログラム。
【請求項10】
コンピュータが、撮影対象に対して所定方向に走査しつつ得られた複数の断面画像を取得し、
病変画像及び該病変画像に対する病変の複数種類のいずれかを含む教師データに基づいて学習した学習モデルを用いて、取得した前記複数の断面画像のそれぞれに対して、前記病変の種類毎に前記病変の種類である可能性を示す確率を算出し、
前記複数の断面画像のそれぞれに対して算出した前記病変の種類毎の前記確率と、前記複数の断面画像のそれぞれにおける病変領域の大きさとに基づいて、前記撮影対象に対する前記病変の種類毎の判別確率を算出し、
算出した前記撮影対象に対する前記病変の種類毎の判別確率に基づいて、前記病変の複数種類の中から、前記撮影対象に対する病変の種類を特定する
処理を実行する医用画像診断支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、医用画像診断支援装置、プログラム及び医用画像診断支援方法に関する。
【背景技術】
【0002】
医療分野では、ＣＴ（Computed Tomography：コンピュータ断層撮影法）やＭＲＩ（Magnetic Resonance Imaging：磁気共鳴画像法）等の画像撮像装置を用いて患者を撮影して得られた複数枚の断層画像で構成される断層画像群に基づいて病変の診断が行われている。画像撮像装置は病変の種類によって複数の断層画像にまたがって病変が撮像されており、医師は、画像撮像装置で撮影した複数枚の断層画像を比較しながら診断を行っている。また、病変の種類によっては、異なる撮像手段により得られた画像も比較し診断を行っている。特許文献１では、Ｘ線ＣＴ画像データとＭＲＩ画像データとを互いに重ね合わせるように統合させた統合画像を生成する装置が開示されている。特許文献１に開示された装置では、２種類の医用画像を重ねた状態で表示できるので、それぞれの医用画像に撮影された生体組織を１枚の統合画像で確認できる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１４－１８２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に開示された装置は、異なる撮像手段で取得された医用画像を重ねた状態で表示するものであり、複数の医用画像に基づく病変の診断を支援するものではない。
【0005】
本開示は、このような事情に鑑みてなされたものであり、その目的とするところは、複数の医用画像に基づく病変の診断を支援することが可能な医用画像診断支援装置等を提供することにある。
【課題を解決するための手段】
【0006】
本開示の一態様に係る医用画像診断支援装置は、病変の複数種類のいずれかを特定する医用画像診断支援装置であって、撮影対象に対して所定方向に走査しつつ得られた複数の断面画像を取得する画像取得部と、病変画像及び該病変画像に対する病変の種類を含む教師データに基づいて学習した学習モデルを用いて、前記画像取得部が取得した前記複数の断面画像のそれぞれに対して、前記病変の種類毎に前記病変の種類である可能性を示す確率を算出する判別部と、前記判別部が前記複数の断面画像のそれぞれに対して算出した前記病変の種類毎の前記確率と、前記複数の断面画像のそれぞれにおける病変領域の大きさとに基づいて、前記撮影対象に対する前記病変の種類毎の判別確率を算出する算出部と、前記算出部が算出した判別確率に基づいて、前記病変の複数種類の中から、前記撮影対象に対する病変の種類を特定する特定部とを備える。
【発明の効果】
【0007】
本開示にあっては、複数の医用画像に基づく病変の診断を支援することができる。
【図面の簡単な説明】
【0008】
【図1】診断支援システムの構成例を示す模式図である。
【図2】学習装置の構成例を示すブロック図である。
【図3】Ｔ２強調画像の例を示す模式図である。
【図4】学習装置の制御部によって実現される機能を示すブロック図である、
【図5】学習装置が行う学習処理の説明図である。
【図6】学習装置が行う学習処理の説明図である。
【図7】特定装置の構成例を示すブロック図である。
【図8】特定装置の制御部によって実現される機能を示すブロック図である。
【図9】特定装置が行う特定処理の説明図である。
【図10】特定装置が行う特定処理の説明図である。
【図11】特定装置が行う特定処理の説明図である。
【図12】学習装置による学習処理の手順を示すフローチャートである。
【図13】特定装置による特定処理の手順を示すフローチャートである。
【図14】実施形態２の学習装置の構成例を示すブロック図である。
【図15】Ｔ１ＣＥ画像の例を示す模式図である。
【図16】実施形態２の学習装置の制御部によって実現される機能を示すブロック図である。
【図17】実施形態２の特定装置の構成例を示すブロック図である。
【図18】実施形態２の特定装置の制御部によって実現される機能を示すブロック図である。
【図19】特定装置が行う特定処理の説明図である。
【図20】実施形態２の学習装置による学習処理の手順を示すフローチャートである。
【図21】特定装置による特定処理の手順を示すフローチャートである。
【図22】特定装置による特定処理の手順を示すフローチャートである。
【図23】テストデータの構成を示す図表である。
【図24】特定装置による判別精度を示す図表である。
【図25】実施形態４の特定装置の制御部によって実現される機能を示すブロック図である。
【図26】実施形態４の特定装置による特定処理の手順の一部を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下に、本開示の医用画像診断支援装置、プログラム及び医用画像診断支援方法について、脳腫瘍の患者の脳を撮影した医用画像に基づいて脳腫瘍の種類を判別する診断処理を支援する診断支援システムに適用した実施形態を示す図面に基づいて詳述する。なお、本開示は、脳腫瘍以外の病変を撮影した医用画像に基づいて病変の種類を判別する診断処理を支援するシステムにも適用できる。
【0010】
（実施形態１）
図１は診断支援システムの構成例を示す模式図である。本実施形態では、ＣＴやＭＲＩ等の画像撮像装置を用いて脳腫瘍の患者の脳を撮影し、得られた医用画像に基づいて、この患者の脳腫瘍の種類を判別するシステムについて説明する。本実施形態の診断支援システムは、学習装置１０と、医療機関に設置された特定装置２０とを含み、学習装置１０及び特定装置２０は、インターネット等のネットワークＮに接続可能である。なお、学習装置１０は、医用画像に基づいて脳腫瘍の種類を判別する分類器（学習モデル）を、後述する教師データを用いて学習させる装置であり、特定装置２０は、学習装置１０にて学習済みの分類器を用いて、患者の医用画像に基づいて脳腫瘍の種類を判別（特定）する装置である。特定装置２０は学習装置１０から学習済みの分類器を取得する場合、例えばネットワークＮ経由、又は、ＵＳＢ（Universal Serial Bus）メモリ、ＣＤ－Ｒ（compact disc recordable ）等の可搬型記憶媒体を用いて取得する。
図１は診断支援システムの構成例を示す模式図である。本実施形態では、ＣＴやＭＲＩ等の画像撮像装置を用いて脳腫瘍の患者の脳を撮影し、得られた医用画像に基づいて、この患者の脳腫瘍の種類を判別するシステムについて説明する。本実施形態の診断支援システムは、学習装置１０と、医療機関に設置された特定装置２０とを含み、学習装置１０及び特定装置２０は、インターネット等のネットワークＮに接続可能である。なお、学習装置１０は、医用画像に基づいて脳腫瘍の種類を判別する分類器（学習モデル）を、後述する教師データを用いて学習させる装置であり、特定装置２０は、学習装置１０にて学習済みの分類器を用いて、患者の医用画像に基づいて脳腫瘍の種類を判別（特定）する装置である。特定装置２０は学習装置１０から学習済みの分類器を取得する場合、例えばネットワークＮ経由、又は、ＵＳＢ（Universal Serial Bus）メモリ、ＣＤ－Ｒ（compact disc recordable ）等の可搬型記憶媒体を用いて取得する。
【0011】
図２は、学習装置１０の構成例を示すブロック図である。学習装置１０は、パーソナルコンピュータ、サーバコンピュータ等である。学習装置１０は、制御部１１、記憶部１２、表示部１３、入力部１４、通信部１５等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶してある制御プログラムを適宜実行することにより、学習装置１０が行うべき種々の情報処理、制御処理等を行う。
【0012】
記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行する制御プログラム及び制御プログラムの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。記憶部１２に記憶される制御プログラムには、分類器１２ｂの学習処理を実行するための学習プログラム１２ａが含まれる。また記憶部１２は、例えば機械学習処理によって構築されたＣＮＮ（Convolution Neural Network）モデルである分類器１２ｂを記憶している。記憶部１２に記憶されるデータには、分類器１２ｂを学習させるための教師データが蓄積された教師データＤＢ１２ｃが含まれる。
【0013】
記憶部１２に記憶される制御プログラム及びデータは、例えば通信部１５を介してネットワークＮ経由で外部装置から取得されて記憶部１２に記憶される。また、学習装置１０が可搬型記憶媒体に記憶された情報を読み取る読取部等を備える場合、記憶部１２に記憶される制御プログラム及びデータは、可搬型記憶媒体から読み出されて記憶部１２に記憶されてもよい。また、教師データＤＢ１２ｃは、学習装置１０に接続された外部の記憶装置に記憶されてもよく、ネットワークＮを介して学習装置１０と通信可能な記憶装置に記憶されてもよい。
【0014】
表示部１３は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１４は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１３及び入力部１４は一体として構成されたタッチパネルであってもよい。通信部１５は、有線通信又は無線通信によってネットワークＮに接続するためのインタフェースであり、ネットワークＮを介して外部装置との間で情報の送受信を行う。
【0015】
以下に、本実施形態の診断支援システムで用いる医用画像について説明する。ＭＲＩは、撮影時のパラメータを異ならせることによって異なる種類のＭＲＩ画像を得ることができる。本実施形態の診断支援システムでは、造影剤を用いずに水、脂肪及び腫瘍が白く写る方法（第１方法）で撮影して得られたＴ２強調画像を用いて、撮影対象の脳腫瘍の種類を判別する。なお、Ｔ２強調画像のほかに、例えば、造影剤を用いて脂肪及び造影剤が白く写り、水及び腫瘍が黒く写る方法（第２方法）で撮影して得られたＴ１ＣＥ画像等、他の種類の医用画像を用いてもよい。ＭＲＩは、患者の頭（撮影対象の脳）を例えば上下方向に走査しつつ前後左右方向の平面で切った断面画像（スライス画像）を取得する装置であり、１人の患者の脳に対して、Ｔ２強調画像であれば例えば２０枚程度撮影する。ＭＲＩによる撮影枚数はこれに限定されない。
【0016】
図３はＴ２強調画像の例を示す模式図である。Ｔ２強調画像のサイズは例えば５１２画素×５１２画素とすることができるが、これに限定されない。Ｔ２強調画像は病変（腫瘍）の領域を認識し易い画像である。図３には、膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫の５種類の脳腫瘍のＴ２強調画像の例を示す。本実施形態の診断支援システムでは、判別対象の脳腫瘍の種類として、膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫の５種類のいずれであるかを判別する。よって、分類器１２ｂは、患者のＴ２強調画像に基づいて、このＴ２強調画像に対する脳腫瘍の種類を判別する分類器である。
【0017】
教師データＤＢ１２ｃには、膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫のそれぞれに対応付けて、図３に示すようなＴ２強調画像が多数蓄積されている。教師データＤＢ１２ｃにおいて、１つのＴ２強調画像（スライス画像）と、このＴ２強調画像に対応付けられた脳腫瘍の種類（膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍及び神経鞘腫のいずれか）を示す情報とのセットを教師データという。学習装置１０は、図３に示すようなＴ２強調画像による教師データに基づいて分類器１２ｂを学習させる。
【0018】
次に、学習装置１０において制御部１１が学習プログラム１２ａを実行することによって実現される機能について説明する。図４は、学習装置１０の制御部１１によって実現される機能を示すブロック図、図５及び図６は、学習装置１０が行う学習処理の説明図である。学習装置１０の制御部１１は、記憶部１２に記憶してある学習プログラム１２ａを実行した場合、教師データ取得部１０１、腫瘍領域抽出部１０２、パッチ画像抽出部１０３、学習部１０４の各機能を実現する。なお、本実施形態では、これらの各機能を制御部１１が学習プログラム１２ａを実行することにより実現するが、これらの一部を専用のハードウェア回路で実現してもよい。
【0019】
教師データ取得部１０１は、教師データＤＢ１２ｃに記憶されている教師データを順次取得する。教師データには、脳腫瘍の種類を示す情報とＴ２強調画像（スライス画像）とが含まれる。腫瘍領域抽出部１０２は、教師データ取得部１０１が取得したＴ２強調画像から脳腫瘍領域を抽出する。教師データＤＢ１２ｃに記憶されるＴ２強調画像は脳全体の画像であり、腫瘍領域抽出部１０２は、例えば入力部１４を介したユーザの入力操作による指定に基づいて脳腫瘍領域を抽出する。また、腫瘍領域抽出部１０２は、例えばディープラーニングによる学習済みの認識モデルを用いて、教師データ取得部１０１が取得したＴ２強調画像中の脳腫瘍領域を認識して抽出してもよい。これにより、腫瘍領域抽出部１０２は、教師データ取得部１０１が教師データＤＢ１２ｃから取得した脳腫瘍の種類を示す情報と、Ｔ２強調画像から抽出した脳腫瘍領域（病変画像）とを含む教師データを取得する。図５Ａに示す例では、破線の閉曲線で囲まれた領域Ｒが脳腫瘍領域として抽出されている。
【0020】
パッチ画像抽出部１０３は、腫瘍領域抽出部１０２が抽出した脳腫瘍領域に対して、所定の画素数の画素を含む矩形のパッチ画像（画素ブロック）を複数抽出する。パッチ画像のサイズは例えば１２８画素×１２８画素とすることができるが、これに限定されない。パッチ画像抽出部１０３は、腫瘍領域抽出部１０２が抽出した脳腫瘍領域内の所定間隔を隔てた各位置をそれぞれ中央位置とするパッチ画像を、１枚のＴ２強調画像（脳腫瘍領域）から例えば１００～２００枚程度抽出する。図５Ｂに示す例では、それぞれの矩形で囲まれた領域Ｐがパッチ画像として抽出されている。
【0021】
学習部１０４は、教師データ取得部１０１が教師データＤＢ１２ｃから取得した脳腫瘍の種類を示す情報と、パッチ画像抽出部１０３が抽出した複数のパッチ画像（Ｔ２強調画像のパッチ画像）とに基づいて、分類器１２ｂを学習させる。ここで、分類器１２ｂについて説明する。図６は分類器１２ｂの構成例を示す模式図である。図６に示す分類器１２ｂは、畳み込みニューラルネットワークモデル（ＣＮＮ）で構成したものである。分類器１２ｂの構成は、図６に示すように多層のニューラルネットワーク（深層学習）に限定されるものではなく、他の機械学習のアルゴリズムを用いることもできる。
【0022】
図６に示すように、分類器１２ｂは、入力層、中間層及び出力層から構成されている。中間層は畳み込み層、プーリング層及び全結合層を含む。本実施形態の分類器１２ｂでは、入力層のノード数は１６，３８４（チャンネル数は１）であり、出力層のノード数は５であり、上述したようなパッチ画像が、学習済みの分類器１２ｂの入力データとして与えられる。入力層のノードに与えられたパッチ画像は中間層に入力され、中間層において、畳み込み層でフィルタ処理等によって画像特徴量が抽出されて特徴マップが生成され、プーリング層で圧縮されて情報量を削減される。畳み込み層及びプーリング層は複数層繰り返し設けられており、複数の畳み込み層及びプーリング層によって生成された特徴マップは、全結合層に入力される。全結合層は複数層（図６では２層）設けられており、入力された特徴マップに基づいて、重み及び各種の関数を用いて各層のノードの出力値を算出し、算出した出力値を順次後の層のノードに入力する。全結合層は、各層のノードの出力値を順次後の層のノードに入力することにより、最終的に出力層の各ノードにそれぞれの出力値を与える。畳み込み層、プーリング層及び全結合層のそれぞれの層数は図６に示す例に限定されない。出力層の各ノードは、５種類の脳腫瘍のそれぞれに対する分類確率を出力する。例えば入力されたパッチ画像が膠芽腫の画像である確率をノード０が出力し、悪性リンパ腫の画像である確率をノード１が出力し、髄膜腫の画像である確率をノード２が出力し、転移性腫瘍の画像である確率をノード３が出力し、神経鞘腫の画像である確率をノード４が出力する。出力層の各ノードの出力値は例えば０～１．０の値であり、５つのノードから出力された確率の合計が１．０（１００％）となる。
【0023】
学習部１０４は、パッチ画像抽出部１０３が抽出したパッチ画像（Ｔ２強調画像のパッチ画像）を、分類器１２ｂの入力層のノードに入力し、出力層において、このパッチ画像（Ｔ２強調画像）の脳腫瘍の種類に応じたノードの出力値が１．０に近づき、その他のノードの出力値が０に近づくように、分類器１２ｂを学習させる。なお、学習部１０４は、例えば全結合層の各層のノードを結合する重み及び関数を学習アルゴリズムによって最適化して分類器１２ｂを学習させる。学習部１０４は、教師データＤＢ１２ｃに記憶してある全ての教師データについて、パッチ画像抽出部１０３がそれぞれ抽出したパッチ画像を用いて分類器１２ｂに学習させる。これにより、学習済みの分類器１２ｂが生成される。
【0024】
以下に、上述したように学習装置１０にて学習した分類器１２ｂを用いて、診断対象の患者の医用画像に基づいて脳腫瘍の種類を判別する特定装置２０について説明する。図７は、特定装置２０の構成例を示すブロック図である。特定装置２０は、パーソナルコンピュータ、サーバコンピュータ等であり、学習装置１０と同様の構成を有するので詳細については省略する。特定装置２０は、制御部２１、記憶部２２、表示部２３、入力部２４、通信部２５等を含み、これらの各部はバスを介して相互に接続されている。なお、特定装置２０の記憶部２２には、本開示のプログラムである特定プログラム２２ａ、学習装置１０にて学習済みの分類器２２ｂが記憶されている。
【0025】
分類器２２ｂは、学習装置１０で学習した分類器１２ｂである。特定装置２０は、例えば通信部２５を介してネットワークＮ経由で学習装置１０から分類器２２ｂを取得して記憶部２２に記憶する。また特定装置２０が可搬型記憶媒体に記憶された情報を読み取る読取部等を備える場合、特定装置２０は、分類器２２ｂを可搬型記憶媒体から読み出して記憶部２２に記憶してもよい。また特定装置２０は、特定プログラム２２ａを分類器２２ｂと共に、ネットワークＮ経由で取得してもよいし、可搬型記憶媒体を用いて取得してもよい。
【0026】
次に、特定装置２０において制御部２１が特定プログラム２２ａを実行することによって実現される機能について説明する。図８は、特定装置２０の制御部２１によって実現される機能を示すブロック図、図９～図１１は、特定装置２０が行う特定処理の説明図である。特定装置２０の制御部２１は、記憶部２２に記憶してある特定プログラム２２ａを実行した場合、画像取得部２０１、腫瘍領域抽出部２０２、パッチ画像抽出部２０３、パッチ判別部２０４、算出部２０５、判別部２０６、特定部２０７、出力部２０８の各機能を実現する。なお、本実施形態では、これらの各機能を制御部２１が特定プログラム２２ａを実行することにより実現するが、これらの一部を専用のハードウェア回路で実現してもよい。
【0027】
画像取得部２０１は、診断対象の患者のＴ２強調画像（スライス画像）を取得する。特定装置２０は、患者のＴ２強調画像を、例えばネットワークＮ経由又は可搬型記憶媒体経由で予め取得して記憶部２２に記憶しておき、画像取得部２０１は、診断対象のＴ２強調画像を記憶部２２から読み出す。なお、Ｔ２強調画像は、患者の脳を例えば上下方向に走査しつつ撮影した断面画像であり、１人の患者に対して複数枚のＴ２強調画像が１セットとして処理される。よって、画像取得部２０１は、１人の患者から得られた複数のＴ２強調画像を取得する。
【0028】
腫瘍領域抽出部２０２及びパッチ画像抽出部２０３は、学習装置１０の制御部１１が実現する腫瘍領域抽出部１０２及びパッチ画像抽出部１０３と同様の処理を行う。即ち、腫瘍領域抽出部２０２は、画像取得部２０１が取得したＴ２強調画像のそれぞれから脳腫瘍領域を抽出する。これにより、腫瘍領域抽出部２０２は、患者のＴ２強調画像のうちの脳腫瘍領域を取得する。パッチ画像抽出部（抽出部）２０３は、腫瘍領域抽出部２０２が抽出した脳腫瘍領域から複数のパッチ画像を抽出する。なお、特定装置２０におけるパッチ画像抽出部２０３は、脳腫瘍領域内の所定間隔を隔てた各位置をそれぞれ中央位置とするパッチ画像を、脳腫瘍領域の全領域を網羅するように抽出する。よって、パッチ画像抽出部２０３によって抽出されるパッチ画像の数は、脳腫瘍領域の大きさによって増減する。
【0029】
パッチ判別部（ブロック判別部）２０４は、パッチ画像抽出部２０３が抽出したパッチ画像（Ｔ２強調画像のパッチ画像）に基づいて、それぞれのパッチ画像に対する脳腫瘍の種類を分類器２２ｂを用いて判別する。具体的には、パッチ判別部２０４は、パッチ画像のそれぞれを分類器２２ｂに入力し、分類器２２ｂからの出力値を取得する。分類器２２ｂの出力値は、５種類の脳腫瘍（膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫）のそれぞれに対する分類確率である。パッチ判別部２０４は、１人の患者における複数のＴ２強調画像のそれぞれからパッチ画像抽出部２０３が抽出したパッチ画像のそれぞれについて判別処理を行う。パッチ判別部２０４は、それぞれのパッチ画像に対する判別結果を例えば記憶部２２に記憶する。図９は、パッチ判別部２０４による判別結果を示す模式図である。図９に示すテーブルには、患者ＩＤ、Ｔ２強調画像ＩＤ、パッチＩＤ、分類確率が対応付けて記憶されている。患者ＩＤは各患者に割り当てられた識別情報であり、Ｔ２強調画像ＩＤは、患者のＴ２強調画像のそれぞれに割り当てられた識別情報であり、パッチＩＤは、それぞれのＴ２強調画像から抽出されたパッチ画像のそれぞれに割り当てられた識別情報である。分類確率は、それぞれのパッチ画像に基づいて分類器２２ｂが出力した脳腫瘍の各種類に対する分類確率である。
【0030】
算出部２０５は、パッチ判別部２０４による判別結果に基づいて、それぞれのＴ２強調画像（スライス画像）について、脳腫瘍の種類毎の分類確率を算出する。即ち、算出部２０５は、分類器２２ｂが各パッチ画像に対して出力した脳腫瘍の種類毎の分類確率に基づいて、このパッチ画像が抽出されたＴ２強調画像（スライス画像）に対する脳腫瘍の種類毎の分類確率を算出する。例えば算出部（平均算出部）２０５は、１枚のＴ２強調画像から抽出されたパッチ画像のそれぞれに対して出力された脳腫瘍の種類毎の分類確率の平均値をそれぞれ算出して、このＴ２強調画像に対する脳腫瘍の種類毎の分類確率としてもよい。Ｔ２強調画像に対する脳腫瘍の種類毎の分類確率の算出方法はこれに限定されない。例えば、一部のパッチ画像における脳腫瘍の種類毎の分類確率の平均値を、Ｔ２強調画像における脳腫瘍の種類毎の分類確率としてもよい。算出部２０５は、１人の患者における全てのＴ２強調画像に対して、脳腫瘍の種類毎の分類確率を算出し、例えば記憶部２２に記憶する。
【0031】
判別部２０６は、算出部２０５がそれぞれのＴ２強調画像（スライス画像）について算出した脳腫瘍の種類毎の分類確率に基づいて、この患者の脳腫瘍の種類を判別する。具体的には、判別部２０６は、それぞれのＴ２強調画像に対する脳腫瘍の種類毎の分類確率に基づいて、この患者における脳腫瘍の種類毎の分類確率を算出する。ここで、判別部（加重平均算出部）２０６は、例えば、それぞれのＴ２強調画像における脳腫瘍領域（病変領域）の大きさ（面積）に応じた重み付けを行って、脳腫瘍の種類毎の分類確率の加重平均値（重み付き平均）を算出し、患者における脳腫瘍の種類毎の分類確率とする。
【0032】
図１０は、Ｔ２強調画像における脳腫瘍領域の大きさに応じた重み付けを説明するための模式図である。図１０Ａ～Ｄには、Ｔ２強調画像と、それぞれＴ２強調画像中の脳腫瘍領域（腫瘍領域）とを示している。図１０Ａ～Ｄに示すＴ２強調画像において、それぞれの脳腫瘍領域の面積がａ１～ａ４であり、最大面積がａ２であったとする。この場合、図１０Ａ～Ｄに示すＴ２強調画像における脳腫瘍領域の大きさに応じた係数（重み係数）はそれぞれ、ａ１／ａ２，１，ａ３／ａ２，ａ４／ａ２とすることができる。そして、判別部２０６は、判別対象の脳腫瘍の種類毎に、それぞれのＴ２強調画像における分類確率に、脳腫瘍領域の大きさに応じた係数を掛け算した上で加算し、その合計値を係数の合計値で割り算し、得られた商を、この患者における分類確率とする。それぞれのＴ２強調画像における分類確率から患者の分類確率を算出する方法はこれに限定されない。例えば、一部のＴ２強調画像における分類確率を用いて患者の分類確率を算出してもよい。判別部２０６は、判別対象の脳腫瘍のそれぞれについて、患者における分類確率を算出する。
【0033】
特定部２０７は、患者のＴ２強調画像に基づいて判別部２０６が算出した患者における脳腫瘍の種類毎の分類確率に基づいて、この患者における脳腫瘍の種類を特定する。特定部２０７は、判別部２０６が算出した脳腫瘍の種類毎の分類確率のうちで最高の分類確率であった脳腫瘍を、この患者の脳腫瘍に特定する。
【0034】
出力部２０８は、特定部２０７による特定結果を出力する。例えば出力部２０８は、特定部２０７による特定結果を表示するための表示情報を生成し、生成した表示情報に基づいて特定結果画面を表示部２３に表示する。図１１は特定結果画面の例を示しており、図１１に示す画面には、判別部２０６が算出した、この患者における脳腫瘍の種類毎の分類確率が表示され、特定部２０７が特定した脳腫瘍に下線が付されて、他の脳腫瘍よりも目立つように表示されている。また、図１１に示す画面には、例えば、診断対象のＴ２強調画像のうちで、特定部２０７が特定した脳腫瘍（図１１では転移性腫瘍）について判別部２０６で算出された分類確率が最高であったＴ２強調画像が表示されている。このようなＴ２強調画像は、特定部２０７が特定した脳腫瘍であることを判断し易い画像である可能性が高い。よって、出力部２０８は、上述したようなＴ２強調画像を選択し、この患者における脳腫瘍の種類毎にて算出された分類確率と共に表示する特定結果画面を生成する。
【0035】
表示部２３に表示される画面は、図１１に示す例に限定されず、例えば、この患者における脳腫瘍の種類毎の分類確率のみを表示する画面でもよい。また、例えば、特定部２０７が特定した脳腫瘍について判別部２０６で算出された分類確率が最高であったＴ２強調画像のうちで、脳腫瘍領域の大きさが最も大きいＴ２強調画像を表示してもよい。また、例えば、特定部２０７が特定した脳腫瘍について、パッチ判別部２０４で算出された分類確率が所定値以上であったＴ２強調画像のパッチ画像を表示してもよい。更に、表示されるＴ２強調画像（スライス画像）に対して、脳腫瘍領域をハイライト表示してもよい。なお、出力部２０８は、特定部２０７による特定結果を表示部２３に表示するほかに、音声で出力してもよいし、所定の端末装置に送信してもよい。
【0036】
次に、診断支援システムにおいて学習装置１０による学習処理についてフローチャートに基づいて説明する。図１２は学習装置１０による学習処理の手順を示すフローチャートである。以下の処理は、学習装置１０の記憶部１２に記憶してある学習プログラム１２ａを含む制御プログラムに従って制御部１１によって実行される。
【0037】
学習装置１０の制御部１１は、教師データＤＢ１２ｃからＴ２強調画像の教師データを１つ取得する（Ｓ１１）。教師データには、脳腫瘍の種類を示す情報とＴ２強調画像（スライス画像）とが含まれる。制御部１１は、取得したＴ２強調画像から脳腫瘍領域を抽出し（Ｓ１２）、抽出した脳腫瘍領域に対して、所定の画素数の画素を含むパッチ画像を抽出する（Ｓ１３）。そして、制御部１１は、１つのパッチ画像と、教師データに含まれる脳腫瘍の種類を示す情報とを用いて、分類器１２ｂを学習させる（Ｓ１４）。ここでは、制御部１１は、パッチ画像を分類器１２ｂの入力層のノードに入力し、出力層において、このパッチ画像の脳腫瘍の種類に応じたノードの出力値が１．０に近づき、その他のノードの出力値が０に近づくように分類器１２ｂを学習させる。
【0038】
制御部１１は、ステップＳ１３でＴ２強調画像から抽出した全てのパッチ画像に対して処理を終了したか否かを判断し（Ｓ１５）、終了していないと判断した場合（Ｓ１５：ＮＯ）、ステップＳ１４の処理に戻り、未処理のパッチ画像を用いて分類器１２ｂを学習させる（Ｓ１４）。全てのパッチ画像に対して処理を終了したと判断した場合（１５：ＹＥＳ）、制御部１１は、教師データＤＢ１２ｃに記憶してある全ての教師データに基づく処理を終了したか否かを判断する（Ｓ１６）。全ての教師データに基づく処理を終了していないと判断した場合（Ｓ１６：ＮＯ）、制御部１１は、ステップＳ１１の処理に戻り、未処理の教師データを１つ取得する（Ｓ１１）。制御部１１は、取得した教師データに基づいてステップＳ１２～Ｓ１５の処理を行う。全ての教師データに基づく処理を終了したと判断した場合（Ｓ１６：ＹＥＳ）、制御部１１は、分類器１２ｂの学習処理を終了する。これにより、Ｔ２強調画像に基づいて脳腫瘍の種類を判別する分類器１２ｂを学習させることができ、学習済みの分類器１２ｂが得られる。
【0039】
次に、診断支援システムにおいて特定装置２０による特定処理についてフローチャートに基づいて説明する。図１３は、特定装置２０による特定処理の手順を示すフローチャートである。以下の処理は、特定装置２０の記憶部２２に記憶してある特定プログラム２２ａを含む制御プログラムに従って制御部２１によって実行される。特定装置２０の記憶部２２には、学習装置１０によって学習済みの分類器２２ｂが記憶されている。また、記憶部２２には、診断対象の患者の脳のＴ２強調画像が複数枚記憶されている。
【0040】
特定装置２０の制御部２１は、診断対象の患者のＴ２強調画像のうちの１つを取得する（Ｓ２１）。制御部２１は、取得したＴ２強調画像から脳腫瘍領域を抽出し（Ｓ２２）、抽出した脳腫瘍領域から、所定の画素数の画素を含むパッチ画像を複数抽出する（Ｓ２３）。そして、制御部２１は、１つのパッチ画像に対する脳腫瘍の種類を分類器２２ｂにて判別し（Ｓ２４）、判別結果を記憶部２２に記憶する（Ｓ２５）。具体的には、分類器２２ｂは、パッチ画像に対する脳腫瘍として、５種類の脳腫瘍のそれぞれに対する分類確率を出力し、制御部２１は、分類器２２ｂから出力された脳腫瘍の種類毎の分類確率を記憶部２２に記憶する。
【0041】
制御部２１は、ステップＳ２２でＴ２強調画像から抽出した全てのパッチ画像に対して処理を終了したか否かを判断し（Ｓ２６）、終了していないと判断した場合（Ｓ２６：ＮＯ）、ステップＳ２４の処理に戻り、未処理のパッチ画像に対してステップＳ２４～Ｓ２５の処理を行う。全てのパッチ画像に対して処理を終了したと判断した場合（Ｓ２６：ＹＥＳ）、制御部２１は、記憶部２２に記憶した各パッチ画像に対する脳腫瘍の種類毎の分類確率に基づいて、ステップＳ２１で取得したＴ２強調画像（スライス画像）に対する脳腫瘍の種類毎の分類確率を算出する（Ｓ２７）。例えば制御部２１は、脳腫瘍の種類毎に、各パッチ画像に基づく分類確率の平均値を算出し、スライス画像（Ｔ２強調画像）に対する分類確率とする。制御部２１は、１つのＴ２強調画像に対して算出した脳腫瘍の種類毎の分類確率を記憶部２２に記憶しておく。
【0042】
制御部２１は、全てのＴ２強調画像に対して処理を終了したか否かを判断する（Ｓ２８）。全てのＴ２強調画像に対して処理を終了していないと判断した場合（Ｓ２８：ＮＯ）、制御部２１は、ステップＳ２１の処理に戻り、未処理のＴ２強調画像を１つ取得する（Ｓ２１）。制御部２１は、取得したＴ２強調画像に対してステップＳ２２～Ｓ２７の処理を行う。全てのＴ２強調画像に対して処理を終了したと判断した場合（Ｓ２８：ＹＥＳ）、制御部２１は、それぞれのＴ２強調画像に対する脳腫瘍の種類毎の分類確率に基づいて、この患者に対する脳腫瘍の種類毎の分類確率を算出する（Ｓ２９）。ここでは、制御部２１は、脳腫瘍の種類毎に、それぞれのＴ２強調画像に基づく分類確率から、それぞれのＴ２強調画像中の脳腫瘍領域の大きさに応じた重み係数を用いた加重平均値を算出し、患者に対する分類確率とする。
【0043】
制御部２１は、Ｔ２強調画像に基づいて算出した患者に対する脳腫瘍の種類毎の分類確率を判別結果として表示するための表示情報を生成する（Ｓ３０）。例えば、制御部２１は、この患者に対する脳腫瘍の種類毎の分類確率を表示するための表示情報を生成する。また、制御部２１は、ここでの分類確率が最高である脳腫瘍について、ステップＳ２９で算出した分類確率が最高であったＴ２強調画像を表示するための表示情報を生成する。そして、制御部２１は、生成した表示情報に基づいて、特定装置２０による判別結果を表示部２３に表示する（Ｓ３１）。これにより、例えば図１１に示すような画面が表示部２３に表示され、特定装置２０による判別結果が通知される。
【0044】
本実施形態では、患者のＴ２強調画像に基づいて、５種類の脳腫瘍のそれぞれについて、この患者の脳腫瘍である可能性を示す分類確率を算出できる。よって、５種類の脳腫瘍のそれぞれに対する可能性を通知できるので、医師は、Ｔ２強調画像に基づいて脳腫瘍の種類を診断する際に考慮でき、医師による診断を支援できる。医師が全てのＴ２強調画像（医用画像）を目視で確認することは困難であるが、特定装置２０は全ての医用画像を用いて判別を行うので、医用画像を有効に利用できる。
【0045】
本実施形態では、Ｔ２強調画像のそれぞれに基づいて算出した脳腫瘍の種類毎の分類確率に対して、それぞれの画像中の脳腫瘍領域の大きさに応じた重み付けを行って、患者における脳腫瘍の種類毎の分類確率を算出する。画像中の脳腫瘍領域が大きいほど、このＴ２強調画像から算出した脳腫瘍の種類毎の分類確率の信頼性が高いと考えられる。よって、画像中の脳腫瘍領域が大きいほど大きい重み係数とすることにより、算出される患者における脳腫瘍の種類毎の分類確率の信頼性を向上させることができる。また、特定装置２０による判別結果として、患者の脳腫瘍である可能性が高い脳腫瘍（高い分類確率が算出された脳腫瘍）であることを判断し易いＴ２強調画像を通知することができる。よって、通知されたＴ２強調画像に基づいて診断を行うことができた場合、医師は全ての画像を確認する必要がなく、医師による診断の負担を軽減できる。
【0046】
本実施形態では、診断対象の画像としてＴ２強調画像を用いたが、診断対象に用いる医用画像はこれらに限定されない。また、分類器２２ｂによる判別対象の脳腫瘍は、膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫の５種類に限定されない。これら以外の脳腫瘍についても分類器２２ｂに学習させることによって判別可能となる。また、脳腫瘍以外の疾病についても、それぞれの教師データを用いて分類器に学習させることによって判別可能となる。
【0047】
本実施形態において、学習装置１０は、教師データのＴ２強調画像からそれぞれパッチ画像を抽出し、パッチ画像にて分類器１２ｂを学習させる代わりに、教師データのＴ２強調画像をそのまま用いて分類器１２ｂを学習させてもよい。同様に、特定装置２０は、診断対象の患者のＴ２強調画像からそれぞれパッチ画像を抽出し、パッチ画像にて分類器２２ｂによる判別処理を行う代わりに、Ｔ２強調画像をそのまま用いて分類器２２ｂによる判別処理を行ってもよい。
【0048】
（実施形態２）
実施形態２の診断支援システムについて説明する。本実施形態の診断支援システムの各装置は、実施形態１の各装置と同じ構成を有するので、同様の構成については説明を省略する。本実施形態の診断支援システムでは、Ｔ２強調画像（第１断面画像）だけでなくＴ１ＣＥ画像（第２断面画像）も用いて撮影対象の脳腫瘍の種類を判別する。具体的には、本実施形態の特定装置２０は、実施形態１と同様に患者のＴ２強調画像に基づいて脳腫瘍の種類毎の分類確率を算出する。また、本実施形態の特定装置２０は、患者のＴ１ＣＥ画像に基づいて脳腫瘍の種類毎の分類確率を算出し、Ｔ２強調画像及びＴ１ＣＥ画像のそれぞれに基づいて算出した脳腫瘍の種類毎の分類確率を統合して、患者の脳腫瘍の種類を判別する。なお、脳腫瘍の種類の判別に使用する医用画像は、Ｔ２強調画像及びＴ１ＣＥ画像に限定されない。
実施形態２の診断支援システムについて説明する。本実施形態の診断支援システムの各装置は、実施形態１の各装置と同じ構成を有するので、同様の構成については説明を省略する。本実施形態の診断支援システムでは、Ｔ２強調画像（第１断面画像）だけでなくＴ１ＣＥ画像（第２断面画像）も用いて撮影対象の脳腫瘍の種類を判別する。具体的には、本実施形態の特定装置２０は、実施形態１と同様に患者のＴ２強調画像に基づいて脳腫瘍の種類毎の分類確率を算出する。また、本実施形態の特定装置２０は、患者のＴ１ＣＥ画像に基づいて脳腫瘍の種類毎の分類確率を算出し、Ｔ２強調画像及びＴ１ＣＥ画像のそれぞれに基づいて算出した脳腫瘍の種類毎の分類確率を統合して、患者の脳腫瘍の種類を判別する。なお、脳腫瘍の種類の判別に使用する医用画像は、Ｔ２強調画像及びＴ１ＣＥ画像に限定されない。
【0049】
図１４は、実施形態２の学習装置１０の構成例を示すブロック図である。本実施形態の学習装置１０は、実施形態１の学習装置１０と同じ構成を有する。本実施形態の学習装置１０において、記憶部１２には、学習プログラム１２ａ、第１分類器１２ｂ、第１教師データＤＢ１２ｃ、第２分類器１２ｄ及び第２教師データＤＢ１２ｅが記憶されている。第１分類器１２ｂ及び第１教師データＤＢ１２ｃは、実施形態１の分類器１２ｂ及び教師データＤＢ１２ｃと同じものである。よって、第１分類器１２ｂは、患者のＴ２強調画像に基づいて脳腫瘍の種類を判別する分類器であり、第１教師データＤＢ１２ｃには、第１分類器１２ｂを学習させるための第１教師データが蓄積されている。第２分類器１２ｄは、第１分類器１２ｂと同様の構成を有しており、患者のＴ１ＣＥ画像に基づいて脳腫瘍の種類を判別する分類器である。第２教師データＤＢ１２ｅには、第２分類器１２ｄを学習させるための第２教師データが蓄積されている。本実施形態の学習プログラム１２ａは、第１分類器１２ｂの学習処理だけでなく第２分類器１２ｄの学習処理も行うためのプログラムである。
【0050】
図１５はＴ１ＣＥ画像の例を示す模式図である。ＭＲＩは１人の患者の脳に対して例えば２００枚程度のＴ１ＣＥ画像を撮影するが、ＭＲＩによる撮影枚数はこれに限定されない。Ｔ１ＣＥ画像のサイズは例えば５１２画素×５１２画素とすることができるが、これに限定されない。Ｔ１ＣＥ画像は病変（腫瘍）の輪郭を認識し易い画像である。図１５には、膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫の５種類の脳腫瘍のＴ１ＣＥ画像の例を示す。本実施形態の診断支援システムでは、第１分類器１２ｂ（第１学習モデル）は、患者のＴ２強調画像に基づいてこのＴ２強調画像に対する脳腫瘍の種類を判別し、第２分類器１２ｄ（第２学習モデル）は、患者のＴ１ＣＥ画像に基づいてこのＴ１ＣＥ画像に対する脳腫瘍の種類を判別する。
【0051】
第２教師データＤＢ１２ｅには、膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫のそれぞれに対応付けて、図１５に示すようなＴ１ＣＥ画像が多数蓄積されている。第２教師データＤＢ１２ｅにおいて、１つのＴ１ＣＥ画像（スライス画像）と、このＴ１ＣＥ画像に対応付けられた脳腫瘍の種類を示す情報とのセットを第２教師データという。学習装置１０は、図３に示すようなＴ２強調画像による第１教師データに基づいて第１分類器１２ｂを学習させ、図１５に示すようなＴ１ＣＥ画像による第２教師データに基づいて第２分類器１２ｄを学習させる。
【0052】
次に、本実施形態の学習装置１０において制御部１１が学習プログラム１２ａを実行することによって実現される機能について説明する。図１６は、実施形態２の学習装置１０の制御部１１によって実現される機能を示すブロック図である。本実施形態の学習装置１０の制御部１１は、記憶部１２に記憶してある学習プログラム１２ａを実行した場合、第１教師データ取得部１０１、第１腫瘍領域抽出部１０２、第１パッチ画像抽出部１０３、第１学習部１０４、第２教師データ取得部１１１、第２腫瘍領域抽出部１１２、第２パッチ画像抽出部１１３、第２学習部１１４の各機能を実現する。なお、本実施形態でも、これらの各機能の一部を専用のハードウェア回路で実現してもよい。
【0053】
第１教師データ取得部１０１、第１腫瘍領域抽出部１０２、第１パッチ画像抽出部１０３及び第１学習部１０４のそれぞれは、実施形態１において図４に示した教師データ取得部１０１、腫瘍領域抽出部１０２、パッチ画像抽出部１０３及び学習部１０４のそれぞれと同じ処理を行う。即ち、第１教師データ取得部１０１は、第１教師データＤＢ１２ｃから第１教師データを順次取得し、第１腫瘍領域抽出部１０２は、第１教師データ取得部１０１が取得したＴ２強調画像から脳腫瘍領域を抽出する。第１パッチ画像抽出部１０３は、第１腫瘍領域抽出部１０２が抽出した脳腫瘍領域から複数のパッチ画像（画素ブロック）を抽出する。第１学習部１０４は、第１教師データ取得部１０１が第１教師データＤＢ１２ｃから取得した脳腫瘍の種類を示す情報と、第１パッチ画像抽出部１０３が抽出した複数のパッチ画像（Ｔ２強調画像のパッチ画像）とに基づいて、第１分類器１２ｂを学習させる。
【0054】
第２教師データ取得部１１１、第２腫瘍領域抽出部１１２、第２パッチ画像抽出部１１３及び第２学習部１１４のそれぞれは、第１教師データ取得部１０１、第１腫瘍領域抽出部１０２、第１パッチ画像抽出部１０３及び第１学習部１０４とは処理対象の画像が異なるが、それぞれ同様の処理を行う。即ち、第２教師データ取得部１１１は、第２教師データＤＢ１２ｅから第２教師データを順次取得する。なお、第２教師データには、脳腫瘍の種類を示す情報とＴ１ＣＥ画像（スライス画像）とが含まれる。第２腫瘍領域抽出部１１２は、第２教師データ取得部１１１が取得したＴ１ＣＥ画像から脳腫瘍領域を抽出し、第２パッチ画像抽出部１１３は、第２腫瘍領域抽出部１１２が抽出した脳腫瘍領域から複数のパッチ画像を抽出する。第２学習部１１４は、第２教師データ取得部１１１が第２教師データＤＢ１２ｅから取得した脳腫瘍の種類を示す情報と、第２パッチ画像抽出部１１３が抽出した複数のパッチ画像（Ｔ１ＣＥ画像のパッチ画像）とに基づいて、第２分類器１２ｄを学習させる。
【0055】
図１７は、実施形態２の特定装置２０の構成例を示すブロック図である。本実施形態の特定装置２０は、実施形態１の特定装置２０と同じ構成を有する。本実施形態の特定装置２０において、記憶部２２には、特定プログラム２２ａ、第１分類器２２ｂ及び第２分類器２２ｃが記憶されている。第１分類器２２ｂは学習装置１０にて学習済みの第１分類器１２ｂであり、第２分類器２２ｃは学習装置１０にて学習済みの第２分類器１２ｄである。
【0056】
次に、本実施形態の特定装置２０において制御部２１が特定プログラム２２ａを実行することによって実現される機能について説明する。図１８は、実施形態２の特定装置２０の制御部２１によって実現される機能を示すブロック図、図１９は、特定装置２０が行う特定処理の説明図である。本実施形態の特定装置２０の制御部２１は、記憶部２２に記憶してある特定プログラム２２ａを実行した場合、第１画像取得部２０１、第１腫瘍領域抽出部２０２、第１パッチ画像抽出部２０３、第１パッチ判別部２０４、第１算出部２０５、第１判別部２０６、特定部２０７、出力部２０８、第２画像取得部２１１、第２腫瘍領域抽出部２１２、第２パッチ画像抽出部２１３、第２パッチ判別部２１４、第２算出部２１５、第２判別部２１６の各機能を実現する。なお、本実施形態でも、これらの各機能の一部を専用のハードウェア回路で実現してもよい。
【0057】
第１画像取得部２０１、第１腫瘍領域抽出部２０２、第１パッチ画像抽出部２０３、第１パッチ判別部２０４、第１算出部２０５及び第１判別部２０６のそれぞれは、実施形態１において図８に示した画像取得部２０１、腫瘍領域抽出部２０２、パッチ画像抽出部２０３、パッチ判別部２０４、算出部２０５及び判別部２０６のそれぞれと同じ処理を行う。即ち、第１画像取得部２０１は、診断対象の患者のＴ２強調画像（スライス画像）を取得する。第１腫瘍領域抽出部２０２は、第１画像取得部２０１が取得したＴ２強調画像のそれぞれから脳腫瘍領域を抽出し、第１パッチ画像抽出部２０３は、第１腫瘍領域抽出部２０２が抽出した脳腫瘍領域から複数のパッチ画像を抽出する。
【0058】
第１パッチ判別部２０４は、第１パッチ画像抽出部２０３が抽出したパッチ画像（Ｔ２強調画像のパッチ画像）のそれぞれを第１分類器２２ｂに入力し、第１分類器２２ｂからの出力値を取得する。第１分類器２２ｂの出力値は、５種類の脳腫瘍（膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍、神経鞘腫）のそれぞれに対する分類確率である。第１パッチ判別部２０４は、１人の患者における複数のＴ２強調画像のそれぞれから抽出されたパッチ画像についてそれぞれ判別処理を行い、図９に示すテーブルのように判別結果（５種類の脳腫瘍に対する分類確率）を記憶する。第１算出部２０５は、第１パッチ判別部２０４による判別結果に基づいて、それぞれのＴ２強調画像（スライス画像）に対する脳腫瘍の種類毎の分類確率を算出する。
【0059】
第１判別部２０６は、第１算出部２０５がそれぞれのＴ２強調画像（スライス画像）について算出した脳腫瘍の種類毎の分類確率に基づいて、この患者における脳腫瘍の種類毎の分類確率（第１確率）を算出する。ここでも、第１判別部２０６は、例えば、それぞれのＴ２強調画像における脳腫瘍領域の大きさ（面積）に応じた重み付けを行って、脳腫瘍の種類毎の分類確率の加重平均値を算出し、患者における脳腫瘍の種類毎の分類確率とする。
【0060】
第２画像取得部２１１、第２腫瘍領域抽出部２１２、第２パッチ画像抽出部２１３、第２パッチ判別部２１４、第２算出部２１５及び第２判別部２１６のそれぞれは、第１画像取得部２０１、第１腫瘍領域抽出部２０２、第１パッチ画像抽出部２０３、第１パッチ判別部２０４、第１算出部２０５及び第１判別部２０６とは処理対象の画像が異なるが、それぞれ同様の処理を行う。よって、詳細については説明を省略する。なお、第１画像取得部２０１が取得するＴ２強調画像と、後述の第２画像取得部２１１が取得するＴ１ＣＥ画像とは、同じ患者の脳（撮影対象）の同じ箇所（同一部分）での断面画像である。このようなＴ２強調画像及びＴ１ＣＥ画像は、同一の画像撮像装置にて同じ撮影タイミングでパラメータを異ならせて撮影されたものであってもよく、異なる画像撮像装置にて同じ撮影タイミングで撮影されたものであってもよく、１つの画像撮像装置にて撮影した後に異なる画像処理を行うことによって生成されたものでもよい。
【0061】
第２画像取得部２１１は、１人の患者から得られた複数のＴ１ＣＥ画像（スライス画像）を取得する。第２腫瘍領域抽出部２１２は、第２画像取得部２１１が取得したＴ１ＣＥ画像のそれぞれから脳腫瘍領域を抽出し、第２パッチ画像抽出部２１３は、第２腫瘍領域抽出部２１２が抽出した脳腫瘍領域から複数のパッチ画像を抽出する。第２パッチ判別部２１４は、第２パッチ画像抽出部２１３が抽出したパッチ画像（Ｔ１ＣＥ画像のパッチ画像）のそれぞれを第２分類器２２ｃに入力し、第２分類器２２ｃからの出力である５種類の脳腫瘍のそれぞれに対する分類確率を取得する。第２パッチ判別部２１４は、１人の患者における複数のＴ１ＣＥ画像のそれぞれから抽出されたパッチ画像についてそれぞれ判別処理を行い、図９に示すテーブルのように判別結果を記憶する。なお、第２パッチ判別部２１４が判別結果を記憶するテーブルは、図９に示すテーブルにおいてＴ２強調画像ＩＤの代わりにＴ１ＣＥ画像ＩＤが記憶される。
【0062】
第２算出部２１５は、第２パッチ判別部２１４による判別結果に基づいて、それぞれのＴ１ＣＥ画像（スライス画像）に対する脳腫瘍の種類毎の分類確率を算出する。第２判別部２１６は、第２算出部２１５がそれぞれのＴ１ＣＥ画像について算出した脳腫瘍の種類毎の分類確率に基づいて、この患者における脳腫瘍の種類毎の分類確率（第２確率）を算出する。ここでも、第２判別部２１６は、Ｔ１ＣＥ画像における脳腫瘍領域の大きさに応じた重み係数を用いて、患者における脳腫瘍の種類毎の分類確率を算出してもよい。
【0063】
本実施形態の特定部２０７は、患者のＴ２強調画像に基づいて第１判別部２０６が算出した脳腫瘍の種類毎の分類確率と、患者のＴ１ＣＥ画像に基づいて第２判別部２１６が算出した脳腫瘍の種類毎の分類確率とに基づいて、この患者における脳腫瘍の種類を特定する。具体的には、特定部（算出部）２０７は、第１判別部２０６が算出した脳腫瘍の種類毎の分類確率と、第２判別部２１６が算出した脳腫瘍の種類毎の分類確率とを統合して、この患者における脳腫瘍の種類毎の分類確率（判別確率）を算出する。例えば特定部２０７は、脳腫瘍の種類毎に、Ｔ２強調画像に基づいて算出された分類確率と、Ｔ１ＣＥ画像に基づいて算出された分類確率との平均値をそれぞれ算出し、統合された確率とする。特定部２０７は、統合した脳腫瘍の種類毎の分類確率のうちで最高の分類確率であった脳腫瘍を、この患者の脳腫瘍に特定する。
【0064】
出力部２０８は、実施形態１において図８に示した出力部２０８と同じ処理を行う。例えば出力部２０８は、特定部２０７による特定結果を表示するための表示情報を生成し、生成した表示情報に基づいて、図１９に示すような特定結果画面を表示部２３に表示する。図１９に示す画面には、特定部２０７が最終的に算出した、この患者における脳腫瘍の種類毎の分類確率（判別確率）が表示され、特定部２０７が特定した脳腫瘍に下線が付されている。また、図１９に示す画面には、特定部２０７が特定した脳腫瘍であることを判断し易い画像として、診断対象のＴ２強調画像のうちで、特定部２０７が特定した脳腫瘍について、第１判別部２０６で最高の分類確率が算出されたＴ２強調画像と、診断対象のＴ１ＣＥ画像のうちで、特定部２０７が特定した脳腫瘍について、第２判別部２１６で最高の分類確率が算出されたＴ１ＣＥ画像とが表示されている。よって、出力部２０８は、上述したようなＴ２強調画像及びＴ１ＣＥ画像をそれぞれ選択し、特定部２０７が脳腫瘍の種類毎に算出した分類確率と共に表示する特定結果画面を生成する。
【0065】
次に、本実施形態の診断支援システムにおいて学習装置１０による学習処理についてフローチャートに基づいて説明する。図２０は実施形態２の学習装置１０による学習処理の手順を示すフローチャートである。以下の処理は、学習装置１０の記憶部１２に記憶してある学習プログラム１２ａを含む制御プログラムに従って制御部１１によって実行される。本実施形態の学習装置１０は、第１教師データＤＢ１２ｃに記憶されているＴ２強調画像の第１教師データを用いて第１分類器１２ｂを学習させ、第２教師データＤＢ１２ｅに記憶されているＴ１ＣＥ画像の第２教師データを用いて第２分類器１２ｄを学習させる。第１分類器１２ｂの学習処理と第２分類器１２ｄの学習処理とは同じ処理であり、図２０には第１分類器１２ｂの学習処理のみを示す。また、図２０に示す処理は、実施形態１において図１２に示した処理と同じであるので、詳細な説明は省略する。
【0066】
学習装置１０の制御部１１は、第１教師データＤＢ１２ｃからＴ２強調画像の第１教師データを１つ取得し（Ｓ４１）、取得したＴ２強調画像から脳腫瘍領域を抽出する（Ｓ４２）。制御部１１は、抽出した脳腫瘍領域から複数のパッチ画像を抽出し（Ｓ４３）、１つのパッチ画像と、第１教師データに含まれる脳腫瘍の種類を示す情報とを用いて、第１分類器１２ｂを学習させる（Ｓ４４）。制御部１１は、ステップＳ４３でＴ２強調画像から抽出した全てのパッチ画像に対して処理を終了したか否かを判断し（Ｓ４５）、終了していないと判断した場合（Ｓ４５：ＮＯ）、ステップＳ４４の処理に戻り、未処理のパッチ画像を用いて第１分類器１２ｂを学習させる（Ｓ４４）。全てのパッチ画像に対して処理を終了したと判断した場合（４５：ＹＥＳ）、制御部１１は、第１教師データＤＢ１２ｃに記憶してある全ての第１教師データに基づく処理を終了したか否かを判断する（Ｓ４６）。全ての第１教師データに基づく処理を終了していないと判断した場合（Ｓ４６：ＮＯ）、制御部１１は、ステップＳ４１の処理に戻り、未処理の第１教師データを１つ取得する（Ｓ４１）。制御部１１は、取得した第１教師データに基づいてステップＳ４２～Ｓ４５の処理を行う。全ての第１教師データに基づく処理を終了したと判断した場合（Ｓ４６：ＹＥＳ）、制御部１１は、第１分類器１２ｂの学習処理を終了する。
【0067】
学習装置１０の制御部１１は、図２０に示す処理と同様の処理によって、第２教師データＤＢ１２ｅに記憶されているＴ１ＣＥ画像の第２教師データを用いて第２分類器１２ｄを学習させる。なお、第２分類器１２ｄの学習処理では、図２０中のステップＳ４１で、制御部１１は、第２教師データＤＢ１２ｅからＴ１ＣＥ画像の第２教師データを取得する。またステップＳ４４で、制御部１１は、Ｔ１ＣＥ画像から抽出されたパッチ画像と、第２教師データに含まれる脳腫瘍の種類を示す情報とを用いて第２分類器１２ｄを学習させる。上述した処理により、Ｔ２強調画像に基づいて脳腫瘍の種類を判別する第１分類器１２ｂと、Ｔ１ＣＥ画像に基づいて脳腫瘍の種類を判別する第２分類器１２ｄとを学習させることができ、学習済みの第１分類器１２ｂ及び第２分類器１２ｄが得られる。
【0068】
次に、本実施形態の診断支援システムにおいて特定装置２０による特定処理についてフローチャートに基づいて説明する。図２１及び図２２は、特定装置２０による特定処理の手順を示すフローチャートである。特定装置２０の記憶部２２には、学習装置１０によって学習済みの第１分類器２２ｂ及び第２分類器２２ｃが記憶されている。また、記憶部２２には、診断対象の患者の脳のＴ２強調画像及びＴ１ＣＥ画像がそれぞれ複数枚ずつ記憶されている。図２１に示す処理では、特定装置２０の制御部２１は、ステップＳ５１～Ｓ５９の処理とステップＳ６１～Ｓ６９の処理とを並列に実行するが、一方の処理を実行した後に他方の処理を実行してもよい。
【0069】
特定装置２０の制御部２１は、診断対象の患者のＴ２強調画像のうちの１つを取得する（Ｓ５１）。制御部２１は、取得したＴ２強調画像から脳腫瘍領域を抽出し（Ｓ５２）、抽出した脳腫瘍領域から複数のパッチ画像を抽出する（Ｓ５３）。そして、制御部２１は、１つのパッチ画像に対する脳腫瘍の種類を第１分類器２２ｂにて判別し（Ｓ５４）、判別結果を記憶部２２に記憶する（Ｓ５５）。判別結果とは、第１分類器２２ｂから出力される脳腫瘍の種類毎の分類確率である。制御部２１は、ステップＳ５３でＴ２強調画像から抽出した全てのパッチ画像に対して処理を終了したか否かを判断し（Ｓ５６）、終了していないと判断した場合（Ｓ５６：ＮＯ）、ステップＳ５４の処理に戻り、未処理のパッチ画像に対してステップＳ５４～Ｓ５５の処理を行う。
【0070】
全てのパッチ画像に対して処理を終了したと判断した場合（Ｓ５６：ＹＥＳ）、制御部２１は、記憶部２２に記憶した各パッチ画像に対する脳腫瘍の種類毎の分類確率に基づいて、ステップＳ５１で取得したＴ２強調画像（スライス画像）に対する脳腫瘍の種類毎の分類確率を算出する（Ｓ５７）。例えば制御部２１は、脳腫瘍の種類毎に、各パッチ画像に基づく分類確率の平均値を算出し、スライス画像（Ｔ２強調画像）に対する分類確率とする。
【0071】
制御部２１は、全てのＴ２強調画像に対して処理を終了したか否かを判断する（Ｓ５８）。全てのＴ２強調画像に対して処理を終了していないと判断した場合（Ｓ５８：ＮＯ）、制御部２１は、ステップＳ５１の処理に戻り、未処理のＴ２強調画像を１つ取得する（Ｓ５１）。制御部２１は、取得したＴ２強調画像に対してステップＳ５２～Ｓ５７の処理を行う。全てのＴ２強調画像に対して処理を終了したと判断した場合（Ｓ５８：ＹＥＳ）、制御部２１は、各Ｔ２強調画像に対する脳腫瘍の種類毎の分類確率に基づいて、この患者に対する脳腫瘍の種類毎の分類確率を算出する（Ｓ５９）。
【0072】
一方、制御部２１は、患者のＴ１ＣＥ画像のうちの１つを取得し（Ｓ６１）、取得したＴ１ＣＥ画像から脳腫瘍領域を抽出し（Ｓ６２）、抽出した脳腫瘍領域から複数のパッチ画像を抽出する（Ｓ６３）。そして、制御部２１は、１つのパッチ画像に対する脳腫瘍の種類を第２分類器２２ｃにて判別し（Ｓ６４）、判別結果を記憶部２２に記憶する（Ｓ６５）。制御部２１は、全てのパッチ画像に対して処理を終了したか否かを判断し（Ｓ６６）、終了していないと判断した場合（Ｓ６６：ＮＯ）、ステップＳ６４の処理に戻り、未処理のパッチ画像に対してステップＳ６４～Ｓ６５の処理を行う。
【0073】
全てのパッチ画像に対して処理を終了したと判断した場合（Ｓ６６：ＹＥＳ）、制御部２１は、記憶部２２に記憶した各パッチ画像に対する脳腫瘍の種類毎の分類確率に基づいて、ステップＳ６１で取得したＴ１ＣＥ画像（スライス画像）に対する脳腫瘍の種類毎の分類確率を算出する（Ｓ６７）。制御部２１は、全てのＴ１ＣＥ画像に対して処理を終了したか否かを判断する（Ｓ６８）。全てのＴ１ＣＥ画像に対して処理を終了していないと判断した場合（Ｓ６８：ＮＯ）、制御部２１は、ステップＳ６１の処理に戻り、未処理のＴ１ＣＥ画像を１つ取得する（Ｓ６１）。制御部２１は、取得したＴ１ＣＥ画像に対して、ステップＳ６２～Ｓ６７の処理を行う。全てのＴ１ＣＥ画像に対して処理を終了したと判断した場合（Ｓ６８：ＹＥＳ）、制御部２１は、各Ｔ１ＣＥ画像に対する脳腫瘍の種類毎の分類確率に基づいて、この患者に対する脳腫瘍の種類毎の分類確率を算出する（Ｓ６９）。
【0074】
制御部２１は、ステップＳ５９でＴ２強調画像に基づいて算出した脳腫瘍の種類毎の分類確率と、ステップＳ６９でＴ１ＣＥ画像に基づいて算出した脳腫瘍の種類毎の分類確率とを統合して、この患者に対する脳腫瘍の種類毎の分類確率を算出する（Ｓ７１）。制御部２１は、算出した患者に対する脳腫瘍の種類毎の分類確率を判別結果として表示するための表示情報を生成する（Ｓ７２）。そして、制御部２１は、生成した表示情報に基づいて、特定装置２０による判別結果を表示部２３に表示する（Ｓ７３）。これにより、例えば図１９に示すような画面が表示部２３に表示され、特定装置２０による判別結果が通知される。
【0075】
本実施形態では、実施形態１と同様の効果が得られる。即ち、本実施形態では、患者のＴ２強調画像及びＴ１ＣＥ画像に基づいて、５種類の脳腫瘍のそれぞれについて、この患者の脳腫瘍である可能性を通知できる。よって、医師は、Ｔ２強調画像及びＴ１ＣＥ画像に基づいて脳腫瘍の種類を診断する際に考慮でき、医師による診断を支援できる。医師が全ての医用画像を目視で確認することは困難であるが、特定装置２０は全ての医用画像を用いて判別を行うので、医用画像を有効に利用できる。また、特定装置２０による判別結果として、可能性が高いと特定された脳腫瘍であることを判断し易いＴ２強調画像又はＴ１ＣＥ画像を通知することができる。よって、通知されたＴ２強調画像又はＴ１ＣＥ画像に基づいて診断を行うことができた場合、医師は全ての画像を確認する必要がなく、医師による診断の負担を軽減できる。
【0076】
本実施形態の特定装置２０は、第１分類器２２ｂを用いたＴ２強調画像に基づく判別結果と、第２分類器２２ｃを用いたＴ１ＣＥ画像に基づく判別結果とを統合して、患者の脳腫瘍の種類を判別する。これにより、判別精度が向上する。出願人は、特定装置２０による判別処理の精度を評価するための評価実験を行った。図２３はテストデータの構成を示す図表、図２４は特定装置２０による判別精度を示す図表である。評価実験では、膠芽腫、悪性リンパ腫、髄膜腫、転移性腫瘍及び神経鞘腫のそれぞれの脳腫瘍に対して、図２３に示すスライス画像数のＴ２強調画像及びＴ１ＣＥ画像（スライス画像）をそれぞれテストデータとして用いた。また、テストデータのＴ２強調画像及びＴ１ＣＥ画像のそれぞれから、図２３に示すパッチ画像数のパッチ画像が抽出されて判別処理に用いられた。
【0077】
特定装置２０は、図２３に示すようなテストデータを５種類用いて判別処理を行い、図２４に示すような結果が得られた。感度は、それぞれの患者のＴ２強調画像及びＴ１ＣＥ画像（テストデータ）に基づいて、正解の脳腫瘍に対して正解の脳腫瘍であると判別できた割合（正解の脳腫瘍に対して最高の分類確率を出力できた割合）を示す。特異度は、それぞれの患者のＴ２強調画像及びＴ１ＣＥ画像に基づいて、不正解の脳腫瘍に対して不正解の脳腫瘍であると判別できた割合（不正解の脳腫瘍に対して低い分類確率を出力できた割合）を示す。分類精度は、各テストデータの患者に対して、Ｔ２強調画像に基づいて正解の脳腫瘍であると判別できた割合、Ｔ１ＣＥ画像に基づいて正解の脳腫瘍であると判別できた割合、第１分類器２２ｂ及び第２分類器２２ｃによる判別結果を統合した分類確率に基づいて正解の脳腫瘍であると判別できた割合をそれぞれ示す。図２４に示す結果では、Ｔ２強調画像に基づいて正解の脳腫瘍を判別できた割合及びＴ１ＣＥ画像に基づいて正解の脳腫瘍を判別できた割合と比較して、第１分類器２２ｂ及び第２分類器２２ｃによる判別結果を統合して最終的に正解の脳腫瘍を判別できた割合が高い値となっている。よって、異なる医用画像に対して、それぞれの医用画像用の分類器を用いた判別処理を行い、それぞれの判別結果を統合することによって、判別精度を向上させることができる。
【0078】
本実施形態では、診断対象の画像としてＴ２強調画像及びＴ１ＣＥ画像を用いたが、診断対象に用いる医用画像はこの組合せに限定されない。また、本実施形態において、学習装置１０は、教師データのＴ２強調画像及びＴ１ＣＥ画像からそれぞれパッチ画像を抽出し、パッチ画像にて分類器１２ｂ，１２ｄを学習させる代わりに、教師データのＴ２強調画像及びＴ１ＣＥ画像をそのまま用いて分類器１２ｂ，１２ｄを学習させてもよい。同様に、特定装置２０は、診断対象の患者のＴ２強調画像及びＴ１ＣＥ画像からそれぞれパッチ画像を抽出し、パッチ画像にて分類器２２ｂ，２２ｃによる判別処理を行う代わりに、Ｔ２強調画像及びＴ１ＣＥ画像をそのまま用いて分類器２２ｂ，２２ｃによる判別処理を行ってもよい。
【0079】
（実施形態３）
実施形態３の診断支援システムについて説明する。本実施形態の診断支援システムの各装置は、実施形態２の各装置と同じ構成を有するので、構成については説明を省略する。本実施形態では、特定装置２０が、患者のＴ２強調画像に基づいて算出した脳腫瘍の種類毎の分類確率と、患者のＴ１ＣＥ画像に基づいて算出した脳腫瘍の種類毎の分類確率とを統合する際に、それぞれの分類確率に重み付けを行う。例えば、それぞれの脳腫瘍に対して算出した分類確率が同程度の値であった場合（例えば、全ての脳腫瘍の分類確率が２０％程度であった場合）、この分類確率に対する重み係数を小さい値（例えば０）とする。全ての脳腫瘍の分類確率が同程度である場合とは、いずれの脳腫瘍であるかを判別できていない状況であり、この判別結果（分類確率）の確信度（有効度合）は低いと考えられる。よって、このような判別結果には小さい値の重み係数を設定する。
実施形態３の診断支援システムについて説明する。本実施形態の診断支援システムの各装置は、実施形態２の各装置と同じ構成を有するので、構成については説明を省略する。本実施形態では、特定装置２０が、患者のＴ２強調画像に基づいて算出した脳腫瘍の種類毎の分類確率と、患者のＴ１ＣＥ画像に基づいて算出した脳腫瘍の種類毎の分類確率とを統合する際に、それぞれの分類確率に重み付けを行う。例えば、それぞれの脳腫瘍に対して算出した分類確率が同程度の値であった場合（例えば、全ての脳腫瘍の分類確率が２０％程度であった場合）、この分類確率に対する重み係数を小さい値（例えば０）とする。全ての脳腫瘍の分類確率が同程度である場合とは、いずれの脳腫瘍であるかを判別できていない状況であり、この判別結果（分類確率）の確信度（有効度合）は低いと考えられる。よって、このような判別結果には小さい値の重み係数を設定する。
【0080】
また、それぞれの脳腫瘍に対して算出した分類確率において、１つの脳腫瘍に対する分類確率が突出している場合（例えば、１つの脳腫瘍の分類確率が１００％に近い値であった場合）、この分類確率に対する重み係数を大きい値（例えば１）とする。１つの脳腫瘍の分類確率が突出している場合とは、１つの脳腫瘍であると判別できている状況であり、この判別結果（分類確率）の確信度（有効度合）は高いと考えられる。よって、このような判別結果には大きい値の重み係数を設定する。更に、これら以外の場合、例えば、２つの脳腫瘍の分類確率が同程度の値であり、他の３つよりも高い値である場合、又は、３つの脳腫瘍の分類確率が同程度の値であり、他の２つよりも高い値である場合、この分類確率に対する重み係数を中間の値（例えば０．５）とする。
【0081】
従って、本実施形態の特定装置２０において、図１８に示す特定部２０７は、患者のＴ２強調画像に基づいて第１判別部２０６が算出した脳腫瘍の種類毎の分類確率が、全て同程度であるか、１つだけ突出しているか、又はそれ以外であるかに応じて、例えば０、１又は０．５のいずれかの重み係数を設定する。同様に特定部２０７は、患者のＴ１ＣＥ画像に基づいて第２判別部２１６が算出した脳腫瘍の種類毎の分類確率が、全て同程度であるか、１つだけ突出しているか、又はそれ以外であるかに応じて、例えば０、１又は０．５のいずれかの重み係数を設定する。そして、特定部２０７は、脳腫瘍の種類毎に、Ｔ２強調画像に基づいて第１判別部２０６が算出した分類確率と、Ｔ１ＣＥ画像に基づいて第２判別部２１６が算出した分類確率と、それぞれに設定した重み係数とを用いて加重平均値を算出する。特定部２０７は、算出した加重平均値を、この患者における脳腫瘍の種類毎の最終的な分類確率とする。
【0082】
本実施形態では、上述した実施形態２と同様の効果が得られる。また本実施形態では、患者のＴ２強調画像及びＴ１ＣＥ画像のそれぞれから算出した脳腫瘍の種類毎の分類確率を統合する際に、それぞれの分類確率の確信度（有効度合）に応じた重み付けを行うことができる。よって、確信度が低い判別結果の影響を小さくし、確信度が高い判別結果の影響を大きくした判別結果を得ることができ、判別結果の信頼性を向上させることができる。
【0083】
（実施形態４）
実施形態４の診断支援システムについて説明する。本実施形態の診断支援システムの各装置は、実施形態２の各装置と同じ構成を有するので、構成については説明を省略する。
実施形態４の診断支援システムについて説明する。本実施形態の診断支援システムの各装置は、実施形態２の各装置と同じ構成を有するので、構成については説明を省略する。
【0084】
図２５は、実施形態４の特定装置２０の制御部２１によって実現される機能を示すブロック図である。本実施形態の特定装置２０の制御部２１は、特定プログラム２２ａを実行した場合、第１画像取得部２０１、第１腫瘍領域抽出部２０２、第１パッチ画像抽出部２０３、第１パッチ判別部２０４、第１算出部２０５、第１判別部２０６、特定部２０７、出力部２０８、第２画像取得部２１１、第２腫瘍領域抽出部２１２、第２パッチ画像抽出部２１３、第２パッチ判別部２１４、第２算出部２１５、第２判別部２１６のほかに、第１腫瘍特定部２０９及び第２腫瘍特定部２１０の各機能を実現する。図２５では、第１画像取得部２０１、第１腫瘍領域抽出部２０２、第２画像取得部２１１、第２腫瘍領域抽出部２１２、第１腫瘍特定部２０９及び第２腫瘍特定部２１０以外の機能の図示を省略する。
【0085】
本実施形態の特定装置２０において、第１腫瘍特定部２０９は、第１画像取得部２０１が取得したＴ２強調画像に対して、所定の脳腫瘍の有無を検出し、脳腫瘍を検出した場合、脳腫瘍の領域を特定する。所定の脳腫瘍とは、第１分類器２２ｂによって判別可能な脳腫瘍である。第１腫瘍特定部２０９は、例えばディープラーニングによる学習済みの認識モデルを用いて、第１画像取得部２０１が取得したＴ２強調画像中の脳腫瘍領域を検出する。医師等によって所望の領域を脳腫瘍領域として特定装置２０に指示してもよい。よって、本実施形態の第１腫瘍領域抽出部２０２は、第１画像取得部２０１が取得したＴ２強調画像から、第１腫瘍特定部２０９が特定した脳腫瘍領域を抽出する。同様に、第２腫瘍特定部２１０は、第２画像取得部２１１が取得したＴ１ＣＥ画像に対して、所定の脳腫瘍の有無を検出し、脳腫瘍を検出した場合、脳腫瘍の領域を特定する。よって、本実施形態の第２腫瘍領域抽出部２１２は、第２画像取得部２１１が取得したＴ１ＣＥ画像から、第２腫瘍特定部２１０が特定した脳腫瘍領域を抽出する。
【0086】
図２６は、実施形態４の特定装置２０による特定処理の手順の一部を示すフローチャートである。図２６に示す処理は、図２１に示した実施形態２の処理において、ステップＳ５１，Ｓ５２の処理の間にステップＳ８１，Ｓ８２の処理を追加し、ステップＳ６１，Ｓ６２の処理の間にステップＳ８３，Ｓ８４の処理を追加したものである。図２６では、図２１中のステップＳ５１，Ｓ５２，Ｓ６１，Ｓ６２以外のステップの図示を省略する。
【0087】
本実施形態の特定装置２０では、制御部２１は、診断対象の患者のＴ２強調画像のうちの１つを取得し（Ｓ５１）、取得したＴ２強調画像に対して、脳腫瘍領域を特定する特定処理を実行する（Ｓ８１）。制御部２１は、特定処理によって脳腫瘍領域を特定できたか否かを判断し（Ｓ８２）、特定できたと判断した場合（Ｓ８２：ＹＥＳ）、取得したＴ２強調画像から、ステップＳ８１で特定した脳腫瘍領域を抽出し（Ｓ５２）、ステップＳ５３以降の処理を行う。Ｔ２強調画像中に脳腫瘍領域を特定できないと判断した場合（Ｓ８２：ＮＯ）、制御部２１は、このＴ２強調画像に対する以降の処理を終了する。また、制御部２１は、診断対象の患者のＴ１ＣＥ画像のうちの１つを取得し（Ｓ６１）、取得したＴ１ＣＥ画像に対して、脳腫瘍領域を特定する特定処理を実行する（Ｓ８３）。制御部２１は、特定処理によって脳腫瘍領域を特定できたか否かを判断し（Ｓ８４）、特定できたと判断した場合（Ｓ８４：ＹＥＳ）、取得したＴ１ＣＥ画像から、ステップＳ８３で特定した脳腫瘍領域を抽出し（Ｓ６２）、ステップＳ６３以降の処理を行う。Ｔ１ＣＥ画像中に脳腫瘍領域を特定できないと判断した場合（Ｓ８４：ＮＯ）、制御部２１は、このＴ１ＣＥ画像に対する以降の処理を終了する。
【0088】
本実施形態では、上述した実施形態２と同様の効果が得られる。また本実施形態では、診断対象の医用画像（Ｔ２強調画像及びＴ１ＣＥ画像）中に脳腫瘍領域が有るか否かを判断し、有る場合に、この脳腫瘍領域（医用画像）に基づく判別処理を行う。よって、例えば脳ドック等で多数の患者から撮影された膨大な医用画像を医師が確認する前に、特定装置２０による判別処理によって、脳腫瘍を患っている可能性のある患者を抽出することができる。よって、医師は、脳腫瘍の可能性が高い患者の医用画像を優先的に確認することができ、医師による診断の負担を軽減できると共に、診断漏れを抑制できる。本実施形態の構成は実施形態１，３にも適用可能であり、実施形態１，３に適用した場合であっても同様の効果が得られる。
【0089】
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本開示の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0090】
２０ 特定装置
２１ 制御部
２２ 記憶部
２０１ 画像取得部、第１画像取得部
２０２ 腫瘍領域抽出部、第１腫瘍領域抽出部
２０３ パッチ画像抽出部、第１パッチ画像抽出部
２０４ パッチ判別部、第１パッチ判別部
２０５ 算出部（平均算出部）
２０６ 判別部、第１判別部
２０７ 特定部
２０８ 出力部
２１１ 第２画像取得部
２１２ 第２腫瘍領域抽出部
２１３ 第２パッチ画像抽出部
２１４ 第２パッチ判別部
２１５ 第２算出部
２１６ 第２判別部
２１ 制御部
２２ 記憶部
２０１ 画像取得部、第１画像取得部
２０２ 腫瘍領域抽出部、第１腫瘍領域抽出部
２０３ パッチ画像抽出部、第１パッチ画像抽出部
２０４ パッチ判別部、第１パッチ判別部
２０５ 算出部（平均算出部）
２０６ 判別部、第１判別部
２０７ 特定部
２０８ 出力部
２１１ 第２画像取得部
２１２ 第２腫瘍領域抽出部
２１３ 第２パッチ画像抽出部
２１４ 第２パッチ判別部
２１５ 第２算出部
２１６ 第２判別部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】