特許 7023162 予測装置、予測方法、及び予測プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-10

(45)【発行日】2022-02-21

(54)【発明の名称】予測装置、予測方法、及び予測プログラム

(51)【国際特許分類】

   A61B 6/03 20060101AFI20220214BHJP

   A61B 5/055 20060101ALI20220214BHJP

【ＦＩ】

A61B6/03 360Z

A61B6/03 360P

A61B6/03 360D

A61B5/055 380

A61B5/055 390

【請求項の数】 9

(21)【出願番号】P 2018071718

(22)【出願日】2018-04-03

(65)【公開番号】P2019180545

(43)【公開日】2019-10-24

【審査請求日】2020-07-20

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】北村 嘉郎

【審査官】増渕 俊仁

(56)【参考文献】

【文献】国際公開第２０１８／０４８５０７（ＷＯ，Ａ１）

【文献】特表２０１３－５４４５９５（ＪＰ，Ａ）

【文献】特開２０１３－１６５７６５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００－６／１４

Ａ６１Ｂ ５／０５５

(57)【特許請求の範囲】

【請求項1】

同一の被写体を撮影した撮影対象の形態を表す形態画像である医用の撮影画像、及び撮影対象の機能を表す機能画像である医用の撮影画像の組合せについて、前記形態画像である医用の撮影画像と、前記形態画像である医用の撮影画像中の解剖学的構造を抽出した抽出結果とを入力とし、前記機能画像である医用の撮影画像を出力とさせる機械学習を行わせて予測モデルを生成させる学習部と、
前記予測モデルに形態画像である医用の撮影画像を入力させ、入力させた医用の撮影画像と異なる機能画像である医用の撮影画像を出力させる制御を行う制御部と、
を備えた予測装置。

【請求項2】

前記形態画像は、血管の領域及び髄液が流れる領域の少なくとも一方の形態を表し、
前記機能画像は、梗塞及び壊死の少なくとも一方の状態を表す、
請求項１に記載の予測装置。

【請求項3】

前記予測モデルに入力される医用の撮影画像、及び前記予測モデルから出力される医用の撮影画像の一方は、ＣＴ（Computed Tomography）によって撮影された画像であり、他方はＭＲＩ（Magnetic Resonance Imaging）によって撮影された画像、ＰＥＴ（Positron Emission computed Tomography）によって撮影された画像、及び拡散強調画像のいずれかである、
請求項１または請求項２に記載の予測装置。

【請求項4】

前記被写体は、心臓または脳である、
請求項１から請求項３のいずれか１項に記載の予測装置。

【請求項5】

前記制御部は、前記予測モデルから出力される医用の撮影画像を表示部に表示させる、
請求項１から請求項４のいずれか１項に記載の予測装置。

【請求項6】

前記制御部は、前記予測モデルから出力される医用の撮影画像から前記被写体に異常が生じている異常領域を抽出し、前記異常領域を抽出した前記医用の撮影画像に対応する前記予測モデルに入力させた医用の撮影画像と、前記異常領域を表す情報とを表示部に表示させる、
請求項１から請求項５のいずれか１項に記載の予測装置。

【請求項7】

前記学習部は、前記機械学習において、前記形態画像である医用の撮影画像と前記機能画像である医用の撮影画像とにおける前記被写体の位置を揃えておく、
請求項１から請求項６のいずれか１項に記載の予測装置。

【請求項8】

コンピュータに、
同一の被写体を撮影した撮影対象の形態を表す形態画像である医用の撮影画像、及び撮影対象の機能を表す機能画像である医用の撮影画像の組合せについて、前記形態画像である医用の撮影画像と、前記形態画像である医用の撮影画像中の解剖学的構造を抽出した抽出結果とを入力とし、前記機能画像である医用の撮影画像を出力とさせる機械学習を行わせて予測モデルを生成させ、
前記予測モデルに形態画像である医用の撮影画像を入力させ、入力させた医用の撮影画像と異なる機能画像である医用の撮影画像を出力させる制御を行う、
処理を実行させるための予測方法。

【請求項9】

コンピュータに、
同一の被写体を撮影した撮影対象の形態を表す形態画像である医用の撮影画像、及び撮影対象の機能を表す機能画像である医用の撮影画像の組合せについて、前記形態画像である医用の撮影画像と、前記形態画像である医用の撮影画像中の解剖学的構造を抽出した抽出結果とを入力とし、前記機能画像である医用の撮影画像を出力とさせる機械学習を行わせて予測モデルを生成させ、
前記予測モデルに形態画像である医用の撮影画像を入力させ、入力させた医用の撮影画像と異なる機能画像である医用の撮影画像を出力させる制御を行う、
処理を実行させるための予測プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、予測装置、予測方法、及び予測プログラムに関する。

【背景技術】

【0002】

従来、医師による診断等において、同一の被写体の同一の部位を撮影した種類が異なる複数の撮影画像、特に医用の撮影画像を参照することが行われている。例えば、ＣＴComputed Tomography）による撮影画像と、ＭＲＩ（Magnetic Resonance Imaging）による撮影画像とを用いて診断を行う場合がある。このような診断を支援するための技術として、例えば、特許文献１には、第１の医用の撮影画像と類似し、かつ画像フォーマットが異なる第２の医用の撮影画像を検索することで診断の支援を行う技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－２００５９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、医師等が診断等を行う場合に、一種類の撮影画像しかない場合がある。例えば、ＣＴによる撮影画像しか有していない状態で診断を行う場合がある。このような場合、特許文献１に記載の技術は適用することができない。

【0005】

本開示は、以上の事情を鑑みて成されたものであり、医師等が診断を行う場合に一種類の撮影画像しかない場合でも、診断の支援を行うことができる予測装置、予測方法、及び予測プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本開示の第１の態様の予測装置は、同一の被写体を撮影した撮影対象の形態を表す形態画像である医用の撮影画像、及び撮影対象の機能を表す機能画像である医用の撮影画像の組合せについて、形態画像である医用の撮影画像と、形態画像である医用の撮影画像中の解剖学的構造を抽出した抽出結果とを入力とし、機能画像である医用の撮影画像を出力とさせる機械学習を行わせて予測モデルを生成させる学習部と、予測モデルに形態画像である医用の撮影画像を入力させ、入力させた医用の撮影画像と異なる機能画像である医用の撮影画像を出力させる制御を行う制御部と、を備える。

【0009】

本開示の第２の態様の予測装置は、第３の態様の予測装置において、形態画像は、血管の領域及び髄液が流れる領域の少なくとも一方の形態を表し、機能画像は、梗塞及び壊死の少なくとも一方の状態を表す。

【0010】

本開示の第３の態様の予測装置は、第１の態様または第２の態様の予測装置において、予測モデルに入力される医用の撮影画像、及び予測モデルから出力される医用の撮影画像の一方は、ＣＴ（Computed Tomography）によって撮影された画像であり、他方はＭＲＩ（Magnetic Resonance Imaging）によって撮影された画像、ＰＥＴ（Positron Emission computed Tomography）によって撮影された画像、及び拡散強調画像のいずれかである。

【0011】

本開示の第４の態様の予測装置は、第１の態様から第３の態様のいずれか１態様の予測装置において、被写体は、心臓または脳である。

【0012】

本開示の第５の態様の予測装置は、第１の態様から第４の態様のいずれか１態様の予測装置において、制御部は、予測モデルから出力される医用の撮影画像を表示部に表示させる。

【0013】

本開示の第６の態様の予測装置は、第１の態様から第５の態様のいずれか１態様の予測装置において、制御部は、予測モデルから出力される医用の撮影画像から被写体に異常が生じている異常領域を抽出し、異常領域を抽出した医用の撮影画像に対応する予測モデルに入力させた医用の撮影画像と、異常領域を表す情報とを表示部に表示させる。

【0015】

本開示の第７の態様の予測装置は、第１の態様から第６の態様のいずれか１態様の予測装置において、学習部は、機械学習において、形態画像である医用の撮影画像と機能画像である医用の撮影画像とにおける被写体の位置を揃えておく。

【0016】

一方、上記目的を達成するために、本開示の第８の態様の予測方法は、コンピュータに、同一の被写体を撮影した撮影対象の形態を表す形態画像である医用の撮影画像、及び撮影対象の機能を表す機能画像である医用の撮影画像の組合せについて、形態画像である医用の撮影画像と、形態画像である医用の撮影画像中の解剖学的構造を抽出した抽出結果とを入力とし、機能画像である医用の撮影画像を出力とさせる機械学習を行わせて予測モデルを生成させ、予測モデルに形態画像である医用の撮影画像を入力させ、入力させた医用の撮影画像と異なる機能画像である医用の撮影画像を出力させる制御を行う、処理を実行させるための予測方法である。

【0017】

また、上記目的を達成するために、本開示の第９の態様の予測プログラムは、コンピュータに、同一の被写体を撮影した撮影対象の形態を表す形態画像である医用の撮影画像、及び撮影対象の機能を表す機能画像である医用の撮影画像の組合せについて、形態画像である医用の撮影画像と、形態画像である医用の撮影画像中の解剖学的構造を抽出した抽出結果とを入力とし、機能画像である医用の撮影画像を出力とさせる機械学習を行わせて予測モデルを生成させ、予測モデルに形態画像である医用の撮影画像を入力させ、入力させた医用の撮影画像と異なる機能画像である医用の撮影画像を出力させる制御を行う、処理を実行させるための予測プログラムである。

【発明の効果】

【0018】

本開示によれば、医師等が診断を行う場合に一種類の撮影画像しかない場合でも、診断の支援を行うことができる。

【図面の簡単な説明】

【0019】

【図1】第１実施形態の予測システムの構成の一例を示すブロック図である。

【図2】第１実施形態の予測装置のハードウェア構成の一例を示すブロック図である。

【図3】第１実施形態の予測装置の機能的な構成の一例を示すブロック図である。

【図4】第１実施形態における予測モデルの生成を説明するための概念図である。

【図5】第１実施形態の予測モデル生成処理の一例を示すフローチャートである。

【図6】第１実施形態における予測第２画像の生成を説明するための概念図である。

【図7】第１実施形態の予測画像生成処理の一例を示すフローチャートである。

【図8】第１実施形態の予測モデルにより生成された予測第２画像等の表示状態を説明するための説明図である。

【図9】第２実施形態における予測モデルの生成を説明するための概念図である。

【図10】第２実施形態の予測モデル生成処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0020】

以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。

【0021】

[第１実施形態]
まず、図１を参照して、本実施形態の予測システム１０の構成を説明する。図１に示すように、本実施形態の予測システム１０は、ｎ（ｎは１以上の整数）台の医用撮影装置１２（医用撮影装置２１２_１～１２_ｎ、総称する場合は「医用撮影装置１２」という）、ＰＡＣＳ（Picture Archiving and Communication System）１４、及び予測装置１６を含む。医用撮影装置１２及びＰＡＣＳ１４は、各々ネットワークに通信が可能に接続されている。また、ＰＡＣＳ１４及び予測装置１６は、各々ネットワークに通信が可能に接続されている。

【0022】

医用撮影装置１２は、患者等の被写体となる人物の撮影対象となる、脳や心臓等の臓器類を撮影し、撮影した医用撮影画像を表す画像データを出力する。医用撮影装置１２は、ＣＴ（Computed Tomography）、ＭＲＩ（Magnetic Resonance Imaging）、ＰＥＴ（Positron Emission computed Tomography）等による医用撮影画像、及び拡散強調画像（ＤＷＩ：Diffusion Weighted Image）等の種類が異なる医用撮影画像のうちの少なくとも一種類の医用撮影画像が得られる装置である。なお、本実施形態において医用撮影画像の「種類が異なる」とは、上述のように、ＣＴ、ＭＲＩ、ＰＥＴやＤＷＩが異なることの他、撮影に用いた装置の種類が異なること、撮影方法が異なること、撮影における撮影者の手技の違い、及び動画か静止画かの違い等を含む。

【0023】

ＰＡＣＳ１４は、医用撮影装置１２により撮影された医用撮影画像を表す画像データを記憶する。

【0024】

予測装置１６は、ＰＡＣＳ１４に記憶された画像データを用いて詳細を後述する予測モデル４４（図３参照）を生成する。また、予測装置１６は、入力された医用撮影画像の画像データから予測した、入力された医用撮影画像と種類が異なる医用撮影画像の画像データを予測モデル４４により生成する。予測装置１６の例としては、パーソナルコンピュータ及びサーバコンピュータ等の情報処理装置が挙げられ、具体例としては、いわゆる、ビューワが挙げられる。

【0025】

次に、図２を参照して、本実施形態の予測装置１６のハードウェア構成を説明する。図２に示すように、予測装置１６は、ＣＰＵ（Central Processing Unit）２０、一時記憶領域としてのメモリ２１、及び不揮発性の記憶部２２を含む。また、予測装置１６は、液晶ディスプレイ等の表示部２３、キーボードとマウス等の入力部２４、及びネットワークＮに接続されるネットワークＩ／Ｆ（InterFace）２５を含む。ＣＰＵ２０、メモリ２１、記憶部２２、表示部２３、入力部２４、及びネットワークＩ／Ｆ２５は、バス２６に接続される。

【0026】

記憶部２２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及びフラッシュメモリ等によって実現される。記憶媒体としての記憶部２２には、予測プログラム３０が記憶される。本実施形態の予測プログラム３０は、予測モデル生成プログラム３２及び予測画像生成プログラム３４を含む。ＣＰＵ２０は、記憶部２２から予測モデル生成プログラム３２及び予測画像生成プログラム３４を各々読み出してからメモリ２１に展開し、展開した予測モデル生成プログラム３２及び予測画像生成プログラム３４を各々実行する。

【0027】

次に、図３を参照して、本実施形態の予測装置１６の機能的な構成について説明する。図３に示すように、予測装置１６は、取得部４０、学習部４２、及び制御部４６を含む。また、本実施形態の予測装置１６は、予測モデル４４を含む。ＣＰＵ２０が予測プログラム３０を実行することで、取得部４０、学習部４２、予測モデル４４、及び制御部４６として機能する。

【0028】

取得部４０は、ＰＡＣＳ１４から、ＰＡＣＳ１４に記憶された画像データを、ネットワークを介して取得する。

【0029】

学習部４２は、取得部４０により取得された画像データを用いて、機械学習により予測モデル４４を生成する。具体的な一例として、同一の被写体の同一の臓器（例えば、脳）を撮影したＣＴの医用撮影画像データから予測されるＭＲＩの医用撮影画像データを出力する予測モデル４４を生成する場合について説明する。なお、以下では説明の便宜上、予測モデル４４に入力される医用撮影画像の画像データを「入力撮影画像」といい、予測モデル４４から出力される医用撮影画像の画像データを「出力撮影画像」という。また、以下では、ＣＴの医用画像を「ＣＴ画像」といい、ＭＲＩの医用撮影画像を「ＭＲＩ画像」という

【0030】

一例として本実施形態では、学習部４２による予測モデル４４の生成処理には、ＧＡＮ（Generative Adversarial Network）を用いた、ＡＩ（Artificial Intelligence）技術を適用する。まず、学習部４２は、同一の被写体の同一の臓器（例えば、脳）を撮影した、ＣＴ画像の画像データと、ＭＲＩ画像の画像データとを準備する。学習部４２は、ＧＮＮのGenerator（学習器）の入力撮影画像をＣＴ画像の画像データとし、Generatorが生成したＭＲＩの画像データを出力撮影画像として、出力されるＭＲＩの画像データと、準備しておいた真のＭＲＩ画像の画像データとの誤差が最小となるように、予測モデル４４を学習させる。さらに学習部４２は、Discriminator（識別器）に出力撮影画像の真偽を判断させる。学習では、Generatorが生成したＭＲＩの画像データと、真のＭＲＩ画像の画像データとの誤差を最小化すると共に、Discriminatorによる真偽の判定率を最大化させる。

【0031】

制御部４６は、取得部４０により取得された画像データを入力撮影画像として、学習部４２により生成された予測モデル４４に入力させ、予測モデル４４に、入力撮影画像から予測される、入力撮影画像と種類が異なる出力撮影画像を生成させる。また、制御部４６は、予測モデル４４が生成して出力した出力撮影画像を表示部２３に表示させる。

【0032】

次に、本実施形態の予測装置１６の作用を説明する。まず、図４及び図５を参照して予測装置１６による予測モデル４４の生成について説明する。図４は、予測装置１６による予測モデル４４の生成を説明するための概念図である。ＣＰＵ２０が予測モデル生成プログラム３２を実行することによって、図５に示す予測モデル生成処理が実行される。また、図５に示す予測モデル生成処理は、例えば、予測システム１０の管理者等による学習の実行の指示が入力部２４により入力されたタイミングや、予め定められた定期的なタイミングで実行される。

【0033】

なお、以下では、予測モデル４４が、第１画像５０から予測される、第２画像５２を生成して出力する形態について説明する。なお、第１画像５０及び第２画像５２は、上述したように同一の被写体の同一の臓器類における種類が異なる医用撮影画像である。

【0034】

図５のステップＳ１００で取得部４０は、ＰＡＣＳ１４から、予測モデル４４の学習に用いる一組の第１画像５０及び第２画像５２を取得する。

【0035】

次のステップＳ１０２で学習部４２は、上述したように取得部４０が取得した第１画像５０及び第２画像５２を用い、第１画像５０を入力撮影画像とし、第１画像５０から予測される予測第２画像５４を出力撮影画像とする機械学習の実行を指示して、予測モデル４４を生成させた後、本予測モデル生成処理を終了する。

【0036】

例えば、心筋梗塞は、冠動脈にプラークが堆積して血流が悪くなった場合に、血流が無くなった領域の心筋が壊死して起きる。心臓のＣＴ画像、特に造影ＣＴ画像は、プラークによって血流が阻害された狭窄部位の観察に好ましい。一方、ＭＲＩ画像、特に遅延造影ＭＲＩ画像は、壊死した心筋領域の観察に好ましい。また、例えば、脳卒中や脳梗塞は、血管内に血栓が生じることにより血流が無くなり、血栓以降の領域が梗塞領域となる。脳のＣＴ画像は、血栓の観察に好ましい。一方、ＭＲＩ画像は、梗塞領域の観察に好ましい。いずれの場合においても、ＣＴ画像は、血液（血管）や髄液の経路等の撮影対象の形態を表す形態画像であり、ＭＲＩ画像は、梗塞や壊死の状態等の撮影対象の機能を表す機能画像であるため、両者を併用することにより、医師等による診断が行い易くなる。

【0037】

このような場合に対応するためには、第１画像５０をＣＴ画像とし、第２画像５２をＭＲＩ画像として予測モデル４４を生成する。このようにＣＴ画像である第１画像５０と、ＭＲＩ画像である第２画像５２とを用いて学習させることにより、ＣＴ画像には写っていない病変部分を周辺の領域を含めて学習するため、本来ＣＴ画像には写っていない部分までもが写ったＭＲＩ画像と同等の予測第２画像５４を生成することができるようになる。

【0038】

なお、本実施形態の予測装置１６は、本予測モデル生成処理を複数回繰り返すことにより、第１画像５０及び第２画像５２の複数の組合せを用いて機械学習を行い、予測モデル４４を生成する。予測モデル４４の生成には、例えば、第１画像５０及び第２画像５２の組合せ毎に、被写体が異なっていたり、同一の被写体であっても撮影時期が異なったりするものを用いる。また、第１画像５０及び第２画像５２の複数の組合せには、撮影対象となる臓器類に病変が生じている組合せが多く含まれることが好ましく、病変が生じていない臓器類を撮影対象とした組合せは含まれていなくてもよい。

【0039】

予測装置１６は、医師等が診断を行う場合に、上記のように図５に示した予測モデル生成処理により生成された予測モデル４４により、予測第２画像５４を生成することで診断の支援を行う。次に、図６及び図７を参照して、予測装置１６による予測画像生成処理について説明する。

【0040】

図６は、診断の支援のために、予測装置１６による予測モデル４４を用いた予測第２画像５４の生成を説明するための概念図である。ＣＰＵ２０が予測画像生成プログラム３４を実行することによって、図７に示す予測画像生成処理が実行される。また、図７に示す予測画像生成処理は、例えば、医師等による診断の支援を要求する指示が入力部２４により入力されたタイミングで実行される。なお、診断の支援を要求する場合、医師等は、入力部２４により、第１画像５０を特定するための指定を行う。具体的には、例えば、患者の識別番号や、医用撮影画像を識別するための識別番号等を入力部２４により指定する。

【0041】

図５のステップＳ１５０で取得部４０は、診断の支援を要求した医師等の指定に応じた第１画像５０を、ＰＡＣＳ１４から取得する。

【0042】

次のステップＳ１５２で制御部４６は、取得部４０が取得した第１画像５０を予測モデル４４に入力させる。図６に示すように、予測モデル４４は、入力された第１画像５０から予測される予測第２画像５４を生成して制御部４６に出力する。

【0043】

次のステップＳ１５４で制御部４６は、予測第２画像５４から異常領域を抽出する。例えば、撮影対象の臓器が脳である場合等、上述したように、予測されたＭＲＩ画像である予測第２画像５４から、梗塞領域を異常領域として抽出する。制御部４６が予測第２画像５４から異常領域を抽出する方法は特に限定されず、例えば、例えば、ＡＩ技術を適用することができる。具体的には、例えば、第２画像５２または予測第２画像５４を入力とし、抽出される異常領域を出力としたディープニューラルネットワークを作成する。次に、第２画像５２または予測第２画像５４と、第２画像５２または予測第２画像５４における異常領域とを含む教師データを用いて、作成したディープニューラルネットワークを学習させることによって得られた学習済みモデルを記憶部２２に予め記憶しておく。制御部４６は、予測モデル４４により生成された予測第２画像５４を学習済みモデルに入力し、学習済みモデルから出力された異常領域を取得することによって、予測第２画像５４から異常領域を抽出する。なお、制御部４６は、既存の画像解析技術を適用して予測第２画像５４から異常領域を抽出してもよい。

【0044】

次のステップＳ１５６で制御部４６は、第１画像５０、予測第２画像５４を表示部２３に表示させる。また、上記ステップＳ１５４で抽出した異常領域を、第１画像５０上に重ねた状態で表示部２３に表示させた後、本予測画像生成処理を終了する。

【0045】

図８には、制御部４６が、第１画像５０、予測第２画像５４、及び異常領域を表す情報５５を表示部２３に表示させた状態の一例を示す。図８に示した一例では、第１画像５０が脳のＣＴ画像であり、予測第２画像５４は、第１画像５０から予測されるＭＲＩの画像である。また、異常領域を表す情報５５は、梗塞領域を示す情報である。このように表示部２３に表示されることにより、医師等は、予測第２画像５４及び異常領域を表す情報５５を参照して、患者の脳梗塞の発生の有無や、梗塞領域について、第１画像５０から予測することができる。

【0046】

[第２実施形態]
本実施形態では、予測装置１６における、予測モデル４４を生成する予測モデル生成処理が第１実施形態の予測モデル生成処理（図４及び図５参照）と異なるため、本実施形態の予測装置１６における、予測モデル生成処理について説明する。

【0047】

図９は、本実施形態の予測装置１６による予測モデル４４の生成を説明するための概念図である。第１実施形態と同様に、ＣＰＵ２０が予測モデル生成プログラム３２を実行することによって、図１０に示す予測モデル生成処理が実行される。

【0048】

なお、以下では、予測モデル４４が、第１画像５０から予測される、第２画像５２を生成して出力する形態について説明する。なお、第１画像５０及び第２画像５２は、上述したように同一の被写体の同一の臓器類における種類が異なる医用撮影画像である。

【0049】

図１０に示した本実施形態の予測モデルせいせいしょりは、ステップＳ１００とＳ１０２との間に、ステップＳ１０１Ａ及びステップＳ１０１Ｂの処理を行う点で、第１実施形態の予測モデル生成処理（図４参照）と異なっており、また、ステップＳ１０２の処理に替わりステップＳ１０３の処理を実行する点で異なっているため、異なる処理について説明する。

【0050】

ステップＳ１０１Ａで学習部４２は、取得部４０が取得した第１画像５０及び第２画像５２の位置、具体的には、解剖学的位置を揃えておく。

【0051】

次のステップＳ１０１Ｂで学習部４２は、第１画像５０から解剖学的構造を抽出し、セグメンテーションを行う。例えば、上述のように、撮影対象の部位が心臓や脳の場合、解剖学的構造として血管の領域を抽出し、抽出した領域をセグメンテーションする。なお、学習部４２が、第１画像５０から解剖学的構造を抽出する方法、及び、抽出結果をセグメンテーションする方法は特に限定されず、公知の技術を適用することができる。本実施形態のセグメンテーション結果５１が、本開示の抽出結果の一例である。

【0052】

次のステップＳ１０３で学習部４２は、図９に示したように、第１画像５０、第２画像５２、及び上記ステップＳ１０１Ｂにより得られたセグメンテーション結果５１を用い、第１画像５０を入力撮影画像とし、第１画像５０から予測される予測第２画像５４を出力撮影画像とする機械学習の実行を指示して、予測モデル４４を生成させた後、本予測モデル生成処理を終了する。

【0053】

このように、本実施形態の学習部４２は、第１画像５０から解剖学的構造を抽出し、抽出結果に応じたセグメンテーション結果５１を、予測モデル４４の学習の手がかりとなる情報として与えて学習を行わせるため、学習の精度を向上させることができる。

【0054】

以上説明したように、本実施形態の予測装置１６は、同一の被写体を撮影した種類が異なる撮影画像の組合せについて、一方の撮影画像を入力とし、他方の撮影画像を出力とさせる機械学習を行わせて予測モデル４４を生成させる学習部４２と、予測モデル４４に入力撮影画像として第１画像５０を入力させ、入力させた撮影画像と種類が異なる撮影画像である予測第２画像５４を出力させる制御を行う制御部４６と、を備える。

【0055】

例えば、ＭＲＩ画像を撮影する装置等は、ＣＴ画像を撮影する装置に比べて高価な傾向がある。また、両方の装置を備えるためには、病院等の施設の規模が大きくなる。そのため、医師等が診断を行う場合に一種類の撮影画像しかない場合がある。このような場合でも、本実施形態の予測装置１６によれば、医師等が診断を行う場合に一種類の撮影画像しかない場合でも、診断の支援を行うことができる。

【0056】

なお、上記各実施形態では、具体的な位置例として第１画像５０がＣＴ画像であり、第２画像５２及び予測第２画像５４がＭＲＩ画像である形態について説明したが、各々上記各実施形態に限定されない。第１画像５０及び第２画像５２は、ＣＴ画像、ＭＲＩ画像の他、例えば、ＰＥＴによって撮影されたＰＥＴ画像や、拡散強調画像のいずれかであってもよいが、第１画像５０は、撮影対処の形態を表す形態画像であることが好ましく、第２画像５２は、撮影対象の機能を表す機能画像であることが好ましい。また、撮影対象の部位は、脳や心臓に限定されないこともいうまでもない。

【0057】

また、上記各実施形態では、予測モデル４４の機械学習にＧＮＮを適用する形態について説明したが学習方法は特に限定されず、ディープラーニングを用いる方法であればよい。例えば、ＣＮＮ（Convolution Neural Network）を適用した機械学習を行う形態としてもよい。

【0058】

また、上記実施形態でＣＰＵがソフトウェア（プログラム）を実行することにより実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上記各種処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0059】

また、上記実施形態では、予測モデル生成プログラム３２及び予測画像生成プログラム３４が記憶部２２に予め記憶（インストール）されている態様を説明したが、これに限定されない。予測プログラム３０は、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、予測モデル生成プログラム３２及び予測画像生成プログラム３４は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【符号の説明】

【0060】

１０ 予測システム
１２、１２_１～１２_ｎ 医用撮影装置
１４ ＰＡＣＳ
１６ 予測装置
２０ ＣＰＵ
２１ メモリ
２２ 記憶部
２３ 表示部
２４ 入力部
２５ ネットワークＩ／Ｆ
２６ バス
３０ 予測プログラム
３２ 予測モデル生成プログラム
３４ 予測画像生成プログラム
４０ 取得部
４２ 学習部
４４ 予測モデル
４６ 表示部
５０ 第１画像
５１ セグメンテーション結果
５２ 第２画像
５４ 予測第２画像
５５ 異常領域を表す情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】