(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-21
(45)【発行日】2024-01-04
(54)【発明の名称】情報処理システム
(51)【国際特許分類】
A61B 5/055 20060101AFI20231222BHJP
【FI】
A61B5/055 380
A61B5/055 383
(21)【出願番号】P 2020029830
(22)【出願日】2020-02-25
【審査請求日】2023-02-10
(73)【特許権者】
【識別番号】520063587
【氏名又は名称】井上 謙一
(74)【代理人】
【識別番号】100166338
【氏名又は名称】関口 正夫
(72)【発明者】
【氏名】井上 謙一
【審査官】蔵田 真彦
(56)【参考文献】
【文献】米国特許出願公開第2019/0122348(US,A1)
【文献】特開2019-216848(JP,A)
【文献】特開2019-180637(JP,A)
【文献】特表2007-503629(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/055
G06T 1/00-19/20
JSTPlus/JMEDPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
機械学習によりモデルを生成又は更新する第1情報処理装置と、当該モデルを使用する情報処理を実行する第2情報処理装置とを含む情報処理システムであって、
前記第1情報処理装置は、
造影剤を使用しない対象物に対して実際にMRIが行われた結果得られる、
脂肪抑制T1強調画像のT1データ、脂肪抑制T2画像のT2データ、及び拡散強調画像DWIのDWIデータを含む第1種画像デー
タを学習データとして用いて、
Convolutional Autoencoderの手法にしたがった所定の機械学習を実行することで、前記第1種画像データが入力された場合に
、造影剤を使用した同一の前記対象物に対して実際にMRIが行われた結果得られる第2種画像データと等価な第3種画像データであって、前記T1データに造影効果を伴った画像データである前記第3種画像データを出力するモデル
であって、前記T1データを入力層から出力層まで繋ぐショートカットをつくることによって前記造影効果のみの前記機械学習の結果として得られたモデルを生成又は更新するモデル生成更新手段
を備え、
前記第2情報処理装置は、
処理対象の前記第1種画像データを取得する取得手段と、
前記取得手段により取得された前記第1種画像データと、前記第1情報処理装置により生成された前記モデルとに基づいて、前記第3種画像データを生成する生成手段と、
を備える情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システムに関する。
【背景技術】
【0002】
従来より、MRI(Magnetic Resonance Imaging)によるスクリーニングが行われている(例えば特許文献1参照)。
例えば、BRCA1/2遺伝子変異を持つ女性は、乳癌の発症リスクが高いと言われている。このため、乳癌のハイリスクグループに対して、乳癌検診として乳房のMRIによるスクリーニングが勧められている。この乳房のMRIでは、乳癌検診の対象者(被験者)に対して、造影剤が用いられている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、乳癌検診の対象者にとって、乳房のMRIが毎年行われる毎に造影剤が用いられることは、アレルギー、ガドリニウムの脳沈着、経済的負担、時間的負担等のデメリットが存在する。
このため、造影剤を用いない単純MRIでも同様の所見が得られるならば、乳癌検診の対象者はもとより医療機関への負担も軽減すると推定される。
即ち、造影剤を用いない単純MRIでも、造影剤を用いた場合と同様の所見が得られる技術の確立の要求がなされているが、このような要求に対して、特許文献1を含め従来の技術では応えられていない状況である。
【0005】
本願発明はこのような状況に鑑みてなされたものであり、造影剤を用いない単純MRIでも、造影剤を用いた場合と同様の所見が得られる技術の確立を目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一態様の情報処理システムは、
機械学習によりモデルを生成又は更新する第1情報処理装置と、当該モデルを使用する情報処理を実行する第2情報処理装置とを含む情報処理システムであって、
前記第1情報処理装置は、
造影剤を使用しない対象物に対して実際にMRIが行われた結果得られる第1種画像データと、造影剤を使用した同一の前記対象物に対して実際にMRIが行われた結果得られる第2種画像データとの組を学習データとして用いて、所定の機械学習を実行することで、前記第1種画像データが入力された場合に前記第2種画像データと等価な第3種画像データを出力するモデルを生成又は更新するモデル生成更新手段
を備え、
前記第2情報処理装置は、
処理対象の前記第1種画像データを取得する取得手段と、
前記取得手段により取得された前記第1種画像データと、前記第1情報処理装置により生成された前記モデルとに基づいて、前記第3種画像データを生成する生成手段と、
を備える。
【発明の効果】
【0007】
本発明によれば、造影剤を用いない単純MRIでも、造影剤を用いた場合と同様の所見を得ることが可能になる。
【図面の簡単な説明】
【0008】
【
図1】本発明の第1実施形態にかかる情報処理システムの構成の例を示す図である。
【
図2】
図1の情報処理システムのうち、本発明の情報処理装置の第1実施形態に係る学習装置のハードウェア構成の一例を示すブロック図である。
【
図3】第1実施形態の
図1の情報処理システム、即ち
図2の学習装置及び造影MRI装置の機能的構成の一例を示す機能ブロック図である。
【
図4】
図3の学習装置により生成又は更新される「造影MRI画像生成モデル」の一例を示す図である。
【
図5】第1実施形態の訓練データにより生成又は更新される
図3のモデルの概要を示す図である。
【
図6】第2実施形態の
図1の情報処理システム、即ち
図2の学習装置及び造影MRI装置の機能的構成の一例を示す機能ブロック図である。
【
図7】第2実施形態の訓練データにより生成又は更新される
図3のモデルの概要を示す図である。
【
図8】第2実施形態の
図6の造影MRI生成装置により生成された造影MRI画像等価データの評価結果を示す図である。
【
図9】第1実施形態の
図3の造影MRI生成装置により生成された造影MRI画像データの一例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を用いて説明する。
【0010】
図1は、本発明の第1実施形態にかかる情報処理システムの構成の例を示す図である。
図1に示す情報処理システムは、学習装置1と、造影MRI生成装置2と、モデルDB3とを含むように構成される。
【0011】
学習装置1は、乳癌検診にて行われる乳房のMRIの画像のデータついて機械学習を行う。
【0012】
具体的には例えば、乳癌の患者に対して、造影剤を使用しないで実際に撮像されたMRIの画像のデータと、造影剤を使用して実際に撮像されたMRIの画像のデータとの組が、学習用データとして学習装置1に入力される。
なお以下、学習用データのうち、造影剤を使用しないで実際に撮像されたMRIの画像のデータを、「学習用MRI画像データ」と呼ぶ。また、学習用データのうち、造影剤を使用して実際に撮像されたMRIの画像のデータを、「学習用造影MRI画像データ」と呼ぶ。
【0013】
学習装置1は、多数の学習用データを用いて機械学習をすることで、次のようなモデルを生成することができる。
ここで、乳癌検診として造影剤が用いられずに乳房MRIによるスクリーニングが行われた者に対して撮像されたMRIの画像のデータを「MRI画像データ」と呼ぶ。このMRI画像データが入力されると、造影剤を使用して撮像されたMRIの画像と等価な画像のデータ(以下、「造影MRI画像等価データ」と呼ぶ)が出力されるモデルが、学習装置1により生成又は更新される。なお、以下、このようなモデルを、「造影MRI画像生成モデル」と呼ぶ。
学習装置1により生成された「造影MRI画像生成モデル」は、モデルDB3に格納される。
学習装置1の機能的構成や処理の詳細については、
図3以降の図面を参照して後述する。
【0014】
造影MRI生成装置2は、「造影MRI画像生成モデル」をモデルDB3から取得する。造影MRI生成装置2は、MRI画像データを入力して、「造影MRI画像生成モデル」を用いて造影MRI画像等価データを生成する。造影MRI生成装置2は、この造影MRI画像等価データを出力データとして出力する。
造影MRI生成装置2の機能的構成や処理の詳細については、
図3以降の図面を参照して後述する。
【0015】
造影MRI生成装置2から出力データとして出力された造影MRI画像等価データは、造影MRI生成装置2に入力されたMRI画像データと共に、フィードバック用のデータ(以下、「FBデータ」と呼ぶ)として学習装置1に入力される。
学習装置1は、FBデータを用いて再学習をすることで、「造影MRI画像生成モデル」を更新して、モデルDB3に格納する。
【0016】
図2は、
図1の情報処理システムのうち、本発明の情報処理装置の第1実施形態に係る学習装置のハードウェア構成の一例を示すブロック図である。
【0017】
学習装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、出力部16と、入力部17と、記憶部18と、通信部19と、ドライブ20とを備えている。
【0018】
CPU11は、ROM12に記録されているプログラム、又は、記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0019】
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、出力部16、入力部17、記憶部18、通信部19、及びドライブ20が接続されている。
出力部16は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
入力部17は、キーボードやマウス等で構成され、ユーザの指示操作に応じて各種情報を入力する。
記憶部18は、ハードディスク等で構成され、各種情報のデータを記憶する。
【0020】
通信部19は、ネットワークを介して他の対象(例えば
図1のモデルDB3)との間で行う通信を制御する。
ドライブ20には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア30が適宜装着される。ドライブ20によってリムーバブルメディア30から読み出されたプログラムや画像データは、必要に応じて記憶部18にインストールされる。また、リムーバブルメディア30は、記憶部18に記憶されている各種データ(例えば画像データ等)も、記憶部18と同様に記憶することができる。
【0021】
なお、図示はしないが、
図1の情報処理システムの造影MRI生成装置2は、
図2に示すハードウェア構成と基本的に同様の構成を有している。従って、造影MRI生成装置2のハードウェア構成の説明は省略する。
また、説明の便宜上、学習装置1は、造影MRI生成装置2とは別途設けるものとしたが、特にこれに限定されず、学習装置1と造影MRI生成装置2との各機能を1台の情報処理装置に集約してもよい。
【0022】
図3は、第1実施形態の
図1の情報処理システム、即ち
図2の学習装置及び造影MRI装置の機能的構成の一例を示す機能ブロック図である。
【0023】
まず、第1実施形態の学習装置1の機能的構成について説明する。
第1実施形態の学習装置1においては、MRI画像取得部51と、造影MRI画像取得部52と、カラー画像生成部53と、学習データ生成部54と、モデル生成更新部55と、FBデータ取得部56とが機能する。
【0024】
MRI画像取得部51は、乳癌患者についての学習用MRI画像データを取得する。
造影MRI画像取得部52は、同一乳癌患者についての学習用造影MRI画像データを取得する。
【0025】
ここで一例として、原発性乳癌と診断された症例の造影MRI画像26819枚のうち、脂肪抑制T1強調画像のデータ(以下、「T1データ」と呼ぶ)、脂肪抑制T2画像のデータ(以下、「T2データ」と呼ぶ)、及び拡散強調画像DWIのデータ(以下、「DWIデータ」と呼ぶ)、並びに造影早期相画像(早期相)のデータの切断面が全て一致している3040枚の画像(760スライス分)が学習用データとして、学習装置1に対して入力されたものとする。ここで、切断面の一致とは、ずれ幅が1mm以下のことをいう。
即ち切断面が全て一致している、T1データ、T2データ、及びDWIデータ、並びに早期相のデータが、1組の学習用データとして用いられたものとする。この場合、1組の学習用データのうち、T1データ、T2データ、及びDWIデータが、学習用MRI画像データとしてMRI画像取得部51により取得される。一方、当該1組の学習用データのうち、早期相のデータが、学習用造影MRI画像データとして造影MRI画像取得部52に取得される。
なお以下、以上の3040枚の画像(760スライス分)を学習用データとして、「本例の学習用データ」と呼ぶ。
【0026】
なお、本実施形態では、乳癌の検出に適用されるため、造影早期相画像(早期相)のデータが用いられたが、手術前に抗癌剤が投与された後のMRI画像については、遅延相が用いられる。
即ち、本例では説明の便宜上早期相が用いられるものとするが、実際には、早期相に限定されず、造影画像のデータが用いられれば足りる。
【0027】
カラー画像生成部53については後述するが、学習データ生成部54は、本例の学習用データに基づいて、訓練データ(教師画像ありで学習する場合には教師データとの組)を学習データとして生成する。
本実施形態では後述するように、「造影MRI画像生成モデル」として、畳み込みニューラルネットワークが採用されている。従って、学習用MRI画像データ(T1データ、T2データ、及びDWIデータ)に基づいて後述するカラー画像生成部53により生成されるデータが訓練データとして、学習用造影MRI画像データ(早期相のデータ)が教師データとして、学習データ生成部54により夫々生成される。
【0028】
モデル生成更新部55は、学習データ生成部54から出力された学習データを用いて機械学習を実行することで、「造影MRI画像生成モデル」を生成又は更新する。
【0029】
ここで、「造影MRI画像生成モデル」は、何らかの学習データ(教師あり又は教師なしの何れも可能)を用いる任意の手法の機械学習により生成又は更新が可能であれば足りるが、本実施形態では
図4に示すモデルMが採用されるものとする。
【0030】
図4は、
図3の学習装置により生成又は更新される「造影MRI画像生成モデル」の一例を示している。
図4に示すモデルMは、人工知能のConvolutional Autoencoderの手法を用いて、T1データ、T2データ、及びDWIデータ(学習データ)から造影MRI画像等価データ(早期相のデータ)を推定するように学習された結果として、再生又は更新される「造影MRI画像生成モデル」の一例である。
このモデルMは、通常の畳み込みニューラルネットワークで画像データが圧縮された後に、当該画像データのサイズが元のサイズに戻されるものである。
モデル生成更新部55は、元画像データ(学習データ)が修正された画像データを、造影MRI画像等価データ(早期相のデータ)として出力するように、画像内の特徴を捉えた情報を抽出して、機械学習を実行する。
ここで、モデル生成更新部55による機械学習で用いられるアルゴリズムは、特に限定されないが、本実施形態では、代表的なアルゴリズムであるU-Netをベースとしたものが採用されるものとする。
また、モデル生成更新部55は、画像の類似度を評価する最小二乗法(MSE)を用いて、訓練データが早期相のデータに近づくように機械学習を実行する。
また、画像の劣化度合いを評価する手法として、本実施形態ではピーク信号対雑音比(PSNR)を計測する手法が採用されている(後述の
図8参照)。
【0031】
このような
図4に示すモデルMを「造影MRI画像生成モデル」として生成又は更新する機械学習に用いられる訓練データは、上述したように、T1データ、T2データ、及びDWIデータである。
ここで、T1データ、T2データ、及びDWIデータの夫々を別々の画像データとして、3枚の画像データを訓練データとして用いることもできる。
ここで、一般的なカラーの画像データは、1画素毎に3要素の画素値を有する構成、例えばRGB(赤、緑、青)の夫々の画素値を有する構成をとっている。
これに対して、MRI画像データ、即ち、T1データ、T2データ、及びDWIデータの夫々は、グレースケールの画像データ、即ち1画素毎に1要素の画素値(輝度値)を有する構成をとっている。
そこで、第1実施形態の学習装置1には、
図3のカラー画像生成部53が設けられている。即ち、カラー画像生成部53は、学習用MRI画像データを構成する、T1データ、T2データ、及びDWIデータの各画素値の夫々を、カラーの画像データの3要素の各画素値(例えばR,G,Bの各画素値)の夫々に割り当てることで、1枚の仮のカラー画像のデータを訓練データとして生成している。
つまり、第1実施形態では、R,G,Bの夫々に対してT1,T2,DWIの夫々が割り当てられた仮のカラーの画像データが訓練データとして、
図3のモデルMを生成又は更新するための機械学習が実行されている。
【0032】
図5は、第1実施形態の訓練データにより生成又は更新される
図3のモデルの概要を示している。
なお、後述する第2実施形態でも
図3のモデルMが「造影MRI画像生成モデル」として採用されているが、訓練データが第1実施形態と第2実施形態とでは異なる。
そこで、第1実施形態の訓練データ、即ちR,G,Bの夫々に対してT1,T2,DWIの夫々が割り当てられた仮のカラーの画像データが用いられて生成又は更新される
図3のモデルMを、
図5に示すように(後述する第2実施形態のものと区別すべく)「モデルM1」と呼ぶ。
つまり、
図5に示すように、入力されたMRI画像データ、即ち、T1データIT1、T2データIT2、及びDWIデータIDWIの各画素値の夫々が、カラーの画像データの3要素の各画素値(例えばR,G,Bの各画素値)の夫々に割り当てられることで、1枚の仮のカラー画像のデータが生成される。この仮のカラー画像のデータが入力されると、造影MRI画像等価データOutが出力されるモデルM1が、「造影MRI画像生成モデル」として第1実施形態では採用されている。
【0033】
図3に戻り、FBデータ取得部56は、上述したFBデータを取得する。
モデル生成更新部55は、このFBデータを用いて機械学習(再学習)を実行することで、「造影MRI画像生成モデル」を更新することができる。
なお、この再学習の際には、FBデータを構成するMRI画像データ、即ち、T1データIT1、T2データIT2、DWIデータIDWIの各画素値の夫々が、カラーの画像データの3要素の各画素値(例えばR,G,Bの各画素値)の夫々に割り当てられることで、1枚の仮のカラー画像のデータが生成される。
この仮のカラー画像のデータ、及び造影MRI画像データ(本例では早期相のデータ)の4枚の画像データを用いての学習、又は仮のカラー画像のデータ、及び造影MRI画像等価データの4枚の画像データを用いての再学習が実行される。
【0034】
以上、第1実施形態の学習装置1の機能的構成について説明した。
次に、第1実施形態の造影MRI生成装置2の機能的構成について説明する。
【0035】
第1実施形態の造影MRI生成装置2においては、MRI画像取得部61と、カラー画像生成部62と、造影MRI生成部63とが機能する。
【0036】
本実施形態では、乳癌検診として造影剤が用いられずに乳房MRIによるスクリーニングが行われた者についてのMRI画像データ(T1データ、T2データ、及びDWIデータ)が、造影MRI生成装置2に入力される。
MRI画像取得部61は、そのMRI画像データを取得する。
【0037】
カラー画像生成部62は、MRI画像データを構成する、T1データ、T2データ、及びDWIデータの各画素値の夫々を、カラーの画像データの3要素の各画素値(例えばR,G,Bの各画素値)の夫々に割り当てることで、1枚の仮のカラー画像のデータ(以下、「カラーMRI画像データ」と呼ぶ)を生成する。
つまり、第1実施形態では、R,G,Bの夫々に対してT1,T2,DWIの夫々が割り当てられた仮のカラーの画像データが、カラーMRI画像データである。このカラーMRI画像データが、造影MRI画像データの生成の元になるデータ、即ち、「造影MRI画像生成モデル」の入力データとして採用されている。
【0038】
造影MRI生成部63は、「造影MRI画像生成モデル」として
図5のモデルM1を取得する。また、造影MRI生成部63は、「造影MRI画像生成モデル」に対する入力データとして、カラー画像生成部62により生成されたカラーMRI画像データを取得する。そして、造影MRI生成部63は、このカラーMRI画像データを「造影MRI画像生成モデル」に入力することで造影MRI画像等価データを生成して、出力する。
【0039】
以上、
図1乃至
図5を参照して、本発明の第1実施形態にかかる情報処理システムについて説明した。
次に、
図6以降の図面を参照して、本発明の第2実施形態にかかる情報処理システムについて説明する。
【0040】
第2実施形態にかかる情報処理システムのハードウェア構成は、第1実施形態にかかるものと同様である。
即ち、第2実施形態にかかる情報処理システムは、
図1と同様の構成を取ることができる。
また、第2実施形態の情報処理システムを構成する学習装置1及び造影MRI生成装置2の夫々は、
図2と同様の構成を取ることができる。
ここで、第2実施形態でも第1実施形態と同様に説明の便宜上、学習装置1は、造影MRI生成装置2とは別途設けるものとしたが、特にこれに限定されず、学習装置1と造影MRI生成装置2との各機能を1台の情報処理装置に集約してもよい。
以上のことより、第2実施形態にかかる情報処理システムのハードウェア構成については、その説明は省略する。
【0041】
図6は、第2実施形態の
図1の情報処理システム、即ち
図2の学習装置及び造影MRI装置の機能的構成の一例を示す機能ブロック図である。
【0042】
まず、第2実施形態の学習装置1の機能的構成について説明する。
第2実施形態の学習装置1においては、MRI画像取得部151と、カラー画像生成部153と、学習データ生成部154と、モデル生成更新部155と、FBデータ取得部156とが機能する。
【0043】
第2実施形態における、MRI画像取得部151、カラー画像生成部153及び、学習データ生成部154乃至FBデータ取得部156の夫々は、第1実施形態における、MRI画像取得部51、カラー画像生成部53及び、学習データ生成部54乃至FBデータ取得部56の夫々と基本的に同様の機能と構成を有している。
即ち、学習装置1の機能的構成についての第1実施形態と第2実施形態との差は、第1実施形態では造影MRI画像取得部52が設けられていたのに対して、第2実施形態ではそのような機能ブロックが設けられていない点である。
換言すると、第1実施形態と第2実施形態との差は、「造影MRI画像生成モデル」の生成又は更新を行うための機械学習に用いられる学習データの形態が異なる点である。
即ち、第1実施形態の機械学習時においては、MRI画像データ、及び造影MRI画像データが学習データとして用いられた。
これに対して、第2実施形態の機械学習時においては、MRI画像データ、及び造影MRI等価画像データが学習データとして用いられる。
【0044】
したがって、以下、第2実施形態の学習装置1の機能的構成の説明としては、第1実施形態との差異点、即ち訓練データの形態に関する点のみを説明し、それ以外は省略するものとする。
【0045】
図7は、第2実施形態の訓練データにより生成又は更新される
図5のモデルの概要を示している。
なお、第2実施形態の訓練データにより生成又は更新される
図5のモデルMを、
図7に示すように(上述した第1実施形態のものと区別すべく)「モデルM2」と呼ぶ。
第2実施形態では、カラー画像生成部153は、MRI画像取得部151により取得されたMRI画像データ(T1データIT1、T2データIT2、及びDWIデータIDWI)の各画素値の夫々を、カラーの画像データの3要素の各画素値(例えばR,G,Bの各画素値)の夫々に割り当てることで、1枚のカラーMRI画像データを生成する。
モデル生成更新部155は、カラーMRI画像データと、当該カラーMRI画像データから得られる造影MRI画像等価データOutを用いて機械学習を実行する。これにより、乳癌検診として造影剤が用いられずに乳房MRIによるスクリーニングが行われた者についてのMRI画像データが与えられた場合において、当該MRI画像データが入力されるとそのうちT1データIT1、T2データIT2、及びDWIデータIDWIが利用され、造影MRI画像等価データOutが出力される。その結果として、モデルM2が、「造影MRI画像生成モデル」として生成又は更新される。
【0046】
以下、「造影MRI画像生成モデル」としての第2実施形態のモデルM2について、第1実施形態のモデルM1(
図5)との比較という観点で、さらに説明する。
第2実施形態のモデルM2の出力データとしての造影MRI画像等価データは、第1実施形態のモデルM1の出力データとしての造影MRI画像等価データと比較すると、高解像度のデータである。
これは、次の理由による。即ち、早期相のデータは、T1データIT1に造影効果を伴った画像データである。このことを考慮して、T1データIT1を入力層から出力層まで繋ぐショートカットをつくることによって得られた「造影MRI画像生成モデル」が、第2実施形態のモデルM2である。このようなショートカットにより高解像度が得られることになる。
即ち、モデル生成更新部155は、画像データそのものではなく、差分である造影効果のみを学習するような機械学習を実行することで、第2実施形態のモデルM2を生成又は更新する。
【0047】
以上、第2実施形態の学習装置1の機能的構成について説明した。
次に、第2実施形態の造影MRI生成装置2の機能的構成について説明する。
【0048】
第2実施形態の造影MRI生成装置2においては、
図6に示すように、MRI画像取得部161と、カラー画像生成部162と、造影MRI生成部163とが機能する。
【0049】
第2実施形態では、第1実施形態と同様に、乳癌検診として造影剤が用いられずに乳房MRIによるスクリーニングが行われた者についてのMRI画像データ(T1データ、T2データ、及びDWIデータ)が、造影MRI生成装置2に入力される。
MRI画像取得部161は、そのMRI画像データを取得する。
【0050】
カラー画像生成部162は、MRI画像取得部161により取得されたMRI画像データを構成する、T1データ、T2データ、及びDWIデータの各画素値の夫々を、カラーの画像データの3要素の各画素値(例えばR,G,Bの各画素値)の夫々に割り当てることで、1枚のカラーMRI画像データを生成する。
【0051】
造影MRI生成部163は、「造影MRI画像生成モデル」として
図7のモデルM2を取得する。また、造影MRI生成部163は、「造影MRI画像生成モデル」に対する入力データとして、カラー画像生成部162により生成されたカラーMRI画像データを取得する。そして、造影MRI生成部163は、このカラーMRI画像データを「造影MRI画像生成モデル」に入力することで、造影MRI画像等価データを出力する。
【0052】
図8は、このような第2実施形態の造影MRI生成装置により生成された造影MRI画像等価データの評価結果を示している。
図8(A)は、第2実施形態の造影MRI生成装置2により生成された造影MRI画像等価データについてのMSE(Mean Squared Error)の結果を示している。MSEの値は0が理想であり、値が小さいほどよい。評価結果として得られたMSEの値は264と好適な値まで減少していることがわかる。
図8(B)は、第2実施形態の造影MRI生成装置2により生成された造影MRI画像等価データについてのPSNR(Peak Signal-to-Noise Ratio)を示している。PSNRの値は、30乃至50dBが標準であり、50乃至65dBが良好と言われている。評価結果として得られたPSNRの値は、55.1dBであり、良好であることがわかる。
【0053】
図9は、第1実施形態の造影MRI生成装置により生成された造影MRI画像データの一例を示している。
図9(A)は、MRI画像データ(造影剤を使用しないでMRIが行われた結果として得られた画像データ)から得られたT1データIT1(
図9(A)では「T1強調画像」と表示)である。
図9(B)は、学習用MRI画像データが第1実施形態のモデルM1(
図5)に入力された場合における、造影MRI生成部63から得られた造影MRI画像等価データ(
図9(B)では「生成画像」と表示)である。
図9(C)は、造影剤を使用してMRIが行われた際に実際に撮像された画像のデータ(
図9(C)では「造影画像(早期相)」と表示)である。
図9(B)のモデルM2により得られた造影MRI画像等価データ(
図9(B)では「生成画像」と表示)には、
図9(C)の実際の画像のデータ(
図9(C)では造影画像(早期相))と比較するに、実際の早期層のように乳癌の部分のみを強調する画像が第1実施形態の造影MRI生成装置2により得られたことがわかる。
【0054】
以上のような第1実施形態又は第2実施形態の情報処理システムを適用することで、次のような効果を奏することができる。
先ず、乳癌検診の対象者(被検者)側の効果としては、例えば次の第1乃至第4の効果が挙げられる。即ち、第1の効果は、造影剤によるアレルギーの回避が図れるという効果である。第2の効果は、ガドリニウム造影剤の脳沈着による副作用の回避が図れるという効果である。第3の効果は、経済的負担の軽減、時間的負担の軽減が図れるという効果である。第4の効果は、検査の簡略化による検査機会が増加するという効果である。
次に、医療機関側の効果としては、例えば次の第5乃至第9の効果が挙げられる。第5の効果は、アレルギーに対する緊急対応リスクの回避が図れるという効果である。第6の効果は、検査時間短縮による他被検者への機器リソースの再配分、検査回数の増加による増収が図られるという効果である。第7の効果は、PACSサーバに保存する画像データの軽量化が図られると共に、コスト軽減が図られるという効果である。
そして、現場へのインパクトという点での効果としては、例えば次の第8及び第9の効果が挙げられる。第8の効果は、新たな機器設備は不要であり導入が容易であるという効果である。第9の効果は、乳癌検診だけでなく、あらゆるMRI検査に応用可能であるという効果である。
【0055】
以上本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での、変形、改良等は本発明に含まれるものである。
【0056】
例えば、上述の実施形態において、機械学習により得られるモデルは、乳癌に関する(造影剤を使用しないで得られた)MRI画像データから造影MRI画像等価データを生成するものであったが、特にこれに限定されない。
例えば、細胞の検査時において細胞を着色した画像のデータを用いることがあるが、細胞を着色しない画像のデータから細胞を着色したのと等価な画像のデータを生成するモデルを、機械学習により生成又は更新してもよい。
また例えば、破壊検査と非破壊検査とがあるような対象物が存在するが、非破壊検査により得られた画像のデータから破壊検査による得られるのと等価な画像のデータを生成するモデルを、機械学習により生成又は更新してもよい。
【0057】
また例えば、ショートカットにより高解像度が得られるモデルは、上述の実施形態では第2実施形態のモデルM2とされたが、モデルM1とすることも可能である。
【0058】
また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、
図3及び
図6の機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に
図3及び
図6の例に限定されない。また、機能ブロックの存在場所も、
図3及び
図6に特に限定されず、任意でよい。
【0059】
また例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
【0060】
また例えば、このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。
【0061】
なお、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【0062】
以上を換言すると、本発明が適用される情報処理システムは、次のような構成を有する各種各様の実施形態を取ることができる。
即ち、本発明が適用される情報処理システムは、
機械学習によりモデルを生成又は更新する第1情報処理装置(例えば
図1の学習装置1)と、当該モデルを使用する情報処理を実行する第2情報処理装置(例えば
図1の造影MRI生成装置2)とを含む情報処理システムであって、
前記第1情報処理装置は、
造影剤を使用しない対象物に対して実際にMRIが行われた結果得られる第1種画像データ(例えば学習用MRI画像データ)と、造影剤を使用した同一の前記対象物に対して実際にMRIが行われた結果得られる第2種画像データ(例えば学習用造影MRI画像データ)との組を学習データとして用いて、所定の機械学習を実行することで、前記第1種画像データが入力された場合に前記第2種画像データと等価な第3種画像データ(例えば造影MRI画像等価データ)を出力するモデルを生成又は更新するモデル生成更新手段(例えば
図3のモデル生成更新部55や
図6のモデル生成更新部55)
を備え、
前記第2情報処理装置は、
処理対象の前記第1種画像データを取得する取得手段(例えば
図3のMRI画像取得部61や
図6のMRI画像取得部161)と、
前記取得手段により取得された前記第1種画像データと、前記第1情報処理装置により生成された前記モデルとに基づいて、前記第3種画像データ(例えば造影MRI画像等価データ)を生成する生成手段と、
を備える。
これにより、造影剤を用いない単純MRIでも、造影剤を用いた場合と同様の所見が得られる技術の確立が容易に実現可能になる。
【符号の説明】
【0063】
1・・・学習装置、2・・・造影MRI生成装置、3・・・モデルDB、11・・・CPU、51・・・MRI画像取得部、52・・・造影MRI画像取得部、53・・・カラー画像生成部、54・・・学習データ生成部、55・・・モデル生成更新部、56・・・FBデータ取得部、61・・・MRI画像取得部、62・・・カラー画像生成部、63・・・造影MRI生成部、151・・・MRI画像取得部、153・・・カラー画像生成部、154・・・学習データ生成部、155・・・モデル生成更新部、156・・・FBデータ取得部、161・・・MRI画像取得部、162・・・カラー画像生成部、163・・・造影MRI生成部