(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024067862
(43)【公開日】2024-05-17
(54)【発明の名称】データ生成装置、データ生成方法、データ生成プログラムおよび医用画像診断装置
(51)【国際特許分類】
A61B 5/055 20060101AFI20240510BHJP
【FI】
A61B5/055 380
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022178240
(22)【出願日】2022-11-07
(71)【出願人】
【識別番号】304024865
【氏名又は名称】学校法人杏林学園
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】久原 重英
(72)【発明者】
【氏名】竹島 秀則
【テーマコード(参考)】
4C096
【Fターム(参考)】
4C096AA03
4C096AA04
4C096AA05
4C096AB41
4C096AB44
4C096AC01
4C096AD06
4C096AD14
4C096AD24
4C096BA06
4C096BA41
4C096DB06
4C096DC19
4C096DC22
(57)【要約】
【課題】高精度のシミュレーションデータを生成できること。
【解決手段】本実施形態に係るデータ生成装置は、取得部と、セグメンテーション部と、推定部と、実行部とを含む。取得部は、磁気共鳴画像を取得する。セグメンテーション部は、前記磁気共鳴画像に対してセグメンテーション処理を実行し、組織領域を抽出する。推定部は、前記組織領域における物理パラメータを推定する。実行部は、前記物理パラメータを用いてシミュレーションを実行し、シミュレーションデータを生成する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
磁気共鳴画像を取得する取得部と、
前記磁気共鳴画像に対してセグメンテーション処理を実行し、組織領域を抽出するセグメンテーション部と、
前記組織領域における物理パラメータを推定する推定部と、
前記物理パラメータを用いてシミュレーションを実行し、シミュレーションデータを生成する実行部と、
を具備するデータ生成装置。
【請求項2】
前記推定部は、前記組織領域で想定される分子情報の物理拘束の範囲内で、前記物理パラメータの値を設定する、請求項1に記載のデータ生成装置。
【請求項3】
前記推定部は、所定範囲内の値、確率分布に基づく値、および、基準となる文献値を用いて算出される値の少なくともいずれか1つに基づき、前記物理パラメータの値を設定する、請求項2に記載のデータ生成装置。
【請求項4】
前記推定部は、前記組織領域の一部に病変領域を想定した物理パラメータをさらに設定する、請求項2に記載のデータ生成装置。
【請求項5】
前記取得部は、MP-RAGE(Magnetization prepared rapid gradient echo)で撮像された前記磁気共鳴画像を取得する、請求項1に記載のデータ生成装置。
【請求項6】
前記実行部は、前記物理パラメータと、高周波磁場および静磁場の不均一性に対応させた複数の設定値とを用いて前記シミュレーションを実行し、複数のシミュレーションデータを生成する、請求項1に記載のデータ生成装置。
【請求項7】
前記実行部は、前記物理パラメータと、パルスシーケンスに関する複数のシーケンスパラメータの設定値とを用いてシミュレーションを実行し、複数のシミュレーションデータを生成する、請求項1に記載のデータ生成装置。
【請求項8】
前記推定部は、静磁場強度の換算式を用いて第1静磁場強度を想定した前記物理パラメータを、第2静磁場強度を想定した物理パラメータに変換する、請求項1に記載のデータ生成装置。
【請求項9】
前記セグメンテーション部は、3次元磁気共鳴画像の動画像に対してセグメンテーション処理を実行して前記組織領域を特定し、
前記推定部は、前記動画像に対して前記物理パラメータを推定する、請求項1に記載のデータ生成装置。
【請求項10】
磁気共鳴画像を取得し、
前記磁気共鳴画像に対してセグメンテーション処理を実行し、組織領域を抽出し、
前記組織領域における物理パラメータを推定し、
前記物理パラメータを用いてシミュレーションを実行し、シミュレーションデータを生成する、データ生成方法。
【請求項11】
コンピュータに、
磁気共鳴画像を取得する取得機能と、
前記磁気共鳴画像に対してセグメンテーション処理を実行し、組織領域を抽出するセグメンテーション機能と、
前記組織領域における物理パラメータを推定する推定機能と、
前記物理パラメータを用いてシミュレーションを実行し、シミュレーションデータを生成する実行機能と、
を実現させるデータ生成プログラム。
【請求項12】
シミュレータを搭載する医用画像診断装置であって、
磁気共鳴画像を取得する取得部と、
前記磁気共鳴画像に対してセグメンテーション処理を実行し、組織領域を抽出するセグメンテーション部と、
前記組織領域における物理パラメータを推定する推定部と、
前記物理パラメータを用いて前記シミュレータによりシミュレーションを実行し、シミュレーションデータを生成する実行部と、
を具備する医用画像診断装置。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、データ生成装置、データ生成方法、データ生成プログラムおよび医用画像診断装置に関する。
【背景技術】
【0002】
医用画像診断装置で収集されるデータを模擬するシミュレータがある。例えば、磁気共鳴現象をブロッホ(Bloch)方程式を用いて数値的に解析することで、磁気共鳴イメージング装置(MRI装置)の動作をシミュレーションするMRIシミュレータがある。
MRIシミュレータでの撮像対象であるデジタルファントムとして、人体と異なる円柱ファントムなどを用いることが多い。このような円柱ファントムなどでは、例えば機械学習などでMRIシミュレータでの処理結果を人体撮像に適用した場合に精度が低くなり、十分な性能が見込めないという問題がある。
そのため、人体デジタルファントムを構築することが望ましいが、人体デジタルファントムを構築するために必要な3次元のT1map、T2map、PDmapなどの物理データを取得するためには通常数時間を要する。よって、人体撮像において多数の物理データを収集することは現実的ではない。一方、3次元のT1強調画像、T2強調画像およびプロトン密度強調画像などの各種強調画像から近似計算により3次元のT1map、T2map、PDmapなどの物理データを算出する手法もあるが、やはり撮像時間の制限から、精度が低いという問題がある。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Soraya Gavazzi, et al., ”Deep learning‐based reconstruction of in vivo pelvis conductivity with a 3D patch-based convolutional neural network trained on simulated MR data”, Magnetic Resonance in Medicine, 2020;84:2772-2787.
【非特許文献2】Hidenori Takeshima, ”Deep Learning and Its Application to Function Approximation for MR in Medicine: An Overview”、[Online]、2021年9月17日、Magnetic Resonance in Medical Sciences、[2022年10月3日検索]、インターネット<URL:https://doi.org/10.2463/mrms.rev.2021-0040>
【発明の概要】
【発明が解決しようとする課題】
【0004】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、高精度のシミュレーションデータを生成できることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
【課題を解決するための手段】
【0005】
本実施形態に係るデータ生成装置は、取得部と、セグメンテーション部と、推定部と、実行部とを含む。取得部は、磁気共鳴画像を取得する。セグメンテーション部は、前記磁気共鳴画像に対してセグメンテーション処理を実行し、組織領域を抽出する。推定部は、前記組織領域における物理パラメータを推定する。実行部は、前記物理パラメータを用いてシミュレーションを実行し、シミュレーションデータを生成する。
【図面の簡単な説明】
【0006】
【
図1】
図1は、本実施形態に係るデータ生成装置を示すブロック図である。
【
図2】
図2は、本実施形態に係るデータ生成装置の動作を示すフローチャート。
【
図3】
図3は、本実施形態に係るセグメンテーション処理結果の具体例を示す図である。
【
図4】
図4は、MRIシミュレータによるMRシミュレーションの概念を示す図である。
【
図5】
図5は、シミュレーションデータの利用例を示す図である。
【
図6】
図6は、データ生成装置およびシミュレータを搭載したMRI装置の詳細を示す図である。
【発明を実施するための形態】
【0007】
以下、図面を参照しながら本実施形態に係るデータ生成装置、データ生成方法、データ生成プログラムおよび画像診断装置について説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。以下、一実施形態について図面を用いて説明する。
【0008】
本実施形態に係るデータ生成装置について
図1のブロック図を参照して説明する。
データ生成装置1は、処理回路10、メモリ11、入力インタフェース12、通信インタフェース13およびディスプレイ14を有するコンピュータである。
【0009】
処理回路10は、ハードウェア資源としてCPU(Central processing unit)などのプロセッサを有する。例えば、処理回路10は、各種プログラムの実行により取得機能101と、セグメンテーション機能102と、推定機能103と、実行機能104と、訓練機能105と、表示制御機能106とを実現する。
【0010】
取得機能101は、医用画像を取得する。
セグメンテーション機能102は、医用画像に対してセグメンテーション処理を実行し、組織領域を抽出する。
推定機能103は、組織領域における物理パラメータを推定する。物理パラメータは、例えば、組織の分子情報である。
実行機能104は、物理パラメータを用いて、シミュレータによりシミュレーションを実行し、シミュレーションデータを生成する。
訓練機能105は、生成されたシミュレーションデータを学習データとして機械学習モデルを訓練することで、学習済みモデルを生成する。
表示制御機能106は、医用画像、シミュレーションデータなどの各種データおよびGUI(Graphical User Interface)をディスプレイ14に表示するように制御する。
【0011】
メモリ11は、医用画像、シミュレーションデータ、学習データ、学習済みモデルなど、種々の情報を記憶するHDD(Hard Disk Drive)やSSD(Solid State Drive)、集積回路記憶装置などの記憶装置である。また、メモリ11は、CD-ROMドライブやDVDドライブ、フラッシュメモリなどの可搬型記憶媒体との間で種々の情報を読み書きする駆動装置等であっても良い。例えば、メモリ11は、過去に収集された医用データ、制御プログラムなどを記憶する。
【0012】
入力インタフェース12は、ユーザからの各種指令を受け付ける入力機器を含む。入力機器としては、キーボードやマウス、各種スイッチ、タッチスクリーン、タッチパッドなどが利用可能である。なお、入力機器は、マウス、キーボードなどの物理的な操作部品を備えるものだけに限らない。例えば、磁気共鳴イメージング装置20とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、受け取った電気信号を種々の回路へ出力するような電気信号の処理回路も入力インタフェース12の例に含まれる。また、入力インタフェース12は、マイクロフォンにより収集された音声信号を指示信号に変換する音声認識装置でもよい。
【0013】
通信インタフェース13は、LAN(Local Area Network)等を介して磁気共鳴イメージング装置20と、ワークステーションやPACS(Picture Archiving and Communication System)、HIS(Hospital Information System)、RIS(Radiology Information System)などとを接続するインタフェースである。通信インタフェース13は、各種情報を接続先のワークステーション、PACS、HISおよびRISとの間で送受信する。
【0014】
ディスプレイ14は、種々の情報を表示する。ディスプレイ14としては、例えば、CRTディスプレイや液晶ディスプレイ、有機ELディスプレイ、LEDディスプレイ、プラズマディスプレイ、または当技術分野で知られている他の任意のディスプレイが適宜利用可能である。
【0015】
次に、本実施形態に係るデータ生成装置1の動作例について
図2のフローチャートを参照して説明する。
以下では、シミュレータは、物理現象を数値シミュレーションによって模擬する物理シミュレータである。以下では、特に断らない限り、医用画像は、MR画像であり、画像診断装置は磁気共鳴イメージング装置(MRI装置)であり、シミュレータは、ブロッホ(Bloch)方程式に基づくMRIシミュレータである場合を想定する。
なお、画像診断装置は、MRI装置に限らず、他の医用画像診断装置、例えばX線CT(Computed Tomography)装置、超音波診断装置、PET(Positron Emission Tomography)装置など、どのような画像診断装置でもよい。画像診断装置シミュレータは、画像診断装置に対応する物理シミュレータであればよい。
【0016】
ステップSA1では、取得機能101により処理回路10が、MR画像を取得する。
ステップSA2では、セグメンテーション機能102により処理回路10が、MR画像に対してセグメンテーション処理を実行し、組織領域を抽出する。セグメンテーション処理は、例えば、脳のMR画像であれば、白質、灰白質、脳脊髄液といった各組織の領域を抽出する処理である。セグメンテーション処理は、機械学習による手法を用いてもよいし、一般的な画像処理による手法を用いてもよい。機械学習による処理であれば、一般的にセマンティックセグメンテーションで用いられるU-netをベースとした畳み込みニューラルネットワークを用いればよい。MR画像をセマンティックセグメンテーションを実行する学習済みモデルに入力し、組織領域が抽出されたMR画像を得ればよい。一般的な画像処理であれば、エッジ検出、モルフォロジー処理などを組み合わせて、MR画像から各組織領域が抽出されてもよい。
【0017】
ステップSA3では、推定機能103により処理回路10が、各組織領域における物理パラメータが満たすべき物理拘束条件を設定する。物理拘束条件は、各組織領域における、T1値、T2値、プロトン密度(PD)値といった物理パラメータについて、例えば正常な組織(あるいは腫瘍組織)が有する正常範囲内での値に基づいて設定したものである。この場合、正常な組織(あるいは腫瘍組織)の値は、既存の文献値などを用いて設定されればよい。物理拘束条件は、例えばその組織が満たすべき平均値と標準偏差として表現できる。物理拘束条件は、組織領域を形成する画素ごとに設定してもよいし、組織領域全体で1つの値に設定してもよい。
【0018】
ステップSA4では、推定機能103により処理回路10が、少なくともMR画像および物理拘束条件のうち1以上を用いて、物理値の集合である修正物理パラメータを設定する。
修正物理パラメータの設定方法の第1の例として、まず物理拘束条件だけを利用して物理拘束を満たすようにT1値およびT2値を設定し、次に、各画素について、MR画像とT1値とT2値を利用してPD値を設定することがあげられる。この場合、推定すべき物理値は各画素で1つとなるため、MR画像は、例えばT2強調画像(T2WI)やプロトン密度強調画像(PDWI)のうち1つ以上の画像を用いることができる。
修正物理パラメータの設定方法の第2の例として、まず仮物理パラメータを算出し、次に仮物理パラメータに物理拘束条件が定める物理拘束を適用することがあげられる。この場合、仮物理パラメータは、例えば予めすべてのMR画像が同一解像度となるようにリサンプリングしておき、各画素についてリサンプリング後のMR画像からT1値、T2値、PD値を設定することで得られる。仮物理パラメータに対する物理拘束の適用方法は複数考えられるが例を2つあげる。第1の適用方法は上限と下限に基づく拘束であり、例えば物理値の範囲を(物理拘束条件の平均値)±(物理拘束条件の標準偏差の2倍)と定め、各画素について上限および下限を超えた値を上限および下限の値に修正するというものである。第2の適用方法は、各組織について仮物理パラメータのサンプル平均およびサンプル標準偏差を求め、サンプル平均とサンプル標準偏差がそれぞれ物理拘束条件の平均値と物理拘束条件の標準偏差になるように、値を変換する方法である。
なお、修正物理パラメータの設定方法はこれら2つの方法には限定されない。
【0019】
ステップSA5では、実行機能104により処理回路10が、修正物理パラメータをデジタルファントムとして、MRIシミュレータを用いてシミュレーションを実行し、シミュレーションデータを生成する。
ステップSA6では、表示制御機能106により処理回路10が、シミュレーションデータを出力する。
【0020】
なお、ステップSA3およびステップSA4の処理の代わりに、推定機能103により処理回路10が、物理拘束条件を設定せずに、直接、組織領域に対して修正物理パラメータの値を推定してもよい。
また、被検体の体温の変動を想定し、修正物理パラメータの推定に用いる確率分布を可変してもよい。例えば、体温が36度の場合の確率分布と、体温が39度の場合の確率分布とを異ならせて、体温をデジタルファントムの新たなパラメータとして追加してもよい。
【0021】
次に、セグメンテーション処理結果の具体例について
図3を参照して説明する。
図3左図は、セグメンテーション処理前の脳のMR画像31であり、
図3右図は、MR画像31に対してセグメンテーション処理後の抽出された組織領域を強調したMR画像33である。MR画像33は、脳脊髄液の領域が強調された画像である。なお、組織領域のセグメンテーション処理は、組織領域ごと、例えば脳脊髄液、白質といった領域ごとに別々に実行されてもよいし、1度のセグメンテーション処理で、脳脊髄液、白質といったセマンティックセグメンテーションにおけるラベリングで、一括して各組織領域が抽出されてもよい。
MR画像33の脳脊髄液の領域において、修正物理パラメータ35が推定される。例えばT1=960、T2=100、PD=80といったように推定される。
【0022】
なお、正常な組織に対する修正物理パラメータだけではなく、組織領域の一部に腫瘍などの病変領域を想定した修正物理パラメータが推定されてもよい。例えば、取得されたMR画像に病変が含まれる場合であって、セグメンテーションされる領域として病変領域が抽出される場合は、推定機能103により処理回路10が、例えば腫瘍部分に関する物理パラメータを文献値を参照して設定すればよい。また、病変組織が存在しないMR画像に対しても、正常値からの差分または病変部分の分子情報の換算式に基づき、抽出された組織領域の一部を病変領域に対応する修正物理パラメータに設定してもよい。このように、病変組織を含むデジタルファントムを生成することもできる。
【0023】
セグメンテーション処理前のMR画像31は、実機で撮像されたT1WI、T2WI、PDWIなどを利用することを想定するが、撮像時間の制限から、通常マルチスライスによる3次元データ収集となりうる。例えば、3次元の3D MP-RAGE(Magnetization prepared rapid gradient echo)法は3D FT法を用いて画像再構成するため、1mm3の等方空間分解能を持つ画像が取得できるが、T2WやPDWなどの撮像はマルチスライス法であるため、例えばスライス方向は8mm厚になる。これらの画像を用いて物理値を求めるための画像間演算を行うと、結果として得られる画像は実質的な空間分解能の低下を来し、スライス方向に関しては、面内よりも低い分解能となる。しかし、本実施形態によるセグメンテーション処理と物理拘束の範囲内での修正物理パラメータの推定処理を用いることにより、各組織領域を3次元で抽出でき、空間分解能を向上させたデジタルファントムを生成できる。
【0024】
次に、MRIシミュレータによるMRシミュレーションの概念について
図4を参照して説明する。
MRIシミュレータ45には、撮像対象となるデジタルファントムとして、修正物理パラメータ35が入力される。具体的には、修正物理パラメータ35として、T1マップ、T2マップ、PDマップ(M0マップ)、ケミカルシフトなどの値が入力される。なお、PDマップに関しては、磁化移動効果(Magnetization Transfer effect:MT効果)を考慮して値が補正されてもよい。さらに、MRIシミュレータ45には、パルスシーケンス41と、装置の不完全性を再現するための不完全性パラメータ42と、生体パラメータの変動要因を再現するための変動要因パラメータ43とが入力される。
【0025】
パルスシーケンス41は、シーケンス種別、TR(Repetition Time)、TE(Echo Time)、FA(Flip Angle)などの情報が含まれる。
不完全性パラメータ42は、静磁場によるB0強度分布、RFによるB1強度分布、位相変化などの情報が含まれる。
変動要因パラメータ43は、被検体の体動、呼吸動、心拍動などの生理学的パラメータに関する情報が含まれる。なお、生体の変動要因パラメータ43については、想定する撮像シーケンスに応じて入力されればよいため、必須ではない。例えば、膝を撮像対象とする場合は、胸部を撮像する場合と比較して呼吸による体動の影響は少ないため、MRIシミュレータへ入力されなくともよい。
【0026】
MRIシミュレータ45は、パルスシーケンス41、不完全性パラメータ42および変動要因パラメータ43に基づき、修正物理パラメータ35のデジタルファントムにおいて複数の水素原子をまとめた仮想的な仮想水素原子の磁化に対して、磁気共鳴を現象論的に記述したブロッホ方程式を数値的に解く。これにより、MRIシミュレータ45からシミュレーションデータ44が出力される。
シミュレーションデータ44は、k空間データに対応するMRデータでもよいし、MRデータが逆フーリエ変換されたMR画像の形式であってもよい。
【0027】
ここで、実行機能104により処理回路10が、修正物理パラメータ35を物理拘束の範囲内で値を振ることで、複数の修正物理パラメータ35を生成できる。複数の修正物理パラメータ35それぞれについてMRIシミュレータ45によりシミュレーションを実行する。結果として、元となる1つの修正物理パラメータ35から複数のシミュレーションデータを生成でき、データ増強を行うことができる。
【0028】
なお、修正物理パラメータ35を複数生成することに限らず、実行機能104により処理回路10が、TR,TE,FA,マトリクスサイズなどのパルスシーケンスに関する複数のシーケンスパラメータのうちの少なくとも1つを変更してもよい。これにより、パルスシーケンス41によってデータ増強してもよい。
【0029】
さらに、実行機能104により処理回路10が、例えばB0強度分布において、静磁場不均一性を球面調和関数によって展開または級数展開してられる1次、2次の係数の値を変更することにより、不完全性パラメータ42によってデータ増強してもよい。また、実行機能104により処理回路10は、別の静磁場強度のデータを換算式によってデータ増強してもよい。例えば、各組織領域の物理パラメータの文献値を基準に、1.5[T]から3.0[T]への換算式を算出しておく。具体的には、白質のT1値については、1.5[T]では、678[ms]であり、3.0[T]では、911[ms]であったとする。この場合、1.5[T]から3.0[T]への換算式は、約1.34倍となる。実行機能104により処理回路10は、当該換算式を用いて、静磁場強度が1.5[T]の場合を想定して推定された修正物理パラメータを1.34倍し、静磁場強度が3.0[T]を想定した修正物理パラメータに変換すればよい。なお、換算式により得られた修正物理パラメータが物理拘束の範囲を超えるまたは下回る場合は、物理拘束の範囲内となるように修正されればよい。換算式は、1.5[T],3.0[T]、7.0[T]との間の段階に限らず、1.5~7の間で自由に変換可能な関数が算出され、当該関数を用いて修正物理パラメータを変換してもよい。
【0030】
また、心拍動におけるR-R間隔を変更して、心拍動の揺らぎをシミュレーションに含めるように値を変更することにより、変動要因パラメータ43によってデータ増強してもよい。変動要因パラメータ43として被検体の動きを想定する場合は、セグメンテーション機能102により処理回路10は、3次元MR画像の動画像に対してセグメンテーション処理を実行して組織領域を抽出し、推定機能103により処理回路10は、当該動画像の各組織領域に対して修正物理パラメータを推定すればよい。
なお、心拍動の揺らぎに関するR-R間隔の変更においては、例えば実機においても不整脈などで明らかに一般的にR-R間隔とは異なる状態のデータは除外されるため、変動要因パラメータ43によるデータ増強においても、一般的に実機で除外されるR-R間隔の値は使用しないことが望ましい。
【0031】
次に、シミュレーションデータの利用例について
図5を参照して説明する。
図5は、機械学習における評価プロセスにMRIシミュレータ45を用いた機械学習モデルの訓練例を示す。
例えば、新しい脂肪抑制法などの効果を評価するためには、通常、最終的には実機で水脂肪ファントムもしくは人体を撮像し、効果を評価する方法が利用される。または、撮像の一連の手順を繰り返し、撮像シーケンスなどのパラメータを変更させて最適化を図る手法が考えられる。しかし、実機を利用することから、マシンタイムの確保やボランティアの確保などが制約となりうる。よって、
図5に示すように、実機での評価の一部をMRIシミュレータにより実行することで、効率的かつ最適な機械学習の訓練方法を提供できる。
【0032】
まず、
図2のステップSA2に示したセグメンテーション処理により、修正物理パラメータ35によるデジタルファントムを作成する(ブロック51)。その後、
図4で示すような修正物理パラメータ(T1、T2、PD)、パルスシーケンス、不完全性パラメータ(B1,B0)および変動要因パラメータをMRIシミュレータに入力し、シミュレーションデータ44が、データ増強された複数のMR画像を出力する(ブロック52)。なお、不完全性データとして、実機で計測した静磁場不均一データ、高周波磁場不均一データを用い、MRIシミュレータのシミュレーション結果と実機での撮像結果とが同等となるように整合性を取っておくことが望ましい。
データ増強された複数のMR画像を入力画像53として、学習対象の機械学習モデル55に入力する。機械学習モデルについては、
図5の例では、畳み込みニューラルネットワーク(CNN)を想定しているが、機械学習で一般的に用いられているモデルを利用すればよい。
【0033】
ここで、MSE(Mean square error)、RMSE(Root mean square error)などのロス関数を用いたCNNの収束判定において、MRIシミュレータによる評価を適用する(ブロック56)。例えば、脂肪抑制法としてDixon法を評価する場合に問題となる位相画像では、CNNから出力される第1位相画像と、教師データ54に含まれる正解データとなる第2位相画像との平均二乗誤差などの計算で得られる画像ベースの評価指標に加えて、第1位相画像をMRIシミュレータに入力し、出力として得られる脂肪抑制効果も定量値の評価指標を追加して、バックプロパゲーションによりCNNのパラメータを更新すればよい。なお、脂肪抑制法の場合、デジタルファントムに対してMRIシミュレータによりシミュレーションを実行する際に、静磁場不均一性の程度を変化させるなど、実機よりも厳しい条件を加えて機械学習モデルのパラメータ更新を行ってもよい。これにより、よりロバストなパラメータ設定が可能となる。
【0034】
もちろん、機械学習のタスクは脂肪抑制に限らず、デノイズ処理など、例えば非特許文献2に開示されるようなタスクを想定した機械学習を実施できる。本実施形態に係るシミュレーションデータを学習データに用いることで、シミュレーションデータの再現性が高いため、効率的かつ高精度な学習データのデータ増強を実施できる。
【0035】
なお、上述の例では、MRI装置およびMRデータに関するシミュレーションデータを想定したが、他の医用画像診断装置、例えばX線CT装置およびX線の投影データについても同様に、シミュレータの出力を実機の出力に近づける精度を向上させることができる。
【0036】
例えば、X線CT装置に関するシミュレータであれば、管電圧、管電流、FOV(Field of View)およびビュー数などの撮像パラメータと、所望のノイズ量または所望のSD値とをシミュレータに入力する。シミュレータでは、デジタルファントムに対する当該撮像パラメータに基づくX線の模擬照射のシミュレーションを実行する。これにより、デジタルファントムについての線減弱係数の投影である投影データのシミュレーションデータが生成される。MRI装置と同様に、高精度のデジタルファントムを用いてシミュレータによりシミュレーションを実行することで、投影データのシミュレーションデータを実際のX線CT装置で得られる投影データに近づけることができ、シミュレーションデータの再現性を向上させることができる。
【0037】
なお、上述の例に係るデータ生成装置1は、ワークステーションなど医用画像診断装置とは別体であることを想定するが、MRI装置またはX線CT装置などの画像診断装置に本実施形態に係るデータ生成装置1が搭載されてもよい。
【0038】
具体的に、データ生成装置および物理シミュレータを搭載したMRI装置の詳細について
図6のブロック図を参照して説明する。
MRI装置20は、静磁場磁石201と、傾斜磁場コイル203と、傾斜磁場電源205と、寝台207と、寝台制御回路209と、送信回路213と、送信コイル215と、受信コイル217と、受信回路219と、シーケンス制御回路221と、バス223と、インタフェース225と、ディスプレイ227と、記憶装置229と、処理回路231と、シミュレータ32とを備える。なお、MRI装置20は、静磁場磁石201と傾斜磁場コイル203との間に中空の円筒形状のシムコイルを有していてもよい。
【0039】
静磁場磁石201は、中空の略円筒形状に形成された磁石である。なお、静磁場磁石201は、略円筒形状に限らず、開放型の形状で構成されてもよい。静磁場磁石201は、内部の空間に一様な静磁場を発生する。静磁場磁石201としては、本実施形態では、超電導コイルを用いた超電導磁石を想定する。
【0040】
傾斜磁場コイル203は、中空の円筒形状に形成されたコイルである。傾斜磁場コイル203は、静磁場磁石201の内側に配置される。傾斜磁場コイル203は、互いに直交するX、Y、Zの各軸に対応する3つのコイルが組み合わされて形成される。Z軸方向は、静磁場の方向と同方向であるとする。また、Y軸方向は、鉛直方向とし、X軸方向は、Z軸およびY軸に垂直な方向とする。傾斜磁場コイル203における3つのコイルは、傾斜磁場電源205から個別に電流供給を受けて、X、Y、Zの各軸に沿って磁場強度が変化する傾斜磁場を発生させる。
【0041】
傾斜磁場コイル203によって発生するX、Y、Z各軸の傾斜磁場は、例えば、周波数エンコード用傾斜磁場(リードアウト傾斜磁場ともいう)位相エンコード用傾斜磁場およびスライス選択用傾斜磁場を形成する。周波数エンコード用傾斜磁場は、空間的位置に応じてMR信号の周波数を変化させるために利用される。位相エンコード用傾斜磁場は、空間的位置に応じてMR信号の位相を変化させるために利用される。スライス選択用傾斜磁場は、撮像断面を決めるために利用される。
【0042】
傾斜磁場電源205は、シーケンス制御回路221の制御により、傾斜磁場コイル203に電流を供給する電源装置である。
【0043】
寝台207は、被検体Pが載置される天板2071を備えた装置である。寝台207は、寝台制御回路209による制御のもと、被検体Pが載置された天板2071を、ボア211内へ挿入する。寝台207は、例えば、長手方向が静磁場磁石201の中心軸と平行になるように、MRI装置20が設置された検査室内に設置される。
【0044】
寝台制御回路209は、寝台207を制御する回路であり、インタフェース225を介したユーザの指示により寝台207を駆動することで、天板2071を長手方向および上下方向へ移動させる。
【0045】
送信コイル215は、傾斜磁場コイル203の内側に配置されたRFコイルである。送信コイル215は、送信回路213からRF(Radio Frequency)パルスの供給を受けて、高周波磁場に相当する送信RF波を発生する。送信コイル215は、例えば、全身コイルである。全身コイルは、送受信コイルとして使用されてもよい。全身コイルと傾斜磁場コイル203との間には、これらのコイルを磁気的に分離するための円筒状のRFシールドが設置される。
【0046】
送信回路213は、シーケンス制御回路221の制御により、ラーモア周波数等に対応するRFパルス)を送信コイル215に供給する。
【0047】
受信コイル217は、傾斜磁場コイル203の内側に配置されたRFコイルである。受信コイル217は、高周波磁場によって被検体Pから放射されるMR信号を受信する。受信コイル217は、受信されたMR信号を受信回路219へ出力する。受信コイル217は、例えば、1つ以上、典型的には複数のコイルエレメントを有するコイルアレイである。受信コイル217は、例えば、フェーズドアレイコイルである。
【0048】
受信回路219は、シーケンス制御回路221の制御により、受信コイル217から出力されたMR信号に基づいて、デジタル化された複素数データであるデジタルのMR信号を生成する。具体的には、受信回路219は、受信コイル217から出力されたMR信号に対して各種信号処理を施した後、各種信号処理が施されたデータに対してアナログ/デジタル(A/D)変換を実行する。受信回路219は、A/D変換されたデータを標本化(サンプリング)する。これにより、受信回路219は、デジタルのMR信号(以下、MRデータと呼ぶ)を生成する。受信回路219は、生成されたMRデータを、シーケンス制御回路221に出力する。
【0049】
シーケンス制御回路221は、処理回路231から出力された検査プロトコルに従って、傾斜磁場電源205、送信回路213および受信回路219等を制御し、被検体Pに対する撮像を行う。検査プロトコルは、検査に応じた各種パルスシーケンス、すなわち撮像シーケンスを有する。
【0050】
バス223は、インタフェース225と、ディスプレイ227と、記憶装置229と、処理回路231との間でデータを伝送させる伝送路である。バス223には、ネットワーク等を介して、各種生体信号計測器、外部記憶装置、各種モダリティなどが適宜接続されてもよい。例えば、生体信号計測器として、不図示の心電計がバスに接続される。
【0051】
インタフェース225は、ユーザからの各種指示や情報入力を受け付ける回路を有する。インタフェース225は、例えば、マウス等のポインティングデバイス、あるいはキーボード等の入力デバイスに関する回路を有する。なお、インタフェース225が有する回路は、マウス、キーボードなどの物理的な操作部品に関する回路に限定されない。例えば、インタフェース225は、MRI装置20とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、受け取った電気信号を種々の回路へ出力するような電気信号の処理回路を有していてもよい。
【0052】
ディスプレイ227は、処理回路231におけるシステム制御機能2311による制御のもとで、画像生成機能2313により生成された各種磁気共鳴画像(MR画像)、撮像および画像処理に関する各種情報などを表示する。ディスプレイ227は、例えば、CRTディスプレイや液晶ディスプレイ、有機ELディスプレイ、LEDディスプレイ、プラズマディスプレイ、又は当技術分野で知られている他の任意のディスプレイ、モニタ等の表示デバイスである。
【0053】
記憶装置229は、画像生成機能2313を介してk空間に充填されたMRデータ、画像生成機能2313により生成された画像データ等を記憶する。記憶装置229は、各種検査プロトコル、検査プロトコルを規定する複数の撮像パラメータを含む撮像条件等を記憶する。記憶装置229は、処理回路231で実行される各種機能に対応するプログラムを記憶する。記憶装置229は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスクドライブ(hard disk drive)、ソリッドステートドライブ(solid state drive)、光ディスクなどである。また、記憶装置229は、CD-ROMドライブやDVDドライブ、フラッシュメモリなどの可搬性記憶媒体との間で種々の情報を読み書きする駆動装置などであってもよい。
【0054】
処理回路231は、ハードウェア資源として図示していないプロセッサ、ROM(Read-Only Memory)やRAM等のメモリ等を有し、MRI装置20を統括的に制御する。処理回路231は、システム制御機能2311と、画像生成機能2313と、取得機能101と、セグメンテーション機能102と、推定機能103と、実行機能104と、訓練機能105と、表示制御機能106とを含む。
【0055】
処理回路231は、システム制御機能2311により、励起パルスシーケンスに従って励起パルスを印加し、傾斜磁場を印加するように制御する。処理回路231は、システム制御機能2311により、励起パルスシーケンスを実行後、各種データ収集用のパルスシーケンスであるデータ収集シーケンスに従って、被検体PからのMR信号を収集し、MRデータを生成する。
【0056】
処理回路231は、画像生成機能2313により、リードアウト傾斜磁場の強度に従って、k空間のリードアウト方向に沿ってMRデータを充填する。処理回路231は、k空間に充填されたMRデータに対してフーリエ変換を行うことにより、MR画像を生成する。例えば、処理回路231は、複素のMRデータから絶対値(Magnitude)画像を生成することが可能である。また、処理回路231は、複素のMRデータにおける実部データと虚部データとを用いて位相画像を生成することが可能である。
【0057】
一方、取得機能101と、セグメンテーション機能102と、推定機能103と、実行機能104と、訓練機能105と、表示制御機能106との各機能は、データ生成装置1の動作と同様である。
【0058】
処理回路231の各種機能は、コンピュータによって実行可能なプログラムの形態で記憶装置229へ記憶されている。処理回路231は、これら各種機能に対応するプログラムを記憶装置229から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読みだした状態の処理回路231は、
図1の処理回路231内に示された複数の機能等を有することになる。
【0059】
なお、
図6においては単一の処理回路231にてこれら各種機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路231を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。換言すると、上述のそれぞれの機能がプログラムとして構成され、1つの処理回路が各プログラムを実行する場合であってもよいし、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。
【0060】
以上に示した本実施形態によれば、MR画像からセグメンテーション処理により組織領域を抽出し、当該組織領域における物理拘束条件に基づく修正物理パラメータを用いたデジタルファントムにより、シミュレータションを実行し、シミュレーションデータを生成する。これにより、複雑な人体構造を高精度に抽出したデジタルファントムにより正確な物理パラメータが推定でき、単なる回転、縮小および変換といった画像処理と比較して、リアリティがあり、かつバラエティに富んだデータを生成できる。結果として、高精度のシミュレーションデータを生成でき、当該高精度のシミュレーションデータに基づいてデータ増強することで、高精度のデータ増強を実現できる。
【0061】
なお、上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))などの回路を意味する。プロセッサが例えばCPUである場合、プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。一方、プロセッサが例えばASICである場合、プログラムが記憶回路に保存される代わりに、当該機能がプロセッサの回路内に論理回路として直接組み込まれる。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
【0062】
加えて、実施形態に係る各機能は、前記処理を実行するプログラムをワークステーション等のコンピュータにインストールし、これらをメモリ上で展開することによっても実現することができる。このとき、コンピュータに前記手法を実行させることのできるプログラムは、磁気ディスク(ハードディスクなど)、光ディスク(CD-ROM、DVDなど)、半導体メモリなどの記憶媒体に格納して頒布することも可能である。
【0063】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0064】
1 データ生成装置
10,231 処理回路
11 メモリ
12 入力インタフェース
13 通信インタフェース
14,227 ディスプレイ
20 磁気共鳴イメージング装置(MRI装置)
31,33 MR画像
35 修正物理パラメータ
41 パルスシーケンス
42 不完全性パラメータ
43 変動要因パラメータ
44 シミュレーションデータ
45 MRIシミュレータ
51,52,56 ブロック
53 入力画像
54 教師データ
55 機械学習モデル
101 取得機能
102 セグメンテーション機能
103 推定機能
104 実行機能
105 訓練機能
106 表示制御機能
201 静磁場磁石
203 傾斜磁場コイル
205 傾斜磁場電源
207 寝台
209 寝台制御回路
211 ボア
213 送信回路
215 送信コイル
217 受信コイル
219 受信回路
221 シーケンス制御回路
223 バス
225 インタフェース
229 記憶装置
2071 天板
2311 システム制御機能
2313 画像生成機能