(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-19
(45)【発行日】2023-09-27
(54)【発明の名称】深層学習を使用して磁気共鳴撮像を向上させるためのシステムおよび方法
(51)【国際特許分類】
A61B 5/055 20060101AFI20230920BHJP
【FI】
A61B5/055 380
(21)【出願番号】P 2020555376
(86)(22)【出願日】2019-04-17
(86)【国際出願番号】 US2019027826
(87)【国際公開番号】W WO2019204406
(87)【国際公開日】2019-10-24
【審査請求日】2022-03-18
(32)【優先日】2018-04-19
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520389100
【氏名又は名称】サトゥル メディカル,インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】ツァン,タオ
(72)【発明者】
【氏名】ゴン,エンハオ
【審査官】蔵田 真彦
(56)【参考文献】
【文献】米国特許出願公開第2017/0061620(US,A1)
【文献】特開2004-305293(JP,A)
【文献】特開2008-23338(JP,A)
【文献】国際公開第2017/210226(WO,A1)
【文献】特開2010-155063(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/055
G06T 1/00-19/20
(57)【特許請求の範囲】
【請求項1】
取得時間が短縮された、画質を向上させるためのコンピュータ実施方法であって、
(a)医用撮像装置を使用して、被験者を撮像するための加速画像取得スキームを決定すること
であって、前記加速画像取得スキームは、複数の加速画像取得スキームで実行したシミュレーションに少なくとも部分的に基づいて、前記複数の加速画像取得スキームから最適な加速画像取得スキームを選択することにより決定することと、
(b)
前記加速画像取得スキームの決定を踏まえ、前記医用撮像装置を使用して、
(a)で決定された前記加速画像取得スキームに従って、前記被験者の医用画像を取得することと、
(c)前記医用画像の品質を向上させるために、前記医用画像に深層
残差ネットワークモデルを適用することと、
(d)医師による分析のために、前記被験者の品質が向上された画像を出力することと、
を含む、コンピュータ実施方法。
【請求項2】
前記医用画像は、磁気共鳴画像を含む、請求項1に記載のコンピュータ実施方法。
【請求項3】
前記
最適な加速画像取得スキームを
選択することは、
(i)グラフィカルユーザインターフェースを介して、ターゲット加速係数またはターゲット取得速度を受信することと、
(ii)前記ターゲット加速係数または前記ターゲット取得速度に基づいて、
前記複数の加速画像取得スキーム
を決定することと、
を含む、請求項1に記載のコンピュータ実施方法。
【請求項4】
前記
最適な加速画像取得スキームを選択することは、
前記シミュレーションのために、前記複数の加速画像取得スキーム
を画像
パッチに適用することを
さらに含む、請求項3に記載のコンピュータ実施方法。
【請求項5】
前記
最適な加速画像取得スキームは、
前記複数の加速画像取得スキームの下で生成された複数の出力画像
の品質に基づいて
自動的に選択される、請求項
4に記載のコンピュータ実施方法。
【請求項6】
前記加速画像取得スキーム
の1つ以上のパラメータは、アンダーサンプリングされたk空間、アンダーサンプリングパターン、
又は、低減された繰り返し数に関連す
る、請求項1に記載のコンピュータ実施方法。
【請求項7】
前記
加速画像取得スキームのパラメータは、アンダーサンプリングパターン
に関連し、
前記アンダーサンプリングパターンは、均一アンダーサンプリングパターン、ランダムアンダーサンプリングパターン、及び、
サンプリング密度が可変
のアンダーサンプリングパターン
、からなる群から選択される、請求項
1に記載のコンピュータ実施方法。
【請求項8】
前記医用画像は、アンダーサンプリングされたk空間画像または低減された繰り返し数を使用して取得された画像を含む、請求項1に記載のコンピュータ実施方法。
【請求項9】
前記深層
残差学習モデルは、
フィードバックとしてのユーザ入
力に基づいて、適応的に最適化されたメトリックを用いてトレーニングされる、請求項1に記載のコンピュータ実施方法。
【請求項10】
前記深層
残差学習モデルは、少なくとも低品質画像および高品質画像を含むトレーニングデータセットを使用してトレーニングされる、請求項1に記載のコンピュータ実施方法。
【請求項11】
前記低品質画像は、ノイズまたはアンダーサンプリングアーチファクトをもたらすために、前記高品質画像に、1つ以上のフィルタを適用するか、または合成ノイズを追加することによって生成される、請求項10に記載のコンピュータ実施方法。
【請求項12】
前記深層
残差学習モデルは、少なくとも低品質画像および高品質画像の一部分を含む画像パッチを使用してトレーニングされる、請求項1に記載のコンピュータ実施方法。
【請求項13】
前記画像パッチは、画像類似性を定量化している1つ以上のメトリックに基づいて選択される、請求項12に記載のコンピュータ実施方法。
【請求項14】
前記深層
残差学習モデルは、
データ整合性を確保するためにスキップ接続を有する、請求項1に記載のコンピュータ実施方法。
【請求項15】
前記深層
残差学習モデルは、参照画像を近似するために、1つ以上のモデルパラメータを適応的に調整することによってトレーニングされる、請求項1に記載のコンピュータ実施方法。
【請求項16】
前記被験者の品質が向上された前記画像は、前記医用撮像装置を使用して取得された前記医用画像と比較して、より高いSNR、より高い解像度、またはより少ないエイリアシングを有する、請求項1に記載のコンピュータ実施方法。
【請求項17】
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令は、1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、
(a)医用撮像装置を使用して、被験者を撮像するための加速画像取得スキームを決定する動作
であって、前記加速画像取得スキームは、複数の加速画像取得スキームで実行したシミュレーションに少なくとも部分的に基づいて、前記複数の加速画像取得スキームから最適な加速画像取得スキームを選択することにより決定する動作と、
(b)
前記加速画像取得スキームの決定を踏まえ、前記医用撮像装置を使用して、
(a)で決定された前記加速画像取得スキームに従って前記被験者の医用画像を取得する動作と、
(c)前記医用画像の品質を向上させるために、前記医用画像に深層
残差ネットワークモデルを適用する動作と、
(d)医師による分析のために、前記被験者の品質が向上された画像を出力する動作と、
を実行させる、非一時的コンピュータ可読記憶媒体。
【請求項18】
前記医用画像は、磁気共鳴画像を含む、請求項17に記載の非一時的コンピュータ可読記憶媒体。
【請求項19】
前記
最適な加速画像取得スキームは、
前記複数の加速画像取得スキームの下で生成された複数の出力画像
の品質に基づいて
自動的に選択される、請求項17に記載の非一時的コンピュータ可読記憶媒体。
【請求項20】
前記加速画像取得スキーム
の1つ以上のパラメータは、アンダーサンプリングされたk空間、アンダーサンプリングパターン、
又は、低減された繰り返し数に関連す
る、請求項17に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2018年4月19日に出願された米国仮特許出願第62/659,837号の優先権を主張し、その内容は参照によりその全体が本明細書に組み込まれる。
【背景技術】
【0002】
磁気共鳴撮像(MRI)または核磁気共鳴撮像は、被験者(例えば、患者)、特に体内の詳細な内部構造を視覚化するために一般的に使用される医用撮像技術である。MRIは、電離放射線を伴わずに、解像度が向上され、体の様々な軟組織間のコントラストが高い臨床画像を提供するため、多くの困難な疾患のための理想的な撮像モダリティである。X線、CT、超音波などの他のモダリティと比較して、MRIは、臨床的に有用な画像を生成するためのデータ取得に、より長い時間、時には数分かかる。スキャン時間が長いことにより、不所望の撮像アーチファクトが出現する可能性がある。MR検査のスキャン時間がこのように長いと、撮像コストが高くなり、患者の数およびアクセス可能性が制限される可能性がある。いくつかのMR応用(例えば、拡散強調撮像)では、適切な信号対ノイズ比(SNR)を達成するために、同じまたは同様の取得を多数回繰り返す必要がある。
【0003】
加速MR画像取得のために、パラレル撮像や圧縮センシングなどの方法が採用されているが、実際の加速能力は依然として制限されている。例えば、スキャン時間が大幅に短縮されると、パラレル撮像では、劇的に増幅されたノイズとともにエイリアシングアーチファクトに悩まされる。別の例では、圧縮センシングでは、画像のぼけに悩まされる。従来の方法では、(1)繰り返し数を低減する、(2)ナイキストのサンプリングレートを超えてアンダーサンプリングする、または(3)画像解像度を下げることにより、加速データ取得を達成することができる。このような方法では、低SNR、エイリアシング、またはぼけなど、様々なアーチファクトのある画像がもたらされる可能性がある。
【0004】
本明細書で使用される「繰り返し」という用語は、一般に、同じ被験者に対して同じ撮像パラメータを使用する画像取得の繰り返し、同じ被験者に対して様々な撮像パラメータを使用する画像取得の繰り返し、様々な角度からの被験者に対する画像取得の繰り返しなどを指し、これにより、画質が向上される。例えば、動脈スピンラベル標識(ASL)MRIでは、同じ撮像パラメータは使用するが、同じ遅延パラメータは使用せずに取得した多数の画像の特定のモデルに基づく平均または加重平均を使用して高品質画像を計算することができるマルチディレイASLが存在し得る。別の例では、COSMOS法を、定量的磁化率マッピング(QSM)MRIにおいて高品質画像を達成するために使用することができる。この方法は、同じ撮像パラメータを使用して取得した多数の画像のモデルに基づく平均または加重平均である。繰り返される画像取得の間、同じ撮像パラメータを使用して、被験者を異なる角度(例えば、被験者の頭部を様々な位置に回転または移動させる)から撮像することができる。
【0005】
従来の方法の1つは、マルチNEX(励起数)取得であり、これは、MRIのSNRを向上させるために、同じまたは同様の取得を多数回繰り返す方法と呼ばれている。mをグランドトゥルース画像として、miをi回目の取得の取得画像として、かつ、niをmiにおけるグランドトゥルースから対応するノイズまたはオフセットとして定義する。この結果、次のとおりとなる。
mi=m+ni
【0006】
通常は、すべての取得画像の、線形平均化または場合によっては特定の重み付けモデルに基づく加重平均化を含む平均m
aveは、任意の個々の画像m
iよりも高いSNRを有し、mの推定値であると見なされる。あるいは、画像ノイズ除去法を使用して、m
iのSNRを向上させることができる。このプロセスは、次のとおりに表すことができる。
【数1】
【0007】
式中、fはノイズ除去関数を表し、ノイズ除去された画像
はmの推定値である。しかしながら、このアプローチは、これまでほとんどのマルチNEX取得の単純な平均化ほど広く使用されてきていない。
【0008】
パラレル撮像および圧縮センシングは、ナイキストサンプリングレートを超えてサンプリングすることでMR取得を加速させるための2つのよく知られている従来の方法である。パラレル撮像は、コイル感度が異なるコイルアレイのセットを使用して、未取得データを合成し、一方、圧縮センシングは、スパース性制約を利用し、最適化問題を解くことで基になっている画像の推定値を得る。一般に、パラレル撮像と圧縮センシングは組み合わされて、より優れた画質および加速能力が達成される。muをアンダーサンプリングされた取得からの画像と定義する。この結果、パラレル撮像および圧縮センシングはともに、次のとおりに定式化することができる。
【0009】
【0010】
式中、fは対応する画像再構成を表し、
は推定された再構成である。しかしながら、このような方法は、ハードウェアインフラストラクチャや取得時間を犠牲にして、より良い画質を達成することができる。
【0011】
超解像は、画像解像度向上のための別の従来の方法である。元の画像mLRは、低解像度で取得され、再構成された画像mSRは、より良い画像解像度を有する。mSRは、mLRのマトリックスサイズを大きくし、取得されていない追加の高空間周波成分を推定することによって得ることができる。低解像度画像は必要な取得時間が短いため、超解像法もMRスキャン時間を短縮することができる。
【0012】
前の定式化と同様に、超解像再構成もまた、低解像度画像を高解像度画像
に変換する関数fで表すことができる。
【数3】
【0013】
超解像法の主な課題は、未取得の高空間周波数情報(または関数f)を直接推定することが難しいことである。したがって、改良されたMR撮像システムの必要性が存在する。
【発明の概要】
【0014】
本開示は、上記で認識されたものを含む、従来のシステムの様々な欠点に対処することができる改良された磁気共鳴撮像(MRI)システムを提供する。提示する開示の方法およびシステムは、画像取得時間が短縮されて、向上された画質を提供する。実行時の画像再構成のための計算時間も、標準の反復再構成方法と比較して短縮することができる。提供される方法およびシステムは、画像再構成のために深層学習技術を適用して画質を向上させることにより、MRスキャン時間を大幅に短縮することができる。医用撮像における低品質の例には、ノイズ(例えば、低信号対ノイズ比)、ぼけ(例えば、モーションアーティファクト)、シェーディング(例えば、センシングの妨害または干渉)、不足情報(例えば、情報の除去またはマスキングによるペインティングにおいて不足しているピクセルまたはボクセル)、再構成(例えば、測定領域における劣化)、および/またはアンダーサンプリングアーチファクト(例えば、圧縮センシングによるアンダーサンプリング、エイリアシング)が含まれ得る。本開示の方法およびシステムは、基礎となるインフラストラクチャを変更する必要なく、既存のシステムにシームレスに適用することができる。特に、提供される方法およびシステムは、ハードウェアコンポーネントの追加コストなしで、MR画質を向上させることができ、また、基礎となるインフラストラクチャの構成や仕様に関係なく展開することができる。
【0015】
本発明の一態様では、取得時間が短縮された、画質を向上させるためのコンピュータ実施方法が提供される。この方法は、医用撮像装置を使用して、被験者を撮像するための加速画像取得スキームを決定することと、医用撮像装置を使用して、加速画像取得スキームに従って、被験者の医用画像を取得することと、医用画像の品質を向上させるために、医用画像に深層ネットワークモデルを適用することと、医師による分析のために、被験者の品質が向上された画像を出力することと、を含む。いくつかの実施形態では、医用画像は、磁気共鳴画像を含む。
【0016】
本発明のいくつかの実施形態では、加速画像取得スキームを決定することは、グラフィカルユーザインターフェースを介して、ターゲット加速係数またはターゲット取得速度を受信することと、ターゲット加速係数またはターゲット取得速度に基づいて、複数の加速画像取得スキームから選択することと、を含む。場合によっては、加速画像取得スキームは、シミュレーションのために、複数の加速画像取得スキームを医用画像の一部分に適用することによって選択される。
【0017】
いくつかの実施形態では、加速画像取得スキームは、ユーザ入力およびリアルタイムのシミュレートされた出力画像に基づいて決定される。いくつかの実施形態では、加速画像取得スキームは、アンダーサンプリングされたk空間、アンダーサンプリングパターン、および低減された繰り返し数に関連する1つ以上のパラメータを含む。場合によっては、アンダーサンプリングパターンは、均一アンダーサンプリングパターン、ランダムアンダーサンプリングパターン、および可変アンダーサンプリングパターンからなる群から選択される。いくつかの実施形態では、医用画像は、アンダーサンプリングされたk空間画像または低減された繰り返し数を使用して取得された画像を含む。
【0018】
いくつかの実施形態では、深層学習モデルは、ユーザ入力およびリアルタイムのシミュレートされた出力画像に基づいて、適応的に最適化されたメトリックを用いてトレーニングされる。いくつかの実施形態では、深層学習モデルは、少なくとも低品質画像および高品質画像を含むトレーニングデータセットを使用してトレーニングされる。場合によっては、低品質画像は、ノイズまたはアンダーサンプリングアーチファクトをもたらすように、高品質画像に、1つ以上のフィルタを適用するか、または合成ノイズを追加することによって生成される。いくつかの実施形態では、深層学習モデルは、少なくとも低品質画像および高品質画像の一部分を含む画像パッチを使用してトレーニングされる。場合によっては、画像パッチは、画像類似性を定量化している1つ以上のメトリックに基づいて選択される。
【0019】
いくつかの実施形態では、深層学習モデルは、深層残差学習モデルである。いくつかの実施形態では、深層学習モデルは、参照画像を近似するように、1つ以上のモデルパラメータを適応的に調整することによってトレーニングされる。いくつかの実施形態では、被験者の品質が向上された画像は、医用撮像装置を使用して取得された医用画像と比較して、より高いSNR、より高い解像度、またはより少ないエイリアシングを有する。
【0020】
本開示の別の態様は、1つ以上のコンピュータプロセッサによる実行時に、上記または本明細書の他の場所のいずれかの方法を実装する、機械実行可能コードを含む、非一時的コンピュータ可読媒体を提供する。例えば、1つ以上のプロセッサは、医用撮像装置を使用して、被験者を撮像するための加速画像取得スキームを決定する動作と、医用撮像装置を使用して、加速画像取得スキームに従って被験者の医用画像を取得する動作と、医用画像の品質を向上させるために、医用画像に深層ネットワークモデルを適用する動作と、医師による分析のために、被験者の品質が向上された画像を出力する動作と、を実行することができる。
【0021】
いくつかの実施形態では、医用画像は、磁気共鳴画像を含む。いくつかの実施形態では、加速画像取得スキームは、ユーザ入力およびリアルタイムのシミュレートされた出力画像に基づいて決定される。いくつかの実施形態では、加速画像取得スキームは、アンダーサンプリングされたk空間、アンダーサンプリングパターン、および低減された繰り返し数に関連する1つ以上のパラメータを含む。
【0022】
本開示のさらなる態様および利点は、以下の詳細な説明から当技術分野の当業者に容易に明らかになるであろう。以下の詳細の説明は、本開示の例示的な実施形態のみが示され、説明されている。理解されるように、本開示は、他のおよび異なる実施形態が可能であり、そのいくつかの詳細は、すべて本開示から逸脱することなく、様々な明白な点で修正可能である。したがって、図面および説明は、本質的に例示的なものと見なされるべきであり、限定的なものとして見なされるべきではない。
【0023】
参照による組み込み
本明細書で言及されたすべての出版物、特許および特許出願は、あたかも各個々の出版物、特許または特許出願が参照により組み込まれることが具体的かつ個別に示されたかのように、同じ範囲まで参照により本明細書に組み込まれる。
【図面の簡単な説明】
【0024】
本発明の新規な特性は、添付の特許請求の範囲に詳細に記述されている。本発明の特徴および利点のより良い理解は、本発明の原理が利用される例示的な実施形態を記述する以下の詳細な説明および添付の図面(drawings)(また、本明細書では「figure」および「FIG.」)を参照することによって得ることができるであろう。
【
図1】深層学習アルゴリズムを使用して低品質画像を高品質画像に変換する一例を概略的に示す。
【
図2】提示する開示の撮像加速器を実装することができる磁気共鳴撮像(MRI)システムを概略的に示す。
【
図3】本開示の実施形態による、MR撮像加速器システムの一例のブロック図を示す。
【
図4】対話型MRI取得モジュールを使用して取得スキームを決定する例を示す。
【
図5】加速取得でMR画質を向上させる方法の一例を示す。
【発明を実施するための形態】
【0025】
本明細書において本発明の様々な実施形態を示して説明してきたが、当業者にとってこのような実施形態が例としてのみ提供されていることは明らかであろう。本開示の範囲から逸脱することなく、多数の変形、変更、および置換が当業者には想到されるであろう。本明細書に記載された本発明の実施形態の様々な代替が採用されてもよいことが理解されるべきである。
【0026】
加速取得
本明細書で使用される「加速取得」という用語は、一般に、短縮されたMR取得時間を指す。提供されるシステムおよび方法は、少なくとも1.5、2、3、4、5、10、15、20の加速係数、20を超えるもしくは1.5未満の値の係数、または前述の値のうちのいずれか2つの間の値だけ向上された品質でMR撮像を達成することができる可能性がある。加速取得は、(1)マルチNEX取得の繰り返し数を減らす、(2)サンプリングレートをナイキストレートより低くする、または(3)画像解像度を下げるなどのアプローチによって達成することができる。加速スキームは、上記のアプローチのうちの1つ以上を使用することを含んでもよい。加速スキームは、上記のアプローチの任意の組み合わせを使用することを含んでもよい。一例では、加速取得は、繰り返し数を減らすことによって達成することができる。別の例では、加速取得は、k空間をアンダーサンプリングすることによって達成することができる。さらなる例では、加速取得は、繰り返し数を減らすことと、k空間をアンダーサンプリングすることとの組み合わせによって達成することができる。加速スキームはまた、選択されたアプローチの加速結果に影響を及ぼし得る1つ以上のパラメータを含んでもよい。加速スキームはまた、本明細書全体で交換可能に使用される取得スキームまたは加速画像取得スキームと呼ばれてもよい。
【0027】
MR撮像における画像形成は、パルスシーケンスによって決定される方法での2次元または3次元でのk空間の横断に基づいている。周波数エンコード方向におけるデータの取得は、通常、高速で数ミリ秒のオーダーであるが、位相エンコード軸に沿ってkyの各値をサンプリングするには、印加された位相エンコード勾配のわずかに異なる値で収集された別個のエコーが必要である。したがって、規定された数の位相エンコードステップによるk空間のサンプリングが、ほとんどのMR撮像取得における取得時間の大部分を占める。
【0028】
場合によっては、加速データ取得は、k空間をアンダーサンプリングすることによって達成することができる。k空間は、様々なサンプリングスキームに従ってアンダーサンプリングすることができる。サンプリングスキームは、少なくとも所与の方向、または事前定義されたパターン/軌跡に沿ったサンプリング密度を含むことができる。例えば、k空間は、少なくとも1%、5%、10%、15%、20%、25%、30%、35%、40%、45%、50%などの目的の画像のFOV(視野)のナイキスト基準に対するサンプルの密度によって、少なくとも所与の方向に沿ってアンダーサンプリングされる可能性がある。サンプリングスキームは、アンダーサンプリング、オーバーサンプリング、またはクリティカルサンプリングされたk空間の領域を指定することなど、他の様々な要素を含んでもよい。いくつかの実施形態では、サンプリングスキームに関連する1つ以上のパラメータを加速スキームにおいて指定することができる。
【0029】
いくつかの実施形態では、加速取得のためのアンダーサンプリングパターンを加速スキームにおいて指定することができる。加速取得は、均一アンダーサンプリングパターン、ランダムアンダーサンプリングパターン、または可変アンダーサンプリングパターンなどのアンダーサンプリングパターンを使用することができる。スパイラルサンプリングパターン、放射状に配置されたストリップ、直線パターン、ポアソンディスク、ジッタグリッド、またはランダム化パターンなどの様々なパターンまたは軌跡を、k空間のサンプリングに適用することができる。パターンまたは軌跡は、特定の撮像技術に従って決定することができる。例えば、より良いパラレル再構成を達成するには、サンプリングパターンに頻繁に発生する大きなギャップが含まれるべきではない。したがって、パラレル処理のサンプリングパターンとして、サンプリング密度が均一または可変のポアソンディスクおよびジッタグリッドを選択することができる。
【0030】
前述のように、短い取得時間で取得された画像は、様々なアーチファクトを経験する可能性がある。このような画像は、低SNR、ぼけ、またはエイリアシングなど、より低品質である可能性がある。本開示の方法およびシステムは、機械学習方法を低品質画像に適用することによってこれらのアーチファクトを軽減し、加速取得で高品質MR画像をもたらすことができる。このような方法は、画像再構成に使用することができ、また、任意の既存のMR技術と組み合わせて使用可能である。
【0031】
深層学習法
図1は、深層学習アルゴリズム110を使用して、低品質画像101、103を高品質画像105に変換する一例を概略的に示す。低品質画像は、上記の加速データ取得アプローチを使用して取得することができる。場合によっては、加速データ取得アプローチは、取得スキームにおいて指定されていてもよい。m
accを加速データ取得に対応する画像と定義する。サンプリングレートが下げられ、および/または画像解像度が下げられた加速2D取得の一例を
図1に示す。画像再構成中に、低品質画像に深層学習アルゴリズムを適用して、低品質画像m
accを高品質画像
に変換する関数fを推定することができる。高品質画像は、高SNR、エイリアスフリー、または高解像度の画像であってもよい。場合によっては、この関数fは、多数のトレーニングデータセットのトレーニングプロセスを通じて、グラウンドトゥルース画像mと推定された画像
との間のメトリックgを最適化することによって得ることができる。
【数4】
【0032】
最適化された重み付けと組み合わせることができる1つ以上のコストメトリックがあってもよい。gは、L
2ノルム
【数5】
L
1ノルム
【数6】
構造的相違性、または他のメトリックなどの任意の好適なメトリックであってもよい。場合によっては、kを恒等変換してから、画像領域でメトリックを計算することができる。kは、フーリエ変換などの他の任意の変換であってもよいため、メトリックは、対応する周波数領域で計算されてもよい。場合によっては、gメトリックを、深層学習モデルのトレーニングプロセス中に、基準として使用することができる。場合によっては、gメトリックはまた、画像の状態を識別し、画質を評価するために、個別に、またはfと一緒に同時にトレーニングされるネットワークモデルであってもよい。場合によっては、深層学習モデルは、ユーザ入力とリアルタイムのシミュレートされた出力画像とに基づいて、適応的に最適化されたメトリックを用いてトレーニングされてもよい。
【0033】
機械学習方法110は、1つ以上の機械学習アルゴリズムを含んでもよい。人工ニューラルネットワークは、フィードフォワードニューラルネットワーク、動径基底関数ネットワーク、リカレントニューラルネットワーク、畳み込みニューラルネットワーク、深層残差学習ネットワークなどの任意のタイプのニューラルネットワークモデルを採用することができる。いくつかの実施形態では、機械学習アルゴリズムは、畳み込みニューラルネットワーク(CNN)などの深層学習アルゴリズムを含んでもよい。機械学習アルゴリズムの例には、サポートベクターマシン(SVM)、単純ベイズ分類、ランダムフォレスト、ニューラルネットワークなどの深層学習モデル、または他の教師あり学習アルゴリズムもしくは教師なし学習アルゴリズムが含まれてもよい。場合によっては、この方法は教師あり深層機械学習法であってもよい。
【0034】
CNNなどの深層学習ネットワークは、多数の層を含むことができる。例えば、CNNモデルは、少なくとも入力層、いくつかの隠れ層、および出力層を含むことができる。CNNモデルは、任意の総数の層および任意の数の隠れ層を含むことができる。ニューラルネットワークの最も単純なアーキテクチャは、入力層から始まり、一連の中間層または隠れ層が続き、出力層で終わる。隠れ層または中間層は、学習可能な特徴抽出器として機能することができ、一方、この例における出力層は、品質が向上されたMR画像を提供する。
【0035】
ニューラルネットワークの各層は、いくつかのニューロン(またはノード)を含むことができる。ニューロンは、入力データ(例えば、低品質画像データ、アンダーサンプリングされたk空間データなど)から直接、または他のニューロンの出力部から来る入力を受け取り、特定の演算(例えば、合計)を行う。場合によっては、入力部からニューロンへの接続は、重み(または重み係数)に関連付けられる。場合によっては、ニューロンは入力部のすべてのペアとそれに関連付けられた重みとの積を合計することができる。場合によっては、加重和はバイアスで相殺される。場合によっては、ニューロンの出力は、閾値または活性化関数を使用してゲート処理されてもよい。活性化関数は、線形であっても非線形であってもよい。活性化関数は、例えば、正規化線形ユニット(ReLU)活性化関数、または飽和双曲線正接関数、恒等関数、バイナリステップ関数、ロジスティック関数、逆正接関数、ソフトサイン関数、パラメトリック正規化線形ユニット関数、指数線形ユニット関数、ソフトプラス関数、ベント恒等関数、ソフト指数関数、シヌソイド関数、シンク関数、ガウス関数、シグモイド関数、またはこれらの任意の組み合わせなどの他の関数であってもよい。
【0036】
いくつかの実施形態では、深層学習モデルのトレーニングプロセスは、残差学習法を採用することができる。場合によっては、残差学習フレームワークを使用して、トレーニングされたモデルを評価することができる。場合によっては、スキップ接続を有する残差学習フレームワークが、複素数値のエイリアシング画像などのより低品質の画像から推定されるグラウンドトゥルース画像を、測定値との整合性(データ整合性)を確保する改良点を用いて生成することができる。より低品質の入力画像は、アンダーサンプリングされたデータの逆フーリエ変換(FT)を介して簡単に得ることができる。場合によっては、モデルが学習するのは、生の画像データとグラウンドトゥルース画像データとの差の残差であり、これは、より疎であり、ネットワーク構造を使用して近似するのにあまり複雑ではない。この方法では、バイパス接続を使用して残差学習を有効にすることができる。場合によっては、残差ネットワークが使用され、直接モデル出力が低品質画像と高品質画像との間の推定残差/誤差であってもよい。つまり、深層学習フレームワークによって学習される関数は、状況によっては最適化が容易な残差関数である。残差に低品質画像を追加することによって、より高品質の画像を復元することができる。この残差トレーニングアプローチは、トレーニングの複雑さを軽減し、出力レベルが小さい場合により優れたパフォーマンスを達成し、モデルが完璧に予測しない場合でも大きな画像アーチファクトを導入する可能性を減らすことができる。
【0037】
トレーニングデータセットを、残差学習を含む深層ネットワークおよび畳み込みニューラルネットワークに入力することができる。モデルは、比較的高いSNRおよびより優れた解像度を有するターゲット品質の参照画像を使用してトレーニングすることができる。場合によっては、深層学習モデルは、ユーザ入力およびリアルタイムでシミュレートされた出力画像に基づいて適応的に調整されたパラメータを用いてトレーニングされてもよい。あるいは、またはそれに加えて、深層学習ネットワークは、残差学習を含まない「プレーン」CNNであってもよい。場合によっては、ディープラーニングネットワークのタイプは、MR画像強調の目標、画像データの特性、または他の要素に基づいて選択することができる。例えば、SNRを向上させる、エイリアスフリーを達成する、または画像の解像度を上げるなどの画像強調の異なる目標に従って、深層残差学習ネットワークまたはプレーンCNNを選択することができる。場合によっては、トレーニングプロセス中に、深層学習モデルはモデルパラメータを適応的に調整して、入力画像の初期セットからターゲット品質の参照画像を近似し、品質が向上された画像を出力することができる。
【0038】
いくつかの実施形態では、深層学習モデルのトレーニングプロセスは、パッチベースのアプローチを採用することができる。場合によっては、トレーニングに使用される画像(例えば、低品質画像および高品質画像)がパッチに分割されてもよい。例えば、高品質画像とより低品質の画像とのペアなどのトレーニング画像のペアが各々、より小さなパッチのセットに空間的に分割されてもよい。高品質画像およびより低品質の画像を、パッチのセットに分割することができる。画像パッチのサイズは、画像に含まれる認識可能な特徴の可能なサイズなど、応用に依存する場合がある。あるいは、画像パッチのサイズは、事前に決定されているか、または経験的データに基づいていてもよい。
【0039】
場合によっては、1つ以上のパッチをパッチのセットから選択し、モデルのトレーニングに使用することができる。場合によっては、同じ座標に対応する1つ以上のパッチを、画像のペアから選択することができる。あるいは、パッチのペアが同じ座標に対応していなくてもよい。次に、選択されたパッチのペアをトレーニングに使用することができる。場合によっては、パッチは、所定の閾値を上回る類似性を有する画像のペアから選択される。画像の類似性を定量化している任意の好適なメトリックを使用して、1つ以上のパッチのペアを選択することができる。例えば、1つ以上のパッチのペアは、構造的類似性指数、ピーク信号対ノイズ比(PSNR)、平均二乗誤差(MSE)、絶対誤差、他のメトリック、または上記の任意の組み合わせを計算することによって選択することができる。場合によっては、類似性の比較は、画像上のスライディングウィンドウを使用して行うことができる。
【0040】
深層学習モデル110は、MR画像データを含む1つ以上のトレーニングデータセットを使用してトレーニングすることができる。一例では、トレーニングデータセットは、多数の軸方向スライスを含む3Dボリューム画像データであってもよく、各スライスは、各々が実数成分および虚数成分のための2つのチャネルを含み得る複素数値の画像であってもよい。トレーニングデータセットは、MR撮像デバイスから得られたより低品質の画像を含むことができる。例えば、低品質の入力画像は、アンダーサンプリングされたデータ(例えば、k空間データ)の逆フーリエ変換(FT)を介して簡単に得ることができる。場合によっては、トレーニングデータセットは、シミュレーションから得られた拡張データセットを含んでもよい。例えば、臨床データベースからの画像データを使用して、低品質の画像データを生成することができる。一例では、特定のデータポイントを除去してアーチファクトをもたらすようにマスクを適用するなど、FFTおよびフィルタを生の画像データに適用して、それを低品質の画像データに変換することができる。別の例では、画像ぼけフィルタを高品質画像に直接適用して、低品質画像を生成することができる。さらなる例では、合成ノイズを高品質画像に追加して、ノイズの多い画像をもたらすことができる。いくつかの実施形態では、より高品質の入力画像データは、本明細書の他の場所で説明されるように、より長い取得時間または反復画像取得でのMR撮像デバイスを使用する直接画像取得から得ることができる。
【0041】
トレーニングされた深層学習モデルは、より低品質のMR画像データを含む入力データを、より高品質のMR画像データを含む出力データに変換するために使用することができる。場合によっては、入力データは、多数の軸方向スライスを含む3Dボリュームであってもよい。一例では、入力スライスおよび出力スライスは、同じサイズの複素数値の画像であってもよく、各々が実数成分および虚数成分のための2つのチャネルを含む。提供されるシステムを用いて、より高品質のMR画像を加速取得で得ることができる。
【0042】
いくつかの実施形態では、トレーニング段階中に、追加の画像処理ステップを、ユーザの好みに基づいて深層学習入力画像に適用することができる。例えば、ハイパスフィルタ、ローパスフィルタなどの画像フィルタを入力画像に適用することができる。場合によっては、合成ノイズを入力画像に追加することができる。同様に、後画像処理ステップを、ユーザの好みに基づいて深層学習出力画像に適用することができる。例えば、ハイパスフィルタ、ローパスフィルタなどの画像フィルタを出力画像に適用することができる。場合によっては、合成ノイズを出力画像に追加することができる。
【0043】
本開示のシステムおよび方法は、ハードウェアインフラストラクチャの変更を必要とせずに、任意の既存のMR撮像システム上に実装することができる撮像加速器システムを提供することができる。撮像加速器システムは、ソフトウェア、ハードウェア、ファームウェア、組み込みハードウェア、スタンドアロンハードウェア、アプリケーション固有のハードウェア、またはこれらの任意の組み合わせで実装することができる。撮像加速器システムは、MR撮像システムとは別のスタンドアロンシステムとすることができる。あるいは、またはそれに加えて、撮像加速器システムは、MR撮像システムのコントローラのコンポーネントなどのMR撮像システムに統合することができる。
【0044】
システム概要
図2は、提示する開示の撮像加速器240を実装することができる磁気共鳴撮像(MRI)システム200を概略的に示す。MRIシステム200は、磁石システム203と、磁石システムに接続された患者輸送テーブル205と、磁石システムに動作可能に結合されたコントローラ201とを含んでもよい。一例では、患者は、患者輸送テーブル205上に横たわることができ、磁石システム203は、患者の周りを通過する。コントローラ201は、磁石システム203によって提供される磁場および無線周波数(RF)信号を制御することができ、また、磁石システム203内の検出器から信号を受信することができる。MRIシステム200は、コンピュータシステム210と、ネットワーク230を介してコントローラ201に動作可能に結合された1つ以上のデータベースとをさらに含んでもよい。コンピュータシステム210は、MR撮像加速器240を実装するために使用することができる。コンピュータシステム210は、トレーニングデータセットを使用して撮像加速器を生成するために使用することができる。図示の図は、コントローラとコンピュータシステムとを別々のコンポーネントとして示しているが、コントローラおよびコンピュータシステムは単一のコンポーネントに統合することができる。
【0045】
コントローラ201を動作させて、インストールされたソフトウェアプログラムに従って、パルスシーケンスに関するMRIシーケンスコントローラ情報を提供する、および/またはシステム全体の動作を管理することができる。コントローラはまた、例えば、自動音声合成技術を使用して生成された音声メッセージによる息止めなどのタスクを実行するように患者に指示するための要素として機能することもできる。コントローラは、実行されるスキャンシーケンスを示すコマンドをオペレータから受け取ることができる。コントローラは、システムコンポーネントを動作させて所望のスキャンシーケンスを実行するように構成されたパルス発生器モジュールなどの様々なコンポーネントを含んでもよく、生成されるRFパルスのタイミング、強度および形状、ならびにデータ取得ウィンドウのタイミングおよび長さを示すデータが生成される。パルス発生器モジュールを一組の勾配増幅器に結合して、スキャン中に生成される勾配パルスのタイミングおよび形状を制御することができる。パルス発生器モジュールはまた、電極からのECG(心電図)信号またはベローズからの呼吸信号など、患者に取り付けられたセンサーからの信号を受信する生理学的取得コントローラから患者データを受信する。パルス発生器モジュールは、患者および磁石システムの状態に関連付けられた様々なセンサーから信号を受信するスキャンルームインターフェース回路に結合することができる。患者位置決めシステムが、スキャンルームインターフェース回路を介してコマンドを受信して、スキャンのための所望の位置に患者を移動させることができる。
【0046】
コントローラ201は、RF増幅器によって増幅され、送信/受信スイッチによってRFコイルに結合されるパルスを生成するように構成されたトランシーバモジュールを含んでもよい。患者内の励起核によって放射された結果として得られる信号は、同じRFコイルによって感知され、送信/受信スイッチを介して前置増幅器に結合され得る。増幅された核磁気共鳴(NMR)信号は、トランシーバの受信器セクションにおいて、復調、フィルタリング、およびデジタル化される。送信/受信スイッチは、パルス発生器モジュールからの信号によって制御されて、RF増幅器を、送信モードではコイルに、かつ、受信モードでは増幅器に電気的に結合する。送信/受信スイッチはまた、別個のRFコイル(例えば、ヘッドコイルまたは表面コイル、図示せず)が送信モードまたは受信モードのいずれかで使用されることを可能にすることができる。
【0047】
RFコイルによってピックアップされたNMR信号は、トランシーバモジュールによってデジタル化され、コントローラに結合されたメモリモジュールに転送され得る。トランシーバモジュール内の受信器は、信号の大きさに加えて、取得したNMR信号の位相を維持することができる。ダウンコンバートされたNMR信号は、アナログNMR信号をサンプリングしてデジタル化するアナログ-デジタル(A/D)コンバータ(図示せず)に適用される。サンプルを、受信したNMR信号に対応する同相(I)値および直交(Q)値を生成するデジタル検出器および信号プロセッサに適用することができる。次に、受信したNMR信号のデジタル化されたI値およびQ値の結果として得られるストリームを用いて、画像を再構成することができる。提供された撮像加速器は、向上された品質を達成するために画像を再構成するために使用することができる。
【0048】
コントローラ201は、入力デバイス(例えば、キーボード)および制御パネルならびにディスプレイを含んでもよいオペレータコンソール(図示せず)を含むか、またはそれらに結合することができる。例えば、コントローラは、ディスプレイ、キーボード、およびプリンタなどのI/Oデバイスに接続された入力/出力(I/O)ポートを有してもよい。場合によっては、オペレータコンソールは、オペレータがディスプレイのスクリーン上での画像の生成および表示を制御することができるコンピュータシステム210とネットワークを介して、通信することができる。画像は、加速取得スキームに従って取得された品質が向上されたMR画像であり得る。画像取得スキームは、本明細書で後述するように、撮像加速器240によって、および/またはユーザによって自動的に決定することができる。
【0049】
MRIシステム200は、ユーザインターフェースを含んでもよい。ユーザインターフェースは、ユーザ入力を受信し、かつ、ユーザに情報を出力するように構成することができる。ユーザ入力は、画像取得の制御に関連することができる。ユーザ入力は、MRIシステムの動作(例えば、プログラム実行を制御するための特定の閾値設定、コイル感度および画像再構成の合同推定を制御するためのパラメータなど)に関連していてもよい。ユーザ入力は、撮像加速器に関する様々な動作または設定に関連していてもよい。ユーザ入力には、例えば、ターゲット位置の選択、再構成された画像の表示設定、カスタマイズ可能な表示設定、取得スキームの選択、選択された取得スキームの設定、および他の様々なものが含まれてもよい。ユーザインターフェースには、タッチスクリーンなどのスクリーンと、ハンドヘルドコントローラ、マウス、ジョイスティック、キーボード、トラックボール、タッチパッド、ボタン、口頭コマンド、ジェスチャ認識、姿勢センサー、熱センサー、タッチ容量センサー、フットスイッチ、または他の任意のデバイスなどの他の任意のユーザ対話型外部デバイスとが含まれてもよい。
【0050】
MRIプラットフォーム200は、コントローラと相互作用することができるコンピュータシステム210およびデータベースシステム220を含んでもよい。コンピュータシステムは、ラップトップコンピュータ、デスクトップコンピュータ、中央サーバ、分散コンピューティングシステムなどを含んでもよい。プロセッサは、中央処理装置(CPU)、グラフィック処理装置(GPU)、シングルコアまたはマルチコアプロセッサであってもよい汎用処理ユニット、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、および/または1つもしくは複数のアドバンスドRISCマシン(ARM)プロセッサなどの細粒度空間アーキテクチャの形態の、パラレル処理のための複数のプロセッサなどのハードウェアプロセッサであってもよい。プロセッサは、コンピューティングプラットフォームまたはマイクロプロセッサ、論理デバイスなどの任意の好適な集積回路とすることができる。本開示はプロセッサを参照して説明されているが、他のタイプの集積回路および論理デバイスも適用可能である。プロセッサまたはマシンは、データ演算機能によって限定されない。プロセッサまたはマシンは、512ビット、256ビット、128ビット、64ビット、32ビット、または16ビットのデータ演算を実行することができる。コンピュータシステムに関する詳細は、
図3に関して説明されている。
【0051】
MRIシステム200は、1つ以上のデータベースを含んでもよい。1つ以上のデータベース220は、任意の好適なデータベース技術を利用することができる。例えば、構造化照会言語(SQL)または「NoSQL」データベースを、MR画像データ、生画像データ、再構成された画像データ、トレーニングデータセット、トレーニングされたモデル、取得スキームのパラメータなどを保存するために使用することができる。いくつかのデータベースは、配列、ハッシュ、(リンクされた)リスト、構造、構造化テキストファイル(例えば、XML)、テーブル、JSON、NOSQLなどの様々な標準データ構造を使用して実装することができる。このようなデータ構造は、メモリおよび/または(構造化)ファイルに保存されてもよい。別の代替案では、オブジェクト指向データベースを使用することができる。オブジェクトデータベースには、共通の属性によってグループ化および/またはリンクされた多数のオブジェクトコレクションを含めることができる。これらは、いくつかの一般的な属性によって他のオブジェクトコレクションに関連付けられていてもよい。オブジェクト指向データベースは、オブジェクトが単なるデータではなく、所与のオブジェクト内にカプセル化された他のタイプの機能を有し得ることを除いて、リレーショナルデータベースと同様に実行する。本開示のデータベースがデータ構造として実装される場合、本開示のデータベースの使用は、本発明のコンポーネントなどの別のコンポーネントに統合されてもよい。また、データベースは、データ構造、オブジェクト、およびリレーショナル構造の混合物として実装することもできる。データベースは、標準的なデータ処理技術によって、様々にまとめられるおよび/または分配されてもよい。データベースの一部分、例えばテーブルを、エクスポートおよび/またはインポートし、したがって分散化および/または統合することもできる。
【0052】
ネットワーク230は、MRIプラットフォーム内のコンポーネント間の接続、およびMRIシステムの外部システムへの接続を確立することができる。ネットワーク230は、無線および/または有線通信システムの両方を使用するローカルエリアネットワークおよび/またはワイドエリアネットワークの任意の組み合わせを含んでもよい。例えば、ネットワーク230には、インターネットだけでなく携帯電話ネットワークが含まれてもよい。一実施形態では、ネットワーク230は、標準的な通信テクノロジーおよび/またはプロトコルを使用する。したがって、ネットワーク230には、Ethernet、802.11、世界規模相互運用マイクロ波アクセス(WiMAX)、2G/3G/4G移動通信プロトコル、非同期転送モード(ATM)、InfiniBand、PCI Express Advanced Switchingなどのテクノロジーを使用するリンクが含まれてもよい。ネットワーク230で使用される他のネットワークプロトコルには、マルチプロトコルラベルスイッチング(MPLS)、伝送制御プロトコル/インターネットプロトコル(TCP/IP)、ユーザデータグラムプロトコル(UDP)、ハイパーテキストトランスポートプロトコル(HTTP)、簡易メール転送プロトコル(SMTP)、ファイル転送プロトコル(FTP)などが含まれてもよい。ネットワークを介して交換されるデータは、バイナリ形式の画像データ(例えば、ポータブルネットワークグラフィックス(PNG))、ハイパーテキストマークアップ言語(HTML)、拡張マークアップ言語(XML)などを含むテクノロジーおよび/またはフォーマットを使用して表すことができる。さらに、リンクのすべてまたは一部は、セキュアソケットレイヤー(SSL)、トランスポートレイヤーセキュリティ(TLS)、インターネットプロトコルセキュリティ(IPsec)などの従来の暗号化テクノロジーを使用して暗号化することができる。別の実施形態では、ネットワーク上のエンティティは、前述のものの代わりに、またはそれに加えて、カスタムおよび/または専用のデータ通信テクノロジーを使用することができる。
【0053】
取得スキーム
いくつかの実施形態では、提示する開示のMR撮像加速器は、向上された画質で加速された画像取得を可能にすることができる。場合によっては、取得スキームは、撮像加速器によって自動的に選択および/または決定することができる。場合によっては、取得スキームは、ユーザによって選択または定義されてもよい。取得スキームの1つ以上のパラメータには、例えば、符号化ステップの数、k空間サンプリングパターン、画像解像度、視野、スキャン速度、パターンなどのサンプリングスキーム、完全にサンプリングされた領域、アンダーサンプリングされた領域、および他の様々なものが含まれてもよい。場合によっては、取得スキームはまた、再構成方法を選択すること、または再構成方法に関連する1つ以上のパラメータを設定することを含んでもよい。
【0054】
撮像加速器システム
図3は、本開示の実施形態によるMR撮像加速器システム300の一例のブロック図を示す。MR撮像加速器システム300は、
図2において説明された撮像加速器と同じであってもよいMR撮像加速器240を含んでもよい。MR撮像加速器240は、加速器トレーニングモジュール302、画像再構成モジュール304、対話型MRI取得モジュール306、およびユーザインターフェースモジュール308を含むがこれらに限定されない多数のコンポーネントを含んでもよい。
【0055】
加速器トレーニングモジュール302は、トレーニングデータセットを得て、管理するように構成することができる。加速器トレーニングモジュール302は、畳み込みニューラルネットワーク(CNN)などの深層学習アルゴリズムを含んでもよい。加速器トレーニングモジュールは、前述のような機械学習法を実装するように構成することができる。加速器トレーニングモジュールは、オフラインでモデルをトレーニングすることができる。あるいは、またはさらに、加速器トレーニングモジュールは、フィードバックとしてリアルタイムデータを使用してモデルを改良することができる。
【0056】
画像再構成モジュール304は、加速器トレーニングモジュールから得られたトレーニングされたモデルを使用して画像を再構成するように構成することができる。画像再構成モジュールは、1つ以上のk空間画像またはより低品質のMR画像データを入力として取り、品質が向上されたMR画像データを出力することができる。
【0057】
対話型MRI取得モジュール306は、画像再構成モジュールおよび/またはMRIシステムのコントローラに動作可能に結合することができる。対話型MRI取得モジュール306は、取得スキームを生成するように構成することができる。場合によっては、対話型MRI取得モジュールは、所望の加速(例えば、加速係数、取得速度、画像解像度、視野、ターゲット領域など)を示すユーザ入力を受信することができる。ターゲットまたは所望の加速を受信することに応答して、対話型MRI取得モジュールは、1つ以上の取得スキームでテストを実行し、最適な取得スキームを決定することができる。最適な取得スキームは、所定の規則に基づいて決定することができる。例えば、最適な取得スキームは、出力画像の品質に基づいて決定することができる。例えば、最高品質の画像を提供しながら、ターゲット加速目標を満たす取得スキームを選択することができる。場合によっては、対話型MRI取得モジュールによって、ユーザは取得スキームを定義することができる。ユーザ定義の取得スキームを受信することに応答して、対話型MRI取得モジュールは、シミュレーションを実行し、取得スキームに関連付けられた出力画像を生成することができる。ユーザは、出力画像の品質または他の特性を変更するために、取得スキームをさらに調整してもしなくてもよい。次に、決定された取得スキームは、本明細書の他の場所で説明されるように、撮像システムの動作を制御するために、MRIシステムのコントローラに送信されてもよい。対話型MRI取得モジュールは、ユーザ入力を受信し、自動生成された取得スキームまたはシミュレートされた画像を出力するために、ユーザインターフェースモジュール308に動作可能に結合することができる。
【0058】
ユーザインターフェースモジュール308は、ユーザが取得スキームを選択し、取得スキームの1つ以上のパラメータ、撮像および取得設定に関連するビューイング情報などを変更することを可能にするグラフィカルユーザインターフェース(GUI)340をレンダリングすることができる。GUIは、ユーザが画像取得に関連する情報を見るまたはアクセスすることを可能にするグラフィカル要素を表示することができる。グラフィカルユーザインターフェースは、ボタン、テキストボックスなどの様々な対話型要素を有することができ、これらは、ユーザがそのような対話型要素を直接タイプ入力する、クリックする、またはドラッグすることによって入力コマンドまたはコンテンツを提供することを可能にすることができる。例えば、ユーザは、GUIを介して、手動でスキャンパターンを作成または変更したり、加速係数を選択したり、他のパラメータを設定したりすることができる。さらなる詳細は、
図4に関して本明細書で後述する。
【0059】
場合によっては、グラフィカルユーザインターフェース(GUI)またはユーザインターフェースはディスプレイ335上に提供されてもよい。ディスプレイは、タッチスクリーンであってもでなくてもよい。ディスプレイは、発光ダイオード(LED)スクリーン、有機発光ダイオード(OLED)スクリーン、液晶ディスプレイ(LCD)スクリーン、プラズマスクリーン、または他の任意のタイプのスクリーンであってもよい。ディスプレイは、アプリケーションを通じて(例えば、ローカルコンピュータシステムまたはクラウド上で実行されるアプリケーションプログラミングインターフェース(API)を介して)レンダリングされたユーザインターフェース(UI)またはグラフィカルユーザインターフェース(GUI)を表示するように構成することができる。
【0060】
撮像加速器システム300は、ソフトウェア、ハードウェア、ファームウェア、組み込みハードウェア、スタンドアロンハードウェア、アプリケーション固有のハードウェア、またはこれらの任意の組み合わせで実装することができる。撮像加速器システム、モジュール、コンポーネント、アルゴリズム、および技術には、ストレージシステム、少なくとも1つの入力デバイス、および少なくとも1つの出力デバイスからデータおよび命令を受信し、かつそれらにデータおよび命令を送信するように結合された、特殊用途向けまたは汎用であってもよい少なくとも1つのプログラム可能プロセッサを含むプログラム可能なシステム上で実行可能および/または解釈可能な1つ以上のコンピュータプログラムにおける実装が含まれてもよい。これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも知られている)は、プログラム可能プロセッサ用の機械命令を含んでいてもよく、高レベルの手続き型および/またはオブジェクト指向プログラミング言語で、および/またはアセンブリ/機械語で実装されてもよい。本明細書で使用される場合、「機械可読媒体」および「コンピュータ可読媒体」という用語は、プログラム可能プロセッサに機械命令および/またはデータを提供するために使用される任意のコンピュータプログラム製品、装置、および/またはデバイス(磁気ディスク、光ディスク、メモリ、またはプログラム可能論理回路(PLD)など)を指す。撮像加速器システムは、MR撮像システムとは別のスタンドアロンシステムとすることができる。あるいは、またはそれに加えて、撮像加速器システムは、MR撮像システムのコントローラのコンポーネントなどのMR撮像システムに統合することができる。
【0061】
場合によっては、撮像加速器システムは、データ処理およびMR画像強調がエッジまたはエッジゲートウェイ(MRIシステム)において実行されるエッジインテリジェンスパラダイムを採用することができる。場合によっては、機械学習モデルをクラウド/データセンターで構築、開発、トレーニングし、MRIシステム(例えば、ハードウェア加速器)上で実行することができる。例えば、エッジ上で実行されるソフトウェアは、画像再構成モジュール304であってもよい。クラウドまたはオンプレミス環境で実行されるソフトウェアは、深層学習モデルをトレーニング、開発、および管理するための加速器トレーニングモジュール、またはMRIコントローラをリモートで構成するための対話型MRI取得モジュール306であってもよい。
【0062】
図4は、前述の対話型MRI取得モジュールを介して取得スキームを決定する例を示す。取得スキームは、自律的、半自律的、または手動で決定することができる。全自動モード400では、撮像加速器を、最適な取得スキームを自動的に決定するように構成することができる。例えば、ユーザは、ユーザインターフェースを介して、ターゲット加速を入力することができる。ターゲット加速は、ドロップダウンメニューからの選択、グラフィカル要素(例えば、スライダーバー)の操作、テキストボックスへの直接入力(例えば、加速係数を入力する)など、前述のGUIの任意の適切な形式を介して、または音声コマンドなどの他の好適な手段を介して提供することができる。加速は、加速係数、取得速度、画像解像度、視野、およびターゲット領域を含むがこれらに限定されない、画像取得の態様に関連していてもよい。一例では、ターゲット加速は、「高速取得」、「中速取得」、「低速取得」からの選択であってもよい。別の例では、ターゲット加速は、1.5、2、3、4、5、10、15、16、17、18、19、20の係数、20を超えるもしくは1.5未満の値の係数、または前述の値のうちのいずれか2つの間の値などの加速係数であってもよい。
【0063】
いくつかの実施形態では、ターゲット加速を受信することに応答して、最適な取得スキームを決定するために、1つ以上の取得スキームのシミュレーションを実行することができる。場合によっては、シミュレーションでの計算速度を上げるために、1つ以上の取得スキームを画像パッチに適用することができる。最適な取得スキームは、所定の規則に基づいて決定することができる。例えば、最適な取得スキームは、出力画像(パッチ)の品質に基づいて決定することができる。例えば、最高品質の画像を提供しながら、ターゲット加速目標を満たす取得スキームを選択することができる。場合によっては、決定された取得スキームは、さらなる承認またはさらなる調整のためにユーザに表示されてもよい。承認または決定された取得スキームは、本明細書の開示と一致する撮像システムの撮像動作を制御するために、MRIシステムのコントローラに送信されてもよい。
【0064】
場合によっては、ユーザは、半自律的な方法410で取得スキームを定義することが可能になり得る。ユーザは、取得スキームの1つ以上のパラメータを指定することができる。取得スキームを受信することに応答して、対話型MRI取得モジュールは、シミュレーションを実行し、取得スキームに関連付けられた画像を出力することができる。ユーザは、出力画像の品質または他の特性を変更するために、取得スキームをさらに調整してもしなくてもよい。場合によっては、ユーザにシステム推奨の調整が提供されてもよい。場合によっては、ユーザは、ディスプレイ上のシミュレートされた出力画像を見た上で、1つ以上のパラメータを手動で調整することができる。図示の例420では、より低品質の画像(左)と、現在の取得スキームの下で達成することができるシミュレートされたより高品質の画像(右)をユーザに提示することができる。場合によっては、ユーザが取得スキームの1つ以上のパラメータを調整している間に、シミュレートされた画像が動的に更新されてもよい。次に、決定された取得スキームは、本明細書の他の場所で説明されるように、撮像システムの動作を制御するために、MRIシステムのコントローラに送信されてもよい。
【0065】
本開示は、開示の方法を実施するようにプログラムされたコンピュータシステムを提供する。
図3を再び参照すると、コンピュータシステム300は、MR撮像加速器およびその動作を管理および/または実装するようにプログラムされているか、そうでなければ構成されている。コンピュータシステム300は、例えば、磁気システム、加速器トレーニングモジュール、画像再構成モジュール、対話型MRI取得モジュール、ユーザインターフェースモジュール、および、
図4および
図5に示される方法など、本開示の
図1~2の様々な態様を調整することができる。
【0066】
コンピュータシステム300は、中央処理装置(CPU、本明細書では「プロセッサ」および「コンピュータプロセッサ」でもある)、グラフィック処理ユニット(GPU)、シングルコアまたはマルチコアプロセッサであってもよい汎用処理ユニット、またはパラレル処理用の複数のプロセッサを含んでもよい。コンピュータシステム300はまた、メモリまたは記憶場所(例えば、ランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ)、電子記憶装置(例えば、ハードディスク)、1つ以上の他のシステムと通信するための通信インターフェース(例えば、ネットワークアダプタ)、およびキャッシュ、他のメモリ、データストレージおよび/または電子ディスプレイアダプタなどの周辺機器335、220を含んでもよい。メモリ、記憶装置、インターフェース、および周辺機器は、マザーボードなどの通信バス(実線)を介してCPUと通信している。記憶装置は、データを記憶するためのデータ記憶装置(またはデータリポジトリ)とすることができる。コンピュータシステム300は、通信インターフェースを用いて、コンピュータネットワーク(「ネットワーク」)230に動作可能に結合することができる。ネットワーク230は、インターネット、インターネットおよび/もしくはエクストラネット、またはインターネットと通信しているイントラネットおよび/もしくはエクストラネットとすることができる。ネットワーク230は、場合によっては、電気通信ネットワークおよび/またはデータネットワークである。ネットワーク230は、クラウドコンピューティングなどの分散コンピューティングを可能にすることができる1つ以上のコンピュータサーバを含んでもよい。ネットワーク230は、場合によっては、コンピュータシステム300を用いて、ピアツーピアネットワークを実装することができ、コンピュータシステム300に結合されたデバイスがクライアントまたはサーバとして動作することを可能にすることができる。
【0067】
CPUは、プログラムまたはソフトウェアで具体化することができる一連の機械可読命令を実行することができる。命令は、メモリなどの記憶場所に記憶することができる。命令は、CPUに向けることができ、これは、その次に、本開示の方法を実装するようにCPUをプログラムするか、さもなければ構成することができる。CPUによって実行される動作の例には、フェッチ、デコード、実行、およびライトバックが含まれてもよい。
【0068】
CPUは、集積回路などの回路の一部とすることができる。システムの他の1つ以上のコンポーネントを回路に含めることができる。場合によっては、回路は特定用途向け集積回路(ASIC)である。
【0069】
記憶装置は、ドライバ、ライブラリ、保存されたプログラムなどのファイルを記憶することができる。記憶装置は、ユーザデータ、例えば、ユーザ設定やユーザプログラムを記憶することができる。コンピュータシステム300は、場合によっては、イントラネットまたはインターネットを介してコンピュータシステムと通信しているリモートサーバ上に配置されるなど、コンピュータシステムの外部にある1つ以上の追加のデータ記憶装置を含んでもよい。
【0070】
コンピュータシステム300は、ネットワーク230を介して1つ以上のリモートコンピュータシステムと通信することができる。例えば、コンピュータシステム300は、ユーザまたは参加プラットフォーム(例えば、オペレータ)のリモートコンピュータシステムと通信することができる。リモートコンピュータシステムの例には、パーソナルコンピュータ(例えば、ポータブルPC)、スレートまたはタブレットPC(例えば、Apple(登録商標)のiPad、Samsung(登録商標)のGalaxy Tab)、電話機、スマートフォン(例えば、Apple(登録商標)のiPhone、Android対応デバイス、Blackberry(登録商標)、または携帯情報端末が含まれてもよい。ユーザは、ネットワーク230を介してコンピュータシステム300にアクセスすることができる。
【0071】
本明細書に記載の方法は、例えば、メモリまたは電子記憶装置上など、コンピュータシステム300の電子記憶場所に記憶された機械(例えば、コンピュータプロセッサ)実行可能コードによって実施することができる。機械実行可能コードまたは機械可読コードは、ソフトウェアの形態で提供することができる。使用中、コードはプロセッサによって実行することができる。場合によっては、コードを記憶装置から取り出してメモリに記憶し、プロセッサがすぐにアクセスできるようにすることができる。状況によっては、電子記憶装置が除外され、マシン実行可能命令はメモリに記憶されてもよい。
【0072】
コードは、コードを実行するように適合されたプロセッサを有するマシンで使用するために事前にコンパイルおよび構成するか、実行時にコンパイルすることができる。コードは、コードを事前コンパイルされた、つまり、コンパイル済みの方法で実行できるように選択することができるプログラミング言語で支給することができる。
【0073】
コンピュータシステム300など、本明細書で提供されるシステムおよび方法の態様は、プログラミングで具体化することができる。テクノロジーの様々な態様は、通常、あるタイプの機械可読媒体上で担持されるかまたは内部に具体化される機械(またはプロセッサ)実行可能コードおよび/または関連付けられたデータの形態の「製品」または「製造品」と考えることができる。機械実行可能なコードは、メモリ(例えば、読み取り専用メモリ、ランダムアクセスメモリ、フラッシュメモリ)またはハードディスクなどの電子記憶装置に記憶することができる。「記憶装置」タイプの媒体は、コンピュータ、プロセッサなどの有形メモリ、またはソフトウェアプログラミングのための任意の時間において非一時的な保管場所を提供し得る様々な半導体メモリ、テープドライブ、ディスクドライブなどのそれらの関連付けられたモジュールのいずれかまたはすべてを含むことができる。ソフトウェアの全部または一部分は、インターネットまたは他の様々な電気通信ネットワークを介して通信される場合もあってもよい。このような通信は、例えば、あるコンピュータまたはプロセッサから別のコンピュータまたはプロセッサへの、例えば、管理サーバまたはホストコンピュータからアプリケーションサーバのコンピュータプラットフォームへのソフトウェアのロードを可能にすることができる。したがって、ソフトウェア要素を担持する可能性のある別のタイプの媒体には、ローカルデバイス間の物理インターフェース、有線および光の固定電話回線ネットワーク、および様々なエアリンクで使用されるような、光、電気、および電磁波が含まれる。有線または無線リンク、光リンクなど、このような波を運ぶ物理的要素もまた、ソフトウェアを担持する媒体と見なすことができる。本明細書で使用される場合、非一時的で有形の「記憶」媒体に限定されていない限り、コンピュータまたは機械「可読媒体」などの用語は、実行のためにプロセッサに命令を提供することに関与する任意の媒体を指す。
【0074】
したがって、コンピュータ実行可能コードなどの機械可読媒体は、有形記憶媒体、搬送波媒体、または物理的伝送媒体を含むがこれらに限定されない多くの形態をとることができる。不揮発性記憶媒体には、例えば、図面に示されるデータベースなどを実装するために使用され得る、任意のコンピュータ(複数可)などの任意の記憶装置などの光ディスクまたは磁気ディスクが含まれる。揮発性記憶媒体には、このようなコンピュータプラットフォームのメインメモリなどの動的メモリが含まれる。有形の伝送媒体には、同軸ケーブルや、コンピュータシステム内のバスを構成するワイヤを含む、銅線および光ファイバーが含まれる。搬送波伝送媒体は、電気信号もしくは電磁信号、または無線周波数(RF)および赤外線(IR)データ通信中に生成されるような音響波または光波の形態をとることができる。したがって、コンピュータ可読媒体の一般的な形態には、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、その他の磁気媒体、CD-ROM、DVDもしくはDVD-ROM、その他の光学媒体、パンチカード紙テープ、穴のパターンを有するその他の物理的記憶媒体、RAM、ROM、PROMおよびEPROM、FLASH-EPROM、その他のメモリチップもしくはカートリッジ、データもしくは命令を輸送する搬送波、このような搬送波を輸送するケーブルもしくはリンク、またはコンピュータがプログラミングコードおよび/もしくはデータをそこから読み取ることができるその他の媒体が含まれる。これらの形態のコンピュータ可読媒体の多くは、実行のために1つ以上の命令の1つ以上のシーケンスをプロセッサに運ぶことに関与することができる。
【0075】
コンピュータシステム300は、例えば、再構成された画像、取得スキームを提供する、例えば、表示するためのユーザインターフェース(UI)340を含む電子ディスプレイ335を含むか、またはそれと通信することができる。UIの例には、グラフィカルユーザインターフェース(GUI)およびウェブベースのユーザインターフェースが含まれるが、これらに限定されない。GUIは、ユーザインターフェースモジュール308によってレンダリングすることができる。
【0076】
本開示の方法およびシステムは、1つ以上のアルゴリズムによって実装することができる。アルゴリズムは、中央処理装置による実行時にソフトウェアを介して実装することができる。例えば、いくつかの実施形態は、
図4および
図5に示されるアルゴリズム、または上記の関連の説明で提供された他のアルゴリズムを使用する。
【0077】
図5は、加速取得を用いてMR画質を向上させるための方法500の一例を示す。深層学習モデルをトレーニングするために、MR撮像システムからMR画像を得ることができる(動作510)。MR画像を使用して、トレーニングデータセットを形成することができる(動作520)。トレーニングデータセットは、比較的より低品質の画像データおよび対応するより高品質の画像データ(すなわち、グラウンドトゥルースデータ)を含むことができる。トレーニングデータセットは、撮像デバイスから得られた低品質の画像を含んでもよい。例えば、低品質の入力画像は、アンダーサンプリングされたデータ(例えば、k空間データ)の逆フーリエ変換(FT)を介して簡単に得ることができる。トレーニングデータセットは、シミュレーションから得られた拡張データセットを含んでもよい。例えば、臨床データベースからの画像データを使用して、低品質の画像データを生成することができる。一例では、特定のデータポイントを除去してアーチファクトをもたらすようにマスクを適用するなど、FFTおよびフィルタを生の画像データに適用して、それを低品質の画像データに変換することができる。同様に、より長い取得時間での直接画像取得から、より高品質の入力画像データを得ることができる。一例では、トレーニングデータセットは、多数の軸方向スライスを含む3Dボリューム画像データであってもよく、各スライスは、各々が実数成分および虚数成分のための2つのチャネルを含み得る複素数値の画像であってもよい。
【0078】
トレーニングステップ530は、本明細書の開示と一致する深層学習アルゴリズムを含むことができる。深層学習アルゴリズムは、例えば畳み込みニューラルネットワークであってもよい。場合によっては、深層学習アルゴリズムは、深層残差学習ネットワークであってもよい。次に、トレーニングされた加速器は、選択された加速スキームを用いてより低品質のMR画像をより高品質のMR画像に変換するために使用することができる。加速スキームは、ユーザからターゲット加速を受信し(動作540)、次に、複数の取得スキームでシミュレーションを実行して最適な取得スキームを決定する(動作550)ことによって決定することができる。あるいは、またはそれに加えて、取得スキームは、ユーザ指定の取得スキームを受信し(動作540)、次に、リアルタイムシミュレーション結果を生成して(動作570)、取得スキームの下でシミュレートされた出力画像を示す(動作570)ことによって決定されてもよい。ユーザは、シミュレートされた出力画像を見た上で、取得スキームを確認またはさらに調整することができる(動作580)。
【0079】
図5は、いくつかの実施形態による方法を示しているが、当業者は、様々な実施形態に対して多くの適応があることを認識するであろう。例えば、動作は任意の順序で実行することができる。いくつかの動作は除外され、いくつかの動作は1つのステップで同時に実行され、いくつかの動作は繰り返され、いくつかの動作は他の動作のサブステップを含んでもよい。
【0080】
「少なくとも」、「~より大きい」、または「~以上」という用語が、一連の2つ以上の数値における最初の数値の前にある場合は常に、「少なくとも」、「~より大きい」、または「以上」という用語は、当該一連の数値における各数値に適用される。例えば、1、2、または3以上は、1以上、2以上、または3以上と等しい。
【0081】
「~以下(no more than)」、「~未満(less than)」、または「~以下(less than or equal to)」という用語が、一連の2つ以上の数値における最初の数値の前にある場合は常に、「~以下(no more than)」、「~未満(less than)」、または「~以下(less than or equal to)」という用語は、当該一連の数値における各数値に適用される。例えば、3、2、または1以下は、3以下、2以下、または1以下と等しい。
【0082】
本明細書で使用される場合、Aおよび/またはBは、AまたはBの1つ以上と、AおよびBなどのそれらの組み合わせとを包含する。「第1」、「第2」、「第3」などの用語が、様々な要素、コンポーネント、領域、および/またはセクションを説明するために本明細書において使用されるが、これらの要素、コンポーネント、領域、および/またはセクションは、これらの用語によって制限されるべきではないことが理解されるであろう。これらの用語は、ある要素、コンポーネント、領域、またはセクションを別の要素、コンポーネント、領域、またはセクションから区別するために使用されているに過ぎない。したがって、本明細書で考察される第1の要素、コンポーネント、領域またはセクションは、本発明の教示から逸脱することなく、第2の要素、コンポーネント、領域またはセクションと呼ぶことができる。
【0083】
本明細書で使用される用語は、特定の実施形態を説明することのみを目的とし、本発明を限定することが意図されるものではない。本明細書で使用される場合、単数形「a」、「an」、および「the」は、特に文脈で明らかに示されない限り、複数形も含むことが意図されている。本明細書で使用される場合、「備える(comprise)」および/もしくは「備えている(comprising)」、または、「含む(include)」および/もしくは「含んでいる(including)」という用語は、記載された特徴、整数、ステップ、動作、要素、および/またはコンポーネントの存在を明記するが、1つ以上の他の特徴、整数、ステップ、動作、要素、コンポーネント、および/またはそれらのグループの存在または追加を排除しないことがさらに理解されるであろう。
【0084】
本明細書全体を通した「いくつかの実施形態」または「一実施形態」への参照は、実施形態に関連して記載された特定の特徴、構造、または特性が、本発明の少なくとも1つの実施形態に含まれることを意味する。このように、本明細書全体を通して、様々な場所での「いくつかの実施形態では」または「一実施形態では」という句の出現は、必ずしもすべてが同じ実施形態を指しているわけではない。さらに、特定の特徴、構造、または特性は、1つ以上の実施形態において、任意の好適な様式で組み合わされ得る。
【0085】
本明細書では本発明の好ましい実施形態を示して説明してきたが、そのような実施形態が例としてのみ提供されていることは当業者にとって明らかであろう。本明細書内で提供される特定の例によって本発明が限定されることを意図していない。本発明は前述の明細書を参照して説明されてきたが、本明細書における実施形態の説明および図解は、限定的な意味で解釈されることを意図するものではない。本発明から逸脱することなく、多数の変形、変更、および置換を当業者は想到するであろう。さらに、本発明のすべての態様は、様々な条件および変数に依存する、本明細書に記載の特定の描写、構成、または相対的な比率に限定されないことを理解されたい。本明細書に記載された本発明の実施形態の様々な代替が発明を実施する際に使用されてもよいことが理解されるべきである。したがって、本発明は、あらゆるそのような代替、修正、変形、または同等物も対象にするものと考えられる。以下の特許請求の範囲が本発明の範囲を定義し、これらの特許請求の範囲の範囲内の方法および構造ならびにそれらの同等物がそれによって対象にされることが意図される。