(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-01-15
(54)【発明の名称】スキャンパラメーターを用いる磁気共鳴映像処理方法及び装置
(51)【国際特許分類】
A61B 5/055 20060101AFI20250107BHJP
【FI】
A61B5/055 380
A61B5/055 311
A61B5/055 376
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024539477
(86)(22)【出願日】2022-04-21
(85)【翻訳文提出日】2024-07-19
(86)【国際出願番号】 KR2022005705
(87)【国際公開番号】W WO2023128074
(87)【国際公開日】2023-07-06
(31)【優先権主張番号】10-2021-0192564
(32)【優先日】2021-12-30
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】522300628
【氏名又は名称】エアーズ・メディカル・インコーポレイテッド
【氏名又は名称原語表記】AIRS MEDICAL INC.
【住所又は居所原語表記】13F, 14F, 223, Teheran-ro Gangnam-gu Seoul 06142 REPUBLIC OF KOREA
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人IPX
(72)【発明者】
【氏名】キム・ジウク
【テーマコード(参考)】
4C096
【Fターム(参考)】
4C096AD07
4C096AD12
4C096AD14
4C096BB27
4C096BB29
4C096BB40
4C096DA13
4C096DA14
4C096DB18
4C096DC33
(57)【要約】
本発明の一実施例による磁気共鳴映像処理方法は、低品質の学習イメージ、前記学習イメージを獲得するときに適用された少なくとも一つのスキャンパラメーターを含む第1パラメーターグループ、高品質のラベルイメージ、及び前記ラベルイメージを獲得するときに適用された少なくとも一つのスキャンパラメーターを含む第2パラメーターグループを獲得する段階と、前記学習イメージ、前記第1パラメーターグループ、前記ラベルイメージ、及び前記第2パラメーターグループを用いて人工ニューラルネットワークモデルを学習させる段階と、を含むことを特徴とする。
【選択図】
図7
【特許請求の範囲】
【請求項1】
磁気共鳴映像処理方法であって、
低品質の学習イメージ、前記学習イメージを獲得するときに適用された少なくとも一つのスキャンパラメーターを含む第1パラメーターグループ、高品質のラベルイメージ、及び前記ラベルイメージを獲得するときに適用された少なくとも一つのスキャンパラメーターを含む第2パラメーターグループを獲得する段階と、
前記学習イメージ、前記第1パラメーターグループ、前記ラベルイメージ、及び前記第2パラメーターグループを用いて人工ニューラルネットワークモデルを学習させる段階と、
を含むことを特徴とする、磁気共鳴映像処理方法。
【請求項2】
前記スキャンパラメーターは、磁気共鳴信号の第1k-スペースデータのラインを繰り返し獲得するときの繰り返し回数である励起回数(number of excitation)、前記第1k-スペースデータの位相エンコーディング方向にサンプリングされたラインの数を所定の基準値で割った値である位相分解能(Phase resolution)、及び前記第1k-スペースデータのフルサンプリングされた信号ラインの数をサブサンプリングされた信号ラインの数で割った値を意味する加速係数(Acceleration factor)のうちの少なくとも一つを含むことを特徴とする、請求項1に記載の磁気共鳴映像処理方法。
【請求項3】
前記学習イメージは磁気共鳴信号をサブサンプリングして獲得し、
前記ラベルイメージは前記磁気共鳴信号をフルサンプリングして獲得することを特徴とする、請求項1に記載の磁気共鳴映像処理方法。
【請求項4】
前記学習イメージの励起回数は前記ラベルイメージの励起回数よりも小さいことを特徴とする、請求項1に記載の磁気共鳴映像処理方法。
【請求項5】
前記学習イメージの位相分解能は前記ラベルイメージの位相分解能よりも小さいことを特徴とする、請求項1に記載の磁気共鳴映像処理方法。
【請求項6】
前記人工ニューラルネットワークモデルを学習させる段階は、前記第1パラメーターグループの大きさ及び前記第2パラメーターグループの大きさが前記人工ニューラルネットワークモデルのチャネル数に対応するように前処理する段階を含むことを特徴とする、請求項1に記載の磁気共鳴映像処理方法。
【請求項7】
前記前処理する段階は、前記第1パラメーターグループ及び前記第2パラメーターグループを前処理人工ニューラルネットワークモデルに入力してそれぞれ第1アテンションデータ及び第2アテンションデータを生成する段階を含み、
前記人工ニューラルネットワークモデルを学習させる段階は、前記第1アテンションデータ及び前記第2アテンションデータを人工ニューラルネットワークモデルに入力する段階を含むことを特徴とする、請求項6に記載の磁気共鳴映像処理方法。
【請求項8】
前記前処理人工ニューラルネットワークモデルは、完全連結階層(fully connected layer)を含むことを特徴とする、請求項7に記載の磁気共鳴映像処理方法。
【請求項9】
入力イメージ及び前記入力イメージを獲得するときに適用された少なくとも一つのスキャンパラメーターを含む第3パラメーターグループを前記人工ニューラルネットワークモデルに入力して復元イメージを生成する段階をさらに含むことを特徴とする、請求項1に記載の磁気共鳴映像処理方法。
【請求項10】
磁気共鳴映像処理方法であって、
低品質の学習イメージ、前記学習イメージを獲得するときに適用された少なくとも一つのスキャンパラメーターを含む第1パラメーターグループ、高品質のラベルイメージ、及び前記ラベルイメージを獲得するときに適用された少なくとも一つのスキャンパラメーターを含む第2パラメーターグループを用いて学習された人工ニューラルネットワークモデルに入力イメージ及び前記入力イメージを獲得するときに適用された少なくとも一つのスキャンパラメーターを含む第3パラメーターグループを入力する段階と、
前記人工ニューラルネットワークモデルから復元イメージを出力する段階と、
を含むことを特徴とする、磁気共鳴映像処理方法。
【請求項11】
磁気共鳴映像処理方法を実行するための磁気共鳴映像処理装置であって、
磁気共鳴映像処理プログラムが保存されたメモリと、
前記プログラムを実行するプロセッサと、を含み、
前記プロセッサは、前記プログラムの実行によって、
低品質の学習イメージ、前記学習イメージを獲得するときに適用された少なくとも一つのスキャンパラメーターを含む第1パラメーターグループ、高品質のラベルイメージ、及び前記ラベルイメージを獲得するときに適用された少なくとも一つのスキャンパラメーターを含む第2パラメーターグループを用いて人工ニューラルネットワークモデルを学習させることを特徴とする、磁気共鳴映像処理装置。
【請求項12】
請求項1から9のいずれか一項に記載の方法を実行するプログラムが保存されたコンピューティング可読の記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は磁気共鳴映像処理方法及び装置に関し、具体的にはスキャンパラメーターを用いて人工ニューラルネットワークを学習させて磁気共鳴映像を獲得する磁気共鳴映像処理方法及び装置に関する。
【背景技術】
【0002】
一般に、医療用映像装置は患者の身体情報を獲得して映像を提供する装置である。医療用映像装置としては、X線撮影装置、超音波診断装置、コンピューティング断層撮影装置、磁気共鳴映像(Magnetic Resonance Imaging、MRI)撮影装置などがある。
【0003】
ここで、磁気共鳴映像は人体に無害な磁場及び非電離放射線を用いて体内の水素原子核に核磁気共鳴現象を引き起こして原子核の密度及び物理/化学的特性を映像化したものである。磁気共鳴映像撮影装置は、映像撮影条件が相対的に自由であり、軟部組織における多様な診断情報を含み、優れた対照度を有する映像を提供するので、医療用映像を用いた診断分野で重要な位置を占めている。
【0004】
一方、撮影者は、所望のデータを獲得するために、撮影条件を示すパラメーターを特定にセットした後、磁気共鳴映像撮影を実行することができる。パラメーターが変わると獲得される磁気共鳴信号が変わるので、映像復元のために実行すべき作業が変わり得る。すなわち、磁気共鳴信号だけでなく、撮影に使用されたパラメーターを考慮して映像復元作業を実行する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は前述した従来技術の問題点を解決するためのものであり、磁気共鳴映像撮影の際に使用されるスキャンパラメーターを用いて磁気共鳴映像を復元する、スキャンパラメーターを用いる磁気共鳴映像処理方法及び装置に関する。
【0006】
ただし、本実施が達成しようとする技術的課題は前記のような技術的課題に限定されず、他の技術的課題があり得る。
【課題を解決するための手段】
【0007】
上述した技術的課題を達成するための技術的手段として、本発明の一実施例によれば、磁気共鳴映像処理方法は、低品質の学習イメージ、前記学習イメージを獲得するときに適用された少なくとも一つのスキャンパラメーターを含む第1パラメーターグループ、高品質のラベルイメージ、及び前記ラベルイメージを獲得するときに適用された少なくとも一つのスキャンパラメーターを含む第2パラメーターグループを獲得する段階と、前記学習イメージ、前記第1パラメーターグループ、前記ラベルイメージ、及び前記第2パラメーターグループを用いて人工ニューラルネットワークモデルを学習させる段階と、を含むことを特徴とする。
【0008】
一実施例として、前記スキャンパラメーターは、磁気共鳴信号の第1k-スペースデータのラインを繰り返し獲得するときの繰り返し回数である励起回数(number of excitation)、前記第1k-スペースデータの位相エンコーディング方向にサンプリングされたラインの数を所定の基準値で割った値である位相分解能(Phase resolution)、及び前記第1k-スペースデータのフルサンプリングされた信号ラインの数をサブサンプリングされた信号ラインの数で割った値を意味する加速係数(Acceleration factor)のうちの少なくとも一つを含むことができる。
【0009】
一実施例として、前記学習イメージは磁気共鳴信号をサブサンプリングして獲得し、前記ラベルイメージは前記磁気共鳴信号をフルサンプリングして獲得することができる。
【0010】
一実施例として、前記学習イメージの励起回数は前記ラベルイメージの励起回数よりも小さくてもよい。
【0011】
一実施例として、前記学習イメージの位相分解能は前記ラベルイメージの位相分解能よりも小さくてもよい。一実施例として、前記人工ニューラルネットワークモデルを学習させる段階は、前記第1パラメーターグループの大きさ及び前記第2パラメーターグループの大きさが前記人工ニューラルネットワークモデルのチャネル数に対応するように前処理する段階を含むことができる。
【0012】
一実施例として、前記前処理する段階は、前記第1パラメーターグループ及び前記第2パラメーターグループを前処理人工ニューラルネットワークモデルに入力してそれぞれ第1アテンションデータ及び第2アテンションデータを生成する段階を含み、前記人工ニューラルネットワークモデルを学習させる段階は、前記第1アテンションデータ及び前記第2アテンションデータを人工ニューラルネットワークモデルに入力する段階を含むことができる。
【0013】
一実施例として、前記前処理人工ニューラルネットワークモデルは、完全連結階層(fully connected layer)を含むことができる。
【0014】
一実施例として、入力イメージ及び前記入力イメージを獲得するときに適用された少なくとも一つのスキャンパラメーターを含む第3パラメーターグループを前記人工ニューラルネットワークモデルに入力して復元イメージを生成する段階をさらに含むことができる。
【0015】
上述した技術的課題を達成するための技術的手段として、本発明の一実施例によれば、磁気共鳴映像処理方法は、低品質の学習イメージ、前記学習イメージを獲得するときに適用された少なくとも一つのスキャンパラメーターを含む第1パラメーターグループ、高品質のラベルイメージ、及び前記ラベルイメージを獲得するときに適用された少なくとも一つのスキャンパラメーターを含む第2パラメーターグループを用いて学習された人工ニューラルネットワークモデルに入力イメージ及び前記入力イメージを獲得するときに適用された少なくとも一つのスキャンパラメーターを含む第3パラメーターグループを入力する段階と、前記人工ニューラルネットワークモデルから復元イメージを出力する段階と、を含む。
【0016】
上述した技術的課題を達成するための技術的手段として、本発明の一実施例によれば、磁気共鳴映像処理方法を実行するための磁気共鳴映像処理装置であって、磁気共鳴映像処理プログラムが保存されたメモリと、前記プログラムを実行するプロセッサと、を含み、前記プロセッサは、前記プログラムの実行によって、低品質の学習イメージ、前記学習イメージを獲得するときに適用された少なくとも一つのスキャンパラメーターを含む第1パラメーターグループ、高品質のラベルイメージ、及び前記ラベルイメージを獲得するときに適用された少なくとも一つのスキャンパラメーターを含む第2パラメーターグループを用いて人工ニューラルネットワークモデルを学習させることを特徴とする。
【発明の効果】
【0017】
前述した本発明の課題解決手段によれば、本発明は、磁気共鳴信号だけでなく、撮影に使用されたスキャンパラメーターを一緒に用いて人工ニューラルネットワークの学習を実行するので、前記人工ニューラルネットワークを用いて獲得した磁気共鳴映像の正確度が向上することができる。
【0018】
また、学習に使用されるスキャンパラメーターの値を調整することにより、ユーザーが望むデータが強調されるように磁気共鳴映像を復元することができるので、ユーザーの便宜性が向上することができる。
【図面の簡単な説明】
【0019】
【
図1】本発明の一実施例による磁気共鳴映像処理装置の構成を示す構成図である。
【
図2a】本発明の一実施例によるk-スペース領域での磁気共鳴映像処理方法を示す図である。
【
図2b】本発明の一実施例によるk-スペース領域での磁気共鳴映像処理方法を示す図である。
【
図3a】本発明の一実施例によるイメージ領域での磁気共鳴映像処理方法を示す図である。
【
図3b】本発明の一実施例によるイメージ領域での磁気共鳴映像処理方法を示す図である。
【
図4】本発明の一実施例によるサブサンプリングとフルサンプリングとの相違点を説明するための概略図である。
【
図5】本発明の一実施例による第1人工ニューラルネットワークモデルを用いて第1k-スペースデータから第2k-スペースデータを獲得することを示す概略図である。
【
図6】本発明の一実施例による第2人工ニューラルネットワークモデルを用いて第1磁気共鳴映像から第2磁気共鳴映像を獲得することを示す概略図である。
【
図7】本発明の一実施例による第2人工ニューラルネットワークモデルを学習させる方法を示す概略図である。
【
図8】本発明の一実施例によるスキャンパラメーターを第2人工ニューラルネットワークモデルに入力する方法を示す概略図である。
【
図9】本発明の一実施例によるスキャンパラメーターを用いる磁気共鳴映像処理方法の手順を示すフローチャートである。
【発明を実施するための形態】
【0020】
以下では、添付図面に基づき、本発明が属する技術分野で通常の知識を有する者が容易に実施することができるように本発明の実施例を詳細に説明する。しかし、本発明は様々な相異なる形態に具現されることができ、ここで説明する実施例に限定されない。そして、図面では、本発明を明確に説明するために、説明に関係ない部分は省略し、明細書全般にわたって類似の部分に対しては類似の図面符号を付けた。
【0021】
本明細書が実施例のすべての要素を説明するものではなく、本発明が属する技術分野で一般的な内容又は実施例の間に重複する内容は省略する。明細書で使用される部(part、portion)という用語はソフトウェア又はハードウェアによって具現されることができ、実施例によっては複数の「部」が単一の要素(unit、element)によって具現されるか、単一の「部」が複数の要素を含むこともできる。
【0022】
本明細書で、「映像」は離散的なイメージ要素(例えば、2次元イメージにおけるピクセル及び3次元イメージにおけるボクセル)から構成された多次元(multi-dimensional)データを意味することができる。例えば、映像は、磁気共鳴映像撮影装置、コンピューティング断層撮映(CT)装置、超音波撮影装置、又はX線撮影装置などの医療映像装置によって獲得された医療映像を含むことができる。
【0023】
本明細書で、「対象体(object)」は撮影の対象となるものであり、ヒト、動物、又はその一部を含むことができる。例えば、対象体は身体の一部(臓器又は器官など;organ)又はファントム(phantom)などを含むことができる。ファントムは生物の密度及び実効原子番号にとても近似した体積を有する物質を意味するものであり、身体と類似した性質を有する球形(sphere)のファントムを含むことができる。
【0024】
磁気共鳴映像(Magnetic Resonance Image、MRI)システムは、特定強度の磁場で発生する無線周波数(Radio Frequency、RF)信号に対する磁気共鳴(Magnetic Resonance、MR)信号の強度を明暗対比で表現して対象体の断層部位に対するイメージを獲得するシステムである。
【0025】
MRIシステムは、主磁石が静磁場(static magnetic field)を形成するようにし、静磁場内に位置する対象体の特定原子核の磁気双極子モーメント方向を静磁場の方向に整列させる。傾斜磁場コイルは、静磁場に傾斜信号を印加して傾斜磁場を形成することで、対象体の部位別に共鳴周波数を異なるように誘導することができる。RFコイルは、映像の獲得を所望部位の共鳴周波数に合わせて磁気共鳴信号を照射することができる。また、RFコイルは、傾斜磁場が形成されることにより、対象体の多くの部位から放射される相異なる共鳴周波数の磁気共鳴信号を受信することができる。MRIシステムは、このような段階で受信した磁気共鳴信号に映像復元技法を適用して映像を獲得する。また、MRIシステムは、多チャンネルRFコイルによって受信される複数の磁気共鳴信号に対して直列的又は並列的信号処理を実行して複数の磁気共鳴信号を映像データに再構成することもできる。
【0026】
以下では、本発明の一実施例による磁気共鳴映像処理装置について説明する。
【0027】
図1は本発明の一実施例による磁気共鳴映像処理装置の構成を示す構成図である。
【0028】
図1を参照すると、磁気共鳴映像処理装置100は、自ら磁気共鳴信号を感知して磁気共鳴映像を獲得することができるMRIシステムだけでなく、外部から獲得された映像を処理する映像処理装置、磁気共鳴映像に対するプロセッシング機能を備えたスマートフォン、タブレット型PC、PC、スマートTV、マイクロサーバー、クラウドサーバー、その他の家電機器及びその他のモバイル又は非モバイルコンピューティングー装置であることができるが、これに限定されない。また、磁気共鳴映像処理装置100は、通信機能及びデータプロセッシング機能を備えた時計、メガネ、ヘアバンド及び指輪などのウェアラブルデバイスであり得る。
【0029】
また、本発明の一実施例による磁気共鳴映像処理装置100、100は、医療機関で用いる医療映像保管通信システム(PACS:Picture Archiving and Communication System)又は磁気共鳴映像処理装置100と通信して医療映像データを送受信し、人工ニューラルネットワークモデルを活用して磁気共鳴映像データを復元する磁気共鳴映像処理装置100に関するものであり得る。
【0030】
そして、本発明の一実施例による磁気共鳴映像処理装置100、100は、クラウドコンピューティングシステム(Cloud Computing System)の形態に具現可能である。クラウドコンピューティングは、インターネット上のサーバーを介してデータ保存、ネットワーク、コンテンツ使用などのIT関連のサービスを総合的に使用することができるコンピューティング環境である。これと違って、磁気共鳴映像処理装置100は、サーバーコンピューティング、エッジコンピューティング、サーバーレスコンピューティングなどの磁気共鳴映像処理方法を実行することができる多様な形態のコンピューティングシステムによって具現することもできる。
【0031】
具体的には、本発明の一実施例による磁気共鳴映像処理装置100のそれぞれは、通信モジュール110と、メモリ120と、プロセッサ130と、データベース140と、を含むことができる。
【0032】
通信モジュール110は、通信ネットワークと連動して磁気共鳴映像処理装置100に通信インターフェースを提供する。磁気共鳴映像処理装置100は、通信モジュール110を用いて後述するクライアント端末、PACS端末及びPACSサーバーに対してデータを送受信することができる。ここで、通信モジュール110は、他のネットワーク装置に対して有無線連結を介して制御信号又はデータ信号のような信号を送受信するために必要なハードウェア及びソフトウェアを含む装置であり得る。
【0033】
例えば、通信モジュール110は、LAN、WCDMA(Wideband Code Division Multiple Access)、LTE(Long Term Evolution)、WiBro(Wireless Broadband Internet)、5世代移動通信(5G)、超広帯域無線通信(Ultra Wide-Band)、ジグビー(ZigBee)、RF(Radio Frequency)通信、無線LAN(Wireless LAN)、ワイファイ(Wireless Fidelity)、NFC(Near Field Communication)、ブルートゥース(登録商標)、赤外線通信などを介して通信することができる。ただし、これは例示的なものに過ぎず、本発明が適用される実施例によって当該技術分野で適用可能な多様な有無線通信技術を用いることができる。
【0034】
一方、本発明で、「端末」は携帯性及び移動性が保障された無線通信装置であり、例えばスマートフォン、タブレットPC又はノートブック型PCなどのようなすべての種類のハンドヘルド(Handheld)に基づく無線通信装置であり得る。また、「端末」は、通信機能及びデータプロセッシング機能を備えた時計、メガネ、ヘアバンド、及び指輪などのウェアラブル機器でもあり得る。また、「端末」は、ネットワークを介して他の端末又はサーバーなどに接続することができるPCなどの有線通信装置でもあり得る。
【0035】
医療機関には、一般的に医療映像データ撮影機器と連動して撮影機器を制御するか又は医療映像データの伝送を管理するクライアント端末及び医療陣が医療映像データを見るか又は加工及び管理することができるPACSプログラムが組み込まれたPACS端末が配置され得る。クライアント端末は、ユーザーログイン、ワークリスト及び映像処理内訳を出力するためのユーザーインターフェース(UI)を提供するプログラムが組み込まれた端末であり得る。PACS端末は、PACSサーバーに保存された医療映像データ、及び個人情報データを磁気共鳴映像処理装置100に伝送し、人工ニューラルネットワークモデルによって復元された医療映像データを受信してPACSサーバーに保存するか又はディスプレイに出力するためのユーザーインターフェースを提供するプログラムが組み込まれた端末であり得る。
【0036】
メモリ120は磁気共鳴映像処理プログラムが記録された記録媒体であり得る。また、メモリ120は、プロセッサが処理するデータを一時的又は永久的に保存する機能を達成することができる。ここで、メモリ120は揮発性記録媒体(volatile storage media)又は非揮発性記録媒体(non-volatile storage media)を含むことができるが、本発明の範囲がこれに限定されるものではない。
【0037】
プロセッサ130は、磁気共鳴映像処理装置100で磁気共鳴映像処理プログラムが実行する全体過程を制御することができる。プロセッサ130が実行する過程の各段階については後述する。
【0038】
ここで、プロセッサ130は、プロセッサ(processor)のようにデータを処理することができるすべての種類の装置を含むことができる。ここで、「プロセッサ(processor)」は、例えばプログラム内に含まれたコード又は命令で表現された機能を達成するために物理的に構造化した回路を有する、ハードウェアに内蔵されたデータ処理装置を意味することができる。このようにハードウェアに内蔵されたデータ処理装置の一例として、マイクロプロセッサ(microprocessor)、中央処理装置(central processin gunit:CPU)、プロセッサコア(processor core)、マルチプロセッサ(multiprocessor)、ASIC(application-specific integrated circuit)、FPGA(field programmable gate array)などの処理装置を網羅することができるが、本発明の範囲がこれに限定されるものではない。
【0039】
データベース140は、磁気共鳴映像処理装置100がプログラムを実行するために必要な各種のデータが保存されたものであり得る。例えば、データベースには、後述する人工ニューラルネットワークの学習データ、磁気共鳴信号データ、k-スペースデータ、及び磁気共鳴映像データなどが保存されたものであり得る。
【0040】
以下で、
図2~
図6の基づき、加速化撮影を実行して磁気共鳴映像を獲得する方法について詳細に説明する。
【0041】
図2a及び
図2bは本発明の一実施例によるk-スペース領域での磁気共鳴映像処理方法を示す図面であり、
図3a及び
図3bは本発明の一実施例によるイメージ領域での磁気共鳴映像処理方法を示す図面であり、
図4は本発明の一実施例によるサブサンプリングとフルサンプリングとの相違点を説明するための概略図であり、
図5は本発明の一実施例による第1人工ニューラルネットワークモデルを用いて第1k-スペースデータから第2k-スペースデータを獲得することを示す概略図であり、
図6は本発明の一実施例による第2人工ニューラルネットワークモデルを用いて第1磁気共鳴映像から第2磁気共鳴映像を獲得することを示す概略図である。
【0042】
本明細書で、サブサンプリングされた磁気共鳴信号を用いて磁気共鳴映像を獲得する撮影を加速化撮影という。
【0043】
加速化撮影とは、一般撮影に比べて、獲得する磁気共鳴信号が減少した撮影を意味することができる。例えば、一般撮影はフルサンプリングされた磁気共鳴信号を獲得することであり、加速化撮影はサブサンプリングされた磁気共鳴信号を獲得することを意味し得る。例えば、一般撮影とは100%の磁気共鳴信号を獲得するために1時間がかかる撮影であり得、加速化撮影とは50%の磁気共鳴信号を獲得するために30分がかかる撮影であり得る。よって、一般撮影によって高品質の磁気共鳴映像を獲得することができ、加速化撮影によって相対的に低品質の磁気共鳴映像を獲得することができる。低品質の磁気共鳴映像は、高品質の磁気共鳴映像に比べて、解像度が低いイメージをいうか、又はノイズをより多く含むイメージともいう。
【0044】
一例として、加速化撮影とは、臨床的に使用される撮影に比べて、励起回数(number of excitations、NEX)を減らした撮影であり得る。一例として、加速化撮影とは、臨床的に使用される撮影に比べて、位相分解能(Phase resolution)を減らした撮影であり得る。一例として、加速化撮影とは、臨床的に使用される撮影に比べて、加速係数(Acceleration factor)を高め、並列映像技法を適用した撮影であり得る。また、加速化撮影された映像とは、実際に磁気共鳴映像撮影装置を介して撮影された映像だけでなく、コンピューティングシミュレーションによって一般撮影された映像を加速化撮影された映像と同一又は類似に処理した映像であり得る。
【0045】
図2a及び
図2bを参照すると、本発明の一実施例による磁気共鳴映像処理装置によって実行される磁気共鳴映像処理方法であって、S110段階に先立ち、加速化撮影によってサブサンプリングされた磁気共鳴信号210を獲得する段階を実行することができる。
【0046】
図4を参照すると、サブサンプリングされた磁気共鳴信号210はナイキストサンプリングレートより低いサンプリングレートでサンプリングされた磁気共鳴信号であり得る。また、サブサンプリングされた磁気共鳴映像はナイキストサンプリングレートより低いサンプリングレートで磁気共鳴信号をサンプリングして獲得した映像である。一方、フルサンプリングされた磁気共鳴映像はナイキストサンプリングレート以上のサンプリングレートでk-スペースデータをサンプリングして獲得した映像であり得る。
【0047】
例えば、フルサンプリングされた磁気共鳴信号のライン(line)数がn個であり、サブサンプリングされた磁気共鳴信号210のライン(line)数がn/2個であり得る。ここで、サンプリングラインの減少した程度が1/2倍数であれば磁気共鳴映像撮影の加速係数が2であると言える。サンプリングラインの減少した程度が1/3倍数、1/4倍数であれば加速係数はそれぞれ3、4であると言える。
【0048】
そして、サブサンプリング方法は、均一サブサンプリングと比均一サブサンプリングとに区分されることができる。均一サブサンプリングはサンプリングされるラインの間隔を一定に維持してサンプリングを実行することであり得る。一方、非均一サブサンプリングは、一般的にサンプリングデータの中央部分に行くほどサンプリングされるラインの間隔を小さくしてサンプリングを多く実行し、中央部分から遠くなるほどサンプリングされるラインの間隔を大きくしてサンプリングを少なくすることを意味することができる。
【0049】
一方、磁気共鳴映像処理装置はMRIシステムに含まれ、RFコイルから受信した磁気共鳴信号に基づき、サブサンプリングされた磁気共鳴信号210に対応する入力データを獲得することができる。また、磁気共鳴映像処理装置は、外部の磁気共鳴映像撮影装置、外部サーバー及びデータベースのうちの少なくとも一つからサブサンプリングされた磁気共鳴信号210に対応する入力データを獲得することもできる。
【0050】
また
図2a及び
図2bを参照すると、サブサンプリングされた磁気共鳴信号210から並列映像技法を用いて第1k-スペースデータ220を獲得する段階(S110)を実行することができる。
【0051】
ここで、並列映像技法は、サブサンプリングされた磁気共鳴信号210及び/又はk-スペースデータからフルサンプリングされたk-スペースデータ及び/又は磁気共鳴映像のように高正確度のk-スペースデータ及び/又は磁気共鳴映像を獲得するための一種の映像復元技法である。
【0052】
並列映像技法による映像復元の実行において、公知の技術であるSPACE RIP(Sensitivity Profiles From an Array of Coils for Encoding and Reconstruction in Parallel)、SMASH(Simultaneous acquisition of spatial harmonics)、PILS(Partially Parallel Imaging With Localized Sensitivitie)、GRAPPA(Generalized Autocalibrating Partially Parallel Acquisitions)、SPIRiT(iterative Self-consistent Parallel Imaging Reconstruction)などの並列映像技法に適用可能なものであれば制限なしに適用可能である。
【0053】
段階(S110)の後、第1k-スペースデータ220から第1人工ニューラルネットワークモデル300によって第2k-スペースデータ230を獲得する段階(S120)を実行することができる。
【0054】
図5を参照すると、第1人工ニューラルネットワークモデル300は、統計的機械学習結果を用いて、少なくとも一つのサブサンプリングされた第1k-スペースデータ220と少なくとも一つのフルサンプリングされた第1k-スペースデータ220との相関関係を学習するアルゴリズムの集合であり得る。第1人工ニューラルネットワークモデル300は、少なくとも一つのニューラルネットワークを含むことができる。ニューラルネットワークは、DNN(Deep Neural Network)、RNN(Recurrent Neural Network)、BRDNN(Bidirectional Recurrent Deep Neural Network)、MLP(Multilayer Perceptron)、CNN(Convolutional Neural Network)、U-netのような方式のネットワークモデルを含むことができるが、これに限定されない。
【0055】
例えば、第1人工ニューラルネットワークモデル300は、ニューラルネットワークを用いて少なくとも一つのサブサンプリングされた第1k-スペースデータ220及び少なくとも一つのフルサンプリングされた第1k-スペースデータ220の相関関係を位相エンコーディング方向(Ky)によってスタックされる少なくとも一つのサンプリングラインのピクセルを単位として学習して構築されたモデルであり得る。
【0056】
図4を参照すると、位相エンコーディング方向(Ky)は、磁気共鳴信号をサンプリングする過程でサンプリングされたラインがスタック(stack)される方向に平行に延びる方向であり得る。そして、リードアウト方向(Kx)は、サンプリングされたラインが延びる方向であり得る。一方、Kz方向はコイルの軸方向であるか又は後述する位相エンコーディング方向(Ky)及びリードアウト方向(Kx)とそれぞれ直交する第1方向(Kz)と言える。
【0057】
一方、サブサンプリングされた磁気共鳴信号が複数の場合、第1k-スペースデータ220及び第2k-スペースデータ230はそれぞれ複数を獲得することができる。すなわち、磁気共鳴信号を受信するRFコイルが複数の場合、それぞれのチャネル別に受信される複数の磁気共鳴信号に対応して生成された複数の復元映像が第1磁気共鳴映像となる。
【0058】
また、第1人工ニューラルネットワークモデル300は、サブサンプリングされた第1k-スペースデータ及びフルサンプリングされた第1k-スペースデータの他にも多様な追加のデータを用いて構築可能である。例えば、追加のデータとして、第1k-スペースデータ220に対応する、実数データ、虚数データ、大きさデータ、及び位相データのうちの少なくとも一つを用いることができる。
【0059】
本発明の実施例によれば、第1人工ニューラルネットワークモデル300は、
図7~
図9に基づいて後述する方法によって学習され、低品質の第1k-スペースデータ220から高品質の第2k-スペースデータ230を生成することができる。
【0060】
図3a及び
図3bを参照すると、任意のk-スペースデータから逆フーリエ(IFFT)演算によって第1磁気共鳴映像240を獲得する段階(S210)を実行することができる。グラッパ及び/又は人工ニューラルネットワークモデルは、完全なk-スペース形態の映像データを逆フーリエ変換して復元映像である第1磁気共鳴映像240を生成することができる。
【0061】
段階(S210)の後、第1磁気共鳴映像240から第2人工ニューラルネットワークモデル400によって第2磁気共鳴映像250を獲得する段階(S220)を実行することができる。
【0062】
図6を参照すると、第2人工ニューラルネットワークモデル400は、統計的機械学習結果を用いて、少なくとも一つのサブサンプリングされた磁気共鳴映像と少なくとも一つのフルサンプリングされた磁気共鳴映像との間の相関関係を学習するアルゴリズムの集合であり得る。
【0063】
第2人工ニューラルネットワークモデル400は、少なくとも一つのニューラルネットワークを含むことができる。ニューラルネットワークは、DNN(Deep Neural Network)、RNN(Recurrent Neural Network)、BRDNN(Bidirectional Recurrent Deep Neural Network)、MLP(Multilayer Perceptron)、CNN(Convolutional Neural Network)のような方式のネットワークモデルを含むことができるが、これらに限定されない。
【0064】
例えば、第2人工ニューラルネットワークモデル400は、ニューラルネットワークを用いて、少なくとも一つのサブサンプリングされた磁気共鳴映像と少なくとも一つのフルサンプリングされた磁気共鳴映像との間の相関関係を位相エンコーディング方向(Ky)にスタックされる少なくとも一つのサンプリングラインのピクセルを単位として学習して構築したモデルであり得る。
【0065】
また、第2人工ニューラルネットワークモデル400は、サブサンプリングされた磁気共鳴映像及びフルサンプリングされた磁気共鳴映像の他にも、多様な追加データを用いて構築することができる。例えば、追加データとして、第1磁気共鳴映像240に対応するk-スペースデータ、実数映像データ、虚数映像データ、大きさ映像データ、及び位相映像データのうちの少なくとも一つを用いることができる。
【0066】
以下では、第2人工ニューラルネットワークモデル400がさらにスキャンパラメーターを用いて学習及び復元を実行する方法について説明する。
【0067】
図7は本発明の一実施例による第2人工ニューラルネットワークモデルを学習させる方法を示す概略図である。
【0068】
本明細書では、低品質の磁気共鳴映像を学習イメージ510といい、高品質の磁気共鳴映像をラベルイメージ530という。例えば、学習イメージ510は磁気共鳴信号をサブサンプリングして獲得したものを意味し、ラベルイメージ530は磁気共鳴信号をフルサンプリングして獲得したものを意味し得る。例えば、学習イメージ510の励起回数はラベルイメージ530の励起回数よりも小さくてもよい。例えば、学習イメージ510の位相分解能はラベルイメージ530の位相分解能よりも小さくてもよい。学習イメージ510とラベルイメージ530との相違点は多様であり、これに限定されない。
【0069】
一方、学習イメージ510及びラベルイメージ530を獲得するために、一回の撮影を実行し、一回の撮影によって獲得した磁気共鳴信号を用いて前処理を実行することにより、学習イメージ510及びラベルイメージ530を生成することができる。
【0070】
図7を参照すると、第2人工ニューラルネットワークモデル400は、学習イメージ510及びラベルイメージ530だけでなく、学習イメージ510の磁気共鳴映像撮影に使用された少なくとも一つのスキャンパラメーターを含む第1パラメーターグループ520及びラベルイメージ530の磁気共鳴映像撮影に使用された少なくとも一つのスキャンパラメーターを含む第2パラメーターグループ540を一緒に受けることができる。したがって、第2人工ニューラルネットワークモデル400は、低品質の学習イメージ510と高品質のラベルイメージ530との間の相関関係を学習することができる。
【0071】
スキャンパラメーターとは磁気共鳴映像を撮影する過程でセットされる環境変数を意味し、スキャンパラメーターの値によって獲得される磁気共鳴信号が変わり、復元される磁気共鳴映像も変わり得る。具体的には、スキャンパラメーターを設定することにより、磁気共鳴映像の撮影時間、解像度、ノイズなどを調節することができる。
【0072】
例えば、スキャンパラメーターは、励起回数(number of excitation、NEX)、位相分解能(Phase resolution)及び加速係数(Acceleration factor)を含むことができ、これは例示的なものに過ぎず、これに限定されない。
【0073】
具体的には、励起回数とは、k-スペースで磁気共鳴信号のラインを繰り返し獲得するときの繰り返し回数を意味する。励起回数は平均回数(Number of Averages)とも言える。励起回数が増加するのに伴って、磁気共鳴映像の撮影時間が比例的に増加することができる。例えば、励起回数が2以上の場合、励起回数を減らしてセットし、磁気共鳴映像を撮影する場合、撮影時間を縮めることができる。
【0074】
位相分解能とは、k-スペースで位相エンコーディング方向にサンプリングされたラインの数を所定の基準値で割った値を意味する。例えば、位相分解能は、0.5、0.8、1.0などの値を有し得る。位相分解能が増加するのに伴って、磁気共鳴映像の撮影時間が比例的に増加することができる。したがって、位相分解能を減らしてセットし、磁気共鳴映像を撮影する場合、撮影時間を縮めることができる。
【0075】
加速係数とは、並列映像技法で使用される用語であり、k-スペースでフルサンプリングされた信号ラインの数を加速化撮影によってサンプリングされた信号ラインの数で割った値を意味する。例えば、加速係数が2というのは、位相エンコーディング方向に磁気共鳴信号をサンプリングしてラインを獲得するとき、フルサンプリング信号ラインの数の半分の信号ラインの数を獲得することを意味し、例えば2列の間隔でラインを獲得することを意味し得る。加速係数が増加するのに伴って、磁気共鳴映像の撮影時間が比例的に減少することができる。
【0076】
図7で、第1パラメーターグループ520及び第2パラメーターグループ540のそれぞれは学習イメージ510及びラベルイメージ530を獲得するときの励起回数、位相分解能、加速係数に対する値を含むので、大きさが3であり得る。これは例示的なものに過ぎず、第1パラメーターグループ520の大きさ及び第2パラメーターグループ540の大きさはそれぞれが含むスキャンパラメーターの種類によって変わり得る。
【0077】
本開示の実施例によれば、磁気共鳴映像撮影に適用されたスキャンパラメーター値によって、磁気共鳴映像を復元する過程で実行しなければならないタスクを決定することができる。例えば、第1パラメーターグループ520に含まれたスキャンパラメーター値によって、学習イメージ510に適用される前処理アルゴリズム及び後処理アルゴリズムのうちの少なくとも一つを決定することができる。また、第2パラメーターグループ540に含まれるスキャンパラメーター値によって、ラベルイメージ530に適用される前処理アルゴリズム及び後処理アルゴリズムのうちの少なくとも一つを決定することができる。例えば、励起回数、位相分解能、加速係数によって、復元過程でノイズ除去(denoising)、超分解能(super resolution)などのタスクを実行することができる。
【0078】
したがって、磁気共鳴映像処理過程でスキャンパラメーターを考慮して復元イメージを生成すると、映像復元の正確度が向上することができる。また、第2人工ニューラルネットワークモデル400の学習段階で入力される第2パラメーターグループ540を調節することにより、ユーザーが望む程度の復元イメージを出力するように設定することができる。
【0079】
図8は本発明の一実施例によるスキャンパラメーターを第2人工ニューラルネットワークモデルに入力する方法を示す概略図である。
【0080】
図8を参照すると、第1パラメーターグループ520はスキャンパラメーターの値を並べた1次元データであり、第1パラメーターグループ520に対応する学習イメージは2次元データである。したがって、次元の異なるデータを連結(concatenate)して一つの人工ニューラルネットワークモデルに入力することができないので、第1パラメーターグループ520を変形する必要がある。
【0081】
一実施例として、第1パラメーターグループ520を前処理人工ニューラルネットワークモデルに入力して第1アテンションデータ521を生成することができる。第1アテンションデータ521は、第1パラメーターグループ520に含まれたスキャンパラメーターが第2人工ニューラルネットワークモデル400の特定レイヤーチャネルに掛けられる加重値を示し得る。例えば、前処理人工ニューラルネットワークモデルは完全連結階層(fully connected layer)で構成することができる。
【0082】
第2人工ニューラルネットワークモデル400の一部のレイヤーにチャネルの軸に沿って第1アテンションデータ521を掛ける。例えば、前記一部のレイヤーは、第2人工ニューラルネットワークモデル400の後部に位置するレイヤーを含むことができる。
【0083】
前処理人工ニューラルネットワークモデルはいずれか一つに限定されるものではないが、第1アテンションデータ521の長さと第1アテンションデータ521が掛けられるレイヤーのチャネルの数とが同じになるように設計することができる。
【0084】
図8で、前処理人工ニューラルネットワークモデルが第2人工ニューラルネットワークモデル400から分離されて示されているが、これは例示的なものに過ぎず、前処理人工ニューラルネットワークモデル及び第2人工ニューラルネットワークモデル400は単一の人工知能モデルで具現することができる。また、前処理人工ニューラルネットワークモデル及び第2人工ニューラルネットワークモデル400のそれぞれは複数の人工知能モデルで具現することもできる。
【0085】
一方、
図8は第1パラメーターグループ520について例示的に説明したが、前述した内容は第2パラメーターグループ540にも同様に適用することができる。すなわち、第2パラメーターグループ540を前処理人工ニューラルネットワークモデルに入力して第2アテンションデータを生成し、第2アテンションデータを第2人工ニューラルネットワークモデル400に入力することができる。また、第1パラメーターグループ520及び第2パラメーターグループ540を一緒に前処理人工ニューラルネットワークモデルに入力し、アテンションデータを出力することもできる。
【0086】
図9は本発明の一実施例によるスキャンパラメーターを用いる磁気共鳴映像処理方法の手順を示すフローチャートである。
【0087】
図9を参照すると、磁気共鳴映像処理装置は、低品質の学習イメージ、学習イメージを獲得するときに使用されたスキャンパラメーターを含む第1パラメーターグループ、高品質のラベルイメージ、及びラベルイメージを獲得するときに使用されたスキャンパラメーターを含む第2パラメーターグループを獲得することができる(S310)。前述したように、学習イメージは、ラベルイメージに比べて、サンプリング個数が小さいか、又は励起回数が小さいか、又は位相分解能が小さくなり得る。
【0088】
磁気共鳴映像処理装置は、学習イメージ、第1パラメーターグループ、ラベルイメージ及び第2パラメーターグループを用いて人工ニューラルネットワークモデルを学習させることができる(S320)。具体的には、人工ニューラルネットワークモデルは、学習イメージ、第1パラメーターグループ、及び第2パラメーターグループを入力データとして、ラベルイメージをラベルデータとして受けることができる。例えば、人工ニューラルネットワークモデルは、
図3、
図6、
図7及び
図8の人工ニューラルネットワークモデル400に対応することができる。
【0089】
ここで、磁気共鳴映像処理装置は、第1パラメーターグループの大きさ及び第2パラメーターグループの大きさが人工ニューラルネットワークモデルのチャネル数に対応するように前処理することができる。
【0090】
具体的には、磁気共鳴映像処理装置は、第1パラメーターグループ及び前記第2パラメーターグループを前処理人工ニューラルネットワークモデルに入力してそれぞれ第1アテンションデータ及び第2アテンションデータを生成し、第1アテンションデータ及び第2アテンションデータを人工ニューラルネットワークモデルに入力することができる。ここで、前処理人工ニューラルネットワークは
図8の完全連結階層を意味し得る。
【0091】
磁気共鳴映像処理装置は、入力イメージ及び入力イメージを獲得するときに使用されたスキャンパラメーターを含む第3パラメーターグループを学習の完了した人工ニューラルネットワークモデルに入力して復元イメージを生成することができる(S330)。
【0092】
前述した本発明の説明は例示のためのものであり、本発明が属する技術分野で通常の知識を有する者は本発明の技術的思想や必須特徴を変更しなくても他の具体的な形態に容易に変形することができることが理解可能であろう。したがって、以上で記述した実施例はすべての面で例示的なものであり、限定的なものではないことを理解しなければならない。例えば、単一型として説明されている各構成要素は分散して実施することもでき、同様に、分散されたものとして説明されている構成要素は結合した形態に実施することができる。
【0093】
本発明の範囲は前記詳細な説明よりは後述する特許請求の範囲によって決定され、特許請求の範囲の意味及び範囲並びにその均等の概念から導出されるすべての変更又は変形の形態は本発明の範囲に含まれるものと解釈されなければならない。
【符号の説明】
【0094】
100 :磁気共鳴映像処理装置
110 :通信モジュール
120 :メモリ
130 :プロセッサ
140 :データベース
210 :磁気共鳴信号
240 :第1磁気共鳴映像
250 :第2磁気共鳴映像
300 :第1人工ニューラルネットワークモデル
400 :第2人工ニューラルネットワークモデル
510 :学習イメージ
520 :第1パラメーターグループ
521 :第1アテンションデータ
530 :ラベルイメージ
540 :第2パラメーターグループ
【国際調査報告】