(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-22
(45)【発行日】2024-03-04
(54)【発明の名称】機能的磁気共鳴イメージングアーチファクト除去
(51)【国際特許分類】
A61B 5/055 20060101AFI20240226BHJP
G06T 1/00 20060101ALI20240226BHJP
G06T 1/40 20060101ALI20240226BHJP
【FI】
A61B5/055 380
G06T1/00 290C
G06T1/40
(21)【出願番号】P 2021532012
(86)(22)【出願日】2019-11-26
(86)【国際出願番号】 EP2019082520
(87)【国際公開番号】W WO2020114830
(87)【国際公開日】2020-06-11
【審査請求日】2022-11-25
(32)【優先日】2018-12-07
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Koninklijke Philips N.V.
【住所又は居所原語表記】High Tech Campus 52, 5656 AG Eindhoven,Netherlands
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人M&Sパートナーズ
(72)【発明者】
【氏名】エワルド アーネ
(72)【発明者】
【氏名】フラエシュナー ニック
(72)【発明者】
【氏名】ベルンハルト グライヒ
(72)【発明者】
【氏名】グレスリン イングマル
(72)【発明者】
【氏名】ボルネート ペーター
(72)【発明者】
【氏名】シュメール インゴ
(72)【発明者】
【氏名】オヴァーヴェグ ヨハネス アドリアヌス
【審査官】下村 一石
(56)【参考文献】
【文献】米国特許出願公開第2018/0336680(US,A1)
【文献】米国特許出願公開第2018/0143275(US,A1)
【文献】国際公開第2018/156778(WO,A1)
【文献】特開平09-248286(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/055
G06T 1/00
G06T 1/40
(57)【特許請求の範囲】
【請求項1】
機械実行可能命令および構成された人工ニューラルネットワークを格納するメモリと、前記機械実行可能命令を実行することによって医療用イメージングシステムを制御するためのプロセッサとを備える、医療用イメージングシステムであって、
前記機械実行可能命令の実行により、前記プロセッサは、
磁気共鳴イメージングデータを受け取
るステップであって、前記磁気共鳴イメージングデータ
はBOLD機能的磁気共鳴イメージングデータであり、前記構成された人工ニューラルネットワーク
はリカレントニューラルネットワークを
複数有しており、各リカレントネットワークは入力および出力がそれぞれ1つのボクセルの値である、ステップと、
前記磁気共鳴イメージングデータを
再構築し
てボクセルのセットのボクセルごと
の時間依存BOLD信号を
表す初期信号のセットを
生成する
ステップと、
前記構成された人工ニューラルネットワークへの前記初期信号のセットの入力に応答して、前記構成された人工ニューラルネットワークから変更された信号のセットを受け取
るステップであって、前記変更された信号のセットは、前記初期信号のセットからの純粋なノイズ信号か、または前記純粋なノイズ信号が除去された前記変更された信号のセットのいずれかであり
、前記構成された人工ニューラルネットワークは、前記初期信号のセットから生理学的アーチファクトを除去するように構成されている、
ステップと、
を実行する、医療用イメージングシステム。
【請求項2】
前記医療用イメージングシステムはさらに、時間依存性機能的磁気共鳴イメージングプロトコルに従って前記磁気共鳴イメージングデータを取得する磁気共鳴イメージングシステムを備え、前記機械実行可能命令の実行により、前記プロセッサはさらに、前記磁気共鳴イメージングシステムを制御して前記磁気共鳴イメージングデータを取得する、請求項1に記載の医療用イメージングシステム。
【請求項3】
前記構成された人工ニューラルネットワークは入力計算層を含み
、前記リカレントニューラルネットワークは、前記入力計算層に接続され
る、請求項1
又は2に記載の医療用イメージングシステム。
【請求項4】
前記入力計算層は、
全結合、
または畳み込み結合されている、請求項
3に記載の医療用イメージングシステム。
【請求項5】
前記構成された人工ニューラルネットワークは出力計算層を含み
、前記リカレントニューラルネットワークは、前記出力計算層に接続され
る、請求項1から
4のいずれか一項に記載の医療用イメージングシステム。
【請求項6】
前記出力計算層は、
全結合、
畳み込み結合、
または部分結合されている、請求項
5に記載の医療用イメージングシステム。
【請求項7】
前記リカレントニューラルネットワークは直結フィードバックを含み、前記構成された人工ニューラルネットワークは隠れフィードバック層を含み
、前記リカレントニューラルネットワークの前記直結フィードバックは前記隠れたフィードバック層を介して提供される、請求項1から
6のいずれか一項に記載の医療用イメージングシステム。
【請求項8】
前記機械実行可能命令の実行により、前記プロセッサはさらに、
前記ボクセルのセットのボクセルごとの訓練信号のセットを受け取り、
前記ボクセルのセットのボクセルごとのクリーンな信号のセットを受け取り、ここで、前記訓練信号のセットは、前記クリーンな信号のセットに加えて生理学的アーチファクトを含み、
被検者の動きを表す生理学的アーチファクトデータを受け取り、ここで、前記生理学的アーチファクトデータは前記クリーンな信号のセットと時間的に相関しており、
前記訓練信号のセット、前記クリーンな信号、および前記生理学的アーチファクトデータを使用して、前記構成された人工ニューラルネットワークを訓練する、
請求項1から
7のいずれか一項に記載の医療用イメージングシステム。
【請求項9】
前記機械実行可能命令の実行により、前記プロセッサはさらに、
ノイズリダクション値を受け取り、
前記初期信号のセット、前記変更された信号のセット、および前記ノイズリダクション値を使用して、制御可能にクリーニングされた信号のセットを構築し、
前記変更された信号のセットがノイズ信号のセットである場合、前記制御可能にクリーニングされた信号のセットを構築することは、前記ノイズリダクション値を前記変更された信号のセットと掛けた積を前記初期信号のセットから差し引くことを含み、
前記変更されたノイズ信号のセットがクリーニングされた信号のセットである場合、前記制御可能にクリーニングされた信号のセットを構築することは、
前記初期信号のセットから前記変更された信号のセットを差し引くことによってノイズ信号のセットを計算することと、
前記ノイズリダクション値を前記ノイズ信号のセットと掛けた積を前記初期信号のセットから差し引くことによって、前記制御可能にクリーニングされた信号のセットを構築することとを含む、
請求項1から
8のいずれか一項に記載の医療用イメージングシステム。
【請求項10】
前記機械実行可能命令の実行により、前記プロセッサはさらに、前記制御可能にクリーニングされた信号のセットから機能的磁気共鳴画像を再構築する、請求項
9に記載の医療用イメージングシステム。
【請求項11】
前記リカレントニューラルネットワークはLSTM(Long Short-Term Memory)ニューラルネットワークである、請求項1から
10のいずれか一項に記載の医療用イメージングシステム。
【請求項12】
機械実行可能命令および構成された人工ニューラルネットワークを格納するメモリと、前記機械実行可能命令を実行することによって医療用イメージングシステムを制御するためのプロセッサとを備える、医療用イメージングシステムの動作方法であって、前記方法は、
磁気共鳴イメージングデータを受け取るステップであって、前記磁気共鳴イメージングデータ
はBOLD機能的磁気共鳴イメージングデータであ
り、前記構成された人工ニューラルネットワークはリカレントニューラルネットワークを複数有しており、各リカレントネットワークは入力および出力がそれぞれ1つのボクセルの値である、ステップと、
前記磁気共鳴イメージングデータを
再構築し
てボクセルのセットのボクセルごと
の時間依存BOLD信号を
表す初期信号のセットを
生成す
るステップと、
前記構成された人工ニューラルネットワークへの前記初期信号のセットの入力に応答して、前記構成された人工ニューラルネットワークから変更された信号のセットを受け取るステップであって、前記構成された人工ニューラルネットワークは、前記初期信号のセットから生理学的アーチファクトを除去するように構成されており、前記変更された信号のセットは、前記初期信号のセットからの純粋なノイズ信号か、または前記純粋なノイズ信号が除去された前記変更された信号のセットのいずれかで
ある、ステップとを含む、
方法。
【請求項13】
構成された人工ニューラルネットワークを実装するプロセッサによって実行される機械実行可能命令を含むコンピュータプログラムであって、前記機械実行可能命令の実行により、前記プロセッサ
に、
磁気共鳴イメージングデータを受け取
るステップであって、前記磁気共鳴イメージングデータ
はBOLD機能的磁気共鳴イメージングデータであり、
前記構成された人工ニューラルネットワークはリカレントニューラルネットワークを複数有しており、各リカレントネットワークは入力および出力がそれぞれ1つのボクセルの値である、ステップと、
前記磁気共鳴イメージングデータを
再構築し
てボクセルのセットのボクセルごと
の時間依存BOLD信号を
表す初期信号のセットを
生成するステップと、
前記構成された人工ニューラルネットワークへの前記初期信号のセットの入力に応答して、前記構成された人工ニューラルネットワークから変更された信号のセットを受け取
るステップであって、前記構成された人工ニューラルネットワークは、前記初期信号のセットから生理学的アーチファクトを除去するように構成されており、前記変更された信号のセットは、前記初期信号のセットからの純粋なノイズ信号か、または前記純粋なノイズ信号が除去された前記変更された信号のセットのいずれかで
ある、ステップと、
を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は磁気共鳴イメージングに関し、特に機能的磁気共鳴イメージングに関する。
【背景技術】
【0002】
磁気共鳴イメージング(MRI)スキャナでは、被検者の体内画像を生成するための手順の一部として原子の核スピンを整列させるために、大きな静磁場が使用される。この大きな静磁場をB0磁場または主磁場と呼ぶ。MRIを使用して、被検者の様々な量または特性を空間的に測定することができる。パルスシーケンスを使用して磁気共鳴データの取得を制御することによって様々なイメージングプロトコルを実装することができ、イメージングプロトコルは被検者の様々な特性を測定するために使用され得る。
【0003】
例えば、機能的磁気共鳴イメージング(fMRI)では磁気共鳴イメージングを使用して脳活動が計測される。一般的な機能的磁気共鳴イメージングの種類としてBOLD(blood-oxygen-level dependent)法がある。BOLDイメージングは酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの特性に依拠する。酸素化ヘモグロビンは常磁性であり、脱酸素化ヘモグロビンは反磁性である。したがって、T2*強調パルスシーケンスによって脳内の血液の酸素化の変化を検出することができる。ただし、BOLD効果は小さく、T2*強調画像のコントラストはわずか数パーセントしか変化しない。呼吸または心臓の動きに起因する患者の動きも数パーセント程度のコントラストの変化を引き起こし得る。BOLD磁気共鳴イメージングを実行するには、この生理学的ノイズを信号から除去する必要がある。
【0004】
Andersonらによる雑誌論文、「Common component classification: What can we learn from machine learning?」、NeuroImage、第56巻、第2号、2011年5月15日、517~524頁には、異なるグループ間で時間的な強度変動を示す脳内の箇所を分析することによってfMRIスキャンの分類に機械学習が適用され、90%以上の分類精度が頻繁に報告されたことが開示されている。機械学習分類器を作成した後、生理学的ノイズへの感度、タスクの並べ替え、およびスキャン間(across-scan)分類性能を調べるために分類器を分析した。複数の条件にわたる安定性および再現性を評価するために、各モデルはラン(run)内およびラン間の両方で訓練およびテストされた。特徴抽出およびアーチファクト除去の両方で独立成分分析が使用された。
【発明の概要】
【0005】
本発明は、医療用イメージングシステム、コンピュータプログラム製品、および方法を提供する。
【0006】
上記のように、機能的磁気共鳴イメージング信号は生理学的アーチファクトによって容易に不明瞭になるおそれがある。機能的磁気共鳴イメージングデータからこのノイズを除去する典型的な方法は、呼吸や心臓の動きなどの被検者の生理学的プロセスをモニタリングすることである。これによって生理学的アーチファクトの除去が可能になる。実施形態は、構成された人工ニューラルネットワークを使用して生理学的アーチファクトを自動的に除去することによってこのプロセスを単純化し得る。生理学的ニューラルネットワークは、センサによって呼吸や心臓の動きをモニタリングすることを要さずに生理学的アーチファクトを除去するように訓練され得る。
【0007】
一側面では、本発明は、機械実行可能命令を格納するメモリを含む医療用イメージングシステムを提供する。医療用イメージングシステムはさらに、機械実行可能命令を実行することによって医療用イメージングシステムを制御するように構成されたプロセッサを備える。機械実行可能命令の実行により、プロセッサは時期共鳴イメージングデータを受け取る。磁気共鳴イメージングデータは、ボクセルのセットのボクセルごとの時間依存信号を表す機能的磁気共鳴イメージングデータである。例えば、磁気共鳴イメージングデータは各ボクセルを個別に表すデータを含み、このデータは時間依存信号を含む。機械実行可能命令の実行により、プロセッサはさらに、磁気共鳴イメージングデータを使用してボクセルのセットのボクセルごとの時間依存信号を再構築することによって初期信号のセットを構築する。
【0008】
初期信号のセットはボクセルごとの時間依存信号を有する。機械実行可能命令の実行により、プロセッサはさらに、構成された人工ニューラルネットワークへの初期信号のセットの入力に応答して、変更された信号のセットを受け取る。構成された人工ニューラルネットワークは、初期信号のセットから生理学的アーチファクトを除去するように構成されている。機能的磁気共鳴イメージングは生理学的アーチファクト(被検者の生理学的な変化または動きによって引き起こされるアーチファクト)の影響を特に受けやすいので、この実施形態は有益であり得る。
【0009】
なお、変更された信号のセットは初期信号のセットからの純粋なノイズ信号であってもよいし、ノイズが除去された信号であってもよい。両者は本質的には等価である。
【0010】
別の実施形態では、医療用イメージングシステムはさらに、時間依存性機能的磁気共鳴イメージングプロトコルに従って磁気共鳴イメージングデータを取得するように構成された磁気共鳴イメージングシステムを備える。機械実行可能命令の実行により、プロセッサはさらに、磁気共鳴イメージングシステムを制御することで磁気共鳴イメージングデータを取得する。
【0011】
別の実施形態では、構成された人工ニューラルネットワークはボクセルごとのリカレントニューラルネットワークを含む。各ボクセルの信号は時間に依存するため、ボクセルごとにリカレントニューラルネットワークを使用することは有益であり得る。リカレントニューラルネットワークを使用することにより、この信号を時間領域で処理することができる。
【0012】
各ボクセルのリカレントニューラルネットワークは多数のまたは複数の層を備え得る。複数の層には異なる種類の層が含まれ、例えば部分結合層や畳み込み層などが含まれ得る。
【0013】
別の実施形態では、構成された人工ニューラルネットワークは入力計算層を含む。各ボクセルのリカレントニューラルネットワークは、入力計算層に接続された入力を含む。この実施形態では、データが個々のリカレントニューラルネットワークに直接入力される代わりに、入力はまず入力計算層に入力され、そして個々のリカレントニューラルネットワークの入力がこれに接続される。入力計算層を使用することで、血流や他のボクセルの動き、および他のそのような協働的な挙動などの影響をより適切にモデル化できる可能性があるため、これは有益であり得る。
【0014】
別の実施形態では、変更された信号のセットはノイズ信号のセットまたはクリーンな信号のセットである。初期信号のセットは、ボクセルごとの測定された時間依存BOLD信号である。ボクセルごとに時間依存BOLD信号が存在する。初期信号のセットはさらに、生理学的アーチファクトに起因するノイズを有する。ノイズ信号のセットは初期信号のセットのノイズ成分であり、クリーニングされた信号のセットはノイズ成分のない時間依存信号のセットである。ニューラルネットワークは生理学的アーチファクトまたはノイズを除去するように構成されている。クリーンな信号のセットを生成する構成されたニューラルネットワークを有することは、ノイズ信号のセットを生成する構成されたニューラルネットワークと等価である。
【0015】
他の実施形態では、ニューラルネットワークは複数のリカレントニューラルネットワークを含み、ボクセルのセットの各ボクセルのリカレントニューラルネットワークが複数のリカレントニューラルネットワークを形成する。ボクセルごとに個別または別個のリカレントニューラルネットワークが存在する。
【0016】
別の実施形態では、特定のボクセルから特定の距離または半径内にあるボクセルの効果を指定するために部分結合層が使用され得る。これは局所的な影響を表すのに有用であり得る。
【0017】
別の実施形態では、構成された人工ニューラルネットワークは出力計算層を含む。各ボクセルのリカレントニューラルネットワークは、出力計算層に接続された出力を含む。出力を提供する際に隣接するボクセルの出力を考慮できるので、この実施形態も有益であり得る。これにより、ノイズ信号のより効率的な、またはより良い除去が提供され得る。
【0018】
別の実施形態では出力計算層は全結合されている。
【0019】
別の実施形態では出力層は畳み込み結合されている。
【0020】
別の実施形態では出力計算層は部分結合されている。
【0021】
別の実施形態では、各ボクセルのリカレントニューラルネットワークは直結フィードバックまたは直結フィードバックループを含む。直結フィードバックは、次の反復のためのフィードバックとして、またはリカレントニューラルネットワーク内の隠れ層を介して提供されるフィードバックとしてリカレントニューラルネットワークにフィードバックされる個別の信号であり得る。構成された人工ニューラルネットワークは隠れフィードバック層を含む。各ボクセルのリカレントニューラルネットワークの直結フィードバックは隠れフィードバック層を介して提供される。
【0022】
この実施形態では、リカレントニューラルネットワークの直結フィードバックがリカレントニューラルネットワーク自信に直接供給される代わりに、リカレントニューラルネットワークの直結フィードバックは、複数のリカレントニューラルネットワークからのフィードバックを結合および/または分配することができる中間層を通過する。これは2つ以上のボクセルに影響を与える影響のモデル化に役立ち得る。
【0023】
別の実施形態では、隠れフィードバック層は少なくとも1つ全結合層を含む。
【0024】
隠れフィードバック層は少なくとも1つの畳み込み層を含む。
【0025】
別の実施形態では、機械実行可能命令の実行により、プロセッサはさらに、ボクセルごとの訓練信号のセットを受け取る。機械実行可能命令の実行により、プロセッサはさらに、ボクセルごとのクリーンな信号のセットを受け取る。訓練信号のセットは、クリーンな信号のセットに加えて生理学的アーチファクトを含む。機械実行可能命令の実行により、プロセッサはさらに、被検者の動きを表す生理学的アーチファクトデータを受け取る。生理学的アーチファクトデータは動きのデータである。動きのデータはクリーンな信号のセットと時間的に相関している。
【0026】
機械実行可能命令の実行により、プロセッサはさらに、訓練信号のセット、クリーンな信号、および生理学的アーチファクトデータを使用して、構成された人工ニューラルネットワークを訓練する。これらの訓練ステップは、生理学的アーチファクトデータが存在せずとも生理学的アーチファクトデータを除去するように、構成された人工ニューラルネットワークを訓練できる可能性があるため、これらの訓練ステップは有益であり得る。例えば、呼吸または心拍数センサが生理学的アーチファクトデータを提供する場合、結果として得られる構成された人工ニューラルネットワークは、生理学的アーチファクトデータまたはセンサデータが存在せずとも初期信号のセットから当該ノイズを除去できる可能性がある。
【0027】
他の実施形態では、機械実行可能命令の実行により、プロセッサはさらに、ノイズリダクション値を受け取る。機械実行可能命令の実行により、プロセッサはさらに、初期信号のセット、変更された信号、およびノイズリダクション値を使用して、制御可能にクリーンな信号のセットを構築する。上述したように、変更された信号のセットはクリーンな信号またはノイズを有する信号を含み得る。いずれにせよ、変更された信号セットを初期信号のセットと組み合わせて使用して、除去されるノイズの量を動的にまたは制御可能に調整することができる。例えば、変更された信号のセットがノイズ信号のみを含む場合、制御可能にクリーンな信号のセットは、ノイズリダクション値を変更された信号のセットと掛けた積を初期信号のセットから差し引くことによって構築され得る。逆に、変更された信号のセットがノイズが除去された信号である場合、同様の動作を実行して同等の結果を得ることができる。
【0028】
別の実施形態では、変更された信号のセットがノイズ信号のセットである場合、制御可能にクリーニングされた信号のセットを構築することは、ノイズリダクション値を変更された信号のセットと掛けた積を初期信号のセットから差し引くことを含む。
【0029】
別の実施形態では、変更されたノイズ信号のセットがクリーニングされた信号のセットである場合、制御可能にクリーニングされた信号のセットを構築することは、初期信号のセットから変更された信号のセットを差し引くことによってノイズ信号のセットを計算することと、ノイズリダクション値をノイズ信号のセットと掛けた積を初期信号のセットから差し引くことによって、制御可能にクリーニングされた信号のセットを構築することとを含む。
【0030】
別の実施形態では、機械実行可能命令の実行により、プロセッサはさらに、変更された信号のセットからBOLD磁気共鳴画像を再構築する。変更された信号のセットがクリーンな信号のセットである場合、これは変更された信号のセットを使用して直接的に実行され得る。変更された信号のセットがノイズ信号のセットである場合、変更された信号のセットから変更された信号のセットを差し引くことによってクリーニングされた信号のセットが計算され得る。
【0031】
別の実施形態では、機械実行可能命令の実行により、プロセッサはさらに、制御可能にクリーニングされた信号のセットから機能的磁気共鳴画像を再構築する。これにより、オペレータは、得られる機能的磁気共鳴画像において最適な信号のための調整を行うことができる可能性があるため、これは有益であり得る。
【0032】
別の実施形態では、機械実行可能命令の実行により、プロセッサはさらに、変更された信号のセットから機能的磁気共鳴画像を再構築する。例えば、変更された信号のセットが、構成された人工ニューラルネットワークによってノイズが全て除去された信号を含む場合である。
【0033】
別の実施形態では、各ボクセルのリカレントニューラルネットワークはLSTMニューラルネットワークである。LSTMニューラルネットワークの使用は、時間的に相関するアーチファクトのより除去を改善し得るため、有益であり得る。
【0034】
別の実施形態では、磁気共鳴イメージングデータは、ボクセルのセットのボクセルごとの時間依存BOLD信号を表すBOLD機能的磁気共鳴イメージングデータである。BOLD機能的磁気共鳴イメージングは生理学的アーチファクトの影響を特に受けやすいため、これは特に有益であり得る。例えば、呼吸や心臓に起因する被検者の動きは、BOLD信号と同じオーダーの歪みを引き起こす可能性がある。BOLD信号は通常、当該信号の数パーセントである。これも、生理学的な動きやアーチファクトによって引き起こされるノイズと同じオーダーである。
【0035】
他の側面では、本発明は、医療用イメージングシステムの動作方法を提供する。方法は磁気共鳴イメージングデータを受け取るステップを含む。磁気共鳴イメージングデータは、ボクセルのセットのボクセルごとの時間依存信号を表す機能的磁気共鳴イメージングデータである。方法はさらに、磁気共鳴イメージングデータを使用してボクセルごとの時間依存信号を再構築することによって初期信号のセットを構築するステップを含む。方法はさらに、構成された人工ニューラルネットワークへの初期信号のセットの入力に応答して、変更された信号のセットを受け取るステップを含む。構成された人工ニューラルネットワークは、初期信号のセットから生理学的アーチファクトを除去するように構成されている。
【0036】
他の側面では、本発明は、構成された人工ニューラルネットワークを訓練する方法を提供する。方法はまず、ボクセルごとの訓練信号のセットを受け取るステップを含む。方法はさらに、ボクセルごとのクリーンな信号のセットを受け取るステップを含む。訓練信号のセットは、クリーンな信号のセットに加えて生理学的アーチファクトを含む。方法はさらに、被検者の動きを表す生理学的アーチファクトデータを受け取るステップを含む。生理学的アーチファクトデータは動きのデータである。動きのデータはクリーンな信号のセットと時間的に相関している。方法はさらに、訓練信号のセット、クリーンな信号、および生理学的アーチファクトデータを使用して、構成された人工ニューラルネットワークを訓練するステップを含む。
【0037】
別の実施形態では、訓練信号のセットはシーケンシャルなデータポイントを含む。機械実行可能命令の実行により、プロセッサは、クリーンな信号のセットが所定の反復回数だけ順次オフセットされるよう、構成された人工ニューラルネットワークを訓練する。この訓練により、リカレントニューラルネットワークは変更された信号のセットの出力を所定の反復回数だけ遅らせる。これは、リカレントニューラルネットワークが初期信号のセットのうちの複数のサンプルを使用して、変更された信号のセットを生成するという利点を有し得る。
【0038】
別の側面では、本発明は、プロセッサによって実行される機械実行可能命令を含むコンピュータプログラム製品を提供する。機械実行可能命令の実行により、プロセッサは時期共鳴イメージングデータを受け取る。磁気共鳴イメージングデータは、ボクセルのセットのボクセルごとの時間依存信号を表す機能的磁気共鳴イメージングデータである。機械実行可能命令の実行により、プロセッサはさらに、磁気共鳴イメージングデータを使用してボクセルのセットのボクセルごとの時間依存信号を再構築することによって初期信号のセットを再構築する。方法はさらに、構成された人工ニューラルネットワークへの初期信号のセットの入力に応答して、変更された信号のセットを受け取るステップを含む。構成された人工ニューラルネットワークは、初期信号のセットから生理学的アーチファクトを除去するように構成されている。
【0039】
組み合わせられる実施形態が相反するものでない限り、本発明の上記実施形態の1つ以上を組み合わせることができる。
【0040】
当業者によって理解されるように、本発明の側面は、装置、方法、またはコンピュータプログラム製品として具現化され得る。したがって、本発明の側面は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、またはソフトウェア側面およびハードウェア側面を組み合わせた実施形態の形態をとることができる(本明細書では、全てが一般的に「回路」、「モジュール」、または「システム」と称され得る)。さらに、本発明の側面は、コンピュータ実行可能コードが実装された1つまたは複数のコンピュータ可読媒体によって具現化されるコンピュータプログラム製品の形態をとってもよい。
【0041】
1つまたは複数のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってもよい。本明細書で使用される「コンピュータ可読記憶媒体」とは、計算装置のプロセッサによって実行可能な命令を格納することができる任意の有形記憶媒体を包含し得る。コンピュータ可読記憶媒体は、コンピュータ可読非一時的記憶媒体とも呼ばれ得る。また、コンピュータ可読記憶媒体は、有形コンピュータ可読媒体とも呼ばれ得る。一部の実施形態では、コンピュータ可読記憶媒体は、計算装置のプロセッサによってアクセス可能なデータを格納可能であってもよい。コンピュータ可読記憶媒体の例は、限定はされないが、フロッピーディスク(登録商標)、磁気ハードディスクドライブ、ソリッドステートハードディスク、フラッシュメモリ、USBサムドライブ、RAM(Random Access Memory)、ROM(Read Only Memory)、光ディスク、光磁気ディスク、およびプロセッサのレジスタファイルを含む。光ディスクの例は、CD(Compact Disks)およびDVD(Digital Versatile Disks)、例えばCD-ROM、CD-RW、CD-R、DVD-ROM、DVD-RW、またはDVD-Rディスクなどを含む。コンピュータ可読記憶媒体という用語は、計算装置がネットワークまたは通信リンクを介してアクセスすることができる様々なタイプの記録媒体も指す。例えば、モデム、インターネット、またはローカルエリアネットワークを介してデータが取り出されてもよい。コンピュータ可読媒体に組み込まれるコンピュータ実行可能コードは、限定はされないが、無線、有線、光ファイバケーブル、RFなど、またはこれらの任意の適切な組み合わせを含む任意の適切な媒体を使用して送信することができる。
【0042】
コンピュータ可読信号媒体は、コンピュータ実行可能コードを含む(例えばベースバンド内、または搬送波の一部として)伝播データ信号を含み得る。このような伝播信号は、限定はされないが、電磁気、光学、またはこれらの任意の適切な組み合わせを含む様々な形態のいずれかをとることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、またはデバイスによってまたは関連して使用されるプログラムを通信、伝搬、または転送可能な任意のコンピュータ可読媒体であり得る。
【0043】
「コンピュータメモリ」または「メモリ」は、コンピュータ可読記憶媒体の一例である。コンピュータメモリは、プロセッサが直接アクセス可能な任意のメモリである。「コンピュータストレージ」または「ストレージ」は、コンピュータ可読記憶媒体の他の例である。コンピュータストレージは、任意の不揮発性のコンピュータ可読記憶媒体である。一部の実施形態では、コンピュータストレージはコンピュータメモリでもあり、その逆で可能である。
【0044】
本明細書で使用される「プロセッサ」とは、プログラム、機械実行可能命令、またはコンピュータ実行可能コードを実行することができる電子コンポーネントを包含する。「プロセッサ」を含む計算装置への言及は、複数のプロセッサまたは処理コアを含む可能性があると解釈されるべきである。プロセッサは、例えば、マルチコアプロセッサであってもよい。プロセッサは、単一のコンピュータシステムに集約された、または複数のコンピュータシステム間で分散された複数のプロセッサの集合を指す可能性もある。計算装置という用語は、それぞれが1つまたは複数のプロセッサを含む複数の計算装置の集合またはネットワークを意味するとも解釈されるべきである。コンピュータ実行可能コードは、同じ計算装置に集約された、または複数の計算装置にわたって分散された複数のプロセッサによって実行され得る。
【0045】
コンピュータ実行可能コードは、プロセッサに本発明の側面を実行させる機械実行可能命令またはプログラムを含むことができる。本発明の側面の動作を実施するためのコンピュータ実行可能コードは、Java、Smalltalk、C++などのオブジェクト指向プログラミング言語、およびC言語のような従来の手続き型プログラミング言語、または同様なプログラミング言語のうちの1つまたは複数の任意の組み合わせで記述され、機械実行可能命令にコンパイルされ得る。場合によっては、コンピュータ実行可能コードは、高水準言語の形態またはプリコンパイルされた形態であってもよく、オンザフライで機械実行可能命令を生成するインタプリタとともに使用されてもよい。
【0046】
コンピュータ実行可能コードは、完全にユーザコンピュータ上で、部分的にユーザコンピュータ上で、スタンドアローンソフトウェアパッケージとして、部分的にユーザコンピュータ上および部分的にリモートコンピュータ上で、または完全にリモートコンピュータまたはサーバ上で実行され得る。後者の場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を含む任意のタイプのネットワークを介してユーザコンピュータに接続され、または、外部コンピュータに接続が確立されてもよい(例えば、インターネットサービスプロバイダを使用してインターネットを介して)。
【0047】
本発明の側面は、本発明の実施形態に係る方法、装置(システム)、およびコンピュータプログラム製品のフローチャート図および/またはブロック図を参照して説明される。フローチャート、イラスト、および/またはブロック図の各ブロックまたは一群のブロックは、妥当な場合には、コンピュータ実行可能コードの形態でコンピュータプログラム命令によって実施され得ることが理解されよう。相互に矛盾しない場合、異なるフローチャート、イラスト、および/またはブロック図におけるブロックを組み合わせることができることも理解されよう。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供されて、マシンを生成し得る。コンピュータのプロセッサまたは他のプログラム可能データ処理装置を介して実行される命令は、フローチャートおよび/またはブロック図の1つまたは複数のブロックにおいて特定される機能/動作を実装するための手段を作成する。
【0048】
これらのコンピュータプログラム命令は、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスを特定の態様で機能させることが可能なコンピュータ可読媒体に保存されてもよい。コンピュータ可読媒体に保存された命令は、フローチャートおよび/またはブロック図の1つまたは複数のブロックにおいて特定される機能/動作を実施する命令を含む製品を生成する。
【0049】
コンピュータプログラム命令は、コンピュータ、他のプログラム可能データ処理装置、または他のデバイス上にロードされてもよく、コンピュータ、他のプログラム可能装置、または他のデバイス上で一連の動作ステップを実行させることによって、コンピュータ実装プロセスが生成され得る。コンピュータまたは他のプログラム可能装置上で実行される命令は、フローチャートおよび/またはブロック図の1つまたは複数のブロックにおいて特定される機能/動作を実施するためのプロセスを提供する。
【0050】
本明細書で使用される「ユーザインターフェース」とは、ユーザまたはオペレータがコンピュータまたはコンピュータシステムとインタラクトすることを可能にするインターフェースである。「ユーザインターフェース」は、「ヒューマンインターフェースデバイス」とも称され得る。ユーザインターフェースは、情報またはデータをオペレータに提供し、かつ/または、オペレータから情報またはデータを受け取り得る。ユーザインターフェースは、オペレータからの入力をコンピュータが受け取ることを可能にし、また、コンピュータからユーザに出力を提供し得る。言い換えれば、ユーザインターフェースは、オペレータがコンピュータを制御または操作することを可能にし、また、インターフェースは、オペレータの制御または操作の効果をコンピュータが表示することを可能にし得る。ディスプレイまたはグラフィカルユーザインターフェース上のデータまたは情報の表示は、情報をオペレータに提供することの一例である。キーボード、マウス、トラックボール、タッチパッド、ポインティングスティック、グラフィックタブレット、ジョイスティック、ゲームパッド、ウェブカム、ヘッドセット、ペダル、ワイヤードグローブ、リモコン、および加速度計を介するデータの受け取りはいずれも、オペレータからの情報またはデータの受け取りを可能にするユーザインターフェース要素の例である。
【0051】
本明細書で使用される「ハードウェアインターフェース」とは、コンピュータシステムのプロセッサが外部の計算デバイスおよび/または装置とインタラクトしおよび/または該デバイス/装置を制御することを可能にするインターフェースを包含する。ハードウェアインターフェースは、プロセッサが制御信号または命令を外部計算デバイスおよび/または装置に送信することを可能にし得る。ハードウェアインターフェースはまた、プロセッサが外部計算デバイスおよび/または装置とデータを交換することを可能にし得る。ハードウェアインターフェースの例としては、限定はされないが、ユニバーサルシリアルバス、IEEE1394ポート、パラレルポート、IEEE1284ポート、シリアルポート、RS-232ポート、IEEE-488ポート、Bluetooth接続、無線ローカルエリアネットワーク接続、TCP/IP接続、イーサネット接続、制御電圧インターフェース、MIDIインターフェース、アナログ入力インターフェース、およびデジタル入力インターフェースなどがある。
【0052】
本明細書で使用される「ディスプレイ」または「ディスプレイデバイス」とは、画像またはデータを表示するように適合された出力デバイスまたはユーザインターフェースを包含する。ディスプレイは、視覚的、聴覚的、または触覚的なデータを出力し得る。ディスプレイの例としては、限定はされないが、コンピュータモニタ、テレビ画面、タッチスクリーン、触覚電子ディスプレイ、点字スクリーン、ブラウン管(CRT)、蓄積管、双安定ディスプレイ、電子ペーパー、ベクトルディスプレイ、フラットパネルディスプレイ、蛍光表示管ディスプレイ(VF)、発光ダイオード(LED)ディスプレイ、エレクトロルミネセンスディスプレイ(ELD)、プラズマディスプレイパネル(PDP)、液晶ディスプレイ(LCD)、有機発光ダイオードディスプレイ(OLED)、プロジェクタ、およびヘッドマウントディスプレイなどがある。
【0053】
本明細書において、磁気共鳴イメージングデータは、磁気共鳴イメージングスキャン中に磁気共鳴装置のアンテナを使用して原子スピンによって放たれる無線周波数信号の測定記録として定義される。本明細書において、磁気共鳴イメージング(MRI)画像またはMR画像は、磁気共鳴イメージングデータ内に含まれる解剖学的データの再構成された2次元または3次元の視覚化として定義される。この視覚化は、コンピュータを用いて実行され得る。
【図面の簡単な説明】
【0054】
以下、本発明の単なる例に過ぎない好ましい実施形態について、以下の図面を参照しながら説明する。
【0055】
【
図1】
図1は、医療用イメージングシステムの例を示す。
【
図2】
図2は、
図1の医療用イメージングシステムの動作方法を示すフローチャートを示す。
【
図3】
図3は、構成された人工ニューラルネットワークを訓練する方法を示すフローチャートを示す。
【
図4】
図4は、医療用イメージングシステムのさらなる例を示す。
【
図5】
図5は、
図4の医療用イメージングシステムの動作方法を示すフローチャートを示す。
【
図6】
図6は、構成された人工ニューラルネットワークの例を示す。
【
図7】
図7は、構成された人工ニューラルネットワークのさらなる例を示す。
【
図8】
図8は、構成された人工ニューラルネットワークのさらなる例を示す。
【
図9】
図9は、構成された人工ニューラルネットワークのさらなる例を示す。
【
図10】
図10は、ノイズを有する時間依存の機能的磁気共鳴イメージング信号の例を示す。
【
図11】
図11は、ノイズのない時間依存の機能的磁気共鳴イメージング信号の理想化を示す。
【
図12】
図12は、展開されたリカレントニューラルネットワークの例を示す。
【
図13】
図13は、展開されたLSTMニューラルネットワークの例を示す。
【
図14】
図14は、構成された人工ニューラルネットワークのさらなる例を示す。
【発明を実施するための形態】
【0056】
図面における同様の番号を有する要素は、等価な要素であるか、または同じ機能を果たす。前に説明された要素は、機能が同等であれば、後の図面では必ずしも説明されない。
【0057】
図1は、医療用イメージングシステム100の例を示す。医療用イメージングシステム100はコンピュータ102を含む。コンピュータはプロセッサ104を備える。プロセッサ104は、1つまたは複数のプロセッサまたは処理コアを表すことを意図しており、複数のコンピュータに分散させられてもよい。プロセッサは、任意選択的なハードウェアインターフェース106、任意選択的なユーザインターフェース108、およびメモリ110に接続されているものとして示されている。ハードウェアインターフェース106は、プロセッサ104が、医療用イメージングシステム100の他の構成要素と信号または情報の送受信を行い、それらの構成要素を制御することを可能にし得る。
【0058】
ハードウェアインターフェース106はネットワークインターフェースであってもよく、プロセッサ104が他のコンピュータシステムとデータおよび/または命令を交換することを可能にし得る。ユーザインターフェース108はデータの表示および/または画像のレンダリングを可能にし得る。ユーザインターフェース108はまた、医療用イメージングシステムの動作および機能を制御するためにオペレータによって使用されてもよい。メモリ110は、プロセッサ104にアクセス可能な任意のメモリである。メモリ110は揮発性および不揮発性メモリを含み得る。メモリ110内のエントリーは複数のメモリモダリティ内にコピーまたは複製されてもよく、例えば、メインメモリ内にあるだけでなく、ハードドライブまたは他のコンピュータ記憶媒体に保存されていてもよい。
【0059】
メモリ110は、機械実行可能命令120を含むものとして示されている。プロセッサ104が機械実行可能命令120を実行することにより、プロセッサ104は医療用イメージングシステムの様々な構成要素を制御することができる。機械実行可能命令の実行はまた、プロセッサ104が様々なデータ計算および数値計算、並びにデータ処理を実行することを可能にし得る。
【0060】
メモリ110はさらに、構成された人工ニューラルネットワーク122を含むものとして示されている。構成された人工ニューラルネットワークは、時間依存の機能的磁気共鳴イメージング信号から生理学的アーチファクトを除去するように構成されている。一例として、いわゆるBOLD磁気共鳴イメージング信号からのノイズの除去があげられる。メモリ110はさらに、磁気共鳴イメージングデータ124を含むものとして示されている。磁気共鳴イメージングデータ124は、ボクセルのセット(集合)のそれぞれについての時間依存信号を表す機能的磁気共鳴イメージングデータである。メモリ110はさらに、磁気共鳴イメージングデータ124から再構成された初期信号のセット126を含むものとして示されている。信号のセット126の各信号は時間依存信号であり、ボクセルごとに信号が存在する。メモリ110はさらに、構成された人工ニューラルネットワーク122への初期信号のセット126の入力に応答して受信された、変更された信号のセット128を含む。
【0061】
他の例では、変更された信号のセット128は異なる形態をとり得る。一例では、変更された信号のセットは、ノイズが除去された時間依存の機能的磁気共鳴イメージング信号である。別の例では、変更された信号のセット128はノイズ成分である。メモリ110はさらに、変更された信号のセット128のうちの少なくとも1つを使用して再構成された機能的磁気共鳴画像130を含むものとして示されている。一部の例では、変更された信号のセット128および初期信号のセット126の両方を使用して機能的磁気共鳴画像130が構築される。
【0062】
図3は、
図1の医療用イメージングシステム100の動作方法を示すフローチャートを示す。まず、ステップ200において磁気共鳴イメージングデータ124が受け取られる。磁気共鳴イメージングデータは、ボクセルのセットの各ボクセルについての時間依存信号を表す機能的磁気共鳴イメージングデータである。次に、ステップ202において、磁気共鳴イメージングデータ124を使用してボクセルごとの時間依存信号を再構築することによって初期信号のセットが構築される。次に、ステップ204において、初期信号のセット126が構成された人工ニューラルネットワーク122に入力される。構成された人工ニューラルネットワーク122は変更された信号のセット128を出力する。方法はその後、任意選択的なステップ206を実行してもよい。ステップ206では、少なくとも変更された信号のセット128を使用して機能的磁気共鳴画像130が構築される。
【0063】
図3は、
図1の構成された人工ニューラルネットワーク122を訓練または構成する方法を示すフローチャートを示す。まず、ステップ300において、ボクセルごとの訓練信号のセットが受信される。次に、ステップ302において、ボクセルごとのクリーンな信号のセットが受信される。訓練信号のセットは、クリーンな信号のセットに加えて生理学的なアーチファクトまたはノイズを含む。次に、ステップ304において、被検者の動きを表す生理学的アーチファクトデータが受信される。動きのデータはクリーンな信号のセットと時間的に相関している。最後に、ステップ206において、構成された人工ニューラルネットワークが訓練信号のセット、クリーンな信号、および生理学的アーチファクトデータを使用して訓練される。
図3に示される訓練方法は、構成された人工ニューラルネットワーク122が医療用イメージングシステム100に配備される前に実行され得る。他の例では、
図3に示される訓練方法は医療用イメージングシステム100を使用して実行される。これは、構成された人工ニューラルネットワーク122の最初の使用前であってもよく、かつ/または、より多くのデータおよびトレーニング信号が利用可能になるのに伴う継続的訓練であってもよい。
【0064】
図4は、医療用イメージングシステム400のさらなる例を示す。
図4に示される医療用イメージングシステム400は、磁気共鳴イメージングシステム402を追加で含むことを除いて、
図1に示されるものと同様である。磁気共鳴イメージングシステム402は磁石404を有する。磁石404は、自身を貫通するボア406を有する超伝導円筒形磁石である。異なる種類の磁石の使用も可能である。例えば、分割円筒形磁石といわゆるオープン磁石の両方を使用することも可能である。分割円筒形磁石は、標準的な円筒形磁石に類似しているが、磁石のアイソ面(iso-plane)へのアクセスを可能にするために、クライオスタットが2つの部分に分割されている点で異なり、このような磁石は、例えば荷電粒子ビーム療法と併用され得る。オープン磁石は2つの磁石部分を有し、一方が、その間に被検者を収容するのに十分なスペースを与えるよう、他方の上方に位置し、2つの部分の配置はヘルムホルツコイルの配置と似ている。被検者がより閉塞されないため、オープン磁石は人気がある。円筒形磁石のクライオスタットの内部には、超伝導コイルの集合体がある。円筒形磁石404のボア406内には、磁気共鳴イメージングを行うのに十分に強く均一な磁場が存在するイメージングゾーン408が存在する。撮像ゾーン408内には関心領域409が示されている。磁気共鳴データは、典型的には、関心領域について取得される。被検者418は、被検者418の少なくとも一部が撮像ゾーン408および関心領域409内にあるように被検者支持体420によって支持されているように示されている。
【0065】
また、磁石のボア406内には、磁石404の撮像ゾーン408内の磁気スピンを空間的に符号化するために予備磁気共鳴データ取得に使用される磁場勾配コイル410のセットが存在する。磁場勾配コイル410は、磁場勾配コイル電源412に接続されている。磁場勾配コイル410は代表的なものであることを理解されたい。典型的には、磁場勾配コイル410は、3つの直交する空間方向において空間符号化するための別個のコイルセットを3つ含む。磁場勾配電源は、磁場勾配コイルに電流を供給する。磁場勾配コイル410に供給される電流は、時間の関数として制御され、傾斜をつけられたり(ramped)、またはパルス化され得る。
【0066】
撮像ゾーン408の隣には、イメージングゾーン408内の磁気スピンの向きを操作するための、およびイメージングゾーン408内のスピンから無線信号を受信するための無線周波数コイル414が存在する。無線周波数アンテナは、複数のコイル要素を含み得る。また、無線周波数アンテナは、チャネルまたはアンテナと呼ばれ得る。無線周波数コイル414は、無線周波数送受信機416に接続される。無線周波コイル414および無線周波数送受信機416は、別個の送信コイルおよび受信コイルと、別個の送信機および受信機とによって置き換えられてもよい。無線周波数コイル414および無線周波数送受信機416は代表的なものであることを理解されたい。また、無線周波数コイル414は、専用送信アンテナおよび専用受信アンテナも表すことが意図されている。同様に、送受信機416は、別個の送信機および受信機も表し得る。無線周波数コイル414はまた、複数の受信/送信要素を有してもよく、無線周波数送受信器416は、複数の受信/送信チャネルを有してもよい。例えば、SENSEなどの並列イメージング技術が実行される場合、無線周波数コイル414は複数のコイル要素を有する。
【0067】
この例では、被検者418は、機能的磁気共鳴イメージングを実行するために被検者の頭部が関心領域409内にあるように配置される。
【0068】
送受信機416および勾配コントローラ412は、コンピュータシステム102のハードウェアインターフェース106に接続されているものとして示されている。メモリ110は、さらに、パルスシーケンスコマンドのセット430を含むものとして示されている。パルスシーケンスコマンド430は、ボクセルごとに時間依存信号を測定する磁気共鳴イメージングプロトコルに従って磁気共鳴イメージングデータ124を取得するよう、磁気共鳴イメージングシステムを制御するように構成される。例えば、機能的磁気共鳴イメージング法がBOLD法である場合、パルスシーケンスコマンド430はT2*の正確な測定を行うように構成され得る。
【0069】
図5は、
図4の医療用イメージングシステム400の動作方法を示すフローチャートを示す。方法はステップ500から始まる。ステップ500において、プロセッサ104は、パルスシーケンスコマンド430を用いて磁気共鳴イメージングシステム402を制御し、磁気共鳴イメージングデータ124を取得する。その後、
図2に示すように、方法はステップ200、202、204、および206に進む。
【0070】
図6は構成された人工ニューラルネットワーク122のあるアーキテクチャを示す。この例では、磁気共鳴画像データの各ボクセルにリカレント(再帰型)ニューラルネットワーク600が割り当てられる。図中のリカレントニューラルネットワーク600は、単一のリカレントニューラルネットワーク、複数の層を有するリカレントニューラルネットワーク、または直列した複数のリカレントニューラルネットワークを表し得る。各リカレントニューラルネットワーク600は入力602および出力604を有する。各リカレントニューラルネットワーク600はまた、フィードバック信号として、またはニューロンの隠れ層を介した接続として見なされ得る直結フィードバック606または直結フィードバックループを備える。直接フィードバック606は線として描かれているが、隠れ層またはニューロンを表すためのボックスとして描かれてもよい。
図6に示されている例は最も単純なアーキテクチャである。
【0071】
図7は構成された人工ニューラルネットワーク122のより複雑なバージョンを示す。
図7では、構成された人工ニューラルネットワーク122の入力が個々のリカレントニューラルネットワーク600に直接供給される代わりに、入力計算層700が存在する。入力計算層700は、構成された人工ニューラルネットワーク122の入力としての役割を果たす入力702を有する。入力計算層700の出力は、個々のリカレントニューラルネットワーク600の入力に送られる。入力計算層は、例えば、全結合されてもよいし(fully connected)、畳み込み結合されてもよいし(convolutionally connected)、または部分結合されてもよい(partially connected)。入力計算層を最初に使用することは、空間的にまたは複数のボクセルにわたって相関しているアーチファクトを除去するのに役立ち得る。
【0072】
図8は構成された人工ニューラルネットワーク122のさらなる改善または改良を示す。
図8に示される例は、追加の出力計算層800が加えられていることを除いて
図7の例と同様である。リカレントニューラルネットワーク600の出力604は出力計算層800の入力に接続されている。そして、出力計算層800は自身の出力802、すなわち、構成された人工ニューラルネットワーク122全体の出力を有する。上記と同様に、出力層は全結合層、畳み込み結合層、または部分結合層であり得る。出力計算層800の追加はまた、複数のボクセルにわたって相関している、または空間的に相関しているノイズまたは生理学的アーチファクトを除去する性能をさらに改善し得る。
図8に示される例は入力計算層700および出力計算層800の両方を示す。入力計算層700は
図8に示される例から除去されてもよい。
【0073】
図9は構成された人工ニューラルネットワーク122のさらなる例を示す。
図9に示される例は、直結フィードバック606または隠れ層ニューロンが隠れフィードバック層900として実装されていることを除いて
図8に示される例と同様である。隠れフィードバック層900は、個々のリカレントニューラルネットワーク600間の通信を提供する。隠れフィードバック層900は、例えば、全結合層、畳み込み結合層、または部分結合層として実装され得る。
【0074】
機能的磁気共鳴イメージング(fMRI)は、心理的疾患の臨床的評価に大きく寄与するポテンシャルを有している。BOLD(Blood-oxygen-level dependency)信号を介して生体内で測定された病的な脳活動は、うつ病、統合失調症、自閉症などの精神疾患に結び付けられてきた。
【0075】
しかし、fMRIは、(主に生理学的な性質の)様々な信号アーチファクトを原因として、本来的にS/N比が低いという問題を有する。純粋な周波数領域フィルタリング、または独立成分分析(ICA)などの他のアーチファクト除去アルゴリズムは、これらのアーチファクトの被検者固有性のために失敗するか、面倒なユーザインタラクションを必要とすることが多い。一方、ハードウェア(例えば、呼吸ベルト、ECG)の可用性が限られていることから、アーチファクト信号の測定は常に実施可能であるとは限らない。
【0076】
実施形態は、人工ニューラルネットワーク(ANN)に基づいて、アーチファクト混同fMRIタイムコースをアーチファクトがないタイムコースにマッピングするイメージングシステムを提供し得る。第1の訓練期間においてfMRIデータが記録される。さらに、例えば呼吸ベルト、カメラ、ECGなどを用いて生理学的アーチファクトが同時に記録される。アーチファクト信号は、例えば単純な回帰技術を使用して、BOLDタイムコースをクリーンにするために使用される。アーチファクト混同信号およびクリーンな信号が取得されると、リカレントディープニューラルネットワークが前者から後者へのマッピングを行うよう訓練される。十分な数の十分にクリーンなデータセットを提供することで、アルゴリズムは初見のデータセットについてデータを自動的にクリーニングできるようになる。
【0077】
さらに、GUI設定においてユーザが制御する外部パラメータによってクリーニングの強度が制御される。ユーザが「強力なクリーニング」を設定すると有効なデータ部分も削除される可能性があり、「弱いクリーニング」を設定するとアーチファクトが残る可能性がある。
【0078】
機能的磁気共鳴イメージング(fMRI)は、心理的疾患の臨床的評価、例えば疾患の分類、治療法の選択、または疾患の進行の予測などに役立つ大きなポテンシャルを秘めている。BOLD(Blood-oxygen-level dependency)信号を介して生体内で測定された病的な脳活動は、うつ病、統合失調症、自閉症などの精神疾患に結び付けられてきた。
【0079】
上記したように、fMRIは本来的にS/N比が低いという問題を有し、そのために(主に生理学的な性質の)多様な信号アーチファクトの影響を受けやすい。熱ノイズおよびシステムノイズは静磁場の強度に対して線形に変化するが、生理学的アーチファクトは2の累乗で変化する。
【0080】
周波数領域フィルタリングや独立成分分析(ICA)などの最近の自動アーチファクト低減技術は、例えば信号の周波数や形状など、これらのアーチファクトの被検者固有性のために失敗することが多い。これらの手法を改善するには面倒な手動操作および専門知識が必要とされる。一方、適切な設定でのハードウェア(例えば、呼吸ベルト、ECG)の可用性が限られていることから、アーチファクト信号の測定は常に実施可能であるとは限らない。
【0081】
実施例は、人工ニューラルネットワーク(ANN)に基づいて、アーチファクト混同fMRIタイムコースをアーチファクト不在タイムコースにマッピングするイメージングシステムを提供し得る。第1の訓練期間においてfMRIデータが記録される。さらに、例えば呼吸ベルト、カメラ、ECGなどの種類のセンサを用いて生理学的アーチファクトが同時に記録される。アーチファクト信号は、例えば単純な線形回帰技術を使用して、BOLDタイムコースをクリーンにするために使用される。アーチファクト混同信号およびクリーンな信号が取得されると、リカレントディープニューラルネットワークが前者から後者へのマッピングを行うよう訓練される。十分な数の十分にクリーンなデータセットを提供することで、アルゴリズムは初見のデータセットについてデータを自動的にクリーニングできるようになる。
【0082】
さらに、クリーニングレベルを設定するために、グラフィカルユーザインターフェース(GUI)においてユーザが外部パラメータを制御することが考えられる。ユーザが「高いクリーニングレベル」を設定すると有効なデータ部分も削除される可能性があり、「弱いクリーニングレベル」を設定するとアーチファクトがいくらか残る可能性がある。
【0083】
本発明を構築するために、アーチファクトのないfMRI訓練データが提供される。多数の取得されたfMRI BOLD時系列が使用され、例えば手動でクリーニングされ得る。これらの時系列は多数の被検者および様々な脳の領域に由来するものであり、各自の期間中に変化する。クリーニングは事前ステップにおいて実行され、例えば、スペクトルを目視で調べ、適切な帯域でICAまたは回帰等の他の技術を使用してフィルタリングすることによって実行され得る。さらに、例えば呼吸ベルトとECGを使用して、アーチファクト信号が測定され得る。測定された信号を用いて、BOLD信号から回帰することができる。
図10および
図11はアーチファクト混同信号および理想的なアーチファクトのないBOLD信号の例を示す。データ拡張のために、ある被検者からのアーチファクト信号を別の被検者からのクリーンなBOLD信号と組み合わせてもよい。
【0084】
図10は、ある1つのボクセルの理想化されたBOLD応答1000を示すグラフである。x軸は時間1002であり、y軸1004はBOLD応答である。
図10の信号を見ると、非常にノイズが多く、BOLD信号を解釈または視認できないことがわかる。
【0085】
図11は理想化されたアーチファクトのないBOLD信号1100を示す。アーチファクトのないBOLD信号1100は、初期の降下1102、ピーク1104、および刺激後(post-stimulus)アンダーシュート1106を有することがわかる。これは
図10では見られない。多くのペアにされた時系列を用いてリカレントニューラルネットワーク(RNN)を訓練することで、アーチファクト混合時系列x(t)からアーチファクトのない時系列y(t)へのマッピングy=f(x)を学習させることができる。最も単純な形式では、RNNは、時間領域で展開された全結合ニューラルネットワークと見なすことができる(
図12を参照して後述)。この例では各時点について1つのニューロンしか存在せず、2つのパラメータのみが学習される。活性化関数が双曲線正接であると仮定すると、伝達関数はy
t=tanh(wy
t-1+ux
t)となり、ここで、wおよびuは学習可能なパラメータである。
【0086】
図12は、複数の期間にわたる1つのボクセルを表す単一のリカレントニューラルネットワーク600の動作を示す。これは、いわゆる展開(unrolling)プロセスを示しているか、または時間に関して展開されたリカレントニューラルネットワーク600の画像である。様々な入力602および604は同じリカレントニューラルネットワーク600への入力であるが、後続する時間間隔における入力を表す。
【0087】
この単純なシナリオは説明を目的とするものに過ぎず、すなわわち、ニューラルネットワークを使用して時系列間のマッピングを学習する方法を説明するためのものに過ぎない。ネットワークの複雑さは、これらのユニットを互いに積み重ねることによって高めることができ(高めなければならない)、結果としてディープ人工ニューラルネットワークが得られる。これにより、ネットワークは複数のアーチファクトの複雑な構造を適切に学習し、最終的には信号からその構造を回帰することができる。さらに、まず、アーチファクト信号自体がRNNによって学習され、その後、元のBOLD系列から非線形にアーチファクト信号を回帰する第2のネットワークに供給されるような階層アーキテクチャを考えることができる。回帰の強さを制御する追加のパラメータが第2のネットワークに導入されてもよい。このようにして、ユーザは誤検出(弱い回帰はアーチファクトの残留をもたらす)または検出漏れ(強い回帰は真のBOLD信号を誤って除去する可能性がある)のどちらかを許容することができる。
【0088】
概説した手法の1つの欠点は、時間依存性が単一の時点までしか捕捉されないことである。しかし、呼吸や心拍のアーチファクトなどの長期的な依存関係を学習するにはより高度なアーキテクチャが必要である。1つの手法は、RNNとしての長・短期記憶(LSTM:long short-term memory)ネットワークである。
図13は、これらのより複雑なユニットのアーキテクチャを示す。これらのユニットは、様々な演算ゲート(入力ゲート、忘却ゲート、出力ゲート)によって変更される内部状態変数を有する。
【0089】
図13は、単純なリカレントニューラルネットワーク600のいわゆるLSTMネットワークへの置き換えを示す。これは長・短期記憶ネットワークである。LSTM600’は、他の例に示されているリカレントニューラルネットワーク600を置き換えるために使用され得る。上記の場合と同様に、
図13においてLSTM600’は単一のボクセルのためのものである。
図12と同様に、LSTM600’は時間に関して展開されている。
【0090】
他の例では、混同アーチファクト除去の範囲を、記録システム(例えば、MRI、ECG、モーションセンサ)によって生成されたもの、およびそれらの潜在的な望ましくないクロストークにも拡大することが考えられ得る。ベンダーは通常、実施されるfMRIの全体を通して完全な画像/データ品質を確保するように注意するが、システムの加熱やその他の時間的影響がデータ品質にわずかに影響を及ぼす可能性がある。また、MRIで適用される強い勾配の相互作用は、ECGなどの他のセンサの同時測定に悪影響を与える可能性がある。これらの影響を除去するためにこの情報もディープラーニングシステムに入力され得る。
【0091】
fMRIデータセットの分析の最初のステップとして例が使用されてもよい。データ取得後、グラフィカルユーザインターフェースにおいてユーザにデータおよび処理オプションが表示される。処理オプションの中から、ユーザは「自動アーチファクト除去」を選択し、さらに、アーチファクト除去の強度を制御するパラメータを設定してもよい。
【0092】
さらなる実施例は以下の特徴のうちの1つまたは複数を有し得る。
【0093】
(例えば、ANNの訓練に使用される)大きな汎用データセットの統計解析、および
現場で取得された特有データの統計解析(取得される様々な信号は異なる特性を持っている可能性が高く、また、オペレータや機器のタイプに依存する可能性があるので)に基づく、ユーザインタラクションを要さない最適なフィルタパラメータの自動事前選択。
【0094】
使用されるfMRIシーケンスに基づくパラメータの適応型選択(adaptive selection)。
【0095】
使用される機器タイプに基づくパラメータの適応型選択(技術の違い(例えば、ECG、VCG、カメラシステム)およびベンダー機器の違いに起因する特有の相違)。
【0096】
GRU(gated recurring unit)をLSTMの1つの特別なクラスとして使用することで、訓練を行うことが必要なパラメータの数を減らし、かつ訓練時間を減らす。
【0097】
「ANN」を深くして表現力を高める(例えば、ゆっくりと変化する動態および速く変化する動態の学習のより適切な分離)。
【0098】
(例えば、バックプロパゲーション中の勾配流(gradient flow)をより速くするための)ショートカット接続の使用。
【0099】
ネットワークの表現力および学習キャパシティを高めるために2つのANNを積み重ねる。
【0100】
本発明は、図面および上記において詳細に図示および記載されているが、かかる図示および記載は説明的または例示的であり、非限定的であると考えられるべきである。本発明は、開示の実施形態に限定されない。
【0101】
開示の実施形態の他の変形例が、図面、開示、および添付の特許請求の範囲から、クレームされる発明に係る当業者によって理解および実施され得る。特許請求の範囲において、「含む」という用語は他の要素またはステップを排除するものではなく、単数形は複数を除外しない。単一のプロセッサまたは他のユニットが、請求項に記載される複数のアイテムの機能を果たし得る。複数の手段が互いに異なる従属請求項に記載されているからといって、これらの手段の組み合わせが好適に使用することができないとは限らない。コンピュータプログラムは、他のハードウェアと共にまたは他のハードウェアの一部として供給される光学記憶媒体またはソリッドステート媒体等の適切な媒体上で記憶および/または分配されてもよいし、インターネットまたは他の有線若しくは無線テレコミュニケーションシステムを介して等の他の形態で分配されてもよい。特許請求の範囲内のいかなる参照符号も、その範囲を限定するものと解釈されるべきではない。
【0102】
図14は構成された人工ニューラルネットワーク122のさらなる例を示す。
図14に示される例は、入力層700および出力層800が存在しないことを除いて
図8に示される例と同様である。初期信号のセットはリカレントニューラルネットワーク600の入力602に直接入力される。変更された信号のセットは、リカレントニューラルネットワーク600の出力604によって直接出力される。ボクセルのセットのボクセルごとにリカレントニューラルネットワーク600が存在する。隠れフィードバック層900は、個々のリカレントニューラルネットワーク600間の通信を提供する。隠れフィードバック層900は、例えば、全結合層、畳み込み結合層、または部分結合層として実装され得る。隠れフィードバック層900は、構成された人工ニューラルネットワークが、異なるボクセル間で空間的に相関している生理学的アーチファクトを除去することを可能にする。
以下、本願発明の各種形態を付記する。
(付記1)
機械実行可能命令および構成された人工ニューラルネットワークを格納するメモリと、前記機械実行可能命令を実行することによって医療用イメージングシステムを制御するためのプロセッサとを備える、医療用イメージングシステムであって、
前記機械実行可能命令の実行により、前記プロセッサは、
磁気共鳴イメージングデータを受け取り、ここで、前記磁気共鳴イメージングデータは、ボクセルのセットの各ボクセルについての時間依存BOLD信号を表すBOLD機能的磁気共鳴イメージングデータであり、前記構成された人工ニューラルネットワークは、前記ボクセルのセットのボクセルごとにリカレントニューラルネットワークを含み、
前記磁気共鳴イメージングデータを使用して前記ボクセルのセットのボクセルごとの前記時間依存BOLD信号を再構築することによって初期信号のセットを構築し、
前記構成された人工ニューラルネットワークへの前記初期信号のセットの入力に応答して、前記構成された人工ニューラルネットワークから変更された信号のセットを受け取り、ここで、前記構成された人工ニューラルネットワークは、前記初期信号のセットから生理学的アーチファクトを除去するように構成されている、
医療用イメージングシステム。
(付記2)
前記医療用イメージングシステムはさらに、時間依存性機能的磁気共鳴イメージングプロトコルに従って前記磁気共鳴イメージングデータを取得する磁気共鳴イメージングシステムを備え、前記機械実行可能命令の実行により、前記プロセッサはさらに、前記磁気共鳴イメージングシステムを制御して前記磁気共鳴イメージングデータを取得する、付記1に記載の医療用イメージングシステム。
(付記3)
前記ニューラルネットワークは複数のリカレントニューラルネットワークを含み、前記ボクセルのセットの各ボクセルの前記リカレントニューラルネットワークが前記複数のリカレントニューラルネットワークを形成する、付記1または2に記載の医療用イメージングシステム。
(付記4)
前記構成された人工ニューラルネットワークは入力計算層を含み、各ボクセルの前記リカレントニューラルネットワークは、前記入力計算層に接続された入力を含む、付記1から3のいずれか一に記載の医療用イメージングシステム。
(付記5)
前記入力計算層は、
全結合、
畳み込み結合、
または部分結合されている、付記4に記載の医療用イメージングシステム。
(付記6)
前記構成された人工ニューラルネットワークは出力計算層を含み、各ボクセルの前記リカレントニューラルネットワークは、前記出力計算層に接続された出力を含む、付記1から5のいずれか一に記載の医療用イメージングシステム。
(付記7)
前記出力計算層は、
全結合、
畳み込み結合、
または部分結合されている、付記6に記載の医療用イメージングシステム。
(付記8)
各ボクセルの前記リカレントニューラルネットワークは直結フィードバックを含み、前記構成された人工ニューラルネットワークは隠れフィードバック層を含み、各ボクセルの前記リカレントニューラルネットワークの前記直結フィードバックは前記隠れたフィードバック層を介して提供される、付記1から7のいずれか一に記載の医療用イメージングシステム。
(付記9)
前記機械実行可能命令の実行により、前記プロセッサはさらに、
前記ボクセルのセットのボクセルごとの訓練信号のセットを受け取り、
前記ボクセルのセットのボクセルごとのクリーンな信号のセットを受け取り、ここで、前記訓練信号のセットは、前記クリーンな信号のセットに加えて生理学的アーチファクトを含み、
被検者の動きを表す生理学的アーチファクトデータを受け取り、ここで、前記生理学的アーチファクトデータは前記クリーンな信号のセットと時間的に相関しており、
前記訓練信号のセット、前記クリーンな信号、および前記生理学的アーチファクトデータを使用して、前記構成された人工ニューラルネットワークを訓練する、
付記1から8のいずれか一に記載の医療用イメージングシステム。
(付記10)
前記機械実行可能命令の実行により、前記プロセッサはさらに、
ノイズリダクション値を受け取り、
前記初期信号のセット、前記変更された信号のセット、および前記ノイズリダクション値を使用して、制御可能にクリーニングされた信号のセットを構築する、
付記1から9のいずれか一に記載の医療用イメージングシステム。
(付記11)
前記変更された信号のセットがノイズ信号のセットである場合、前記制御可能にクリーニングされた信号のセットを構築することは、前記ノイズリダクション値を前記変更された信号のセットと掛けた積を前記初期信号のセットから差し引くことを含み、
前記変更されたノイズ信号のセットがクリーニングされた信号のセットである場合、前記制御可能にクリーニングされた信号のセットを構築することは、
前記初期信号のセットから前記変更された信号のセットを差し引くことによってノイズ信号のセットを計算することと、
前記ノイズリダクション値を前記ノイズ信号のセットと掛けた積を前記初期信号のセットから差し引くことによって、前記制御可能にクリーニングされた信号のセットを構築することとを含む、
付記10に記載の医療用イメージングシステム。
(付記12)
前記機械実行可能命令の実行により、前記プロセッサはさらに、前記制御可能にクリーニングされた信号のセットから機能的磁気共鳴画像を再構築する、付記10または11に記載の医療用イメージングシステム。
(付記13)
前記ボクセルのセットの各ボクセルの前記リカレントニューラルネットワークはLSTM(Long Short-Term Memory)ニューラルネットワークである、付記1から12のいずれか一に記載の医療用イメージングシステム。
(付記14)
医療用イメージングシステムの動作方法であって、前記方法は、
磁気共鳴イメージングデータを受け取るステップであって、前記磁気共鳴イメージングデータは、ボクセルのセットのボクセルごとの時間依存BOLD信号を表すBOLD機能的磁気共鳴イメージングデータである、受け取るステップと、
前記磁気共鳴イメージングデータを使用して前記ボクセルのセットのボクセルごとの前記時間依存BOLD信号を再構築することによって初期信号のセットを構築するステップと、
構成された人工ニューラルネットワークへの前記初期信号のセットの入力に応答して、前記構成された人工ニューラルネットワークから変更された信号のセットを受け取るステップであって、前記構成された人工ニューラルネットワークは、前記初期信号のセットから生理学的アーチファクトを除去するように構成されており、前記構成された人工ニューラルネットワークは、前記ボクセルのセットのボクセルごとにリカレントニューラルネットワークを有する、受け取るステップとを含む、
方法。
(付記15)
構成された人工ニューラルネットワークを実装するプロセッサによって実行される機械実行可能命令を含むコンピュータプログラムであって、前記機械実行可能命令の実行により、前記プロセッサは、
磁気共鳴イメージングデータを受け取り、ここで、前記磁気共鳴イメージングデータは、ボクセルのセットのボクセルごとの時間依存BOLD信号を表すBOLD機能的磁気共鳴イメージングデータであり、
前記磁気共鳴イメージングデータを使用して前記ボクセルのセットのボクセルごとの前記時間依存BOLD信号を再構築することによって初期信号のセットを構築し、
前記構成された人工ニューラルネットワークへの前記初期信号のセットの入力に応答して、前記構成された人工ニューラルネットワークから変更された信号のセットを受け取り、ここで、前記構成された人工ニューラルネットワークは、前記初期信号のセットから生理学的アーチファクトを除去するように構成されており、前記構成された人工ニューラルネットワークは、前記ボクセルのセットのボクセルごとにリカレントニューラルネットワークを有する、
コンピュータプログラム。
【符号の説明】
【0103】
100 医療用イメージングシステム
102 コンピュータ
104 プロセッサ
106 ハードウェアインターフェース
108 ユーザインターフェース
110 メモリ
120 機械実行可能命令
122 構成された人工ニューラルネットワーク
124 磁気共鳴イメージングデータ
126 初期信号のセット
128 変更された信号のセット
130 機能的磁気共鳴画像
200 磁気共鳴イメージングデータを受信する
202 磁気共鳴イメージングデータを使用してボクセルごとの時間依存信号を再構築することによって初期信号のセットを構築する
204 構成された人工ニューラルネットワークへの初期信号のセットの入力に応答して変更された信号のセットを受け取る ここで、構成された人工ニューラルネットワークは初期信号のセットから生理学的アーチファクトを除去するために構成されている
300 ボクセルごとの訓練信号のセットを受信する
302 ボクセルごとのクリーンな信号のセットを受信する
304 被検者の動きを表す生理学的アーチファクトデータを受け取る
306 訓練信号のセット、クリーンな信号、および生理学的アーチファクトデータを使用して、構成された人工ニューラルネットワークを訓練する
400 医療用イメージングシステム
402 磁気共鳴イメージングシステム
404 磁石
406 磁石のボア
408 撮像ゾーン
409 関心領域
410 磁場勾配コイル
412 磁場勾配コイル電源
414 無線周波数コイル
416 送受信機
418 被検者
420 被検者支持台
430 パルスシーケンスコマンド
500 磁気共鳴イメージングシステムを制御して磁気共鳴イメージングデータを取得する
600 リカレントニューラルネットワーク
600 LSTM
602 入力
604 出力
606 直結フィードバックまたは隠れ層ニューロン
700 入力計算層
702 入力計算層の入力
800 出力計算層
802 出力計算層の出力
900 結合された隠れ層
1000 アーチファクト混同BOLD信号
1002 時間
1004 BOLD応答
1100 理想化されたアーチファクトのないBOLD信号
1102 初期の降下
1104 ピーク
1106 刺激後のアンダーシュート