(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-03
(45)【発行日】2024-12-11
(54)【発明の名称】ニューラルネットワークの学習方法、プログラム、医用画像処理方法及び医用装置
(51)【国際特許分類】
A61B 6/03 20060101AFI20241204BHJP
G06N 3/02 20060101ALI20241204BHJP
【FI】
A61B6/03 560T
A61B6/03 550Y
G06N3/02
(21)【出願番号】P 2024015758
(22)【出願日】2024-02-05
(62)【分割の表示】P 2019230421の分割
【原出願日】2019-12-20
【審査請求日】2024-02-05
(32)【優先日】2019-04-01
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】松浦 正和
(72)【発明者】
【氏名】ジエン ジョウ
(72)【発明者】
【氏名】ジョウ ユウ
【審査官】遠藤 直恵
(56)【参考文献】
【文献】特表2013-512024(JP,A)
【文献】特開2012-190148(JP,A)
【文献】特開平10-255035(JP,A)
【文献】欧州特許出願公開第03404611(EP,A1)
【文献】国際公開第98/029833(WO,A1)
【文献】国際公開第2017/102467(WO,A1)
【文献】特開2008-178672(JP,A)
【文献】中国特許出願公開第106504253(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00-6/58、5/055
G06N 3/02
G06T 1/00、7/00
G16H 30/00-30/40
(57)【特許請求の範囲】
【請求項1】
低品質データである入力画像と
、前記低品質データよりノイズが少ない高品質データである目標画像とによるデータセットを用いてニューラルネットワークを学習させることを含む学習方法であって、
前記目標画像は、
被検体から収集された医用データに対し、複数の異なる再構成を実施することで異なる複数の画像を取得し、
取得した前記複数の画像から、それぞれ異なる特徴領域を抽出し、
抽出した前記異なる特徴領域を、1つの画像に組み合わせることで生成される、ニューラルネットワークの学習方法。
【請求項2】
前記異なる特徴領域は、1つの画像内の異なる解剖学的組織または器官を表す、請求項1に記載のニューラルネットワークの学習方法。
【請求項3】
前記異なる特徴領域は、特定の質感、構造のための画像処置、または人体の図解書の情報に基づいて決定される、請求項1に記載のニューラルネットワークの学習方法。
【請求項4】
前記ニューラルネットワークは、前記目標画像と、対応の前記入力画像を前記ニューラルネットワークに適用することにより生成された出力画像との間の差を表す損失関数を、重み係数を繰り返し調整して最小化することによって学習する、請求項1に記載のニューラルネットワークの学習方法。
【請求項5】
前記入力画像または前記目標画像は、X線コンピュータ断層撮影(Computed Tomography:CT)データ、ガンマ線ポジトロン放射断層撮影(Positron Emission Tomography:PET)、単光子放射型CT(Single-Photon Emission CT:SPECT)データ、および磁気共鳴イメージング(Magnetic Resonance Imaging:MRI)データのうちの1つにより生成された画像である、請求項1に記載のニューラルネットワークの学習方法。
【請求項6】
低品質データよりノイズが少ない高品質データである目標画像であって、被検体から収集された医用データに対して複数の異なる再構成を実施することで異なる複数の画像を取得し、取得した前記複数の画像からそれぞれ異なる特徴領域を抽出し、抽出した前記異なる特徴領域を1つの画像に組み合わせることで生成される目標画像と、
前記低品質データである入力画像とによるデータセットを用いてニューラルネットワークを学習させる
処理をコンピュータに実行させる、プログラム。
【請求項7】
対象画像を取得し、
取得した対象画像に対して、低品質画像と
、前記低品質画像よりノイズが少ない高品質画像の複数のペアに基づいてトレーニングされたニューラルネットワークを適用することで、当該ニューラルネットワークによって品質が改善された出力画像を生成する回路を備えた医用装置であって、
前記高品質画像は、被検体の領域をスキャンして得られたスキャンデータを取得し、当該スキャンデータを使用して複数の異なるパラメータの下で複数の医用画像を再構成し、再構成された前記複数の医用画像のうちの異なる1つから抽出され且つ前記複数の異なるパラメータのうちの1つに各々が対応する複数の特徴を抽出し、抽出された特徴を統合することで取得される統合医用画像であり、
前記複数の異なるパラメータの各々は、対応する特徴の画質を最適化するためのパラメータである、医用装置。
【請求項8】
前記回路は、前記複数の医用画像として、前記被検体の第1の領域に対応する第1のパラメータの下で再構成された第1の画像と、前記被検体の第2の領域に対応する第2のパラメータの下で再構成された第2の画像とを、前記スキャンデータを使用して取得する、請求項
7に記載の医用装置。
【請求項9】
前記回路は、前記複数の異なるパラメータとして、前記第1の画像から前記第1の領域に対応する第1の特徴を抽出し、前記第2の画像から前記第2の領域に対応する第2の特徴を抽出する、請求項
8に記載の医用装置。
【請求項10】
前記第1のパラメータは、前記第1の領域の画質を最適化するためのパラメータであり、前記第2のパラメータは、前記第2の領域の画質を最適化するためのパラメータである、請求項
8に記載の医用装置。
【請求項11】
前記回路は、第1の再構成方法を用いて前記対象画像を取得し、
前記低品質画像は、前記第1の再構成方法を用いて再構成され、
前記複数の医用画像は、逐次近似再構成法を用いて再構成される、請求項
7に記載の医用装置。
【請求項12】
前記高品質画像を生成する処理は、オフラインプロセスに含まれる、請求項
7に記載の医用装置。
【請求項13】
対象画像を取得し、
取得した対象画像に対して、低品質画像と
、前記低品質画像よりノイズが少ない高品質画像の複数のペアに基づいてトレーニングされたニューラルネットワークを適用することで、当該ニューラルネットワークによって品質が改善された出力画像を生成することを含む医用画像処理方法であって、
前記高品質画像は、被検体の領域をスキャンして得られたスキャンデータを取得し、当該スキャンデータを使用して複数の異なるパラメータの下で複数の医用画像を再構成し、再構成された前記複数の医用画像のうちの異なる1つから抽出され且つ前記複数の異なるパラメータのうちの1つに各々が対応する複数の特徴を抽出し、抽出された特徴を統合することで取得される統合医用画像であり、
前記複数の異なるパラメータの各々は、対応する特徴の画質を最適化するためのパラメータである、医用画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、ニューラルネットワークの学習方法、プログラム、医用画像処理方法及び医用装置に関する。
【背景技術】
【0002】
医用イメージングにより、生体内部の画像が生成される。例えば、磁気共鳴イメージング(Magnetic Resonance Imaging:MRI)では、電波、磁場、および磁場勾配を用いて、生体内部の画像が生成される。また、医用イメージングモダリティとして、例えば、X線撮影、超音波診断、CT、およびPETが挙げられる。画像が生成されると、医師は、その画像を用いて患者の傷や病気を診断することができる。
【0003】
PETイメージングでは、注射、吸入、摂取により撮像対象の患者にトレーサ剤が投与される。投与の後、トレーサ剤の物理特性および生体分子特性により、トレーサ剤が生体の特定の位置に集まる。トレーサ剤の実際の空間分布、トレーサ剤の蓄積領域の強度、および投与から最終的に排出されるまでの過程の動態は、どれも臨床上重要となり得る因子である。
【0004】
この過程に、トレーサ剤に付随するトレーサがポジトロンを放出する。放出されたポジトロンが電子と衝突すると、ポジトロンと電子が結合する対消滅事象が生じる。多くの場合、対消滅事象により、約180度反対方向に進む2つの(511keVの)ガンマ線が発生する。
【0005】
断層撮影再構成法によりトレーサの空間時間分布を再構成するため、検出された事象のそれぞれが、そのエネルギー(すなわち、発生した光量)、その位置、およびそのタイミングについて、特徴付けられる。これら2つのガンマ線を検出し、それらの位置の間に線を引くことにより、すなわち、同時計数線(line-of-response:LOR)を引くことにより、本来の消滅したであろう位置を割り出すことができる。この過程では、相互作用の可能性のある線が特定されるだけだが、そうした線を多数蓄積することにより、断層撮影再構成を用いて本来の分布を推定することができる。
【0006】
上述のように、同時計数ペアおよびタイミングの情報についてのLORを用いて、放射線の画像が再構成され、臨床情報が得られる。しかし、多くの場合、この臨床情報はノイズによって不明瞭になり得る。ノイズは、逐次近似再構成(Iterative Reconstruction:IR)アルゴリズムを用いて、正則化を用いた統計的画像再構成を実行することにより、ある程度低減することができる。しかしながら、ノイズを低減することと他の悪影響を再構成画像に持ち込むことの間には、トレードオフの関係がある(例えば、高度な正則化によって、分解能が低下し、再構成画像における特徴が不明瞭となり得る)。
【0007】
同様に、X線CTにおいて、IRアルゴリズムを用いて、様々な器官のX線減衰を表す内部画像を再構成することができる。一般的に、肺および空気が大部分を占める領域ではほとんど減衰が見られず、軟部組織領域で減衰がより多く見られ、骨領域ではさらに多くの減衰(すなわち、放射線の陰影)が見られる。PETイメージングの場合と同様に、ノイズを低減することと分解能低下など他の悪影響を再構成画像に持ち込むことの間には、トレードオフの関係がある。再構成画像における正則化の最適な度合いは、領域毎に変化し得る。例えば、より大きな信号振幅を有する領域(例えば、肺領域および骨領域)に対しては、より高い分解能を維持するためには、正則化が少ないことに伴いノイズが多くても、正則化が少ない方がよい場合もある。一方、小さな信号振幅を有する領域(例えば、背景と臨床上関係のある病変部との間で減衰におけるコントラストがほとんど見られない軟物質領域)に対しては、正則化が少ないことに伴ってノイズが増えると、臨床医が探している特徴が不明瞭になることもあり得る。
【先行技術文献】
【特許文献】
【0008】
【文献】米国特許出願公開第2016/0149439号明細書
【文献】米国特許出願公開第2015/0884089号明細書
【文献】米国特許出願公開第2016/0228512号明細書
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明が解決しようとする課題は、医用画像の画質を向上させることである。
【課題を解決するための手段】
【0010】
実施形態のニューラルネットワークの学習方法は、低品質データである入力画像と高品質データである目標画像とによるデータセットを用いてニューラルネットワークを学習させることを含む学習方法であって、前記目標画像は、被検体から収集された医用データに対し、複数の異なる再構成を実施することで異なる複数の画像を取得し、取得した前記複数の画像から、それぞれ異なる特徴領域を抽出し、抽出した前記異なる特徴領域を、1つの画像に組み合わせることで生成される。
【図面の簡単な説明】
【0011】
【
図1A】
図1Aは、一実施形態に係る、小さい正則化パラメータを用いて(すなわち、平滑化/ノイズ除去の度合いが低くなる)生成され、かつ肺の設定(すなわち、ウインドウレベルがWL=-400ハウンズフィールド単位(Hounsfield Units:HU)であり、ウインドウ幅がWW=1500HUである)を用いて表示された、再構成CT画像における肺領域の例を示す。
【
図1B】
図1Bは、一実施形態に係る、
図1Aで用いた小さい平滑化/ノイズ除去パラメータの代わりに大きな正則化パラメータを用いてCT画像が生成されていること以外は、
図1Aと同じ表示設定を用いている、同じ肺領域の例を示す。
【
図1C】
図1Cは、一実施形態に係る、小さい正則化パラメータを用いて生成されたCT画像であって、軟部組織の設定(すなわち、WL=40HU、WW=400HU)を用いて表示された画像における、軟部組織領域の例を示す。
【
図1D】
図1Dは、一実施形態に係る、大きな正則化パラメータを用いてCT画像が生成されていること以外は、
図1Cと同じ軟部組織用表示設定を用いた、同じ軟部組織領域の例を示す。
【
図1E】
図1Eは、一実施形態に係る、低い平滑化強度を有する空間的に一定の正則化を用いた、PET画像を示す。
【
図1F】
図1Fは、一実施形態に係る、高い平滑化強度を有する空間的に一定の正則化を用いた、PET画像を示す。
【
図2A】
図2Aは、一実施形態に係る、ニューラルネットワークをトレーニングしてから、そのニューラルネットワークを用い、医用イメージングスキャンのデータから再構成された医用画像のノイズを除去する方法のフローチャートを示す。
【
図2B】
図2Bは、一実施形態に係る、目標データが特徴認識ノイズ除去を含む、ニューラルネットワークトレーニング方法のフローチャートを示す。
【
図2C】
図2Cは、一実施形態に係る、特徴認識目標データを生成するための方法のフローチャートを示す。
【
図2D】
図2Dは、一実施形態に係る、複数の再構成を異なる再構成パラメータで実施する、特徴認識目標データを生成するための方法の実施フローチャートを示す。
【
図3A】
図3Aは、一実施形態に係る、腹部領域用に最適化された正則化パラメータを用いて生成されたCT画像を示す。
【
図3B】
図3Bは、一実施形態に係る、肺領域用に最適化された正則化パラメータを用いて生成されたCT画像を示す。
【
図3C】
図3Cは、一実施形態に係る、骨領域用に最適化された正則化パラメータを用いて生成されたCT画像を示す。
【
図4】
図4は、一実施形態に係る、DL-ANNネットワークの係数を繰り返し調整することによりDL-ANNネットワークをトレーニングして、損失-誤差関数を最適化するフローチャートを示す。
【
図5A】
図5Aは、一実施形態に係る、フィードフォワードANNの例を示す。
【
図5B】
図5Bは、一実施形態に係る、畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)と呼ばれる一種のANNの例を示す。
【
図6】
図6は、一実施形態に係る、医用イメージングスキャナ(例えば、スキャナは、MRIスキャナ、PETスキャナ、X線CTスキャナ、またはこれらの組み合わせであってもよい)の例を示す。
【
図7】
図7は、一実施形態に係る、X線CTスキャナの例を示す。
【発明を実施するための形態】
【0012】
実施形態は、特徴認識トレーニングに基づく深層学習ネットワークを用いて画像のノイズ除去を行なう、医用画像の再構成に関する。特に、(i)X線コンピュータ断層撮影(Computed Tomography:CT)画像、(ii)ポジトロン放射断層撮影(Positron Emission Tomography:PET)画像、および(iii)磁気共鳴(Magnetic Resonance:MR)画像などの医用画像に対して、ノイズ除去およびアーチファクト低減を行なうことができる、医用画像の再構成に関する。特に、実施形態は、特徴毎に適性量のノイズ除去を行なうことを可能にする改良方法に関する。
【0013】
CTシステムおよび方法は、特に医用イメージングおよび診断に、広く用いられている。CTスキャンは、CTスキャナ上のX線源とX線検出器の間の空間に患者を配置した後、スキャン中はX線源と検出器を回転させながら様々な角度で患者を透過するX線投影画像を撮ることにより、実行することができる。結果として得られる投影データは、CTサイノグラムと呼ばれ、1つ以上の軸に沿った位置の関数として、およびその他の軸に沿った投影角度の関数として、人体通過時の減衰を表す。逆ラドン変換、または他の任意の画像再構成法を実行することにより、サイノグラムに表された投影データから画像が再構成される。
【0014】
フィルタ補正逆投影(Filtered Back-Projection:FBP)アルゴリズムや統計的IRアルゴリズムなど、様々な方法を用いて投影データからCT画像を再構成することができる。より従来のFBP再構成法に比べて、IR法は、少ない被爆線量でより高い画像品質が得られる。様々なIR法がある。
【0015】
1つの一般的なIR法では、制約無し(または制約付き)最適化を実行して、以下の式(1)を最小化する引数pを求める。
【0016】
【0017】
【0018】
【0019】
関数U(p)は正則化項であり、この項は、多くの場合で再構成画像の平滑化すなわちノイズ除去の効果がある1つ以上の制約(例えば、全変動(Total Variation:TV)最小化制約)を課すためのものである。値βは正則化パラメータであり、データ忠実度項および正則化項の相対的寄与に重み付けする値である。
【0020】
したがって、通常は正則化項βの値の選択によって、ノイズと分解能の間のトレードオフの関係が影響される。一般的に、正則化項βが大きくなるとノイズが低減されるが、分解能も低下する代償を払うことになる。正則化項βの最高の有用性は、複数の因子によって決まるが、その主なものは再構成画像の再構成の対象となる適用先である。IRアルゴリズムは、時間がかかり大きな計算処理上のリソースが必要となり得るため、試行錯誤的方法は非効率的である(例えば、IR法のために、最適解が得られるまで様々な値の正則化項βが用いられるなど)。さらに、1回のCTスキャンは複数の臨床応用に用いることができるため、計算付加の高いIRアルゴリズムを繰り返すことなく、ノイズと分解能のトレードオフの関係について再構成画像を調整できることが望まれる。したがって、再構成画像を高速で生成および修正することで、ノイズと分解能のトレードオフの関係を最適化するための、改良方法が望まれる。
【0021】
別の一般に用いられる再構成技術は、モデルベース逐次近似再構成(Model-Based Iterative Reconstruction:MBIR)である。MBIRでは、FBP再構成法よりも優れた画像品質が得られる。さらに、深層畳み込みニューラルネットワーク(Deep Convolution Neural Network:DCNN)により、様々なCTイメージング応用/画像処理作業を、改善および高速化することができる。DCNNの適用にあたり、ノイズ統計値などの正確な事前設計モデルは必要としない代わりに、大量のトレーニングデータセットの入手可能性を必要とする。また、DCNNは、トレーニングデータセットの入力と目標との間の厳密な画像特徴を捕らえることができる。
【0022】
実施形態に記載の方法は、DCNNなどのニューラルネットワークを使用して、表示画像の特定の内容/状況に基づき、分解能とノイズのトレードオフの関係の最適化に関する上述の課題に対処する。これらの方法は、ニューラルネットワークをトレーニングして特徴認識ノイズ除去を行なうことにより、前記課題に対処する。特定の実施形態において、目標画像が異なる特徴に対応する様々な領域に分割され、特徴に応じた正則化/ノイズ除去が目標画像に適用されたトレーニングデータを用いることにより、ネットワークに前記特徴認識ノイズ除去を学習させることができる。したがって、この特別に構成されたトレーニングデータを用いてニューラルネットワークをトレーニングすることにより、ニューラルネットワークは、特定の特徴を認識し、認識した特徴に応じて適切な度合いのノイズ除去を適用することを学習する。
【0023】
以下に、いくつかの図において同一または対応する部分に同じ参照符号を付した、図面を参照する。
図1Aおよび1Bは、同じ肺領域の2つの画像を示しているが、ノイズ除去(実施形態では互換可能に平滑化と呼び、また特定の文脈において正則化と呼ぶ)の度合いは異なる。同様に、
図1Cおよび1Dは、ノイズ除去の度合いは異なるが、同じ軟部組織領域の2つの画像を示している。
図1Aおよび
図1Cは、第1の度合いのノイズ除去を表し、
図1Bおよび1Dは、
図1Aおよび
図1Cに示された第1の度合いのノイズ除去よりも多くノイズ除去/平滑化を行なう第2の度合いのノイズ除去を表す。
【0024】
図1Cと
図1Dの比較において、
図1Cにおけるより高い分解能は情報をそれほど多く伝達せず、
図1Cにおいて増えたノイズが、紛らわしい質感や構造を作り出しており、不正確な診断または介入的画像診断法では低品質の結果がもたらされることになり得るため、通常、
図1Dが臨床応用にとってより優れていると見なされる。したがって、軟部組織画像に対しては、ノイズ除去および平滑化の度合いが高い方が有利となり得る。
【0025】
一方、肺画像に対しては、ノイズ除去および平滑化の度合いが低い方が有利となり得る。ここで、用語「平滑化」はノイズ除去の一種と解釈することができ、通常、用語「平滑化」は、より一般的な用語「ノイズ除去」に置き換えることができる。
図1Aと
図1Bの比較において、
図1Aにおけるより高い分解能は肺の特徴を顕著に識別することができ(例えば、
図1Aにおいて矢印で示した特徴)、肺の設定におけるより広いウインドウ幅およびそれ相応のより高いコントラストの肺領域の信号に比べて、増えるノイズが軟部組織領域におけるほど顕著ではないため、通常、
図1Aが臨床応用にとってより優れていると見なされる。したがって、少ない平滑化よるノイズの増加によって肺領域において不明瞭になることは比較的少なく、
図1Aに見られるように分解能が向上するメリットの方が、ノイズ増加というデメリットを上回る。
【0026】
このため、ノイズ除去の最適な度合いは、再構成画像の各種領域内の特徴によって空間的に決まり得る。すなわち、同じ画像内の異なる領域が、ノイズ除去の異なる度合いによって恩恵を受け得る。
【0027】
これまで、X線CTに関して説明してきた。しかしながら、これらの方法は、例えば、PETなど、他の医用イメージングのモダリティにも適用できる。例えば、PETイメージングでも、特徴認識ノイズ除去により高い画像品質が得られる。例えば、統計的IRアルゴリズムを用いて、被検体内のトレーサ/放射線濃度のPET画像を再構成することができる。IRアルゴリズムは、データ忠実度項および正則化項などを含む目的関数を最適化する再構成画像を繰り返し検索する。これら2つの項の間の相対的重みによって、より高いSNRを一方とし、より精細な分解能を他方とするトレードオフの関係に影響を与えることができる。このトレードオフの関係は、実用上の制約(例えば、注入される投与量やスキャンの継続時間における制約)により統計数が少なくなって、高いノイズレベルおよび比較的低い空間分解能(例えば、5~7mmの分解能)によるPET画像の画像品質が低下するため、多くの場合で重要となる。これらの影響は、その結果として誤診断や誤った治療法決定をまねくことになり得る。このため、PET画像の品質を向上させる方法が望まれる。
【0028】
このため、最適な再構成画像を生成する正則化の度合いを選択するために、改良方法が望まれる。さらに、PET画像の一部分において最適な平滑化の度合いは、PET画像の別の部分では最適さがやや劣ることもある。したがって、空間的に変化する平滑化を行いPET画像の品質を局所的に最適化できる方法も望まれる。特定の実施形態において、IRアルゴリズムの目的関数において、1つ以上の放射線依存型の正則化および/または正則化項中に放射線依存パラメータを用いることにより、トレーニングデータセットの目標データを生成する実施形態に記載の方法によって、上記目標は達成される。
【0029】
例えば、PET画像の品質は、異なる領域内のそれぞれの特徴を表す放射線レベルマッピングに基づいて、正則化を空間的に変化させることによって、改善できる。またここでは、目標データが、異なる特徴に対応する領域に応じて細分され、空間的に度合いが決まるノイズ除去/正則化がそれぞれの特徴に応じて適用された、トレーニングデータを用いることができる。空間的に変化する正則化における変化の程度は、後述するように正則化項とデータ忠実度項との間に相対的な重み付けをする正則化パラメータβの空間的な依存性によって生じ得る。そして、上述したように空間的に変化する正則化/ノイズ除去を用いて目標データが生成されたトレーニングデータを用い、ニューラルネットワークをトレーニングすることができる。こうして、ニューラルネットワークがトレーニングされ、再構成されたPET画像の特徴認識ノイズ除去が実行される。
【0030】
正則化の度合いおよび/または種類に影響を与えるように調整できる正則化パラメータは、再構成問題を解決する際に最適化の対処と費用関数(目的関数とも呼ばれる)を考慮することにより、その良さがより分かる。PETにおいて、放射データは、サイノグラム(X線CTにおける投影データに似ている)として構成することができ、そのため、減衰画像を再構成するためにX線CTに適用される方法と同様の方法を適用して、位置/ボクセル指数の関数として放射線/トレーサ濃度を表す放射線画像を再構成することができる。これらの再構成法として、例えば、FBP法およびIR法が挙げられる。あるいは、PET放射データを、サイノグラムに編成する代わりに、個々の検出事象のリストとして保持することができ、リストモードベースの再構成法を用いて画像を再構成することができる。
【0031】
【0032】
【0033】
【0034】
特定の実施形態において、正則化関数は、個々のピクセルの代わりに近接するパッチを用いてペナルティを計算する、以下の式(3)に例示するようなパッチベースのエッジ保持型ペナルティ関数であってもよい。
【0035】
【0036】
【0037】
上述のX線CTの場合と同様、PET画像再構成において、正則化パラメータβの大きさを増すと、再構成画像におけるノイズが抑制され分解能が低下する。このため、低い放射線の領域は、この領域内の計数の統計量がSNRを低下させる(すなわち、比較的高いノイズレベルになる)ため、平滑化の度合いが高い方が有利であり、この領域内の精細な分解能はおそらく必要とされない。例えば、一般的に、より高いトレーサ濃度および放射線レベルが(例えば、病変部のより高い代謝率によって)関心領域近くで見られる。このため、より低い放射線がより大きい正則化パラメータβに対応している画像再構成は、有利となり得る。
【0038】
【0039】
【0040】
また、正則化項を含む目的関数を最小化することにより、MRI再構成も実行できる。例えば、以下の式(4)の最適化問題を解くことにより、圧縮センシング(Compressed Sensing:CS)画像再構成を実行できる。
【0041】
【0042】
【0043】
MRI再構成に用いられる再構成処理の他の例として、GRAPPA、SENSE、ARC、SPIRiT、LORAKS、ISTA、およびFISTAが挙げられる。CSデータについて、再構成処理は、ある(例えば、空間的、時間、ウェーブレット)領域内で画像表現に疎性と収集されたスキャンデータでの再構成の整合性との両方を実現する、非線形処理であってもよい。
【0044】
当業者には理解されることだが、上述のX線CTイメージングおよびPETイメージングについての原理が、MRIなど、正則化項をデータ忠実度項と共に含む目的関数を最小化することにより画像からノイズが除去されおよび/または画像が再構成される、他の医用イメージングモダリティ(例えば、MRIおよび単光子放射型CT(Single-Photon Emission CT:SPECT))にも適用される。そのため、ニューラルネットワークをトレーニングして特徴認識ノイズ除去を行なうための実施形態に記載の方法は、一般的に、特徴に応じたレベルのノイズ除去/正則化により結果として得られる画像品質を改善できる、医用イメージングモダリティに適用される。明確化のため、実施形態に記載の方法は、医用イメージングモダリティとしてX線CTの限定されない例を用いて説明する。しかしながら、当業者には理解されるであろうが、この方法はX線CTに限定されるものではない。
【0045】
2つの異なる方法を用いて、ニューラルネットワークを用いる画像のノイズ除去を行なうことができる。1つの方法では、目標データはノイズを除去した画像であり、入力データは対応するノイズの多い画像である。そして、ネットワークをトレーニングして、ノイズの多い画像からノイズを除去した画像を直接予測する。すなわち、ノイズの多い画像がニューラルネットワークに適用されると、該ネットワークが、対応するノイズ除去画像を出力する。あるいは、実施形態に記載の方法は、残差ネットワーク(Residual Network:ResNet)を用いてエイリアシングを除去した画像から直接取り除くことができる付加残留物として、ノイズを取り扱うことにより、画像のノイズを除去できる。この場合、入力データが再度ノイズの多い画像となるが、目標データはノイズそのもの(例えば、ノイズの多い画像からノイズ除去画像を引いたもの)である。したがって、ノイズの多い画像がニューラルネットワークに適用されると、ネットワークがノイズ自体を表現する画像を出力する。そして、入力からネットワーク出力を減算することによって、ノイズが除去された画像が生成される。
【0046】
図2Aおよび
図2Bは、DLネットワーク170をトレーニングして用い、SMS医用画像再構成の実行を支援する、方法10の限定されない例を示す。
図2Aに示すように、方法10は、DL-ANN(人工ニューラルネットワーク:Artificial Neural Network)であるDLネットワーク170を用いて、医用画像スキャン/収集モダリティにより収集された生データ105から再構成される医用画像のノイズ除去をどのように行なうか学習し、ノイズを除去した再構成画像125を生成する。方法10は、(i)オフライントレーニングプロセス150および(ii)医用イメージングプロセス100の2つの部分からなる。すなわち、オフライントレーニングプロセス150でDLネットワーク170をトレーニングし、医用イメージングプロセス100で、トレーニング済みのDLネットワーク170を用いて医用画像のノイズを除去し、画像内の特徴に応じて空間的に変化するノイズ除去の度合いを適用し、最終的に、ノイズがより少ない高品質画像である再構成画像125を生成する。
【0047】
なお、生データ105は、被検体から収集される医用データの一例である。生データ105は、CTやX線撮影、PET、SPECT等のモダリティを用いて収集された放射線データであってもよいし、MRIや超音波診断等の他のモダリティを用いて収集された医用データであってもよい。
【0048】
図2Bは、医用イメージングプロセス100およびオフライントレーニングプロセス150の限定されない例を示す。トレーニングプロセス160において同様のステップが実行され、DLネットワーク170がトレーニングされる。後述するように、DLネットワーク170のトレーニングは、トレーニングデータセットからの入力データがDLネットワーク170に適用され(ノイズ除去120のステップにおけるDLネットワーク170の用いられ方と同様)、この結果が、DLネットワーク170の重み係数を調整する反復処理において、所望の出力(すなわち、トレーニングデータセットからの目標データ)と比較される、反復処理であってもよい。
【0049】
特定の実施形態において、DLネットワーク170は、一連の畳み込み(convolution:conv)、バッチ正規化(Batch Normalization:BN)、および正規化線形ユニット(rectified linear unit:ReLu)のネットワーク層が実行される、CNNである。画像再構成110のステップにおいて、医用画像が生データ105から再構成される。画像再構成110における再構成法は、DLネットワーク170をトレーニングするためにオフライントレーニングプロセス150で用いられる入力画像157を生成するために用いられる再構成法と同じ再構成法であってもよい。
【0050】
DLネットワーク170は、トレーニングプロセス160を用いてトレーニングされる。トレーニングプロセス160において、DLネットワーク170のパラメータ(例えば、DLネットワーク170のパラメータは、ネットワーク層に関する重み係数や層内ノードの活性化関数/ポテンシャルを含んでもよい)を繰り返し調整/最適化するために、損失関数が用いられる。ネットワークパラメータの最適化は、停止基準が満たされるまで続けられ(例えば、停止基準を、損失関数の値が所定閾値に収束したか否かとすることができる)、学習済みのDLネットワーク170が生成される。
【0051】
損失関数は、目標データである目標画像153を、入力データである入力画像157および最新版のDLネットワーク170を用いて収集された出力と比較する。例えば、入力データからのノイズの多い画像を最新版のDLネットワーク170に適用することにより、目標画像153から対応する低ノイズ画像と比較されるネットワーク出力が生成される。DLネットワーク170のトレーニングは、出力と目標データの差が最小となり、トレーニングプロセス160の1つ以上の所定の停止基準を十分満足したときに、終了と判断される。そして、学習済みのDLネットワーク170は、保存され、後で医用イメージングプロセス100において使用することができる。
【0052】
例えば、医用イメージングモダリティがPETイメージングである場合、方法10は、DL-CNNであるDLネットワーク170をトレーニングする工程と、生データ105から再構成された低品質な(例えば、ノイズの多い)PET画像を学習済みのDLネットワーク170に適用して、高品質な(例えば、ノイズが除去された)PET画像である再構成画像125を生成する工程とを含む。
【0053】
方法10において、損失関数を用いて、停止基準が満たされる(例えば、パラメータが所定閾値に収束)までDL-CNNネットワークのパラメータ(例えば、畳み込み層およびプーリング層の重みおよびバイアス)が繰り返し調整され、学習済みのDLネットワーク170が生成される。損失関数は、高品質データである目標画像153を、低品質データである入力画像157が適用される最新版のDL-CNNネットワークの結果と比較する。PETイメージングの場合、高品質データおよび低品質データは、それぞれ、高い/良い画像品質および低い/悪い画像品質を有する再構成PET画像である。一般的に、信号対ノイズ比(Signal-to-Noise Ratio:SNR)は、画像の再構成で用いるデータセットが小さいほど(例えば、同時計数が減少する原因となる短いスキャン時間またはその他の要因により)、低くなる。このため、患者のPETスキャンからの同時計数の全てを用いて、高品質画像である目標画像153が生成され、可能な限り高い画像品質を有するPET画像を生成することができる。一方、全データセットから選ばれる同時計数の部分的サブセットを用いて、より低い品質の画像である入力画像157を生成できるが、その結果、再構成画像が高品質画像である目標画像153よりもノイズの多い画像となる。さらに、再構成画像に表れる特徴に応じて空間的に変化する正則化パラメータを用い、高品質画像である目標画像153を生成できる。例えば、より高い放射線の領域においてより精細な分解能が得られるように、高い放射線の領域で用いる正則化を少なくすることができる。
【0054】
学習済みのDLネットワーク170を生成した後、医用イメージングプロセス100を用いて学習済みのDLネットワーク170を適用し、高品質PET画像である再構成画像125を生成する。
【0055】
特定の実施形態において、PETイメージングにより収集された生データ105は、前処理(例えば、信号の前調整、位置補正、エネルギー補正など)が施された計数であってもよく、次のステップである画像再構成110において、前処理された計数データを用いて、ボクセル位置の関数として放射線レベル(例えば、トレーサ濃度)の画像が再構成される。
【0056】
医用イメージングプロセス100の画像再構成110において、PET画像再構成処理を用いて、PETイメージングにより収集された放射データである生データ105から、PET画像である再構成画像125が再構成される。画像再構成は、当業者には理解されるであろうが、逆投影法、フィルタ補正逆投影法、フーリエ変換ベースの画像再構成法、逐次近似画像再構成法、マトリクス逆変換画像再構成法、統計的画像再構成法、リストモード法、またはその他の再構成法を用いて実行してもよい。
【0057】
ノイズ除去120において、DL-CNNであるDLネットワーク170を用いて再構成画像のノイズが除去される。その結果が高品質画像である再構成画像125である。したがって、オフライントレーニングプロセス150によって生成されたネットワークを適用するDLノイズ除去アルゴリズムを用いて、画像再構成110におけるPET再構成から得られたノイズの多いPET画像を処理できる。
【0058】
【0059】
【0060】
ここで、Θはトレーニング可能な重みを表し、ψは誤差関数(例えば、第1の例では平均二乗誤差(Mean Square Error:MSE)が用いられる)であり、Nはトレーニングサンプルを表し、yはノイズの多い画像を表し、xは目標画像を表す。第1の例において、確率勾配降下法を用いて損失関数が最小化され、8層のネットワークが用いられ、性能とトレーニング効率のバランスがよくなる。
【0061】
上述のように、目標データは、空間的に変化する、特徴に応じたノイズ除去/正則化の度合いを有する。このノイズ除去の度合いの変化は、
図2Bに示す特徴認識目標画像設計180で生成できる。さらに、
図2Cおよび
図2Dに、特徴認識目標画像設計180の限定されない例についてそれぞれフローチャートを示す。これらのフローチャートは、医用イメージングモダリティがX線CTである場合について説明するものだが、実施形態はこれに限定されるものではない。例えば、空間的に変化する正則化を、特許文献1に記載の方法を用いて、PETイメージングのために実行することも可能である。なお、当該米国特許出願は、参照することによりその全体が実施形態に組み込まれるものとする。X線CTイメージングについて、空間的に変化するノイズ除去の度合いも、特許文献2および3に記載の方法を用いて取得することができる。なお、当該特許文献の双方とも、参照することによりその全体が実施形態に組み込まれるものとする。これらの方法は、正則化パラメータのための空間的な依存性を含む。さらに、画像再構成処理とは独立して、または同処理に追加のノイズ除去処理を用いて、空間的に変化するノイズ除去を実行できる。例えば、空間によって決まる幅(例えば、高いコントラスト信号を有する特徴に対しては幅がより狭く、低いコントラスト信号を有する特徴に対しては幅がより広いなど)を持つガウス核を用いて、再構成画像を平滑化できる。
【0062】
代表的なノイズ除去方法は、線形平滑化フィルタ、異方性拡散、非局所的手段、または非線形フィルタを含む。線形平滑化フィルタは、ローパスフィルタすなわち平滑化操作に相当するマスクを用いて元の画像を畳み込むことにより、ノイズを取り除く。例えば、ガウスマスクは、ガウス関数によって算出される要素で構成される。この畳み込みにより、各ピクセルの値が、その隣接するピクセルの値と、より良好に一致するようになる。異方性拡散は、熱伝導方程式に似た平滑化の偏微分方程式で画像を展開することにより、シャープエッジを保持しつつノイズを取り除く。メジアンフィルタは非線形フィルタの一例であり、適切に設計されれば、非線形フィルタもエッジを保持し、ぼやけを防止できる。メジアンフィルタは、著しくぼやけたアーチファクトを生じさせることなく、適用して画像から胡麻塩ノイズを取り除くことができる、ランク条件付きランク選択(Rank-Conditioned RAnk-Selection:RCRS)フィルタの一例である。さらに、撮像領域で、均一領域間のはっきりした境界によって画定される広い領域にわたって、均一性が保たれると見なせるなら、TV最小化正則化項を用いるフィルタを適用できる。TVフィルタは、非線形フィルタのもう1つの例である。さらに、非局所的手段フィルタリングは、画像内の類似のパッチにわたって加重平均を用い、ノイズが除去されたピクセルを算出する代表的な方法である。
【0063】
図2Cおよび
図2Dに戻って、それぞれのタイプの特徴(例えば、腹部の特徴、肺の特徴、骨の特徴、他)に対して最適化された再構成処理/正則化パラメータを用いて再構成を行なうステップ210(1)、ステップ210(2)、ステップ210(3)等を用いて一連の異なる画像を再構成することにより、目標データを生成できる。
【0064】
例えば、異なる臨床目的のために、異なる再構成パラメータを用いて画像を再構成することができる。画像再構成における違いとして、異なる正則化パラメータを用いるだけではなく、異なる再構成法やその他のパラメータおよび方法(例えば、エッジ強調法)を用いることも可能である。
【0065】
図2Dに示す例において、腹部パラメータを用いて再構成される画像は、分解能が低下するものの、ノイズを大幅に低減できる。したがって、この画像は、腹部の診断にとって最適に再構成される。さらに、骨パラメータを用いて再構成される画像は、ノイズが増えるものの、分解能を高めることができる。
【0066】
広範にわたるパラメータが、特定の再構成画像の画像品質に影響を及ぼし得る。これらのパラメータの一部または全てを、再構成法を調整して特定の臨床応用および/または解剖学的領域にとって最適となるよう用いられる再構成パラメータに含めてもよい。画像品質に寄与するこれらの各種パラメータに、例えば、臨床試験計画書に基づくパラメータ、画像処理パラメータ、再構成核、他を含めてもよい。さらに、最適化することができる再構成パラメータに、再構成アーチファクト補正のためのパラメータを含めてもよい。金属アーチファクト、折り返しアーチファクトなどの補正は、再構成法によって決まり、これらは再構成パラメータに関係付けられる。
【0067】
ステップ220(1)、ステップ220(2)、ステップ220(3)等において、それぞれの特徴(例えば、腹部の特徴154(1)、肺の特徴154(2)、骨の特徴154(3)など)が、ステップ210(1)、ステップ210(2)、ステップ210(3)等を含むステップ210で生成された画像から抽出される。例えば、閾値および領域拡張法を用いて、画像を分割できる。さらに、HUの範囲を特定の特徴(例えば、腹部、肺、骨、など)に関連付けるハウンズフィールドマップを用いることができる。さらに、特定の質感、構造のための画像処置、または人体の図解書を用いて、生成画像内で領域および特徴を分割して決定してもよい。特定の実施形態において、ユーザが入力することにより、実施形態に示す特徴に応じて、生成画像を領域に分割し、当該領域にタグ付けしてもよい。
【0068】
例えば、生成画像のそれぞれから抽出する特徴は、ある特定の画像を最適化する際の対象だった特徴であってもよい。例えば、腹部において最適画像品質を有するよう再生される画像のために、腹部に対応する特徴を抽出してもよい。同様に、骨において最適画像品質を有するよう再生される画像のために、骨領域を抽出するといったようにしてもよい。
【0069】
ステップ240において、組み合わされた画像がそれぞれの特徴154からまとめられ、目標画像153が生成される。そのため、目標画像153は、各領域においておよびそれぞれの特徴のタイプ毎に、最適画像品質を持つことができる。特定の実施形態において、分割された領域間の遷移は、縫い合わせ(例えば、段階的遷移)により、領域間に唐突な境界がないよう目標画像153が均一に見えるようにしてもよい。
【0070】
特徴に応じた画像品質および/またはノイズ除去を有する目標データを用いてDLネットワーク170をトレーニングすることにより、DLネットワーク170は学習し、DLネットワーク170に適用された入力画像内に対応する特徴があるときに、これらの特徴を認識して同様の画像品質および/またはノイズ除去を有する画像を出力する。
【0071】
図3A、
図3B、および
図3Cは、腹部、肺、および骨領域のそれぞれに対して最適化された再構成を用いて生成された再構成画像の例を示す。
図3A、
図3B、および
図3Cに示すように、MBIRにより、ノイズの質感と空間分解能との間のトレードオフの関係を改善することができる。これは、多くの場合、正則化パラメータの調整によって行われる。しかしながら、多くの診療応用において、単純にパラメータ全体を調整することだけでは、再構成画像内に表れる全ての器官および特徴に対して、所望のまたは最適なノイズの質感および空間分解能を作り出すには不十分となり得る。
【0072】
図3A、
図3B、および
図3Cは、同じ一式の生データ105を使用し、それぞれ異なる正則化パラメータを用いて3つの異なる画像を再構成した例を示す。
図3Aにおいて、正則化パラメータに腹部最適化パラメータを用いた場合、画像は、骨構造で空間分解能が低下することになったものの、軟部組織でノイズの質感をよく表している。
図3Cにおいて、正則化パラメータに骨最適化パラメータを用いた場合、画像は、軟部組織でノイズの質感が低下することになったものの、骨構造で優れた空間分解能を示している。
図3Bにおいて、正則化パラメータに肺最適化パラメータを用いた場合、画像は、中間の空間分解能と中間のノイズ質感を組み合わせたものを示すが、肺領域に対して最適化した折衷案である。
【0073】
上記は、多くの臨床例で、1つの画像内の異なる解剖学的組織/器官に対して診断を実施することを考慮することにより、よりよく理解することができる。したがって、3つの別々の画像で、異なる解剖学的組織/器官に対してそれぞれ最適化することは、望ましくなく、また非効率的である。異なるパラメータで再構成された良好な特徴を、1つの画像に統合するのがよい。これは、
図3A、
図3B、および
図3Cに示すように画像のそれぞれに対して異なるパラメータを用いて画像を複数回再構成してから、これらの特徴/領域をまとめて合成して1つの特徴認識再構成を形成することにより達成されるであろうが、複数画像の再構成では非効率的である。したがって、実施形態に記載の方法は、再構成画像内の解剖学的組織/器官のそれぞれの分解能とノイズ質感の間の望ましいトレードオフの関係を実現するために、1つの画像を再構成した後、この再構成画像を、特徴認識ノイズ除去を実行するためトレーニングされたDLネットワーク170に適用する。
【0074】
ここで、DL-ANNネットワークのトレーニングについて、さらに詳細に説明する(例えば、トレーニングプロセス160)。この説明は、特徴認識ノイズ除去された画像目標データである目標画像153およびノイズの多い画像である入力画像157を用いて示す。
【0075】
図4は、トレーニングプロセス160の一実施形態のフローチャートを示す。トレーニングプロセス160において、低品質データである入力画像157および高品質データである目標画像153をトレーニングデータとして用いてDL-ANNネットワークがトレーニングされ、その結果、DL-ANNネットワークがトレーニングプロセス160のステップ319から出力される。トレーニングプロセス160は、対応する目標画像153と対になった多数の入力画像157を用いてDLネットワーク170をトレーニングし、DLネットワーク170がトレーニングされ、入力画像157から目標画像153に似た画像が生成される。
【0076】
トレーニングプロセス160において、一式のトレーニングデータが取得され、DLネットワーク170が繰り返し更新されることで、誤差(例えば、損失関数により生成された値)が減少する。DL-ANNネットワークにより、トレーニングデータにより示されるマッピングが推測され、DLネットワーク170の最新の更新値を入力画像157に適用することによって生成された結果と目標画像153とのずれに関する誤差値が、費用関数により生成される。例えば、特定の実施形態において、費用関数は、平均二乗誤差を用いて、平均二乗誤差を最小化してもよい。多層パーセプトロン(Multilayer Perceptrons:MLP)ニューラルネットワークの場合、(確率)勾配降下法を用いて平均二乗誤差ベースの費用関数を最小化することによりネットワークをトレーニングするために、逆伝播アルゴリズムを用いてもよい。
【0077】
トレーニングプロセス160のステップ316において、DLネットワーク170の係数のための最初の推測が行われる。例えば、最初の推測は、撮像される領域の先験的知識、または1つ以上の代表的なノイズ除去法、エッジ検出法、および/またはブロブ検出法に基づいてもよい。さらに、最初の推測は、LeCun初期化、Xavier初期化、およびKaiming初期化のいずれかに基づいてもよい。
【0078】
トレーニングプロセス160のステップ316~319は、DLネットワーク170をトレーニングするための最適化法の限定されない例を示す。
【0079】
(例えば、損失関数または費用関数を用いて)誤差が計算され、目標画像153(すなわち、グラウンドトルース)と最新版のDLネットワーク170を適用した後の入力画像157との違いの程度(例えば、距離尺度)が表示される。誤差は、上記費用関数などの任意の既知の費用関数または画像データ間の距離尺度を用いて、計算してもよい。さらに、特定の実施形態において、誤差/損失関数は、ヒンジ損失および交差エントロピー損失の1つ以上を用いて、計算してもよい。
【0080】
特定の実施形態において、DLネットワーク170は逆伝播法を用いてトレーニングされる。逆伝播法は、ニューラルネットワークをトレーニングするために用いることができ、勾配降下最適化法と組み合わせて使用される。順伝播の間、アルゴリズムにより、最新のパラメータΘに基づいてネットワークの予測値が計算される。次に、これらの予測値が損失関数に入力され、損失関数によって対応するグラウンドトルース標識(すなわち、高品質画像である目標画像153)と比較される。逆伝播の間、モデルにより、最新のパラメータに対する損失関数の勾配が計算され、その後、最小化された損失の方向に所定の刻み幅だけ進めることにより(例えば、Nesterovモーメンタム法や各種適応方法などの加速法では、より早く収束して損失関数が最適化されるように、刻み幅を選択できる)、パラメータが更新される。
【0081】
逆伝播法を実行する最適化法では、勾配降下法、バッチ勾配降下法、確率勾配降下法、およびミニバッチ確率勾配降下法のうちの1つ以上を用いてもよい。順伝播および逆伝播は、ネットワークのそれぞれの層で増分的に実行できる。順伝播において、第1の層に入力を与えることにより実行が開始され、次の層のために出力活性化が生成される。このプロセスは、最後の層の損失関数に達するまで、繰り返される。逆伝播の間、最後の層で、(もしあれば)それ自身の学習可能パラメータに対する勾配、および前の層の上流側の導関数となる自身の入力に対する勾配が計算される。このプロセスは、入力層に達するまで繰り返される。
【0082】
図4に戻って、トレーニングプロセス160のステップ317で、誤差の変化がネットワークにおけるその変化の関数として計算され(例えば、誤差勾配)、この誤差の変化を用いて、DLネットワーク170の重み/係数に対する次の変化のための方向および刻み幅が選択される。このような誤差の勾配の計算は、勾配降下法の特定の実施形態と整合性がとれている。特定の他の実施形態において、当業者には理解されるであろうが、このステップを、省略および/または別の最適化アルゴリズム(例えば、擬似焼きなまし法や遺伝的アルゴリズムのような勾配降下法ではない最適化アルゴリズム)による別のステップと入れ換えることができる。
【0083】
トレーニングプロセス160のステップ317において、新たな一式の係数が、DLネットワーク170のために算出される。例えば、勾配降下最適化法または過剰緩和加速法におけるように、重み/係数は、ステップ317で計算された変化を用いて、更新される。
【0084】
トレーニングプロセス160のステップ318において、DLネットワーク170の更新された重み/係数を用いて、新たな誤差値が計算される。
【0085】
ステップ319において、所定の停止基準を用いて、ネットワークのトレーニングが完了したか否かが判定される。例えば、所定の停止基準により、新たな誤差および/または実行された全反復回数が所定値を超えたか否かを評価することができる。例えば、新たな誤差が所定閾値未満になったか、または最大反復回数に達したか、いずれかの場合に、停止基準を満たすことができる。停止基準が満たされない場合、トレーニングプロセス160で実行されるトレーニングプロセスは繰り返しループのスタートに戻って続けられ、新たな重みおよび係数を用いてステップ317が繰り返される(繰り返しループは、ステップ317、318、および319を含む)。停止基準が満たされると、トレーニングプロセス160におけるトレーニングプロセスが終了する。
【0086】
図5Aおよび
図5Bは、DLネットワーク170における層の間の相互接続の様々な例を示す。DLネットワーク170に、全結合層、畳み込み層、およびプーリング層を含めることができる。これら全てについて以下に説明する。DLネットワーク170の特定の好適な実施形態において、畳み込み層が入力層の近くに配置される一方で、高度な推論を行なう全結合層は、損失関数に向かってアーキテクチャのさらに下に配置される。プーリング層は、畳み込みの後に挿入され、フィルタの空間広がり、ひいては学習可能パラメータの量を減少させる縮小を検証できる。また、活性化関数が様々な層に組み込まれることで、非線形性が導入され、ネットワークが複雑な予測関係を学習できるようになっている。活性化関数は、飽和活性化関数(例えば、シグモイドまたは双曲線正接の活性化関数)または正規化活性化関数(例えば、上述の第1および第2の例で適用した正規化線形ユニット(Rectified Linear Unit:ReLU))であってもよい。また、DLネットワーク170の層は、上述の第1および第2の例で示したように、バッチ正規化であってもよい。
【0087】
図5Aは、N個の入力、K個の隠れ層、および3個の出力を有する一般的なANNの例を示す。各層はノード(ニューロンともいう)で構成されており、各ノードで、入力の加重和が計算され、加重和の結果が閾値と比較されて、出力が生成される。ANNは、関数のクラスを構成しており、このクラスのメンバーは、閾値、接続重み、またはノード数および/またはノード接続性などのアーキテクチャの特質を変化させることにより取得される。ANN内のノードは、ニューロン(または、ニューロンノード)と呼ばれ、ニューロンは、ANNシステムの異なる層の間を相互に接続できる。シナプス(すなわち、ニューロン間の接続)は、計算においてデータを操作する「重み」(互換的に「係数」または「重み係数」ともいう)を格納する。ANNの出力は、(i)ニューロンの異なる層の間の相互接続パターン、(ii)相互接続の重みを更新するための学習プロセス、および(iii)ニューロンの重み付け入力をその出力活性化に変換する活性化関数である、3種類のパラメータによって決まる。
【0088】
数学的に、ニューロンのネットワーク関数m(x)は、他の関数n
i(x)の合成関数として定義され、該他の関数n
i(x)は、さらに他の関数の合成関数として定義されてもよい。これは都合よくネットワーク構造として表現することができ、
図5Aに示すように、矢印が変数間の依存性を表している。例えば、ANNに非線形加重和m(x)=K(Σ
iw
in
i(x))を用いてもよい。ここでK(通例、活性化関数という)は、双曲線正接などのある所定の関数である。
【0089】
図5Aにおいて(また同様に
図5Bにおいて)、ニューロン(すなわち、ノード)は閾値関数の周りの円で描かれている。
図5Aに示す限定されない例について、入力は線形関数の周りの円で描かれ、また矢印はニューロン間の有向接続を示している。特定の実施形態において、DLネットワーク170は、フィードフォワードネットワークである。
【0090】
図5Bは、DLネットワーク170がCNNである、限定されない例を示す。CNNは、ANNの一種であり、画像処理に有利な特性を有すため、画像ノイズ除去の適用と特に関連がある。CNNは、ニューロン間の接続パターンで画像処理における畳み込みを表現できる、フィードフォワードANNを用いる。例えば、CNNは、受容野と呼ばれる画像の入力部分を処理する小さいニューロンクラスタからなる複数の層を用いた画像処理の最適化に、用いることができる。そして、これらのクラスタの出力は、互いに重なり合うように並べられ、元の画像をより好適に表現することができる。この処理パターンを、畳み込み層とプーリング層とを交互に有する複数層にわたって繰り返すことができる。
【0091】
畳み込み層の後に続いて、畳み込み層におけるニューロンクラスタの出力を組み合わせる局所および/または広域プーリング層を、CNNに含めることができる。さらに、特定の実施形態において、各層の端にまたは後ろに点別非線形性を適用して、CNNに、畳み込み層および全結合層の様々な組み合わせを含めてもよい。
【0092】
図6は、医用イメージングシステム40の実施形態の例を示す。医用イメージングシステム40は、少なくとも1つのスキャン装置430と、それぞれが特別に構成された計算装置(例えば、特別に構成されたデスクトップコンピュータ、特別に構成されたラップトップコンピュータ、特別に構成されたサーバ)である1つ以上の画像生成装置410と、表示装置420とを含む。
【0093】
なお、スキャン装置430及び画像生成装置410は医用装置の一例である。例えば、スキャン装置430は、スキャンを実施することで取得した医用データについて、上述した方法10における種々のステップ及びその変形例を実施することができる。或いは、画像生成装置410、スキャン装置430から取得した医用データについて、上述した方法10における種々のステップ及びその変形例を実施することができる。
【0094】
スキャン装置430は、被検体(例えば、患者)の領域(例えば、部位、ボリューム、スライス)をスキャンすることにより、スキャンデータを収集するように構成される。走査モダリティは、例えば、MRI、CT、PET、X線撮影、および超音波診断であってもよい。スキャン装置430は、圧縮センシング再構成に適したランダムアンダーサンプリングを行った一式のスキャンデータを収集してもよく、または圧縮センシング処理に用いられ得るスキャンデータを収集してもよい。このため、圧縮センシングデータは、圧縮センシング処理で用いられ得る、または圧縮センシング再構成に適した、スキャンデータを含む。
【0095】
前記1つ以上の画像生成装置410は、スキャン装置430からスキャンデータを取得し、スキャンデータに基づいて被検体の領域の画像を生成する。画像を生成するために、例えば、スキャンデータが圧縮センシングデータである場合、前記1つ以上の画像生成装置410が、医用イメージングプロセス100の各ステップを実行してもよい。
【0096】
前記1つ以上の画像生成装置410が画像を生成した後、前記1つ以上の画像生成装置410は、画像を表示する表示装置420に、該画像を送信する。
【0097】
図7は、医用イメージングシステム40がCTスキャンを実行可能なガントリ500を含む実施形態を示す。
図7に示すように、ガントリ500は、側面からの様子が示されており、さらにX線管501、環状フレーム502、および複数列または2次元アレイ型X線検出器503を含む。X線管501およびX線検出器503は、直径方向に被検体OBJをはさんで環状フレーム502上に取り付けられ、環状フレーム502は回転軸RAの周りで回転可能に支持される。
【0098】
マルチスライスX線CT装置は、高電圧発生器509をさらに含み、高電圧発生器509は、X線管501がX線を生成するように、スリップリング508を介してX線管501に印加される管電圧を生成する。X線は、被検体OBJに向かって放射され、被検体OBJの断面領域は円によって表される。例えば、X線管501は、1回目のスキャンの間に、2回目のスキャンの間の平均X線エネルギーよりも少ない平均X線エネルギーを有する。したがって、異なるX線エネルギーに対応する2回以上のスキャンを、取得できる。X線検出器503は、被検体OBJを透過した照射X線を検出するために、被検体OBJをはさんでX線管501の反対側に位置する。X線検出器503は、さらに、独立した検出器要素または検出器ユニットを含む。
【0099】
CT装置は、さらに、X線検出器503からの検出信号を処理するための他の装置を含む。データ収集回路またはデータ収集システム(Data Acquisition System:DAS)504は、各チャネルについてX線検出器503から出力される信号を電圧信号に変換し、電圧信号を増幅し、さらに電圧信号をデジタル信号へと変換する。
【0100】
上記のデータは、非接触データ送信器505を介して、ガントリ500の外部のコンソール内に収容された前処理回路506に送信される。前処理回路506は、生データに対して、感度補正などの特定の補正を実行する。メモリ512は、結果として得られるデータ(投影データともいう)を再構成処理の直前の段階で格納する。メモリ512は、データ/制御バス511を介して、再構成回路514、入力インタフェース515、およびディスプレイ516と共に、処理回路510に接続される。処理回路510は、電流をCTシステムの駆動のために十分なレベルまで制限する電流調整回路513を制御する。
【0101】
検出器は、様々な世代のCTスキャナシステムの中の患者に対して、回転および/または固定される。一実施形態において、上記のCTシステムは、第3世代ジオメトリと第4世代ジオメトリを組み合わせたシステムの例であってもよい。第3世代システムでは、X線管501およびX線検出器503は、直径方向に環状フレーム502上に取り付けられ、環状フレーム502が回転軸RAを軸に回転させられると、被検体OBJの周りを回転する。第4世代ジオメトリシステムでは、検出器は、患者の周りに固定して配置され、X線管は患者の周りを回転する。代替的な実施形態において、ガントリ500は、Cアームおよびスタンドによって支持された環状フレーム502上に配置された複数の検出器を有する。
【0102】
メモリ512は、X線検出器503でのX線の放射照度を表す測定値を格納できる。さらに、メモリ512は、医用イメージングプロセス100を実行するための専用プログラムを格納できる。
【0103】
再構成回路514は、医用イメージングプロセス100の様々なステップを実行できる。さらに、再構成回路514は、必要に応じて、ボリュームレンダリング処理および画像差分処理などの前再構成処理および画像処理を実行できる。
【0104】
前処理回路506によって実行される投影データの前再構成処理は、例えば、検出器校正、検出器非線形性、および極性効果に対する補正を含んでもよい。
【0105】
再構成回路514によって実行される後再構成処理は、必要に応じて、画像のフィルタリングおよび平滑化、ボリュームレンダリング処理、ならびに画像差分処理を含んでもよい。画像再構成処理は、医用イメージングプロセス100の様々なステップを実装できる。再構成回路514は、メモリを使用して、例えば、投影データ、再構成画像、校正データおよびパラメータ、ならびにコンピュータプログラムを格納できる。
【0106】
再構成回路514は、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)、またはその他の複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)など、離散論理ゲートとして実現できるCPU(処理回路)を含んでもよい。FPGAまたはCPLDの実装は、VHDL、Verilog、またはその他のハードウェア記述言語でコード化されてもよく、また、コードはFPGAまたはCPLDにおいて電子メモリ内に直接格納されてもよいし、別個の電子メモリとして格納されてもよい。さらに、メモリ512は、ROM、EPROM、EEPROM、またはFLASHメモリなどの不揮発性のものであってもよい。また、メモリ512は、スタティックRAMまたはダイナミックRAMなどの揮発性のものでもよく、また、マイクロコントローラまたはマイクロプロセッサなどのプロセッサを、電子メモリ、およびFPGAまたはCPLDとメモリの間の連携を管理するために設けてもよい。
【0107】
また、再構成回路514におけるCPUは、実施形態に記載の機能を実行するコンピュータ可読命令の一式を含むコンピュータプログラムを実行してもよく、該プログラムは、上記の非一時的電子メモリおよび/またはハードディスクドライブ、CD、DVD、FLASHドライブ、あるいはその他の任意の既知の記憶媒体のいずれかに格納される。さらに、コンピュータ可読命令は、ユーティリティアプリケーション、バックグラウンドデーモン、またはオペレーティングシステムのコンポーネント、またはそれらの組み合わせとして提供されてもよく、米国Intel社のXenonプロセッサまたは米国AMD社のOpteronプロセッサなどのプロセッサと、また、Microsoft VISTA、UNIX(登録商標)、Solaris、LINUX(登録商標)、Apple、MAC-OS、および当業者にとって既知のオペレーティングシステムなどのオペレーティングシステムと共に動作する。さらに、CPUは、命令を実行するために並行して協同で動作する、複数のプロセッサとして実装されてもよい。
【0108】
一実施形態において、再構成画像は、ディスプレイ516上に表示されてもよい。ディスプレイ516は、LCDディスプレイ、CRTディスプレイ、プラズマディスプレイ、OLED、LED、またはその他の本技術分野で既知のディスプレイであってもよい。
メモリ512は、ハードディスクドライブ、CD-ROMドライブ、DVDドライブ、FLASHドライブ、RAM、ROM、またはその他の本技術分野で既知の電子記憶装置であってもよい。
【0109】
以上説明した少なくとも1つの実施形態によれば、医用画像の画質を向上させることができる。
【0110】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0111】
40 医用イメージングシステム
500 ガントリ
514 再構成回路