IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 東芝メディカルシステムズ株式会社の特許一覧

<>
  • 特許-医用装置 図1
  • 特許-医用装置 図2
  • 特許-医用装置 図3
  • 特許-医用装置 図4
  • 特許-医用装置 図5
  • 特許-医用装置 図6
  • 特許-医用装置 図7
  • 特許-医用装置 図8A
  • 特許-医用装置 図8B
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-10
(45)【発行日】2024-05-20
(54)【発明の名称】医用装置
(51)【国際特許分類】
   A61B 6/03 20060101AFI20240513BHJP
   G01T 1/161 20060101ALI20240513BHJP
   G06N 3/02 20060101ALI20240513BHJP
【FI】
A61B6/03 550F
A61B6/03 560T
G01T1/161 D
G06N3/02
【請求項の数】 17
(21)【出願番号】P 2020035531
(22)【出願日】2020-03-03
(65)【公開番号】P2021013726
(43)【公開日】2021-02-12
【審査請求日】2023-01-12
(31)【優先権主張番号】16/509,408
(32)【優先日】2019-07-11
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】イルマー ハイン
(72)【発明者】
【氏名】ジョウ ユウ
(72)【発明者】
【氏名】ティン シア
【審査官】亀澤 智博
(56)【参考文献】
【文献】国際公開第2018/210648(WO,A1)
【文献】特開2019-069145(JP,A)
【文献】米国特許出願公開第2019/0147588(US,A1)
【文献】特開平04-144550(JP,A)
【文献】特開昭59-156331(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00 - 6/58
G01T 1/161 - 1/166
G06T 1/00 , 7/00
(57)【特許請求の範囲】
【請求項1】
検出器によって検出された放射線の強度を表すサイノグラムを取得し、
ニューラルネットワークを取得し、
前記取得されたサイノグラムを前記ニューラルネットワークに適用することによって、前記ニューラルネットワークから、2以上のアーチファクトの指標を出力し、
前記ニューラルネットワークからの前記指標に基づいて、前記取得されたサイノグラムによって第1のアーチファクトが呈示されるか否か、および前記取得されたサイノグラムによって第2のアーチファクトが呈示されるか否かを判定し、
1以上のアーチファクトが前記取得されたサイノグラムによって呈示されると判定されるときは、前記取得されたサイノグラムによって呈示されると判定されている前記1以上のアーチファクトを補正することによって補正されたサイノグラムを生成し、前記補正されたサイノグラムについて再構成処理を実行し、
前記1以上のアーチファクトが前記取得されたサイノグラムによって呈示されないと判定されるときは、前記取得されたサイノグラムについて再構成処理を実行する処理回路を備え
前記処理回路は、更に、
前記取得されたサイノグラムによって呈示されると判定される前記1以上のアーチファクトのうち少なくとも1つが修復困難且つスキャンの中止を要する程度のアーチファクトであるか否かを判定し、
前記1以上のアーチファクトのうちの少なくとも1つが修復困難且つスキャンの中止を要する程度のアーチファクトであるときは、前記再構成処理を実行することなく、前記サイノグラムの取得を停止する、医用装置。
【請求項2】
前記処理回路は、更に、
前記ニューラルネットワークからの前記指標に基づいて、前記取得されたサイノグラムによって呈示されると判定される前記1以上のアーチファクトのうち少なくとも1つが、前記サイノグラムを取得するためのプロトコルを変更することによって軽減できるか否かを判定し、
前記プロトコルを変更することによって前記1以上のアーチファクトのうち少なくとも1つが軽減できるときは、前記サイノグラムを取得するための前記プロトコルを変更し、当該変更されたプロトコルを使用して、前記サイノグラムの取得を継続する、請求項に記載の医用装置。
【請求項3】
検出器によって検出された放射線の強度を表すサイノグラムを取得し、
ニューラルネットワークを取得し、
前記取得されたサイノグラムを前記ニューラルネットワークに適用することによって、前記ニューラルネットワークから、2以上のアーチファクトの指標を出力し、
前記ニューラルネットワークからの前記指標に基づいて、前記取得されたサイノグラムによって第1のアーチファクトが呈示されるか否か、および前記取得されたサイノグラムによって第2のアーチファクトが呈示されるか否かを判定し、
1以上のアーチファクトが前記取得されたサイノグラムによって呈示されると判定されるときは、前記取得されたサイノグラムによって呈示されると判定されている前記1以上のアーチファクトを補正することによって補正されたサイノグラムを生成し、前記補正されたサイノグラムについて再構成処理を実行し、
前記1以上のアーチファクトが前記取得されたサイノグラムによって呈示されないと判定されるときは、前記取得されたサイノグラムについて再構成処理を実行する処理回路を備え、
前記処理回路は、更に、
前記ニューラルネットワークからの前記指標に基づいて、前記取得されたサイノグラムによって呈示されると判定される前記1以上のアーチファクトのうち少なくとも1つが、前記サイノグラムを取得するためのプロトコルを変更することによって軽減できるか否かを判定し、
前記プロトコルを変更することによって前記1以上のアーチファクトのうち少なくとも1つが軽減できるときは、前記サイノグラムを取得するための前記プロトコルを変更し、当該変更されたプロトコルを使用して、前記サイノグラムの取得を継続する、医用装置。
【請求項4】
前記処理回路は、
更に、別のニューラルネットワークを取得し、
前記取得されたサイノグラムを前記別のニューラルネットワークに適用することによって、呈示されると判定される前記1以上のアーチファクトを補正し、前記別のニューラルネットワークからの出力を、前記補正されたサイノグラムとして生成する、請求項1~3のいずれか一項に記載の医用装置。
【請求項5】
前記ニューラルネットワークは、(i)ビーム硬化アーチファクト、(ii)リングアーチファクト、(iii)運動アーチファクト、(iv)金属アーチファクト、(v)光子不足アーチファクト、(vi)風車アーチファクト、(vii)リングアーチファクト、(viii)ゼブラアーチファクト、(ix)部分ボリュームアーチファクト、(x)カッピングアーチファクト、(xi)切り捨てアーチファクト、(xii)ストリーキングアーチファクト、および(xiii)シャドウイングアーチファクトのうち2以上が、前記サイノグラムによって呈示されるかどうかを示す指標を出力するように訓練されている、請求項1~3のいずれか一項に記載の医用装置。
【請求項6】
前記処理回路は更に、
入力サイノグラムが1以上のアーチファクトを示すか否かを示すそれぞれの目標指標と組み合わせた入力サイノグラムを含んだ、第1の訓練データセットを入手することと、
所与の前記入力サイノグラムを前記ニューラルネットワークに適用して対応するアーチファクト指標を生成することにより、前記ニューラルネットワークを使用して前記入力サイノグラムそれぞれからアーチファクト指標を生成することと、
損失関数の値を最小にするように前記ニューラルネットワークの重み付け係数を反復的に調整することとによって、
前記ニューラルネットワークを訓練し、
前記損失関数は、前記第1の訓練データセットのそれぞれの入力サイノグラムに応答して生成されたアーチファクト指標と、前記第1の訓練データセットの対応する目標指標との間の不一致を評価する、請求項1に記載の医用装置。
【請求項7】
前記処理回路は更に、
それぞれの目標サイノグラムと組み合わせた入力サイノグラムを含む第2の訓練データセットを入手することと、
前記入力サイノグラムを前記別のニューラルネットワークに適用することにより、前記別のニューラルネットワークを使用して前記入力サイノグラムそれぞれからアーチファクトが補正されたサイノグラムを生成することと、
損失関数の値を最小にするために前記別のニューラルネットワークの重み付け係数を反復的に調整することとによって、
前記別のニューラルネットワークを訓練し、
前記入力サイノグラムは、前記取得されたサイノグラムにより呈示されると判定される前記1以上のアーチファクトを示し、
前記目標サイノグラムは、前記取得されたサイノグラムにより呈示されると判定される前記1以上のアーチファクトを示さないか、またはより少ない当該アーチファクトを示し、
前記損失関数は、それぞれの目標サイノグラムと、それぞれの入力サイノグラムを前記別のニューラルネットワークに適用することに応答して生成された対応するアーチファクトが補正されたサイノグラムとの間の不一致を評価する、請求項4に記載の医用装置。
【請求項8】
検出器によって検出された放射線の強度を表すサイノグラムを取得し、
前記サイノグラムから画像を再構成し、
ニューラルネットワークを取得し、
前記再構成された画像を前記ニューラルネットワークに適用することによって、前記ニューラルネットワークから、2以上のアーチファクトの指標を出力し、
前記ニューラルネットワークからの前記指標に基づいて、前記再構成された画像によって第1のアーチファクトが示されているか否か、および前記再構成された画像によって第2のアーチファクトが示されているか否かを判定し、
1以上のアーチファクトが前記再構成された画像によって呈示されると判定されるときは、前記再構成された画像によって呈示されると判定されている前記1以上のアーチファクトを補正することによって、補正された画像を生成する処理回路を備え
前記処理回路は、更に、
前記再構成された画像によって呈示されると判定される前記1以上のアーチファクトのうち少なくとも1つが修復困難且つスキャンの中止を要する程度のアーチファクトであるか否かを判定し、
前記1以上のアーチファクトのうちの少なくとも1つが修復困難且つスキャンの中止を要する程度のアーチファクトであるときは、前記サイノグラムの取得を停止し、そうでなければ前記サイノグラムの取得を継続する、医用装置。
【請求項9】
前記処理回路は、更に、
前記ニューラルネットワークからの前記指標に基づいて、前記再構成された画像によって示されると判定される前記1以上のアーチファクトのうち少なくとも1つが、前記サイノグラムを取得するためのプロトコルを変更することによって軽減できるか否かを判定し、
前記プロトコルを変更することによって前記1以上のアーチファクトのうち少なくとも1つが軽減できるときは、前記サイノグラムを取得するための前記プロトコルを変更し、当該変更されたプロトコルを使用して、前記サイノグラムの取得を継続する、請求項に記載の医用装置。
【請求項10】
前記処理回路は、
更に、別のニューラルネットワークを取得し、
前記再構成された画像を前記別のニューラルネットワークに適用することによって、呈示されると判定される前記1以上のアーチファクトを補正し、前記別のニューラルネットワークからの出力を、前記補正された画像として生成する、請求項8又は9に記載の医用装置。
【請求項11】
前記処理回路は更に、
入力画像が1以上のアーチファクトを呈示するか否かを示すそれぞれの目標指標と組み合わせた入力画像を含む、第1の訓練データセットを入手することと、
所与の前記入力画像を前記ニューラルネットワークに適用して対応するアーチファクト指標を生成することにより、前記ニューラルネットワークを使用して前記入力画像それぞれからアーチファクト指標を生成することと、
損失関数の値を最小にするように前記ニューラルネットワークの重み付け係数を反復的に調整することとによって、
前記ニューラルネットワークを訓練し、
前記損失関数は、前記第1の訓練データセットのそれぞれの入力画像に応答して生成されたアーチファクト指標と、前記第1の訓練データセットの対応する目標指標との間の不一致を評価する、請求項8に記載の医用装置。
【請求項12】
前記処理回路は更に、
それぞれの目標画像と組み合わせた入力画像を含む第2の訓練データセットを入手することと、
前記入力画像を前記別のニューラルネットワークに適用することにより、前記別のニューラルネットワークを使用して前記入力画像それぞれからアーチファクト補正された画像を生成することと、
損失関数の値を最小にするために前記別のニューラルネットワークの重み付け係数を反復的に調整することとによって、
前記別のニューラルネットワークを訓練し、
前記入力画像は、前記再構成された画像により呈示されると判定される前記1以上のアーチファクトを示し、
前記目標画像は、前記再構成された画像により呈示されると判定される前記1以上のアーチファクトを示さないか、またはより少ない当該アーチファクトを示し、
前記損失関数は、それぞれの目標画像と、それぞれの入力画像を前記別のニューラルネットワークに適用することに応答して生成された対応するアーチファクト補正された画像との間の不一致を評価する、請求項10に記載の医用装置。
【請求項13】
前記サイノグラムは、X線投影データ、ポジトロン放射断層撮影データ、および単一光子放出コンピュータ断層撮影データのうちの1つである、請求項1~12のいずれか一項に記載の医用装置。
【請求項14】
前記サイノグラムは、X線投影データであり、
前記処理回路は、X線管の電流、X線管の電圧、X線ビームのコーンビーム角度、ヘリカルスキャンのピッチ、校正、および前記検出器の画素ピッチのうちの1以上を変更することによって、前記プロトコルを変更する、請求項2、3又は9に記載の医用装置。
【請求項15】
前記処理回路は更に、
別のニューラルネットワークを取得し、
前記別のニューラルネットワークにCT画像を適用して、残留アーチファクトが前記CT画像によって呈示されるかどうかを示す出力を生成し、
前記別のニューラルネットワークからの出力が、前記CT画像によって前記残留アーチファクトが呈示されることを示すときに、前記残留アーチファクトが前記CT画像によって呈示されることを前記医用装置のユーザに知らせる、請求項1に記載の医用装置。
【請求項16】
前記処理回路は更に、
別のニューラルネットワークを取得し、
前記別のニューラルネットワークにCT画像を適用することによって、前記別のニューラルネットワークから別の2以上のアーチファクトの指標を出力し、
前記別のニューラルネットワークからの指標に基づいて、前記CT画像によって第3のアーチファクトが呈示されるか否か、および前記CT画像によって第4のアーチファクトが呈示されるか否かを判定し、
別の1以上のアーチファクトが前記CT画像によって呈示されると判定されるときは、前記CT画像によって示されると判定される前記別の1以上のアーチファクトを補正することによって、補正された画像を生成する、請求項1に記載の医用装置。
【請求項17】
前記ニューラルネットワークは、前記取得されたサイノグラムによって呈示されると判定される前記1以上のアーチファクトが(i)光子不足アーチファクト、(ii)風車アーチファクト、(iii)リングアーチファクト、(iv)ゼブラアーチファクト、(v)部分ボリュームアーチファクト、および(vi)切り捨てアーチファクトのうち1以上を含むときは、前記サイノグラムを取得するためのプロトコルに対する変更を指示する指標を発生するように訓練されている、請求項2又は3に記載の医用装置。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書等に開示の実施形態は、医用装置に関する。
【背景技術】
【0002】
本開示は、再構成医用画像の画質を改善するための深層学習(Deep Learning:DL)ネットワークの使用に関し、より詳細には、再構成コンピュータ断層撮影(Computed Tomography:CT)画像、ポジトロン放射断層撮影(Positron Emission Tomography:PET)画像、磁気共鳴イメージング(Magnetic Resonance Imaging:MRI)画像におけるノイズおよびアーチファクトを低減するためのDLネットワークの使用に関する。
【0003】
コンピュータ断層撮影(CT)システムおよび方法は、特に医用イメージングおよび診断に広く使用されている。CTシステムは一般に、対象の身体を通して1以上の断面スライス画像を作成する。X線源のような放射線源は、身体の一方の側から放射線を照射する。身体の反対側にある少なくとも1つの検出器は、身体を透過した放射線を受け取る。そして、身体を通過した放射線の減衰が、検出器から受信された電気信号を処理することによって測定される。
【0004】
CTサイノグラムは、様々な投影測定値について、身体を通しての減衰を、検出器アレイに沿った位置の関数として、またX線源と検出器アレイの間の投影角の関数として示す。サイノグラムにおいて、空間次元はX線検出器のアレイに沿った位置を言う。時間/角度次元は、CTスキャン中に時間の関数として変化するX線の投射角度を言う。撮像される被検体の中の点から生じる減衰は、垂直軸の周りに正弦波を描く。回転軸からより遠いこれらの点は、より大きな振幅を有する正弦波を生成し、この正弦波の位相は、回転軸の周囲の物体の角度位置に対応する。逆ラドン変換(またはその他の画像再構成方法)を実行すると、サイノグラムの投影データから画像が再構成される。
【0005】
X線CTと同様に、ポジトロン放射断層撮影(PET)および単一光子放出CT(Single Photon Emission CT:SPECT)を用いて、医用イメージングを行うことができる。PETイメージングでは、トレーサ物質が患者の中に導入され、当該物質の物理的および生体分子的特性により、それが患者の身体の特定の位置に集中される。当該トレーサはポジトロンを放出し、このポジトロンが電子と衝突すると消滅事象が生じ、これにより実質的に180度離れて移動する2つのガンマ線(511keVで)を生成する。
【0006】
PETイメージングシステムは、患者の周囲に配置された検出器を使用して、ガンマ線の同時発生対を検出する。各々の角度から来るガンマ線を検出するために、検出器の輪を使用することができる。したがって、PETスキャナは、ガンマ線の等方性放射の捕捉を最大にするために、実質的に円筒形であることができる。PETスキャナは、数千の個々の結晶(例えば、ルテチウムオルトシリケート(Lutetium Yttrium Orthosilicate:LYSO)または他のシンチレータ結晶)からなることができ、これらは二次元のシンチレータアレイに配列されて、それぞれのシンチレーション事象からの光パルスを測定するために光検出器を備えたモジュールにパッケージされる。例えば、シンチレータ結晶アレイの各素子からの光は、複数の光電子増倍管(Photomultiplier Tube:PMT)の間で共有することができ、或いはシンチレータ結晶アレイの素子と1対1で対応するシリコン光電子増倍管(Silicon Photomultiplier:SiPM)によって検出することができる。
【0007】
断層撮影再構成原理によってトレーサの時空間分布を再構成するために、各検出された事象は、そのエネルギー(即ち発生した光の量)、その位置、およびそのタイミングに関して特徴付けることができる。2つの一致するガンマ線を検出し、それらの位置の間に線を引くことによって、元の崩壊のありそうな位置に対応した応答線(Line-of-Response:LOR)を決定することができる。タイミング情報を使用することにより、飛行時間(Time-of-Flight:TOF)分析を使用して、元の崩壊のありそうな位置をLORに沿った統計的分布(例えば、ガウス曲線)へと狭めることができる。このプロセスは、多数の同時発生計数を累積することによって、元の崩壊の位置についての線/領域を識別するだけであるが、トモグラフィ再構成プロセスは、活性分布の画像(例えば、患者内のトレーサ密度)を推定することができる。
【0008】
上記で述べたように、前記同時発生対のLORおよびタイミング情報は、放射能の断層画像を再構成するために使用され、臨床情報をもたらす。しかしながら、この臨床情報はしばしばノイズや散乱によって不明瞭になる場合がある。ノイズは、様々なノイズ除去方法を使用してある程度軽減することができるが、ノイズ除去方法は画像にアーチファクトを導入し、入力画像のノイズレベルに依存して不均一な画質を生じる可能性がある。
【0009】
X線CT、PET、およびSPECTに加えて、磁気共鳴イメージング(MRI)は、患者を診断およびモニターするために使用できる一般的な医用イメージング法である。これらの医用イメージング法の各々は、運動アーチファクトなどの様々なイメージングアーチファクトの影響を受けやすい可能性がある。
【0010】
アーチファクトは医用画像においては珍しくはない。臨床的には、これらアーチファクトは、病理を不明瞭化して偽陰性をもたらすか、または病理として誤認されて偽陽性をもたらす可能性がある。様々な医用イメージング法におけるアーチファクトは、しばしば病理を不明瞭化したり模倣したりする。従って、アーチファクトは、臨床診断を困難にしたり、エラーを起こしやすくしたりする場合がある。そのような複雑化は、例えば、MRIやX線CTによって取得された高解像度データセットにおいては増幅される。
【0011】
幾つかのアーチファクト(例えば、金属インプラントやリング由来のアーチファクト、ビーム硬化アーチファクトなど)は、画像取得および処理の様々な段階で容易に認識および補正できるが、現在のところ、イメージングワークフロープロセスにおける自動アーチファクト検出および補正のメカニズムは存在しない。その代わりに、患者がスキャンされ、次いで画像が再構築された後に、技術者によってアーチファクトが識別されることが多く、これは既に退出させた患者を呼び戻してイメージングスキャンを実行し、次いで画像を再構築するプロセスを繰り返すといった非効率をもたらす可能性がある。結果として、アーチファクトは臨床上の非効率性を浮き彫りにし、長いワークフロー時間の一因となる。
【0012】
ユーザがアーチファクトを認識し、特定のアーチファクトを補正するために適切なアルゴリズムを選択できる限り、ときには、アーチファクトは後処理で除去することができる。他の場合には、アーチファクトが大きすぎて画像処理技術では効果的に除去できないので、患者を再スキャンしなければならない。例えば、患者による小さな動きは補正されるであろうが、大きな動きはスキャンを回復不能にする可能性がある。スキャンが修復不能との判定がずっと後になってしかなされなければ、患者を退出させたときに、別のスキャンを実行できるまでにかなりの時間が失われる可能性がある。
【0013】
更に、医用撮像スキャナのオペレータ/技術者の専門知識に頼ってアーチファクトを検出し、次いでスキャンされたデータにアーチファクト低減方法を適用するのは非効率的である可能性がある。例えば、経験の浅いオペレータは、何がアーチファクトで何がアーチファクトでないかを認識できない可能性がある。更に、オペレータは、何れの種類のアーチファクトであるかを誤って認識し、したがって誤ったアーチファクト低減方法/アルゴリズムを適用し、結果として画質が悪くなる可能性がある。更に、異なるアーチファクト低減方法を試して何れが最良の結果をもたらすかを見出すことによる推測およびチェックアプローチは、特に、与えられた医用画像に複数種類のアーチファクトが存在する可能性があるため、時間を要し非効率的である可能性がある。
【0014】
したがって、イメージングチェーンの一体的な部分としての、アーチファクトを検出しかつそれらを補正する自動化された方法は、個々の患者のワークフロー効率を高めてワークフロー時間を低減し、したがって治療できる患者の数を増やすために有益であろう。
【0015】
上記の「背景」の説明は、本開示の文脈を一般的に提示することを目的とするものである。本発明者らの研究は、この背景技術の項に記載された範囲において、ならびに他の点で出願時の先行技術としての適格性がないかもしれない説明の態様において記載された範囲において、明示的にも暗示的にも本発明に対する先行技術としては認められない。
【先行技術文献】
【特許文献】
【0016】
【文献】米国特許第7751524号明細書
【文献】米国特許第6907100号明細書
【文献】米国特許出願公開第2014/746012号明細書
【文献】米国特許出願公開第2016/182156号明細書
【文献】米国特許出願公開第2016/206892号明細書
【文献】米国特許出願公開第2016/370230号明細書
【文献】中国特許出願公開第107945132号明細書
【文献】中国特許出願公開第107871332号明細書
【文献】米国特許出願公開第2019/0073804号明細書
【文献】欧州特許第3404615号明細書
【非特許文献】
【0017】
【文献】Zhang Y, et al. “A Hybrid Metal Artifact Reduction Algorithm For X-Ray CT.“; Med Phys. April 2013; 40(4):041910. doi:10.1118/1.4794474.
【発明の概要】
【発明が解決しようとする課題】
【0018】
本明細書等に開示の実施形態が解決しようとする課題の一つは、ワークフローを改善することである。ただし、本明細書等に開示の実施形態により解決される課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を、本明細書等に開示の実施形態が解決する他の課題として位置付けることもできる。
【課題を解決するための手段】
【0019】
実施形態の医用装置は、検出器によって検出された放射線の強度を表すサイノグラムを取得し、ニューラルネットワークを取得し、前記取得されたサイノグラムを前記ニューラルネットワークに適用することによって、前記ニューラルネットワークから、2以上のアーチファクトの指標を出力し、前記ニューラルネットワークからの前記指標に基づいて、前記取得されたサイノグラムによって第1のアーチファクトが呈示されるか否か、および前記取得されたサイノグラムによって第2のアーチファクトが呈示されるか否かを判定し、1以上のアーチファクトが前記取得されたサイノグラムによって呈示されると判定されるときは、前記取得されたサイノグラムによって呈示されると判定されている前記1以上のアーチファクトを補正することによって補正されたサイノグラムを生成し、前記補正されたサイノグラムについて再構成処理を実行し、前記1以上のアーチファクトが前記取得されたサイノグラムによって呈示されないと判定されるときは、前記取得されたサイノグラムについて再構成処理を実行する処理回路を備える。
【図面の簡単な説明】
【0020】
図1図1は、一実施に従って、1以上の深層学習(DL)ネットワークを使用することにより、医用イメージングスキャン内のアーチファクトを検出および補正する方法の流れ図を示す。
図2図2は、一実施に従って、画像領域内およびサイノグラム領域内のアーチファクトを検出および補正する方法の流れ図を示す。
図3図3は、一実施に係る検出および補正すべきアーチファクトの図を示す。
図4図4は、一実施に係るDLネットワークを訓練するためのプロセスの流れ図を示す。
図5図5は、一実施に係るフィードフォワード人工ニューラルネットワーク(Artificial Neural Network:ANN)の図を示す。
図6図6は、一実施に係るX線コンピュータ断層撮影(CT)スキャナのハードウエア構成を示す。
図7図7は、一実施に係る磁気共鳴イメージング(MRI)スキャナのハードウエア構成を示す。
図8A図8Aは、一実施に係るポジトロン放射断層撮影(PET)スキャナの斜視図を示す。
図8B図8Bは、一実施に係るPETスキャナのハードウエア構成を示す。
【発明を実施するための形態】
【0021】
本明細書で使用される不定冠詞「a」または「an」の用語は、1つまたは複数として定義される。本明細書で使用される「複数」の用語は、2以上として定義される。本明細書で使用される「別の」の用語は、少なくとも第2のまたはそれ以上として定義される。本明細書で使用される「含む」および/または「有する」との用語は、具備する(即ち、オープン言語)として定義される。この文書の全体を通して、「一実施形態」、「特定の実施形態」、「実施形態(embodiment)」、「実施(implementation)」、「実施例(example)」、または同様の用語への言及は、その実施形態に関して説明した特定の特徴、構造、または特性が、本開示の少なくとも1つの実施形態に含まれることを意味する。したがって、このような語句の出現または本明細書全体に亘る種々の場所での出現は、必ずしも全部が同じ実施形態を参照しているわけではない。更に、特定の特徴、構造、または特性は、制限なく、1つまたは複数の実施形態において任意の適切な方法で組み合わされてよい。
【0022】
上述のように、アーチファクトは、医用イメージング法によって生成された画像に一般的に存在し、しばしば病理を不明瞭化したり模倣したりすることによって、臨床診断を困難にしたりエラーを起こしやすくしたりする。そのような複雑さは、例えば磁気共鳴イメージングおよびコンピュータ断層撮影(CT)により取得された高解像度データセットにおいて増幅される。特に、CTデータセットはアーチファクトの影響を受けやすく、これはアーチファクトの疑われる原因に従って広く分類でき、(1)物理学ベースのアーチファクト、(2)患者ベースのアーチファクト、(3)スキャナベースのアーチファクト、および(4)画像再構成アーチファクトが含まれる。物理学ベースのアーチファクトには、ビーム硬化、部分ボリューム、光子不足から生じるアーチファクト、およびデータ取得の物理学から生じる他のアーチファクトが含まれ得る。患者ベースのアーチファクトは、動き、金属インプラント、切り捨て(例えば、スキャナの視野外にある患者の解剖学的構造)、および他の患者関連の要因によって発生する可能性がある。リングアーチファクトを含むスキャナベースのアーチファクトは、検出器素子の誤動作または校正欠陥が原因であり得る。画像再構成アーチファクトには、コーンビームアーチファクト、ヘリカル「風車」アーチファクト、および画像再構成アルゴリズムから生じる他のアーチファクトが含まれ得る。
【0023】
リングおよびビーム硬化アーチファクトおよび金属インプラント由来のアーチファクトのような幾つかのアーチファクトは、画像取得および処理の様々な段階で認識および補正できるが、イメージングワークフロープロセスにおける自動的なアーチファクト検出および補正のためのメカニズムは現在存在しない。その代わり、アーチファクトは患者がスキャンされ、画像が再構成された後に技術者によって識別されることが多く、それは問題を直ちに検出および補正するのではなく、患者を再度スキャンするというワークフローの非効率性を導く可能性がある。結果として、アーチファクトは臨床上の非効率性を浮き彫りにし、長いワークフロー時間の一因となる。
【0024】
したがって、アーチファクトを検出し、それらをイメージングチェーンの一体的部分として補正する自動化された方法は、個々の患者のワークフロー効率を高め、ワークフロー時間を短縮して、治療できる患者の数を増やすために有益である。これらの利点は、スキャンデータ内のアーチファクトを検出および補正するために、サイノグラムデータ(および特定の実施では再構成画像)をリアルタイムかつインサイチューでモニターすることにより達成される。これらの補正は、(i)アーチファクトを除去するための後処理、(ii)スキャンパラメータ/プロトコルの調整、(iii)スキャンから除外すべきデータへのフラグ付け、および(iv)データが回復不能と見なされたときのスキャンの停止および最初から再開を含む、様々な形態で生じ得る。
【0025】
医用画像における特徴の識別および抽出のための様々な方法が存在する。例えば、コンピュータビジョンおよびパターン認識技術は、アーチファクトを示すパターンを検出するための画像処理において使用することができる。
【0026】
本明細書に記載の方法とは対照的に、コンピュータビジョンおよびパターン認識技術は様々な制限を受ける。実際に、コンピュータビジョンおよびパターン認識技術は、関心のある特徴について広範な知識を有する人間の専門家によって特別に設計されなければならないので、限られた成功しか収めていない。したがって、各アプリケーションは特別な機能またはスキャナの幾何学形状のためにカスタム設計されており、各アプリケーションはかなりの手作業を必要とし、他の特徴のために一般化することができない。
【0027】
本明細書に記載の方法は、深層学習(DL)ネットワーク(例えば、畳み込みニューラルネットワーク(Convolutional Neural Network:CNN))を使用することによって、上記の制限を克服する。CNNおよびDLネットワークは、以前のコンピュータビジョンおよびパターン認識技術よりもロバストで一般化可能であることができる。したがって、本明細書に記載の方法は、X線CTデータおよび画像内の潜在的なアーチファクトを識別するために、DLネットワーク(例えばCNN)を使用する。一定の実施において、CNNへの入力は画像データおよびサイノグラムであり、CNNからの出力は何れのアーチファクトが存在するか、およびサイノグラム/画像の何れの部分にアーチファクトが存在するかを示すリストである。
【0028】
本明細書に記載の方法は、アーチファクト検出CNNをCTスキャナおよび画像再構成ワークフローに統合し、この統合されたアーチファクト検出CNNがワークフロー動作を決定するために使用される。このアーチファクト検出CNNによって決定されるこれらワークフロー動作は、スキャンを中断する決定、何れのアーチファクト補正方法(もしあれば)を適用するか、アーチファクトを軽減するためのスキャンプロトコルの変更、およびCT画像を再構成するときに使用する再構成アルゴリズムを含むことができる。例えば、特定の再構成アルゴリズムは、それぞれの種類のアーチファクトをより良好に最小化することができる。全変動最小化(Total-Variation minimization:TV)正則化器を使用する反復再構成は、ストリークアーチファクトを低減できることを考慮されたい。
【0029】
スキャンを中断する決定に関しては、もし深刻なアーチファクトが存在するため画像が臨床用途には全く不適切になっているならば、スキャンを継続する意味がなく、スキャンは中断されて技術者/ユーザに通知される。技術者に送信されるシグナル/メッセージには、解決策の提案と共に、考え得る原因のリストを含めることができる。スキャンを中断することについて考え得る原因には、患者の動きが過度であること;コントラストの増強を伴うスキャンについて画像にコントラストが表示されないこと;またはシステムの誤動作により使用不能な画像が生成されることが含まれる。
【0030】
何れのアーチファクト補正を適用するかの決定に関しては、もし補正可能なアーチファクトが検出されれば、適用可能なアーチファクト補正方法(例えば、その特定種類のアーチファクトを補正するように訓練されたDLネットワーク)が選択され、前記補正可能なアーチファクトを補正するために適用される。補正可能なアーチファクトの幾つかの例は、例えば、金属アーチファクトが検出された場合の金属アーチファクト補正、切り捨てが検出された場合の切り捨て補正、またはヨウ素コントラスト増強心臓スキャンにおいてビーム硬化が検出された場合のヨウ素ビーム硬化補正が含まれる。
【0031】
何れの再構成アルゴリズムを適用するかの決定に関して、例えば非常に高いノイズアーチファクトが検出されたならば、低線量でうまく機能する再構成アルゴリズムを使用する。
【0032】
スキャンプロトコルを如何にして変更するかの決定に関しては、スキャンプロトコルを調整することによってアーチファクトを補正できるならば、プロトコルが調整され、再スキャンが実行される。再スキャンは自動的に実行することができ、または再スキャンを開始する前で技術者からの信号を待つ前に、再スキャンが推奨されることを技術者に知らせることができる。一例は、線量が低すぎるときに、ノイズが多すぎる画像を生じる場合である。
【0033】
一定の実施では、画像正常性検出CNNが、画像保管通信システム(Picture Archiving and Communication System:PACS)に送信する前の最終チェックとして使用される。画像が最終テストに合格しなかった場合には技術者に通知される。
【0034】
ここで図面を参照する。幾つかの図を通して、同様の参照番号は同一または対応する部分を示す。図1は方法100の非限定的な例の流れ図を示しており、当該方法は、アーチファクトについての投影データの取得をモニターするために第1のディープラーニング(DL)ネットワークを使用し、また検出されたアーチファクトを補正するために第2のDLネットワークを使用する。
【0035】
方法100のステップ102において、イメージングスキャンが初期化される。当該イメージングスキャンは、例えば、X線コンピュータ断層撮影(CT)スキャン、ポジトロン放射断層撮影(PET)スキャン、磁気共鳴イメージング(MRI)スキャン、または単一光子放出CT(SPECT)スキャンであることができる。スキャンを初期化することは、スキャンに関する様々なパラメータの設定を含むことができ、例えば、X線管の電流および電圧設定、スキャナの幾何学形状(例えば、散乱防止グリッドが検出器の前に配置されているか否か、またはコーンビームの角度を補正するために何れのボウタイフィルタ(もしあれば)を使用するか)、検出器の設定が含まれる。X線CTにおける検出器設定には、例えば、校正、増幅器利得設定、光子計数型X線検出器のエネルギービン間のエネルギー閾値、パイルアップ補正に関する設定が含まれ得るであろう。PETスキャナの検出器設定には、例えば、ガンマ線検出器における相関ガンマ線のエネルギーおよびタイミングウィンドウの設定が含まれ得るであろう。
【0036】
方法100のステップ110において、スキャンデータが取得されてサイノグラムが生成されると、これまでに生成されたサイノグラム(「これまでのサイノグラム」と略記される)が第1のDLネットワークに適用されて、様々な出力を生成する。これらの出力は、(i)アーチファクトが検出されたかどうかの決定、(ii)アーチファクトが検出されていれば、当該アーチファクトがスキャンプロトコルに起因するかどうか(即ち、スキャンプロトコルの潜在能力を変更するとアーチファクトが改善されるか)の判定、(iii)後処理によってアーチファクトを補正できるかどうかの判定、および(iv)当該アーチファクトは、イメージングスキャンの中断を要する程度のものか否かの判定を含むことができる。
【0037】
方法100のステップ115では、アーチファクトが検出されたか否かに関して問い合わせが行われる。アーチファクトが検出されていれば、方法100はステップ125に進む。そうでなければ、方法100はステップ115からステップ120に進む。
【0038】
方法100のステップ120では、イメージングスキャンが継続されて、サイノグラムについての追加のデータが取得される。追加のサイノグラムデータがこれまでのサイノグラムに追加/連結されて、更新されたこれまでのサイノグラムが生成される。ステップ120からステップ155へと継続し、次いでステップ110へと戻ることによってもスキャンが完了しなければ、サイノグラム取得の継続的なモニタリングを実行することができ、ここでは、更新されたこれまでに生成されたサイノグラムが再び第1のDLネットワークに適用される。
【0039】
方法100のステップ125では、検出されたアーチファクトがスキャンプロトコルに起因するか否かに関して問い合わせが行われる。即ち、この問い合わせは、スキャンプロトコルを変更することによって、検出されたアーチファクトを補正することができるかどうかを尋ねる。スキャンプロトコルアーチファクトを変更することによってアーチファクトが補正される可能性があるならば、方法100はステップ130へと続く。そうでなければ、方法100はステップ125からステップ135へと続く。
【0040】
方法100のステップ130では、ステップ130においてアーチファクトを改善するためにスキャンパラメータが調整される。スキャンパラメータがどのように変更されるべきかの指標を、第1のDLネットワークからの出力に含めることができる。
【0041】
方法100のステップ135では、アーチファクトが後処理によって補正され得るか否かに関して問い合わせが行われる。アーチファクトが後処理によって補正され得るならば、方法100はステップ140へと続く。そうでないならば、方法100はステップ135からステップ145へと続く。
【0042】
方法100のステップ140では、アーチファクトを補正するためにサイノグラムを後処理するためのプロセスが選択される。何れの後処理アルゴリズムがアーチファクトを補正するかの指標を、前記第1のDLネットワークからの出力に含めることができる。それぞれの種類のアーチファクトを補正するために使用できる後処理アルゴリズムのタイプについて、図3を参照して説明する。
【0043】
方法100のステップ145において、アーチファクトがイメージングスキャンの中止を要する程度のものか否かに関して問い合わせが行われる。アーチファクトが中断基準を満たせば、方法100はステップ150に進み、当該方法は中断され、致命的アーチファクトが検出されたとの信号をユーザに返す。この時点において、ユーザは、アーチファクトを引き起こしている要因を補正して、スキャンを繰り返すための対策を講じることができる。例えば、スキャンの最中での患者の大きな運動は、致命的な運動アーチファクト生じる可能性がある。この場合、技術者は患者に動かないように指示することができ、次いで技術者はスキャンを繰り返すことができるであろう。
【0044】
アーチファクトが中断基準を満たさない場合、方法100はステップ120に進むことによってイメージングスキャンを継続する。この場合、アーチファクトは存在するが、再構成された画像は未だ十分に高い画質であって、臨床的に有用である可能性が高い。即ち、補正できない幾つかの残留アーチファクトがあるために画質が完全ではなくても、それでも画質は十分に良好である。したがって、スキャンは中断されず、ステップ120へと継続される。
【0045】
方法100のステップ155では、イメージングスキャンが完了したかどうかに関する問い合わせが行われる。スキャンが完了していれば、方法100はステップ160に進む。そうでなければ、ステップ155からステップ110に進む方法100によって、イメージングスキャンはモニターされ続ける。即ち、スキャンが完了していない場合、ステップ120からステップ155へと継続し、次いでステップ110に戻ることによってサイノグラム取得の継続的モニタリングを実行することができ、ここではこれまでに生成されたサイノグラムが再び第1のDLネットワークに適用される。
【0046】
方法100のステップ160では、アーチファクトを補正するためにステップ140で選択された後処理アルゴリズムが前記完全なサイノグラムに適用され、補正されたサイノグラム162がステップ160から出力される。
【0047】
一定の実施では、サイノグラム162は次にCT画像を再構成するために使用され、方法100を使用してサイノグラム領域で実行される仕方と同様にして、サイノグラム領域においてアーチファクト検出および補正を実行することができる。
【0048】
図2は、サイノグラム領域と画像領域の両方で、アーチファクトの検出および補正を実行するための方法200の非限定的な例を示す。プロセス210は、サイノグラム領域においてアーチファクト検出および補正を実行するためのステップを示し、プロセス250は、画像領域においてアーチファクトの検出および補正を実行するためのステップを示す。一定の実施では、プロセス210を省略することができ、アーチファクト検出および補正は画像領域内でのみ実行される。他の実装では、プロセス250を省略することができ、アーチファクト検出および補正はサイノグラム領域でのみ実行される。一定の実施では、ステップ280を省略することができ、方法200は、出力画像272を生成することから、出力画像272がPACSに保存されるステップ284へと直接進むことができる。
【0049】
一定の実施において、方法200のプロセス210は、方法100とかなり類似している。
【0050】
プロセス210のステップ212では、イメージングスキャンが実行され、これは方法100におけるステップ102およびステップ120と同様であることができる。
【0051】
プロセス210のステップ214においては、これまでに取得されたサイノグラム(即ち、これまでのサイノグラム)がサイノグラム畳み込みニューラルネットワーク(CNN)に適用されるが、これは方法100における第1のDLネットワークと同様であることができる。ステップ214およびステップ212は、それぞれの時間間隔でのサイノグラムデータへのイメージングスキャン/連結/追加と同時に進行することができ、それまでに取得されたサイノグラムは前記時間間隔でサイノグラムCNNに適用される。例えば、これまでのサイノグラムは、スキャンが30%、40%、50%、60%、70%、80%、90%、および100%完了したときに、サイノグラムCNNに適用することができる。サイノグラムCNNからの出力は、方法100における第1のDLネットワークからの出力と同様であり得る。
【0052】
ステップ216での問い合わせは、ステップ115における問い合わせと同様であることができる。ステップ218での問い合わせは、ステップ125における問い合わせと同様であることができる。ステップ220での問い合わせは、ステップ135における問い合わせと同様であることができる。ステップ222での問い合わせは、ステップ145における問い合わせと同様であることができる。
【0053】
ステップ228では、サイノグラムにおいて検出されたアーチファクトが中断基準を満たすときには、スキャンは中断される。
【0054】
ステップ226において、前記アーチファクトがステップ220で補正可能であると決定されれば、サイノグラム領域のアーチファクト補正が当該サイノグラムに適用される。このアーチファクト補正は、サイノグラム取得が完了したときに当該サイノグラムに適用することができ、または当該これまでのサイノグラムに適用することができる。サイノグラム領域のアーチファクト補正は、1以上のサイノグラム領域アーチファクト補正CNNを、補正可能なアーチファクトによって影響を受けると判定されたサイノグラムに適用することによって実行することができる。後述するように、幾つかの種類のアーチファクトは、CNNを含まないアルゴリズムを使用して補正することができる。ステップ226では、前記サイノグラムCNNからの出力を使用して、ステップ216で検出されたアーチファクトの種類に基づき、何れのアーチファクト補正CNNを使用するかを決定することができる。
【0055】
プロセス210の結果は、完全なサイノグラム162である。ステップ230では、CT画像がサイノグラム162から再構成される。プロセス250において、画像領域のアーチファクト検出および補正が、再構成されたCT画像に対して行われる。
【0056】
方法200のプロセス250は、サイノグラムではなく前記再構成された画像がアーチファクトの検出および補正に使用されることを除いて、方法200のプロセス210と同様である。更に、プロセス250は、これまでに取得されたサイノグラムから再構成された画像(即ち、完全なサイノグラムが取得される前)、または完全なサイノグラムから再構成された画像の何れかに対して実行することができる。不完全なサイノグラムからCT画像を再構成するために、様々な方法を使用することができる。例えば、反復的再構成法を用いて、不完全ビュー(複数)から画像を再構成することができる。更に、その全体を本明細書の一部として援用する米国特許第7,751,524号、およびその全体を本明細書の一部として援用する米国特許第6,907,100号で論じられているように、ショートスキャンコーンビーム(CB)の画像再構成CTは、フルスキャンCB・CTのFBP方法と同様の方法を使用して実行できるが、ショートスキャンCTの投影データは投影角度に従って重み付けされる点が異なる。投影データのこの重み付けは、ショートスキャンデータの不均等なデータ冗長性を補正する。例えば、このパーカー(Parker)の重み付けは、なかでもハーフスキャン(即ち、180°+2γのスキャン、ここでのγは半ファン角度)に使用することができる。
【0057】
1つの実施では、フェルドカンプ(Feldkamp)法を用いてCB・CT投影データから画像を再構成する。フェルドカンプ法では、1組の二次元投影から三次元密度関数を直接再構成するために、畳み込み逆投影式が用いられる。フェルドカンプのアプローチは、古典的な二次元ファンビーム再構成法のヒューリスティックな一般化として導き出された。
【0058】
3次元CB画像再構成の文脈において1つの重要な問題は、何れの状況下で画像fの正確な再構成が可能であるかという問題である。この問題に対する幾つかの貢献の中で、トゥイ(Tuy)のCBデータ充足基準の定式化が最も注目を集めている。トゥイの充足基準は、(x,y,z)を通る殆ど全ての平面が線源軌道と少なくとも1つの交点を持つ場合に限り、点(x,y,z)での理論的に正確かつ安定なCB再構成が可能であると述べている。
【0059】
トゥイの充足条件を満たすデータからの正確なCB再構成のための数値アルゴリズムは、例えばグレンジ(Grangeat)によって開発された補正を用いて、上述したフェルドカンプ法の直接の実施によって構成することができる。得られた各CB投影にグレンジの定式化を適用すると、3次元ラドン領域全体に中間ラドン関数が連続的に伝達される。
【0060】
クラーク(Clack)およびデフリゼ(Defrise)、ならびにクドウ(Kudo)およびサイトウ(Saito)は、様々な線源軌跡に対してそのようなFBPタイプのCB再構成アルゴリズムを見つけるためのスキームを提案した。これらの方式の重要な要素の1つは、考慮する線源軌跡に適応させる必要があり、また与えられたCBデータセットから取得できる中間ラドン関数の冗長性を説明する重み付け関数である。結果として生じる数値CB再構成アルゴリズムは、シフト可変フィルタリングステップと、その後のフィルタリングされたデータの3次元重み付けCB逆投影に基づく。考慮されたCBデータが切り捨てられておらず、トゥイの充足条件も満たしている限り、これらのFBP法は正確な再構成を可能にする。CB再構成理論のもう1つのブレークスルーは、カッツェビッチ(Katsevich)によって達成されたものであり、彼はトゥイの充足条件を満たすCBデータから、理論的に正確な再構成のための画像再構成アルゴリズムを導出する新しい一般スキームを提案した。この方式は、前の段落で説明した方式に関連しており、これもまた、特定の線源軌跡に対する実用的なアルゴリズムを見つけるための冗長度重み付け関数の適切な定義を必要とする。対照的に、カッツェビッチの方法は、多くの実際的に関連するシナリオのためFBPアルゴリズムの合成を可能にする。これらのFBPアルゴリズムは、特定のフィルタ方向に沿ったシフト不変一次元畳み込みによるデータフィルタリングを達成する。したがって、これらのFBPアルゴリズムは、従来のアルゴリズムよりも効率的であり、一般に、必要なフィルタ方向に依存して、CBデータ内の切り捨てに関してより柔軟である。近年では、ほんの数例を挙げれば、らせん線源軌跡、円と円弧の軌跡、および楕円と斜線の軌跡を含む、様々な魅力的な再構成アルゴリズムがカッツェビッチの一般理論から導き出されている。
【0061】
上記の観点から、プロセス250は、これまでに取得されたサイノグラムが不完全(例えば、ある範囲のビューを見逃している)である場合でも、これまでに取得されたサイノグラムから画像を再構成することによって、イメージングスキャンが完了する前に生成された再構成画像を使用して開始できる。PETイメージングでは、これまでに取得されたサイノグラムは完全なビューを有し得るが、完全なサイノグラムよりも統計量が劣る可能性がある。
【0062】
他の実施において、プロセス250は、完全なサイノグラムデータが取得された後に開始することができる。
【0063】
プロセス250のステップ254では、再構成された画像が、画像領域CNN(画像CNNと略される)に適用される。ステップ254およびステップ212は、所定の時間間隔(例えば、スキャンが30%、40%、50%、60%、70%、80%、90%、および100%完了したとき)で複数回実行できる。画像CNNからの出力は、サイノグラムCNNからの出力と同様であることができる(例えば、画像CNNからの出力は、アーチファクトが検出されたかどうか、何れのアーチファクトが検出されたか、当該アーチファクトがスキャンプロトコルに起因するかどうか、当該アーチファクトが補正可能かどうか、および当該アーチファクトが致命的かどうかの表示を含むことができる)。
【0064】
ステップ256での問い合わせは、問い合わせがサイノグラムではなく再構成画像に基づくことを除き、ステップ216での問い合わせと同様であることができる。同様に、ステップ258、260、および262における問い合わせは、ステップ258、260、および262がサイノグラムではなく再構成された画像に基づくことを除き、それぞれステップ218、220、および222における問い合わせと同様であることができる。
【0065】
ステップ268では、前記画像において検出されたアーチファクトが画像アーチファクトについての中断基準を満たすときにはスキャンが中断される。
【0066】
ステップ266において、アーチファクトがステップ260で補正可能であると判定されたならば、画像領域アーチファクト補正が前記画像に適用される。このアーチファクト補正は、サイノグラム取得が完了したときに画像に適用することができ、またはこれまでのサイノグラムから再構成された画像に適用することができる。画像領域のアーチファクト補正は、1以上の画像領域アーチファクト補正CNNを、補正可能なアーチファクトの影響を受けていると判定された画像に適用することによって実行することができる。画像CNNからの出力は、ステップ266において何れのアーチファクト補正CNNを使用すべきかを決定するために使用できる。
【0067】
プロセス250の結果は、出力画像272である。
【0068】
ステップ280においては、アーチファクトの検出および補正プロセスが臨床的に妥当な画像を生成するのに成功したかどうか、または結果として得られる画像272が、依然として合理的に誤診を導く可能性のあるアーチファクトおよび/またはノイズを有するかどうかを判定するために、画像272の最終チェックが実施される。画像が良好であれば(即ち、画像272が臨床的に妥当な十分な画質である)、方法200はステップ282からステップ284へと進み、画像272は、例えば、後で取り出して放射線科医が見るために写真保管通信システム(PACS)に保存される。そうでない場合、方法200はステップ282からステップ286へと進み、エラーが通知され、イメージングスキャンが失敗したことをユーザに警告する。
【0069】
方法100におけるステップ110および160、ならびに方法200におけるステップ214、226、254、および266を含めて、方法100および200における複数のステップは、DLネットワークを使用して実行することができる。これらの場合のそれぞれにおいて、DLネットワークは、適切な1組の訓練データを使用して訓練することができる。各場合において、当該訓練データは、ターゲットデータと対になった入力データを有するように選択される。各DLネットワークは、入力データの一部(例えば、画像またはサイノグラムの何れのドメインでDLネットワークが使用されるかに応じて、画像または再構成された画像)をそれぞれのDLネットワークに適用して出力を生成し、次いで損失関数を使用して、DLネットワークからの出力を対応するターゲットデータと比較することによって訓練される。当該DLネットワークは、損失関数を最小にするように、ネットワークの重み付け係数を繰り返し調整することによって訓練される。
【0070】
例えば、それぞれステップ214および254におけるサイノグラムCNNおよび画像CNNについて、出力はアーチファクトが検出されたかどうかの判定を含むことができる。この判定は、アーチファクトが検出されたかどうかを示すバイナリーの結果(即ち、イエスまたはノー)であることができ、またはそれぞれのアーチファクトが存在する異なる程度を示す値の範囲であることができる。更に、この判定は複数の値とすることができ、各値は異なる種類のアーチファクトに対応する。図3はアーチファクトテーブル300を示し、(i)ビーム硬化アーチファクト、(ii)リングアーチファクト、(iii)運動アーチファクト、(iv)金属アーチファクト、(v)光子不足アーチファクト、(vi)風車アーチファクト、(vii)ゼブラアーチファクト、(viii)部分ボリュームアーチファクト、(ix)カッピングアーチファクト、(x)切り捨てアーチファクト、(xi)ストリーキングアーチファクト、および(xii)シャドウイングアーチファクトを含む幾つかの異なるアーチファクトが列挙されている。サイノグラムCNNおよび画像CNNからの出力は、表300の各種類のアーチファクトについてのそれぞれの値を含むことができ、これらの値は、当該タイプのアーチファクトがサイノグラムおよび/または再構成された画像内に存在する程度を表す。
【0071】
幾つかの種類のアーチファクトは、サイノグラム領域において検出および/または補正する方がより容易であり得るが、他の種類のアーチファクトは、画像領域において検出および/または補正する方がより容易であり得る。したがって、画像CNNからの出力は表300のアーチファクトの種類の第1のサブセットを処理することができ、サイノグラムCNNからの出力は表300のアーチファクトの種類の第2のサブセットを処理することができる。一定の実施では、表300における前記種類のアーチファクトの前記第1のサブセットと前記第2のサブセットとの間に重複が存在し得る。
【0072】
ステップ216および256において、所定の種類のアーチファクトが存在するか否かの判定は、その種類のアーチファクトについて、CNNからの指標が所定の検出閾値を超えるかどうかに基づくことができる。例えば、サイノグラムの中の運動アーチファクトは、サイノグラムCNNが1以上の運動アーチファクト出力ノード(即ち、サイノグラムCNNの出力ニューロン)から、運動アーチファクトについて所定の検出閾値を超える運動アーチファクト指標を出力するときに検出される。一定の実施では、第1のサイノグラムCNNを訓練して50%完成したサイノグラムに適用することができる一方、第2のサイノグラムCNNを訓練して60%完成したサイノグラムに適用することができ、以下同様である。或いは、スキャンの何パーセントが完了したかにかかわらず、単一のサイノグラムCNNを訓練してサイノグラムに適用することができる。
【0073】
ターゲットデータについて、ユーザは、入力データが特定の種類のアーチファクトを示す程度を指定する値を備えた入力データを、手動でレビュー、分析、およびラベル付けする(または一定の実施では、入力データに特定の種類のアーチファクトがあるか否かのバイナリー判定をラベル付けする)ことができる。次に、DLネットワーク(例えば、サイノグラムおよび画像CNN)は、ユーザが手動で決定したターゲットデータ中の判定にできるだけ厳密に一致するように訓練される。
【0074】
サイノグラム領域および画像領域のためのアーチファクト補正CNNを訓練することにおいて、前記ターゲットデータは、それぞれ、アーチファクトを示さないサイノグラムおよび画像であろう。したがって、アーチファクト補正CNNは、アーチファクトを補正するように訓練される。1つのCNNは、特定の種類の成果物を補正するため、または複数の種類の成果物を同時に補正するために訓練され得る。したがって、何れの種類のアーチファクトが検出されたかに応じて、当該アーチファクトを補正するために適切なCNNが選択される。複数の種類のアーチファクトが検出された場合、複数のアーチファクト補正CNNを使用して、各々が検出されたそれぞれの種類のアーチファクトを補正するようにすることができる。
【0075】
スキャニングプロトコルを変更することで、一定種類のアーチファクトを処理することができる。例えば、光子不足アーチファクトは、スキャニングプロトコルのパラメータを変更すること(例えば、X線管の電流および/または電圧を変更すること)を通して、X線束を増加させることにより処理することができる。更に、切り捨てアーチファクトは、(例えば、異なるボウタイフィルタを使用することを通して)X線ビームのコーンビーム角を増大させることによって処理することができる。したがって、ステップ218および258は、プロトコル関連のアーチファクトが存在するかどうかの判定を使用して、プロトコルを変更すべきかどうかを決定し、もしそうであれば、プロトコルをどのように変更すべきかを決定することができる。
【0076】
ステップ220および260では、補正可能な閾値を使用して、特定のアーチファクトが補正できる範囲内にあるかどうかを判定することができる。また、幾つかの種類のアーチファクトは、プロトコルを変更しまたは後処理を行っても、補正できない場合があり得るであろう。
【0077】
したがって、残されている唯一の問題は、これらの補正不可能なアーチファクトが許容可能なほど十分に小さいかどうか、またはこれらの補正不可能なアーチファクトが大きすぎて致命的かどうかである。補正不可能なアーチファクトが致命的であるかどうかを判定するために、サイノグラムおよび画像CNNからのアーチファクト指標を、補正不可能なアーチファクトの種類に対応するそれぞれの致命的閾値と比較することができる。
【0078】
致命的閾値および補正可能な閾値の選択は、それぞれの入力データが補正可能または致命的なアーチファクトを含むかどうかを示す、ユーザが定義したラベルを含むターゲットデータを使用して、前記DLネットワークを訓練することによって導かれ得る。
【0079】
例えば、特定の種類のアーチファクトは、0から10までの範囲の値を戻すサイノグラムCNNによって示すことができ、0はアーチファクトがなく、10は非常に大きいアーチファクトである。サイノグラムCNNによって戻されるアーチファクト指標の閾値は、検出閾値については3に、補正可能閾値については5に、そして致命的閾値については7に設定することができる。したがって、入力データ内のサイノグラムが、検出されたアーチファクトの種類を有するものとしてユーザによりラベル付けされるが、当該アーチファクトは致命的でも補正不可能でもないときには、前記サイノグラムCNNは、これと、同様に悪質なアーチファクトを有する他のサイノグラムとを、3と5の間のアーチファクト指標値に割り当てることを学習する。アーチファクトの種類が検出され、かつ補正不可能であるが致命的ではないサイノグラムについて、前記サイノグラムCNNは、これと、同様に悪質なアーチファクトを有する他のサイノグラムとを、5と7の間のアーチファクト指標値に割り当てることを学習する。最後に、アーチファクトの種類が検出され、補正不可能でかつ致命的なサイノグラムについて、前記サイノグラムCNNは、これと、同様に悪質なアーチファクトを有する他のサイノグラムとを、7を超えるアーチファクト指標値に割り当てることを学習する。
【0080】
他の実施では、アーチファクトが検出されるか否か、補正不可能であるか否か、および致命的であるか否かを判定する毎に、異なるアーチファクト指標が出力される。したがって、各種類のアーチファクトは、当該サイノグラムCNNからの複数の指標によって表すことができる。
【0081】
サイノグラムCNNについての上記の議論は、画像CNNにも適用することができる。
【0082】
次に、様々な種類のアーチファクトの説明を提供する。
【0083】
ストリークアーチファクトは、金属や骨のように、殆どのX線をブロックする物質の周囲にしばしば見られる。多数の要因がこれらストリークに寄与する。即ち、アンダーサンプリング、光子不足、運動、ビーム硬化、およびコンプトン散乱である。この種のアーチファクトは、通常は脳の後部窩に、または金属製インプラントがある場合に発生する。更に、ストリークは、フィルタ補正逆投影(filtered back-projection:FBP)を使用して再構成された画像において観察することができ、また正則化(例えば、全変動(Total-Variation:TV)正則化)を伴う反復再構成(Iterative Reconstruction:IR)法を使用して画像を再構成することにより低減できる。
【0084】
スキャンフィールド内の金属物体は、深刻なストリーキングアーチファクトを引き起こす可能性がある。これらのアーチファクトは、人体の減衰と比較して高い金属の減衰から生じる。加えて、金属は、ビーム硬化アーチファクト、ノイズアーチファクト、散乱アーチファクトおよび部分ボリュームアーチファクトを引き起こす可能性がある。CT検査の前に、宝石類のような取り外し可能な金属製の物体が取り除かれれば、金属アーチファクトは回避される。金属物体が取り外し不能である場合(例えば、患者の中の金属製医療用インプラント)、金属は、ガントリアンギュレーションを用いて当該スキャンから排除することができる。更に、様々な補間技術を用いたソフトウェア補正により、金属ストリークによって導入されたストリーキングアーチファクトの除去が可能になり、また金属インプラントに起因する他のアーチファクトは、その全体を本明細書の一部として援用する米国特許出願第14/746,012号で述べられた金属アーチファクト低減(Metal Artifact Reduction:MAR)を使用して対処できる。MAR技術はスペクトルイメージングを含み、そこでは異なるエネルギーレベルの光子を用いてCT画像が撮影され、次いで単色画像に合成される。
【0085】
部分ボリュームアーチファクトは、エッジのぼやけとして現れる可能性がある。部分ボリュームアーチファクトは、スキャナが、少量の高密度材料(例えば骨)と大量の低密度材料(例えば軟骨)とを区別できないことに起因する。再構成は、各ボクセル内のX線減衰が均一であると仮定するが、鋭いエッジにおいてはそうでない可能性がある。これはz方向において最も一般的に見られるもので、面内解像度よりもはるかに低い面外解像度を有する高度に異方性のボクセルの慣用的使用に起因する。これは、より薄いスライスを使用したスキャン、または最新のスキャナでの等方性の取得によって部分的に克服することができる。
【0086】
部分ボリュームアーチファクトは、高減衰構造が、当該ボリュームの取得スライス全体をカバーしないとき、即ち検出器のピクセルの一部分のみをカバーするときに発生する。一般的な検出器は、各ピクセル要素内の蓄積エネルギーを検出するので、測定された強度と真の強度との間、したがってまた減衰値との間の食い違いをもたらす固有の空間的平均化が行われる。更に、同じ再構成されたボクセル内に異なる吸収係数を有する材料が提示されるときには、部分ボリュームアーチファクトが現れる。本明細書の一部として援用する米国特許出願第16/182,156号で述べられているように、薄い取得セクション幅を使用することによって部分ボリュームアーチファクトを低減することができる。また、アルゴリズムを使用して、部分ボリュームアーチファクトを補正することができる。
【0087】
リングアーチファクトは、画像内に1以上のリングが現れる一般的な機械的アーチファクトである。これらのリングは、欠陥または不正確な校正に起因して、二次元X線検出器内の個々の要素からの応答の変動によって引き起こされる可能性がある。リングアーチファクトは、フラットフィールド補正とも呼ばれる強度正規化によって低減することができる。残りのリングは極座標空間(polar space)への変換によって抑制され、そこでは線状の縞となる。一定の実施では、リングアーチファクトは、シジュベル(Sijbers)およびポストノヴ(Postnov)の方法を使用して低減することができる。多くの場合、リングアーチファクトは、CT画像において交互に濃くまたは明るく見える同心円状に配置された正確に円形のリングである。それらは、誤動作または検出器の不十分な校正の何れかから生じる。各々の角度位置に亘って誤測定が一貫して発生するため、円形リングがCT画像に現れる(即ち、例えば欠陥ピクセルが各投影において画像内の同じ位置に表示される)。検出器の正しい校正が、リングアーチファクトの発生を防止する。
【0088】
光子不足アーチファクトは、一定の画像セクションにおいて、画像ノイズを増大させる可能性がある。光子不足アーチファクトは、形態の違いによるX線放射の減衰の増大(例えば、信号対雑音比の低下)によって引き起こされる可能性がある。再構成されたボリュームにおいては、ノイズがCT画像における縞を導く。光子不足アーチファクトは、当該管の電流を増加させることによって減少させることができる。これは医療用途では不必要な高線量の放射線をもたらす可能性がある。或いは、放射線がどれだけの量の材料を通過しなければならないかに基づく自動管電流変調、または適応フィルタリングを使用してこれらのアーチファクトを回避することができる。
【0089】
検出器が再構成面と交差するときに、風車アーチファクトが発生する可能性がある。これは、フィルタまたはピッチを狭くすることで低減できる。ヘリカルアーチファクトは測定データの補間から生じ、これはスパイラルCT投影の再構成のための要件である。これらアーチファクトは、各回転の経路の間で幾つかの検出器列が再構成平面と交差するので、風車のような外観を有する。ヘリカルアーチファクトは、薄い取得セクションを使用することによって低減できる。
【0090】
グレースケールが高さとして視覚化されると、ビーム硬化アーチファクトがカップ状の外観になることがある。これは、X線管のような従来の線源が多色スペクトルを放射するために起きる。より高い光子エネルギーレベルの光子は、典型的にはより少なく減衰される。このため、スペクトルの平均エネルギーは、物体を通過するときに増加し、しばしばより硬くなると説明される(即ち、X線はそれらの軌道の終わりでは、始まりでよりも減衰が少ないように見える)。これが補正されないと、材料の厚さをますます過小評価する効果につながる。このアーチファクトを補正するために様々なアルゴリズムを使用することができ、サイノグラムが検出されたときにそれを適用することができる。このアーチファクトを補正するためのアルゴリズムは、モノマテリアル方式とマルチマテリアル方式に分けられる。ビーム硬化アーチファクトを補正することは、画像領域よりもサイノグラム領域において補正するのが容易である可能性がある。
【0091】
運動アーチファクトに関して、これらのアーチファクトは、患者がスキャン中に動いたときに発生する。患者の運動は不随意的または随意的であり得る。不随意的運動は、例えば呼吸による心臓または胸部の動きである。随意的運動に起因するアーチファクトは、補助器具を配置するか、またはより短いスキャン時間を使用することによって回避することができる。スキャン時間がより短いと、不随意的運動アーチファクトも低減される。更に、心臓の動きに起因するアーチファクトは、EKG誘発(EKG-triggered)CTプロトコルによって低減でき、呼吸によるアーチファクトは、患者に息を止めさせるように指示することによって低減できる。姿勢のずれなどの特定の種類の動きは、動きの前後に撮影されたそれらの投影画像間の位置合わせを通して補正することができる。場合によっては、運動アーチファクトが致命的になることがあるが、その解決策は患者を静止させたままスキャンを繰り返すことである。
【0092】
切り捨てアーチファクトに関しては、投影の一部が再構成に利用できないときに不完全な投影が現れる。医療分野では、スキャン視野内に患者をセンタリングすることは必ずしも可能ではない。その結果、投影の一部が切り捨てられる。切り捨て投影は、再構成を通して明るいシェーディングアーチファクトを生成する。不完全な投影によるアーチファクトは、スキャン視野内に患者または被検体をセンタリングことによって回避できる。しかしながら、ときには投影の切り捨てが不可避である。その全体を本明細書の一部として援用する米国特許出願第16/206,892号で述べられているように、アルゴリズムを使用して視野の外側に位置する患者の部分を推定/外挿し、それによってアーチファクトを補正することができる。
【0093】
コーンビーム効果アーチファクトは、マルチチャネル検出器におけるX線ビームの幾何学形状から生じる。X線はチューブから検出器までの経路で発散する。しかしながら、再構成アルゴリズムでは平行ビームの幾何学形状が仮定される。これはボクセルの円錐形の歪みをもたらす。コーンビーム再構成/補正アルゴリズムを用いてこれらのアーチファクトを低減できる。例えば、その全体を本明細書の一部として援用する米国特許出願第16/370,230号は、DLネットワークに基づくコーンビームアーチファクト低減方法を記載している。
【0094】
上記の説明から分かるように、スキャンプロトコルを変更することによって、様々な種類のアーチファクトに対処/補正でき、サイノグラムおよび/または画像を後処理するためのアルゴリズムを通して、他の種類のアーチファクトに対処/補正できる。更に、スキャンプロトコルを変更することで、一部の種類のアーチファクトに部分的に対処/補正してから、後処理で更に補正することもできる。幾つかの種類のアーチファクト(例えば、ビーム硬化)については、アーチファクトを補正するための後処理は、サイノグラム領域において更に効果的であり、他の種類のアーチファクト(例えば、金属アーチファクト)については、当該アーチファクトを補正するための後処理は画像領域において更に効果的である。
【0095】
上述の非DLベースのアーチファクト補正方法に加えて、アーチファクトを補正するための後処理は、問題の特定種類のアーチファクトを補正するように訓練されたDLネットワーク(例えば、CNN)を使用して実行できる。アーチファクト補正CNNは、アーチファクトを示す入力データと、アーチファクトを示さないターゲットデータとを共に含む訓練データを使用して訓練される。サイノグラム領域のアーチファクト補正CNNの場合、入力データは特定のアーチファクトを示すサイノグラムであり、ターゲットデータはアーチファクトが低減されているか、または存在しない対応するサイノグラムである。画像領域におけるアーチファクト補正CNNの場合、入力データは特定のアーチファクトを示す再構成画像であり、ターゲットデータはアーチファクトが低減されているか、または存在しない対応する再構成画像である。
【0096】
図4は、訓練データを使用してニューラルネットワークを訓練するための、訓練プロセス435の実施の非限定的な例である。訓練プロセス435は、適切に選択された訓練データを用いて、上述の各DLネットワーク(即ち、CNN)を訓練するために使用することができる。上記で述べたように、前記訓練データは、複数のラベル付きの入力画像またはサイノグラム(例えば、入力データが特定の種類の、検出可能な、補正可能な、および/または致命的なアーチファクトを含むか否かを示すためにラベル付けされたもの)を含むことができる。或いは、前記訓練データは、特定のアーチファクトを含まないターゲットサイノグラム/画像と共に、特定のアーチファクトを示す入力サイノグラム/画像を含むことができる。
【0097】
プロセス435の動作480では、ニューラルネットワークの係数についての初期推定が生成される。例えば、当該初期推定は、収集されているデータに関するアプリオリな知識およびその中の関連指標に基づくことができる。更に、当該初期推定は、ルカン(LeCun)の初期化、ザビエル(Xavier)の初期化、およびカイミン(Kaiming)の初期化のうちの1つに基づくことができる。
【0098】
プロセス435の動作481は、ニューラルネットワークを訓練するための最適化方法の非限定的な例を提供する。プロセス435の動作481では、ラベル付きデータ(即ち、グラウンドトゥルース)と、ニューラルネットワークの現在の反復において適用されるようなニューラルネットワークのデータ出力との間の差の尺度(例えば、距離尺度)を表すために、(例えば、損失関数またはコスト関数を用いて)エラーが計算される。このエラーは、訓練データ間の任意の既知の費用関数または距離測定値を使用して計算することができる。更に、一定の実施では、エラー/損失関数は、ヒンジ損失およびクロスエントロピー損失のうちの1以上を使用して計算することができる。一例において、前記損失関数は、ニューラルネットワークの出力(SNN)と前記ラベル付きのグラウンドトゥルースデータ(SAGT)との間の平均二乗エラー、または下記のように定義することができる。
【0099】
【数1】
【0100】
ここでのnは訓練対象の数である。この損失は、とりわけ確率勾配降下を含む最適化方法を使用して最小化することができる。
【0101】
加えて、損失関数を正則化アプローチと組み合わせて、訓練データに表された特定の事例にネットワークが過剰に適合しないようにすることができる。正則化は、機械学習問題における過剰適合を防ぐのに役立つ。学習時間が長すぎ、モデルが十分な表現力を有すると仮定すると、ネットワークはそのデータセットに固有のノイズを学習するが、これを過剰適合と称する。過剰適合の場合、ニューラルネットワークは一般化が不十分になり、ノイズはデータセット間で異なるため、分散が大きくなる。最小合計エラーは、バイアスおよび分散の合計が最小のときに発生する。したがって、訓練されたネットワークが、前記訓練データのノイズに特有の解決策ではなく、一般的な解決策を表す可能性を最大にするために、可能な限り簡単な方法で、前記データを説明する極小値に達することが望ましい。この目標は、例えば、早期停止、体重の正則化、ラッソ(lasso)正則化、リッジ(ridge)正則化、またはエラスティックネット(elastic net)正則化によって達成することができる。
【0102】
特定の実施形態では、ニューラルネットワークは逆伝播を使用して訓練される。逆伝播は、ニューラルネットワークを訓練するために使用することができ、勾配降下最適化法と共に使用される。順方向パスでは、アルゴリズムは現在のパラメータΘに基づいてネットワークの予測を計算する。これらの予測は次いで損失関数に入力され、それによって、それらの予測は対応するグラウンドトゥルースラベル(即ちラベル付きデータ)と比較される。逆方向パスに際して、当該モデルは現在のパラメータに関して損失関数の勾配を計算し、その後、最小損失の方向に所定サイズのステップサイズをとることによって、パラメータが更新される(例えば、ネステロフ(Nesterov)のモーメンタム法および種々のアダプティブ法のような加速法においては、ステップサイズを、より速く収束して損失関数を最適化するように選択することができる)。
【0103】
逆伝播を実行する最適化方法は、勾配降下、バッチ勾配降下、確率勾配降下、およびミニバッチ確率勾配降下のうちの1以上を使用することができる。加えて、最適化方法は、例えばネステロフのモーメンタム技術、またはアダグラド(Adagrad)の部分傾斜法、前記アダグラド法のアダデルタ(Adadelta)またはRMSPropパラメータ更新バリエーション、およびアダム(Adam)のアダプティブ最適化技術のようなアダプティブ法を含む、深層ネットワークにおける確率勾配降下のより速い収束速度をもたらす最適化アプローチにおける、1以上のモーメンタム更新技術を用いて加速され得る。この最適化方法はまた、ヤコビ行列を更新ステップに組み込むことによって二次方法を適用することができる。
【0104】
順方向パスおよび逆方向パスは、ネットワークのそれぞれの層を通して増分的に行うことができる。順方向パスにおいて、実行は、最初の層を介して入力をフィードすることにより開始され、したがって後続の層のための出力アクティベーションが作成される。このプロセスは、最後の層において損失関数に達するまで繰り返される。逆方向パスの際は、最後の層は、(もしあれば)それ自身の学習可能なパラメータに関して、また前の層に対する上流の導関数として働くそれ自体の入力に関しても勾配を計算する。このプロセスは前記入力層に達するまで繰り返される。
【0105】
図4に示される非限定的な例に戻ると、プロセス435の動作482は、前記エラーにおける変化を決定するが、これは前記ネットワークにおける変化の関数が計算でき(例えばエラー勾配)、またこのエラーにおける変化が、前記ニューラルネットワークの重み/係数における後続の変化についての方向およびステップサイズを選択するために使用できるからである。このようにしてエラーの勾配を計算することは、勾配降下最適化方法の一定の実施と一致する。他の一定の実施では、当業者が理解するように、この動作は省略でき、および/または別の最適化アルゴリズム(例えば、シミュレーテッドアニーリングまたは遺伝的アルゴリズムなどの非勾配降下最適化アルゴリズム)に従って別の動作で置き換えることができる。
【0106】
プロセス435の動作483において、前記ニューラルネットワークのための新しい1組の係数が決定される。例えば、重み/係数は、勾配降下最適化方法または過緩和加速方法におけるように、動作482で計算された変化を使用して更新することができる。
【0107】
プロセス435の動作484においては、ニューラルネットワークの更新された重み/係数を使用して新しいエラー値が計算される。
【0108】
プロセス435の動作485においては、ネットワークのトレーニングが完了したかどうかを判定するために、所定の停止基準が使用される。例えば、この所定の停止基準は、新しいエラーおよび/または実行された反復総数が所定の値を超えているかどうかを評価することができる。例えば、新しいエラーが所定の閾値を下回った場合、または最大反復回数に達した場合は、停止基準を満たすことができる。停止基準が満たされない場合、プロセス435で実行される訓練プロセスは、新しい重みおよび係数を使用して、動作482に戻って当該動作を繰り返すことにより、繰り返しループの開始点に戻って継続する(繰り返しループには動作482、483、484、および485が含まれる)。停止基準が満たされると、プロセス435で実行される訓練プロセスは完了する。
【0109】
CNNアーキテクチャに関しては、一般に、畳み込み層は入力層の近くに配置され、これに対して高水準推論を実行する完全に接続された層は、損失関数に向かってアーキテクチャの更に下に配置される。プーリング層は畳み込みの後に挿入することができ、フィルタの空間的広がり、したがって学習可能なパラメータの量を低減できる。バッチ正規化層は、外れ値に対する勾配の動揺を調整し、学習プロセスを加速する。活性化関数もまた、非線形性を導入し、ネットワークが複雑な予測関係を学習することを可能にするために、様々な層に組み込まれる。活性化関数は、飽和活性化関数(例えば、シグモイドまたは双曲線正接活性化関数)または整流活性化関数(例えば、上述のReLU)であり得る。
【0110】
図5は、DLネットワークとも称することができる人工ニューラルネットワーク(ANN)における層間の相互接続の例を示しており、CNNは畳み込み層を含むANNの特定のタイプである。ANNは完全に接続されたものを含むことができ、CNNの特定の場合には、上記および下記で説明する畳み込み層、プーリング層、バッチ正規化層、および活性化層を含むことができる。一実施形態において、畳み込みニューラルネットワーク層は、ANN内に埋め込むことができる。或いは、畳み込みニューラルネットワークは、ANNと直列に、例えばCNNの出力層が部分的にANNの入力層を定義するように配置することができる。ANNに対する畳み込みニューラルネットワークの配置は、畳み込みニューラルネットワークが、部分的に、処理された入力画像をANNの入力層に提供する限りにおいて重要である。
【0111】
図5は、N個の入力、K個の隠れ層、および3個の出力を有する一般的なANNの例を示す。各層はノード(ニューロンとも呼ばれる)で構成され、各ノードは入力の加重合計を実行し、加重合計の結果を閾値と比較して出力を生成する。ANNは、関数のクラスを構成し、そのために当該クラスのメンバーは閾値、接続の重み、またはノード数や接続性などのアーキテクチャの詳細を変更することによって取得される。ANN内のノードはニューロン(またはニューロンノード)と称することができ、ニューロンはANNシステムの異なる層の間の相互接続を有することができる。最も単純なANNは3つの層を有し、オートエンコーダと呼ばれる。本開示のCNNは、3層を超えるニューロンを有することができ、入力ニューロンと同数の出力ニューロン を有することができ、ここで、Nは処理された入力画像データ内のデータエントリの数である。シナプス(即ち、ニューロン間の接続)は、計算にてデータを操作する「重み」と呼ばれる値(「係数」または「重み付け係数」とも互換的に呼ばれる)を保存する。ANNの出力は3つの種類のパラメータ、即ち、(i)ニューロンの異なる層間の相互接続パターン、(ii)相互接続の重みを更新するための学習プロセス、および(iii)ニューロンの重み付け入力をその出力活性化へと変換する活性化関数に依存する。
【0112】
数学的には、ニューロンのネットワーク関数m(x)は他の関数n(x)の組み合わせとして定義され、これは更に他の関数の組み合わせとして定義することがでる。これは、図5に示すように、変数間の依存関係を表す矢印付きのネットワーク構造として便利に表すことができる。例えば、ANNは、非線形加重和を使用することができ、ここでm(x)=K(Σ(x))であり、またK(一般に活性化関数と呼ばれる)は、双曲線正接のような何らかの予め定められた関数である。
【0113】
図5において、ニューロン(即ちノード)は、閾値関数の周囲の円によって描かれている。図5に示す非限定的な例では、入力は線形関数の周りの円として描かれており、矢印はニューロン間の有向性通信(directed communications)を示している。一定の実施において、ANNはフィードフォワードネットワークである。
【0114】
【数2】
【0115】
図6は、CTスキャナ600の非限定的な例を示す。図6に示すように、放射線撮影ガントリ620は側面図から示されており、更にX線管621、環状フレーム622、および複数列もしくは二次元アレイタイプのX線検出器623が含まれている。X線管621およびX線検出器623は、回転軸RAを中心に回転可能に支持された環状フレーム622上で、被検体OBJを横切って直径方向に搭載されている。
【0116】
マルチスライスX線CT装置は、更に高電圧発生器609を含んでおり、これはX線管621がエックス線を発生するように、スリップリング628を通してX線管621に印加される管電圧を発生する。X線は、その断面積が円で表されている被検体OBJに向けて放射される。例えば、X線管621は第1のスキャンの際の平均X線エネルギーを有し、これは第2のスキャンの際の平均X線エネルギーよりも小さい。したがって、異なるX線エネルギーに対応して、2以上のスキャンを得ることができる。X線検出器623は、被検体OBJを透過した放射X線を検出するために、被検体OBJを横切ってX線管621とは反対側に配置される。X線検出器623は更に、個々の検出器要素またはユニットを含む。
【0117】
前記CT装置は更に、X線検出器623からの検出信号を処理するための、他の装置を含んでいる。各チャネルのためのデータ取得回路またはデータ取得システム(DAS)624は、X線検出器623から出力される信号を電圧信号に変換し、当該信号を増幅し、更に当該信号をデジタル信号に変換する。
【0118】
上述のデータは、非接触データ送信機625を介して、放射線撮影ガントリ620の外側コンソールに収容されている前処理回路626に送られる。この前処理回路626は、生データの感度補正のような一定の補正を実行する。得られたデータは記憶回路612に記憶され、これは再構成処理の直前の段階において投影データとも呼ばれる。記憶回路612は、再構成回路614、入力インタフェース615、およびディスプレイ616と共に、データ/制御バス611を介して処理回路610に接続される。処理回路610は、CTシステムを運転するための十分なレベルに電流を制限する電流調整器613を制御する。
【0119】
検出器は、様々な世代のCTスキャナシステムの中の患者に対して、回転および/または固定される。1つの実施において、X線管621およびX線検出器623は、環状フレーム622上で直径方向に取り付けられ、環状フレーム622が回転軸RAを中心に回転するにつれて被検体OBJの周りを回転する。
【0120】
記憶回路612は、X線検出器ユニット623におけるX線の放射照度を表す測定値を記憶することができる。更に、記憶回路612は、方法100および200の様々なステップ、ならびにDLネットワークを訓練するためのプロセス435の様々なステップを実行するための、専用プログラムを記憶することができる。
【0121】
再構成回路614は、方法100および200の様々なステップを実行することができる。更に、再構成回路614は、必要に応じて、ボリュームレンダリング処理および画像差分処理のような再構成前処理画像処理を実行することができる。
【0122】
前処理回路626によって実行される投影データの再構成前処理は、例えば、検出器校正、検出器非線形性、および極性効果について補正することを含むことができる。
【0123】
再構成回路614によって実行される再構成後処理は、必要に応じて、画像のフィルタリングおよび平滑化、ボリュームレンダリング処理、および画像差分処理を含むことができる。画像再構成プロセスは、方法100および200の様々なステップを実施することができる。再構成回路614は、例えば投影データ、再構成画像、校正データおよびパラメータ、ならびにコンピュータプログラムを記憶するためにメモリーを使用することができる。
【0124】
様々な回路(例えば、再構成回路614および前処理回路626)は、特定用途向け集積回路(Application-Specific Integrated Circuit:ASIC)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)、または他の複合プログラマブル論理装置(Complex Programmable Logic Device:CPLD)のような、個別論理ゲートとして実装できるCPU(処理回路)を含むことができる。FPGAまたはCPLDの実施は、VHDL、ヴェリログ(Verilog)、または他の任意のハードウエア記述言語でコード化することができ、当該コードはFPGAまたはCPLD内の電子メモリーに直接、または別個の電子メモリーとして保存することができる。更に、記憶回路612は、ROM、EPROM、EEPROMまたはFLASHメモリーのような不揮発性であることができる。記憶回路612はスタティックもしくはダイナミックRAMのような揮発性であってもよく、また電子メモリーを管理すると共に、FPGAまたはCPLDとメモリーとの間の相互作用を管理するために、マイクロコントローラまたはマイクロプロセッサのようなプロセッサを設けることもできる。
【0125】
1つの実施では、再構成画像をディスプレイ616に表示することができる。ディスプレイ616は、LCDディスプレイ、CRTディスプレイ、プラズマディスプレイ、OLED、LED、または当技術分野で知られている任意の他のディスプレイとすることができる。
【0126】
図7は、磁気共鳴イメージング(MRI)システム700の非限定的な例を示す。図7に示すMRIシステム700は、ガントリ701(概略断面図で示す)、およびこれとインターフェース接続された様々な関連システム構成要素703を含んでいる。少なくともガントリ701は、典型的にはシールド室の中に配置される。図7に示すMRIシステムの幾何学形状は、静磁場B0磁石711、Gx、Gy、およびGz勾配コイルセット713、および大型全身RFコイル(Whole-Body RF Coil:WBC)アセンブリ715の実質的に同軸の円筒形配置を含む。この円筒形アレイの要素の水平軸は、患者テーブル720に支持された患者719の頭部を実質的に取り囲むように示されているイメージングボリューム717である。
【0127】
1つまたは複数の小型アレイRFコイル721は、イメージングボリューム717内の、患者頭部(本明細書では、例えば、「スキャン被検体」または「被検体」と呼ばれる)のより近くに連結されてもよい。当業者には理解されるように、WBC(全身コイル)と比較して、表面コイルなどのような比較的小型のコイルおよび/またはアレイは、しばしば身体の特定の部分(例えば、腕、肩、肘、手首、膝、脚部、胸部、脊柱など)向けにカスタマイズされる。そのような小型RFコイルは、本明細書では、アレイコイル(array coil:AC)、またはフェーズドアレイコイル(phased-array coil:PAC)と呼ばれる。これらは、RF信号をイメージングボリューム内へ送信するように構成された少なくとも1つのコイルと、患者頭部のような被検体からRF信号を受信するように構成された複数の受信コイルとを、イメージングボリューム内に含むことができる。
【0128】
MRIシステム700は、ディスプレイ724、キーボード726、およびプリンタ728に接続された入力/出力ポートを有するMRIシステムコントローラ730を含む。理解されるように、ディスプレイ724は、制御入力も提供するように、タッチスクリーンタイプのものとすることができる。マウスまたは他の入出力(I/O)装置も提供することができる。
【0129】
MRIシステムコントローラ730は、MRIシーケンスコントローラ740とインターフェースをとり、MRIシーケンスコントローラ740はGx、Gy、およびGz勾配コイルドライバ732、ならびにRF送信機734、および送信/受信スイッチ736(送信および受信の両方に同じRFコイルが用いられる場合)を制御する。MRIシーケンスコントローラ740は、パラレルイメージングを含むMRIイメージング(核磁気共鳴、またはNMRイメージングとしても知られる)技術を実施するための適切なプログラムコード構造738を含んでいる。MRIシーケンスコントローラ740は、パラレルイメージングの有無にかかわらず、MRイメージング用に構成することができる。更に、MRIシーケンスコントローラ740は、1以上の準備スキャン(プレスキャン)シーケンス、およびメインスキャン磁気共鳴(MR)画像(診断画像と呼ばれる)を得るためのスキャンシーケンスを容易にすることができる。プレスキャンからのMRデータは、例えば、RFコイル715および/または721の感度マップ(ときには、コイル感度マップまたは空間感度マップとも呼ばれる)を決定し、並列イメージングのための展開マップを決定するために使用することができる。
【0130】
MRIシステム構成要素703は、ディスプレイ724へ送信される処理済み画像データを作成するために、プロセッサ742への入力を提供するRF受信機741を含んでいる。プロセッサ742は、例えば、MRIデータプロセッサ(μP、I/O、メモリ)である。プロセッサ742はまた、以前に生成されたMRデータ、画像、および/またはマップ、例えばコイル感度マップ、平行画像展開マップ、歪みマップ、および/またはシステム構成パラメータ746、ならびにMRI画像再構成プログラムコード構造744および記憶装置750にアクセスするように構成される。記憶装置750は、方法100および200の様々なステップ、ならびに前記DLネットワークを訓練するためのプロセス435の様々なステップを実行する命令を保存する。
【0131】
一実施形態において、プロセッサ742は処理回路を含む。この処理回路は、特定用途向け集積回路(ASIC)、構成可能論理装置(例えば、単純プログラマブル論理装置(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理装置(CPLD)、およびフィールドプログラマブルゲートアレイ(FPGA))のような装置、ならびに本開示に記載された機能を実行するように構成された他の回路構成要素を含むことができる。
【0132】
プロセッサ742は、プログラムコード構造744および記憶装置750に含まれる1以上の命令の1以上のシーケンスを実行する。或いは、当該命令は、ハードディスクまたはリムーバブルメディアドライブなどの別のコンピュータ可読媒体から読み取ることができる。プログラムコード構造744および記憶装置750に含まれる命令のシーケンスを実行するために、マルチプロセッシング構成における1以上のプロセッサを採用することもできる。代替実施形態では、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤード回路を使用することができる。したがって、開示された実施形態は、ハードウエア回路およびソフトウェアの如何なる特定の組み合わせにも限定されない。
【0133】
更に、本明細書で使用される「コンピュータ可読媒体」の用語は、実行のためにプロセッサ742に命令を提供することに関与する任意の非一時的媒体を指す。コンピュータ可読媒体は多くの形態をとることができ、不揮発性媒体または揮発性媒体が含まれるが、これらに限定されない。不揮発性媒体には、例えば、光ディスク、磁気ディスク、および光磁気ディスク、或いはリムーバブルメディアドライブが含まれる。揮発性媒体にはダイナミックメモリーが含まれる。
【0134】
図7にはまた、MRIシステムプログラム記憶装置(メモリー)750の一般化された描写が示されており、ここでは記憶されたプログラムコード構造が、MRIシステム700の様々なデータ処理構成要素にアクセス可能な非一時的コンピュータ可読媒体に保存される。当業者には理解されるように、プログラムの記憶装置750はセグメント化され、少なくとも一部は、通常の動作においてそのような記憶されたプログラムコード構造を最も即時に必要とするシステム703処理コンピュータの異なるそれぞれに直接接続されることができる(即ち、一般に記憶されて、MRIシステムコントローラ730に直接接続されるのではなく)。
【0135】
加えて、図7に描かれるようなMRIシステム700は、本明細書で以下に記載される例示的な実施形態を実施するために利用することができる。システム構成要素は、「ボックス」の異なる論理的集合に分割することができ、典型的には、多数のデジタル信号プロセッサ(Digital Signal Processor:DSP)、マイクロプロセッサ、および特殊用途処理回路(例えば、高速A/D変換、高速フーリエ変換、アレイ処理など)を含む。これらのプロセッサの各々は典型的にはクロックされた「状態マシン」であり、ここでの物理的データ処理回路は、各クロックサイクル(または所定数のクロックサイクル)の発生時に1つの物理的状態から別の物理的状態へと進む。
【0136】
図8Aおよび図8Bは、DLネットワークを訓練するための方法100および200の様々なステップ、ならびにプロセス435の様々なステップを実施するPETスキャナ800の非限定的な例を示している。PETスキャナ800は、それぞれ矩形検出器モジュールとして構成される幾つかのガンマ線検出器(GRD)(例えば、GRD1、GRD2ないしGRDN)を含んでいる。
【0137】
各GRDは、ガンマ線を吸収してシンチレーション光子を放出する個々の検出器結晶の二次元アレイを含むことができる。シンチレーション光子は、光電子増倍管(PMT)またはシリコン光電子増倍管(SiPM)の2次元配列によって検出できる。光導波路を、検出器結晶のアレイと光検出器との間に配置することができる。
【0138】
図8Bは、被検体OBJから放出されたガンマ線を検出するように配置されたガンマ線(ガンマ線)光子計数検出器(Gamma-Ray photon counting Detector:GRD)を有するPETスキャナ800の概略図を示す。GRDは各ガンマ線検出に対応するタイミング、位置、およびエネルギーを測定することができる。1つの実施では、図8Aおよび図8Bに示すように、前記ガンマ線検出器はリング状に配置される。
【0139】
図8Bは、PETスキャナ800の配置の一例を示しており、ここでは、撮像されるべき被検体OBJがテーブル816上に載置されており、GRDモジュールGRD1~GRDNが被検体OBJおよびテーブル816の周囲に円周方向に配置されている。これらGRDは、ガントリ840に固定的に連結された円形構成要素820に固定的に接続されることができる。ガントリ840は、PET撮像装置の多くの部分を収容している。PET撮像装置のガントリ840はまた、被検体OBJおよびテーブル816が通過できる開放アパーチャを含み、消滅事象によって被検体OBJから反対方向に放出されるガンマ線は、GRDによって検出することができ、またタイミングおよびエネルギー情報を用いて、ガンマ線対についての一致を判定することができる。
【0140】
図8Bには、ガンマ線検出データを取得、保存、処理、および配信するための回路およびハードウエアも示されている。この回路およびハードウエアは、プロセッサ870、ネットワークコントローラ874、メモリー878、およびデータ取得システム(data acquisition system:DAS)876を含んでいる。PET撮像装置はまた、GRDからの検出測定結果をDAS876、プロセッサ870、メモリー878、およびネットワークコントローラ874にルーティングするデータチャネルを含んでいる。データ取得システム876は、検出器からの検出データの取得、デジタル化、およびルーティングを制御することができる。1つの実施において、DAS876はベッド816の移動を制御する。プロセッサ870は、本明細書で説明するように、検出データからの画像の再構成、検出データを再構成する前処理、および画像データを再構成する後処理を含む機能を実行する。DAS876、プロセッサ870、およびメモリー878の組み合わせは命令を保存し、また方法100および200のステップならびにプロセス435のステップを実行する。
【0141】
プロセッサ870は、本明細書に記載の方法10およびその変形形態の様々なステップを実行するように構成することができる。プロセッサ870は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、または他の複合プログラマブル論理装置(CPLD)として、個別の論理ゲートとして実装できるCPUを含むことができる。FPGAまたはCPLDの実施は、VHDL、ヴェリログ(Verilog)、または他の任意のハードウエア記述言語でコード化することができ、当該コードはFPGAまたはCPLD内の電子メモリーに直接、または別個の電子メモリーとして保存することができる。更に、前記メモリーは、ROM、EPROM、EEPROMまたはFLASHメモリーなどの不揮発性であってもよい。前記メモリーは、スタティックもしくはダイナミックRAMのような揮発性であってもよく、マイクロコントローラまたはマイクロプロセッサのようなプロセッサは、FPGAまたはCPLDとメモリーとの間の対話と同様に、電子メモリーを管理するために提供されてもよい。
【0142】
或いは、プロセッサ870のCPUは、方法10の様々なステップを実行する1組のコンピュータ可読命令を含んだコンピュータプログラムを実行することができ、そのプログラムは上記で述べた非一時的電子メモリーおよび/またはハードディスクドライブ、CD、DVD、FLASHドライブ、または他の任意の既知の記憶媒体の何れかに保存される。更に、前記コンピュータ可読命令は、ユーティリティアプリケーション、バックグラウンドデーモン、もしくはオペレーティングシステムのコンポーネント、またはそれらの組み合わせとして提供されてよく、米国のインテル社からのXeonプロセッサ、または米国のAMDからのオプテロン(Opteron)プロセッサのようなプロセッサ、ならびにオペレーティングシステム、例えばマイクロソフトビスタ(VISTA)、ユニックス(UNIX(登録商標))、ソラリス、リナックス(登録商標)(LINUX(登録商標))、アップル、MAC-OSおよび当業者に知られた他のオペレーティングシステムと連携して実行されてよい。更に、CPUは、命令を実行するために協調的に並行して動作する複数のプロセッサとして実施できる。
【0143】
メモリー878は、ハードディスクドライブ、CD-ROMドライブ、DVDドライブ、FLASHドライブ、RAM、ROM、または当技術分野で知られた他の任意の電子記憶装置であることができる。
【0144】
米国のインテルコーポレーションからのインテルイーサネット(登録商標)PROネットワークインターフェースカードのようなネットワークコントローラ874は、PET撮像装置の様々なパーツの間のインターフェースをとることができる。更に、ネットワークコントローラ874は、外部ネットワークとインターフェースすることもできる。理解できるように、外部ネットワークは、インターネットなどのパブリックネットワーク、またはLANもしくはWANネットワークなどのプライベートネットワーク、またはそれらの任意の組み合わせとすることができ、PSTNまたはISDNサブネットワークも含むことができる。外部ネットワークはまた、イーサネット(登録商標)ネットワークなどの有線であることができ、またはEDGE、3Gおよび4G無線移動体通信システムを含む移動体通信ネットワークのような無線であることができる。無線ネットワークはまた、WiFi、ブルートゥース(Bluetooth(登録商標))、または既知の他の任意の無線形式の通信であることもできる。
【0145】
上記の教示を考慮して改変および変形が可能である。したがって、添付の特許請求の範囲内で、本明細書に具体的に記載されたものとは別の方法で本発明を実施できることが理解されるべきである
【0146】
したがって、上述した説明は、本発明の単なる例示的実施形態を開示し、説明したものである。当業者が理解するように、本発明はその精神または本質的な特徴から逸脱することなく、他の特定の形態で具体化することができる。したがって、本発明の開示は例示を意図したものであり、本発明の範囲ならびに他の特許請求の範囲を限定するものではない。本開示は、本明細書における教示の容易に識別可能な変形を含めて、発明の主題が公衆に公開されることがないように、上述の特許請求の範囲の用語の範囲を部分的に定義するものである。
【0147】
以上説明した少なくとも1つの実施形態によれば、ワークフローを改善することができる。
【0148】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0149】
600 CTスキャナ
614 再構成回路
700 MRIシステム
742 プロセッサ
800 PETスキャナ
870 プロセッサ
図1
図2
図3
図4
図5
図6
図7
図8A
図8B