IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ サトゥル メディカル,インコーポレイテッドの特許一覧

特表2022-545440深層学習を用いた正確且つ迅速な陽電子放出断層撮影のためのシステム及び方法
<>
  • 特表-深層学習を用いた正確且つ迅速な陽電子放出断層撮影のためのシステム及び方法 図1
  • 特表-深層学習を用いた正確且つ迅速な陽電子放出断層撮影のためのシステム及び方法 図2
  • 特表-深層学習を用いた正確且つ迅速な陽電子放出断層撮影のためのシステム及び方法 図3
  • 特表-深層学習を用いた正確且つ迅速な陽電子放出断層撮影のためのシステム及び方法 図4
  • 特表-深層学習を用いた正確且つ迅速な陽電子放出断層撮影のためのシステム及び方法 図5
  • 特表-深層学習を用いた正確且つ迅速な陽電子放出断層撮影のためのシステム及び方法 図6
  • 特表-深層学習を用いた正確且つ迅速な陽電子放出断層撮影のためのシステム及び方法 図7
  • 特表-深層学習を用いた正確且つ迅速な陽電子放出断層撮影のためのシステム及び方法 図8
  • 特表-深層学習を用いた正確且つ迅速な陽電子放出断層撮影のためのシステム及び方法 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-10-27
(54)【発明の名称】深層学習を用いた正確且つ迅速な陽電子放出断層撮影のためのシステム及び方法
(51)【国際特許分類】
   G01T 1/161 20060101AFI20221020BHJP
【FI】
G01T1/161 A
G01T1/161 E
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022510925
(86)(22)【出願日】2020-08-19
(85)【翻訳文提出日】2022-04-11
(86)【国際出願番号】 US2020047022
(87)【国際公開番号】W WO2021041125
(87)【国際公開日】2021-03-04
(31)【優先権主張番号】62/891,062
(32)【優先日】2019-08-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520389100
【氏名又は名称】サトゥル メディカル,インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】ツァン,タオ
(72)【発明者】
【氏名】ゴン,エンハオ
【テーマコード(参考)】
4C188
【Fターム(参考)】
4C188EE03
4C188FF07
4C188JJ02
4C188KK09
4C188KK15
4C188KK24
(57)【要約】
短縮された収集時間で画質を改善するためのコンピュータ実装方法が提供される。方法は、医用イメージング装置を用いて被験者を撮像するための加速画像収集パラメータを決定することと、加速画像収集パラメータに従って医用イメージング装置を用いて被験者の医用画像を収集することと、深層ネットワークモデルを医用画像に適用して画質が改善された対応する変換医用画像を生成することと、適応混合アルゴリズムを用いて医用画像と対応する変換医用画像とを結合して出力画像を生成することと、を含む。
【選択図】図1
【特許請求の範囲】
【請求項1】
短縮された収集時間で画質を改善するためのコンピュータ実装方法であって、
(a)医用イメージング装置を用いて被験者の医用画像を収集することであって、前記医用画像は加速画像収集パラメータを用いて収集されることと、
(b)深層ネットワークモデルを前記医用画像に適用して、画質が改善された、対応する変換医用画像を生成することと、
(c)前記医用画像と前記対応する変換医用画像とを結合して出力画像を生成することと、
を含む、コンピュータ実装方法。
【請求項2】
前記医用画像と前記対応する変換医用画像とは、前記医用画像の精度に少なくとも部分的に基づいて動的に結合される、請求項1のコンピュータ実装方法。
【請求項3】
前記医用画像と前記対応する変換医用画像とは、空間的に結合される、請求項1のコンピュータ実装方法。
【請求項4】
前記医用画像と前記対応する変換医用画像とは、アンサンブル平均を用いて結合される、請求項3のコンピュータ実装方法。
【請求項5】
前記医用画像と前記対応する変換医用画像とは、適応混合アルゴリズムを用いて結合される、請求項1のコンピュータ実装方法。
【請求項6】
前記適応混合アルゴリズムは、前記医用画像及び前記対応する変換医用画像の重み係数を計算することを備える、請求項5のコンピュータ実装方法。
【請求項7】
前記重み係数は、前記変換医用画像の精度を定量化する1つ以上のパラメータに基づいて計算される、請求項6のコンピュータ実装方法。
【請求項8】
前記変換医用画像の前記精度を定量化する前記1つ以上のパラメータは、標準化取込値(SUV)、SUVの局所的ピーク値、SUVの最大値、及び、SUVの平均値、から成るグループから選択される、請求項7のコンピュータ実装方法。
【請求項9】
前記重み係数は、前記医用画像及び前記対応する変換医用画像の画質と定量化精度との両方に基づいて計算される、請求項6のコンピュータ実装方法。
【請求項10】
前記医用画像は、陽電子放出断層撮影(PET)画像である、請求項1のコンピュータ実装方法。
【請求項11】
1つ以上のプロセッサによって実行されるときに、前記1つ以上のプロセッサに、
(a)医用イメージング装置を用いて被験者の医用画像を収集することであって、前記医用画像は加速画像収集パラメータを用いて収集されることと、
(b)深層ネットワークモデルを前記医用画像に適用して、画質が改善された、対応する変換医用画像を生成することと、
(c)前記医用画像と前記対応する変換医用画像とを結合して出力画像を生成することと、
を含む操作を実施させる命令を含む、非一時的コンピュータ可読記憶媒体。
【請求項12】
前記医用画像と前記対応する変換医用画像とは、前記医用画像の精度に少なくとも部分的に基づいて動的に結合される、請求項11の非一時的コンピュータ可読記憶媒体。
【請求項13】
前記医用画像と前記対応する変換医用画像とは、空間的に結合される、請求項11の非一時的コンピュータ可読記憶媒体。
【請求項14】
前記医用画像と前記対応する変換医用画像とは、アンサンブル平均を用いて結合される、請求項13の非一時的コンピュータ可読記憶媒体。
【請求項15】
前記医用画像と前記対応する変換医用画像とは、適応混合アルゴリズムを用いて結合される、請求項11の非一時的コンピュータ可読記憶媒体。
【請求項16】
前記適応混合アルゴリズムは、前記医用画像及び前記対応する変換医用画像の重み係数を計算することを備える、請求項15の非一時的コンピュータ可読記憶媒体。
【請求項17】
前記重み係数は、前記変換医用画像の精度を定量化する1つ以上のパラメータに基づいて計算される、請求項16の非一時的コンピュータ可読記憶媒体。
【請求項18】
前記変換医用画像の前記精度を定量化する前記1つ以上のパラメータは、標準化取込値(SUV)、SUVの局所的ピーク値、SUVの最大値、及び、SUVの平均値、から成るグループから選択される、請求項17の非一時的コンピュータ可読記憶媒体。
【請求項19】
前記重み係数は、前記医用画像及び前記対応する変換医用画像の画質と定量化精度との両方に基づいて計算される、請求項16の非一時的コンピュータ可読記憶媒体。
【請求項20】
前記医用画像は、陽電子放出断層撮影(PET)画像である、請求項11の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
[1] 本願は2019年8月23日に提出された米国仮出願第62/891,062号の優先権を主張するものであり、同出願の内容はその全体が本明細書に組み込まれる。
【背景技術】
【0002】
[2] 陽電子放出断層撮影(PET)は、癌診断、腫瘍検出、及び神経障害の早期診断といった用途において一般的に用いられる医用イメージング技術である。PETは細胞レベルで高い特異性の臨床画像を提供する。PETは機能的イメージングを提供するために少量の放射性トレーサを用いる。コンピュータ断層撮影(CT)又は磁気共鳴(MR)と組み合わせて、PET(PET/CT又はPET/MR)は、癌、心血管疾患、神経障害、及び他の障害の診断、並びに治療計画の効果の評価のために、診療所において広く適用される。他の手法(例えばX線、CT、又は超音波)と比較して、PETには通常、臨床的に有用な画像を生成するためのデータ収集に、より長い時間、時には数十分がかかる。PET画質は、消滅光子対から十分な数の同時計数イベントを集めることに依存する。長いスキャン時間及びスキャン時の患者の不要な運動に起因して、望ましくないイメージングアーチファクト並びに空間内でのイベントの置き違え(misplacement of events in space)が生じ得る。長引く収集時間は、PET放射性トレーサ定量化の不正確さに繋がり得る。長々しい検査時間も、静止していることが困難な患者にとって、処置を不快なものにするであろう。PET検査のためのこうした長いスキャン時間は、高いイメージング費用を招き得ると共に、患者数及び利用容易性を限定し得る。
【発明の概要】
【0003】
[3] 本開示は、上記で認められるものを含む従来のシステムの種々の欠点に対処することのできる、改善された陽電子放出断層撮影(PET)システム及び方法を提供する。本開示の方法及びシステムは、画像収集時間を短縮して改善された画質を提供することができる。とりわけ、画質を改善されたPET画像が、短縮された収集時間で、定量化精度を失うことなく、得られ得る。
【0004】
[4] 慣例的に、短いスキャン期間は画像フレームにおける低い計数統計を招くおそれがあるが、低計数投影データからの画像再構成は、断層撮影が非適切(ill-posed)及び高ノイズであるため、困難になり得る。提供される方法及びシステムは、イメージングアーチファクトを緩和し画質を改善するように深層学習技術を適用することによって、PETスキャン時間を有意に減少させ得る。医用イメージングにおけるアーチファクトの例は、ノイズ(例えば低信号ノイズ比)、ブレ(例えばモーションアーチファクト)、シェーディング(例えば検知の阻害又は妨害)、不明情報(例えば情報の除去又はマスキングに起因するペインティング中の不明ピクセル又はボクセル)、及び/又は、再構成(例えば測定ドメインにおける劣化)を含み得る。
【0005】
[5] 本明細書において提供される方法及びシステムは、生理学的又は生化学的情報に関する定量化精度を保ちながら、より高速のPETイメージング収集を可能にし得る。例えば、本開示の方法及びシステムは、PET取り込み定量化の精度を保ちながら加速PET画像収集を提供し得る。いくつかの実施形態においては、加速収集による正確なPET定量化は、画像再構成のための適応混合アルゴリズムを用いて、機械学習技術と元の入力PETデータの生化学的情報(例えば放射能分布)とを活用することにより、実現され得る。
【0006】
[6] 一態様においては、短縮された収集時間で画質を改善するためのコンピュータ実装方法が提供される。方法は、(a)医用イメージング装置を用いて被験者の医用画像を収集することであって、医用画像は加速画像収集パラメータを用いて収集されることと、(b)深層ネットワークモデルを医用画像に適用して、画質が改善された、対応する変換医用画像を生成することと、(d)医用画像と対応する変換医用画像とを結合して出力画像を生成することと、を備える。
【0007】
[7] 関連するが別個の別の一態様においては、1つ以上のプロセッサによって実行されるときにその1つ以上のプロセッサに操作を実施させる命令を含む、非一時的コンピュータ可読記憶媒体である。操作は、(a)医用イメージング装置を用いて被験者の医用画像を収集することであって、医用画像は加速画像収集パラメータを用いて収集される、収集することと、(b)深層ネットワークモデルを医用画像に適用して、画質が改善された、対応する変換医用画像を生成することと、(d)医用画像と対応する変換医用画像とを結合して出力画像を生成することと、を備える。
【0008】
[8] いくつかの実施形態においては、医用画像と対応する変換医用画像とは、医用画像の精度に少なくとも部分的に基づいて動的に結合される。他の実施形態においては、医用画像と対応する変換医用画像とは空間的に結合される。場合によっては、医用画像と対応する変換医用画像とは、アンサンブル平均を用いて結合される。
【0009】
[9] いくつかの実施形態においては、医用画像と対応する変換医用画像とは、適応混合アルゴリズムを用いて結合される。場合によっては、適応混合アルゴリズムは、医用画像及び対応する変換医用画像の重み係数を計算することを備える。ある場合には、重み係数は、変換医用画像の精度を定量化する1つ以上のパラメータに基づいて計算される。例えば、変換医用画像の精度を定量化する1つ以上のパラメータは、標準化取込値(SUV)、SUVの局所的ピーク値、SUVの最大値、及びSUVの平均値から成るグループから選択される。代替的には、重み係数は、医用画像及び対応する変換医用画像の画質と定量化精度との両方に基づいて計算される。
【0010】
[10] いくつかの実施形態においては、医用画像は陽電子放出断層撮影(PET)画像である。
【0011】
[11] また、本開示の方法及びシステムは、基盤となるインフラストラクチャの変更の必要なしに、既存のシステムに適用され得る。特に、提供される方法及びシステムは、ハードウェアコンポーネントの追加費用をかけずにPETスキャン時間を加速し得ると共に、基盤となるインフラストラクチャの構成又は仕様に関係なく配備されることができる。
【0012】
[12] 本開示の更なる態様及び利点は、当業者には、本開示の例示的な実施形態のみが示され記載される以下の詳細の説明から、容易に明らかになるであろう。理解されるであろう通り、本開示には他の及び異なる実施形態の余地があり、そのいくつかの詳細には、全て本開示から逸脱することなく、種々の自明の点で変更の余地がある。したがって、図面及び明細書は、制限的なものではなく本質的に例示的なものと見なされるべきである。
【0013】
[13] 本明細書において言及される全ての刊行物、特許、及び特許出願は、参照によって、個々の刊行物、特許、又は特許出願の各々が参照により援用される旨を具体的且つ個別に示されたのと同程度に、ここに援用される。参照により援用される刊行物及び特許又は特許出願が本明細書に含まれる開示に矛盾する限りにおいて、本明細書は、任意のそのような矛盾する材料に取って代わる及び/又は優先することが意図されている。
【図面の簡単な説明】
【0014】
[14] 本発明の新規の特徴は、添付の特許請求の範囲に特に記載される。本発明の特徴及び利点のより良い理解は、本発明の原理が利用される例示的な実施形態を記載した以下の詳細な説明と、添付の図面(本明細書においては「図面(figure)」及び「図(FIG.)」ともいう)とを参照することによって得られるであろう。
【0015】
図1】[15] PET画像データを処理及び再構成するためのワークフローの一例を示す。
図2】[16] 本明細書に一貫して記載される方法及びシステムの性能を改善するための方法の一例を示す。
図3】[17] イメージングアクセラレータが実装され得る例示的なPETプラットフォームを概略的に図示する。
図4】[18] 本開示の実施形態による例示的なPETイメージングアクセラレータシステムのブロック図を示す。
図5】[19] PET画質を改善するため及び加速収集で定量化精度を保つための方法の一例を図示する。
図6】[20] 標準的な収集時間(シナリオA)・加速収集(シナリオB)で撮影されたPET画像と、提供される方法及びシステムによって処理されたシナリオBの画像(シナリオC)と、を示す。
図7】[21] 画質メトリクスの例を異なる加速係数について示す。
図8】[22] 本開示の方法及びシステムを用いた標準化取込値(SUV)などの定量化測定(quantification measure)の精度の例を示す。
図9】[23] グラウンドトゥルース画像(シナリオA)と、適応混合なしで深層学習によって強化された画像(シナリオB)と、適応混合によって処理された強化画像(シナリオC)と、の比較を示す。
【発明を実施するための形態】
【0016】
[24] 本明細書には本発明の種々の実施形態が示され記載されているが、当業者には、そのような実施形態が例としてのみ提供されることが明らかであろう。当業者には、本発明から逸脱することなく、多数のバリエーション、変更、及び代用が思い浮かぶであろう。本明細書に記載された本発明の実施形態の種々の代替案が採用され得ることが理解されるべきである。
【0017】
[25] 陽電子放出断層撮影(PET)は、体内の代謝過程を観察するために疾患の診断の一助として用いられる核医学の機能的イメージング技術である。PETシステムは、放射性トレーサなどの生物学的に活性な分子で患者の体内に導入される陽電子放出放射性リガンド、最も一般的にはフッ素18によって間接的に放出されるガンマ線の対を検出し得る。生物学的に活性な分子は、フルデオキシグルコース(FDG)など、任意の適当なタイプであってよい。トレーサ運動モデリングによって、PETは、生理学的又は生化学的に重要なパラメータを関心領域において又はボクセル単位で定量化して、疾患状態を検出すると共に重症度を特徴付けることができる。
【0018】
[26] 本明細書中では主に陽電子放出断層撮影(PET)及びPETデータ例が提供されるが、本アプローチは他の撮像手法の文脈で用いられてもよいことが理解されるべきである。例えば、ここに記載されるアプローチは、コンピュータ断層撮影(CT)、単光子放出型コンピュータ断層撮影(SPECT)スキャナ、機能的磁気共鳴撮像(fMRI)、又は磁気共鳴撮像(MRI)スキャナを含むがこれらに限定されない、他のタイプの断層撮影スキャナによって収集されるデータに対して採用されてもよい。
【0019】
[27] PETイメージングの「正確な定量化」又は「定量化精度」という用語は、放射能分布などの定量的バイオマーカ評価の精度を指し得る。PET画像の精度を定量化するためには、FDG-PETスキャンの標準化取込値(SUV)など、種々のメトリクスを採用することができる。例えば、ピークSUV値は、PET画像の定量化精度のメトリックとして用いられ得る。平均、中央値、最小値、最大値、範囲、歪度、尖度のような他の一般的な統計、及び18-FDGの5つの標準化取込値(5 standardized uptake value)(SUV)の絶対SUVを上回る代謝体積のようなより複雑な値もまた、計算されてPETイメージングの精度の定量化のために用いられることができる。
【0020】
[28] 本明細書において用いられる「短縮収集」という用語は、概して、短縮されたPET収集時間又はPETスキャン期間を指す。提供されるシステム及び方法は、少なくとも1.5,2,3,4,5,10,15,20、20を上回るもしくは1.5を下回る値の倍数、又は前述の2つの値のいずれかの間の値の加速係数によって、画質が改善されたPETイメージングを実現することができ得る。加速収集は、PETスキャナのスキャン期間を短縮することによって実現可能である。例えば、PETスキャンを実施する前に、PETシステムを介してある収集パラメータ(例えば3分/ベッド(bed)、合計で18分)が設定されてもよい。
【0021】
[29] 短いスキャン期間で撮影されたPET画像は、種々の物理的な劣化要因に加えて検出される低い同時発生光子計数に起因して、低い画質(例えば高いノイズ)を有し得る。PETにおけるノイズの発生源の例は、散乱(検出される光子対であって、光子の少なくとも1つが視野内の物質との相互作用によって元の経路から偏向され、その対が不適当な応答線(LOR)に割り当てられることに繋がる)及び偶発イベント(光子が2つの異なる消滅イベントから発生するが、それぞれの検出器への到達が同時計数時間窓内で発生するので、誤って同時発生対として記録される)を含み得る。本開示の方法及びシステムは、物理的なシステムへの変更なしに、定量化精度を保ちながら医用画像の画質を改善し得る。
【0022】
[30] 図1は、PET画像データを処理及び再構成するためのワークフロー100の一例を示す。上述したように、PETスキャナ又はPETシステムでは、短縮されたスキャン時間が設定され得る。短縮されたスキャン時間又はより高速な収集での収集画像101は、画像毎のスキャン時間の減少に起因して、より低い画質を有し得る。例えば、PET画像101は、上述した加速収集によって、低い画像解像度及び/又は信号対ノイズ比(SNR)を有し得る。PET画像101は、代謝体積キャリブレーション又は施設間クロスキャリブレーション(interinstitutional cross-calibration)及び品質管理など、既存の又は従来のスキャンプロトコルに準拠することによって収集され得る。PET画像101は、PETスキャナへの追加的な変更を要さずに、任意の従来の再構成技術を用いて収集及び再構成され得る。短縮されたスキャン期間で収集されたPET画像101は高速スキャン画像又は原入力画像と称されてもよく、これらは明細書の全体を通して交換可能に使用され得る。
【0023】
[31] 加速収集によって得られた前述のPET画像101は、より低い画質を有し得る。例えば、画像解像度及び信号対ノイズ比(SNR)が、種々の物理的な劣化要因に加えて検出される低い同時発生光子計数に起因して、より低くなり得る。入力PET画像101は、ノイズ(例えば低い信号ノイズ比)、ブレ(例えばモーションアーチファクト)、シェーディング(例えば検知の阻害又は妨害)、不明情報(例えば情報の除去又はマスキングに起因するペインティング中の不明ピクセル又はボクセル)、再構成(例えば測定ドメインにおける劣化)、鮮明さを含み得る種々のアーチファクト、及び画質を低下させ得る種々の他のアーチファクトに煩わされ得る。加速収集要因に加え、散乱(検出される光子対であって、光子の少なくとも1つが視野内の物質との相互作用によって元の経路から偏向され、その対が不適当なLORに割り当てられることに繋がる)及び偶発イベント(光子が2つの異なる消滅イベントから発生するが、それぞれの検出器への到達が同時計数時間窓内で発生するので、誤って同時発生対として記録される)を含み得る他の原因も、PETイメージングにノイズを導入し得る。
【0024】
[32] PET画像101は、任意の既存の再構成方法を用いて得られる再構成画像であり得る。例えば、PET画像101は、フィルタ補正逆投影、統計的な尤度ベースのアプローチ、及び種々の他の従来の方法を用いて再構成され得る。しかしながら、PET画像101は、短縮された収集時間及び検出される光子の数の減少に起因して、低解像度及び/又は低SNRなど、依然として低い画質を有し得る。
【0025】
[33] 高速スキャンPET画像101の画質は、画質強化PET画像103が実現可能となるように深層学習技術を用いて改善され得る。いくつかの実施形態においては、深層学習技術は画質を強化するために利用され得る。一例として、画像強化プロセス110にあたっては、高速スキャンされた低画質の画像xfastを高画質の画像
【数1】
に変換する関数fを推定するために、深層学習アルゴリズムが適用され得る。例えば、低画質の高速スキャンPET画像101が入力としてモデルネットワークに供給されてもよく、そのモデルネットワークの出力は強化PET画像を備える。一例として、モデルネットワークによって生成された強化PET画像103は、元の入力PET画像101と比較して、改善されたSNR及び/又はより高い解像度を有し得る。
【0026】
[34] より低い画質の入力画像データをより高い画質のPET画像データに変換するために、訓練された深層学習モデルが用いられてもよい。いくつかの実施形態においては、入力データは2D画像データであり得る。場合によっては、入力データは複数の軸スライスを備える3Dボリュームであり得る。入力PET画像101は、PETスキャナによって集められたサイノグラムデータであってもよい。提供されるシステムの支援によって、より高い画質のPET画像が、短縮された収集期間で得られ得る。
【0027】
[35] モデルネットワークは、PET画像の画質を強化するための訓練済みモデルであり得る。いくつかの実施形態においては、モデルは、フィードフォワードニューラルネットワーク、放射基底関数ネットワーク、再帰型ニューラルネットワーク、たたみ込みニューラルネットワーク、深層残差学習ネットワークなどといった任意のタイプのニューラルネットワークモデルを採用することのできる人工ニューラルネットワークを含み得る。いくつかの実施形態においては、機械学習アルゴリズムは、たたみ込みニューラルネットワーク(CNN)のような深層学習アルゴリズムを備え得る。機械学習アルゴリズムの例は、サポートベクトルマシン(SVM)、単純ベイズ分類、ランダムフォレスト、ニューラルネットワークのような深層学習モデル、又は他の教師あり学習アルゴリズムもしくは教師なし学習アルゴリズムを含み得る。モデルネットワークは、複数の層を備え得るCNNのような深層学習ネットワークであり得る。例えば、CNNモデルは少なくとも、入力層と、いくつかの隠れ層と、出力層と、を備え得る。CNNモデルは任意の総数の層及び任意の数の隠れ層を備え得る。ニューラルネットワークの最も簡単なアーキテクチャは、入力層で始まり、一連の中間層又は隠れ層がそれに続き、出力層で終わる。隠れ層又は中間層は学習可能な特徴抽出器として作用し得、その一方で、出力層は、本例においては、画質が改善されたPET画像(例えば強化PET画像103)を提供する。ニューラルネットワークの各層はいくつかのニューロン(又はノード)を備え得る。ニューロンは、入力データ(例えば低画質の画像データ、高速スキャンPETデータなど)又は他のニューロンの出力のいずれかから直接到来する入力を受信し、特定の操作、例えば合計などを実施する。場合によっては、入力からニューロンへの接続は、重み(又は重み付け係数)に関連付けられる。場合によっては、ニューロンは、入力とその関連する重みとの全ての対の積を足し合わせ得る。場合によっては、加重和はバイアスによってオフセットされる。場合によっては、ニューロンの出力は、閾値又は活性化関数を用いてゲートされ得る。活性化関数は線形又は非線形であり得る。活性化関数は、例えば、正規化線形ユニット(ReLU)活性化関数、又は飽和双曲線正接関数、恒等関数、バイナリステップ関数、ロジスティック関数、逆正接関数(arcTan)、ソフトサイン関数、パラメトリック正規化線形ユニット関数、指数線形ユニット関数、ソフトプラス関数、ベント恒等関数、ソフト指数関数、正弦曲線関数、正弦関数、ガウス関数、シグモイド関数のような他の関数、又はこれらの任意の組み合わせであってもよい。
【0028】
[36] いくつかの実施形態においては、画質を強化するためのモデルは、教師あり学習を用いて訓練され得る。例えば、深層学習ネットワークを訓練するために、複数の被験者からの、低画質の(すなわち減少された時間で収集された)高速スキャンPET画像と、グラウンドトゥルースとしての標準画質/高画質PET画像との対が、訓練データセットとして提供され得る。上述したように、モデルは、高速スキャンされた低画質の画像xfastを高画質の画像
【数2】
に変換する変換関数fに近似するように訓練される。高画質出力画像は、高SNR又は高解像度の画像であり得る。この関数fは、短縮されていない標準PETイメージングによって得られるグラウンドトゥルース画像xと、いくつかの訓練データセットでの訓練プロセスを通じた推定画像
【数3】
との間で、メトリクスを最適化することによって得られ得る。
【0029】
[37] いくつかの実施形態においては、モデルは、大量のラベル付きデータを必要としないであろう教師なし学習又は半教師あり学習を用いて訓練され得る。高画質の医用画像データセット又は対のデータセットは集めるのが困難であろう。場合によっては、提供される方法は、深層学習方法が臨床データベースにおいて既に利用可能な既存のデータセット(例えば対になっていないデータセット)を訓練すること及びそれらのデータセットに適用することを可能にする、教師なし訓練アプローチを利用し得る。いくつかの実施形態においては、深層学習モデルの訓練プロセスは、残差学習方法を採用し得る。場合によっては、ネットワーク構造は、U-net構造と残差ネットワークとの組み合わせであってもよい。訓練プロセスについての詳細は、本明細書中に後述される。
【0030】
[38] 次に、強化PET画像103は、定量化精度を改善するために更に処理され得る。状況によっては、強化PET画像103は、画質強化プロセスの際に(例えばコスト関数として用いられるL2ノルムに起因して)過度に平滑化されるか又は小さな構造を失っているかもしれない。いくつかの実施形態においては、強化PET画像103は、画質の改善された正確なPET画像105を生成するように元の入力PET画像101と融合され得る。元の入力PET画像101は、低画質であっても、有用な生化学的情報を含有(例えば病変取り込みを保存)し得る。そのような元の生化学的情報は、PET画像の定量化精度を保存又は改善するために、本方法及びシステムによって利用され得る。例えば、元の画像からの元の生化学的情報は強化PET画像と有益に結合され、それによって、画質及び精度の両方が改善された出力PET画像を可能にし得る。
【0031】
[39] 方法100は、高画質と高い定量化精度との両方を有する出力画像105を生成するために、適応混合アルゴリズム120を適用し得る。場合によっては、強化PET画像103と元の入力PET画像データ101とは、出力画像データ105の全体性能が強化画像103及び/又は元の入力PET画像101のそれよりも改善されるように、適応混合アルゴリズムを用いて結合され得る。例えば、出力画像105の定量化精度が強化画像103のそれよりも改善され得ると同時に、画質が元の入力PET画像101のそれよりも改善され得る。場合によっては、出力画像の定量化精度は、正規化又はフィルタリングなどの画像処理の際にランダム変動が低減され得るのであれば、強化画像及び元の入力PET画像の両方よりも改善され得る。
【0032】
[40] 図1に示されるように、ニューラルネットワークによって生成される出力強化画像と元の入力画像とは混合され得る(120)。場合によっては、元の入力PET画像101と強化PET画像103とは、動的なやり方で混合され得る。例えば、混合関数は深層学習強化画像
【数4】
103と元の入力画像xfast101との重み付け結合であり得、重み又は係数はPET画像の精度を定量化する1つ以上のパラメータに基づいて動的に計算される。パラメータは、トレーサのタイプ及び/又は関心領域(ROI)に基づいて選択され得る。PET画像の精度を定量化するためには、FDG-PETスキャンの標準化取込値(SUV)など、任意の適当なパラメータが選択可能である。SUVの(局所的)ピーク値、SUVの最大値、SUVの平均値、又は上記のものの組み合わせのような他のメトリクスが、PET画像の精度を定量化するため及び重み係数を決定するためのパラメータとして用いられ得る。平均、中央値、最小値、最大値、範囲、歪度、尖度のような任意の一般的な統計、及び18-FDGの5つの標準化取込値(SUV)の絶対SUVを上回る代謝体積のようなより複雑な値もまた、PETイメージングの精度を定量化するため及び重み係数を決定するために用いられることができる。
【0033】
[41] 強化画像
【数5】
103と元の入力画像xfast101との混合は、空間適応的及び/又は強度適応的であり得る。例えば、適応混合は、空間変化型フィルタを適用することによって実現され得る。元の入力画像101と画質強化画像103とは空間的に平均化され得る。平均演算子はアンサンブル平均であってもよい。平均演算子は、選択された領域(例えばROI)における又は画像フレーム全体にわたる、元の入力画像xfastと強化画質画像
【数6】
との加重平均であってもよい。
【0034】
[42] 場合によっては、適応混合及び深層学習システムの出力y[i,j]105は、次の式に従って得られる。
【数7】
【0035】
[43] ただし、xは元の入力画像(例えばxfast)を表し、f(x)は深層学習ネットワークの出力(例えば
【数8】
)を表し、αは深層学習ネットワークのk個の異なる出力の各々の重み付け係数を表す。上記の例に示されるように、各重み付け係数aは、深層学習ネットワークの出力f(x)に基づいて決定され得る。場合によっては、重み付け係数は、深層学習強化画像(すなわち深層学習ネットワークの出力)の関数であり得る。その関数は、線形又は非線形の最大値フィルタなど、任意の変換関数であり得る。
【0036】
[44] 重み付け係数値又は重み係数は、PET画像の画質及び精度が最適化され得るように、空間適応的及び強度適応的であってもよい。例えば、深層学習強化画像において(元の入力画像と比較して)SUVのピーク値が有意に変化するのであれば、元の入力画像にはSUVに関してより大きな重み係数が割り当てられてもよく、それによって精度特徴が保たれる。場合によっては、画像の適応混合のための適応的な重み係数は、上述したように、定量化精度の1つ以上のパラメータ(例えばピークSUV、平均SUV)との所定の関係に基づいて決定され得る。例えば、画像の適応混合のための適応的な重み付け係数は、SUVのような定量化係数の最大値を保つように選択され得る。場合によっては、画像の適応混合のための適応的な重み係数は、画質のメトリクスと定量化精度のメトリクスとの両方に基づいて決定され得る。例えば、重み付け平均の重み係数は、ピーク信号対ノイズ比(PSNR)又は構造的類似性指数(SSIM)などの画質のメトリクス、及びマルチスケール構造的類似性指数(MS-SSIM)又は正規化二乗平均平方根誤差(NRMSE)、及びSUV又はSUVの最大値などの定量化パラメータに基づいて決定され得る。
【0037】
[45] 場合によっては、重み係数は実時間で決定され得る。例えば、重み係数は、入力データの新たなセットの捕捉時に計算され得る。代替的又は追加的には、重み係数は、スキャナ毎、システム毎、検査毎、患者毎、モデル毎、所定の期間毎などに決定され得る。例えば、重み係数は、局所的ピーク値を維持するようにピークSUVを保ちつつ、グラウンドトゥルースデータと画質強化画像との間で画像メトリクス(例えばPSNR,SSIM,RMSE)を比較することによって決定され得る。一例として、重み係数は、ゴール関数RMSE(f(x),グラウンドトゥルース)+RMSE(最大値フィルタ(f(x)),最大値フィルタ(グラウンドトゥルース))の値を最小化するように値を調整することによって決定され得る。重み係数は、訓練フェーズの間、モデルの配備後、モデルネットワークの実装後、又はシステムの継続的改善段階の間に決定され得る。
【0038】
[46] 場合によっては、システムの性能を更に改善するための方法が提供され得る。方法は、様々な異なるフィルタリングパラメータを用いて最適出力画像を特定する画質強化の前に、PET画像を前処理することを伴い得る。図2は、図1に関して記載された開示される方法及びシステムと整合する方法及びシステムの性能を改善するための例示的な方法200を示す。図示される例においては、深層学習ネットワークを通じて画質を改善する前に、加速PET画像から得られた低画質画像に様々なフィルタが適用され得る。これらのフィルタの非限定例は、たたみ込みフィルタ(例えばロバーツエッジ強化フィルタ、ガウス平滑化フィルタ、ガウス鮮鋭化フィルタ、ソーベルエッジ検出フィルタなど)、又はモルフォロジカルフィルタ(例えば浸食フィルタ、膨張フィルタ、セグメント化フィルタなど)、又は種々の他のフィルタであり得る。これらのフィルタはSNR又は解像度などの画像パラメータを強化し得る。画像を改善するための他の方法、例えば、局所パッチ統計、以前の解剖学的情報又は時間情報を利用する方法、非局所的平均ノイズ除去のようなノイズ除去方法、ガイデッド画像フィルタリング、エントロピー又は相互情報量ベースの方法、上述したようなセグメント化ベースの方法及び勾配ベースの方法も、用いられることができる。その結果、複数のフィルタリングされた入力画像(例えばフィルタリングされた入力画像1,…m)が創出される。フィルタリングされた入力画像の各セットはその後、図1に記載されているように、深層学習ネットワーク及び適応混合方法によって処理され得る。その結果、各画像について複数の出力候補が生成され得る。次に、その複数の出力候補から最適な出力画像候補が選択され得る。選択基準は、SNR、画像の鮮明さ、解像度、又は他のものなどの画質メトリクス、及び上記のものの任意の組み合わせに基づき得る。場合によっては、最適な出力画像候補を特定すると、関連するフィルタ(例えばフィルタパラメータ)、適応混合のための重み係数、及びプロセス200においてデータを処理するための他のパラメータが、進行中の入力データを処理するために採択されて利用され得る。
【0039】
システム概要
[47] システム及び方法は、ハードウェアインフラストラクチャの変更の必要なしに、既存のPETイメージングシステム上で実装可能である。図3は、本開示のイメージングアクセラレータ340が実装され得るPETプラットフォーム300の一例を概略的に図示する。PETシステム300は、検出器リングシステム303と、検出器リングシステムに接続された患者搬送テーブル305と、検出器リングシステムに動作可能に連結されたコントローラ301と、を備え得る。一例においては、患者が患者搬送テーブル305上に横たわっていてもよく、検出器リングシステム303が患者の体の少なくとも一部を包囲していてもよい。PETプラットフォーム300は、例えばPET/CT又はPET/MRIプラットフォームを形成するように、他の撮像手法と組み合わせることができる。PETプラットフォームを別の撮像手法(例えばCT,MRI)に統合するためには、画像を共同登録するなどの適当な方法が関係し得る。PETプラットフォーム300は更に、ネットワーク330を介してコントローラ301に動作可能に連結されたコンピュータシステム310と1つ以上のデータベースとを備え得る。コンピュータシステム310は、画質を改善するように上記で説明した方法及びシステムを更に実装するために用いられ得る。
【0040】
[48] コントローラ301は同時計数処理ユニットであってもよい。コントローラは、入力デバイス(例えばキーボード)と、制御パネルと、ディスプレイと、を含み得る操作卓(図示しない)を備えていてもよく、又はこれに連結されていてもよい。例えば、コントローラは、ディスプレイと、キーボードと、プリンタと、に接続された入力/出力ポートを有していてもよい。場合によっては、操作卓はネットワークを通じて、術者がディスプレイの画面上で画像の製作及び表示を制御することを可能にするコンピュータシステム310と通信し得る。画像は、加速収集スキームに従って収集された、画質及び/又は精度を改善された画像であり得る。画像収集スキームは、PETイメージングアクセラレータ340によって及び/又は本明細書中に後述されるユーザによって、自動的に決定され得る。
【0041】
[49] PETシステムはユーザインターフェイスを備え得る。ユーザインターフェイスは、ユーザ入力を受信するように及び情報をユーザに出力するように構成され得る。ユーザ入力は、画像収取スキームを制御すること又は設定することに関係し得る。例えば、ユーザ入力は、各収集のスキャン期間(例えば、分/ベッド)又は加速収集スキームの1つ以上の収集パラメータを決定するフレームのスキャン時間を示し得る。ユーザ入力はPETシステムの操作(例えばプログラムの実行を制御するための特定の閾値設定、画像再構成アルゴリズムなど)に関係し得る。ユーザインターフェイスは、タッチスクリーンのような画面と、手持ち式コントローラ、マウス、ジョイスティック、キーボード、トラックボール、タッチパッド、ボタン、口頭コマンド、ジェスチャ認識、姿勢センサ、熱センサ、タッチ静電容量センサ、フットスイッチ、又は任意の他のデバイスのような任意の他のユーザインタラクティブ外部デバイスと、を含み得る。
【0042】
[50] PETプラットフォーム300は、PETイメージングアクセラレータ340と相互作用し得るコンピュータシステム310とデータベースシステム320とを備え得る。コンピュータシステムは、ラップトップコンピュータ、デスクトップコンピュータ、中央サーバ、分散コンピューティングシステムなどを備え得る。プロセッサは、シングルコアもしくはマルチコアプロセッサであり得る中央処理装置(CPU)、グラフィック処理ユニット(GPU)、汎用処理ユニットなどのハードウェアプロセッサであってもよく、又は並行処理のための複数のプロセッサであってもよい。プロセッサは、コンピューティングプラットフォーム又はマイクロプロセッサ、論理デバイス及び同様のものなど、任意の適当な集積回路であり得る。本開示はプロセッサを参照して記載されるが、他のタイプの集積回路及び論理デバイスも適用可能である。プロセッサ又は機械はデータ演算能力によって限定されなくてもよい。プロセッサ又は機械は、512ビット、256ビット、128ビット、64ビット、32ビット、又は16ビットデータ演算を実施し得る。コンピュータシステムに関する詳細は、図4に関連して記載される。
【0043】
[51] PETプラットフォーム300は1つ以上のデータベースを備え得る。1つ以上のデータベース320は、任意の適当なデータベース技術を利用し得る。例えば、構造化照会言語(SQL)又は「NoSQL」データベースが、PET画像データ、生の集められたデータ、再構成された画像データ、訓練データセット、訓練済みモデル(例えばハイパーパラメータ)、適応混合重み係数などを記憶するために利用され得る。データベースのうちいくつかは、アレイ、ハッシュ、(連結)リスト、構造体、構造化テキストファイル(例えばXML)、表、JSON、NOSQL、及び/又は同様のものなど、種々の標準的なデータ構造を用いて実装され得る。そのようなデータ構造は、メモリに及び/又は(構造化)ファイルに記憶され得る。別の一代替案においては、オブジェクト指向データベースが用いられ得る。オブジェクトデータベースは共通属性によってグループ化され及び/又は結びつけられたいくつかのオブジェクトコレクションを含むことができ、それらはいくつかの共通属性によって他のオブジェクトコレクションと関係付けられ得る。オブジェクト指向データベースは、オブジェクトが単なる複数のデータではなく所与のオブジェクト中に埋め込まれた他のタイプの機能性を有し得るという点を除き、リレーショナルデータベースと同じように機能する。本開示のデータベースがデータ構造として実装されるのであれば、本開示のデータベースの使用は、本発明のコンポーネントなど、別のコンポーネントに統合されてもよい。また、データベースは、データ構造、オブジェクト、及びリレーショナル構造の混合として実装されてもよい。データベースは標準的なデータ処理技術を通じて複数のバリエーションで集約及び/又は分散されてもよい。データベースの一部、例えば表が、エクスポート及び/又はインポートされ、ひいては分散化され及び/又は統合されてもよい。
【0044】
[52] ネットワーク330は、PETプラットフォームのコンポーネント間の接続及びPETシステムの外部システムへの接続を確立し得る。ネットワーク330は、無線及び/又は有線通信システムの両方を用いてローカルエリアネットワーク及び/又は広域ネットワークの任意の組み合わせを備え得る。例えば、ネットワーク330は、インターネットと並んで移動電話ネットワークを含み得る。一実施形態においては、ネットワーク330は標準的な通信技術及び/又はプロトコルを用いる。したがって、ネットワーク330は、イーサネット、802.11、ワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス(WiMAX)、2G/3G/4G移動通信プロトコル、非同期転送モード(ATM)、インフィニバンド、PCIエキスプレスアドバンスドスイッチングなどの技術を用いたリンクを含み得る。ネットワーク330上で用いられる他のネットワーキングプロトコルは、マルチプロトコルラベルスイッチング(MPLS)、伝送制御プロトコル/インターネットプロトコル(TCP/IP)、ユーザデータグラムプロトコル(UDP)、ハイパーテキスト転送プロトコル(HTTP)、簡易メール転送プロトコル(SMTP)、ファイル転送プロトコル(FTP)、及び同様のものを含むことができる。ネットワークを介して交換されるデータは、バイナリ形式(例えばポータブルネットワークグラフィックス(PNG))の画像データ、ハイパーテキストマークアップ言語(HTML)、拡張マークアップ言語(XML)などを含む技術及び/又は形式を用いて表すことができる。また、リンクの全て又はいくつかは、セキュアソケット層(SSL)、トランスポート層セキュリティ(TLS)、インターネットプロトコルセキュリティ(IPsec)のような従来の暗号化技術を用いて暗号化することができる。別の一実施形態においては、ネットワーク上のエンティティは、上述したものに代えて又は加えて、カスタム及び/又は専用のデータ通信技術を用いることができる。
【0045】
[53] 図4は、本開示の実施形態による例示的なPETイメージングアクセラレータシステム400のブロック図を示す。PETイメージングアクセラレータシステム400は、訓練モジュール402と、画像強化モジュール404と、インタラクティブPET収集モジュール406と、ユーザインターフェイスモジュール408と、を含むがこれらに限定されない複数のコンポーネントを備え得る。
【0046】
[54] 訓練モジュール402は、訓練データセットを取得及び管理するように構成され得る。例えば、訓練データセットは、同じ被験者からの標準収集画像と短縮収集画像との対を備え得る。訓練モジュール402は、本明細書の他の箇所に記載される通り、画質を強化するために深層学習ネットワークを訓練するように構成され得る。例えば、訓練モジュールは、モデルを訓練するために、教師あり訓練技術、教師なし訓練技術、又は半教師あり訓練技術を採用し得る。訓練モジュールは、本明細書の他の箇所に記載される通り、機械学習方法を実装するように構成され得る。訓練モジュールはモデルをオフラインで訓練し得る。代替的又は追加的には、訓練モジュールは、改善又は継続的訓練のためにモデルを精密化するべく、実時間データをフィードバックとして用い得る。場合によっては、訓練モジュールは、所与のPETスキャナ、患者、試験、試験期間などにとって最適の出力を生成するためのパラメータのセットを予め決定することによってシステムの性能を更に改善するべく、図2に記載の方法を実装し得る。
【0047】
[55] 画像強化モジュール404は、訓練モジュールから得られる訓練済みモデルを用いて画質を強化するように構成され得る。画像強化モジュールは、推論する、すなわち画質が改善されたPET画像を生成するために、訓練済みモデルを実装し得る。例えば、画像強化モジュールは、PETスキャナから集められた1つ以上の高速スキャンPET画像データを入力として、画質が改善されたPET画像データを出力し得る。場合によっては、画像強化モジュール及び/又は適応混合及びフィルタリングモジュール406は、システムの性能を更に改善するために、図2に記載される方法を実装し得る。
【0048】
[56] インタラクティブPET収集モジュール406は、PETシステムのコントローラに動作可能に連結され得る。インタラクティブPET収集モジュール406は、イメージングの総期間、フレーム毎のスキャン期間、又は各収集の1ベッドあたりの分数(分/ベッド)など、収集時間又は収集速度を生成するように構成され得る。場合によっては、インタラクティブPET収集モジュールは、所望の収集時間(例えば収集速度など)を示すユーザ入力を受信し得る。場合によっては、目標又は所望の加速を受信することに応答して、インタラクティブPET収集モジュールは、1つ以上の収集速度について試験を行い、最適な収集速度を決定し得る。最適な収集速度は、所定のルールに基づいて決定され得る。例えば、最適な収集速度は、出力画像の画質に基づいて決定され得る。例えば、最良の画質を提供しつつ目標加速度を満足する収集速度が選択され得る。場合によっては、インタラクティブPET収集モジュールは、ユーザが収集速度を定義することを可能にし得る。ユーザ定義の収集速度を受信することに応答して、インタラクティブPET収集モジュールは、シミュレーションを行うと共にその収集速度に関連付けられた出力画像を生成し得る。出力画像の画質又は他の特徴を変更するようにユーザが収集速度を更に調節してもよいし、又はしなくてもよい。決定された収集速度はその後、本明細書の他の箇所に記載されるようにイメージングシステムの操作を制御するために、PETシステムのコントローラに伝送され得る。場合によっては、インタラクティブPET収集モジュールは、ユーザ入力を受信するため及び自動生成された収集速度又はシミュレーションされた画像を出力するために、ユーザインターフェイスモジュール408に動作可能に連結され得る。場合によっては、インタラクティブPET収集モジュール406は、上述したシミュレーションを実施するために、画像強化モジュール及び/又は適応混合及びフィルタリングモジュール406にも動作可能に連結され得る。
【0049】
[57] コンピュータシステム400は、強化されたPETイメージングシステム及びその操作を管理及び/又は実装するようにプログラムされ得るか又はそうでなければ構成され得る。コンピュータシステム400は、本明細書の開示と整合する方法を実装するようにプログラムされ得る。
【0050】
[58] コンピュータシステム400は、中央処理装置(CPU、本明細書においては「プロセッサ」及び「コンピュータプロセッサ」ともいう)、グラフィック処理ユニット(GPU)を含み得る。これらはシングルコア又はマルチコアプロセッサであってもよく、又は並行処理のための複数のプロセッサであってもよい。コンピュータシステム400は、メモリ又はメモリロケーション(例えばランダムアクセスメモリ、読み出し専用メモリ、フラッシュメモリ)、電子記憶ユニット(例えばハードディスク)、1つ以上の他のシステムと通信するための通信インターフェイス(例えばネットワークアダプタ)、並びにキャッシュ、他のメモリ、データ記憶及び/又は電子ディスプレイアダプタなどの周辺デバイス435,320も含むことができる。メモリ、記憶ユニット、インターフェイス、及び周辺デバイスは、マザーボードなどの通信バス(実線)を通じてCPUと通信する。記憶ユニットは、データを記憶するためのデータ記憶ユニット(又はデータリポジトリ)であってもよい。コンピュータシステム400は、通信インターフェイスの支援によって、コンピュータネットワーク(「ネットワーク」)330と動作可能に連結されてもよい。ネットワーク330は、インターネット、イントラネット及び/又はエクストラネット、又はインターネットと通信するイントラネット及び/又はエクストラネットであってもよい。ネットワーク330は、場合によっては、電気通信及び/又はデータネットワークである。ネットワーク330は1つ以上のコンピュータサーバを含んでいてもよく、これはクラウドコンピューティングのような分散コンピューティングを可能にし得る。ネットワーク330は、場合によっては、コンピュータシステム400の支援によってピアツーピアネットワークを実装することができ、これはコンピュータシステム400に連結されたデバイスがクライアント又はサーバとして振る舞うことを可能にするであろう。
【0051】
[59] CPUは、プログラム又はソフトウェアにおいて具現化され得る一連の機械読み取り可能命令を実行することができる。命令はメモリなどのメモリロケーションに記憶され得る。命令はCPUに向けられてもよく、その後、本開示の方法を実装するようにCPUをプログラムするか又はそうでなければ構成することができる。CPUによって実施される操作の例は、フェッチ、復号化、実行、及びライトバックを含み得る。
【0052】
[60] CPUは、集積回路のような回路の一部であってもよい。システムの1つ以上の他のコンポーネントが回路に含まれてもよい。場合によっては、回路は特定用途向け集積回路(ASIC)である。
【0053】
[61] 記憶ユニットは、ドライバ、ライブラリ、及び保存されたプログラムなどのファイルを記憶することができる。記憶ユニットは、ユーザデータ、例えばユーザの好みの設定及びユーザプログラムを記憶することができる。コンピュータシステム300は、場合によっては、イントラネット又はインターネットを通じてコンピュータシステムと通信する遠隔サーバ上に位置するような、コンピュータシステムの外部の1つ以上の追加的なデータ記憶ユニットを含んでいてもよい。
【0054】
[62] コンピュータシステム400は、ネットワーク330を介して1つ以上の遠隔コンピュータシステムと通信することができる。例えば、コンピュータシステム400は、ユーザ又は参加しているプラットフォーム(例えば術者)の遠隔コンピュータシステムと通信することができる。遠隔コンピュータシステムの例は、パーソナルコンピュータ(例えばポータブルPC)、スレート又はタブレットPC(例えばApple(登録商標)iPad、Samsung(登録商標)Galaxy Tab)、電話、スマートフォン(例えばApple(登録商標)iPhone、Android対応デバイス、Blackberry(登録商標))、又はパーソナル・デジタル・アシスタントを含む。ユーザはネットワーク330を介してコンピュータシステム300にアクセスし得る。
【0055】
[63] 本明細書中に記載される方法は、例えばメモリ又は電子記憶ユニットなどコンピュータシステム400の電子記憶ロケーションに記憶された機械(例えばコンピュータプロセッサ)実行可能なコードによって実装され得る。機械実行可能又は機械読み取り可能なコードはソフトウェアの形で提供されてもよい。使用時には、コードはプロセッサによって実行され得る。場合によっては、コードは記憶ユニットから取得されてプロセッサによる迅速なアクセスのためにメモリに記憶されてもよい。状況によっては、電子記憶ユニットは排除されてもよく、機械実行可能な命令はメモリに記憶される。
【0056】
[64] コードは、コードを実行するように適応されたプロセッサを有する機械で使用するようにプリコンパイル及び構成されてもよく、又はランタイム中にコンパイルされてもよい。コードは、コードをプリコンパイル又はアズコンパイル様式で実行可能にするように選択され得るプログラム言語で供給されてもよい。
【0057】
[65] コンピュータシステム300のような本明細書において提供されるシステム及び方法の態様は、プログラミングにおいて具現化されてもよい。技術の種々の態様は、典型的には機械(又はプロセッサ)実行可能なコード及び/又はある種の機械可読媒体で担持され又は具現化される関連するデータの形をとる「製品」又は「製造物品」と考えられ得る。機械実行可能コードは、メモリ(例えば読み出し専用メモリ、ランダムアクセスメモリ、フラッシュメモリ)又はハードディスクなどの電子記憶ユニット上に記憶されてもよい。「記憶」型媒体は、コンピュータ、プロセッサ、もしくは同様のもののタンジブルメモリのいずれかもしくは全て、又はその関連するモジュール、例えばソフトウェアプログラミングのために随時非一時的記憶装置を提供し得る、種々の半導体メモリ、テープドライブ、ディスクドライブなどを含み得る。ソフトウェアの全部又は一部は、時には、インターネット又は種々の他の電気通信ネットワークを介して通信し得る。そのような通信は、例えば、あるコンピュータ又はプロセッサから別のコンピュータ又はプロセッサへ、例えば、管理サーバ又はホストコンピュータからアプリケーションサーバのコンピュータプラットフォームへの、ソフトウェアのロードを可能にし得る。よって、ソフトウェア要素を担い得る別のタイプの媒体は、有線の及び光学的な固定電話回線ネットワークを介して及び種々のエアリンクを介してローカルデバイス間の物理的インターフェイスに跨って用いられるような、光波、電波、及び電磁波を含む。有線もしくは無線リンク、光リンク又は同様のものなど、そのような波を運ぶ物理的要素もまた、ソフトウェアを担う媒体と見なされ得る。本明細書において用いられる場合、非一時的なタンジブル「記憶」媒体に限られない限り、コンピュータ又は機械「可読媒体」などの用語は、実行のために命令をプロセッサに提供することに関与する任意の媒体を指す。
【0058】
[66] したがって、コンピュータ実行可能コードなどの機械可読媒体は、タンジブル記憶媒体、搬送波媒体、又は物理的な伝送媒体を含むがこれらに限定されない、多くの形をとり得る。不揮発性記憶媒体は、例えば、図面に示されるデータベースなどを実装するために用いられ得るもののような、任意の1つ又は複数のコンピュータ等の記憶デバイスのいずれかなどの光ディスク又は磁気ディスクを含む。揮発性記憶媒体は、そのようなコンピュータプラットフォームのメインメモリのような動的メモリを含む。タンジブル伝送媒体は、同軸ケーブル、コンピュータシステム内のバスを備えるワイヤを含む銅線及び光ファイバを含む。搬送波伝送媒体は、電気信号もしくは電磁信号、又は無線周波数(RF)及び赤外(IR)データ通信の際に生成されるもののような音波もしくは光波の形をとり得る。よって、コンピュータ可読媒体の一般的な形は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、CD-ROM、DVDもしくはDVD-ROM、任意の他の光学媒体、孔カード、紙テープ、穴のパターンを有する任意の他の物理的記憶媒体、RAM,ROM,PROM、及びEPROM、FLASH-EPROM、任意の他のメモリチップ又はカートリッジ、データもしくは命令を運ぶ搬送波、そのような搬送波を運ぶケーブルもしくはリンク、又はコンピュータがプログラミングコード及び/又はデータを読み出し得る任意の他の媒体を含む。これらの形のコンピュータ可読媒体の多くは、実行のために1つ以上の命令の1つ以上のシーケンスをプロセッサに伝えることに関係し得る。
【0059】
[67] コンピュータシステム400は、例えば、再構成画像又は収集速度の表示を提供するためのユーザインターフェイス(UI)440を備える電子ディスプレイ435を含み得るか又はこれと通信し得る。UIの例は、限定なしに、グラフィカルユーザインターフェイス(GUI)及びウェブベースのユーザインターフェイスを含む。
【0060】
[68] 本開示の方法及びシステムは1つ以上のアルゴリズムによって実装されてもよい。あるアルゴリズムは、中央処理装置による実行時にソフトウェアによって実装され得る。例えば、いくつかの実施形態は、図1図2、及び図5に図示されるアルゴリズム又は上記の関連する記載において提供される他のアルゴリズムを用いる。
【0061】
[69] 図5は、加速収集でのPET画質及び/又は精度を改善するための例示的なプロセス500を図示する。深層学習モデルを訓練するために、PETイメージングシステムから複数のPET画像が得られ得る(操作510)。訓練データセットを形成するための複数のPET画像は、外部データソース(例えば臨床データベースなど)からも得られ得る。
【0062】
[70] PET画像は訓練データセットを形成するために用いられ得る(操作520)。いくつかの実施形態においては、訓練データセットは、加速PET収集による比較的低画質の画像データと、対応するより高画質の画像データ(すなわちグラウンドトゥルース)との対を備え得る。場合によっては、訓練データセットは、シミュレーションから得られた拡張データセットを備え得る。例えば、臨床データベースからの画像データは、短縮されたスキャン時間で収集された画像データに似せた低画質の画像データを生成するために用いられ得る。一例においては、低計数投影データから再構成された画像データに似せるために、生画像データにノイズが加えられ得る。同様に、より高画質の入力画像データが、より長い収集時間での直接画像収集によって得られ得る。場合によっては、より高画質の画像データ(例えばグラウンドトゥルースデータ)は、本明細書に記載された再構成性能を改善するための方法を用いて得られ得る。例えば、以前の情報又はより長いサン時間に基づく方法が採用され得る。方法の例は、局所パッチ統計、以前の解剖学的情報又は時間情報を利用する方法、非局所的平均ノイズ除去のようなノイズ除去方法、ガイデッド画像フィルタリング、ガウスフィルタリング、エントロピー又は相互情報量ベースの方法、セグメント化ベースの方法及び勾配ベースの方法などを含み得るがこれらに限定されない。
【0063】
[71] 代替的又は追加的には、対になっていない訓練データセットが利用され得る。場合によっては、ネットワークモデルは、ラベル付きデータなしで又はほとんどなしで訓練され得る。例えば、深層学習ネットワークモデルは、対になったデータセットと対になっていないデータセットとの両方について訓練されてもよく、これはデータ収集の柔軟性を有益に提供する。訓練データセットは、高画質の基準画像と対応する低画質の高速スキャン画像とを含む対になったデータセットと、教師なしフィーチャが抽出され得る画像データを含み得る、対になっていないデータセットと、を備え得る。例えば、対になっていないデータは、教師なしフィーチャを抽出するようにオートエンコーダを訓練するためにモデルシステムに供給され得る。場合によっては、対になっていないデータセットは、対になったデータセットについて訓練されたモデルの性能を更に強化するために用いられ得る。
【0064】
[72] 訓練ステップ530は本明細書の開示に整合する深層学習アルゴリズムを備え得る。場合によっては、深層学習アルゴリズムは、たたみ込みニューラルネットワークであり得る。上述したように、訓練プロセスは、教師あり学習、教師なし学習、半教師あり学習、又は上記のものの組み合わせを伴い得る。
【0065】
[73] 場合によっては、対になったデータセットは教師あり訓練において用いられ得る。いくつかの実施形態においては、画質を強化するためのモデルは教師あり学習を用いて訓練され得る。例えば、深層学習ネットワークを訓練するために、複数の被験者からの、低画質の(すなわち減少された時間で収集された)高速スキャンPET画像と、グラウンドトゥルースとしての標準画質/高画質PET画像との対が、訓練データセットとして提供され得る。上述したように、モデルは、高速スキャンされた低画質の画像xfastを高画質の画像
【数9】
に変換する変換関数fに近似するように訓練される。高画質出力画像は、高SNR又は高解像度の画像であり得る。この関数fは、短縮されていない標準PETイメージングによって得られるグラウンドトゥルース画像xと、いくつかの訓練データセットでの訓練プロセスを通じた推定画像xと、の間で、メトリクスを最適化することによって得られ得る。
【0066】
[74] 分類器を最適化するための損失関数又はコスト関数は、L1損失(すなわち平均絶対誤差)、L2損失(すなわち平均二乗誤差)、Lp損失、及び種々の他の教師あり損失など、任意のタイプの関数であってよい。最適化された重みと組み合され得る1つ又は複数のコストメトリクスがあってもよい。gは、
【数10】
構造的非類似性、又は他のメトリクスなど、任意の適当なメトリクスであり得る。場合によっては、kは恒等変換であり得、するとメトリクスは画像ドメインにおいて計算される。kは、フーリエ変換など、任意の他の変換であってもよく、したがってメトリクスは対応するドメインにおいて計算される。場合によっては、gメトリックは深層学習モデルの訓練プロセスにあたって基準として用いられ得る。場合によっては、gメトリクスは、画像状態を識別すると共に画質を評定するように、fと別個に又は同時に訓練されるネットワークモデルであってもよい。場合によっては、深層学習モデルは、ユーザ入力と実時間でシミュレーションされた出力画像とに基づいて適応的に最適化されたメトリクスで訓練され得る。
【0067】
[75] いくつかの実施形態においては、深層学習モデルの訓練プロセスは残差学習方法を採用し得る。ある場合には、残差学習フレームワークが、訓練済みモデルを評定するために用いられ得る。ある場合には、スキップ接続を有する残差学習フレームワークが、測定値と整合すること(データ整合性)を保証するべく精密化を伴って、加速収集で集められたPET画像などの低画質画像から推定グラウンドトゥルース画像を生成してもよい。場合によっては、モデルが学習するのは高速スキャン画像データとグラウンドトゥルース画像データとの差分の残差であり、これはより疎であってネットワーク構造を用いて近似するのにあまり複雑でない。方法は、残差学習を可能にするためにバイパス接続を用い得る。場合によっては、残差ネットワークが用いられてもよく、直接モデル出力は高速スキャン画像(すなわち入力画像)と強化画像との間の推定残差/誤差であり得る。換言すれば、深層学習フレームワークによって学習される関数は、状況によっては最適化するのが容易であり得る残差関数である。強化画像は、残差に入力画像を加えることによって復元され得る。この残差訓練アプローチは、訓練の複雑性を低減させて、出力レベルが小さい場合により良好な性能を実現し得る。
【0068】
[76] 場合によっては、深層学習モデルは、ユーザ入力と実時間推定出力画像とに基づいて適応的に調整されたパラメータで訓練され得る。代替的又は追加的には、深層学習ネットワークは、残差学習を伴わない「プレーンな」CNNであり得る。場合によっては、訓練プロセスにあたり、深層学習モデルは、入力画像の初期セットからの強化PET画像データに近似するようにモデルパラメータを適応的に調整して、強化PET画像データを出力し得る。
【0069】
[77] 場合によっては、ネットワークモデルを訓練することは、対になっていないデータセットを用いてモデルを更に強化することを備え得る。場合によっては、教師あり学習と教師なし学習とが順次実施され得る。状況によっては、教師なしアルゴリズムが訓練中に不安定性をもたらすかもしれない。そのような不安定性を回避するためには、教師あり訓練を用いて対になったデータセットでモデルを訓練し、それから、教師なし学習を用いてモデルを更に強化するのが有益である。例えば、モデルはまず、ピクセル単位のL1損失及び/又はL2損失などの教師あり損失を用いて高速スキャナ画像から強化画像への変換を推定するように訓練され得る。結果として得られるモデルの性能は、教師あり損失と利用可能な対になったデータセットの量との限定によって、十分に良好ではないかもしれない。モデルは、教師なし学習又は教師なし学習と教師あり学習との組み合わせによって、更に改善され得る。例えば、モデルは、教師あり損失(例えばL1損失、L2損失、Lp損失、構造的類似性、知覚損失など)と教師なし損失(例えばGAN(敵対的生成ネットワーク)損失、最小二乗GAN、WGAN損失(ワッサースタインGAN)など)との混合損失のような精密化損失を用いて、更に精密化又は強化され得る。
【0070】
[78] 訓練プロセスにおいては複数の反復があってもよい。その複数の反復の各々において、異なる教師あり損失、教師なし損失、又は教師あり損失と教師なし損失との組み合わせが選択され得る。あるプロセスの反復においては、教師あり学習技術と教師なし学習技術とが順次又は同時に適用され得る。対になっていないデータセットは、方法がほとんど又は全ての既存のPETデータセットを更に訓練すること及びそれらのデータセットに適用することを可能にする、教師なし訓練に用いられ得る。場合によっては、システム及び/又は方法は、性能の改善及び対になったデータセットと対になっていないデータセットとの両方についてより柔軟な訓練を更に可能にする、サイクル敵対的生成ネットワーク(サイクルGAN)を採用し得る。サイクルGANは、プライマリネットワークを強化するために識別ネットワークが用いられる敵対的訓練において用いられ得る。プライマリネットワークは生成的(セグメント化、合成)又は識別的(分類)であり得る。機械学習されたネットワークは更に、U-netとして構成され得る。U-netは、ネットワークのエンコーダハーフからの出力がネットワークのデコーダハーフの鏡写しの対称物(mirrored counterparts)と連結される、オートエンコーダである。U-netは、プーリング操作を、演算子をアップサンプリングすることに置き換え、それによって出力の解像度を高め得る。
【0071】
[79] ステップ540において、適応混合アルゴリズムの重み係数などのパラメータが決定され得る。適応混合アルゴリズムと重み係数を決定するためのプロセスとは、本明細書の他の箇所に記載されているものと同じであってもよい。場合によっては、重み係数は、入力PET画像データに基づいて実時間で動的に計算又は決定され得る。代替的又は追加的には、重み係数は、経験的データに基づいて計算されるか、又は物理的なプラットフォームにおいて方法を実装する前に予め決定され得る。場合によっては、ネットワークモデル及び/又は適応混合アルゴリズムのパラメータは、実装又は配備後にPETシステムから集められたデータによって更に調整又は精密化され得る。パラメータが決定されると、定量化精度を保ちながら画質が改善された画像を得るために、訓練ステップからの強化画像と高速スキャン画像とが適応的に混合されフィルタリングされ得る。
【0072】
[80] 任意選択的な実施形態においては、入力画像データに様々なフィルタリング又は画質改善方法を適用することによって、最適な出力が選択され得る。深層学習モデルを適用する前にデータを前処理するための、最適出力データ(操作550)及び/又は関連するパラメータを特定するステップは、図2に記載されたものと同じであってもよい。
【0073】
[81] 図5はいくつかの実施形態に従った方法を示しているが、当業者であれば、種々の実施形態への適合化が多く存在することを認識するであろう。例えば、操作は任意の順序で実施され得る。操作のうちいくつかは排除されてもよく、操作のうちいくつかは1つのステップにおいて同時に実施されてもよく、操作のうちいくつかは繰り返されてもよく、操作のうちいくつかは他の操作のサブステップを備えていてもよい。例えば、適応混合アルゴリズムのパラメータは、深層学習モデルを訓練することと同時に又はそれに先立って決定され得る。方法はまた、本明細書において提供される開示の他の態様に従って変更され得る。
【0074】
データセット例
[82] 図6は、標準的な収集時間(シナリオA)と加速収集(シナリオB)とで撮影されたPET画像と、提供される方法及びシステムによって処理された高速スキャン画像(シナリオC)と、を示す。シナリオAは、強化なしの又は収集時間が短縮されていない、標準的なPET画像を示す。この例の収集時間は、1ベッドあたり2分(分/ベッド)である。この画像は、深層学習モデルの訓練において、グラウンドトゥルースの一例として用いられ得る。シナリオBは、収集時間が短縮されたPET画像の一例を示す。この例においては、収集時間は4倍加速され、収集時間は1分/ベッドに減少されている。高速スキャン画像は、高ノイズなど、より低い画質を呈する。この画像は、深層学習ネットワークの訓練用の画像の対において用いられる第2の画像の一例であり得る。シナリオCは、本開示の方法及びシステムが適用された、画質が改善された画像の一例を示す。画質は大いに改善しており、標準的なPET画質に匹敵する。
【0075】
例1
[83] 図7はある研究の解析結果を示す。本研究においては、IRB承認及びインフォームドコンセントの後で、研究のために、GE Discovery 710スキャナでの全身フルデオキシグルコース18(FDG-18)PET/CTスキャンについて参照される7人の被験者(男性5名、年齢:57±14歳、体重:81±10Kg)が募集された。標準治療は、リストモードで収集された2分/ベッドのPET収集であった。2倍、3倍、及び4倍加速された収集が、元の2分の収集の最初の30秒、40秒、及び60秒のリストモードPET計数を用いて合成された。正規化二乗平均平方根誤差(NRMSE)、ピーク信号対ノイズ比(PSNR)、及び構造的類似性(SSIM)などの定量的画質メトリクスが、標準的な2分の収集をグラウンドトゥルースとして、全ての強化及び非強化加速PETスキャンについて計算された。図7Aから図7Cに結果が示されている。本開示の方法及びシステムを用いると、より良好な画質が実現され得る。
【0076】
例2
[84] 図8はある研究の結果を示す。本研究においては、IRB承認及びインフォームドコンセントの後で、臨床全身PET/CT検査について参照される15人の被験者(男性7名、女性8名、平均年齢:67歳、範囲:45~85歳、平均BMI:30、範囲:19~48)が2つの別々のスキャンを受け、標準的な収集期間(3分/ベッド)でのスキャンに続いて、4倍高速(45秒/ベッド)のスキャンが行われた。4倍高速PET画像は、本開示において提案される方法及びシステムを用いて強化された。1人の核医学医が、標準的な収集PET画像を審査し、病変の疑い及びいくつかの通常領域を特定し、関心領域(ROI)を描画した。同じ病変は収集時間を短縮された画像からの画質強化画像上でも審査され、標準収集によるROIが深層学習強化された4倍高速(深層学習強化4×高速)スキャンに伝播された。
【0077】
[85] 標準収集と深層学習強化4倍高速収集との間でのROI毎の定量的平均及び最大SUV値が、ブランド・アルトマン検定を用いて視覚化されると共に、一致相関係数(CCC)、線形回帰、及びマン・ホイットニーのU検定を用いて比較された。合計で63のROIが標準収集PET画像において特定された。サブプロットa及びサブプロットbのブランド・アルトマンプロット(点線は平均を示し、破線は95%一致限界を示す)は、2組のスキャンから得られるSUV間の最小の差を示しており、ほとんど全ての値が95%一致限界区間内に含まれている。SUV最大値及びSUV平均の両方の0.99というCCC及び線形ピアソン係数の値は、標準収集によるSUV値と深層学習強化スキャンによるSUV値との間の非常に強い一致を示している(サブプロットc及びサブプロットd。点線は統一線を示す)。これは、マン・ホイットニーのU検定を用いたSUV最大値のp=0.68及びSUV平均値のp=0.77という統計的有意性の欠如によって更に示される。
【0078】
例3
[86] 図9は、グラウンドトゥルース画像(シナリオA)と、適応混合なしで深層学習によって強化された画像(シナリオB)と、適応混合によって処理された強化画像(シナリオC)と、の比較を示す。結果に示されるように、適応混合による画質強化画像(例えばシナリオC)の定量化精度(例えばピークSUV)は、適応混合なしの画質強化画像のそれよりも良好である。例えば、シナリオCにおけるROIのピークSUVは2.626であり、これはシナリオBにおける同じROIのピークSUV2.532よりも大きく、グラウンドトゥルース結果により近い。
【0079】
[87] 本明細書において用いられる場合、「又は」は、文脈によって別途明示されない限り、包括的であって排他的ではない。したがって、「A又はB」は、別途明示されるか又は文脈によって別途示されない限り、「A,B,又は両方」を意味する。また、「及び」は、別途明示されるか又は文脈によって別途示されない限り、共同的且つ個別的である。
【0080】
[88] 本明細書には本発明の好適な実施形態が示され記載されているが、当業者には、そのような実施形態が例としてのみ提供されることが明らかであろう。発明が明細書中に提供される具体例によって限定されることは意図されていない。本発明は前述した明細書を参照して記載されてきたが、本明細書における実施形態の記載及び説明は限定的な意味で解釈されることを意図されてはいない。当業者には、本発明から逸脱することなく、多数のバリエーション、変更、及び代用が思い浮かぶであろう。また、本発明の全ての態様は、様々な条件及び変数に依存する本明細書に記載された具体的な描写、構成、又は相対比率に限定されないことが理解されなければならない。本発明の実施時には本明細書に記載された本発明の実施形態の種々の代替案が採用され得ることが理解されるべきである。したがって、本発明は任意のそのような代替案、変更、バリエーション、又は均等物もカバーすべきものと考えられる。以下の特許請求の範囲が本発明の範囲を定義すること、及びそれによって特許請求の範囲内の方法及び構造並びにその均等物がカバーされることが意図されている。
図1
図2
図3
図4
図5
図6
図7
図8
図9
【国際調査報告】