知財求人 - 知財ポータルサイト「IP Force」
▶ ジーイー・プレシジョン・ヘルスケア・エルエルシーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-21
(45)【発行日】2025-03-04
(54)【発明の名称】デュアルエネルギーＣＴデータを補間するシステム及び方法
(51)【国際特許分類】
A61B 6/03 20060101AFI20250225BHJP
【ＦＩ】
A61B6/03 550F
A61B6/03 573
A61B6/03 560T
【請求項の数】
14
【外国語出願】
(21)【出願番号】P 2023177950
(22)【出願日】2023-10-16
(65)【公開番号】P2024119731
(43)【公開日】2024-09-03
【審査請求日】2024-05-31
(31)【優先権主張番号】18/164,372
(32)【優先日】2023-02-03
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】319011672
【氏名又は名称】ジーイー・プレシジョン・ヘルスケア・エルエルシー
(74)【代理人】
【識別番号】100105588
【弁理士】
【氏名又は名称】小倉 博
(74)【代理人】
【識別番号】100129779
【弁理士】
【氏名又は名称】黒川 俊久
(74)【代理人】
【識別番号】100151286
【弁理士】
【氏名又は名称】澤木 亮一
(72)【発明者】
【氏名】ビパル・ダス
(72)【発明者】
【氏名】ウトカーシュ・アグラウォル
(72)【発明者】
【氏名】プラサッド・スッダカラ・ムーシー
(72)【発明者】
【氏名】重政 理沙
(72)【発明者】
【氏名】緒方 研太郎
(72)【発明者】
【氏名】今井 靖浩
【審査官】蔵田 真彦
(56)【参考文献】
【文献】特開２０２０－０９９６６２（ＪＰ，Ａ）
【文献】特開２０２１－０４０９９１（ＪＰ，Ａ）
【文献】特開２０２２－１８８７５０（ＪＰ，Ａ）
【文献】特開２０２２－１４０４１０（ＪＰ，Ａ）
【文献】特開２０２２－１６１８５７（ＪＰ，Ａ）
【文献】国際公開第２０２３／００３９２４（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１８／０１８２１２９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ６／００－６／５８
Ｇ０６Ｔ １／００－１９／２０
(57)【特許請求の範囲】
【請求項1】
撮影対象の第１のサイノグラム及び第２のサイノグラムを取得すること（３０２,３０４）であって、前記第１のサイノグラムは複数のビューが欠落しており、前記第２のサイノグラムは異なる複数のビューが欠落しており、前記第１のサイノグラムはスキャン中に第１のＸ線源エネルギーで取得され、前記第２のサイノグラムは前記スキャン中に異なる第２のＸ線源エネルギーで取得される、第１のサイノグラム及び第２のサイノグラムを取得すること、前記第１のサイノグラムを前記第２のサイノグラムの情報で初期化（３０６）して、第１の初期化されたサイノグラムを形成することであって、前記第１のサイノグラムを初期化することは、
前記第１のサイノグラムを演算及びダウンサンプリングの第１のセットによって処理して（６０８）、特徴の第１のセットを生成すること、
前記第２のサイノグラムを演算及びダウンサンプリングの第２のセットによって処理して（６０８）、特徴の第２のセットを生成すること、
特徴の第１のセットと特徴の第２のセットを第１の特徴ミキサによって混合して（６１０）、混合された特徴のセットを形成すること、
前記第１の特徴ミキサによって得られた混合された特徴のセットをアップサンプリングして（６１２）、前記第１の初期化されたサイノグラムを形成すること、を含む第１の初期化されたサイノグラムを形成すること、
前記第２のサイノグラムを前記第１のサイノグラムの情報で初期化（３０６）して、第２の初期化されたサイノグラムを形成することであって、前記第２のサイノグラムを初期化することは、
前記第１のサイノグラムを演算及びダウンサンプリングの第３のセットによって処理して（６０８）、特徴の第３のセットを生成すること、
前記第２のサイノグラムを演算及びダウンサンプリングの第４のセットによって処理して（６０８）、特徴の第４のセットを生成すること、
特徴の第３のセットと特徴の第４のセットを第２の特徴ミキサによって混合して（６１０）、混合された特徴のセットを形成すること、
前記第２の特徴ミキサによって得られた混合された特徴のセットをアップサンプリングして（６１２）、前記第２の初期化されたサイノグラムを形成すること、
を含む、第２の初期化されたサイノグラムを形成すること、
前記第１の初期化されたサイノグラムを、前記第１の初期化されたサイノグラムに基づいて第１の充填されたサイノグラムを出力するように訓練された補間モデルに入力し（３１２）、前記第２の初期化されたサイノグラムを、前記第２の初期化されたサイノグラムに基づいて第２の充填されたサイノグラムを出力するように訓練された前記補間モデル又は別の補間モデルに入力する（３１２）こと、及び
前記第１の充填されたサイノグラム及び前記第２の充填されたサイノグラムから１つ又は複数の画像を再構成する（３１８）こと
を含む方法。
【請求項2】
前記第１の初期化されたサイノグラムを前記補間モデルに入力し、前記第２の初期化されたサイノグラムを前記補間モデル又は別の補間モデルに入力することは、前記第１の初期化されたサイノグラム及び前記第２の初期化されたサイノグラムの両方を前記補間モデルに入力する（３１４）ことを含み、前記補間モデルは、前記第１の充填されたサイノグラム及び前記第２の充填されたサイノグラムの両方を出力するように訓練されたデュアルチャネル出力モデルを含む、請求項１に記載の方法。
【請求項3】
前記第１の初期化されたサイノグラムを前記補間モデルに入力し、前記第２の初期化されたサイノグラムを前記補間モデル又は別の補間モデルに入力することは、前記第１の初期化されたサイノグラムを前記補間モデルに入力し（３１６）、前記第２の初期化されたサイノグラムを別の補間モデルに入力することを含み、前記補間モデルは、前記第１の充填されたサイノグラムを出力するように訓練された第１の単一チャネル出力モデルを含み、別の補間モデルは、前記第２の充填されたサイノグラムを出力するように訓練された第２の単一チャネル出力モデルを含む、請求項１に記載の方法。
【請求項4】
前記第１のサイノグラムから欠落した複数のビューは、取得されたビューの複数のセットと交互に並ぶ連続する欠落したビューの複数のセットを含み、前記第１のサイノグラムを初期化する（３１０）ことは、連続する欠落したビューの複数のセットの連続する欠落したビューの各セットに対して、前記第２のサイノグラムから相補的なビューを特定すること、前記第２のサイノグラムの相補的なビューの各ビューのサイノグラムデータをスケーリングすること、及びそれぞれのスケーリングされたサイノグラムデータで連続する欠落したビューの各セットを充填して、第１の初期化されたサイノグラムを形成することを含む、請求項１に記載の方法。
【請求項5】
特徴の第１のセットは、前記第１のサイノグラムに対応する高次元の特徴を含み、
特徴の第２のセットは、前記第２のサイノグラムに対応する高次元の特徴を含み、
特徴の第３のセットは、前記第１のサイノグラムに対応する高次元の特徴を含み、
特徴の第４のセットは、前記第２のサイノグラムに対応する高次元の特徴を含む、請求項１に記載の方法。
【請求項6】
前記補間モデルは、処理された最終の特徴セットが形成されるまで、前記第１の初期化されたサイノグラムから抽出された特徴をプログレッシブに処理するように構成されたエンコーダアーム（１００２）を含む、請求項１に記載の方法。
【請求項7】
前記補間モデルが、ボトルネック層（１０１０）又は超解像層（１１１０）を更に含む、請求項６に記載の方法。
【請求項8】
前記補間モデルは、最終の拡張された特徴セットが形成されるまで、処理された最終の特徴セットをプログレッシブに処理するように構成されたデコーダアーム（１０１２）を更に含み、前記最終の拡張された特徴セットが出力層を通過して、前記第１の充填されたサイノグラムを形成する、請求項６に記載の方法。
【請求項9】
前記エンコーダアームは、処理された各特徴セットを前記デコーダアームに渡すように構成され、前記デコーダアームは、処理された各特徴セットを用いて、処理された最終の特徴セットをプログレッシブに処理するように構成される、請求項８に記載の方法。
【請求項10】
前記補間モデルは、複数の損失関数を用いて訓練され、各損失関数は、前記デコーダアームのプログレッシブ処理のそれぞれの段階において、前記デコーダアームの出力から計算される、請求項９に記載の方法。
【請求項11】
撮影される被検体に向けてＸ線ビームを照射するＸ線源（１０４）、前記被検体によって減衰したＸ線ビームを受け取る検出器（１０８）、
前記検出器に動作可能に接続されたデータ収集システム（ＤＡＳ）（２１４）、及び
命令を記憶するメモリ及び前記命令を実行するように構成された１つ又は複数のプロセッサ（２１６）
を含み、前記命令は、
前記ＤＡＳから前記被検体の第１のサイノグラム及び第２のサイノグラムを取得する（３０２,３０４）ことであって、前記第１のサイノグラムは複数のビューが欠落しており、前記第２のサイノグラムは異なる複数のビューが欠落しており、前記第１のサイノグラムはスキャン中に第１のＸ線源エネルギーで動作する前記Ｘ線源で取得され、前記第２のサイノグラムは前記スキャン中に異なる第２のＸ線源エネルギーで動作する前記Ｘ線源で取得される、第１のサイノグラム及び第２のサイノグラムを取得すること、
前記第１のサイノグラムを前記第２のサイノグラムの情報で初期化して（３０６）、第１の初期化されたサイノグラムを形成することであって、前記第１のサイノグラムを初期化することは、
前記第１のサイノグラムを演算及びダウンサンプリングの第１のセットによって処理して（６０８）、特徴の第１のセットを生成すること、
前記第２のサイノグラムを演算及びダウンサンプリングの第２のセットによって処理して（６０８）、特徴の第２のセットを生成すること、
特徴の第１のセットと特徴の第２のセットを第１の特徴ミキサによって混合して（６１０）、混合された特徴のセットを形成すること、
前記第１の特徴ミキサによって得られた混合された特徴のセットをアップサンプリングして（６１２）、前記第１の初期化されたサイノグラムを形成すること、を含む第１の初期化されたサイノグラムを形成すること、
前記第２のサイノグラムを前記第１のサイノグラムの情報で初期化して（３０６）、
第２の初期化されたサイノグラムを形成することであって、前記第２のサイノグラムを初期化することは、
前記第１のサイノグラムを演算及びダウンサンプリングの第３のセットによって処理して（６０８）、特徴の第３のセットを生成すること、
前記第２のサイノグラムを演算及びダウンサンプリングの第４のセットによって処理して（６０８）、特徴の第４のセットを生成すること、
特徴の第３のセットと特徴の第４のセットを第２の特徴ミキサによって混合して（６１０）、混合された特徴のセットを形成すること、
前記第２の特徴ミキサによって得られた混合された特徴のセットをアップサンプリングして（６１２）、前記第２の初期化されたサイノグラムを形成すること、
を含む、第２の初期化されたサイノグラムを形成すること、
前記第１の初期化されたサイノグラムを、前記第１の初期化されたサイノグラムに基づいて第１の充填されたサイノグラムを出力するように訓練された補間モデルに入力する（３１２）こと、
前記第２の初期化されたサイノグラムを、前記第２の初期化されたサイノグラムに基づいて第２の充填されたサイノグラムを出力するように訓練された前記補間モデル又は別の補間モデルに入力する（３１２）こと、及び
前記第１の充填されたサイノグラム及び前記第２の充填されたサイノグラムから１つ又は複数の画像を再構成する（３１８）こと
を実行するための命令である、イメージングシステム。
【請求項12】
前記第１のサイノグラムから欠落した複数のビューは、取得されたビューの複数のセットと交互に並ぶ連続する欠落したビューの複数のセットを含み、前記第１のサイノグラムを初期化することは、前記第１の初期化されたサイノグラムは、取得されたビューの複数のセットと交互に並ぶ連続する初期化されたビューの複数のセットを含むように、前記第２のサイノグラムの情報を前記第１のサイノグラムの欠落した各ビューに加えることを含む、請求項１１に記載のシステム。
【請求項13】
前記補間モデルは、前記第１の初期化されたサイノグラムから抽出された特徴を、複数の処理段階を通じてプログレッシブに処理して（８０４）、連続する初期化されたビューの各セットが１つの初期化されたビューのみを含む処理された最終の特徴セットを形成すること、及び
最終の拡張された特徴セットが形成され、出力層を通過して、前記第１の充填されたサイノグラムが形成されるまで、他の複数の処理段階を通じて、前記処理された最終の特徴セットをプログレッシブに処理する（８０８）、請求項１２に記載のシステム。
【請求項14】
前記補間モデルは複数の損失関数で訓練され、各損失関数は、それぞれの他の処理段階で計算される、請求項１３に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書に開示された対象の実施形態は、医用イメージングに関し、より詳細には、デュアルエネルギーＣＴデータにおける欠落したビューの補間に関する。
【背景技術】
【0002】
ある種のコンピュータ断層撮影（ＣＴ）イメージングシステムは、デュアルエネルギーＣＴイメージングシステムなど、複数のＸ線源エネルギーで動作することができる。デュアルエネルギーＣＴイメージングシステムでは、Ｘ線源エネルギーを、例えば、高エネルギーと低エネルギーとの間でスキャン中に複数回切り替えることができる。その結果、スキャン中に取得された全ビューの一部が低エネルギーで取得され、残りのビューが高エネルギーで取得されることになり、各エネルギーレベルは完全なビューデータよりも少ないビューデータしか有していないことになる。欠落したビューは補間することができるが、補間することによって、画像アーチファクト及び／又は画質劣化につながる恐れがある。
【発明の概要】
【0003】
一実施例において、方法は、撮影対象の第１のサイノグラム及び第２のサイノグラムを取得することであって、前記第１のサイノグラムは複数のビューが欠落しており、前記第２のサイノグラムは異なる複数のビューが欠落しており、前記第１のサイノグラムはスキャン中に第１のＸ線源エネルギーで取得され、前記第２のサイノグラムは前記スキャン中に異なる第２のＸ線源エネルギーで取得される、第１のサイノグラム及び第２のサイノグラムを取得すること、前記第１のサイノグラムを前記第２のサイノグラムの情報で初期化して、第１の初期化されたサイノグラムを形成すること、前記第２のサイノグラムを前記第１のサイノグラムの情報で初期化して、第２の初期化されたサイノグラムを形成すること、前記第１の初期化されたサイノグラムを、前記第１の初期化されたサイノグラムに基づいて第１の充填されたサイノグラムを出力するように訓練された補間モデルに入力し、前記第２の初期化されたサイノグラムを、前記第２の初期化されたサイノグラムに基づいて第２の充填されたサイノグラムを出力するように訓練された前記補間モデル又は別の補間モデルに入力すること、及び出力された前記第１の充填されたサイノグラム及び出力された前記第２の充填されたサイノグラムから１つ又は複数の画像を再構成することを含む。
【0004】
上記の概要は、発明を実施するための形態に更に記載された概念から選択されたものが簡略化した形で記載されていることを理解されたい。これは、特許請求の範囲に記載された対象の重要な特徴又は本質的な特徴を特定することを意図するものではなく、特許請求の範囲は、発明を実施するための形態に続く特許請求の範囲によって独自に画定される。更に、特許請求の範囲に記載された対象は、上記又は本開示のいずれかの部分で記載された欠点を解決する実装態様に限定されることはない。
【図面の簡単な説明】
【0005】
本発明は、以下の発明を実施するための形態の非限定的な実施形態を、添付図面を参照しながら読むことにより、更に理解することができる。
【図1】一実施例によるイメージングシステムの図である。
【図2】一実施例によるイメージングシステムのブロック概略図である。
【図3】デュアルエナジーサイノグラムの欠落したビューを補間する方法の一例を示すフローチャートである。
【図4】欠落したビューを有するデュアルエナジーサイノグラムから単一の補間されたサイノグラムを生成するための第１の例のネットワークアーキテクチャを概略的に示す。
【図5】欠落したビューを有するデュアルエナジーサイノグラムから２つの補間されたサイノグラムを生成するためのネットワークアーキテクチャの第２の例を概略的に示す。
【図6】高エネルギーサイノグラムと低エネルギーサイノグラムを特徴レベルで混合する方法の一例を示すフローチャートである。
【図7】エネルギーの異なる２つのサイノグラムの特徴を混合するための例示的なアーキテクチャを概略的に示している。
【図8】シングルチャネルのマルチスケール補間モデルを用いてサイノグラムのビューを補間する方法の一例を示すフローチャートである。
【図9】マルチスケール補間の例示的なプロセスを概略的に示す図である。
【図10】マルチスケールビュー補間を実行するための第１の例の単一チャネルネットワークアーキテクチャを概略的に示す。
【図11】マルチスケールビュー補間を実行するための第２の例のシングルチャネルネットワークアーキテクチャを概略的に示す。
【図12】デュアルチャネルのマルチスケール補間モデルを用いて２つのサイノグラムのビューを補間する方法の一例を示すフローチャートである。
【図13】マルチスケールビュー補間を実行するためのデュアルチャネルネットワークアーキテクチャの例を概略的に示す図である。
【図14】本明細書に記載のシステム及び方法を用いて生成することができるＣＴ画像の例を示す。
【図15】本明細書に記載のシステム及び方法を用いて生成することができるＣＴ画像の例を示す。
【発明を実施するための形態】
【0006】
以下の説明は、スパースビューの画像再構成、特に、デュアルエネルギー（ＤＥ）コンピュータ断層撮影（ＣＴ）イメージングシステムで取得された投影データの欠落したビューの補間のためのシステム及び方法の様々な実施形態に関する。ＤＥＣＴイメージングシステムは、スキャン中にＸ線源エネルギーを複数回切り替えることにより、撮影被検体の１回のスキャン中に異なる２つのＸ線源エネルギーで投影データを得るように構成することができる。エネルギースイッチングにより、高エネルギーの投影データ（例えば、高エネルギーのＸ線源で取得されたビュー）は、低エネルギーでは取得されたビューが欠落し、その逆（低エネルギーの投影データは、高エネルギーでは取得されたビューが欠落する）も生じる。一例として、完全なスキャンで１０００ビューが取得される場合、５００ビューは高いエネルギーで取得され、残りの５００ビューは低いエネルギーで取得される。画像再構成中、投影データ／サイノグラムの各セット（例えば、高エネルギー投影データ及び低エネルギー投影データ）を使用して、例えば、基準物質画像を生成することができる。欠落したビューを補うために、投影データの各セット及び／又は再構成された画像に対して古典的又は幾何学的な補間を実施して、各エネルギーレベルについて欠落したビューを充填することができる。しかしながら、このアプローチでは、特に、２つ以上の連続したビューが、他のエネルギーレベルに切り替わる前に、１つのエネルギーレベルで取得される（その結果、２つ以上の連続した欠落したビューが補間される）、低速スイッチングのイメージングシステムの場合、しばしば、画像アーチファクト及び／又は画質劣化が生じる。
【0007】
したがって、本明細書で開示される実施形態では、マルチスケール階層型マルチタスキング深層学習フレームワーク（本明細書では、マルチスケール補間モデルと呼ぶ）を使用して、各サイノグラムの欠落したビューを補間する。提案されるモデル（又はネットワークアーキテクチャに応じたモデル）は、欠落したビューを有する低エネルギーサイノグラム及び高エネルギーサイノグラムを、独立して又は混合モードで入力として取り込み、欠落したビューが補間される（例えば、隣接するビューのデータに基づいたデータで充填される）ように、対応する低エネルギーサイノグラム及び高エネルギーサイノグラムを生成する。マルチスケール補間モデルは、マルチスケール勾配最適化に対してピラミッド構造を利用して、サイノグラム補間の各スケールにおいて、最も粗いスケールから、最も高い解像度における完全なサイノグラムの最も精細なスケールまで、高精度を確保することができる。これを達成するために、マルチスケール補間モデルは、（最終出力／最高解像度のサイノグラムで計算された単一の損失関数ではなく）各解像度レベルで計算された損失関数で訓練される。そうすることで、完成したサイノグラムを更に処理することなく、正確なサイノグラムを完成することができる。
【0008】
一部の例では、マルチスケール補間モデルに入力される初期サイノグラムは、高エネルギーサイノグラムと低エネルギーサイノグラムの両方からのデータを含むように処理され、低エネルギーサイノグラムの情報を使用して高エネルギーサイノグラムの欠落したビューを補間することができ、高エネルギーサイノグラムの情報を使用して低エネルギーサイノグラムの欠落したビューを補間することができる。
【0009】
例えば、異なるエネルギーで取得されたサイノグラムのセットであって、複数のビューが規則的な間隔で欠落しており、交互に切り替わるエネルギーが相補的に欠落したビューを持つようなサイノグラムのセットに対して、マルチスケール補間モデルを適用して、各サイノグラムの欠落したビューを補間することができる。モデルは、交互に切り替わるエネルギーからの相補的な情報を状況に応じてインテリジェントに使用し、教師あり手法で１つ又は両方のサイノグラムを完成させるように学習する。Ｘ線減衰の物理特性によって決まるが、異なる２つのエネルギーレベルで取得されたデータは、Ｘ線が通過する材料又は組織に基づいて、類似した値を持つ又は大きく異なる場合がある。一部の領域（水、軟組織、空気など）は同じような値を示すが、他の領域（骨、ヨード造影剤、金属など）は、低エネルギー（７０／８０ｋＶｐなど）と高エネルギー（１２０－１４０ｋＶｐ）との間で同じような値ではない。低エネルギーでは減衰は主に光電効果によって決定され、高エネルギーでは減衰はコンプトン効果によって決定される。したがって、２つのエネルギーレベルの間の関係の変化は、本質的に非線形である。本明細書で開示されるモデルは、サイノグラムの相補性／相関性を利用して、各エネルギーレベルのサイノグラムを完成させるように構成することができる。一部の例では、モデルは、マルチタスクでデュアルチャネルの出力ネットワークを通じて、補正された低エネルギーのサイノグラムと補正された高エネルギーのサイノグラムの両方を同時に生成することができる。他の例では、２つのマルチスケール補間モデルが利用され、各マルチスケール補間モデルは、単一チャネル出力用に構成され、（低エネルギー又は高エネルギーの）サイノグラムを取り込み、補正された（低エネルギー又は高エネルギーの）サイノグラムを出力するように訓練される。
【0010】
一部の例では、モデルに入力される各サイノグラムは、他の（異なるエネルギーの）サイノグラムから相補情報を得るために、以下の方法で初期化することができる
（ａ）調整されない直接データ（例えば、一方のエネルギーレベルのサイノグラムの欠落したビューが他方のエネルギーレベルのサイノグラムの相補的なビューのデータで充填される）を使用する、
（ｂ）グローバル統計量、（ｃ）局所情報、（ｄ）周波数若しくは特徴量によるガイダンスを使用して相補的データを調整する、又は
これらの初期化の１つ以上の組み合わせを使用する。
（ａ）調整されない直接データ（例えば、一方のエネルギーレベルのサイノグラムの欠落したビューが他方のエネルギーレベルのサイノグラムの相補的なビューのデータで充填される）を使用する、
（ｂ）グローバル統計量、（ｃ）局所情報、（ｄ）周波数若しくは特徴量によるガイダンスを使用して相補的データを調整する、又は
これらの初期化の１つ以上の組み合わせを使用する。
【0011】
グローバル統計量によって実行される初期化は、低エネルギーデータ統計量又は高エネルギーデータ統計量に基づいて、相補的な欠落したビューの投影データをスケーリングする。低エネルギーデータの場合、欠落したビューは、対応する高エネルギーデータをスケーリングすることにより取得されたデータであって、補間データと目標データの統計量を使用して計算されたデータで充填される。例えば、低エネルギーデータではビュー１－４が欠落している場合、欠落したビュー１－４は、高エネルギーで取得されたビュー１－４からのデータをスケーリングすることにより取得されたデータで充填することができる。高エネルギーデータの場合、欠落したビューは、対応する低エネルギーデータをスケーリングすることにより取得されたデータであって、補間データと目標データの統計量を使用して計算されたデータで充填される。
【0012】
局所統計によって実行される初期化は、両エネルギーレベル間で減衰に類似性がある一方で、それらは正比例せず、Ｘ線が通過する材料に基づいて変化するという原理を利用する。この情報はデータから計算され、低エネルギーの欠落したビューは、高エネルギーデータを局所的にスケーリングする／加算することにより取得されたデータで充填される。同様に、高エネルギーデータの欠落したビューは、低エネルギーデータを局所的にスケーリングすることにより取得されたデータで充填される。
【0013】
初期化の別の実施形態は、ネットワーク上の代替エネルギーデータの特徴レベルの連結によって実行される。例えば、各サイノグラムの複数の特徴表現が生成され、混合され、特徴領域における各サイノグラムを初期化することができる。これはネットワーク構造内で行うこともできるし、非深層学習アプローチを用いて特徴を生成し、ネットワークに供給することもできる。
【0014】
サイノグラムは（代替サイノグラムからのデータで初期化されたか否かにかかわらず）、入力データとして、デュアルチャネル出力ネットワークに入力することができ、又は各サイノグラムは、上記のように、入力データとして、それぞれのシングルチャネル出力ネットワークに入力することができる。ネットワークは、欠落した各ビューを補間するように訓練されたマルチスケールネットワークとすることができる。提案されたアーキテクチャは、欠落したビューのｎ個のギャップ（ｎ＞１）に対処するように設計されている（また、１つの欠落したビューについては、このアーキテクチャにとって解決は自明である）ため、マルチスケール勾配最適化のためのピラミッド構造が実装され、サイノグラムの特徴補間の各スケールで確実に高い精度が保証される。最も粗いスケールはｎ／Ｘ＝１で定義され、Ｘはダウンサンプリングファクタであり、最高解像度における完全なサイノグラムの最精細のスケールまで定義される。このようにして、各サイノグラムからの特徴は、マルチスケールネットワークによって、欠落したビューの各ギャップ／各セットについて、欠落したビューを１つだけ含む（例えば、元のサイノグラムのように２つ、４つ、又はそれ以上の欠落したビューを含むのではない）低い解像度までプログレッシブにダウンサンプリングすることができる。ダウンサンプリングされた特徴は、元の解像度に戻るようにプログレッシブにアップサンプリングすることができる。マルチスケールネットワークは、アップサンプリングされた特徴の各解像度レベルで計算された損失で訓練することができる。ネットワークにL個の解像度レベルがある場合、損失は各解像度レベルで計算される。例えば、ネットワークが、欠落したビューの複数のセットを有するサイノグラムを充填するように訓練され、欠落したビューの各セットが４つの連続した欠落したビューを含む場合、ネットワークは、３つの損失関数（欠落したが後で充填された１つのビューを有する最も低い解像度の特徴セットに対する第１の損失関数、欠落したが後で充填された２つのビューを有する中間の解像度の特徴セットに対する第２の損失関数、及び欠落したが後で充填された４つのビューを有する最も高い解像度の特徴セットに対する第３の損失関数）で訓練することができる。
【0015】
一部の例では、ネットワークは、補正されたサイノグラムを得るための低スケールの超解像ネットワークを含むことができる。最も粗いレベルにおいて、１つのビューがエンコーダの最終段で欠落している場合、超解像ネットワークは、１レベル高い解像度でサイノグラム特徴出力を生成するように訓練される。これを実現する場合、サイノグラムは、ネットワークに入力する前は初期化されていなくてもよいし、サイノグラムは特徴レベル混合を用いて初期化されてもよい。
【0016】
一部の例では、ネットワークは、異なる周波数レベルのウェーブレットサブバンドデータからの情報を使用して、補間を強化することができる。周波数サブバンドは、低エネルギーデータと高エネルギーデータのサイノグラム分布の間で計算された類似性尺度によって選択することができ、これは、構造的類似度（ＳＳＩＭ）及び低エネルギーデータと高エネルギーデータの異なるサブバンドにおける周波数成分の相関を含む測定基準によって計算することができる。一部の例では、周波数領域弁別を使用するサブバンド情報は、ネットワークに対する特徴として使用することができる。別の例では、サブバンド情報をサイノグラムと同じ空間に持ち込むことができる。例えば、より高い類似性を持つサブバンドを再構成し、ネットワークの入力として使用することができる。この段階は任意であり、性能に基づいて変更又は削除することができる。
【0017】
図１は、ＣＴイメージングを実行するように構成された例示的なＣＴシステム１００を示す。特に、ＣＴシステム１００は、被検体１１２（患者など）、無生物、製造された１つ以上の部品、及び／又は異物（体内に存在するインプラント、ステント、及び／又は造影剤など）を画像化するように構成されている。一実施形態では、ＣＴシステム１００はガントリ１０２を含み、このガントリは、テーブル１１４に横たわる被検体１１２の撮影に使用されるＸ線放射ビーム１０６（図２参照）を照射する少なくとも１つのＸ線源１０４を更に含むことができる。具体的には、Ｘ線源１０４は、ガントリ１０２の反対側に配置された検出器アレイ１０８に向かってＸ線放射ビーム１０６を照射するように構成されている。図１には単一のＸ線源１０４のみが示されているが、或る実施形態では、複数のＸ線源及び複数の検出器を使用して、複数のＸ線放射ビーム１０６を出力し、異なるエネルギーレベルの患者に対応する投影データを取得してもよい。一部の実施形態では、Ｘ線源１０４は、ピークキロボルト（ｋＶｐ）高速スイッチングよってデュアルエネルギーのジェムストーンスペクトルイメージング（ＧＳＩ）を実行することができる。一部の実施形態では、採用されるＸ線検出器は、互いに異なるエネルギーのＸ線光子を区別することができる光子計数型検出器である。他の実施形態では、Ｘ線源と検出器の２つのセットを使用してデュアルエネルギープロジェクション（投影）を生成することができ、一方のセットは低ｋＶｐであり、他方のセットは高ｋＶｐである。従って、本明細書に記載された方法は、シングルエネルギー取得技術とデュアルエネルギー取得技術に実装できることが理解されるべきである。
【0018】
特定の実施形態では、ＣＴシステム１００は、反復画像再構成法又は解析的画像再構成法を用いて被検体１１２のターゲットボリュームの画像を再構成する画像プロセッサユニット１１０を更に含む。例えば、画像プロセッサユニット１１０は、フィルタ補正逆投影法（ＦＢＰ）などの解析的画像再構成手法を使用して、患者のターゲットボリュームの画像を再構成することができる。別の例として、画像プロセッサユニット１１０は、ＡＳＩＲ（advanced statistical iterative reconstruction、ＣＧ（conjugate gradient)、ＭＬＥＭ（maximum likelihood expectation maximization)、ＭＢＩＲ（model-based iterative reconstruction)などの反復画像再構成手法を使用して、被検体１１２のターゲットボリュームの画像を再構成してもよい。本明細書に更に記載されているように、一部の例では、画像プロセッサユニット１１０は、反復画像再構成手法に加えて、解析的画像再構成手法（ＦＢＰなど）も使用することができる。
【0019】
一部のＣＴイメージングシステムの構成では、Ｘ線源は、Ｘ－Ｙ－Ｚのデカルト座標系内に存在するようにコリメートされ一般に「撮影面」と呼ばれるコーン状のＸ線放射ビームを照射する。Ｘ線放射ビームは、撮影される物体（患者又は被検体など）を通過する。Ｘ線放射ビームは、物体によって減衰した後、検出器素子のアレイに衝突する。検出器アレイで受信された減衰Ｘ線放射ビームの強度は、物体による放射ビームの減衰に依存する。アレイの各検出器素子は、検出器位置におけるＸ線ビーム減衰の測定値である個別の電気信号を生成する。すべての検出器素子からの減衰測定値を個別に取得して透過プロファイルを作成する。
【0020】
一部のＣＴシステムでは、Ｘ線源と検出器アレイは、放射ビームが物体と交差する角度が絶えず変化するように、ガントリによって、撮影されるべき物体の周囲を撮影面内で回転する。あるガントリ角度において検出器アレイから得られたＸ線放射減衰測定値のグループ（例えば投影データ）は「ビュー」と呼ばれる。物体の「スキャン」は、Ｘ線源及び検出器が１回転する間に、異なるガントリ角又はビュー角において作成されたビューのセットを含む。本明細書に記載された方法の利点は、ＣＴ以外の医用イメージングモダリティで得られると考えられるので、本明細書において、用語「ビュー」は、上記のような１つのガントリ角から取得された投影データに対して使用されることに限定されるものではない。用語「ビュー」は、ＣＴ、ポジトロン放出断層撮影（ＰＥＴ）、単一光子放出ＣＴ（ＳＰＥＣＴ）、並びに／又はまだ開発されていないモダリティ及び融合実施形態におけるそれらの組合せを含む他のモダリティからのデータ取得かどうかに関わらず、異なる角度からの複数のデータ取得があるときは１つのデータ取得を意味するものとして使用される。
【0021】
投影データは処理され、物体を横切る２次元スライスに対応する画像、又は投影データが複数のビュー又はスキャンを含む一部の例では、物体の３次元レンダリングに対応する画像を再構成する。投影データのセットから画像を再構成するための１つの方法は、当技術分野ではフィルタ逆投影法と呼ばれている。透過型断層撮影及び放射型断層撮影の再構成技術には、統計的反復法（最尤推定－期待値最大化（ＭＬＥＭ）及びordered-subsets expectation-reconstruction、並びに反復的再構成技術など）も含まれる。この処理では、スキャンによる減衰測定値を、「ＣＴ値」又は「ハウンスフィールド値」と呼ばれる整数に変換する。この整数を使用して、表示装置上の対応する画素の輝度が制御される。
【0022】
総スキャン時間を短縮するために、「ヘリカル」スキャンを実行することができる。「ヘリカル」スキャンを実行するためには、所定のスライス数のデータを取得する間、患者を移動させる。このようなシステムでは、コーンビームヘリカルスキャンから１本の螺旋が生成される。コーンビームによって描かれた螺旋によって、各所定スライスの画像を再構成するための投影データが生成される。
【0023】
本明細書において、語句「画像を再構成する」は、画像を表すデータは生成されるが表示可能な画像は生成されない本発明の実施形態を排除することを意図するものではない。したがって、本明細書において、用語「画像」は、表示可能な画像と表示可能な画像を表すデータとの両方を広く表している。しかしながら、多くの実施形態は、少なくとも１つの表示可能な画像を生成する（又は生成するように構成される）。
【0024】
図２は、図１のＣＴシステム１００と同様の例示的なイメージングシステム２００を示す。本開示の態様では、イメージングシステム２００は、被検体２０４（例えば、図１の被検体１１２）を撮影するように構成されている。一実施形態では、イメージングシステム２００は、検出器アレイ１０８（図１参照）を含む。検出器アレイ１０８は、更に、複数の検出器素子２０２を含んでいる。複数の検出器素子２０２は、被検体２０４（患者など）を通過するＸ線放射ビーム１０６（図２参照）を感知して、対応する投影データを取得する。したがって、一部の実施形態では、検出器アレイ１０８は、セル又は検出器素子２０２の複数の列を含むマルチスライス構成で製造される。このような構成では、検出器素子２０２の１つ以上の追加の列が、投影データを取得するために並列構成で配置される。
【0025】
特定の実施形態では、イメージングシステム２００は、所望の投影データを取得するために、被検体２０４の周囲の異なる角度位置を移動するように構成される。従って、ガントリ１０２と、ガントリに取り付けられた構成要素は、例えば異なるエネルギーレベルの投影データを取得するために、回転中心２０６の周りを回転するように構成することができる。あるいは、被検体２０４に対して投影角度が時間の関数として変化する実施形態では、取り付けられた構成要素は、円弧に沿って移動するのではなく、一般的な曲線に沿って移動するように構成されてもよい。
【0026】
Ｘ線源１０４及び検出器アレイ１０８が回転すると、検出器アレイ１０８は減衰したＸ線ビームのデータを収集する。検出器アレイ１０８によって収集されたデータは、前処理及び較正を受けて、スキャンされた被検体２０４の減弱係数の線積分を表すようにデータが調整される。処理されたデータは、一般に投影（プロジェクション）と呼ばれる。
【0027】
一部の実施例では、検出器アレイ１０８の個々の検出器又は検出器素子２０２は、個々の光子の相互作用を１つ以上のエネルギービンに記録する光子計数型検出器を含むことができる。本明細書で説明する方法は、エネルギー積分型検出器でも実施できることを理解されたい。
【0028】
取得された投影データのセットは、基準物質弁別（ＢＭＤ）に使用することができる。ＢＭＤの間、測定された投影は、物質密度投影のセットに変換される。物質密度投影は再構成され、骨、軟組織などの各基準物質の物質密度マップのペア若しくはセット、各基準物質の物質密度画像のペア若しくはセット、及び／又は造影剤マップを形成することができる。これらの密度マップ又は密度画像は、順に関連付けられ、撮影ボリュームの基準物質（例えば、骨、軟組織、及び／又は造影剤）のボリュームレンダリングを形成することができる。
【0029】
再構成されると、イメージングシステム２００によって生成された基準物質画像によって、２つの基準物質の密度で表される被検体２０４の内部特徴が明らかになる。密度画像を表示して、これらの特徴を示すことができる。医学的状態（病気の状態など）の診断、より一般的には医療事象の診断に対する従来のアプローチでは、放射線科医又は医師は、密度画像のハードコピー又は表示された密度画像を検討して、関心のある特徴部分を識別すると考えられる。このような特徴部分としては、特定の解剖学的構造又は臓器の病変、血管、サイズ、及び形状、並びに個々の専門家の技能及び知識に基づいて画像の中から識別可能であると考えられる他の特徴部分がある。
【0030】
一実施形態では、イメージングシステム２００は、構成要素の動き（ガントリ１０２の回転及びＸ線源１０４の動作など）を制御する制御機構２０８を含んでいる。特定の実施形態では、制御機構２０８は、Ｘ線源１０４に電力及びタイミング信号を供給するように構成されたＸ線コントローラ２１０を更に含む。更に、制御機構２０８は、撮影要件に基づいてガントリ１０２の回転速度及び／又は回転位置を制御するように構成されるガントリモータコントローラ２１２を含んでいる。
【0031】
特定の実施形態では、制御機構２０８は、検出器素子２０２から受け取ったアナログデータをサンプリングし、アナログデータを後続の処理のためにデジタル信号に変換するように構成されたデータ収集システム（ＤＡＳ）２１４を更に含む。ＤＡＳ２１４は、本明細書で更に説明されるように、検出器素子２０２のサブセットからのアナログデータを、いわゆるマクロ検出器に選択的に集約するように構成することができる。ＤＡＳ２１４によってサンプリングされデジタル化されたデータは、コンピュータ又はコンピューティング装置２１６に送信される。一実施例では、コンピューティング装置２１６は、データを記憶装置２１８に記憶する。記憶装置２１８は、例えば、ハードディスクドライブ、フロッピーディスクドライブ、コンパクトディスク読取り／書込み（ＣＤ－Ｒ／Ｗ）ドライブ、デジタルバーサタイルディスク（ＤＶＤ）ドライブ、フラッシュドライブ、及び／又はソリッドステートストレージドライブとすることができる。
【0032】
更に、コンピューティング装置２１６は、ＤＡＳ２１４、Ｘ線コントローラ２１０、及びガントリモータコントローラ２１２のうちの１つ以上に命令及びパラメータを提供して、システム動作（データ収集及び／又はデータ処理など）を制御する。特定の例示的な実施形態では、コンピューティング装置２１６は、オペレータ入力に基づいてシステム動作を制御する。コンピューティング装置２１６は、例えば、コンピューティング装置２１６に動作可能に結合されたオペレータコンソール２２０によって、命令及び／又は走査パラメータを含むオペレータ入力を受け付ける。オペレータコンソール２２０は、オペレータが命令及び／又は走査パラメータを指定できるように、キーボード（図示せず）及び／又はタッチスクリーンを含むことができる。
【0033】
図２ではオペレータコンソール２２０は１つだけ図示されているが、例えば、システムパラメータを入力する又は出力する、検査をリクエストする、データをグラフ化する、及び／又は画像を閲覧するために、２つ以上のオペレータコンソールがイメージングシステム２００に結合されてもよい。更に、特定の実施形態では、イメージングシステム２００は、配置可能な１つ又は複数の有線ネットワーク及び／又は無線ネットワーク（インターネット及び／又は仮想プライベートネットワーク、無線電話ネットワーク、無線ローカルエリアネットワーク、有線ローカルエリアネットワーク、無線広域ネットワーク、有線広域ネットワークなど）を通じて、複数のディスプレイ、プリンタ、ワークステーション、及び／又は施設若しくは病院内に又は全く異なる場所にローカルに若しくは遠隔に配置されている同様の装置に結合することができる。
【0034】
一実施形態では、例えば、イメージングシステム２００は、画像保存通信システム（ＰＡＣＳ）２２４を含んでいる又はＰＡＣＳ２２４に結合されている。例示的な実施形態では、ＰＡＣＳ２２４は、放射線科情報システム、病院情報システムなどの遠隔システムに更に結合され、及び／又は内部又は外部のネットワーク（図示せず）に結合されて、別の場所にいるオペレータが命令及びパラメータを供給する及び／又は画像データにアクセスできるようにする。
【0035】
コンピューティング装置２１６は、オペレータから供給された及び／又はシステムで定義された命令及びパラメータを使用して、テーブルモータコントローラ２２６を動作させる。テーブルモータコントローラ２２６は、テーブル１１４を制御することができ、テーブルは電動テーブルとすることができる。具体的には、テーブルモータコントローラ２２６は、被検体２０４のターゲットボリュームに対応する投影データを取得するために、被検体２０４がガントリ１０２に適切に位置決めされるようにテーブル１１４を移動させることができる。
【0036】
前述したように、ＤＡＳ２１４は、検出器素子２０２によって取得された投影データをサンプリングし、デジタル化する。その後、画像再構成器２３０が、サンプリングされデジタル化されたＸ線データを用いて高速再構成を実行する。図２は画像再構成器２３０を独立した実体として例示しているが、特定の実施形態では、画像再構成器２３０はコンピューティング装置２１６の一部を形成していてもよい。あるいは、画像再構成器２３０はイメージングシステム２００に存在していなくてもよく、代わりに、コンピューティング装置２１６が画像再構成器２３０の１つ又は複数の機能を実行してもよい。更に、画像再構成器２３０は、ローカルに又は遠隔に配置されていてもよく、有線ネットワーク又は無線ネットワークを用いてイメージングシステム２００に動作可能に接続されていてもよい。特に、１つの例示的な実施形態では、「クラウド」ネットワーククラスタ内のコンピューティングリソースを画像再構成器２３０のために使用してもよい。
【0037】
一実施形態では、画像再構成器２３０は、再構成された画像を記憶装置２１８に記憶する。あるいは、画像再構成器２３０は、再構成された画像をコンピューティング装置２１６に送信し、診断及び評価のために有用な患者情報が生成されるようにしてもよい。或る実施形態では、コンピューティング装置２１６は、再構成された画像及び／又は患者情報を、コンピューティング装置２１６及び／又は画像再構成器２３０に通信可能に結合されたディスプレイ又はディスプレイ装置２３２に送信してもよい。一部の実施形態では、再構成された画像は、コンピューティング装置２１６又は画像再構成器２３０から、短期保存又は長期保存のために記憶装置２１８に送信されてもよい。
【0038】
本明細書で更に説明される様々な方法及びプロセスは、イメージングシステム２００内のコンピューティング装置（又はコントローラ）（コンピューティング装置２１６及び／又は画像再構成器２３０など）の非一時的メモリに実行可能な命令として記憶することができ、命令は、本明細書で説明される方法及びプロセスを実行するために１つ又は複数のプロセッサによって実行可能である。一部の実施形態では、コンピューティング装置２１６は、非一時的メモリ内に命令を含み、投影データが画像再構成器２３０によって再構成される前に欠落したビューを充填するために、本明細書に記載の方法を（１つ又は複数のプロセッサによって）少なくとも部分的に投影データ（例えば、サイノグラム）に適用することができる。別の実施形態では、本明細書で説明する方法及び処理は、画像再構成器２３０によって実行されてもよい。更に別の実施形態では、本明細書で説明する方法及びプロセスは、画像再構成器２３０及びコンピューティング装置２１６に分散するようにしてもよい。
【0039】
一実施形態では、ディスプレイ２３２によって、オペレータは、画像再構成後に画像化された解剖学的構造を評価することができる。また、ディスプレイ２３２によって、オペレータは、例えば、後続のスキャン又は処理のためにグラフィカルユーザインタフェース（ＧＵＩ）によって、関心体積（ＶＯＩ）を選択すること、及び／又は患者情報を要求すること、スキャンを実施するためのスキャンプロトコルを選択することなどができる。
【0040】
図３は、Ｘ線源の異なるエネルギーレベルで取得されたサイノグラムを充填するための方法３００を示すフローチャートである。方法３００は、図１～２に示されたシステムに関連して説明されるが、本開示の範囲から逸脱することなく、同様の方法を他のシステムで使用できることが理解されるべきである。方法３００は、イメージングシステムに動作可能に結合されたコンピューティング装置（コンピューティング装置２１６、画像再構成器２３０、クラウドベースのコンピューティングシステム、又は他の適切なコンピューティング装置など）のメモリに記憶された命令に従って実行することができる。イメージングシステムは、図１－２に関して上述したようなＣＴイメージングシステムであってもよいし、デュアルエネルギー撮影を実行することができる他の適切なイメージングシステムであってもよい。
【0041】
３０２では、撮影対象の高エネルギー（ＨＥ）サイノグラムが取得される。ＨＥサイノグラムは、イメージングシステムによって生成することができ、イメージングシステムのＸ線源を第１の高いエネルギーレベル（例えば、１２０～１４０ｋＶｐの範囲内）で動作させたときに取得される投影データ（例えば、検出器データ）の視覚的な表示とすることができる。３０４では、撮影対象の低エネルギー（ＬＥ）サイノグラムが取得される。ＬＥサイノグラムは、イメージングシステムによって生成することができ、イメージングシステムのＸ線源を第２の高いエネルギーレベル（例えば７０～８０ｋＶｐの範囲内）で動作させたときに取得される投影データ（例えば検出器データ）の視覚的な表示とすることができる。ＨＥサイノグラム及びＬＥサイノグラムは、Ｘ線源を交互のエネルギーレベルに制御して、撮影対象の同じスキャン中に取得することができ、Ｘ線源が高いエネルギーレベルで動作している間に第１のビューのセットが取得され、Ｘ線源が低いエネルギーレベルで動作している間に第２のビューのセットが取得され、高いエネルギーレベルで第３のビューのセットが取得され、低いエネルギーレベルで第４のビューのセットが取得され、以下同様にビューセットが取得される。ビューの各セットは、連続した２つ以上のビューを含むことができる。例えば、Ｘ線源は、全てのビューが取得されスキャンが完了するまで、第１のビューのセットには高いエネルギーレベルで取得された連続した４つのビューが含まれ、第２のビューのセットには低いエネルギーレベルで取得された連続した４つのビューが含まれるなど、エネルギーレベルが４つのビューごとに切り替わるように制御することができる。このようにして、各ビューは１つのエネルギーレベルのみで取得され、各サイノグラムはスキャン中に取得された全ビューの半分が欠落している。本明細書では、所与のエネルギーレベルのサイノグラムにおける欠落したビューは、当該所与のエネルギーレベルでは取得されなかったが他方のエネルギーレベルでは取得されたビューを表すことができる。上に提示された例を使用すると、第１のビューのセットは、Ｘ線源が高いエネルギーレベルで動作している間に取得することができ、第２のビューのセットは、Ｘ線源が低いエネルギーレベルで動作している間に取得することができる。結果として取得されるＨＥサイノグラムは、第１のビューのセットを含み、第２のビューのセットは欠落している。結果として取得されるＬＥサイノグラムは、第１のビューのセットが欠落しており、第２のビューのセットを含む。
【0042】
３０６において、方法３００は、ＬＥサイノグラムのデータでＨＥサイノグラムを初期化し、初期化されたＨＥサイノグラムを作成することと、ＨＥサイノグラムのデータでＬＥサイノグラムを初期化し、初期化されたＬＥサイノグラムを作成することとを任意に含んでいる。ＨＥサイノグラムの初期化には、ＬＥサイノグラムのデータをＨＥサイノグラムの欠落したビューに加えることと、ＬＥサイノグラムの相補的ビューのデータをＨＥサイノグラムの欠落したビューに加えることを含む。例えば、（Ｘ線源が低エネルギーレベルで動作している間に取得された）ＬＥサイノグラムの第２のビューのセットのデータは、ＨＥサイノグラムにおいて第２のビューのセットが（ＨＥサイノグラム用に取得されていたならば）配置される位置（例えば、ＨＥサイノグラムの欠落した第２のビューのセット）において、ＨＥサイノグラムに加えることができる。同様に、ＬＥサイノグラムの初期化は、ＨＥサイノグラムのデータをＬＥサイノグラムの欠落したビューに加えることと、ＨＥサイノグラムの相補的ビューのデータをＬＥサイノグラムの欠落したビューに加えることとを含むことができる。例えば、（Ｘ線源が高いエネルギーレベルで動作している間に取得された）ＨＥサイノグラムの第１のビューのセットのデータは、ＬＥサイノグラムにおいて第１のビューのセットが（ＬＥサイノグラム用に取得されていたならば）配置される位置（例えば、ＬＥサイノグラムの欠落した第１のビューのセット）において、ＬＥサイノグラムに加えることができる。
【0043】
一部の例では、ＨＥサイノグラム及びＬＥサイノグラムは、３０８で示されるように、特徴レベル混合を用いて初期化することができる。特徴レベル混合に関する追加の詳細は、図６及び図７で以下に説明される。簡単に述べると、特徴レベル混合は、ＨＥサイノグラムの取得されたビューの特徴及びＬＥサイノグラムの取得されたビューの特徴を別々にダウンサンプリングして、ＨＥサイノグラムの特徴のセット及びＬＥサイノグラムの特徴のセットを生成することと、特徴のセットを混合することと、次いで混合された特徴をアップサンプリングして、初期化されたサイノグラムを作成することとを含むことができる。特徴レベル混合は、各サイノグラムの混合の特徴を出力するように訓練された１つ又は複数の深層学習モデルを使用して、各サイノグラムに対して別々に実行することができる。例えば、深層学習モデルは、ＬＥサイノグラムの特徴をＨＥサイノグラムと混合し、ＨＥサイノグラムの欠落した特徴を充填するようにＬＥサイノグラムの特徴が選択された、初期化されたＨＥサイノグラムを生成するように訓練することができる。更に、この深層学習モデル（又は別の深層学習モデル）は、ＨＥサイノグラムの特徴をＬＥサイノグラムと混合して、ＬＥサイノグラムの欠落した特徴を充填するようにＨＥサイノグラムの特徴が選択された、初期化されたＬＥサイノグラムを生成するように訓練してもよい。
【0044】
一部の例では、ＨＥサイノグラム及びＬＥサイノグラムは、３１０で示されるように、入力レベル混合を用いて初期化することができる。入力レベル混合は、相補的なビューの全データがそれぞれの欠落したビューに加えられる直接的なサイノグラムデータの初期化を含むことができる。例えば、ＬＥサイノグラムの第２のビューのセットの全データを、（ＨＥサイノグラムの欠落した第２のビューのセットの位置において、例えば、第１のビューのセットと第３のビューのセットとの間において）ＨＥサイノグラムに加え、ＨＥサイノグラムの第１のビューのセットの全データを、（第２のビューのセットの前の、ＬＥサイノグラムの欠落した第１のビューのセットの位置において）ＬＥサイノグラムに加えることができる。
【0045】
他の例では、入力レベル混合は、欠落したビューに加えられるサイノグラムデータをスケーリングすることを含むことができる。例えば、ＬＥサイノグラムの第２のビューのセットのデータがスケーリングされ、スケーリングされたデータを、（ＨＥサイノグラムの欠落した第２のビューのセットの位置において、例えば、第１のビューのセットと第３のビューのセットとの間において）ＨＥサイノグラムに加えることができる。同様に、ＨＥサイノグラムの第１のビューのセットのデータがスケーリングされ、スケーリングされたデータを、（第２のビューのセットの前の、ＬＥサイノグラムの欠落した第１のビューのセットの位置において）ＬＥサイノグラムに加えることができる。サイノグラムデータは、全体的にスケーリングされてもよいし、局所的にスケーリングされてもよい。全体的なスケーリングは、各ビューのデータを同じ方法でスケーリングすることを含むことができ、例えば、各ビューのデータを、スケーリング係数によって削減してもよいし、増加させてもよい。スケーリング係数は、ＨＥサイノグラム及び／又はＬＥサイノグラムの全体統計から決定することができる。例えば、ＨＥサイノグラムを初期化する場合、スケーリング係数はＨＥサイノグラムの最大値に基づいたものとすることができる。別の例では、スケーリング係数は、ＨＥサイノグラムの値とＬＥサイノグラムの値の比（例えば、最大値、平均値など）に基づいたものとすることができる。局所スケーリングは、撮影対象の物質組成（したがって、検出器に到達する前にＸ線が透過する物質）に基づいて、１つの所与のビュー又は複数の所与のビューのデータを１つ又は複数の他のビューとは異なるようにスケーリングすることを含むことができる。局所スケーリングを実行するために、強度値の移動平均を、予め定義された平均化ウィンドウで、ＨＥサイノグラムとＬＥサイノグラムに対して独立に計算することができる。例えば、最初の２０ビューに対して、ＨＥサイノグラムの第１の平均強度とＬＥサイノグラムの第２の平均強度を計算し、次の２０ビューに対して、ＨＥサイノグラムの第３の平均強度とＬＥサイノグラムの第４の平均強度を計算することができ、以下同様に計算することができる。ＨＥサイノグラムを初期化する場合、各平均化ウィンドウで、ＨＥサイノグラムの平均強度とＬＥサイノグラムの平均強度の第１の比が計算され（例えば、最初の２０ビューでは、第１の比は、上記の第１の平均強度と第２の平均強度との比とすることができる）、ＬＥサイノグラムの相補的データは、各平均化ウィンドウのデータに対するそれぞれの第１の比に基づいてスケーリングされる。ＬＥサイノグラムを初期化する場合、各平均化ウィンドウで、ＬＥサイノグラムの平均強度とＨＥサイノグラムの平均強度の第２の比が計算され（例えば、最初の２０ビューでは、第２の比は、上記の第２の平均強度と第１の平均強度との比とすることができる）、ＨＥサイノグラムの相補的データは、各平均化ウィンドウのデータに対するそれぞれの第２の比に基づいてスケーリングされる。
【0046】
３１２では、方法３００は、ＨＥサイノグラム及びＬＥサイノグラム（これらのサイノグラムは、初期化されていてもよいし、初期化されていなくてもよい）に基づいて、充填されたＨＥサイノグラムと充填されたＬＥサイノグラムとを取得することを含んでいる。初期化されたサイノグラムを利用する場合、初期化されたサイノグラムは、上記の入力レベル混合を用いて初期化されたＨＥサイノグラム及びＬＥサイノグラムを含んでいてもよいし、初期化されたサイノグラムは、上記の特徴レベル混合によって取得されたＨＥサイノグラム及びＬＥサイノグラムの混合された特徴を含んでいてもよい。充填されたＨＥサイノグラムは、充填されたＨＥサイノグラムを出力するように訓練されたマルチスケール補間モデルへの入力として（初期化された）ＨＥサイノグラムを入力することにより取得することができ、これにより、マルチスケール補間モデルは、ＨＥサイノグラムの隣接するビュー及び任意選択でＬＥサイノグラムから加えられたデータを使用して、欠落したビューのプログレッシブ（例えば、マルチスケール）補間を実行する。充填されたＬＥサイノグラムは、充填されたＬＥサイノグラムを出力するように訓練されたマルチスケール補間モデルへの入力として（初期化された）ＬＥサイノグラムを入力することによって取得することができ、これにより、マルチスケール補間モデルは、ＬＥサイノグラムの隣接するビューと任意選択でＨＥサイノグラムから加えられたデータを使用して、欠落したビューのプログレッシブ（例えば、マルチスケール）補間を実行する。
【0047】
充填されたＨＥサイノグラム及び充填されたＬＥサイノグラムは、同一のマルチスケール補間モデルによって取得することができる。このマルチスケール補間モデルは、３１４で示されるように、デュアルチャネル出力モデルとすることができる。デュアルチャネル出力モデルでは、（初期化された）ＨＥサイノグラム及び（初期化された）ＬＥサイノグラムは、デュアルチャネル出力モデルへの入力として入力することができ、デュアルチャネル出力モデルは、充填されたＨＥサイノグラムを一方のチャネルに出力し、充填されたＬＥチャネルを他方のチャネルに出力することができる。しかしながら、他の例では、３１６で示されるように、充填されたＨＥサイノグラム及び充填されたＬＥサイノグラムは、別個の２つの単一チャネル出力モデルによって取得することができる。そのような例では、（初期化された）ＨＥサイノグラムは、充填されたＨＥサイノグラムを出力するように訓練された第１のマルチスケール補間モデルへの入力として入力することができ、（初期化された）ＬＥサイノグラムは、充填されたＬＥサイノグラムを出力するように訓練された第２のマルチスケール補間モデルへの入力として入力することができる。充填されたＨＥサイノグラム及び充填されたＬＥサイノグラム並びにマルチスケール補間モデルを得ることに関する追加の詳細は、図３、図４、図５、及び図８－図１３に関して以下に提示される。
【0048】
３１８では、充填されたＨＥサイノグラム及び充填されたＬＥサイノグラムから１つ又は複数の画像が再構成される。１つ又は複数の画像は、適切な再構成技術に従って再構成された仮想単一エネルギー画像及び／又は基準物質画像とすることができる。例えば、ＨＥ画像は、フィルタ逆投影法を使用して、充填されたＨＥサイノグラムから再構成することができ、ＬＥ画像は、フィルタ逆投影法を使用して、充填されたＬＥサイノグラムから再構成することができる。仮想単一エネルギー画像は、ＨＥ画像とＬＥ画像との線形結合で形成してもよいし、非線形結合によって形成してもよい。少なくとも一部の例では、１つ又は複数の画像は、再構成の前に、充填されたＨＥサイノグラム及び充填されたＬＥサイノグラムに対して付加的な処理を実行することなく、充填されたＨＥサイノグラム及び充填されたＬＥサイノグラムから直接再構成することができる。１つ又は複数の画像は、（例えば、患者検査の一部として）表示装置に表示する及び／又はメモリに記憶することができる。そして、方法３００は制御を返す。
【0049】
図４は、単一チャネル出力モデルを用いて、充填されたＨＥサイノグラムを取得するための例示的なプロセス４００を概略的に示す。プロセス４００は、初期化ブロック４０６において、ＬＥサイノグラム４０４のデータを使用してＨＥサイノグラム４０２を初期化することを含んでいる。ＨＥサイノグラム４０２は、ＬＥサイノグラム４０４に存在するビューが欠落しており、このことは、図４に概略的に示されている。例えば、各サイノグラムは、ビューの関数としてプロットされたチャネルデータ（例えば、ＨＵ値などの検出器出力値）を含むことができ、黒線は取得されたビューのセットを示し、白線は欠落したビューのセットを示している。多列検出器を含むイメージングシステムでは、複数のＨＥサイノグラム及びＬＥサイノグラムが生成され、検出器の列ごとに、ＨＥサイノグラム及びＬＥサイノグラムの１つのセットが生成されることを理解すべきである。本明細書で記載される処理は、対応したサイノグラム（例えば、検出器の１つの行の検出器データから生成されたＨＥサイノグラムと、検出器の同じ行の検出器データから生成された対応するＬＥサイノグラム）に適用され、この処理は、対応したＨＥ／ＬＥサイノグラムの各セットであって、検出器の各行に対応する各セットに適用することができる。ＨＥサイノグラムは、図３に関して上記で説明したように、例えば、特徴レベル混合によって、又は入力レベルにおける混合によって初期化することができる。初期化されたＨＥサイノグラムは、初期化されたＨＥサイノグラムに基づいて充填されたＨＥサイノグラム４１０を出力するように訓練された単一チャネル出力モデル４０８に入力することができる。単一チャネル出力モデル４０８の例示的なネットワークアーキテクチャを、図１０及び図１１で後述する。図４には示されていないが、同様のプロセスが、充填されたＬＥサイノグラムを得るために実施され、これにより、初期化されたＬＥサイノグラムがＨＥサイノグラム４０２とＬＥサイノグラム４０４から生成することができ、初期化されたＬＥサイノグラムは、第２の単一チャネル出力モデルに入力することができ、第２の単一チャネル出力モデルは、初期化されたＬＥサイノグラムに基づいて充填されたＬＥサイノグラムを出力するように訓練されることを理解すべきである。更に、一部の実施例では、図１１に関して以下により詳細に説明されるように、ＨＥサイノグラム４０２は、単一チャネル出力モデル４０８に入力される前に初期化することはできない。
【0050】
図５は、デュアルチャネル出力モデルを使用して、充填されたＨＥサイノグラム及び充填されたＬＥサイノグラムを取得するための例示的なプロセス５００を概略的に示す。プロセス５００は、初期化ブロック５０６においてＬＥサイノグラム５０４のデータを用いてＨＥサイノグラム５０２を初期化することと、初期化ブロック５０６においてＨＥサイノグラム５０２によりＬＥサイノグラム５０４を初期化することも含む。ＨＥサイノグラム５０２はＨＥサイノグラム４０２と同じとすることができ、ＬＥサイノグラム５０４はＬＥサイノグラム４０４と同じとすることができる。ＨＥサイノグラム及びＬＥサイノグラムは、図３に関して上記で説明したように、例えば、特徴レベル混合によって、又は入力レベルにおける混合によって初期化することができる。初期化されたＨＥサイノグラム及び初期化されたＬＥサイノグラムの各サイノグラムは、デュアルチャネル出力モデル５０８に入力することができる。デュアルチャネル出力モデル５０８は、初期化されたＨＥサイノグラムに基づいて充填されたＨＥサイノグラム５１０を出力し、初期化されたＬＥサイノグラムに基づいて充填されたＬＥサイノグラム５１２を出力するように訓練されている。デュアルチャネル出力モデル５０８の例示的なネットワークアーキテクチャは、図１３で以下に示されている。更に、一部の例では、図１１に関して以下でより詳細に説明されるように、ＨＥサイノグラム５０２及びＬＥサイノグラム５０４は、デュアルチャネル出力モデル５０８に入力される前に初期化されない場合もある。
【0051】
図６は、ＨＥサイノグラム及びＬＥサイノグラムの特徴の特徴レベル混合を実行するための方法を示すフローチャートである。方法６００は、イメージングシステムに動作可能に結合されたコンピューティング装置（コンピューティング装置２１６、画像再構成器２３０、クラウドベースのコンピューティングシステム、又は別の適切なコンピューティング装置など）のメモリに記憶された命令に従って実行することができる。一部の例では、方法６００は、方法３００の一部として実行することができ、例えば、方法６００は、方法３００の特徴レベル混合３０８において実行することができる。
【0052】
６０２では、方法６００は、ＨＥサイノグラムを前処理することを含んでいる。ＨＥサイノグラムは、図３で説明したＨＥサイノグラム及び／又は図４若しくは図５のＨＥサイノグラムとすることができる。前処理は、取得されたビューのみを含むパーシャルＨＥサイノグラムを生成するために、ＨＥサイノグラムの欠落したビューを破棄することを含むことができる。同様に、６０４では、方法６００は、ＬＥサイノグラムを前処理することを含んでいる。ＬＥサイノグラムは、図３で説明したＬＥサイノグラム及び／又は図５のＬＥサイノグラムとすることができる。前処理は、取得されたビューのみを含むパーシャルＬＥサイノグラムを生成するために、ＬＥサイノグラムの欠落したビューを破棄することを含むことができる。
【0053】
６０６では、方法６００は、第１の特徴レベル混合を実行して、初期化されたＨＥサイノグラムを生成することを含んでいる。第１の特徴レベル混合は、マルチスケール補間モデル（例えば、シングルチャネル出力モデル４０８又はデュアルチャネル出力モデル５０８）の畳み込み層を含むことができる第１の特徴ミキサによって実行することができ、第１の特徴ミキサはマルチスケール補間モデルとは別個のものであってもよい。第１の特徴レベル混合を実行することは、６０８で示されるように、前処理されたパーシャルＨＥサイノグラム及びパーシャルＬＥサイノグラムを別々に処理して特徴の２つのセットを生成することを含むことができる。例えば、パーシャルＨＥサイノグラムは、ダウンサンプリングされたＨＥサイノグラムの目標の特徴セットに到達するまで、第１の特徴ミキサの複数の畳み込み層を通過することができ、この目標の特徴セットはＨＥサイノグラムの特徴の第１のセットを含むことができる。並行して、パーシャルＬＥサイノグラムは、ダウンサンプリングされたＬＥサイノグラムの目標の特徴セットに到達するまで、第１の特徴ミキサの複数の畳み込み層を通過することができ、この目標のセットはＬＥサイノグラムの特徴の第２のセットを含むことができる。第１の特徴レベル混合を実行することは、６１０で示されるように、第１の特徴ミキサの混合層において特徴を混合することを更に含むことができる。例えば、ＨＥサイノグラムの特徴の第１のセットは、ＬＥサイノグラムの特徴の第２のセットと混合することができる。混合することは、ＨＥサイノグラムの特徴の第１のセットとＬＥサイノグラムの特徴の第２のセットとを加算すること、ＨＥサイノグラムの特徴の第１のセットとＬＥサイノグラムの特徴の第２のセットとを交互に配置すること、又は特徴の第１のセット及び特徴の第２のセットを結合するための別の適切な方法を含むことができる。第１の特徴レベルの混合を実行することは、６１２で示されるように、ＨＥサイノグラムの元の解像度に達するまで、畳み込みを実行して混合された特徴をアップサンプリングすることを追加的に含むことができる。混合された特徴の第１及び第２のセットは、混合された特徴をＨＥサイノグラムの元の解像度（例えば、ビュー数）にアップサンプリングし、それによって初期化されたＨＥサイノグラムを作成するために、第１の特徴ミキサの複数の畳み込み層を通過することができる。
【0054】
６１４では、方法６００は、第２の特徴レベル混合を実行して、初期化されたＬＥサイノグラムを生成することを含んでいる。第２の特徴レベル混合は、第１の特徴レベル混合と同様の方法で第２の特徴ミキサによって実行することができる。第２の特徴ミキサは、ＬＥサイノグラムを充填するように訓練されたマルチスケール補間モデルの一部として含まれていてもよいし、第２の特徴ミキサはマルチスケール補間モデルから分離していてもよい。第２の特徴レベル混合を実行するために、パーシャルＨＥサイノグラム及びパーシャルＬＥサイノグラムは、上述のように処理することができる。例えば、パーシャルＨＥサイノグラム及びパーシャルＬＥサイノグラムは、第２の特徴ミキサの畳み込み層を並列に通過して、ＨＥサイノグラムの特徴の第３のセット及びＬＥサイノグラムの特徴の第４のセットを生成し、サイノグラムの特徴の第３及び第４のセットは、第２の特徴ミキサの混合層で混合され、混合された特徴は、第２の特徴ミキサの複数の畳み込み層を通過して、混合された特徴をアップサンプリングして、ＬＥサイノグラムの元の解像度にすることができる。
【0055】
このように、ＨＥサイノグラムを初期化することは、演算及びダウンサンプリングの第1のセット（例えば、演算及びダウンサンプリングの第1のセットは、欠落したビューを破棄するための前処理、特徴抽出、畳み込み、プーリング、及び／又はダウンサンプリングを含むことができる）によってＨＥサイノグラムを処理し、特徴の第１のセットを生成することを含むことができ、特徴の第１のセットは、ＨＥサイノグラムに対応する高次元の特徴とすることができる。また、ＬＥサイノグラムは、演算及びダウンサンプリングの第２のセットによって処理され、ＬＥサイノグラムに対応する高次元の特徴を含む特徴の第２のセットを生成することができる。特徴の第１のセットと特徴の第２のセットとを混合して、混合された特徴のセットを形成することができ、混合された特徴のセットをアップサンプリングして、初期化されたＨＥサイノグラムを形成することができる。同様の処理を実行してＬＥサイノグラムを初期化することができる。
【0056】
第１の特徴ミキサ及び第２の特徴ミキサは、それぞれ、ＨＥサイノグラムに加えるＬＥサイノグラムの特徴及びＬＥサイノグラムに加えるＨＥサイノグラムの特徴の適切な選択を支援にする方法で別々に訓練された別々のミキサとすることができる。例えば、第１の特徴ミキサは、第１の特徴ミキサによって出力された初期化されたＨＥサイノグラムと、完全なビューのセットを含むグラウンドトゥルースのＨＥサイノグラム（例えば、イメージングシステムのＸ線源が高エネルギーレベルで動作している間に、イメージングシステムが取得できると考えられる全てのビューが取得される）との間の差に基づいて計算された損失関数で訓練することができる。訓練中、第１の特徴ミキサへの入力は、間引かれた（culled）ＨＥサイノグラムを含むことができ、間引かれたＨＥサイノグラムでは、イメージングシステムがデュアルエネルギーモードで動作している状態で取得される（したがって、全ビューの半分が欠落している）ＨＥサイノグラムを模擬するために、グラウンドトゥルースのＨＥサイノグラムのビューの複数のセットが除去されている。同様に、第２の特徴ミキサは、第２の特徴ミキサによって出力された初期化されたＬＥサイノグラムと、完全なビューのセットを含むグラウンドトゥルースのＬＥサイノグラム（例えば、イメージングシステムのＸ線源が低エネルギーレベルで動作している間に、イメージングシステムが取得できると考えられる全てのビューが取得される）との間の差に基づいて計算された損失関数で訓練することができる。訓練中、第１の特徴ミキサへの入力は、間引かれたＬＥサイノグラムを含むことができ、間引かれたＬＥサイノグラムでは、イメージングシステムがデュアルエネルギーモードで動作している状態で取得される（したがって、全ビューの半分が欠落している）ＬＥサイノグラムを模擬するために、グラウンドトゥルースのＬＥサイノグラムのビューの複数のセットが除去されている。したがって、第１の特徴ミキサと第２の特徴ミキサによって抽出される特徴は異なっていてもよく、例えば、ＨＥサイノグラムの特徴の第１のセットはＨＥサイノグラムの特徴の第３のセットとは異なっていてもよく、ＬＥサイノグラムの特徴の第２のセットはＬＥサイノグラムの特徴の第４のセットとは異なっていてもよい。このように、同じパーシャルＨＥサイノグラムとパーシャルＬＥサイノグラムから開始したにもかかわらず、第１の特徴レベルミキサは、第２の特徴レベルミキサによって出力された初期化されたサイノグラムとは異なる初期化されたサイノグラムを出力することができる。
【0057】
図７は、特徴レベル混合を用いて初期化されたＨＥサイノグラムを生成するための例示的なプロセス７００を概略的に示す。プロセス７００によって示される特徴レベル混合は、上述の方法６００に従って第１の特徴レベル混合器によって実行することができる。プロセス７００は、ＨＥサイノグラム７０２及びＬＥサイノグラム７０４から開始する。これらのサイノグラムは、図３～図５に関して先に説明したように、デュアルエネルギーモードのイメージングシステム（例えば、イメージングシステム２００）を用いた撮影対象のスキャン中に取得されるものである。図７に示す例では、欠落したビューが濃い色で図示され、取得されたビューが薄い色で示されている。ＨＥサイノグラム７０２は前処理されて、欠落したビューが除去され、パーシャルＨＥサイノグラム７０６が生成される。同様に、ＬＥサイノグラムは前処理されて、欠落したビューが除去され、パーシャルＬＥサイノグラム７０８が生成される。
【0058】
パーシャルＨＥサイノグラム７０６は、プーリングを伴う複数の畳み込み層７１０を通過して、ＨＥサイノグラムの特徴の第１のセット７１２を生成する。ＨＥサイノグラムの特徴の第１のセット７１２は、元のＨＥサイノグラム７０２及びパーシャルＨＥサイノグラム７０６よりも低解像度とすることができる。例えば、元のＨＥサイノグラムが３２ビュー（３２ビューのうちの１６ビューは欠落したビュー）を含み、パーシャルＨＥサイノグラムが１６ビューを含む場合、ＨＥサイノグラムの特徴の第１のセットは４ビューを有することができる。パーシャルＬＥサイノグラム７０８は、プーリングを伴う複数の畳み込み層７１１を通過し、ＨＥサイノグラムの特徴の第１のセットと同じ解像度でＬＥサイノグラムの特徴の第２のセット７１４を生成する。
【0059】
ＨＥサイノグラムの特徴の第１のセット７１２とＬＥサイノグラムの特徴の第２のセット７１４は混合され、混合された特徴のセット７１６が作成される。混合することは、特徴の２つのセットを混合するために、加算、インターリーブ、又は他の適切なメカニズムを含むことができる。図示の例では、ＬＥサイノグラムの特徴の第２のセット７１４は、ＨＥサイノグラムの特徴の第１のセット７１２に加えられる（例えば、ＬＥサイノグラムの特徴の第１のセットの第１のビューは、ＨＥサイノグラムの特徴の第２のセットの第１のビューに加えられる／連結されるなど）。混合された特徴のセット７１６は、初期化されたＨＥサイノグラム７２０が元のＨＥサイノグラムと同じ解像度（例えば、この例では３２ビュー）で生成されるまで、アップサンプリングを伴う複数の畳み込み層７１８を通過する。このようにすることで、元のＨＥサイノグラム７０２の欠落したビューは、ＬＥサイノグラム７０４の取得されたビューの情報で充填される。
【0060】
図８は、欠落したビューを有するＨＥサイノグラムから、単一チャネル出力のマルチスケール補間モデルを使用して、充填されたＨＥサイノグラムを得るための方法８００を示すフローチャートである。方法８００は、イメージングシステムに動作可能に結合されたコンピューティング装置（コンピューティング装置２１６、画像再構成器２３０、クラウドベースのコンピューティングシステム、又は別の適切なコンピューティング装置など）のメモリに記憶された命令に従って実行することができる。一部の例では、方法８００は方法３００の一部として実施することができ、例えば、方法８００は方法３００の３１２で実施することができる。方法８００は、充填されたＨＥサイノグラムを得るためのプロセスを具体的に示しているが、充填されたＬＥサイノグラムを得るプロセスは、ＨＥサイノグラムではなく、ビューが欠落したＬＥサイノグラムから開始し、ＬＥサイノグラムを充填するために特に訓練されたマルチスケール補間モデルを使用して、方法８００と同様に実施できることが理解されるべきである。
【0061】
８０２では、ＨＥサイノグラムがマルチスケール補間モデルに入力される。ＨＥサイノグラムは、一部の例では、相補的なＬＥサイノグラムのデータで初期化することができる。初期化されたＨＥサイノグラムは、図３に関して上記で説明したように、例えば、特徴レベル混合又は入力レベル混合を使用して、元のＨＥサイノグラムの欠落したビューを元のＬＥサイノグラムの相補的ビューのデータで充填することによって作成される。元のＨＥサイノグラムは複数の欠落したビューを含み、複数の欠落したビューは、取得されたビューのセットと交互に配置された連続する欠落したビューのセットにグループ化される。欠落したビューの各セットは、少なくとも２つの連続する欠落したビューを含むことができる。マルチスケール補間モデルは、充填されたＨＥサイノグラムのみを出力するように訓練された単一チャネル出力モデル（単一チャネル出力モデル４０８など）とすることができる。
【0062】
マルチスケール補間モデルは、エンコーダ－デコーダアーキテクチャを有し、エンコーダアームは、ＨＥサイノグラムから抽出された特徴をプログレッシブに処理し（例えば、抽出した特徴をダウンサンプリングする又は抽出した特徴の解像度を低下させる）、低解像度にするように構成することができ、その特徴がサイノグラムドメインに戻されれば、欠落した（任意選択で、初期化されたＨＥシノグラムではＬＥシノグラムデータで初期化されているが）ビューの各セットは１つの欠落したビューのみを含む。例えば、元のＨＥサイノグラムが、連続する４つの欠落したビューと４つの取得されたビューが交互に現れるセットを含む場合、プログレッシブ処理は、第１の処理であって、処理された特徴がサイノグラムドメインに戻されれば、欠落したビュー／初期化されたビューの各セットは（４つではなく）２つの欠落したビュー／初期化されたビューを含み、取得されたビューの各セットは２つの取得されたビューを含む第１の処理を含むことができる。次に、プログレッシブ処理は、更に、第２の処理であって、処理された特徴がサイノグラムドメインに戻されれば、２つの欠落したビュー／初期化されたビューの各セットが１つの欠落したビュー／初期化されたビューに処理（例えば、ダウンサンプリング）される（そして、２つの取得されたビューの各セットが１つの取得されたビューに処理される／ダウンサンプリングされる）第２の処理を含むことができる。次に、マルチスケール補間モデルは、欠落した各ビュー／初期化された各ビューの特徴を補間することができ、これにより、連続する複数の欠落したビュー／初期化されたビューの特徴を補間しようと試みるよりも正確で高速である。
【0063】
したがって、８０４において、マルチスケール補間モデルのエンコーダアームは、ＨＥサイノグラムの抽出された特徴をプログレッシブにダウンサンプリングして、Ｎ個のダウンサンプリングされた特徴セットを作成する。作成されたダウンサンプリングされた特徴セットの数Ｎは、ＨＥサイノグラムの欠落したビューの各セットの欠落したビューの数に依存する。各セットに２つのビューが欠落している場合、ダウンサンプリングされた１つの特徴セットが作成される。各セットに４つのビューが欠落している場合、ダウンサンプリングされた２つの特徴セットが作成される。各セットに８つのビューが欠落している場合は、ダウンサンプリングされた３つの特徴セットが作成される。ダウンサンプリングの繰り返し（ラウンド）ごとに、２つのビューが１つのビューにダウンサンプリングされるように、ダウンサンプリングはビュー方向とすることができる。しかし、一部の例では、ダウンサンプリングはチャネル方向に実行されてもよい。ダウンサンプリングされた特徴セットは、サイノグラムドメインに戻されると、欠落したビューの元のセットごとに（ダウンサンプリングされた１つの取得されたビューと交互に）欠落したビュー／初期化されたビューを１つのみ含むが、これは、ダウンサンプリングされた最終の特徴セットと呼ぶことができる。
【0064】
８０６において、ダウンサンプリングされた最終の特徴セットは、マルチスケール補間モデルの最下層を通じて、マルチスケール補間モデルのデコーダアームに送られる。この最下層は、ボトルネック層であってもよいし、超解像層であってもよい。マルチスケール補間モデルのデコーダアームは、最終の拡張された特徴セットが形成されるまで、エンコーダアームからの特徴セットの空間解像度を高めるために、エンコーダアームからの特徴セットをプログレッシブに処理することができる。デコーダアームで実行される処理は、例えば、アップサンプリングを含むことができる。したがって、マルチスケール補間モデルのデコーダアームは、８０８で示されるように、ダウンサンプリングされた特徴セットを、元の解像度の（例えば、元のＨＥサイノグラムの解像度に一致する）特徴セットが形成されるまで、デコーダアームの処理の各解像度／各段階に対してそれぞれの損失関数で訓練されたモデル（８１０で示される）を使用してプログレッシブにアップサンプリングし、その後、出力層を通過して、８１２で示されるように、充填されたＨＥサイノグラムが形成され、モデルから出力される。
【0065】
図９は、本明細書で説明するマルチスケール補間モデルで生じるプログレッシブのダウンサンプリング及びアップサンプリングの例９００を概略的に示す。ＨＥサイノグラム及びＬＥサイノグラムの各サイノグラムからの複数のビュー９０１が概略的に示されており、図９においてＨＥサイノグラムからのビューは「Ｈｉｇｈ」とラベル付けされ、ＬＥサイノグラムからのビューは「Ｌｏｗ」とラベル付けされている。取得されたビューは明るい色の円として示され、欠落したビューは暗い色の円として示されている。例えば、ＨＥサイノグラムは、取得されたビューの第１のセット９０２を含んでおり、このセット９０２は、連続的に取得された４つのビューを含む。ＨＥサイノグラムは、欠落したビューの第２のセット９０４も含んでおり、このセット９０４は、連続的に欠落した４つのビューを含んでいる。取得されたビューのセット及び欠落したビューのセットは、ＨＥサイノグラムの全体にわたって同じように交互に配置される。各ビューは、それぞれのサイノグラムの画素の行を表すことができ、取得されたビューの第１のセット９０２の各ビュー及び欠落したビューの第２のセット９０４の各ビューはＨＥサイノグラムの画素のそれぞれの行を表す。取得されたビューは各画素の強度値（例えば、ＨＵ値）を含み、欠落したビューは各画素に対して値が無い（例えば、０の値）。
【0066】
ＬＥサイノグラムは、欠落したビューと取得されたビューを相補的に含んでおり、ＬＥサイノグラムは、ＨＥサイノグラムが取得されたビューを含む箇所で欠落したビューを含み、ＬＥサイノグラムは、ＨＥサイノグラムが欠落したビューを含む箇所で取得されたビューを含む。図９に示すＬＥサイノグラムの各ビューは、ＨＥサイノグラムについて上記で説明したように、ＬＥサイノグラムの画素の行を表すことができる。取得されたビューは、各画素の強度値（例えば、ＨＵ値）を含み、欠落したビューは各画素に対して値が無い（例えば、０の値）。
【0067】
初期化を実行する場合、ＨＥサイノグラムの欠落したビュー（例えば、欠落したビューの第２のセット９０４）は、ＬＥサイノグラムのそれぞれの相補的なビューの情報で初期化され、ＬＥサイノグラムの欠落したビューは、ＨＥサイノグラムのそれぞれの相補的なビューの情報で初期化される。具体例として、ＬＥサイノグラムの第１のビュー（欠落したビュー）は、ＨＥサイノグラムの第１のビューの情報で初期化することができる。例えば、ＬＥサイノグラムの（第１のビューによって表される）第１の行の画素のスケーリングされた強度値を、ＨＥサイノグラムの第１の行の画素に加えることができる。
【0068】
複数のビューの特徴が抽出され、抽出された特徴に対してダウンサンプリングの第１のラウンドが実行されて、第２の複数のビュー９０５が形成される。ダウンサンプリングは２倍であり、そのため、取得されたビューのセットと欠落したビュー／初期化されたビューのセットには、それぞれ連続した２つのビューが含まれる。例えば、取得されたビューの第１のセット９０２はダウンサンプリングされ、ダウンサンプリング後の取得されたビューの第１のセット９０６が得られ、ダウンサンプリングにより、４つのビューから２つのビューになる。このようにして、入力されたＨＥサイノグラムから抽出された特徴はダウンサンプリングされ、ダウンサンプリングされた特徴がサイノグラムドメインに戻れば、取得されたビューの第１のセット９０２に対応する画素の４つの行は、画素の２つの行にダウンサンプリングされ、欠落したビューに対応する画素の行についても同様である（例えば、４つの行から２つの行にダウンサンプリングされる）。別のラウンドのダウンサンプリングを（再び、２倍で）実行した後、第３の（例えば、最終の）複数のビュー９０７が形成され、ビューの各セットは１つのビューのみを含む。例えば、ダウンサンプリング後の取得されたビューの第１のセット９０６がダウンサンプリングされて、ダウンサンプリング後の単一の第１のビュー９０８になり、サイノグラムドメインに戻れば、１行の画素を表すことになる。したがって、最終のダウンサンプリングにおけるＨＥサイノグラムとＬＥのサイノグラムの両方に対して、欠落したビューは、取得されたビューと１つずつ交互に配置され、特徴が、最終のダウンサンプリングが実行された後に、サイノグラム空間に戻れば、欠落した／初期化された画素の各行は、取得された画素の隣接する１つ又は２つの行を有することになる。先に説明したように、隣接する１つ又は２つの取得されたビューに基づいて単一の欠落したビューを補間することは、連続した４つのビューを補間することに比べて、比較的簡単に実行することができ、正確である。したがって、欠落したビュー／初期化された各ビューは、矢印９１０及び９１２で示すように、プログレッシブのアップサンプリング中に補間されて、初期化されたＨＥ及びＬＥサイノグラムとして元の解像度／ビュー数に戻すことができる。
【0069】
図１０は、単一チャネル出力のマルチスケール補間モデルの第１の例示的アーキテクチャ１０００を概略的に示す図である。第１のアーキテクチャ１０００によるマルチスケール補間モデルは、欠落したビューを有するサイノグラム（例えば、ＨＥサイノグラム又はＬＥサイノグラム）を入力とするエンコーダアーム１００２を含む。一部の例では、入力サイノグラムは、初期化されたサイノグラム（例えば、初期化されたＨＥサイノグラム又はＬＥサイノグラム）とすることができる。エンコーダアーム１００２は、入力サイノグラムから特徴のセットを抽出し、この特徴のセットは、最初の特徴セット１００４と呼ぶ。エンコーダアーム１００２は、最初の特徴セット１００４をビュー方向に２倍でダウンサンプリングして、中間の特徴セット１００６を形成する。エンコーダアーム１００２は、中間の特徴セット１００６をビュー方向に２倍でダウンサンプリングして、最終の特徴セット１００８を形成する。
【0070】
最終の特徴セット１００８はボトルネック層１０１０を通過する。ボトルネック層１０１０からの出力は、最終の特徴セット１００８とともにデコーダアーム１０１２に渡され、デコーダアーム１０１２において、ボトルネック層からの出力は、最終の特徴セット１００８と連結されて、最初の拡張された特徴セット１０１４を形成する。デコーダアームは、最初の拡張された特徴セット１０１４を２倍でアップサンプリングし、アップサンプリングされた拡張された特徴セットを中間の特徴セット１００６と連結して、中間の拡張された特徴セット１０１６を形成する。デコーダアームは、中間の拡張された特徴セット１０１６を２倍でアップサンプリングし、アップサンプリングされた拡張された特徴セットを最初の特徴セット１００４と連結して、最終の拡張された特徴セット１０１８を形成する。最終の拡張された特徴セット１０１８は、出力層（例えば、１ｘ１畳み込み）を通過して、充填されたサイノグラム
を生成して、モデルによって出力される。
【数1】
【0071】
マルチスケール補間モデルの特徴抽出、解像度を下げるプログレッシブ処理（例えば、ダウンサンプリング）、及び解像度を上げるプログレッシブ処理（例えば、アップサンプリング）は、マルチスケール補間モデルの訓練中に設定されるマルチスケール補間モデルの重み及びバイアスに従って実行することができる。典型的には、重み及びバイアスは、モデルの最終出力
（例えば、充填されたサイノグラム）と、対応するグラウンドトゥルースのサイノグラム（Ｘ）との間で計算される損失関数に基づいて、訓練中に設定することができる。例えば、グラウンドトゥルースのサイノグラムは、考えられる全てのビューが１つのエネルギーレベルで取得されるサイノグラムとすることができ、例えば、グラウンドトゥルースのＨＥサイノグラムは、高エネルギーレベルで取得される全てのビューを含み、欠落したビューは含まない。
【数2】
（例えば、充填されたサイノグラム）と、対応するグラウンドトゥルースのサイノグラム（Ｘ）との間で計算される損失関数に基づいて、訓練中に設定することができる。例えば、グラウンドトゥルースのサイノグラムは、考えられる全てのビューが１つのエネルギーレベルで取得されるサイノグラムとすることができ、例えば、グラウンドトゥルースのＨＥサイノグラムは、高エネルギーレベルで取得される全てのビューを含み、欠落したビューは含まない。
【0072】
しかしながら、本開示のマルチスケール補間モデルは、モデルの異なる段階（例えば、層／解像度）で計算された複数の損失関数を用いて訓練される。図１０に示すように、訓練中、最初の拡張された特徴セット１０１４は、１ｘ１畳み込み出力層を通過して、最初の補間された出力サイノグラム
を形成することができる。同様に、中間の拡張された特徴セット１０１６は、１ｘ１畳み込み出力層を通過して、中間の補間された出力サイノグラム
を形成することができる。モデルによって出力された各サイノグラム
は、対応するグラウンドトゥルースのサイノグラムと共に使用して、それぞれの損失関数を計算することができ、モデルは、各損失関数に基づいて訓練中に更新することができる。
【数3】
【数4】
【数5】
【0073】
Ｎレベルのダウンサンプリングによる１ラウンドの訓練の全体的な損失は、以下の式に従って計算することができる。
【0074】
【数6】
【0075】
損失関数（Ｌ）は、以下の式に従って計算することができる。
【0076】
【数7】
【0077】
【数8】
【0078】
【数9】
【0079】
計算される損失は、平均絶対誤差（ＭＡＥ）／ＳＳＩＭ／スペクトル損失又は特徴損失とすることができる。このように、損失関数は、出力サイノグラムとそれぞれのグラウンドトゥルースのサイノグラムとの間の差に基づいて、モデルによって出力された各サイノグラムに対して（異なる解像度で）計算される。最初の補間された出力サイノグラム及び中間の補間された出力サイノグラムの損失を計算するためのダウンサンプリングされたグラウンドトゥルースのサイノグラム（それぞれ、Ｘ↓４及びＸ↓２）は、グラウンドトゥルースのサイノグラム（Ｘ）をダウンサンプリングすることによって生成することができる。更に、各損失計算中にそれぞれのマスクを適用して、欠落したビュー／初期化されたビューのみで損失が計算され、損失が取得されたビューで計算されないようにすることができ、これにより、取得された各ビューのデータを保持するようにモデルを訓練することができる。
【0080】
このように、図１０に示すマルチスケール補間モデルは、欠落したビュー又は初期化されたビューを持つサイノグラムを入力とする。入力サイノグラムからのサイノグラム値は、プログレッシブのダウンサンプリングによって、空間分解能を低下させる特徴に変換され、次に、これらの特徴は、プログレッシブのアップサンプリングによって、欠落したビュー又は初期化されたビューがサイノグラムデータで充填された完全なサイノグラムに拡張される。
【0081】
各空間解像度において、その解像度におけるサイノグラムマスクが生成される。サイノグラムマスクは行列値である。対応する解像度におけるグラウンドトゥルースのサイノグラムマスクも行列値であり、グラウンドトゥルースのサイノグラムマスクは、サイノグラムマスクの解像度／サイズに一致するように縮小されており、グラウンドトゥルースのサイノグラムマスクは、サイノグラムマスクから減算され、その差は差分行列である。
【0082】
要素ごとの乗算は、差分行列とマスクとの間で実行することができ、マスクも適切な解像度にスケーリングされる。マスクは、補間された値に対応する各点で値１を有し、補間されていない値に対応する各点で値０を有し、グラウンドトゥルースのサイノグラムの強度と補間されたサイノグラムの強度との間の差分のみが損失で使用される。しかし、一部の例では、マスクは他の数値を含むことができ、補間された領域と補間されていない領域を異なるように重み付けすること、又は単にサイノグラムの一部（例えば、損失によってかなり強調されるべきである関心領域）を任意で重み付けすることができる。
【0083】
行列のノルムは、各要素を２乗し、２乗した値を全て加算して、その加算値の平方根をとることで求められ、損失は正のスカラー値である。
【0084】
以上の処理を各分解能レベルで行い、最終的な損失は、上記で説明したように、各分解能レベルにおける損失の加重和として取得される。これにより、各空間解像度における「補間」結果に強調の差をつけることができる。
【0085】
図１１は、マルチスケール補間モデルの第２の例示的アーキテクチャ１１００を概略的に示す。第２のアーキテクチャ１１００によるマルチスケール補間モデルは、図１０に示される第１のアーキテクチャと同様であり、したがって、欠落したビューを有するサイノグラム（例えば、ＨＥサイノグラム又はＬＥサイノグラム）を入力として取り込み、サイノグラムから特徴のセット（これは、最初の特徴セット１１０４と呼ぶことができる）を抽出するエンコーダアーム１１０２を含んでいる。エンコーダアーム１１０２は、最初の特徴セット１１０４をビュー方向に２倍でダウンサンプリングして、中間の特徴セット１１０６を形成する。エンコーダアーム１１０２は、中間の特徴セット１１０６をビュー方向に２倍でダウンサンプリングして、最終の特徴セット１１０８を形成する。また、図１１は、（例えば、サイノグラムの欠落したビューのセットが、連続する８つの欠落したビューを含む場合）更に多くの中間ダウンサンプリング層を含み、最終の特徴セットを形成する前に第２の中間の特徴セット１１０７を生成できることを示している。
【0086】
第２のアーキテクチャ１１００は、ボトルネック層を使用する代わりに、超解像層１１１０を含んでいる。最終の特徴セット１１０８は超解像層１１１０を通過し、超解像層１１１０は最終の特徴セットを２倍に拡張する／アップサンプリングする。超解像層１１１０からの出力１１１１は、第２の中間の特徴セット１１０７と共にデコーダアーム１１１２に渡され、出力１１１１は、第２の中間の特徴セット１１０７と連結されて、第１の中間の拡張された特徴セット１１１４を形成する。デコーダアームは、第１の中間の拡張された特徴セット１１１４を２倍にアップサンプリングし、アップサンプリングされた特徴セットを中間の特徴セット１１０６に連結して第２の中間の拡張された特徴セット１１１６を形成する。デコーダアームは、第２の中間の拡張された特徴セット１１１６を２倍にアップサンプリングし、アップサンプリングされた特徴セットを最初の特徴セット１１０４に連結して、最終の拡張された特徴セット１１１８を形成する。最終の拡張された特徴セット１１１８は、出力層（例えば、１ｘ１畳み込み）に渡され、充填されたサイノグラム
が生成され、モデルによって出力される。第２の中間層のダウンサンプリングが実行されない例では、出力１１１１は、中間の特徴セット１１０６に連結され、第２の中間の拡張された特徴セット１１１６を形成することができる。
【数10】
【0087】
第２のアーキテクチャ１１００によるマルチスケール補間モデルは、第１のアーキテクチャ１０００によるモデルと同様に訓練することができるが、損失関数は１つ少ない。図１１は、損失関数を計算するために使用することができる３つの出力
を示すが、第２のアーキテクチャは、（任意選択で）追加のダウンサンプリング層を含む。追加のダウンサンプリング層が省略されて１１０７及び１１１４が形成されなければ、最初の補間された出力サイノグラム
は存在せず、第２のアーキテクチャ１１００の出力は、充填された出力サイノグラムＸ及び中間のアップサンプリングされた出力サイノグラム
のみとなる。
【数11】
【数12】
【数13】
【0088】
超解像層を含むと、超解像層への入力は少なくともｘ／２のデータを持っていることが要求され、超解像層の動作の後、出力データ（例えば、超解像層からの出力）はｘのサイズになる。このサイズが得られるのは、エンコーダのレベルで、１つの欠落したビューが交互に現れ、測定値の総数がｘ／２になる場合のみである。欠落したビューは取り除かれ、ｘ／２サイズのデータが得られる。超解像処理の後、「ｘ」サイズのサイノグラムが出力される。このように、超解像層を有するアーキテクチャ１１００は、全体的な又は局所的なスケーリングを使用して入力層で初期化されたサイノグラムを利用することができず、初期化されていない又は特徴レベルで初期化されたサイノグラムのみを入力として使用することができる。
【0089】
図１２は、デュアルチャネル出力のマルチスケール補間モデルを使用して、欠落したビューを有するＨＥサイノグラムから充填されたＨＥサイノグラムと、欠落したビューを有するＬＥサイノグラムから充填されたＬＥサイノグラムとを取得するための方法１２００を示すフローチャートである。方法１２００は、イメージングシステムに動作可能に結合されたコンピューティング装置（コンピューティング装置２１６、画像再構成器２３０、クラウドベースのコンピューティングシステム、又は別の適切なコンピューティング装置など）のメモリに記憶された命令に従って実行することができる。一部の例では、方法１２００は方法３００の一部として実行することができ、例えば方法１２００は方法３００のステップ３１２で実行することができる。
【0090】
１２０２で、ＨＥサイノグラム及びＬＥサイノグラムがそれぞれマルチスケール補間モデルに入力される。一部の例では、ＨＥサイノグラムは、ＬＥサイノグラムの相補的データで初期化される。一部の例では、ＬＥサイノグラムは、ＨＥサイノグラムの相補的データで初期化される。初期化されたＨＥサイノグラム及び初期化されたＬＥサイノグラムは、例えば、特徴レベル混合又は入力レベル混合を用いて、元のＨＥサイノグラム（又はＬＥサイノグラム）の欠落したビューを元のＬＥ（又はＨＥ）サイノグラムの相補的なビューのデータで充填することにより、図３に関して上記で説明したように作成することができる。元のＨＥサイノグラム及びＬＥサイノグラムは、欠落したビューを有するものであり、欠落したビューは、取得されたビューのセットと交互に並ぶ連続した欠落したビューのセットにグループ化される。欠落したビューの各セットは、少なくとも２つの連続する欠落したビューを含むことができる。マルチスケール補間モデルは、充填されたＨＥサイノグラムを出力するように訓練されたデュアルチャネル出力モデル（デュアルチャネル出力モデル５０８など）とすることができる。
【0091】
マルチスケール補間モデルは、図８、図１０、及び図１１に関して上記で説明したシングルチャネル出力モデルのエンコーダアームと同様に、エンコーダアームが、ＨＥサイノグラムから抽出された特徴をプログレッシブに処理して（例えば、ダウンサンプルする）低解像度にし、（特徴がサイノグラム値に戻れば）欠落したビュー又は初期化されたビューの各セットが欠落したビュー／初期化されたビューを１つだけ含むように構成されたエンコーダ－デコーダアーキテクチャを有することができる。デュアルチャネル出力モデルでは、エンコーダアームは、ＬＥサイノグラムから抽出された特徴をプログレッシブに処理（例えば、ダウンサンプル）して低解像度にし、欠落したビュー又は初期化されたビューの各セットが欠落したビュー／初期化されたビューを１つだけ含むようにも構成される。
【0092】
したがって、１２０４において、マルチスケール補間モデルのエンコーダアームは、ＨＥサイノグラムの抽出された特徴をプログレッシブにダウンサンプリングし、ＬＥサイノグラムの抽出された特徴をプログレッシブにダウンサンプリングして、Ｎ個のダウンサンプリングされたＨＥ特徴セットと、Ｎ個のダウンサンプリングされたＬＥ特徴セットとを作成する。このダウンサンプリングされた特徴セットの数Ｎは、ＨＥサイノグラム及びＬＥサイノグラムの欠落したビューの各セットにおいて何個のビューが欠落しているかに依存する。各セットにおいて２つのビューが欠落している場合、ダウンサンプリングされた１つのＨＥ特徴セットと、ダウンサンプリングされた１つのＬＥ特徴セットが作成される。各セットにおいて、４つのビューが欠落している場合、ダウンサンプリングされた２つのＨＥ特徴セットが作成され、ダウンサンプリングされた２つのＬＥ特徴セットが作成される。欠落しているビューが他の数の場合も同様である。ダウンサンプリングはビュー方向に行われ、ダウンサンプリングの各ラウンドで、２つのビューがダウンサンプリングされて１つのビューになる。欠落したビューの元のセットごとに（ダウンサンプリングされた１つの取得されたビューと交互に）欠落したビュー／初期化されたビューを１つのみ含むダウンサンプリングされた特徴セットを、最終の特徴セットとすることができる。
【0093】
最終の特徴セットは、図１０及び図１１に関して上記で説明したように、ボトルネック層又は超解像層を通過することができる。１２０８で示されるように、マルチスケール補間モデルの第１のデコーダアームは、ダウンサンプリングされたＨＥ特徴セットを、元の解像度（例えば、元のＨＥサイノグラムの解像度に一致する解像度）のＨＥ特徴セットが形成されるまで、（１２１０で示されるように）各解像度に対してそれぞれの損失関数で訓練されたモデルでプログレッシブに処理（例えば、アップサンプリング）し、ＨＥ特徴セットは出力層を通過し、１２１６で示されるように、充填されたＨＥサイノグラムが形成され、モデルから出力される。同様に、１２１２において、マルチスケール補間モデルの第２のデコーダアームは、ダウンサンプリングされたＬＥ特徴セットを、元の解像度（例えば、元のＬＥサイノグラムの解像度に一致する解像度）のＬＥ特徴セットが形成されるまで、（１２１４で示されるように）各解像度に対してそれぞれの損失関数で訓練されたモデルでプログレッシブに処理（例えば、アップサンプリング）し、ＬＥ特徴セットは出力層を通過し、１２１６で示されるように、充填されたＬＥサイノグラムが形成され、モデルから出力される。
【0094】
図１３は、デュアルチャネル出力のマルチスケール補間モデルの第３の例示的なアーキテクチャ１３００を概略的に示す。第３のアーキテクチャ１３００によるマルチスケール補間モデルは、エンコーダアーム１３０２と、２つのデコーダアーム（即ち、第１のデコーダアーム１３１２及び第２のデコーダアーム１３２０）とを含んでいる。エンコーダアーム１３０２は、入力として、２つのサイノグラム（例えば、ＨＥサイノグラム及びＬＥサイノグラム）であって、各サイノグラムが欠落したビューを有する２つのサイノグラムを受け取る。一部の例では、入力サイノグラムは、初期化されたサイノグラム（例えば、初期化されたＨＥサイノグラム及びＬＥサイノグラム）とすることができる。各入力サイノグラムに対して、エンコーダアーム１３０２は、図１０に示すアーキテクチャのエンコーダアームに関して上記で説明したように、入力されたサイノグラムから特徴のセットを抽出し、抽出された特徴をダウンサンプリングする。例えば、エンコーダアーム１３２において、ダウンサンプリングされた第１の特徴セット１３０４が形成され、この第１の特徴セット１３０４は、ビュー方向に２倍でダウンサンプリングされて、ダウンサンプリングされた中間の特徴セット１３０６が形成される。エンコーダアーム１３０２は、ダウンサンプリングされた中間の特徴セット１３０６をビュー方向に２倍でダウンサンプリングして、ダウンサンプリングされた最終の特徴セット１３０８を形成する。この処理は、エンコーダアーム１３０２が、ＨＥサイノグラム及びＬＥサイノグラムの両方に対して実行する。
【0095】
ダウンサンプリングされた各最終の特徴セットは、ボトルネック層１３１０を通過する。ボトルネック層１３１０からのＨＥサイノグラムに対応する出力（例えば、ＨＥサイノグラムの最もダウンサンプリングされたＨＥ特徴セット／ＨＥサイノグラムの最も低い解像度の特徴セット）は、欠落したビューのない（例えば、欠落した各ビュー／初期化された各ビューが充填されている）ダウンサンプリングされた特徴セットであり、ダウンサンプリングされた最終のＨＥ特徴セットとともに第１のデコーダアーム１３１２に渡され、ボトルネック層からの出力は、ダウンサンプリングされた最終のＨＥ特徴セットと連結されて、第１の拡張されたＨＥ特徴セット１３１４を形成する。第１のデコーダアームは、第１の拡張されたＨＥ特徴セット１３１４を２倍でアップサンプリングし、アップサンプリングされた／拡張された特徴セットをダウンサンプリングされた中間のＨＥ特徴セットと連結して、中間の拡張されたＨＥ特徴セット１３１６を形成する。第１のデコーダアームは、中間の拡張されたＨＥ特徴セット１３１６を２倍でアップサンプリングし、拡張された特徴セットをダウンサンプリングされた最初のＨＥ特徴セットと連結して、最終の拡張されたＨＥ特徴セット１３１８を形成する。最終の拡張されたＨＥ特徴セット１３１８は、出力層（例えば、１ｘ１畳み込み）を通過して、充填されたＨＥサイノグラム
が生成され、モデルによって出力される。
【数14】
【0096】
同様の処理が、第２のデコーダアーム１３２０によって実行され、充填されたＬＥサイノグラムが形成される。ボトルネック層１３１０からの出力（例えば、最もダウンサンプリングされたＬＥ特徴セット）は、欠落したビューのない（例えば、欠落した各ビュー／初期化された各ビューが充填されている）ダウンサンプリングされた特徴セットであり、ダウンサンプリングされた最終のＬＥ特徴セットとともに第２のデコーダアーム１３２０に渡され、ボトルネック層からの出力は、ダウンサンプリングされた最終のＬＥ特徴セットと連結されて、第１の拡張されたＬＥ特徴セット１３２２を形成する。第２のデコーダアームは、第１の拡張されたＬＥ特徴セット１３２２を２倍でアップサンプリングし、拡張された特徴セットをダウンサンプリングされた中間のＬＥ特徴セットと連結して、中間の拡張されたＬＥ特徴セット１３２４を形成する。第２のデコーダアームは、中間の拡張されたＬＥ特徴セット１３２４を２倍でアップサンプリングし、拡張された特徴セットをダウンサンプリングされた最初のＬＥ特徴セットと連結して、アップサンプリングされた最終のＬＥ特徴セット１３２６を形成する。アップサンプリングされた最終のＬＥ特徴セット１３２６は、出力層（例えば、１ｘ１畳み込み）を通過して、充填されたＬＥサイノグラム
が生成され、モデルによって出力される。
【数15】
【0097】
マルチスケール補間モデルの特徴抽出、特徴セットの解像度を下げるためのプログレッシブ処理／ダウンサンプリング、及び特徴セットの解像度を上げるためのプログレッシブ処理／アップサンプリングは、図１０に関して上記で説明したように、複数の損失関数を使用してマルチスケール補間モデルの訓練中に設定されるマルチスケール補間モデルの重み及びバイアスに従って実行することができる。
【0098】
第１のデコーダアーム１３１２によって出力された各サイノグラム
から計算された損失関数に加えて、損失関数は、対応するグラウンドトゥルースのサイノグラムとともに使用され、各損失関数に基づいて訓練中にモデルを更新するためのそれぞれの損失関数を計算することができ、さらなる損失関数が第２のデコーダアーム１３２０用に計算される。
【数16】
から計算された損失関数に加えて、損失関数は、対応するグラウンドトゥルースのサイノグラムとともに使用され、各損失関数に基づいて訓練中にモデルを更新するためのそれぞれの損失関数を計算することができ、さらなる損失関数が第２のデコーダアーム１３２０用に計算される。
【数17】
【0099】
Ｎレベルのダウンサンプリングを伴う第２のデコーダアーム１３２０の訓練のラウンドの全体的な損失は、以下の式に従って計算することができる。
【0100】
【数18】
【0101】
損失関数（Ｌ）は、以下の式に従って計算することができる。
【0102】
【数19】
【0103】
【数20】
【0104】
【数21】
【0105】
計算される損失は、平均絶対誤差（ＭＡＥ）／ＳＳＩＭ／スペクトル損失又は特徴損失である。
【0106】
したがって、損失関数は、出力されたサイノグラムとそれぞれのグラウンドトゥルースのサイノグラムとの間の差に基づいて、モデルの各デコーダアームによって出力される各サイノグラム／各解像度レベルに対して計算される。損失を計算するためのダウンサンプリングされたグラウンドトゥルースのサイノグラムは、グラウンドトゥルースの各サイノグラム（Ｘ，Ｙ）をダウンサンプリングすることによって生成することができる。更に、欠落したビュー／初期化されたビューのみに対して損失が計算され、取得されたビューに対して損失が計算されないように、それぞれのマスクを各損失計算中に適用して、これにより、取得された各ビューのデータを保持するようにモデルを訓練することができる。
【0107】
図１４は、本開示の実施形態に従って生成することができる複数の画像１４００を示す。複数の画像１４００は、第１の画像セット１４０２を含んでおり、これらの画像は、完全なサイノグラム（例えば、ＨＥサイノグラム及びＬＥサイノグラムのいずれのサイノグラムにも欠落したビューがない）から再構成された原画像である。第１の画像セット１４０２は、基準物質画像を含み、第１の画像１４０４は第１の基準物質に弁別され、第２の画像１４０６は第２の基準物質に弁別されている。各画像には４つの関心領域（ＲＯＩ）がマークされている。
【0108】
複数の画像１４００は更に第２の画像セット１４０８を含んでおり、この第２
の画像セット１４０８は、充填されたＨＥサイノグラム及び充填されたＬＥサイノグラムから再構成された画像を含んでおり、充填されたＨＥサイノグラム及び充填されたＬＥサイノグラムは、元々はビューが欠落していたが、本明細書で開示する方法を使用して充填されたサイノグラムであり、他のサイノグラムのデータを使用して各サイノグラムを初期化し本明細書で記載されたマルチスケール補間モデルによって欠落したビューが補間されている。第２の画像セット１４０８は、基準物質画像を含み、第３の画像１４１０は第１の基準物質に弁別され、第４の画像１４１２は第２の基準物質に弁別されている。４つのＲＯＩは各画像にマークされている。
の画像セット１４０８は、充填されたＨＥサイノグラム及び充填されたＬＥサイノグラムから再構成された画像を含んでおり、充填されたＨＥサイノグラム及び充填されたＬＥサイノグラムは、元々はビューが欠落していたが、本明細書で開示する方法を使用して充填されたサイノグラムであり、他のサイノグラムのデータを使用して各サイノグラムを初期化し本明細書で記載されたマルチスケール補間モデルによって欠落したビューが補間されている。第２の画像セット１４０８は、基準物質画像を含み、第３の画像１４１０は第１の基準物質に弁別され、第４の画像１４１２は第２の基準物質に弁別されている。４つのＲＯＩは各画像にマークされている。
【0109】
図１４から理解されるように、第２の画像セット１２０８は、第１の画像セット１４０２と同様の品質である。具体例として、第２の基準物質の画像（例えば、第２の画像１４０６及び第４の画像１４１２）におけるＲＯＩ２を見ると、ＲＯＩ２は、第２の画像１４０６（例えば、第２の基準物質の原画像）において、９９６．６の平均値及び１．８の標準偏差を有する。比較すると、第２の画像セット１４０８では、第４の画像１４１２のＲＯＩ２は、９９６．９の平均値及び１．９の標準偏差を有している。したがって、本明細書に記載されたマルチスケール補間モデルは、サイノグラムの欠落したビューを充填することができ、これは、欠落したビューのないサイノグラムから再構成された画像と同等の品質を有する画像を再構成するために使用することができる。
【0110】
図１５は、本開示の実施形態に従って生成することができる複数の画像１５００を示す。複数の画像１５００は第１の画像セット１５０２を含んでいる。第１の画像セット１５０２は、完全なサイノグラム（例えば、ＨＥサイノグラム及びＬＥサイノグラムのいずれのサイノグラムにも欠落したビューがない）から再構成された原画像である。第１の画像セット１５０２は、基準物質画像を含んでおり、第１の画像１５０４は第１の基準物質に弁別され、第２の画像１５０６は第２の基準物質に弁別されている。各画像には１つのＲＯＩがマークされている。
【0111】
複数の画像１５００は、第２の画像セット１５０８、第３の画像セット１５１４、及び第４の画像セット１５２０も含んでおり、これらの各セットは、充填されたＨＥサイノグラム及び充填されたＬＥサイノグラムから再構成された画像を含んでおり、充填されたＨＥサイノグラム及び充填されたＬＥサイノグラムは、元々はビューが欠落していたが、本明細書で開示する方法を使用して充填されたサイノグラムであり、本明細書で記載されたマルチスケール補間モデルによって欠落したビューが補間されている。しかしながら、第２、第３及び第４の画像セットの再構成に使用されるＨＥサイノグラム及びＬＥサイノグラムは、元々は、連続する欠落したビューの数が異なっていたものである。例えば、第２の画像セット１５０８は、４つの連続するビューを含む欠落したビューのグループを有する元のＨＥサイノグラム及びＬＥサイノグラムを用いて取得された、充填されたＨＥサイノグラム及び充填されたＬＥサイノグラムから再構成することができる。第３の画像セット１５１４は、２つの連続するビューを含む欠落したビューのグループを有する元のＨＥサイノグラム及びＬＥサイノグラムを用いて取得された、充填されたＨＥサイノグラム及び充填されたＬＥサイノグラムから再構成することができる。第４の画像セット１５２０は、８つの連続するビューを含む欠落したビューのグループを有する元のＨＥサイノグラム及びＬＥサイノグラムを用いて取得された、充填されたＨＥサイノグラム及び充填されたＬＥサイノグラムから再構成することができる。
【0112】
第２の画像セット１５０８は、基準物質画像を含み、第３の画像１５１０は第１の基準物質に弁別され、第４の画像１５１２は第２の基準物質に弁別されている。第３の画像セット１５１４は、基準物質画像を含み、第５の画像１５１６は第１の基準物質に弁別され、第６の画像１５１８は第２の基準物質に弁別されている。第４の画像セット１５２０は、基準物質画像を含み、第７の画像１５２２は第１の基準物質に弁別され、第８の画像１５２４は第２の基準物質に弁別されている。各画像には同じＲＯＩがマークされている。同じ元のＨＥサイノグラム及びＬＥサイノグラムを使用して、複数の画像１５００の全ての画像を取得することができ、完全なＨＥサイノグラム及びＬＥサイノグラムを使用して第１の画像セット１５０２を再構成し、完全なＨＥサイノグラム及びＬＥサイノグラムから、連続する４つのビューのグループ、連続する２つのビューのグループ、及び連続する８つのビューのグループを順に除去して、４つの欠落したビューのグループ、２つの欠落したビューのグループ、及び８つの欠落したビューのグループを有するＨＥ及びＬＥサイノグラムを作成し、これらのサイノグラムを補間し／充填して、補間された／充填されたサイノグラムを使用して、第２、第３、及び第４の画像セットを再構成できることを理解されたい。
【0113】
図１５から理解されるように、充填されたサイノグラムから再構成された画像は、事前に充填されたビュー／欠落したビューのサイノグラムから連続する何個のビューが欠落しているか（したがって、マルチスケール補間モデルによって連続する何個のビューが充填されなければならないか）にかかわらず、（欠落したビューのない完全サイノグラムから再構成された）第１の画像セット１５０２と同様の画質を有している。具体例として、第３の画像１５１０、第５の画像１５１６、及び第７の画像１５２２の各画像のＲＯＩのパラメータは、第１の画像１５０４のＲＯＩのパラメータと同様である。第１の画像１５０４のＲＯＩは、２．０の平均強度値及び２０．４の標準偏差を有し、第３の画像１５１０、第５の画像１５１６、及び第７の画像１５２２のそれぞれのＲＯＩは、１．９、０．４、及び０．５の平均強度値及び１７．１、１７．３、及び１７．８の標準偏差を有している。同様に、第４の画像１５１２、第６の画像１５１８、及び第８の画像１５２４の各画像のＲＯＩのパラメータは、第２の画像１５０６のＲＯＩのパラメータと同様である。第２の画像１５０６のＲＯＩは、８３４．９の平均強度値及び３１．１の標準偏差を有し、第４の画像１５１２、第６の画像１５１８、及び第８の画像１５２４のそれぞれのＲＯＩは、８３５．６、８３４．５、及び８３４．８の平均強度値並びに３０．８、３２．０、及び３１．２の標準偏差を有している。
【0114】
本明細書に記載されたマルチスケール補間モデルを使用して、高エネルギーサイノグラム及び低エネルギーサイノグラムであって、各サイノグラムが欠落したビューを有する高エネルギーサイノグラム及び低エネルギーサイノグラムを充填する技術的効果は、従来の補間技術に関連する画像アーチファクト又は画質劣化を発生させることなく、充填されたサイノグラムから画像を再構成することができることである。別の技術的効果は、マルチスケール補間モデルの精度、特にマルチスケール補間モデルの訓練中に使用される複数の損失関数により、充填されたサイノグラムの再構成前のダウンストリーム処理が低減又は回避されることである。
【0115】
また、本開示は方法のサポートを提供する。本方法は、撮影対象の第１のサイノグラム及び第２のサイノグラムを取得することであって、前記第１のサイノグラムは複数のビューが欠落しており、前記第２のサイノグラムは異なる複数のビューが欠落しており、前記第１のサイノグラムはスキャン中に第１のＸ線源エネルギーで取得され、前記第２のサイノグラムは前記スキャン中に異なる第２のＸ線源エネルギーで取得される、第１のサイノグラム及び第２のサイノグラムを取得すること、前記第１のサイノグラムを前記第２のサイノグラムの情報で初期化して、第１の初期化されたサイノグラムを形成すること、前記第２のサイノグラムを前記第１のサイノグラムの情報で初期化して、第２の初期化されたサイノグラムを形成すること、前記第１の初期化されたサイノグラムを、前記第１の初期化されたサイノグラムに基づいて第１の充填されたサイノグラムを出力するように訓練された補間モデルに入力し、前記第２の初期化されたサイノグラムを、前記第２の初期化されたサイノグラムに基づいて第２の充填されたサイノグラムを出力するように訓練された前記補間モデル又は別の補間モデルに入力すること、及び前記第１の充填されたサイノグラム及び前記第２の充填されたサイノグラムから１つ又は複数の画像を再構成すること
を含む。本方法の第１の実施例では、前記第１の初期化されたサイノグラムを前記補間モデルに入力し、前記第２の初期化されたサイノグラムを前記補間モデル又は別の補間モデルに入力することは、前記第１の初期化されたサイノグラム及び前記第２の初期化されたサイノグラムの両方を前記補間モデルに入力することを含み、前記補間モデルは、前記第１の充填されたサイノグラム及び前記第２の充填されたサイノグラムの両方を出力するように訓練されたデュアルチャネル出力モデルを含む。本方法の第２の実施例では、任意選択で第１の実施例を含み、前記第１の初期化されたサイノグラムを前記補間モデルに入力し、前記第２の初期化されたサイノグラムを前記補間モデル又は別の補間モデルに入力することは、前記第１の初期化されたサイノグラムを前記補間モデルに入力し、前記第２の初期化されたサイノグラムを別の補間モデルに入力することを含み、前記補間モデルは、前記第１の充填されたサイノグラムを出力するように訓練された第１の単一チャネル出力モデルを含み、別の補間モデルは、前記第２の充填されたサイノグラムを出力するように訓練された第２の単一チャネル出力モデルを含む。本方法の第３の実施例では、任意選択で、第１及び第２の実施例の一方又は両方の実施例を含み、前記第１のサイノグラムから欠落した複数のビューは、取得されたビューの複数のセットと交互に並ぶ連続する欠落したビューの複数のセットを含み、前記第１のサイノグラムを初期化することは、連続する欠落したビューの複数のセットの連続する欠落したビューの各セットに対して、前記第２のサイノグラムから相補的なビューを特定すること、前記第２のサイノグラムの相補的なビューの各ビューのサイノグラムデータをスケーリングすること、及びそれぞれのスケーリングされたサイノグラムデータで連続する欠落したビューの各セットを充填して、第１の初期化されたサイノグラムを形成することを含む。本方法の第４の実施例では、任意選択で、第１から第３の実施例のうちの１つ以上の実施例又は各実施例を含み、前記第１のサイノグラムを初期化することは、第１のサイノグラムを演算及びダウンサンプリングの第１のセットによって処理して、特徴の第１のセットを生成することであって、特徴の第１のセットは、前記第１のサイノグラムに対応する高次元の特徴を含む、特徴の第１のセットを生成すること、前記第２のサイノグラムを演算及びダウンサンプリングの第２のセットによって処理して、特徴の第２のセットを生成することであって、特徴の第２のセットは、前記第２のサイノグラムに対応する高次元の特徴を含む、特徴の第２のセットを生成すること、特徴の第１のセットと特徴の第２のセットを混合して、混合された特徴のセットを形成すること、及び混合された特徴のセットをアップサンプリングして、前記第１の初期化されたサイノグラムを形成することを含む。本方法の第５の実施例では、任意選択で第１から第４の実施例のうちの１つ以上の実施例又は各実施例を含み、前記補間モデルは、処理された最終の特徴セットが形成されるまで、前記第１の初期化されたサイノグラムから抽出された特徴をプログレッシブに処理するように構成されたエンコーダアームを含む。本方法の第６の実施例では、任意選択で第１から第５の実施例のうちの１つ以上の実施例又は各実施例を含み、前記補間モデルが、ボトルネック層又は超解像層を更に含む。本方法の第７の実施例では、任意選択で、第１から第６の実施例のうちの１つ以上の実施例又は各実施例を含み、前記補間モデルは、最終の拡張された特徴セットが形成されるまで、処理された最終の特徴セットをプログレッシブに処理するように構成されたデコーダアームを更に含み、前記最終の拡張された特徴セットが出力層を通過して、前記第１の充填されたサイノグラムを形成する。本方法の第８の実施例では、任意選択で、第１から第７の実施例のうちの１つ以上の実施例又は各実施例を含み、前記エンコーダアームは、処理された各特徴セットを前記デコーダアームに渡すように構成され、前記デコーダアームは、処理された各特徴セットを用いて、処理された最終の特徴セットをプログレッシブに処理するように構成される。本方法の第９の実施例では、任意選択で、第１から第８の実施例のうちの１つ以上の実施例又は各実施例を含み、前記補間モデルは、複数の損失関数を用いて訓練され、各損失関数は、前記デコーダアームのプログレッシブ処理のそれぞれの段階において、前記デコーダアームの出力から計算される。
を含む。本方法の第１の実施例では、前記第１の初期化されたサイノグラムを前記補間モデルに入力し、前記第２の初期化されたサイノグラムを前記補間モデル又は別の補間モデルに入力することは、前記第１の初期化されたサイノグラム及び前記第２の初期化されたサイノグラムの両方を前記補間モデルに入力することを含み、前記補間モデルは、前記第１の充填されたサイノグラム及び前記第２の充填されたサイノグラムの両方を出力するように訓練されたデュアルチャネル出力モデルを含む。本方法の第２の実施例では、任意選択で第１の実施例を含み、前記第１の初期化されたサイノグラムを前記補間モデルに入力し、前記第２の初期化されたサイノグラムを前記補間モデル又は別の補間モデルに入力することは、前記第１の初期化されたサイノグラムを前記補間モデルに入力し、前記第２の初期化されたサイノグラムを別の補間モデルに入力することを含み、前記補間モデルは、前記第１の充填されたサイノグラムを出力するように訓練された第１の単一チャネル出力モデルを含み、別の補間モデルは、前記第２の充填されたサイノグラムを出力するように訓練された第２の単一チャネル出力モデルを含む。本方法の第３の実施例では、任意選択で、第１及び第２の実施例の一方又は両方の実施例を含み、前記第１のサイノグラムから欠落した複数のビューは、取得されたビューの複数のセットと交互に並ぶ連続する欠落したビューの複数のセットを含み、前記第１のサイノグラムを初期化することは、連続する欠落したビューの複数のセットの連続する欠落したビューの各セットに対して、前記第２のサイノグラムから相補的なビューを特定すること、前記第２のサイノグラムの相補的なビューの各ビューのサイノグラムデータをスケーリングすること、及びそれぞれのスケーリングされたサイノグラムデータで連続する欠落したビューの各セットを充填して、第１の初期化されたサイノグラムを形成することを含む。本方法の第４の実施例では、任意選択で、第１から第３の実施例のうちの１つ以上の実施例又は各実施例を含み、前記第１のサイノグラムを初期化することは、第１のサイノグラムを演算及びダウンサンプリングの第１のセットによって処理して、特徴の第１のセットを生成することであって、特徴の第１のセットは、前記第１のサイノグラムに対応する高次元の特徴を含む、特徴の第１のセットを生成すること、前記第２のサイノグラムを演算及びダウンサンプリングの第２のセットによって処理して、特徴の第２のセットを生成することであって、特徴の第２のセットは、前記第２のサイノグラムに対応する高次元の特徴を含む、特徴の第２のセットを生成すること、特徴の第１のセットと特徴の第２のセットを混合して、混合された特徴のセットを形成すること、及び混合された特徴のセットをアップサンプリングして、前記第１の初期化されたサイノグラムを形成することを含む。本方法の第５の実施例では、任意選択で第１から第４の実施例のうちの１つ以上の実施例又は各実施例を含み、前記補間モデルは、処理された最終の特徴セットが形成されるまで、前記第１の初期化されたサイノグラムから抽出された特徴をプログレッシブに処理するように構成されたエンコーダアームを含む。本方法の第６の実施例では、任意選択で第１から第５の実施例のうちの１つ以上の実施例又は各実施例を含み、前記補間モデルが、ボトルネック層又は超解像層を更に含む。本方法の第７の実施例では、任意選択で、第１から第６の実施例のうちの１つ以上の実施例又は各実施例を含み、前記補間モデルは、最終の拡張された特徴セットが形成されるまで、処理された最終の特徴セットをプログレッシブに処理するように構成されたデコーダアームを更に含み、前記最終の拡張された特徴セットが出力層を通過して、前記第１の充填されたサイノグラムを形成する。本方法の第８の実施例では、任意選択で、第１から第７の実施例のうちの１つ以上の実施例又は各実施例を含み、前記エンコーダアームは、処理された各特徴セットを前記デコーダアームに渡すように構成され、前記デコーダアームは、処理された各特徴セットを用いて、処理された最終の特徴セットをプログレッシブに処理するように構成される。本方法の第９の実施例では、任意選択で、第１から第８の実施例のうちの１つ以上の実施例又は各実施例を含み、前記補間モデルは、複数の損失関数を用いて訓練され、各損失関数は、前記デコーダアームのプログレッシブ処理のそれぞれの段階において、前記デコーダアームの出力から計算される。
【0116】
また、本開示は、イメージングシステムもサポートする。本イメージングシステムは、撮影される被検体に向けてＸ線ビームを照射するＸ線源、前記被検体によって減衰したＸ線ビームを受け取る検出器、前記検出器に動作可能に接続されたデータ収集システム（ＤＡＳ）、及び命令を記憶するメモリ及び前記命令を実行するように構成された１つ又は複数のプロセッサを含み、前記命令は、前記ＤＡＳから前記被検体の第１のサイノグラム及び第２のサイノグラムを取得することであって、前記第１のサイノグラムは複数のビューが欠落しており、前記第２のサイノグラムは異なる複数のビューが欠落しており、前記第１のサイノグラムはスキャン中に第１のＸ線源エネルギーで動作する前記Ｘ線源で取得され、前記第２のサイノグラムは前記スキャン中に異なる第２のＸ線源エネルギーで動作する前記Ｘ線源で取得される、第１のサイノグラム及び第２のサイノグラムを取得すること、前記第１のサイノグラムを前記第２のサイノグラムの情報で初期化して、第１の初期化されたサイノグラムを形成すること、前記第２のサイノグラムを前記第１のサイノグラムの情報で初期化して、第２の初期化されたサイノグラムを形成すること、前記第１の初期化されたサイノグラムを、前記第１の初期化されたサイノグラムに基づいて第１の充填されたサイノグラムを出力するように訓練された補間モデルに入力すること、前記第２の初期化されたサイノグラムを、前記第２の初期化されたサイノグラムに基づいて第２の充填されたサイノグラムを出力するように訓練された前記補間モデル又は別の補間モデルに入力すること、及び前記第１の充填されたサイノグラム及び前記第２の充填されたサイノグラムから１つ又は複数の画像を再構成することを実行するための命令である。システムの第１の実施例では、前記第１のサイノグラムから欠落した複数のビューは、取得されたビューの複数のセットと交互に並ぶ連続する欠落したビューの複数のセットを含み、前記第１のサイノグラムを初期化することは、前記第１の初期化されたサイノグラムは、取得されたビューの複数のセットと交互に並ぶ連続する初期化されたビューの複数のセットを含むように、前記第２のサイノグラムの情報を前記第１のサイノグラムの欠落した各ビューに加えることを含む。システムの第２の実施例では、任意選択で第１の実施例を含み、前記補間モデルは、前記第１の初期化されたサイノグラムから抽出された特徴を、複数の処理段階を通じてプログレッシブに処理して、連続する初期化されたビューの各セットが１つの初期化されたビューのみを含む処理された最終の特徴セットを形成すること、及び最終の拡張された特徴セットが形成され、出力層を通過して、前記第１の充填されたサイノグラムが形成されるまで、他の複数の処理段階を通じて、前記処理された最終の特徴セットをプログレッシブに処理する。システムの第３の実施例では、任意選択で第１及び第２の実施例の一方又は両方の実施例を含み、前記補間モデルは複数の損失関数で訓練され、各損失関数は、それぞれの他の処理段階で計算される。
【0117】
また、本開示は方法もサポートする。本方法は、撮影対象の第１のサイノグラム及び第２のサイノグラムを取得することであって、前記第１のサイノグラムは複数のビューが欠落しており、前記第２のサイノグラムは異なる複数のビューが欠落しており、前記第１のサイノグラムはスキャン中に第１のＸ線源エネルギーで取得され、前記第２のサイノグラムは前記スキャン中に異なる第２のＸ線源エネルギーで取得される、第１のサイノグラム及び第２のサイノグラムを取得すること、前記第１のサイノグラムに基づいて、第１の充填されたサイノグラムを出力するように訓練された補間モデルから第１の充填されたサイノグラム出力を取得することであって、前記補間モデルは、前記第１のサイノグラムから欠落している複数のビューの各ビューを充填するために、複数の段階の補間を実行するように構成され、前記補間モデルは、各段階でそれぞれの損失関数で訓練される、第１の充填されたサイノグラム出力を取得すること、前記第２のサイノグラムに基づいて、第２の充填されたサイノグラムを出力するように訓練された前記補間モデル又は別の補間モデルから出力された第２の充填されたサイノグラムを取得すること、及び前記第１の充填されたサイノグラムと前記第２の充填されたサイノグラムから１つ又は複数の画像を再構成すること
を含む。本方法の第１の実施例では、前記第１のサイノグラムから欠落した複数のビューは、取得されたビューの複数のセットと交互に並ぶ連続する欠落したビューの複数のセットを含み、前記補間モデルは、連続する欠落したビューの各セットが１つの欠落したビューのみを含む最も低い解像度で前記第１のサイノグラムから抽出された特徴を受け取り、欠落した各ビューがデータで充填される高解像度でアップサンプリングされた特徴セットを出力するように構成された超解像層を含む。本方法の第２の実施例では、任意選択で第一の実施例を含み、前記第２の充填されたサイノグラムを取得することは、前記補間モデルから前記第２の充填されたサイノグラムの出力を取得することを含み、前記補間モデルは、前記第１の充填されたサイノグラムと前記第２の充填されたサイノグラムとの両方を出力するように訓練されたデュアルチャネル出力モデルを含む。本方法の第３の実施例では、任意選択で第１及び第２の実施例の一方又は両方の実施例を含み、前記補間モデルは、エンコーダアーム、第１のデコーダアーム、及び第２のデコーダアームを含み、前記第１のデコーダアームは、前記第１の充填されたサイノグラムを出力するように構成され、前記第２のデコーダアームは、前記第２の充填されたサイノグラムを出力するように構成される。本方法の第４の実施例では、任意選択で第１から第３の実施例のうちの１つ以上の実施例又は各実施例を含み、前記エンコーダアームは、前記第１のサイノグラムを初期化することにより得られたサイノグラムと、前記第２のサイノグラムを初期化することにより得られたサイノグラムとを入力として受け取ること、複数の処理段階を通じて、前記第１のサイノグラムを初期化することにより得られたサイノグラムから抽出された特徴の第１のセットをプログレッシブに処理して、前記第１のサイノグラムの特徴の処理された各第１のセットを前記第１のデコーダアームに渡すこと、及び前記複数の処理段階を通じて、前記第２のサイノグラムを初期化することにより得られたサイノグラムから抽出された特徴の第２のセットをプログレッシブに処理して、前記第２のサイノグラムの特徴の処理された各第２のセットを前記第２のデコーダアームに渡すことを実行するように構成される。本方法の第５の実施例では、任意選択で第１から第４の実施例のうちの１つ以上の実施例又は各実施例を含み、本方法は、前記第１のサイノグラムと前記第２のサイノグラムの特徴レベル混合を実行することによって、又は前記第２のサイノグラムのスケーリングされたサイノグラムデータを前記第１のサイノグラムに追加することによって、前記第１のサイノグラムを初期化することにより得られたサイノグラムを生成することと、前記第２のサイノグラムと前記第１のサイノグラムの特徴レベル混合を実行することによって、又は前記第１のサイノグラムのスケーリングされたサイノグラムデータを前記第２のサイノグラムに追加することによって、前記第２のサイノグラムを初期化することにより得られたサイノグラムを生成することとを更に含む。
を含む。本方法の第１の実施例では、前記第１のサイノグラムから欠落した複数のビューは、取得されたビューの複数のセットと交互に並ぶ連続する欠落したビューの複数のセットを含み、前記補間モデルは、連続する欠落したビューの各セットが１つの欠落したビューのみを含む最も低い解像度で前記第１のサイノグラムから抽出された特徴を受け取り、欠落した各ビューがデータで充填される高解像度でアップサンプリングされた特徴セットを出力するように構成された超解像層を含む。本方法の第２の実施例では、任意選択で第一の実施例を含み、前記第２の充填されたサイノグラムを取得することは、前記補間モデルから前記第２の充填されたサイノグラムの出力を取得することを含み、前記補間モデルは、前記第１の充填されたサイノグラムと前記第２の充填されたサイノグラムとの両方を出力するように訓練されたデュアルチャネル出力モデルを含む。本方法の第３の実施例では、任意選択で第１及び第２の実施例の一方又は両方の実施例を含み、前記補間モデルは、エンコーダアーム、第１のデコーダアーム、及び第２のデコーダアームを含み、前記第１のデコーダアームは、前記第１の充填されたサイノグラムを出力するように構成され、前記第２のデコーダアームは、前記第２の充填されたサイノグラムを出力するように構成される。本方法の第４の実施例では、任意選択で第１から第３の実施例のうちの１つ以上の実施例又は各実施例を含み、前記エンコーダアームは、前記第１のサイノグラムを初期化することにより得られたサイノグラムと、前記第２のサイノグラムを初期化することにより得られたサイノグラムとを入力として受け取ること、複数の処理段階を通じて、前記第１のサイノグラムを初期化することにより得られたサイノグラムから抽出された特徴の第１のセットをプログレッシブに処理して、前記第１のサイノグラムの特徴の処理された各第１のセットを前記第１のデコーダアームに渡すこと、及び前記複数の処理段階を通じて、前記第２のサイノグラムを初期化することにより得られたサイノグラムから抽出された特徴の第２のセットをプログレッシブに処理して、前記第２のサイノグラムの特徴の処理された各第２のセットを前記第２のデコーダアームに渡すことを実行するように構成される。本方法の第５の実施例では、任意選択で第１から第４の実施例のうちの１つ以上の実施例又は各実施例を含み、本方法は、前記第１のサイノグラムと前記第２のサイノグラムの特徴レベル混合を実行することによって、又は前記第２のサイノグラムのスケーリングされたサイノグラムデータを前記第１のサイノグラムに追加することによって、前記第１のサイノグラムを初期化することにより得られたサイノグラムを生成することと、前記第２のサイノグラムと前記第１のサイノグラムの特徴レベル混合を実行することによって、又は前記第１のサイノグラムのスケーリングされたサイノグラムデータを前記第２のサイノグラムに追加することによって、前記第２のサイノグラムを初期化することにより得られたサイノグラムを生成することとを更に含む。
【0118】
本明細書において、単数形で記載され、単語「１つの（ａ）」又は「１つの（ａｎ）」が先行する要素又はステップは、除外することが明示的に記載されていない限り、複数の要素又はステップを除外しないものとして理解されるべきである。更に、本発明の「一実施形態」に言及することは、記載された特徴も組み込んだ追加の実施形態の存在を除外するものとして解釈されることを意図するものではない。更に、反対のことを明示的に述べない限り、特定の特性を有する１つの要素又は複数の要素を「含む、有する、備える（comprising）」、「含む、有する、備える（including）」、又は「含む、有する、備える（having）」実施形態は、当該特性を有していない追加の要素を含むことができる。用語 「including」及び「in which」は、それぞれの用語「comprising」及び「wherein」の平易な文言の均等語として使用されている。更に、用語「第１の」、「第２の」、及び「第３の」などは、単にラベルとして使用され、物体に対して数値要件又は特定の位置的順位を課すことを意図するものではない。
【0119】
ここに記載された説明は、実施例を用いて本発明（最良の態様を含む）を開示し、また、当業者が本発明を実施すること（任意の装置又はシステムを製造すること及び使用すること、並びに組み込まれた任意の方法を実行することを含む）ができるようにするものである。本発明の特許可能な範囲は、特許請求の範囲によって画定され、当業者に思い浮かぶ他の実施例を含むことができる。そのような他の実施例は、特許請求の範囲の文言と異なっていない構造要素を含む場合、又は特許請求の範囲の文言と実質的に異なっていない均等な構造要素を含む場合、特許請求の範囲に含まれることが意図される。
【符号の説明】
【0120】
１０４ Ｘ線源
１０８ 検出器アレイ
２１４ ＤＡＳ
２１６ コンピューティング装置
１００２ エンコーダアーム
１０１０ ボトルネック層
１０１２ デコーダアーム
１１１０ 超解像層
１０８ 検出器アレイ
２１４ ＤＡＳ
２１６ コンピューティング装置
１００２ エンコーダアーム
１０１０ ボトルネック層
１０１２ デコーダアーム
１１１０ 超解像層
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
