特許 7459243 １以上のニューラルネットワークとしての画像形成のモデル化による画像再構成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-22

(45)【発行日】2024-04-01

(54)【発明の名称】１以上のニューラルネットワークとしての画像形成のモデル化による画像再構成

(51)【国際特許分類】

   G01T 1/161 20060101AFI20240325BHJP

   G06T 1/40 20060101ALI20240325BHJP

   A61B 6/03 20060101ALI20240325BHJP

【ＦＩ】

G01T1/161 C

G06T1/40

A61B6/03 550F

A61B6/03 560T

A61B6/03 577

G01T1/161 B

【請求項の数】 15

(21)【出願番号】P 2022521029

(86)(22)【出願日】2019-10-09

(65)【公表番号】

(43)【公表日】2022-12-15

(86)【国際出願番号】 US2019055293

(87)【国際公開番号】W WO2021071476

(87)【国際公開日】2021-04-15

【審査請求日】2022-06-16

【前置審査】

(73)【特許権者】

【識別番号】593063105

【氏名又は名称】シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド

【氏名又は名称原語表記】Ｓｉｅｍｅｎｓ Ｍｅｄｉｃａｌ Ｓｏｌｕｔｉｏｎｓ ＵＳＡ，Ｉｎｃ．

(74)【代理人】

【識別番号】110003317

【氏名又は名称】弁理士法人山口・竹本知的財産事務所

(74)【代理人】

【識別番号】100075166

【弁理士】

【氏名又は名称】山口 巖

(74)【代理人】

【識別番号】100133167

【弁理士】

【氏名又は名称】山本 浩

(74)【代理人】

【識別番号】100169627

【弁理士】

【氏名又は名称】竹本 美奈

(72)【発明者】

【氏名】マサネス バシ，フランチェスク アッシジ

【審査官】後藤 昌夫

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０３７２１９３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０３００９０７（ＵＳ，Ａ１）

【文献】特開２０１９－０３２２１１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０１８２９２８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０３３０２３３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｔ １／１６１－１／１６６

Ａ６１Ｂ ６／００－６／５８

Ａ６１Ｂ ５／０５５

Ｇ０６Ｔ １／００－１／４０

Ｇ０６Ｔ ３／００－５／５０

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ３／０２

(57)【特許請求の範囲】

【請求項1】

画像再構成のためのシステム（１０１）であって、
コンピュータ可読プログラムコードを記憶するための１以上の非一時的なコンピュータ可読媒体（１０５）、及び、
前記１以上の非一時的なコンピュータ可読媒体（１０５）と通信するプロセッサ（１０４）、
を備え、
前記プロセッサ（１０４）は、
前記コンピュータ可読媒体（１０５）から、関心対象の現在の画像データを取得するために使用される撮像のモダリティに依存する画像形成の物理に基づいて構成され、散乱補正のモデル化を含む１以上のニューラルネットワーク（４１０、５００）を受け取ること、
前記コンピュータ可読媒体（１０５）から受け取られた前記１以上のニューラルネットワーク（４１０、５００）を、取得されたテスト画像データを使用して、最適化する（２０４）こと、
前記モダリティにより撮像された前記関心対象の前記現在の画像データを取得すること、及び、
前記テスト画像データを使用して最適化された、前記１以上のニューラルネットワーク（４１０、５００）への入力として取得した前記現在の画像データを適用することによって、前記関心対象の出力画像を再構成する（２０８）こと、
を含むステップを実行するように、前記コンピュータ可読プログラムコードを用いて作動する、
システム（１０１）。

【請求項2】

前記撮像のモダリティがＳＰＥＣＴを含む、前記コンピュータ可読プログラムコードを用いて作動する
請求項１に記載のシステム（１０１）。

【請求項3】

前記１以上のニューラルネットワーク（４１０、５００）は、更に、回転補正、点拡がり関数（ＰＳＦ）フィルタリングエラー補正、散乱補正、減衰補正、運動補正、頭部のミスアライメントの補正、またはそれらの組合わせ、をモデル化したものである、
請求項１に記載のシステム（１０１）。

【請求項4】

前記プロセッサ（１０４）は、減衰補正のための前記１以上のニューラルネットワーク（４１０、５００）の少なくとも１つの重みを更新することによって、前記１以上のニューラルネットワーク（４１０、５００）を構成するように、前記コンピュータ可読プログラムコードを用いて作動する、
請求項１に記載のシステム（１０１）。

【請求項5】

前記プロセッサ（１０４）は、回転関数（４０２）に基づき前記１以上のニューラルネットワーク（４１０、５００）の少なくとも１つの重みを初期化することによって前記１以上のニューラルネットワーク（４１０、５００）を構成するように、前記コンピュータ可読プログラムコードを用いて作動する、
請求項１に記載のシステム（１０１）。

【請求項6】

前記プロセッサ（１０４）は、前記１以上のニューラルネットワーク（４１０、５００）のうちの少なくとも１つに、動きの補正をモデル化する少なくとも１つの最終層（４２０）を提供することによって、前記１以上のニューラルネットワーク（４１０、５００）を構成するように、前記コンピュータ可読プログラムコードを用いて作動する、
請求項１に記載のシステム（１０１）。

【請求項7】

前記プロセッサ（１０４）は、前記１以上のニューラルネットワーク（４１０、５００）のうちの少なくとも１つに、頭部のミスアライメント補正をモデル化する少なくとも１つの最終層（４３０）を提供することによって、前記１以上のニューラルネットワーク（４１０、５００）を構成するように、前記コンピュータ可読プログラムコードを用いて作動する、
請求項１に記載のシステム（１０１）。

【請求項8】

前記プロセッサ（１０４）は、ＰＳＦフィルタリングエラー補正のための前記１以上のニューラルネットワーク（４１０、５００）のうちの少なくとも１つの重みを更新することによって、前記１以上のニューラルネットワーク（４１０、５００）を構成するように、前記コンピュータ可読プログラムコードを用いて作動する、
請求項１に記載のシステム（１０１）。

【請求項9】

前記プロセッサ（１０４）は、勾配降下最適化を行うことによって、前記１以上の受け取られたニューラルネットワーク（４１０、５００）を最適化するように、前記コンピュータ可読プログラムコードを用いて作動する、
請求項１に記載のシステム（１０１）。

【請求項10】

前記プロセッサ（１０４）は、前記１以上の受け取られたニューラルネットワーク（４１０、５００）を介して入力データを反復的に伝播させて出力データを生成させること、取得したテスト画像データと前記出力データを比較すること、及び、前記出力データと前記取得したテスト画像データの間の差分を前記１以上の受け取られたニューラルネットワーク（４１０、５００）を介して逆伝播させること、によって、前記勾配降下最適化を行うように、前記コンピュータ可読プログラムコードを用いて作動する
請求項９に記載のシステム（１０１）。

【請求項11】

前記プロセッサ（１０４）は、ディープラーニング技術を用いて、前記１以上の受け取られたニューラルネットワーク（４１０、５００）内の重みを再訓練するように、前記コンピュータ可読プログラムコードを用いて作動する、
請求項１０に記載のシステム（１０１）。

【請求項12】

前記プロセッサ（１０４）は、反復内最適化を実行することによって前記１以上の受け取られたニューラルネットワーク（４１０、５００）を最適化するように、前記コンピュータ可読プログラムコードを用いて作動する、
請求項１に記載のシステム（１０１）。

【請求項13】

コンピュータに実装された画像再構成の方法（２００）であって、
プロセッサ（１０４）が、コンピュータ可読媒体（１０５）から、関心対象の現在の画像データを取得するために使用される撮像のモダリティに依存する画像形成の物理に基づいて構成され、散乱補正のモデル化を含む１以上のニューラルネットワーク（４１０、５００）を受け取ること、
前記プロセッサ（１０４）が、前記コンピュータ可読媒体（１０５）から受け取られた前記１以上のニューラルネットワーク（４１０、５００）を、取得されたテスト画像データを使用して、最適化する（２０４）こと、
前記プロセッサ（１０４）が、前記モダリティにより撮像された前記関心対象の前記現在の画像データを取得すること、及び、
前記プロセッサ（１０４）が、前記テスト画像データを使用して最適化された、前記１以上のニューラルネットワーク（４１０、５００）への入力として取得した前記現在の画像データを適用することによって、前記関心対象の出力画像を再構成する（２０８）こと、
を含む方法（２００）。

【請求項14】

前記１以上のニューラルネットワーク（４１０、５００）は、更に、回転補正、点拡がり関数（ＰＳＦ）フィルタリングエラー補正、散乱補正、減衰補正、運動補正、頭部のミスアライメントの補正、またはこれらの組合せ、をモデル化するものである、
請求項１３に記載の方法（２００）。

【請求項15】

前記１以上のニューラルネットワーク（４１０、５００）を構成すること（２０２）が、回転関数（４０２）に基づいて、前記１以上のニューラルネットワーク（４１０、５００）のうちの少なくとも１つの重みを初期化すること、を含む、
請求項１３に記載の方法（２００）。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、広く、画像処理に関するものであり、より詳細には、１以上のニューラルネットワークとしての画像形成のモデル化に基づく画像再構成に関するものである。

【背景技術】

【0002】

単一光子放射断層撮影（英：Single Photon Emission Computed Tomography（ＳＰＥＣＴ））は、広く用いられている核医学的な断層撮影技術である。ＳＰＥＣＴ撮影のためには、まずガンマエミッタ標識された薬剤を対象に与える。その後、ガンマカメラという外部の装置を使って、１つまたは複数の画角から、身体に由来する放射能を検出する。１つの画角で得られた平面画像は、３次元（３Ｄ）分布の２次元（２Ｄ）の検出面への投影である。対象における放射性線源分布の３Ｄ画像は、対象の周囲の角度の範囲にわたって取得された一連の平面画像を使用することによって、再構成され得る。

【0003】

ＳＰＥＣＴ画像再構成を行うための様々な技術が存在する。１つの技術は、逐次再構成を含んでおり、それは、通常想定画像から始まり、画像から投影を計算し、元の投影データを比較し、計算された投影と実際の投影の間の差分に基づいて画像を更新する。このアプローチでは、システムは確率の線形演算子としてモデル化されており、当該確率は、再構成において考慮されるであろう全ての画像形成効果、即ち、カメラ又は身体の回転、減衰、及び、フラッド補正（英：flood correction）さえも、を包含する。この手法は計算的に集約的である。なぜなら、それは、再構成の繰り返しごとに各視野に対する投影演算子の再計算を必要とするからであり、その理由は、確率のリストは、他の方法では保存するには大きすぎるからである。

【0004】

もう１つの一般的な技術は機械学習に基づいている。機械学習ベースのＳＰＥＣＴ画像再構成は、通常、ニューラルネットワーク構造を定義し、次いで、再構成精度を向上させるために層の重みを最適化するために構造を訓練することによって、問題をモデル化する。ＳＰＥＣＴ再構成のための深部学習（ディープラーニング）の現在のアプローチは、ネットワークの設計が画像形成モデルの物理と何も関係しない、他の科学分野のための深部学習と同じである。

【発明の概要】

【0005】

ここで記述するのは、１つ以上のニューラルネットワーク（英：neural network (ＮＮ)）としてのモデリングイメージフォーメーションに基づく画像再構成のためのシステムと方法である。１つの観点に従って、１つ以上のニューラルネットワークが、画像形成の物理に基づいて構成される。１つ以上のニューラルネットワークは、取得したテスト画像データを用いて、最適化されている。そして、出力画像は、１つ以上の最適化されたニューラルネットワークへの入力として、現在の画像データを適用することによって、再構成され得る。

【0006】

本開示およびその付随する態様の多くをより完全に理解することは、以下の詳細な記述を、添付の図表と関連づけて考慮して、参照することにより、同じことがよりよく理解されるようになるにつれて、容易に得られるであろう。

【図面の簡単な説明】

【0007】

【図1】図１は、例示的なシステムを説明するブロック図である。

【0008】

【図2】図２は、コンピュータシステムによって実施される例示的な画像再構成方法を示す。

【0009】

【図3】図３は、例示的なＳＰＥＣＴ画像形成を説明する。

【0010】

【図4a】図４ａは、例示的なニューラルネットワークを示す。

【0011】

【図4b】図４ｂは、例示的なシンプルローテーションを示す。

【0012】

【図4c】図４ｃは、運動補正をモデル化する例示的な畳み込み層を示す。

【0013】

【図4d】図４ｄは、運動補正のモデリングを説明する。

【0014】

【図4e】図４ｅは、頭部の位置ずれ補正をモデル化する例示的な畳み込み層を示す。

【0015】

【図4f】図４ｆは、点拡がり関数（ＰＳＦ）フィルタリング補正の例示的なモデリングを説明する。

【0016】

【図5】図５は、ＳＰＥＣＴ画像再構成のための例示的なニューラルネットワークアーキテクチャを示す。

【0017】

【図6】図６は、ニューラルネットワーク最適化の例示的な方法を示す。

【発明を実施するための形態】

【0018】

以下の説明では、本枠組みの実装を十分に理解するために、具体的な構成要素、装置、方法等の例など、数多くの具体的な詳細を述べる。しかしながら、当業者にとっては、これらの具体的な詳細が本枠組みの実施を実施するために採用しなくてもよいことは明らかであろう。他の例では、本フレームワークの実装を不必要に不明瞭にすることを避けるために、周知の材料または方法を詳細に説明してはいない。本フレームワークは、様々な変更および代替形態の影響を受ける余地があるが、その特定の実施は、図中の例によって示され、本明細書中で詳細に記述される。しかしながら、開示された特定の形態に発明を限定する意図はなく、逆に、意図は本発明の精神及び範囲内にある全ての修正、等価物、及び代替物を網羅することであることを理解すべきである。さらに、理解を容易にするために、ある方法ステップは別々のステップとして描かれ、しかしながら、これらの別々に描かれたステップは、それらのパフォーマンスに依存する必要な指示として解釈されるべきではない。

【0019】

本明細書中で使用される用語「Ｘ線画像」は、（例えば、ビデオ画面上に表示される）目に見えるＸ線画像、または、Ｘ線画像のデジタル表現（例えば、Ｘ線検出器のピクセル出力に対応するファイル）、を意味することができる。本明細書で使用される用語「治療中のＸ線画像」は、放射線源がオンまたはオフのいずれかである時間を含むことができる、介入手順または治療手順の治療提供段階の間の任意の時点で取得された画像、に言及してもよい。時間ごとに、記述の便宜のために、ＣＴ撮像データ（例えば、コーンビームＣＴ（英：cone-beam CT）撮像データ）が、例示的な撮像モダリティとして、本明細書中で使用されることがある。しかしながら、Ｘ線撮影、ＭＲＩ（磁気共鳴画像法）、ＰＥＴ（陽電子放出断層撮影）、ＰＥＴ－ＣＴ（コンピュータ断層撮影）、ＳＰＥＣＴ（単一光子放出コンピュータ断層撮影）、ＳＰＥＣＴ－ＣＴ、ＭＲ－ＰＥＴ、３Ｄ超音波画像などを含むがこれらに限定されない、任意のタイプの画像モダリティからのデータも、様々な実装の中で使用され得ることが認識されるであろう。

【0020】

以下の議論から明らかなように、明記されない限り、「分割（英：segmenting）」、「生成（英：generating）」、「登録（英：registering）」、「決定（英：determining）」、「整列（英：aligning）」、「位置決め（英：positioning）」、「処理（英：processing）」、「演算（英：computing）」、「選択（英：selecting）」、「推定（英：estimating）」、「検出（英：detecting）」、「追跡（英：tracking）」などの用語は、コンピュータシステム、または類似の電子計算装置の作用およびプロセスに言及することができ、それらは、コンピュータシステムのレジスタやメモリ内で物理的（例えば、電子的）量として表されたデータを、コンピュータシステムのメモリ、又は、レジスタ、又は、その他のその種の情報ストレージ、伝送又は表示装置、内で物理量として同様に表される他のデータへと、操作及び変換する。本明細書に記載される方法の実施形態は、コンピュータソフトウェアを用いて実装され得る。認識された基準に適合するプログラミング言語で書かれた場合、方法を実行するように設計された一連の命令は、様々なハードウェアプラットフォーム上での実行のため及び様々なオペレーティングシステムへのインターフェースのために、コンパイルされ得る。さらに、本フレームワークの実装は、特定のプログラミング言語を参照して説明されていない。様々なプログラミング言語が使用され得ることが認識されるであろう。

【0021】

本明細書で使用されるように、「画像」という用語は、離散画像要素（例えば、２Ｄ画像のためのピクセル（英：pixel）、３Ｄ画像のためのボクセル（英：voxel）、４Ｄデータセットのためのドクセル（英：doxel））で構成される多次元データを指す。画像は、例えば、ＣＴ（コンピュータ断層撮影（英：computed tomography））、ＭＲＩ（磁気共鳴画像（英：magnetic resonance imaging））、超音波、またはその他の当業者にとって公知の任意の医用画像システムによって収集された、被験体の医用画像であってもよい。画像は、例えば、遠隔センシングシステム、電子顕微鏡検査などの、非医学的状況から提供されてもよい。画像は、Ｒ³からＲへの関数、またはＲ³へのマッピングと考えることができるが、本方法は、そのような画像に限定されるものではなく、任意の次元の画像、例えば、２Ｄ画像、３Ｄ体積または４Ｄデータセット、に適用することができる。２次元又は３次元画像の場合、画像の領域は、通常は２次元又は３次元の長方形アレイであり、ここで、各画素又はボクセルは、２又は３の相互に直交する軸のセットを参照して、アドレス指定することができる。本明細書中で使用される用語「デジタルの」および「デジタル化された」は、必要に応じて、デジタルのまたはデジタル化されたフォーマットにおいて、デジタル取得システムを介して、または、アナログ画像からの変換を介して、取得される、画像または体積を意味する。

【0022】

２Ｄ撮像および画像表示に関して従来使用されている、画素のための用語「ピクセル」、３Ｄ撮像に関してしばしば使用される、ボリューム画像要素のための用語「ボクセル」、および４Ｄデータセットのための用語「ドクセル」は、交換可能に使用され得る。３Ｄボリューム画像は、それ自体、２Ｄセンサアレイ上の複数のピクセルとして得られた複数の画像から合成され、何らかの画角からの２Ｄ画像として表示されることに留意されたい。したがって、２Ｄの画像処理および画像解析技術を、３Ｄボリューム画像に対して、適用することができる。以下の記述では、ドクセル上で操作すると記述される技術は、表示のために２Ｄピクセルデータの形式で保存及び表現される３Ｄボクセルデータ上で操作するものとして、代替的に記述されることがある。同様に、ボクセルデータ上で操作する技術は、ピクセル上で操作すると記述することもできる。以下の説明では、変数ｘは、特定の空間的位置での対象画像要素を示すために、または、代替的に考慮される対象ピクセルを示すために、使用される。「対象画素」、「対象ボクセル」および「対象ドクセル」なる倒語は、本明細書に記載される技術を用いて操作される際に、特定の画像要素を示すために使用される。

【0023】

本フレームワークの一態様は、画像形成の物理を使用して１つ以上のニューラルネットワークを定義する。現在の枠組みと従来の方法の間の違いを理解するために、単純な一次方程式：
ｙ ＝ ａ・ｘ＋ｂ －－－－（１）
を考える。ここで、ｙは予測出力値、ｘは入力値、ａは係数、ｂは切片である。目標は一般に、可能なｙの最も正確な予測を出すことである。古典的機械学習では、｛（ｘ_ｉ，ｙ_ｉ）｝_{ｉ＝１,...,Ｎ}を用いてａとｂを推定する。代数的再構成では、ｙ^－が獲得され、物理学を用いてａとｂを説明する。この枠組みの態様は、解を計算するためにディープラーニングアプローチを使用しながら、ニューラルネットワークをモデル化するために物理を使用する。

【数1】

【0024】

いくつかの実装において、本フレームワークは、画像データのより速い勾配降下再構成（英：gradient descent reconstruction）を達成するために、１つ以上のニューラルネットワークとして画像形成をモデル化する。古典的な逐次再構成のように、線形演算子の代わりに複数の操作のカスケードとして画像形成をモデリングすることにより、演算タスクの全体サイズが縮小される。ニューラルネットワークは、一度計算され、メモリ（例えば、５００ＭＢ－４ＧＢメモリ空間）に保存される、だけでよいので、時間とメモリ空間の必要量は大幅に減少する。ニューラルネットワーク定式化は、任意の画像再構成に直線的に適用することができ、例えば、グラフ処理ユニット（ＧＰＵ）上で、特別な労力なしに、ネイティブに実行することができる。

【0025】

さらに、この枠組みは、反復内減衰最適化（英：intra-iteration attenuation optimization）、敵対的生成ネットワーク（英：Generative Adversarial Networks）（ＧＡＮ）研究、または、画像形成推定値の最適化（英：optimization of image formation estimates）などの、興味深い研究分岐の開発を可能にする。ニューラルネットワーク定式化は、各画像形成段階の微分を自動的に計算するために、ディープラーニングフレームワーク（例えば、ＧＡＮ）において使用され得る。これらおよび他の例示的な特徴および利点は、本明細書中でより詳細に記述される。ＳＰＥＣＴ画像の再構成に向けられた特定の応用がここに示され得るが、この技術は説明された特定の実装に限定されないことが、理解される。このフレームワークは、他の種類のモダリティによって取得された画像にも適用可能である。

【0026】

図１は、例示的なシステム１００を説明するブロック図である。システム１００は、本明細書に記載されるようなフレームワークを実装するためのコンピュータシステム１０１を含む。コンピュータシステム１０１は、デスクトップパーソナルコンピュータ、ポータブルラップトップコンピュータ、他のポータブルデバイス、ミニコンピュータ、メインフレームコンピュータ、サーバ、クラウドインフラストラクチャ、ストレージシステム、専用デジタル装置、通信デバイス、またはディジタルデータ項目のコレクションを保管するように構成されたストレージサブシステムを有する別のデバイス、であってもよい。いくつかの実装において、コンピュータシステム１０１は、スタンドアローンデバイスとして動作する。他の実装では、コンピュータシステム１０１は、撮像装置１０２やワークステーション１０３などの他の機械に（例えば、ネットワークを用いて）接続されることがある。ネットワーク展開では、コンピュータシステム１０１は、サーバの容量において、サーバ－クライアントユーザネットワーク環境におけるクライアントユーザマシン、または、ピアツーピア（または分散）ネットワーク環境におけるピア・マシンとして、動作することができる。

【0027】

コンピュータシステム１０１は、１つ以上の非一時的なコンピュータ可読媒体１０５（例えば、コンピュータストレージまたはメモリ）、ディスプレイ装置１０８（例えば、モニタ）および様々な入力装置１１０（例えば、マウスまたはキーボード）に入出力インターフェース１２１を介して接続された、プロセッサ装置または中央処理装置（ＣＰＵ）１０４を含んでもよい。コンピュータシステム１０１は、さらに、キャッシュ、電源、時計回路、通信バスなどの、支援回路を備えることができる。コンピュータシステム１０１には、追加のデータストレージデバイスや印刷装置など、さまざまな他の周辺装置も接続することができる。

【0028】

本技術は、オペレーティングシステムを介して実行される、マイクロインストラクションコード（英：microinstruction code）の一部として、またはアプリケーションプログラムもしくはソフトウェア製品の一部として、またはそれらの組合せのいずれかとして、様々な形態のハードウエア、ソフトウェア、ファームウェア、専用プロセッサ、またはそれらの組合せにおいて実装され得る。一実施形態では、本明細書に記載する技術は、１つ以上の非一時的なコンピュータ可読媒体１０５に実体的に取り入れられたコンピュータ可読プログラムコードとして実施される。特に、本技術は、画像再構成モジュール１０６及びニューラルネットワークモジュール１１１によって、実装されてもよい。非一時的なコンピュータ可読媒体１０５は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、磁気フロッピーディスク、フラッシュメモリ、および他の種類のメモリ、またはそれらの組合せを含むことができる。コンピュータ可読プログラムコードは、プロセッサ装置１０４によって実行され、例えば撮像装置１０２によって取得された画像を処理する。このように、コンピュータシステム１０１は、コンピュータ可読プログラムコードを実行する場合に、特定目的のコンピュータシステムとなる、汎用コンピュータシステムである。コンピュータ可読プログラムコードは、特定のプログラミング言語およびその実装に限定されることを意図していない。本明細書に含まれる開示の教示を実施するために、様々なプログラミング言語およびそのコーディングを使用することができることが認識されるであろう。

【0029】

同一または異なるコンピュータ可読媒体１０５が、画像セット、患者記録、知識ベースなどを保存するために、使用されてもよい。このようなデータは、外部ストレージまたは他のメモリに記憶することもできる。外部ストレージは、ハードディスク、ＲＡＭ、またはリムーバブルメディアなどのメモリ上に常駐し、プロセッサ装置１０４によって管理されるデータベース管理システム（ＤＢＭＳ）を使用して、実現してもよい。外部ストレージは、１つ以上の追加のコンピュータシステム上に実装することができる。例えば、外部ストレージは、別々のコンピュータシステム上に存在するデータウェアハウスシステム、画像保存通信システム（ＰＡＣＳ）、または他の現在知られている、または後に開発される病院、医療機関、医局、検査施設、薬局または他の医療患者記録記憶システム、を含んでいてもよい。

【0030】

撮像装置１０２は、画像を取得するための、単光子放射断層撮影（ＳＰＥＣＴ）スキャナなどの核撮像システムであってもよい。ワークステーション１０３は、コンピュータと、キーボードやディスプレイ装置といった適切な周辺機器を含んでもよく、また、システム１００全体と連動して操作することができる。例えば、ワークステーション１０３は、撮像装置１０２と通信することができ、その結果、撮像装置１０２によって収集された画像をワークステーション１０３で描写し、ディスプレイ装置上で観察することができる。

【0031】

ワークステーション１０３は、処理された画像を表示するために、および／または、画像処理結果を出力するために、コンピュータシステム１０１と直接通信してもよい。ワークステーション１０３は、画像の視覚化および／または処理を操作するために、入力装置（例えば、キーボード、マウス、タッチスクリーン、音声またはビデオ認識インターフェース等）を介して、ユーザ入力を受信するグラフィカルユーザインターフェースを含んでもよい。例えば、ユーザは、処理された画像を見ることができ、１つ以上のビュー調整または好み（例えば、ズーム、クロップ、パン、回転、コントラスト変更、色調変更、ビュー角度変化、ビュー深度変化、レンダリングまたは再構成技術の変更など）を指定し、「goto」位置を指定することによって特定の関心領域にナビゲーションし、画像セットの時間的ボリュームをナビゲーション（例えば、停止、プレイ、ステップスルーなど）する。

【0032】

付随する図で描かれた構成システム構成要素および方法ステップのいくつかはソフトウェアに実装できるので、システム構成要素（または処理ステップ）間の実際の接続は、現在のフレームワークがプログラムされる方法に応じて異なっていてもよいことが、さらに理解されるべきである。本明細書に提供される教示を考慮すると、当業者は、本フレームワークのこれらおよび類似の実装または構成を熟考することができるであろう。

【0033】

図２は、コンピュータシステムによって実施される例示的な画像再構成方法２００を示す。方法２００のステップは、示された順序で実施されることもあれば、異なる順序で実施されることもあることを、理解すべきである。また、追加の、異なる、又はより少数の、ステップを提供してもよい。さらに、方法２００は、図１のシステム１００、異なるシステム、またはこれらの組合せで、実装されてもよい。

【0034】

２０２において、ニューラルネットワークモジュール１１１内の１つ以上のニューラルネットワークは、画像形成の物理に基づいて構成される。画像形成の物理は、関心対象の画像を取得するために使用される撮像のモダリティに依存する。いくつかの実装では、１つ以上のニューラルネットワークは、ＳＰＥＣＴ画像形成に基づいて定義される。ＳＰＥＣＴは、臓器内に投与された放射性トレーサーの分布を表す核医学断層撮影技術である。コンピュータ断層撮影（ＣＴ）、ＳＰＥＣＴ／ＣＴ、陽電子放出断層撮影（ＰＥＴ）など、他の種類の画像診断法（英：imaging modalities）も用いられることがある。

【0035】

図３は、例示的なＳＰＥＣＴ画像形成を説明する。ＳＰＥＣＴシステムは、検出器が患者の周りを回転できるように、通常ガントリーに搭載されたコリメータを備えた１つ以上のガンマカメラを使用する。二次元（２Ｄ）投影データのコレクション３０２は、患者の周りで均等に間隔を離された多くの角度で取得される。投影画像は、一般に、完全な３６０度または１８０度の弧上で、ｎ度（例えば、ｎ＝３～６度）ごとに取得される。投影データセット３０２は、回転されたデータセット３０４を生成するために、与えられた角度に対して回転される。次いで、回転されたデータセット３０４は、フィルタ処理されたデータセット３０６を生成するために、ポイントスプレッド関数（ＰＳＦ）フィルタリングを行うことによって、深度に依存したぼやけ（例えば、ガウスぼけ（英：Gaussian blurring））に対して補正され得る。次いで、数学的アルゴリズムを用いて、フィルタ処理されたデータセット３０６から２Ｄの投影画像３０８を推定してもよい。

【0036】

図４ａは、例示的なニューラルネットワーク４１０を示す。ニューラルネットワーク４１０は、物理によって説明されるブラックボックスとして、機能してもよい。入力データｆ_ｉは、出力データｇ_ｉを生成するためにニューラルネットワーク４１０に適用され、ここでｉは行インデックスを表す。各ニューラルネットワークは、回転補正、深度依存性ＰＳＦフィルタリングエラー補正、散乱補正、減衰補正、運動補正、頭部のミスアライメントの補正などを含むが、これらに限定されない、異なる物理的効果に基づいてモデル化されていてもよい。各効果は、ニューラルネットワークの重みを初期化または修正することによってまたはニューラルネットワークに１つ以上の層を追加することによって、モデル化され得る。

【0037】

例えば、減衰補正のために、減衰補正用の入力係数が、ＣＴ画像から導出されてもよい。しかしながら、減衰補正係数は、例えば、画像処理の間に腕が動いたり膀胱が満たされたりした場合には、変更する必要があるかもしれない。ニューラルネットワーク４１０は、その内部重みを、投影画像データにより適した値に、更新してもよい。

【0038】

図４ｂは、例示的な単純回転４０２を示す。回転４０２は、次の関数

【数2】

を使用して表してもよい。取得したデータｇ^－は、回転補正後の画像の奥行き積分（英：depth integral）を表す。この回転関数（２）を計算することにより、ニューラルネットワークの初期重みを決定してもよい。

【数3】

【0039】

図４ｃは、運動補正をモデル化する例示的な畳み込み層４２０を示す。層４２０は、例えば、ニューラルネットワーク４１０の最終層の１つとして、提供されてもよい。畳み込み層４２０は、入力投影データＫから運動補正された投影データＫ’を生成する。

【0040】

図４ｄは、運動補正のモデリングを説明する。コンボリューションカーネル（英：convolution kernels）４２４ａ－ｂは、入力画像４２２に適用され、出力画像４２６ａ－４２６ｂを生成する。コンボリューションカーネル４２４ａの中央に「１」を置くことで、出力画像４２６ａに変化は生じない。しかし、コンボリューション行列４２４ｂに示されるように別の位置に「１」を配置する場合、患者の動きの補正は、出力画像４２６ｂに示したように、モデル化することができる。

【0041】

図４ｅは、頭部のミスアライメント補正をモデル化する例示的な畳み込み層４３０を示す。層４３０は、例えば、ニューラルネットワーク４１０の最終層の１つとして提供されてもよい。畳み込み層４３０は、入力投影データＫに基づいて、頭部についてアライメント固定された（または修正された）投影データＫ’を生成する。

【0042】

図４ｆは、点拡がり関数（ＰＳＦ）フィルタリング補正の例示的なモデリングを示す。ＰＳＦフィルタリング補正は、深さに依存してもよい。ＰＳＦは、点源に対する撮像システムの応答を記述する。深さｄでは、ｇ_ｉの値は次の畳み込み式
ｇ_ｉ = ｆ_{depth d} * PSF_d －－－－－－－－－－－（３）
で計算されてもよい。
ここで、ｇ_ｉは推定された投影画像を示し、ｆ_{depth d}は推定された体積分布を示し、ＰＳＦ_ｄは深さｄでの点拡散関数を示す。

【0043】

ＰＳＦは、撮像システムの光学系の不完全性の結果として、任意の所与の物体に付加されるぼけの量の程度を提供するように、推定されてもよい。ＰＳＦを用いたフィルタ処理により、画像のぼやけを取り除くことができる。しかし、ＰＳＦの推定は様々な理由から間違っている可能性がある。例えば、コリメータに欠陥がある場合や、コリメータが実際には予定よりも遠くにある場合がある。ＰＳＦ推定とフィルタリングの誤差は、ＰＳＦフィルタリングの出力を最適化するために、ニューラルネットワークの少なくとも１つの畳み込み層の重みを更新することによって、補正されてもよい。

【0044】

図５は、ＳＰＥＣＴ画像再構成のための例示的なニューラルネットワークアーキテクチャ５００を示す。アーキテクチャ５００は、回転補正ニューラルネットワーク５０６、ＰＳＦフィルタリングエラー補正ニューラルネットワーク５１０、累積積分（英：cumulative integral）ニューラルネットワーク５１２、及び、積及び投影（英：product and projection）ニューラルネットワーク５１４、を含む。例示的なニューラルネットワークアーキテクチャ５００は、そのような効果に基づいてニューラルネットワーク５０６、５１２及び５１４をモデル化することによって、減衰補正及び散乱補正効果を考慮に入れている。対象内でのガンマ線の減衰は、深部組織における活動の著しい過小評価につながる可能性がある。測定した減衰データを用いて最適な補正が得られる。減衰データ５０２は、組織の減衰マップとして機能するＸ線ＣＴ画像の形態で、測定され得る。ガンマ線の散乱ならびにガンマ線のランダムな性質は、ＳＰＥＣＴ画像の品質の劣化につながり得る、また、分解能の喪失を引き起こす可能性もある。ＳＰＥＣＴ画像の分解能を向上させるための散乱補正及び分解能回復を行うために、散乱データ５０４を測定してもよい。

【0045】

より詳細には、取得されたＳＰＥＣＴボリューム画像３０２及び測定された減衰データ５０２を回転ニューラルネットワーク５０６への入力として適用して、回転画像ボリューム３０４及び回転減衰データ５０８を生成してもよい。回転された画像ボリュームは、フィルタリングされた画像ボリューム３０６を生成するために、ＰＳＦニューラルネットワーク５１０に適用される、一方で、回転された減衰データは、処理された減衰データ５１３を生成するために、累積積分ニューラルネットワーク５１２に適用される。累積積分ニューラルネットワーク５１２は、３Ｄ入力データを投影して、データ比較のための２Ｄ減衰データ５１３を生成する。次いで、フィルタ処理された画像ボリューム３０６、処理された減衰データ５１３、および測定された散乱データ５０４が、積及び投影ニューラルネットワーク５１４に適用されて、出力推定された投影画像３０８が生成される。ニューラルネットワーク５１４は、例えば、１つ以上の層を含んでいてもよく、当該１つ以上の層は、（図４ｃ－ｅを参照して前述したように）運動補正または頭部のミスアライメントの補正をモデル化する。

【0046】

図２に戻って、２０４において、画像再構成モジュール１０６は、取得されたテスト画像データを用いて、ニューラルネットワークモジュール１１１内の１つ以上のニューラルネットワークを最適化する。ニューラルネットワークの各層は単純勾配（英：simple gradient）をもっている。勾配を計算することは、この層を単独で用いるか、又は、他の層と併用するかにかかわらず、層の重みとは無関係である。したがって、層をタイプＡに定義することで、その勾配を暗黙的に定義できる。このように、勾配は各動作に対して暗黙的に定義され、勾配降下（英：gradient descent）は、いかなる追加のステップもなしに、再構成を行うために使用できる。各動作の勾配は、逐次再構成が収束するのを助ける予測された減衰を用いてより良好な推定を見出すために、画像形成モデルの各ステップを最適化するように、計算されてもよい。

【0047】

投影オペレータの反復内最適化（英：Intra-iteration optimization）も行うことができる。多くの反復ステップが取られた後、収束がまだ達成されていない場合は、それは画像形成のモデリングと実世界セットアップの間のミスマッチによって引き起こされることがある。いくつかの実施では、取得されたデータへの出力の一致を最大化にするために、ニューラルネットワークの入力が変更される。収束を達成するために、減衰マップの更新、頭部位置合わせまたは運動修正を提供してもよい。

【0048】

図６は、ニューラルネットワーク最適化２０４の例示的な方法を示す。方法２０４のステップは、示された順序で実施されることもあれば、異なる順序で実施されることもあることを、理解すべきである。追加の、異なる、又は、より少数の、ステップが提供されてもよい。さらに、方法２０４は、図１のシステム１００、異なるシステム、又はこれらの組合せで、実装されてもよい。

【0049】

６０１では、画像再構成モジュール１０６は、最適化されるべきニューラルネットワークモジュール１１１内の１つ以上のニューラルネットワークを受け取る。

【0050】

６０２では、画像再構成モジュール１０６は、ニューラルネットワークを通して入力データｆ_ｉを伝搬し、出力データｇ_ｉを生成する、ここでｉは反復番号を示す。

【0051】

６０４では、画像再構成モジュール１０６は、差分（ｇ_ｉ－ｇ^－）を計算することによって、出力データｇ_ｉを取得されたテストデータｇ^－と比較する。この差分は誤差を表し、ニューラルネットワークを通って逆伝播する重みを決定するために用いられる。

【0052】

６０６では、画像再構成モジュール１０６は、ニューラルネットワークを介して差分を逆伝播する。逆伝播は、ｆ_ｉ＋１＝ｆ_ｉ＋Δｆが（ｇ_ｉ－ｇ^－）関して（ｇ_ｉ＋１－ｇ^－）を最小化するように実施される。

【0053】

６０８では、画像再構成モジュール１０６は、反復の回数が所定の数ｍ１よりも多い（またはそれと等しい）かどうかを決定する。所定の反復回数ｍ１に達した場合、方法２０４は６１０に進む。もしそうでなければ、ステップ６０２から６０８が繰り返される。

【0054】

６１０では、画像再構成モジュール１０６は、ニューラルネットワーク内部の重みを再訓練するために、ディープラーニング技術を使用する。ｆ_ｉ及びｇ^－を用いて、ディープラーニング技術は、ニューラルネットワークの重みの変化を推定し、ステップ６０４の改善（例えば、収束）を達成する。例えば、図５では、ニューラルネットワーク５０６、５１０、５１２または５１４の１つ以上の重みを最適化することができる。単一のニューラルネットワーク（５０６、５１０、５１２、５１４）を、他のニューラルネットワークを「凍結」しながら、選択的に最適化してもよい。重み付けの変更が所定の閾値によりｇ_ｉとｇ^－の間の差分を改善する場合、方法６００は６１１へ続く。

【0055】

図６に戻り、６１１では、画像再構成モジュール１０６は、反復の回数が所定の数ｍ２より多い（またはそれと等しい）かどうかを決定する。所定の反復回数ｍ２に達した場合、方法２０４は６１２に進む。もしそうでなければ、ステップ６０２から６１０が繰り返される。

【0056】

６１２では、画像再構成モジュール１０６は、最適化されたニューラルネットワークを出力する。

【0057】

図２に戻って、２０６では、関心対象の現在の画像データは、例えば、撮像装置１０２を用いて、取得される。現在の画像データは、画像形成の物理に基づく同じモダリティ（例えばＳＰＥＣＴ）を使用して、取得される。関心対象は、患者の臓器、脳、心臓、脚、腕などの一部、のような、調査または検査のために同定される任意の、生物学的な対象であってもよい。

【0058】

２０８では、画像再構成モジュール１０６は、出力画像を再構成するために、ニューラルネットワークモジュール１１１内の１つ以上の最適化されたニューラルネットワークへの入力として、現在の画像データを適用する。

【0059】

２１０では、出力画像が提示される。出力画像は、例えばワークステーション１０３で、ユーザインタフェースを介して、レンダリング及び表示されてもよい。

【0060】

本フレームワークは例示的な実施形態を参照して詳細に記載されているが、当業者は、付属する特許請求の範囲に記載されている本発明の精神および範囲から逸脱することなく、様々な変更および置換をこれに加えることができることを認識するであろう。例えば、異なる例示的な実施形態の要素および／または特徴は、本開示および付属する特許請求の範囲の請求項の範囲内で互いに結合され、および／または互いに置換されてもよい。

【符号の説明】

【0061】

１０１…コンピュータシステム、１０２…撮像装置、１０３…ワークステーション、１０４…プロセッサ装置、１０５…非一時的なコンピュータ可読媒体、１０６…画像再構成モジュール、１０８…ディスプレイ装置、１１０…入力装置、１１１…ニューラルネットワークモジュール、２０２…ステップ、２０４…ステップ、２０６…ステップ、２０８…ステップ、２１０…ステップ

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図4c】

【図4d】

【図4e】

【図4f】

【図5】

【図6】