特許 7139397 ディープニューラルネットワークおよび測定データの再帰的間引きを使用して医用画像を再構築するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-09

(45)【発行日】2022-09-20

(54)【発明の名称】ディープニューラルネットワークおよび測定データの再帰的間引きを使用して医用画像を再構築するためのシステムおよび方法

(51)【国際特許分類】

   G06T 3/40 20060101AFI20220912BHJP

   A61B 6/03 20060101ALI20220912BHJP

   A61B 5/055 20060101ALI20220912BHJP

   G06T 1/00 20060101ALI20220912BHJP

   G06T 7/00 20170101ALI20220912BHJP

【ＦＩ】

G06T3/40 725

A61B6/03 350U

A61B5/055 376

G06T1/00 290B

G06T7/00 350C

G06T7/00 612

【請求項の数】 20

【外国語出願】

(21)【出願番号】P 2020190375

(22)【出願日】2020-11-16

(65)【公開番号】P2021099794

(43)【公開日】2021-07-01

【審査請求日】2021-03-17

(31)【優先権主張番号】16/691,430

(32)【優先日】2019-11-21

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】319011672

【氏名又は名称】ジーイー・プレシジョン・ヘルスケア・エルエルシー

(74)【代理人】

【識別番号】100105588

【弁理士】

【氏名又は名称】小倉 博

(74)【代理人】

【識別番号】100151286

【弁理士】

【氏名又は名称】澤木 亮一

(72)【発明者】

【氏名】ハリハラン・ラヴィシャンカール

(72)【発明者】

【氏名】ダテシュ・ダヤナンド・シャンバグ

【審査官】豊田 好一

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０２３６８１７（ＵＳ，Ａ１）

【文献】特開２０１９－０２８０７３（ＪＰ，Ａ）

【文献】国際公開第２０１９／１６７８８４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－７／９０

Ａ６１Ｂ ５／０５５

Ａ６１Ｂ ６／００－６／１４

(57)【特許請求の範囲】

【請求項1】

撮像装置（２４０）によって取得された測定データ（１０２）を受け取るステップ（３０２）と、
間引き戦略を選択するステップ（３０４）と、
前記間引き戦略ならびに１つまたは複数のディープニューラルネットワークを使用して、前記測定データ（１０２）から再構築画像（１２８）を生成するステップと、
表示装置（２２０）を介して前記再構築画像（１２８）を表示するステップ（３１４）と、
を含み、
前記間引き戦略ならびに前記１つまたは複数のディープニューラルネットワークを使用して前記測定データ（１０２）から前記再構築画像（１２８）を生成するステップは、少なくとも第１の間引きされた測定データ配列（１１０）および第２の間引きされた測定データ配列（１１２）を生成するために、前記間引き戦略に従って前記測定データ（１０２）を間引きするステップ（３０６）と、
第１のディープニューラルネットワーク（１１４）を使用して、前記第１の間引きされた測定データ配列（１１０）を第１の間引きされた画像データ配列（１１８）にマッピングするステップ（３０８）と、
第２のディープニューラルネットワーク（１１６）を使用して、前記第２の間引きされた測定データ配列（１１２）を第２の間引きされた画像データ配列（１２０）にマッピングするステップ（３０８）と、
画像データ配列（１２４）を生成するために、集約ネットワーク（１２２）を使用して前記第１の間引きされた画像データ配列（１１８）および前記第２の間引きされた画像データ配列（１２０）を集約するステップ（３１０）と、
前記再構築画像（１２８）を生成するために、前記画像データ配列（１２４）を再成形するステップ（３１２）と、
を含む方法（３００）。

【請求項2】

前記測定データ（１０２）は、システム変換を介して前記再構築画像（１２８）に関連する断層撮影データを含む、請求項１に記載の方法（３００）。

【請求項3】

前記測定データ（１０２）は、撮像測定データを含み、前記撮像装置（２４０）は、ＭＲＩスキャナ、ＣＴスキャナ、ＰＥＴスキャナ、ＰＥＴ／ＭＲスキャナ、アダマール撮像を備えた光学スキャナ、光学および赤外線アダマール分光計、ならびにＣアームスキャナのうちの１つを含む、請求項１または２に記載の方法（３００）。

【請求項4】

前記集約ネットワーク（１２２）は、１次元（１Ｄ）畳み込み層を含む、請求項１乃至３のいずれかに記載の方法（３００）。

【請求項5】

前記第１のディープニューラルネットワーク（１１４）は第１の全結合層を含み、前記第２のディープニューラルネットワーク（１１６）は第２の全結合層を含む、請求項１乃至４のいずれかに記載の方法（３００）。

【請求項6】

前記間引き戦略は、間引き係数およびサンプリングパターンを含む、請求項１乃至５のいずれかに記載の方法（３００）。

【請求項7】

前記第１の間引きされた測定データ配列（１１０）および前記第２の間引きされた測定データ配列（１１２）の各々のサイズは、前記間引き係数に基づいて決定される、請求項
６に記載の方法（３００）。

【請求項8】

前記測定データ（１０２）は第１の測定データであり、前記第１のディープニューラルネットワーク（１１４）、前記第２のディープニューラルネットワーク（１１６）、および前記集約ネットワーク（１２２）は、
第２の測定データおよび対応するグラウンドトゥルース画像を含む訓練データペアを選択するステップ（４０２）と、
複数の間引きされた測定データ配列を生成するために、前記間引き戦略に従って前記第２の測定データを間引くステップ（４０６）と、
前記第１のディープニューラルネットワーク（１１４）および前記第２のディープニューラルネットワーク（１１６）を使用して、前記複数の間引きされた測定データ配列を複数の間引きされた画像データ配列にマッピングするステップ（４０８）と、
予測画像データ配列を生成するために、前記集約ネットワーク（１２２）を使用して前記複数の間引きされた画像データ配列を集約するステップ（４１０）と、
予測画像を生成するために、前記予測画像データ配列を再成形するステップ（４１２）と、
損失関数を使用して前記予測画像と前記グラウンドトゥルース画像とを比較することにより、前記予測画像の誤差を計算するステップ（４１４）と、
前記誤差に基づいて、前記第１のディープニューラルネットワーク（１１４）、前記第２のディープニューラルネットワーク（１１６）、および前記集約ネットワーク（１２２）のパラメータを調整するステップ（４１６）と、
によって訓練される、請求項１乃至７のいずれかに記載の方法（３００）。

【請求項9】

前記誤差に基づいて、前記第１のディープニューラルネットワーク（１１４）、前記第２のディープニューラルネットワーク（１１６）、および前記集約ネットワーク（１２２）のパラメータを調整するステップ（４１６）は、
前記集約ネットワーク（１２２）、前記第１のディープニューラルネットワーク（１１４）、および第２のディープニューラルネットワーク（１１６）の各レイヤーを介して前記誤差を逆伝播するステップと、
前記誤差を低減するために、前記集約ネットワーク（１２２）、前記第１のディープニューラルネットワーク（１１４）、および前記第２のディープニューラルネットワーク（１１６）の各層においてパラメータを調整するステップと、
を含む、請求項８に記載の方法（３００）。

【請求項10】

患者の解剖学的領域の測定データ（１０２）を受け取るステップ（３０２）と、
複数の間引きされた測定データ配列を形成するために、間引き戦略に従って前記測定データ（１０２）を再帰的に間引くステップ（３０６）と、
１つまたは複数の訓練されたディープニューラルネットワークを使用して、前記複数の間引きされた測定データ配列を複数の間引きされた画像データ配列にマッピングするステップ（３０８）と、
再構築画像（１２８）を形成するために、１つまたは複数の訓練された集約ネットワーク（１２２）を使用して、前記複数の間引きされた画像データ配列を再帰的に集約するステップ（３１０）と、
を含む方法（３００）。

【請求項11】

患者の解剖学的領域の測定データ（１０２）を受け取るステップ（３０２）と、
複数の間引きされた測定データ配列を形成するために、間引き戦略に従って前記測定データ（１０２）を再帰的に間引くステップ（３０６）と、
複数の訓練されたディープニューラルネットワークを使用して、前記複数の間引きされた測定データ配列を複数の間引きされた画像データ配列にマッピングするステップ（３０８）と、
画像データ配列を再成形する画像データ配列を生成して再構築画像（１２８）を形成するために、複数の訓練された集約ネットワーク（１２２）を使用して、前記複数の間引きされた画像データ配列を再帰的に集約するステップ（３１０）と、
表示装置（２２０）を介して前記再構築画像（１２８）を表示するステップ（３１４）と、
を含む方法（３００）。

【請求項12】

前記複数の間引きされた測定データ配列の各々のサイズは、前記間引き戦略に基づいて決定される、請求項１０または１１に記載の方法（３００）。

【請求項13】

前記間引き戦略は、前記測定データ（１０２）のサイズに基づいて、かつ前記１つまたは複数の訓練されたディープニューラルネットワークの入力層内のニューロンの数にさら
に基づいて、選択される、請求項１０乃至１２のいずれかに記載の方法（３００）。

【請求項14】

前記測定データ（１０２）は、フーリエ変換、ラドン変換、またはアダマール変換のうちの１つまたは複数による前記再構築画像（１２８）に関連する、請求項１０乃至１３のいずれかに記載の方法（３００）。

【請求項15】

前記測定データ（１０２）は、医用撮像装置（２４０）からの医用撮像測定データを含み、前記再構築画像（１２８）は、前記患者の前記解剖学的領域の再構築された医用画像を含む、請求項１０乃至１４のいずれかに記載の方法（３００）。

【請求項16】

前記間引き戦略に従って前記測定データ（１０２）を再帰的に間引くステップは、前記間引き戦略によって指定されたサンプリング密度で前記測定データ（１０２）をサンプリングするステップを含み、前記サンプリング密度は前記測定データ（１０２）の本来のサンプリング密度よりも低い、請求項１０乃至１５のいずれかに記載の方法（３００）。

【請求項17】

撮像システム（２００）であって、
表示装置（２２０）と、
撮像装置（２４０）と、
１つまたは複数の訓練されたディープニューラルネットワーク、１つまたは複数の集約ネットワーク（１２２）、ならびに命令を格納するメモリ（２０６）と、
前記表示装置（２２０）、前記撮像装置（２４０）、および前記メモリに通信可能に結合されたプロセッサ（２０４）と、を含み、前記プロセッサ（２０４）は、前記命令を実行する場合に、
前記撮像装置（２４０）を使用して患者の解剖学的領域の測定データ（１０２）を取得し、
間引き戦略を選択し、
複数の間引きされた測定データ配列を形成するために、前記間引き戦略に従って前記測定データ（１０２）を再帰的に間引き、
前記１つまたは複数の訓練されたディープニューラルネットワークを使用して、前記複数の間引きされた測定データ配列を複数の間引きされた画像データ配列にマッピングし、
再構築画像（１２８）を形成するために、１つまたは複数の訓練された集約ネットワーク（１２２）を使用して、前記複数の間引きされた画像データ配列を再帰的に集約し、前記表示装置（２２０）を介して前記再構築画像（１２８）を表示する、ように構成される、撮像システム（２００）。

【請求項18】

前記撮像装置（２４０）は、ＭＲＩスキャナ、ＣＴスキャナ、ＰＥＴスキャナ、ＰＥＴ／ＭＲスキャナ、アダマール撮像を備えた光学スキャナ、光学および赤外線アダマール分光計、ならびにＣアームスキャナのうちの１つである、請求項１７に記載の撮像システム（２００）。

【請求項19】

前記撮像装置（２４０）は前記ＭＲＩスキャナであり、前記測定データ（１０２）は、前記ＭＲＩスキャナによって取得された前記患者の前記解剖学的領域のｋ空間データを含む、請求項１８に記載の撮像システム（２００）。

【請求項20】

前記プロセッサ（２０４）は、前記間引き戦略に従って前記測定データ（１０２）を再帰的に間引きし、前記測定データ（１０２）からの第１の部分のデータをサンプリングして、前記第１の部分のデータを第１の間引きされた測定データ配列（１１０）に割り当て、第２の部分のデータをサンプリングして、前記第２の部分のデータを第２の間引きされた測定データ配列（１１２）に割り当てることによって、前記複数の間引きされた測定データ配列を形成するように構成される、請求項１７に記載の撮像システム（２００）。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書に開示する主題の実施形態は、医用撮像に関し、より詳細には、ディープニューラルネットワークを使用して医用画像を再構築するためのシステムおよび方法に関する。

【背景技術】

【0002】

医用撮像システムは、患者などの被験者の内部の生理学的情報を取得するためにしばしば使用される。例えば、医用撮像システムを使用して、骨構造、脳、心臓、肺、および患者の他の様々な特徴の画像を取得することができる。医用撮像システムは、磁気共鳴撮像（ＭＲＩ）システム、コンピュータ断層撮影（ＣＴ）システム、陽電子放出断層撮影（ＰＥＴ）システム、ハイブリッドＰＥＴ／ＭＲシステム、Ｘ線システム、超音波システム、Ｃアームシステム、およびその他の様々な撮像様式を含むことができる。

【0003】

医用撮像システムによって取得された測定データ（例えば、ＣＴ撮像のＸ線投影データ、またはＭＲＩのｋ空間データ）は、人間が視覚的に分析／診断するのには適しておらず、それは、その中にエンコードされた解剖学的情報が人間の脳によって容易にまたは直感的に処理されない形式であり得るからである。例えば、ＭＲＩ撮像では、測定データは、Ｋ空間データとも呼ばれ、画像データの２次元または３次元のフーリエ変換を含み、Ｋ空間の各点は、対応する画像のすべてのピクセル／ボクセルの画像強度に関連しており、したがってＫ空間データは、人間の心がそこにエンコードされた基礎となる解剖学的特徴に関係するのが非常に困難であり得る。したがって、測定データは従来、人間の検査により適した形で解剖学的構造を示す医用画像を形成するように再構築され、とりわけ、取得された医用画像の専門家による診断を可能にする。

【0004】

最近、フィルタリング逆伝播（ＦＢＰ）、ホモダインアルゴリズム、ゼロ充填法、辞書学習、凸集合への投影などの従来の手法に依存せずに、測定データを医用画像データに直接マッピングする、機械学習手法が実装されている。機械学習手法は、より迅速な医用画像再構築を可能にし、スキャン時間の短縮および／またはスキャン放射線の線量の低減を可能にする。しかし、測定データを画像データに直接マッピングできる完全に接続されたディープニューラルネットワークを訓練し実装するために、現在の手法で必要な計算の複雑さ（したがって時間／計算リソース）は、医用画像のマトリックスサイズの４乗で増加する。この「パラメータの急増」は、計算が制限された環境でのこのような手法の実装、あるいは高解像度または３次元（３Ｄ）の医用画像での使用を妨げる。したがって、一般に、ディープニューラルネットワークを使用した医用画像再構築の計算の複雑さを軽減するための技法を模索することが望ましい。

【発明の概要】

【0005】

一実施形態では、測定データから画像を再構築するための方法は、撮像装置によって取得された測定データを受け取るステップと、間引き戦略を選択するステップと、間引き戦略ならびに１つまたは複数のディープニューラルネットワークを使用して、測定データから再構築画像を生成するステップと、表示装置を介して再構築画像を表示するステップと、を含む。このようにして、測定データは、間引き戦略に従ってダウンサンプリング／間引きされ、それにより、１つまたは複数のディープニューラルネットワークのパラメータの数を大幅に減らすことができる。測定データを間引きして、１つまたは複数の間引きされた測定データ配列を形成することにより、測定データを画像データにマッピングする計算の複雑さを、Ｏ（Ｎ^４）からＯ（Ｍ^４）に低減することができる。ここで、Ｎは測定データのサイズ、Ｍは個々の間引きされた測定データ配列のサイズであり、Ｍ＜Ｎであって、Ｍは画像解像度とは無関係に選択することができる。

【0006】

本説明の上記の利点および他の利点、ならびに特徴は、単独で、または添付の図面と併せて、以下の詳細な説明から容易に明らかになるであろう。上記の概要は、詳細な説明においてさらに説明される概念の選択を簡略化した形で導入するために提供されていることを理解されたい。特許請求される主題の重要なまたは本質的な特徴を特定することは意図されておらず、その主題の範囲は詳細な説明に続く特許請求の範囲によって一義的に定義される。さらに、特許請求される主題は、上記のまたは本開示の任意の部分に記載の欠点を解決する実施態様に限定されない。

【0007】

この開示の様々な態様は、以下の詳細な説明を読み、図面を参照すると、よりよく理解され得る。

【図面の簡単な説明】

【0008】

【図1】画像再構築システムの例示的な実施形態のブロック図である。

【図2】図１の画像再構築システムを実施することができる撮像システムを示す概略図である。

【図3】間引き戦略に従って１つまたは複数のディープニューラルネットワークを使用して測定データから医用画像を再構築するための方法を示すフローチャートである。

【図4】測定データおよび測定データに対応するグラウンドトゥルース医用画像を含む訓練データペアを使用して、図３の１つまたは複数のディープニューラルネットワークを訓練するための例示的な方法を示すフローチャートである。

【図5】本開示の例示的な実施形態による再構築画像と、従来の手法を使用して再構築された医用画像と、の間の比較を示す図である。

【発明を実施するための形態】

【0009】

図面は、ディープニューラルネットワークと再帰的間引き戦略を使用して画像を再構築するための、記載されたシステムおよび方法の特定の態様を示している。以下の説明と共に、図面は、本明細書で記載された構造、方法、および原理を実証および説明する。図面では、構成要素のサイズは、明確にするために誇張されているか、そうでなければ変更されている場合がある。記載された構成要素、システム、および方法の態様を不明瞭にしないように、周知の構造、材料、または動作は、詳細に示されていないか、または説明されていない。

【0010】

以下の説明は、ニューラルネットワークを使用して再帰的多様体近似により対応する測定データから医用画像を再構築するシステムおよび方法に関する。この手法は、測定データが、線形変換（例えば、フーリエ変換、ラドン変換など）を介して対応する再構築画像または対応する結果に関連する、画像再構築に適用することができる。本明細書では医用画像の文脈で説明されているが、本開示は、実質的に任意の撮像様式の画像再構築を提供し、医用画像に限定されないことが理解されよう。高次元多様体関係を学習しようとする既存のニューラルネットワークに基づく方法は、測定データサイズの増加に伴うニューラルネットワークのパラメータ数の急増に直接悩まされており、そのような手法は、実際に観察されるデータサイズに対して非現実的である。本開示は、測定データをより小さなサブユニット（ここでは間引きされた測定データ配列と呼ぶ）に再帰的に間引きし、それを第１のニューラルネットワークを介して潜在多様体埋め込み（ここでは間引きされた画像データ配列と呼ぶ）に変換することによって、使用／学習されるニューラルネットワークパラメータの数を減らして、測定データから直接ニューラルネットワークに基づく画像再構築を可能にする。これに続いて、集約ネットワークを使用して間引きされた画像データ配列を再帰的に集約し、再構築された医用画像を生成する。第１のニューラルネットワークと集約ネットワークの両方のパラメータは、教師あり訓練を使用して共同で学習される。

【0011】

開示されるシステムおよび方法は、サイズＮ×Ｎの測定データについて、測定データを画像データにマッピングする計算の複雑さをＯ（Ｎ^４）からＯ（Ｍ^４）に低減することを可能にする。ここで、Ｍは個々の間引きされた測定データ配列のサイズであり、Ｍ＜Ｎであって、ＭはＮとは無関係に選択することができる。パラメータのこの削減は、従来の再構築手法と比較して、画像再構成の品質を損なうことはない。さらに、ここで教示されているニューラルネットワークは、従来のニューラルネットワークよりもパラメータが大幅に少ないため、本手法は、画像再構築におけるディープニューラルネットワークの適応の障害として一般的に引用される過剰適合およびデータ記憶に対する耐性がある。

【0012】

本開示によって提供される計算の複雑さの低減により、ＭＲＩ、ＣＴ、およびＰＥＴ臨床スキャナで生成された大きな３次元（３Ｄ）ボリュームの測定データを使用したニューラルネットワークに基づく画像再構築が可能になる。本開示は、測定データをより小さな、および／またはより低次元の配列に間引きすることにより、測定データの次元削減を可能にし、それは次に、１つまたは複数のより小さなディープニューラルネットワークによって処理され得る。１つまたは複数のディープニューラルネットワークのメモリフットプリントが削減されているため、この手法は、携帯電話またはＣＰＵのみのシステムなど、ハードウェアが妥協された装置に実装することができる。さらに、本開示の手法は、磁気共鳴撮像（ＭＲＩ）、コンピュータ断層撮影法（ＣＴ）、陽電子放出断層撮影法（ＰＥＴ）、ＰＥＴ／ＭＲ、およびＣアームを含む、様々な撮像様式に適用可能である。本明細書で開示されるシステムおよび方法は、既存のコンピュータプラットフォーム上で、特殊化されたＧＰＵハードウェアを必要とせずに、機械学習に基づく画像再構築の展開を可能にすることができる。

【0013】

一実施形態では、図１に示す画像再構築システム１００は、図２に示す医用撮像システム２００によって実施することができ、図３に示す方法３００の動作の１つまたは複数に従って測定データから医用画像を再構築する。簡単に言えば、方法３００は、患者の解剖学的領域の測定データを受け取るステップと、複数の間引きされた測定データ配列を形成するために、間引き戦略に従って測定データを再帰的に間引くステップと、１つまたは複数の訓練されたディープニューラルネットワークを使用して、複数の間引きされた測定データ配列を複数の間引きされた画像データ配列にマッピングするステップと、再構築された医用画像を形成するために、１つまたは複数の訓練された集約ネットワークを使用して、複数の間引きされた画像データ配列を再帰的に集約するステップと、を含む。図４は、共同訓練手法を使用して、方法３００で使用される複数のディープニューラルネットワークならびに１つまたは複数の集約ネットワークを訓練するための方法を示し、ディープニューラルネットワークと集約ネットワークのパラメータは、同じ訓練データセットを使用して一緒に学習される。図５は、方法３００のステップを使用して測定データから再構築された第１の医用画像５０２と、従来の画像再構築手法を使用して生成された第２の医用画像５０４と、の比較を示す。

【0014】

図１を参照すると、例示的な画像再構築システム１００が示されている。画像再構築システム１００は、本開示による画像再構築システムの一実施形態である。特に、画像再構築システム１００は、バイナリ間引き戦略の一例を実施し、測定データ１０２は、第１の間引きされた測定データ配列１１０と第２の間引きされた測定データ配列１１２とに分割される。本開示は、様々な間引き戦略を提供し、測定データは、１つまたは複数のサンプリングパターンおよびサンプリング密度に従ってサンプリングされて、実質的に任意の数の間引きされた測定データ配列を生成し得ることが理解されよう。一例として、三値間引き戦略を採用することができ、測定データ配列１０６は、第１、第２、および第３の間引きされた測定データ配列に分割／間引きされる。

【0015】

さらに、測定データ１０２は、人間の脳の２ＤＭＲＩ画像スライスを含む、再構築された医用画像１２８に対応する２次元（２Ｄ）ｋ空間データ（フーリエ平面とも呼ばれる）を含む。しかしながら、本開示の手法は、３Ｄ画像、ＣＴ画像、ＰＥＴ画像などを含む、様々な撮像様式の様々な画像を再構築するために使用され得ることが理解されよう。

【0016】

画像再構築システム１００は、非一時的データ記憶装置を含む、１つまたは複数の通信可能に結合された装置から測定データ１０２を受け取ることができる。一実施形態では、画像再構築システム１００は、図２を参照して以下でより詳細に説明される、撮像装置２４０などの撮像装置から測定データ１０２を受け取る。図１に示す実施形態では、測定データ１０２は、２Ｄ医用画像に対応する１２８×１２８の２Ｄ配列のｋ空間データを含み、２Ｄ医用画像の強度分布の空間周波数（および位相）が測定データ１０２内でフーリエ平面としてエンコードされる。本開示は、様々なタイプの測定データからの、および様々な次元（２Ｄ、３Ｄなどを含む）の医用画像の再構築を提供し、測定データは線形変換を介して医用画像データに関連することが理解されよう。

【0017】

画像再構築システム１００による測定データ１０２の受け取りに続いて、測定データ１０２は、フラット化１０４によって示されるように、フラット化動作を介して１次元（１Ｄ）の測定データ配列１０６として再フォーマットされる。フラット化１０４は、測定データ１０２のベクトル化を含み、測定データ１０２の２Ｄ配置は、同等のベクトルに変換される。図１に示す一実施形態では、測定データ配列１０６は、測定データ１０２に対応する、測定データの１６，３８４行のベクトルを含む。測定データ１０２をフラット化することにより、２Ｄまたは３Ｄデータを同等の１Ｄ表現にフラット化することができるので、データをより容易に間引きすることができ、計算が効率的な方法で間引きを行うことができる。一例として、２Ｄサンプリングパターンは、第１の次元および第２の次元の両方のサンプリング周波数を示すことができ、フラット化された画像データのサンプリングパターンは、単一の１Ｄサンプリングパターンを使用して２Ｄサンプリングパターンを表現することができる。計算の節約は、３次元（３Ｄ）測定データの場合はさらに大きくなる可能性があり、フラット化１０４は測定データの次元を３Ｄから１Ｄに減らし、１Ｄサンプリングパターンを含む間引き戦略を採用できるようにする。

【0018】

いくつかの実施形態では、追加のデータが測定データ配列１０６と連結されてもよい。一例では、ＭＲＩにおいて、複雑なｋ空間データを含むマルチコイルデータは、関連する感度マップを有することができる。感度マップデータは、測定データ１０２に関して説明したのと同様の方法でフラット化することができ、フラット化された感度マップデータは、測定データ配列１０６と連結することができる。これにより、ｋ空間データと感度マップデータの両方の連結されたベクトルが提供される。カラー撮像などの他の実施形態では、測定データ１０２は、複数のカラーチャネル（例えば、ＲＧＢカラーチャネル、またはＣＭＹＫカラーチャネルであり、各チャネルは関連する色に対応する強度値を含む）を含むことができる。関連する各色の複数の強度値は、別々にフラット化され、次に連結されて、測定データ配列１０６を生成することができる。

【0019】

次に、間引き１０８によって示されるように、測定データ配列１０６が間引きされ得る。間引き１０８は、間引き戦略に従って、測定データ配列を２つ以上の間引きされた測定データ配列に分割することを含み、間引き戦略は、間引き係数、サンプリングパターン、およびサンプリング密度（間引き係数の関数であってもよい）のうちの１つまたは複数を示す。間引き係数に関して、間引き係数は、整数または１より大きい有理数の分数を含んでもよい。間引き係数は、サンプリングレートまたはサンプリング間隔／パターンを決定するために使用することができる。例えば、測定データ配列１０６が１６，３８４行のベクトルを含み、各行に測定データ１０２からの個別の強度値が含まれ、測定データ配列１０６が間引き係数４を使用して間引かれる場合には、４つの間引きされた測定データ配列が生成され、各々が４，０９６行の強度値を含む。

【0020】

図１に示す実施形態では、測定データ配列１０６は、バイナリ間引き戦略を使用して、第１の間引きされた測定データ配列１１０と第２の間引きされた測定データ配列１１２とに分割される。一実施形態では、バイナリ間引き戦略は、間引き係数２および均一なサンプリングパターンを含み、測定データ配列１０６の各奇数行を第１の間引きされた測定データ配列１１０に割り当てること、および測定データ配列１０６の各偶数行を第２の間引きされた測定データ配列１１２に割り当てることを含むことができる。他の実施形態では、不均一なサンプリングパターンが使用されてもよく、サンプリングパターンは、測定データ配列１０６内の関数位置として変化する。バイナリ、トリナリーなどの間引き戦略は、２つ、３つなどの間引きされた測定データ配列を生成し、それぞれ複数のサンプリングパターン／サンプリング周波数を使用して取得することができ、本開示は複数のサンプリングパターン／周波数の各々を提供する。例として、バイナリ間引き戦略は、測定データ配列１０６内で１つおきに強度値を選択することによって第１の間引きされた測定データ配列を生成することを含むことができるが、測定データ配列１０６の２つの連続する強度値を選択して、続いて測定データ配列１０６の次の２つの連続する値を選択しないなどの他のサンプリングパターンを採用してもよい。別の例では、間引き戦略は、異種サンプリングパターンを含むことができ、第１のサンプリングパターンは測定データ配列１０６の第１のセクションに使用され、第２のサンプリングパターンは測定データ配列１０６の第２のセクションに使用される、等々。

【0021】

第１の間引きされた測定データ配列１１０および第２の間引きされた測定データ配列１１２は、各々同じ数のエントリ／強度値を含むことができる。第１の間引きされた測定データ配列および第２の間引きされた測定データ配列におけるエントリ／強度値の合計は、測定データ１０２および／または測定データ配列１０６におけるエントリ／強度値の数に等しくてもよい。特に、第１の間引きされた測定データ配列１１０および第２の間引きされた測定データ配列１１２は、それぞれ、８，１９２行のベクトルに配置された８，１９２の強度値を含む。

【0022】

第１の間引きされた測定データ配列１１０は、第１のネットワーク１１４の入力層によって受け取られる。一実施形態では、第１のネットワーク１１４は、密集層として実装される１つまたは複数の２Ｄ畳み込み層を含み、畳み込み層の並列化を利用することによって行および列にわたる反復を回避する。密集層／全結合層の各々の後に、機械学習の分野で公知の１つまたは複数の活性化関数を使用して、非線形活性化が続くことができる。一例では、現在の層の各出力が次の層の各入力にマッピングされるようにストライドと受容フィールドを設定することにより、密集層／全結合層を２Ｄ畳み込み層として実施することができる。全結合層／密集層は、第１の間引きされた測定データ配列１１０のフーリエ平面強度データを第１の間引きされた画像データ配列１１８の画像強度データにマッピングする１つまたは複数の学習されたフィルタを含むことができる。

【0023】

同様に、第２の間引きされた測定データ配列１１２は、第２のネットワーク１１６の入力層によって受け取られる。一実施形態では、第２のネットワーク１１６は、密集層として実装される１つまたは複数の２Ｄ畳み込み層を含み、それによって、畳み込み層の並列化を利用することによって行および列にわたる反復を回避する。密集層／全結合層の各々の後に、機械学習の分野で公知の１つまたは複数の活性化関数を使用して、非線形活性化が続くことができる。一例では、密集層／全結合層は、前の層の各出力が後続の層の各入力にマッピングされるようにストライドおよび受容フィールドを設定することにより、２Ｄ畳み込み層として実装されてもよい。全結合層／密集層は、第２の間引きされた測定データ配列１１２のフーリエ平面強度データを第２の間引きされた画像データ配列１２０の画像強度データにマッピングする１つまたは複数の学習されたフィルタを含むことができる。第１のネットワーク１１４および第２のネットワーク１１６の１つまたは複数の全結合層／密集層の１つまたは複数の学習されたフィルタは、図４を参照して以下で説明されるような訓練方法を介して学習され得る。

【0024】

第１の間引きされた画像データ配列１１８および第２の間引きされた画像データ配列１２０は、それぞれ同じ数の画像強度値を含むことができる。図１に示す例では、第１の間引きされた画像データ配列１１８および第２の間引きされた画像データ配列１２０は、それぞれ、第１の間引きされた測定データ配列１１０および第２の間引きされた測定データ配列１１２の８１９２個のフーリエ強度値に対応する、８１９２個の強度値を含む。

【0025】

第１の間引きされた画像データ配列１１８および第２の間引きされた画像データ配列１２０は両方とも、集約ネットワーク１２２の入力層に入力される。一実施形態では、第１の間引きされた画像データ配列１１８および第２の間引きされた画像データ配列１２０は、集約ネットワーク１２２によって受け取られる前に、行方向に連結される。集約ネットワーク１２２は、入力データの複数のソースを受け取るように構成され得る。一例では、集約ネットワーク１２２は、同じ撮像様式（例えば、マルチコイルＭＲデータ）から、または異なる撮像様式（例えば、ＰＥＴ／ＣＴデータ）から画像データを受け取るように構成されてもよい。

【0026】

図１に示す実施形態では、集約ネットワーク１２２は、１つまたは複数の全結合層／密集層を含む１Ｄ畳み込みニューラルネットワークであり、１つまたは複数の学習された１Ｄ畳み込みフィルタを含む。集約ネットワーク１２２の１Ｄ畳み込みフィルタは、図４を参照して、以下で説明される訓練ルーチンなどの訓練ルーチン中に学習され得る。１Ｄ全結合層／密集層は、第１の間引きされた画像データ配列１１８および第２の間引きされた画像データ配列１２０を画像データ配列１２４にマッピングする。

【0027】

画像データ配列１２４は、第１の間引きされた画像データ配列１１８および第２の間引きされた画像データ配列１２０の画像強度データから合成された画像強度データを含む。図１に示す例では、画像データ配列１２４は、１６，３８４個の画像強度値に対応する１６，３８４行のベクトルを含む。

【0028】

画像データ配列１２４は、再成形１２６によって示されるように、再構築された医用画像１２８を生成するように再成形される。再成形１２６は、画像データ配列１２４の行を行列に再配置することを含む。一例では、再成形１２６は、複数の列を生成するために複数の所定の行で画像データ配列１２４を分割し、行を所定の順序に再配置し、それにより複数の列の数に等しいいくつかの列を有する行列を生成することを含む。

【0029】

再構築された医用画像１２８は、測定データ１０２に対応する、患者の解剖学的構造の医用画像を含む。図１に示す実施形態では、再構築された医用画像１２８は、患者の脳の１２８×１２８ピクセルの２ＤＭＲ画像を含む。

【0030】

図１の画像再構築システム１００は、所定の間引き戦略に従って測定データを間引くことによって計算の複雑さ／学習されたパラメータの数を低減させながら、１つまたは複数の訓練されたディープニューラルネットワークを使用して、測定データから直接、医用画像の迅速で効率的かつ堅牢な再構築を可能にする。

【0031】

図２を参照すると、例示的な実施形態による、医用撮像システム２００が示されている。医用撮像システム２００は、画像処理システム２０２、表示装置２２０、ユーザ入力装置２３０、および撮像装置２４０を含む。いくつかの実施形態では、画像処理システム２０２の少なくとも一部は、有線および／または無線接続を介して医用撮像システム２００に通信可能に結合された装置（例えば、エッジ装置、サーバーなど）に配置される。いくつかの実施形態では、画像処理システム２０２の少なくとも一部は、医用撮像システム２００によって生成された画像を格納する記憶装置から、医用撮像システム２００からの画像を受け取ることができる別個の装置（例えば、ワークステーション）に配置される。

【0032】

画像処理システム２０２は、非一時的メモリ２０６に格納された機械可読命令を実行するように構成されたプロセッサ２０４を含む。プロセッサ２０４は、シングルコアまたはマルチコアであってもよく、そこで実行されるプログラムは、並列処理または分散処理のために構成され得る。いくつかの実施形態では、プロセッサ２０４は、離れて配置され、かつ／または協調処理のために構成され得る、２つ以上の装置全体に分散された個々の構成要素をオプションで含むことができる。いくつかの実施形態では、プロセッサ２０４の１つまたは複数の態様は、クラウドコンピューティング構成で構成された、リモートアクセス可能なネットワーク化されたコンピューティング装置によって仮想化され実行されてもよい。

【0033】

非一時的メモリ２０６は、ディープニューラルネットワークモジュール２０８、画像再構築モジュール２１２、および画像データ２１４を格納することができる。ディープニューラルネットワークモジュール２０８は、１つまたは複数のディープニューラルネットワークを含むことができ、それは、複数の重みとバイアス、活性化関数、損失関数、ならびに１つまたは複数のディープニューラルネットワークを実装して測定データを画像データにマッピングし、および／または間引きされた画像データを単一の画像データ配列にマッピングするための命令を含む。例えば、ディープニューラルネットワークモジュール２０８は、以下でより詳細に説明される方法３００および４００の１つまたは複数のステップに従って、１つまたは複数のニューラルネットワークを実装するための命令を格納することができる。ディープニューラルネットワークモジュール２０８は、訓練されたおよび／または訓練されていないニューラルネットワークを含むことができ、さらに、訓練データ、訓練ルーチン、あるいはそこに格納された１つまたは複数のニューラルネットワークモデルに関連付けられたパラメータ（例えば重みとバイアス）などの様々なデータをさらに含むことができる。ディープニューラルネットワークモジュール２０８は、ディープニューラルネットワークの１つまたは複数を訓練するための命令を含むことができる。一実施形態では、ディープニューラルネットワークモジュール２０８は、勾配降下アルゴリズム、損失関数、および訓練データを生成および／またはフィルタリングするためのルールを含むことができる。ディープニューラルネットワークモジュール２０８は、プロセッサ２０４によって実行されると、画像処理システム２０２に、以下でより詳細に説明する方法４００のステップの１つまたは複数を実行させる命令を含むことができる。一例では、ディープニューラルネットワークモジュール２０８は、画像データ２１４から訓練データペアを受け取るための命令を含み、訓練データペアは、ディープニューラルネットワークモジュール２０８に格納されたディープニューラルネットワークの１つまたは複数を訓練するのに使用するための、測定データと対応するグラウンドトゥルース医用画像とのペアを含む。一部の実施形態では、ディープニューラルネットワークモジュール２０８は、画像処理システム２０２に配置されない。

【0034】

ディープニューラルネットワークモジュール２０８は、訓練されたおよび／または訓練されていないニューラルネットワークを含むことができ、訓練されたおよび／または訓練されていないネットワークに関する様々なディープニューラルネットワークメタデータをさらに含むことができる。一部の実施形態では、ディープニューラルネットワークメタデータは、訓練されたディープニューラルネットワークを訓練するために使用される訓練データの表示、訓練されたディープニューラルネットワークを訓練するために採用される訓練方法、訓練されたディープニューラルネットワークの精度／検証スコア、および訓練されたディープニューラルネットワークが適用され得る撮像様式／撮像プロトコルのタイプを含むことができる。

【0035】

非一時的メモリ２０６は、画像再構築モジュール２１２をさらに含むことができ、これは、ディープニューラルネットワークモジュール２０８の１つまたは複数のニューラルネットワークと共に、以下の図３に示す方法３００のステップの１つまたは複数に従って、１つまたは複数の間引き戦略を実施して、測定データから医用画像を再構築するための命令を含む。

【0036】

非一時的メモリ２０６は、画像データ２１４、例えば、測定データまたは撮像装置２４０によって取得された対応する再構築された医用画像などをさらに格納することができる。画像データ２１４に格納された医用画像は、ＭＲＩシステム（撮像装置２４０がＭＲＩ撮像装置である実施形態）によって取り込まれたＭＲ画像、ＣＴ撮像システム（撮像装置２４０がＣＴ撮像装置である実施形態）によって取り込まれたＣＴ画像、および／または測定データ／生の撮像データの１つもしくは複数のタイプを含むことができる。例えば、画像データ２１４は、測定データおよび対応するグラウンドトゥルース医用画像を含むことができ、これらは順序付けられたフォーマットで格納することができ、それにより、被験者の解剖学的領域の測定データは、同じ被験者の同じ解剖学的領域のグラウンドトゥルース医用画像に関連付けられる。

【0037】

いくつかの実施形態では、非一時的メモリ２０６は、２つ以上の装置に配置された構成要素を含むことができ、これらは、遠隔的に配置され、および／または協調処理のために構成され得る。いくつかの実施形態では、非一時的メモリ２０６の１つまたは複数の態様は、クラウドコンピューティング構成で構成されたリモートアクセス可能なネットワーク記憶装置を含むことができる。

【0038】

医用撮像システム２００は、ＭＲＩ、ＣＴ、ＰＥＴ、ハイブリッドＰＥＴ／ＭＲ、超音波などを含む実質的に任意のタイプの医用撮像装置を含むことができる撮像装置２４０をさらに含む。撮像装置２４０は、患者の解剖学的領域の測定データを取得することができ、測定データは、解剖学的領域の撮像データの人間が理解できないエンコーディングを含むことができる。測定データ、およびそこから再構築された医用画像は、画像データ２１４、または医用撮像システム２００と通信可能に結合された他の非一時的記憶装置に格納されてもよい。

【0039】

医用撮像システム２００は、ユーザ入力装置２３０をさらに含むことができる。ユーザ入力装置２３０は、タッチスクリーン、キーボード、マウス、トラックパッド、モーションセンシングカメラ、またはユーザが画像処理システム２０２内のデータと対話してそれを操作できるように構成された他の装置のうちの１つまたは複数を含むことができる。

【0040】

表示装置２２０は、実質的に任意のタイプの技術を利用する１つまたは複数の表示装置を含むことができる。いくつかの実施形態では、表示装置２２０は、コンピュータモニタを含むことができ、医用画像および測定データを表示することができる。表示装置２２０は、共有された筐体内でプロセッサ２０４、非一時的メモリ２０６、および／またはユーザ入力装置２３０と組み合わされてもよく、あるいは周辺表示装置であってもよく、モニタ、タッチスクリーン、プロジェクタ、または当技術分野で公知の他の表示装置を含んでもよく、これにより、ユーザは、撮像装置２４０によって取得された測定データから再構築された医用画像を閲覧することができ、かつ／または非一時的メモリ２０６に格納された様々なデータと対話することができる。

【0041】

図２に示す医用撮像システム２００は、例示のためであり、限定のためではないことを理解されたい。別の適切な医用撮像システムは、より多くの、より少ない、または異なる構成要素を含んでもよい。

【0042】

図３を参照すると、ディープニューラルネットワークおよび間引き戦略を使用して測定データから医用画像を再構築するための例示的な方法３００が示されている。方法３００は、上述のシステムのうちの１つまたは複数によって実施され得る。一実施形態では、医用撮像システム２００は、撮像装置２４０によって取得された測定データに対応する医用画像を再構築する方法３００を実施することができる。

【0043】

方法３００は、医用撮像システムが測定データを受け取る動作３０２で始まる。一実施形態では、医用撮像システムは、撮像装置２４０などの撮像装置を使用して、患者の解剖学的領域の医用撮像データを取得することができる。別の実施形態では、医用撮像システムは、インターネット、ローカルエリア接続、または他のデジタル接続を介して医用撮像装置に接続された外部撮像装置など、通信可能に結合された装置から測定データを受け取ることができる。いくつかの実施形態では、動作３０２で受け取られた測定データは、測定データとしてアダマール変換データを有する、ｋ空間データ、ＣＴサイノグラムデータ、ＰＥＴサイノグラムデータ、光学撮像装置および分光計（光学、赤外線など）のうちの１つを含むことができる。あるいは、いくつかの実施形態では、測定データは、動作３０４の前に線形変換空間に変換され得る。一部の実施形態では、データが非デカルト（例えば、放射軌跡または螺旋軌跡）である場合には、方法３００が動作３０４に進む前に、データをデカルトグリッドに再グリッド化することができる。

【0044】

動作３０４で、医用撮像システムは間引き戦略を選択する。一実施形態では、ユーザは、ユーザ入力装置を使用して間引き戦略を選択することができる。別の実施形態では、医用撮像システムは、測定データの１つまたは複数の特性に基づいて間引き戦略を自動的に選択することができる。一実施形態では、第１の間引き戦略を、３Ｄ測定データを含む測定データに応答して選択することができ、第２の間引き戦略を、２Ｄ測定データを含む測定データに応答して選択することができる。一実施形態では、医用撮像システムは、測定データのサイズ、および配列サイズを示す所定の非ゼロの整数値Ｍに基づいて間引き戦略を選択することができ、間引き戦略は、測定データを、各々がサイズＭの複数の間引きされた測定データ配列に間引きすることを含むことができる。いくつかの実施形態では、分離可能な線形変換によって表される撮像様式は、同じ間引き戦略を使用して間引きされてもよい。

【0045】

動作３０６で、医用撮像システムは、動作３０４で選択された間引き戦略に従って測定データを再帰的に間引きして、複数の間引きされた測定データ配列を生成する。一部の実施形態では、間引き戦略は、間引き係数、サンプリングパターン、およびサンプリング周波数を含む（サンプリング周波数は、間引き係数の関数であり得る）。いくつかの実施形態では、測定データを間引きすることは、示されたサンプリングパターンおよびサンプリング周波数を使用して測定データをサンプリングして、複数の間引きされた測定データ配列を生成することを含む。いくつかの実施形態では、間引き戦略に従って測定データを再帰的に間引くことは、測定データからデータの第１の部分をサンプリングし、データの第１の部分を第１の間引きされた測定データ配列に割り当てること、および測定データからデータの第２の部分をサンプリングし、データの第２の部分を第２の間引きされた測定データ配列に割り当てることを含む。いくつかの実施形態では、第１の間引きされた測定データ配列および第２の間引きされた測定データ配列を間引きして、より少ないデータおよび／またはより低次元のデータを含むさらなる間引きされた測定データ配列を生成することができる。このプロセスは、所定のサイズの間引きされた測定データ配列が取得されるまで継続することができる。

【0046】

一部の実施形態では、ユーザは、間引きされた測定データ配列のサイズＭを選択することができ、動作３０６は、サイズＭの複数の配列を生成するために測定データを間引くことを含むことができ、Ｍは１より大きい整数を含む。一例では、測定データは１００行のベクトルを含むことができ、ユーザが２０の間引きされた測定データ配列のサイズを選択することに応答して、医用撮像システムは間引き係数５およびサンプリング周波数０．２０を設定することができ、１００行のベクトルを間引きして、各々が２０行を含む５つの間引きされた測定データ配列を生成することができる。

【0047】

動作３０８で、医用撮像システムは、複数の訓練されたディープニューラルネットワークを使用して、複数の間引きされた測定データ配列を複数の間引きされた画像データ配列にマッピングする。一実施形態では、複数の間引きされた測定データ配列を複数の間引きされた画像データ配列にマッピングすることは、複数の間引きされた測定データ配列を、１つまたは複数のディープニューラルネットワークの１つまたは複数の全結合層／密集層に通すことを含み、１つまたは複数のディープニューラルネットワークの１つまたは複数の全結合層／密集層は、図４を参照して以下でより詳細に説明するように、訓練フェーズ中に学習された１つまたは複数の学習されたフィルタを含む。

【0048】

動作３１０で、医用撮像システムは、１つまたは複数の訓練された集約ネットワークを使用して複数の間引きされた画像データ配列を再帰的に集約して、画像データ配列を生成する。いくつかの実施形態では、複数の間引きされた画像データ配列を集約することは、複数の間引きされた画像データ配列の各々を集約ネットワークの入力層に入力することを含む。次に、集約ネットワークは、１つまたは複数の１次元（１Ｄ）畳み込みフィルタを複数の間引きされた画像データ配列に適用して、画像データ配列を生成することができ、画像データ配列は、複数の間引きされた画像データ配列よりも高い解像度を有する。いくつかの実施形態では、間引きされた画像データ配列のペアは、集約ネットワークを使用して集約することができ、複数の間引きされた画像データ配列は、ペアで画像データ配列のより大きなサブユニットに集約することができる。例示的な例では、第１、第２、第３、および第４の間引きされた画像データ配列は、第１および第２の間引きされた画像データ配列を集約ネットワークに入力することによって集約することができ、集約ネットワークは、第１の部分的に集約された画像データ配列（ここでは、画像データ配列サブユニットとも呼ばれる）を出力する。同様に、第３および第４の間引きされた画像データ配列は、集約ネットワークに入力され、第２の部分的に集約された画像データ配列にマッピングすることができる。次に、第１および第２の部分的に集約された画像データ配列は、集約ネットワークに入力され、画像データ配列にマッピングすることができる。前の例では、第１および第２の部分的に集約された画像データ配列の解像度は、第１、第２、第３、または第４の間引きされた画像データ配列の解像度よりも高いが、画像データ配列の解像度よりは低くなっている。いくつかの実施形態では、２つ以上の間引きされた画像データ配列の集約は、間引きされた画像データ配列ベクトルを位置合わせし、チャネル／行によって２つ以上の間引きされた画像データ配列内のデータを連結して、チャネルごとに連結された間引きされた画像データ配列を生成することを含むことができる。次に、チャネルごとに連結された間引きされた画像データ配列を集約ネットワークの入力層に入力し、それによって空間情報を保持し、２つ以上の間引きされた画像データ配列の強度値間の空間関係を集約ネットワークに提供する。

【0049】

動作３１２で、医用撮像装置は、画像データ配列を再成形して、再構築された医用画像を生成する。いくつかの実施形態では、再構築された医用画像を形成するために画像データ配列を再成形することは、画像データ配列の行を行列に再配置することを含み、行列の各列は行と同じ数からなる。一例では、動作３１２は、複数の所定の行で画像データ配列を分割して複数の列を生成すること、および所定の順序に従って列を再配置し、それによって、人間が認識できるフォーマットの画像データ配列の画像データを表現する行列を生成することを含むことができる。

【0050】

動作３１４で、医用撮像装置は、表示装置を介して、再構築画像をユーザに表示する。

【0051】

動作３１４に続いて、方法３００は終了することができる。このようにして、方法３００は、従来の手法と比較して、画像解像度を犠牲にすることなく、かつ再構築画像におけるノイズの量を増大させることなく、より計算効率の高い医用画像再構築を可能にすることができる。

【0052】

測定データを間引きして１つまたは複数の間引きされた測定データ配列を形成することの技術的効果は、測定データを画像データにマッピングする計算の複雑さを、Ｏ（Ｎ^４）からＯ（Ｍ^４）に低減することができることであり、Ｎは測定データのサイズ、Ｍは個々の間引きされた測定データ配列のサイズであり、Ｍ＜Ｎである。

【0053】

図４を参照すると、上述のシステムのうちの１つまたは複数によって実行され得る訓練方法４００の例が示されている。一実施形態では、方法４００は、図１に示されている医用画像再構築システム１００などの医用画像再構築システムを訓練するために使用することができる。いくつかの実施形態では、訓練方法４００は、方法３００で使用される１つまたは複数のディープニューラルネットワークを訓練して、測定データから医用画像を再構築するために使用することができる。一実施形態では、訓練方法４００を使用して、間引きされた測定データ配列を間引きされた画像データ配列にマッピングするために使用される複数の畳み込みニューラルネットワークの１つまたは複数で使用される１つまたは複数の畳み込みフィルタを学習することができる。方法４００は、訓練データの同じセットを使用して、畳み込みニューラルネットワークと医用画像再構築システムの集約ネットワークの両方の訓練を実質的に同時に可能にし、それにより訓練プロセスの効率を高める。

【0054】

方法４００は、動作４０２で始まり、ここで、医用撮像システムは、訓練されている現在の医用画像再構築システムに基づいて、測定データおよび対応するグラウンドトゥルース医用画像を含む訓練データペアを選択する。一例では、訓練データペアは、それに関連付けられたメタデータに基づいて、医用撮像システム２００の画像データ２１４などの訓練データのリポジトリから選択することができる。いくつかの実施形態では、各撮像様式について、別個の医用画像再構築システムを訓練することができ、それにより、所与の医用画像再構築システムのディープニューラルネットワークおよび集約ネットワークが、画像データに対する特定の画像様式の測定データに関連する多様体を学習することを可能にする。言い換えれば、単一のタイプの撮像様式の測定データおよび対応するグラウンドトゥルース医用画像を含む訓練データを使用して医用画像再構築システムを選択的に訓練することにより、医用画像再構築システムの性能を向上させることができる。したがって、動作４０２で、医用撮像システムは、現在の画像再構築システムが訓練されるべき所定の撮像様式に基づいて訓練データペアを選択することができる。訓練データペアに関連付けられたメタデータは、訓練データペアが関連付けられている撮像様式のタイプを示すことができる。

【0055】

動作４０４で、医用撮像システムは、訓練されている現在の医用画像再構築システムに基づいて所定の間引き戦略を選択する。いくつかの実施形態では、各間引き戦略について、別個の医用画像再構築システムを訓練することができ、それによって、所与の医用画像再構築システムのディープニューラルネットワークおよび集約ネットワークが、特定サイズの間引きされた測定データ配列から画像データへのマッピングを学習することを可能にする。言い換えれば、単一の間引き戦略を使用して医用画像再構築システムを選択的に訓練することにより、医用画像再構築システムの性能を向上させることができる。したがって、動作４０４で、医用撮像システムは、訓練されている現在の医用画像再構築システムに基づいて間引き戦略を選択することができ、医用画像再構築は、医用画像再構築システムのディープニューラルネットワークの互換性がある、関連する間引き戦略の指示を含むことができる。

【0056】

動作４０６で、医用撮像システムは、選択された間引き戦略に従って測定データを再帰的に間引きして、複数の間引きされた測定データ配列を生成する。いくつかの実施形態では、選択された間引き戦略に従って測定データを再帰的に間引きすることは、動作４０４で選択された間引き戦略に従って、間引き係数、サンプリングパターン、およびサンプリング密度（間引き係数の関数であってもよい）を設定すること、ならびに、それにより、いくつかの間引きされた測定データ配列を生成することを含むことができる。間引きは、図１の間引き１０８を参照して、上記でより詳細に説明されている。

【0057】

動作４０８で、医用撮像システムは、現在の医用画像再構築システムの複数のディープニューラルネットワークを使用して、複数の間引きされた測定データ配列を複数の間引きされた画像データ配列にマッピングし、複数のディープニューラルネットワークは、１つまたは複数の訓練されていない畳み込みニューラルネットワークを含む。

【0058】

動作４１０で、医用撮像システムは、図３の動作３１０を参照して上でより詳細に説明したように、１つまたは複数の集約ネットワークを使用して複数の間引きされた画像データ配列を再帰的に集約し、予測画像データ配列を生成する。

【0059】

動作４１２で、医用撮像システムは、上記の図３の動作３１２を参照してより詳細に説明するように、予測画像データ配列を再成形して、予測医用画像を生成する。

【0060】

動作４１４で、医用撮像システムは、損失関数を使用して予測医用画像とグラウンドトゥルース医用画像とを比較することにより、予測医用画像の誤差を計算する。一実施形態では、ピクセルごとの誤差は、予測画像のピクセル強度（１つまたは複数の色について）およびグラウンドトゥルース医用画像の対応するピクセルのピクセル強度（１つまたは複数の色について）を損失関数に入力することによって決定することができる。各ピクセルの誤差を合計して、予測医用画像の全誤差（本明細書では、より簡単に誤差と呼ぶ）を生成することができる。

【0061】

動作４１６で、医用撮像システムは、逆伝播アルゴリズムを使用して１つまたは複数の集約ネットワークおよび複数のディープニューラルネットワークを通じて誤差を逆伝播することにより、１つまたは複数の集約ネットワークおよび複数のディープニューラルネットワークのパラメータを調整する。一実施形態では、動作４１６は、動作４１４で計算された誤差に基づいて、１つもしくは複数の集約ネットワークおよび複数のディープニューラルネットワークの重みおよびバイアスを調整する画像処理システムを含む。いくつかの実施形態では、誤差の逆伝播は、勾配降下アルゴリズムに従って発生することができ、誤差関数の勾配（一次導関数、または一次導関数の近似）は、複数のディープニューラルネットワークおよび１つもしくは複数の集約ネットワークの各重みおよび各バイアスについて決定される。次に、複数のディープニューラルネットワークならびに１つまたは複数の集約ネットワークの各重み（およびバイアス）は、以下の式により、重み（またはバイアス）について決定された（または近似された）勾配と所定のステップサイズの積の負の値を加えることによって更新される。

【0062】

【数1】

【0063】

ここで、Ｐ_ｉ＋１は更新されたパラメータ値、Ｐ_ｉは以前のパラメータ値、ηはステップサイズであり、

【0064】

【数2】

【0065】

は以前のパラメータに対する誤差の偏微分である。

【0066】

動作４１６に続いて、方法４００は終了することができる。方法４００は、１つまたは複数の条件が満たされるまで繰り返すことができることが理解されよう。いくつかの実施形態では、１つまたは複数の条件は、１つまたは複数の集約ネットワークならびに複数のディープニューラルネットワークの重みおよびバイアスが収束する（すなわち、複数のディープニューラルネットワークならびに１つまたは複数の集約ネットワークのパラメータの変化率が、所定のしきい値を下回るまで減少する）ことを含むことができ、動作４１４で決定された誤差は、所定の非ゼロのしきい値を下回るまで減少する（いくつかの例では、誤差は、訓練データセットとは異なる検証データセットを使用して決定されてもよい）。

【0067】

このようにして、複数のディープニューラルネットワークならびに１つまたは複数の集約ネットワークの両方を、共同訓練方法を使用して訓練することができ、単一の訓練データセットを使用して、複数のディープニューラルネットワークならびに１つまたは複数の集約ネットワークの両方のパラメータ（例えば、フィルタ／重みとバイアス）を調整することができ、訓練効率を高め、医用画像再構築システムの訓練に必要な時間を短縮することができる。

【0068】

図５を参照すると、本開示の手法を使用して再構築された医用画像（第１の医用画像５０２）が、従来の計算コストの高い再構築手法を使用して再構築された医用画像（第２の医用画像５０４）と比較されている。見て分かるように、第１の医用画像５０２は、第２の医用画像５０４に含まれる解剖学的構造に厳密に一致し、同等のレベルの解像度を提供する。

【0069】

本開示の様々な実施形態の要素を導入する場合に、「１つの（ａ）」、「１つの（ａｎ）」、および「前記（ｔｈｅ）」という冠詞は、１つまたは複数の要素があることを意味することが意図される。「第１の」、「第２の」などの用語は、任意の順序、量、または重要性を示すものではなく、ある要素を別の要素と区別するために使用される。「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、および「有する（ｈａｖｉｎｇ）」という用語は、包括的であることを意図し、列挙された要素以外にもさらなる要素が存在してもよいことを意味する。本明細書で「接続される」、「結合される」などの用語が使用される際に、１つの対象物（例えば、材料、要素、構造、部材など）は、１つの対象物が別の対象物に直接接続または直接結合されているかどうか、あるいは１つの対象物と別の対象物との間に１つまたは複数の介在する対象物があるかどうかに関係なく、別の対象物に接続されまたは結合され得る。さらに、本開示の「一実施形態」または「実施形態」への言及は、列挙された特徴も組み込む追加の実施形態の存在を排除するものとして解釈されることを意図しないことを理解されたい。

【0070】

前述の修正に加えて、当業者は、この説明の趣旨および範囲から逸脱することなく、他の多くの変形および代替的な配置を考案することができ、添付の特許請求の範囲は、そのような修正および配置を包含するものとする。したがって、情報は、現在最も実用的で好ましい態様であると現在考えられているものに関連して特定性および詳細と共に上記で説明されているが、本明細書に記載の原理および概念から逸脱することなく、形態、機能、動作の方法および使用を含むがこれらに限定されない多くの修正を行うことができることは、当業者には明らかであろう。また、本明細書で使用される実施例および実施形態は、あらゆる点で、例示のみを意図しており、いかなる方法でも限定的であると解釈されるべきではない。

【符号の説明】

【0071】

１００ 医用画像再構築システム
１０２ 測定データ
１０４ フラット化
１０６ 測定データ配列
１０８ 間引き
１１０ 第１の間引きされた測定データ配列
１１２ 第２の間引きされた測定データ配列
１１４ 第１のネットワーク
１１６ 第２のネットワーク
１１８ 第１の間引きされた画像データ配列
１２０ 第２の間引きされた画像データ配列
１２２ 集約ネットワーク
１２４ 画像データ配列
１２６ 再成形
１２８ 再構築された医用画像
２００ 医用撮像システム
２０２ 画像処理システム
２０４ プロセッサ
２０６ 非一時的メモリ
２０８ ディープニューラルネットワークモジュール
２１２ 画像再構築モジュール
２１４ 画像データ
２２０ 表示装置
２３０ ユーザ入力装置
２４０ 撮像装置
３００ 方法
３０２ 動作
３０４ 動作
３０６ 動作
３０８ 動作
３１０ 動作
３１２ 動作
３１４ 動作
４００ 方法
４０２ 動作
４０４ 動作
４０６ 動作
４０８ 動作
４１０ 動作
４１２ 動作
４１４ 動作
４１６ 動作
５０２ 第１の医用画像
５０４ 第２の医用画像

【図1】

【図2】

【図3】

【図4】

【図5】