▶ レンセラー ポリテクニック インスティテュートの特許一覧
特許7123983ニューラルネットワークを使用した断層撮影画像再構成およびラジオミクスを統合するためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-15
(45)【発行日】2022-08-23
(54)【発明の名称】ニューラルネットワークを使用した断層撮影画像再構成およびラジオミクスを統合するためのシステムおよび方法
(51)【国際特許分類】
A61B 6/03 20060101AFI20220816BHJP
A61B 5/055 20060101ALI20220816BHJP
G01T 1/161 20060101ALI20220816BHJP
【ＦＩ】
A61B6/03 360Z
A61B5/055 376
A61B5/055 380
G01T1/161 D
【請求項の数】
20
(21)【出願番号】P 2019569302
(86)(22)【出願日】2018-06-18
(65)【公表番号】
(43)【公表日】2020-08-13
(86)【国際出願番号】 US2018038040
(87)【国際公開番号】W WO2018232388
(87)【国際公開日】2018-12-20
【審査請求日】2021-05-13
(31)【優先権主張番号】62/520,682
(32)【優先日】2017-06-16
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514117483
【氏名又は名称】レンセラー ポリテクニック インスティテュート
(74)【代理人】
【識別番号】110002310
【氏名又は名称】特許業務法人あい特許事務所
(72)【発明者】
【氏名】ワン，ゲー
(72)【発明者】
【氏名】カルラ，マニュディープ
(72)【発明者】
【氏名】ハーン，ユルゲン
(72)【発明者】
【氏名】クルーガー，ウーヴェ
(72)【発明者】
【氏名】コン，ウェンシャン
(72)【発明者】
【氏名】シャン，ホンミン
【審査官】最首 祐樹
(56)【参考文献】
【文献】特開２００６－０４３００７（ＪＰ，Ａ）
【文献】特表２００８－５２０３９１（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０１０３５３２（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／００３５３８１（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ６／０３
Ａ６１Ｂ ５／０５５
Ｇ０１Ｔ １／１６１
(57)【特許請求の範囲】
【請求項1】
コンピュータ断層撮影（ＣＴ）スクリーニングまたは別のＣＴによる画像解析タスクを実行する方法であって、標的個体からのＣＴ投影データの訓練セットおよび関連する訓練用診断データを提供し、
前記ＣＴ投影データの訓練セットから断層撮影画像を再構成するよう１つまたは複数の再構成ネットワークを訓練し、
前記標的個体を診断的に検査するため、前記断層撮影画像および前記関連する訓練用診断データから各特徴を抽出するように、１つまたは複数のラジオミクスネットワークを訓練し、
前記１つまたは複数の再構成ネットワークと前記１つまたは複数のラジオミクスネットワークとをエンドツーエンドネットワークに統合し、
前記エンドツーエンドネットワークを訓練し、
個体からのＣＴ投影データの少なくとも１つのセットを前記エンドツーエンドネットワークに入力し、
前記エンドツーエンドネットワークによって抽出された前記特徴に基づいて前記個体に対する可能性のある診断を特定する、方法。
【請求項2】
前記１つまたは複数の再構成ネットワークは、前記ＣＴ投影データセットを粗い画像として再構成するよう訓練された第１ネットワークと、
前記粗い画像を精緻化し、前記断層撮影画像を出力するよう訓練された第２ネットワークとを含む、請求項１に記載の方法。
【請求項3】
前記第１ネットワークは、少なくとも１つの畳み込みニューラルネットワーク（ＣＮＮ）層と逆投影層とを含むネットワークベースのフィルタ補正逆投影（ＦＢＰ）であり、前記ＣＮＮ層は、１つまたは複数のフィルタを含む、請求項２に記載の方法。
【請求項4】
前記第２ネットワークは、１つまたは複数のフィルタを含む少なくとも１つのＣＮＮ層と、前記再構成された断層撮影画像と真の断層撮影サンプル画像との間の損失を決定する識別器を有する第１敵対的生成ネットワーク（ＧＡＮ）とを含む、請求項２に記載の方法。
【請求項5】
前記１つまたは複数のラジオミクスネットワークは、前記断層撮影画像における関心領域を特定し、関心領域セグメンテーション出力画像を出力するよう訓練された第３ネットワークと、
前記関心領域および関連する診断データにおける特徴を抽出し、特徴を抽出した断層撮影画像を出力し、前記ＣＴ投影データセットから可能性のある診断を特定するよう訓練された第４ネットワークと
を含む、請求項１に記載の方法。
【請求項6】
前記第３ネットワークは、少なくとも１つのＣＮＮと、前記関心領域セグメンテーション出力画像と人間の注釈付き関心領域セグメンテーション訓練画像との間の損失を決定する識別器を有する第２ＧＡＮとを含む、請求項５に記載の方法。
【請求項7】
前記第４ネットワークは、１つまたは複数のフィルタを含むＣＮＮ層と、前記特徴を抽出した断層撮影画像と特徴にラベルを付けた関心領域訓練画像との間の損失を決定する識別器を有する第３ＧＡＮとを含む、請求項５に記載の方法。
【請求項8】
前記第４ネットワークは、教師なしの方法で、転移学習、またはそれらの組み合わせを介して、ノイズおよび／またはアーティファクトを除去し、抽出された特徴に基づいて分類することを学習するよう、関心領域セグメンテーション出力画像を使って訓練される、請求項７に記載の方法。
【請求項9】
前記第４ネットワークは、前記教師なしの訓練、転移学習、またはそれらの組み合わせの後、教師ありの方法で微調整される、請求項８に記載の方法。
【請求項10】
前記関連する訓練用診断データには、病理学的結果、組織学的所見、臨床報告、臨床検査、遺伝子プロファイリング、ゲノムアッセイ、プロテオミクスアッセイ、またはそれらの組み合わせが含まれる、請求項１に記載の方法。
【請求項11】
スクリーニング、診断、または別の画像による解析タスクを実行するためのシステムであって、１つまたは複数のプロセッサを含むコンピュータ装置と連結した非一時的コンピュータ記憶媒体を含み、
前記１つまたは複数のプロセッサは、個体を検査するために前記非一時的コンピュータ記憶媒体にエンコードされた１つまたは複数のコンピュータプログラムを実行するよう構成され、
前記１つまたは複数のコンピュータプログラムは、
前記個体からの断層撮影データセットから断層撮影画像を再構成するよう訓練された１つまたは複数の再構成ニューラルネットワークを含む再構成モジュールと、前記再構成モジュールと統合され、前記断層撮影画像における特徴を抽出して、前記個体を診断的に検査するよう訓練された１つまたは複数のラジオミクスネットワークを含むラジオミクスモジュールとを有する訓練されたエンドツーエンドネットワークを含む、システム。
【請求項12】
断層撮影訓練データ、関連する訓練用診断データ、真の断層撮影サンプル画像、人間の注釈付き関心領域セグメンテーション訓練画像、および特徴にラベルを付けた関心領域訓練画像を含むネットワーク訓練モジュールをさらに備える、請求項１１に記載のシステム。
【請求項13】
前記１つまたは複数の再構成ニューラルネットワークは、前記断層撮影データを粗い画像として再構成するよう訓練された第１ネットワークであって、少なくとも１つのＣＮＮ層と逆投影層とを含むネットワークベースのＦＢＰを含む第１ネットワークと、
前記粗い画像を精緻化し前記断層撮影画像を出力するよう訓練された第２ネットワークであって、少なくとも１つのＣＮＮ層または疎結合層を含む第２ネットワークとを含む、請求項１２に記載のシステム。
【請求項14】
前記１つまたは複数のラジオミクスネットワークは、前記断層撮影画像における関心領域を特定し、関心領域セグメンテーション出力画像を出力するよう訓練された第３ネットワークであって、少なくとも１つのＣＮＮ層または疎結合層を含む第３ネットワークと、
前記関心領域および関連する診断データにおいて特徴を抽出し、特徴を抽出した断層撮影画像を出力し、断層撮影データセットに対して可能性のある診断を特定するよう訓練された第４ネットワークであって、少なくとも１つのＣＮＮ層または疎結合層を含む第４ネットワークとを含む、請求項１２に記載のシステム。
【請求項15】
前記第２ネットワークは、少なくともいくつかの真の断層撮影サンプル画像を使って訓練されたＧＡＮを含む、請求項１３に記載のシステム。
【請求項16】
前記第３ネットワークは、少なくともいくつかの人間の注釈付き関心領域セグメンテーション訓練画像を使って訓練されたＧＡＮを含む、請求項１４に記載のシステム。
【請求項17】
前記第４ネットワークは、最初に教師なしの方法で、ノイズおよび／またはアーティファクトを除去し、抽出された特徴に基づいて分類することを学習するよう、前記第３ネットワークからの関心領域セグメンテーション出力画像を使って訓練され、次に教師ありの方法で、前記関心領域から特徴を抽出するよう、特徴にラベルを付けた関心領域訓練画像、診断用訓練データ、またはそれらの組み合わせを使って訓練されたＧＡＮを含む、請求項１４に記載のシステム。
【請求項18】
前記断層撮影訓練データには、ＣＴ投影データ、ＭＲＩデータ、核撮像データ、超音波信号、光データ、またはそれらの組み合わせが含まれる、請求項１２に記載のシステム。
【請求項19】
スクリーニングまたは別の画像による解析タスクを実行する方法であって、各標的個体からの断層撮影訓練データセットおよび関連する訓練用診断データを提供し、
各標的個体からの前記断層撮影訓練データおよび関連する訓練用診断データから特徴を抽出するよう１つまたは複数のニューラルネットワークを訓練し、
前記１つまたは複数のネットワークを統合エンドツーエンドネットワークに統合し、
前記標的個体からの前記断層撮影訓練データおよび前記関連する訓練用診断データを使って前記統合ネットワークを訓練し、
個体からの断層撮影データセットを前記統合エンドツーエンドネットワークに入力し、
前記統合エンドツーエンドネットワークによって抽出された前記特徴に基づいて前記個体に対する可能性のある診断を特定する、方法。
【請求項20】
前記断層撮影訓練データには、ＣＴ投影データ、ＭＲＩデータ、核撮像データ、超音波信号、光データ、またはそれらの組み合わせが含まれる、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ニューラルネットワークを使用した断層撮影画像再構成およびラジオミクスを統合するためのシステムおよび方法に関する。
【背景技術】
【0002】
世界保健機関によれば、がんは世界的に死亡の主な原因であり、２０１５年には、肺がんだけで１６９万人の死亡に寄与している。肺がんは、米国のがん関連死のほぼ３分の１に寄与している。
【0003】
全米肺検診試験（ＮＬＳＴ）は、年１回３年間にわたる低線量ＣＴ（ＬＤＣＴ）による肺がんスクリーニングによって肺がん関連死が２０％減少したと報告した。これは肯定的な結果であるが、スクリーニングは大きな臨床的課題を呈する。たとえば、ＬＤＣＴには偽陽性肺結節が高い頻度で存在し、放射線科医は多くの場合、悪性肺結節を良性肺結節と確実に区別するのが困難であり、フォローアップＣＴスキャンおよび時として侵襲的（肺生検）および高価な（ＰＥＴ－ＣＴ）検査につながる。
【0004】
密接にかかわる課題は、肺外がん患者におけるベースラインＣＴで不確定な肺結節の悪性／転移性の可能性を正確に検出できないことである。このような場合はたいてい、これらの肺結節の特徴付けのために、３、６、９、１２、および２４ヶ月でのフォローアップＣＴ、ＰＥＴ－ＣＴ、または組織生検を必要とする。さらに、ＬＤＣＴは、５年間で２７４億ドルのメディケア予算を必要とし、（ＬＤＣＴスクリーニングの遵守率７５％を想定して）追加の肺がん死が回避されるごとに約２４０，０００ドルに達するであろうと予測される。乳がんのデジタルマンモグラフィスクリーニングに対して、ＬＤＣＴの費用はおよそ３倍高い。
【発明の概要】
【発明が解決しようとする課題】
【0005】
ラジオミクスは、スクリーニングＬＤＣＴで検出された肺結節を評価するための有望な方法として提案されている。ラジオミクスの概念の背後にある重要な考え方は、画像には視覚的に認識できるものより多くの情報が含まれ、隠れた情報を抽出することができるということである。したがって、現在のラジオミクス技術は基本的に限られているが、ラジオミクスは、費用を引き下げることでスクリーニングＬＤＣＴを変容させ、肺がん診断までの時間を早める可能性がある。
【課題を解決するための手段】
【0006】
ここに開示される主題は、スクリーニング、診断、または別の画像による解析タスクを実行するためのシステムを対象とする。
【0007】
いくつかの実施態様では、該システムは、１つまたは複数のプロセッサを含むコンピュータ装置と連結した非一時的コンピュータ記憶媒体を含み、１つまたは複数のプロセッサは、個体を検査するために非一時的コンピュータ記憶媒体にエンコードされた１つまたは複数のコンピュータプログラムを実行するように構成されている。
【0008】
いくつかの実施態様では、１つまたは複数のコンピュータプログラムは、１つまたは複数の再構成アルゴリズム、たとえばフィルタ補正逆投影（ＦＢＰ）型のアルゴリズムまたは繰り返し圧縮センシングアルゴリズム、および／または個体の断層撮影データセットから１つまたは複数の画像特性（たとえば境界、テクスチャなど）を強調する断層撮影画像を再構成するよう訓練された（trained）ネットワークを含む再構成モジュールと、再構成モジュールと統合され、断層撮影画像において特徴を抽出して個体を診断的に検査するよう訓練された１つまたは複数のラジオミクスネットワークを含むラジオミクスモジュールとを含む訓練されたエンドツーエンドネットワークを含む。
【0009】
いくつかの実施態様では、システムは、断層撮影訓練データを使って、それらを関連する訓練用診断データ、真の断層撮影サンプル画像、人間の注釈付き関心領域セグメンテーション訓練画像、および特徴にラベルを付けた関心領域訓練画像にマッピングするよう訓練されたネットワーク訓練モジュールを含む。
【0010】
いくつかの実施態様では、システムは、明示的に中間画像を伴わず、断層撮影訓練データを最終診断所見に直接マッピングする。すなわち再構成画像をバイパスする。
【0011】
いくつかの実施態様では、断層撮影訓練データは、ＣＴ投影データ、ＭＲＩデータ、核撮像データ、超音波信号、光データなど、またはそれらの組み合わせを含む。
【0012】
いくつかの実施態様では、１つまたは複数の再構成ネットワークは、断層撮影データを粗い画像として再構成するよう訓練された第１ネットワークであって、１つまたは複数のフィルタを含む少なくとも１つのＣＮＮ層と逆投影層とを含むネットワークベースのＦＢＰを含む第１ネットワークと、粗い画像を精緻化して断層撮影画像を出力するよう訓練された第２ネットワークであって、１つまたは複数のフィルタを含むＣＮＮ層または疎結合層、またはそれらの組み合わせを含む第２ネットワークとを含む。
【0013】
いくつかの実施態様では、第２ネットワークは、少なくともいくつかの真の断層撮影サンプル画像を使って訓練された識別器を有する第１ＧＡＮを含む。
【0014】
いくつかの実施態様では、１つまたは複数のラジオミクスネットワークは、断層撮影画像における関心領域を特定して、関心領域セグメンテーション出力画像を出力するよう訓練された第３ネットワークであって、ＣＮＮ層または疎結合層、またはそれらの組み合わせを含む第３ネットワークと、関心領域および関連する診断データにおける特徴を抽出し、特徴を抽出した断層撮影画像を出力し、断層撮影データセットに対して可能性のある診断を特定するよう訓練された第４ネットワークであって、１つまたは複数のフィルタを含む第４ＣＮＮ層または疎結合層、またはそれらの組み合わせを含む第４ネットワークとを含む。
【0015】
いくつかの実施態様では、第３ネットワークは、少なくともいくつかの人間の注釈付き関心領域セグメンテーション訓練画像を使って訓練された識別器を有する第２ＧＡＮを含む。
【0016】
いくつかの実施態様では、第４ネットワークは、最初に、教師なしの方法で、ノイズおよび／またはアーティファクトを除去して、抽出した特徴に基づいて分類することを学習するよう、第３ネットワークからの関心領域セグメンテーション出力画像を使って訓練され、次に、教師ありの方法で、関心領域から特徴を抽出するよう、特徴にラベルを付けた関心領域訓練画像、診断用訓練データ、またはそれらの組み合わせを使って訓練された第３識別器を有する第３ＧＡＮを含む。
【0017】
ここで開示される主題のいくつかの実施態様は、コンピュータ断層撮影（ＣＴ）スクリーニング、診断、または別のＣＴによる画像解析タスクを実行する方法を対象にする。
いくつかの実施態様では、方法は、標的個体からのＣＴ投影データの訓練セットおよび関連する訓練用診断データを提供することを含む。
いくつかの実施態様では、方法は、標的個体からのＣＴ投影データの訓練セットおよび関連する訓練用診断データを提供することを含む。
【0018】
いくつかの実施態様では、方法は、１つまたは複数の再構成ネットワークを訓練して、および／または１つまたは複数の再構成アルゴリズムを使用して、ＣＴ投影データの訓練セットから断層撮影画像を再構成することを含む。
【0019】
いくつかの実施態様では、方法は、断層撮影画像および関連する訓練用診断データから特徴を抽出し、標的個体を診断的に検査するよう１つまたは複数のラジオミクスネットワークを訓練することを含む。
【0020】
いくつかの実施態様では、方法は、１つまたは複数の再構成ネットワーク／アルゴリズムおよび１つまたは複数のラジオミクスネットワークをエンドツーエンドネットワークに統合することを含む。
【0021】
いくつかの実施態様では、方法は、エンドツーエンドネットワークを訓練することを含む。いくつかの実施態様では、方法は、少なくとも個体からのＣＴ投影データセットをエンドツーエンドネットワークに入力することを含む。
【0022】
いくつかの実施態様では、方法は、エンドツーエンドネットワークによって抽出された特徴に基づいて個体に対する可能性のある診断を生成することを含む。
【0023】
いくつかの実施態様では、１つまたは複数の再構成ネットワークは、ＣＴ投影データセットから粗い画像を再構成するよう訓練された第１ネットワークと、粗い画像を精緻化し断層撮影画像を出力するよう訓練された第２ネットワークとを含む。
【0024】
いくつかの実施態様では、第１ネットワークは、少なくとも１つの畳み込みニューラルネットワーク（ＣＮＮ）層と逆投影層とを含むネットワークベースのフィルタ補正逆投影（ＦＢＰ）であり、ＣＮＮ層は、１つまたは複数のフィルタを含む。
【0025】
いくつかの実施態様では、第２ネットワークは、１つまたは複数のフィルタを含む少なくとも１つのＣＮＮ層と、再構成された断層撮影画像と真の断層撮影サンプル画像との間の損失を決定する識別器を有する第１敵対的生成ネットワーク（ＧＡＮ）とを含む。
【0026】
いくつかの実施態様では、１つまたは複数のラジオミクスネットワークは、断層撮影画像における関心領域を特定し、関心領域セグメンテーション出力画像を出力するよう訓練された第３ネットワークと、関心領域および関連する診断データにおける特徴を抽出し、特徴を抽出した断層撮影画像を出力し、ＣＴ投影データセットから可能性のある診断を特定するよう訓練された第４ネットワークとを含む。
【0027】
いくつかの実施態様では、第３ネットワークは、少なくとも１つのＣＮＮまたは疎結合層と、関心領域セグメンテーション出力画像と人間の注釈付き関心領域セグメンテーション訓練画像との間の損失を決定する識別器を有する第２ＧＡＮとを含む。
【0028】
いくつかの実施態様では、第４ネットワークは、１つまたは複数のフィルタを含むＣＮＮ層と、特徴を抽出した断層撮影画像と特徴にラベルを付けた関心領域訓練画像との間の損失を決定する識別器を有する第３ＧＡＮとを含む。
【0029】
いくつかの実施態様では、第４ネットワークは、教師なしおよび／または転移学習の方法で、ノイズおよび／またはアーティファクトを除去し、抽出された特徴に基づいて分類することを学習するよう、関心領域セグメンテーション出力画像を使って訓練される。
いくつかの実施態様では、第４ネットワークは、教師なしの訓練および／または転移学習の後に、教師ありの方法で微調整される。
いくつかの実施態様では、第４ネットワークは、教師なしの訓練および／または転移学習の後に、教師ありの方法で微調整される。
【0030】
いくつかの実施態様では、関連する訓練用診断データには、病理学的結果、組織学的所見、臨床報告、臨床検査、遺伝子プロファイリング、ゲノムアッセイ、プロテオミクスアッセイなど、またはそれらの組み合わせが含まれる。
【0031】
開示される主題のいくつかの実施態様は、断層撮影画像の再構成をバイパスし、“ローディオミクス”を直接実行する、すなわち、明示的に中間画像を伴わず、生データをラジオミクスへ直接エンドツーエンドマッピングする、ＣＴスクリーニング、診断、または別のＣＴによる画像解析タスクを実行する方法を対象にする。
【0032】
いくつかの実施態様では、方法は、標的個体からの断層撮影訓練データセットおよび関連する訓練用診断データを提供し、標的個体からの断層撮影訓練データおよび関連する訓練用診断データから特徴を抽出するよう１つまたは複数のネットワークを訓練し、１つまたは複数のネットワークを統合エンドツーエンドネットワークに統合し、標的個体からの断層撮影訓練データおよび関連する訓練用診断データを使って統合ネットワークを訓練し、個体からの断層撮影データセット（たとえばＸ線ソノグラムなどの生データ）を統合エンドツーエンドネットワークに入力し、統合エンドツーエンドネットワークによって抽出された特徴に基づいて個体に対する可能性のある診断を生成することを含む。
【0033】
図面は、本発明を説明する目的で、開示される主題の実施形態を示している。しかしながら、本出願は、図面に示される正確な配置および手段に限定されないことを理解されたい。
【図面の簡単な説明】
【0034】
【図1】従来技術にかかる画像解析およびラジオミクスを実行するためのワークフローの概略図である。
【図2A】本発明の実施形態にかかる画像解析およびラジオミクスを実行するためのシステムの概略図である。
【図2B】画像解析を実行するためのネットワークの概略図である。
【図2C】ラジオミクスを実行するためのネットワークの概略図である。
【図3A】画像解析およびラジオミクスを実行するためのワークフローの概略図である。
【図3B】画像解析およびラジオミクスを実行する方法を示すフローチャートである。
【図4】ローディオミクスを実行するためのシステムの概略図である。
【図5A】ローディオミクスを実行するためのワークフローの概略図である。
【図5B】ローディオミクスを実行する方法を説明するためのフローチャートである。
【図6A】同一のデータセットからそれぞれに再構成された画像を示すチャートである。
【図6B】転移学習によるニューラルネットワークを使用したラジオミクス特徴の抽出を示すチャートである。
【発明を実施するための形態】
【0035】
ここで図２Ａを参照する。本明細書で開示される主題の態様は、スクリーニング、診断、または個体（たとえば患者）の検査および／または診断に関連する別の画像による解析タスクを実行するためのシステム２００を含む。
【0036】
いくつかの実施形態では、システム２００は、１つまたは複数のプロセッサ２０６を含むコンピューティングデバイス２０４と連結した非一時的（non-transitory）コンピュータ記憶媒体２０２を含む。非一時的コンピュータ記憶媒体２０２は、一時的（temporarily）、恒久的（permanently）、またはそれらの組み合わせで電子的にデータを記憶することができる任意の適切な記憶媒体とすることができる。コンピューティングデバイス２０４は、有線または無線通信を介してシステム２００のデータと対話するための任意の適切なデバイス（たとえばデスクトップコンピュータ、ラップトップコンピュータ、スマートデバイスなど）とすることができる。１つまたは複数のプロセッサ２０６は、非一時的コンピュータ記憶媒体２０２にエンコードされた１つまたは複数のコンピュータプログラム２０８を実行するように構成されている。
【0037】
１つまたは複数のコンピュータプログラム２０８は、単独でまたは何らかの組み合わせで、たとえば１つまたは複数の病気、症状などがないか、個体を検査し診断を支援するよう構成されている。
【0038】
いくつかの実施形態では、１つまたは複数のコンピュータプログラム２０８は、ネットワーク２１０（たとえば人工ニューラルネットワーク（ＡＮＮ））を含む。
【0039】
いくつかの実施形態では、ネットワーク２１０は、より詳細に後述するように訓練（train）される。ネットワーク２１０は、本明細書ではソフトウェアとして記載されるが、ネットワーク２１０がソフトウェアおよびハードウェアの組み合わせとしてまたは純粋にハードウェアとして動作する場合を含め、他の構成が考えられるため、本開示はこの点で限定されない。
【0040】
いくつかの実施形態では、ネットワーク２１０は、１つまたは複数の再構成ネットワーク２１４、アルゴリズム２１６、またはそれらの組み合わせを含む再構成モジュール２１２を含む。再構成モジュール２１２は、検査またはスクリーニングを受ける個体からの断層撮影データセットから断層撮影画像を再構成するよう訓練される。
【0041】
いくつかの実施形態では、たとえば上記で特定した１つまたは複数の再構成ネットワーク２１４、アルゴリズム２１６、またはそれらの組み合わせを使用して、異なる断層撮影画像が、１つまたは複数の画像特性（たとえば境界、テクスチャなど）を強調して、同一の訓練データセットから複数の異なる断層撮影画像が再構成される。その後、複数の異なる断層撮影画像は連係して考慮され、モジュールを全体的に訓練する。断層撮影データには、ＣＴ投影データ、ＭＲＩデータ、核撮像データ、超音波信号、光データなど、またはそれらの組み合わせが含まれる。
【0042】
いくつかの実施形態では、ネットワーク２１０は、１つまたは複数のラジオミクス（radiomics）ネットワーク２２０を含むラジオミクスモジュール２１８を含む。ラジオミクスモジュール２１８は、断層撮影画像（たとえば再構成モジュール２１２からの再構成断層撮影画像）において特徴を抽出して、検査またはスクリーニングを受ける個体を診断的に検査するよう訓練される。
【0043】
いくつかの実施形態では、再構成モジュール２１２およびラジオミクスモジュール２１８は、有利にも断層撮影データの再構成を断層撮影画像、画像処理／解析、および特徴抽出（たとえばラジオミクス）へ統合して、自身の生の断層撮影データ、関連する診断データ、またはそれらの組み合わせに基づいて個体をスクリーニングおよび／または診断するための情報を有利にも提供するエンドツーエンドネットワークとして統合される。スクリーニングまたは診断される例示的な病気および／または症状には、良性および悪性腫瘍、がん（たとえば肺がん、肝臓がん、結腸がんなど）、気腫、慢性閉塞性肺疾患（ＣＯＰＤ）などが含まれるがこれらに限定されない。
【0044】
ネットワーク２１０が正確なスクリーニング、診断、および／または別の情報処理タスクを提供するために、ネットワーク２１０は、母集団内の標的個体群からのおよびそれらを代表する訓練データセット２２２で訓練される。
【0045】
いくつかの実施形態では、ネットワーク２１０は、訓練データセット２２２でネットワーク２１０を訓練するためのネットワーク訓練モジュール２２４を含む。有利にも、訓練データセットはできるだけ多くの代表的なデータを含み、データ自身はできるだけ正確であり、訓練モジュール２２４によってネットワーク２１０に与えられる訓練の品質、つまり、ネットワークからのスクリーニング、検査、および／または診断の信頼性を最大にする。
【0046】
いくつかの実施形態では、訓練データセット２２２には、断層撮影訓練データ、たとえばサイノグラム、関連する訓練用診断データ、真の断層撮影サンプル画像、人間の注釈付き関心領域セグメンテーション訓練画像、特徴にラベルを付けた関心領域訓練画像、またはそれらの組み合わせが含まれるが、それらに限定されない。
【0047】
いくつかの実施形態では、断層撮影訓練データには、ＣＴ投影データ、ＭＲＩデータ、核撮像データ、超音波信号、光データなど、またはそれらの組み合わせが含まれる。
【0048】
いくつかの実施形態では、関連する訓練用診断データには、病理学的結果、組織学的所見、臨床報告、臨床検査、遺伝子プロファイリング、ゲノムアッセイ、プロテオミクスアッセイなど、またはそれらの組み合わせが含まれるが、それらに限定されない。
【0049】
いくつかの実施形態では、ネットワーク訓練モジュール２２４は、検査またはスクリーニングを受ける個体からの断層撮影データセットから断層撮影画像を再構成するよう再構成モジュール２１２を訓練するよう構成されている。システム２００および再構成モジュール２１２のフレームワークは、部分的に、生データおよび／または低品質の入力画像からより高品質の出力画像へのデータ駆動型の関係を確立することである。理論に縛られることを望むものではないが、式１のように定式化される関係で、Ｘ∈Ｒｍｘｎをノイズおよびアーティファクトを含む入力画像とし、Ｙ∈Ｒｍｘｎを対応する正解画像とする。
【0050】
【数1】
【0051】
いくつかの実施形態では、このプロセスは次のように定式化される。
【0052】
【数2】
【0053】
いくつかの実施形態では、ネットワーク訓練モジュール２２４は、断層撮影画像における特徴を抽出して、検査またはスクリーニングを受ける個体を診断的に検査するようラジオミクスモジュール２１８を訓練するよう構成されている。
【0054】
いくつかの実施形態では、再構成モジュール２１２およびラジオミクスモジュール２１８がエンドツーエンドネットワークとして統合されると、ネットワーク訓練モジュール２２４は、以下にさらに詳細に記載するように、スクリーニング、診断、または個体の検査および／または診断に関連する別の画像による解析タスクを実行するために、生データから最終診断までエンドツーエンドネットワークを訓練するよう構成されている。
【0055】
ここで図２Ｂを参照すると、いくつかの実施形態では、再構成モジュール２１２は、断層撮影データ（たとえばＣＴ投影データセット）から１つまたは複数の粗い画像を再構成するよう訓練された第１ネットワーク２１４Ａを含む。
【0056】
いくつかの実施形態では、第１ネットワーク２１４Ａは、少なくとも１つの畳み込みニューラルネットワーク（ＣＮＮ）層と逆投影層とを含むネットワークベースのフィルタ補正逆投影（ＦＢＰ）を含む。本明細書で使用されるように、ＣＮＮは少なくとも１つの畳み込み層を有する。
【0057】
いくつかの実施形態では、ＣＮＮ層は、１つまたは複数のフィルタを含む。
【0058】
いくつかの実施形態では、再構成モジュール２１２は、粗い画像を精緻化し断層撮影画像を出力するよう訓練された第２ネットワーク２１４Ｂを含む。
【0059】
いくつかの実施形態では、ネットワーク２１４Ａおよび２１４Ｂは、統合ネットワークに結合されて画像を直接再構成する。たとえば、Ｈ．Ｃｈｅｎ他「ＬＥＡＲＮ：疎データＣＴのための学識ある専門家の評価に基づいた再構成ネットワーク」ＩＥＥＥ（米国電気電子通信学会）Transactions on Medical Imaging ２０１８年６月 第３７巻 第６号 １３３３～１３４７頁を参照されたい。そして、参照によりその全体が本明細書に開示されるように組み込まれる。
【0060】
いくつかの実施形態では、第２ネットワーク２１４Ｂは、ＣＮＮ層などの少なくとも１つの疎結合層を含む。
【0061】
いくつかの実施形態では、ＣＮＮ層は、１つまたは複数のフィルタを含む。
【0062】
いくつかの実施形態では、第２ネットワーク２１４Ｂは、少なくとも１つの敵対的生成ネットワーク（ＧＡＮ）を含む。理論に縛られることを望むものではないが、ＧＡＮは２つの構成要素を含む。すなわち、生成器および識別器である。生成器は、出力（たとえば再構成された画像）を提供することを目的とし、識別器は、生成器の出力と出力の実際の／真の対応物とを区別する、つまり、それらの間の差異を測定し、判断することを目的としている。ＧＡＮの訓練では、識別器が生成器からの人工的な出力と実際の対応物との間の違いを識別できなくなるまで生成器および識別器は互いに競い合う。
【0063】
いくつかの実施形態では、第２ネットワーク２１４ＢのＧＡＮは、少なくとも１つの真の断層撮影サンプル画像を使って訓練された識別器を有する。第２ネットワーク２１４ＢのＧＡＮは、断層撮影画像（たとえばネットワーク２１４Ａおよび／または２１４Ｂによって再構成されたもの）と真の断層撮影サンプル画像とを区別する（たとえば差異を決定する）よう訓練される。
【0064】
ここで図２Ｃを参照すると、いくつかの実施形態では、ラジオミクスモジュール２１８は、断層撮影画像において関心領域（たとえば肺結節、肝腫瘤、または他の腫瘤の周囲）を特定し、関心領域が画像の背景からセグメント化された画像を、すなわち、関心領域セグメンテーション出力画像として出力するよう訓練された第３ネットワーク２２０Ａを含む。
【0065】
いくつかの実施形態では、第３ネットワーク２２０Ａは、ＣＮＮ層などの少なくとも１つの疎結合層を含む。
【0066】
いくつかの実施形態では、ＣＮＮ層は、１つまたは複数のフィルタを含む。
【0067】
いくつかの実施形態では、第３ネットワーク２２０Ａは、少なくとも１つの人間の注釈付き関心領域セグメンテーション訓練画像を使って訓練された識別器を有する少なくとも１つのＧＡＮを含む。第３ネットワーク２２０ＡのＧＡＮは、関心領域セグメンテーション出力画像と人間の注釈付き関心領域セグメンテーション訓練画像とを区別する（たとえばそれらの間の差異を決定する）よう訓練される。
【0068】
いくつかの実施形態では、ラジオミクスモジュール２１８は、関心領域セグメンテーション画像、関連する診断データ、またはそれらの組み合わせから関心領域における特徴を抽出し、特徴を抽出した断層撮影画像および／または断層撮影データセットに対して特定された可能性のある診断を出力するよう訓練された第４ネットワーク２２０Ｂを含む。
いくつかの実施形態では、第４ネットワーク２２０Ｂは、ＣＮＮ層などの少なくとも１つの疎結合層を含む。いくつかの実施形態では、ＣＮＮ層は、１つまたは複数のフィルタを含む。
いくつかの実施形態では、第４ネットワーク２２０Ｂは、ＣＮＮ層などの少なくとも１つの疎結合層を含む。いくつかの実施形態では、ＣＮＮ層は、１つまたは複数のフィルタを含む。
【0069】
いくつかの実施形態では、第４ネットワーク２２０Ｂは、識別器を有する少なくとも１つのＧＡＮを含む。第４ネットワーク２２０ＢのＧＡＮは、特徴を抽出した断層撮影画像と特徴にラベルを付けた関心領域訓練画像とを区別する（たとえばそれらの間の差異を決定する）よう訓練される。
【0070】
いくつかの実施形態では、第４ネットワーク２２０Ｂは、教師なしの方法で、ノイズおよび／またはアーティファクトを除去し、抽出した特徴に基づいて分類することを学習するよう、第３ネットワーク２２０Ａからの関心領域セグメンテーション出力画像を使って訓練される。
【0071】
いくつかの実施形態では、第４ネットワーク２２０Ｂは、教師ありの方法で、関心領域から特徴を抽出するよう、特徴にラベルを付けた関心領域訓練画像、診断用訓練データ、またはそれらの組み合わせを使って訓練される。
【0072】
いくつかの実施形態では、第４ネットワーク２２０Ｂは転移学習で訓練される。
【0073】
いくつかの実施形態では、第４ネットワークの訓練は、教師なし、教師あり、転移学習を介して、またはそれらの組み合わせである。いくつかの実施形態では、ネットワーク２２０Ａおよび／または２２０Ｂは、最初に教師なしの方法で訓練され、次に、教師ありの方法で微調整される。いくつかの実施形態では、ネットワーク２２０Ａおよび２２０Ｂは、単一のネットワークに結合され共に訓練される。
【0074】
【0075】
特に図３Ｂを参照すると、本開示のいくつかの態様は、スクリーニング、診断、または別の画像による解析タスク（たとえばＣＴスクリーニング）を実行する方法３００を対象にする。方法３００のいくつかの実施形態では、３０２で、標的個体からの断層撮影訓練データセットおよび関連する訓練用診断データが提供される。
【0076】
上述したように、いくつかの実施形態では、断層撮影訓練データセットには、ＣＴ投影データ、ＭＲＩデータ、核撮像データ、超音波信号、光データなど、またはそれらの組み合わせの訓練セットが含まれる。
【0077】
いくつかの実施形態では、３０４Ａで、１つまたは複数の再構成ネットワークは、断層撮影訓練データセットから断層撮影画像を再構成するよう訓練される。
【0078】
いくつかの実施形態では、３０４Ｂで、１つまたは複数の再構成アルゴリズムを使用して、断層撮影訓練データセットから断層撮影画像を再構成する。
【0079】
いくつかの実施形態では、方法３００は、再構成ネットワーク３０４Ａを訓練することおよびアルゴリズム３０４Ｂを使用することの両方を含む。
【0080】
ステップ３０６で、１つまたは複数のラジオミクスネットワークが断層撮影画像、関連する訓練用診断データ、またはそれらの組み合わせから特徴を抽出して、標的個体を診断的に検査するよう訓練される。ステップ３０８で、１つまたは複数の再構成ネットワーク／アルゴリズムおよび１つまたは複数のラジオミクスネットワークがエンドツーエンドネットワークに統合される。
【0081】
いくつかの実施形態では、ステップ３１０で、エンドツーエンドネットワーク自身が、たとえば同じ断層撮影訓練データセットおよび関連する訓練用診断データ、または異なる断層撮影訓練データセットおよび関連する訓練用診断データ、またはそれらの組み合わせで（一緒に同時にまたは交代で）訓練される。
【0082】
ステップ３１２で、少なくとも、個体からの断層撮影データセット（たとえばＣＴ投影データ）が訓練されたエンドツーエンドネットワークに入力される。ステップ３１４で、訓練されたエンドツーエンドネットワークによって抽出された特徴に基づいて個体に対する可能性のある診断が出力される。
【0083】
ここで図４を参照すると、いくつかの実施形態では、個体をスクリーニングまたは診断するための上述したようなシステム２００は、特徴を抽出し、明示的な断層撮影画像再構成をバイパスして、断層撮影データから直接診断を特定する。
【0084】
これらの実施形態では、本明細書ではシステム４００と称するが、１つまたは複数のプロセッサ４０６を含むコンピューティングデバイス４０４と連結された非一時的コンピュータ記憶媒体４０２を含む。１つまたは複数のプロセッサ４０６は、非一時的コンピュータ記憶媒体４０２にエンコードされた１つまたは複数のコンピュータプログラム４０８を実行するよう構成される。
【0085】
上述したシステム２００と同様に、システム４００では、１つまたは複数のコンピュータプログラム４０８は、単独でまたは組み合わせで、訓練された統合エンドツーエンドネットワーク４１０を介して、たとえば１つまたは複数の病気、症状などがないか、個体を検査して診断を支援するよう構成されている。
【0086】
いくつかの実施形態では、訓練された統合エンドツーエンドネットワーク４１０は、１つまたは複数のネットワーク４１４、画像処理／解析アルゴリズム４１６、またはそれらの組み合わせを含むラジオミクスモジュール４１２を含む。システム４００では、ネットワーク２１４Ａ、２１４Ｂなどに関して上述した同じ方法で、１つまたは複数のネットワーク４１４が構築され、ラジオミクスモジュール４１２は、標的個体からの断層撮影訓練データおよび関連する訓練用診断データから直接特徴を抽出して、個体を診断的に検査するよう訓練（train）される。
【0087】
いくつかの実施形態では、ネットワーク４１０は、ネットワーク訓練モジュール２２４に関して上述したように、訓練データセット４２０でネットワーク４１０を訓練するためのネットワーク訓練モジュール４１８を含む。いくつかの実施形態では、訓練データセット４２０には、標的個体の母集団からの断層撮影訓練データおよび関連する訓練用診断データが含まれるが、これらに限定されない。
【0088】
いくつかの実施形態では、断層撮影訓練データには、ＣＴ投影データ、ＭＲＩデータ、核撮像データ、超音波信号、光データなど、またはそれらの組み合わせが含まれる。
【0089】
いくつかの実施形態では、関連する訓練用診断データには、病理学的結果、組織学的所見、臨床報告、臨床検査、遺伝子プロファイリング、ゲノムアッセイ、プロテオミクスアッセイなど、またはそれらの組み合わせが含まれるが、これらに限定されない。
【0090】
ここで図１、図５Ａ、および図５Ｂを参照すると、本開示のいくつかの態様は、断層撮影画像の再構成をバイパスして“ローディオミクス”を実行する、すなわち、生データを診断的特徴／所見へ直接エンドツーエンドマッピングする、スクリーニング、診断、または別の画像による解析タスクを実行する方法５００を対象にする。
【0091】
特に図５Ｂを参照すると、ステップ５０２で、標的個体からの断層撮影訓練データセットおよび関連する訓練用診断データが提供される。ステップ５０４で、１つまたは複数のネットワークが、たとえば標的母集団内の、標的個体からの断層撮影訓練データおよび関連する訓練用診断データから特徴を抽出するよう訓練される。ステップ５０６で、１つまたは複数のネットワークは、統合エンドツーエンドネットワークに統合される。ステップ５０８で、統合ネットワークは、標的個体からの断層撮影訓練データおよび関連する訓練用診断データを使って訓練される。ステップ５１０で、個体（たとえば患者）からの断層撮影データセットが統合エンドツーエンドネットワークに入力される。ステップ５１２で、統合エンドツーエンドネットワークによって抽出された特徴に基づいて、個体に対する可能性のある診断が特定されて、出力される。
【0092】
本開示の方法およびシステムは有利にも、スクリーニング、診察、または個体の検査に関連する他の画像による解析タスクのための最適化された全体的なワークフローを提供する。これは、断層撮影再構成とラジオミクスとの相乗的な統合によって特徴付けられ、それにより生データに固有の情報が機械学習フレームワークにおいて十分に活用できる。深層学習および関連する技術を適用することで、システムは、標準的な分析的および／または反復的方法論に対して包括的な断層撮影再構成と、豊富な診断に関連する特徴の大きな探索空間とを提供する。
【0093】
本開示の方法およびシステムは、従来の技術を使用すると単調で、高価で、比較的信頼できない可能性のある、関心領域セグメンテーションおよび特徴抽出といったラジオミクスに関連するタスクの実行を大幅に改良する。とりわけ、従来の手細工で作り上げる特徴は、形状による特徴およびテクスチャによる特徴に限られることが多いが、本開示のネットワークは、大いに改良された分類およびスクリーニング能力のために何百万または何十億の特徴ですら抽出することができる。
【0094】
最後に、本明細書に記載された統合フレームワークは、唯一利用できる情報が生の断層撮影データである場合であっても、すなわち、画像の再構成が効果的な診断に明示的に関係していてもいなくても、個体のかなり迅速で、より信頼できる検査および診断を可能にする。したがって、本開示のシステムを使用することで、医療の総費用および患者の過剰な治療および検査への偏向を最小限にし、オペレーターの不整合を減らし、広く定義された患者母集団（たとえば結腸がん、肝臓がん、および肺がんなどの病歴のある母集団であって、すべてのメンバーは従来、一般的に同じように治療されていたであろう母集団）の中から、実際に危険な状態の患者を低リスク患者からより良く分離することができる。
【実施例】
【0095】
患者の断層撮影データの断層撮影画像再構成および再構成された画像のラジオミクス解析の両方を実行した。
【0096】
ここで図６Ａを参照すると、３つの代表的な画像再構成アルゴリズムを使用して、生患者データからのＣＴ画像をそれぞれ再構成し、異なる種類の特徴を強調した。すなわち、（ａ）我々が最近開発した豊かなシグネチャを明らかにする低次元多様体（ＬＤＭ）ベースの方法を使用し、（ｂ）細かな陰影の違いのためにＳＡＲＴ－ＴＶアルゴリズムを使用し、（ｃ）高空間解像度のためにＦＢＰアルゴリズムを使用した。たとえば、Ｃｏｎｇ，Ｗ．、Ｗａｎｇ，Ｇ．、Ｙａｎｇ，Ｑ．、Ｈｓｉｅｈ，Ｊ．、Ｌｉ，Ｊ．＆Ｌａｉ，Ｒ．（２０１７年）「低次元多様体におけるＣＴ画像再構成」ＣｏＲＲ アブストラクト／１７０４．０４８２５を参照されたい。そして、参照によりその全体が本明細書に開示されるように組み込まれる。
【0097】
ここで図６Ｂを参照すると、肺結節のＣＮＮによる分類を描写している。（ａ）は、微調整および特徴選択後の、事前訓練されたＡｌｅｘＮｅｔからの特徴抽出のためのネットワーク構造を表わし、（ｂ）は、悪性（赤）のサンプルと良性（青）のサンプルとを分離するために、最初の２つの主成分（ＰＣ）に対して横軸および縦軸を有する２Ｄ空間で視覚化された学習した特徴を表わす。（ｃ）我々の提案した方法ＦＴＣｏｖ４は、最新技術のテクスチャ記述子（たとえば輝度勾配ヒストグラム（ＨＯＧ）および局所バイナリパターン（ＬＢＰ））よりも良好なパフォーマンスを実現する。
【0098】
たとえば、Ｓｈａｎ Ｈ、Ｗａｎｇ Ｇ、Ｋａｌｒａ ＭＫ、ｄｅ Ｓｏｕｚａ Ｒ、Ｚｈａｎｇ Ｊ「肺結節分類のための事前訓練されたディープニューラルネットワークからの特徴の可搬性の向上」放射線医学および核医学（完全３Ｄ）における完全３次元画像再構成に関する２０１７年国際会議（The 14th International Meeting on Fully Three-Dimensional Image Reconstruction in Radiology and Nuclear Medicine） 中国西安 ２０１７年を参照されたい。そして、参照によりその全体が本明細書に開示されるように組み込まれる。この実施例は、本開示に記載されるローディオミクスのシステムおよび方法の潜在可能性および能力を示す。つまり、以前は均一の治療（たとえば同じ頻度の検査、予防的スクリーニングなど）を受けていたであろう患者母集団は、今ではより良くセグメント化できるため、より転移のリスクがある患者に比例的に時間およびリソースを当てることができる一方、転移のリスクがより低い患者はおそらく不必要な治療を受けない。
【0099】
開示された主題は、その実施形態に関して記載、図示されているが、開示された実施形態の特徴を組み合わせたり、再配置などして発明の範囲内で追加の実施形態を作り出すことができ、本発明の精神および範囲から逸脱することなく、本発明に種々の他の変更、省略、および追加を加えてもよいことを当業者は理解すべきである。
【0100】
関連出願の相互参照
本出願は、２０１７年６月１６日に出願された米国仮出願番号第６２／５２０，６８２号の利益を主張し、参照によりその全体が本明細書に開示されるように組み込まれる。
本出願は、２０１７年６月１６日に出願された米国仮出願番号第６２／５２０，６８２号の利益を主張し、参照によりその全体が本明細書に開示されるように組み込まれる。
【図1】
【図2A】
【図2B】
【図2C】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】