(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-03-22
(54)【発明の名称】弱教師あり病変セグメンテーション
(51)【国際特許分類】
A61B 6/03 20060101AFI20230314BHJP
G06T 7/00 20170101ALI20230314BHJP
G06V 10/82 20220101ALI20230314BHJP
A61B 5/055 20060101ALI20230314BHJP
A61B 6/00 20060101ALI20230314BHJP
G16H 30/40 20180101ALI20230314BHJP
【ＦＩ】
A61B6/03 360D
G06T7/00 350C
G06V10/82
G06T7/00 612
A61B5/055 380
A61B6/03 360J
A61B6/00 350D
A61B6/00 350B
G16H30/40
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022544055
(86)(22)【出願日】2021-01-22
(85)【翻訳文提出日】2022-09-06
(86)【国際出願番号】 US2021014611
(87)【国際公開番号】W WO2021150889
(87)【国際公開日】2021-07-29
(31)【優先権主張番号】62/965,515
(32)【優先日】2020-01-24
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/966,084
(32)【優先日】2020-01-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】509012625
【氏名又は名称】ジェネンテック， インコーポレイテッド
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】ペトロフ， ユーリ アナトーリエヴィチ
(72)【発明者】
【氏名】カラノ， リチャード アラン デュレイ
【テーマコード（参考）】
4C093
4C096
5L096
5L099
【Ｆターム（参考）】
4C093AA01
4C093AA22
4C093CA16
4C093CA35
4C093DA01
4C093DA03
4C093DA04
4C093FA44
4C093FF17
4C093FF22
4C093FF23
4C093FF33
4C093FG18
4C096AB38
4C096AB44
4C096AC01
4C096AC04
4C096AC05
4C096AD14
4C096AD24
4C096DC20
4C096DC23
4C096DC24
4C096DC33
4C096DD18
5L096BA06
5L096BA13
5L096EA35
5L096FA59
5L096HA11
5L096KA04
5L096KA15
5L099AA26
(57)【要約】
敵対的生成ネットワーク（ＧＡＮ）を訓練することができ、ＧＡＮは、生物学的異常の描写を除去するように医用画像を修正するように構成された異常除去生成器ネットワークと、１つ以上の識別器ネットワーク（それぞれが実画像と偽画像とを識別するように構成される）とを含む。次いで、異常除去生成器ネットワークは、特定の生物学的異常（またはその前処理されたバージョン）を描写する医用画像を受信し、特定の生物学的異常の描写を欠くと予測される修正画像を生成することができる。特定の生物学的異常のサイズは、修正画像および受信画像（またはその前処理バージョン）に基づいて推定することができる。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
コンピュータ実装方法であって、被験者に対応し、生物学的異常の少なくとも一部を描写する医用画像にアクセスすることであって、前記生物学的異常が特定の種類の生物学的異常である、医用画像にアクセスすることと、
前記医用画像に基づいて、かつ異常除去生成器ネットワークを使用して修正画像を生成することであって、前記異常除去生成器ネットワークが、前記特定の種類の生物学的異常の注釈を欠く訓練データセットを使用して訓練されている、修正画像を生成することと、
前記医用画像および前記修正画像に基づいて、前記生物学的異常のサイズを推定することと、
前記生物学的異常の推定された前記サイズを出力することと
を含む、コンピュータ実装方法。
【請求項2】
敵対的生成ネットワークを訓練することによって前記異常除去生成器ネットワークを訓練することをさらに含み、前記敵対的生成ネットワークが、前記異常除去生成器ネットワークと、
１つ以上の識別器ネットワークであって、前記１つ以上の識別器ネットワークのそれぞれが、実画像と生成器ネットワークによって生成された画像とを識別するように構成および訓練され、前記生成器ネットワークが、前記異常除去生成器ネットワークまたは異常加算生成器ネットワークを含む、１つ以上の識別器ネットワークと
を含む、請求項１に記載のコンピュータ実装方法。
【請求項3】
前記異常除去生成器ネットワークのパラメータのセットが、敵対的生成ネットワークを訓練することによって定義されたものであり、前記敵対的生成ネットワークが、前記除去生成器ネットワークと、
１つ以上の識別器ネットワークであって、前記１つ以上の識別器ネットワークのそれぞれが、実画像と生成器ネットワークによって生成された画像とを識別するように構成および訓練され、前記生成器ネットワークが、前記異常除去生成器ネットワークまたは異常加算生成器ネットワークを含む、１つ以上の識別器ネットワークと
を含む、請求項１に記載のコンピュータ実装方法。
【請求項4】
敵対的生成ネットワークを訓練することによって前記異常除去生成器ネットワークを訓練することであって、前記敵対的生成ネットワークが、前記異常除去生成器ネットワークと、
異常加算生成器ネットワークと、
第１の識別器ネットワークであって、
前記特定の種類の生物学的異常の生物学的異常の少なくとも一部を描写するものとしてラベル付けされる実画像と、
前記異常加算生成器ネットワークによって生成された偽画像と、の間を識別するように構成され、
前記異常加算生成器ネットワークが、前記第１の識別器ネットワークによって生成された第１の識別結果に基づくフィードバックを受信する、第１の識別器ネットワークと、
第２の識別器ネットワークであって、
前記特定の種類の生物学的異常のいかなる生物学的異常も描写しないものとしてラベル付けされる実画像と、
前記異常除去生成器ネットワークによって生成された偽画像と、の間を識別するように構成され、
前記異常除去生成器ネットワークが、前記第１の識別器ネットワークによって生成された第１の識別結果に基づくフィードバックを受信する、第２の識別器ネットワークと
を含む、前記異常除去生成器ネットワークを訓練することさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項5】
前記異常除去生成器ネットワークのパラメータのセットが、敵対的生成ネットワークを訓練することによって定義されたものであり、前記敵対的生成ネットワークが、前記異常除去生成器ネットワークと、
異常加算生成器ネットワークと、
第１の識別器ネットワークであって、
前記特定の種類の生物学的異常の別の異常の少なくとも一部を描写するものとしてラベル付けされた実画像と、
少なくとも前記異常加算生成器ネットワークによって生成された偽画像と、の間を識別するように構成され、
前記異常加算生成器ネットワークが、前記第１の識別器ネットワークによって生成された第１の識別結果に基づくフィードバックを受信したものである、第１の識別器ネットワークと、
第２の識別器ネットワークであって、
前記特定の種類の生物学的異常のいかなる生物学的異常も描写しないものとしてラベル付けされた実画像と、
前記異常除去生成器ネットワークによって生成された偽画像と、の間を識別するように構成され、
前記異常除去生成器ネットワークが、前記第１の識別器ネットワークによって生成された第１の識別結果に基づくフィードバックを受信したものである、第２の識別器ネットワークと
を含む、請求項１に記載のコンピュータ実装方法。
【請求項6】
敵対的生成ネットワーク（ＧＡＮ）を訓練することによって前記異常除去生成器ネットワークを訓練することであって、前記被験者の少なくとも一部を描写し、かつ前記特定の種類の生物学的異常の別の生物学的異常の少なくとも一部を描写する実異常存在画像を、異常除去生成器ネットワークに入力することと、
少なくとも前記異常除去生成器ネットワークおよび前記実異常存在画像を使用して、偽異常非存在画像を生成することと、
前記ＧＡＮの識別器ネットワークを使用して、前記偽異常非存在画像が実際のサンプルの真の画像に対応するかまたは偽画像に対応するかを予測するための識別を実行することと、
前記識別器ネットワークによって実行された前記識別に基づいて、前記異常除去生成器ネットワークの１つ以上の重みを調整することと
によって、前記異常除去生成器ネットワークを訓練することをさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項7】
前記ＧＡＮの前記異常除去生成器ネットワークに、前記偽異常非存在画像を入力することと、異常加算生成器ネットワークおよび前記偽異常非存在画像を使用して、周期的な偽異常存在画像を生成することと、
前記周期的な偽異常存在画像を前記実異常存在画像と比較することと、
前記周期的な偽異常存在画像と前記実異常存在画像との前記比較に基づいてサイクル損失を決定することと
をさらに含む、請求項６に記載のコンピュータ実装方法。
【請求項8】
前記医用画像を前処理して、１つ以上のカラーチャネルのそれぞれの分布を調整することをさらに含み、前記修正画像が、前処理された前記医用画像に基づいて生成される、請求項１から７のいずれか一項に記載のコンピュータ実装方法。
【請求項9】
特定の器官のセグメンテーションを実行するために前記医用画像を前処理することをさらに含み、前記修正画像が前処理された前記医用画像に基づいて生成される、請求項１に記載のコンピュータ実装方法。
【請求項10】
前記生物学的異常の前記サイズを推定することが、前記医用画像から前記修正画像を減算することを含む、請求項１に記載のコンピュータ実装方法。
【請求項11】
前記特定の種類の生物学的異常が病変または腫瘍である、請求項１に記載のコンピュータ実装方法。
【請求項12】
前記医用画像が、ＣＴ画像、Ｘ線画像、またはＭＲＩ画像を含む、請求項１に記載のコンピュータ実装方法。
【請求項13】
前記医用画像が３次元画像を含む、請求項１に記載のコンピュータ実装方法。
【請求項14】
前記異常－除去生成器ネットワークが、畳み込みニューラルネットワークを含む、請求項１に記載のコンピュータ実装方法。
【請求項15】
前記訓練データセットが、前記特定の種類の生物学的異常の任意の描写された異常の境界、面積、または体積の任意の識別を欠いていたものである、請求項１に記載のコンピュータ実装方法。
【請求項16】
ユーザ装置によって、かつコンピューティングシステムに対して、被験者に対応する医用画像を利用し、かつ生物学的異常の一部を描写することであって、前記生物学的異常が特定の種類の生物学的異常である、被験者に対応する医用画像を利用し、かつ生物学的異常の一部を描写することと、前記ユーザ装置において、かつ前記コンピューティングシステムから、前記生物学的異常の推定されたサイズを受信することであって、前記コンピューティングシステムが、
前記医用画像に基づいて、かつ異常除去生成器ネットワークを使用して修正画像を生成することであって、前記異常除去生成器ネットワークが、前記特定の種類の生物学的異常の注釈を欠く訓練データセットを使用して訓練されている、修正画像を生成することと、
前記医用画像および前記修正画像に基づいて前記生物学的異常の前記推定されたサイズを決定することと
によって、前記推定されたサイズを決定したものである、前記生物学的異常の推定されたサイズを受信すること
を含む、方法。
【請求項17】
前記推定されたサイズに基づいて、前記被験者についての診断推奨または処置推奨を選択することをさらに含む、請求項１６に記載の方法。
【請求項18】
選択された前記診断推奨または処置推奨を前記被験者に伝達することをさらに含む、請求項１７に記載の方法。
【請求項19】
医用イメージングシステムを使用して前記医用画像を収集することをさらに含む、請求項１６に記載の方法。
【請求項20】
被験者の処置における医用画像に描写された生物学的異常の推定されたサイズの使用であって、前記推定されたサイズが、コンピューティングシステムによって、前記医用画像に基づいて、かつ異常除去生成器ネットワークを使用して修正画像を生成することであって、前記異常除去生成器ネットワークが、特定の種類の生物学的異常の注釈を欠くと識別された訓練データセットを使用して訓練されている、修正画像を生成することと、
前記コンピューティングシステムによって、前記医用画像および前記修正画像に基づいて前記生物学的異常の前記サイズを推定することと
を含む動作のセットを実行するコンピューティング装置によって提供される、使用。
【請求項21】
システムであって、１つ以上のデータプロセッサと、
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに請求項１から１９のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体と
を備える、システム。
【請求項22】
１つ以上のデータプロセッサに請求項１から１９のいずれか一項に記載の方法を実行させるように構成された命令を含む、非一時的機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本出願は、ＰＣＴ／ＵＳ２０２１／０１４６１１号、２０２０年１月２４日に出願された米国仮特許出願第６２／９６５，５１５号、および２０２０年１月２７日に出願された米国仮特許出願第６２／９６６，０８４号の利益および優先権を主張する。これらの出願のそれぞれは、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。
【技術分野】
【0002】
分野
一般に、開示された技術は、ニューラルネットワーク（例えば、生成器ネットワーク）を使用することによって異常を欠く画像の偽バージョンを生成し、偽画像を医用画像から減算することによって、医用画像に描写された生物学的異常のサイズを推定することに関する。生成器ネットワークは、生成器ネットワークを含む敵対的生成ネットワーク（ＧＡＮ）（例えば、リサイクルＧＡＮまたはサイクルＧＡＮ）を訓練することによって訓練することができる。
一般に、開示された技術は、ニューラルネットワーク（例えば、生成器ネットワーク）を使用することによって異常を欠く画像の偽バージョンを生成し、偽画像を医用画像から減算することによって、医用画像に描写された生物学的異常のサイズを推定することに関する。生成器ネットワークは、生成器ネットワークを含む敵対的生成ネットワーク（ＧＡＮ）（例えば、リサイクルＧＡＮまたはサイクルＧＡＮ）を訓練することによって訓練することができる。
【背景技術】
【0003】
背景
医用イメージングは、生物学的異常（例えば、病変または腫瘍）を検出および／または監視するために使用されることが多い。生物学的異常のサイズを定量化することは、１つ以上の画像（例えば、１つ以上のスライスに対応する）上の異常の輪郭をマーキングするアノテータを伴うことが多い。これは、時間がかかり、境界位置の主観に起因する注釈全体の変動の結果としてエラーが発生しやすい。
医用イメージングは、生物学的異常（例えば、病変または腫瘍）を検出および／または監視するために使用されることが多い。生物学的異常のサイズを定量化することは、１つ以上の画像（例えば、１つ以上のスライスに対応する）上の異常の輪郭をマーキングするアノテータを伴うことが多い。これは、時間がかかり、境界位置の主観に起因する注釈全体の変動の結果としてエラーが発生しやすい。
【0004】
したがって、画像を処理して生物学的異常のサイズを検出および予測するための自動化技術を特定することが有利であろう。
【発明の概要】
【0005】
概要
異常除去生成器ネットワークは、所与の種類の生物学的異常（例えば、腫瘍または病変）を描写する実画像を処理するために使用される。生成器ネットワークは、１つ以上の３次元カーネルを含むことができる。処理は、実画像に対応するが、所与の種類の生物学的異常の描写を欠く偽画像を生成することを含むことができる。次いで、実画像および偽画像が使用されて生物学的異常をセグメント化し、それによって生物学的異常の境界、面積または体積を識別することができる。追加的または代替的に、実画像および偽画像が使用されて、所与の種類の生物学的異常のサイズおよび／または位置を推定することができる。生物学的異常のサイズを推定することは、対応する実画像から偽画像を減算することを含むことができる。生物学的異常のサイズは、所定の閾値を超える強度を有するピクセルまたはボクセルの総数に基づいて推定することができる。場合によっては、（例えば、１つ以上の閾値を適用すること、および／または１つ以上の空間平滑化関数を適用することによって）サイズを推定する前にフィルタリングまたは他の処理が実行される。
異常除去生成器ネットワークは、所与の種類の生物学的異常（例えば、腫瘍または病変）を描写する実画像を処理するために使用される。生成器ネットワークは、１つ以上の３次元カーネルを含むことができる。処理は、実画像に対応するが、所与の種類の生物学的異常の描写を欠く偽画像を生成することを含むことができる。次いで、実画像および偽画像が使用されて生物学的異常をセグメント化し、それによって生物学的異常の境界、面積または体積を識別することができる。追加的または代替的に、実画像および偽画像が使用されて、所与の種類の生物学的異常のサイズおよび／または位置を推定することができる。生物学的異常のサイズを推定することは、対応する実画像から偽画像を減算することを含むことができる。生物学的異常のサイズは、所定の閾値を超える強度を有するピクセルまたはボクセルの総数に基づいて推定することができる。場合によっては、（例えば、１つ以上の閾値を適用すること、および／または１つ以上の空間平滑化関数を適用することによって）サイズを推定する前にフィルタリングまたは他の処理が実行される。
【0006】
異常除去生成器ネットワークは、より大規模な敵対的生成ネットワーク（ＧＡＮ）の訓練に応じて構成することができる。ＧＡＮは、（所与の種類の生物学的異常の描写なしに画像を生成するように構成された）異常除去生成器ネットワークに加えて、（所与の種類の生物学的異常を描写する画像を生成するように構成された）別の異常付加生成器ネットワークを含むことができるサイクルＧＡＮを含むことができる。サイクルＧＡＮは、複数の識別器ネットワークをさらに含むことができる。各識別器ネットワークは、（異常のあるインスタンスまたは異常のないインスタンスのいずれかに対応する）実画像と偽画像の双方を受信し、画像のそれぞれが現実であるかどうかを判定するように構成することができる。各識別器ネットワークによって生成された結果の精度に基づいて生成されたフィードバックは、生成器ネットワークのうちの対応する１つにフィードバックすることができる。サイクルＧＡＮは、異常付加生成器ネットワークおよび／または異常除去生成器ネットワークが、（３次元カーネルのセットを使用して）３次元画像を受信して生成するように構成することができる。同様に、サイクルＧＡＮは、各識別器ネットワークが３次元画像を受信する（および画像が実画像であるかまたは偽画像であるかを予測する）ように構成することができる。
【0007】
あるいは、ＧＡＮは、サイクルＧＡＮの生成器ネットワークおよび識別器ネットワークを含み、１つ以上の予測器ネットワークをさらに含む、リサイクルＧＡＮを含んでもよい。各予測器ネットワークは、予測器ネットワークに供給する生成器ネットワークによって生成された画像に描写された視点、イメージングモダリティ、位置、ズーム、および／またはスライスと比較して、異なる視点、イメージングモダリティ、位置、ズーム、および／またはスライスに対応する偽画像を生成するように構成および訓練することができる。各識別器ネットワークは、（異常のあるインスタンスまたは異常のないインスタンスのいずれかに対応する）実画像および偽画像の双方を受信し、画像のそれぞれが現実であるかどうかを判定するように構成および訓練することができる。所与の識別器ネットワークによって生成された結果は、パラメータ学習を潜在的にトリガするために所与の識別器ネットワークに供給する予測器ネットワークに供給する生成器ネットワークにフィードバックすることができる。
【0008】
第１の実施形態では、コンピュータ実装方法が提供される。被験者に対応し、生物学的異常の一部を描写する医用画像がアクセスされ、生物学的異常は、特定の種類の生物学的異常である。修正画像は、医用画像に基づいて、かつ異常除去生成器ネットワークを使用して生成される。異常除去生成器ネットワークは、特定の種類の生物学的異常の注釈がない訓練データセットを使用して訓練中に学習されたパラメータによって構成することができる。医用画像および修正画像に基づいて、生物学的異常のサイズが推定される。推定された生物学的異常のサイズが出力される。
【0009】
第２の実施形態では、方法は、第１の実施形態の方法を含むことができ、敵対的生成ネットワークを訓練することによって異常除去生成器ネットワークを訓練することをさらに含み、敵対的生成ネットワークが、異常除去生成器ネットワーク、および１つ以上の識別器ネットワークであって、１つ以上の識別器ネットワークのそれぞれが、実画像と生成器ネットワークによって生成された画像とを識別するように構成および訓練され、生成器ネットワークが、異常除去生成器ネットワークまたは異常付加生成器ネットワークを含む、１つ以上の識別器ネットワークを含む。
【0010】
第３の実施形態では、方法は、第１の実施形態の方法を含むことができ、異常除去生成器ネットワークのパラメータのセットが、異常除去生成器ネットワーク、および１つ以上の識別器ネットワークを含む敵対的生成ネットワークを訓練することによって定義されたものであり、１つ以上の識別器ネットワークのそれぞれが、実画像と生成器ネットワークによって生成された画像とを識別するように構成および訓練され、生成器ネットワークが、異常除去生成器ネットワークまたは異常付加生成器ネットワークを含む。
【0011】
第４の実施形態では、方法は、第１の実施形態の方法を含むことができ、異常除去生成器ネットワーク、異常付加生成器ネットワーク、第１の識別器ネットワーク、および第２の識別器ネットワークを含む、敵対的生成ネットワークを訓練することによって異常除去生成器ネットワークを訓練することをさらに含むことができる。第１の識別器ネットワークは、特定の種類の生物学的異常の生物学的異常の少なくとも一部を描写するものとしてラベル付けされた実画像と、異常付加生成器ネットワークによって生成された偽画像と、の間を識別するように構成することができる。異常付加生成器ネットワークは、第１の識別器ネットワークによって生成された第１の識別結果に基づいて訓練中にフィードバックを受信することができる。第２の識別器ネットワークは、特定の種類の生物学的異常のいずれの生物学的異常も描写していないとしてラベル付けされた実画像と、異常除去生成器ネットワークによって生成された偽画像と、の間を識別するように構成することができる。異常除去生成器ネットワークは、第１の識別器ネットワークによって生成された第１の識別結果に基づいてフィードバックを受信することができる。
【0012】
第５の実施形態では、方法は、第１の実施形態の方法を含むことができ、異常除去生成器ネットワークのセットが、異常除去生成器ネットワーク、異常付加生成器ネットワーク、第１の識別器ネットワーク、および第２の識別器ネットワークを含む、敵対的生成ネットワークを訓練することによって定義されたものである。第１の識別器ネットワークは、特定の種類の生物学的異常の別の異常の少なくとも一部を描写するものとしてラベル付けされた実画像と、少なくとも異常付加生成器ネットワークによって生成された偽画像と、の間を識別するように構成される。異常付加生成器ネットワークは、訓練中に、第１の識別器ネットワークによって生成された第１の識別結果に基づいてフィードバックを受信することができる。第２の識別器ネットワークは、特定の種類の生物学的異常のいずれの生物学的異常も描写していないとしてラベル付けされた実画像と、異常除去生成器ネットワークによって生成された偽画像と、の間を識別するように構成することができる。異常除去生成器ネットワークは、訓練中に、第１の識別器ネットワークによって生成された第１の識別結果に基づいてフィードバックを受信することができる。
【0013】
第６の実施形態では、方法は、第１の実施形態の方法を含むことができ、異常除去生成ネットワークに、被験者の少なくとも一部を描写し、かつ特定の種類の生物学的異常の別の生物学的異常の少なくとも一部を描写する実異常存在画像を入力することと、少なくとも異常除去生成器ネットワークおよび実異常存在画像を使用して、偽異常非存在画像を生成することと、ＧＡＮの識別器ネットワークを使用して、偽異常非存在画像が実際のサンプルの真の画像に対応するか偽画像に対応するかを予測するための識別を実行することと、識別器ネットワークによって実行された識別に基づいて、異常除去生成器ネットワークの１つ以上の重みを調整することと、によって、敵対的生成ネットワーク（ＧＡＮ）を訓練することによって、異常除去生成ネットワークを訓練することをさらに含むことができる。第７の実施形態では、方法は、第６の実施形態の方法を含むことができ、ＧＡＮの異常除去生成器ネットワークに、偽異常非存在画像を入力することと、異常付加生成器ネットワークおよび偽異常非存在画像を使用して、周期的な偽異常存在画像を生成することと、周期的な偽異常存在画像を実異常存在画像と比較することと、サイクルされた偽異常存在画像と実異常存在画像との比較に基づいてサイクル損失を決定することと、をさらに含むことができる。
【0014】
第８の実施形態では、方法は、第１から第７の実施形態のいずれかの方法を含むことができ、１つ以上のカラーチャネルのそれぞれの分布を調整するために医用画像を前処理することをさらに含むことができ、修正画像が前処理された医用画像に基づいて生成される。
【0015】
第９の実施形態では、方法は、第１から第８の実施形態のいずれかの方法を含むことができ、特定の器官のセグメンテーションを実行するために医用画像を前処理することをさらに含むことができ、修正画像が前処理された医用画像に基づいて生成される。
【0016】
第１０の実施形態では、方法は、第１から第９の実施形態のいずれかの方法を含むことができ、生物学的異常のサイズを推定することが、医用画像から修正画像を減算することを含む。
【0017】
第１１の実施形態では、方法は、第１から第１０の実施形態のいずれかの方法を含むことができ、特定の種類の生物学的異常が病変または腫瘍である。
【0018】
第１２の実施形態では、方法は、第１から第１１の実施形態のいずれかの方法を含むことができ、医用画像が、ＣＴ画像、Ｘ線画像、またはＭＲＩ画像を含む。
【0019】
第１３の実施形態では、方法は、第１から第１２の実施形態のいずれかの方法を含むことができ、医用画像が３次元画像を含む。
【0020】
第１４の実施形態では、方法は、第１から第１３の実施形態のいずれかの方法を含むことができ、異常除去生成器ネットワークが、畳み込みニューラルネットワークを含む。
【0021】
第１５の実施形態では、方法は、第１から第１４の実施形態のいずれかの方法を含むことができ、訓練データセットが、特定の種類の生物学的異常の任意の描写された異常の境界、面積または体積の識別を欠いていたものである。
【0022】
第１６の実施形態では、ユーザ装置によって、かつコンピューティングシステムに対して、被験者に対応する医用画像を利用し、かつ生物学的異常の一部を描写することであって、生物学的異常が特定の種類の生物学的異常である、被験者に対応する医用画像を利用し、かつ生物学的異常の一部を描写することと、ユーザ装置において、かつコンピューティングシステムから、生物学的異常の推定されたサイズを受信することであって、コンピューティングシステムが、医用画像に基づいて、かつ異常除去生成器ネットワークを使用して修正画像を生成することであって、異常除去生成器ネットワークが、特定の種類の生物学的異常の注釈を欠く訓練データセットを使用して訓練されている、修正画像を生成することと、医用画像および修正画像に基づいて、生物学的異常の推定されたサイズを決定することと、によって、推定されたサイズを決定したものである、生物学的異常の推定されたサイズを受信することを含む、方法が提供される。
【0023】
第１７の実施形態では、方法は、第１６の実施形態の方法を含むことができ、推定されたサイズに基づいて、被験者についての診断推奨または処置推奨を選択することをさらに含むことができる。
【0024】
第１８の実施形態では、方法は、第１７の実施形態の方法を含むことができ、選択された診断推奨または処置推奨を被験者に伝達することをさらに含むことができる。
【0025】
第１９の実施形態では、方法は、第１６から第１８の実施形態のいずれかの方法を含むことができ、医用イメージングシステムを使用して医用画像を収集することをさらに含むことができる。
【0026】
第２０の実施形態は、被験者の処置における医用画像に描写された生物学的異常の推定されたサイズの使用を含み、推定されたサイズが、コンピューティングシステムによって、医用画像に基づいて修正画像を生成し、特定の種類の生物学的異常の注釈を欠くと識別された訓練データセットを使用して訓練されている異常除去生成器ネットワークを使用することと、コンピューティングシステムによって、医用画像および修正画像に基づいて生物学的異常のサイズを推定することと、を含む一連の動作を実行するコンピューティング装置によって提供される。
【0027】
第２１の実施形態は、１つ以上のデータプロセッサと、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法（例えば、第１から第１９の実施形態のいずれかの方法）の一部または全部を実行させる、非一時的コンピュータ可読記憶媒体と、を含むシステムを含む。
【0028】
第２２の実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法（例えば、第１から第１９の実施形態のいずれかの方法）の一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
【0029】
本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
【0030】
使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。
【図面の簡単な説明】
【0031】
本開示は、以下の添付の図面と併せて説明される：
【0032】
【図1】いくつかの実施形態にかかる、例示的な生物学的異常特徴付けネットワークを示している。
【0033】
【図2】本発明のいくつかの実施形態にかかるサイクル敵対的生成ネットワーク（ＧＡＮ）におけるネットワークおよびネットワーク接続の表現を示している。
【0034】
【図3】本発明のいくつかの実施形態にかかる、サイクルＧＡＮを使用して偽画像を生成し、実画像と偽画像とを識別するフローを示している。
【0035】
【図4】本発明のいくつかの実施形態にかかる、リサイクルＧＡＮにおける様々なネットワークおよびネットワーク接続を示している。
【0036】
【図5】本発明のいくつかの実施形態にかかる、ニューラルネットワーク構成において様々な偽画像をどのように生成および評価することができるかを示している。
【0037】
【図6A-6B】本発明のいくつかの実施形態にかかる、ニューラルネットワーク構成においてどのように様々な種類の損失が生じることができるかを示している。
【0038】
【図7】本発明のいくつかの実施形態にかかる、実画像と偽画像との間の比較に基づいて、生物学的異常の空間的特性をどのように推定することができるかを示している。
【0039】
【図8】生物学的異常のサイズを推定するための例示的なプロセスのフローチャートを示している。
【0040】
【図9】病変を検出するためにサイクルＧＡＮを使用して使用および生成された画像の例を示している。
【0041】
【図10】サイクル－ＧＡＮアルゴリズムを使用することによって、または４人の人間の判読者によって行われる例示的な病変検出を示している。
【0042】
【図11】放射線科医の病変検出と比較した、訓練されたリサイクルＧＡＮ検出病変の例示的な結果を示している。
【0043】
添付の図面において、同様の構成要素および／または特徴は、同じ参照ラベルを有することができる。さらに、同じ種類の様々な構成要素は、参照ラベルの後に同様の構成要素を区別するダッシュおよび第２のラベルを続けることによって区別することができる。本明細書において第１の参照ラベルのみが使用される場合、説明は、第２の参照ラベルに関係なく、同じ第１の参照ラベルを有する同様の構成要素のいずれかに適用可能である。
【発明を実施するための形態】
【0044】
Ｉ．概要
詳細な説明
本明細書に開示されるシステム、方法およびソフトウェアは、腫瘍などの生物学的異常のサイズの推定を容易にする。より具体的には、異常除去生成器ニューラルネットワークは、特定のコンテキスト（例えば、特定の被験者の特定のスライスレベルおよび／または特定の被験者の特定の生物学的領域）に関連する実画像を受信し、同じまたは異なるコンテキスト（例えば、特定の被験者に対する異なるスライスレベル、特定の被験者に対する同じスライスレベル、または特定の被験者に対する同じ特定の生物学的領域）に関連する対応する偽画像を生成するように訓練される。いくつかの態様（例えば、特定の被験者）に関して、対応する偽画像は、実画像を反映することができるが、ニューラルネットワークは、対応する偽画像が、実画像に描写されている所与の種類の生物学的異常の描写の一部または全部を欠くように構成することができ。例えば、実画像および偽画像の双方が肺の３次元画像を含むことができる一方で、実画像は腫瘍を描写することができるが、偽画像はそうではない。したがって、実画像から偽画像を減算する（例えば、および差分画像内のいくつのピクセルまたはボクセルが閾値を超えているかを判定する）ことによって生物学的異常のサイズが推定される。
詳細な説明
本明細書に開示されるシステム、方法およびソフトウェアは、腫瘍などの生物学的異常のサイズの推定を容易にする。より具体的には、異常除去生成器ニューラルネットワークは、特定のコンテキスト（例えば、特定の被験者の特定のスライスレベルおよび／または特定の被験者の特定の生物学的領域）に関連する実画像を受信し、同じまたは異なるコンテキスト（例えば、特定の被験者に対する異なるスライスレベル、特定の被験者に対する同じスライスレベル、または特定の被験者に対する同じ特定の生物学的領域）に関連する対応する偽画像を生成するように訓練される。いくつかの態様（例えば、特定の被験者）に関して、対応する偽画像は、実画像を反映することができるが、ニューラルネットワークは、対応する偽画像が、実画像に描写されている所与の種類の生物学的異常の描写の一部または全部を欠くように構成することができ。例えば、実画像および偽画像の双方が肺の３次元画像を含むことができる一方で、実画像は腫瘍を描写することができるが、偽画像はそうではない。したがって、実画像から偽画像を減算する（例えば、および差分画像内のいくつのピクセルまたはボクセルが閾値を超えているかを判定する）ことによって生物学的異常のサイズが推定される。
【0045】
Ｉ．Ａ．異常除去生成ネットワークを訓練するために使用される敵対的生成ネットワーク
異常除去生成器ネットワークは、敵対的生成ネットワーク（ＧＡＮ）を訓練している間に学習されたパラメータを含むことができる。ＧＡＮは、入力画像が偽である（異常除去生成器ネットワークによって生成された）か、または（被験者から収集された実画像を描写する）かを予測するように構成された識別器ネットワークをさらに含む。これらの予測の精度に基づくフィードバックは、異常除去生成器ネットワークに提供することができる。
異常除去生成器ネットワークは、敵対的生成ネットワーク（ＧＡＮ）を訓練している間に学習されたパラメータを含むことができる。ＧＡＮは、入力画像が偽である（異常除去生成器ネットワークによって生成された）か、または（被験者から収集された実画像を描写する）かを予測するように構成された識別器ネットワークをさらに含む。これらの予測の精度に基づくフィードバックは、異常除去生成器ネットワークに提供することができる。
【0046】
場合によっては、異常除去生成器ネットワークを訓練するために使用されるＧＡＮは、サイクルＧＡＮを含む。サイクルＧＡＮは、複数の生成器ネットワークおよび複数の識別器ネットワークを含む。異常除去生成器ネットワークに加えて、サイクルＧＡＮは、特定の種類の生物学的異常を描写しない実異常非存在画像を受信し、特定の種類の生物学的異常を描写する偽異常存在画像を生成するように構成および訓練された異常付加生成器ネットワークをさらに含む。サイクルＧＡＮはまた、画像（特定の種類の生物学的異常を真に描写しないか、または特定の種類の生物学的異常の描写を欠くように修正された画像）が現実であるか偽であるかを予測する第１の識別器ネットワークを含む。予測の精度が使用されて、異常除去生成器ネットワークにフィードバックを提供することができる。サイクルＧＡＮはまた、画像（特定の種類の生物学的異常を真に描写するか、または特定の種類の生物学的異常を含むように修正された）が現実であるか偽であるかを予測する第２の識別器ネットワークを含むことができる。予測の精度が使用されて、異常付加生成器ネットワークにフィードバックを提供することができる。
【0047】
場合によっては、異常除去生成器ネットワークを訓練するために使用されるＧＡＮは、リサイクルＧＡＮを含む。サイクルＧＡＮと同様に、リサイクルＧＡＮは、複数の生成器ネットワーク（例えば、異常除去生成器ネットワークおよび異常付加生成器ネットワーク）および複数の識別器ネットワーク（例えば、実異常存在画像と偽異常存在画像とを識別するように構成された識別器ネットワーク、および実異常存在画像と偽異常存在画像とを識別するように構成された識別器ネットワーク）を含む。さらに、リサイクルＧＡＮは、予測器ネットワークに入力された画像に対して異なるコンテキストに関連付けられた画像を生成する１つ以上の予測器ネットワークを含む。
【0048】
リサイクルＧＡＮ内の第１の予測器ネットワークは、特定の種類（例えば、腫瘍、病変、またはプラーク）の生物学的異常を描写し、特定の被験者および１つ以上のスライスレベルに関連付けられた１つ以上の画像を受信することができ、第１の予測器は、特定の被験者に関連付けられた予測された異なるコンテキスト画像に対応する出力を生成することができる。各修正画像は、予測器ネットワークによって受信された画像に対して、視点、イメージングモダリティ、位置、ズームおよび／またはスライスと比較して、異なる視点、イメージングモダリティ、位置、ズームおよび／またはスライスに対応することができる。特に、生物学的異常を描写し、第１の予測器ネットワークによって受信される１つ以上の画像は、現実または偽とすることができる。例えば、１つ以上の画像は、１つ以上の実画像（例えば、所与の種類の生物学的異常の描写を欠く）を修正して、所与の種類の生物学的異常の描写を追加するように構成された異常付加生成器ネットワークによって生成された偽画像とすることができる。
【0049】
逆に、リサイクルＧＡＮ内の第２の予測器ネットワークは、特定の種類（例えば、腫瘍を描写しない）の生物学的異常の描写を欠く１つ以上の画像を受信することができ、特定の種類の生物学的異常の描写も欠く予測された異なるコンテキスト画像（例えば、異なる視点、イメージングモダリティ、位置、ズームおよび／またはスライスに関連付けられる）に対応する出力を生成することができる。特に、生物学的異常を描写せず、第２の予測器ネットワークによって受信される１つ以上の画像は、現実または偽とすることができる。例えば、１つ以上の画像は、所与の種類の生物学的異常の描写を除去するために１つ以上の実画像（例えば、所与の種類の生物学的異常の任意の描写を含む）を修正するように構成された異常除去生成器ネットワークによって生成された偽画像とすることができる。
【0050】
Ｉ．Ｂ．偽異常非存在画像を使用した異常サイズ予測
場合によっては、異常除去生成ネットワークは、（生物学的異常の少なくとも一部を描写する）３次元画像を受信し、（生物学的異常の少なくとも一部の描写を欠く）偽の３次元画像を生成するように構成される。次いで、実画像と偽画像との間の差は、どのボクセルが生物学的異常の一部であると予測されるかを示すことができる。したがって、実画像と偽画像との間の差が閾値を超えるボクセルの量に基づいて、生物学的異常のサイズを予測することができる。
場合によっては、異常除去生成ネットワークは、（生物学的異常の少なくとも一部を描写する）３次元画像を受信し、（生物学的異常の少なくとも一部の描写を欠く）偽の３次元画像を生成するように構成される。次いで、実画像と偽画像との間の差は、どのボクセルが生物学的異常の一部であると予測されるかを示すことができる。したがって、実画像と偽画像との間の差が閾値を超えるボクセルの量に基づいて、生物学的異常のサイズを予測することができる。
【0051】
あるいは、異常除去生成ネットワークは、（生物学的異常の少なくとも一部を描写する）２次元画像を受信し、（生物学的異常の少なくとも一部の描写を欠く）偽の２次元画像を生成するように構成されてもよい。実画像と偽画像との間の差は、異常の予測された領域を表すことができる。しかしながら、所与の被験者に対して複数の実画像（例えば、異なるスライスレベルに対応する）を利用可能とすることができ、複数の偽画像を生成することができる。次いで、スライスレベルにわたる領域がまとめて処理されて、異常のサイズおよび／または体積を予測することができる。
【0052】
Ｉ．Ｃ．利点
ＧＡＮの使用に関連する本明細書に開示される技術は、手動注釈の必要性を低減し、医用画像上の異常を描写する客観性および精度を改善する上で強い利点を有する。例えば、腫瘍の体積を推定するために医用画像に手動で注釈を付けることは、複数の連続するスライスのそれぞれにおいて腫瘍の境界を識別する膨大な時間を必要とすることがある。例えば、進行癌を有する被験者の全身ＣＴスキャンは、２５０個以上の腫瘍を含む可能性がある。手動注釈を使用して異常を検出することは、数千の画像ごとの作業時間および腫瘍ごとに数百万ドルが必要になる可能性がある。
ＧＡＮの使用に関連する本明細書に開示される技術は、手動注釈の必要性を低減し、医用画像上の異常を描写する客観性および精度を改善する上で強い利点を有する。例えば、腫瘍の体積を推定するために医用画像に手動で注釈を付けることは、複数の連続するスライスのそれぞれにおいて腫瘍の境界を識別する膨大な時間を必要とすることがある。例えば、進行癌を有する被験者の全身ＣＴスキャンは、２５０個以上の腫瘍を含む可能性がある。手動注釈を使用して異常を検出することは、数千の画像ごとの作業時間および腫瘍ごとに数百万ドルが必要になる可能性がある。
【0053】
この時間コミットメントは、比較的小さいサイズおよび／またはかなり小さい多様性を有する訓練セットをもたらすことができる。この手動アプローチはまた、腫瘍の境界が現在のスライド上のどこにあるかに関して有益とすることができる、隣接するスライドからの詳細を人間のアノテータが想起することが困難であり得るため、誤りを起こしやすい。
【0054】
一方、本明細書に開示されるＧＡＮベースの技術は、（訓練データがバイナリラベルを含むように）（例えば）各画像が生物学的異常の少なくとも一部を描写するか否かを示す高レベルラベルを有するデータを使用して訓練された機械学習モデルを使用することができる。訓練データは、生物学的異常の所与の描写の位置、描写された生物学的異常のサイズ、生物学的異常の境界、または生物学的異常の任意の他の空間的特性を示すようにラベル付けされる必要はない。すなわち、手動セグメンテーションを行わずに訓練データセットを収集することができる。したがって、訓練データを取得することがより容易になり、その結果、訓練データセットがより大きくなり、モデルの精度がより高くなることができる。代替的または追加的に、バイナリラベリングは、訓練セットの収集および／または生物学的異常のサイズの予測の時間または金銭的投資を低減することができる。
【0055】
さらに、本明細書に開示される技術は、ペアリングされたデータを含む訓練データセットに依存しない。すなわち、生成器ネットワークは、（例えば、同じ被験者セットに関連付けられる）異常非存在画像のセットおよび異常存在画像の対応する「ペアリングされた」セットを含むデータセットについて訓練される必要はない。ペアリングされた画像を収集することは、各被験者について、複数のイメージングセッションから収集された画像を収集することを含むことができる。例えば、第１のイメージングセッションからの１つ以上の画像は、生物学的異常を描写することができ、第２のイメージングセッションからの画像は、生物学的異常を欠くことができる（またはその逆）。しかしながら、（例えば、処置に応答して）異常が出現しなくなるかどうか、または新たな異常が出現するかどうかを予測することは非常に困難である。したがって、ペアリングされた画像を取得することは非常に困難であり得る。ペアリングされたデータがなければ、（例えば、その後に異常のサイズを予測するために）実異常存在画像に基づいて予測異常非存在画像を生成するようにニューラルネットワークを訓練するために、多くの既存の訓練技術（例えば、Ｌ１またはＬ２正則化を使用するもの）を使用することは不可能であろう。一方、ペアリングされたデータを必要としない本明細書に開示される技術は、より大きな訓練データセット（例えば、ペアリングされていない訓練データセット）を収集することができ、生物学的異常のサイズの正確な予測をもたらすことができる。
【0056】
ＩＩ．例示的な生物学的異常特徴付けネットワーク
図１は、いくつかの実施形態にかかる、例示的な生物学的異常特徴付けネットワーク１００を示している。生物学的異常特徴付けネットワーク１００は、被験者の身体の一部の画像を収集するように構成された画像生成システム１０５を含む。各画像は、１つ以上の生物学的構造の少なくとも一部（例えば、１つ以上の腫瘍の少なくとも一部、１つ以上の病変の少なくとも一部、１つ以上のプラークの少なくとも一部、および／または１つ以上の器官の少なくとも一部）を描写することができる。被験者は、特定の疾患と診断されたか、または特定の疾患の可能性のある診断を有する人を含むことができる。特定の疾患は、癌または特定の種類の癌を含むことができる。１つ以上の画像は、（例えば）肺、脳、または肝臓の全部または一部を描写することができる。
図１は、いくつかの実施形態にかかる、例示的な生物学的異常特徴付けネットワーク１００を示している。生物学的異常特徴付けネットワーク１００は、被験者の身体の一部の画像を収集するように構成された画像生成システム１０５を含む。各画像は、１つ以上の生物学的構造の少なくとも一部（例えば、１つ以上の腫瘍の少なくとも一部、１つ以上の病変の少なくとも一部、１つ以上のプラークの少なくとも一部、および／または１つ以上の器官の少なくとも一部）を描写することができる。被験者は、特定の疾患と診断されたか、または特定の疾患の可能性のある診断を有する人を含むことができる。特定の疾患は、癌または特定の種類の癌を含むことができる。１つ以上の画像は、（例えば）肺、脳、または肝臓の全部または一部を描写することができる。
【0057】
ＩＩ．Ａ．画像生成システム
画像は、１つ以上の２次元画像および／または１つ以上の３次元画像を含む。２次元画像は、被験者の断面スライス（例えば、水平スライス）または被験者の断面スライスの一部を描写する。３次元画像は、被験者の３次元領域を描写する。３次元画像は、複数の２次元画像（複数のスライスレベルで撮像された被験者のスライスに対応する）を積み重ねまたは組み合わせることによって生成することができる。したがって、本明細書で使用される場合、画像に描写される被験者の「領域」は、被験者内の３次元ボリュームを指し、画像に描写される被験者の「スライス」は、被験者の２次元断面を指す。
画像は、１つ以上の２次元画像および／または１つ以上の３次元画像を含む。２次元画像は、被験者の断面スライス（例えば、水平スライス）または被験者の断面スライスの一部を描写する。３次元画像は、被験者の３次元領域を描写する。３次元画像は、複数の２次元画像（複数のスライスレベルで撮像された被験者のスライスに対応する）を積み重ねまたは組み合わせることによって生成することができる。したがって、本明細書で使用される場合、画像に描写される被験者の「領域」は、被験者内の３次元ボリュームを指し、画像に描写される被験者の「スライス」は、被験者の２次元断面を指す。
【0058】
画像生成システム１０５は、（例えば）コンピュータ断層撮影（ＣＴ）スキャナ、Ｘ線機械または磁気共鳴撮像（ＭＲＩ）機械を含むことができる。画像は、放射線画像、ＣＴ画像、Ｘ線画像またはＭＲＩ画像を含むことができる。画像は、造影剤が被験者に投与されずに、または造影剤が被験者に投与された後に収集されていてもよい。場合によっては、画像生成システム１０５は、最初に２次元画像のセットを収集し、２次元画像を使用して３次元画像を生成することができる。
【0059】
画像生成システム１０５によって収集された画像は、造影剤が被験者に投与されることなく、または造影剤が被験者に投与された後に収集されてもよい。撮像されている被験者は、癌と診断された、癌の可能性のある診断もしくは予備診断を有する、および／または癌もしくは腫瘍と一致する症状を有する被験者を含むことができる。
【0060】
画像生成システム１０５は、収集された画像を、（例えば）クラウドデータストアを含むことができる画像データストア１１０に記憶することができる。各画像は、被験者の識別子および／または被験者に関連する介護提供者の識別子などの１つ以上の識別子に関連して記憶することができる。各画像は、画像が収集された日付と関連付けてさらに記憶されてもよい。
【0061】
ＩＩ．Ｂ．画像処理システム
１つ以上の画像は、１つ以上の画像のそれぞれに対するラベルの識別を容易にする画像ラベリングシステム１１５に利用される。ラベルは、画像が生物学的異常を描写しているかどうかを示す。画像が生物学的異常を描写することを示すラベルは、画像が生物学的異常の一部（例えば、生物学的異常のスライス）を描写することを示すことができることが理解されよう。
１つ以上の画像は、１つ以上の画像のそれぞれに対するラベルの識別を容易にする画像ラベリングシステム１１５に利用される。ラベルは、画像が生物学的異常を描写しているかどうかを示す。画像が生物学的異常を描写することを示すラベルは、画像が生物学的異常の一部（例えば、生物学的異常のスライス）を描写することを示すことができることが理解されよう。
【0062】
画像ラベリングシステム１１５は、人間のユーザによって受信された入力に基づいてラベルを識別することができる。例えば、画像ラベリングシステム１１５は、ディスプレイ上に１つ以上の画像のそれぞれを提示し、各画像が生物学的異常（例えば、腫瘍の少なくとも一部を描写する）を描写しているかどうかを示す入力（例えば、所与のボタンのクリック、プルダウンオプションの選択、テキストの入力など）を受信することができる。
【0063】
あるいは、画像ラベリングシステム１１５は、自動画像処理技術を用いてラベルを識別してもよい。例えば、画像ラベリングシステム１１５は、ボクセルまたはピクセルの少なくとも閾値割合または少なくとも閾値数が所定の閾値を超える強度を有する場合、画像が生物学的異常を描写すると予測することができる。閾値は、造影剤を吸収した身体の部分（例えば、腫瘍）と身体の他の部分とを区別するように定義することができる。別の例として、画像ラベリングシステム１１５は、画像のソースに基づいてラベルを識別することができる。例えば、画像の第１のソースは、確認された腫瘍症例に関連するデータベース、ライブラリ、または医療提供者システムを含むことができ、画像の第２のソースは、健康な被験者に関連するデータベース、ライブラリ、または医療提供者システムを含むことができる。
【0064】
画像ラベリングシステム１１５は、画像データストア１１０を、１つ以上の画像のそれぞれが生物学的異常の描写を含むか否かを示す１つ以上のラベルを含むように更新することができる。
【0065】
ＩＩ．Ｃ．画像処理システム
画像処理システム１２５（例えば、遠隔および／またはクラウドベースのコンピューティングシステムを含むことができる）は、所与の種類の１つ以上の生物学的異常のそれぞれについて、描写された異常のサイズを予測するように構成される。
画像処理システム１２５（例えば、遠隔および／またはクラウドベースのコンピューティングシステムを含むことができる）は、所与の種類の１つ以上の生物学的異常のそれぞれについて、描写された異常のサイズを予測するように構成される。
【0066】
ＩＩ．Ｃ．１．前処理コントローラ
より具体的には、画像処理システム１２５は、ＧＡＮを訓練し、続いて、ＧＡＮからの訓練された異常除去生成器ネットワークを使用して、（特定の種類の生物学的異常を描写する）入力画像を処理して、（特定の種類の生物学的異常を描写しない）修正画像を生成し、入力画像および修正画像を使用して生物学的異常のサイズを予測するように構成することができる。
より具体的には、画像処理システム１２５は、ＧＡＮを訓練し、続いて、ＧＡＮからの訓練された異常除去生成器ネットワークを使用して、（特定の種類の生物学的異常を描写する）入力画像を処理して、（特定の種類の生物学的異常を描写しない）修正画像を生成し、入力画像および修正画像を使用して生物学的異常のサイズを予測するように構成することができる。
【0067】
より具体的には、画像処理システム１２５は、画像の前処理を開始および／または制御する前処理コントローラ１３０を含む。前処理は、（例えば）画像を所定のフォーマットに変換すること、画像を所定のサンプリングサイズに再サンプリングすること、画像を所定のサイズ（例えば、１つ、複数、または全ての次元のそれぞれの指定された数以下のピクセルまたはボクセル）に再サンプリングすること、画像を所定のサイズにトリミングすること、複数の２次元画像に基づいて３次元画像を生成すること、異なる（例えば、ターゲット）視点を有する１つ以上の画像を生成すること、強度値を調整すること（例えば、標準化または正規化）、および／または色値を調整することを含むことができる。
【0068】
前処理は、１つ以上のカラーチャネルを調整する変換を含むことができる。例えば、グレースケール画像は、１つ以上のカラーチャネルを含むように変換することができる。
【0069】
場合によっては、各画像について、前処理コントローラ１３０は、特定の種類の生物学的器官（例えば、肺）の少なくとも一部を描写する領域を検出することによって画像をセグメント化する。セグメンテーションは、（例えば）教師あり学習を使用して訓練されたニューラルネットワーク（例えば、畳み込みニューラルネットワーク）を使用して実行することができる。画像は、特定の種類の生物学的器官を描写していると識別された画像の部分のみを含むように修正することができる。例えば、他の全てのピクセルまたはボクセルの強度値は、０または数ではない値に設定されてもよい。
【0070】
ＩＩ．Ｃ．２．ＧＡＮ訓練コントローラ
画像処理システム１２５は、ラベル付き画像を使用してＧＡＮを訓練するＧＡＮ訓練コントローラ１３５を含む。ＧＡＮは、それぞれが少なくとも１つの生物学的異常を描写する（生物学的異常の少なくとも一部を描写することを含むことができる）第１の画像セットを含む訓練セットを使用して訓練することができ、少なくとも１つの生物学的異常は特定の種類の異常である。例えば、画像は、腫瘍の全体を描写する３次元画像、腫瘍の全断面を描写する２次元画像、腫瘍の一部を描写する３次元画像、または腫瘍の断面の一部を描写する２次元画像を含むことができる。訓練セットはまた、第２のセットの画像を含み、第２のセットの各画像は、特定の種類の異常の生物学的異常を描写しない。データセット内の各画像は、特定の種類の生物学的異常を描写するかどうかを示すラベルに関連付けることができるが、訓練セットは、画像内のどこに異常が描写されているかを示すセグメンテーションまたは注釈データを含む必要はない。訓練セット内の画像は、全て、特定の器官の少なくとも一部（または全部）を描写することができ、または訓練セットは、身体の異なる部分を描写する画像を含むことができる。
画像処理システム１２５は、ラベル付き画像を使用してＧＡＮを訓練するＧＡＮ訓練コントローラ１３５を含む。ＧＡＮは、それぞれが少なくとも１つの生物学的異常を描写する（生物学的異常の少なくとも一部を描写することを含むことができる）第１の画像セットを含む訓練セットを使用して訓練することができ、少なくとも１つの生物学的異常は特定の種類の異常である。例えば、画像は、腫瘍の全体を描写する３次元画像、腫瘍の全断面を描写する２次元画像、腫瘍の一部を描写する３次元画像、または腫瘍の断面の一部を描写する２次元画像を含むことができる。訓練セットはまた、第２のセットの画像を含み、第２のセットの各画像は、特定の種類の異常の生物学的異常を描写しない。データセット内の各画像は、特定の種類の生物学的異常を描写するかどうかを示すラベルに関連付けることができるが、訓練セットは、画像内のどこに異常が描写されているかを示すセグメンテーションまたは注釈データを含む必要はない。訓練セット内の画像は、全て、特定の器官の少なくとも一部（または全部）を描写することができ、または訓練セットは、身体の異なる部分を描写する画像を含むことができる。
【0071】
ＧＡＮは、サイクルＧＡＮまたはリサイクルＧＡＮを含むことができる。ＧＡＮは、特定の種類の生物学的異常（例えば、腫瘍）を描写する画像を受信し、特定の種類の生物学的異常を描写しない修正された（偽の）画像を出力するように訓練された異常除去生成器ニューラルネットワークを含む。異常除去生成器ネットワークは、１つ以上の畳み込み層、Ｕ－ｎｅｔ、またはＶ－ｎｅｔを含むことができる。場合によっては、異常除去生成器ネットワークは、特徴抽出エンコーダ（１つ以上の畳み込み層を含む）、変換器（１つ以上の畳み込み層を含む）、およびデコーダ（１つ以上の畳み込み層を含む）を含む。修正画像および受信画像は、様々なコンテキスト（例えば、描写された面積／体積、サイズ、描写された器官など）を共有することができる。識別器ネットワークは、異常除去生成器ネットワークから偽画像を受信し、特定の種類の生物学的異常を描写しない実画像も受信する。識別器ネットワークは、１つ以上の畳み込み層および活性化層を含むことができる。識別器ネットワークは、各画像について、画像が現実であるか偽であるかを予測する。識別器ネットワークの予測の精度に基づいて、異常除去生成器ネットワークにフィードバックを送信することができる。
【0072】
ＧＡＮを訓練することは、１つ以上の損失関数を使用することを含むことができる。訓練は、ＧＡＮの識別器ネットワークが、実画像が偽画像である（またはその逆）と誤って予測した場合にペナルティを導入することを含むことができる。訓練は、追加的または代替的に、サイクル損失を導入することを含んでもよい。サイクル損失は、特定の種類の異常の描写を欠く（または代替的に含む）と予測される修正画像を生成するためにそのような描写を除去する（または代替的に追加する）ために、次いで、ＧＡＮの別の生成器ネットワークを用いて修正画像を処理して、サイクル画像を生成するために異常の描写を追加する（または代替的に除去する）ために、ＧＡＮの１つの生成器ネットワークを用いて特定の種類の異常の描写を含む（または代替的に欠く）元の画像を二重処理することによって計算することができる。損失は、元の画像とサイクルされた画像との間の差によってスケーリングすることができる。
【0073】
ＩＩ．Ｃ．２．ａ．サイクルＧＡＮ
ＧＡＮ訓練コントローラ１３５によって訓練されたＧＡＮは、複数の生成器ネットワークおよび複数の識別器ネットワークを含むサイクルＧＡＮを含むことができる。図２は、サイクルＧＡＮにおけるネットワークおよびネットワーク接続の表現を示し、図３は、サイクル－ＧＡＮを使用して偽画像を生成し、実画像と偽画像とを識別するフローを示している。この描写では、各長方形のボックスは、（実または偽）画像を表し、各菱形は、識別を表す。
ＧＡＮ訓練コントローラ１３５によって訓練されたＧＡＮは、複数の生成器ネットワークおよび複数の識別器ネットワークを含むサイクルＧＡＮを含むことができる。図２は、サイクルＧＡＮにおけるネットワークおよびネットワーク接続の表現を示し、図３は、サイクル－ＧＡＮを使用して偽画像を生成し、実画像と偽画像とを識別するフローを示している。この描写では、各長方形のボックスは、（実または偽）画像を表し、各菱形は、識別を表す。
【0074】
ＸおよびＹドメインは、異なる種類の画像に関係する。この場合、Ｙドメインは、特定の種類の生物学的異常（例えば、病変）を描写する画像に対応し、Ｘドメインは、特定の種類の生物学的異常の描写を欠く画像に対応する。
【0075】
異常除去生成器ネットワークを含むことに加えて、サイクルＧＡＮはまた、画像を修正して特定の種類の生物学的異常の描写を追加するように構成および訓練された異常付加生成器ネットワークを含む。異常付加生成器ネットワークは、１つ以上の畳み込み層、Ｕ－ｎｅｔ、またはＶ－ｎｅｔを含むことができる。場合によっては、異常付加生成器ネットワークは、特徴抽出エンコーダ（１つ以上の畳み込み層を含む）、変換器（１つ以上の畳み込み層を含む）、およびデコーダ（１つ以上の畳み込み層を含む）を含む。異常付加生成器ネットワークのアーキテクチャは、異常除去生成器ネットワークのアーキテクチャと同じであってもよい。
【0076】
異常付加生成器ネットワークおよび／または異常除去生成器ネットワークは、サイクル一貫性損失またはサイクル損失を使用して集合的に訓練することができる。この場合、元の画像は、最初に一方の生成器ネットワークによって、次いで他方の生成器ネットワークによって処理することによって生成された画像と比較され、画像の差がより劇的である場合、損失はより大きくなることができる。例えば、元の画像３０５は、患者の肺を描写し、腫瘍の描写を含まない場合がある。この元の画像は、異常付加生成器ネットワークによって処理されて偽の腫瘍存在画像３１０を生成することができ、次いで、異常除去生成器ネットワークによって処理されて偽の腫瘍非存在画像３１０’を生成することができる。損失は、元の画像と偽の腫瘍非存在画像との差に応じてスケーリングするように計算されてもよい。サイクル一貫性損失は、モード崩壊の発生または程度を低減することを容易にすることができる（この場合、生成器は、元の画像に対応しないことがある画像のステレオタイプを生成し始める）。しかしながら、サイクルＧＡＮにおけるサイクル損失を最小化することは、１つのドメインから別のドメインにマッピングされると、画像が１つの画像から別の画像に僅かなピクセルしか変化しない単一の「モード」で動かなくなることを保証しない。例えば、異常付加生成器ネットワークは、入力（例えば、実）異常存在画像とほぼ同一に見える偽異常存在画像を生成することができる。同様に、異常除去生成器ネットワークは、入力（例えば、偽）異常存在画像とほぼ同一に見える偽異常非存在画像を生成することができる。したがって、場合によっては、損失は、周期的損失と非周期的損失との組み合わせに基づいて計算することができる（例えば、非周期的損失は、識別器ネットワークが実画像と偽画像とを区別することができる程度に基づいて決定する）。
【0077】
特定の種類の異常を描写しない実画像および偽画像（例えば、実腫瘍非存在画像３０５および偽腫瘍非存在画像３１０’）を（ブロック３１５’において）識別する識別器ネットワークを含むことに加えて、サイクルＧＡＮはまた、特定の種類の異常を描写する偽画像および実画像（例えば、実腫瘍存在画像３０５’および偽腫瘍存在画像３１０）を（ブロック３１５において）識別する別の識別器ネットワークを含む。識別器ネットワークおよび他の識別器ネットワークのそれぞれは、１つ以上の畳み込み層および活性化層を含むことができる。識別器ネットワークのアーキテクチャは、他の識別器ネットワークのアーキテクチャと同じであってもよい。
【0078】
各生成器ネットワーク（ＧＸおよびＧＹ）は、１つのドメインから画像を受信し、別のドメインで対応する画像を生成するように構成される（他のドメインは下付き文字によって示される）。ＧＹは、特定の種類の生物学的異常（Ｘドメイン）のいかなる描写も含まない実画像３０５を受信し、特定の種類の生物学的異常（Ｙドメイン）の描写を含む対応する偽画像３１０を生成するように構成される。一方、ＧＸは、特定の種類の生物学的異常（Ｙドメイン）の描写を含む実画像３０５’を受信し、特定の種類の生物学的異常（Ｘドメイン）の描写を欠く対応する画像３１０’を生成するように構成される。
【0079】
各識別器ネットワークは、（生成器ネットワークによって生成された）偽画像を処理して、画像が現実であるかどうかを予測する。各識別器ネットワークは、画像が現実であるかどうかを予測するために実画像を同様に処理する。各識別器ネットワークは、ドメイン固有である。したがって、例えば、識別器ネットワークＤＹは、特定の種類の生物学的異常を描写するために、生物学的異常を描写することが（例えば、画像に関連するメタデータを介して）知られているまたは（異常付加生成器ネットワークＧＹまたは予測器ネットワークＰＹによって）生成されている実画像または偽画像の予測を生成する（ブロック３１５において）。同様に、識別器ネットワークＤＸは、特定の種類の生物学的異常の描写を欠くために、所与の種類の生物学的異常の描写を欠いているとして（例えば、画像に関連するメタデータを介して）知られているまたは（異常除去生成器ネットワークＧＸまたは予測器ネットワークＰＸによって）生成されている実画像または偽画像の予測を生成する（ブロック３１５’において）。
【0080】
偶然に対応する識別結果は、識別器ネットワークが実画像と偽画像とを区別することができず、したがって偽画像が高品質である可能性が高いことを示す。所与のドメインで動作する識別器ネットワークによって実行された識別の結果は、学習プロセスにおいて、対応する生成器ネットワークのパラメータを調整するために使用することができる。
【0081】
サイクルＧＡＮが使用されて３次元画像を処理することができる。次いで、生成器および識別器ネットワークは、３次元畳み込み層を含むことができる。次いで、ネットワークは、スライスを横切って延在する特徴が、画像が特定の種類の生物学的異常を描写するかどうか、および画像が特定の種類の生物学的異常を描写する場所をどのように予測するかを学習するように構成することができる。代替的または追加的に、３次元画像は、１次元ベクトルに再整形し、２次元畳み込み層を使用して処理することができる。
【0082】
ニューラルネットワークを使用して３次元画像を処理することは、かなりの量のメモリを使用することができることが理解されよう。したがって、関心のある生物学的領域（例えば、器官）が大きい場合、サイズを縮小するために器官をセグメント化するために前処理技術を実行することができる。代替的または追加的に、画像は、画像の空間解像度を低減するために前処理されてもよい。例えば、関心器官が肺である場合（他の器官と比較して肺のサイズが比較的大きい場合）、器官をセグメント化し、解像度を下げるように再サンプリングすることが有用とすることができる。
【0083】
ＩＩ．Ｃ．２．ｂ．リサイクルＧＡＮ
ＧＡＮ訓練コントローラ１３５によって訓練されたＧＡＮは、複数の生成器ネットワーク、複数の識別器ネットワーク、および複数の予測器ネットワークを含むリサイクルＧＡＮを含むことができる。図４は、リサイクルＧＡＮにおけるネットワークおよびネットワーク接続の表現を示している。図２のサイクルＧＡＮに描写されたネットワークに加えて、図４に示されたリサイクル－ＧＡＮは、複数の予測器ネットワーク、ＰＸおよびＰＹを含む。
ＧＡＮ訓練コントローラ１３５によって訓練されたＧＡＮは、複数の生成器ネットワーク、複数の識別器ネットワーク、および複数の予測器ネットワークを含むリサイクルＧＡＮを含むことができる。図４は、リサイクルＧＡＮにおけるネットワークおよびネットワーク接続の表現を示している。図２のサイクルＧＡＮに描写されたネットワークに加えて、図４に示されたリサイクル－ＧＡＮは、複数の予測器ネットワーク、ＰＸおよびＰＹを含む。
【0084】
各予測器ネットワークは、１つ以上の畳み込み層および／またはＵ－ｎｅｔを含むことができる。各予測器ネットワークは、予測器ネットワークに入力された１つ以上の画像とは異なるコンテキストで取得された画像を予測する。例えば、予測器ネットワークは、畳み込みニューラルネットワークを含むことができ、および／または予測器ネットワークによって受信された画像の視点、イメージングモダリティ、位置、ズーム、および／またはスライスと比較して異なる視点、イメージングモダリティ、位置、ズーム、および／またはスライスに対応する画像を生成することができる。例えば、予測器ＰＸは、隣接するスライスｘｔの画像に基づいてスライスｘｔ＋１の画像を予測することができ、ＰＹは、隣接するスライスｙｓの画像に基づいてスライスｙｓ＋１の画像を予測することができる。
【0085】
図５は、本発明のいくつかの実施形態にかかる、ニューラルネットワーク構成において様々な偽画像をどのように生成および評価することができるかを示している。この描写では、各長方形のボックスは、（実または偽）画像を表し、各菱形は、識別を表す。
【0086】
第１および第２の実異常非存在画像５０５のそれぞれは、サンプルの第１のスライスおよび第２のスライス（それぞれ）を示し、特定の種類の生物学的異常の描写を欠いている。ＧＹは、特定の種類の生物学的異常の描写を追加することによって、第１および第２の実異常非存在画像５０５を使用して、第１および第２のスライスの第１および第２の偽異常存在画像５１０を生成する。ＰＹは、第１のスライス５１０の第１および第２の偽異常存在画像を使用して、第３のスライスの第３の偽異常存在画像５１５を生成する。ブロック５２０において、ＤＹは、第３の偽異常存在画像５１５が現実であるか偽であるかを予測する。ＤＹは、さらに、別のサンプルの他の第１および第２のスライスの第１および第２の実異常存在画像５０５’が現実であるか偽であるかを予測する。図示されていないが、ＤＹは、第１および第２のスライスの第１および第２の偽異常存在画像５０５が現実であるか偽であるかをさらに予測することができる。（例えば、再現率統計量に基づく）識別からのフィードバックは、ＧＹにフィードバックすることができる。
【0087】
第３のスライスの第３の偽異常存在画像５１５がＧＸに供給され、これにより、第３のスライスの周期的な偽異常非存在画像５２５を生成する。ＰＸは、第１および第２の実異常非存在画像５０５を使用して、第３のスライドの別の偽異常非存在画像５３０を生成する。ブロック５３５において、偽異常非存在画像５２５および５３０（第３のスライスに対応する）が互いに比較されて、ＰＸの損失を識別することができる。さらに、５４０において、第３のスライド５２５の周期的な偽異常非存在画像が、第３のスライスの第３の実異常非存在画像５３５と比較されて、サイクル損失を決定することができる。
【0088】
図５は、対称的な動作を表している。より具体的には、他のサンプルの他の第１および第２のスライスの第１および第２の実異常存在画像５０５’は、他の第１および第２のスライスの第１および第２の偽異常非存在画像５１０’を生成するＧＸに供給される。ＰＸは、第１および第２の偽異常非存在画像５１０’を使用して、他方のサンプル５１５’の第３のスライスの第３の偽異常非存在画像５１５’を生成することができる。ブロック５２０’において、ＤＸは、第３の偽異常非存在画像５１５’が現実であるか偽であるかを予測する。ＤＸは、さらに、第１および第２の実異常非存在画像５０５が現実であるか偽であるかを予測する。図示されていないが、ＤＸは、他の第１および第２のスライスの第１および第２の偽異常非存在画像５１０’が現実であるか偽であるかをさらに予測することができる。（例えば、再現率統計量に基づく）識別からのフィードバックは、ＧＸにフィードバックすることができる。
【0089】
他方の第３のスライスの第３の偽異常非存在画像５１５’は、第３のスライスの周期的な偽異常存在画像５２５’を生成するＧＹに供給される。ＰＹは、第１および第２の実異常存在画像５０５’を使用して、別の第３のスライドの別の偽異常存在画像５３０’を生成する。ブロック５３５’において、偽異常存在画像５２５’および５３０’（他の第３のスライスに対応する）が互いに比較されて、ＰＹの損失を識別することができる。さらに、５４０’において、他の第３のスライドの周期的な偽異常存在画像５２５’が第３のスライスの第３の実異常存在画像５３５’と比較されて、サイクル損失を決定することができる。
【0090】
図６Ａ～図６Ｂは、リサイクルＧＡＮにおいてどのように様々な種類の損失が生じることができるかを示している。図６Ａに例示されるように、識別器ネットワークおよび予測器ネットワークが全体的な訓練および逆伝播に関与しても、それらの重みは、識別結果に応答して更新される必要はない。むしろ、識別結果は、対応する生成器ネットワークの重みのみの更新を選択的にトリガすることができる。しかしながら、識別器ネットワークを介して流れる逆伝播により、その重みが生成器訓練において考慮され、これにより、識別器を超える何らかの利点を生成器訓練に与える。（図６Ａ）
【0091】
生成器ネットワークが偽画像を生成するために使用されるとしても、生成器ネットワークは、アーキテクチャ内の対応する識別器の前にある。したがって、生成器重みは、識別器訓練にアクセスできない場合がある。（図６Ｂ）
【0092】
リサイクルＧＡＮが使用されて、２次元画像のセットを処理することができる。次いで、生成器および識別器ネットワークは、２次元畳み込み層を含むことができる。予測器ネットワークは、ドメイン間に弱いコヒーレンス（例えば、スライス）を導入することを容易にし、その結果、ネットワークは、（例えば、複数のスライスによって包含される体積にわたって）解剖学的組織を学習することができ、その後、より現実的に（２Ｄスライスのみであるためにその解剖学的組織を欠いている）偽画像を生成することができ、実画像と偽画像とを区別することができ、その後、偽画像の生成をさらに改善することを容易にすることができる。
【0093】
ＩＩ．Ｃ．３．生成器ネットワークコントローラ
ＧＡＮ訓練コントローラ１３５は、完全ＧＡＮネットワークを訓練することができるが、その後、生成器ネットワークコントローラ１４０は、医用画像を評価するためにＧＡＮからの単一の生成器ネットワークを使用することができる。より具体的には、単一の生成器ネットワークは、特定の種類の生物学的異常（例えば、腫瘍または病変）を描写する入力画像を受信し、特定の種類の生物学的異常の描写を欠く修正画像を生成するものを含むことができる。
ＧＡＮ訓練コントローラ１３５は、完全ＧＡＮネットワークを訓練することができるが、その後、生成器ネットワークコントローラ１４０は、医用画像を評価するためにＧＡＮからの単一の生成器ネットワークを使用することができる。より具体的には、単一の生成器ネットワークは、特定の種類の生物学的異常（例えば、腫瘍または病変）を描写する入力画像を受信し、特定の種類の生物学的異常の描写を欠く修正画像を生成するものを含むことができる。
【0094】
ＩＩ．Ｃ．４．サイズ検出器
次いで、サイズ検出器１４５は、異常除去生成器ネットワークコントローラ１４０によって生成された１つ以上の修正画像（すなわち、特定の種類の生物学的異常の描写を欠く）および入力画像（例えば、特定の種類の生物学的異常を描写する）のそれぞれを受信し、生物学的異常のサイズを予測するように構成することができる。例えば、サイズ検出器１４５は、入力画像から修正画像を減算することができる。場合によっては、サイズ検出器１４５は、最初に差分画像を処理することができる（例えば、１つ以上の空間フィルタおよび／または閾値を適用するために）。
次いで、サイズ検出器１４５は、異常除去生成器ネットワークコントローラ１４０によって生成された１つ以上の修正画像（すなわち、特定の種類の生物学的異常の描写を欠く）および入力画像（例えば、特定の種類の生物学的異常を描写する）のそれぞれを受信し、生物学的異常のサイズを予測するように構成することができる。例えば、サイズ検出器１４５は、入力画像から修正画像を減算することができる。場合によっては、サイズ検出器１４５は、最初に差分画像を処理することができる（例えば、１つ以上の空間フィルタおよび／または閾値を適用するために）。
【0095】
予測サイズは、差分画像において特定された領域（例えば、入力画像が２次元画像である場合）のサイズであってもよく、またはボリューム（例えば、入力画像が３次元画像である場合）のサイズであってもよい。例えば、サイズ検出器１４５は、各ピクセルまたはボクセルについて、強度条件（例えば、ピクセルまたはボクセルの強度が０に等しくないときに満たされるように構成された条件、またはピクセルまたはボクセルの強度が所定の開範囲または閉範囲内にあるときに満たされるように構成された条件）が満たされたかどうかを判定することができる。予測サイズは、条件が満たされたピクセルまたはボクセルの量に基づいて定義されてもよい。あるいは、各ピクセルまたはボクセルについて、条件が満たされたかどうかを示すバイナリ画像が生成されてもよい。次いで、条件が満たされたピクセルまたはボクセルが（例えば、十分な量および／または形状の）他のピクセルに隣接しているときに通過するように、ローパス空間フィルタを適用することができる。フィルタリングされた画像は、別のバイナリ画像を含むことができる。次いで、フィルタリングされた画像を処理することによって（例えば、フィルタリングされた画像内のピクセルまたはボクセルにわたって閾値化、合計、または平均化することによって）、生物学的異常の予測サイズを決定することができる。
【0096】
場合によっては、サイズ検出器１４５は、複数の元の画像および修正された２次元画像を処理し、サイズ検出器１４５は、複数の画像の処理に基づいてサイズを予測する。一例として、２次元画像ごとに生物学的異常面積を推定することができ、面積を集約して生物学的異常の体積を推定することができる。別の例として、複数の入力画像（例えば、特定の種類の生物学的異常を描写する）が処理されて３次元異常存在画像を生成し、複数の修正画像（例えば、特定の種類の生物学的異常の描写を欠いている）が処理されて３次元異常非存在画像を生成し、サイズ検出器１４５は、３次元異常存在画像および３次元異常非存在画像に基づいて生物学的異常のサイズを推定することができる。例えば、サイズ検出器１４５は、３次元異常存在画像から３次元異常非存在画像を減算することができる。結果として得られる画像は、（例えば、閾値化、フィルタリングおよび／または平滑化を介して）処理することができるが、処理する必要はない。生物学的異常のサイズ（例えば、面積または体積）を予測することができる。場合によっては、予測サイズは、元の画像および／または修正画像の解像度および／またはサイズに基づいてもよく、および／またはそれに依存してもよい。さらに別の例として、複数の直交する次元のそれぞれについて、実腫瘍存在画像にアクセスすることができ、偽腫瘍非存在画像を生成することができ、実腫瘍存在画像から偽腫瘍非存在画像を減算することによって予測腫瘍描写を生成することができる。次いで、サイズ検出器１４５は、予測される腫瘍描写の最長直径を決定することができ、最長直径は、３つの最長直径の最大値であるように定義することができる。
【0097】
例えば、図７は、本発明のいくつかの実施形態にかかる、実画像と偽画像との間の比較に基づいて、生物学的異常の空間的特性をどのように推定することができるかを示している。具体的には、左画像は、病変および周囲組織の描写を含む初期画像を示す。中央の画像は、損傷を除去するように構成された訓練された異常除去生成器ネットワークによって生成された偽画像を示す。右画像は、対応する初期画像から偽画像を減算した結果を示す。これらの画像は、病変を特徴付けるために処理することができる。例えば、所定の閾値を上回る閾値を有するピクセルをカウントすることができる。カウントは、画像のスケールおよび／または画像の解像度に基づいて正規化またはスケーリングされてもよく、正規化またはスケーリングされたカウントは、撮像されたスライスの総病変サイズを示すことができる。場合によっては、このプロセスは、異なるスライスに対応する画像にわたって繰り返され、画像にわたって合計を実行することによって腫瘍体積を推定することができる。
【0098】
実画像および偽画像に基づいて生物学的異常のサイズを予測することに加えて、またはその代わりに、実画像および偽画像が使用されて、実画像に描写された生物学的異常をセグメント化することができる。セグメンテーション結果は、画像のどの部分が特定の種類の生物学的異常を描写するかを識別することができる。例えば、セグメンテーション結果は、元の画像上のオーバーレイを含むことができ、これは、元の画像のどの部分が特定の種類の生物学的異常を描写するものとして予測されたかを示す。
【0099】
画像処理システム１２５は、サイズ（および／またはセグメンテーション結果）をユーザ装置１５０に返すことができる。ユーザ装置１５０は、生物学的異常に対応する推定されたサイズを要求する装置、または生物学的異常を描写する１つ以上の画像を提供する装置を含むことができる。ユーザ装置１５０は、撮像された被験者を処置および／または評価している医療専門家および／または介護提供者に関連付けることができる。場合によっては、画像処理システム１２５は、生物学的異常画像生成システム１０５のサイズの推定値を返すことができる（例えば、その後、推定された体積をユーザ装置に送信することができる）。場合によっては、推定されたサイズを出力するのではなく、またはそれに加えて、画像処理システム１２５は、（例えば、ユーザ装置１５０へ）処置推奨を出力する。例えば、画像処理システム１２５は、推定されたサイズ（例えば、潜在的には、生物学的異常の１つ以上の以前の推定されたサイズ）に少なくとも部分的に基づいて処置推奨を識別するために、１つ以上の規則を使用することができる。例示すると、規則は、閾値を含むことができ、所与の被験者の生物学的異常の推定されたサイズが所与の被験者の生物学的異常の以前の推定されたサイズよりも少なくともＸ％小さくない場合（例えば、定義された期間に関連付けられる）、処置戦略を変更する推奨が考慮されるべきであることを示すことができる。
【0100】
場合によっては、生物学的異常特徴付けネットワーク１００が使用されて、複数の生物学的異常のそれぞれのサイズを推定することができることが理解されよう。例えば、異常除去生成器ネットワークは、入力画像が複数の画像を描写する場合であっても、いかなる脳病変も描写しない修正画像を生成するように訓練されてもよい。次いで、入力画像と修正画像との間の差が使用されて、脳病変の累積サイズを推定することができる。
【0101】
ＩＩＩ．例示的な生物学的異常特徴付けネットワーク
図８は、生物学的異常のサイズを推定するための例示的なプロセス８００のフローチャートを示している。ブロック８０５において、画像処理システム１２５は、医用画像にアクセスする。医用画像は、生物学的異常（例えば、腫瘍または病変）の少なくとも一部を描写する。医用画像は、２次元画像であってもよく、または３次元画像であってもよい。医用画像は、ＣＴ画像、ＭＲＩ画像、Ｘ線画像などとすることができる。医用画像は、画像生成システム１０５によって収集および／またはアクセスされていてもよい。
図８は、生物学的異常のサイズを推定するための例示的なプロセス８００のフローチャートを示している。ブロック８０５において、画像処理システム１２５は、医用画像にアクセスする。医用画像は、生物学的異常（例えば、腫瘍または病変）の少なくとも一部を描写する。医用画像は、２次元画像であってもよく、または３次元画像であってもよい。医用画像は、ＣＴ画像、ＭＲＩ画像、Ｘ線画像などとすることができる。医用画像は、画像生成システム１０５によって収集および／またはアクセスされていてもよい。
【0102】
ブロック８１０において、生成器ネットワークコントローラ１４０は、異常除去生成器ネットワークを使用して医用画像の修正画像を生成する。修正画像は、生物学的異常の少なくとも一部の描写を欠くように（異常除去生成器ネットワークによって）生成または予測することができる。異常除去生成器ネットワークは、ＧＡＮを訓練するＧＡＮ訓練コントローラ１３５によって訓練されていてもよい。修正画像は、前処理された画像の処理（生成器ネットワークコントローラ１４０による）に基づいて生成することができる。ＧＡＮは、少なくとも異常除去生成器ネットワークおよび１つ以上の識別器ネットワークを含んでいてもよい。ＧＡＮはまた、異常付加生成器ネットワークおよび／または１つ以上の予測ネットワークを含んでいてもよい。
【0103】
ブロック８１５において、医用画像および修正画像に基づいて、生物学的異常のサイズが推定される（例えば、サイズ検出器１４５によって）。例えば、元の画像（またはその前処理されたバージョン）が修正画像から減算されて残りの画像を生成する。次いで、残りの画像は、（例えば、潜在的にフィルタリングおよび／または閾値処理を適用した後に）（例えば）残りの画像内のボクセルまたはピクセルを合計または平均化することによって処理することができる。
【0104】
ブロック８２０において、生物学的異常の推定されたサイズが出力される（例えば、画像処理システム１２５によって、および／またはユーザ装置１５０に）。出力は、推定されたサイズを送信すること、および／または推定されたサイズを提示することを含むことができる。場合によっては、出力は、推定されたサイズに基づいて結果（例えば、処置推奨）を送信および／または提示することを含む。
【0105】
Ｖ．実施例
Ｖ．Ａ．実施例１
図９は、病変を検出するためにサイクルＧＡＮを使用して使用および生成された画像の例を示している。図９の上部画像は、被験者の右肺の３つの実際の直交ＣＴスライスを示している。スライスの視覚化は、スライス間の空間的関係を表すために、３次元空間で交差するスライスを示す。実際の直交ＣＴスライスのそれぞれは、病変の描写を含んでいた。
Ｖ．Ａ．実施例１
図９は、病変を検出するためにサイクルＧＡＮを使用して使用および生成された画像の例を示している。図９の上部画像は、被験者の右肺の３つの実際の直交ＣＴスライスを示している。スライスの視覚化は、スライス間の空間的関係を表すために、３次元空間で交差するスライスを示す。実際の直交ＣＴスライスのそれぞれは、病変の描写を含んでいた。
【0106】
図２に表されるようなアーキテクチャを有するサイクルＧＡＮモデルが、訓練データを使用して訓練された。次いで、訓練された異常除去生成器ネットワークＧＸは、３つの実際のＣＴスライスのそれぞれを処理して、病変の描写を欠くと予測される対応する偽のＣＴ画像を生成した。これらの偽腫瘍非存在画像は、図９の中央画像の３次元空間において興味深いものとして示されている。
【0107】
実画像のそれぞれについて、対応する偽画像が実画像から減算されて、腫瘍の予測される２次元描写を生成した。図９の下部画像は、３次元空間で交差する腫瘍予測画像を示している。３次元のそれぞれにおける腫瘍のサイズを予測することは、腫瘍の最長直径の推定を容易にすることができる。例えば、腫瘍描写の最長直径は、３つの腫瘍予測画像のそれぞれについて推定することができ、最長直径は、３つの最長直径の最大値であると定義することができる。
【0108】
Ｖ．Ｂ．実施例２
図１０は、サイクル－ＧＡＮアルゴリズムを使用することによって、または４人の人間の判読者によって行われる例示的な病変検出を示している。図１０に示すマスクなし画像は、図９の上部画像に示す画像と同じである。しかしながら、ここでは、画像は交差するのではなく、並んで配置される。残りの画像は同じマスクなし画像を示すが、予測された病変描写がオーバーレイされている。アルゴリズム画像に示される予測病変描写は、図９の下部画像に示されるものと同じであり、マスクなし画像を偽異常非存在画像（サイクルＧＡＮを使用して訓練された異常除去生成器ネットワークによって生成された）と比較することによって計算された。
図１０は、サイクル－ＧＡＮアルゴリズムを使用することによって、または４人の人間の判読者によって行われる例示的な病変検出を示している。図１０に示すマスクなし画像は、図９の上部画像に示す画像と同じである。しかしながら、ここでは、画像は交差するのではなく、並んで配置される。残りの画像は同じマスクなし画像を示すが、予測された病変描写がオーバーレイされている。アルゴリズム画像に示される予測病変描写は、図９の下部画像に示されるものと同じであり、マスクなし画像を偽異常非存在画像（サイクルＧＡＮを使用して訓練された異常除去生成器ネットワークによって生成された）と比較することによって計算された。
【0109】
残りの画像は、４人の人間の判読者のそれぞれによって行われた病変の注釈を示す。特に、異常除去生成器ネットワークを使用することによって識別された予測病変領域は、人間の判読者によって識別された病変領域と同様であった。
【0110】
Ｖ．Ｃ．実施例３
訓練データセットは、癌病変を有する胸ボリュームの１，３００個の全身ＣＴ画像および癌を含まない胸ボリュームの３００個の全身ＣＴ画像を含むように定義された。各画像は、画像が癌（１つ以上の病変を有する）を有する胸ボリュームに対応するか否かを示すようにラベル付けされた。データは、訓練および試験のために８０：２０に分割された。図４に示すようなアーキテクチャを有するモデルが、訓練データを使用して訓練された。
訓練データセットは、癌病変を有する胸ボリュームの１，３００個の全身ＣＴ画像および癌を含まない胸ボリュームの３００個の全身ＣＴ画像を含むように定義された。各画像は、画像が癌（１つ以上の病変を有する）を有する胸ボリュームに対応するか否かを示すようにラベル付けされた。データは、訓練および試験のために８０：２０に分割された。図４に示すようなアーキテクチャを有するモデルが、訓練データを使用して訓練された。
【0111】
図１１は、熟練した放射線科医からの病変検出と比較して、訓練されたモデルによる病変検出出力を比較することによる、試験データの処理からの結果を示している。特に、描写された結果はかなり一貫している。このモデルは、０．９４のＲＯＩレベルの感度および０．８９の病変レベルの感度を有していた。セグメンテーションは、０．２のダイス類似度係数を達成した。
【0112】
ＶＩ．さらなる考察
本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
【0113】
使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。
【0114】
説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態の説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることが理解される。
【0115】
説明では、実施形態の完全な理解を提供するために具体的な詳細が示されている。しかしながら、これらの具体的な詳細なしで実施形態を実施することができることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。
潜在的に特許請求可能な主題の例は、以下を含むが、これらに限定されるものではない。
潜在的に特許請求可能な主題の例は、以下を含むが、これらに限定されるものではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【国際調査報告】