特表2024-542233医療画像中の生物学的オブジェクトの機械学習ベースのセグメント化
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-13
(54)【発明の名称】医療画像中の生物学的オブジェクトの機械学習ベースのセグメント化
(51)【国際特許分類】
G06T 7/10 20170101AFI20241106BHJP
G06T 7/00 20170101ALI20241106BHJP
G06V 10/82 20220101ALI20241106BHJP
A61B 6/03 20060101ALI20241106BHJP
【ＦＩ】
G06T7/10
G06T7/00 350C
G06T7/00 612
G06V10/82
A61B6/03 560J
A61B6/03 560T
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024529856
(86)(22)【出願日】2022-11-21
(85)【翻訳文提出日】2024-06-17
(86)【国際出願番号】 US2022080245
(87)【国際公開番号】W WO2023092124
(87)【国際公開日】2023-05-25
(31)【優先権主張番号】63/282,038
(32)【優先日】2021-11-22
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．イーサネット
(71)【出願人】
【識別番号】509012625
【氏名又は名称】ジェネンテック， インコーポレイテッド
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】ジェマー， モハメド スカンダー
(72)【発明者】
【氏名】ペトロフ， ユーリ アナトーリエヴィチ
(72)【発明者】
【氏名】ワン， シャオヨン
(72)【発明者】
【氏名】ベングトソン， ニルス グスタフ トーマス
(72)【発明者】
【氏名】カラノ， リチャード アラン デュレイ
【テーマコード（参考）】
4C093
5L096
【Ｆターム（参考）】
4C093AA22
4C093AA26
4C093CA18
4C093FD03
4C093FF13
4C093FF16
4C093FF20
4C093FF28
4C093FF33
4C093FF42
5L096BA06
5L096CA02
5L096DA02
5L096FA06
5L096HA11
5L096KA04
(57)【要約】
一実施形態では、方法は、コンピュータ断層撮影（ＣＴ）スキャン画像のセットからの第１のスキャン画像にアクセスすることであって、各ＣＴスキャン画像が、第１の解像度にある、第１のスキャン画像にアクセスすることと、第１のスキャン画像を第１の解像度よりも低い第２の解像度に再サンプリングすることによって、第１のスキャン画像の第１のダウンスケールされた画像を生成することと、第１のダウンスケールされた画像に基づいて第１の機械学習モデルによって、第１のスキャン画像中に描写されている器官に対応する粗いセグメント化を決定することと、粗いセグメント化に基づいて、第１のスキャン画像のセグメントを抽出することであって、各抽出されたセグメントが、第１の解像度にある、セグメントを抽出することと、抽出されたセグメントに基づいて第２の機械学習モデルによって、抽出されたセグメント中に描写されているそれぞれの器官に対応する細かいセグメント化を決定することと、細かいセグメント化に基づいて、第１のスキャン画像のセグメント化された画像を生成することであって、セグメント化された画像が、器官に対応する確認されたセグメント化を含む、セグメント化された画像を生成することとを含む。
【選択図】図１Ａ
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
１つまたは複数のコンピューティングシステムによって、コンピュータ断層撮影（ＣＴ）スキャン画像のセットからの第１のスキャン画像にアクセスすることであって、各ＣＴスキャン画像が、第１の解像度にある、第１のスキャン画像にアクセスすることと、
前記ＣＴスキャン画像のセットに関連付けられた空気またはＣＴスキャナの一部のうちの１つまたは複数を描写している、前記第１のスキャン画像の１つまたは複数の部分を検出することと、
前記第１のスキャン画像から、検出された前記１つまたは複数の部分を除去することと、
前記第１のスキャン画像を第２の解像度に再サンプリングすることによって、前記第１のスキャン画像の第１のダウンスケールされた画像を生成することであって、前記第２の解像度が、前記第１の解像度よりも低い、第１のダウンスケールされた画像を生成することと、
前記第１のダウンスケールされた画像に基づいて１つまたは複数の第１の機械学習モデルによって、前記第１のスキャン画像中に描写されている１つまたは複数の器官にそれぞれ対応する１つまたは複数の粗いセグメント化を決定することであって、前記第１の機械学習モデルのうちの少なくとも１つが、ニューラルネットワークモデルに基づき、前記第１の機械学習モデルのうちの少なくとも１つが、２つ以上のニューラルネットワークモデルのアンサンブルモデルに基づき、前記第１の機械学習モデルのうちの少なくとも１つが、前記アンサンブルモデルのディスティレーションモデルに基づく、１つまたは複数の粗いセグメント化を決定することと、
前記１つまたは複数の粗いセグメント化の各々について、対応する前記器官に関連付けられた関心領域を決定することと、
前記１つまたは複数の粗いセグメント化およびそれらのそれぞれの関心領域に基づいて、前記第１のスキャン画像の１つまたは複数のセグメントを抽出することであって、各抽出されたセグメントが、前記第１の解像度にある、１つまたは複数のセグメントを抽出することと、
前記第１のスキャン画像の前記１つまたは複数の抽出されたセグメントに基づいて１つまたは複数の第２の機械学習モデルによって、前記抽出されたセグメント中に描写されているそれぞれの前記１つまたは複数の器官に対応する１つまたは複数の細かいセグメント化を決定することであって、前記第２の機械学習モデルのうちの少なくとも１つが、ニューラルネットワークモデルに基づき、前記第２の機械学習モデルのうちの少なくとも１つが、２つ以上のニューラルネットワークモデルのアンサンブルモデルに基づき、前記第２の機械学習モデルのうちの少なくとも１つが、前記アンサンブルモデルのディスティレーションモデルに基づく、１つまたは複数の細かいセグメント化を決定することと、
前記第１のスキャン画像に前記１つまたは複数の細かいセグメント化をマッピングすることであって、前記マッピングは、
１つまたは複数の器官交差部を識別することであって、前記１つまたは複数の器官交差部の各々が、複数のボクセルを含み、前記複数のボクセルの各々が、それぞれ、２つ以上の器官を指し示す２つ以上のラベルに関連付けられ、前記２つ以上のラベルの各々が、それぞれの確率スコアに関連付けられる、１つまたは複数の器官交差部を識別することと、
前記器官交差部内の前記複数のボクセルの各々に、最も高い確率スコアに関連付けられた前記２つ以上の器官のうちの１つを指し示すラベルを割り当てることによって、前記１つまたは複数の器官交差部の各々を分解することと、
を含む、前記１つまたは複数の細かいセグメント化をマッピングすることと、
前記１つまたは複数の細かいセグメント化および前記マッピングに基づいて、前記第１のスキャン画像のセグメント化された画像を生成することであって、前記セグメント化された画像が、前記１つまたは複数の器官に対応する１つまたは複数の確認されたセグメント化を含む、セグメント化された画像を生成することと
を含む方法。
【請求項2】
１つまたは複数のコンピューティングシステムによって、コンピュータ断層撮影（ＣＴ）スキャン画像のセットからの第１のスキャン画像にアクセスすることであって、各ＣＴスキャン画像が、第１の解像度にある、第１のスキャン画像にアクセスすることと、
前記第１のスキャン画像を第２の解像度に再サンプリングすることによって、前記第１のスキャン画像の第１のダウンスケールされた画像を生成することであって、前記第２の解像度が、前記第１の解像度よりも低い、第１のダウンスケールされた画像を生成することと、
前記第１のダウンスケールされた画像に基づいて１つまたは複数の第１の機械学習モデルによって、前記第１のスキャン画像中に描写されている１つまたは複数の器官にそれぞれ対応する１つまたは複数の粗いセグメント化を決定することと、
前記１つまたは複数の粗いセグメント化に基づいて、前記第１のスキャン画像の１つまたは複数のセグメントをそれぞれ抽出することであって、各抽出されたセグメントが、前記第１の解像度にある、１つまたは複数のセグメントを抽出することと、
前記第１のスキャン画像の前記１つまたは複数の抽出されたセグメントに基づいて１つまたは複数の第２の機械学習モデルによって、前記抽出されたセグメント中に描写されているそれぞれの前記１つまたは複数の器官に対応する１つまたは複数の細かいセグメント化を決定することと、
前記１つまたは複数の細かいセグメント化に基づいて、前記第１のスキャン画像のセグメント化された画像を生成することであって、前記セグメント化された画像が、前記１つまたは複数の器官に対応する１つまたは複数の確認されたセグメント化を含む、セグメント化された画像を生成することと
を含む方法。
【請求項3】
前記ＣＴスキャン画像に関連付けられた空気またはＣＴスキャナの一部のうちの１つまたは複数を描写している、前記第１のスキャン画像の１つまたは複数の部分を検出することと、前記第１のスキャン画像から、前記検出された１つまたは複数の部分を除去することと
をさらに含む、請求項２に記載の方法。
【請求項4】
前記１つまたは複数の粗いセグメント化の各々について、対応する前記器官に関連付けられた関心領域を決定することであって、前記第１のスキャン画像の前記１つまたは複数のセグメントを抽出することが、さらに、前記１つまたは複数の粗いセグメント化に関連付けられたそれぞれの前記関心領域に基づく、関心領域を決定することをさらに含む、請求項２に記載の方法。
【請求項5】
前記第１のスキャン画像に前記１つまたは複数の細かいセグメント化をマッピングすることであって、前記第１のスキャン画像の前記セグメント化された画像を生成することが、さらに、前記マッピングに基づく、前記１つまたは複数の細かいセグメント化をマッピングすることをさらに含む、請求項２に記載の方法。
【請求項6】
前記第１のスキャン画像に前記１つまたは複数の細かいセグメント化をマッピングすることは、１つまたは複数の器官交差部を識別することであって、前記１つまたは複数の器官交差部の各々が、複数のボクセルを含み、前記複数のボクセルの各々が、それぞれ、２つ以上の器官を指し示す２つ以上のラベルに関連付けられ、前記２つ以上のラベルの各々が、それぞれの確率スコアに関連付けられる、１つまたは複数の器官交差部を識別することと、
前記器官交差部内の前記複数のボクセルの各々に、最も高い確率スコアに関連付けられた前記２つ以上の器官のうちの１つを指し示すラベルを割り当てることによって、前記１つまたは複数の器官交差部の各々を分解することと
を含む、請求項５に記載の方法。
【請求項7】
前記第１のスキャン画像が、胴の第１の部分を描写しており、前記第１のスキャン画像の前記セグメント化された画像が、前記１つまたは複数の器官のうちの第１の器官に対応する、前記１つまたは複数の確認されたセグメント化のうちの第１の確認されたセグメント化を含み、前記第１のスキャン画像が、並置線に関連付けられ、前記方法は、前記ＣＴスキャン画像のセットからの第２のスキャン画像にアクセスすることであって、前記第２のスキャン画像が、前記胴の第２の部分を描写しており、前記第２のスキャン画像が、前記並置線に関連付けられる、第２のスキャン画像にアクセスすることと、
前記第２のスキャン画像のセグメント化された画像を生成することであって、前記第２のスキャン画像の前記セグメント化された画像が、前記第１の器官に対応する第２の確認されたセグメント化を含む、セグメント化された画像を生成することと、
前記第１の確認されたセグメント化と前記第２の確認されたセグメント化との間のコントラスト不一致を決定することであって、前記第１の確認されたセグメント化および前記第２の確認されたセグメント化が、前記並置線のそれぞれ異なる側にある、コントラスト不一致を決定することと、
前記第１の確認されたセグメント化に関連付けられたＣＴ値、および前記第２の確認されたセグメント化に関連付けられたＣＴ値に基づいて、前記コントラスト不一致を等化することと、
前記並置線に沿って、前記等化されたコントラスト不一致に基づいて、前記第１のスキャン画像の前記セグメント化された画像と前記第２のスキャン画像の前記セグメント化された画像とをスティッチすることと
をさらに含む、請求項２に記載の方法。
【請求項8】
前記１つまたは複数の器官のうちの第１の器官が、空気を含み、前記第１の器官が、第１の空気通路を含み、前記方法が、前記第１のスキャン画像の前記セグメント化された画像内の前記第１の器官に関連付けられた凸包を識別することと、
前記凸包内の１つまたは複数の空気体積を識別することと、
前記１つまたは複数の空気体積のうちの最も大きい空気体積に基づいて、前記第１の空気通路を決定することと
をさらに含む、請求項２に記載の方法。
【請求項9】
前記コンピュータ断層撮影（ＣＴ）スキャン画像のセットの１つまたは複数の第２のスキャン画像にアクセスすることと、前記１つまたは複数の第２のスキャン画像の１つまたは複数のセグメント化された画像をそれぞれ生成することであって、前記１つまたは複数の第２のスキャン画像の前記１つまたは複数のセグメント化された画像の各々が、前記１つまたは複数の器官に対応する１つまたは複数の確認されたセグメント化を含む、１つまたは複数のセグメント化された画像を生成することと、
前記第１のスキャン画像の前記セグメント化された画像と、それぞれの前記１つまたは複数の第２のスキャン画像の前記１つまたは複数のセグメント化された画像とに基づいて、３次元（３Ｄ）のセグメント化された画像を生成することであって、前記３Ｄのセグメント化された画像が、前記１つまたは複数の器官に対応する１つまたは複数の３Ｄセグメント化を含む、３次元（３Ｄ）のセグメント化された画像を生成することと
をさらに含む、請求項２に記載の方法。
【請求項10】
前記第１または第２の機械学習モデルのうちの少なくとも１つが、ニューラルネットワークモデルに基づき、前記第１または第２の機械学習モデルのうちの少なくとも１つが、２つ以上のニューラルネットワークモデルのアンサンブルモデルに基づき、前記第１または第２の機械学習モデルのうちの少なくとも１つが、前記アンサンブルモデルのディスティレーションモデルに基づく、請求項２に記載の方法。
【請求項11】
前記ニューラルネットワークモデルおよび前記アンサンブルモデルの各々が、前記１つまたは複数の器官に関連付けられたグランドトゥルースセグメント化ラベルに基づいてトレーニングされ、前記ディスティレーションモデルが、前記アンサンブルモデルからの出力に基づいてトレーニングされる、請求項１０に記載の方法。
【請求項12】
前記第１のスキャン画像が、第１の時点に関連付けられ、前記１つまたは複数の器官のうちの第１の器官に対応する前記１つまたは複数の細かいセグメント化のうちの第１の細かいセグメント化が、前記第１の器官内の１つまたは複数の第１の病変を描写しており、前記方法は、前記ＣＴスキャン画像のセットからの第２のスキャン画像にアクセスすることであって、前記第２のスキャン画像が、第２の時点に関連付けられ、前記第２のスキャン画像が、前記第１の器官を描写している部分を含む、第２のスキャン画像にアクセスすることと、
前記第２のスキャン画像中に描写されている前記第１の器官に対応する第２の細かいセグメント化を決定することであって、前記第２の細かいセグメント化が、前記第１の器官内の１つまたは複数の第２の病変を描写している、第２の細かいセグメント化を決定することと、
前記１つまたは複数の第１の病変と前記１つまたは複数の第２の病変との間の比較に基づいて、病変登録を決定することと
をさらに含む、請求項２に記載の方法。
【請求項13】
ソフトウェアを具現する、１つまたは複数のコンピュータ可読非一時的記憶媒体であって、前記ソフトウェアは、実行されたとき、コンピュータ断層撮影（ＣＴ）スキャン画像のセットからの第１のスキャン画像にアクセスすることであって、各ＣＴスキャン画像が、第１の解像度にある、第１のスキャン画像にアクセスすることと、
前記第１のスキャン画像を第２の解像度に再サンプリングすることによって、前記第１のスキャン画像の第１のダウンスケールされた画像を生成することであって、前記第２の解像度が、前記第１の解像度よりも低い、第１のダウンスケールされた画像を生成することと、
前記第１のダウンスケールされた画像に基づいて１つまたは複数の第１の機械学習モデルによって、前記第１のスキャン画像中に描写されている１つまたは複数の器官にそれぞれ対応する１つまたは複数の粗いセグメント化を決定することと、
前記１つまたは複数の粗いセグメント化に基づいて、前記第１のスキャン画像の１つまたは複数のセグメントをそれぞれ抽出することであって、各抽出されたセグメントが、前記第１の解像度にある、１つまたは複数のセグメントを抽出することと、
前記第１のスキャン画像の前記１つまたは複数の抽出されたセグメントに基づいて１つまたは複数の第２の機械学習モデルによって、前記抽出されたセグメント中に描写されているそれぞれの前記１つまたは複数の器官に対応する１つまたは複数の細かいセグメント化を決定することと、
前記１つまたは複数の細かいセグメント化に基づいて、前記第１のスキャン画像のセグメント化された画像を生成することであって、前記セグメント化された画像が、前記１つまたは複数の器官に対応する１つまたは複数の確認されたセグメント化を含む、セグメント化された画像を生成することと
を行うように動作可能である、１つまたは複数のコンピュータ可読非一時的記憶媒体。
【請求項14】
前記ソフトウェアは、実行されたとき、前記ＣＴスキャン画像のセットに関連付けられた空気またはＣＴスキャナの一部のうちの１つまたは複数を描写している、前記第１のスキャン画像の１つまたは複数の部分を検出することと、
前記第１のスキャン画像から、検出された前記１つまたは複数の部分を除去することと
を行うようにさらに動作可能である、請求項１３に記載の媒体。
【請求項15】
前記ソフトウェアは、実行されたとき、前記１つまたは複数の粗いセグメント化の各々について、対応する前記器官に関連付けられた関心領域を決定することであって、前記第１のスキャン画像の前記１つまたは複数のセグメントを抽出することが、さらに、前記１つまたは複数の粗いセグメント化に関連付けられたそれぞれの前記関心領域に基づく、関心領域を決定すること
を行うようにさらに動作可能である、請求項１３に記載の媒体。
【請求項16】
前記ソフトウェアは、実行されたとき、前記第１のスキャン画像に前記１つまたは複数の細かいセグメント化をマッピングすることであって、前記第１のスキャン画像の前記セグメント化された画像を生成することが、さらに、前記マッピングに基づく、前記１つまたは複数の細かいセグメント化をマッピングすること
を行うようにさらに動作可能である、請求項１３に記載の媒体。
【請求項17】
１つまたは複数のプロセッサと、前記プロセッサによって実行可能な命令を含む、前記プロセッサに結合された非一時的メモリとを備えるシステムであって、前記プロセッサは、前記命令を実行するとき、コンピュータ断層撮影（ＣＴ）スキャン画像のセットからの第１のスキャン画像にアクセスすることであって、各ＣＴスキャン画像が、第１の解像度にある、第１のスキャン画像にアクセスすることと、
前記第１のスキャン画像を第２の解像度に再サンプリングすることによって、前記第１のスキャン画像の第１のダウンスケールされた画像を生成することであって、前記第２の解像度が、前記第１の解像度よりも低い、第１のダウンスケールされた画像を生成することと、
前記第１のダウンスケールされた画像に基づいて１つまたは複数の第１の機械学習モデルによって、前記第１のスキャン画像中に描写されている１つまたは複数の器官にそれぞれ対応する１つまたは複数の粗いセグメント化を決定することと、
前記１つまたは複数の粗いセグメント化に基づいて、前記第１のスキャン画像の１つまたは複数のセグメントをそれぞれ抽出することであって、各抽出されたセグメントが、前記第１の解像度にある、１つまたは複数のセグメントを抽出することと、
前記第１のスキャン画像の前記１つまたは複数の抽出されたセグメントに基づいて１つまたは複数の第２の機械学習モデルによって、前記抽出されたセグメント中に描写されているそれぞれの前記１つまたは複数の器官に対応する１つまたは複数の細かいセグメント化を決定することと、
前記１つまたは複数の細かいセグメント化に基づいて、前記第１のスキャン画像のセグメント化された画像を生成することであって、前記セグメント化された画像が、前記１つまたは複数の器官に対応する１つまたは複数の確認されたセグメント化を含む、セグメント化された画像を生成することと
を行うように動作可能である、システム。
【請求項18】
前記プロセッサは、前記命令を実行するとき、前記ＣＴスキャン画像のセットに関連付けられた空気またはＣＴスキャナの一部のうちの１つまたは複数を描写している、前記第１のスキャン画像の１つまたは複数の部分を検出することと、
前記第１のスキャン画像から、前記検出された１つまたは複数の部分を除去することと
を行うようにさらに動作可能である、請求項１７に記載のシステム。
【請求項19】
前記プロセッサは、前記命令を実行するとき、前記１つまたは複数の粗いセグメント化の各々について、対応する前記器官に関連付けられた関心領域を決定することであって、前記第１のスキャン画像の前記１つまたは複数のセグメントを抽出することが、さらに、前記１つまたは複数の粗いセグメント化に関連付けられたそれぞれの前記関心領域に基づく、関心領域を決定すること
を行うようにさらに動作可能である、請求項１７に記載のシステム。
【請求項20】
前記プロセッサは、前記命令を実行するとき、前記第１のスキャン画像に前記１つまたは複数の細かいセグメント化をマッピングすることであって、前記第１のスキャン画像の前記セグメント化された画像を生成することが、さらに、前記マッピングに基づく、前記１つまたは複数の細かいセグメント化をマッピングすること
を行うようにさらに動作可能である、請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、その内容全体が完全に参照により本明細書に組み込まれる、２０２１年１１月２２日に出願された米国仮出願第６３／２８２，０３８号の利益を主張する。
本出願は、その内容全体が完全に参照により本明細書に組み込まれる、２０２１年１１月２２日に出願された米国仮出願第６３／２８２，０３８号の利益を主張する。
【0002】
本開示は、医療画像を使用する生物学的オブジェクトの識別およびセグメント化のためのシステムおよび方法に関する。
【背景技術】
【0003】
医療撮像（たとえば、ＣＴスキャン、Ｘ線またはＭＲＩスキャン）が、癌（たとえば、肺癌、乳癌など）の診断および治療を助けるために、腫瘍検出のために広く使用されている。多くの事例では、ヘルスケア専門家は、腫瘍の大きさまたは体積の変化を測定することを通して、薬および／または治療計画の有効性を評価する。固形腫瘍の応答評価基準（ＲＥＣＩＳＴ）は、癌対象における治療応答を評価するための標準化された方法であり、新しい腫瘍学薬物承認のための規制規準の一部である。ＲＥＣＩＳＴは、トレーニングされた専門家（たとえば、放射線科医）のかなりの量の時間を必要とする。詳細には、アノテータは、最高５つの標的病変および最高１０個の非標的病変を（たとえば、放射線科医によって）手動で識別するものである。アノテータは、標的病変の断面が描かれている各スキャン中の各標的病変の外周を識別するものであり、各標的病変について断面直径を記録する。次いで、定量的メトリック（たとえば、最長直径の合計）が、すべての標的病変について決定される。非標的病変は、定性的に評価され、非標的病変が、スキャン中に観測されたかどうか、および明白な変化があるかどうかを示す。スキャンは、複数の時点において収集され得、標的および非標的病変のためのメトリックが、各時点について決定され得る。次いで、疾患が、進行している程度、および／または有効に治療されている程度を評価するために、ある時間期間にわたるメトリックの変化が使用され得る。
【0004】
しかしながら、ＲＥＣＩＳＴは、数個の限界を含む。言い換えれば、方法は、ＲＥＣＩＳＴが、極めて頻繁に、各対象について腫瘍の小さいサブセット（たとえば、５～１０個未満）を測定するにすぎないので、疾患全体の「負担」を考慮しない。技法は、最高５つの腫瘍のみのサイズが追跡されるとすれば、多数の病変（たとえば、６つ以上の病変）を含むように転移した癌をもつ対象について疾患の進行および／または治療の有効性を正確に評価することができない。その上、病変選択の変動性による標的病変の選択における不整合もあり、これは、同じ対象内でさえ腫瘍の負担の相違する評価につながる著しいリーダー内およびリーダー間変動性を引き起こす。たとえば、病変の異なるセットが、異なる時点にわたって（たとえば、うっかりして）識別されることがある。追加として、多くの腫瘍は、しばしば、ＣＴ上で不均一な外観を有し、ロケーション、サイズ、および形状によって多様であり得る。たとえば、肺病変は、空洞性のまたは石灰化されたタイプのものであり得、骨転移は、（たとえば）（骨格組織を破壊する）溶解性または芽細胞性（異常な骨の成長）の形態をとり得、ここで、各病変タイプは、異なる構造的および視覚的外観に関連付けられ、したがって、病変の高い変動性により、完全な読取りを得ることなしに、疾患のステージ、および／または当該病変タイプの各病変を評価することは困難である。これにより、より包括的なデータセットおよびより客観的な技法を使用して腫瘍成長および／または転移を評価する自動化された技法を識別することは有利であろう。
【発明の概要】
【0005】
医療画像を使用する生物学的オブジェクトの識別およびセグメント化のためのシステムおよび方法が、本明細書において提供される。
【0006】
ＣＴ－ＲＥＣＩＳＴは、器官ごとにせいぜい２つの標的（被測定）病変を定める。それゆえに、器官の境界を知るための器官マスクを学習する必要があり得る。２つのタイプの病変があり得る。一方のタイプの病変は、特定の疾患を示す標的病変である。他方のタイプの病変は、非標的である。標的病変は、診断目的でより重要であり得、標的病変間の違いが、たとえば、放射線科医によって測定されなければならないことがある。病変が、それ以外はほぼ均質な画像テクスチャにおいて唯一の不均質性として現れる場合、機械学習モデル、たとえば、ニューラルネットワークは、病変セグメント化において著しくより正確であり得ると仮定され得る。これは、器官の内側が、全体としてＣＴスキャン画像よりも均質であり得るので、１つの器官を除いてあらゆるものを入力画像からマスク除去することによって達成され得る。他方では、ＣＴスキャン画像は、３次元であり得、スライスの大量の集合を含む。計算の観点から、フル解像度にあるそのような大規模画像をロードおよび処理するのに十分なメモリがないことがある。それゆえ、器官ごとにニューラルネットワークにＣＴスキャン画像が通され得、これは、フル解像度画像を使用することを可能にするだけでなく、各器官について固有のＣＴ値の範囲にニューラルネットワークを集中させることも可能にする。ＲＥＣＩＳＴによる要件および計算の問題を考慮して、ニューラルネットワーク処理システムは、効果的な器官セグメント化のためのセグメント化モデルに基づく自動化された手法を使用し得る。特定の実施形態では、ニューラルネットワーク処理システムは、均質な器官質量中の不均質なエリアを検索し、セグメント化モデルを使用して器官をセグメント化し、セグメント化された器官をＣＴ参照フレームに変換し、器官交差部を分解し得る。本開示は、特定の様式で特定のシステムによって特定のオブジェクトをセグメント化することを説明するが、本開示は、任意の好適な様式で任意の好適なポリシーを使用して任意の好適なオブジェクトをセグメント化することを企図する。
【0007】
特定の実施形態では、ニューラルネットワーク処理システムは、コンピュータ断層撮影（ＣＴ）スキャン画像のセットからの第１のスキャン画像にアクセスし得る。各ＣＴスキャン画像は、第１の解像度にあり得る。ニューラルネットワーク処理システムは、次いで、第２の解像度に第１のスキャン画像を再サンプリングすることによって、第１のスキャン画像の第１のダウンスケールされた画像を生成し得る。第２の解像度は、第１の解像度よりも低いことがある。スキャン画像をダウンサンプリングすることは、ダウンサンプリングされたスキャン画像が、より少ないメモリを占有し得、また、フル解像度をもつスキャン画像よりも速くロードおよび処理され得るので、計算効率の技術的利点を生じ得る。特定の実施形態では、ニューラルネットワーク処理システムは、第１のダウンスケールされた画像に基づいて１つまたは複数の第１の機械学習モデルによって、第１のスキャン画像中に描写されている１つまたは複数の器官にそれぞれ対応する１つまたは複数の粗いセグメント化を決定し得る。ニューラルネットワーク処理システムは、次いで、１つまたは複数の粗いセグメント化に基づいて、第１のスキャン画像の１つまたは複数のセグメントをそれぞれ抽出し得る。各抽出されたセグメントは、第１の解像度にあり得る。特定の実施形態では、ニューラルネットワーク処理システムは、第１のスキャン画像の１つまたは複数の抽出されたセグメントに基づいて１つまたは複数の第２の機械学習モデルによって、抽出されたセグメント中に描写されているそれぞれの１つまたは複数の器官に対応する１つまたは複数の細かいセグメント化を決定し得る。粗いセグメント化のために第１の機械学習モデルを使用し、細かいセグメント化のために第２の機械学習モデルを使用することは、１つまたは複数の技術的利点を生じ得る。１つの技術的利点は、たいていの既存の手法においてマニュアルであり得るセグメント化プロセスを自動化することを含み得る。別の技術的利点は、機械学習モデルに基づいて腫瘍／病変検出およびセグメント化の自動化を実施することによって、放射線科医のワークフローを補助することを含み得る。別の技術的利点は、病変が、それ以外はほぼ均質な画像テクスチャにおいて唯一の不均質性として現れる場合、機械学習モデルが、病変セグメント化において著しくより正確であり得るので、セグメント化の改善された精度を含み得る。ニューラルネットワーク処理システムは、さらに、１つまたは複数の細かいセグメント化に基づいて、第１のスキャン画像のセグメント化された画像を生成し得る。セグメント化された画像は、１つまたは複数の器官に対応する１つまたは複数の確認されたセグメント化を含み得る。各器官の自動化されたセグメント化は、１つまたは複数の技術的利点を生じ得る。１つの技術的利点は、各自動的にセグメント化された器官が、病変進行をキャプチャする焦点を合わせられたビューを提供し得るので、経時的な病変の改善されたトラッキングを含み得、病変の改善されたトラッキングは、特定の疾患の医療分析をさらに支援し得る。別の技術的利点は、ニューラルネットワーク処理システム１２０が、器官がセグメント化された後、スキャンごとの代わりに器官ごとに病変を登録し得るので、必要とされる非線形ひずみの量を低減すること、および病変登録における計算をスピードアップすることを含み得る。
【0008】
本明細書に含まれる１つまたは複数の図面は、３７ＣＦＲ§１．８４に従ってカラーが施されている。カラー図面は、本発明を図示するのに必要である。
【図面の簡単な説明】
【0009】
【図1A】マルチステージニューラルネットワークプラットフォームを使用して医療画像を使用、収集、および処理するための例示的対話システムを図示する図である。
【図1B】検出された生物学的オブジェクトについてのパッチおよびバウンディングボックスのセットを含む例示的画像スタックを図示する図である。
【図2】合成ＣＴ生成の一般的なプロセスを説明する例示的なフローチャートを図示する図である。
【図3】胸部スキャンと腹部～骨盤スキャンのペアによって生成された例示的な合成ＣＴを図示する図である。
【図4A】例示的なＣＴスキャン画像を図示する図である。
【図4B】ＣＴスキャン画像の器官の例示的なセグメント化を図示する図である。
【図5】器官セグメント化のための例示的なプロセスを図示する図である。
【図6A】例示的なＣＴスキャン画像を図示する図である。
【図6B】ＣＴスキャン画像の器官の例示的なセグメント化を図示する図である。
【図7】気管支の例示的なセグメント化プロセスを図示する図である。
【図8】例示的な３Ｄセグメント化の結果を図示する図である。
【図9】粗いセグメント化のみと、粗いセグメント化に加えた細かいセグメント化と、文献との間の例示的な比較を図示する図である。
【図10】腸、腸間膜、および大動脈の例示的なセグメント化を図示する図である。
【図11】いろいろなサイズをもつ深層ニューラルネットワークアンサンブルに基づいて図示する図である。
【図12A】脾臓セグメント化に対するアンサンブルサイズおよびＰしきい値の例示的な影響を図示する図である。
【図12B】膵臓セグメント化に対するアンサンブルサイズおよびＰしきい値の例示的な影響を図示する図である。
【図12C】右副腎セグメント化に対するアンサンブルサイズおよびＰしきい値の例示的な影響を図示する図である。
【図13A】器官の例示的なグランドトゥルースラベルを図示する図である。
【図13B】例示的なアンサンブル出力を図示する図である。
【図14】ディスティレーションモデルの例示的なセグメント化性能を図示する図である。
【図15】器官セグメント化に基づく例示的な病変登録を図示する図である。
【図16】器官セグメント化のための例示的な方法を図示する図である。
【図17】コンピューティングシステムの例を図示する図である。
【発明を実施するための形態】
【0010】
図１Ａは、マルチステージニューラルネットワークプラットフォームを使用して医療画像を使用、収集、および処理するための例示的対話システムを図示する。この特定の例では、対話システムは、詳細には、医療画像内の腫瘍生物学的構造および器官の描写の位置を特定し、セグメント化するように構成される。
【0011】
１つまたは複数の撮像システム１０１（たとえば、ＣＴマシン、ＭＲＩマシン、および／またはＸ線マシン）が、医療画像１０２（たとえば、ＣＴ、ＭＲＩ、および／またはＸ線画像）の１つまたは複数のセットを生成するために使用され得る。撮像システム１０１は、複数の画像が収集されるとき、焦点および／または位置を、画像のセット中の各画像がセット中の他の画像に対して異なる深度、位置および／または視点に関連付けられるように、反復的に調整するように構成され得る。撮像システム２０１は、光源（たとえば、モーター付きおよび／またはＸ線源）、光検出器（たとえば、カメラ）、レンズ、対物レンズ、フィルタ、磁石、（たとえば、磁場の不均質性を補正するための）シムコイル、（たとえば、磁気共鳴信号を局所化するための）勾配システムおよび／または（たとえば、サンプルを励起し、得られた核磁気共鳴信号を検出するための）ＲＦシステムを含むことができる。
【0012】
画像１０２の各セットは、撮像セッション、セッション日付および対象に対応することができる。対象は、人間または動物の対象を含むことができる。対象は、特定の疾患（たとえば、癌）と診断され、および／または１つまたは複数の腫瘍を有し得る。
【0013】
画像１０２の各セットは、対応する対象の内部を描くことができる。いくつかの事例では、各画像は、少なくとも対象の１つの関心領域（たとえば、１つまたは複数の器官、胸部領域、腹部領域、および／または骨盤領域）を描いている。
【0014】
画像１０２のセットの各画像は、追加として、各々が、セット中の他の画像中に描かれている他の平面に平行である平面を描いているように、同じ視角を有し得る。いくつかの事例では、画像のセットの各々は、平面に非平行である（たとえば、垂直である）軸に沿った異なる距離に対応し得る。たとえば、画像１０２のセットは、対象の前後軸に沿った異なる位置に対応する水平仮想スライスのセットに対応し得る。画像１０２のセットは、（たとえば、集合的にまたは個々に）前処理され得る。たとえば、前処理は、ピクセル強度を正規化すること、互いにまたは別の参照点／画像に画像を位置合わせすること、均一なサイズに画像をクロップすること、および／または明るいピクセルと暗いピクセルとを区別するためにコントラストを調整することを含むことができる。いくつかの事例では、画像１０２のセットは、３次元（３Ｄ）画像構造を生成するために処理され得る。次いで、３Ｄ画像構造は、仮想スライスについて異なる角度に対応する画像の別のセットを生成するために使用され得る。
【0015】
撮像システム１０１のうちの少なくとも１つによって収集されたいくつかの医療画像は、１つまたは複数のニューラルネットワーク（たとえば、バウンディングボックス検出ネットワークおよびセグメント化ネットワーク）をトレーニングするためのトレーニングデータセットに含まれるべきである、トレーニング画像を含むことができる。トレーニング画像は、トレーニングされたネットワークがそれについて使用される対象と比較して、他の対象に関連付けられ得る。
【0016】
各トレーニング画像は、本明細書で説明される医療画像１０２の１つまたは複数の特性を有することができ、画像が腫瘍および／または器官を描いているかどうか、および／または画像が腫瘍および／または器官をどこに描いているかを指し示す、アノテーションデータに関連付けられ得る。このアノテーションデータを識別するために、撮像システム１０１によって収集された画像は、アノテータデバイス１０３にアベイル（たとえば、アノテータデバイス１０３に送信）され得る。
【0017】
画像は、アノテータデバイス１０３において提示され得、（たとえば、放射線科医など）アノテータユーザは、（たとえば）画像が腫瘍（または１つまたは複数の特定のタイプの器官）を描いているかどうか、画像中に描かれている腫瘍の数、アノテータによってアノテーションを付けられている（たとえば、概要を示されている）腫瘍の数、１つまたは複数の腫瘍の各々および／または１つまたは複数の特定のタイプの器官の外周を指し示す入力を、（たとえば）マウス、トラックパッド、スタイラスおよび／またはキーボードを使用して提供し得る。
【0018】
アノテータデバイス１０３は、（たとえば）ラベルデータ１０４に入力をトランスレートし得る。各ラベルデータセットは、対応する画像データセットに関連付けられ得る。ラベルデータ１０４は、画像が腫瘍および／または１つまたは複数の特定のタイプの器官を含んでいるかどうかを指し示すことができる。ラベルデータ１０４は、腫瘍および／または器官の空間的特徴（たとえば、外周および／またはエリア）を識別することによって、腫瘍および／または器官が画像内のどこに位置するかをさらに指し示すことができる。たとえば、ラベルデータ１０４は、描かれている腫瘍のセットの各々の外周に関連付けられた座標を識別する座標のセットを含み得る。別の例として、ラベルデータ１０４は、トレーニング画像中のいずれのピクセル（またはボクセル）が、描かれている腫瘍の外周および／またはエリアに対応するかに関する指示を含み得る。
【0019】
追加として、空間的特徴は、複数のオブジェクトについて識別され得る。いくつかの事例では、ラベルデータ１０４は、トレーニング画像内で描かれているすべての腫瘍、器官、および／または他の生物学的オブジェクトの空間的特徴を（必要はないが）識別し得る。たとえば、トレーニング画像が、１０個の腫瘍を描いている場合、ラベルデータ１０４は、１０個の腫瘍の各々について、または描かれている腫瘍のうちの２つだけについて外周を識別し得る。そのような場合、オブジェクトの不完全なサブセットが、あらかじめ規定された選択基準に基づいて（必要はないが）選択され得る。たとえば、アノテータユーザは、しきい値腫瘍長さおよび／またはしきい値腫瘍体積を満たす、ならびに／あるいは関心領域内の（たとえば、１つまたは複数の特定の器官内の）、腫瘍の描写のみにマークを付けるように指示されていてもよい。
【0020】
ラベルデータ１０４は、さらに、アノテータからの入力に基づいて識別されるような腫瘍のタイプ、ロケーション、および／またはサイズを表し得る、腫瘍分類を識別し得る。たとえば、特定のラベルは、描かれている腫瘍が、特定の器官（たとえば、肝臓）に対応するものとして画像１０２の領域内にあることを指し示し得る。ラベルデータ１０４は、特定のラベルが関心腫瘍または器官に実際に対応する確率をさらに含み得る。確率値は、腫瘍長さ、腫瘍体積、対象を有するロケーション、および／あるいは腫瘍または器官に対応するものとして特定のラベルを識別するアノテーションユーザの数に基づいて算出され得る。ラベルデータ１０４は、画像スキャン中の各画像について、腫瘍または器官の描写を含む各領域を検出するように１つまたは複数のニューラルネットワークをトレーニングするために使用され得る。トレーニングされたニューラルネットワークは、それぞれのスキャンの各々に対応する画像スタックを使用して（たとえば、各個々の画像について特定領域を規定するために）個々の焦点をもつ画像スキャンを処理することによって、描かれている腫瘍または器官を含むものとして識別された各領域を画成するように構成され得る。
【0021】
ニューラルネットワーク処理システム１２０は、画像１０２の１つまたは複数のセットおよび対応するラベルデータ１０４を受信するように構成され得る。最初に、画像の１つまたは複数のセットの各画像が、前処理コントローラ１０５によって前処理され得る。たとえば、対象の異なる領域を描いている１つまたは複数の画像が、異なる領域のすべてを描いている集約画像を生成するためにスティッチされ得る。いくつかの事例では、集約画像は、対象の「全身」ビューを描いている。別の例として、１つまたは複数の画像は、あらかじめ規定されたサイズにスケーリングおよび／またはクロップされ得る。また別の例では、１つまたは複数の画像は、（たとえば、画像中の位置合せマーキング、相関関係ベース技法、またはエントロピーベース技法を使用して）セット内に含まれる別の画像に、または参照画像に位置合わせされ得る。別の例では、１つまたは複数の画像のピクセル強度が、正規化または標準化方法を介して調整され得る。いくつかの事例では、画像１０２のセットは、前処理技法を受けない。
【0022】
前処理された画像は、バウンディングボックス検出コントローラ１０６にアベイルされ得、バウンディングボックス検出コントローラ１０６は、本明細書で説明されるように、バウンディングボックス検出ネットワークの機能および動作のすべてを制御および／または実施することができる。バウンディングボックス検出ネットワークは、腫瘍の描写を含む画像１０２のセット内で領域（たとえば、バウンディングボックス）を識別するように構成された、畳み込みニューラルネットワーク、逆畳み込みニューラルネットワーク、または３次元ニューラルネットワークであり得る。バウンディングボックス検出ニューラルネットワークによって識別された領域は、１つまたは複数の矩形または超矩形領域を含み得る。
【0023】
バウンディングボックス検出コントローラ１０６は、検出パラメータ１０７のセットを学習するようにバウンディングボックス検出ネットワークをトレーニングするために、トレーニング画像および対応するアノテーションを使用することができる。検出パラメータ１０７は、畳み込みネットワークにおけるノードの間の重みを含むことができる。ペナルティ関数が、検出されたバウンディングボックスの一部が、腫瘍の描写を完全に含むことに失敗したときに、および／またはさらなる水平および／または垂直点の間のパディングが、下限しきい値未満であり、および／または上限しきい値を超えるときにペナルティを導入するために設定され得る。いくつかの事例では、ペナルティ関数は、あらかじめ規定されたズーム範囲よりも大きいまたは小さい境界ボックスについてペナルティを課すように構成される。ペナルティ関数は、焦点損失を含み得る。（すべての目的のためにその全体が参照により本明細書に組み込まれる、Ｌｉｎ，Ｔ．Ｙ．、Ｇｏｙａｌ，Ｐ．、Ｇｉｒｓｈｉｃｋ，Ｒ．、Ｈｅ，Ｋ．、Ｄｏｌｌａｒ，Ｐ．、「Ｆｏｃａｌ ｌｏｓｓ ｆｏｒ ｄｅｎｓｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ．」ＩＣＣＶ ２０１７、２９８０－２９８８頁（２０１７）において規定されている）焦点損失が、クラス不均衡に対処するために、ならびに腫瘍におけるタグ知覚変動性から生じる予測困難な症例に向かって検出タスクのトレーニングの「焦点を再び合わせる」ために使用され得る。
【0024】
トレーニングが行われ得、および／またはバウンディングボックス検出ネットワークは、１つまたは複数の固定ハイパーパラメータを使用して規定され得る。たとえば、ハイパーパラメータは、学習率、層ごとのノードの数、層の数などを含むことができる。
【0025】
バウンディングボックス検出ネットワークは、画像１０２の各々内の潜在的な腫瘍描写に対応する１つまたは複数のバウンディングボックス１０８を検出することができる。境界ボックスの検出は、バウンディングボックスの位置を特定するために、各画像の画像スタックを使用することを含み得る。たとえば、（撮像深度に従って連続的に番号が付けられた）１００枚の画像が、特定の撮像セッション中に収集された場合、画像スタックは、第７の画像内の境界ボックスを検出するとき、第６の画像、第７の画像および第８の画像を含むように規定され得る。画像スタックは、（たとえば、第７の画像内の境界ボックスを検出するとき、第３～第１１の画像を含むように）１つまたは複数の方向の２枚以上の隣接する画像を含み得る。
【0026】
１つまたは複数の領域が腫瘍および／または器官を含むかどうか、ならびに／あるいは１つまたは複数の領域が腫瘍および／または器官をどこに含むかを決定するとき、画像スタックの特徴が、コンテキスト情報を提供するために使用される。特徴は、画像スタック内の画像にわたって延びる３次元特徴を含むことができる。たとえば、特徴（たとえば、学習された特徴）が、画像スタック全体（たとえば、上部仮想スライス、下部仮想スライス、および中央仮想スライスの組合せ）にわたって同様のロケーションに存在する場合、バウンディングボックス検出ネットワークは、特徴に対応する（たとえば、特徴を含む）画像領域が、腫瘍についてのバウンディングボックスを表すと決定し得る。代替例として、画像スタックの中央スライスの特徴が、画像スタックの上部スライスまたは下部スライスのいずれにも存在しない場合、バウンディングボックス検出ネットワークは、特徴に対応する画像領域が、画像のバックグラウンド（すなわち、腫瘍以外の何らかの生物学的構造）に対応し、バウンディングボックスを指し示さないと決定し得る。いくつかの事例では、バウンディングボックス検出ネットワークは、追加として、各検出されたバウンディングボックスに確率値を割り当て得る。バウンディングボックスについての確率値が、しきい値を上回らない場合、バウンディングボックスは、バックグラウンドとして廃棄され得る。
【0027】
バウンディングボックス検出ネットワークは、さらに、各検出されたバウンディングボックス１０８を、バウンディングボックスのマージンが、腫瘍に対応する領域の各エッジからの少なくともある量のパディング（たとえば、１０ｐｘ、１５ｐｘ、または別の好適な量）を含むように処理し得る。いくつかの事例では、パディングの量は、（たとえば、検出されたオブジェクト描写の左側、上部、右側および下部に最も遠いピクセルと交差する初期ボックスを生成し、あらかじめ規定されたパディングを使用して、または画像境界に遭遇するまで、ボックスを拡張するように）あらかじめ規定される。他の事例では、パディングのいろいろな程度が、均一なバウンディングボックスサイズを維持するように追加される。
【0028】
各バウンディングボックス１０８に関連付けられたバウンディングボックスデータは、（たとえば、２つ以上のコーナー座標、１つまたは複数のエッジの座標などとしての）各バウンディングボックスの規定、および／あるいは対応する画像または画像セットの１つまたは複数の識別子（たとえば、画像、対象、撮像日付などの識別子）を含み得る。
【0029】
ある画像中の境界ボックスのロケーションは、別の画像中の境界ボックスのロケーションに関係し得ることが諒解されよう。他の処理がさらにまたは代替的に使用され得るが、画像スタックが、この依存性を伝達するために使用され得る。たとえば、バウンディングボックス検出ニューラルネットワークへの入力は、（同じ撮像セッションおよび同じ対象に対応する）前に処理された画像から検出された１つまたは複数の境界ボックスの各々の識別情報を含み得る。別の例として、境界ボックス出力は、１つまたは複数の他の隣接する画像からの境界ボックス検出に基づいて、ある画像に対応する境界ボックス検出を修正（たとえば、平行移動、サイズ変更、削除または追加）するために後処理され得る。
【0030】
図１Ｂは、単一の生物学的オブジェクト１２５についてのバウンディングボックスのセットを描いている例示的画像スタックを示す。画像スタックは、画像１２１、画像１２２、および画像１２３を少なくとも含み得、画像スタックの各画像は、対象の領域の異なる軸方向視点を描いている。いくつかの事例では、画像スタックは、図に示されていない追加の画像を含み得る。画像スタック内の各画像は、特定の画像内の生物学的オブジェクト１２５の可能性があるロケーションを画成するバウンディングボックスを、各バウンディングボックスが同じ生物学的オブジェクト１２５の存在を識別するので、各バウンディングボックスが画像スタック内の他の画像に含まれる対応するバウンディングボックスに関係付けられ得るように、さらに含み得る。たとえば、バウンディングボックス１２１Ａおよびバウンディングボックス１２２Ａが、関係するバウンディングボックスであり、それぞれ、第１の軸方向視点および第２の軸方向視点からの生物学的オブジェクト１２５の第１の可能性があるロケーションおよび第２の可能性があるロケーションを描いていると予測された領域を含むように、画像１２１は、画像１２１の少なくとも一部分をカバーするバウンディングボックス１２１Ａを含み、画像１２２は、画像１２２の少なくとも対応する部分をカバーするバウンディングボックス１２２Ａを含んでいる。他の事例では、生物学的オブジェクト１２５は、少なくとも画像スタック内の画像のサブセット（たとえば、画像の１つまたは複数）内で検出されないことがあり、画像スタック内の画像のサブセットは、それゆえ、生物学的オブジェクト１２５についての関係するバウンディングボックスを含まないことがある。
【0031】
さらに、（たとえば、座標のセットによって表される）厳密なロケーション、表面積、および／または画像スタック内の関係するバウンディングボックスの形状に違いがあり得る。この例では、バウンディングボックス１２１Ａの表面積は、生物学的オブジェクト１２５の大部分が画像１２２内に位置すると推定されるので、バウンディングボックス１２２Ａの表面積よりも小さくてもよい。追加として、関係するバウンディングボックスの各々のロケーションは、画像スタック内の画像の１つまたは複数の異なる軸方向視点からの同じ生物学的オブジェクト１２５の対応するロケーションを説明する（たとえば、ｘ平面、ｖ平面、またはその両方における）１つまたは複数の変動を含み得る。
【0032】
いくつかの事例では、画像スタックについて関係するバウンディングボックスのセットを識別したことに応答して、検出エリアが、関係するバウンディングボックスの各々について決定される。たとえば、画像１２１は、バウンディングボックス１２１Ａを囲む検出エリア１２１Ｂを含み得る。検出エリアは、画像スタック内の各画像について、同じサイズであり、同じロケーション内にあり得る。いくつかの実施形態では、検出エリアのサイズおよびロケーションは、画像スタックの中央スライス（たとえば、この場合、画像１２２）内のバウンディングボックスのロケーションから決定され得る。検出エリアは、追加のパディングとともに、識別されたバウンディングボックスの各々の全体を含むように構成され得る。いくつかの事例では、検出エリアは、バウンディングボックス検出ネットワークとは別個の別のニューラルネットワークによって決定され得る。
【0033】
再び図１Ａを参照すると、バウンディングボックス１０８に関連付けられたバウンディングボックスデータは、腫瘍セグメント化コントローラ１０９に送信され得、腫瘍セグメント化コントローラ１０９は、本明細書で説明されるように、腫瘍セグメント化ネットワークの機能または動作のすべてを制御および／または実施することができる。腫瘍セグメント化ネットワークは、バウンディングボックス検出ネットワークのトレーニング中に決定された少なくとも予測バウンディングボックスデータのトレーニングデータセットを使用してトレーニングされ得る。セグメント化パラメータ１１５（たとえば、重み）のセットが、トレーニング中に学習され得る。描かれている事例では、腫瘍セグメント化ネットワークは、腫瘍の描写を検出およびセグメント化するように構成された、（たとえば）ニューラル畳み込みニューラルネットワークまたは３次元ニューラルネットワークであり得る。いくつかの事例では、腫瘍セグメント化ネットワークは、ニューラルネットワークを含まず、代わりに、（たとえば）クラスタリング技法（たとえば、Ｋ平均技法）、ヒストグラムベース技法、エッジ検出技法、領域成長技法および／またはグラフ分割技法を使用し得る。腫瘍セグメント化ネットワークは、検出されたバウンディングボックス１０８の各々内の腫瘍をセグメント化するように構成され得る。
【0034】
画像１０２のセット内の各医療画像について、バウンディングボックス１０８は、（たとえば）それぞれの画像に関連付けられた境界ボックスの識別情報（たとえば、頂点の座標および／またはエッジ座標）とともに、バウンディングボックスに対応する画像の１つまたは複数の部分、または画像の全体を含む。いくつかの実施形態では、暫定処理（図示せず）が、バウンディングボックス１０８によって取り囲まれた画像１０２の領域のみに対応する（たとえば、検出エリアと本明細書では呼ばれる）画像のクロップされたセットを生成するために実施され得る。複数のバウンディングボックスが所与の画像について規定される事例では、腫瘍セグメント化ネットワークは、入力として、各対応する検出エリアを受信し、別々に検出エリアを処理することができる。
【0035】
検出エリアは、図１Ｂ内に描かれている標的腫瘍の焦点を合わせられたビューを提供し得る。いくつかの事例では、検出エリアは、あらかじめ規定されたサイズのものであり得る。そのような事例では、検出エリアは、検出エリアのあらかじめ規定されたサイズを維持するために、追加のパディングとしてバウンディングボックスに対応する領域に隣接する領域の別のセットを含み得る。他の事例では、バウンディングボックスが、あらかじめ規定されたサイズ（たとえば、４００ピクセルまたは２００ピクセル×２００ピクセル）よりも大きい場合、バウンディングボックスに対応する領域は、（たとえば、あらかじめ規定されたサイズの、および／またはあらかじめ規定されたサイズよりも大きくない）２つ以上のウィンドウに、各ウィンドウが別個の検出エリアに対応するように分割される。そのような事例では、単一のバウンディングボックスに対応する検出エリアは、画像の重複部分を含み得る。
【0036】
バウンディングボックスが、（図１Ｂに示されているように）画像スタック全体にわたって延びる場合、別個の検出エリアが、画像スタック内の各画像について規定され得る。いくつかの実施形態では、検出エリアの処理は、バウンディングボックス１０８に関連付けられたバウンディングボックスデータを腫瘍セグメント化コントローラ１０９に送信するより前に、バウンディングボックス検出ネットワークによって実施される。
【0037】
腫瘍セグメント化コントローラ１０９は、外周、エッジのセット、および／または腫瘍に対応する輪郭を識別するために、各検出エリアについて特徴（たとえば、ピクセル強度の変動）をさらに識別および評価するように構成された、腫瘍セグメント化ネットワークを実装する。腫瘍セグメント化ネットワークによって識別された特徴は、バウンディングボックス検出ネットワークによって識別された特徴との類似性を有し得、および／またはその特徴とは異なり得る。両方のネットワークは、腫瘍に対応する、画像の領域を識別するようにトレーニングされ得るが、異なる特徴が、比較的大きい構造と比較して比較的小さい構造を検出するために有用であり得る。いくつかの事例では、腫瘍セグメント化ネットワークは、（たとえば）ピクセル強度、ピクセルカラー、および／または任意の他の好適な画像特徴を分析することによって、オブジェクトのロケーションを検出するように学習し得る。例として、腫瘍セグメント化ネットワークは、（たとえば、領域固有メトリックを、所定のしきい値と比較することによって決定されるように）高いコントラスト、大きい強度範囲および／または高い強度変動を有する領域を検出するために画像を分析することによって、オブジェクトのエッジを識別し得る。腫瘍セグメント化ネットワークは、異なる受容野に対応する（これにより、ピクセルの異なる集合の表示を分析する）ノードを含み得る。これにより、ネットワークは、少なくともいくつかの異なるタイプの特徴を検出および使用するように学習し得る。
【0038】
いくつかの事例では、腫瘍セグメント化ネットワークは、腫瘍に対応するエッジおよび／または輪郭のセットを識別するために、画像スタック内の他の画像によって提供された空間的コンテキストを利用し得る。画像スタックは、（たとえば）３つの画像を含むことができ、中心画像は、腫瘍がその中で検出される画像である。
【0039】
腫瘍セグメント化ネットワークは、識別されたエッジおよび／または輪郭を使用して、所与の検出エリア内の腫瘍の表面エリア全体に対応する２次元（たとえば、バイナリ）腫瘍マスク１１０をさらに生成し得る。腫瘍マスク１１０は、腫瘍の一部を描いているものとして識別されないピクセルにわたってゼロの値を有するように規定され得る。腫瘍の一部を描いているものとして識別されたピクセルは、（たとえば、バイナリマスクの場合）１の値、または別の値を割り当てられ得る。
【0040】
いくつかの事例では、バイナリ腫瘍マスク１１０は、各バイナリ腫瘍マスク１１０が腫瘍の異なる軸方向視点に対応するように、画像スタック中の各画像について生成される。そのような事例では、後処理コントローラ１１１は、腫瘍の３次元配置および形状を表す３Ｄ腫瘍マスク１１０を構築するために、バイナリ腫瘍マスク１１０のセットを集約することができる。
【0041】
いくつかの事例では、ニューラルネットワーク処理システム１２０は、器官固有セグメント化ネットワークを実装するように構成された器官セグメント化コントローラ１１１を含むことができる。器官固有セグメント化ネットワークは、（たとえば）畳み込みニューラルネットワークおよび／または３次元ニューラルネットワークを含むことができる。例示的畳み込みニューラルネットワークは、ＶＧＧ１６、Ｕ－Ｎｅｔ、および／またはＲｅｓＮｅｔ１８ネットワークを含み得る。器官固有セグメント化ネットワークは、対象に対応する医療画像を分析するように、および画像内に描かれている１つまたは複数の器官をセグメント化するように構成され得る。そのような事例では、１つまたは複数の器官固有セグメント化ネットワークの各々は、特定のタイプの器官をセグメント化するように（たとえば、トレーニング中に学ばれたパラメータを介して）構成され得る。例示的関心器官は、（たとえば）肝臓、または肺、または腎臓、または膵臓などであり得る。
【0042】
いくつかの事例では、器官固有セグメント化ネットワークは、セグメント化プロセスの一部として、深さ方向および点方向畳み込みなど、一連の畳み込みを実施するように構成され得る。そのような事例では、特定の寸法に沿った１つまたは複数の膨張が、さらに実施され得る。特定の寸法は、第３の寸法、第４の寸法などであり得る。いくつかの事例では、腫瘍セグメント化ネットワークはまた、複製フィルタなど、１つまたは複数のフィルタを適用し得る。
【0043】
描かれている事例では、器官セグメント化コントローラ１１１は、特定のタイプの器官を検出するように構成された器官固有セグメント化ネットワークを制御することができる。器官固有セグメント化ネットワークは、トレーニング画像と、トレーニング画像のうちの少なくともいくつかの各々内のいずれの部分が特定のタイプの器官を描いているかを指し示すアノテーションとを含むトレーニングデータセットを使用してトレーニングされ得る。トレーニングデータセットは、バウンディングボックス検出ネットワークおよび腫瘍セグメント化ネットワークによって使用されるトレーニングデータセットとは別個であり得る。トレーニングデータセットは、複数の医療画像ならびに（たとえば、アノテータデバイス１０３によって生成された）対応するアノテーションおよび／または特定の関心器官についてのセグメント化境界を含むことができる。器官セグメント化パラメータ１１２（たとえば、重み）のセットが、トレーニング中に学習され得る。いくつかの事例では、前処理コントローラ１０５は、バウンディングボックス検出コントローラ１０６と器官セグメント化コントローラ１１１の両方に医療画像１０２の同じセットを送信し得る。
【0044】
トレーニングされた器官固有セグメント化ネットワークは、器官を検出するために、画像および／または前処理された画像のセットの各々を処理するために使用され得る。特定のタイプの器官を検出するために使用される画像は、バウンディングボックス検出コントローラ１０６に提供される画像１０２のセットと同じである（またはそのセットとは異なる）ことがあり、したがって、画像は、同時に器官セグメント化コントローラ１１１に提供される。画像のセットは、１つ、２つまたは３つの画像を含む複数の（たとえば、重複）サブセットに分けられ得る。たとえば、サブセットは、サブセットごとに３つの画像を有し、サブセットごとに１つの画像のシフトを有するように規定され得る。いくつかの事例では、画像は、対象の「全身」ビューを描いている３Ｄ画像に画像を位置合わせするために、前処理を受け得る。
【0045】
各画像内で、器官固有セグメント化ネットワークは、所与の画像が特定のタイプの器官を描いているかどうかを指し示すことができ、器官の描写の外周をさらに識別する。器官固有セグメント化ネットワークの出力は、（たとえば）特定のタイプの器官を描いていないピクセルについてゼロの値を有し、特定のタイプの器官を描いているピクセルについて非ゼロの値を有する、器官マスク１１３を含むことができる。いくつかの事例では、関心器官の異なる仮想スライス（たとえば、視点）に対応する複数の２次元器官マスクが生成され得る。これらの２次元器官マスクは、各器官について、３Ｄ器官マスクを生成するために集約され得る。
【0046】
後処理コントローラ１１４は、統計量および／または記述子を生成するために、腫瘍マスク１１０および器官マスク１１３を個々におよび／または集合的に処理することができる。たとえば、各腫瘍について、後処理コントローラ１１４は、腫瘍の体積を識別することができ、腫瘍がいずれかの器官内にあるかどうか（および、そうである場合、どのタイプの器官であるか）をさらに識別することができる。後処理コントローラ１１４は、総腫瘍体積および／または対象に対する密度および／または最長寸法の合計など、対象レベル腫瘍統計量を算出するために、（２次元または３次元腫瘍マスクを）さらに処理することができる。いくつかの事例では、最長寸法の合計は、最長直径の合計であり得、したがって、最長直径が、各腫瘍について算出され、最長直径の総計を形成するために合計される。いくつかの事例では、後処理コントローラ１１４は、別の例示的統計量として、対応する関心器官の質量と比較した腫瘍の質量の割合を識別することができる。
【0047】
ニューラルネットワーク処理システム１２０は、ユーザデバイスに記述子および／または統計量を出力することができる。さらに、１つまたは複数の腫瘍マスクおよび／または１つまたは複数の器官マスクの表現が送信され得る。たとえば、対象の各検出された腫瘍および／または器官の外周を識別するオーバーレイをもつ、元の画像の描写を含む画像が生成され得る。いくつかの事例では、後処理コントローラ１１４は、１つまたは複数の治療方法を使用して生存の確率についてスコアを生成するために、対象レベル腫瘍統計量をさらに処理（たとえば、あるいは処理のために別のモデルおよび／またはコントローラに送信）し得る。
【0048】
図１Ａに描かれている対話システムは、腫瘍を検出すること、および様々な腫瘍が異なる器官内にあるかどうかを決定することに関係するが、代替実施形態は、他のタイプの生物学的オブジェクトを検出することに関係し得る。たとえば、第１のネットワークは、脳病変を検出するようにトレーニングされ得、他のネットワークは、病変がどの脳領域に位置するかが決定され得るように、様々な脳領域を検出するようにトレーニングされ得る。したがって、代替実施形態は、少なくとも腫瘍セグメント化ネットワークを、医療画像内の他の生物学的構造をセグメント化するようにトレーニングされた異なるセグメント化ニューラルネットワークと置き換え得る。
【0049】
最近の画像分析の取り組みは、腫瘍検出およびセグメント化を実施することによって放射線科医のワークフローを補助することができる、自動化されたアルゴリズムを開発することに焦点を当てている。最近の方法は、標的病変が、経時的に測定される必要があり得る特定の疾患を示し得るとき、単一の軸方向のＣＴ（コンピュータ断層撮影）セクションにおいてＲＥＣＩＳＴ病変を検出および／またはセグメント化することに焦点を当てる。これらの最近の取り組みには、より高く、より変わりやすい腫瘍負担に苦しみ得る進行期の対象とは対照的に、腫瘍スクリーニングのための単一のスライス上または単一の器官における（たとえば、肺における）のみの腫瘍のセグメント化により、限界があり得る。
【0050】
ＣＴ－ＲＥＣＩＳＴは、腫瘍検出／セグメント化において全身ＣＴスキャンに依存する。しかしながら、患者は、時には、単一のスキャニングにおいて全身カバレッジ、すなわち、胸部、腹部、および骨盤を得ないことがある。胸部、腹部および骨盤の個々のスキャンが、数秒から数分の時間間隔を伴って別々に取得され得る。したがって、器官セグメント化の前に、ニューラルネットワーク処理システム１２０は、患者の各通院について胸部、腹部、および骨盤をカバーする全身ＣＴスキャンを生成するために、合成ＣＴモジュールを使用し得る。異なる解剖学的構造の画像シリーズは、異なるコントラスト、解像度を有する可能性があり得、いくつかの部分は、２つ以上のシリーズに存在し得る。たとえば、腹部スキャンは、下側胸部領域の一部をカバーし得る。異なるシリーズのこれらの重複領域は、物理的座標において整合しているはずであり、合成ＣＴモジュールは、最適なシリーズを連結するためにこの条件を使用し得る。
【0051】
図２は、合成ＣＴ生成の一般的なプロセスを説明する例示的なフローチャートを図示する。ステップ２０５において、合成ＣＴモジュールは、患者の各通院のＣＴスキャンを問い合わせ得る。ステップ２１０において、合成ＣＴモジュールは、コントラストをもつ異なる解剖学的構造の候補スキャンを発見し得る。既存の胸部～腹部～骨盤（すなわち、ＣＡＰ）スキャンがある場合、合成ＣＴモジュールは、単にそれを使用し得る。ステップ２１５において、合成ＣＴモジュールは、合成ＣＴとして元の胸部～腹部～骨盤（ＣＡＰ）をコピーし、ｚスペーシングが２．５ｍｍよりも小さい場合、ダウンサンプリングを実施し得る。完全な胸部～腹部～骨盤スキャンがない場合、合成ＣＴモジュールは、ステップ２２０において胸部～腹部～骨盤をカバーする可能性がある画像ペアをチェックし得る。より具体的に言えば、合成ＣＴモジュールは、シリーズの候補ペア、たとえば、胸部～腹部スキャンおよび骨盤スキャン、胸部スキャンおよび腹部～骨盤スキャン、胸部スキャン、腹部スキャン、および骨盤スキャンを探し得る。胸部～腹部～骨盤をカバーする可能性がある画像ペアがない場合、合成ＣＴモジュールは、ステップ２２５において、合成胸部～腹部～骨盤（ＣＡＰ）を生成することができないと決定し得る。
【0052】
ステップ２３０において、合成ＣＴモジュールは、胸部～腹部をカバーする可能性があるペアをさらにチェックし得る。胸部～腹部をカバーする可能性があるペアがやはりない場合、合成ＣＴモジュールは、ステップ２３５において、合成ＣＴを生成することができないと決定し得る。胸部～腹部～骨盤または胸部～腹部をカバーする可能性がある画像ペアがある場合、合成ＣＴモジュールは、ステップ２４０において、取得時間差が５００秒よりも小さいかどうかをチェックし得る。取得時間差が、５００秒よりも小さくない場合、合成ＣＴモジュールは、ステップ２４５において、合成ＣＴを生成することができないと決定し得る。シリーズの理想的なペアが発見されると（取得時間間隔が５００秒未満である）、合成ＣＴモジュールは、画像原点、配向、および解像度に基づいてそれらを位置合わせし得る。より具体的に言えば、合成ＣＴモジュールは、プラン原点、スペーシング、およびサイズにおいて位置合わせし得る。合成ＣＴモジュールは、追加として、ステップ２５０において、ｚスペーシングが２．５ｍｍよりも大きい場合、ｚスペーシングを最大のものに再サンプリングし、さもなければ、２．５ｍｍに再サンプリングし得る。それゆえに、クロッピングおよび再サンプリングは、同じサイズおよび解像度を達成する必要があり得る。ステップ２５５において、合成ＣＴモジュールは、合成ＣＴおよび関連するメタデータを生成し得る。そのようなメタデータは、パイプラインにおける後続の分析モジュールをガイドするために生成され得る。たとえば、メタデータは、複数のシリーズを連結するためのスライスロケーション、ボクセルサイズ、または寸法のうちの１つまたは複数を含み得る。特定の実施形態では、ニューラルネットワークに基づく品質管理（ＱＣ）モジュールも、生成された合成ＣＴが完全な解剖学的カバレッジを有することを確認するために使用され得る。
【0053】
図３は、胸部スキャンと腹部～骨盤スキャンのペアによって生成された例示的な合成ＣＴを図示する。図３において、副図３１０は、胸部スキャンを描いており、副図３２０は、腹部～骨盤スキャンを描いている。副図３１０および副図３２０は、異なる解像度、コントラスト、およびノイズレベルを有する。胸部スキャンおよび腹部～骨盤スキャンに基づいて、合成ＣＴモジュールは、図２において説明されたプロセスに従って、合成ＣＴ３３０を生成し得る。特定の実施形態では、合成ＣＴスキャンは、図１Ａにおいて説明された画像１０２に備えられ得る。それゆえに、合成ＣＴスキャンは、前処理コントローラ１０５に入力され得、その後、セグメント化が、ニューラルネットワーク処理システム１２０によって実施され得る。
【0054】
ＣＴ－ＲＥＣＩＳＴは、器官ごとにせいぜい２つの標的（被測定）病変を定める。それゆえに、器官の境界を知るための器官マスクを学習する必要があり得る。２つのタイプの病変があり得る。一方のタイプの病変は、特定の疾患を示す標的病変である。他方のタイプの病変は、非標的である。標的病変は、診断目的でより重要であり得、標的病変間の違いが、たとえば、放射線科医によって測定されなければならないことがある。病変が、それ以外はほぼ均質な画像テクスチャにおいて唯一の不均質性として現れる場合、機械学習モデル、たとえば、ニューラルネットワークは、病変セグメント化において著しくより正確であり得ると仮定され得る。これは、器官の内側が、全体としてＣＴスキャン画像よりも均質であり得るので、１つの器官を除いてあらゆるものを入力画像からマスク除去することによって達成され得る。図４Ａ～図４Ｄは、例示的なＣＴスキャン画像、およびＣＴスキャン画像の器官の例示的なセグメント化を図示する。詳細には、図４Ｃは、図４Ａの例示的なＣＴスキャン画像の拡大バージョンを図示し、図４Ｄは、図４ＢのＣＴスキャン画像の器官の例示的なセグメント化の拡大バージョンを図示する。
【0055】
図４Ａは、例示的なＣＴスキャン画像４１０を図示する。ＣＴスキャン画像４１０は、さまざまな器官、たとえば、器官４２０を描いている部分を含み得る。器官４２０は、病変４３０を含み得る。図４Ｂは、ＣＴスキャン画像の器官の例示的なセグメント化を図示する。図４Ｃは、図４Ａの例示的なＣＴスキャン画像の拡大バージョンを図示する。図４Ｂにおいて、器官４２０は、ＣＴスキャン画像４１０からあらゆるものをマスク除去することによってセグメント化される。他方では、ＣＴスキャン画像は、３次元であり得、スライスの大量の集合を含む。計算の観点から、フル解像度にあるそのような大規模画像をロードおよび処理するのに十分なメモリがないことがある。それゆえ、器官ごとにニューラルネットワークにＣＴ画像が通され得、これは、フル解像度画像を使用することを可能にするだけでなく、各器官について固有のＣＴ値の範囲にニューラルネットワークを集中させることも可能にする。ＲＥＣＩＳＴによる要件および計算の問題を考慮して、ニューラルネットワーク処理システム１２０は、効果的な器官セグメント化のためのセグメント化モデルに基づく自動化された手法を使用し得る。特定の実施形態では、ニューラルネットワーク処理システム１２０は、均質な器官質量中の不均質なエリアを検索し、セグメント化モデルを使用して器官をセグメント化し、セグメント化された器官をＣＴ参照フレームに変換し、器官交差部を分解し得る。
【0056】
特定の実施形態では、ニューラルネットワーク処理システム１２０は、コンピュータ断層撮影（ＣＴ）スキャン画像のセットからの第１のスキャン画像にアクセスし得る。各ＣＴスキャン画像は、第１の解像度にあり得る。ニューラルネットワーク処理システム１２０は、次いで、ＣＴスキャン画像のセットに関連付けられた空気またはＣＴスキャナの一部のうちの１つまたは複数を描写している、第１のスキャン画像の１つまたは複数の部分を検出し得る。ニューラルネットワーク処理システム１２０は、次いで、第１のスキャン画像から、検出された１つまたは複数の部分を除去し得る。特定の実施形態では、ニューラルネットワーク処理システム１２０は、第２の解像度に第１のスキャン画像を再サンプリングすることによって、第１のスキャン画像の第１のダウンスケールされた画像を生成し得る。第２の解像度は、第１の解像度よりも低いことがある。スキャン画像をダウンサンプリングすることは、ダウンサンプリングされたスキャン画像が、より少ないメモリを占有し得、また、フル解像度をもつスキャン画像およびフル解像度にある大規模画像よりも速くロードおよび処理され得るので、計算効率の技術的利点を生じ得る。
【0057】
ニューラルネットワーク処理システム１２０は、第１のダウンスケールされた画像に基づいて１つまたは複数の第１の機械学習モデルによって、第１のスキャン画像中に描写されている１つまたは複数の器官にそれぞれ対応する１つまたは複数の粗いセグメント化を決定し得る。特定の実施形態では、第１の機械学習モデルのうちの少なくとも１つは、ニューラルネットワークモデルに基づき得、第１の機械学習モデルのうちの少なくとも１つは、２つ以上のニューラルネットワークモデルのアンサンブルモデルに基づき得、第１の機械学習モデルのうちの少なくとも１つは、アンサンブルモデルのディスティレーションモデルに基づき得る。ニューラルネットワーク処理システム１２０は、次いで、１つまたは複数の粗いセグメント化の各々について、対応する器官に関連付けられた関心領域を決定し得る。ニューラルネットワーク処理システム１２０は、次いで、１つまたは複数の粗いセグメント化およびそれらのそれぞれの関心領域に基づいて、第１のスキャン画像の１つまたは複数のセグメントを抽出し得る。各抽出されたセグメントは、第１の解像度にあり得る。特定の実施形態では、ニューラルネットワーク処理システム１２０は、第１のスキャン画像の１つまたは複数の抽出されたセグメントに基づいて１つまたは複数の第２の機械学習モデルによって、抽出されたセグメント中に描写されているそれぞれの１つまたは複数の器官に対応する１つまたは複数の細かいセグメント化を決定し得る。第２の機械学習モデルのうちの少なくとも１つは、ニューラルネットワークモデルに基づき得る。
【0058】
第２の機械学習モデルのうちの少なくとも１つは、２つ以上のニューラルネットワークモデルのアンサンブルモデルに基づき得る。第２の機械学習モデルのうちの少なくとも１つは、アンサンブルモデルのディスティレーションモデルに基づき得る。粗いセグメント化のために第１の機械学習モデルを使用し、細かいセグメント化のために第２の機械学習モデルを使用することは、１つまたは複数の技術的利点を生じ得る。１つの技術的利点は、たいていの既存の手法においてマニュアルであり得るセグメント化プロセスを自動化することを含み得る。別の技術的利点は、機械学習モデルに基づいて腫瘍／病変検出およびセグメント化の自動化を実施することによって、放射線科医のワークフローを補助することを含み得る。別の技術的利点は、病変が、それ以外はほぼ均質な画像テクスチャにおいて唯一の不均質性として現れる場合、機械学習モデルが、病変セグメント化において著しくより正確であり得るので、セグメント化の改善された精度を含み得る。
【0059】
特定の実施形態では、ニューラルネットワーク処理システム１２０は、以下のように、第１のスキャン画像に１つまたは複数の細かいセグメント化をマッピングし得る。ニューラルネットワーク処理システム１２０は、１つまたは複数の器官交差部を識別し得る。１つまたは複数の器官交差部の各々は、複数のボクセルを含み得る。複数のボクセルの各々は、それぞれ、２つ以上の器官を指し示す２つ以上のラベルに関連付けられ得る。２つ以上のラベルの各々は、それぞれの確率スコアに関連付けられ得る。ニューラルネットワーク処理システム１２０は、次いで、器官交差部内の複数のボクセルの各々に、最も高い確率スコアに関連付けられた２つ以上の器官のうちの１つを指し示すラベルを割り当てることによって、１つまたは複数の器官交差部の各々を分解し得る。マッピングの後、ニューラルネットワーク処理システムは、さらに、１つまたは複数の細かいセグメント化およびマッピングに基づいて、第１のスキャン画像のセグメント化された画像を生成し得る。
【0060】
セグメント化された画像は、１つまたは複数の器官に対応する１つまたは複数の確認されたセグメント化を含み得る。各器官の自動化されたセグメント化は、１つまたは複数の技術的利点を生じ得る。１つの技術的利点は、各自動的にセグメント化された器官が、病変進行をキャプチャする焦点を合わせられたビューを提供し得るので、経時的な病変の改善されたトラッキングを含み得、病変の改善されたトラッキングは、特定の疾患の医療分析をさらに支援し得る。別の技術的利点は、ニューラルネットワーク処理システム１２０が、器官がセグメント化された後、スキャンごとの代わりに器官ごとに病変を登録し得るので、必要とされる非線形ひずみの量を低減すること、および病変登録における計算をスピードアップすることを含み得る。
【0061】
図５は、器官セグメント化のための例示的なプロセス５００を図示する。図５において、元のＣＴスキャン画像５１０は、複数の器官、たとえば、器官５１５ａ、器官５１５ｂ、器官５１５ｃ、器官５１５ｄ、器官５１５ｅ、および器官５１５ｆをもつ完全な胴を描いていることがある。元のＣＴスキャン画像５１０は、生の全身ＣＴスキャンであり得る。代替的に、元のＣＴスキャン画像５１０は、合成ＣＴモジュールによって生成された合成ＣＴスキャンであり得る。ＣＴスキャン画像５１０は、空気およびＣＴスキャナの部分に対応する部分を含み得る。特定の実施形態では、ニューラルネットワーク処理システム１２０は、最初に、セグメント化タスクと関連がない画像部分を除去し得る。ニューラルネットワーク処理システム１２０は、次いで、ダウンスケールされたＣＴスキャン画像５２０を生成するために、粗い解像度に完全な胴のＣＴスキャン画像５１０を再サンプリングすることによって、ＣＴスキャン画像５１０をダウンスケールし得る。限定としてではなく例として、粗い解像度は、１４４（前～後）×２５６（左～右）×１９２（上～下）であり得る。特定の実施形態では、ニューラルネットワーク処理システム１２０は、ニューラルネットワークに、ダウンスケールされた完全な胴のＣＴスキャン画像５２０をロードし得、ニューラルネットワークは、ダウンスケールされたＣＴスキャン画像５２０中の器官のロケーションを決定し得る。ニューラルネットワーク処理システム１２０は、追加として、シャープなセグメント化境界を規定するために、各器官のセグメント化のためのしきい値を設定し得、シャープなセグメント化境界は、次いで、器官のＲＯＩを規定するために使用される。ニューラルネットワーク処理システム１２０は、次いで、元の完全胴ＣＴスキャン中のそれらのそれぞれのＲＯＩに基づいて器官をセグメント化するように各々トレーニングされた別個のモデルを走らせ得る。セグメント化は、各器官について最も大きい体積の構成要素を残し得る。限定としてではなく例として、図５において、粗くセグメント化された器官が、画像５３０に描かれていることがある。特定の実施形態では、ニューラルネットワーク処理システム１２０は、所与の器官を中心とするＲＯＩを規定するために、粗い器官セグメント化を使用し得る。
【0062】
特定の実施形態では、ニューラルネットワーク処理システム１２０は、対応するＣＴスキャン画像フラグメント（粗い器官セグメント化）を再サンプリングし得る。限定としてではなく例として、フラグメントは、１９２×１９２×１９２に再サンプリングされ得る。図５は、器官５１５ｆに対応するＣＴスキャン画像フラグメント５４０が元の解像度に再サンプリングされることを示す。ニューラルネットワーク処理システム１２０は、次いで、各粗くセグメント化された器官について、それの対応するフル解像度ＣＴ画像に基づいて細かいセグメント化を実施し得る。より詳細には、ニューラルネットワーク処理システム１２０は、各粗くセグメント化された器官に焦点を当て、境界を正確に識別するためにフル解像度をもつ器官をセグメント化し得る。特定の実施形態では、ニューラルネットワーク処理システム１２０は、最も大きい体積の構成要素を残し得る、ＲＯＩ中の特定の器官をセグメント化するようにトレーニングされた改良モデルを走らせ得る。
【0063】
限定としてではなく例として、図５は、再サンプリングされた画像フラグメント５４０から生成された、器官５１５ｆの細かいセグメント化５５０を示す。特定の実施形態では、ニューラルネットワーク処理システム１２０は、フル解像度にある元のＣＴ参照フレームに、細かいセグメント化の結果（たとえば、細かいセグメント化５５０および細かいセグメント化５６０ａ～ｃ）を変換し得る。器官セグメント化は、時には互いと交差するか、または時には互いに競合することがある。それゆえ、ニューラルネットワーク処理システム１２０は、最も高い確率スコアをもつボクセルのラベルを保つことによって器官交差部を分解することによって、これらのセグメント化をまとめ得る。
【0064】
特定の実施形態では、ニューラルネットワーク処理システム１２０は、以下の問題を理由に、セグメント化を実施する前に画像前処理を適用し得る。１つの問題は、極めて粒子の粗いＣＴ画像が、不良なセグメント化を生じ得ることであり得る。そのような問題を調停するために、ニューラルネットワーク処理システム１２０は、セグメント化の前にすべてのＣＴスキャン画像を平滑化し得る。別の問題は、器官が、２つの画像をそれらの境界においてスティッチするとき、コントラストの不連続性を有し得ることであり得る。たとえば、完全なＣＴスキャンは、時には、造影剤が患者に注入された後、同日の数個のスキャンによって部分的に行われる。通常、これらのスキャンの間に数分の時間間隔がある。取得時間差のために、注入された造影剤の取り込みは、連結されたスキャンについて変動し得、これは、スティッチング境界にわたるいくつかの器官におけるコントラストの段差を生じ得る。
【0065】
特定の実施形態では、ニューラルネットワーク処理システム１２０は、並置線のそれぞれ異なる側の所与の器官についての第１のスキャンと第２のスキャンとの間のコントラスト不一致を決定し得る。この問題を調停するために、ニューラルネットワーク処理システム１２０は、２つのスキャンのＣＴ値に基づいてコントラスト不一致を等化し得る。特定の実施形態では、コントラスト不一致の等化は、器官ごとに２パスセグメント化を適用することによって完了され得る。詳細には、第１のパスにおいて、おおよその器官セグメント化が、器官にわたるコントラストの段差を算出するために使用され得る。第２のパスにおいて、コントラストは、画像の１つの部分におけるＣＴ値をスケーリングすることによって等化され得、次いで、器官セグメント化は繰り返され得る。特定の実施形態では、ニューラルネットワーク処理システム１２０は、並置線の両側の器官の平均強度を算出し、乗算器を使用することによって強さを等化し得る。限定としてではなく例として、ニューラルネットワーク処理システムは、可視性の低い部分に１．２を乗算し得る。代替実施形態では、ニューラルネットワーク処理システムは、そのような問題を解決するために、全胴の代わりに、並置を有する合成ＣＴスキャンの画像上でトレーニングし得る。
【0066】
図６Ａ～図６Ｂは、器官を切断する２つのスキャンの例示的な並置および対応する調停を図示する。図６Ａは、一緒に２つのＣＴスキャン画像をスティッチしたときの、器官における例示的なコントラストの段差を図示する。上部ＣＴスキャン画像６１０および下部ＣＴスキャン画像６２０は、一緒にスティッチされ得る。説明目的で、全ＣＴスキャン画像６００が、一緒に２つのＣＴスキャン画像をスティッチすることによって生成されたことを指し示すために、破線６３０が追加されている。わかるように、造影剤は、ＣＴスキャン画像６２０によりもＣＴスキャン画像６１０に、時間的により近接して注入されたので、器官６４０は並置問題を有し得る。図６Ｂは、スキャン並置の例示的な調停を図示する。２パスセグメント化を適用することによって、ニューラルネットワーク処理システム１２０は、全スティッチＣＴスキャン画像６５０を生成するために、コントラスト不一致を等化し得る。限定としてではなく例として、上部ＣＴスキャン画像６６０は、乗算器を用いて、対応するスキャン値を乗算することによって生成され得る。たとえば、器官６４０は、破線６３０の上下でより均質に見え得る。
【0067】
特定の実施形態では、ニューラルネットワーク処理システム１２０は、特定の器官について特定の処理を実施し得る。限定としてではなく例として、頭蓋骨は、トレーニングデータセットにおいてセグメント化されなかったので、頭部は、骨セグメント化の前に除去される必要があり得る。これは、肺がセグメント化されると、肺の上部の上数センチメートル（たとえば、５ｃｍ）で胴を切ることによって行われ得る。同様に、骨盤の下の脚は、骨盤下部を発見することによって、セグメント化より前に除去され得る。
【0068】
特定の器官がセグメント化された後、ニューラルネットワーク処理システム１２０は、標準的なアルゴリズムを用いてそれらの凸包を構築し、画像コントラストに基づいて凸包の内側の関心エリアを識別するために、コンピュータビジョン技法を使用し得る。限定としてではなく例として、気管支は、縦隔および肺の凸包内の空気体積を発見すること、および最も大きいそのような体積を保つことによってセグメント化され得る。このようにして、ニューラルネットワーク処理システム１２０は、最も細かい解像度を使用して器官セグメント化を実施し得る。図７は、気管支の例示的なセグメント化プロセスを図示する。図７の上部画像７１０は、数個の器官がセグメント化されたことを示す。中部画像７２０は、識別された凸包を示す。下部画像７３０は、識別された気管支を示す。腸間膜について同様の様式で、腸および他の腹部器官がセグメント化されると、ニューラルネットワーク処理システム１２０は、腸の凸包をとり、腸自体、または包の内側の任意の他のセグメント化された器官を除いて十分に高い（脂肪を上回る）強度をもつ体積として腸間膜を識別し得る。
【0069】
図８は、例示的な３Ｄセグメント化の結果を図示する。膵臓、胆嚢などのような難しい器官は、複数の分離された構成要素に誤ってセグメント化され得る。そのような難しい器官の場合、ニューラルネットワーク処理システム１２０は、最も大きい体積構成要素以外のすべてを除去するために、追加のクリーンアップステップを実施し得る。特定の実施形態では、セグメント化モデルは、種々の関心器官に適用され得、ここで、生殖器（たとえば、乳房、卵巣、子宮、および前立腺）、または腸、腸間膜、および大血管を含んで、転移癌活性が起こる可能性があり、ここで、多くの隣接するリンパ節は、癌病変を発症し得る。
【0070】
図９は、粗いセグメント化のみと、粗いセグメント化に加えた細かいセグメント化と、文献との間の例示的な比較を図示する。使用される評価メトリックは、高ければ高いほど良いダイススコア（発見されたセグメント化の、真のセグメント化との％重なり）である。図９からわかるように、全体的に、粗いセグメント化に加えた細かいセグメント化の性能は、文献における最良の結果と同等である。
【0071】
図１０は、腸、腸間膜、および大動脈の例示的なセグメント化を図示する。わかり得るように、大腸と小腸、腸間膜、および大動脈は、セグメント化され得る。腹部において、大動脈は複数のリンパ節で覆われているので、大動脈は重要である。腸間膜（腸に接続された薄い膜）も、多くの腹部リンパ節を含んでいるが、直接的にセグメント化するのは極めて難しい。代わりに、ニューラルネットワーク処理システム１２０は、気管支と同じやり方で腸間膜をセグメント化し得る。特定の実施形態では、ニューラルネットワーク処理システム１２０は、最初に、セグメント化された腸の上方の凸包を算出し得る。ニューラルネットワーク処理システム１２０は、次いで、包体積から腸およびすべての他の前にセグメント化された器官を除外し得る。ニューラルネットワーク処理システム１２０は、さらに、内臓脂肪および血管を除外して、腸間膜についてのＣＴ値特性の範囲に対して残りの体積をしきい値処理し得る。
【0072】
同じニューラルネットワークモデルが、毎回ランダムな重みから開始して複数回トレーニングされた場合、得られたモデルは、同じ結果をもたらさないことがある。これは、発見されたソリューションが、グローバルな最適度ではなく、むしろ、様々なローカルな最適度であり得ることを示す。各モデルは、特徴のセットを学習するが、いくつかの特徴をランダムに逃がし得る。その結果、トレーニング中に、セグメント化に関連付けられた信頼度スコアは、オーバーフィッティング（たとえば、ノイズフィッティング）により１００％近くに達し得る。しかしながら、試験中に、各モデルについての信頼度スコアは、欠落した特徴により、はるかにより低くなり得る。複数のニューラルネットワークモデルのアンサンブルは、それのモデルが、異なる極小値で終了することにより、より多くの特徴を学習し得る。それゆえ、これらの複数のソリューションを組み合わせることは、各個々のモデルが提供することができるよりも多くの特徴をキャプチャし得ると予想され得る。特定の実施形態では、ニューラルネットワーク処理システム１２０は、器官セグメント化のために、特に、より小さいまたはあまり規則正しく整形されない器官のために、（すなわち、ニューラルネットワークのアンサンブルモデルと呼ばれる）深層ニューラルネットワークアンサンブルを使用し得る。
【0073】
限定としてではなく例として、そのような器官は、極めて小さい膵臓または極めて回旋状である腸を含み得る。ニューラルネットワーク処理システム１２０は、同じトレーニングセットに基づいて複数のニューラルネットワークをトレーニングし得、各々は、異なる開始重みに基づく。特定の実施形態では、深層ニューラルネットワークアンサンブルは、個々のモデルの予測を単に平均化し得る。図１１は、いろいろなサイズをもつ深層ニューラルネットワークアンサンブルに基づく例示的なセグメント化結果を図示する。図１１中の結果は、それぞれ、１～２１ニューラルネットワークベースのセグメント化モデルがアンサンブルされたことを指し示す、１～２１のサイズに基づく。わかるように、性能は、概して、５、１１、または１５ニューラルネットワークベースのセグメント化モデルがアンサンブルされたとき、より良好である。この結果は、データに依存し得る。
【0074】
図１２Ａ～図１２Ｃは、脾臓セグメント化、膵臓セグメント化、および右副腎セグメント化に対するアンサンブルサイズおよびＰしきい値の例示的な影響を図示する。図１２Ａは、脾臓セグメント化に対するアンサンブルサイズおよびＰしきい値の例示的な影響を図示する。図１２Ｂは、膵臓セグメント化に対するアンサンブルサイズおよびＰしきい値の例示的な影響を図示する。図１２Ｃは、右副腎セグメント化に対するアンサンブルサイズおよびＰしきい値の例示的な影響を図示する。特定の実施形態では、１、４、８、１２、１６、および２０ニューラルネットワークベースのセグメント化モデルを指し示す、サイズ１、４、８、１２、１６および２０のニューラルネットワーク処理システム１２０試験済みアンサンブルが、それぞれ、アンサンブルされる。図１２Ａ～図１２Ｃからわかり得るように、性能利得は、４～１０モデルアンサンブルの場合に最も顕著であった。一方、バイナリ器官マスクについての最適な確率しきい値は、脾臓の場合０．１であり、膵臓の場合０．１５であり、副腎の場合０．２５であった。特定の実施形態では、深層ニューラルネットワークアンサンブルは、より低性能のモデルに適用されたとき、より有利になり得る。
【0075】
特定の実施形態では、ニューラルネットワーク処理システム１２０は、セグメント化のために深層ニューラルネットワークアンサンブルのディスティレーションモデルを使用し得る。ディスティレーションモデルは、システムが、単一のモデルにおいてアンサンブルの増加した性能をキャプチャすることを可能にし得る。特定の実施形態では、ニューラルネットワーク処理システム１２０は、実際のグランドトゥルースラベル上でなく、アンサンブルの出力（すなわち、ソフトラベル）上でモデルをトレーニングすることによって、ディスティレーションモデルを生成し得る。図１３Ａ～図１３Ｄは、グランドトゥルースラベルとアンサンブル出力との間の例示的な比較を図示する。詳細には、図１３Ｃは、図１３Ａの器官の例示的なグランドトゥルースラベルの拡大バージョンを図示し、図１３Ｄは、図１３Ｂの例示的なアンサンブル出力の拡大バージョンを図示する。図１３Ａは、器官の例示的なグランドトゥルースラベルを図示する。特定の実施形態では、ニューラルネットワークモデルおよびアンサンブルモデルの各々は、１つまたは複数の器官に関連付けられたグランドトゥルースセグメント化ラベルに基づいてトレーニングされ得る。図１３Ｂは、例示的なアンサンブル出力を図示する。特定の実施形態では、ディスティレーションモデルは、アンサンブルモデルからの出力に基づいてトレーニングされ得る。わかり得るように、アンサンブル出力（ソフトラベル）は、グランドトゥルースラベル（ハードラベル）よりも包括的であり得る。その結果、アンサンブルディスティレーションは、すべてのアンサンブル特徴を組み込み得るソフトラベルにより、性能をさらに改善し得る。
【0076】
図１４は、ディスティレーションモデルの例示的なセグメント化性能を図示する。結果は、右副腎のセグメント化に基づき、ダイススコアによって評価された。ニューラルネットワークベースのセグメント化モデルのアンサンブルのために、１０個のモデルがアンサンブルされた。わかり得るように、ディスティレーションモデルは、単一のモデルよりも良好に機能するが、全アンサンブルよりも不良である。限定としてではなく例として、ディスティレーションモデルは、より低い精度をもつ器官について、最高５％くらい改善されたセグメント化精度を得ることができる。性能利得のほかに、ディスティレーションモデルはまた、セグメント化の不確実性に関する何らかの情報を提供し、グランドトゥルースの様々なバージョンをソリューションに容易に組み込むことを可能にし得る。しかしながら、アンサンブルがディスティレーションモデルに適用された場合、さらなる改善が見られ得る。図１４でわかるように、ディスティレーションアンサンブルモデルは、すべての他の３つのモデルよりも有利である。
【0077】
特定の実施形態では、セグメント化モデル、深層ニューラルネットワークアンサンブルモデル、およびディスティレーションモデルのトレーニング中に、ニューラルネットワーク処理システム１２０は、ニューラルネットワークのための開始ランダム重みをインスタンス化するために、異なる技法を使用し得る。加えて、ニューラルネットワーク処理システムは、異なるモデルをトレーニングし、器官セグメント化のために使用すべき最も性能の優れたモデルを選択するために、トレーニング画像の異なるサブセットを使用し得る。
【0078】
特定の実施形態では、ニューラルネットワーク処理システム１２０は、経時的に大きくなる腫瘍に一致する病変登録を補助するために、セグメント化を使用し得る。特定の実施形態では、病変登録は、経時的にとられた同じ器官の異なる画像を一致させるために、画像をシフトする、スケーリングする、せん断する、またはスキューイングすることを含み得る。（病変体積をもひずませる）必要とされる非線形ひずみの量を低減し、計算の速度を上げるために、ニューラルネットワーク処理システム１２０は、スキャンごとにの代わりに器官ごとに病変を登録し得る。特定の実施形態では、ニューラルネットワーク処理システムは、最初に、本明細書において開示されるセグメント化モデルを使用して、すべての関心器官をセグメント化し得る。ニューラルネットワーク処理システムは、次いで、器官ごとに病変をセグメント化し得る。時点の合間の可能性がある大きい病変変化による登録バイアスを回避するために、ニューラルネットワーク処理システム１２０は、両方の時点について病変組織をマスク除去（すなわち、登録算出中に無視）し得る。特定の実施形態では、ニューラルネットワーク処理システム１２０は、次いで、アフィン登録および粗い（たとえば、５ｃｍサポートグリッド）非線形登録を使用して、器官の残りの健康な組織を登録し得る。ニューラルネットワーク処理システム１２０は、２つの時点の間の器官における病変を登録するために、発見されたマッピングを使用し得る。特定の実施形態では、ニューラルネットワーク処理システム１２０は、参照時点としてスクリーニングを使用して、すべての時点について繰り返し得る。
【0079】
特定の実施形態では、第１のスキャン画像は、第１の時点に関連付けられ得る。１つまたは複数の器官のうちの第１の器官に対応する１つまたは複数の細かいセグメント化のうちの第１の細かいセグメント化は、第１の器官内の１つまたは複数の第１の病変を描写していることがある。ニューラルネットワーク処理システム１２０は、ＣＴスキャン画像のセットからの第２のスキャン画像にアクセスし得る。第２のスキャン画像は、第２の時点に関連付けられ得る。第２のスキャン画像は、第１の器官を描写している部分を含み得る。特定の実施形態では、ニューラルネットワーク処理システム１２０は、第２のスキャン画像中に描写されている第１の器官に対応する第２の細かいセグメント化を決定し得る。第２の細かいセグメント化は、第１の器官内の１つまたは複数の第２の病変を描写していることがある。ニューラルネットワーク処理システム１２０は、さらに、１つまたは複数の第１の病変と１つまたは複数の第２の病変との間の比較に基づいて、病変登録を決定し得る。
【0080】
図１５は、器官セグメント化に基づく例示的な病変登録を図示する。第１の列は、初期スクリーニングからのＣＴスキャン画像からのセグメント化された器官の画像を含む。たとえば、画像１５１０ａは第１の器官に対応し、画像１５２０ａは第２の器官に対応し、画像１５３０ａは第３の器官に対応し、画像１５４０ａは第４の器官に対応する。第２の列は、病変登録のための６週目におけるＣＴスキャン画像からのセグメント化された器官の画像を含む。第３の列は、病変登録のための１２週目におけるＣＴスキャン画像からのセグメント化された器官の画像を含む。画像１５１０ｂと画像１５１０ａとの間の比較からわかるように、初期スクリーニングからの腫瘍のうちの２つ（すなわち、腫瘍１５１２および腫瘍１５１４）は消滅した可能性があり、ここで、発症した新しい腫瘍１５１５もある。腫瘍１５１８は、小さくなった可能性がある。画像１５１０ｃと画像１５１０ｂとの間の比較からわかるように、腫瘍１５１５は、消滅した可能性がある。画像１５２０ｃと、画像１５２０ｂと画像１５２０ａとの間の比較からわかるように、腫瘍１５２２は、初期スクリーニングから６週目にかけて、および１２週目にかけて連続的に小さくなった可能性がある。画像１５３０ｃと、画像１５３０ｂと画像１５３０ａとの間の比較からわかるように、腫瘍１５３２は、６週目において、および１２週目において消滅した可能性がある。画像１５４０ｂと画像１５４０ａとの間の比較からわかるように、腫瘍１５４２は、初期スクリーニングから６週目にかけて小さくなった可能性がある。しかしながら、画像１５４０ｃと画像１５４０ｂとの間の比較、腫瘍１５４２は、再び大きくなった可能性がある。
【0081】
図１６は、器官セグメント化のための例示的な方法１６００を図示する。方法は、ステップ１６１０において始まり得、ステップ１６１０において、ニューラルネットワーク処理システム１２０は、コンピュータ断層撮影（ＣＴ）スキャン画像のセットからの第１のスキャン画像にアクセスし得、各ＣＴスキャン画像は、第１の解像度にある。ステップ１６２０において、ニューラルネットワーク処理システム１２０は、第１のスキャン画像を第２の解像度に再サンプリングすることによって、第１のスキャン画像の第１のダウンスケールされた画像を生成し得、第２の解像度は、第１の解像度よりも低い。ステップ１６３０において、ニューラルネットワーク処理システム１２０は、第１のダウンスケールされた画像に基づいて１つまたは複数の第１の機械学習モデルによって、それぞれ、第１のスキャン画像中に描写されている１つまたは複数の器官に対応する１つまたは複数の粗いセグメント化を決定し得、第１の機械学習モデルのうちの少なくとも１つは、ニューラルネットワークモデルに基づき、第１の機械学習モデルのうちの少なくとも１つは、２つ以上のニューラルネットワークモデルのアンサンブルモデルに基づき、第１の機械学習モデルのうちの少なくとも１つは、アンサンブルモデルのディスティレーションモデルに基づく。
【0082】
ステップ１６４０において、ニューラルネットワーク処理システム１２０は、１つまたは複数の粗いセグメント化の各々について、対応する器官に関連付けられた関心領域を決定し得る。ステップ１６５０において、ニューラルネットワーク処理システム１２０は、１つまたは複数の粗いセグメント化およびそれらのそれぞれの関心領域に基づいて、第１のスキャン画像の１つまたは複数のセグメントを抽出し得、各抽出されたセグメントは、第１の解像度にある。ステップ１６６０において、ニューラルネットワーク処理システム１２０は、第１のスキャン画像の１つまたは複数の抽出されたセグメントに基づいて１つまたは複数の第２の機械学習モデルによって、抽出されたセグメント中に描写されているそれぞれの１つまたは複数の器官に対応する１つまたは複数の細かいセグメント化を決定し得、第２の機械学習モデルのうちの少なくとも１つは、ニューラルネットワークモデルに基づき、第２の機械学習モデルのうちの少なくとも１つは、２つ以上のニューラルネットワークモデルのアンサンブルモデルに基づき、第２の機械学習モデルのうちの少なくとも１つは、アンサンブルモデルのディスティレーションモデルに基づく。
【0083】
ステップ１６７０において、ニューラルネットワーク処理システム１２０は、第１のスキャン画像に１つまたは複数の細かいセグメント化をマッピングし得、マッピングは、１つまたは複数の器官交差部を識別することであって、１つまたは複数の器官交差部の各々が、複数のボクセルを含み、複数のボクセルの各々が、それぞれ、２つ以上の器官を指し示す２つ以上のラベルに関連付けられ、２つ以上のラベルの各々が、それぞれの確率スコアに関連付けられる、１つまたは複数の器官交差部を識別することと、器官交差部内の複数のボクセルの各々に、最も高い確率スコアに関連付けられた２つ以上の器官のうちの１つを指し示すラベルを割り当てることによって、１つまたは複数の器官交差部の各々を分解することとを含む。ステップ１６８０において、ニューラルネットワーク処理システム１２０は、１つまたは複数の細かいセグメント化およびマッピングに基づいて、第１のスキャン画像のセグメント化された画像を生成し得、セグメント化された画像は、１つまたは複数の器官に対応する１つまたは複数の確認されたセグメント化を含む。
【0084】
特定の実施形態は、適切な場合、図１６の方法の１つまたは複数のステップを繰り返し得る。本開示は、特定の順序で起こるものとして図１６の方法の特定のステップを説明および図示するが、本開示は、任意の好適な順序で起こる図１６の方法の任意の好適なステップを企図する。そのうえ、本開示は、図１６の方法の特定のステップを含む、器官セグメント化のための例示的な方法を説明および図示するが、本開示は、適切な場合、図１６の方法のステップのすべてを含む、いくつかを含む、またはいずれも含まないことがある、任意の好適なステップを含む、器官セグメント化のための任意の好適な方法を企図する。その上、本開示は、図１６の方法の特定のステップを実行する、特定の構成要素、デバイス、またはシステムを説明および図示するが、本開示は、図１６の方法の任意の好適なステップを実行する、任意の好適な構成要素、デバイス、またはシステムの任意の好適な組合せを企図する。
【0085】
図１７は、例示的なコンピュータシステム１７００を図示する。特定の実施形態では、１つまたは複数のコンピュータシステム１７００は、本明細書において説明または図示される１つまたは複数の方法の１つまたは複数のステップを実施する。特定の実施形態では、１つまたは複数のコンピュータシステム１７００は、本明細書において説明または図示される機能性を提供する。特定の実施形態では、１つまたは複数のコンピュータシステム１７００上で走るソフトウェアは、本明細書において説明または図示される１つまたは複数の方法の１つまたは複数のステップを実施するか、または本明細書において説明または図示される機能性を提供する。特定の実施形態は、１つまたは複数のコンピュータシステム１７００の１つまたは複数の部分を含む。本明細書において、コンピュータシステムへの言及は、適切な場合、コンピューティングデバイスを包含し、その逆も同様であり得る。そのうえ、コンピュータシステムへの言及は、適切な場合、１つまたは複数のコンピュータシステムを包含し得る。
【0086】
本開示は、任意の好適な数のコンピュータシステム１７００を企図する。本開示は、任意の好適な物理的形態をとるコンピュータシステム１７００を企図する。限定としてではなく例として、コンピュータシステム１７００は、組込み型コンピュータシステム、システムオンチップ（ＳＯＣ）、（たとえば、コンピュータオンモジュール（ＣＯＭ）またはシステムオンモジュール（ＳＯＭ）など）シングルボードコンピュータシステム（ＳＢＣ）、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、対話型キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、あるいはこれらのうちの２つ以上の組合せであり得る。適切な場合、コンピュータシステム１７００は、１つまたは複数のコンピュータシステム１７００を含む、一体または分散型である、複数のロケーションをスパンする、複数のマシンをスパンする、複数のデータセンターをスパンする、あるいは１つまたは複数のネットワークに１つまたは複数のクラウド構成要素を含み得るクラウドにあり得る。適切な場合、１つまたは複数のコンピュータシステム１７００は、本明細書において説明または図示される１つまたは複数の方法の１つまたは複数のステップを、実質的な空間的または時間的限定なしに実施し得る。限定としてではなく例として、１つまたは複数のコンピュータシステム１７００は、本明細書において説明または図示される１つまたは複数の方法の１つまたは複数のステップをリアルタイムでまたはバッチモードで実施し得る。１つまたは複数のコンピュータシステム１７００は、適切な場合、本明細書において説明または図示される１つまたは複数の方法の１つまたは複数のステップを異なる時間にまたは異なるロケーションにおいて実施し得る。
【0087】
特定の実施形態では、コンピュータシステム１７００は、プロセッサ１７０２、メモリ１７０４、ストレージ１７０６、入出力（Ｉ／Ｏ）インターフェース１７０８、通信インターフェース１７１０、およびバス１７１２を含む。本開示は、特定の配列にある特定の数の特定の構成要素を有する特定のコンピュータシステムを説明および図示するが、本開示は、任意の好適な配列にある任意の好適な数の任意の好適な構成要素を有する任意の好適なコンピュータシステムを企図する。
【0088】
特定の実施形態では、プロセッサ１７０２は、コンピュータプログラムを構成する命令など、命令を実行するためのハードウェアを含む。限定としてではなく例として、命令を実行するために、プロセッサ１７０２は、内部レジスタ、内部キャッシュ、メモリ１７０４、またはストレージ１７０６から命令を取り出し（またはフェッチし）、命令を復号および実行し、次いで、内部レジスタ、内部キャッシュ、メモリ１７０４、またはストレージ１７０６に１つまたは複数の結果を書き込み得る。特定の実施形態では、プロセッサ１７０２は、データ、命令、またはアドレスのための１つまたは複数の内部キャッシュを含み得る。本開示は、適切な場合、任意の好適な数の任意の好適な内部キャッシュを含むプロセッサ１７０２を企図する。限定としてではなく例として、プロセッサ１７０２は、１つまたは複数の命令キャッシュ、１つまたは複数のデータキャッシュ、および１つまたは複数のトランスレーションルックアサイドバッファ（ＴＬＢ）を含み得る。命令キャッシュ中の命令は、メモリ１７０４またはストレージ１７０６中の命令のコピーであり得、命令キャッシュは、プロセッサ１７０２によるそれらの命令の取出しをスピードアップし得る。
【0089】
データキャッシュ中のデータは、プロセッサ１７０２において実行する命令がその上で動作すべきメモリ１７０４またはストレージ１７０６中のデータのコピー、プロセッサ１７０２において実行する後続の命令によるアクセスのために、またはメモリ１７０４もしくはストレージ１７０６への書込みのためにプロセッサ１７０２において実行された前の命令の結果、あるいは他の好適なデータであり得る。データキャッシュは、プロセッサ１７０２による読取りまたは書込み動作をスピードアップし得る。ＴＬＢは、プロセッサ１７０２のための仮想アドレストランスレーションをスピードアップし得る。特定の実施形態では、プロセッサ１７０２は、データ、命令、またはアドレスのための１つまたは複数の内部レジスタを含み得る。本開示は、適切な場合、任意の好適な数の任意の好適な内部レジスタを含むプロセッサ１７０２を企図する。適切な場合、プロセッサ１７０２は、１つまたは複数の算術論理ユニット（ＡＬＵ）を含むか、マルチコアプロセッサであるか、または１つまたは複数のプロセッサ１７０２を含み得る。本開示は、特定のプロセッサを説明および図示するが、本開示は、任意の好適なプロセッサを企図する。
【0090】
特定の実施形態では、メモリ１７０４は、プロセッサ１７０２が実行すべき命令、またはプロセッサ１７０２がその上で動作すべきデータを記憶するためのメインメモリを含む。限定としてではなく例として、コンピュータシステム１７００は、ストレージ１７０６または別のソース（たとえば、別のコンピュータシステム１７００など）からメモリ１７０４に命令をロードし得る。次いで、プロセッサ１７０２は、メモリ１７０４から内部レジスタまたは内部キャッシュに命令をロードし得る。命令を実行するために、プロセッサ１７０２は、内部レジスタまたは内部キャッシュから命令を取り出し、命令を復号し得る。命令の実行中またはその後、プロセッサ１７０２は、（中間または最終結果であり得る）１つまたは複数の結果を内部レジスタまたは内部キャッシュに書き込み得る。プロセッサ１７０２は、次いで、メモリ１７０４にそれらの結果のうちの１つまたは複数を書き込み得る。
【0091】
特定の実施形態では、プロセッサ１７０２は、（ストレージ１７０６または他の場所とは対照的な）１つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいはメモリ１７０４中の命令のみを実行し、（ストレージ１７０６または他の場所とは対照的な）１つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいはメモリ１７０４中のデータ上でのみ動作する。（各々がアドレスバスおよびデータバスを含み得る）１つまたは複数のメモリバスが、メモリ１７０４にプロセッサ１７０２を結合し得る。バス１７１２は、以下で説明されるように、１つまたは複数のメモリバスを含み得る。特定の実施形態では、１つまたは複数のメモリ管理ユニット（ＭＭＵ）が、プロセッサ１７０２とメモリ１７０４との間にあり、プロセッサ１７０２によって要求されたメモリ１７０４へのアクセスを実現する。特定の実施形態では、メモリ１７０４は、ランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、適切な場合、揮発性メモリであり得る。適切な場合、このＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）であり得る。そのうえ、適切な場合、このＲＡＭは、シングルポートまたはマルチポートＲＡＭであり得る。本開示は、任意の好適なＲＡＭを企図する。メモリ１７０４は、適切な場合、１つまたは複数のメモリ１７０４を含み得る。本開示は、特定のメモリを説明および図示するが、本開示は、任意の好適なメモリを企図する。
【0092】
特定の実施形態では、ストレージ１７０６は、データまたは命令のためのマスストレージを含む。限定としてではなく例として、ストレージ１７０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、またはユニバーサルシリアルバス（ＵＳＢ）ドライブあるいはこれらのうちの２つ以上の組合せを含み得る。ストレージ１７０６は、適切な場合、リムーバブルあるいは非リムーバブル（または固定）媒体を含み得る。ストレージ１７０６は、適切な場合、コンピュータシステム１７００の内部または外部にあり得る。特定の実施形態では、ストレージ１７０６は、不揮発性のソリッドステートメモリである。特定の実施形態では、ストレージ１７０６は、読取り専用メモリ（ＲＯＭ）を含む。適切な場合、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的可変ＲＯＭ（ＥＡＲＯＭ）、またはフラッシュメモリあるいはこれらのうちの２つ以上の組合せであり得る。本開示は、任意の好適な物理的形態をとるマスストレージ１７０６を企図する。ストレージ１７０６は、適切な場合、プロセッサ１７０２とストレージ１７０６との間の通信を実現する１つまたは複数のストレージ制御ユニットを含み得る。適切な場合、ストレージ１７０６は、１つまたは複数のストレージ１７０６を含み得る。本開示は、特定のストレージを説明および図示するが、本開示は、任意の好適なストレージを企図する。
【0093】
特定の実施形態では、Ｉ／Ｏインターフェース１７０８は、ハードウェア、ソフトウェア、またはその両方を含み、コンピュータシステム１７００と１つまたは複数のＩ／Ｏデバイスとの間の通信のための１つまたは複数のインターフェースを提供する。コンピュータシステム１７００は、適切な場合、これらのＩ／Ｏデバイスのうちの１つまたは複数を含み得る。これらのＩ／Ｏデバイスのうちの１つまたは複数は、人とコンピュータシステム１７００との間の通信を可能にし得る。限定としてではなく例として、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカー、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なＩ／Ｏデバイスまたはこれらのうちの２つ以上の組合せを含み得る。Ｉ／Ｏデバイスは、１つまたは複数のセンサーを含み得る。本開示は、任意の好適なＩ／Ｏデバイス、およびそれらのための任意の好適なＩ／Ｏインターフェース１７０８を企図する。適切な場合、Ｉ／Ｏインターフェース１７０８は、プロセッサ１７０２がこれらのＩ／Ｏデバイスのうちの１つまたは複数をドライブすることを可能にする、１つまたは複数のデバイスまたはソフトウェアドライバを含み得る。Ｉ／Ｏインターフェース１７０８は、適切な場合、１つまたは複数のＩ／Ｏインターフェース１７０８を含み得る。本開示は、特定のＩ／Ｏインターフェースを説明および図示するが、本開示は、任意の好適なＩ／Ｏインターフェースを企図する。
【0094】
特定の実施形態では、通信インターフェース１７１０は、コンピュータシステム１７００と１つまたは複数の他のコンピュータシステム１７００または１つまたは複数のネットワークとの間の通信（たとえば、パケットベース通信など）のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。限定としてではなく例として、通信インターフェース１７１０は、イーサネットまたは他のワイヤベースネットワークと通信するためのネットワークインターフェースコントローラ（ＮＩＣ）またはネットワークアダプタ、あるいはＷＩ－ＦＩネットワークなどのワイヤレスネットワークと通信するためのワイヤレスＮＩＣ（ＷＮＩＣ）またはワイヤレスアダプタを含み得る。本開示は、任意の好適なネットワーク、およびそれのための任意の好適な通信インターフェース１７１０を企図する。限定としてではなく例として、コンピュータシステム１７００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つまたは複数の部分あるいはこれらのうちの２つ以上の組合せと通信し得る。
【0095】
これらのネットワークのうちの１つまたは複数の１つまたは複数の部分は、ワイヤードまたはワイヤレスであり得る。例として、コンピュータシステム１７００は、（たとえば、ＢＬＵＥＴＯＯＴＨ ＷＰＡＮなど）ワイヤレスＰＡＮ（ＷＰＡＮ）、ＷＩ－ＦＩネットワーク、ＷＩ－ＭＡＸネットワーク、（たとえば、モバイル通信用グローバルシステム（ＧＳＭ）ネットワークなど）セルラー電話ネットワーク、または他の好適なワイヤレスネットワークあるいはこれらのうちの２つ以上の組合せと通信し得る。コンピュータシステム１７００は、適切な場合、これらのネットワークのうちのいずれかのための任意の好適な通信インターフェース１７１０を含み得る。通信インターフェース１７１０は、適切な場合、１つまたは複数の通信インターフェース１７１０を含み得る。本開示は、特定の通信インターフェースを説明および図示するが、本開示は、任意の好適な通信インターフェースを企図する。
【0096】
特定の実施形態では、バス１７１２は、コンピュータシステム１７００の構成要素を互いに結合する、ハードウェア、ソフトウェア、またはその両方を含む。限定としてではなく例として、バス１７１２は、アクセラレーテッドグラフィックスポート（ＡＧＰ）または他のグラフィックスバス、拡張業界標準アーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ＨＹＰＥＲＴＲＡＮＳＰＯＲＴ（ＨＴ）相互接続、業界標準アーキテクチャ（ＩＳＡ）バス、ＩＮＦＩＮＩＢＡＮＤ相互接続、ローピンカウント（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、周辺構成要素相互接続（ＰＣＩ）バス、ＰＣＩエクスプレス（ＰＣＩｅ）バス、シリアルアドバンストテクノロジーアタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクス規格協会ローカル（ＶＬＢ）バス、または別の好適なバスあるいはこれらのうちの２つ以上の組合せを含み得る。バス１７１２は、適切な場合、１つまたは複数のバス１７１２を含み得る。本開示は、特定のバスを説明および図示するが、本開示は、任意の好適なバスまたは相互接続を企図する。
【0097】
本明細書において、１つまたは複数のコンピュータ可読非一時的記憶媒体は、適切な場合、（たとえば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）など）１つまたは複数の半導体ベースまたは他の集積回路（ＩＣ）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスケット、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、ＳＥＣＵＲＥ ＤＩＧＩＴＡＬカードまたはドライブ、任意の他の好適なコンピュータ可読非一時的記憶媒体、あるいはこれらのうちの２つ以上の任意の好適な組合せを含み得る。コンピュータ可読非一時的記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性の組合せであり得る。
【0098】
本明細書において、「もしくは／または／あるいは」は、別段に明確に指し示されない限り、またはコンテキストによって別段に指し示されない限り、包括的であり、排他的ではない。それゆえ、本明細書において、「Ａもしくは／または／あるいはＢ」は、別段に明確に指し示されない限り、またはコンテキストによって別段に指し示されない限り、「Ａ、Ｂ、もしくは／または／あるいは両方とも」を意味する。そのうえ、「と／および／ならびに」は、別段に明確に指し示されない限り、またはコンテキストによって別段に指し示されない限り、合同と個々の両方である。それゆえ、本明細書において、「Ａと／および／ならびにＢ」は、別段に明確に指し示されない限り、またはコンテキストによって別段に指し示されない限り、「共同でまたは個々に、Ａと／および／ならびにＢ」を意味する。
【0099】
本開示の範囲は、当業者が理解するであろう、本明細書において説明または図示された例示的な実施形態に対する、すべての変更、置換、変形、改変、および修正を包含する。本開示の範囲は、本明細書において説明または図示された例示的な実施形態に限定されない。そのうえ、本開示は、特定の構成要素、エレメント、特徴、機能、動作、またはステップを含むものとして本明細書においてそれぞれの実施形態を説明および図示したが、これらの実施形態のいずれも、当業者が理解するであろう、本明細書のいずれかの場所で説明または図示された、構成要素、エレメント、特徴、機能、動作、またはステップのうちのいずれかの任意の組合せまたは入替えを含み得る。その上、特定の機能を実施するように適応されたか、実施するように配列されたか、実施することが可能であるか、実施するように構成されたか、実施するように可能にされたか、実施するように動作可能（ｏｐｅｒａｂｌｅ）であるか、または実施するように動作可能（ｏｐｅｒａｔｉｖｅ）である、装置またはシステムまたは装置もしくはシステムの構成要素への添付の特許請求の範囲における言及は、その装置、システム、または構成要素が、そのように適応されるか、配列されるか、可能であるか、構成されるか、可能にされるか、動作可能（ｏｐｅｒａｂｌｅ）であるか、または動作可能（ｏｐｅｒａｔｉｖｅ）である限り、その装置、システム、構成要素またはその特定の機能が、アクティブ化されるか、オンにされるか、またはロック解除されるか否かにかかわらず、その装置、システム、構成要素を包含する。追加として、本開示は、特定の利点を提供するものとして特定の実施形態を説明または図示するが、特定の実施形態は、これらの利点のいずれも提供しないか、これらの利点のうちのいくつかを提供するか、またはこれらの利点のすべてを提供し得る。
【0100】
実施形態
提供される実施形態の中には、以下がある。
１．１つまたは複数のコンピューティングシステムによって、
コンピュータ断層撮影（ＣＴ）スキャン画像のセットからの第１のスキャン画像にアクセスすることであって、各ＣＴスキャン画像が、第１の解像度にある、第１のスキャン画像にアクセスすることと、
第１のスキャン画像を第２の解像度に再サンプリングすることによって、第１のスキャン画像の第１のダウンスケールされた画像を生成することであって、第２の解像度が、第１の解像度よりも低い、第１のダウンスケールされた画像を生成することと、
第１のダウンスケールされた画像に基づいて１つまたは複数の第１の機械学習モデルによって、それぞれ、第１のスキャン画像中に描写されている１つまたは複数の器官に対応する１つまたは複数の粗いセグメント化を決定することと、
１つまたは複数の粗いセグメント化に基づいて、第１のスキャン画像の１つまたは複数のセグメントをそれぞれ抽出することであって、各抽出されたセグメントが、第１の解像度にある、１つまたは複数のセグメントを抽出することと、
第１のスキャン画像の１つまたは複数の抽出されたセグメントに基づいて１つまたは複数の第２の機械学習モデルによって、抽出されたセグメント中に描写されているそれぞれの１つまたは複数の器官に対応する１つまたは複数の細かいセグメント化を決定することと、
１つまたは複数の細かいセグメント化に基づいて、第１のスキャン画像のセグメント化された画像を生成することであって、セグメント化された画像が、１つまたは複数の器官に対応する１つまたは複数の確認されたセグメント化を含む、セグメント化された画像を生成することと
を含む方法。
２．ＣＴスキャン画像に関連付けられた空気またはＣＴスキャナの一部のうちの１つまたは複数を描写している、第１のスキャン画像の１つまたは複数の部分を検出することと、
第１のスキャン画像から、検出された１つまたは複数の部分を除去することと
をさらに含む、実施形態１の方法。
３．１つまたは複数の粗いセグメント化の各々について、対応する器官に関連付けられた関心領域を決定することであって、第１のスキャン画像の１つまたは複数のセグメントを抽出することが、さらに、１つまたは複数の粗いセグメント化に関連付けられたそれぞれの関心領域に基づく、関心領域を決定すること
をさらに含む、実施形態１から２のいずれかの方法。
４．第１のスキャン画像に１つまたは複数の細かいセグメント化をマッピングすることであって、第１のスキャン画像のセグメント化された画像を生成することが、さらに、マッピングに基づく、１つまたは複数の細かいセグメント化をマッピングすること
をさらに含む、実施形態１から３のいずれかの方法。
５．第１のスキャン画像に１つまたは複数の細かいセグメント化をマッピングすることは、
１つまたは複数の器官交差部を識別することであって、１つまたは複数の器官交差部の各々が、複数のボクセルを含み、複数のボクセルの各々が、それぞれ、２つ以上の器官を指し示す２つ以上のラベルに関連付けられ、２つ以上のラベルの各々が、それぞれの確率スコアに関連付けられる、１つまたは複数の器官交差部を識別することと、
器官交差部内の複数のボクセルの各々に、最も高い確率スコアに関連付けられた２つ以上の器官のうちの１つを指し示すラベルを割り当てることによって、１つまたは複数の器官交差部の各々を分解することと
を含む、実施形態１から４のいずれかの方法。
６．第１のスキャン画像が、胴の第１の部分を描写しており、第１のスキャン画像のセグメント化された画像が、１つまたは複数の器官のうちの第１の器官に対応する、１つまたは複数の確認されたセグメント化のうちの第１の確認されたセグメント化を含み、第１のスキャン画像が、並置線に関連付けられ、方法は、
ＣＴスキャン画像のセットからの第２のスキャン画像にアクセスすることであって、第２のスキャン画像が、胴の第２の部分を描写しており、第２のスキャン画像が、並置線に関連付けられる、第２のスキャン画像にアクセスすることと、
第２のスキャン画像のセグメント化された画像を生成することであって、第２のスキャン画像のセグメント化された画像が、第１の器官に対応する第２の確認されたセグメント化を含む、セグメント化された画像を生成することと、
第１の確認されたセグメント化と第２の確認されたセグメント化との間のコントラスト不一致を決定することであって、第１の確認されたセグメント化および第２の確認されたセグメント化が、並置線のそれぞれ異なる側にある、コントラスト不一致を決定することと、
第１の確認されたセグメント化に関連付けられたＣＴ値、および第２の確認されたセグメント化に関連付けられたＣＴ値に基づいて、コントラスト不一致を等化することと、
並置線に沿って、等化されたコントラスト不一致に基づいて、第１のスキャン画像のセグメント化された画像と第２のスキャン画像のセグメント化された画像とをスティッチすることと
をさらに含む、実施形態１から５のいずれかの方法。
７．１つまたは複数の器官のうちの第１の器官が、空気を含み、第１の器官が、第１の空気通路を含み、方法が、
第１のスキャン画像のセグメント化された画像内の第１の器官に関連付けられた凸包を識別することと、
凸包内の１つまたは複数の空気体積を識別することと、
１つまたは複数の空気体積のうちの最も大きい空気体積に基づいて、第１の空気通路を決定することと
をさらに含む、実施形態１から６のいずれかの方法。
８．コンピュータ断層撮影（ＣＴ）スキャン画像のセットの１つまたは複数の第２のスキャン画像にアクセスすることと、
１つまたは複数の第２のスキャン画像の１つまたは複数のセグメント化された画像をそれぞれ生成することであって、１つまたは複数の第２のスキャン画像の１つまたは複数のセグメント化された画像の各々が、１つまたは複数の器官に対応する１つまたは複数の確認されたセグメント化を含む、１つまたは複数のセグメント化された画像を生成することと、
第１のスキャン画像のセグメント化された画像と、それぞれの１つまたは複数の第２のスキャン画像の１つまたは複数のセグメント化された画像とに基づいて、３次元（３Ｄ）のセグメント化された画像を生成することであって、３Ｄのセグメント化された画像が、１つまたは複数の器官に対応する１つまたは複数の３Ｄセグメント化を含む、３次元（３Ｄ）のセグメント化された画像を生成することと
をさらに含む、実施形態１から７のいずれかの方法。
９．第１または第２の機械学習モデルのうちの少なくとも１つが、ニューラルネットワークモデルに基づき、第１または第２の機械学習モデルのうちの少なくとも１つが、２つ以上のニューラルネットワークモデルのアンサンブルモデルに基づき、第１または第２の機械学習モデルのうちの少なくとも１つが、アンサンブルモデルのディスティレーションモデルに基づく、実施形態１から８のいずれかの方法。
１０．ニューラルネットワークモデルおよびアンサンブルモデルの各々が、１つまたは複数の器官に関連付けられたグランドトゥルースセグメント化ラベルに基づいてトレーニングされ、ディスティレーションモデルが、アンサンブルモデルからの出力に基づいてトレーニングされる、実施形態１から９のいずれかの方法。
１１．第１のスキャン画像が、第１の時点に関連付けられ、１つまたは複数の器官のうちの第１の器官に対応する１つまたは複数の細かいセグメント化のうちの第１の細かいセグメント化が、第１の器官内の１つまたは複数の第１の病変を描写しており、方法は、
ＣＴスキャン画像のセットからの第２のスキャン画像にアクセスすることであって、第２のスキャン画像が、第２の時点に関連付けられ、第２のスキャン画像が、第１の器官を描写している部分を含む、第２のスキャン画像にアクセスすることと、
第２のスキャン画像中に描写されている第１の器官に対応する第２の細かいセグメント化を決定することであって、第２の細かいセグメント化が、第１の器官内の１つまたは複数の第２の病変を描写している、第２の細かいセグメント化を決定することと、
１つまたは複数の第１の病変と１つまたは複数の第２の病変との間の比較に基づいて、病変登録を決定することと
をさらに含む、実施形態１から１０のいずれかの方法。
１２．１つまたは複数のプロセッサによって実行されたとき、実施形態１から１１のいずれかのステップを実施するように動作可能であるソフトウェアを具現する、１つまたは複数のコンピュータ可読非一時的記憶媒体。
１３．１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行可能な命令を含む、プロセッサに結合された非一時的メモリとを備えるシステムであって、１つまたは複数のプロセッサが、命令を実行するとき、実施形態１から１１のいずれかのステップを実施するように動作可能である、システム。
提供される実施形態の中には、以下がある。
１．１つまたは複数のコンピューティングシステムによって、
コンピュータ断層撮影（ＣＴ）スキャン画像のセットからの第１のスキャン画像にアクセスすることであって、各ＣＴスキャン画像が、第１の解像度にある、第１のスキャン画像にアクセスすることと、
第１のスキャン画像を第２の解像度に再サンプリングすることによって、第１のスキャン画像の第１のダウンスケールされた画像を生成することであって、第２の解像度が、第１の解像度よりも低い、第１のダウンスケールされた画像を生成することと、
第１のダウンスケールされた画像に基づいて１つまたは複数の第１の機械学習モデルによって、それぞれ、第１のスキャン画像中に描写されている１つまたは複数の器官に対応する１つまたは複数の粗いセグメント化を決定することと、
１つまたは複数の粗いセグメント化に基づいて、第１のスキャン画像の１つまたは複数のセグメントをそれぞれ抽出することであって、各抽出されたセグメントが、第１の解像度にある、１つまたは複数のセグメントを抽出することと、
第１のスキャン画像の１つまたは複数の抽出されたセグメントに基づいて１つまたは複数の第２の機械学習モデルによって、抽出されたセグメント中に描写されているそれぞれの１つまたは複数の器官に対応する１つまたは複数の細かいセグメント化を決定することと、
１つまたは複数の細かいセグメント化に基づいて、第１のスキャン画像のセグメント化された画像を生成することであって、セグメント化された画像が、１つまたは複数の器官に対応する１つまたは複数の確認されたセグメント化を含む、セグメント化された画像を生成することと
を含む方法。
２．ＣＴスキャン画像に関連付けられた空気またはＣＴスキャナの一部のうちの１つまたは複数を描写している、第１のスキャン画像の１つまたは複数の部分を検出することと、
第１のスキャン画像から、検出された１つまたは複数の部分を除去することと
をさらに含む、実施形態１の方法。
３．１つまたは複数の粗いセグメント化の各々について、対応する器官に関連付けられた関心領域を決定することであって、第１のスキャン画像の１つまたは複数のセグメントを抽出することが、さらに、１つまたは複数の粗いセグメント化に関連付けられたそれぞれの関心領域に基づく、関心領域を決定すること
をさらに含む、実施形態１から２のいずれかの方法。
４．第１のスキャン画像に１つまたは複数の細かいセグメント化をマッピングすることであって、第１のスキャン画像のセグメント化された画像を生成することが、さらに、マッピングに基づく、１つまたは複数の細かいセグメント化をマッピングすること
をさらに含む、実施形態１から３のいずれかの方法。
５．第１のスキャン画像に１つまたは複数の細かいセグメント化をマッピングすることは、
１つまたは複数の器官交差部を識別することであって、１つまたは複数の器官交差部の各々が、複数のボクセルを含み、複数のボクセルの各々が、それぞれ、２つ以上の器官を指し示す２つ以上のラベルに関連付けられ、２つ以上のラベルの各々が、それぞれの確率スコアに関連付けられる、１つまたは複数の器官交差部を識別することと、
器官交差部内の複数のボクセルの各々に、最も高い確率スコアに関連付けられた２つ以上の器官のうちの１つを指し示すラベルを割り当てることによって、１つまたは複数の器官交差部の各々を分解することと
を含む、実施形態１から４のいずれかの方法。
６．第１のスキャン画像が、胴の第１の部分を描写しており、第１のスキャン画像のセグメント化された画像が、１つまたは複数の器官のうちの第１の器官に対応する、１つまたは複数の確認されたセグメント化のうちの第１の確認されたセグメント化を含み、第１のスキャン画像が、並置線に関連付けられ、方法は、
ＣＴスキャン画像のセットからの第２のスキャン画像にアクセスすることであって、第２のスキャン画像が、胴の第２の部分を描写しており、第２のスキャン画像が、並置線に関連付けられる、第２のスキャン画像にアクセスすることと、
第２のスキャン画像のセグメント化された画像を生成することであって、第２のスキャン画像のセグメント化された画像が、第１の器官に対応する第２の確認されたセグメント化を含む、セグメント化された画像を生成することと、
第１の確認されたセグメント化と第２の確認されたセグメント化との間のコントラスト不一致を決定することであって、第１の確認されたセグメント化および第２の確認されたセグメント化が、並置線のそれぞれ異なる側にある、コントラスト不一致を決定することと、
第１の確認されたセグメント化に関連付けられたＣＴ値、および第２の確認されたセグメント化に関連付けられたＣＴ値に基づいて、コントラスト不一致を等化することと、
並置線に沿って、等化されたコントラスト不一致に基づいて、第１のスキャン画像のセグメント化された画像と第２のスキャン画像のセグメント化された画像とをスティッチすることと
をさらに含む、実施形態１から５のいずれかの方法。
７．１つまたは複数の器官のうちの第１の器官が、空気を含み、第１の器官が、第１の空気通路を含み、方法が、
第１のスキャン画像のセグメント化された画像内の第１の器官に関連付けられた凸包を識別することと、
凸包内の１つまたは複数の空気体積を識別することと、
１つまたは複数の空気体積のうちの最も大きい空気体積に基づいて、第１の空気通路を決定することと
をさらに含む、実施形態１から６のいずれかの方法。
８．コンピュータ断層撮影（ＣＴ）スキャン画像のセットの１つまたは複数の第２のスキャン画像にアクセスすることと、
１つまたは複数の第２のスキャン画像の１つまたは複数のセグメント化された画像をそれぞれ生成することであって、１つまたは複数の第２のスキャン画像の１つまたは複数のセグメント化された画像の各々が、１つまたは複数の器官に対応する１つまたは複数の確認されたセグメント化を含む、１つまたは複数のセグメント化された画像を生成することと、
第１のスキャン画像のセグメント化された画像と、それぞれの１つまたは複数の第２のスキャン画像の１つまたは複数のセグメント化された画像とに基づいて、３次元（３Ｄ）のセグメント化された画像を生成することであって、３Ｄのセグメント化された画像が、１つまたは複数の器官に対応する１つまたは複数の３Ｄセグメント化を含む、３次元（３Ｄ）のセグメント化された画像を生成することと
をさらに含む、実施形態１から７のいずれかの方法。
９．第１または第２の機械学習モデルのうちの少なくとも１つが、ニューラルネットワークモデルに基づき、第１または第２の機械学習モデルのうちの少なくとも１つが、２つ以上のニューラルネットワークモデルのアンサンブルモデルに基づき、第１または第２の機械学習モデルのうちの少なくとも１つが、アンサンブルモデルのディスティレーションモデルに基づく、実施形態１から８のいずれかの方法。
１０．ニューラルネットワークモデルおよびアンサンブルモデルの各々が、１つまたは複数の器官に関連付けられたグランドトゥルースセグメント化ラベルに基づいてトレーニングされ、ディスティレーションモデルが、アンサンブルモデルからの出力に基づいてトレーニングされる、実施形態１から９のいずれかの方法。
１１．第１のスキャン画像が、第１の時点に関連付けられ、１つまたは複数の器官のうちの第１の器官に対応する１つまたは複数の細かいセグメント化のうちの第１の細かいセグメント化が、第１の器官内の１つまたは複数の第１の病変を描写しており、方法は、
ＣＴスキャン画像のセットからの第２のスキャン画像にアクセスすることであって、第２のスキャン画像が、第２の時点に関連付けられ、第２のスキャン画像が、第１の器官を描写している部分を含む、第２のスキャン画像にアクセスすることと、
第２のスキャン画像中に描写されている第１の器官に対応する第２の細かいセグメント化を決定することであって、第２の細かいセグメント化が、第１の器官内の１つまたは複数の第２の病変を描写している、第２の細かいセグメント化を決定することと、
１つまたは複数の第１の病変と１つまたは複数の第２の病変との間の比較に基づいて、病変登録を決定することと
をさらに含む、実施形態１から１０のいずれかの方法。
１２．１つまたは複数のプロセッサによって実行されたとき、実施形態１から１１のいずれかのステップを実施するように動作可能であるソフトウェアを具現する、１つまたは複数のコンピュータ可読非一時的記憶媒体。
１３．１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行可能な命令を含む、プロセッサに結合された非一時的メモリとを備えるシステムであって、１つまたは複数のプロセッサが、命令を実行するとき、実施形態１から１１のいずれかのステップを実施するように動作可能である、システム。
【図1A】
【図1B】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図12C】
【図13A】
【図13B】
【図13C】
【図13D】
【図14】
【図15】
【図16】
【図17】
【国際調査報告】