特表 2022-519678 マルチモーダル画像化及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-03-24

(54)【発明の名称】マルチモーダル画像化及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのための方法及び装置

(51)【国際特許分類】

   G16H 30/40 20180101AFI20220316BHJP

【ＦＩ】

G16H30/40

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021545966

(86)(22)【出願日】2020-02-04

(85)【翻訳文提出日】2021-09-30

(86)【国際出願番号】 US2020016480

(87)【国際公開番号】W WO2020163258

(87)【国際公開日】2020-08-13

(31)【優先権主張番号】62/802,306

(32)【優先日】2019-02-07

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/881,573

(32)【優先日】2019-08-01

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】521345718

【氏名又は名称】ビジョニア インコーポレイテッド

【氏名又は名称原語表記】ＶＹＳＩＯＮＥＥＲ ＩＮＣ．

(74)【代理人】

【識別番号】100107456

【弁理士】

【氏名又は名称】池田 成人

(74)【代理人】

【識別番号】100162352

【弁理士】

【氏名又は名称】酒巻 順一郎

(74)【代理人】

【識別番号】100123995

【弁理士】

【氏名又は名称】野田 雅一

(72)【発明者】

【氏名】ル， ジェン‐タン

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA26

(57)【要約】

マルチモーダル画像化及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのための方法及びシステムが本明細書に提供される。いくつかの実施形態では、方法は、複数の医用画像を受信するステップであり、複数の医用画像の各々が標的及び正常な組織を含む、ステップと、複数の医用画像にわたって標的及び正常な組織を位置合わせするために複数の医用画像を組み合わせるステップと、組み合わされた医用画像を複数の機械学習モデルの各々に入力するステップと、入力するステップに応答して、複数の機械学習モデルの各々から出力を受信するステップと、複数の機械学習モデルの結果を組み合わせるステップと、複数の機械学習モデルの組み合わされた結果に基づいて最終的なセグメンテーション画像を生成するステップと、セグメント化された標的及び正常な組織の各々にスコアを割り当てるステップと、セグメント化された標的及び正常な組織をスコアに基づいてソートするステップとを含む。
【選択図】 図１

【特許請求の範囲】

【請求項1】

マルチモーダル画像化及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのためのコンピュータ実装方法であって、
複数の医用画像を受信するステップであり、前記複数の医用画像の各々が標的及び正常な組織を含み、前記複数の医用画像の各々が異なるタイプのものである、ステップと、
前記複数の医用画像にわたって前記標的及び前記正常な組織を位置合わせするために前記複数の医用画像を組み合わせるステップと、
組み合わされた前記医用画像を複数の機械学習モデルの各々に入力するステップと、
前記入力するステップに応答して、前記複数の機械学習モデルの各々から出力を受信するステップと、
前記複数の機械学習モデルの前記出力を組み合わせるステップと、
前記複数の機械学習モデルの組み合わされた前記結果に基づいて最終的なセグメンテーション画像を生成するステップと、
セグメント化された標的及び正常な組織の各々にスコアを割り当てるステップと、
前記スコアに基づいて前記セグメント化された標的及び正常な組織をソートするステップと、
を含む、方法。

【請求項2】

前記複数の機械学習モデルが、高感度ネットワーク及び高特異度ネットワークのうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項3】

前記複数の機械学習モデルの各々が、異なるパラメータ、アーキテクチャ、画像サイズ、画像解像度、オプティマイザ、及び損失関数を用いて別々に訓練される、請求項１に記載の方法。

【請求項4】

前記損失関数が前記標的の体積に関連し、より大きい損失がより小さい標的に割り当てられ、より小さい損失がより大きい標的に割り当てられる、請求項３に記載の方法。

【請求項5】

前記複数の機械学習モデルの各々が、同じ入力画像が与えられた他の機械学習モデルとは異なる出力を生成する、請求項１に記載の方法。

【請求項6】

前記複数の機械学習モデルの各々からの前記出力が、０～１の範囲の画素値を含むスコアマップである、請求項１に記載の方法。

【請求項7】

前記最終的なセグメンテーション結果を生成する前に、前記機械学習モデルの各々からの前記出力に重みを適用するステップをさらに含む、請求項１に記載の方法。

【請求項8】

最終的なセグメンテーション結果を表示するステップであって、最終スコアが、セグメント化された範囲の強度、サイズ、位置、及び前記機械学習モデルのうちの１つ又は複数から生成されたセグメント化された領域内の出力スコア画素の線形／非線形の組合せを使用して、各セグメント化された標的／組織に割り当てられる、ステップをさらに含む、請求項１に記載の方法。

【請求項9】

視覚化のために最終スコアを用いて最も可能性のある標的の数を表示するステップであって、前記数が、ユーザ入力から受信した値、存在する標的の数についての事前知識に基づく、事前設定された値、又はグラフィカルユーザインターフェースを介して調整可能な値のうちの１つであり、前記グラフィカルユーザインターフェースが、前記視覚化の感度及び／又は特異度を調整するためのスクロールバーを含み、各表示された標的が、選択可能及び編集可能である、ステップをさらに含む、請求項８に記載の方法。

【請求項10】

マルチモーダル画像化及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのためのシステムであって、
ａ）少なくとも１つのプロセッサと、
ｂ）少なくとも１つの入力デバイスと
ｃ）プロセッサ実行可能命令を記憶する少なくとも１つの記憶デバイスであり、前記プロセッサ実行可能命令が、前記少なくとも１つのプロセッサによって実行されると、
複数の医用画像を受信するステップであり、前記複数の医用画像の各々が標的及び正常な組織を含み、前記複数の医用画像の各々が別個のタイプである、ステップと、
前記複数の医用画像にわたって前記標的と正常な組織を位置合わせするために前記複数の医用画像を組み合わせるステップと、
組み合わされた前記医用画像を複数の機械学習モデルの各々に入力するステップと、
前記入力するステップに応答して、前記複数の機械学習モデルの各々から出力を受信するステップと、
前記複数の機械学習モデルの前記出力を組み合わせるステップと、
前記複数の機械学習モデルの組み合わされた前記結果に基づいて最終的なセグメンテーション画像を生成するステップと、
セグメント化された標的及び正常な組織の各々にスコアを割り当てるステップと、
前記スコアに基づいて、前記セグメント化された標的及び正常な組織をソートするステップと
を含む方法を実行する、少なくとも１つの記憶デバイスと、
を備える、システム。

【請求項11】

前記複数の機械学習モデルが、少なくとも１つの高感度ネットワークと少なくとも１つの高特異度ネットワークとを含む、請求項１０に記載のシステム。

【請求項12】

前記複数の機械学習モデルの各々が、異なるパラメータ、アーキテクチャ、画像サイズ、画像解像度、オプティマイザ、及び損失関数を用いて別々に訓練される、請求項１０に記載のシステム。

【請求項13】

前記損失関数が前記標的の体積に関連し、より大きい損失がより小さい標的に割り当てられ、より小さい損失がより大きい標的に割り当てられる、請求項１２に記載のシステム。

【請求項14】

前記複数の機械学習モデルの各々が、同じ入力画像が与えられた他の機械学習モデルとは異なる出力を生成する、請求項１０に記載のシステム。

【請求項15】

前記最終的なセグメンテーション結果を生成する前に、前記機械学習モデルの各々からの前記出力に重みを適用するステップと、
最終的なセグメンテーション結果を表示するステップであり、最終スコアが、セグメント化された範囲内の強度、サイズ、位置、及び前記機械学習モデルのうちの１つ又は複数からの入力／出力画素の線形／非線形の組合せを使用して、各セグメント化された標的／組織に割り当てられる、ステップと、
視覚化のために最終スコアを用いて最も可能性のある標的の数を表示するステップであり、前記数が、ユーザ入力から受信した値、存在する標的の数についての事前知識に基づく、事前設定値、又はグラフィカルユーザインターフェースを介して調整可能な値のうちの１つであり、前記グラフィカルユーザインターフェースが前記視覚化の感度及び／又は特異度を調整するためのスクロールバーを含み、各表示された標的が、選択可能かつ編集可能である、ステップと
をさらに含む、請求項１０に記載のシステム。

【発明の詳細な説明】

【背景】

【0001】

［分野］
[0001]本発明に一致する実施形態は、一般に、組織セグメンテーションに関し、より具体的には、マルチモーダル画像化（multi-modalimaging、マルチモーダルイメージング）及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのための方法及び装置に関する。

【関連技術の説明】

【0002】

[0002]放射線療法は高線量で照射される正常な組織の量を最小限に抑えつつ、腫瘍などの標的を排除するために高線量の放射線を送達するため、全癌患者の半数以上は放射線療法を受ける。現在の放射線治療は、腫瘍と正常で健康な器官を描出するために、医用画像（ＣＴ画像及びＭＲ画像など）の手作業による集中的な解析に依存している。

【0003】

[0003]専門の放射線腫瘍医は１つの症例に４時間以上を費やす場合があり、治療開始の著しい遅延を引き起こしている。また、治療計画プロセスにおける医師間の高い変動性は、最適以下の臨床転帰及び不必要な放射線毒性をもたらす。

【0004】

[0004]したがって、マルチモーダル画像化及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションの必要性が存在する。

【概要】

【0005】

[0005]マルチモーダル画像化及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのための方法及びシステムが提供される。

【0006】

[0006]この概要は、以下の詳細な説明でさらに説明される概念の選択を簡略化した形で紹介するために提供される。この概要は、特許請求される主題の重要な特徴又は本質的な特徴を特定することを意図しておらず、特許請求される主題の範囲を限定するために使用されることも意図していない。

【0007】

[0007]本発明の他の及びさらなる実施形態を以下に説明する。

【0008】

[0008]本発明の上記の特徴及び実施形態が詳細に理解され得るように、上記で簡潔に要約された本発明のより具体的な説明は、実施形態を参照することによって得ることができ、実施形態のいくつかは添付の図面に示されている。しかしながら、添付の図面は、本発明の典型的な実施形態のみを示しており、したがって、本発明は他の同等に有効な実施形態を認めることができるため、その範囲を限定するものと見なされるべきではないことに留意されたい。

【図面の簡単な説明】

【0009】

【図1】[0009]図１は、本開示に一致する１つ又は複数の実施形態に従って構成された、マルチモーダル画像化及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのためのシステムのブロック図である。

【0010】

【図2】[0010]図２は、本発明の１つ又は複数の実施形態による、マルチモーダル画像化及びアンサンブル機械学習モデルの例示的な実施形態を示す図である。

【0011】

【図3】[0011]図３は、１つ又は複数の実施形態による、マルチモーダル画像化及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのためのシステムのブロック図である。

【0012】

【図4】[0012]図４は、１つ又は複数の実施形態による、図１のシステムによって実行されるようなマルチモーダル画像化及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのための方法の流れ図である。

【0013】

【図5】[0013]図５は、本発明の１つ又は複数の実施形態による、機械学習モデルによって生成されたスコアで分類された腫瘍の表示を示す図である。

【0014】

【図6】[0014]図６は、１つ又は複数の実施形態による、例えば図１及び／又は図３のシステムを実装するためのコンピュータシステムの詳細なブロック図である。

【詳細な説明】

【0015】

[0015]理解を容易にするために、図に共通する同一の要素を示すために、可能な場合には同一の参照番号が使用されている。図は縮尺通りに描かれておらず、明確にするために簡略化されている場合がある。一実施形態の要素及び特徴は、さらに列挙することなく他の実施形態に有益に組み込むことができると考えられる。

【0016】

[0016]本発明の実施形態は、マルチモーダル画像化及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのための方法及び装置を含む。このシステムは、複数の画像化モダリティ（例えば、コンピュータ断層撮影（ＣＴ）、磁気共鳴画像化（ＭＲＩ）、陽電子放出断層撮影（ＰＥＴ）スキャン、複数シリーズＭＲＩシーケンス（Ｔ１、Ｔ２、Ｔ２フレア（Ｔ２－ｗｅｉｇｈｔｅｄ－Ｆｌｕｉｄ－Ａｔｔｅｎｕａｔｅｄ Ｉｎｖｅｒｓｉｏｎ Ｒｅｃｏｖｅｒｙ）、コントラスト付きシーケンスなど）及び複数のニューラルネットワークなどの複数の機械学習モデルを使用して、放射線療法のための医用画像上の自動化された標的（例えば、腫瘍）ならびに正常な組織及び／又は器官セグメンテーションを提供する。いくつかの実施形態では、複数の機械学習モデルは、少なくとも１つの高特異度ネットワークを有する少なくとも１つの高感度ネットワークを含む。

【0017】

[0017]複数の機械学習モデルの各々は、複数の機械学習モデルの各々が、同じ入力画像が与えられた他の機械学習モデルとは異なる出力を生成するように、異なるパラメータ、アーキテクチャ、画像サイズ／解像度、オプティマイザ、及び損失関数を使用して別々に訓練される。最終的なセグメンテーションは、単一の画像モダリティ及び／又は単一の機械学習モデルを使用して達成されるよりも信頼性の高いセグメンテーションを生成するために、各機械学習モデルによる個々のセグメンテーション結果の推論を組み合わせる。

【0018】

[0018]好適には、標的及び組織のセグメンテーションのための自動化されたシステムは、放射線療法治療計画プロセスを加速するだけでなく、より信頼性の高い標的及び器官輪郭形成も提供する。

【0019】

[0019]本開示はマルチ画像化モダリティ及びマルチ機械学習モデルに焦点を当てているが、当業者は、システムが単一のモデル及び単一の画像化モダリティで機能することを理解するであろう。

【0020】

[0020]マルチモーダル画像化及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのためのシステム及び方法の様々な実施形態を以下に提供する。以下の詳細な説明では、特許請求される主題の完全な理解を提供するために、多数の具体的な詳細が記載される。しかしながら、特許請求される主題がこれらの特定の詳細なしで実施され得ることは、当業者によって理解されるであろう。詳細な説明は、放射線療法について記載された例を用いて本発明を説明しているが、特許請求される主題は、医用画像上の一般的な腫瘍及び器官セグメンテーションに使用され得ることが当業者によって理解されるであろう。

【0021】

[0021]方法及び装置は、いくつかの実施形態及び例示的な図面について例として本明細書に記載されているが、当業者であれば、マルチモーダル画像化及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのための方法及び装置は、記載された実施形態又は図面に限定されないことを認識するであろう。図面及び図面の詳細な説明は、開示された特定の形態に実施形態を限定することを意図するものではないことを理解されたい。むしろ、その意図は、添付の特許請求の範囲によって定義されるマルチモーダル画像化及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのための方法及び装置の精神及び範囲内にあるすべての修正、等価物及び代替物を網羅することである。

【0022】

[0022]以下の詳細な説明のいくつかの部分は、特定の装置又は専用コンピューティングデバイス又はプラットフォームのメモリ内に格納されたバイナリデジタル信号に対する動作に関して提示される。この特定の明細書の文脈では、特定の装置などという用語は、汎用コンピュータがプログラムソフトウェアからの命令に従って特定の機能を実行するようにプログラムされる場合、汎用コンピュータを含む。これに関連して、動作又は処理は、物理量の物理的操作を含む。典型的には、必ずしもそうとは限らないが、物理量は、記憶、転送、結合、比較、又は他の方法で操作することができる電気信号又は磁気信号の形態をとることができる。ビット、データ、値、要素、記号、文字、用語、数、数字などのような信号を参照することは、主に共通の使用の理由から、時には便利であることが判明している。しかしながら、これら又は類似の用語のすべては、適切な物理量に関連付けられるべきであり、単に便利なラベルであることを理解されたい。

【0023】

[0023]特に明記しない限り、以下の説明から明らかなように、本明細書全体を通して、「処理」、「コンピューティング」、「計算」、「決定」などの用語を利用する説明は、専用コンピュータ又は同様の専用電子コンピューティングデバイスなどの特定の装置の動作又はプロセスを指すことが理解される。したがって、本明細書の文脈では、専用コンピュータ又は同様の専用電子コンピューティングデバイスは、専用コンピュータ又は同様の専用電子コンピューティングデバイスのメモリ、レジスタ、又は他の情報記憶デバイス、送信デバイス、又は表示デバイス内の物理的な電子量又は磁気量として通常表される信号を操作又は変換することができる。

【0024】

[0024]本明細書で使用される場合、「標的」という用語は、腫瘍などの治療を必要とする領域を指し、「器官」という用語は、治療を必要としない任意の正常な又は健康な組織を指す。

【0025】

[0025]図１は、本開示に一致する１つ又は複数の実施形態に従って構成されたシステム１００を示す。図１は、１つ又は複数の実施形態による、アンサンブル機械学習モデルを使用して複数の画像化モダリティの画像を分析するためのシステム１００のブロック図である。複数の２次元及び３次元（２次元画像スライスの複合物）医用画像１０２がシステム１００に入力される。医用画像１０２は、異なる画像１０２にわたって対応する標的及び器官を位置合わせするために、プロセッサ１０４によって登録される。メモリ１０６は、登録された画像を記憶する。セグメンテーションプロセッサ１０８は、登録された画像を複数の機械学習モデルの各々に入力し、各々が、標的及び器官の、例えば０～１の範囲の画素値を含むスコアマップを生成する。標的画像コンバータ１１０は、各機械学習モデルの出力に重みを適用して、最終的な画像セグメンテーション結果を作成する。結果として得られる画像セグメンテーションは、ディスプレイ１１２に表示される。

【0026】

[0026]図２は、本発明の１つ又は複数の実施形態による、マルチモーダル画像化及びアンサンブル機械学習モデルの例示的な実施形態を示す図である。複数の入力された画像化モダリティ２０２_１ ２０２_２、．．．２０２_ｎ（まとめて画像化モダリティ２０２と呼ばれる）は、異なる画像化モダリティ２０２にわたって対応する標的及び器官を位置合わせするために登録される。入力された画像化モダリティは、例えば、ＣＴスキャン２０２_１、ＭＲＩ（コントラスト付きＴ１）２０２_２、ＭＲＩ（Ｔ２）２０２_３、ＭＲＩ（Ｔ２フレア）２０２_４であり得る。位置合わせされた画像化モダリティ２０２は、複数の機械学習モデル２０４_１ ２０４_２、２０４_３、．．．２０４_ｎ（集合的に機械学習モデル２０４と呼ばれる）に入力される。各機械学習モデル２０４は、各機械学習モデル２０４が異なる応答を与えるように、異なるネットワークアーキテクチャ、パラメータ、画像サイズ／解像度、オプティマイザ、及び損失関数で独立して訓練及び最適化される。

【0027】

[0027]複数の標的及び器官セグメンテーションのためのモデル訓練中、損失関数は、標的（器官）の「体積」に関連するように設計され得る。具体的には、大きい標的（器官）は一般にセグメンテーション及び検出が容易であるため、より大きい損失がより小さい標的（器官）に割り当てられ、より小さい損失がより大きい標的に割り当てられる。例えば、損失は、標的（器官）の体積、又は標的（器官）の体積もしくは数又は標的（器官）の種類の数に関連する他の関数に反比例し得る。これは、より小さい又はより困難な標的（器官）に対処するのに有益である。入力画像が与えられると、機械学習モデル２０４の各々は、標的及び器官のセグメンテーションを独立して生成し、最終的なセグメンテーション２０６は、機械学習モデルからのセグメンテーションの加重和である。

【0028】

[0028]セグメント化された各標的（組織）は、最終的なセグメンテーションにおける接続された構成要素のグループである。セグメント化された範囲（接続された構成要素のグループ）内の（Ｍ_{ＦＩＮＡＬ}の）スコア画素の平均、中央値、又は線形／非線形の組合せ、又は他の要因、例えば腫瘍／器官のサイズ、位置、強度などを組み合わせたスコア画素、及びそれらの線形／非線形の組合せを使用して、セグメント化された各標的（器官）に最終スコアが割り当てられる。次いで、セグメント化された標的及び組織は、それらの最終スコアでソートされる。システムは、視覚化のために最終スコアを用いて上位ｋ個の最も可能性のある標的（組織）を示す。ユーザはｋを選択することができ、又はｋは事前設定することができる。

【0029】

[0029]セグメント化された標的／組織を最終スコアに基づいてソートすることに加えて、ソートは、例えば大から小、小から大などのセグメント化されたサイズに基づいて、又は例えば上から下、下から上などの位置に基づいて行うことができる。

【0030】

[0030]標的及び器官２０６の最終的なセグメンテーションは、単一の画像モデル及び／又は単一の機械学習モデルで可能であるよりも高い感度及び特異度で出力される。最終的なセグメンテーションは、医用デジタル画像通信（ｄｉｃｏｍ）規格、ｊｐｅｇなどの様々なフォーマットに変換することができ、画像アーカイブ及び通信システム（ＰＡＣＳ）などの医療画像システムによってロードすることができる。

【0031】

[0031]図３は、本発明の一実施形態に従って構成されたシステム３００を示す。図３は、１つ又は複数の実施形態による、複数の画像スキャナ３３０に通信可能に接続されたマルチモーダル画像化及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのためのコンピュータ３０１のブロック図である。コンピュータ３０１は、コンピューティングデバイス、例えば、デスクトップコンピュータ、ラップトップ、タブレットコンピュータなどである。コンピュータ３０１は、中央処理装置（ＣＰＵ）３０２、グラフィック処理装置（ＧＰＵ）３０３、サポート回路３０４、ディスプレイ３０６、及びメモリ３０８を含む。ＣＰＵ３０２は、データの処理及び記憶を容易にする１つ又は複数の市販のマイクロプロセッサ又はマイクロコントローラを含むことができる。各種サポート回路３０４は、ＣＰＵ３０２の動作を容易にするものであり、１つ又は複数のクロック回路、電源、キャッシュ、入出力回路等を含む。機械学習モデルの訓練及び予測（推論）の場合、ＧＰＵ３０３を使用する処理は、ＣＰＵ３０２を使用するよりもはるかに高速である。したがって、ＣＰＵ３０２は、画像位置合わせなどの画像前処理、及び個々の機械学習モデルからのセグメンテーションの加重和を計算するなどの後処理を担当し、ＧＰＵ３０３は、すべての機械学習モデル処理を担当する。

【0032】

[0032]メモリ３０８は、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ディスクドライブ記憶装置、光学記憶装置、取り外し可能記憶装置などのうちの少なくとも１つを含む。いくつかの実施形態では、ディスプレイ３０６は、コンピュータ３００に統合されず、むしろコンピュータ３００に有線又は無線のいずれかで通信可能に結合される。

【0033】

[0033]メモリ３０８は、オペレーティングシステム３１０、標的セグメンテーションモジュール３１２、画像データベース３２０、複数の機械学習モデル３２２、及び機械学習モデルトレーナ３２４を含み、標的セグメンテーションモジュール３１２は、画像レジスタ３１４、画像セグメンテーション計算機３１６、及び画像生成器３１８を含む。標的セグメンテーションモジュール３１２は、画像スキャナ３３０から複数の画像を受信し、受信した画像を画像データベース３２０に記憶するためにＣＰＵ３０２によって実行可能な命令を含む。画像レジスタ３１４は、標的セグメンテーションモジュール３１２によって受信された複数の画像にわたって対応する標的及び器官を位置合わせする。

【0034】

[0034]標的セグメンテーションモジュール３１２は、位置合わせされた画像を複数の機械学習モデル３２２の各々に入力する。複数の機械学習モデルの各々は、標的及び器官の画素のスコアマップを出力する。画像セグメンテーション計算機３１６は、機械学習モデルごとの重み係数を使用して、標的及び器官の最終マップを計算する。画像生成器３１８は、最終的な画像セグメンテーション結果をディスプレイ３０６に表示する。

【0035】

[0035]複数の機械学習モデル３２２の各々は、機械学習モデルトレーナ３２４及びＧＰＵ３０３を使用して別々に訓練されている。いくつかの実施形態では、畳み込み機械学習モデルが使用され、互いに接続された多くのニューラル層が存在する。機械学習モデルは、畳み込み層、最大プーリング層、活性化層、ドロップアウト層などを含むことができ、それらの各々はいくつかのパラメータを含み、前の層からの入力信号を処理し、次いで処理された信号を次の層に送信する。機械学習モデルの入力は医用画像であり、出力は機械学習モデルによって生成された腫瘍／組織セグメンテーションである。定義された損失関数を使用して、出力セグメンテーションとグラウンドトゥルースセグメンテーション（腫瘍専門医によって生成された）との間の差を計算する。次いで、損失は、機械学習モデルの各層を介して（出力セグメンテーションから入力医用画像へ）逆伝播される。次いで、各層のパラメータは、逆伝播損失及び選択されたオプティマイザに基づいて調整（最適化）される。典型的なオプティマイザ方法は、確率的勾配降下法及びＡｄａｍ、ＲＭＳｐｒｏｐなどのその変形である。

【0036】

[0036]機械学習モデルを訓練するために、かなりの量の訓練データ（医用画像と、対応するグラウンドトゥルースセグメンテーションとのペア）が収集される。訓練データを使用して、機械学習モデルを最適化できるように、上記の段落で説明した方法（入力信号を順伝播し、損失を逆伝播し、損失に基づいて各ニューラル層のパラメータを調整する）を何度も繰り返す。

【0037】

[0037]異なる機械学習モデルを訓練するとき、異なる損失関数、オプティマイザ、パラメータ、及びニューラル層の組合せが使用される。また、入力画像は、異なる解像度（サイズ）で使用されるべきである。例えば、高感度モデルを訓練するために、入力画像を小さいパッチに切り出すことができ、小さいパッチの各々が個別にモデルに送信され（モデルが小さい詳細な腫瘍に焦点を合わせることができるように）、一方、高特異度モデルを訓練するために、入力画像をその元のサイズとしてモデルに供給することができる（モデルが画像についてより包括的な概要を有するように）。

【0038】

[0038]訓練データは収集され、モデルを定期的に訓練するために使用される。例えば、モデルは、１０００の症例を使用して訓練することができる。次いで、訓練されたモデルを使用して、将来の新しい症例の標的／組織セグメンテーションを予測する。新しい症例の予測は、本明細書では「モデル推論」と呼ばれる。例えば１ヶ月後、訓練のためにさらに１０００の新しい症例が収集され（腫瘍専門医は新しい症例のグラウンドトゥルースセグメンテーションも提供すると仮定する）、次いでモデルは、２０００症例全体又は新しい１０００症例のみのいずれかに基づいて再び訓練される。モデルの訓練／再訓練は、定期的に機械学習モデルを更新し続ける。

【0039】

[0039]図４は、マルチモーダル画像化及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのための方法４００の流れ図を示す。本開示の実施形態は、標的（例えば、腫瘍）と、調査中の正常な組織及び／又は器官とを識別又は区別するために使用される。いくつかの実施形態では、調査中の材料は、示差強度分析によって構築された画像が診断及び／又は評価目的に使用される生体組織であり得る。

【0040】

[0040]方法４００は、ステップ４０２で開始し、ステップ４０４に進む。ステップ４０４において、複数の画像モダリティの複数の画像が受信される（例えば、コンピュータ断層撮影（ＣＴ）スキャン、磁気共鳴画像化（ＭＲＩ）、陽電子放出断層撮影（ＰＥＴ）スキャン、複数シリーズＭＲＩシーケンス（Ｔ１、Ｔ２、Ｔ２フレア（Ｔ２－ｗｅｉｇｈｔｅｄ－Ｆｌｕｉｄ－Ａｔｔｅｎｕａｔｅｄ Ｉｎｖｅｒｓｉｏｎ Ｒｅｃｏｖｅｒｙ）、コントラスト付きシーケンスなど）。

【0041】

[0041]ステップ４０６において、複数の画像モダリティからの画像が位置合わせされる。画像モダリティの各々は、標的を描写する。標的は、腫瘍又は焦点領域であり得る。画像は、標的及び器官が異なる画像化モダリティにわたって位置合わせされるように組み合わされる。いくつかの実施形態では、異なるモダリティからの画像は、登録（位置合わせ）後に単一の「入力」として組み合わせることができる。画像は、チャネルと呼ばれる追加の次元を作成することによって組み合わされてもよい。例えば、位置合わせされたＣＴ画像及びＭＲＩ画像は、３次元（Ｘ、Ｙ、Ｚ）を有し、Ｘ、Ｙ、Ｚは、対応する次元内の画素の数を表す。次に、組み合わされた入力は４次元（Ｘ、Ｙ、Ｚ、Ｃ）になり、Ｃ（チャネルを意味する）は画像化モダリティの数に等しい（ＣＴ及びＭＲＩがあるので、この例では２）。

【0042】

[0042]いくつかの実施形態では、複数の画像モダリティからの画像は組み合わされない。むしろ、セグメンテーションは、ＣＴ入力のみ及びＭＲＩ入力のみなど、各画像化モダリティのみを使用して別々に生成され、その後、最終的なセグメンテーションは以下に説明するように組み合わされる。

【0043】

[0043]ステップ４０８において、位置合わせされた画像は、複数の機械学習モデルへの入力として使用される。いくつかの実施形態では、複数の機械学習モデルは、少なくとも１つの高感度（高真陽性率）ネットワークと少なくとも１つの高特異度（高真陰性率）ネットワークとを含む。各機械学習モデルは、機械学習モデルを最適化するために独立して訓練されている。

【0044】

[0044]位置合わせされた画像は、各機械学習モデルが別個の出力を提供するように、各機械学習モデルに個別に入力される。各機械学習モデルによって生成される出力は、スコアマップである。スコアマップは、標的及び器官の例えば０～１の画素値を含む。

【0045】

[0045]ステップ４１０において、最終的な画像セグメンテーション結果が計算される。各機械学習モデルには重みが与えられる。例えば、各機械学習モデル（１－Ｎ）は、マップＭ_１、Ｍ_２、．．．、Ｍ_Ｎを生成する。各機械学習モデルに重みα（０～１）が与えられる。最終的な画像セグメンテーション結果は、以下を使用して計算される。

【数1】

【0046】

[0046]閾値をＭ_{ＦＩＮＡＬ}に適用して、標的又は組織のバイナリマスクを作成することができ、閾値より大きい任意の値は１に設定され、閾値未満の任意の値は１に設定される。

【0047】

[0047]ステップ４１２において、画像を生成するために最終的な画像セグメンテーション計算を使用する。マルチモーダル画像化及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションは、信頼性の高い標的及び器官輪郭を提供する。次いで、セグメント化された標的は、それらの最終スコアでソートされる。システムは、視覚化のために最終スコアを用いて上位ｋ個の最も可能性のある標的を表示する。値ｋは、ユーザによって入力されてもよく、事前設定された値であってもよく、存在すべき標的の数の事前知識に基づいてもよく、又は調整可能な値であり、値は、スクロールバー又はグラフィカルユーザインターフェース上の他の手段を使用して調整することができる。方法４００は、ステップ４１４で終了する。

【0048】

[0048]図５は、本発明の１つ又は複数の実施形態による、ステップ４１０の式を使用して機械学習モデルによって生成されたスコアでソートされた例示的な腫瘍検出結果５０２、５０４、及び５０６の表示５００を示す。モデル推論の間、機械学習モデル（又は他のタイプのアルゴリズム）は、標的又は器官のタイプごとに最終スコアマップ（０～１の範囲のＭ_{ＦＩＮＡＬ}）を生成する。次いで、閾値をスコアマップに適用してバイナリマスク（Ｍ_{ｂｉｎａｒｙ}）を作成し、閾値より大きい任意の値を１に設定し、閾値未満の任意の値を０に設定する。セグメント化された各標的（組織）は、バイナリマスク上の接続された構成要素のグループである。セグメント化された範囲（接続された構成要素のグループ）内の（Ｍ_{ＦＩＮＡＬ}の）スコア画素の平均、中央値、又は線形／非線形の組合せ、又は他の要因、例えば腫瘍／器官のサイズ、位置、強度などを組み合わせたスコア画素、及びそれらの線形／非線形の組合せを使用して、セグメント化された各標的（器官）に最終スコアが割り当てられる。次いで、セグメント化された標的は、それらの最終スコアでソートされる。システムは、視覚化のために最終スコアを用いて上位ｋ個の最も可能性のある標的（組織）を示す。ユーザはｋの値を選択してもよく、又はｋは事前設定されてもよい。複数の例を図５に示す。実施例５０２は、３つの腫瘍、具体的には腫瘍５１０_２、５１２_２、及び５１４_２を示し、スコアはそれぞれ５１０_１、５１２_１、及び５１４_１で凡例に表示される。実施例５０４は腫瘍５１６_２を示し、スコアは５１６_１で凡例に表示される。実施例５０６は、２つの腫瘍、具体的には腫瘍５１８_２及び５２０_２を示し、スコアはそれぞれ５１８_１及び５２０_１で凡例に表示される。

【0049】

[0049]固定されたｋ及び閾値に基づく、予測された上位ｋ個の結果をユーザに表示することに加えて、本発明者らのシステムはまた、明示的又は暗黙的に［例えば、１）検出されるべき腫瘍の数の事前知識、及び／又は２）システムの感度又は特異度などを調整するためのスクロールバーなどの制御を指定することによって］ユーザによって入力されたｋ及び閾値の様々な値に基づいて様々な上位ｋ個の結果を表示することもできる。

【0050】

[0050]予測された上位ｋ個の結果は所与の構成（ｋ、閾値、及びその他のパラメータ）について全体が表示されるが、上位ｋ個の結果からの予測された各標的（組織）は、ユーザが個別に編集又は選択解除できるように提示される。

【0051】

[0051]図６は、１つ又は複数の実施形態による、コンピュータ及び／又は表示デバイスを実装するために本発明の様々な実施形態で利用することができる、１つ又は複数の実施形態によるコンピュータシステムの詳細なブロック図である。

【0052】

[0052]本明細書で説明するように、マルチモーダル画像化及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのための方法及び装置の様々な実施形態は、様々な他の装置と相互作用することができる１つ又は複数のコンピュータシステム上で実行することができる。そのようなコンピュータシステムの１つは、図６に示すコンピュータシステム６００であり、様々な実施形態において、図１～図４に示す要素又は機能のいずれかを実装することができる。様々な実施形態において、コンピュータシステム６００は、上述の方法を実施するように構成され得る。コンピュータシステム６００は、上述の実施形態の他の任意のシステム、デバイス、要素、機能又は方法を実装するために使用されてもよい。図示の実施形態では、コンピュータシステム６００は、様々な実施形態において、プロセッサ実行可能実行可能プログラム命令６２２（例えば、プロセッサ６１０によって実行可能なプログラム命令）として方法４００（図４）を実施するように構成されてもよい。

【0053】

[0053]図示の実施形態では、コンピュータシステム６００は、入出力（Ｉ／Ｏ）インターフェース６３０を介してシステムメモリ６２０に結合された１つ又は複数のプロセッサ６１０ａ～６１０ｎを含む。コンピュータシステム６００は、Ｉ／Ｏインターフェース６３０に結合されたネットワークインターフェース６４０と、カーソル制御装置６６０、キーボード６７０、及びディスプレイ６８０などの１つ又は複数の入出力装置６５０とをさらに含む。様々な実施形態において、構成要素のいずれかは、上述のユーザ入力を受信するためにシステムによって利用され得る。様々な実施形態において、ユーザインターフェースを生成し、ディスプレイ６８０に表示することができる。場合によっては、実施形態は、コンピュータシステム６００の単一のインスタンスを使用して実装されてもよいが、他の実施形態では、複数のそのようなシステム、又はコンピュータシステム６００を構成する複数のノードは、様々な実施形態の異なる部分又はインスタンスをホストするように構成されてもよいことが考えられる。例えば、一実施形態では、いくつかの要素は、他の要素を実装するノードとは異なるコンピュータシステム６００の１つ又は複数のノードを介して実装されてもよい。別の例では、複数のノードが分散方式でコンピュータシステム６００を実装してもよい。

【0054】

[0054]異なる実施形態では、コンピュータシステム６００は、パーソナルコンピュータシステム、デスクトップコンピュータ、ラップトップ、ノートブックもしくはネットブックコンピュータ、メインフレームコンピュータシステム、ハンドヘルドコンピュータ、ワークステーション、ネットワークコンピュータ、セットトップボックス、スマートフォンもしくはＰＤＡなどのモバイルデバイス、コンシューマデバイス、ビデオゲームコンソール、ハンドヘルドビデオゲームデバイス、アプリケーションサーバ、記憶デバイス、スイッチ、モデム、ルータなどの周辺デバイス、又は一般に任意のタイプのコンピューティングもしくは電子デバイスを含むがこれらに限定されない様々なタイプのデバイスのいずれかであってもよい。

【0055】

[0055]様々な実施形態において、コンピュータシステム６００は、単一のプロセッサ６１０を含むユニプロセッサシステム、又はいくつかのプロセッサ６１０（例えば、２、４、８、又は別の適切な数）を含むマルチプロセッサシステムであってもよい。プロセッサ６１０は、命令を実行することができる任意の適切なプロセッサであってもよい。例えば、様々な実施形態において、プロセッサ６１０は、様々な命令セットアーキテクチャ（ＩＳＡ）のいずれかを実装する汎用又は組み込みプロセッサであってもよい。マルチプロセッサシステムでは、プロセッサ６１０の各々は、必ずしもそうである必要はないが、共通して同じＩＳＡを実装することができる。

【0056】

[0056]システムメモリ６２０は、プロセッサ６１０によってアクセス可能なプログラム命令６２２及び／又はデータ６３２を記憶するように構成することができる。様々な実施形態において、システムメモリ６２０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、同期ダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュ型メモリ、又は任意の他の種類のメモリなどの任意の適切なメモリ技術を使用して実装されてもよい。図示の実施形態では、上述の実施形態の要素のいずれかを実装するプログラム命令及びデータは、システムメモリ６２０内に記憶されてもよい。他の実施形態では、プログラム命令及び／又はデータは、異なるタイプのコンピュータアクセス可能媒体上で、又はシステムメモリ６２０もしくはコンピュータシステム６００とは別個の同様の媒体上で受信、送信、又は記憶されてもよい。

【0057】

[0057]一実施形態では、Ｉ／Ｏインターフェース６３０は、プロセッサ６１０、システムメモリ６２０、及びネットワークインターフェース６４０又は入出力装置６５０などの他の周辺インターフェースを含む装置内の任意の周辺装置の間のＩ／Ｏトラフィックを調整するように構成することができる。いくつかの実施形態では、Ｉ／Ｏインターフェース６３０は、ある構成要素（例えば、システムメモリ６２０）からのデータ信号を別の構成要素（例えば、プロセッサ６１０）による使用に適したフォーマットに変換するために、任意の必要なプロトコル、タイミング、又は他のデータ変換を実行することができる。いくつかの実施形態では、Ｉ／Ｏインターフェース６３０は、例えば、周辺機器相互接続（ＰＣＩ）バス規格又はユニバーサルシリアルバス（ＵＳＢ）規格の変形などの様々なタイプの周辺バスを介して取り付けられたデバイスのサポートを含むことができる。いくつかの実施形態では、Ｉ／Ｏインターフェース６３０の機能は、例えば、ノースブリッジ及びサウスブリッジなどの２つ以上の別個の構成要素に分割されてもよい。また、いくつかの実施形態では、システムメモリ６２０へのインターフェースなどのＩ／Ｏインターフェース６３０の機能の一部又は全部をプロセッサ６１０に直接組み込むことができる。

【0058】

[0058]ネットワークインターフェース６４０は、コンピュータシステム６００と、ネットワークに取り付けられた他のデバイス（例えば、ネットワーク６９０）、例えば、１つもしくは複数の表示デバイス（図示せず）、又は１つもしくは複数の外部システムとの間、又はコンピュータシステム６００のノード間でデータを交換することを可能にするように構成することができる。様々な実施形態において、ネットワーク６９０は、ローカルエリアネットワーク（ＬＡＮ）（例えば、イーサネット（登録商標）又は企業ネットワーク）、ワイドエリアネットワーク（ＷＡＮ）（例えば、インターネット）、無線データネットワーク、いくつかの他の電子データネットワーク、又はそれらのいくつかの組合せを含むがこれらに限定されない、１つ又は複数のネットワークを含むことができる。様々な実施形態において、ネットワークインターフェース６４０は、例えば、任意の適切なタイプのイーサネットネットワークなどの有線又は無線の一般的なデータネットワークを介して、例えば、アナログ音声ネットワーク又はデジタルファイバ通信ネットワークなどの電気通信／電話ネットワークを介して、ファイバチャネルＳＡＮなどのストレージエリアネットワークを介して、又は任意の他の適切なタイプのネットワーク及び／又はプロトコルを介して、通信をサポートすることができる。

【0059】

[0059]入力／出力装置６５０は、いくつかの実施形態では、１つ又は複数の通信端末、キーボード、キーパッド、タッチパッド、走査デバイス、音声又は光学認識デバイス、又は１つ又は複数のコンピュータシステム６００によるデータの入力又はアクセスに適した任意の他のデバイスを含むことができる。複数の入力／出力装置６５０は、コンピュータシステム６００内に存在してもよく、又はコンピュータシステム６００の様々なノード上に分散されてもよい。いくつかの実施形態では、同様の入力／出力装置は、コンピュータシステム６００とは別個であってもよく、ネットワークインターフェース６４０を介してなど、有線又は無線接続を介してコンピュータシステム６００の１つ又は複数のノードと対話してもよい。

【0060】

[0060]いくつかの実施形態では、図示のコンピュータシステムは、図４のフローチャートによって示される方法など、上述の方法のいずれかを実施することができる。他の実施形態では、異なる要素及びデータが含まれてもよい。

【0061】

[0061]当業者は、コンピュータシステム６００が単なる例示であり、実施形態の範囲を限定することは意図されていないことを理解するであろう。特に、コンピュータシステム及びデバイスは、コンピュータ、ネットワークデバイス、インターネットアプライアンス、ＰＤＡ、ワイヤレスフォン、ページャなどを含む様々な実施形態の示された機能を実行することができるハードウェア又はソフトウェアの任意の組合せを含むことができる。コンピュータシステム６００はまた、図示されていない他の装置に接続されてもよく、又は代わりにスタンドアロンシステムとして動作してもよい。さらに、図示された構成要素によって提供される機能は、いくつかの実施形態では、より少ない構成要素に組み合わされてもよく、又は追加の構成要素に分散されてもよい。同様に、いくつかの実施形態では、図示された構成要素のいくつかの機能は提供されなくてもよく、及び／又は他の追加の機能が利用可能であってもよい。

【0062】

[0062]当業者はまた、様々なアイテムが使用されている間にメモリ又はストレージに記憶されるように示されているが、これらのアイテム又はその一部は、メモリ管理及びデータ完全性の目的でメモリと他の記憶デバイスとの間で転送されてもよいことを理解するであろう。あるいは、他の実施形態では、ソフトウェアコンポーネントの一部又は全部は、別のデバイス上のメモリ内で実行され、コンピュータ間通信を介して図示のコンピュータシステムと通信することができる。システムコンポーネント又はデータ構造の一部又は全部は、適切なドライブによって読み取られるコンピュータアクセス可能媒体又は可搬型物品に（例えば、命令又は構造化データとして）記憶されてもよく、その様々な例は上述されている。いくつかの実施形態では、コンピュータシステム６００とは別のコンピュータアクセス可能媒体に格納された命令は、ネットワーク及び／又は無線リンクなどの通信媒体を介して伝達される電気信号、電磁信号、又はデジタル信号などの伝送媒体又は信号を介して、コンピュータシステム６００に送信されてもよい。様々な実施形態は、コンピュータアクセス可能媒体上で、又は通信媒体を介して、前述の説明に従って実装された命令及び／又はデータを受信、送信、又は格納することをさらに含むことができる。一般に、コンピュータアクセス可能媒体は、磁気又は光学媒体、例えばディスク又はＤＶＤ／ＣＤ－ＲＯＭなどの記憶媒体又はメモリ媒体、ＲＡＭ（例えば、ＳＤＲＡＭ、ＤＤＲ、ＲＤＲＡＭ、ＳＲＡＭなど）、ＲＯＭなどの揮発性又は不揮発性媒体を含むことができる。

【0063】

[0063]本明細書に記載の方法は、異なる実施形態では、ソフトウェア、ハードウェア、又はそれらの組合せで実施され得る。さらに、方法の順序は変更されてもよく、様々な要素が追加、並べ替え、結合、省略、又は変更されてもよい。本明細書に記載されるすべての例は、非限定的な方法で提示される。本開示の利益を有する当業者に明らかであるように、様々な修正及び変更を行うことができる。実施形態による実現は、特定の実施形態の文脈で説明されている。これらの実施形態は、例示的であり、限定的ではないことを意味する。多くの変形、修正、追加、及び改善が可能である。したがって、単一のインスタンスとして本明細書に記載の構成要素について、複数のインスタンスが提供され得る。様々な構成要素、動作、及びデータストア間の境界は幾分任意であり、特定の動作は、特定の例示的な構成の文脈で示されている。機能の他の割り当てが想定され、以下の特許請求の範囲内に含まれ得る。最後に、例示的な構成において個別の構成要素として提示された構造及び機能は、組み合わされた構造又は構成要素として実装されてもよい。これら及び他の変形、修正、追加、及び改良は、以下の特許請求の範囲で定義される実施形態の範囲内に含まれ得る。

【0064】

[0064]上記は本発明の実施形態に関するものであるが、本発明の他の及びさらなる実施形態は、その基本的な範囲から逸脱することなく考案され得、その範囲は以下の特許請求の範囲によって決定される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2021-10-05

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

少なくとも１つの医用画像化モダリティ及び少なくとも１つの機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのためのコンピュータ実装方法であって、
少なくとも１つの医用画像モダリティを受信するステップであり、前記少なくとも１つの医用画像モダリティの少なくとも１つの医用画像が、少なくとも１つの標的及び／又は少なくとも１つの正常な組織若しくは器官を含む、ステップと、
前記少なくとも１つの医用画像を前記少なくとも１つの機械学習モデルの各々に入力するステップと、
前記入力するステップに応答して、前記少なくとも１つの機械学習モデルの各々から出力を受信するステップであり、複数の出力が受信されるとき、前記少なくとも１つの機械学習モデルの前記複数の出力が組み合わせられる、ステップと、
前記少なくとも１つの機械学習モデルの前記出力に基づいて少なくとも１つのセグメント化された標的及び／又は少なくとも１つの正常な組織若しくは器官を含む最終的なセグメンテーション画像を生成するステップと、
を含む、方法。

【請求項2】

前記少なくとも１つの機械学習モデルが、高感度ネットワーク又は高特異度ネットワークのうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項3】

前記少なくとも１つの機械学習モデルの各々が、異なるパラメータ、アーキテクチャ、画像サイズ、画像解像度、オプティマイザ、及び損失関数を用いて別々に訓練される、請求項１に記載の方法。

【請求項4】

前記損失関数が標的、組織及び／又は器官の体積に関連し、より大きい損失がより小さい標的、組織及び／又は器官に割り当てられ、より小さい損失がより大きい標的、組織及び／又は器官に割り当てられる、請求項３に記載の方法。

【請求項5】

前記少なくとも１つの機械学習モデルの各々が、同じ入力画像が与えられた他の機械学習モデルとは異なる出力を生成する、請求項１に記載の方法。

【請求項6】

前記少なくとも１つの機械学習モデルの各々からの前記出力が、０～１の範囲の画素値を含むスコアマップである、請求項１に記載の方法。

【請求項7】

最終的なセグメンテーション結果を生成する前に、前記少なくとも１つの機械学習モデルの各々からの前記出力に重みを適用するステップをさらに含む、請求項１に記載の方法。

【請求項8】

前記少なくとも１つのセグメント化された標的及び／又は少なくとも１つの正常な組織若しくは器官の各々にスコアを割り当てるステップと、
前記スコアに基づいて前記少なくとも１つのセグメント化された標的及び／又は少なくとも１つの正常な組織若しくは器官をソートするステップと、
をさらに含む、請求項１に記載の方法。

【請求項9】

最終的なセグメンテーション結果を表示するステップであり、前記スコアが、セグメント化された範囲の強度、サイズ、位置、及び前記少なくとも１つの機械学習モデルから生成されたセグメント化された領域内の出力スコア画素の線形／非線形の組合せを使用して、各セグメント化された標的及び／又は少なくとも１つの正常な組織若しくは器官に割り当てられる、ステップ
をさらに含む、請求項８に記載の方法。

【請求項10】

視覚化のために前記スコアを用いて最も可能性のある標的、組織及び／又は器官の数を表示するステップであり、前記数が、ユーザ入力から受信した値、存在する標的、組織及び／又は器官の数についての事前知識に基づく、事前設定された値、又はグラフィカルユーザインターフェースを介して調整可能な値のうちの１つであり、前記グラフィカルユーザインターフェースが、前記視覚化の感度及び／又は特異度を調整するためのスクロールバーを含み、各表示された標的、組織及び／又は器官が、選択可能及び編集可能である、ステップをさらに含む、請求項９に記載の方法。

【請求項11】

前記少なくとも１つの医用画像モダリティが、複数の医用画像モダリティであり、
前記複数の医用画像モダリティにわたって前記標的と正常な組織を位置合わせするために前記複数の医用画像モダリティが組み合わせられる、
請求項１～１０のいずれか一項に記載の方法。

【請求項12】

前記少なくとも１つの機械学習モデルが、複数の機械学習モデルであり、
組み合わせられた前記複数の医用画像モダリティが、複数の機械学習モデルの各々に入力される、
請求項１１に記載の方法。

【請求項13】

少なくとも１つの医用画像化モダリティ及び少なくとも１つの機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのためのシステムであって、
ａ）少なくとも１つのプロセッサと、
ｂ）少なくとも１つの入力デバイスと
ｃ）プロセッサ実行可能命令を記憶する少なくとも１つの記憶デバイスであり、前記プロセッサ実行可能命令が、前記少なくとも１つのプロセッサによって実行されると、
少なくとも１つの医用画像モダリティを受信するステップであり、前記少なくとも１つの医用画像モダリティの少なくとも１つの医用画像が、少なくとも１つの標的及び／又は少なくとも１つの正常な組織若しくは器官を含む、ステップと、
前記少なくとも１つの医用画像を前記少なくとも１つの機械学習モデルの各々に入力するステップと、
前記入力するステップに応答して、前記少なくとも１つの機械学習モデルの各々から出力を受信するステップであり、複数の出力が受信されるとき、前記少なくとも１つの機械学習モデルの前記複数の出力が組み合わせられる、ステップと、
前記少なくとも１つの機械学習モデルの前記出力に基づいて少なくとも１つのセグメント化された標的及び／又は少なくとも１つの正常な組織若しくは器官を含む最終的なセグメンテーション画像を生成するステップと、
を含む方法を実行する、少なくとも１つの記憶デバイスと、
を備える、システム。

【請求項14】

前記少なくとも１つの医用画像モダリティが、複数の医用画像モダリティであり、
前記複数の医用画像モダリティにわたって前記標的と正常な組織を位置合わせするために前記複数の医用画像モダリティが組み合わせられる、
請求項１３に記載のシステム。

【請求項15】

前記少なくとも１つの機械学習モデルが、複数の機械学習モデルであり、
組み合わせられた前記複数の医用画像モダリティが、複数の機械学習モデルの各々に入力される、
請求項１４に記載のシステム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００６４

【補正方法】変更

【補正の内容】

【0064】

[0064]上記は本発明の実施形態に関するものであるが、本発明の他の及びさらなる実施形態は、その基本的な範囲から逸脱することなく考案され得、その範囲は以下の特許請求の範囲によって決定される。
［発明の項目］
［項目１］
マルチモーダル画像化及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのためのコンピュータ実装方法であって、
複数の医用画像を受信するステップであり、前記複数の医用画像の各々が標的及び正常な組織を含み、前記複数の医用画像の各々が異なるタイプのものである、ステップと、
前記複数の医用画像にわたって前記標的及び前記正常な組織を位置合わせするために前記複数の医用画像を組み合わせるステップと、
組み合わされた前記医用画像を複数の機械学習モデルの各々に入力するステップと、
前記入力するステップに応答して、前記複数の機械学習モデルの各々から出力を受信するステップと、
前記複数の機械学習モデルの前記出力を組み合わせるステップと、
前記複数の機械学習モデルの組み合わされた前記結果に基づいて最終的なセグメンテーション画像を生成するステップと、
セグメント化された標的及び正常な組織の各々にスコアを割り当てるステップと、
前記スコアに基づいて前記セグメント化された標的及び正常な組織をソートするステップと、
を含む、方法。
［項目２］
前記複数の機械学習モデルが、高感度ネットワーク及び高特異度ネットワークのうちの少なくとも１つを含む、項目１に記載の方法。
［項目３］
前記複数の機械学習モデルの各々が、異なるパラメータ、アーキテクチャ、画像サイズ、画像解像度、オプティマイザ、及び損失関数を用いて別々に訓練される、項目１に記載の方法。
［項目４］
前記損失関数が前記標的の体積に関連し、より大きい損失がより小さい標的に割り当てられ、より小さい損失がより大きい標的に割り当てられる、項目３に記載の方法。
［項目５］
前記複数の機械学習モデルの各々が、同じ入力画像が与えられた他の機械学習モデルとは異なる出力を生成する、項目１に記載の方法。
［項目６］
前記複数の機械学習モデルの各々からの前記出力が、０～１の範囲の画素値を含むスコアマップである、項目１に記載の方法。
［項目７］
前記最終的なセグメンテーション結果を生成する前に、前記機械学習モデルの各々からの前記出力に重みを適用するステップをさらに含む、項目１に記載の方法。
［項目８］
最終的なセグメンテーション結果を表示するステップであって、最終スコアが、セグメント化された範囲の強度、サイズ、位置、及び前記機械学習モデルのうちの１つ又は複数から生成されたセグメント化された領域内の出力スコア画素の線形／非線形の組合せを使用して、各セグメント化された標的／組織に割り当てられる、ステップをさらに含む、項目１に記載の方法。
［項目９］
視覚化のために最終スコアを用いて最も可能性のある標的の数を表示するステップであって、前記数が、ユーザ入力から受信した値、存在する標的の数についての事前知識に基づく、事前設定された値、又はグラフィカルユーザインターフェースを介して調整可能な値のうちの１つであり、前記グラフィカルユーザインターフェースが、前記視覚化の感度及び／又は特異度を調整するためのスクロールバーを含み、各表示された標的が、選択可能及び編集可能である、ステップをさらに含む、項目８に記載の方法。
［項目１０］
マルチモーダル画像化及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのためのシステムであって、
ａ）少なくとも１つのプロセッサと、
ｂ）少なくとも１つの入力デバイスと
ｃ）プロセッサ実行可能命令を記憶する少なくとも１つの記憶デバイスであり、前記プロセッサ実行可能命令が、前記少なくとも１つのプロセッサによって実行されると、
複数の医用画像を受信するステップであり、前記複数の医用画像の各々が標的及び正常な組織を含み、前記複数の医用画像の各々が別個のタイプである、ステップと、
前記複数の医用画像にわたって前記標的と正常な組織を位置合わせするために前記複数の医用画像を組み合わせるステップと、
組み合わされた前記医用画像を複数の機械学習モデルの各々に入力するステップと、
前記入力するステップに応答して、前記複数の機械学習モデルの各々から出力を受信するステップと、
前記複数の機械学習モデルの前記出力を組み合わせるステップと、
前記複数の機械学習モデルの組み合わされた前記結果に基づいて最終的なセグメンテーション画像を生成するステップと、
セグメント化された標的及び正常な組織の各々にスコアを割り当てるステップと、
前記スコアに基づいて、前記セグメント化された標的及び正常な組織をソートするステップと
を含む方法を実行する、少なくとも１つの記憶デバイスと、
を備える、システム。
［項目１１］
前記複数の機械学習モデルが、少なくとも１つの高感度ネットワークと少なくとも１つの高特異度ネットワークとを含む、項目１０に記載のシステム。
［項目１２］
前記複数の機械学習モデルの各々が、異なるパラメータ、アーキテクチャ、画像サイズ、画像解像度、オプティマイザ、及び損失関数を用いて別々に訓練される、項目１０に記載のシステム。
［項目１３］
前記損失関数が前記標的の体積に関連し、より大きい損失がより小さい標的に割り当てられ、より小さい損失がより大きい標的に割り当てられる、項目１２に記載のシステム。
［項目１４］
前記複数の機械学習モデルの各々が、同じ入力画像が与えられた他の機械学習モデルとは異なる出力を生成する、項目１０に記載のシステム。
［項目１５］
前記最終的なセグメンテーション結果を生成する前に、前記機械学習モデルの各々からの前記出力に重みを適用するステップと、
最終的なセグメンテーション結果を表示するステップであり、最終スコアが、セグメント化された範囲内の強度、サイズ、位置、及び前記機械学習モデルのうちの１つ又は複数からの入力／出力画素の線形／非線形の組合せを使用して、各セグメント化された標的／組織に割り当てられる、ステップと、
視覚化のために最終スコアを用いて最も可能性のある標的の数を表示するステップであり、前記数が、ユーザ入力から受信した値、存在する標的の数についての事前知識に基づく、事前設定値、又はグラフィカルユーザインターフェースを介して調整可能な値のうちの１つであり、前記グラフィカルユーザインターフェースが前記視覚化の感度及び／又は特異度を調整するためのスクロールバーを含み、各表示された標的が、選択可能かつ編集可能である、ステップと
をさらに含む、項目１０に記載のシステム。

【国際調査報告】