特許 7714286 ３Ｄのｚ方向の病変の接続性を決定するためのロジスティック・モデルのための方法、コンピュータ・プログラム、および装置（３Ｄのｚ方向の病変の接続性を決定するためのロジスティック・モデル）

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-07-18

(45)【発行日】2025-07-29

(54)【発明の名称】３Ｄのｚ方向の病変の接続性を決定するためのロジスティック・モデルのための方法、コンピュータ・プログラム、および装置（３Ｄのｚ方向の病変の接続性を決定するためのロジスティック・モデル）

(51)【国際特許分類】

   A61B 6/03 20060101AFI20250722BHJP

   A61B 6/46 20240101ALI20250722BHJP

   G06T 7/00 20170101ALI20250722BHJP

   G06T 7/62 20170101ALI20250722BHJP

   G06T 7/60 20170101ALI20250722BHJP

   A61B 6/50 20240101ALI20250722BHJP

【ＦＩ】

A61B6/03 560D

A61B6/03 560G

A61B6/46 536Z

G06T7/00 350B

G06T7/62

G06T7/00 612

G06T7/60 180D

A61B6/50 500A

【請求項の数】 7

(21)【出願番号】P 2021176809

(22)【出願日】2021-10-28

(65)【公開番号】P2022074101

(43)【公開日】2022-05-17

【審査請求日】2024-03-19

(31)【優先権主張番号】17/084,849

(32)【優先日】2020-10-30

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/084,914

(32)【優先日】2020-10-30

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/085,005

(32)【優先日】2020-10-30

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/084,875

(32)【優先日】2020-10-30

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/084,958

(32)【優先日】2020-10-30

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/085,042

(32)【優先日】2020-10-30

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(72)【発明者】

【氏名】ワン イー－シン

(72)【発明者】

【氏名】パルマ ジョバンニ ジョン ジャック

【審査官】遠藤 直恵

(56)【参考文献】

【文献】特開２０１４－０３３９４８（ＪＰ，Ａ）

【文献】特開２０１４－０３３９４７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１１／０２５５７６１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００５／０２８６７５０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／０１２５５９８（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１１５１３７４３（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００－６／５８、５／０５５

Ｇ０６Ｔ １／１６０－１／１６６

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサおよび少なくとも１つのメモリを備えているデータ処理システムにおける方法であって、前記少なくとも１つのメモリが、前記少なくとも１つのプロセッサによって実行されて、ｚ方向の病変の接続性を決定するためのトレーニング済み機械学習コンピュータ・モデルを実装するための命令を含んでおり、前記方法が、
３次元医用画像内の所与のスライスに関して、前記３次元医用画像内の前記所与のスライス内の第１の病変および隣接するスライス内の第２の病変を識別する段階と、
前記第１の病変に関して前記第１の病変と前記第２の病変の間の第１の交差値を決定する段階と、
前記第２の病変に関して前記第１の病変と前記第２の病変の間の第２の交差値を決定する段階と、
前記第１の交差値および前記第２の交差値に基づいて、前記第１の病変および前記第２の病変が同じ３次元の病変に属しているかどうかを判定する段階と
を備えており、
前記第１の交差値を決定する段階が、前記第１の交差値ｒ _０ を次のように計算する段階を有し、

【数1】

Ａが前記第１の病変であり、Ｂが前記第２の病変であり、｜Ａ｜が前記第１の病変の面積を示し、｜Ｂ｜が前記第２の病変の面積を示し、｜Ａ∩Ｂ｜が前記第１の病変と前記第２の病変の共通集合の面積を示し、
前記第２の交差値を決定する段階が、前記第２の交差値ｒ _１ を次のように計算する段階を有し、

【数2】

Ａが前記第１の病変であり、Ｂが前記第２の病変であり、｜Ａ｜が前記第１の病変の面積を示し、｜Ｂ｜が前記第２の病変の面積を示し、｜Ａ∩Ｂ｜が前記第１の病変と前記第２の病変の共通集合の面積を示し、
前記第１の病変および前記第２の病変が同じ３次元の病変に属しているかどうかを判定する段階が、前記第１の交差値および前記第２の交差値を特徴として前記トレーニング済み機械学習コンピュータ・モデルに提供する段階を有し、前記トレーニング済み機械学習コンピュータ・モデルが、前記第１の病変および前記第２の病変が同じ３次元の病変に属している確率を生成し、
前記トレーニング済み機械学習コンピュータ・モデルが、前記第１の交差値ｒ _０ および前記第２の交差値ｒ _１ を次のように線形に結合することを学習し、

【数3】

ｃ _０ 、ｃ _１ 、およびｂが、機械学習トレーニング動作によってトレーニング・ボリュームから学習される動作パラメータである、
方法。

【請求項2】

前記第１の病変および前記第２の病変が同じ３次元の病変に属しているかどうかを判定する段階が、前記第１の病変および前記第２の病変が同じ３次元の病変に属している前記確率が既定のしきい値ｔより大きいかどうかを判定する段階を有する、請求項１に記載の方法。

【請求項3】

前記３次元医用画像のすべてのスライスについて、各スライス内の各第１の病変および各隣接するスライス内の各第２の病変が同じ３次元の病変に属しているかどうかを判定する段階と、
前記３次元医用画像内の同じ３次元の病変に属している病変をｚ軸に沿って接続する段階と
をさらに備えている、請求項１または２に記載の方法。

【請求項4】

コンピューティング・デバイスに、ｚ方向の病変の接続性を決定するためのトレーニング済み機械学習コンピュータ・モデルを実装する手順であって、前記トレーニング済み機械学習コンピュータ・モデルが、
３次元医用画像内の所与のスライスに関して、前記３次元医用画像内の前記所与のスライス内の第１の病変および隣接するスライス内の第２の病変を識別することと、
前記第１の病変に関して前記第１の病変と前記第２の病変の間の第１の交差値を決定することと、
前記第２の病変に関して前記第１の病変と前記第２の病変の間の第２の交差値を決定することと、
前記第１の交差値および前記第２の交差値に基づいて、前記第１の病変および前記第２の病変が同じ３次元の病変に属しているかどうかを判定することと
を実行する、手順を実行させ、
前記第１の交差値を決定することが、前記第１の交差値ｒ _０ を次のように計算することを含み、

【数4】

Ａが前記第１の病変であり、Ｂが前記第２の病変であり、｜Ａ｜が前記第１の病変の面積を示し、｜Ｂ｜が前記第２の病変の面積を示し、｜Ａ∩Ｂ｜が前記第１の病変と前記第２の病変の共通集合の面積を示し、
前記第２の交差値を決定することが、前記第２の交差値ｒ _１ を次のように計算することを含み、

【数5】

Ａが前記第１の病変であり、Ｂが前記第２の病変であり、｜Ａ｜が前記第１の病変の面積を示し、｜Ｂ｜が前記第２の病変の面積を示し、｜Ａ∩Ｂ｜が前記第１の病変と前記第２の病変の共通集合の面積を示し、
前記第１の病変および前記第２の病変が同じ３次元の病変に属しているかどうかを判定することが、前記第１の交差値および前記第２の交差値を特徴として前記トレーニング済み機械学習コンピュータ・モデルに提供することを含み、前記トレーニング済み機械学習コンピュータ・モデルが、前記第１の病変および前記第２の病変が同じ３次元の病変に属している確率を生成し、
前記トレーニング済み機械学習コンピュータ・モデルが、前記第１の交差値ｒ _０ および前記第２の交差値ｒ _１ を次のように線形に結合することを学習し、

【数6】

ｃ _０ 、ｃ _１ 、およびｂが、機械学習トレーニング動作によってトレーニング・ボリュームから学習される動作パラメータである、
コンピュータ・プログラム。

【請求項5】

前記第１の病変および前記第２の病変が同じ３次元の病変に属しているかどうかを判定することが、前記第１の病変および前記第２の病変が同じ３次元の病変に属している前記確率が既定のしきい値ｔより大きいかどうかを判定することを含む、請求項４に記載のコンピュータ・プログラム。

【請求項6】

前記トレーニング済み機械学習コンピュータ・モデルが、
前記３次元医用画像のすべてのスライスについて、各スライス内の各第１の病変および各隣接するスライス内の各第２の病変が同じ３次元の病変に属しているかどうかを判定することと、
前記３次元医用画像内の同じ３次元の病変に属している病変をｚ軸に沿って接続することと
を実行する、
請求項４または５に記載のコンピュータ・プログラム。

【請求項7】

プロセッサと、
前記プロセッサに結合されたメモリと
を備えている装置であって、
前記メモリが、前記プロセッサによって実行された場合に、前記プロセッサに、ｚ方向の病変の接続性を決定するためのトレーニング済み機械学習コンピュータ・モデルを実装させる命令を含み、前記トレーニング済み機械学習コンピュータ・モデルが実行されて、
３次元医用画像内の所与のスライスに関して、前記３次元医用画像内の前記所与のスライス内の第１の病変および隣接するスライス内の第２の病変を識別することと、
前記第１の病変に関して前記第１の病変と前記第２の病変の間の第１の交差値を決定することと、
前記第２の病変に関して前記第１の病変と前記第２の病変の間の第２の交差値を決定することと、
前記第１の交差値および前記第２の交差値に基づいて、前記第１の病変および前記第２の病変が同じ３次元の病変に属しているかどうかを判定することと
を実行し、
前記第１の交差値を決定することが、前記第１の交差値ｒ _０ を次のように計算することを含み、

【数7】

Ａが前記第１の病変であり、Ｂが前記第２の病変であり、｜Ａ｜が前記第１の病変の面積を示し、｜Ｂ｜が前記第２の病変の面積を示し、｜Ａ∩Ｂ｜が前記第１の病変と前記第２の病変の共通集合の面積を示し、
前記第２の交差値を決定することが、前記第２の交差値ｒ _１ を次のように計算することを含み、

【数8】

前記第１の病変および前記第２の病変が同じ３次元の病変に属しているかどうかを判定することが、前記第１の交差値および前記第２の交差値を特徴として前記トレーニング済み機械学習コンピュータ・モデルに提供することを含み、前記トレーニング済み機械学習コンピュータ・モデルが、前記第１の病変および前記第２の病変が同じ３次元の病変に属している確率を生成し、
前記トレーニング済み機械学習コンピュータ・モデルが、前記第１の交差値ｒ _０ および前記第２の交差値ｒ _１ を次のように線形に結合することを学習し、

【数9】

ｃ _０ 、ｃ _１ 、およびｂが、機械学習トレーニング動作によってトレーニング・ボリュームから学習される動作パラメータである、
装置。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、一般に、改善されたデータ処理装置および方法に関し、より詳細には、３Ｄのｚ方向の病変の接続性を決定するロジスティック・モデルを提供するためのメカニズムに関する。

【背景技術】

【0002】

肝臓病変は、生物学的実体の肝臓内の異常細胞のグループであり、腫瘤または腫瘍と呼ばれることもある。非がん性または良性の肝臓病変は、よく見られ、体の他の領域に広がらない。そのような良性の肝臓の病変は、一般に、如何なる健康問題も引き起こさない。しかし、一部の肝臓の病変は、がんの結果として生じる。特定の医学的状態を有する患者は、他の患者よりも、がん性の肝臓病変を有する可能性が高いことがある。これらの医学的状態は、例えば、Ｂ型またはＣ型肝炎、肝硬変、鉄蓄積症（血色素症）、肥満、または有害化学物質（ヒ素またはアフラトキシンなど）への暴露を含む。

【0003】

肝臓病変は、通常、例えば超音波検査、磁気共鳴画像（ＭＲＩ：ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｅ）、コンピュータ断層撮影（ＣＴ：ｃｏｍｐｕｔｅｒｉｚｅｄ ｔｏｍｏｇｒａｐｈ）、または陽電子放射断層撮影（ＰＥＴ：ｐｏｓｉｔｒｏｎ ｅｍｉｓｓｉｏｎ ｔｏｍｏｇｒａｐｈｙ）スキャンなどの、医用画像検査を行うことのみによって識別可能になる。そのような医用画像検査は、医用画像に関する人間の主題専門家（ＳＭＥ：ｓｕｂｊｅｃｔ ｍａｔｔｅｒ ｅｘｐｅｒｔ）によって見られなければならず、ＳＭＥは、自分の専門知識および画像内のパターンを理解する人間の能力を使用して、医用画像検査が何らかの病変を示しているかどうかを判定しなければならない。人間のＳＭＥによってがん性の病変の可能性が識別された場合、患者の医師は、この病変ががん性であるかどうかを判定するために、生検を行うことができる。

【0004】

腹部造影（ＣＥ：ｃｏｎｔｒａｓｔ ｅｎｈａｎｃｅｄ）ＣＴは、肝臓の様々な異常（例えば、病変）の評価における現在の標準である。これらの病変は、人間のＳＭＥによって悪性（肝細胞がん、胆管がん、血管肉腫、転移、およびその他の悪性病変）または良性（血管腫、限局性結節性過形成、腺腫、嚢胞または脂肪腫、肉芽腫など）として評価されることがある。人間のＳＭＥによるそのような画像の手動の評価は、その後の治療介入を誘導することにおいて重要である。ＣＥ ＣＴにおいて病変を正しく評価するために、複数のフェーズの研究が何度も行われており、複数のフェーズの研究は、健康な肝実質の強化の異なる段階の医用画像、および差異検出を決定するための病変の強化との比較を提供する。その後、人間のＳＭＥは、これらの差異に基づいて病変の診断を決定することができる。

【先行技術文献】

【特許文献】

【0005】

【文献】米国特許出願第１６／９２６，８８０号

【文献】米国特許出願公開第２０１１／０１２５７３４号

【非特許文献】

【0006】

【文献】Ａｂｒａｈａｍらによる「Ａ Ｎｏｖｅｌ Ｆｏｃａｌ Ｔｖｅｒｓｋｙ Ｌｏｓｓ ｆｕｎｃｔｉｏｎ ｗｉｔｈ Ｉｍｐｒｏｖｅｄ Ａｔｔｅｎｔｉｏｎ Ｕ－Ｎｅｔ ｆｏｒ Ｌｅｓｉｏｎ Ｓｅｇｍｅｎｔａｔｉｏｎ」、ａｒＸｉｖ：１８１０．０７８４２［ｃｓ］、Ｏｃｔｏｂｅｒ ２０１８

【文献】Ｙｕａｎらによる「Ｗａｔｓｏｎ Ａｎｄ Ｈｅａｌｔｈｃａｒｅ」、ＩＢＭ ｄｅｖｅｌｏｐｅｒＷｏｒｋｓ、２０１１

【文献】Ｒｏｂ Ｈｉｇｈによる「Ｔｈｅ Ｅｒａ ｏｆ Ｃｏｇｎｉｔｉｖｅ Ｓｙｓｔｅｍｓ：Ａｎ Ｉｎｓｉｄｅ Ｌｏｏｋ ａｔ ＩＢＭ Ｗａｔｓｏｎ ａｎｄ Ｈｏｗ ｉｔ Ｗｏｒｋｓ」、ＩＢＭ Ｒｅｄｂｏｏｋｓ、２０１２

【発明の概要】

【発明が解決しようとする課題】

【0007】

いくつかの自動化された画像解析メカニズムが開発されたが、撮像された解剖学的構造（例えば、肝臓またはその他の臓器）内の病変を検出するための医用画像データのより効率的かつ正しい解析を提供するように、そのような自動化された画像解析メカニズムを改良する必要がまだある。

【0008】

この「発明の概要」は、概念の選択を簡略化された形態で導入するために提供されており、本明細書の「発明を実施するための形態」において、さらに説明される。この「発明の概要」は、請求される対象の重要な要因または不可欠な特徴を識別するよう意図されておらず、請求される主題の範囲の限定に使用されることも意図されていない。

【0009】

１つの例示的実施形態では、少なくとも１つのプロセッサおよび少なくとも１つのメモリを備えているデータ処理システムにおいて、方法が提供され、少なくとも１つのメモリが、少なくとも１つのプロセッサによって実行されて、ｚ方向の病変の接続性を決定するためのトレーニング済み機械学習コンピュータ・モデルを実装するための命令を含んでいる。この方法は、３次元医用画像内の所与のスライスに関して、３次元医用画像内の所与のスライス内の第１の病変および隣接するスライス内の第２の病変を識別することを含む。この方法は、第１の病変に関して第１の病変と第２の病変の間の第１の交差値を決定することと、第２の病変に関して第１の病変と第２の病変の間の第２の交差値を決定することとをさらに含む。この方法は、第１の交差値および第２の交差値に基づいて、第１の病変および第２の病変が同じ３次元の病変に属しているかどうかを判定することをさらに含む。これには、３次元を通って病変を接続するという利点を有する。例示的実施形態は、重複の値を使用して３次元医用画像内の病変をｚ方向に自動的に接続するように機械学習モデルをトレーニングする、アルゴリズムを提供する。機械学習コンピュータ・モデルは、２つの特徴（第１の交差値および第２の交差値）を使用して、３次元内の同じ病変である隣接するスライス内の病変を正確に決定する。

【0010】

１つの実施形態例では、第１の交差値を決定することは、第１の交差値ｒ_０を次のように計算することを含む。

【0011】

【数1】

【0012】

ここで、Ａは第１の病変であり、Ｂは第２の病変であり、｜Ａ｜は第１の病変の面積を示し、｜Ｂ｜は第２の病変の面積を示し、｜Ａ∩Ｂ｜は第１の病変と第２の病変の共通集合の面積を示す。別の実施形態では、第２の交差値を決定することは、第２の交差値ｒ_１を次のように計算することを含む。

【0013】

【数2】

【0014】

ここで、Ａは第１の病変であり、Ｂは第２の病変であり、｜Ａ｜は第１の病変の面積を示し、｜Ｂ｜は第２の病変の面積を示し、｜Ａ∩Ｂ｜は第１の病変と第２の病変の共通集合の面積を示す。これらの実施形態は、機械学習コンピュータ・モデルをトレーニングして適用するために、第１の交差値および第２の交差値の特徴値を計算するという利点を提供する。これらの実施形態は、２つの病変のうちのより小さい方に関して２つの病変の交差値を計算し、２つの病変のうちのより大きい方に関して２つの病変の交差値を計算し、このようにして、２つの特徴値を提供する。２つの異なる重複の特徴値を使用して、より正確なモデルを実現する。

【0015】

別の実施形態例では、第１の病変および第２の病変が同じ３次元の病変に属しているかどうかを判定することは、第１の交差値および第２の交差値を特徴としてトレーニング済み機械学習コンピュータ・モデルに提供することを含む。トレーニング済み機械学習コンピュータ・モデルは、第１の病変および第２の病変が同じ３次元の病変に属している確率を生成する。さらに別の実施形態例では、トレーニング済み機械学習コンピュータ・モデルは、ロジスティック回帰モデルである。代替の実施形態では、第１の病変および第２の病変が同じ３次元の病変に属しているかどうかを判定することは、第１の病変および第２の病変が同じ３次元の病変に属している確率が既定のしきい値ｔより大きいかどうかを判定することを含む。これらの実施形態は、しきい値と比較することができる確率を生成するロジスティック回帰モデルを使用するという利点を有する。これによって、モデルの感度を高くするか、または低くするように、しきい値を調整することができる。

【0016】

さらに別の実施形態例では、この方法は、３次元医用画像のすべてのスライスについて、各スライス内の各第１の病変および各隣接するスライス内の各第２の病変が同じ３次元の病変に属しているかどうかを判定することと、３次元医用画像内の同じ３次元の病変に属している病変をｚ軸に沿って接続することとをさらに含む。これは、トレーニング済み機械学習コンピュータ・モデルの結果に基づいて、３次元を通って病変を接続するという利点を有する。

【0017】

別の実施形態例では、トレーニング済み機械学習コンピュータ・モデルは、第１の交差値ｒ_０および第２の交差値ｒ_１を次のように線形に結合することを学習する。

【0018】

【数3】

【0019】

ここで、ｃ_０、ｃ_１、およびｂは、機械学習トレーニング動作によってトレーニング・ボリュームから学習される動作パラメータである。この実施形態は、機械学習コンピュータ・モデルの損失関数を最適化するための複数の動作パラメータを提供し、このようにして、正確な結果を実現する。さらに、２つの異なる重複の特徴値を使用して、より正確なモデルを実現する。

【0020】

他の例示的実施形態では、コンピュータ可読プログラムを含んでいるコンピュータ使用可能媒体またはコンピュータ可読媒体を備えているコンピュータ・プログラム製品が提供される。このコンピュータ可読プログラムは、コンピューティング・デバイス上で実行された場合、コンピューティング・デバイスに、方法の例示的実施形態に関して上で概説された動作のうちの様々な動作およびその組み合わせを実行させる。

【0021】

さらに別の例示的実施形態では、システム／装置が提供される。このシステム／装置は、１つまたは複数のプロセッサおよび１つまたは複数のプロセッサに結合されたメモリを備えてよい。このメモリは命令を含んでよく、これらの命令は、１つまたは複数のプロセッサによって実行された場合、１つまたは複数のプロセッサに、方法の例示的実施形態に関して上で概説された動作のうちの様々な動作およびその組み合わせを実行させる。

【0022】

本発明の実施形態例の以下の詳細な説明を考慮して、本発明のこれらおよびその他の特徴および優位性が説明され、当業者にとって明らかになるであろう。

【図面の簡単な説明】

【0023】

本発明ならびに本発明の最もよく使われる使用方法とその他の目的、および優位性は、例示的実施形態の以下の詳細な説明を、添付の図面と一緒に読みながら参照することによって、最も良く理解されるであろう。

【0024】

【図1】１つの例示的実施形態に係る、入力医用画像データ内の解剖学的構造の識別および病変検出を実行するように特に構成されてトレーニングされた複数のＭＬ／ＤＬコンピュータ・モデルを実装するＡＩパイプラインの例示的なブロック図である。

【図2】１つの例示的実施形態に係る、ＡＩパイプラインの例示的な動作の概要を示す例示的なフローチャートである。

【図3A】１つの例示的実施形態に係る、患者の腹部のスライス（医用画像）の例示的な入力ボリュームを示す例示的な図である。

【図3B】対応する軸方向スコアｓ'_ｉｎｆおよびｓ'_ｓｕｐと共に表されたスライスのセクションを含む、図３Ａの入力ボリュームの別の表現を示す図である。

【図3C】ボリュームがｎ個の完全に重複するセクションに軸方向に分割された、図３Ａの入力ボリュームの例示的な図である。

【図4A】１つの例示的実施形態に係る、医用画像の入力ボリュームのセクションのｓ'_ｓｕｐおよびｓ'_ｉｎｆの値を推定するように構成されてトレーニングされたＭＬ／ＤＬコンピュータ・モデルの１つの例示的実施形態の例示的な図である。

【図4B】１つの例示的実施形態に係る、医用画像の入力ボリュームのセクションのｓ'_ｓｕｐおよびｓ'_ｉｎｆの値を推定するように構成されてトレーニングされたＭＬ／ＤＬコンピュータ・モデルの１つの例示的実施形態の例示的な図である。

【図4C】１つの例示的実施形態に係る、医用画像の入力ボリュームのセクションのｓ'_ｓｕｐおよびｓ'_ｉｎｆの値を推定するように構成されてトレーニングされたＭＬ／ＤＬコンピュータ・モデルの１つの例示的実施形態の例示的な図である。

【図5】１つの例示的実施形態に係る、ＡＩパイプラインの肝臓検出および既定の量の解剖学的構造決定論理の例示的な動作の概要を示すフローチャートである。

【図6】１つの例示的実施形態に係る、対象の解剖学的構造（例えば、肝臓）において病変検出を実行するために使用されるＭＬ／ＤＬコンピュータ・モデルの集団の例示的な図である。

【図7】１つの例示的実施形態に係る、ＡＩパイプラインにおける肝臓／病変検出論理の例示的な動作の概要を示すフローチャートである。

【図8】１つの例示的実施形態に係る、病変セグメント化の態様を示すブロック図である。

【図9】１つの例示的実施形態に係る、病変検出およびスライスごとの分割の結果を示す図である。

【図10A】１つの例示的実施形態に係る、シードの位置決めを示す図である。

【図10B】１つの例示的実施形態に係る、シードの位置決めを示す図である。

【図10C】１つの例示的実施形態に係る、シードの位置決めを示す図である。

【図10D】１つの例示的実施形態に係る、シードの位置決めを示す図である。

【図11A】１つの例示的実施形態に係る、病変分割のメカニズムを示すブロック図である。

【図11B】１つの例示的実施形態に係る、シードの再ラベル付けのメカニズムを示すブロック図である。

【図12】１つの例示的実施形態に係る、病変分割の例示的な動作の概要を示すフローチャートである。

【図13A】１つの例示的実施形態に係る、病変のｚ方向接続を示す図である。

【図13B】１つの例示的実施形態に係る、病変のｚ方向の接続を示す図である。

【図13C】１つの例示的実施形態に係る、病変のｚ方向の接続を示す図である。

【図14A】１つの例示的実施形態に係る、ｚ方向の病変の接続に関するトレーニング済みモデルの結果を示す図である。

【図14B】１つの例示的実施形態に係る、ｚ方向の病変の接続に関するトレーニング済みモデルの結果を示す図である。

【図15】１つの例示的実施形態に係る、ｚ軸に沿って２次元の病変を接続するためのメカニズムの例示的な動作の概要を示すフローチャートである。

【図16】１つの例示的実施形態に係る、同じ画像内の２つの病変の輪郭を含む例を示す図である。

【図17】１つの例示的実施形態に係る、スライスごとの輪郭の精密化のためのメカニズムの例示的な動作の概要を示すフローチャートである。

【図18A】１つの例示的実施形態に係る、患者レベルおよび病変レベルの動作点の決定のためのＲＯＣ曲線の例を示す図である。

【図18B】１つの例示的実施形態に係る、患者レベルおよび病変レベルの動作点に基づいて偽陽性除去を実行するための動作の例示的なフロー図である。

【図18C】１つの例示的実施形態に係る、入力ボリュームレベルおよびボクセル・レベルの動作点に基づいてボクセルごとの偽陽性除去を実行するための動作の例示的なフロー図である。

【図19】１つの例示的実施形態に係る、ＡＩパイプラインの偽陽性除去論理の例示的な動作の概要を示すフローチャートである。

【図20】例示的実施形態の態様が実装されてよい、分散データ処理システムの例示的な図である。

【図21】例示的実施形態の態様が実装されてよい、コンピューティング・デバイスの例示的なブロック図である。

【発明を実施するための形態】

【0025】

病変の検出または異常細胞のグループの検出は、最新の薬物療法では、主に手動のプロセスである。これは、手動のプロセスであるため、特に、個人がより短い時間にますます多くの数の画像を評価することに対する大きい要求を考えると、そのような病変を示すデジタル医用画像の部分を検出する個人の能力に関する人間の限界に起因する、誤差の発生源を伴う。いくつかの自動化された画像解析メカニズムが開発されたが、撮像された解剖学的構造（例えば、肝臓またはその他の臓器）内の病変を検出するための医用画像データのより効率的かつ正しい解析を提供するように、そのような自動化された画像解析メカニズムを改良する必要がまだある。

【0026】

例示的実施形態は、特に、自動化されたコンピュータによる人工知能医用画像解析を提供する改良されたコンピューティング・ツールを対象にし、この解析は、機械学習／深層学習コンピュータ・プロセスを介して、解剖学的構造を検出することと、そのような解剖学的構造内の、またはそのような解剖学的構造に関連付けられた、病変またはその他の対象の生物学的構造を検出することと、検出された病変またはその他の生物学的構造の特殊なセグメント化を実行することと、特殊なセグメント化に基づいて偽陽性除去を実行することと、検出された病変またはその他の生物学的構造の分類を実行することと、追加のコンピュータの動作を実行するために、病変／生物学的構造の検出の結果を下流コンピューティング・システムに提供することとを実行するように、特にトレーニングされる。例示的実施形態の以下の説明は、対象の生物学的構造としての肝臓病変に関して特にトレーニングされている例示的実施形態のメカニズムに特に関係している実施形態を仮定するが、例示的実施形態は、そのような実施形態に限定されない。むしろ、当業者は、例示的実施形態の機械学習／深層学習に基づく人工知能メカニズムが、本発明の思想および範囲から逸脱することなく、医用画像データ内で表されたその他の解剖学的構造内の、またはその他の解剖学的構造に関連付けられた、多くのその他の種類の生物学的構造／病変に関して実装されてよいということを認識するであろう。さらに、例示的実施形態は、コンピュータ断層撮影（ＣＴ）医用画像データである医用画像データに関して説明されてよいが、例示的実施形態は、陽電子放射断層撮影（ＰＥＴ）およびその他の核医学画像、超音波、磁気共鳴画像（ＭＲＩ）、エラストグラフィ、光音響画像化、心エコー検査、磁気粒子画像法、機能的近赤外分光分析法、エラストグラフィ、蛍光透視法を含む様々なＸ線画像化などを含むが、これらに限定されない、様々な種類の医用画像技術からの任意のデジタル医用画像データを使用して実装されてよい。

【0027】

全体として、例示的実施形態は、複数の特に構成されてトレーニングされたＡＩコンピュータ・ツール（例えば、特定のタスクを実行するように有限のデータのセットに基づいてトレーニングされた、ニューラル・ネットワーク、認知コンピューティング・システム、またはその他のＡＩメカニズム）を含んでいる改良された人工知能（ＡＩ）コンピュータ・パイプラインを提供する。構成されてトレーニングされたＡＩコンピュータ・ツールは、医用画像技術によって捕捉された医用画像を定義するデータまたはメタデータあるいはその両方の１つまたは複数の集団として表された、入力医用画像のボリュームの特定の種類の人工知能処理を実行するように、それぞれ特に構成／トレーニングされる。一般に、これらのＡＩツールは、タスクを実行するために機械学習（ＭＬ：ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）／深層学習（ＤＬ：ｄｅｅｐ ｌｅａｒｎｉｎｇ）コンピュータ・モデル（または単に、ＭＬモデル）を採用し、ＭＬ／ＤＬコンピュータ・モデルは、生成された結果に関して人間の思考過程をエミュレートしながら、特定の結果（例えば、画像の分類またはラベル、データ値、治療推奨など）を表すデータ間のパターンおよび関係を学習する、コンピュータ・ツールおよび特にＭＬ／ＤＬコンピュータ・モデルに固有の異なるコンピュータ・プロセスを使用する。ＭＬ／ＤＬコンピュータ・モデルは、基本的に、機械学習アルゴリズム、機械学習アルゴリズムの構成設定、ＭＬ／ＤＬコンピュータ・モデルによって識別された入力データの特徴、およびＭＬ／ＤＬコンピュータ・モデルによって生成されたラベル（または出力）を含んでいる要素の機能である。機械学習プロセスを介してこれらの要素の機能を特に調整することによって、特定のＭＬ／ＤＬコンピュータ・モデルのインスタンスが生成される。同じまたは異なる入力データに関して異なるＡＩ機能を実行するように、異なるＭＬモデルが特に構成されてトレーニングされてよい。

【0028】

人工知能（ＡＩ）パイプラインが複数のＭＬ／ＤＬコンピュータ・モデルを実装するため、これらのＭＬ／ＤＬコンピュータ・モデルが、特定の目的のためのＭＬ／ＤＬプロセスを介してトレーニングされるということが理解されるべきである。したがって、ＭＬ／ＤＬコンピュータ・モデルのトレーニング・プロセスの概要として、機械学習が、経験的データ（医用画像データなど）を入力として受け取り、入力データ内の複雑なパターンを認識する技術の設計および開発に関係しているということが、理解されるべきである。機械学習技術に共通する１つのパターンは、基礎になるコンピュータ・モデルＭの使用であり、入力データを前提として、Ｍに関連付けられたコスト関数を最小化するために、Ｍのパラメータが最適化される。例えば、分類との関連において、モデルＭは、Ｍ＝ａ＊ｘ＋ｂ＊ｙ＋ｃとなり、コスト関数が誤って分類された点の数になるように、データを２つのクラス（例えば、ラベル）に分離する直線であってよい。その場合、学習プロセスは、誤って分類された点の数が最小になるようにパラメータａ、ｂ、ｃを調整することによって動作する。この最適化フェーズ（または学習フェーズ）の後に、モデルＭを使用して新しいデータ点を分類することができる。多くの場合、Ｍは統計モデルであり、入力データを前提として、コスト関数はＭの尤度に反比例する。これは、機械学習トレーニングの一般的な説明を提供するための単純な例にすぎず、本発明の思想および範囲から逸脱することなく、異なるパターン、コスト（または損失）関数、および最適化を使用するその他の種類の機械学習が、例示的実施形態のメカニズムと共に使用されてよい。

【0029】

解剖学的構造検出または病変検出あるいはその両方の目的で（病変は、医用画像データ内の「異常」である）、学習機械は、正常な構造表現のＭＬ／ＤＬコンピュータ・モデルを構築し、この正常な構造表現のＭＬ／ＤＬコンピュータ・モデルから逸脱している医用画像内のデータ点を検出することができる。例えば、異常のスコアを生成して別のデバイスに報告すること、入力を分類する１つまたは複数のクラスを示す分類出力、様々なクラスに関連付けられた確率またはスコアを生成すること、などのために、所与のＭＬ／ＤＬコンピュータ・モデル（例えば、教師ありモデル、教師なしモデル、または半教師ありモデル）が使用されてよい。そのようなＭＬ／ＤＬコンピュータ・モデルを構築して解析するために使用されてよい機械学習技術の例としては、最近傍（ＮＮ：ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）技術（例えば、ｋ－ＮＮモデル、レプリケータＮＮモデル（ｒｅｐｌｉｃａｔｏｒ ＮＮ ｍｏｄｅｌｓ）など）、統計的技術（例えば、ベイジアン・ネットワークなど）、クラスタ化技術（例えば、ｋ平均など）、ニューラル・ネットワーク（例えば、リザーバ・ネットワーク、人工ニューラル・ネットワークなど）、サポート・ベクター・マシン（ＳＶＭ：ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ）などが挙げられ得るが、これらに限定されない。

【0030】

例示的実施形態のプロセッサ実装人工知能（ＡＩ）パイプラインは、通常、機械学習（ＭＬ）コンピュータ・モデルおよび深層学習（ＤＬ）コンピュータ・モデルのうちの一方または両方を含む。場合によっては、ＭＬおよびＤＬのうちの一方または他方が、特定の結果を実現するために使用されるか、または実装され得る。従来の機械学習は、特に、ベイズ判定、回帰、決定木／森、サポート・ベクター・マシン、またはニューラル・ネットワークなどのアルゴリズムを含むか、または使用することができる。深層学習は、深層ニューラル・ネットワークに基づくことができ、畳み込み層などの複数の層を使用することができる。階層型ネットワークなどを使用するそのようなＤＬは、その実装において効率的であることができ、従来のＭＬ技術と比較して、精度の改善を実現することができる。従来のＭＬは、一般に、ＤＬモデルの性能が古典的なＭＬモデルの性能を上回ることができるが、ＤＬモデルが相対的に大きい量の処理リソースまたは電力リソースあるいはその両方を消費する可能性があるという点において、ＤＬと区別され得る。例示的実施形態との関連において、本明細書におけるＭＬおよびＤＬのうちの一方または他方への言及は、一方または両方の形態のＡＩ処理を包含すると理解され得る。

【0031】

例示的実施形態に関して、ＡＩパイプラインのＭＬ／ＤＬコンピュータ・モデルは、ＭＬ／ＤＬトレーニング・プロセスを介した構成およびトレーニングの後に実行され、複雑なコンピュータ医用画像解析を実行して、入力医用画像内の解剖学的構造を検出し、対象のターゲット生物学的構造（以下では、実施形態例の説明の目的で、肝臓病変であると仮定される）、それらの分類、これらの対象のターゲット生物学的構造（例えば、肝臓病変）が入力医用画像（以下では、ＣＴ医用画像データであると仮定される）内で存在する位置を指定する輪郭、および捕捉された入力医用画像の視点から患者の医学的状態を理解することにおいて、放射線科医、医師などの人間の主題専門家（ＳＭＥ）を支援するその他の情報を特に識別する出力を生成する。さらに、これらの出力は、分類、輪郭などに基づく治療推奨およびその他の意思決定支援動作などの、追加の人工知能動作を実行するために、他の下流のコンピュータ・システムに提供され得る。

【0032】

最初に、例示的実施形態の人工知能（ＡＩ）パイプラインは、コンピュータ断層撮影（ＣＴ）医用画像データの入力ボリュームを受信し、生物学的実体の体のどの部位がＣＴ医用画像データに示されているかを検出する。医用画像の「ボリューム」は、２次元スライスの積み重ねで構成されている生物学的実体の内部解剖学的構造の３次元表現であり、これらのスライスは、医用画像技術によって捕捉された個別の医用画像であってよい。スライスの積み重ねは、「スラブ」と呼ばれてもよく、これらの積み重ねが、厚さを有している解剖学的構造の部分を表すという点において、スライス自体とは異なってもよく、スライスの積み重ねまたはスラブは、解剖学的構造の３次元表現を生成する。

【0033】

この説明の目的では、生物学的実体が人間であるということが仮定されるが、本発明は、様々な種類の生物学的実体の医用画像に対して動作してよい。例えば、獣医学では、生物学的実体は、様々な種類の小型動物（例えば、犬、猫などのペットなど）または大型動物（例えば、馬、牛、またはその他の家畜）であってよい。ＡＩパイプラインが肝臓病変の検出のために特にトレーニングされる実装の場合、ＡＩパイプラインは、入力ＣＴ医用画像データが、ＣＴ医用画像データ内に存在している腹部のスキャンを表しているかどうかを判定し、表していない場合、人体の正しい部位または部分に向けられていないため、入力ＣＴ医用画像データに関するＡＩパイプラインの動作が終了する。体の異なる部分の入力医用画像および異なるターゲット生物学的構造を処理するようにトレーニングされた、例示的実施形態に係る異なるＡＩパイプラインが存在してよく、入力ＣＴ医用画像が、ＡＩパイプラインの各々への入力であってよく、または入力ＣＴ医用画像に示された体の部位または体の部分の分類に基づいてＡＩパイプラインにルーティングされてよく、例えば、入力ＣＴ医用画像内で表された体の部位または体の部分に関する入力ＣＴ医用画像の分類が最初に実行されてよく、次に、入力ＣＴ医用画像を処理するための対応するトレーニング済みＡＩパイプラインが、本明細書に記載された種類の複数のトレーニング済みＡＩパイプラインから選択されてよいということが、理解されるべきである。以下の説明の目的で、肝臓病変を検出するようにトレーニングされた単一のＡＩパイプラインが説明されるが、一連のＡＩパイプラインまたはＡＩパイプラインの集団へのこの拡張が、本説明を考慮して、当業者にとって明らかになるであろう。

【0034】

入力ＣＴ医用画像のボリュームが（肝臓病変検出の目的で）人体の腹部の医用画像を含んでいると仮定すると、入力ＣＴ医用画像の処理が２つの初期の段階でさらに実行され、これらの初期の段階は、望ましい実装に応じて、実質的に互いに並行して、または順番に、あるいはその両方で実行されてよい。２つの初期の段階は、フェーズ分類段階および解剖学的構造検出段階（例えば、ＡＩパイプラインが肝臓病変検出を実行するように構成されている場合は、肝臓検出段階）を含む。

【0035】

フェーズ分類段階は、入力ＣＴ医用画像のボリュームが単一の撮像フェーズまたは複数の撮像フェーズを含んでいるかどうかを判定する。医用画像における「フェーズ」は、造影剤の摂取の指示である。例えば、一部の医用画像技術では、フェーズは、造影剤の経路を捕捉することを含む医用画像の捕捉を可能にする造影剤が生物学的実体にいつ導入されるかに関して定義されてよい。例えば、フェーズは、造影前フェーズ、動脈造影フェーズ、門脈／静脈造影フェーズ、および遅延フェーズを含んでよく、医用画像は、これらのフェーズのいずれかまたはすべてにおいて捕捉される。フェーズは、通常、注入後のタイミング、および画像内の構造の強化の特性に関連している。可能性のあるフェーズを「並べ替える」ため（例えば、遅延フェーズは常に門脈フェーズの後に取得される）、および所与の画像の可能性のあるフェーズを推定するために、タイミング情報が考慮され得る。画像内の構造の強化の特性の使用に関しては、この種類の情報を使用してフェーズを決定する１つの例が、２０２０年７月１３日に出願された、同一出願人による同時係属の米国特許出願第１６／９２６，８８０号「Ｍｅｔｈｏｄ ｏｆ Ｄｅｔｅｒｍｉｎｉｎｇ Ｃｏｎｔｒａｓｔ Ｐｈａｓｅ ｏｆ ａ Ｃｏｍｐｕｔｅｒｉｚｅｄ Ｔｏｍｏｇｒａｐｈｙ Ｉｍａｇｅ」において説明されている。さらにタイミング情報は、各フェーズの最良の表現を取り出すために、他の情報（サンプリング、再構築カーネルなど）と共に使用され得る（所与の取得が複数の方法で再構築され得る）。

【0036】

強化のタイミングまたは特性あるいはその両方に基づいて、入力ボリューム内の画像が対応するフェーズに割り当てられたか、または分類された後に、フェーズ分類に基づいて、ボリュームが単一のフェーズ（例えば、門脈／静脈フェーズが存在するが動脈フェーズが存在しない）または複数のフェーズの検査（例えば、門脈／静脈および動脈）の画像を含んでいるかどうかが判定され得る。フェーズ分類が、単一のフェーズが入力ＣＴ医用画像のボリュームに存在することを示している場合、ＡＩパイプラインによる処理が、以下で説明されているようにさらに実行される。複数のフェーズが検出された場合、ボリュームは、ＡＩパイプラインによってさらに処理されない。しかし、一部の例示的実施形態では、単一／複数のフェーズに基づくボリュームのこのフィルタは、単一のフェーズからの画像を含むボリュームのみを受け入れ、複数のフェーズのボリュームを拒否するが、他の例示的実施形態では、本明細書に記載されたＡＩパイプライン処理は、対象のターゲットフェーズに分類されなかったボリュームの画像をフィルタ除去してよく、例えば、門脈／静脈フェーズの一部であるとして分類されなかったボリュームの画像をフィルタ除去しながら、ボリューム内の門脈／静脈フェーズの画像が維持されてよく、それによって、ターゲットフェーズに分類された画像のサブセットのみを含んでいる修正されたボリュームになるように、入力ボリュームを修正する。さらに、前述したように、異なる種類のボリュームに対して異なるＡＩパイプラインがトレーニングされてよく、一部の例示的実施形態では、入力ボリューム内の画像のフェーズ分類は、入力ボリュームの画像を、異なるフェーズの画像を処理するようにトレーニングされて構成された対応するＡＩパイプラインにルーティングまたは配布するために使用されてよく、それによって、入力ボリュームが、構成要素であるサブボリュームにさらに分割され、処理のために対応するＡＩパイプラインにルーティングされることができるようにし、例えば、処理のために、門脈／静脈フェーズの画像に対応する第１のサブボリュームが第１のＡＩパイプラインに送信され、動脈フェーズに対応する第２のサブボリュームが第２のＡＩパイプラインに送信される。入力ＣＴ医用画像のボリュームが単一のフェーズを含んでいる場合、またはＡＩパイプラインが単一のフェーズの入力ボリュームまたはサブボリュームの画像を処理するように、サブボリュームをフィルタリングし、任意選択的に対応するＡＩパイプラインにルーティングした後に、ボリューム（またはサブボリューム）が、さらに処理するためにＡＩパイプラインの次の段階に渡される。

【0037】

第２の初期の段階は、対象の解剖学的構造（この実施形態例では、肝臓）の検出段階であり、この段階では、対象の解剖学的構造を示すボリュームの部分が識別され、ＡＩパイプラインの次の下流の段階に渡される。対象の解剖学的構造の検出段階（以下では、実施形態例に従って、肝臓検出段階と呼ばれる）は、コンピュータ医用画像解析を実行して、対象の解剖学的構造（例えば、肝臓）に対応する入力医用画像の部分を識別するように特にトレーニングされて構成された、機械学習（ＭＬ）／深層学習（ＤＬ）コンピュータ・モデルを含む。そのような医用画像解析は、入力医用画像（トレーニング中は、トレーニング画像）が対象の解剖学的構造（例えば、肝臓）を含んでいるかどうかを判定するように、入力としてのラベル付きのトレーニング医用画像データに対してＭＬ／ＤＬモデルをトレーニングすることを含んでよい。画像のラベルのグラウンド・トゥルースに基づいて、収束に達する（すなわち、損失が最小化される）まで、ＭＬ／ＤＬモデルによって生成された結果における損失または誤差を減らすように、ＭＬ／ＤＬモデルの動作パラメータが調整されてよい。このプロセスによって、対象の解剖学的構造（この例では肝臓）の存在を示す医用画像データのパターンを認識するように、ＭＬ／ＤＬモデルがトレーニングされる。その後、トレーニングされると、新しい入力医用画像データが、解剖学的構造が存在していることを示すパターンを含んでいるかどうかを判定するために、ＭＬ／ＤＬモデルを新しい入力データに対して実行することができ、確率が既定のしきい値より大きい場合、医用画像データが対象の解剖学的構造を含んでいるということが判定され得る。

【0038】

したがって、肝臓検出段階で、ＡＩパイプラインは、トレーニング済みＭＬ／ＤＬコンピュータ・モデルを使用して、入力ＣＴ医用画像のボリュームが肝臓を示している画像を含んでいるかどうかを判定する。肝臓を示しているボリュームの部分が、フェーズ分類段階の結果と共に、ＡＩパイプラインの判定段階に渡され、判定段階は、医用画像の単一のフェーズが存在するかどうか、および少なくとも既定の量の対象の解剖学的構造が、対象の解剖学的構造（例えば、肝臓）を示しているボリュームの部分に存在するかどうかを判定する。既定の量の対象の解剖学的構造が存在するかどうかの判定は、医用画像から構造の測定値を決定する（例えば、画像内の画素の位置の差異から構造のサイズを計算する）既知の測定メカニズムに基づいて決定されてよい。測定値が解剖学的構造の少なくとも既定の量または部分を表している場合、ＡＩパイプラインによって処理をさらに実行できるように、測定値が、類似する人口統計を有している類似する患者の解剖学的構造の既定のサイズ（例えば、平均サイズ）と比較されてよい。１つの例示的実施形態では、この判定は、例えば、肝臓の少なくとも１／３が、肝臓を示していると判定された入力ＣＴ医用画像のボリュームの部分に存在するかどうかを判定する。この実施形態例では１／３が使用されるが、本発明の思想および範囲から逸脱することなく、特定の実装に適していると決定された、構造の任意の既定の量が使用されてよい。

【0039】

１つの例示的実施形態では、既定の量の対象の解剖学的構造が、入力ＣＴ医用画像のボリュームに存在するかどうかを判定するために、対象の解剖学的構造（例えば、肝臓）の第１の表現を含んでいるボリューム内の医用画像に対応するスライス（すなわち、肝臓を含んでいる最初のスライス（ＦＳＬ：ｆｉｒｓｔ ｓｌｉｃｅ ｃｏｎｔａｉｎｉｎｇ ｔｈｅ ｌｉｖｅｒ））に、０のスライス・スコアが与えられ、肝臓を含んでいる最後のスライス（ＬＳＬ：ｌａｓｔ ｓｌｉｃｅ ｃｏｎｔａｉｎｉｎｇ ｔｈｅ ｌｉｖｅｒ）が１のスコアを有するように、軸方向スコアが定義される。人間の生物学的実体を仮定して、ボリューム内の最下位スライス（ＭＩＳＶ）（下肢（例えば、足）に最も近い）からボリューム内の最上位スライス（ＭＳＳＶ）（頭に最も近い）に進んで、最初のスライスおよび最後のスライスが定義される。ＭＳＳＶスライスおよびＭＩＳＶスライスのスライス・スコアにそれぞれ対応するスライス・スコアの対（ｓ_ｓｕｐおよびｓ_ｉｎｆ）によって、肝臓軸方向スコア推定値（ＬＡＥ：ｌｉｖｅｒ ａｘｉａｌ ｓｃｏｒｅ ｅｓｔｉｍａｔｅ）が定義される。ＭＬ／ＤＬコンピュータ・モデルは、後でさらに詳細に説明されるように、入力ＣＴ医用画像のボリュームのスライス・スコアｓ_ｓｕｐおよびｓ_ｉｎｆを決定するように、特に構成されてトレーニングされる。例示的実施形態のメカニズムは、これらのスライス・スコアを認識し、上記の定義から、肝臓が０から１まで広がるということを認識して、入力ＣＴ医用画像のボリュームの視界内で、肝臓の断片を決定することができる。

【0040】

一部の例示的実施形態では、スライス・スコアｓ_ｓｕｐおよびｓ_ｉｎｆは、まず、入力ＣＴ医用画像のボリュームをセクションに分割し、次に、セクション内の肝臓の最上位スライス（頭に最も近い）および最下位スライス（足に最も近い）ｓ'_ｓｕｐおよびｓ'_ｉｎｆを決定するために、セクションごとに、構成されてトレーニングされたＭＬ／ＤＬコンピュータ・モデルをセクションのスライスに対して実行して、スライスごとの高さを推定することによって、間接的に検出されてよい。ｓ'_ｓｕｐおよびｓ'_ｉｎｆの推定値を前提として、入力ＣＴ医用画像のボリューム全体に対してセクションがどのように位置しているかが分かっているため、外挿によってｓ_ｓｕｐおよびｓ_ｉｎｆの推定値が検出される。この手法は、入力ボリューム（または、ターゲットフェーズに関連付けられたサブボリューム）からの任意のスライスの高さのロバスト推定量に基づく。そのような推定量は、例えば、チャンク（連続するスライスのセット）からの高さの推定を実行する深層学習モデルを使用して、回帰モデルを学習することによって、取得され得る。例えば、長短期記憶（ＬＳＴＭ：ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）型人工ニューラル・ネットワーク・モデルは、これらのタスクに適しており、肝臓および腹部の生体構造を含んでいるスライスの順序付けをエンコードする能力を有している。ボリュームごとに、ｓ_ｓｕｐおよびｓ_ｉｎｆのｎ個の推定値が存在するということに注意するべきであり、ｎはボリュームごとのセクションの数である。１つの例示的実施形態では、これらのｎ個の推定値の非加重平均を取ることによって、最終的な推定値が取得されるが、他の例示的実施形態では、ｎ個の推定値の他の関数を使用して、最終的な推定値が生成されてよい。

【0041】

入力ＣＴ医用画像のボリュームのｓ_ｓｕｐおよびｓ_ｉｎｆの最終的な推定値を決定し、これらの値に基づいて、対象の解剖学的構造（例えば、肝臓）の断片が計算される。このタスクは、各スライスの高さの推定によって可能にされる。入力ボリューム内の肝臓の最初のスライスの高さ（ｈ１）および最後のスライスの高さ（ｈ２）の推定から、肝臓の実際の最初のスライスの高さおよび最後のスライスの高さが（入力ボリュームに含まれているかどうかに関わらず）Ｈ１およびＨ２であると仮定して、入力ボリューム内の可視の肝臓の部分は、（ｍｉｎ（ｈ１， Ｈ１）－ｍａｘ（ｈ２， Ｈ２））／（Ｈ１－Ｈ２）と表され得る。次に、この計算された断片は、既定の最小量の対象の解剖学的構造が入力ＣＴ医用画像のボリュームに存在する（例えば、肝臓の少なくとも１／３が入力ＣＴ医用画像のボリュームに存在する）かどうかを判定するために、既定のしきい値と比較されてよい。

【0042】

この判定が、複数のフェーズが存在するか、または既定の量の対象の解剖学的構造が、解剖学的構造を示している入力ＣＴ医用画像のボリュームの部分に存在しないか、あるいはその両方であるということの判定に終わった場合、それ以上のボリュームの処理が中断されてよい。この判定が、入力ＣＴ医用画像のボリュームが単一のフェーズおよび少なくとも既定の量の対象の解剖学的構造を含んでいる（例えば、肝臓の１／３が画像に表示されている）ということの判定に終わった場合、解剖学的構造を示している入力ＣＴ医用画像のボリュームの部分が、処理のためにＡＩパイプラインの次の段階に転送される。

【0043】

ＡＩパイプラインの次の段階では、ＡＩパイプラインが、対象の解剖学的構造（例えば、肝臓）を表している入力ＣＴ医用画像のボリュームの部分に対して、病変検出を実行する。ＡＩパイプラインのこの肝臓および病変検出段階は、ＭＬ／ＤＬコンピュータ・モデルの集団を使用して、入力ＣＴ医用画像のボリューム内で表された肝臓および肝臓内の病変を検出する。ＭＬ／ＤＬコンピュータ・モデルの集団は、異なってトレーニングされたＭＬ／ＤＬコンピュータ・モデルを使用して、肝臓および病変検出を実行し、ＭＬ／ＤＬコンピュータ・モデルは、病変検出における偽陽性および偽陰性の釣り合いを取るように、損失関数を使用してトレーニングされている。さらに、集団のＭＬ／ＤＬコンピュータ・モデルは、第３の損失関数がＭＬ／ＤＬコンピュータ・モデルの出力を互いに強制的に一致させるように、構成される。

【0044】

肝臓検出および病変検出がＡＩパイプラインのこの段階で実行されるということを仮定して、第１のＭＬ／ＤＬコンピュータ・モデルが入力ＣＴ医用画像のボリュームに対して実行され、肝臓の存在を検出する。このＭＬ／ＤＬコンピュータ・モデルは、対象の解剖学的構造の検出の前のＡＩパイプラインの段階において採用されたＭＬ／ＤＬコンピュータ・モデルと同じであってよく、したがって、前に取得された結果が利用されてよい。複数の（２つ以上の）他のＭＬ／ＤＬコンピュータ・モデルが、肝臓を示している医用画像の部分において病変検出を実行するように、構成されてトレーニングされる。第１のＭＬ／ＤＬコンピュータ・モデルは、２つの損失関数を使用して構成される。第１の損失関数は、偽陰性（すなわち、病変が存在しないということ（正常な解剖学的構造）を誤って示す分類）における誤差にペナルティを科す。第２の損失関数は、偽陽性結果（すなわち、病変が存在するということ（異常な解剖学的構造）を誤って示す分類）における誤差にペナルティを科す。第２のＭＬ／ＤＬは、正常な組織を含んでいる肝臓のスライス内の偽陽性の誤差にペナルティを科し、病変を含んでいる肝臓のスライス内の偽陰性の誤差にペナルティを科す適応損失関数を使用して、病変を検出するようにトレーニングされる。２つのＭＬ／ＤＬモデルから出力された検出が平均化され、最終的な病変検出を生成する。

【0045】

ＡＩパイプラインの肝臓／病変検出段階の結果は、肝臓の１つまたは複数の輪郭（輪郭線）、および検出された病変に対応する医用画像データ要素の部分を識別する検出マップ（例えば、入力ＣＴ医用画像のボリューム内で検出された肝臓病変のボクセルごとのマップ）を含む。次に、画像マップがＡＩパイプラインの病変セグメント化段階に入力される。病変セグメント化段階は、後でより詳細に説明されるように、流域技術を使用して検出マップを分割し、入力ＣＴ医用画像の画像要素（例えば、ボクセル）の分割を生成する。肝臓病変セグメント化段階は、この分割に基づいて入力ＣＴ医用画像のボリュームのスライスに存在する病変に対応する輪郭のすべてを識別し、３次元内でどの輪郭が同じ病変に対応するかを識別するための動作を実行する。病変セグメント化は、相互に関連付けられた病変輪郭を集約し、病変の３次元分割を生成する。病変セグメント化は、各病変に個別に焦点を合わせ、能動的輪郭解析を実行するために、医用画像内で表された病変画像要素（例えば、ボクセル）および肝臓以外の組織のインペインティングを使用する。このようにして、医用画像内の他の病変に起因して解析にバイアスをかけることも、肝臓の外側の画像の部分に起因して解析にバイアスをかけることもなく、個別の病変が識別され、処理されてよい。

【0046】

病変セグメント化の結果は、入力ＣＴ医用画像のボリューム内の対応する輪郭線または輪郭を含む病変のリストである。これらの出力は、実際の病変ではない検出結果を含むことがある。それらの偽陽性の影響を最小限に抑えるために、これらの出力が、トレーニング済み偽陽性除去モデルを使用する偽陽性除去を対象にする、ＡＩパイプラインの次の段階に提供される。ＡＩパイプラインの偽陽性除去モデルは、どの出力が実際の病変であるか、およびどの検出結果が偽陽性であるかを識別するための分類器として機能する。入力は、病変セグメント化の精密化から得られたマスクに関連付けられた、検出された検出結果を中心とする画像のボリューム（ＶＯＩ：ｖｏｌｕｍｅ ｏｆ ｉｍａｇｅｓ）で構成される。偽陽性除去モデルは、検出／セグメント化段階の結果であるデータを使用してトレーニングされる。検出アルゴリズムによって検出されたグラウンド・トゥルースからの病変であるオブジェクトが、トレーニング中に病変クラスを表すために使用され、グラウンド・トゥルースからのどの病変にも一致しない検出が、非病変（偽陽性）クラスを表すために使用される。

【0047】

全体的性能をさらに改善するために、病変検出モデルおよび偽陽性モデルでは、二重の動作点の戦略が採用された。このアイデアは、ＡＩパイプラインの出力が異なるレベルで解釈され得るということに注目する。最初に、ＡＩパイプラインの出力は、検査ボリューム（すなわち、入力ボリュームまたは画像のボリューム（ＶＯＩ））が病変を含んでいるかどうかを伝えるために使用され得る。次に、ＡＩパイプラインの出力は、病変が同じ患者／検査／ボリュームに含まれているかどうかに関わらず、病変の検出を最大化することを目指す。明確にするために、検査のために行われる測定は、本明細書では「患者レベル」と呼ばれ、病変に関して行われる測定は、本明細書では「病変レベル」と呼ばれる。「病変レベル」での感度を最大にすると、「患者レベル」での特異度が低下する（患者が病変を含んでいると言われるためには、１回の検出で十分である）。これは結局、患者レベルで不十分な特異度を有するか、または病変レベルで低い感度を有するかを選択する必要があるため、臨床的利用にとって準最適になることがある。

【0048】

このことを考慮して、例示的実施形態は、二重の動作点の手法を、病変検出および偽陽性除去の両方に使用する。この原理は、最初に、患者レベルで妥当な性能を与える第１の動作点を使用して処理を実行することである。次に、第１の実行から検出された少なくとも１つの病変を有している患者に対して、検出された病変を再解釈／処理するために、第２の動作点が使用される。この第２の動作点は、より感度が高くなるように選択される。この第２の動作点は、第１の動作点よりも特異度が低いが、第２の動作点が追加の病変を検出したであろうかどうかに関わらず、第１の動作点を使用して病変が検出されなかったすべての患者が現状のままに保たれるため、この特異度の損失は、患者レベルに含まれる。したがって、患者レベルの特異度は、第１の動作点のみによって決定される。患者レベルの感度は、単独で選択された第１の動作点の感度と第２の動作点の感度の間にある（第１の動作点からのある偽陰性の事例が、第２の動作点によって真陽性に変えられる可能性がある）。病変側で、第１の動作点のみと比較して、実際の病変レベルの感度が改善される。第１の動作点のみを使用して処理される場合、偽陽性が発生しないため、単独で選択された特異度が低い第２の動作点よりも、病変の特異度が良くなる。

【0049】

例示的実施形態は、特定の構成および二重の動作点の手法の使用を仮定するが、グループ・レベル（例示的実施形態では、このグループ・レベルは「患者レベル」である）および要素レベル（例示的実施形態では、この要素レベルは「病変レベル」である）で性能を測定することに興味がある場合に、二重の動作点の手法が、他の構成で、他の目的に使用され得るということが、理解されるべきである。例示的実施形態では、二重の動作点の手法は、病変検出および偽陽性除去の両方に適用されるが、二重の動作点の手法がＡＩパイプラインのこれらの段階を越えて拡張され得るということが、理解され得る。例えば、患者レベルおよび病変レベルではなく、ボクセル・レベル（要素）とボリューム・レベル（グループ）で病変の検出が実行されてよい。別の例として、ボクセル・レベルまたは病変レベルが要素レベルに使用されてよく、スラブ（スライスのセット）がグループ・レベルとして使用されてよい。さらに別の例では、単一のボリュームの代わりに、検査のすべてのボリュームがグループ・レベルとして使用されてよい。この手法が、３次元ボリュームではなく画像を解析するために、２次元画像（例えば、胸部、マンモグラフィなどの２Ｄエックス線写真）に適用されてもよいということが、理解されるべきである。患者／グループごとの偽陽性の平均数などの特異度が、動作点の選択に使用され得る。さらに、例示的実施形態は、病変検出および分類に適用することとして説明されるが、二重の動作点に基づく手法は、他の構造（クリップ、ステント、インプラントなど）に、および医用画像を越えて、適用されてよい。

【0050】

二重の動作点に基づく検出および偽陽性除去の結果は、ＡＩパイプラインの病変分類段階によってさらに処理される、最終的なフィルタリングされた病変のリストの識別につながる。ＡＩパイプラインの病変分類段階では、構成されてトレーニングされたＭＬ／ＤＬコンピュータ・モデルが、病変および対応する輪郭データのリストに対して実行され、それによって、病変を複数の既定の病変分類のうちの１つに分類する。例えば、最終的なフィルタリングされた病変のリスト内の各病変およびその属性（例えば、輪郭データ）は、トレーニング済みＭＬ／ＤＬコンピュータ・モデルに入力されてよく、その後、トレーニング済みＭＬ／ＤＬコンピュータ・モデルは、このデータに対して動作し、病変を病変の特定の種類として分類する。この分類は、グラウンド・トゥルース・データに対して以前にトレーニングされた分類器（例えば、トレーニング済みニューラル・ネットワーク・コンピュータ・モデル）を、ＡＩパイプラインの前の処理ステップの結果と組み合わせて使用して、実行され得る。この分類タスクは、多かれ少なかれ複雑になる可能性があり、例えば、良性、悪性、または不定などのラベルを提供すること、または別の例では、嚢胞、転移、血管腫などの実際の病変の種類を提供することになる可能性がある。分類器は、例えば、ニューラル・ネットワークに基づくコンピュータ・モデルの分類器（例えば、ＳＶＭ、決定木など）、または深層学習コンピュータ・モデルであることができる。この分類器の実際の入力は、病変を中心とする部分であり、一部の実施形態では、病変マスクまたは輪郭線（輪郭）を使用して拡張されてよい。

【0051】

ＡＩパイプラインの病変分類段階による病変の分類の後に、ＡＩパイプラインは、病変およびそれらの分類のリストを、病変の任意の輪郭属性と共に出力する。さらに、ＡＩパイプラインは、肝臓の肝臓輪郭情報を出力してもよい。このＡＩパイプラインによって生成された情報は、対象の解剖学的構造および解剖学的構造に存在する任意の検出された病変の表現のさらなる処理および生成のために、さらに下流コンピューティング・システムに提供されてよい。例えば、入力ＣＴ医用画像のボリュームのグラフィック表現が、医用画像ビューアまたはその他のコンピュータ・アプリケーションにおいて生成されてよく、解剖学的構造および検出された病変は、ＡＩパイプラインによって生成された輪郭情報を使用して、グラフィック表現に重ね合わせられるか、またはその他の方法で強調される。他の例示的実施形態では、ＡＩパイプラインによって生成された情報の下流の処理は、病変、分類、および輪郭の検出されたリストに基づく診断意思決定支援動作、自動化された医用画像レポート生成を含んでよい。他の例示的実施形態では、病変の分類に基づいて、医師による確認および検討のために、異なる治療推奨が生成されてよい。

【0052】

一部の例示的実施形態では、病変、それらの分類、および輪郭のリストが、入力ＣＴ医用画像のボリュームと一致する患者に関連付けられた履歴データ構造に格納されてよく、その患者に関連付けられた入力ＣＴ医用画像の異なるボリュームに対するＡＩパイプラインの複数の実行を格納し、時間をかけて評価できるようにする。例えば、患者の病気または医学的状態の進行を評価し、そのような情報を医療専門家に提示して、患者の治療を支援するために、病変のリストまたはそれらに関連付けられた分類あるいはその両方および輪郭の間の差異が決定されてよい。

【0053】

例示的実施形態のＡＩメカニズムによって生成された特定の解剖学的構造および病変検出情報のその他の下流コンピューティング・システムおよび処理が、本発明の思想および範囲から逸脱することなく実装されてよい。例えば、ＡＩパイプラインの出力は、見落とされる可能性のある検出結果を臨床スタッフに認識させるために、ＡＩパイプラインの出力内の解剖学的構造および病変情報を処理して、情報の他のソース（例えば、放射線医学レポート）との不一致を識別する、別の下流コンピューティング・システムによって使用されてよい。

【0054】

したがって、例示的実施形態は、入力医用画像のボリューム内の解剖学的構造およびこれらの解剖学的構造に関連付けられた病変を識別することと、そのような解剖学的構造および病変に関連付けられた輪郭を決定することと、そのような病変の分類を決定することと、ＡＩパイプラインからＡＩによって生成された情報のさらに下流のコンピュータ処理のために、そのような病変、ならびに病変および解剖学的構造の輪郭のリストを生成することとを実行するために、ＡＩパイプラインの様々な段階の様々な人工知能動作を実装する複数の構成されてトレーニングされたＭＬ／ＤＬコンピュータ・モデルを含んでいる自動化されたＡＩパイプラインを実現するメカニズムを提供する。ＡＩパイプラインの動作は、ＡＩパイプラインのどの段階でも人間の介入がないように自動化され、代わりに、様々な段階の特定のＡＩ解析を実行するために、機械学習／深層学習コンピュータ・プロセスを介してトレーニングされた、特に構成されてトレーニングされたＭＬ／ＤＬコンピュータ・モデルが採用された。人間の介入が存在することがあるのは、入力医用画像のボリュームの入力の前（例えば、患者の医用画像の撮像中）、およびＡＩパイプラインの出力後（例えば、ＡＩパイプラインによって生成された病変および輪郭のリストの出力に基づいて、コンピュータ画像表示アプリケーションを介して提示された、拡張された医用画像を表示しているとき）のみである。したがって、ＡＩパイプラインは、コンピュータ環境内のみに存在する特定の機械学習／深層学習プロセスを使用して人工知能として実装された、改良された自動化コンピュータ・ツールに特に関係しているため、人間によって知的過程として実行され得ない動作を実行し、どのような人間の活動も編成しない。

【0055】

例示的実施形態および例示的実施形態によって実行される改良されたコンピュータの動作の様々な態様の説明を続ける前に、この説明全体にわたって、「メカニズム」という用語が、様々な動作、機能などを実行する本発明の要素を指すために使用されるということが、最初に理解されるべきである。「メカニズム」は、この用語が本明細書において使用されるとき、装置、手順、またはコンピュータ・プログラム製品の形態での、例示的実施形態の機能または態様の実装であってよい。手順の場合、手順は、１つまたは複数のデバイス、装置、コンピュータ、データ処理システムなどによって実装される。コンピュータ・プログラム製品の場合、特定の「メカニズム」に関連付けられた機能を実装するため、または特定の「メカニズム」に関連付けられた動作を実行するために、コンピュータ・プログラム製品内またはコンピュータ・プログラム製品上で具現化されたコンピュータ・コードまたは命令によって表された論理が、１つまたは複数のハードウェア・デバイスによって実行される。したがって、本明細書に記載されたメカニズムは、特殊なハードウェア、ハードウェア上で実行され、それによって、ハードウェアがその他の方法で実行することができない本発明の特殊な機能を実装するようにハードウェアを構成するソフトウェア、命令がハードウェアによって容易に実行可能になり、それによって、本明細書において示された機能および説明された特定のコンピュータの動作を実行するようにハードウェアを特に構成するように、媒体に格納されたソフトウェア命令、機能を実行するための手順または方法、あるいはこれらのいずれかの組み合わせとして実装されてよい。

【0056】

本説明および特許請求の範囲では、例示的実施形態の特定の特徴および要素に関して、「１つの」、「～のうちの少なくとも１つ」、および「～のうちの１つまたは複数」という用語を使用することがある。これらの用語および語句が、特定の例示的実施形態に存在する特定の特徴または要素のうちの少なくとも１つが存在するが、２つ以上が存在する可能性もあるということを述べるよう意図されているということが、理解されるべきである。すなわち、これらの用語／語句は、本明細書または特許請求の範囲を、存在している単一の特徴／要素に限定するよう意図されておらず、そのような特徴／要素が複数存在することを必要とするよう意図されてもいない。反対に、これらの用語／語句は、少なくとも単一の特徴／要素のみを必要とし、そのような特徴／要素は、本明細書および特許請求の範囲内に複数存在する可能性がある。

【0057】

さらに、「エンジン」という用語の使用が、本発明の実施形態および特徴を説明することに関して本明細書において使用された場合、エンジンに起因するか、またはエンジンによって実行されるか、あるいはその両方である動作、ステップ、プロセスなどを実現するため、または実行するため、あるいはその両方のためのいずれかの特定の実装を制限するよう意図されていないということが、理解されるべきである。エンジンは、機械可読メモリに読み込まれるか、または格納されて、プロセッサによって実行される適切なソフトウェアと組み合わせた一般的なプロセッサまたは特殊なプロセッサあるいはその両方の任意の使用を含むが、これらに限定されない、指定された機能を実行するソフトウェア、ハードウェア、またはファームウェア、あるいはその組み合わせであってよいが、これらに限定されない。さらに、特定のエンジンに関連付けられたすべての名前は、特に指定されない限り、参照の便宜のためであり、特定の実装を制限するよう意図されていない。さらに、あるエンジンに起因する任意の機能が、同じ種類または異なる種類の別のエンジンの機能に組み込まれるか、もしくは結合されるか、またはその両方が行われるか、あるいは様々な構成の１つまたは複数のエンジンにわたって分散されて、複数のエンジンによって同じように実行されてよい。

【0058】

加えて、以下の説明では、例示的実施形態の様々な要素の複数の様々な例を使用して、例示的実施形態の例示的な実装をさらに説明し、例示的実施形態のメカニズムの理解を助けているということが、理解されるべきである。これらの例は、非限定的であるよう意図されており、例示的実施形態のメカニズムの実装の様々な可能性を網羅していない。本説明を考慮して、これらの様々な要素に関して、本発明の思想および範囲から逸脱することなく、本明細書において提供された例に加えて、またはそれらの例を置き換えて利用できる、多くのその他の代替の実装が存在するということが、当業者にとって明らかであろう。

【0059】

本発明は、システム、方法、またはコンピュータ・プログラム製品、あるいはその組み合わせであってよい。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を含んでいる１つまたは複数のコンピュータ可読ストレージ媒体を含んでよい。

【0060】

コンピュータ可読ストレージ媒体は、命令実行デバイスによって使用するための命令を保持および格納できる有形のデバイスであることができる。コンピュータ可読ストレージ媒体は、例えば、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、またはこれらの任意の適切な組み合わせであってよいが、これらに限定されない。コンピュータ可読ストレージ媒体のさらに具体的な例の非網羅的リストは、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ：ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ：ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ：ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、デジタル・バーサタイル・ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）、メモリ・スティック、フロッピー・ディスク、命令が記録されているパンチカードまたは溝の中の隆起構造などの機械的にエンコードされるデバイス、およびこれらの任意の適切な組み合わせを含む。本明細書において使用されるとき、コンピュータ可読ストレージ媒体は、それ自体が、電波またはその他の自由に伝搬する電磁波、導波管またはその他の送信媒体を伝搬する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、あるいはワイヤを介して送信される電気信号などの一過性の信号であると解釈されるべきではない。

【0061】

本明細書に記載されたコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体から各コンピューティング・デバイス／処理デバイスへ、またはネットワーク（例えば、インターネット、ローカル・エリア・ネットワーク、広域ネットワーク、または無線ネットワーク、あるいはその組み合わせ）を介して外部コンピュータまたは外部ストレージ・デバイスへダウンロードされ得る。このネットワークは、銅伝送ケーブル、光伝送ファイバ、無線送信、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組み合わせを備えてよい。各コンピューティング・デバイス／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、コンピュータ可読プログラム命令をネットワークから受信し、それらのコンピュータ可読プログラム命令を各コンピューティング・デバイス／処理デバイス内のコンピュータ可読ストレージ媒体に格納するために転送する。

【0062】

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ：ｉｎｓｔｒｕｃｔｉｏｎ－ｓｅｔ－ａｒｃｈｉｔｅｃｔｕｒｅ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、あるいは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む１つまたは複数のプログラミング言語の任意の組み合わせで記述されたソース・コードまたはオブジェクト・コードのいずれかであってよい。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で全体的に実行すること、ユーザのコンピュータ上でスタンドアロン・ソフトウェア・パッケージとして部分的に実行すること、ユーザのコンピュータ上およびリモート・コンピュータ上でそれぞれ部分的に実行すること、あるいはリモート・コンピュータ上またはサーバ上で全体的に実行することができる。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）または広域ネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてよく、または接続は、（例えば、インターネット・サービス・プロバイダを使用してインターネットを介して）外部コンピュータに対して行われてよい。一部の実施形態では、本発明の態様を実行するために、例えばプログラマブル論理回路、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ：ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ａｒｒａｙｓ）を含む電子回路は、コンピュータ可読プログラム命令の状態情報を利用して、電子回路をカスタマイズすることによって、コンピュータ可読プログラム命令を実行してよい。

【0063】

本発明の態様は、本明細書において、本発明の実施形態に係る、方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して説明される。フローチャート図またはブロック図あるいはその両方の各ブロック、ならびにフローチャート図またはブロック図あるいはその両方に含まれるブロックの組み合わせが、コンピュータ可読プログラム命令によって実装され得るということが理解されるであろう。

【0064】

これらのコンピュータ可読プログラム命令は、コンピュータまたはその他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／動作を実装する手段を作り出すべく、コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されてマシンを作り出すものであってよい。これらのコンピュータ可読プログラム命令は、命令が格納されたコンピュータ可読ストレージ媒体がフローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／動作の態様を実装する命令を含んでいる製品を含むように、コンピュータ可読ストレージ媒体に格納され、コンピュータ、プログラム可能なデータ処理装置、または他のデバイス、あるいはその組み合わせに特定の方式で機能するように指示できるものであってもよい。

【0065】

コンピュータ可読プログラム命令は、コンピュータ上、その他のプログラム可能な装置上、またはその他のデバイス上で実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／動作を実装するように、コンピュータ実装プロセスを生成するために、コンピュータ、その他のプログラム可能なデータ処理装置、またはその他のデバイスに読み込まれ、コンピュータ上、その他のプログラム可能な装置上、またはその他のデバイス上で一連の動作可能なステップを実行させるものであってもよい。

【0066】

図内のフローチャートおよびブロック図は、本発明の様々な実施形態に係る、システム、方法、およびコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能、および動作を示す。これに関連して、フローチャートまたはブロック図内の各ブロックは、規定された論理機能を実装するための１つまたは複数の実行可能な命令を備える、命令のモジュール、セグメント、または部分を表してよい。一部の代替の実装では、ブロックに示された機能は、図に示された順序とは異なる順序で発生してよい。例えば、連続して示された２つのブロックは、実際には、含まれている機能に応じて、実質的に同時に実行されるか、または場合によってはそれらのブロックは逆の順序で実行されてよい。ブロック図またはフローチャート図あるいはその両方の各ブロック、ならびにブロック図またはフローチャート図あるいはその両方に含まれるブロックの組み合わせは、指定された機能または動作を実行するか、あるいは専用ハードウェアとコンピュータ命令の組み合わせを実行する専用ハードウェアベースのシステムによって実装され得るということにも注意する。

【0067】

［病変検出および分類ＡＩパイプラインの概要］

【0068】

図１は、１つの例示的実施形態に係る、入力医用画像データ内の解剖学的構造の識別および病変検出を実行するように特に構成されてトレーニングされた複数のＭＬ／ＤＬコンピュータ・モデルを実装する病変検出および分類人工知能（ＡＩ）パイプライン（本明細書では、単に「ＡＩパイプライン」と呼ばれる）の例示的なブロック図である。単に例示の目的で、示されたＡＩパイプラインは、医用画像データ内の肝臓検出および肝臓病変検出を対象にしているとして特に説明される。前述したように、例示的実施形態は、そのような例示的実施形態に限定されず、医用画像技術および対応するコンピューティング・システムによって捕捉された医用画像データの画像要素で表されてよい、任意の対象の解剖学的構造およびそのような対象の解剖学的構造に関連付けられた病変に適用されてよい。例えば、例示的実施形態のメカニズムは、肺、心臓などのその他の解剖学的構造、および肺、心臓、またはその他の対象の解剖学的構造に関連付けられた病変の検出、輪郭の識別、分類などに適用されてよい。

【0069】

さらに、以下の説明が、図１に示されたレベルからＡＩパイプラインの概要を説明するということ、およびこの説明の後のセクションが、ＡＩパイプラインの個別の段階に関する追加の詳細について説明するということが理解されるべきである。ＡＩパイプラインの段階の各々は、一部の例示的実施形態では、ＡＩパイプライン１００の様々な段階において記号１０３によって表されているように、深層学習ニューラル・ネットワークのニューラル・ネットワークなどの、構成されてトレーニングされたＭＬ／ＤＬコンピュータ・モデルとして実装される。これらの異なるＭＬ／ＤＬコンピュータ・モデルは、例えば、体の部位の識別、肝臓検出、フェーズ分類、肝臓の最小量の検出、肝臓／病変検出、病変セグメント化、偽陽性除去、病変分類などの、本明細書に記載された特定のＡＩの動作を実行するように、特に構成されてトレーニングされる。以下の説明のこれらの追加のセクションは、様々な段階のＡＩの動作を実行する新しい技術、メカニズム、および手法を提供するＡＩパイプラインの様々な段階を実装するための特定の実施形態を示すが、全体としてＡＩパイプラインとの関連において、例示的実施形態の思想および範囲から逸脱することなく、その他の同等の技術、メカニズム、または手法が使用されてよいということが、理解されるべきである。これらのその他の同等の技術、メカニズム、または手法は、本説明を考慮して当業者にとって明らかであり、本発明の思想および範囲内にあるよう意図されている。

【0070】

図１に示されているように、人工知能（ＡＩ）パイプライン１００は、１つの例示的実施形態に従って、示された例では１つまたは複数のデータ構造として表された入力コンピュータ断層撮影（ＣＴ）医用画像のボリュームである、入力医用画像のボリューム１０５を入力として受信し、次に、このボリュームが、ＡＩパイプライン１００の様々な段階によって自動的に処理され、最終的に、分類および輪郭情報、ならびに対象の解剖学的構造（例えば、示された例では、肝臓）に関する輪郭情報と共に病変のリストを含んでいる出力１７０を生成する。入力医用画像のボリューム１０５は、多くの一般に知られているか、または後で開発された、生物学的実体（すなわち、患者）の内部解剖学的構造の画像を１つまたは複数の医用画像データ構造として描画する医用画像技術および機器のいずれかを使用する、医用画像技術１０２によって捕捉されてよい。一部の例示的実施形態では、この入力医用画像のボリューム１０５は、患者の体の部分の患者の解剖学的構造の部分の２次元スライス（個別の医用画像）を含み、次に、これらのスライスが結合されてスラブ（軸に沿って厚さを有している医用画像の集団を提供するための、軸に沿ったスライスの組み合わせ）を生成し、これらのスラブが結合されて、体の部分の解剖学的構造の３次元表現（すなわち、ボリューム）を生成する。

【0071】

ＡＩパイプライン１００の第１の段階の論理１１０では、ＡＩパイプライン１００が、ＣＴ医用画像データの入力ボリューム１０５に対応する患者の体の部分を決定し（１１２）、対象の体の部位決定論理１１４によって、患者の体のこの部分が、対象の解剖学的構造に対応する患者の体の部分を表している（例えば、頭蓋スキャン、下半身スキャンなどではなく、腹部スキャンである）かどうかを判定する。この評価は、入力ＣＴ医用画像データのボリューム１０５（以下では、「入力ボリューム」１０５と呼ばれる）のみに関するＡＩパイプライン１００の使用に対して初期フィルタとして動作するためであり、ＡＩパイプライン１００は、入力ＣＴ医用画像データのボリューム１０５に対して、解剖学的構造の識別および輪郭形成、ならびに病変の識別、輪郭形成、および分類を実行するように特に構成されてトレーニングされる。入力ボリューム１０５内で表された体の部位のこの検出は、医用画像スキャンを実行するときにソース医用画像技術コンピューティング・システム１０２によって指定されてよい、スキャンされた患者の体の領域を指定するフィールドを含んでよい、入力ボリューム１０５に関連付けられたメタデータを参照してよい。代替として、ＡＩパイプライン１００の第１の段階の論理１１０は、患者の体の特定の部分に関して医用画像分類を実行する体の部位検出１１２のために特に構成されてトレーニングされたＭＬ／ＤＬコンピュータ・モデルを実装してよく、この医用画像分類は、入力ボリューム１０５の医用画像データに対してコンピュータ化されたパターン解析を実行し、患者の体の１つまたは複数の既定の部分に関して、医用画像データの分類を予測する。一部の例示的実施形態では、この評価は、二値（例えば、腹部の医用画像ボリュームであるか、またはそうでないか）であってよく、または例えば複数の異なる体の部位（例えば、腹部、頭蓋、下肢など）の分類に関して確率またはスコアを特に識別する、さらに複雑な複数のクラスの評価であってよい。

【0072】

ＡＩパイプライン１００の第１の段階の論理１１０の対象の体の部位決定論理１１４が、入力ボリューム１０５が、対象の解剖学的構造が検出され得る患者の体の部分（例えば、肝臓が検出され得る体の腹部）を表していないということを決定した場合、ＡＩパイプライン１００の処理が中断されてよい（拒否の事例）。ＡＩパイプライン１００の第１の段階の論理１１０の対象の体の部位決定論理１１４が、入力ボリューム１０５が、対象の解剖学的構造が検出され得る患者の体の部分を表しているということを決定した場合、後で説明されるように、ＡＩパイプライン１００による入力ボリューム１０５の処理がさらに実行される。一部の例示的実施形態では、患者の体の異なる部位に存在することがある異なる解剖学的構造に対応する入力ボリューム１０５を処理するようにそれぞれ構成されてトレーニングされた、ＡＩパイプライン１００の複数の異なるインスタンスが提供されていてよいということが、理解されるべきである。したがって、第１の段階の論理１１０は、ＡＩパイプライン１００の外部で提供されてよく、入力ボリューム１０５を、特定の分類の入力ボリューム１０５を処理するように特に構成されてトレーニングされた対応するＡＩパイプライン１００にルーティングするためのルーティング論理として動作してよく、例えば、あるＡＩパイプラインのインスタンスが肝臓および肝臓病変の検出／分類用であり、別のＡＩパイプラインのインスタンスが肺および肺病変の検出／分類用であり、第３のＡＩパイプラインのインスタンスが心臓および心臓病変の検出／分類用である、などとなる。したがって、第１の段階の論理１１０はルーティング論理を含んでよく、ルーティング論理は、どのＡＩパイプラインのインスタンス１００が異なる体の部位／対象の解剖学的構造に対応するかというマッピングを格納し、入力ボリューム１０５内で表された体の部位の検出に基づいて、入力ボリューム１０５を、検出された体の部位に対応する入力ボリューム１０５を処理するように特に構成されてトレーニングされた対応するＡＩパイプラインのインスタンス１００に自動的にルーティングすることができる。

【0073】

入力ボリューム１０５が、対象の解剖学的構造が存在する患者の体の部位を表している（例えば、肝臓病変検出の目的で、腹部スキャンが入力ボリューム１０５に存在する）ことが検出されたと仮定すると、第２の段階の論理１２０において、ＡＩパイプライン１００によって入力ボリューム１０５の処理がさらに実行される。この第２の段階の論理１２０は、望ましい実装に応じて、実質的に互いに並行して、または順番に、あるいはその両方で実行されてよい２つの初期の下位段階１２２および１２４を含んでいる（図１では、一例として並行した実行が表されている）。２つの初期の下位段階１２２、１２４は、フェーズ分類下位段階１２２および解剖学的構造検出下位段階１２４（例えば、ＡＩパイプライン１００が肝臓病変検出を実行するように構成されている場合は、肝臓検出下位段階１２４）を含む。

【0074】

フェーズ分類下位段階１２２は、入力ボリューム１０５が単一の撮像フェーズ（例えば、造影前フェーズ、動脈造影フェーズ、門脈／静脈造影フェーズ、遅延フェーズなど）を含んでいるかどうかを判定する。やはり、フェーズ分類下位段階１２２は、医用画像の撮像を実行するときに医用画像技術コンピューティング・システム１０２によって生成されてよい、医用画像と一致する医用画像研究のフェーズを指定するフィールドを含んでいることがある入力ボリューム１０５に関連付けられたメタデータを評価する論理として実装されてよい。代替として、例示的実施形態は、医用画像研究の異なるフェーズを示す医用画像のパターンを検出するように特にトレーニングされた、構成されてトレーニングされたＭＬ／ＤＬコンピュータ・モデルを実装してよく、それによって、入力ボリューム１０５の医用画像がどのフェーズに対応するかについて、これらの医用画像を分類してよい。フェーズ分類下位段階１２２の出力は、入力ボリューム１０５が１つのフェーズまたは複数のフェーズを含んでいるかどうかを示す二値であってよく、あるいは入力ボリューム１０５内で表されたフェーズの各々の分類であってよく、その後、単一のフェーズまたは複数のフェーズが表されているかどうかを判定するために使用され得る。

【0075】

フェーズ分類が、単一のフェーズが入力ボリューム１０５に存在するということを示している場合、後で説明されるように、ＡＩパイプライン１００によって、下流の段階１３０～１７０を通る処理がさらに実行される。複数のフェーズが検出された場合、入力ボリューム１０５は、ＡＩパイプライン１００によってさらに処理されないか、あるいは前述したように、サブボリュームにフィルタリングされるか、もしくは分割されるか、またはその両方であってよく、各サブボリュームは、ターゲットフェーズに対応する１つのサブボリュームのみがＡＩパイプライン１００によって処理されるか、またはサブボリュームが、特定のフェーズ分類に対応する画像の入力ボリュームを処理するように構成されてトレーニングされた対応するＡＩパイプラインにルーティングされるか、あるいはその両方が実行されるように、対応する単一のフェーズの画像を含む。いくつかの理由（例えば、肝臓が画像に存在しない、単一のフェーズの入力ボリュームでない、十分な肝臓が画像に存在しないなど）によって入力ボリュームが拒否され得るということが、理解されるべきである。拒否の実際の根本的原因に応じて、ユーザ・インターフェースなどを介して、拒否の原因がユーザに伝達されてよい。例えば、拒否に応答するＡＩパイプライン１００の出力は、拒否の理由を示してよく、出力を介して拒否の理由を伝達するために、下流コンピューティング・システム（例えば、ビューアまたは追加の自動化された処理システム）によって利用されてよい。例えば、入力ボリューム内で肝臓が検出されなかった場合、例えば拒否をユーザに伝達せずに、入力ボリュームが黙って無視されてよく、一方、肝臓を含んでいるが、複数のフェーズの入力ボリュームを含んでいる入力ボリュームの場合、ビューアの下流コンピューティング・システムによって生成されたユーザ・インターフェースにおいて、例えば、入力ボリュームが２つ以上のフェーズの画像を含んでいることに起因して、如何なる検出結果も含んでいない入力ボリュームと間違われないようにするために、入力ボリュームがＡＩパイプライン１００によって処理されなかったということを明確に述べることによって、拒否がユーザ（例えば、放射線科医）に伝達されてよい。

【0076】

第２の初期の下位段階１２４は、入力ボリューム１０５の部分において対象の解剖学的構造（この実施形態例では、肝臓）を検出するための検出下位段階である。すなわち、対象の解剖学的構造（肝臓）を特に示している入力ボリューム１０５内のスライス、スラブなどが識別され、既定の最小量の対象の解剖学的構造（肝臓）がこれらのスライス、スラブ、または入力ボリュームに全体として存在するかどうかを判定するために、評価される。前述したように、検出下位段階１２４は、コンピュータ医用画像解析を実行して、対象の解剖学的構造（例えば、人間の肝臓）に対応する入力医用画像の部分を識別するように、特にトレーニングされて構成されたＭＬ／ＤＬコンピュータ・モデル１２５を含む。

【0077】

したがって、肝臓検出下位段階１２４で、ＡＩパイプライン１００は、トレーニング済みＭＬ／ＤＬコンピュータ・モデル１２５を使用して、入力ＣＴ医用画像のボリュームが肝臓を示している画像を含んでいるかどうかを判定する。肝臓を示しているボリュームの部分が、フェーズ分類下位段階１２２の結果と共に、ＡＩパイプライン１００の単一フェーズ決定論理１２７および構造最小量決定論理１２８を含んでいる決定下位段階１２６に渡され、フェーズ決定論理１２７は、医用画像の単一のフェーズが存在するかどうかを判定し、構造最小量決定論理１２８は、少なくとも既定の量の対象の解剖学的構造が、対象の解剖学的構造（例えば、肝臓）を示しているボリュームの部分に存在するかどうかを判定する。前述したように、既定の量の対象の解剖学的構造が存在するかどうかの判定は、例えば画像内の画素位置の差異から構造のサイズを計算して、医用画像から構造の測定値を決定し、これらの測定値を１つまたは複数の既定のしきい値と比較し、最小量の対象の解剖学的構造（例えば、肝臓）が入力ボリューム１０５に存在するかどうか（例えば、肝臓の１／３が、例えば肝臓を示していると決定された入力ボリューム１０５の部分に存在するかどうか）を判定する、既知の測定メカニズムに基づいて決定されてよい。

【0078】

１つの例示的実施形態では、既定の量の対象の解剖学的構造（肝臓）が入力ボリューム１０５に存在するかどうかを判定するために、前述した軸方向スコア・メカニズムが使用され、入力ボリューム１０５に存在する解剖学的構造の部分を評価してよい。前述したように、ＭＬ／ＤＬコンピュータ・モデルは、入力ボリューム１０５のＭＳＳＶスライスおよびＭＩＳＶスライスのスライス・スコアにそれぞれ対応するスライス・スコアｓ_ｓｕｐおよびｓ_ｉｎｆを推定するように構成されてトレーニングされてよい。一部の例示的実施形態では、スライス・スコアｓ_ｓｕｐおよびｓ_ｉｎｆは、まず、入力ボリューム１０５をセクションに分割し、次に、セクションごとに、構成されてトレーニングされたＭＬ／ＤＬコンピュータ・モデルをセクションのスライスに対して実行して、セクション内の最初のスライスおよび最後のスライスのスライス・スコアｓ'_ｓｕｐおよびｓ'_ｉｎｆを推定することによって、間接的に検出されてよい。ｓ'_ｓｕｐおよびｓ'_ｉｎｆの推定値を前提として、入力ＣＴ医用画像のボリューム全体に対してセクションがどのように位置しているかが分かっているため、外挿によってｓ_ｓｕｐおよびｓ_ｉｎｆの推定値が検出される。入力ボリューム１０５ごとに、ｓ_ｓｕｐおよびｓ_ｉｎｆのｎ個の推定値が存在するということに注意するべきであり、ｎはボリュームごとのセクションの数である。１つの例示的実施形態では、これらのｎ個の推定値の非加重平均を取ることによって、最終的な推定値が取得されるが、他の例示的実施形態では、ｎ個の推定値の他の関数を使用して、最終的な推定値が生成されてよい。

【0079】

入力ＣＴ医用画像のボリュームのｓ_ｓｕｐおよびｓ_ｉｎｆの最終的な推定値を決定し、これらの値に基づいて、対象の解剖学的構造（例えば、肝臓）の断片が計算される。次に、この計算された断片は、既定の最小量の対象の解剖学的構造が入力ＣＴ医用画像のボリュームに存在する（例えば、肝臓の少なくとも１／３が入力ＣＴ医用画像のボリュームに存在する）かどうかを判定するために、既定のしきい値と比較されてよい。

【0080】

決定論理１２７および１２８の決定が、複数のフェーズが存在するか、または既定の量の対象の解剖学的構造が、肝臓を示している入力ボリューム１０５の部分に存在しないか、あるいはその両方であることを示している場合、段階１３０～１７０に関するＡＩパイプライン１００による入力ボリューム１０５のそれ以上の処理が中断されてよい（すなわち、入力ボリューム１０５が拒否される）。決定論理１２７および１２８の決定が、入力ボリューム１０５が単一のフェーズの画像を含んでおり、少なくとも既定の量の肝臓が示されているということの決定に終わった場合、解剖学的構造を示している入力ボリューム１０５の部分が、処理のためにＡＩパイプライン１００の次の段階１３０に転送される。この例示的実施形態は、さらに処理するために、肝臓を含んでいる入力ボリュームの下位部分を転送するが、他の例示的実施形態では、肝臓の周囲の背景が提供されてもよく、これは、既定の量のマージンを選択された肝臓領域の上下に追加することによって実行され得る。その後の処理動作によって必要とされる背景の量に応じて、マージンは、元の入力ボリュームの範囲全体まで増やされ得る。

【0081】

ＡＩパイプライン１００の次の段階１３０では、ＡＩパイプライン１００が、対象の解剖学的構造（例えば、肝臓）を表している入力ボリューム１０５の部分に対して、病変検出を実行する。ＡＩパイプライン１００のこの肝臓／病変検出段階１３０は、ＭＬ／ＤＬコンピュータ・モデル１３２～１３６の集団を使用して、入力ボリューム１０５内で表された肝臓および肝臓内の病変を検出する。ＭＬ／ＤＬコンピュータ・モデル１３２～１３６の集団は、異なってトレーニングされたＭＬ／ＤＬコンピュータ・モデル１３２～１３６を使用して、肝臓および病変検出を実行し、ＭＬ／ＤＬコンピュータ・モデル１３２～１３６は、病変検出における偽陽性および偽陰性の釣り合いを取るように、損失関数を使用してトレーニングされている。さらに、集団のＭＬ／ＤＬコンピュータ・モデル１３２～１３６は、第３の損失関数がＭＬ／ＤＬコンピュータ・モデル１３２～１３６の出力を互いに強制的に一致させるように、構成される。

【0082】

１つの例示的実施形態では、構成されてトレーニングされたＭＬ／ＤＬコンピュータ・モデル１３２は、入力ボリューム１０５に対して実行され、肝臓の存在を検出する。このＭＬ／ＤＬコンピュータ・モデル１３２は、前のＡＩパイプラインの段階１２０において採用されたＭＬ／ＤＬコンピュータ・モデル１２５と同じであってよく、したがって、前に取得された結果が利用されてよい。複数の（２つ以上の）他のＭＬ／ＤＬコンピュータ・モデル１３４～１３６が、肝臓を示している入力ボリューム１０５の医用画像の部分において病変検出を実行するように、構成されてトレーニングされる。第１のＭＬ／ＤＬコンピュータ・モデル１３４は、入力ボリューム１０５に対して直接動作し、病変予測を生成するように、構成されてトレーニングされる。第２のＭＬ／ＤＬコンピュータ・モデル１３６は、２つの異なる損失関数を実装する２つの異なるデコーダを使用して構成され、１つの損失関数は、偽陰性（すなわち、病変が存在しないということ（正常な解剖学的構造）を誤って示す分類）における誤差にペナルティを科し、もう１つの損失関数は、偽陽性結果（すなわち、病変が存在するということ（異常な解剖学的構造）を誤って示す分類）における誤差にペナルティを科す。ＭＬ／ＤＬコンピュータ・モデル１３６の第１のデコーダは、多数の偽陽性が存在するという犠牲を払って、相対的に多くの異なる病変を表すパターンを識別するようにトレーニングされる。ＭＬ／ＤＬコンピュータ・モデル１３６の第２のデコーダは、病変の検出に対する感度が低くなるようにトレーニングされるが、検出された病変は、正確に検出されている可能性が非常に高い。ＭＬ／ＤＬコンピュータ・モデルの集団の第３の損失関数は、ＭＬ／ＤＬコンピュータ・モデル１３６のデコーダの結果を全体として互いに比較し、それらの結果を互いに強制的に一致させる。第１のＭＬ／ＤＬコンピュータ・モデル１３４および第２のＭＬ／ＤＬコンピュータ・モデル１３６の病変予測結果が結合されて、集団の最終的な病変予測を生成し、一方、肝臓マスクの予測を生成する他のＭＬ／ＤＬコンピュータ・モデル１３２は、肝臓およびその輪郭を表す出力を提供する。これらのＭＬ／ＤＬコンピュータ・モデル１３２～１３６の例示的なアーキテクチャが、図６に関して後でさらに詳細に説明される。

【0083】

ＡＩパイプライン１００の肝臓／病変検出段階１３０の結果は、肝臓の１つまたは複数の輪郭（輪郭線）、および検出された病変１３５に対応する医用画像データ要素の部分を識別する検出マップ（例えば、入力ボリューム１０５内で検出された肝臓病変のボクセルごとのマップ）を含む。次に、検出マップがＡＩパイプライン１００の病変セグメント化段階１４０に入力される。病変セグメント化段階１４０は、後でより詳細に説明されるように、流域技術および対応するＭＬ／ＤＬコンピュータ・モデル１４２を使用して検出マップを分割し、入力ボリューム１０５の医用画像（スライス）の画像要素（例えば、ボクセル）の分割を生成する。肝臓病変セグメント化段階１４０は、この分割に基づいて入力ボリューム１０５のスライスに存在する病変に対応する輪郭のすべてを識別し、３次元内でどの輪郭が同じ病変に対応するかを識別するための動作を実行する、ＭＬ／ＤＬコンピュータ・モデル１４４などの他のメカニズムを提供する。病変セグメント化段階１４０は、相互に関連付けられた病変輪郭を集約して病変の３次元分割を生成する、ＭＬ／ＤＬコンピュータ・モデル１４６などのメカニズムをさらに提供する。病変セグメント化は、各病変に個別に焦点を合わせ、能動的輪郭解析を実行するために、医用画像内で表された病変画像要素（例えば、ボクセル）および肝臓以外の組織のインペインティングを使用する。このようにして、医用画像内の他の病変に起因して解析にバイアスをかけることも、肝臓の外側の画像の部分に起因して解析にバイアスをかけることもなく、個別の病変が識別され、処理されてよい。

【0084】

病変セグメント化１４０の結果は、入力ボリューム１０５内の対応する輪郭線または輪郭を含む病変のリスト１４８である。これらの出力１４８は、ＡＩパイプライン１００の偽陽性除去段階１５０に提供される。偽陽性除去段階１５０は、二重の動作点の戦略を使用する構成されてトレーニングされたＭＬ／ＤＬコンピュータ・モデルを使用して、ＡＩパイプライン１００の病変セグメント化段階１４０によって生成された病変のリスト内の偽陽性の病変検出を削減する。第１の動作点は、できるだけ多くの病変を除去するように偽陽性除去段階１５０のＭＬ／ＤＬコンピュータ・モデルを構成することによって、偽陽性に対して感度が高くなるように選択される。偽陽性の高感度の除去の後に、既定の数以下の病変がリストに残っているかどうかに関する判定が行われる。残っている場合、偽陽性に対する感度が相対的に低い第２の動作点を使用して、除去されたリスト内の他の病変が再検討される。両方の手法の結果は、ＡＩパイプラインの病変分類段階によってさらに処理される最終的なフィルタリングされた病変のリストを識別する。

【0085】

病変セグメント化段階１４０によって生成された病変およびそれらの輪郭のリストから偽陽性を除去した後に、結果として得られた病変のフィルタリングされたリスト１５５が、ＡＩパイプライン１００の病変分類段階１６０に入力として提供され、構成されてトレーニングされたＭＬ／ＤＬコンピュータ・モデルが、病変およびそれらに対応する輪郭データのリストに対して実行され、それによって、病変を複数の既定の病変分類のうちの１つに分類する。例えば、最終的なフィルタリングされた病変のリスト内の各病変およびその属性（例えば、輪郭データ）は、病変分類段階１６０のトレーニング済みＭＬ／ＤＬコンピュータ・モデルに入力されてよく、その後、トレーニング済みＭＬ／ＤＬコンピュータ・モデルは、このデータに対して動作し、病変を病変の特定の既定の種類またはクラスとして分類する。

【0086】

ＡＩパイプライン１００の病変分類段階１６０による病変の分類の後に、ＡＩパイプライン１００は、病変およびそれらの分類の完成したリストを含んでいる出力１７０を、病変の任意の輪郭属性と共に生成する。さらに、ＡＩパイプライン１００の出力１７０は、肝臓／病変検出段階１３０から取得された肝臓の肝臓輪郭情報を含んでもよい。このＡＩパイプライン１００によって生成された出力は、対象の解剖学的構造および解剖学的構造に存在する任意の検出された病変の表現のさらなる処理および生成のために、さらに下流コンピューティング・システム１８０に提供されてよい。例えば、入力ボリュームのグラフィック表現が、下流コンピューティング・システム１８０の医用画像ビューアまたはその他のコンピュータ・アプリケーションにおいて生成されてよく、解剖学的構造および検出された病変は、ＡＩパイプラインによって生成された輪郭情報を使用して、グラフィック表現に重ね合わせられるか、またはその他の方法で強調される。他の例示的実施形態では、下流コンピューティング・システム１８０による下流の処理は、病変、分類、および輪郭の検出されたリストに基づく診断意思決定支援動作、自動化された医用画像レポート生成を含んでよい。他の例示的実施形態では、病変の分類に基づいて、医師による確認および検討のために、異なる治療推奨が生成されてよい。一部の例示的実施形態では、病変、それらの分類、および輪郭のリストが、患者識別子に関連する下流コンピューティング・システム１８０の履歴データ構造に格納されてよく、同じ患者に関連付けられた異なる入力ボリューム１０５に対するＡＩパイプライン１００の複数の実行を格納し、時間をかけて評価できるようにする。例えば、患者の病気または医学的状態の進行を評価し、そのような情報を医療専門家に提示して、患者の治療を支援するために、病変のリストまたはそれらに関連付けられた分類あるいはその両方と輪郭の間の差異が決定されてよい。例示的実施形態のＡＩパイプライン１００によって生成された特定の解剖学的構造および病変検出情報のその他の下流コンピューティング・システム１８０および処理が、本発明の思想および範囲から逸脱することなく実装されてよい。

【0087】

図２は、１つの例示的実施形態に係る、ＡＩパイプラインの例示的な動作の概要を示す例示的なフローチャートである。図２で概説される動作は、図１に示されている、この説明の以下の別々のセクションにおいて後で説明される特定の実施形態例を使用して上で説明された、構成されてトレーニングされたＭＬ／ＤＬコンピュータ・モデルを含んでいる論理の様々な段階によって、実装されてよい。この動作が、自動化されたコンピュータ・ツールのメカニズムを実装するように特に構成された１つまたは複数のコンピューティング・デバイスを含んでいる１つまたは複数のデータ処理システムにおいて実装された自動化された人工知能パイプラインを特に対象にしているということが、理解されるべきである。図１および２のこの概説される動作には、医用画像のボリュームの作成時、および下流コンピューティング・システムからの出力の使用以外に、人間の介入がない。本発明は、説明された動作を実行するように改良された、自動化された人工知能コンピューティング・メカニズムを特に提供し、これらの動作は、以前の如何なる手動のプロセスとも特に異なる、本発明の改良された人工知能コンピューティング・メカニズムを自動化されたコンピューティング・ツールにおいて実装できるようにする論理およびデータ構造を提供することを特に対象にする、新しい改良されたプロセスを提供することによって、人間とのやりとりを回避し、以前の手動のプロセスに起因する潜在的な誤差を低減する。

【0088】

図２に示されているように、動作は、医用画像技術コンピューティング・システム（例えば、コンピュータ断層撮影（ＣＴ）医用画像を提供するコンピューティング・システム）から医用画像の入力ボリュームを受信することから開始する（ステップ２１０）。ＡＩパイプラインは、受信された入力ボリュームに対して動作して体の部位検出を実行し（ステップ２１２）、対象の体の部位が受信された入力ボリュームに存在するかどうかに関する判定を実行できるようにする（ステップ２１４）。対象の体の部位（例えば、肝臓病変の検出および分類の場合は腹部）が入力ボリュームに存在しない場合、動作が終了する。対象の体の部位が入力ボリュームに存在する場合、フェーズ分類および最小解剖学的構造評価が、連続的にまたは並行して実行される。

【0089】

すなわち、図２に示されているように、入力ボリュームに対してフェーズ分類が実行され（ステップ２１６）、入力ボリュームが医用画像の単一のフェーズ（例えば、造影前の撮像、部分的造影の撮像、遅延フェーズなど）または複数のフェーズの医用画像（スライス）を含んでいるかどうかを判定する。次に、フェーズ分類が単一のフェーズまたは複数のフェーズのいずれを示しているかどうかに関する判定が行われる（ステップ２１８）。入力ボリュームが複数のフェーズを対象にする医用画像を含んでいる場合、動作が終了し、そうではなく入力ボリュームが単一のフェーズを対象にする医用画像を含んでいる場合、動作がステップ２２０に進む。

【0090】

ステップ２２０で、最小量の解剖学的構造が入力ボリュームに存在するかどうかを判定し、ＡＩパイプラインの動作のその後の段階を正確に実行できるようにするために、対象の解剖学的構造（例えば、示されている例では肝臓）の検出が実行される。最小量の解剖学的構造が存在する（例えば、肝臓の少なくとも１／３が入力ボリューム内で表されている）かどうかに関する判定が行われる（ステップ２２２）。最小量が存在しない場合、動作が終了し、そうでない場合、動作がステップ２２４に進む。

【0091】

ステップ２２４で、肝臓／病変検出が実行されて、病変の輪郭および検出マップを生成する。これらの輪郭および検出マップが病変セグメント化論理に提供され、病変セグメント化論理は、これらの輪郭および検出マップに基づいて病変セグメント化（例えば、図に示された例では肝臓病変セグメント化）を実行する（ステップ２２６）。病変セグメント化は、病変およびそれらの輪郭のリスト、ならびに解剖学的構造（例えば、肝臓）の検出および輪郭の情報の生成をもたらす（ステップ２２８）。病変およびそれらの輪郭のこのリストに基づいて、偽陽性除去動作がリスト内の病変に対して実行されて、偽陽性を除去し、フィルタリングされた病変およびそれらの輪郭のリストを生成する（ステップ２３０）。

【0092】

フィルタリングされた病変およびそれらの輪郭のリストが病変分類論理に提供され、病変分類論理は、病変分類を実行し、病変、それらの輪郭、および病変分類の完成したリストを生成する（ステップ２３２）。この完成したリストが、肝臓輪郭情報と共に下流コンピューティング・システムに提供され（ステップ２３４）、下流コンピューティング・システムは、この情報に対して動作し、医用画像表示を医用画像ビューア・アプリケーションに生成すること、検出された病変の分類に基づいて治療推奨を生成すること、異なる時点でＡＩパイプラインによって生成された病変の完成したリストの比較に基づいて、同じ患者の時間の経過に伴う病変の過去の進行を評価することなどを実行してよい。

【0093】

したがって、上で概説された例示的実施形態は、医用画像の入力ボリュームに対して動作し、偽陽性を最小限に抑えながら病変、それらの輪郭、および分類のリストを生成する、自動化された人工知能メカニズムおよびＭＬ／ＤＬコンピュータ・モデルを提供する。例示的実施形態は、入力ボリュームの画像のボクセルの所与のセットにおいて、複数のボクセルのうちのどのボクセルが対象の解剖学的構造（例えば、肝臓）の部分に対応するか、およびそれらのボクセルのうちのどのボクセルが、対象の解剖学的構造内の病変（例えば、肝臓病変）に対応するかを特に識別する、自動化された人工知能コンピュータ・ツールを提供する。例示的実施形態は、例示的実施形態が、臨床医のワークフロー内で完全に自動化されたコンピュータ・ツールに統合され得るという点において、手動および自動の両方で、以前の手法を超える明確な改善を提供する。実際には、単一のフェーズ（例えば、腹部スキャン）のみの入力ボリュームを受け入れ、対象の解剖学的構造（例えば、肝臓）を示していないか、または既定の量の対象の解剖学的構造を示していない（例えば、少なすぎる量の肝臓）入力ボリュームを拒否する例示的実施形態のＡＩパイプライン設計の初期段階に基づいて、自動化されたＡＩパイプラインによって意味のある入力ボリュームのみが処理され、それによって、放射線科医が、対象の解剖学的構造以外の入力ボリュームを確認する場合（例えば、肝臓以外の場合）に貴重な手動のリソースを役に立たない結果または誤った結果に費やすのを防ぐ。役に立たない情報を大量に放射線科医に送るのを防ぐことに加えて、例示的実施形態の自動化されたＡＩパイプラインは、対象の解剖学的構造に対応していない場合に関連付けられたデータ、または十分な量の対象の解剖学的構造を提供できない場合に関連付けられたデータによるＡＩパイプラインおよび下流コンピューティング・システム（ネットワーク、アーカイブ、および確認コンピューティング・システムなど）の混雑を回避することによって、情報技術の円滑な統合も保証する。さらに、前述したように、例示的実施形態の自動化されたＡＩパイプラインは、完全に自動化された方法で病変の正確な検出、測定、および特徴付けを可能にし、これは、例示的実施形態のうちの１つまたは複数の自動化されたＡＩパイプラインの構造およびそれに対応する自動化されたＭＬ／ＤＬコンピュータ・モデルに基づくコンポーネントによって技術的に可能になる。

【0094】

入力ボリュームに存在する最小量の解剖学的構造を検出するためのＭＬ／ＤＬコンピュータ・モデル

【0095】

前述したように、入力ボリューム１０５の処理の一部として、入力ボリューム１０５が医用画像の単一のフェーズを表していること、および少なくとも最小量の対象の解剖学的構造が入力ボリューム１０５内で表されていることを保証することが、重要である。最小量の対象の解剖学的構造が入力ボリューム１０５に存在するかどうかを判定するために、１つの例示的実施形態では、決定論理１２８が、入力ボリューム１０５に存在する解剖学的構造（例えば、肝臓）の部分を決定するためにスライス・スコアを推定する、特に構成されてトレーニングされたＭＬ／ＤＬコンピュータ・モデルを実装する。以下では、定義された軸方向スコア技術に基づいて、この構成されてトレーニングされたＭＬ／ＤＬコンピュータ・モデルの実施形態例について説明する。

【0096】

図３Ａは、１つの例示的実施形態に係る、人間の患者の腹部の例示的な入力ボリューム（医用画像）を示す例示的な図である。図３Ａの描写では、３次元ボリュームの２次元表現が示されている。スライスは、図３Ａに示されている２次元表現内では水平線であるが、ページ内に、またはページの外に、あるいはその両方に広がる平面として表されて、人体の平坦化された２次元スライスを表し、これらの平面の積み重ねが３次元画像になる。

【0097】

図３Ａに示されているように、例示的実施形態は、０～１の範囲にわたるスライスの軸方向スコアを定義する。軸方向スコアは、肝臓を含んでいる最初のスライス（ＦＳＬ）に対応するスライスが０のスライス・スコアを有し、肝臓を含んでいる最後のスライス（ＬＳＬ）に対応するスライスが１のスコアを有するように定義される。図に示された例では、最初のスライスおよび最後のスライスは、ボリューム内の最下位スライス（ＭＩＳＶ）およびボリューム内の最上位スライス（ＭＳＳＶ）に関連して定義され、下位および上位は、ボリュームの所与の軸（例えば、図３Ａに示されている例では、ｙ軸）に沿って決定される。したがって、この示された例では、ＭＳＳＶが最も高いｙ軸の値を有するスライスであり、ＭＩＳＶが最も低いｙ軸の値を有するスライスである。例えば、ＭＩＳＶは、生物学的実体の下肢（例えば、人間被験者の足）に最も近くてよく、ＭＳＳＶは、生物学的実体の上部（例えば、人間被験者の頭）に最も近くてよい。ＦＳＬは、ＭＩＳＶに相対的に最も近い、対象の解剖学的構造（例えば、肝臓）を示すスライスである。ＬＳＬは、ＭＳＳＶに相対的に最も近い、対象の解剖学的構造を示すスライスである。１つの例示的実施形態では、トレーニング済みＭＬ／ＤＬコンピュータ・モデル（例えば、ニューラル・ネットワーク）が、スライスのチャンクを入力として受け取り、チャンク内の中央のスライスの高さ（軸方向スコア）を出力することによって、軸方向スコアを割り当ててよい。このトレーニング済みＭＬ／ＤＬコンピュータ・モデルは、実際の高さにおける誤差（例えば、最小二乗誤差）を最小化するコスト関数を使用してトレーニングされる。次に、このトレーニング済みＭＬ／ＤＬコンピュータ・モデルは、入力ボリュームを覆うすべてのチャンクに適用される（場合によっては、チャンク間が多少重複している）。

【0098】

ＭＳＳＶスライスおよびＭＩＳＶスライスのスライス・スコアにそれぞれ対応するスライス・スコアの対（ｓ_ｓｕｐおよびｓ_ｉｎｆ）によって、肝臓軸方向スコア推定値（ＬＡＥ）が定義される。図１の決定論理１２８のＭＬ／ＤＬコンピュータ・モデルは、入力ボリューム１０５のスライス・スコアｓ_ｓｕｐおよびｓ_ｉｎｆを決定するように特に構成されてトレーニングされ、例示的実施形態のメカニズムは、これらのスライス・スコアを認識し、入力ボリューム１０５の視界内で、肝臓の断片を決定することができる。

【0099】

一部の例示的実施形態では、スライス・スコアｓ_ｓｕｐおよびｓ_ｉｎｆは、まず、入力ボリューム１０５をセクション（例えば、Ｘ個のスライス（例えば、２０個のスライス）を含んでいるセクション）に分割し、次に、セクションごとに、構成されてトレーニングされたＭＬ／ＤＬコンピュータ・モデルをセクションのスライスに対して実行して、セクション内の最初のスライスおよび最後のスライスのスライス・スコアｓ'_ｓｕｐおよびｓ'_ｉｎｆを推定することによって、間接的に検出されてよく、「最初」および「最後」は、３次元ボリューム１０５の軸に沿った進行方向（例えば、最小のｙ軸の値のスライスから最大のｙ軸の値のスライスに進む、ｙ軸に沿った最初のスライスから最後のスライスへの進行方向）に従って決定されてよい。ｓ'_ｓｕｐおよびｓ'_ｉｎｆの推定値を前提として、ボリューム１０５全体に対してセクションがどのように位置しているかが分かっているため、外挿によってｓ_ｓｕｐおよびｓ_ｉｎｆの推定値が検出される。ボリュームごとに、ｓ_ｓｕｐおよびｓ_ｉｎｆのｎ個の推定値が存在するということに注意するべきであり、ｎはボリュームごとのセクションの数である。１つの例示的実施形態では、これらのｎ個の推定値の非加重平均を取ることによって、最終的な推定値が取得されるが、他の例示的実施形態では、ｎ個の推定値の他の関数を使用して、最終的な推定値が生成されてよい。

【0100】

例えば、図３Ｂは、対応する軸方向スコアｓ'_ｉｎｆおよびｓ'_ｓｕｐと共に表されたスライスのセクションを含む、図３Ａの入力ボリュームの別の表現を示している。図３Ｂに示されているように、セクションは、この例では５ｍｍ離れた２０個のスライスとして定義されている。ボリュームの２０個のスライスのセクションごとに、ＭＬ／ＤＬコンピュータ・モデルによってスライス・スコアｓ'_ｓｕｐおよびｓ'_ｉｎｆが推定され、所与の範囲（例えば、０～１の範囲、－０．５～１．２の範囲、または特定の実装に適した任意の他の望ましい既定の範囲）に沿ったこれらのｓ'_ｓｕｐおよびｓ'_ｉｎｆの値の外挿から、ｓ_ｓｕｐおよびｓ_ｉｎｆが取得される。この例では、－０．５～１．２の既定の範囲を仮定すると、ＭＬ／ＤＬコンピュータ・モデルおよび外挿の適用によって、ｓ_ｓｕｐが約１．２であると推定され、ｓ_ｉｎｆが－０．５であると推定された場合、これらの値は、肝臓全体がボリュームに含まれているということを示している。同様に、ｓ_ｓｕｐが１．２であると推定され、ｓ_ｉｎｆが０．５であると推定された場合、これらの値は、軸方向の肝臓の範囲の上位の約５０％がボリュームに含まれるということを示しており、例えば被覆率は（１．２－０．５）／（１．２－（－０．５））＝０．４１である。追加の例として、肝臓が－２．０で始まって０．８で終わる（すなわち、ｓ_ｓｕｐが０．８であると推定され、ｓ_ｉｎｆが２．０であると推定された）別の例示的実施形態では、肝臓の上限が１．２より低いため、肝臓が上部で切り取られ、下限が－０．５より低いため、肝臓の下部が完全に覆われる。これは、軸方向の肝臓の範囲の下位の約８０％がボリュームに含まれていることを示しており、すなわち被覆率は（０．８－ｍａｘ（－２， －０．５））／（１．２－（－０．５））＝０．７６である。

【0101】

図３Ｃは、ボリュームがｎ個の完全に重複するセクションに軸方向に分割された、図３Ａの入力ボリュームの例示的な図である。図に示された例では、矢印で示された７つのセクションがある。この例では、最後の２つのセクション（図の上部の矢印）がほぼ完全に同じであるということに注意するべきである。前述したように、ＭＬ／ＤＬコンピュータ・モデルによって、これらのセクションの各々に対してｓ'_ｓｕｐおよびｓ'_ｉｎｆの値が推定され、ＭＳＳＶスライスおよびＭＩＳＶスライスのｓ_ｓｕｐおよびｓ_ｉｎｆの値を外挿するために使用され、ｓ_ｓｕｐおよびｓ_ｉｎｆの値は、その後、入力ボリューム１０５に存在する対象の解剖学的構造の量を決定するために使用され得る。

【0102】

したがって、ＭＳＳＶおよびＭＩＳＶのｓ_ｓｕｐおよびｓ_ｉｎｆの値は、最初に入力ボリューム１０５をセクションに分割し、次にセクションごとに、セクション内の最初のスライスおよび最後のスライスのスライス・スコアｓ'_ｓｕｐおよびｓ'_ｉｎｆを推定することによって、間接的に検出される。これらの推定値を前提として、入力ボリューム１０５全体に対してセクションがどのように位置しているかが分かっているため、ｓ_ｓｕｐおよびｓ_ｉｎｆの値が外挿によって推定される。各セクションから外挿されたｓ_ｓｕｐおよびｓ_ｉｎｆのｎ個の推定値が存在し、ｎはボリュームごとのセクションの数である。例えば、ｎ個の推定値の非加重平均または任意の他の適切な組み合わせ関数などの、ｎ個の推定値を評価する任意の適切な組み合わせ関数によって、最終的な推定値が取得されてよい。

【0103】

図４Ａ～４Ｃは、１つの例示的実施形態に係る、医用画像の入力ボリュームのセクションのｓ'_ｓｕｐおよびｓ'_ｉｎｆの値を推定するように構成されてトレーニングされたＭＬ／ＤＬコンピュータ・モデルの１つの例示的実施形態の例示的な図を示している。図４Ａ～４ＣのＭＬ／ＤＬコンピュータ・モデルは、ＭＬ／ＤＬコンピュータ・モデルのアーキテクチャの一例にすぎず、本発明の思想および範囲から逸脱することなく、入力ボリュームの入力スライスのテンソル・サイズを変更すること、ＭＬ／ＤＬコンピュータ・モデルの層内のノードの数を変更すること、層の数を変更することなどの、このアーキテクチャに対する多くの変更が行われてよい。当業者は、本説明を考慮して、例示的実施形態のＭＬ／ＤＬコンピュータ・モデルを望ましい実装に変更する方法を認識するであろう。

【0104】

図４Ａに示されているように、入力ボリューム１０５のセクション４１０または「スラブ」を表す一連の２０個のスライスが、処理ブロック（ＰＢ：ｐｒｏｃｅｓｓｉｎｇ ｂｌｏｃｋｓ）４２０～４３０に入力として提供される。示された例示的実施形態では、ＰＢ４２０～４３０は、図４Ｂおよび４Ｃに示されているように、畳み込み層およびＬＳＴＭ層を混合する論理のブロックである。ＰＢ４２０、４３０の畳み込み層から特徴が抽出され、次に、これらの特徴がＰＢ４２０、４３０のＬＳＴＭ層に入力として供給される。これは、スライスが解剖学的領域または対象の解剖学的構造（例えば、腹部／肝臓）内で特定の順序を有するという事実の賢明な／軽量のモデル化の一種であり、生体構造（例えば、肝臓の生体構造自体に加えて、肝臓、腎臓、心臓などの相対位置）によって駆動される。図に示された例では、最初に、２０個のスライス４１０のテンソル・サイズは、この例では１２８ｘ１２８である。第１の処理ブロック４２０は、この実施形態例ではテンソルのサイズを８分の１に縮小して、２０個のスライスのセクションを生成し（セクション内のスライスの数は実装に固有であり、本発明の思想および範囲から逸脱することなく変更され得るということが理解されるべきである）、これらのスライスは寸法１６ｘ１６ｘ３２を有し、３２はフィルタの数である。第２の処理ブロック４３０は、入力セクションのスライスを、寸法２ｘ２ｘ６４を有するスライスを含む２０個のスライスのセクションに変換し、６４はフィルタの数である。平坦化層、高密度層、および線形層を使用して構成されたその後のニューラル・ネットワーク４４０は、入力ボリューム１０５の入力セクション４１０の推定値ｓ'_ｓｕｐおよびｓ'_ｉｎｆを生成するように構成されてトレーニングされる。図４Ｂは、１つの例示的実施形態に係る、畳み込み層およびＬＳＴＭ層に関して処理ブロック（ＰＢ）の組成を示しており、図４Ｃは、各ＰＢのこれらの畳み込み層およびＬＳＴＭ層の各々の例示的な構成を示している。

【0105】

一例として、図４Ａ～４ＣのＭＬ／ＤＬコンピュータ・モデルのアーキテクチャでは、このＭＬ／ＤＬコンピュータ・モデルのトレーニング中に、１つの例示的実施形態では、医用画像データ（例えば、医用におけるデジタル画像と通信（ＤＩＣＯＭ：Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）データ）が、入力ボリューム（例えば、ハウンスフィールド単位（ＨＵ：Ｈｏｕｎｓｆｉｅｌｄ Ｕｎｉｔ）の値を含む、Ｓ_ｉｘ５１２ｘ５１２のサイズ、３２ビット浮動小数を有する３次元配列）に組み立てられる（ハウンスフィールド単位の値は、所与の位置（例えば、ボクセル）に提示されている材料のＸ線の減衰を示す正規化された物理値である）。Ｓ_ｉは、ｉ番目のボリューム内のスライスの数であり、ｉは０～Ｎ－１の範囲内であり、Ｎはボリュームの総数である。各入力ボリュームは、体の部位検出器によって処理され、前述したように、（肝臓検出の場合）腹部に対応する近似的領域が抽出される。腹部は、例えば、体の部位検出器からの軸方向スコア－３０と２３の間の連続領域として定義される。この連続領域の外部のスライスは拒否され、グラウンド・トゥルースが、適切に調整されたＦＳＬおよびＬＳＬの位置として定義されてよい。例えば、入力ボリュームの範囲がａ～ｂであると仮定すると、［ａ：ｂ］と［－３０，２３］の間に重複がない場合、入力ボリュームが拒否される。言い換えると、ｂ＞２３またはａ＜－３０の場合である。

【0106】

入力セクション４１０または「スラブ」が、既定のスライスの分離（例えば、５ｍｍ）に再びスライスされる。入力セクション４１０が、ｘ、ｙ次元で１２８ｘ１２８に再形成され、形状Ｍ_ｉｘ１２８ｘ１２８のＮ個のセクション４１０が得られる。これは、入力ボリューム内のデータのダウンサンプリングと呼ばれる。入力ボリューム内のスライスの順序付けは大まかな情報（例えば、臓器のサイズ）に頼るため、ＡＩパイプラインは、ダウンサンプリングされたデータに対してまだ十分に動作し、ダウンサンプリングされたデータのサイズが縮小するため、ＡＩパイプラインの処理時間およびトレーニング時間が両方とも改善される。

【0107】

既定の数（例えば、２０個）未満のスライスを含んでいるか、または既定の画素サイズ（例えば、５５ｍｍ）未満の画素サイズを有している入力セクション４１０が拒否され、Ｎ'個のＭ_ｉｘ１２８ｘ１２８のセクションが得られる。セクション内の値は、クリッピングされ、取得範囲（例えば、－１０２４，２０４８）から範囲（０，１）への線形変換を使用して正規化される。この時点で、処理されたＮ'個のＭ_ｉｘ１２８ｘ１２８のセクションは、前述したようにトレーニング・セットを構成し、このトレーニング・セットに対してニューラル・ネットワーク４４０が、入力セクションのｓ'_ｓｕｐおよびｓ'_ｉｎｆの推定値を生成するようにトレーニングされる。

【0108】

トレーニング済みニューラル・ネットワーク４４０を使用して推論を実行することに関しては、体の部位検出、対象の体の部位に対応するスライスの選択、再スライス、再形成、既定の要件を満たさない特定のセクションの拒否、およびクリッピングされて正規化されたセクションの生成によって入力ボリューム１０５を処理するための上記の動作が、入力ボリューム１０５の新しいセクションに関して再び実行される。クリッピングされて正規化されたセクションの生成後に、入力ボリューム１０５が、２０個のスライスを含んでいるＲ－ｃｅｉｌ（Ｍ－１０）／１０個のサブボリュームまたはセクションに分割され、それによって、重複するチャンクを含むスライスの分割を生成する。例えば、Ｎ'＝３１個のスライスのボリューム（０～３０の番号が付けられたスライス）が存在する場合、重複するスライス０～１９、１０～２９、１１～３０を含んでいる３つのセクションまたはサブボリュームが定義される。セクションまたはサブボリュームは、通常、少なくとも約５０％の重複を有する。

【0109】

したがって、ＭＬ／ＤＬコンピュータ・モデルが、定義された軸方向スコアの範囲０～１を前提として、既定の数のスライス（医用画像）に対応するボリュームのセクションのｓ'_ｓｕｐおよびｓ'_ｉｎｆの値の推定値に基づいて入力ボリュームのｓ_ｓｕｐおよびｓ_ｉｎｆの値を推定するように、提供され、構成され、トレーニングされる。これらの推定値から、入力ボリュームが、少なくとも既定の量の対象の解剖学的構造（例えば、肝臓）を一緒に構成する医用スライスを含んでいるかどうかに関する判定が行われ得る。この判定は、前述したように、ＡＩパイプライン１００のさらに下流の段階において正確な肝臓／病変検出、病変セグメント化などを可能にするために、解剖学的構造の十分な表現が入力ボリューム１０５に存在するかどうかを判定するための、ＡＩパイプライン１００の決定論理１２８の一部であってよい。

【0110】

図５は、１つの例示的実施形態に係る、ＡＩパイプラインの肝臓検出および既定の量の解剖学的構造決定論理の例示的な動作の概要を示すフローチャートである。図５に示されているように、ＡＩパイプラインの肝臓検出動作が、入力ボリュームを受信することから開始し（ステップ５１０）、入力ボリュームを、セクションごとの既定の数のスライスの複数の重複するセクションに分割する（ステップ５２０）。セクションごとのスライスが、各セクション内の最初のスライスおよび最後のスライスの軸方向スコアを推定するトレーニング済みＭＬ／ＤＬコンピュータ・モデルに入力される（ステップ５３０）。最初のスライスおよび最後のスライスの軸方向スコアが、入力ボリュームのボリューム内の最下位スライス（ＭＩＳＶ）およびボリューム内の最上位スライス（ＭＳＳＶ）のスコアに外挿するために使用される（ステップ５４０）。これによって、ＭＩＳＶおよびＭＳＳＶの軸方向スコアの複数の推定値が得られ、次にこれらの推定値が、個別の推定値の関数によって結合され、それによって、入力ボリュームのＭＩＳＶおよびＭＳＳＶの軸方向スコアの推定値を生成する（例えば、加重平均など）（ステップ５５０）。ＭＩＳＶおよびＭＳＳＶの軸方向スコアの推定値に基づいて、軸方向スコアが、既定の量の対象の解剖学的構造（例えば、肝臓）が入力ボリュームに存在するかどうかを判定するための基準と比較される（ステップ５６０）。その後、動作が終了する。

【0111】

［肝臓／病変検出］

【0112】

前述したように、入力ボリューム１０５が単一フェーズを表すと決定され、入力ボリューム１０５が入力ボリューム１０５のスライスにおいて、既定の量の対象の解剖学的構造を表すと決定されていると仮定すると、対象の解剖学的構造を含む入力ボリューム１０５の部分に対して、肝臓／病変検出が行われる。１つの例示的実施形態では、ＡＩパイプライン１００の段階１３０の肝臓／病変検出論理では、入力ボリューム１０５のスライスにおいて対象の解剖学的構造（例えば、肝臓）を検出するように動作する、構成されてトレーニングされたＭＬ／ＤＬコンピュータ・モデル（また、一部の例示的実施形態では、これは、肝臓検出のために段階１２０で使用されるのと同じＭＬ／ＤＬコンピュータ・モデル１２５であり得る）を採用する。ＡＩパイプライン１００の段階１３０の肝臓／病変検出論理は、対象の解剖学的構造（肝臓）の画像において病変を検出するように構成され、トレーニングされた複数の他のＭＬ／ＤＬコンピュータ・モデルの集団も含む。

【0113】

図６は、１つの例示的実施形態に係る、対象の解剖学的構造（例えば、肝臓）において病変検出を実行するのに使用されるＭＬ／ＤＬコンピュータ・モデルの集団の例示的な図である。ＭＬ／ＤＬコンピュータ・モデルの集団６００は、対象の解剖学的構造、例えば肝臓を検出し、対応するマスクを生成するための第１のＭＬ／ＤＬコンピュータ・モデル６１０を含む。ＭＬ／ＤＬコンピュータ・モデルの集団６００は、第２のＭＬ／ＤＬコンピュータ・モデル６２０も含み、この第２のＭＬ／ＤＬコンピュータ・モデル６２０は、第２のＭＬ／ＤＬコンピュータ・モデル６２０の２つのデコーダにおいて実装された２つの競合する損失関数を使用して、肝臓マスク入力を処理し、病変予測を生成するように構成されてトレーニングされる。一方の損失関数は、偽陽性誤差にペナルティを科すように構成され（低感度をもたらすが、高精度）、他方は、偽陰性誤差にペナルティを科すように構成されている（高感度をもたらすが、低精度）。図６において一貫性の損失６２７と呼ばれる追加の損失関数が、第２のＭＬ／ＤＬコンピュータ・モデル６２０に採用され、２つの競合するデコーダによって生成された出力を互いに同様な（一貫性のある）ものにさせる。ＭＬ／ＤＬコンピュータ・モデルの集団は、入力ボリューム１０５を直接処理し、病変予測を生成するように構成されてトレーニングされた第３のＭＬ／ＤＬコンピュータ・モデル６３０も含む。

【0114】

図６に示され、前述したように、集団６００は、具体的には、入力医用画像において、対象の解剖学的構造を識別するように構成されてトレーニングされた第１の構成されてトレーニングされたＭＬ／ＤＬコンピュータ・モデル６１０を含む。一部の例示的実施形態では、この第１のＭＬ／ＤＬコンピュータ・モデル６１０は、画像解析を実行して医用画像内で肝臓を検出するように構成されてトレーニングされたＵ－Ｎｅｔニューラル・ネットワーク・モデル６１２を含むが、例示的実施形態が、この特定のニューラル・ネットワーク・モデルに限定されず、セグメント化を実行することができる如何なるＭＬ／ＤＬコンピュータ・モデルも、本発明の思想および範囲から逸脱することなく利用され得ることが理解されるべきである。Ｕ－Ｎｅｔは、ドイツにあるフライブルグ大学のコンピュータ・サイエンス学部において医用生体画像のセグメント化に展開される畳み込みニューラル・ネットワークである。Ｕ－Ｎｅｔニューラル・ネットワークは、アーキテクチャが、より少ないトレーニング画像で働くように、またより正確なセグメント化をもたらすように修正され、拡張された完全畳み込みネットワークに基づいている。Ｕ－Ｎｅｔは、当技術分野において一般的に知られているため、本明細書ではより詳細には説明しない。

【0115】

図６に示されるように、１つの例示的実施形態では、第１のＭＬ／ＤＬコンピュータ・モデル６１０が、その枚数が望ましい実装に適していると判定された、例えば、経験的プロセスを通して、３枚のスライスが良い結果をもたらすと判定された時点で既定の枚数のスライスを処理するようにトレーニングされ得る。例えば、他の実装では、例示的実施形態の思想および範囲から逸脱することなく異なるスライス寸法を使用することができるが、この入力ボリュームのスライスは、１つの例示的実施形態では、５１２ｘ５１２画素医用画像であった。Ｕ－Ｎｅｔは、対象の解剖学的構造、例えば肝臓に対応する１つまたは複数のセグメントをもたらす、入力スライスにおいて解剖学的構造のセグメント化を生成する。第１のＭＬ／ＤＬコンピュータ・モデル６１０は、このセグメント化の一環として、肝臓マスク６１４に相当するセグメントを生成する。この肝臓マスク６１４は、肝臓に対応する入力ボリューム１０５の入力スライスの部分のみに対するＭＬ／ＤＬコンピュータ・モデル６２０による処理に焦点を合わせるために、集団６００の他のＭＬ／ＤＬコンピュータ・モデル６２０のうちの少なくとも１つに入力として与えられる。肝臓マスク６１４によりＭＬ／ＤＬコンピュータ・モデルへの入力を前処理することによって、ＭＬ／ＤＬコンピュータ・モデルによるこの処理は、対象の解剖学的構造に対応する入力スライスの部分に焦点を合わせられ得、入力画像における「ノイズ」には焦点を合わせられない。ＭＬ／ＤＬコンピュータ・モデルのうちのその他は、例えばＭＬ／ＤＬコンピュータ・モデル６３０は、第１のＭＬ／ＤＬコンピュータ・モデル６１０によって生成された肝臓マスク６１４を使用して、肝臓マスク加工することなく入力ボリューム１０５を直接受信する。

【0116】

示された集団６００の例示的実施形態では、第３のＭＬ／ＤＬコンピュータ・モデル６３０が、エンコーダ・セクション６３４～６３６およびデコーダセクション６３８で構成されている。ＭＬ／ＤＬコンピュータ・モデル６３０は、入力ボリューム１０５の９枚のスライス・スラブを受信し、この９枚のスライス・スラブが、今度は、それぞれ３枚のスライスのグループ６３１～６３３に分けられるように構成され、この場合、各グループ６３１～６３３は、対応するエンコーダネットワーク６３４～６３６への入力である。各エンコーダ６３４～６３６は、入力スライスに存在する様々な種類のオブジェクト（例えば、病変）を認識し、入力スライスに存在するオブジェクトの検出された種類のを示す分類出力を、例えば出力分類ベクトルなどとして出力するように予めトレーニングされている、完全に接続されたヘッドのない、ＤｅｎｓｅＮｅｔ－１２１（Ｄ１２１）などの畳み込みニューラル・ネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）である。ＣＮＮ６３４～６３６は、例えば、入力スライスの３つのチャネルに対して働くことができ、結果として生じたＣＮＮ６３４～６３６の出力特徴は、連結ＮＨＷＣ論理６３７に提供され、ここで、ＮＨＷＣとは、バッチ内の画像枚数（Ｎ）、画像の高さ（Ｈ）、画像の幅（Ｗ）、および画像のチャネル個数（Ｃ）を指すものである。元のＤｅｎｓｅＮｅｔネットワークのアーキテクチャは、３枚のスライスフル解像度入力を、より小さい解像度の多くの特徴チャネルにダウンサンプリングする、多くの畳み込み層とｓｋｉｐ－ｔｒｕｅの接続を含む。そこから、完全に接続されたヘッドは、すべての特徴を集約し、それらをＤｅｎｓｅＮｅｔの最終的な出力において複数のクラスにマッピングする。ＤｅｎｓｅＮｅｔネットワークが示されたアーキテクチャではエンコーダとして使用されることから、このヘッドは、取り除かれ、ダウンサンプリングされた特徴のみが保たれる。それにより、連結ＮＨＷＣ論理６３７では、特徴チャネルのすべてが、望ましい（例えば、５１２ｘ５１２）出力確率マップ解像度に達するまで、画像をアップサンプリングする役割を担うデコーダ段階６３８にそれらを移行させるように、連結されている。

【0117】

エンコーダ６３４～６３６は、トレーニング・プロセスを通して最適化された同じパラメータ、例えば、重み、トレーニング時の病変型に対するサンプリング、損失に対する重み、拡大タイプなどを共有する。ＭＬ／ＤＬコンピュータ・モデル６３０のトレーニングでは、２つの異なる損失関数を使用する。主要損失関数は、グラウンド・トゥルースに病変がないスライスにおける偽陽性誤差にペナルティを科すように、またグラウンド・トゥルースに病変があるスライスにおける偽陰性誤差にペナルティを科すように具体的に構成されている適応損失である。損失関数は、以下のような改訂版のＴｖｅｒｓｋｙ損失である。各出力スライスに対して：ＴＰ＝ｓｕｍ（ｐｒｅｄｉｃｔｉｏｎ＊ｔａｒｇｅｔ）ＦＰ＝ｓｕｍ（（１－ｔａｒｇｅｔ）＊ｐｒｅｄｉｃｔｉｏｎ）ＦＮ＝ｓｕｍ（（１－ｐｒｅｄｉｃｔｉｏｎ）＊ｔａｒｇｅｔ）ＬＯＳＳ＝１－（（ＴＰ＋１）／（ＴＰ＋１＋ａｌｐｈａ＊ＦＮ＋ｂｅｔａ＊ＦＰ））ここでは、「ｐｒｅｄｉｃｔｉｏｎ」は、ＭＬ／ＤＬコンピュータ・モデル６３０の出力確率であり、「ｔａｒｇｅｔ」は、グラウンド・トゥルース病変マスクである。出力確率値は、０～１の範囲である。ｔａｒｇｅｔは、スライスにおける画素ごとに０または１のいずれかの値である。それらに病変がないスライスでは、「ａｌｐｈａ」、という用語は、小さい（例えば、ゼロ）であり、「ｂｅｔａ」は、大きい（例えば、１０）である。それらに病変があるスライスでは、「ａｌｐｈａ」、という用語は、大きい（例えば、１０）であり、「ｂｅｔａ」は、小さい（例えば、１）である。

【0118】

第２の損失関数６３９は、エンコーダ６３４～６３６の出力に接続されている関数である。この損失に対する入力がＭＬ／ＤＬコンピュータ・モデル６３０の中間から来ているので、それは、「深層監視」６３９とも呼ばれる。深層監視は、それが、エンコーダ・ニューラル・ネットワーク６３４～６３６に、トレーニング時に、入力データの表現をより良く学習するように強いることが分かっている。１つの例示的実施形態では、この第２の損失は、スライスに病変があるかどうかを予測する際の単純な平均二乗誤差である。それゆえ、マッピング・ネットワークが、９個のスライス入力のそれぞれで病変がある確率に相当する０～１の９個の値にエンコーダ６３４～６３６の出力特徴をマッピングするのに使用される。デコーダ６３８は、入力画像において検出された病変に対して確率マップを指定する出力を生成する。

【0119】

第２のＭＬ／ＤＬコンピュータ・モデル６２０は、肝臓マスク６１４に対応する３枚のスライスの一部を識別するように、第１のＭＬ／ＤＬコンピュータ・モデル６１０によって生成された肝臓マスク６１４により前処理されている、３枚のスライスの前処理済み入力を入力ボリュームから受信する。結果として生じた前処理済み入力スライス（示された例示の例示的実施形態では、サイズ１９２ｘ１９２ｘ３のものである）は、２つのデコーダ（デコーダが２次元ニューラル・ネットワーク層から成る、２Ｄ ＤＥＣを表す）に接続されたＤｅｎｓｅＮｅｔ－１６９（Ｄ１６９）エンコーダ６２１を備える第２のＭＬ／ＤＬコンピュータ・モデル６２０に提供される。Ｄ１６９エンコーダ６２１は、コンピュータ・ビジョン・アプリケーションに広く使用されている、ニューラル・ネットワーク特徴抽出装置である。これは、各層から抽出された特徴がフィード－フォーワード方式で任意の他の層にも接続されている一連の畳み込み層から成る。エンコーダ６２１において抽出された特徴は、２つの独立したデコーダ６２２、６２３に移送され、そこでは、各デコーダ６２２、６２３が、２次元畳み込み層およびアップサンプリング層（図６では２Ｄ ＤＥＣと呼ばれる）で構成されている。各デコーダ６２２、６２３は、入力スライスにおいて病変（例えば、肝臓病変）を検出するようにトレーニングされる。両デコーダ６２２、６２３は、同じタスク、すなわち、病変検出を実行するようにトレーニングされるが、それらのトレーニングにおける鍵となる違いは、２つのデコーダ６２２、６２３がそれぞれ、これまでに述べ、また以下にも述べるように、２つの競合する方向に検出トレーニングを駆動するために、異なる損失関数を利用することである。第２のＭＬ／ＤＬモデル６２０の最終的な検出マップが、平均演算６４０を用いて、第３のＭＬ／ＤＬモデル６３０の最終的な検出マップと結合される。この手順は、最終的な検出マップ（例えば、肝臓病変）を生成するように、入力ボリューム１０５の入力スラブのすべてにわたって適用される。

【0120】

前述したように、対向する検出動作点性能を実現しようと試みる、第２のＭＬ／ＤＬコンピュータ・モデル６２０が、２つの異なる損失関数を使用してトレーニングされる。すなわち、一方のエンコーダ６２２が、偽陰性病変検出における誤差にペナルティを科し、ひいては比較的低い精度で高感度検出を生成する、トレーニング用に損失関数を使用し、他方のエンコーダ６２３が、偽陽性病変検出における誤差にペナルティを科し、低感度検出ではあるが高精度の検出をもたらす、トレーニング用の損失関数を使用する。これらの損失関数の一例としては、パラメータが、１つの例示的実施形態に従って、偽陽性および偽陰性の高いまたは低いペナルティに合わせて調整されたＦｏｃａｌ Ｔｖｅｒｓｋｙ Ｌｏｓｓを挙げることができる（Ａｂｒａｈａｍらによる「Ａ Ｎｏｖｅｌ Ｆｏｃａｌ Ｔｖｅｒｓｋｙ Ｌｏｓｓ ｆｕｎｃｔｉｏｎ ｗｉｔｈ Ｉｍｐｒｏｖｅｄ Ａｔｔｅｎｔｉｏｎ Ｕ－Ｎｅｔ ｆｏｒ Ｌｅｓｉｏｎ Ｓｅｇｍｅｎｔａｔｉｏｎ」、ａｒＸｉｖ：１８１０．０７８４２［ｃｓ］、Ｏｃｔｏｂｅｒ ２０１８を参照）。第３の損失関数である一貫性の損失６２７は、各デコーダ６２２、６２３の予測検出間の一貫性を強いるのに使用される。一貫性の損失論理６２７では、２つのエンコーダ６２２、６２３の出力６２４、６２５を互いに比較し、これらの出力が互いに同様であるよう強いる。この損失は、例えば、２つの予測検出間の平均二乗誤差損失、構造上類似性損失、または比較対象予測検出間に一貫性／類似性を強いる任意の他の損失でもあり得る。

【0121】

ランタイムでは、これらの対抗する動作点エンコーダ６２２、６２３を使用して、第２のＭＬ／ＤＬコンピュータ・モデル６２０が、病変出力の平均値を生成するスライス平均化（ＳＬＣ ＡＶＧ）論理６２３に入力される２つの病変出力６２４、６２５を生成する。それにより、この病変出力の平均値は、比較対象の第３のＭＬ／ＤＬコンピュータ・モデル６３０の出力に寸法が釣り合う出力を生成するように再度サンプリングされる（このプロセスが肝臓マスク化動作を逆戻りさせ、それによって、元の５１２ｘ５１２ｘ３解像度で病変出力を計算することから成ることに注意されたい）。

【0122】

ランタイムにおいて、スライス平均化（ＳＬＣ ＡＶＧ）論理６２６では、エンコーダ６２２、６２３の病変予測出力６２４および６２５に対して、ＭＬ／ＤＬモデル６２０の最終的な検出マップを生成するように動作する。各デコーダ６２２、６２３を駆動して一貫性のある検出を学習させるトレーニング時に一貫性の損失６２７が適用されたが、ランタイムにおいて、この一貫性の損失が利用されなくなり、代わりにＭＬ／ＤＬモデル６２０が、ＳＬＣ ＡＶＧモジュール６２６によって集約される必要がある２つの検出マップを出力することが理解されるべきである。ＳＬＣ ＡＶＧ論理６２６の結果が再度サンプリングされ、入力スラブ（５１２ｘ５１２ｘ３）と釣り合う寸法を有する出力を生成する。入力ボリューム１０５のスラブごとに生成されたＭＬ／ＤＬモデル６２０の検出はすべて、ボリューム平均化（ＶＯＬ ＡＶＧ）論理６４０を経て生成されたＭＬ／ＤＬモデル６３０の検出と結合される。この論理では、ボクセル・レベルで２つの検出マスクの平均値を計算する。この結果は、入力ボリューム１０５において検出された病変に対応するＦｉｎａｌ Ｌｅｓｉｏｎ ｍａｓｋ６５０である。

【0123】

このように、ＭＬ／ＤＬコンピュータ・モデル６２０、６３０をトレーニングした後、新しい入力ボリューム１０５の新しいスライスにより提示されると、第１のＭＬ／ＤＬコンピュータ・モデル６１０が、第２のＭＬ／ＤＬコンピュータ・モデル６２０への入力を前処理するのに肝臓マスク６１４を生成し、２つのＭＬ／ＤＬコンピュータ・モデル６２０、６３０が、入力スライスを、ボリューム平均化論理６４０によってそのボリュームに対して平均化される病変予測を生成するように処理する。この結果は、第１のＭＬ／ＤＬコンピュータ・モデル６１０の動作に基づく肝臓マスク出力６６０を伴う最終的な病変出力６５０である。これらの出力は、上でこれまでに述べたように、また以下でより詳細に説明するように、ＡＩパイプライン１００の病変セグメント化論理段階１４０に提供される、ＡＩパイプライン１００の肝臓／病変検出論理段階１３０出力として提供され得る。このように、例示的実施形態のメカニズムは、医用画像（スライス）の入力ボリューム１０５における解剖学的構造識別および病変検出に集団６００手法を提供する。

【0124】

図６に示されるような集団アーキテクチャにより、ＭＬ／ＤＬコンピュータ・モデル１つのみの使用を凌ぐ向上した性能が実現される。すなわち、集団アーキテクチャの使用を通して、ＭＬ／ＤＬコンピュータ・モデル１つのみと同じ感度レベルにおける向上した検出特異度が、集団の複数のＭＬ／ＤＬコンピュータ・モデルの検出出力の結合を通して実現されることが観察される。すなわち、様々な場所におけるＭＬ／ＤＬモデル６２０、６３０が犯した誤差（偽陽性）により、それらの検出出力が平均化されている場合、真陽性病変からの信号が優勢である一方で偽陽性からの信号が減り、性能向上につながる。

【0125】

図７は、１つの例示的実施形態に係る、ＡＩパイプラインにおける肝臓／病変検出論理の例示的な動作の概要を示すフローチャートである。図７に示されるように、動作は、解剖学的構造（例えば、肝臓）を識別するように構成されてトレーニングされたＵ－Ｎｅｔコンピュータ・モデルなどの第１のトレーニング済みＭＬ／ＤＬコンピュータ・モデルを使用して、入力ボリュームを受信し（ステップ７１０）、解剖学的構造検出、例えば肝臓検出を実行することによって始まる（ステップ７２０）。解剖学的構造検出の結果は、解剖学的構造に対するマスク（例えば、肝臓マスク）を識別するための入力ボリュームのセグメント化である（ステップ７３０）。この入力ボリュームは、病変検出を実行するように具体的に構成されてトレーニングされた、集団の第１のトレーニング済みＭＬ／ＤＬコンピュータ・モデルを介しても処理される（ステップ７４０）。第１のトレーニング済みＭＬ／ＤＬコンピュータ・モデルは、入力ボリュームのその処理に基づき、病変検出予測出力の第１のセットを生成する（ステップ７５０）。

【0126】

集団の第２のトレーニング済みＭＬ／ＤＬコンピュータ・モデルは、生成された解剖学的構造マスクを入力ボリュームに適用することによって生成されたマスク付き入力を受信し、それにより、対象の解剖学的構造に対応する医用画像の部分を入力ボリュームにおいて識別する（ステップ７６０）。第２のトレーニング済みＭＬ／ＤＬコンピュータ・モデルは、２つの異なる、競合する損失関数、例えば、偽陽性病変検出において誤差にペナルティを科すものと、偽陰性病変検出において誤差にペナルティを科すもう一つ、を有する２つの異なるデコーダを介してマスク付き入力を処理する（ステップ７７０）。この結果は、その後、第２のＭＬ／ＤＬコンピュータ・モデルの病変予測出力を生成するように結合論理を通して結合される病変予測出力の２つのセットである（ステップ７８０）。必要であれば、第２の病変予測出力が再度サンプリングされ、最終的な病変予測出力を生成するように集団の第１のＭＬ／ＤＬコンピュータ・モデルによって生成された第１の病変予測出力と結合される（ステップ７９０）。それにより、最終的な病変予測出力が解剖学的構造マスクを伴って出力され（ステップ７９５）、動作が終了する。

【0127】

［病変セグメント化］

【0128】

前述したように、様々なＭＬ／ＤＬコンピュータ・モデルの動作、また体の部位検出、対象の体の部位決定、フェーズ分類、対象の解剖学的構造の識別、および解剖学的構造／病変検出を含む、ＡＩパイプラインの論理の段階を通して、病変予測出力が生成される。例えば、図１に示されるＡＩパイプライン１００では、ＡＩパイプライン１００の肝臓／病変検出段階１３０の結果には、肝臓の１つまたは複数の輪郭（輪郭線）、さらには検出された病変１３５に対応する医用画像データ要素の部分を識別する検出マップ、例えば、入力ボリューム１０５において検出された肝臓病変のボクセルごとのマップが含まれる。それにより、検出マップが、ＡＩパイプライン１００の病変セグメント化段階１４０に入力される。

【0129】

前述したように、病変セグメント化論理では、例えば図１における病変セグメント化段階１４０では、流域技術および対応するＭＬ／ＤＬコンピュータ・モデルを使用して、入力ボリュームの医用画像（スライス）の画像要素分割を生成するように検出マップを分割する。肝臓病変セグメント化段階は、画像要素分割に基づき入力ボリュームのスライスに存在する病変に対応する輪郭のすべてを識別し、３次元内でどの輪郭が同じ病変に対応するかを識別するための動作を実行する、１つまたは複数の他のＭＬ／ＤＬコンピュータ・モデルなどの他のメカニズムも提供する。この病変セグメント化段階では、３次元の病変分割を生成するように、相互に関連付けられた病変輪郭を集約する、１つまたは複数のさらなるＭＬ／ＤＬコンピュータ・モデルなどのメカニズムをさらに装備する。

【0130】

病変セグメント化では、各病変に個別に焦点を合わせ、能動的輪郭解析を実行するために、医用画像内で表された病変画像要素および肝臓以外の組織のインペインティングを使用する。このようにして、医用画像内の他の病変に起因して解析にバイアスをかけることも、肝臓の外側の画像の部分に起因して解析にバイアスをかけることもなく、個別の病変が識別され、処理されてよい。この病変セグメント化の結果は、入力ボリュームにおけるそれらの対応する輪郭線または輪郭による病変のリストである。

【0131】

図８では、１つの例示的実施形態に係る、病変セグメント化論理によって行われる病変セグメント化プロセスの態様の概観のブロック図を示す。図８に示されるように、病変セグメント化は、２次元検出、すなわち、スライスごとに２次元スライスにある病変の検出を分割し（ブロック８１０）、ｚ軸に沿って２次元病変を接続し（ブロック８２０）、そしてスライスごとに輪郭を精密化する（ブロック８３０）の際のメカニズムに及ぶ。これらのブロックのそれぞれについては、後続の図面に関して以下でより詳細に述べる。図８に示されるセグメント化プロセスは、解析下の所与の入力ボリュームにおいて病変をすべて識別し、入力ボリュームの画像（スライス）において互いに近くにある病変を見分ける際のプロセスとして実装される。例えば、１枚または複数枚の画像における画素期間で融合するように見える２つの病変は、病変分類時、また、医用ビューイング・アプリケーションを装備する、治療推奨動作を実行する、意思決定支援動作を実行するなど、下流コンピューティング・システム動作対象の病変のリストの出力における別個の病変識別の際など、検出された病変の他の下流処理を行う目的で２つの異なる領域すなわち見分けの付く病変として識別される必要があり得る。

【0132】

ブロック８１０におけるスライスごとの２Ｄ画像の分割の一環として、例示的実施形態のメカニズムでは、ＡＩパイプラインのそれまでの病変検出段階からの検出マップ、例えば、図１におけるＡＩパイプライン１００の肝臓／病変検出論理１３０により生成された検出マップ１３５を分割するのに既存の流域技術を使用する。流域アルゴリズムでは、マスク分割を実行するのにシード定義が必要となる。これによって、図１０Ａおよび１０Ｃに示されるように、マスクがシードと同じ数の領域に分割されることになり、すべての領域のほぼ中央に厳密に１つのシードが配置されるようにする。自動セグメント化では、マスク内のシードは、その距離マップ（マスク輪郭までの間隔）の極大値として得られ得る。ただし、このような手法は、ノイズを起こしやすく、多すぎるシードにつながる可能性があり、それによりマスクを過剰分割する可能性がある。そのため、その領域のうちの一部をグループ分けし直すことによって、分割に手を入れる必要がある。ほとんどの病変が泡形状のものであるという経験的観察を考えると、領域グループ分けし直しに指針となる原則は、ほぼ円形の新しい領域を結果としてもたらすことである。例えば、図１０Ｃに示されるマスクの場合、メカニズムは、それぞれシード１０５１、１０６１で識別される２つの領域を融合させ、それにより、２つのみのほぼ丸い領域で構成されている新しいマスク分割をもたらすようになる。このように、これ以降で説明される図９の左側に示される病変など、検出マップ１３５に画定された検出された病変の場合、図９の右側に示されるように、数個の泡形状の病変にセグメント化され得る。それらは、スライス上の３Ｄ病変の断面と見なされることになる。

【0133】

流域セグメント化は、その起源が数学形態学にある領域ベースの方法である。流域セグメント化では、画像は、尾根および谷のある局所的な景観として見なされる。この景観の高度値は、通常、それぞれの画素の濃淡値またはそれらの勾配の大きさによって定義され、それにより、３次元表現として２次元表現を見なす。流域変換では、画像を「キャッチメント・ベースン」に分解する。極小値ごとに、キャッチメント・ベースンは、その最急降下路がその最小値で終わるすべての点を含む。流域は、ベースンを互いに分ける。流域変換では、画像を完全に分解し、各画素を領域にでも流域にでも割り当てる。

【0134】

流域セグメント化では、画像の各オブジェクトの内部の「シード」点とも呼ばれる、少なくとも１つのマーカーの選択を必要とする。シード点は、オペレータによって選択され得る。１つの実施形態では、シード点は、そのオブジェクトの特定用途向け知識を考慮する自動手順によって選択される。オブジェクトが印付けされたのを受けて、それらは、形態流域転換を使用して、以下にさらに詳細に説明されるように成長することができる。病変は、通常、「泡」形状である。この例示的実施形態は、この仮定に基づき流域分割済み領域を融合させるための技術を提供する。

【0135】

次に、ブロック８２０において、例示的実施形態のメカニズムが、３次元出力を生成するように、ｚ方向に沿ってスライスのそれぞれに対してボクセル分割を集約する。そのため、このメカニズムは、様々なスライスにおける画像要素の２つのセット、例えばボクセルが同じ病変に属するかどうか、すなわち、それらが３次元で位置が揃っているかどうかを判定する必要がある。メカニズムは、その病変の共通集合および和集合に基づき、隣り合うスライスにある病変間の測定値を計算し、回帰モデルを適用して、隣り合うスライスにある２つの病変が、同じ領域の一部であるかどうかを判定する。各病変をボクセルのセットとして見ることができ、メカニズムは、２つの病変の交差をボクセルの２つのセットの交差と判定し、２つの病変の和集合をボクセルの２つのセットの和集合と判定する。

【0136】

これは、この病変の３次元分割をもたらすが、輪郭が、実際の画像にうまく合わないことがある。過剰なセグメント化病変がある可能性がある。例示的実施形態では、セグメント化問題に取り組むのに従来のフレームワークである、能動的輪郭形成を使用することを提案する。このようなアルゴリズムは、輪郭を画像データに徐々にうまく合わせるように、繰り返し輪郭に手を加え、この間、それが形状平滑度などのいくつかの望ましい性質を確実に維持することを保証することを求める。ブロック８３０において、例示的実施形態のメカニズムが、分割が第１の段階８１０および第２の段階８２０から得られる能動的輪郭を開始し、一度に１つの病変に焦点を合わせ、そうでなければ、類似した病変において運用中の能動的輪郭またはランダム・セグメント化法が、それらが１つの輪郭にまた融合されることをもたらし得るが、それは、これまでの分割段階によってもたらされた利益が事実上取り消されることになるので、非生産的である。このメカニズムは、１つの病変に焦点を合わせ、焦点下で病変付近にある病変ボクセルおよび肝臓以外の組織に対して「インペインティング」を実行する。

【0137】

これら３段階の処理の連鎖により、画像にある他の病変によって、または肝臓の外側の画素すなわち病変によって偏りがなくなる処理が可能になる。

【0138】

［スライスごとの２Ｄ検出の分割］

【0139】

図９には、１つの例示的実施形態に係る、病変検出およびスライスごとの分割の結果を示す。図９の左側に見られるように、病変域９１０が、それまでの上記のＡＩパイプライン・プロセスを通して検出され、病変検出論理、例えば図１における１３０からの、輪郭および検出マップ、例えば図１における１３５の出力において画定され得る。１つの例示的実施形態によれば、図８におけるブロック８１０の論理は、図９の右側に示されるように、この領域を３つの病変９１１、９１２、および９１３に分割するよう試みる。この例示的実施形態の分割メカニズムは、ＡＩパイプラインのそれまでの病変検出段階からの検出マップを分割するように動作する既存の流域技術に基づいている。流域アルゴリズムが、セグメント化目的で、主に画像処理に使用される。これらの知られている流域アルゴリズムの背後にある根本原理は、高強度が峰および丘を示す一方、低強度が谷を示す地理的表面としてグレースケール画像を見ることができることである。流域技術は、孤立した谷（極小値）ごとに色の異なる水（ラベル）を満たすことから始まる。付近の峰（勾配）に応じて水位が上がるにつれて、それぞれ色が異なる谷からの水が融合し始める。これを避けるのに、水が融合する場所に隔壁が築かれる。水を満たし、隔壁を築く作業は、作り出された隔壁がセグメント化結果を与える時点ですべての峰が水面下になるまで、続く。この場合もやはり、流域技術が一般的に知られているので、詳細には本明細書では説明しない。本発明の思想および範囲から逸脱することなく、スライスごとに２Ｄ画像を分割するのに、知られている如何なる技術も使用され得る。

【0140】

病変セグメント化との関連において、ほとんどの病変が円形状であるという経験的観測は、丸い領域のセットをもたらす分割がおそらく良い分割であることを強く示唆する。しかし、これまで述べたように、流域型分割の質は、シードの質で決まってくる。実際のところ、シードの任意のセットが、丸い領域のセットにつながる必要はない。例えば、図１０Ｃでは、ほぼ円形の領域を１つのみ含む３つのシードによって誘発された流域分割を示す。他の２つの領域は、円形ではない。ただし、それらの和集合もまたほぼ円形である。図における斜め分割が他の円形領域を２つのより小さな非円形領域に割ることから、このような構成は、過剰分割と言われる。そのため、過剰分割を補正することができるアルゴリズムを備えることが望ましい。シードの再ラベル付けメカニズムが、いくつかの過剰分割領域を丸形状の領域しか含まないより雑な分割を成すように融合させることによってこれを行う。例えば、このメカニズムは、図１０Ｃにおける分割に対して、シード１０５１および１０６１で識別される２つの領域を融合させることによって、より円形の新しい領域が作られることを決める。

【0141】

この例示的実施形態は、分割において領域を融合させて、身体的病変に対応し得る、より丸くより大きな領域にする。この分割により、あるエリアがより小さな領域に割られるか、または本明細書で説明されるように、この分割により、あるマスクがより小さな領域に割られる。輪郭の面では、分割により、大きな輪郭から、より小さな輪郭のセットを生成する（図９の左右を参照）。

【0142】

シードは、分割すべき入力マスクから計算された距離マップから極大値を抽出することによって得られる。マップでは、画素ごとに、マスク輪郭までのユークリッド距離を測定する。入力マスクのトポロジによっては、この距離マップから導出された極大値が流域アルゴリズムによって過剰断片化分割につながる可能性がある。この場合、流域は、過剰分割と言われ、用途によっては望ましいものであり得るが、病変セグメント化には理想的ではない円形ではない領域を生成する傾向にある。図１０Ｃでは、その距離マップに３つの極大値がある合成入力マスクを示す。それにより、流域は、そのうちの１つ（シード１０７１に対応する）だけがほぼ円形である３つの領域を含む分割をもたらす。他の２つの領域は、円形ではない。シード１０５１がある領域は、半円形のみである。それにより、シードの再ラベル付けメカニズムが、すべてのシード対を確認し、シード１０５１と１０６１とに対応する２つの領域が、それらが共により完全な泡を成すように融合するはずであると判定する。このような動作は、２つしか領域を含まない新しい分割につながり、その両方の領域の形状がほぼ円形である。

【0143】

極大値とは、その直接隣接している点に比べて輪郭までの距離が最長である点のことである。極大値は、点であり、輪郭までのその距離が分かっている。結果として、例示的実施形態のメカニズムは、この点を中心とする円を描くことができる。円の半径は、この距離である。それにより、２つの極大値に対し、メカニズムは、それらのそれぞれの円の重複を計算することができる。これは、図１０Ａおよび図１０Ｂに示されている。

【0144】

シードの再ラベル付けにより、以下のように２つの領域を融合させるべきかどうかが判定される。その関連付けられたシードが直接隣接しているシードである２つの領域の場合、融合が起こるが、そうでなければ、メカニズムは、その意思決定を仮説検証手順に基づかせる。例えば、図１０Ａを参照して、示された例では、距離マップが、各極大値が見分けの付く円形病変の中心に相当するという仮定につながる、２つの見分けの付く極大値をもたらし得る状況を説明する。ここで注意すべきは、距離マップにより、例示的実施形態のメカニズムが、極大値が輪郭（境界）からどのくらい離れているかを言うこともできるということである。この距離は、図１０Ｂでは、輪郭上の最大値と点とを接続する点線セグメントで表されている。そのため、仮定が保たれる場合、病変がほぼ丸いかまたは「泡」形状であるという想定に起因してこれら２つの病変の空間範囲を推測することができる。これにより、例示的実施形態のメカニズムは、図１０Ｂに示されるような２つの完全円を描くことができる。これから、メカニズムは、２つの円の重複を（例えば、古典的なダイス指標により）測定し、それを既定のしきい値と比べる。重複指標の値がこのしきい値よりも大きければ、メカニズムは、２つの泡が、過度に重複して、見分けの付かないものであると結論付け、融合が行われことになる。言い換えると、それにより、例示的実施形態のメカニズムは、２つの極大値が同じ病変の２つの「中心」に対応すると結論付ける。しかし、従来の流域では、このようなシード（すなわち、最大値）再ラベル付けメカニズムは、何も存在しない。それにより、マスク過剰分割が頻繁に起こる。

【0145】

この重複は、いくつかのやり方で測定され得る。１つの実施形態例において、メカニズムは、ダイス係数を使用する。図１０Ｂに示されるような２つの極大値に対応する２つの完全円の場合、メカニズムは、これら２つの円のダイス指標を計算し得る。このように、メカニズムは、ダイス指標がしきい値よりも大きくなるのを受けて、２つの極大値が実際には同じ病変の中心であるような最適なしきい値を実際に何に適用すべきかをトレーニング・データセットから学習することができる。

【0146】

図１０Ｃおよび１０Ｄでは、２つの部分的に融合した円が、図１０Ｃよりも図１０Ａにおいて互いに似ている図１０Ａおよび１０Ｂの病変マスク形状とは異なる別の病変マスク形状の例を提供する。マスク形状に対して非常に感度が高くなり得る距離マップに起因して、図１０Ｃの病変マスク形状例には３つのシードがある。上記の推論に従うと、病変分割アルゴリズムでは、図１０Ｃに表される病変を、２つの別々の病変に分割することになるが、シードの再ラベル付けをしない流域技術で起こる可能性のある際の３つの別々の病変にではない。

【0147】

図１０Ｃおよび１０Ｄでは、シード１０５１およびシード１０６１は、図１０Ａおよび１０Ｂに示されるものよりも極端な場合を表す。例示的実施形態のシードの再ラベル付け技術を用いず、それらを分ける分割が行われることになる（斜め実線で表される）。しかし、例示的実施形態のシードの再ラベル付けメカニズムでは、この望ましくない結果が事実上避けられ得る。反対に、シード１０７１がシード１０５１および１０６１から十分遠くにあることから、上記の同じ仮説検証手順が、シード１０７１が見分けの付く泡の中心に対応するとの仮定を受け入れるのに役立ち、図１０Ｃおよび１０Ｄに示されるような垂直分割につながる。同様に、これは、シード１０５１および１０６１に割り当てられたラベルから、シード１０７１用の異なるラベルに転換する。しかし、図１０Ａおよび１０Ｂにおける状況と同様に、例示的実施形態のシードの再ラベル付け技術の仮説検証手順では、シード１０５１と１０６１とが同じ病変に対応すると判定することになる。

【0148】

図１１Ａは、１つの例示的実施形態に係る、病変分割および再ラベル付けのメカニズムを示すブロック図である。図１１Ａに示されるように、１つまたは複数のコンピューティング・デバイスの１つまたは複数のプロセッサによって実行される、１つまたは複数のアルゴリズム、機械学習コンピュータ・モデルなどを含むコンピュータ・モデルとして実装され得、また１つまたは複数の医用画像データ構造の入力ボリュームに対して動作するメカニズムが、２次元病変マスク１１０１を受信し、距離変換を実行して（ブロック１１０２）、距離マップ１１１１を生成する。この距離変換（ブロック１１０２）は、病変マスク内の点ごとに、マスク輪郭（境界）までの最短距離を計算する、二値のマスクに対して行われる演算である。１つが病変マスクの内部に向かって移動すればするほど、もう１つがその輪郭（境界）から離れることになる。このように、距離変換では、病変マスクの中心点、すなわち、他のものよりも長い距離の点を識別する。１つの実施形態では、メカニズムは、場合によっては、距離マップ１１１１に対してガウシアン平滑化を行う。

【0149】

次に、メカニズムは、極大値の識別を実行して（ブロック１１０３）、シード１１１２を生成する。上記のように、これらの極大値は、距離マップ１１１１において、輪郭または境界から最も長い距離にある点である。メカニズムは、シード１１１２に基づき流域技術を行って（ブロック１１０４）、流域分割病変マスク１１１３を生成する。これまで説明したように、この分割病変マスク１１１３は、病変の想定された泡形状に合わない領域をもたらす、過剰分割であり得る。そのため、メカニズムは、距離マップ１１１１、シード１１１２、および分割２Ｄ病変マスク１１１３に基づきシードの再ラベル付けを実行して（ブロック１１２０）、更新された分割病変マスク１１２１を生成する。シードの再ラベル付けについては、図１１Ｂを参照して以下でさらに詳細に述べる。結果として得られた、更新された分割病変マスク１１２１には、病変に対して想定された泡形状によりぴったり合う領域を成すように、融合している領域があるようになる。

【0150】

図１１Ｂは、１つの例示的実施形態に係る、シードの再ラベル付けメカニズムを示すブロック図である。図１１Ｂに示されるように、１つまたは複数のコンピューティング・デバイスの１つまたは複数のプロセッサによって実行される、１つまたは複数のアルゴリズム、機械学習コンピュータ・モデルなどを含むコンピュータ・モデルとして実装され得、また１つまたは複数の医用画像データ構造の入力ボリュームに対して動作するメカニズムが、距離マップ１１１１およびシード１１１２を受信する。より具体的には、メカニズムは、シード１１１２にある各シード対（シードＡとシードＢ）を考える。メカニズムは、シードＡとシードＢとが直接隣接しているシードであるかどうかを判定する（ブロック１１５１）。シードＡとシードＢとが直接隣接しているシードであれば、メカニズムは、シードＡとシードＢとに同じラベルを割り当てる（ブロック１１５５）。言い換えると、シードＡとシードＢとが、領域１つのみに相当するようにグループ化される。

【0151】

ブロック１１５１において、シードＡとシードＢとが直接隣接していない場合、メカニズムは、距離マップ１１１１に基づき空間範囲推定を実行し（１１５２）、下記のように、シードＡおよびシードＢに対してペアワイズ親和性を決定する。この例示的実施形態によれば、空間範囲推定では、ある領域が「泡」形状であると想定する。それにより、メカニズムは、各シードが、距離マップからの距離が円の半径としてである円に相当すると想定する。

【0152】

それにより、メカニズムは、シードＡおよびシードＢに相当する円に対して重複指標を計算する（ブロック１１５３）。１つの実施形態例において、メカニズムでは、以下のようにダイス指標を使用する。

【0153】

【数4】

ここで、｜Ａ｜は、シードＡに相当する円の面積を示し、｜Ｂ｜は、シードＢに相当する円の面積を示す。同様に、｜Ａ∩Ｂ｜は、ＡとＢとの共通集合の面積を示す。代替の実施形態において、メカニズムは、以下のように重複指標を計算する。

【0154】

【数5】

ここで、｜Ａ｜は、シードＡに相当する円の面積を示し、｜Ｂ｜は、シードＢに相当する円の面積を示し、｜Ａ∩Ｂ｜は、ＡとＢとの共通集合の面積を示し、｜Ａ∪Ｂ｜は、ＡとＢとの和集合の面積を示す。

【0155】

メカニズムは、重複指標が既定のしきい値より大きいかどうか判定する（ブロック１１５４）。ブロック１１５４において、重複指標がそのしきい値よりも大きければ、メカニズムは、分割２Ｄ病変マスク１１１３内の対応する領域を融合させる（ブロック１１５５）。

【0156】

２つのシード間の親和性がこのしきい値よりも大きい場合、それらには同じラベルが割り当てられる。そうでなければ、この段階では、それらが同じグループに属するべきであるかどうかが分からない。この意思決定は、以下で説明するように、ｚ方向接続で使用されるのと同じモジュール、ラベル伝搬段階（図１５におけるブロック１５１２）に委ねられる。

【0157】

２つよりも多いシードがある状況では、図１１Ｂの同じ動作が、シードグループを生成するラベル伝搬の前に、すべてのシード対に対して繰り返される。例えば、シード対（ａ、ｂ）と（ｂ、ｃ）とが、同じグループに属すると判定されているが、シード対（ａ、ｃ）が図１１Ｂに示されるような検査に落ちる状況がある。それにより、ラベル伝搬では、ａ、ｂ、ｃを同じグループに入れる必要があり、すなわち、シードａおよびｃに対応する領域がなお融合することになる。しかし、シードａ、ｂ、ｃ、およびｄがあり、親和性計算（合計６対に対して行われる）で、（ａ、ｂ）および（ｃ、ｄ）しか検査に合格しなかったことが示される場合、ラベル伝搬により、（ａ、ｂ）、（ｃ、ｄ）をそれぞれ含む２つのグループがもたらされる。そのため、シード対が検査に落ちた場合、それは、それらが同じグループに入れられるはずで、異なるグループに属するはずではないかどうかが分からないことを意味する。

【0158】

例えば、図１０Ｃでは、３つのシード対（１０５１－１０６１、１０５１－１０７１、１０６１－１０７１）があり、メカニズムがシード１０５１と１０６１とに同じラベルが割り当てられるはずである（同じグループに属する）と判定するはずである。それにより、ラベル伝搬ステップでは、これら３つのシードをクラスタ化して、第１のグループが１０７１しか含まず、第２のグループには１０５１および１０６１の両方がある、２グループにする。

【0159】

図１２は、１つの例示的実施形態に係る、病変分割の例示的な動作の概要を示すフローチャートである。図１２に概説される動作は、図１１Ａ～１１Ｂに関してこれまで述べたメカニズムによって行われ得る。図１２に示されるように、動作が始まり（ステップ１２００）、メカニズムが２次元病変マスクに対して距離マップを生成する（ブロック１１０１）。これまで述べたように、この距離マップは、２次元病変マスクに対して距離変換演算を実行し、また場合によっては、ガウシアン平滑化を実行してノイズを除去することによって生成され得る。それにより、メカニズムは、極大値の識別を使用して、データ点、例えば、グループごとの極大値のグループ化を生成する（ステップ１２０２）。メカニズムは、極大値に基づき病変分割を実行して、領域を生成する（ステップ１２０３）。次に、メカニズムは、距離マップを使用して、ペアワイズ親和性に基づきシードに再ラベル付けを行う（ステップ１２０４）。これにより、メカニズムは、同じラベルの付いたシードに対応する領域を融合させる（ステップ１２０５）。例示的実施形態のメカニズムによって実行されたシードの再ラベル付けに起因して、ステップ１２０５における分割病変マスク出力が、これまで上に述べたように、病変形状のそれぞれに関連付けられたデータ点に間違ったラベルが関連付けられていることに起因した、流域技術に関連付けられた過剰分割問題がないことが理解されるべきである。この後、動作が終了する（ステップ１２０６）。

【0160】

［病変のｚ方向接続］

【0161】

病変分割およびシードの再ラベル付けの際の上記プロセスは、入力ボリュームの２次元画像または２次元スライスのそれぞれに対して実行され、それにより、対応する２次元画像に表された病変のそれぞれに適切にラベル付けされた病変マスクを生成することができる。しかし、入力ボリュームは、生物学的実体の内部解剖学的構造の３次元表現を表し、３次元で考えると同じ病変に関連付けられているように見える可能性のある病変が、実際には異なる病変に関連付けられている可能性がある。それゆえ３次元の入力ボリュームで表される際の生物学的実体内で別々の病変を正しく識別することができるように、例示的実施形態は、ｚ軸に沿って、すなわち３次元で２次元病変を接続するためのメカニズムを提供する。

【0162】

病変のｚ方向接続と呼ばれる、ｚ軸に沿った２次元病変の接続を行うこのメカニズムは、上記のメカニズムによって生成された分割病変出力に対して、３次元ｚ方向病変検出を決定するように実行されるロジスティック回帰モデルを含む。メカニズムは、隣接する画像スライスにおける２つの病変を接続する。ロジスティック回帰モデルが２つの病変が同じ病変を表すと決定すると、２つの病変が接続される。例えば、隣接する画像スライス、すなわち、スライスの３次元的に体系化された集合においてｚ軸に沿って途切れなく順序付けられたｚ軸座標を有するスライス上の如何なる２次元病変に対しても、メカニズムは、以下に述べるように、これらの２次元病変が同じ３次元病変に属するかどうかを判定する。

【0163】

図１３Ａ～１３Ｃは、１つの例示的実施形態に係る、病変のｚ方向接続のためのプロセスを示す。図１３Ａでは、病変マスク入力を示す。図１３Ｂでは、上記のような例示的実施形態の再ラベル付けの改善された病変分割メカニズムを採用し得る、スライスごとの病変分割後の病変を示す。図１３Ａおよび１３Ｂに示されるように、スライス１３１０には病変１３１１および１３１２があり、スライス１３２０には病変１３２１があり、スライス１３３０には病変１３３１および１３３２がある。病変のｚ方向接続メカニズム、すなわちロジスティック回帰モデルは、入力ボリュームにある隣接するスライス対ごとの分割病変マスクに対して、所与のスライスにある各病変を、対の隣接するスライスにある各病変と比較するように実行される。例えば、病変のｚ方向接続メカニズムは、スライス１３１０にある病変１３１１（病変Ａ）をスライス１３２０にある病変１３２１（病変Ｂ）と比較する。比較ごとに、メカニズムは、各病変をボクセルのセットと見なし、病変Ａ（病変Ａにあるボクセルのセット）と病変Ｂ（病変Ｂにあるボクセルのセット）との共通集合を病変Ａのサイズに対して、また病変Ｂのサイズに対して決定する。病変のｚ方向接続メカニズムは、次のように、２つの重複率に基づき、ロジスティック回帰モデルを使用して、病変Ａと病変Ｂとが接続されているかどうかを判定する。

【数6】

【0164】

ここで、｜Ａ｜は、シードＡに相当する円の面積を示し、｜Ｂ｜は、シードＢに相当する円の面積を示し、｜Ａ∩Ｂ｜は、シードＡとシードＢとに相当する円の共通集合の面積を示す。メカニズムは、これら２つの比率を、入力特徴として使用して、病変Ａと病変Ｂとが接続されている確率を決定するようにロジスティック回帰モデルをトレーニングする。すなわち、これまで上に述べたものなどの機械学習プロセスを使用して、ロジスティック回帰モデルが、トレーニング画像のボリュームに対して、各トレーニング・ボリュームにおけるスライスの対単位の組み合わせごとに、１つのスライスにある病変が、隣接するスライスに表された病変と同じ病変であるかまたは異なる病変であるかの確率に関する予測を生成するようにトレーニングされる。この予測は、損失または誤差を生成するために、病変が同じ病変であるかまたは異なる病変であるかのグラウンド・トゥルース表示と比較される。次に、ロジスティック回帰モデルの動作パラメータ、例えば、係数または重みが、既定のエポック回数のトレーニングが実行されるかまたは既定の停止条件が満たされるまで、この損失または誤差を減らすように修正される。

【0165】

ロジスティック回帰モデルは、二値分類の問題を解決するために広く使用されている。例示的実施形態との関連において、このロジスティック回帰モデルは、病変の２つの断面が同じ病変の一部であることの確率を予測する。このため、ロジスティック回帰は、これまで述べたように、２つの重複率γ_０、γ_１を使用する。具体的には、ロジスティック回帰モデルは、以下のように２つの特徴を線形に結合するように学習する。

【数7】

ここで、（ｃ_０、ｃ_１、ｂ）は、機械学習トレーニング演算を経てトレーニング・ボリュームから学習される動作パラメータである。数記法上、γ_０、γ_１は、それぞれ、最小重複率、最大重複率を示す。ロジスティック回帰モデルのトレーニング後の動作パラメータの状態は、（ｃ_０＊、ｃ_１＊、ｂ＊）で示され得る。推論時に、すなわち、ロジスティック回帰モデルのトレーニング後に、画像（スライス）の新しい入力ボリュームを処理すると、しきい値ｔは、２つの断面が、関係ｆ（γ_０、γ_１；ｃ_０＊、ｃ_１＊、ｂ＊）＞ｔが保持される場合また保持される場合のみ、すなわち、予測確率が設定しきい値よりも大きい場合また大きい場合のみ、同じ病変に属すると見られるように設定される。

【0166】

２つの極端なケースがある。第１に、しきい値ｔが０に設定されると、例示的実施形態のｚ方向接続メカニズムが、必ず、病変が同じ病変である、すなわち断面が接続されていると決定する。それにより、真陽性率と偽陽性率の両方が１になる。第２に、しきい値ｔが１に設定されると、ｚ方向接続メカニズムは、接続される病変の如何なる断面も識別しなくなる。このケースでは、真陽性率と偽陽性率の両方が０になる。そのため、しきい値ｔが区間（０、１）にある場合のみ、ロジスティック回帰モデルは、病変断面が、隣接するスライスにわたって同じ病変に関連付けられているかどうかに関して判定を下す。理想的なロジスティック回帰モデルを用いると、真陽性率は、１に等しくなる（すべての真接続が識別される）と同時に、偽陽性率は、０になる（ゼロ偽接続がなされる）。

【0167】

このように、ロジスティック回帰モデルがトレーニングされたのを受けて、新しいスライス対が、この対に対してこれらの比率を計算し、これらの対のそれぞれに対して予測を生成するように、それらを入力特徴としてトレーニング済みロジスティック回帰モデルに入力することによって、このように評価され得、次に、予測確率が既定のしきい値確率以上である場合、病変ＡとＢとが、３次元で同じ病変に関連付けられていると見なされる。それにより、スライスにわたる病変の適切な再ラベル付けが、が他の隣接するスライスにある同じ病変表現に２次元スライスの病変を正しく関連付けて、それによって、入力ボリューム内の３次元病変を識別するように実行され得る。

【0168】

ロジスティック回帰モデルをトレーニングするのに使用される２つの比率入力特徴をサポートする論理的根拠がある。例えば、病変ＡとＢとがサイズにおいて十分に異なる場合、それらは、おそらく同じ病変の一部でない。また、スライス１３１０にある病変１３１２とスライス１３２０にある病変１３２１の場合のように、病変ＡとＢとが交差しない場合、特徴γ_０、γ_１がゼロ値を有することになる。前述したように、ロジスティック回帰モデルは、２つの特徴値γ_０、γ_１を前提として回帰を実行し、尤度病変Ａと尤度病変Ｂとが同じ病変の一部であることを表す、０～１の確率値を出力する。

【0169】

図１３Ｃでは、１つの例示的実施形態に係る、スライス間の断面接続を示す。図１３Ｃに示されるように、メカニズムが、上で述べたような重複率に基づき病変共通性を予測する、例示的実施形態のトレーニング済みロジスティック回帰モデルを実行することによって、スライス１３１０にある病変１３１１とスライス１３２０にある病変１３２１とが同じ病変の一部であると決定する。同様に、メカニズムはまた、スライス１３２０にある病変１３２１とスライス１３３０にある病変１３３１とが同じ病変の一部であると決定する。このように、メカニズムは、交差する病変をｚ軸に沿って伝搬し、病変のｚ軸接続を実行する。

【0170】

２次元スライスにわたって病変のｚ方向接続を識別することに対する入力ボリュームにおけるスライスの対単位評価と、病変がｚ軸に沿って接続されているかどうかのトレーニング済みロジスティック回帰モデルによる判定とに基づき、病変の再ラベル付けを実行することで、ある病変と同じラベルが、入力ボリュームのスライスのそれぞれに存在する病変マスクの各々、例えば、入力ボリュームにあるスライスのセットにわたる病変マスクのすべてに適用されることを確実にすることができ、この場合、これらの病変マスクは、同じ病変Ａに関連付けられているとロジスティック回帰モデルによって決定され、それらが同じ病変Ａの一部であることを指定するように再ラベル付けされ得る。これは、入力ボリュームのスライスのそれぞれにおいて病変断面ごとに実行されて、それによって、入力ボリュームに存在する１つまたは複数の病変に対して病変マスクの３次元の関連付けを生成することができる。それにより、この情報を使用して、同じ病変に関連付けられた断面のすべてが入力ボリュームにおいて正しくラベル付けされた以降の３次元において、後の下流コンピューティング・システム演算時などで病変を表すか、そうでなければ処理することができる。

【0171】

図１４Ａおよび１４Ｂは、１つの例示的実施形態に係る、トレーニング済みロジスティック回帰モデルの結果を示す。図１４Ａは、最大重複率（γ_０）＋最小重複率（γ_１）指標に対する、また最大重複率指標に対する受信者動作特性（ＲＯＣ：Ｒｅｃｅｉｖｅｒ Ｏｐｅｒａｔｉｎｇ ｃｈａｒａｃｔｅｒｉｓｔｉｃ）曲線を示す。ＲＯＣ曲線は、その弁別しきい値が変化した際の二値分類器システムの診断能力を示すグラフィカル・プロットである。ＲＯＣ曲線は、様々なしきい値設定における偽陽性率（ＦＰＲ：Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ Ｒａｔｅ）に対する真陽性率（ＴＰＲ：Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ Ｒａｔｅ）をプロッティングすることによって作り出される。図１４Ｂは、最大重複率＋最小重複率指標に対する、また最大重複率指標に対する適合率再現率曲線を示す。適合率再現率曲線は、ＲＯＣ曲線によく似た、様々なしきい値に対する適合率（ｙ軸）および再現率（ｘ軸）のプロットである。ここで、適合率は、取得されたインスタンスの中の関連インスタンスの割合であり、再現率（または感度）は、実際に取得された関連インスタンスの総量の割合である。これらの図に示されるように、２特徴ロジスティックモデルは、その１特徴の対応物を凌いでいる。したがって、両方の特徴が、貴重な情報をこの予測タスクにもたらす。

【0172】

図１４Ａにおける最大重複率（γ_０）＋最小重複率（γ_１）指標曲線を見てみると、適切なしきい値ｔでは、トレーニング済みロジスティック回帰モデルが、ほぼ３％の偽陽性率を犠牲にして、真陽性率～＝９５％を生成することができることが分かる。図１４Ｂを見てみると、示されたプロットが、適合率および再現率の面で、トレーニング済みロジスティック回帰モデルを見極め、両方の測定が正しいしきい値ｔの選択により非常に良い結果をもたらすことができることを示す。

【0173】

図１５は、１つの例示的実施形態に係る、ｚ軸に沿って２次元病変を接続するためのメカニズムの例示的な動作の概要を示すフローチャートである。図１５に示されるように、動作が始まり（ステップ１５００）、メカニズムが入力ボリュームから最初の画像Ｘを選択し（ステップ１５０１）、画像Ｘにおいて最初の病変Ａを選択する（ステップ１５０２）。一部の例示的実施形態では、入力ボリュームにおける画像またはスライスは、上記の分割および再ラベル付けメカニズムを使用して処理され得るが、これは必要とはされない。反対に、病変のｚ方向接続を対象とする例示的実施形態のメカニズムは、実際には、病変マスクが識別された如何なる入力ボリュームの場合でも実行され得る。

【0174】

次に、例示的実施形態のｚ方向接続メカニズムは、隣接する画像Ｙ内の最初の病変Ｂを選択する（ステップ１５０３）。次に、メカニズムは、病変Ａに関して病変Ａと病変Ｂとの交差を決定し、病変Ｂに関して病変Ａと病変Ｂとの交差を決定する（ステップ１５０４）。メカニズムは、病変Ａと病変Ｂとの共通集合に対してγ_０特徴およびγ_１特徴にトレーニング済みロジスティック回帰モデルを適用することによって、２つの交差値に基づき、病変Ａと病変Ｂとが同じ病変に属するかどうかを判定し、病変Ａと病変Ｂとが同じ病変に属するという予測または確率を生成し、次に、この確率をしきい値確率と比較する（ステップ１５０５）。この判定の結果に基づき、画像における病変断面が、それらが同じ病変の一部であるかどうかを示すようにラベル付けされるかまたは再ラベル付けされ得る。

【0175】

メカニズムは、画像Ｙにある病変Ｂが画像Ｙにある最後の病変かどうかを判定する（ステップ１５０６）。病変Ｂが最後の病変ではない場合、メカニズムは、次の病変Ｂを隣接する画像Ｙにあると見なし（ステップ１５０７）、動作は、ステップ１５０４に戻って、病変Ａと新しい病変Ｂとの交差を決定する。

【0176】

ステップ１５０６において、病変Ｂが隣接するスライスまたは画像Ｙにある最後の病変である場合、メカニズムは、病変Ａが画像Ｘにある最後の病変であるかを判定する（ステップ１５０８）。病変Ａが画像Ｘ内の最後の病変でない場合、メカニズムは、画像Ｘ内の次の病変Ａを考慮し（ステップ１５０９）、動作は、ステップ１５０２に戻って、隣接する画像Ｙにある最初の病変Ｂを考慮する。

【0177】

ステップ１５０８において、病変Ａが画像Ｘ内の最後の病変であれば、メカニズムは、画像Ｘが考慮すべき最後の画像であるかどうかを判定する（ステップ１５１０）。画像Ｘが最後の画像でなければ、メカニズムは、次の画像Ｘを考慮し（ステップ１５１１）、動作は、ステップ１５０２に戻って、新しい画像Ｘ内の最初の病変Ａを考慮する。

【0178】

ステップ１５１０において、画像Ｘが考慮すべき最後の画像である場合、メカニズムは、ｚ軸に沿って画像間で交差している病変を伝搬する。ここで、伝搬とは、上記プロセスを通して判定されたのと同じ病変に関連付けられたラベルが、それらが同じ病変の一部であると示すように同じ値に設定されることを意味する（ステップ１５１２）。これは、同じ病変に関連付けられた画像のそれぞれにおける断面が適切にラベル付けされ、それゆえ、各病変の３次元表現が断面のｚ方向接続を通して生成されるような、入力ボリュームにおいて識別された別々の病変ごとに実行される。その後、動作は、終了する（ステップ１５１３）。

【0179】

［輪郭精密化］

【0180】

上記プロセスでは、病変の個数および相対位置、また２次元空間（画像またはスライス内）および３次元空間（入力ボリュームにある画像またはスライスにわたる）にわたって接続している病変の面で正確な結果をもたらす。しかし、病変輪郭（境界）は、必ずしもうまく画定されず、改善が必要となる。例示的実施形態は、病変輪郭精度を向上させるためのメカニズムを提供する。このさらなるメカニズムは、上記のメカニズムで、病変セグメント化の一環として採用されてもよく、上記の特定の病変検出、病変分割および再ラベル付け、またはｚ方向接続メカニズムあるいはその組み合わせを必要としない他の例示的実施形態に採用されてもよい。

【0181】

既存の輪郭アルゴリズムは、周囲に病変がない解剖学的構造の中央に病変がある場合にのみうまく働くが、２つ以上の近接した病変が、初期には見分けの付く輪郭を単一の包括的な輪郭に融合するという「漏れ」の問題につながる様々な状況があり、それにより、早期の２次元病変マスク分割によってもたらされた利点を完全に消し去る場合には、うまく働かない。病変が解剖学的構造境界、例えば肝臓境界の付近にある場合によっては、輪郭形成アルゴリズムでは、輪郭形成アルゴリズムによってほとんどが見分けが付くことから、別の病変からある病変を見分けるのではなく、画像にある他の解剖学的構造、例えば器官の場合の画素に対して解剖学的構造の画素を見分ける。

【0182】

例示的実施形態のメカニズムは、画像またはスライスにおいて対象とするものではないエリアをインペイントする。図１６では、ある例示的実施形態に係る、同じ画像にある２つの病変に対する輪郭の場合の例を示す。図１６の左側には、有効な輪郭アルゴリズムを使用して、２つの病変に対して輪郭１６１１および１６１２を決定する。有効な輪郭アルゴリズムは、画像内容をより良く合わせるように繰り返し輪郭を進化させるクラスのアルゴリズムである。

【0183】

この例示的実施形態によれば、メカニズムは、輪郭１６１２内、および輪郭１６１１の付近にあるが、輪郭１６１１内にない肝臓以外の組織をインペイントするが、このインペインティングが、輪郭１６１２および輪郭１６１２内、さらに輪郭１６１１の付近にある健全な組織（非病変組織）の画素に対する画素値が、それらすべてが同じ値をもつような特定の値に設定されることを意味する場合、輪郭１６１１内はインペイントしない。例えば、この値は、病変に関連付けられていないと識別された領域、すなわち、解剖学的構造、例えば肝臓の健全な組織における平均組織値であり得る。

【0184】

このインペインティングは、インペインティングが健全な組織および他の病変、例えば、画像にある病変１６１２に適用されるような選択された病変輪郭１６１１に対して実行され得る。このように、選択された病変、例えば１６１１に関連付けられた輪郭および画素が、輪郭１６１１を再評価する際に画像の他の部分とは別個に考えられる。それにより、輪郭１６１１は、再評価され得、輪郭１６１１の再評価が輪郭１６１１の改善された定義をもたらすかどうかに関して判定が下され得る。すなわち、選択された病変輪郭１６１１に関連付けられた画素と、選択された病変輪郭１６１１近くの画素とのコントラストおよび分散の初期判定が生成され得る。インペインティングの前にこのコントラストおよび分散を計算した後、他の病変輪郭、例えば１６１２、および画像にある健全な組織に相当する解剖学的構造のエリアに関連付けられた画素が、健全な組織の平均画素強度値によりインペイントされるように、インペインティングが、選択された病変１６１１に対して行われ得る。

【0185】

値のセットの分散が以下のように決定される。言わばｎ個のボクセルで構成されているボクセルセットを考えてみる。最初に、それらの強度値を合算し、次に結果の和をｎで割ることによって、算術平均が計算される。これは、結果としての数がＡで示される。２番目に、これらボクセル値が個々に二乗され、次に、算術平均が計算される。この結果は、Ｂと示される。次に分散がＢ－Ａ＊Ａ、すなわち、Ｂと二乗Ａとの差として定義される。

【0186】

したがって、ｎ個の値のセット｛ｘ_１、...、ｘ_ｎ｝の分散は、以下のように定義される。

【0187】

【数8】

【0188】

この分散は、所与の輪郭の内側と外側のボクセル間で計算される。輪郭の内側のボクセルは、輪郭によって囲まれたボクセルであり、外側のボクセルは、輪郭の外側にあるが輪郭から既定の距離内にとどまっている外側のボクセルを指す。

【0189】

メカニズムは、これまで上に述べたような有効な輪郭形成アルゴリズムを使用したインペインティングの後、選択された病変の輪郭１６１１を計算し直し、新しい輪郭１６１１のコントラストまたは分散あるいはその両方を計算し直し、これらの値が、改善されているかどうか判定する（病変の内側または外側あるいはその両方のより高いコントラスト値またはより低い分散値）。コントラストおよび分散が改善されている場合、新たに計算された輪郭１６１１が、対応する病変の輪郭として維持される。それにより、このプロセスは、次に病変１６１１および輪郭１６１２の近くの健全な組織に関連付けられた画素をインペインティングすることによって、選択された病変としての病変１６１２に対して行われ得る。このように、各病変は、各病変に対して輪郭を生成し、それによって、病変の互いへの漏れを防ぐように別個に評価される。

【0190】

インペインティング後に病変の輪郭を計算するためのメカニズムは、はっきり画定された境界のないオブジェクトをセグメント化するように考案されているＣｈａｎ－Ｖｅｓｅセグメンテーション・アルゴリズムに基づくものであり得る。このアルゴリズムは、セグメント化領域の外側の平均値からの差強度の和、セグメント化領域の内側の平均値からの差の和、およびセグメント化領域の境界の長さによって決まってくる項に対応する加重値によって定義されているエネルギーを最小限に抑えるように繰り返し展開されるレベルのセットに基づいている。分割された検出マップを使用して初期化が行われる（エネルギーの極小値の問題を解決する）。

【0191】

メカニズムがセグメント化を備えるのを受けて、メカニズムは、輪郭をそれまでの推定値により初期化し、新しい輪郭の方が良いかどうか、例えば、輪郭のコントラストおよび分散が改善されているかどうかを判定する。元の輪郭の方が良ければ、元の輪郭が維持される。新しい輪郭の方が良ければ、例えば、輪郭のコントラストおよび分散が改善されている場合、メカニズムは、新しい輪郭を使用する。一部の例示的実施形態では、メカニズムは、均質なエリア、また分散を計算するのに基づき、どの輪郭が良くなったかを判定する。分散が、輪郭の内側でも外側でも低減されている場合、メカニズムは、新しい輪郭を使用し、そうでなければ、メカニズムは、これまでの輪郭を使用する。別の例示的実施形態において、メカニズムは、コントラスト（輪郭の内側の平均値対輪郭の付近の平均値）が改善されているかどうかを判定する。例示的実施形態の思想および範囲から逸脱することなく、それまでの輪郭および新しい輪郭のどちらかを選択するのに、様々な尺度を使用する他の技術が使用され得る。

【0192】

図１７は、ある例示的実施形態に係る、スライスごとの輪郭の精密化のためのメカニズムの例示的な動作の概要を示すフローチャートである。図１７に示されるように、動作は、例えば、肝臓などにおいて、病変を示すようにセグメント化された画像における所与の輪郭で、（ステップ１７００）で始まり、メカニズムは、初期輪郭に対して１番目のコントラストおよび分散を決定する（ステップ１７０１）。メカニズムは、病変の付近にある病変画素（または３次元のボクセル）をインペイントする（ステップ１７０２）。次に、メカニズムは、病変の周りの輪郭を決定する（ステップ１７０３）。次に、メカニズムは、新しい輪郭に対して２番目のコントラストおよび分散を決定する（ステップ１７０４）。メカニズムは、２番目のコントラストおよび分散が、１番目のコントラストおよび分散と比べて改善に相当するかどうか判定する（ステップ１７０５）。２番目のコントラストおよび分散が改善に相当すれば、メカニズムは、病変を表すのに更新済み輪郭を使用する（ステップ１７０６）。その後、動作が終了する（ステップ１７０８）。

【0193】

ステップ１７０５において、２番目のコントラストおよび分散が改善に相当しない場合、メカニズムは、初期輪郭に戻る（ステップ１７０７）。その後、動作が終了する（ステップ１７０８）。このプロセスは、画像／入力ボリュームに存在する病変のそれぞれに関連付けられた輪郭を計算し直し、この輪郭を改善するために、入力スライスまたは入力ボリュームあるいはその両方において識別された病変ごとに繰り返され得る。

【0194】

［偽陽性除去］

【0195】

病変セグメント化を行って、病変およびそれらの輪郭のリストを生成した後、ＡＩパイプライン１００が、偽陽性処理段階１５０を行って、間違って示された病変を病変のリストから除去する。この偽陽性段階１５０は、病変のリスト、例えば、肝臓／病変検出論理１３０によって出力され、次に、病変セグメント化論理１４０において行われるセグメント化および再ラベル付けによって融合される図１における輪郭およびマップ１３５において間違って識別される病変の個数を減らすような多くの形態を取ることができる。以下の説明では、この偽陽性除去を行うのに使用され得る新規の偽陽性除去メカニズムを明示するが、この特別な偽陽性除去がなくても済む。また、これ以降述べる偽陽性除去メカニズムは、上記の他のメカニズムとは別個に使用され得、画像において識別されたオブジェクトの如何なるリストにも適用され得、例示的実施形態は、特に医用画像にある病変の場合、このような偽陽性除去を利用する。すなわち、このセクションで述べる偽陽性除去メカニズムは、本明細書でこれまで述べた他のメカニズムとは別個に、区別可能に実装され得る。

【0196】

説明の便宜上、偽陽性除去メカニズムがＡＩパイプライン１００の一部として、またＡＩパイプライン１００の偽陽性除去論理１５０の一部として実装されていると想定することにする。それゆえ、偽陽性段階１５０では、このセクションで述べる偽陽性除去メカニズムは、上記の病変のｚ方向接続および輪郭の精密化の場合に入力ボリュームの３次元性質を考慮に入れて、肝臓／病変検出論理ならびに病変のセグメント化および再ラベル付けから得られる病変のリストに対して動作する。図１におけるこのリスト１４８は、以下に述べるようにリスト１４８を処理し、間違って識別される病変が修正済みの病変のリストに最小限に抑えられている、フィルタリング済みまたは修正済みの病変のリストを病変分類段階１６０に出力する、偽陽性除去論理段階１５０に入力される。それにより、病変分類段階は、修正済みの病変のリストにおいて示された様々な病変を分類する。

【0197】

すなわち、ＡＩパイプライン１００の前段階におけるすべての病変の捕捉は、ＡＩパイプライン１００に、実際には病変を表していない画素を病変の一部であると誤認させる、感度設定の増加につながり得る。その結果、除去すべき偽陽性が存在し得る。偽陽性段階１５０には、偽陽性を除去するように、病変およびそれらの輪郭のリストに対して動作する論理が含まれる。このような偽陽性除去が、検査時に（病変レベルに対しての入力ボリュームレベルのセット）、偽陽性の除去が、適切に行われない場合に、未検出になる病変をもたらす可能性があるというリスクを釣り合わせることも必要になることを理解するべきである。これは、医師および患者に、治療を必要とする病変を気付かせなくさせる可能性があることから、課題の多いものであり得る。１つの検査には、理論上、同じ患者に対して数ボリュームの画像が含まれ得ることが理解されるべきである。しかし、単一フェーズ検出実装式ＡＩパイプラインがある一部の例示的実施形態では、１ボリュームのみの画像が処理され、この処理が、単一ボリュームに対して行われると想定されている。分かりやすいように、「患者レベル」は、これが、この例示的実施形態にとって対象となるものであることから、これ以降「検査レベル」に代わって使用される（患者に病変があるかどうか）。他の例示的実施形態では、本明細書に記載の動作が、同じ患者に対して複数ボリュームの画像が評価され得る検査レベルに及び得ることが理解されるべきである。

【0198】

例示的実施形態では、ＡＩパイプライン１００の先行段階の出力（スライス、マスク、複数の病変、病変および解剖学的構造輪郭など）を、偽陽性除去段階１５０への入力１４８として仮定すると、偽陽性除去段階１５０は、ほんのわずかな患者レベル偽陽性しか認めないようにするために（少なくとも１つの病変が検出される正常な患者／ボリューム）、患者レベル（入力ボリューム・レベル）における極めて特異な動作点において実施する。この点は、患者の受信者動作特性（ＲＯＣ）（患者レベルの感度対患者レベルの特異度）解析の解析から取得され得る。本明細書では患者レベルの動作点ＯＰ_{ｐａｔｉｅｎｔ}と呼ばれる、極めて特異な動作点を使用すると少なくともいくつかの病変をもたらすボリュームでは、より感度が高い動作点が、本明細書では病変レベルの動作点ＯＰ_{ｌｅｓｉｏｎ}と呼ばれる病変レベルで使用される。病変レベルの動作点ＯＰ_{ｌｅｓｉｏｎ}は、保たれる病変の個数を最大限にするために、病変レベルのＲＯＣ曲線（病変感度対病変特異度）の解析から識別され得る。

【0199】

２つの動作点、すなわち、ＯＰ_{ｐａｔｉｅｎｔ}とＯＰ_{ｌｅｓｉｏｎ}とは、１つまたは複数のトレーニング済みＭＬ／ＤＬコンピュータ・モデルにおいて実装され得る。１つまたは複数のトレーニング済みＭＬ／ＤＬコンピュータ・モデルは、識別された病変が真の病変であるかそれとも偽の病変であるか、すなわち、真陽性であるかそれとも偽陽性であるかに関して、入力ボリュームまたはその病変のリスト（セグメント化論理の結果）あるいはその両方を分類するようにトレーニングされている。１つまたは複数のトレーニング済みＭＬ／ＤＬコンピュータ・モデルが、その出力が、病変ごとに、それが真陽性であるかそれとも偽陽性であるかを示す、二値分類器として実装され得る。入力された病変のリストにある病変のすべてに対して二値分類を含む出力のセットは、偽陽性を除去するように病変のリストをフィルタリングするのに使用され得る。１つの例示的実施形態では、１つまたは複数のトレーニング済みＭＬ／ＤＬコンピュータ・モデルが、最初に、患者レベルの動作点を実装して、分類の結果が、偽陽性をフィルタ除去しながら、病変のリスト内の病変のいずれかが真陽性であることを示しているかどうかを判定する。患者レベル（入力ボリュームレベル）のフィルタリングの後、最初にフィルタリングされた病変のリストに真陽性が残っている場合は、病変レベルの動作点を使用して、もしあれば、残っている偽陽性をフィルタ除去する。結果として、偽陽性を最小限に抑えるフィルタリングされた病変のリストが生成される。

【0200】

動作点の実装は、トレーニング済みＭＬ／ＤＬコンピュータ・モデル１つのみまたは複数のトレーニング済みＭＬ／ＤＬコンピュータ・モデルに対してのものであり得る。例えば、単一のトレーニング済みＭＬ／ＤＬコンピュータ・モデルを使用すると、動作点は、動的に切り替えられ得るＭＬ／ＤＬコンピュータ・モデルの動作パラメータの設定であり得る。例えば、ＭＬ／ＤＬコンピュータ・モデルへの入力は、病変のリストが病変のそれぞれの分類後に真陽性を含むかどうかを示す結果を生成するように患者レベルの動作点を使用して処理されてよく、次に、真陽性を含めば、ＭＬ／ＤＬコンピュータ・モデルの動作点が、病変レベルの動作点に切り替えられてよく、ＭＬ／ＤＬコンピュータ・モデルを通過するたびに偽陽性で再び処理された入力は、偽陽性除去段階で出力された最終的な病変のリストから除去される。代替として、一部の例示的実施形態では、少なくとも１つの真陽性を示す第１のＭＬ／ＤＬコンピュータ・モデルの結果により、第２のＭＬ／ＤＬコンピュータ・モデルを通した入力と、両方のモデルが、ＡＩパイプラインの偽陽性除去段階によって出力された最終的な病変のリストから除去されることによって識別された偽陽性との処理が引き起こされるような、２つの別々のＭＬ／ＤＬコンピュータ・モデルが、１つが患者レベルの動作点に対して、もう１つが病変レベルの動作点に対して、トレーニングされることができる。

【0201】

ＭＬ／ＤＬコンピュータ・モデルのトレーニングには、ＭＬ／ＤＬコンピュータ・モデルが画像のボリュームおよび対応する病変のリストを含むトレーニング入力を処理する、機械学習トレーニング動作を伴うことがあり、この場合、病変のリストには、それが真陽性であるかそれとも偽陽性であるかに関して画像にある病変ごとに、分類を生成するように、病変マスクまたは輪郭が含まれる。トレーニング入力はさらに、画像が病変を含むかどうかを示し、次に、ＭＬ／ＤＬコンピュータ・モデルによって生成された出力を評価し、損失または誤差を判断し、次に判断された損失／誤差を減らすようにＭＬ／ＤＬコンピュータ・モデルの動作パラメータを修正するのに使用され得る、グラウンド・トゥルース情報に関連付けられる。このように、ＭＬ／ＤＬコンピュータ・モデルは、真陽性／偽陽性病変検出を表している入力の特徴を学習する。この機械学習は、ＭＬ／ＤＬコンピュータ・モデルの動作パラメータが患者レベルの感度／特異度または病変レベルの感度／特異度あるいはその両方を考慮に入れて学習されるように、動作点、すなわち、ＯＰ_{ｐａｔｉｅｎｔ}とＯＰ_{ｌｅｓｉｏｎ}のそれぞれに対して行われ得る。

【0202】

病変が真陽性であるのかそれとも偽陽性であるのかに関して病変を分類する際、入力ボリューム（「患者レベル」における患者に相当する）は、それが少なくとも１つの病変を含めば、陽性であると見なされる。入力ボリュームは、それが病変を何も含まなければ陰性であると見なされる。これを心に留めると、真陽性は、陽性の入力ボリューム、すなわち、実際には病変である病変として分類された検出結果が少なくとも１つある入力ボリュームと定義される。真陰性は、陰性の入力ボリューム、すなわち、病変がなく、病変として分類された検出結果が何もない、入力ボリュームと定義される。偽陽性は、病変が何もない陰性の入力ボリュームと定義されるが、この入力は、検出結果における病変を示す。すなわち、ＡＩパイプラインは、病変が存在しない場合に病変をリストに載せる。偽陰性は、病変がある陽性の入力ボリュームと定義されるが、ＡＩパイプラインは、検出結果には病変を示すことはない。トレーニング済みＭＬ／ＤＬコンピュータ・モデルは、病変が真陽性であるかそれとも偽陽性であるかに関して入力において病変を分類する。偽陽性が、偽陽性除去によって生成された出力フィルタ除去される。偽陽性の検出は、患者レベルおよび病変レベルで、すなわち、２つの異なる動作点で、様々な感度／特異度のレベルにおいて行われる。

【0203】

患者レベルおよび病変レベルの２つの異なる動作点は、ＲＯＣ曲線解析に基づき決定され得る。ＲＯＣ曲線は、いくつかの病変（検査当たり０～Ｋ個の病変）を含み得るいくつかの入力ボリューム（例えば、様々な患者検査に対応するいくつかの入力ボリューム）から成るＭＬ／ＤＬコンピュータ・モデル有効化データを使用して計算され得る。トレーニング済みＭＬ／ＤＬコンピュータ・モデル、または「分類器」への入力は、実際の病変であるかそれとも偽陽性である入力においてそれまでに検出された検出結果であり、例えば、ＡＩパイプラインの病変検出段階およびセグメント化段階の出力である。第１の動作点、すなわち患者レベルの動作点ＯＰ_{ｐａｔｉｅｎｔ}は、真陽性と識別された病変の少なくともＸ％を維持するように定義される。つまり、いくつかの偽陽性を除去しながら、真陽性のほとんどすべてが保たれる。Ｘの値は、ＲＯＣ曲線の解析に基づき設定され得、特定の実装に適した如何なる値でもあり得る。１つの例示的実施形態では、Ｘの値は、いくつかの偽陽性が除去される間に真陽性のほとんどすべてが維持されるように、９８％に設定される。

【0204】

第２の動作点、すなわち病変レベルの動作点ＯＰ_{ｌｅｓｉｏｎ}は、病変感度が、第１の動作点、すなわち患者レベルの動作点ＯＰ_{ｐａｔｉｅｎｔ}に対して得られた病変感度を上回るように、また特異度がＹ％を上回るように定義される。ここで、Ｙは、トレーニング済みＭＬ／ＤＬコンピュータ・モデルの実際の性能によって決まる。１つの例示的実施形態では、Ｙは、３０％に設定されている。患者レベルおよび病変レベルの動作点の決定のためのＲＯＣ曲線の例が、図１８Ａに示されている。図１８Ａに示されるように、病変レベルの動作点は、病変感度が、患者レベルの動作点に対する病変感度を上回るように、病変レベルのＲＯＣ曲線に沿って選択されている。

【0205】

図１８Ｂは、１つの例示的実施形態に係る、患者レベルおよび病変レベルの動作点に基づき偽陽性除去を行うための動作の例示的なフロー図である。図１８Ｂに示されるように、ＡＩパイプラインのセグメント化段階論理の結果は、第１の動作点を実装する第１のトレーニング済みＭＬ／ＤＬコンピュータ・モデル１８２０への入力１８１０である。入力１８１０は、入力ボリューム（または画像のボリューム（ＶＯＩ））と、病変のリストとを含み、病変のリストは、画像のボリュームの画像データにおいて識別された病変のそれぞれに対応する画素またはボクセルを指定する病変マスクまたは輪郭データと、入力ボリュームの３次元空間、すなわち、これまでに述べたセグメント化、ｚ方向接続、および輪郭の精密化の出力の３次元空間にどの病変が対応するかを明示する画素に対応付けられたラベルを含む病変のリストと、が含まれる。入力は、セットＳと示され得る。第１のトレーニング済みＭＬ／ＤＬコンピュータ・モデル１８２０は、トレーニング済みＭＬ／ＤＬコンピュータ・モデル１８２０の分類によって生成された結果として得られたフィルタリングされた病変のリストにおいて維持されている真陽性と、結果として得られたリストにおいて除去されている偽陽性の一部とのＸ％、例えば９８％で入力から抽出された特徴を分類するために、そのトレーニングにおいて患者レベルの動作点を実装する。結果として得られたリストには、第１のＭＬ／ＤＬコンピュータ・モデル１８２０によって分類された真陽性病変を含むサブセットＳ^＋と、第１のＭＬ／ＤＬコンピュータ・モデル１８２０によって分類された偽陽性病変を含むサブセットＳ^－とが含まれる。

【0206】

偽陽性除去論理としてはさらに、第１のＭＬ／ＤＬコンピュータ・モデル１８２０によって出力された真陽性サブセットが空であるかどうかを判定する真陽性評価論理１８３０が挙げられる。すなわち、真陽性評価論理１８３０は、Ｓからの要素に第１のＭＬ／ＤＬコンピュータ・モデル１８２０によって真の病変として分類されるものが何もないかどうかを判定する。真陽性サブセットが空である場合、真陽性評価論理１８３０は、真陽性サブセットＳ^＋が、フィルタリングされた病変のリスト１８３５として出力されるようにさせ、すなわち、ＡＩパイプラインの病変分類段階に送られた出力において識別される病変が何もないことになる。真陽性評価論理１８３０が、真陽性サブセットＳ^＋が空ではないと決定した場合、第２のＭＬ／ＤＬコンピュータ・モデル１８４０が、入力Ｓを受けて実行され、この第２のＭＬ／ＤＬコンピュータ・モデル１８４０は、そのトレーニングの際の第２の動作点、すなわち、病変レベルの動作点ＯＰ_{ｌｅｓｉｏｎ}を実装する。前述したように、２つのＭＬ／ＤＬコンピュータ・モデル１８２０および１８４０が説明の便宜上示されているが、第２のＭＬ／ＤＬコンピュータ・モデルが、１８２０と同じＭＬ／ＤＬコンピュータ・モデルだが、第２の動作点に対応する動作パラメータが異なる、入力Ｓの処理であり得るように、同じＭＬ／ＤＬコンピュータ・モデルを構成するためのトレーニング済み動作パラメータの様々なセットにおいて、これら２つの動作点が実装され得ることが、理解されるべきである。

【0207】

第２のＭＬ／ＤＬコンピュータ・モデル１８４０は、病変が真陽性であるのかそれとも偽陽性であるのかに関して病変の分類を再び生成するように第２の動作点に対応するトレーニング済み動作パラメータにより入力を処理する。この結果は、予測病変（真陽性）を含むサブセットＳ'^＋と予測偽陽性を含むサブセットＳ'^－である。それにより、フィルタリングされた病変のリスト１８４５がサブセットＳ'^＋として出力され、それによりサブセットＳ'^－に指定された偽陽性を事実上なくす。

【0208】

図１８Ａおよび１８Ｂに示される実施形態例については、患者レベルおよび病変レベルの動作点の観点から説明する。偽陽性除去のメカニズムが、様々な異なるレベルの動作点により実装され得ることが理解されるべきである。例えば、同様な動作が、「ボクセルごとの」偽陽性除去動作において、画像ボリュームレベル動作点およびボクセル・レベル動作点に対して行われ得る。図１８Ｃは、１つの例示的実施形態に係る、入力ボリュームレベルおよびボクセル・レベルの動作点に基づきボクセルごとの偽陽性除去を行うための動作の例示的なフロー図である。図１８Ｃにおける動作は、図１８Ｂの動作と同様であるが、これらの動作は、入力セットＳにあるボクセルに関して行われ得る。ボクセルごとの偽陽性除去では、第１の動作点がやはり患者レベルまたは入力ボリュームレベルの動作点であり得る一方、第２の動作点は、ボクセル・レベルの動作点ＯＰ_{ｖｏｘｅｌ}にあり得る。この場合、真陽性および偽陽性は、ボクセル・レベルで評価され、任意のボクセルが病変に関連付けられているように示され、かつ、それが実際に病変に関連付けられている場合は、それは真陽性であるが、ボクセルが病変に関連付けられていると示され、かつ、それが実際には病変に関連付けられていない場合は、それは、偽陽性と見なされる。動作点の適切な設定は、上記のように感度と特異度との間で同様の釣り合いが実現されるように、対応するＲＯＣ曲線に基づき再び生成され得る。

【0209】

偽陽性除去メカニズムの上記の例示的実施形態は、患者検査からの単一の入力ボリュームを想定しているが、この例示的実施形態が、１つまたは複数の画像（スライス）の任意のグループ化に適用され得ることも理解されるべきである。例えば、偽陽性除去が、単一のスライス、入力ボリュームより小さいスライスのセット、またはさらには同じ検査からの複数の入力ボリュームに適用されてもよい。

【0210】

図１９は、１つの例示的実施形態に係る、ＡＩパイプラインの偽陽性除去論理の例示的な動作の概要を示すフローチャートである。図１９に示されるように、動作は、ＡＩパイプラインの前段階から入力Ｓを受信する（ステップ１９１０）ことから開始する（ステップ１９００）。ここで、入力は、例えば、画像の入力ボリュームと、マスク、輪郭などを含む対応する病変のリストとを含む。入力は、第１の動作点、例えば、相対的に特異度が高く感度が低い患者レベルの動作点を実装する、トレーニングされた第１のトレーニング済みＭＬ／ＤＬコンピュータ・モデルによって処理されて、真陽性サブセットおよび偽陽性サブセットを含む病変に対して分類の第１のセットを生成する（ステップ１９２０）。真陽性サブセットが空であるかどうかに関して判定が下される（ステップ１９３０）。真陽性サブセットが空であれば、動作では、真陽性サブセットが、フィルタリングされた病変のリストとして出力され（ステップ１９４０）、この動作が終了する。真陽性サブセットが空でなければ、入力Ｓが、第１の動作点よりも相対的に感度が高く特異度が低い第２の動作点を実装する、トレーニングされた第２のＭＬ／ＤＬコンピュータ・モデルによって処理される（ステップ１９５０）。前述したように、一部の例示的実施形態では、第１のＭＬ／ＤＬコンピュータ・モデルおよび第２のＭＬ／ＤＬコンピュータ・モデルは、同じモデルであり得るが、異なる動作点を実装する異なるトレーニングに対応する、異なる動作パラメータで構成され得る。第２のＭＬ／ＤＬコンピュータ・モデルの処理の結果は、第２の真陽性サブセットおよび第２の偽陽性サブセットを含む病変に対する分類の第２のセットである。それにより、この第２の真陽性サブセットは、フィルタリングされた病変のリストとして出力され（ステップ１９６０）、この動作が終了する。

【0211】

［コンピュータ・システム環境例］

【0212】

例示的実施形態は、多くの様々な種類のデータ処理環境において利用され得る。例示的実施形態の特定の要素および機能性の記述に背景を与えるために、これ以降、図２０および２１が、例示的実施形態の態様が実装され得る例示的な環境として与えられる。図２０および２１が本発明の態様または実施形態が実装され得る環境に関して何ら限定を断定するものでも暗にほのめかすものでもないことが理解されるべきである。本発明の思想および範囲から逸脱することなく、示された環境に対して多くの修正がなされ得る。

【0213】

図２０では、実施形態によっては、質疑回答（ＱＡ：Ｑｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ）パイプライン、治療推奨パイプライン、医用画像拡大パイプライン、または、生成された結果に対するプロセスを通してだが、ただし様々なコンピュータ固有プロセスを通して人間を近似させる複合人工知能メカニズムを使用してリクエストを処理する任意の他の人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）もしくは認知コンピューティングベースのパイプラインであり得る、リクエスト処理パイプライン２００８を実装する認知システム２０００の１つの例示的実施形態の概略図を示す。この説明の便宜上、リクエスト処理パイプライン２００８が、構造化リクエストまたは非構造化リクエストあるいはその両方を入力質問形態で動作するＱＡパイプラインとして実装されていると想定される。本明細書に記載の原理と併用され得る質問処理動作の１つの例が、その全体が参照により本明細書に組み込まれている米国特許出願公開第２０１１／０１２５７３４号に記載されている。

【0214】

認知システム２０００は、コンピュータ・ネットワーク２００２に接続された１つまたは複数のコンピューティング・デバイス２００４Ａ～Ｄ（１つまたは複数のプロセッサおよび１つまたは複数のメモリ、また場合によっては、バス、記憶デバイス、通信インターフェースなどを含む、当技術分野において一般的に知られている任意の他のコンピューティング・デバイス要素を含む）において実装されている。単に説明の便宜上、図２０には、コンピューティング・デバイス２００４Ａにおいてしか実装されない認知システム２０００を示すが、前述したように、認知システム２０００は、複数のコンピューティング・デバイス２００４Ａ～Ｄなどの複数のコンピューティング・デバイスにわたって分散していてもよい。ネットワーク２００２は、複数のコンピューティング・デバイス、すなわち、サーバ・コンピューティング・デバイスとして動作できるコンピューティング・デバイス２００４Ａ～Ｄと、互いに通信し、１つまたは複数の有線データ通信リンクまたは無線通信リンクあるいはその両方を介して他のデバイスまたは構成要素と通信する、クライアント・コンピューティング・デバイスとして動作できるコンピューティング・デバイス２０１０～２０１２とを含み、この場合、各通信リンクとして、ワイヤ、ルータ、スイッチ、送信機、受信機などのうちの１つまたは複数が挙げられる。一部の例示的実施形態では、認知システム２０００およびネットワーク２００２は、それらのそれぞれのコンピューティング・デバイス２０１０～２０１２を介し、１つまたは複数の認知システム・ユーザ対象の質疑処理および回答生成（ＱＡ）機能性を有効にする。他の実施形態では、認知システム２０００およびネットワーク２００２は、望ましい実装に応じて多くの様々な形態を取り得るリクエスト処理および認知応答生成、例えば、認知情報の取得、ユーザのトレーニング／指示、データの認知評価などを含むがこれらに限定されるわけではない他の種類の認知動作を提供することができる。認知システム２０００の他の実施形態が、本明細書に描写されているもの以外の構成要素、システム、サブシステムまたはデバイスあるいはその組み合わせと共に使用され得る。

【0215】

認知システム２０００は、様々なソースからの入力を受信するリクエスト処理パイプライン２００８を実装するように構成されている。リクエストは、自然言語質問、情報に対する自然言語リクエスト、または認知動作の実行に対する自然言語リクエストなどの形態で提起され得る。例えば、認知システム２０００が、ネットワーク２００２、１つまたは複数の電子文書コーパス２００６、認知システム・ユーザ、または他のデータおよび他のあり得る入力源あるいはその組み合わせから入力を受信する。１つの実施形態では、認知システム２０００への入力のうちのいくつかまたはすべてがネットワーク２００２を介してルーティングされる。ネットワーク２００２にある様々なコンピューティング・デバイス２００４Ａ～Ｄは、内容制作者および認知システム・ユーザ用のアクセス・ポイントを含む。コンピューティング・デバイス２００４Ａ～Ｄのうちのいくつかは、１つまたは複数のデータ・コーパス２００６（単に説明の便宜上、図２０には別個のエンティティとして示されている）を格納するデータベース用のデバイスを含む。１つまたは複数のデータ・コーパス２００６の一部は、１つまたは複数の他のネットワーク接続記憶デバイス、１つもしくは複数のデータベース、または図２０にははっきりとは示されていない他のコンピューティング・デバイスでも提供され得る。ネットワーク２００２は、認知システム２０００が、局所および大域を含む、如何なる規模の環境でも、例えばインターネットでも動作できるように、様々な実施形態においてローカル・ネットワーク接続およびリモート接続を含む。

【0216】

１つの実施形態において、内容制作者は、認知システム２０００を用いてデータ・コーパスの一部として使用するために、１つまたは複数のデータ・コーパス２００６の文書において内容を制作する。文書としては、認知システム２０００で使用するための任意のファイル、テキスト、記事、またはデータ源が挙げられる。認知システム・ユーザは、ネットワーク２００２へのネットワーク接続またはインターネット接続を介して認知システム２０００にアクセスし、１つまたは複数のデータ・コーパス２００６内の内容に基づき回答／処理される質問／リクエストを認知システム２０００に入力する。１つの実施形態では、質問／リクエストは、自然言語を使用して形成されている。認知システム２０００は、パイプライン２００８を介してこの質問／リクエストをパースし、解釈し、提示された質問への１つまたは複数の回答、リクエストへの応答、リクエストの処理結果などを含む、応答を認知システム・ユーザ、例えば認知システム・ユーザ２０１０に与える。一部の実施形態では、認知システム２０００が、候補回答／応答のランク付けリスト内のユーザに応答を与え、他の例示的実施形態では、認知システム２０００が、単一の最終的な回答／応答、または最終的な回答／応答と他の候補回答／応答のランク付けリストとの組み合わせを与える。

【0217】

認知システム２０００は、１つまたは複数のデータ・コーパス２００６から得られた情報に基づき、入力された質問／リクエストを処理するための複数の段階を含むパイプライン２００８を実装する。パイプライン２００８は、入力された質問／リクエストおよび１つまたは複数のデータ・コーパス２００６の処理に基づき、入力された質問またはリクエストに対して回答／応答を生成する。

【0218】

一部の例示的実施形態では、認知システム２０００は、これ以降述べる、例示的実施形態のメカニズムにより拡大された、ニューヨーク州アーモンクのＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＩＢＭ Ｗａｔｓｏｎ（商標）認知システムであり得る。これまでに概説したように、ＩＢＭ Ｗａｔｓｏｎ（商標）認知システムのパイプラインは、入力された質問またはリクエストを受信し、次に、この質問またはリクエストが質問／リクエストの主要特徴を抽出するようにパースして、今度は、この主要特徴を使用して１つまたは複数のデータ・コーパス２００６に適用されているクエリを定式化する。１つまたは複数のデータ・コーパス２００６へのクエリの適用に基づいて、一連の仮説、または入力された質問／リクエストに対する候補の回答／応答が生成される。この生成は、入力された質問／応答（これ以降、入力された質問であると想定する）に対する価値ある応答を含む可能性をいくらか備える１つまたは複数のデータ・コーパス２００６（これ以降、単にコーパス２００６と呼ばれる）の部分を、１つまたは複数のデータ・コーパス２００６にわたって探すことによって行われる。それにより、ＩＢＭ Ｗａｔｓｏｎ（商標）認知システムのパイプライン２００８は、多様な推論アルゴリズムを使用して、クエリの適用時に確認された、入力された質問の言語およびコーパス２００６の当該部分のそれぞれで使用される言語に対して深層解析を行う。

【0219】

それにより、様々な推論アルゴリズムから得られたスコアが、この例ではＩＢＭ Ｗａｔｓｏｎ（商標）認知システム２０００のパイプライン２００８が、あり得る候補回答が質問によって推測されるという証拠に関して備えている信頼レベルをまとめる統計上のモデルに対して重み付けされる。このプロセスは、次に、入力された質問を提出したユーザ、例えばクライアント・コンピューティング・デバイス２０１０のユーザに提示され得る、またはそこから最終的な回答が選択され、ユーザに提示される、候補回答のランク付けリストを生成するように、候補回答のそれぞれに対して繰り返される。ＩＢＭ Ｗａｔｓｏｎ（商標）認知システム２０００のパイプライン２００８についての情報が、例えば、ＩＢＭ Ｃｏｒｐｏｒａｔｉｏｎウェブサイト、ＩＢＭ Ｒｅｄｂｏｏｋｓなどからさらに得られ得る。例えば、ＩＢＭ Ｗａｔｓｏｎ（商標）認知システムのパイプラインについての情報は、Ｙｕａｎらによる「Ｗａｔｓｏｎ Ａｎｄ Ｈｅａｌｔｈｃａｒｅ」、ＩＢＭ ｄｅｖｅｌｏｐｅｒＷｏｒｋｓ、２０１１およびＲｏｂ Ｈｉｇｈによる「Ｔｈｅ Ｅｒａ ｏｆ Ｃｏｇｎｉｔｉｖｅ Ｓｙｓｔｅｍｓ：Ａｎ Ｉｎｓｉｄｅ Ｌｏｏｋ ａｔ ＩＢＭ Ｗａｔｓｏｎ ａｎｄ Ｈｏｗ ｉｔ Ｗｏｒｋｓ」、ＩＢＭ Ｒｅｄｂｏｏｋｓ、２０１２で確認することができる。

【0220】

前述したように、クライアント・デバイスから認知システム２０００への入力は、自然言語質問の形態で提起され得るが、例示的実施形態は、このようなものに限定されない。むしろ、入力質問を、実際には、ＩＢＭ Ｗａｔｓｏｎ（商標）などの認知システムの自然言語解析および解析メカニズムを含むがそれらに限定されるわけではない、構造化入力解析または非構造化入力解析あるいはその両方を使用してパースおよび解析され得る任意の適切な種類のリクエストとしてフォーマットまたは構造化して、認知分析を行うための基礎であって、この認知分析の結果をもたらす基礎を決定することができる。例えば、医師や患者などは、特定の医用画像ベースの動作について、例えば「患者ＡＢＣに存在する肝臓病変を識別する」または「患者に治療推奨を与える」または「患者ＡＢＣの肝臓病変の変化を識別する」などについて、クライアント・コンピューティング・デバイス２０１０を介してリクエストを認知システム２０００に発行することができる。例示的実施形態によれば、このようなリクエストは、例示的実施形態の病変検出および分類メカニズムを採用して対象の解剖学的構造の病変、病変輪郭、病変分類、および輪郭のリストを提供する、認知コンピュータ動作に特に向けられてよく、認知システム２０００は、このリストに対して動作して、認知コンピューティング出力を提供する。例えば、リクエスト処理パイプライン２００８は、「患者ＡＢＣに存在する肝臓病変を識別する」などのリクエストを処理して、このリクエストをパースし、それにより、対象の解剖学的構造を「肝臓」であると識別することができ、特定の入力ボリュームは、患者「ＡＢＣ」に対する医用画像ボリュームであり、解剖学的構造内の「病変」が識別されるべきである。このパージングに基づき、患者「ＡＢＣ」に対応する特定の医用画像ボリュームが、コーパス２００６から取得され、病変検出および分類ＡＩパイプライン２０２０に入力され得る。病変検出および分類ＡＩパイプライン２０２０は、肝臓病変のリストを識別するために、上述したようにこの入力ボリュームに対して動作する。肝臓病変のリストは、医用画像ビューア・アプリケーション出力などを生成するために、リクエスト処理パイプライン２００８を通したさらなる評価のために認知コンピューティング・システム２０００に出力される。

【0221】

図２０に示されるように、コンピューティング・デバイスのうちの１つまたは複数、例えばサーバ２００４は、例えば、図１におけるＡＩパイプライン１００などの、病変検出および分類ＡＩパイプライン２０２０を実装するように特に構成され得る。コンピューティング・デバイスの構成には、例示的実施形態に関して本明細書に記載の動作の実施および出力の生成を促進するように、特定用途向けハードウェア、ファームウェアなどの提供が含まれ得る。コンピューティング・デバイスの構成には、さらにまたは代替として、コンピューティング・デバイスの１つまたは複数のハードウェア・プロセッサに、例示的実施形態に関して本明細書に記載の動作を行い出力を生成するようにプロセッサを構成するソフトウェア・アプリケーションを実行させるのに、１つまたは複数の記憶デバイスに格納され、またサーバ２００４などのコンピューティング・デバイスのメモリに読み込まれるソフトウェア・アプリケーションの提供が含まれ得る。また、特定用途向けハードウェア、ファームウェア、ハードウェアにおいて実行されるソフトウェア・アプリケーションなどの如何なる組み合わせも、例示的実施形態の思想および範囲から逸脱することなく使用され得る。

【0222】

コンピューティング・デバイスがこれらのやり方のうちの１つで構成されると、コンピューティング・デバイスは、例示的実施形態のメカニズムを実装するように特に構成された特殊なコンピューティング・デバイスになり、汎用コンピューティング・デバイスではないことが理解されるべきである。また、本明細書に記載のように、例示的実施形態のメカニズムの実装によって、コンピューティング・デバイスの機能性が改善し、対象の解剖学的構造における自動病変検出だけではなく、このような病変の分類も促進する有用で具体的な結果がもたらされ、これにより、手動プロセスに比べて、誤差を減らし、効率を高める。

【0223】

前述したように、例示的実施形態のメカニズムは、特に構成されたコンピューティング・デバイスまたはデータ処理システムを、解剖学的構造の識別、病変の検出および分類を行うための動作を実施するのに利用する。これらのコンピューティング・デバイス、またはデータ処理システムは、ハードウェア構成、ソフトウェア構成、またはハードウェアとソフトウェアとの組み合わせによって、本明細書に記載のシステム／サブシステムのうちの１つまたは複数を実装するように特に構成された様々なハードウェア要素を備え得る。図２１は、例示的実施形態の態様が実装されてよい、データ処理システムのほんの一例のブロック図である。データ処理システム２１００は、本発明の例示的実施形態のプロセスおよび態様を実装するコンピュータ使用可能コードまたは命令が、本明細書に記載のような例示的実施形態の動作、出力、および外部効果をもたらすように配置されるかまたは実行されるかあるいその両方がなされ得る、図２０におけるサーバ２００４などのコンピュータの一例である。

【0224】

描写の例では、データ処理システム２１００には、ノース・ブリッジおよびメモリ・コントローラ・ハブ（ＮＢ／ＭＣＨ）２１０２と、サウス・ブリッジおよび入出力（Ｉ／Ｏ）コントローラ・ハブ（ＳＢ／ＩＣＨ）２１０４とを含むハブ・アーキテクチャを採用する。処理ユニット２１０６、メイン・メモリ２１０８、およびグラフィックス・プロセッサ２１１０がＮＢ／ＭＣＨ２１０２に接続されている。グラフィックス・プロセッサ２１１０は、加速グラフィックス・ポート（ＡＧＰ：Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ）を通してＮＢ／ＭＣＨ２１０２に接続され得る。

【0225】

示された例では、ローカル・エリア・ネットワーク（ＬＡＮ）アダプタ２１１２がＳＢ／ＩＣＨ２１０４に接続する。オーディオ・アダプタ２１１６、キーボードおよびマウス・アダプタ２１２０、モデム２１２２、読み取り専用メモリ（ＲＯＭ）２１２４、ハード・ディスク・ドライブ（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２１２６、ＣＤ－ＲＯＭドライブ２１３０、ユニバーサル・シリアル・バス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートおよび他の通信ポート２１３２、さらにＰＣＩ／ＰＣＩｅデバイス２１３４が、バス２１３８およびバス２１４０を通してＳＢ／ＩＣＨ２１０４に接続する。ＰＣＩ／ＰＣＩｅデバイスとしては、例えば、イーサネット（登録商標）・アダプタ、アドイン・カード、またノートブック・コンピュータ用のＰＣカードを挙げることができる。ＰＣＩでは、カード・バス・コントローラを使用するが、ＰＣＩｅでは使用しない。ＲＯＭ２１２４は、例えば、フラッシュ基本入出力システム（ＢＩＯＳ：Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）であり得る。

【0226】

ＨＤＤ２１２６およびＣＤ－ＲＯＭドライブ２１３０は、バス２１４０を通してＳＢ／ＩＣＨ２１０４に接続する。ＨＤＤ２１２６およびＣＤ－ＲＯＭドライブ２１３０では、例えば、一体型ドライブ電子機器（ＩＤＥ：Ｉｎｔｅｇｒａｔｅｄ Ｄｒｉｖｅ Ｅｌｅｃｔｒｏｎｉｃｓ）またはシリアル・アドバンスト・テクノロジー・アタッチメント（ＳＡＴＡ：Ｓｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）インターフェースを使用することができる。スーパーＩ／Ｏ（ＳＩＯ：Ｓｕｐｅｒ Ｉ／Ｏ）デバイス２１３６が、ＳＢ／ＩＣＨ２１０４に接続され得る。

【0227】

オペレーティング・システムは、処理ユニット２１０６において作動する。このオペレーティング・システムは、図２１におけるデータ処理システム２１００内の様々な構成要素を連係させ、その制御をもたらす。クライアントとしては、オペレーティング・システムは、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ１０（登録商標）などの市販のオペレーティング・システムであり得る。Ｊａｖａ（登録商標）プログラミング・システムなどのオブジェクト指向プログラミング・システムは、オペレーティング・システムと相まって作動することができ、データ処理システム２００において実行されるＪａｖａ（登録商標）プログラムまたはアプリケーションからオペレーティング・システムに呼び出しを与える。

【0228】

サーバとしては、データ処理システム２１００は、例えば、アドバンスト・インタラクティブ・エグゼクティブ（ＡＩＸ（登録商標））オペレーティング・システム、またはＬＩＮＵＸ（登録商標）オペレーティング・システムを作動させる、ＩＢＭ ｅＳｅｒｖｅｒ（登録商標）Ｓｙｓｔｅｍ ｐ（登録商標）コンピュータ・システム、Ｐｏｗｅｒ（登録商標）プロセッサ・ベース・コンピュータ・システムなどであり得る。データ処理システム２１００は、処理ユニット２１０６に複数のプロセッサを含む対称型マルチプロセッサ（ＳＭＰ：Ｓｙｍｍｅｔｒｉｃ ＭｕｌｔｉＰｒｏｃｅｓｓｏｒ）システムであり得る。代替として、シングル・プロセッサ・システムが採用されてもよい。

【0229】

オペレーティング・システム、オブジェクト指向プログラミング・システム、およびアプリケーションまたはプログラム対象の命令が、ＨＤＤ２１２６などの記憶デバイスに位置し、処理ユニット２１０６による実行に向けてメイン・メモリ２１０８に読み込まれる。本発明の例示的実施形態のプロセスが、例えばメイン・メモリ２１０８、ＲＯＭ２１２４などのメモリに、または例えば１つまたは複数の周辺機器２１２６および２１３０に位置し得るコンピュータ使用可能プログラム・コードを使用して処理ユニット２１０６によって行われ得る。

【0230】

図２１に示されるようなバス２１３８またはバス２１４０などのバス・システムは、１つまたは複数のバスで構成されていることがある。当然、バス・システムは、ファブリックまたはアーキテクチャに取り付けられた様々な構成要素またはデバイス間のデータ転送を提供する任意の種類の通信ファブリックまたは通信アーキテクチャを使用して実装され得る。図２１のモデム２１２２またはネットワーク・アダプタ２１１２などの通信ユニットとしては、データを送受信するのに使用される１つまたは複数のデバイスを挙げることができる。メモリは、例えば、図２１におけるＮＢ／ＭＣＨ２１０２に見られるものなど、メイン・メモリ２１０８、ＲＯＭ２１２４、またはキャッシュであり得る。

【0231】

これまで述べたように、一部の例示的実施形態では、その例示的実施形態のメカニズムは、特定用途向けハードウェアもしくはファームウェアなど、または、処理ユニット２１０６などの１つまたは複数のハードウェア・プロセッサによる実行に向けて、ＨＤＤ２１２６などの記憶デバイスに格納され、メイン・メモリ２１０８などのメモリに読み込まれるアプリケーション・ソフトウェアなどとして実装され得る。このように、図２１に示されるコンピューティング・デバイスは、例示的実施形態のメカニズムを実装するように特に構成され、また病変検出および分類人工知能パイプラインに関して本明細書に記載の動作を行い出力を生成するように特に構成されるようになる。

【0232】

当業者であれば、図２０および２１におけるハードウェアが実装によって異なる場合があることを理解するであろう。フラッシュ・メモリ、同等の不揮発性メモリ、または光ディスク・ドライブなどの他の内部ハードウェアまたは周辺機器が、図２０および２１に示されたハードウェアに加えてまたはその代わりに使用され得る。また、この例示的実施形態のプロセスが、本発明の思想および範囲から逸脱することなく、これまで述べたＳＭＰシステム以外のマルチプロセッサ・データ処理システムに適用されてもよい。

【0233】

また、データ処理システム２１００は、クライアント・コンピューティング・デバイス、サーバ・コンピューティング・デバイス、タブレット・コンピュータ、ラップトップ・コンピュータ、電話機または他の通信デバイス、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などを含むいくつかの様々なデータ処理システムのいずれの形態も取り得る。一部の例示的な例では、データ処理システム２１００は、例えば、オペレーティング・システム・ファイルまたはユーザ生成データあるいはその両方を格納するための不揮発性メモリを提供するフラッシュ・メモリ構成されているポータブル・コンピューティング・デバイスであり得る。本来、データ処理システム２１００は、構築上の制約を伴わない、知られているまたはこれから開発される如何なるデータ処理システムでもあり得る。

【0234】

前述したように、例示的実施形態が、全体がハードウェアの実施形態、全体がソフトウェアの実施形態、またはハードウェア要素もソフトウェア要素も含む実施形態の形態を取り得ることが理解されるべきである。１つの実施形態例では、例示的実施形態のメカニズムは、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むがそれらに限定されるわけではないソフトウェアまたはプログラム・コードにおいて実装され得る。

【0235】

プログラム・コードを格納しまたは実行するあるいはその両方を行うのに適したデータ処理システムであれば、例えばシステム・バスなどの通信バスを通して記憶素子に直接にまたは間接的に結合された少なくとも１つのプロセッサを含むことになる。記憶素子としては、プログラム・コードの実際の実行時に採用されるローカル・メモリと、大容量記憶域と、コードを実行時に大容量記憶域から取得しなければならない回数を減らすために、少なくとも何らかのプログラム・コードの一時的記憶をもたらすキャッシュ・メモリとを挙げることができる。メモリは、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ・メモリ、ソリッド・ステート・メモリなどを含むがこれらに限定されるわけではない様々な型式のものであり得る。

【0236】

入出力デバイスすなわちＩ／Ｏデバイス（キーボード、ディスプレイ、ポインティング・デバイスなどを含むがこれらに限定されるわけではない）は、直接的に、または介在する有線または無線のＩ／Ｏインターフェースまたはコントローラあるいはその両方などを通して、このシステムに結合され得る。Ｉ／Ｏデバイスは、例えば、スマートフォン、タブレット・コンピュータ、タッチ・スクリーン・デバイス、音声認識デバイスなどを含むがこれらに限定されるわけではない、無線または有線の接続を通して結合された通信デバイスなど、従来のキーボード、ディスプレイ、ポインティング・デバイスなど以外の多くの様々な形態を取り得る。知られているまたはこれから開発される如何なるＩ／Ｏデバイスも、例示的実施形態の範囲内にあると意図されるものである。

【0237】

ネットワーク・アダプタをシステムに結合して、データ処理システムを、介在する私設網または公衆網を通して他のデータ処理システムまたは遠隔プリンタまたは記憶デバイスに結合できるようにしてもよい。モデム、ケーブル・モデム、およびイーサネット・カードは、有線通信用の現在使用可能なネットワーク・アダプタ型式のほんの一部にすぎない。８０２．１１ａ／ｂ／ｇ／ｎ無線通信アダプタ、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線アダプタなどを含むがこれらに限定されるわけではない、無線通信ベースのネットワーク・アダプタも、利用され得る。知られているまたはこれから開発される如何なるネットワーク・アダプタも、本発明の思想および範囲内にあると意図されるものである。

【0238】

本発明の説明は、例示および説明の目的で提示されており、開示されている形態の本発明を網羅することもそれに限定されることも意図するものではない。当業者には、記載の実施形態の範囲および思想から逸脱しない、多くの修正および変形が明らかになるであろう。実施形態は、本発明の原理や実際の適用を一番良く説明するため、および、当業者が、企図される特定の使用に適した様々な修正を伴う様々な実施形態について本発明を理解できるようにするために選択および説明された。本明細書で使用される専門用語は、実施形態の原理、市場で見られる技術を凌ぐ実際の適用または技術的改善を一番うまく説明するため、または、当業者が、本明細書に開示の実施形態を理解できるようにするために選択された。
［項目１］
少なくとも１つのプロセッサおよび少なくとも１つのメモリを備えているデータ処理システムにおける方法であって、前記少なくとも１つのメモリが、前記少なくとも１つのプロセッサによって実行されて、ｚ方向の病変の接続性を決定するためのトレーニング済み機械学習コンピュータ・モデルを実装するための命令を含んでおり、前記方法が、
３次元医用画像内の所与のスライスに関して、前記３次元医用画像内の前記所与のスライス内の第１の病変および隣接するスライス内の第２の病変を識別する段階と、
前記第１の病変に関して前記第１の病変と前記第２の病変の間の第１の交差値を決定する段階と、
前記第２の病変に関して前記第１の病変と前記第２の病変の間の第２の交差値を決定する段階と、
前記第１の交差値および前記第２の交差値に基づいて、前記第１の病変および前記第２の病変が同じ３次元の病変に属しているかどうかを判定する段階と
を備えている、方法。
［項目２］
前記第１の交差値を決定する段階が、前記第１の交差値ｒ _０ を次のように計算する段階を有し、

【数9】

Ａが前記第１の病変であり、Ｂが前記第２の病変であり、｜Ａ｜が前記第１の病変の面積を示し、｜Ｂ｜が前記第２の病変の面積を示し、｜Ａ∩Ｂ｜が前記第１の病変と前記第２の病変の共通集合の面積を示す、
項目１に記載の方法。
［項目３］
前記第２の交差値を決定する段階が、前記第２の交差値ｒ _１ を次のように計算する段階を有し、

【数10】

Ａが前記第１の病変であり、Ｂが前記第２の病変であり、｜Ａ｜が前記第１の病変の面積を示し、｜Ｂ｜が前記第２の病変の面積を示し、｜Ａ∩Ｂ｜が前記第１の病変と前記第２の病変の共通集合の面積を示す、
項目１または２に記載の方法。
［項目４］
前記第１の病変および前記第２の病変が同じ３次元の病変に属しているかどうかを判定する段階が、前記第１の交差値および前記第２の交差値を特徴として前記トレーニング済み機械学習コンピュータ・モデルに提供する段階を有し、前記トレーニング済み機械学習コンピュータ・モデルが、前記第１の病変および前記第２の病変が同じ３次元の病変に属している確率を生成する、項目１から３のいずれか一項に記載の方法。
［項目５］
前記トレーニング済み機械学習コンピュータ・モデルがロジスティック回帰モデルである、項目４に記載の方法。
［項目６］
前記第１の病変および前記第２の病変が同じ３次元の病変に属しているかどうかを判定する段階が、前記第１の病変および前記第２の病変が同じ３次元の病変に属している前記確率が既定のしきい値ｔより大きいかどうかを判定する段階を有する、項目４または５に記載の方法。
［項目７］
前記３次元医用画像のすべてのスライスについて、各スライス内の各第１の病変および各隣接するスライス内の各第２の病変が同じ３次元の病変に属しているかどうかを判定する段階と、
前記３次元医用画像内の同じ３次元の病変に属している病変をｚ軸に沿って接続する段階と
をさらに備えている、項目１から６のいずれか一項に記載の方法。
［項目８］
前記トレーニング済み機械学習コンピュータ・モデルが、前記第１の交差値ｒ _０ および前記第２の交差値ｒ _１ を次のように線形に結合することを学習し、

【数11】

ｃ _０ 、ｃ _１ 、およびｂが、機械学習トレーニング動作によってトレーニング・ボリュームから学習される動作パラメータである、
項目１から７のいずれか一項に記載の方法。
［項目９］
コンピューティング・デバイスに、ｚ方向の病変の接続性を決定するためのトレーニング済み機械学習コンピュータ・モデルを実装する手順であって、前記トレーニング済み機械学習コンピュータ・モデルが、
３次元医用画像内の所与のスライスに関して、前記３次元医用画像内の前記所与のスライス内の第１の病変および隣接するスライス内の第２の病変を識別することと、
前記第１の病変に関して前記第１の病変と前記第２の病変の間の第１の交差値を決定することと、
前記第２の病変に関して前記第１の病変と前記第２の病変の間の第２の交差値を決定することと、
前記第１の交差値および前記第２の交差値に基づいて、前記第１の病変および前記第２の病変が同じ３次元の病変に属しているかどうかを判定することと
を実行する、手順を実行させるためのコンピュータ・プログラム。
［項目１０］
前記第１の交差値を決定することが、前記第１の交差値ｒ _０ を次のように計算することを含み、

【数12】

Ａが前記第１の病変であり、Ｂが前記第２の病変であり、｜Ａ｜が前記第１の病変の面積を示し、｜Ｂ｜が前記第２の病変の面積を示し、｜Ａ∩Ｂ｜が前記第１の病変と前記第２の病変の共通集合の面積を示す、
項目９に記載のコンピュータ・プログラム。
［項目１１］
前記第２の交差値を決定することが、前記第２の交差値ｒ _１ を次のように計算することを含み、

【数13】

Ａが前記第１の病変であり、Ｂが前記第２の病変であり、｜Ａ｜が前記第１の病変の面積を示し、｜Ｂ｜が前記第２の病変の面積を示し、｜Ａ∩Ｂ｜が前記第１の病変と前記第２の病変の共通集合の面積を示す、
項目９または１０に記載のコンピュータ・プログラム。
［項目１２］
前記第１の病変および前記第２の病変が同じ３次元の病変に属しているかどうかを判定することが、前記第１の交差値および前記第２の交差値を特徴として前記トレーニング済み機械学習コンピュータ・モデルに提供することを含み、前記トレーニング済み機械学習コンピュータ・モデルが、前記第１の病変および前記第２の病変が同じ３次元の病変に属している確率を生成する、項目９から１１のいずれか一項に記載のコンピュータ・プログラム。
［項目１３］
前記トレーニング済み機械学習コンピュータ・モデルがロジスティック回帰モデルである、項目１２に記載のコンピュータ・プログラム。
［項目１４］
前記第１の病変および前記第２の病変が同じ３次元の病変に属しているかどうかを判定することが、前記第１の病変および前記第２の病変が同じ３次元の病変に属している前記確率が既定のしきい値ｔより大きいかどうかを判定することを含む、項目１２または１３に記載のコンピュータ・プログラム。
［項目１５］
前記トレーニング済み機械学習コンピュータ・モデルが、
前記３次元医用画像のすべてのスライスについて、各スライス内の各第１の病変および各隣接するスライス内の各第２の病変が同じ３次元の病変に属しているかどうかを判定することと、
前記３次元医用画像内の同じ３次元の病変に属している病変をｚ軸に沿って接続することと
を実行する、
項目９から１４のいずれか一項に記載のコンピュータ・プログラム。
［項目１６］
前記トレーニング済み機械学習コンピュータ・モデルが、前記第１の交差値ｒ _０ および前記第２の交差値ｒ _１ を次のように線形に結合することを学習し、

【数14】

ｃ _０ 、ｃ _１ 、およびｂが、機械学習トレーニング動作によってトレーニング・ボリュームから学習される動作パラメータである、
項目９から１５のいずれか一項に記載のコンピュータ・プログラム。
［項目１７］
プロセッサと、
前記プロセッサに結合されたメモリと
を備えている装置であって、
前記メモリが、前記プロセッサによって実行された場合に、前記プロセッサに、ｚ方向の病変の接続性を決定するためのトレーニング済み機械学習コンピュータ・モデルを実装させる命令を含み、前記トレーニング済み機械学習コンピュータ・モデルが実行されて、
３次元医用画像内の所与のスライスに関して、前記３次元医用画像内の前記所与のスライス内の第１の病変および隣接するスライス内の第２の病変を識別することと、
前記第１の病変に関して前記第１の病変と前記第２の病変の間の第１の交差値を決定することと、
前記第２の病変に関して前記第１の病変と前記第２の病変の間の第２の交差値を決定することと、
前記第１の交差値および前記第２の交差値に基づいて、前記第１の病変および前記第２の病変が同じ３次元の病変に属しているかどうかを判定することと
を実行する、
装置。
［項目１８］
前記第１の交差値を決定することが、前記第１の交差値ｒ _０ を次のように計算することを含み、

【数15】

Ａが前記第１の病変であり、Ｂが前記第２の病変であり、｜Ａ｜が前記第１の病変の面積を示し、｜Ｂ｜が前記第２の病変の面積を示し、｜Ａ∩Ｂ｜が前記第１の病変と前記第２の病変の共通集合の面積を示し、
前記第２の交差値を決定することが、前記第２の交差値ｒ _１ を次のように計算することを含む、

【数16】

項目１７に記載の装置。
［項目１９］
前記第１の病変および前記第２の病変が同じ３次元の病変に属しているかどうかを判定することが、前記第１の交差値および前記第２の交差値を特徴として前記トレーニング済み機械学習コンピュータ・モデルに提供することを含み、前記トレーニング済み機械学習コンピュータ・モデルが、前記第１の病変および前記第２の病変が同じ３次元の病変に属している確率を生成する、項目１７または１８に記載の装置。
［項目２０］
前記トレーニング済み機械学習コンピュータ・モデルが、前記第１の交差値ｒ _０ および前記第２の交差値ｒ _１ を次のように線形に結合することを学習し、

【数17】

ｃ _０ 、ｃ _１ 、およびｂが、機械学習トレーニング動作によってトレーニング・ボリュームから学習される動作パラメータである、
項目１７から１９のいずれか一項に記載の装置。

【符号の説明】

【0239】

１００ ＡＩパイプライン
１２８ 構造最小量決定
１３０ 肝臓／病変検出論理段階
１３２ ＭＬ／ＤＬコンピュータ・モデルの集団
１３３ ＭＬ／ＤＬコンピュータ・モデルの集団
１３４ ＭＬ／ＤＬコンピュータ・モデルの集団
１３５ ＭＬ／ＤＬコンピュータ・モデルの集団、病変、検出マップ
１３６ ＭＬ／ＤＬコンピュータ・モデルの集団
１４０ 病変セグメント化論理段階
１４８ リスト、入力
１５０ 偽陽性処理段階
１６０ 病変分類段階
６００ ＭＬ／ＤＬコンピュータ・モデルの集団
６１０ 第１のＭＬ／ＤＬコンピュータ・モデル
６１２ Ｕ－Ｎｅｔニューラル・ネットワーク・モデル
６１４ 肝臓マスク
６２０ 第２のＭＬ／ＤＬコンピュータ・モデル
６２１ ＤｅｎｓｅＮｅｔ－１６９（Ｄ１６９）エンコーダ
６２２ デコーダ、エンコーダ
６２３ デコーダ、エンコーダ、スライス平均化（ＳＬＣ ＡＶＧ）論理
６２４ 出力、病変出力、病変予測出力
６２５ 出力、病変出力、病変予測出力
６２６ ＳＬＣ ＡＶＧモジュール
６２７ 一貫性の損失、一貫性の損失論理
６３０ 第３のＭＬ／ＤＬコンピュータ・モデル
６３４ エンコーダ・セクション、エンコーダ、エンコーダ・ニューラル・ネットワーク、ＣＮＮ
６３５ エンコーダ・セクション、エンコーダ、エンコーダ・ニューラル・ネットワーク、ＣＮＮ
６３６ エンコーダ・セクション、エンコーダ、エンコーダ・ニューラル・ネットワーク、ＣＮＮ
６３８ デコーダ段階、デコーダ
６３９ 第２の損失関数、深層監視
６４０ 平均演算、ボリューム平均化（ＶＯＬ ＡＶＧ）論理
６５０ Ｆｉｎａｌ Ｌｅｓｉｏｎ ｍａｓｋ、最終的な病変出力
６６０ 肝臓マスク出力
８１０ 第１の段階
８２０ 第２の段階
９１０ 病変域
９１１ 病変
９１２ 病変
９１３ 病変
１０５１ シード
１０６１ シード
１０７１ シード
１１０１ ２次元病変マスク
１１１１ 距離マップ
１１１２ シード
１１１３ 流域分割病変マスク
１１２１ 更新済み分割病変マスク
１３１０ スライス
１３１１ 病変
１３１２ 病変
１３２０ スライス
１３２１ 病変
１３３０ スライス
１３３１ 病変
１３３２ 病変
１６１１ 輪郭
１６１２ 輪郭
１８１０ 入力
１８２０ 第１のトレーニング済みＭＬ／ＤＬコンピュータ・モデル
１８３０ 真陽性評価論理回路
１８３５ フィルタ処理済み病変のリスト
１８４０ 第２のＭＬ／ＤＬコンピュータ・モデル
１８４５ フィルタ処理済み病変のリスト
２０００ 認知システム
２００２ コンピュータ・ネットワーク
２００４Ａ コンピューティング・デバイス、サーバ
２００４Ｂ コンピューティング・デバイス
２００４Ｃ コンピューティング・デバイス
２００４Ｄ コンピューティング・デバイス
２００６ コーパス
２００６ 電子文書コーパスもしくは電子文書コーポラ、データ・コーパスもしくはデータ・コーポラ
２００７ 認知システム
２００８ リクエスト処理パイプライン
２０１０ 認知システム・ユーザ
２０１０～２０１２ クライアント・コンピューティング・デバイス
２０２０ 病変検出および分類ＡＩパイプライン
２１００ データ処理システム
２１０２ メモリ・コントローラ・ハブ（ＮＢ／ＭＣＨ）
２１０４ 入力／出力（Ｉ／Ｏ）コントローラ・ハブ（ＳＢ／ＩＣＨ）
２１０６ 処理ユニット
２１０８ メイン・メモリ
２１１０ グラフィックス・プロセッサ
２１１２ ローカル・エリア・ネットワーク（ＬＡＮ）アダプタ
２１１６ 可聴アダプタ
２１２０ キーボードおよびマウスアダプタ
２１２２ モデム
２１２４ 読み取り専用メモリ（ＲＯＭ）
２１２６ ハード・ディスク・ドライブ（ＨＤＤ）、周辺機器
２１３０ ＣＤ－ＲＯＭドライブ、周辺機器
２１３２ ユニバーサル・シリアル・バス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートおよび他の通信ポート
２１３４ ＰＣＩ／ＰＣＩｅデバイス
２１３６ スーパーＩ／Ｏ（ＳＩＯ：Ｓｕｐｅｒ Ｉ／Ｏ）デバイス
２１３８ バス
２１４０ バス

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図10C】

【図10D】

【図11A】

【図11B】

【図12】

【図13A】

【図13B】

【図13C】

【図14A】

【図14B】

【図15】

【図16】

【図17】

【図18A】

【図18B】

【図18C】

【図19】

【図20】

【図21】