特開 2025-16513 オブジェクト検出を用いて位置特定された医用画像の三次元オブジェクトセグメンテーション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025016513

(43)【公開日】2025-02-04

(54)【発明の名称】オブジェクト検出を用いて位置特定された医用画像の三次元オブジェクトセグメンテーション

(51)【国際特許分類】

   A61B 5/055 20060101AFI20250128BHJP

【ＦＩ】

A61B5/055 380

【審査請求】有

【請求項の数】17

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024178623

(22)【出願日】2024-10-11

(62)【分割の表示】P 2022508485の分割

【原出願日】2020-08-13

(31)【優先権主張番号】62/886,844

(32)【優先日】2019-08-14

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】509012625

【氏名又は名称】ジェネンテック， インコーポレイテッド

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】シエ， ルーク

(72)【発明者】

【氏名】バルック， カイ ヘンリク

(72)【発明者】

【氏名】バズギル， オミド

(57)【要約】      （修正有）

【課題】導出されたコントラスト機構に基づくオブジェクト検出によって位置特定された医用画像内のオブジェクトを、深層学習ネットワークを使用してセグメント化するための技術を提供する。
【解決手段】第１の特性を有する第１の医用画像内の関心オブジェクトを位置特定し、第２の特性を有する第２の医用画像上に関心オブジェクトの境界ボックスまたはセグメンテーションマスクを投影して第２の医用画像の一部を画定し、第２の医用画像の一部をセグメント化し、関心オブジェクトの周りにセグメンテーション境界を生成することができる重み付き損失関数を使用して検出器として構成される深層学習モデルに第２の医用画像の一部を入力することに関する。セグメンテーション境界は、被験者の診断および／または予後を判定するために関心オブジェクトの体積を計算するために使用されることができる。
【選択図】図４

【特許請求の範囲】

【請求項1】

医用画像内のオブジェクトをセグメント化するための方法であって、
被験者の医用画像を取得することであって、前記医用画像が、第１の特性を有する第１の画像および第２の特性を有する第２の画像を含み、前記医用画像が、１つ以上の医用イメージングモダリティを使用して生成される、取得することと、
位置特定モデルを使用して、前記第１の画像内のオブジェクトを位置特定し、複数のオブジェクトクラスに分類することであって、前記分類することが、前記第１の画像の画素またはボクセルのセットを前記複数のオブジェクトクラスのうちの１つ以上に割り当てる、位置特定および分類することと、
前記位置特定モデルを使用して、前記複数のオブジェクトクラスのうちのオブジェクトクラスに割り当てられた画素またはボクセルのセットに基づいて、前記第１の画像内の関心オブジェクトのための境界ボックスまたはセグメンテーションマスクを判定することと、
前記境界ボックスまたは前記セグメンテーションマスクを前記第２の画像上に転送して、前記関心オブジェクトを含む前記第２の画像の一部を画定することと、
前記第２の画像の前記一部を、重み付き損失関数を使用して体積セグメンテーションのために構築された三次元ニューラルネットワークモデルに入力することと、
前記三次元ニューラルネットワークモデルを使用して、前記関心オブジェクトの周りの推定されたセグメンテーション境界を生成することと、
前記三次元ニューラルネットワークを使用して、前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第２の画像の前記一部を出力することと、を含む、方法。

【請求項2】

前記１つ以上の医用イメージングモダリティが、第１の医用イメージングモダリティと、前記第１の医用イメージングモダリティとは異なる第２の医用イメージングモダリティとを含み、前記第１の画像が、前記第１の医用イメージングモダリティから生成され、前記第２の画像が、前記第２の医用イメージングモダリティから生成される、請求項１に記載の方法。

【請求項3】

前記１つ以上の医用イメージングモダリティが、第１の医用イメージングモダリティと、前記第１の医用イメージングモダリティと同じである第２の医用イメージングモダリティとを含み、前記第１の画像が、前記第１の医用イメージングモダリティから生成され、前記第２の画像が、前記第２の医用イメージングモダリティから生成される、請求項１に記載の方法。

【請求項4】

前記第１の画像が第１の種類の画像であり、前記第２の画像が第２の種類の画像であり、前記第１の種類の画像が前記第２の種類の画像とは異なる、請求項１または２に記載の方法。

【請求項5】

前記第１の画像が第１の種類の画像であり、前記第２の画像が第２の種類の画像であり、前記第１の種類の画像が前記第２の種類の画像と同じである、請求項１または３に記載の方法。

【請求項6】

前記第１の特性が前記第２の特性とは異なる、請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記第１の特性が前記第２の特性と同じである、請求項１～５のいずれか一項に記載の方法。

【請求項8】

前記第１の医用イメージングモダリティが、磁気共鳴イメージング、拡散テンソルイメージング、コンピュータ断層撮影、陽電子放射断層撮影、光音響断層撮影、Ｘ線、超音波撮影、またはそれらの組み合わせであり、前記第２の医用イメージングモダリティが、磁気共鳴イメージング、拡散テンソルイメージング、コンピュータ断層撮影、陽電子放射断層撮影、光音響断層撮影、Ｘ線、超音波撮影、またはそれらの組み合わせである、請求項２または３に記載の方法。

【請求項9】

前記第１の種類の画像が、磁気共鳴画像、拡散テンソル画像もしくはマップ、コンピュータ断層撮影画像、陽電子放射断層撮影画像、光音響断層撮影画像、Ｘ線画像、ソノグラフィ画像、またはそれらの組み合わせであり、前記第２の種類の画像が、磁気共鳴画像、拡散テンソル画像もしくはマップ、コンピュータ断層撮影画像、陽電子放射断層撮影画像、光音響断層撮影画像、Ｘ線画像、ソノグラフィ画像、またはそれらの組み合わせである、請求項４または５に記載の方法。

【請求項10】

前記第１の特性が、異方性比コントラスト、平均拡散性コントラスト、軸方向拡散性コントラスト、半径方向拡散性コントラスト、プロトン密度コントラスト、Ｔ１緩和時間コントラスト、Ｔ２緩和時間コントラスト、拡散係数コントラスト、低解像度、高解像度、薬剤コントラスト、放射性トレーサコントラスト、光吸収コントラスト、エコー距離コントラスト、またはそれらの組み合わせであり、前記第２の特性が、異方性比コントラスト、平均拡散性コントラスト、前記軸方向拡散性コントラスト、半径方向拡散性コントラスト、プロトン密度コントラスト、Ｔ１緩和時間コントラスト、Ｔ２緩和時間コントラスト、拡散係数コントラスト、低解像度、高解像度、薬剤コントラスト、放射性トレーサコントラスト、光吸収コントラスト、エコー距離コントラスト、またはそれらの組み合わせである、請求項６または７に記載の方法。

【請求項11】

前記１つ以上の医用イメージングモダリティが拡散テンソルイメージングであり、前記第１の画像が部分異方性（ＦＡ）マップであり、前記第２の画像が平均拡散性（ＭＤ）マップであり、前記第１の特性が異方性比コントラストであり、前記第２の特性が平均拡散性コントラストであり、前記関心オブジェクトが前記被験者の腎臓である、請求項１に記載の方法。

【請求項12】

前記第１の画像内の前記オブジェクトを位置特定および分類することが、前記第１の画像の複数の画素またはボクセルに１つ以上のクラスタリングアルゴリズムを適用することを含む、請求項１～１１のいずれか一項に記載の方法。

【請求項13】

前記１つ以上のクラスタリングアルゴリズムが、前記複数のオブジェクトクラスに関連するクラスタに観測値を割り当てるｋ平均アルゴリズムを含む、請求項１２に記載の方法。

【請求項14】

前記１つ以上のクラスタリングアルゴリズムが、１つ以上の確率分布に基づいてクラスタメンバーシップの確率を計算する期待値最大化アルゴリズムをさらに含み、前記ｋ平均アルゴリズムが、前記複数のオブジェクトクラスの各オブジェクトクラスの初期パラメータを推定することによって前記期待値最大化アルゴリズムを初期化する、請求項１３に記載の方法。

【請求項15】

前記セグメンテーションマスクが判定され、前記セグメンテーションマスクを判定することが、
前記オブジェクトクラスに割り当てられた前記画素またはボクセルのセットを使用して、前記関心オブジェクトのシード位置を識別することと、
前記セグメンテーションマスクの深さを表すｚ軸に向かって前記シード位置を投影することによって前記シード位置を成長させることと、
投影された前記シード位置に基づいて前記セグメンテーションマスクを判定することと、を含む、請求項１～１４のいずれか一項に記載の方法。

【請求項16】

前記セグメンテーションマスクを判定することが、前記セグメンテーションマスクに対して形態学的閉鎖および充填を実行することをさらに含む、請求項１５に記載の方法。

【請求項17】

前記第２の画像の前記一部を前記三次元ニューラルネットワークモデルに入力する前に、前記第２の画像の前記一部を生成するためにオブジェクトマスクにマージンを加えたものに基づいて前記第２の画像を切り取ることをさらに含む、請求項１５または１６に記載の方法。

【請求項18】

前記第２の画像の前記一部を前記三次元ニューラルネットワークモデルに入力する前に、前記第２の画像の前記一部の解像度を高めるために前記第２の画像を深層超解像ニューラルネットワークに入力することをさらに含む、請求項１～１７のいずれか一項に記載の方法。

【請求項19】

前記三次元ニューラルネットワークモデルが、訓練データのセットを使用して識別された複数のモデルパラメータを含み、前記訓練データのセットが、
関心オブジェクトの周りのセグメンテーション境界に関連付けられた注釈を有する複数の医用画像と、
関心オブジェクトの周りのセグメンテーション境界に関連付けられた注釈を有する複数の追加の医用画像であって、前記複数の追加の医用画像が、前記複数の医用画像からの画像ヒストグラムを複数の参照マップからの画像ヒストグラムにマッチングさせることによって人工的に生成される、複数の追加の医用画像と、を含み、
前記複数のモデルパラメータが、前記重み付き損失関数を最小化することに基づいて前記訓練データのセットを使用して識別される、請求項１～１８のいずれか一項に記載の方法。

【請求項20】

前記重み付き損失関数が重み付きダイス損失関数である、請求項１９に記載の方法。

【請求項21】

前記三次元ニューラルネットワークモデルが、修正された３Ｄ Ｕ－Ｎｅｔモデルである、請求項１～２０のいずれか一項に記載の方法。

【請求項22】

前記修正された３Ｄ Ｕ－Ｎｅｔモデルが、総数で５，０００，０００個から１２，０００，０００個の学習可能パラメータを含む、請求項２１に記載の方法。

【請求項23】

前記修正された３Ｄ Ｕ－Ｎｅｔモデルが、総数で８００個から１，７００個のカーネルを含む、請求項２１または２２に記載の方法。

【請求項24】

前記関心オブジェクトの周囲の推定された境界に基づいて、前記関心オブジェクトのサイズ、表面積、および／または体積を判定することと、
（ｉ）前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第２の画像の前記一部、および／または（ｉｉ）前記関心オブジェクトのサイズ、表面積、および／または体積を提供することと、
をさらに含む、請求項１～２３のいずれか一項に記載の方法。

【請求項25】

ユーザによって、（ｉ）前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第２の画像の前記一部、および／または（ｉｉ）前記関心オブジェクトのサイズ、表面積、および／または体積に基づいて、前記被験者の診断を判定することをさらに含む、請求項２４に記載の方法。

【請求項26】

イメージングシステムを使用するユーザによって、前記被験者の前記医用画像を取得することであって、前記イメージングシステムが、前記１つ以上の医用イメージングモダリティを使用して前記医用画像を生成する、取得することと、
前記関心オブジェクトの周囲の前記推定されたセグメンテーション境界に基づいて、前記関心オブジェクトのサイズ、表面積、および／または体積を判定することと、
（ｉ）前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する第２の画像の前記一部、および／または（ｉｉ）前記関心オブジェクトのサイズ、表面積、および／または体積を提供することと、
前記ユーザによって、（ｉ）前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第２の画像の前記一部、および／または（ｉｉ）前記関心オブジェクトのサイズ、表面積、および／または体積を受信することと、
前記ユーザによって、（ｉ）前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第２の画像の前記一部、および／または（ｉｉ）前記関心オブジェクトのサイズ、表面積、および／または体積に基づいて、前記被験者の診断を判定することと、
をさらに含む、請求項１～２３のいずれか一項に記載の方法。

【請求項27】

前記ユーザによって、（ｉ）前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第２の画像の前記一部、（ｉｉ）前記関心オブジェクトのサイズ、表面積、および／もしくは体積、および／または（ｉｉｉ）前記被験者の診断に基づく化合物による処置を投与することをさらに含む、請求項２５または２６に記載の方法。

【請求項28】

医用画像内のオブジェクトをセグメント化するためのシステムであって、
１つ以上のデータプロセッサと、
前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに、動作を実行させる命令を含む非一時的コンピュータ可読記憶媒体と、を備え、前記動作が、
被験者の医用画像を取得することであって、前記医用画像が、第１の特性を有する第１の画像および第２の特性を有する第２の画像を含み、前記医用画像が、１つ以上の医用イメージングモダリティを使用して生成される、取得することと、
位置特定モデルを使用して、前記第１の画像内のオブジェクトを位置特定し、複数のオブジェクトクラスに分類することであって、前記分類することが、前記第１の画像の画素またはボクセルのセットを前記複数のオブジェクトクラスのうちの１つ以上に割り当てる、位置特定および分類することと、
前記位置特定モデルを使用して、前記複数のオブジェクトクラスのうちのオブジェクトクラスに割り当てられた画素またはボクセルのセットに基づいて、前記第１の画像内の関心オブジェクトのための境界ボックスまたはセグメンテーションマスクを判定することと、
前記境界ボックスまたは前記セグメンテーションマスクを前記第２の画像上に転送して、前記関心オブジェクトを含む前記第２の画像の一部を画定することと、
前記第２の画像の前記一部を、重み付き損失関数を使用して体積セグメンテーションのために構築された三次元ニューラルネットワークモデルに入力することと、
前記三次元ニューラルネットワークモデルを使用して、前記関心オブジェクトの周りの推定されたセグメンテーション境界を生成することと、
前記三次元ニューラルネットワークを使用して、前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第２の画像の前記一部を出力することと、を含む、システム。

【請求項29】

前記１つ以上の医用イメージングモダリティが、第１の医用イメージングモダリティと、前記第１の医用イメージングモダリティとは異なる第２の医用イメージングモダリティとを含み、前記第１の画像が、前記第１の医用イメージングモダリティから生成され、前記第２の画像が、前記第２の医用イメージングモダリティから生成される、請求項２８に記載のシステム。

【請求項30】

前記１つ以上の医用イメージングモダリティが、第１の医用イメージングモダリティと、前記第１の医用イメージングモダリティと同じである第２の医用イメージングモダリティとを含み、前記第１の画像が、前記第１の医用イメージングモダリティから生成され、前記第２の画像が、前記第２の医用イメージングモダリティから生成される、請求項２８に記載のシステム。

【請求項31】

前記第１の画像が第１の種類の画像であり、前記第２の画像が第２の種類の画像であり、前記第１の種類の画像が前記第２の種類の画像とは異なる、請求項２８または２９に記載のシステム。

【請求項32】

前記第１の画像が第１の種類の画像であり、前記第２の画像が第２の種類の画像であり、前記第１の種類の画像が前記第２の種類の画像と同じである、請求項２８または３１に記載のシステム。

【請求項33】

前記第１の特性が前記第２の特性とは異なる、請求項２８～３２のいずれか一項に記載のシステム。

【請求項34】

前記第１の特性が前記第２の特性と同じである、請求項２８～３２のいずれか一項に記載のシステム。

【請求項35】

前記第１の医用イメージングモダリティが、磁気共鳴イメージング、拡散テンソルイメージング、コンピュータ断層撮影、陽電子放射断層撮影、光音響断層撮影、Ｘ線、超音波撮影、またはそれらの組み合わせであり、前記第２の医用イメージングモダリティが、磁気共鳴イメージング、拡散テンソルイメージング、コンピュータ断層撮影、陽電子放射断層撮影、光音響断層撮影、Ｘ線、超音波撮影、またはそれらの組み合わせである、請求項２９または３０に記載のシステム。

【請求項36】

前記第１の種類の画像が、磁気共鳴画像、拡散テンソル画像もしくはマップ、コンピュータ断層撮影画像、陽電子放射断層撮影画像、光音響断層撮影画像、Ｘ線画像、ソノグラフィ画像、またはそれらの組み合わせであり、前記第２の種類の画像が、磁気共鳴画像、拡散テンソル画像もしくはマップ、コンピュータ断層撮影画像、陽電子放射断層撮影画像、光音響断層撮影画像、Ｘ線画像、ソノグラフィ画像、またはそれらの組み合わせである、請求項３１または３２に記載のシステム。

【請求項37】

前記第１の特性が、異方性比コントラスト、平均拡散性コントラスト、軸方向拡散性コントラスト、半径方向拡散性コントラスト、プロトン密度コントラスト、Ｔ１緩和時間コントラスト、Ｔ２緩和時間コントラスト、拡散係数コントラスト、低解像度、高解像度、薬剤コントラスト、放射性トレーサコントラスト、光吸収コントラスト、エコー距離コントラスト、またはそれらの組み合わせであり、前記第２の特性が、異方性比コントラスト、平均拡散性コントラスト、軸方向拡散性コントラスト、半径方向拡散性コントラスト、プロトン密度コントラスト、Ｔ１緩和時間コントラスト、Ｔ２緩和時間コントラスト、拡散係数コントラスト、低解像度、高解像度、薬剤コントラスト、放射性トレーサコントラスト、光吸収コントラスト、エコー距離コントラスト、またはそれらの組み合わせである、請求項３３または３４に記載のシステム。

【請求項38】

前記１つ以上の医用イメージングモダリティが拡散テンソルイメージングであり、前記第１の画像が部分異方性（ＦＡ）マップであり、前記第２の画像が平均拡散性（ＭＤ）マップであり、前記第１の特性が異方性比コントラストであり、前記第２の特性が平均拡散性コントラストであり、前記関心オブジェクトが前記被験者の腎臓である、請求項２８に記載のシステム。

【請求項39】

前記第１の画像内の前記オブジェクトを位置特定および分類することが、前記第１の画像の複数の画素またはボクセルに１つ以上のクラスタリングアルゴリズムを適用することを含む、請求項２８～３８のいずれか一項に記載のシステム。

【請求項40】

前記１つ以上のクラスタリングアルゴリズムが、前記複数のオブジェクトクラスに関連するクラスタに観測値を割り当てるｋ平均アルゴリズムを含む、請求項３９に記載のシステム。

【請求項41】

前記１つ以上のクラスタリングアルゴリズムが、１つ以上の確率分布に基づいてクラスタメンバーシップの確率を計算する期待値最大化アルゴリズムをさらに含み、前記ｋ平均アルゴリズムが、前記複数のオブジェクトクラスの各オブジェクトクラスの初期パラメータを推定することによって前記期待値最大化アルゴリズムを初期化する、請求項４０に記載のシステム。

【請求項42】

前記セグメンテーションマスクが判定され、前記セグメンテーションマスクを判定することが、
前記オブジェクトクラスに割り当てられた前記画素またはボクセルのセットを使用して、前記関心オブジェクトのシード位置を識別することと、
前記セグメンテーションマスクの深さを表すｚ軸に向かって前記シード位置を投影することによって前記シード位置を成長させることと、
投影された前記シード位置に基づいて前記セグメンテーションマスクを判定することと、を含む、請求項２８～４１のいずれか一項に記載のシステム。

【請求項43】

前記セグメンテーションマスクを判定することが、前記セグメンテーションマスクに対して形態学的閉鎖および充填を実行することをさらに含む、請求項４２に記載のシステム。

【請求項44】

前記動作が、前記第２の画像の前記一部を前記三次元ニューラルネットワークモデルに入力する前に、前記第２の画像の前記一部を生成するためにオブジェクトマスクにマージンを加えたものに基づいて前記第２の画像を切り取ることをさらに含む、請求項４２または４３に記載のシステム。

【請求項45】

前記動作が、前記第２の画像の前記一部を前記三次元ニューラルネットワークモデルに入力する前に、前記第２の画像の前記一部の解像度を高めるために前記第２の画像を深層超解像ニューラルネットワークに入力することをさらに含む、請求項２８～４４のいずれか一項に記載のシステム。

【請求項46】

前記三次元ニューラルネットワークモデルが、訓練データのセットを使用して識別された複数のモデルパラメータを含み、前記訓練データのセットが、
関心オブジェクトの周りのセグメンテーション境界に関連付けられた注釈を有する複数の医用画像と、
関心オブジェクトの周りのセグメンテーション境界に関連付けられた注釈を有する複数の追加の医用画像であって、前記複数の追加の医用画像が、前記複数の医用画像からの画像ヒストグラムを複数の参照マップからの画像ヒストグラムにマッチングさせることによって人工的に生成される、複数の追加の医用画像と、を含み、
前記複数のモデルパラメータが、前記重み付き損失関数を最小化することに基づいて前記訓練データのセットを使用して識別される、請求項２８～４５のいずれか一項に記載のシステム。

【請求項47】

前記重み付き損失関数が重み付きダイス損失関数である、請求項４６に記載のシステム。

【請求項48】

前記三次元ニューラルネットワークモデルが、修正された３Ｄ Ｕ－Ｎｅｔモデルである、請求項２８～３７のいずれか一項に記載のシステム。

【請求項49】

前記修正された３Ｄ Ｕ－Ｎｅｔモデルが、総数で５，０００，０００個から１２，０００，０００個の学習可能パラメータを含む、請求項４８に記載のシステム。

【請求項50】

前記修正された３Ｄ Ｕ－Ｎｅｔモデルが、総数で８００個から１，７００個のカーネルを含む、請求項４８または４９に記載のシステム。

【請求項51】

前記動作が、
前記関心オブジェクトの周囲の推定された境界に基づいて、前記関心オブジェクトのサイズ、表面積、および／または体積を判定することと、
（ｉ）前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第２の画像の前記一部、および／または（ｉｉ）前記関心オブジェクトのサイズ、表面積、および／または体積を提供することと、をさらに含む、請求項２８～５０のいずれか一項に記載のシステム。

【請求項52】

前記動作が、ユーザによって、（ｉ）前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第２の画像の前記一部、および／または（ｉｉ）前記関心オブジェクトのサイズ、表面積、および／または体積に基づいて、前記被験者の診断を判定することをさらに含む、請求項５１に記載のシステム。

【請求項53】

前記動作が、
イメージングシステムを使用するユーザによって、前記被験者の前記医用画像を取得することであって、前記イメージングシステムが、前記１つ以上の医用イメージングモダリティを使用して前記医用画像を生成する、取得することと、
前記関心オブジェクトの周囲の前記推定されたセグメンテーション境界に基づいて、前記関心オブジェクトのサイズ、表面積、および／または体積を判定することと、
（ｉ）前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する第２の画像の前記一部、および／または（ｉｉ）前記関心オブジェクトのサイズ、表面積、および／または体積を提供することと、
ユーザによって、（ｉ）前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第２の画像の前記一部、および／または（ｉｉ）前記関心オブジェクトのサイズ、表面積、および／または体積を受信することと、
前記ユーザによって、（ｉ）前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第２の画像の前記一部、および／または（ｉｉ）前記関心オブジェクトのサイズ、表面積、および／または体積に基づいて、前記被験者の診断を判定することと、
をさらに含む、請求項２８～５２のいずれか一項に記載のシステム。

【請求項54】

前記動作が、前記ユーザによって、（ｉ）前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第２の画像の前記一部、（ｉｉ）前記関心オブジェクトのサイズ、表面積、および／もしくは体積、および／または（ｉｉｉ）前記被験者の診断に基づく化合物による処置を投与することをさらに含む、請求項５２または５３に記載のシステム。

【請求項55】

１つ以上のデータプロセッサに、動作を実行させるように構成された命令を含む非一時的機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品であって、前記動作が、
被験者の医用画像を取得することであって、前記医用画像が、第１の特性を有する第１の画像および第２の特性を有する第２の画像を含み、前記医用画像が、１つ以上の医用イメージングモダリティを使用して生成される、取得することと、
位置特定モデルを使用して、前記第１の画像内のオブジェクトを位置特定し、複数のオブジェクトクラスに分類することであって、前記分類することが、前記第１の画像の画素またはボクセルのセットを前記複数のオブジェクトクラスのうちの１つ以上に割り当てる、位置特定および分類することと、
前記位置特定モデルを使用して、前記複数のオブジェクトクラスのうちのオブジェクトクラスに割り当てられた画素またはボクセルのセットに基づいて、前記第１の画像内の関心オブジェクトのための境界ボックスまたはセグメンテーションマスクを判定することと、
前記境界ボックスまたは前記セグメンテーションマスクを前記第２の画像上に転送して、前記関心オブジェクトを含む前記第２の画像の一部を画定することと、
前記第２の画像の前記一部を、重み付き損失関数を使用して体積セグメンテーションのために構築された三次元ニューラルネットワークモデルに入力することと、
前記三次元ニューラルネットワークモデルを使用して、前記関心オブジェクトの周りの推定されたセグメンテーション境界を生成することと、
前記三次元ニューラルネットワークを使用して、前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第２の画像の前記一部を出力することと、を含む、コンピュータプログラム製品。

【請求項56】

前記１つ以上の医用イメージングモダリティが、第１の医用イメージングモダリティと、前記第１の医用イメージングモダリティとは異なる第２の医用イメージングモダリティとを含み、前記第１の画像が、前記第１の医用イメージングモダリティから生成され、前記第２の画像が、前記第２の医用イメージングモダリティから生成される、請求項５５に記載のコンピュータプログラム製品。

【請求項57】

前記１つ以上の医用イメージングモダリティが、第１の医用イメージングモダリティと、前記第１の医用イメージングモダリティと同じである第２の医用イメージングモダリティとを含み、前記第１の画像が、前記第１の医用イメージングモダリティから生成され、前記第２の画像が、前記第２の医用イメージングモダリティから生成される、請求項５５に記載のコンピュータプログラム製品。

【請求項58】

前記第１の画像が第１の種類の画像であり、前記第２の画像が第２の種類の画像であり、前記第１の種類の画像が前記第２の種類の画像とは異なる、請求項５５または５６に記載のコンピュータプログラム製品。

【請求項59】

前記第１の画像が第１の種類の画像であり、前記第２の画像が第２の種類の画像であり、前記第１の種類の画像が前記第２の種類の画像と同じである、請求項５５または５７に記載のコンピュータプログラム製品。

【請求項60】

前記第１の特性が前記第２の特性とは異なる、請求項５５～５９のいずれか一項に記載のコンピュータプログラム製品。

【請求項61】

前記第１の特性が前記第２の特性と同じである、請求項５５～６０のいずれか一項に記載のコンピュータプログラム製品。

【請求項62】

前記第１の医用イメージングモダリティが、磁気共鳴イメージング、拡散テンソルイメージング、コンピュータ断層撮影、陽電子放射断層撮影、光音響断層撮影、Ｘ線、超音波撮影、またはそれらの組み合わせであり、前記第２の医用イメージングモダリティが、磁気共鳴イメージング、拡散テンソルイメージング、コンピュータ断層撮影、陽電子放射断層撮影、光音響断層撮影、Ｘ線、超音波撮影、またはそれらの組み合わせである、請求項５６または５７に記載のコンピュータプログラム製品。

【請求項63】

前記第１の種類の画像が、磁気共鳴画像、拡散テンソル画像もしくはマップ、コンピュータ断層撮影画像、陽電子放射断層撮影画像、光音響断層撮影画像、Ｘ線画像、ソノグラフィ画像、またはそれらの組み合わせであり、前記第２の種類の画像が、磁気共鳴画像、拡散テンソル画像もしくはマップ、コンピュータ断層撮影画像、陽電子放射断層撮影画像、光音響断層撮影画像、Ｘ線画像、ソノグラフィ画像、またはそれらの組み合わせである、請求項５８または５９に記載のコンピュータプログラム製品。

【請求項64】

前記第１の特性が、異方性比コントラスト、平均拡散性コントラスト、軸方向拡散性コントラスト、半径方向拡散性コントラスト、プロトン密度コントラスト、Ｔ１緩和時間コントラスト、Ｔ２緩和時間コントラスト、拡散係数コントラスト、低解像度、高解像度、薬剤コントラスト、放射性トレーサコントラスト、光吸収コントラスト、エコー距離コントラスト、またはそれらの組み合わせであり、前記第２の特性が、異方性比コントラスト、平均拡散性コントラスト、前記軸方向拡散性コントラスト、半径方向拡散性コントラスト、プロトン密度コントラスト、Ｔ１緩和時間コントラスト、Ｔ２緩和時間コントラスト、拡散係数コントラスト、低解像度、高解像度、薬剤コントラスト、放射性トレーサコントラスト、光吸収コントラスト、エコー距離コントラスト、またはそれらの組み合わせである、請求項６０または６１に記載のコンピュータプログラム製品。

【請求項65】

前記１つ以上の医用イメージングモダリティが拡散テンソルイメージングであり、前記第１の画像が部分異方性（ＦＡ）マップであり、前記第２の画像が平均拡散性（ＭＤ）マップであり、前記第１の特性が異方性比コントラストであり、前記第２の特性が平均拡散性コントラストであり、前記関心オブジェクトが前記被験者の腎臓である、請求項５５に記載のコンピュータプログラム製品。

【請求項66】

前記第１の画像内の前記オブジェクトを位置特定および分類することが、前記第１の画像の複数の画素またはボクセルに１つ以上のクラスタリングアルゴリズムを適用することを含む、請求項５５～６５のいずれか一項に記載のコンピュータプログラム製品。

【請求項67】

前記１つ以上のクラスタリングアルゴリズムが、前記複数のオブジェクトクラスに関連するクラスタに観測値を割り当てるｋ平均アルゴリズムを含む、請求項６６に記載のコンピュータプログラム製品。

【請求項68】

前記１つ以上のクラスタリングアルゴリズムが、１つ以上の確率分布に基づいてクラスタメンバーシップの確率を計算する期待値最大化アルゴリズムをさらに含み、前記ｋ平均アルゴリズムが、前記複数のオブジェクトクラスの各オブジェクトクラスの初期パラメータを推定することによって前記期待値最大化アルゴリズムを初期化する、請求項６７に記載のコンピュータプログラム製品。

【請求項69】

前記セグメンテーションマスクが判定され、前記セグメンテーションマスクを判定することが、
前記オブジェクトクラスに割り当てられた前記画素またはボクセルのセットを使用して、前記関心オブジェクトのシード位置を識別することと、
前記セグメンテーションマスクの深さを表すｚ軸に向かって前記シード位置を投影することによって前記シード位置を成長させることと、
投影された前記シード位置に基づいて前記セグメンテーションマスクを判定することと、を含む、請求項５５～６８のいずれか一項に記載のコンピュータプログラム製品。

【請求項70】

前記セグメンテーションマスクを判定することが、前記セグメンテーションマスクに対して形態学的閉鎖および充填を実行することをさらに含む、請求項６９に記載のコンピュータプログラム製品。

【請求項71】

前記動作が、前記第２の画像の前記一部を前記三次元ニューラルネットワークモデルに入力する前に、前記第２の画像の前記一部を生成するためにオブジェクトマスクにマージンを加えたものに基づいて前記第２の画像を切り取ることをさらに含む、請求項６９または７０に記載のコンピュータプログラム製品。

【請求項72】

前記動作が、前記第２の画像の前記一部を前記三次元ニューラルネットワークモデルに入力する前に、前記第２の画像の前記一部の解像度を高めるために前記第２の画像を深層超解像ニューラルネットワークに入力することをさらに含む、請求項５５～７１のいずれか一項に記載のコンピュータプログラム製品。

【請求項73】

前記三次元ニューラルネットワークモデルが、訓練データのセットを使用して識別された複数のモデルパラメータを含み、前記訓練データのセットが、
関心オブジェクトの周りのセグメンテーション境界に関連付けられた注釈を有する複数の医用画像と、
関心オブジェクトの周りのセグメンテーション境界に関連付けられた注釈を有する複数の追加の医用画像であって、前記複数の追加の医用画像が、前記複数の医用画像からの画像ヒストグラムを複数の参照マップからの画像ヒストグラムにマッチングさせることによって人工的に生成される、複数の追加の医用画像と、を含み、
前記複数のモデルパラメータが、前記重み付き損失関数を最小化することに基づいて前記訓練データのセットを使用して識別される、請求項５５～７２のいずれか一項に記載のコンピュータプログラム製品。

【請求項74】

前記重み付き損失関数が重み付きダイス損失関数である、請求項７３に記載のコンピュータプログラム製品。

【請求項75】

前記三次元ニューラルネットワークモデルが、修正された３Ｄ Ｕ－Ｎｅｔモデルである、請求項５５～７４のいずれか一項に記載のコンピュータプログラム製品。

【請求項76】

前記修正された３Ｄ Ｕ－Ｎｅｔモデルが、総数で５，０００，０００個から１２，０００，０００個の学習可能パラメータを含む、請求項７５に記載のコンピュータプログラム製品。

【請求項77】

前記修正された３Ｄ Ｕ－Ｎｅｔモデルが、総数で８００個から１，７００個のカーネルを含む、請求項７５または７６に記載のコンピュータプログラム製品。

【請求項78】

前記動作が、
前記関心オブジェクトの周囲の前記推定された境界に基づいて、前記関心オブジェクトのサイズ、表面積、および／または体積を判定することと、
（ｉ）前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第２の画像の前記一部、および／または（ｉｉ）前記関心オブジェクトのサイズ、表面積、および／または体積を提供することと、をさらに含む、請求項５５～７７のいずれか一項に記載のコンピュータプログラム製品。

【請求項79】

前記動作が、ユーザによって、（ｉ）前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第２の画像の前記一部、および／または（ｉｉ）前記関心オブジェクトのサイズ、表面積、および／または体積に基づいて、前記被験者の診断を判定することをさらに含む、請求項７８に記載のコンピュータプログラム製品。

【請求項80】

前記動作が、
イメージングシステムを使用するユーザによって、前記被験者の前記医用画像を取得することであって、前記イメージングシステムが、前記１つ以上の医用イメージングモダリティを使用して前記医用画像を生成する、取得することと、
前記関心オブジェクトの周囲の前記推定されたセグメンテーション境界に基づいて、前記関心オブジェクトのサイズ、表面積、および／または体積を判定することと、
（ｉ）前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する第２の画像の前記一部、および／または（ｉｉ）前記関心オブジェクトのサイズ、表面積、および／または体積を提供することと、
ユーザによって、（ｉ）前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第２の画像の前記一部、および／または（ｉｉ）前記関心オブジェクトのサイズ、表面積、および／または体積を受信することと、
前記ユーザによって、（ｉ）前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第２の画像の前記一部、および／または（ｉｉ）前記関心オブジェクトのサイズ、表面積、および／または体積に基づいて、前記被験者の診断を判定することと、をさらに含む、請求項５５～７９のいずれか一項に記載のコンピュータプログラム製品。

【請求項81】

前記動作が、前記ユーザによって、（ｉ）前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第２の画像の前記一部、（ｉｉ）前記関心オブジェクトのサイズ、表面積、および／もしくは体積、および／または（ｉｉｉ）前記被験者の診断に基づく化合物による処置を投与することをさらに含む、請求項７９または８０に記載のコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１９年８月１４日に出願された米国仮特許出願第６２／８８６，８４４号の優先権および利益を主張し、その内容は、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。

【0002】

本開示は、医用画像の自動化されたオブジェクトセグメンテーションに関し、特に、導出されたコントラスト機構に基づくオブジェクト検出によって位置特定された医用画像内のオブジェクトを、深層学習ネットワークを使用してセグメント化するための技術に関する。

【背景技術】

【0003】

コンピュータビジョンは、デジタル画像およびビデオと協働して、これらの画像およびビデオ内のコンテンツの何らかの理解を推定することを含む。オブジェクト認識は、コンピュータビジョンと関連付けられ、画像フレーム内に存在するオブジェクトを識別することを含む関連するコンピュータビジョンタスクの集合を指す。タスクは、画像分類、オブジェクト位置特定、オブジェクト検出、およびオブジェクトセグメンテーションを含む。画像分類は、画像フレーム内の１つ以上のオブジェクトのクラスを予測することを含む。オブジェクト位置特定は、画像フレーム内の１つ以上のオブジェクトの位置を識別し、それらの範囲の周りに境界を描くことを指す。オブジェクト検出は、これら２つのタスクを組み合わせ、画像フレーム内の１つ以上のオブジェクトを位置特定および分類する。オブジェクトセグメンテーションは、粗い境界ボックスの代わりに、位置特定または検出されたオブジェクトの特定の画素を強調表示する（マスクを生成する）ことを含む。オブジェクト認識のための技術は、一般に、機械学習ベースの手法または深層学習ベースの手法のいずれかに分類される。オブジェクト位置特定および検出に対する機械学習ベースの手法では、Ｈａａｒ－ｌｉｋｅ特徴、スケール不変特徴変換、または指向性勾配のヒストグラム（ＨＯＧ）などの特徴記述子を使用して画像内の特徴が最初に定義され、次いで、特徴記述子に基づいてサポートベクターマシン（ＳＶＭ）などの技術を使用して関心オブジェクトが検出される。一方、深層学習技術は、特徴を具体的に定義することなくエンドツーエンドのオブジェクト検出およびセグメンテーションを実行することができ、典型的には、領域ベースのネットワーク（Ｒ－ＣＮＮ、高速なＲ－ＣＮＮ、より高速なＲ－ＣＮＮ、およびカスケードＲ－ＣＮＮ）などの畳み込みニューラルネットワーク（ＣＮＮ）に基づく。

【発明の概要】

【0004】

いくつかの実施形態では、医用画像内のオブジェクトをセグメント化するためのコンピュータ実装方法が提供される。本方法は、被験者の医用画像を取得することであって、医用画像が、第１の特性を有する第１の画像および第２の特性を有する第２の画像を含み、医用画像が、１つ以上の医用イメージングモダリティを使用して生成される、取得することと、位置特定モデルを使用して、第１の画像内のオブジェクトを位置特定して複数のオブジェクトクラスに分類することであって、分類することが、第１の画像の画素またはボクセルのセットを複数のオブジェクトクラスのうちの１つ以上に割り当てる、位置特定および分類することと、位置特定モデルを使用して、複数のオブジェクトクラスのうちのオブジェクトクラスに割り当てられた画素またはボクセルのセットに基づいて、第１の画像内の関心オブジェクトのための境界ボックスまたはセグメンテーションマスクを判定することと、境界ボックスまたはセグメンテーションマスクを第２の画像上に転送して、関心オブジェクトを含む第２の画像の一部を画定することと、第２の画像の一部を、重み付き損失関数を使用して体積セグメンテーションのために構築された三次元ニューラルネットワークモデルに入力することと、三次元ニューラルネットワークモデルを使用して、関心オブジェクトの周りの推定されたセグメンテーション境界を生成することと、三次元ニューラルネットワークを使用して、関心オブジェクトの周りの推定されたセグメンテーション境界を有する第２の画像の一部を出力することと、を含む。

【0005】

いくつかの実施形態では、１つ以上の医用イメージングモダリティは、第１の医用イメージングモダリティおよび第１の医用イメージングモダリティとは異なる第２の医用イメージングモダリティを含み、第１の画像は、第１の医用イメージングモダリティから生成され、第２の画像は、第２の医用イメージングモダリティから生成される。

【0006】

いくつかの実施形態では、１つ以上の医用イメージングモダリティは、第１の医用イメージングモダリティおよび第１の医用イメージングモダリティと同じである第２の医用イメージングモダリティを含み、第１の画像は、第１の医用イメージングモダリティから生成され、第２の画像は、第２の医用イメージングモダリティから生成される。

【0007】

いくつかの実施形態では、第１の画像は、第１の種類の画像であり、第２の画像は、第２の種類の画像であり、第１の種類の画像は、第２の種類の画像とは異なる。

【0008】

いくつかの実施形態では、第１の画像は、第１の種類の画像であり、第２の画像は、第２の種類の画像であり、第１の種類の画像は、第２の種類の画像と同じである。

【0009】

いくつかの実施形態では、第１の特性は、第２の特性とは異なる。

【0010】

いくつかの実施形態では、第１の特性は、第２の特性と同じである。

【0011】

いくつかの実施形態では、第１の医用イメージングモダリティは、磁気共鳴イメージング、拡散テンソルイメージング、コンピュータ断層撮影、陽電子放出断層撮影、光音響断層撮影、Ｘ線、ソノグラフィ、またはそれらの組み合わせであり、第２の医用イメージングモダリティは、磁気共鳴イメージング、拡散テンソルイメージング、コンピュータ断層撮影、陽電子放出断層撮影、光音響断層撮影、Ｘ線、ソノグラフィ、またはそれらの組み合わせである。

【0012】

いくつかの実施形態では、第１の種類の画像は、磁気共鳴画像、拡散テンソル画像もしくはマップ、コンピュータ断層撮影画像、陽電子放出断層撮影画像、光音響断層撮影画像、Ｘ線画像、ソノグラフィ画像、またはそれらの組み合わせであり、第２の種類の画像は、磁気共鳴画像、拡散テンソル画像もしくはマップ、コンピュータ断層撮影画像、陽電子放出断層撮影画像、光音響断層撮影画像、Ｘ線画像、ソノグラフィ画像、またはそれらの組み合わせである。

【0013】

いくつかの実施形態では、第１の特性は、異方性比コントラスト、平均拡散性コントラスト、軸方向拡散性コントラスト、半径方向拡散性コントラスト、プロトン密度コントラスト、Ｔ１緩和時間コントラスト、Ｔ２緩和時間コントラスト、拡散係数コントラスト、低解像度、高解像度、薬剤コントラスト、放射性トレーサコントラスト、光吸収コントラスト、エコー距離コントラスト、またはそれらの組み合わせであり、第２の特性は、異方性比コントラスト、平均拡散性コントラスト、軸方向拡散性コントラスト、半径方向拡散性コントラスト、プロトン密度コントラスト、Ｔ１緩和時間コントラスト、Ｔ２緩和時間コントラスト、拡散係数コントラスト、低解像度、高解像度、薬剤コントラスト、放射性トレーサコントラスト、光吸収コントラスト、エコー距離コントラスト、またはそれらの組み合わせである。

【0014】

いくつかの実施形態では、１つ以上の医用イメージングモダリティは、拡散テンソルイメージングであり、第１の画像は、部分異方性（ＦＡ）マップであり、第２の画像は、平均拡散性（ＭＤ）マップであり、第１の特性は、異方性比コントラストであり、第２の特性は、平均拡散性コントラストであり、関心オブジェクトは、関心腎臓である。

【0015】

いくつかの実施形態では、第１の画像内のオブジェクトを位置特定および分類することは、第１の画像の複数の画素またはボクセルに１つ以上のクラスタリングアルゴリズムを適用することを含む。

【0016】

いくつかの実施形態では、１つ以上のクラスタリングアルゴリズムは、複数のオブジェクトクラスに関連付けられたクラスタに観測値を割り当てるｋ平均アルゴリズムを含む。

【0017】

いくつかの実施形態では、１つ以上のクラスタリングアルゴリズムは、１つ以上の確率分布に基づいてクラスタメンバーシップの確率を計算する期待値最大化アルゴリズムをさらに含み、ｋ平均アルゴリズムは、複数のオブジェクトクラスの各オブジェクトクラスの初期パラメータを推定することによって期待値最大化アルゴリズムを初期化する。

【0018】

いくつかの実施形態では、セグメンテーションマスクが判定され、セグメンテーションマスクを判定することは、オブジェクトクラスに割り当てられた画素またはボクセルのセットを使用して関心オブジェクトのシード位置を識別することと、セグメンテーションマスクの深さを表すｚ軸に向かってシード位置を投影することによってシード位置を成長させることと、投影されたシード位置に基づいてセグメンテーションマスクを判定することと、を含む。

【0019】

いくつかの実施形態では、セグメンテーションマスクを判定することは、セグメンテーションマスクに対して形態学的閉鎖および充填を実行することをさらに含む。

【0020】

いくつかの実施形態では、本方法は、第２の画像の一部を三次元ニューラルネットワークモデルに入力する前に、第２の画像の一部を生成するためにオブジェクトマスクおよびマージンに基づいて第２の画像を切り取ることをさらに含む。

【0021】

いくつかの実施形態では、本方法は、第２の画像の一部を三次元ニューラルネットワークモデルに入力する前に、第２の画像の一部の解像度を高めるために、第２の画像を深層超解像ニューラルネットワークに入力することをさらに含む。

【0022】

いくつかの実施形態では、三次元ニューラルネットワークモデルは、訓練データのセットを使用して識別された複数のモデルパラメータを含み、訓練データのセットは、関心オブジェクトの周りのセグメンテーション境界に関連付けられた注釈を有する複数の医用画像と、関心オブジェクトの周りのセグメンテーション境界に関連付けられた注釈を有する複数の追加の医用画像であって、複数の医用画像からの画像ヒストグラムを複数の参照マップからの画像ヒストグラムに一致させることによって人工的に生成される、複数の追加の医用画像と、を含み、複数のモデルパラメータは、重み付き損失関数を最小化することに基づいて訓練データのセットを使用して識別される。

【0023】

いくつかの実施形態では、重み付き損失関数は、重み付きダイス損失関数である。

【0024】

いくつかの実施形態では、三次元ニューラルネットワークモデルは、修正された３Ｄ Ｕ－Ｎｅｔモデルである。

【0025】

いくつかの実施形態では、修正された３Ｄ Ｕ－Ｎｅｔモデルは、総数で５，０００，０００個から１２，０００，０００個の学習可能パラメータを含む。

【0026】

いくつかの実施形態では、修正された３Ｄ Ｕ－Ｎｅｔモデルは、総数で８００個から１，７００個のカーネルを含む。

【0027】

いくつかの実施形態では、本方法は、関心オブジェクトの周囲の推定境界に基づいて、関心オブジェクトのサイズ、表面積、および／または体積を判定することと、（ｉ）関心オブジェクトの周りの推定されたセグメンテーション境界を有する第２の画像の一部、および／または（ｉｉ）関心オブジェクトのサイズ、表面積、および／または体積を提供することと、をさらに含む。

【0028】

いくつかの実施形態では、本方法は、ユーザによって、（ｉ）関心オブジェクトの周りの推定されたセグメンテーション境界を有する第２の画像の一部、および／または（ｉｉ）関心オブジェクトのサイズ、表面積、および／または体積に基づいて、被験者の診断を判定することをさらに含む。

【0029】

いくつかの実施形態では、本方法は、イメージングシステムを使用するユーザによって、被験者の医用画像を取得することであって、イメージングシステムが、１つ以上の医用イメージングモダリティを使用して医用画像を生成する、取得することと、関心オブジェクトの周囲の推定されたセグメンテーション境界に基づいて、関心オブジェクトのサイズ、表面積、および／または体積を判定することと、（ｉ）関心オブジェクトの周りの推定されたセグメンテーション境界を有する第２の画像の一部、および／または（ｉｉ）関心オブジェクトのサイズ、表面積、および／または体積を提供することと、ユーザによって、（ｉ）関心オブジェクトの周りの推定されたセグメンテーション境界を有する第２の画像の一部、および／または（ｉｉ）関心オブジェクトのサイズ、表面積、および／または体積を受信することと、ユーザによって、（ｉ）関心オブジェクトの周囲の推定されたセグメンテーション境界を有する第２の画像の一部、および／または（ｉｉ）関心オブジェクトのサイズ、表面積、および／または体積に基づいて、被験者の診断を判定することと、をさらに含む。

【0030】

いくつかの実施形態では、本方法は、（ｉ）関心オブジェクトの周りの推定されたセグメンテーション境界を有する第２の画像の一部、（ｉｉ）関心オブジェクトのサイズ、表面積、および／もしくは体積、ならびに／または（ｉｉｉ）被験者の診断に基づく化合物による処置をユーザによって投与することをさらに含む。

【0031】

いくつかの実施形態では、１つ以上のデータプロセッサと、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体と、を含む、システムが提供される。

【0032】

いくつかの実施形態では、非一時的機械可読記憶媒体に有形に具現化され、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させるように構成された命令を含むコンピュータプログラム製品が提供される。

【0033】

本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。

【0034】

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。

【図面の簡単な説明】

【0035】

本開示は、以下の添付の図面と併せて説明される：

【0036】

【図1】様々な実施形態にかかる関心オブジェクトのインスタンスをセグメント化するための例示的なコンピューティング環境を示している。

【0037】

【図2】様々な実施形態にかかる、他のコントラストをシミュレートし、訓練データセットの分散を増加させるために使用されるヒストグラムマッチングを示している。

【0038】

【図3】様々な実施形態にかかる例示的なＵ－Ｎｅｔを示している。

【0039】

【図4】様々な実施形態にかかる関心オブジェクトのインスタンスをセグメント化するためのプロセスを示している。

【0040】

【図5A】様々な実施形態にかかる拡散テンソル要素を示している。

【0041】

【図5B】様々な実施形態にかかる期待値最大化（ＥＭ）セグメンテーション（１２クラス）およびオブジェクト検出ステップに使用される部分異方性画像を示している。

【0042】

【図5C】様々な実施形態にかかるスライス方向の超解像画像を示している。

【0043】

【図6A】様々な戦略を使用したセグメンテーション結果を示している。

【図6B】様々な戦略を使用したセグメンテーション結果を示している。

【図6C】様々な戦略を使用したセグメンテーション結果を示している。

【図6D】様々な戦略を使用したセグメンテーション結果を示している。

【図6E】様々な戦略を使用したセグメンテーション結果を示している。図６Ａ：３Ｄ Ｕ－Ｎｅｔ。図６Ｂ：連結成分前処理によって前景を検出する。図６Ｃ：ＥＭセグメンテーション。図６Ｄ：ＥＭセグメンテーションによる腎臓検出。図６Ｅ：超解像画像上のＥＭセグメンテーションによる腎臓検出。１行目は、磁気共鳴イメージング（ＭＲＩ）にオーバーレイされたグラウンドトゥルース手動ラベルを示している。２行目は、グラウンドトゥルースおよびセグメンテーションマスクの透明表面レンダリングを示している。コロナルビューおよびアキシャルビューが対で示されている。３行目は、バイオリンプロットとして示されるダイス類似度係数（ＤＳＣ）を示している。各セグメンテーション戦略の平均ＤＳＣに基づいて、例示的なデータセットが選択された。全てのセグメンテーション結果は、ＥＭセグメンテーションのみであるＣを除いて、３Ｄ Ｕ－Ｎｅｔベースである。破線のボックスは、オブジェクト検出のための領域を示している。スケールバー＝４ｍ。

【0044】

添付の図面において、同様の構成要素および／または特徴は、同じ参照ラベルを有することができる。さらに、同じ種類の様々な構成要素は、参照ラベルの後に同様の構成要素を区別するダッシュおよび第２のラベルを続けることによって区別されることができる。本明細書において第１の参照ラベルのみが使用される場合、説明は、第２の参照ラベルに関係なく、同じ第１の参照ラベルを有する同様の構成要素のいずれかに適用可能である。

【発明を実施するための形態】

【0045】

Ｉ．概要
本開示は、医用画像の自動オブジェクトセグメンテーションのための技術を説明する。より具体的には、本開示の実施形態は、導出されたコントラスト機構に基づくオブジェクト検出によって位置特定された深層学習ネットワークを使用して医用画像内のオブジェクトをセグメント化するための技術を提供する。

【0046】

コンピュータ断層撮影（ＣＴ）またはＭＲＩ画像などの背景医用画像からオブジェクト（例えば、器官、病変または腫瘍）の画素を識別する医用画像セグメンテーションは、オブジェクトの形状、サイズ、および体積に関する情報を提供するための医用画像分析における基本的なタスクである。器官の大きさまたは体積の変化は、疾患過程の主な特徴または被験者の他の場所での病理の発現とすることができる。さらに、腫瘍または病変のサイズまたは体積は、癌腫を有する被験者における重要な独立した指標とすることができる（例えば、一次全身療法中の反復サイズ測定値は、最も有効な治療レジメンを選択し、被験者の予後を推定するために使用されることができる応答に関する詳細な情報を生成する）。腫瘍または器官のサイズおよび体積を推定するために、過去に様々な放射線技術および臨床技術が試みられてきたが、ほとんどは、サイズおよび体積の測定値に適した画像を得る際における、許容できない精度、不十分な再現性または困難のために、有用性が限られていた。最近になって、いくつかの定量的プロトコルが開発され、ＣＴおよびＭＲＩなどの様々なイメージングモダリティからの様々な器官、病変、または腫瘍のサイズおよび体積を測定するための有望な結果が実証された。この目的のためのサイズおよび体積データは、通常、時間のかかる手動セグメンテーション方法を使用して取得されている。しかしながら、深層学習技術の有望な能力は、これらの技術を画像セグメンテーション、特に医用画像セグメンテーションの主要な選択肢としており、定量的プロトコルのサイズおよび体積データを取得する実用性を大幅に改善している。

【0047】

深層学習技術の使用は、オブジェクトセグメンテーションに有益であり、従来の手動および機械学習ベースの手法と比較して大幅な改善を達成するが、オブジェクトセグメンテーションは、ＭＲＩおよびＣＴ画像などの医用画像において特に一般的である低コントラストおよび低解像度画像に関しては依然として困難である。この課題の主な理由は、以下に起因する：（ｉ）器官、病変、または腫瘍などのオブジェクトの定義は、オブジェクトの真の輪郭を予測するために深層学習モデルを誤って導いてしまう、低コントラストおよび低解像度画像のぼやけた視覚的同一性および過剰なノイズによって強く影響を受ける、（ｉｉ）深層学習アーキテクチャにおける反復プール操作のために、低コントラストおよび低解像度画像では著しく欠けているオブジェクトの意味および画像構造情報を失うことは避けられず、したがって、深層学習モデルの結果は、典型的には、不正確な形状およびオブジェクトの不十分な位置特定を被る、（ｉｉｉ）オブジェクト境界の周囲の画素は、同様の受容野に中心付けられ、深層学習モデルは、画像画素のバイナリラベルを区別するだけであるため、境界知識を深層学習アルゴリズムが学習することは困難である、（ｉｖ）多くの医用画像は、エイリアシング効果を防止する大きな視野または背景を有するが、背景が画像の重要な部分を表す場合、深層学習は、関心のある前景オブジェクトをセグメント化するように最適に訓練されていない可能性がある（「背景効果」）、（ｖ）背景には同様の外観のオブジェクトが存在する可能性があり（例えば、肝臓、心臓、腎臓が腫瘍のように見えることがある）、深層学習およびより単純な機械学習アルゴリズムは、これらの構造を区別するように最適に訓練されていない可能性がある。

【0048】

これらの制限および問題に対処するために、本実施形態の自動化されたオブジェクトセグメンテーションのための技術は、深層学習モデルを使用して関心オブジェクトの位置を特定し、関心オブジェクトを分離し、続いて関心オブジェクトをセグメント化するための導出されたコントラスト機構として、異なる特性（コントラストまたは解像度など、オブジェクト（または画像もしくはディスプレイ内のその表現）を区別可能にする特性）を有する様々なイメージングモダリティおよび／または医用画像の種類を使用する。例えば、第１のイメージングモダリティによって得られたオブジェクトの第１の画像は、第１の画像がオブジェクト検出（オブジェクトおよび分類の周りに粗い粒界を提供する）に使用されることができるように、オブジェクトの一般的な輪郭を提供するために良好に機能する第１の特性（例えば、良好なコントラスト）を有することができる。しかしながら、この第１の画像は、深層学習ネットワークが正確なオブジェクトセグメンテーションのためにオブジェクトのエッジが正確にどこにあるかを正確に判定できないほど不鮮明であるかまたはぼやけている可能性がある。対照的に、第２のイメージングモダリティを使用して取得されたオブジェクトの第２の画像、または同じモダリティの画像特徴／コントラスト機構の第２の画像は、第２の画像がエッジ検出および精細なオブジェクトセグメンテーションに使用されることができるように、オブジェクトの明確に画定された境界を提供するように良好に機能する第２の特性（例えば、高解像度）を有することができる。オブジェクトが第１の画像内で検出されると、オブジェクトの粗い粒界が第２の画像上に投影されて、第２の画像内のオブジェクトを位置特定する。次いで、オブジェクトセグメンテーションの前に第２の画像を切り取るために、第２の画像上のオブジェクトの粗い粒界が使用される。第２の画像の位置特定および切り取りは、背景効果を緩和し、深層学習モデルをオブジェクトのエッジに集中させて、きめ細かいオブジェクトセグメンテーションのための境界知識を学習する。

【0049】

本開示の例示的な一実施形態は、第１の特性を有する第１の医用画像内の器官、腫瘍、または病変などの関心オブジェクトを（例えば、期待値最大化などのアルゴリズムを使用して）最初に位置特定することと、第２の特性を有する第２の医用画像上に関心オブジェクトの境界ボックスまたはセグメンテーションマスクを投影して、関心オブジェクトを含む第２の医用画像の一部を画定することと、続いて、第２の医用画像の一部を、第２の医用画像の一部をセグメント化し、関心オブジェクトの周りにセグメンテーション境界を生成することができる重み付き損失関数を使用する検出器として構成された畳み込みニューラルネットワークモデルなどの深層学習モデルに入力することと、を含む、方法に関する。セグメンテーション境界は、診断および／または予後を判定するために関心オブジェクトの体積を計算するために使用されることができる。いくつかの例では、計算された体積は、時点にさらに関連付けられてもよい。処置の有効性を判定するために、時点からのオブジェクトの体積が以前の時点からのオブジェクトの体積と比較されることができる。時点分析は、経時的な器官または腫瘍の変化の状況を提供する。さらに、セグメンテーション境界によって画定されたオブジェクト内の特定の内容物は、変化、例えば、より壊死性の内容物または攻撃的な腫瘍タイプを有することができる。いくつかの例では、セグメンテーション境界および対応するセグメント化された領域または体積は、画像強度などの画像メトリックを定量化するために使用されることができる。例えば、ＰＥＴでは標準化された取り込み値（ＳＵＶ）があり、またはＭＲＩでは、画像強度などの特定の画像メトリックと相関する拡散性、Ｔ２、Ｔ１などがあり、したがって、画像メトリックの定量化は、関心オブジェクトに固有のＳＵＶなどの値／メトリックを判定するために使用されることができる。換言すれば、セグメンテーション境界内の体積自体が有用な測定値であり、セグメンテーション境界および対応するセグメント化された領域内の値または測定値も有用な測定値である。

【0050】

有利には、これらの手法は、深層学習モデルを使用して関心オブジェクトをセグメント化しようとする前に、関心オブジェクトの一般的な領域を検出するために、様々な特性およびオブジェクト検出技術を有する複数の医用画像を利用する。これは、背景効果を低減し、入力データの複雑さを低減し、深層学習モデルをオブジェクトのエッジに集中させて、オブジェクトセグメンテーションのための境界知識を学習する。さらに、入力データの複雑さが低減されることから、深層学習モデルの複雑さが低減されることができる（例えば、畳み込み層あたりのカーネルの数を減らすことによって）。いくつかの例では、深層学習モデルは、セグメンテーション誤差を最小化し、訓練性能の最適化を改善し、オブジェクト検出技術によって判定されるいくつかの一般的な領域において依然として明らかであり得る背景効果をさらに低減する重み付き損失関数によって構築される。
ＩＩ．定義

【0051】

本明細書で使用される場合、動作が何かに「基づく」場合、これは、動作が何かの少なくとも一部に少なくとも部分的に基づくことを意味する。

【0052】

本明細書で使用される場合、「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」、「およそ（ａｐｐｒｏｘｉｍａｔｅｌｙ）」、および「約（ａｂｏｕｔ）」という用語は、当業者によって理解されるように、大部分が指定されるものであるが、必ずしも完全には指定されないもの（および完全に指定されるものを含む）として定義される。任意の開示された実施形態では、「実質的に」、「およそ」、または「約」という用語は、指定されたものの「［パーセンテージ］以内」で置き換えられることができ、パーセンテージは、０．１、１、５、および１０％を含む。

【0053】

本明細書で使用される場合、「マスク」は、検出されたオブジェクトの表面積を表す画像を指す。マスクは、１つ以上の関心領域（例えば、１つ以上の検出されたオブジェクト）を示す非ゼロ強度の画素と、背景を示すゼロ強度の画素とを含むことができる。

【0054】

本明細書で使用される場合、「バイナリマスク」は、各画素値が２つの値（例えば、０または１）のうちの１つに設定されるマスクを指す。ゼロの強度値は、対応する画素が背景の一部であることを示すことができ、非ゼロの強度値（例えば、１の値）は、対応する画素が関心領域の一部であることを示すことができる。

【0055】

本明細書で使用される「分類」は、入力（例えば、画像または画像の一部）を受け取り、クラス（例えば、「器官」または「腫瘍」）または入力が特定のクラスである確率を出力するプロセスを指す。これは、バイナリ分類（クラスのメンバであるか否か）、マルチクラス分類（１つ以上のクラスに割り当てる）、各クラスにおけるメンバーシップの確率の提供（例えば、この入力が器官である確率は９０％である）、および同様の分類スキーマを含むことができる。

【0056】

本明細書で使用される場合、「オブジェクト位置特定」または「オブジェクト検出」は、画像内の特定のクラスのオブジェクトのインスタンスを検出するプロセスを指す。

【0057】

本明細書で使用される「境界ボックス」は、画像内の特定のクラスのオブジェクトの一般的な位置を表す長方形のボックスを指す。境界ボックスは、矩形の左上隅および／または右上隅のｘおよびｙ軸座標と、右下隅および／または左下隅のｘおよびｙ軸座標とによって定義されることができる。

【0058】

本明細書で使用される場合、「セグメンテーション境界」は、画像内のオブジェクトの推定された周囲長を指す。セグメンテーション境界は、オブジェクトのエッジの位置を判定するために画像の特徴が分析されるセグメンテーションプロセス中に生成されることができる。セグメンテーション境界は、バイナリマスクなどのマスクによってさらに表されてもよい。

【0059】

本明細書で使用される場合、「セグメンテーション」は、画像内のオブジェクトの位置および形状を判定することを指す。セグメンテーションは、画像内のオブジェクトの領域または周囲を描写する画素のセットを判定することを含むことができる。セグメンテーションは、オブジェクトのバイナリマスクなどのマスクを生成することを含むことができる。セグメンテーションは、オブジェクトの３Ｄマスクを生成するために、オブジェクトに対応する複数のマスクを処理することをさらに含むことができる。
ＩＩＩ．導出されたコントラスト機構

【0060】

被験者の解剖学的構造（例えば、器官または他のヒトもしくは哺乳動物組織）および生理学的プロセスのイメージング手順の目標は、良好な空間分解能を有する画像コントラストの生成である。医用イメージングの初期の発展は、従来のＭＲＩの背後にある主要原理である信号コントラスト生成のための組織（プロトン）密度関数および組織緩和特性に焦点を当てた。ＭＲＩは、水分子のプロトンからの信号を検出するが、各画素が１つの整数値を含むグレースケール画像を提供することしかできない。２つの解剖学的領域ＡおよびＢが異なる物理的または化学的特性を有する水分子を含有しない限り、これらの２つの領域は、ＭＲＩによって互いに区別されることができない。そうでなければ、画像の解像度がいくら高くても、領域Ａは、領域Ｂと区別がつかない。水分子の物理的性質に基づいてＭＲコントラストを生成するために、プロトン密度（ＰＤ）、Ｔ１およびＴ２緩和時間、ならびに拡散係数（Ｄ）が広く使用されている。ＰＤは、水分濃度を表す。Ｔ１およびＴ２は、励起後の信号緩和（減衰）時間であり、粘度および近くの高分子の存在などの環境要因に関連する。拡散項Ｄは、水分子の熱（またはブラウン）運動を表す。

【0061】

組織（プロトン）密度関数および組織弛緩特性に最初に注目した後、研究者らは、水分子の他の特性を利用してコントラストを生成する他の方法を調査した。拡散イメージング（ＤＩ）は、これらの研究努力の結果であった。ＤＩでは、画像取得中に補足ＭＲ勾配が適用される。これらの勾配の適用中のプロトンの動きは、画像内の信号に影響を及ぼし、それによって分子拡散に関する情報を提供する。ＤＩは、拡散スペクトルイメージング（ＤＳＩ）および拡散強調イメージング（ＤＷＩ）を含むいくつかの技術を使用して実行されることができる。

【0062】

ＤＷＩは、特殊なソフトウェアと組み合わせて既存のＭＲＩ技術を使用し、追加のハードウェア機器、造影剤、または化学トレーサを必要としない、組織の構造内の水拡散に対する感度を有する非侵襲的イメージング方法である。ＭＲＩを使用して拡散を測定するために、補足ＭＲ勾配を使用して、特定の方向の拡散に敏感な画像を作成する。ＤＷＩでは、各画像要素（ボクセル）の強度は、特定の方向における水拡散速度の最良の推定値を反映する。しかしながら、生体組織は、高度に異方性であり、これはそれらの拡散速度が全ての方向で同じではないことを意味する。ありふれたＤＷＩの場合、組織の異方性は無視されることが多く、拡散は、見かけの拡散係数（ＡＤＣ）である単一の平均値に低減されるが、これは、多くのユースケースにとって過度に単純である。代替方法は、拡散テンソルである、方向の各組み合わせにおける拡散速度に対応する数の［３×３］配列を使用して、複合材料における拡散をモデル化することである。３つの対角要素（Ｄｘｘ，Ｄｙｙ，Ｄｚｚ）は、主要な（ｘ－、ｙ－およびｚ－）実験室軸のそれぞれに沿って測定された拡散係数を表す。６つの非対角項（Ｄｘｙ、Ｄｙｘなど）は、主方向の各対の間のランダムな運動の相関を反映する。

【0063】

拡散テンソルモデルの導入は、拡散テンソル画像化（ＤＴＩ）を特徴付ける異方性度および構造配向の間接的な測定を可能にする。ＤＴＩの背後にある基本概念は、水分子がそのタイプ、完全性、構造、およびバリアの存在に応じて組織に沿って異なるように拡散し、その配向および定量的異方性に関する情報を与えることである。ＤＴＩ分析により、各ボクセルにおいて、分子拡散速度（平均拡散率（ＭＤ）または見かけの拡散係数（ＡＤＣ））、拡散の方向優先度（異方性比率（ＦＡ））、軸方向拡散率（ＡＤ）（拡散の主軸に沿った拡散速度）、および半径方向拡散率（ＲＤ）（横方向の拡散速度）などの特性を推測することが可能である。ＤＴＩは、通常、テンソルに含まれる情報を１つの数（スカラ）または４つの数（Ｒ、Ｇ、Ｂの色および色分数異方性として知られる輝度値を与える）に凝縮することによって表示される。拡散テンソルは、主要な固有ベクトルまたはテンソル全体の小さな三次元（３Ｄ）表現であるグリフを使用して見ることもできる。

【0064】

ＭＲＩおよびＤＴＩと同様に、ＣＴ、Ｘ線、陽電子放射断層撮影（ＰＥＴ）、光音響断層撮影（ＰＡＴ）、ソノグラフィ、ＰＥＴ－ＣＴ、ＰＥＴ－ＭＲなどのそれらの組み合わせなどの医用イメージングの他のモダリティは、画像コントラストおよび空間分解能を生成するために様々な測定値、アルゴリズム、および薬剤に依存する。例えば、ＣＴおよびＸ線は、空気、軟組織、および骨などの高密度構造を区別するためにＸ線吸収を使用する。体内の高密度構造はＸ線を停止し、したがって容易にイメージングおよび視覚化されるが、軟組織はＸ線を停止する能力が異なり、したがって、イメージングして視覚化されることがかすかであるかまたは困難であり得る。Ｘ線またはＣＴスキャンにおける画像コントラストを高めるための１つの技術は、Ｘ線を停止させてＸ線またはＣＴ画像上でより見えるようにする物質をより良好に含む造影剤を利用することであり、したがって、血管などの軟組織をより良好に視覚化するために使用されることができる。ＰＥＴは、スキャンで検出および測定されることができる放射性トレーサと呼ばれる少量の放射性物質を使用する。放射性トレーサで蓄積または標識された領域と非蓄積または非標識領域との間の測定差は、コントラストを生成して被験者内の構造および機能を視覚化するために使用される。ＰＡＴは、光音響（ＰＡ）効果に基づくイメージングモダリティである。短パルス光源は、典型的には、組織を照射するために使用され、広帯域ＰＡ波をもたらす。光の吸収に続いて、初期温度上昇は圧力上昇を誘発し、圧力上昇は光音響波として伝播し、超音波トランスデューサによって検出されて光吸収コントラストをイメージングする。超音波は、体内をイメージングするために使用される非侵襲的診断技術である。トランスデューサは、音波ビームを身体内に送出する。音波は、ビームの経路内の組織間の境界（例えば、流体と軟組織または組織と骨との間の境界）によってトランスデューサに反射される。これらのエコーがトランスデューサに当たると、エコーは超音波スキャナに送信される電気信号を生成する。音速および各エコーが戻る時間を使用して、スキャナは、トランスデューサから組織境界までの距離を計算する。次いで、これらの距離を使用してコントラストを生成し、組織および器官を視覚化する。

【0065】

これらのイメージングモダリティの全ては、臨床分析、医学的介入、および／または医学的診断のための体内の表現、ならびにいくつかの器官または組織の機能の視覚的表現を視覚化するのに十分な空間分解能を有する画像コントラストを生成する。しかしながら、本明細書で説明するように、これらのイメージングモダリティのそれぞれによって個別に提供される画像コントラストおよび空間解像度は、深層学習ネットワークによって実行される正確なオブジェクトセグメンテーション、特にサイズおよび体積データを取得するために使用されるオブジェクトセグメンテーションには十分ではない。この制限および他の制限を克服するために、本明細書に記載の技術は、イメージングモダリティ、画像の種類、および／または様々な特性の組み合わせを使用して、深層学習モデルを使用して関心オブジェクトを位置特定し、関心オブジェクトを分離し、続いて関心オブジェクトをセグメント化する。具体的には、いくつかのイメージングモダリティ、画像の種類、および／または特性は、オブジェクトセグメンテーションと比較してオブジェクト検出によってより良好に機能することが発見されている。一方、他のイメージングモダリティ、画像の種類、および／または特性は、オブジェクトセグメンテーションによって良好に機能する。どのイメージングモダリティ、画像の種類、および／または特性がどのコンピュータビジョンタスク（例えば、オブジェクト検出またはオブジェクトセグメンテーション）により適しているかを識別することによって、これらの差を導出されたコントラスト機構として利用することが可能である。

【0066】

導出されたコントラスト機構によって利用されることができる画像の特性は、輝度、コントラスト、および空間解像度を含む。輝度（または発光輝度）は、画像がデジタルカメラで取得された後、またはアナログ－デジタル変換器によってデジタル化された後の画素アレイにわたる相対強度値の尺度である。相対強度値が高いほど画素が明るくなり、一般的に画像がより白く見える。一方、相対強度値が低いほど画素が暗くなり、一般的に画像がより黒く見える。コントラストとは、アナログ画像とデジタル画像の双方における様々な画像特徴の間に存在する区別を指す。画像内の区別は、グレー、光強度、または色の異なる色調の形態とすることができる。より高いコントラストレベルを有する画像は、一般に、より低いコントラストの画像よりも大きな度合いのグレースケール、色、または強度変動を表示する。空間分解能は、デジタル画像の構築に利用される画素の数を指す。空間解像度が高い画像は、空間解像度が低い画像よりも多くの画素によって構成される。

【0067】

導出されたコントラスト機構は、以下を備える：（ｉ）関心オブジェクトを検出するために使用される特性（例えば、ＤＴＩ－ＦＡ）を有する画像を取得することができる第１のイメージングモダリティと、（ｉｉ）関心オブジェクトをセグメント化するために使用される特性（例えば、ＤＴＩ－ＭＤ）を有する画像を取得することができる第２のイメージングモダリティ。様々なイメージングモダリティ、画像の種類、および／または特性が組み合わせられて、各コンピュータビジョンタスク（例えば、オブジェクト検出またはオブジェクトセグメンテーション）を改善することができる。様々な実施形態では、導出されたコントラスト機構のイメージングモダリティは、ＭＲＩまたはＤＴＩなどの同じものである。いくつかの実施形態では、第１の特性を有する第１の画像および第２の特性を有する第２の画像を取得するためにイメージングモダリティが使用され、第１の画像は第２の画像とは異なる。例えば、ＭＲＩを使用して、被験者の拡散テンソルパラメトリックマップを取得することができる。拡散テンソルパラメトリックマップは、ＦＡマップなどの第１の測定マップと、ＭＤマップなどの第２の測定マップとを含むことができる。いくつかの実施形態では、第１の特性を有する第１の画像および第２の特性を有する第２の画像を取得するためにイメージングモダリティが使用され、第１の特性は第２の特性とは異なる。例えば、被験者に対する複数のＣＴスキャンを取得するために、ＣＴが使用されてもよい。ＣＴスキャンは、低解像度ＣＴスキャンなどの第１のＣＴスキャンと、高解像度ＣＴ（ＨＲＣＴ）スキャンなどの第２のＣＴスキャンとを含むことができる。あるいは、被験者の拡散テンソルパラメトリックマップを取得するために、ＭＲＩが使用されてもよい。拡散テンソルパラメトリックマップは、低解像度ＭＤマップなどの第１のＭＤマップと、高解像度ＭＤマップなどの第２のＭＤマップとを含むことができる。他の実施形態では、導出されたコントラスト機構のイメージングモダリティは、ＰＡＴおよび超音波など異なる。ＰＡＴは、第１の特性を有する第１の種類の画像を取得するために使用されてもよく、超音波は、第２の特性を有する第２の種類の画像を取得するために使用されてもよく、第１の種類の画像および第１の特性は、第２の種類の画像および第２の特性とは異なる。

【0068】

異なる種類のイメージングモダリティ、画像の種類、および特性を使用して導出されたコントラスト機構の具体例は、以下を含む。
（Ａ）ＭＲＩ
腎臓のセグメンテーション：（ｉ）オブジェクト検出のためのＦＡ測定マップ（異方性比率によるコントラスト）；（ｉｉ）オブジェクトセグメンテーションのためのＭＤ測定マップ（平均拡散率によって生成されたコントラスト）またはＴ２強調解剖学的画像（励起後の信号緩和時間から生成されたコントラスト）。
多発性硬化症脳病変セグメンテーション：（ｉ）オブジェクト検出のための単一エコーＴ２画像（励起後の信号緩和時間の単一ショットエコー平面イメージングから生成されたコントラスト）；（ｉｉ）オブジェクトセグメンテーションのためのエコー強調またはＴ２強調解剖学的画像（励起後の信号緩和時間を強調するために使用される低いフリップ角、長いエコー時間、および長い繰り返し時間から生成されるコントラスト）。
肝臓のセグメンテーション：（ｉ）オブジェクト検出のためのＭＤ測定マップ（平均拡散率によって生成されたコントラスト）、および（ｉｉ）オブジェクトセグメンテーションのための高解像度ＭＤ測定マップ（高解像度および平均拡散率によって生成されたコントラスト）、Ｔ２強調解剖学的画像（励起後の信号緩和時間から生成されたコントラスト）またはＰＤ（水濃度から生成されたコントラスト）。
（Ｂ）ＣＴ
肺および肝臓腫瘍のセグメンテーション：（ｉ）肺または肝臓のオブジェクト検出のためのＣＴスキャン（低解像度）、および（ｉｉ）腫瘍のオブジェクトセグメンテーションのためのＣＴスキャン（ＨＲＣＴ）。
骨梁骨：（ｉ）小柱腔（非皮質骨）のオブジェクト検出のためのＣＴスキャン（低解像度）、および（ｉｉ）小柱のオブジェクトセグメンテーションのためのＣＴスキャン（ＨＲＣＴ）。
（Ｃ）ＰＥＴ
腫瘍または器官の検出：（ｉ）オブジェクト検出のためのＰＥＴ高コントラスト／低解像度（放射性トレーサ測定値によって生成されたコントラスト）、および（ｉｉ）オブジェクトセグメンテーションのためのＰＥＴ－ＣＴまたはＰＥＴ－ＭＲ高コントラスト／高解像度（放射性トレーサ測定値によって生成されたコントラスト）。
（Ｄ）光音響断層撮影（光超音波技術）
腫瘍または器官の検出：（ｉ）オブジェクト検出のためのＰＡＴ（光吸収によって生成されたコントラスト）、および（ｉｉ）オブジェクトセグメンテーションのための超音波（トランスデューサと組織境界との間のエコー戻り距離から生成されたコントラスト）。

【0069】

ＭＲＩ、ＣＴ、ＰＡＴ、ＰＥＴなどに関する実施例および実施形態は、例示のみを目的として本明細書に記載されており、代替のイメージングモダリティ（例えば、蛍光透視法、磁気共鳴血管造影法（ＭＲＡ）、およびマンモグラフィ）は、本開示の態様にかかる様々な導出されたコントラスト機構を実装するために当業者に提案されることを理解されたい。さらに、これらのイメージングモダリティのいずれかのパラメータは、身体の異なる構造または領域を捕捉するように（例えば、異なるトレーサ、角度構成、波長など）変更されることができ、これらのタイプの変更されたイメージング技術の１つ以上は、本開示の態様にかかる様々な導出されたコントラスト機構を実装するための１つ以上の他のイメージング技術と組み合わせられることができる。
ＩＶ．医用画像をセグメント化するための技術

【0070】

ＭＲＩ画像のセグメント化は、２つの部分に分割される。セグメント化の第１の部分は、第１の画像（例えば、拡散テンソルパラメトリックマップまたはＣＴ画像）内のクラスの位置特定（オブジェクト検出）を実行するように構築された第１の視覚モデルに関する。これらのクラスは「意味的に解釈可能」であり、肝臓、腎臓、心臓などの現実世界のカテゴリに対応する。位置特定は、ＥＭを使用して実行され、一度だけ見る（ＹＯＬＯ）または（ＹＯＬＯｖ２）または（ＹＯＬＯｖ３）、あるいは標準的なクラスタリング技術（例えば、ｋ平均クラスタリング技術、Ｏｔｓｕの方法、Ｄｅｎｓｉｔｙ－Ｂａｓｅｄ Ｓｐａｔｉａｌ Ｃｌｕｓｔｅｒｉｎｇ ｏｆ Ａｐｐｌｉｃａｔｉｏｎｓ ｗｉｔｈ Ｎｏｉｓｅ（ＤＢＳＣＡＮ）技術、ミニバッチＫ平均技術など）で発見的に初期化される同様のオブジェクト検出アルゴリズムを使用する。初期化は、各クラスの尤度モデルのパラメータの初期推定値を提供するために使用される。期待値最大化は、１つ以上の統計モデルにおけるパラメータの（局所的な）最尤または最大事後（ＭＡＰ）推定値を見つけるための反復プロセスである。ＥＭ反復は、パラメータの現在の推定値を使用して評価された対数尤度の期待値の関数を形成する期待値（Ｅ）ステップと、Ｅステップで見つかった期待値対数尤度を最大化するパラメータを計算する最大化（Ｍ）ステップとを交互に実行する。次いで、次のＥステップにおける潜在変数の分布を判定するために、これらのパラメータ推定値が使用される。位置特定の結果は、クラスごとの確率で各オブジェクトの周りの境界ボックスまたはセグメンテーションマスクである。関心オブジェクト（例えば、腎臓）の一般的な位置特定は、関心オブジェクトに関連付けられたクラスのうちの１つ以上を使用して分離される。

【0071】

医用画像の背景効果を軽減するために、関心オブジェクトの境界ボックスまたはセグメンテーションマスクは、スライス方向（アキシャル、コロナル、およびサジタル）に第２の画像（例えば、拡散テンソルパラメトリックマップまたはＣＴ画像）上に投影される。セグメンテーションマスクを判定するために位置特定が使用される場合、投影されたセグメンテーションマスクの境界は、関心オブジェクト（例えば、腎臓）の一般的な位置の周りの第２の画像内の境界ボックス（関心オブジェクトに関連付けられた画素単位のマスクの周りに完全に描写された長方形のボックス）を画定するために使用される。いくつかの例では、境界ボックス（位置特定によって判定されるか、または投影されたセグメンテーションマスクの境界に基づいて画定される）は、関心オブジェクトのカバレッジを保証するために、全ての側で所定数の画素だけ拡大される。次いで、境界ボックス内の領域は、第２の画像から切り取られて、関心オブジェクトを有する第２の画像の一部を取得し、第２の画像の一部は、関心オブジェクトをセグメント化するための第２の視覚モデルへの入力として使用される。セグメント化の第２の部分は、関心オブジェクトと背景との間の不均衡性を克服し、したがって関心オブジェクトのセグメント化を評価することに焦点を当てるために、重み付き損失関数（例えば、ダイス損失）によって構築された第２の視覚モデル（深層学習ニューラルネットワーク）に関する。さらに、第２の視覚モデルは、深層学習ニューラルネットワークが医用画像の限定されたセットで訓練されることができるように、拡張データセットを使用して訓練されることができる。訓練された第２の視覚モデルは、第２の画像の切り取られた部分を入力として取り込み、関心オブジェクトの周りの推定されたセグメンテーション境界を有する第２の画像の一部を出力する。推定されたセグメンテーション境界は、関心オブジェクトの体積、表面積、アキシャル寸法、最大アキシャル寸法、または他のサイズ関連メトリックを計算するために使用されることができる。次いで、被験者の診断および／または予後を判定するために、これらのメトリックのいずれか１つ以上が単独で、または他の因子と組み合わせて使用されてもよい。
ＩＶ．Ａ．例示的なコンピューティング環境

【0072】

図１は、様々な実施形態にかかる、多段セグメンテーションネットワークを使用して画像内の関心オブジェクトのインスタンスをセグメント化するための例示的なコンピューティング環境１００（すなわち、データ処理システム）を示している。図１に示すように、この例におけるコンピューティング環境１００によって実行されるセグメント化は、いくつかの段階、すなわち、画像取得段階１０５、モデル訓練段階１１０、オブジェクト検出段階１１５、セグメンテーション段階１２０、および分析段階１２５を含む。

【0073】

画像取得段階１１０は、被験者の様々な部分の画像１３５（例えば、ＭＲ画像）を取得するための１つ以上のイメージングシステム１３０（例えば、ＭＲＩイメージングシステム）を含む。イメージングシステム１３０は、画像１３５を取得するために、Ｘ線ラジオグラフィ、蛍光透視法、ＭＲＩ、超音波、核医学機能的イメージング（例えば、ＰＥＴ）、サーモグラフィ、ＣＴ、マンモグラフィなどのような１つ以上の放射線イメージング技術を使用するように構成される。イメージングシステム１３０は、イメージングシステム１３０のそれぞれに関連する特性（例えば、輝度、コントラスト、および空間解像度）に基づいて被験者内の様々な構造および機能の間の差を判定し、一連の二次元画像を生成することができる。一連の二次元画像がスキャナのコンピュータによって収集されると、二次元画像は、被験者または被験者の一部の三次元画像を再構成するためにコンピュータ分析によって一緒にデジタル的に「積層」されることができる。二次元画像および／または再構成三次元画像１３５は、基本構造（例えば、器官）ならびに可能性のある腫瘍または異常のより容易な識別および位置特定を可能にする。各二次元画像および／または再構成三次元画像１３５は、セッション時間および被験者に対応し、被験者の内部領域を描写することができる。各二次元画像および／または再構成三次元画像１３５は、さらに、標準化されたサイズ、解像度、および／または倍率であってもよい。

【0074】

いくつかの実施形態では、１つ以上のイメージングシステム１３０は、画像取得中に補足ＭＲ勾配を適用するように構成されたＤＩシステム（例えば、特別なソフトウェアを備えたＭＲＩシステム）を含む。これらの勾配の適用中のプロトンの動きは、画像内の信号に影響を及ぼし、それによって分子拡散に関する情報を提供する。ＤＴＩ行列は、様々な勾配方向の一連の拡散強調画像から得られる。３つの拡散性パラメータまたは固有値（λ１、λ２、λ３）は、行列対角化によって生成される。拡散度は、組織の幾何学的形状に関連する特定のボクセル（画像内の最小の体積要素）における水の拡散を表すスカラ指数である。様々な拡散イメージング技術を使用して、拡散テンソルパラメトリックマップおよび拡散度からの追加の画像コントラストを計算することができる。これらのマップによって表されるＤＴＩ特性または指数は、分子拡散速度（ＭＤマップまたはＡＤＣマップ）、拡散の方向優先度（ＦＡマップ）、ＡＤマップ（拡散の主軸に沿った拡散速度）、およびＲＤマップ（横方向の拡散速度）を含むことができる（ただし、これらに限定されない）。ＤＴＩ行列対角化によって得られた拡散性（λ１、λ２、λ３）は、組織に対して平行成分（λ１）および垂直成分（λ２およびλ３）に区切られることができる。拡散度の合計（λ１、λ２、λ３）はトレースと呼ばれ、その平均（＝トレース／３）はＭＤまたはＡＤＣと呼ばれる。異方性比率（ＦＡ）は、ボクセル内の拡散非対称性の量の指標であり、その拡散性（λ１、λ２、λ３）に関して定義される。ＦＡの値は、０と１との間で変化する。完全等方性拡散の場合、λ１＝λ２＝λ３であり、拡散楕円体は球であり、ＦＡ＝０である。拡散異方性が進行すると、固有値が不均等になり、楕円体が細長くなり、ＦＡ→１となる。軸方向拡散性（ＡＤ）、λ｜≡λ１＞λ２、λ３は、関心ボクセル内の管路に平行に拡散する水分子の平均拡散係数を表す。同様に、半径方向拡散率（ＲＤ）λ┴≡（λ２＋λ３）／２は、主固有ベクトルに垂直な水拡散の大きさとして定義されることができる。

【0075】

画像１３５は、１つ以上の関心オブジェクトを描写する。関心オブジェクトは、領域（例えば、腹部）、器官（例えば、腎臓）、病変／腫瘍（例えば、悪性肝臓腫瘍または脳病変）、代謝機能（例えば、肝臓における血漿タンパク質の合成）などの被験者内の任意の「もの」とすることができる。いくつかの例では、複数の画像１３５は、複数の画像１３５のそれぞれが関心オブジェクトの仮想「スライス」に対応することができるように、関心オブジェクトを描写する。複数の画像１３５のそれぞれは、各画像１３５が、被験者および関心オブジェクトに対応する他の画像１３５に描写された他の平面に平行な平面を描くように、同じ視野角を有することができる。複数の画像１３５のそれぞれは、平面に対する垂直軸に沿った異なる距離にさらに対応することができる。いくつかの例では、関心オブジェクトを描写する複数の画像１３５は、各画像を位置合わせし、関心オブジェクトの三次元画像構造を生成するために前処理ステップを受ける。

【0076】

いくつかの実施形態では、画像１３５は、被験者の１つ以上の関心オブジェクトを示す拡散テンソルパラメトリックマップを含む。特定の例では、少なくとも２つの拡散テンソルパラメトリックマップ（例えば、第１の拡散テンソルパラメトリックマップおよび第２の拡散テンソルパラメトリックマップ）が関心オブジェクトに対して生成される。拡散テンソルパラメトリックマップは、ＤＴＩシステムによって生成され、関心オブジェクトにさらなる状況を提供するために水分子の拡散の速度および／または方向を記述することができる。各拡散テンソルパラメトリックマップが異なる方向に対応するように、２つ以上の拡散テンソルパラメトリックマップが生成されることができる。例えば、拡散テンソルパラメトリックマップは、ＦＡを表す画像、ＭＤを表す画像、ＡＤを表す画像、および／またはＲＤを表す画像を含むことができる。拡散テンソルパラメトリックマップのそれぞれは、対応するＭＲ画像として同じ平面および平面の垂直軸に沿った同じ距離を描写する視野角をさらに有することができ、その結果、関心オブジェクトの仮想「スライス」を描写する各ＭＲ画像は、関心オブジェクトの同じ仮想「スライス」を描写する対応する拡散テンソル画像を有する。

【0077】

モデル訓練段階１１０は、他の段階によって使用されるべき１つ以上のモデル１４０ａ～１４０ｎ（「ｎ」は任意の自然数を表す）（本明細書では個別にモデル１４０と呼ばれてもよく、まとめてモデル１４０と呼ばれてもよい）を構築して訓練する。モデル１４０は、例えば、初期ニューラルネットワークなどの畳み込みニューラルネットワーク（「ＣＮＮ」）、残差ニューラルネットワーク（「Ｒｅｓｎｅｔ」）、Ｕ－Ｎｅｔ、Ｖ－Ｎｅｔ、シングルショットマルチボックス検出器（「ＳＳＤ」）ネットワーク、または例えば、長期短期記憶（「ＬＳＴＭ」）モデルもしくはゲーティッドリカレントユニット（「ＧＲＵ」）モデルなどのリカレントニューラルネットワーク（「ＲＮＮ」）、またはそれらの任意の組み合わせなどの機械学習（「ＭＬ」）モデルとすることができる。モデル１４０はまた、三次元ＣＮＮ（「３ＤＣＮＮ」）、動的時間圧伸（「ＤＴＷ」）技術、隠れマルコフモデル（「ＨＭＭ」）など、またはそのような技術のうちの１つもしくは複数の組み合わせ、例えば、ＣＮＮ－ＨＭＭもしくはＭＣＮＮ（マルチスケール畳み込みニューラルネットワーク）など、画像からのオブジェクト検出および／またはセグメンテーションにおいて訓練された任意の他の適切なＭＬモデルとすることができる。コンピューティング環境１００は、関心オブジェクトのインスタンスをセグメント化するために、同じタイプのモデルまたは異なるタイプのモデルを使用することができる。いくつかの例では、モデル１４０は、本明細書でさらに詳細に説明するように、大きな視野または背景と関心のある小さな前景オブジェクトとの間の各画像内の不均衡な性質を補償する重み付き損失関数で構成される。

【0078】

この例でモデル１４０を訓練するために、サンプル１４５は、デジタル画像を取得し、画像を訓練用の画像のサブセット１４５ａ（例えば、９０％）と検証用の画像のサブセット１４５ｂ（例えば、１０％）とに分割し、画像のサブセット１４５ａと画像のサブセット１４５ｂとを前処理し、画像のサブセット１４５ａを増補し、いくつかの例では画像のサブセット１４５ａにラベル１５０で注釈を付けることによって生成される。画像のサブセット１４５ａは、１つ以上のイメージングモダリティ（例えば、ＭＲＩおよびＣＴ）から取得される。いくつかの例では、画像のサブセット１４５ａは、１つ以上のイメージングモダリティに関連するデータベース、画像システム（例えば、１つ以上のイメージングシステム１３０）などのデータ記憶構造から取得される。各画像は、橈側領域、胸部領域、腹部領域、骨盤領域、脾臓、肝臓、腎臓、脳、腫瘍、病変などの１つ以上の関心オブジェクトを示す。

【0079】

分割は、ランダムに（例えば、９０／１０％または７０／３０％）実行されてもよく、または、分割は、サンプリングバイアスおよびオーバーフィッティングを最小限に抑えるために、Ｋ－分割交差検証、一個抜き交差検証、一群抜き交差検証、入れ子交差検証などのより複雑な検証技術に従って実行されてもよい。前処理は、各画像が単一の関心オブジェクトのみを含むように画像を切り取ることを含むことができる。いくつかの例では、前処理は、全ての特徴を同じスケール（例えば、同じサイズスケールまたは同じカラースケールまたは彩度スケール）に置くための標準化または正規化をさらに含むことができる。特定の例では、画像は、所定の画素（例えば、２５００画素）の最小サイズ（幅または高さ）または所定の画素（例えば、３０００画素）の最大サイズ（幅または高さ）でサイズ変更され、元のアスペクト比を維持する。

【0080】

増強を使用して、データセット内に画像の修正バージョンを作成することによって、画像のサブセット１４５ａのサイズを人工的に拡大することができる。画像データ増強は、元の画像と同じクラスに属するデータセット内の画像の変換バージョンを作成することによって実行されることができる。変換は、シフト、フリップ、ズームなどの画像操作の分野からの動作の範囲を含む。いくつかの例では、動作は、モデル１４０が画像のサブセット１４５ａから利用可能な状況外の状況下で実行することができることを保証するために、ランダム消去、シフト、輝度、回転、ガウスぼかし、および／または弾性変換を含む。

【0081】

追加的または代替的に、増強を使用して、訓練中にモデル１４０が入力として取り込むことができるデータセット内の多数の画像を人工的に増強することができる。いくつかの例では、訓練データセット（すなわち、画像のサブセット１４５ａ）の少なくとも一部は、１人以上の被験者の領域に対応する第１の画像セットと、同じまたは異なる被験者の異なる領域に対応する第２の画像セットとを含むことができる。例えば、腹部領域に対応する画像の少なくとも第１のサブセットが腹部領域内の１つ以上の関心オブジェクトを検出するために使用される場合、頭部領域に対応する画像の第２のサブセットも訓練データセット内に含まれることができる。そのような場合、１人以上の被験者の領域に対応する第１の画像セットは、訓練データセット内の同じまたは異なる被験者の異なる領域に対応する第２の画像セットにヒストグラムマッチングされる。前の例に関して、橈側領域に対応する画像のヒストグラムは参照ヒストグラムとして処理されることができ、次いで、腹部領域に対応する画像のヒストグラムは参照ヒストグラムとマッチングされる。ヒストグラムマッチングは、ヒストグラムの処理がヒストグラムの画素強度、画素色、および／または画素輝度を参照ヒストグラムの画素強度、画素色、および／または画素輝度にマッチングすることを伴うように、画素強度、画素色、および／または画素輝度に基づくことができる。

【0082】

注釈付けは、画像のサブセット１４５ａの各画像内の１つ以上の関心オブジェクトの存在を確認し、例えば、注釈ソフトウェアを使用して、１つ以上の関心オブジェクトを含むように人間によって確認された領域の周りに境界ボックス（グラウンドトゥルース）またはセグメンテーション境界を描画するなど、１つ以上の関心オブジェクトにラベル１５０を提供する１人以上の人間（放射線科医または病理学者などの注釈者）によって手動で実行されることができる。特定の例では、境界ボックスまたはセグメンテーション境界は、関心オブジェクトである確率が５０％を超える事例についてのみ描画されることができる。複数の注釈者によって注釈付けされる画像については、全ての注釈者からの境界ボックスまたはセグメンテーション境界が使用されてもよい。いくつかの例では、注釈データは、関心オブジェクトの種類をさらに示すことができる。例えば、関心オブジェクトが腫瘍または病変である場合、注釈データは、肝臓、肺、膵臓、および／または腎臓の腫瘍または病変などの腫瘍または病変の種類を示すことができる。

【0083】

いくつかの例では、画像のサブセット１４５は、訓練データセット（すなわち、画像のサブセット１４５ａ）内に含まれるように注釈者デバイス１５５に送信されてもよい。入力は、（例えば）画像が関心オブジェクト（例えば、病変、器官など）を描写するか否か；画像内に描写された関心オブジェクトの数；および画像内の描写された各関心オブジェクトの周囲（境界ボックスまたはセグメンテーション境界）を示す（例えば）マウス、トラックパッド、スタイラスおよび／またはキーボードを使用して（例えば、放射線科医によって）注釈者デバイス１５５に提供されることができる。注釈者デバイス１５５は、提供された入力を使用して各画像のラベル１５０を生成するように構成されることができる。例えば、ラベル１５０は、画像内に描写されたオブジェクトの数；描写された関心オブジェクトごとのタイプ分類；特定の種類の描写された各オブジェクトの数；画像内の１つ以上の識別された関心オブジェクトの周囲および／またはマスクを含むことができる。いくつかの例では、ラベル１５０は、第１の種類の画像および第２の種類の画像に重ね合わされた、１つ以上の識別された関心オブジェクトの周囲および／またはマスクをさらに含むことができる。

【0084】

モデル１４０の訓練プロセスは、モデル１４０のハイパーパラメータを選択することと、モデル１４０の損失または誤差関数を最小化するモデルパラメータ（例えば、重みおよび／またはバイアス）のセットを見つけるために、画像のサブセット１４５ａからモデル１４０に画像を入力する反復動作を実行することとを含む。ハイパーパラメータは、モデル１４０の挙動を制御するために調整または最適化されることができる設定である。ほとんどのモデルは、メモリまたは実行コストなどのモデルの異なる態様を制御するハイパーパラメータを明示的に定義する。しかしながら、モデルを特定のシナリオに適合させるために、追加のハイパーパラメータが定義されることができる。例えば、ハイパーパラメータは、モデルの隠れユニットの数、モデルの学習率、畳み込みカーネル幅、またはモデルのカーネルの数を含むことができる。いくつかの例では、本明細書で詳細に説明するように、モデルパラメータの数は、畳み込み層および逆畳み込み層ごとに減少し、および／またはカーネルの数は、畳み込み層および逆畳み込み層ごとに、典型的なＣＮＮと比較して半分だけ減少する。訓練の各反復は、モデルパラメータのセットを使用する損失または誤差関数の値が、前の反復におけるモデルパラメータの異なるセットを使用する損失または誤差関数の値よりも小さくなるように、（ハイパーパラメータの定義されたセットによって構成された）モデル１４０のモデルパラメータのセットを見つけることを含むことができる。損失または誤差関数は、モデル１４０を使用して推論された出力（いくつかの例では、関心オブジェクトの１つ以上のインスタンスの周りのセグメンテーション境界は、ダイス類似度係数を用いて測定される）と、ラベル１５０を使用して画像に注釈付けされたグラウンドトゥルースセグメンテーション境界との間の差を測定するように構築されることができる。

【0085】

モデルパラメータのセットが識別されると、モデル１４０は、訓練されており、画像のサブセット１４５ａ（試験または検証データセット）を使用して検証されることができる。検証プロセスは、ハイパーパラメータを調整し、最終的に最適なハイパーパラメータのセットを見つけるために、Ｋ－分割交差検証、一個抜き交差検証、一群抜き交差検証、入れ子交差検証などの検証技術を使用して、画像のサブセット１４５ｂからモデル１４０に画像を入力する反復動作を含む。最適なハイパーパラメータのセットが得られると、画像のサブセット１４５ｂからの画像の予約されたテストセットがモデル１４５に入力されて出力（この例では、１つ以上の関心オブジェクトの周りのセグメンテーション境界）を取得し、Ｂｌａｎｄ－Ａｌｔｍａｎ法およびスピアマンのランク相関係数などの相関技術を使用し、誤差、精度、適合率、再現率、受信機動作特性曲線（ＲＯＣ）などの性能メトリックを計算して、出力がグラウンドトゥルースセグメンテーション境界に対して評価される。

【0086】

理解されるべきであるように、他の訓練／検証機構が想定され、コンピューティング環境１００内に実装されてもよい。例えば、モデルは、訓練されてもよく、ハイパーパラメータは、画像のサブセット１４５ａからの画像上で調整されてもよく、画像のサブセット１４５ｂからの画像は、モデルの性能を試験および評価するためにのみ使用されてもよい。さらに、本明細書において説明される訓練機構は、新たなモデル１４０を訓練することに焦点を当てている。これらの訓練機構はまた、他のデータセットから訓練された既存のモデル１４０を微調整するために利用されることができる。例えば、いくつかの例では、モデル１４０は、他のオブジェクトもしくは生物学的構造の画像を使用して、または他の被験者もしくは研究（例えば、ヒト試験またはマウス実験）からの切片から事前訓練されていてもよい。それらの場合、モデル１４０は、転移学習に使用され、画像１３５を使用して再訓練／検証されることができる。

【0087】

モデル訓練段階１１０は、１つ以上の訓練されたオブジェクト検出モデル１６０および１つ以上の訓練されたセグメンテーションモデル１６５を含む訓練されたモデルを出力する。第１の画像１３５は、オブジェクト検出段階１１５内の位置特定コントローラ１７０によって取得される。第１の画像１３５は、関心オブジェクトを描写する。いくつかの例では、第１の画像は、ＦＡまたはＭＤコントラストなどの第１の特性を有する拡散テンソルパラメトリックマップである。他の例では、第１の画像は、単一エコーＴ２コントラストまたはＴ２強調解剖学的コントラストなどの第１の特性を有するＭＲ画像である。他の例では、第１の画像１３５は、低解像度または高解像度などの第１の特性を有するＣＴ画像である。他の例では、第１の画像１３５は、造影剤などの第１の特性を有するＣＴ画像である。他の例では、第１の画像１３５は、放射性トレーサコントラストまたは低解像度などの第１の特性を有するＰＥＴ画像である。他の例では、第１の画像１３５は、放射性トレーサコントラストまたは高解像度などの第１の特性を有するＰＥＴ－ＣＴ画像である。他の例では、第１の画像１３５は、放射性トレーサコントラストまたは高解像度などの第１の特性を有するＰＥＴ－ＭＲ画像である。他の例では、第１の画像１３５は、光吸収コントラストなどの第１の特性を有するＰＡＴ画像である。他の例では、第１の画像１３５は、組織境界距離までのエコーまたはトランスデューサなどの第１の特性を有する超音波画像である。

【0088】

位置特定コントローラ１７０は、１つ以上のオブジェクト検出モデル１６０を使用して、画像１３５内の関心オブジェクトを位置特定するためのプロセスを含む。位置特定は、以下を含む：（ｉ）オブジェクト検出モデル１６０を使用して、第１の特性を有する第１の画像内のオブジェクトを位置特定して複数のオブジェクトクラスに分類することであって、分類することが、第１の画像の画素またはボクセルのセットを複数のオブジェクトクラスのうちの１つ以上に割り当てる、位置特定および分類することと、（ｉｉ）オブジェクト検出モデル１６０を使用して、複数のオブジェクトクラスのオブジェクトクラスに割り当てられた画素またはボクセルのセットに基づいて、第１の画像内の関心オブジェクトの境界ボックスまたはセグメンテーションマスクを判定すること。オブジェクト検出モデル１６０は、第１の画像内のオブジェクトの位置を特定してラベル付けするために使用される統計的特徴を抽出し、関心オブジェクトの境界ボックスまたはセグメンテーションマスクを予測するために、１つ以上のオブジェクト検出アルゴリズムを利用する。

【0089】

いくつかの例では、位置特定は、ＥＭ、ＹＯＬＯ、ＹＯＬＯｖ２、ＹＯＬＯｖ３、または標準的なクラスタリング技術（例えば、Ｋ平均またはＯｔｓｕの方法）でヒューリスティックに初期化される同様のオブジェクト検出アルゴリズムを使用して実行される。初期化は、各クラスの尤度モデルのパラメータの初期推定値を提供するために使用される。例えば、Ｋ平均クラスタリング技術でＥＭを使用する場合、固定数のｋ個のクラスタが与えられると、（全ての変数について）クラスタにわたる平均が可能な限り互いに異なるように、観測値がｋ個のクラスタに割り当てられる。次いで、ＥＭクラスタリング技術は、各クラスタ（クラス）のパラメータの初期推定値でパラメータ化された１つ以上の事前確率分布に基づいて、クラスタのメンバーシップおよびクラスタ境界の事後確率を計算する。ＥＭクラスタリング技術の目的は、（最終的な）クラスタを考慮して、データの全体的な確率または尤度を最大化することである。ＥＭクラスタリング技術の結果は、Ｋ平均クラスタリング技術によって計算されたものとは異なる。Ｋ平均クラスタリング技術は、クラスタ間の距離を最大化するためにクラスタに観測値（画素またはボクセル、画素またはボクセル強度など）を割り当てる。ＥＭクラスタリング技術は、クラスタへの観測の実際の割り当てを計算するのではなく、分類確率を計算する。換言すれば、各観測は、一定の確率で各クラスタに属する。その後、（最大の）分類確率に基づいて、位置特定コントローラ１７０によって観測値をクラスタに割り当てることができる。位置特定の結果は、クラスごとの確率を有する境界ボックスまたはセグメンテーションマスクである。関心オブジェクト（例えば、腎臓）の一般的な位置は、関心オブジェクトに関連付けられたオブジェクトクラスに割り当てられた画素またはボクセルのセットに基づいて分離される。

【0090】

関心オブジェクトの境界ボックスまたはセグメンテーションマスクは、オブジェクト検出段階１１５内のマップ処理コントローラ１７５に利用される。第２の画像１３５は、オブジェクト検出段階１１５内のマップ処理コントローラ１７５によって取得される。第２の画像１３５は、第１の画像１３５に描写された同じ関心オブジェクトを描写する。いくつかの例では、第２の画像は、ＦＡまたはＭＤコントラストなどの第２の特性を有する拡散テンソルパラメトリックマップである。他の例では、第２の画像は、単一エコーＴ２コントラストまたはＴ２強調解剖学的コントラストなどの第２の特性を有するＭＲ画像である。他の例では、第２の画像１３５は、低解像度または高解像度などの第２の特性を有するＣＴ画像である。他の例では、第２の画像１３５は、造影剤などの第２の特性を有するＣＴ画像である。他の例では、第２の画像１３５は、放射性トレーサコントラストまたは低解像度などの第２の特性を有するＰＥＴ画像である。他の例では、第２の画像１３５は、放射性トレーサコントラストまたは高解像度などの第２の特性を有するＰＥＴ－ＣＴ画像である。他の例では、第２の画像１３５は、放射性トレーサコントラストまたは高解像度などの第２の特性を有するＰＥＴ－ＭＲ画像である。他の例では、第２の画像１３５は、光吸収コントラストなどの第２特性を有するＰＡＴ画像である。他の例では、第２の画像１３５は、組織境界距離までのエコーまたはトランスデューサなどの第２の特性を有する超音波画像である。

【0091】

マップ処理コントローラ１７０は、検出された関心オブジェクトに対応する境界ボックスまたはセグメンテーションマスクを、第１の画像から第２の画像に描写された関心オブジェクトの同じ上にオーバーレイするためのプロセスを含む。セグメンテーションマスクが判定される場合、セグメンテーションマスクは、セグメンテーションマスクの境界を使用して、第２の画像内の関心オブジェクトに対応する関心領域を囲む矩形境界ボックスを画定することができるように、第２の画像（例えば、第２の画像の二次元スライス）に投影される。いくつかの例では、境界ボックスは、関心領域の全体が確実に囲まれるように、セグメンテーションマスクの周囲の各エッジへの追加のパディング（例えば、５画素、１０画素、１５画素などのパディング）を含む。マップ処理コントローラ１７５は、境界ボックスに対応する切り取り部分１８０のみが示されるように第２の画像を切り取るように構成されたプロセスをさらに含む。２つ以上の境界ボックスが画定されている場合（例えば、複数の関心オブジェクトが画像内で検出される場合）、第２の画像の切り取られた部分が各境界ボックスに対して生成される。いくつかの例では、均一なサイズを維持するために、切り取られた各部分がさらにサイズ変更される（例えば、追加のパディングを用いて）。

【0092】

第２の画像の切り取られた部分１８０は、セグメンテーション段階１２０内のセグメンテーションコントローラ１８５に送信される。セグメンテーションコントローラ１８５は、１つ以上のセグメンテーションモデル１６５を使用して、第２の画像の切り取られた部分１８０内の関心オブジェクトをセグメント化するためのプロセスを含む。セグメント化することは、１つ以上のセグメンテーションモデル１６５を使用して、関心オブジェクトの周りの推定セグメンテーション境界を生成することと、１つ以上のセグメンテーションモデル１６５を使用して、関心オブジェクトの周りの推定されたセグメンテーション境界１９０を有する第２の画像の切り取られた部分を出力することと、を含む。セグメント化することは、関心オブジェクトに対応するエッジおよび／または輪郭のセットを識別するために、切り取られた各部分の画素またはボクセル強度の変動を評価することを含むことができる。エッジおよび／または輪郭のセットを識別すると、１つ以上のセグメンテーションモデル１６５は、関心オブジェクトの推定セグメンテーション境界１９０を生成する。いくつかの実施形態では、推定されたセグメンテーション境界１９０は、関心オブジェクトの三次元表現に対応する。いくつかの例では、セグメント化することは、推定されたセグメンテーション境界１９０に存在する関心オブジェクトの確率スコアを判定することと、推定されたセグメンテーション境界１９０を有する確率スコアを出力することと、をさらに含む。

【0093】

関心オブジェクトの周りの推定されたセグメンテーション境界１９０（および任意の確率スコア）を有する第２の画像の切り取られた部分は、分析段階１２５内の分析コントローラ１９５に送信されることができる。分析コントローラ１９５は、関心オブジェクトの周りの推定されたセグメンテーション境界１９０（および任意の確率スコア）を有する第２の画像の切り取られた部分を取得または受信し、関心オブジェクトの周りの推定されたセグメンテーション境界１９０（および任意の確率スコア）に基づいて分析結果１９７を判定するプロセスを含む。分析コントローラ１９５は、関心オブジェクトの周りの推定されたセグメンテーション境界１９０に基づいて、関心オブジェクトのサイズ、アキシャル寸法、表面積、および／または体積を判定するためのプロセスをさらに含むことができる。いくつかの例では、関心オブジェクトについての推定されたセグメンテーション境界１９０またはその導出（例えば、関心オブジェクトのサイズ、アキシャル寸法、体積など）は、被験者の診断および／または予後を判定するためにさらに使用される。さらなる例では、関心オブジェクトの推定されたセグメンテーション境界１９０は、被験者の処置有効性を判定するために、以前の時点でイメージングされた同じ関心オブジェクトの推定されたセグメンテーション境界１９０と比較される。例えば、標的オブジェクトが病変である場合、被験者の病変の推定されたセグメンテーション境界１９０は、癌の種類（例えば、病変の位置）、転移進行（例えば、被験者について病変の数が増加した場合、および／または病変の位置の数が増加した場合）、および薬効（例えば、病変の数、サイズ、および／または体積が増加または減少するかどうか）に関する情報を提供することができる。

【0094】

明示的に示されていないが、コンピューティング環境１００は、開発者に関連付けられた開発者デバイスをさらに含むことができることが理解されよう。開発者デバイスからコンピューティング環境１００の構成要素への通信は、モデルに使用される入力画像の種類、使用されるモデルの数および種類、各モデルのハイパーパラメータ、例えば学習率および隠れ層の数、データ要求をフォーマットする方法、使用される訓練データ（例えば、および訓練データへのアクセス方法）および使用される検証技術、および／またはコントローラプロセスを構成する方法を示すことができる。
ＩＶ．Ｂ．モデル訓練のための例示的なデータ増強

【0095】

セグメント化の第２の部分は、重み付き損失関数（例えば、ダイス損失）で構成された第２の視覚モデル（例えば、深層学習ニューラルネットワーク）に関する。深層学習ニューラルネットワークは、被験者からの１つ以上の関心オブジェクトの画像について訓練される。画像は、１つ以上の医用イメージングモダリティから生成される。しかしながら、いくつかの医用イメージングモダリティから生成された画像のデータセットは、疎とすることができる。これらの画像の疎性に対処するために、訓練データの画像は、データセット内の画像の数および種類を人為的に増加させるように増強される。より具体的には、増強は、ヒストグラムマッチングを実行して、同じまたは異なる被験者（例えば、関心オブジェクトが見つからない可能性がある被験者の領域）の他の領域内の他のコントラストをシミュレートし、訓練データセットの分散を増加させることによって実行されることができる。

【0096】

一例として、訓練セットの各画像または訓練セットからの画像のサブセットは、１つ以上の参照画像とヒストグラムマッチングされて新たな画像のセットを生成し、オーバーフィッティングを低減するいわゆるデータ増強プロセスにおいて訓練データセットサイズを人工的に増加させることができる。図２に示すように、訓練セットの各画像（左画像）は、参照画像（中央画像）とヒストグラムマッチングされて、新たな画像セット（右画像）を生成することができる。したがって、画像の元の訓練セットまたはサブセットは、ヒストグラムマッチングによって２倍だけ数および多様性が本質的に増加する。ヒストグラムマッチングは、そのヒストグラムが参照ヒストグラムと一致するように元の画像を変換することである。ヒストグラムマッチングは、最初にヒストグラム等化（例えば、ヒストグラムを拡張してダイナミックレンジを埋め、同時にヒストグラムを均一に維持しようとする）を使用して元のヒストグラムと参照ヒストグラムの双方を等化し、次いで等化された画像および変換関数に基づいて元のヒストグラムから参照ヒストグラムにマッピングすることによって実行される。例えば、元の画像内の画素強度値２０が等化画像内の３５にマッピングされ、参照画像内の画素強度値５５が等化画像内の３５にマッピングされると仮定すると、元の画像内の画素強度値２０は、参照画像内の画素強度値５５にマッピングされるべきであると判定可能である。次いで、元の画像から参照画像へと等化されるようなマッピングを使用して、元の画像を新たな画像に変換することができる。いくつかの例では、回転および反転など（例えば、各画像を９０°回転させる、左から右に反転させる、上から下に反転させるなど）の標準的な技術を使用して、一方または双方のデータセット（すなわち、元の画像のセットおよび新たな画像のセット）がさらに増強されて、訓練に利用可能な画像の数および種類をさらに増やすことができる。

【0097】

ヒストグラムマッチングに基づくデータ増強を使用する利点は、以下のとおりである：（ｉ）この技術は、同じ種／機器／画像強度などからの別のデータセットを利用する；（ｉｉ）ヒストグラム一致画像に対応するマスク（ラベル）は、訓練セット内の元の画像と全く同じである；（ｉｉｉ）訓練セット内の画像の数に、基準として使用される画像の数が乗算される；および（ｉｖ）訓練セットの分散が増加し、そのため、訓練セットの画像の構造が保存され、一方、画素の強度は変化しており、これにより、セグメンテーションフレームワークは画素強度から独立し、関心オブジェクトの画像および構造に依存する。
ＩＶ．Ｃ．例示的な三次元深層ニューラルネットワーク

【0098】

図３に示す例示的な実施形態では、修正された３Ｄ Ｕ－Ｎｅｔ３００は、入力画像（例えば、第２の画像の切り取られた部分）から個別に特徴を抽出し、入力画像内の関心オブジェクトを検出し、関心オブジェクトの形状の周りに三次元セグメンテーションマスクを生成し、関心オブジェクトの形状の周りに三次元セグメンテーションマスクを用いて入力画像を出力する。３Ｄ Ｕ－Ｎｅｔ３００は、縮小経路３０５および拡張経路３１０を含み、これは、それにＵ字形アーキテクチャを与える。縮小経路３０５は、畳み込み（例えば、３×３×３の畳み込み（パッドなしの畳み込み））の繰り返し適用を含むＣＮＮネットワークであり、それぞれの畳み込みの後に修正線形ユニット（ＲｅＬＵ）およびダウンサンプリングのための最大プーリング演算（例えば、各方向にストライド２を有する２×２×２の最大プーリング）が続く。畳み込み演算のための入力は、三次元ボリューム（すなわち、サイズがｎ×ｎ×チャネルの入力画像であり、ｎは入力特徴の数である）、およびそれぞれサイズ（ｆ×ｆ×ｆチャネル、ここで、ｆは任意の数、例えば３または５である）の「ｋ」個のフィルタのセット（カーネルまたは特徴抽出器とも呼ばれる）である。畳み込み演算の出力は、サイズ（ｍ×ｍ×ｋ（式中、Ｍは出力特徴の数であり、ｋは畳み込みカーネルサイズである））の三次元ボリューム（出力画像や特徴マップとも呼ばれる）でもある。

【0099】

縮小経路３１５の各ブロック３１５は、１つ以上の畳み込み層（灰色の水平矢印によって示される）を含み、特徴チャネルの数は、畳み込みプロセスが入力画像の深度を増加させるため、例えば１→６４（例えば、チャネルの開始数に応じた第１のプロセスにおいて）から変化する。各ブロック３１５の間の下向きの灰色の矢印は、入力画像のサイズを半分にする最大プーリングプロセスである。各ダウンサンプリングステップまたはプーリング動作において、特徴チャネルの数は２倍にされることができる。縮小の間、画像データの空間情報は縮小され、特徴情報は増加される。したがって、プーリング前に、例えば５７２×５７２の画像に存在していた情報、プーリング後に（ほぼ）同じ情報が、例えば２８４×２８４の画像に存在する。ここで、畳み込み演算が後続のプロセスまたは層に再び適用されると、後続のプロセスまたは層のフィルタは、より大きなコンテキストを見ることができ、すなわち、入力画像がネットワーク内により深く進むにつれて、入力画像のサイズは減少するが、受容野は増加する（受容野（コンテキスト）は、任意の所与の時点でカーネルまたはフィルタがカバーする入力画像の領域である）。ブロック３１５が実行されると、ブロック３２０においてさらに２つの畳み込みが実行されるが、最大プーリングは行われない。ブロック３２０の後の画像は、例えば、２８×２８×１０２４にサイズ変更されている（このサイズは単なる例示であり、プロセス３２０の終わりのサイズは、入力画像の開始サイズに応じて異なることができる－サイズｎ×ｎ×チャネル）。

【0100】

拡張経路３１０は、縮小経路３０５からの特徴および空間情報を組み合わせるＣＮＮネットワークである（縮小経路３０５からの特徴マップのアップサンプリング）。本明細書で説明されるように、三次元セグメンテーションの出力は、単にクラスラベルまたは境界ボックスパラメータではない。代わりに、出力（三次元セグメンテーションマスク）は、全てのボクセルが分類された完全な画像（例えば、高解像度画像）である。プーリング層および高密度層を有する通常の畳み込みネットワークが使用された場合、ＣＮＮネットワークは、「どこで」情報を失い、画像セグメンテーションに受け入れられない「何の」情報のみを保持する。画像セグメンテーションの場合、「何の」および「どこで」情報の双方が使用される。したがって、画像は、低解像度画像を高解像度画像に変換して「どこで」情報を復元するためにアップサンプリングされる。上向きの白矢印によって表される転置畳み込みは、特徴マップのアップサンプリングおよび画像のサイズの拡張のために拡張経路３１０で使用されることができる例示的なアップサンプリング技術である。

【0101】

ブロック３２５における転置畳み込みの後、画像は、例えば、各次元において２×２×２のアップコンボリューション（アップサンプリング演算子）を介して２８×２８×１０２４→５６×５６×５１２から２つの刻み幅だけ拡大され、次いで、画像は、縮小経路からの対応する画像と連結され（縮小経路３０５からの水平グレーバー３３０を参照）、一緒になって例えばサイズ５６×５６×１０２４の画像を形成する。連結の理由は、より正確な予測を得るために、前の層からの情報を組み合わせるためである（すなわち、縮小経路３０５からの高解像度特徴は、拡大経路３１０からのアップサンプリングされた出力と組み合わされる）。このプロセスは、三次元セグメンテーションマスクとしてマルチチャネルセグメンテーションを生成するために、チャネルの数を半分にする一連のアップコンボリューション、縮小経路３０５からの対応して切り取られた特徴マップとの連結、それぞれが正規化線形ユニット（ＲｅＬＵ）が続く畳み込み（例えば、２つの３×３×３の畳み込み）の繰り返し適用、およびブロック３３５（例えば、１×１×１の畳み込み）の最終的な畳み込みとして続く。位置特定するために、Ｕ－Ｎｅｔ３００は、完全接続層なしで各畳み込みの有効部分を使用し、すなわち、セグメンテーションマップは、入力画像内で完全なコンテキストが利用可能なボクセルのみを含み、縮小ブロック中に学習されたコンテキスト特徴と拡張ブロックで学習された位置特定特徴とをリンクするスキップ接続を使用する。

【0102】

３Ｄ Ｕ－Ｎｅｔアーキテクチャを有する従来のニューラルネットワークでは、出力およびグラウンドトゥルースラベルは、通常、クロスエントロピー損失を伴うソフトマックス関数を使用して比較される。これらのネットワークは、従来のＣＮＮよりも改善されたセグメンテーション性能を示すが、医用イメージングデータセットにおいて小さな前景オブジェクト、小さなサンプルサイズ、および異方性解像度に直ちに変換されない。これらの問題および他の問題に対処するために、３Ｄ Ｕ－Ｎｅｔ３００は、従来の３Ｄ Ｕ－Ｎｅｔ（合計２，７８４カーネルおよび１９，０６９，９５５個の学習可能パラメータ－例えば、Ｏ．Ｃｉｃｅｋ、Ａ．Ａｂｄｕｌｋａｄｉｒ、Ｓ．Ｓ．Ｌｉｅｎｋａｍｐ、Ｔ．Ｂｒｏｘ、およびＯ．Ｒｏｎｎｅｂｅｒｇｅｒ、「３Ｄ Ｕ－Ｎｅｔ：ｌｅａｒｎｉｎｇ ｄｅｎｓｅ ｖｏｌｕｍｅｔｒｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ ｆｒｏｍ ｓｐａｒｓｅ ａｎｎｏｔａｔｉｏｎ」、ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｍｅｄｉｃａｌ ｉｍａｇｅ ｃｏｍｐｕｔｉｎｇ ａｎｄ ｃｏｍｐｕｔｅｒ－ａｓｓｉｓｔｅｄ ｉｎｔｅｒｖｅｎｔｉｏｎ、２０１６：Ｓｐｒｉｎｇｅｒ、４２４－４３２ページを参照）と比較して削減された数のパラメータおよび／またはカーネルを含むように構成される。具体的には、ネットワークの複雑さを低減し、過パラメータ化の問題を回避するために、重みの数、層の数、および／またはネットワークの全幅が低減される。いくつかの例では、各畳み込み層および逆畳み込み層ごとのカーネルの数は、従来の３Ｄ Ｕ－Ｎｅｔと比較して半分になる。これは、その後、３Ｄ Ｕ－Ｎｅｔ３００の各畳み込み層および逆畳み込み層の学習可能パラメータの数を削減し、したがって、３Ｄ Ｕ－Ｎｅｔ３００は、１９，０６９，９５５個の学習可能パラメータを有する従来の３Ｄ Ｕ－Ｎｅｔと比較して、９，５３４，９７８個の学習可能パラメータを有する。カーネルに関しては、カーネルの総数は、従来の３Ｄ Ｕ－Ｎｅｔの２，７８４から３Ｄ Ｕ－Ｎｅｔ３００の１，３９２カーネルに削減される。いくつかの例では、３Ｄ Ｕ－Ｎｅｔ３００の学習可能パラメータの総数は、５，０００，０００個から１２，０００，０００個の間の学習可能パラメータに削減される。いくつかの例では、３Ｄ Ｕ－Ｎｅｔ３００のカーネルの総数は、８００個から１，７００個のカーネルの間に削減される。パラメータおよび／またはカーネルの削減は、モデルがより小さいサンプルサイズ（すなわち、第２のＤＴＩパラメトリックマップの切り取られた部分）をより効率的に処理することを可能にするので有利である。

【0103】

さらに、３Ｄ Ｕ－Ｎｅｔ３００は、重み付き損失関数を使用した体積セグメンテーションのために構築される。具体的には、セグメンテーション性能を評価するために使用されたメトリックは、ダイス類似度係数（ＤＳＣ、式１）であった。したがって、ＤＳＣを最大化する目的で３Ｄ Ｕ－Ｎｅｔ３００を訓練するために、ＤＳＣを全ての画像について最小化した（式２）。また、立体画像における前景における背景および関心オブジェクトの不均衡な分布のために、重み付き損失関数が使用され、これは、本明細書ではダイス損失（式３）と呼ばれ、ここでは頻繁に見られる背景の重みが減少し、前景における関心オブジェクトの重みが増加して、損失に対する前景ボクセルおよび背景ボクセルのバランスのとれた影響に達する。

ここで、Ｎは画像の数であり、ｐ_ｉは予測マスクを表し、ｑ_ｉは標的オブジェクトに対応するグラウンドトゥルースマスクを表す。

【0104】

当業者にとって理解されるように、３Ｄ Ｕ－Ｎｅｔ３００は、本開示の態様にかかるオブジェクトセグメンテーションを実装するために、図１に関して説明したコンピューティング環境１００全体に組み込まれる必要はない。その代わりに、医用画像のオブジェクトセグメンテーションのためにモデルのタイプが学習されることができる限り、オブジェクトセグメンテーション（例えば、ＣＮＮ、Ｒｅｓｎｅｔ、典型的なＵ－Ｎｅｔ、Ｖ－Ｎｅｔ、ＳＳＤネットワーク、またはリカレントニューラルネットワークＲＮＮなど）のために様々なタイプのモデルが使用されることができる。
Ｖ．体積セグメンテーション技術

【0105】

図４は、関心オブジェクトのインスタンスをセグメント化するために記載された多段セグメンテーションネットワークを使用するための例示的なプロセス４００のフローチャートを示している。プロセス４００は、図１～図３に関してセクションＩＶで説明したように、１つ以上のコンピューティングシステム、モデル、およびネットワークを使用して実行されることができる。

【0106】

プロセス４００はブロック４０５で開始し、そこで被験者の医用画像が取得される。医用画像は、被験者の頭部領域、胸部領域、腹部領域、骨盤領域、および／または手足に対応する領域を描写することができる。医用画像は、１つ以上の医用イメージングモダリティを使用して生成される。例えば、ユーザは、図１に関してセクションＩＶで説明したように、１つ以上の医用イメージングモダリティを使用して医用画像を生成する１つ以上のイメージングシステムを操作することができる。

【0107】

ブロック４１０において、被験者の医用画像が取得される。例えば、ステップ４０５において取得された医用画像は、データ記憶デバイスまたは１つ以上の医用イメージングシステムから取得されることができる。医用画像は、第１の特徴を有する第１の画像と、第２の特徴を有する第２の画像とを含む。いくつかの実施形態では、画像は、第１の測定マップ（第１の特性を有する第１の画像）および第２の測定マップ（第２の特性を有する第２の画像）を含むＤＴＩパラメトリックマップである。第１の測定マップは、第２の測定マップとは異なる。ＤＴＩパラメトリックマップは、ＭＲ画像の取得中に補足ＭＲ勾配を適用することによって生成される。例えば、ユーザは、１つ以上の拡散勾配のパラメータをイメージングシステムに入力することができ、ＤＴＩパラメトリックマップは、１つ以上の拡散勾配のパラメータに基づいてＭＲ画像の取得中に補足ＭＲ勾配を適用することによって生成される（勾配の適用中のプロトンの動きは、画像内の信号に影響を及ぼす）。いくつかの例では、ＭＲ画像の取得中に２つ以上の方向に拡散勾配が適用される。いくつかの例では、第１の測定マップは、異方性部分マップであり、第２の測定マップは、平均拡散性マップである。

【0108】

ブロック４１５において、第１の画像内のオブジェクトは、位置特定モデルを使用して位置特定および分類される。分類することは、第１の画像の画素またはボクセルのセットを複数のオブジェクトクラスのうちの１つ以上に割り当てる。オブジェクトクラスは、（例えば、関心オブジェクトの種類に応じて）関心オブジェクトに対応するクラス、異なる生物学的構造に対応する１つ以上のクラス、異なる器官に対応する１つ以上のクラス、および／または異なる組織に対応する１つ以上のクラスを含むことができる。例えば、関心オブジェクトが病変である場合、病変、血管、および／または器官を識別するためにオブジェクトクラスが定義されることができる。位置特定および分類することは、画素またはボクセルのセットを複数のオブジェクトクラスのうちの１つ以上のオブジェクトクラスに割り当てる１つ以上のクラスタリングアルゴリズムを使用して、位置特定モデルによって実行されることができる。いくつかの例では、１つ以上のクラスタリングアルゴリズムは、複数のオブジェクトクラスに関連付けられたクラスタに観測値を割り当てるｋ平均アルゴリズムを含む。いくつかの例では、１つ以上のクラスタリングアルゴリズムは、１つ以上の確率分布に基づいてクラスタメンバーシップの確率を計算する期待値最大化アルゴリズムをさらに含む。ｋ平均アルゴリズムは、複数のオブジェクトクラスの各オブジェクトクラスの初期パラメータを推定することによって期待値最大化アルゴリズムを初期化するために使用されることができる。

【0109】

ブロック４２０において、位置特定モデルを使用して、第１の画像内の関心オブジェクトに対して境界ボックスまたはセグメンテーションマスクが判定される。境界ボックスまたはセグメンテーションマスクは、複数のオブジェクトクラスのオブジェクトクラスに割り当てられた画素またはボクセルのセットに基づいて、関心オブジェクトに対して判定される。セグメンテーションマスクを判定するために、関心オブジェクトのシード位置は、関心オブジェクトに対応するオブジェクトクラスに割り当てられた画素のセットを使用して識別される。識別されたシード位置は、シード位置を成長させ、セグメンテーションマスクを判定するために、ｚ軸に向かって投影される。ｚ軸は深さを表し、シード位置は、第３の次元または最終次元のオブジェクトマスクの全体積を満たすように成長される。いくつかの例では、セグメンテーションマスクに対して形態学的閉鎖および充填がさらに実行される。

【0110】

ブロック４２５において、境界ボックスまたはセグメンテーションマスクが第２の画像上に転写されて、関心オブジェクトを含む第２画像の一部を画定する。オブジェクトマスクを転送することは、境界ボックスまたはセグメンテーションマスクを画像の対応する領域（関心オブジェクトを含む第２の画像の一部）上にスライス方向に投影すること、および／または境界ボックスまたはセグメンテーションマスクを第２の画像の対応する領域（関心オブジェクトを含む第２の画像の一部）上にオーバーレイすることを含む。いくつかの例では、セグメンテーションマスクは、二次元空間内のセグメンテーションマスクの境界を使用して、検出された関心オブジェクトに対応する関心領域を囲む矩形境界ボックスを画定することができるように、第２の画像の二次元スライスに投影される。いくつかの例では、境界ボックスは、関心領域の全体が確実に囲まれるように、セグメンテーションマスクの周囲の各エッジへの追加のパディング（例えば、５画素、１０画素、１５画素などのパディング）を含む。いくつかの例では、第２の画像は、第２の画像の一部を生成するために、境界ボックスまたはセグメンテーションマスクにオプションのマージンを加えたものに基づいて切り取られる。切り取られた各部分は、均一なサイズを維持するためにさらにサイズ変更されてもよい（例えば、追加のパディングを用いて）。

【0111】

いくつかの実施形態では、第２の画像の一部は、前処理のために深層超解像ニューラルネットワークに送信される。深層超解像ニューラルネットワークは、（例えば）畳み込みニューラルネットワーク、残差ニューラルネットワーク、アテンションベースのニューラルネットワーク、および／または再帰的畳み込みニューラルネットワークとすることができる。深層超解像ニューラルネットワークは、第２の画像の一部の画像空間解像度（例えば、画像詳細の拡大および／または精緻化）を改善するために、第２の画像の送信された部分を処理する。

【0112】

ブロック４３０において、第２の画像の部分は、重み付き損失関数（例えば、修正された３Ｄ Ｕ－Ｎｅｔモデル）を使用して体積セグメンテーションのために構築された三次元ニューラルネットワークモデルに入力される。いくつかの例では、重み付き損失関数は、重み付きダイス損失関数である。三次元ニューラルネットワークモデルは、訓練データのセットを使用して訓練された複数のパラメータを含む。複数のモデルパラメータの数は、標準的な三次元Ｕ－Ｎｅｔアーキテクチャと比較して削減されることができる。訓練データのセットは、関心オブジェクトの周りのセグメンテーション境界に関連付けられた注釈を有する複数の画像と、関心オブジェクトの周りのセグメンテーション境界に関連付けられた注釈を有する複数の追加画像とを含むことができる。いくつかの例では、複数の追加画像は、複数の画像からの画像ヒストグラムを複数の基準マップ（例えば、被験者の他の領域から得られるマップ）からの画像ヒストグラムにマッチングさせることによって人工的に生成される。複数のモデルパラメータは、重み付き損失関数を最小化することに基づいて訓練データのセットを使用して識別される。三次元ニューラルネットワークモデルは、複数のカーネルをさらに備え、カーネルの数は、標準的な三次元Ｕ－Ｎｅｔアーキテクチャと比較して削減されることができる。

【0113】

ブロック４３５において、三次元ニューラルネットワークモデルは、第２の画像の一部をセグメント化する。セグメント化することは、識別された特徴を使用して、関心オブジェクトの推定セグメンテーション境界を生成することを含む。例えば、セグメント化することは、関心オブジェクトに対応するエッジおよび／または輪郭のセットを識別するために、切り取られた各部分の画素強度の変動などの特徴を評価することと、識別されたエッジおよび／または輪郭のセットを使用して関心オブジェクトの推定セグメンテーション境界を生成することとを含むことができる。推定されたセグメンテーション境界は、関心オブジェクトの三次元周囲を表すことができる。いくつかの例では、三次元ニューラルネットワークモデルはまた、関心オブジェクトの分類を判定することもできる。例えば、病変に対応するオブジェクトは、肺病変、肝臓病変、および／または膵臓病変など、被験者内のその種類または位置に基づいて分類されることができる。別の例として、器官および／または組織に対応するオブジェクトは、健康、炎症、線維性、壊死、および／またはギプス充填として分類されることができる。

【0114】

ブロック４４０において、関心オブジェクトの周りの推定されたセグメンテーション境界を有する第２の画像の一部が出力される。いくつかの例では、第２の画像の一部が提供される。例えば、第２の画像の一部は、記憶デバイスに記憶されてもよく、および／またはユーザデバイスに表示されてもよい。

【0115】

任意のブロック４４５において、関心オブジェクトの周りの推定されたセグメンテーション境界に基づいて動作が行われる。いくつかの例では、動作は、関心オブジェクトの周りの推定されたセグメンテーション境界に基づいて、関心オブジェクトのサイズ、表面積、および／または体積を判定することを含む。いくつかの例では、（ｉ）関心オブジェクトの周りの推定されたセグメンテーション境界を有する第２の画像の一部、および／または（ｉｉ）関心オブジェクトのサイズ、表面積、および／または体積が提供される。例えば、（ｉ）関心オブジェクトの周りの推定されたセグメンテーション境界を有する第２の画像の一部、および／または（ｉｉ）関心オブジェクトのサイズ、表面積、および／または体積は、記憶デバイスに記憶されてもよく、および／またはユーザデバイスに表示されてもよい。ユーザは、（ｉ）関心オブジェクトの周りの推定されたセグメンテーション境界を有する第２の画像の一部、および／または（ｉｉ）関心オブジェクトのサイズ、表面積、および／または体積を受信または取得することができる。他の例では、（ｉ）関心オブジェクトの周りの推定されたセグメンテーション境界を有する第２の画像の一部、および／または（ｉｉ）関心オブジェクトのサイズ、表面積、および／または体積は、画像強度などの画像メトリックを定量化するために使用される。例えば、ＰＥＴでは標準化された取り込み値（ＳＵＶ）があり、またはＭＲＩでは、画像強度などの特定の画像メトリックと相関する拡散性、Ｔ２、Ｔ１などがあり、したがって、画像メトリックの定量化は、関心オブジェクトに固有のＳＵＶなどの値／メトリックを判定するために使用されることができる。

【0116】

いくつかの例では、動作は、以下を使用して被験者の診断を判定することを含む：（ｉ）関心オブジェクトの周りの推定されたセグメンテーション境界を有する第２の画像の一部、および／または（ｉｉ）関心オブジェクトのサイズ、表面積、および／または体積。いくつかの例では、動作は、（ｉ）関心オブジェクトの周りの推定されたセグメンテーション境界を有する第２の画像の一部、（ｉｉ）関心オブジェクトのサイズ、表面積、および／もしくは体積、および／または（ｉｉｉ）被験者の診断に基づいて、（例えば、被験者に）化合物による処置をユーザによって投与することを含む。他の例では、動作は、関心オブジェクトのサイズ、表面積、および／もしくは体積に基づいて薬物の投与量が計算されることができるように、（ｉ）関心オブジェクトの周りの推定されたセグメンテーション境界を有する第２の画像の一部、（ｉｉ）関心オブジェクトのサイズ、表面積、および／もしくは体積、および／または（ｉｉｉ）被験者の診断に基づいて処置計画を判定することを含む。いくつかの例では、動作は、第１の時点の関心オブジェクトに対応するサイズ、表面積、および／または体積と第２の時点の関心オブジェクトに対応するサイズ、表面積、および／または体積との比較に基づいて、処置が有効であるかどうか、または薬物の投与量を調整する必要があるかどうかを判定することを含む。
ＶＩ．実施例

【0117】

様々な実施形態において実装されるシステムおよび方法は、以下の実施例を参照することによってよりよく理解されることができる。
ＶＩ．Ａ．実施例１．－腎臓のセグメンテーション

【0118】

期待値最大化によって位置特定された３Ｄ Ｕ－Ｎｅｔを使用した腎臓のセグメンテーション。
ＶＩ．Ａ．ｉ．背景

【0119】

腎機能および活性は、多発性嚢胞腎、ループス腎炎、腎実質疾患、および腎移植拒絶などの様々な疾患における腎容積に非常に依存する。イメージングによる腎臓の自動評価を使用して、被験者の診断、予後、および／または処置計画を判定することができる。インビボイメージングモダリティは、固有の強度および限界を提供する。特に、ＭＲＩは、電離放射線を有さず、操作者に依存せず、腎臓のセグメンテーションおよび体積関連情報を可能にする良好な組織コントラストを有する。従来の方法は、手動の追跡、立体学、または一般的な画像処理など、腎臓をより局所的に評価するために使用されてきた。これらの方法は、労働集約的であるかまたは矛盾する可能性がある。これらの問題に対処するために、統合された深層学習モデルが利用されて腎臓をセグメント化した。

【0120】

深層学習セグメンテーションネットワークは、大きな生物医学画像データセットのセマンティックセグメンテーションに使用されてきた。これらのネットワークは、最先端の性能を提供するが、それらの視野および深度を制限する高い計算コストおよびメモリ消費を被る。したがって、これらのネットワークは、ＭＲＩ検査で通常見られる限られた画像内の小さなオブジェクトをセグメント化するのに特に問題となり得る。ＭＲＩは、エイリアシングアーチファクトを防止するために大きな視野または背景を含む傾向がある。背景が重要な部分を表すとき、ネットワークは、関心のある前景オブジェクトをセグメント化するように最適に訓練されない場合がある。したがって、大規模な３Ｄセグメンテーションネットワークのパラメータを低減し、過剰適合を回避し、ネットワーク性能を改善するための代替戦略が必要である。

【0121】

第一に、背景効果の問題に対処するために、導出されたＭＲＩコントラスト機構（ＤＴＩの使用）が学習されたセグメンテーションの前に位置特定ステップに組み込まれた。第２に、パラメータの数を減らすために３Ｄ Ｕ－Ｎｅｔが修正され、セグメンテーションのためのダイス損失関数が組み込まれた。第３に、訓練データセットの数を増やすために、増強およびＭＲＩヒストグラムマッチングが組み込まれた。さらに、これらの技術は、いくつかの例では、データセットの超解像画像に適用されて、拡張画像がセグメンテーション性能を改善することができるかどうかを判定した。これらの技術は、ループス腎炎の動物モデルを使用して前臨床ＭＲＩで実施された。
ＶＩ．Ａ．ｉｉ．動物モデルおよびデータ取得

【0122】

１５匹のフレンドウイルスＢ雌マウスをこの試験に使用し、８匹をループス腎炎（ＬＮ）疾患群に使用し、７匹を対照群に使用した。動物を、１３週齢で開始する４つの時点について２週間ごとにイメージングした。各時点で、複数のＭＲＩデータセットを各動物について取得した。この研究のために合計１９６枚の３Ｄ ＭＲ画像を取得した。全ての画像は、単一のユーザによって手動でセグメント化された。Ａｍｉｒａ（オレゴン州、ヒルズバロ、Ｔｈｅｒｍｏ Ｆｉｓｈｅｒ Ｓｃｉｅｎｔｉｆｉｃ）を使用して、画像ボリューム全体についてスライスごとに腎臓の輪郭を示した。ＭＲイメージング中、動物をイソフルラン下で麻酔し、自由に呼吸させ、３７℃で維持した。ＭＲＩを、ボリューム送信および極低温表面受信コイルを備えたＢｒｕｋｅｒ ７Ｔ（マサチューセッツ州、ビレリカ）で実施した。脳および脊椎の確実な位置決めを提供するために、カスタムインビボホルダを３Ｄ印刷（Ｓｔｒａｔａｓｙｓ Ｄｉｍｅｎｓｉｏｎ）で構築した。ＭＲＩ拡散テンソルイメージングを、以下のパラメータを使用して個々の局所シムを用いて実施した（単一ショットＥＰＩ）。ＴＲ＝４ｓ、ＴＥ＝４２ｍｓ、ＢＷ＝２５０ｋＨｚ、拡散方向＝１２。ＦＯＶ＝２２×２２ｍｍ^２、符号化行列＝１１０×１１０、スライス＝１５、画像解像度＝２００×２００μｍ^２、スライス厚＝１ｍｍ、取得時間＝１３分。以下を含む拡散テンソルパラメトリックマップを計算した：ＦＡ、ＭＤ、ＡＤ、およびＲＤ。ＦＡおよびＭＤ画像を統合セマンティックセグメンテーションアルゴリズムに使用した。
ＶＩ．Ａ．ｉｉｉ．段階１：ＥＭによる位置特定

【0123】

ＦＡ画像を位置特定ステップに使用した。ＦＡ画像を、Ｋ平均（１２クラス）でヒューリスティックに初期化したＥＭを使用してセグメント化した。組織クラスの１つを使用して一般的な腎臓近傍を分離し、検出されたオブジェクトとして使用した。これらのパラメータをアルゴリズムに使用した：収束の反復回数＝７およびマルコフランダム場平滑化係数＝０．０５。
ＶＩ．Ａ．ｉｖ．データ増強

【0124】

ＭＤ画像をマウス脳データセットとヒストグラムマッチングして、新たなデータセットを生成した（図２）。双方のデータセットを９０°回転させ、左右に反転させ、上下に反転させた。ネットワークが完全に見えないデータで検証されることを確実にするために、データ増強は、訓練セットに対してのみ行われた。取得されたデータセットの総数は、ｎ＝１９６であった。増強により、訓練データセットは、ｎ＝１８０からｎ＝１８００に増加し、試験データセットは、ｎ＝１６になった。訓練および試験の分割は、動物ごとに行われ、その都度、１匹の動物を試験のために残し、残りを訓練のために使用した。
ＶＩ．Ａ．ｖ．段階２：深層セマンティックセグメンテーション

【0125】

セグメンテーション性能を評価するために使用されたメトリックは、ダイス類似度係数（ＤＳＣ、式１）であった。したがって、ＤＳＣを最大化する目的で３Ｄ Ｕ－Ｎｅｔを訓練するために、ＤＳＣを全ての画像について最小化した（式２）。また、立体画像における背景および腎臓の不均衡な分布のため、加重損失関数を使用した（ダイス損失、式３）。背景効果を軽減するために、ＥＭセグメンテーションマスクをスライス方向に投影した。各投影されたＥＭセグメンテーションマスクの境界を使用して、オブジェクト検出用の長方形のボックスを画定した。画定されたボックスを、腎臓の被覆を確実にするために、全ての面で５画素拡大した。３Ｄ Ｕ－Ｎｅｔは、検出された領域内のＭＤ画像で訓練および試験された。同じ検出領域を超解像画像に使用した。切り取られたオブジェクトは、２Ｄ投影マスクに基づいて最初の二次元で任意のサイズを有していたため、全ての切り取られた画像は、元の解像度画像については６４×６４×１６にサイズ変更され、超解像画像については６４×６４×６４にサイズ変更された。
ＶＩ．Ａ．ｖｉ．超解像

【0126】

ＭＤ画像は、空間分解能を改善するために面貫通方向に超解像された。元の１１０×１１０×１５の行列を５×分解し、１１０×１１０×７５の行列を得た。画像を、深層超解像ニューラルネットワークを使用して拡張した。
ＶＩ．Ａ．ｖｉｉ．結果

【0127】

図５Ａは、拡散テンソルの６つの要素を示している。変化する拡散コントラストは、内側および外側髄領域で最も顕著である。変化するコントラストは、対角要素（Ｄ_ｘｘ，Ｄ_ｙｙ，Ｄ_ｚｚ）および非対角要素（Ｄ_ｘｙ，Ｄ_ｘｚ，Ｄ_ｙｚ）において顕著である。その結果、コントラストは皮質で変化せず、したがって非常に低いＦＡ（図５Ｂ）をもたらす。この低いＦＡは、腎臓を背景からセグメント化することを可能にした。ＭＲ画像は、図５Ｃに示すように、面貫通方向に超解像した。これらの改善は、サジタル方向およびコロナル方向において最も明白である。面内解像度は、軸方向スライス（図５Ｃ）に示すように、最小限の影響しか受けない。図６Ａは、前処理なしでＭＤ画像上で３Ｄ Ｕ－Ｎｅｔを訓練した結果を示している。ＤＳＣプロットは、平均０．４９の均一な分布を示している。図６Ｂでは、腹部領域は、連結成分分析で前景として検出され、ＭＤ画像を使用して切り取られる。ＤＳＣプロットは、平均０．５２の正規分布を示している。図６Ｃは、ＥＭセグメンテーションのみを使用した結果を示している。０．６５の平均ＤＳＣが達成された。図６Ｄは、統合戦略の結果を表す：最初にＦＡ画像上のＥＭセグメンテーションを使用して腎臓を検出し、次に３Ｄ Ｕ－ＮｅｔをＭＤ画像から検出された腎臓領域で訓練した。このアプローチの平均ＤＳＣは、０．８８であった。超解像ＭＤ画像（図６Ｅ）を用いたセマンティックセグメンテーションのＤＳＣプロットは、元の解像度（図３Ｄ）でのセマンティックセグメンテーションにかなり類似している。ここで、平均ＤＳＣは、０．８６であった。結果を、体積差（ＶＤ）および陽性予測値（ＰＰＶ）などの追加の比較メトリックとともに表１に要約する。
表１．ＤＳＣ、ＶＤおよびＰＰＶを用いたセグメンテーション結果の平均および標準偏差。各方法の最良値を太字で示している。

ＶＩ．Ａ．ｖｉｉｉ．考察および結論

【0128】

この実施例は、腎臓セグメンテーションのためのＥＭベースの位置特定および３Ｄ Ｕ－Ｎｅｔの統合を実証する。位置特定ステップは、深層学習方法の結果を著しく改善した。また、ＥＭセグメンテーションは深層学習の性能を向上させるが、ＥＭセグメンテーション法のみでは性能が低いことが実証された。ＥＭセグメンテーションは、中央切片において腎臓を分離したが、腎臓体積の関節表現を保存しなかった。したがって、中央スライスは、検出された長方形のオブジェクトとして、体積全体の全てのスライスに使用された。重み付きダイス損失は、誤差の最小化ならびにオブジェクトおよび背景のバランスにとって重要であり得る。しかしながら、位置特定ステップなしでは、加重ダイス損失を含めることによって性能が有意に増加しないことが見出された。その結果、背景は、３Ｄ Ｕ－Ｎｅｔ単独では区別できない腎臓に似て見えるオブジェクトおよび器官を含んでいた。

【0129】

この例で提示された手法は、背景効果を低減し、データの複雑さを低減した。したがって、畳み込み層あたりのカーネルの数を少なくとも半分だけ減らすことによって、ネットワークの複雑さが低減されることができる。本研究では、ｎ＝１９６の限られたＭＲＩデータセットで０．８８のＤＳＣが達成された。
ＶＩＩ．さらなる考察

【0130】

本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。

【0131】

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。

【0132】

その後の説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態のその後の説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることが理解される。

【0133】

実施形態の完全な理解を提供するために、以下の説明において具体的な詳細が与えられる。しかしながら、これらの具体的な詳細なしで実施形態が実施されることができることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【手続補正書】

【提出日】2024-11-07

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

医用画像内のオブジェクトをセグメント化するための方法であって、
被験者の医用画像を取得することであって、前記医用画像が、第１の特性を有する第１の画像および第２の特性を有する第２の画像を含み、前記医用画像が、１つ以上の医用イメージングモダリティを使用して生成される、取得することと、
位置特定モデルを使用して、前記第１の画像内のオブジェクトを位置特定し、複数のオブジェクトクラスに分類することであって、前記分類することが、前記第１の画像の画素またはボクセルのセットを前記複数のオブジェクトクラスのうちの１つ以上に割り当てる、位置特定および分類することと、
前記位置特定モデルを使用して、前記複数のオブジェクトクラスのうちのオブジェクトクラスに割り当てられた画素またはボクセルのセットに基づいて、前記第１の画像内の関心オブジェクトのための境界ボックスまたはセグメンテーションマスクを判定することと、
前記境界ボックスまたは前記セグメンテーションマスクを前記第２の画像上に転送して、前記関心オブジェクトを含む前記第２の画像の一部を画定することと、
前記第２の画像の前記一部を、重み付き損失関数を使用して体積セグメンテーションのために構築された三次元ニューラルネットワークモデルに入力することと、
前記三次元ニューラルネットワークモデルを使用して、前記関心オブジェクトの周りの推定されたセグメンテーション境界を生成することと、
前記三次元ニューラルネットワークを使用して、前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第２の画像の前記一部を出力することと、を含み、
前記１つ以上の医用イメージングモダリティが拡散テンソルイメージングであり、前記第１の画像が部分異方性（ＦＡ）マップであり、前記第２の画像が平均拡散性（ＭＤ）マップであり、前記第１の特性が異方性比コントラストであり、前記第２の特性が平均拡散性コントラストである、方法。

【請求項2】

前記関心オブジェクトが前記被験者の腎臓である、請求項１に記載の方法。

【請求項3】

前記第１の画像内の前記オブジェクトを位置特定および分類することが、前記第１の画像の複数の画素またはボクセルに１つ以上のクラスタリングアルゴリズムを適用することを含む、請求項１に記載の方法。

【請求項4】

前記１つ以上のクラスタリングアルゴリズムが、前記複数のオブジェクトクラスに関連するクラスタに観測値を割り当てるｋ平均アルゴリズムを含む、請求項３に記載の方法。

【請求項5】

前記１つ以上のクラスタリングアルゴリズムが、１つ以上の確率分布に基づいてクラスタメンバーシップの確率を計算する期待値最大化アルゴリズムをさらに含み、前記ｋ平均アルゴリズムが、前記複数のオブジェクトクラスの各オブジェクトクラスの初期パラメータを推定することによって前記期待値最大化アルゴリズムを初期化する、請求項４に記載の方法。

【請求項6】

前記セグメンテーションマスクが判定され、前記セグメンテーションマスクを判定することが、
前記オブジェクトクラスに割り当てられた前記画素またはボクセルのセットを使用して、前記関心オブジェクトのシード位置を識別することと、
前記セグメンテーションマスクの深さを表すｚ軸に向かって前記シード位置を投影することによって前記シード位置を成長させることと、
投影された前記シード位置に基づいて前記セグメンテーションマスクを判定することと、を含む、請求項１に記載の方法。

【請求項7】

前記セグメンテーションマスクを判定することが、前記セグメンテーションマスクに対して形態学的閉鎖および充填を実行することをさらに含む、請求項６に記載の方法。

【請求項8】

前記第２の画像の前記一部を前記三次元ニューラルネットワークモデルに入力する前に、前記第２の画像の前記一部を生成するためにオブジェクトマスクにマージンを加えたものに基づいて前記第２の画像を切り取ることをさらに含む、請求項６に記載の方法。

【請求項9】

前記第２の画像の前記一部を前記三次元ニューラルネットワークモデルに入力する前に、前記第２の画像の前記一部の解像度を高めるために前記第２の画像を深層超解像ニューラルネットワークに入力することをさらに含む、請求項１に記載の方法。

【請求項10】

前記三次元ニューラルネットワークモデルが、訓練データのセットを使用して識別された複数のモデルパラメータを含み、前記訓練データのセットが、
関心オブジェクトの周りのセグメンテーション境界に関連付けられた注釈を有する複数の医用画像と、
関心オブジェクトの周りのセグメンテーション境界に関連付けられた注釈を有する複数の追加の医用画像であって、前記複数の追加の医用画像が、前記複数の医用画像からの画像ヒストグラムを複数の参照マップからの画像ヒストグラムにマッチングさせることによって人工的に生成される、複数の追加の医用画像と、を含み、
前記複数のモデルパラメータが、前記重み付き損失関数を最小化することに基づいて前記訓練データのセットを使用して識別される、請求項１に記載の方法。

【請求項11】

前記重み付き損失関数が重み付きダイス損失関数である、請求項１０に記載の方法。

【請求項12】

前記三次元ニューラルネットワークモデルが、修正された３Ｄ Ｕ－Ｎｅｔモデルである、請求項１に記載の方法。

【請求項13】

前記修正された３Ｄ Ｕ－Ｎｅｔモデルが、総数で５，０００，０００個から１２，０００，０００個の学習可能パラメータを含む、請求項１２に記載の方法。

【請求項14】

前記修正された３Ｄ Ｕ－Ｎｅｔモデルが、総数で８００個から１，７００個のカーネルを含む、請求項１２に記載の方法。

【請求項15】

前記関心オブジェクトの周囲の推定された境界に基づいて、前記関心オブジェクトのサイズ、表面積、および／または体積を判定することと、
（ｉ）前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第２の画像の前記一部、および／または（ｉｉ）前記関心オブジェクトのサイズ、表面積、および／または体積を提供することと、
をさらに含む、請求項１に記載の方法。

【請求項16】

医用画像内のオブジェクトをセグメント化するためのシステムであって、
１つ以上のデータプロセッサと、
前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに、請求項１～１５のいずれか一項に記載の方法を実行させる命令を含む非一時的コンピュータ可読記憶媒体と、を備える、システム。

【請求項17】

１つ以上のデータプロセッサに、請求項１～１５のいずれか一項に記載の方法を実行させるように構成された命令を含む非一時的機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品。

【外国語明細書】