知財求人 - 知財ポータルサイト「IP Force」
▶ ザ ユナイテッド ステイツ オブ アメリカ， アズ リプレゼンテッド バイ ザ セクレタリー， デパートメント オブ ヘルス アンド ヒューマン サービシーズの特許一覧
特許7293118インスタンス重み付けを伴うランダムフォレストを使用するマルチパラメトリックＭＲＩにおける前立腺がんの検出、およびホリスティックネスト型ネットワークを用いたディープラーニングによるＭＲ前立腺セグメント化
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-09
(45)【発行日】2023-06-19
(54)【発明の名称】インスタンス重み付けを伴うランダムフォレストを使用するマルチパラメトリックＭＲＩにおける前立腺がんの検出、およびホリスティックネスト型ネットワークを用いたディープラーニングによるＭＲ前立腺セグメント化
(51)【国際特許分類】
A61B 5/055 20060101AFI20230612BHJP
G06T 1/00 20060101ALI20230612BHJP
G06T 7/00 20170101ALI20230612BHJP
G06T 7/10 20170101ALI20230612BHJP
【ＦＩ】
A61B5/055 380
A61B5/055 382
G06T1/00 290C
G06T7/00 612
G06T7/00 350B
G06T7/10
A61B5/055 ZDM
【請求項の数】
9
(21)【出願番号】P 2019545291
(86)(22)【出願日】2018-02-22
(65)【公表番号】
(43)【公表日】2020-03-19
(86)【国際出願番号】 US2018019249
(87)【国際公開番号】W WO2018156778
(87)【国際公開日】2018-08-30
【審査請求日】2021-02-18
(31)【優先権主張番号】62/462,256
(32)【優先日】2017-02-22
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】508285606
【氏名又は名称】ザ ユナイテッド ステイツ オブ アメリカ， アズ リプレゼンテッド バイ ザ セクレタリー， デパートメント オブ ヘルス アンド ヒューマン サービシーズ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】レイ， ネイサン エス．
(72)【発明者】
【氏名】ツェハイ， ヨハネス
(72)【発明者】
【氏名】サマーズ， ロナルド エム．
(72)【発明者】
【氏名】タークベイ， バリス
(72)【発明者】
【氏名】グリア， マシュー
(72)【発明者】
【氏名】チェン， ルイダ
(72)【発明者】
【氏名】ロス， ホルガー
(72)【発明者】
【氏名】マコーリフ， マシュー ジェイ．
(72)【発明者】
【氏名】ガウアー， ソニア
(72)【発明者】
【氏名】マータン， フランチェスカ
(72)【発明者】
【氏名】チョイケ， ピーター
【審査官】佐々木 創太郎
(56)【参考文献】
【文献】特表２０１６－５２３１６５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０２３８１５８（ＵＳ，Ａ１）
【文献】特開２０１６－０７３６７９（ＪＰ，Ａ）
【文献】LITJENS Geert et al.，Computer-Aided Detection of Prostate Cancer in MRI，IEEE TRANSACTIONS ON MEDICAL IMAGING，2014年，Vol.33, No.5，p.1083 - 1092
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／０５５
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／１０
(57)【特許請求の範囲】
【請求項1】
前立腺がんの確率画像を、前立腺がんの指標とする方法であって、前立腺のマルチパラメトリック磁気共鳴イメージング（ｍｐＭＲＩ）データを受信することと、
前記ｍｐＭＲＩデータに適用されるピクセル様のランダムフォレスト機械学習を使用して、前記ｍｐＭＲＩデータから、前記前立腺がんの確率画像を生成することと
を含み、前記前立腺がんの確率画像が、前記前立腺がんの可能性のある生検部位についての確率スコアを示し、各前記前立腺がんの可能性のある生検部位についての前記確率スコアが、前記前立腺がんの可能性のある生検部位ががんについて陽性である予測確率を示し、前記ｍｐＭＲＩデータから前記前立腺がんの確率画像を生成することが、辺縁域および移行域に特化した特徴として、前記前立腺がんの各可能性のある生検部位から移行域までの符号付きユークリッド距離を使用することを含む、方法。
【請求項2】
ｍｐＭＲＩデータが、Ｔ２Ｗ画像、ＡＤＣ画像、およびＢ２０００ ＭＲＩ画像を含む、請求項１に記載の方法。
【請求項3】
前記ｍｐＭＲＩデータから前記前立腺がんの確率画像を生成することが、インスタンスレベルの重み付けを使用することを含む、請求項１または請求項２に記載の方法。
【請求項4】
前記ピクセル様のランダムフォレストが、手描きの輪郭、標的化された生検、および正常な事例を含む、複数の種類のアノテーションに対して訓練される、請求項１～請求項３のいずれか一項に記載の方法。
【請求項5】
ピクセル様のランダムフォレスト機械学習を使用して、前記ｍｐＭＲＩデータから、前立腺がんの確率画像を生成することが、ハラリックのテクスチャー特徴を使用することを含む、請求項１～請求項４のいずれか一項に記載の方法。
【請求項6】
ピクセル様のランダムフォレスト機械学習を使用して、前記ｍｐＭＲＩデータから、前立腺がんの確率画像を生成することが、前記ｍｐＭＲＩデータに適用される強度特徴を使用することを含む、請求項１～請求項５のいずれか一項に記載の方法。
【請求項7】
ＡｕｔｏＣｏｎｔｅｘｔを使用して前記ｍｐＭＲＩデータからの前記前立腺がんの確率画像を生成することをさらに含む、請求項１～請求項６のいずれか一項に記載の方法。
【請求項8】
請求項１～請求項７のいずれか一項に記載の方法を行うように構成される、システム。
【請求項9】
コンピューティングシステムによって実行されると、前記コンピューティングシステムに、請求項１～請求項７のいずれか一項に記載の方法を行わせることができる、コンピューター実行可能命令を含む、コンピューター可読記憶装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、２０１７年２月２２日に出願された米国仮特許出願第６２／４６２，２５６号の利益を主張し、この出願全体が、参照によって本明細書に援用される。
本願は、２０１７年２月２２日に出願された米国仮特許出願第６２／４６２，２５６号の利益を主張し、この出願全体が、参照によって本明細書に援用される。
【0002】
政府援助の陳述
本発明は、課題番号１Ｚ０１ ＣＬ０４０００４のもと、国立衛生研究所臨床センターおよび国立がん研究所による政府援助により行われた。政府は、本発明において一定の権利を有する。
本発明は、課題番号１Ｚ０１ ＣＬ０４０００４のもと、国立衛生研究所臨床センターおよび国立がん研究所による政府援助により行われた。政府は、本発明において一定の権利を有する。
【0003】
本開示は、前立腺がんのコンピューター支援診断（ＣＡＤ）システム、たとえば、マルチパラメトリックＭＲＩ（ｍｐＭＲＩ）スキャンにおける生検部位を推薦することができるシステム、ならびにＭＲ前立腺セグメント化技術に関する。
【背景技術】
【0004】
前立腺がんは、世界で６番目に一般的ながんである。前立腺がんを診断するために広く使用されている方法は、前立腺全体にわたって１０～１２個の位置で、前立腺をランダムに生検することを伴う。これらのランダムな性質に起因して、生検は、臨床的に有意な病変部を見逃す可能性があり、偽陰性となるか、またはがんが不適切に低く評価されるかのいずれかの結果となる場合がある。前立腺がんの偶発的所見もまた、頻繁にあり、過剰診断および過剰処置をもたらす可能性がある。より最近では、マルチパラメトリックＭＲＩ（ｍｐＭＲＩ）が、前立腺がんを検出するための最も正確なイメージング技法であることが示されている。ｍｐＭＲＩにより導かれる生検は、臨床的に有意な前立腺がんに対する感度が改善され、同時に、過剰診断が制限される。
【0005】
正確な治療法計画および自動化された前立腺がん診断アルゴリズムを補助するためには、Ｔ２強調（Ｔ２ｗ）前立腺ＭＲ画像のセグメント化が、重要である。これは、多数の既存および開発中の臨床適用において、重要な役割を果たす。たとえば、前立腺がん処置のための放射線療法の計画は、イメージングデータ（ほとんどが、ＭＲおよびＣＴである）における前立腺の正確な描出を必要とし得る。現在の実施では、これは、典型的に、軸方向図、矢状面図、冠状面図、または異なる図の組み合わせのいずれかを使用して、スライスごとに前立腺の輪郭処理を手作業で行うことによって達成されている。この手作業での輪郭処理は、労働集約的であり、観察者間および観察者内での相違が生じやすい。３Ｄ ＭＲ画像に基づく正確かつ自動的な前立腺のセグメント化により、効率、再現性、および手作業でのセグメント化を行うオペレーター間での不一致またはバイアスの排除など、多数の利益がもたらされるであろうとみられる。しかしながら、前立腺ＭＲ画像の強度分布の不均一さ、ならびに前立腺の内部および周囲における複雑な解剖学的構造に起因して、自動化されたセグメント化は、困難となっている。
【発明の概要】
【課題を解決するための手段】
【0006】
例示的な前立腺のコンピューター支援診断（ＣＡＤ）システムおよび方法が、本明細書において開示され、そのうちのいくつかは、ランダムフォレスト分類器を用いて、前立腺がんを検出する。例示的なシステムは、Ｔ２Ｗ画像、ＡＤＣ画像、およびｂ－２０００画像の３つのイメージングシーケンスから抽出される、空間的特徴、強度特徴、およびテクスチャー特徴の組み合わせを使用して、前立腺内部の個々のピクセルを、がんの可能性のある部位として分類する。ランダムフォレスト訓練は、小さながん性病変部および大きながん性病変部、ならびに小さな前立腺バックグラウンドおよび大きな前立腺バックグラウンドの同等な処置のために、インスタンスレベルの重み付けを考慮する。２つの他のアプローチもまた含まれ得るが、それらは、シーケンス特異的なパターンをより良好に使用することを意図した、ＡｕｔｏＣｏｎｔｅｘｔパイプラインに基づく。一方のパイプラインは、個々のシーケンスにランダムフォレストを使用するが、他方は、この研究に記載される画像フィルターを使用して、確率マップのような画像を生成する。２分割交差検証の５つの並べ替えを使用して、全体的ながんの検出およびグリーソングレード特異的な検出の性能を評価した。受信者操作特性（ＲＯＣ）曲線およびグリーソングレード特異的自由応答ＲＯＣ（ＦＲＯＣ）曲線を、ランダムフォレストおよび他の２つの方法について、プロットした。これらを、同じデータで評価したこれまでに公開されているサポートベクターマシン（ＳＶＭ）に基づくＣＡＤアプローチと比較した。
【0007】
ランダムフォレストを使用したパイプラインは、０．９３のＡＵＣを達成し、偽陽性率２０％で検出率が９１％であり、グリーソンが７以上のＦＲＯＣ分析では、患者１人当たりの平均偽陽性数１４で、対応する検出率が９１％であった。これは、０．８６のＡＵＣを有し、偽陽性率２０％で検出率が８１％であり、グリーソンが７以上のＦＲＯＣ分析では、患者１人当たりの平均偽陽性値１９で対応する検出率が９２％である、ＳＶＭに基づくアプローチと同程度である。ランダムフォレストとＳＶＭ方法とを対比して、ＪＡＦＲＯＣ２を使用して、グリーソンが７以上のＦＲＯＣ曲線について、有意性を確立した。ランダムフォレストの性能は、１０回の実験のうち９回において、ＳＶＭとは統計学的に有意に異なっていた。ＡｕｔｏＣｏｎｔｅｘｔに基づく方法は、ランダムフォレストとは統計学的に異ならなかったが、画像フィルタリングバージョンは、性能がより安定しており、データセット内のグリーソンが１０の病変部３つについて、性能が高かった。
【0008】
ランダムフォレスト、特徴、サンプリング戦略、およびインスタンスレベルの重み付けは、ＳＶＭと比較して、前立腺がんの検出性能を改善するのに役立ち得る。単純な画像フィルタリング技法を使用して前立腺がんの可能性がある領域を強調する、第１の段階の検出器は、それぞれのシーケンスにおけるアノテーションの可視性および曖昧さに起因して、学習に基づくアプローチを使用することよりも、学習の安定性にいくらか役立ち得る。これらの制限は、画像フィルタリングアプローチでは存在しない。
【0009】
磁気共鳴画像（ＭＲＩ）における、前立腺の正確な自動的セグメント化のための方法およびシステムもまた、本明細書に開示されるが、これは、前立腺の解剖学的構造が高度に変動性であることに起因して、困難なタスクである。ノイズ、および前立腺境界部周辺の組織の同様のシグナル強度などのアーチファクトにより、従来的なセグメント化方法では、高い精度を達成することが阻害される。開示される技術では、本発明者らは、前立腺のセグメント化のためのパッチに基づくディープラーニング法およびホリスティックな（画像から画像への）ディープラーニング法の両方について、説明する。本発明者らは、まず、パッチに基づくコンボリューションネットワークを開示するが、これは、初期化を与えられて前立腺の輪郭を緻密化することを目的としている。次に、本発明者らは、ホリスティックネスト型エッジ検出を全コンボリューションネットワークと統合することによって、端部から端部へ（ｅｎｄ－ｔｏ－ｅｎｄ）の前立腺のセグメント化のための方法を開示する。ホリスティックネスト型ネットワーク（ＨＮＮ）は、階層表示を自動的に学習し、これにより、前立腺境界部の検出が改善され得る。定量的評価を、５分割交差検証において、２５０人の患者のＭＲＩスキャンに対して行う。
【0010】
開示される技術の前述およびその他の目的、特徴、および利点は、添付の図面を参照して進められる以下の詳細な説明から、さらに明らかになろう。
【図面の簡単な説明】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【図7】図７は、入力画像、アノテーション、および本明細書において開示されるＣＡＤシステムに基づく前立腺ＣＡＤ確率マップ、ならびにＳＶＭシステムからのもの（「Ｊｉｎ Ｔａｅら」）の、３つの例（段）を示す。「アノテーション」の列における赤色の領域は、手描きのがん性病変部のアノテーションである。「確率マップ」の列における赤色の領域は、予測されるがんの確率がより高いことを示し、一方で、緑色および青色は、予測されるがんの確率が低いことを示す。１段目は、左側の頂点から中央の辺縁域にがん性病変部を有する７４歳の患者の例である（グリーソンが９）。２段目は、右側の中央から基底部の前方移行域にがん性病変部を有する６３歳の患者を示す（グリーソンが７）。最後に、３段目は、左側の頂点から中央の前方移行域にがん性病変部を有する４９歳の患者を示す（グリーソンが７）。
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【図16】図１６は、ＭＲ前立腺画像の前処理ステップの例を図示する：（ａ）５１２×５１２の寸法のもともとの３Ｄ ＭＲ画像スライス。（ｂ）上部、下部、左側、および右側から２５％の領域を除去した後の、クロッピングした画像。（ｃ）ＨＮＮ訓練の前に、メジアン＋ＩＱＲスケーリングを適用して、ＭＲ画像スライスを生成。（ｄ）ＣＥＤを、メジアン＋ＩＱＲスケーリング後に画像に適用する。（ｅ）ＭＲ画像およびＣＥＤ画像の両方の対応する前立腺２値マスク。（ｆ）クロッピング後のもともとのＭＲ画像のヒストグラム。（ｇ）０～１０００の範囲の強度スケーリング範囲でメジアン＋ＩＱＲを適用し、最終的に［０，２５５］に再スケーリングして、訓練のためにＰＮＧ画像形式に当てはめた後のヒストグラム。前処理ステップの後に、２値マスクペアを有する、メジアン＋ＩＱＲスケーリングにより生成されたＭＲ画像スライスおよびＣＥＤ画像スライスを、一緒に混合して、単一のＨＮＮモデルを訓練する。
【0027】
【0028】
【0029】
【0030】
【0031】
【発明を実施するための形態】
【0032】
前立腺がんを診断するために広く使用されている方法は、前立腺全体にわたって複数の位置で、前立腺をランダムに生検することを伴う。これらのランダムな性質に起因して、生検は、臨床的に有意な病変部を見逃す可能性があり、偽陰性となるか、またはがんが不適切に低く評価されるかのいずれかの結果となる場合がある。前立腺がんの偶発的所見もまた、頻繁にあり、過剰診断および過剰処置をもたらす可能性がある。マルチパラメトリック磁気共鳴イメージング（ｍｐＭＲＩ）は、前立腺がんを検出するための正確なイメージング技法であることが示されている。ｍｐＭＲＩにより導かれる生検は、臨床的に有意な前立腺がんに対する感度が改善され、同時に、過剰診断が制限され得る。前立腺がんのコンピューター支援診断（ＣＡＤ）は、感度をさらに増加させ得る。ＣＡＤシステムにより、ｍｐＭＲＩにおいて利用可能なたくさんの画像を迅速に解釈することができ、経験の少ない放射線科医を補助することができる。ｍｐＭＲＩ単独での感度は、８１％程になり得る。
【0033】
本明細書に開示される技術は、生検部位を推薦することを目的とした前立腺がんＣＡＤシステムを含む。開示されるＣＡＤシステムは、学習に基づく方法、すなわち、ランダムフォレストを利用することができ、Ｔ２Ｗ画像、ＡＤＣ画像、およびＢ２０００ ＭＲＩ画像から確率画像を生成することができる。確率画像は、次いで、前立腺リーダーによって、視覚化され得る。本出願の特徴は、ＡｕｔｏＣｏｎｔｅｘｔ検出パイプラインの使用、サンプル重み付け戦略、および様々な品質の様々な種類のグラウンドトゥルース情報の使用を含む。本発明者らは、開示されるＣＡＤを、２２４個の患者スキャンのデータセットにおいて検証し、同じデータセットに対するこれまでに公開されているＣＡＤ操作での性能と比較する。
【0034】
一部の前立腺がんＣＡＤシステムは、Ｔ２Ｗ画像およびＢ２０００画像に適用されるローカル２値パターン特徴を有するサポートベクターマシン（ＳＶＭ）を使用して、ピクセルが、がんの可能性が高いかまたはそうでないかを予測する。例示的なＳＶＭシステムを、生検結果が記録されている２６４人の患者のコホートに対して、訓練した。別の例示的な前立腺ＣＡＤシステムには、ボクセル様の分類アプローチおよび病変部セグメント化アルゴリズムが含まれる。この例で使用される分類器としては、線形判別分類器、ＧｅｎｔｌｅＢｏｏｓｔ、およびランダムフォレストが挙げられ、Ｔ２Ｗ画像、ＡＤＣ画像、Ｂ８００画像、および動的コントラスト強調（ＤＣＥ）画像が使用される。考慮される特徴には、ピクセル強度、前立腺内での相対位置、テクスチャー、ブロブネス（ｂｌｏｂｎｅｓｓ）、および薬物動態ヒューリスティクスが含まれる。別の例示的なシステムでは、前立腺がん候補を、マルチスケールのヘッセに基づくブロブネスフィルターを使用して、ＡＤＣから抽出し、次いで、これらの候補を、ＬＤＡ分類器を使用して、Ｔ１Ｗ、Ｔ２Ｗ、ＤＣＥ、ＡＤＣ、およびＫｔｒａｎｓからコンピューティングした統計学に基づく特徴により、さらに分類した。学習タスクは、わずかに異なるが、さらに別の例示的なアプローチでは、強度統計およびハラリックのテクスチャー特徴を用いて、様々な分類器を使用してＭＲ画像からグリーソンスコアを分類する。一部のそのようなシステムは、ＳＭＯＴＥを使用して、サンプルの不均衡に対処する。
【0035】
本明細書において開示される技術は、様々な点で、たとえば、ラベルの不均衡に対処するため、ならびに小さながん性病変部と大きながん性病変部との間での公平な処置、および小さな前立腺と大きな前立腺との間での公平な処置のために、インスタンスレベルの重み付けを使用することが、他のＣＡＤシステムとは異なり得る。これは、オーバーサンプリング技法を用いてサンプル不均衡に対処する、１つのアプローチである。さらに、本明細書において開示されるシステムは、手描きの輪郭、標的化された生検、および正常な事例など、複数の種類のアノテーションを使用することができ、また、これらの種類のアノテーションのそれぞれに対して、サンプリング戦略を利用することができる。さらに、開示される技術は、移行域距離を特徴として使用して、モデルが辺縁域および移行域に特化するように補助することができる。これは、前立腺の境界部までの距離を考慮するだけの距離特徴よりも、強力であり得る。
【0036】
本明細書において開示される技術の研究は、３種類のアノテーションを伴う、２２４件の患者事例を組み込んでいた。これらには、手描きのがん性病変部の輪郭を有する事例が５３件、正常な事例が２４件、およびＭＲＩ－ＴＲＵＳの融合により標的化された生検の事例が１４７件含まれる。すべての事例には、追加として、市販のアルゴリズムによって生成される、前立腺および移行域の自動的なセグメント化が含まれ、経験豊富な放射線科医による何らかの手作業による補正を伴う。がん病変部の輪郭は、これらの事例について、経験豊富な放射線科医がｍｐＭＲＩおよび生検結果を調べることによって、Ｔ２Ｗ画像に描かれた。がん性病変部に手作業により輪郭処理を行うのに必要な専門技術および時間は、一般的に、法外なものであり、他の利用可能な情報の使用を動機付ける。生検結果は、数が多く、容易に利用可能である。これらは、ＭＲＩ－ＴＲＵＳの融合を使用して、前立腺における疑わしい領域を標的化するため、信頼性があると想定される。
【0037】
生検ニードルを制御する人的エラーおよび画像登録の問題などの要因に起因して、ＭＲＩ－ＴＲＵＳの融合による生検は、不正確さを有し得るが、これはごくわずかである。手描きの輪郭を有する５３人の患者を含め、生検結果が記録されている合計２００人の患者が、存在していた。これらの患者のそれぞれにおいて、生検部位は、生検手順の前に、経験豊富な放射線科医によって、ｍｐＭＲＩから戦略的に選択された。これらの生検部位のうち、２８７個が良性であり、１２３個がグリーソンが６またはそれよりも高かった。グリーソングレードの表および域の内訳を、以下の表１に提供する。残りの２４件の正常な事例は、経験豊富な放射線科医によってｍｐＭＲＩで調べたが、視認できる疑わしい病変部を有さないとみなされた。この研究では、図９および１０において全組織標本組織病理学（ｗｈｏｌｅｍｏｕｎｔ ｈｉｓｔｏｐａｔｈｏｌｏｇｙ）と比較する目的で、ｍｐＭＲＩおよび前立腺摘出術を受けた継続前立腺がん患者（合計１７９人）から選択した、６つの試験事例をさらに考慮した。
【表1】
【0038】
ｍｐＭＲＩ画像を、３Ｔ ＭＲスキャナ（Ａｃｈｉｅｖａ－ＴＸ、Ｐｈｉｌｉｐｓ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ、Ｂｅｓｔ、ＮＬ）を使用し、３２チャネルのＳＥＮＳＥ心臓コイルの前半分（Ｉｎ ｖｉｖｏ、Ｐｈｉｌｉｐｓ Ｈｅａｌｔｈｃａｒｅ、Ｇａｉｎｅｓｖｉｌｌｅ、ＦＬ）および直腸内コイル（ＢＰＸ－３０、Ｍｅｄｒａｄ、Ｉｎｄｉａｎｏｌａ、ＰＡ）を使用して、取得した。検査前の腸への準備は必要なかった。それぞれの直腸内コイルのバルーンを、およそ４５ｍｌのパーフルオロカーボン（Ｆｌｕｏｒｉｎｅｒｔ ＦＣ－７７０、３Ｍ、Ｓｔ．Ｐａｕｌ、ＭＮ）で膨張させて、空気により誘導される感受性関連のイメージングアーチファクトを低減させた。エコー時間、反復時間、および断面厚さをそれぞれ４４３４ミリ秒、１２０ミリ秒、および３ｍｍとして、Ｔ２Ｗ画像を取得した。５つの等間隔なｂ値（０～７５０）で、標準的なＤＷＩを取得し、ｂ＝２０００で、高ｂ値のＤＷＩを取得した。
【0039】
一実施形態によると、例示的な前立腺ＣＡＤシステムは、３種類のアノテーションに対して訓練された、ピクセル様のランダムフォレストに基づく。この例では、ＣＡＤは、１３種類のハラリックのテクスチャー特徴、Ｔ２Ｗ画像、ＡＤＣ画像、およびＢ２０００画像に適用される４種類の強度特徴、ならびに移行域までの符号付きユークリッド距離を利用する。ＡｕｔｏＣｏｎｔｅｘｔに基づくＣＡＤの２つの他の構成もまた、一部の実施形態において使用することができる。これらのＣＡＤシステムは、さらに、それぞれのシーケンスからの確率マップに４種類の強度特徴を使用する。表２は、これらの３つのシステムにおいて使用される特徴の一覧を提供する。
【表2】
【0040】
ハラリックのテクスチャー特徴は、テクスチャーを特徴付けようとする、同時生起行列（ｃｏ－ｏｃｃｕｒｒｅｎｃｅ ｍａｔｒｉｘ）においてコンピューティングされる統計である。ハラリックのテクスチャー特徴は、身体全体にわたる様々な構造において、病変部を特徴付けるのに使用することができる。ハラリックの特徴は、Ｔ２Ｗ画像、ＡＤＣ画像、および動的コントラスト強調（ＤＣＥ）画像において、がん性および非がん性の前立腺病変部を区別することができ、また同じシーケンスにおいて、異なるグリーソングレードの前立腺がんを区別することができる。テクスチャーを特徴付け、前立腺組織を区別する能力のために、それらは、開示される技術において有用となっている。
【0041】
ランダムフォレストは、ランダム決定ツリーの集合を含む。ランダムフォレストによる予測は、その構成要素であるランダムツリーの予測の平均を含み得る。ランダムフォレストは、ランダムなデータサブセットに対してランダムツリーを個別に訓練することによって、訓練することができる。それぞれのランダムツリーは、決定ツリーと同様の様式で訓練することができるが、ランダムな特徴サブセットを使用して、最適な決定を判定することができることを除く。決定の最適性は、情報利得（Ｉｎｆｏｒｍａｔｉｏｎ Ｇａｉｎ）によって判定することができる。
【0042】
ＡｕｔｏＣｏｎｔｅｘｔは、分類器のシーケンスを使用して、コンピュータービジョンタスクにおける分類精度を改善する。連続的な分類器は、前の分類器によって生成された確率マップを、画像特徴に対する補助的な特徴として使用する。確率マップは、画像において相対的に顕著な構造を強調し、学習タスクを相対的に単純にすることができる。本明細書において開示される技術は、Ｔ２Ｗ画像、ＡＤＣ画像、およびＢ２０００画像に対して独立して生成される確率マップを、たとえば、分類器に対する特徴として使用し、分類器が、次いで、最終的な確率マップを生成する。これは、他のシーケンスに存在し得る任意の同時のパターンを相関付けることなく、任意のシーケンス特異的なパターンを特定することに役立ち得る。しかしながら、最終的な分類器は、依然として、同時の交差シーケンスパターンを過剰適合する可能性がある。
【0043】
２つのＡｕｔｏＣｏｎｔｅｘｔ ＣＡＤパイプラインを、本明細書において開示される技術と併せて調べた。第１のものは、ハラリックの特徴、強度特徴、および符号付き距離特徴を使用して、ランダムフォレストをそれぞれ個別のシーケンスに適用して、シーケンス特異的な確率マップを生成し、第２のものは、単純な画像フィルタリングを使用して、それぞれのシーケンスの疑似確率マップを生成する。これらの確率マップを、次いで、画像特徴とともに、ランダムフォレストに対する補助的な特徴として使用して、最終的な確率マップを生成することができる。第２の構成における画像フィルターは、画像から前立腺強度平均を差し引き、次いで、シーケンスに応じて、０よりも低いかまたは０よりも高い強度を有する場合に（Ｔ２Ｗ、ＡＤＣの場合は０よりも高く、Ｂ２０００の場合は０よりも低い）、結果として得られるピクセルを０に設定する。これは、Ｔ２Ｗ画像およびＡＤＣ画像において視認できる病変部が、正常な前立腺組織よりも相対的に低い強度を有し、Ｂ２０００において視認できる病変部が、相対的に高い強度を有する傾向にあるという観察に従っている。このフィルター規則は、したがって、それぞれのシーケンスにおいて単純ながん分類器のように挙動する。
【0044】
いくつかの種類の訓練アノテーション、たとえば、手描きの輪郭、標的化された生検結果、および正常な事例（３つの例として）を使用して、ランダムフォレストを訓練することができる。ランダムフォレストのそれぞれのツリーは、アノテーションの種類に関係なく、多くの均一なランダムにサンプリングされた患者の事例（たとえば、１つの例において２０個）で、訓練され得る。ツリーを訓練するために使用される陽性値（ｐｏｓｉｔｉｖｅ）および陰性値（ｎｅｇａｔｉｖｅ）は、以下の通りにサンプリングすることができる。
１．輪郭：
手描きのがん性病変部の内側に発生するピクセルは、陽性の例とみなす。任意の手描きのがん性病変部から３ｍｍまたはそれよりも遠くに離れているピクセルは、陰性の例とみなす。
２．標的化された生検結果：
任意の生検点（良性であるかないかには関係なく）の５ｍｍ以内のピクセルは、陽性とみなす。これらの生検は、ＭＲＩ－ＴＲＵＳの融合アプローチにより標的化されたため、病変部は、放射線科医には異常に見えたはずである。ＣＡＤの課題は、放射線科医が生検部位を選択するのを模倣することである。選択された半径は、病変部が、約１０ｍｍの平均直径を有するという観察に従っている。標的化された病変部の範囲は、生検自体からは既知ではないため、陰性値はサンプリングされないことに留意することが重要である。他の疑わしい病変部は、生検されなかったため、陰性値をサンプリングすることが危険となる可能性もあり得る。
３．正常な前立腺の事例：
正常な前立腺の内部のすべてのピクセルは、陰性の例とみなす。
１．輪郭：
手描きのがん性病変部の内側に発生するピクセルは、陽性の例とみなす。任意の手描きのがん性病変部から３ｍｍまたはそれよりも遠くに離れているピクセルは、陰性の例とみなす。
２．標的化された生検結果：
任意の生検点（良性であるかないかには関係なく）の５ｍｍ以内のピクセルは、陽性とみなす。これらの生検は、ＭＲＩ－ＴＲＵＳの融合アプローチにより標的化されたため、病変部は、放射線科医には異常に見えたはずである。ＣＡＤの課題は、放射線科医が生検部位を選択するのを模倣することである。選択された半径は、病変部が、約１０ｍｍの平均直径を有するという観察に従っている。標的化された病変部の範囲は、生検自体からは既知ではないため、陰性値はサンプリングされないことに留意することが重要である。他の疑わしい病変部は、生検されなかったため、陰性値をサンプリングすることが危険となる可能性もあり得る。
３．正常な前立腺の事例：
正常な前立腺の内部のすべてのピクセルは、陰性の例とみなす。
【0045】
３つのサンプリング戦略を、図８に示す。このサンプリングスキームは、いくつかの様式で不均衡であり、これにより、学習に基づく方法がバイアスを受け得る。陽性および陰性の数が揃っておらず、前立腺および病変部の体積が、患者によって変動し、特定の病変部および前立腺が過小表示または過大表示されている可能性がある。この研究におけるランダムフォレストは、これらの潜在的なバイアスの源に対処するために、重み付けした訓練例を用いて訓練することができる。重み付けした訓練例を用いて作業するために、決定ツリー情報利得関数を、以下に定義するように修正することができ、
ここで、Ｘは、分割する訓練例のセット（特徴ベクトルｘ、重みｗ、およびクラスラベルｙ）であり、ｆは、特徴であり、ｔは、訓練例セットを分割する閾値であり、Ｈ（ｐ）は、純度関数であり、ｐは、確率ベクトルであり、Ｗ（Ｘ）は、所与の訓練例の重みを合計する関数である。これらは、すべて、
として示される。
【数1】
【数2】
【0046】
このランダムフォレストにおいて使用される純度関数（ｐｕｒｉｔｙ ｆｕｎｃｔｉｏｎ）は、ジニ指数（Ｇｉｎｉ ｉｎｄｅｘ）である。この重み付けした利得は、分類および回帰ツリーＣＡＲＴにおいて使用される従来的な利得関数の一般化であり、ハードカウント（hard count）が、重みの合計で置き換えられる。重みがすべて１である場合、これは、ＣＡＲＴ利得関数に縮小される。
【0047】
手描きの輪郭の事例におけるがん性病変部の重みは、１/病変部体積となり、一方で、生検は、３／（５００＊ｐｉ）となり、その逆数は、半径５ｍｍの球体の体積に対応する。手描きの輪郭の事例の陰性例は、１/正常な前立腺組織の体積および正常な事例の場合における１/前立腺の体積となる。陰性の重みは、次いで、陽性の重みと同じ合計を有するようにスケーリングされる。これにより、あらゆるサイズの病変部が、確実に同等に処置され、陽性値および陰性値が、確実に同等に処置される。
【0048】
ランダムフォレストＣＡＤおよび２つのＡｕｔｏＣｏｎｔｅｘｔ方法を、訓練し、２２４人の患者に対して、２分割交差検証の５つの並べ替えで評価した（それぞれの並べ替えについて、１１２人が訓練および１１２人が試験）。前立腺は左右対称であるため、画像、輪郭、および生検点を、ｙ軸を中心に反転することによって、データを増強した。これにより、訓練セットのサイズが有効に２倍となる。輪郭、標的化された生検結果、および正常な事例を用いた事例を、すべて、独立して２分割に分割し、次いで、これを連結して、すべての患者にわたる２分割を形成した。これにより、ほぼ同じ数の３種類のアノテーションが、それぞれの分割で確実に使用される。３つのシステムは、さらに、同じ試験データで評価したが訓練していない類似のＣＡＤシステムと比較した。
【0049】
性能を、平均した受信者操作特性（ＲＯＣ）曲線およびグリーソングレード特異的自由応答ＲＯＣ曲線（ＦＲＯＣ）の形態で測定した。ランダムフォレストＣＡＤおよびＳＶＭ ＣＡＤ ＦＲＯＣ曲線との間で有意性を、ＪＡＦＲＯＣ２を使用して測定した。
【0050】
グリーソングレードの高い病変部の数が限られていたため、本発明者らは、訓練および試験の両方において、それぞれのグリーソングレードの病変部の数を最大化させるように、２分割交差検証を考慮する。本発明者らは、すべてが、もともとのデータセットのランダムな並べ替えから得られた、５つの２分割交差検証セットを形成した。これは、一般化を良好に示しながら、分析のために様々なグリーソングレードの試験病変部を多数残すことに役立つ。
【0051】
ＲＯＣ分析を、３Ｄで実施した。確率画像は、３Ｄ体積として捉え、手描きの２Ｄの輪郭を重ねて、３Ｄがん体積を画定した。がん体積におけるＣＡＤ確率スコアの９０パーセンタイルが、確率の閾値を超えた場合、これは、真陽性であるとみなす。換言すると、がん体積のうちの少なくとも１０％が、比較的高い確率を有する場合、ＣＡＤは、がん性病変部を検出したと称される。偽陽性は、正常な事例および手描きの輪郭の事例について、前立腺を３ｍｍ×３ｍｍ×３ｍｍの立方体のセルに分割し、真陽性と同時に発生しない、それぞれのセルにおけるＣＡＤ確率スコアの９０パーセンタイルを評価することによって、コンピューティングされた。このバックグラウンドの粗い処置により、前立腺リーダー（prostate reader）が有効に無視するであろう小さな検出が排除される。加えて、セルは、通常、偽陽性として計数されるがん体積から少なくとも３ｍｍ離れている。これは、アノテーションにおける人的エラーが考慮されることを意味する。
【0052】
ＲＯＣ分析と同様に、ＦＲＯＣ分析も、３Ｄで実施した。ＦＲＯＣ分析は、輪郭の事例も含む、生検結果を用いた事例でのみ評価してもよい。グリーソングレードに対する性能を定量化することが、目的である。グリーソングレードは、通常、病理学における２つの最も優勢なパターンを示す２つの数で表され、この研究では、６～１０の範囲となるこれらの２つの数の合計を使用する。３つのＦＲＯＣ曲線を生成して、ＣＡＤ性能を定量化した：使用可能（ａｃｔｉｏｎａｂｌｅ）、グリーソンが７以上、およびグリーソン特異的曲線。これは、図５、６、および７において確認することができる。
【0053】
この研究におけるすべての生検は、標的化されたものであり、それらが良性であったとしても陽性として処置される。すべての標的化された生検は、放射線科医が、ｍｐＭＲＩに基づいて、これらの生検部位を疑わしいとみなしたため、使用可能と称される。優れた放射線科医の最良の判断を模倣し、ｍｐＭＲＩのみに基づいて生検部位を推薦することが、開示されるＣＡＤシステムの目的である。
【0054】
ＦＲＯＣは、３つのステップで生成される。まず、３Ｄ非最大抑制（ＮＭＳ、ｎｏｎ－ｍａｘｉｍｕｍ ｓｕｐｐｒｅｓｓｉｏｎ）を、生の３Ｄ ＣＡＤ確率マップにコンピューティングする。ＮＭＳは、１０ｍｍ×１０ｍｍ×１０ｍｍのウインドウを使用し、小さな点セットおよび対応する確率が生成される。これらは、確率マップにおける極大値をおおまかに反映している。次いで、一方の頂点群が、グラウンドトゥルース生検位置であり、他方の群が、ＮＭＳ検出である、２部グラフを構築する。検出とグラウンドトゥルースが、１０ｍｍまたはそれ未満離れている場合、エッジを、それらの間に配置する。重み付けした最大マッチングを、検出およびグラウンドトゥルースのペアを見出すために、グラフにコンピューティングする。それぞれのエッジの重みは、以下の関数を使用して、グリーソングレードおよび確率に基づいてコンピューティングする。
ｗ（ｇ，ｐ）＝ｐ×１．５ｇ－６
ここで、ｇおよびｐは、それぞれ、グリーソングレードおよび検出確率である。良性の生検は、この分析では、グリーソングレードｇ＝０を使用する。これは、いくつかの検出が、１つを上回るグラウンドトゥルースに割り当てられ得る曖昧さを解決することを意図している。この重み付け関数は、確率の高い検出が、グリーソングレードの高い生検部位とペアリングされることを優先する。この段階では、単集合頂点を、ＦＲＯＣ分析における偽陽性として計数する。これらの頂点は、任意のグラウンドトゥルースから１０ｍｍよりも遠い検出を表す。最後に、マルチスケールのブロブ類似性を、検出の軸方向図に沿ってコンピューティングする。ブロブは、検出を中心とした確率マップの軸方向図において、ガウスカーネルをローカルパッチにコンボリューションすることによって、測定される。パッチは、ガウスカーネルと同じサイズであり、そのため、この操作は、単一の値だけをもたらす。３つのスケールのガウスカーネルを考慮し、次いで、最大のコンボリューションを、検出の最終的な確率として使用する。したがって、局所的にはブロブに見える可能性が高い検出は、ブロブに見えないものよりも高い確率を有する。これらの残りの検出および確率を、次いで、検出率の判定に使用する。
ｗ（ｇ，ｐ）＝ｐ×１．５ｇ－６
ここで、ｇおよびｐは、それぞれ、グリーソングレードおよび検出確率である。良性の生検は、この分析では、グリーソングレードｇ＝０を使用する。これは、いくつかの検出が、１つを上回るグラウンドトゥルースに割り当てられ得る曖昧さを解決することを意図している。この重み付け関数は、確率の高い検出が、グリーソングレードの高い生検部位とペアリングされることを優先する。この段階では、単集合頂点を、ＦＲＯＣ分析における偽陽性として計数する。これらの頂点は、任意のグラウンドトゥルースから１０ｍｍよりも遠い検出を表す。最後に、マルチスケールのブロブ類似性を、検出の軸方向図に沿ってコンピューティングする。ブロブは、検出を中心とした確率マップの軸方向図において、ガウスカーネルをローカルパッチにコンボリューションすることによって、測定される。パッチは、ガウスカーネルと同じサイズであり、そのため、この操作は、単一の値だけをもたらす。３つのスケールのガウスカーネルを考慮し、次いで、最大のコンボリューションを、検出の最終的な確率として使用する。したがって、局所的にはブロブに見える可能性が高い検出は、ブロブに見えないものよりも高い確率を有する。これらの残りの検出および確率を、次いで、検出率の判定に使用する。
【0055】
第１の段階においてランダムフォレスト検出器を使用したパイプラインは、ＲＯＣ分析について、０．９３のＡＵＣを達成し、検出率が８９％であり、２０％の偽陽性率であった。これは、グリーソンが７以上であるＦＲＯＣ分析において、９２％の検出率および患者１人当たりの平均偽陽性値１３に対応する。画像フィルターに基づく検出器は、ＲＯＣ曲線では、同様の０．９３のＡＵＣを達成し、同じ偽陽性率で９１％の検出率であったが、グリーソンが７以上のＦＲＯＣ分析では、同じ閾値で対応する９１％の検出率および患者１人当たりの平均偽陽性数１３を達成した。いずれの方法も、確率マップ特徴を使用しない方法と同程度である。確率マップ特徴が欠如したランダムフォレストは、０．９３のＡＵＣを達成し、同じ偽陽性率で検出率が９１％であり、グリーソンが７以上のＦＲＯＣ分析では、対応する検出率は９０％であり、患者１人当たりの平均偽陽性数は１４であった。ＳＶＭアプローチは、ＲＯＣ分析では、０．８６のＡＵＣを有し、偽陽性率２０％で検出率８１％であり、グリーソンが７以上のＦＲＯＣ分析では、対応する検出率が９２％であり、患者１人当たりの平均偽陽性値が１９であった。４つすべてのＲＯＣ曲線を、図３に示す。図４、５、および６は、使用可能、グリーソンが７以上、および固定のグリーソングレードの検出のためのＦＲＯＣ曲線を示す。フィルターに基づく方法のみが考慮される。なぜならそれは、ＲＯＣ分析において、すべての方法の中で最も優れた性能であるからである。フィルターに基づくＣＡＤとＳＶＭ方法とを対比して、ＪＡＦＲＯＣ２を使用して、グリーソンが７以上のＦＲＯＣ曲線について、有意性を確立した。ランダムフォレストの性能は、１０回の実験のうち９回において、統計学的に有意に異なっていた。
【0056】
ランダムフォレストによって選択される、ＣＡＤにおいて使用される特徴の頻度のヒストグラムを、コンピューティングした。ランダムフォレストによって最も選択される上位５つの特徴は、移行域までの符号付き距離、Ｔ２Ｗ平均およびメジアン、Ｂ２０００メジアン、ならびにＡＤＣメジアンであった。距離マップ特徴は、Ｔ２Ｗ平均よりも選択される可能性が２倍高く、移行域と辺縁域との間の区別を行うのに特に有用である。ハラリックの特徴は、選択される頻度は低いが、３９個すべてが、ランダムフォレストによって一貫して選択される。
【0057】
図７は、ランダムフォレストおよびこれまでのＣＡＤによる様々なシーケンス、アノテーション、およびＣＡＤ確率マップを示す。図９および１０は、ランダムフォレストＣＡＤの失敗様式を示しており、図９では、顕著な偽陽性が示され、図１０では、見逃したがん性病変部が示される。これらの図に示されている事例は、全組織標本組織病理学を用いた試験事例であり、この研究における実験で考慮している訓練セットにも試験セットにも含まれていなかった。
【0058】
図８は、訓練中に、ＣＡＤによって用いられる３つのサンプリング戦略を示す。これらは、上記に説明されている。
【0059】
３つのランダムフォレストＣＡＤシステムは、同様の性能であった。フィルターに基づくＣＡＤは、信頼領域がわずかに狭かった。このＣＡＤはまた、異なる訓練セットでの性能の変動が少ないため、他のＣＡＤシステムよりも一貫性があった。ＡｕｔｏＣｏｎｔｅｘｔおよびランダムフォレストのＣＡＤシステムの変動は、より大きかったが、ＡｕｔｏＣｏｎｔｅｘｔは、安定性に関しては、ランダムフォレストよりも悪かった。フィルターに基づく方法の性能の安定性は、第１段階における病変部の検出がより良好であることに起因し得る。フィルターに基づくアプローチは、アノテーションを使用することなく、直接的に、それぞれのシーケンスにおける相対的に低いかまたは高い強度の領域を強調しようとする。すべての病変部がすべてのシーケンスにおいて視認できるわけではないため、アノテーションは、ｍｐＭＲＩにおいて問題となり得る。したがって、特定のシーケンスの学習タスクは、アノテーションが、視認できない病変部を参照する可能性があるため、さらに困難となっている。
【0060】
３つすべてのＣＡＤは、ＳＶＭに基づく方法よりも性能が優れている。これは、異なる特徴、異なるシーケンス（ＳＶＭに基づく方法は、ＡＤＣを使用しない）、異なる分類器、および異なるアノテーションの使用の組み合わせに起因し得る。ＳＶＭに基づく方法は、訓練データに、生検のみを使用する。データセットは、包含および排除の基準を使用して、特定の基準を満たし、曖昧さを低減するように、選択した。この選択は、結果として得られるモデルを、特定の種類の前立腺がん構成に偏らせる可能性がある。対照的に、この研究では、すべての利用可能な訓練データを、３つの異なる形態で使用して、一般化可能性を改善している。結果として、この研究は、一般に、ＳＶＭに基づく方法のＣＡＤよりも性能が優れている。そのような性能の差異を説明することができる、他のアルゴリズムによる差異が存在する。異なる分類器および異なる特徴を使用することの他に、１つの注目すべき差異には、ＳＶＭに基づく方法における移行域情報の欠如がある。この特徴は、移行域および辺縁域に特化した規則を学習するのに特に有用である。
【0061】
この研究における３つのＣＡＤは、生検部位の推薦（良性または悪性にかかわらず）に関して、ＳＶＭに基づく方法よりも性能が優れている。疑わしい使用可能な部位を推薦する性能は、グリーソンが７以上の病変部の生検部位を推薦する性能よりも劣っている。紛らわしいことに、図６では、すべてのＣＡＤが、グリーソンが６の場合には、グリーソンが７の場合よりもわずかに優れた性能であることが示されている。グリーソン６に対する比較的良好な性能はまた、疑わしい病変部が良性であるとわかったことにより、図４における比較的悪い性能を説明することも意味する。
【0062】
グリーソンが７の病変部は、ランダムフォレストＣＡＤシステムにとっては問題である。これは、図７において確認することができ、ここで、３つすべてのＣＡＤシステムは、ＳＶＭに基づく方法と同程度の性能である。これは、主として、ＣＡＤが、グリーソンが７の移行域病変部を見逃すことに起因する。１つの可能性のある説明としては、一部の移行域病変部は、線維筋性支質と誤認され得ることである。いずれの構造も、比較的低い強度などの類似性が共通している。別の可能性のある説明としては、幾何学的特徴に対するＣＡＤの感度である。移行域のセグメント化不良により、ＣＡＤが、移行域病変部を見逃すことが生じ得る。移行域距離特徴は、ｍｍ単位でもある。これは、異常なほどに大きいかまたは小さい前立腺では問題となり得る。この特定の問題に対する可能性のある解決策は、距離特徴を正規化することである。この研究において説明されているＣＡＤシステムは、依然として、交差シーケンスパターンの過剰適合の危険性がある。高ｂ値の画像ではがんの徴候をほとんどまたはまったく示さないが、Ｔ２Ｗ画像およびＡＤＣ画像の一方または両方においては顕著ながん性の外観を有する、いくつかの偽陰性事例が、観察されている。これらの種類の画像を用いたより大きな訓練セットは、ＣＡＤシステムがより良好に一般化するのに役立ち得る。ＡｕｔｏＣｏｎｔｅｘｔに基づくＣＡＤの事例では、これらのＣＡＤは、依然として訓練セットにおける同時パターンを学習しやすいので、所定の決定融合規則を使用することが、よりロバストであり得る。
【0063】
特徴が選択される頻度により、その相対的な重要性が、示される。距離マップ特徴の頻繁な選択は、解剖学的知識の付加価値を示す。一般に、域のうちのいずれか１つに見出される病変部は、類似の強度特性を有するが、２つの異なる領域の周囲のバックグラウンドは、視覚的に異なる。Ｔ２Ｗ画像、ＡＤＣ画像、およびＢ２０００画像におけるがん性病変部の低強度または高強度の外観は、画像シーケンスからの強度特徴の頻繁な選択と一貫している。個々のハラリックの特徴は、比較的低い頻度で選択されるが、すべてのテクスチャー特徴の全体的な選択パターンにおいて一貫性があり、これは、これらがすべて、前立腺ＣＡＤに同等に関連していることを示す。ハラリックのテクスチャー特徴は、がん性および非がん性の前立腺組織の間、ならびに異なるグリーソングレードのがん性組織の間での区別を行うことが示されているため、これは、驚くべき発見である。
【0064】
この研究では、３つの形態の前立腺ＣＡＤシステムを導入したが、そのうちの第１のものは、特徴に移行域を使用し、ＡｕｔｏＣｏｎｔｅｘｔ、および様々な品質の３種類のアノテーションを使用する。ＣＡＤシステムは、体積に関係なく、すべてのがん性病変部および正常な前立腺組織の公平な処置のために、インスタンスレベルの重み付けを使用する、サンプル不均衡の戦略を用いる。本明細書に提示される３つの前立腺ＣＡＤシステムは、すべてが、フィルターに基づくＣＡＤと同様の性能であったが、後者が、わずかに一貫性が高い性能を示す。３つすべてのＣＡＤシステムは、同じ評価手法下において、同じデータセットでは、ＳＶＭに基づく方法よりも性能が有意に優れている。
【0065】
ホリスティックネスト型ネットワークを用いたディープラーニングによるＭＲ前立腺セグメント化
正確な治療法計画および自動化された前立腺がん診断アルゴリズムを補助するためには、Ｔ２強調（Ｔ２ｗ）前立腺ＭＲ画像のセグメント化が、重要である。これは、多数の既存および開発中の臨床適用において、重要な役割を果たす。たとえば、前立腺がん処置のための放射線療法の計画は、イメージングデータ（ほとんどが、ＭＲおよびＣＴである）における前立腺の正確な描出を必要とし得る。現在の実施では、これは、典型的に、軸方向図、矢状面図、冠状面図、または異なる図の組み合わせのいずれかを使用して、スライスごとに前立腺の輪郭処理を手作業で行うことによって達成されている。この手作業での輪郭処理は、労働集約的であり、観察者間および観察者内での相違が生じやすい。３Ｄ ＭＲ画像に基づく正確かつ自動的な前立腺のセグメント化により、効率、再現性、および手作業でのセグメント化を行うオペレーター間での不一致またはバイアスの排除など、多数の利益がもたらされるであろうとみられる。しかしながら、前立腺ＭＲ画像の強度分布の不均一さ、ならびに前立腺の内部および周囲における複雑な解剖学的構造に起因して、自動化されたセグメント化は、困難となっている。
正確な治療法計画および自動化された前立腺がん診断アルゴリズムを補助するためには、Ｔ２強調（Ｔ２ｗ）前立腺ＭＲ画像のセグメント化が、重要である。これは、多数の既存および開発中の臨床適用において、重要な役割を果たす。たとえば、前立腺がん処置のための放射線療法の計画は、イメージングデータ（ほとんどが、ＭＲおよびＣＴである）における前立腺の正確な描出を必要とし得る。現在の実施では、これは、典型的に、軸方向図、矢状面図、冠状面図、または異なる図の組み合わせのいずれかを使用して、スライスごとに前立腺の輪郭処理を手作業で行うことによって達成されている。この手作業での輪郭処理は、労働集約的であり、観察者間および観察者内での相違が生じやすい。３Ｄ ＭＲ画像に基づく正確かつ自動的な前立腺のセグメント化により、効率、再現性、および手作業でのセグメント化を行うオペレーター間での不一致またはバイアスの排除など、多数の利益がもたらされるであろうとみられる。しかしながら、前立腺ＭＲ画像の強度分布の不均一さ、ならびに前立腺の内部および周囲における複雑な解剖学的構造に起因して、自動化されたセグメント化は、困難となっている。
【0066】
ＭＲ画像の自動的前立腺セグメント化のいくつかの方法は、アトラス、形状、および機械学習モデルに焦点を当てている。１つの例は、アトラスマッチングに基づく自動的セグメント化方法を含む。アトラスは、前立腺ＭＲ画像および対応する事前にラベル付けした２値画像のセットからなる。非剛体レジストレーション（ｎｏｎ－ｒｉｇｉｄ ｒｅｇｉｓｔｒａｔｉｏｎ）を使用して、患者の画像をアトラス画像とともに登録する。最もマッチングするアトラス画像が選択され、セグメント化は、結果として得られる変形ラベル画像および多数決規則による閾値の平均である。形状に基づくモデルもまた、ＭＲＩ前立腺セグメント化において使用することができる。別の例は、初期化のための正規化された勾配磁場交差相関（ｇｒａｄｉｅｎｔ ｆｉｅｌｄ ｃｒｏｓｓ－ｃｏｒｒｅｌａｔｉｏｎ）に基づく、自動化セグメント化モデル、およびグラフ検索に基づく緻密化フレームワークを含む。別の例は、形状の伝播のためにハールウェーブレット変換の近似係数からのテクスチャー特徴、およびアクティブアピアランスモデル（ＡＡＭ、Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ）を使用して、前立腺をセグメント化する。別の方法は、従来的なＡＡＭモデルを、強度および勾配情報を含めるように拡張し、レベルセットを使用して、マルチ特徴のランドマークフリーのフレームワークにより、形状統計モデル情報を捕捉した。
【0067】
多数のアプローチを、特徴に基づく機械学習において使用することができる。１つの例としては、マルチスペクトルのＭＲイメージング、たとえば、Ｔ１画像、Ｔ２画像、およびプロトン密度強調画像を訓練するための方法が挙げられ、パラメトリック分類器および非パラメトリック分類器、それぞれ、二次ベイズ（Baysian-quadratic）およびｋ最近傍（ＫＮＮ）を使用して、前立腺をセグメント化する。別の例では、ＭＲ画像における前立腺の自動化検出を可能にする、ＳＶＭに基づくアルゴリズムを使用する。この方法は、３Ｄ ＭＲＩ体積に対するＳＶＭ ２値分類を利用する。自動的に生成された３Ｄ特徴、たとえば、構造テンソルのメジアン、勾配、異方性、および固有値を使用して、セグメント化のための分類２値マスクを生成することができる。
【0068】
前立腺ＭＲ画像からの自動的セグメント化にディープラーニングアーキテクチャーを適用することは、新しい活発な研究分野である。１つの方法として、独立部分空間分析（ｉｎｄｅｐｅｎｄｅｎｔ ｓｕｂｓｐａｃｅ ａｎａｌｙｓｉｓ）を使用して、教師なしの様式で、ＭＲ画像から前立腺の自動的セグメント化に最も有効な特徴を学習する、ディープラーニングフレームワークが挙げられる。別の方法としては、深層特徴学習（ｄｅｅｐ ｆｅａｔｕｒｅ ｌｅａｒｎｉｎｇ）をスパースパッチマッチング（ｓｐａｒｓｅ ｐａｔｃｈ ｍａｔｃｈｉｎｇ）と統一することによる、変形可能な自動的セグメント化方法が挙げられる。別の方法としては、軸方向画像をモデル化し、Ｄｉｃｅ係数目標関数を用いて訓練を最適化するための、３Ｄ体積深層コンボリューションニューラルネットワーク（３Ｄ ｖｏｌｕｍｅｔｒｉｃ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）（ＣＮＮ）が挙げられる。これは、Ｖ－ＮｅｔまたはＵ－ｎｅｔのモデル、３Ｄに基づくコンボリューションおよびデコンボリューションアーキテクチャーを利用して、３Ｄ階層特徴を学習する。さらに別の方法では、左右対称の残差ネット層ブロックを、３Ｄコンボリューションおよびデコンボリューションアーキテクチャーに組み込むことによって、３Ｄ Ｖ－ｎｅｔまたはＵ－ｎｅｔモデルが拡張される。
【0069】
本明細書において開示される一部の方法およびシステムは、強化型ホリスティックネスト型ネットワーク（ＨＮＮ）モデルを含み、これは、前立腺のＴ２ ＭＲ画像の著しい変動性に対処することができる、完全に自動的な前立腺セグメント化アルゴリズムであり得る。この技術の特徴の中でもとりわけ、顕著性エッジマップを利用して、前立腺ＭＲ画像の豊富な階層特徴を、ホリスティックに学習する、単純かつ有効な自動的前立腺セグメント化アルゴリズムがある。強化型ＨＮＮモデルは、コヒーレンス強化拡散（ｃｏｈｅｒｅｎｃｅ ｅｎｈａｎｃｅｄ ｄｉｆｆｕｓｉｏｎ）（ＣＥＤ）画像およびＴ２ ＭＲ画像を混合したもので訓練することができ、試験中に、ＣＥＤ画像およびＴ２ ＭＲ画像から予測される確率マップを融合することができる。強化型モデルは、前立腺ＭＲ画像のセグメント化に対してロバストであり、有用かつ有望なセグメント化結果が得られる。
【0070】
本発明者らは、前立腺境界部を緻密化するために、Ａｌｅｘ－ｎｅｔの深層ＣＮＮ（ＤＣＮＮ）モデルを調査した。アトラスに基づくアクティブアピアランスモデル（ＡＡＭ）は、セグメント化パイプラインの第１の階層として機能し、前立腺のおおまかな境界部の推定を提供することによって、ディープラーニングモデルを初期化することができる。次いで、緻密化プロセスを、第２の階層において、アトラスに基づくＡＡＭモデルから生成されたおおまかな境界部に適用することができる。これは、２Ｄパッチに基づくピクセル分類アプローチであり、これにより、ローカルパッチから中央ピクセルが予測される。
【0071】
ＤＣＮＮ緻密化モデルにより、前立腺境界部の法線に沿って、６４×６４のパッチが生成される。本発明者らは、図１１ａに示されるように、それぞれの境界点から、法線（青色の線）を生成する。それぞれの正方形パッチを、正方形の側面をＸ軸およびＹ軸に平行にして、トレース点の中心に置く。境界点の中心に置かれた赤色の正方形パッチが、陽性（赤色ボックス）クラスを表す。それぞれの境界点の法線を、陰性パッチおよび定義されていないパッチのトレースパスとして使用する。内側および外側の両方の方向に２０ピクセル分、法線に沿って延ばし、指定された距離の制約内に入るパッチを収集する。法線の２つの端点上の緑色の正方形パッチは、陰性パッチとして分類される。それらの間のピンク色の正方形パッチは、定義されていないパッチとして分類される。図１１ａは、単一の法線から生成された６４×６４のパッチを示す。
【0072】
第１の階層のＡＡＭセグメント化モデルにより、おおまかな前立腺の境界部を初期化した後、深層ＣＮＮ分類器を適用して、試験している境界部周辺のラベル付けされていない６４×６４のパッチを分類する。試験画像パッチを、輪郭の法線から生成する（図１１ａ）。それぞれの画像パッチは、パッチの正方形が、Ｘ軸およびＹ軸に平行に配向された状態で、法線に沿って、点の中心に置く。試験の間に、すべてのパッチを、訓練した深層ＣＮＮモデルによって分類して、エネルギー確率マップを生成する。図１１ｂは、法線に沿ったピクセルに基づく確率マップを示す。赤色のバンドは、前立腺境界部の高確率候補点を示す。青色および黄色のバンドは、低エネルギーの候補点を表す。最終的な輪郭（図１１ｃ）を、最も高い尤度を有する確率マップから抽出する。単純なトレースアルゴリズムにより、それぞれの法線上で、確率マップから最も高い尤度点を探し出し、Ｂ－スプラインをこれらの点に適合させて、最終的な境界部が得られる。
【0073】
ＤＣＮＮの全体的なアーキテクチャーを、図１２に示す。コンボリューションフィルターのいくつかの層を、カスケードにして、パッチからパッチへの様式で、イメージングデータから画像特徴をコンピューティングすることができる。ネットワーク全体が、１つの一次ネットワークストリームとして実行される。このアーキテクチャーは、最大値プーリング層（ｍａｘ－ｐｏｏｌｉｎｇ ｌａｙｅｒ）が間に挟まれたコンボリューション層、ドロップアウト層（ｄｒｏｐ－ｏｕｔ ｌａｙｅｒ）、全結合層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）、およびソフトマックス層（ｓｏｆｔｍａｘ ｌａｙｅｒ）を含む。この最後の全結合層は、２方向ソフトマックスにフィードされ、これにより、「境界部」または「非境界部」の画像パッチの確率に対応する２つのクラスラベルにわたる分布が得られる。Ａｌｅｘ－ｎｅｔは、訓練および試験が、固定サイズのパッチ、たとえば、６４×６４のパッチに制約される、第１世代のディープラーニングモデルである。アーキテクチャー全体を、複数の順方向伝播および逆方向伝播の単一のパスとして考えることができる。訓練フェーズで使用されているパッチの数をおおまかに推測するために、２５０個の画像があるとして、１）それぞれの訓練分割（５分割交差検証）が、２００個の画像を含む。２）それぞれの画像が、前立腺を示すおよそ１５個のＶＯＩ輪郭を有する。３）それぞれの輪郭が、１２８個の点を有する。４）パッチが、それぞれの法線に沿って、４０ピクセルでトレースされる。この単純なパッチ収集機序により、１つのＡｌｅｘ－ｎｅｔのディープラーニングモデルを訓練するために、１５００万個を上回るパッチ（陽性、陰性、および非ラベル）が、容易に作製される。これらの１５００万個のパッチを用いて、Ａｌｅｘ－ｎｅｔにおける最後３つの全結合層（図１２）が、訓練中に、膨大な量のパラメーター空間を生成する。過剰適合も、容易に発生し得る。モデルを、実現可能なパラメーター空間で訓練するために、本発明者らは、法線の中心点と端点との間のパッチを破棄して（図１１ａ、ピンク色のボックス、非ラベル）、過剰適合を克服し、訓練パッチのサイズを１００万程度まで低減する。本発明者らは、１００万個のパッチを、直接的にＡｌｅｘ－ｎｅｔのアーキテクチャーで訓練した。いずれのデータ増強（すなわち、回転、反転）も、訓練プロセスでは行われない。ＧＰＵ加速により、試験中のＣＮＮの効率的な訓練および迅速な実行が補助され得る。
【0074】
一部の方法では、本発明者らは、セグメント化のために、ＨＮＮアーキテクチャーを使用して、前立腺内部の画像ラベル付けマップを学習する。ＨＮＮモデルは、第２世代のディープラーニングモデルを表す。この種類のコンボリューションニューラルネットワーク（ＣＮＮ）アーキテクチャーは、ホリスティックネスト型エッジ検出（ＨＥＤ）に関連しており、この検出は、ディープスーパービジョン（ｄｅｅｐ ｓｕｐｅｒｖｉｓｉｏｎ）を全コンボリューションネットワークと組み合わせて、エッジおよびオブジェクトの境界部を効率的に学習し、オブジェクト検出において問題となっている曖昧さの問題を解決する。これを使用して、自然の画像において、エッジおよびオブジェクトの境界部を検出することができる。ＨＮＮアーキテクチャーは、医療用イメージングドメインにおける意味画像セグメント化に対処するために、生ピクセルを使用し（ｐｉｘｅｌ－ｉｎ）、ラベルを除外する（ｌａｂｅｌ－ｏｕｔ）一般的なマッピング関数から、深層階層表示を学習することができる。ＨＮＮは、以下の少なくとも２つの問題に対処することができる：（１）ピクセルごとのラベル付けコストを使用して、画像全体を、端部から端部へ、たとえば、ホリスティックに、訓練し、予測すること、ならびに（２）それぞれのコンボリューション層での補助的なコスト関数を介して、深層画像特徴のマルチスケールおよびマルチレベルでの学習を組み込むこと。ＨＮＮは、画像から画像またはピクセルからピクセルへの予測マップを、任意の入力された生画像から、そのアノテーションされたラベル付けマップにコンピューティングし、全コンボリューションニューラルネットワークおよびディープスーパービジョン型ネットを構築する。ピクセルごとのラベル付けコスト関数により、ＨＮＮが、たった数千個のアノテーションされた画像ペアを使用して効率的に訓練され得ることが、可能となる。これにより、器官のセグメント化における空間的曖昧さを解決するために重要な、豊富な階層特徴表示および内容の自動的な学習が可能となる。
【0075】
Ａｌｅｘ－ｎｅｔのＤＣＮＮモデルとは対照的に、ホリスティックネスト型ネット（ＨＮＮ）は、端部から端部へのエッジ検出システムを強調し、追加のディープスーパービジョンを有する全コンボリューションニューラルネットワークを含み得る。本発明者らは、Ｂｅｒｋｅｌｅｙセグメント化データセットおよびベンチマーク（ＢＳＤＳ ５００）に使用されたＨＮＮアーキテクチャーおよびハイパーパラメーター設定を利用した。本発明者らの訓練のためのネットワーク構造は、ＢＳＤＳのものと同じであり得る。前立腺のＨＮＮセグメント化モデルを、前立腺訓練画像を使用して、ＢＳＤＳ ５００から微調整した。本発明者らは、ＨＮＮを、ＢＳＤＳ ５００のパラメーターで訓練するときに行ったように、前立腺マスクを微調整するためにＶＧＧ重み（ＩｍａｇｅＮｅｔ ＶＧＧモデル）を使用した。ＨＮＮネットワークは、複数のサイド出力を有する、単一ストリームの深層ネットワークを含み（図１３）、サイド出力は、それぞれのコンボリューション層の後に挿入されている。このアーキテクチャーは、１、２、４、８、および１６のストライドを有する５つの段階からなる。サイド出力層は、シグモイド活性化を有する１チャネル出力の１×１のコンボリューション層である。ＨＮＮの出力は、サイド出力の平面サイズが小さくなり、受容視野サイズ（ｒｅｃｅｐｔｉｖｅ ｆｉｅｌｄ ｓｉｚｅ）が大きくなる、マルチスケールかつマルチレベルのものである。それぞれのサイド出力により、対応するエッジマップが異なるスケールレベルで生成され、図１３に示されるように、１つの重み付けされた融合層が、マルチスケールから出力を組み合わせる方法を自動的に学習するために、付加される。付加された融合層は、最終的な出力確率マップを生成するために、サイド出力の重み付け平均をコンピューティングする。サイド出力の様々なスケールレベルに起因して、すべてのサイド出力の確率マップは、融合前に共一次内挿法（bilinear interpolation）によって、もともとの入力画像サイズのサイズにアップサンプリングされる。ネットワーク全体が、複数のエラー伝播パス（破線）で訓練される。交差マルチスケールにより、特に、ネットワークの上位レベルにおいて、訓練されたネットワークは、非常に大きな構造エッジを学習することおよび低いシグナルエッジを見逃すことに、重度に偏らされる。失われた弱いエッジを補い、ディープスーパービジョンとしての役割を果たすために、サイド出力層のそれぞれで、グラウンドトゥルースが使用される。本発明者らは、対応するコンボリューション層の後に、それぞれのサイド出力層で行われるディープスーパービジョンを図示するために、エラー逆伝播パス（図１３における赤色の破線）を強調する。融合された層もまた、融合されたエラー（図１３における青色の破線）を、それぞれのコンボリューション層に逆伝播する。
【0076】
訓練フェーズにおける前立腺のセグメント化のためのＨＮＮネットワークを公式化するために、本発明者らは、訓練データセットを、Ｓ＝｛（Ｘｉ，Ｙｉ），ｉ＝１，…，ｎ｝として示し、ここで、Ｘｉは、ｉｔｈの入力生画像を指し、Ｙｉは、ｉｔｈの入力画像の対応するグラウンドトゥルースラベルを示し、Ｙｉ∈｛０，１｝は、対応するＸｉの前立腺内部マップの２値グラウンドトゥルースマスクを示す。ネットワークは、内部予測マップが生成され得るこれらの画像ペアから、特徴を学習することができる。標準的なＣＮＮ層に加えて、ＨＮＮネットワークは、図１３に示されるように、Ｍ個のサイド出力層を有し、ここで、それぞれのサイド出力層は、対応する重みｗ＝（ｗ（１），…ｗ（Ｍ））を有する分類器として機能する。すべての標準的なネットワーク層パラメーターは、Ｗとして示される。Ｍ個のサイド出力層の目標関数は、
であり、ここで、Ｌｓｉｄｅは、訓練画像ペアＸおよびＹにおいてすべてのピクセルにわたってコンピューティングされたサイド出力の画像レベルの損失関数を示す。グラウンドトゥルースデータにおける非ラベルのピクセルに対する重度のバイアスに起因して、陽性クラスと陰性クラスとの間で自動的に損失の均衡をはかるために、ピクセルごとのクラス均衡重みβが、導入される。クラス間で均衡された交差エントロピーの損失関数を、上述の等式において、画像の空間的寸法に対して反復するｊを用いて使用することができる。
ここで、βは、単純に、｜Ｙ－｜／｜Ｙ｜および１－β＝｜Ｙ＋｜／｜Ｙ｜であり、｜Ｙ－｜および｜Ｙ＋｜は、それぞれ、陰性および陽性のグラウンドトゥルースセットを示す。βが、それぞれの訓練画像について独立してコンピューティングされる、対照的な方法では、本発明者らは、訓練セット全体にコンピューティングされる一定の均衡重みを使用する。これは、一部の訓練スライス、すなわち、頂点および基底部での前立腺におけるスライスが、まったく陽性クラスを有さない可能性があり、さもなければ、損失関数で無視されてしまうためである。クラス確率
は、シグモイド関数σ（．）を使用して、それぞれのピクセルｊにおける活性化値でコンピューティングされる。前立腺内部マップ予測
は、それぞれのサイド出力層において取得することができ、ここで、
は、サイド出力層ｍの活性化である。最終的には、重み付けした融合層を、訓練中に同時に学習することができるネットワークに付加する。融合層における損失関数は、
であり、ここで、
であり、ｈ＝（ｈ１，…，ｈｍ）が、融合重みである。Ｄｉｓｔ（．）は、融合された予測とグラウンドトゥルースラベルマップとの間の距離尺度である。交差エントロピー損失を、全体的なＨＮＮ損失関数として使用し、これは、標準的な確率的勾配降下法（ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）および逆伝播により、最小化される。
ＬＨＮＮ（Ｗ，ｗ，ｈ）＝ａｒｇｍｉｎ（Ｌｓｉｄｅ（Ｗ，ｗ）＋Ｌｆｕｓｅ（Ｗ，Ｗ，ｈ））
試験フェーズの間に、新しい画像Ｘを用いて、前立腺の２値マスク予測マップ
が、サイド出力層および重み付けした融合層の両方から生成される。ＨＮＮは、ネットワークによって生成されるエッジマップを示す。
ＨＥＤ予測の後に、
層により生成された確率マップを使用して、最終的な輪郭を探す。１つの複雑でないアプローチは、ＨＮＮモデルを、図１３に示されるように、前立腺のセグメント化に直接的に適用することである。基本的には、本発明者らは、３Ｄ ＭＲ画像から、２Ｄスライスを抽出する。対応する２Ｄ画像スライスおよび２値マスク（グラウンドトゥルースから生成）のペアが、訓練セットを構成する。試験フェーズの間に、２Ｄスライスが、３Ｄ ＭＲ画像から抽出され、訓練したＨＮＮモデルに対して実行して、予測確率マップが生成される。オブジェクトを識別するモルフォロジー演算を、確率マップに対して実行して、小さなノイズ領域を除去し、前立腺を表す最も大きな領域を探す。モルフォロジーフィルターにより、確率マップから前立腺の形状の２値マスクが生成され、マスクが最終的なＶＯＩ輪郭に変換される。確率マップと融合された試験画像を、図１４に示す。
【数3】
【数4】
【数5】
【数6】
【数7】
【数8】
【数9】
ＬＨＮＮ（Ｗ，ｗ，ｈ）＝ａｒｇｍｉｎ（Ｌｓｉｄｅ（Ｗ，ｗ）＋Ｌｆｕｓｅ（Ｗ，Ｗ，ｈ））
試験フェーズの間に、新しい画像Ｘを用いて、前立腺の２値マスク予測マップ
【数10】
【数11】
【数12】
【0077】
ＨＮＮモデルを、２Ｄ ５１２×５１２の前立腺画像に直接的に適用することは、単純かつ有効なアプローチである。これは、前立腺の内部および外部の解剖学的構造について、画像特徴を、ホリスティックに学習することができる。しかしながら、いくつかの問題により、この単純なアプローチに新しい懸念が生じる：１）５１２×５１２の２Ｄ画像は、豊富な解剖学上の情報、特に、前立腺領域の外側の構造を含んでいる。大規模な前立腺外部領域の意味学習が、必要となり得る。２）前立腺ＭＲ画像の不均一な強度分布は、ＨＮＮモデルのセグメント化性能に影響を及ぼし得る。前立腺境界部は、強度変動の場合に強化する必要があり得る。３）２Ｄ ＭＲ画像を単独で、単一のＨＮＮモデルで訓練することは、十分である場合もあるが、十分でない場合もある。
【0078】
一部の実施形態では、強化型ＨＮＮモデルは、上述の問題に対処するために、いくつかの主要な構成ブロックで構成されている。図１５は、訓練フェーズにおける強化型ＨＮＮモデルの概略的なパイプラインの図を示す：１）ＭＲ画像を、５１２×５１２ピクセルのもともとのサイズからクロッピングして、前立腺の腺全体に焦点を当てたより小さな領域にし、もともとの画像の上部、下部、左側、および右側からピクセルの２５％を除去する。２）メジアンおよび四分位数間範囲（ＩＱＲ）を適用して、クロッピングした画像の強度範囲を、０～１０００の間でスケーリングし、次いで、［０，２５５］の間で再スケーリングする。ＩＱＲは、上位四分位数と下位四分位数との間の差である。ＩＱＲを、拡がりのよりロバストな尺度であると考えることができ、メジアンは、同様に、中心部の傾向のよりロバストな尺度であると考えることができる。この前処理ステップにおいて、メジアンおよびＩＱＲのスケーリングは、
として計算され、ここで、Ｉは、分類後のクロッピングした３Ｄ画像全体の強度セットであり、Ｉｘｙｚは、ボクセル強度である。メジアンおよびＩＱＲのスケーリングは、前立腺強度変動問題に対処するためのヒストグラム等化に対する代替的な役割を果たす。３）ＭＲ画像単独について、ノイズおよび低コントラストの領域は、大きなアーチファクトに寄与する。結果として、いくつかのエッジ境界部が失われるか、または周囲の組織と混ざってしまう可能性がある。本発明者らは、コヒーレンス強化拡散（ＣＥＤ）フィルターを適用して、境界部が強調された特徴画像を得る。ＣＥＤは、比較的薄い線形構造をフィルタリングして、グレーレベルのエッジ境界部を強調し、これが、ＨＮＮモデルが、意味特徴を効率的に学習することを補助し得る。４）クロッピングしたＣＥＤ画像およびＭＲ画像を、対応する２値マスクと混合して、単一のＨＮＮモデルを訓練し、これにより、ＤＣＮＮアーキテクチャーが、ニューラルネットワークにおいて、ＣＥＤ画像とＭＲ画像との間で内部相関を構築することが可能となる。全体的な画像の前処理ステップを、図１６ａ～１６ｇに示す。
【数13】
【0079】
開示される強化型ＨＮＮアーキテクチャーを、図１７に図示する。ＨＮＮモデルの入力は、前処理後の、ＭＲＩ画像スライスおよびＣＥＤ画像スライスを対応する２値マスクと混合したものである。それぞれのＭＲＩスライスおよびＣＥＤスライスは、１つの対応する２値マスクを共有しており、画像スライスと２値マスクのペアが２つ形成される。それぞれのペアは、スタンドアロン型である。それぞれの訓練分割（５分割交差検証、２００個の画像）において、数千個の独立したＭＲＩおよびＣＥＤのペアが、一緒に（ペアで）混合されて、訓練セットが構築される。ＨＮＮアーキテクチャーは、依然として、マルチ特徴（マルチモダリティ）の画像ペアを扱う能力が拡張された、スタンドアロン型モデルとして機能する。ＨＮＮアーキテクチャーは、ＭＲＩ画像およびＣＥＤ画像の両方から、深層表示を意味的に学習することができ、２つの画像特徴と対応するグラウンドトゥルースマップとの間の内部ＣＮＮネットワークを構築することができる。ＨＮＮは、それぞれのサイド出力層から、ディープスーパービジョンとして作用するグラウンドトゥルース２値マスクペアと同時に、ピクセルごとの前立腺確率マップペア（ＭＲＩおよびＣＥＤ）を生成する。本発明者らが、単一のスタンドアロン型ＨＮＮモデルを用いて異なる画像特徴を訓練しようと試みたのは、これが初めてである。これまでの研究で、本発明者らは、既に、ＨＮＮモデルをＣＴ画像における膵臓のセグメント化およびリンパ節の検出に適用していた。いずれの方法も、内部２値マスクおよびエッジ境界部２値マスクを、ＨＮＮモデルで独立して訓練していた。試験フェーズの間に、２つのＨＮＮモデルにより生成した内部確率マップおよびエッジ境界部確率マップを、ランダムフォレストモデルで集め、最終的なセグメント化が緻密化される。本発明者らのこれまでの研究と比較して、開示される強化型ＨＮＮモデルは、異なる画像特徴（またはモダリティ）を利用して、単一のＨＮＮモデルを訓練し、これにより、可能性として、意味画像のセグメント化タスク、すなわち、ＭＲＩ前立腺セグメント化の信頼性が改善され得る。開示されるモデルは、ＨＮＮアーキテクチャーに、訓練フェーズにおいて、異なる特徴にわたって適切な重みおよびバイアスを自然に学習させる。訓練したネットワークが収束すると、本発明者らは、経験的に、５番目の層のサイド出力が、前立腺の形状に非常に近似していることを見出し、これにより、融合層の出力は些細なものとなる。しかしながら、融合層の出力は、依然として、確率マップを生成するために使用することができる。試験フェーズの間に、本発明者らは、５番目の層のＭＲＩおよびＣＥＤのサイド出力から生成された確率マップを単純に統合し、最終的な前立腺境界部を直接的に生成することができる。したがって、２Ｄ ＭＲ画像を、単一のＨＮＮモデルにより単独で訓練するモルフォロジーの後処理ステップは、最終的には排除することができる。
【0080】
図１８は、試験フェーズにおける、完全に自動化された前立腺セグメント化パイプラインを示す。第１には、試験画像を、より小さな画像にクロッピングし、画像境界部から２５％のピクセルが低減される。第２には、メジアン＋ＩＱＲのスケーリングおよびＣＥＤ強化フィルターにより、対応するＭＲＩ画像スライスおよびＣＥＤ ２Ｄ画像スライスを生成する。第３には、ＭＲＩスライスおよびＣＥＤスライスを、訓練したＨＮＮモデルに対して実行して、確率マップを、ＨＮＮの５番目の層のサイド出力から同時に生成する。第４には、生成されたマップを、もともとの画像空間に変換する。最後に、２つの確率マップを統合し、閾値処理して２値マスクにし、２値マスクから最終的なＶＯＩ輪郭を作製する。
【0081】
図１９（ａ）および（ｃ）は、メジアン＋ＩＱＲのスケーリングおよび［０，２５５］の間の範囲での再スケーリング後のクロッピングしたＭＲＩスライスおよびＣＥＤスライスを示す。図１９（ｂ）および（ｄ）は、訓練したＨＮＮモデルの５番目の層から予測された確率マップである。図１９（ｅ）は、２つの確率マップを組み合わせ、次いで、最も大きな構成要素を単純に閾値処理して２値マスクにし、それを最終的な境界部に変換することによって生成された、最終的な前立腺のＶＯＩ輪郭である。
【0082】
開示される強化型ＨＮＮモデルは、試験フェーズにおいて、複雑なＭＲＩ前立腺形状の変動を効果的に捕捉することができる。画像をクロッピングするステップにより、前立腺ではない領域を破棄し、ＨＮＮアーキテクチャーに、グラウンドトゥルースマップからより微細な詳細を学習させる。前立腺内部２値マスクは、前立腺境界部を描出するための主要な中程度のレベルの手がかりである。ＣＥＤスライスおよびＭＲＩスライスを、内部グラウンドトゥルースマップと組み合わせ、単一のＨＮＮモデルで訓練することは、意味画像セグメント化タスクにとって有益であり得る。訓練フェーズの間に、ＨＮＮモデルは、異なる画像特徴（またはモダリティ）にわたって、内部相関ＣＮＮネットワークを自然に構築することができる。強化型ＨＮＮモデルにより、ＭＲＩ前立腺セグメント化の全体的な性能を高めることができる。
【0083】
開示される強化型ＨＮＮモデルを、２５０個のＭＲ画像データセットを用いて評価するが、これらは、Ｎａｔｉｏｎａｌ Ｃａｎｃｅｒ Ｉｎｓｔｉｔｕｔｅ、Ｍｏｌｅｃｕｌａｒ Ｉｍａｇｉｎｇ Ｂｒａｎｃｈから提供されている。ＭＲ画像は、３．０ Ｔの全身ＭＲＩシステムから取得する。前立腺全体のＴ２強調ＭＲ画像は、スキャン解像度０．２７３４×０．２７３４×３．０ｍｍ３、視野１４０ｍｍ、画像スライス寸法５１２×５１２で、軸方向面で取得した。前立腺の中心が、ＭＲＩスキャンの焦点である。すべての画像は、直腸内コイルを使用して取得するが、これは、前立腺のイメージングに日常的に使用されている。前立腺の形状および外観は、様々な患者間で大きく変動してしまう。がんを有する患者と有さない患者では、前立腺の形状に広範な変動があり、これには、前立腺肥大およびＥＣＥ（被膜浸潤）に関連する変動性が組み込まれる。しかしながら、本発明者らの事例では、著しい前立腺の境界部の歪みを引き起こしたＥＣＥの例は少なかった。被膜の関与の影響は、本発明者らのセグメント化アルゴリズムの精度への影響がわずかな因子である。２５０件の事例のすべての中で、ほぼすべての前立腺が異常な所見を有するが、これは、主として、ＢＰＨ（良性前立腺過形成）に起因し、このためにすべての前立腺の見た目の違いが引き起こされる。本発明者らの集団では、ほとんどの事例にがんが含まれるが、前立腺の被膜ががんによって、それゆえセグメント化によって、影響を受けることは一般的ではない。それぞれの画像を、対応する前立腺のＶＯＩ輪郭を有する１人の患者に関連付けられている。至適基準の輪郭ＶＯＩは、優れた手作業によるセグメント化から得られ、これは、放射線科医によって作製され、検証される。これらのＶＯＩは、評価のグラウンドトゥルースと考えられる。軸方向のＴ２Ｗ ＭＲ画像を、経験豊富な尿生殖器放射線科医によって、研究に基づくセグメント化ソフトウェアを使用して、面積測定によるアプローチ（軸方向図での前立腺のスライス様の輪郭処理）において手作業でセグメント化した。これらのセグメント化は、すべて、患者が臨床的に読み取られているときに行われる。
【0084】
得られた２５０個の画像を用いて、本発明者らの実験を、２００個の画像が訓練用、その他の５０個の画像が５分割交差検証での試験用の割合で、実行する。それぞれの分割を、互いに独立した１つのディープラーニングモデルで訓練する。３回の実験を、それぞれの分割に行って、最終的なセグメント化されたＶＯＩ輪郭を、２値マスクに基づく比較において、グラウンドトゥルースＶＯＩ輪郭により評価する。
【0085】
それぞれの実験の訓練プロセスを簡略的に説明する。１）Ａｌｅｘ－ｎｅｔモデル：２Ｄ ６４×６４のパッチ（陽性および陰性）を、節２．１に記載されるように、２００個の画像から、法線に沿って収集する。Ｘ軸およびＹ軸に平行に配向した生成された１００万個のパッチを使用して、１つのＡｌｅｘ－ｎｅｔのディープラーニングモデルを訓練する。２）ＨＮＮ＿ｍｒｉモデル：およそ５０００個の２Ｄ ＭＲ画像スライスおよび対応するＶＯＩ ２値マスクのペアを使用して、１つのＨＮＮモデルを訓練する。これらの画像ペアは、前立腺特異的ＨＮＮモデルを生成するように、ＢＳＤＳ ５００アーキテクチャーおよびハイパーパラメーター設定で、微調整されている。３）ＨＮＮ＿ｍｒｉ＿ｃｅｄモデル：前処理ステップの後に、およそ１００００個の２Ｄ ＭＲ画像スライスおよび２値マスクのペア、ならびに２Ｄ ＣＥＤおよび２値マスクのペアを、一緒に混合して（ペアで）、１つのスタンドアロン型ＨＮＮモデルを訓練する。試験フェーズの間に、残りの５０個の画像（それぞれの分割における）を、それぞれの訓練したモデルに対して実行して、確率マップを生成する。それぞれの方法について、本発明者らは、確率マップからＶＯＩ輪郭を抽出するために、異なる戦略を使用する。１）Ａｌｅｘ－ｎｅｔのアプローチ：本発明者らは、法線に沿って最も高い確率点を特定し、Ｂ－スプラインを使用して、最終的なＶＯＩ輪郭をなめらかにする。２）ＨＮＮ－ｍｒｉスタンドアロン型モデル：本発明者らは、確率マップから最も大きな領域をフィルタリングするために、オブジェクトを特定するモルフォロジー演算（ｍｏｒｐｈｏｌｏｇｙ ｗｉｔｈ ｉｄｅｎｔｉｔｙ ｏｂｊｅｃｔ ｏｐｅｒａｔｉｏｎ）を利用し、それを最終的なＶＯＩに変換する。３）ＨＮＮ＿ｍｒｉ＿ｃｅｄマルチ特徴スタンドアロン型モデル：本発明者らは、５番目のサイド出力層から、確率マップを直接的に閾値処理して、最終的なＶＯＩ輪郭を生成する。性能の評価は、最終的なＶＯＩ輪郭を２値マスクに変換することによる、２値マスクに基づく比較である。
【0086】
セグメント化性能（表３）を、（１）Ｄｉｃｅ類似性係数（ＤＳＣ）、（２）Ｊａｃｃａｒｄ（ＩｏＵ）、（３）ハウスドルフ距離（ＨＤＲＦＤＳＴ、ｍｍ）、および（４）平均の最小表面間距離（ＡＶＧＤＩＳＴ、ｍｍ）を用いて評価した。すべてのメトリクス（ｍｅｔｒｉｃｓ）は、距離に基づく尺度の外れ値を回避するために、任意の端部輪郭をトリミングすることもデータを［５％，９５％］の確率区間にクロッピングすることもなしに、計算する。マスクに基づく性能の尺度は、セグメント化評価ツールを使用して、グラウンドトゥルースおよびセグメント化したマスクを比較する。開示されるディープラーニングモデル間での性能の差の統計学的有意性は、ウィルコクソン符号順位検定を使用して、ＤＳＣ、ＩｏＵ、およびＨＤＲＦＤＳＴに関して、ｐ値をコンピューティングすることによって、判定する。ＭＲＩ単独でのＨＮＮモデルは、平均ＤＳＣを８１．０３％から８６．８６％に上昇させ（ｐ＜０．００１）、平均ＩｏＵを６８．５７％から７７．４８％に上昇させ（ｐ＜０．００１）、これは、輪郭の緻密化に使用されるＡｌｅｘ－ｎｅｔのディープラーニングモデルに対する有意な改善である。強化型ＨＮＮモデル（ＭＲＩ＋ＣＥＤ）は、さらに、ＤＳＣおよびＩｏＵの両方において、セグメント化性能を、ＨＮＮ ＭＲＩスタンドアロン型モデルから３％（ｐ＜０．００１）向上させる。これらの結果により、単一のＨＮＮモデルを異なる画像特徴（またはモダリティ）にわたって訓練することが、意味画像セグメント化の信頼性を本質的に改善し得ることが示される。ＭＲＩ前立腺セグメント化の場合、強化型ＨＮＮモデルは、試験フェーズにおいて、複雑な前立腺形状の変動を捕捉することができる。強化型モデルはまた、１３．５２±７．８７ｍｍのハウスドルフ距離（ｐ＜０．００１）を達成し、これは、ＨＮＮ ＭＲＩ＋ＣＥＤが、ＨＮＮ ＭＲＩ単独よりも、また最悪の場合でもＡＡＭ Ａｌｅｘ－ｎｅｔモデルよりも、ロバストであることを示す。
【表3】
【0087】
患者事例の数例を、図２０に示す。緑色は、グラウンドトゥルースを示し、赤色は、強化型ＨＮＮモデルのセグメント化結果を示す。図２０はまた、それぞれの患者について、本発明者らのモデルが生成した表面と、グラウンドトゥルース表面との間で重複している３Ｄ表面を図示する。知覚的に、開示される方法は、最良、正常、および最悪の事例から、有望なセグメント化結果を示す。認識できる体積の差および高いハウスドルフ距離は、主として、頂点および基底部の誤った輪郭が寄与している。全体として、開示される強化型ＨＮＮモデルは、他の医療用イメージングセグメント化タスクに高度に一般化可能であり得る。
【0088】
第１のＡＡＭ＋Ａｌｅｘ－ｎｅｔの方法は、２つの主要な構成ブロックから構成されていた。第１の構成ブロックは、ＳｔｅｇｍａｎｎらのＡＡＭモデルを、Ｊａｖａ（登録商標）を用いてＭＩＰＡＶに実装していた。従来的なＡＡＭスタンドアロン型モデルは、形状の変動を捕捉するために、多数の画像およびＶＯＩが必要であった。単一のＡＡＭモデルを多数の画像テクスチャーおよびＶＯＩで訓練することは、実際には、不規則な形状および不安定なセグメント化を生成することが常である。本発明者らは、比較的類似する画像およびＶＯＩの形状が、ＰＣＡモデルにおいて、より高い数の固有値で確実に訓練され得るように、部分群によるアトラスに基づくＡＡＭ訓練を実装した。アトラスによる網羅的な検索アルゴリズムは、形状およびテクスチャーの変動を捕捉する多数の群を生成する。このアトラスに基づくＡＡＭ戦略により、セグメント化エラーを低減することができる。ＡＡＭモデルが、最初のＶＯＩ輪郭を生成した後に、本発明者らは、パッチに基づくＡｌｅｘ－ｎｅｔのディープラーニングモデルを適用して、境界部を緻密化する。修正された線形単位を、標準的なニューロンモデルの代わりのニューロンモデルとして使用する：ｆ（ｘ）＝ｔａｎｈ（ｘ）およびｆ（ｘ）＝（１－ｅ－ｘ）－１。それぞれの訓練分割について、本発明者らは、訓練セットにランダムサンプリングを適用し、これにより、訓練セットを、ランダムな訓練サブセットおよび試験サブセットに分ける。しかしながら、本発明者らは、訓練の前に、１Ｍパッチにランダムな初期化を適用しなかった。
【0089】
ＣＮＮネットワークが前立腺境界部をどの程度良好に学習したかを定性的に評価するために、図２１により、１つの試験事例に対する「陽性」および「陰性」の画像パッチのランダムなサブセットに対する典型的な分類確率を示す。前立腺境界部の中心に置かれているそれぞれのパッチ（「陽性」）、および境界部から外れているもの（「陰性」）の確率を、示す。正しいグラウンドトゥルースラベルを、それぞれの画像パッチの下に記述する。最も高いＣＮＮ確率を有するカテゴリを、上位バーとして示し、正しく分類されている場合はピンク色、誤って分類されている場合には紫色で示す。データ増強を用いて、本発明者らは、それぞれのパッチを、９０度、１８０度、および２７０度回転させ、それぞれのパッチを、Ｘ軸およびＹ軸で反転させる。このアプローチは、訓練時間および試験時間を低下させ、Ｄｉｃｅスコアおよびハウスドルフ距離のいずれにおいても改善をもたらさない。本発明者らは、生成されたパッチを使用して、Ａｌｅｘ－ｎｅｔのディープラーニングモデルを、いずれのデータ増強もなしに直接的に訓練した。
【0090】
第２のＨＮＮ＿ｍｒｉスタンドアロン型方法について、本発明者らは、ＨＥＤ実装（Ｃ＋＋およびＰｙｔｈｏｎ）を、基本のＨＮＮアーキテクチャーとして利用した。この方法は、ＦＣＮおよびＤＳＮに加えて、最新のＣａｆｆｅライブラリおよびビルドを使用して実装した。本発明者らは、同じＨＮＮアーキテクチャーおよびＢＳＤＳ ５００のハイパーパラメーター設定を利用した。また、本発明者らは、ＨＮＮを、ＢＳＤＳ ５００で訓練するときに、前立腺マスクの微調整に、ＶＧＧ重みを使用した。ハイパーパラメーター（値を選択）には、バッチサイズ（１）、学習率（１０ｅ－７）、モメンタム（０．９）、重み減衰（０．０００２）、訓練反復回数（３００００、１００００回の反復の後は、学習率を１０で除す）が含まれる。本発明者らはまた、ＭＩＰＡＶ Ｊａｖａ（登録商標）ルーチンを実装して、ＨＮＮ予測の後に確率マップからの画像処理およびＶＯＩ抽出を扱った。最初に確率マップに適用される閾値フィルター［２４０，２５５］は、融合層サイド出力から生成されたものであり、これを、［０，１］から［０，２５５］にスケーリングする。次いで、オブジェクトを特定するモルフォロジー演算（ＭＩＰＡＶ）を、フラッド値１で、フラッドに適用し、すべての可能性のある領域を埋め、前立腺を表す最も大きな領域をフィルタリングする。最後に、２Ｄ領域マスクをＶＯＩ輪郭に変換する。
【0091】
第３のＡｌｅｘ＿ｍｒｉ＿ｃｅｄ単一スタンドアロン型ＨＮＮ方法については、本発明者らは、第２の方法におけるスタンドアロン型ＨＮＮモデルを何の修正もなしに単純に使用し、ＨＮＮ予測後に、前処理ステップ、マルチ特徴（マルチモダリティ）画像Ｉ／Ｏ、およびデュアル確率マップ内挿法を扱うために、ＭＩＰＡＶにＪａｖａ（登録商標）ラッパーを実装した。本発明者らがモデルを訓練したときに、マルチ特徴の画像ペア（ＭＲＩおよびＣＥＤ ２Ｄのスライスと、２値マスク）を、単一のスタンドアロン型ＨＮＮアーキテクチャーにフィードし、ネットワークに、マルチ特徴画像間での深層表示を自然に構築させた。コヒーレンス強化拡散（ＣＥＤ）フィルターを、以下のパラメーターで、ＭＩＰＡＶに実装した：誘導スケール（０．５）、ガウススケール（２．０）、反復回数（５０）、２５Ｄ（真）。ＨＮＮ予測が、５番目のサイド出力層からＭＲＩおよびＣＥＤの確率マップを生成した後、本発明者らは、２つのマップを融合して１つにし、単純に閾値フィルター［２４０，２５５］を適用して、最も大きな領域のマスクを構築し、それを最終的なＶＯＩ輪郭に変換した。
【0092】
ＡＡＭ＋Ａｌｅｘ－ｎｅｔの方法では、１つのＡＡＭモデルを訓練するためのおよその経過時間は、それぞれの分割において２００個の画像について、約２時間である。パッチに基づくＡｌｅｘ－ｎｅｔのディープラーニングモデルを訓練するためには、単一Ｔｉｔａｎ Ｚ ＧＰＵで、たった１つのモデルを訓練するのに約５日間かかる。いったん訓練すると、それぞれの試験画像に対する平均実行時間は、次のようになる：ＡＡＭモデルは、初期ＶＯＩ輪郭を生成するのに３分間かかる。初期輪郭からのパッチの生成、Ａｌｅｘ－ｎｅｔモデルから確率マップを予測すること、およびマップを最終的なＶＯＩ輪郭に変換することを合わせると、約５分間かかる。したがって、それぞれの試験画像の完全な処理時間は、約８分間である。
【0093】
ＨＮＮ＿ｍｒｉスタンドアロン型モデルでの訓練は、単一ＮＶＩＤＩＡ Ｔｉｔａｎ Ｚ ＧＰＵで約２日間かかる。典型的な試験画像（５１２×５１２×２６）については、ＨＮＮモデルが、確率を生成するのにかかるのは２秒間よりも短く、Ｊａｖａ（登録商標）ルーチンが確率マップを最終的なＶＯＩに変換するのにかかるのは１秒間である。それぞれの試験画像の全セグメント化時間は、３秒間であり、これは、ＡＡＭ＋Ａｌｅｘ－ｎｅｔの方法よりも著しく速い。
【0094】
ＨＮＮ＿ｍｒｉ＿ｃｅｄの方法は、前処理および後処理のステップを扱うのに余分な時間がかかる。ＣＥＤフィルターは、時間がかかるステップであり、それぞれの画像がＣＥＤ画像を生成するのに約３０秒間かかる。それぞれの分割からのＭＲＩおよびＣＥＤのペアに基づいて、ＨＮＮモデルを訓練するのには、単一Ｔｉｔａｎ Ｚカードで２．５日間かかる。それぞれの試験画像が最終的なＶＯＩ輪郭を生成するための全処理時間は、約２分間である。
【0095】
開示される強化型ＨＮＮモデルは、ＭＲＩ前立腺セグメント化に対する性能が非常に良好であり、５分割交差検証において平均ＤＳＣ（８９．７７％±３．２９％）が報告されている。表４は、本発明者らの方法と、選択された他の方法とのおおまかな比較を示す。定性的なデータは、本発明者らの方法が、頂点および基底部において何らかの誤った輪郭をトリミングすること、すなわち、５％またはα＝０．９５で端部輪郭をトリミングすることを伴わずに、比較的信頼できるＭＲＩ前立腺セグメント化が得られることを示す。
【表4】
【0096】
測定した実行時間により、ＨＮＮに基づく２つの方法が、訓練フェーズおよび試験フェーズの両方において、パッチに基づくＡｌｅｘ－ｎｅｔの方法よりも性能が優れていることが明らかとなった。これは、主として、Ａｌｅｘ－ｎｅｔのアーキテクチャーによるコンボリューションの際に作製される巨大なパラメーター空間に起因する。マルチスケールおよびマルチレベルのＨＮＮアーキテクチャーは、ＶＧＧＮｅｔ １６からの全結合層の除去およびサイド出力層での置き換えのために、Ａｌｅｘ－ｎｅｔの対応物よりも速く収束する。強化型ＨＮＮ＿ｍｒｉ＿ｃｅｄモデルは、画像の前処理および後処理ステップを行うのに余分な時間がかかるが、マルチ特徴の訓練および予測の機序は、ＨＮＮ＿ｍｒｉスタンドアロン型モデルから、セグメント化性能を３％向上させる。したがって、開示される強化型ＨＮＮモデルは、処理時間およびセグメント化性能の両方の点で、Ａｌｅｘ＿ｎｅｔモデルよりも良好な選択肢である。
【0097】
Ａｌｅｘ－ｎｅｔは、訓練および試験が、固定サイズのパッチ、たとえば、６４×６４のパッチに制約される、第１世代のディープラーニングモデルである。Ａｌｅｘ－ｎｅｔのＤＣＮＮモデルは、自動的特徴学習、マルチスケールコンボリューション、および異なるレベルの視覚認知の強調に焦点を当てている。しかしながら、フィードバックは、通常、中間層を通じて逆伝播されるため、隠れ層で生成されるマルチスケールの応答は、意味が少ない。パッチからピクセルおよびパッチからパッチへの戦略は、訓練および予測の効率を著しく低下させる。Ａｌｅｘ－ｎｅｔのいくつかの欠点としては、次のものがある：１）巨大なパラメーター空間が、最後３つの全結合層から作製され、これにより、訓練性能が低下し、単一のグラフィックカードで訓練されるパッチの数が制限される。２）不均衡なパッチラベル付けにより、Ａｌｅｘ－ｎｅｔモデルは、容易に過剰適合が起こる。３）それぞれのパッチ（６４×６４）は、パッチ自体の内部の階層関係を維持するようにコンボリューションされる。訓練フェーズの間のパッチ間の前後関係または相関関係に関する情報は存在しない。
【0098】
ＨＮＮ＿ｍｒｉモデルは、ディープラーニングモデルの改良を表す。Ａｌｅｘ－ｎｅｔのＤＣＮＮモデルとは対照的に、ホリスティックネスト型ネット（ＨＮＮ）は、ＶＧＧＮｅｔ １６上でディープスーパービジョンを用いた、全コンボリューションニューラルネットワークによって想起されたシステムである、端部から端部への検出システムを強調する。第１世代のＡｌｅｘ－ｎｅｔモデルよりも優れた利点としては、次のものが挙げられる：１）ピクセルごとのラベル付けコストを使用した、端部から端部への画像全体に対する訓練および予測。２）マルチ伝播損失を介したマルチスケールおよびマルチレベルの学習の組込み。３）任意の入力生画像からそのアノテーションされたラベル付けマップへの、画像から画像またはピクセルからピクセルへの予測マップのコンピューティング。４）階層特徴の学習の統合。５）ＨＮＮが、単一のストリームラインパス（steam line path）で、それぞれのスライスのセグメント化を生成し、多数のパッチのそれぞれのセグメント化を実行することなしに、処理時間を加速するという事実に起因した、Ａｌｅｘ－ｎｅｔモデルよりもさらに高速な性能。
【0099】
強化型ＨＮＮ＿ｍｒｉ＿ｃｅｄモデルは、マルチ特徴（マルチモダリティ）を、単一のスタンドアロン型ＨＮＮモデルに組み入れる。単一のスタンドアロン型ＨＮＮ＿ｍｒｉモデルによる３つの懸念に対処するために、強化型モデルは、１）大きな非前立腺領域を除去するクロッピングを利用し、ＨＮＮ訓練をより正確かつ効率的にする。２）メジアン＋ＩＱＲフィルターにより、ＭＲ画像を正規化して、大きな強度分布変動の問題を抑制する。３）ＣＥＤスライスおよびＭＲスライスを、単一のスタンドアロン型ＨＮＮアーキテクチャーにフィードして、ＨＮＮモデルに、マルチ特徴およびマルチスケールからの深層表示を自然に学習および構築させて、ＨＮＮ予測の信頼性を強化する。
【0100】
結論として、本発明者らは、自動的ＭＲＩ前立腺セグメント化のためのホリスティックな深層ＣＮＮアプローチを提示し、単一のＨＮＮモデルによるマルチ特徴（ＭＲＩ＋ＣＥＤ、またはモダリティ）の訓練を利用し、予測されたＭＲＩおよびＣＥＤの確率マップを融合することによって、ロバストなセグメント化結果を生成する。これまでのＡｌｅｘ－ｎｅｔのディープラーニングアプローチは、典型的に、パッチに基づくシステムを使用しているが、これは、訓練および試験の両方が効率的でない場合があり、セグメント化の精度が限定されている。開示される強化型ＨＮＮモデルは、複数の画像特徴（またはモダリティ）にわたって、マルチスケールおよびマルチレベルの特徴学習を組み込むことができ、画像から画像の様式で、マルチスケールの出力を即座に生成し、融合する。強化型ＨＮＮモデルは、Ａｌｅｘ－ｎｅｔのディープラーニングモデルから、セグメント化性能を、平均ＤＳＣにおいては９％、および平均ＩｏＵにおいては１３％上昇しており、これは、セグメント化の精度を有意に改善する（ｐ＜０．００１）。加えて、開示されるモデルは、他の文献のアプローチと比較して、最新の性能に近い。マルチ特徴（またはモダリティ）アプローチを有する強化型ＨＮＮモデルは、他の医療用イメージングセグメント化タスク、たとえば、関連する方法における器官または腫瘍に、一般化可能である。
【0101】
この説明の目的で、本開示の実施形態のある特定の態様、利点、および新規な特徴が、本明細書に記載されている。開示される方法、装置、およびシステムは、決して、制限として解釈されるものではない。代わりに、本開示は、様々な開示される実施形態のすべての新規で自明でない特徴および態様を、単独で、または互いの様々な組み合わせおよび部分的な組み合わせで、対象としている。本方法、装置、およびシステムは、任意の特定の態様または特徴にも、それらの組み合わせにも制限されるものではなく、開示される実施形態が、任意の１つまたは複数の特定の利点が存在することも、問題が解決されることも必要とするものでもない。
【0102】
本発明の特定の態様、実施形態、または例と併せて記載されている特徴、整数、特性、または群は、それらと不適合でない限り、本明細書に記載される任意の他の態様、実施形態、または例に、適用可能であることを理解されたい。本明細書（任意の添付の特許請求の範囲、要約書、および図面を含む）に開示される特徴のすべて、および／またはそのようにして開示されている任意の方法もしくはプロセスのステップのすべては、任意の組み合わせで組み合わせることができるが、そのような特徴および／またはステップのうちの少なくとも一部が、相互に排他的である場合の組み合わせは除く。本発明は、いずれの前述の実施形態の詳細にも制限されない。本発明は、本明細書（任意の添付の特許請求の範囲、要約書、および図面を含む）に開示されている特徴の任意の新規なものもしくは任意の新規な組み合わせ、またはそのようにして開示されている任意の方法もしくはプロセスのステップの任意の新規なものもしくは任意の新規な組み合わせに、及ぶ。
【0103】
開示される方法のうちの一部のものの操作は、便宜上の提示のために、具体的な順序で記載されているが、この説明様式は、特定の順序が特定の語法によって必要とされない限り、再配列を包含することを理解されたい。たとえば、順に説明されている操作は、一部の事例では、再配列されてもよく、または同時に行われてもよい。さらに、単純さの目的で、添付の図面は、開示される方法が、他の方法と併せて使用され得る様々な手法を、示していない場合がある。本明細書において使用されるとき、「１つの（ａ）」、「１つの（ａｎ）」、および「少なくとも１つの」という用語は、１つまたは複数の、指定された要素を包含する。すなわち、特定の要素が２つ存在する場合、これらの要素のうちの１つも存在し、したがって、「１つの」要素が存在する。「複数の（ａ ｐｌｕｒａｌｉｔｙ ｏｆ）」および「複数の（ｐｌｕｒａｌ）」という用語は、２つまたはそれよりも多くの、指定された要素を意味する。本明細書において使用されるとき、要素の一覧のうちの最後の２つの間で使用される「および／または」という用語は、列挙された要素のうちのいずれか１つまたは複数を意味する。たとえば、「Ａ、Ｂ、および／またはＣ」という語句は、「Ａ」、「Ｂ」、「Ｃ」、「ＡおよびＢ」、「ＡおよびＣ」、「ＢおよびＣ」、または「Ａ、Ｂ、およびＣ」を意味する。本明細書において使用されるとき、「結合した」という用語は、一般に、物理的に、化学的に、電気的に、磁気的に、またはそれ以外の方法で結合または連結されていることを意味し、結合されているものの間の中間要素の存在が、特定の逆の語法では不在であることを除外するものではない。
【0104】
開示される技術の原理を適用することができる多数の可能性のある実施形態を考慮して、例示された実施形態が、例にすぎず、本開示の範囲を制限するものとして捉えられるものではないことを理解されたい。むしろ、本開示の範囲は、少なくとも、以下の特許請求の範囲ほどに広義である。したがって、これらの特許請求の範囲の範囲内のものすべてに関して特許請求がなされる。
特定の実施形態では、例えば以下の項目が提供される。
（項目１）
前立腺のマルチパラメトリック磁気共鳴イメージング（ｍｐＭＲＩ）データから、前立腺がんを検出する方法であって、システムが、
前立腺のｍｐＭＲＩデータを受信することと、
前記ｍｐＭＲＩデータに適用されるピクセル様のランダムフォレスト機械学習を使用して、前記ｍｐＭＲＩデータから、前立腺がんの確率画像を生成することと、
前記前立腺がんの確率画像に基づいて、前記前立腺における可能性のある生検部位を判定することと
を含む、方法。
（項目２）
ｍｐＭＲＩデータが、Ｔ２Ｗ画像、ＡＤＣ画像、およびＢ２０００ ＭＲＩ画像を含む、項目１に記載の方法。
（項目３）
前記ｍｐＭＲＩデータから前記前立腺がんの確率画像を生成することが、インスタンスレベルの重み付けを使用することを含む、項目１または項目２に記載の方法。
（項目４）
前記ｍｐＭＲＩデータから前記前立腺がんの確率画像を生成することが、辺縁域および移行域に特化した特徴として、移行域までの符号付きユークリッド距離を使用することを含む、項目１～項目３のいずれか一項に記載の方法。
（項目５）
前記ピクセル様のランダムフォレストが、手描きの輪郭、標的化された生検、および正常な事例を含む、複数の種類のアノテーションに対して訓練される、項目１～項目４のいずれか一項に記載の方法。
（項目６）
ピクセル様のランダムフォレスト機械学習を使用して、前記ｍｐＭＲＩデータから、前立腺がんの確率画像を生成することが、ハラリックのテクスチャー特徴を使用することを含む、項目１～項目５のいずれか一項に記載の方法。
（項目７）
ピクセル様のランダムフォレスト機械学習を使用して、前記ｍｐＭＲＩデータから、前立腺がんの確率画像を生成することが、前記ｍｐＭＲＩデータに適用される強度特徴を使用することを含む、項目１～項目６のいずれか一項に記載の方法。
（項目８）
ＡｕｔｏＣｏｎｔｅｘｔを使用することをさらに含む、項目１～項目７のいずれか一項に記載の方法。
（項目９）
項目１～項目８のいずれか一項に記載の方法を行うように構成される、システム。
（項目１０）
コンピューティングシステムによって実行されると、前記コンピューティングシステムに、項目１～項目８のいずれか一項に記載の方法を行わせることができる、コンピューター実行可能命令を含む、コンピューター可読記憶装置。
（項目１１）
前立腺のＭＲ画像のセグメント化の方法であって、
前立腺のＭＲ画像を受信することと、
ホリスティックネスト型ネットワーク（ＨＮＮ）によるディープラーニングを使用して、前記ＭＲ画像から、セグメント化された前立腺の画像を生成することと、
前記セグメント化された前立腺の画像を使用して、前記前立腺における可能性のあるがんを検出することと
を含む、方法。
（項目１２）
前記ＭＲ画像が、前記前立腺のＴ２強調（Ｔ２ｗ）ＭＲ画像である、項目１１に記載の方法。
（項目１３）
ＨＮＮによるディープラーニングを使用して、前記ＭＲ画像から、セグメント化された前立腺の画像を生成することが、独立部分空間分析を使用して、教師なしの様式で、最も有効な特徴を学習することを含む、項目１１または項目１２に記載の方法。
（項目１４）
ＨＮＮによるディープラーニングを使用して、前記ＭＲ画像から、セグメント化された前立腺の画像を生成することが、深層特徴学習をスパースパッチマッチングと統一することを含む、項目１１～項目１３のいずれか一項に記載の方法。
（項目１５）
ＨＮＮによるディープラーニングを使用して、前記ＭＲ画像から、セグメント化された前立腺の画像を生成することが、３Ｄ体積深層コンボリューションニューラルネットワーク（ＣＮＮ）を使用して、軸方向画像をモデル化すること、およびＤｉｃｅ係数目標関数により訓練を最適化することを含む、項目１１～項目１４のいずれか一項に記載の方法。
（項目１６）
ＨＮＮによるディープラーニングを使用して、前記ＭＲ画像から、セグメント化された前立腺の画像を生成することが、左右対称の残差ネット層ブロックを、３Ｄコンボリューションおよびデコンボリューションアーキテクチャーに組み込むことを含む、項目１１～項目１５のいずれか一項に記載の方法。
（項目１７）
ＨＮＮによるディープラーニングを使用して、前記ＭＲ画像から、セグメント化された前立腺の画像を生成することは、顕著性エッジマップを利用して、前立腺ＭＲ画像の豊富な階層特徴をホリスティックに学習することを含む、項目１１～項目１６のいずれか一項に記載の方法。
（項目１８）
前記ＨＮＮが、コヒーレンス強化拡散（ＣＥＤ）画像およびＴ２ ＭＲ画像を混合したもので訓練されており、ＣＥＤ画像およびＴ２ ＭＲ画像から予測される確率マップを融合することができる、項目１７に記載の方法。
（項目１９）
項目１１～項目１８のいずれか一項に記載の方法を行うように構成される、システム。
（項目２０）
コンピューティングシステムによって実行されると、前記コンピューティングシステムに、項目１１～項目１８のいずれか一項に記載の方法を行わせることができる、コンピューター実行可能命令を含む、コンピューター可読記憶装置。
特定の実施形態では、例えば以下の項目が提供される。
（項目１）
前立腺のマルチパラメトリック磁気共鳴イメージング（ｍｐＭＲＩ）データから、前立腺がんを検出する方法であって、システムが、
前立腺のｍｐＭＲＩデータを受信することと、
前記ｍｐＭＲＩデータに適用されるピクセル様のランダムフォレスト機械学習を使用して、前記ｍｐＭＲＩデータから、前立腺がんの確率画像を生成することと、
前記前立腺がんの確率画像に基づいて、前記前立腺における可能性のある生検部位を判定することと
を含む、方法。
（項目２）
ｍｐＭＲＩデータが、Ｔ２Ｗ画像、ＡＤＣ画像、およびＢ２０００ ＭＲＩ画像を含む、項目１に記載の方法。
（項目３）
前記ｍｐＭＲＩデータから前記前立腺がんの確率画像を生成することが、インスタンスレベルの重み付けを使用することを含む、項目１または項目２に記載の方法。
（項目４）
前記ｍｐＭＲＩデータから前記前立腺がんの確率画像を生成することが、辺縁域および移行域に特化した特徴として、移行域までの符号付きユークリッド距離を使用することを含む、項目１～項目３のいずれか一項に記載の方法。
（項目５）
前記ピクセル様のランダムフォレストが、手描きの輪郭、標的化された生検、および正常な事例を含む、複数の種類のアノテーションに対して訓練される、項目１～項目４のいずれか一項に記載の方法。
（項目６）
ピクセル様のランダムフォレスト機械学習を使用して、前記ｍｐＭＲＩデータから、前立腺がんの確率画像を生成することが、ハラリックのテクスチャー特徴を使用することを含む、項目１～項目５のいずれか一項に記載の方法。
（項目７）
ピクセル様のランダムフォレスト機械学習を使用して、前記ｍｐＭＲＩデータから、前立腺がんの確率画像を生成することが、前記ｍｐＭＲＩデータに適用される強度特徴を使用することを含む、項目１～項目６のいずれか一項に記載の方法。
（項目８）
ＡｕｔｏＣｏｎｔｅｘｔを使用することをさらに含む、項目１～項目７のいずれか一項に記載の方法。
（項目９）
項目１～項目８のいずれか一項に記載の方法を行うように構成される、システム。
（項目１０）
コンピューティングシステムによって実行されると、前記コンピューティングシステムに、項目１～項目８のいずれか一項に記載の方法を行わせることができる、コンピューター実行可能命令を含む、コンピューター可読記憶装置。
（項目１１）
前立腺のＭＲ画像のセグメント化の方法であって、
前立腺のＭＲ画像を受信することと、
ホリスティックネスト型ネットワーク（ＨＮＮ）によるディープラーニングを使用して、前記ＭＲ画像から、セグメント化された前立腺の画像を生成することと、
前記セグメント化された前立腺の画像を使用して、前記前立腺における可能性のあるがんを検出することと
を含む、方法。
（項目１２）
前記ＭＲ画像が、前記前立腺のＴ２強調（Ｔ２ｗ）ＭＲ画像である、項目１１に記載の方法。
（項目１３）
ＨＮＮによるディープラーニングを使用して、前記ＭＲ画像から、セグメント化された前立腺の画像を生成することが、独立部分空間分析を使用して、教師なしの様式で、最も有効な特徴を学習することを含む、項目１１または項目１２に記載の方法。
（項目１４）
ＨＮＮによるディープラーニングを使用して、前記ＭＲ画像から、セグメント化された前立腺の画像を生成することが、深層特徴学習をスパースパッチマッチングと統一することを含む、項目１１～項目１３のいずれか一項に記載の方法。
（項目１５）
ＨＮＮによるディープラーニングを使用して、前記ＭＲ画像から、セグメント化された前立腺の画像を生成することが、３Ｄ体積深層コンボリューションニューラルネットワーク（ＣＮＮ）を使用して、軸方向画像をモデル化すること、およびＤｉｃｅ係数目標関数により訓練を最適化することを含む、項目１１～項目１４のいずれか一項に記載の方法。
（項目１６）
ＨＮＮによるディープラーニングを使用して、前記ＭＲ画像から、セグメント化された前立腺の画像を生成することが、左右対称の残差ネット層ブロックを、３Ｄコンボリューションおよびデコンボリューションアーキテクチャーに組み込むことを含む、項目１１～項目１５のいずれか一項に記載の方法。
（項目１７）
ＨＮＮによるディープラーニングを使用して、前記ＭＲ画像から、セグメント化された前立腺の画像を生成することは、顕著性エッジマップを利用して、前立腺ＭＲ画像の豊富な階層特徴をホリスティックに学習することを含む、項目１１～項目１６のいずれか一項に記載の方法。
（項目１８）
前記ＨＮＮが、コヒーレンス強化拡散（ＣＥＤ）画像およびＴ２ ＭＲ画像を混合したもので訓練されており、ＣＥＤ画像およびＴ２ ＭＲ画像から予測される確率マップを融合することができる、項目１７に記載の方法。
（項目１９）
項目１１～項目１８のいずれか一項に記載の方法を行うように構成される、システム。
（項目２０）
コンピューティングシステムによって実行されると、前記コンピューティングシステムに、項目１１～項目１８のいずれか一項に記載の方法を行わせることができる、コンピューター実行可能命令を含む、コンピューター可読記憶装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図11C】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19A】
【図19B】
【図19C】
【図19D】
【図19E】
【図20A】
【図20B】
【図20C】
【図20D】
【図21】
