特表 2021-527478 第２のリーダー

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2021-527478(P2021-527478A)

(43)【公表日】2021年10月14日

(54)【発明の名称】第２のリーダー

(51)【国際特許分類】

   A61B 6/00 20060101AFI20210917BHJP

【ＦＩ】

   A61B6/00 360Z

   A61B6/00 330Z

【審査請求】未請求

【予備審査請求】有

【全頁数】29

(21)【出願番号】特願2020-568814(P2020-568814)

(86)(22)【出願日】2019年6月14日

(85)【翻訳文提出日】2021年2月4日

(86)【国際出願番号】GB2019051667

(87)【国際公開番号】WO2019239154

(87)【国際公開日】20191219

(31)【優先権主張番号】1809796.4

(32)【優先日】2018年6月14日

(33)【優先権主張国】GB

(31)【優先権主張番号】1819329.2

(32)【優先日】2018年11月27日

(33)【優先権主張国】GB

(31)【優先権主張番号】1900212.0

(32)【優先日】2019年1月7日

(33)【優先権主張国】GB

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT

(71)【出願人】

【識別番号】519368116

【氏名又は名称】ケイロン メディカル テクノロジーズ リミテッド

(74)【代理人】

【識別番号】110000855

【氏名又は名称】特許業務法人浅村特許事務所

(72)【発明者】

【氏名】リューケン、トバイアス

(72)【発明者】

【氏名】オニール、マイケル

(72)【発明者】

【氏名】ヘインドル、アンドレアス

(72)【発明者】

【氏名】イヤーズリー、ジョセフ エリオット

(72)【発明者】

【氏名】コルキノフ、ディミトリオス

(72)【発明者】

【氏名】カーラ、ガルバン

(72)【発明者】

【氏名】ケクスケメシー、ピーター

(72)【発明者】

【氏名】カルパティ、イーディス

【テーマコード（参考）】

4C093

【Ｆターム（参考）】

4C093AA07

4C093AA26

4C093CA18

4C093DA06

4C093FD03

4C093FD09

4C093FD11

4C093FD12

4C093FF16

4C093FF19

4C093FF20

4C093FF28

4C093FG16

(57)【要約】

本発明は、人間オペレータと並行して、マンモグラムにおいて悪性腫瘍を自動的に決定する方法及びシステムに関する。より詳細には、本発明は、マンモグラフィ分析ワークフローにおいて２人の人間オペレータの必要を低減するために、人間オペレータと並行して、信頼できる自動化された悪性腫瘍決定を行うことに関する。態様及び／又は実施例は、人間オペレータと並行して、マンモグラフィ・データを自動的に評価する方法を提供することを求める。態様及び／又は実施例はまた、１人のオペレータがマンモグラフィ・データを分析し、診断することを可能にするために、実質的に信頼できる第２のリーダーを与えることに関する問題に対処することを求める。

【特許請求の範囲】

【請求項1】

マンモグラフィ画像を分析するコンピュータ支援方法であって、前記方法は、
複数のマンモグラム（１０）を受信するステップと、
前記マンモグラムの各々についての悪性腫瘍分類を識別することを含む、前記複数のマンモグラム（１０）に対して第１の分析（３０）を実行するステップと、
前記第１の分析（３０）に応じて、マンモグラムの各々についての悪性腫瘍出力値（３０Ｙ）を決定するステップと、
前記複数のマンモグラムについての前記悪性腫瘍出力値を平均化することによって平均悪性腫瘍出力値を決定するステップと、
出力バイナリ悪性腫瘍値（６０Ｙ）を生成するために前記平均悪性腫瘍出力値をしきい値処理するステップと、
各マンモグラムについての複数の位置特定データ・パラメータ（４０Ｘ）を決定するために前記複数のマンモグラムに対して第２の分析（４０）を実行するステップと、
前記出力バイナリ悪性腫瘍値に応じて、前記複数のマンモグラムについての出力位置特定データを生成する（７０）ステップと
を含む、コンピュータ支援方法。

【請求項2】

前記マンモグラムの各々についての悪性腫瘍分類を改善するために複数のマンモグラムを前処理するステップをさらに含み、前処理の前記ステップが、１つ又は複数のトレーニングされたニューラル・ネットワークの使用をさらに含む、請求項１に記載の方法。

【請求項3】

前記複数のマンモグラムに対して前記第１の分析を実行する前記ステップが、１つ又は複数のトレーニングされた畳み込みニューラル・ネットワーク分類器を使用して行われる、請求項１又は２に記載の方法。

【請求項4】

前記トレーニングされた畳み込みニューラル・ネットワーク分類器の重みが、前記畳み込みニューラル・ネットワーク分類器をトレーニングするために使用されるデータに応じてフリーズされる、請求項３に記載の方法。

【請求項5】

前記複数のマンモグラムが、
左側頭蓋尾部マンモグラム（Ｌ−ＣＣ）と、
右側頭蓋尾部マンモグラム（Ｒ−ＣＣ）と、
左側中外斜位方向マンモグラム（Ｌ−ＭＬＯ）と、
右側中外斜位方向マンモグラム（Ｒ−ＭＬＯ）と
を備える、請求項１から４までのいずれか一項に記載の方法。

【請求項6】

前記平均悪性腫瘍出力値が、
すべてのＬ−ＣＣ悪性腫瘍出力値についての平均値、
すべてのＲ−ＣＣ悪性腫瘍出力値についての平均値、
すべてのＬ−ＭＬＯ悪性腫瘍出力値についての平均値、
すべてのＲ−ＭＬＯ悪性腫瘍出力値についての平均値、
すべての左側マンモグラム悪性腫瘍出力値についての平均値、及び
すべての右側マンモグラム悪性腫瘍出力値についての平均値
の任意の組合せを含む、請求項５に記載の方法。

【請求項7】

前記平均悪性腫瘍出力値を決定するために、すべての左側マンモグラム悪性腫瘍出力値についての前記平均値と、すべての右側マンモグラム悪性腫瘍出力値についての前記平均値との間で最大オペレータが実行される、請求項６に記載の方法。

【請求項8】

前記複数のマンモグラムに対して第２の分析を実行する前記ステップが、１つ又は複数のトレーニングされた領域畳み込みニューラル・ネットワーク（ＲＣＮＮ）を使用して行われる、請求項１から７までのいずれか一項に記載の方法。

【請求項9】

前記１つ又は複数のトレーニングされたＲＣＮＮが、前記複数の位置特定データ・パラメータを決定するために複数の下位分割ネットワークを備え、前記下位分割ネットワークが、
境界ボックス生成モデル、
セグメント化モデル、及び
悪性腫瘍分類タイプ・モデル
のうちのいずれか１つ又はそれらの組合せを与える、請求項８に記載の方法。

【請求項10】

前記１つ又は複数のＲＣＮＮが、前記第１の分析を実行するために使用される前記１つ又は複数の畳み込みニューラル・ネットワークの出力畳み込みレイヤに結合された、請求項８又は９に記載の方法。

【請求項11】

前記１つ又は複数のＲＣＮＮが、前記第１の分析を実行するために使用される前記１つ又は複数の畳み込みニューラル・ネットワークの重みを使用してトレーニングされる、請求項１０に記載の方法。

【請求項12】

前記１つ又は複数のトレーニングされたＲＣＮＮが、当該の病変を示すオーバーレイ・マスクを生成し、前記マスクが悪性腫瘍の確率値をさらに備える、請求項９又は１１に記載の方法。

【請求項13】

前記境界ボックス生成モデルが、当該の病変の位置を特定するために非最大抑制を用いて境界ボックス回帰を生成する、請求項９から１２までのいずれか一項に記載の方法。

【請求項14】

前記セグメント化モデルが解剖学的領域及び／又は病変のセグメント化アウトラインを与え、前記セグメント化モデルが位置特定特性をさらに備える、請求項９から１３までのいずれか一項に記載の方法。

【請求項15】

前記悪性腫瘍分類タイプ・モデルが、乳房についての組織タイプと密度カテゴリー分類とを識別する、請求項９から１４までのいずれか一項に記載の方法。

【請求項16】

前記下位分割ネットワークが、前記下位分割ネットワークによって作成されたマスクの集合を備える、請求項９から１５までのいずれか一項に記載の方法。

【請求項17】

前記１つ又は複数のＲＣＮＮが非最大抑制及び／又は重み付きボックス・クラスタ化を用いて集合される、請求項１６に記載の方法。

【請求項18】

前記平均悪性腫瘍出力値をしきい値処理する前記ステップが、前記マンモグラムの複数の動作点を選択すること、随意に、少なくとも６つの動作点を選択することを含む、請求項１から１７までのいずれか一項に記載の方法。

【請求項19】

請求項１から１８までのいずれか一項に記載のステップを実行するために１つ又は複数の畳み込みニューラル・ネットワークをトレーニングする方法であって、前記方法は、
１つ又は複数のマンモグラムを受信することと、
全体的に前記１つ又は複数のマンモグラムを分析するために、１つ又は複数の畳み込みニューラル・ネットワークをトレーニングし、悪性腫瘍値を決定することと、
前記１つ又は複数の畳み込みニューラル・ネットワークのための重みをフリーズすることと、
前記１つ又は複数の畳み込みニューラル・ネットワークの最後の畳み込みレイヤにＲＣＮＮを追加することと、
前記１つ又は複数の畳み込みニューラル・ネットワークの前記フリーズされた重みを使用して前記ＲＣＮＮをトレーニングすることと
を含む、方法。

【請求項20】

前記ＲＣＮＮがマスクＲＣＮＮヘッドを備える、請求項１９に記載の方法。

【請求項21】

前記１つ又は複数のマンモグラムが４０００×４０００ピクセルに制限される、請求項１９又は２０に記載の方法。

【請求項22】

前記マンモグラムが、ウィンドウイング、リサンプリング、及び正規化のうちのいずれか１つ又はそれらの組合せを使用して前処理される、請求項１９から２１までのいずれか一項に記載の方法。

【請求項23】

請求項１から２２までのいずれか一項に記載の方法を実行するように動作可能な装置。

【請求項24】

請求項１から２２までのいずれか一項に記載の方法を実行するように動作可能なシステム。

【請求項25】

請求項１から２２までのいずれか一項に記載の方法を実行するように動作可能なコンピュータ・プログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人間オペレータと並行して、マンモグラムにおける悪性腫瘍を実質的に自動的に決定する方法及びシステムに関する。より詳細には、本発明は、マンモグラフィ分析ワークフローにおいて２人の人間オペレータの必要を低減するために、人間オペレータと並行して、信頼できる自動化された悪性腫瘍決定を与えることに関する。

【背景技術】

【0002】

マンモグラフィは、乳がん検出のために広く使用されている医療撮像モダリティである。マンモグラフィは、人間乳房の内部構造の詳細な画像を生成するために「ソフトな」Ｘ線を利用する。これらの画像はマンモグラムと呼ばれ、マンモグラフィの使用は、（治療可能な段階におけるがんの有効な診断を与えることができる）乳房異常の早期検出におけるゴールド・スタンダードであると考えられる。

【0003】

残念ながら、マンモグラムを分析する手順はしばしば困難である。乳房の密度及び組織タイプは、非常に多様であり、順に、患者遺伝学により、視覚的特徴の高い多様性を提示する。これらの背景視覚パターンは、しばしば悪性腫瘍の小さい兆候を不明瞭にすることができ、したがって、兆候は人間の眼では容易に見落とされ得る。したがって、マンモグラムの分析は、しばしば偽陽性又は偽陰性（ｆａｌｓｅ−ｎｅｇａｔｉｖｅ）の診断結果につながり、これは、治療の失敗（偽陰性の場合）、並びに不要な心理的及び次善のダウンストリーム診断及び治療結果（偽陽性の場合）を引き起こし得る。

【0004】

たいていの先進国は、人口全体のスクリーニング・プログラム、すなわち症状がないある年齢層の女性に定期的な乳房スクリーニングを受けるように呼び集めるための包括的なシステムを維持する。これらのスクリーニング・プログラムは、日常的に多数のマンモグラムを確実に分析することができるトレーニングされた経験豊富な専門家医師が従うべき、高度に標準化されたプロトコルを必要とする。たいていのプロのガイドラインは、２人の等しく専門家の放射線科医による各マンモグラムの読み（二重読み（ｄｏｕｂｌｅ−ｒｅａｄｉｎｇ）として知られている手法）を強く示唆している。現今では、手が空いている高度に熟練した放射線科医の数が不足し、減少しているので、二重読み手法はしばしば実施が困難であるか又は不可能である。

【0005】

２人の専門家の放射線科医の関与は、各ケースのコストを著しく増加させ、また、患者が走査の結果を受け取る時間を延長する。場合によっては、疑わしい病変が両方の専門家の放射線科医によって見逃されることさえある。

【0006】

したがって、二重読みプロセスを必要とするか又は強く示唆するガイドラインを遵守しながら、マンモグラフィ結果の品質を、改善する、それができない場合は少なくとも維持する必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0007】

態様及び／又は実施例は、人間オペレータと並行してマンモグラフィ・データを実質的に自動的に評価する方法を提供することを求める。態様及び／又は実施例はまた、１人のオペレータがマンモグラフィ・データを分析し、診断することを可能にするために、実質的に信頼できる第２のリーダーを与えることに関する問題に対処することを求める。

【課題を解決するための手段】

【0008】

第１の態様によれば、マンモグラフィ画像を分析するコンピュータ支援方法であって、本方法は、複数のマンモグラム（１０）を受信するステップと、マンモグラムの各々についての悪性腫瘍分類を識別することを含む、複数のマンモグラム（１０）に対して第１の分析（３０）を実行するステップと、第１の分析（３０）に応じて、マンモグラムの各々についての悪性腫瘍出力値（３０Ｙ）を決定するステップと、複数のマンモグラムについての悪性腫瘍出力値を平均化することによって平均悪性腫瘍出力値を決定するステップと、出力バイナリ悪性腫瘍値（６０Ｙ）を生成するために平均悪性腫瘍出力値をしきい値処理するステップと、各マンモグラムについての複数の位置特定データ・パラメータ（４０Ｘ）を決定するために複数のマンモグラムに対して第２の分析（４０）を実行するステップと、出力バイナリ悪性腫瘍値に応じて、複数のマンモグラムについての出力位置特定データを生成する（７０）ステップとを含む、コンピュータ支援方法が提供される。

【0009】

このようにして、マンモグラムの第２の読みを実行する追加の高度に熟練した医療専門家の必要をなくすことができ、第２の読みは、自動的に、実質的に瞬時に実行され得る。本方法はまた、ヒューマン・エラーの危険を低減し得る。

【0010】

複数の入力された画像を受信することによって、放射線科医は、患者のためにケース別の分析を実行し、複数のマンモグラフィ・ビューを分析した後に悪性病変の可能性を実質的に決定することができる。現在の機械学習ベースの方法の有効性／信頼度を限定し得る複数の偽陽性の生成をなくすために、本方法は、マンモグラムのケース別の検討からの分析が、悪性病変があることを示唆する場合のみ、病変についての位置特定データを与え得る。

【0011】

随意に、マンモグラムの各々についての悪性腫瘍分類を改善するために複数のマンモグラムを前処理するさらなるステップが実行され得、前処理のステップは、１つ又は複数のトレーニングされたニューラル・ネットワークの使用をさらに含む。主に、畳み込みニューラル・ネットワークが使用され得るが、カプセル・ネットワークなど、他のタイプが使用され得る。

【0012】

随意に、複数のマンモグラムに対して第１の分析を実行するステップは、１つ又は複数のトレーニングされた畳み込みニューラル・ネットワーク分類器を使用して行われる。例として、畳み込みニューラル・ネットワーク（又はＣＮＮ）はＣｏｎｖＮｅｔであり得る。

【0013】

随意に、トレーニングされた畳み込みニューラル・ネットワーク分類器の重みは、畳み込みニューラル・ネットワーク分類器をトレーニングするために使用されるデータに応じてフリーズされる。

【0014】

随意に、複数のマンモグラムは、左側頭蓋尾部マンモグラム（Ｌ−ＣＣ：ｌｅｆｔ ｓｉｄｅ ｃｒａｎｉａｌ ｃａｕｄａｌ ｍａｍｍｏｇｒａｍ）と、右側頭蓋尾部マンモグラム（Ｒ−ＣＣ：ｒｉｇｈｔ ｓｉｄｅ ｃｒａｎｉａｌ ｃａｕｄａｌ ｍａｍｍｏｇｒａｍ）と、左側中外斜位方向マンモグラム（Ｌ−ＭＬＯ：ｌｅｆｔ ｓｉｄｅ ｍｅｄｉｏ−ｌａｔｅｒａｌ−ｏｂｌｉｑｕｅ ｍａｍｍｏｇｒａｍ）と、右側中外斜位方向マンモグラム（Ｒ−ＭＬＯ：ｒｉｇｈｔ ｓｉｄｅ ｍｅｄｉｏ−ｌａｔｅｒａｌ−ｏｂｌｉｑｕｅ ｍａｍｍｏｇｒａｍ）とを備える。

【0015】

随意に、平均悪性腫瘍出力値は、すべてのＬ−ＣＣ悪性腫瘍出力値についての平均値、すべてのＲ−ＣＣ悪性腫瘍出力値についての平均値、すべてのＬ−ＭＬＯ悪性腫瘍出力値についての平均値、すべてのＲ−ＭＬＯ悪性腫瘍出力値についての平均値、すべての左側マンモグラム悪性腫瘍出力値についての平均値、及びすべての右側マンモグラム悪性腫瘍出力値についての平均値の任意の組合せを含む。

【0016】

随意に、平均悪性腫瘍出力値を決定するために、すべての左側マンモグラム悪性腫瘍出力値についての平均値と、すべての右側マンモグラム悪性腫瘍出力値についての平均値との間で最大オペレータが実行される。

【0017】

随意に、複数のマンモグラムに対して第２の分析を実行するステップは、１つ又は複数のトレーニングされた領域畳み込みニューラル・ネットワーク（ＲＣＮＮ：ｒｅｇｉｏｎａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を使用して行われる。

【0018】

随意に、１つ又は複数のトレーニングされたＲＣＮＮは、複数の位置特定データ・パラメータを決定するために複数の下位分割（ｓｕｂ−ｄｉｖｉｓｉｏｎａｌ）ネットワークを備え、下位分割ネットワークは、境界ボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）生成モデル、セグメント化モデル、及び悪性腫瘍分類タイプ・モデルのうちのいずれか１つ又はそれらの組合せを与える。

【0019】

随意に、１つ又は複数のＲＣＮＮは、第１の分析を実行するために使用される１つ又は複数の畳み込みニューラル・ネットワークの出力畳み込みレイヤに結合される。随意に、１つ又は複数のＲＣＮＮは、第１の分析を実行するために使用される１つ又は複数の畳み込みニューラル・ネットワークの重みを使用してトレーニングされる。

【0020】

随意に、１つ又は複数のトレーニングされたＲＣＮＮは、当該の病変を示すオーバーレイ・マスクを生成し、マスクは、悪性腫瘍の確率値をさらに備える。

【0021】

随意に、境界ボックス生成モデルは、当該の病変の位置を特定するために、非最大抑制を用いて境界ボックス回帰を生成する。

【0022】

随意に、セグメント化モデルは解剖学的領域及び／又は病変のセグメント化アウトラインを与え、セグメント化モデルは位置特定特性をさらに備える。

【0023】

随意に、悪性腫瘍分類タイプ・モデルは、乳房についての組織タイプと密度カテゴリー分類とを識別する。

【0024】

随意に、下位分割ネットワークは、下位分割ネットワークによって作成されたマスクの集合（ｅｎｓｅｍｂｌｅ）を備える。随意に、１つ又は複数のＲＣＮＮは、非最大抑制及び／又は重み付きボックス・クラスタ化を用いて集合される。

【0025】

随意に、平均悪性腫瘍出力値をしきい値処理するステップは、マンモグラムの複数の動作点を選択すること、随意に、少なくとも６つの動作点を選択することを含む。

【0026】

第２の態様によれば、いずれかの先行する請求項に記載のステップを実行するために、１つ又は複数の畳み込みニューラル・ネットワークをトレーニングする方法であって、本方法は、１つ又は複数のマンモグラムを受信することと、全体的に１つ又は複数のマンモグラムを分析するために、１つ又は複数の畳み込みニューラル・ネットワークをトレーニングし、悪性腫瘍値を決定することと、１つ又は複数の畳み込みニューラル・ネットワークのための重みをフリーズすることと、１つ又は複数の畳み込みニューラル・ネットワークの最後の畳み込みレイヤにＲＣＮＮを追加することと、１つ又は複数の畳み込みニューラル・ネットワークのフリーズされた重みを使用してＲＣＮＮをトレーニングすることとを含む、１つ又は複数の畳み込みニューラル・ネットワークをトレーニングする方法が提供される。

【0027】

随意に、ＲＣＮＮはマスクＲＣＮＮヘッドを備える。

【0028】

随意に、１つ又は複数のマンモグラムは４０００×４０００ピクセルに制限される。

【0029】

随意に、マンモグラムは、ウィンドウイング、リサンプリング、及び正規化のうちのいずれか１つ又はそれらの組合せを使用して前処理される。

【0030】

第３の態様によれば、いずれかの先行する特徴の方法を実行するように動作可能な装置が提供される。

【0031】

第４の態様によれば、いずれかの先行する特徴方法を実行するように動作可能なシステムが提供される。

【0032】

第５の態様によれば、いずれかの先行する特徴の方法を実行するように動作可能なコンピュータ・プログラム製品が提供される。

【0033】

次に、単に例として、同様の参照番号を有する添付の図面を参照しながら、実施例について説明する。

【図面の簡単な説明】

【0034】

【図1】一実施例の方法のアウトラインを示すフローチャートを示す図である。

【図2】随意に、入力された画像に適用され得る前処理を示す、入力された画像と事前トレーニングされた悪性腫瘍検出ニューラル・ネットワークとに基づいて悪性腫瘍出力を与えることに焦点を当てた、図１のフローチャートの部分を示す図である。

【図3】図１の実施例のマスクＲＣＮＮをより詳細に示す図である。

【図4】実施例によって実行される平均及び最大動作のプロセスを示す図１のフローチャートの部分を示す図である。

【図5】図１の実施例の最終出力がどのように決定されるかを示す図である。

【発明を実施するための形態】

【0035】

図１は、次に適宜図２から図５を参照しながら以下でより詳細に説明する、例示的な実施例を示す。

【0036】

最初に図１を参照すると、入力されたマンモグラフィ画像１０を受信し、悪性腫瘍出力、たとえば、はい／いいえバイナリ出力、又はバイナリ出力とともに関心領域を示すより詳細な出力を出力するための方法が示されている。

【0037】

患者の医療走査（マンモグラフィ）では、走査された画像は、一般的に医療画像を記憶するために使用されるファイル・フォーマットである、ＤＩＣＯＭフォーマットでコレートされる。本方法は、放射線医療部門が病院において使用するピクチャ・アーカイビング通信システム（ＰＡＣＳ）上に記憶される前処理されたデータを使用する。この方法の出力はまた、マンモグラフィ画像を分析する将来のアプリケーションを改善するためにＰＡＣＳデータベースを強化する。

【0038】

いくつかの事例では、画像は、限定はしないが、ウィンドウイング、リサンプリング及び正規化を含む、様々な方法を使用して前処理され得る２０。入力された画像はまた、結果をさらに改善するためにドメイン適応及び／又はスタイル・トランスファー技法を受け得る。

【0039】

前処理された又は前処理されてない、マンモグラムは、次いで、画像を分析し、画像が悪性病変を示すかどうかを評価するようにトレーニングされている畳み込みニューラル・ネットワーク（ＣＮＮ）分類器３０中に供給される。いくつかの実施例では、このタスクを完了するために、２つ以上のトレーニングされたＣＮＮが使用される。マンモグラムにおける検出された悪性病変の従来の方法も使用され得る。

【0040】

ＣＮＮが悪性腫瘍モデルとして動作するために、ネットワークは、最初にトレーニングされる必要がある。上述の前処理方法と同様に、ネットワークをトレーニングする目的で入力された画像は、画像が使用される前に、ウィンドウイング、リサンプリング、正規化などを受け得る。いくつかの事例では、ネットワークをトレーニングするために使用される画像は、最大４０００×４０００ピクセルまで与えられるか、又はサイズ決定されるかのいずれかである。

【0041】

画像がＣＮＮに供給されると、いくつかのスタックされた数学演算が実行される。そうする際、ＣＮＮは、これらの演算の結果として悪性の又は悪性でないスコアが生成されるように、前のレイヤに可変テンソルを適用する。次いで、適用する勾配更新を算出するためにチェーンルール（ｃｈａｉｎ−ｒｕｌｅ）を利用してコスト関数の勾配（クロスエントロピー）に基づいて変数を更新する。このようにして、複数のＣＮＮが、説明した態様／実施例において使用されるようにトレーニングされ得る。

【0042】

さらに、ＣＮＮのトレーニングは、同じマンモグラフィ・ビューの撮られた前の画像を連結し、それをネットワーク中に供給される現在の画像と一緒にネットワークに通すことを含み得る。これにより、ＣＮＮの最後の数個のレイヤが複数の画像を考慮し得るように、それらのレイヤを微調整することが可能になる。

【0043】

悪性腫瘍モデルがトレーニングされると、ネットワークとそれの重みとがフリーズされる。次いで、畳み込みレイヤの出力のうちの１つを取り、次いで、それをマスクＲＣＮＮ４０からマスク・ヘッド中に供給する。例示的なマスクＲＣＮＮが図３に示されている。これらのヘッドは境界ボックス予測器４１を含み、境界ボックスは、元の画像の一部をカット・アウトするために使用され得る。カットアウト・パッチに加えて、又はカットアウト・パッチの上に、悪性分類器４２とセグメント化４３ヘッドとが配置される。悪性腫瘍モデルと同様に、従来の境界ボックス、悪性腫瘍分類器又はセグメント化モデルがこのシステムとともに使用され得る。「マスクｒ−ｃｎｎ」コンピュータ・ビジョン（ＩＣＣＶ）において、２０１７年、ＩＥＥＥの２０１７ＩＥＥＥ国際会議において、Ｈｅ，Ｋａｉｍｉｎｇらが、参照により組み込まれる、少なくともいくつかの実施例において使用され得る旧来のＲＣＮＮについて説明している。

【0044】

ＲＣＮＮをトレーニングする様々な方法がある。第１に、悪性腫瘍モデルをマスクＲＣＮＮに接続すると、マスクＲＣＮＮヘッドが全体画像悪性腫瘍モデルと同時にトレーニングされ得る。第２に、悪性腫瘍モデル・ネットワークをフリーズすることなしにマスクＲＣＮＮをトレーニングすることも可能である。最後に、マスクＲＣＮＮヘッドは複数の悪性腫瘍モデルとともにトレーニングされ得る。したがって、マスクＲＣＮＮヘッドをトレーニングする方法は一定のタイプに限定されないので、手法を特定の用途に適合させることが可能になる。

【0045】

ニューラル・ネットワークがトレーニングされると、使用中に、又は推論時に、悪性腫瘍モデルがトレーニング・データに基づいてフリーズされる。

【0046】

例として、ラン・タイム中に、本実施例のシステムは、４つのタイプのマンモグラフィ画像、すなわち、左頭蓋尾側ビュー（Ｌ−ＣＣ）５１、右頭蓋尾側ビュー（Ｒ−ＣＣ）５３、左中外斜位方向（Ｌ−ＭＬＯ）５２、及び右中外斜位方向（Ｒ−ＭＬＯ）５４を受信する。画像のこの組合せは、ケースと呼ばれることが知られている。１つ又は複数の悪性腫瘍モデルを通過すると、本実施例のシステムは出力のケース全体を生成する。これらの出力は、次いで、単一の出力６０Ｙを生成するために平均化される。

【0047】

図４に見られるように、５１は、すべての左頭蓋尾側ビューの平均スコアを表し、５２は、すべての左中外斜位方向（Ｌ−ＭＬＯ）ビューの平均スコアを表し、５３は、すべての右頭蓋尾側（Ｒ−ＣＣ）ビューの平均スコアを表し、５４は、すべての右中外斜位方向（Ｒ−ＭＬＯ）ビューの平均スコアを表す。６１ａ及び６２ａによって示されるように、本実施例のシステムは、次いで、それぞれの左側ビュー６１及び右側ビュー６２の平均を計算する。これは各側についての悪性腫瘍の出力を生じる。次いで、各側についての平均悪性腫瘍の出力に対して最大演算６３が実行される。

【0048】

図には示されていないが、説明された実施例では、本方法は、次いで、バイナリ悪性の又はそうでないスコア６０Ｙを与える所定のしきい値を用いてこの結果をしきい値処理する。

【0049】

最後に、図５に関して、マスクＲＣＮＮセグメント化又は境界ボックス４０Ｘを示すか否かをゲートするために、スコア６０Ｙが使用される。このようにして、多数の偽陽性につながる、マスクＲＣＮＮのみによって検出されたすべての病変を完全に示す代わりに、得られたマスクＲ−ＣＮＮ出力は、バイナリ悪性のスコアが正である場合、すなわち悪性腫瘍を示している場合にのみ示される。６０Ｙが、ケースが悪性であることを示さないとき、マスクＲＣＮＮ出力は無視され、位置特定データはシステムの出力として生成されない。

【0050】

場合によっては、マスクＲＣＮＮの結果は、事前決定された、十分な交差オーバー・ユニオン（ＩＯＵ：ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ ｕｎｉｏｎ）を有する、（形状［Ｎ、Ｍ、ｘ１、ｘ２、ｙ１、ｙ２］の、ここで、Ｎはモデルの数を表し、Ｍは境界ボックスの最大数を表す）境界ボックス座標間を補間することによって集合され得る。他との十分なＩＯＵを有しない境界ボックスは考慮から除かれる。得られた境界ボックスを用いて、生のセグメント化マスクは、次いで平均化され、その後、所定のしきい値を用いてしきい値処理され、また、十分な境界ボックスのすべてについて病変スコアを平均化する。

【0051】

これらの演算により、形状［１、Ｈ、Ｗ］のセグメント化マスクと形状［１、Ｍ］の病変スコアとともに、形状［１、Ｍ、ｘ１、ｘ２、ｙ１、ｙ２］の境界ボックスの最後のセットが生じる。より良い方法は、参照により組み込まれる、Ｐａｕｌ Ｆ． Ｊａｅｇｅｒ らによって「Ｒｅｔｉｎａ Ｕ−Ｎｅｔ：Ｅｍｂａｒｒａｓｓｉｎｇｌｙ Ｓｉｍｐｌｅ Ｅｘｐｌｏｉｔａｔｉｏｎ ｏｆ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｓｕｐｅｒｖｉｓｉｏｎ ｆｏｒ Ｍｅｄｉｃａｌ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ」（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１８１１．０８６６１．ｐｄｆ）において説明される、重み付きボックス・クラスタ化（ＷＢＣ：ｗｅｉｇｈｔｅｄ ｂｏｘ ｃｌｕｓｔｅｒｉｎｇ）を使用することである。

【0052】

上述のように、二重読みは、マンモグラフィを用いる乳がんスクリーニングのゴールド・スタンダードである。このシナリオでは、２人の放射線科医がケースについて報告する。２つのリーダーが、さらなるスクリーニング検査のために患者をリコールするべきかどうかについて同意しないとき、アービトレーションが行われる。

【0053】

本実施例では、説明されたシステムは、独立した第２のリーダーとして動作することが可能である。過去において、コンピュータ支援診断システムは、高い偽陽性率により、そのように機能することが可能ではなかった。人間放射線科医と同様に、本実施例の説明されたシステムは、低い偽陽性率を有することができ、これは、少なくとも以下の２つの方法において使用され得ることを意味する。
１．真に独立した第２のリーダーとして、第１の（人間）放射線科医がケースを見て、本システムがケースを独立して評価する。２つの意見が異なる場合、本実施例のシステムは、人間放射線科医が考えるための当該の病変についてのアウトラインを示し、２つの意見が一致する場合、放射線科医はシステムの出力を参照しない。又は
２．人間放射線科医が本実施例のシステムによってサポートされる点で、人間放射線科医と本実施例のシステムの両方がケースを分析する、非独立の第２のリーダーとして。放射線科医は、彼らが希望するときはいつでも、本実施例のシステムによって生成された結果を参照するためにクリックすることができる。

【0054】

最後の走査からの変化を探すための参照として前の画像を使用し、また、人間放射線科医がケースをコール・バックすることをトレード・オフする方法を模倣するために、平均の次いで最大の演算子を使用するなど、いくつかの実施例では、人間放射線科医によって使用される技法を模倣する多くの手法がシステムに組み込まれ得る。

【0055】

機械学習は、エクスペリエンスから生成されたフィードバック、又は機械学習プロセスがそれらのタスクのコンピュータ実行中に取得した収集されたデータを使用して、タスクのクラスを実行することを、１つ又は複数のコンピュータが学習する研究分野である。

【0056】

一般に、機械学習は教師あり（ｓｕｐｅｒｖｉｓｅｄ）手法と教師なし（ｕｎｓｕｐｅｒｖｉｓｅｄ）手法とに広く分類され得るが、特殊なルール、技法及び／又は手法を有する強化学習及び半教師あり学習など、特定の手法がある。教師あり機械学習は、オペレータ又はプログラマーによって事前決定される例示的な入力と望まれる出力との間でマッピングするための１つ若しくは複数のルール又は機能を学習するコンピュータに関係し、通常、入力を含んでいるデータ・セットはラベリングされる。

【0057】

教師なし学習は、たとえばパターン認識を実行するときに、入力データのための構造を決定することに関係し、一般にラベリングされていないデータ・セットを使用する。強化学習は、たとえばゲームをしたり、車両を駆動したりするときに、１つ又は複数のコンピュータが動的環境と対話することを可能にすることに関係する。

【0058】

トレーニング・データ・セットが部分的にのみラベリングされている「半教師あり」機械学習など、これらのカテゴリーの様々なハイブリッドが可能である。教師なし機械学習の場合、たとえば、画像処理又はビデオ・エンハンスメントへのコンピュータ・ビジョン技法の適用など、様々な可能な適用例がある。教師なし機械学習は、一般に、未知のデータ構造がデータ中に存在し得る問題を解決するために適用される。データはラベリングされていないので、機械学習プロセスは、たとえば内部的に導出される情報に基づいてクラスタ化メトリックを導出することによって、データ間の暗黙的関係を識別するように動作することが要求される。たとえば、教師なし学習技法は、データ・セットの次元を低減し、データ・セット中のクラスタ間の関係を識別し、モデル化することを試みるために使用され得、たとえば、（たとえば、高次元データ・セットに適用され得る、重み付き相関ネットワーク分析と呼ばれる技法を使用して、又は各データ間のユークリッド距離の測度によってデータをクラスタ化するためにｋ平均クラスタ化（ｋ−ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ）を使用する、）クラスタ・メンバーシップの測度を生成するか、又はクラスタ中又はクラスタ間のハブ又はノードを識別することができる。

【0059】

半教師あり学習は、一般に、部分的にラベリングされたデータ・セットがある、たとえばデータのサブセットのみがラベリングされている問題を解決するために適用される。半教師あり機械学習は、外部から与えられたラベル及び目的関数並びに暗黙的データ関係を利用する。機械学習システムを最初に構成するとき、特に教師あり機械学習手法を使用するとき、機械学習アルゴリズムには、何らかのトレーニング・データ又はトレーニング例のセットが与えられ得、各例は、一般に入力信号／ベクトルと所望の出力値、ラベル（又は分類）又は信号とのペアである。機械学習アルゴリズムは、トレーニング・データを分析し、見えない入力ベクトル／信号のための所望の出力値又は信号を生成するために、見えないデータ・セットとともに使用され得る一般化された関数を生成する。ユーザは、トレーニング・データとしてどのタイプのデータが使用されるべきかを決定し、データの代表的現実世界セットを作成する必要がある。ユーザは、しかしながら、トレーニング・データが、（多すぎる次元がトレーニング中に機械学習プロセスによって考えられることをもたらし得、また、機械学習プロセスがすべての又は特定の例のための良好なソリューションに収斂しないことを意味する）多すぎる特徴を与えることなしに、所望の出力値を正確に予測するために十分な情報を含んでいることを保証するように注意しなければならない。ユーザは、また、学習された又は一般化された機能の所望の構造、たとえば、サポート・ベクター・マシン又は決定木を使用するべきかどうかを決定しなければならない。

【0060】

教師なし又は半教師ありの機械学習手法の使用は、ラベリングされたデータが容易に利用可能でないとき、又はシステムが、いくつかの初期シード・ラベルを与えられた未知のデータから新しいラベリングされたデータを生成する場合に、時々使用される。

【0061】

機械学習は、非線形階層アルゴリズム、ニューラル・ネットワーク、畳み込みニューラル・ネットワーク、リカレント・ニューラル・ネットワーク、長短期メモリ・ネットワーク、多次元畳み込みネットワーク、メモリ・ネットワーク、のうちの１つ又は複数の使用によって実行され得、完全畳み込みネットワーク又はゲート付きリカレント・ネットワークは、視覚データの予測されたブロックを生成するときにフレキシブルな手法を可能にする。長短期メモリ・ネットワーク（ＬＳＴＭ：ｌｏｎｇ ｓｈｏｒｔ−ｔｅｒｍ ｍｅｍｏｒｙ ｎｅｔｗｏｒｋ）、メモリ・ネットワーク又はゲート付きリカレント・ネットワークなど、メモリ・ユニットを用いたアルゴリズムの使用は、同じ元の入力フレーム上で実行される動き補償プロセスから予測されたブロックの状態を保つことができる。これらのネットワークの使用は、アルゴリズムが動きの変化の何らかの種類の状態又はメモリを維持するので、計算効率を改善し、また、いくつかのフレームにわたる動き補償プロセスにおける時間的一貫性を改善することができる。これは、さらに、エラー率の低減をもたらすことができる。

【0062】

機械学習システムを開発することは、一般に、（１）トレーニング、及び（２）生成の２つの段階からなる。トレーニング中、機械学習モデルのパラメータは、目的関数又は損失として知られている、特定の学習目的を最適化するために、反復的に変更される。モデルがトレーニングされると、それは製造において使用され得、モデルは、入力を取り込み、トレーニングされたパラメータを使用して出力を生成する。

【0063】

本明細書で説明するシステム特徴は、方法特徴としても与えられ得、その逆も同様である。本明細書で使用する際、ミーンズ・プラス・ファンクション特徴は、それらの対応する構造に関して代替的に表され得る。

【0064】

一態様における特徴は、適切な組合せで他の態様に適用され得る。特に、方法態様はシステム態様に適用され得、その逆も同様である。さらに、一態様における任意の、いくつかの及び／又はすべての特徴は、適切な組合せで、他の態様における任意の、いくつかの及び／又はすべての特徴に適用され得る。

【0065】

また、いずれかの態様において説明され、定義された様々な特徴の特定の組合せは、単独で実装及び／又は供給及び／又は使用され得ることを諒解されたい。

【図1】

【図2】

【図3】

【図4】

【図5】

【手続補正書】

【提出日】2020年10月16日

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人間オペレータと並行して、マンモグラムにおける悪性腫瘍を実質的に自動的に決定する方法及びシステムに関する。より詳細には、本発明は、マンモグラフィ分析ワークフローにおいて２人の人間オペレータの必要を低減するために、人間オペレータと並行して、信頼できる自動化された悪性腫瘍決定を与えることに関する。

【背景技術】

【0002】

マンモグラフィは、乳がん検出のために広く使用されている医療撮像モダリティである。マンモグラフィは、人間乳房の内部構造の詳細な画像を生成するために「ソフトな」Ｘ線を利用する。これらの画像はマンモグラムと呼ばれ、マンモグラフィの使用は、（治療可能な段階におけるがんの有効な診断を与えることができる）乳房異常の早期検出におけるゴールド・スタンダードであると考えられる。

【0003】

残念ながら、マンモグラムを分析する手順はしばしば困難である。乳房の密度及び組織タイプは、非常に多様であり、順に、患者遺伝学により、視覚的特徴の高い多様性を提示する。これらの背景視覚パターンは、しばしば悪性腫瘍の小さい兆候を不明瞭にすることができ、したがって、兆候は人間の眼では容易に見落とされ得る。したがって、マンモグラムの分析は、しばしば偽陽性又は偽陰性（ｆａｌｓｅ−ｎｅｇａｔｉｖｅ）の診断結果につながり、これは、治療の失敗（偽陰性の場合）、並びに不要な心理的及び次善のダウンストリーム診断及び治療結果（偽陽性の場合）を引き起こし得る。

【0004】

たいていの先進国は、人口全体のスクリーニング・プログラム、すなわち症状がないある年齢層の女性に定期的な乳房スクリーニングを受けるように呼び集めるための包括的なシステムを維持する。これらのスクリーニング・プログラムは、日常的に多数のマンモグラムを確実に分析することができるトレーニングされた経験豊富な専門家医師が従うべき、高度に標準化されたプロトコルを必要とする。たいていのプロのガイドラインは、２人の等しく専門家の放射線科医による各マンモグラムの読み（二重読み（ｄｏｕｂｌｅ−ｒｅａｄｉｎｇ）として知られている手法）を強く示唆している。現今では、手が空いている高度に熟練した放射線科医の数が不足し、減少しているので、二重読み手法はしばしば実施が困難であるか又は不可能である。

【0005】

２人の専門家の放射線科医の関与は、各ケースのコストを著しく増加させ、また、患者が走査の結果を受け取る時間を延長する。場合によっては、疑わしい病変が両方の専門家の放射線科医によって見逃されることさえある。

【0006】

したがって、二重読みプロセスを必要とするか又は強く示唆するガイドラインを遵守しながら、マンモグラフィ結果の品質を、改善する、それができない場合は少なくとも維持する必要がある。

【0007】

Ｒｉｂｌｉ ｅｔ ａｌ：「Ｄｅｔｅｃｔｉｎｇ ａｎｄ ｃｌａｓｓｉｆｙｉｎｇ ｌｅｓｉｏｎｓ ｉｎ ｍａｍｍｏｇｒａｍｓ ｗｉｔｈ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ」（ａｒｘｉｖ．ｏｒｇ，Ｃｏｒｎｅｌｌ Ｕｎｉｖｅｒｓｉｔｙ Ｌｉｂｒａｒｙ，２０１ ＯＬＩＮ Ｌｉｂｒａｒｙ Ｃｏｒｎｅｌｌ Ｕｎｉｖｅｒｓｉｔｙ Ｉｔｈａｃａ，２６ Ｊｕｌｙ ２０１７）は、Ｆａｓｔｅｒ Ｒ−ＣＮＮすなわち畳み込みニューラル・ネットワークを追加の構成要素とともに用いて、画像内の悪性腫瘍について検出、位置特定、及び分類を行うことに関連している。Ｆａｓｔｅｒ Ｒ−ＣＮＮは、分類に関わらず画像内のすべての悪性腫瘍について検出及び位置特定を行うようにトレーニングされた、領域提案ネットワーク（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）と称される畳み込みレイヤの分岐を実装することが記載されている。

【先行技術文献】

【非特許文献】

【0008】

【非特許文献1】Ｒｉｂｌｉ ｅｔ ａｌ：「Ｄｅｔｅｃｔｉｎｇ ａｎｄ ｃｌａｓｓｉｆｙｉｎｇ ｌｅｓｉｏｎｓ ｉｎ ｍａｍｍｏｇｒａｍｓ ｗｉｔｈ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ」（ａｒｘｉｖ．ｏｒｇ，Ｃｏｒｎｅｌｌ Ｕｎｉｖｅｒｓｉｔｙ Ｌｉｂｒａｒｙ，２０１ ＯＬＩＮ Ｌｉｂｒａｒｙ Ｃｏｒｎｅｌｌ Ｕｎｉｖｅｒｓｉｔｙ Ｉｔｈａｃａ，２６ Ｊｕｌｙ ２０１７）

【発明の概要】

【発明が解決しようとする課題】

【0009】

態様及び／又は実施例は、人間オペレータと並行してマンモグラフィ・データを実質的に自動的に評価する方法を提供することを求める。態様及び／又は実施例はまた、１人のオペレータがマンモグラフィ・データを分析し、診断することを可能にするために、実質的に信頼できる第２のリーダーを与えることに関する問題に対処することを求める。

【課題を解決するための手段】

【0010】

第１の態様によれば、マンモグラフィ画像を分析するコンピュータ支援方法であって、本方法は、複数のマンモグラム（１０）を受信するステップと、マンモグラムの各々についての悪性腫瘍分類を識別することを含む、複数のマンモグラム（１０）に対して第１の分析（３０）を実行するステップと、第１の分析（３０）に応じて、マンモグラムの各々についての悪性腫瘍出力値（３０Ｙ）を決定するステップと、複数のマンモグラムについての悪性腫瘍出力値を平均化することによって平均悪性腫瘍出力値を決定するステップと、出力バイナリ悪性腫瘍値（６０Ｙ）を生成するために平均悪性腫瘍出力値をしきい値処理するステップと、各マンモグラムについての複数の位置特定データ・パラメータ（４０Ｘ）を決定するために複数のマンモグラムに対して第２の分析（４０）を実行するステップと、出力バイナリ悪性腫瘍値に応じて、複数のマンモグラムについての出力位置特定データを生成する（７０）ステップとを含む、コンピュータ支援方法が提供される。

【0011】

このようにして、マンモグラムの第２の読みを実行する追加の高度に熟練した医療専門家の必要をなくすことができ、第２の読みは、自動的に、実質的に瞬時に実行され得る。本方法はまた、ヒューマン・エラーの危険を低減し得る。

【0012】

複数の入力された画像を受信することによって、放射線科医は、患者のためにケース別の分析を実行し、複数のマンモグラフィ・ビューを分析した後に悪性病変の可能性を実質的に決定することができる。現在の機械学習ベースの方法の有効性／信頼度を限定し得る複数の偽陽性の生成をなくすために、本方法は、マンモグラムのケース別の検討からの分析が、悪性病変があることを示唆する場合のみ、病変についての位置特定データを与え得る。

【0013】

随意に、マンモグラムの各々についての悪性腫瘍分類を改善するために複数のマンモグラムを前処理するさらなるステップが実行され得、前処理のステップは、１つ又は複数のトレーニングされたニューラル・ネットワークの使用をさらに含む。主に、畳み込みニューラル・ネットワークが使用され得るが、カプセル・ネットワークなど、他のタイプが使用され得る。

【0014】

随意に、複数のマンモグラムに対して第１の分析を実行するステップは、１つ又は複数のトレーニングされた畳み込みニューラル・ネットワーク分類器を使用して行われる。例として、畳み込みニューラル・ネットワーク（又はＣＮＮ）はＣｏｎｖＮｅｔであり得る。

【0015】

随意に、トレーニングされた畳み込みニューラル・ネットワーク分類器の重みは、畳み込みニューラル・ネットワーク分類器をトレーニングするために使用されるデータに応じてフリーズされる。

【0016】

随意に、複数のマンモグラムは、左側頭蓋尾部マンモグラム（Ｌ−ＣＣ：ｌｅｆｔ ｓｉｄｅ ｃｒａｎｉａｌ ｃａｕｄａｌ ｍａｍｍｏｇｒａｍ）と、右側頭蓋尾部マンモグラム（Ｒ−ＣＣ：ｒｉｇｈｔ ｓｉｄｅ ｃｒａｎｉａｌ ｃａｕｄａｌ ｍａｍｍｏｇｒａｍ）と、左側中外斜位方向マンモグラム（Ｌ−ＭＬＯ：ｌｅｆｔ ｓｉｄｅ ｍｅｄｉｏ−ｌａｔｅｒａｌ−ｏｂｌｉｑｕｅ ｍａｍｍｏｇｒａｍ）と、右側中外斜位方向マンモグラム（Ｒ−ＭＬＯ：ｒｉｇｈｔ ｓｉｄｅ ｍｅｄｉｏ−ｌａｔｅｒａｌ−ｏｂｌｉｑｕｅ ｍａｍｍｏｇｒａｍ）とを備える。

【0017】

随意に、平均悪性腫瘍出力値は、すべてのＬ−ＣＣ悪性腫瘍出力値についての平均値、すべてのＲ−ＣＣ悪性腫瘍出力値についての平均値、すべてのＬ−ＭＬＯ悪性腫瘍出力値についての平均値、すべてのＲ−ＭＬＯ悪性腫瘍出力値についての平均値、すべての左側マンモグラム悪性腫瘍出力値についての平均値、及びすべての右側マンモグラム悪性腫瘍出力値についての平均値の任意の組合せを含む。

【0018】

随意に、平均悪性腫瘍出力値を決定するために、すべての左側マンモグラム悪性腫瘍出力値についての平均値と、すべての右側マンモグラム悪性腫瘍出力値についての平均値との間で最大オペレータが実行される。

【0019】

随意に、複数のマンモグラムに対して第２の分析を実行するステップは、１つ又は複数のトレーニングされた領域畳み込みニューラル・ネットワーク（ＲＣＮＮ：ｒｅｇｉｏｎａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を使用して行われる。

【0020】

随意に、１つ又は複数のトレーニングされたＲＣＮＮは、複数の位置特定データ・パラメータを決定するために複数の下位分割（ｓｕｂ−ｄｉｖｉｓｉｏｎａｌ）ネットワークを備え、下位分割ネットワークは、境界ボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）生成モデル、セグメント化モデル、及び悪性腫瘍分類タイプ・モデルのうちのいずれか１つ又はそれらの組合せを与える。

【0021】

随意に、１つ又は複数のＲＣＮＮは、第１の分析を実行するために使用される１つ又は複数の畳み込みニューラル・ネットワークの出力畳み込みレイヤに結合される。随意に、１つ又は複数のＲＣＮＮは、第１の分析を実行するために使用される１つ又は複数の畳み込みニューラル・ネットワークの重みを使用してトレーニングされる。

【0022】

随意に、１つ又は複数のトレーニングされたＲＣＮＮは、当該の病変を示すオーバーレイ・マスクを生成し、マスクは、悪性腫瘍の確率値をさらに備える。

【0023】

随意に、境界ボックス生成モデルは、当該の病変の位置を特定するために、非最大抑制を用いて境界ボックス回帰を生成する。

【0024】

随意に、セグメント化モデルは解剖学的領域及び／又は病変のセグメント化アウトラインを与え、セグメント化モデルは位置特定特性をさらに備える。

【0025】

随意に、悪性腫瘍分類タイプ・モデルは、乳房についての組織タイプと密度カテゴリー分類とを識別する。

【0026】

随意に、下位分割ネットワークは、下位分割ネットワークによって作成されたマスクの集合（ｅｎｓｅｍｂｌｅ）を備える。随意に、１つ又は複数のＲＣＮＮは、非最大抑制及び／又は重み付きボックス・クラスタ化を用いて集合される。

【0027】

随意に、平均悪性腫瘍出力値をしきい値処理するステップは、マンモグラムの複数の動作点を選択すること、随意に、少なくとも６つの動作点を選択することを含む。

【0028】

第２の態様によれば、いずれかの先行する請求項に記載のステップを実行するために、１つ又は複数の畳み込みニューラル・ネットワークをトレーニングする方法であって、本方法は、１つ又は複数のマンモグラムを受信することと、全体的に１つ又は複数のマンモグラムを分析するために、１つ又は複数の畳み込みニューラル・ネットワークをトレーニングし、悪性腫瘍値を決定することと、１つ又は複数の畳み込みニューラル・ネットワークのための重みをフリーズすることと、１つ又は複数の畳み込みニューラル・ネットワークの最後の畳み込みレイヤにＲＣＮＮを追加することと、１つ又は複数の畳み込みニューラル・ネットワークのフリーズされた重みを使用してＲＣＮＮをトレーニングすることとを含む、１つ又は複数の畳み込みニューラル・ネットワークをトレーニングする方法が提供される。

【0029】

随意に、ＲＣＮＮはマスクＲＣＮＮヘッドを備える。

【0030】

随意に、１つ又は複数のマンモグラムは４０００×４０００ピクセルに制限される。

【0031】

随意に、マンモグラムは、ウィンドウイング、リサンプリング、及び正規化のうちのいずれか１つ又はそれらの組合せを使用して前処理される。

【0032】

第３の態様によれば、いずれかの先行する特徴の方法を実行するように動作可能な装置が提供される。

【0033】

第４の態様によれば、いずれかの先行する特徴方法を実行するように動作可能なシステムが提供される。

【0034】

第５の態様によれば、いずれかの先行する特徴の方法を実行するように動作可能なコンピュータ・プログラム製品が提供される。

【0035】

次に、単に例として、同様の参照番号を有する添付の図面を参照しながら、実施例について説明する。

【図面の簡単な説明】

【0036】

【図1】一実施例の方法のアウトラインを示すフローチャートを示す図である。

【図2】随意に、入力された画像に適用され得る前処理を示す、入力された画像と事前トレーニングされた悪性腫瘍検出ニューラル・ネットワークとに基づいて悪性腫瘍出力を与えることに焦点を当てた、図１のフローチャートの部分を示す図である。

【図3】図１の実施例のマスクＲＣＮＮをより詳細に示す図である。

【図4】実施例によって実行される平均及び最大動作のプロセスを示す図１のフローチャートの部分を示す図である。

【図5】図１の実施例の最終出力がどのように決定されるかを示す図である。

【発明を実施するための形態】

【0037】

図１は、次に適宜図２から図５を参照しながら以下でより詳細に説明する、例示的な実施例を示す。

【0038】

最初に図１を参照すると、入力されたマンモグラフィ画像１０を受信し、悪性腫瘍出力、たとえば、はい／いいえバイナリ出力、又はバイナリ出力とともに関心領域を示すより詳細な出力を出力するための方法が示されている。

【0039】

患者の医療走査（マンモグラフィ）では、走査された画像は、一般的に医療画像を記憶するために使用されるファイル・フォーマットである、ＤＩＣＯＭフォーマットでコレートされる。本方法は、放射線医療部門が病院において使用するピクチャ・アーカイビング通信システム（ＰＡＣＳ）上に記憶される前処理されたデータを使用する。この方法の出力はまた、マンモグラフィ画像を分析する将来のアプリケーションを改善するためにＰＡＣＳデータベースを強化する。

【0040】

いくつかの事例では、画像は、限定はしないが、ウィンドウイング、リサンプリング及び正規化を含む、様々な方法を使用して前処理され得る２０。入力された画像はまた、結果をさらに改善するためにドメイン適応及び／又はスタイル・トランスファー技法を受け得る。

【0041】

前処理された又は前処理されてない、マンモグラムは、次いで、画像を分析し、画像が悪性病変を示すかどうかを評価するようにトレーニングされている畳み込みニューラル・ネットワーク（ＣＮＮ）分類器３０中に供給される。いくつかの実施例では、このタスクを完了するために、２つ以上のトレーニングされたＣＮＮが使用される。マンモグラムにおける検出された悪性病変の従来の方法も使用され得る。

【0042】

ＣＮＮが悪性腫瘍モデルとして動作するために、ネットワークは、最初にトレーニングされる必要がある。上述の前処理方法と同様に、ネットワークをトレーニングする目的で入力された画像は、画像が使用される前に、ウィンドウイング、リサンプリング、正規化などを受け得る。いくつかの事例では、ネットワークをトレーニングするために使用される画像は、最大４０００×４０００ピクセルまで与えられるか、又はサイズ決定されるかのいずれかである。

【0043】

画像がＣＮＮに供給されると、いくつかのスタックされた数学演算が実行される。そうする際、ＣＮＮは、これらの演算の結果として悪性の又は悪性でないスコアが生成されるように、前のレイヤに可変テンソルを適用する。次いで、適用する勾配更新を算出するためにチェーンルール（ｃｈａｉｎ−ｒｕｌｅ）を利用してコスト関数の勾配（クロスエントロピー）に基づいて変数を更新する。このようにして、複数のＣＮＮが、説明した態様／実施例において使用されるようにトレーニングされ得る。

【0044】

さらに、ＣＮＮのトレーニングは、同じマンモグラフィ・ビューの撮られた前の画像を連結し、それをネットワーク中に供給される現在の画像と一緒にネットワークに通すことを含み得る。これにより、ＣＮＮの最後の数個のレイヤが複数の画像を考慮し得るように、それらのレイヤを微調整することが可能になる。

【0045】

悪性腫瘍モデルがトレーニングされると、ネットワークとそれの重みとがフリーズされる。次いで、畳み込みレイヤの出力のうちの１つを取り、次いで、それをマスクＲＣＮＮ４０からマスク・ヘッド中に供給する。例示的なマスクＲＣＮＮが図３に示されている。これらのヘッドは境界ボックス予測器４１を含み、境界ボックスは、元の画像の一部をカット・アウトするために使用され得る。カットアウト・パッチに加えて、又はカットアウト・パッチの上に、悪性分類器４２とセグメント化４３ヘッドとが配置される。悪性腫瘍モデルと同様に、従来の境界ボックス、悪性腫瘍分類器又はセグメント化モデルがこのシステムとともに使用され得る。「マスクｒ−ｃｎｎ」コンピュータ・ビジョン（ＩＣＣＶ）において、２０１７年、ＩＥＥＥの２０１７ＩＥＥＥ国際会議において、Ｈｅ，Ｋａｉｍｉｎｇらが、参照により組み込まれる、少なくともいくつかの実施例において使用され得る旧来のＲＣＮＮについて説明している。

【0046】

ＲＣＮＮをトレーニングする様々な方法がある。第１に、悪性腫瘍モデルをマスクＲＣＮＮに接続すると、マスクＲＣＮＮヘッドが全体画像悪性腫瘍モデルと同時にトレーニングされ得る。第２に、悪性腫瘍モデル・ネットワークをフリーズすることなしにマスクＲＣＮＮをトレーニングすることも可能である。最後に、マスクＲＣＮＮヘッドは複数の悪性腫瘍モデルとともにトレーニングされ得る。したがって、マスクＲＣＮＮヘッドをトレーニングする方法は一定のタイプに限定されないので、手法を特定の用途に適合させることが可能になる。

【0047】

ニューラル・ネットワークがトレーニングされると、使用中に、又は推論時に、悪性腫瘍モデルがトレーニング・データに基づいてフリーズされる。

【0048】

例として、ラン・タイム中に、本実施例のシステムは、４つのタイプのマンモグラフィ画像、すなわち、左頭蓋尾側ビュー（Ｌ−ＣＣ）５１、右頭蓋尾側ビュー（Ｒ−ＣＣ）５３、左中外斜位方向（Ｌ−ＭＬＯ）５２、及び右中外斜位方向（Ｒ−ＭＬＯ）５４を受信する。画像のこの組合せは、ケースと呼ばれることが知られている。１つ又は複数の悪性腫瘍モデルを通過すると、本実施例のシステムは出力のケース全体を生成する。これらの出力は、次いで、単一の出力６０Ｙを生成するために平均化される。

【0049】

図４に見られるように、５１は、すべての左頭蓋尾側ビューの平均スコアを表し、５２は、すべての左中外斜位方向（Ｌ−ＭＬＯ）ビューの平均スコアを表し、５３は、すべての右頭蓋尾側（Ｒ−ＣＣ）ビューの平均スコアを表し、５４は、すべての右中外斜位方向（Ｒ−ＭＬＯ）ビューの平均スコアを表す。６１ａ及び６２ａによって示されるように、本実施例のシステムは、次いで、それぞれの左側ビュー６１及び右側ビュー６２の平均を計算する。これは各側についての悪性腫瘍の出力を生じる。次いで、各側についての平均悪性腫瘍の出力に対して最大演算６３が実行される。

【0050】

図には示されていないが、説明された実施例では、本方法は、次いで、バイナリ悪性の又はそうでないスコア６０Ｙを与える所定のしきい値を用いてこの結果をしきい値処理する。

【0051】

最後に、図５に関して、マスクＲＣＮＮセグメント化又は境界ボックス４０Ｘを示すか否かをゲートするために、スコア６０Ｙが使用される。このようにして、多数の偽陽性につながる、マスクＲＣＮＮのみによって検出されたすべての病変を完全に示す代わりに、得られたマスクＲ−ＣＮＮ出力は、バイナリ悪性のスコアが正である場合、すなわち悪性腫瘍を示している場合にのみ示される。６０Ｙが、ケースが悪性であることを示さないとき、マスクＲＣＮＮ出力は無視され、位置特定データはシステムの出力として生成されない。

【0052】

場合によっては、マスクＲＣＮＮの結果は、事前決定された、十分な交差オーバー・ユニオン（ＩＯＵ：ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ ｕｎｉｏｎ）を有する、（形状［Ｎ、Ｍ、ｘ１、ｘ２、ｙ１、ｙ２］の、ここで、Ｎはモデルの数を表し、Ｍは境界ボックスの最大数を表す）境界ボックス座標間を補間することによって集合され得る。他との十分なＩＯＵを有しない境界ボックスは考慮から除かれる。得られた境界ボックスを用いて、生のセグメント化マスクは、次いで平均化され、その後、所定のしきい値を用いてしきい値処理され、また、十分な境界ボックスのすべてについて病変スコアを平均化する。

【0053】

これらの演算により、形状［１、Ｈ、Ｗ］のセグメント化マスクと形状［１、Ｍ］の病変スコアとともに、形状［１、Ｍ、ｘ１、ｘ２、ｙ１、ｙ２］の境界ボックスの最後のセットが生じる。より良い方法は、参照により組み込まれる、Ｐａｕｌ Ｆ． Ｊａｅｇｅｒ らによって「Ｒｅｔｉｎａ Ｕ−Ｎｅｔ：Ｅｍｂａｒｒａｓｓｉｎｇｌｙ Ｓｉｍｐｌｅ Ｅｘｐｌｏｉｔａｔｉｏｎ ｏｆ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｓｕｐｅｒｖｉｓｉｏｎ ｆｏｒ Ｍｅｄｉｃａｌ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ」（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１８１１．０８６６１．ｐｄｆ）において説明される、重み付きボックス・クラスタ化（ＷＢＣ：ｗｅｉｇｈｔｅｄ ｂｏｘ ｃｌｕｓｔｅｒｉｎｇ）を使用することである。

【0054】

上述のように、二重読みは、マンモグラフィを用いる乳がんスクリーニングのゴールド・スタンダードである。このシナリオでは、２人の放射線科医がケースについて報告する。２つのリーダーが、さらなるスクリーニング検査のために患者をリコールするべきかどうかについて同意しないとき、アービトレーションが行われる。

【0055】

本実施例では、説明されたシステムは、独立した第２のリーダーとして動作することが可能である。過去において、コンピュータ支援診断システムは、高い偽陽性率により、そのように機能することが可能ではなかった。人間放射線科医と同様に、本実施例の説明されたシステムは、低い偽陽性率を有することができ、これは、少なくとも以下の２つの方法において使用され得ることを意味する。
１．真に独立した第２のリーダーとして、第１の（人間）放射線科医がケースを見て、本システムがケースを独立して評価する。２つの意見が異なる場合、本実施例のシステムは、人間放射線科医が考えるための当該の病変についてのアウトラインを示し、２つの意見が一致する場合、放射線科医はシステムの出力を参照しない。又は
２．人間放射線科医が本実施例のシステムによってサポートされる点で、人間放射線科医と本実施例のシステムの両方がケースを分析する、非独立の第２のリーダーとして。放射線科医は、彼らが希望するときはいつでも、本実施例のシステムによって生成された結果を参照するためにクリックすることができる。

【0056】

最後の走査からの変化を探すための参照として前の画像を使用し、また、人間放射線科医がケースをコール・バックすることをトレード・オフする方法を模倣するために、平均の次いで最大の演算子を使用するなど、いくつかの実施例では、人間放射線科医によって使用される技法を模倣する多くの手法がシステムに組み込まれ得る。

【0057】

機械学習は、エクスペリエンスから生成されたフィードバック、又は機械学習プロセスがそれらのタスクのコンピュータ実行中に取得した収集されたデータを使用して、タスクのクラスを実行することを、１つ又は複数のコンピュータが学習する研究分野である。

【0058】

一般に、機械学習は教師あり（ｓｕｐｅｒｖｉｓｅｄ）手法と教師なし（ｕｎｓｕｐｅｒｖｉｓｅｄ）手法とに広く分類され得るが、特殊なルール、技法及び／又は手法を有する強化学習及び半教師あり学習など、特定の手法がある。教師あり機械学習は、オペレータ又はプログラマーによって事前決定される例示的な入力と望まれる出力との間でマッピングするための１つ若しくは複数のルール又は機能を学習するコンピュータに関係し、通常、入力を含んでいるデータ・セットはラベリングされる。

【0059】

教師なし学習は、たとえばパターン認識を実行するときに、入力データのための構造を決定することに関係し、一般にラベリングされていないデータ・セットを使用する。強化学習は、たとえばゲームをしたり、車両を駆動したりするときに、１つ又は複数のコンピュータが動的環境と対話することを可能にすることに関係する。

【0060】

トレーニング・データ・セットが部分的にのみラベリングされている「半教師あり」機械学習など、これらのカテゴリーの様々なハイブリッドが可能である。教師なし機械学習の場合、たとえば、画像処理又はビデオ・エンハンスメントへのコンピュータ・ビジョン技法の適用など、様々な可能な適用例がある。教師なし機械学習は、一般に、未知のデータ構造がデータ中に存在し得る問題を解決するために適用される。データはラベリングされていないので、機械学習プロセスは、たとえば内部的に導出される情報に基づいてクラスタ化メトリックを導出することによって、データ間の暗黙的関係を識別するように動作することが要求される。たとえば、教師なし学習技法は、データ・セットの次元を低減し、データ・セット中のクラスタ間の関係を識別し、モデル化することを試みるために使用され得、たとえば、（たとえば、高次元データ・セットに適用され得る、重み付き相関ネットワーク分析と呼ばれる技法を使用して、又は各データ間のユークリッド距離の測度によってデータをクラスタ化するためにｋ平均クラスタ化（ｋ−ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ）を使用する、）クラスタ・メンバーシップの測度を生成するか、又はクラスタ中又はクラスタ間のハブ又はノードを識別することができる。

【0061】

半教師あり学習は、一般に、部分的にラベリングされたデータ・セットがある、たとえばデータのサブセットのみがラベリングされている問題を解決するために適用される。半教師あり機械学習は、外部から与えられたラベル及び目的関数並びに暗黙的データ関係を利用する。機械学習システムを最初に構成するとき、特に教師あり機械学習手法を使用するとき、機械学習アルゴリズムには、何らかのトレーニング・データ又はトレーニング例のセットが与えられ得、各例は、一般に入力信号／ベクトルと所望の出力値、ラベル（又は分類）又は信号とのペアである。機械学習アルゴリズムは、トレーニング・データを分析し、見えない入力ベクトル／信号のための所望の出力値又は信号を生成するために、見えないデータ・セットとともに使用され得る一般化された関数を生成する。ユーザは、トレーニング・データとしてどのタイプのデータが使用されるべきかを決定し、データの代表的現実世界セットを作成する必要がある。ユーザは、しかしながら、トレーニング・データが、（多すぎる次元がトレーニング中に機械学習プロセスによって考えられることをもたらし得、また、機械学習プロセスがすべての又は特定の例のための良好なソリューションに収斂しないことを意味する）多すぎる特徴を与えることなしに、所望の出力値を正確に予測するために十分な情報を含んでいることを保証するように注意しなければならない。ユーザは、また、学習された又は一般化された機能の所望の構造、たとえば、サポート・ベクター・マシン又は決定木を使用するべきかどうかを決定しなければならない。

【0062】

教師なし又は半教師ありの機械学習手法の使用は、ラベリングされたデータが容易に利用可能でないとき、又はシステムが、いくつかの初期シード・ラベルを与えられた未知のデータから新しいラベリングされたデータを生成する場合に、時々使用される。

【0063】

機械学習は、非線形階層アルゴリズム、ニューラル・ネットワーク、畳み込みニューラル・ネットワーク、リカレント・ニューラル・ネットワーク、長短期メモリ・ネットワーク、多次元畳み込みネットワーク、メモリ・ネットワーク、のうちの１つ又は複数の使用によって実行され得、完全畳み込みネットワーク又はゲート付きリカレント・ネットワークは、視覚データの予測されたブロックを生成するときにフレキシブルな手法を可能にする。長短期メモリ・ネットワーク（ＬＳＴＭ：ｌｏｎｇ ｓｈｏｒｔ−ｔｅｒｍ ｍｅｍｏｒｙ ｎｅｔｗｏｒｋ）、メモリ・ネットワーク又はゲート付きリカレント・ネットワークなど、メモリ・ユニットを用いたアルゴリズムの使用は、同じ元の入力フレーム上で実行される動き補償プロセスから予測されたブロックの状態を保つことができる。これらのネットワークの使用は、アルゴリズムが動きの変化の何らかの種類の状態又はメモリを維持するので、計算効率を改善し、また、いくつかのフレームにわたる動き補償プロセスにおける時間的一貫性を改善することができる。これは、さらに、エラー率の低減をもたらすことができる。

【0064】

機械学習システムを開発することは、一般に、（１）トレーニング、及び（２）生成の２つの段階からなる。トレーニング中、機械学習モデルのパラメータは、目的関数又は損失として知られている、特定の学習目的を最適化するために、反復的に変更される。モデルがトレーニングされると、それは製造において使用され得、モデルは、入力を取り込み、トレーニングされたパラメータを使用して出力を生成する。

【0065】

本明細書で説明するシステム特徴は、方法特徴としても与えられ得、その逆も同様である。本明細書で使用する際、ミーンズ・プラス・ファンクション特徴は、それらの対応する構造に関して代替的に表され得る。

【0066】

一態様における特徴は、適切な組合せで他の態様に適用され得る。特に、方法態様はシステム態様に適用され得、その逆も同様である。さらに、一態様における任意の、いくつかの及び／又はすべての特徴は、適切な組合せで、他の態様における任意の、いくつかの及び／又はすべての特徴に適用され得る。

【0067】

また、いずれかの態様において説明され、定義された様々な特徴の特定の組合せは、単独で実装及び／又は供給及び／又は使用され得ることを諒解されたい。

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

マンモグラフィ画像を分析するコンピュータ支援方法であって、前記方法は、
複数のマンモグラム（１０）を受信するステップと、
前記マンモグラムの各々についての悪性腫瘍分類を識別することを含む、前記複数のマンモグラム（１０）に対して第１の分析（３０）を実行するステップと、
前記第１の分析（３０）に応じて、マンモグラムの各々についての悪性腫瘍出力値（３０Ｙ）を決定するステップと、
前記複数のマンモグラムについての前記悪性腫瘍出力値を平均化することによって平均悪性腫瘍出力値を決定するステップと、
出力バイナリ悪性腫瘍値（６０Ｙ）を生成するために前記平均悪性腫瘍出力値をしきい値処理するステップと、
各マンモグラムについての複数の位置特定データ・パラメータ（４０Ｘ）を決定するために前記複数のマンモグラムに対してマスク領域畳み込みニューラル・ネットワーク（マスクＲＣＮＮ）を使用して第２の分析（４０）を実行するステップと、
前記出力バイナリ悪性腫瘍値に応じて、前記複数のマンモグラムについての出力位置特定データを生成する（７０）ステップとを含み、
前記第２の分析（４０）は、
境界ボックスのセットを生成するステップであって、事前決定された交差オーバー・ユニオンを有さないすべての境界ボックスを除くことと、境界ボックス座標間を補間することとを含む、境界ボックスのセットを生成するステップと、
平均病変スコアを生成するステップであって、前記境界ボックスのセットについての病変スコアを平均化することを含む、平均病変スコアを生成するステップと、
平均セグメン化トマスクを生成するステップであって、前記平均セグメント化マスクは、所定のしきい値を用いてしきい値処理される前に、複数の生のセグメント化マスクを平均化することにより生成される、平均セグメント化マスクを生成するステップとを含む、コンピュータ支援方法。

【請求項2】

前記マンモグラムの各々についての悪性腫瘍分類を改善するために複数のマンモグラムを前処理するステップをさらに含み、前処理の前記ステップが、１つ又は複数のトレーニングされたニューラル・ネットワークの使用をさらに含む、請求項１に記載の方法。

【請求項3】

前記複数のマンモグラムに対して前記第１の分析を実行する前記ステップが、１つ又は複数のトレーニングされた畳み込みニューラル・ネットワーク分類器を使用して行われる、請求項１又は２に記載の方法。

【請求項4】

前記トレーニングされた畳み込みニューラル・ネットワーク分類器の重みが、前記畳み込みニューラル・ネットワーク分類器をトレーニングするために使用されるデータに応じてフリーズされる、請求項３に記載の方法。

【請求項5】

前記複数のマンモグラムが、
左側頭蓋尾部マンモグラム（Ｌ−ＣＣ）と、
右側頭蓋尾部マンモグラム（Ｒ−ＣＣ）と、
左側中外斜位方向マンモグラム（Ｌ−ＭＬＯ）と、
右側中外斜位方向マンモグラム（Ｒ−ＭＬＯ）と
を備える、請求項１から４までのいずれか一項に記載の方法。

【請求項6】

前記平均悪性腫瘍出力値が、
すべてのＬ−ＣＣ悪性腫瘍出力値についての平均値、
すべてのＲ−ＣＣ悪性腫瘍出力値についての平均値、
すべてのＬ−ＭＬＯ悪性腫瘍出力値についての平均値、
すべてのＲ−ＭＬＯ悪性腫瘍出力値についての平均値、
すべての左側マンモグラム悪性腫瘍出力値についての平均値、及び
すべての右側マンモグラム悪性腫瘍出力値についての平均値
の任意の組合せを含む、請求項５に記載の方法。

【請求項7】

前記平均悪性腫瘍出力値を決定するために、すべての左側マンモグラム悪性腫瘍出力値についての前記平均値と、すべての右側マンモグラム悪性腫瘍出力値についての前記平均値との間で最大オペレータが実行される、請求項６に記載の方法。

【請求項8】

前記ＲＣＮＮが、トレーニングされたＲＣＮＮであり、前記複数の位置特定データ・パラメータを決定するために複数の下位分割ネットワークを備え、前記下位分割ネットワークが、
境界ボックス生成モデル、
セグメント化モデル、及び
悪性腫瘍分類タイプ・モデル
のうちのいずれか１つ又はそれらの組合せを与える、請求項１に記載の方法。

【請求項9】

前記ＲＣＮＮが、前記第１の分析を実行するために使用される前記１つ又は複数の畳み込みニューラル・ネットワークの出力畳み込みレイヤに結合された、請求項１又は８に記載の方法。

【請求項10】

前記ＲＣＮＮが、前記第１の分析を実行するために使用される前記１つ又は複数の畳み込みニューラル・ネットワークの重みを使用してトレーニングされる、請求項９に記載の方法。

【請求項11】

前記ＲＣＮＮが、当該の病変を示すオーバーレイ・マスクを生成し、前記マスクが悪性腫瘍の確率値をさらに備える、請求項８又は１０に記載の方法。

【請求項12】

前記境界ボックス生成モデルが、当該の病変の位置を特定するために非最大抑制を用いて境界ボックス回帰を生成する、請求項８から１１までのいずれか一項に記載の方法。

【請求項13】

前記セグメント化モデルが解剖学的領域及び／又は病変のセグメント化アウトラインを与え、前記セグメント化モデルが位置特定特性をさらに備える、請求項８から１２までのいずれか一項に記載の方法。

【請求項14】

前記悪性腫瘍分類タイプ・モデルが、乳房についての組織タイプと密度カテゴリー分類とを識別する、請求項８から１３までのいずれか一項に記載の方法。

【請求項15】

前記下位分割ネットワークが、前記下位分割ネットワークによって作成されたマスクの集合を備える、請求項８から１４までのいずれか一項に記載の方法。

【請求項16】

前記ＲＣＮＮが非最大抑制及び／又は重み付きボックス・クラスタ化を用いて集合される、請求項１５に記載の方法。

【請求項17】

前記平均悪性腫瘍出力値をしきい値処理する前記ステップが、前記マンモグラムの複数の動作点を選択すること、随意に、少なくとも６つの動作点を選択することを含む、請求項１から１６までのいずれか一項に記載の方法。

【請求項18】

請求項１から１７までのいずれか一項に記載のステップを実行するために１つ又は複数の畳み込みニューラル・ネットワークをトレーニングする方法であって、前記方法は、
１つ又は複数のマンモグラムを受信することと、
全体的に前記１つ又は複数のマンモグラムを分析するために、１つ又は複数の畳み込みニューラル・ネットワークをトレーニングし、悪性腫瘍値を決定することと、
前記１つ又は複数の畳み込みニューラル・ネットワークのための重みをフリーズすることと、
前記１つ又は複数の畳み込みニューラル・ネットワークの最後の畳み込みレイヤにＲＣＮＮを追加することと、
前記１つ又は複数の畳み込みニューラル・ネットワークの前記フリーズされた重みを使用して前記ＲＣＮＮをトレーニングすることと
を含む、方法。

【請求項19】

前記１つ又は複数のマンモグラムが４０００×４０００ピクセルに制限される、請求項１又は１８に記載の方法。

【請求項20】

前記マンモグラムが、ウィンドウイング、リサンプリング、及び正規化のうちのいずれか１つ又はそれらの組合せを使用して前処理される、請求項１８又は１９に記載の方法。

【請求項21】

請求項１から２０までのいずれか一項に記載の方法を実行するように動作可能な装置。

【請求項22】

請求項１から２０までのいずれか一項に記載の方法を実行するように動作可能なコンピュータ・プログラム製品。

【国際調査報告】