特表 2024-507290 弱教師あり深層学習人工知能を利用した乳房超音波診断の方法及びシステム｛Ｍｅｔｈｏｄ ａｎｄ ｓｙｓｔｅｍ ｆｏｒ ｂｒｅａｓｔ ｕｌｔｒａｓｏｎｉｃ ｉｍａｇｅ ｄｉａｇｎｏｓｉｓ ｕｓｉｎｇ ｗｅａｋｌｙ－ｓｕｐｅｒｖｉｓｅｄ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ｝

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-16

(54)【発明の名称】弱教師あり深層学習人工知能を利用した乳房超音波診断の方法及びシステム｛Ｍｅｔｈｏｄ ａｎｄ ｓｙｓｔｅｍ ｆｏｒ ｂｒｅａｓｔ ｕｌｔｒａｓｏｎｉｃ ｉｍａｇｅ ｄｉａｇｎｏｓｉｓ ｕｓｉｎｇ ｗｅａｋｌｙ－ｓｕｐｅｒｖｉｓｅｄ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ｝

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240208BHJP

   G06V 10/82 20220101ALI20240208BHJP

【ＦＩ】

G06T7/00 614

G06T7/00 350C

G06V10/82

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023572502

(86)(22)【出願日】2022-02-10

(85)【翻訳文提出日】2023-09-13

(86)【国際出願番号】 KR2022002012

(87)【国際公開番号】W WO2022173233

(87)【国際公開日】2022-08-18

(31)【優先権主張番号】10-2021-0019446

(32)【優先日】2021-02-10

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】523303574

【氏名又は名称】ビームワークス・コーポレーション

(74)【代理人】

【識別番号】110001737

【氏名又は名称】弁理士法人スズエ国際特許事務所

(72)【発明者】

【氏名】キム、ジエ・イル

(72)【発明者】

【氏名】キム、ウォン・ハ

(72)【発明者】

【氏名】キム、ヘ・ジュン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA06

5L096BA13

5L096CA02

5L096DA02

5L096HA11

5L096KA04

(57)【要約】

弱教師あり深層学習人工知能を利用した乳房超音波診断方法は、乳房超音波画像から患者の個人情報を削除し、学習に必要な画像領域だけを含む入力データを生成する超音波画像前処理段階；上記入力データを受信し、畳み込みニューラルネットワーク（ＣＮＮ）及びグローバル平均プーリング（ＧＡＰ）を利用し、受信された入力データから特徴マップを取得し再学習する深層学習段階；グローバル平均プーリング（ＧＡＰ）を利用して上記入力データを正常、良性、悪性のうちいずれか１つと判別し、悪性と判別された場合は、判別の正確度を表す悪性確率（ＰＯＭ）を計算する鑑別診断段階；及び判別した結果を上記畳み込みニューラルネットワーク（ＣＮＮ）を通じて逆伝播し、上記判別結果に寄与したピクセル別の寄与度を勾配と特徴量から計算し、計算されたピクセル別の寄与度に基づき判別に寄与した寄与領域を上記悪性確率（ＰＯＭ）と共に視覚化する寄与領域決定及び視覚化段階を含み、上記深層学習段階は、上記寄与領域及び上記悪性確率（ＰＯＭ）の検証された性能に基づいて学習される。本発明により、病変を表示する追加のアノテーション作業を省略することが可能であるため、完全教師ありアルゴリズムと比較したとき、作業効率が改善され、関心領域を悪性確率と共に視覚化して提供するため、診断の正確度が向上する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

弱教師あり（ｗｅａｋｌｙ－ｓｕｐｅｒｖｉｓｅｄ）深層学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ；ＤＬ）人工知能を利用した乳房超音波診断方法であって
乳房超音波画像から患者の個人情報を削除し、学習に必要な画像領域だけを含む入力データを生成する超音波画像前処理段階；
前記入力データを受信し、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ＣＮＮ）及びグローバル平均プーリング（ｇｌｏｂａｌ ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ；ＧＡＰ）を利用し、受信された入力データから特徴マップを取得し再学習する深層学習段階；
グローバル平均プーリング（ＧＡＰ）を利用して前記入力データを正常、良性、悪性のうちいずれか１つと判別し、悪性と判別された場合は、判別の正確度を表す悪性確率（ｐｒｏｂａｂｉｌｉｔｙ ｏｆ ｍａｌｉｇｎａｎｃｙ；ＰＯＭ）を計算する鑑別診断段階；及び
判別した結果を前記畳み込みニューラルネットワーク（ＣＮＮ）を通じて逆伝播し、前記判別結果に寄与したピクセル別の寄与度を勾配（ｇｒａｄｉｅｎｔ）と特徴量から計算し、計算されたピクセル別の寄与度に基づき判別に寄与した寄与領域（ｒｅｌｅｖａｎｔ ｒｅｇｉｏｎ）を前記悪性確率（ＰＯＭ）と共に視覚化する寄与領域決定及び視覚化段階を含み、
前記深層学習段階は、前記寄与領域及び前記悪性確率（ＰＯＭ）の検証された性能に基づいて学習されることを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断方法。

【請求項2】

請求項１において、
前記超音波画像前処理段階は、
超音波画像のために開発された専用の非識別化モジュールを利用してダイコム（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ；ＤＩＣＯＭ）ヘッダーの情報のうち患者の個人情報に係る情報を削除すること；
超音波画像のエッジをトリミング（ｔｒｉｍｍｉｎｇ）して残りの個人情報と学習の妨げになる身体マーク及びテキストタグを削除することで匿名化された画像を抽出するか又は超音波機器から受信された超音波信号を基に画像データを生成すること；及び
前記匿名化された画像又は画像データを前記画像と同じ大きさの入力データにサイズ調整（ｒｅｓｉｚｉｎｇ）することを含むことを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断方法。

【請求項3】

請求項２において、
前記深層学習段階は、
検証における誤りを減らして再現性のあるモデルにするために、前記匿名化された画像に幾何学的変異と光学的変異のうち少なくとも１つを加えてデータ拡張（ａｕｇｍｅｎｔａｔｉｏｎ）プロセスを適用すること；
前記入力データの正常／良性／悪性を学習するために、画像分類（ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ）を行う少なくとも１つの畳み込みニューラルネットワーク（ＣＮＮ）を利用して深層学習アルゴリズムのアーキテクチャを構成し、各畳み込み層に対応する特徴マップを取得すること；及び
取得された特徴マップに係るパラメータを決定し再学習することを含むことを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断方法。

【請求項4】

請求項３において、
前記鑑別診断段階は、
前記深層学習アルゴリズムのアーキテクチャにおいて畳み込み層の次に来るように追加されたグローバル平均プーリング（ＧＡＰ）層を用いて、最後の畳み込み層の各々の特徴マップの特徴量を取得すること；
取得された特徴量に学習可能な重みを適用してクラスのスコアを計算し、計算されたクラスのスコアを基に悪性確率（ＰＯＭ）を計算することを含むことを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断方法。

【請求項5】

請求項４において、
前記寄与領域決定及び視覚化段階は、
前記特徴マップに重みを適用して各クラスのクラス活性化マップ（ｃｌａｓｓ ａｃｔｉｖａｔｉｏｎ ｍａｐ；ＣＡＭ）を取得すること；
取得されたクラス活性化マップ（ＣＡＭ）にｍｉｎ－ｍａｘ正規化を適用してスケーリングすること；
スケーリングされたクラス活性化マップ（ＣＡＭ）にしきい値を適用した二値化を行って前記寄与領域を決定すること；及び
前記クラス活性化マップ（ＣＡＭ）をヒートマップとして前記悪性確率（ＰＯＭ）と共に視覚化することを含むことを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断方法。

【請求項6】

請求項３において、
前記幾何学的変異は、水平反転、垂直反転、回転、スケーリング、並進のうち少なくとも１つを含み、
前記光学的変異は、削除、スペックルノイズ（ｓｐｅｃｋｌｅ ｎｏｉｓｅ）処理、尖鋭化（ｓｈａｒｐｅｎｉｎｇ）、ガウシアンぼかし（Ｇａｕｓｓｉａｎ ｂｌｕｒｒｉｎｇ）のうち少なくとも１つを含むことを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断方法。

【請求項7】

弱教師あり深層学習（ＤＬ）人工知能を利用した乳房超音波診断システムであって、
乳房超音波画像から患者の個人情報を削除し、学習に必要な画像領域だけを含む入力データを生成する超音波画像前処理モジュール；
前記入力データを受信し、畳み込みニューラルネットワーク（ＣＮＮ）及びグローバル平均プーリング（ＧＡＰ）を利用し、受信された入力データから特徴マップを取得し再学習する深層学習モジュール；
グローバル平均プーリング（ＧＡＰ）を利用して前記入力データを正常、良性、悪性のうちいずれか１つと判別し、悪性と判別された場合は、判別の正確度を表す悪性確率（ＰＯＭ）を計算する鑑別診断モジュール；及び
判別した結果を前記畳み込みニューラルネットワーク（ＣＮＮ）を通じて逆伝播し、前記判別結果に寄与したピクセル別の寄与度を勾配と特徴量から計算し、計算されたピクセル別の寄与度に基づき判別に寄与した寄与領域を前記悪性確率（ＰＯＭ）と共に視覚化する寄与領域決定及び視覚化モジュールを含み、
前記弱教師あり深層学習アルゴリズムは前記寄与領域及び前記悪性確率（ＰＯＭ）の検証された性能に基づいて学習されることを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断システム。

【請求項8】

請求項７において、
前記超音波画像前処理モジュールは、
超音波画像のために開発された専用の非識別化モジュールを利用してダイコム（ＤＩＣＯＭ）ヘッダーの情報のうち患者の個人情報に係る情報を削除し、
超音波画像のエッジをトリミング（ｔｒｉｍｍｉｎｇ）して残りの個人情報と学習の妨げになる身体マーク及びテキストタグを削除することで匿名化された画像を抽出するか又は超音波機器から受信された超音波信号を基に画像データを生成し、
前記匿名化された画像又は画像データを画像と同じ大きさの入力データにサイズ調整するように構成されることを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断システム。

【請求項9】

請求項８において、
前記深層学習モジュールは、
検証における誤りを減らして再現性のあるモデルにするために、前記匿名化された画像に幾何学的変異と光学的変異のうち少なくとも１つを加えてデータ拡張プロセスを適用し、
前記入力データの正常／良性／悪性を学習するために、画像分類を行う少なくとも１つの畳み込みニューラルネットワーク（ＣＮＮ）を利用して深層学習アルゴリズムのアーキテクチャを構成し、各畳み込み層に対応する特徴マップを取得し、
取得された特徴マップに係るパラメータを決定し再学習するように構成されることを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断システム。

【請求項10】

請求項９において、
前記鑑別診断モジュールは、
前記深層学習アルゴリズムのアーキテクチャにおいて畳み込み層の次に来るように追加されたグローバル平均プーリング（ＧＡＰ）層を用いて、最後の畳み込み層の各々の特徴マップの特徴量を取得し、
取得された特徴量に学習可能な重みを適用してクラスのスコアを計算し、計算されたクラスのスコアを基に悪性確率（ＰＯＭ）を計算するように構成されることを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断システム。

【請求項11】

請求項７において、
前記寄与領域決定及び視覚化モジュールは、
前記特徴マップに重みを適用して各クラスのクラス活性化マップ（ＣＡＭ）を取得し、
取得されたクラス活性化マップ（ＣＡＭ）にｍｉｎ－ｍａｘ正規化を適用してスケーリングし、
スケーリングされたクラス活性化マップ（ＣＡＭ）にしきい値を適用した二値化を行って前記寄与領域を決定し、
前記クラス活性化マップ（ＣＡＭ）をヒートマップとして前記悪性確率（ＰＯＭ）と共に視覚化するように構成されることを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断システム。

【請求項12】

請求項９において、
前記幾何学的変異は、水平反転、垂直反転、回転、スケーリング、並進のうち少なくとも１つを含み、
前記光学的変異は、削除、スペックルノイズ処理、尖鋭化、ガウシアンぼかしのうち少なくとも１つを含むことを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、乳房超音波画像を用いて乳がんを診断するための人工知能技術に係り、特に弱教師あり深層学習アルゴリズムを開発し、関心領域に対する画像アノテーションを行わずに、超音波画像を基に乳がんを診断し、診断に寄与した領域の位置特定及び視覚化を行う方法及びシステムに関する。

【背景技術】

【0002】

乳房超音波検査装置は、良性と悪性の乳房腫瘤（ｂｒｅａｓｔ ｍａｓｓ）の鑑別診断を行うために用いられる主な検査装置であり、診断的且つ検診的目的で用いられる。超音波は、特に高濃度乳房を持つ女性から、乳房撮影画像からは見つけにくい潜在性がん（ｏｃｃｕｌｔ ｃａｎｃｅｒ）を検出できるという証拠が次々と発見され、より一層関心を集めている。乳がんは、女性特有のがんのうち、発生率で１位を占めており、乳がんの早期診断は乳がんの致死率を下げるための重要な過程となる。超音波を利用した乳がん診断は、利便性、安定性、高い正確性から、乳房の病変の診断と観察に幅広く応用されている。

【0003】

超音波診断の原理は、以下の通りである。まず、超音波検査装置のプローブから照射された音波は、乳腺の中に入り込み、様々な組織の構造の中に吸収されるか反射される。反射波はプローブに戻ってきて超音波検査装置によって映像として処理される。一般的には、超音波画像から腫瘍の良性と悪性を判別し関心領域を分割することは、自然の画像を用いて行う場合より難しいが、その理由は、１）超音波画像のコントラスト比が低く、スペックルノイズが多く、２）相異なる腫瘍は形状及び外観の差が大きいが、特に良性腫瘍と悪性腫瘍との間の差が大きく、３）腫瘍と類似した正常組織と超音波虚像が存在し、４）腫瘍の境界に対する明確な定義がないためである。

【0004】

大韓民国特許出願公開番号第１０２０１４０１０９３２０（公開日２０１４年９月１５日、発明の名称「超音波画像処理方法と装置及び乳がん診断装置」）は、受信された超音波画像に対してオーバーセグメンテーションを行い、多層構造のセグメントを取得する段階；取得した多層構造のセグメントの中から各セグメントの特徴を抽出する段階；検査ウィンドウとしてオーバーコンプリートスライディングウィンドウを生成するように受信された超音波画像に対し目標対象検査を行う段階、検査ウィンドウを通じて、画像の特徴を、取得した多層構造のセグメントへ伝達する段階；セグメント分類器のトレーニングを行うように、抽出された各セグメントの特徴と検査ウィンドウを通じてセグメントへ伝達された特徴とを統合する段階；セグメント分類器の出力を受信して、統合電圧を、対をなすＣＲＦモデルに提供して、セグメントの目標対象を得る段階を含む、乳がん診断装置を開示している。

【0005】

しかし、かかる技術を用いても乳房超音波は、専門家間でも診断能力に差がある可能性があり、特に、非専門家と専門家とでは相当な診断能力の格差があるため偽陽性や偽陰性の判定が多く、不要な組織検査や手術につながり、患者の身体に大きな危害を及ぼすだけでなく、医療費用の増加をもたらし、社会的に大きな問題になっている。

【0006】

かかる課題を克服するために、超音波画像に基づく乳がんの診断を補助するための様々な研究が行われており、最近人工知能の技術の中で医療画像分野において最も脚光を浴びている深層学習アルゴリズム（ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ）を採用する取り組みが徐々に広がっている。

【0007】

超音波画像を用いてがんを診断するための従来の深層学習アルゴリズム研究は、腫瘍の病変を関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ、ＲＯＩ）として手動で分割し、分割されたＲＯＩを入力とし、良性／悪性の病変を判別するようにする完全教師あり学習（ｆｕｌｌｙ－ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）に基づくものであるが、これは一般的に専門家が病変の関心領域（ＲＯＩ）を画像内において手動で描くというアノテーションのプロセスを必要とする。

【0008】

また、手動アノテーションではなく自動ＲＯＩ分割（ｓｅｇｍｅｎｔａｔｉｏｎ）手法を利用する場合でも、専門家がＲＯＩを検証する必要がある。かかる関心領域に対する画像アノテーション工程には以下のような課題がある。

【0009】

第１に、関心領域に対する画像アノテーション工程は、多くの時間と労働力を要するため、膨大な（一般的には、数千数万以上の画像が学習に必要）学習データを基に頑健な（診断性能が高く、他のデータに適用可能な）深層学習モデルを開発するには限界がある。

【0010】

第２に、関心領域に対する画像アノテーション工程のための手動作業は、病変の特性（良性／悪性の可能性の境界、模様）に対して主観的な事前判定を行ったうえで作業が行われるため、データに基づいてパラメータを決める深層学習アルゴリズムにバイアス（ｂｉａｓ）が加えられ、モデルの性能に否定的な影響を及ぼしかねない。

【0011】

第３に、関心領域に対する画像アノテーションに基づくモデルは、臨床的に適用する際の入力データとしても同様にアノテーションされた画像を必要とするため、画像に対する深層学習モデルの予測値を得るためには、ユーザーが毎回関心領域を指定しＲＯＩセグメンテーションを行わなければならないという労力がかかるので、臨床的に活用しにくい。

【0012】

第４に、病変を鑑別診断する際、病変の領域ではない、病変の周辺領域（例えば、周辺組織の変化及びエコー図）の情報が役に立つことが多いが、従来の完全教師あり学習に基づく補助診断方式は、病変だけを学習に活用するため、画像の情報を包括的に学習するには限界があった。

【0013】

第５に、従来の診断方式は、乳房腫瘤を鑑別診断する課題に限られているため、正常な画像を入力データとして活用できない。

【0014】

これは、実際に乳房超音波画像において最も多くの領域を占めるのは正常（病変がない）な乳房の画像であるため、臨床的な活用において大きな障害だと言える。

【0015】

従って、関心領域（ＲＯＩ）に対する画像アノテーション工程を行わなくても深層学習アルゴリズムを開発できる弱教師あり（ｗｅａｋｌｙ－ｓｕｐｅｒｖｉｓｅｄ）学習に基づく人工知能学習方法とシステムが、超音波画像を用いた乳がん診断のために、強く求められている。

【先行技術文献】

【特許文献】

【0016】

【特許文献1】大韓民国特許出願公開番号第１０２０１４０１０９３２０（公開日２０１４年９月１５日、発明の名称「超音波画像処理方法と装置及び乳がん診断装置」

【発明の概要】

【発明が解決しようとする課題】

【0017】

本発明の目的は、弱教師あり（ｗｅａｋｌｙ－ｓｕｐｅｒｖｉｓｅｄ）学習に基づく人工知能の学習方法を利用した、関心領域（ＲＯＩ）に対する画像アノテーションの過程がない、効率的な深層学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ）アルゴリズムを開発し、乳房超音波画像から正常／良性／悪性を判別する鑑別診断を行い、且つ、診断に寄与した領域を視覚化して乳がんを診断できるシステムを提供することである。

【課題を解決するための手段】

【0018】

上記のような目的を達成するための本発明の一側面は、弱教師あり（ｗｅａｋｌｙ－ｓｕｐｅｒｖｉｓｅｄ）学習に基づく深層学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ）アルゴリズムを開発し、関心領域（ＲＯＩ）に対する画像アノテーションが行われていない乳房超音波画像を基に正常／良性／悪性を判別する鑑別診断を行い、且つ、診断に寄与した領域を視覚化して乳がんを診断できる方法に係るものである。

【0019】

かかる弱教師あり（ｗｅａｋｌｙ－ｓｕｐｅｒｖｉｓｅｄ）深層学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ；ＤＬ）人工知能を利用した乳房超音波診断方法は、乳房超音波画像から患者の個人情報を削除し、学習に必要な画像領域だけを含む入力データを生成する超音波画像前処理段階；上記入力データを受信し、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ＣＮＮ）及びグローバル平均プーリング（ｇｌｏｂａｌ ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ；ＧＡＰ）を利用し、受信された入力データから特徴マップを取得し再学習する深層学習段階；グローバル平均プーリング（ＧＡＰ）を利用して上記入力データを正常、良性、悪性のうちいずれか１つと判別し、悪性と判別された場合は、判別の正確度を表す悪性確率（ｐｒｏｂａｂｉｌｉｔｙ ｏｆ ｍａｌｉｇｎａｎｃｙ；ＰＯＭ）を計算する鑑別診断段階；及び判別した結果を上記畳み込みニューラルネットワーク（ＣＮＮ）を通じて逆伝播し、上記判別結果に寄与したピクセル別の寄与度を勾配（ｇｒａｄｉｅｎｔ）と特徴量から計算し、計算されたピクセル別の寄与度に基づき判別に寄与した寄与領域（ｒｅｌｅｖａｎｔ ｒｅｇｉｏｎ）を上記悪性確率（ＰＯＭ）と共に視覚化する寄与領域決定及び視覚化段階を含み、上記深層学習段階は、上記寄与領域及び上記悪性確率（ＰＯＭ）の検証された性能に基づいて学習されることを特徴とする。

【0020】

特に、上記超音波画像前処理段階は、超音波画像のために開発された専用の非識別化モジュールを利用してダイコム（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ；ＤＩＣＯＭ）ヘッダーの情報のうち患者の個人情報に係る情報を削除すること；超音波画像のエッジをトリミング（ｔｒｉｍｍｉｎｇ）して残りの個人情報と学習の妨げになる身体マーク及びテキストタグを削除することで匿名化された画像を抽出するか又は超音波機器から受信された超音波信号を基に画像データを生成すること；及び上記匿名化された画像又は画像データを上記画像と同じ大きさの入力データにサイズ調整（ｒｅｓｉｚｉｎｇ）することを含むことを特徴とする。

【0021】

上記深層学習段階は、検証における誤りを減らして再現性のあるモデルにするために、上記匿名化された画像に幾何学的変異と光学的変異のうち少なくとも１つを加えてデータ拡張（ａｕｇｍｅｎｔａｔｉｏｎ）プロセスを適用すること；上記入力データの正常／良性／悪性を学習するために、画像分類（ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ）を行う少なくとも１つの畳み込みニューラルネットワーク（ＣＮＮ）を利用して深層学習アルゴリズムのアーキテクチャを構成し、各畳み込み層に対応する特徴マップを取得すること；及び取得された特徴マップに係るパラメータを決定し再学習することを含むことを特徴とする。

【0022】

さらに、上記鑑別診断段階は、上記深層学習アルゴリズムのアーキテクチャにおいて畳み込み層の次に来るように追加されたグローバル平均プーリング（ＧＡＰ）層を用いて、最後の畳み込み層の各々の特徴マップの特徴量を取得すること；取得された特徴量に学習可能な重みを適用してクラスのスコアを計算し、計算されたクラスのスコアを基に悪性確率（ＰＯＭ）を計算することを含むことを特徴とする。

【0023】

また、上記寄与領域決定及び視覚化段階は、上記特徴マップに重みを適用して各クラスのクラス活性化マップ（ｃｌａｓｓ ａｃｔｉｖａｔｉｏｎ ｍａｐ；ＣＡＭ）を取得すること；取得されたクラス活性化マップ（ＣＡＭ）にｍｉｎ－ｍａｘ正規化を適用してスケーリングすること；スケーリングされたクラス活性化マップ（ＣＡＭ）にしきい値を適用した二値化を行って上記寄与領域を決定すること；及び上記クラス活性化マップ（ＣＡＭ）をヒートマップとして上記悪性確率（ＰＯＭ）と共に視覚化することを含むことを特徴とする。

【0024】

特に、上記幾何学的変異は、水平反転、垂直反転、回転、スケーリング、並進のうち少なくとも１つを含み、上記光学的変異は、削除、スペックルノイズ（ｓｐｅｃｋｌｅ ｎｏｉｓｅ）処理、尖鋭化（ｓｈａｒｐｅｎｉｎｇ）、ガウシアンぼかし（Ｇａｕｓｓｉａｎ ｂｌｕｒｒｉｎｇ）のうち少なくとも１つを含む。

【0025】

上記のような目的を達成するための本発明の一側面は、弱教師あり学習に基づく深層学習アルゴリズムを開発し、関心領域（ＲＯＩ）に対する画像アノテーションが行われていない乳房超音波画像を基に正常／良性／悪性を判別する鑑別診断を行い、且つ、診断に寄与した領域を視覚化して乳がんを診断できるシステムに関するものである。

【0026】

かかる弱教師あり深層学習（ＤＬ）人工知能を利用した乳房超音波診断システムは、乳房超音波画像から患者の個人情報を削除し、学習に必要な画像領域だけを含む入力データを生成する超音波画像前処理モジュール；上記入力データを受信し、畳み込みニューラルネットワーク（ＣＮＮ）及びグローバル平均プーリング（ＧＡＰ）を利用し、受信された入力データから特徴マップを取得し再学習する深層学習モジュール；グローバル平均プーリング（ＧＡＰ）を利用して上記入力データを正常、良性、悪性のうちいずれか１つと判別し、悪性と判別された場合は、判別の正確度を表す悪性確率（ＰＯＭ）を計算する鑑別診断モジュール；及び判別した結果を上記畳み込みニューラルネットワーク（ＣＮＮ）を通じて逆伝播し、上記判別結果に寄与したピクセル別の寄与度を勾配と特徴量から計算し、計算されたピクセル別の寄与度に基づき判別に寄与した寄与領域を上記悪性確率（ＰＯＭ）と共に視覚化する寄与領域決定及び視覚化モジュールを含み、上記弱教師あり深層学習アルゴリズムは上記寄与領域及び上記悪性確率（ＰＯＭ）の検証された性能に基づいて学習されることを特徴とする。

【0027】

特に、上記超音波画像前処理モジュールは、超音波画像のために開発された専用の非識別化モジュールを利用してダイコム（ＤＩＣＯＭ）ヘッダーの情報のうち患者の個人情報に係る情報を削除し、超音波画像のエッジをトリミング（ｔｒｉｍｍｉｎｇ）して残りの個人情報と学習の妨げになる身体マーク及びテキストタグを削除することで匿名化された画像を抽出するか又は超音波機器から受信された超音波信号を基に画像データを生成し、上記匿名化された画像又は画像データを画像と同じ大きさの入力データにサイズ調整するように構成される。

【0028】

また、上記深層学習モジュールは、検証における誤りを減らして再現性のあるモデルにするために、上記匿名化された画像に幾何学的変異と光学的変異のうち少なくとも１つを加えてデータ拡張プロセスを適用し、上記入力データの正常／良性／悪性を学習するために、画像分類を行う少なくとも１つの畳み込みニューラルネットワーク（ＣＮＮ）を利用して深層学習アルゴリズムのアーキテクチャを構成し、各畳み込み層に対応する特徴マップを取得し、取得された特徴マップに係るパラメータを決定し再学習するように構成される。

【0029】

さらに、上記鑑別診断モジュールは、上記深層学習アルゴリズムのアーキテクチャにおいて畳み込み層の次に来るように追加されたグローバル平均プーリング（ＧＡＰ）層を用いて、最後の畳み込み層の各々の特徴マップの特徴量を取得し、取得された特徴量に学習可能な重みを適用してクラスのスコアを計算し、計算されたクラスのスコアを基に悪性確率（ＰＯＭ）を計算するように構成される。

【0030】

また、上記寄与領域決定及び視覚化モジュールは、上記特徴マップに重みを適用して各クラスのクラス活性化マップ（ＣＡＭ）を取得し、取得されたクラス活性化マップ（ＣＡＭ）にｍｉｎ－ｍａｘ正規化を適用してスケーリングし、スケーリングされたクラス活性化マップ（ＣＡＭ）にしきい値を適用した二値化を行って上記寄与領域を決定し、上記クラス活性化マップ（ＣＡＭ）をヒートマップとして上記悪性確率（ＰＯＭ）と共に視覚化するように構成される。

【0031】

さらに、上記幾何学的変異は、水平反転、垂直反転、回転、スケーリング、並進のうち少なくとも１つを含み、上記光学的変異は、削除、スペックルノイズ処理、尖鋭化、ガウシアンぼかしのうち少なくとも１つを含む。

【発明の効果】

【0032】

本発明における弱教師あり深層学習手法は、関心領域に対する画像アノテーションを行わずに、画像単位のラベル（正常／良性／悪性）だけを有する画像だけでも画像分類のための学習が可能な深層学習の形態である。かかる弱教師あり深層学習アルゴリズムには、次のような利点がある。

【0033】

第１に、関心領域に対する画像アノテーションを必要とする完全教師あり学習に比べ、画像単位のラベル（正常／良性／悪性）だけでも学習できるため、時間と労力及びコストを節減し、画像データを効率的なプロセスで学習できるようになり、頑健な（診断性能が高く、他のデータに適用可能な）深層学習モデルを開発することが可能である。特に、深層学習はデータによって性能が決まるため、弱教師あり深層学習アルゴリズムを利用した効率的なデータ学習プロセスは、ビッグデータ学習を容易にして深層学習モデルの性能改善をもたらすことが可能であり、モデルを適用する際の検証における誤りを減らし、再現可能なモデルを開発することが可能である。

【0034】

第２に、弱教師あり深層学習アルゴリズムは、関心領域に対する画像アノテーション工程のための手動作業を必要としないため、病変の特性（良性／悪性の可能性に基づく境界、模様）に対する主観的な事前判定において生じかねないバイアスを最小化し、外部の検証データに対しても安定的に作動できる、再現性のあるモデルを開発することが可能である。

【0035】

第３に、関心領域に対する画像アノテーションに基づくモデルは、臨床的に適用する際の入力データとしてもアノテーションされた画像を必要とするため、画像に対する深層学習モデルの予測値を得るためには、ユーザーが毎回関心領域を指定しＲＯＩセグメンテーションを行わなければならないという手間がかかるため、臨床的な活用度が落ちるという課題があったが、発明された弱教師あり学習は、共に開発された前処理方法を用いて超音波画像を簡単に入力できるため、モデルを用いた作業の流れがより効率的である。

【0036】

第４に、病変を鑑別診断する際、病変の領域ではない、病変の周辺領域の情報が役に立つことが多いが、従来の完全教師あり学習に基づく補助診断方式は、病変だけを学習に活用するため、画像の情報を包括的に学習するには限界があったが、弱教師あり学習は病変の領域だけでなく病変の周辺領域も学習することで鑑別診断に役立つ情報を包括的に学習し、結果的に診断性能の改善をより一層図ることが可能である。

【0037】

第５に、従来の診断方式は、乳房腫瘤を鑑別診断する課題に限られているため、正常（病変のない）な画像を入力データとして活用できなかったが、弱教師あり学習に基づく深層学習モデルは、超音波画像の全体を入力データとして活用できるため、数多くの正常から非正常を見つけなければならないという検診の目的に基づく超音波の活用により適合するものになり得る。

【0038】

最後に、開発された深層学習アルゴリズムは、大量のデータを学習したパラメータ数値を基に正確且つ再現性の高い悪性確率を示してユーザー間の診断における格差を減らすことが可能であり、視覚化された寄与領域を提供してユーザーの発見における誤りを減らすことが可能である。かかる診断補助機能は、不要な組織検査及び手術を減らし、患者の身体に及ぶ危害を最小化し社会的医療コストを削減することが可能である。

【図面の簡単な説明】

【0039】

【図1】図１は、本発明の一側面に基づき、正常／良性／悪性の画像に分類し、寄与領域の視覚化（位置特定）を行う方法を概略的に示すフローチャートである。

【図2a】図２ａは、本発明の一側面に基づき、悪性腫瘍の位置特定及び視覚化を行う方法の一実施例の動作を、従来の技術と比較して説明するブロック図である。

【図2b】図２ｂは、図２ａに示す方法の動作を検証するために用いられたテストデータセットを説明するブロック図である。

【図2c】図２ｃは、図２ａに示す方法の性能を示すグラフである。

【図2d】図２ｄは、図２ａに示す方法によって視覚化された結果の例を示す図面である。

【図3】図３は、本発明の他の一側面に基づき、悪性腫瘍の位置特定及び視覚化を行うシステムの一実施例の構成及び動作を説明するブロック図である。

【図4】図４は、図３における悪性腫瘍の位置特定及び視覚化を行うシステムに適用されることが可能な膨張畳み込みプロセスを説明する図面である。

【図5a】図５ａは、図３における悪性腫瘍の位置特定及び視覚化を行うシステムに適用されることが可能な学習可能なボックスフィルターの概念を説明するための図面である。

【図5b】図５ｂは、図３における悪性腫瘍の位置特定及び視覚化を行うシステムに適用されることが可能な学習可能なボックスフィルターの概念を説明するための図面である。

【図5c】図５ｃは、図３における悪性腫瘍の位置特定及び視覚化を行うシステムに適用されることが可能な学習可能なボックスフィルターの概念を説明するための図面である。

【図5d】図５ｄは、図３における悪性腫瘍の位置特定及び視覚化を行うシステムに適用されることが可能な学習可能なボックスフィルターの概念を説明するための図面である。

【図5e】図５ｅは、図３における悪性腫瘍の位置特定及び視覚化を行うシステムに適用されることが可能な学習可能なボックスフィルターの概念を説明するための図面である。

【図6】図６は、本発明の他の一側面に基づく悪性腫瘍の位置特定及び視覚化を行うシステムの他の実施例における構成及び動作を説明するブロック図である。

【図7】図７は、図３における悪性腫瘍の位置特定及び視覚化を行うシステムに適用されることが可能なＣＡＭアルゴリズムを説明するための図面である。

【図8】図８は、図３における悪性腫瘍の位置特定及び視覚化を行うシステムのアーキテクチャを概略的に要約した図面である。

【図9】図９は、図３における悪性腫瘍の位置特定及び視覚化を行うシステムの性能を示すグラフである。

【図10】図１０は、図３のシステムによって具現化されたヒートマップの複数の例を示す図面である。

【発明を実施するための形態】

【0040】

本発明と、本発明の動作上の利点及び本発明の実施により達成される目的を十分に理解するためには、本発明の望ましい実施例を示す添付の図面及び添付の図面に記載されている内容を参照する必要がある。

【0041】

以下、本発明を詳細に説明するために、添付の図面を参照し、本発明の望ましい実施例を説明する。しかし、本発明は、様々な相異なる形態に具現化されることが可能であり、以下に説明する実施例に限定されるわけではない。そして、本発明を明確に説明するために、説明と関係ない部分は省略され、図面の同一の参照符号は同一の部材を指すものとする。

【0042】

図１は、本発明の一側面に基づき、正常／良性／悪性の画像に分類し、寄与領域の視覚化（位置特定）を行う方法を概略的に示すフローチャートである。

【0043】

本発明における弱教師あり（ｗｅａｋｌｙ－ｓｕｐｅｒｖｉｓｅｄ）深層学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ；ＤＬ）アルゴリズムが適用された畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ＣＮＮ）を活用し、画像単位のラベルしか付いていない乳房超音波画像を基に悪性腫瘍の位置特定及び視覚化を行う方法によると、まず超音波画像が受信される（Ｓ１１０）。受信された画像は、患者を識別する情報と超音波モダリティに係る情報等を含んでいる可能性があるため、かかる情報を削除して画像情報だけを残す（Ｓ１３０）。超音波画像から自動的に画像領域を区別する非識別化技術は、超音波画像モダリティ別のプリセットと画像処理技術（Ｒｅｇｉｏｎ Ｇｒｏｗｉｎｇ ＋ Ｈｏｌｅ ｆｉｌｌｉｎｇ等）を利用して具現化されることが可能である。しかし、これは、あくまでも例示のために提供されたものであり、本発明を限定するものではないことに注意すべきである。

【0044】

入力画像は、悪性腫瘍及び良性腫瘍を含むことが可能である。続いて、入力データを受信し、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ＣＮＮ）及びグローバル平均プーリング（ｇｌｏｂａｌ ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ；ＧＡＰ）を利用して受信された入力データから特徴マップを取得し再学習する（Ｓ１５０）。このように、従来の技術とは違って、本発明においては、入力画像において病変と疑われる部位をマークしアノテーションする過程を必要とせず、入力画像から直接特徴マップを取得し再学習する。従って、手動アノテーションにかかる時間と労力を大いに節減でき、学習効果が向上し、結果の信頼度が高まる。

【0045】

続いて、グローバル平均プーリング（ＧＡＰ）を利用して入力データを正常、良性、悪性のうちいずれか１つと判別し、悪性と判別された場合は判別の正確度を表す悪性確率（ｐｒｏｂａｂｉｌｉｔｙ ｏｆ ｍａｌｉｇｎａｎｃｙ；ＰＯＭ）を計算する（Ｓ１７０）。 つまり、本発明においては、悪性と判別された結果の確率を共に提供することで、判別結果の検証を容易にすることが可能である。

【0046】

悪性確率（ＰＯＭ）が計算されると、上記入力データが判別した結果を畳み込みニューラルネットワーク（ＣＮＮ）を通じて逆伝播し、判別結果に寄与したピクセル別の寄与度を勾配（ｇｒａｄｉｅｎｔ）と特徴量から計算し、計算されたピクセル別の寄与度に基づき判別に寄与した寄与領域（ｒｅｌｅｖａｎｔ ｒｅｇｉｏｎ）を上記悪性確率（ＰＯＭ）と共に視覚化する（Ｓ１９０）。つまり、本発明における悪性腫瘍の位置特定及び視覚化を行う方法においては、入力画像なしに寄与領域だけを表示するのではなく、入力画像全体から分類された寄与領域を直接表示し、悪性確率（ＰＯＭ）によって異なる色を使って視覚化する。従って、病変の周辺の形状や特性を参照して診断することが可能になるため、診断の正確度が向上し、ユーザーの利便性が高まり、乳がん診断の過程において有効に活用されることが可能である。

【0047】

かかる弱教師あり深層学習アルゴリズムは、診断結果の性能を検証し、検証された性能に基づき弱教師あり深層学習アルゴリズムを繰り返すことで学習される。このように、診断結果を用いて弱教師あり深層学習アルゴリズムを学習させるため、手動アノテーションを行うことなく迅速且つ正確に診断性能を向上させることが可能である。

【0048】

図２ａは、本発明の一側面に基づき、悪性腫瘍の位置特定及び視覚化を行う方法の一実施例の動作を、従来の技術と比較して説明するブロック図である。

【0049】

図２ａに示すように、本発明における悪性腫瘍の位置特定及び視覚化を行う方法は、従来の技術とは違って入力画像から病変部位を手動又は自動で抽出（又は、クロップ）してアノテーションする過程を必要とせず、非識別化過程を経た入力画像をそのまま分類器に入力する。つまり、病変の画像だけがＣＮＮに入力されるのではなく、病変を含む入力画像のほぼ全部が入力される。また、診断結果と共にヒートマップを一緒に提供してユーザーの便宜を図り、病変部位が確率と共によりよく現出されるようにサポートする。

【0050】

図２ｂは、図２ａに示す方法の動作を検証するために用いられたテストデータセットを説明するブロック図である。

【0051】

まず、１４００個の超音波画像を２つの病院から収集した。弱教師あり深層学習アルゴリズムは、３つのネットワーク（ＶＧＧ１６、ＲｅｓＮｅｔ３４、及びＧｏｏｇＬｅＮｅｔ）によって具現化され、画像単位のラベルしか付いていない超音波画像を１０００個（５００個の良性及び５００個の悪性腫瘤）使って学習される。２００個の画像（１００個の良性及び１００個の悪性腫瘤）からなる画像セットが２セット用いられるが、それぞれ内部と外部の検証セットとして用いられる。

【0052】

そして、完全教師ありアルゴリズムと比較するために、ディープセグメンテーションネットワーク（Ｕ－Ｎｅｔ）を使い、ＲＯＩアノテーションが手動且つ自動で行われる。診断性能が、受信者動作特性曲線（ＡＵＣ）の下の面積として計算され、弱教師あり及び完全教師あり深層学習アルゴリズムにおいて比較される。クラス活性化マップを用いて、弱教師あり深層学習アルゴリズムがいかに正確に乳房腫瘤の位置特定を行ったかが決定される。

【0053】

図２ｃは、図２ａに示す方法の性能を示すグラフである。内部（Ａ）及び外部（Ｂ）の検証セットにおいて、弱教師ありアルゴリズムと、手動及び自動のＲＯＩアノテーションが行われている完全教師あり深層学習（ＤＬ）アルゴリズムとを用いた相異なる分類器に係る受信者動作特性曲線（ＲＯＣ）。（Ａ）弱教師あり深層学習アルゴリズムの受信者動作特性曲線の下の面積（ＡＵＣ）は、完全教師あり深層学習アルゴリズムのものと違いがない（全てのＰｓ>０．０５）。（Ｂ）弱教師あり深層学習のＡＵＣは、完全教師あり深層学習アルゴリズムのものと比較すると、統計的に違いがないか（Ｐｓ>０．０５）より高い（Ｐ=０．０４、自動化されたＲＯＩアノテーションが伴うＶＧＧ１６）。

【0054】

図２ｃに示すように、本発明における悪性腫瘍の位置特定及び視覚化を行う方法は、タグのついていない入力画像をＣＮＮに入力しても、従来の完全教師あり学習と同等かそれ以上の性能が得られた。

【0055】

図２ｄは、図２ａに示す方法によって視覚化された結果の例を示す図面である。真陽性（Ａ）、偽陰性（Ｂ）、偽陽性（Ｃ）、真陰性（Ｄ）の例が、それぞれのネットワーク（ＶＧＧ１６、ＲｅｓＮｅｔ３４、及びＧｏｏｇＬｅＮｅｔ）に対して表示される。（Ａ）超音波画像は、１７－ｍｍの不規則で尖った形の浸潤性乳管がん（ｄｕｃｔａｌ ｃａｒｃｉｎｏｍａ）を示しているが、これはＶＧＧ１６、ＲｅｓＮｅｔ３４、ＧｏｏｇＬｅＮｅｔにおいてそれぞれ１．００、１．００、０．９９９の悪性確率（ＰＯＭ）が算出され、悪性と予測された。（Ｂ）超音波画像は、１１－ｍｍの卵型、限局性（ｃｉｒｃｕｍｓｃｒｉｂｅｄ）、等エコー粘液がん（ｉｓｏｅｃｈｏｉｃ ｍｕｃｉｎｏｕｓ ｃａｒｃｉｎｏｍａ）を示しているが、これはＰＯＭがそれぞれ０．００７、０．０００、０．０００となり、良性と予測された。（Ｃ）超音波画像は、良性とみなされる２９－ｍｍ卵型、巨大石灰化（ｍａｃｒｏｃａｌｃｉｆｉｃａｔｉｏｎ）（４６ヶ月間の経過観察期間中に変化なし）を示しているが、これはＰＯＭがそれぞれ１．０００、０．９９４、１．０００となり、悪性と予測された。（Ｄ）超音波画像は、良性とみなされる６－ｍｍ卵型、限局性の腫瘤を示しているが（５５ヶ月間の経過観察期間中に変化なし）、これはＰＯＭがそれぞれ０．４３４、０．００６、０．００６となり、良性と予測された。

【0056】

結果的に、内部検証セットの場合、弱教師あり深層学習アルゴリズムは優れた診断性能を達成し、ＡＵＣは０．９２－０．９６だが、これは、手動又は自動のＲＯＩアノテーションを伴う完全教師あり深層学習アルゴリズムでのそれ（ＡＵＣ、０．９２－０．９６）と統計的に違いがない（全てのＰｓ>０．０５）。外部検証セットの場合、弱教師あり深層学習アルゴリズムは、ＡＵＣが０．８６－０．９０を達成しているが、これは完全教師あり深層学習アルゴリズムのそれ（ＡＵＣ、０．８４－０．９２）と統計的に違いがないか（Ｐｓ>０．０５）、又はより高かった（自動ＲＯＩアノテーションの場合、Ｐ=０．０４、ＶＧＧ１６）。内部及び外部検証セットにおいて、弱教師ありアルゴリズムは、ＲｅｓＮｅｔ３４（９８％）を除いて悪性腫瘤を１００％位置特定することが可能である。

【0057】

より詳しく説明すると、本発明において、良性腫瘤から悪性を確率スコアと共に予測するために、３つの代表的なネットワーク（ＶＧＧ１６、ＲｅｓＮｅｔ３４、及びＧｏｏｇＬｅＮｅｔ）を用いる弱教師あり深層学習アルゴリズムが活用される。また、予測された結果に寄与する入力画像の領域を強調するためにクラス活性化マップ（ＣＡＭ）を用いる弱教師あり深層学習アルゴリズムの識別性位置特定の性能が検査される。また、収集された１４００個の画像のうち、７００個は生検又は手術によって確定されたがん（癌）が写っている画像であり、７００個は生検によって（ｎ＝１６３）、又は少なくともその後２年間にわたる後続の画像診断によって確定された（ｎ＝５３７）良性腫瘤の画像だった。データセットは、学習セットと検証セットを含むようにした。学習セットは、入手元Ａから取得した５００個の良性腫瘤及び５００個の悪性腫瘤を含むようにした（データ収集期間：２０１１年１月－２０１３年８月）。検証セットは、内部検証セットと外部検証セットに分けられ、それぞれ画像（各セットにおいて、総画像数２００個、そのうち１００個は良性腫瘤、１００個は悪性腫瘤）があった。内部検証用の画像は、入手元Ａから一時的に分離され（データ収集期間：２０１３年９月－２０１４年７月）、且つアルゴリズム学習のために用いられていない。そして、外部検証用の画像は、入手元Ｂから持続的に取得された（データ収集期間：２０１１年５月－２０１５年８月）。全ての乳房超音波画像は、画像保存及び通信システムから抽出され、ＪＰＥＧフォーマットに保存された。入手元Ａから取得した学習セット及び内部検証セットの場合、画像を生成するために１つの超音波装備が用いられたが、外部検証セット（入手元Ｂから取得した）の場合は色々な超音波装備が用いられた。

【0058】

図３は、本発明の他の一側面に基づき、悪性腫瘍の位置特定及び視覚化を行うシステムの一実施例の構成及び動作を説明するブロック図である。

【0059】

本発明に基づき悪性腫瘍の位置特定及び視覚化を行うシステムは、非識別化モジュール（３１０）、データ強化モジュール（３３０）、ＣＮＮ（３５０）、及び寄与領域決定及び視覚化モジュール（３７０）を含む。

【0060】

非識別化モジュール（３１０）は、超音波画像前処理モジュール（図示は省略）の一部として、乳房超音波画像において診断対象であり、悪性腫瘍と良性腫瘍のうち１つ以上を含むことが可能な入力画像を生成する。そのために、非識別化モジュール（３１０）は、乳房超音波画像のエッジをトリミングして、患者の身体マーク及びテキストタグを除去して匿名化された画像を生成し、同一の大きさの匿名化された画像を入力画像として抽出するように構成されることが可能である。

【0061】

データ強化モジュール（３３０）も同様に、超音波画像前処理モジュール（図示は省略）に含まれており、匿名化された画像の幾何学的変異と光学的変異のうち１つを追加して診断性能を高めることが可能である。幾何学的変異には、水平反転、垂直反転、回転、スケーリング、並進等が含まれ、光学的変異には削除、スペックルノイズ処理、尖鋭化、ガウシアンぼかし等が含まれることが可能である。しかし、これはあくまでも例示のために提供されたものであり、本発明を限定するものではないことに注意すべきである。

【0062】

データ強化モジュール（３３０）の出力は、ＣＮＮ（３５０）に入力される。本発明において、ＣＮＮ（３５０）は、機能によって深層学習モジュール（図示は省略）及び鑑別診断モジュール（図示は省略）の機能を実行するものであると考えることが可能である。

【0063】

その場合、深層学習モジュール（図示は省略）が入力データを受信し、畳み込みニューラルネットワーク（ＣＮＮ）及びグローバル平均プーリング（ＧＡＰ）を利用し、受信された入力データから特徴マップを取得し再学習する。また、鑑別診断モジュール（図示は省略）は、グローバル平均プーリング（ＧＡＰ）を利用して入力データを正常、良性、悪性のうちいずれか１つと判別し、悪性と判別された場合は判別の正確度を表す悪性確率（ＰＯＭ）を計算する。

【0064】

続いて、寄与領域決定及び視覚化モジュール（１７０）は、入力データから判別した結果を上記畳み込みニューラルネットワーク（ＣＮＮ）を通じて逆伝播し、判別結果に寄与したピクセル別の寄与度を勾配と特徴量から計算し、計算されたピクセル別の寄与度に基づき判別に寄与した寄与領域を上記悪性確率（ＰＯＭ）と共に視覚化する。

【0065】

より詳しく説明すると、非識別化モジュール（３１０）は、超音波画像のために開発された専用の非識別化モジュールを利用してダイコム（ＤＩＣＯＭ）ヘッダーの情報のうち患者の個人情報に係る情報を削除し、超音波画像のエッジをトリミング（ｔｒｉｍｍｉｎｇ）して残りの個人情報と学習の妨げになる身体マーク及びテキストタグを削除することで匿名化された画像を抽出する。または、非識別化モジュール（３１０）は、超音波機器から受信された超音波信号を基に、画像データを直接生成することも可能である。この場合、匿名化された画像又は画像データは、同一の大きさの入力データに大きさが調整されることが望ましい。

【0066】

また、深層学習モジュールは、検証における誤りを減らし、再現性のあるモデルを生成するために、上記匿名化された画像に幾何学的変異と光学的変異のうち少なくとも１つを追加してデータ拡張プロセスを適用することが可能である。さらに、深層学習モジュールは、入力データに対する正常／良性／悪性を学習するために、ＶＧＧ１６、ＲｅｓＮｅｔ３４、ＧｏｏｇＬｅＮｅｔのように画像分類を行う少なくとも１つの畳み込みニューラルネットワーク（ＣＮＮ）を利用して深層学習アルゴリズムのアーキテクチャを構成して、各畳み込み層に係る特徴マップを取得する。深層学習モジュールは、取得された特徴マップのパラメータを決定し、再学習することで、学習精度を高める。

【0067】

鑑別診断モジュールについて説明すると、鑑別診断モジュールは、深層学習アルゴリズムのアーキテクチャにおいて畳み込み層の次に来るように追加されたグローバル平均プーリング（ＧＡＰ）層を用いて、最後の畳み込み層の各々の特徴マップの特徴量を取得し、取得された特徴量に学習可能な重みを適用してクラスのスコアを計算する。そして、鑑別診断モジュールは、計算されたクラスのスコアを基に悪性確率（ＰＯＭ）を計算する。

【0068】

悪性確率（ＰＯＭ）が計算されると、寄与領域決定及び視覚化モジュールは、特徴マップに重みを適用して各クラスのクラス活性化マップ（ＣＡＭ）を取得し、取得されたクラス活性化マップ（ＣＡＭ）にｍｉｎ－ｍａｘ正規化を適用してスケーリングし、スケーリングされたクラス活性化マップ（ＣＡＭ）にしきい値を適用した二値化を行って寄与領域を決定する。そして、寄与領域決定及び視覚化モジュールは、決定されたクラス活性化マップ（ＣＡＭ）をヒートマップとして悪性確率（ＰＯＭ）と共に視覚化する。

【0069】

視覚化された結果は、関心領域（ＲＯＩ）及び悪性確率（ＰＯＭ）の検証された性能に基づき、弱教師あり深層学習アルゴリズムを学習させるために用いられることが可能である。

【0070】

表１は、強化されたデータを用いて得られた結果を示している。

【0071】

【表1】

【0072】

以下、本発明の具体的な実施例を用いて本発明の全体動作をより詳細に説明する。

【0073】

画像アノテーション作業及び前処理
画像は、身体マーク及びテキストタグを削除するために画像のエッジをトリミングすることで匿名化される。弱教師あり深層学習アルゴリズムの場合、ＲＯＩアノテーションが行われていない、提案されたシステムの性能をテストするために追加のデータキューレーションが行われていない。完全教師あり深層学習アルゴリズムと比較するために、ＲＯＩアノテーションは、手動ドローイングと自動化された深層学習に基づくセグメンテーションとの２つの方法を用いて行われる。手動ドローイングの場合、診療放射線技師がＲＯＩを表示し、インハウスドローイングツールを用いて 各腫瘤（ｍａｓｓ）にバイナリマスクを表示した。自動化された深層学習に基づくセグメンテーションの場合、ディープセグメンテーションネットワークＵ－Ｎｅｔが採用されるが、これは医療用の画像をセグメンテーションするために開発されたものである。ＲＯＩアノテーションが行われてから、対応する腫瘤を囲む３０ピクセルの固定のマージンがある四角形の画像を抽出し、当該画像を２２４ｘ２２４ピクセルにリサイズした後、ピクセル強度を最大強度値を用いて０乃至１に正規化した。

【0074】

深層学習分類モデル
深層学習分類器の場合、多様なコンピュータービジョン作業において最先端の性能を達成した３つの代表的な畳み込みニューラルネットワークであるＶＧＧ１６、ＲｅｓＮｅｔ３４、及びＧｏｏｇＬｅＮｅｔが採用される。しかし、これはあくまでも例示のために提供されたものであり、本発明を限定するものではないことに注意すべきである。かかるＣＮＮモデルの分類性能は、複数の研究において評価されている。

【0075】

ＶＧＧ１６は、５つの畳み込みブロックを積み上げたフィードフォワードニューラルネットワークであるが、各々のブロックは２つの３ｘ３畳み込み層とマックスプーリング（ｍａｘ－ｐｏｏｌｉｎｇ）層に構成されており、分類作業のための関連画像の特徴を学習する。ＲｅｓＮｅｔ３４アーキテクチャは、重み付け層（ｗｅｉｇｈｔｉｎｇ ｌａｙｅｒ）の後のショートカットとして、勾配消失の問題を解決できる、残差接続（ｒｅｓｉｄｕａｌ ｃｏｎｎｅｃｔｉｏｎ）機能がある深いＣＮＮである。最後に、ＧｏｏｇＬｅＮｅｔは、相異なるスケールの視覚的パターンを学習するためのインセプションモジュール（Ｉｎｃｅｐｔｉｏｎ ｍｏｄｕｌｅ）のスタックで構成される。単一のインセプションモジュールは、受容野を費用対効果の高い方法で強化するための、１ｘ１乃至５ｘ５までの相異なるフィルダーの大きさを有する色々な畳み込み分岐を含む。ＣＮＮモデルのアーキテクチャの細部事項は公知されている。

【0076】

弱教師あり深層学習アルゴリズムによる識別性位置特定（ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｌｏｃａｌｉｚａｔｉｏｎ）の性能をテストするために、分類モデルを各々のモデルの最後の畳み込み層に追加されたグローバル平均プーリング（ｇｌｏｂａｌ ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ；ＧＡＰ）層を用いて拡張することが可能である。その後、ＧＡＰは、最後の畳み込み層の各々の特徴マップ（ｆ_ｋ）を次のように平均化して特徴スコア（Ｆ_ｋ）を作成する。

【0077】

【数1】

【0078】

ここでｉ及びｊは、ｆ_ｋの空間的インデックスである。

【0079】

特徴マップの数はクラスの数（Ｎ_ｃ）と同数である。そして、モデルは全結合層及びソフトマックス（ｓｏｆｔｍａｘ）関数を用いて線形分類を実行する。学習可能な重み。Ｗ＝｛ｗ_ｋ，ｃ｝がある全結合層は、各クラスに係るスコア（Ｓ_ｃ）を次のように計算することが可能である

【数2】

【0080】

クラスのスコアがソフトマックス関数に適用され、全てのクラスの予測された確率が得られる。各クラスの予測された確率（Ｐ_ｃ）及び悪性確率（ＰＯＭ）は、以下のように計算される。

【数3】

【数4】

識別性位置特定
各クラスに係るクラス活性化マップ（ｃｌａｓｓ ａｃｔｉｖａｔｉｏｎ ｍａｐ；ＣＡＭ）（Ｍ_ｃ）は、特徴マップをクラスのスコアの推定時に学習された重みを用いて併合することで取得することが可能である。

【数5】

【0081】

Ｍ_ｃの相対的強度は、クラスのスコアを推定する際、重要な領域と重要でない領域を視覚的に区別し、相互比較するために、ｍｉｎ－ｍａｘ正規化を用いてスケーリングされる。スケーリングされたクラス活性化マップ（Ｍ’_ｃ）は、次のように次のように得られる。

【数6】

【0082】

腫瘍特性を推定するときに重要な影響を与えた領域は、スケーリングされたマップを、しきい値（Ｍ’_ｃ≧０．３）用いて二値化することで決定される。しきい値は、学習セットの中において、手動ＲＯＩアノテーションが実行されている、複数の二値化されたマップの重複を考慮し経験的に選択されることが可能である。

【0083】

パフォーマンスメトリック及び統計的な分析
悪性と良性を区別する診断のために、受信者動作特性曲線の下の面積（ＡＵＣ）を、アルゴリズムの性能を比較するための一次メトリックとして用いて、２つの相関する受信者動作特性曲線（ＲＯＣ）のＡＵＣを比較するために重要度のＤｅＬｏｎｇテストを使用した。敏感度及び特異度（ｓｐｅｃｉｆｉｃｉｔｙ）における差異をテストするために、正確（ｅｘａｃｔ）マクネマー検定（ＭｃＮｅｍａｒ Ｔｅｓｔ）が用いられる。識別性位置特定は、セグメント化された区域が手動でアノテーションされた区域と重複した場合、正確であるとみなされる。統計ソフトウェアのＭｅｄＣａｌｃ、バージョン１７．１（Ｍａｒｉａｋｅｒｋｅ、Ｂｅｌｇｉｕｍ）を用いて、全ての統計的な分析が行われる。両側のＰ値<０．０５が統計的に意味があるとみなされる。

【0084】

パフォーマンスメトリック
内部検証テストセットの場合、弱教師あり深層学習モデルは、良性と悪性の乳房腫瘤を区別する診断において高い性能を達成し、ＡＵＣは、ＶＧＧ１６、ＲｅｓＮｅｔ３４、ＧｏｏｇＬｅＮｅｔモデルのそれぞれにおいて０．９６（９５％ＣＩ：０．９２、０．９８）、０．９２（９５％ＣＩ：０．８８、０．９６）、及び０．９４（９５％ＣＩ：０．９０、０．９７）である（表２）。手動アノテーションを伴う完全教師あり深層学習モデルのＡＵＣは、ＶＧＧ１６、ＲｅｓＮｅｔ３４、ＧｏｏｇＬｅＮｅｔモデルのそれぞれにおいて０．９６（９５％ＣＩ：０．９３、０．９８）、０．９４（９５％ＣＩ：０．８９、０．９７）、及び０．９６（９５％ＣＩ：０．９２、０．９８）である。自動アノテーションを伴う完全教師あり深層学習モデルのＡＵＣは、それぞれ０．９６（９５％ＣＩ：０．９２、０．９８）、０．９２（９５％ＣＩ：０．８７、０．９５）、０．９５（９５％ＣＩ：０．９１、０．９８）である。このように、弱教師あり深層学習モデルのＡＵＣは、手動又は自動のＲＯＩアノテーションを伴う完全教師あり深層学習モデルのものと違いがなかった（全てのＰｓ>０．０５）。

【0085】

弱教師あり深層学習モデルの敏感度は、ＶＧＧ１６、ＲｅｓＮｅｔ３４、ＧｏｏｇＬｅＮｅｔモデルのそれぞれにおいて８７％（８７／１００）、８２％（８２／１００）、及び８７％（８７／１００）であり、特異度はそれぞれ９１％（９１／１００）、９１％（９１／１００）、及び９４％（９４／１００）である。敏感度及び特異度は、弱教師ありと完全教師あり深層学習モデルとで違いがなかった（全てのＰｓ>０．０５）。

【0086】

外部検証テストセットの場合、弱教師あり深層学習モデルは、高い診断性能を達成し、ＡＵＣがＶＧＧ１６、ＲｅｓＮｅｔ３４、ＧｏｏｇＬｅＮｅｔモデルのそれぞれにおいて０．８９（９５％ＣＩ：０．８４、０．９３）、０．８６（９５％ＣＩ：０．８１、０．９１）、０．９０（９５％ＣＩ：０．８５、０．９４）と、多少低かった。手動アノテーションを伴う完全教師あり深層学習モデルのＡＵＣは、ＶＧＧ１６、ＲｅｓＮｅｔ３４、ＧｏｏｇＬｅＮｅｔモデルのそれぞれにおいて０．９１（９５％ＣＩ：０．８６、０．９５）、０．８９（９５％ＣＩ：０．８４、０．９３）、０．９２（９５％ＣＩ：０．８７、０．９５）であった。自動アノテーションを伴う完全教師あり深層学習モデルのＡＵＣは、それぞれ０．８５（９５％ＣＩ：０．７９、０．８９）、０．８４（９５％ＣＩ：０．７８、０．８８）、及び０．８７（９５％ＣＩ：０．８２、０．９２）であった。弱教師あり深層学習モデルのＡＵＣは、手動ＲＯＩアノテーションを伴う完全教師あり深層学習モデルのものと統計的に違いがなかった（全てのＰｓ>０．０５）。

【0087】

ＶＧＧ１６ネットワークの場合、ＡＵＣは、自動ＲＯＩアノテーションを伴う完全教師あり深層学習モデルより弱教師あり深層学習モデルにおいて遥かに高かった（Ｐ=０．０４）。ＲｅｓＮｅｔ３４及びＧｏｏｇＬｅＮｅｔネットワークは、弱教師あり深層学習モデルと自動ＲＯＩアノテーションを伴う完全教師あり深層学習モデルとで、重要な差異が見つからなかった（全てのＰｓ>０．０５）。敏感度は、ＶＧＧ１６及びＧｏｏｇＬｅＮｅｔにおいて、弱教師あり（９１％［９１／１００］及び８８％［８８／１００］）と完全教師あり深層学習モデル（８５％［８５／１００］及び８７％［８７／１００］）とで、大きな違いがなかった（全てのＰｓ>０．０５）。

【0088】

ＲｅｓＮｅｔ３４モデルの場合、敏感度は、手動アノテーションを伴う完全教師ありモデル（８９％［８９／１００］、Ｐ<０．００１）より弱教師あり深層学習モデル（７８％［７８／１００］）において低かったが、自動ＲＯＩアノテーションを伴う完全教師あり深層学習モデルと大きな違いがなかった（８１％［８１／１００］、Ｐ=０．６６）。弱教師あり深層学習モデルの特異度（ＶＧＧ１６、ＲｅｓＮｅｔ３４、ＧｏｏｇＬｅＮｅｔネットワークのそれぞれにおいて７２％［７２／１００］、８０％［８０／１００］、７６％［７６／１００］）は、手動ＲＯＩアノテーションを伴う完全教師あり深層学習モデルとＶＧＧ１６（５２％［５２／１００］）、ＧｏｏｇＬｅＮｅｔモデル（６３％［６３／１００］）において大きな違いがなく（全てのＰｓ>０．０５）、ＲｅｓＮｅｔ３４モデル（９０％［９０／１００］、Ｐ<０．００１）よりは低かった。

【0089】

特異度は、自動ＲＯＩアノテーションを伴う完全教師あり深層学習モデルより弱教師あり深層学習モデルにおいて統計的な重要度又は境界線重要度（ＶＧＧ１６、ＲｅｓＮｅｔ３４、ＧｏｏｇＬｅＮｅｔモデルのそれぞれにおいてＰ<０．００１、Ｐ=０．０７、Ｐ=０．０４）を有し、より高かった。

【0090】

識別性位置特定のパフォーマンスメトリック
内部検証セットにおいて、ＶＧＧ１６及びＲｅｓＮｅｔ３４ネットワークを用いた弱教師あり深層学習モデルは、良性腫瘤の９９％（９９／１００）及び悪性腫瘤の１００％（１００／１００）を位置特定することが可能である。ＧｏｏｇＬｅＮｅｔネットワークは、良性腫瘤と悪性腫瘤の両方の１００％（１００／１００）を位置特定することが可能である。外部検証セットにおいて、ＶＧＧ１６、ＲｅｓＮｅｔ３４、ＧｏｏｇＬｅＮｅｔネットワークを用いた弱教師あり深層学習モデルは、良性腫瘤の９９％（９９／１００）、９６％（９６／１００）、９７％（９７／１００）と、悪性腫瘤の１００％（１００／１００）、９８％（９８／１００）、１００％（１００／１００）とをそれぞれ位置特定することが可能である。

【0091】

上述のように、従来の技術に基づく完全教師あり深層学習アルゴリズムと比較すると、本発明の弱教師あり深層学習アルゴリズムが優れた診断性能（ＡＵＣ：０．８６－０．９６）を有し、手動アノテーションを伴う完全教師あり深層学習アルゴリズム（ＡＵＣ：０．８９－０．９６）及び自動アノテーションを伴う完全教師あり深層学習アルゴリズム（ＡＵＣ：０．８４－０．９６）と比較したとき、不足していないことが分かった。さらに、弱教師あり深層学習アルゴリズムは、良性と悪性の腫瘤をほぼ完璧な比率で（９６％－１００％）正確に位置特定することが可能である。

【0092】

かかる優れた分類及び位置特定性能は、比較的に小さいデータセット及び異なる乳房画像及び超音波装備を用いた外部検証セットにおいても達成される。上述の内容を総合すると、弱教師あり深層学習アルゴリズムを用いて判定をサポートすることが可能であり、手動ドローイング又は自動ＲＯＩセグメンテーションを必要としない、とても効率的なデータ－キューレーションプロセスを通じて、超音波画像から乳がんを検出且つ診断することを補助できるということが確認できる。

【0093】

深層学習アルゴリズムは、乳房撮影解析法に有効に適用されてきたが、乳房超音波画像の深層学習アルゴリズムの開発は、依然として初期段階に過ぎない。にもかかわらず、深層学習アルゴリズムが、超音波画像における乳房腫瘤を診断する際、良好な性能を発揮することは期待できる。

【0094】

従来の技術のＣＡＤシステムを活用した診断は、他の装備によって得られた画像に適用されるには、依然として限界があったが、本願発明に基づく悪性腫瘍の位置特定及び視覚化を行う方法及びシステムは、同一の大きさの入力画像をそのまま入力するため、汎用性がある。つまり、本発明は、胸部エックス線、ＭＲＩ、又は組織病理学画像を用いた画像に基づく分類、及び、乳房超音波画像を用いた領域に基づく分類に幅広く適用されることが可能である。

【0095】

図４は、図３における悪性腫瘍の位置特定及び視覚化を行うシステムに適用されることが可能な膨張畳み込みプロセスを説明する図面である。

【0096】

受容野（ｒｅｃｅｐｔｉｖｅ ｆｉｌｅｄ）は、入力空間において、与えられたタスクを実行するためにＣＮＮモデルが動作できる領域を意味するが、受容野を広くするためには、フィルターのサイズを大きくしたり、より多くの層をスタックする必要がある。しかし、そうなると、学習可能なパラメータと神経回路網における数値演算が爆発的に増加する可能性がある。

【0097】

かかる問題を解決するために、膨張畳み込みプロセスは、ピクセルとピクセルの間に予め規定されたギャップを設けて畳み込み演算を行うことを提案する。図４に示すように、膨張畳み込みプロセスを用いることで、演算量を増加させることなく受容野を拡張することが可能である。

【0098】

図５ａ乃至図５ｅは、図３における悪性腫瘍の位置特定及び視覚化を行うシステムに適用されることが可能な学習可能なボックスフィルターの概念を説明するための図面である。

【0099】

図５ａを参照すると、学習可能なボックスフィルターは、全ての位置において平均を求め、ボックスの座標を学習可能なパラメータとして扱う。

【0100】

図５ｂを参照すると、畳み込み平均フィルターは、フィルター内のすべての数値を合算してからこれらをフィルターの大きさで割る。これとほぼ同様に、ボックスフィルターは、フィルター値は固定にしたまま、フィルターの大きさを決定するパラメータθ＝（ｘ_ｍｉｎ，ｘ_ｍａｘ，ｙ_ｍｉｎ，ｙ_ｍａｘ）を学習する。図５ｂにおいて３ｘ３ボックス平均フィルターの例が示されているが、これはあくまでも例示として提供されたものであり、本発明を限定するものではないことに注意する必要がある。

【0101】

図５ｃを参照すると、ボックス畳み込み層は、チャンネル別の演算をサポートし、Ｃ個の入力チャンネルに対して、それぞれＢ個の相異なるボックスフィルターをトレーニングさせる。従って、出力は、ＣＢ個のチャンネルで構成され、学習可能なパラメータの数は、フィルターの大きさとは無関係の一定の大きさである４ＣＢになる。

【0102】

それによって、出力特徴マップがＯの大きさを維持するために、ゼロパディングを用いて入力マップＩを拡張することが可能である。フォワードパスにおいて、Ｏはボックスフィルターとの畳み込み演算によって決定されることが可能である。

【数7】

【0103】

図５ｄは、積分画像を説明する図面である。図５ｄに示すように、積分画像は、格子のような四角形のサブセットの中の値の合計を生成するためのアルゴリズムである。図５ｄは、説明の便宜上提供されているだけで、本発明を限定するものではないことに注意する必要がある。

【0104】

図５ｅは、本発明に適用されることが可能なボックスブロックの例示である。ボックスブロックは、クロス－チャンネル１ｘ１の畳み込み層を有するが、その理由は、ボックス畳み込み層が各チャンネルに対し独立的に動作するためである。ボックスブロックは、配置正規化及び残差接続（ｒｅｓｉｄｕａｌ ｃｏｎｎｅｃｔｉｏｎ）を通じて拡張されることも可能である。

【0105】

図６は、本発明の他の一側面に基づく悪性腫瘍の位置特定及び視覚化を行うシステムの他の実施例における構成及び動作を説明するブロック図である。

【0106】

図６は、ＣＮＮの構成要素として畳み込みブロック（ＣＢ）及びボックス畳み込みブロック（ＢＢ）が含まれるという点を除くと、図３のブロック図と同一である。従って、明細書の簡略化のために、重複説明は省略する。

【0107】

図７は、図３における悪性腫瘍の位置特定及び視覚化を行うシステムに適用されることが可能なＣＡＭアルゴリズムを説明するための図面である。

【0108】

クラス活性化マップ（ＣＡＭ）は、位置特定性能を評価するための、特定のクラスに係るマップである。クラス活性化マップ（ＣＡＭ）を用いると、入力画像において病変に該当する領域を強調して視覚化することが可能になる。

【0109】

深層学習アルゴリズムを用いた分類方法は、領域に基づく、且つ、画像に基づく分類にカテゴリー化されることが可能である。領域に基づく分類の場合、腫瘍ＲＯＩ抽出が分類プロセスより先行する。本発明において、Ｕ－Ｎｅｔ、完全－畳み込みネットワーク、及び高速Ｒ－ＣＮＮのような画像セグメンテーション方法が、寄与領域の抽出のために採用される。画像に基づく分類は、全体超音波画像（腫瘍周辺の全体の乳房組織を含む）を入力として受信し、腫瘍分類に係る超音波の特徴を学習する。本発明の弱教師あり深層学習アルゴリズムは、超音波画像から悪性腫瘤と良性乳房腫瘤を分別するとき、完全教師あり深層学習アルゴリズムより人間を上手く模倣するアルゴリズムにより近い役割を果たす。乳房画像報告及びデータシステム（ＢI－ＲＡＤＳ）に採用されている、人間が構築したアルゴリズムは、腫瘤の乳房組織と周辺の乳房組織の両方を考慮している。従って、画像全体の情報を用いる弱教師あり深層学習は（腫瘤またはその周辺に限定しない）、完全教師あり深層学習に比べて長所を発揮することが可能である。

【0110】

対案されたアルゴリズムは、差分診断に役立つとされている腫瘤の外部のＢI－ＲＡＤＳレクシコン技術情報の重要な部分（例えば、後方（ｐｏｓｔｅｒｉｏｒ）の特徴、構造的歪曲、及び皮膚の変化や浮腫）を学習することが可能である。

【0111】

さらに、弱教師あり深層学習アルゴリズムは、超音波乳房の病変のための深層学習－補助検出フレームワークにも適用されることが可能であるが、その理由は、提案されたアルゴリズムが乳房組織における疾病領域と無疾病領域とを全て学習することができるためである。検出フレームワークを開発するために、無疾病区域を学習することが特に重要であるが、その理由は、乳房組織の超音波外観（特に乳腺区域）が人によって様々であり、特に繊維（ｆｉｂｒｏｕｓ ｅｌｅｍｅｎｔ）及び腺の要素（ｇｌａｎｄｕｌａｒ ｅｌｅｍｅｎｔ）の量や分布によって、乳房の部分ごとに大いに異なるためである。さらに、皮膚から胸部までの解剖学的構造の正常な外観を知ると、病理学的構造を検出するうえで 胸壁が必須的なものになる。

【0112】

要約すると、本発明において用いられているＧＡＰは、以下のような長所を有する。

【0113】

第１に、計算負荷とパラメータを大いに減少させることが可能であり、そのためネットワークの速度を向上し、過剰適合（ｏｖｅｒｆｉｔｔｉｎｇ）問題に対する頑健性をより高めることが可能である。

【0114】

第２に、本発明は、特徴マップを強化してクラスに係る空間的情報を保存することで、これらがＣＮＮモデルの判定を解釈するために用いられることを可能にする。ＣＡＭがあるＧＡＰを用いた、悪性と良性を区別する診断に影響を及ぼす領域を識別するためのかかる方法は、ｅＸｐｌａｉｎａｂｌｅ ＡＩ（ＸＡＩ）の概念と関係がある。ＸＡＩ又はｒｅｓｐｏｎｓｉｂｌｅ－ＡＩは、深層学習のフレームワークにより発生する、判定がどのようにして行われるかを理解することが不可能な、内在する「ブラックボックスの問題」を克服するために新しく浮上しているパラダムである ＣＡＭは、ＡＩにより具現化された判定決定プロセスを解析するための直観を提供する。また、ＣＡＭがある弱教師あり深層学習は、ヘルスケア提供者たちに、臨床的に重要な領域に係る深層学習－補助検出フレームワークを開発できるようにする。

【0115】

第３に、本発明の長所は、提案された弱教師あり深層学習アルゴリズムを具現化するために、大量のデータセットを用いたトレーニングが必須ではないということである。

【0116】

第４に、良性乳房腫瘤から悪性を検出且つ診断するための、画像ＲＯＩアノテーションが行われていない弱教師あり深層学習アルゴリズムは、乳房腫瘤を正確に検出し、従来の完全教師あり深層学習アルゴリズムに比較したとき、同等の性能を発揮する。悪性と良性を区別する診断及び識別性位置特定が良好に遂行され、弱教師あり深層学習アルゴリズムによって得られたデータキューレーションの効率が高いということは、本発明が具現化可能なものであり、今後の臨床研究においてテストのための貴重な候補となることを示唆する。

【0117】

図８は、図３における悪性腫瘍の位置特定及び視覚化を行うシステムのアーキテクチャを概略的に要約した図面であり、図９は、図３における悪性腫瘍の位置特定及び視覚化を行うシステムの性能を示すグラフである。

【0118】

前述のように、弱教師あり深層学習アルゴリズムは病変の関心領域（ＲＯＩ）に対する画像アノテーションを要求しないが、完全教師あり深層学習アルゴリズムは腫瘍セグメンテーション（手動又は自動）及び分類器に入る前に、ＲＯＩに対するクロップが必要である。弱教師あり深層学習アルゴリズムの場合、クラス活性化マップ（ＣＡＭ）が生成され、最後の畳み込み層に追加されるグローバル平均プーリング層（ＧＡＰ）を用いて、かかるアルゴリズムによって検出される区域を視覚化する。

【0119】

かかる性能は、以下の数学式によって判定されることが可能である。

【数8】

【0120】

数学式８については、Ｃｈａｎｈｏ Ｋｉｍ， Ｗｏｎ Ｈｗａ Ｋｉｍ， Ｈｙｅ Ｊｕｎｇ Ｋｉｍ， ａｎｄ Ｊａｅｉｌ Ｋｉｍ， “Ｗｅａｋｌｙ－ｓｕｐｅｒｖｉｓｅｄ ＵＳ ｂｒｅａｓｔ Ｔｕｍｏｒ Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ａｎｄ Ｌｏｃａｌｉｚａｔｉｏｎ ｗｉｔｈ ａ Ｂｏｘ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｔｗｏｒｋ”を参照されたい。

【0121】

図１０は、図３のシステムによって具現化されたヒートマップの複数の例を示す図面である。

【0122】

図１０を参照すると、本発明による悪性腫瘍の位置特定及び視覚化を行う方法及びシステムは、従来の技術による完全教師あり学習と同等かそれ以上の性能を提供し、病変周辺の組織に係る画像情報をそのまま表出するため、検診の正確度を向上させる。

【0123】

本発明は、図面に示されている実施例を参考に説明されているが、これは例示的なものに過ぎず、本技術分野において通常の知識を有する者であれば、これを基に多様な変形及び均等な他の実施例を想到できることを理解できると考えられる。例えば、弱教師あり深層学習アルゴリズムが医療用画像においてより幅広く活用されるようにするために、かかるアルゴリズムが他の身体部位又は他の画像モダリティから得られた画像にも適用されることが可能である。

【0124】

また、本発明に基づく方法は、コンピューター可読保存媒体においてコンピューターが読み取り可能なコードとして具現化することが可能である。コンピューター可読保存媒体は、コンピューターシステムが読み取り可能なデータが保存されるあらゆる種類の記録装置を含むことが可能である。コンピューター可読保存媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ保存装置等があり、またキャリアウェイブ（例えば、インターネットを通じた伝送）の形で具現化されることも含む。また、コンピューター可読保存媒体は、ネットワークで繋がっている分散コンピューターシステムによって、分散方式で実行されることのできるコンピューターが読み取り可能なコードを保存することが可能である。

【0125】

本明細書において用いられる用語において、単数の表現は、文脈上明らかに単数の意味としてとらえられる場合を除き、複数の表現を含むものとし、述語又は修飾語としての「含む」「含める」等の用語は、説示されている特徴、数、段階、動作構成要素、部分品又はこれらの組み合わせが存在することを意味するものであって、１つ又はそれ以上の他の特徴や数、段階、動作構成要素、部分品又はこれらの組み合わせの存在又は追加の可能性を排除するものはないものとする。そして、明細書に記載されている「～部」、「～器（機）」、「モジュール」、「ブロック」等の用語は、少なくとも１つの機能や動作を処理する単位を意味し、これはハードウェアやソフトウェア又はハードウェアとソフトウェアの組み合わせによって具現化されることが可能である。

【0126】

従って、本実施例及び本明細書に添付されている図面は、本発明に含まれる技術的思想の一部を明確に示していることに過ぎず、本発明の明細書及び図面に含まれている技術的思想の範囲内で当業者が容易に想到できる変形の例と具体的な実施例が全て本発明の権利の範疇に含まれることは自明である。

【産業上の利用可能性】

【0127】

本発明において開発されている弱教師あり深層学習アルゴリズムは、良好な位置特定及び悪性と良性を区別する診断が可能な乳がんの超音波診断のために用いられることが可能である。

【符号の説明】

【0128】

３１０：非識別化モジュール ３３０：データ強化モジュール
３５０：ＣＮＮ ３７０：寄与領域決定及び視覚化モジュール

【図1】

【図2a】

【図2b】

【図2c】

【図2d】

【図3】

【図4】

【図5a】

【図5b】

【図5c】

【図5d】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2023-10-31

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

超音波画像診断のためにコンピューティング装置により実行される方法であって、
超音波画像データを取得する段階；
深層学習モデルを活用し、前記超音波画像データに係る分類情報を生成する段階；及び
前記深層学習モデルを活用し、前記超音波画像データに係る診断視覚化情報を生成する段階；
を含み、
前記深層学習モデルは、
学習用超音波画像データのセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）に係る情報なしに、前記学習用超音波画像データ全体の分類情報に基づき学習されたモデルである、
方法。

【請求項2】

請求項１において、
前記分類情報は、
正常、良性、悪性のうち、少なくとも１つを含む、
方法。

【請求項3】

請求項１において、
前記診断視覚化情報は、
前記超音波画像データの各ピクセルが、前記分類情報を生成するうえで寄与した度合いを視覚化した情報を含む、
方法。

【請求項4】

請求項１において、
前記深層学習モデルは、
１つ以上の学習用超音波画像データを前処理する段階；
前記前処理された超音波画像データに分類情報をラベリングして学習データセットを構成する段階；及び
前記学習データセットを活用し、前記深層学習モデルが学習データセットに含まれている超音波画像データの各々に係る分類情報を出力するように学習させる段階；
を含めて学習されたモデルである、
方法。

【請求項5】

請求項４において、
前記１つ以上の学習用超音波画像データを前処理する段階は、
前記１つ以上の学習用超音波画像データから患者の個人情報を削除する段階；
前記個人情報が削除された超音波画像データのエッジをトリミング段階；及び
前記エッジがトリミングされた超音波画像データの大きさを調整（ｒｅｓｉｚｉｎｇ）する段階；
を含む、
方法。

【請求項6】

請求項４において、
前記前処理された学習用超音波画像データに対してデータ拡張（ｄａｔａ ａｕｇｍｅｎｔａｔｉｏｎ）を行う段階；
をさらに含み、
前記前処理された学習用超音波画像データに対してデータ拡張を行う段階は：
前記前処理された学習用超音波画像データに幾何学的変異と光学的変異のうち少なくとも１つを行い、少なくとも１つの新しい画像データを生成する段階；及び
前記少なくとも１つの新しい画像データを前記学習データセットに含める段階；
を含む、
方法。

【請求項7】

請求項６において、
前記幾何学的変異は、
水平反転（ｆｌｉｐ）、垂直反転、回転、スケーリング、並進のうち、少なくとも１つを含む、
方法。

【請求項8】

請求項６において、
前記光学的変異は、
削除、スペックルノイズ（ｓｐｅｃｋｌｅ ｎｏｉｓｅ）処理、尖鋭化（ｓｈａｒｐｅｎｉｎｇ）、ガウシアンぼかし（Ｇａｕｓｓｉａｎ ｂｌｕｒｒｉｎｇ）のうち、少なくとも１つを含む、
方法。

【請求項9】

請求項１において、
前記深層学習モデルを活用し、前記超音波画像データに係る分類情報を生成する段階は：
前記深層学習モデルを活用し、前記超音波画像データを基に、１つ以上の特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を生成する段階；
前記深層学習モデルを活用し、前記１つ以上の特徴マップを基に、前記超音波画像データのクラス別のスコアを演算する段階；及び
前記クラス別のスコアを基に、前記分類情報を生成する段階；
を含む、
方法。

【請求項10】

請求項９において、
前記深層学習モデルを活用し、前記超音波画像データを基に、１つ以上の特徴マップを生成する段階は：
前記超音波画像データを１つ以上の畳み込み層を含む畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に入力し、それを基に前記１つ以上の特徴マップを生成する段階；
を含む、
方法。

【請求項11】

請求項９において、
前記深層学習モデルを活用し、前記１つ以上の特徴マップを基に、前記超音波画像データのクラス別のスコアを演算する段階は：
前記１つ以上の特徴マップをグローバル平均プーリング（Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ）層に入力し、それを基に前記超音波画像データのクラス別のスコアを演算する段階；
を含む、
方法。

【請求項12】

請求項９において、
前記深層学習モデルを活用し、前記超音波画像データに係る診断視覚化情報を生成する段階は：
前記分類情報を基に、悪性確率（Ｐｒｏｂａｂｉｌｉｔｙ ｏｆ Ｍａｌｉｇｎａｎｃｙ）を演算する段階；
前記１つ以上の特徴マップを基に、各クラスに係るクラス活性化マップ（Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐ）を生成する段階；及び
前記悪性確率、前記クラス活性化マップ及び前記超音波画像データを基に、前記診断視覚化情報を生成する段階；
を含む、
方法。

【請求項13】

請求項１２において、
前記１つ以上の特徴マップを基に、各クラスに係るクラス活性化マップを生成する段階は：
前記１つ以上の特徴マップ及び前記深層学習モデルの重みを基に、前記各クラスに係るクラス活性化マップを生成する段階；
を含む、
方法。

【請求項14】

請求項１３において、
前記深層学習モデルの重みは：
前記深層学習モデルが前記分類情報を生成する過程において学習された重みを含む、
方法。

【請求項15】

請求項１２において、
前記クラス活性化マップを正規化する段階；
予め設定されたしきい値を活用し、前記正規化されたクラス活性化マップを二値化する段階；
前記二値化されたクラス活性化マップを基に、寄与領域を決定する段階；及び
前記寄与領域をより考慮し、前記診断視覚化情報を生成する段階；
をさらに含む、
方法。

【請求項16】

コンピューティング装置が超音波画像を診断するための動作を含むコンピューター可読保存媒体に保存されているコンピュータープログラムであって、前記動作は：
超音波画像データを取得する動作；
深層学習モデルを活用し、前記超音波画像データに係る分類情報を生成する動作；及び
前記深層学習モデルを活用し、前記超音波画像データに係る診断視覚化情報を生成する動作；
を含み、
前記深層学習モデルは、
学習用超音波画像データのセグメンテーションに係る情報なしに、前記学習用超音波画像データの分類情報に基づき学習されたモデルである、
コンピューター可読保存媒体に保存されているコンピュータープログラム。

【請求項17】

請求項１６において、
前記深層学習モデルを活用し、前記超音波画像データに係る分類情報を生成する動作は：
前記深層学習モデルを活用し、前記超音波画像データを基に、１つ以上の特徴マップを生成する動作；
前記深層学習モデルを活用し、前記１つ以上の特徴マップを基に、前記超音波画像データのクラス別のスコアを演算する動作；及び
前記クラス別のスコアを基に、前記分類情報を生成する動作；
を含む、
コンピューター可読保存媒体に保存されているコンピュータープログラム。

【請求項18】

請求項１７において、
前記深層学習モデルを活用し、前記超音波画像データに係る診断視覚化情報を生成する動作は：
前記分類情報を基に、悪性確率を演算する動作；
前記１つ以上の特徴マップを基に、各クラスに係るクラス活性化マップを生成する動作；及び
前記悪性確率、前記クラス活性化マップ及び前記超音波画像データを基に、前記診断視覚化情報を生成する動作；
を含む、
コンピューター可読保存媒体に保存されているコンピュータープログラム。

【請求項19】

請求項１８において、
前記１つ以上の特徴マップを基に、各クラスに係るクラス活性化マップを生成する動作は：
前記１つ以上の特徴マップ及び前記深層学習モデルの重みを基に、前記各クラスに係るクラス活性化マップを生成する動作；
を含む、
コンピューター可読保存媒体に保存されているコンピュータープログラム。

【請求項20】

請求項１９において、
前記深層学習モデルの重みは：
前記深層学習モデルが前記分類情報を生成する過程において学習された重みを含む、
コンピューター可読保存媒体に保存されているコンピュータープログラム。

【請求項21】

コンピューティング装置であって、
１つ以上のコアを含むプロセッサー、
メモリー；
を含み、
前記プロセッサーは、
超音波画像データを取得し、
深層学習モデルを活用し、前記超音波画像データに係る分類情報を生成し、且つ
前記深層学習モデルを活用し、前記超音波画像データに係る診断視覚化情報を生成し、
前記深層学習モデルは、
学習用超音波画像データのセグメンテーションに係る情報なしに、前記学習用超音波画像データの分類情報に基づき学習されたモデルである、
コンピューティング装置。

【請求項22】

請求項２１において、
前記深層学習モデルを活用し、前記超音波画像データに係る分類情報を生成することは：
前記深層学習モデルを活用し、前記超音波画像データを基に、１つ以上の特徴マップを生成すること；
前記深層学習モデルを活用し、前記１つ以上の特徴マップを基に、前記超音波画像データのクラス別のスコアを演算すること；及び
前記クラス別のスコアを基に、前記分類情報を生成すること；
を含む、
コンピューティング装置。

【請求項23】

請求項２２において、
前記深層学習モデルを活用し、前記超音波画像データに係る診断視覚化情報を生成することは：
前記分類情報を基に、悪性確率を演算すること；
前記１つ以上の特徴マップを基に、各クラスに係るクラス活性化マップを生成すること；及び
前記悪性確率、前記クラス活性化マップ及び前記超音波画像データを基に、前記診断視覚化情報を生成すること；
を含む、
コンピューティング装置。

【請求項24】

請求項２３において、
前記１つ以上の特徴マップを基に、各クラスに係るクラス活性化マップを生成することは：
前記１つ以上の特徴マップ及び前記深層学習モデルの重みを基に、前記各クラスに係るクラス活性化マップを生成すること；
を含む、
コンピューティング装置。

【請求項25】

請求項２４において、
前記深層学習モデルの重みは：
前記深層学習モデルが前記分類情報を生成する過程において学習された重みを含む、
コンピューティング装置。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０１２７

【補正方法】変更

【補正の内容】

【0127】

本発明において開発されている弱教師あり深層学習アルゴリズムは、良好な位置特定及
び悪性と良性を区別する診断が可能な乳がんの超音波診断のために用いられることが可能
である。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[付記１]
弱教師あり（ｗｅａｋｌｙ－ｓｕｐｅｒｖｉｓｅｄ）深層学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ；ＤＬ）人工知能を利用した乳房超音波診断方法であって
乳房超音波画像から患者の個人情報を削除し、学習に必要な画像領域だけを含む入力データを生成する超音波画像前処理段階；
前記入力データを受信し、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ＣＮＮ）及びグローバル平均プーリング（ｇｌｏｂａｌ ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ；ＧＡＰ）を利用し、受信された入力データから特徴マップを取得し再学習する深層学習段階；
グローバル平均プーリング（ＧＡＰ）を利用して前記入力データを正常、良性、悪性のうちいずれか１つと判別し、悪性と判別された場合は、判別の正確度を表す悪性確率（ｐｒｏｂａｂｉｌｉｔｙ ｏｆ ｍａｌｉｇｎａｎｃｙ；ＰＯＭ）を計算する鑑別診断段階；及び
判別した結果を前記畳み込みニューラルネットワーク（ＣＮＮ）を通じて逆伝播し、前記判別結果に寄与したピクセル別の寄与度を勾配（ｇｒａｄｉｅｎｔ）と特徴量から計算し、計算されたピクセル別の寄与度に基づき判別に寄与した寄与領域（ｒｅｌｅｖａｎｔ ｒｅｇｉｏｎ）を前記悪性確率（ＰＯＭ）と共に視覚化する寄与領域決定及び視覚化段階を含み、
前記深層学習段階は、前記寄与領域及び前記悪性確率（ＰＯＭ）の検証された性能に基づいて学習されることを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断方法。
[付記２]
付記１において、
前記超音波画像前処理段階は、
超音波画像のために開発された専用の非識別化モジュールを利用してダイコム（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ；ＤＩＣＯＭ）ヘッダーの情報のうち患者の個人情報に係る情報を削除すること；
超音波画像のエッジをトリミング（ｔｒｉｍｍｉｎｇ）して残りの個人情報と学習の妨げになる身体マーク及びテキストタグを削除することで匿名化された画像を抽出するか又は超音波機器から受信された超音波信号を基に画像データを生成すること；及び
前記匿名化された画像又は画像データを前記画像と同じ大きさの入力データにサイズ調整（ｒｅｓｉｚｉｎｇ）することを含むことを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断方法。
[付記３]
付記２において、
前記深層学習段階は、
検証における誤りを減らして再現性のあるモデルにするために、前記匿名化された画像に幾何学的変異と光学的変異のうち少なくとも１つを加えてデータ拡張（ａｕｇｍｅｎｔａｔｉｏｎ）プロセスを適用すること；
前記入力データの正常／良性／悪性を学習するために、画像分類（ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ）を行う少なくとも１つの畳み込みニューラルネットワーク（ＣＮＮ）を利用して深層学習アルゴリズムのアーキテクチャを構成し、各畳み込み層に対応する特徴マップを取得すること；及び
取得された特徴マップに係るパラメータを決定し再学習することを含むことを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断方法。
[付記４]
付記３において、
前記鑑別診断段階は、
前記深層学習アルゴリズムのアーキテクチャにおいて畳み込み層の次に来るように追加されたグローバル平均プーリング（ＧＡＰ）層を用いて、最後の畳み込み層の各々の特徴マップの特徴量を取得すること；
取得された特徴量に学習可能な重みを適用してクラスのスコアを計算し、計算されたクラスのスコアを基に悪性確率（ＰＯＭ）を計算することを含むことを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断方法。
[付記５]
付記４において、
前記寄与領域決定及び視覚化段階は、
前記特徴マップに重みを適用して各クラスのクラス活性化マップ（ｃｌａｓｓ ａｃｔｉｖａｔｉｏｎ ｍａｐ；ＣＡＭ）を取得すること；
取得されたクラス活性化マップ（ＣＡＭ）にｍｉｎ－ｍａｘ正規化を適用してスケーリングすること；
スケーリングされたクラス活性化マップ（ＣＡＭ）にしきい値を適用した二値化を行って前記寄与領域を決定すること；及び
前記クラス活性化マップ（ＣＡＭ）をヒートマップとして前記悪性確率（ＰＯＭ）と共に視覚化することを含むことを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断方法。
[付記６]
付記３において、
前記幾何学的変異は、水平反転、垂直反転、回転、スケーリング、並進のうち少なくとも１つを含み、
前記光学的変異は、削除、スペックルノイズ（ｓｐｅｃｋｌｅ ｎｏｉｓｅ）処理、尖鋭化（ｓｈａｒｐｅｎｉｎｇ）、ガウシアンぼかし（Ｇａｕｓｓｉａｎ ｂｌｕｒｒｉｎｇ）のうち少なくとも１つを含むことを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断方法。
[付記７]
弱教師あり深層学習（ＤＬ）人工知能を利用した乳房超音波診断システムであって、
乳房超音波画像から患者の個人情報を削除し、学習に必要な画像領域だけを含む入力データを生成する超音波画像前処理モジュール；
前記入力データを受信し、畳み込みニューラルネットワーク（ＣＮＮ）及びグローバル平均プーリング（ＧＡＰ）を利用し、受信された入力データから特徴マップを取得し再学習する深層学習モジュール；
グローバル平均プーリング（ＧＡＰ）を利用して前記入力データを正常、良性、悪性のうちいずれか１つと判別し、悪性と判別された場合は、判別の正確度を表す悪性確率（ＰＯＭ）を計算する鑑別診断モジュール；及び
判別した結果を前記畳み込みニューラルネットワーク（ＣＮＮ）を通じて逆伝播し、前記判別結果に寄与したピクセル別の寄与度を勾配と特徴量から計算し、計算されたピクセル別の寄与度に基づき判別に寄与した寄与領域を前記悪性確率（ＰＯＭ）と共に視覚化する寄与領域決定及び視覚化モジュールを含み、
前記弱教師あり深層学習アルゴリズムは前記寄与領域及び前記悪性確率（ＰＯＭ）の検証された性能に基づいて学習されることを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断システム。
[付記８]
付記７において、
前記超音波画像前処理モジュールは、
超音波画像のために開発された専用の非識別化モジュールを利用してダイコム（ＤＩＣＯＭ）ヘッダーの情報のうち患者の個人情報に係る情報を削除し、
超音波画像のエッジをトリミング（ｔｒｉｍｍｉｎｇ）して残りの個人情報と学習の妨げになる身体マーク及びテキストタグを削除することで匿名化された画像を抽出するか又は超音波機器から受信された超音波信号を基に画像データを生成し、
前記匿名化された画像又は画像データを画像と同じ大きさの入力データにサイズ調整するように構成されることを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断システム。
[付記９]
付記８において、
前記深層学習モジュールは、
検証における誤りを減らして再現性のあるモデルにするために、前記匿名化された画像に幾何学的変異と光学的変異のうち少なくとも１つを加えてデータ拡張プロセスを適用し、
前記入力データの正常／良性／悪性を学習するために、画像分類を行う少なくとも１つの畳み込みニューラルネットワーク（ＣＮＮ）を利用して深層学習アルゴリズムのアーキテクチャを構成し、各畳み込み層に対応する特徴マップを取得し、
取得された特徴マップに係るパラメータを決定し再学習するように構成されることを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断システム。
[付記１０]
付記９において、
前記鑑別診断モジュールは、
前記深層学習アルゴリズムのアーキテクチャにおいて畳み込み層の次に来るように追加されたグローバル平均プーリング（ＧＡＰ）層を用いて、最後の畳み込み層の各々の特徴マップの特徴量を取得し、
取得された特徴量に学習可能な重みを適用してクラスのスコアを計算し、計算されたクラスのスコアを基に悪性確率（ＰＯＭ）を計算するように構成されることを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断システム。
[付記１１]
付記７において、
前記寄与領域決定及び視覚化モジュールは、
前記特徴マップに重みを適用して各クラスのクラス活性化マップ（ＣＡＭ）を取得し、
取得されたクラス活性化マップ（ＣＡＭ）にｍｉｎ－ｍａｘ正規化を適用してスケーリングし、
スケーリングされたクラス活性化マップ（ＣＡＭ）にしきい値を適用した二値化を行って前記寄与領域を決定し、
前記クラス活性化マップ（ＣＡＭ）をヒートマップとして前記悪性確率（ＰＯＭ）と共に視覚化するように構成されることを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断システム。
[付記１２]
付記９において、
前記幾何学的変異は、水平反転、垂直反転、回転、スケーリング、並進のうち少なくとも１つを含み、
前記光学的変異は、削除、スペックルノイズ処理、尖鋭化、ガウシアンぼかしのうち少なくとも１つを含むことを特徴とする、弱教師あり深層学習人工知能を利用した乳房超音波診断システム。

【手続補正3】

【補正対象書類名】図面

【補正対象項目名】全図

【補正方法】変更

【補正の内容】

【図1】

【図2a】

【図2b】

【図2c】

【図2d】

【図3】

【図4】

【図5a】

【図5b】

【図5c】

【図5d】

【図5e】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】