特開 2024-100732 乳房の病変を同定する方法及びモデル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024100732

(43)【公開日】2024-07-26

(54)【発明の名称】乳房の病変を同定する方法及びモデル

(51)【国際特許分類】

   A61B 6/50 20240101AFI20240719BHJP

   A61B 6/00 20240101ALI20240719BHJP

   G06T 7/00 20170101ALI20240719BHJP

【ＦＩ】

A61B6/50 500E

A61B6/00 550D

A61B6/00 550A

A61B6/00 550P

A61B6/00 560

G06T7/00 350C

G06T7/00 612

【審査請求】有

【請求項の数】16

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024002912

(22)【出願日】2024-01-12

(31)【優先権主張番号】112101588

(32)【優先日】2023-01-13

(33)【優先権主張国・地域又は機関】TW

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＰＹＴＨＯＮ

２．ＴＥＮＳＯＲＦＬＯＷ

(71)【出願人】

【識別番号】504007741

【氏名又は名称】國立中央大學

【住所又は居所原語表記】ＮＯ．３００， Ｊｈｏｎｇｄａ Ｒｏａｄ， Ｊｈｏｎｇｌｉ Ｄｉｓｔｒｉｃｔ， Ｔａｏｙｕａｎ Ｃｉｔｙ， ＴＡＩＷＡＮ

(71)【出願人】

【識別番号】519316988

【氏名又は名称】台湾基督長老教会馬偕医療財団法人馬偕紀念医院

【氏名又は名称原語表記】ＭａｃＫａｙ Ｍｅｍｏｒｉａｌ Ｈｏｓｐｉｔａｌ

【住所又は居所原語表記】Ｎｏ．９２， Ｓｅｃ． ２， Ｚｈｏｎｇｓｈａｎ Ｎ Ｒｄ．， Ｚｈｏｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ， Ｔａｉｐｅｉ Ｃｉｔｙ １０４， Ｔａｉｗａｎ

(74)【代理人】

【識別番号】100167689

【弁理士】

【氏名又は名称】松本 征二

(72)【発明者】

【氏名】ワン， ジャー・チン

(72)【発明者】

【氏名】シュー， イ・チョン

(72)【発明者】

【氏名】ファム， バク・トゥン

(72)【発明者】

【氏名】リー， フォン・ティ

(72)【発明者】

【氏名】ヤン， ポー・シェン

【テーマコード（参考）】

4C093

5L096

【Ｆターム（参考）】

4C093CA18

4C093CA32

4C093DA06

4C093FF03

4C093FF08

4C093FF11

4C093FF17

4C093FF18

4C093FF23

4C093FF35

4C093FH03

5L096AA03

5L096AA06

5L096BA06

5L096BA13

5L096CA02

5L096DA02

5L096EA05

5L096EA12

5L096FA02

5L096FA18

5L096FA59

5L096FA64

5L096FA69

5L096HA11

5L096JA03

5L096KA04

5L096KA15

(57)【要約】      （修正有）

【課題】個々の乳房マンモグラフィ画像における乳房の病変を特定し得る向上した方法及びシステムに対するニーズが存在する。
【解決手段】被検体における乳房の病変を特定するモデルを構築する方法が提供される。本方法は、取得されたマンモグラフィ画像における画像処理、セグメント化、物体検出及びマスキングの連続的な処理を伴い、乳房の病変の局所画像及び抽出された特徴情報を取得する。これに続き、局所画像及び特徴情報を用いて分類及び学習が行われて本モデルを確立する。本モデルを活用して乳癌を診断及び処置する方法も、ここに提供される。
【選択図】図１

【特許請求の範囲】

【請求項1】

被検体における乳房の病変を特定するためのモデルを構築する方法であって、
（ａ）前記被検体から前記乳房の複数のマンモグラフィ画像を取得するステップであって、前記マンモグラフィ画像の各々は前記乳房の病変の位置、辺縁、石灰化、しこり、腫瘤、形状、サイズ、状態及びそれらの組合せからなる群から選択される前記乳房の病変の属性を備える、ステップと、
（ｂ）前記複数のマンモグラフィ画像の各々に、画像切取り、画像ノイズ除去、画像反転、ヒストグラム均等化、画像パディング及びそれらの組合せからなる群から選択される画像処置をすることを介して、複数の処理済み画像を生成するステップと、
（ｃ）ステップ（ｂ）の前記複数の処理済み画像の各々をセグメント化して複数のセグメント化画像を生成し、及び／又はステップ（ｂ）の前記複数の処理済み画像の各々における前記属性を検出して、複数の抽出サブ画像を生成するステップと、
（ｄ）ステップ（ｃ）の前記複数の抽出サブ画像の各々をセグメント化して複数のセグメント化サブ画像を生成するステップと、
（ｅ）ステップ（ｃ）の前記抽出サブ画像の各々及びステップ（ｄ）の前記セグメント化サブ画像の各々を合成し、それにより前記マンモグラフィ画像の各々についてそれぞれ前記属性を示す複数の合成画像を生成するステップと、
（ｆ）畳み込みニューラルネットワークを活用してステップ（ｅ）の前記複数の合成画像を分類及び学習し、それにより前記モデルを確立するステップと、
を備える方法。

【請求項2】

ステップ（ｃ）において、ステップ（ｂ）の前記処理済み画像の各々における前記属性は、検出されるとフレーム化されてフレーム化画像を生成する、請求項１に記載の方法。

【請求項3】

前記フレーム化画像及びステップ（ｃ）の前記セグメント化画像をマスクフィルタリングしてステップ（ｃ）において検出された誤った属性を除去するステップをさらに備える請求項２に記載の方法。

【請求項4】

前記フレーム化画像を切り取ってステップ（ｃ）の前記抽出サブ画像を生成するステップをさらに備える請求項３に記載の方法。

【請求項5】

ステップ（ｄ）又はステップ（ｅ）の後、ステップ（ｄ）の前記セグメント化サブ画像及び前記フレーム化画像を活用して、ステップ（ｃ）の前記セグメント化画像を更新するステップをさらに備える請求項４に記載の方法。

【請求項6】

ステップ（ｃ）において、ステップ（ｂ）の前記処理済み画像の各々における前記属性は、物体検出アルゴリズムの使用によって検出される、請求項１に記載の方法。

【請求項7】

ステップ（ｃ）において、前記処理済み画像の各々は、Ｕ－ｎｅｔアーキテクチャの使用によってセグメント化される、請求項１に記載の方法。

【請求項8】

前記被検体はヒトである、請求項１に記載の方法。

【請求項9】

被検体における乳房の病変を特定する方法であって、
（ａ）前記被検体から前記乳房のマンモグラフィ画像を取得するステップであって、前記マンモグラフィ画像は、前記乳房の病変の位置、辺縁、石灰化、しこり、腫瘤、形状、サイズ、状態及びそれらの組合せからなる群から選択される前記乳房の病変の属性を備える、ステップと、
（ｂ）前記マンモグラフィ画像に、画像切取り、画像ノイズ除去、画像反転、ヒストグラム均等化、画像パディング及びそれらの組合せからなる群から選択される画像処置をすることを介して、処理済み画像を生成するステップと、
（ｃ）ステップ（ｂ）の前記処理済み画像をセグメント化してセグメント化画像を生成し、及び／又はステップ（ｂ）の前記処理済み画像における前記属性を検出し、それによりその抽出サブ画像を生成するステップと、
（ｄ）ステップ（ｃ）の前記抽出サブ画像をセグメント化して、セグメント化サブ画像を生成するステップと、
（ｅ）ステップ（ｃ）の前記抽出サブ画像及びステップ（ｄ）の前記セグメント化サブ画像を合成し、それにより前記マンモグラフィ画像について前記属性を示すテキスト画像を生成するステップと、
（ｆ）請求項１に記載の方法によって確立された前記モデル内でステップ（ｅ）の前記テキスト画像を処理することによって、前記被検体の前記乳房の病変を特定するステップと、
を備える方法。

【請求項10】

ステップ（ｃ）において、ステップ（ｂ）の前記処理済み画像における前記属性は、検出されるとフレーム化されて、フレーム化画像を生成する、請求項９に記載の方法。

【請求項11】

前記フレーム化画像及びステップ（ｃ）の前記セグメント化画像をマスクフィルタリングしてステップ（ｃ）において検出された誤った属性を除去するステップをさらに備える請求項１０に記載の方法。

【請求項12】

前記フレーム化画像を切り取ってステップ（ｃ）の前記抽出サブ画像を生成するステップをさらに備える請求項１１に記載の方法。

【請求項13】

ステップ（ｄ）又はステップ（ｅ）の後、ステップ（ｄ）の前記セグメント化サブ画像及び前記フレーム化画像を活用して、ステップ（ｃ）の前記セグメント化画像を更新するステップをさらに備える請求項１２に記載の方法。

【請求項14】

ステップ（ｃ）において、ステップ（ｂ）の前記処理済み画像における前記属性は、物体検出アルゴリズムの使用によって検出される、請求項９に記載の方法。

【請求項15】

ステップ（ｃ）において、前記処理済み画像は、Ｕ－ｎｅｔアーキテクチャを行うことによってセグメント化される、請求項９に記載の方法。

【請求項16】

前記被検体はヒトである、請求項９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２３年１月１３日に出願された台湾特許出願第１１２１０１５８８号の優先権及び利益を主張し、その全体が参照によりここに取り込まれる。

【0002】

本開示は、乳癌の診断及び処置の分野に関する。より具体的には、開示された発明は、被検体のマンモグラフィ画像に基づいて彼／彼女の乳房の病変を特定及び同定する方法、並びに同定された乳房の病変に基づいて被検体を処置する方法に関する。

【背景技術】

【0003】

米国癌協会（ＡＣＳ）による統計データによると、４０歳超の女性は、乳癌を発症する有意に高い確率を有する。これは、女性における乳癌の予防及び早期発見に関する世界的な懸念を際立たせる。

【0004】

現在の医療技術では、マンモグラフィ（すなわち、乳房に対するＸ線撮像システム）を通じて確立された乳房撮像が、乳癌の早期予防及び検出のための方法として主に利用されている。マンモグラフィの診断工程は、７つのカテゴリ（０～６）を包含する乳房画像報告データシステム（Ｂｒｅａｓｔ Ｉｍａｇｉｎｇ Ｒｅｐｏｒｔｉｎｇ ａｎｄ Ｄａｔａ Ｓｙｓｔｅｍ（ＢＩ－ＲＡＤＳ））の基準を順守している。最初に、評価は、患者が乳癌に関する高リスク群に属するか否かを評価するように、マンモグラフィ画像における線維腺組織によって占められる割合の特定を伴い、そして、マンモグラフィ画像における病変の存在が確認される。病変が同定される場合、病変の形状及び辺縁のさらなる分類が行われてその良性又は悪性の性質を特定する。

【0005】

一方で、マンモグラフィ画像を解明する上記の手順は、手作業の評価を通じて医療専門家によって行なわれることが多く、診断工程における大幅な時間の投資をもたらす。さらに、マンモグラフィ画像の手作業の解明は、経験及び主観的な知覚に依存し、異なる医療専門家の間で変動する判断基準及び結果をもたらす。これは、人件費及び時間コストの増加に関連する課題並びに効率及び精度に関する問題を生じる。

【0006】

上記を考慮して、関連技術において、個々の乳房マンモグラフィ画像における乳房の病変を特定し得る向上した方法及びシステムに対するニーズが存在する。

【発明の概要】

【0007】

以下に、基本的な理解を読者に与えるために本開示の簡略化した概要を提示する。この概要は、開示の網羅的な概観ではなく、本発明の鍵となる／重要な要素を特定するものでも本発明の範囲を記するものでもない。その専らの目的は、ここに開示される幾つかの概念を、後述のさらに詳細な説明の序章としての簡略な形態で提示することである。

【0008】

ここで具現化され、概括的に記載されるように、本開示の目的は、乳癌の診断における効率及び精度を高度に向上するように、マンモグラフィ画像を活用して被検体における乳房の病変を同定する診断モデル及び方法を提供することである。

【0009】

一態様では、本開示は、マンモグラフィ画像を介して被検体における乳房の病変を特定するためのモデルを構築する方法に向けられる。方法は、（ａ）被検体から乳房の複数のマンモグラフィ画像を取得するステップであって、マンモグラフィ画像の各々は乳房の病変の属性を備える、ステップと、（ｂ）複数のマンモグラフィ画像の各々に、画像切取り、画像ノイズ除去、画像反転、ヒストグラム均等化、画像パディング及びそれらの組合せを備える画像処置をすることを介して、複数の処理済み画像を生成するステップと、（ｃ）ステップ（ｂ）の複数の処理済み画像の各々をセグメント化して複数のセグメント化画像を生成し、及び／又はステップ（ｂ）の複数の処理済み画像の各々における属性を検出して、複数の抽出サブ画像を生成するステップと、（ｄ）ステップ（ｃ）の複数の抽出サブ画像の各々をセグメント化して複数のセグメント化サブ画像を生成するステップと、（ｅ）ステップ（ｃ）の抽出サブ画像の各々及びステップ（ｄ）のセグメント化サブ画像の各々を合成し、それによりマンモグラフィ画像の各々についてそれぞれ属性を示す複数の合成画像を生成するステップと、（ｆ）畳み込みニューラルネットワークを活用してステップ（ｅ）の複数の合成画像を分類及び学習し、それによりモデルを確立するステップと、を備える。本方法では、乳房の病変の属性は、乳房の病変の位置、辺縁、石灰化、しこり、腫瘤、形状、サイズ、状態及びそれらの組合せからなる群から選択される。

【0010】

本開示のいくつかの実施形態によると、本方法のステップ（ｃ）において、ステップ（ｂ）の処理済み画像の各々における属性は、検出されるとフレーム化されてフレーム化画像を生成する。

【0011】

いくつかの代替的又は任意選択的な実施形態では、本方法は、フレーム化画像及びステップ（ｃ）のセグメント化画像をマスクフィルタリングしてステップ（ｃ）において検出された誤った属性を除去するステップをさらに備える。このシナリオでは、ステップ（ｃ）の抽出サブ画像は、フレーム化画像を切取りすることによって生成される。

【0012】

いくつかの代替的又は任意選択的な実施形態では、本方法のステップ（ｄ）又はステップ（ｅ）の後、それは、ステップ（ｄ）のセグメント化サブ画像及びフレーム化画像を活用して、ステップ（ｃ）のセグメント化画像を更新するステップをさらに備える。

【0013】

本開示のいくつかの実施形態によると、本方法のステップ（ｃ）において、ステップ（ｂ）の処理済み画像の各々における属性は、物体検出アルゴリズムの使用によって検出される。

【0014】

本開示のいくつかの実施形態によると、本方法のステップ（ｃ）において、処理済み画像の各々は、Ｕ－ｎｅｔアーキテクチャの使用によってセグメント化される。

【0015】

本開示の一実施形態によると、被検体はヒトである。

【0016】

他の態様では、本開示は、被検体における乳房の病変を特定することを介して乳癌を処置する方法に関する。方法は、（ａ）被検体から乳房のマンモグラフィ画像を取得するステップであって、マンモグラフィ画像は、乳房の病変の位置、辺縁、石灰化、しこり、腫瘤、形状、サイズ、状態及びそれらの組合せからなる群から選択される乳房の病変の属性を備える、ステップと、（ｂ）マンモグラフィ画像に、画像切取り、画像ノイズ除去、画像反転、ヒストグラム均等化、画像パディング及びそれらの組合せからなる群から選択される画像処置をすることを介して、処理済み画像を生成するステップと、（ｃ）ステップ（ｂ）の処理済み画像をセグメント化してセグメント化画像を生成し、及び／又はステップ（ｂ）の処理済み画像における属性を検出し、それによりその抽出サブ画像を生成するステップと、（ｄ）ステップ（ｃ）の抽出サブ画像をセグメント化してセグメント化サブ画像を生成するステップと、（ｅ）ステップ（ｃ）の抽出サブ画像及びステップ（ｄ）のセグメント化サブ画像を合成し、それによりマンモグラフィ画像について属性を示すテキスト画像を生成するステップと、（ｆ）前述の方法によって確立されたモデル内でステップ（ｅ）のテキスト画像を処理することによって、被検体の乳房の病変を特定するステップと、（ｇ）ステップ（ｆ）で特定された乳房の病変に基づいて、被検体に抗癌処置を提供するステップと、を備える。

【0017】

本開示の一実施形態によると、本方法のステップ（ｃ）において、ステップ（ｂ）の処理済み画像における属性は、検出されるとフレーム化されてフレーム化画像を生成する。

【0018】

いくつかの代替的又は任意選択的な実施形態では、本方法は、フレーム化画像及びステップ（ｃ）のセグメント化画像をマスクフィルタリングしてステップ（ｃ）において検出された誤った属性を除去するステップをさらに備える。さらにいくつかの代替的又は任意選択的な実施形態では、本方法は、フレーム化画像を切取りしてステップ（ｃ）の抽出サブ画像を生成するステップをさらに備える。

【0019】

代替的又は任意選択的に、本方法のステップ（ｄ）又はステップ（ｅ）の後、それは、ステップ（ｄ）のセグメント化サブ画像及びフレーム化画像を活用して、ステップ（ｃ）のセグメント化画像を更新するステップをさらに備える。

【0020】

本開示のいくつかの実施形態によると、ステップ（ｂ）の処理済み画像における属性は、物体検出アルゴリズムの使用によって検出される。

【0021】

本開示のいくつかの実施形態によると、本方法のステップ（ｃ）において、処理済み画像は、Ｕ－ｎｅｔアーキテクチャを行うことによってセグメント化される。

【0022】

本開示のいくつかの実施形態によると、本方法のステップ（ｇ）において、抗癌処置は、外科手術、ラジオ波焼灼療法、全身化学療法、肝動脈化学塞栓療法（ＴＡＣＥ）、免疫療法、標的薬物療法、ホルモン療法及びそれらの組合せからなる群から選択される。

【0023】

本開示の一実施形態によると、被検体はヒトである。

【0024】

上記構成により、本発明の方法によって確立されたモデルは、マンモグラフィ画像における乳房の病変の属性を同定し、乳房の病変のカテゴリを迅速な形態で特定し、それにより乳癌の診断の効率及び精度を向上し得る。

【0025】

本開示の付随する特徴及び有利な効果の多くは、添付図面との関連で検討される以下の詳細な説明を参照してより深く理解されることになる。

【0026】

本説明は、添付図面に照らして読まれる以下の詳細な説明からより深く理解される。

【図面の簡単な説明】

【0027】

【図1】図１は、本開示の一実施形態による方法１０のフローチャートである。

【図2】図２は、本開示の他の実施形態による方法２０のフローチャートである。

【発明を実施するための形態】

【0028】

一般的な慣例により、種々の説明される特徴／要素は縮尺通りに図示されないが、代わりに、本発明に関連する具体的特徴／要素を最も良く説明するように図示される。また、種々の図面における同様の符号及び指定は、同様の要素／部分を示すように用いられる。

【0029】

添付図面との関連で以下に与えられる詳細な説明は、本実施例の説明としてのものであり、本実施例が構成又は利用され得る唯一の形態を示すものではない。その説明は、実施例の機能及び実施例を構成して動作させるためのステップの配列を説明する。ただし、同一又は同等の機能及び配列が、異なる実施例によっても実現され得る。

【0030】

１．定義
便宜上、明細書、実施例及び添付の特許請求の範囲で採用される特定の用語をここにまとめる。特に断りのない限り、ここに用いられるすべての技術的及び科学的用語は、本発明が属する技術分野の当業者によって一般的に理解されるものと同様の意味を有する。

【0031】

単数形「ａ」、「ａｎ」及び「ｔｈｅ」は、そうでないことを文脈が明示しない限り、複数の参照を含むものとしてここで用いられる。

【0032】

ここで用いられるように、用語「乳房の病変」は、嚢胞、線維腺腫及び悪性腫瘍などの良性（非癌性）及び悪性（癌性）の双方の症状を含む、乳房マンモグラフィを通じて検出されるあらゆる異常組織を包含することを意図している。

【0033】

ここで用いられるように、用語「属性」は、乳房の病変の性質を特定するのに重要な、マンモグラフィ画像において検出又は撮影された乳房の病変の特性又は特徴をいう。乳房の病変を説明するためにマンモグラフィにおいて一般的に用いられる属性の例は、サイズ、形状、辺縁、密度、石灰化、腫瘤、血管分布、位置及び状態を含むが、これらに限定されない。ここで用いられるように、用語「状態」は、乳房の病変が癌性（又は悪性）又は非癌性（又は良性）であるかをいう。

【0034】

ここで用いられるように、用語「画像処置」は、画像から情報を強化、変換又は抽出するためにデジタルコンピュータアルゴリズムを通じて生画像に適用される全ての処理手順を包含することを意図している。本開示によると、用語「画像処置」及び「画像処理」は、それらが同一の意味を有するため、互換可能に用いられる。

【0035】

ここで用いられるように、用語「合成画像」は、物体検出（すなわち、本出願では病変検出）のために、生画像に由来するセグメント化画像及び切取り画像から構成された画像をいう。そして、この合成画像は、機械学習アルゴリズムを学習するために用いられ、それにより本モデルを構築する。本開示によると、機械学習モデルを学習するために用いられる合成画像は「参照画像」として作用し、一方で、被検体の乳房の病変を同定するために彼／彼女から取得される合成画像は「テスト画像」として作用する。

【0036】

ここで用いられるように、用語「治療／処置する」、「治療／処置している」及び「治療／処置」は、互換可能であり、乳癌に関連する症候、続発性障害又は症状を部分的又は完全に予防、改善、緩和及び／又は管理することを含む。

【0037】

２．本発明の説明
臨床では、マンモグラフィ画像の解明は、経験豊富な専門家に依存している。評価の精度を高めるために、本発明は、マンモグラフィ画像における乳房の病変を同定するモデルを確立する方法を提供することを目的とする。確立されたモデルを活用して乳癌を特定及び処置する方法も、ここに提供される。

【0038】

２．１ 乳房の病変特定のためのモデルを構築する方法
本開示の第１の態様は、被検体からのマンモグラフィ画像を介して乳房の病変を特定するためのモデルを構築する方法に向けられる。図１を参照する。

【0039】

図１は、本開示の一実施形態による、コンピュータ又はプロセッサにおいて実施される方法１０のフローチャートである。方法１０は、図１において符号Ｓ１０１～Ｓ１０６によってそれぞれ示される以下のステップを備える：
Ｓ１０１：被検体から乳房の複数のマンモグラフィ画像を取得するステップであって、マンモグラフィ画像の各々は乳房の病変の属性を備える、ステップ、
Ｓ１０２：複数のマンモグラフィ画像の各々に画像処置をすることを介して、複数の処理済み画像を生成するステップ、
Ｓ１０３：ステップＳ１０２の複数の処理済み画像の各々をセグメント化して複数のセグメント化画像を生成し、及び／又はステップＳ１０２の複数の処理済み画像の各々における属性を検出して、複数の抽出サブ画像を生成するステップ、
Ｓ１０４：ステップＳ１０３の複数の抽出サブ画像の各々をセグメント化して複数のセグメント化サブ画像を生成するステップ、
Ｓ１０５：ステップＳ１０３の抽出サブ画像の各々及びステップＳ１０４のセグメント化サブ画像の各々を合成し、それによりマンモグラフィ画像の各々についてそれぞれ属性を示す複数の合成画像を生成するステップ、並びに
Ｓ１０６：畳み込みニューラルネットワークを活用してステップＳ１０５の複数の合成画像を分類及び学習し、それによりモデルを確立するステップ。

【0040】

本開示の実施形態によると、マンモグラフィ画像は、健康な又は罹患した被検体、好ましくは健康な又は罹患したヒトから取得された乳房の低線量Ｘ線画像である。モデルを構築及び学習するために、被検体に由来し、乳房の病変の既知の属性を独立して含む複数のマンモグラフィ画像が、本学習方法１０において用いられる。実際には、乳房のマンモグラフィ画像は、公的にアクセス可能であるか否かに関わらず、医療センター又は管轄の保健当局の既存のデータベースから収集され得る（Ｓ１０１）。本開示の実施形態によると、乳房の病変の属性は、乳房の病変の位置、辺縁、石灰化、しこり、腫瘤、形状、サイズ及び状態並びに／又はそれらの組合せを含む。実際には、各マンモグラフィ画像及び被検体に対応する診断情報（例えば、ＢＩ－ＲＡＤＳのカテゴリ０～６）も、参照のために収集され得る。そして、マンモグラフィ画像は、後続のステップ（Ｓ１０２～Ｓ１０６）を実行するためのそこに格納された命令を有する装置及び／又はシステム（例えば、コンピュータ又はプロセッサ）に自動的に転送される。

【0041】

本開示の実施形態によると、ステップＳ１０２において、転送されたマンモグラフィ画像には、それらを正規化及び標準化画像に変換する画像処理が行われる。効果的な一実施例では、マンモグラフィ画像は、画像切取り、画像ノイズ除去、画像反転、ヒストグラム均等化及び画像パディングの画像処理の処置によって順次処理され、それにより、複数の処理済み画像を生成する。画像処置の各々は、後続の使用のために生のマンモグラフィ画像を標準化及び正規化するために、当技術分野で公知のアルゴリズムの使用によって行われ得る。具体的には、画像切取りは、マンモグラフィからのノイズによって影響され得る入力画像のエッジを除去するように設計される。画像切取りソフトウェアの例は、Ａｄｏｂｅ Ｐｈｏｔｏｓｈｏｐ、ＧＩＭＰ（ＧＮＵ Ｉｍａｇｅ Ｍａｎｉｐｕｌａｔｉｏｎ Ｐｒｏｇｒａｍ）、Ｍｉｃｒｏｓｏｆｔ Ｐａｉｎｔ、ＩｒｆａｎＶｉｅｗ、Ｐｈｏｔｏｓｃａｐｅ、Ｓｎａｇｉｔ、Ｐｉｘｌｒ、Ｆｏｔｏｒ、Ｃａｎｖａ及びＰａｉｎｔ．ＮＥＴを含むが、これらに限定されない。本方法で用いられる画像ノイズ除去処置は、種々のフィルタの使用を伴ってノイズ低減を達成する。画像ノイズ除去に適した実用的なツールは、Ａｄｏｂｅ Ｐｈｏｔｏｓｈｏｐ、Ｔｏｐａｚ ＤｅＮｏｉｓｅ ＡＩ、ＤｘＯ ＰｈｏｔｏＬａｂ、Ｎｏｉｓｅｗａｒｅ、Ｎｅａｔ Ｉｍａｇｅ及びＤｆｉｎｅを含むが、これらに限定されない。画像反転の主な目的は、各マンモグラフィ画像を同一の向きに反転させ、計算時間を短縮し、後続のステップ（例えば、モデル学習）で必要とされる処理速度を向上することである。当業者は、Ａｄｏｂｅ Ｐｈｏｔｏｓｈｏｐ、ＧＩＭＰ（ＧＮＵ Ｉｍａｇｅ Ｍａｎｉｐｕｌａｔｉｏｎ Ｐｒｏｇｒａｍ）、Ｍｉｃｒｏｓｏｆｔ Ｐａｉｎｔなどを含む周知のツールを用いて画像反転を達成し得る。ヒストグラム均等化は、そのヒストグラムにわたって強度値を再分配することによってマンモグラフィ画像のコントラストを高め、向上した細部の視認性及び高められた視覚的品質を有する処理済み画像をもたらす。ヒストグラム均等化を実行可能なツールの例は、ＭＡＴＬＡＢ（登録商標）、ＯｐｅｎＣＶ、ＩｍａｇｅＪ、Ｓｃｉｋｉｔ－ｉｍａｇｅ、Ｆｉｊｉ及びＡｄｏｂｅ Ｐｈｏｔｏｓｈｏｐを含むが、これらに限定されない。生のマンモグラフィ画像間でサイズのばらつきが観察されると、画像パディングが行われて画像の境界に追加のピクセルを付加することによってサイズを標準化する。本方法での使用に適した周知の画像パディングツールの例は、ＯｐｅｎＣＶ、ＮｕｍＰｙ、Ｐｙｔｈｏｎ Ｉｍａｇｉｎｇ Ｌｉｂｒａｒｙ（ＰＩＬ）、ＴｅｎｓｏｒＦｌｏｗなどを含むが、これらに限定されない。そして、前述の処置の後、生のマンモグラフィ画像における不規則なサイズ、エッジ又はノイズの影響を排除することによって一貫性及び標準化を保証するために、処理済み画像は、後続のモデル学習及び学習アルゴリズムのために用いられる。

【0042】

ステップＳ１０３において、処理済み画像の各々には、以下に説明する（Ｉ）画像セグメント化及び／又は（ＩＩ）物体検出が行われ得る。

【0043】

（Ｉ）画像セグメント化
この処理では、処理済み画像の各々がセグメント化されて複数のセグメント化画像を生成する。本開示の実施形態によると、種々の畳み込みネットワークアーキテクチャ（例えば、Ｕ－ｎｅｔアーキテクチャ）が用いられて、処理済み画像における乳房の病変に対応する領域を同定及び分離し得る。本開示のいくつかの実施形態では、その例としてＳｗｉｎ－Ｕｎｅｔ、ＴｒａｎｓＵｎｅｔ及びそれらの組合せを含むがこれらに限定されないＵ－ｎｅｔアーキテクチャが、処理済み画像をセグメント化するのに用いられる。代替的又は任意選択的に、適応的な変更が、Ｕ－ｎｅｔアーキテクチャに行なわれてセグメント化効率を高め得る。効果的な一実施例では、Ｕ－ｎｅｔアーキテクチャが画像セグメント化に適用される場合、ダウンサンプリングの前に、Ｓｙｍｌｅｔウェーブレットフィルタリングが最大プーリング又は平均プーリングと組み合わせられる。ウェーブレットフィルタリングのプーリングとの組合せは、Ｕ－ｎｅｔアーキテクチャが、空間解像度を低減しながら、重要な周波数情報を保持することを可能とする。

【0044】

（ＩＩ）物体検出
物体検出の目的のために、処理済み画像の各々には、処理済み画像の各々における属性が検出される物体検出が行われ、複数の抽出サブ画像の生成をもたらす。本開示の実施形態によると、物体検出は、当技術分野で知られている種々の物体検出アルゴリズムを実行することによって達成される。本方法での使用に適した物体検出アルゴリズムの例は、２段階検出器２００：畳み込みニューラルネットワーク（Ｒ－ＣＮＮ、領域ベースの畳み込みニューラルネットワーク）、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮ、ＲＦＣＮ、ｍａｓｋ ＲＣＮＮ並びに１段階検出器、例えばＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）及びＳＳＤ（ｓｉｎｇｌｅ ｓｈｏｔ ｄｅｔｅｃｔｏｒ）を含むが、これらに限定されない。効果的な実施例では、ＹＯＬＯｖ７及びＥｆｆｉｃｉｅｎｔＤｅｔアルゴリズムの双方の使用によって物体検出を達成する。したがって、位置、辺縁、石灰化、しこり、腫瘤、形状、サイズなどを含むマンモグラフィ画像における乳房の病変の属性は、包括的に検出され得る。

【0045】

好適な実施形態では、（ＩＩ）物体検出処理において検出された属性がフレーム化され、それによりフレーム化画像を生成する。その結果、フレーム化画像の視覚的表現は、バウンディングボックス内に概説されて検出された病変を含む。

【0046】

本開示の実施形態によると、ステップ（ｃ）を実行するために、上述の（Ｉ）又は（ＩＩ）の処理のいずれかが選択される。あるいは、（Ｉ）及び（ＩＩ）の処理の双方は同時に進行する。

【0047】

さらに、好適な実施形態では、前述の（Ｉ）及び／又は（ＩＩ）の処理で検出された誤った属性を除去するために、（Ｉ）及び／又は（ＩＩ）の処理から取得されたセグメント化及びフレーム化画像にマスクフィルタリングが適用される。その結果、誤計算の確率が、大幅に低減可能となる。

【0048】

次いで、フレーム化画像の各々が切り取られて、抽出サブ画像を生成し、属性に関するより詳細な情報の取得を容易化する。複数の抽出サブ画像の収集体を組み立てた後、それらは、複数の抽出サブ画像のさらなるセグメント化を伴う次のステップに送信される（ステップＳ１０４）。

【0049】

ステップＳ１０４において、各抽出サブ画像のセグメント化は、ステップＳ１０３で以前に説明したようにＵ－ｎｅｔアーキテクチャの使用によって達成され、複数のセグメント化サブ画像の生成をもたらす。

【0050】

セグメント化サブ画像が生成されると、ステップＳ１０３による抽出サブ画像の各々は、ステップＳ１０４で生成されたその対応するセグメント化サブ画像と合成されて重ね合わせられる（ステップＳ１０５）。その結果、各合成画像は、ステップＳ１０１で取得されたマンモグラフィ画像の各々についてそれぞれの属性を示す。このステップは、病変の位置及び境界に関するより明確な情報を生成可能とし、それにより、その後の分類及び学習処理における向上した精度のための解像度を高める。

【0051】

本開示の好適な実施形態では、ステップＳ１０４又はＳ１０５の後、ステップＳ１０３のセグメント化画像は、セグメント化サブ画像及びフレーム化画像を活用して更新可能となる。具体的には、セグメント化サブ画像及びフレーム化画像は重ね合わされ、複数の処理済み画像に投入され、それにより上述のセグメント化及びマスクフィルタリング処理を調整し、それにより更新されたセグメント化画像を生成する。この微調整によって、本開示のモデルを構成するのに用いられる画像が乳房の病変に関する一層明確な情報を有することが可能となる。

【0052】

最後に、ステップＳ１０６において、当技術分野において十分に確立されている畳み込みニューラルネットワークが利用されてステップＳ１０５で生成された複数の合成画像を分類及び学習し、それにより本モデルを確立する。本方法での使用に適した畳み込みニューラルネットワーク（ＣＮＮ）の例は、ＬｅＮｅｔ－５、ＡｌｅｘＮｅｔ、ＶＧＧＮｅｔ（ＶＧＧ１６及びＶＧＧ１９）、ＧｏｏｇＬｅＮｅｔ（Ｉｎｃｅｐｔｉｏｎ）、ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）、ＭｏｂｉｌｅＮｅｔ、ＹＯＬＯ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、Ｕ－ｎｅｔ、ＥｆｆｉｃｉｅｎｔＮｅｔ及びそれらの組合せを含むが、これらに限定されない。効果的な実施例では、分類及び学習は、ＥｆｆｉｃｉｅｎｔＮｅｔ－Ｖ２を使用して実行される。本開示の実施形態によると、学習ステップの間に、（位置、辺縁、石灰化、しこり、腫瘤、形状、サイズなどを含む）種々の属性に基づく複数の分類器が確立され、それにより学習効率が高まる。

【0053】

本開示の代替的な実施形態によると、合成画像を、複素スパース行列分解法（ｃｏｍｐｌｅｘ－ｓｐａｒｓｅ ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ ｍｅｔｈｏｄ）及び畳み込みニューラルネットワーク（例えば、ＥｆｆｉｃｉｅｎｔＮｅｔ－Ｖ２）を使用して分類される。具体的には、複素スパース行列分解法を合成画像における属性に適用して１つのカテゴリスコアが得られ、一方でＣＮＮモデルを同様が適用されて他のカテゴリスコアを生成する。合成画像における属性の分類は、これら２つのカテゴリスコアの合計によって特定される。いくつかの効果的な実施形態では、複素スパース行列分解法の結果を利用して学習される画像の特徴間の類似性をｋ－最近傍（ｋ－ＮＮ）アルゴリズムを用いて推論し、次いで、それらを対応するカテゴリスコアに変換する。

【0054】

本開示の実施形態による実際の実施では、方法１０は、命令でプログラムされたプロセッサ及び／又は方法１０を実行するためのプロセッサを含むシステムを通じて実行される。具体的には、プロセッサは、画像処理、セグメント化、物体検出、画像分類及び乳房の病変特定のための本モデルの確立のための学習を行うように構成される。したがって、好適な実施形態では、本方法１０は、乳房の病変特定のためのモデルを構築するためのプロセッサにおいて実施される。

【0055】

前述のステップＳ１０１～Ｓ１０６を実行することによって、乳房の病変を特定するために十分に学習したモデルが確立される。本開示の確立されたモデルは、ヒトのマンモグラフィ画像における乳房の病変を効果的に判別し、ＢＩ－ＲＡＤＳカテゴリを自動的に解明し得る。

【0056】

２．２ 乳癌を特定及び処置する方法
本開示はまた、乳癌に罹患し、又は乳癌を発症していると疑われる被検体に診断及び処置を提供することを目的とする。この目的のために、本文書の第２．１節に記載された方法及びモデルは、マンモグラフィ画像における乳房の病変の正確な特定によって医師を支援するように利用され得る。したがって、本開示は、被検体における乳癌を特定及び処置する方法に向けられた他の態様を包含する。図２を参照する。

【0057】

図２は、乳癌を有し、又は有すると疑われる被検体における乳房の病変を特定することを介して乳癌を特定する方法２０のフローチャートを示す。方法２０は、以下のステップを含む（図２に示す符号Ｓ２０１～Ｓ２０７を参照）：
Ｓ２０１：被検体から乳房のマンモグラフィ画像を取得するステップ、
Ｓ２０２：マンモグラフィ画像に、画像切取り、画像ノイズ除去、画像反転、ヒストグラム均等化、画像パディング及びそれらの組合せからなる群から選択される画像処置をすることを介して、処理済み画像を生成するステップ、
Ｓ２０３：ステップＳ２０２の処理済み画像をセグメント化してセグメント化画像を生成し、及び／又はステップＳ２０２の処理済み画像における属性を検出し、それによりその抽出サブ画像を生成するステップ、
Ｓ２０４：ステップＳ２０３の抽出サブ画像をセグメント化して、セグメント化サブ画像を生成するステップ、
Ｓ２０５：ステップＳ２０３の抽出サブ画像及びステップＳ２０４のセグメント化サブ画像を合成し、それによりマンモグラフィ画像について属性を示すテキスト画像を生成するステップ、
Ｓ２０６：本方法１０によって確立されたモデル内でステップＳ２０５のテキスト画像を処理することによって、被検体の乳房の病変を特定するステップ、並びに
Ｓ２０７：ステップＳ２０６で特定された乳房の病変に基づいて、被検体に抗癌処置を提供するステップ。

【0058】

本方法２０は、哺乳類、例えば、ヒト、マウス、ラット、ハムスター、モルモット、ウサギ、イヌ、ネコ、ウシ、ヤギ、ヒツジ、サル又はウマであり得る被検体から乳房のマンモグラフィ画像を取得することによって開始される。好ましくは、被検体はヒトである。適切なツール及び／又は手順を行ってマンモグラフィ画像を取得し得る。効果的な一実施例では、マンモグラフィ画像は、低線量のＸ放射線を用いてマンモグラフィ装置によって撮影及び収集される（ステップＳ２０１）。通常、結果として収集されたマンモグラフィ画像は、乳房の病変の属性を備える。

【0059】

そして、マンモグラフィ画像は処理済み画像を生成するように処理可能であり（ステップＳ２０２）、その画像には、さらにステップＳ２０３～Ｓ２０４で説明するセグメント化及び物体検出が行われる。方法１０のステップＳ１０２～ステップＳ１０４と同様に、ステップＳ２０２～ステップＳ２０４において利用される戦略は、当技術分野で公知のアルゴリズムの使用によって達成され得る。例えば、ステップＳ２０２の画像処置は、Ａｄｏｂｅ Ｐｈｏｔｏｓｈｏｐ、ＭＡＴＬＡＢ、ＯｐｅｎＣＶ、Ｐｙｔｈｏｎ Ｉｍａｇｉｎｇ Ｌｉｂｒａｒｙ（ＰＩＬ）などのような画像処理ソフトウェアを用いることによって達成され得るが、それらに限定されない。ステップＳ２０３及びＳ２０４におけるセグメント化及び物体検出に関しては、それらは、方法１０のステップＳ１０３及びＳ１０４において示したものと同じアルゴリズム（例えば、Ｕ－ｎｅｔアーキテクチャ及び畳み込みニューラルネットワーク）及び基準によって達成され得る。簡略化のために、ここではステップＳ２０２～ステップＳ２０４を反復しない。

【0060】

ステップＳ２０５及びＳ２０６に進み、被検体のマンモグラフィ画像についての属性を示すテスト画像は、ステップＳ２０３の抽出サブ画像及びステップＳ２０４のセグメント化サブ画像を合成することによって生成され、その後、その乳房の病変を特定するために、本方法１０によって確立されたモデルを介して解析を受け、その解析では、テスト画像の属性が、モデルにおいて構成された参照画像におけるものと比較される。

【0061】

本開示の実施形態によると、乳房の病変の属性は、乳房の病変の位置、辺縁、石灰化、しこり、腫瘤、形状、サイズ、状態及びそれらの組合せを含むが、これらに限定されない。テスト画像を本モデルに入力した後、ｋ－最近傍（ｋ－ＮＮ）アルゴリズムが実行される。学習された分類器に基づいて、テスト画像内の病変属性に関する詳細な情報が特定され得る。次いで、この情報及びＢＩ－ＲＡＤＳの支援により、臨床医は異常のリスクレベルを評価し得る。スコアが４～６のカテゴリに該当する場合、さらなる検査が必要とされ、及び／又は悪性病変が特定される。

【0062】

乳房の悪性病変が特定及び確認されると、適切な抗癌処置が、適時に被検体に施され得る。本方法での使用に（すなわち、乳房の病変が悪性と特定された被検体に施すのに）適した抗癌処置の例は、外科手術、ラジオ波焼灼療法、全身化学療法、肝動脈化学塞栓療法（ＴＡＣＥ）、免疫療法、標的薬物療法、ホルモン療法及びそれらの組合せを含むが、これらに限定されない。いずれの臨床技術者も、処置される特定の症状、症状の重篤度、（年齢、体調、サイズ、性別及び体重を含む）個々の患者パラメータ、処置の期間、（ある場合には）併用療法の性質、特定の投与経路などの要因並びに医療従事者の知識及び専門技能の範囲内の同様の要因に基づいて、本方法における使用に適した処置を選択し得る。

【0063】

上記の特徴により、本方法は、主にマンモグラフィ画像に基づいて、乳房の病変の正確な特定及び同定を迅速で正確な形態で提供することができ、それにより、乳癌診断の精度及び効率が向上し、同定された患者が適切に処置可能となる。

【実施例0064】

材料及び方法
データ収集
Ｍａｃｋａｙ Ｍｅｍｏｒｉａｌ Ｈｏｓｐｉｔａｌ（台北市）の乳腺外科から合計５２７７０枚の乳房の病変のマンモグラフィ画像を入手し、画像認識及び検証のモデルの構成に用いた。

【0065】

画像処理
データベースから取得された全てのマンモグラフィ画像には、画像切取り、画像ノイズ除去、画像反転、ヒストグラム均等化及び画像パディングの処置が行われ、それにより、ＥｆｆｉｃｉｅｎｔＤｅｔ、ＹＯＬＯｖ７、Ｓｗｉｎ－Ｕｎｅｔ、ＴｒａｎｓＵｎｅｔ及びＥｆｆｉｃｉｅｎｔＮｅｔ－Ｖ２を活用したさらなるモデル構成のために、正規化された１２８０×１２８０のピクセルサイズに改正した。

【0066】

実施例１ 本開示の画像認識モデルの構成
この実験は、乳房の病変認識について学習した機械学習モデルを提供することを目的とした。この目的のために、乳房の病変の属性を認識可能な一モデルを、第２．１節及び「材料及び方法」の節で概説した手順により確立した。具体的には、種々の属性を含む合計４２２００枚のマンモグラフィ画像を用いた。

【0067】

実施例２ 本モデルの評価
次に、実施例１の乳房の病変特定について、学習したモデル及び方法の画像認識効率を検証した。この目的のために、１００００枚以上の候補マンモグラフィ画像を処理し、本モデルに入力した。

【0068】

本モデルのＦ１スコア、適合率及び再現率は、それぞれ０．９１、０．８６及び０．９５であり、乳房の病変の評価及び特定において高い精度を示すことがわかった。

【0069】

本方法及びシステムを用いることによって、患者から取得されたマンモグラムは自動的に解明及び同定され、それにより乳癌診断の効率及び精度を向上し得る。

【0070】

実施形態の上記説明は例示としてのみ与えられること及び種々の変形が当業者によってなされ得ることが理解されるはずである。上記仕様、実施例及びデータは、発明の例示的実施形態の構造及び使用の完全な説明を与える。発明の種々の実施形態をある程度の特殊性で又は１以上の個別の実施形態を参照して上述したが、当業者であれば、本発明の趣旨又は範囲から逸脱することなく開示の実施形態に対して多数の変更を行うことができるはずである。

【図1】

【図2】

【外国語明細書】