特許7076681画像処理方法及び装置、並びにニューラルネットワークモデルのトレーニング方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-20
(45)【発行日】2022-05-30
(54)【発明の名称】画像処理方法及び装置、並びにニューラルネットワークモデルのトレーニング方法
(51)【国際特許分類】
A61B 6/00 20060101AFI20220523BHJP
G06T 7/00 20170101ALI20220523BHJP
【ＦＩ】
A61B6/00 350Z
G06T7/00 350C
G06T7/00 612
【請求項の数】
10
(21)【出願番号】P 2020543382
(86)(22)【出願日】2019-03-25
(65)【公表番号】
(43)【公表日】2021-06-10
(86)【国際出願番号】 CN2019079456
(87)【国際公開番号】W WO2019184851
(87)【国際公開日】2019-10-03
【審査請求日】2020-08-13
(31)【優先権主張番号】201810261926.4
(32)【優先日】2018-03-27
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】肖 芬
(72)【発明者】
【氏名】常 佳
(72)【発明者】
【氏名】周 旋
(72)【発明者】
【氏名】▲顔▼ 克洲
(72)【発明者】
【氏名】江 ▲チェン▼
(72)【発明者】
【氏名】田 ▲寛▼
(72)【発明者】
【氏名】朱 建平
【審査官】増渕 俊仁
(56)【参考文献】
【文献】特表２０１３－５２５０１１（ＪＰ，Ａ）
【文献】特開２００５－０６５８５５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０２４９７３９（ＵＳ，Ａ１）
【文献】中国特許出願公開第１０７４６４２５０（ＣＮ，Ａ）
【文献】中国特許出願公開第１０６７８０４６０（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ６／００－６／１４
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
画像処理方法であって、端末が、モリブデンターゲット画像を取得するステップと、
前記端末が、前記モリブデンターゲット画像から複数の候補領域を抽出するステップと、
前記端末が、深層学習トレーニングによって取得されたニューラルネットワークモデルを介して、前記モリブデンターゲット画像の前記複数の候補領域をターゲット領域として決定するステップであって、前記ターゲット領域に含まれるしこりがターゲットしこりである確率は第１閾値より大きく、前記ターゲットしこりが悪性しこりである確率は第２閾値より大きく、前記ニューラルネットワークモデルは、前記候補領域と、前記候補領域に含まれるしこりが前記ターゲットしこりである確率との間のマッピング関係を指示するために使用され、前記確率が前記第１閾値より大きい候補領域が複数ある場合、
前記確率の大きさに従って前記確率が前記第１閾値より大きい複数の候補領域をソートするステップと、
第１候補領域と第２候補領域との間の重複面積をそれぞれ計算するステップであって、前記第１候補領域は、前記確率が前記第１閾値より大きい複数の候補領域の中で最も高い確率を有する候補領域であり、前記第２候補領域は、前記確率が前記第１閾値より大きい複数の候補領域のうちの、前記第１候補領域以外の候補領域である、ステップと、
前記確率が前記第１閾値より大きい複数の候補領域から、前記第１候補領域との重複面積が第３閾値より大きい第２候補領域を削除して、残りの候補領域を取得するステップと、
前記残りの候補領域を前記ターゲット領域として決定するステップとを含む、
ステップと、
前記端末が、前記複数の候補領域における前記ターゲット領域を表記するステップと
を含む、画像処理方法。
【請求項2】
前記端末が、前記ターゲット領域を表記するステップは、前記ニューラルネットワークモデルを使用して、前記複数の候補領域における各候補領域に含まれるしこりが前記ターゲットしこりである確率を取得するステップと、
前記確率が前記第１閾値より大きい候補領域を前記ターゲット領域として決定し、前記モリブデンターゲット画像に前記ターゲット領域を表記するステップとを含む、
請求項１に記載の画像処理方法。
【請求項3】
前記端末がモリブデンターゲット画像を取得する前に、前記方法は、前記端末が、サンプルしこり領域と、前記サンプルしこり領域に含まれるしこりが前記ターゲットしこりである確率との間のマッピング関係を利用して深層学習トレーニングを実行して、前記ニューラルネットワークモデルを取得するステップであって、深層学習トレーニングを実行するとき、入力パラメータは前記サンプルしこり領域を含むことをトレーニングし、出力パラメータは、前記サンプルしこり領域に含まれるしこりが前記ターゲットしこりである確率を含むことをトレーニングするステップをさらに含む、
請求項２に記載の画像処理方法。
【請求項4】
前記サンプルしこり領域は第１しこり領域及び第２しこり領域を含み、前記第１しこり領域に含まれるしこりは前記ターゲットしこりであり、前記第２しこり領域に含まれるしこりは非ターゲットしこりであり、または前記第２しこり領域はしこりを含まず、前記端末が、サンプルしこり領域と、前記サンプルしこり領域に含まれるしこりが前記ターゲットしこりである確率との間のマッピング関係を利用して深層学習トレーニングを実行して、前記ニューラルネットワークモデルを取得するステップは、前記端末が、前記第１しこり領域と、前記第１しこり領域に含まれるしこりが前記ターゲットしこりである確率との間のマッピング関係及び前記第２しこり領域と、前記第２しこり領域に含まれるしこりが前記ターゲットしこりである確率との間のマッピング関係を利用して深層学習トレーニングを実行して、前記ニューラルネットワークモデルを取得するステップを含む、
請求項３に記載の画像処理方法。
【請求項5】
画像処理方法であって、
端末が、モリブデンターゲット画像を取得するステップと、
前記端末が、前記モリブデンターゲット画像から複数の候補領域を抽出するステップであって、
前記端末が、画像分割閾値を決定するステップと、
前記端末が、前記画像分割閾値に従って前記モリブデンターゲット画像を分割して、前記複数の候補領域を取得するステップと
を含む、ステップと、
前記端末が、深層学習トレーニングによって取得されたニューラルネットワークモデルを介して、前記モリブデンターゲット画像に前記複数の候補領域におけるターゲット領域を表記するステップであって、前記ターゲット領域に含まれるしこりがターゲットしこりである確率は第１閾値より大きく、前記ターゲットしこりが悪性しこりである確率は第２閾値より大きく、前記ニューラルネットワークモデルは、前記候補領域と、前記候補領域に含まれるしこりが前記ターゲットしこりである確率との間のマッピング関係を指示するために使用されるステップと
を含む、画像処理方法。
【請求項6】
前記端末が前記画像分割閾値に従って前記モリブデンターゲット画像を分割して、前記複数の候補領域を取得するステップは、前記端末が、グレースケールレベルに従って、前記モリブデンターゲット画像が前記画像分割閾値に応じた分割により取得された複数の画像領域をソートするステップであって、前記グレースケールレベルは前記画像分割閾値に関連するステップと、
前記端末が、前記複数の画像領域におけるグレースケールレベルが第４閾値より高い画像領域を前記候補領域として決定するステップとを含む、
請求項５に記載の画像処理方法。
【請求項7】
前記複数の画像領域においてグレースケールレベルが前記第４閾値より高い画像領域の数が第５閾値より多い場合、前記端末が、前記画像分割閾値に従って前記モリブデンターゲット画像を分割して、前記複数の候補領域を取得するステップは、前記端末が、画像領域の面積に従って前記複数の画像領域におけるグレースケールレベルが前記第４閾値より高い画像領域をソートするステップと、
前記端末が、前記複数の画像領域の中で、グレースケールレベルが前記第４閾値より高い画像領域のうち、面積が第６閾値より大きい画像領域を前記候補領域として決定するステップであって、前記複数の画像領域の中で、グレースケールレベルが前記第４閾値より高い画像領域のうち、面積が前記第６閾値より大きい画像領域の数は前記第５閾値と等しいステップとを含む、
請求項６に記載の画像処理方法。
【請求項8】
前記端末が前記画像分割閾値に従って前記モリブデンターゲット画像を分割して、前記複数の候補領域を取得するステップは、前記端末が、前記モリブデンターゲット画像が前記画像分割閾値に応じた分割により取得された複数の画像領域のそれぞれにおける、人体部位組織の接続を指示するために使用される接続線を切断して、前記複数の候補領域を取得するステップを含む、
請求項５に記載の画像処理方法。
【請求項9】
記憶媒体であって、コンピュータプログラムが記憶され、前記コンピュータプログラムは、実行されると、請求項１～８のいずれか一項に記載の方法を実行するように構成される、記憶媒体。
【請求項10】
端末に実装された画像処理装置であって、請求項１～８のいずれか一項に記載の方法を実行するように構成される、画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０１８年０３月２７日に中国特許局に提出された、優先権番号が２０１８１０２６１９２６．４であり、発明の名称が「画像処理方法及び装置、並びにニューラルネットワークモデルのトレーニング方法」である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照により本願に組み込まれている。
【0002】
本願は、コンピュータ分野、具体的に、画像処理方法及び装置、並びにニューラルネットワークモデルのトレーニング方法に関するものである。
【背景技術】
【0003】
現在、モリブデンターゲット画像を使用して疑わしい悪性しこりを位置決めすることは、しこりの良性と悪性を判断するための優れた根拠を医者に提供することができるが、関連技術では、通常、手動でスクリーニング方式を採用してモリブデンターゲット画像から疑わしい悪性しこりをスクリーニングし、手動スクリーニング方式を採用して疑わしい悪性しこりを位置決めすることには、医者に対して非常に豊かな経験を必要とし、さらに、手動スクリーニング方式を採用して疑わしい悪性しこりを位置決めすることは、疑わしい悪性しこりのスクリーニング効率及び位置決め精度に深刻な影響を与える。
【0004】
上述の課題について、効果的な技術案はまだ提案されていない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願実施例は、関連技術において、手動スクリーニング方式を採用してモリブデンターゲット画像内の疑わしい悪性しこりを位置決めすることにより、疑わしい悪性しこりのスクリーニング効率及び位置決め精度が低くなる技術的課題を少なくとも解決するために、画像処理方法及び装置、並びにニューラルネットワークモデルのトレーニング方法を開示する。
【課題を解決するための手段】
【0006】
本願実施例の一態様によれば、画像処理方法を開示し、前記方法は、端末がモリブデンターゲット画像を取得するステップと、端末が前記モリブデンターゲット画像から複数の候補領域を抽出するステップと、端末が、深層学習トレーニングによって取得されたニューラルネットワークモデルを介して、前記モリブデンターゲット画像に前記複数の候補領域におけるターゲット領域を表記するステップであって、前記ターゲット領域に含まれるしこりがターゲットしこりである確率は第１閾値より大きく、前記ターゲットしこりが悪性しこりである確率は第２閾値より大きく、前記ニューラルネットワークモデルは、前記候補領域と、前記候補領域に含まれるしこりが前記ターゲットしこりである確率との間のマッピング関係を指示するために使用されるステップとを含む。
【0007】
本願実施例の別の態様によれば、ニューラルネットワークモデルのトレーニング方法をさらに開示し、前記方法は、端末がサンプルしこり領域を取得し、前記サンプルしこり領域に含まれるしこりがターゲットしこりである確率を決定するステップであって、前記ターゲットしこりが悪性しこりである確率はターゲット閾値より大きいステップと、端末が、前記サンプルしこり領域と、前記サンプルしこり領域に含まれるしこりが前記ターゲットしこりである確率との間のマッピング関係を利用して深層学習トレーニングを実行して、前記ニューラルネットワークモデルを取得するステップであって、深層学習トレーニングを実行するとき、入力パラメータは前記サンプルしこり領域を含むことをトレーニングし、出力パラメータは前記サンプルしこり領域に含まれるしこりが前記ターゲットしこりである確率を含むことをトレーニングするステップとを含む。
【0008】
本願実施例の別の態様によれば、記憶媒体をさらに開示し、前記記憶媒体には、コンピュータプログラムが記憶され、ここで、前記コンピュータプログラムは、実行されるとき、本願実施例の任意の画像処理方法及びニューラルネットワークモデルのトレーニング方法を実行するように構成される。
【0009】
本願実施例の別の態様によれば、端末に実装された画像処理装置をさらに開示し、ここで、前記装置は、本願実施例の任意の画像処理方法を実行するように構成される。
【0010】
本願実施例の別の態様によれば、電子装置をさらに開示し、前記装置は、メモリ及びプロセッサを含み、ここで、前記メモリは、コンピュータプログラムを記憶し、前記プロセッサは、前記コンピュータプログラムを介して本願実施例の任意のニューラルネットワークモデルのトレーニング方法を実行するように構成される。
【発明の効果】
【0011】
本願実施例において、端末がモリブデンターゲット画像を取得し、端末がモリブデンターゲット画像から複数の候補領域を抽出し、端末が、深層学習トレーニングによって取得されたニューラルネットワークモデルを介してモリブデンターゲット画像に複数の候補領域におけるターゲット領域を表記し、ここで、ターゲット領域に含まれるしこりがターゲットしこりである確率は第１閾値より大きく、ターゲットしこりが悪性しこりである確率は第２閾値より大きく、ニューラルネットワークモデルは、候補領域と、候補領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を指示するために使用され、それにより、手動で関与することなく、モリブデンターゲット画像内のターゲットしこり領域を自動的に表記する目的を達成し、さらに、関連技術において、手動スクリーニング方式を採用してモリブデンターゲット画像内の疑わしい悪性しこりを位置決めすることにより、疑わしい悪性しこりのスクリーニング効率及び位置決め精度が低くなる技術的課題を解決し、それにより、疑わしい悪性しこりのスクリーニング効率及び位置決め精度を向上させる技術的効果を実現する。
【図面の簡単な説明】
【0012】
ここで説明する図面は本願を一層理解させるためのものであり、本願の一部を構成し、本願の例示的な実施例及びその説明は本願を解釈するもので、本願を不適切に限定するものではない。
【0013】
【図1】本願実施例に係る画像処理方法のハードウェア環境の概略図である。
【図2】本願実施例に係る例示的な画像処理方法のフローチャートである。
【図3】本願の例示的な実施例に係る、モリブデンターゲット画像を表記することの概略図である。
【図4】本願の例示的な実施例に係る、乳房マンモグラフィ画像における疑わしい悪性しこりの位置決めプロセスの概略図である。
【図5】本願実施例に係る例示的なニューラルネットワークモデルのトレーニング方法のフローチャートである。
【図6】本願実施例に係る例示的な画像処理装置の概略図である。
【図7】本願実施例に係る別の例示的な画像処理装置の概略図である。
【図8】本願実施例に係るさらに別の例示的な画像処理装置の概略図である。
【図9】本願実施例に係るさらに別の例示的な画像処理装置の概略図である。
【図10】本願実施例に係るさらに別の例示的な画像処理装置の概略図である。
【図11】本願実施例に係る電子装置の構造ブロック図である。
【発明を実施するための形態】
【0014】
当業者が本願の技術案を一層簡単に理解できるようにするために、以下、本願実施例中の図面を結合して、本願実施例の技術案を明確且つ完全に説明し、明らかに、説明される実施例は、単に本願実施例の一部であり、実施例の全てではない。本願実施例に基づき、当業者が創造性のある労働を必要とせずに得られる他の実施例の全ては、本願の保護範囲に含まれるべきである。
【0015】
本願の明細書、特許請求の範囲及び上記の添付図面中の「第１」、「第２」等の用語は、特定の順番又は前後順番を記述するために使用される必要がなく、類似する対象を区別するものである。このように使用されるデータは、本明細書で説明される本願実施例が本明細書で図示されまたは説明されるもの以外の順序で実施できるために、適切な場合に交換できることを理解されたい。また、「含む」、「有する」及びこれらの任意の変形の用語は、非排他的包含を網羅することが意図され、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又はデバイスは、明確に列挙されたそれらのステップ又はユニットに必ずしも限定されず、明確に列挙されない他のステップ又はユニット、又はこれらのプロセス、方法、製品又はデバイスに固有の他のステップ又はユニットを含み得る。
【0016】
まず、本願実施例を説明するプロセスで現れるいくつかの名詞または用語は以下の説明に適用される。
【0017】
モリブデンターゲット画像とは、人体部位組織を写真に撮って取得した画像である。人体部位組織を撮影するときには軟Ｘ線を使用することができ、撮影後はフィルムで光感知し、現像、定着などプロセスを実行することができる。例えば、乳房組織を撮影して取得したモリブデンターゲット画像は乳房マンモグラフィ画像である。
【0018】
本願実施例の一態様によれば、画像処理方法を開示する。
【0019】
例示的に、本実施例において、上記した画像処理方法は図１に示された、サーバ１０２及び端末１０４で構成されたハードウェア環境に適用することができる。図１に示されたように、サーバ１０２は、ネットワークを介して端末１０４に接続し、上記のネットワークは、ワイドエリアネットワーク、メトロポリタンエリアネットワークまたはローカルエリアネットワークを含み得るが、これらに限定されず、端末１０４はモリブデンターゲット撮影装置であり得、ここで、本願はモリブデンターゲット撮影装置のタイプに対して特に限定しない。
【0020】
例示的に、本願実施例の画像処理方法は、端末１０４によって実行されることができる。例示的に、端末１０４が本願の実施例の画像処理方法を実行することは、前記端末に実装されたクライアントによって実行されることもできる。端末１０４が本願実施例の画像処理方法を実行する具体的なプロセスは、端末１０４がモリブデンターゲット画像を取得し、端末１０４がモリブデンターゲット画像から複数の候補領域を抽出し、端末１０４が、深層学習トレーニングによって取得されたニューラルネットワークモデルを介してモリブデンターゲット画像に複数の候補領域におけるターゲット領域を表記し、ここで、ターゲット領域に含まれるしこりがターゲットしこりである確率は第１閾値より大きく、ターゲットしこりが悪性しこりである確率は第２閾値より大きく、ニューラルネットワークモデルは、候補領域と、候補領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を指示するために使用されることであってもよい。例示的に、端末１０４は、ターゲット領域を表記するモリブデンターゲット画像を出力することもできる。
【0021】
例示的に、本願の実施例の画像処理方法は、サーバ１０２と端末１０４によって共同で実行されることもできる。サーバ１０２と端末１０４が共同で本願実施例の画像処理方法を実行する具体的なプロセスは、端末１０４がモリブデンターゲット画像を取得し、端末１０４がモリブデンターゲット画像をサーバ１０２に送信し、サーバ１０２がモリブデンターゲット画像から複数の候補領域を抽出し、サーバ１０２が、深層学習トレーニングによって取得されたニューラルネットワークモデルを介してモリブデンターゲット画像に複数の候補領域におけるターゲット領域を表記し、ここで、ターゲット領域に含まれるしこりがターゲットしこりである確率は第１閾値より大きく、ターゲットしこりが悪性しこりである確率は第２閾値より大きく、ニューラルネットワークモデルは、候補領域と、候補領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を指示するために使用され、サーバ１０２が、ターゲット領域を表記するモリブデンターゲット画像を端末１０４に送信し、端末１０４が、ターゲット領域を表記するモリブデンターゲット画像を出力することであってもよい。
【0022】
本願実施例では、端末が画像処理方法を実行することを例に挙げて、画像処理方法を具体的に説明する。
【0023】
【0024】
ステップＳ２０２において、端末はモリブデンターゲット画像を取得する。
【0025】
ステップＳ２０４において、端末はモリブデンターゲット画像から複数の候補領域を抽出する。
【0026】
ステップＳ２０６において、端末は、深層学習トレーニングによって取得されたニューラルネットワークモデルを介してモリブデンターゲット画像に複数の候補領域におけるターゲット領域を表記し、ここで、ターゲット領域に含まれるしこりがターゲットしこりである確率は第１閾値より大きく、ターゲットしこりが悪性しこりである確率は第２閾値より大きく、ニューラルネットワークモデルは、候補領域と、候補領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を指示するために使用される。
【0027】
前記ステップＳ２０２ないしステップＳ２０６を介して、端末がモリブデンターゲット画像を取得し、端末がモリブデンターゲット画像から複数の候補領域を抽出し、端末が、深層学習トレーニングによって取得されたニューラルネットワークモデルを介してモリブデンターゲット画像に複数の候補領域におけるターゲット領域を表記し、ここで、ターゲット領域に含まれるしこりがターゲットしこりである確率は第１閾値より大きく、ターゲットしこりが悪性しこりである確率は第２閾値より大きく、ニューラルネットワークモデルは、候補領域と、候補領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を指示するために使用され、それにより、手動で関与することなく、モリブデンターゲット画像内の疑わしい悪性しこり領域を自動的に表記する目的を達成し、さらに、関連技術において、手動スクリーニング方式を採用してモリブデンターゲット画像内の疑わしい悪性しこりを位置決めすることにより、疑わしい悪性しこりのスクリーニング効率及び位置決め精度が低くなる技術的課題を解決し、それにより、疑わしい悪性しこりのスクリーニング効率及び位置決め精度を向上させる技術的効果を実現する。
【0028】
ステップＳ２０２で開示された技術案において、モリブデンターゲット画像は、人体部位組織を撮影して取得した画像であり得、本願はモリブデンターゲット画像のタイプに対して特に限定せず、例えば、モリブデンターゲット画像は乳房マンモグラフィ画像であってもよく、即ち、乳房組織を撮影して取得した画像であってもよい。
【0029】
端末はモリブデンターゲット画像を取得し、代替例において、端末はモリブデンターゲット撮像装置であってもよく、ここで、本願はモリブデンターゲット撮像装置のタイプまたはモデルに対して特に限定しない。本願実施例では、モリブデンターゲット撮像装置を使用して撮影して、端末がモリブデンターゲット画像を直接に取得することを実現することができる。
【0030】
別の例示的な例において、端末は、携帯電話、タブレットコンピュータなどと同様の機器であり得、端末は、モリブデンターゲット撮像装置と通信接続することができ、ここで、通信接続は有線接続であってもよく、無線接続であってもよい。本願実施例では、モリブデンターゲット撮像装置を使用して撮影してモリブデンターゲット画像を取得し、その後、通信接続を使用してモリブデンターゲット画像を端末に送信して、端末がモリブデンターゲット画像を取得することを実現することができる。
【0031】
本願では、さらに、他の方式を採用して端末がモリブデンターゲット画像を取得することを実現することができ、ここでは、再び例を挙げて説明しないことに留意されたい。
【0032】
ステップＳ２０４で開示された技術案において、端末が取得したモリブデンターゲット画像にしこり領域が存在しなくてもよく、しこり領域が存在してもよい。モリブデンターゲット画像にしこり領域が存在する場合、しこり領域の数は、１つであってもよく、複数であってもよい。ここで、モリブデンターゲット画像内のしこり領域に含まれるしこりは疑わしい悪性しこりであってもよく、疑わしい悪性しこりではなくてもよく、本願により、モリブデンターゲット画像内の、疑わしい悪性しこりが含まれたしこり領域を表記して、疑わしい悪性しこりの検査及び位置決めの目的を達成することができる。
【0033】
例示的に、端末がモリブデンターゲット画像を取得した後、端末は、モリブデンターゲット画像に対して前処理して、ノイズを低減し及びターゲット画像を位置決めする目的を実現することができ、ここで、ターゲット画像は、モリブデンターゲット画像内の、人体部位を含む画像であり得、例えば、乳房マンモグラフィ画像内のターゲット画像は乳房を含む画像である。モリブデンターゲット画像に対して前処理するプロセスは、具体的に、端末がモリブデンターゲット画像におけるノイズを除去して、ノイズ除去されたモリブデンターゲット画像を取得するステップと、端末がノイズ除去されたモリブデンターゲット画像からターゲット画像を抽出するステップであって、ターゲット画像は人体部位を含む画像であるステップとを含み得る。
【0034】
本願は、モリブデンターゲット画像におけるノイズを除去するために使用される技術的手段及びノイズ除去されたモリブデンターゲット画像からターゲット画像を抽出するために使用される技術的手段に対して特に限定しない。例えば、代替例において、正規化方法を使用して、線形ストレッチでモリブデンターゲット画像の画素値のグレースケール範囲を０～２５５に広がって、モリブデンターゲット画像に対する後続の処理のロバスト性を向上させることができる。形態学的オープン操作及び二値化を使用して、モリブデンターゲット画像からターゲット画像を抽出することができ、例えば、乳房マンモグラフィ画像から乳房領域を抽出することができ、モリブデンターゲット画像におけるラベルなどの背景を削除することもできる。形態学的オープン操作は、モリブデンターゲット画像における細かい組織及びノイズを除去することができ、モリブデンターゲット画像の分割プロセスは大津セグメンテーション法（ＯＴＳＵ法）を使用して２つのカテゴリに割ることができ、乳房組織領域など、人体部位を含む画像領域を効率的に抽出することを実現する。モリブデンターゲット画像をヒストグラムに変換し、当該ヒストグラムに対してヒストグラム均等化して、モリブデンターゲット画像のヒストグラムに対する後続の処理のロバスト性を向上させることもできる。バイラテラルフィルタを使用して人体部位組織（乳房組織など）に存在する可能性のあるノイズを除去し、領域の均質性をある程度向上させることもでき、ここで、バイラテラルフィルタはセグメンテーションエッジを破壊しない。
【0035】
端末がモリブデンターゲット画像に対して前処理することによりモリブデンターゲット画像におけるノイズを除去することができ、モリブデンターゲット画像に対する解析処理の精度を向上させることを実現し、さらに、疑わしい悪性しこりのスクリーニング精度を向上させる効果を得ることを実現することに留意されたい。上記した例示的な技術的手段に加えて、本願は、モリブデンターゲット画像に対して他のノイズ除去処理を実行して、モリブデンターゲット画像におけるノイズを除去し、及びノイズ除去されたモリブデンターゲット画像からターゲット画像を抽出することができ、ここでは、再び例を挙げて説明しないことにさらに留意されたい。
【0036】
端末は、モリブデンターゲット画像を取得した後に、複数の候補領域から疑わしい悪性しこりが含まれたターゲット領域を決定するように、画像分割技術を使用してモリブデンターゲット画像から複数の候補領域を抽出することができる。
【0037】
例示的に、モリブデンターゲット画像に対して前処理してターゲット画像を取得した後に、端末は、当該ターゲット画像を分割して、複数の候補領域をターゲット画像から抽出する目的を実現することができる。
【0038】
例示的に、端末が、モリブデンターゲット画像から複数の候補領域を抽出するステップは、画像分割閾値を決定するステップと、画像分割閾値に従ってモリブデンターゲット画像を分割して、複数の候補領域を取得するステップとを含み得る。
【0039】
代替例において、二次元ウェーブレット変換（例えば、レベル数は３である）を使用してモリブデンターゲット画像の次元を減らすことができ、低細部の画像において、正規化した後にモリブデンターゲット画像のヒストグラムを統計し、当該ヒストグラムに従って画像の分割を実行する。例示的に、ヒストグラムに対する分割は遺伝的アルゴリズムを使用することができる。画像分割閾値は遺伝的アルゴリズムを介して決定されることができ、具体的な決定プロセスは、次の通りである。遺伝子はバイナリコードの形を使用し、当該コードの長さはグレースケールレベル（０～２５５）の数と等しく、即ち、バイナリコードの長さは２５６ビットである。特定のビットの値が０である場合、当該グレースケールレベルが画像分割閾値であることを表す。遺伝アルゴリズムの値関数は、クラス間の最大分散とクラス内の最小分散に基づき、一般的な遺伝的アルゴリズムプロセスを使用して、母数を初期化した後、収束するまで、反復選択、交差、突然変異の３つのプロセスを繰り返し（例えば、初期母数は３０であり、反復回数は４０であり、選択率は１０％であり、交差率は８０％であり、突然変異率は１０％であるなど）、遺伝的アルゴリズムは、最適なバイナリコードを決定することができ、当該バイナリコードに従って画像分割閾値を決定することができる。例えば、当該バイナリコードの５番目と７番目の値が０であると、画像分割閾値はそれぞれ３２と１２８であり、当該画像分割閾値に従ってモリブデンターゲット画像の像素値のグレースケールを３つのグレースケールレベルに分割することができ、それぞれは、グレースケール値が３２より低いグレースケールレベル、グレースケール値が３２と１２８の間であるグレースケールレベル、グレースケール値が１２８より高いグレースケールレベルである。決定された画像分割閾値に従って、モリブデンターゲット画像に対して分割操作を実行して、複数の候補領域を取得することができる。
【0040】
例示的に、端末が画像分割閾値に従ってモリブデンターゲット画像を分割して、複数の候補領域を取得するステップは、端末が、グレースケールレベルに従って、モリブデンターゲット画像が画像分割閾値に従って分割することにより取得された複数の画像領域をソートするステップであって、グレースケールレベルは画像分割閾値と関連するステップと、端末が複数の画像領域におけるグレースケールレベルが第４閾値より高い画像領域を候補領域として決定するステップとを含み得る。ここで、第４閾値は実際のニーズに従って設定または調整されることができ、ここでは、特に限定しない。
【0041】
例示的に、複数の画像領域においてグレースケールレベルが第４閾値より高い画像領域の数が第５閾値より多い場合、端末が、画像分割閾値に従ってモリブデンターゲット画像を分割して、複数の候補領域を取得するステップは、端末が、画像領域の面積に従って複数の画像領域におけるグレースケールレベルが第４閾値より高い画像領域をソートするステップと、端末が、複数の画像領域におけるグレースケールレベルが第４閾値より高い画像領域のうち、面積が第６閾値より大きい画像領域を候補領域として決定するステップであって、前記複数の画像領域におけるグレースケールレベルが第４閾値より高い画像領域のうち、面積が第６閾値より大きい画像領域の数は第５閾値と等しいステップとを含み得る。ここで、第５閾値及び第６閾値は実際のニーズに従って設定または調整されることができ、ここでは、特に限定しない。
【0042】
例えば、遺伝的アルゴリズムを使用して決定された画像分割閾値はそれぞれ３２および１２８であり、当該画像分割閾値に従ってモリブデンターゲット画像の像素値のグレースケールを３つのグレースケールレベルに分割することができ、前記グレースケールレベルはそれぞれ、降順で、グレースケール値が１２８より高いグレースケールレベル、グレースケール値が３２と１２８の間であるグレースケールレベル、グレースケール値が３２より低いグレースケールレベルである。ここで、決定された画像分割閾値に従ってモリブデンターゲット画像に対して分割操作を実行して、グレースケール値が１２８より高い画像領域を５個、グレースケール値が３２と１２８の間である画像領域を１０個、グレースケール値が３２より低い画像領域を５０個取得することができる。モリブデンターゲット画像により画像分割閾値に応じた分割により取得された複数の画像領域をグレースケールレベルの降順で配列した後、順次に、グレースケール値が１２８より高い５個の画像領域、グレースケール値が３２と１２８の間である１０個の画像領域、グレースケール値が３２より低い５０個の画像領域である。第４閾値が２であると仮定すると、グレースケール値が１２８より高い５つの画像領域及びグレースケール値が１２８より高い５個の画像領域、合計で１５個の画像領域を候補領域として決定することができる。
【0043】
実際の適用シナリオにおいて、疑わしい悪性しこりの位置決め及びスクリーニングの精度を向上させるには、候補領域の数を事前に設定する必要がある。代替例において、事前に決定された候補領域の数が１０であり、即ち、第５閾値が１０であると仮定すると、グレースケールレベルが第４閾値２より高い画像領域の数（グレースケール値が１２８より高い５個の画像領域及びグレースケール値が１２８より高い５個の画像領域であり、合計で１５個の画像領域）は１０より大きいため、１５個の画像領域から１０個を取得する必要がある。画像領域の面積の降順に従って当該１５個の画像領域をソートする必要があり、その後、上位１０の位置に相当する順位である画像領域を候補領域として使用する。
【0044】
上記した画像分割技術によりモリブデンターゲット画像を分割した後、複数の候補領域を正確に取得することができるため、疑わしい悪性しこりの位置決め及びスクリーニングの精度を向上させる效果を実現することができることに留意されたい。
【0045】
例示的に、画像分割閾値に従ってモリブデンターゲット画像を分割して、複数の候補領域を取得するステップは、端末が、モリブデンターゲット画像により画像分割閾値に従って分割して取得された複数の画像領域のそれぞれにおける、人体組織の接続を指示するために使用される接続線を切断して、複数の候補領域を取得するステップをさらに含み得る。
【0046】
各画像領域内の、人体組織の接続を指示するために使用される接続線を切断するために使用される技術的手段は、形態学的オープン操作を含み得るが、これに限定されないことに留意されたい。モリブデンターゲット画像は人体部位組織を撮影して取得した画像であるため、モリブデンターゲット画像は人体組織の接続を指示するために使用される接続線を含み得、これらの接続線はモリブデンターゲット画像に対して画像分割する精度に影響を与えるため、端末はモリブデンターゲット画像が画像分割閾値に応じた分割により取得した複数の画像領域のそれぞれにおける、人体組織の接続を指示するために使用される接続線を切断して、取得した複数の候補領域の精度を向上させることを実現することができるため、疑わしい悪性しこりの位置決め及びスクリーニングの精度を向上させる効果を得ることにさらに留意されたい。
【0047】
ステップＳ２０６で開示された技術案において、端末は、モリブデンターゲット画像から複数の候補領域を抽出した後、複数の候補領域からターゲット領域を決定し、モリブデンターゲット画像においてターゲット領域を表記することができ、ここで、ターゲット領域に含まれるしこりがターゲットしこりである確率は第１閾値より大きく、ここで、ターゲットしこりが悪性しこりである確率は第２閾値より大きく、即ち、本願の実施例におけるターゲットしこりが、実際には、疑わしい悪性しこりであることに留意されたい。ここで、第１閾値及び第２閾値は実際のニーズに従って設定または調整されることができ、ここでは、特に限定しない。モリブデンターゲット画像においてターゲット領域を表記するために使用される表記フォーマットに対して、本願は特に限定せず、例えば、ターゲット領域にフレームを付けることができることにさらに留意されたい。
【0048】
例示的に、端末は、深層学習トレーニングによって取得されたニューラルネットワークモデルを介してモリブデンターゲット画像に複数の候補領域におけるターゲット領域を表記するステップは、ニューラルネットワークモデルを使用して複数の候補領域における各候補領域に含まれるしこりがターゲットしこりである確率を取得するステップであって、当該ニューラルネットワークモデルは、候補領域と、候補領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を指示するために使用されるステップと、確率が第１閾値より大きい候補領域をターゲット領域として使用し、ターゲット領域をモリブデンターゲット画像に表記することを含み得る。
【0049】
深層学習トレーニングによって取得されたニューラルネットワークモデルは、候補領域と、候補領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を指示するために使用されることができ、即ち、端末は候補領域をニューラルネットワークモデルに入力して、当該候補領域に含まれるしこりがターゲットしこりである確率を取得することに留意されたい。本願の実施例では、深層学習トレーニングによって取得されたニューラルネットワークモデルを使用して、候補領域に含まれるしこりがターゲットしこりである確率を取得し、手動で関与することなく、ターゲットしこりが含まれたターゲット領域をモリブデンターゲット画像からすばやく正確にスクリーニングして位置決めすることができるため、疑わしい悪性しこりのスクリーニング及び位置決めの效率が大幅に向上する。
【0050】
例示的に、端末がモリブデンターゲット画像を取得する前に、モリブデンターゲット画像からターゲットしこりが含まれたターゲット領域をさらに正確にスクリーニングして位置決めするように、端末は、まず、深層学習トレーニングを実行してトレーニング後のニューラルネットワークモデルを取得することができるため、トレーニング後のニューラルネットワークモデルを使用して各候補領域に含まれるしこりがターゲットしこりである確率をすばやく正確に取得することができる。具体的に、トレーニングプロセスは、端末がサンプルしこり領域と、サンプルしこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を利用して深層学習トレーニングを実行し、トレーニング後のニューラルネットワークモデルを取得し、ここで、深層学習トレーニングを実行するとき、入力パラメータはサンプルしこり領域を含むことをトレーニングすることができ、出力パラメータはサンプルしこり領域に含まれるしこりがターゲットしこりである確率を含むことをトレーニングすることができる。
【0051】
端末がサンプルしこり領域と、サンプルしこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を利用して深層学習トレーニングを実行した後、トレーニング後のニューラルネットワークモデルを取得することができることに留意されたい。深層学習トレーニングを実行するとき、サンプルしこり領域の数が大きいほど、ニューラルネットワークモデルの精度は高くなるため、トレーニング後のニューラルネットワークモデルを使用して決定したターゲット領域の精度も高くなる。
【0052】
例示的に、サンプルしこり領域は第１しこり領域及び第２しこり領域を含み得、ここで、第１しこり領域に含まれるしこりはターゲットしこりであり、第２しこり領域に含まれるしこりは非ターゲットしこりであり、または第２しこり領域はしこりを含まず、ここで、端末がサンプルしこり領域と、サンプルしこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を利用して深層学習トレーニングを実行して、ニューラルネットワークモデルを取得するステップは、端末が第１しこり領域と、第１しこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係及び第２しこり領域と、第２しこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を利用して深層学習トレーニングを実行し、トレーニング後のニューラルネットワークモデルを取得するステップを含み得る。
【0053】
代替例において、中国の病院データを使用し、専門家を雇ってデータ（数は２２００を超える）を表記し、疑わしい悪性しこりを陽性サンプルとして使用し、残りの明らかな良性しこりと背景領域を陰性サンプルとして使用して、データを強化した後（モリブデンターゲット画像であるため、色空間のデータを強化する必要なく、主に、反転及びクロッピングされるデータを強化し、さらに、入力される疑わしい悪性しこりサンプルは、必ずしこり領域全体を含み、少量の背景領域に囲まれる）、本願のトレーニングデータとして、ＩｎｃｅｐｔｉｏｎＶ３モデルに入力してトレーニングし、モデルの出力タイプを２に再設定することができる。ここで、モデルの重みの初期化は、まずＩｍａｇｅＮｅｔデータセットを使用し、次に、パブリックデータセットＤＤＳＭを使用し、最後に、本願におけるトレーニングデータを使用して、転移学習を行い、最終のモデルの重みを取得する。例えば、降下法はＲＭＳｐｒｏｐを使用し、バッチ処理の大きさは６４であり、初期学習率は０．０１であり、最大反復回数は１０００００である。モデルをトレーニングした後、任意に入力した候補領域に対して、トレーニング終了後のニューラルネットワークモデルの計算を介して、当該モデルが疑わしい悪性しこりである確率を取得することができ、通常、確率が０．５より大きいと、疑わしい悪性しこりと見なされる。
【0054】
端末がサンプルしこり領域を使用して深層学習トレーニングする場合、サンプルしこり領域は、ターゲットしこりが含まれた第１しこり領域、非ターゲットしこりが含まれた第２しこり領域、しこりが含まれない画像領域を含み得、且つ、各タイプのサンプルの数は同等であり、それにより深層学習トレーニングにより取得されたニューラルネットワークモデルの精度を向上させる目的を達成することに留意されたい。
【0055】
上述の深層学習トレーニングプロセスにより取得されたニューラルネットワークモデルは、各候補領域に含まれるしこりがターゲットしこりである確率を正確に決定することができる。第１閾値が０．５である仮定すると、深層学習トレーニングにより取得されたニューラルネットワークモデルを使用して、含まれたしこりがターゲットしこりである確率が０．５より大きい候補領域を決定し、即ち、ターゲット領域として決定することができ、当該ターゲット領域をモリブデンターゲット画像に表記する。ここで、上述の方法を使用して決定されたターゲット領域の数は１つであってもよく、複数であってもよく、またはモリブデンターゲット画像内にターゲット領域がなくてもよいことに留意されたい。本願の実施例は、深層学習トレーニングにより取得されたニューラルネットワークモデルを使用して、複数の候補領域からターゲットしこりが含まれたターゲット領域を決定することにより、手動で関与することなく、モリブデンターゲット画像内の疑わしい悪性しこりをすばやく正確にスクリーニング及び位置決めする目的を達成することができ、関連技術において、手動スクリーニング方式を採用してモリブデンターゲット画像内の疑わしい悪性しこりを位置決めすることにより、疑わしい悪性しこりのスクリーニング効率及び位置決め精度が低くなる技術的課題を解決し、それにより、疑わしい悪性しこりのスクリーニング效率及び精度を向上させる技術的効果を実現する。
【0056】
例示的に、ターゲットしこりが含まれたターゲット領域として決定し、端末が非最大抑制方法を使用して重複領域を削除することができ、即ち、確率が第１閾値より大きい複数の候補領域が存在する場合、確率が第１閾値より大きい候補領域をターゲット領域として決定するステップは、端末が確率の大きさに従って、複数の確率が第１閾値より大きい候補領域をソートするステップと、第１候補領域と第２候補領域との間の重複面積をそれぞれ計算するステップであって、第１候補領域は、複数の確率が第１閾値より大きい候補領域の中で最も大きい確率を有する候補領域であり、第２候補領域は、確率が第１閾値より大きい複数の候補領域のうちの、第１候補領域以外の候補領域であるステップと、確率が第１閾値より大きい複数の候補領域から、第１候補領域との重複面積が第３閾値より大きい第２候補領域を削除して、残りの候補領域を取得するステップと、残りの候補領域をターゲット領域として決定するステップとを含む。ここで、第３閾値は実際のニーズに従って設定または調整されることができ、ここでは、特に限定しない。
【0057】
例えば、モリブデンターゲット画像から１０個の候補領域を抽出し、深層学習トレーニングにより取得したニューラルネットワークモデルを使用して、１０個の候補領域に含まれるしこりがターゲットしこりである、順次に、０．９、０．２、０．４、０．６、０．７、０．３、０．０、０．２、０．８、０．１である確率をそれぞれ取得し、第１閾値は０．５であり、１０個の候補領域で確率が０．５より大きい候補領域はそれぞれ０．９、０．６、０．７及び０．８の確率に対応する候補領域である。ここで、当該４個の候補領域において、確率が０．６である候補領域と確率が０．９である候補領域との間の重複面積は２であり、確率が０．７である候補領域と確率が０．９である候補領域との間の重複面積は５であり、確率が０．８である候補領域と確率が０．９である候補領域との間の重複面積は１０であり、第３閾値が６であると仮定すると、確率が０．８である候補領域を当該４個の候補領域から削除し、残りの候補領域をターゲット領域として決定することができる。
【0058】
本願の実施例は、非最大抑制方法を使用して重複領域をターゲット領域から削除することにより、誤診率の低下を実現することができるため、疑わしい悪性しこりの位置決めの精度を向上させる效果を得ることに留意されたい。
【0059】
例示的に、端末は複数の候補領域からターゲット領域を決定し、モリブデンターゲット画像にターゲット領域を表記した後、医者がターゲットしこりの具体的な位置及びターゲットしこりの大きさを明確且つ直感的に決定するように、当該ターゲット領域が表記されたモリブデンターゲット画像を出力することができる。
【0060】
本願の実施例の画像処理方法は、乳癌の早期スクリーニングなどの医療診断の分野に適用することができる。本願の実施例の画像処理方法を使用して、乳癌のスクリーニングを手動で関与することなく、深層学習トレーニングにより取得したニューラルネットワークモデルを使用するだけで、疑わしい悪性しこりをすばやく正確に位置決めすることができることに留意されたい。
【0061】
まず、本願の実施例では、トレーニング後のニューラルネットワークモデルを使用して疑わしい悪性しこりの正確な位置決めを実行するように、多くのトレーニングサンプルに深層学習トレーニングを実行してトレーニング後のニューラルネットワークモデルを取得することができる。ここで、深層学習トレーニングするサンプルは、陽性サンプルとして使用する疑わしい悪性しこり、陰性サンプルとして使用する残りの明らかな良性しこり及び背景領域などを含み得る。
【0062】
その後、端末は、トレーニング後のニューラルネットワークモデルに対して疑わしい悪性しこりの位置決めを実行し、具体的なプロセスは、次のように説明することができる。端末は、乳房組織を撮影した後に乳房マンモグラフィ画像を取得し、次に、乳房マンモグラフィ画像に対して画像前処理を実行して、画像におけるノイズ及び不要なラベル背景を削除し、処理対象を乳房領域に集中し、その後、画像分割技術を介して候補のしこり領域を抽出した後、端末は、上述の深層学習トレーニングにより取得されたニューラルネットワークモデルを使用して候補のしこり領域に含まれるしこりが疑わしい悪性しこりであるかどうかを判断し、端末が乳房マンモグラフィ画像内に疑わしい悪性しこりが含まれた領域があると判断すると、乳房マンモグラフィ画像に当該領域を表記して、疑わしい悪性しこりをすばやく正確に位置決めする。
【0063】
実際の適用シナリオにおいて、深層学習トレーニングにより取得したニューラルネットワークモデルはクラウドプラットフォームに配置されることができ、疑わしい悪性しこりを判断する必要がある場合、端末を使用してモリブデンターゲット画像を取得することができ、その後、モリブデンターゲット画像をクラウドプラットフォームにアップロードし、クラウドプラットフォームは、トレーニング後のニューラルネットワークモデルを使用して当該モリブデンターゲット画像内の疑わしい悪性しこりをスクリーニング及び位置決めすることができ、クラウドプラットフォームがモリブデンターゲット画像に疑わしい悪性しこりが存在すると判断すると、当該モリブデンターゲット画像で疑わしい悪性しこり領域を表記し、その後、疑わしい悪性しこりマークが付けられたモリブデンターゲット画像を端末に出力する。
【0064】
本願実施例の画像処理方法を使用して、疑わしい悪性しこりのすばやいスクリーニング及び正確な位置決めを実現することができ、手動で関与することなく、疑わしい悪性しこりのスクリーニング效率及び位置決め精度を大幅に向上させる。
【0065】
以下、本願が適用する乳癌検出に使用される乳房マンモグラフィ画像の疑わしい悪性しこりの位置決め技術の具体的な技術を詳細に説明する。
【0066】
乳房マンモグラフィ画像の疑わしい悪性しこりの位置決め技術は、最新のコンピュータビジョン技術及び人工知能技術に基づき、教師なし分割及び教師付き分類法を融合して改善し、疑わしい悪性しこりの再現率を向上させる同時に誤診率を低下する。当該技術は、乳癌検出に関するアプリケーションをより適切にサービスすることができる。
【0067】
当該技術はソフトウェアインターフェースの形でサービスを提供することができ、図３に示されたように、入力はモリブデンターゲット画像であり、ここで、当該モリブデンターゲット画像は３つのしこり領域（ここでは、例示的なものに過ぎず、モリブデンターゲット画像内のしこり領域の数に対して特に限定しない）を含み、当該技術処理により計算した後、疑わしい悪性しこりマークが付けられたモリブデンターゲット画像を出力することができ、ここで、図３に示されたように、点線で囲まれた領域など、当該モリブデンターゲット画像内の３つのしこり領域における１つの領域を疑わしい悪性しこり領域として決定する。
【0068】
当該技術は、特定のハードウェア環境に依存しないことに留意されたい。
【0069】
当該技術は、主に、遺伝的アルゴリズムに依存してモリブデンターゲット画像を分割し、分割して取得された候補領域は、主に、深層学習トレーニングにより取得したニューラルネットワークモデルスクリーニング疑わしい悪性しこりに依存し、ここで、深層学習には、大量の疑わしい悪性しこり及び疑わしくない悪性しこりサンプルをトレーニングする必要がある。
【0070】
入力されたモリブデンターゲット画像に対する当該技術の処理プロセスは図４に示されたように、主に、前処理、分割及び分類である３つのプロセスに分ける。前処理プロセスの主な目的は、モリブデンターゲット画像におけるノイズ及び不要なラベル背景を削除して、処理対象を乳房領域に集中することであり、分割プロセスの主な目的は、候補領域を抽出することであり、分類プロセスでは、候補領域を解析し、疑わしい悪性しこりであるかどうかを判断することができる。以下、上述の３つのプロセスをそれぞれ詳細に説明する。
【0071】
（１）前処理プロセスは、次の処理操作を含み得る。
【0072】
正規化：線形ストレッチでモリブデンターゲット画像のグレースケール範囲を０～２５５に広がって、後続処理のロバスト性を向上させる。
【0073】
乳房領域分割：形態学的オープン操作及び二値化を使用して乳房領域を抽出し、ラベルなどの背景を削除し、形態学的オープン操作は、細かい組織及びノイズを除去することができ、分割プロセスは、大津セグメンテーション方法（ＯＴＳＵ法）を使用して２つのカテゴリに分類することができ、乳房領域を効率的に抽出することができる。
【0074】
ヒストグラム均等化：後続の分割アルゴリズムは、モリブデンターゲット画像のヒストグラムに基づいて実行するため、ヒストグラム均等化を介して後続処理のロバスト性を向上させる必要がある。
【0075】
バイラテラルフィルタ：バイラテラルフィルタを使用して乳房組織に存在する可能性のあるノイズを除去し、領域の均質性をある程度向上させ、さらに、バイラテラルフィルタはセグメンテーションエッジを破壊しない。
【0076】
（２）分割プロセスは、次の処理操作を含み得る。
【0077】
遺伝子の遺伝的分割：二次元ウェーブレット変換（レベル数は３である）を使用してモリブデンターゲット画像の次元を減らし、低細部の画像において、正規化した後に当該画像のヒストグラムを統計し、当該ヒストグラムに従って画像の分割を実行する。ヒストグラムの分割について、遺伝的アルゴリズムを採用して、遺伝子はバイナリコードの形を使用し、当該コードの長さはグレースケールレベルの数と等しく、ビット値が０である場合、当該グレースケールレベルが分割閾値であることを表す。遺伝アルゴリズムの値関数は、クラス間の最大分散とクラス内の最小分散に基づき、一般的な遺伝的アルゴリズムプロセスを使用して、母数を初期化した後、収束するまで、反復選択、交差、突然変異の３つのプロセスを繰り返し（例えば、初期母数は３０であり、反復回数は４０であり、選択率は１０％であり、交差率は８０％であり、突然変異率は１０％である）、最後に、分割閾値を出力し、当該分割閾値に従って元のモリブデンターゲット画像に対して分割操作を実行する。
【0078】
形態学的オープン操作：分割された画像に対して、胸腺接続を切断するなどの形態学的オープン操作を使用して、後続の領域抽出を容易にする。
【0079】
領域ブロックの抽出：分割結果については、まず、グレースケールレベルが高い（例えば、グレースケールレベルが上位５に相当する）領域を候補領域として抽出する。グレースケールレベルの順序に従って決定された領域の数が事前に設定された数を満たさない場合、各領域の面積に従って面積の大きい領域を候補領域として選択して続けることができる。
【0080】
（３）分類プロセスは、次の処理操作を含み得る。
【0081】
ニューラルネットワークモデルトレーニング及び分類：中国の病院データを使用し、専門家を雇ってデータを表記し、疑わしい悪性しこりを陽性サンプルとして使用し、残りの明らかな良性しこりと背景領域を陰性サンプルとして使用して、データを強化した後（モリブデンターゲット写真であるため、色空間のデータを強化する必要なく、主に、反転及びクロッピングされるデータを強化し、さらに、入力される疑わしい悪性しこりサンプルは、必ずしこり領域全体を含み、少量の背景領域に囲まれる）、本願のトレーニングデータとして、ＩｎｃｅｐｔｉｏｎＶ３モデルに入力してトレーニングし、モデルの出力タイプを２に再設定する。ここで、モデルの重みの初期化は、まずＩｍａｇｅＮｅｔデータセットを使用し、次に、パブリックデータセットＤＤＳＭを使用し、最後に、本願におけるトレーニングデータを使用して、転移学習を行い、最終のモデルの重み（降下法はＲＭＳｐｒｏｐを使用し、バッチ処理の大きさは６４であり、初期学習率は０．０１であり、最大反復回数は１０００００である）を取得する。モデルをトレーニングした後、任意に入力した候補領域に対して、ネットワークの計算を介して、当該モデルが疑わしい悪性しこりである確率を取得することができ、通常、確率が０．５より大きいと、疑わしい悪性しこりと見なされる。
【0082】
非最大抑制：疑わしい悪性しこりであると判断された領域に対して、非最大抑制方法を使用して重複領域を削除し、ここで、重複度閾値を５０％に設定し（ここでは例示的なものに過ぎず、特に限定しない）、主な目的は、誤診率を低下する同時に、疑わしい悪性しこりの位置決めの精度を向上させることができることである。
【0083】
当該技術における分割方法は、完全畳み込みニューラルネットワークモデルに置き換えることもでき、分類で使用されるＧｏｏｇｌｅＮｅｔは、ＲｅｓＮｅｔなどの他のネットワークモデル置き換えることもできることに留意されたい。
【0084】
本願は分割方法を使用することに基づき、分割して取得された領域に対して、簡単な形態学的フィルタリング処理を実行した後は、深層学習トレーニングにより取得された分類器に依存して疑わしい悪性しこり分類を実行し、それにより結果の精度を向上させることだけでなく、プロセス全体の自動化を実現することができる。
【0085】
本願では、しこり検出領域で始めて、従来のビジョン方法及び深層学習に基づく融合方法を使用し、アルゴリズムプロセスは高い新規性を持つことに留意されたい。深層学習方式を使用すると手動でスクリーニングすることを回避し、従来の方法では不規則で複雑な特徴を設計するのが困難であるという問題を克服し、分割後の処理の感度を下げることができる。本願は強い適切性を持ち、ハードウェア環境に依存せずに、様々な乳房タイプのモリブデンターゲットの写真を処理することができる。
【0086】
本願実施例のさらに別の態様によれば、ニューラルネットワークモデルのトレーニング方法をさらに開示する。
【0087】
本願実施例のニューラルネットワークモデルのトレーニング方法を使用して、深層学習トレーニングを実行して、トレーニング後のニューラルネットワークモデルを取得することができ、当該トレーニング後のニューラルネットワークモデルは本願の上述の実施例の画像処理方法に適用することができ、当該トレーニング後のニューラルネットワークモデルを使用して各候補領域に含まれるしこりがターゲットしこり（即ち、疑わしい悪性しこり）である確率をすばやく正確に決定するため、モリブデンターゲット画像内の疑わしい悪性しこり領域をすばやく正確に位置決めする目的を実現することに留意されたい。
【0088】
【0089】
ステップＳ５０２において、端末はサンプルしこり領域を取得し、サンプルしこり領域に含まれるしこりがターゲットしこりである確率を決定し、ここで、ターゲットしこりが悪性しこりである確率はターゲット閾値より大きい。
【0090】
ステップＳ５０４において、端末は、サンプルしこり領域と、サンプルしこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を利用して深層学習トレーニングを実行して、ニューラルネットワークモデルを取得し、ここで、深層学習トレーニングを実行するとき、入力パラメータはサンプルしこり領域を含むことをトレーニングし、出力パラメータは、サンプルしこり領域に含まれるしこりがターゲットしこりである確率を含むことをトレーニングする。
【0091】
上述のステップＳ５０２ないしステップＳ５０４により、深層学習トレーニングによりニューラルネットワークモデルを取得することを実現することができ、当該トレーニング後のニューラルネットワークモデルは、任意のしこり領域と、当該しこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を指示するために使用されることができ、ここで、ターゲットしこりが悪性しこりである確率はターゲット閾値より大きく、ターゲット閾値は、実際のニーズに従って設定または調整されることができ、ここでは特に限定せず、即ち、ターゲットしこりは、実際には、疑わしい悪性しこりであり、トレーニング後のニューラルネットワークモジュールは、任意のしこり領域と、当該しこり領域に含まれるしこりが疑わしい悪性しこりである確率との間のマッピング関係を指示するために使用されることができる。
【0092】
例示的に、サンプルしこり領域は第１しこり領域及び第２しこり領域を含み得、ここで、第１しこり領域に含まれるしこりはターゲットしこりであり、第２しこり領域に含まれるしこりは非ターゲットしこりであり、または第２しこり領域はしこりを含まない。トレーニングサンプルが様々なタイプのしこり領域を含むことにより、ニューラルネットワークモデルのトレーニング精度を向上させる効果を達成することができる。さらに、深層学習トレーニングを実行するとき、サンプルしこり領域の数が大きいほど、ニューラルネットワークモデルの精度は高くなる。
【0093】
例示的に、端末がサンプルしこり領域を取得した後、サンプルしこり領域に含まれるしこりがターゲットしこりである確率を決定するステップは、端末がデータベースからサンプルしこり領域に含まれるしこりがターゲットしこりである確率を決定するステップであって、データベースは、サンプルしこり領域に含まれるしこりがターゲットしこりである確率を事前に記憶することができることを含み得る。例えば、当該データベースは、大量の医療データが記憶された病院データベースなどであってもよい。
【0094】
例示的に、端末がサンプルしこり領域に含まれるしこりがターゲットしこりである確率を決定するステップは、端末が、入力パラメータに従ってサンプルしこり領域に含まれるしこりがターゲットしこりである確率を決定するステップであって、入力パラメータは、サンプルしこり領域に含まれるしこりがターゲットしこりである確率を指示するために使用されるステップをさらに含み得る。例えば、当該入力パラメータは、医療専門家が医療データ及び経験に従って決定した、サンプルしこり領域に含まれるしこりがターゲットしこりである確率であってもよい。
【0095】
本願の実施例は、他の方式を介して、サンプルしこり領域に含まれるしこりがターゲットしこりである確率を決定することもでき、ここでは、再び例を挙げて説明しないことに留意されたい。
【0096】
端末がサンプルしこり領域を取得し、サンプルしこり領域に含まれるしこりがターゲットしこりである確率を決定した後に、本願の実施例は、サンプルしこり領域と、サンプルしこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を利用して、トレーニングされないニューラルネットワークを深層学習トレーニングを実行して、トレーニングするときに、入力パラメータにサンプルしこり領域を含み得ることをトレーニングすることができ、出力パラメータにサンプルしこり領域に含まれるしこりがターゲットしこりである確率を含み得ることをトレーニングすることができる。
【0097】
例示的に、サンプルしこり領域と、サンプルしこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を利用して深層学習トレーニングを実行して、ニューラルネットワークモデルを取得するステップは、端末が第１しこり領域と、第１しこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係及び第２しこり領域と、第２しこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を利用して深層学習トレーニングを実行し、トレーニング後のニューラルネットワークモデルを取得するステップを含み得る。
【0098】
代替例において、中国の病院データを使用し、専門家を雇ってデータ（数は２２００を超える）を表記し、疑わしい悪性しこりを陽性サンプルとして使用し、残りの明らかな良性しこりと背景領域を陰性サンプルとして使用して、データを強化した後（モリブデンターゲット画像であるため、色空間のデータを強化する必要なく、主に、反転及びクロッピングされるデータを強化し、さらに、入力される疑わしい悪性しこりサンプルは、必ず、しこり領域全体を含み、少量の背景領域に囲まれる）、本願のトレーニングデータとして、ＩｎｃｅｐｔｉｏｎＶ３モデルに入力してトレーニングし、モデルの出力タイプを２に再設定することができる。ここで、モデルの重みの初期化は、まずＩｍａｇｅＮｅｔデータセットを使用し、次に、パブリックデータセットＤＤＳＭを使用し、最後に、本願におけるトレーニングデータを使用して、転移学習を行い、最終のモデルの重みを取得する。例えば、降下法はＲＭＳｐｒｏｐを使用し、バッチ処理の大きさは６４であり、初期学習率は０．０１であり、最大反復回数は１０００００である。モデルをトレーニングした後、任意に入力した候補領域に対して、トレーニング後のニューラルネットワークモデルの計算を介して、候補領域に含まれるしこりがターゲットしこりである確率を取得することができ、通常、確率が０．５より大きいと、疑わしい悪性しこりと見なされる。
【0099】
サンプルしこり領域を使用して深層学習トレーニングする場合、サンプルしこり領域は、ターゲットしこりが含まれた第１しこり領域、非ターゲットしこりが含まれた第２しこり領域、しこりが含まれない画像領域を含み得、且つ、各タイプのサンプルの数は同等であり、それにより深層学習トレーニングにより取得されたニューラルネットワークモデルの精度を向上させる目的を達成することに留意されたい。
【0100】
本願実施例のさらに別の態様によれば、端末に実装されたニューラルネットワークモデルのトレーニング機器をさらに開示する。当該トレーニング機器は、本願の上述の実施例におけるニューラルネットワークモデルのトレーニング方法を実行するために使用されることができることに留意されたい。当該トレーニング機器は、本願の上述の実施例におけるニューラルネットワークモデルのトレーニング方法を実行することにより、トレーニング後のニューラルネットワークモデルを取得することができ、当該トレーニング後のニューラルネットワークモデルは本願の上述の実施例の画像処理方法に適用することができ、当該トレーニング後のニューラルネットワークモデルを使用して各候補領域に含まれるしこりがターゲットしこり（即ち、疑わしい悪性しこり）である確率をすばやく正確に決定するため、モリブデンターゲット画像内の疑わしい悪性しこり領域をすばやく正確に位置決めする目的を実現する。
【0101】
当該トレーニング機器が本願の上述の実施例におけるトレーニング方法を実行することにより、深層学習トレーニングを実行して、ニューラルネットワークモデルを取得し、トレーニング後のニューラルネットワークモデルを使用して、各候補領域に含まれるしこりがターゲットしこりである確率を正確に決定することができる。確率閾値が０．５である仮定すると、深層学習トレーニングにより取得したニューラルネットワークモデルを使用して、含まれたしこりがターゲットしこりである確率が０．５より大きい候補領域を決定し、即ち、ターゲット領域として決定することができ、当該ターゲット領域をモリブデンターゲット画像に表記する。
【0102】
本願実施例は、深層学習トレーニングにより取得したニューラルネットワークモデルを使用して、複数の候補領域からターゲットしこりが含まれたターゲット領域を決定することにより、手動で関与することなく、疑わしい悪性しこりをすばやく正確にスクリーニング及び位置決めする目的を達成することができ、関連技術において、手動スクリーニング方式を採用してモリブデンターゲット画像内の疑わしい悪性しこりを位置決めすることにより、疑わしい悪性しこりのスクリーニング効率及び位置決め精度が低くなる技術的課題を解決し、それにより、疑わしい悪性しこりのスクリーニング效率及び精度を向上させる技術的効果を実現する。
【0103】
留意されたいのは、上述した各方法の実施例について、説明を簡単にするために、全て一連の動作の組み合わせに表現したが、本願によれば、特定のステップは他の順番で、または同時に実行できるため、当業者は、本願が記述された動作の順番に限定されないことを知っているはずである。次に、当業者は、明細書で説明された実施例のすべては例示的な実施例に属し、関する動作及びモジュールは本願によって必ずしも必要とされないことも知っているはずである。
【0104】
以上の実施形態による説明を通じて、当業者は、上記の実施例に係る方法が、ソフトウェアと必要な汎用ハードウェアプラットフォームの形で実現できることはもちろん、ハードウェアによっても実現することもできることを明確に理解できるが、多くの場合、前者がより好ましい実施形態である。このような理解に基づき、本願の技術的解決策の実質的な部分又は関連技術に対する貢献度のある部分は、ソフトウェア製品の形に実装することができる。当該コンピュータソフトウェア製品は、記録媒体（例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスクなど）に記憶され、端末機器（携帯電話、コンピュータ、サーバ、又はネットワーク機器等であり得る）に本願の各実施例に記載の方法を実行させるために、いくつかの命令を含む。
【0105】
本願実施例のさらに別の態様によれば、上述の画像処理方法を実施例するように構成される画像処理装置をさらに開示する。当該実施例における画像処理装置は、本願実施例の画像処理方法を実行する端末に配置されることができる。
【0106】
図６は、本願の実施例に係る例示的な画像処理装置の概略図であり、図６に示されたように、当該装置は、
モリブデンターゲット画像を取得するように構成される取得ユニット２２と、モリブデンターゲット画像から複数の候補領域を抽出するように構成される第１抽出ユニット２４と、深層学習トレーニングによって取得されたニューラルネットワークモデルを介して複数の候補領域におけるターゲット領域をモリブデンターゲット画像に表記するように構成される表記ユニット２６であって、ターゲット領域に含まれるしこりがターゲットしこりである確率は第１閾値より大きく、ターゲットしこりが悪性しこりである確率は第２閾値より大きく、ニューラルネットワークモデルは、候補領域と、候補領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を指示するために使用される表記ユニット２６とを含む。
モリブデンターゲット画像を取得するように構成される取得ユニット２２と、モリブデンターゲット画像から複数の候補領域を抽出するように構成される第１抽出ユニット２４と、深層学習トレーニングによって取得されたニューラルネットワークモデルを介して複数の候補領域におけるターゲット領域をモリブデンターゲット画像に表記するように構成される表記ユニット２６であって、ターゲット領域に含まれるしこりがターゲットしこりである確率は第１閾値より大きく、ターゲットしこりが悪性しこりである確率は第２閾値より大きく、ニューラルネットワークモデルは、候補領域と、候補領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を指示するために使用される表記ユニット２６とを含む。
【0107】
当該実施例における取得ユニット２２は、本願実施例におけるステップＳ２０２を実行するように構成されることができ、当該実施例における第１抽出ユニット２４は、本願実施例におけるステップＳ２０４を実行するように構成されることができ、当該実施例における表記ユニット２６は、本願実施例におけるテップＳ２０６を実行するように構成されることができることに留意されたい。
【0108】
ここで、上述のモジュールと、対応するステップで実現される例示及び適用シナリオは同じであり、上述の実施例で開示された内容に限定されないことに留意されたい。上述のモジュールは、図１に示されたハードウェア環境で装置の一部として実行することができ、ソフトウェアを介して実現してもよく、ハードウェアを介して実現してもよいことに留意されたい。
【0109】
例示的に、図７に示されたように、表記ユニット２６は、ニューラルネットワークモデルを使用して複数の候補領域における各候補領域に含まれるしこりがターゲットしこりである確率を取得するように構成される取得モジュール２６２と、確率が第１閾値より大きい候補領域をターゲット領域として決定し、ターゲット領域をモリブデンターゲット画像に表記するように構成される第１決定モジュール２６４を含み得る。
【0110】
例示的に、図７に示されたように、当該画像処理装置は、モリブデンターゲット画像を取得する前に、サンプルしこり領域と、サンプルしこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を利用して深層学習トレーニングを実行して、ニューラルネットワークモデルを取得するように構成されるトレーニングユニット２１であって、深層学習トレーニングを実行するとき、入力パラメータはサンプルしこり領域を含むことをトレーニングし、出力パラメータは、サンプルしこり領域に含まれるしこりがターゲットしこりである確率を含むことをトレーニングするトレーニングユニット２１をさらに含み得る。
【0111】
例示的に、サンプルしこり領域は第１しこり領域及び第２しこり領域を含み得、ここで、第１しこり領域に含まれるしこりはターゲットしこりであり、第２しこり領域に含まれるしこりは非ターゲットしこりであり、または第２しこり領域はしこりを含まず、ここで、図７に示されたように、トレーニングユニット２１は、第１しこり領域と、第１しこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係及び第２しこり領域と、第２しこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を利用して深層学習トレーニングを実行して、ニューラルネットワークモデルを取得するように構成されるトレーニングモジュール２１２を含み得る。
【0112】
例示的に、図８に示されたように、確率が第１閾値より大きい複数の候補領域が存在する場合、第１決定モジュール２６４は、確率の大きさに従って複数の確率が第１閾値より大きい候補領域をソートするように構成される第１配列モジュール２６４２と、第１候補領域と第２候補領域との間の重複面積をそれぞれ計算するように構成される計算モジュール２６４４であって、第１候補領域は、複数の確率が第１閾値より大きい候補領域の中で最も大きい確率を有する候補領域であり、第２候補領域は、確率が第１閾値より大きい複数の候補領域のうちの、第１候補領域以外の候補領域である計算モジュール２６４４と、確率が第１閾値より大きい複数の候補領域から、第１候補領域との重複面積が第３閾値より大きい第２候補領域を削除して、残りの候補領域を取得するように構成される削除モジュール２６４６と、残りの候補領域をターゲット領域として決定するように構成される第１決定サブモジュール２６４８とを含み得る。
【0113】
例示的に、図９に示されたように、第１抽出ユニット２４は、画像分割閾値を決定するように構成される第２決定モジュール２４２と、画像分割閾値に従ってモリブデンターゲット画像を分割して、複数の候補領域を取得するように構成される分割モジュール２４４とを含み得る。
【0114】
例示的に、図９に示されたように、分割モジュール２４４は、グレースケールレベルに従って、モリブデンターゲット画像が画像分割閾値に従って分割することにより取得された複数の画像領域をソートするように構成される第２配列モジュール２４４２であって、グレースケールレベルは画像分割閾値と関連する第２配列モジュール２４４２と、複数の画像領域におけるグレースケールレベルが第４閾値より高い画像領域を候補領域として決定するように構成される第２決定サブモジュール２４４４とを含み得る。
【0115】
例示的に、図９に示されたように、複数の画像領域においてグレースケールレベルが第４閾値より高い画像領域の数が第５閾値より多い場合、分割モジュールは、画像領域の面積に従って複数の画像領域におけるグレースケールレベルが第４閾値より高い画像領域をソートするように構成される第３配列モジュール２４４６と、複数の画像領域におけるグレースケールレベルが第４閾値より高い画像領域内で、面積が第６閾値より大きい画像領域を候補領域として決定するように構成される第３決定サブモジュール２４４８であって、複数の画像におけるグレースケールレベルが第４閾値より高い画像領域内で、面積が第６閾値より大きい画像領域の数は第５閾値と等しい第３決定サブモジュール２４４８とを含み得る。
【0116】
例示的に、図９に示されたように、分割モジュール２４４は、モリブデンターゲット画像により、画像分割閾値に従って分割して取得された複数の画像領域のそれぞれにおける、人体部位組織の接続を指示するために使用される接続線を切断して、複数の候補領域を取得するように構成される切断モジュール２４４１を含み得る。
【0117】
例示的に、図１０に示されたように、当該画像処理装置は、モリブデンターゲット画像を取得した後、モリブデンターゲット画像におけるノイズを除去して、ノイズ除去されたモリブデンターゲット画像を取得するように構成される除去ユニット２０２と、ノイズ除去されたモリブデンターゲット画像からターゲット画像を抽出するように構成される第２抽出ユニット２０４であって、ターゲット画像は人体部位の画像を含む第２抽出ユニット２０４とをさらに含み得、第１抽出ユニット２４は、ターゲット画像から複数の候補領域を抽出するように構成される抽出モジュール２４０を含み得る。
【0118】
例示的に、当該画像処理装置におけるモリブデンターゲット画像は乳房マンモグラフィ画像であってもよい。
【0119】
ここで、上述のモジュールと、対応するステップとが実現する例示及び適用シナリオは同じであるが、上述の実施例で開示された内容に限定されないことに留意されたい。上述のモジュールは、図１に示されたハードウェア環境で装置の一部として実行することができ、ソフトウェアを介して実現してもよく、ハードウェアを介して実現してもよいことに留意されたい。
【0120】
上述のモジュールを介して、関連技術において、手動スクリーニング方式を採用してモリブデンターゲット画像内の疑わしい悪性しこりを位置決めすることにより、疑わしい悪性しこりのスクリーニング効率及び位置決め精度が低くなる技術的課題を解決することができるため、疑わしい悪性しこりのスクリーニング效率及び位置決め精度を向上させる技術的効果を達成する。
【0121】
本願実施例のさらに別の態様によれば、上述の画像処理方法及びニューラルネットワークモデルのトレーニング方法を実施するように構成される電子装置をさらに開示する。
【0122】
図１１は、本願実施例に係る電子装置の構造ブロック図であり、図１１に示されたように、当該電子装置は、１つまたは複数の（図では１つのみを示す）プロセッサ２０１、メモリ２０３を含み得、ここで、メモリ２０３はコンピュータプログラムを記憶することができ、プロセッサ２０１は、前記コンピュータプログラムを実行して、本願実施例の画像処理方法及びニューラルネットワークモデルのトレーニング方法を実行するように構成される。
【0123】
ここで、メモリ２０３は、本願実施例における画像処理方法及び装置及びニューラルネットワークモデルのトレーニング方法及び機器に対応するプログラム指令／モジュールなどの、コンピュータプログラム及びモジュールを記憶することができる。プロセッサ２０１は、メモリ２０３に記憶されたコンピュータプログラム及びモジュールを実行することにより、様々な機能アプリケーション及びデータ処理を実行し、即ち、上述の的画像処理方法及びニューラルネットワークモデルのトレーニング方法を実現する。メモリ２０３が、高速ランダムアクセスメモリを含んでもよく、一つ以上の磁気記憶装置、フラッシュメモリ、又は他の不揮発性固体メモリ等の不揮発性メモリも含んでもよい。一部の具現例では、メモリ２０３は、プロセッサ２０１に対して遠隔に設置されたメモリを含んでもよく、これらの遠隔メモリはネットワークを介して端末に接続することができる。上記のネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせを含むが、これらに限定されない。
【0124】
例示的に、図１１に示されたように、当該電子装置は、伝送装置２０５及び入力出力機器２０７をさらに含み得る。ここで、伝送装置２０５は、１つのネットワークを介してデータを受信または送信するように構成される。上述のネットワークの具現例が、有線ネットワーク及び無線ネットワークを含んでもよい。一具現例では、伝送装置２０５が、一つのネットワークアダプタ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ、ＮＩＣと略称）を含み、ネットワークケーブルを介して、他のネットワークデバイス及びルータに接続することができ、それによりインターネット又はローカルエリアネットワークとの通信を行うことができる。一具現例では、伝送装置２０５は、無線方式でインターネットと通信するように構成される、無線周波（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦと略称）モジュールである。
【0125】
図１１に示される構造が例示的なものに過ぎず、電子装置は、スマートフォン（例えば、Ａｎｄｒｏｉｄ携帯電話、ｉＯＳ携帯電話等）、タブレットＰＣ、ハンドヘルドコンピュータ及びモバイルインターネットデバイス（Ｍｏｂｉｌｅ Ｉｎｔｅｒｎｅｔ Ｄｅｖｉｃｅｓ、ＭＩＤと略称）、ＰＡＤ等の端末機器でもよいことは、当業者なら知るはずである。図１１は、上記の電子装置を限定するものではない。例えば、端末が、更に図１１に示されるものより多いまたはより少ない部品（例えば、ネットワークインタフェース、表示装置等）を含んでもよく、または、図１１に示されたものとは異なる構成を有してもよい。
【0126】
例示的に、本実施例において、上述のメモリ２０３は、コンピュータプログラムを記憶するように構成されることができる。
【0127】
例示的に、本実施例において、上述のプロセッサは、コンピュータプログラムを実行して、モリブデンターゲット画像を取得するステップと、モリブデンターゲット画像から複数の候補領域を抽出するステップと、深層学習トレーニングによって取得されたニューラルネットワークモデルを介して複数の候補領域におけるターゲット領域をモリブデンターゲット画像に表記するステップであって、ターゲット領域に含まれるしこりがターゲットしこりである確率は第１閾値より大きく、ターゲットしこりが悪性しこりである確率は第２閾値より大きく、ニューラルネットワークモデルは、候補領域と、候補領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を指示するために使用されるステップとを実行するように構成される。
【0128】
プロセッサ２０１は、さらに、ニューラルネットワークモデルを使用して複数の候補領域における各候補領域に含まれるしこりがターゲットしこりである確率を取得するステップと、確率が第１閾値より大きい候補領域をターゲット領域として決定し、ターゲット領域をモリブデンターゲット画像で表記するステップとを実行するように構成される。
【0129】
プロセッサ２０１は、さらに、モリブデンターゲット画像を取得する前に、サンプルしこり領域と、サンプルしこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を利用して深層学習トレーニングを実行して、ニューラルネットワークモデルを取得するステップであって、深層学習トレーニングを実行するとき、入力パラメータはサンプルしこり領域を含むことをトレーニングし、出力パラメータは、サンプルしこり領域に含まれるしこりがターゲットしこりである確率を含むことをトレーニングするステップを実行するように構成される。
【0130】
プロセッサ２０１は、さらに、第１しこり領域と、第１しこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係及び第２しこり領域と、第２しこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を利用して深層学習トレーニングを実行して、ニューラルネットワークモデルを取得するステップであって、サンプルしこり領域は第１しこり領域及び第２しこり領域を含み、第１しこり領域に含まれるしこりはターゲットしこりであり、第２しこり領域に含まれるしこりは非ターゲットしこりであり、または第２しこり領域はしこりを含まないステップを実行するように構成される。
【0131】
プロセッサ２０１は、さらに、確率が第１閾値より大きい複数の候補領域が存在する場合、確率の大きさに従って、複数の確率が第１閾値より大きい候補領域をソートするステップと、第１候補領域と第２候補領域との間の重複面積をそれぞれ計算するステップであって、第１候補領域は、複数の確率が第１閾値より大きい候補領域の中で最も大きい確率を有する候補領域であり、第２候補領域は、確率が第１閾値より大きい複数の候補領域のうちの、第１候補領域以外の候補領域であるステップと、確率が第１閾値より大きい複数の候補領域から、第１候補領域との重複面積が第３閾値より大きい第２候補領域を削除して、残りの候補領域を取得するステップと、残りの候補領域をターゲット領域として決定するステップとを実行するように構成される。
【0132】
プロセッサ２０１は、さらに、画像分割閾値を決定するステップと、画像分割閾値に従ってモリブデンターゲット画像を分割して、複数の候補領域を取得するステップとを実行するように構成される。
【0133】
プロセッサ２０１は、さらに、グレースケールレベルに従って、モリブデンターゲット画像が画像分割閾値に従って分割することにより取得された複数の画像領域をソートするステップであって、グレースケールレベルは画像分割閾値と関連するステップと、複数の画像領域におけるグレースケールレベルが第４閾値より高い画像領域を候補領域として決定するステップとを実行するように構成される。
【0134】
プロセッサ２０１は、さらに、複数の画像領域においてグレースケールレベルが第４閾値より高い画像領域の数が第５閾値より多い場合、画像領域の面積に従って複数の画像領域におけるグレースケールレベルが第４閾値より高い画像領域をソートするステップと、複数の画像領域におけるグレースケールレベルが第４閾値より高い画像領域内で、面積が第６閾値より大きい画像領域を候補領域として決定するステップであって、前記複数の画像領域におけるグレースケールレベルが第４閾値より高い画像領域内で、面積が第６閾値より大きい画像領域の数は第５閾値と等しいステップとを実行するように構成される。
【0135】
プロセッサ２０１は、さらに、モリブデンターゲット画像により、画像分割閾値に従って分割して取得された複数の画像領域のそれぞれにおける、人体部位組織の接続を指示するために使用される接続線を切断して、複数の候補領域を取得することを実行するように構成される。
【0136】
プロセッサ２０１は、さらに、モリブデンターゲット画像を取得した後、モリブデンターゲット画像におけるノイズを除去して、ノイズ除去されたモリブデンターゲット画像を取得するステップと、ノイズ除去されたモリブデンターゲット画像からターゲット画像を抽出するステップであって、ターゲット画像は人体部位の画像を含み、ターゲット画像から複数の候補領域を抽出するステップを実行するように構成される。
【0137】
プロセッサ２０１は、さらに、サンプルしこり領域を取得し、サンプルしこり領域に含まれるしこりがターゲットしこりである確率を決定するステップであって、ターゲットしこりが悪性しこりである確率はターゲット閾値より大きいステップと、サンプルしこり領域と、サンプルしこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を利用して深層学習トレーニングを実行して、ニューラルネットワークモデルを取得するステップであって、深層学習トレーニングを実行するとき、入力パラメータはサンプルしこり領域を含むことをトレーニングし、出力パラメータは、サンプルしこり領域に含まれるしこりがターゲットしこりである確率を含むことをトレーニングするステップとを実行するように構成される。
【0138】
プロセッサ２０１は、さらに、第１しこり領域と、第１しこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係及び第２しこり領域と、第２しこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を利用して深層学習トレーニングを実行して、ニューラルネットワークモデルを取得するステップであって、サンプルしこり領域は第１しこり領域及び第２しこり領域を含み、第１しこり領域に含まれるしこりはターゲットしこりであり、第２しこり領域に含まれるしこりは非ターゲットしこりであり、または第２しこり領域はしこりを含まないステップを実行するように構成される。
【0139】
プロセッサ２０１は、さらに、データベースからサンプルしこり領域に含まれるしこりがターゲットしこりである確率を決定するステップであって、データベースは、サンプルしこり領域に含まれるしこりがターゲットしこりである確率を事前に記憶するステップ、または入力パラメータに従ってサンプルしこり領域に含まれるしこりがターゲットしこりである確率を決定するステップであって、入力パラメータは、サンプルしこり領域に含まれるしこりがターゲットしこりである確率を指示するために使用されるステップを実行するように構成される。
【0140】
例示的に、本実施例の具体的な例が上述の実施例で説明された例を参照することができるため、本実施例では繰り返して説明しない。
【0141】
本願実施例を採用して、画像処理の技術案を開示する。モリブデンターゲット画像を取得し、モリブデンターゲット画像から複数の候補領域を抽出し、深層学習トレーニングによって取得されたニューラルネットワークモデルを介して複数の候補領域におけるターゲット領域をモリブデンターゲット画像に表記し、ここで、ターゲット領域に含まれるしこりがターゲットしこりである確率は第１閾値より大きく、ターゲットしこりが悪性しこりである確率は第２閾値より大きく、ニューラルネットワークモデルは、候補領域と、候補領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を指示するために使用されることにより、手動で関与することなく、モリブデンターゲット画像内の疑わしい悪性しこり領域を自動的に表記する目的を達成し、さらに、関連技術において、手動スクリーニング方式を採用してモリブデンターゲット画像内の疑わしい悪性しこりを位置決めすることにより、疑わしい悪性しこりのスクリーニング効率及び位置決め精度が低くなる技術的課題を解決し、それにより、疑わしい悪性しこりのスクリーニング効率及び位置決め精度を向上させる技術的効果を実現する。
【0142】
本願実施例のさらに別の態様によれば、記憶媒体をさらに開示する。当該記憶媒体には、コンピュータプログラムが記憶され、ここで、当該コンピュータプログラムは、実行されると、上述の実施例の画像処理方法及びニューラルネットワークモデルのトレーニング方法のステップを実行するように構成される。
【0143】
例示的に、本実施例では、記憶媒体が、上述の実施例に示されたネットワークにおける複数のネットワーク機器のうちの少なくとも１つのネットワーク機器に実装されることができる。
【0144】
例示的に、本実施例において、記憶媒体は、次のステップを実行するコンピュータプログラムを記憶するように構成される。
【0145】
ステップＳ１において、モリブデンターゲット画像を取得する。
【0146】
ステップＳ２において、モリブデンターゲット画像から複数の候補領域を抽出する。
【0147】
ステップＳ３において、深層学習トレーニングによって取得されたニューラルネットワークモデルを介して複数の候補領域におけるターゲット領域をモリブデンターゲット画像に表記し、ここで、ターゲット領域に含まれるしこりがターゲットしこりである確率は第１閾値より大きく、ターゲットしこりが悪性しこりである確率は第２閾値より大きく、ニューラルネットワークモデルは、候補領域と、候補領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を指示するために使用される。
【0148】
例示的に、記憶媒体は、さらに、ニューラルネットワークモデルを使用して複数の候補領域における各候補領域に含まれるしこりがターゲットしこりである確率を取得するステップと、確率が第１閾値より大きい候補領域をターゲット領域として決定し、ターゲット領域をモリブデンターゲット画像で表記するステップとを実行するコンピュータプログラムを記憶するように構成される。
【0149】
例示的に、記憶媒体は、さらに、モリブデンターゲット画像を取得する前に、サンプルしこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を利用して深層学習トレーニングを実行して、ニューラルネットワークモデルを取得するステップであって、分類トレーニングを実行するとき、入力パラメータはサンプルしこり領域を含むことをトレーニングし、出力パラメータは、サンプルしこり領域に含まれるしこりがターゲットしこりである確率を含むことをトレーニングするステップを実行するコンピュータプログラムを記憶するように構成される。
【0150】
例示的に、記憶媒体は、さらに、第１しこり領域と、第１しこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係及び第２しこり領域と、第２しこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を利用して深層学習トレーニングを実行し、深層学習トレーニングにより取得されたニューラルネットワークモデルを取得するステップであって、サンプルしこり領域は第１しこり領域及び第２しこり領域を含み、第１しこり領域に含まれるしこりはターゲットしこりであり、第２しこり領域に含まれるしこりは非ターゲットしこりであり、または第２しこり領域はしこりを含まないステップを実行するコンピュータプログラムを記憶するように構成される
【0151】
例示的に、記憶媒体は、さらに、確率が第１閾値より大きい複数の候補領域が存在する場合、確率の大きさに従って確率が第１閾値より大きい複数の候補領域をソートするステップと、第１候補領域と第２候補領域との間の重複面積をそれぞれ計算するステップであって、第１候補領域は、確率が第１閾値より大きい複数の候補領域の中で最も大きい確率を有する候補領域であり、第２候補領域は、確率が第１閾値より大きい複数の候補領域のうちの、第１候補領域以外の候補領域であるステップと、確率が第１閾値より大きい複数の候補領域から、第１候補領域との重複面積が第３閾値より大きい第２候補領域を削除して、残りの候補領域を取得するステップと、残りの候補領域をターゲット領域として決定するステップとを実行するコンピュータプログラムを記憶するように構成される。
【0152】
例示的に、記憶媒体は、さらに、画像分割閾値を決定するステップと、画像分割閾値に従ってモリブデンターゲット画像を分割して、複数の候補領域を取得するステップとを実行するコンピュータプログラムを記憶するように構成される。
【0153】
例示的に、記憶媒体は、さらに、グレースケールレベルに従って、モリブデンターゲット画像が画像分割閾値に従って分割することにより取得された複数の画像領域をソートするステップであって、グレースケールレベルは画像分割閾値と関連するステップと、複数の画像領域におけるグレースケールレベルが第４閾値より高い画像領域を候補領域として決定するステップとを実行するコンピュータプログラムを記憶するように構成される。
【0154】
例示的に、記憶媒体は、さらに、複数の画像領域においてグレースケールレベルが第４閾値より高い画像領域の数が第５閾値より多い場合、画像領域の面積に従って複数の画像領域におけるグレースケールレベルが第４閾値より高い画像領域をソートするステップと、複数の画像領域におけるグレースケールレベルが第４閾値より高い画像領域内で、面積が第６閾値より大きい画像領域を候補領域として決定するステップであって、複数の画像領域におけるグレースケールレベルが第４閾値より高い画像領域内で、面積が第６閾値より大きい画像領域の数は第５閾値と等しいステップとを実行するコンピュータプログラムを記憶するように構成される。
【0155】
例示的に、記憶媒体は、さらに、モリブデンターゲット画像により、画像分割閾値に従って分割して取得された複数の画像領域のそれぞれにおける、人体部位組織の接続を指示するために使用される接続線を切断して、複数の候補領域を取得するステップを実行するコンピュータプログラムを記憶するように構成される。
【0156】
例示的に、記憶媒体は、さらに、モリブデンターゲット画像を取得した後、モリブデンターゲット画像におけるノイズを除去して、ノイズ除去されたモリブデンターゲット画像を取得するステップと、ノイズ除去されたモリブデンターゲット画像からターゲット画像を抽出するステップであって、ターゲット画像は人体部位の画像を含み、ターゲット画像から複数の候補領域を抽出するステップとを実行するコンピュータプログラムを記憶するように構成される。
【0157】
例示的に、記憶媒体は、さらに、サンプルしこり領域を取得し、サンプルしこり領域に含まれるしこりがターゲットしこりである確率を決定するステップであって、ターゲットしこりが悪性しこりである確率はターゲット閾値より大きいステップと、サンプルしこり領域と、サンプルしこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を利用して深層学習トレーニングを実行して、ニューラルネットワークモデルを取得するステップであって、深層学習トレーニングを実行するとき、入力パラメータはサンプルしこり領域を含むことをトレーニングし、出力パラメータは、サンプルしこり領域に含まれるしこりがターゲットしこりである確率を含むことをトレーニングするステップとを実行するコンピュータプログラムを記憶するように構成される。
【0158】
例示的に、記憶媒体は、さらに、第１しこり領域と、第１しこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係及び第２しこり領域と、第２しこり領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を利用して深層学習トレーニングを実行して、ニューラルネットワークモデルを取得するステップであって、サンプルしこり領域は第１しこり領域及び第２しこり領域を含み、第１しこり領域に含まれるしこりはターゲットしこりであり、第２しこり領域に含まれるしこりは非ターゲットしこりであり、または第２しこり領域はしこりを含まないステップを実行するコンピュータプログラムを記憶するように構成される。
【0159】
例示的に、記憶媒体は、さらに、データベースからサンプルしこり領域に含まれるしこりがターゲットしこりである確率を決定するステップであって、データベースは、サンプルしこり領域に含まれるしこりがターゲットしこりである確率を事前に記憶するステップ、または入力パラメータに従ってサンプルしこり領域に含まれるしこりがターゲットしこりである確率を決定するステップであって、入力パラメータは、サンプルしこり領域に含まれるしこりがターゲットしこりである確率を指示するために使用されるステップを実行するコンピュータプログラムを記憶するように構成される。
【0160】
例示的に、本実施例の具体的な例が上述の実施例で説明された例を参照することができるため、本実施例では繰り返して説明しない。
【0161】
例示的に、本実施例では、上述の実施例における方法の全部又は一部は、プログラムによって、端末機器に関連するハードウェアに命令することによって完了してもよいことを、当業者なら自明である。当該プログラムは、１つのコンピュータ読み取り可能な記憶媒体に記憶されてもよい。記憶媒体は、フラッシュディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭと略称）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭと略称）、磁気ディスクまたは光ディスクなどを含んでもよい。
【0162】
上述の本願実施例の番号は、実施例の優劣を表すものではなく、説明の便宜を図るためのものである。
【0163】
上述の実施例における統合されたユニットがソフトウェア機能ユニットの形で実現され、スタンドアロン製品として販売または使用される場合、上述のコンピュータ読み取り可能な記憶媒体に記憶されることができる。このような理解に基づいて、本願の実質的な技術的特徴、関連技術に対する貢献度のある部分、又は当該技術的特徴の全部又は一部は、ソフトウェア製品に実装することができる。当該コンピュータソフトウェア製品が記憶媒体に記憶されることは、一つ以上のコンピュータデバイス（パーソナルコンピュータ、サーバ又はネットワークデバイス等であってもよい）に本願の各実施例に記載される方法のステップの全部又は一部を実行させる複数の命令を含む。
【0164】
本願の上述の実施例では、各実施例の説明は、それぞれの重み付けがあるため、ある実施例で詳しく説明していない部分は、他の実施例の関連部分の説明を参照してもよい。
【0165】
本願実施例が開示したクライアントが、他の形態でも代替することができることを理解されたい。ここで、上記で説明された装置実施例は例示的なものに過ぎず、例えば、前記ユニットの分離は、論理機能の分離に過ぎず、実際の実現時には別の分離方法があり、例えば、複数のユニットまたはコンポーネントを別のシステムに統合または集積したり、または一部の特徴を無視したり、または実行しないことができる。なお、表示または議論された相互結合または直接結合または通信接続は、電気的または他の形態であり得、一部のインターフェース、ユニットまたはモジュールを介した間接的な結合または通信接続であり得る。
【0166】
前記分離部材として説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示された部材は、物理ユニットである場合もそうでない場合もあり、１箇所に配置される場合もあれば、複数のネットワークユニットに分散される場合もある。実際のニーズにしたがって、その中のユニットの一部または全部を選択して本実施例の技術案の目的を実現することができる。
【0167】
また、本願の各実施例における各機能ユニットを一つの処理ユニットに統合してもよく、各ユニットを別々に１つのユニットとして使用してもよいし、２つ以上のユニットを一つのユニットに統合してもよい。前記統合されたユニットは、ハードウェアの形で実装されてもよく、ソフトウェア機能ユニットの形で実装されてもよい。
【0168】
以上に述べたのは、本願における例示的な実施例に過ぎず、当業者にとって、本出願の原理から逸脱することなく、いくつかの改善又は修正を加えることもでき、これらの改善及び修正も本出願の保護範囲と見なされるべきであることに留意されたい。
【産業上の利用可能性】
【0169】
本願実施例において、モリブデンターゲット画像を取得し、モリブデンターゲット画像から複数の候補領域を抽出し、深層学習トレーニングによって取得されたニューラルネットワークモデルを介して複数の候補領域におけるターゲット領域をモリブデンターゲット画像に表記し、ここで、ターゲット領域に含まれるしこりがターゲットしこりである確率は第１閾値より大きく、ターゲットしこりが悪性しこりである確率は第２閾値より大きく、ニューラルネットワークモデルは、候補領域と、候補領域に含まれるしこりがターゲットしこりである確率との間のマッピング関係を指示するために使用され、それにより、手動で関与することなく、モリブデンターゲット画像内のターゲットしこり領域を自動的に表記する目的を達成し、さらに、関連技術において、手動スクリーニング方式を採用してモリブデンターゲット画像内の疑わしい悪性しこりを位置決めすることにより、疑わしい悪性しこりのスクリーニング効率及び位置決め精度が低くなる技術的課題を解決し、それにより、疑わしい悪性しこりのスクリーニング効率及び位置決め精度を向上させる技術的効果を実現する。
【符号の説明】
【0170】
21 トレーニングユニット
22 取得ユニット
24 第１抽出ユニット
26 表記ユニット
201 プロセッサ
202 除去ユニット
203 メモリ
204 第２抽出ユニット
205 伝送装置
207 入力出力機器
212 トレーニングモジュール
240 抽出モジュール
242 第２決定モジュール
244 分割モジュール
262 取得モジュール
264 第１決定モジュール
2441 切断モジュール
2442 第２配列モジュール
2444 第２決定サブモジュール
2446 第３配列モジュール
2448 第３決定サブモジュール
2642 第１配列モジュール
2644 計算モジュール
2646 削除モジュール
2648 第１決定サブモジュール
22 取得ユニット
24 第１抽出ユニット
26 表記ユニット
201 プロセッサ
202 除去ユニット
203 メモリ
204 第２抽出ユニット
205 伝送装置
207 入力出力機器
212 トレーニングモジュール
240 抽出モジュール
242 第２決定モジュール
244 分割モジュール
262 取得モジュール
264 第１決定モジュール
2441 切断モジュール
2442 第２配列モジュール
2444 第２決定サブモジュール
2446 第３配列モジュール
2448 第３決定サブモジュール
2642 第１配列モジュール
2644 計算モジュール
2646 削除モジュール
2648 第１決定サブモジュール
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
