(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-28
(54)【発明の名称】画像分割方法、装置及びコンピュータプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20221221BHJP
G06V 10/82 20220101ALI20221221BHJP
G06N 3/04 20060101ALI20221221BHJP
G06N 3/08 20060101ALI20221221BHJP
【ＦＩ】
G06T7/00 350C
G06V10/82
G06N3/04
G06N3/08
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022523505
(86)(22)【出願日】2020-10-29
(85)【翻訳文提出日】2022-04-20
(86)【国際出願番号】 CN2020124673
(87)【国際公開番号】W WO2021159742
(87)【国際公開日】2021-08-19
(31)【優先権主張番号】202010084625.6
(32)【優先日】2020-02-10
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】柳 露▲艷▼
(72)【発明者】
【氏名】▲馬▼ ▲カイ▼
(72)【発明者】
【氏名】▲鄭▼ 冶▲楓▼
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096BA06
5L096BA13
5L096EA03
5L096EA39
5L096FA06
5L096FA64
5L096FA66
5L096GA30
5L096GA34
5L096GA51
5L096HA11
5L096KA04
(57)【要約】
画像分割方法、装置、及び記憶媒体である。まず、ターゲットドメイン画像、及びターゲット情報がラベリングされたソースドメイン画像を取得し、更に、第１敵対的生成ネットワークにおける生成ネットワーク及び第２敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、続いて、該第１ソースドメイン分割損失と該第２ソースドメイン分割損失に基づいて、第１ソースドメインターゲット画像と第２ソースドメインターゲット画像を決定し、そして、第１敵対的生成ネットワークと第２敵対的生成ネットワークに対してクロス訓練を行い、訓練された第１敵対的生成ネットワークを得、更に、該訓練された第１敵対的生成ネットワークの生成ネットワークに基づいて、分割待ち画像に対して分割を行い、分割結果を得る。
【特許請求の範囲】
【請求項1】
画像分割方法であって、ターゲットドメイン画像、及びターゲット情報がラベリングされたソースドメイン画像を取得するステップと、
第１敵対的生成ネットワークにおける生成ネットワークを用いて、前記ソースドメイン画像と前記ターゲットドメイン画像に対してそれぞれ分割を行い、第１ソースドメイン分割損失と第１ターゲットドメイン分割損失を決定するステップと、
第２敵対的生成ネットワークにおける生成ネットワークを用いて、前記ソースドメイン画像と前記ターゲットドメイン画像に対してそれぞれ分割を行い、第２ソースドメイン分割損失と第２ターゲットドメイン分割損失を決定するステップと、
前記第１ソースドメイン分割損失と前記第２ソースドメイン分割損失に基づいて、第１ソースドメインターゲット画像と第２ソースドメインターゲット画像を決定し、前記第１ターゲットドメイン分割損失と前記第２ターゲットドメイン分割損失に基づいて、第１ターゲットドメインターゲット画像と第２ターゲットドメインターゲット画像を決定するステップと、
前記第１ソースドメインターゲット画像、前記第１ターゲットドメインターゲット画像、前記第２ソースドメインターゲット画像及び前記第２ターゲットドメインターゲット画像を利用して、前記第１敵対的生成ネットワークと前記第２敵対的生成ネットワークに対してクロス訓練を行い、訓練された第１敵対的生成ネットワークを得るステップと、
前記訓練された第１敵対的生成ネットワークの生成ネットワークに基づいて、分割待ち画像に対して分割を行い、分割結果を得るステップと、
を含む、画像分割方法。
【請求項2】
前記第１敵対的生成ネットワークにおける生成ネットワークを用いて、前記ソースドメイン画像と前記ターゲットドメイン画像に対してそれぞれ分割を行い、第１ソースドメイン分割損失と第１ターゲットドメイン分割損失を決定するステップは、前記第１敵対的生成ネットワークにおける生成ネットワークを用いて、前記ソースドメイン画像及び前記ターゲットドメイン画像に対してそれぞれ特徴抽出を行い、第１ソースドメイン画像の特徴情報と第１ターゲットドメイン画像の特徴情報を得るステップと、
前記第１ソースドメイン画像の特徴情報に基づいて、前記ソースドメイン画像に対してターゲット分割を行い、前記第１ソースドメイン分割損失を決定するステップと、
前記第１ターゲットドメイン画像の特徴情報に基づいて、前記ターゲットドメイン画像に対してターゲット分割を行い、前記第１ターゲットドメイン分割損失を決定するステップと、
を含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記ソースドメイン画像は、ノイズ画像とノイズのない画像を含み、前記第１ソースドメイン画像の特徴情報に基づいて、前記ソースドメイン画像に対してターゲット分割を行い、第１ソースドメイン分割損失を決定するステップは、前記第１ソースドメイン画像の特徴情報に基づいて、前記ソースドメイン画像におけるノイズ画像に対してターゲット分割を行い、第１ノイズ分割確率を得るステップと、
前記ソースドメイン画像におけるノイズ画像の重みマップを取得するステップと、
前記第１ノイズ分割確率及び前記ノイズ画像の重みマップに基づいて、第１ノイズ分割損失を取得するステップと、
前記第１ソースドメイン画像の特徴情報に基づいて、前記ソースドメイン画像におけるノイズのない画像に対してターゲット分割を行い、第１ノイズのない分割確率を得るステップと、
前記第１ノイズのない分割確率及び前記ノイズのない画像のラベリング結果に基づいて、第１ノイズのない分割損失を取得するステップと、
前記第１ノイズ分割損失及び前記第１ノイズのない分割損失に基づいて、第１ソースドメイン分割損失を決定するステップと、
を含むことを特徴とする
請求項２に記載の方法。
【請求項4】
前記第１ターゲットドメイン画像の特徴情報に基づいて、前記ターゲットドメイン画像に対してターゲット分割を行い、第１ターゲットドメイン分割損失を決定するステップは、前記第１ターゲットドメイン画像の特徴情報に基づいて、前記ターゲットドメイン画像に対してターゲット分割を行い、第１ターゲットドメイン分割確率を得るステップと、
前記第１ターゲットドメイン分割確率に基づいて、第１ターゲットドメイン分割結果を生成するステップと、
前記第１ターゲットドメイン分割結果及び前記ターゲットドメイン画像に基づいて、第１ターゲットドメイン分割損失を取得するステップと、
を含むことを特徴とする
請求項２に記載の方法。
【請求項5】
前記第２敵対的生成ネットワークにおける生成ネットワークを用いて、前記ソースドメイン画像と前記ターゲットドメイン画像に対してそれぞれ分割を行い、第２ソースドメイン分割損失と第２ターゲットドメイン分割損失を決定するステップは、前記第２敵対的生成ネットワークにおける生成ネットワークを用いて、前記ソースドメイン画像と前記ターゲットドメイン画像に対してそれぞれ特徴抽出を行い、第２ソースドメイン画像の特徴情報と第２ターゲットドメイン画像の特徴情報を得るステップと、
前記第２ソースドメイン画像の特徴情報に基づいて、前記ソースドメイン画像に対してターゲット分割を行い、第２ソースドメイン分割損失を決定するステップと、
前記第２ターゲットドメイン画像の特徴情報に基づいて、前記ターゲットドメイン画像に対してターゲット分割を行い、第２ターゲットドメイン分割損失を決定するステップと、
を含むことを特徴とする
請求項１に記載の方法。
【請求項6】
前記第１ソースドメイン分割損失と前記第２ソースドメイン分割損失に基づいて、第１ソースドメインターゲット画像と第２ソースドメインターゲット画像を決定するステップは、前記第１ソースドメイン分割損失を順序付け、順序付けた第１ソースドメイン分割損失に基づいて、所定の損失条件を満たすソースドメイン画像を選択し、第１ソースドメインターゲット画像として決定するステップと、
前記第２ソースドメイン分割損失を順序付け、順序付けた第２ソースドメイン分割損失に基づいて、所定の損失条件を満たすソースドメイン画像を選択し、第２ソースドメインターゲット画像として決定するステップと、
を含むことを特徴とする
請求項１に記載の方法。
【請求項7】
前記第１ターゲットドメイン分割損失と前記第２ターゲットドメイン分割損失に基づいて、第１ターゲットドメインターゲット画像と第２ターゲットドメインターゲット画像を決定するステップは、前記第１ターゲットドメイン分割損失に基づいて、前記第１敵対的生成ネットワークに対して訓練を行い、訓練結果を利用して、第１ターゲットドメインターゲット画像を生成するステップと、
前記第２ターゲットドメイン分割損失に基づいて、前記第２敵対的生成ネットワークに対して訓練を行い、訓練結果を利用して、第２ターゲットドメインターゲット画像を生成するステップと、
を含むことを特徴とする
請求項１に記載の方法。
【請求項8】
前記第１ソースドメインターゲット画像、前記第１ターゲットドメインターゲット画像、前記第２ソースドメインターゲット画像及び前記第２ターゲットドメインターゲット画像を利用して、前記第１敵対的生成ネットワークと前記第２敵対的生成ネットワークに対してクロス訓練を行い、訓練された第１敵対的生成ネットワークを得るステップは、前記第１敵対的生成ネットワークの生成ネットワークを用いて、前記第２ソースドメインターゲット画像と前記第２ターゲットドメインターゲット画像に対してそれぞれ分割を行い、第２ソースドメインターゲット分割結果と第２ターゲットドメインターゲット分割結果を得るステップと、
前記第１敵対的生成ネットワークの判別ネットワークを用いて、前記第２ソースドメインターゲット分割結果と前記第２ターゲットドメインターゲット分割結果に対して判別を行い、第２ターゲット判別結果を得るステップと、
前記第２ソースドメインターゲット分割結果、前記第２ターゲットドメインターゲット分割結果及び前記第２ターゲット判別結果に基づいて、前記第１敵対的生成ネットワークに対して訓練を行い、訓練された第１敵対的生成ネットワークを得るステップと、
前記第２敵対的生成ネットワークの生成ネットワークを用いて、前記第１ソースドメインターゲット画像と前記第１ターゲットドメインターゲット画像に対してそれぞれ分割を行い、第１ソースドメインターゲット分割結果と第１ターゲットドメインターゲット分割結果を得るステップと、
前記第２敵対的生成ネットワークの判別ネットワークを用いて、前記第１ソースドメインターゲット分割結果と前記第１ターゲットドメインターゲット分割結果に対して判別を行い、第１ターゲット判別結果を得るステップと、
前記第１ソースドメインターゲット分割結果、前記第１ターゲットドメインターゲット分割結果及び前記第１ターゲット判別結果に基づいて、前記第２敵対的生成ネットワークに対して訓練を行い、訓練された第２敵対的生成ネットワークを得るステップと、
を含むことを特徴とする
請求項１に記載の方法。
【請求項9】
前記第１敵対的生成ネットワークの判別ネットワークを用いて、前記第２ソースドメインターゲット分割結果と前記第２ターゲットドメインターゲット分割結果に対して判別を行い、第２ターゲット判別結果を得るステップは、前記第２ターゲットドメインターゲット画像の情報エントロピーを算出するステップと、
前記第１敵対的生成ネットワークの判別ネットワークを用いて、前記第２ソースドメインターゲット分割結果、前記第２ターゲットドメインターゲット分割結果及び前記第２ターゲットドメインターゲット画像の情報エントロピーに基づいて、第２ターゲット判別結果を得るステップと、
を含むことを特徴とする
請求項８に記載の方法。
【請求項10】
前記第２ソースドメインターゲット分割結果、前記第２ターゲットドメインターゲット分割結果及び前記第２ターゲット判別結果に基づいて、前記第１敵対的生成ネットワークに対して訓練を行い、訓練された第１敵対的生成ネットワークを得るステップは、前記第２ソースドメインターゲット分割結果及び前記第２ソースドメインターゲット画像のラベリング結果に基づいて、第２ソースドメインターゲット分割損失を取得するステップと、
前記第２ターゲットドメインターゲット分割結果及び前記第２ターゲットドメインターゲット画像に基づいて、第２ターゲットドメインターゲット分割損失を取得するステップと、
前記第２ソースドメインターゲット分割結果及び前記第２ターゲットドメインターゲット分割結果に基づいて、判別ネットワークの第２ターゲット判別損失を取得するステップと、
前記第２ソースドメインターゲット分割損失、前記第２ターゲットドメインターゲット分割損失及び前記第２ターゲット判別損失に基づいて、前記第１敵対的生成ネットワークに対して訓練を行い、訓練された第１敵対的生成ネットワークを得るステップと、
を含むことを特徴とする
請求項８に記載の方法。
【請求項11】
前記第２ソースドメインターゲット分割損失、前記第２ターゲットドメインターゲット分割損失及び前記第２ターゲット判別損失に基づいて、前記第１敵対的生成ネットワークに対して訓練を行い、訓練された第１敵対的生成ネットワークを得るステップは、前記第２ソースドメインターゲット分割損失及び前記第２ターゲットドメインターゲット分割損失に基づいて、前記第１敵対的生成ネットワークの極小化敵対的損失を構築するステップと、
前記第２ターゲット判別損失に基づいて、前記第１敵対的生成ネットワークの極大化敵対的損失を構築するステップと、
前記極小化敵対的損失及び前記極大化敵対的損失に基づいて、前記第１敵対的生成ネットワークに対して反復訓練を行い、訓練された第１敵対的生成ネットワークを得るステップと、
を含むことを特徴とする
請求項１０に記載の方法。
【請求項12】
画像分割装置であって、ターゲットドメイン画像、及びターゲット情報がラベリングされたソースドメイン画像を取得するように構成される取得ユニットと、
第１敵対的生成ネットワークにおける生成ネットワークを用いて、前記ソースドメイン画像と前記ターゲットドメイン画像に対してそれぞれ分割を行い、第１ソースドメイン分割損失と第１ターゲットドメイン分割損失を決定するように構成される第１分割ユニットと、
第２敵対的生成ネットワークにおける生成ネットワークを用いて、前記ソースドメイン画像と前記ターゲットドメイン画像に対してそれぞれ分割を行い、第２ソースドメイン分割損失と第２ターゲットドメイン分割損失を決定するように構成される第２分割ユニットと、
前記第１ソースドメイン分割損失と前記第２ソースドメイン分割損失に基づいて、第１ソースドメインターゲット画像と第２ソースドメインターゲット画像を決定し、前記第１ターゲットドメイン分割損失と前記第２ターゲットドメイン分割損失に基づいて、第１ターゲットドメインターゲット画像と第２ターゲットドメインターゲット画像を決定するように構成される決定ユニットと、
前記第１ソースドメインターゲット画像、前記第１ターゲットドメインターゲット画像、前記第２ソースドメインターゲット画像及び前記第２ターゲットドメインターゲット画像を利用して、前記第１敵対的生成ネットワークと前記第２敵対的生成ネットワークに対してクロス訓練を行い、訓練された第１敵対的生成ネットワークを得るように構成される訓練ユニットと、
前記訓練された第１敵対的生成ネットワークの生成ネットワークに基づいて、分割待ち画像に対して分割を行い、分割結果を得るように構成される第３分割ユニットと、
を備える、画像分割装置。
【請求項13】
コンピュータ可読命令が記憶されている１つ又は複数の不揮発性記憶媒体であって、前記コンピュータ可読命令は、１つ又は複数のプロセッサによって実行される時、前記プロセッサに、請求項１～１１のいずれか１項に記載の画像分割方法におけるステップを実行させる、不揮発性記憶媒体。
【請求項14】
電子機器であって、メモリと、プロセッサと、メモリに記憶されており、且つプロセッサ上で実行できるコンピュータ可読命令と、を含み、前記プロセッサは、前記コンピュータ可読命令を実行して、請求項１～１１のいずれか１項に記載の画像分割方法におけるステップを実行する、電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、２０２０年０２月１０日に中国特許局に提出された、出願番号が２０２０１００８４６２５．６であり、発明名称が「画像分割方法、装置及び記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、２０２０年０２月１０日に中国特許局に提出された、出願番号が２０２０１００８４６２５．６であり、発明名称が「画像分割方法、装置及び記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
【0002】
本願は、通信技術分野に関し、具体的には、画像分割方法、装置及び記憶媒体に関する。
【背景技術】
【0003】
人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の進歩に伴い、医療分野におけるＡＩの用途もますます広くなっており、画像分類、病巣検出、ターゲット分割及び医用映像分析などの種々の医用画像に対する分析タスクにおいて著しい成果を得た。特に医用映像の分割において、例えば、ＡＩ技術を用いて、網膜眼底画像から、眼杯と視神経乳頭などを分割することができる。現在では、ＡＩによる眼杯と視神経乳頭の分割の方案は主に、深層学習ネットワークによるものであり、具体的には、眼杯と視神経乳頭を分割できる深層学習ネットワークを訓練し、続いて、分割待ち眼底画像を訓練された深層学習ネットワークに入力して特徴抽出を行い、特徴に基づいて眼杯と視神経乳頭の分割を行い、分割結果、例えば緑内障分割画像などを得る。
【0004】
関連技術に関する検討及び実践プロセスにおいて、訓練される深層畳み込みニューラルネットワークモデルが一般的には過去に出現していないデータを試験する時、性能が降下し、特に訓練（ソースドメイン）データと試験（ターゲットドメイン）データとの間に著しいドメインシフトが存在することを見出した。ドメインシフトは、生物医学分野における１つのよく見られる問題である。生物医用画像は、異なるイメージング方式又は同一の機器の異なる設定によって収集されるものであるため、異なる収集画像は、テクスチャ、色、形状などの点では異なる。従って、分割の正確性は高くない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願による種々の実施例によれば、画像分割方法、装置及び記憶媒体を提供する。
【課題を解決するための手段】
【0006】
本願の実施例は、画像分割方法を提供する。前記方法は、ターゲットドメイン画像、及びターゲット情報がラベリングされたソースドメイン画像を取得するステップと、第１敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第１ソースドメイン分割損失と第１ターゲットドメイン分割損失を決定するステップと、第２敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第２ソースドメイン分割損失と第２ターゲットドメイン分割損失を決定するステップと、前記第１ソースドメイン分割損失と前記第２ソースドメイン分割損失に基づいて、第１ソースドメインターゲット画像と第２ソースドメインターゲット画像を決定し、前記第１ターゲットドメイン分割損失と前記第２ターゲットドメイン分割損失に基づいて、第１ターゲットドメインターゲット画像と第２ターゲットドメインターゲット画像を決定するステップと、第１ソースドメインターゲット画像、第１ターゲットドメインターゲット画像、第２ソースドメインターゲット画像及び第２ターゲットドメインターゲット画像を利用して、前記第１敵対的生成ネットワークと前記第２敵対的生成ネットワークに対してクロス訓練を行い、訓練された第１敵対的生成ネットワークを得るステップと、前記訓練された第１敵対的生成ネットワークの生成ネットワークに基づいて、分割待ち画像に対して分割を行い、分割結果を得るステップと、を含む。
【0007】
これに応じて、本願の実施例は、画像分割装置を更に提供する。前記装置は、
ターゲットドメイン画像、及びターゲット情報がラベリングされたソースドメイン画像を取得するように構成される取得ユニットと、
第１敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第１ソースドメイン分割損失と第１ターゲットドメイン分割損失を決定するように構成される第１分割ユニットと、
第２敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第２ソースドメイン分割損失と第２ターゲットドメイン分割損失を決定するように構成される第２分割ユニットと、
前記第１ソースドメイン分割損失と前記第２ソースドメイン分割損失に基づいて、第１ソースドメインターゲット画像と第２ソースドメインターゲット画像を決定し、前記第１ターゲットドメイン分割損失と前記第２ターゲットドメイン分割損失に基づいて、第１ターゲットドメインターゲット画像と第２ターゲットドメインターゲット画像を決定するように構成される決定ユニットと、
第１ソースドメインターゲット画像、第１ターゲットドメインターゲット画像、第２ソースドメインターゲット画像及び第２ターゲットドメインターゲット画像を利用して、前記第１敵対的生成ネットワークと前記第２敵対的生成ネットワークに対してクロス訓練を行い、訓練された第１敵対的生成ネットワークを得るように構成される訓練ユニットと、
前記訓練された第１敵対的生成ネットワークの生成ネットワークに基づいて、分割待ち画像に対して分割を行い、分割結果を得るように構成される第３分割ユニットと、を備える。
ターゲットドメイン画像、及びターゲット情報がラベリングされたソースドメイン画像を取得するように構成される取得ユニットと、
第１敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第１ソースドメイン分割損失と第１ターゲットドメイン分割損失を決定するように構成される第１分割ユニットと、
第２敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第２ソースドメイン分割損失と第２ターゲットドメイン分割損失を決定するように構成される第２分割ユニットと、
前記第１ソースドメイン分割損失と前記第２ソースドメイン分割損失に基づいて、第１ソースドメインターゲット画像と第２ソースドメインターゲット画像を決定し、前記第１ターゲットドメイン分割損失と前記第２ターゲットドメイン分割損失に基づいて、第１ターゲットドメインターゲット画像と第２ターゲットドメインターゲット画像を決定するように構成される決定ユニットと、
第１ソースドメインターゲット画像、第１ターゲットドメインターゲット画像、第２ソースドメインターゲット画像及び第２ターゲットドメインターゲット画像を利用して、前記第１敵対的生成ネットワークと前記第２敵対的生成ネットワークに対してクロス訓練を行い、訓練された第１敵対的生成ネットワークを得るように構成される訓練ユニットと、
前記訓練された第１敵対的生成ネットワークの生成ネットワークに基づいて、分割待ち画像に対して分割を行い、分割結果を得るように構成される第３分割ユニットと、を備える。
【0008】
また、本願の実施例は、コンピュータ可読命令が記憶されている１つ又は複数の不揮発性記憶媒体を更に提供する。前記コンピュータ可読命令は、１つ又は複数のプロセッサによって実行される時、１つ又は複数のプロセッサに、本願の実施例によるいずれか１つの画像分割方法におけるステップを実行させる。
【0009】
また、本願の実施例は、電子機器を更に提供する。前記電子機器は、メモリと、プロセッサと、メモリに記憶されており、且つプロセッサ上で実行できるコンピュータ可読命令と、を含み、前記プロセッサは、前記コンピュータ可読命令を実行して、本願の実施例によるいずれか１つの画像分割方法におけるステップを実行する。
【0010】
本願の１つ又は複数の実施例に関する詳細は、下記図面及び記述の中に示される。本願の他の特徴、目的、及び利点は、明細書、図面及び特許請求の範囲から明らかになる。
【図面の簡単な説明】
【0011】
【図1a】本願の実施例による画像分割方法のシーン概略図である。
【図1b】本願の実施例による画像分割方法のフローチャートである。
【図2a】本願の実施例による画像分割方法の別のフローチャートである。
【図2b】本願の実施例による画像分割方法のシステムフレームワーク図である。
【図2c】本願の実施例による第１敵対的生成ネットワークのフレームワーク図である。
【図2d】本願の実施例による画像分割結果図である。
【図3】本願の実施例による画像分割装置の構造概略図である。
【図4】本願の実施例による電子機器の構造概略図である。
【発明を実施するための形態】
【0012】
本願の実施例における技術的解決手段をより明確に説明するために、以下、実施例の説明に必要な図面を簡単に説明する。勿論、以下の図面は本願の一部の実施例に過ぎず、当業者は創造的な労力を要することなく、これらの図面に基づいて他の図面を得ることもできる。
【0013】
以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明瞭かつ完全に説明する。勿論、記述される実施例は、全ての実施例ではなく、ただ本願の一部の実施例である。本願における実施例に基づいて、当業者が創造的な労力なしに得られる他の実施例の全ては、本願の保護の範囲に含まれる。
【0014】
本願の実施例は、画像分割方法、装置及び記憶媒体を提供する。該画像分割装置は、電子機器に集積されてもよく、該電子機器は、サーバであってもよく、端末などの機器であってもよい。
【0015】
本願の実施例による画像分割方法は、人工知能分野におけるコンピュータビジョンに関し、人工知能のコンピュータビジョン技術によって、眼底画像の分割を実現させ、分割結果を得ることができる。
【0016】
人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）は、デジタルコンピュータ又はデジタルコンピュータにより制御された機器を利用して人間の知能をシミュレーション、延長、拡張し、環境を感知して知識を取得し、知識を利用して最適な結果を得る理論、方法、技術及び適用システムである。換言すれば、人工知能は、コンピュータサイエンスにおける１つの総合技術であり、知能の本質を理解し、人間知能と同様な方式で反応可能な新たな知能機器を生み出すことを意図する。人工知能は、種々の知能機器の設計原理及び実現方法を検討し、機器に、感知、推理及び意思決定機能を持たせるためのものである。人工知能技術は、総合的な学科であり、広い分野に関し、ハードウェアレベルの技術を含むだけでなく、ソフトウェアレベルの技術も含む。人工知能ソフトウェア技術は、主に、コンピュータビジョン技術、機械学習／深層学習などの分野を含む。
【0017】
コンピュータビジョン（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ：ＣＶ）は、マシンを使用して「見る」方法を研究する科学であり、さらに、人間の肉眼の代わりにコンピュータを使用して目標に対して識別、測定等のマシンビジョンを行って、さらに画像処理をして、コンピュータで、人間の肉眼の観察または機器へ送信して検出することに適した画像になるように処理することである。１つの科学分野として、コンピュータビジョンは、関連した理論及び技術を検討し、画像又は多次元データから情報を取得できる人工知能システムを構築することを意図している。コンピュータビジョン技術は一般的には、画像処理、画像認識等の技術を含み、一般的な顔認識、人体姿勢認識などの生体特徴認識技術を更に含む。
【0018】
本願の実施例において、画像分割とは、画像を、複数の特定の、ユニークな性質を有する領域に分け、関心ターゲットを提供するコンピュータビジョン技術及びプロセスである。本願の実施例において、主に、眼底画像のような医用画像に対して分割を行い、必要なターゲット対象を見出すことであり、例えば、眼底画像から、眼杯、視神経乳頭などを分割することである。該分割されたターゲット対象は、後続で、更なる操作を行うように、医療従事者又は他の医療専門家による分析に供してもよい。
【0019】
例えば、図１ａを参照すると、まず、画像分割装置が集積された電子機器は、ターゲットドメイン画像、及びターゲット情報がラベリングされたソースドメイン画像を取得し、更に、第１敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第１ソースドメイン分割損失と第１ターゲットドメイン分割損失を決定し、第２敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第２ソースドメイン分割損失と第２ターゲットドメイン分割損失を決定し、続いて、該第１ソースドメイン分割損失と該第２ソースドメイン分割損失に基づいて、第１ソースドメインターゲット画像と第２ソースドメインターゲット画像を決定し、該第１ターゲットドメイン分割損失と該第２ターゲットドメイン分割損失に基づいて、第１ターゲットドメインターゲット画像と第２ターゲットドメインターゲット画像を決定し、そして、第１ソースドメインターゲット画像、第１ターゲットドメインターゲット画像、第２ソースドメインターゲット画像及び第２ターゲットドメインターゲット画像を利用して、該第１敵対的生成ネットワークと該第２敵対的生成ネットワークに対してクロス訓練を行い、訓練された第１敵対的生成ネットワークを得、更に、該訓練された第１敵対的生成ネットワークの生成ネットワークに基づいて、分割待ち画像に対して分割を行い、分割結果を得る。
【0020】
該方案に用いられる２つの敵対的生成ネットワークが異なる構造と学習能力を有するため、互いに学習し、互いに監督することができ、自体のネットワークから、クリーンなターゲット画像を選択し、対等ネットワークによって訓練を継続することができ、画像分割の正確性を効果的に向上させる。
【0021】
本実施例は、画像分割装置の観点から記述する。該画像分割装置は具体的には、電子機器に集積されてもよい。該電子機器は、サーバであってもよく、端末であってもよく、更に、サーバと端末を含むシステムであってもよい。電子機器がサーバと端末を含むシステムである場合、本願の実施例の画像分割方法は、端末とサーバとのインタラクションにより実現される。
【0022】
該端末は、具体的には、デスクトップ端末又は移動端末であってもよく、移動端末は、具体的には、携帯電話、タブレット、ノートパソコンなどのうちの少なくとも１つであってもよい。サーバは、独立したサーバ又は複数のサーバからなるサーバクラスタにより実現してもよい。
【0023】
図１ｂに示すように、該画像分割方法の具体的なプロセスは、以下のとおりであってもよい。
【0024】
１０１において、ターゲットドメイン画像、及びターゲット情報がラベリングされたソースドメイン画像を取得する。
【0025】
ソースドメイン画像は、豊かなラベリング情報を提供できる医用画像であり、ターゲットドメイン画像は、試験データセットが位置する領域に、ラベリング情報がない医用画像である。例えば、ソースドメイン画像は、コンピュータ断層撮影装置（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ：ＣＴ）、又は核磁気共鳴イメージング装置などの各医用画像収集機器によって生体組織に対して画像収集を行い、専門家によって画像に対してラベリングを行い、例えば、画像診断医によってラベリングを行い、更に該画像分割装置に供給するものである。即ち、画像分割装置は、具体的には、医用画像収集機器から送信される医用画像サンプルを受信することができる。
【0026】
医用画像は、医療又は医学研究において、非侵襲的方式で取得された、生体又は生体のある内部組織の画像であり、例えば、人体の脳、胃腸、肝臓、心臓、咽喉及び膣などの画像である。これらの画像は、ＣＴ画像、核磁気共鳴イメージング画像又は陽電子放射断層撮影映像などであってもよい。生体は、生命形態を有する独立した個体、例えば人間又は動物などである。ソースドメイン画像は、医学画像収集機器によって収集された、データベース又はネットワークなどのような種々のルートから取得された画像であってもよく、専門家によって画像に対して特定の意味を有するラベリングを行うことで得られた画像サンプルであってもよく、何ら処理されていない画像サンプルであってもよい。
【0027】
１０２において、第１敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第１ソースドメイン分割損失と第１ターゲットドメイン分割損失を決定する。
【0028】
第１敵対的生成ネットワークの構造及びパラメータに対して、実際の状況に応じて設定及び調整などを行ってもよい。例えば、第１敵対的生成ネットワークにおける生成ネットワークは、残差ネットワーク１０１（ＲｅｓＮｅｔ１０１）を主なフレームワークとしたＤｅｅｐＬａｂｖ２をベースモデルとして、初歩的な分割結果を実現することができる。それと同時に、空間ピラミッド（Ａｔｒｏｕｓ Ｓｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇ：ＡＳＰＰ）構造を追加し、特徴マップのマルチスケール情報を豊かにした。ネットワークの特徴表現能力を強化するために、デュアルアテンションネットワーク（Ｄｕａｌ Ａｔｔｅｎｔｉｏｎ Ｎｅｔｗｏｒｋ：ＤＡＮｅｔ）のアテンションメカニズムを提出した。これは、画素と特徴層チャネルとのコンテキスト依存関係を如何に捕捉するかを学習し、アテンションモジュールの出力と空間ピラミッド構造の出力を接続し、最終的な分割特徴を生成する。第１敵対的生成ネットワークにおける判別ネットワークは、多層完全畳み込みネットワークを用いて、ソースドメイン画像とターゲットドメイン画像の分割確率を敵対的学習に融合することができ、そして、最終層以外の全ての畳み込み層の後に漏れのある正規化線形ユニット（Ｌｅａｋｙ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ：Ｌｅａｋｙ ＲｅＬＵ）活性化関数層を追加し、最終的に、シングルチャネルの２Ｄ結果を出力することができる。０と１で、それぞれソースドメインとターゲットドメインを表す。
【0029】
例えば、具体的には、第１敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ特徴抽出を行い、第１ソースドメイン画像の特徴情報と第１ターゲットドメイン画像の特徴情報を得、該第１ソースドメイン画像の特徴情報に基づいて、該ソースドメイン画像に対してターゲット分割を行い、第１ソースドメイン分割損失を決定し、該第１ターゲットドメイン画像の特徴情報に基づいて、該ターゲットドメイン画像に対してターゲット分割を行い、第１ターゲットドメイン分割損失を決定することができる。
【0030】
第１ソースドメイン分割損失を決定する方式は、複数であってもよい。例えば、ソースドメイン画像に、敵対的なノイズラベルの重みマップ（ｄｉｓｔａｎｃｅ ｍａｐ）を導入してもよい。ターゲット領域の境界位置上での医用ラベルのマークが大きく相違しているため、ネットワークとノイズラベルとのフィッティングを防止するために、新たなアンチノイズ分割損失を提出する。これは、ノイズサンプルから、有用な画素レベル情報を学習し、縁にノイズがある領域をフィルタリングにより除去する。
【0031】
例えば、該ソースドメイン画像は、ノイズ画像とノイズのない画像を含む。具体的には、該第１ソースドメイン画像の特徴情報に基づいて、該ソースドメイン画像におけるノイズ画像に対してターゲット分割を行い、第１ノイズ分割確率を得、ソースドメイン画像におけるノイズ画像の重みマップを取得し、該第１ノイズ分割確率及びノイズ画像の重みマップに基づいて、第１ノイズ分割損失を取得し、該第１ソースドメイン画像の特徴情報に基づいて、該ソースドメイン画像におけるノイズのない画像に対してターゲット分割を行い、第１ノイズのない分割確率を得、第１ノイズのない分割確率及びノイズのない画像のラベリング結果に基づいて、第１ノイズのない分割損失を取得し、該第１ノイズ分割損失及び該第１ノイズのない分割損失に基づいて、第１ソースドメイン分割損失を決定する。該第１ノイズ分割確率に基づいて、第１ノイズ分割結果を生成する。
【0032】
第１ノイズ分割損失の具体的な式は、以下のとおりであってもよい。
【0033】
【数1】
【0034】
式（１）において、ｈ×ｗ×ｃは、それぞれ画像データの長さ、幅及びクラスを表し、λ１とλ２は、２種の損失の重み係数であり、Ｗ(ｙｉ)は、重みマップを表し、式の第１項は、クロスエントロピー損失によるものであり、第２項は、ｄｉｃｅ損失によるものである。式（２）において、ｗｃは、クラスを平衡する重み値を表し、これも重み係数である。各ノイズラベルｙｉに対して、ラベルにおける画素点から最も近い境界までの距離ｄ(ｙｉ)を算出し、クラスレベル領域から、距離ｄ(ｙｉ)の最大値ｍａｘｄｔｓを得る。２つのネットワークは、損失が小さいとそれぞれ認められるクリーンデータ（ｃｌｅａｎ ｄａｔａ）を交換する場合、２つのネットワークによるｃｌｅａｎ ｄａｔａ予測値のｄｉｃｅｃｏを算出する。ｄｉｃｅｃｏが閾値μよりも大きいと、２つのネットワークが該サンプルに対して齟齬が生じることを示し、該サンプルをノイズサンプル（ｎｏｉｓｙ ｄａｔａ）と見なし、アンチノイズ分割損失により、ノイズサンプルに対する学習を改良し、生成ネットワークの損失Ｌｎｏｉｓｅを算出する。そうでなければ、クロスエントロピーとｄｉｃｅ ｌｏｓｓの元々の方式を保持したまま、損失を算出する。重みマッピングＷ(ｙｉ)に対して、各クラスの領域の中心は、大きな重みを有し、そして、境界に近いほど、重みは小さくなる。Ｌｎｏｉｓｅによれば、ネットワークは、中心のキーポイント位置を捕捉し、種々のノイズラベルで、境界における差異をフィルタリングにより除去することができる。
【0035】
ターゲットドメインデータセットにとって、画素レベルのセマンティックラベルがないため、タスク全体を教師なし画像分割課題と見なしてもよい。本願は、「自己教師あり」情報の方式を追加し、即ち、ターゲットドメイン画像の分割結果を利用して、画素レベルの仮ラベルを生成し、次の訓練段階に応用する。ターゲットドメイン画像の分割確率結果において、いずれか１つの画素点にとって、１つのクラスの予測信頼度が信頼度閾値よりも高いと、該画素位置で、１つの対応するクラスの仮ラベルを生成する。ここで、信頼度閾値は、自己適応的設定方式を用いる。ターゲットドメイン画像における各クラスと各サンプルにおける各仮ラベルの信頼度を順序付け、クラスレベルと画像レベル予測信頼度が最も高い画素点を自己適応的に選択し、画素レベル仮ラベルを生成し、次の訓練段階のクロス教師あり情報とする。生成される仮ラベルの正確性を確保するために、「容易から困難への」ポリシーを用い、即ち、反復の方式でモデルを訓練し、より正確な仮ラベルを絶え間なく生成する。
【0036】
例えば、具体的には、該第１ターゲットドメイン画像の特徴情報に基づいて、該ターゲットドメイン画像に対してターゲット分割を行い、第１ターゲットドメイン分割確率を得、該第１ターゲットドメイン分割確率に基づいて、第１ターゲットドメイン分割結果を生成し、該第１ターゲットドメイン分割結果及び該ターゲットドメイン画像に基づいて、第１ターゲットドメイン分割損失を取得することができる。
【0037】
続いて、第１敵対的生成ネットワークにおける生成ネットワークから出力された分割結果である第１ソースドメイン分割確率ＰＳと第１ターゲットドメイン分割確率ＰＴを同時に第１敵対的生成ネットワークにおける判別ネットワークに入力し、ＰＴによって生成された情報エントロピー結果を利用して、敵対的損失ＬＤを算出し、それと同時に、敵対的損失を最大化することによって、判別ネットワークのパラメータを更新する。続いて、敵対的損失に生じる誤差も生成ネットワークに逆伝搬され、敵対的損失を最小化することによって、分割ネットワークのパラメータを更新する。その目的は、生成ネットワークによってソースドメイン画像とターゲットドメイン画像に対して予測される分割結果をますます類似させ、領域の自己適応を実現させることである。
【0038】
例えば、具体的には、第１ソースドメイン分割結果と第１ターゲットドメイン分割結果を得た後、第１敵対的生成ネットワークの判別ネットワークを用いて、第１ソースドメイン分割結果と第１ターゲットドメイン分割結果に対して判別を行い、第１判別結果を得て、第１ソースドメイン分割結果、第１ターゲットドメイン分割結果及び第１判別結果に基づいて、第１敵対的生成ネットワークに対して訓練を行い、訓練された第１敵対的生成ネットワークを得ることができる。
【0039】
第１ソースドメイン分割結果と第１ターゲットドメイン分割結果に対する判別方式は、複数であってもよく、例えば、具体的には、第１ターゲットドメイン画像の情報エントロピーを算出し、第１敵対的生成ネットワークの判別ネットワークを用いて、該第１ソースドメイン分割結果、第１ターゲットドメイン分割結果及び第１ターゲットドメイン画像の情報エントロピーに基づいて、第１判別結果を得ることができる。
【0040】
第１ソースドメイン分割結果、第１ターゲットドメイン分割結果及び第１判別結果に基づいて、第１敵対的生成ネットワークに対して訓練を行う方式も複数であってもよい。例えば、具体的には、該第１ソースドメイン分割結果及び第１ソースドメイン画像のラベリング結果に基づいて、第１ソースドメイン分割損失を取得し、該第１ターゲットドメイン分割結果及び第１ターゲットドメイン画像に基づいて、第１ターゲットドメイン分割損失を取得し、第１ソースドメイン分割結果及び第１ターゲットドメイン分割結果に基づいて、判別ネットワークの第１判別損失を取得し、第１ソースドメイン分割損失、第１ターゲットドメイン分割損失及び第１判別損失に基づいて、第１敵対的生成ネットワークに対して訓練を行い、訓練された第１敵対的生成ネットワークを得ることができる。
【0041】
第１ソースドメイン分割損失、第１ターゲットドメイン分割損失及び第１判別損失に基づいて、第１敵対的生成ネットワークに対して訓練を行う方式も複数であってもよい。例えば、具体的には、該第１ソースドメイン分割損失及び該第１ターゲットドメイン分割損失に基づいて、第１敵対的生成ネットワークの極小化敵対的損失を構築し、該第１判別損失に基づいて、第１敵対的生成ネットワークの極大化敵対的損失を構築し、該極小化敵対的損失及び該極大化敵対的損失に基づいて、第１敵対的生成ネットワークに対して反復訓練を行い、訓練された第１敵対的生成ネットワークを得ることができる。
【0042】
極小化敵対的損失と極大化敵対的損失（即ち、全体的ターゲット関数は、最大と最小から最適化される）の具体的な演算式は、以下のとおりである。
【0043】
【数2】
【0044】
ソースドメイン画像ＸＳとターゲットドメイン画像ＸＴに対して、ＹＳは、ソースドメイン画像のラベルであり、
は、ターゲットドメイン画像の訓練プロセスにおいて生成された仮ラベルであり、Ｌｓｅｇは、分割ネットワーク（即ち、生成ネットワーク）全体の損失関数Ｐ＝Ｇ(Ｘ)∈ＲＨ×Ｗ×Ｃであり、分割ネットワークの分割損失は、以下のとおりである。
【数3】
【0045】
【数4】
【0046】
ここで、ソースドメイン分割損失
は、以下で定義される。
【数5】
【0047】
【数6】
【0048】
Ｌｎｏｉｓｅは、第１ノイズ分割損失であり、Ｌｃｌｅａｎは、クリーンラベルデータ（ｃｌｅａｎ ｄａｔａ）を持つ分割損失であり、即ち、第１ノイズのない分割損失であり、αは、ＬｃｌｅａｎとＬｎｏｉｓｅを平衡する係数である。
ここで、判別ネットワークの敵対的損失の算出は、以下のとおりであってもよい。
ＬＤ＝λａｄｖＬａｄｖ(ＸＳ，ＸＴ) （７）
λａｄｖは、敵対的損失の訓練プロセスにおいて損失関係を平衡するためのパラメータであり、Ｌａｄｖは、以下で表されてもよい。
ここで、判別ネットワークの敵対的損失の算出は、以下のとおりであってもよい。
ＬＤ＝λａｄｖＬａｄｖ(ＸＳ，ＸＴ) （７）
λａｄｖは、敵対的損失の訓練プロセスにおいて損失関係を平衡するためのパラメータであり、Ｌａｄｖは、以下で表されてもよい。
【0049】
【数7】
【0050】
λｅｎｔｒは、情報エントロピー結果図に対応する重みパラメータであり、εの加入は、ｆ(ＸＴ)の場合に訓練プロセスの安定性を確保するためのものである。ｆ(ＸＴ)は、ターゲットドメイン画像の情報エントロピーの演算結果であり、以下で表されてもよい。
【0051】
【数8】
【0052】
ターゲットドメイン画像の画素ごとの予測に情報エントロピーマップ（ｅｎｔｒｏｐｙ ｍａｐ）を導入し、続いて、予測に基づいて、「エントロピーマップ」を、判別器によって各画素点に対して算出された敵対的損失と乗算し、不確実性を有する画素点（高いエントロピー値）の損失重みを増加し、確実性を有する損失重み（低いエントロピー値）を減少させる。エントロピーマップマッピングの駆動によって、ネットワークがクラス上で最も代表的な特徴に如何に注目するかを学習することを支援する。
【0053】
１０３において、第２敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第２ソースドメイン分割損失と第２ターゲットドメイン分割損失を決定する。
【0054】
第２敵対的生成ネットワークの訓練は、第１敵対的生成ネットワークと類似するが、異なる構造とパラメータを用いる。例えば、第２敵対的生成ネットワークＮ２に対して、ＤｅｅｐＬａｂｖ３＋アーキテクチャを用いてもよい。パラメータの数と演算コストを低減させるために、我々は、軽量ネットワークＭｏｂｉｌｅＮｅｔＶ２をベースモデルとして用いる。ネットワークＮ２は、ＭｏｂｉｌｅＮｅｔＶ２の第１層畳み込み層とその後の７個の残差モジュール（Ｒｅｓｄｕａｌ ｂｌｏｃｋ）を利用して特徴を抽出する。ネットワークＮ１と同様に、ＡＳＰＰモジュールを加えることによって、異なる受容野における潜在的特徴を学習し、異なる膨張率（ｄｉｌａｔｅ ｒａｔｅ）を有するＡＳＰＰを利用して、マルチスケール特徴を生成し、様々なレベルのセマンティック情報を特徴マッピングに整合し、特徴マップングに対してアップサンプリングを行い、続いて畳み込みを行い、上記組み合わせ特徴を低レベルの特徴に接続し、微細なセマンティック分割を行う。
【0055】
例えば、具体的には、第２敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ特徴抽出を行い、第２ソースドメイン画像の特徴情報と第２ターゲットドメイン画像の特徴情報を得、該第２ソースドメイン画像の特徴情報に基づいて、該ソースドメイン画像に対してターゲット分割を行い、第２ソースドメイン分割損失を決定し、該第２ターゲットドメイン画像の特徴情報に基づいて、該ターゲットドメイン画像に対してターゲット分割を行い、第２ターゲットドメイン分割損失を決定することができる。
【0056】
第２ソースドメイン分割損失の決定方式は、複数であってもよい。例えば、ソースドメイン画像に、敵対的なノイズラベルの重みマップ（ｄｉｓｔａｎｃｅ ｍａｐ）を導入してもよい。ターゲット領域の境界位置上での医用ラベルのマークが大きく相違しているため、ネットワークとノイズラベルとのフィッティングを防止するために、新たなアンチノイズ分割損失を提出する。これは、ノイズサンプルから、有用な画素レベル情報を学習し、縁にノイズがある領域をフィルタリングにより除去する。
【0057】
例えば、該ソースドメイン画像は、ノイズ画像とノイズのない画像を含む。具体的には、該第２ソースドメイン画像の特徴情報に基づいて、該ソースドメイン画像におけるノイズ画像に対してターゲット分割を行い、第２ノイズ分割確率を得、ソースドメイン画像におけるノイズ画像の重みマップを取得し、該第２ノイズ分割確率及びノイズ画像の重みマップに基づいて、第２ノイズ分割損失を取得し、該第２ソースドメイン画像の特徴情報に基づいて、該ソースドメイン画像におけるノイズのない画像に対してターゲット分割を行い、第２ノイズのない分割確率を得、第２ノイズのない分割確率及びノイズのない画像のラベリング結果に基づいて、第２ノイズのない分割損失を取得し、該第２ノイズ分割損失及び該第２ノイズのない分割損失に基づいて、第２ソースドメイン分割損失を決定する。
【0058】
第２ノイズ分割損失の具体的な演算方式は、上記第１ノイズ分割損失の演算方式を参照してもよい。
【0059】
ターゲットドメイン画像に対して、具体的な訓練方式は、所定の第１生成ネットワークと類似する。「自己教師あり」情報の方式を追加し、即ち、ターゲットドメイン画像の分割結果を利用して、画素レベルの仮ラベルを生成し、次の訓練段階に応用する。例えば、具体的には、該第２ターゲットドメイン画像の特徴情報に基づいて、該ターゲットドメイン画像に対してターゲット分割を行い、第２ターゲットドメイン分割確率を得、該第２ターゲットドメイン分割確率に基づいて、第２ターゲットドメイン分割結果を生成し、該第２ターゲットドメイン分割結果及び該ターゲットドメイン画像に基づいて、第２ターゲットドメイン分割損失を取得することができる。
【0060】
続いて、第２敵対的生成ネットワークにおける生成ネットワークから出力された分割結果である第２ソースドメイン分割確率ＰＳと第２ターゲットドメイン分割確率ＰＴを同時に第２敵対的生成ネットワークにおける判別ネットワークに入力し、ＰＴによって生成された情報エントロピー結果を利用して、敵対的損失ＬＤを算出し、それと同時に、敵対的損失を最大化することによって、判別ネットワークのパラメータを更新する。続いて、敵対的損失に生じる誤差も生成ネットワークに逆伝搬され、敵対的損失を最小化することによって、分割ネットワークのパラメータを更新する。その目的は、生成ネットワークによってソースドメイン画像とターゲットドメイン画像に対して予測される分割結果をますます類似させ、領域の自己適応を実現させることである。
【0061】
例えば、具体的には、第２ソースドメイン分割結果と第２ターゲットドメイン分割結果を得た後、第２敵対的生成ネットワークの判別ネットワークを用いて、第２ソースドメイン分割結果と第２ターゲットドメイン分割結果に対して判別を行い、第２判別結果を得、第２ソースドメイン分割結果、第２ターゲットドメイン分割結果及び第２判別結果に基づいて、第２敵対的生成ネットワークに対して訓練を行い、訓練された第２敵対的生成ネットワークを得ることができる。
【0062】
第２ソースドメイン分割結果と第２ターゲットドメイン分割結果に対する判別方式は、複数であってもよく、例えば、具体的には、第２ターゲットドメイン画像の情報エントロピーを算出し、第２敵対的生成ネットワークの判別ネットワークを用いて、該第２ソースドメイン分割結果、第２ターゲットドメイン分割結果及び第２ターゲットドメイン画像の情報エントロピーに基づいて、第２判別結果を得ることができる。
【0063】
第２ソースドメイン分割結果、第２ターゲットドメイン分割結果及び第２判別結果に基づいて、第２敵対的生成ネットワークに対して訓練を行う方式も複数であってもよい。例えば、具体的には、該第２ソースドメイン分割結果及び第２ソースドメイン画像のラベリング結果に基づいて、第２ソースドメイン分割損失を取得し、該第２ターゲットドメイン分割結果及び第２ターゲットドメイン画像に基づいて、第２ターゲットドメイン分割損失を取得し、第２ソースドメイン分割結果及び第２ターゲットドメイン分割結果に基づいて、判別ネットワークの第２判別損失を取得し、第２ソースドメイン分割損失、第２ターゲットドメイン分割損失及び第２判別損失に基づいて、第２敵対的生成ネットワークに対して訓練を行い、訓練された第２敵対的生成ネットワークを得ることができる。
【0064】
第２ソースドメイン分割損失、第２ターゲットドメイン分割損失及び第２判別損失に基づいて、第２敵対的生成ネットワークに対して訓練を行う方式も複数であってもよい。例えば、具体的には、該第２ソースドメイン分割損失及び該第２ターゲットドメイン分割損失に基づいて、第２敵対的生成ネットワークの極小化敵対的損失を構築し、該第２判別損失に基づいて、第２敵対的生成ネットワークの極大化敵対的損失を構築し、該極小化敵対的損失及び該極大化敵対的損失に基づいて、第２敵対的生成ネットワークに対して反復訓練を行い、訓練された第２敵対的生成ネットワークを得ることができる。
【0065】
第２敵対的生成ネットワークにおける各損失の演算方法は、第１敵対的生成ネットワークと類似し、詳細は、上述を参照してもよい。
【0066】
１０４において、該第１ソースドメイン分割損失と該第２ソースドメイン分割損失に基づいて、第１ソースドメインターゲット画像と第２ソースドメインターゲット画像を決定し、該第１ターゲットドメイン分割損失と該第２ターゲットドメイン分割損失に基づいて、第１ターゲットドメインターゲット画像と第２ターゲットドメインターゲット画像を決定する。
【0067】
訓練プロセスにおいて、クロス訓練の訓練方式を用いて、各段階で２つの異なる生成ネットワークから選択されたソースドメインのクリーン画像データによって、ネットワークパラメータを段階的に更新する。具体的な訓練ステップは以下のとおりである。ステップ１において、Ｎ回の反復を行った後、各敵対的生成ネットワークによって、全ての予測値の分割損失を順序付け、２つのネットワークが、それぞれ損失が小さいサンプルＣ１とＣ２をクリーンデータとして選択する。ステップ２において、各ネットワークがこれらの有用なサンプルをその対等ネットワークに送信し、次の訓練プロセスを行い、続いて、畳み込み層のパラメータを更新する。ステップ３において、各生成ネットワークが、現在では最適であると認められるクリーンデータを再選択し、階層的な方式によって、その対等ネットワークを微調整する。２つのネットワークが異なる構造と学習能力を有するため、これらは、ノイズラベルによって導入される異なるタイプのエラーをフィルタリングすることができる。該交換プロセスにおいて、対等ネットワークは、互いに監督し、ノイズラベルによる訓練誤差を減少させることができる。
【0068】
例えば、具体的には、該第１ソースドメイン分割損失を順序付け、順序付けた第１ソースドメイン分割損失に基づいて、所定の損失条件を満たすソースドメイン画像を選択し、第１ソースドメインターゲット画像として決定し、該第２ソースドメイン分割損失を順序付け、順序付けた第２ソースドメイン分割損失に基づいて、所定の損失条件を満たすソースドメイン画像を選択し、第２ソースドメインターゲット画像として決定することができる。
【0069】
所定の損失条件は、例えば、所定の損失閾値であってもよい。これに応じて、所定の条件を満たすソースドメイン画像は、例えば、該ソースドメイン画像のソースドメイン分割損失が該損失閾値よりも小さいものであってもよい。所定の損失条件は、損失閾値が最も小さいことであってもよい。これに応じて、所定の損失条件を満たすソースドメイン画像は、全てのソースドメイン画像におけるソースドメイン分割損失が最も小さいソースドメイン画像である。
【0070】
ターゲットドメイン画像に対して、各段階で２つの生成ネットワークによってターゲットドメイン画像に対して生成された仮ラベルによりクロス学習を行うことによって、ネットワークパラメータを更新する。具体的な訓練ステップは以下のとおりである。ステップ１において、２つのネットワークの前の段階の訓練結果におけるターゲットドメインに対する結果ＰＬ１とＰＬ２を仮ラベルとして用いる。ステップ２において、仮ラベルを次の段階の別のネットワーク訓練プロセスに用い、反復の方式でネットワークパラメータを更新する。各段階において、分割ネットワークと判別ネットワークは、交互更新の方式で同時に訓練される。我々は、まず、画像データを分割ネットワークに入力し、ソースドメインデータの真のラベルとターゲットドメインデータの仮ラベルを利用して、分割損失Ｌｓｅｇを算出し、分割損失を最小化することによって、分割ネットワークのパラメータを更新する。
【0071】
例えば、具体的には、該第１ターゲットドメイン分割損失に基づいて、該第１敵対的生成ネットワークに対して訓練を行い、訓練結果を利用して、第１ターゲットドメインターゲット画像を生成し、該第２ターゲットドメイン分割損失に基づいて、該第２敵対的生成ネットワークに対して訓練を行い、訓練結果を利用して、第２ターゲットドメインターゲット画像を生成する。
【0072】
１０５において、第１ソースドメインターゲット画像、第１ターゲットドメインターゲット画像、第２ソースドメインターゲット画像及び第２ターゲットドメインターゲット画像を利用して、該第１敵対的生成ネットワークと該第２敵対的生成ネットワークに対してクロス訓練を行い、訓練された第１敵対的生成ネットワークを得る。
【0073】
例えば、第１ソースドメインターゲット画像と第１ターゲットドメインターゲット画像を利用して、第２敵対的生成ネットワークに対して訓練を行い、第２ソースドメインターゲット画像と第２ターゲットドメインターゲット画像を利用して、第１敵対的生成ネットワークに対して訓練を行うことができる。
【0074】
例えば、具体的には、第１敵対的生成ネットワークの生成ネットワークを用いて、第２ソースドメインターゲット画像と第２ターゲットドメインターゲット画像に対してそれぞれ分割を行い、第２ソースドメインターゲット分割結果と第２ターゲットドメインターゲット分割結果を得、第１敵対的生成ネットワークの判別ネットワークを用いて、第２ソースドメインターゲット分割結果と第２ターゲットドメインターゲット分割結果に対して判別を行い、第２ターゲット判別結果を得、第２ソースドメインターゲット分割結果、第２ターゲットドメインターゲット分割結果及び第２ターゲット判別結果に基づいて、第１敵対的生成ネットワークに対して訓練を行い、訓練された第１敵対的生成ネットワークを得ることができる。
【0075】
第２ソースドメインターゲット分割結果と第２ターゲットドメインターゲット分割結果に対する判別方式は、複数であってもよく、例えば、具体的には、第２ターゲットドメインターゲット画像の情報エントロピーを算出し、第１敵対的生成ネットワークの判別ネットワークを用いて、該第２ソースドメインターゲット分割結果、第２ターゲットドメインターゲット分割結果及び第２ターゲットドメインターゲット画像の情報エントロピーに基づいて、第２ターゲット判別結果を得ることができる。
【0076】
第２ソースドメインターゲット分割結果、第２ターゲットドメインターゲット分割結果及び第２ターゲット判別結果に基づいて、第１敵対的生成ネットワークに対して訓練を行う方式も複数であってもよい。例えば、具体的には、該第２ソースドメインターゲット分割結果及び第２ソースドメインターゲット画像のラベリング結果に基づいて、第２ソースドメインターゲット分割損失を取得し、該第２ターゲットドメインターゲット分割結果及び第２ターゲットドメインターゲット画像に基づいて、第２ターゲットドメインターゲット分割損失を取得し、第２ソースドメインターゲット分割結果及び第２ターゲットドメインターゲット分割結果に基づいて、判別ネットワークの第２ターゲット判別損失を取得し、第２ソースドメインターゲット分割損失、第２ターゲットドメインターゲット分割損失及び第２ターゲット判別損失に基づいて、第１敵対的生成ネットワークに対して訓練を行い、訓練された第１敵対的生成ネットワークを得ることができる。
【0077】
第２ソースドメインターゲット分割損失、第２ターゲットドメインターゲット分割損失及び第２ターゲット判別損失に基づいて、第１敵対的生成ネットワークに対して訓練を行う方式も複数であってもよい。例えば、具体的には、該第２ソースドメインターゲット分割損失及び該第２ターゲットドメインターゲット分割損失に基づいて、第１敵対的生成ネットワークの極小化敵対的損失を構築し、該第２ターゲット判別損失に基づいて、第１敵対的生成ネットワークの極大化敵対的損失を構築し、該極小化敵対的損失及び該極大化敵対的損失に基づいて、第１敵対的生成ネットワークに対して反復訓練を行い、訓練された第１敵対的生成ネットワークを得ることができる。
【0078】
第１ソースドメインターゲット画像、第１ターゲットドメインターゲット画像を利用して、第２敵対的生成ネットワークに対して訓練を行う方式は、第２敵対的生成ネットワークの訓練方式と類似する。例えば、具体的には、第２敵対的生成ネットワークの生成ネットワークを用いて、第１ソースドメインターゲット画像と第１ターゲットドメインターゲット画像に対してそれぞれ分割を行い、第１ソースドメインターゲット分割結果と第１ターゲットドメインターゲット分割結果を得、第２敵対的生成ネットワークの判別ネットワークを用いて、第１ソースドメインターゲット分割結果と第１ターゲットドメインターゲット分割結果に対して判別を行い、第１ターゲット判別結果を得、第１ソースドメインターゲット分割結果、第１ターゲットドメインターゲット分割結果及び第１ターゲット判別結果に基づいて、第２敵対的生成ネットワークに対して訓練を行い、訓練された第２敵対的生成ネットワークを得ることができる。
【0079】
選択的に、いくつかの実施例において、第２敵対的生成ネットワークの判別ネットワークを用いて、第１ソースドメインターゲット分割結果と第１ターゲットドメインターゲット分割結果に対して判別を行う。具体的には、第１ターゲットドメインターゲット画像の情報エントロピーを算出し、第２敵対的生成ネットワークの判別ネットワークを用いて、該第１ソースドメインターゲット分割結果、第１ターゲットドメインターゲット分割結果及び第１ターゲットドメインターゲット画像の情報エントロピーに基づいて、第１ターゲット判別結果を得ることができる。
【0080】
選択的に、いくつかの実施例において、第１ソースドメインターゲット分割結果、第１ターゲットドメインターゲット分割結果及び第１ターゲット判別結果に基づいて、第２敵対的生成ネットワークに対して訓練を行う。具体的には、該第１ソースドメインターゲット分割結果及び第１ソースドメインターゲット画像のラベリング結果に基づいて、第１ソースドメインターゲット分割損失を取得し、該第１ターゲットドメインターゲット分割結果及び第１ターゲットドメインターゲット画像に基づいて、第１ターゲットドメインターゲット分割損失を取得し、第１ソースドメインターゲット分割結果及び第１ターゲットドメインターゲット分割結果に基づいて、判別ネットワークの第１ターゲット判別損失を取得し、第１ソースドメインターゲット分割損失、第１ターゲットドメインターゲット分割損失及び第１ターゲット判別損失に基づいて、第２敵対的生成ネットワークに対して訓練を行い、訓練された第２敵対的生成ネットワークを得ることができる。
【0081】
選択的に、いくつかの実施例において、具体的には、該第１ソースドメインターゲット分割損失及び該第１ターゲットドメインターゲット分割損失に基づいて、第２敵対的生成ネットワークの極小化敵対的損失を構築し、該第１ターゲット判別損失に基づいて、第２敵対的生成ネットワークの極大化敵対的損失を構築し、該極小化敵対的損失及び該極大化敵対的損失に基づいて、第２敵対的生成ネットワークに対して反復訓練を行い、訓練された第２敵対的生成ネットワークを得ることができる。
【0082】
１０６において、該訓練された第１敵対的生成ネットワークの生成ネットワークに基づいて、分割待ち画像に対して分割を行い、分割結果を得る。
【0083】
例えば、具体的には、該訓練された第１敵対的生成ネットワークの生成ネットワークに基づいて、分割待ち画像に対して特徴抽出を行い、分割待ち画像の特徴情報を得、該分割待ち画像の特徴情報に基づいて、該分割待ち画像に対してターゲット分割を行い、分割待ち画像の分割予測確率を得、該分割予測確率に基づいて、該分割待ち画像の分割結果を生成することができる。
【0084】
分割待ち画像は、分割されるべき画像、例えば、医用画像（例えば、心臓、肺など）又はいくつかの一般的な画像（例えば、人間、物体）などである。例えば、分割待ち画像が医用画像である場合、各医用画像収集機器、例えば、コンピュータ断層撮影装置又は核磁気共鳴イメージング装置などによって、例えば、人体の脳、胃腸、肝臓、心臓、咽喉及び膣などのような生体組織に対して画像収集を行い、更に該医用画像検出装置に供給してもよい。即ち、医用画像検出装置は、具体的には、医用画像収集機器から送信される分割待ち画像を受信することができる。
【0085】
上記から分かるように、本願の実施例は、まず、ターゲットドメイン画像、及びターゲット情報がラベリングされたソースドメイン画像を取得し、更に、第１敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第１ソースドメイン分割損失と第１ターゲットドメイン分割損失を決定し、第２敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第２ソースドメイン分割損失と第２ターゲットドメイン分割損失を決定し、続いて、該第１ソースドメイン分割損失と該第２ソースドメイン分割損失に基づいて、第１ソースドメインターゲット画像と第２ソースドメインターゲット画像を決定し、該第１ターゲットドメイン分割損失と該第２ターゲットドメイン分割損失に基づいて、第１ターゲットドメインターゲット画像と第２ターゲットドメインターゲット画像を決定し、そして、第１ソースドメインターゲット画像、第１ターゲットドメインターゲット画像、第２ソースドメインターゲット画像及び第２ターゲットドメインターゲット画像を利用して、該第１敵対的生成ネットワークと該第２敵対的生成ネットワークに対してクロス訓練を行い、訓練された第１敵対的生成ネットワークを得、更に、該訓練された第１敵対的生成ネットワークの生成ネットワークに基づいて、分割待ち画像に対して分割を行い、分割結果を得る。該方案は、主に、データのラベルにノイズが存在し、ソースドメインとターゲットドメインデータセットとの分布が相違しているという現象に対して、領域自己適応的ポリシーに基づく教師なしロバスト性分割方法を提出する。２つのモデルが互いに学習し、互いに監督することによって、ノイズラベルと教師なし画像分割タスクを効果的に解決し、画像分割の正確性を向上させる。前記実施例に記載の方法によれば、以下では、緑内障眼杯と視神経乳頭の正確な分割を例として更に詳しく説明する。
【0086】
アルゴリズムが臨床において確実な診断補助の役割を果たすことを確保するために、画像分割の正確性を向上させる必要がある。本願の実施例は、ノイズラベルデータに基づくロバスト性を有する教師なし領域自己適応的分割方法を提供する。該方法は、ラベリングされているデータセットにおける特徴構造を学習し、知識を新たなデータセットに遷移し、ラベリングされていない新たなデータセットに対して正確な画像分割を提供し、他のデータセット上での深層ネットワークの汎化性能を効果的に向上させることができる。
【0087】
本願の実施例における教師なし領域自己適応的訓練方法は、領域敵対的方式によって、画像分割ネットワーク（生成ネットワークとする）を含む敵対的生成ネットワークに対して訓練を行い、続いて、訓練された敵対的生成ネットワークにおける生成ネットワークを用いて、ラベリングされていない分割待ち画像に対して分割などを行うことができる。本実施例において、該画像分割装置が具体的に電子機器に集積されることを例として説明する。
【0088】
図２ａに示すように、本願の実施例は、画像分割方法を提供する。具体的なプロセスは以下のとおりである。
【0089】
２０１において、電子機器がターゲットドメイン画像、及びターゲット情報がラベリングされたソースドメイン画像を取得する。
【0090】
具体的には、２つの眼底画像データセットの自己適応的分割タスクにおいて、ＲＥＦＵＧＥとＤｒｉｓｈｔｉ－ＧＳデータセットを用いる。訓練セットと検証セット（又は試験セット）が異なる収集機器によって撮られたものであるため、画像は、色とテクスチャなどの点では相違している。ＲＥＦＵＧＥデータセットの訓練セットをソースドメイン訓練セットとし、ＲＥＦＵＧＥデータセットの検証セットとＤｒｉｓｈｔｉ－ＧＳデータセットの検証セットをターゲットドメイン訓練セットとし、ＲＥＦＵＧＥデータセットの試験セットとＤｒｉｓｈｔｉ－ＧＳデータセットの試験セットをターゲットドメイン試験セットとする。ＲＥＦＵＧＥデータセットに対して、訓練セットは、４００枚の画像を含み、画像のサイズは、２１２４×２０５６であり、検証セットは、３００枚の画像を含み、試験セットは、１００枚の画像を含み、画像のサイズは、１６３４×１６３４である。Ｄｒｉｓｈｔｉ－ＧＳデータセットに対して、検証セットは、５０枚の画像を含み、試験セットは、５１枚の画像を含み、画像のサイズは、２０４７×１７５９である。
【0091】
本願は、ソースドメインとターゲットドメインデータセットとの分布が相違しているという現象に対して、領域自己適応的ポリシーに基づく教師なしロバスト性分割方法を提出する。２つのモデルが互いに学習し、互いに監督することによって、教師なし画像分割タスクを効果的に解決する。ここで、該ロバスト性分割方法のフレームワークは、図２ｂに示すように、２つの敵対的生成ネットワークで構成され、即ち、Ｎ１とＮ２で構成され、Ｎ１は、生成ネットワーク（分割ネットワークとも呼ばれる）Ｓ１と、判別ネットワークＤ１と、を含む。Ｎ２は、生成ネットワーク（分割ネットワークとも呼ばれる）Ｓ２と、判別ネットワークＤ２と、を含む。これら２つのネットワークは、異なる構造とパラメータを有する。２つのネットワーク構造とパラメータが相違しているため、異なる決定境界を生成することができ、即ち、異なる学習能力を有し、それにより、ネットワーク間のピアレビューを促進する。ここで、ピアレビュー（ｐｅｅｒ－ｒｅｖｉｅｗ）は、２つのネットワークが互いに監督するポリシーであり、２つのネットワークが、小さい損失データと仮レベルを互いに交換することによって、ネットワークの性能を向上させる。
【0092】
２０２において、電子機器が第１敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第１ソースドメイン分割損失と第１ターゲットドメイン分割損失を決定する。
【0093】
例えば、図２ｃに示すように、第１敵対的生成ネットワークにおける生成ネットワークは、ＲｅｓＮｅｔ１０１を主なフレームワークとしたＤｅｅｐＬａｂｖ２をベースモデルとして、初歩的な分割結果を実現させることができる。それと同時に、ＡＳＰＰ構造を追加し、特徴マップのマルチスケール情報を豊かにした。ネットワークの特徴表現能力を補強するために、ＤＡＮｅｔに基づくアテンションメカニズムを提出した。これは、画素と特徴層チャネルとのコンテキスト依存関係を如何に捕捉するかを学習し、アテンションモジュールの出力と空間ピラミッド構造の出力を接続し、最終的な分割特徴を生成する。
【0094】
例えば、ソースドメイン画像は、ノイズ画像とノイズのない画像を含む。ソースドメイン画像におけるノイズ画像に、敵対的なノイズラベルの重みマップを導入してもよい。ターゲット領域の境界位置上での医用ラベルのマークが大きく相違しているため、ネットワークとノイズラベルとのフィッティングを防止するために、新たなアンチノイズ分割損失を提出する。これは、ノイズサンプルから、有用な画素レベル情報を学習し、縁にノイズがある領域をフィルタリングにより除去する。
【0095】
例えば、電子機器は、具体的には、第１敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像に対して特徴抽出を行い、第１ソースドメイン画像の特徴情報を得、該第１ソースドメイン画像の特徴情報に基づいて、該ソースドメイン画像に対してターゲット分割を行い、第１ノイズ分割確率を得、ソースドメイン画像におけるノイズ画像の重みマップを取得し、該第１ノイズ分割確率及びノイズ画像の重みマップに基づいて、第１ノイズ分割損失を取得し、該第１ソースドメイン画像の特徴情報に基づいて、該ソースドメイン画像におけるノイズのない画像に対してターゲット分割を行い、第１ノイズのない分割確率を得、第１ノイズのない分割確率及びノイズのない画像のラベリング結果に基づいて、第１ノイズのない分割損失を取得し、該第１ノイズ分割損失及び該第１ノイズのない分割損失に基づいて、第１ソースドメイン分割損失を決定する。該第１ノイズ分割確率に基づいて、第１ノイズ分割結果を生成する。第１ノイズ分割損失の演算方式は、具体的には、上記実施例を参照してもよい。
【0096】
例えば、電子機器は、具体的には、第１敵対的生成ネットワークにおける生成ネットワークを用いて、ターゲットドメイン画像に対して特徴抽出を行い、第１ターゲットドメイン画像の特徴情報を得、該第１ターゲットドメイン画像の特徴情報に基づいて、該ターゲットドメイン画像に対してターゲット分割を行い、第１ターゲットドメイン分割確率を得、該第１ターゲットドメイン分割確率に基づいて、第１ターゲットドメイン分割結果を生成し、該第１ターゲットドメイン分割結果及び該ターゲットドメイン画像に基づいて、第１ターゲットドメイン分割損失を取得することができる。
【0097】
続いて、第１敵対的生成ネットワークにおける生成ネットワークから出力された分割結果である第１ソースドメイン分割確率ＰＳと第１ターゲットドメイン分割確率ＰＴを同時に第１敵対的生成ネットワークにおける判別ネットワークに入力し、ＰＴによって生成された情報エントロピー結果を利用して、敵対的損失ＬＤを算出し、それと同時に、敵対的損失を最大化することによって、判別ネットワークのパラメータを更新する。続いて、敵対的損失に生じる誤差も生成ネットワークに逆伝搬され、敵対的損失を最小化することによって、分割ネットワークのパラメータを更新する。その目的は、生成ネットワークによってソースドメイン画像とターゲットドメイン画像に対して予測される分割結果をますます類似させ、領域の自己適応を実現させることである。
【0098】
例えば、第１敵対的生成ネットワークにおける判別ネットワークは、５層完全畳み込みネットワークを用いて、ソースドメインとターゲットドメインの分割確率を敵対的学習に融合することができる。ネットワークモデルの各畳み込み層のｋｅｒｎｅｌ ｓｉｚｅは、４であり、ｓｔｒｉｄｅは、２であり、ｐａｄｄｉｎｇは、１である。そして、最終層以外の全ての畳み込み層の後にＬｅａｋｙ ＲｅＬＵ活性化関数層を追加し、最終的に、シングルチャネルの２Ｄ結果を出力する。０と１で、それぞれソースドメインとターゲットドメインを表す。
【0099】
例えば、具体的には、第１ソースドメイン分割結果と第１ターゲットドメイン分割結果を得た後、第１ターゲットドメイン画像の情報エントロピーを算出し、第１敵対的生成ネットワークの判別ネットワークを用いて、該第１ソースドメイン分割結果、第１ターゲットドメイン分割結果及び第１ターゲットドメイン画像の情報エントロピーに基づいて、第１判別結果を得、続いて、該第１ソースドメイン分割結果及び第１ソースドメイン画像のラベリング結果に基づいて、第１ソースドメイン分割損失を取得し、該第１ターゲットドメイン分割結果及び第１ターゲットドメイン画像に基づいて、第１ターゲットドメイン分割損失を取得し、第１ソースドメイン分割結果及び第１ターゲットドメイン分割結果に基づいて、判別ネットワークの第１判別損失を取得し、該第１ソースドメイン分割損失及び該第１ターゲットドメイン分割損失に基づいて、第１敵対的生成ネットワークの極小化敵対的損失を構築し、該第１判別損失に基づいて、第１敵対的生成ネットワークの極大化敵対的損失を構築し、該極小化敵対的損失及び該極大化敵対的損失に基づいて、第１敵対的生成ネットワークに対して反復訓練を行い、訓練された第１敵対的生成ネットワークを得ることができる。
【0100】
ここで、極小化敵対的損失と極大化敵対的損失（即ち、全体的ターゲット関数は、最大と最小から最適化される）の具体的な演算方式は、上記実施例を参照してもよい。
【0101】
２０３において、電子機器が第２敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第２ソースドメイン分割損失と第２ターゲットドメイン分割損失を決定する。
【0102】
第２敵対的生成ネットワークの訓練は、第１敵対的生成ネットワークと類似するが、異なる構造とパラメータを用いる。例えば、第２敵対的生成ネットワークＮ２に対して、ＤｅｅｐＬａｂｖ３＋アーキテクチャを用いてもよい。パラメータの数と演算コストを低減させるために、軽量ネットワークＭｏｂｉｌｅＮｅｔＶ２をベースモデルとして用いてもよい。第２敵対的生成ネットワークＮ２は、ＭｏｂｉｌｅＮｅｔＶ２の第１層畳み込み層とその後の７個の残差モジュール（Ｒｅｓｄｕａｌ ｂｌｏｃｋ）を利用して特徴を抽出する。第１畳み込み層とその後の２つの残差ブロックのストライド（ｓｔｒｉｄｅ）を２とし、他のブロックのｓｔｒｉｄｅを１としてもよく、第２敵対的生成ネットワークの総サブサンプリング率は、８である。第１敵対的生成ネットワークＮ１と同様に、ＡＳＰＰモジュールを加えることによって、異なる受容野における潜在的特徴を学習し、異なる膨張率（ｄｉａｌａｔｅ ｒａｔｅ）を有するＡＳＰＰを利用して、マルチスケール特徴を生成し、様々なレベルのセマンティック情報を特徴マッピングに整合し、特徴マップングに対してアップサンプリングを行い、続いて１×１畳み込みを行い、上記組み合わせ特徴を低レベルの特徴に接続し、微細なセマンティック分割を行う。
【0103】
例えば、電子機器は、具体的には、第２敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像に対して特徴抽出を行い、第２ソースドメイン画像の特徴情報を得、該第２ソースドメイン画像の特徴情報に基づいて、該ソースドメイン画像に対してターゲット分割を行い、第２ノイズ分割確率を得、ソースドメイン画像におけるノイズ画像の重みマップを取得し、該第２ノイズ分割確率及びノイズ画像の重みマップに基づいて、第２ノイズ分割損失を取得し、該第２ソースドメイン画像の特徴情報に基づいて、該ソースドメイン画像におけるノイズのない画像に対してターゲット分割を行い、第２ノイズのない分割確率を得、第２ノイズのない分割確率及びノイズのない画像のラベリング結果に基づいて、第２ノイズのない分割損失を取得し、該第２ノイズ分割損失及び該第２ノイズのない分割損失に基づいて、第２ソースドメイン分割損失を決定することができる。
【0104】
ここで、第２ノイズ分割損失の具体的な演算方式は、上記第１ノイズ分割損失の演算方式を参照してもよい。
【0105】
ターゲットドメイン画像に対して、具体的な訓練方式は、所定の第１生成ネットワークと類似する。「自己教師あり」情報の方式を追加し、即ち、ターゲットドメイン画像の分割結果を利用して、画素レベルの仮ラベルを生成し、次の訓練段階に応用する。例えば、電子機器は、具体的には、第２敵対的生成ネットワークにおける生成ネットワークを用いて、ターゲットドメイン画像に対して特徴抽出を行い、第２ターゲットドメイン画像の特徴情報を得、該第２ターゲットドメイン画像の特徴情報に基づいて、該ターゲットドメイン画像に対してターゲット分割を行い、第２ターゲットドメイン分割確率を得、該第２ターゲットドメイン分割確率に基づいて、第２ターゲットドメイン分割結果を生成し、該第２ターゲットドメイン分割結果及び該ターゲットドメイン画像に基づいて、第２ターゲットドメイン分割損失を取得することができる。
【0106】
続いて、第２敵対的生成ネットワークにおける生成ネットワークから出力された分割結果である第２ソースドメイン分割確率ＰＳと第２ターゲットドメイン分割確率ＰＴを同時に第２敵対的生成ネットワークにおける判別ネットワークに入力し、ＰＴによって生成された情報エントロピー結果を利用して、敵対的損失ＬＤを算出し、それと同時に、敵対的損失を最大化することによって、判別ネットワークのパラメータを更新する。続いて、敵対的損失に生じる誤差も生成ネットワークに逆伝搬され、敵対的損失を最小化することによって、分割ネットワークのパラメータを更新する。その目的は、生成ネットワークによってソースドメイン画像とターゲットドメイン画像に対して予測される分割結果をますます類似させ、領域の自己適応を実現させることである。ネットワークパラメータを最適化するプロセスにおいて、本実施例は、確率的勾配降下（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ：ＳＧＤ）アルゴリズムを用いて、分割ネットワークを最適化して訓練し、モーメント自己適応的確率的最適化（Ａｄａｍ）アルゴリズムを用いて、判別ネットワークを最適化して訓練する。分割ネットワークと判別ネットワークの初期学習率はそれぞれ２．５×１０－１と１×１０－１である。
【0107】
例えば、電子機器は、具体的には、第２ソースドメイン分割結果と第２ターゲットドメイン分割結果を得た後、第２ターゲットドメイン画像の情報エントロピーを算出し、第２敵対的生成ネットワークの判別ネットワークを用いて、第２ソースドメイン分割結果、第２ターゲットドメイン分割結果及び第２ターゲットドメイン画像の情報エントロピーに基づいて、第２判別結果を得ることができる。続いて、該第２ソースドメイン分割結果及び第２ソースドメイン画像のラベリング結果に基づいて、第２ソースドメイン分割損失を取得し、該第２ターゲットドメイン分割結果及び第２ターゲットドメイン画像に基づいて、第２ターゲットドメイン分割損失を取得し、第２ソースドメイン分割結果及び第２ターゲットドメイン分割結果に基づいて、判別ネットワークの第２判別損失を取得する。続いて、該第２ソースドメイン分割損失及び該第２ターゲットドメイン分割損失に基づいて、第２敵対的生成ネットワークの極小化敵対的損失を構築し、該第２判別損失に基づいて、第２敵対的生成ネットワークの極大化敵対的損失を構築し、該極小化敵対的損失及び該極大化敵対的損失に基づいて、第２敵対的生成ネットワークに対して反復訓練を行い、訓練された第２敵対的生成ネットワークを得ることができる。
【0108】
ここで、第２敵対的生成ネットワークにおける各損失の演算方法は、第１敵対的生成ネットワークと類似し、詳細は、上述を参照してもよい。
【0109】
２０４において、電子機器が該第１ソースドメイン分割損失と該第２ソースドメイン分割損失に基づいて、第１ソースドメインターゲット画像と第２ソースドメインターゲット画像を決定する。
【0110】
例えば、電子機器は、具体的には、該第１ソースドメイン分割損失を順序付け、順序付けた第１ソースドメイン分割損失に基づいて、所定の損失条件を満たすソースドメイン画像を選択し、第１ソースドメインターゲット画像（即ち、第１ソースドメインクリーン画像）として決定し、該第２ソースドメイン分割損失を順序付け、順序付けた第２ソースドメイン分割損失に基づいて、所定の損失条件を満たすソースドメイン画像を選択し、第２ソースドメインターゲット画像（即ち、第２ソースドメインクリーン画像）として決定することができる。各生成ネットワークは、これらのクリーン画像をその対等ネットワークに送信し、次の訓練プロセスを行い、畳み込み層のパラメータを更新する。続いて、各生成ネットワークは、現在では最適であると認められるクリーンデータを再選択し、階層的な方式によって、その対等ネットワークを微調整する。該交換プロセスにおいて、対等ネットワークは、互いに監督し、ノイズラベルによる訓練誤差を減少させることができる。
【0111】
２０５において、電子機器が該第１ターゲットドメイン分割損失と該第２ターゲットドメイン分割損失に基づいて、第１ターゲットドメインターゲット画像と第２ターゲットドメインターゲット画像を決定する。
【0112】
例えば、電子機器は、具体的には、該第１ターゲットドメイン分割損失に基づいて、該第１敵対的生成ネットワークに対して訓練を行い、訓練結果を利用して、第１ターゲットドメインターゲット画像（即ち、第１ターゲットドメイン画像の画素レベル仮ラベル）を生成し、該第２ターゲットドメイン分割損失に基づいて、該第２敵対的生成ネットワークに対して訓練を行い、訓練結果を利用して、第２ターゲットドメインターゲット画像（即ち、第２ターゲットドメイン画像の画素レベル仮ラベル）を生成することができる。続いて、これらの仮ラベルを次の段階の別のネットワーク訓練に応用し、反復の方式で、ネットワークパラメータを更新する。各段階において、分割ネットワークと判別ネットワークは、交互更新の方式で同時に訓練される。
【0113】
２０６において、電子機器が第２ソースドメインターゲット画像及び第２ターゲットドメインターゲット画像を利用して、該第１敵対的生成ネットワークに対して訓練を行い、訓練された第１敵対的生成ネットワークを得る。
【0114】
例えば、具体的には、第１敵対的生成ネットワークの生成ネットワークを用いて、第２ソースドメインターゲット画像と第２ターゲットドメインターゲット画像に対してそれぞれ分割を行い、第２ソースドメインターゲット分割結果と第２ターゲットドメインターゲット分割結果を得ることができる。続いて、第２ターゲットドメインターゲット画像の情報エントロピーを算出し、第１敵対的生成ネットワークの判別ネットワークを用いて、該第２ソースドメインターゲット分割結果、第２ターゲットドメインターゲット分割結果及び第２ターゲットドメインターゲット画像の情報エントロピーに基づいて、第２ターゲット判別結果を得ることができる。そして、該第２ソースドメインターゲット分割結果及び第２ソースドメインターゲット画像のラベリング結果に基づいて、第２ソースドメインターゲット分割損失を取得し、該第２ターゲットドメインターゲット分割結果及び第２ターゲットドメインターゲット画像に基づいて、第２ターゲットドメインターゲット分割損失を取得し、第２ソースドメインターゲット分割結果及び第２ターゲットドメインターゲット分割結果に基づいて、判別ネットワークの第２ターゲット判別損失を取得する。更に、該第２ソースドメインターゲット分割損失及び該第２ターゲットドメインターゲット分割損失に基づいて、第１敵対的生成ネットワークの極小化敵対的損失を構築し、該第２ターゲット判別損失に基づいて、第１敵対的生成ネットワークの極大化敵対的損失を構築し、該極小化敵対的損失及び該極大化敵対的損失に基づいて、第１敵対的生成ネットワークに対して反復訓練を行い、訓練された第１敵対的生成ネットワークを得ることができる。
【0115】
２０７において、電子機器が第１ソースドメインターゲット画像と第１ターゲットドメインターゲット画像を利用して、該第２敵対的生成ネットワークに対して訓練を行い、訓練された第２敵対的生成ネットワークを得る。
【0116】
例えば、電子機器は、具体的には、第２敵対的生成ネットワークの生成ネットワークを用いて、第１ソースドメインターゲット画像と第１ターゲットドメインターゲット画像に対してそれぞれ分割を行い、第１ソースドメインターゲット分割結果と第１ターゲットドメインターゲット分割結果を得、第１ターゲットドメインターゲット画像の情報エントロピーを算出し、第２敵対的生成ネットワークの判別ネットワークを用いて、該第１ソースドメインターゲット分割結果、第１ターゲットドメインターゲット分割結果及び第１ターゲットドメインターゲット画像の情報エントロピーに基づいて、第１ターゲット判別結果を得ることができる。続いて、該第１ソースドメインターゲット分割結果及び第１ソースドメインターゲット画像のラベリング結果に基づいて、第１ソースドメインターゲット分割損失を取得し、該第１ターゲットドメインターゲット分割結果及び第１ターゲットドメインターゲット画像に基づいて、第１ターゲットドメインターゲット分割損失を取得し、第１ソースドメインターゲット分割結果及び第１ターゲットドメインターゲット分割結果に基づいて、判別ネットワークの第１ターゲット判別損失を取得する。そして、該第１ソースドメインターゲット分割損失及び該第１ターゲットドメインターゲット分割損失に基づいて、第２敵対的生成ネットワークの極小化敵対的損失を構築し、該第１ターゲット判別損失に基づいて、第２敵対的生成ネットワークの極大化敵対的損失を構築し、該極小化敵対的損失及び該極大化敵対的損失に基づいて、第２敵対的生成ネットワークに対して反復訓練を行い、訓練された第２敵対的生成ネットワークを得ることができる。更に、第１ソースドメインターゲット分割損失、第１ターゲットドメインターゲット分割損失及び第１ターゲット判別損失に基づいて、第２敵対的生成ネットワークに対して訓練を行い、訓練された第２敵対的生成ネットワークを得る。
【0117】
２０８において、電子機器が該訓練された第１敵対的生成ネットワークの生成ネットワークに基づいて、分割待ち画像に対して分割を行い、分割結果を得る。
【0118】
例えば、電子機器は、具体的には、医療映像機器によって収集された眼底画像を受信し、続いて、該訓練された第１敵対的生成ネットワークの生成ネットワークに基づいて、該眼底画像に対して特徴抽出を行い、眼底画像の特徴情報を得、該眼底画像の特徴情報に基づいて、該眼底画像に対してターゲット分割を行い、眼底画像の分割予測確率を得、該分割予測確率に基づいて、該眼底画像の分割結果を生成することができる。
【0119】
なお、本願の実施例による分割方案の効果を検証するために、本発明における技術の実験結果と現在のいくつかのアルゴリズムを比較し、異なるノイズ程度のタスクの実験結果をそれぞれ表１と表２に示す。ここで、表１は、ＲＥＦＵＧＥ訓練セットからＲＥＦＵＧＥ検証セットまでの低いノイズレベルの実験結果であり、表２は、ＲＥＦＵＧＥ訓練セットからＲＥＦＵＧＥ検証セットまでの低いノイズレベルの実験結果である。ＲＥＦＵＧＥとＤｒｉｓｈｔｉ－ＧＳデータセットにおける本方案の実験結果は、図２ｄに示すとおりである。ＢＤＬは、自己教師あり学習に基づく双方向学習方法であり、ｄｏｍａｉｎ ｓｈｉｆｔ問題を軽減し、より好適な分割モデルを学習するためのものである。ｐＯＳＡＬは、網膜眼底緑内障チャレンジレースのＯＤとＯＣ分割タスクである。ＢＥＡＬは、エッジとエントロピー情報に基づく敵対的学習方法を提出する。２つのタスクにおいて、異なるノイズ程度、ノイズレベルの本願による方法の実験結果について、ＤＩＣＥは、分割結果の評価指標であり、ラベルＹと予測値ｐの類似度を算出するためのものであり、以下で表される。
【0120】
【数9】
【0121】
【表1】
【0122】
【表2】
【0123】
上記から分かるように、本願の実施例は、まず、ターゲットドメイン画像、及びターゲット情報がラベリングされたソースドメイン画像を取得し、更に、第１敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第１ソースドメイン分割損失と第１ターゲットドメイン分割損失を決定し、第２敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第２ソースドメイン分割損失と第２ターゲットドメイン分割損失を決定し、続いて、該第１ソースドメイン分割損失と該第２ソースドメイン分割損失に基づいて、第１ソースドメインターゲット画像と第２ソースドメインターゲット画像を決定し、該第１ターゲットドメイン分割損失と該第２ターゲットドメイン分割損失に基づいて、第１ターゲットドメインターゲット画像と第２ターゲットドメインターゲット画像を決定し、そして、第１ソースドメインターゲット画像、第１ターゲットドメインターゲット画像、第２ソースドメインターゲット画像及び第２ターゲットドメインターゲット画像を利用して、該第１敵対的生成ネットワークと該第２敵対的生成ネットワークに対してクロス訓練を行い、訓練された第１敵対的生成ネットワークを得、更に、該訓練された第１敵対的生成ネットワークの生成ネットワークに基づいて、分割待ち画像に対して分割を行い、分割結果を得る。該方案は、主に、データのラベルにノイズが存在し、ソースドメインとターゲットドメインデータセットとの分布が相違しているという現象に対して、領域自己適応的ポリシーに基づく教師なしロバスト性分割方法を提出する。２つのモデルが互いに学習し、互いに監督することによって、ノイズラベルと教師なし画像分割タスクを効果的に解決し、画像分割の正確性を向上させる。
【0124】
本願の各実施例における各ステップは必ずしもステップ番号に示される順番で順次実行されるとは限らないと理解されるべきである。本明細書に特に明記しない限り、これらのステップの実行は厳格な順番に限定されるものではない。これらのステップは、他の順番で実行されてもよい。また、各実施例における少なくとも一部のステップは、複数のサブステップ又は複数の段階を含んでもよい。これらのサブステップ又は段階は、必ずしも同一の時刻で実行されるとは限らず、異なる時刻で実行されてもよい。これらのサブステップ又は段階は必ずしも実行順番で実行されるとは限らず、他のステップ又は他のステップのサブステップや段階の少なくとも一部と共に順次実行されてもよく、交替で実行されてもよい。
【0125】
上記方法をより好適に実施するために、これに応じて、本願の実施例は、画像分割装置を更に提供する。該画像分割装置は、具体的には、電子機器に集積されてもよい。該電子機器は、サーバであってもよく、端末であってもよく、更に、端末とサーバを含むシステムであってもよい。
【0126】
例えば、図３に示すように、該画像分割装置は、取得ユニット３０１と、第１分割ユニット３０２と、第２分割ユニット３０３と、決定ユニット３０４と、訓練ユニット３０５と、第３分割ユニット３０６とを備えてもよく、これらは以下のとおりである。
【0127】
取得ユニット３０１は、ターゲットドメイン画像、及びターゲット情報がラベリングされたソースドメイン画像を取得するように構成され、
【0128】
第１分割ユニット３０２は、第１敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第１ソースドメイン分割損失と第１ターゲットドメイン分割損失を決定するように構成され、
【0129】
第２分割ユニット３０３は、第２敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第２ソースドメイン分割損失と第２ターゲットドメイン分割損失を決定するように構成され、
【0130】
決定ユニット３０４は、該第１ソースドメイン分割損失と該第２ソースドメイン分割損失に基づいて、第１ソースドメインターゲット画像と第２ソースドメインターゲット画像を決定し、該第１ターゲットドメイン分割損失と該第２ターゲットドメイン分割損失に基づいて、第１ターゲットドメインターゲット画像と第２ターゲットドメインターゲット画像を決定するように構成され、
【0131】
訓練ユニット３０５は、第１ソースドメインターゲット画像、第１ターゲットドメインターゲット画像、第２ソースドメインターゲット画像及び第２ターゲットドメインターゲット画像を利用して、該第１敵対的生成ネットワークと該第２敵対的生成ネットワークに対してクロス訓練を行い、訓練された第１敵対的生成ネットワークを得るように構成され、
【0132】
第３分割ユニット３０６は、該訓練された第１敵対的生成ネットワークの生成ネットワークに基づいて、分割待ち画像に対して分割を行い、分割結果を得るように構成される。
【0133】
選択的に、いくつかの実施例において、該第１分割ユニット３０２は、第１抽出サブユニットと、第１分割サブユニットと、第２分割サブユニットと、を備えてもよく、これらは以下のとおりである。
【0134】
該第１抽出サブユニットは、第１敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像及びターゲットドメイン画像に対してそれぞれ特徴抽出を行い、第１ソースドメイン画像の特徴情報と第１ターゲットドメイン画像の特徴情報を得るように構成され、
該第１分割サブユニットは、該第１ソースドメイン画像の特徴情報に基づいて、該ソースドメイン画像に対してターゲット分割を行い、第１ソースドメイン分割損失を決定するように構成され、
該第２分割サブユニットは、該第１ターゲットドメイン画像の特徴情報に基づいて、該ターゲットドメイン画像に対してターゲット分割を行い、第１ターゲットドメイン分割損失を決定するように構成される。
該第１分割サブユニットは、該第１ソースドメイン画像の特徴情報に基づいて、該ソースドメイン画像に対してターゲット分割を行い、第１ソースドメイン分割損失を決定するように構成され、
該第２分割サブユニットは、該第１ターゲットドメイン画像の特徴情報に基づいて、該ターゲットドメイン画像に対してターゲット分割を行い、第１ターゲットドメイン分割損失を決定するように構成される。
【0135】
選択的に、いくつかの実施例において、該ソースドメイン画像は、ノイズ画像とノイズのない画像を含み、該第１分割サブユニットは、具体的には、該第１ソースドメイン画像の特徴情報に基づいて、該ソースドメイン画像におけるノイズ画像に対してターゲット分割を行い、第１ノイズ分割確率を得、ソースドメイン画像におけるノイズ画像の重みマップを取得し、該第１ノイズ分割確率及びノイズ画像の重みマップに基づいて、第１ノイズ分割損失を取得し、該第１ソースドメイン画像の特徴情報に基づいて、該ソースドメイン画像におけるノイズのない画像に対してターゲット分割を行い、第１ノイズのない分割確率を得、第１ノイズのない分割確率及びノイズのない画像のラベリング結果に基づいて、第１ノイズのない分割損失を取得し、該第１ノイズ分割損失及び該第１ノイズのない分割損失に基づいて、第１ソースドメイン分割損失を決定するように構成される。
【0136】
選択的に、いくつかの実施例において、該第２分割サブユニットは、具体的には、該第１ターゲットドメイン画像の特徴情報に基づいて、該ターゲットドメイン画像に対してターゲット分割を行い、第１ターゲットドメイン分割確率を得、該第１ターゲットドメイン分割確率に基づいて、第１ターゲットドメイン分割結果を生成し、該第１ターゲットドメイン分割結果及び該ターゲットドメイン画像に基づいて、第１ターゲットドメイン分割損失を取得するように構成される。
【0137】
選択的に、いくつかの実施例において、該第２分割ユニット３０３は、第２抽出サブユニットと、第３分割サブユニットと、第４分割サブユニットと、を備えてもよく、これらは以下のとおりである。
【0138】
該第２抽出サブユニットは、第２敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ特徴抽出を行い、第２ソースドメイン画像の特徴情報と第２ターゲットドメイン画像の特徴情報を得るように構成され、
該第３分割サブユニットは、該第２ソースドメイン画像の特徴情報に基づいて、該ソースドメイン画像に対してターゲット分割を行い、第２ソースドメイン分割損失を決定するように構成され、
該第４分割サブユニットは、該第２ターゲットドメイン画像の特徴情報に基づいて、該ターゲットドメイン画像に対してターゲット分割を行い、第２ターゲットドメイン分割損失を決定するように構成される。
該第３分割サブユニットは、該第２ソースドメイン画像の特徴情報に基づいて、該ソースドメイン画像に対してターゲット分割を行い、第２ソースドメイン分割損失を決定するように構成され、
該第４分割サブユニットは、該第２ターゲットドメイン画像の特徴情報に基づいて、該ターゲットドメイン画像に対してターゲット分割を行い、第２ターゲットドメイン分割損失を決定するように構成される。
【0139】
選択的に、いくつかの実施例において、該ソースドメイン画像は、ノイズ画像とノイズのない画像を含み、該第３分割サブユニットは、具体的には、該第２ソースドメイン画像の特徴情報に基づいて、該ソースドメイン画像におけるノイズ画像に対してターゲット分割を行い、第２ノイズ分割確率を得、ソースドメイン画像におけるノイズ画像の重みマップを取得し、該第２ノイズ分割確率及びノイズ画像の重みマップに基づいて、第２ノイズ分割損失を取得し、該第２ソースドメイン画像の特徴情報に基づいて、該ソースドメイン画像におけるノイズのない画像に対してターゲット分割を行い、第２ノイズのない分割確率を得、第２ノイズのない分割確率及びノイズのない画像のラベリング結果に基づいて、第２ノイズのない分割損失を取得し、該第２ノイズ分割損失及び該第２ノイズのない分割損失に基づいて、第２ソースドメイン分割損失を決定するように構成される。
【0140】
選択的に、いくつかの実施例において、該第４分割サブユニットは、具体的には、該第２ターゲットドメイン画像の特徴情報に基づいて、該ターゲットドメイン画像に対してターゲット分割を行い、第２ターゲットドメイン分割確率を得、該第２ターゲットドメイン分割確率に基づいて、第２ターゲットドメイン分割結果を生成し、該第２ターゲットドメイン分割結果及び該ターゲットドメイン画像に基づいて、第２ターゲットドメイン分割損失を取得するように構成される。
【0141】
選択的に、いくつかの実施例において、該決定ユニット３０４は、第１決定サブユニットと、第２決定サブユニットと、を備えてもよく、これらは以下のとおりである。
【0142】
該第１決定サブユニットは、具体的には、該第１ソースドメイン分割損失を順序付け、順序付けた第１ソースドメイン分割損失に基づいて、所定の損失条件を満たすソースドメイン画像を選択し、第１ソースドメインターゲット画像として決定し、該第２ソースドメイン分割損失を順序付け、順序付けた第２ソースドメイン分割損失に基づいて、所定の損失条件を満たすソースドメイン画像を選択し、第２ソースドメインターゲット画像として決定するように構成される。
【0143】
該第２決定サブユニットは、具体的には、該第１ターゲットドメイン分割損失に基づいて、該第１敵対的生成ネットワークに対して訓練を行い、訓練結果を利用して、第１ターゲットドメインターゲット画像を生成し、該第２ターゲットドメイン分割損失に基づいて、該第２敵対的生成ネットワークに対して訓練を行い、訓練結果を利用して、第２ターゲットドメインターゲット画像を生成するように構成される。
【0144】
選択的に、いくつかの実施例において、該訓練ユニット３０５は、第１訓練サブユニットと、第２訓練サブユニットと、を備えてもよく、これらは以下のとおりである。
【0145】
該第１訓練サブユニットは、具体的には、第１敵対的生成ネットワークの生成ネットワークを用いて、第２ソースドメインターゲット画像と第２ターゲットドメインターゲット画像に対してそれぞれ分割を行い、第２ソースドメインターゲット分割結果と第２ターゲットドメインターゲット分割結果を得、第１敵対的生成ネットワークの判別ネットワークを用いて、第２ソースドメインターゲット分割結果と第２ターゲットドメインターゲット分割結果に対して判別を行い、第２ターゲット判別結果を得、第２ソースドメインターゲット分割結果、第２ターゲットドメインターゲット分割結果及び第２ターゲット判別結果に基づいて、第１敵対的生成ネットワークに対して訓練を行い、訓練された第１敵対的生成ネットワークを得るように構成される。
【0146】
該第２訓練サブユニットは、具体的には、第２敵対的生成ネットワークの生成ネットワークを用いて、第１ソースドメインターゲット画像と第１ターゲットドメインターゲット画像に対してそれぞれ分割を行い、第１ソースドメインターゲット分割結果と第１ターゲットドメインターゲット分割結果を得、第２敵対的生成ネットワークの判別ネットワークを用いて、第１ソースドメインターゲット分割結果と第１ターゲットドメインターゲット分割結果に対して判別を行い、第１ターゲット判別結果を得、第１ソースドメインターゲット分割結果、第１ターゲットドメインターゲット分割結果及び第１ターゲット判別結果に基づいて、第２敵対的生成ネットワークに対して訓練を行い、訓練された第２敵対的生成ネットワークを得るように構成される。
【0147】
選択的に、いくつかの実施例において、該第１訓練サブユニットは、具体的には、第２ターゲットドメインターゲット画像の情報エントロピーを算出し、第１敵対的生成ネットワークの判別ネットワークを用いて、該第２ソースドメインターゲット分割結果、第２ターゲットドメインターゲット分割結果及び第２ターゲットドメインターゲット画像の情報エントロピーに基づいて、第２ターゲット判別結果を得るように構成される。
【0148】
選択的に、いくつかの実施例において、該第１訓練サブユニットは、具体的には、該第２ソースドメインターゲット分割結果及び第２ソースドメインターゲット画像のラベリング結果に基づいて、第２ソースドメインターゲット分割損失を取得し、該第２ターゲットドメインターゲット分割結果及び第２ターゲットドメインターゲット画像に基づいて、第２ターゲットドメインターゲット分割損失を取得し、第２ソースドメインターゲット分割結果及び第２ターゲットドメインターゲット分割結果に基づいて、判別ネットワークの第２ターゲット判別損失を取得し、第２ソースドメインターゲット分割損失、第２ターゲットドメインターゲット分割損失及び第２ターゲット判別損失に基づいて、第１敵対的生成ネットワークに対して訓練を行い、訓練された第１敵対的生成ネットワークを得るように構成される。
【0149】
選択的に、いくつかの実施例において、該第１訓練サブユニットは、該第２ソースドメインターゲット分割損失及び該第２ターゲットドメインターゲット分割損失に基づいて、第１敵対的生成ネットワークの極小化敵対的損失を構築し、該第２ターゲット判別損失に基づいて、第１敵対的生成ネットワークの極大化敵対的損失を構築し、該極小化敵対的損失及び該極大化敵対的損失に基づいて、第１敵対的生成ネットワークに対して反復訓練を行い、訓練された第１敵対的生成ネットワークを得るように構成される。
【0150】
選択的に、いくつかの実施例において、該第２訓練サブユニットは、具体的には、第１ターゲットドメインターゲット画像の情報エントロピーを算出し、第２敵対的生成ネットワークの判別ネットワークを用いて、該第１ソースドメインターゲット分割結果、第１ターゲットドメインターゲット分割結果及び第１ターゲットドメインターゲット画像の情報エントロピーに基づいて、第１ターゲット判別結果を得るように構成される。
【0151】
選択的に、いくつかの実施例において、該第２訓練サブユニットは、具体的には、該第１ソースドメインターゲット分割結果及び第１ソースドメインターゲット画像のラベリング結果に基づいて、第１ソースドメインターゲット分割損失を取得し、該第１ターゲットドメインターゲット分割結果及び第１ターゲットドメインターゲット画像に基づいて、第１ターゲットドメインターゲット分割損失を取得し、第１ソースドメインターゲット分割結果及び第１ターゲットドメインターゲット分割結果に基づいて、判別ネットワークの第１ターゲット判別損失を取得し、第１ソースドメインターゲット分割損失、第１ターゲットドメインターゲット分割損失及び第１ターゲット判別損失に基づいて、第２敵対的生成ネットワークに対して訓練を行い、訓練された第２敵対的生成ネットワークを得るように構成される。
【0152】
選択的に、いくつかの実施例において、該第２訓練サブユニットは、具体的には、該第１ソースドメインターゲット分割損失及び該第１ターゲットドメインターゲット分割損失に基づいて、第２敵対的生成ネットワークの極小化敵対的損失を構築し、該第１ターゲット判別損失に基づいて、第２敵対的生成ネットワークの極大化敵対的損失を構築し、該極小化敵対的損失及び該極大化敵対的損失に基づいて、第２敵対的生成ネットワークに対して反復訓練を行い、訓練された第２敵対的生成ネットワークを得るように構成される。
【0153】
具体的に実施する時、上記各ユニットは、独立したエンティティとして実現してもよく、任意に組み合わせを行って、同一又は複数のエンティティとして実現してもよい。上記各ユニットの具体的な実施は、上記方法の実施例を参照してもよい。ここでは、詳細な説明を省略する。
【0154】
上記から分かるように、本願の実施例において、まず、取得ユニット３０１によって、ターゲットドメイン画像、及びターゲット情報がラベリングされたソースドメイン画像を取得し、更に、第１分割ユニット３０２によって、第１敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第１ソースドメイン分割損失と第１ターゲットドメイン分割損失を決定し、第２分割ユニット３０３によって、第２敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第２ソースドメイン分割損失と第２ターゲットドメイン分割損失を決定し、続いて、決定ユニット３０４によって、該第１ソースドメイン分割損失と該第２ソースドメイン分割損失に基づいて、第１ソースドメインターゲット画像と第２ソースドメインターゲット画像を決定し、該第１ターゲットドメイン分割損失と該第２ターゲットドメイン分割損失に基づいて、第１ターゲットドメインターゲット画像と第２ターゲットドメインターゲット画像を決定し、そして、訓練ユニット３０５によって、第１ソースドメインターゲット画像、第１ターゲットドメインターゲット画像、第２ソースドメインターゲット画像及び第２ターゲットドメインターゲット画像を利用して、該第１敵対的生成ネットワークと該第２敵対的生成ネットワークに対してクロス訓練を行い、訓練された第１敵対的生成ネットワークを得、更に、第３分割ユニット３０６によって、該訓練された第１敵対的生成ネットワークの生成ネットワークに基づいて、分割待ち画像に対して分割を行い、分割結果を得る。該方案は、主に、データのラベルにノイズが存在し、ソースドメインとターゲットドメインデータセットとの分布が相違しているという現象に対して、領域自己適応的ポリシーに基づく教師なしロバスト性分割方法を提出する。２つのモデルが互いに学習し、互いに監督することによって、ノイズラベルと教師なし画像分割タスクを効果的に解決し、画像分割の正確性を向上させる。
【0155】
また、本願の実施例は、電子機器を更に提供する。図４に示すように、本願の実施例に係る電子機器の構造概略図を示す。具体的には、
該電子機器は、１つ又は１つ以上の処理コアを有するプロセッサ４０１、１つ又は１つ以上のコンピュータ可読記憶媒体を有するメモリ４０２、電源４０３及び入力ユニット４０４などの部材を含んでもよい。当業者であれば理解できるように、図４に示される電子機器の構造は、電子機器を限定するものではなく、図示したものより多く又はより少ない部材を備えてもよく、又は、幾つかの部材を組み合わせたものであってもよく、又は、異なる部材配置を備えてもよい。
該電子機器は、１つ又は１つ以上の処理コアを有するプロセッサ４０１、１つ又は１つ以上のコンピュータ可読記憶媒体を有するメモリ４０２、電源４０３及び入力ユニット４０４などの部材を含んでもよい。当業者であれば理解できるように、図４に示される電子機器の構造は、電子機器を限定するものではなく、図示したものより多く又はより少ない部材を備えてもよく、又は、幾つかの部材を組み合わせたものであってもよく、又は、異なる部材配置を備えてもよい。
【0156】
プロセッサ４０１は、該電子機器の制御センターである。これは、種々のインタフェース及び回路を利用して電子機器全体の各部分を接続する。メモリ４０２に記憶されたソフトウェアプログラム及び／又はモジュールを実行するか又は実行し、メモリ４０２に記憶されたデータを呼び出すことで、電子機器の種々の機能を実行してデータを処理し、電子機器全体に対してモニタリングする。
【0157】
選択的に、プロセッサ４０１は、１つ又は複数の処理コアを含んでもよい。好ましくは、プロセッサ４０１は、アプリケーションプロセッサとモデムプロセッサを集積したものであってもよい。ここで、アプリケーションプロセッサは、主に、オペレーティングシステム、ユーザインタフェース及びアプリケーションプログラムなどを処理する。モデムプロセッサは、主に、無線通信を処理する。上記モデムプロセッサは、プロセッサ４０１に集積されなくてもよいことが理解されるべきである。
【0158】
メモリ４０２は、ソフトウェアプログラム及びモジュールを記憶するように構成され、プロセッサ４０１は、メモリ４０２に記憶されたソフトウェアプログラム及びモジュールを実行することで、種々の機能適用及びデータ処理を実行する。メモリ４０２は、主に、プログラム記憶エリア及びデータ記憶エリアを含んでもよく、プログラム記憶エリアは、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラム（例えば、音声再生機能、画像再生機能など）などを記憶することができる。データ記憶エリアは、電子機器の使用に作成されたデータなどを記憶することができる。なお、メモリ４０２は、高速ランダムアクセスメモリを含んでもよく、不揮発性メモリを含んでもよい。例えば、少なくとも１つの磁気ディスクメモリデバイス、フラッシュメモリデバイス又は他の揮発性ソリッドステートメモリデバイスを含む。これに応じて、メモリ４０２は、プロセッサ４０１のメモリ４０２へのアクセスを提供するために、メモリコントローラを更に含んでもよい。
【0159】
電子機器は、各部材に給電する電源４０３を更に備える。好ましくは、電源４０３は、電源管理システムを介してプロセッサ４０１に論理的に接続されて、電源管理システムにより、充電及び放電の管理、エネルギー消費管理などの機能を実現させることができる。電源４０３は、１つ又は１つ以上の直流又は交流電源、再充電システム、電源故障検出回路、電源コンバータ又はインバータ、電源状態インジケータなどの任意のコンポーネントを更に含んでもよい。
【0160】
該電子機器は、入力ユニット４０４を更に備えてもよい。該入力ユニット４０４は、入力された数字又は文字情報を受信し、ユーザ設定及び機能制御に関わるキーボード、マウス、操作レバー、光学又はトラックボール信号の入力を生成するために用いられる。
【0161】
示されていないが、電子機器は、表示ユニットなどを更に備えてもよい。
【0162】
具体的には、電子機器におけるメモリ４０２に、プロセッサ４０１上で実行できるコンピュータ可読命令が記憶されており、プロセッサ４０１は、該コンピュータ可読命令を実行して、
【0163】
ターゲットドメイン画像、及びターゲット情報がラベリングされたソースドメイン画像を取得し、第１敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第１ソースドメイン分割損失と第１ターゲットドメイン分割損失を決定し、第２敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第２ソースドメイン分割損失と第２ターゲットドメイン分割損失を決定し、続いて、該第１ソースドメイン分割損失と該第２ソースドメイン分割損失に基づいて、第１ソースドメインターゲット画像と第２ソースドメインターゲット画像を決定し、該第１ターゲットドメイン分割損失と該第２ターゲットドメイン分割損失に基づいて、第１ターゲットドメインターゲット画像と第２ターゲットドメインターゲット画像を決定し、そして、第１ソースドメインターゲット画像、第１ターゲットドメインターゲット画像、第２ソースドメインターゲット画像及び第２ターゲットドメインターゲット画像を利用して、該第１敵対的生成ネットワークと該第２敵対的生成ネットワークに対してクロス訓練を行い、訓練された第１敵対的生成ネットワークを得、更に、該訓練された第１敵対的生成ネットワークの生成ネットワークに基づいて、分割待ち画像に対して分割を行い、分割結果を得るステップを実施する。
【0164】
上記各操作の具体的な実施は、上記実施例を参照してもよい。
【0165】
上記から分かるように、本願の実施例は、まず、ターゲットドメイン画像、及びターゲット情報がラベリングされたソースドメイン画像を取得し、更に、第１敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第１ソースドメイン分割損失と第１ターゲットドメイン分割損失を決定し、第２敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第２ソースドメイン分割損失と第２ターゲットドメイン分割損失を決定し、続いて、該第１ソースドメイン分割損失と該第２ソースドメイン分割損失に基づいて、第１ソースドメインターゲット画像と第２ソースドメインターゲット画像を決定し、該第１ターゲットドメイン分割損失と該第２ターゲットドメイン分割損失に基づいて、第１ターゲットドメインターゲット画像と第２ターゲットドメインターゲット画像を決定し、そして、第１ソースドメインターゲット画像、第１ターゲットドメインターゲット画像、第２ソースドメインターゲット画像及び第２ターゲットドメインターゲット画像を利用して、該第１敵対的生成ネットワークと該第２敵対的生成ネットワークに対してクロス訓練を行い、訓練された第１敵対的生成ネットワークを生成し、更に、該訓練された第１敵対的生成ネットワークの生成ネットワークに基づいて、分割待ち画像に対して分割を行い、分割結果を得る。該方案は、主に、データのラベルにノイズが存在し、ソースドメインとターゲットドメインデータセットとの分布が相違しているという現象に対して、領域自己適応的ポリシーに基づく教師なしロバスト性分割方法を提出する。２つのモデルが互いに学習し、互いに監督することによって、ノイズラベルと教師なし画像分割タスクを効果的に解決し、画像分割の正確性を向上させる。
【0166】
当業者であれば理解できるように、上記実施例の種々の方法における全て又は一部のステップは、コンピュータ可読命令によって完了されてもよく、又は、コンピュータ可読命令によって関連ハードウエアを制御することによって完了されてもよい。該コンピュータ可読命令は、不揮発性記憶媒体に記憶されて、プロセッサによってロードされて実行されてもよい。
【0167】
このため、本願の実施例は、コンピュータ可読命令が記憶されている１つ又は複数の不揮発性記憶媒体を更に提供する。コンピュータ可読命令は、１つ又は複数のプロセッサによって実行される時、プロセッサに、
ターゲットドメイン画像、及びターゲット情報がラベリングされたソースドメイン画像を取得し、第１敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第１ソースドメイン分割損失と第１ターゲットドメイン分割損失を決定し、第２敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第２ソースドメイン分割損失と第２ターゲットドメイン分割損失を決定し、続いて、該第１ソースドメイン分割損失と該第２ソースドメイン分割損失に基づいて、第１ソースドメインターゲット画像と第２ソースドメインターゲット画像を決定し、該第１ターゲットドメイン分割損失と該第２ターゲットドメイン分割損失に基づいて、第１ターゲットドメインターゲット画像と第２ターゲットドメインターゲット画像を決定し、そして、第１ソースドメインターゲット画像、第１ターゲットドメインターゲット画像、第２ソースドメインターゲット画像及び第２ターゲットドメインターゲット画像を利用して、該第１敵対的生成ネットワークと該第２敵対的生成ネットワークに対してクロス訓練を行い、訓練された第１敵対的生成ネットワークを生成し、更に、該訓練された第１敵対的生成ネットワークの生成ネットワークに基づいて、分割待ち画像に対して分割を行い、分割結果を得るステップを実行させる。
ターゲットドメイン画像、及びターゲット情報がラベリングされたソースドメイン画像を取得し、第１敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第１ソースドメイン分割損失と第１ターゲットドメイン分割損失を決定し、第２敵対的生成ネットワークにおける生成ネットワークを用いて、ソースドメイン画像とターゲットドメイン画像に対してそれぞれ分割を行い、第２ソースドメイン分割損失と第２ターゲットドメイン分割損失を決定し、続いて、該第１ソースドメイン分割損失と該第２ソースドメイン分割損失に基づいて、第１ソースドメインターゲット画像と第２ソースドメインターゲット画像を決定し、該第１ターゲットドメイン分割損失と該第２ターゲットドメイン分割損失に基づいて、第１ターゲットドメインターゲット画像と第２ターゲットドメインターゲット画像を決定し、そして、第１ソースドメインターゲット画像、第１ターゲットドメインターゲット画像、第２ソースドメインターゲット画像及び第２ターゲットドメインターゲット画像を利用して、該第１敵対的生成ネットワークと該第２敵対的生成ネットワークに対してクロス訓練を行い、訓練された第１敵対的生成ネットワークを生成し、更に、該訓練された第１敵対的生成ネットワークの生成ネットワークに基づいて、分割待ち画像に対して分割を行い、分割結果を得るステップを実行させる。
【0168】
上記各操作の具体的な実施は、上記実施例を参照してもよい。
【0169】
該不揮発性記憶媒体は、読み出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、磁気ディスク、又は光ディスクなどを含んでもよい。
【0170】
以上では、本願の実施例による画像分割方法、装置及び記憶媒体を詳しく説明した。本明細書において、具体的な例を利用して、本願の原理及び実施形態を説明した。上記実施例の説明は、本発明の方法とその中心的な思想を理解することを目的としたものに過ぎない。また、当業者であれば、本発明の趣旨に基づいて、具体的な実施形態及び応用範囲のいずれも変化できる。従って、本明細書の内容は本発明を制限するものと理解すべきではない。
【符号の説明】
【0171】
１０１ 残差ネットワーク
３０１ 取得ユニット
３０２ 第１分割ユニット
３０３ 第２分割ユニット
３０４ 決定ユニット
３０５ 訓練ユニット
３０６ 第３分割ユニット
４０１ プロセッサ
４０２ メモリ
４０３ 電源
４０４ 入力ユニット
３０１ 取得ユニット
３０２ 第１分割ユニット
３０３ 第２分割ユニット
３０４ 決定ユニット
３０５ 訓練ユニット
３０６ 第３分割ユニット
４０１ プロセッサ
４０２ メモリ
４０３ 電源
４０４ 入力ユニット
【図1a】
【図1b】
【図2a】
【図2b】
【図2c】
【図2d】
【図3】
【図4】
【手続補正書】
【提出日】2022-04-20
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
電子機器が実行する画像分割方法であって、ターゲットドメイン画像、及びターゲット情報がラベリングされたソースドメイン画像を取得するステップと、
第１敵対的生成ネットワークにおける生成ネットワークを用いて、前記ソースドメイン画像と前記ターゲットドメイン画像に対してそれぞれ分割を行い、第１ソースドメイン分割損失と第１ターゲットドメイン分割損失を決定するステップと、
第２敵対的生成ネットワークにおける生成ネットワークを用いて、前記ソースドメイン画像と前記ターゲットドメイン画像に対してそれぞれ分割を行い、第２ソースドメイン分割損失と第２ターゲットドメイン分割損失を決定するステップと、
前記第１ソースドメイン分割損失と前記第２ソースドメイン分割損失に基づいて、第１ソースドメインターゲット画像と第２ソースドメインターゲット画像を決定し、前記第１ターゲットドメイン分割損失と前記第２ターゲットドメイン分割損失に基づいて、第１ターゲットドメインターゲット画像と第２ターゲットドメインターゲット画像を決定するステップと、
前記第１ソースドメインターゲット画像、前記第１ターゲットドメインターゲット画像、前記第２ソースドメインターゲット画像及び前記第２ターゲットドメインターゲット画像を利用して、前記第１敵対的生成ネットワークと前記第２敵対的生成ネットワークに対してクロス訓練を行い、訓練された第１敵対的生成ネットワークを得るステップと、
前記訓練された第１敵対的生成ネットワークの生成ネットワークに基づいて、分割待ち画像に対して分割を行い、分割結果を得るステップと、
を含む、画像分割方法。
【請求項2】
前記第１敵対的生成ネットワークにおける生成ネットワークを用いて、前記ソースドメイン画像と前記ターゲットドメイン画像に対してそれぞれ分割を行い、第１ソースドメイン分割損失と第１ターゲットドメイン分割損失を決定するステップは、前記第１敵対的生成ネットワークにおける生成ネットワークを用いて、前記ソースドメイン画像及び前記ターゲットドメイン画像に対してそれぞれ特徴抽出を行い、第１ソースドメイン画像の特徴情報と第１ターゲットドメイン画像の特徴情報を得るステップと、
前記第１ソースドメイン画像の特徴情報に基づいて、前記ソースドメイン画像に対してターゲット分割を行い、前記第１ソースドメイン分割損失を決定するステップと、
前記第１ターゲットドメイン画像の特徴情報に基づいて、前記ターゲットドメイン画像に対してターゲット分割を行い、前記第１ターゲットドメイン分割損失を決定するステップと、
を含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記ソースドメイン画像は、ノイズ画像とノイズのない画像を含み、前記第１ソースドメイン画像の特徴情報に基づいて、前記ソースドメイン画像に対してターゲット分割を行い、第１ソースドメイン分割損失を決定するステップは、前記第１ソースドメイン画像の特徴情報に基づいて、前記ソースドメイン画像におけるノイズ画像に対してターゲット分割を行い、第１ノイズ分割確率を得るステップと、
前記ソースドメイン画像におけるノイズ画像の重みマップを取得するステップと、
前記第１ノイズ分割確率及び前記ノイズ画像の重みマップに基づいて、第１ノイズ分割損失を取得するステップと、
前記第１ソースドメイン画像の特徴情報に基づいて、前記ソースドメイン画像におけるノイズのない画像に対してターゲット分割を行い、第１ノイズのない分割確率を得るステップと、
前記第１ノイズのない分割確率及び前記ノイズのない画像のラベリング結果に基づいて、第１ノイズのない分割損失を取得するステップと、
前記第１ノイズ分割損失及び前記第１ノイズのない分割損失に基づいて、第１ソースドメイン分割損失を決定するステップと、
を含むことを特徴とする
請求項２に記載の方法。
【請求項4】
前記第１ターゲットドメイン画像の特徴情報に基づいて、前記ターゲットドメイン画像に対してターゲット分割を行い、第１ターゲットドメイン分割損失を決定するステップは、前記第１ターゲットドメイン画像の特徴情報に基づいて、前記ターゲットドメイン画像に対してターゲット分割を行い、第１ターゲットドメイン分割確率を得るステップと、
前記第１ターゲットドメイン分割確率に基づいて、第１ターゲットドメイン分割結果を生成するステップと、
前記第１ターゲットドメイン分割結果及び前記ターゲットドメイン画像に基づいて、第１ターゲットドメイン分割損失を取得するステップと、
を含むことを特徴とする
請求項２に記載の方法。
【請求項5】
前記第２敵対的生成ネットワークにおける生成ネットワークを用いて、前記ソースドメイン画像と前記ターゲットドメイン画像に対してそれぞれ分割を行い、第２ソースドメイン分割損失と第２ターゲットドメイン分割損失を決定するステップは、前記第２敵対的生成ネットワークにおける生成ネットワークを用いて、前記ソースドメイン画像と前記ターゲットドメイン画像に対してそれぞれ特徴抽出を行い、第２ソースドメイン画像の特徴情報と第２ターゲットドメイン画像の特徴情報を得るステップと、
前記第２ソースドメイン画像の特徴情報に基づいて、前記ソースドメイン画像に対してターゲット分割を行い、第２ソースドメイン分割損失を決定するステップと、
前記第２ターゲットドメイン画像の特徴情報に基づいて、前記ターゲットドメイン画像に対してターゲット分割を行い、第２ターゲットドメイン分割損失を決定するステップと、
を含むことを特徴とする
請求項１に記載の方法。
【請求項6】
前記第１ソースドメイン分割損失と前記第２ソースドメイン分割損失に基づいて、第１ソースドメインターゲット画像と第２ソースドメインターゲット画像を決定するステップは、前記第１ソースドメイン分割損失を順序付け、順序付けた第１ソースドメイン分割損失に基づいて、所定の損失条件を満たすソースドメイン画像を選択し、第１ソースドメインターゲット画像として決定するステップと、
前記第２ソースドメイン分割損失を順序付け、順序付けた第２ソースドメイン分割損失に基づいて、所定の損失条件を満たすソースドメイン画像を選択し、第２ソースドメインターゲット画像として決定するステップと、
を含むことを特徴とする
請求項１に記載の方法。
【請求項7】
前記第１ターゲットドメイン分割損失と前記第２ターゲットドメイン分割損失に基づいて、第１ターゲットドメインターゲット画像と第２ターゲットドメインターゲット画像を決定するステップは、前記第１ターゲットドメイン分割損失に基づいて、前記第１敵対的生成ネットワークに対して訓練を行い、訓練結果を利用して、第１ターゲットドメインターゲット画像を生成するステップと、
前記第２ターゲットドメイン分割損失に基づいて、前記第２敵対的生成ネットワークに対して訓練を行い、訓練結果を利用して、第２ターゲットドメインターゲット画像を生成するステップと、
を含むことを特徴とする
請求項１に記載の方法。
【請求項8】
前記第１ソースドメインターゲット画像、前記第１ターゲットドメインターゲット画像、前記第２ソースドメインターゲット画像及び前記第２ターゲットドメインターゲット画像を利用して、前記第１敵対的生成ネットワークと前記第２敵対的生成ネットワークに対してクロス訓練を行い、訓練された第１敵対的生成ネットワークを得るステップは、前記第１敵対的生成ネットワークの生成ネットワークを用いて、前記第２ソースドメインターゲット画像と前記第２ターゲットドメインターゲット画像に対してそれぞれ分割を行い、第２ソースドメインターゲット分割結果と第２ターゲットドメインターゲット分割結果を得るステップと、
前記第１敵対的生成ネットワークの判別ネットワークを用いて、前記第２ソースドメインターゲット分割結果と前記第２ターゲットドメインターゲット分割結果に対して判別を行い、第２ターゲット判別結果を得るステップと、
前記第２ソースドメインターゲット分割結果、前記第２ターゲットドメインターゲット分割結果及び前記第２ターゲット判別結果に基づいて、前記第１敵対的生成ネットワークに対して訓練を行い、訓練された第１敵対的生成ネットワークを得るステップと、
前記第２敵対的生成ネットワークの生成ネットワークを用いて、前記第１ソースドメインターゲット画像と前記第１ターゲットドメインターゲット画像に対してそれぞれ分割を行い、第１ソースドメインターゲット分割結果と第１ターゲットドメインターゲット分割結果を得るステップと、
前記第２敵対的生成ネットワークの判別ネットワークを用いて、前記第１ソースドメインターゲット分割結果と前記第１ターゲットドメインターゲット分割結果に対して判別を行い、第１ターゲット判別結果を得るステップと、
前記第１ソースドメインターゲット分割結果、前記第１ターゲットドメインターゲット分割結果及び前記第１ターゲット判別結果に基づいて、前記第２敵対的生成ネットワークに対して訓練を行い、訓練された第２敵対的生成ネットワークを得るステップと、
を含むことを特徴とする
請求項１に記載の方法。
【請求項9】
前記第１敵対的生成ネットワークの判別ネットワークを用いて、前記第２ソースドメインターゲット分割結果と前記第２ターゲットドメインターゲット分割結果に対して判別を行い、第２ターゲット判別結果を得るステップは、前記第２ターゲットドメインターゲット画像の情報エントロピーを算出するステップと、
前記第１敵対的生成ネットワークの判別ネットワークを用いて、前記第２ソースドメインターゲット分割結果、前記第２ターゲットドメインターゲット分割結果及び前記第２ターゲットドメインターゲット画像の情報エントロピーに基づいて、第２ターゲット判別結果を得るステップと、
を含むことを特徴とする
請求項８に記載の方法。
【請求項10】
前記第２ソースドメインターゲット分割結果、前記第２ターゲットドメインターゲット分割結果及び前記第２ターゲット判別結果に基づいて、前記第１敵対的生成ネットワークに対して訓練を行い、訓練された第１敵対的生成ネットワークを得るステップは、前記第２ソースドメインターゲット分割結果及び前記第２ソースドメインターゲット画像のラベリング結果に基づいて、第２ソースドメインターゲット分割損失を取得するステップと、
前記第２ターゲットドメインターゲット分割結果及び前記第２ターゲットドメインターゲット画像に基づいて、第２ターゲットドメインターゲット分割損失を取得するステップと、
前記第２ソースドメインターゲット分割結果及び前記第２ターゲットドメインターゲット分割結果に基づいて、判別ネットワークの第２ターゲット判別損失を取得するステップと、
前記第２ソースドメインターゲット分割損失、前記第２ターゲットドメインターゲット分割損失及び前記第２ターゲット判別損失に基づいて、前記第１敵対的生成ネットワークに対して訓練を行い、訓練された第１敵対的生成ネットワークを得るステップと、
を含むことを特徴とする
請求項８に記載の方法。
【請求項11】
前記第２ソースドメインターゲット分割損失、前記第２ターゲットドメインターゲット分割損失及び前記第２ターゲット判別損失に基づいて、前記第１敵対的生成ネットワークに対して訓練を行い、訓練された第１敵対的生成ネットワークを得るステップは、前記第２ソースドメインターゲット分割損失及び前記第２ターゲットドメインターゲット分割損失に基づいて、前記第１敵対的生成ネットワークの極小化敵対的損失を構築するステップと、
前記第２ターゲット判別損失に基づいて、前記第１敵対的生成ネットワークの極大化敵対的損失を構築するステップと、
前記極小化敵対的損失及び前記極大化敵対的損失に基づいて、前記第１敵対的生成ネットワークに対して反復訓練を行い、訓練された第１敵対的生成ネットワークを得るステップと、
を含むことを特徴とする
請求項１０に記載の方法。
【請求項12】
画像分割装置であって、ターゲットドメイン画像、及びターゲット情報がラベリングされたソースドメイン画像を取得するように構成される取得ユニットと、
第１敵対的生成ネットワークにおける生成ネットワークを用いて、前記ソースドメイン画像と前記ターゲットドメイン画像に対してそれぞれ分割を行い、第１ソースドメイン分割損失と第１ターゲットドメイン分割損失を決定するように構成される第１分割ユニットと、
第２敵対的生成ネットワークにおける生成ネットワークを用いて、前記ソースドメイン画像と前記ターゲットドメイン画像に対してそれぞれ分割を行い、第２ソースドメイン分割損失と第２ターゲットドメイン分割損失を決定するように構成される第２分割ユニットと、
前記第１ソースドメイン分割損失と前記第２ソースドメイン分割損失に基づいて、第１ソースドメインターゲット画像と第２ソースドメインターゲット画像を決定し、前記第１ターゲットドメイン分割損失と前記第２ターゲットドメイン分割損失に基づいて、第１ターゲットドメインターゲット画像と第２ターゲットドメインターゲット画像を決定するように構成される決定ユニットと、
前記第１ソースドメインターゲット画像、前記第１ターゲットドメインターゲット画像、前記第２ソースドメインターゲット画像及び前記第２ターゲットドメインターゲット画像を利用して、前記第１敵対的生成ネットワークと前記第２敵対的生成ネットワークに対してクロス訓練を行い、訓練された第１敵対的生成ネットワークを得るように構成される訓練ユニットと、
前記訓練された第１敵対的生成ネットワークの生成ネットワークに基づいて、分割待ち画像に対して分割を行い、分割結果を得るように構成される第３分割ユニットと、
を備える、画像分割装置。
【請求項13】
コンピュータに、請求項１～１１のいずれか１項に記載の画像分割方法を実行させる、コンピュータプログラム。
【請求項14】
電子機器であって、メモリと、プロセッサと、メモリに記憶されており、且つプロセッサ上で実行できるコンピュータ可読命令と、を含み、前記プロセッサは、前記コンピュータ可読命令を実行して、請求項１～１１のいずれか１項に記載の画像分割方法を実行する、電子機器。
【国際調査報告】