特許 7214825 擬似マスク基盤の弱教師ありセマンティック分割装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-01-20

(45)【発行日】2023-01-30

(54)【発明の名称】擬似マスク基盤の弱教師ありセマンティック分割装置及び方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230123BHJP

   G06T 7/10 20170101ALI20230123BHJP

【ＦＩ】

G06T7/00 350C

G06T7/10

【請求項の数】 13

(21)【出願番号】P 2021207591

(22)【出願日】2021-12-21

【審査請求日】2021-12-21

(31)【優先権主張番号】10-2021-0124495

(32)【優先日】2021-09-17

(33)【優先権主張国・地域又は機関】KR

【新規性喪失の例外の表示】特許法第３０条第２項適用 集会名 ＣＶＰＲのＷｅｂサイトセミナー 開催日 令和 ３年 ６月２２日

(73)【特許権者】

【識別番号】514274672

【氏名又は名称】延世大学校 産学協力団

【氏名又は名称原語表記】ＹＯＮＳＥＩ ＵＮＩＶＥＲＳＩＴＹ，ＵＮＩＶＥＲＳＩＴＹ－ＩＮＤＵＳＴＲＹ ＦＯＵＮＤＡＴＩＯＮ（ＵＩＦ）

【住所又は居所原語表記】５０，ＹＯＮＳＥＩ－ＲＯ， ＳＥＯＤＡＥＭＵＮ－ＧＵ， ＳＥＯＵＬ ０３７２２， ＲＥＰＵＢＬＩＣ ＯＦ ＫＯＲＥＡ

(74)【代理人】

【識別番号】110000051

【氏名又は名称】弁理士法人共生国際特許事務所

(72)【発明者】

【氏名】シム，ヒョンジュン

(72)【発明者】

【氏名】イ，スンホ

(72)【発明者】

【氏名】イ，ミンヒョン

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２０１９－０６１６５８（ＪＰ，Ａ）

【文献】中国特許出願公開第１１３０９６１３８（ＣＮ，Ａ）

【文献】韓国登録特許第１０－２１６０２２４（ＫＲ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／１０

(57)【特許請求の範囲】

【請求項1】

イメージを第１の分類器に提供して複数の第１のローカルマップ（ｌｏｃａｌｉｚａｔｉｏｎ ｍａｐｓ）を生成するローカルマップ生成部と、
前記複数の第１のローカルマップに基づいて、境界線及び同時発生ピクセル（ｃｏ－ｏｃｃｕｒｒｉｎｇ ｐｉｘｅｌ）を識別するのに活用される顕著性マップ（ｓａｌｉｅｎｃｙ ｍａｐ）を介して重要領域損失を算出する顕著性マップ処理部と、
前記複数の第１のローカルマップに基づいて、多重－ラベル（ｍｕｌｔｉ－ｌａｂｅｌ）を予測して分類損失を算出する多重－ラベル処理部と、
前記重要領域損失及び前記分類損失に基づいて、前記第１の分類器を更新した第２の分類器を生成し、前記第２の分類器による複数の第２のローカルマップに基づいて擬似マスクを生成する擬似マスク生成部と、
を備えることを特徴とする擬似マスク基盤の弱教師ありセマンティック分割（Ｗｅａｋｌｙ Ｓｕｐｅｒｖｉｓｅｄ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）装置。

【請求項2】

前記擬似マスクに基づいて、前記イメージのオブジェクト及び境界識別を行うオブジェクト認識部をさらに備えることを特徴とする請求項１に記載の擬似マスク基盤の弱教師ありセマンティック分割装置。

【請求項3】

前記ローカルマップ生成部は、
Ｎ個（前記Ｎは、自然数）のフォアグラウンドオブジェクトを含むフォアグラウンドローカルマップ及び単一のバックグラウンドオブジェクトを含むバックグラウンドローカルマップを前記複数の第１のローカルマップとして生成することを特徴とする請求項１に記載の擬似マスク基盤の弱教師ありセマンティック分割装置。

【請求項4】

前記顕著性マップ処理部は、
フォアグラウンドローカルマップ及びバックグラウンドローカルマップを加重演算して予測顕著性マップを生成し、前記予測顕著性マップ及び実際顕著性マップの間の差に該当する前記重要領域損失を決定することを特徴とする請求項１に記載の擬似マスク基盤の弱教師ありセマンティック分割装置。

【請求項5】

前記顕著性マップ処理部は、
前記予測顕著性マップを下記の数式１によって生成することを特徴とする請求項４に記載の擬似マスク基盤の弱教師ありセマンティック分割装置。

【数1】

前記

は、前記予測顕著性マップに該当し、前記Ｍ_ｆｇは、前記フォアグラウンドローカルマップに該当し、前記Ｍ_ｂｇは、前記バックグラウンドローカルマップに該当する。
前記λは、∈［０、１］であり、前記フォアグラウンドローカルマップ及び前記バックグラウンドローカルマップのインバージョン間の加重合算を調節するハイパーパラメータである。

【請求項6】

前記多重－ラベル処理部は、
前記複数の第１のローカルマップにあるフォアグラウンドローカルマップに関するイメージレベルラベル及び当該ラベルの予測間の多重－ラベルマージン損失を前記分類損失として算出することを特徴とする請求項１に記載の擬似マスク基盤の弱教師ありセマンティック分割装置。

【請求項7】

前記擬似マスク生成部は、
前記重要領域損失及び前記分類損失を合算した全体学習損失を算出して前記第１の分類器を更新することを特徴とする請求項１に記載の擬似マスク基盤の弱教師ありセマンティック分割装置。

【請求項8】

前記擬似マスク生成部は、
前記重要領域損失及び前記分類損失を介してのジョイント学習で前記擬似マスクを生成してオブジェクトの境界線を識別し、及び同時発生ピクセルを除去することを特徴とする請求項１に記載の擬似マスク基盤の弱教師ありセマンティック分割装置。

【請求項9】

イメージを第１の分類器に提供して複数の第１のローカルマップ（ｌｏｃａｌｉｚａｔｉｏｎ ｍａｐｓ）を生成するローカルマップ生成ステップと、
前記複数の第１のローカルマップに基づいて、境界線及び同時発生ピクセル（ｃｏ－ｏｃｃｕｒｒｉｎｇ ｐｉｘｅｌ）を識別するのに活用される顕著性マップ（ｓａｌｉｅｎｃｙ ｍａｐ）を介して重要領域損失を算出する顕著性マップ処理ステップと、
前記複数の第１のローカルマップに基づいて、多重－ラベル（ｍｕｌｔｉ－ｌａｂｅｌ）を予測して分類損失を算出する多重－ラベル処理ステップと、
前記重要領域損失及び前記分類損失に基づいて、前記第１の分類器を更新した第２の分類器を生成し、前記第２の分類器による複数の第２のローカルマップに基づいて擬似マスクを生成する擬似マスク生成ステップと、
を含むことを特徴とする擬似マスク基盤の弱教師ありセマンティック分割（Ｗｅａｋｌｙ Ｓｕｐｅｒｖｉｓｅｄ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）方法。

【請求項10】

前記擬似マスクに基づいて前記イメージのオブジェクト及び境界識別を行うオブジェクト認識ステップをさらに含むことを特徴とする請求項９に記載の擬似マスク基盤の弱教師ありセマンティック分割方法。

【請求項11】

前記ローカルマップ生成ステップは、
Ｎ個（前記Ｎは、自然数）のフォアグラウンドオブジェクトを含むフォアグラウンドローカルマップ及び単一のバックグラウンドオブジェクトを含むバックグラウンドローカルマップを前記複数の第１のローカルマップとして生成することを特徴とする請求項９に記載の擬似マスク基盤の弱教師ありセマンティック分割方法。

【請求項12】

前記顕著性マップ処理ステップは、
フォアグラウンドローカルマップ及びバックグラウンドローカルマップを加重演算して予測顕著性マップを生成し、前記予測顕著性マップ及び実際顕著性マップの間の差に該当する前記重要領域損失を決定することを特徴とする請求項９に記載の擬似マスク基盤の弱教師ありセマンティック分割方法。

【請求項13】

前記多重－ラベル処理ステップは、
前記複数の第１のローカルマップにあるフォアグラウンドローカルマップに関するイメージレベルラベル及び当該ラベルの予測間の多重－ラベルマージン損失を前記分類損失として算出することを特徴とする請求項９に記載の擬似マスク基盤の弱教師ありセマンティック分割方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、弱教師ありセマンティック分割技術に関し、より詳しくは、ローカルマップ（ｌｏｃａｌｉｚａｔｉｏｎ ｍａｐ）と顕著性マップ（ｓａｌｉｅｎｃｙ ｍａｐ）とを活用して弱教師あり学習基盤のセマンティック分割の性能を向上させる擬似マスク基盤の弱教師ありセマンティック分割装置及び方法に関する。

【背景技術】

【0002】

セマンティック分割（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）とは、イメージをピクセル（ｐｉｘｅｌ）別に分類することである。すなわち、それぞれのピクセルがどのクラスに属するか分類することである。

【0003】

図１は、セマンティック分割の例を示す図である。

【0004】

図１に示すように、完全教師ありセマンティック分割（Ｆｕｌｌｙ Ｓｕｐｅｒｖｉｓｅｄ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ；ＦＳＳＳ）の場合には、イメージの各ピクセルのクラス情報を全て学習して予測する。これに対し、弱教師ありセマンティック分割（Ｗｅａｋｌｙ Ｓｕｐｅｒｖｉｓｅｄ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ；ＷＳＳＳ）の場合には、イメージ水準ラベルのみを学習に活用し、イメージの各ピクセルのクラスを予測する。

【0005】

完全教師あり学習とは、ディープラーニングを介したオブジェクト認識方法のうち、既に作られたデータセットと、その中に含まれているオブジェクトの位置に対する実際情報とを共に学習する方法である。弱教師あり学習とは、学習過程でイメージと、それに対するクラスラベルのみを学習させてディープラーニング予測モデルを生成する方法である。弱教師あり学習におけるオブジェクト検出方法のうち、ＣＡＭ（Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ ｍａｐｐｉｎｇ）は、オブジェクトの差別的な特徴をコンボリューション層で抽出し、視覚化してオブジェクトを探す方法である。

【0006】

完全教師ありセマンティック分割（ＦＳＳＳ）と比較して弱教師ありセマンティック分割（ＷＳＳＳ）は、ピクセル水準ラベルとイメージ水準ラベルとの教師あり情報差があるため、次のような問題が発生する。

【0007】

第１に、ローカルマップ（ｌｏｃａｌｉｚａｔｉｏｎ ｍａｐ）が目標オブジェクトの小さい部分のみを捕捉する稀少なオブジェクト範囲（Ｓｐａｒｓｅ ｏｂｊｅｃｔ ｃｏｖｅｒａｇｅ）である。

【0008】

第２に、ローカルマップは、オブジェクトの境界線が不一致しているという問題を経験する。

【0009】

第３に、ローカルマップは、目標オブジェクトと同時発生するピクセルを正しく区分できない。例えば、汽車と鉄路を正しく区分できない。

【0010】

このような問題を解決するために、既存の研究は、３つの部類に分類される。

【0011】

１番目は、ピクセルを消して、点数マップ（ｓｃｏｒｅ ｍａｐｓ）をアンサンブルするか、自体教師あり信号を使用してオブジェクトの全体範囲を捕捉するようにオブジェクト範囲を拡張する接近方式である。しかし、オブジェクトの形状を案内する手掛かりがないため、目標オブジェクトの正確なオブジェクト境界を決定できない。

【0012】

２番目は、擬似マスク（ｐｓｅｕｄｏ－ｍａｓｋｓ）のオブジェクト境界を改善するのに重点をおく接近方式であって、これは、オブジェクト境界を効果的に学習して境界まで擬似マスクを自然に拡張する。しかし、フォアグラウンドとバックグラウンドとの間の強い相関関係（すなわち、同時発生）は、帰納バイアス（すなわち、目標オブジェクトに一致するピクセルを観察する頻度）とほとんど区別できないため、依然として非－目標オブジェクトの一致するピクセルを目標オブジェクトと区別できない。

【0013】

最後に、３番目は、追加実測マスク（ｔｒｕｔｈ ｍａｓｋｓ）または顕著性マップを使用して同時発生の問題を緩和することを目標とする接近方式である。しかし、弱教師あり学習パラダイムとはかけ離れた強力なピクセル水準ラベルが必要である。

【先行技術文献】

【特許文献】

【0014】

【文献】韓国登録特許第１０－２１６０２２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0015】

本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、ローカルマップ（ｌｏｃａｌｉｚａｔｉｏｎ ｍａｐ）と顕著性マップ（ｓａｌｉｅｎｃｙ ｍａｐ）とを活用して弱教師あり学習基盤のセマンティック分割の性能を向上させる擬似マスク基盤の弱教師ありセマンティック分割装置及び方法を提供することにある。

【0016】

また、本発明の目的は、イメージ水準ラベルで学習された分類器から計算されたローカルマップと既製重要領域（ｓａｌｉｅｎｃｙ）探知モデルから取得した顕著性マップとの相互補完を介して互いに異なるオブジェクト及び境界線を正確に区分できる擬似マスク基盤の弱教師ありセマンティック分割装置及び方法を提供することにある。

【0017】

さらに、本発明は、擬似マスクの品質を向上させることができる新しい弱教師ありセマンティック分割（ＷＳＳＳ）フレームワークを提案する擬似マスク基盤の弱教師ありセマンティック分割装置及び方法を提供することを目的とする。

【課題を解決するための手段】

【0018】

上記目的を達成するためになされた本発明の一態様による擬似マスク基盤の弱教師ありセマンティック分割装置は、イメージを第１の分類器に提供して複数の第１のローカルマップ（ｌｏｃａｌｉｚａｔｉｏｎ ｍａｐｓ）を生成するローカルマップ生成部と、前記複数の第１のローカルマップに基づいて、境界線及び同時発生ピクセル（ｃｏ－ｏｃｃｕｒｒｉｎｇ ｐｉｘｅｌ）を識別するのに活用される顕著性マップ（ｓａｌｉｅｎｃｙ ｍａｐ）を介して重要領域損失を算出する顕著性マップ処理部と、前記複数の第１のローカルマップに基づいて、多重－ラベル（ｍｕｌｔｉ－ｌａｂｅｌ）を予測して分類損失を算出する多重－ラベル処理部と、前記重要領域損失及び前記分類損失に基づいて、前記第１の分類器を更新した第２の分類器を生成し、前記第２の分類器及び前記第２の分類器による複数の第２のローカルマップに基づいて擬似マスクを生成する擬似マスク生成部と、を備えることを特徴とする。

【0019】

前記擬似マスク基盤の弱教師ありセマンティック分割装置は、前記擬似マスクに基づいて、前記イメージのオブジェクト及び境界識別を行うオブジェクト認識部をさらに備え得る。

【0020】

前記ローカルマップ生成部は、Ｎ個（前記Ｎは、自然数）のフォアグラウンドオブジェクトを含むフォアグラウンドローカルマップ及び単一のバックグラウンドオブジェクトを含むバックグラウンドローカルマップを前記複数の第１のローカルマップとして生成し得る。

【0021】

前記顕著性マップ処理部は、フォアグラウンドローカルマップ及びバックグラウンドローカルマップを加重演算して予測顕著性マップを生成し、前記予測顕著性マップ及び実際顕著性マップの間の差に該当する前記重要領域損失を決定し得る。

【0022】

前記顕著性マップ処理部は、前記予測顕著性マップを下記の数式１によって生成し得る。

【0023】

【数1】

【0024】

前記

は、前記予測顕著性マップに該当し、前記Ｍ_ｆｇは、前記フォアグラウンドローカルマップに該当し、前記Ｍ_ｂｇは、前記バックグラウンドローカルマップに該当する。

【0025】

前記λは、∈［０、１］であり、前記フォアグラウンドローカルマップ及び前記バックグラウンドローカルマップのインバージョン間の加重合算を調節するハイパーパラメータである。

【0026】

前記多重－ラベル処理部は、前記複数の第１のローカルマップにあるフォアグラウンドローカルマップに関するイメージレベルラベル及び当該ラベルの予測間の多重－ラベルマージン損失を前記分類損失として算出し得る。

【0027】

前記擬似マスク生成部は、前記重要領域損失及び前記分類損失を合算した全体学習損失を算出して前記第１の分類器を更新し得る。

【0028】

前記擬似マスク生成部は、前記重要領域損失及び前記分類損失を介してのジョイント学習で前記擬似マスクを生成してオブジェクトの境界線を識別し、及び同時発生ピクセルを除去し得る。

【0029】

上記目的を達成するためになされた本発明の一態様による擬似マスク基盤の弱教師ありセマンティック分割方法は、イメージを第１の分類器に提供して複数の第１のローカルマップ（ｌｏｃａｌｉｚａｔｉｏｎ ｍａｐｓ）を生成するローカルマップ生成ステップと、前記複数の第１のローカルマップに基づいて、境界線及び同時発生ピクセル（ｃｏ－ｏｃｃｕｒｒｉｎｇ ｐｉｘｅｌ）を識別するのに活用される顕著性マップ（ｓａｌｉｅｎｃｙ ｍａｐ）を介して重要領域損失を算出する顕著性マップ処理ステップと、前記複数の第１のローカルマップに基づいて、多重－ラベル（ｍｕｌｔｉ－ｌａｂｅｌ）を予測して分類損失を算出する多重－ラベル処理ステップと、前記重要領域損失及び前記分類損失に基づいて、前記第１の分類器を更新した第２の分類器を生成し、前記第２の分類器及び前記第２の分類器による複数の第２のローカルマップに基づいて擬似マスクを生成する擬似マスク生成ステップと、を含むことを特徴とする。

【0030】

前記擬似マスク基盤の弱教師ありセマンティック分割方法は、前記擬似マスクに基づいて前記イメージのオブジェクト及び境界識別を行うオブジェクト認識ステップをさらに含み得る。

【0031】

前記ローカルマップ生成ステップは、Ｎ個（前記Ｎは、自然数）のフォアグラウンドオブジェクトを含むフォアグラウンドローカルマップ及び単一のバックグラウンドオブジェクトを含むバックグラウンドローカルマップを前記複数の第１のローカルマップとして生成し得る。

【0032】

前記顕著性マップ処理ステップは、フォアグラウンドローカルマップ及びバックグラウンドローカルマップを加重演算して予測顕著性マップを生成し、前記予測顕著性マップ及び実際顕著性マップの間の差に該当する前記重要領域損失を決定し得る。

【0033】

前記多重－ラベル処理ステップは、前記複数の第１のローカルマップにあるフォアグラウンドローカルマップに関するイメージレベルラベル及び当該ラベルの予測間の多重－ラベルマージン損失を前記分類損失として算出し得る。

【発明の効果】

【0034】

本発明は、次の効果を奏する。ただし、特定の実施形態が次の効果を全て含むとか、次の効果だけを含むという意味ではないので、本発明の技術範囲は、これによって限定されない。

【0035】

本発明による擬似マスク基盤の弱教師ありセマンティック分割装置及び方法は、ローカルマップ（ｌｏｃａｌｉｚａｔｉｏｎ ｍａｐ）と顕著性マップ（ｓａｌｉｅｎｃｙ ｍａｐ）とを活用して弱教師あり学習基盤のセマンティック分割の性能を向上させることができる。

【0036】

本発明による擬似マスク基盤の弱教師ありセマンティック分割装置及び方法は、イメージ水準ラベルで学習された分類器から計算されたローカルマップと既製重要領域（ｓａｌｉｅｎｃｙ）探知モデルから取得した顕著性マップとの相互補完を介して互いに異なるオブジェクト及び境界線を正確に区分することができる。

【0037】

本発明による擬似マスク基盤の弱教師ありセマンティック分割装置及び方法は、擬似マスクの品質を向上させる新しい弱教師ありセマンティック分割（ＷＳＳＳ）フレームワークを提案する。

【図面の簡単な説明】

【0038】

【図1】セマンティック分割の例を示す図である。

【図2】本発明による擬似マスク基盤の弱教師ありセマンティック分割装置のシステム構成を説明する図である。

【図3】図２の擬似マスク基盤の弱教師ありセマンティック分割装置に含まれるプロセッサの機能的構成を説明する図である。

【図4】図３の擬似マスク基盤の弱教師ありセマンティック分割装置で行われる擬似マスク基盤の弱教師ありセマンティック分割過程を説明するフローチャートである。

【図5】本発明による擬似マスク基盤の弱教師ありセマンティック分割のための全体フレームワークを説明する図である。

【図6】本発明によるローカルマップ及び顕著性マップを共に使用した場合を説明する図である。

【図7】予測顕著性マップの例を示す図である。

【図8】本発明による境界捕捉の定性的例を示す図である。

【図9】本発明の一実施形態による擬似マスク基盤の弱教師ありセマンティック分割結果の定性的例を視覚化した図である。

【発明を実施するための形態】

【0039】

本発明は、下記の研究課題をもって支援を受けて出願されました。
〔この発明を支援した国家研究開発事業〕
［課題固有番号］ １７１１１２６０８２
［課題番号］ ２０２０－０－０１３６１－００２
［省庁名］ 科学技術情報通信部
［課題管理（専門）機関名］ 情報通信企画評価院
［研究事業名］ 情報通信放送研究開発事業
［研究課題名］ 人工知能大学院支援（延世大学校）
［寄与率］ １／２
［課題実行機関名］ 延世大学校産学協力団
［研究期間］ ２０２１．０１．０１～２０２１．１２．３１
〔この発明を支援した国家研究開発事業〕
［課題固有番号］ １７１１１３８０８１
［課題番号］ ＫＭＤＦ＿ＰＲ＿２０２００９０１＿００６９－０１
［省庁名］ 科学技術情報通信部
［課題管理（専門）機関名］ （財団）汎省庁全周期医療機器研究開発事業団
［研究事業名］ 汎省庁全周期医療機器研究開発事業（Ｒ＆Ｄ）
［研究課題名］ （主観）汎用的適用可能なＣＮＮ基盤の低線量ＣＴノイズ
低減技術開発
［寄与率］ １／２
［課題実行機関名］ 延世大学校産学協力団
［研究期間］ ２０２１．０３．０１～２０２２．０２．２８
本発明に関する説明は、構造的ないし機能的説明のための実施形態に過ぎないので、本発明は、本明細書で説明された実施形態によって限定されない。すなわち、実施形態は、様々な変更が可能であり、種々の形態を有し得るので、本発明は、技術的思想を実現できる均等物等を含む。また、本発明において提示された目的または効果は、特定の実施形態がこれを全部含むとか、そのような効果だけを含むという意味ではないので、本発明の技術範囲は、これによって限定されない。

【0040】

一方、本明細書に記載される用語の意味は、次のように理解される。

【0041】

「第１」、「第２」などの用語は、１つの構成要素を他の構成要素から区別するためのものであって、これらの用語によって技術範囲は限定されない。例えば、第１構成要素は第２構成要素と命名され得る、同様に、第２構成要素も第１構成要素と命名され得る。

【0042】

ある構成要素が他の構成要素に「連結されて」いると記載された場合には、他の構成要素に直接連結され得るが、中間にその他の構成要素が存在することもできる。これに対し、ある構成要素が他の構成要素に「直接連結されて」いると記載された場合には、中間にその他の構成要素は存在しない。一方、構成要素等の間の関係を説明する他の表現、すなわち、「～間に」と「すぐ～間に」、または「～に隣り合う」と「～に直接隣り合う」なども同様に解釈される。

【0043】

単数の表現は、文脈上明白に異なるように定義しない限り、複数の表現を含む。「含む」または「有する」などの用語は、実施された特徴、数字、ステップ、動作、構成要素、部分品、またはこれらを組み合わせたものが存在することを指定するものであり、１つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部分品、またはこれらのを組み合わせたものなどの存在または付加の可能性を予め排除しない。

【0044】

各ステップにおいて、識別符号（例えば、ａ、ｂ、ｃなど）は、説明の便宜のために使用されるものであって、識別符号は、各ステップの順序を説明するものではなく、各ステップは、文脈上明白に特定の順序を記載しない限り、明記された順序とは異なるように行われ得る。すなわち、各ステップは、明記された順序と同様に行われるか、実質的に同時に行われるか、反対の順序通りに行われ得る。

【0045】

本発明は、コンピュータ読み取り可能な記録媒体にコンピュータ読み取り可能なコードで実現され、コンピュータ読み取り可能な記録媒体は、コンピューティングシステムによって読み取られるデータが格納されるあらゆる種類の記録装置を含む。コンピュータ読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがある。また、コンピュータ読み取り可能な記録媒体は、ネットワークで連結されたコンピューティングシステムに分散されて、分散方式でコンピュータ読み取り可能なコードが格納されて、実行され得る。

【0046】

本明細書で使用されるあらゆる用語は、特に定義されない限り、本発明の属する技術分野における通常の知識を有する者により一般的に理解されるものと同じ意味を有する。一般的に使用される事前に定義されている用語は、関連技術の文脈上有する意味と一致すると解釈され、本明細書において明白に定義しない限り、理想的であるか、過度に形式的な意味を有するとは解釈されない。

【0047】

図２は、本発明による擬似マスク基盤の弱教師ありセマンティック分割装置のシステム構成を説明する図である。

【0048】

図２に示すように、擬似マスク基盤の弱教師ありセマンティック分割装置１００は、プロセッサ１１０、メモリ１３０、ユーザ入出力部１５０、及びネットワーク入出力部１７０を備えるコンピューティングシステムで構成される。

【0049】

プロセッサ１１０は、擬似マスク基盤の弱教師ありセマンティック分割装置１００が動作する過程での各ステップを処理するプロシージャを実行し、その過程の全般で読み出し、または書き込みが行われるメモリ１３０を管理し、メモリ１３０に含まれる揮発性メモリと不揮発性メモリとの間の同期化時間をスケジュールする。プロセッサ１１０は、擬似マスク基盤の弱教師ありセマンティック分割装置１００の動作全般を制御し、メモリ１３０、ユーザ入出力部１５０、及びネットワーク入出力部１７０に電気的に連結されて、これらの間のデータフローを制御する。プロセッサ１１０は、擬似マスク基盤の弱教師ありセマンティック分割装置１００のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で具現される。

【0050】

メモリ１３０は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）またはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）のような不揮発性メモリで具現され、擬似マスク基盤の弱教師ありセマンティック分割装置１００に必要なデータ全般を格納するのに使用される補助記憶装置を含み、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性メモリで具現された主記憶装置を含む。

【0051】

ユーザ入出力部１５０は、ユーザ入力を受信するための環境及びユーザに特定情報を出力するための環境を含む。例えば、ユーザ入出力部１５０は、タッチパッド、タッチスクリーン、画像キーボード、またはポインティング装置のようなアダプタを含む入力装置及びモニタまたはタッチスクリーンのようなアダプタを含む出力装置を含む。一実施形態において、ユーザ入出力部１５０は、遠隔接続を介して接続されたコンピューティング装置に該当し、このような場合、擬似マスク基盤の弱教師ありセマンティック分割装置１００は、独立的なサーバとして動作する。

【0052】

ネットワーク入出力部１７０は、ネットワークを介して外部装置またはシステムと連結するための環境を含み、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、及びＶＡＮ（Ｖａｌｕｅ Ａｄｄｅｄ Ｎｅｔｗｏｒｋ）などの通信のためのアダプタを含む。

【0053】

図３は、図２の擬似マスク基盤の弱教師ありセマンティック分割装置に含まれるプロセッサの機能的構成を説明する図である。

【0054】

図３に示すように、擬似マスク基盤の弱教師ありセマンティック分割装置１００は、ローカルマップ生成部２１０、顕著性マップ処理部２３０、多重－ラベル処理部２５０、擬似マスク生成部２７０、及びオブジェクト認識部２９０を備える。

【0055】

ローカルマップ生成部２１０は、イメージを第１の分類器に提供して複数の第１のローカルマップ（ｌｏｃａｌｉｚａｔｉｏｎ ｍａｐｓ）を生成する。ローカルマップ生成部２１０は、Ｎ個（Ｎは、自然数）のフォアグラウンドオブジェクトを含むフォアグラウンドローカルマップ及び単一のバックグラウンドオブジェクトを含むバックグラウンドローカルマップを複数の第１のローカルマップとして生成する。ここで、第１の分類器は、コンボリューション神経網（ＣＮＮ）構造で実現され、イメージを通過させて各クラスによる第１のローカルマップを生成する。

【0056】

ＣＮＮ構造は、各レイヤの入出力データの形状維持、複数のフィルタでイメージの特徴抽出及び学習、抽出したイメージの特徴を集め、強化するプーリング（ｐｏｏｌｉｎｇ）レイヤであって、一般の人工神経網よりも少ない学習パラメータを有する。ＣＮＮ構造は、イメージ特徴抽出のために入力データをフィルタが巡回してコンボリューションを計算し、その計算結果を利用して特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を生成する。特徴マップは、原本イメージの位置情報を内包する。

【0057】

顕著性マップ処理部２３０は、複数の第１のローカルマップに基づいて、境界線及び同時発生ピクセル（ｃｏ－ｏｃｃｕｒｉｎｇ ｐｉｘｅｌ）を識別するのに活用される顕著性マップ（ｓａｌｉｅｎｃｙ ｍａｐ）を介して重要領域損失を算出する。顕著性マップ処理部２３０は、フォアグラウンドローカルマップ及びバックグラウンドローカルマップを加重演算して予測顕著性マップを生成する。ここで、顕著性マップ処理部２３０は、ローカルマップ生成部２１０で生成された第１のローカルマップを使用してクラス（ｃｌａｓｓ）情報がない顕著性マップを予測する。顕著性マップは、オブジェクト境界をよりよく表すオブジェクトシルエットを提供する。

【0058】

一実施形態において、顕著性マップ処理部２３０は、予測顕著性マップを下記の数式１を介して生成する。

【0059】

【数1】

【0060】

ここで、

は、予測顕著性マップに該当し、Ｍ_ｆｇは、フォアグラウンドローカルマップに該当し、Ｍ_ｂｇは、バックグラウンドローカルマップに該当する。

【0061】

λは、∈［０、１］であり、フォアグラウンドローカルマップ及びバックグラウンドローカルマップのインバージョン間の加重合算を調節するハイパーパラメータである。

【0062】

顕著性マップ処理部２３０は、予測顕著性マップと実際顕著性マップとの間の差に該当する重要領域損失を決定する。一実施形態において、顕著性マップ処理部２３０は、重要領域損失を下記の数式２を介して算出する。

【0063】

【数2】

【0064】

ここで、

は、重要領域損失に該当し、Ｍ_ｓは、実際顕著性マップに該当し、

は、予測顕著性マップに該当する。

【0065】

ここで、予測顕著性マップ及び既製重要領域ディテクタ（ｓａｌｉｅｎｃｙ ｄｅｔｅｃｔｏｒ）から得た実際顕著性マップで学習教師ありのための擬似マスクとして活用し、境界線と同時発生ピクセルのための手掛かりとして活用する。

【0066】

多重－ラベル処理部２５０は、複数の第１のローカルマップに基づいて、多重－ラベル（ｍｕｌｔｉ－ｌａｂｅｌ）を予測して分類損失を算出する。多重－ラベル処理部２５０は、既存分類器と同様に多重－ラベルを予測するために多重－ラベル分類技法を使用する。多重－ラベル処理部２５０は、複数の第１のローカルマップにあるフォアグラウンドローカルマップに関するイメージレベルラベル及び当該ラベルの予測間の多重－ラベルマージン損失を分類損失として算出する。

【0067】

一実施形態において、多重－ラベル処理部２５０は、分類損失（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｌｏｓｓ）を下記の数式３を介して算出する。

【0068】

【数3】

【0069】

σ（・）は、シグモイド関数（ｓｉｇｍｏｉｄ ｆｕｎｃｔｉｏｎ）である。

【0070】

擬似マスク生成部２７０は、重要領域損失及び分類損失に基づいて、第１の分類器を更新した第２の分類器を生成し、第２の分類器及び第２の分類器による複数の第２のローカルマップに基づいて擬似マスクを生成する。擬似マスク生成部２７０は、重要領域損失及び分類損失を合算した全体学習損失を算出して第１の分類器を更新する。ここで、擬似マスク生成部２７０は、重要領域損失及び分類損失を結合して第１の分類器を更新した最適化された第２の分類器を生成する。このとき、第２の分類器による複数の第２のローカルマップと顕著性マップとが相互補完情報で同伴上昇効果を奏する。

【0071】

擬似マスク生成部２７０は、重要領域損失及び分類損失を介してのジョイント学習で分割ネットワークを学習するための擬似マスクを生成してオブジェクトの境界線を識別し、同時発生ピクセルを除去する。

【0072】

オブジェクト認識部２９０は、擬似マスクに基づいてイメージのオブジェクト及び境界識別を行う。ここで、擬似マスクは、オブジェクトの全体領域を探知し、境界線が精巧になり、同時発生ピクセルの問題を解消する。

【0073】

図４は、図３の擬似マスク基盤の弱教師ありセマンティック分割装置で行われる擬似マスク基盤の弱教師ありセマンティック分割過程を説明するフローチャートである。

【0074】

図４に示すように、擬似マスク基盤の弱教師ありセマンティック分割装置１００は、ローカルマップ生成部２１０により、イメージを第１の分類器に提供して複数の第１のローカルマップ（ｌｏｃａｌｉｚａｔｉｏｎ ｍａｐｓ）を生成する（ステップＳ４１０）。擬似マスク基盤の弱教師ありセマンティック分割装置１００は、顕著性マップ処理部２３０により、複数の第１のローカルマップに基づいて、境界線及び同時発生ピクセル（ｃｏ－ｏｃｃｕｒｒｉｎｇ ｐｉｘｅｌ）を識別するのに活用される顕著性マップ（ｓａｌｉｅｎｃｙ ｍａｐ）を介して重要領域損失を算出する（ステップＳ４３０）。擬似マスク基盤の弱教師ありセマンティック分割装置１００は、多重－ラベル処理部２５０により、複数の第１のローカルマップに基づいて、多重－ラベル（ｍｕｌｔｉ－ｌａｂｅｌ）を予測して分類損失を算出する（ステップＳ４５０）。擬似マスク基盤の弱教師ありセマンティック分割装置１００は、擬似マスク生成部２７０により、重要領域損失及び分類損失に基づいて、第１の分類器を更新した第２の分類器を生成し、第２の分類器による複数の第２のローカルマップに基づいて擬似マスクを生成する（ステップＳ４７０）。擬似マスク基盤の弱教師ありセマンティック分割装置１００は、オブジェクト認識部２９０により、擬似マスクに基づいてイメージのオブジェクト及び境界識別を行う（ステップＳ４９０）。

【0075】

図５は、本発明による擬似マスク基盤の弱教師ありセマンティック分割のための全体フレームワークを説明する図である。

【0076】

図５において、本発明は、既存の弱教師ありセマンティック分割（ＷＳＳＳ）が有する稀少なオブジェクト範囲（Ｓｐａｒｓｅ ｏｂｊｅｃｔ ｃｏｖｅｒａｇｅ）、境界線不一致（Ｂｏｕｎｄａｒｙ ｍｉｓｍａｔｃｈ）、及び同時発生問題（Ｃｏ－ｏｃｃｕｒｒｅｎｃｅ ｐｒｏｂｌｅｍ）を克服するために、弱教師ありセマンティック分割で顕著性マップ（ｓａｌｉｅｎｃｙ ｍａｐ）を擬似ピクセルマップに統合し、境界及び同時発生ピクセルに対する手掛かりとして活用してピクセルレベルフィードバック学習する別名ＥＰＳ（Ｅｘｐｌｉｃｉｔ Ｐｓｅｕｄｏ－ｐｉｘｅｌ Ｓｕｐｅｒｖｉｓｉｏｎ）という新しいＷＳＳＳフレームワークを示している。

【0077】

ここで、顕著性マップを最大限活用するために、Ｃ対象クラスとバックグラウンドクラスとで構成されるＣ＋１クラスを予測する分類器を設計してＣ＋１ローカルマップ、すなわち、対象ラベルに対するＣローカルマップ及びバックグラウンドローカルマップを学習する。Ｃ＋１ローカルマップは、バックボーン（ｂａｃｋｂｏｎｅ）ネットワークで生成され、実際顕著性マップは、既製重要領域探知モデルで生成される。対象ラベルに対する一部ローカルマップは、予測顕著性マップを生成するために選択的に使用される。全体フレームワークは、重要領域損失及び分類損失とともに共同で訓練される。

【0078】

顕著性マップは、オブジェクト境界をよりよく表すことができるオブジェクトシルエットを提供するという属性を活用して境界不一致を管理する。すなわち、Ｃローカルマップでフォアグラウンドマップを推定し、顕著性マップのフォアグラウンドと一致させる方式にて対象ラベルに対するローカルマップにおいて擬似ピクセルフィードバックを受信してオブジェクトの境界を改善する。対象でないオブジェクトの同時発生ピクセルを緩和するために、バックグラウンドローカルマップも顕著性マップと一致させる。バックグラウンドローカルマップは、顕著性マップで擬似ピクセルフィードバックも受信するので、同時発生ピクセルをバックグラウンドに成功的に割り当てる。対象でないオブジェクトの同時発生ピクセルは、ほとんどバックグラウンドと重なる。これは、本発明において対象オブジェクトから同時発生ピクセルを分離する理由である。

【0079】

クラス別ローカルマップを顕著性マップと比較できるようにするために対象ラベルに対するローカルマップを併合し、フォアグラウンドローカルマップ

を生成する。また、バックグラウンドラベルに対するローカルマップであるバックグラウンドローカルマップ

のインバージョンを行ってフォアグラウンドを表す。

【0080】

顕著性マップは、フォアグラウンドローカルマップＭ_ｆｇ及びバックグラウンドローカルマップＭ_ｂｇを使用して予測する。重要領域損失

は、予測顕著性マップと実際顕著性マップとの間のピクセル単位差の合算として定義される。

【0081】

以前には、フォアグラウンドマップが対象ラベルに対するローカルマップの和集合になると仮定して、バックグラウンドマップは、バックグラウンドラベルのローカルマップになる。しかし、そのようなナイーブ（ｎａｉｖｅ）選択規則は、既製モデルにより計算された顕著性マップと互換されない。すなわち、顕著性マップは、度々一部オブジェクトを重要領域オブジェクトで無視する。例えば、汽車近くにいる小さい人を無視する。重要領域モデルは、互いに異なるデータセットの統計を学習するので、このようなシステム的エラーは不回避である。このエラーを考慮しなければ、同じエラーがモデルに伝播されて性能低下を招く。

【0082】

システム的エラーを解決するために、ローカルマップと顕著性マップとの間の重ね合わせ割合を使用する。具体的に、ｉ番目のローカルマップＭｉは、Ｍｉがτ％以上顕著性マップに重なると、フォアグラウンドに割り当てられるか、それとも、バックグラウンドに割り当てられる。フォアグラウンド及びバックグラウンドローカルマップは、下記の数式４を介して生成される。

【0083】

【数4】

【0084】

ここで、

は、バイナリイメージレベルラベルに該当し、

は、Ｍ_ｉ及びＭ_ｓ間の重ね合わせ割合を計算する関数である。

【0085】

このために、まず、ローカルマップと顕著性マップとを２進化する。

【0086】

バックグラウンドラベルに対する単一ローカルマップの代わりに、バックグラウンドラベルに対するローカルマップをフォアグラウンドとして選択されなかったローカルマップと結合する。これを介して、顕著性マップのエラーを迂回し、顕著性マップで無視された一部オブジェクトを効果的に訓練する。

【0087】

次に、本発明のフレームワークで目的関数は、顕著性マップを介しての重要領域損失と多重－ラベル分類損失との２つの部分に公式化される。

【0088】

最後に、総訓練損失は、多重ラベル分類損失と重要領域損失との合計である。すなわち、

である。

【0089】

【0090】

図６は、本発明によるローカルマップ及び顕著性マップを共に使用した場合を説明する図である。

【0091】

図６に示すように、（ａ）は、人、汽車、車を含むイメージ実際（Ｇｒｏｕｎｄｔｒｕｔｈ）であり、（ｂ）は、ＰＦＡＮを介した顕著性マップ（Ｓａｌｉｅｎｃｙ ｍａｐ）であり、（ｃ）は、ＣＡＭを介したローカルマップ（Ｌｏｃａｌｉｚａｔｉｏｎ ｍａｐ）であり、（ｄ）は、顕著性マップ及びローカルマップを共に使用した本発明による弱教師ありセマンティック分割を各々示す。図６の（ｂ）及び（ｃ）の絵のように、顕著性マップは、人と車をキャプチャ（ｃａｐｔｕｒｅ）することができず、ローカルマップは、２つのオブジェクトを過度にキャプチャする。すなわち、ローカルマップは、互いに異なるオブジェクトを区分できるが、境界を効果的に区分できない。顕著性マップは、豊富な境界情報を提供するが、オブジェクトの同一性を表すことができない。これに対し、図６の（ｄ）の絵のように、ローカルマップ及び顕著性マップを共に使用する本発明は、図６の（ａ）の絵のように、人、汽車、車を正確に区分することができる。

【0092】

図７は、予測顕著性マップの例を示す図であって、ＰＡＳＣＡＬ ＶＯＣ ２０１２で予測された顕著性マップの定性的例である。

【0093】

図７において、（ａ）は、入力イメージ、（ｂ）は、イメージ実際（ｇｒｏｕｎｄｔｒｕｔｈ）、（ｃ）は、顕著性マップ（ｓａｌｉｅｎｃｙ ｍａｐｓ）、そして（ｄ）は、本発明において予測された顕著性マップである。

【0094】

本発明では、２つのオブジェクトをジョイント訓練することにより、ローカルマップと顕著性マップとの相互補完情報にてシナジー効果を出すことができる。すなわち、図７の絵のように、互いの雑音と欠落した情報がジョイント訓練戦略を介して補完されることが分かる。既製モデルで得た顕著性マップ（ｃ）には、欠落した情報と雑音がある情報とがあるのに対し、本発明において予測された顕著性マップ（ｄ）には、欠落したオブジェクト（ボートまたは椅子）が成功的に復元され、雑音（水滴または飛行機雲）が除去された。結果的に、本発明では、より正確なオブジェクト境界をキャプチャし、対象オブジェクトから同時発生ピクセルを分離できるという長所がある。このような長所は、セマンティック分割の正確度の側面で既存モデルに対比して最大３．８～１０．６％向上することを見せた。

【0095】

本発明では、新しく提案した弱教師ありセマンティック分割方式であるＥＰＳに対する性能実験を行った。

【0096】

実験設定
データセット：ＰＡＳＣＡＬ ＶＯＣ ２０１２とＭＳ ＣＯＣＯ ２０１４との２つの人気のあるベンチマークデータセットに対する実証的研究を行った。ＰＡＳＣＡＬ ＶＯＣ ２０１２は、２１個のクラス（すなわち、２０個のオブジェクトと背景）で構成されており、訓練、検証、及びテストセットに対して各々１，４６４、１，４４９、１，４５６個のイメージがある。セマンティック分割の一般的な慣行によって１０，５８２個のイメージがある拡張訓練セットを使用する。次に、ＣＯＣＯ ２０１４は、学習及び検証のための８２，０８１及び４０，１３７イメージで背景を含んで８１個のクラスで構成され、対象クラスがないイメージは除かれる。一部オブジェクトのイメージ実際（ｇｒｏｕｎｄｔｒｕｔｈ）分割ラベルが互いに重なるので、ＣＯＣＯ－Ｓｔｕｆｆのイメージ実際（ｇｒｏｕｎｄｔｒｕｔｈ）細分化ラベルを採択して同じＣＯＣＯデータセットで重なるという問題を解決する。

【0097】

評価プロトコル：ＰＡＳＣＡＬ ＶＯＣ ２０１２の検証及びテストセットとＣＯＣＯ ２０１４の検証セットとで方法を検証する。ＰＡＳＣＡＬ ＶＯＣ ２０１２のテストセットに対する評価結果は、公式ＰＡＳＣＡＬ ＶＯＣ評価サーバから持ってくる。また、分割モデルの正確度を測定するために、平均交差結合（ｍＩｏＵ）を採択した。

【0098】

実現細部情報：ＲｅｓＮｅｔ３８を出力歩幅が８である方法のバックボーンネットワークで選択した。全てのバックボーンモデルは、ＩｍａｇｅＮｅｔで事前訓練された。配置サイズが８であるＳＧＤオプティマイザを使用する。この方法は、学習率０．０１（最後のコンボリューション階層の場合、０．１）で２０，０００回繰り返されるまで訓練される。データ増大のために、４４８×４４８に任意サイズ調整、任意裏返し、及び任意切り取りを使用する。分割ネットワークには、ＤｅｅｐＬａｂ－ＬａｒｇｅＦＯＶ（Ｖ１）及びＤｅｅｐＬａｂ－ＡＳＰＰ（Ｖ２）、及びＶＧＧ１６を採択する。そして、それらのバックボーンネットワークのためのＲｅｓＮｅｔ１０１、特に、ＶＧＧ１６基盤ＤｅｅｐＬａｂ－Ｖ１及びＤｅｅｐＬａｂ－Ｖ２、ＲｅｓＮｅｔ１０１基盤ＤｅｅｐＬａｂ－Ｖ１及びＤｅｅｐＬａｂ－Ｖ２の４つの分割ネットワークを使用する。

【0099】

実験結果
１）境界及び同時発生の処理
境界不一致の問題：擬似マスクの境界を検証するために、境界の品質を最先端方法と比較する。ＰＡＳＣＡＬ ＶＯＣ ２０１１で境界注釈（ａｎｎｏｔａｔｉｏｎ）と境界ベンチマークを提供するＳＢＤ（Ｓｅｍａｎｔｉｃ Ｂｏｕｎｄａｒｉｅｓ Ｄａｔａｓｅｔ）を活用する。境界の品質は、ラプラシアン（Ｌａｐｌａｃｉａｎ）境界感知器で擬似マスクの境界を計算することによってクラス－アグノスティック方式で評価される。その後、再現率、精密度、及びＦ１点数を測定して境界品質を評価し、予測境界と実際境界とを比較する。比較結果は、下記の表１のように、本発明が３つの評価指標の全てで他の方法を大きくしのぐことが分かる。

【0100】

【表1】

【0101】

図８は、本発明による境界捕捉の定性的例を示す図である。

【0102】

図８において、（ａ）は、入力イメージ、（ｂ）は、イメージ実際（ｇｒｏｕｎｄｔｒｕｔｈ）であり、（ｃ）は、ＣＡＭ、（ｄ）は、ＳＥＡＭ、（ｅ）は、ＩＣＤ、（ｆ）は、ＳＧＡＮ、そして（ｇ）は、ＥＰＳ方式別擬似マスクに対する定性的比較を示す。

【0103】

図８の比較結果において、絵から見て分かるように、本発明において提示したＥＰＳ方式が他の全ての方法よりもさらに正確な境界を捕捉できる。

【0104】

同時発生の問題：種々の研究で議論されたように、ＰＡＳＣＡＬ ＶＯＣ ２０１２で対象オブジェクトとともに一部バックグラウンドクラスが頻りに現れることを観察した。ここでは、ＰＡＳＣＡＬ－ＣＯＮＴＥＸＴデータセットを使用して同時発生オブジェクトの頻度を定量的に分析する。全体場面（例：水及び鉄道）に対するピクセル水準注釈を提供する。３個の同時発生対を選択する。水がある船、レールにある汽車、プラットホームにある汽車。対象クラスに対する認識モデル評価指標（ＩｏＵ）と対象クラスに一致するクラスとの間の混同割合を比較する。混同割合は、一致するクラスが対象クラスと誤って予測された程度を測定する。

同時発生の問題を扱うそれぞれの既存方式との比較結果は、下記の表２のとおりである。

【0105】

【表2】

【0106】

表２の各項目は、混同割合

であって、低いほど良く、括弧内のＩｏＵは、高いほど良い。

【0107】

本発明のＥＰＳが既存の他の方法よりも一貫して低い混同率を見せていることが分かる。ＳＧＡＮは、本発明と相当類似した混同率を有しているが、本発明は、ＩｏＵ側面で対象クラスを最も正確に捕捉する。ＳＥＡＭは、ＣＡＭより混同率が高く、より一層悪い。ＳＥＡＭは、対象オブジェクトの一致するピクセルに容易に騙される自己教師あり訓練（ｓｅｌｆ－ｓｕｐｅｒｖｉｓｅｄ ｔｒａｉｎｉｎｇ）を適用して対象オブジェクトの全体範囲をカバーする方法を学習するためである。一方、ＣＡＭは、対象オブジェクトの最も区別される領域のみ捕捉し、少し区別される部分（例：一致クラス）は扱わない。これは、先の図８の絵でもみることができる。

【0108】

２）マップ選択戦略の効果
顕著性マップのエラーを緩和するために、マップ選択戦略の効率性を評価する。マップ選択モジュールを使用しない基準線と３つの他のマップ選択戦略を比較する。基本戦略として、フォアグラウンドマップは、全てのオブジェクトローカルマップの統合である。バックグラウンドマップは、バックグラウンドクラスのローカルマップと同じである（すなわち、基本戦略）。次いで、次のような例外を除き、基本（ｎａｉｖｅ）戦略に従う。予め定義された種々のクラス（例：ソファー、椅子、及び食卓）のローカルマップがバックグラウンドマップ（すなわち、事前定義されたクラス戦略）に割り当てられる。最後に提案する選択方法は、上述したように、ローカルマップと顕著性マップとの間の重ね合わせ割合を活用する（すなわち、適応戦略）。

【0109】

下記の表３は、適応戦略が、顕著性マップの体系的な偏向を効果的に処理できることを示す。

【0110】

【表3】

【0111】

表３に示すように、基本（ｎａｖｉｅ）戦略は、ローカルマップで予測された顕著性マップを生成するとき、偏向考慮事項が無いことを意味する。この場合、特に、ソファー、椅子、または食卓のクラスで擬似マスクの性能が低下する。予め定義されたクラスを使用する性能は、顕著性マップで欠落したクラスを無視することによって偏向を緩和できることを示す。しかし、人の観察者が手動で選択しなければならないため、実用的でなく、イメージ別に最適の決定を下すことができない。一方、本発明の適応戦略は、偏向を自動に処理し、与えられた顕著性マップに対してより効果的な決定を下すことができる。

【0112】

３）最新技術との比較
擬似マスクの正確度：一般的な慣行である互いに異なるスケールのイメージで予測結果を集計して多重スケール推論を採択する。その後、ＥＰＳを基準ＣＡＭ及び３つの最新方法であるＳＥＡＭ、ＩＣＤ、及びＳＧＡＮと比較して、汽車セットで擬似マスクの正確度を評価する。ここで、汽車セットの擬似マスクが分割モデルを指導するのに使用されるので、汽車セットの擬似マスクの正確度を測定することは、ＷＳＳＳの一般的なプロトコルである。

【0113】

表４は、擬似マスクの正確度を要約し、ＥＰＳ方法が全ての既存の方法よりも大きい差（すなわち、７－２１％ギャップ）で明確にしのぐことを示す。

【0114】

【表4】

【0115】

これは、先の図８の絵でもＥＰＳ方法がオブジェクト境界を顕著に改善し、擬似マスクの品質側面で３つの他の最新方法よりも性能が最も優れることを確認できる。本発明によるＥＰＳ方法は、オブジェクトの正確な境界を捕捉できるので、オブジェクトの全体範囲を自然に覆い、一致するピクセルも緩和することができる。

【0116】

分割マップの正確度：以前の方法は、擬似マスクを生成し、ＣＲＦ後処理アルゴリズムまたは選好度ネットワークを使用して改善する。一方、先の表４で見ることができるように、生成された擬似マスクは十分に正確なので、擬似マスクに対する追加改善なしに分割ネットワークを訓練する。Ｐａｓｃａｌ ＶＯＣ ２０１２データセットの４個の分割ネットワークで本発明のＥＰＳ方法を広範に評価し、他の方法と正確に比較すると、ＥＰＳ方法は、分割ネットワークに関係なく、他の方法をより一層よく行うことができる。

【0117】

表５は、ＥＰＳ方法が同じＶＧＧ１６バックボーンを使用する他の方法よりもさらに正確であることを示す。

【0118】

【表5】

【0119】

ＶＧＧ１６に対するＥＰＳの結果は、より強力なバックボーン（例：ＲｅｓＮｅｔ１０１）を基盤とする他の既存の方法と似ているか、より優れている。これは、ＥＰＳ方法が既存の方法よりも明らかな改善を示している。

【0120】

表６は、ＰＡＳＣＡＬ ＶＯＣ ２０１２データセットでＥＰＳ方法（顕著性マップがあるＲｅｓＮｅｔ１０１基盤ＤｅｅｐＬａｂＶ１で）が新しい最先端性能（検証の場合、７１．０、テストセットの場合、７１．８）を達成することを示す。

【0121】

【表6】

【0122】

既存の最先端モデルにより達成された利得が約１％であることを強調したのに対し、本発明のＥＰＳ方法は、以前の最高記録よりも３％以上高い利得を達成する。

【0123】

図９は、本発明の一実施形態による擬似マスク基盤の弱教師ありセマンティック分割結果の定性的例を視覚化した図である。

【0124】

図９において、（ａ）は、入力イメージ、（ｂ）は、イメージ実際（ｇｒｏｕｎｄｔｒｕｔｈ）であり、（ｃ）は、分割結果を示す。図９の（ｃ）の分割結果から、本発明において提示したＥＰＳ方法が正確な境界を提供し、同時発生の問題を成功的に解決することが確認される。

【0125】

下記の表７は、ＭＳ ＣＯＣＯ ２０１４で分割結果である。

【0126】

【表7】

【0127】

ＭＳ ＣＯＣＯ ２０１４データセットの最新ＷＳＳＳモデルであるＳＧＡＮと比較するために、ＶＧＧ１６基盤ＤｅｅｐＬａｂ－Ｖ２を分割ネットワークとして使用する。ＥＰＳ方法は、検証セットで３５．７ｍＩｏＵを達成し、ＳＧＡＮよりも１．９％さらに高かった。結果的に、ＣＯＣＯ ２０１４データセットで新しい最先端正確度を達成した。２つのデータセットの既存の最先端技術に対するこのような優れた性能は、ＥＰＳ方法の効率性を確認させる。ローカルマップと顕著性マップとを共に活用して、対象オブジェクトの全体領域を正しく捕捉し、既存モデルの短所を補完できる。

【0128】

重要領域探知モデルの効果：他の重要領域探知モデルの効果を調査するために、ＰＦＡＮ（基本値）、ＯＡＡ、及びＩＣＤで使用されるＤＳＳ、ＵＳＰＳ（すなわち、教師なし探知モデル）の３つの重要領域モデルを採択した。Ｒｅｓｎｅｔ１０１基盤ＤｅｅｐＬａｂ－Ｖ１での分割結果（ｍＩｏＵ）は、各々ＰＦＡＮで７１．０／７１．８、ＤＳＳで７０．０／７０．１、ＵＳＰＳ（検証セット及びテストセット）で６８．８／６９．９である。この点数は、３つの他の重要領域モデルのうちの１つを使用するＥＰＳが先の表６の他の全ての方法よりも依然としてより正確であるということを支援する。特に、教師なし重要領域モデルを使用するＥＰＳは、教師あり重要領域モデルを使用する全ての既存の方法よりも性能が優れている。

【0129】

本発明では、新しく擬似マスク基盤の弱教師ありセマンティック分割フレームワーク（ＥＰＳ）を提案して、ローカルマップと顕著性マップとの間の相互補完を介して顕著性マップ及びローカルマップがジョイントされた擬似ピクセルフィードバック学習をすることにより、雑音や欠落した情報を補完できる。したがって、正確なオブジェクト境界を捕捉し、非対象オブジェクトの同時発生ピクセルを捨てることができ、擬似マスクの品質を大きく向上させることができる。

【0130】

以上、本発明の実施形態を参照して説明したが、当該技術分野の熟練した当業者は、本発明の思想及び技術領域から逸脱しない範囲内で本発明を多様に変更実施することが可能である。

【符号の説明】

【0131】

１１０ 擬似マスク基盤の弱教師ありセマンティック分割装置
１１０ プロセッサ
１３０ メモリ
１５０ ユーザ入出力部
１７０ ネットワーク入出力部
２１０ ローカルマップ生成部
２３０ 顕著性マップ処理部
２５０ 多重－ラベル処理部
２７０ 擬似マスク生成部
２９０ オブジェクト認識部

【要約】      （修正有）

【課題】弱教師あり学習基盤のセマンティック分割の性能を向上できる擬似マスク基盤の弱教師ありセマンティック分割装置及び方法を提供する。
【解決手段】本発明による擬似マスク基盤の弱教師ありセマンティック分割装置１１０は、イメージを第１の分類器に提供して複数の第１のローカルマップを生成するローカルマップ生成部、複数の第１のローカルマップに基づいて、境界線及び同時発生ピクセルを識別するのに活用される顕著性マップを介して重要領域損失を算出する顕著性マップ処理部、複数の第１のローカルマップに基づいて、多重－ラベルを予測して分類損失を算出する多重－ラベル処理部及び重要領域損失及び分類損失に基づいて、第１の分類器を更新した第２の分類器を生成し、第２の分類器による複数の第２のローカルマップに基づいて擬似マスクを生成する擬似マスク生成部を備える。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】