ホーム > 特許ランキング > 株式会社ストラドビジョン
知財求人 - 知財ポータルサイト「IP Force」
特許6865364エッジロスを利用して歩行者イベント、自動車イベント、フォーリングイベント、フォールンイベントを含むイベントを検出するにおいて利用されるセグメンテーション性能向上のための学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6865364
(24)【登録日】2021年4月8日
(45)【発行日】2021年4月28日
(54)【発明の名称】エッジロスを利用して歩行者イベント、自動車イベント、フォーリングイベント、フォールンイベントを含むイベントを検出するにおいて利用されるセグメンテーション性能向上のための学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20210419BHJP
G06T 7/12 20170101ALI20210419BHJP
【ＦＩ】
G06T7/00 350C
G06T7/12
【請求項の数】30
【全頁数】32
(21)【出願番号】特願2019-202412(P2019-202412)
(22)【出願日】2019年11月7日
(65)【公開番号】特開2020-119501(P2020-119501A)
(43)【公開日】2020年8月6日
【審査請求日】2019年11月7日
(31)【優先権主張番号】16/257,832
(32)【優先日】2019年1月25日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】517038176
【氏名又は名称】株式会社ストラドビジョン
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】金 桂賢
(72)【発明者】
【氏名】金 鎔重
(72)【発明者】
【氏名】金 寅洙
(72)【発明者】
【氏名】金 鶴京
(72)【発明者】
【氏名】南 雲鉉
(72)【発明者】
【氏名】夫 碩▲ふん▼
(72)【発明者】
【氏名】成 明哲
(72)【発明者】
【氏名】呂 東勳
(72)【発明者】
【氏名】柳 宇宙
(72)【発明者】
【氏名】張 泰雄
(72)【発明者】
【氏名】鄭 景中
(72)【発明者】
【氏名】諸 泓模
(72)【発明者】
【氏名】趙 浩辰
【審査官】
千葉 久博
(56)【参考文献】
【文献】
特開２０１０−５４３５６（ＪＰ，Ａ）
【文献】
特開２００２−８００４（ＪＰ，Ａ）
【文献】
米国特許出願公開第２０１２／００８２３９６（ＵＳ，Ａ１）
【文献】
三輪卓矢, 外４名，“骨格画像に基づく適応的フィルタを組み込んだブラインドデコンボリューションによる量子化ノイズ低減手法”，映像情報メディア学会技術報告，日本，（一社）映像情報メディア学会，２０１５年 ２月１６日，第３９巻, 第７号，p.125-130
【文献】
Saining Xie, 外１名，"Holistically-Nested Edge Detection"，2015 IEEE International Conference on Computer Vision (ICCV)，米国，２０１５年１２月 ７日，p.1395-1403
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／１２
(57)【特許請求の範囲】
【請求項1】
（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップに一つ以上のコンボリューション演算を適用して第１ないし第ｋエンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ；（ｉｉ）前記第ｋエンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第（ｋ−１）ないし第１デコード済み特徴マップをそれぞれ出力する第（ｋ−１）ないし第１デコンボリューションレイヤ；（ｉｉｉ）前記（ｋ−１）個のデコンボリューションレイヤのうちでｈ個のデコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）にそれぞれ対応する第１ないし第ｈマスクレイヤ；及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤにそれぞれ対応する第１ないし第ｈエッジロスレイヤ；を含む学習装置を利用してセグメンテーション性能を向上させるための学習方法において、
（ａ）前記トレーニングイメージが入力されると、前記学習装置は、前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋエンコード済み特徴マップを生成させる段階；
（ｂ）前記学習装置は、前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に前記第（ｋ−１）ないし前記第１デコード済み特徴マップを生成させるものの、前記学習装置は、前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個の基本デコード済み特徴マップからエッジ部分を抽出して第ｈないし第１エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個の基本デコード済み特徴マップ及び前記第ｈないし前記第１エッジ特徴マップを参照して前記第（ｋ−１）ないし前記第１デコード済み特徴マップのうち少なくとも一部として機能するｈ個のエッジ強化デコード済み特徴マップを生成させる段階；
（ｃ）前記学習装置は、前記第１ないし前記第ｈエッジロスレイヤをもって前記エッジ部分及びこれに対応するＧＴを参照して第１ないし第ｈエッジロスを生成するようにして、前記第１ないし前記第ｈエッジロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整する段階；
を含むことを特徴とする学習方法。
（ａ）前記トレーニングイメージが入力されると、前記学習装置は、前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋエンコード済み特徴マップを生成させる段階；
（ｂ）前記学習装置は、前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に前記第（ｋ−１）ないし前記第１デコード済み特徴マップを生成させるものの、前記学習装置は、前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個の基本デコード済み特徴マップからエッジ部分を抽出して第ｈないし第１エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個の基本デコード済み特徴マップ及び前記第ｈないし前記第１エッジ特徴マップを参照して前記第（ｋ−１）ないし前記第１デコード済み特徴マップのうち少なくとも一部として機能するｈ個のエッジ強化デコード済み特徴マップを生成させる段階；
（ｃ）前記学習装置は、前記第１ないし前記第ｈエッジロスレイヤをもって前記エッジ部分及びこれに対応するＧＴを参照して第１ないし第ｈエッジロスを生成するようにして、前記第１ないし前記第ｈエッジロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整する段階；
を含むことを特徴とする学習方法。
【請求項2】
前記第１ないし前記第ｈエッジロスレイヤは、前記エッジ部分と、これに対応するＧＴとの差を計算して前記第１ないし前記第ｈエッジロスを生成するものの、前記ＧＴは前記第１ないし前記第ｈエッジ特徴マップの大きさにそれぞれ対応する大きさを有した第１ないし第ｈＧＴイメージからそれぞれ抽出されることを特徴とする請求項１に記載の学習方法。
【請求項3】
前記（ｂ）段階で、
前記第（ｋ−１）ないし前記第１デコンボリューションレイヤは、（ｉ）それぞれの前記第ｈないし前記第１エッジ特徴マップと前記第ｈないし前記第１マスクレイヤに対応する前記ｈ個のデコンボリューションレイヤから出力されたそれぞれの前記ｈ個の基本デコード済み特徴マップの要素ごとの和（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｓｕｍ）を利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力された特徴マップに前記デコンボリューション演算を適用して前記（ｋ−１）個のデコード済み特徴マップの少なくとも一部として機能する（ｋ−ｈ）個の基本デコード済み特徴マップを生成して、順次に前記第（ｋ−１）ないし前記第１デコード済み特徴マップを生成することを特徴とする請求項１に記載の学習方法。
前記第（ｋ−１）ないし前記第１デコンボリューションレイヤは、（ｉ）それぞれの前記第ｈないし前記第１エッジ特徴マップと前記第ｈないし前記第１マスクレイヤに対応する前記ｈ個のデコンボリューションレイヤから出力されたそれぞれの前記ｈ個の基本デコード済み特徴マップの要素ごとの和（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｓｕｍ）を利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力された特徴マップに前記デコンボリューション演算を適用して前記（ｋ−１）個のデコード済み特徴マップの少なくとも一部として機能する（ｋ−ｈ）個の基本デコード済み特徴マップを生成して、順次に前記第（ｋ−１）ないし前記第１デコード済み特徴マップを生成することを特徴とする請求項１に記載の学習方法。
【請求項4】
前記学習装置は、（ｖ）前記第１ないし前記第（ｋ−１）デコンボリューションレイヤのうちでｒ個のデコンボリューションレイヤに対応して配置される第１ないし第ｒロスレイヤをさらに含み、
前記（ｃ）段階は、
（ｃ１）前記学習装置が前記第１ないし前記第ｒロスレイヤをもって前記第１ないし前記第ｒロスレイヤに対応する前記ｒ個のデコンボリューションレイヤから出力された各ｒ個のデコード済み特徴マップ及びこれに対応するＧＴイメージを参照して第１ないし第ｒロスをそれぞれ生成するようにして、前記第１ないし前記第ｒロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の前記パラメータを調整する段階；を含むことを特徴とする請求項３に記載の学習方法。
前記（ｃ）段階は、
（ｃ１）前記学習装置が前記第１ないし前記第ｒロスレイヤをもって前記第１ないし前記第ｒロスレイヤに対応する前記ｒ個のデコンボリューションレイヤから出力された各ｒ個のデコード済み特徴マップ及びこれに対応するＧＴイメージを参照して第１ないし第ｒロスをそれぞれ生成するようにして、前記第１ないし前記第ｒロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の前記パラメータを調整する段階；を含むことを特徴とする請求項３に記載の学習方法。
【請求項5】
前記第１ないし前記第ｒロスレイヤは、それぞれの前記ｒ個のデコード済み特徴マップにそれぞれ補助コンボリューション演算を適用して出力されたそれぞれのｒ個の変換済み特徴マップと、これに対応するＧＴイメージとを参照して前記第１ないし前記第ｒロスをそれぞれ算出することを特徴とする請求項４に記載の学習方法。
【請求項6】
前記学習装置は、（ｖｉ）前記第１ないし前記第ｈマスクレイヤそれぞれの出力端と前記第１ないし前記第ｈマスクレイヤに対応するコンボリューションレイヤそれぞれの出力端との間にそれぞれ位置する第１ないし第ｈ中間レイヤをさらに含み、
前記（ｂ）段階は、
（ｂ１）前記学習装置は、前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤに対応するｈ個のコンボリューションレイヤから出力されたｈ個のエンコード済み特徴マップが入力されて第１ないし第ｈ中間特徴マップを生成させる段階；（ｂ２）前記学習装置は、前記第１ないし前記第ｈマスクレイヤをもってそれぞれの前記第１ないし前記第ｈマスクレイヤに対応するそれぞれの前記ｈ個のデコンボリューションレイヤからそれぞれ出力された前記ｈ個の基本デコード済み特徴マップから前記エッジ部分を抽出して前記第１ないし前記第ｈエッジ特徴マップを生成させる段階；及び（ｂ３）前記学習装置は、（ｉ）第１ないし第ｈ要素ごとのプロダクトレイヤをもってそれぞれの前記第１ないし前記第ｈ中間特徴マップと、これに対応するエッジ特徴マップとを要素ごとに掛け合わせて（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｐｒｏｄｕｃｔ）、それぞれの第１ないし第ｈ要素ごとのプロダクトを生成するようにし、（ｉｉ）第１ないし第ｈ要素ごとの合算レイヤをもってそれぞれの前記第１ないし前記第ｈ要素ごとのプロダクトと、前記ｈ個の基本デコード済み特徴マップのうちでそれぞれの前記第１ないし前記第ｈ要素ごとのプロダクトに対応する基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第１ないし前記第（ｋ−１）デコード済み特徴マップのうちでｈ個のデコード済み特徴マップを生成する段階；を含むことを特徴とする請求項３に記載の学習方法。
前記（ｂ）段階は、
（ｂ１）前記学習装置は、前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤに対応するｈ個のコンボリューションレイヤから出力されたｈ個のエンコード済み特徴マップが入力されて第１ないし第ｈ中間特徴マップを生成させる段階；（ｂ２）前記学習装置は、前記第１ないし前記第ｈマスクレイヤをもってそれぞれの前記第１ないし前記第ｈマスクレイヤに対応するそれぞれの前記ｈ個のデコンボリューションレイヤからそれぞれ出力された前記ｈ個の基本デコード済み特徴マップから前記エッジ部分を抽出して前記第１ないし前記第ｈエッジ特徴マップを生成させる段階；及び（ｂ３）前記学習装置は、（ｉ）第１ないし第ｈ要素ごとのプロダクトレイヤをもってそれぞれの前記第１ないし前記第ｈ中間特徴マップと、これに対応するエッジ特徴マップとを要素ごとに掛け合わせて（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｐｒｏｄｕｃｔ）、それぞれの第１ないし第ｈ要素ごとのプロダクトを生成するようにし、（ｉｉ）第１ないし第ｈ要素ごとの合算レイヤをもってそれぞれの前記第１ないし前記第ｈ要素ごとのプロダクトと、前記ｈ個の基本デコード済み特徴マップのうちでそれぞれの前記第１ないし前記第ｈ要素ごとのプロダクトに対応する基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第１ないし前記第（ｋ−１）デコード済み特徴マップのうちでｈ個のデコード済み特徴マップを生成する段階；を含むことを特徴とする請求項３に記載の学習方法。
【請求項7】
前記学習装置が、前記第ｋコンボリューションレイヤの出力端と前記第（ｋ−１）デコンボリューションレイヤの入力端との間に位置したさらなる第（ｈ＋１）中間レイヤをさらに含むものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋエンコード済み特徴マップに一つ以上の中間演算を適用して第（ｈ＋１）中間特徴マップを生成し、前記第（ｈ＋１）中間特徴マップを前記第（ｋ−１）デコンボリューションレイヤに伝達することを特徴とする請求項６に記載の学習方法。
【請求項8】
前記第１ないし前記第ｈ中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行することを特徴とする請求項６に記載の学習方法。
【請求項9】
前記（ｂ２）段階で、
前記学習装置は、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって前記（ｋ−１）個のデコンボリューションレイヤのうちで前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤから出力された第ｎ基本デコード済み特徴マップからエッジ部分を抽出して第ｍエッジ特徴マップを生成するようにし、
前記（ｂ３）段階で、
前記学習装置は、（ｉ）第ｍ要素ごとのプロダクトレイヤをもって前記第ｍエッジ特徴マップと前記第ｍマスクレイヤに対応する第ｍ中間レイヤから出力された第ｍ中間特徴マップとを要素ごとに掛け合わせて第ｍ要素ごとのプロダクトを生成するようにし、（ｉｉ）第ｍ要素ごとの合算レイヤをもって前記第ｍ要素ごとのプロダクトと、前記第ｎ基本デコード済み特徴マップとを要素ごとに合算するようにして、第ｎデコード済み特徴マップを生成することを特徴とする請求項６に記載の学習方法。
前記学習装置は、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって前記（ｋ−１）個のデコンボリューションレイヤのうちで前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤから出力された第ｎ基本デコード済み特徴マップからエッジ部分を抽出して第ｍエッジ特徴マップを生成するようにし、
前記（ｂ３）段階で、
前記学習装置は、（ｉ）第ｍ要素ごとのプロダクトレイヤをもって前記第ｍエッジ特徴マップと前記第ｍマスクレイヤに対応する第ｍ中間レイヤから出力された第ｍ中間特徴マップとを要素ごとに掛け合わせて第ｍ要素ごとのプロダクトを生成するようにし、（ｉｉ）第ｍ要素ごとの合算レイヤをもって前記第ｍ要素ごとのプロダクトと、前記第ｎ基本デコード済み特徴マップとを要素ごとに合算するようにして、第ｎデコード済み特徴マップを生成することを特徴とする請求項６に記載の学習方法。
【請求項10】
前記学習装置は、（ｖ）前記第１ないし前記第（ｋ−１）デコンボリューションレイヤのうちでｒ個のデコンボリューションレイヤに対応して配置される第１ないし第ｒロスレイヤをさらに含み、
前記学習装置は、前記第１デコード済み特徴マップを受けて前記第１ロスレイヤに入力される調整された第１デコード済み特徴マップを出力することができるさらなるデコンボリューションレイヤをさらに含み、
前記（ｃ）段階は、（ｃ１）前記学習装置が前記第１ないし前記第ｒロスレイヤをもって前記第１ないし前記第ｒロスレイヤに対応する前記ｒ個のデコンボリューションレイヤから出力された各ｒ個のデコード済み特徴マップ及びこれに対応するＧＴイメージを参照して第１ないし第ｒロスをそれぞれ生成するようにして、前記第１ないし前記第ｒロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の前記パラメータを調整するようにする段階；を含むことを特徴とする請求項９に記載の学習方法。
前記学習装置は、前記第１デコード済み特徴マップを受けて前記第１ロスレイヤに入力される調整された第１デコード済み特徴マップを出力することができるさらなるデコンボリューションレイヤをさらに含み、
前記（ｃ）段階は、（ｃ１）前記学習装置が前記第１ないし前記第ｒロスレイヤをもって前記第１ないし前記第ｒロスレイヤに対応する前記ｒ個のデコンボリューションレイヤから出力された各ｒ個のデコード済み特徴マップ及びこれに対応するＧＴイメージを参照して第１ないし第ｒロスをそれぞれ生成するようにして、前記第１ないし前記第ｒロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の前記パラメータを調整するようにする段階；を含むことを特徴とする請求項９に記載の学習方法。
【請求項11】
少なくとも一つのテストイメージに対するセグメンテーションのテスト方法において、
（ａ）学習装置が、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップに一つ以上のコンボリューション演算を適用して第１ないし第ｋ学習用エンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋ学習用エンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第（ｋ−１）ないし第１学習用デコード済み特徴マップをそれぞれ出力する第（ｋ−１）ないし第１デコンボリューションレイヤ、（ｉｉｉ）前記（ｋ−１）個のデコンボリューションレイヤのうちでｈ個のデコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）にそれぞれ対応する第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤにそれぞれ対応する第１ないし第ｈエッジロスレイヤを含むとするとき、前記学習装置が（１）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋ学習用エンコード済み特徴マップを生成するようにし、（２）前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に前記第（ｋ−１）ないし前記第１学習用デコード済み特徴マップを生成させるものの、前記学習装置は、前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個の学習用基本デコード済み特徴マップから学習用エッジ部分を抽出して第ｈないし第１学習用エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個の学習用基本デコード済み特徴マップ及び前記第ｈないし前記第１学習用エッジ特徴マップを参照して前記第（ｋ−１）ないし前記第１学習用デコード済み特徴マップのうち少なくとも一部として機能するｈ個の学習用エッジ強化デコード済み特徴マップを生成するようにし、（３）前記第１ないし前記第ｈエッジロスレイヤをもって前記学習用エッジ部分及びこれに対応するＧＴを参照して第１ないし第ｈエッジロスを生成するようにして、前記第１ないし前記第ｈエッジロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整した状態で、テスト装置が、前記テストイメージが入力されると、前記第１ないし前記第ｋコンボリューションレイヤをもって第１ないし第ｋテスト用エンコード済み特徴マップを出力するようにする段階；及び
（ｂ）前記テスト装置は、前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に第（ｋ−１）ないし第１テスト用デコード済み特徴マップを生成させるものの、前記テスト装置は、前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個のテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第ｈないし第１テスト用エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個のテスト用基本デコード済み特徴マップ及び前記第ｈないし前記第１テスト用エッジ特徴マップを参照して前記第（ｋ−１）ないし前記第１テスト用デコード済み特徴マップのうち少なくとも一部として機能するｈ個のテスト用エッジ強化デコード済み特徴マップを生成させる段階；
を含むことを特徴とするテスト方法。
（ａ）学習装置が、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップに一つ以上のコンボリューション演算を適用して第１ないし第ｋ学習用エンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋ学習用エンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第（ｋ−１）ないし第１学習用デコード済み特徴マップをそれぞれ出力する第（ｋ−１）ないし第１デコンボリューションレイヤ、（ｉｉｉ）前記（ｋ−１）個のデコンボリューションレイヤのうちでｈ個のデコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）にそれぞれ対応する第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤにそれぞれ対応する第１ないし第ｈエッジロスレイヤを含むとするとき、前記学習装置が（１）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋ学習用エンコード済み特徴マップを生成するようにし、（２）前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に前記第（ｋ−１）ないし前記第１学習用デコード済み特徴マップを生成させるものの、前記学習装置は、前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個の学習用基本デコード済み特徴マップから学習用エッジ部分を抽出して第ｈないし第１学習用エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個の学習用基本デコード済み特徴マップ及び前記第ｈないし前記第１学習用エッジ特徴マップを参照して前記第（ｋ−１）ないし前記第１学習用デコード済み特徴マップのうち少なくとも一部として機能するｈ個の学習用エッジ強化デコード済み特徴マップを生成するようにし、（３）前記第１ないし前記第ｈエッジロスレイヤをもって前記学習用エッジ部分及びこれに対応するＧＴを参照して第１ないし第ｈエッジロスを生成するようにして、前記第１ないし前記第ｈエッジロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整した状態で、テスト装置が、前記テストイメージが入力されると、前記第１ないし前記第ｋコンボリューションレイヤをもって第１ないし第ｋテスト用エンコード済み特徴マップを出力するようにする段階；及び
（ｂ）前記テスト装置は、前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に第（ｋ−１）ないし第１テスト用デコード済み特徴マップを生成させるものの、前記テスト装置は、前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個のテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第ｈないし第１テスト用エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個のテスト用基本デコード済み特徴マップ及び前記第ｈないし前記第１テスト用エッジ特徴マップを参照して前記第（ｋ−１）ないし前記第１テスト用デコード済み特徴マップのうち少なくとも一部として機能するｈ個のテスト用エッジ強化デコード済み特徴マップを生成させる段階；
を含むことを特徴とするテスト方法。
【請求項12】
前記（ｂ）段階で、
前記第（ｋ−１）ないし前記第１デコンボリューションレイヤは、（ｉ）それぞれの前記第ｈないし前記第１テスト用エッジ特徴マップと前記第ｈないし前記第１マスクレイヤに対応する前記ｈ個のデコンボリューションレイヤから出力されたそれぞれの前記ｈ個のテスト用基本デコード済み特徴マップの要素ごとの和（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｓｕｍ）を利用して、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力されたテスト用特徴マップに前記デコンボリューション演算を適用して前記（ｋ−１）個のテスト用デコード済み特徴マップの少なくとも一部として機能する（ｋ−ｈ）個のテスト用基本デコード済み特徴マップを生成し、順次に前記第（ｋ−１）ないし前記第１テスト用デコード済み特徴マップを生成することを特徴とする請求項１１に記載のテスト方法。
前記第（ｋ−１）ないし前記第１デコンボリューションレイヤは、（ｉ）それぞれの前記第ｈないし前記第１テスト用エッジ特徴マップと前記第ｈないし前記第１マスクレイヤに対応する前記ｈ個のデコンボリューションレイヤから出力されたそれぞれの前記ｈ個のテスト用基本デコード済み特徴マップの要素ごとの和（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｓｕｍ）を利用して、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力されたテスト用特徴マップに前記デコンボリューション演算を適用して前記（ｋ−１）個のテスト用デコード済み特徴マップの少なくとも一部として機能する（ｋ−ｈ）個のテスト用基本デコード済み特徴マップを生成し、順次に前記第（ｋ−１）ないし前記第１テスト用デコード済み特徴マップを生成することを特徴とする請求項１１に記載のテスト方法。
【請求項13】
前記テスト装置は（ｖ）前記第１ないし前記第ｈマスクレイヤそれぞれの出力端と前記第１ないし前記第ｈマスクレイヤに対応するコンボリューションレイヤそれぞれの出力端との間にそれぞれ位置する第１ないし第ｈ中間レイヤをさらに含み、
前記（ｂ）段階は、
（ｂ１）前記テスト装置は前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤに対応するｈ個のコンボリューションレイヤから出力されたｈ個のテスト用エンコード済み特徴マップが入力されて第１ないし第ｈテスト用中間特徴マップを生成させる段階；（ｂ２）前記テスト装置は、前記第１ないし前記第ｈマスクレイヤをもってそれぞれの前記第１ないし前記第ｈマスクレイヤに対応するそれぞれの前記ｈ個のデコンボリューションレイヤからそれぞれ出力された前記第ｈ個のテスト用基本デコード済み特徴マップから前記テスト用エッジ部分を抽出して前記第１ないし前記第ｈテスト用エッジ特徴マップを生成させる段階；及び（ｂ３）前記テスト装置は、（ｉ）第１ないし第ｈ要素ごとのプロダクトレイヤをもってそれぞれの前記第１ないし前記第ｈテスト用中間特徴マップと、これに対応するテスト用エッジ特徴マップとを要素ごとに掛け合わせて（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｐｒｏｄｕｃｔ）、それぞれの第１ないし第ｈテスト用要素ごとのプロダクトを生成するようにし、（ｉｉ）第１ないし第ｈテスト要素ごとの合算レイヤをもってそれぞれの前記第１ないし前記第ｈテスト用要素ごとのプロダクトと、前記ｈ個のテスト用基本デコード済み特徴マップのうちでそれぞれの前記第１ないし前記第ｈテスト用要素ごとのプロダクトに対応するテスト用基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第１ないし前記第（ｋ−１）テスト用デコード済み特徴マップのうちでｈ個のテスト用デコード済み特徴マップを生成する段階；を含むことを特徴とする請求項１２に記載のテスト方法。
前記（ｂ）段階は、
（ｂ１）前記テスト装置は前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤに対応するｈ個のコンボリューションレイヤから出力されたｈ個のテスト用エンコード済み特徴マップが入力されて第１ないし第ｈテスト用中間特徴マップを生成させる段階；（ｂ２）前記テスト装置は、前記第１ないし前記第ｈマスクレイヤをもってそれぞれの前記第１ないし前記第ｈマスクレイヤに対応するそれぞれの前記ｈ個のデコンボリューションレイヤからそれぞれ出力された前記第ｈ個のテスト用基本デコード済み特徴マップから前記テスト用エッジ部分を抽出して前記第１ないし前記第ｈテスト用エッジ特徴マップを生成させる段階；及び（ｂ３）前記テスト装置は、（ｉ）第１ないし第ｈ要素ごとのプロダクトレイヤをもってそれぞれの前記第１ないし前記第ｈテスト用中間特徴マップと、これに対応するテスト用エッジ特徴マップとを要素ごとに掛け合わせて（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｐｒｏｄｕｃｔ）、それぞれの第１ないし第ｈテスト用要素ごとのプロダクトを生成するようにし、（ｉｉ）第１ないし第ｈテスト要素ごとの合算レイヤをもってそれぞれの前記第１ないし前記第ｈテスト用要素ごとのプロダクトと、前記ｈ個のテスト用基本デコード済み特徴マップのうちでそれぞれの前記第１ないし前記第ｈテスト用要素ごとのプロダクトに対応するテスト用基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第１ないし前記第（ｋ−１）テスト用デコード済み特徴マップのうちでｈ個のテスト用デコード済み特徴マップを生成する段階；を含むことを特徴とする請求項１２に記載のテスト方法。
【請求項14】
前記テスト装置が前記第ｋコンボリューションレイヤの出力端と前記第（ｋ−１）デコンボリューションレイヤの入力端との間に位置したさらなる第（ｈ＋１）中間レイヤをさらに含むものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋテスト用エンコード済み特徴マップに一つ以上の中間演算を適用して第（ｈ＋１）テスト用中間特徴マップを生成し、前記第（ｈ＋１）テスト用中間特徴マップを前記第（ｋ−１）デコンボリューションレイヤに伝達することを特徴とする請求項１３に記載のテスト方法。
【請求項15】
前記（ｂ２）段階で、
前記テスト装置は、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって前記（ｋ−１）個のデコンボリューションレイヤのうちで前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤから出力された第ｎテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第ｍテスト用エッジ特徴マップを生成するようにし、
前記（ｂ３）段階で、
前記テスト装置は、（ｉ）第ｍ要素別プロダクトレイヤをもって前記第ｍテスト用エッジ特徴マップと、前記第ｍマスクレイヤに対応する第ｍ中間レイヤから出力された第ｍテスト用中間特徴マップとを要素ごとに掛け合わせて、第ｍテスト用要素別プロダクトを生成するようにし、（ｉｉ）第ｍ要素別合算レイヤをもって前記第ｍテスト用要素ごとのプロダクトと前記第ｎテスト用基本デコード済み特徴マップとを要素ごとに合算するようにして、第ｎテスト用デコード済み特徴マップを生成することを特徴とする請求項１３に記載のテスト方法。
前記テスト装置は、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって前記（ｋ−１）個のデコンボリューションレイヤのうちで前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤから出力された第ｎテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第ｍテスト用エッジ特徴マップを生成するようにし、
前記（ｂ３）段階で、
前記テスト装置は、（ｉ）第ｍ要素別プロダクトレイヤをもって前記第ｍテスト用エッジ特徴マップと、前記第ｍマスクレイヤに対応する第ｍ中間レイヤから出力された第ｍテスト用中間特徴マップとを要素ごとに掛け合わせて、第ｍテスト用要素別プロダクトを生成するようにし、（ｉｉ）第ｍ要素別合算レイヤをもって前記第ｍテスト用要素ごとのプロダクトと前記第ｎテスト用基本デコード済み特徴マップとを要素ごとに合算するようにして、第ｎテスト用デコード済み特徴マップを生成することを特徴とする請求項１３に記載のテスト方法。
【請求項16】
（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップに一つ以上のコンボリューション演算を適用して、第１ないし第ｋエンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ；（ｉｉ）前記第ｋエンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第（ｋ−１）ないし第１デコード済み特徴マップをそれぞれ出力する第（ｋ−１）ないし第１デコンボリューションレイヤ；（ｉｉｉ）前記（ｋ−１）個のデコンボリューションレイヤのうちでｈ個のデコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）にそれぞれ対応する第１ないし第ｈマスクレイヤ；及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤにそれぞれ対応する第１ないし第ｈエッジロスレイヤ；を含む、セグメンテーションの性能向上のための学習装置において、
インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋエンコード済み特徴マップを生成させるプロセス、（ＩＩ）前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に前記第（ｋ−１）ないし前記第１デコード済み特徴マップを生成させるものの、前記学習装置は、前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個の基本デコード済み特徴マップからエッジ部分を抽出して第ｈないし第１エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個の基本デコード済み特徴マップ及び前記第ｈないし前記第１エッジ特徴マップを参照して前記第（ｋ−１）ないし前記第１デコード済み特徴マップのうち少なくとも一部として機能するｈ個のエッジ強化デコード済み特徴マップを生成させるプロセス、及び（ＩＩＩ）前記第１ないし前記第ｈエッジロスレイヤをもって前記エッジ部分及びこれに対応するＧＴを参照して第１ないし第ｈエッジロスを生成するようにして、前記第１ないし前記第ｈエッジロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とする学習装置。
インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋエンコード済み特徴マップを生成させるプロセス、（ＩＩ）前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に前記第（ｋ−１）ないし前記第１デコード済み特徴マップを生成させるものの、前記学習装置は、前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個の基本デコード済み特徴マップからエッジ部分を抽出して第ｈないし第１エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個の基本デコード済み特徴マップ及び前記第ｈないし前記第１エッジ特徴マップを参照して前記第（ｋ−１）ないし前記第１デコード済み特徴マップのうち少なくとも一部として機能するｈ個のエッジ強化デコード済み特徴マップを生成させるプロセス、及び（ＩＩＩ）前記第１ないし前記第ｈエッジロスレイヤをもって前記エッジ部分及びこれに対応するＧＴを参照して第１ないし第ｈエッジロスを生成するようにして、前記第１ないし前記第ｈエッジロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とする学習装置。
【請求項17】
前記第１ないし前記第ｈエッジロスレイヤは、前記エッジ部分と、これに対応するＧＴの差を計算して前記第１ないし前記第ｈエッジロスを生成するものの、前記ＧＴは前記第１ないし前記第ｈエッジ特徴マップの大きさにそれぞれ対応する大きさを有した第１ないし第ｈＧＴイメージからそれぞれ抽出されることを特徴とする請求項１６に記載の学習装置。
【請求項18】
前記（ＩＩ）プロセスで、
前記第（ｋ−１）ないし前記第１デコンボリューションレイヤは、（ｉ）それぞれの前記第ｈないし前記第１エッジ特徴マップと前記第ｈないし前記第１マスクレイヤに対応する前記ｈ個のデコンボリューションレイヤから出力されたそれぞれの前記ｈ個の基本デコード済み特徴マップの要素ごとの和（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｓｕｍ）を利用して、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力された特徴マップに前記デコンボリューション演算を適用して前記（ｋ−１）個のデコード済み特徴マップの少なくとも一部として機能する（ｋ−ｈ）個の基本デコード済み特徴マップを生成して、順次に前記第（ｋ−１）ないし前記第１デコード済み特徴マップを生成することを特徴とする請求項１６に記載の学習装置。
前記第（ｋ−１）ないし前記第１デコンボリューションレイヤは、（ｉ）それぞれの前記第ｈないし前記第１エッジ特徴マップと前記第ｈないし前記第１マスクレイヤに対応する前記ｈ個のデコンボリューションレイヤから出力されたそれぞれの前記ｈ個の基本デコード済み特徴マップの要素ごとの和（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｓｕｍ）を利用して、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力された特徴マップに前記デコンボリューション演算を適用して前記（ｋ−１）個のデコード済み特徴マップの少なくとも一部として機能する（ｋ−ｈ）個の基本デコード済み特徴マップを生成して、順次に前記第（ｋ−１）ないし前記第１デコード済み特徴マップを生成することを特徴とする請求項１６に記載の学習装置。
【請求項19】
前記学習装置は、（ｖ）前記第１ないし前記第（ｋ−１）デコンボリューションレイヤのうちでｒ個のデコンボリューションレイヤに対応して配置される第１ないし第ｒロスレイヤをさらに含み、
前記（ＩＩＩ）プロセスは、
（ＩＩＩ−１）前記プロセッサが前記第１ないし前記第ｒロスレイヤをもって前記第１ないし前記第ｒロスレイヤに対応する前記ｒ個のデコンボリューションレイヤから出力された各ｒ個のデコード済み特徴マップ及びこれに対応するＧＴイメージを参照して第１ないし第ｒロスをそれぞれ生成するようにして、前記第１ないし前記第ｒロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の前記パラメータを調整するプロセス；を含むことを特徴とする請求項１８に記載の学習装置。
前記（ＩＩＩ）プロセスは、
（ＩＩＩ−１）前記プロセッサが前記第１ないし前記第ｒロスレイヤをもって前記第１ないし前記第ｒロスレイヤに対応する前記ｒ個のデコンボリューションレイヤから出力された各ｒ個のデコード済み特徴マップ及びこれに対応するＧＴイメージを参照して第１ないし第ｒロスをそれぞれ生成するようにして、前記第１ないし前記第ｒロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の前記パラメータを調整するプロセス；を含むことを特徴とする請求項１８に記載の学習装置。
【請求項20】
前記第１ないし前記第ｒロスレイヤは、それぞれの前記ｒ個のデコード済み特徴マップにそれぞれ補助コンボリューション演算を適用して出力されたそれぞれのｒ個の変換済み特徴マップと、これに対応するＧＴイメージとを参照して前記第１ないし前記第ｒロスをそれぞれ算出することを特徴とする請求項１９に記載の学習装置。
【請求項21】
前記学習装置は、（ｖｉ）前記第１ないし前記第ｈマスクレイヤそれぞれの出力端と前記第１ないし前記第ｈマスクレイヤに対応するコンボリューションレイヤそれぞれの出力端との間にそれぞれ位置する第１ないし第ｈ中間レイヤをさらに含み、
前記（ＩＩ）プロセスは、
（ＩＩ−１）前記プロセッサが、前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤに対応するｈ個のコンボリューションレイヤから出力されたｈ個のエンコード済み特徴マップが入力されて第１ないし第ｈ中間特徴マップを生成させるプロセス；（ＩＩ−２）前記プロセッサは前記第１ないし前記第ｈマスクレイヤをもってそれぞれの前記第１ないし前記第ｈマスクレイヤに対応するそれぞれの前記ｈ個のデコンボリューションレイヤからそれぞれ出力された前記ｈ個の基本デコード済み特徴マップから前記エッジ部分を抽出して前記第１ないし前記第ｈエッジ特徴マップを生成させるプロセス；及び（ＩＩＩ−３）前記プロセッサは（ｉ）第１ないし第ｈ要素ごとのプロダクトレイヤをもってそれぞれの前記第１ないし前記第ｈ中間特徴マップと、これに対応するエッジ特徴マップとを要素ごとに掛け合わせて（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｐｒｏｄｕｃｔ）、それぞれの第１ないし第ｈ要素ごとのプロダクトを生成するようにし、（ｉｉ）第１ないし第ｈ要素ごとの合算レイヤをもってそれぞれの前記第１ないし前記第ｈ要素ごとのプロダクトと、前記ｈ個の基本デコード済み特徴マップのうちでそれぞれの前記第１ないし前記第ｈ要素ごとのプロダクトに対応する基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第１ないし前記第（ｋ−１）デコード済み特徴マップのうちでｈ個のデコード済み特徴マップを生成するプロセス；を含むことをを特徴とする請求項１８に記載の学習装置。
前記（ＩＩ）プロセスは、
（ＩＩ−１）前記プロセッサが、前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤに対応するｈ個のコンボリューションレイヤから出力されたｈ個のエンコード済み特徴マップが入力されて第１ないし第ｈ中間特徴マップを生成させるプロセス；（ＩＩ−２）前記プロセッサは前記第１ないし前記第ｈマスクレイヤをもってそれぞれの前記第１ないし前記第ｈマスクレイヤに対応するそれぞれの前記ｈ個のデコンボリューションレイヤからそれぞれ出力された前記ｈ個の基本デコード済み特徴マップから前記エッジ部分を抽出して前記第１ないし前記第ｈエッジ特徴マップを生成させるプロセス；及び（ＩＩＩ−３）前記プロセッサは（ｉ）第１ないし第ｈ要素ごとのプロダクトレイヤをもってそれぞれの前記第１ないし前記第ｈ中間特徴マップと、これに対応するエッジ特徴マップとを要素ごとに掛け合わせて（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｐｒｏｄｕｃｔ）、それぞれの第１ないし第ｈ要素ごとのプロダクトを生成するようにし、（ｉｉ）第１ないし第ｈ要素ごとの合算レイヤをもってそれぞれの前記第１ないし前記第ｈ要素ごとのプロダクトと、前記ｈ個の基本デコード済み特徴マップのうちでそれぞれの前記第１ないし前記第ｈ要素ごとのプロダクトに対応する基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第１ないし前記第（ｋ−１）デコード済み特徴マップのうちでｈ個のデコード済み特徴マップを生成するプロセス；を含むことをを特徴とする請求項１８に記載の学習装置。
【請求項22】
前記学習装置が前記第ｋコンボリューションレイヤの出力端と前記第（ｋ−１）デコンボリューションレイヤの入力端との間に位置したさらなる第（ｈ＋１）中間レイヤをさらに含むものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋエンコード済み特徴マップに一つ以上の中間演算を適用して第（ｈ＋１）中間特徴マップを生成し、前記第（ｈ＋１）中間特徴マップを前記第（ｋ−１）デコンボリューションレイヤに伝達することを特徴とする請求項２１に記載の学習装置。
【請求項23】
前記第１ないし前記第ｈ中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行することを特徴とする請求項２１に記載の学習装置。
【請求項24】
前記（ＩＩ−２）プロセスで、
前記プロセッサは前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって前記（ｋ−１）個のデコンボリューションレイヤのうちで前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤから出力された第ｎ基本デコード済み特徴マップからエッジ部分を抽出して第ｍエッジ特徴マップを生成するようにし、
前記（ＩＩ−３）プロセスで、
前記プロセッサは、（ｉ）第ｍ要素別プロダクトレイヤをもって前記第ｍエッジ特徴マップと前記第ｍマスクレイヤに対応する第ｍ中間レイヤから出力された第ｍ中間特徴マップを要素別に掛け合わせて、第ｍ要素別プロダクトを生成するようにし、（ｉｉ）第ｍ要素別合算レイヤをもって前記第ｍ要素別プロダクトと前記第ｎ基本デコード特徴マップとを要素ごとに合算するようにして、第ｎデコード特徴マップを生成することを特徴とする請求項２１に記載の学習装置。
前記プロセッサは前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって前記（ｋ−１）個のデコンボリューションレイヤのうちで前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤから出力された第ｎ基本デコード済み特徴マップからエッジ部分を抽出して第ｍエッジ特徴マップを生成するようにし、
前記（ＩＩ−３）プロセスで、
前記プロセッサは、（ｉ）第ｍ要素別プロダクトレイヤをもって前記第ｍエッジ特徴マップと前記第ｍマスクレイヤに対応する第ｍ中間レイヤから出力された第ｍ中間特徴マップを要素別に掛け合わせて、第ｍ要素別プロダクトを生成するようにし、（ｉｉ）第ｍ要素別合算レイヤをもって前記第ｍ要素別プロダクトと前記第ｎ基本デコード特徴マップとを要素ごとに合算するようにして、第ｎデコード特徴マップを生成することを特徴とする請求項２１に記載の学習装置。
【請求項25】
前記学習装置は、（ｖ）前記第１ないし前記第（ｋ−１）デコンボリューションレイヤのうちでｒ個のデコンボリューションレイヤに対応して配置される第１ないし第ｒロスレイヤをさらに含み、
前記学習装置は、前記第１デコード済み特徴マップを受けて前記第１ロスレイヤに入力される調整された第１デコード済み特徴マップを出力することができるさらなるデコンボリューションレイヤをさらに含み、
前記（ＩＩＩ）プロセスは、（ＩＩＩ−１）前記プロセッサが前記第１ないし前記第ｒロスレイヤをもって前記第１ないし前記第ｒロスレイヤに対応する前記ｒ個のデコンボリューションレイヤから出力された各ｒ個のデコード済み特徴マップ及びこれに対応するＧＴイメージを参照して第１ないし第ｒロスをそれぞれ生成するようにして、前記第１ないし前記第ｒロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の前記パラメータを調整するようにするプロセス；を含むことを特徴とする請求項２４に記載の学習装置。
前記学習装置は、前記第１デコード済み特徴マップを受けて前記第１ロスレイヤに入力される調整された第１デコード済み特徴マップを出力することができるさらなるデコンボリューションレイヤをさらに含み、
前記（ＩＩＩ）プロセスは、（ＩＩＩ−１）前記プロセッサが前記第１ないし前記第ｒロスレイヤをもって前記第１ないし前記第ｒロスレイヤに対応する前記ｒ個のデコンボリューションレイヤから出力された各ｒ個のデコード済み特徴マップ及びこれに対応するＧＴイメージを参照して第１ないし第ｒロスをそれぞれ生成するようにして、前記第１ないし前記第ｒロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の前記パラメータを調整するようにするプロセス；を含むことを特徴とする請求項２４に記載の学習装置。
【請求項26】
少なくとも一つのテストイメージに対するセグメンテーションをするためのテスト装置において、
インストラクションを格納する少なくとも一つのメモリ；及び
学習装置が、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップに一つ以上のコンボリューション演算を適用して第１ないし第ｋ学習用エンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋ学習用エンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第（ｋ−１）ないし第１学習用デコード済み特徴マップをそれぞれ出力する第（ｋ−１）ないし第１デコンボリューションレイヤ、（ｉｉｉ）前記（ｋ−１）個のデコンボリューションレイヤのうちでｈ個のデコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）にそれぞれ対応する第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤにそれぞれ対応する第１ないし第ｈエッジロスレイヤを含むとするとき、前記学習装置が（１）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋ学習用エンコード済み特徴マップを生成するようにし、（２）前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に前記第（ｋ−１）ないし前記第１学習用デコード済み特徴マップを生成させるものの、前記学習装置は、前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個の学習用基本デコード済み特徴マップから学習用エッジ部分を抽出して第ｈないし第１学習用エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個の学習用基本デコード済み特徴マップ及び前記第ｈないし前記第１学習用エッジ特徴マップを参照して前記第（ｋ−１）ないし前記第１学習用デコード済み特徴マップのうち少なくとも一部として機能するｈ個の学習用エッジ強化デコード済み特徴マップを生成するようにし、（３）前記第１ないし前記第ｈエッジロスレイヤをもって前記学習用エッジ部分及びこれに対応するＧＴを参照して第１ないし第ｈエッジロスを生成するようにして、前記第１ないし前記第ｈエッジロスを利用したバックプロパゲーションを通じて前記第１乃至前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整した状態で、（Ｉ）前記第１ないし前記第ｋコンボリューションレイヤをもって第１ないし第ｋテスト用エンコード済み特徴マップを出力するようにするプロセス；及び（ＩＩ）前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に第（ｋ−１）ないし第１テスト用デコード済み特徴マップを生成させるものの、前記テスト装置は、前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個のテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第ｈないし第１テスト用エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個のテスト用基本デコード済み特徴マップ及び前記第ｈないし前記第１テスト用エッジ特徴マップを参照して前記第（ｋ−１）ないし前記第１テスト用デコード済み特徴マップのうち少なくとも一部として機能するｈ個のテスト用エッジ強化デコード済み特徴マップを生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするテスト装置。
インストラクションを格納する少なくとも一つのメモリ；及び
学習装置が、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップに一つ以上のコンボリューション演算を適用して第１ないし第ｋ学習用エンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋ学習用エンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第（ｋ−１）ないし第１学習用デコード済み特徴マップをそれぞれ出力する第（ｋ−１）ないし第１デコンボリューションレイヤ、（ｉｉｉ）前記（ｋ−１）個のデコンボリューションレイヤのうちでｈ個のデコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）にそれぞれ対応する第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤにそれぞれ対応する第１ないし第ｈエッジロスレイヤを含むとするとき、前記学習装置が（１）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋ学習用エンコード済み特徴マップを生成するようにし、（２）前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に前記第（ｋ−１）ないし前記第１学習用デコード済み特徴マップを生成させるものの、前記学習装置は、前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個の学習用基本デコード済み特徴マップから学習用エッジ部分を抽出して第ｈないし第１学習用エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個の学習用基本デコード済み特徴マップ及び前記第ｈないし前記第１学習用エッジ特徴マップを参照して前記第（ｋ−１）ないし前記第１学習用デコード済み特徴マップのうち少なくとも一部として機能するｈ個の学習用エッジ強化デコード済み特徴マップを生成するようにし、（３）前記第１ないし前記第ｈエッジロスレイヤをもって前記学習用エッジ部分及びこれに対応するＧＴを参照して第１ないし第ｈエッジロスを生成するようにして、前記第１ないし前記第ｈエッジロスを利用したバックプロパゲーションを通じて前記第１乃至前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整した状態で、（Ｉ）前記第１ないし前記第ｋコンボリューションレイヤをもって第１ないし第ｋテスト用エンコード済み特徴マップを出力するようにするプロセス；及び（ＩＩ）前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に第（ｋ−１）ないし第１テスト用デコード済み特徴マップを生成させるものの、前記テスト装置は、前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個のテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第ｈないし第１テスト用エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個のテスト用基本デコード済み特徴マップ及び前記第ｈないし前記第１テスト用エッジ特徴マップを参照して前記第（ｋ−１）ないし前記第１テスト用デコード済み特徴マップのうち少なくとも一部として機能するｈ個のテスト用エッジ強化デコード済み特徴マップを生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするテスト装置。
【請求項27】
前記（ＩＩ）プロセスで、
前記第（ｋ−１）ないし前記第１デコンボリューションレイヤは、（ｉ）それぞれの前記第ｈないし前記第１テスト用エッジ特徴マップと前記第ｈないし前記第１マスクレイヤに対応する前記ｈ個のデコンボリューションレイヤから出力されたそれぞれの前記ｈ個のテスト用基本デコード済み特徴マップの要素ごとの和（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｓｕｍ）を利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力されたテスト用特徴マップに前記デコンボリューション演算を適用して前記（ｋ−１）個のテスト用デコード済み特徴マップの少なくとも一部として機能する（ｋ−ｈ）個のテスト用基本デコード済み特徴マップを生成して、順次に前記第（ｋ−１）ないし前記第１テスト用デコード済み特徴マップを生成することを特徴とする請求項２６に記載のテスト装置。
前記第（ｋ−１）ないし前記第１デコンボリューションレイヤは、（ｉ）それぞれの前記第ｈないし前記第１テスト用エッジ特徴マップと前記第ｈないし前記第１マスクレイヤに対応する前記ｈ個のデコンボリューションレイヤから出力されたそれぞれの前記ｈ個のテスト用基本デコード済み特徴マップの要素ごとの和（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｓｕｍ）を利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力されたテスト用特徴マップに前記デコンボリューション演算を適用して前記（ｋ−１）個のテスト用デコード済み特徴マップの少なくとも一部として機能する（ｋ−ｈ）個のテスト用基本デコード済み特徴マップを生成して、順次に前記第（ｋ−１）ないし前記第１テスト用デコード済み特徴マップを生成することを特徴とする請求項２６に記載のテスト装置。
【請求項28】
前記テスト装置は、（ｖ）前記第１ないし前記第ｈマスクレイヤそれぞれの出力端と前記第１ないし前記第ｈマスクレイヤに対応するコンボリューションレイヤそれぞれの出力端との間にそれぞれ位置する第１ないし第ｈ中間レイヤをさらに含み、
前記（ＩＩ）プロセスは、
（ＩＩ−１）前記プロセッサは前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤに対応するｈ個のコンボリューションレイヤから出力されたｈ個のテスト用エンコード済み特徴マップが入力されて第１ないし第ｈテスト用中間特徴マップを生成させるプロセス；（ＩＩ−２）前記プロセッサは前記第１ないし前記第ｈマスクレイヤをもってそれぞれの前記第１ないし前記第ｈマスクレイヤに対応するそれぞれの前記ｈ個のデコンボリューションレイヤからそれぞれ出力された前記第ｈテスト用基本デコード済み特徴マップから前記テスト用エッジ部分を抽出して前記第１ないし前記第ｈテスト用エッジ特徴マップを生成させるプロセス；及び（ＩＩ−３）前記プロセッサは、（ｉ）第１ないし第ｈ要素ごとのプロダクトレイヤをもってそれぞれの前記第１ないし前記第ｈテスト用中間特徴マップと、これに対応するテスト用エッジ特徴マップとを要素ごとに掛け合わせて（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｐｒｏｄｕｃｔ）、それぞれの第１ないし第ｈテスト用要素ごとのプロダクトを生成するようにし、（ｉｉ）第１ないし第ｈ要素ごとの合算レイヤをもってそれぞれの前記第１ないし前記第ｈテスト用要素ごとのプロダクトと、前記ｈ個のテスト用基本デコード済み特徴マップのうちでそれぞれの前記第１ないし前記第ｈテスト用要素ごとのプロダクトに対応するテスト用基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第１ないし前記第（ｋ−１）テスト用デコード済み特徴マップのうちでｈ個のテスト用デコード済み特徴マップを生成するプロセス；を含むことを特徴とする請求項２７に記載のテスト装置。
前記（ＩＩ）プロセスは、
（ＩＩ−１）前記プロセッサは前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤに対応するｈ個のコンボリューションレイヤから出力されたｈ個のテスト用エンコード済み特徴マップが入力されて第１ないし第ｈテスト用中間特徴マップを生成させるプロセス；（ＩＩ−２）前記プロセッサは前記第１ないし前記第ｈマスクレイヤをもってそれぞれの前記第１ないし前記第ｈマスクレイヤに対応するそれぞれの前記ｈ個のデコンボリューションレイヤからそれぞれ出力された前記第ｈテスト用基本デコード済み特徴マップから前記テスト用エッジ部分を抽出して前記第１ないし前記第ｈテスト用エッジ特徴マップを生成させるプロセス；及び（ＩＩ−３）前記プロセッサは、（ｉ）第１ないし第ｈ要素ごとのプロダクトレイヤをもってそれぞれの前記第１ないし前記第ｈテスト用中間特徴マップと、これに対応するテスト用エッジ特徴マップとを要素ごとに掛け合わせて（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｐｒｏｄｕｃｔ）、それぞれの第１ないし第ｈテスト用要素ごとのプロダクトを生成するようにし、（ｉｉ）第１ないし第ｈ要素ごとの合算レイヤをもってそれぞれの前記第１ないし前記第ｈテスト用要素ごとのプロダクトと、前記ｈ個のテスト用基本デコード済み特徴マップのうちでそれぞれの前記第１ないし前記第ｈテスト用要素ごとのプロダクトに対応するテスト用基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第１ないし前記第（ｋ−１）テスト用デコード済み特徴マップのうちでｈ個のテスト用デコード済み特徴マップを生成するプロセス；を含むことを特徴とする請求項２７に記載のテスト装置。
【請求項29】
前記テスト装置が前記第ｋコンボリューションレイヤの出力端と前記第（ｋ−１）デコンボリューションレイヤの入力端との間に位置したさらなる第（ｈ＋１）中間レイヤをさらに含むものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋテスト用エンコード済み特徴マップに一つ以上の中間演算を適用して第（ｈ＋１）テスト用中間特徴マップを生成し、前記第（ｈ＋１）テスト用中間特徴マップを前記第（ｋ−１）デコンボリューションレイヤに伝達することを特徴とする請求項２８に記載のテスト装置。
【請求項30】
前記（ＩＩ−２）プロセスで、
前記プロセッサは、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって前記（ｋ−１）個のデコンボリューションレイヤのうちで前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤから出力された第ｎテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第ｍテスト用エッジ特徴マップを生成するようにし、
前記（ＩＩ−３）プロセスで、
前記プロセッサは（ｉ）第ｍ要素ごとのプロダクトレイヤをもって前記第ｍテスト用エッジ特徴マップと前記第ｍマスクレイヤに対応する第ｍ中間レイヤから出力された第ｍテスト用中間特徴マップとを要素ごとに掛け合わせて第ｍテスト用要素ごとのプロダクトを生成するようにし、（ｉｉ）第ｍ要素ごとの合算レイヤをもって前記第ｍテスト用要素ごとのプロダクトと、前記第ｎテスト用基本デコード済み特徴マップとを要素ごとに合算するようにして、第ｎテスト用デコード済み特徴マップを生成することを特徴とする請求項２８に記載のテスト装置。
前記プロセッサは、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって前記（ｋ−１）個のデコンボリューションレイヤのうちで前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤから出力された第ｎテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第ｍテスト用エッジ特徴マップを生成するようにし、
前記（ＩＩ−３）プロセスで、
前記プロセッサは（ｉ）第ｍ要素ごとのプロダクトレイヤをもって前記第ｍテスト用エッジ特徴マップと前記第ｍマスクレイヤに対応する第ｍ中間レイヤから出力された第ｍテスト用中間特徴マップとを要素ごとに掛け合わせて第ｍテスト用要素ごとのプロダクトを生成するようにし、（ｉｉ）第ｍ要素ごとの合算レイヤをもって前記第ｍテスト用要素ごとのプロダクトと、前記第ｎテスト用基本デコード済み特徴マップとを要素ごとに合算するようにして、第ｎテスト用デコード済み特徴マップを生成することを特徴とする請求項２８に記載のテスト装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、歩行者イベント、自動車イベント、フォーリングイベント、フォールンイベントなどのイベントを検出するにおいて利用されるセグメンテーション性能向上のための学習方法に関し；より詳細には、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップに、一つ以上のコンボリューション演算を適用して第１ないし第ｋエンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ；（ｉｉ）前記第ｋエンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第（ｋ−１）ないし第１デコード済み特徴マップをそれぞれ出力する第（ｋ−１）ないし第１デコンボリューションレイヤ；（ｉｉｉ）前記（ｋ−１）個のデコンボリューションレイヤのうちでｈ個のデコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）にそれぞれ対応する第１ないし第ｈマスクレイヤ；及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤにそれぞれ対応する第１ないし第ｈエッジロスレイヤ；を含む学習装置を利用して前記セグメンテーション性能向上のための前記学習方法において、（ａ）前記トレーニングイメージが入力されると、前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋエンコード済み特徴マップを生成させる段階；（ｂ）前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に前記第（ｋ−１）ないし前記第１デコード済み特徴マップを生成させるものの、前記学習装置は、前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個の基本デコード済み特徴マップからエッジ部分を抽出して第ｈないし第１エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個の基本デコード済み特徴マップ及び前記第ｈないし前記第１エッジ特徴マップを参照して前記第（ｋ−１）ないし前記第１デコード済み特徴マップのうち少なくとも一部として機能するｈ個のエッジ強化デコード済み特徴マップを生成させる段階；（ｃ）前記第１ないし前記第ｈエッジロスレイヤをもって前記エッジ部分及びこれに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を参照して第１ないし第ｈエッジロスを生成するようにして、前記第１ないし前記第ｈエッジロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整する段階；を含むことを特徴とする学習方法及び前記学習装置、並びにこれを利用したテスト方法及びテスト装置に関するものである。
【背景技術】
【0002】
ディープラーニングは、事物やデータを群集化したり分類するのに使用する技術である。例えば、コンピュータは写真だけで犬と猫を区分することができない。しかし、人はとても容易にこの二つを区分することができる。このため、「機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）」という方法が考案された。これはコンピュータをもって入力された多くのデータのうちで類似したもの同士分類するようにする技術である。犬の写真と類似した動物の写真が入力されると、前記コンピュータはこれを犬の写真であると分類するのである。
【0003】
データをどのように分類するかをめぐり、すでに多くの機械学習アルゴリズムが登場した。「意思決定木」や「ベイジアンネットワーク」「サポートベクターマシン（ＳＶＭ）」「人工神経網」などが代表的である。このうち、ディープラーニングは人工神経網の後裔である。
【0004】
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解決するために９０年代にすでに使われていたが、現在のように広く使われるようになったのは最近の研究結果の賜物である。このようなディープＣＮＮは、２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習分野で非常に有用なツールとなった。
【0005】
イメージセグメンテーション（Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ）は、少なくとも一つの入力イメージを利用して、少なくとも一つのラベルイメージを生成する方法である。最近、ディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）技術が脚光を浴びるにつれ、セグメンテーションにおいてもディープラーニングを数多く使用する傾向にある。前記セグメンテーションは、一つ以上のコンボリューション演算を利用して、前記ラベルイメージを生成する方法などの初期にはエンコーダ（Ｅｎｃｏｄｅｒ）のみを利用した方法で遂行された。以後、前記エンコーダにより前記イメージの特徴を抽出し、デコーダ（Ｄｅｃｏｄｅｒ）によってこのような特徴を前記ラベルイメージに復元するエンコーダ・デコーダ（Ｅｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒ）構造を利用した方法で前記セグメンテーションが実行された。
【0006】
図１は、ＣＮＮを利用した従来のセグメンテーションのプロセスを簡略に示した図である。
【0007】
図１を参照すると、既存の車線の検出方法では、学習装置が入力イメージが入力されて、一つ以上のコンボリューションレイヤをもって前記入力イメージに前記コンボリューション演算及びＲｅＬＵのような一つ以上の非線形演算を適用して、少なくとも一つの特徴マップを生成するようにし、一つ以上のデコンボリューションレイヤをもって前記特徴マップに一つ以上のデコンボリューション演算及びソフトマックス（ＳｏｆｔＭａｘ）演算を適用するようにしてセグメンテーション結果を生成する。
【0008】
ところが、図１に示されているように、前記イメージをエンコードしてデコードするプロセスで、エッジ部分が数多く消失する問題点が存在する。最近、デコードのプロセスにおいて、前記エンコーダのコンボリューションレイヤそれぞれから出力されるそれぞれの情報を利用したユーネット（Ｕ−Ｎｅｔ）という構造のネットワークが現れた。しかし、前記エッジ部分を検出するための学習が効率的に遂行されず、前記エッジ部分を復元するのに多くのエネルギーが必要になるという短所がある。
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明では、まず、上述のすべての問題点を解決することを目的とする。
【0010】
本発明ではセグメンテーションプロセスで入力イメージの一つ以上のエッジ部分をより正確に検出するために、前記エッジ部分のエラーを減らすことによって前記エッジ部分を強化するようにする方法を提供することを他の目的とする。
【0011】
また、本発明では鮮明なラベルイメージを出力するためのセグメンテーション方法を提供することをまた他の目的とする。
【課題を解決するための手段】
【0012】
本発明の一態様によると、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップに、一つ以上のコンボリューション演算を適用して第１ないし第ｋエンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ；（ｉｉ）前記第ｋエンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第（ｋ−１）ないし第１デコード済み特徴マップをそれぞれ出力する第（ｋ−１）ないし第１デコンボリューションレイヤ；（ｉｉｉ）前記（ｋ−１）個のデコンボリューションレイヤのうちでｈ個のデコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）にそれぞれ対応する第１ないし第ｈマスクレイヤ；及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤにそれぞれ対応する第１ないし第ｈエッジロスレイヤ；を含む学習装置を利用してセグメンテーション性能を向上させるための学習方法において、（ａ）前記トレーニングイメージが入力されると、前記学習装置は、前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋエンコード済み特徴マップを生成させる段階；（ｂ）前記学習装置は、前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に前記第（ｋ−１）ないし前記第１デコード済み特徴マップを生成させるものの、前記学習装置は前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個の基本デコード済み特徴マップからエッジ部分を抽出して第ｈないし第１エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個の基本デコード済み特徴マップ及び前記第ｈないし前記第１エッジ特徴マップを参照して前記第（ｋ−１）ないし前記第１デコード済み特徴マップのうち少なくとも一部として機能するｈ個のエッジ強化デコード済み特徴マップを生成させる段階；（ｃ）前記学習装置は前記第１ないし前記第ｈエッジロスレイヤをもって前記エッジ部分及びこれに対応するＧＴを参照して第１ないし第ｈエッジロスを生成するようにして、前記第１ないし前記第ｈエッジロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整する段階；を含むことを特徴とする学習方法が提供される。
【0013】
一実施例で、前記第１ないし前記第ｈエッジロスレイヤは、前記エッジ部分と、これに対応するＧＴの差を計算して前記第１ないし前記第ｈエッジロスを生成するものの、前記ＧＴは前記第１ないし前記第ｈエッジ特徴マップの大きさにそれぞれ対応する大きさを有した第１ないし第ｈＧＴイメージからそれぞれ抽出される。
【0014】
一実施例で、前記（ｂ）段階において、前記第（ｋ−１）ないし前記第１デコンボリューションレイヤは、（ｉ）それぞれの前記第ｈないし前記第１エッジ特徴マップと前記第ｈないし前記第１マスクレイヤに対応する前記ｈ個のデコンボリューションレイヤから出力されたそれぞれの前記ｈ個の基本デコード済み特徴マップの要素ごとの和（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｓｕｍ）を利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力された特徴マップに前記デコンボリューション演算を適用して前記（ｋ−１）個のデコード済み特徴マップの少なくとも一部として機能する（ｋ−ｈ）個の基本デコード済み特徴マップを生成して、順次に前記第（ｋ−１）ないし前記第１デコード済み特徴マップを生成する。
【0015】
一実施例で、前記学習装置は、（ｖ）前記第１ないし前記第（ｋ−１）デコンボリューションレイヤのうちでｒ個のデコンボリューションレイヤに対応して配置される第１ないし第ｒ個のデコンボリューションレイヤに対応して配置される第１ないし第ｒロスレイヤをさらに含み、前記（ｃ）段階は、（ｃ１）前記学習装置が前記第１ないし前記第ｒロスレイヤをもって前記第１ないし前記第ｒロスレイヤに対応する前記ｒ個のデコンボリューションレイヤから出力された各ｒ個のデコード済み特徴マップ及びこれに対応するＧＴイメージを参照して第１ないし第ｒロスをそれぞれ生成するようにして、前記第１ないし前記第ｒロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の前記パラメータを調整する段階；を含む。
【0016】
一実施例で、前記第１ないし前記第ｒロスレイヤは、それぞれの前記ｒ個のデコード済み特徴マップにそれぞれ補助コンボリューション演算を適用して出力されたそれぞれのｒ個の変換済み特徴マップと、これに対応するＧＴイメージとを参照して前記第１ないし前記第ｒロスをそれぞれ算出する。
【0017】
一実施例で、前記学習装置は、（ｖｉ）前記第１ないし前記第ｈマスクレイヤそれぞれの出力端と前記第１ないし前記第ｈマスクレイヤに対応するコンボリューションレイヤそれぞれの出力端との間にそれぞれ位置する第１ないし第ｈ中間レイヤをさらに含み、前記（ｂ）段階は、（ｂ１）前記学習装置は前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤに対応するｈ個のコンボリューションレイヤから出力されたｈ個のエンコード済み特徴マップが入力されて第１ないし第ｈ中間特徴マップを生成させる段階；（ｂ２）前記学習装置は、前記第１ないし前記第ｈマスクレイヤをもってそれぞれの前記第１ないし前記第ｈマスクレイヤに対応するそれぞれの前記ｈ個のデコンボリューションレイヤからそれぞれ出力された前記ｈ個の基本デコード済み特徴マップから前記エッジ部分を抽出して前記第１ないし前記第ｈエッジ特徴マップを生成させる段階；及び（ｂ３）前記学習装置は、（ｉ）第１ないし第ｈ要素ごとのプロダクトレイヤをもってそれぞれの前記第１ないし前記第ｈ中間特徴マップと、これに対応するエッジ特徴マップとを要素ごとに掛け合わせて（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｐｒｏｄｕｃｔ）、それぞれの第１ないし第ｈ要素ごとのプロダクトを生成するようにし、（ｉｉ）第１ないし第ｈ要素ごとの合算レイヤをもってそれぞれの前記第１ないし前記第ｈ要素ごとのプロダクトと、前記ｈ個の基本デコード済み特徴マップのうちでそれぞれの前記第１ないし前記第ｈ要素ごとのプロダクトに対応する基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第１ないし前記第（ｋ−１）デコード済み特徴マップのうちでｈ個のデコード済み特徴マップを生成する段階；を含む。
【0018】
一実施例で、前記学習装置が前記第ｋコンボリューションレイヤの出力端と前記第（ｋ−１）デコンボリューションレイヤの入力端との間に位置したさらなる第（ｈ＋１）中間レイヤをさらに含むものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋエンコード済み特徴マップに一つ以上の中間演算を適用して第（ｈ＋１）中間特徴マップを生成し、前記第（ｈ＋１）中間特徴マップを前記第（ｋ−１）デコンボリューションレイヤに伝達する。
【0019】
一実施例で、前記第１ないし前記第ｈ中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行する。
【0020】
一実施例で、前記（ｂ２）段階において、前記学習装置は前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって前記（ｋ−１）個のデコンボリューションレイヤのうちで前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤから出力された第ｎ基本デコード済み特徴マップからエッジ部分を抽出して第ｍエッジ特徴マップを生成するようにし、前記（ｂ３）段階において、前記学習装置は、（ｉ）第ｍ要素ごとのプロダクトレイヤをもって前記第ｍエッジ特徴マップと前記第ｍマスクレイヤに対応する第ｍ中間レイヤから出力された第ｍ中間特徴マップとを要素ごとに掛け合わせて第ｍ要素ごとのプロダクトを生成するようにし、（ｉｉ）第ｍ要素ごとの合算レイヤをもって前記第ｍ要素ごとのプロダクトと、前記第ｎ基本デコード済み特徴マップとを要素ごとに合算するようにして、第ｎデコード済み特徴マップを生成する。
【0021】
一実施例で、前記学習装置は、（ｖ）前記第１ないし前記第（ｋ−１）デコンボリューションレイヤのうちでｒ個のデコンボリューションレイヤに対応して配置される第１ないし第ｒロスレイヤをさらに含み、前記学習装置は前記第１デコード済み特徴マップを受けて前記第１ロスレイヤに入力される調整された第１デコード済み特徴マップを出力することができるさらなるデコンボリューションレイヤをさらに含み、前記（ｃ）段階は、（ｃ１）前記学習装置が前記第１ないし前記第ｒロスレイヤをもって前記第１ないし前記第ｒロスレイヤに対応する前記ｒ個のデコンボリューションレイヤから出力された各ｒ個のデコード済み特徴マップ及びこれに対応するＧＴイメージを参照して、第１ないし第ｒロスをそれぞれ生成するようにし、前記第１ないし前記第ｒロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の前記パラメータを調整するようにする段階；を含む。
【0022】
本発明の他の態様によると、少なくとも一つのテストイメージに対するセグメンテーションのテスト方法において、（ａ）学習装置が（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップに一つ以上のコンボリューション演算を適用して第１ないし第ｋ学習用エンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋ学習用エンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第（ｋ−１）ないし第１学習用デコード済み特徴マップをそれぞれ出力する第（ｋ−１）ないし第１デコンボリューションレイヤ、（ｉｉｉ）前記（ｋ−１）個のデコンボリューションレイヤのうちでｈ個のデコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）にそれぞれ対応する第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤにそれぞれ対応する第１ないし第ｈエッジロスレイヤを含むとするとき、前記学習装置が（１）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋ学習用エンコード済み特徴マップを生成するようにし、（２）前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に前記第（ｋ−１）ないし前記第１学習用デコード済み特徴マップを生成させるものの、前記学習装置は前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個の学習用の基本デコード済み特徴マップから学習用エッジ部分を抽出して第ｈないし第１学習用エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個の学習用の基本デコード済み特徴マップ及び前記第ｈないし前記第１学習用エッジ特徴マップを参照して前記第（ｋ−１）ないし前記第１学習用デコード済み特徴マップのうち少なくとも一部として機能するｈ個の学習用エッジ強化デコード済み特徴マップを生成するようにし、（３）前記第１ないし前記第ｈエッジロスレイヤをもって前記学習用エッジ部分及びこれに対応するＧＴを参照して第１ないし第ｈエッジロスを生成するようにして、前記第１ないし前記第ｈエッジロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整した状態で、テスト装置が、前記テストイメージが入力されると、前記第１ないし前記第ｋコンボリューションレイヤをもって第１ないし第ｋテスト用エンコード済み特徴マップを出力するようにする段階；及び（ｂ）前記テスト装置は、前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に第（ｋ−１）ないし第１テスト用デコード済み特徴マップを生成させるものの、前記テスト装置は、前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個のテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第ｈないし第１テスト用エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個のテスト用基本デコード済み特徴マップ及び前記第ｈないし前記第１テスト用エッジ特徴マップを参照して、前記第（ｋ−１）ないし前記第１テスト用デコード済み特徴マップのうち少なくとも一部として機能するｈ個のテスト用エッジ強化デコード済み特徴マップを生成させる段階；を含むことを特徴とするテスト方法が提供される。
【0023】
一実施例で、前記（ｂ）段階において、前記第（ｋ−１）ないし前記第１デコンボリューションレイヤは、（ｉ）それぞれの前記第ｈないし前記第１テスト用エッジ特徴マップと前記第ｈないし前記第１マスクレイヤに対応する前記ｈ個のデコンボリューションレイヤから出力されたそれぞれの前記ｈ個のテスト用基本デコード済み特徴マップの要素ごとの和（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｓｕｍ）を利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力されたテスト用特徴マップに前記デコンボリューション演算を適用して前記（ｋ−１）個のテスト用デコード済み特徴マップの少なくとも一部として機能する（ｋ−ｈ）個のテスト用基本デコード済み特徴マップを生成して、順次に前記第（ｋ−１）ないし前記第１テスト用デコード済み特徴マップを生成する。
【0024】
一実施例で、前記テスト装置は、（ｖ）前記第１ないし前記第ｈマスクレイヤそれぞれの出力端と前記第１ないし前記第ｈマスクレイヤに対応するコンボリューションレイヤそれぞれの出力端との間にそれぞれ位置する第１ないし第ｈ中間レイヤをさらに含み、前記（ｂ）段階は、（ｂ１）前記テスト装置は前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤに対応するｈ個のコンボリューションレイヤから出力されたｈ個のテスト用エンコード済み特徴マップが入力されて第１ないし第ｈテスト用中間特徴マップを生成させる段階；（ｂ２）前記テスト装置は前記第１ないし前記第ｈマスクレイヤをもってそれぞれの前記第１ないし前記第ｈマスクレイヤに対応するそれぞれの前記ｈ個のデコンボリューションレイヤからそれぞれ出力された前記第ｈテスト用基本デコード済み特徴マップから前記テスト用エッジ部分を抽出して前記第１ないし前記第ｈテスト用エッジ特徴マップを生成させる段階；及び（ｂ３）前記テスト装置は、（ｉ）第１ないし第ｈ要素ごとのプロダクトレイヤをもってそれぞれの前記第１ないし前記第ｈテスト用中間特徴マップと、これに対応するテスト用エッジ特徴マップとを要素ごとに掛け合わせて（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｐｒｏｄｕｃｔ）、それぞれの第１ないし第ｈテスト用要素ごとのプロダクトを生成するようにし、（ｉｉ）第１ないし第ｈ要素ごとの合算レイヤをもってそれぞれの前記第１ないし前記第ｈテスト用要素ごとのプロダクトと、前記ｈ個のテスト用基本デコード済み特徴マップのうちでそれぞれの前記第１ないし前記第ｈテスト用要素ごとのプロダクトに対応するテスト用基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第１ないし前記第（ｋ−１）テスト用デコード済み特徴マップのうちでｈ個のテスト用デコード済み特徴マップを生成する段階；を含む。
【0025】
一実施例で、前記テスト装置が前記第ｋコンボリューションレイヤの出力端と前記第（ｋ−１）デコンボリューションレイヤの入力端との間に位置したさらなる第（ｈ＋１）中間レイヤをさらに含むものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋテスト用エンコード済み特徴マップに一つ以上の中間演算を適用して第（ｈ＋１）テスト用中間特徴マップを生成し、前記第（ｈ＋１）テスト用中間特徴マップを前記第（ｋ−１）デコンボリューションレイヤに伝達する。
【0026】
一実施例で、前記（ｂ２）段階において、前記テスト装置は前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって前記（ｋ−１）個のデコンボリューションレイヤのうちで前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤから出力された第ｎテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第ｍテスト用エッジ特徴マップを生成するようにし、前記（ｂ３）段階において、前記テスト装置は（ｉ）第ｍ要素ごとのプロダクトレイヤをもって前記第ｍテスト用エッジ特徴マップと前記第ｍマスクレイヤに対応する第ｍ中間レイヤから出力された第ｍテスト用中間特徴マップとを要素ごとに掛け合わせて第ｍテスト用要素ごとのプロダクトを生成するようにし、（ｉｉ）第ｍ要素ごとの合算レイヤをもって前記第ｍテスト用要素ごとのプロダクトと、前記第ｎテスト用基本デコード済み特徴マップとを要素ごとに合算するようにして、第ｎテスト用デコード済み特徴マップを生成する。
【0027】
本発明のまた他の態様によると、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップに一つ以上のコンボリューション演算を適用して第１ないし第ｋエンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ；（ｉｉ）前記第ｋエンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第（ｋ−１）ないし第１デコード済み特徴マップをそれぞれ出力する第（ｋ−１）ないし第１デコンボリューションレイヤ；（ｉｉｉ）前記（ｋ−１）個のデコンボリューションレイヤのうちでｈ個のデコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）にそれぞれ対応する第１ないし第ｈマスクレイヤ；及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤにそれぞれ対応する第１ないし第ｈエッジロスレイヤ；を含む、セグメンテーション性能向上のための学習装置において、インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋエンコード済み特徴マップを生成させるプロセス、（ＩＩ）前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に前記第（ｋ−１）ないし前記第１デコード済み特徴マップを生成させるものの、前記学習装置は前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個の基本デコード済み特徴マップからエッジ部分を抽出して第ｈないし第１エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個の基本デコード済み特徴マップ及び前記第ｈないし前記第１エッジ特徴マップを参照して前記第（ｋ−１）ないし前記第１デコード済み特徴マップのうち少なくとも一部として機能するｈ個のエッジ強化デコード済み特徴マップを生成させるプロセス、及び（ＩＩＩ）前記第１ないし前記第ｈエッジロスレイヤをもって前記エッジ部分及びこれに対応するＧＴを参照して第１ないし第ｈエッジロスを生成するようにして、前記第１ないし前記第ｈエッジロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする学習装置が提供される。
【0028】
一実施例で、前記第１ないし前記第ｈエッジロスレイヤは、前記エッジ部分と、これに対応するＧＴの差を計算して前記第１ないし前記第ｈエッジロスを生成するものの、前記ＧＴは前記第１ないし前記第ｈエッジ特徴マップの大きさにそれぞれ対応する大きさを有した第１ないし第ｈＧＴイメージからそれぞれ抽出される。
【0029】
一実施例で、前記（ＩＩ）プロセスにおいて、前記第（ｋ−１）ないし前記第１デコンボリューションレイヤは、（ｉ）それぞれの前記第ｈないし前記第１エッジ特徴マップと前記第ｈないし前記第１マスクレイヤに対応する前記ｈ個のデコンボリューションレイヤから出力されたそれぞれの前記ｈ個の基本デコード済み特徴マップの要素ごとの和（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｓｕｍ）を利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力された特徴マップに前記デコンボリューション演算を適用して前記（ｋ−１）個のデコード済み特徴マップの少なくとも一部として機能する（ｋ−ｈ）個の基本デコード済み特徴マップを生成し、順次に前記第（ｋ−１）ないし前記第１デコード済み特徴マップを生成する。
【0030】
一実施例で、前記学習装置は、（ｖ）前記第１ないし前記第（ｋ−１）デコンボリューションレイヤのうちでｒ個のデコンボリューションレイヤに対応して配置される第１ないし第ｒロスレイヤをさらに含み、前記（ＩＩＩ）プロセスは、（ＩＩＩ−１）前記プロセッサが前記第１ないし前記第ｒロスレイヤをもって前記第１ないし前記第ｒロスレイヤに対応する前記ｒ個のデコンボリューションレイヤから出力された各ｒ個のデコード済み特徴マップ及びこれに対応するＧＴイメージを参照して第１ないし第ｒロスをそれぞれ生成するようにして、前記第１ないし前記第ｒロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の前記パラメータを調整するプロセス；を含む。
【0031】
一実施例で、前記第１ないし前記第ｒロスレイヤは、それぞれの前記ｒ個のデコード済み特徴マップにそれぞれ補助コンボリューション演算を適用して出力されたそれぞれのｒ個の変換済み特徴マップと、これに対応するＧＴイメージとを参照して前記第１ないし前記第ｒロスをそれぞれ算出する。
【0032】
一実施例で、前記学習装置は、（ｖｉ）前記第１ないし前記第ｈマスクレイヤそれぞれの出力端と前記第１ないし前記第ｈマスクレイヤに対応するコンボリューションレイヤそれぞれの出力端との間にそれぞれ位置する第１ないし第ｈ中間レイヤをさらに含み、前記（ＩＩ）プロセスは、（ＩＩ−１）前記プロセッサが前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤに対応するｈ個のコンボリューションレイヤから出力されたｈ個のエンコード済み特徴マップが入力されて第１ないし第ｈ中間特徴マップを生成させるプロセス；（ＩＩ−２）前記プロセッサは前記第１ないし前記第ｈマスクレイヤをもってそれぞれの前記第１ないし前記第ｈマスクレイヤに対応するそれぞれの前記ｈ個のデコンボリューションレイヤからそれぞれ出力された前記ｈ個の基本デコード済み特徴マップから前記エッジ部分を抽出して前記第１ないし前記第ｈエッジ特徴マップを生成させるプロセス；及び（ＩＩＩ−３）前記プロセッサは（ｉ）第１ないし第ｈ要素ごとのプロダクトレイヤをもってそれぞれの前記第１ないし前記第ｈ中間特徴マップと、これに対応するエッジ特徴マップとを要素ごとに掛け合わせて（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｐｒｏｄｕｃｔ）、それぞれの第１ないし第ｈ要素ごとのプロダクトを生成するようにし、（ｉｉ）第１ないし第ｈ要素ごとの合算レイヤをもってそれぞれの前記第１ないし前記第ｈ要素ごとのプロダクトと、前記ｈ個の基本デコード済み特徴マップのうちでそれぞれの前記第１ないし前記第ｈ要素ごとのプロダクトに対応する基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第１ないし前記第（ｋ−１）デコード済み特徴マップのうちでｈ個のデコード済み特徴マップを生成するプロセス；を含む。
【0033】
一実施例で、前記学習装置が前記第ｋコンボリューションレイヤの出力端と前記第（ｋ−１）デコンボリューションレイヤの入力端との間に位置したさらなる第（ｈ＋１）中間レイヤをさらに含むものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋエンコード済み特徴マップに一つ以上の中間演算を適用して第（ｈ＋１）中間特徴マップを生成し、前記第（ｈ＋１）中間特徴マップを前記第（ｋ−１）デコンボリューションレイヤに伝達する。
【0034】
一実施例で、前記第１ないし前記第ｈ中間レイヤのうち少なくとも一つは、一つ以上の膨張コンボリューション）演算を遂行する。
【0035】
一実施例で、前記（ＩＩ−２）プロセスにおいて、前記プロセッサは前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって前記（ｋ−１）個のデコンボリューションレイヤのうちで前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤから出力された第ｎ基本デコード済み特徴マップからエッジ部分を抽出して第ｍエッジ特徴マップを生成するようにし、前記（ＩＩ−３）プロセスにおいて、前記プロセッサは（ｉ）第ｍ要素ごとのプロダクトレイヤをもって前記第ｍエッジ特徴マップと前記第ｍマスクレイヤに対応する第ｍ中間レイヤから出力された第ｍ中間特徴マップとを要素ごとに掛け合わせて第ｍ要素ごとのプロダクトを生成するようにし、（ｉｉ）第ｍ要素ごとの合算レイヤをもって前記第ｍ要素ごとのプロダクトと、前記第ｎ基本デコード済み特徴マップとを要素ごとに合算するようにして、第ｎデコード済み特徴マップを生成する。
【0036】
一実施例で、前記学習装置は、（ｖ）前記第１ないし前記第（ｋ−１）デコンボリューションレイヤのうちでｒ個のデコンボリューションレイヤに対応して配置される第１ないし第ｒロスレイヤをさらに含み、前記学習装置は前記第１デコード済み特徴マップを受けて前記第１ロスレイヤに入力される調整された第１デコード済み特徴マップを出力することができるさらなるデコンボリューションレイヤをさらに含み、前記（ＩＩＩ）プロセスは、（ＩＩＩ−１）前記プロセッサが前記第１ないし前記第ｒロスレイヤをもって前記第１ないし前記第ｒロスレイヤに対応する前記ｒ個のデコンボリューションレイヤから出力された各ｒ個のデコード済み特徴マップ及びこれに対応するＧＴイメージを参照して第１ないし第ｒロスをそれぞれ生成するようにして、前記第１ないし前記第ｒロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の前記パラメータを調整するようにするプロセス；を含む。
【0037】
本発明のまた他の態様によると、少なくとも一つのテストイメージに対してセグメンテーションするためのテスト装置において、インストラクションを格納する少なくとも一つのメモリ；及び学習装置が（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップに一つ以上のコンボリューション演算を適用して第１ないし第ｋ学習用エンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋ学習用エンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第（ｋ−１）ないし第１学習用デコード済み特徴マップをそれぞれ出力する第（ｋ−１）ないし第１デコンボリューションレイヤ、（ｉｉｉ）前記（ｋ−１）個のデコンボリューションレイヤのうちでｈ個のデコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）にそれぞれ対応する第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤにそれぞれ対応する第１ないし第ｈエッジロスレイヤを含むとするとき、前記学習装置が（１）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋ学習用エンコード済み特徴マップを生成するようにし、（２）前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に前記第（ｋ−１）ないし前記第１学習用デコード済み特徴マップを生成させるものの、前記学習装置は前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個の学習用の基本デコード済み特徴マップから学習用エッジ部分を抽出して第ｈないし第１学習用エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個の学習用の基本デコード済み特徴マップ及び前記第ｈないし前記第１学習用エッジ特徴マップを参照して前記第（ｋ−１）ないし前記第１学習用デコード済み特徴マップのうち少なくとも一部として機能するｈ個の学習用エッジ強化デコード済み特徴マップを生成するようにし、（３）前記第１ないし前記第ｈエッジロスレイヤをもって前記学習用エッジ部分及びこれに対応するＧＴを参照して第１ないし第ｈエッジロスを生成するようにして、前記第１ないし前記第ｈエッジロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整した状態で、（Ｉ）前記第１ないし前記第ｋコンボリューションレイヤをもって第１ないし第ｋテスト用エンコード済み特徴マップを出力するようにするプロセス；及び（ＩＩ）前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に第（ｋ−１）ないし第１テスト用デコード済み特徴マップを生成させるものの、前記テスト装置は、前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個のテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第ｈないし第１テスト用エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個のテスト用基本デコード済み特徴マップ及び前記第ｈないし前記第１テスト用エッジ特徴マップを参照して前記第（ｋ−１）ないし前記第１テスト用デコード済み特徴マップのうち少なくとも一部として機能するｈ個のテスト用エッジ強化デコード済み特徴マップを生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするテスト装置が提供される。
【0038】
一実施例で、前記（ＩＩ）プロセスにおいて、前記第（ｋ−１）ないし前記第１デコンボリューションレイヤは、（ｉ）それぞれの前記第ｈないし前記第１テスト用エッジ特徴マップと前記第ｈないし前記第１マスクレイヤに対応する前記ｈ個のデコンボリューションレイヤから出力されたそれぞれの前記ｈ個のテスト用基本デコード済み特徴マップの要素ごとの和（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｓｕｍ）を利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力されたテスト用特徴マップに前記デコンボリューション演算を適用して前記（ｋ−１）個のテスト用デコード済み特徴マップの少なくとも一部として機能する（ｋ−ｈ）個のテスト用基本デコード済み特徴マップを生成し、順次に前記第（ｋ−１）ないし前記第１テスト用デコード済み特徴マップを生成する。
【0039】
一実施例で、前記テスト装置は（ｖ）前記第１ないし前記第ｈマスクレイヤそれぞれの出力端と前記第１ないし前記第ｈマスクレイヤに対応するコンボリューションレイヤそれぞれの出力端との間にそれぞれ位置する第１ないし第ｈ中間レイヤをさらに含み、前記（ＩＩ）プロセスは、（ＩＩ−１）前記プロセッサは前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤに対応するｈ個のコンボリューションレイヤから出力されたｈ個のテスト用エンコード済み特徴マップが入力されて第１ないし第ｈテスト用中間特徴マップを生成させるプロセス；（ＩＩ−２）前記プロセッサは前記第１ないし前記第ｈマスクレイヤをもってそれぞれの前記第１ないし前記第ｈマスクレイヤに対応するそれぞれの前記ｈ個のデコンボリューションレイヤからそれぞれ出力された前記第ｈテスト用基本デコード済み特徴マップから前記テスト用エッジ部分を抽出して前記第１ないし前記第ｈテスト用エッジ特徴マップを生成させるプロセス；及び（ＩＩ−３）前記プロセッサは（ｉ）第１ないし第ｈ要素ごとのプロダクトレイヤをもってそれぞれの前記第１ないし前記第ｈテスト用中間特徴マップと、これに対応するテスト用エッジ特徴マップとを要素ごとに掛け合わせて（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｐｒｏｄｕｃｔ）、それぞれの第１ないし第ｈテスト用要素ごとのプロダクトを生成するようにし、（ｉｉ）第１ないし第ｈ要素ごとの合算レイヤをもってそれぞれの前記第１ないし前記第ｈテスト用要素ごとのプロダクトと、前記ｈ個のテスト用基本デコード済み特徴マップのうちでそれぞれの前記第１ないし前記第ｈテスト用要素ごとのプロダクトに対応するテスト用基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第１ないし前記第（ｋ−１）テスト用デコード済み特徴マップのうちでｈ個のテスト用デコード済み特徴マップを生成するプロセス；を含む。
【0040】
一実施例で、前記テスト装置が前記第ｋコンボリューションレイヤの出力端と前記第（ｋ−１）デコンボリューションレイヤの入力端との間に位置したさらなる第（ｈ＋１）中間レイヤをさらに含むものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋテスト用エンコード済み特徴マップに一つ以上の中間演算を適用して第（ｈ＋１）テスト用中間特徴マップを生成し、前記第（ｈ＋１）テスト用中間特徴マップを前記第（ｋ−１）デコンボリューションレイヤに伝達する。
【0041】
一実施例で、前記（ＩＩ−２）プロセスにおいて、前記プロセッサは前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって前記（ｋ−１）個のデコンボリューションレイヤのうちで前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤから出力された第ｎテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第ｍテスト用エッジ特徴マップを生成するようにし、前記（ＩＩ−３）プロセスにおいて、前記プロセッサは（ｉ）第ｍ要素ごとのプロダクトレイヤをもって前記第ｍテスト用エッジ特徴マップと前記第ｍマスクレイヤに対応する第ｍ中間レイヤから出力された第ｍテスト用中間特徴マップとを要素ごとに掛け合わせて第ｍテスト用要素ごとのプロダクトを生成するようにし、（ｉｉ）第ｍ要素ごとの合算レイヤをもって前記第ｍテスト用要素ごとのプロダクトと、前記第ｎテスト用基本デコード済み特徴マップとを要素ごとに合算するようにして、第ｎテスト用デコード済み特徴マップを生成する。
【発明の効果】
【0042】
本発明によると、エッジロスレイヤを通じてエッジ部分を強化して、セグメンテーションプロセスで正確なエッジ部分を有したラベルイメージを生成することができる効果がある。
【0043】
また、本発明によると、エッジ情報を抽出するのに多くの演算が要求されないため、鮮明なラベルイメージを出力することができる効果がある。
【図面の簡単な説明】
【0044】
本発明の実施例の説明に利用されるために添付された下記の図面は、本発明の実施例のうち単に一部に過ぎず、本発明が属する技術分野おける通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。【発明を実施するための形態】
【0045】
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、その実施例に関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現される得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【0046】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は、実例として提供され、本発明を限定することを意図したものではない。
【0047】
本発明で言及している各種イメージは、舗装または非舗装道路の関連イメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【0048】
以下、本発明の属する技術分野において、通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することとする。
【0049】
図２は、本発明の一実施例によるイメージセグメンテーションのプロセスを簡略に示したものである。
【0050】
本発明による学習装置は、図２で示されているように第１コンボリューションレイヤ（１００＿１）ないし第ｋコンボリューションレイヤ（１００＿ｋ）及び第（ｋ−１）デコンボリューションレイヤ（２００＿（ｋ−１））ないし第１デコンボリューションレイヤ（２００＿１）を含む。そして、それぞれの第１マスクレイヤ（３００＿１）ないし第（ｋ−１）マスクレイヤ（３００＿（ｋ−１））は、それぞれの前記第１デコンボリューションレイヤ（２００＿１）ないし前記第（ｋ−１）デコンボリューションレイヤ（２００＿（ｋ−１））に連結される。そして、それぞれの第１エッジロスレイヤ（４００＿１）ないし第（ｋ−１）エッジロスレイヤ（４００＿（ｋ−１））は、それぞれの前記第１マスクレイヤ（３００＿１）ないし前記第（ｋ−１）マスクレイヤ（３００＿（ｋ−１））に連結される。また、それぞれの第１要素別（Ｅｌｅｍｅｎｔ−Ｗｉｓｅ）合算レイヤ（３１０＿１）ないし第（ｋ−１）要素ごとの合算レイヤ（３１０＿（ｋ−１）は、それぞれの前記第１マスクレイヤ（３００＿１）ないし前記第（ｋ−１）マスクレイヤ（３００＿（ｋ−１））及びそれぞれの前記第１デコンボリューションレイヤ（２００＿１）ないし前記第（ｋ−１）デコンボリューションレイヤ（２００＿（ｋ−１））に連結される。この際、前記第１要素ごとの合算レイヤ（３１０＿１）ないし前記第（ｋ−１）要素ごとの合算レイヤ（３１０＿（ｋ−１）は、前記第１デコンボリューションレイヤ（２００＿１）ないし前記第（ｋ−１）デコンボリューションレイヤ（２００＿（ｋ−１））からデコード済み（Ｄｅｃｏｄｅｄ）特徴マップを取得し、前記第１マスクレイヤ（３００＿１）ないし前記第（ｋ−１）マスクレイヤ（３００＿（ｋ−１））からエッジ特徴マップを取得し、前記デコード済み特徴マップと前記エッジ特徴マップの要素ごとの和（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｓｕｍ）を次のデコンボリューションレイヤに伝達する。
【0051】
まず、少なくとも一つのトレーニングイメージ（１０）が入力されると、前記第１コンボリューションレイヤ（１００＿１）ないし前記第ｋコンボリューションレイヤ（１００＿ｋ）は第１ないし第ｋエンコード済み（Ｅｎｃｏｄｅｄ）特徴マップを生成し、前記第（ｋ−１）デコンボリューションレイヤ（２００＿（ｋ−１））ないし前記第１デコンボリューションレイヤ（２００＿１）は、前記第ｋエンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第（ｋ−１）ないし第１デコード済み特徴マップを生成する。そして、セグメンテーションラベルイメージ（２０）は、前記第１デコード済み特徴マップに少なくとも一つ所定の演算を適用して生成される。
【0052】
図２を参照すると、前記第（ｋ−１）ないし前記第１デコード済み特徴マップを生成するプロセスにおいて、前記学習装置は、前記第（ｋ−１）マスクレイヤ（３００＿（ｋ−１））ないし前記第１マスクレイヤ（３００＿１）をもってそれぞれの前記第（ｋ−１）ないし前記第１デコンボリューションレイヤから出力されるそれぞれの第（ｋ−１）ないし第１基本デコード済み特徴マップからエッジ部分を抽出して第（ｋ−１）ないし第１エッジ特徴マップを生成し、前記第（ｋ−１）要素ごとの合算レイヤ（３１０＿（ｋ−１））ないし前記第１要素ごとの合算レイヤ（３１０＿１）をもってそれぞれの前記第（ｋ−１）ないし前記第１エッジ特徴マップとそれぞれの前記第（ｋ−１）ないし前記第１基本特徴マップとを要素ごとに加える（Ｅｌｅｍｅｎｔ−Ｗｉｓｅ Ａｄｄ）ことによって、前記第（ｋ−１）ないし前記第１デコード済み特徴マップを生成し、前記第（ｋ−１）ないし第２デコード済み特徴マップはこれに対応する次のデコンボリューションレイヤに伝達される。
【0053】
そして、前記学習装置は、第（ｋ−１）エッジロスレイヤ（４００＿（ｋ−１））ないし第１エッジロスレイヤ（４００＿１）をもって前記第（ｋ−１）マスクレイヤ（３００＿（ｋ−１））ないし前記第１マスクレイヤ（３００＿１）から出力された前記第（ｋ−１）ないし前記第１エッジ特徴マップ及びこれに対応するＧＴを参考にして第（ｋ−１）ないし第１エッジロスを生成させる。前記第１ないし前記第（ｋ−１）エッジロスは、バックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうちで少なくとも一部の一つ以上のパラメータを調整するために利用される。
【0054】
この際、それぞれの前記第（ｋ−１）エッジロスレイヤ（４００＿（ｋ−１））ないし前記第１エッジロスレイヤ（４００＿１）は、少なくとも一つのＧＴラベルからエッジ情報を抽出し、前記抽出されたエッジ情報及び前記第（ｋ−１）マスクレイヤ（３００＿（ｋ−１））ないし前記第１マスクレイヤ（３００＿１）から出力された前記第（ｋ−１）ないし前記第１エッジ特徴マップを参考にして、前記第（ｋ−１）ないし前記第１エッジロスを計算する。このため、前記学習は前記エッジ部分のエラーを利用して前記エッジ部分を強化するために遂行される。前記エッジ部分を復元する場合において、前記エッジ部分は広い帯域の周波数を含むため、小さいサイズの特徴マップから前記エッジ部分を復元するのに多くのエネルギーが必要とされる。したがって、従来の方法において、前記学習プロセスは前記エッジ部分において非効率的であり、これにより前記テストプロセスにおいて正確な結果を出力するのが難しい。しかし、前記エッジ部分が前記エッジレイヤを通じて前記エッジ部分の前記エラーを利用して強化されるため、図２で示されているように前記方法は、前記エッジ部分を検出するＣＮＮの性能を向上させることができる。
【0055】
この際、前記学習装置は、（ｉ）前記第１コンボリューションレイヤ（１００＿１）ないし前記第ｋコンボリューションレイヤ（１００＿ｋ）をもって順次に前記トレーニングイメージ及び前記第１ないし前記第（ｋ−１）エンコード済み特徴マップの大きさを減少させ、チャンネル数を増加させて前記第１ないし前記第ｋエンコード済み特徴マップをそれぞれ出力するようにし、（ｉｉ）前記第（ｋ−１）デコンボリューションレイヤ（２００＿（ｋ−１））ないし前記第１デコンボリューションレイヤ（２００＿１）をもって順次に前記第ｋエンコード済み特徴マップ及び前記第（ｋ−１）ないし前記第２デコード済み特徴マップの大きさを増加させてチャンネル数を減少させ、前記第（ｋ−１）ないし前記第１デコード済み特徴マップをそれぞれ出力するようにする。そして、前記学習装置は、前記第（ｋ−１）エッジロスレイヤ（４００＿（ｋ−１））ないし前記第１エッジロスレイヤ（４００＿１）をもって前記第（ｋ−１）マスクレイヤ（３００＿（ｋ−１））ないし前記第１マスクレイヤ（３００＿１）から抽出された（ｋ−１）個のエッジ部分と、これに対応するＧＴエッジとの差を計算して前記第（ｋ−１）ないし前記第１エッジロスを生成するものの、前記ＧＴエッジは、前記（ｋ−１）個のエッジ部分のイメージ大きさとそれぞれに対応する大きさを有した第（ｋ−１）ないし第１ ＧＴイメージから抽出される。
【0056】
そして、前記学習装置は、第１ロスレイヤ（５００＿１）をもって前記第１デコード済み特徴マップ又は前記セグメンテーションラベルイメージ（２０）及びこれに対応するＧＴラベルイメージを参考にして一つ以上の第１のロスを生成するようにし、前記第１のロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整する。
【0057】
そして、本発明による前記学習装置は、前記第１デコード済み特徴マップを受けて、前記第１ロスレイヤに入力される前記セグメンテーションラベルイメージ（２０）と共に調整された第１デコード済み特徴マップを出力することができるさらなるデコンボリューションレイヤをさらに含む。
【0058】
一方、前記学習装置は前記第１デコンボリューションレイヤ（２００＿１）からの出力を利用するだけでなく、多数の前記デコンボリューションレイヤから出力された多数の前記デコード済み特徴マップを利用して計算された前記ロスを利用したバックプロパゲーションを遂行する。たとえば、前記学習装置は、前記第（ｋ−１）デコンボリューションレイヤ（２００＿（ｋ−１））ないし前記第１デコンボリューションレイヤ（２００＿１）のうち少なくとも一つに対応する図６の第（ｋ−１）ロスレイヤ（５００＿（ｋ−１））ないし第１ロスレイヤ（５００＿１）をもって前記第（ｋ−１）ないし前記第１デコンボリューションレイヤの前記少なくとも一つから出力された少なくとも一つのデコード済み特徴マップ及びこれに対応するＧＴラベルイメージを参考にして一つ以上のロスを生成させることで、前記ロスを利用したバックプロパゲーションを遂行する。
【0059】
図３は、本発明の他の実施例によるイメージセグメンテーションのプロセスを簡単に示したものである。
【0060】
図３に示された本発明の他の実施例による前記セグメンテーション性能向上のための前記学習装置は、図２に示された本発明の一実施例による前記学習装置と基本的に類似した構成を有するが、前記第（ｋ−１）デコンボリューションレイヤ（２００＿（ｋ−１））ないし前記第１デコンボリューションレイヤ（２００＿１）のうちでｈ個のデコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）にそれぞれ対応する第１マスクレイヤ（３００＿１）ないし第ｈマスクレイヤ（３００＿ｈ）及び前記第１ないし前記第ｈマスクレイヤにそれぞれ対応する第１ディファレンシャルレイヤ（４００＿１）ないし第ｈディファレンシャルレイヤ（４００＿ｈ）を含む。
【0061】
この場合、図３に示された前記学習装置は、前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に前記第（ｋ−１）ないし前記第１デコード済み特徴マップを生成させるものの、前記学習装置は前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個の基本デコード済み特徴マップからエッジ部分を抽出して第ｈないし第１エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個の基本デコード済み特徴マップ及び前記第ｈないし前記第１エッジ特徴マップを参照して前記第（ｋ−１）ないし前記第１デコード済み特徴マップのうち少なくとも一部として機能するｈ個のエッジ強化デコード済み特徴マップを生成させる。特に、前記第（ｋ−１）ないし前記第１デコンボリューションレイヤを通じて（ｉ）それぞれの前記第ｈないし前記第１エッジ特徴マップと前記第ｈないし前記第１マスクレイヤに対応する前記ｈ個のデコンボリューションレイヤから出力されたそれぞれの前記ｈ個の基本デコード済み特徴マップの要素ごとの和（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｓｕｍ）を利用して、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前のレイヤそれぞれから出力された特徴マップに前記デコンボリューション演算を適用して前記（ｋ−１）個のデコード済み特徴マップの少なくとも一部として機能する（ｋ−ｈ）個の基本デコード済み特徴マップを生成して、前記第（ｋ−１）ないし前記第１デコード済み特徴マップが生成される。
【0062】
そして、図３で示された前記学習装置は、前記第１ないし前記第ｈエッジロスレイヤをもって前記エッジ部分及びこれに対応するＧＴを参考にして第１ないし第ｈエッジロスを生成させることで、前記第１ないし前記第ｈエッジロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤの少なくとも一部分の前記パラメータを調整する。
【0064】
図４を参照すると、前記学習装置は、前記第（ｋ−１）デコンボリューションレイヤ（２００＿（ｋ−１））ないし前記第１デコンボリューションレイヤ（２００＿１）のうちで第ｎデコンボリューションレイヤ（２００＿ｎ）をもって以前のデコンボリューションレイヤから伝達された前記第（ｎ＋１）デコード済み特徴マップに前記デコンボリューション演算を適用して、第ｎ基本デコード済み特徴マップを生成するようにし、前記第ｎ基本デコード済み特徴マップ及びこれから抽出された第ｍエッジ特徴マップを利用して第ｎデコード済み特徴マップを出力するようにする。図４は、図３の前記実施例を基盤として前記エッジ情報を抽出し、前記エッジロスを計算する詳細なプロセスを示すようにするために、前記第１ないし前記第ｈマスクレイヤのうちで第ｍマスクレイヤ（３００＿ｍ）及びこれに対応する第ｍエッジロスレイヤ（４００＿ｍ）が前記第ｎデコンボリューションレイヤ（２００＿ｎ）に対応して配置される例を示したものである。
【0065】
まず、前記第ｎデコンボリューションレイヤ（２００＿ｎ）は、以前のデコンボリューションレイヤ（２００＿（ｎ＋１））又は以前の要素別合算レイヤ（３００＿（ｍ＋１））から前記第（ｎ＋１）デコード済み特徴マップを取得する。そして、前記第ｎデコンボリューションレイヤ（２００＿ｎ）は、前記第（ｎ＋１）デコード済み特徴マップに前記デコンボリューション演算を適用して前記第ｎ基本デコード済み特徴マップを生成し、これを前記第ｍマスクレイヤ（３００＿ｍ）及び第ｍ要素ごとの合算レイヤ（３１０＿ｍ）に伝達する。前記第ｍマスクレイヤ（３００＿ｍ）は、第ｎデコンボリューションレイヤ（２００＿ｎ）から出力された前記第ｎ基本デコード済み特徴マップからエッジ部分を抽出して前記第ｍエッジ特徴マップを生成する。前記第ｍ要素ごとの合算レイヤ（３１０＿ｍ）を通じて前記第ｍエッジ特徴マップが前記第ｎ基本デコード済み特徴マップと要素ごとに合算されて、前記第ｎデコード済み特徴マップが生成される。前記第ｎデコード済み特徴マップは、次のデコンボリューションレイヤ（２００＿（ｎ−１））に伝達される。
【0066】
また、第ｍエッジロスレイヤ（４００＿ｍ）は、前記第ｍマスクレイヤ（３００＿ｍ）から出力された前記第ｍエッジ特徴マップ及びこれに対応するＧＴエッジあるいはＧＴイメージから抽出されたエッジ部分を利用して一つ以上の第ｍエッジロスを生成する。前記エッジロスはバックプロパゲーションされて、前記ＣＮＮの前記パラメータを調整するのに利用される。よって、前記ＣＮＮの前記パラメータは、前記エッジ部分を強化するのに学習され、鮮明なエッジ部分を有するセグメンテーション結果が生成される。
【0067】
図５は、本発明のまた他の実施例によるイメージセグメンテーションのプロセスを簡略に示したものである。
【0068】
図５に示された本発明のまた他の実施例による前記セグメンテーション性能向上のための前記学習装置は、図２または３に示された前記学習装置と基本的に類似した構成を有するが、前記コンボリューションレイヤの少なくとも一つと、それに対応するデコンボリューションレイヤとの間に位置する中間レイヤをさらに含む。たとえば、前記中間レイヤは、前記第１コンボリューションレイヤ（１００＿１）ないし前記第（ｋ−１）コンボリューションレイヤ（１００＿（ｋ−１））それぞれの出力端と前記第１マスクレイヤ（３００＿１）ないし前記第（ｋ−１）マスクレイヤ（３００＿（ｋ−１））それぞれの出力端との間にそれぞれ位置する第１中間レイヤ（６００＿１）ないし第（ｋ−１）の中間レイヤ（６００＿（ｋ−１））を含み、前記第ｋコンボリューションレイヤの出力端と前記第（ｋ−１）デコンボリューションレイヤの入力端との間に位置する第ｋの中間レイヤ（６００＿ｋ）をさらに含む。前記第１ないし前記第ｋの中間レイヤの少なくとも一つは、一つ以上の膨張コンボリューション（Ｄｉｌａｔｅｄ ｃｏｎｖｏｌｕｔｉｏｎ）演算を遂行する。この際、それぞれの前記中間レイヤのレセプティブフィールド（Ｒｅｃｅｐｔｉｖｅ Ｆｉｅｌｄ）は、０の値を有するフィルター加重値によって決定される。そして、図５を参照すると、前記学習装置は、前記第１ないし前記第（ｋ−１）の中間レイヤからのそれぞれの出力と前記第１ないし前記第（ｋ−１）マスクレイヤロータのそれぞれの出力を要素ごとに掛け合わせて第１ないし第（ｋ−１）要素ごとのプロダクト（Ｅｌｅｍｅｎｔ−Ｗｉｓｅ Ｐｒｏｄｕｃｔ）を生成することができる（ｋ−１）個の要素ごとのプロダクトレイヤ（３２０＿１ないし３２０＿（ｋ−１））をさらに含む。前記第１ないし前記第（ｋ−１）要素ごとのプロダクトは、前記第１要素ごとの合算レイヤ（３１０＿１）ないし前記第（ｋ−１）要素ごとの合算レイヤ（３１０＿（ｋ−１））にそれぞれ伝達され、また前記第１要素ごとの合算レイヤ（３１０＿１）ないし前記第（ｋ−１）要素ごとの合算レイヤ（３１０＿（ｋ−１）が（ｉ）それぞれの前記第１ないし前記第（ｋ−１）要素ごとのプロダクトと（ｉｉ）前記（ｋ−１）個の基本デコード済み特徴マップのうちでそれぞれの前記第１ないし前記第（ｋ−１）要素ごとのプロダクトに対応する基本デコード済み特徴マップとを要素ごとに合算することにより、前記第１ないし前記第（ｋ−１）デコード済み特徴マップを生成する。
【0069】
図面には示されていないが、他の実施例として、前記学習装置は前記第１ないし前記第ｈマスクレイヤのそれぞれの出力端と前記第１ないし前記第ｈマスクレイヤに対応するｈ個のコンボリューションレイヤのそれぞれの出力端との間にそれぞれ位置したｈ個の中間レイヤを含む。また、前記学習装置は、前記ｈ個のマスクレイヤに対応する第１要素ごとのプロダクトレイヤ（３２０＿１）ないし第ｈ要素ごとのプロダクトレイヤ（３２０＿ｈ）を含む。前記第１ないし前記第ｈ要素ごとのプロダクトレイヤは、前記ｈ個の中間レイヤから出力された第１ないし第ｈ中間特徴マップと前記第１マスクレイヤ（３００＿１）ないし前記第ｈマスクレイヤ（３００＿ｈ）から出力された前記第１ないし前記第ｈエッジ特徴マップとを要素ごとに掛け合わせて第１ないし第ｈ要素ごとのプロダクトを生成する。前記第１ないし前記第ｈ要素ごとのプロダクトは、第１要素ごとの合算レイヤ（３１０＿１）ないし第ｈ要素ごとの合算レイヤ（３１０＿ｈ）にそれぞれ伝達される。そして、前記第１要素ごとの合算レイヤ（３１０＿１）ないし前記第ｈ要素ごとの合算レイヤ（３１０＿ｈ）がそれぞれの前記第１ないし前記第ｈ要素ごとのプロダクトと、前記ｈ個の基本デコード済み特徴マップのうちでそれぞれの前記第１ないし前記第ｈ要素ごとのプロダクトに対応する基本デコード済み特徴マップとを要素ごとに加えることにより、前記第１ないし前記第（ｋ−１）デコード済み特徴マップのうちでｈ個のデコード済み特徴マップを生成する。
【0070】
つまり、前記学習装置は、（ｉ）前記ｈ個の中間レイヤをもって前記第１ないし前記第ｈマスクレイヤに対応するｈ個のコンボリューションレイヤから出力されたｈ個のエンコード済み特徴マップが入力されて前記第１ないし前記第ｈ中間特徴マップを生成するようにし、（ｉｉ）前記第１ないし前記第ｈマスクレイヤをもってそれぞれの前記第１ないし前記第ｈマスクレイヤに対応するそれぞれの前記ｈ個のデコンボリューションレイヤからそれぞれ出力された前記ｈ個の基本デコード済み特徴マップから前記エッジ部分を抽出して前記第１ないし前記第ｈエッジ特徴マップを生成するようにし、（ｉｉｉ−１）前記第１ないし前記第ｈ要素ごとのプロダクトレイヤをもってそれぞれの前記第１ないし前記第ｈ中間特徴マップと、これに対応するエッジ特徴マップとを要素ごとに掛け合わせて（Ｅｌｅｍｅｎｔ−ｗｉｓｅ Ｐｒｏｄｕｃｔ）、それぞれの第１ないし第ｈ要素ごとのプロダクトを生成するようにし、（ｉｉｉ−２）第１ないし第ｈ要素ごとの合算レイヤをもってそれぞれの前記第１ないし前記第ｈ要素ごとのプロダクトと、前記ｈ個の基本デコード済み特徴マップのうちでそれぞれの前記第１ないし前記第ｈ要素ごとのプロダクトに対応する基本デコード済み特徴マップとを要素ごとに合算するようにすることで、前記第１ないし前記第（ｋ−１）デコード済み特徴マップのうちで前記ｈ個のデコード済み特徴マップを生成する。そして、前記学習装置が前記第ｋコンボリューションレイヤの出力端と前記第（ｋ−１）デコンボリューションレイヤの入力端との間に位置したさらなる第（ｈ＋１）中間レイヤをさらに含むものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋエンコード済み特徴マップに一つ以上の中間演算を適用して第（ｈ＋１）中間特徴マップを生成し、前記第（ｈ＋１）中間特徴マップを前記第（ｋ−１）デコンボリューションレイヤに伝達する。この際、前記中間演算は前記膨張コンボリューション演算であり得る。
【0071】
図６は、本発明のまた他の実施例によるイメージセグメンテーションのプロセスを簡略に示したものである。
【0072】
図６に示された本発明のまた他の実施例による前記セグメンテーション性能向上のための前記学習装置は、図５に示された前記学習装置と基本的に類似した構成を有するが、前記第１デコンボリューションレイヤ（２００＿１）ないし前記第（ｋ−１）デコンボリューションレイヤ（２００＿（ｋ−１））に対応して位置する前記第１ロスレイヤ（５００＿１）ないし前記第（ｋ−１）ロスレイヤ（５００＿（ｋ−１））を含む。図６で示された前記学習装置は、前記第１ロスレイヤ（５００＿１）ないし前記第（ｋ−１）ロスレイヤ（５００＿（ｋ−１））をもってそれぞれの前記第１ないし前記第（ｋ−１）デコード済み特徴マップ及びこれに対応するＧＴイメージを参考にして、前記第１ないし第（ｋ−１）ロスをそれぞれ生成するようにし、前記第１ないし前記第（ｋ−１）ロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤの少なくとも一部のパラメータを調整する。
【0073】
前記ロスレイヤの場合において、前記第１ロスレイヤは、前記第１デコンボリューションレイヤに対応して位置するが、残りのロスレイヤは第２デコンボリューションレイヤ（２００＿２）ないし前記第（ｋ−１）デコンボリューションレイヤ（２００＿（ｋ−１））全てに対応するように位置しないことがある。つまり、前記学習装置は、前記第１ないし前記第（ｋ−１）デコンボリューションレイヤのうちでｒ個のデコンボリューションレイヤに対応して位置するｒ個のロスレイヤを含み、前記ｒ個のロスレイヤのうちで前記第１デコンボリューションレイヤ（２００＿１）に対応して位置する前記第１ロスレイヤ（５００＿１）は、前記ラベルイメージ（２０）及びこれに対応するＧＴを参照して前記第１のロスを生成する。
【0074】
前記学習装置は、前記ｒ個のロスレイヤをもって前記ｒ個のロスレイヤに対応する前記ｒ個のデコンボリューションレイヤから出力されるｒ個のデコード済み特徴マップそれぞれ及びこれに対応するＧＴを参照してｒ個のロスをそれぞれ生成させる。そして、前記学習装置は、前記ｒ個のロスのうち少なくとも一つを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤの少なくとも一部の前記パラメータを調整する。
【0076】
図７を参考にして、前記学習装置は、前記第（ｋ−１）デコンボリューションレイヤ（２００＿（ｋ−１））ないし前記第１デコンボリューションレイヤ（２００＿１）のうちで前記第ｎデコンボリューションレイヤ（２００＿ｎ）をもって以前のデコンボリューションレイヤから伝達された前記第（ｎ＋１）デコード済み特徴マップに前記デコンボリューション演算を適用して、前記第ｎ基本デコード済み特徴マップを生成するようにし、前記第ｎ基本デコード済み特徴マップとこれから抽出された前記第ｍエッジ特徴マップを利用して、前記第ｎデコード済み特徴マップを生成させる。図７は、図６の実施例を基盤として前記エッジ情報を抽出し、前記エッジロスを計算する詳細なプロセスを説明するために、（ｉ）前記第１ないし前記第ｈマスクレイヤのうちで前記第ｍマスクレイヤ（３００＿ｍ）、（ｉｉ）前記第１ないし前記第ｈエッジロスレイヤのうちで前記第ｍマスクレイヤに対応する前記第ｍエッジロスレイヤ（４００＿ｍ）、（ｉｉｉ）第ｍ中間レイヤ（６００＿ｍ）、及び（ｉｖ）第ｍロスレイヤ（５００＿ｍ）が前記第ｎデコンボリューションレイヤ（２００＿ｎ）に対応して位置する例を含む。
【0077】
図７を参照すると、前記第ｎデコンボリューションレイヤ（２００＿ｎ）は、以前のデコンボリューションレイヤ（２００＿（ｎ＋１））から、または以前の要素ごとの合算レイヤ（３００＿（ｍ＋１））から前記第（ｎ＋１）デコード済み特徴マップを取得する。そして、前記第ｎデコンボリューションレイヤ（２００＿ｎ）は、前記第（ｎ＋１）デコード済み特徴マップに前記デコンボリューション演算を適用して、前記第ｎ基本デコード済み特徴マップを生成し、これを前記第ｍマスクレイヤ（３００＿ｍ）及び前記第ｍ要素ごとの合算レイヤ（３１０＿ｍ）に伝達する。前記第ｍマスクレイヤ（３００＿ｍ）は、前記第ｎデコンボリューションレイヤ（２００＿ｎ）から出力された前記第ｎ基本デコード済み特徴マップからエッジ部分を抽出して前記第ｍエッジ特徴マップを生成する。
【0078】
一方、前記第ｍ中間レイヤ（６００＿ｍ）は、これに対応するエンコード済み特徴マップに前記中間演算を適用して第ｍ中間特徴マップを生成し、第ｍ要素ごとのプロダクトレイヤ（３２０＿ｍ）は、前記第ｍエッジ特徴マップと前記第ｍ中間特徴マップとの要素ごとの乗算を通じて第ｍ要素ごとのプロダクトを生成する。前記第ｍ要素ごとのプロダクトは、前記第ｍ要素ごとの合算レイヤ（３１０＿ｍ）を通じて前記第ｎ基本デコード済み特徴マップに要素ごとに合算されることにより、前記第ｎデコード済み特徴マップを生成する。前記第ｎデコード済み特徴マップは、次のデコンボリューションレイヤ（２００＿（ｎ−１））に伝達される。
【0079】
そして、前記第ｍエッジロスレイヤ（４００＿ｍ）は、前記第ｍマスクレイヤ（３００＿ｍ）から出力される前記第ｍエッジ特徴マップ及びこれに対応するＧＴエッジまたはＧＴイメージから抽出されるエッジ部分を利用して、前記第ｍエッジロスを生成する。また、前記第ｍロスレイヤ（５００＿ｍ）は、前記第ｎデコード済み特徴マップ及びこれに対応するＧＴを利用して一つ以上の第ｍロスを生成する。前記生成された第ｍエッジロス及び前記第ｍロスはバックプロパゲーションされて、前記ＣＮＮの前記パラメータを調整するのに利用される。
【0080】
そして、図２ないし図７に示された前記学習方法は、前記ＣＮＮのテスト方法に適用され得る。参考までに下記の説明において、混乱を避けるために前記学習プロセスに関連する用語に「学習用」という単語が追加されており、テストプロセスに関連する用語に「テスト用」という単語が追加された。
【0081】
つまり、少なくとも一つのテストイメージに対するセグメンテーションのテスト方法は、（ａ）前記学習装置が（ｉ）前記トレーニングイメージに対応する少なくとも一つの学習用特徴マップに前記コンボリューション演算を適用して第１ないし第ｋ学習用エンコード済み特徴マップをそれぞれ出力する前記第１ないし前記第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋ学習用エンコード済み特徴マップに前記デコンボリューション演算を適用して第（ｋ−１）ないし第１学習用デコード済み特徴マップをそれぞれ出力する前記第（ｋ−１）ないし前記第１デコンボリューションレイヤ、（ｉｉｉ）前記（ｋ−１）個のデコンボリューションレイヤのうちで前記ｈ個のデコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）にそれぞれ対応する前記第１ないし前記第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤにそれぞれ対応する前記第１ないし前記第ｈエッジロスレイヤを含むとするとき、前記学習装置が（１）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋ学習用エンコード済み特徴マップを生成するようにし、（２）前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に前記第（ｋ−１）ないし前記第１学習用デコード済み特徴マップを生成させるものの、前記学習装置は、前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個の学習用の基本デコード済み特徴マップから学習用エッジ部分を抽出して第ｈないし第１学習用エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個の学習用基本デコード済み特徴マップ及び前記第ｈないし前記第１学習用エッジ特徴マップを参照して前記第（ｋ−１）ないし前記第１学習用デコード済み特徴マップのうち少なくとも一部として機能するｈ個の学習用エッジ強化デコード済み特徴マップを生成するようにし、（３）前記第１ないし前記第ｈエッジロスレイヤをもって前記学習用エッジ部分及びこれに対応するＧＴを参照して前記第１ないし前記第ｈエッジロスを生成するようにして、前記第１ないし前記第ｈエッジロスを利用したバックプロパゲーションを通じて前記第１ないし前記第（ｋ−１）デコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調整した状態で、テスト装置が、前記テストイメージが入力されると、前記第１ないし前記第ｋコンボリューションレイヤをもって第１ないし第ｋテスト用エンコード済み特徴マップを出力するようにする段階；及び（ｂ）前記テスト装置は、前記第（ｋ−１）ないし前記第１デコンボリューションレイヤをもって順次に第（ｋ−１）ないし第１テスト用デコード済み特徴マップを生成させるものの、前記テスト装置は、前記第ｈないし前記第１マスクレイヤをもって、（ｉ）前記第ｈないし前記第１マスクレイヤそれぞれに対応する前記ｈ個のデコンボリューションレイヤそれぞれから出力されたそれぞれのｈ個のテスト用基本デコード済み特徴マップからテスト用エッジ部分を抽出して第ｈないし第１テスト用エッジ特徴マップを生成するようにし、（ｉｉ）前記ｈ個のテスト用基本デコード済み特徴マップ及び前記第ｈないし前記第１テスト用エッジ特徴マップを参照して前記第（ｋ−１）ないし前記第１テスト用デコード済み特徴マップのうち少なくとも一部として機能するｈ個のテスト用エッジ強化デコード済み特徴マップを生成させる段階；を含む。
【0082】
前記エッジロスレイヤや前記レイヤは、学習時間に影響を与えるものの、テストには使用されないためテスト時間には影響を及ぼさない。そのため、プロセス時間に大きな影響を受けずに所望の結果を得ることができる。
【0083】
このように、マルチエッジロスレイヤを利用した本発明によると、エッジロスレイヤを通じてエッジ部分を強化することにより、セグメンテーションの際にエッジ部分が正確なラベルイメージを得ることができる効果があり、多くの演算量を必要としなくてもエッジ情報をうまく探し出して、精密なラベルイメージが得られる効果がある。
【0084】
前記セグメンテーション性能は、歩行者イベント、自動車イベント、フォーリングイベント、フォールンイベントなどのイベントを検出するのに利用されるために、交通標識、ランドマーク、及び道路標識などの検出度を増加させるために向上される。
【0085】
本発明の技術分野における通常の技術者に理解され得るところとして、上記で説明されたイメージ、例えば、トレーニングイメージ及びテストイメージのようなイメージデータの送受信が学習装置及びテスト装置の各通信部により行われ得、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／又はメモリー）によって保有／維持され得、コンボリューション演算、デコンボリューション演算、ロス値演算の過程が主に学習装置及びテスト装置のプロセッサによって遂行され得るが、本発明がこれに限定されはしないであろう。
【0086】
また、以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカル・ディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光メディア（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【0087】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、係る記載から多様な修正及び変形が行われ得る。
【0088】
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。