特許 6720264 イメージセグメンテーションのための学習方法及び学習装置、そしてこれを利用したイメージセグメンテーション方法及びイメージセグメンテーション装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6720264

(24)【登録日】2020年6月19日

(45)【発行日】2020年7月8日

(54)【発明の名称】イメージセグメンテーションのための学習方法及び学習装置、そしてこれを利用したイメージセグメンテーション方法及びイメージセグメンテーション装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20200629BHJP

   G06N 3/08 20060101ALI20200629BHJP

【ＦＩ】

   G06T7/00 350C

   G06N3/08 140

【請求項の数】26

【外国語出願】

【全頁数】30

(21)【出願番号】特願2018-188342(P2018-188342)

(22)【出願日】2018年10月3日

(65)【公開番号】特開2019-67403(P2019-67403A)

(43)【公開日】2019年4月25日

【審査請求日】2018年11月2日

(31)【優先権主張番号】15/723,597

(32)【優先日】2017年10月3日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】517038176

【氏名又は名称】株式会社ストラドビジョン

(74)【代理人】

【識別番号】110001737

【氏名又は名称】特許業務法人スズエ国際特許事務所

(72)【発明者】

【氏名】キム、ヨンジョン

(72)【発明者】

【氏名】ナム、ウンユン

(72)【発明者】

【氏名】ボ、シュクフン

(72)【発明者】

【氏名】シュン、ミュンチュル

(72)【発明者】

【氏名】エオ、ドンフン

(72)【発明者】

【氏名】リュウ、ウージュ

(72)【発明者】

【氏名】ジャン、タエウォン

(72)【発明者】

【氏名】ジョン、キュンジョン

(72)【発明者】

【氏名】ジェ、ホンモ

(72)【発明者】

【氏名】チョ、ホジン

【審査官】 松浦 功

(56)【参考文献】

【文献】 国際公開第２０１７／０９１８３３（ＷＯ，Ａ１）

【文献】 特表２０１７−５１６１９７（ＪＰ，Ａ）

【文献】 国際公開第２０１７／０７９５２９（ＷＯ，Ａ１）

【文献】 薮崎隼人 外５名，畳み込みニューラルネットワークを用いた脂肪細胞セグメンテーションにおける分割精度改善手法の提案，情報処理学会研究報告，情報処理学会，２０１７年 ２月２８日，Vol. 2017-MPS-112, No. 27，pp. 1-6

【文献】 ISOLA, P. et al.，Image-to-Image Translation with Conditional Adversarial Networks，2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) [online]，IEEE，２０１７年 ７月，pp. 5967-5976，［検索日 2019.11.11］，インターネット，ＵＲＬ，https://ieeexplore.ieee.org/document/8100115

【文献】 WANG, W. et al.，Self-Paced Cross-Modality Transfer Learning for Efficient Road Segmentation，2017 IEEE International Conference on Robotics and Automation (ICRA) [online]，IEEE，２０１７年 ６月，pp. 1394-1401，［検索日 2019.11.11］，インターネット，ＵＲＬ，https://ieeexplore.ieee.org/document/7989166

【文献】 ZHU, Q. et al.，Deeply-Supervised CNN for Prostate Segmentation，2017 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN) [online]，IEEE，２０１７年 ５月，pp. 178-184，［検索日 2019.11.11］，インターネット，ＵＲＬ，https://ieeexplore.ieee.org/document/7965852

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０６Ｎ ３／０２ − ３／０８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

（ｉ）トレーニングイメージとしての入力イメージに対してコンボリューション演算を複数回遂行して第１−１、第１−２、…、第１−Ｋ特徴マップを獲得する、各々第１−１ないし第１−Ｋフィルタを含むエンコーディングレイヤ；（ｉｉ）前記第１−Ｋ特徴マップに対してデコンボリューション演算を複数回遂行して第２−Ｋ、第２−（Ｋ−１）、…、第２−１特徴マップを獲得する、各々第２−Ｋないし第２−１フィルタを含むデコーディングレイヤ；及び（ｉｉｉ）前記デコーディングレイヤに含まれたＫフィルタのうちＨ個のフィルタと連動する第１ないし第Ｈロスレイヤを含む学習装置を利用してイメージのセグメンテーションの性能向上のための学習方法において、
（ａ）前記入力イメージが入力されると、前記学習装置は、前記エンコーディングレイヤ及び前記デコーディングレイヤを経て前記第２−Ｋ、前記第２−（Ｋ−１）、…、前記第２−１特徴マップを獲得するプロセス及び前記第２−Ｋ、前記第２−（Ｋ−１）、…、前記第２−１特徴マップのうち前記Ｈ個のフィルタから獲得されたＨ個の特徴マップ各々に対応される第１ないし第Ｈロスを各々前記第１ないし前記第Ｈロスレイヤから獲得するプロセスを遂行する段階；及び
（ｂ）前記学習装置は、バックプロパゲーション過程で（１）第２−Ｍフィルタをもって第２−（Ｍ−１）フィルタから伝達された第（Ｍ−１）₂パラメータ調整用特徴マップに対して前記第２−Ｍフィルタを用いたコンボリューション演算を遂行して第Ｍ₁パラメータ臨時特徴マップを求めるプロセス、（２）前記第Ｍ₁パラメータ臨時特徴マップと第Ｍロスを演算して獲得された第Ｍ₂パラメータ調整用特徴マップを第２−（Ｍ＋１）フィルタに伝達するプロセス、（３）前記第１−１ないし前記第１−Ｋフィルタ及び前記第２−Ｋないし前記第２−１フィルタのうち少なくとも一部のパラメータを調整するプロセス−Ｍは２以上Ｋ−１以下の整数である−を遂行する段階を含むが、
前記（ｂ）段階の初期状態として、前記第１ロスレイヤは前記第２−１特徴マップに対応される第１ロスを演算し、前記第１ロスに前記第２−１フィルタを用いたコンボリューション演算を遂行して第１₂パラメータ調整用特徴マップを求めた後、前記第２−１フィルタは前記第１₂パラメータ調整用特徴マップを第２−２フィルタに伝達することを特徴とする学習方法。

【請求項2】

前記第１ないし前記第Ｈロスレイヤは、
第３−１ないし第３−Ｈフィルタがコンボリューション演算を遂行して獲得された第３−１、第３−２、…、第３−Ｈ特徴マップと第１、第２、…、第Ｈ正解ラベルイメージを比較して前記第１ないし前記第Ｈロスを算出することを特徴とする請求項１に記載の学習方法。

【請求項3】

前記３−１ないし前記３−Ｈフィルタは前記フィルタのサイズが１×１であり、前記Ｈ個の特徴マップ各々に対してコンボリューション演算を遂行し、前記第３−１、前記第３−２、…、前記第３−Ｈ特徴マップの各チャネルの数が前記第１、前記第２、…、前記第Ｈ正解ラベルイメージのチャネルの数と同一になるようにし、前記第１ないし前記第Ｈ正解ラベルイメージは前記第３−１、前記第３−２、…、前記第３−Ｈ特徴マップに対応されるサイズを有することを特徴とする請求項２に記載の学習方法。

【請求項4】

原本正解ラベルイメージ（Ｏｒｉｇｉｎａｌ Ｇｒｏｕｎｄ Ｔｒｕｔｈ ｌａｂｅｌ ｉｍａｇｅ）の各チャネルの数を調整して前記原本正解ラベルイメージのサイズにマッチされるように前記原本正解ラベルイメージのサイズを変更することで、前記第１ないし前記第Ｈ正解ラベルイメージのうち少なくとも一部が獲得されたことを特徴とする請求項３に記載の学習方法。

【請求項5】

前記原本正解ラベルイメージのチャネルの数を増やし、前記原本正解ラベルイメージのサイズ−（ｉ）前記原本正解ラベルイメージのサイズ及び（ｉｉ）前記Ｈ個の特徴マップのイメージのサイズ各々の比率−を減らすことで、前記原本正解ラベルイメージが調整されることを特徴とする請求項４に記載の学習方法。

【請求項6】

前記原本正解ラベルイメージを前記Ｈ個の特徴マップのサイズと一致させるために前記各々の原本正解ラベルイメージをリサイズ（ｒｅｓｉｚｅ）することで、前記第１ないし前記第Ｈ正解ラベルイメージのうち少なくとも一部が獲得されたことを特徴とする請求項４に記載の学習方法。

【請求項7】

ｔが１以上Ｈ以下の整数である場合、
前記学習装置は、前記原本正解ラベルイメージのチャネル数を各々調整することで、前記Ｈ個のロスレイヤのうち前記第１ないし第ｔロスレイヤをもって前記原本正解ラベルイメージのサイズを各々変更するようにして、
前記学習装置は、前記各々の原本正解ラベルイメージをリサイズすることで、前記Ｈ個のロスレイヤのうち第（ｔ＋１）ないし前記第Ｈロスレイヤをもって前記原本正解ラベルイメージのサイズを各々変更するようにして、
ｔがＨと同一の整数である場合、
前記学習装置は、前記原本正解ラベルイメージのチャネル数を各々調整することで、前記Ｈ個のロスレイヤのうち前記第１ないし前記第Ｈロスレイヤをもって前記原本正解ラベルイメージのサイズを各々変更するようにすることを特徴とする請求項４に記載の学習方法。

【請求項8】

前記原本正解ラベルイメージをリサイズすることは、前記原本正解ラベルイメージのチャネル数を維持したまま前記原本正解ラベルイメージをリサイズすることを特徴とする請求項７に記載の学習方法。

【請求項9】

前記学習装置は、中間レイヤ−前記中間レイヤはエンコーディングレイヤとデコーディングレイヤとの間に位置する−に含まれる中間フィルタ各々と対応される前記第１−１、前記第１−２、…、前記第１−Ｋ特徴マップのうち少なくとも一部が入力されるようにして、
前記学習装置は、少なくとも一つの中間フィルタから獲得された特定特徴マップを追加で使用することで、各々の前記第２−１、前記第２−２、…、前記第２−Ｋフィルタのうち少なくとも一部をもって前記第２−１、前記第２−２、…、前記第２−Ｋ特徴マップの少なくとも一部を獲得するようにすることを特徴とする請求項１に記載の学習方法。

【請求項10】

第４−１、第４−２、…、第４−Ｋフィルタを含む中間フィルタが少なくとも一度のダイレーションコンボリューションを遂行する場合、
前記学習装置は、前記第１−１、前記第１−２、…、前記第１−Ｋ特徴マップ各々に前記第４−１、前記第４−２、…、前記第４−Ｋフィルタを用いたダイレーションコンボリューションを遂行して第４−１、第４−２、…、第４−Ｋ特徴マップを獲得するプロセス、及び前記第４−１、前記第４−２、…、前記第４−Ｋ特徴マップ各々を前記第２−１、前記第２−２、…、前記第２−Ｋフィルタに伝達するプロセスを遂行することを特徴とする請求項９に記載の学習方法。

【請求項11】

入力イメージとしてのテストイメージに対するセグメンテーションを遂行するテスト方法において、（ａ）（Ｉ）（ｉ）トレーニングイメージに対してコンボリューション演算を複数回遂行して第１−１、第１−２、…、第１−Ｋ学習用特徴マップを獲得する、各々第１−１ないし第１−Ｋフィルタを含むエンコーディングレイヤ；（ｉｉ）前記第１−Ｋ学習用特徴マップに対してデコンボリューション演算を複数回遂行して第２−Ｋ、第２−（Ｋ−１）、…、第２−１学習用特徴マップを獲得する、各々第２−Ｋないし第２−１フィルタを含むデコーディングレイヤ；及び（ｉｉｉ）前記デコーディングレイヤに含まれたＫフィルタのうちＨ個のフィルタと連動する第１ないし第Ｈロスレイヤを含む学習装置を利用して、（ＩＩ）前記エンコーディングレイヤ及び前記デコーディングレイヤを経て前記第２−Ｋ、前記第２−（Ｋ−１）、…、前記第２−１学習用特徴マップを獲得するプロセス及び前記第２−Ｋ、前記第２−（Ｋ−１）、…、前記第２−１学習用特徴マップのうち前記Ｈ個のフィルタから獲得されたＨ個の学習用特徴マップ各々に対応される第１ないし第Ｈロスを各々前記第１ないし前記第Ｈロスレイヤから獲得するプロセス；及び（ＩＩＩ）バックプロパゲーション過程で（１）第２−Ｍフィルタをもって第２−（Ｍ−１）フィルタから伝達された第（Ｍ−１）₂学習用パラメータ調整用特徴マップに対して前記第２−Ｍフィルタを用いたコンボリューション演算を遂行して第Ｍ₁学習用パラメータ臨時特徴マップを求めるプロセス及び（２）前記第Ｍ₁学習用パラメータ臨時特徴マップと第Ｍロスを演算して獲得された第Ｍ₂学習用パラメータ調整用特徴マップを第２−（Ｍ＋１）フィルタに伝達するプロセス、（３）前記第１−１ないし前記第１−Ｋフィルタ及び前記第２−１ないし前記第２−Ｋフィルタのうち少なくとも一部のパラメータを調整するプロセス−Ｍは２以上Ｋ−１以下の整数であり、前記（ＩＩＩ）の初期状態として、前記第１ロスレイヤは前記第２−１学習用特徴マップに対応される第１ロスを演算し、前記第１ロスに前記第２−１フィルタを用いたコンボリューション演算を遂行して第１₂学習用パラメータ調整用特徴マップを求めた後、前記第２−１フィルタは前記第１₂学習用パラメータ調整用特徴マップを第２−２フィルタに伝達する−及び（ＩＶ）前記第１−１ないし前記第１−Ｋフィルタ及び前記第２−Ｋないし前記第２−１フィルタのパラメータを獲得するプロセスを遂行した状態で、テスト装置が、前記テストイメージを獲得する段階；及び
（ｂ）前記テスト装置は、前記獲得されたテストイメージに対して、前記学習された第１−１ないし前記第１−Ｋフィルタ及び前記第２−Ｋないし前記第２−１フィルタのパラメータを利用してテスト用セグメンテーションを遂行する段階
を含むテスト方法。

【請求項12】

前記学習装置は、中間レイヤ−前記中間レイヤはエンコーディングレイヤとデコーディングレイヤとの間に位置する−に含まれる中間フィルタ各々に対応される前記第１−１、前記第１−２、…、前記第１−Ｋ学習用特徴マップのうち少なくとも一部が入力されるようにして、
前記テスト装置は、少なくとも一つの中間フィルタから獲得された特定特徴マップを追加で使用することで、各々の前記第２−１、前記第２−２、…、前記第２−Ｋフィルタのうち少なくとも一部をもって前記第２−１、前記第２−２、…、前記第２−Ｋ学習用特徴マップの少なくとも一部を獲得するようにすることを特徴とする請求項１１に記載のテスト方法。

【請求項13】

第４−１、第４−２、…、第４−Ｋフィルタを含む中間フィルタが少なくとも一度のダイレーションコンボリューションを遂行する場合、
前記テスト装置は、前記第１−１、前記第１−２、…、前記第１−Ｋ学習用特徴マップ各々にダイレーションコンボリューションを遂行して第４−１、第４−２、…、第４−Ｋ学習用特徴マップを獲得するプロセス、及び前記第４−１、前記第４−２、…、前記第４−Ｋ学習用特徴マップ各々を前記第２−１、前記第２−２、…、前記第２−Ｋフィルタに伝達するプロセスを遂行する
ことを特徴とする請求項１２に記載のテスト方法。

【請求項14】

（ｉ）トレーニングイメージとしての入力イメージに対してコンボリューション演算を複数回遂行して第１−１、第１−２、…、第１−Ｋ特徴マップを獲得する、各々第１−１ないし第１−Ｋフィルタを含むエンコーディングレイヤ；（ｉｉ）前記第１−Ｋ特徴マップに対してデコンボリューション演算を複数回遂行して第２−Ｋ、第２−（Ｋ−１）、…、第２−１特徴マップを獲得する、各々第２−Ｋないし第２−１フィルタを含むデコーディングレイヤ；及び（ｉｉｉ）前記デコーディングレイヤに含まれたＫフィルタのうちＨ個のフィルタと連動する第１ないし第Ｈロスレイヤを含む学習装置を利用するが、イメージのセグメンテーションの性能向上のための学習装置において、
前記入力イメージを受信する通信部；及び
（Ｉ）前記エンコーディングレイヤ及び前記デコーディングレイヤを経て前記第２−Ｋ、前記第２−（Ｋ−１）、…、前記第２−１特徴マップを獲得するプロセス及び前記第２−Ｋ、前記第２−（Ｋ−１）、…、前記第２−１特徴マップのうち前記Ｈ個のフィルタから獲得されたＨ個の特徴マップ各々に対応される第１ないし第Ｈロスを各々前記第１ないし前記第Ｈロスレイヤから獲得するプロセス；及び（ＩＩ）バックプロパゲーション過程で（ｉ）第２−Ｍフィルタをもって第２−（Ｍ−１）フィルタから伝達された第（Ｍ−１）₂パラメータ調整用特徴マップに対して前記第２−Ｍフィルタを用いたコンボリューション演算を遂行して第Ｍ₁パラメータ臨時特徴マップを求めるプロセス、（ｉｉ）前記第Ｍ₁パラメータ臨時特徴マップと第Ｍロスを演算して獲得された第Ｍ₂パラメータ調整用特徴マップを第２−（Ｍ＋１）フィルタに伝達するプロセス、（ｉｉｉ）前記第１−１ないし前記第１−Ｋフィルタ及び前記第２−Ｋないし前記第２−１フィルタのうち少なくとも一部のパラメータを調整するプロセスを遂行するプロセッサを含むが、
前記Ｍは２以上Ｋ−１以下の整数であり、前記（ＩＩ）プロセスの初期状態として、前記第１ロスレイヤは前記第２−１特徴マップに対応される第１ロスを演算し、前記第１ロスに前記第２−１フィルタを用いたコンボリューション演算を遂行して第１₂パラメータ調整用特徴マップを求めた後、前記第２−１フィルタは前記第１₂パラメータ調整用特徴マップを第２−２フィルタに伝達することを遂行するプロセッサ；
を含む学習装置。

【請求項15】

前記第１ないし前記第Ｈロスレイヤは、第３−１ないし第３−Ｈフィルタがコンボリューション演算を遂行して獲得された第３−１、第３−２、…、第３−Ｈ特徴マップと第１、第２、…、第Ｈ正解ラベルイメージを比較して前記第１ないし前記第Ｈロスを算出することを特徴とする請求項１４に記載の学習装置。

【請求項16】

前記３−１ないし前記３−Ｈフィルタは前記フィルタのサイズが１×１であり、前記Ｈ個の特徴マップ各々に対してコンボリューション演算を遂行し、前記第３−１、前記第３−２、…、前記第３−Ｈ特徴マップの各チャネルの数が前記第１、前記第２、…、前記第Ｈ正解ラベルイメージのチャネルの数と同一になるようにし、
前記第１ないし前記第Ｈ正解ラベルイメージは前記第３−１、前記第３−２、…、前記第３−Ｈ特徴マップに対応されるサイズを有することを特徴とする請求項１５に記載の学習装置。

【請求項17】

原本正解ラベルイメージ（Ｏｒｉｇｉｎａｌ Ｇｒｏｕｎｄ Ｔｒｕｔｈ ｌａｂｅｌ ｉｍａｇｅ）の各チャネルの数を調整して前記原本正解ラベルイメージのサイズにマッチされるように前記原本正解ラベルイメージのサイズを変更することで、前記第１ないし前記第Ｈ正解ラベルイメージのうち少なくとも一部が獲得されたことを特徴とする請求項１６に記載の学習装置。

【請求項18】

前記原本正解ラベルイメージのチャネルの数を増やし、前記原本正解ラベルイメージのサイズ−（ｉ）前記原本正解ラベルイメージのサイズ及び（ｉｉ）前記Ｈ個の特徴マップのイメージのサイズ各々の比率−を減らすことで、前記原本正解ラベルイメージが調整されることを特徴とする請求項１７に記載の学習装置。

【請求項19】

前記原本正解ラベルイメージを前記Ｈ個の特徴マップのサイズと一致させるために前記各々の原本正解ラベルイメージをリサイズ（ｒｅｓｉｚｅ）することで、前記第１ないし前記第Ｈ正解ラベルイメージのうち少なくとも一部が獲得されたことを特徴とする請求項１７に記載の学習装置。

【請求項20】

ｔが１以上Ｈ以下の整数である場合、前記原本正解ラベルイメージのチャネル数を各々調整することで、前記Ｈ個のロスレイヤのうち前記第１ないし第ｔロスレイヤをもって前記原本正解ラベルイメージのサイズを各々変更するようにして、
前記各々の原本正解ラベルイメージをリサイズすることで、前記Ｈ個のロスレイヤのうち第（ｔ＋１）ないし前記第Ｈロスレイヤをもって前記原本正解ラベルイメージのサイズを各々変更するようにして、
ｔがＨと同一の整数である場合、
前記原本正解ラベルイメージのチャネル数を各々調整することで、前記Ｈ個のロスレイヤのうち前記第１ないし前記第Ｈロスレイヤをもって前記原本正解ラベルイメージのサイズを各々変更するようにすることを特徴とする請求項１７に記載の学習装置。

【請求項21】

前記原本正解ラベルイメージをリサイズすることは、前記原本正解ラベルイメージのチャネル数を維持したまま前記原本正解ラベルイメージをリサイズすることを特徴とする請求項２０に記載の学習装置。

【請求項22】

前記プロセッサは、中間レイヤ−前記中間レイヤはエンコーディングレイヤとデコーディングレイヤとの間に位置する−に含まれる中間フィルタ各々と対応される前記第１−１、前記第１−２、…、前記第１−Ｋ特徴マップのうち少なくとも一部が入力されるようにして、
少なくとも一つの中間フィルタから獲得された特定特徴マップを追加で使用することで、各々の前記第２−１、前記第２−２、…、前記第２−Ｋフィルタのうち少なくとも一部をもって前記第２−１、前記第２−２、…、前記第２−Ｋ特徴マップの少なくとも一部を獲得するようにすることを特徴とする請求項１４に記載の学習装置。

【請求項23】

第４−１、第４−２、…、第４−Ｋフィルタを含む中間フィルタが少なくとも一度のダイレーションコンボリューションを遂行する場合、
前記プロセッサは、前記第１−１、前記第１−２、…、前記第１−Ｋ特徴マップ各々に前記第４−１、前記第４−２、…、前記第４−Ｋフィルタを用いたダイレーションコンボリューションを遂行して第４−１、第４−２、…、第４−Ｋ特徴マップを獲得するプロセス、及び前記第４−１、前記第４−２、…、前記第４−Ｋ特徴マップ各々を前記第２−１、前記第２−２、…、前記第２−Ｋフィルタに伝達するプロセスを遂行することを特徴とする請求項２２に記載の学習装置。

【請求項24】

入力イメージとしてのテストイメージに対するセグメンテーションを遂行するテスト装置において、
（Ｉ）（ｉ）トレーニングイメージに対してコンボリューション演算を複数回遂行して第１−１、第１−２、…、第１−Ｋ学習用特徴マップを獲得する、各々第１−１ないし第１−Ｋフィルタを含むエンコーディングレイヤ；（ｉｉ）前記第１−Ｋ学習用特徴マップに対してデコンボリューション演算を複数回遂行して第２−Ｋ、第２−（Ｋ−１）、…、第２−１学習用特徴マップを獲得する、各々第２−Ｋないし第２−１フィルタを含むデコーディングレイヤ；及び（ｉｉｉ）前記デコーディングレイヤに含まれたＫフィルタのうちＨ個のフィルタと連動する第１ないし第Ｈロスレイヤを含む学習装置を利用して、（ＩＩ）前記エンコーディングレイヤ及び前記デコーディングレイヤを経て前記第２−Ｋ、前記第２−（Ｋ−１）、…、前記第２−１学習用特徴マップを獲得するプロセス及び前記第２−Ｋ、前記第２−（Ｋ−１）、…、前記第２−１学習用特徴マップのうち前記Ｈ個のフィルタから獲得されたＨ個の学習用特徴マップ各々に対応される第１ないし第Ｈロスを各々前記第１ないし前記第Ｈロスレイヤから獲得するプロセス；及び（ＩＩＩ）バックプロパゲーション過程で（１）第２−Ｍフィルタをもって第２−（Ｍ−１）フィルタから伝達された第（Ｍ−１）₂学習用パラメータ調整用特徴マップに対して前記第２−Ｍフィルタを用いたコンボリューション演算を遂行して第Ｍ₁学習用パラメータ臨時特徴マップを求めるプロセス及び（２）前記第Ｍ₁学習用パラメータ臨時特徴マップと第Ｍロスを演算して獲得された第Ｍ₂学習用パラメータ調整用特徴マップを第２−（Ｍ＋１）フィルタに伝達するプロセス、（３）前記第１−１ないし前記第１−Ｋフィルタ及び前記第２−１ないし前記第２−Ｋフィルタのうち少なくとも一部のパラメータを調整するプロセス−Ｍは２以上Ｋ−１以下の整数であり、前記（ＩＩＩ）の初期状態として、前記第１ロスレイヤは前記第２−１学習用特徴マップに対応される第１ロスを演算し、前記第１ロスに前記第２−１フィルタを用いたコンボリューション演算を遂行して第１_２学習用パラメータ調整用特徴マップを求めた後、前記第２−１フィルタは前記第１_２学習用パラメータ調整用特徴マップを第２−２フィルタに伝達する−及び（ＩＶ）前記第１−１ないし前記第１−Ｋフィルタ及び前記第２−Ｋないし前記第２−１フィルタのパラメータを獲得するプロセスを遂行した状態で、前記テストイメージを受信する通信部；及び
前記獲得されたテストイメージに対して、前記学習された第１−１ないし前記第１−Ｋフィルタ及び前記第２−Ｋないし前記第２−１フィルタのパラメータを利用してテスト用セグメンテーションを遂行するプロセッサ；
を含むテスト装置。

【請求項25】

中間レイヤ−前記中間レイヤはエンコーディングレイヤとデコーディングレイヤとの間に位置する−に含まれる中間フィルタ各々に対応される前記第１−１、前記第１−２、…、前記第１−Ｋ学習用特徴マップのうち少なくとも一部が入力されるようにして、
少なくとも一つの中間フィルタから獲得された特定特徴マップを追加で使用することで、各々の前記第２−１、前記第２−２、…、前記第２−Ｋフィルタのうち少なくとも一部をもって前記第２−１、前記第２−２、…、前記第２−Ｋ学習用特徴マップの少なくとも一部を獲得するようにすることを特徴とする請求項２４に記載のテスト装置。

【請求項26】

第４−１、第４−２、…、第４−Ｋフィルタを含む中間フィルタが少なくとも一度のダイレーションコンボリューションを遂行する場合、
前記第１−１、前記第１−２、…、前記第１−Ｋ学習用特徴マップ各々にダイレーションコンボリューションを遂行して第４−１、第４−２、…、第４−Ｋ学習用特徴マップを獲得するプロセス、及び前記第４−１、前記第４−２、…、前記第４−Ｋ学習用特徴マップ各々を前記第２−１、前記第２−２、…、前記第２−Ｋフィルタに伝達するプロセスを遂行することを特徴とする請求項２５に記載のテスト装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はイメージセグメンテーションのための学習方法及び学習装置、そしてこれを利用したイメージセグメンテーション方法及びイメージセグメンテーション装置に関する。より詳細には、（ｉ）トレーニングイメージとしての入力イメージに対してコンボリューション演算を複数回遂行して第１−１、第１−２、…、第１−Ｋ特徴マップを獲得する、各々第１−１ないし第１−Ｋフィルタを含むエンコーディングレイヤ；（ｉｉ）前記第１−Ｋ特徴マップに対してデコンボリューション演算を複数回遂行して第２−Ｋ、第２−（Ｋ−１）、…、第２−１特徴マップを獲得する、各々第２−Ｋないし第２−１フィルタを含むデコーディングレイヤ；及び（ｉｉｉ）前記デコーディングレイヤに含まれたＫフィルタのうちＨ個のフィルタと連動する第１ないし第Ｈロスレイヤを含む学習装置を利用してイメージのセグメンテーションの性能向上のための学習方法において、（ａ）前記入力イメージが入力されると、前記学習装置は、前記エンコーディングレイヤ及び前記デコーディングレイヤを経て前記第２−Ｋ、前記第２−（Ｋ−１）、…、前記第２−１特徴マップを獲得するプロセス及び前記第２−Ｋ、前記第２−（Ｋ−１）、…、前記第２−１特徴マップのうち前記Ｈ個のフィルタから獲得されたＨ個の特徴マップ各々に対応される第１ないし第Ｈロスを各々前記第１ないし第Ｈロスレイヤから獲得するプロセスを遂行する段階；及び（ｂ）前記学習装置は、バックプロパゲーション過程で（１）第２−Ｍフィルタをもって第２−（Ｍ−１）フィルタから伝達された第（Ｍ−１）₂パラメータ調整用特徴マップに対して前記第２−Ｍフィルタを用いたコンボリューション演算を遂行して第Ｍ１パラメータ臨時特徴マップを求めるプロセス、（２）前記第Ｍ₁パラメータ臨時特徴マップと第Ｍロスを演算して獲得された第Ｍ₂パラメータ調整用特徴マップを前記第２−（Ｍ＋１）フィルタに伝達するプロセス、（３）前記第１−１ないし前記第１−Ｋフィルタ及び前記第２−Ｋないし前記第２−１フィルタのうち少なくとも一部のパラメータを調整するプロセス−Ｍは２以上Ｋ−１以下の整数である−を遂行する段階を含むが、前記（ｂ）段階の初期状態として、前記第１ロスレイヤは前記第２−１特徴マップに対応される第１ロスを演算し、前記第１ロスに前記第２−１フィルタを用いたコンボリューション演算を遂行して第１₂パラメータ調整用特徴マップを求めた後、前記第２−１フィルタは前記第１₂パラメータ調整用特徴マップを第２−２フィルタに伝達することを特徴とする段階；を含む学習方法及びこれを利用した学習装置、イメージセグメンテーション方法及びイメージセグメンテーション装置に関する。

【背景技術】

【0002】

ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；Ｄｅｅｐ ＣＮＮｓ）はディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮｓは文字認識問題を解くために９０年代に既に使用されていたが、現在のように広く使用されるようになったのは最近の研究結果のおかげである。このようなディープＣＮＮは２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そうして、コンボリューションニューラルネットワークはＭａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ分野で非常に有用なツールとなった。

【0003】

一方、イメージセグメンテーションは入力でイメージ（トレーニングイメージｏｒテストイメージ）を受け、出力でラベル（ｌａｂｅｌ）イメージを作り出す方法である。最近ディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）技術が脚光を浴びながら、セグメンテーションもディープラーニングを多く使用する趨勢である。

【0004】

図１は従来技術にかかるＣＮＮを用いてイメージセグメンテーションのための学習過程を概略的に示す図面である。

【0005】

図１を参照すれば、トレーニングイメージなどの入力イメージが入力されると複数個のコンボリューションフィルタで複数回のコンボリューション演算を遂行して特徴マップを獲得する。そうして最終的に生成された特徴マップを再び複数個のデコンボリューションフィルタで複数回のデコンボリューション演算を遂行してラベルイメージを獲得する。このようにコンボリューション演算で入力イメージをエンコーディングして特徴マップを獲得し、特徴マップをデコーディングして再びラベルイメージを獲得する構造をエンコーディング−デコーディングネットワーク、またはＵ−Ｎｅｔと言う。エンコーディング過程で各コンボリューション演算を遂行するたびに入力イメージのサイズが１／２に減るようになるが、これはイメージサイズを減らして演算量を減らそうとするためである。また、エンコーディング過程でコンボリューションフィルタを通じて入力されたイメージのチャネル数は増加するが、これは減った演算量の利得を活用しながらも増えたチャネルを通じて複雑なパターンを得るためである。一般的に、エンコーディング過程で各々のコンボリューションフィルタを経るたびにイメージサイズは１／２に減り、チャネル数は２倍に増える。このように減った特徴マップは高周波領域が多く除去されて低周波領域寄りの情報を有するようになるが、かかる低周波領域はイメージの意味のある（ｍｅａｎｉｎｇｆｕｌ）部分、即ち、空、道路、建物、自動車など詳細な部分を意味する。かかる意味のあるパートをデコンボリューション演算、即ち、デコーディング演算を通じてラベルイメージとして類推するようになる。

【0006】

一方、Ｄｅｅｐ ｌｅａｒｎｉｎｇを採択したＣＮＮの学習する過程で、トレーニングイメージから算出されたラベルイメージとＧｒｏｕｎｄ Ｔｒｕｔｈイメージ（またはＧｒｏｕｎｄ Ｔｒｕｔｈ ｌａｂｅｌ ｉｍａｇｅ）との差であるロスを計算し、ラベルイメージを求める過程と反対方向に伝搬するバックプロパゲーション過程を通じて前記計算されたロスを後ろに伝搬して学習をするようになる。しかし、かかる演算はロスが後ろに伝搬するほどロスが小さくなり、Ｕ−Ｎｅｔで各フィルタのパラメータを調整するには小さすぎるという問題点がある。

【0007】

従って、かかる問題を解決するためにＵ−ｎｅｔの最終段階で求めたロスがバックプロパゲーション過程で後ろに伝搬されても正確なロスを反映可能にするための新しい技術が要されるようになった。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明はイメージセグメンテーションのための学習過程でロスがバックプロパゲーション過程で小さくならないようにするための学習環境を提供することを目的とする。

【0009】

また、本発明はバックプロパゲーション過程で正確なロスを反映して最適のパラメータを見つけることができる学習環境を提供することを目的とする。

【0010】

また、本発明は最適のパラメータを見つけて正確なイメージセグメンテーションを遂行することができる方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明の一実施例によれば、（ｉ）トレーニングイメージとしての入力イメージに対してコンボリューション演算を複数回遂行して第１−１、第１−２、…、第１−Ｋ特徴マップを獲得する、各々第１−１ないし第１−Ｋフィルタを含むエンコーディングレイヤ；（ｉｉ）前記第１−Ｋ特徴マップに対してデコンボリューション演算を複数回遂行して第２−Ｋ、第２−（Ｋ−１）、…、第２−１特徴マップを獲得する、各々第２−Ｋないし第２−１フィルタを含むデコーディングレイヤ；及び（ｉｉｉ）前記デコーディングレイヤに含まれたＫフィルタのうちＨ個のフィルタと連動する第１ないし第Ｈロスレイヤを含む学習装置を利用してイメージのセグメンテーションの性能向上のための学習方法は、（ａ）前記入力イメージが入力されると、前記学習装置は、前記エンコーディングレイヤ及び前記デコーディングレイヤを経て前記第２−Ｋ、前記第２−（Ｋ−１）、…、前記第２−１特徴マップを獲得するプロセス及び前記第２−Ｋ、前記第２−（Ｋ−１）、…、前記第２−１特徴マップのうち前記Ｈ個のフィルタから獲得されたＨ個の特徴マップ各々に対応される第１ないし第Ｈロスを各々前記第１ないし第Ｈロスレイヤから獲得するプロセスを遂行する段階；及び（ｂ）前記学習装置は、バックプロパゲーション過程で（１）第２−Ｍフィルタをもって第２−（Ｍ−１）フィルタから伝達された第（Ｍ−１）₂パラメータ調整用特徴マップに対して前記第２−Ｍフィルタを用いたコンボリューション演算を遂行して第Ｍ₁パラメータ臨時特徴マップを求めるプロセス、（２）前記第Ｍ₁パラメータ臨時特徴マップと第Ｍロスを演算して獲得された第Ｍ₂パラメータ調整用特徴マップを前記第２−（Ｍ＋１）フィルタに伝達するプロセス、（３）前記第１−１ないし前記第１−Ｋフィルタ及び前記第２−Ｋないし前記第２−１フィルタのうち少なくとも一部のパラメータを調整するプロセス−Ｍは２以上Ｋ−１以下の整数である−を遂行する段階を含むが、前記（ｂ）段階の初期状態として、前記第１ロスレイヤは前記第２−１特徴マップに対応される第１ロスを演算し、前記第１ロスに前記第２−１フィルタを用いたコンボリューション演算を遂行して第１₂パラメータ調整用特徴マップを求めた後、前記第２−１フィルタは前記第１₂パラメータ調整用特徴マップを第２−２フィルタに伝達することを特徴とする学習方法が提供される。

【0012】

前記一実施例によれば、前記第１ないし前記第Ｈロスレイヤは第３−１ないし第３−Ｈフィルタがコンボリューション演算を遂行して獲得された第３−１、第３−２、…、第３−Ｈ特徴マップと第１、第２、…、第Ｈ正解ラベルイメージを比較して前記第１ないし前記第Ｈロスを算出することを特徴とする学習方法が提供される。

【0013】

また、前記一実施例によれば、前記３−１ないし前記３−Ｈフィルタは前記フィルタのサイズが１×１であり、前記Ｈ個の特徴マップ各々に対してコンボリューション演算を遂行し、前記第３−１、前記第３−２、…、前記第３−Ｈ特徴マップの各チャネルの数が前記第１、第２、…、前記Ｈの正解ラベルイメージのチャネルの数と同一になるようにし、前記１ないしＨ正解ラベルイメージは前記第３−１、前記第３−２、…、前記第３−Ｈ特徴マップに対応されるサイズを有することを特徴とする学習方法が提供される。

【0014】

また、前記一実施例によれば、原本正解ラベルイメージ（Ｏｒｉｇｉｎａｌ Ｇｒｏｕｎｄ Ｔｒｕｔｈ ｌａｂｅｌ ｉｍａｇｅ）の各チャネルの数を調整して前記原本正解ラベルイメージのサイズにマッチされるように原本正解ラベルイメージのサイズを変更することで、前記第１ないし第Ｈ正解ラベルイメージのうち少なくとも一部が獲得されたことを特徴とする学習方法が提供される。

【0015】

また、前記一実施例によれば、前記原本正解ラベルイメージのチャネルの数を増やし、前記原本正解ラベルイメージのサイズ−（ｉ）前記原本正解ラベルイメージのサイズ及び（ｉｉ）前記Ｈ個の特徴マップのイメージのサイズ各々の比率−を減らすことで、前記原本正解ラベルイメージが調整されることを特徴とする学習方法が提供される。

【0016】

また、前記一実施例によれば、前記原本正解ラベルイメージをＨ個の特徴マップのサイズと一致させるために前記各々の原本正解ラベルイメージをリサイズ（ｒｅｓｉｚｅ）することで、前記第１ないし第Ｈ正解ラベルイメージのうち少なくとも一部が獲得されたことを特徴とする学習方法が提供される。

【0017】

また、前記一実施例によれば、ｔが１以上Ｈ以下の整数である場合、前記学習装置は、前記原本正解ラベルイメージのチャネル数を各々調整することで、前記Ｈ個のロスレイヤのうち前記第１ないしｔロスレイヤをもって前記原本正解ラベルイメージのサイズを各々変更するようにして、前記学習装置は、前記各々の原本正解ラベルイメージをリサイズすることで、前記Ｈ個のロスレイヤのうち（ｔ＋１）ないしＨロスレイヤをもって前記原本正解ラベルイメージのサイズを各々変更するようにして、ｔがＨと同一の整数である場合、前記学習装置は、前記原本正解ラベルイメージのチャネル数を各々調整することで、前記Ｈ個のロスレイヤのうち第１ないしＨロスレイヤをもって前記原本正解ラベルイメージのサイズを各々変更するようにすることを特徴とする学習方法が提供される。

【0018】

また、前記一実施例によれば、前記原本正解ラベルイメージをリサイズすることは、前記原本正解ラベルイメージのチャネル数を維持したまま前記原本正解ラベルイメージをリサイズすることを特徴とする学習方法が提供される。

【0019】

また、前記一実施例によれば、前記学習装置は、中間レイヤ−前記中間レイヤはエンコーディングレイヤとデコーディングレイヤとの間に位置する−に含まれる中間フィルタ各々と対応される前記第１−１、第１−２、…、前記第１−Ｋ特徴マップのうち少なくとも一部が入力されるようにして、前記学習装置は、少なくとも一つの中間フィルタから獲得された特定特徴マップを追加で使用することで、各々の前記第２−１、第２−２、…、前記第２−Ｋフィルタのうち少なくとも一部をもって前記第２−１、第２−２、…、前記第２−Ｋ特徴マップの少なくとも一部を獲得するようにする学習方法が提供される。

【0020】

また、前記一実施例によれば、前記第４−１、第４−２、…、第４−Ｋフィルタを含む中間フィルタが少なくとも一度のダイレーションコンボリューションを遂行する場合、前記学習装置は、前記第１−１、第１−２、…、前記第１−Ｋ特徴マップ各々に第４−１、第４−２、…、第４−Ｋフィルタを用いたダイレーションコンボリューションを遂行して第４−１、第４−２、…、前記第４−Ｋ特徴マップを獲得するプロセス、及び前記第４−１、第４−２、…、前記第４−Ｋ特徴マップ各々を前記第２−１、第２−２、…、前記第２−Ｋフィルタに伝達するプロセスを遂行することを特徴とする学習方法が提供される。

【0021】

本発明の他の実施例によれば、入力イメージとしてのテストイメージに対するセグメンテーション方法は、（ａ）（Ｉ）（ｉ）トレーニングイメージに対してコンボリューション演算を複数回遂行して第１−１、第１−２、…、第１−Ｋ学習用特徴マップを獲得する、各々第１−１ないし第１−Ｋフィルタを含むエンコーディングレイヤ；（ｉｉ）前記第１−Ｋ学習用特徴マップに対してデコンボリューション演算を複数回遂行して第２−Ｋ、第２−（Ｋ−１）、…、第２−１学習用特徴マップを獲得する、各々第２−Ｋないし第２−１フィルタを含むデコーディングレイヤ；及び（ｉｉｉ）前記デコーディングレイヤに含まれたＫフィルタのうちＨ個のフィルタと連動する第１ないし第Ｈロスレイヤを含む学習装置を利用して、（ＩＩ）前記エンコーディングレイヤ及び前記デコーディングレイヤを経て前記第２−Ｋ、前記第２−（Ｋ−１）、…、前記第２−１学習用特徴マップを獲得するプロセス及び前記第２−Ｋ、前記第２−（Ｋ−１）、…、前記第２−１学習用特徴マップのうち前記Ｈ個のフィルタから獲得されたＨ個の学習用特徴マップ各々に対応される第１ないし第Ｈロスを各々前記第１ないし第Ｈロスレイヤから獲得するプロセス；及び（ＩＩＩ）バックプロパゲーション過程で（１）第２−Ｍフィルタをもって第２−（Ｍ−１）フィルタから伝達された第（Ｍ−１）₂学習用パラメータ調整用特徴マップに対して前記第２−Ｍフィルタを用いたコンボリューション演算を遂行して第Ｍ１学習用パラメータ臨時特徴マップを求めるプロセス及び（２）前記第Ｍ₁学習用パラメータ臨時特徴マップと第Ｍロスを演算して獲得された第Ｍ₂学習用パラメータ調整用特徴マップを前記第２−（Ｍ＋１）フィルタに伝達するプロセス、（３）前記第１−１ないし前記第１−Ｋフィルタ及び前記第２−１ないし前記第２−Ｋフィルタのうち少なくとも一部のパラメータを調整するプロセス−Ｍは２以上Ｋ−１以下の整数であり、（ＩＩＩ）の初期状態として、前記第１ロスレイヤは前記第２−１学習用特徴マップに対応される第１ロスを演算し、前記第１ロスに前記第２−１フィルタを用いたコンボリューション演算を遂行して第１₂学習用パラメータ調整用特徴マップを求めた後、前記第２−２フィルタは前記第１₂学習用パラメータ調整用特徴マップを第２−２フィルタに伝達する−及び（ＩＶ）前記第１−１ないし前記第１−Ｋフィルタ及び前記第２−Ｋないし前記第２−１フィルタのパラメータを獲得するプロセスを遂行した状態で、テスト装置が、前記テストイメージを獲得する段階；及び（ｂ）前記テスト装置は、前記獲得されたテストイメージに対して、前記学習された第１−１ないし前記第１−Ｋフィルタ及び前記第２−Ｋないし前記第２−１フィルタのパラメータを利用してテスト用セグメンテーションを遂行する段階を含むセグメンテーション方法が提供される。

【0022】

前記他の実施例によれば、前記学習装置は、中間レイヤ−前記中間レイヤはエンコーディングレイヤとデコーディングレイヤとの間に位置する−に含まれる中間フィルタ各々に対応される前記第１−１、第１−２、…、前記第１−Ｋ特徴マップのうち少なくとも一部が入力されるようにして、前記テスト装置は、少なくとも一つの中間フィルタから獲得された特定特徴マップを追加で使用することで、各々の前記第２−１、第２−２、…、前記第２−Ｋフィルタのうち少なくとも一部をもって前記第２−１、第２−２、…、前記第２−Ｋ特徴マップの少なくとも一部を獲得するようにすることを特徴とする学習方法が提供される。

【0023】

また、前記他の実施例によれば、前記第４−１、第４−２、…、第４−Ｋフィルタを含む中間フィルタが少なくとも一度のダイレーションコンボリューションを遂行する場合、前記テスト装置は、前記第１−１、第１−２、…、前記第１−Ｋ特徴マップ各々にダイレーションコンボリューションを遂行して第４−１、第４−２、…、前記第４−Ｋ特徴マップを獲得するプロセス、及び前記第４−１、第４−２、…、前記第４−Ｋ特徴マップ各々を前記第２−１、第２−２、…、前記第２−Ｋフィルタに伝達するプロセスを遂行することを特徴とする学習方法が提供される。

【0024】

本発明のまた他の実施例によれば、（ｉ）トレーニングイメージとしての入力イメージに対してコンボリューション演算を複数回遂行して第１−１、第１−２、…、第１−Ｋ特徴マップを獲得する、各々第１−１ないし第１−Ｋフィルタを含むエンコーディングレイヤ；（ｉｉ）前記第１−Ｋ特徴マップに対してデコンボリューション演算を複数回遂行して第２−Ｋ、第２−（Ｋ−１）、…、第２−１特徴マップを獲得する、各々第２−Ｋないし第２−１フィルタを含むデコーディングレイヤ；及び（ｉｉｉ）前記デコーディングレイヤに含まれたＫフィルタのうちＨ個のフィルタと連動する第１ないし第Ｈロスレイヤを含む学習装置を利用するが、イメージのセグメンテーションの性能向上のための学習装置において、前記入力イメージを受信する通信部；及び（Ｉ）前記エンコーディングレイヤ及び前記デコーディングレイヤを経て前記第２−Ｋ、前記第２−（Ｋ−１）、…、前記第２−１特徴マップを獲得するプロセス及び前記第２−Ｋ、前記第２−（Ｋ−１）、…、前記第２−１特徴マップのうち前記Ｈ個のフィルタから獲得されたＨ個の特徴マップ各々に対応される第１ないし第Ｈロスを各々前記第１ないし第Ｈロスレイヤから獲得するプロセス；及び（ＩＩ）バックプロパゲーション過程で（ｉ）第２−Ｍフィルタをもって第２−（Ｍ−１）フィルタから伝達された第（Ｍ−１）₂パラメータ調整用特徴マップに対して前記第２−Ｍフィルタを用いたコンボリューション演算を遂行して第Ｍ₁パラメータ臨時特徴マップを求めるプロセス、（ｉｉ）前記第Ｍ₁パラメータ臨時特徴マップと第Ｍロスを演算して獲得された第Ｍ₂パラメータ調整用特徴マップを前記第２−（Ｍ＋１）フィルタに伝達するプロセス、（ｉｉｉ）前記第１−１ないし前記第１−Ｋフィルタ及び前記第２−Ｋないし前記第２−１フィルタのうち少なくとも一部のパラメータを調整するプロセスを遂行するプロセッサを含むが、前記Ｍは２以上Ｋ−１以下の整数であり、前記（ＩＩ）プロセスの初期状態として、前記第１ロスレイヤは前記第２−１特徴マップに対応される第１ロスを演算し、前記第１ロスに前記第２−１フィルタを用いたコンボリューション演算を遂行して第１₂パラメータ調整用特徴マップを求めた後、前記第２−１フィルタは前記第１₂パラメータ調整用特徴マップを第２−２フィルタに伝達することを遂行するプロセッサ；を含む学習装置が提供される。

【0025】

前記また他の実施例によれば、前記第１ないし前記第Ｈロスレイヤは、第３−１ないし前記第３−Ｈフィルタがコンボリューション演算を遂行して獲得された第３−１、第３−２、…、第３−Ｈ特徴マップと第１、第２、…、第Ｈ正解ラベルイメージを比較して前記第１ないし前記第Ｈロスを算出することを特徴とする学習装置が提供される。

【0026】

また、前記また他の実施例によれば、前記３−１ないし前記３−Ｈフィルタは前記フィルタのサイズが１×１であり、前記Ｈ個の特徴マップ各々に対してコンボリューション演算を遂行し、前記第３−１、前記第３−２、…、前記第３−Ｈ特徴マップの各チャネルの数が前記第１、第２、…、前記Ｈ正解ラベルイメージのチャネルの数と同一になるようにし、前記１ないしＨ正解ラベルイメージは前記第３−１、前記第３−２、…、前記第３−Ｈ特徴マップに対応されるサイズを有することを特徴とする学習装置が提供される。

【0027】

また、前記また他の実施例によれば、原本正解ラベルイメージ（Ｏｒｉｇｉｎａｌ Ｇｒｏｕｎｄ Ｔｒｕｔｈ ｌａｂｅｌ ｉｍａｇｅ）の各チャネルの数を調整して前記原本正解ラベルイメージのサイズにマッチされるように原本正解ラベルイメージのサイズを変更することで、前記第１ないし第Ｈ正解ラベルイメージのうち少なくとも一部が獲得されたことを特徴とする学習装置が提供される。

【0028】

また、前記また他の実施例によれば、前記原本正解ラベルイメージのチャネルの数を増やし、前記原本正解ラベルイメージのサイズ−（ｉ）前記原本正解ラベルイメージのサイズ及び（ｉｉ）前記Ｈ個の特徴マップのイメージのサイズ各々の比率−を減らすことで、前記原本正解ラベルイメージが調整されることを特徴とする学習装置が提供される。

【0029】

また、前記また他の実施例によれば、前記原本正解ラベルイメージをＨ個の特徴マップのサイズと一致させるために前記各々の原本正解ラベルイメージをリサイズ（ｒｅｓｉｚｅ）することで、前記第１ないし第Ｈ正解ラベルイメージのうち少なくとも一部が獲得されたことを特徴とする学習装置が提供される。

【0030】

また、前記また他の実施例によれば、ｔが１以上Ｈ以下の整数である場合、前記原本正解ラベルイメージのチャネル数を各々調整することで、前記Ｈ個のロスレイヤのうち前記第１ないしｔロスレイヤをもって前記原本正解ラベルイメージのサイズを各々変更するようにして、前記各々の原本正解ラベルイメージをリサイズすることで、前記Ｈ個のロスレイヤのうち（ｔ＋１）ないしＨロスレイヤをもって前記原本正解ラベルイメージのサイズを各々変更するようにして、ｔがＨと同一の整数である場合、前記原本正解ラベルイメージのチャネル数を各々調整することで、前記Ｈ個のロスレイヤのうち第１ないし前記Ｈロスレイヤをもって前記原本正解ラベルイメージのサイズを各々変更するようにすることを特徴とする学習装置が提供される。

【0031】

また、前記また他の実施例によれば、前記原本正解ラベルイメージをリサイズすることは、前記原本正解ラベルイメージのチャネル数を維持したまま前記原本正解ラベルイメージをリサイズすることを特徴とする学習装置が提供される。

【0032】

また、前記また他の実施例によれば、前記プロセッサは、中間レイヤ−前記中間レイヤはエンコーディングレイヤとデコーディングレイヤとの間に位置する−に含まれる中間フィルタ各々と対応される前記第１−１、第１−２、…、前記第１−Ｋ特徴マップのうち少なくとも一部が入力されるようにして、少なくとも一つの中間フィルタから獲得された特定特徴マップを追加で使用することで、各々の前記第２−１、第２−２、…、前記第２−Ｋフィルタのうち少なくとも一部をもって前記第２−１、第２−２、…、前記第２−Ｋ特徴マップの少なくとも一部を獲得するようにすることを特徴とする学習装置が提供される。

【0033】

また、前記また他の実施例によれば、前記第４−１、第４−２、…、第４−Ｋフィルタを含む中間フィルタが少なくとも一度のダイレーションコンボリューションを遂行する場合、前記プロセッサは、前記第１−１、第１−２、…、前記第１−Ｋ特徴マップ各々に第４−１、第４−２、…、第４−Ｋフィルタを用いたダイレーションコンボリューションを遂行して第４−１、第４−２、…、前記第４−Ｋ特徴マップを獲得するプロセス、及び前記第４−１、第４−２、…、前記第４−Ｋ特徴マップ各々を前記第２−１、第２−２、…、前記第２−Ｋフィルタに伝達するプロセスを遂行することを特徴とする学習装置が提供される。

【0034】

本発明のまた他の実施例によれば、入力イメージとしてのテストイメージに対するセグメンテーションを遂行するセグメンテーション装置は、（Ｉ）（ｉ）トレーニングイメージに対してコンボリューション演算を複数回遂行して第１−１、第１−２、…、第１−Ｋ学習用特徴マップを獲得する、各々第１−１ないし第１−Ｋフィルタを含むエンコーディングレイヤ；（ｉｉ）前記第１−Ｋ学習用特徴マップに対してデコンボリューション演算を複数回遂行して第２−Ｋ、第２−（Ｋ−１）、…、第２−１学習用特徴マップを獲得する、各々第２−Ｋないし第２−１フィルタを含むデコーディングレイヤ；及び（ｉｉｉ）前記デコーディングレイヤに含まれたＫフィルタのうちＨ個のフィルタと連動する第１ないし第Ｈロスレイヤを含む学習装置を利用して、（ＩＩ）前記エンコーディングレイヤ及び前記デコーディングレイヤを経て前記第２−Ｋ、前記第２−（Ｋ−１）、…、前記第２−１学習用特徴マップを獲得するプロセス及び前記第２−Ｋ、前記第２−（Ｋ−１）、…、前記第２−１学習用特徴マップのうち前記Ｈ個のフィルタから獲得されたＨ個の学習用特徴マップ各々に対応される第１ないし第Ｈロスを各々前記第１ないし第Ｈロスレイヤから獲得するプロセス；及び（ＩＩＩ）バックプロパゲーション過程で（１）第２−Ｍフィルタをもって第２−（Ｍ−１）フィルタから伝達された第（Ｍ−１）₂学習用パラメータ調整用特徴マップに対して前記第２−Ｍフィルタを用いたコンボリューション演算を遂行して第Ｍ１学習用パラメータ臨時特徴マップを求めるプロセス及び（２）前記第Ｍ₁学習用パラメータ臨時特徴マップと第Ｍロスを演算して獲得された第Ｍ₂学習用パラメータ調整用特徴マップを前記第２−（Ｍ＋１）フィルタに伝達するプロセス、（３）前記第１−１ないし前記第１−Ｋフィルタ及び前記第２−１ないし前記第２−Ｋフィルタのうち少なくとも一部のパラメータを調整するプロセス−Ｍは２以上Ｋ−１以下の整数であり、（ＩＩＩ）の初期状態として、前記第１ロスレイヤは前記第２−１学習用特徴マップに対応される第１ロスを演算し、前記第１ロスに前記第２−１フィルタを用いたコンボリューション演算を遂行して第１₂学習用パラメータ調整用特徴マップを求めた後、前記第２−２フィルタは前記第１₂学習用パラメータ調整用特徴マップを第２−２フィルタに伝達する−及び（ＩＶ）前記第１−１ないし前記第１−Ｋフィルタ及び前記第２−Ｋないし前記第２−１フィルタのパラメータを獲得するプロセスを遂行した状態で、前記テストイメージを受信する通信部；及び前記獲得されたテストイメージに対して、前記学習された第１−１ないし前記第１−Ｋフィルタ及び前記第２−Ｋないし前記第２−１フィルタのパラメータを利用してテスト用セグメンテーションを遂行するプロセッサ；を含むテスト装置が提供される。

【0035】

前記また他の実施例によれば、中間レイヤ−前記中間レイヤはエンコーディングレイヤとデコーディングレイヤとの間に位置する−に含まれる中間フィルタ各々に対応される前記第１−１、第１−２、…、前記第１−Ｋ特徴マップのうち少なくとも一部が入力されるようにして、少なくとも一つの中間フィルタから獲得された特定特徴マップを追加で使用することで、各々の前記第２−１、第２−２、…、前記第２−Ｋフィルタのうち少なくとも一部をもって前記第２−１、第２−２、…、前記第２−Ｋ特徴マップの少なくとも一部を獲得するようにすることを特徴とするテスト装置が提供される。

【0036】

また、前記また他の実施例によれば、前記第４−１、第４−２、…、第４−Ｋフィルタを含む中間フィルタが少なくとも一度のダイレーションコンボリューションを遂行する場合、前記第１−１、第１−２、…、前記第１−Ｋ特徴マップ各々にダイレーションコンボリューションを遂行して第４−１、第４−２、…、前記第４−Ｋ特徴マップを獲得するプロセス、及び前記第４−１、第４−２、…、前記第４−Ｋ特徴マップ各々を前記第２−１、第２−２、…、前記第２−Ｋフィルタに伝達するプロセスを遂行することを特徴とするテスト装置が提供される。

【発明の効果】

【0037】

本発明によれば、デコーディングレイヤの各フィルタ毎にロスを計算する別途のレイヤを連結して各フィルタでのロスを補正することができる効果がある。

【0038】

また本発明によれば、ロスがバックプロパゲーション過程で後ろに伝達されてもロスのサイズが小さくならないため、正確なロスを反映することができる効果がある。

【0039】

また本発明によれば、正確なロスを反映して最適のパラメータを見つけることができる学習環境を提供することができる効果がある。

【0040】

また本発明によれば、最適のパラメータを通じて正確なイメージセグメンテーションを遂行し得るイメージテスト環境を提供することができる。

【図面の簡単な説明】

【0041】

【図1】図１は、従来技術にかかるＣＮＮを使用してイメージセグメンテーションを遂行する学習過程を概略的に示す図面である。

【図2A】図２Ａは、本発明の一実施例にかかる多重ロスレイヤを利用してイメージセグメンテーションを遂行し得るＣＮＮを含む学習装置の学習過程を示す図面である。

【図2B】図２Ｂは、本発明の一実施例にかかる多重ロスレイヤを利用してイメージセグメンテーションを遂行し得るＣＮＮを含む学習装置の学習過程を示す図面である。

【図3】図３は、本発明の一実施例にかかる第１ロスを獲得する過程を示す図面である。

【図4】図４は、本発明の一実施例にかかる調整用特徴マップを獲得する過程を示す図面である。

【図5】図５は、正解ラベルイメージのチャネル数を調整して正解ラベルイメージのサイズを変更する方法を示す参考図である。

【図6A】図６Ａは、本発明の他の実施例にかかる多重ロスレイヤを利用してイメージセグメンテーションを遂行し得るＣＮＮを含む学習装置の学習過程を示す図面である。

【図6B】図６Ｂは、本発明の他の実施例にかかる多重ロスレイヤを利用してイメージセグメンテーションを遂行し得るＣＮＮを含む学習装置の学習過程を示す図面である。

【図7A】図７Ａは、本発明のまた他の実施例にかかる多重ロスレイヤを利用してイメージセグメンテーションを遂行し得るＣＮＮを含む学習装置の学習過程を示す図面である。

【図7B】図７Ｂは、本発明のまた他の実施例にかかる多重ロスレイヤを利用してイメージセグメンテーションを遂行し得るＣＮＮを含む学習装置の学習過程を示す図面である。

【発明を実施するための形態】

【0042】

後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例にかかる本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されると、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。

【0043】

以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明することとする。

【0044】

図２Ａ及び図２Ｂは本発明の一実施例にかかる多重ロスレイヤを利用してイメージセグメンテーションを遂行し得るＣＮＮを含む学習装置の学習過程を示す図面である。

【0045】

本発明にかかるＣＮＮモデルを利用したイメージセグメンテーションのための学習装置（未図示）は通信部（未図示）とプロセッサ（未図示）が含まれ得る。具体的に、通信部は入力イメージとしてトレーニングイメージを受信し得て、プロセッサは入力イメージから特徴ベクタを抽出し、これを再びデコーディングしてラベルイメージを獲得するイメージセグメンテーションプロセス及びロスを利用してバックプロパゲーション過程を遂行することでパラメータを最適化するプロセスを遂行し得る。

【0046】

また、本発明にかかる学習装置はＫ個フィルタ（第１−１フィルタないし第１−Ｋフィルタ）を含むエンコーディングレイヤとこれに対応されるＫ個のフィルタ（第２−１ないし第２−Ｋフィルタ）を含むデコーディングレイヤ、そしてデコーディングレイヤの第２−１フィルタないし第２−Ｋフィルタと連動する第１ないし第Ｋロスレイヤを含む。

【0047】

図２Ａ及び図２Ｂを参照すれば、本発明にかかるロスレイヤを利用したイメージセグメンテーション学習方法は、学習装置の通信部が入力イメージとしてトレーニングイメージを入力されてエンコーディングレイヤの第１−１フィルタに入力してから始まる。前記エンコーディングレイヤの第１−１ないし第１−Ｋフィルタは入力されたイメージの特徴マップ（エンコーディングされた特徴マップ）を求めるためにコンボリューション演算を遂行する。

【0048】

前記第１−１ないし第１−Ｋフィルタは各フィルタのカーネルを入力イメージまたは特徴マップ上でスライドして通過させながら各位置毎のカーネルの元素とオーバーラップされる入力元素を掛け、かかる積を合せて現在位置の出力値で生成するコンボリューション演算を遂行し、ダウンサイズされた特徴マップを生成する。

【0049】

具体的に、図２Ａ及び図２Ｂで第１−１フィルタは入力イメージを入力されてコンボリューション演算して第１−１特徴マップを生成して出力し、第１−２フィルタは前記第１−１特徴マップを入力されてコンボリューション演算して第１−２特徴マップを生成し、第１−３フィルタは前記第１−２特徴マップを入力されてコンボリューション演算して第１−３特徴マップを生成し、…、第１−（Ｋ−２）フィルタは第１−（Ｋ−３）特徴マップを入力されてコンボリューション演算して第１−（Ｋ−２）特徴マップを生成し、第１−（Ｋ−１）フィルタは前記第１−（Ｋ−２）特徴マップを入力されてコンボリューション演算して第１−（Ｋ−１）特徴マップを生成し、第１−Ｋフィルタは前記第１−（Ｋ−１）特徴マップを入力されてコンボリューション演算して第１−Ｋ特徴マップを生成する。

【0050】

この時、第１−１ないし１−Ｋフィルタでコンボリューション演算を遂行するたびに入力イメージのサイズは１／２に減る。これはイメージサイズを減らして演算量を減らすためである。一方、コンボリューション演算を通じて特徴マップのチャネル数は増加されるところ、例えば第１−２ないし１−Ｋフィルタでは入力される特徴マップのチャネルを２倍増加させて出力し得る。

【0051】

例えば、第１−１特徴マップがサイズが３２０×２４０であり、チャネル数が８なら、（ｉ）第１−２特徴マップはサイズが１６０×１２０、チャネル数は１６、（ｉｉ）第１−３特徴マップはサイズが８０×６０、チャネル数は３２であり得る。

【0052】

以後、再び図２Ａ及び図２Ｂを参照すれば、第１−Ｋ特徴マップ（即ち、特徴ベクタ）はデコーディングレイヤに入力されてラベルイメージを生成するのに利用される。前記デコーディングレイヤの第２−Ｋないし第２−１フィルタはラベルイメージを求めるためにデコンボリューション演算を遂行する。

【0053】

前記第２−Ｋないし第２−１フィルタは前記第１−１フィルタないし前記第１−Ｋフィルタのコンボリューション演算方向の反対方向に入力されたイメージに対してデコンボリューションを遂行して順次特徴マップのサイズを大きくしながらチャネルを減らすようにして、特徴チャネルを減らしていく演算をする。デコーディングレイヤはエンコーディングレイヤで求めたイメージのエッジを維持しながら残りは潰す機能を遂行して最終的にラベルイメージを生成する。

【0054】

図２Ａ及び図２Ｂで、第２−Ｋフィルタは第１−Ｋ特徴マップを入力されてデコンボリューション演算して第２−Ｋ特徴マップを生成して出力し、第２−（Ｋ−１）フィルタは前記第２−Ｋ特徴マップを入力されてデコンボリューション演算して第２−（Ｋ−１）特徴マップを生成して出力し、第２−（Ｋ−２）フィルタは前記第２−（Ｋ−１）特徴マップを入力されてデコンボリューション演算して第２−（Ｋ−２）特徴マップを生成して出力し、…、第２−３フィルタは第２−４特徴マップを入力されてデコンボリューション演算して第２−３特徴マップを生成して出力し、第２−２フィルタは前記第２−３特徴マップを入力されてデコンボリューション演算して第２−２特徴マップを生成して出力し、第２−１フィルタは前記第２−２特徴マップを入力されてデコンボリューション演算して第２−１特徴マップを生成して出力する。

【0055】

この時、第２−１ないし第２−Ｋフィルタでデコンボリューション演算を遂行するたびに特徴マップのサイズは２倍増加させながら、チャネルは１／２に減少させて特徴マップを生成する。

【0056】

例えば、第２−Ｋ特徴マップのサイズが２０×１５、そのチャネル数が１２８なら、第２−（Ｋ−１）特徴マップはサイズが４０×３０であり、チャネル数は６４であり、第２−（Ｋ−２）特徴マップはサイズが８０×６０、チャネル数は３２、第２−（Ｋ−３）特徴マップはサイズが１６０×１２０、チャネル数は１６であり得る。

【0057】

これによって、第１−（Ｋ−１）特徴マップと第２−Ｋ特徴マップのサイズとチャネル数は同一であり、（第１−Ｋ特徴マップは、第１−（Ｋ−１）特徴マップ及び第２−Ｋ特徴マップと比較してサイズは１／２、チャネルは２倍である）、第１−（Ｋ−２）特徴マップと第２−（Ｋ−１）特徴マップのサイズとチャネル数は同一であり、第１−（Ｋ−３）特徴マップと第２−（Ｋ−２）特徴マップのサイズとチャネル数は同一であり、…、第１−２特徴マップと第２−３特徴マップのサイズとチャネル数は同一であり、第１−１特徴マップと第２−２特徴マップのサイズとチャネル数は同一であり、入力イメージ（即ちトレーニングイメージ）と第２−１特徴マップ（またはラベルイメージ）のサイズは同一である。

【0058】

そして、再び図２Ａ及び図２Ｂを参照すれば、デコーディングレイヤの第２−１ないし２−Ｋフィルタは対応される第１ないし第Ｋロスレイヤと連動する。前記第１ないし第ＫロスレイヤはＧＴラベルイメージとデコーディングレイヤで生成した第２−１ないし２−Ｋ特徴マップとを参照してロス（即ち、第１ロスないし第Ｋロス）を計算して対応する第２−１フィルタないし第２−Ｋフィルタに伝達する。一方、前記第１ないし第Ｋロスレイヤと前記第２−１フィルタないし第２−Ｋフィルタとの間にはチャネル変換のための１×１サイズのコンボリューションフィルタである第３−１ないし第３−Ｋフィルタ（未図示）が含まれ得る。

【0059】

第２−１フィルタないし第２−Ｋフィルタは、バックプロパゲーション過程で、第１ないし第Ｋロスレイヤで計算したロス値を利用して、臨時特徴マップを生成してロスイメージから調整用特徴マップを生成する。勿論、バックプロパゲーション過程中にＵ−Ｎｅｔを遡って複数の臨時特徴マップと複数の調整用特徴マップを生成することになり、これについては後で詳細に説明する。

【0060】

前記学習装置は、前記バックプロパゲーションを通じて第１−１ないし第１−Ｋフィルタ及び第２−Ｋないし第２−１フィルタのパラメータのうち少なくとも一つ以上のパラメータを調整して前記第１ロス値を最小化するようにする。即ち、かかるバックプロパゲーション過程を通じて最適のパラメータ値を算出することができるようになる。

【0061】

一方、図２Ａ及び図２Ｂで、第１−Ｋフィルタを通じて形成された第１−Ｋ特徴マップは入力イメージ内で意味のあるセグメントユニットを示す意味情報を含むため、最も重要な特徴マップである。また、第１−Ｋ特徴マップはすべての特徴マップのうち最も小さいサイズの特徴マップである。従って、第１−Ｋ特徴マップはデコーディングレイヤを通じて獲得されるラベルイメージを推定するのに重要な影響を与える。万一、第１−Ｋ特徴マップに含まれた意味情報が正確でなく、意味のある基本単位を誤って表示すると、デコーディングを経たラベルイメージ推定に大きな影響を与えるようになる。

【0062】

従来の技術によれば、Ｕ−Ｎｅｔの最終フィルタである第２−１フィルタにのみ連結してロスを後ろに伝搬するバックプロパゲーション過程を遂行すれば、ロスが最も小さい特徴ベクタまできた時に前記ロスのサイズが小さくなりすぎて正確なロスを反映し難い場合がある。

【0063】

従って、本発明ではデコーディングレイヤの各フィルタ毎にロスレイヤを連結して各々の特徴マップに対するロスを計算して、パラメータを調整するのに使用される臨時特徴マップ及び調整された特徴マップを生成する。かかる方法を使用すればバックプロパゲーション過程時、最も小さい特徴ベクタまできた時にロスのサイズが小さくなりすぎる現象を防止することができる。

【0064】

また、図２Ａ及び図２Ｂで、各ロスレイヤは各々のロス値を計算する。デコーディングレイヤにある各フィルタは伝達された前のフィルタから得た各々の調整用特徴マップをコンボリューション演算した後、各々の臨時特徴マップを生成し得る。そして、デコーディングレイヤにある各フィルタは各々のロスレイヤ及び各々の臨時特徴マップを利用して各々の調整された特徴マップを新しく出力し、これをこれに対応する各々の次のフィルタに伝達し得る。

【0065】

図３は本発明の一実施例による第１ロスを獲得する過程を示す図面である。

【0066】

参考までに、前記第２−１特徴マップは推定ラベルイメージの場合もあり、前記第２−１特徴マップに所定の演算（未図示）を適用して推定ラベルイメージを生成する場合もある。但し、図面では前記第２−１特徴マップが推定ラベルイメージと想定して、前記第２−１特徴マップが第１ロスレイヤに伝達されるものとして示し、前記第１ロスレイヤは前記第２−１特徴マップと正解ラベルイメージ（ＧＴラベルイメージ）の差を参照して第１ロスを生成する。

【0067】

前記正解ラベルイメージと推定ラベルイメージの差からロスを計算する関数は多様に存在するが、一般的に下の数式のようなＥｕｃｌｉｄｉａｎ ｌｏｓｓ ｌａｙｅｒを通じて２個の入力から入力の差の二乗を合算して計算する。

【0068】

【数1】

【0069】

このように計算された第１ロス（Ｅ＿１）は前記第２−１フィルタに伝達され、第２−１フィルタは第１ロス（Ｅ＿１）にコンボリューション演算を遂行して第１₂パラメータ調整用特徴マップ（Ｄ＿１）を生成する。

【0070】

前記第１₂パラメータ調整用特徴マップ（Ｄ＿１）を求める数式は下記のとおりである。

【0071】

【数2】

ここで、

【数2-1】

はコンボリューション演算であり、Ｄ＿１は第１₂パラメータ調整用特徴マップであり、Ｅ＿１は第１ロス、Ｗ_(2-1)は第２−１フィルタのフィルタ重み付け値である。

【0072】

もし第１₂パラメータ調整用特徴マップ（Ｄ＿１）を求める時に第２−１フィルタと第１ロスレイヤの間に第１ロスレイヤ対応コンボリューションフィルタの重み付け値まで含んで演算する場合には、下の数式で表現され得る。

【0073】

【数3】

ここで、Ｗ_(3-1)は第１ロスレイヤ対応コンボリューションフィルタのフィルタ重み付け値であり、Ｗ_(3-1)は第３−１フィルタのフィルタ重み付け値である。Ｄ＿１を生成するのにどの数式を使用するかに関係なく、前記生成された第１₂パラメータ調整用特徴マップ（Ｄ＿１）は第２−２フィルタに伝達される。

【0074】

ここで、プロセスの初期状態として、第１₂臨時特徴マップの非存在（存在しない）は、前のいずれのフィルタも調整された特徴マップを第２−１フィルタに伝達することができないという事実によって説明され得る。従って、前記第２−１フィルタは第１ロスレイヤで１次ロスのみを受信して、１次ロスにコンボリューション演算を適用して第１₂調整された特徴マップを獲得し得る。

【0075】

図４は本発明の一実施例による調整用特徴マップを獲得する過程を示す図面である。

【0076】

図４を参照すれば、バックプロパゲーション過程で第２−Ｍフィルタは第２−（Ｍ−１）フィルタから第（Ｍ−１）₂パラメータ調整用特徴マップを伝達され得る。そして、ＭロスレイヤはＧＴラベルイメージと第２−Ｍ特徴マップの差を識別することで、第Ｍロスを計算する。前記計算された第Ｍロスは２−Ｍフィルタに伝達され得る。

【0077】

かかるロス計算は上述したようにＥｕｃｌｉｄｉａｎ ｌｏｓｓ ｌａｙｅｒを利用して２個の入力から入力の差の二乗を合算して計算する場合もあり、多様な公知の計算法を利用する場合もある。そして、このように求めた第Ｍロスは再び第２−Ｍフィルタに伝達される。そして、この場合に前記ロスレイヤに対応されるコンボリューションフィルタのフィルタ重み付け値で前記ロスをコンボリューション演算して前記２−Ｍフィルタに伝達する場合もある。

【0078】

バックプロパゲーション過程で、第２−Ｍフィルタは第２−（Ｍ−１）フィルタから受信した第（Ｍ−１）₂調整用特徴マップ（Ｄ＿（Ｍ−１））に第２−Ｍフィルタのフィルタ重み付け値、即ちパラメータを利用してコンボリューション演算を遂行し、第Ｍ臨時特徴マップ

【数3-1】

を生成する。そして、第２−Ｍフィルタは前記第Ｍ₁臨時特徴マップ

【数3-2】

に第Ｍロスを合せて第Ｍ₂調整用特徴マップ（Ｄ＿Ｍ）を生成する。そして、前記第Ｍ₂調整用特徴マップ（Ｄ＿Ｍ）は第２−（Ｍ＋１）フィルタでバックプロパゲーションされる。

【0079】

このように第２−Ｍフィルタで第Ｍ₂調整用特徴マップ（Ｄ＿Ｍ）を求める演算過程は下記の数式で表現され得る。

【0080】

【数4】

【0081】

この時、

【数4-1】

はコンボリューション演算であり、

【数4-2】

は第Ｍ₁臨時特徴マップであり、Ｄ＿（Ｍ−１）、Ｄ＿Ｍは各々第（Ｍ−１）₂調整用特徴マップ及び第Ｍ₂調整用特徴マップであり、Ｗ_Mは第２−Ｍフィルタのフィルタ重み付け値、即ちパラメータであり、Ｅ＿Ｍは第Ｍロスである。

【0082】

一方、Ｅ＿Ｍ値が第Ｍロスレイヤに対応されるコンボリューションフィルタのフィルタ重み付け値でコンボリューション演算した後、第２−Ｍフィルタに伝達される場合、前記第２−Ｍフィルタで第Ｍ₂調整用特徴マップ（Ｄ＿Ｍ）を求める演算過程は下記の数式で表現され得る。

【0083】

【数5】

【0084】

この時、

【数5-1】

はコンボリューション演算であり、

【数5-2】

は第Ｍ₁臨時特徴マップであり、Ｄ＿（Ｍ−１）、Ｄ＿Ｍは各々第（Ｍ−１）₂調整用特徴マップ及び第Ｍ₂調整用特徴マップであり、Ｗ_Mは第２−Ｍフィルタのフィルタ重み付け値、即ちパラメータであり、Ｅ＿Ｍは第Ｍロス、Ｗ_(3-M)は第Ｍロスレイヤに対応するコンボリューションフィルタのフィルタ重み付け値、即ちパラメータである。

【0085】

具体的に、第２−Ｍ特徴マップから獲得した推定ラベルイメージ及び原本正解ラベルイメージとの間のロスを第Ｍロスレイヤで計算する時、原本正解ラベルイメージと第２−Ｍ特徴マップから獲得した推定ラベルイメージの間のチャネルの数及びサイズの差によってロスが直接計算されない場合がある。

【0086】

従って、第１ないし第Ｋロスレイヤは第２−１ないし第２−Ｋ特徴マップにコンボリューション演算を遂行してＧＴラベルイメージのチャネル数と同一の数に変更するための前記第１ないし前記第Ｋロスレイヤに対応するコンボリューションフィルタである第３−１ないし第３−Ｋフィルタ（未図示）が含まれ得る。また、第３−１ないし第３−Ｋフィルタは第２−１ないし第２−Ｋ特徴マップ各々のチャネルの数を調整して、第２−１ないし第２−Ｋ特徴マップ各々対してコンボリューション演算して原本正解ラベルイメージと同一のチャネル数に変換し得る。

【0087】

また、前記第１ないし第Ｋロスレイヤの第３−１ないし第３−Ｋフィルタは原本正解ラベルイメージのチャネル数を変更して第２−１ないし第２−Ｋ特徴マップ各々のチャネル数とマッチされるように変更する場合もある。この時、第３−１ないし第３−Ｋフィルタはフィルタのサイズが１×１であり、第２−１ないし第２−Ｋ特徴マップのチャネル数または原本正解ラベルイメージのチャネル数を変更し得るが、これに限定されるものではない。

【0088】

参考までに、デコーディングレイヤに含まれたフィルタ各々と相互作用するロスレイヤはロスを各々計算するため、原本正解ラベルイメージは特徴マップ各々のサイズに対応するように各々のサイズを減らさなければならない。即ち、各デコーディングレイヤのフィルタにロスレイヤがついている場合、第２−Ｍ特徴マップのサイズは第２−（Ｍ−１）特徴マップサイズから１／２に減るため、第２−Ｍロスレイヤで演算される原本正解ラベルイメージのサイズは第２−（Ｍ−１）ロスレイヤで演算されるＧＴラベルイメージのサイズから１／２に減らして演算しなければならない。

【0089】

図５は正解ラベルイメージのチャネル数を調整して正解ラベルイメージのサイズを変更する方法を示した参考図である。

【0090】

ＧＴラベルイメージのサイズを減らす方法は、チャネル数をそのままにしてリサイズを通じてサイズを減らせる方法がある。しかし、ＧＴラベルイメージの場合、物体と背景のピクセル値がすべて整数値からなっているため、ＧＴラベルイメージをリサイズする場合にはｎｅａｒｅｓｔ方法を使用するようになる。

【0091】

しかし、かかるｎｅａｒｅｓｔ方法を用いてＧＴラベルイメージを減らす過程では誤差が発生するようになる。かかる誤差は特徴マップのサイズが大きい上位フィルタにいくほど大きくなり、特徴マップのサイズが小さい下位フィルタにいくほど小さくなる。

【0092】

かかる問題を解決するため、本発明では図５に示された例のとおり、第Ｍロスレイヤは原本正解ラベルイメージのチャネル数を変更することで原本正解ラベルイメージのサイズを第２−Ｍ特徴マップのサイズに合わせる方法を使用する。かかる方法は特徴マップのサイズが大きい上位フィルタと連動されるロスレイヤに適用され得るが、これに限定されるものではない。

【0093】

図５の例で、第２−Ｍ特徴マップのサイズが３２０×２４０であり、原本正解ラベルイメージのサイズが６４０×４８０と仮定すれば、３２０×２４０サイズの第２−Ｍ特徴マップから６４０×４８０サイズの原本正解ラベルイメージを直ちに引くことができない。従って、第Ｍロスレイヤは１×１サイズのコンボリューション演算を通じて原本正解ラベルイメージのチャネルを４倍に拡張する。これによって６４０×４８０サイズの原本正解ラベルイメージはチャネルが４倍になった３２０×２４０サイズのラベルイメージに変更され得る。即ち、サイズが６４０×４８０であるイメージのピクセルをチャネルにシフトして特徴マップのサイズを減らし、その結果、サイズは４ｃｈ×３２０×２４０に変わるようになる。

【0094】

即ち、第Ｍロスレイヤは６４０×４８０サイズ及びａ個チャネルを有する原本正解ラベルイメージを３２０×２４０サイズ及び４×ａチャネル数の原本正解ラベルイメージに変更する。そして、１×１サイズの第３−Ｍフィルタを通じて３２０×２４０サイズ及びｂ個チャネルを有する第２−Ｍ特徴マップを３２０×２４０サイズ及び４×ａ個チャネルを有する特徴マップに変更する。そして、第Ｍロスレイヤは同一の３２０×２４０サイズ及び４×ａ個チャネルを有する原本正解ラベルイメージと特徴マップの間でロスを計算する。これによって原本正解ラベルイメージのイメージを減らす時に発生するロスを防止することができるようになる。

【0095】

図６Ａ及び図６Ｂは本発明の他の実施例による多重ロスレイヤを利用してイメージセグメンテーションを遂行し得るＣＮＮを含む学習装置の学習過程を示す図面である。

【0096】

各特徴マップのチャネルの数は各特徴マップのサイズが減少することによって増加する。従って、デコーディングレイヤの下位レイヤにあるフィルタ、即ち、特徴マップのサイズが小さい下位レイヤ（または下位フィルタ）にいくほどチャネル数がさらに増えるようになる。万一、図５に示された１×１サイズフィルタのコンボリューション演算を通じて原本正解ラベルイメージのチャネルを増やす方法をすべてのレイヤに適用するようになれば、１×１サイズフィルタのコンボリューションで多くの数のチャネルを生成しなければならないため、コンボリューションフィルタのｃａｐａｃｉｔｙを超えてむしろロスが増える可能性もあるという問題がある。即ち、多くの３×３サイズのフィルタまたは多くの５×５サイズのフィルタを使用すれば学習を通じて処理し得る能力が大きくなり得るが、１×１サイズのコンボリューションフィルタはサイズが１であるため、学習を通じて処理し得る能力が小さい。従って、該フィルタが処理すべき演算量が増えるようになれば、むしろ性能が低下するようになる現象が発生し得る。かかる現象を防止するために、図６Ａ及び図６Ｂの実施例のように、特徴マップのサイズが小さくてチャネルが多い下位レイヤでは１×１コンボリューション演算を通じてチャネルを変更する方法の代わりに、原本正解ラベルイメージをリサイズする方法を使用する場合もある。

【0097】

従って、第１ないし第Ｋロスレイヤのうち特徴マップのサイズが大きい上位レイヤであるＴ個のロスレイヤ、即ち、第１ないし第Ｔロスレイヤでは原本正解ラベルイメージのチャネル数変更を通じてイメージのサイズを減らし、特徴マップのサイズが小さい下位レイヤである残りのＫ−Ｔ個のロスレイヤ、即ち、第Ｔ＋１ないし第Ｋロスレイヤでは原本正解ラベルイメージをリサイズしてイメージサイズを減らす。即ち、下位レイヤでは原本正解ラベルイメージのチャネル数を維持してｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｈｏｏｄ方法（即ち、ｎｅａｒｅｓｔ方法）などで原本正解ラベルイメージのサイズをリサイズし、第２−（Ｔ＋１）ないし第２−Ｋ特徴マップのチャネル数を１×１コンボリューションを利用して原本正解ラベルイメージのチャネル数と同一に減らし、特徴マップと原本正解ラベルイメージのサイズとチャネル数を同じくしてロスを求める。そして、上位レイヤでは原本正解ラベルイメージのチャネル数を増やしてイメージサイズを減らす方法を使用して、特徴マップと原本正解ラベルイメージのサイズを同じくし、第２−１ないし第２−Ｔ特徴マップのチャネル数を１×１コンボリューションを利用して変更された原本正解ラベルイメージのチャネル数と同一に変更した後、ロスを求める。しかし、必ずしも下位レイヤと上位レイヤでのロスを求める方法が差別化される必要はない。

【0098】

このように上位レイヤ領域と下位レイヤ領域での原本正解ラベルイメージ変更方法を異にすれば、すべてのロスレイヤで同一の変更方法を使用するものと比較してロスを大きく減らすことができる。

【0099】

再び図６Ａ及び図６Ｂを参照すれば、本発明にかかる学習装置は、第４−１ないし第４−Ｋフィルタ、即ち、中間フィルタを有する中間レイヤがさらに含まれ得る。前記中間フィルタは第１−１ないし第１−Ｋ特徴マップ情報を利用して、第４−１ないし第４−Ｋ特徴マップを生成し得る。各々の第４−１ないし第４−Ｋフィルタは前記第１−１ないし第１−Ｋ特徴マップ各々にダイレーションコンボリューションを適用して前記第４−１ないし第４−Ｋ特徴マップを生成し、生成された前記第４−１ないし第４−Ｋ特徴マップを各々前記第２−１ないし第２−Ｋフィルタに伝達する。そうすると前記第２−１ないし第２−Ｋフィルタは伝達された前記第４−１ないし第４−Ｋ特徴マップを参照して前記第２−１ないし第２−Ｋ特徴マップを生成する。

【0100】

中間フィルタ、即ち、前記第４−１ないし第４−Ｋフィルタはｒｅｃｅｐｔｉｖｅ ｆｉｅｌｄを増加させたダイレーションコンボリューション演算を通じて前記第１−１ないし第１−Ｋ特徴マップ各々でエッジ情報を強調して抽出する機能をする。これによって前記第２−１ないし第２−Ｋフィルタはエンコーダーレイヤ特徴マップに含まれたエッジ情報を強化させた情報を使用することができ、特徴マップをデコーディングする時にさらに多くの情報を伝搬することができるようになる。

【0101】

また、本発明にかかる学習装置は、第４−１ないし第４−Ｋ特徴マップの少なくとも一部を使用して、第２−１ないし第２−Ｋフィルタにとって特徴マップを生成するようにできる。即ち、前記第４−１ないし第４−Ｋ特徴マップに対応する第１−１ないし１−Ｋ特徴マップにダイレーションコンボリューションを選択的に適用し得る。

【0102】

ここで、中間フィルタはダイレーションコンボリューション演算を遂行するが、これに限定されるものではない。例えば、中間フィルタの少なくとも一部は場合によってコンボリューション演算を遂行し得る。一方、中間フィルタによって生成された特徴マップはデコーディングレイヤに含まれたフィルタによって直接的または間接的に参照され得る。

【0103】

図７Ａ及び図７Ｂは本発明のまた他の実施例にかかる多重ロスレイヤを利用してイメージセグメンテーションを遂行することができるＣＮＮを含む学習装置の学習過程を示す図面である。

【0104】

図７Ａ及び図７Ｂに示された学習過程では図２Ａ及び図２Ｂに示された学習過程と同一の過程を経るが、ロスレイヤがすべてのデコーディングレイヤのフィルタと連動されず、その一部のフィルタとのみ連動される実施例にかかる学習過程を示す。即ち、ロスレイヤはデコーディングレイヤに含まれたフィルタの一部と関連し得る。

【0105】

図７Ａ及び図７Ｂを参照すれば、デコーディングレイヤの第２−１ないし２−Ｋフィルタのうち一部であるＨ個のフィルタ（以下、第２−１ないし２−Ｈフィルタとする）と連動する第１ないし第Ｈロスレイヤを含む。この時、第２−１ないし２−Ｈフィルタはデコーディングレイヤの上位レイヤのフィルタから下位レイヤまで順に指称したもので、全体Ｋ個のフィルタを上位レイヤのフィルタから順に指称した前記第２−１ないし前記第２−Ｋフィルタと比較して、同一の参照符号は同一の部分を指称しない場合もある。例えば、Ｈ個のフィルタのうち第２−２フィルタはＫ個のフィルタのうち第２−２フィルタと異なり得る。参考までに、Ｈは０よりも大きく、Ｋよりも小さい自然数である。前記Ｈ個のフィルタは図７Ａ及び図７Ｂで括弧の中に示した。

【0106】

図７Ａ及び図７Ｂでは学習装置がデコーディングレイヤに含まれた第２−１ないし第２−Ｈフィルタと各々連動する第１ないし第Ｈロスレイヤが含まれ得る。また、学習装置は、デコーディングレイヤのＨ個フィルタから獲得されたＨ個の特徴マップ各々に対応される第Ｈ個のロスを各々前記第１ないし第Ｈロスレイヤから獲得するプロセスを遂行する。

【0107】

すべてのデコーディングレイヤのフィルタにロスレイヤが連結されず、一部にのみロスレイヤが連結される場合には、ロスレイヤの数が減ってロス値を求める演算量が減りながらも、バックプロパゲーション過程で中間の特徴マップに対するロスを参照してパラメータ調整用特徴マップを形成することができ、学習効率を維持することができる効果がある。

【0108】

特に、（ｉ）第２−Ｋフィルタは最も重要な情報を含む第１−Ｋ特徴マップと連動され、（ｉｉ）ラベルイメージを生成し得る第２−１フィルタはロスレイヤが連動されることが好ましい。

【0109】

従って、本発明にかかるマルチロスレイヤを利用すれば、特徴ベクタに縦縞やノイズが相当減少し、最終段階のデコーディングレイヤフィルタにのみロスレイヤがついたものと比較してイメージセグメンテーション性能が向上するようになる。

【0110】

図２Ａ及び図２Ｂないし図７Ａ及び７Ｂは本発明にかかる学習装置及びこれを利用した学習過程を説明した。参考までに、学習装置はバックプロパゲーション過程を遂行することで、最適のパラメータ値を求めることができるが、イメージセグメンテーションを遂行するテスト装置はかかるプロセスを実行しないことは当然である。

【0111】

ここで、イメージセグメンテーションを遂行するためのテスト装置（未図示）の構成及び機能について簡略に説明する。前記テスト装置は上で言及した学習プロセスを通じて発見された媒介変数を使用し、テストイメージでイメージセグメンテーションを遂行する。前記テスト装置は前で言及した学習装置と同一の装置でもよく、他の装置でもよい。

【0112】

入力イメージとしてのテストイメージに対するイメージセグメンテーションを遂行するための前記テスト装置は、通信部（未図示）及びプロセッサ（未図示）を含んでおり、前記通信部は外部装置と通信するように構成され得る。

【0113】

特に、（Ｉ）（ｉ）トレーニングイメージに対してコンボリューション演算を複数回遂行して第１−１、第１−２、…、第１−Ｋ学習用特徴マップを獲得する、各々第１−１ないし第１−Ｋフィルタを含むエンコーディングレイヤ；（ｉｉ）前記第１−Ｋ学習用特徴マップに対してデコンボリューション演算を複数回遂行して第２−Ｋ、第２−（Ｋ−１）、…、第２−１学習用特徴マップを獲得する、各々第２−Ｋないし第２−１フィルタを含むデコーディングレイヤ；及び（ｉｉｉ）前記デコーディングレイヤに含まれたＫフィルタのうちＨ個のフィルタと連動する第１ないし第Ｈロスレイヤを含む学習装置を利用して、（ＩＩ）前記エンコーディングレイヤ及び前記デコーディングレイヤを経て前記第２−Ｋ、前記第２−（Ｋ−１）、…、前記第２−１学習用特徴マップを獲得するプロセス及び前記第２−Ｋ、前記第２−（Ｋ−１）、…、前記第２−１学習用特徴マップのうち前記Ｈ個のフィルタから獲得されたＨ個の学習用特徴マップ各々に対応される第１ないし第Ｈロスを各々前記第１ないし第Ｈロスレイヤから獲得するプロセス；及び（ＩＩＩ）バックプロパゲーション過程で（１）第２−Ｍフィルタをもって第２−（Ｍ−１）フィルタから伝達された第（Ｍ−１）₂学習用パラメータ調整用特徴マップに対して前記第２−Ｍフィルタを用いたコンボリューション演算を遂行して第Ｍ₁学習用パラメータ臨時特徴マップを求めるプロセス及び（２）前記第Ｍ₁学習用パラメータ臨時特徴マップと第Ｍロスを演算して獲得された第Ｍ₂学習用パラメータ調整用特徴マップを前記第２−（Ｍ＋１）フィルタに伝達するプロセス、（３）前記第１−１ないし前記第１−Ｋフィルタ及び前記第２−１ないし前記第２−Ｋフィルタのうち少なくとも一部のパラメータを調整するプロセス−Ｍは２以上Ｋ−１以下の整数であり、（ＩＩＩ）の初期状態として、前記第１ロスレイヤは前記第２−１学習用特徴マップに対応される第１ロスを演算し、前記第１ロスに前記第２−１フィルタを用いたコンボリューション演算を遂行して第１２学習用パラメータ調整用特徴マップを求めた後、前記第２−２フィルタは前記第１２学習用パラメータ調整用特徴マップを第２−２フィルタに伝達する−及び（ＩＶ）前記第１−１ないし前記第１−Ｋフィルタ及び前記第２−Ｋないし前記第２−１フィルタのパラメータを獲得するプロセスを遂行した状態で、テスト装置の通信部は前記テストイメージを獲得し得る。

【0114】

また、プロセッサはデコーディングレイヤ及びエンコーディングレイヤのフィルタの少なくとも一部の調整されたパラメータ、即ち、前記第１−１ないし前記第１−Ｋフィルタ及び前記第２−Ｋないし前記第２−１フィルタのパラメータを利用して獲得されたテストイメージに対するイメージセグメンテーションを遂行するように構成され得る。

【0115】

本発明の技術分野の通常の技術者に理解され得ることとして、上で説明されたイメージ、例えば、トレーニングイメージ、テストイメージのようなイメージデータの送受信が学習装置及びテスト装置の通信部によって構成され得て、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／またはメモリ）によって保有／維持され得て、コンボリューション演算、デコンボリューション演算、ロス値演算過程が主に学習装置及びテスト装置のプロセッサによって遂行され得るが、本発明はこれに限定されるものではない。

【0116】

以上で説明された本発明にかかる実施例は多様なコンピュータ構成要素を通じて遂行され得るプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独または組み合わせて含まれ得る。前記コンピュータで判読可能な記録媒体に記録されるプログラム命令語は本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけではなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は本発明にかかる処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成されることがあり、その逆も同様である。

【0117】

以上、本発明が具体的な構成要素などのような特定の事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野において通常の知識を有する者であればかかる記載から多様な修正及び変形が行なわれ得る。

【0118】

従って、本発明の思想は前記説明された実施例に極限されて定められてはならず、後述する特許請求の範囲だけではなく、本特許請求の範囲と均等または等価的に変形されたすべてのものは本発明の思想の範疇に属するといえる。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7A】

【図7B】