6676721 アクティベーション演算とコンボリューション演算を同時に遂行するための方法及び装置、そしてこのための学習方法及び学習装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6676721

(24)【登録日】2020年3月16日

(45)【発行日】2020年4月8日

(54)【発明の名称】アクティベーション演算とコンボリューション演算を同時に遂行するための方法及び装置、そしてこのための学習方法及び学習装置

(51)【国際特許分類】

   G06N 3/04 20060101AFI20200330BHJP

【ＦＩ】

   G06N3/04

【請求項の数】14

【外国語出願】

【全頁数】23

(21)【出願番号】特願2018-193024(P2018-193024)

(22)【出願日】2018年10月12日

(65)【公開番号】特開2019-75114(P2019-75114A)

(43)【公開日】2019年5月16日

【審査請求日】2018年11月12日

(31)【優先権主張番号】15/783,280

(32)【優先日】2017年10月13日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】517038176

【氏名又は名称】株式会社ストラドビジョン

(74)【代理人】

【識別番号】110001737

【氏名又は名称】特許業務法人スズエ国際特許事務所

(72)【発明者】

【氏名】キム、ヨンジョン

(72)【発明者】

【氏名】ナム、ウンユン

(72)【発明者】

【氏名】ボ、シュクフン

(72)【発明者】

【氏名】シュン、ミュンチュル

(72)【発明者】

【氏名】エオ、ドンフン

(72)【発明者】

【氏名】リュウ、ウージュ

(72)【発明者】

【氏名】ジャン、タエウォン

(72)【発明者】

【氏名】ジョン、キュンジョン

(72)【発明者】

【氏名】ジェ、ホンモ

(72)【発明者】

【氏名】チョ、ホジン

【審査官】 今城 朋彬

(56)【参考文献】

【文献】 KONG, Bailey et al.，Energy-Based Spherical Sparse Coding，２０１７年１０月 ４日，pp.1-12，ＵＲＬ，https://arxiv.org/pdf/1710.01820.pdf

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｎ ３／０４

(57)【特許請求の範囲】

【請求項1】

コンボリューションレイヤのコンボリューション演算とアクティベーションモジュールのアクティベーション演算を同時に遂行する、学習されたパラメータを有する、ＣＮＮの構成方法において、
（ａ）前記コンピューティング装置が、ＣＮＮの演算装置にある比較器をもって、入力イメージの各画素値に対応する入力値を所定の基準値と比較してその比較結果に対する比較結果値を出力する段階；
（ｂ）前記コンピューティング装置が、前記ＣＮＮの演算装置にある選択器をもって、前記コンボリューションレイヤのコンボリューションフィルタの多数のパラメータのうち前記比較結果値に対応される特定パラメータを出力する段階；及び
（ｃ）前記コンピューティング装置が、前記ＣＮＮの演算装置にある乗算器をもって、前記特定パラメータと前記入力値を掛けた値を出力し、前記掛けた値を、前記アクティベーションモジュールの出力に前記コンボリューションレイヤの前記コンボリューション演算を適用した結果値に決定する段階；を含むことを特徴とする方法。

【請求項2】

前記アクティベーション演算はＣＲｅＬＵ（Ｃｏｎｃａｔｅｎａｔｅｄ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）演算であることを特徴とする請求項１に記載の方法。

【請求項3】

前記（ａ）段階ないし（ｃ）段階を含む方法は次の数式で表現されて、

【数1】

ここで、ＣＲｅＬＵ＿Ｃｏｎｖはアクティベーションモジュールの出力に前記コンボリューションレイヤのコンボリューション演算を適用した結果を示して、ｘは入力値、前記ｗ₁、ｗ₂は前記コンボリューションレイヤのパラメータ、ａ、ｂは前記ｗ₁、ｗ₂を獲得するために用いられるべきコンボリューションレイヤの要素パラメータであり、前記所定の基準値は０であることを特徴とする請求項２に記載の方法。

【請求項4】

コンボリューションレイヤのコンボリューション演算とアクティベーションモジュールのアクティベーション演算を同時に遂行する、学習されたパラメータを有する、ＣＮＮの構成方法において、
（ａ）前記コンピューティング装置が、ＣＮＮの演算装置にある比較器をもって、入力イメージの各画素値に対応する入力値を所定の区間区分の基準値と比較して前記入力値が前記所定の区間区分の基準値のうちどの値の間の区間に該当するかに対する情報を参照して比較結果値を出力する段階；
（ｂ）前記コンピューティング装置が、前記ＣＮＮの演算装置にある第１選択器をもって、前記コンボリューションレイヤの多数の統合ウェイトパラメータのうち前記比較結果値に対応される特定統合ウェイトパラメータを出力するプロセス及び前記ＣＮＮの演算装置にある第２選択器をもって、前記コンボリューションレイヤの多数の修正バイアスパラメータのうち前記比較結果値に対応される特定修正バイアスパラメータを出力するプロセスを遂行する段階；
（ｃ）前記コンピューティング装置が、前記ＣＮＮの演算装置にある乗算器をもって、前記特定統合ウェイトパラメータと前記入力値を掛けて出力する段階；及び
（ｄ）前記コンピューティング装置が、前記ＣＮＮの演算装置にある加算器をもって、乗算出力値に前記特定修正バイアスパラメータを足した値を出力し、前記足した値を、前記アクティベーションモジュールの出力に前記コンボリューションレイヤの前記コンボリューション演算を適用した結果値に決定する段階；を含むことを特徴とする方法。

【請求項5】

前記アクティベーション演算はＮ−ｗａｙ ＣＲｅＬＵ（Ｎ−ｗａｙ Ｃｏｎｃａｔｅｎａｔｅｄ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）演算であることを特徴とする請求項４に記載の方法。

【請求項6】

前記（ａ）段階ないし（ｄ）段階を含む方法は次の数式で表現されて、

【数2】

ここで、ＮＣＲｅＬＵ＿Ｃｏｎｖはアクティベーションモジュールの出力に前記コンボリューションレイヤのコンボリューション演算を適用した結果を示して、ｘは入力値、ｗ_iは前記コンボリューションレイヤの統合ウェイトパラメータ、ｂ_iは前記コンボリューションレイヤの修正バイアスパラメータ、ｖ_iは所定の区間区分の基準値であることを特徴とする請求項５に記載の方法。

【請求項7】

前記統合ウェイトパラメータ（ｗ_i）、前記修正バイアスパラメータ（ｂ_i）、前記所定の区間区分の基準値（ｖ_i）は次の数式で算出されて、

【数3】

ここで、ｑ_i（ｑ₁ないしｑ_n-1）は各バイアスレイヤの要素バイアスパラメータで、ｐ_i（ｐ₁ないしｐ_n）は各コンボリューションレイヤの要素ウェイトパラメータで、ｄはコンボリューションレイヤの要素バイアスパラメータであり、ｒａｎｋ（ｑ_i）は｛ｑ₁，…．．ｑ_n-1｝のうちｑ_iが何番目に大きい数かを示して、ｒａｎｋ^-1（ｉ）は｛ｑ₁，…ｑ_n-1｝のうちｉ番目に大きい数のインデックス（Ｉｎｄｅｘ）を示すことを特徴とする請求項６に記載の方法。

【請求項8】

コンボリューションレイヤのコンボリューション演算とアクティベーションモジュールのアクティベーション演算を同時に遂行する、学習されたパラメータを有する、ＣＮＮの構成装置において、
入力イメージの各画素値に対応する入力値を入力される通信部；
（ｉ）前記入力値を所定の基準値と比較してその比較結果に対する比較結果値を出力するプロセス；（ｉｉ）前記コンボリューションレイヤのコンボリューションフィルタの多数のパラメータのうち前記比較結果値に対応される特定パラメータを出力するプロセス；及び（ｉｉｉ）前記特定パラメータと前記入力値を掛けた値を出力し、前記掛けた値を、前記アクティベーションモジュールの出力に前記コンボリューションレイヤの前記コンボリューション演算を適用した結果値に決定するプロセスを遂行するプロセッサ；を含むことを特徴とする装置。

【請求項9】

前記アクティベーション演算はＣＲｅＬＵ（Ｃｏｎｃａｔｅｎａｔｅｄ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）演算であることを特徴とする請求項８に記載の装置。

【請求項10】

前記プロセッサの前記（ｉ）ないし（ｉｉｉ）プロセスは次の数式で表現されて、

【数4】

ここで、ＣＲｅＬＵ＿Ｃｏｎｖはアクティベーションモジュールの出力に前記コンボリューションレイヤのコンボリューション演算を適用した結果を示して、ｘは入力値、前記ｗ₁、ｗ₂は前記コンボリューションレイヤのパラメータ、ａ、ｂは前記ｗ₁、ｗ₂を獲得するために用いられるべきコンボリューションレイヤの要素パラメータであり、
前記所定の基準値は０であることを特徴とする請求項９に記載の装置。

【請求項11】

コンボリューションレイヤのコンボリューション演算とアクティベーションモジュールのアクティベーション演算を同時に遂行する、学習されたパラメータを有する、ＣＮＮの構成装置において、
入力イメージの各画素値に対応する入力値を入力される通信部；
（ｉ）前記入力値を所定の区間区分の基準値と比較して前記入力値が前記所定の区間区分の基準値のうちどの値の間の区間に該当するかに対する情報を参照して比較結果値を出力するプロセス；（ｉｉ）前記コンボリューションレイヤの多数の統合ウェイトパラメータのうち前記比較結果値に対応される特定統合ウェイトパラメータを出力するプロセス；（ｉｉｉ）前記コンボリューションレイヤの多数の修正バイアスパラメータのうち前記比較結果値に対応される特定修正バイアスパラメータを出力するプロセス；（ｉｖ）前記特定統合ウェイトパラメータと前記入力値を掛けて出力するプロセス；及び（ｖ）乗算出力値に前記特定修正バイアスパラメータを足した値を出力し、前記足した値を、前記アクティベーションモジュールの出力に前記コンボリューションレイヤのコンボリューション演算を適用した結果値に決定するプロセス；を遂行するプロセッサ；を含むことを特徴とする装置。

【請求項12】

前記アクティベーション演算はＮ−ｗａｙ ＣＲｅＬＵ（Ｎ−ｗａｙ Ｃｏｎｃａｔｅｎａｔｅｄ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）演算であることを特徴とする請求項１１に記載の装置。

【請求項13】

前記プロセッサの前記（ｉ）ないし（ｖ）プロセスは次の数式で表現されて、

【数5】

ここで、ＮＣＲｅＬＵ＿Ｃｏｎｖはアクティベーションモジュールの出力に前記コンボリューションレイヤのコンボリューション演算を適用した結果を示して、ｘは入力値、ｗ_iは前記コンボリューションレイヤの統合ウェイトパラメータ、ｂ_iは前記コンボリューションレイヤの修正バイアスパラメータ、ｖ_iは所定の区間区分の基準値であることを特徴とする請求項１２に記載の装置。

【請求項14】

前記統合ウェイトパラメータ（ｗ_i）、前記修正バイアスパラメータ（ｂ_i）、前記所定の区間区分の基準値（ｖ_i）は次の数式で算出されて、

【数6】

ここで、ｑ_i（ｑ₁ないしｑ_n-1）は学習された各バイアスレイヤの要素バイアスパラメータで、ｐ_i（ｐ₁ないしｐ_n）は各コンボリューションレイヤの要素ウェイトパラメータで、ｄはコンボリューションレイヤの要素バイアスパラメータであり、ｒａｎｋ（ｑ_i）は｛ｑ₁，…．．ｑ_n-1｝のうちｑ_iが何番目に大きい数かを示して、ｒａｎｋ^-1（ｉ）は｛ｑ₁，…ｑ_n-1｝のうちｉ番目に大きい数のインデックス（Ｉｎｄｅｘ）を示すことを特徴とする請求項１３に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はアクティベーション演算とコンボリューション演算を同時に遂行できる演算方法及び演算装置、そしてこれを具現するための学習方法及び学習装置に関する。より詳細には、（ａ）前記コンピューティング装置が、ＣＮＮの演算装置にある比較器をもって、入力イメージの各画素値に対応する入力値を所定の基準値と比較してその比較結果に対する比較結果値を出力する段階；（ｂ）前記コンピューティング装置が、前記ＣＮＮの演算装置にある選択器をもって、前記コンボリューションレイヤのコンボリューションフィルタの多数のパラメータのうち前記比較結果値に対応される特定パラメータを出力する段階；及び（ｃ）前記コンピューティング装置が、前記ＣＮＮの演算装置にある乗算器をもって、前記選択された特定パラメータと前記入力値を掛けた値を出力し、前記掛けた値を、前記アクティベーションモジュールの出力に前記コンボリューションレイヤの前記コンボリューション演算を適用した結果値に決定する段階；を含むことを特徴とする方法及び装置、そしてこのための学習方法及び装置に関する。

【背景技術】

【0002】

ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；ディープＣＮＮ）はディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは文字認識問題を解くために９０年代に既に使用されていたが、現在のように広く使用されるようになったのは最近の研究結果のおかげである。このようなディープＣＮＮは２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そうして、コンボリューションニューラルネットワークはＭａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ分野で非常に有用なツールとなった。

【0003】

図１はＣＲｅＬＵ演算とコンボリューション演算を遂行できる既存のＣＮＮ学習装置の構成を示す。

【0004】

図１を参照すれば、既存のＣＮＮ学習装置１００はコンボリューションレイヤ１１０、１３０、ＣＲｅＬＵ（Ｃｏｎｃａｔｅｎａｔｅｄ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）１２０及び他のＣＲｅＬＵ（未図示）を含んでおり、演算が交互に複数回反復される形態を有している。

【0005】

この時、ＣＲｅＬＵ１２０は２個のＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）１２２を含み、ＲｅＬＵ１２２で遂行する演算は下のような数式で遂行される。

【0006】

【数1】

【0007】

前記ＣＲｅＬＵは既存のＣＮＮモデルのコンボリューションフィルタを学習する時、陰の相関関係が強いフィルタがペアで学習される現象に着眼して下の数式のような既存ＲｅＬＵのポジティブアクティベーションだけでなく、ネガティブアクティベーションも追加で作り出すアクティベーションスキームである。

【0008】

【数2】

【0009】

図１のように、コンボリューション演算とＣＲｅＬＵ（またはＲｅＬＵ）演算が交互に反復される構造で、ＣＲｅＬＵはＲｅＬＵと比較した時にコンボリューション演算量が増加することなく２倍の個数の結果値を出力するか、または同じ個数の結果値を出力する時に前のコンボリューション演算量を１／２に減らすことができる長所がある。従って、ＣＲｅＬＵ導入により検出速度を維持しながら、検出正確度を高めることができるか、検出正確度を維持しながら、検出速度を速めることができるようになる。

【0010】

図１でＣＲｅＬＵユニット１２０は一つのスケールレイヤ１２１、２個のＲｅＬＵレイヤ１２２及びコンカチネーションレイヤ１２３を含む。スケールレイヤ１２１は以前のコンボリューションレイヤ１１０からの値に−１を掛けて出力し、ＲｅＬＵレイヤ１２２のうち一つは以前のコンボリューションレイヤ１１０から値を入力され、他の一つはスケールレイヤ１２１からスケーリングされた値を入力されて、ＲｅＬＵ演算を遂行する。図１でＲｅＬＵレイヤ１２２とコンカチネーションレイヤ１２３はその順序が変わってもよい。万一コンカチネーションレイヤ１２３以後にＲｅＬＵレイヤ１２２が連結されれば、ＲｅＬＵレイヤは１個だけ存在する。

【0011】

図１を参照すれば、以前のコンボリューションレイヤ１１０からの出力値として

【数2-1】

（例えば、この値は（ｘ＝０，ｙ＝０，チャネルｃｈ＝０）である位置の画素値が１、（ｘ＝１，ｙ＝０，チャネルｃｈ＝１）である位置の画素値が２、（ｘ＝０，ｙ＝１，チャネルｃｈ＝１）である位置の画素値が３、（ｘ＝１，ｙ＝１，チャネルｃｈ＝０）である位置の画素値が４であり、残りはすべて０である特徴マップを示す）がＣＲｅＬＵ１２０に入力されると、スケールレイヤ１２１は各値に−１をかけて生成した値である

【数2-2】

を二番目のＲｅＬＵレイヤに伝達し、

【数2-3】

値を直接伝達された一番目ＲｅＬＵレイヤ及びスケールレイヤ１２１から

【数2-4】

値を伝達された二番目のＲｅＬＵレイヤは各々ポジティブアクティベーション演算を遂行して

【数2-5】

と

【数2-6】

を生成してこれをコンカチネーションレイヤ１２３に伝達する。それから、コンカチネーションレイヤ１２３はこれらの値を一つにコンカチネートして

【数2-7】

を生成してこれを次の隣り合ったコンボリューションレイヤ１３０に伝達する。コンボリューションレイヤ１３０はこれらの値にコンボリューション演算を遂行する。

【0012】

一方、図１のように、ＣＲｅＬＵレイヤの演算とコンボリューションレイヤの演算を別途遂行するようになると、各々の独立的な演算プロセスが遂行されて演算量が多い問題がある。

【0013】

従って、本発明ではＣＲｅＬＵが用いられたＣＮＮモデルでコンボリューション演算量を減らすための新たな方法を提供しようとする。

【発明の概要】

【発明が解決しようとする課題】

【0014】

本発明はＣＲｅＬＵユニットが用いられたＣＮＮでコンボリューションレイヤの演算量を減らす方法を提供することを目的とする。

【0015】

また、本発明はコンボリューション演算量やメモリが大きく増加することなくＣＮＮモデルの複雑度を高めて検出正確度を高めることができる方法を提供することを目的とする。

【課題を解決するための手段】

【0016】

発明の一態様によれば、コンボリューションレイヤのコンボリューション演算とアクティベーションモジュールのアクティベーション演算を同時に遂行する、学習されたパラメータを有する、ＣＮＮの構成方法において、（ａ）前記コンピューティング装置が、ＣＮＮの演算装置にある比較器をもって、入力イメージの各画素値に対応する入力値を所定の基準値と比較してその比較結果に対する比較結果値を出力する段階；（ｂ）前記コンピューティング装置が、前記ＣＮＮの演算装置にある選択器をもって、前記コンボリューションレイヤのコンボリューションフィルタの多数のパラメータのうち前記比較結果値に対応される特定パラメータを出力する段階；及び（ｃ）前記コンピューティング装置が、前記ＣＮＮの演算装置にある乗算器をもって、前記選択された特定パラメータと前記入力値を掛けた値を出力し、前記掛けた値を、前記アクティベーションモジュールの出力に前記コンボリューションレイヤの前記コンボリューション演算を適用した結果値に決定する段階；を含むことを特徴とする方法が提供される。

【0017】

一例として、前記アクティベーション演算はＣＲｅＬＵ（Ｃｏｎｃａｔｅｎａｔｅｄ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）演算であることを特徴とする方法が提供される。

【0018】

一例として、前記（ａ）段階ないし（ｃ）段階を含む方法は次の数式で表現されて、

【数2-8】

【0019】

ここで、ＣＲｅＬＵ＿Ｃｏｎｖはアクティベーションモジュールの出力に前記コンボリューションレイヤのコンボリューション演算を適用した結果を示して、ｘは入力値、前記ｗ₁、ｗ₂は前記コンボリューションレイヤのパラメータ、ａ、ｂは前記ｗ₁、ｗ₂を獲得するために用いられるべきコンボリューションレイヤの要素パラメータであり、前記所定の基準値は０であることを特徴とする方法が提供される。

【0020】

本発明の他の態様によれば、コンボリューションレイヤのコンボリューション演算とアクティベーションモジュールのアクティベーション演算を同時に遂行する、学習されたパラメータを有する、ＣＮＮの構成方法において、（ａ）前記コンピューティング装置が、ＣＮＮの演算装置にある比較器をもって、入力イメージの各画素値に対応する入力値を所定の区間区分の基準値と比較して前記入力された値が前記所定の区間区分の基準値のうちどの値の間の区間に該当するかに対する情報を参照にして比較結果値を出力する段階；（ｂ）前記コンピューティング装置が、前記ＣＮＮの演算装置にある第１選択器をもって、前記コンボリューションレイヤの多数の統合ウェイトパラメータのうち前記比較結果値に対応される特定統合ウェイトパラメータを出力するプロセス及び前記ＣＮＮの演算装置にある第２選択器をもって、前記コンボリューションレイヤの多数の修正バイアスパラメータのうち前記比較結果値に対応される特定修正バイアスパラメータを出力するプロセスを遂行する段階；（ｃ）前記コンピューティング装置が、前記ＣＮＮの演算装置にある乗算器をもって、前記選択された特定統合ウェイトパラメータと前記入力値を掛けて出力する段階；及び（ｄ）前記コンピューティング装置が、前記ＣＮＮの演算装置にある加算器をもって、前記乗算出力値に前記選択された特定修正バイアスパラメータを足した値を出力し、前記足した値を、前記アクティベーションモジュールの出力に前記コンボリューションレイヤの前記コンボリューション演算を適用した結果値に決定する段階；を含むことを特徴とする方法が提供される。

【0021】

一例として、前記アクティベーション演算はＮ−ｗａｙ ＣＲｅＬＵ（Ｎ−ｗａｙ Ｃｏｎｃａｔｅｎａｔｅｄ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）演算であることを特徴とする方法が提供される。

【0022】

一例として、前記（ａ）段階ないし（ｄ）段階を含む方法は次の数式で表現されて、

【数2-9】

【0023】

ここで、ＮＣＲｅＬＵ＿Ｃｏｎｖはアクティベーションモジュールの出力に前記コンボリューションレイヤのコンボリューション演算を適用した結果を示して、ｘは入力値、ｗ_iは前記コンボリューションレイヤの統合ウェイトパラメータ、ｂ_iは前記コンボリューションレイヤの修正バイアスパラメータ、ｖ_iは所定の区間区分の基準値であることを特徴とする方法が提供される。

【0024】

一例として、前記統合ウェイトパラメータ（ｗ_i）、前記修正バイアスパラメータ（ｂ_i）、前記所定の区間区分の基準値（ｖ_i）は次の数式で算出されて、

【数2-10】

【0025】

ここで、ｑ_i（ｑ₁ないしｑ_n-1）は各バイアスレイヤの要素バイアスパラメータで、ｐ_i（ｐ₁ないしｐ_n）は各コンボリューションレイヤの要素ウェイトパラメータで、ｄはコンボリューションレイヤの要素バイアスパラメータであり、ｒａｎｋ（ｑ_i）は｛ｑ₁，…．．ｑ_n-1｝のうちｑ_iが何番目に大きい数かを示して、ｒａｎｋ^-1（ｉ）は｛ｑ₁，…ｑ_n-1｝のうちｉ番目に大きい数のインデックス（Ｉｎｄｅｘ）を示すことを特徴とする方法が提供される。

【0026】

本発明のまた他の態様によれば、コンボリューションレイヤのコンボリューション演算とアクティベーションモジュールのアクティベーション演算を同時に遂行する、学習されたパラメータを有する、ＣＮＮの構成装置において、入力イメージの各画素値に対応する入力値を入力される通信部；（ｉ）前記入力値を所定の基準値と比較してその比較結果に対する比較結果値を出力するプロセス；（ｉｉ）前記コンボリューションレイヤのコンボリューションフィルタの多数のパラメータのうち前記比較結果値に対応される特定パラメータを出力するプロセス；及び（ｉｉｉ）前記選択された特定パラメータと前記入力値を掛けた値を出力し、前記掛けた値を、前記アクティベーションモジュールの出力に前記コンボリューションレイヤの前記コンボリューション演算を適用した結果値に決定するプロセスを遂行するプロセッサ；を含むことを特徴とする装置が提供される。

【0027】

一例として、前記アクティベーション演算はＣＲｅＬＵ（Ｃｏｎｃａｔｅｎａｔｅｄ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）演算であることを特徴とする装置が提供される。

【0028】

一例として、前記プロセッサの前記（ｉ）ないし（ｉｉｉ）プロセスは次の数式で表現されて、

【数2-11】

【0029】

ここで、ＣＲｅＬＵ＿Ｃｏｎｖはアクティベーションモジュールの出力に前記コンボリューションレイヤのコンボリューション演算を適用した結果を示して、ｘは入力値、前記ｗ₁、ｗ₂は前記コンボリューションレイヤのパラメータ、ａ、ｂは前記ｗ₁、ｗ₂を獲得するために用いられるべきコンボリューションレイヤの要素パラメータであり、前記所定の基準値は０であることを特徴とする装置が提供される。

【0030】

本発明のまた他の態様によれば、コンボリューションレイヤのコンボリューション演算とアクティベーションモジュールのアクティベーション演算を同時に遂行する、学習されたパラメータを有する、ＣＮＮの構成装置において、入力イメージの各画素値に対応する入力値を入力される通信部；（ｉ）前記入力値を所定の区間区分の基準値と比較して前記入力された値が前記所定の区間区分の基準値のうちどの値の間の区間に該当するかに対する情報を参照にして比較結果値を出力するプロセス；（ｉｉ）前記コンボリューションレイヤの多数の統合ウェイトパラメータのうち前記比較結果値に対応される特定統合ウェイトパラメータを出力するプロセス；（ｉｉｉ）前記コンボリューションレイヤの多数の修正バイアスパラメータのうち前記比較結果値に対応される特定修正バイアスパラメータを出力するプロセス；（ｉｖ）前記選択された特定統合ウェイトパラメータと前記入力値を掛けて出力するプロセス；及び（ｖ）前記乗算出力値に前記選択された特定修正バイアスパラメータを足した値を出力し、前記足した値を、前記アクティベーションモジュールの出力に前記コンボリューションレイヤのコンボリューション演算を適用した結果値に決定するプロセス；を遂行するプロセッサ；を含むことを特徴とする装置が提供される。

【0031】

一例として、前記アクティベーション演算はＮ−ｗａｙ ＣＲｅＬＵ（Ｎ−ｗａｙ Ｃｏｎｃａｔｅｎａｔｅｄ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）演算であることを特徴とする装置が提供される。

【0032】

一例として、前記プロセッサの前記（ｉ）ないし（ｖ）プロセスは次の数式で表現されて、

【数2-12】

【0033】

ここで、ＮＣＲｅＬＵ＿Ｃｏｎｖはアクティベーションモジュールの出力に前記コンボリューションレイヤのコンボリューション演算を適用した結果を示して、ｘは入力値、ｗ_iは前記コンボリューションレイヤの統合ウェイトパラメータ、ｂ_iは前記コンボリューションレイヤの修正バイアスパラメータ、ｖ_iは所定の区間区分の基準値であることを特徴とする装置が提供される。

【0034】

一例として、前記統合ウェイトパラメータ（ｗ_i）、前記修正バイアスパラメータ（ｂ_i）、前記所定の区間区分の基準値（ｖ_i）は次の数式で算出されて、

【数2-13】

【0035】

ここで、ｑ_i（ｑ₁ないしｑ_n-1）は学習された各バイアスレイヤの要素バイアスパラメータで、ｐ_i（ｐ₁ないしｐ_n）は各コンボリューションレイヤの要素ウェイトパラメータで、ｄはコンボリューションレイヤの要素バイアスパラメータであり、ｒａｎｋ（ｑ_i）は｛ｑ₁，…．．ｑ_n-1｝のうちｑ_iが何番目に大きい数かを示して、ｒａｎｋ^-1（ｉ）は｛ｑ₁，…ｑ_n-1｝のうちｉ番目に大きい数のインデックス（Ｉｎｄｅｘ）を示すことを特徴とする装置が提供される。

【発明の効果】

【0036】

本発明によれば、より少ない演算量を要求する新たな演算ユニットを通じて、ＣＲｅＬＵ演算とコンボリューション演算を同時に遂行するようにすることができる。

【0037】

また、本発明によれば、Ｎ−ｗａｙ ＣｒｅＬＵを具現することで、コンボリューションレイヤでの演算量を減らしながら、他のレイヤでの演算量やメモリが大きく増加することなく検出正確度を高めることができる効果がある。

【図面の簡単な説明】

【0038】

【図1】図１は、ＣＲｅＬＵ演算とコンボリューション演算を遂行できる既存のＣＮＮ学習装置の構成を示す。

【図2】図２は、本発明の一実施例にかかるＣＲｅＬＵ演算とコンボリューション演算を統合するためのＣＮＮ学習装置の演算方法を示す。

【図3A】図３Ａは、図２の例示的な演算過程を示す。

【図3B】図３Ｂは、図２の例示的な演算過程を示す。

【図4A】図４Ａは、ＣＲｅＬＵ＿Ｃｏｎｖ演算の例を示す。

【図4B】図４Ｂは、ＣＲｅＬＵ＿Ｃｏｎｖ演算の例を示す。

【図4C】図４Ｃは、ＮＣＲｅＬＵ＿Ｃｏｎｖ演算の例を示して、ここで、Ｎは３である。

【図5】図５は、本発明の他の実施例にかかるＣＮＮのＮＣＲｅＬＵ＿Ｃｏｎｖ演算方法を示す。

【図6A】図６Ａは、図５の例示的な演算過程を示す。

【図6B】図６Ｂは、図５の例示的な演算過程を示す。

【図7】図７は、本発明のまた他の実施例により図６のＮＣＲｅＬＵ＿Ｃｏｎｖ演算を具現するためのＣＮＮ学習装置を示す。

【図8】図８は、図７の例示的な演算過程を示す。

【発明を実施するための形態】

【0039】

後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例にかかる本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されると、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。

【0040】

以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明することとする。

【0041】

図２は本発明の一実施例にかかるＣＲｅＬＵ演算とコンボリューション演算を統合するためのＣＮＮ学習装置の演算方法を示す。

【0042】

図２を参照すれば、本発明にかかるＣＲｅＬＵ演算とコンボリューション演算を統合するためのＣＮＮ演算装置２００は比較器２０１、選択器２０２及び乗算器２０３を含む。本発明にかかるＣＮＮ演算装置２００は所定の入力（例えば、以前のコンボリューションレイヤ（未図示）から伝達された特徴マップ）を受信するための通信部（未図示）と前記比較器２０１、選択器２０２及び乗算器２０３で遂行するプロセスを遂行するプロセッサ（未図示）から構成され得る。即ち、前記比較器２０１、選択器２０２及び乗算器２０３の機能はＣＮＮ演算装置２００内のプロセッサ（未図示）で遂行される各プロセスで具現され得る。

【0043】

再び図１を参照すれば、図１のＣＲｅＬＵ１２０の演算は一つの入力に対して二つの出力を作り出すのに下のような数式で表現され得る。

【0044】

【数3】

【0045】

上の数式３のように、ＣＲｅＬＵは入力値の範囲に応じて一番目または二番目の出力値だけ０ではない値を有するようにする。

【0046】

万一ＣＮＮのコンボリューションレイヤ１３０がコンボリューションフィルタの要素パラメータ値として

【数4-1】

を有する場合、ＣＮＮでＣＲｅＬＵ１２０の演算結果を入力でコンボリューションレイヤ１３０による演算をすることは、下のような数式で簡略に表現され得る。

【0047】

【数4】

【0048】

上の数式４のように、ＣＲｅＬＵ演算とコンボリューション演算を合わせて考えると、ＣＲｅＬＵの入力値の範囲に応じてコンボリューションレイヤのパラメータ値を定める形態に変えて次のような数式で表現し得る。

【0049】

【数5】

【0050】

ここで、ＣＲｅＬＵ＿ＣｏｎｖはＣＲｅＬＵユニットの出力にコンボリューションフィルタを適用した演算結果を示して、ｘは入力値、前記ｗ₁、ｗ₂はコンボリューションレイヤのパラメータ、ａ、ｂは前記ｗ₁、ｗ₂を獲得するための学習されたコンボリューションレイヤの要素パラメータである。

【0051】

図２は前記数式５を具現するためのＣＮＮ演算装置２００の演算方法を示す。

【0052】

従来技術によりＣＲｅＬＵ演算の次にコンボリューション演算を適用すると、ＣＲｅＬＵの出力値に０を掛ける演算のような不要な演算が多く生じざるを得ない。しかし、本発明にかかるＣＮＮ演算装置２００を利用したＣＮＮ演算構成方法は、ＣＲｅＬＵでの演算とコンボリューション演算を一つに合わせて、ＣＲｅＬＵの入力値（ｘ）の範囲に応じてコンボリューションレイヤのパラメータ値（ｗ₁、ｗ₂）を選択して掛ける形態の効率的な演算過程を利用する。

【0053】

具体的に図２を参照すれば、本発明にかかるＣＮＮ演算装置２００がテストイメージとしての入力イメージを入力されると、演算装置２００内の比較器２０１で入力されたイメージの各画素値に対応する入力値（ｘ）を所定の基準値と比較してその比較結果に対する比較結果値を出力する。前記入力イメージはＣＮＮ装置に入力されるテストイメージだけでなく以前のＣＮＮ演算装置、以前のコンボリューションレイヤまたは以前のアクティベーションレイヤなどから出力されて入力されたイメージまたは特徴マップなどのうち少なくとも一部を含む概念である。そして、前記所定の基準値は０であり得るが、これに限定されるものではない。

【0054】

また、前記選択器２０２は前記比較結果を参照して前記パラメータ（ｗ₁、ｗ₂）のうち選択された特定パラメータを出力して乗算器２０３に伝達する。

【0055】

そして、前記乗算器２０３は前記入力値（ｘ）と前記選択された特定パラメータを掛けて、掛けた値を求めて出力する。

【0056】

例えば、前記数式５のように、入力値（ｘ）が０よりも小さい場合、前記演算装置２００は前記入力値にコンボリューションレイヤの第２要素パラメータ（ｂ）の負値である第１パラメータ（ｗ₁）を掛けて出力し、入力値（ｘ）が０よりも大きいか同じ場合、前記演算装置２００はコンボリューションレイヤの第１要素パラメータ（ａ）値である第２パラメータ（ｗ₂）を掛けて出力する。

【0057】

図３Ａ及び図３Ｂは図２の例示的な演算過程を示す。

【0058】

図３Ａを参照すれば、入力値（ｘ）が３である場合、前記比較器２０１では３が所定の基準値である０よりも大きいという比較結果値として２を出力し、前記選択器２０２では２個のフィルタパラメータ（ｗ₁＝０．２，ｗ₂＝０．８）のうち比較結果値である２に対応するｗ₂（０．８）を乗算器２０３に出力する。それから、前記乗算器２０３は入力値（ｘ）にｗ₂（０．８）を掛けた値である０．２４を生成した後にこれを出力する。

【0059】

図３Ｂを参照すれば、入力値（ｘ）が−１である場合、前記比較器２０１では−１が所定の基準値の０よりも小さいという比較結果値として１を出力し、前記選択器２０２では２個のフィルタパラメータ（ｗ₁＝０．２，ｗ₂＝０．８）のうち比較結果値である１に対応するｗ₁（０．２）を乗算器２０３に出力する。それから、前記乗算器２０３は入力値（ｘ）にｗ₁（０．２）を掛けた値である−０．２を生成した後にこれを出力する。

【0060】

図４Ａ及び図４ＢはＣＲｅＬＵ＿Ｃｏｎｖ演算の例を示して、図４ＣはＮＣＲｅＬＵ＿Ｃｏｎｖ演算の例を示して、ここで、Ｎは３である。

【0061】

図４Ａ及び図４Ｂは図２、図３Ａ、及び図３Ｂを通じて説明したＣＲｅＬＵ＿Ｃｏｎｖ（ＣＲｅＬＵ演算とコンボリューション演算の統合演算）の入力（ｘ）と出力（ｙ＝ＣＲｅＬＵ＿Ｃｏｎｖ（ｘ））の関係を示すグラフである。前記図４Ａ及び図４Ｂのグラフの形はｗ₁及びｗ₂の値の符号によって異なり得る。

【0062】

一方、図４Ｃは線分セグメント個数を３個に拡張し、前記グラフが（０，０）を必ず通過しなければならない制限条件を除去したグラフである。

【0063】

図４Ｃに示されたとおり、線分セグメント個数は２個からｎ個に拡張し得て、比較値（以下、区間区分の基準値）も拡張され得る。ここで、各々の区間は入力値と比較される各々の範囲に対する情報が含まれ得る。前記演算装置の前記比較器は前記入力値がどの区間に属するかに対する情報を参照にして決定された比較結果を出力し得る。

【0064】

前記線分セグメント個数は図４Ａ及び４Ｂのように２個から図４Ｃのようにｎ個（ｎ＝＞３、例えば、３）まで増加し得て、前記比較値は図４Ａ及び４Ｂのように、１から図４Ｃのようにｎ−１（例えば、２）まで増加し得る。このようになれば、ｐｉｅｃｅｗｉｓｅ ｌｉｎｅａｒ ｃｏｎｔｉｎｕｏｕｓ ｆｕｎｃｔｉｏｎ形態のＮＣＲｅＬＵ＿Ｃｏｎｖ演算器を具現し得るようになる。

【0065】

かかるＮＣＲｅＬＵ＿Ｃｏｎｖ演算器は下のような数式で定義され得る。

【0066】

【数6】

【0067】

ここで、ＮＣＲｅＬＵ＿ＣｏｎｖはＮ個のアクティベーションユニット（以下、Ｎ−ｗａｙ ＣＲｅＬＵ（Ｎ−ｗａｙ Ｃｏｎｃａｔｅｎａｔｅｄ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）またはＮＣＲｅＬＵという）から構成されるＣＲｅＬＵの出力にコンボリューションレイヤを適用した演算結果を示して、ｘは入力値、ｗ_iはコンボリューションレイヤの統合ウェイトパラメータ、ｂ_iはコンボリューションレイヤの修正バイアスパラメータ、ｖ_iは各々の区間区分の基準値である。

【0068】

一方、前記数式６でｂ_i+1に対する条件式はＮＣＲｅＬＵ＿Ｃｏｎｖが連続関数（Ｃｏｎｔｉｎｕｏｕｓ Ｆｕｎｃｔｉｏｎ）になるために必要で、ｂ₁を除いたバイアス値は付与されたｂ₁、ｗ_i、ｖ_i値によって決定される。

【0069】

図５は本発明の他の実施例にかかるＣＮＮのＮＣＲｅＬＵ＿Ｃｏｎｖ演算方法を示す。

【0070】

図５に示された本発明の一実施例にかかるＮＣＲｅＬＵ＿Ｃｏｎｖ演算を遂行するＣＮＮ演算装置５００は、図２に示された前記演算装置２００の改善されたバージョンである。前記演算装置２００は２個の比較区間を用いるが、前記演算装置５００はｐｉｅｃｅｗｉｓｅ ｌｉｎｅａｒ ｃｏｎｔｉｎｕｏｕｓ ｆｕｎｃｔｉｏｎを適用して比較区間を２個からｎ個に拡張した装置である。

【0071】

図５を参照すれば、本発明にかかるＣＮＮ演算装置５００はＮＣＲｅＬＵ演算とコンボリューション演算を同時に遂行し得て、比較器５０１、第１選択器５０２、第２選択器５０３、乗算器５０４及び加算器５０５を含む。

【0072】

本発明にかかるＣＮＮ演算装置５００は入力値（例えば、以前の演算部から伝達された特徴マップ）を受信して演算された値を出力するための通信部（未図示）と前記比較器５０１、第１選択器５０２、第２選択器５０３、乗算器５０４及び加算器５０５で遂行するプロセスを遂行するプロセッサから構成され得る。即ち、前記比較器５０１、第１選択器５０２、第２選択器５０３、乗算器５０４及び加算器５０５の機能はＣＮＮ演算装置５００内のプロセッサ（未図示）で遂行される各プロセスで具現され得る。

【0073】

具体的に図５を参照して、ＣＮＮ演算装置５００がテストイメージとしての入力イメージを入力されると、比較器５０１は入力されたイメージの各画素値に対応する入力値（ｘ）を所定の基準区間区分の値と比較してその比較結果に対する比較結果値を出力する。即ち、入力値（ｘ）が前記所定の区間区分の基準値のうちどの値の間の区間に該当するかに対する比較結果値を出力する。

【0074】

例えば、図４Ｃに示された例では、ｘ値がｖ₁よりも小さい場合、比較結果値として１を、ｘ値がｖ₁とｖ₂の間である場合、比較結果値として２を、ｘ値がｖ₂よりも大きい場合、比較結果値として３を出力する。ここで、入力イメージは入力されたイメージ自体だけでなく、以前のコンボリューションレイヤから受信した特徴マップのうち少なくとも一つを含む概念であり得る。

【0075】

前記第１選択器５０２は比較結果を参照にして、コンボリューションレイヤの多数の統合ウェイトパラメータ（ｗ₁，…，ｗ_n）のうち選択された特定統合ウェイトパラメータを出力し、前記第２選択器５０３は比較結果を参照にして、コンボリューションレイヤの多数の修正バイアスパラメータ（ｂ₁，…，ｂ_n）のうち選択された特定修正バイアスパラメータを出力する。一方、ＣＮＮ演算装置５００のプロセッサは第１選択器５０２のプロセスと第２選択器５０３のプロセスを同時に遂行し得る。

【0076】

前記乗算器５０４は第１選択器５０２で選択された特定統合ウェイトパラメータを入力値（ｘ）と掛けて出力し、加算器５０５は乗算器５０４の出力に第２選択器５０３で選択された特定修正バイアスパラメータを足して出力する。即ち、このように出力された値はＮＣＲｅＬＵユニットの出力にコンボリューションレイヤの演算を適用して得た結果値としてみなされ得る。

【0077】

一方、数式６での統合ウェイトパラメータ（ｗ_i）、修正バイアスパラメータ（ｂ_i）、区間区分の基準値（ｖ_i）は次の数式７で算出される。

【0078】

【数7】

【0079】

ここで、ｑ_i（ｑ₁ないしｑ_n-1）は各バイアスレイヤの各々の要素バイアスパラメータで、ｐ_i（ｐ₁ないしｐ_n）は前記コンボリューションレイヤの各々の要素ウェイトパラメータで、ｄは前記コンボリューションレイヤの要素バイアスパラメータであり、ｒａｎｋ（ｑ_i）は｛ｑ₁，…．．ｑ_n-1｝のうちｑ_iが何番目に大きい数かを示して、ｒａｎｋ^-1（ｉ）は｛ｑ₁，…ｑ_n-1｝のうちｉ番目に大きい数のインデックス（Ｉｎｄｅｘ）を示す。

【0080】

図５に示されたＮ−ｗａｙ ＣＲｅＬＵ＿Ｃｏｎｖ（ＮＣＲｅＬＵ＿Ｃｏｎｖ）演算装置はすべての可能なｎ個のセグメントから構成されたｐｉｅｃｅｗｉｓｅ ｌｉｎｅａｒ ｃｏｎｔｉｎｕｏｕｓ ｆｕｎｃｔｉｏｎを表現し得る。また、すべての充分にソフトな関数はｘの特定範囲内でｐｉｅｃｅｗｉｓｅ ｌｉｎｅａｒ ｃｏｎｔｉｎｕｏｕｓ ｆｕｎｃｔｉｏｎに近似することができるので、Ｎ−ｗａｙ ＣＲｅＬＵ＿Ｃｏｎｖ演算装置がそのような関数を学習し出すことができるためである。

【0081】

これに比べて、図１のように、既存のバイアスがないＣＲｅＬＵユニットは２個のセグメントだけから構成されて、“ｆ（ｘ）＝０ ｗｈｅｎ ｘ＝０”条件を満たすｐｉｅｃｅｗｉｓｅ ｌｉｎｅａｒ ｃｏｎｔｉｎｕｏｕｓ ｆｕｎｃｔｉｏｎだけを表現し得る短所がある。これは図２に示された２個のセグメントから構成されるＣＲｅＬＵ＿Ｃｏｎｖ演算装置でも同様である。

【0082】

図５のＮＣＲｅＬＵ＿Ｃｏｎｖ演算装置５００でＮＣＲｅＬＵ＿Ｃｏｎｖのｎが２である場合には下記のように表現し得て、これは図２のＣＲｅＬＵ＿Ｃｏｎｖ演算装置の演算内容と同一になる。

【0083】

【数8】

【0084】

図６Ａ及び図６Ｂは図５の例示的な演算過程を示す。

【0085】

図６Ａを参照すれば、入力値（ｘ）が−１．５である場合、比較器５０１では２個の区間区分の値（ｖ₁，ｖ₂）と入力値（ｘ）を比較し、入力値（ｘ＝−１．５）が第１区間区分の値（ｖ₁）である−１よりも小さいので、比較結果値として１を出力して第１選択器５０２と第２選択器５０３に伝達する。前記第１選択器５０２では３個の統合ウェイトパラメータ（ｗ₁，ｗ₂，ｗ₃）のうち比較結果値（１）に対応される特定統合ウェイトパラメータ（ｗ₁）値である−１を選択して乗算器５０４に伝達し、前記第２選択器５０３では３個の修正バイアスパラメータ（ｂ₁，ｂ₂，ｂ₃）のうち比較結果値（１）に対応される特定修正バイアスパラメータ（ｂ₁）値である−１を選択して加算器５０５に伝達する。それから、乗算器５０４は入力値（ｘ＝−１．５）に第１選択器５０２の出力である選択された特定統合ウェイトパラメータ（ｗ₁＝−１）を掛けた１．５を生成してこれを加算器５０５に伝達し、加算器５０５は乗算器５０４の出力値（１．５）に第２選択器５０３の出力である選択された特定修正バイアスパラメータ（ｂ₁＝−１）を足した値である０．５を生成した後にこれを出力する。

【0086】

図６Ｂを参照すれば、入力値（ｘ）が０．５である場合、比較器５０１では２個の区間区分の値（ｖ₁，ｖ₂）と入力値（ｘ）を比較し、入力値（ｘ＝０．５）が第１区間区分の値（ｖ₁）である−１と第２区間区分の値（ｖ₂）である１の間であるため比較結果値として２を出力して第１選択器５０２と第２選択器５０３に伝達する。前記第１選択器５０２では３個の統合ウェイトパラメータ（ｗ₁，ｗ₂，ｗ₃）のうち比較結果値（２）に対応される特定統合ウェイトパラメータ（ｗ₂）値である０．５を選択して乗算器５０４に伝達し、前記第２選択器５０３では３個の修正バイアスパラメータ（ｂ₁，ｂ₂，ｂ₃）のうち比較結果値（２）に対応される特定修正バイアスパラメータ（ｂ₂）値である０．５を選択して加算器５０５に伝達する。それから、乗算器５０４は入力値（ｘ＝０．５）に第１選択器５０２の出力である選択された特定統合ウェイトパラメータ（ｗ₂＝０．５）を掛けた０．２５を生成してこれを加算器５０５に伝達し、加算器５０５は乗算器５０４の出力値（０．２５）に第２選択器５０３の出力である選択された特定修正バイアスパラメータ（ｂ₂＝０．５）を足した値である０．７５を生成した後にこれを出力する。

【0087】

一方、数式６での統合ウェイトパラメータ（ｗ_i）、修正バイアスパラメータ（ｂ_i）及び区間区分の基準値（ｖ_i）を求めるためには数式７を利用しなければならず、数式７を利用するためには各バイアスレイヤの要素バイアスパラメータ（ｑ_i（ｉ＝１ないしｎ−１））、各コンボリューションレイヤの要素ウェイトパラメータ（ｐ_i（ｉ＝１ないしｎ））及びコンボリューションレイヤの要素バイアスパラメータ（ｄ）を学習装置を通じて求めなければならない。

【0088】

図７は本発明のまた他の実施例により図６のＮＣＲｅＬＵ＿Ｃｏｎｖ演算を具現するためのＣＮＮ学習装置を示す。

【0089】

本発明にかかるＣＮＮ学習装置７００は図１に示された一つのアクティベーションモジュールあたりの一つのＣＲｅＬＵを利用するＣＮＮ学習装置１００とは異なり、一つのアクティベーションモジュールでＮＣＲｅＬＵを利用し、前記ＮＣＲｅＬＵ（Ｎ−ｗａｙ ＣＲｅＬＵ）ではｎ−１個のバイアスレイヤを有して、ｎが増加するほどバイアスレイヤと要素アクティベーションレイヤ（ＲｅＬＵ）のペアが増える。一方、下で説明するが、要素アクティベーションレイヤとコンカチネーションレイヤの順序が変われば、バイアスレイヤの数だけ増えて、要素アクティベーションレイヤは１個だけでもよい。

【0090】

図７を参照すれば、ＣＮＮ学習装置７００はコンボリューションレイヤ７１０、７３０、ＮＣＲｅＬＵ７２０及び他のＮＣＲｅＬＵ（未図示）のような多くのＮＣＲｅＬＵが交互に配置される構成を有する。

【0091】

前記アクティベーションモジュール（ＮＣＲｅＬＵ）７２０はｎ−１個のバイアスレイヤ７２１を含み、各々のバイアスレイヤは各々の要素バイアスパラメータ（ｑ₁ないしｑ_n-1）を有する。好ましくは、第１バイアスレイヤの要素バイアスパラメータ（ｑ₁）を除いた第２ないし第ｎ−１バイアスレイヤの要素バイアスパラメータ（ｑ₂，…，ｑ_n-1）の順序はｑ₂＞…＞ｑ_n-1に設定し得る。

【0092】

また、アクティベーションモジュール７２０は一つのスケールレイヤ７２２を含み、ｎ個の要素アクティベーションレイヤ７２３を含む。一実施例で前記要素アクティベーションレイヤはＲｅＬＵレイヤである。前記スケールレイヤ７２２はｎ−１個のバイアスレイヤ７２１のうち特定バイアスレイヤ（例えば、第１バイアスレイヤ）と連結されて、前記特定バイアスレイヤの出力値に所定のスケール値を掛けるプロセスを遂行し、前記特定要素アクティベーションレイヤ（特定ＲｅＬＵレイヤ）に伝送する過程を遂行する。

【0093】

そして、学習装置は、（ｉ）前記スケールレイヤ７２２に連結された特定要素アクティベーションレイヤをもって前記スケールレイヤ７２２の出力値に非線形アクティベーション関数を適用するようにし、（ｉｉ）前記各々の要素バイアスレイヤ７２１に連結された残りの要素アクティベーションレイヤをもって前記各々の要素バイアスレイヤの出力値に各々の非線形関数を適用するようにする。前記非線形アクティベーション関数はＲｅＬＵ演算で、前記スケールレイヤのスケール値は−１であり得るが、これに限定されるものではない。

【0094】

そして、学習装置は、コンカチネーションレイヤ７２４をもって前記特定要素アクティベーションレイヤ及び前記残りの要素アクティベーションレイヤの出力値を一つにコンカチネートするようにし、前記コンカチネートされた出力値を獲得するようにする過程を遂行する。

【0095】

他の例として、前記要素アクティベーションレイヤ７２３とコンカチネーションレイヤ７２４の順序は変わっても関係ない。万一要素アクティベーションレイヤ７２３がコンカチネーションレイヤ７２２の後にくる場合は、要素アクティベーションレイヤ７２３はｎ個ではなく１個だけでもよい。

【0096】

再び図７を参照すれば、アクティベーションモジュール７２０の出力（即ち、コンカチネーションレイヤ７２４の出力）が次のコンボリューションレイヤ７３０に伝達されると、学習装置は、次のコンボリューションレイヤ７３０の各々の要素ウェイトパラメータ（ｐ_i）及び各々の要素バイアスパラメータ（ｄ）を用いてコンカチネートされた出力値にコンボリューション演算を適用するようにする。

【0097】

そして、多数の反復されたコンボリューションレイヤ７１０、７３０、多数のＮＣＲｅＬＵ７２０及び他のＮＣＲｅＬＵ（未図示）は交互に配置され、獲得された出力はアプリケーションブロック７４０を通じて所望の結果値（例えば、ラベルイメージなど）を算出し、算出された結果値とこれに対応されるＧＴ値の間を比較してロスをロスレイヤ７５０で獲得して、算出されたロスを利用してバックプロパゲーションを遂行して、前記各々の要素バイアスレイヤの各々の要素バイアスパラメータ（ｑ_i）、要素ウェイトパラメータ（ｐ_i）及び前記要素バイアスパラメータ（ｄ）のうち少なくとも一部のパラメータを調節する。

【0098】

図７のようにＮ−ｗａｙ ＣｒｅＬＵを有するＣＮＮ学習装置７００を通じてＣＮＮ学習が完了すると、（ｉ）前記ｎ−１個のバイアスレイヤが学習したバイアス値ｑ₁、…，ｑ_n-1と（ｉｉ）前記コンボリューションレイヤ７３０の要素ウェイトパラメータｐ₁、…，ｐ_nと（ｉｉｉ）要素バイアスパラメータｄが獲得される。そして、上述したように、この値が数式６及び数式７を通じてＮＣＲｅＬＵ＿Ｃｏｎｖ演算装置で利用される。

【0099】

一方、図７のＣＮＮ学習装置７００は以前のレイヤやユニットで生成した値を受信し、当該ユニットで生成した値を伝達するための通信部（未図示）と各ユニットとレイヤで遂行する演算プロセスを遂行するプロセッサ（未図示）から構成され得る。

【0100】

図７のＣＮＮ学習装置で各パラメータに対する学習が完了するとロスレイヤ７５０を除去し、ロスレイヤ７５０がないテスト装置（未図示）によってテスト過程を遂行するようになる。即ち、テストイメージはコンボリューションレイヤ７１０、７３０、ＮＣＲｅＬＵ７２０及び他のＮＣＲｅＬＵ（未図示）を交互に配置した後、多数のコンボリューションレイヤ及び多数のＮＣＲｅＬＵを通過して獲得された出力がアプリケーションブロック７４０に入力されるようにし、アプリケーションブロック７４０から出力された結果値が獲得され得る。例えば、アプリケーションブロック７４０はＣＮＮモデルの用途に応じて、例えば客体感知ブロックや、セマンティックセグメンテーションブロックなどであり得るが、これに限定されるものではない。

【0101】

図８は図７の例示的な演算過程を示す。

【0102】

図８を参照すれば、図７の学習装置７００で求めたコンボリューションレイヤの要素ウェイトパラメータ（ｐ₁，…，ｐ_n）と要素バイアスパラメータ（ｄ）、バイアスレイヤの要素バイアスパラメータ（ｑ₁，…，ｑ_n-1）を数式６の代わりに図７の学習装置７００と同一のＣＮＮモデルを利用して入力値を演算した例を示す。

【0103】

図６Ｂのように、入力値（ｘ）として０．５が以前のコンボリューションレイヤ７１０でアクティベーションモジュール７２０に伝達されると、アクティベーションモジュール７２０の第１バイアスレイヤは第１バイアスパラメータ（ｑ₁＝−１）を適用して−０．５をスケールレイヤと第２ＲｅＬＵレイヤに伝達し、第２バイアスレイヤは第２バイアスパラメータ（ｑ₂＝１）を適用して１．５を第３ＲｅＬＵレイヤに伝達する。

【0104】

一方、スケールレイヤ７２２は−０．５値を伝達されて−１を掛けて生成した０．５を第１ＲｅＬＵレイヤに伝達する。結果的に、第１ないし第３ＲｅＬＵレイヤは各々０．５、−０．５、１．５を入力されてＲｅＬＵ演算して各々０．５、０、１．５を生成して出力する。そして、前記コンカチネーションレイヤ７２４は前記第１ないし第３ＲｅＬＵレイヤの出力をコンカチネーションし、コンカチネートされた値を後にくるコンボリューションレイヤに伝達する。

【0105】

前記コンボリューションレイヤは入力された値に要素ウェイトパラメータ（１，−０．５，１．５）と要素バイアスパラメータ（−２）を利用して、出力値（ｙ＝０．５＊１＋０＊（−０．５）＋１．５＊１．５＋（−２））で０．７５を生成して出力する。このように図７の学習装置または前記学習装置と類似する形態を有するＣＮＮモデルを通じて、前記ＣＮＮモデルのコンボリューションレイヤ７３０から出力した値である０．７５は図６Ｂの演算装置を通じた生成値と同一であることを確認することができる。

【0106】

本発明の技術分野の通常の技術者に理解され得ることとして、上で説明されたイメージ、例えばｉｎｐｕｔ ｉｍａｇｅ、ｔｒａｉｎｉｎｇ ｉｍａｇｅ、ｔｅｓｔ ｉｍａｇｅのようなイメージデータの送受信が学習装置及びテスト装置の通信部によってなされ得て、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／または、メモリ）によって保有／維持され得て、コンボリューション演算、デコンボリューション演算、エラー値演算過程が主に学習装置、 演算装置及びテスト装置のプロセッサによって遂行され得るが、本発明がこれに限定されるものではない。

【0107】

以上で説明された本発明にかかる実施例は多様なコンピュータ構成要素を通じて遂行され得るプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独または組み合わせて含まれ得る。前記コンピュータで判読可能な記録媒体に記録されるプログラム命令語は本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるものような機械語コードだけではなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は本発明にかかる処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成されることがあり、その逆も同様である。

【0108】

以上、本発明が具体的な構成要素などのような特定の事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野において通常の知識を有する者であればかかる記載から多様な修正及び変形が行なわれ得る。

【0109】

従って、本発明の思想は前記説明された実施例に極限されて定められてはならず、後述する特許請求の範囲だけではなく、本特許請求の範囲と均等または等価的に変形されたすべてのものは本発明の思想の範疇に属するといえる。

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図5】

【図6A】

【図6B】

【図7】

【図8】