知財求人 - 知財ポータルサイト「IP Force」
特表2022-553407複合特性分類と共通局所化のためのニューラルネットワークモデルの学習方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-22
(54)【発明の名称】複合特性分類と共通局所化のためのニューラルネットワークモデルの学習方法及び装置
(51)【国際特許分類】
G06V 10/82 20220101AFI20221215BHJP
G06T 7/00 20170101ALI20221215BHJP
G06N 3/08 20060101ALI20221215BHJP
【ＦＩ】
G06V10/82
G06T7/00 350C
G06N3/08 140
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022524128
(86)(22)【出願日】2021-07-29
(85)【翻訳文提出日】2022-04-22
(86)【国際出願番号】 KR2021009939
(87)【国際公開番号】W WO2022025690
(87)【国際公開日】2022-02-03
(31)【優先権主張番号】10-2020-0095773
(32)【優先日】2020-07-31
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】522164271
【氏名又は名称】ウェイセン インコーポレイテッド
(74)【代理人】
【識別番号】110000338
【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】クム，ジス
(72)【発明者】
【氏名】オ，サンイル
(72)【発明者】
【氏名】キム，キョンナム
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096HA11
5L096JA22
5L096KA04
(57)【要約】
本発明の実施形態による画像の複合特性分類及び共通局所化のためのニューラルネットワークモデルの学習方法において、前記ニューラルネットワークモデルは、入力画像に対して畳み込みフィルタを用いて畳み込み演算を行う畳み込み層と、前記畳み込み層の出力に対してプーリング（ｐｏｏｌｉｎｇ）を行うためのプーリング層と、複合特性が分類される複数のクラスにそれぞれ対応し、前記プーリング層の出力に対してクラス別重みｗｆｃ（Ｔｔ）を掛けた値を出力する複数のクラス別全結合層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）と、を含み、前記方法は、（ａ）入力画像を前記畳み込み層に入力するステップと、（ｂ）前記畳み込み層の出力に基づいて複数のクラス別観察マップを演算するステップと、（ｃ）前記複数のクラス別観察マップに基づいて、複数のクラスに共通する観察損失Ｌｏｂｓを演算するステップと、（ｄ）観察損失Ｌｏｂｓに基づく損失を前記ニューラルネットワークモデルに逆伝播するステップと、を含む。
【特許請求の範囲】
【請求項1】
画像の複合特性分類及び共通局所化のためのニューラルネットワークモデルの学習方法であって、前記ニューラルネットワークモデルは、
入力画像に対して畳み込みフィルタを用いて畳み込み演算を行う畳み込み層と、
前記畳み込み層の出力に対してプーリング（ｐｏｏｌｉｎｇ）を行うためのプーリング層と、
複合特性が分類される複数のクラスにそれぞれ対応し、前記プーリング層の出力に対してクラス別重みｗｆｃ（Ｔｔ）を掛けた値を出力する複数のクラス別全結合層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）と、を含み、
前記複数のクラスは、互いに異なる基準によって区別され、
前記複数のクラスそれぞれは、複数のクラス別特性に分類され、
前記ニューラルネットワークモデルは、前記クラス別全結合層の出力に応じて、前記複数のクラスそれぞれのクラス別特性に対するクラス別特性確率を提供することができ、
前記方法は、
（ａ）入力画像を前記畳み込み層に入力するステップと、
（ｂ）前記畳み込み層の出力に基づいて、前記複数のクラスそれぞれに対するクラス別観察マップを演算するステップと、
（ｃ）前記クラス別観察マップに基づいて、前記複数のクラスに共通する観察損失Ｌｏｂｓを演算するステップと、
（ｄ）前記観察損失Ｌｏｂｓに基づく損失を前記ニューラルネットワークモデルに逆伝播するステップと、を含み、
前記（ｃ）ステップは、
（ｃ－１）前記クラス別観察マップに基づいて、前記複数のクラスに共通する共通観察マップを生成するステップと、
（ｃ－２）前記共通観察マップ及び前記入力画像の対象領域を用いて前記観察損失Ｌｏｂｓを演算するステップと、
を含み、各ステップがコンピュータプロセッサによって行われる、ニューラルネットワークモデルの学習方法。
【請求項2】
前記共通観察マップは前記クラス別観察マップの平均値であることを特徴とする、請求項１に記載のニューラルネットワークモデルの学習方法。
【請求項3】
前記観察損失は、前記共通観察マップと前記入力画像の対象領域をそれぞれ横及び縦方向にプロジェクションした値同士を連結（ｃｏｎｃａｔｅｎａｔｅ）した値に対してコサイン距離を計算することにより算出されることを特徴とする、請求項１に記載のニューラルネットワークモデルの学習方法。
【請求項4】
前記（ｂ）ステップで、前記クラス別観察マップは下記の式によって算出されることを特徴とする、請求項１に記載のニューラルネットワークモデルの学習方法。【数1】
（式中、Ｔｔはクラス、ｗｆｃ（Ｔｔ）はクラス別全結合層の重み、ｏｃｏｎｖは畳み込み層の出力、Ｃはチャネル数をそれぞれ示す。）
【請求項5】
前記ニューラルネットワークモデルは、前記複数のクラス別全結合層にそれぞれ対応し、各クラス別全結合層の出力に応じてクラス別特性確率を演算する複数のクラス別分類器をさらに含むことを特徴とする、請求項１に記載のニューラルネットワークモデルの学習方法。
【請求項6】
前記（ｄ）ステップは、（ｄ－１）前記複数のクラス別分類器それぞれの出力結果に基づいてクラス別分類損失Ｌｃｌｓ（Ｔｔ）を演算するステップと、
（ｄ－２）前記観測損失Ｌｏｂｓ及び前記クラス別分類損失Ｌｃｌｓ（Ｔｔ）に基づいてクラス別特性損失Ｌ（Ｔｔ）を演算するステップと、
（ｄ－３）前記クラス別特性損失Ｌ（Ｔｔ）をクラス別に前記複数のクラス別分類器及び前記複数のクラス別全結合層に逆伝播するステップと、を含むことを特徴とする、請求項５に記載のニューラルネットワークモデルの学習方法。
【請求項7】
前記（ｄ－２）ステップで、前記クラス別特性損失Ｌ（Ｔｔ）は下記の式によって算出されることを特徴とする、請求項６に記載のニューラルネットワークモデルの学習方法。【数2】
（式中、０≦α≦１）
【請求項8】
前記（ｄ）ステップは、（ｄ－４）複数の前記クラス別分類損失Ｌｃｌｓ（Ｔｔ）と前記観察損失Ｌｏｂｓに基づいてマルチラベル分類損失Ｌ（Ｔ）を演算するステップと、
（ｄ－５）前記マルチラベル分類損失Ｌ（Ｔ）を前記複数のクラス別分類器、前記複数のクラス別全結合層、前記プーリング層及び前記畳み込み層に逆伝播するステップと、をさらに含むことを特徴とする、請求項６に記載のニューラルネットワークモデルの学習方法。
【請求項9】
前記プーリング層は全体平均プーリング層（ｇｌｏｂａｌ ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ ｌａｙｅｒ）であることを特徴とする、請求項１に記載のニューラルネットワークモデルの学習方法。
【請求項10】
ニューラルネットワークモデルが記憶されるメモリと、プロセッサと、
を含む、画像の複合特性分類及び共通局所化のためのニューラルネットワークモデルの学習装置であって、
前記ニューラルネットワークモデルは、
入力画像に対して畳み込みフィルタを用いて畳み込み演算を行う畳み込み層と、
前記畳み込み層の出力に対してプーリング（ｐｏｏｌｉｎｇ）を行うためのプーリング層と、
複合特性が分類される複数のクラスにそれぞれ対応し、前記プーリング層の出力に対してクラス別重みｗｆｃ（Ｔｔ）を掛けた値を出力する複数のクラス別全結合層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）と、を含み、
前記複数のクラスは、互いに異なる基準によって区別され、
前記複数のクラスそれぞれは、複数のクラス別特性に分類され、
前記ニューラルネットワークモデルは、前記クラス別全結合層の出力に応じて、前記複数のクラスそれぞれのクラス別特性に対するクラス別特性確率を提供することができ、
前記プロセッサは、
入力画像を前記畳み込み層に入力し、前記畳み込み層の出力に基づいて、前記複数のクラスそれぞれに対する複数のクラス別観察マップを演算し、前記複数のクラス別観察マップに基づいて、前記複数のクラスに共通する共通観察マップを生成し、前記共通観察マップ及び前記入力画像の対象領域を用いて観察損失Ｌｏｂｓを演算し、前記観察損失Ｌｏｂｓに基づく損失を前記ニューラルネットワークモデルに逆伝播することを特徴とする、ニューラルネットワークモデルの学習装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複合特性分類と共通局所化のためのニューラルネットワークモデルの学習方法及び装置に関する。
【背景技術】
【0002】
図１の（ａ）は従来技術によるニューラルネットワークモデルを示す。
【0003】
図１の（ａ）を参照すると、ニューラルネットワークモデルは、入力層、１つ以上の畳み込み層、プーリング層、及び全結合層を含む。このようなニューラルネットワークモデルを用いて、ある入力が在るとき、Ａ、Ｂ、Ｃ、Ｄの４つの特性のうちの１つの結果値、又は各特性に該当する確率を出力することができる。この時、結果値の総和は１００パーセントであり得る。
【0004】
しかし、ある入力は、複数の結果が可能な複合特性を持つことができる。例えば、Ａは男性、Ｂは女性の特性であり、Ｃは東洋人、Ｄは非東洋人の特性である場合、結果値としてＡとＣが同時に可能であり得る。
【0005】
ところが、従来のニューラルネットワークモデルによる場合、結果値の総和が１００％となるように判断するため、このような複合特性が正しく反映され難い。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の実施形態は、複合特性を正しく予測することができる、ニューラルネットワークモデルの学習方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の実施形態による画像の複合特性分類及び共通局所化のためのニューラルネットワークモデルの学習方法において、前記ニューラルネットワークモデルは、入力画像に対して畳み込みフィルタを用いて畳み込み演算を行う畳み込み層と、前記畳み込み層の出力に対してプーリング（ｐｏｏｌｉｎｇ）を行うためのプーリング層と、複合特性が分類される複数のクラスにそれぞれ対応し、前記プーリング層の出力に対してクラス別重みｗｆｃ（Ｔｔ）を掛けた値を出力する複数のクラス別全結合層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）と、を含み、前記方法は、（ａ）入力画像を前記畳み込み層に入力するステップと、（ｂ）前記畳み込み層の出力に基づいて複数のクラス別観察マップを演算するステップと、（ｃ）前記複数のクラス別観察マップに基づいて、複数のクラスに共通する観察損失Ｌｏｂｓを演算するステップと、（ｄ）前記観察損失Ｌｏｂｓに基づく損失を前記ニューラルネットワークモデルに逆伝播するステップと、を含む。
【0008】
前記（ｃ）ステップは、（ｃ－１）前記複数のクラス別観察マップに基づいて、前記複数のクラスに共通する共通観察マップを生成するステップと、（ｃ－２）前記共通観察マップ及び前記入力画像の対象領域を用いて前記観察損失Ｌｏｂｓを演算するステップと、を含む。
【0009】
前記共通観察マップは、前記クラス別観察マップの平均値であり得る。
【0010】
前記観察損失は、前記共通観察マップと前記入力画像の対象領域をそれぞれ横及び縦方向にプロジェクションした値同士を連結（ｃｏｎｃａｔｅｎａｔｅ）した値に対してコサイン距離を計算することにより算出できる。
【0011】
前記（ｂ）ステップで、前記クラス別観察マップは、下記の式によって算出できる。
【0012】
【数1】
【0013】
（式中、Ｔｔはクラス、ｗｆｃ（Ｔｔ）はクラス別全結合層の重み、ｏｃｏｎｖは畳み込み層の出力、Ｃはチャネル数をそれぞれ示す。）
前記ニューラルネットワークモデルは、前記複数のクラス別全結合層にそれぞれ対応し、各クラス別全結合層の出力に応じてクラス別特性確率を演算する複数のクラス別分類器をさらに含むことができる。
前記ニューラルネットワークモデルは、前記複数のクラス別全結合層にそれぞれ対応し、各クラス別全結合層の出力に応じてクラス別特性確率を演算する複数のクラス別分類器をさらに含むことができる。
【0014】
前記（ｄ）ステップは、（ｄ－１）前記複数のクラス別分類器それぞれの出力結果に基づいてクラス別分類損失Ｌｃｌｓ（Ｔｔ）を演算するステップと、（ｄ－２）前記観測損失Ｌｏｂｓ及び前記クラス別分類損失Ｌｃｌｓ（Ｔｔ）に基づいてクラス別特性損失Ｌ（Ｔｔ）を演算するステップと、（ｄ－３）前記クラス別特性損失Ｌ（Ｔｔ）をクラス別に前記複数のクラス別分類器及び前記複数のクラス別全結合層に逆伝播するステップと、を含むことができる。
【0015】
前記（ｄ－２）ステップで、前記クラス別特性損失Ｌ（Ｔｔ）は、下記の式によって算出できる。
【0016】
【数2】
【0017】
（式中、０≦α≦１）
前記（ｄ）ステップは、（ｄ－４）複数の前記クラス別分類損失Ｌｃｌｓ（Ｔｔ）と前記観察損失Ｌｏｂｓに基づいてマルチラベル分類損失Ｌ（Ｔ）を演算するステップと、（ｄ－５）前記マルチラベル分類損失Ｌ（Ｔ）を前記複数のクラス別分類器、前記複数のクラス別全結合層、前記プーリング層及び前記畳み込み層に逆伝播するステップと、をさらに含むことができる。
前記（ｄ）ステップは、（ｄ－４）複数の前記クラス別分類損失Ｌｃｌｓ（Ｔｔ）と前記観察損失Ｌｏｂｓに基づいてマルチラベル分類損失Ｌ（Ｔ）を演算するステップと、（ｄ－５）前記マルチラベル分類損失Ｌ（Ｔ）を前記複数のクラス別分類器、前記複数のクラス別全結合層、前記プーリング層及び前記畳み込み層に逆伝播するステップと、をさらに含むことができる。
【0018】
前記プーリング層は、全体平均プーリング層（ｇｌｏｂａｌ ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ ｌａｙｅｒ）であり得る。
【0019】
本発明の実施形態によるニューラルネットワークモデルの学習装置は、ニューラルネットワークモデルが記憶されるメモリと、プロセッサとを含む、画像の複合特性分類及び共通局所化のためのニューラルネットワークモデルの学習装置であって、前記ニューラルネットワークモデルは、入力画像に対して畳み込みフィルタを用いて畳み込み演算を行う畳み込み層と、前記畳み込み層の出力に対してプーリング（ｐｏｏｌｉｎｇ）を行うためのプーリング層と、複合特性が分類される複数のクラスにそれぞれ対応し、前記プーリング層の出力に対してクラス別重みｗｆｃ（Ｔｔ）を掛けた値を出力する複数のクラス別全結合層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）と、を含み、前記プロセッサは、入力画像を前記畳み込み層に入力し、前記畳み込み層の出力に基づいて複数のクラス別観察マップを演算し、前記複数のクラス別観察マップに基づいて、複数のクラスに共通する観察損失Ｌｏｂｓを演算し、前記観察損失Ｌｏｂｓに基づく損失を前記ニューラルネットワークモデルに逆伝播する。
【発明の効果】
【0020】
本発明の実施形態によれば、複合特性を正しく分類することができる。
本発明の実施形態によれば、クラス間の関連性が反映できる。
本発明の実施形態によれば、複合特性間の共通局所化が実現できる。
本発明の実施形態によれば、クラス間の関連性が反映できる。
本発明の実施形態によれば、複合特性間の共通局所化が実現できる。
【図面の簡単な説明】
【0021】
【図1】図１の（ａ）は従来技術による一対一モデルを示すものであり、図１の（ｂ）は比較例による一対一分類モデルを２つ使用したものを示すものであり、図１の（ｃ）は本発明の実施形態による一対多モデルを示すものである。
【図2】本発明の実施形態によるニューラルネットワークモデル１の構造を示す図である。
【図3】本発明の実施形態によるニューラルネットワークモデルの学習方法を示すフローチャートである。
【図5】本発明の実施形態による観察損失の算出方法を説明するための図である。
【図6】本発明の実施形態による観察損失の算出方法を説明するための図である。
【図7】本発明の実施形態によるニューラルネットワークモデルの学習方法を示すフローチャートである。
【図8】本発明の実施形態によるニューラルネットワークモデルの学習方法を示すデータのフローチャートである。
【図10】本発明の実施形態に係るニューラルネットワークモデルの学習装置の構成を示す図である。
【発明を実施するための形態】
【0022】
発明者は自分の発明を最善の方法で説明するために用語の概念を適切に定義することができるという原則に即して、本明細書及び請求の範囲で使用された用語又は単語は、本発明の技術的思想に符合する意味と概念で解釈されるべきである。
【0023】
明細書全体において、ある部分がある構成要素を「含む」とするとき、これは、特に反対の記載がない限り、他の構成要素を除外するのではなく、他の構成要素をさらに含むことができることを意味する。また、ある構成要素が他の構成要素に「接続」、「伝送」、「送信」、「受信」又は「伝達」されるとするとき、これは、直接的に接続、伝送、送信、受信又は伝達される場合だけでなく、他の構成要素を介して間接的に接続、伝送、送信、受信又は伝達される場合も含む。また、明細書に記載された「…部」、「…器」、「モジュール」、「装置」などの用語は、少なくとも一つの機能又は動作を処理する単位を意味し、これは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせで実現できる。
【0024】
以下、図面を参照して本発明の具体的な実施形態について説明する。
【0025】
【0026】
図１において、ＡとＢはクラスＩに属する特性を示し、ＣとＤはクラスＩＩに属する特性を示す。クラスＩの分類基準とクラスＩＩの分類基準とは互いに異なり得る。このように、複数のクラスに属する特性を、本明細書では複合特性と呼ぶ。複合特性を有する入力は、複数の特性、すなわち各クラス別に特性を有することができる。
【0027】
図１の（ｂ）を参照すると、２つの一対一分類モデルが使用される場合、特性ＡとＢの予測確率の和は１００パーセントであり、特性ＣとＤの予測確率の和は１００パーセントである。この場合、予測結果は正確であり得るが、２つのモデルを学習しなければならないので、計算量が増加することができる。また、２つのモデルが独立して学習されるので、クラス間の連関性が反映され難い。
【0028】
図１の（ｃ）を参照すると、一対多モデルでは、一部の層、すなわち畳み込み層とプーリング層（ｐｏｏｌｉｎｇ ｌａｙｅｒ）がクラス間で共有され、全結合層はクラス別に提供される。このとき、全結合層がクラス別に提供されるため、特性ＡとＢの予測確率の和は１００％であり、特性ＣとＤの予測確率の和は１００％である。よって、クラスＩでの予測結果とクラスＩＩでの予測結果がそれぞれ提供されるため、図１の（ａ）に比べて正確な予測結果を得ることができる。また、畳み込み層がクラス間で共有されるため、図１の（ｂ）のモデルに比べて計算量を減少させながらもクラス間の連関性を反映させることができる。
【0029】
本発明の実施形態による画像の複合特性分類及び共通局所化のためのニューラルネットワークモデルの学習方法において、
前記ニューラルネットワークモデルは、
入力画像に対して畳み込みフィルタを用いて畳み込み演算を行う畳み込み層と、
前記畳み込み層の出力に対してプーリング（ｐｏｏｌｉｎｇ）を行うためのプーリング層と、
複合特性が分類される複数のクラスにそれぞれ対応し、前記プーリング層の出力に対してクラス別重みｗｆｃ（Ｔｔ）を掛けた値を出力する複数のクラス別全結合層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）と、
を含み、
前記方法は、
（ａ）入力画像を前記畳み込み層に入力するステップと、
（ｂ）前記畳み込み層の出力に基づいてクラス別観察マップを演算するステップと、
（ｃ）前記クラス別観察マップに基づいて、複数のクラスに共通する観察損失Ｌｏｂｓを演算するステップと、
（ｄ）観察損失Ｌｏｂｓに基づく損失を前記ニューラルネットワークモデルに逆伝播するステップと、を含む。
前記ニューラルネットワークモデルは、
入力画像に対して畳み込みフィルタを用いて畳み込み演算を行う畳み込み層と、
前記畳み込み層の出力に対してプーリング（ｐｏｏｌｉｎｇ）を行うためのプーリング層と、
複合特性が分類される複数のクラスにそれぞれ対応し、前記プーリング層の出力に対してクラス別重みｗｆｃ（Ｔｔ）を掛けた値を出力する複数のクラス別全結合層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）と、
を含み、
前記方法は、
（ａ）入力画像を前記畳み込み層に入力するステップと、
（ｂ）前記畳み込み層の出力に基づいてクラス別観察マップを演算するステップと、
（ｃ）前記クラス別観察マップに基づいて、複数のクラスに共通する観察損失Ｌｏｂｓを演算するステップと、
（ｄ）観察損失Ｌｏｂｓに基づく損失を前記ニューラルネットワークモデルに逆伝播するステップと、を含む。
【0030】
図２は本発明の実施形態によるニューラルネットワークモデル１の構造を示す図である。図２において、ＮＴ個のクラスＴ１、Ｔ２、…Ｔｔ、…ＴＮＴが存在し、クラスＴ１には２つの特性が属し、クラスＴ２には２つの特性が属し、クラスＴｔにはｎ個の特性が属し、クラスＴＮＴには３つの特性が属すると仮定した。
【0031】
図２を参照すると、本発明の実施形態によるニューラルネットワークモデル１は、入力画像ｘｉに対して畳み込みフィルタを用いて畳み込み演算を行うための畳み込み層１０と、前記畳み込み層１０の出力ｏｃｏｎｖに対してプーリングを行うためのプーリング層２０と、複合特性が分類される複数のクラスにそれぞれ対応し、前記プーリング層２０の出力に対してクラス別重みｗｆｃ（Ｔｔ）を掛けた値を出力する複数のクラス別全結合層３０と、を含む。
【0032】
ニューラルネットワークモデル１は、前記複数のクラス別全結合層３０にそれぞれ対応し、各クラス別全結合層３０の出力に応じてクラス別特性確率を演算する複数のクラス別分類器４０をさらに含むことができる。
畳み込み層１０は、入力画像に対して複数の畳み込みフィルタを用いて畳み込み演算を行うことにより、特徴マップを抽出する。図２に示すように、畳み込み演算は複数回行われてもよい。畳み込み層１０の出力、すなわち特徴マップｏｃｏｎｖは、高さ（Ｈ）、幅（Ｗ）、チャネル数（Ｃ）を有すると仮定した。
畳み込み層１０は、入力画像に対して複数の畳み込みフィルタを用いて畳み込み演算を行うことにより、特徴マップを抽出する。図２に示すように、畳み込み演算は複数回行われてもよい。畳み込み層１０の出力、すなわち特徴マップｏｃｏｎｖは、高さ（Ｈ）、幅（Ｗ）、チャネル数（Ｃ）を有すると仮定した。
【0033】
プーリング層２０は、畳み込み層１０と全結合層３０との間に位置し、特徴マップｏｃｏｎｖの大きさを減少させて後述の全結合層３０で必要な演算を減少させ、オーバーフィッティングを防止する役割をする。プーリング層２０は、特徴マップｏｃｏｎｖの各チャネルに対して平均値を出力する全体平均プーリング（ｇｌｏｂａｌ ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ）を行うことができる。
【0034】
クラス別全結合層３０は、プーリング層２０の出力にクラス別重みｗｆｃ（Ｔ１）、ｗｆｃ（Ｔ２）、・・・ｗｆｃ（Ｔｔ）、・・・ｗｆｃ（ＴＮＴ）を掛けた値を出力する。このとき、クラス別重みｗｆｃ（Ｔ１）、ｗｆｃ（Ｔ２）、．．．ｗｆｃ（Ｔｔ）、．．．ｗｆｃ（ＴＮＴ）のそれぞれは、チャネル数に該当する複数の値であり得る。
【0035】
クラス別分類器４０は、クラス別全結合層３０にそれぞれ対応し、クラス別全結合層３０の出力に応じてクラス別特性確率を演算する。図２を参照すると、クラスＴ１に該当する分類器は、クラスＴ１に属する特性のそれぞれに該当する確率Ｐ１（Ｔ１）、Ｐ２（Ｔ１）を演算し、クラスＴ２に該当する分類器は、クラスＴ２に属する特性のそれぞれに該当する確率Ｐ１（Ｔ２）、Ｐ２（Ｔ２）を演算し、クラスＴｔに該当する分類器は、クラスＴｔに属する特性それぞれに該当する確率Ｐ１（Ｔｔ）、Ｐ２（Ｔｔ）、．．．Ｐｎ（Ｔｔ）を演算し、クラスＴＮＴに該当する分類器は、クラスＴＮＴに属する特性のそれぞれに該当する確率Ｐ１（ＴＮＴ）、Ｐ２（ＴＮＴ）、Ｐ３（ＴＮＴ）を演算する。クラス別分類器４０として、例えば、Ｓｏｆｔｍａｘ関数、Ｓｉｇｍｏｉｄ関数などが用いられることができる。
【0036】
【0037】
図３は本発明の実施形態によるニューラルネットワークモデルの学習方法を示すフローチャートであり、図４は図３の学習方法を説明するための図である。本発明の実施形態によるニューラルネットワークモデルの学習方法は、図２のニューラルネットワークモデルが使用される。
【0038】
図３を参照すると、まず、ニューラルネットワークモデルの畳み込み層に画像が入力される（Ｓ１００）。入力画像のクラス別特性（複合特性）と対象領域は既に知られている。ここで、対象領域とは、入力画像の一部であって、クラス別特性の判断に大きな影響を及ぼす部分を意味する。例えば、図４に示すように、入力画像が超音波画像であるとき、対象領域は、病変が現れた部分であり得る。対象領域は、複数のクラスに対して同一であってもよい。
【0039】
次に、畳み込み層の出力に基づいて複数のクラス別観察マップを演算する（Ｓ１１０）。
【0040】
観察マップは、分類活性化マップ（Ｃａｍｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐ；ＣＡＭ）とも呼ばれ、入力画像の各部分が分類結果にどれほど影響を及ぼしたかを示す。本実施形態において、観察マップはクラス別に演算される。図４にクラス別観察マップの例示を示した。クラス別観察マップは、下記の式によって算出できる。
【0041】
【数3】
【0042】
式中、Ｔｔはクラス、ｗｆｃ（Ｔｔ）はクラス別全結合層の重み、ｏｃｏｎｖは畳み込み層の出力、Ｃはチャネル数をそれぞれ示す。
【0043】
次に、複数のクラス別観察マップに基づいて、複数のクラスに共通する観察損失を演算する（Ｓ１２０）。
【0044】
実施形態によって、ステップＳ１２０は、複数のクラス別観察マップに基づいて、複数のクラスに共通する共通観察マップを生成するステップ（Ｓ１２１）と、共通観察マップ及び入力画像の対象領域を用いて観察損失を演算するステップ（Ｓ１２２）と、を含むことができる。観察損失は、入力画像の対象領域と共通観察マップとの差に基づいて演算できる。共通観察マップは、クラス別観察マップの平均値であり、下記の式によって算出できる。
【0045】
【数4】
【0046】
ここで、
【0047】
【数5】
【0048】
は前述したクラス別観察マップを示し、ＮＴはクラスの数を示す。
【0049】
但し、これは一例であり、各クラスの観察マップの割合を異ならせるか、或いは全体クラスのうちの一部クラスの観察マップに基づいて共通観察マップを算出することもできる。
【0050】
算出された共通観察マップと入力画像の対象領域を用いて観察損失を演算する。
【0051】
例えば、観察損失は、下記の式によって算出できる。
【0052】
【数6】
【0053】
ここで、
【0054】
【数7】
【0055】
【数8】
【0056】
は入力画像ｘｉの対象領域を示し、
【0057】
【数9】
【0058】
は入力画像ｘｉの共通観察マップを示す。
【0059】
【0060】
【0061】
図５の（ａ）には、入力画像の対象領域に対してのみ例示を挙げて説明したが、共通観察マップに対しても同様に、横及び縦方向に沿ってプロジェクションした値が計算できる。
【0062】
図６の（ａ）は入力画像の対象領域を縦方向にプロジェクションした値をグラフで示すものであり、図６の（ｂ）は入力画像の対象領域を横方向にプロジェクションした値をグラフで示すものである。図６の（ｃ）は共通観察マップの対象領域を縦方向にプロジェクションした値をグラフで示すものであり、図６の（ｄ）は共通観察マップの対象領域を横方向にプロジェクションした値をグラフで示すものである。
【0063】
実施形態によって、観察損失は、入力画像の対象領域と共通観察マップをそれぞれ横及び縦方向にプロジェクションし、それらを連結（ｃｏｎｃａｔｅｎａｔｅ）した値に対してコサイン距離を計算することにより算出できる。
【0064】
すなわち、観察損失は、下記の式によって算出できる。
【0065】
【数10】
【0066】
上記の式によれば、ピクセル単位の正確性よりも全体的な分布を反映することが可能である。
【0067】
次に、図３を再び参照すると、観察損失に基づく損失をニューラルネットワークモデルに逆伝播する（Ｓ１３０）。
【0068】
上述したステップＳ１００～ステップＳ１３０は、複数の入力画像に対して行われることができ、これによりニューラルネットワークモデルが学習され得る。
【0069】
本実施形態において、クラス別に観察マップを生成するが、観察損失は、複数のクラスに対して同様に適用される。これにより、複数のクラスに対して観察マップが同一になる効果、すなわち共通局所化の効果を得ることができる。
【0070】
図７は本発明の実施形態によるニューラルネットワークモデルの学習方法を示すフローチャートである。
【0071】
まず、ニューラルネットワークモデルの畳み込み層に画像が入力される（Ｓ２００）。
【0072】
次に、ニューラルネットワークモデルからクラス別分類損失と観察損失が算出される（Ｓ２１０、Ｓ２２０）。
【0073】
クラス別分類損失は、各クラスに属する特性がどれほど正確に予測されたかを示す値であって、クラス別に算出される。クラス別分類損失は、複数のクラス別分類器それぞれの出力結果に基づいて演算されることができる。例えば、入力画像のクラス別特性と、クラス別分類器の出力であるクラス別特性確率（図２のＰ１（Ｔｔ）、Ｐ２（Ｔｔ）、…Ｐｎ（Ｔｔ）を参照）の差異からクラス別分類損失が計算されることができる。
【0074】
クラス別分類損失は、下記の式によって計算できる。
【0075】
【数11】
【0076】
ここで、
【0077】
【数12】
【0078】
は入力画像ｘｉのクラスＴｔに対するクラス別特性ｃの出力確率を示し、
Ｎｘは学習画像数を示し、ＣＴｔはクラスＴｔに属するクラス別特性の数を示す。
Ｎｘは学習画像数を示し、ＣＴｔはクラスＴｔに属するクラス別特性の数を示す。
【0079】
観察損失は、前述したのと同様なので、重複説明は省略する。
【0080】
次に、クラス別分類損失と観察損失に基づいてクラス別特性損失が演算される（Ｓ２３０）。
【0081】
クラス別特性損失は、観察損失とクラス別分類損失を反映した値である。前述したように、観察損失は複数のクラスに対して同一であるが、クラス別分類損失はクラスによって異なるため、クラス別特性損失はクラス別に異なる値を持つことができる。
【0082】
クラス別特性損失は、下記の式によって算出できる。
【0083】
【数13】
【0084】
ここで、Ｌｃｌｓ（Ｔｔ）はクラス別分類損失を示し、Ｌｏｂｓは観察損失を示し、０≦α≦１を満たす。
【0085】
次に、クラス別特性損失を、複数のクラス別分類器及び複数のクラス別全結合層にクラス別に逆伝播する（Ｓ２４０）。
【0086】
図２のニューラルネットワークモデルを参照すると、クラス別全結合層３０及びクラス別分類器４０は、クラス別分岐（ｂｒａｎｃｈ）に該当する。つまり、クラス別特性損失は、ニューラルネットワークモデルのクラス別分岐に該当する部分にのみ逆伝播される。また、クラス別特性損失はクラス別に逆伝播される。具体的には、図２を参照すると、クラスＴ１の特性損失は、クラスＴ１に該当する分類器４０及び全結合層３０に逆伝播され、クラスＴ２の特性損失は、クラスＴ２に該当する分類器４０及び全結合層３０に逆伝播され、クラスＴｔの特性損失は、クラスＴｔに該当する分類器４０及び全結合層３０に逆伝播され、クラスＴＮＴの特性損失は、クラスＴＮＴに該当する分類器４０及び全結合層３０に逆伝播されることができる。
【0087】
次に、マルチラベル分類損失が演算される（Ｓ２５０）。
【0088】
マルチラベル分類損失は、クラス別分類損失（Ｓ２１０参照）とは異なり、クラス別に演算されたクラス別分類損失を反映した値である。マルチラベル分類損失は、複数のクラス別分類損失と観察損失に基づいて演算できる。マルチラベル分類損失は、複数のクラスに対して同様に適用される。
【0089】
前記ステップＳ２４０の逆伝播によって複数のクラス別全結合層３０のクラス別重みが調整され、これにより複数のクラス別分類損失及び観察損失も変更されることができる。マルチラベル分類損失は、変更された複数のクラス別分類損失と観察損失に基づいて算定できる。
【0090】
マルチラベル分類損失は、下記の式によって算出できる。
【0091】
【数14】
【0092】
【数15】
【0093】
ここで、
【0094】
【数16】
【0095】
は、入力画像ｘｉの複数のクラス全体に対するクラス別特性ｃの出力確率を示し、
Ｎｘは学習画像数を示し、ＣＴは複数のクラス全体に対するクラス別特性の数を示す。
Ｎｘは学習画像数を示し、ＣＴは複数のクラス全体に対するクラス別特性の数を示す。
【0096】
次に、マルチラベル分類損失をニューラルネットワークモデルの全域に逆伝播する（Ｓ２６０）。
【0097】
図２を参照すると、ニューラルネットワークモデルの全域は、複数のクラス別分類器４０、複数のクラス別全結合層３０、プーリング層２０及び畳み込み層１０を示す。これにより、ニューラルネットワークモデルのパラメータ値、例えば畳み込み層１０の畳み込みフィルタ、クラス別全結合層３０のクラス別重みなどが調整できる。
【0098】
上述したステップＳ２００～ステップＳ２６０は、複数の入力画像に対して行われることができ、これによりニューラルネットワークモデルが学習され得る。
【0099】
【0100】
図８は本発明の実施形態によるニューラルネットワークモデルの学習方法を示すデータのフローチャートであり、図９は図２のニューラルネットワークモデルにおける図６の各ステップに該当する部分を示すものである。図８において、長方形はデータの処理を示し、平行四辺形はデータを示し。
【0101】
【0102】
ニューラルネットワークモデルは、図２を参照して説明したように、畳み込み層１０、プーリング層２０、クラス別全結合層３０及びクラス別分類器４０を含む。図８には１つのクラス別全結合層３０及び１つのクラス別分類器４０が示されているが、これらはクラスの数だけ備えられることができる。
【0103】
【0104】
そして、図８及び図９の（ｃ）を参照すると、畳み込み層１０を経た入力画像は、ニューラルネットワークモデルの残りの部分、すなわちプーリング層２０、クラス別全結合層３０及びクラス別分類器４０を経ることにより、クラス別特性確率Ｐｎ（Ｔｔ）が出力される。
【0105】
次に、図８及び図９の（ｄ）を参照すると、クラス別特性確率Ｐｎ（Ｔｔ）と入力画像のクラス別特性に基づいてクラス別分類損失Ｌｃｌｓ（Ｔｔ）が演算される（Ｓ３１０）。
一方、畳み込み層１０の出力ｏｃｏｎｖとクラス別全結合層３０の重みｗｆｃ（Ｔｔ）に基づいてクラス別観察マップが算出される（Ｓ３２０）。
一方、畳み込み層１０の出力ｏｃｏｎｖとクラス別全結合層３０の重みｗｆｃ（Ｔｔ）に基づいてクラス別観察マップが算出される（Ｓ３２０）。
【0106】
【0107】
【数17】
【0108】
【0109】
【数18】
【0110】
と共通観察マップ
【0111】
【数19】
【0112】
に基づいて観察損失Ｌｏｂｓを演算する（Ｓ３４０）。
【0113】
【0114】
次いで、図８及び図９の（ｈ）を参照すると、クラス別特性損失Ｌ（Ｔｔ）が学習終了条件を満たすか否かを判断し（Ｓ３６０）、満たさない場合（Ｓ３６０、ＮＯ）には、クラス別特性損失Ｌ（Ｔｔ）をクラス別分類器４０及びクラス別全結合層３０に逆伝播する（Ｓ３７０）。
【0115】
これにより、クラス別全結合層３０のクラス別重みｗｆｃ（Ｔｔ）が調整され、クラス別全結合層１０の処理、クラス別分類器４０の処理、クラス別分類損失演算（Ｓ３１０）が再び行われてクラス別分類損失Ｌｃｌｓ（Ｔｔ）が調整され、クラス別観察マップ演算（Ｓ３２０）、共通観察マップ演算（Ｓ３３０）及び観察損失演算（Ｓ３４０）が再び行われて観察損失Ｌｏｂｓが調整される。
【0116】
【0117】
その後、図８及び図９の（ｊ）を参照すると、マルチラベル分類損失Ｌ（Ｔ）が学習終了条件を満たすか否かを判断し（Ｓ３９０）、満たさない場合（Ｓ３９０、ＮＯ）には、マルチラベル分類損失Ｌ（Ｔ）をニューラルネットワークモデル全体、すなわちクラス別分類器４０、クラス別全結合層３０、プーリング層２０及び畳み込み層１０に逆伝播する（Ｓ４００）。これにより、ニューラルネットワークモデルのパラメータが調整できる。
【0118】
図１０は本発明の実施形態に係るニューラルネットワークモデルの学習装置１０００の構成を示す図である。
【0119】
ニューラルネットワークモデルの学習装置１０００は、ニューラルネットワークモデルが記憶されるメモリ１１００及びプロセッサ１２００を含む。
【0120】
メモリ１１００に記憶されるニューラルネットワークモデルは、図２を参照して既に説明した通りである。
【0121】
プロセッサ１２００は、図３～図９を参照して説明したニューラルネットワークモデルの学習方法を行う。すなわち、プロセッサ１２００は、入力画像を畳み込み層に入力し、畳み込み層の出力に基づいて複数のクラス別観察マップを演算し、複数のクラス別観察マップに基づいて、複数のクラスに共通する観察損失Ｌｏｂｓを演算し、前記観察損失Ｌｏｂｓに基づく損失をニューラルネットワークモデルに逆伝播する。
【0122】
以上、好適な実施形態を介して本発明について詳細に説明したが、本発明は、これに限定されるものではなく、本発明の技術的思想から逸脱することなく、種々な変更及び応用を加え得るのは、当該技術分野における通常の技術者にとって自明である。よって、本発明の真正な保護範囲は以下の請求の範囲によって解釈されるべきであり、それと同等の範囲内にあるすべての技術的思想は本発明の権利範囲に含まれるものと解釈されるべきである。
【図1】
【図2】
【図3】
【図4】
【図5(a)】
【図5(b)】
【図6(a)】
【図6(b)】
【図6(c)】
【図6(d)】
【図7】
【図8】
【図9a】
【図9b】
【図9c】
【図9d】
【図9e】
【図9f】
【図9g】
【図9h】
【図9i】
【図9j】
【図10】
【国際調査報告】