特許 7707754 分類モデルを用いて分類を行う装置及び方法並びにコンピュータ可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-07-07

(45)【発行日】2025-07-15

(54)【発明の名称】分類モデルを用いて分類を行う装置及び方法並びにコンピュータ可読記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250708BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 8

(21)【出願番号】P 2021137216

(22)【出願日】2021-08-25

(65)【公開番号】P2022058189

(43)【公開日】2022-04-11

【審査請求日】2024-05-09

(31)【優先権主張番号】202011061801.0

(32)【優先日】2020-09-30

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】ジャン・モン

(72)【発明者】

【氏名】リィウ・ルゥジエ

【審査官】豊田 好一

(56)【参考文献】

【文献】Sixue Gong et al.，"Video Face Recognition: Component-wise Feature Aggregation Network (C-FAN)"，International Conference on Biometrics (ICB)，2019年06月

【文献】Debin Meng et al.，"Frame Attention Networks for Facial Expression Recognition in Videos"，2019 IEEE International Conference on Image Processing (ICIP)，2019年

【文献】津田 宏治，"サポートベクターマシンとは何か"，電子情報通信学会誌，日本，Vol 83 , No.6，pp. 460-466

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

事前訓練の分類モデルを用いて分類を行う装置であって、
前記事前訓練の分類モデルの特徴抽出層を用いて、分類待ちのターゲット画像グループに含まれる複数の画像のうちの各画像の特徴を抽出する特徴抽出ユニット；
前記事前訓練の分類モデルの貢献計算層を用いて、前記複数の画像のうちの各画像の、前記ターゲット画像グループの分類結果に対する貢献を計算する貢献計算ユニット；
前記貢献計算ユニットにより計算された前記複数の画像の貢献に基づいて、前記特徴抽出ユニットにより抽出された前記複数の画像の特徴に対して融合を行い、融合後の特徴を前記ターゲット画像グループの特徴として取得する特徴融合ユニット；及び
前記ターゲット画像グループの特徴に基づいて、前記ターゲット画像グループに対して分類を行う分類ユニットを含み、
前記事前訓練の分類モデルは、少なくとも１つのサンプル画像グループを含む訓練サンプル集合を用いて、以下の方式により、初期分類モデルに対して訓練を行うことにより取得され、即ち、
前記初期分類モデルの特徴抽出層を用いて、前記少なくとも１つのサンプル画像グループの中の各サンプル画像の特徴を抽出し；
各サンプル画像グループについて、前記初期分類モデルの貢献計算層を用いて、該サンプル画像グループに含まれる各サンプル画像の、該サンプル画像グループの分類結果に対する貢献を計算し；
各サンプル画像グループについて、該サンプル画像グループの各サンプル画像の貢献に基づいて、該サンプル画像グループの各サンプル画像の特徴に対して融合を行い、融合後の特徴を該サンプル画像グループの特徴として取得し；及び
各サンプル画像グループの特徴を用いて、前記初期分類モデルについての損失関数に基づいて、前記初期分類モデルを、所定の収斂条件が満足されるよう訓練し、前記事前訓練の分類モデルを取得し、
前記損失関数は分類損失関数及び貢献損失関数を含み、
前記分類損失関数は前記初期分類モデルの分類損失を表し、
前記貢献損失関数は、前記各サンプル画像グループの特徴と、対応するサンプル画像グループが分類されるクラスの特徴中心との間の距離を表す、装置。

【請求項2】

請求項１に記載の装置であって、
前記特徴融合ユニットはさらに、前記貢献計算ユニットにより計算された前記複数の画像の貢献に基づいて、前記特徴抽出ユニットにより抽出された前記複数の画像の特徴に対して加重平均を行い、得た結果を前記ターゲット画像グループの特徴とする、装置。

【請求項3】

請求項１に記載の装置であって、
前記特徴融合ユニットはさらに、前記複数の画像のうちの、前記貢献が所定閾値以上の１つ又は複数の画像の貢献に基づいて、前記１つ又は複数の画像の特徴に対して融合を行い、融合後の特徴を前記ターゲット画像グループの特徴として取得する、装置。

【請求項4】

請求項１乃至３のうちの何れか１項に記載の装置であって、
前記複数の画像のうちの各画像について、該画像の、前記ターゲット画像グループの分類結果に対する貢献はスカラーにより表される、装置。

【請求項5】

請求項１乃至３のうちの何れか１項に記載の装置であって、
前記複数の画像のうちの各画像について、該画像の、前記ターゲット画像グループの分類結果に対する貢献は、該画像の各次元の特徴の、前記ターゲット画像グループの分類結果に対する貢献を含む、装置。

【請求項6】

請求項１に記載の装置であって、
前記初期分類モデルの訓練過程において、前記初期分類モデルの特徴抽出層のパラメータは固定したものである、装置。

【請求項7】

事前訓練の分類モデルを用いて分類を行う方法であって、
前記事前訓練の分類モデルの特徴抽出層を用いて、分類待ちのターゲット画像グループに含まれる複数の画像のうちの各画像の特徴を抽出する特徴抽出ステップ；
前記事前訓練の分類モデルの貢献計算層を用いて、前記複数の画像のうちの各画像の、前記ターゲット画像グループの分類結果に対する貢献を計算する貢献計算ステップ；
前記貢献計算ステップで計算された前記複数の画像の貢献に基づいて、前記特徴抽出ステップで抽出された前記複数の画像の特徴に対して融合を行い、融合後の特徴を前記ターゲット画像グループの特徴として取得する特徴融合ステップ；及び
前記ターゲット画像グループの特徴に基づいて、前記ターゲット画像グループに対して分類を行う分類ステップを含み、
前記事前訓練の分類モデルは、少なくとも１つのサンプル画像グループを含む訓練サンプル集合を用いて、以下の方式により、初期分類モデルに対して訓練を行うことにより取得され、即ち、
前記初期分類モデルの特徴抽出層を用いて、前記少なくとも１つのサンプル画像グループの中の各サンプル画像の特徴を抽出し；
各サンプル画像グループについて、前記初期分類モデルの貢献計算層を用いて、該サンプル画像グループに含まれる各サンプル画像の、該サンプル画像グループの分類結果に対する貢献を計算し；
各サンプル画像グループについて、該サンプル画像グループの各サンプル画像の貢献に基づいて、該サンプル画像グループの各サンプル画像の特徴に対して融合を行い、融合後の特徴を該サンプル画像グループの特徴として取得し；及び
各サンプル画像グループの特徴を用いて、前記初期分類モデルについての損失関数に基づいて、前記初期分類モデルを、所定の収斂条件が満足されるよう訓練し、前記事前訓練の分類モデルを取得し、
前記損失関数は分類損失関数及び貢献損失関数を含み、
前記分類損失関数は前記初期分類モデルの分類損失を表し、
前記貢献損失関数は、前記各サンプル画像グループの特徴と、対応するサンプル画像グループが分類されるクラスの特徴中心との間の距離を表す、方法。

【請求項8】

コンピュータに、請求項７に記載の方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理分野に関し、特に、分類モデルを用いて分類を行う装置及び方法並びにコンピュータ可読記憶媒体に関する。

【背景技術】

【0002】

例えば、ビデオの画像グループに基づく対象分類（例えば、顔認識）は、ビデオ監視、セキュリティ認証などの分野で幅広く応用されているため、学界及び産業界でますます注目を集めている。静的画像に基づく対象分類とは異なり、ビデオの画質が比較的低く、例えば、対象の姿勢の変化が大きく、ブロッキング（遮蔽）などが発生しやすいため、分類のパフォーマンスが低下する場合がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

上述の問題に鑑みて、本発明の目的は、従来技術に存在する１つ又は複数の欠点を解決し得る、分類モデルを訓練する装置及び法、並びに、分類モデルを用いて分類を行う装置及び方法を提供することにある。

【課題を解決するための手段】

【0004】

本発明の一側面によれば、事前訓練の分類モデルを用いて分類を行う装置が提供され、該装置は、
前記事前訓練の分類モデルの特徴抽出層を用いて、分類待ちのターゲット画像グループに含まれる複数の画像のうちの各画像の特徴を抽出する特徴抽出ユニット；
前記事前訓練の分類モデルの貢献計算層を用いて、前記複数の画像のうちの各画像の、前記ターゲット画像グループの分類結果に対する貢献を計算する貢献計算ユニット；
前記貢献計算ユニットにより計算された前記複数の画像の貢献に基づいて、前記特徴抽出ユニットにより抽出された前記複数の画像の特徴に対して融合を行い、融合後の特徴を前記ターゲット画像グループの特徴として取得する特徴融合ユニット；及び
前記ターゲット画像グループの特徴に基づいて、前記ターゲット画像グループに対して分類を行う分類ユニットを含む。

【0005】

本発明のもう１つの側面によれば、事前訓練の分類モデルを用いて分類を行う方法が提供され、該方法は、
前記事前訓練の分類モデルの特徴抽出層を用いて、分類待ちのターゲット画像グループに含まれる複数の画像のうちの各画像の特徴を抽出する特徴抽出ステップ；
前記事前訓練の分類モデルの貢献計算層を用いて、前記複数の画像のうちの各画像の、前記ターゲット画像グループの分類結果に対する貢献を計算する貢献計算ステップ；
前記貢献計算ステップで計算された前記複数の画像の貢献に基づいて、前記特徴抽出ステップで抽出された前記複数の画像の特徴に対して融合を行い、融合後の特徴を前記ターゲット画像グループの特徴として取得する特徴融合ステップ；及び
前記ターゲット画像グループの特徴に基づいて、前記ターゲット画像グループに対して分類を行う分類ステップを含む。

【0006】

本発明の他の側面によれば、本発明による上述の方法を実現するためのコンピュータプログラムコード及びコンピュータプログラムプロダクト、並びに、その中に本発明による上述の方法を実現するためのコンピュータプログラムコードを記憶しているコンピュータ可読記憶媒体が提供される。

【図面の簡単な説明】

【0007】

【図1】本発明の実施例において事前訓練の分類モデルを用いて分類を行う装置の機能構成例のブロック図である。

【図2】本発明の実施例において事前訓練の分類モデルを用いて分類を行う装置の具体的な実現方式のアーキテクチャ例のブロック図である。

【図3A】本発明の実施例で採用された例示的な貢献損失関数による有利な効果を示す図である。

【図3B】本発明の実施例で採用された例示的な貢献損失関数による有利な効果を示す図である。

【図3C】本発明の実施例で採用された例示的な貢献損失関数による有利な効果を示す図である。

【図4A】本発明の実施例において事前訓練の分類モデルを用いて分類を行う装置と、従来の装置との分類精度の間の比較を示す図である。

【図4B】本発明の実施例において事前訓練の分類モデルを用いて分類を行う装置と、従来の装置との分類精度の間の比較を示す図である。

【図5】本発明の実施例において事前訓練の分類モデルを用いて分類を行う方法の例示的なフローのフローチャートである。

【図6】本発明の実施例において初期分類モデルに対して訓練を行う装置の機能構成例のブロック図である。

【図7】本発明の実施例で採用され得るパソコンの例示的な構成のブロック図である。

【発明を実施するための形態】

【0008】

以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳細に説明する。なお、このような実施例は、例示に過ぎず、本発明を限定するものでない。

【0009】

まず、図１及び図２を参照して本発明の実施例において事前訓練の分類モデルを用いて分類を行う装置の実現例を説明する。図１は本発明の実施例において事前訓練の分類モデルを用いて分類を行う装置１００の機能構成例のブロック図である。図２は本発明の実施例において事前訓練の分類モデルを用いて分類を行う装置の１つの具体的な実現方式のアーキテクチャ例のブロック図である。

【0010】

図１及び図２に示すように、本発明の実施例において事前訓練の分類モデルを用いて分類を行う装置１００は特徴抽出ユニット１０２、貢献計算ユニット１０４、特徴融合ユニット１０６及び分類ユニット１０８を含んでも良い。

【0011】

特徴抽出ユニット１０２は、事前訓練の分類モデルの特徴抽出層を用いて、分類待ちのターゲット画像グループに含まれる複数の画像のうちの各画像の特徴を抽出するように構成され得る。例えば、１つのターゲット画像グループは１つのビデオセグメントに対応しても良い。このような場合、１つのターゲット画像グループは、対応するビデオセグメントのすべてのフレーム又は一部のフレームを含み得る。また、例えば、同一のターゲット画像グループに含まれる各画像はすべて同一の対象に関するものであっても良い。しかし、同一のターゲット画像グループは２つ又は複数の対象に関する複数の画像を含んでも良い。

【0012】

また、例えば、図２に示すように、ターゲット画像グループは人間の顔画像からなっても良い。例えば、ターゲット画像グループは人間の顔を含む１つのビデオセグメントのすべてのフレーム又は一部のフレームであり得る。しかし、ターゲット画像グループはこれに限定されず、ターゲット画像グループは他の画像を含んでも良いが、ここではその詳しい説明を省略する。

【0013】

事前訓練の分類モデルは、任意の適切な事前訓練の分類モデルであっても良く、例えば、事前訓練の畳み込みニューラルネットワークモデルのような事前訓練の深層学習ネットワークモデルである。

【0014】

図２は、事前訓練の畳み込みニューラルネットワークモデルを事前訓練の分類モデルとして採用した場合に、本発明の実施例における装置１００の１つの具体的な実現方式のアーキテクチャ例を示す図である。図２に示すように、事前訓練の分類モデルの特徴抽出層は、畳み込みニューラルネットワークモデルの１つ又は複数の畳み込み層Ｃ、及び、１つの全結合層ＦＣ１を含んでも良い。なお、事前訓練の分類モデルの特徴抽出層は図２に示す例に限られず、また、当業者は実際のニーズに応じて対応する特徴抽出層を設定しても良いが、ここではその詳しい説明を省略する。

【0015】

貢献計算ユニット１０４は、事前訓練の分類モデルの貢献計算層を用いて、上述の複数の画像のうちの各画像の、ターゲット画像グループの分類結果に対する貢献を計算するように構成され得る。例えば、貢献は、各画像の、ターゲット画像グループの分類結果への影響の程度、例えば、正面影響程度を表すことができる。例えば、或る画像について、該画像の、ターゲット画像グループの分類結果への正面影響程度が大きいほど、又は、該画像によってターゲット画像グループが正確に分類される可能性が大きいほど、該画像の貢献が大きくなる。

【0016】

図２に示すように、事前訓練の畳み込みニューラルネットワークモデルを事前訓練の分類モデルとして採用した場合、貢献計算層は、畳み込みニューラルネットワークモデルの１つ又は複数の畳み込み層Ｃ、及び、１つの全結合層ＦＣ２を含んでも良い。なお、事前訓練の分類モデルの貢献計算層は図２に示す例に限定されず、例えば、貢献計算層は１つのみの全結合層ＦＣ２を含んでも良い。また、当業者は実際のニーズに応じて対応する特徴抽出層を設定しても良いが、ここではその詳しい説明を省略する。

【0017】

また、図２において貢献計算ユニット１０４が特徴抽出による或る段階の画像の特徴に基づいて画像の貢献を計算することを示しているが、実際の応用にあたって、貢献計算ユニット１０４は直接、ターゲット画像グループに含まれる画像に基づいて画像の貢献を計算することもできる。

【0018】

また、当業者が理解し得るように、図２に示す異なる畳み込み層及び全結合層の構造やパラメータは異なっても良い。

【0019】

特徴融合ユニット１０６は、貢献計算ユニット１０４により計算された複数の画像の貢献に基づいて、特徴抽出ユニット１０２により抽出された複数の画像の特徴に対して融合を行い、融合後の特徴を前記ターゲット画像グループの特徴として得るように構成され得る。

【0020】

分類ユニット１０８は、ターゲット画像グループの特徴に基づいて、ターゲット画像グループに対して分類を行うように構成され得る。例えば、分類ユニット１０８は、ターゲット画像グループの特徴に基づいて、ターゲット画像グループに対して認識を行うことができる。

【0021】

本発明の実施例によれば、特徴融合ユニット１０６はさらに、貢献計算ユニット１０４により計算されたターゲット画像グループに含まれる複数の画像の貢献に基づいて、特徴抽出ユニット１０２により抽出された複数の画像の特徴に対して加重平均を行い、そして、取得した結果をターゲット画像グループの特徴とすることができる。例えば、ターゲット画像グループがビデオセグメントに対応する場合、ターゲット画像グループの特徴は“ビデオ階層特徴”と称することができる。

【0022】

例えば、特徴融合ユニット１０６は以下の式（１）に基づいてターゲット画像グループの特徴Ｆ_Ｖを得ることができる。

【数1】

【0023】

式（１）では、ｆ_１、ｆ_２及びｆ_ｍは、それぞれ、ターゲット画像グループにおける第一画像Ｉ_１、第二画像Ｉ_２及び第ｍ画像Ｉ_ｍの、特徴抽出ユニット１０２により抽出された特徴を表し、ｗ_ｉは、対応するターゲット画像グループにおけるｉ番目の画像の、貢献計算ユニット１０４により計算された貢献を表す。

【0024】

例えば、本発明の実施例によれば、特徴融合ユニット１０６はさらに、ターゲットサンプルに含まれる複数の画像のうちの、貢献が所定閾値以上の１つ又は複数の画像の貢献に基づいて、上述の１つ又は複数の画像の特徴に対して融合を行い、融合後の特徴をターゲット画像グループの特徴とするように構成され得る。例えば、特徴融合ユニット１０６は、ターゲットサンプルに含まれる複数の画像のうちの、貢献が所定閾値以上の１つ又は複数の画像の貢献に基づいて、上述の１つ又は複数の画像の特徴に対して加重平均を行い、融合後の特徴をターゲット画像グループの特徴として取得することができる。

【0025】

なお、以上、特徴融合ユニット１０６がターゲット画像グループに含まれる全部又は一部のサンプル画像の特徴に対して融合を行ってターゲット画像グループの特徴を得る例示的な方式を説明したが、ターゲット画像グループの特徴を取得する方式は上述の例示的な方式に限られず、当業者は実際のニーズに応じて適切な方式を採用してターゲット画像グループの特徴を得ても良い。例えば、ターゲット画像グループのうちの貢献最大の画像の特徴をターゲット画像グループの特徴とすることもできる。

【0026】

上述のように、本発明の実施例において事前訓練の分類モデルを用いて分類を行う装置１００はターゲット画像グループの中の各画像の貢献を計算し、そして、計算した貢献に基づいてターゲット画像グループにおける各画像の特徴に対して融合を行うことで、融合後の特徴に基づいてターゲット画像グループに対して分類を行うことができる。簡単にターゲット画像グループに含まれる各画像の特徴の平均値に基づいてターゲット画像グループに対して分類を行う従来技術に比べて、本発明の実施例による装置１００は、ターゲット画像グループの中の対応する画像の、分類結果に対する貢献を考慮して、ターゲット画像グループにおける１つ又は複数の画像の特徴に基づいてターゲット画像グループに対して分類を行うことで、分類の精度を向上させることができる。

【0027】

実験に基づく分析によれば、画像の貢献は画像の品質に関連している。画像の品質が高いほど、対応する貢献が大きくなる。なお、画像の貢献は画像の品質と同等ではない。例えば、上述のように、貢献は、各画像の、ターゲット画像グループの分類結果への影響の程度、例えば、正面影響程度を表すことができる。

【0028】

本発明の実施例によれば、ターゲット画像グループに含まれる複数の画像のうちの各画像について、該画像の、ターゲット画像グループの分類結果に対しての貢献はスカラー（ｓｃａｌａｒ）により表すことができる。例えば、各画像の貢献は、０よりも大きい１つの数値により表することができる。例えば、各画像の貢献は、所定範囲（例えば、０乃至２０）内の１つの数値により表すことができる。この所定範囲は経験又は実験に基づいて確定され得る。

【0029】

あるいは、本発明の実施例によれば、ターゲット画像グループに含まれる複数の画像のうちの各画像について、該画像の、前記ターゲット画像グループの分類結果に対する貢献は、該画像の各次元の特徴の、前記ターゲット画像グループの分類結果に対しての貢献を含む。例えば、或る画像の特徴がＮ次元（例えば、５１２次元）である場合、該画像の貢献は、１つのＮ次元の貢献ベクトルにより表すことができる。ここで、貢献ベクトルの中の各要素は、対応する画像の特徴の各次元の、分類結果に対しての貢献を表す。画像の特徴の各次元について貢献を計算することで、例えば、分類の精度をさらに向上させるようにすることができる。

【0030】

本発明の実施例によれば、事前訓練の分類モデルは、少なくとも１つのサンプル画像グループを含む訓練サンプル集合を用いて、次のような方式で、初期分類モデルに対して訓練を行うことによって得られても良く、即ち、初期分類モデルの特徴抽出層を用いて上述の少なくとも１つのサンプル画像グループの中の各サンプル画像の特徴を抽出し；各サンプル画像グループについて、初期分類モデルの貢献計算層を用いて該サンプル画像グループに含まれる各サンプル画像の、該サンプル画像グループの分類結果に対しての貢献を計算し；各サンプル画像グループについて、該サンプル画像グループの各サンプル画像の貢献に基づいて、該サンプル画像グループの各サンプル画像の特徴に対して融合を行うことで、融合後の特徴を該サンプル画像グループの特徴として取得し；及び、各サンプル画像グループの特徴を用いて、初期分類モデルについての損失関数に基づいて、初期分類モデルを、所定の収斂（収束）条件が満足されるまで訓練することで、事前訓練の分類モデルを取得する。

【0031】

例えば、所定の収斂条件は次のことのうちの１つであっても良く、即ち、訓練が所定回数に達しており；損失関数の最小化；及び、損失関数が所定閾値以下である。

【0032】

一例として、任意の適切な未訓練の分類モデルに基づいて初期分類モデルを生成することができる。あるいは、例えば、任意の適切な従来の訓練済みの分類モデル（例えば、ＶＧＧｎｅｔモデル、Ｒｅｓｎｅｔモデルなど）に基づいて初期分類モデルを生成することもできる。例えば、従来の訓練済みの分類モデルに１つのブランチを貢献計算層として追加することができる。従来の訓練済みの分類モデルに基づいて初期分類モデルを生成することにより、訓練過程を簡素化することができる。一例として、初期分類モデルの訓練過程では、初期分類モデルの特徴抽出層のパラメータは固定したものであっても良く、例えば、これにより、訓練過程を簡素化することができる。しかし、初期分類モデルの訓練過程では、初期分類モデルの特徴抽出層のパラメータは固定したものでなくても良い。

【0033】

本発明の実施例によれば、損失関数は初期分類モデルの分類損失を表す分類損失関数を含んでも良い。例えば、Ｓｏｆｔｍａｘに類似した損失関数を分類損失関数として採用しても良い。例えば、分類損失関数Ｌ_ｉｄは以下の式（２）により表すことができる。

【数2】

【0034】

式（２）では、Ｎは１つのミニバッチ（ｍｉｎｉ－ｂａｔｃｈ）におけるサンプル画像グループの数を表し、θはサンプル画像グループの特徴とその対応する重み（ｗｅｉｇｔｈ）との間の角度を表し、ｓ及びｍはそれぞれスケーリングファクター及びエッジファクターである。式（２）における各パラメータの定義は、θの定義を除いて、引用文献１（ＡｒｃＦａｃｅ： Ａｄｄｉｔｉｖｅ Ａｎｇｕｌａｒ Ｍａｒｇｉｎ Ｌｏｓｓ ｆｏｒ Ｄｅｅｐ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ）の中の対応するパラメータの定義とほぼ同じである。なお、引用文献１では、θはサンプル画像の特徴とその対応する重みとの間の角度を表しているが、上述のように、式（２）では、θはサンプル画像グループの特徴（例えば、ビデオ階層特徴）とその対応する重みとの間の角度を表す。

【0035】

上述のように、分類損失関数を用いて初期分類モデルに対して訓練を行うことにより、訓練データセット（即ち、サンプル画像グループ）の貢献又は品質の真の値を必要としない。これは、訓練データセットの準備に必要なコストを大幅に減少させることができる。

【0036】

あるいは、本発明の実施例によれば、損失関数は分類損失関数及び貢献損失関数を含んでも良い。ここで、貢献損失関数は、各サンプル画像グループの特徴と、対応するサンプル画像グループが分類されるクラスの特徴中心との間の距離を表すために用いられ得る。例えば、損失関数Ｌは以下の式（３）により表すことができる。

【数3】

【0037】

式（３）では、λ≧０であり、それはトレードオフファクターを示し、λが大きいほど、訓練過程で貢献損失関数Ｌ_ｃが占める割合が大きくなる。例えば、貢献損失関数Ｌ_ｃは以下の式（４）により表され得る。

【数4】

【0038】

式（４）では
（外１）

は、ｉ番目のサンプル画像グループの特徴を表し、
（外２）

は、訓練サンプル集合又は訓練サンプル部分集合におけるｉ番目のサンプル画像グループが分類されるクラスｙ_ｉの特徴の中心を表す。訓練過程では、
（外３）

は、リアルタイムで更新することができる。例えば、
（外４）

は、訓練サンプル集合についてのクラスｙ_ｉの特徴の中心を表す場合、訓練サンプル集合における、訓練過程で使用されたサンプル画像グループのうちの、クラスｙ_ｉに分類された１つ又は複数のサンプル画像グループの特徴（例えば、ビデオ階層特徴）の平均を求めることにより取得することができる。また、例えば、
（外５）

は、訓練サンプル部分集合についてのクラスｙ_ｉの特徴の中心を表す場合、訓練サンプル部分集合における、訓練過程で使用されたサンプル画像グループのうちの、クラスｙ_ｉに分類された１つ又は複数のサンプル画像グループの特徴（例えば、ビデオ階層特徴）の平均を求めることで取得することができる。

【0039】

従来の分類モデルの訓練過程では、訓練装置の処理能力などの問題に鑑みて、通常、ミニバッチ（ｍｉｎｉ－ｂａｔｃｈ）に従って訓練を行う方式を採用するので、グローバル情報が無視されている。上述のように、訓練過程で貢献損失関数を導入することで、訓練サンプル集合又は訓練サンプル部分集合から取得したグローバル情報を考慮して、分類モデルに対して訓練を行うことにより、例えば、取得した訓練済みの分類モデルの精度を向上させることができる。

【0040】

貢献損失関数の導入による有利な効果をより良く説明するために、以下、図３Ａ乃至図３Ｃをもとに、ビデオに基づく人間顔認識の例と併せて、この有利な効果について説明を行う。

【0041】

図３Ａは、所定クラスＴ（即ち、特定の人間）の訓練サンプル部分集合、並びに、該訓練サンプル部分集合における各サンプル画像の実際の特徴分布及び貢献分布を示す図である。図３Ｂ及び図３Ｃはそれぞれ、貢献損失関数の導入がない、及び貢献損失関数の導入がある場合、上述の訓練サンプル部分集合における、１回の訓練過程で使用された複数のサンプル画像（即ち、１つのミニバッチに含まれる複数のサンプル画像）の特徴分布及び貢献分布を示す図である。

【0042】

図３Ａ乃至図３Ｃでは、“●”、“▲”及び“★”はサンプル画像を表し、ここで、“●”により表されるサンプル画像の実際の貢献は比較的低く、“★”により表されるサンプル画像の実際の貢献は比較的高い。また、“■”はクラスＴの実際の特徴分布中心を表し、“◆”は１回の訓練過程で計算することにより得られたクラスＴの特徴分布中心を表す。また、図３Ｂ及び図３Ｃに対応する訓練過程で“★”により表されるサンプル画像が使用されないので、図３Ｂ及び図３Ｃでは“★”を示さない。図３Ａ乃至図３Ｃから分かるように、貢献損失関数の導入がない場合に比較して、貢献損失関数の導入がある場合は、１回の訓練過程で計算することにより得られたクラスＴの特徴分布中心はクラスＴの実際の特徴分布中心により近く、かつ１回の訓練過程で計算することにより得られた各サンプル画像の貢献はその実際の貢献により近い。よって、貢献損失関数を導入することにより、各サンプル画像の貢献をより正確に計算することができるため、例えば、取得した事前訓練の分類モデルの分類精度を向上させることができる。

【0043】

以下、図４Ａ及び図４Ｂをもとに、ビデオに基づく人間顔認識の具体例と併せて、本発明の実施例において事前訓練の分類モデルを用いて分類を行う装置１００の分類精度の面における有利な効果について説明を行う。図４Ａ及び図４Ｂでは、本発明の実施例による装置１００が採用した事前訓練の分類モデルはＲｅｓＮｅｔ５０に基づく分類モデルであり、該事前訓練の分類モデルは“ＣＡＮ”と表される。

【0044】

図４Ａは、ＮＩＳＴのＩＪＢ－Ｃデータセットを使用した場合、本発明の実施例による装置１００の分類精度と、ＡｒｃＦａｃｅに基づく装置の分類精度との間の比較を示している。図４Ａから分かるように、ＦＡＲ（Ｆａｌｓｅ Ａｃｃｅｐｔ Ｒａｔｅ）＝０．００１％の場合、ＡｒｃＦａｃｅに基づく装置に比べて、本発明の実施例による装置１００のＴＡＲ（Ｔｒｕｅ Ａｃｃｅｐｔ Ｒａｔｅ）は約７％向上している。

【0045】

図４Ｂは、ＣＯＸ顔データセットの場合、本発明の実施例による装置１００、ＶＧＧ Ｆａｃｅに基づく装置、及びＴＢＥ－ＣＮＮに基づく装置の分類精度の間の比較を示している。図４Ｂでは、Ｖ２Ｓ＿１、Ｖ２Ｓ＿２及びＶ２Ｓ＿３はそれぞれ、異なる撮像装置を用いてビデオキャプチャーを行う場合の顔認識結果を示している。図４Ｂから分かるように、Ｖ２Ｓ＿１の場合、本発明の実施例による装置１００の認識率は、ＶＧＧ Ｆａｃｅに基づく装置及びＴＢＥ－ＣＮＮに基づく装置に比較してそれぞれ約１０％及び約５％向上している。

【0046】

以上、発明の実施例において事前訓練の分類モデルを用いて分類を行う装置を説明したが、以下、上述の装置の実施例に対応して、本発明は、事前訓練の分類モデルを用いて分類を行う方法の実施例を提供する。

【0047】

図５は本発明の実施例において事前訓練の分類モデルを用いて分類を行う方法５００の例示的なフローのフローチャートである。図５に示すように、本発明の実施例において事前訓練の分類モデルを用いて分類を行う方法５００は開始ステップＳ５０２でスタートし、かつ終了ステップＳ５１２でエンドする。本発明の実施例による方法５００は、特徴抽出ステップＳ５０４、貢献計算ステップＳ５０６、特徴融合ステップＳ５０８及び分類ステップＳ５１０を含んでも良い。

【0048】

特徴抽出ステップＳ５０４では、事前訓練の分類モデルの特徴抽出層により、分類待ちのターゲット画像グループに含まれる複数の画像のうちの各画像の特徴を抽出することができる。例えば、１つのターゲット画像グループは１つのビデオセグメントに対応しても良い。このような場合、１つのターゲット画像グループは、対応するビデオセグメントのすべてのフレーム又は一部のフレームを含み得る。例えば、特徴抽出ステップＳ５０４は、上述した特徴抽出ユニット１０２により実施され得るため、ここではその具体的な細部の説明を省略する。

【0049】

貢献計算ステップＳ５０６では、事前訓練の分類モデルの貢献計算層により、上述の複数の画像のうちの各画像の、ターゲット画像グループの分類結果に対する貢献を計算することができる。例えば、貢献は、各画像の、ターゲット画像グループの分類結果への影響の程度、例えば、正面影響程度を表すことができる。例えば、或る画像について、該画像の、ターゲット画像グループの分類結果への正面影響程度が大きいほど、該画像の貢献が大きくなる。例えば、貢献計算ステップＳ５０６は、上述した貢献計算ユニット１０４により実施され得るので、ここではその具体的な細部の説明を省略する。

【0050】

特徴融合ステップＳ５０８では、貢献計算ステップＳ５０６で計算されたターゲット画像グループに含まれる複数の画像の貢献に基づいて、特徴抽出ステップＳ５０４で抽出されたターゲット画像グループに含まれる複数の画像の特徴に対して融合を行うことで、融合後の特徴を前記ターゲット画像グループの特徴として取得することができる。例えば、特徴融合ステップＳ５０８は、上述した特徴融合算ユニット１０６により実施され得るから、ここではその具体的な細部の説明を省略する。

【0051】

分類ステップＳ５１０では、ターゲット画像グループの特徴に基づいて、ターゲット画像グループに対して分類を行うことができる。例えば、分類ステップＳ５１０では、ターゲット画像グループの特徴に基づいて、ターゲット画像グループに対して認識を行うことができる。また、例えば、分類ステップＳ５１０は、上述した分類ユニット１０８により実施され得るので、ここではその詳しい説明を省略する。

【0052】

本発明の実施例によれば、特徴融合ステップＳ５０８では、貢献計算ステップＳ５０６で計算されたターゲット画像素に含まれる複数の画像の貢献に基づいて、特徴抽出ステップＳ５０４で抽出された複数の画像の特徴に対して加重平均を行い、そして、取得した結果をターゲット画像グループの特徴とすることができる。例えば、特徴融合ステップＳ５０８では、上述の式（１）によりターゲット画像グループの特徴Ｆ_Ｖを得ることができる。

【0053】

あるいは、本発明の実施例によれば、特徴融合ステップＳ５０８では、ターゲットサンプルに含まれる複数の画像のうちの、貢献が所定閾値以上の１つ又は複数の画像の貢献に基づいて、上述の１つ又は複数の画像の特徴に対して融合を行うことで、融合後の特徴をターゲット画像グループの特徴として取得することができる。例えば、特徴融合ステップＳ５０８では、ターゲットサンプルに含まれる複数の画像のうちの、貢献が所定閾値以上の１つ又は複数の画像の貢献に基づいて、上述の１つ又は複数の画像の特徴に対して加重平均を行うことで、融合後の特徴をターゲット画像グループの特徴として得ることができる。

【0054】

上述のように、本発明の実施例において事前訓練の分類モデルを用いて分類を行う装置１００と同様に、本発明の実施例において事前訓練の分類モデルを用いて分類を行う方法５００は、ターゲット画像グループの中の各画像の貢献を計算し、算出した貢献に基づいてターゲット画像グループの中の各画像の特徴に対して融合を行うことで、融合後の特徴に基づいてターゲット画像グループに対して分類を行うことができる。簡単にターゲット画像グループに含まれる各画像の特徴の平均値に基づいて又はターゲット画像グループの中の品質が最も良い画像の特徴に基づいてターゲット画像グループに対して分類を行う従来技術に比べて、本発明の実施例による方法５００は、各画像の分類結果に対する貢献を考慮して、ターゲット画像グループにおける１つ又は複数の画像の特徴に基づいてターゲット画像グループに対して分類を行うことで、分類の精度を向上させることができる。

【0055】

本発明の実施例によれば、ターゲット画像グループに含まれる複数の画像のうちの各画像について、該画像の、ターゲット画像グループの分類結果に対する貢献はスカラーにより表すことができる。例えば、各画像の貢献は０よりも大きい１つの数値により表すことができる。

【0056】

本発明の実施例によれば、ターゲット画像グループに含まれる複数の画像のうちの各画像について、該画像の、前記ターゲット画像グループの分類結果に対しての貢献は、該画像の各次元の特徴の、前記ターゲット画像グループの分類結果に対する貢献を含む。例えば、或る画像の特徴がＮ次元（例えば、５１２次元）である場合、該画像の貢献は１つのＮ次元の貢献ベクトルにより表すことができる。ここで、貢献ベクトルの中の各要素は、対応する画像の特徴の各次元の、分類結果に対しての貢献を表す。画像の特徴の各次元について貢献を計算することにより、例えば、分類の精度をさらに向上させることができる。

【0057】

本発明の実施例によれば、事前訓練の分類モデルは、少なくとも１つのサンプル画像グループを含む訓練サンプル集合を用いて、次のような方式で、初期分類モデルに対して訓練を行うことによって得られても良く、即ち、初期分類モデルの特徴抽出層を用いて上述の少なくとも１つのサンプル画像グループの中の各サンプル画像の特徴を抽出し；各サンプル画像グループについて、初期分類モデルの貢献計算層を用いて該サンプル画像グループに含まれる各サンプル画像の、該サンプル画像グループの分類結果に対しての貢献を計算し；各サンプル画像グループについて、該サンプル画像グループの各サンプル画像の貢献に基づいて、該サンプル画像グループの各サンプル画像の特徴に対して融合を行うことで、融合後の特徴を該サンプル画像グループの特徴として取得し；及び、各サンプル画像グループの特徴を用いて、初期分類モデルについての損失関数に基づいて、初期分類モデルを、所定の収斂（収束）条件が満足されるまで訓練することにより、事前訓練の分類モデルを取得する。

【0058】

例えば、所定の収斂条件は次のことのうちの１つであっても良く、即ち、訓練が所定回数に達しており；損失関数の最小化；及び、損失関数が所定閾値以下である。

【0059】

本発明の実施例によれば、損失関数は分類損失関数及び貢献損失関数を含んでも良い。ここで、貢献損失関数は、各サンプル画像グループの特徴と、対応するサンプル画像グループが分類されるクラスの特徴中心との間の距離を表すために用いられ得る。例えば、損失関数Ｌは上述の式（３）により表すことができる。

【0060】

従来の分類モデルの訓練過程では、訓練装置の処理能力などの問題に鑑みて、通常、ミニバッチ（ｍｉｎｉ－ｂａｔｃｈ）に従って訓練を行う方式を採用するので、グローバル情報が無視されている。上述のように、訓練過程で貢献損失関数を導入することで、訓練サンプル集合又は訓練サンプル部分集合から取得したグローバル情報を考慮して、分類モデルに対して訓練を行うことにより、例えば、取得した訓練済みの分類モデルの分類精度を向上させることができる。

【0061】

以上、本発明の実施例において事前訓練の分類モデルを用いて分類を行う装置１００及び方法５００の実施例を説明した。さらに、本発明によれば、初期訓練に対して訓練を行う装置が提供され得る。図６は本発明の実施例の初期分類モデルに対して訓練を行う装置６００の機能構成例のブロック図である。

【0062】

図６に示すように、本発明の実施例において初期分類モデルに対して訓練を行う装置６００は第二特徴抽出ユニット６０２、第二貢献計算ユニット６０４、第二特徴融合ユニット６０６及び訓練ユニット６０８を含んでも良い。

【0063】

第二特徴抽出ユニット６０２は、初期分類モデルの特徴抽出層を用いて、訓練サンプル集合に含まれる少なくとも１つのサンプル画像グループの中の各サンプル画像の特徴を抽出するように構成され得る。

【0064】

第二貢献計算ユニット６０４は、各サンプル画像グループについて、初期分類モデルの貢献計算層を用いて、該サンプル画像グループに含まれる各サンプル画像の、該サンプル画像グループの分類結果に対する貢献を計算するように構成され得る。

【0065】

第二特徴融合ユニット６０６は、各サンプル画像グループについて、第二貢献計算ユニット６０４が算出した、該サンプル画像グループの各サンプル画像の貢献に基づいて、第二特徴抽出ユニット６０２が抽出した、該サンプル画像グループの各サンプル画像の特徴に対して融合を行うことで、融合後の特徴を該サンプル画像グループの特徴として取得するように構成され得る。

【0066】

訓練ユニット６０８は、各サンプル画像グループの特徴を用いて、初期分類モデルについての損失関数に基づいて、初期分類モデルを、所定の収斂条件が満足されるまで訓練することにより、事前訓練の分類モデルを得るように構成され得る。

【0067】

本発明の実施例による装置６００が初期分類モデルに対して訓練を行う細部については、上述の実施例において事前訓練の分類モデルを用いて分類を行う装置１００及び方法５００における、初期分類モデルに対して訓練を行う細部と同様であるので、ここではその詳しい説明を省略する。

【0068】

本発明の実施例において初期分類モデルに対して訓練を行う装置６００は強力な汎用性を有し、任意の適切な初期分類モデルに容易に適用することができる。また、本発明の実施例において初期分類モデルに対して訓練を行う装置６００は、各サンプル画像の貢献を考慮して、対応するサンプル画像グループの中の１つ又は複数の画像に基づいて、初期分類モデルに対して訓練を行うことにより、取得した事前訓練の分類モデルの分類精度を向上させることができる。

【0069】

なお、以上、本発明の実施例において事前訓練の分類モデルを用いて分類を行う装置及び方法、並びに、初期分類モデルに対して訓練を行う装置の機能配置及び操作を説明したが、これらは例示に過ぎず、当業者は本発明の原理に基づいて、上述の実施例に対して変更を行い、例えば、各実施例の中の機能モジュール及び操作の増減や組み合わせなどを行っても良く、また、このような変更は、すべて、本発明の範囲に属する。

【0070】

また、ここでの方法の実施例は上述の装置の実施例に対応するので、方法の実施例で詳細に説明されていない内容については、装置の実施例の中の対応する部分の説明を参照することができるため、ここではその詳しい説明を省略する。

【0071】

また、本発明はさらに記憶媒体及びプログラムプロダクトを提供する。理解すべきは、本発明の実施例による記憶媒体及びプログラムプロダクトの中のマシン実行可能な指令はさらに、上述の事前訓練の分類モデルを用いて分類を行う方法を実現するように構成され得るということである。よって、ここで詳細に説明されない内容については、前述の対応する部分の説明を参照することができるため、ここではその詳しい説明を省略する。

【0072】

明らかのように、本発明による方法の各操作プロセスは、各種のマシン可読記憶媒体に記憶されているコンピュータ実行可能なプログラムにより実現され得る。

【0073】

また、本発明の目的は次のような方式で実現されても良く、即ち、上述の実行可能なプログラムコードが記憶されている記憶媒体を直接又は間接的にシステム又は装置に提供し、該システム又は装置におけるコンピュータ又は中央処理ユニット（ＣＰＵ）は上述のプログラムコードを読み出して実行する。このときに、該システム又は装置がプログラムを実行し得る機能を有すれば、本発明の実施方式はプログラムに限定されず、また、該プログラムは任意の形式、例えば、オブジェクト指向プログラム、インタプリタによって実行されるプログラム、オペレーティングシステムに提供されるスクリプトプログラムなどであっても良い。

【0074】

これらのマシン可読記憶媒体は、各種のメモリ及び記憶ユニット、半導体デバイス、光、磁気、光磁気ディスクなどの磁気ディスク、情報の記憶に適した他の媒体などを含んでも良いが、これに限られない。

【0075】

また、上述の一連の処理及び装置はソフトウェア及び／又はファームウェアにより実現され得る。ソフトウェア及び／又はファームウェアにより実現される場合、記憶媒体又はネットワークから、専用ハードウェア構成を有するコンピュータ、例えば、図７に示する汎用パソコン７００に該ソフトウェアを構成するプログラムをインストールし、該コンピュータは各種のプログラムがインストールされているときに、様々な機能を実行することができる。

【0076】

図７は、本発明の実施例における情報処理方法及び装置を実現し得るハードウェア構成（汎用マシン）７００の構成図である。

【0077】

汎用マシン７００は、例えば、コンピュータシステムであっても良い。なお、汎用マシン７００は、例示に過ぎず、本発明による方法及び装置の適応範囲又は機能について限定しない。また、汎用マシン７００は、上述の方法及び装置における任意のモジュールやアセンブリなど又はその組み合わせにも依存しない。

【0078】

図７では、中央処理装置（ＣＰＵ）７０１は、ＲＯＭ７０２に記憶されているプログラム又は記憶部７０８からＲＡＭ７０３にロッドされているプログラムに基づいて各種の処理を行う。ＲＡＭ７０３では、ニーズに応じて、ＣＰＵ７０１が各種の処理を行うときに必要なデータなどを記憶することもできる。

【0079】

ＣＰＵ７０１、ＲＯＭ７０２及びＲＡＭ７０３は、バス７０４を経由して互いに接続される。入力／出力インターフェース７０５もバス７０４に接続される。

【0080】

また、入力／出力インターフェース７０５には、さらに、次のような部品が接続され、即ち、キーボードなどを含む入力部７０６、液晶表示器（ＬＣＤ）などのような表示器及びスピーカーなどを含む出力部７０７、ハードディスクなどを含む記憶部７０８、ネットワーク・インターフェース・カード、例えば、ＬＡＮカード、モデムなどを含む通信部７０９である。通信部７０９は、例えば、インターネット、ＬＡＮなどのネットワークを経由して通信処理を行う。

【0081】

ドライブ７１０は、ニーズに応じて、入力／出力インターフェース７０５に接続されても良い。取り外し可能な媒体７１１、例えば、半導体メモリなどは、必要に応じて、ドライブ７１０にセットされることにより、その中から読み取られたコンピュータプログラムを記憶部７０８にインストールすることができる。

【0082】

また、本発明は、マシン可読指令コードを含むプログラムプロダクトをさらに提供する。このような指令コードは、マシンにより読み取られて実行されるときに、上述の本発明の実施方式における方法を実行することができる。それ相応に、このようなプログラムプロダクトをキャリー（ｃａｒｒｙ）する、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（ＣＤ－ＲＯＭ及びＤＶＤを含む）、光磁気ディスク（ＭＤ（登録商標）を含む）、及び半導体記憶器などの各種記憶媒体も、本発明に含まれる。

【0083】

上述の記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などを含んでも良いが、これらに限定されない。

【0084】

また、上述の方法における各操作（処理）は、各種のマシン可読記憶媒体に記憶されているコンピュータ実行可能なプログラムの方式で実現することもできる。

【0085】

また、以上の実施例などに関し、以下のように付記としてさらに開示する。

【0086】

（付記１）
事前訓練の分類モデルを用いて分類を行う装置であって、
前記事前訓練の分類モデルの特徴抽出層を用いて、分類待ちのターゲット画像グループに含まれる複数の画像のうちの各画像の特徴を抽出する特徴抽出ユニット；
前記事前訓練の分類モデルの貢献計算層を用いて、前記複数の画像のうちの各画像の、前記ターゲット画像グループの分類結果に対する貢献を計算する貢献計算ユニット；
前記貢献計算ユニットにより計算された前記複数の画像の貢献に基づいて、前記特徴抽出ユニットにより抽出された前記複数の画像の特徴に対して融合を行い、融合後の特徴を前記ターゲット画像グループの特徴として取得する特徴融合ユニット；及び
前記ターゲット画像グループの特徴に基づいて、前記ターゲット画像グループに対して分類を行う分類ユニットを含む、装置。

【0087】

（付記２）
付記１に記載の装置であって、
前記特徴融合ユニットはさらに、前記貢献計算ユニットにより計算された前記複数の画像の貢献に基づいて、前記特徴抽出ユニットにより抽出された前記複数の画像の特徴に対して加重平均を行い、得た結果を前記ターゲット画像グループの特徴とする、装置。

【0088】

（付記３）
付記１に記載の装置であって、
前記特徴融合ユニットはさらに、前記複数の画像のうちの、前記貢献が所定閾値以上の１つ又は複数の画像の貢献に基づいて、前記１つ又は複数の画像の特徴に対して融合を行い、融合後の特徴を前記ターゲット画像グループの特徴として取得する、装置。

【0089】

（付記４）
付記１乃至３のうちの何れか１項に記載の装置であって、
前記複数の画像のうちの各画像について、該画像の、前記ターゲット画像グループの分類結果に対する貢献はスカラーにより表される、装置。

【0090】

（付記５）
付記１乃至３のうちの何れか１項に記載の装置であって、
前記複数の画像のうちの各画像について、該画像の、前記ターゲット画像グループの分類結果に対する貢献は、該画像の各次元の特徴の、前記ターゲット画像グループの分類結果に対する貢献を含む、装置。

【0091】

（付記６）
付記１乃至３のうちの何れか１項に記載の装置であって、
前記事前訓練の分類モデルは、少なくとも１つのサンプル画像グループを含む訓練サンプル集合を用いて、以下の方式により、初期分類モデルに対して訓練を行うことにより取得され、即ち、
前記初期分類モデルの特徴抽出層を用いて、前記少なくとも１つのサンプル画像グループの中の各サンプル画像の特徴を抽出し；
各サンプル画像グループについて、前記初期分類モデルの貢献計算層を用いて、該サンプル画像グループに含まれる各サンプル画像の、該サンプル画像グループの分類結果に対する貢献を計算し；
各サンプル画像グループについて、該サンプル画像グループの各サンプル画像の貢献に基づいて、該サンプル画像グループの各サンプル画像の特徴に対して融合を行い、融合後の特徴を該サンプル画像グループの特徴として取得し；及び
各サンプル画像グループの特徴を用いて、前記初期分類モデルについての損失関数に基づいて、前記初期分類モデルを、所定の収斂条件が満足されるよう訓練し、前記事前訓練の分類モデルを得る、装置。

【0092】

（付記７）
付記６に記載の装置であって、
前記損失関数は分類損失関数及び貢献損失関数を含み、
前記分類損失関数は前記初期分類モデルの分類損失を表し、
前記貢献損失関数は、前記各サンプル画像グループの特徴と、対応するサンプル画像グループが分類されるクラスの特徴中心との間の距離を表す、装置。

【0093】

（付記８）
付記６に記載の装置であって、
前記初期分類モデルの訓練過程において、前記初期分類モデルの特徴抽出層のパラメータは固定したものである、装置。

【0094】

（付記９）
事前訓練の分類モデルを用いて分類を行う方法であって、
前記事前訓練の分類モデルの特徴抽出層を用いて、分類待ちのターゲット画像グループに含まれる複数の画像のうちの各画像の特徴を抽出する特徴抽出ステップ；
前記事前訓練の分類モデルの貢献計算層を用いて、前記複数の画像のうちの各画像の、前記ターゲット画像グループの分類結果に対する貢献を計算する貢献計算ステップ；
前記貢献計算ステップで計算された前記複数の画像の貢献に基づいて、前記特徴抽出ステップで抽出された前記複数の画像の特徴に対して融合を行い、融合後の特徴を前記ターゲット画像グループの特徴として取得する特徴融合ステップ；及び
前記ターゲット画像グループの特徴に基づいて、前記ターゲット画像グループに対して分類を行う分類ステップを含む、方法。

【0095】

（付記１０）
付記９に記載の方法であって、
前記特徴融合ステップでは、前記貢献計算ステップで計算された前記複数の画像の貢献に基づいて、前記特徴抽出ステップで抽出された前記複数の画像の特徴に対して加重平均を行い、得た結果を前記ターゲット画像グループの特徴とする、方法。

【0096】

（付記１１）
付記９に記載の方法であって、
前記特徴融合ステップでは、前記複数の画像のうちの、前記貢献が所定閾値以上の１つ又は複数の画像の貢献に基づいて、前記１つ又は複数の画像の特徴対して融合を行い、融合後の特徴を前記ターゲット画像グループの特徴として取得する、方法。

【0097】

（付記１２）
付記９乃至１１のうちの何れか１項に記載の方法であって、
前記複数の画像のうちの各画像について、該画像の、前記ターゲット画像グループの分類結果に対する貢献はスカラーにより表される、方法。

【0098】

（付記１３）
付記９乃至１１のうちの何れか１項に記載の方法であって、
前記複数の画像のうちの各画像について、該画像の、前記ターゲット画像グループの分類結果に対する貢献は、該画像の各次元の特徴の、前記ターゲット画像グループの分類結果に対する貢献を含む。方法。

【0099】

（付記１４）
付記９乃至１１のうちの何れか１項に記載の方法であって、
前記事前訓練の分類モデルは、少なくとも１つのサンプル画像グループを含む訓練サンプル集合を用いて、以下の方式により、初期分類モデルに対して訓練を行うことにより取得され、即ち、
前記初期分類モデルの特徴抽出層を用いて、前記少なくとも１つのサンプル画像グループの中の各サンプル画像の特徴を抽出し；
各サンプル画像グループについて、前記初期分類モデルの貢献計算層を用いて、該サンプル画像グループに含まれる各サンプル画像の、該サンプル画像グループの分類結果に対する貢献を計算し；
各サンプル画像グループについて、該サンプル画像グループの各サンプル画像の貢献に基づいて、該サンプル画像グループの各サンプル画像の特徴に対して融合を行い、融合後の特徴を該サンプル画像グループの特徴として取得し；及び
各サンプル画像グループの特徴を用いて、前記初期分類モデルについての損失関数に基づいて、前記初期分類モデルを、所定の収斂条件が満足されるよう訓練し、前記事前訓練の分類モデルを得る、方法。

【0100】

（付記１５）
付記１４に記載の方法であって、
前記損失関数は分類損失関数及び貢献損失関数を含み、
前記分類損失関数は前記初期分類モデルの分類損失を表し、
前記貢献損失関数は、前記各サンプル画像グループの特徴と、対応するサンプル画像グループが分類されるクラスの特徴中心との間の距離を表す、方法。

【0101】

（付記１６）
付記１４に記載の方法であって、
前記初期分類モデルの訓練過程において、前記初期分類モデルの特徴抽出層のパラメータは固定したものである、方法。

【0102】

（付記１７）
プログラム指令が記憶されているコンピュータ可読記憶媒体であって、
前記プログラム指令はコンピュータにより実行されるときに付記９乃至１６のうちの何れか１項に記載の方法を実行することができる。

【0103】

以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は、本発明の技術的範囲に属する。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図5】

【図6】

【図7】