特許 7310351 情報処理方法及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-10

(45)【発行日】2023-07-19

(54)【発明の名称】情報処理方法及び情報処理装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20230711BHJP

   G06N 3/04 20230101ALI20230711BHJP

【ＦＩ】

G06N20/00 130

G06N3/04

【請求項の数】 8

(21)【出願番号】P 2019115483

(22)【出願日】2019-06-21

(65)【公開番号】P2020004405

(43)【公開日】2020-01-09

【審査請求日】2022-03-08

(31)【優先権主張番号】201810662632.2

(32)【優先日】2018-06-25

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】ジャン・モン

(72)【発明者】

【氏名】リィウ・ルゥジエ

【審査官】今城 朋彬

(56)【参考文献】

【文献】特開２０１７－１６２２３２（ＪＰ，Ａ）

【文献】WEN, Yandong, et al.，A Discriminative Feature Learning Approach for Deep Face Recognition，ECCV 2016，2016年，pp.499-515，<URL: https://link.springer.com/chapter/10.1007/978-3-319-46478-7_31>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００ー９９／００

Ｇ０６Ｆ １８／００－１８／４０

(57)【特許請求の範囲】

【請求項1】

複数の訓練サンプルを用いて分類モデルに対して訓練を行う情報処理方法であって、
前記複数の訓練サンプルのうちの典型的なサンプルに基づいて、前記複数の訓練サンプルの特徴ベクトルの特徴空間における分布を調整し；及び
調整された複数の訓練サンプルの特徴ベクトルを用いて、前記分類モデルを訓練することを含み、
前記典型的なサンプルは、最も顕著なクラス特徴を有する訓練サンプルであり、
前記複数の訓練サンプルのうちの典型的なサンプルに基づいて、前記複数の訓練サンプルの特徴ベクトルの特徴空間における分布を調整することは、
前記典型的なサンプル以外の他の訓練サンプルの特徴ベクトルを、前記典型的なサンプルの特徴ベクトルへ集めさせることを含み、
前記典型的なサンプル以外の他の訓練サンプルの特徴ベクトルを、前記典型的なサンプルの特徴ベクトルへ集めさせることは、
前記典型的なサンプルの特徴ベクトルを中心として、他の訓練サンプルの特徴ベクトルと、該典型的なサンプルの特徴ベクトルとの間の距離を正規化することを含む、情報処理方法。

【請求項2】

請求項１に記載の情報処理方法であって、
前記最も顕著なクラス特徴は、前記分類モデルが前記典型的なサンプルを他のクラスに分類しないようにさせる、情報処理方法。

【請求項3】

請求項１に記載の情報処理方法であって、
各クラスについて、前記分類モデルは、該クラスに対応するパラメータを有し、
前記情報処理方法は、さらに、
前記分類モデルの、異なるクラスについてのパラメータを正規化し、調整された前記複数の訓練サンプルの特徴ベクトル及び正規化されたパラメータに基づいて、前記分類モデルを訓練することを含む、情報処理方法。

【請求項4】

請求項１に記載の情報処理方法であって、さらに、
前記複数の訓練サンプルの属する異なるクラス間の区別マージンを増加させ、調整された前記複数の訓練サンプルの特徴ベクトル及び増加した区別マージンに基づいて、前記分類モデルを訓練することを含む、情報処理方法。

【請求項5】

請求項４に記載の情報処理方法であって、
前記複数の訓練サンプルの属する異なるクラス間の区別マージンを増加させることは、
前記複数の訓練サンプルのうちの各訓練サンプルについて、該訓練サンプルと、対応するクラスのパラメータとの間の類似度を調整することを含む、情報処理方法。

【請求項6】

請求項５に記載の情報処理方法であって、
前記複数の訓練サンプルのうちの各訓練サンプルについて、該訓練サンプルと、対応するクラスのパラメータとの間の類似度を調整することは、
該訓練サンプルの特徴ベクトルと、前記分類モデルの対応するパラメータの特徴ベクトルとの間の夾角に係数ｍ（ｍ＞１）を乗算することを含む、情報処理方法。

【請求項7】

複数の訓練サンプルを用いて分類モデルに対して訓練を行う情報処理装置であって、
前記複数の訓練サンプルのうちの典型的なサンプルに基づいて、前記複数の訓練サンプルの特徴ベクトルの特徴空間における分布を調整する調整ユニット；及び
調整された複数の訓練サンプルの特徴ベクトルを用いて、前記分類モデルを訓練する学習ユニットを含み、
前記典型的なサンプルは、最も顕著なクラス特徴を有する訓練サンプルであり、
前記調整ユニットは、前記典型的なサンプル以外の他の訓練サンプルの特徴ベクトルを、前記典型的なサンプルの特徴ベクトルへ集めさせることを行い、
前記典型的なサンプル以外の他の訓練サンプルの特徴ベクトルを、前記典型的なサンプルの特徴ベクトルへ集めさせることは、
前記典型的なサンプルの特徴ベクトルを中心として、他の訓練サンプルの特徴ベクトルと、該典型的なサンプルの特徴ベクトルとの間の距離を正規化することを含む、情報処理装置。

【請求項8】

情報処理方法であって、
請求項１～６のうちいずれか１項に記載の情報処理方法を用いて訓練を行うことで得られた分類モデルにより、検出待ちデータを検出することを含む、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理方法及び情報処理装置に関し、特に、複数の訓練サンプルを用いて分類モデルに対して訓練を行う情報処理方法及び情報処理装置に関する。

【背景技術】

【0002】

畳み込みニューラルネットワーク（CNN）によるディープラーニング方法の発展、及び大量のラベル付き人間の顔画像を有する大規模データベースの構造により、人間の顔認識のパフォーマンスを大きく向上させている。しかし、視野角、解像度、遮蔽、画像品質などの面において極めて大きい変化を有する極端の条件下で得られた人間の顔画像について言えば、畳み込みニューラルネットワークに基づく人間の顔認識は、依然として、高い正確度を得ることができない。

【0003】

分類モデルの１つとしてのSoftmax関数が畳み込みニューラルネットワークに広く適用される。このような場合、Softmax損失関数は、畳み込みニューラルネットワークの訓練に用いられる。しかし、従来のSoftmax損失関数を用いて訓練された畳み込みニューラルネットワークは、高品質のデータを有する人間の顔画像の認識にのみ適し、極端の条件下で得られた人間の顔画像の認識について、満足できる効果を得ることができない。

【0004】

よって、極端の条件下で得られた人間の顔画像に対して正確な認識を行うことができるよう、従来のSoftmax損失関数を改良する必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示の目的は、情報処理方法及び情報処理装置を提供することにある。本開示における情報処理方法及び情報処理装置により、複数のラベル付き訓練サンプルを用いて分類モデルに対して訓練を行い、取得された分類モデルは、極端の条件下で得られたサンプルに対して正確な分類を行うことができる。

【課題を解決するための手段】

【0006】

本開示の目的を達成するために、本開示の一側面によれば、情報処理方法が提供され、それは、複数の訓練サンプルを用いて分類モデルに対して訓練を行い、次のようなステップを含み、即ち、複数の訓練サンプルのうちの典型的なサンプルに基づいて、複数の訓練サンプルの特徴ベクトルの特徴空間における分布を調整し；及び、調整された複数の訓練サンプルの特徴ベクトルを用いて、分類モデルに対して訓練を行うステップである。

【0007】

本開示の他の側面によれば、情報処理装置が提供され、それは、複数の訓練サンプルを用いて分類モデルに対して訓練を行い、次のようなユニットを含み、即ち、複数の訓練サンプルのうちの典型的なサンプルに基づいて、複数の訓練サンプルの特徴ベクトルの特徴空間における分布を調整するための調整ユニット；及び、調整された複数の訓練サンプルの特徴ベクトルを用いて、分類モデルに対して訓練を行うための学習ユニットである。

【0008】

本開示のもう１つの側面によれば、情報処理方法が提供され、該情報処理方法は、本開示の上述の側面に記載の情報処理方法を用いて訓練を行うことで得られた分類モデルにより、検出待ちデータに対して検出を行うステップを含む。

【0009】

本開示の他の側面によれば、さらに、上述の情報処理方法を実現し得るコンピュータプログラムが提供される。また、少なくともコンピュータ可読媒体形式のコンピュータプログラムプロダクトがさらに提供され、その中には、上述の情報処理方法を実現し得るコンピュータプログラムコードが記憶されている。

【0010】

本開示の技術により、複数の訓練サンプルを用いて分類モデルに対して訓練を行うことで、計算コストを著しく増やさない前提で、分類モデルに対しての改良を実現することができる。従来の分類モデルに比べ、本開示における情報処理方法により訓練された分類モデルは、極端の条件下で得られたサンプルに対して正確な分類を行うことができる。言い換えると、本開示の技術は、モデルに、区別可能性が高い訓練サンプルを学習させることができる。

【図面の簡単な説明】

【0011】

【図1】本開示の第一実施形態における情報処理方法のフローチャートである。

【図2】人間の顔画像を訓練サンプルとする例を示す図である。

【図3】本開示の第二実施形態における情報処理方法のフローチャートである。

【図4】本開示の第二実施形態における情報処理方法の各ステップの幾何的解釈を示す図である。

【図5】本開示の実施形態における情報処理装置のブロック図である。

【図6】本開示の実施形態における情報処理方法100、300及び情報処理装置500を実現し得る汎用機器600の構成図である。

【開示を実施するための形態】

【0012】

以下、添付した図面を参照しながら、本開示を実施するための好適な形態を詳細に説明する。なお、このような実施形態は、例示に過ぎず、本開示を限定するものでない。

【0013】

また、分類モデルとしてのSoftmax関数を畳み込みニューラルネットワーク（CNN）に適用して人間の顔認識を行うという背景で本開示の実施形態を説明するが、本開示は、これに限定されない。当業者は、本開示を参照した上で、本開示の思想を他の分類モデル（例えば、Sigmoid関数及びTanh関数）及び他の応用分野（例えば、語音認識）に拡張することもでき、これらの全ては、本開示の範囲に属する。

【0014】

分類モデルの１つとして、Softmax関数は、複数の値のうちから最大値を取る（max）関数と、複数の値のうちの各々の値が最大値として取られる確率との組み合わせであると理解されても良い。Softmax関数は、活性化関数（activation function）として、各種の人工ニューラルネットワークに広く用いられる。

【0015】

畳み込みニューラルネットワークは、フィードフォワード人工ニューラルネットワークであり、画像及び語音処理の分野に広く適用される。畳み込みニューラルネットワークは、３つの重要な特徴、即ち、受容野、重み共有、及びプーリングに基づくものである。

【0016】

畳み込みニューラルネットワークは、各ニューロンが隣接領域中のニューロンのみと接続関係を有し、且つ互いに影響すると仮定する。受容野は、該隣接領域の大小（サイズ）を表す。また、畳み込みニューラルネットワークは、ある領域のニューロン間の接続重みが他の全ての領域にも応用され得ると確定し、即ち、重み共有と仮定する。畳み込みニューラルネットワークのプーリングとは、畳み込みニューラルネットワークを分類問題の解決のために用いるときに集約統計に基づいて行われる次元削減処理を指す。

【0017】

Softmax関数は、畳み込みニューラルネットワークの出力を区間[0、1]にマッピングし、入力されたデータがその対応するクラスに属する確率を示すために用いられるから、分類モデルの１つとして見なされる。

【0018】

畳み込みニューラルネットワークの訓練過程では、畳み込みニューラルネットワークの順方向伝搬結果と、ラベル付き訓練サンプルを用いて計算された結果との間の差を計算し、そして、該差を損失として畳み込みニューラルネットワークの逆方向伝搬を行うことで、畳み込みニューラルネットワークに対して訓練を行う必要がある。プーリング処理では、Softmax関数を使用する場合、Softmax損失関数を用いて畳み込みニューラルネットワークの重みの学習を行う。

【0019】

具体的には、Softmax損失関数は、以下の式（1）に示す形式を有する。

【数1】

【0020】

L_softmaxは、softmax関数の損失を表し、クロスエントロピーと定義される。Nは、特徴化された訓練サンプルx_i（1≦i≦N）の数を表し、Cは、クラスの数を表す。なお、本文における用語“訓練サンプル”とは、分類モデルに対して訓練を行うためのサンプル、即ち、ラベル付きサンプルを指し、例えば、訓練サンプルx_iのラベルは、y_iである。ここで、特徴化された訓練サンプルx_iは、M次元のベクトルであり、そのラベルy_iは、C個のクラスのうちのあるクラスである。

【0021】

W及びbは、それぞれ、畳み込みニューラルネットワークのC*M次元の重み行列及びC次元のオフセットベクトルを示す。W_j（1≦j≦C）は、重み行列における、C個のクラスのうちのj番目のクラスに対応する重みベクトルを示し、j番目のクラスに対応する、M次元ベクトルとするパラメータと理解されても良い。

【0022】

式（1）に対して更なる変換を行うことで、以下の式（2）を得ることができる。

【数2】

【0023】

そのうち、
（外１）

及び
（外２）

は、M次元重みベクトルのモデュラス（mod）を表し、
（外３）

は、M次元訓練サンプルベクトルのモデュラスを表し、θ_j,iは、重みベクトルW_j及び訓練サンプルベクトルx_iのベクトル空間におけるの夾角を表し、そのうち、0≦θ_j,i≦πである。

【0024】

なお、Softmax関数及びその損失関数L_softmaxは、当業者にとって既知のものであるので、その詳しい説明を省略する。しかし、当業者が理解すべきは、本文ではSoftmax関数及びその損失関数L_softmaxに基づいて本開示の実施形態を説明したが、本開示の思想は、同様に、他の分類モデルに適用することができ、また、畳み込みニューラルネットワーク以外の他の人工ニューラルネットワーク、例えば、再帰型ニューラルネットワーク（RNN）、ディープニューラルネットワーク（DNN）などにも応用することができるということである。

【0025】

しかし、従来のSoftmax損失関数L_softmaxを用いて学習を行うことで得られたネットワークモデルは、区別可能性が高い訓練サンプルの学習について、満足できる効果を得ることができないため、損失関数L_softmaxを改良することで、ネットワークモデルが学習を行って、同一クラスに属する訓練サンプルのベクトル空間中での互いの間の距離を減少させ、異なるクラスに属する訓練サンプルのベクトル空間中での互いの間の距離を増大させるようにする必要がある。

【0026】

よって、本開示は、複数の訓練サンプルを用いて分類モデルに対して訓練を行うための情報処理技術を提供する。本開示の技術は、訓練サンプルを用いて訓練を行う前に、とりあえず、訓練サンプルに対して前処理を行い、これにより、分類モデルの学習をガイドして、類（クラス）内距離の減少及び類（クラス）間距離の増大の技術的効果を達成するようにすることができる。

【0027】

以下、図面を参照しながら本開示の実施形態を詳細に説明する。
[第一実施形態]
図1は、本開示の第一実施形態における情報処理方法100のフローチャートである。

【0028】

本開示の第一実施形態における情報処理方法100は、複数の訓練サンプルを用いて分類モデルに対して訓練を行う。図1に示すように、情報処理方法100は、ステップS101でスタートする。その後、ステップS110では、複数の訓練サンプルのうちの典型的なサンプルに基づいて、複数の訓練サンプルの特徴ベクトルの特徴空間における分布を調整する。続いて、ステップS120では、調整された複数の訓練サンプルの特徴ベクトルを用いて、分類モデルに対して訓練を行う。最後に、情報処理方法100は、ステップS130でエンドする。

【0029】

本開示の実施形態の思想は、訓練の前に、訓練サンプルに制約条件を設けることで、異なるクラス間の訓練サンプルの区別可能性を増強することにある。

【0030】

本開示の１つの実施方式では、ステップS110における特徴ベクトルの空間分布の調整処理は、次のような方式で行われても良く、即ち、複数の訓練サンプルのうちの、同一クラスに属する訓練サンプルのうちから、最も顕著なクラス特徴を有する訓練サンプルを該クラスの典型的なサンプルとして選択し、且つ典型的なサンプル以外の他の訓練サンプルの特徴ベクトルを、典型的なサンプルの特徴ベクトルへ集めさせる。該処理の目的は、訓練サンプルを用いて分類モデルに対して訓練を行う前に、同一クラスに属する訓練サンプル間の区別可能性を減少させ、且つ異なるクラスに属する訓練サンプル間の区別可能性を増大することにある。

【0031】

本開示の１つの実施方式によれば、最も顕著なクラス特徴は、分類モデルが典型的なサンプルを他のクラスの訓練サンプルに分類しないようにさせることができる。

【0032】

例えば、訓練サンプルが人間の顔画像であり、且つ分類モデルとしての人間の顔認識モデルに対して訓練を行うために用いられるときに、同一人物に属する人間の顔画像（即ち、同一クラスに属する訓練サンプル）について、標準の環境下で、例えば、色の対比効果が明らかの背景であり、光度が均一且つ適切であり、顔がレンズにまっすぐに面し且つオフセットがないなどの条件下で取られた人間の顔画像は、典型的なサンプルとされても良い。言い換えると、人間の顔認識モデルは、典型的なサンプルとしての該人間の顔画像を、他人に属するように分類することがない。

【0033】

図2の（a）及び（b）は、人間の顔画像を訓練サンプルとする例を示す図である。そのうち、図2の（a）は、ステップS110の処理が行われていない訓練サンプルを示す図であり、図2の（b）は、ステップS110の処理が行われている訓練サンプルを示す図である。

【0034】

図2の（a）及び（b）中の横座標及び縦座標は、それぞれ、クラスを表す。図2の（a）及び（b）に示す場合、人間の顔画像が訓練サンプルとされ、異なるクラスに属し、即ち、異なる人物に属する。図2の（a）に示すように、異なる人物（クラス）に属する人間の顔画像（訓練サンプル）の間の距離が大きくないので、区別可能性が明らかでない。このような場合、処理を受けていない訓練サンプルを用いて訓練を行うことにより得られた人間の顔認識モデルは、極端の場合に取得されたサンプル、例えば、背景の色が顔の色に近く、光度が小さく、顔がレンズからずれているなどの場合で取得された人間の顔画像について、良好な分類効果を得ることができない。

【0035】

本開示の第一実施形態における情報処理方法100を応用するときに、ステップS110の処理、即ち、背景のコントラストが明らかであり、照明の条件が理想的である場合に取得された人間の正面の顔画像を該クラス（人間）の典型的なサンプルとし、他の訓練サンプル（人間の顔画像）の特徴ベクトルの特徴空間における分布を調整することで、他の訓練サンプルの特徴ベクトルを、典型的なサンプルの特徴ベクトルへ集めさせ、これにより、同一クラスに属する訓練サンプル間の区別可能性を減少させ、且つ異なるクラスに属する訓練サンプル間の区別可能性を増大することができる。

【0036】

本開示の１つの実施方式によれば、次のような方式でステップS110の処理を実現することができ、即ち、典型的なサンプルの特徴ベクトルを中心として、他の訓練サンプルの特徴ベクトルと、該典型的なサンプルの特徴ベクトルとの間の距離に対して正規化を行う。

【0037】

以下、損失関数L_softmaxを用いて、本開示の第一実施形態における情報処理方法100のステップS110について説明する。

【0038】

情報処理方法100のステップS110における処理に基づいて、式（2）中の損失関数L_softmaxは、以下の式（3）にすることができる。

【数3】

【0039】

同一クラスに属する訓練サンプルx_iについて、典型的なサンプルに対して正規化を行い、即ち、

【数4】

であり、そのうち、βは、定数である。このような処理により、特徴空間において、同一クラスに属する、典型的なサンプル以外の他の訓練サンプルの特徴ベクトルを、典型的なサンプルの特徴ベクトルへ集めさせることで、同一クラスに属する訓練サンプルの区別可能性を減少させ、異なるクラスに属する訓練サンプルの区別可能性を増大することができる。

【0040】

その後、上述のように、ステップS120では、情報処理方法100は、調整された複数の訓練サンプルの特徴ベクトルを用いて、分類モデルに対して訓練を行うことで、最終の経訓練の分類モデルを取得することができる。

【0041】

情報処理方法100により、訓練の前に、訓練サンプルに対して前調整（前処理）を行うことで、訓練の過程で、同一クラスに属する訓練サンプル間の区別可能性を減少させ、且つ異なるクラスに属する訓練サンプル間の区別可能性を増大することができる。このように訓練された分類モデルは、極端の条件下で取得されたサンプルに対しても正確な分類を行うことができる。
[第二実施形態]
本開示によれば、訓練の前に、訓練サンプルに対して前処理を行うこと以外に、分類モデル自身に対して前処理を行うこともできる。

【0042】

図3は、本開示の第二実施形態における情報処理方法300のフローチャートである。

【0043】

図3に示すように、情報処理方法300は、ステップS301でスタートする。その後、ステップS310を実行する。なお、図3中のステップS310は、図1中のステップS110と全く同じであるので、説明の便宜のため、該ステップについての重複説明が省略される。

【0044】

図3に示すように、本開示の第二実施形態によれば、情報処理方法300は、ステップS320をさらに含んでも良く、そのうち、分類モデルの、異なるクラスについてのパラメータを正規化し、これにより、調整された前記複数の訓練サンプルの特徴ベクトル及び正規化されたパラメータに基づいて、前記分類モデルに対して訓練を行う。

【0045】

上述の式（1）～式（3）に示すように、重みベクトルW_jは、ベクトル空間における原点からの軸線と理解されても良い。よって、ベクトル空間には、原点で交差するC個の軸線が存在し、それらは、それぞれ、C個のクラスに対応するとともに、C個の重みベクトルW_jに対応する。同一クラスに属する訓練サンプルの特徴ベクトルは、ベクトル空間において対応する重みベクトルW_j近傍で集まる。

【0046】

換言すると、各クラスについて、分類モデルは、該クラスに対応するパラメータ、例えば、重みベクトルW_j及び対応するオフセット値b_jを有することができる。

【0047】

重みベクトルW_jに対して正規化を行うことで、ベクトル空間において重みベクトルW_jを同一球面に投影することができる。ステップS320の処理により、重みベクトルW_jのモデュラスの、分類モデルの訓練への影響を無くし、より厳しい分類基準を得ることができる。

【0048】

ステップS320における処理に基づいて、式（3）中の損失関数L_softmaxをさらに以下の式（4）にすることができる。

【数5】

【0049】

そのうち、重みベクトルW_jに対して正規化を行い、即ち、

【数6】

であり、そのうち、αは、定数である。

【0050】

また、図3に示すように、本開示の第二実施形態によれば、情報処理方法300は、ステップS330をさらに含んでも良く、そのうち、複数の訓練サンプルの属する異なるクラス間の区別マージンを増加させ、これにより、調整された前記複数の訓練サンプルの特徴ベクトル及び増加した区別マージンに基づいて、分類モデルに対して訓練を行うことができる。

【0051】

ステップS330の処理の目的も、同一クラスに属する訓練サンプル間の区別可能性を減少させ、且つ異なるクラスに属する訓練サンプル間の区別可能性を増大することにある。

【0052】

具体的には、本開示の１つの実施方式によれば、区別マージンの増加は、次のような方式で行うことができ、即ち、複数の訓練サンプルのうちの各訓練サンプルについて、該訓練サンプルと、対応するクラスのパラメータとの間の類似度を調整する。上述のように、同一クラスに属する訓練サンプル間の区別可能性を減少させるために、該訓練サンプルと、対応するクラスのパラメータとの間の類似度を調整することができ、即ち、訓練サンプルベクトルx_iと、対応する重みベクトルW_yiとの間の類似度を調整することができる。

【0053】

より具体的には、本開示の１つの実施方式によれば、類似度の調整は、訓練サンプルの特徴ベクトルと、分類モデルの対応するパラメータの特徴ベクトルとの間の夾角に係数mを乗算することを含んでも良く、そのうち、m＞1である。換言すると、訓練サンプルベクトルx_i及びその対応する重みベクトルW_yiについて、この２つのベクトルの間の夾角を減少することで、それらの間の類似度を増加させることができる。

【0054】

以下、L_softmax損失関数をもとに説明を行う。

【0055】

上述のステップS330における処理に基づいて、式（4）中の損失関数Lsoftmaxは、以下の式（5）にすることができる。

【数7】

【0056】

そのうち、

【数8】

且つ

【数9】

である。

【0057】

言い換えると、m（≧1）を導入することで、同一クラスに属する訓練サンプル間の区別可能性を減少させ、且つ異なるクラスに属する訓練サンプル間の区別可能性を増加させることができる。換言すれば、係数m（≧1）を導入することで、複数の訓練サンプルの属する異なるクラス間の区別マージンを増大することができる。

【0058】

係数mは、複数の方法で選択することができる。

【0059】

例えば、本開示の１つの実施方式によれば、係数mは、同一クラス内の最大角度特徴距離が異なるクラス間の最小角度特徴距離よりも小さくなるよう選択されても良い。言い換えると、係数mを導入することで、同一クラスに属する全ての訓練サンプルの特徴ベクトルのベクトル空間における互いの間の夾角のうちの最大値が、異なるクラスに属する訓練サンプルの特徴ベクトルのベクトル空間における互いの間の夾角のうちの最小値よりも小さくなるようにさせることで、同一クラスに属する訓練サンプル間の区別可能性が小さくなり、且つ異なるクラスに属する訓練サンプル間の区別可能性が大きくなるようにさせることができる。

【0060】

また、本開示の１つの実施方式によれば、複数の訓練サンプルの属するクラスの数Cが増加するときに、係数mを減少させ、また、該数Cが減少するときに、係数mを増加させる。上述のように、係数mを増大することで、同一クラスに属する訓練サンプルの特徴ベクトルのベクトル空間における互いの間の夾角を減少させ、且つ異なるクラスに属する訓練サンプルの特徴ベクトルのベクトル空間における互いの間の夾角を増加させることができる。しかし、係数mは、クラスの数Cと関連する。具体的には、数Cが大きいときに、ベクトル空間における重みベクトルW_jの分布が密集するので、係数mの値を過剰に増加させることができない。同様に、数が小さいときに、ベクトル空間における重みベクトルW_jの分布が疎らであるため、係数mの値を適切に増加させることができる。

【0061】

その後、図3に示すように、ステップS340では、調整された複数の訓練サンプルの特徴ベクトル、正規化されたパラメータ、及び増加した区別マージンに基づいて、分類モデルに対して訓練を行うことで、訓練後の分類モデルを得ることができる。最後に、情報処理方法300は、ステップS350でエンドする。

【0062】

情報処理方法300により訓練された分類モデルは、極端の条件下で得られたサンプルに対しても正確な分類を行うことができる。

【0063】

以上、ステップS310、S320、S330の順序で情報処理方法300を説明したが、当業者が理解すべきは、上述のステップの実行順序について特別な限定が存在しないということである。換言すると、ステップS310、S320、S330は、任意の順序に従って行われても良く、又は、同時に実行されても良く、これらの全ては、本開示の範囲に属する。また、当業者が理解すべきは、ステップS320及びS330は、本開示の実施形態における情報処理方法にとって必須でないということがである。換言すれば、ステップS320及びS330を実行せず、ステップS310のみを実行しても良く、又は、ステップS310、ステップS320、及びステップS330のうちの１つを実行しても良い。

【0064】

本開示の技術をより分かりやすく説明するために、以下、図4の（a）、（b）、（c）及び（d）を参照しながら、本開示の情報処理方法300における各ステップの解釈について説明する。

【0065】

図4の（a）、（b）、（c）及び（d）は、本開示の第二実施形態における情報処理方法300の各ステップの幾何的解釈を示す図である。

【0066】

具体的には、図4の（a）は、分類モデル及び訓練サンプルに対して前処理を行っていない場合を示す。図4の（a）に示すように、例えば、訓練サンプルが２つのクラス（それぞれ、浅い色のポイント及び深い色のポインで表す）に属し、例えば、重みベクトルのこの２つのクラスのパラメータのベクトル空間における投影がW₁及びW₂であり、訓練サンプルのベクトル空間における特徴ベクトルがこの２つの重みベクトルの周囲に分布している。理解しやすいために、図4の（a）は、クラスを判定するための境界を示している。

【0067】

図4の（b）は、分類モデルに対して、類（クラス）間区別マージンを増加させるための前処理（ステップS330）を行う場合を示す。図4の（b）に示すように、ステップS330を実行することで、クラス間の判定境界は、１つの線から１つの扇形まで拡張され、且つ各クラスの訓練サンプルは、対応する重みベクトルへ集まり（図中の浅い色の矢印で表す）、これにより、同一クラスに属する訓練サンプル間の区別可能性を小さくし、異なるクラスに属する訓練サンプル間の区別可能性を大きくすることができる。

【0068】

図4の（c）は、分類モデルに対して、クラスのパラメータを正規化するための前処理（ステップS320）をさらに行う場合を示す。図4の（c）に示すように、ステップS320を行うことで、重みベクトルW₁及びW₂が正規化され、これにより、ベクトル空間における同一球面に投影することができるため、重みベクトルのモデュラスの分類モデルの訓練過程への影響を無くし、より厳しい分類基準を得ることができる。

【0069】

図4の（d）は、分類モデルに対して、クラスのパラメータを正規化するための前処理（ステップS110又はS310）をさらに行う場合を示す。図4の（c）に示すように、ステップS110又はS310を実行することで、異なるクラスに属する訓練サンプルは、それぞれ、対応する典型的なサンプルへ集まり（図中の浅い色の矢印で表す）、これにより、同一クラスに属する訓練サンプル間の区別可能性をより小さくし、異なるクラスに属する訓練サンプル間の区別可能性をより大きくすることができる。

【0070】

本開示の情報処理方法により、訓練の前に、訓練サンプル及び分類モデルに対して、予め調整を行うことで、訓練の過程で、同一クラスに属する訓練サンプル間の区別可能性を減少させ、且つ異なるクラスに属する訓練サンプル間の区別可能性を増加させることができる。このように訓練された分類モデルは、極端の条件下で取得されたサンプルに対しても正確な分類を行うことができる。

【0071】

図5は、本開示の実施形態における情報処理装置500のブロック図である。

【0072】

図5に示すように、複数の訓練サンプルを用いて分類モデルに対して訓練を行うための情報処理装置500は、以下のようなものを含む。

【0073】

調整ユニット501：複数の訓練サンプルのうちの典型的なサンプルに基づいて、複数の訓練サンプルの特徴ベクトルの特徴空間における分布を調整し；
学習ユニット502：調整された複数の訓練サンプルの特徴ベクトルを用いて、分類モデルに対して訓練を行う。

【0074】

調整ユニット501は、上述の方法100におけるステップS110又は方法300におけるステップS310の処理を実行するように構成され、且つ該処理による利点を得ることもできる。なお、ここでは、その詳しい説明を省略する。

【0075】

学習ユニット502は、上述の方法100のステップS120又は方法300におけるステップS340の処理を実行するように構成され、且つ該処理による利点を得ることもできる。なお、ここでは、その詳しい説明を省略する。

【0076】

また、本開示は、情報処理方法をさらに提供し、それは、上述の情報処理方法により訓練を行うことで得られる分類モデルを用いて、検出待ちデータに対して検出を行う。上述の情報処理方法により訓練を行うことで、極端の場合に取得されたサンプルについても良好な分類効果を有する分類モデルを得ることができ、また、該分類モデルをラベル無しサンプル（即ち、検出待ちデータ）の分類に適用することもできる。

【0077】

図6は、本開示の実施形態における、複数の訓練サンプルを用いて分類モデルに対して訓練を行う情報処理方法100、300及び情報処理装置500を実現し得る汎用機器600の構成図である。汎用機器600は、例えば、コンピュータシステムである。なお、汎用機器600は、例示に過ぎず、本開示における方法及び装置の応用範囲又は機能について限定しない。

【0078】

図6では、中央処理装置(CPU)601は、ROM 602に記憶されているプログラム又は記憶部608からRAM 603にロードされているプログラムに基づいて各種の処理を行う。RAM 603では、さらに、CPU 601が各種の処理などを実行するときに必要なデータを記憶しても良い。CPU 601、ROM 602、及びRAM 603は、バス604により互いに接続される。入力／出力インターフェース605もバス604に接続される。

【0079】

また、次のような部品は、入力／出力インターフェース605に接続され、即ち、入力部606（キーボード、マウスなどを含む）、出力部607（表示器、例えば、CRT、LCDなど、及びスピーカーなどを含む）、記憶部608（ハードディスクなどを含む）、及び通信部609（ネットワーク・インターフェース・カード、例えば、LANカード、モデムなどを含む）というような部品である。通信部609は、ネットワーク、例えば、インターネットを経由して通信処理を行う。なお、必要に応じて、ドライブ610を入力／出力インターフェース605に接続させても良い。取り外し可能な媒体611、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などは、必要に応じて、ドライブ610にセットされ、その中から読み出されたコンピュータプログラムが必要に応じて記憶部608にインスタールされるようにさせることができる。

【0080】

また、本開示は、さらに、マシン可読指令コードを含むプログラムプロダクトを提供する。このような指令コードは、マシンにより読み取られて実行されるときに、上述の本開示の実施形態における方法を実行することができる。それ相応に、このようなプログラムプロダクトをキャリー（carry）する、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（CD-ROM及びDVDを含む）、光磁気ディスク（MD（登録商標）を含む）、及び半導体記憶器などの各種記憶媒体も、本開示に含まれる。

【0081】

上述の記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などを含んでも良いが、これらに限定されない。

【0082】

また、本開示の上述の方法の各操作（処理）は、各種のマシン可読記憶媒体に記憶されているコンピュータ実行可能なプログラムの方式で実現することもできる。

【0083】

また、以上の実施形態などに関し、さらに以下のように付記を開示する。

【0084】

（付記1）
複数の訓練サンプルを用いて分類モデルに対して訓練を行う情報処理方法であって、
前記複数の訓練サンプルのうちの典型的なサンプルに基づいて、前記複数の訓練サンプルの特徴ベクトルの特徴空間中での分布を調整し；及び
調整された複数の訓練サンプルの特徴ベクトルを用いて、前記分類モデルに対して訓練を行うことを含む。

【0085】

（付記2）
付記1に記載の情報処理方法であって、
前記典型的なサンプルは、最も顕著なクラス特徴を有する訓練サンプルであり、
前記複数の訓練サンプルのうちの典型的なサンプルに基づいて、前記複数の訓練サンプルの特徴ベクトルの特徴空間中での分布を調整することは、
典型的なサンプル以外の他の訓練サンプルの特徴ベクトルが前記典型的なサンプルの特徴ベクトルへ集まるようにさせることを含む、情報処理方法。

【0086】

（付記3）
付記2に記載の情報処理方法であって、
前記最も顕著なクラス特徴は、前記分類モデルが前記典型的なサンプルを他のクラスに分類しないようにさせる、情報処理方法。

【0087】

（付記4）
付記2に記載の情報処理方法であって、
前記典型的なサンプル以外の他の訓練サンプルの特徴ベクトルが前記典型的なサンプルの特徴ベクトルへ集まるようにさせることは、
前記典型的なサンプルの特徴ベクトルを中心として、他の訓練サンプルの特徴ベクトルと、該典型的なサンプルの特徴ベクトルとの間の距離に対して正規化を行うことを含む、情報処理方法。

【0088】

（付記5）
付記1に記載の情報処理方法であって、
各クラスについて、前記分類モデルは、該クラスに対応するパラメータを有し、
前記方法は、さらに、
前記分類モデルの、異なるクラスについてのパラメータを正規化し、調整された前記複数の訓練サンプルの特徴ベクトル及び正規化されたパラメータに基づいて、前記分類モデルを訓練することを含む、情報処理方法。

【0089】

（付記6）
付記1に記載の情報処理方法であって、さらに、
前記複数の訓練サンプルの属する異なるクラス間の区別マージンを増加させ、調整された前記複数の訓練サンプルの特徴ベクトル及び増加した区別マージンに基づいて、前記分類モデルを訓練することを含む、情報処理方法。

【0090】

（付記7）
付記6に記載の情報処理方法であって、
前記複数の訓練サンプルの属する異なるクラス間の区別マージンを増加させることは、
前記複数の訓練サンプルのうちの各訓練サンプルについて、該訓練サンプルと、対応するクラスのパラメータとの間の類似度を調整することをさらに含む、情報処理方法。

【0091】

（付記8）
付記7に記載の情報処理方法であって、
前記複数の訓練サンプルのうちの各訓練サンプルについて、該訓練サンプルと、対応するクラスのパラメータとの間の類似度を調整することは、
該訓練サンプルの特徴ベクトルと、前記分類モデルの対応するパラメータの特徴ベクトルとの間の夾角に係数mを乗算することを含み、m＞1である、情報処理方法。

【0092】

（付記9）
付記8に記載の情報処理方法であって、
前記係数mは、同一クラス内の最大角度特徴距離が異なるクラス間の最小角度特徴距離よりも小さくなるように選択される、情報処理方法。

【0093】

（付記10）
付記8に記載の情報処理方法であって、
前記複数の訓練サンプルの属するクラスの数が増加するときに、前記係数mを減少させ；及び、前記数が減少するときに、前記係数mを増加させる、情報処理方法。

【0094】

（付記11）
付記1に記載の情報処理方法であって、
前記分類モデルは、Softmax関数であり、前記パラメータは、Softmax関数の、異なるクラスについての重みであり、前記訓練サンプルは、Softmax関数の訓練過程で使用される入力である、情報処理方法。

【0095】

（付記12）
複数の訓練サンプルを用いて分類モデルに対して訓練を行う情報処理装置であって、
調整ユニットであって、前記複数の訓練サンプルのうちの典型的なサンプルに基づいて、前記複数の訓練サンプルの特徴ベクトルの特徴空間中で分布を調整するもの；及び
学習ユニットであって、調整された複数の訓練サンプルの特徴ベクトルを用いて、前記分類モデルに対して訓練を行うものを含む、情報処理装置。

【0096】

（付記13）
情報処理方法であって、
付記1～11に記載の情報処理方法を用いて訓練を行うことにより得られた分類モデルにより、検出待ちデータに対して検出を行う、情報処理方法。

【0097】

以上、本開示の好ましい実施形態を説明したが、本開示はこの実施形態に限定されず、本開示の趣旨を離脱しない限り、本開示に対するあらゆる変更は、本開示の技術的範囲に属する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】