特許 7627029 感情分類器の訓練装置及び訓練方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-28

(45)【発行日】2025-02-05

(54)【発明の名称】感情分類器の訓練装置及び訓練方法

(51)【国際特許分類】

   G10L 25/63 20130101AFI20250129BHJP

   G10L 25/30 20130101ALI20250129BHJP

【ＦＩ】

G10L25/63

G10L25/30

【請求項の数】 16

(21)【出願番号】P 2021048619

(22)【出願日】2021-03-23

(65)【公開番号】P2022147397

(43)【公開日】2022-10-06

【審査請求日】2024-01-18

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和２年１１月１０日、ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ＣＺＦｕＣｈａｓｏｎ／ＭＡＥＣにて発表

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３１年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業 総括実施型研究ＥＲＡＴＯ「石黒共生ヒューマンロボットインタラクションプロジェクト」協働研究、産業技術力強化法第１７条の適用を受ける特許出願

(73)【特許権者】

【識別番号】393031586

【氏名又は名称】株式会社国際電気通信基礎技術研究所

(74)【代理人】

【識別番号】100099933

【弁理士】

【氏名又は名称】清水 敏

(72)【発明者】

【氏名】フ ショウゼン

(72)【発明者】

【氏名】劉 超然

(72)【発明者】

【氏名】イシイ カルロス トシノリ

【審査官】土井 悠生

(56)【参考文献】

【文献】特開２０２０－０９１３３８（ＪＰ，Ａ）

【文献】国際公開第２０２０／２０４９４８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

音声データの表わす発話者の感情を分類する、ニューラルネットワークからなる感情分類器を訓練するための訓練装置であって、
複数の訓練データ項目を含む訓練データを記憶する訓練データ記憶装置に接続して用いられ、
前記複数の訓練データ項目の各々は、音声データと、当該音声データが表わす発話者の感情を示すラベルとを含み、前記ラベルは複数種類のラベルから選択され、
前記訓練装置は、
前記訓練データから訓練データ項目を選択する訓練データ選択手段と、
前記訓練データ選択手段により選択された訓練データ項目を入力に受けるように接続された第１のニューラルネットワークと、
前記複数種類のラベルに応じて予め準備された、互いに異なる複数の分布のうち、前記訓練データ選択手段により選択された前記訓練データ項目の前記ラベルに応じた分布からサンプルを取得するサンプリング手段と、
前記第１のニューラルネットワークの出力を入力として受ける第２のニューラルネットワークと、
前記第１のニューラルネットワークの出力と、前記サンプリング手段がサンプリングした前記サンプルとを選択的に入力として受けるように接続される第３のニューラルネットワークと、
前記第３のニューラルネットワークが、前記サンプリング手段により取得されたサンプルと、前記訓練データ選択手段により選択された前記訓練データ項目を受けた前記第１のニューラルネットワークの出力とを識別するよう、前記第１及び前記第３のニューラルネットワークを訓練し、かつ、前記第２のニューラルネットワークが、前記訓練データ選択手段により選択された前記訓練データ項目を受けた前記第１のニューラルネットワークの前記出力に基づき、当該訓練データ項目に付されたラベルを推定して前記訓練データ項目を分類するよう、前記第１及び前記第２のニューラルネットワークを訓練するための訓練手段とを含み、
前記訓練手段による訓練が終了したときの前記第２のニューラルネットワークが前記感情分類器である、訓練装置。

【請求項2】

前記訓練手段は、
前記第３のニューラルネットワークが、前記サンプリング手段により取得されたサンプルを第１の種類のデータであると識別するよう、前記第３のニューラルネットワークを訓練する第１訓練手段と、
前記訓練データ選択手段により選択された前記訓練データ項目を入力として受けた前記第１のニューラルネットワークの出力が、前記第１の種類ではない第２の種類のデータであると前記第３のニューラルネットワークが識別するよう、前記第１のニューラルネットワーク及び前記第３のニューラルネットワークを訓練する第２訓練手段と、
前記訓練データ選択手段により選択された前記訓練データ項目に対して前記第１のニューラルネットワークの出力を受けた前記第２のニューラルネットワークが、当該訓練データ項目に付された前記ラベルにしたがった分類結果を出力するよう、前記第１及び前記第２のニューラルネットワークを訓練するための第３訓練手段と、
前記訓練データ選択手段、前記サンプリング手段、前記第１、前記第２、及び前記第３訓練手段による前記第１、前記第２、及び前記第３のニューラルネットワークの訓練を、前記訓練データ選択手段により選択される訓練データ項目を変化させながら、所定の終了条件が成立するまで繰り返すよう制御する訓練制御手段とを含む、請求項１に記載の訓練装置。

【請求項3】

前記訓練データ項目の各々には、発話者の属性を示す属性ラベルがさらに付されており、
前記第３訓練手段は、前記訓練データ項目の発話者の感情に加え、当該発話者の前記属性ラベルも分類するよう、前記第２のニューラルネットワークを訓練する、請求項２に記載の訓練装置。

【請求項4】

前記属性ラベルは、発話者の性別を表わす、請求項３に記載の訓練装置。

【請求項5】

前記サンプリング手段は、前記複数種類のラベルに応じて予め準備された、互いに異なる複数のガウス分布のうち、前記訓練データ選択手段により選択された前記訓練データ項目の前記ラベルに応じたガウス分布からサンプルを取得するガウス分布サンプリング手段を含む、請求項１から請求項４のいずれか１項に記載の訓練装置。

【請求項6】

前記複数のガウス分布は、互いに異なる平均を持つ、請求項５に記載の訓練装置。

【請求項7】

前記複数のガウス分布は、互いに等しい分散を持つ、請求項６に記載の訓練装置。

【請求項8】

前記複数のガウス分布の平均は互いに１ずつ異なっている、請求項６又は請求項７に記載の訓練装置。

【請求項9】

前記複数のガウス分布の分散は、いずれも前記複数のガウス分布の平均の相違の最小値の半分以下でありかつ０より大きい、請求項６から請求項８のいずれか１項に記載の訓練装置。

【請求項10】

前記複数のガウス分布の分散はいずれも前記複数のガウス分布の平均の最小値の０．４倍以下である、請求項９に記載の訓練装置。

【請求項11】

前記第１のニューラルネットワークの出力と、前記サンプリング手段によりサンプリングされるサンプルとは互いに等しい次元のベクトルである、請求項１から請求項１０のいずれか１項に記載の訓練装置。

【請求項12】

コンピュータにより、音声データの表わす発話者の感情を分類する、ニューラルネットワークからなる感情分類器を訓練するための訓練方法であって、
複数の訓練データ項目を含む訓練データを記憶する訓練データ記憶装置に接続して用いられ、
前記複数の訓練データ項目の各々は、音声データと、当該音声データが表わす発話者の感情を示すラベルとを含み、前記ラベルは複数種類のラベルから選択され、
前記訓練方法は、
コンピュータが、前記訓練データ記憶装置に記憶された前記複数の訓練データ項目から訓練データ項目を選択するステップと、
コンピュータが、前記選択するステップにおいて選択されたデータ項目を第１のニューラルネットワークの入力に与えるステップと、
コンピュータが、前記複数種類のラベルに応じて予め準備された、互いに異なる複数の分布のうち、前記選択するステップにおいて選択された前記訓練データ項目の前記ラベルに応じた分布からサンプルを取得するステップと、
コンピュータが、前記第１のニューラルネットワークの出力を第２のニューラルネットワークに入力するステップと、
コンピュータが、前記第１のニューラルネットワークの出力と、前記サンプルを取得するステップにおいてサンプリングされた前記サンプルとを選択的に第３のニューラルネットワークに入力するステップと、
前記第３のニューラルネットワークが、前記サンプルを取得するステップにおいて取得されたサンプルと、前記選択するステップにおいて選択された前記訓練データ項目を受けた前記第１のニューラルネットワークの出力とを識別するよう、コンピュータが、前記第１及び前記第３のニューラルネットワークを訓練し、かつ、前記第２のニューラルネットワークが、前記選択するステップにおいて選択された前記訓練データ項目を受けた前記第１のニューラルネットワークの出力に基づき、当該訓練データ項目に付されたラベルを推定して前記訓練データ項目を分類するよう、コンピュータが、前記第１及び前記第２のニューラルネットワークを訓練するステップとを含み、
前記訓練するステップにおける訓練が終了したときの前記第２のニューラルネットワークが前記感情分類器となる、訓練方法。

【請求項13】

前記訓練するステップは、
前記第３のニューラルネットワークが、前記サンプルを取得するステップにおいて取得されたサンプルを第１の種類のデータであると識別するよう、コンピュータが前記第３のニューラルネットワークを訓練する第１訓練ステップと、
前記選択するステップにおいて選択された前記訓練データ項目を入力として受けた前記第１のニューラルネットワークの出力が、前記第１の種類ではない第２の種類のデータであると前記第３のニューラルネットワークが識別するよう、コンピュータが前記第１のニューラルネットワーク及び前記第３のニューラルネットワークを訓練する第２訓練ステップと、
前記選択するステップにおいて選択された前記訓練データ項目に対して前記第１のニューラルネットワークの出力を受けた前記第２のニューラルネットワークが、当該訓練データ項目に付された前記ラベルにしたがった分類結果を出力するよう、コンピュータが、前記第１及び前記第２のニューラルネットワークを訓練するための第３訓練ステップと、
前記選択するステップ、前記サンプルを取得するステップ、前記第１、前記第２、及び前記第３訓練ステップを、前記選択するステップにおいて選択される訓練データ項目を変化させながら、所定の終了条件が成立するまでコンピュータが繰り返す繰り返しステップとを含む、請求項１２に記載の訓練方法。

【請求項14】

前記訓練データ項目の各々には、発話者の所定の属性の種類を示す属性ラベルがさらに付されており、
前記第３訓練ステップは、前記訓練データ項目の発話者の感情に加え、当該発話者の前記所定の属性も分類するよう、コンピュータが前記第２のニューラルネットワークを訓練するステップを含む、請求項１３に記載の訓練方法。

【請求項15】

前記所定の属性は、発話者の性別である、請求項１４に記載の訓練方法。

【請求項16】

前記サンプルを取得するステップは、コンピュータが、前記複数種類のラベルに応じて予め準備された、互いに異なる複数のガウス分布のうち、前記選択するステップにおいて選択された前記訓練データ項目の前記ラベルに応じたガウス分布からサンプルを取得するステップを含む、請求項１２から請求項１５のいずれか１項に記載の訓練方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は感情分類技術に関し、特に、音声から発話者の感情を推定する感情分類器の訓練装置及び訓練方法に関する。

【背景技術】

【0002】

音声に基づく感情認識（Ｓｐｅｅｃｈ Ｅｍｏｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ）は、施設の利用者の感情を追跡したり、及び人間とエージェントとの間のユーザ体験を改善したりするという用途に使用されている。最近では特に、特徴選択といわゆる深層学習モデルとの発達により、音声感情認識は非常に発達してきている。発話サンプルは時系列という属性を持つため、これまでの研究では多くがＧＲＵ（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）及びＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ）、又は畳込みニューラルネットワーク（ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ））とＬＳＴＭの組み合わせを用いて時系列情報を理解することを試みている。

【0003】

発話中に含まれる特徴量の系列を考慮するのに加え、最近では会話における文脈に関する情報を分析可能な新たなモデルが提案されている。こうしたモデルによりさらに感情認識の精度は向上した。これ以外にも、ラベルを適用するために最も有効なフレームを特定するための手法としてアテンションを採用する技術、さらに発話中で最も目立つ部分を特定し焦点をあてるために複数インスタンス学習という考えを採用することも提案されている。また、音声は人により、またその性別により種々であるため、音声感情認識の精度を高めるために、性別と感情との双方を分類するマルチタスク学習という手法も提案されている。

【先行技術文献】

【非特許文献】

【0004】

【文献】Yunqi Cai, Lantian Li, Dong Wang, and Andrew Abel. ”Deep normalization for speaker vectors.” arXiv preprint arXiv:2004.04095 (2020).

【文献】Jiaxing Liu, Zhilei Liu, Longbiao Wang, Lili Guo, and Jianwu Dang. ”Speech Emotion Recognition with Local-Global Aware Deep Representation Learning.” In ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 7174-7178. IEEE, 2020.

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしこうした進歩にもかかわらず、発話を正則化することについてはあまり重要視されていない。発話における感情の表現は人により異なるため、そのような偏りのために、同じカテゴリに属するサンプルが一つのクラスタにまとまらなかったり、不規則な境界の（非ガウス分布にしたがう）クラスタを形成したりする可能性がある。特に高次空間ではこの問題がより大きくなり、同一ドメイン内のデータセットに対してモデルが過学習を起こしやすくなったり、パターン分布の局所的な不規則性に過敏になったり、複数ドメインでの実装の際のスコアが低くなったりする可能性がある。

【0006】

こうした課題を解決するために、前掲の非特許文献１は、感情認識の分野ではなく話者識別という分野ではあるが、識別的正規化フローモデルと呼ばれる新たなモデルを用いて深層正規化と呼ばれる手法を提案している。

【0007】

この非特許文献１の手法によれば、分布の空間を正則化することはできるが、話者識別の分野であって感情分類の分野にそのまま適用するのは難しい。少なくとも感情分類の分野に非特許文献１の手法を適用したとしてもさらに改良が必要である。

【0008】

それ故にこの発明の主たる目的は種々の話者による音声からも高い精度で話者の感情の分類を行うことができるような感情分類器の訓練装置及び訓練方法を提供することである。

【課題を解決するための手段】

【0009】

本発明の第１の局面に係る訓練装置は、音声データの表わす話者の感情を分類する、ニューラルネットワークからなる感情分類器を訓練するための訓練装置であって、複数の訓練データ項目を記憶する訓練データ記憶装置に接続して用いられ、複数の訓練データ項目の各々は、音声データと、当該音声データが表わす話者の感情を示すラベルとを含み、ラベルは複数種類のラベルから選択され、訓練装置は、訓練データから訓練データ項目を選択する訓練データ選択手段と、訓練データ選択手段により選択された訓練データ項目を入力に受けるように接続された第１のニューラルネットワークと、複数種類のラベルに応じて予め準備された、互いに異なる複数の分布のうち、訓練データ選択手段により選択された訓練データ項目のラベルに応じた分布からサンプルを取得するサンプリング手段と、第１のニューラルネットワークの出力を入力として受ける第２のニューラルネットワークと、第１のニューラルネットワークの出力と、サンプリング手段がサンプリングしたサンプルとを選択的に入力として受けるように接続される第３のニューラルネットワークと、第３のニューラルネットワークが、サンプリング手段により取得されたサンプルと、訓練データ選択手段により選択された訓練データ項目とを識別し、かつ、第２のニューラルネットワークが、訓練データ選択手段により選択された訓練データ項目を受けた第１のニューラルネットワークの出力に基づき、当該訓練データ項目に付されたラベルを推定して訓練データ項目を分類するよう、第１、第２、及び第３のニューラルネットワークを訓練するための訓練手段とを含み、訓練手段による訓練が終了したときの第２のニューラルネットワークが感情分類器である。

【0010】

好ましくは、訓練手段は、第３のニューラルネットワークが、サンプリング手段により取得されたサンプルを第１の種類のデータであると識別するよう、第３のニューラルネットワークを訓練する第１訓練手段と、訓練データ選択手段により選択された訓練データ項目を入力として受けた第１のニューラルネットワークの出力が、第１の種類ではない第２の種類のデータであると第３のニューラルネットワークが識別するよう、第１のニューラルネットワーク及び第３のニューラルネットワークを訓練する第２訓練手段と、訓練データ選択手段により選択された訓練データ項目に対して第１のニューラルネットワークの出力を受けた第２のニューラルネットワークが、当該訓練データ項目に付されたラベルにしたがった分類結果を出力するよう、第１及び第２のニューラルネットワークを訓練するための第３訓練手段と、訓練データ選択手段、サンプリング手段、第１、第２、及び第３訓練手段による第１、第２、及び第３のニューラルネットワークの訓練を、訓練データ選択手段により選択される訓練データを変化させながら、所定の終了条件が成立するまで繰り返すよう制御する訓練制御手段とを含む。

【0011】

より好ましくは、訓練データ項目の各々には、話者の属性を示す属性ラベルがさらに付されており、第３訓練手段は、訓練データ項目の話者の感情に加え、当該話者の属性ラベルも分類するよう、第２のニューラルネットワークを訓練する。

【0012】

さらに好ましくは、属性ラベルは、話者の性別を表わす。

【0013】

好ましくは、サンプリング手段は、複数種類のラベルに応じて予め準備された、互いに異なる複数のガウス分布のうち、訓練データ選択手段により選択された訓練データ項目のラベルに応じたガウス分布からサンプルを取得するガウス分布サンプリング手段を含む。

【0014】

より好ましくは、複数のガウス分布は、互いに異なる平均を持つ。

【0015】

さらに好ましくは、複数のガウス分布は、互いに等しい分散を持つ。

【0016】

好ましくは、複数のガウス分布の平均は互いに１ずつ異なっている。

【0017】

より好ましくは、複数のガウス分布の分散は、いずれも複数のガウス分布の平均の相違の最小値の半分以下でありかつ０より大きい。

【0018】

さらに好ましくは、複数のガウス分布の分散はいずれも複数のガウス分布の平均の最小値の０．４倍以下である。

【0019】

好ましくは、第１のニューラルネットワークの出力と、サンプリング手段によりサンプリングされるサンプルとは互いに等しい次元のベクトルである。

【0020】

本発明の第２の局面に係る訓練方法は、コンピュータにより、音声データの表わす話者の感情を分類する、ニューラルネットワークからなる感情分類器を訓練するための訓練方法であって、複数の訓練データ項目を記憶する訓練データ記憶装置に接続して用いられ、複数の訓練データ項目の各々は、音声データと、当該音声データが表わす話者の感情を示すラベルとを含み、ラベルは複数種類のラベルから選択され、訓練方法は、コンピュータが、訓練データ記憶装置に記憶された複数の訓練データ項目から訓練データ項目を選択するステップと、コンピュータが、選択するステップにおいて選択されたデータ項目を第１のニューラルネットワークの入力に与えるステップと、コンピュータが、複数種類のラベルに応じて予め準備された、互いに異なる複数の分布のうち、選択するステップにおいて選択された訓練データ項目のラベルに応じた分布からサンプルを取得するステップと、コンピュータが、第１のニューラルネットワークの出力を第２のニューラルネットワークに入力するステップと、コンピュータが、第１のニューラルネットワークの出力と、サンプルを取得するステップにおいてサンプリングされたサンプルとを選択的に第３のニューラルネットワークに入力するステップと、第３のニューラルネットワークが、サンプルを取得するステップにおいて取得されたサンプルと、選択するステップにおいて選択された訓練データ項目とを識別し、かつ、第２のニューラルネットワークが、選択するステップにおいて選択された訓練データ項目を受けた第１のニューラルネットワークの出力に基づき、当該訓練データ項目に付されたラベルを推定して訓練データ項目を分類するよう、コンピュータが第１、第２、及び第３のニューラルネットワークを訓練するステップとを含み、訓練するステップにおける訓練が終了したときの第２のニューラルネットワークが感情分類器となる。

【0021】

好ましくは、訓練するステップは、第３のニューラルネットワークが、サンプルを取得するステップにおいて取得されたサンプルを第１の種類のデータであると識別するよう、コンピュータが第３のニューラルネットワークを訓練する第１訓練ステップと、選択するステップにおいて選択された訓練データ項目を入力として受けた第１のニューラルネットワークの出力が、第１の種類ではない第２の種類のデータであると第３のニューラルネットワークが識別するよう、コンピュータが第１のニューラルネットワーク及び第３のニューラルネットワークを訓練する第２訓練ステップと、選択するステップにおいて選択された訓練データ項目に対して第１のニューラルネットワークの出力を受けた第２のニューラルネットワークが、当該訓練データ項目に付されたラベルにしたがった分類結果を出力するよう、コンピュータが、第１及び第２のニューラルネットワークを訓練するための第３訓練ステップと、選択するステップ、サンプルを取得するステップ、第１、第２、及び第３訓練ステップを、選択するステップにおいて選択される訓練データ項目を変化させながら、所定の終了条件が成立するまでコンピュータが繰り返す繰り返しステップとを含む。

【0022】

より好ましくは、訓練データ項目の各々には、話者の所定の属性の種類を示す属性ラベルがさらに付されており、第３訓練ステップは、訓練データ項目の話者の感情に加え、当該話者の所定の属性も分類するよう、コンピュータが第２のニューラルネットワークを訓練するステップを含む。

【0023】

さらに好ましくは、所定の属性は、話者の性別である。

【0024】

好ましくは、サンプルを取得するステップは、コンピュータが、複数種類のラベルに応じて予め準備された、互いに異なる複数のガウス分布のうち、選択するステップにおいて選択された訓練データ項目のラベルに応じたガウス分布からサンプルを取得するステップを含む。

【0025】

この発明の上記及び他の目的、特徴、局面及び利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。

【図面の簡単な説明】

【0026】

【図1】図１は、第１実施形態に係る分類器訓練装置の概略ブロック図である。

【図2】図２は、図１に示すエンコーダの概略ブロック図である。

【図3】図３は、図１に示す先行発話特徴量抽出部の概略ブロック図である。

【図4】図４は、図３に示す拡張畳込ブロックの概略ブロック図である。

【図5】図５は、図１に示す識別器の概略ブロック図である。

【図6】図６は、図１に示す分類器の概略ブロック図である。

【図7】図７は、第１実施形態による分類器の訓練をコンピュータにより実現するためのコンピュータプログラムの制御構造を示すフローチャートである。

【図8】図８は、本願発明の各実施形態を実現するコンピュータシステムの外観図である。

【図9】図９は、図８に示すコンピュータシステムのハードウェアブロック図である。

【発明を実施するための形態】

【0027】

以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。なお、以下の説明では、訓練データの中で、音声データのサンプルとそのラベルとからなる一組のデータを訓練データ項目という。

【0028】

第１ 第１実施形態
１．構成
（１）全体構成
図１を参照して、第１の実施形態に係る分類器訓練装置５０は、訓練データ項目を多数記憶する訓練データ記憶装置６０に接続して使用され、感情分類器の訓練時に、訓練データ記憶装置６０に記憶された訓練データ項目を１つずつ選択するためのデータ選択部６４とを含む。各訓練データ項目は、発話データと、発話者の感情を示すラベルとを含む。この実施形態では、ラベルとして幸せ、悲しみ、中立、及び怒りという４種類のラベルを用いる。もちろん、これらラベルの種類はこれら４種類に限定されるわけではなく、任意の数のラベルを利用できる。

【0029】

分類器訓練装置５０はさらに、データ選択部６４により選択されたデータ項目の中の発話データを受けるように設けられた入力を持ち、発話データをエンコードして、対象となる発話に関する情報を表わす所定長のベクトルである中間表現を出力するためのエンコーダ７０と、上記した４種類のラベルに対応して準備される４種類のガウス分布を特定するパラメータ（各分布の平均及び分散）を記憶するためのパラメータ記憶部６６と、データ選択部６４が選択したデータ項目に含まれるラベルに対応するガウス分布からサンプルを取得するためのサンプリング部６８とを含む。

【0030】

分類器訓練装置５０はさらに、エンコーダ７０の出力に接続された第１の入力と、サンプリング部６８の出力に接続された第２の入力とを持ち、外部から与えられる制御信号に応答して、第１の入力又は第２の入力の一方への入力を選択して出力するための選択部７２と、選択部７２の出力を受ける入力を持ち、入力がエンコーダ７０からの入力か、サンプリング部６８からの入力かを識別するように訓練される識別器７４と、エンコーダ７０の出力を受ける入力を持ち、入力される音声データの発話者の感情が上記４種類の感情のいずれに分類されるかを推定するように訓練される分類器７６とを含む。

【0031】

分類器訓練装置５０はさらに、サンプリング部６８から選択部７２を経て識別器７４に与えられる入力が、サンプリング部６８からの入力であると識別器７４が正しく識別するように識別器７４を訓練するための第１更新部７８と、エンコーダ７０から選択部７２を経て識別器７４に与えられる入力が、エンコーダ７０からの入力であると識別器７４が正しく識別できるように、識別器７４とエンコーダ７０との双方を訓練するための第２更新部８０と、エンコーダ７０からの入力を分類器７６が上記４種類の感情のいずれかに正しく分類するように、分類器７６とエンコーダ７０とを訓練するための第３更新部８２と、データ選択部６４、サンプリング部６８、エンコーダ７０、選択部７２、識別器７４、分類器７６、第１更新部７８、第２更新部８０、及び第３更新部８２を制御し、訓練データ記憶装置６０から選択される訓練データ項目を変化させながら、所定の終了条件が充足されるまで、上記各部が繰り返し動作するよう各部を制御するための訓練制御部６２とを含む。

【0032】

なお、第１更新部７８、第２更新部８０及び第３更新部８２による訓練は、いずれも通常の誤差逆伝搬法による。

【0033】

（２）エンコーダ７０
図２を参照して、エンコーダ７０は、訓練データ１００から感情の分類対象となる発話（現在発話）の所定の特徴量の時系列からなる特徴量行列を抽出するための現在発話特徴量抽出部１２４と、対話の相手方の発話をはさんで現在発話に先行する、同じ話者の発話（先行発話）からその特徴量の時系列を抽出し特徴量行列として出力するための先行発話特徴量抽出部１２０と、先行発話と現在発話との間の相手方の発話からその特徴量の時系列を抽出し特徴量行列として出力するための相手発話特徴量抽出部１２２とを含む。

【0034】

エンコーダ７０はさらに、先行発話特徴量抽出部１２０からの特徴量行列と相手発話特徴量抽出部１２２からの特徴量行列との間で乗算を行うための乗算部１２６と、乗算部１２６の出力の各要素に対してＳｏｆｔｍａｘ演算を行うためのソフトマックス演算部１２８と、ソフトマックス演算部１２８の出力と現在発話特徴量抽出部１２４の出力との間で乗算を行うための乗算部１３０と、乗算部１３０の出力と現在発話特徴量抽出部１２４の出力とを連結するための連接部１３２とを含む。

【0035】

（３）先行発話特徴量抽出部１２０
図２に示す先行発話特徴量抽出部１２０、相手発話特徴量抽出部１２２、及び現在発話特徴量抽出部１２４はいずれも同様に構成されている。したがってここでは先行発話特徴量抽出部１２０を例としてその構成を説明する。

【0036】

図３を参照して、先行発話特徴量抽出部１２０は、訓練データ１００に含まれる各訓練データ項目中の音声データを所定長で所定ストライドのフレームによりフレーム化し、各フレームについて所定の音響特徴量（この実施形態ではＭＦＣＣ（Ｍｅｌ－ｆｒｅｑｕｅｎｃｙ ｃｅｐｓｔｒａｌ ｃｏｅｆｆｉｃｉｅｎｔ）、Ｆ０及びゼロクロス率及びそれらの統計）を時系列のベクトル列として抽出するための音響特徴量抽出ブロック２０２と、音響特徴量抽出ブロック２０２の出力するベクトル列に対して拡張畳込みを実行するための拡張畳込ブロック２０４と、音響特徴量抽出ブロック２０２の出力するベクトル列に対して通常の畳込みを実行するための畳込ブロック２０６とを含む。拡張畳込ブロック２０４の出力と畳込ブロック２０６の出力とによりセグメントレベル特徴量２０８が得られる。

【0037】

先行発話特徴量抽出部１２０はさらに、発話レベルのセグメントレベル特徴量２０８を処理して各セグメントにおける状態を算出し出力する双方向ＧＲＵ２１２と、ボトルネック特徴量２１０と双方向ＧＲＵ２１２の出力との間でドット積演算を行うことにより、セグメント間のアテンションを算出するためのドット積アテンションブロック２１４と、ドット積アテンションブロック２１４の出力に対してグローバルプーリングを行うグローバルプーリング層２１６と、双方向ＧＲＵ２１２の出力に対してグローバルプーリングを行うグローバルプーリング層２１８と、グローバルプーリング層２１６の出力とグローバルプーリング層２１８の出力との間で乗算を行うことにより、アテンション付きのベクトル列を出力するための乗算ブロック２２０とを含む。

【0038】

この図３における演算についてさらに詳細に説明する。まず、音響特徴量抽出ブロック２０２により音声データがフレーム化され、各フレームについて特徴量ベクトル列ｓ_１，ｓ_２，…，ｓ_ｎが得られたものとする。すなわち、各音声データが以下の式により表されるサンプルデータｘ_ｉに変換される。

【0039】

【数1】

【0040】

図３に示す拡張畳込ブロック２０４及び２０６はこのｘ_ｉに対して拡張畳込みを行って以下の式（２）のベクトルｈ_ｉに変換し、セグメントレベル特徴量２０８が得られる。式（３）により示されるように、セグメントレベル特徴量２０８の各ベクトルｈ_ｉ中のボトルネック層の要素から、ＢＴで表されるボトルネック特徴量２１０が得られる。

【0041】

【数2】

【0042】

図３に示す双方向ＧＲＵ２１２が発話レベルのセグメントレベル特徴量２０８を処理することで以下の式（４）におけるＫｅｙにより示す行列が得られる。以下はアテンション機構に関する。すなわち、この行列と上記したＢＴで表されるボトルネック特徴量２１０との間にドット積アテンションブロック２１４がドット積を適用することにより式（４）におけるアテンションＡが算出される。このアテンションを受けたグローバルプーリング層２１６の出力が下記のＫＱ、双方向ＧＲＵ２１２の出力Ｋｅｙに対するグローバルプーリング層２１８の出力が下記のＶ、このＫＱとＶとの間で乗算ブロック２２０が行列の乗算をすることにより、アテンション付きの隠れ特徴量行列ＨＦが得られる。

【0043】

【数3】

【0044】

図４を参照して、図３に示す拡張畳込ブロック２０４は、入力に対して畳込みを行う畳込層２５２と、畳込層２５２の出力に対してさらに畳込みを行う畳込層２５４と、畳込層２５４の出力に対して拡張畳込みを行う拡張畳込層２５６とを含む。拡張畳込層２５６の出力が拡張畳込ブロック２０４の出力となる。

【0045】

図２を参照して、相手発話特徴量抽出部１２２及び現在発話特徴量抽出部１２４も先行発話特徴量抽出部１２０と同様の構成を持つ。したがってこれらから、発話者の先行する発話の隠れ特徴量、直前の対話相手の発話の隠れ特徴量、及び発話者の現在の（対象となる）隠れ特徴量（ＨＦ_ｐｒｅ， ＨＦ_Ｉｎｔ， ＨＦ_ｃｕｒ）がそれぞれ得られる。これらを乗算部１２６、ソフトマックス演算部１２８、乗算部１３０及び連接部１３２により以下の式（５）に示されるように連接し、訓練データ１００の訓練データ項目の音声を中間表現Ｚに変換する。

【0046】

【数4】

【0047】

（４）識別器７４
図５を参照して、図２に示す識別器７４は、識別器７４への入力を受けるように設けられた全結合層３０２と、全結合層３０２の出力を受ける全結合層３０４とを含む。全結合層３０４の出力が識別器７４の出力となる。

【0048】

（５）分類器７６
図６を参照して、分類器７６は、入力から発話者の感情を分類するための、直列に設けられた全結合層３５２及び３５４と、入力から発話者の、感情のような時間的変化をしないある属性（ここでは性別）を分類するための、直列に設けられた全結合層３５６及び３５８とを含む。全結合層３５４の出力は４つの値を要素とするベクトルであり、これらの値が４種類の感情のスコアを示す。最大スコアに対応する感情が分類結果である。全結合層３５８の出力は２つの値を要素とするベクトルであり、これらの値が発話者の性別のスコアを示す。いずれか大きいスコアが話者の性別を示す。

【0049】

この実施形態の目的は音声からの感情分類である。そのためには分類器７６は感情を分類するための全結合層３５２及び３５４のみを持てばよい。しかし、この実施形態に示すように、目的とする１種類の分類だけでなく、目的とは直接関係を持たない分類も含めた２種類の分類を行うように分類器を訓練することにより、目的とする分類の精度が向上することが知られている（マルチタスク学習）。したがってこの実施形態でも、感情の分類だけではなく、性別の分類も分類器７６により行うようにしている。

【0050】

（６）プログラム構成
上記した構成を持つ分類器訓練装置５０をコンピュータハードウェアにより実現するためのコンピュータプログラムの制御構造を図７に示す。

【0051】

図７を参照して、このプログラムは、起動後に、プログラム中で使用する各変数領域を初期化するステップ４００と、ステップ４０４を所定の終了条件が成立するまでくりかえし実行するステップ４０２と、ステップ４０２が終了した後に所定の終了処理を行うステップ４０６とを含む。終了処理は、ステップ４０２で学習が終わったパラメータ、特に少なくとも図１に示す分類器７６のパラメータの集合を所定の記憶装置に保存する処理を含む。ここでの終了条件は、訓練データに含まれる訓練データ項目を全て用いて以下の処理を実行する処理を１エポックとし、所定数のエポックが完了したという条件を用いる。

【0052】

この実施形態では、ミニバッチ形式で訓練を行う。ただしパラメータの更新は各サンプルについて行う。すなわち、ステップ４０４は、訓練データからバッチのデータ項目数だけ訓練データ項目をサンプリングするステップ４２０と、ステップ４２０でサンプリングした訓練データ項目の各々についてステップ４２４を実行することにより、バッチ内の訓練データ項目に対して算出された誤差を用いた誤差逆伝搬法によりエンコーダ７０、識別器７４及び分類器７６のパラメータをそれぞれ更新するステップ４２２とを含む。

【0053】

ステップ４２４は、処理対象の訓練データ項目に含まれるラベルを取り出すステップ４５０と、このラベルの種類に対応するガウス分布を選択してサンプリングを行うステップ４５２と、ステップ４５２でサンプリングされたサンプルを識別器７４に入力するステップ４５４と、識別器７４の出力に基いて識別器７４のパラメータの更新を行うステップ４５６とを含む。ここでは、ガウス分布からのサンプルが識別器７４に入力されたときにはその出力がフォールスに、一方、後述するようにエンコーダ７０からのデータが識別器７４に入力されたときにはその出力がトゥルーに、それぞれなるように、識別器７４を訓練する。すなわち、ステップ４５６では、識別器７４の出力とフォールスを表わす値との誤差が小さくなるように識別器７４のパラメータの更新が行われる。

【0054】

なお、この実施形態においては、ステップ４５６で使用される損失関数Ｌ_Ｄは以下の式（６）のとおりである。ただしεはラベルに対応するガウス分布からランダムにサンプリングされたベクトルである。このサンプルの次元は上記した中間表現Ｚの次元と同じである。Ｄ（）は識別器７４の出力であることを示す。

【0055】

【数5】

【0056】

ステップ４０４はさらに、ステップ４５０でサンプリングされた訓練データ項目の音声データをエンコーダ７０に入力してその中間表現をエンコーダ７０の出力に得るステップ４５８と、ステップ４５８においてエンコーダ７０の出力として得られたデータを識別器７４に入力してその識別結果を得るステップ４６０と、ステップ４６０で識別器７４から得られた識別結果とトゥルーを表わす値との誤差が小さくなるように、エンコーダ７０と識別器７４との双方のパラメータを更新するステップ４６２とを含む。前述したように、この例では実際の訓練データ項目から得られた入力について識別器７４がトゥルーと判定するように識別器７４を訓練することが目的であるが、それと同時にエンコーダ７０についても同様に訓練する。

【0057】

ステップ４０４はさらに、ステップ４５０でサンプリングされた訓練データ項目の音声データをエンコーダ７０に入力してその中間表現を得るステップ４６４と、ステップ４６４で得られた中間表現を分類器７６に入力して分類器７６による性別と感情との双方の分類結果を得るステップ４６６と、ステップ４６６で得られた２つの分類結果と、正しいラベルとの誤差の双方が小さくなるように、誤差逆伝搬法によりエンコーダ７０及び分類器７６のパラメータを更新してこの訓練データ項目に対する処理を終了するステップ４６８とを含む。

【0058】

分類器７６の訓練における損失関数Ｌｃは以下の式（７）により表される。

【0059】

【数6】

この式でＣ_ｇ（）は性別に関する分類器７６の出力を示し、Ｃ_ｅは感情に関する分類器７６の出力を示す。これは他の式でも同様である。

【0060】

この実施形態においてエンコーダ７０の訓練で使用する損失関数Ｌ_ｅｎｃは以下の式（８）のとおりである。

【0061】

【数7】

この式でＥｎｃ（）はエンコーダ７０の出力であることを示す。

【0062】

ステップ４０２では、このように、ステップ４５０でサンプリングされる訓練データ項目を変化させながら訓練データ全体にステップ４０４を実行することを所定の終了条件が成立するまで繰り返す。この実施形態では、全ての訓練データ項目に対してステップ４０４の処理を実行する処理を所定回数だけ行ったときに訓練を終了するものとする。この訓練が終了したときの分類器７６のパラメータと、分類器７６の実体であるニューラルネットワークを実現するプログラム群とにより、発話の音声データからその発話者の感情及び性別を分類する分類器が実現できる。

【0063】

２．動作
第１実施形態に係る分類器訓練装置５０は以下のように動作する。訓練データ記憶装置６０には予め多数の訓練用データ項目が準備されている。これら訓練用データ項目の各々は、対話を構成する発話データと、その発話者の感情を表わすラベルと、発話者の性別を示す性別ラベルとを含む。またこの例では、この発話データは、分類の対象となる発話と、その発話に先行する同じ発話者の発話と、これら２つの発話の間に存在する、対話の相手方の発話とを含む。またパラメータ記憶部６６には、感情を示す４種類のラベルに対応する４種類のガウス分布を特定するパラメータ（平均と分散）が記憶されている。

【0064】

訓練制御部６２は、終了条件が成立するまで以下の処理を繰り返す。なお、以下の処理は全て訓練制御部６２の制御によるものなので、記載をわかりやすくするために、これ以上は訓練制御部６２の制御に言及しない。

【0065】

まず、データ選択部６４が訓練データ記憶装置６０から訓練データ項目を一つ選択する（図７のステップ４５０。以下の記載で各「ステップ」は図７に示すものである。）。サンプリング部６８は訓練制御部６２を介してデータ選択部６４が選択した訓練データ項目に含まれるラベルを調べ、パラメータ記憶部６６に記憶されているそのラベルに対応するパラメータにより特定されるガウス分布からサンプリングする（ステップ４５２）。サンプリング部６８はサンプリングしたサンプルを選択部７２に与える。選択部７２はサンプリング部６８からのサンプルを識別器７４に与える（ステップ４５４）。識別器７４はこの入力に対して内部で演算を行い、その結果を出力する。第１更新部７８は、識別器７４への入力がガウス分布からのものなので、識別器７４の出力がフォールスを示す値に近づくよう、誤差逆伝搬法により識別器７４のパラメータを更新する（ステップ４５６）。

【0066】

次に、データ選択部６４は選択した訓練データ項目の音声データをエンコーダ７０に与える（ステップ４５８）。ステップ４５８はこの音声データを処理して中間表現を生成し、選択部７２に与える。選択部７２はエンコーダ７０からの中間表現を選択して識別器７４に与える（ステップ４６０）。識別器７４はこの中間表現を処理して結果を出力する。第２更新部８０は、識別器７４の出力とトゥルーを示す値との誤差が小さくなるように、誤差逆伝搬法によりエンコーダ７０及び識別器７４のパラメータを更新する（ステップ４６２）。

【0067】

データ選択部６４は、選択した訓練データ項目を再びエンコーダ７０に与える。エンコーダ７０は更新後のパラメータを用いてこの入力に対する演算を行ってその中間表現を出力する。この中間表現は分類器７６に入力される（ステップ４６６）。分類器７６は入力対する処理を行って結果を出力する。第３更新部８２は、分類器７６の出力する感情の分類結果がデータ選択部６４の選択した訓練データ項目に付されていたラベルを表わす値に近くなるように、かつ、分類器７６の出力する性別の分類結果が訓練データ項目に付されていた性別ラベルを表わす値に近くなるように、エンコーダ７０と分類器７６との出力を誤差逆伝搬法により更新する。

【0068】

分類器訓練装置５０の各部は、訓練データ記憶装置６０に記憶されている全ての訓練データ項目を用いて行う処理を所定回数実行するまで、上記した訓練を繰り返す。訓練が終了した時点での分類器７６のパラメータ及び分類器７６のニューラルネットワークを実現するアルゴリズムを持つプログラムとにより、入力される音声データに基いてその話者の感情を分類できる分類器が実現される。なおこの分類器は、上記した訓練方法からも分かるように、話者の性別も分類できる。

【0069】

３．コンピュータによる実現
第１実施形態に係る分類器訓練装置５０の各部は、適切なプログラム実行機能とデータハンドリング機能とを持つオペレーティングシステムが稼働するコンピュータハードウェア上で実行される、図７に制御構造を示すプログラムにより実現される。

【0070】

図８は、上記各実施形態を実現するコンピュータシステムの外観図である。図９は、図８に示すコンピュータシステムのハードウェアブロック図である。

【0071】

図８を参照して、このコンピュータシステム９５０は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ１００２を有するコンピュータ９７０と、いずれもコンピュータ９７０に接続された、ユーザと対話するためのキーボード９７４、マウス９７６、モニタ９７２、１対のスピーカ９８０、及びマイクロフォン９８２とを含む。もちろんこれらはユーザ対話が必要となったときのための構成の一例であって、ユーザ対話に利用できる一般のハードウェア及びソフトウェア（例えばタッチパネル、ポインティングデバイス一般）であればどのようなものも利用できる。

【0072】

図９を参照して、コンピュータ９７０は、ＤＶＤドライブ１００２に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉt）９９０と、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９９２と、ＣＰＵ９９０、ＧＰＵ９９２、ＤＶＤドライブ１００２に接続されたバス１０１０と、バス１０１０に接続され、コンピュータ９７０のブートアッププログラム等を記憶するＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）９９６と、バス１０１０に接続され、プログラムを構成する命令、システムプログラム、及び作業データ等を記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９９８と、バス１０１０に接続された不揮発性メモリであるＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）１０００とを含む。ＳＳＤ１０００は、ＣＰＵ９９０及びＧＰＵ９９２が実行するプログラム、並びにＣＰＵ９９０及びＧＰＵ９９２が実行するプログラムが使用するデータ等を記憶するためのものである。コンピュータ９７０はさらに、他端末との通信を可能とするネットワーク９８６への接続を提供するネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１００８と、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ９８４が着脱可能で、ＵＳＢメモリ９８４とコンピュータ９７０内の各部との通信を提供するＵＳＢポート１００６とを含む。

【0073】

コンピュータ９７０はさらに、マイクロフォン９８２及びスピーカ９８０とバス１０１０とに接続され、ＣＰＵ９９０により生成されＲＡＭ９９８又はＳＳＤ１０００に保存された音声信号、映像信号及びテキストデータをＣＰＵ９９０の指示にしたがって読み出し、アナログ変換及び増幅処理をしてスピーカ９８０を駆動したり、マイクロフォン９８２からのアナログの音声信号をデジタル化し、ＲＡＭ９９８又はＳＳＤ１０００の、ＣＰＵ９９０により指定される任意のアドレスに保存したりするための音声Ｉ／Ｆ１００４を含む。

【0074】

上記実施形態では、図１に示すエンコーダ７０、識別器７４、及び分類器７６等のパラメータ、並びに訓練データ等は、いずれも例えば図９に示すＳＳＤ１０００、ＲＡＭ９９８、ＤＶＤ９７８又はＵＳＢメモリ９８４、若しくはネットワークＩ／Ｆ１００８及びネットワーク９８６を介して接続された図示しない外部装置の記憶媒体等に格納される。典型的には、これらのデータ及びパラメータ等は、例えば外部からＳＳＤ１０００に書込まれコンピュータ９７０の実行時にはＲＡＭ９９８にロードされる。

【0075】

このコンピュータシステムを、図１に示す分類器訓練装置５０の訓練データ記憶装置６０、訓練制御部６２、データ選択部６４、エンコーダ７０、選択部７２、識別器７４、分類器７６、第１更新部７８、第２更新部８０、及び第３更新部８２、並びにその各構成要素の機能を実現するよう動作させるためのコンピュータプログラムは、ＤＶＤドライブ１００２に装着されるＤＶＤ９７８に記憶され、ＤＶＤドライブ１００２からＳＳＤ１０００に転送される。又は、これらのプログラムはＵＳＢメモリ９８４に記憶され、ＵＳＢメモリ９８４をＵＳＢポート１００６に装着し、プログラムをＳＳＤ１０００に転送する。又は、このプログラムはネットワーク９８６を通じてコンピュータ９７０に送信されＳＳＤ１０００に記憶されてもよい。

【0076】

プログラムは実行のときにＲＡＭ９９８にロードされる。もちろん、キーボード９７４、モニタ９７２及びマウス９７６を用いてソースプログラムを入力し、コンパイルした後のオブジェクトプログラムをＳＳＤ１０００に格納してもよい。スクリプト言語の場合には、キーボード９７４等を用いて入力したスクリプトをＳＳＤ１０００に格納してもよい。仮想マシン上で動作するプログラムの場合には、仮想マシンとして機能するプログラムを予めコンピュータ９７０にインストールしておく必要がある。ただし、分類器訓練装置５０による訓練には大量の計算が伴うため、スクリプト言語ではなくコンピュータのネイティブなコードからなるオブジェクトプログラムとして本発明の実施形態の各部を実現する方が好ましい。

【0077】

ＣＰＵ９９０は、その内部のプログラムカウンタと呼ばれるレジスタ（図示せず）により示されるアドレスにしたがってＲＡＭ９９８からプログラムを読み出して命令を解釈する。ＣＰＵ９９０はさらに、命令の実行に必要なデータを命令により指定されるアドレスにしたがってＲＡＭ９９８、ＳＳＤ１０００又はそれ以外の機器から読み出して命令により指定される処理を実行する。ＣＰＵ９９０は、実行結果のデータを、ＲＡＭ９９８、ＳＳＤ１０００、ＣＰＵ９９０内のレジスタ等、プログラムにより指定されるアドレスに格納する。このとき、プログラムカウンタの値もプログラムにしたがって動作するＣＰＵ９９０により更新される。コンピュータプログラムは、ＤＶＤ９７８から、ＵＳＢメモリ９８４から、又はネットワークを介して、ＲＡＭ９９８に直接にロードしてもよい。なお、ＣＰＵ９９０が実行するプログラムの中で、一部のタスク（主として並列実行可能な数値計算）については、プログラムに含まれる命令により、又はＣＰＵ９９０による命令実行時の解析結果にしたがって、ＧＰＵ９９２により実行される。

【0078】

コンピュータ９７０により上記した各実施形態に係る各部の機能を実現するプログラムは、それら機能を実現するようコンピュータ９７０を動作させるように記述され配列された複数の命令を含む。この命令を実行するのに必要な基本的機能のいくつかはコンピュータ９７０上で動作するオペレーティングシステム若しくはサードパーティのプログラム、又はコンピュータ９７０にインストールされる各種ツールキットのモジュールにより提供され、実行時にダイナミックリンクによりオブジェクトプログラムにリンクされる。したがって、このプログラムはこの実施形態のシステム及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令の中で、所望の結果が得られるように制御されたやり方で適切な機能又は「プログラミング・ツール・キット」の機能を呼出すことにより、上記した各装置及びその構成要素としての動作を実行する命令のみを含んでいればよい。そのためのコンピュータ９７０の動作方法は周知であるので、ここでは繰返さない。

【0079】

なお、ＧＰＵ９９２は並列処理を行うことが可能であり、機械学習に伴う大量の計算を同時並列的又はパイプライン的に実行できる。例えばプログラムのコンパイル時にプログラム中で発見された並列的計算要素、又はプログラムの実行時に発見された並列的計算要素は、随時、ＣＰＵ９９０からＧＰＵ９９２に対して発行され、実行され、その結果が直接に、又はＲＡＭ９９８の所定アドレスを介してＣＰＵ９９０に返され、プログラム中の所定の変数に代入される。

【0080】

４．効果
上記第１実施形態によれば、既存の訓練データ項目の数が十分でないときでも、あえて訓練データ項目の数を人為的に増やさなくても分類精度を高くできることが後述するように実験で確認できた。分類器の訓練方法として、従来にない比較的簡単な方法によって、音声データから発話者の感情を十分な精度で分類できるという効果が得られる。

【0081】

第２ 第２実施形態
上記第１実施形態では、訓練において、最初にガウス分布からサンプリングしたサンプルを用いて識別器７４を訓練し、次に選択された訓練データ項目により識別器７４とエンコーダ７０を、さらにエンコーダ７０と分類器７６とをこの順序で訓練している。しかしこの発明はそのような実施形態には限定されない。上記した３種類の訓練を１つの訓練データ項目に対して１セットとして実行するものであればその順序は第１実施形態のものには限定されない。

【0082】

第２実施形態では最初にエンコーダ７０及び識別器７４を、次にエンコーダ７０及び分類器７６を、最後に識別器７４を、それぞれ訓練する。こうした訓練方法で訓練した分類器７６によっても第１実施形態と同様の効果を得ることができる。

【0083】

第３ 実験
１．設定
上記第１実施形態に係る分類器訓練装置５０の性能をテストするために、以下のような実験を行った。実験では、ＩＥＭＯＣＡＰ及びＭＥＬＤと呼ばれる２種類のデータセットを用いた。

【0084】

ＩＥＭＯＣＡＰは非特許文献２で用いられており、１０人の発話者による、１対１の双方向対話の映像からなっている。各映像は２人の対話で発話ごとに分割されており、感情ラベルが付されている。この実験では、上記したように幸福、悲しみ、中立、及び怒りという４種類の感情ラベルを用いた。もとのデータセットでは興奮、不満というラベルも付されているが、多くの研究でされているように、興奮は幸福に、不満は悲しみに、それぞれ併合した。非特許文献２と同様、データの中で８０％を訓練データセットに、２０％をテストセットに、ランダムに分割し、５重交差検証を行った。訓練用サンプルは５９４６サンプルであり、テスト用サンプルは１４８７サンプルであった。この実験では、非特許文献２に開示された結果を比較対象とした。

【0085】

ＭＥＬＤは米国のＴＶシリーズから集められた、複数パーティの会話データセットである。今回の実験では、実験においてＩＥＭＯＣＡＰの訓練データとの比較を整合させるために、元のデータセットから「ｊｏｙ（幸福）」、「悲しみ」、「中立」、及び「怒り」のカテゴリのサンプルを抽出して用いた。クロスコーパスでの検証が同じデータ構造で行えるよう、予め選択した訓練データセットから、発話者の先行する発話と対話者による発話とが使用できる２０００サンプルを選択した。訓練サンプルの数は８２９２である。このデータセットについては発話者の性別を示す情報が付されていないため、このデータセットを用いた場合には発話者の感情の分類のみを行うようにした。

【0086】

今回の実験では、拡張畳込みブロックでのカーネルサイズを各層について５１２、５１２及び１２８とした。各カーネルのサイズは１、３及び１である。拡張畳込みにおける拡張率（ｄｉｌａｔｅｄ ｓｉｚｅ）は２に設定した。ボトルネックにおけるノード数は５１２とし、ＢｉＧＲＵでのセル数は２５６に設定した。バッチサイズは３２である。オプティマイザとしてはＡｄａｍを使用し、学習率を１０^－４とした。各感情ラベルに対応した４つのガウス分布の平均はそれぞれ０，１，２，３とし、分散はいずれも等しく０．３とした。この平均と分散との値は、ガウス分布相互をある程度分離できればよい。ここでは隣接するガウス分布の平均の間の差はいずれも１としたが、これより大きくてもよく、これより小さくして分散を小さくしてもよい。この実験のように平均の間の差を１とした場合には、分散は例えば０．５以下であればある程度分離でき、０．４以下とすればさらに互いを分離可能である。この実験では分散を０．３としており、したがってガウス分布の間の分離は実質的に十分であると考えられる。

【0087】

また、この実施形態では隣接するガウス分布の平均の相違は全て等しく１とした。しかしこの発明はそのような実施形態には限定されず、隣接するガウス分布の平均の相違が互いに異なっていても、一部のみ異なっていてもよい。ただしこの場合には、分散は隣接するガウス分布の平均の相違の半分以下とすることが望ましい。隣接するガウス分布の平均の相違の最小値の半分以下とするとさらに好ましい。

【0088】

性能はＵＡ（Ｕｎｗｅｉｇｈｔｅｄ Ａｃｃｕｒａｃｙ）とＷＡ（Ｗｅｉｇｈｔｅｄ Ａｃｃｕｒａｃｙ）とを用いて行った。ＵＡは全体の精度の平均を意味し、ＷＡは正しく分類されたサンプルの割合を示す。実験ではテスト用データセットに対するモデルの性能とクロスコーパス検証（一方のコーパスで訓練したモデルの性能を他方のコーパスのデータでテストする検証方法）とを訓練の各エポックについて行い、最もよいモデルを保存した。

【0089】

上記したように、この実験では、非特許文献２に記載されたモデルの性能をベースラインとした。さらに、中間表現を互いに分離したガウス分布にマップすることで中間表現を正則化することの効果を調べるため、通常のガウス分布（平均は１．０、分散は０．３）を用いるものを準備した（ＭＡＥＣ）。これとは別に識別器７４を持たないものも準備した（ＭＥＣ）。

【0090】

２．結果
実験結果を、非特許文献２に記載されたベースラインモデルの結果とあわせて以下のテーブル１に示す。テーブル１において、ＩＳＯ－ＭＡＥＣが上記実施形態に係るモデルを示す。

【0091】

【表1】

【0092】

テーブル１において、例えば「ＩＥＭＯＣＡＰ」と記載された行において「ＩＥＭＯＣＡＰによる訓練結果」と記載された列との交点のセルの数字は、ＩＥＭＯＣＡＰを用いて訓練した各モデルに対し、ＩＥＭＯＣＡＰをテストデータとした実験による性能を示す。「ＩＥＭＯＣＡＰ」と記載された行において「ＭＥＬＤによる訓練結果」と記載された列との交点のセルの数字は、ＭＥＬＤを用いて訓練した各モデルに対し、ＩＥＭＯＣＡＰをテストデータとした実験（クロスコーパス検証）による性能を示す。「ＭＥＬＤ」と記載された行についても同様である。

【0093】

テーブル１を参照して、ＩＥＭＯＣＡＰを用いて訓練した場合、ＭＡＥＣモデルは、単一のガウス分布へのマッピングを行うことにより、ＭＥＣと比較してＷＡ及びＵＡにおいてそれぞれ約２．８％及び２．４％の性能向上を示した。しかし、上記実施形態１に係るＩＳＯ－ＭＡＥＣモデルでは、ラベルに応じて互いに分離された複数のガウス分布に中間表現をマッピングすることにより、さらにＷＡ及びＵＡにおいてそれぞれ１．８７％及び２．２３％の性能向上を示した。クロスコーパスでの検証では、実施形態１に係るモデルはＭＡＥＣ及びＭＥＣのいずれに対しても、ＷＡ及びＵＡにおいてそれぞれ９％及び１％以上の性能向上を示した。

【0094】

ＭＥＬＤを用いて訓練した場合、ＭＥＣモデルはＷＡ及びＵＡにおいてそれぞれ４９．６５％及び５７．１７％の性能を示した。ＭＡＥＣモデルは、中間表現をガウス分布にマッピングする正則化という機能を取り入れることにより、ＭＥＣモデルと比較してＷＡ及びＵＡにおいてそれぞれ３．５３％及び１．０８％の性能向上を示した。上記実施形態に係るＩＳＯ－ＭＡＥＣモデルは、ＷＡについては０．９５％の性能向上を示した。クロスコーパス検証では、ＭＥＣモデルはＷＡ及びＵＡにおいてそれぞれ３３．３１％及び４８．２１％の性能を示した。これに対してＭＡＥＣは、ＭＥＣモデルと比較して、ＷＡ及びＵＡにおいてそれぞれ３．２４％及び０．８９％の性能向上を示した。上記実施形態に係るＩＳＯ－ＭＡＥＣは、分離したガウス分布に中間表現をマップするという正則化を採用したことで、ＭＡＥＣと比較してさらに９．０５％及び３．４８％の性能向上を示した。

【0095】

以上のとおり、この実験から、単に中間表現をガウス分布にマップすることで入力を正則化した場合でも性能が上昇することがわかった。それだけではなく、ラベルごとに別々であって、かつ互いに分離されたガウス分布に中間表現をマッピングする上記実施形態の方法を適用することでさらに性能が向上することが確認できた。

【0096】

今回開示された実施形態は単に例示であって、本発明が上記した実施形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。

【符号の説明】

【0097】

５０ 分類器訓練装置
６０ 訓練データ記憶装置
６２ 訓練制御部
６４ データ選択部
６６ パラメータ記憶部
６８ サンプリング部
７０ エンコーダ
７２ 選択部
７４ 識別器
７６ 分類器
７８ 第１更新部
８０ 第２更新部
８２ 第３更新部
１００ 訓練データ
１２０ 先行発話特徴量抽出部
１２２ 相手発話特徴量抽出部
１２４ 現在発話特徴量抽出部
１２６、１３０ 乗算部
１２８ ソフトマックス演算部
１３２ 連接部
２０２ 音響特徴量抽出ブロック
２０４ 拡張畳込ブロック
２０６ 畳込ブロック
２０８ セグメントレベル特徴量
２１０ ボトルネック特徴量
２１２ 双方向ＧＲＵ
２１４ ドット積アテンションブロック
２１６、２１８ グローバルプーリング層
２２０ 乗算ブロック
２５２、２５４ 畳込層
２５６ 拡張畳込層

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】