知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023071231
(43)【公開日】2023-05-23
(54)【発明の名称】感情認識システムおよび感情認識方法
(51)【国際特許分類】
G10L 25/63 20130101AFI20230516BHJP
G10L 17/00 20130101ALI20230516BHJP
G10L 25/30 20130101ALI20230516BHJP
G10L 15/10 20060101ALI20230516BHJP
【ＦＩ】
G10L25/63
G10L17/00 200Z
G10L25/30
G10L15/10 500N
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2021183862
(22)【出願日】2021-11-11
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】住吉 貴志
(57)【要約】
【課題】音声に表出される感情を適切に認識し得る感情認識システムを提供する。
【解決手段】感情認識システムにおいて、第１の音声データと第２の音声データとを入力する入力部と、２つの音声データにおける差分の感情を推論する差分感情認識モデルに、第１の音声データと第２の音声データとを入力し、第１の音声データと第２の音声データとにおける差分の感情を示す差分感情情報を差分感情認識モデルから取得する処理部と、を設けるようにした。
【選択図】図１
【解決手段】感情認識システムにおいて、第１の音声データと第２の音声データとを入力する入力部と、２つの音声データにおける差分の感情を推論する差分感情認識モデルに、第１の音声データと第２の音声データとを入力し、第１の音声データと第２の音声データとにおける差分の感情を示す差分感情情報を差分感情認識モデルから取得する処理部と、を設けるようにした。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１の音声データと第２の音声データとを入力する入力部と、
２つの音声データにおける差分の感情を推論する差分感情認識モデルに、前記第１の音声データと前記第２の音声データとを入力し、前記第１の音声データと前記第２の音声データとにおける差分の感情を示す差分感情情報を前記差分感情認識モデルから取得する処理部と、
を備える感情認識システム。
２つの音声データにおける差分の感情を推論する差分感情認識モデルに、前記第１の音声データと前記第２の音声データとを入力し、前記第１の音声データと前記第２の音声データとにおける差分の感情を示す差分感情情報を前記差分感情認識モデルから取得する処理部と、
を備える感情認識システム。
【請求項2】
２つの音声データの話者が同一の話者であるかを推論する同一話者認識部に、前記第１の音声データと前記第２の音声データとを入力し、前記第１の音声データの話者と前記第２の音声データの話者とが同一の話者であることを示す判定情報を前記同一話者認識部から取得し、取得した判定情報に従って前記第１の音声データの話者と前記第２の音声データの話者とが同一の話者であるか否かを判定する判定部と、
前記判定部による判定の結果に応じた情報を出力する出力部と、
を備える請求項１に記載の感情認識システム。
前記判定部による判定の結果に応じた情報を出力する出力部と、
を備える請求項１に記載の感情認識システム。
【請求項3】
前記出力部は、前記判定部により同一の話者であると判定された場合、前記処理部により取得された差分感情情報を出力し、前記判定部により同一の話者でないと判定された場合、同一の話者の音声ではない旨を出力する、
請求項２に記載の感情認識システム。
請求項２に記載の感情認識システム。
【請求項4】
前記入力部は、連続音声データを入力し、
前記処理部は、前記入力部により入力された連続音声データから音声区間を検出し、音声区間ごとに前記連続音声データから音声データを抽出し、抽出した音声データから、一の音声データと前記一の音声データから所定の時間以内にある他の音声データと選択し、前記差分感情認識モデルに、前記一の音声データと前記他の音声データとを入力し、前記一の音声データと前記他の音声データとにおける差分の感情を示す差分感情情報を取得する、
請求項１に記載の感情認識システム。
前記処理部は、前記入力部により入力された連続音声データから音声区間を検出し、音声区間ごとに前記連続音声データから音声データを抽出し、抽出した音声データから、一の音声データと前記一の音声データから所定の時間以内にある他の音声データと選択し、前記差分感情認識モデルに、前記一の音声データと前記他の音声データとを入力し、前記一の音声データと前記他の音声データとにおける差分の感情を示す差分感情情報を取得する、
請求項１に記載の感情認識システム。
【請求項5】
前記差分感情認識モデルは、同一人物の２つの音声データと前記２つの音声データにおける差分の感情を示す差分感情情報とが用いられて学習されている、
請求項１に記載の感情認識システム。
請求項１に記載の感情認識システム。
【請求項6】
前記同一話者認識部が、２つの音声データと、前記２つの音声データにおける差分の感情を示す差分感情情報と、前記２つの音声データの話者が同一であるか否かを示す情報とが用いられて学習される際、前記２つの音声データが異なる人物の音声データである場合、前記２つの音声データにおける差分の感情を示す差分感情情報が前記差分感情情報と無関係の値となるように変更されて学習されている、
請求項２に記載の感情認識システム。
請求項２に記載の感情認識システム。
【請求項7】
前記差分感情認識モデルは、ニューラルネットワークである、
請求項１に記載の感情認識システム。
請求項１に記載の感情認識システム。
【請求項8】
入力部が、第１の音声データと第２の音声データとを入力することと、
処理部が、２つの音声データにおける差分の感情を推論する差分感情認識モデルに、前記第１の音声データと前記第２の音声データとを入力し、前記第１の音声データと前記第２の音声データとにおける差分の感情を示す差分感情情報を前記差分感情認識モデルから取得することと、
を含む感情認識方法。
処理部が、２つの音声データにおける差分の感情を推論する差分感情認識モデルに、前記第１の音声データと前記第２の音声データとを入力し、前記第１の音声データと前記第２の音声データとにおける差分の感情を示す差分感情情報を前記差分感情認識モデルから取得することと、
を含む感情認識方法。
【請求項9】
判定部が、２つの音声データの話者が同一の話者であるかを推論する同一話者認識部に、前記第１の音声データと前記第２の音声データとを入力し、前記第１の音声データの話者と前記第２の音声データの話者とが同一の話者であることを示す判定情報を前記同一話者認識部から取得し、取得した判定情報に従って前記第１の音声データの話者と前記第２の音声データの話者とが同一の話者であるか否かを判定することと、
出力部が、前記判定部による判定の結果に応じた情報を出力することと、
を含む請求項８に記載の感情認識方法。
出力部が、前記判定部による判定の結果に応じた情報を出力することと、
を含む請求項８に記載の感情認識方法。
【請求項10】
前記出力部が、前記判定部により同一の話者であると判定された場合、前記処理部により取得された差分感情情報を出力し、前記判定部により同一の話者でないと判定された場合、同一の話者の音声ではない旨を出力する、
請求項９に記載の感情認識方法。
請求項９に記載の感情認識方法。
【請求項11】
前記入力部が、連続音声データを入力し、
前記処理部が、前記入力部により入力された連続音声データから音声区間を検出し、音声区間ごとに前記連続音声データから音声データを抽出し、抽出した音声データから、一の音声データと前記一の音声データから所定の時間以内にある他の音声データと選択し、前記差分感情認識モデルに、前記一の音声データと前記他の音声データとを入力し、前記一の音声データと前記他の音声データとにおける差分の感情を示す差分感情情報を取得する、
請求項８に記載の感情認識方法。
前記処理部が、前記入力部により入力された連続音声データから音声区間を検出し、音声区間ごとに前記連続音声データから音声データを抽出し、抽出した音声データから、一の音声データと前記一の音声データから所定の時間以内にある他の音声データと選択し、前記差分感情認識モデルに、前記一の音声データと前記他の音声データとを入力し、前記一の音声データと前記他の音声データとにおける差分の感情を示す差分感情情報を取得する、
請求項８に記載の感情認識方法。
【請求項12】
前記差分感情認識モデルは、同一人物の２つの音声データと前記２つの音声データにおける差分の感情を示す差分感情情報とが用いられて学習されている、
請求項８に記載の感情認識方法。
請求項８に記載の感情認識方法。
【請求項13】
前記同一話者認識部が、２つの音声データと、前記２つの音声データにおける差分の感情を示す差分感情情報と、前記２つの音声データの話者が同一であるか否かを示す情報とが用いられて学習される際、前記２つの音声データが異なる人物の音声データである場合、前記２つの音声データにおける差分の感情を示す差分感情情報が前記差分感情情報と無関係の値となるように変更されて学習されている、
請求項９に記載の感情認識方法。
請求項９に記載の感情認識方法。
【請求項14】
前記差分感情認識モデルは、ニューラルネットワークである、
請求項８に記載の感情認識方法。
請求項８に記載の感情認識方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、音声に表出される感情を推論する技術に関する。
【背景技術】
【0002】
人間の音声に含まれる感情情報は、人間同士のコミュニケーションにおいて重要な役割を果たす。コミュニケーションの目的が達成されたかどうかが感情の動きで判断できる可能性があることから、コミュニケーションにおける感情を分析する需要が生じる。日々の営業活動、コールセンタでの応対等、ビジネスの場面において、多くの音声によるコミュニケーションにおける感情の分析が必要となるため、機械による音声感情認識が望まれている。
【0003】
音声感情認識は、入力された音声について、その音声に含まれる感情のカテゴリ、または感情カテゴリごとの度合いを出力する。その仕組みとしては、あらかじめ定めたルールに基づいて音声信号の特徴から分類したり回帰分析したりする方法、そのルールを機械学習により求める方法がある。
【0004】
近年、ユーザに応じた感情認識を容易に行うことができる音声対話装置が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１８－１３２６２３号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ルールベースの手法では、１つの音声データに基づいて出力される結果は、開発者が定めたルールまたはしきい値により決定される。また、機械学習の手法では、学習用に集められた音声データと、当該音声データを聴取して受けた感情の印象を正解値としてラベリングする人物（ラベラ）によるラベル結果に基づきパラメータが決定される。しかしながら、いずれの場合も、開発者、ラベラ等の少数の主観に依存した判断がなされるため、感情認識器の出力は、実際の利用者の印象と乖離する可能性がある。
【0007】
本発明は、以上の点を考慮してなされたもので、音声に表出される感情を適切に認識し得る感情認識システム等を提案しようとするものである。
【課題を解決するための手段】
【0008】
かかる課題を解決するため本発明においては、第１の音声データと第２の音声データとを入力する入力部と、２つの音声データにおける差分の感情を推論する差分感情認識モデルに、前記第１の音声データと前記第２の音声データとを入力し、前記第１の音声データと前記第２の音声データとにおける差分の感情を示す差分感情情報を前記差分感情認識モデルから取得する処理部と、を設けるようにした。
【0009】
上記構成では、例えば、２つの音声データから差分の感情（つまり、相対的な感情）が推論されるので、感情認識システムが認識する感情を、１つの音声データから推論される感情（つまり、絶対的な感情）よりも、実際の利用者の印象に近づけることができる。
【発明の効果】
【0010】
本発明によれば、音声に表出される感情を高精度に認識する感情認識システムを実現することができる。上記以外の課題、構成、および効果は、以下の実施の形態の説明により明らかにされる。
【図面の簡単な説明】
【0011】
【図1】第１の実施の形態による差分感情認識装置に係る処理フローの一例を示す図である。
【図2】第１の実施の形態による学習用音声データの一例を示す図である。
【図3】第１の実施の形態による学習用差分感情ラベルデータの一例を示す図である。
【図4】第１の実施の形態による差分感情認識装置の構成の一例を示す図である。
【図5】第１の実施の形態による学習プログラムのフローチャートの一例を示す図である。
【図6】第１の実施の形態による差分感情認識プログラムのフローチャートの一例を示す図である。
【図7】第１の実施の形態による感情推移データの一例を示す図である。
【図8】第１の実施の形態によるユーザインタフェースの一例を示す図である。
【図9】第２の実施の形態による差分感情認識装置に係る処理フローの一例を示す図である。
【発明を実施するための形態】
【0012】
（Ｉ）第１の実施の形態
以下、本発明の一実施の形態を詳述する。ただし、本発明は、実施の形態に限定されるものではない。
以下、本発明の一実施の形態を詳述する。ただし、本発明は、実施の形態に限定されるものではない。
【0013】
従来の技術では、入力される音声の話者特性の変動要因、入力される音声の環境特性の変動要因等の影響により、ルールが正しく機能しないために意図しない結果が出力される可能性もある。近時、深層学習の登場により、機械学習では、より複雑なルールを扱うことが可能となり、この問題の解決は広く取り組まれ、精度向上が行われているものの、十分に解決されているとはいえない。
【0014】
この点、本実施の形態に係る感情認識システムは、個人間で音声データの比較を行わず、個人内の音声データの比較を行って音声感情を認識する。音声感情とは、喜怒哀楽、ネガティブまたはポジティブ等、その人の内面が声として表出されたものである。本感情認識システムは、ある人の単体の音声を聞いて付与される感情のラベル（ある人が、今、喜んでいる、悲しんでいるといった感情が数値化された絶対評価のラベル）を使うのではなく、同じ人の２つの音声を聞いて付与される感情のラベル（ある人の２つの音声から把握される感情が数値化された差分評価（相対評価）のラベル）を使うので、ラベラは、ラベリングし易く、差分評価のラベルは、絶対評価のラベルより信頼性が高くなる。なお、本感情認識システムが感情を推論する際に用いる２つ音声は、同じ話者の音声であるが、連続している音声である必要はない。ただし、同じ日および／または同じ場所において取得される音声が用いられることが好ましい。
【0015】
本感情認識システムによれば、話者特性および環境特性の影響を従来よりも抑えて同一人物の音声の差分に基づく音声感情を認識することができる。
【0016】
次に、本発明の実施の形態を図面に基づいて説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は、単数でも複数でも構わない。なお、以下の説明では、図面において同一要素については、同じ番号を付し、説明を適宜省略する。
【0017】
なお、本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数または順序を限定するものではない。また、構成要素の識別のための番号は、文脈毎に用いられ、１つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。
【0018】
図１は、本実施の形態の差分感情認識装置１０１に係る処理フローの一例を示す図である。
【0019】
まず、学習フェーズ１１０において、利用者１０２は、学習用音声データ１１１と学習用差分感情ラベルデータ１１２とを準備する。次に、利用者１０２は、差分感情認識装置１０１を用いて、差分感情認識モデル１１３を学習により生成する。
【0020】
次に、推論フェーズ１２０において、利用者１０２は、連続音声データ１２１を差分感情認識装置１０１に入力し、感情推移データ１２２を取得する。
【0021】
図２は、学習用音声データ１１１の一例（学習用音声テーブル２００）を示す図である。
【0022】
学習用音声テーブル２００は、複数の音声波形（音声データ）を格納する。複数の音声波形の各々に対しては、音声ＩＤと話者ＩＤとが付与される。音声ＩＤは、音声波形を一意に識別する符号である。話者ＩＤは、音声波形の話者に付与される符号であって、話者を一意に識別する符号である。付言するならば、学習用音声テーブル２００には、複数の人物の複数の音声波形が格納されている。
【0023】
図３は、学習用差分感情ラベルデータ１１２の一例（学習用差分感情ラベルテーブル３００）を示す図である。
【0024】
学習用差分感情ラベルテーブル３００は、複数の差分感情を格納する。差分感情は、ラベラにより付与されたラベルであって、第１の音声ＩＤの音声波形の音声（第１の音声）を基準とした、第２の音声ＩＤの音声波形の音声（第２の音声）の感情を数値化したラベルである。第１の音声ＩＤと第２の音声ＩＤとは、学習用音声データ１１１の音声ＩＤに対応した音声波形を指し示す。
【0025】
第１の音声ＩＤおよび第２の音声ＩＤは、同一の話者ＩＤによるものとする。２つの入力における感情のラベル（差分値）がラベラによりラベリングされる。なお、従来通り１つの音声に対する感情の絶対値がラベリング（学習用音声データ１１１に保持）され、学習時は、絶対値の差分が差分値として用いられてもよい。例えば、学習用音声テーブル２００に、音声ＩＤ「１」の音声の感情を示す絶対値「０．１」が格納され、音声ＩＤ「２」の音声の感情を示す絶対値「０．２」が格納されている場合、第１の音声ＩＤの絶対値「０．１」と第２の音声ＩＤの絶対値「０．２」とに対応する差分感情として差分値「０．１」が算出されてもよい。
【0026】
また、学習用差分感情ラベルテーブル３００は、複数のラベラによる差分感情を保存してもよく、その場合、学習においては複数のラベラによる差分感情の平均値等の統計値が用いられる。また、感情カテゴリは、１つではなく複数としてもよく、その場合は、学習用差分感情ラベルテーブル３００は、差分感情として、スカラ値ではなく、ベクトル値を保存する。
【0027】
図４は、差分感情認識装置１０１の構成の一例を示す図である。
【0028】
差分感情認識装置１０１は、一般的なＰＣ（Personal Computer）の構成と同様、コンポーネントとして、記憶装置４００、ＣＰＵ４０１、ディスプレイ４０２、キーボード４０３、およびマウス４０４を備える。それぞれのコンポーネントは、バス４０５を介してデータを送受信することができる。
【0029】
記憶装置４００は、プログラムとして、学習プログラム４１１および差分感情認識プログラム４２１を備える。これらのプログラムは、起動時に記憶装置４００内に存在する図示しないＯＳ（オペレーティングシステム）によりＣＰＵ４０１に読み込まれて実行される。
【0030】
差分感情認識モデル１１３は、例えば、入力層の状態数が第１の音声の特徴量「５１２」と第２の音声の特徴量「５１２」の計「１０２４」状態、隠れ層が１層で状態数が「５１２」状態、出力層の状態数が「１」状態であるニューラルネットワークとする。入力層の入力｛ｘｉ（ｉ＝１・・・１０２４）｝に対し、隠れ層の値｛ｈｊ（ｊ＝１・・・５１２）｝は、（式１）により計算される。
【数1】
【0031】
出力層の出力yは、第１の音声を基準とした第２の音声の感情の差分値であり、（式２）により計算される。
【数2】
【0032】
ここで、ｓは、活性化関数であり、例えばシグモイド関数であり、Ｗは、重みであり、ｂは、バイアスである。
【0033】
第１の音声および第２の音声から特徴量を求める手段としては、下記の文献１に記載の時系列のＬＬＤ（Low-Level Descriptors）に対する統計量等を用いることができる。
文献１：鈴木「音声に含まれる感情の認識」、日本音響学会誌７１巻９号（２０１５）ｐｐ．４８４－４８９
文献１：鈴木「音声に含まれる感情の認識」、日本音響学会誌７１巻９号（２０１５）ｐｐ．４８４－４８９
【0034】
なお、本実施の形態は、ニューラルネットワークの構造を限定するものではなく、任意のニューラルネットワークの構造および活性化関数を用いてよい。また、差分感情認識モデル１１３は、ニューラルネットワークに限定するものではなく、任意のモデルを用いてよい。
【0035】
差分感情認識装置１０１の機能（学習プログラム４１１、差分感情認識プログラム４２１等）は、例えば、ＣＰＵ４０１がプログラムを記憶装置４００に読み出して実行すること（ソフトウェア）により実現されてもよいし、専用の回路等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとが組み合わされて実現されてもよい。なお、差分感情認識装置１０１の１つの機能は、複数の機能に分けられていてもよいし、複数の機能は、１つの機能にまとめられていてもよい。例えば、差分感情認識プログラム４２１は、入力部４２２、処理部４２３、出力部４２４を含んで構成されてもよい。また、差分感情認識装置１０１の機能の一部は、別の機能として設けられてもよいし、他の機能に含められていてもよい。また、差分感情認識装置１０１の機能の一部は、差分感情認識装置１０１と接続可能な他のコンピュータにより実現されてもよい。例えば、学習プログラム４１１は、第１のＰＣに設けられ、差分感情認識プログラム４２１は、第２のＰＣに設けられていてもよい。
【0036】
図５は、学習プログラム４１１のフローチャートの一例を示す図である。
【0037】
まず、学習プログラム４１１は、差分感情認識モデル１１３のパラメータＷｉｊ
１、ｂｉ
１、Ｗｉ
２、ｂｉ
２に初期値を付与する（Ｓ５０１）。学習プログラム４１１は、初期値としては、ニューラルネットワークの学習を進めやすくするためのランダムな値を与える。
【0038】
次に、学習プログラム４１１は、学習用音声データ１１１および学習用差分感情ラベルデータ１１２からデータを読み込む（Ｓ５０２）。
【0039】
次に、学習プログラム４１１は、差分感情認識モデル１１３のパラメータを更新する（Ｓ５０３）。更新方法としては、ニューラルネットワークにおけるバックプロパゲーション法を用いることができる。
【0040】
次に、学習プログラム４１１は、学習が収束したか否かを判定する（Ｓ５０４）。収束判定は、定められた一定の回数を実行したこと、誤差関数の値が定められたしきい値を下回ったこと等の条件で行われる。
【0041】
図６は、差分感情認識プログラム４２１のフローチャートの一例を示す図である。
【0042】
差分感情認識プログラム４２１の実行前に、利用者１０２等により分析対象の音声が連続音声データ１２１として記憶装置４００に格納される。
【0043】
まず、差分感情認識プログラム４２１は、連続音声データ１２１を１フレーム分読み込み、連続音声データ１２１を読み込み終えた場合は、プログラムを終了する（Ｓ６０１）。
【0044】
次に、差分感情認識プログラム４２１は、音声区間を検出したか否かを判定する（Ｓ６０２）。音声区間の検出は、既知の手法を用いることができる。例えば、音量が一定の値以上のフレームが一定数連続したあと、音量が一定の値以下のフレームが一定数連続したとき、そこまでのフレーム群を音声区間とみなすような手法である。音声区間が検出されていない場合は、Ｓ６０１に処理が戻る。なお、音声区間は、音声が検出された区間（一連のフレーム群）であってもよいし、音声が検出された区間の前のフレームおよび／または後のフレームを含む区間であってもよい。
【0045】
次に、差分感情認識プログラム４２１は、検出された音声区間の情報を感情推移データ１２２に保存する（Ｓ６０３）。なお、Ｓ６０３では、音声区間ＩＤと音声区間データとが感情推移データ１２２に格納され、感情推移はＳ６０６において格納される。
【0046】
次に、差分感情認識プログラム４２１は、音声区間のペアを選択可能であるか否かを判定する（Ｓ６０４）。選択される音声区間のペアは、例えば感情推移データ１２２において時間的に隣接したペアであり、感情推移が計算されていない音声区間をペアの１つに含むもの、とすることができる。ここで、差分感情認識プログラム４２１は、感情推移の計算をロバストにするため、隣接するペアを、所定の時間以内である複数のペアとしてもよい。また、差分感情認識プログラム４２１は、短い音声区間、音量の小さい音声区間等、感情認識が困難と思われる音声区間を含むペアを除外するという処理をしてもよい。
【0047】
次に、差分感情認識プログラム４２１は、選択した音声区間のペア（２つの音声区間の音声データ）を差分感情認識モデル１１３に入力し、差分感情認識モデル１１３から出力された差分感情を得る（Ｓ６０５）。
【0048】
次に、差分感情認識プログラム４２１は、差分感情に基づいて感情推移を計算し、感情推移データ１２２に保存する（Ｓ６０６）。ある音声区間の感情推移を求めるには、例えば、すべてのペアに対して、その音声区間とペアとなったもう１つの音声区間の感情推移に、求めた差分感情を足し合わせた値を求め、その値の平均値を取る、ということができる。最初の音声区間の感情推移は、平均値「０」としてよい。その後、Ｓ６０１に処理が戻る。
【0049】
図６では、連続音声データ１２１から検出される音声区間のペアを差分感情認識モデル１１３に入力して差分感情を取得する構成を例に挙げたが、この構成に限らない。例えば、差分感情認識プログラム４２１は、利用者により指定された２つの音声データを差分感情認識モデル１１３に入力して差分感情を取得する構成であってもよい。
【0050】
図７は、感情推移データ１２２の一例（感情推移テーブル７００）を示す図である。
【0051】
感情推移テーブル７００は、音声区間ごとに感情推移を格納する。音声区間ＩＤは、音声区間を一意に識別する符号である。音声区間データは、音声区間が連続音声データ１２１のどの位置からどの位置までのものであるかを示す情報（例えば、時刻区間情報）である。感情推移は、差分感情認識プログラム４２１により得られた音声区間の感情推移値である。
【0052】
図８は、差分感情認識装置１０１のユーザインタフェースの一例を示す図である。
【0053】
利用者１０２は、ディスプレイ４０２から、入力する連続音声ファイルを選択可能であるという情報を得る。利用者１０２は、キーボード４０３および／またはマウス４０４を操作して、音声ファイル選択ボタン８０１を押し、差分感情認識装置１０１内に格納された音声ファイルを選択すると、その音声ファイルの音声が波形８１０としてディスプレイ４０２に可視化されるとともに、連続音声データ１２１として記憶装置４００に格納される。利用者１０２は、続けて分析開始ボタン８０２を押すことで差分感情認識プログラム４２１を実行させることができる。感情推移データ１２２が生成されると、感情推移値がグラフ８２０としてディスプレイ４０２に可視化される。
【0054】
なお、感情推移値は、音声区間ごとに算出されるので、グラフ８２０では、感情推移値が滑らかに結ばれ、時系列で感情推移が示されている。付言するならば、可視化されるデータは、感情推移値に限るものではなく、感情のカテゴリであってもよいし、感情カテゴリごとの度合い（差分感情値）であってもよい。
【0055】
以上により説明した内容で感情認識システムを構成すれば、利用者は、音声の感情表現の差分値を学習したモデルによる差分感情認識器により、特定の話者の音声の感情の推移を容易に確認することができる。
【0056】
（ＩＩ）第２の実施の形態
入力された音声に対して絶対的な感情評価値（感情の絶対値）を出力するように設計された従来のシステムでは、利用者は異なる人物の音声を入力し、その感情評価値をもって各人物に対する感情面の評価を行うという使い方をするおそれがある。前述のとおり、感情認識器の出力は、少数の主観が反映されたものであり、また精度も十分とは言えないため、このような利用は、適切な利用とは言えない場面がある。主な用途としては、同一人物の音声に対して、感情表現の起伏を可視化する等、相対的な感情の変化を見ることができれば十分なことが多いが、そのような用途に限定する仕組みが提供されていない。
入力された音声に対して絶対的な感情評価値（感情の絶対値）を出力するように設計された従来のシステムでは、利用者は異なる人物の音声を入力し、その感情評価値をもって各人物に対する感情面の評価を行うという使い方をするおそれがある。前述のとおり、感情認識器の出力は、少数の主観が反映されたものであり、また精度も十分とは言えないため、このような利用は、適切な利用とは言えない場面がある。主な用途としては、同一人物の音声に対して、感情表現の起伏を可視化する等、相対的な感情の変化を見ることができれば十分なことが多いが、そのような用途に限定する仕組みが提供されていない。
【0057】
この点、本実施の形態の差分感情認識装置９０１は、入力された２つの音声データが、同一話者の音声データであるか否かを判定する。なお、本実施の形態では、第１の実施の形態と同じ構成については、同じ符号を用いて、その説明を省略する。
【0058】
図９は、本実施の形態の差分感情認識装置９０１に係る処理フローの一例を示す図である。
【0059】
本実施の形態における差分感情認識モデル９１１は、同一話者認識部を含み、出力層として出力ｙの他に出力ｚを持つ。出力ｚは、同一話者判定値であり、第１の音声と第２の音声とが同一話者である場合は「１」、同一話者でない場合は「０」を出力する。出力ｚは、（式３）により計算される。
なお、差分感情認識モデル９１１のパラメータは、Ｗｉｊ
１、ｂｉ
１、Ｗｉ
２、ｂｉ
２、Ｗｉ
３、ｂｉ
３となる。
【数3】
【0060】
学習プログラム４１１において、第１の実施の形態と同様の学習用音声データ１１１および学習用差分感情ラベルデータ１１２を用いて学習する場合、ラベルｚは「１」となる。それ以外に、学習用音声データ１１１から、話者ＩＤの異なる任意の音声データ２つを取り出し、ラベルｙをランダムな値（学習用差分感情ラベルデータ１１２の差分感情と無関係な値）、ラベルｚを「０」としてパラメータを更新する。
【0061】
差分感情認識プログラム４２１において感情推移を計算するにあたり、同一話者判定値がしきい値未満のものは同一話者でないと判断し、同一話者でないと判定された差分感情値が全体のペアの一定以上の割合である場合、感情推移は無効値とする。ディスプレイ４０２による感情推移の可視化においては、無効値である音声区間の結果については感情認識が無効であることを表示する。付言するならば、差分感情認識プログラム４２１は、感情推移を無効値とした場合、分析を中止してもよい。
【0062】
なお、本実施の形態は、差分感情認識モデル９１１が同一話者認識部を含む構成に限らない。例えば、差分感情認識モデル１１３と同一話者認識部（例えば、ニューラルネットワークの同一話者認識モデル）とが差分感情認識装置９０１に設けられている構成であってもよい。
【0063】
以上により説明した内容で感情認識システムを構成すれば、利用者が異なる話者の音声を含めた感情認識を実施しようとした場合、その結果を得ることができなくなる。これにより、異なる人物の音声を入力したときの感情評価値をもって各人物に対する感情面の評価とみなしてしまうという利用方法を回避することができる。
【0064】
（ＩＩＩ）付記
上述の実施の形態には、例えば、以下のような内容が含まれる。
上述の実施の形態には、例えば、以下のような内容が含まれる。
【0065】
上述の実施の形態においては、本発明を感情認識システムに適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステム、装置、方法、プログラムに広く適用することができる。
【0066】
また、上述の実施の形態において、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサ部によって実行されることで、定められた処理を、適宜に記憶部（例えばメモリ）および／またはインターフェース部（例えば通信ポート）等を用いながら行うため、処理の主語がプロセッサとされてもよい。プログラムを主語として説明された処理は、プロセッサ部あるいはそのプロセッサ部を有する装置が行う処理としてもよい。また、プロセッサ部は、処理の一部または全部を行うハードウェア回路（例えばＦＰＧＡ（Field-Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit））を含んでもよい。
【0067】
また、上述の実施の形態において、プログラムの一部またはすべては、プログラムソースから、差分感情認識装置を実現するコンピュータのような装置にインストールされてもよい。プログラムソースは、例えば、ネットワークで接続されたプログラム配布サーバまたはコンピュータが読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。また、上述の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
【0068】
また、上述の実施の形態において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部または一部が１つのテーブルであってもよい。
【0069】
また、上述の実施の形態において、図示および説明した画面は、一例であり、受け付ける情報が同じであるならば、どのようなデザインであってもよい。
【0070】
また、上述の実施の形態において、図示および説明した画面は、一例であり、提示する情報が同じであるならば、どのようなデザインであってもよい。
【0071】
また、上述の実施の形態において、統計値として平均値を用いる場合について説明したが、統計値は、平均値に限るものではなく、最大値、最小値、最大値と最小値との差、最頻値、中央値、標準偏差等の他の統計値であってもよい。
【0072】
また、上述の実施の形態において、情報の出力は、ディスプレイへの表示に限るものではない。情報の出力は、スピーカによる音声出力であってもよいし、ファイルへの出力であってもよいし、印刷装置による紙媒体等への印刷であってもよいし、プロジェクタによるスクリーン等への投影であってもよいし、その他の態様であってもよい。
【0073】
また、上記の説明において、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【0074】
上述した実施の形態は、例えば、以下の特徴的な構成を有する。
【0075】
（１）
感情認識システム（例えば、差分感情認識装置１０１、差分感情認識装置９０１、差分感情認識装置１０１および差分感情認識装置１０１と通信可能なコンピュータを備えるシステム、差分感情認識装置９０１および差分感情認識装置９０１と通信可能なコンピュータを備えるシステム）は、第１の音声データと第２の音声データとを入力する入力部（例えば、差分感情認識プログラム４２１、入力部４２２、回路）と、２つの音声データにおける差分の感情を推論する差分感情認識モデル（例えば、差分感情認識モデル１１３、差分感情認識モデル９１１）に、上記第１の音声データと上記第２の音声データとを入力し、上記第１の音声データと上記第２の音声データとにおける差分の感情を示す差分感情情報を上記差分感情認識モデルから取得する処理部（例えば、差分感情認識プログラム４２１、処理部４２３、回路）と、を備える。なお、第１の音声データと第２の音声データとは、１つの音声データ（例えば、連続音声データ１２１）に含まれていてもよいし、別々の音声データであってもよい。
感情認識システム（例えば、差分感情認識装置１０１、差分感情認識装置９０１、差分感情認識装置１０１および差分感情認識装置１０１と通信可能なコンピュータを備えるシステム、差分感情認識装置９０１および差分感情認識装置９０１と通信可能なコンピュータを備えるシステム）は、第１の音声データと第２の音声データとを入力する入力部（例えば、差分感情認識プログラム４２１、入力部４２２、回路）と、２つの音声データにおける差分の感情を推論する差分感情認識モデル（例えば、差分感情認識モデル１１３、差分感情認識モデル９１１）に、上記第１の音声データと上記第２の音声データとを入力し、上記第１の音声データと上記第２の音声データとにおける差分の感情を示す差分感情情報を上記差分感情認識モデルから取得する処理部（例えば、差分感情認識プログラム４２１、処理部４２３、回路）と、を備える。なお、第１の音声データと第２の音声データとは、１つの音声データ（例えば、連続音声データ１２１）に含まれていてもよいし、別々の音声データであってもよい。
【0076】
上記構成では、例えば、２つの音声データから差分の感情（つまり、相対的な感情）が推論されるので、感情認識システムが認識する感情を、１つの音声データから推論される感情（つまり、絶対的な感情）よりも、実際の利用者の印象に近づけることができる。
【0077】
（２）
上記感情認識システムは、２つの音声データの話者が同一の話者であるかを推論する同一話者認識部（例えば、差分感情認識モデル９１１、同一話者認識部）に、上記第１の音声データと上記第２の音声データとを入力し、上記第１の音声データの話者と上記第２の音声データの話者とが同一の話者であることを示す判定情報（例えば、同一話者でないことを示す「０」または同一話者であることを示す「１」であってもよいし、「０」～「１」の数値であってもよい）を上記同一話者認識部から取得し、取得した判定情報に従って上記第１の音声データの話者と上記第２の音声データの話者とが同一の話者であるか否かを判定する判定部（例えば、判定部を含む差分感情認識プログラム４２１、判定部、回路）と、上記判定部による判定の結果に応じた情報を出力する出力部（例えば、判定部を含む差分感情認識プログラム４２１、出力部４２４、回路）と、を備える。
上記感情認識システムは、２つの音声データの話者が同一の話者であるかを推論する同一話者認識部（例えば、差分感情認識モデル９１１、同一話者認識部）に、上記第１の音声データと上記第２の音声データとを入力し、上記第１の音声データの話者と上記第２の音声データの話者とが同一の話者であることを示す判定情報（例えば、同一話者でないことを示す「０」または同一話者であることを示す「１」であってもよいし、「０」～「１」の数値であってもよい）を上記同一話者認識部から取得し、取得した判定情報に従って上記第１の音声データの話者と上記第２の音声データの話者とが同一の話者であるか否かを判定する判定部（例えば、判定部を含む差分感情認識プログラム４２１、判定部、回路）と、上記判定部による判定の結果に応じた情報を出力する出力部（例えば、判定部を含む差分感情認識プログラム４２１、出力部４２４、回路）と、を備える。
【0078】
上記構成によれば、２つの音声データの話者が同一の話者であるか否かが判定されるので、例えば、異なる人の音声を入力し、各人の感情を評価する誤った使い方を回避することができる。
【0079】
（３）
上記出力部は、上記判定部により同一の話者であると判定された場合、上記処理部により取得された差分感情情報（例えば、グラフ８２０）を出力し、上記判定部により同一の話者でないと判定された場合、同一の話者の音声ではない旨（例えば、「同一話者でない音声区間があります。その音声区間のグラフを非表示にしています。」）を出力する。
上記出力部は、上記判定部により同一の話者であると判定された場合、上記処理部により取得された差分感情情報（例えば、グラフ８２０）を出力し、上記判定部により同一の話者でないと判定された場合、同一の話者の音声ではない旨（例えば、「同一話者でない音声区間があります。その音声区間のグラフを非表示にしています。」）を出力する。
【0080】
上記構成によれば、例えば、異なる人物間の音声の比較を拒否する仕組みを提供することができる。
【0081】
（４）
上記入力部は、連続音声データ（例えば、連続音声データ１２１）を入力し、上記処理部は、上記入力部により入力された連続音声データから音声区間を検出し、音声区間ごとに上記連続音声データから音声データを抽出し、抽出した音声データから、一の音声データと上記一の音声データから所定の時間以内にある他の音声データと選択し、上記差分感情認識モデルに、上記一の音声データと上記他の音声データとを入力し、上記一の音声データと上記他の音声データとにおける差分の感情を示す差分感情情報を取得する（例えば、図６参照）。
上記入力部は、連続音声データ（例えば、連続音声データ１２１）を入力し、上記処理部は、上記入力部により入力された連続音声データから音声区間を検出し、音声区間ごとに上記連続音声データから音声データを抽出し、抽出した音声データから、一の音声データと上記一の音声データから所定の時間以内にある他の音声データと選択し、上記差分感情認識モデルに、上記一の音声データと上記他の音声データとを入力し、上記一の音声データと上記他の音声データとにおける差分の感情を示す差分感情情報を取得する（例えば、図６参照）。
【0082】
上記構成によれば、連続音声データが入力された場合、例えば、隣接する２つの音声データにおける差分の感情を示す差分感情情報が順次に取得されるので、利用者は、感情の推移を把握することができる。
【0083】
（５）
上記差分感情認識モデルは、同一人物の２つの音声データと上記２つの音声データにおける差分の感情を示す差分感情情報とが用いられて学習されている（図５参照）。
上記差分感情認識モデルは、同一人物の２つの音声データと上記２つの音声データにおける差分の感情を示す差分感情情報とが用いられて学習されている（図５参照）。
【0084】
上記構成では、同一人物の２つの音声データに対するラベリングが行われるので、例えば、ラベラが感情を推定し易く、ラベルがラベラによる主観に依存してしまう事態を低減することができる。
【0085】
（６）
上記同一話者認識部が、２つの音声データと、上記２つの音声データにおける差分の感情を示す差分感情情報と、上記２つの音声データの話者が同一であるか否かを示す情報とが用いられて学習される際、上記２つの音声データが異なる人物の音声データである場合、上記２つの音声データにおける差分の感情を示す差分感情情報が上記差分感情情報と無関係の値（例えば、ランダムな値）となるように変更されて学習されている。
上記同一話者認識部が、２つの音声データと、上記２つの音声データにおける差分の感情を示す差分感情情報と、上記２つの音声データの話者が同一であるか否かを示す情報とが用いられて学習される際、上記２つの音声データが異なる人物の音声データである場合、上記２つの音声データにおける差分の感情を示す差分感情情報が上記差分感情情報と無関係の値（例えば、ランダムな値）となるように変更されて学習されている。
【0086】
上記構成によれば、例えば、差分感情認識モデルと同一話者認識部とを共通のデータを用いて学習することができるので、学習に用いるデータを準備する負担を低減することができる。
【0087】
（７）
上記差分感情認識モデルは、ニューラルネットワークである。
上記差分感情認識モデルは、ニューラルネットワークである。
【0088】
上記構成では、差分感情認識モデルがニューラルネットワークであるので、声がこもりがちな人、声が高い人といった話者特性、残響が大きいといった環境特性等の変動要因の影響によりルールが正しく機能しない事態を低減し、推論の精度を向上させることができる。
【0089】
また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。
【0090】
「Ａ、Ｂ、およびＣのうちの少なくとも１つ」という形式におけるリストに含まれる項目は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）または（Ａ、Ｂ、およびＣ）を意味することができると理解されたい。同様に、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」の形式においてリストされた項目は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）または（Ａ、Ｂ、およびＣ）を意味することができる。
【符号の説明】
【0091】
１０１……差分感情認識装置、１１３……差分感情認識モデル。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】