知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-26
(45)【発行日】2024-12-04
(54)【発明の名称】感情推定装置、コンピュータプログラム及びコンピュータ
(51)【国際特許分類】
G06T 7/20 20170101AFI20241127BHJP
G06T 7/00 20170101ALI20241127BHJP
G06V 40/20 20220101ALI20241127BHJP
【ＦＩ】
G06T7/20 300A
G06T7/00 350C
G06V40/20
【請求項の数】
11
(21)【出願番号】P 2021039907
(22)【出願日】2021-03-12
(65)【公開番号】P2022139491
(43)【公開日】2022-09-26
【審査請求日】2024-01-18
【新規性喪失の例外の表示】特許法第３０条第２項適用 令和２年１２月３０日、ＭＤＰＩ Ｓｅｎｓｏｒｓ（オンライン論文誌）にて発表
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３１年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業 総括実施型研究ＥＲＡＴＯ「石黒共生ヒューマンロボットインタラクションプロジェクト」協働研究、産業技術力強化法第１７条の適用を受ける特許出願
(73)【特許権者】
【識別番号】393031586
【氏名又は名称】株式会社国際電気通信基礎技術研究所
(74)【代理人】
【識別番号】100099933
【弁理士】
【氏名又は名称】清水 敏
(72)【発明者】
【氏名】時 嘉祺
(72)【発明者】
【氏名】劉 超然
(72)【発明者】
【氏名】イシイ カルロス トシノリ
【審査官】藤原 敬利
(56)【参考文献】
【文献】特開２０１５－１３０１５１（ＪＰ，Ａ）
【文献】特開２０１８－１５２００４（ＪＰ，Ａ）
【文献】特開２０１９－０７１００８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／２０
Ｇ０６Ｖ ４０／２０
(57)【特許請求の範囲】
【請求項1】
発話中の人物の３次元の骨格を表わすグラフの時系列と、当該時系列において隣接する時点での２つのグラフにおいて対応する要素の間を連結したエッジとを含む骨格グラフにつき、当該骨格グラフのノードの各々に関する素性を算出するための素性算出手段と、前記骨格グラフの全てのノード間を１本のエッジで連結した完全グラフの各ノードについて、前記素性に関して自己アテンションを用いた空間方向及び時間方向に関する第１のグラフコンボリューションを行い、当該第１のグラフコンボリューションの結果に基いて、前記人物の発話時の感情を推定するように予め訓練されたグラフニューラルネットワークを含む感情推定手段とを含む、感情推定装置。
【請求項2】
前記感情推定手段の前記グラフニューラルネットワークは、直列に接続された複数個のコンボリューションブロックと、
前記複数個のコンボリューションブロックの最後の出力を受けるように接続されたプーリング層とを含み、
前記複数個のコンボリューションブロックの先頭には、前記完全グラフを表わすように配列された前記素性を要素とする入力テンソルが入力され、
前記複数個のコンボリューションブロックの各々は、
前記完全グラフの空間方向に、自己アテンションを用いたグラフコンボリューションを行う空間コンボリューションブロックと、
前記完全グラフの時間方向に、自己アテンションを用いたグラフコンボリューションを行う時間コンボリューションブロックとを含み、
前記空間コンボリューションブロックと前記時間コンボリューションブロックとは互いに直列に接続され、
前記空間コンボリューションブロック及び前記時間コンボリューションブロックは、いずれも前記入力テンソルと同じ形式のテンソルを出力するよう構成されている、請求項１に記載の感情推定装置。
【請求項3】
前記複数個のコンボリューションブロックの各々はさらに、前記骨格グラフの各ノードに対して第２のグラフコンボリューションを行うグラフニューラルネットワークからなるコンボリューション手段と、
前記空間コンボリューションブロック及び前記時間コンボリューションブロックの中で後段に存在するものの出力と、前記コンボリューション手段の出力とを所定の比率で混合して当該コンボリューションブロックの出力とするための混合手段を含む、請求項２に記載の感情推定装置。
【請求項4】
前記骨格グラフの前記ノードは、前記骨格の関節位置を表わす、請求項１から請求項３のいずれか１項に記載の感情推定装置。
【請求項5】
前記素性は、前記関節位置の３次元の座標データを含む、請求項４に記載の感情推定装置。
【請求項6】
前記骨格グラフの前記ノードは、前記骨格の骨を表わす、請求項１から請求項３のいずれか１項に記載の感情推定装置。
【請求項7】
前記素性は、前記骨を表わすベクトルの方向及び長さを含む、請求項６に記載の感情推定装置。
【請求項8】
請求項４又は請求項５に記載の第１の感情推定装置と、請求項６又は請求項７に記載の第２の感情推定装置と、
前記第１の感情推定装置及び前記第２の感情推定装置の出力を入力とする全結合層とを含み、
前記第１の感情推定装置、前記第２の感情推定装置及び前記全結合層は、予め感情を示すラベルが付された骨格の時系列データを含む訓練データにより訓練されている、感情推定装置。
【請求項9】
請求項１から請求項７のいずれか１項に記載の、映像による感情推定装置と、前記人物の発話中の音声データから前記人物の感情を推定するように予め訓練された、音声による感情推定手段と、
前記人物の前記発話の内容を示すテキストデータから前記人物の感情を推定するように予め訓練された、テキストによる感情推定手段と、
前記映像による感情推定装置、前記音声による感情推定手段、及び前記テキストによる感情推定手段の出力を受ける全結合層とを含む感情推定装置であって、
前記感情推定装置の前記映像による感情推定装置、前記音声による感情推定手段、前記テキストによる感情推定手段、及び前記全結合層は、前記人物の３次元の骨格データの、複数のタイムステップにわたる時系列からなる訓練データにより、さらに訓練されている、感情推定装置。
【請求項10】
コンピュータを、請求項１から請求項９のいずれか１項に記載の感情推定装置として機能させる、コンピュータプログラム。
【請求項11】
請求項１から請求項９のいずれか１項に記載の感情推定装置として機能するようにプログラムされている、コンピュータ。【発明の詳細な説明】
【技術分野】
【0001】
この発明は感情推定技術に関し、特に発話者のジェスチャを利用して発話者の感情を推定する技術に関する。
【背景技術】
【0002】
ロボットの制御又は対話型システムの運用等において、相手となっている人物の感情が推定できれば、様々なアプリケーションにおいてその感情に関する情報を利用できる。例えばバイオメトリックによるセキュリティ保護、ヘルスケア、及びゲームの分野等では、人物の感情に応じて様々な選択肢をとることができる。
【0003】
感情推定では特に、複数のモダリティを用いるマルチモーダル感情推定技術が有力視されている。例えば発話の音声、発話の内容、及び表情等が主要なモダリティである。こうした技術として後掲の非特許文献１に開示された技術がある。図１を参照して、非特許文献１に開示されたマルチモーダル感情推定装置５０は、音声による感情推定装置６０と、発話の内容を示すテキストによる感情推定装置６２と、音声による感情推定装置６０の出力するパラメータとテキストによる感情推定装置６２の出力するパラメータとを受ける全結合層６４とを含む。全結合層６４の出力が感情推定結果６６である。これら各部はニューラルネットワークからなり、マルチモーダル感情推定装置５０も全体として一つのニューラルネットワークを構成している。
【0004】
音声による感情推定装置６０は、音声から時系列で抽出されたＭＦＣＣ（Ｍｅｌ－ｆｒｅｑｕｅｎｃｙ ｃｅｐｓｔｒａｌ ｃｏｅｆｆｉｃｉｅｎｔ）からなる音響素性９２、９４、…、９６を順番に受けて隠れ状態８２、８４、…、８６を順にとるＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）６８と、音声から抽出されたプロソディ８０とＲＮＮ６８の最後の隠れ状態８６を入力として受けるように接続され、出力が全結合層６４の入力に結合された全結合層９８とを含む。
【0005】
テキストによる感情推定装置６２は、トークン１１２、１１４、…、１１６を順番に受け、内部状態を隠れ状態１０２、１０４、…、１０６の順番に変化させるＲＮＮ７０と、隠れ状態１０６を入力とし出力が全結合層６４の入力に結合された全結合層１１８とを含む。
【0006】
感情推定装置６０及び６２はそれぞれ別々に訓練される。さらに感情推定装置６０及び６２を全結合層６４と組み合わせたマルチモーダル感情推定装置５０について、発話の音声及びテキストと、その発話の話者の感情を示すラベルとを訓練データとしてさらに訓練をする。その結果、全結合層６４の出力として例えばその発話をした話者の感情の確率を示す４つの値からなる感情推定結果６６が得られる。ここでは、感情のラベルとして４種類（幸せ、怒り、悲しみ、中立）を採用している。
【0007】
ところで、人の場合には、発話にジェスチャが伴うことが多く、ジェスチャにより感情を強調する場面がよく目撃される。例えば怒りを表わすために、人はよく両腕を同時に大きく振り上げたり、激しく上下させたりする。こうしたジェスチャは音声又は表情等と異なり、遠くからもはっきりと認識できる。したがって、感情推定のための情報に、発話者のジェスチャを加えることが望ましい。
【0008】
しかし従来は、非特許文献１に記載されたように、発話者の音声と発話内容のテキストとを用いたものはよく見られるものの、ジェスチャによる感情推定は普及していない。その理由は、例えば音声、表情、発話内容のテキスト等については、感情推定のためにニューラルネットワークを訓練するためのデータが豊富に準備されているのに対し、動作の場合にはそのようなデータが少ないということが考えられる。ニューラルネットワークは様々な識別・分類に関する問題で非常に大きな効果を挙げているが、大量の訓練データを必要とするという問題がある。ジェスチャのように訓練データが少ない場合には、ニューラルネットワークを効率的に訓練することができない。
【0009】
このように不利な状況の中でも、ジェスチャを感情推定に用いるための研究がされており、後掲の非特許文献２にそのための提案がされている。非特許文献２に開示された技術は、発話中の人体の骨格構造を空間グラフに抽象化したものである。この空間グラフのノードは関節に対応し、エッジは骨による関節の接続に対応する。非特許文献２に開示された感情推定装置はさらに、空間－時間コンボリューションブロックを用いてグラフニューラルネットワークを構築し素性を抽出する。非特許文献２の感情推定装置は、この素性を用いて話者の感情を推定する。
【先行技術文献】
【非特許文献】
【0010】
【文献】Yoon, S.; Byun, S.; Jung, K. Multimodal speech emotion recognition using audio and text. In Proceedings of the 2018 IEEE Spoken Language Technology Workshop (SLT), Athens ,Greece, 18-21 December 2018; pp.112-118.
【文献】Yan, S.; Xiong, Y.; Lin, D. Spatial temporal graph convolutional networks for skeleton-based action recognition. arXiv, 2018, arXiv:1801.07455.
【発明の概要】
【発明が解決しようとする課題】
【0011】
上記した非特許文献２に開示された技術は、ジェスチャを感情の予測に用いるという意味で注目すべき技術である。しかしこの技術には解決すべき問題が残っている。
【0012】
すなわち、非特許文献２で使用されている骨格グラフでは、ジェスチャの特徴の一部しか用いてないという問題がある。関節と、各関節を結ぶ骨とに注目しているという意味では、骨格グラフは人体のジェスチャの自然な表現であると考えられる。しかし逆にそのために、非特許文献２の技術は人体の動きについての限定された情報しか利用できないという制約がある。ジェスチャからさらに多くの情報を引き出し、それらを用いて感情推定をすることができれば、推定の精度がより高くなると考えられる。
【0013】
それ故にこの発明の目的は、ジェスチャからより多くの情報を引き出すことで精度を高めることができる感情推定装置を提供することである。
【課題を解決するための手段】
【0014】
（１）本発明の第１の局面に係る感情推定装置は、発話中の人物の３次元の骨格を表わすグラフの時系列と、当該時系列において隣接する時点での２つのグラフにおいて対応する要素の間を連結したエッジとを含む骨格グラフにつき、当該骨格グラフのノードの各々に関する素性を算出するための素性算出手段と、骨格グラフの全てのノード間を１本のエッジで連結した完全グラフの各ノードについて、素性に関して自己アテンションを用いた空間方向及び時間方向に関する第１のグラフコンボリューションを行い、当該第１のグラフコンボリューションの結果に基いて、人物の発話時の感情を推定するように予め訓練されたグラフニューラルネットワークを含む感情推定手段とを含む。
【0015】
（２）好ましくは、感情推定手段のグラフニューラルネットワークは、直列に接続された複数個のコンボリューションブロックと、複数個のコンボリューションブロックの最後の出力を受けるように接続されたプーリング層とを含み、複数個のコンボリューションブロックの先頭には、完全グラフを表わすように配列された素性を要素とする入力テンソルが入力され、複数個のコンボリューションブロックの各々は、完全グラフの空間方向に、自己アテンションを用いたグラフコンボリューションを行う空間コンボリューションブロックと、完全グラフの時間方向に、自己アテンションを用いたグラフコンボリューションを行う時間コンボリューションブロックとを含み、空間コンボリューションブロックと時間コンボリューションブロックとは互いに直列に接続され、空間コンボリューションブロック及び時間コンボリューションブロックは、いずれも入力テンソルと同じ形式のテンソルを出力するよう構成されている。
【0016】
（３）より好ましくは、感情推定装置は、複数個のコンボリューションブロックの各々はさらに、骨格グラフの各ノードに対して第２のグラフコンボリューションを行うグラフニューラルネットワークからなるコンボリューション手段と、空間コンボリューションブロック及び時間コンボリューションブロックの中で後段に存在するものの出力と、コンボリューション手段の出力とを所定の比率で混合して当該コンボリューションブロックの出力とするための混合手段を含む。
【0017】
（４）さらに好ましくは、骨格グラフのノードは、骨格の関節位置を表わす。
【0018】
（５）好ましくは、素性は、関節位置の３次元の座標データを含む。
【0019】
（６）より好ましくは、骨格グラフのノードは、骨格の骨を表わす。
【0020】
（７）さらに好ましくは、素性は、骨を表わすベクトルの方向及び長さを含む。
【0021】
（８）本発明の第２の局面に係る感情推定装置は、（４）又は（５）に記載の第１の感情推定装置と、（６）又は（７）に記載の第２の感情推定装置と、第１の感情推定装置及び第２の感情推定装置の出力を入力とする全結合層とを含み、第１の感情推定装置、第２の感情推定装置及び全結合層は、予め感情を示すラベルが付された骨格の時系列データを含む訓練データにより訓練されている。
【0022】
（９）本発明の第３の局面に係る感情推定装置は、（１）から（７）のいずれかに記載の、映像による感情推定装置と、人物の音声データから人物の感情を推定するように予め訓練された、音声による感情推定手段と、人物の発話の内容を示すテキストデータから人物の感情を推定するように予め訓練された、テキストによる感情推定手段と、映像による感情推定装置、音声による感情推定手段、及びテキストによる感情推定手段の出力を受ける全結合層とを含む感情推定装置であって、感情推定装置の映像による感情推定装置、音声による感情推定手段、テキストによる感情推定手段、及び全結合層は、発話中の人物の３次元の骨格データの、複数のタイムステップにわたる時系列からなる訓練データにより、さらに訓練されている。
【0023】
（１０）本発明の第４の局面に係るコンピュータプログラムは、コンピュータを、上記したいずれかの装置の各手段として機能させる。
【0024】
（１１）本発明の第５の局面に係るコンピュータは、（１）から（９）のいずれかの感情推定装置として機能するようにプログラムされている。
【0025】
この発明の上記及び他の目的、特徴、局面及び利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【0026】
【発明を実施するための形態】
【0027】
以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。
【0028】
第１ 第１実施形態
１．構成
（１）全体構成
図２にこの発明の第１実施形態に係るマルチモーダル感情推定装置１５０の概略構成をブロック図形式で示す。図２を参照して、マルチモーダル感情推定装置１５０は、図１に示すものと同じ感情推定装置６０及び６２と、映像から抽出した骨格情報の時系列から得られる骨格グラフを用いて感情推定を行うための感情推定装置１６０と、感情推定装置６０及び６２並びに感情推定装置１６０の出力を受けて感情推定結果１６４を出力するための全結合層１６２とを含む。全結合層１６２は、図１に示す全結合層６４と同様の機能を持つが、感情推定装置６０及び６２に加えて感情推定装置１６０の入力も受けるように構成されている点で全結合層６４と異なる。
１．構成
（１）全体構成
図２にこの発明の第１実施形態に係るマルチモーダル感情推定装置１５０の概略構成をブロック図形式で示す。図２を参照して、マルチモーダル感情推定装置１５０は、図１に示すものと同じ感情推定装置６０及び６２と、映像から抽出した骨格情報の時系列から得られる骨格グラフを用いて感情推定を行うための感情推定装置１６０と、感情推定装置６０及び６２並びに感情推定装置１６０の出力を受けて感情推定結果１６４を出力するための全結合層１６２とを含む。全結合層１６２は、図１に示す全結合層６４と同様の機能を持つが、感情推定装置６０及び６２に加えて感情推定装置１６０の入力も受けるように構成されている点で全結合層６４と異なる。
【0029】
感情推定装置１６０は、複数の画像シーケンスからなる、人物の上半身の映像時系列１７０から抽出された、骨格の時系列を表わすグラフである時系列骨格グラフ１７２に対し、非特許文献２に記載のグラフコンボリューションと、グラフの時系列に対応する完全グラフに対する自己アテンションを用いたグラフコンボリューションとを組み合わせた処理を行うＳ－ＳＴＧＣＮ１７４と、Ｓ－ＳＴＧＣＮ１７４の出力を受ける入力と全結合層１６２に結合された出力とを持つ全結合層１７６とを含む。
【0030】
【0031】
（２）骨格グラフの形成
図３を参照して、映像時系列１７０から時系列骨格グラフ１７２を抽出する処理は、映像時系列１７０から被写体の人物の２次元の姿勢を推定する２Ｄ姿勢推定部２００と、２Ｄ姿勢推定部２００により推定された人物の２次元の姿勢から、その人物の３次元の姿勢を推定し、推定された姿勢から、人物の上半身の時系列骨格グラフ１７２を出力するための３Ｄ姿勢推定部２０２とを含む。これらはいずれも既存のオープンソースのソフトウェアで実現できる。
図３を参照して、映像時系列１７０から時系列骨格グラフ１７２を抽出する処理は、映像時系列１７０から被写体の人物の２次元の姿勢を推定する２Ｄ姿勢推定部２００と、２Ｄ姿勢推定部２００により推定された人物の２次元の姿勢から、その人物の３次元の姿勢を推定し、推定された姿勢から、人物の上半身の時系列骨格グラフ１７２を出力するための３Ｄ姿勢推定部２０２とを含む。これらはいずれも既存のオープンソースのソフトウェアで実現できる。
【0032】
（３）骨格グラフ
図４は、ある時点での骨格を表わすグラフ２５０の模式図である。図４を参照してこのグラフは、この例では１０個のノード２６０、…、２７８と、９本のエッジ２９０、…、３０６とを含む。このグラフ２５０は非特許文献１で採用された骨格のグラフと同じである。
図４は、ある時点での骨格を表わすグラフ２５０の模式図である。図４を参照してこのグラフは、この例では１０個のノード２６０、…、２７８と、９本のエッジ２９０、…、３０６とを含む。このグラフ２５０は非特許文献１で採用された骨格のグラフと同じである。
【0033】
ノード２６０、…、２７８は、それぞれ人物の上半身の関節に対応する。エッジ２９０、…、３０６はそれぞれこれらノードのうち特定の２つを接続する骨に対応する。この例ではエッジ２９０はノード２６０とノード２６２とを接続する。エッジ２９２はノード２６２とノード２６８とを接続する。エッジ２９４はノード２６４とノード２６６とを接続する。エッジ２９６はノード２６６とノード２７０とを接続する。エッジ２９８はノード２６８とノード２７０を接続する。エッジ３００はノード２７０とノード２７２とを接続する。エッジ３０２はノード２７０とノード２７４とを接続する。エッジ３０４はノード２７４とノード２７６とを接続する。エッジ３０６はノード２７６とノード２７８とを接続する。
【0034】
時系列骨格グラフ１７２は、このグラフ２５０が時系列にしたがって並んだ重層的な構造を持つグラフである。隣接するタイムステップのグラフ２５０において、同じノード同士は図示しないエッジで連結されている。例えば、図４には図示していないが、あるタイムステップのノード２６０とその前後のタイムステップのノード２６０とは互いにエッジで連結されている。ただし、隣接するタイムステップでも、あるタイムステップのノード２６０と、隣接するタイムステップの他のノード２６２とは連結されていない。また、同じノード２６０でも、隣接していないタイムステップのノード２６０同士は連結されていない。
【0035】
なおこの骨格グラフは隣接行列として表現される。また非特許文献２でも提案されている分割戦略にしたがって、この隣接行列は複数個のサブ行列に分割されている。
【0036】
（４）完全グラフ
図５は、この第１実施形態で自己アテンションによるグラフコンボリューションを行う対象として想定される完全骨格グラフ３５０を説明するための図である。図５を参照して、ノード２７８は、図４ではノード２７６とエッジ３０６により連結されているが、他のノードとは接続されていない。しかし完全骨格グラフ３５０においては、ノード２７８は、エッジ３７０によりノード２６０と、エッジ３７２によりノード２６４と、エッジ３７４によりノード２６２と、エッジ３７６によりノード２６６と、エッジ３７８によりノード２６８と、エッジ３８０によりノード２７０と、エッジ３８２によりノード２７４と、エッジ３８４によりノード２７２と、それぞれ接続されている。
図５は、この第１実施形態で自己アテンションによるグラフコンボリューションを行う対象として想定される完全骨格グラフ３５０を説明するための図である。図５を参照して、ノード２７８は、図４ではノード２７６とエッジ３０６により連結されているが、他のノードとは接続されていない。しかし完全骨格グラフ３５０においては、ノード２７８は、エッジ３７０によりノード２６０と、エッジ３７２によりノード２６４と、エッジ３７４によりノード２６２と、エッジ３７６によりノード２６６と、エッジ３７８によりノード２６８と、エッジ３８０によりノード２７０と、エッジ３８２によりノード２７４と、エッジ３８４によりノード２７２と、それぞれ接続されている。
【0037】
エッジ３７０、…、３８４は互いに異なる太さとなっている。この太さの違いは、自己アテンションによりグラフコンボリューションで扱われる、ノード２７８と各ノードとの間の関係の大きさを示している。
【0038】
図５ではノード２７８について、ある時点での他のノードとの連結関係を示している。しかし、ノード２７８に限らず、他の全てのノードについても、他の各ノードと１本のエッジにより接続されている。
【0039】
このように全てのノードがそれぞれ１本のエッジにより他の全てのノードと接続されているグラフを完全グラフと呼ぶ。なお、完全骨格グラフ３５０の場合、あるタイムステップのグラフが完全グラフであるだけでなく、時系列を構成するノード全てが他の各ノードと１本のエッジで連結されている完全グラフとなっている。後述するように、こうした空間的及び時間的な関節の間の関係をグラフコンボリューションで抽出するために、この実施形態では空間方向と時間方向との両方向にわたりグラフコンボリューションを行う。
【0040】
なお、このように完全グラフに対するグラフコンボリューションは自己アテンションを用いたものとなる。そのグラフコンボリューションを行う仕組み（Ｓ－ＳＴＧＣＮ１７４の構成）については図９から図１１を参照して後述する。
【0041】
（５）２種類のグラフコンボリューション結果の統合
上記したように、この実施形態では、非特許文献１により提案されたグラフコンボリューションと、本実施形態で提案する、完全グラフに基づく自己アテンションを用いたグラフコンボリューションとの２つのグラフコンボリューションを行い、その結果を統合している。
上記したように、この実施形態では、非特許文献１により提案されたグラフコンボリューションと、本実施形態で提案する、完全グラフに基づく自己アテンションを用いたグラフコンボリューションとの２つのグラフコンボリューションを行い、その結果を統合している。
【0042】
図６を参照して、その統合方法について説明する。図６を参照して、グラフ２５０に対して非特許文献１に提案された従来技術のグラフコンボリューションを行う。一方、グラフ２５０に対応する完全骨格グラフ３５０については、本実施形態で提案する自己アテンションを用いたグラフコンボリューションを行う。そして、両者の結果を互いに加算することで両者を統合する。その際、互いの加算の比率について、この実施形態ではグラフ２５０に対するグラフコンボリューションの結果に対し、完全骨格グラフ３５０に対するグラフコンボリューションの値に定数ｒを乗算したものを加算することで最終的な結果を得るようにしている。定数ｒは訓練の対象となるパラメータである。
【0043】
２．訓練
感情推定装置６０及び６２、及び感情推定装置１６０、並びにマルチモーダル感情推定装置１５０の全体に関する訓練は、通常の誤差逆伝搬法を用いて行うことができる。より詳細には、ある感情をもって発話する人物の映像のサンプルを準備し、それらサンプルにその人物の感情を示すラベルを付したものを訓練データとする。感情推定装置６０及び６２、及び感情推定装置１６０はそれぞれ独立に訓練される。これらとマルチモーダル感情推定装置１５０の全体の訓練とのいずれにおいても、訓練データとしてある程度の数を準備し、対象となる感情推定装置に与えてその出力を得る。それら出力と訓練データに付されているラベルとの誤差を算出し、対象となる感情推定装置のパラメータを誤差逆伝搬法により更新する。
感情推定装置６０及び６２、及び感情推定装置１６０、並びにマルチモーダル感情推定装置１５０の全体に関する訓練は、通常の誤差逆伝搬法を用いて行うことができる。より詳細には、ある感情をもって発話する人物の映像のサンプルを準備し、それらサンプルにその人物の感情を示すラベルを付したものを訓練データとする。感情推定装置６０及び６２、及び感情推定装置１６０はそれぞれ独立に訓練される。これらとマルチモーダル感情推定装置１５０の全体の訓練とのいずれにおいても、訓練データとしてある程度の数を準備し、対象となる感情推定装置に与えてその出力を得る。それら出力と訓練データに付されているラベルとの誤差を算出し、対象となる感情推定装置のパラメータを誤差逆伝搬法により更新する。
【0044】
３．動作
マルチモーダル感情推定装置１５０は以下のように動作する。感情推定装置６０及び６２は図１に示す従来のものと同様に動作する。
マルチモーダル感情推定装置１５０は以下のように動作する。感情推定装置６０及び６２は図１に示す従来のものと同様に動作する。
【0045】
感情推定装置１６０において、図３に示す２Ｄ姿勢推定部２００が映像時系列１７０から一連の画像における発話者の２次元の姿勢を推定する。それら一連の２次元の姿勢から、３Ｄ姿勢推定部２０２が一連の３次元の姿勢を推定し、それらの各々における関節位置の３次元座標を推定して時系列骨格グラフ１７２を得る。なお、３次元の姿勢推定から骨格を抽出する際に、各関節位置とそれらの間の連結関係は予め定められている。したがって３Ｄ姿勢推定部２０２により計算された各関節位置から時系列骨格グラフ１７２を得ることは容易である。
【0046】
図２に示すＳ－ＳＴＧＣＮ１７４は、時系列骨格グラフ１７２に対しては非特許文献２により提案された先行技術のグラフコンボリューションを行う。Ｓ－ＳＴＧＣＮ１７４はまた、図９から図１１を参照して説明するような、自己アテンションを用いたグラフコンボリューションを行う。両者の結果はＳ－ＳＴＧＣＮ１７４の内部で上記したように１：ｒの比で合算されてＳ－ＳＴＧＣＮ１７４の出力となる。
【0047】
第２ 第２実施形態
１．構成
（１）骨ベクトルによるグラフ
上記第１実施形態では、発話者の骨格に関する情報のうち、関節をノードとし、関節を連結する骨をエッジとするグラフを考えた。しかしこの発明はそのような実施形態には限定されない。骨をノードとし、骨の端点に相当する関節をエッジとするグラフを考えることもできる。
１．構成
（１）骨ベクトルによるグラフ
上記第１実施形態では、発話者の骨格に関する情報のうち、関節をノードとし、関節を連結する骨をエッジとするグラフを考えた。しかしこの発明はそのような実施形態には限定されない。骨をノードとし、骨の端点に相当する関節をエッジとするグラフを考えることもできる。
【0048】
図７を参照して、第２実施形態では、グラフ２５０において例えばノード２６０である頂点ｖ１と、ノード２６２である頂点ｖ２とを結ぶ、骨格でいうと骨に相当する役割のベクトルｅ１，２をノードとする。つまりこの場合の骨ベクトルは、骨の方向と長さとを表わす。同様にして、グラフ２５０における各エッジをノードとし、各ノードをエッジとするグラフが考えられる。このグラフを第２実施形態ではＳ－ＳＴＧＣＮの入力とする。
【0049】
第２実施形態は、そのようなグラフの時系列を入力とする第２のＳ－ＳＴＧＣＮを用いる感情推定装置と、第１実施形態で説明した感情推定装置１６０との２系統により得られたパラメータに基いて感情推定を行う。
【0050】
（２）２系統感情推定装置
図８に、この第２実施形態に係る感情推定装置４５０の概略ブロック図を示す。図８を参照して、感情推定装置４５０は、一連の映像から抽出された３次元の姿勢を表わす骨格情報４６０から、第１実施形態に係る感情推定装置１６０と同様の手法により、感情推定のためのスコアベクトルを出力する関節による感情推定部４６２と、骨格情報４６０から上記した骨ベクトルの時系列に関する情報を抽出して得られた時系列骨格グラフを入力として、感情推定装置１６０と同様の手法により感情推定のためのスコアベクトルを出力する骨ベクトルによる感情推定部４６４と、関節による感情推定部４６２の出力及び骨ベクトルによる感情推定部４６４の出力を受けるように接続され、これらの出力するスコアの加重和を算出する統合部４６６とを含む。統合部４６６の出力は、上記した４つの感情の中で発話者の感情である確率が最も高い感情を示す出力を与える。
図８に、この第２実施形態に係る感情推定装置４５０の概略ブロック図を示す。図８を参照して、感情推定装置４５０は、一連の映像から抽出された３次元の姿勢を表わす骨格情報４６０から、第１実施形態に係る感情推定装置１６０と同様の手法により、感情推定のためのスコアベクトルを出力する関節による感情推定部４６２と、骨格情報４６０から上記した骨ベクトルの時系列に関する情報を抽出して得られた時系列骨格グラフを入力として、感情推定装置１６０と同様の手法により感情推定のためのスコアベクトルを出力する骨ベクトルによる感情推定部４６４と、関節による感情推定部４６２の出力及び骨ベクトルによる感情推定部４６４の出力を受けるように接続され、これらの出力するスコアの加重和を算出する統合部４６６とを含む。統合部４６６の出力は、上記した４つの感情の中で発話者の感情である確率が最も高い感情を示す出力を与える。
【0051】
関節による感情推定部４６２及び骨ベクトルによる感情推定部４６４はそれぞれグラフニューラルネットワークを形成する。さらにこれら２つの機能部と統合部４６６とを連結したものも全体としてニューラルネットワークを構成する。
【0052】
２．訓練
関節による感情推定部４６２及び骨ベクトルによる感情推定部４６４はそれぞれ独立に訓練される。その後、これらを統合部４６６と組み合わせた感情推定装置４５０についても訓練が行われる。
関節による感情推定部４６２及び骨ベクトルによる感情推定部４６４はそれぞれ独立に訓練される。その後、これらを統合部４６６と組み合わせた感情推定装置４５０についても訓練が行われる。
【0053】
関節による感情推定部４６２、骨ベクトルによる感情推定部４６４、及び感情推定装置４５０の全体に関する訓練は、第１実施形態と同様、通常の誤差逆伝搬法を用いて行うことができる。より詳細には、ある感情をもって発話する人物の映像のサンプルを準備し、それらサンプルにその人物の感情を示すラベルを付したものを訓練データとする。関節による感情推定部４６２、骨ベクトルによる感情推定部４６４、及び感情推定装置４５０の訓練のいずれにおいても、訓練データとしてある程度の数を準備し、対象となる感情推定装置に与えてその出力を得る。それら出力と訓練データに付されているラベルとの誤差を算出し、感情推定装置のパラメータを誤差逆伝搬法により更新する。
【0054】
３．動作
図８を参照して、関節による感情推定部４６２において、関節位置情報抽出部４８０が骨格情報４６０から関節位置情報を抽出する。Ｓ－ＳＴＧＣＮ４８２がその関節位置情報に基いて時系列骨格グラフを生成して通常のグラフコンボリューションと自己アテンションを用いたグラフコンボリューションとを行い、感情の推定結果を示すスコアベクトルを統合部４６６に出力する。
図８を参照して、関節による感情推定部４６２において、関節位置情報抽出部４８０が骨格情報４６０から関節位置情報を抽出する。Ｓ－ＳＴＧＣＮ４８２がその関節位置情報に基いて時系列骨格グラフを生成して通常のグラフコンボリューションと自己アテンションを用いたグラフコンボリューションとを行い、感情の推定結果を示すスコアベクトルを統合部４６６に出力する。
【0055】
骨ベクトルによる感情推定部４６４においても同様で、骨ベクトル情報抽出部４９０が骨格情報４６０から骨の長さと方向とを表わす骨ベクトル情報を抽出する。Ｓ－ＳＴＧＣＮ４９２がそれら骨ベクトル情報に基いて時系列骨格グラフを生成し、通常のグラフコンボリューションと自己アテンションを用いたグラフコンボリューションとを行い、感情の推定結果を示すスコアベクトルを統合部４６６に出力する。
【0056】
統合部４６６は、関節による感情推定部４６２からのスコアベクトルと骨ベクトルによる感情推定部４６４からのスコアベクトルとを加重和により統合し、最も確率が高い感情を予測４６８として出力する。
【0057】
第３ Ｓ－ＳＴＧＣＮ
１．構成
（１）全体ネットワーク構成
第１実施形態及び第２実施形態で共通して用いられているＳ－ＳＴＧＣＮ、例えばＳ－ＳＴＧＣＮ４８２は以下のような構造を持つ。
１．構成
（１）全体ネットワーク構成
第１実施形態及び第２実施形態で共通して用いられているＳ－ＳＴＧＣＮ、例えばＳ－ＳＴＧＣＮ４８２は以下のような構造を持つ。
【0058】
図９を参照して、Ｓ－ＳＴＧＣＮ４８２は、骨格グラフ５５０を入力として受ける、直列に接続された１０個のコンボリューションブロック５５２、…、５７０と、コンボリューションブロック５７０の出力に対してグローバル平均プーリングを行うプーリング層５７２と、プーリング層５７２の出力に対してＳｏｆｔＭａｘ演算を行うＳｏｆｔＭａｘ層５７４とを含む。
【0059】
骨格グラフ５５０は、前述したように時間方向と空間方向との２つの方向を持つ。コンボリューションブロック５５２、…、５７０の各々について、この時間方向と空間方向との各々についてグラフコンボリューションが行われる。
【0060】
またこの実施形態では、骨格グラフ５５０の各ノードの値は関節の場合には３次元座標であり、したがって入力のチャンネル数は３である。このチャンネル数はコンボリューションの処理にしたがって変動する。しかし、コンボリューションブロック５５２、…、５７０は基本的に同じ構造である。したがってこれらはそれぞれ、コンボリューションブロック５５２への入力である骨格グラフ５５０と同じ次元の入力を受け、同じ次元のデータを次のブロックに出力する。
【0061】
（２）コンボリューションブロックの構成
図１０に、図９に示すコンボリューションブロック５５２のより詳細な構成を示す。コンボリューションブロック５５４、…、５７０も同じように構成されている。図１０を参照して、コンボリューションブロック５５２は、直列に接続されたＳ－ＳＧＣ層６００、バッチ正規化層６０２、Ｒｅｌｕ６０４、Ｔ－Ｃｏｎｖ層６０６、バッチ正規化層６０８及びＲｅｌｕ６１０と、Ｓ－ＳＧＣ層６００への入力と同じ入力を受ける残差算出部６１２と、Ｒｅｌｕ６１０の出力に残差算出部６１２の出力を加算するための加算部６１４と、加算部６１４の出力を受けるＲｅｌｕ６１６とを含む。
図１０に、図９に示すコンボリューションブロック５５２のより詳細な構成を示す。コンボリューションブロック５５４、…、５７０も同じように構成されている。図１０を参照して、コンボリューションブロック５５２は、直列に接続されたＳ－ＳＧＣ層６００、バッチ正規化層６０２、Ｒｅｌｕ６０４、Ｔ－Ｃｏｎｖ層６０６、バッチ正規化層６０８及びＲｅｌｕ６１０と、Ｓ－ＳＧＣ層６００への入力と同じ入力を受ける残差算出部６１２と、Ｒｅｌｕ６１０の出力に残差算出部６１２の出力を加算するための加算部６１４と、加算部６１４の出力を受けるＲｅｌｕ６１６とを含む。
【0062】
Ｓ－ＳＧＣ層６００は、入力により示される骨格グラフの空間方向へのグラフコンボリューションを行うためのものである。すなわちＳ－ＳＧＣ層６００は、骨格グラフの各ノードについて、同じタイムステップのノードとの間でグラフコンボリューションを行う。
【0063】
これに対してＴ－Ｃｏｎｖ層６０６は、骨格グラフの時間方向へのグラフコンボリューションを行うためのものである。すなわちＴ－Ｃｏｎｖ層６０６は、骨格グラフの各ノードについて、異なるタイムステップのノードとの間でグラフコンボリューションを行う。
【0064】
（３）Ｓ－ＳＧＣ層の構成
Ｓ－ＳＧＣ層６００とＴ－Ｃｏｎｖ層６０６とは、対象とするノードが異なるだけで、その構成は同じである。したがって、以下ではＳ－ＳＧＣ層６００の構成のみについて説明する。
Ｓ－ＳＧＣ層６００とＴ－Ｃｏｎｖ層６０６とは、対象とするノードが異なるだけで、その構成は同じである。したがって、以下ではＳ－ＳＧＣ層６００の構成のみについて説明する。
【0065】
なお、以下の説明に出現するテンソル、行列、ベクトル等の次元数について予め以下に一覧形式で示す。
【表1】
【0066】
ア．Ｓ－ＳＧＣ層６００の全体構成
図１１を参照して、Ｓ－ＳＧＣ層６００は、コンボリューション部６５０、自己アテンショングラフコンボリューション部６５２、及びゲーティング部６５４を含む。
図１１を参照して、Ｓ－ＳＧＣ層６００は、コンボリューション部６５０、自己アテンショングラフコンボリューション部６５２、及びゲーティング部６５４を含む。
【0067】
自己アテンショングラフコンボリューション部６５２は、以下の参考文献１に記載された、Ｔｒａｎｓｆｏｒｍｅｒと呼ばれる、自己アテンションを用いた深層学習モデルのエンコーダ部分と同様の構造を持つ。参考文献１の開示の全体をここに参照により援用する。
【0068】
［参考文献１］
Vaswani et al., Attention is all you need. In Proceedings of the Advances in neural information processing systems, Long Beach, CA, USA, 4-9 December 2017; pp. 5998-6008.
Vaswani et al., Attention is all you need. In Proceedings of the Advances in neural information processing systems, Long Beach, CA, USA, 4-9 December 2017; pp. 5998-6008.
【0069】
イ．自己アテンショングラフコンボリューション部６５２
すなわち、図１１を参照して、自己アテンショングラフコンボリューション部６５２は、前層からＳ－ＳＧＣ層６００への入力ｆｉｎ（次元がＣｉｎ×Ｔ×Ｖのテンソル。ただしＴは骨格グラフのタイムステップ数、Ｖは１タイムステップにおける骨格グラフの関節数である。）に対してバッチ正規化を行い、かつ次元がＴ×Ｖ×Ｃｉｎに変換されたテンソルを出力するバッチ正規化部７００と、バッチ正規化部７００の出力を分岐したものをそれぞれ受ける、Ｈ個（この実施形態ではＨ＝４）のヘッド６７０、…、６７６と、これらＨ個のヘッド６７０、…、６７６の出力を連接する連接部７１４と、連接部７１４の出力に対し行列を乗算することにより線形変換を行う線形変換部７１６と、バッチ正規化部７００の出力に対して所定の残差算出を行うための残差算出部７１８と、線形変換部７１６の出力に残差算出部７１８の出力をポイントワイズで加算するための加算部７２０とを含む。
すなわち、図１１を参照して、自己アテンショングラフコンボリューション部６５２は、前層からＳ－ＳＧＣ層６００への入力ｆｉｎ（次元がＣｉｎ×Ｔ×Ｖのテンソル。ただしＴは骨格グラフのタイムステップ数、Ｖは１タイムステップにおける骨格グラフの関節数である。）に対してバッチ正規化を行い、かつ次元がＴ×Ｖ×Ｃｉｎに変換されたテンソルを出力するバッチ正規化部７００と、バッチ正規化部７００の出力を分岐したものをそれぞれ受ける、Ｈ個（この実施形態ではＨ＝４）のヘッド６７０、…、６７６と、これらＨ個のヘッド６７０、…、６７６の出力を連接する連接部７１４と、連接部７１４の出力に対し行列を乗算することにより線形変換を行う線形変換部７１６と、バッチ正規化部７００の出力に対して所定の残差算出を行うための残差算出部７１８と、線形変換部７１６の出力に残差算出部７１８の出力をポイントワイズで加算するための加算部７２０とを含む。
【0070】
Ｈ個のヘッド６７０、…、６７６はいずれも同じ構成を持つ。例えばヘッド６７０は、バッチ正規化部７００の出力をそれぞれ受ける線形変換部７０２及び７０４、及び線形変換部７０６を含む。これらヘッド６７０、…、６７６の構成は互いに全く同じでパラメータの個数も同じである。しかし、訓練時に各パラメータは独立に乱数で初期化される。したがって訓練後の各ヘッドによる自己アテンションの計算は互いに異なるものとなる。
【0071】
線形変換部７０４は、バッチ正規化部７００の出力に対して行列を乗算することで次元がＴ×Ｖ×Ｄｋのテンソルを出力するためのものである。線形変換部７０４の出力は参考文献１ではキー（Ｋｅｙ）と呼ばれ、通常「Ｋ」で示される。Ｄｋは「Ｋ」で示されるテンソルが、ヘッド６７０で得られるアテンションの中でＫが占める次元数を示す。この実施形態ではＤｋ＝０．２５×Ｃｉｎである。
【0072】
線形変換部７０２は、バッチ正規化部７００の出力に対して行列を乗算することで次元がＴ×Ｖ×Ｄｋのテンソルを出力するためのものである。参考文献１では線形変換部７０２の出力はクエリと呼ばれ、「Ｑ」で示される。
【0073】
線形変換部７０６は線形変換部７０２及び７０４と同様、バッチ正規化部７００の出力に対して行列を乗算することで、次元がＴ×Ｖ×ＤＶのテンソルを出力するためのものである。線形変換部７０６の出力は参考文献１では「バリュー（Ｖａｌｕｅ）」と呼ばれ、「Ｖ」で示される。ＤＶはヘッド６７０で得られるアテンションの中でＶが占める次元数を示す。
【0074】
ヘッド６７０はさらに、線形変換部７０４からのキーＫと線形変換部７０２からのクエリＱとの間で以下の式で示されるスケール変換ドット積を行うためのスケール変換ドット積部７０８と、スケール変換ドット積部７０８の出力に対してソフトマックス演算を行うＳｏｆｔＭａｘ演算部７１０と、ＳｏｆｔＭａｘ演算部７１０の出力と線形変換部７０６の出力との間で乗算を行うための乗算部７１２とを含む。
【0075】
ここで、各関節の特徴ベクトルをａｉ（ｉ＝１，…，Ｖ）とする。すると、参考文献１の開示により、あるヘッド（ｈｅａｄ）におけるクエリＱのｉ行目とキーＫのｊ行目との類似度ｅｉｊ
ｈｅａｄは以下のスケール変換ドット積により算出される。
【数1】
【0076】
ｄｋの二乗根で分子を除算（スケール変換）しているのは、この除算をせずにｄｋの値が大きくなったときに、分子のドット積の値が大きくなり過ぎ、誤差逆伝搬における勾配が小さくなってしまい訓練に支障が生ずることを防止するためである。
【0077】
このヘッド（ｈｅａｄ）におけるＳｏｆｔＭａｘ演算部７１０の出力のｉ行ｊ列の要素αｉｊ
ｈｅａｄは以下の式で表される。
【数2】
【0078】
あるヘッドにおけるこれら値の加重結果は、以下の式により表される。
ただしｄｖはバリューＶの次元である。上の式内のｓｉ
ｈｅａｄは以下の式により算出される。
【数3】
【数4】
【0079】
連接部７１４の出力は以下の式で表される。
【数5】
【0080】
残差算出部７１８は、自己アテンショングラフコンボリューション部６５２の訓練を安定化させるために設けたものである。残差算出部７１８は、自己アテンショングラフコンボリューション部６５２への入力ｆｉｎに対して以下のように残差Ｒｅｓｉｄｕａｌ（ｆｉｎ）を算出するためのものである。
ただしＣｉｎは入力ｆｉｎのチャンネル数、Ｃｏｕｔは自己アテンショングラフコンボリューション部６５２の出力ｆａのチャンネル数、ＷＲ∈ＲＣｉｎ×Ｃｏｕｔは入力のチャンネル数Ｃｉｎと出力のチャンネル数Ｃｏｕｔとを一致させるためのパラメータ行列である。
【数6】
【0081】
加算部７２０の出力、すなわち自己アテンショングラフコンボリューション部６５２の出力ｆａは以下の式で表される。
【数7】
【0082】
ウ．コンボリューション部６５０
コンボリューション部６５０は、非特許文献２に記載された従来のグラフコンボリューションを行うためのものである。ここでのコンボリューションのために、骨格グラフは隣接行列Ａの形でコンボリューション部６５０に入力される。非特許文献２でも提案されている分割戦略にしたがって、行列ＡはＫ個（ここでいうＫはアテンションヘッドへの入力のキーとは異なるもので、自然数を示す。）のサブ行列に分割されている。すなわち、Ａ＝Σｋ ＫＡｋである。Ｖをノード数（関節数）としてＡｋ∈ＲＶ×Ｖである（ここでのＶもアテンションヘッドへの入力のＶ（バリュー）とは異なるもので、自然数を表わす）。一方、自己アテンショングラフコンボリューション部６５２への入力ｆｉｎがコンボリューション部６５０にも与えられる。
コンボリューション部６５０は、非特許文献２に記載された従来のグラフコンボリューションを行うためのものである。ここでのコンボリューションのために、骨格グラフは隣接行列Ａの形でコンボリューション部６５０に入力される。非特許文献２でも提案されている分割戦略にしたがって、行列ＡはＫ個（ここでいうＫはアテンションヘッドへの入力のキーとは異なるもので、自然数を示す。）のサブ行列に分割されている。すなわち、Ａ＝Σｋ ＫＡｋである。Ｖをノード数（関節数）としてＡｋ∈ＲＶ×Ｖである（ここでのＶもアテンションヘッドへの入力のＶ（バリュー）とは異なるもので、自然数を表わす）。一方、自己アテンショングラフコンボリューション部６５２への入力ｆｉｎがコンボリューション部６５０にも与えられる。
【0083】
コンボリューション部６５０は、入力ｆｉｎに対して空間方向の２次元コンボリューションを行うための２次元コンボリューション部７３０と、２次元コンボリューション部７３０の出力と隣接行列Ａとを乗算し出力をゲーティング部６５４に与える乗算部７３２とを含む。
【0084】
ここで、入力ｆｉｎは前述のとおりＣｉｎ×Ｔ×Ｖの形のテンソルである。この入力ｆｉｎに対するコンボリューション演算は以下の式で表される。
【数8】
【0085】
２次元コンボリューション部７３０の出力ｆも、隣接行列Ａと同様に以下のとおりＫ個のサブセットに分割される。
【数9】
【0086】
すると、乗算部７３２の出力、すなわちコンボリューション部６５０の出力ｆｇは以下のように表される。
ただし、Ｍｋ∈ＲＶ×Ｖは訓練対象の重み行列であり、丸付きの乗算記号は行列の間の要素ごとの乗算を表わす。
【数10】
【0087】
エ．ゲーティング部６５４
コンボリューション部６５０の出力と自己アテンショングラフコンボリューション部６５２の出力との、ノードの状態更新に対する貢献度が互いに異なることを想定して、訓練対象となる係数ｒを用いて自己アテンショングラフコンボリューション部６５２の出力の重みを調整することとした。すなわち、ゲーティング部６５４は、自己アテンショングラフコンボリューション部６５２の出力をｒ倍するゲート７５０と、ゲート７５０の出力とコンボリューション部６５０の出力とを加算して出力ｆｏｕｔを出力するための加算部７５２とを含む。ｒは訓練対象であり、１に初期化される。
コンボリューション部６５０の出力と自己アテンショングラフコンボリューション部６５２の出力との、ノードの状態更新に対する貢献度が互いに異なることを想定して、訓練対象となる係数ｒを用いて自己アテンショングラフコンボリューション部６５２の出力の重みを調整することとした。すなわち、ゲーティング部６５４は、自己アテンショングラフコンボリューション部６５２の出力をｒ倍するゲート７５０と、ゲート７５０の出力とコンボリューション部６５０の出力とを加算して出力ｆｏｕｔを出力するための加算部７５２とを含む。ｒは訓練対象であり、１に初期化される。
【0088】
Ｓ－ＳＧＣ層６００の出力ｆｏｕｔは以下の式で表される。
【数11】
【0089】
ここで、図９に示す１０個のコンボリューションブロックの具体的なチャンネル数、入出力されるテンソルの構成（次元数）、並びに内部のアテンションヘッドの数を以下にテーブル形式で示す。なおこのテーブルで「Ｔ」は、映像の時間長に相当し、具体的には時系列のタイムステップ数を示す。このテーブルから分かるように、入出力されるテンソルの次元数はチャンネル数を除き全て共通である。チャンネル数は各ブロック内でのコンボリューションに使用されるフィルタ数により変化する。
【表2】
【0090】
第４ 実験
１．実験の設定
上記実施形態の感情推定装置について、以下の参考文献２に記載されたデータベースＩＥＭＯＣＡＰを用いた実験を行った。参考文献２の開示の全体をここに参照により援用する。
１．実験の設定
上記実施形態の感情推定装置について、以下の参考文献２に記載されたデータベースＩＥＭＯＣＡＰを用いた実験を行った。参考文献２の開示の全体をここに参照により援用する。
【0091】
［参考文献２］
Busso, C.; Bulut, M.; Lee, C. C.; Kazemzadeh, A.; Mower, E.; Kim, S.; Chang, J .N.; Lee, S.; Narayanan, S. S. IEMOCAP: Interactive emotional dyadic motion capture database. Lang. Resour. Eval. 2008, 42,335.
Busso, C.; Bulut, M.; Lee, C. C.; Kazemzadeh, A.; Mower, E.; Kim, S.; Chang, J .N.; Lee, S.; Narayanan, S. S. IEMOCAP: Interactive emotional dyadic motion capture database. Lang. Resour. Eval. 2008, 42,335.
【0092】
ＩＥＭＯＣＡＰは２人の人物が仮想的な、又は予め準備されたシナリオで対話をしたときの音声と映像とを記録したものである。各発話は３人又は４人のアノテータにより１０クラスにラベル付けされた。これら１０クラスとは、幸せ、悲しみ、怒り、驚き、おそれ、嫌悪、不満、興奮、及びその他等である。しかし、身体の動きに関しては、身体の骨格データの代わりに、頭部及び手の動きのみがキャプチャされてデータベース化されている。そのため、感情表現にとって重要な部位、例えば脊柱、肩及び腕については無視されている。
【0093】
過去の研究との整合を取るため、興奮ラベルについては幸せラベルに含ませ、４つの感情クラス、すなわち、中立、幸せ、悲しみ、及び怒りを用いた。実験で使用したデータセットは全部で５４９２サンプルであり、そのうち１６０６に幸せ、１０８１に悲しみ、１１０２に怒り、１７０３に中立というラベルが付されていた。
【0094】
実験においてＭＦＣＣ素性及びプロソディ素性の抽出、及び事前学習済の３００次元Ｇｌｏｖｅベクトル（参考文献３）によりトークンを初期化する処理については、以下の参考文献４に記載されているＯｐｅｎＳＭＩＬＥツールキットを使用した。参考文献３の開示の全体及び参考文献４の開示の全体をそれぞれここに参照により援用する。
【0095】
［参考文献３］
Pennington et al.,: GloVe: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), Doha, Qatar, 25-29 October 2014, pp.1532-1543.
［参考文献４］
Eyben et al.,: Opensmile: The munich versatile and fast open-source audio feature extractor. In Proceedings of the 18th ACM international conference on Multimedia, Firenze, Italy, 25-29 October 2010; pp.1459-1462.
Pennington et al.,: GloVe: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), Doha, Qatar, 25-29 October 2014, pp.1532-1543.
［参考文献４］
Eyben et al.,: Opensmile: The munich versatile and fast open-source audio feature extractor. In Proceedings of the 18th ACM international conference on Multimedia, Firenze, Italy, 25-29 October 2010; pp.1459-1462.
【0096】
実験の訓練処理では、サンプルを訓練セット、開発セット及びテストセットに８：０．５：１．５の比率で分割した。誤差逆伝搬の際の損失関数としては相互エントロピー損失を用いた。
【0097】
２．結果
上記実施形態に係る感情推定モデルとベースラインのモデルとの性能を以下のテーブル３に示す。
テーブル３において各モデルの後ろの［ ］内に記載した番号は、それぞれ以下の参考文献５－７を示す。
上記実施形態に係る感情推定モデルとベースラインのモデルとの性能を以下のテーブル３に示す。
【表3】
【0098】
［参考文献５］
Yoon et al.,: Multimodal speech emotion recognition using audio and text. In Proceedings of the 2018 IEEE Spoken Language Technology Workshop (SLT), Athens ,Greece, 18-21 December 2018; pp.112-118. （非特許文献１）
［参考文献６］He et al.,: Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, Las Vegas, NV, USA, 27-30 June 2016; pp.770-778.
［参考文献７］
Yan et al.: Spatial temporal graph convolutional networks for skeleton-based action recognition. arXiv, 2018, arXiv:1801.07455. （非特許文献２）
参考文献７の開示の全体をここに参照により援用する。
Yoon et al.,: Multimodal speech emotion recognition using audio and text. In Proceedings of the 2018 IEEE Spoken Language Technology Workshop (SLT), Athens ,Greece, 18-21 December 2018; pp.112-118. （非特許文献１）
［参考文献６］He et al.,: Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, Las Vegas, NV, USA, 27-30 June 2016; pp.770-778.
［参考文献７］
Yan et al.: Spatial temporal graph convolutional networks for skeleton-based action recognition. arXiv, 2018, arXiv:1801.07455. （非特許文献２）
参考文献７の開示の全体をここに参照により援用する。
【0099】
テーブル３は、音声信号、テキスト内容、及び上半身骨格データを用いたユニモーダル、及びマルチモーダルモデルについてのＵＡＲ（Ｕｎｗｅｉｇｈｔｅｄ Ａｖｅｒａｇｅ Ｒｅｃａｌｌ）及びＷＡＲ（Ｗｅｉｇｈｔｅｄ Ａｖｅｒａｇｅ Ｒｅｃａｌｌ）を示す。サンプルが偏っていることに鑑み、各カテゴリーを同等に扱うことでモデルを評価するためにＵＡＲを用いた。ＵＡＲの値はサンプル数の少ないカテゴリーにより容易に影響を受けるので、全体的な推定精度を測定するためにＷＡＲも用いた。ＷＡＲはモデルの精度と数値的に等しいためである。
【0100】
テーブル３に示すＳ－ＳＴＧＣＮが第１実施形態の一部である感情推定装置１６０（図２）を用いて感情推定を行うシステムであり、２ｓ－Ｓ－ＳＴＧＣＮは第２実施形態に示した感情推定装置４５０（図８）に対応する。またＳＥＲＮは第１実施形態のマルチモーダル感情推定装置１５０（図２）であり、ＳＥＲＮ－２ｓはマルチモーダル感情推定装置１５０の感情推定装置１６０を第２実施形態の感情推定装置４５０で置換したものである。
【0101】
テーブル３に示す「モダリティ」は「Ａ」が音声信号を示し、「Ｔ」が発話のテキストを示し、「Ｓ」がジェスチャ（骨格情報）を示す。また例えば「Ａ＋Ｔ」は音声信号と発話のテキストとを用いたマルチモダリティ感情推定であることを示す。
【0102】
この実験で本発明と比較対象とすべきものはＲｅｓＮｅｔ１８とＳＴ－ＧＣＮとした。ＲｅｓＮｅｔは従来のコンボリューショナルネットワークに残差機構を追加したものであり、多くのタスクに広く用いられている。実験ではＲｅｓＮｅｔ１８とＳＴ－ＧＣＮとを骨格データに適用し、本発明の各実施形態と性能を比較した。
【0103】
テーブル３から分かるように、Ｓ－ＳＴＧＣＮモデルに関しては、ＵＡＲが６８．４％、ＷＡＲも６８．４％であった。この性能は、感情推定に関する他のネットワークの性能を上回っており、本発明に係るモデルの有効性を示している。この結果は、特に自己アテンションによるグラフコンボリューション層が動的な骨格シーケンスから感情に関する素性を効果的に抽出可能であることを示している。すなわち、自己アテンショングラフコンボリューション部６５２（図１１）が、所定のグラフに対する空間グラフコンボリューションに、補助的な情報を効果的に追加できることが分かる。
【0104】
関節と骨とに関する２系統の構成を採用した場合には、さらに性能が目覚ましく改善された。すなわちこの構成を使用することで骨格の時系列から感情に関する情報をさらに有効に抽出できる。
【0105】
マルチモダリティ感情推定については、ＭＤＲＥを比較対象とした。ＭＤＲＥは音声信号とテキストとを用いた基本的なモデルである。この例でも、ＵＡＲとＷＡＲとをモデルの性能尺度とした。
【0106】
本発明に係る、音声信号、テキスト及び骨格情報を用いるモデルＳＥＲＮは、骨格情報を用いていないＭＤＲＥと比較して、ＵＡＲで８．４％、ＷＡＲで８．６％だけ上回る性能を示した。この結果から、音声及びテキストに含まれていない感情に関する情報が骨格情報から抽出されていることが分かる。さらに、図２に示すＳＥＲＮにおいて感情推定装置１６０（Ｓ－ＳＴＧＣＮ）を図８に示す感情推定装置４５０（２ｓ－Ｓ－ＳＴＧＣＮ）で置換したＳＥＲＮ－２ｓをＳＥＲＮと比較した。その結果、ＳＥＲＮ－２ｓによりＳＥＲＮよりさらにＵＡＲ及びＷＡＲに改善が見られた。
【0107】
以上のとおり、本発明に係る感情推定モデルにより、従来技術と比較して発話者の感情をより高精度で推定できることがわかった。
【0108】
【0109】
図１２を参照して、このコンピュータシステム９５０は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ１００２を有するコンピュータ９７０と、いずれもコンピュータ９７０に接続された、ユーザと対話するためのキーボード９７４、マウス９７６、及びモニタ９７２とを含む。もちろんこれらはユーザ対話が必要となったときのための構成の一例であって、ユーザ対話に利用できる一般のハードウェア及びソフトウェア（例えばタッチパネル、音声入力、ポインティングデバイス一般）であればどのようなものも利用できる。
【0110】
図１３を参照して、コンピュータ９７０は、ＤＶＤドライブ１００２に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉt）９９０と、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９９２と、ＣＰＵ９９０、ＧＰＵ９９２、ＤＶＤドライブ１００２に接続されたバス１０１０と、バス１０１０に接続され、コンピュータ９７０のブートアッププログラム等を記憶するＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）９９６と、バス１０１０に接続され、プログラムを構成する命令、システムプログラム、及び作業データ等を記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９９８と、バス１０１０に接続された不揮発性メモリであるＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）１０００とを含む。ＳＳＤ１０００は、ＣＰＵ９９０及びＧＰＵ９９２が実行するプログラム、並びにＣＰＵ９９０及びＧＰＵ９９２が実行するプログラムが使用するデータ等を記憶するためのものである。コンピュータ９７０はさらに、他端末との通信を可能とするネットワーク９８６への接続を提供するネットワークＩ／Ｆ１００８と、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ９８４が着脱可能で、ＵＳＢメモリ９８４とコンピュータ９７０内の各部との通信を提供するＵＳＢポート１００６とを含む。
【0111】
コンピュータ９７０はさらに、マイクロフォン９８２及び スピーカ９８０とバス１０１０とに接続され、ＣＰＵ９９０により生成されＲＡＭ９９８又はＳＳＤ１０００に保存された音声信号、映像信号及びテキストデータをＣＰＵ９９０の指示にしたがって読み出し、アナログ変換及び増幅処理をして スピーカ９８０を駆動したり、マイクロフォン９８２からのアナログの音声信号をデジタル化し、ＲＡＭ９９８又はＳＳＤ１０００の、ＣＰＵ９９０により指定される任意のアドレスに保存したりするための音声Ｉ／Ｆ１００４を含む。
【0112】
上記実施形態では、マルチモーダル感情推定装置１５０及び感情推定装置４５０を実現するためのグラフニューラルネットワークのパラメータ並びにグラフコンボリューションを実現するプログラム等は、いずれも例えば図１３に示すＳＳＤ１０００、ＲＡＭ９９８、ＤＶＤ９７８又はＵＳＢメモリ９８４、若しくはネットワークＩ／Ｆ１００８及びネットワーク９８６を介して接続された図示しない外部装置の記憶媒体等に格納される。典型的には、これらのデータ及びパラメータ等は、例えば外部からＳＳＤ１０００に書込まれコンピュータ９７０の実行時にはＲＡＭ９９８にロードされる。
【0113】
このコンピュータシステムを、図２及び図８に示すマルチモーダル感情推定装置１５０及び感情推定装置４５０及びその各構成要素の機能を実現するよう動作させるためのコンピュータプログラムは、ＤＶＤドライブ１００２に装着されるＤＶＤ９７８に記憶され、ＤＶＤドライブ１００２からＳＳＤ１０００に転送される。又は、これらのプログラムはＵＳＢメモリ９８４に記憶され、ＵＳＢメモリ９８４をＵＳＢポート１００６に装着し、プログラムをＳＳＤ１０００に転送する。又は、このプログラムはネットワーク９８６を通じてコンピュータ９７０に送信されＳＳＤ１０００に記憶されてもよい。
【0114】
プログラムは実行のときにＲＡＭ９９８にロードされる。もちろん、キーボード９７４、モニタ９７２及びマウス９７６を用いてソースプログラムを入力し、コンパイルした後のオブジェクトプログラムをＳＳＤ１０００に格納してもよい。スクリプト言語の場合には、キーボード９７４等を用いて入力したスクリプトをＳＳＤ１０００に格納してもよい。仮想マシン上で動作するプログラムの場合には、仮想マシンとして機能するプログラムを予めコンピュータ９７０にインストールしておく必要がある。ニューラルネットワークの訓練及びテストには大量の計算が伴うため、スクリプト言語ではなくコンピュータのネイティブなコードからなるオブジェクトプログラムとして本発明の実施形態の各部を実現する方が好ましい。
【0115】
ＣＰＵ９９０は、その内部のプログラムカウンタと呼ばれるレジスタ（図示せず）により示されるアドレスにしたがってＲＡＭ９９８からプログラムを読み出して命令を解釈し、命令の実行に必要なデータを命令により指定されるアドレスにしたがってＲＡＭ９９８、ＳＳＤ１０００又はそれ以外の機器から読み出して命令により指定される処理を実行する。ＣＰＵ９９０は、実行結果のデータを、ＲＡＭ９９８、ＳＳＤ１０００、ＣＰＵ９９０内のレジスタ等、プログラムにより指定されるアドレスに格納する。このとき、プログラムカウンタの値もプログラムによって更新される。コンピュータプログラムは、ＤＶＤ９７８から、ＵＳＢメモリ９８４から、又はネットワークを介して、ＲＡＭ９９８に直接にロードしてもよい。なお、ＣＰＵ９９０が実行するプログラムの中で、一部のタスク（主として数値計算）については、プログラムに含まれる命令により、又はＣＰＵ９９０による命令実行時の解析結果にしたがって、ＧＰＵ９９２にディスパッチされる。
【0116】
コンピュータ９７０により上記した各実施形態に係る各部の機能を実現するプログラムは、それら機能を実現するようコンピュータ９７０を動作させるように記述され配列された複数の命令を含む。この命令を実行するのに必要な基本的機能のいくつかはコンピュータ９７０上で動作するオペレーティングシステム（ＯＳ）若しくはサードパーティのプログラム、又はコンピュータ９７０にインストールされる各種ツールキットのモジュールにより提供される。したがって、このプログラムはこの実施形態のシステム及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令の中で、所望の結果が得られるように制御されたやり方で適切な機能又は「プログラミング・ツール・キット」の機能を静的にリンクすることで、又は動的に呼出すことにより、上記した各装置及びその構成要素としての動作を実行する命令のみを含んでいればよい。そのためのコンピュータ９７０の動作方法は周知であるので、ここでは繰返さない。
【0117】
なお、ＧＰＵ９９２は並列処理を行うことが可能であり、機械学習に伴う多量の計算を同時並列的又はパイプライン的に実行できる。例えばプログラムのコンパイル時にプログラム中で発見された並列的計算要素、又はプログラムの実行時に発見された並列的計算要素は、随時、ＣＰＵ９９０からＧＰＵ９９２にディスパッチされ、実行され、その結果が直接に、又はＲＡＭ９９８の所定アドレスを介してＣＰＵ９９０に返され、プログラム中の所定の変数に代入される。
【0118】
第６ 変形例
１．ジェスチャによるシングルトラックの感情推定装置
上記第１実施形態はマルチモダリティの感情推定システムに関し、第２実施形態はジェスチャを用いる２系統のグラフコンボリューション処理による感情推定システム（図２）に関する。しかし上記実験結果でも示したとおり、第１実施形態の感情推定装置１６０のみを利用しても従来技術よりも高精度で感情の推定を行うことができる。また、第２実施形態（図８）の場合には、２系統のそれぞれを単独で感情推定装置として用いることができる。
１．ジェスチャによるシングルトラックの感情推定装置
上記第１実施形態はマルチモダリティの感情推定システムに関し、第２実施形態はジェスチャを用いる２系統のグラフコンボリューション処理による感情推定システム（図２）に関する。しかし上記実験結果でも示したとおり、第１実施形態の感情推定装置１６０のみを利用しても従来技術よりも高精度で感情の推定を行うことができる。また、第２実施形態（図８）の場合には、２系統のそれぞれを単独で感情推定装置として用いることができる。
【0119】
２．モダリティを追加した感情推定装置
上記実施形態では、音声信号、テキスト、及び上半身の骨格情報を用いて感情推定を行っている。しかし使用する情報はこれに限らない。例えばさらに表情を用いたり、上半身以外の身体の動きを用いたりするようにしてもよい。
上記実施形態では、音声信号、テキスト、及び上半身の骨格情報を用いて感情推定を行っている。しかし使用する情報はこれに限らない。例えばさらに表情を用いたり、上半身以外の身体の動きを用いたりするようにしてもよい。
【0120】
３．次元のバリエーション
上記実施形態で挙げた各行列、テンソル、ベクトルの次元は１例である。これらの次元数は実施形態で採用したものに限らない。次元数は他の数でもよい。また自己アテンションの算出に使用するアテンションヘッドの数（Ｈ）は上記実施形態では４である。しかしヘッドの数が４に限定されないことはもちろんである。例えば参考文献１の開示と同様、ヘッドの数を８に設定してもよいし、それ以外の数にしてもよい。
上記実施形態で挙げた各行列、テンソル、ベクトルの次元は１例である。これらの次元数は実施形態で採用したものに限らない。次元数は他の数でもよい。また自己アテンションの算出に使用するアテンションヘッドの数（Ｈ）は上記実施形態では４である。しかしヘッドの数が４に限定されないことはもちろんである。例えば参考文献１の開示と同様、ヘッドの数を８に設定してもよいし、それ以外の数にしてもよい。
【0121】
４．骨格情報のバリエーション
上記実施の形態では、利用できる訓練データの制約から、発話者の上半身の映像から骨格情報を抽出している。しかしこの発明はそのような実施形態には限定されない。全身の映像が得られるなら全身の映像を用いることも考えられる。又は、膝から上、下半身のみ、上半身と下半身とに分離した骨格情報等、様々な情報を用いることができる。
上記実施の形態では、利用できる訓練データの制約から、発話者の上半身の映像から骨格情報を抽出している。しかしこの発明はそのような実施形態には限定されない。全身の映像が得られるなら全身の映像を用いることも考えられる。又は、膝から上、下半身のみ、上半身と下半身とに分離した骨格情報等、様々な情報を用いることができる。
【0122】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
【符号の説明】
【0123】
５０、１５０ マルチモーダル感情推定装置
６０、６２、１６０、４５０ 感情推定装置
６６、１６４ 感情推定結果
６８、７０ ＲＮＮ
１７０ 映像時系列
１７２ 時系列骨格グラフ
１７４、４８２、４９２ Ｓ－ＳＴＧＣＮ
２００ ２Ｄ姿勢推定部
２０２ ３Ｄ姿勢推定部
２５０ グラフ
３５０ 完全骨格グラフ
４６０ 骨格情報
４６２ 関節による感情推定部
４６４ 骨ベクトルによる感情推定部
４６６ 統合部
４６８ 予測
４８０ 関節位置情報抽出部
４９０ 骨ベクトル情報抽出部
５５０ 骨格グラフ
５５２、５５４、５５６、５５８、５６０、５６２、５６４、５６６、５６８、５７０ コンボリューションブロック
６００ Ｓ－ＳＧＣ層
６０６ Ｔ－Ｃｏｎｖ層
６１２、７１８ 残差算出部
６５０ コンボリューション部
６５２ 自己アテンショングラフコンボリューション部
６５４ ゲーティング部
６７０ ヘッド
７０８ スケール変換ドット積部
７１４ 連接部
７３０ ２次元コンボリューション部
６０、６２、１６０、４５０ 感情推定装置
６６、１６４ 感情推定結果
６８、７０ ＲＮＮ
１７０ 映像時系列
１７２ 時系列骨格グラフ
１７４、４８２、４９２ Ｓ－ＳＴＧＣＮ
２００ ２Ｄ姿勢推定部
２０２ ３Ｄ姿勢推定部
２５０ グラフ
３５０ 完全骨格グラフ
４６０ 骨格情報
４６２ 関節による感情推定部
４６４ 骨ベクトルによる感情推定部
４６６ 統合部
４６８ 予測
４８０ 関節位置情報抽出部
４９０ 骨ベクトル情報抽出部
５５０ 骨格グラフ
５５２、５５４、５５６、５５８、５６０、５６２、５６４、５６６、５６８、５７０ コンボリューションブロック
６００ Ｓ－ＳＧＣ層
６０６ Ｔ－Ｃｏｎｖ層
６１２、７１８ 残差算出部
６５０ コンボリューション部
６５２ 自己アテンショングラフコンボリューション部
６５４ ゲーティング部
６７０ ヘッド
７０８ スケール変換ドット積部
７１４ 連接部
７３０ ２次元コンボリューション部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】