特表 2024-546432 マルチモーダルフュージョンベースのディープニューラルネットワークを用いたマルチメディアビデオにおける感情認識

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-24

(54)【発明の名称】マルチモーダルフュージョンベースのディープニューラルネットワークを用いたマルチメディアビデオにおける感情認識

(51)【国際特許分類】

   G10L 25/63 20130101AFI20241217BHJP

   G06N 3/0455 20230101ALI20241217BHJP

   G10L 25/30 20130101ALI20241217BHJP

   G06T 7/00 20170101ALI20241217BHJP

   G06V 20/62 20220101ALI20241217BHJP

【ＦＩ】

G10L25/63

G06N3/0455

G10L25/30

G06T7/00 350C

G06V20/62

G06T7/00 660A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024527701

(86)(22)【出願日】2022-10-27

(85)【翻訳文提出日】2024-05-10

(86)【国際出願番号】 IB2022060334

(87)【国際公開番号】W WO2023084348

(87)【国際公開日】2023-05-19

(31)【優先権主張番号】63/263,961

(32)【優先日】2021-11-12

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/941,787

(32)【優先日】2022-09-09

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＺＩＧＢＥＥ

２．ＢＬＵＥＴＯＯＴＨ

３．ＷＣＤＭＡ

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100141553

【弁理士】

【氏名又は名称】鈴木 信彦

(74)【代理人】

【識別番号】100151987

【弁理士】

【氏名又は名称】谷口 信行

(72)【発明者】

【氏名】ワスニク パンカジ

(72)【発明者】

【氏名】オノエ ナオユキ

(72)【発明者】

【氏名】チュダサマ ヴィシャル

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA16

5L096BA17

5L096FA16

5L096HA11

(57)【要約】

マルチモーダルフュージョンベースのディープニューラルネットワークを用いたマルチメディアビデオにおける感情認識を使用するランドマーク検出システム及び方法を提供する。システムは、回路と、１又は２以上の特徴抽出器、トランスフォーマエンコーダネットワーク、フュージョンアテンションネットワーク、及びフュージョンアテンションネットワークに結合された出力ネットワークを含むマルチモーダルフュージョンネットワークを記憶するように構成されたメモリとを含む。システムは１又は２以上の特徴抽出器にマルチモーダル入力を入力する。マルチモーダル入力は、１又は２以上のビデオにおいて描かれる発話に関連する。システムは、入力に対する１又は２以上の特徴抽出器の出力として入力埋め込みを生成し、入力埋め込みに基づいて感情関連特徴セットをさらに生成する。システムは、感情関連特徴セットの融合特徴表現をさらに生成し、融合特徴表現に基づいて発話の感情ラベルを予測する。
【選択図】図４

【特許請求の範囲】

【請求項1】

システムであって、
１又は２以上の特徴抽出器と、前記１又は２以上の特徴抽出器に結合されたトランスフォーマエンコーダネットワークと、前記トランスフォーマエンコーダネットワークに結合されたフュージョンアテンションネットワークと、前記フュージョンアテンションネットワークに結合された出力ネットワークとを含むマルチモーダルフュージョンネットワークを記憶するように構成されたメモリと、
１又は２以上のビデオにおいて描かれる発話に関連するマルチモーダル入力を前記１又は２以上の特徴抽出器に入力し、
前記入力に対する前記１又は２以上の特徴抽出器の出力として、前記マルチモーダル入力の各モダリティのための埋め込みを含む入力埋め込みを生成し、
前記入力埋め込みに前記トランスフォーマエンコーダネットワークを適用することに基づいて、前記マルチモーダル入力の各モダリティに対応する１又は２以上の特徴を含む感情関連特徴セットを生成し、
前記感情関連特徴セットに前記フュージョンアテンションネットワークを適用することに基づいて、前記感情関連特徴セットの融合特徴表現を生成し、
前記融合特徴表現に前記出力ネットワークを適用することに基づいて、前記発話の感情ラベルを予測する、
ように構成された回路と、
を備えることを特徴とするシステム。

【請求項2】

前記マルチモーダル入力は、多言語スピーチと、前記１又は２以上の特徴抽出器に適合する第１の言語での前記多言語スピーチの文字起こしとを含む、
請求項１に記載のシステム。

【請求項3】

前記マルチモーダル入力は、前記１又は２以上の特徴抽出器に適合する第１の言語とは異なる第２の言語でのスピーチを含み、前記マルチモーダル入力は、前記１又は２以上の特徴抽出器に適合する前記第１の言語での前記スピーチの文字起こしを含む、
請求項１に記載のシステム。

【請求項4】

前記マルチモーダル入力は、前記発話の音響に関連する第１のモダリティと、前記発話の文字起こしに関連する第２のモダリティと、前記発話の視覚的側面に関連する第３のモダリティとを含む、
請求項１に記載のシステム。

【請求項5】

前記１又は２以上の特徴抽出器は、音響視覚特徴抽出器及び音響特徴抽出器を含み、前記回路は、前記音響視覚特徴抽出器又は前記音響特徴抽出器の一方を、前記マルチモーダル入力に含まれる前記発話の音響情報に適用することに基づいて、前記入力埋め込みの第１の埋め込みを生成するようにさらに構成される、
請求項１に記載のシステム。

【請求項6】

前記１又は２以上の特徴抽出器は、テキスト特徴抽出器を含み、前記回路は、前記テキスト特徴抽出器を、前記発話に関連する音響情報の文字起こし、及び前記発話に時間的に先行又は後続する異なる発話の文字起こしに適用することに基づいて、前記入力埋め込みの第２の埋め込みを生成するようにさらに構成される、
請求項１に記載のシステム。

【請求項7】

前記１又は２以上の特徴抽出器は、音響視覚特徴抽出器及び視覚特徴抽出器を含み、前記回路は、前記音響視覚特徴抽出器又は前記視覚特徴抽出器の一方を、前記１又は２以上のビデオのフレーム内の１又は２以上の発話キャラクタの顔情報、及びフレームに関連するシーン情報に適用することに基づいて、前記入力埋め込みの第３の埋め込みを生成するようにさらに構成され、
前記フレームは、前記１又は２以上のビデオにおける前記発話の継続時間に対応する、
請求項１に記載のシステム。

【請求項8】

前記回路は、
前記発話の継続時間に対応する前記１又は２以上のビデオのフレームを前記音響視覚特徴抽出器又は前記視覚特徴抽出器に入力し、
音響視覚特徴抽出器又は前記視覚特徴抽出器の顔検出モデルを前記受信フレームの各々に適用することに基づいて、前記受信フレームの各々における１又は２以上の顔を検出し、
前記検出された１又は２以上の顔を含む１又は２以上のバウンディングボックスを生成し、
前記音響視覚特徴抽出器又は前記視覚特徴抽出器の一方を適用することにより、前記１又は２以上のバウンディングボックスの各々に関連するエリアを正規化し、
前記検出された１又は２以上の顔及び前記正規化に基づいて、前記音響視覚特徴抽出器又は前記視覚特徴抽出器の出力として前記入力埋め込みの第３の埋め込みを生成する、
ようにさらに構成される、請求項７に記載のシステム。

【請求項9】

前記トランスフォーマエンコーダネットワークは、前記マルチモーダル入力の第１のモダリティのためのトランスフォーマエンコーダの第１のスタックと、前記マルチモーダル入力の第２のモダリティのためのトランスフォーマエンコーダの第２のスタックと、前記マルチモーダル入力の第３のモダリティのためのトランスフォーマエンコーダの第３のスタックとを含む、
請求項１に記載のシステム。

【請求項10】

前記トランスフォーマエンコーダネットワーク内の隣接するトランスフォーマエンコーダの各対間のスキップ接続をさらに備える、
請求項１に記載のシステム。

【請求項11】

前記回路は、
前記１又は２以上のビデオを受け取り、
前記受け取った１又は２以上のビデオにシーン検出モデルを適用し、
前記シーン検出モデルの適用に基づいて、前記１又は２以上のビデオから複数のシーンを抽出し、
前記抽出された複数のシーンの各々に単一境界検出モデルを適用し、
前記単一境界検出モデルの適用に基づいて、前記抽出された複数のシーンにおける複数の発話を検出し、
前記検出に基づいて一連のマルチモーダル入力を準備する、
ようにさらに構成され、前記１又は２以上の特徴抽出器に入力される前記マルチモーダル入力は、前記準備された一連のマルチモーダル入力の一部である、
請求項１に記載のシステム。

【請求項12】

前記フュージョンアテンションネットワークは、１又は２以上のマルチヘッドアテンション層及び第１の全結合層を含み、
前記第１の全結合層の入力は、前記１又は２以上のマルチヘッドアテンション層の出力に結合される、
請求項１に記載のシステム。

【請求項13】

前記回路は、前記感情関連特徴セットに１又は２以上のマルチヘッドアテンション層を適用して、
前記感情関連特徴セット内の特徴間マッピングを決定し、
前記特徴間マッピングに基づいて、前記感情関連特徴セットを前記感情関連特徴セットの潜在表現に連結する、
ようにさらに構成される、請求項１２に記載のシステム。

【請求項14】

前記感情関連特徴セットの前記融合特徴表現は、前記潜在表現に前記第１の全結合層を適用することにさらに基づいて生成される、
請求項１３に記載のシステム。

【請求項15】

前記出力ネットワークは、前記フュージョンアテンションネットワークの出力に結合された第２の全結合層を含む、
請求項１に記載のシステム。

【請求項16】

マルチモーダルフュージョンネットワークを記憶するメモリを含むシステムにおいて、
前記マルチモーダルフュージョンネットワークの１又は２以上の特徴抽出器に、１又は２以上のビデオにおいて描かれる発話に関連するマルチモーダル入力を入力することと、
前記入力に対する前記１又は２以上の特徴抽出器の出力として、前記マルチモーダル入力の各モダリティのための埋め込みを含む入力埋め込みを生成することと、
前記入力埋め込みに前記マルチモーダルフュージョンネットワークのトランスフォーマエンコーダネットワークを適用することに基づいて、前記マルチモーダル入力の各モダリティに対応する１又は２以上の特徴を含む感情関連特徴セットを生成することと、
前記感情関連特徴セットに前記マルチモーダルフュージョンネットワークのフュージョンアテンションネットワークを適用することに基づいて、前記感情関連特徴セットの融合特徴表現を生成することと、
前記融合特徴表現に前記マルチモーダルフュージョンネットワークの出力ネットワークを適用することに基づいて、前記発話の感情ラベルを予測することと、
を含むことを特徴とする方法。

【請求項17】

前記マルチモーダル入力は、前記発話の音響に関連する第１のモダリティと、前記発話の文字起こしに関連する第２のモダリティと、前記発話の視覚的側面に関連する第３のモダリティとを含む、
請求項１６に記載の方法。

【請求項18】

前記フュージョンアテンションネットワークは、１又は２以上のマルチヘッドアテンション層及び第１の全結合層を含み、
前記第１の全結合層の入力は、前記１又は２以上のマルチヘッドアテンション層の出力に結合される、
請求項１６に記載の方法。

【請求項19】

前記感情関連特徴セットに１又は２以上のマルチヘッドアテンション層を適用して、
前記感情関連特徴セット内の特徴間マッピングを決定することと、
前記特徴間マッピングに基づいて、前記感情関連特徴セットを前記感情関連特徴セットの潜在表現に連結することと、
をさらに含み、前記感情関連特徴セットの前記融合特徴表現は、前記潜在表現に前記第１の全結合層を適用することにさらに基づいて生成される、
請求項１８に記載の方法。

【請求項20】

システムの回路によって実行された時に前記回路に動作を実行させるコンピュータ実行可能命令を記憶した非一時的コンピュータ可読媒体であって、前記動作は、
マルチモーダルフュージョンネットワークの１又は２以上の特徴抽出器に、１又は２以上のビデオにおいて描かれる発話に関連するマルチモーダル入力を入力することと、
前記入力に対する前記１又は２以上の特徴抽出器の出力として、前記マルチモーダル入力の各モダリティのための埋め込みを含む入力埋め込みを生成することと、
前記入力埋め込みに前記マルチモーダルフュージョンネットワークのトランスフォーマエンコーダネットワークを適用することに基づいて、前記マルチモーダル入力の各モダリティに対応する１又は２以上の特徴を含む感情関連特徴セットを生成することと、
前記感情関連特徴セットに前記マルチモーダルフュージョンネットワークのフュージョンアテンションネットワークを適用することに基づいて、前記感情関連特徴セットの融合特徴表現を生成することと、
前記融合特徴表現に前記マルチモーダルフュージョンネットワークの出力ネットワークを適用することに基づいて、前記発話の感情ラベルを予測することと、
を含む、ことを特徴とする非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願との相互参照／引用による組み入れ〕
本出願は、２０２１年１１月１２日に出願された米国仮特許出願シリアル番号第６３／２６３，９６１号の優先権の利益を主張する、２０２２年９月９日に米国特許商標庁に出願された米国特許出願第１７／９４１，７８７号の優先権の利益を主張するものであり、これらの文献の内容は全体が引用により本明細書に組み入れられる。

【0002】

本開示の様々な実施形態は、ニューラルネットワーク及び感情認識に関する。具体的には、本開示の様々な実施形態は、マルチモーダルフュージョンベースのディープニューラルネットワークを用いたマルチメディアビデオにおける感情認識のためのシステム及び方法に関する。

【背景技術】

【0003】

コンピュータビジョン及び人工知能の進歩は、会話における感情認識などの異なる用途で使用できる様々な種類のニューラルネットワーク（又はモデル）の発展をもたらしてきた。通常、感情認識は、マルチメディアビデオ（例えば、映画、ウェブシリーズ、及びニュースなど）において描かれる（単複の）会話から話者の感情状態を予測するために使用される。感情認識は、共感的なヒューマンマシンシステムの開発において極めて重要である。会話の場合、従来の感情認識のためのアプローチは、ほとんどが会話の文字起こし（ｔｅｘｔ ｔｒａｎｓｃｒｉｐｔ）に依拠している。文字起こしの不正確さは、予測（例えば、感情ラベル）の精度に影響を与えることがある。感情認識のための多くの最先端技術では、会話に関連する視覚信号及び音響信号内に存在する膨大な量の情報が無視されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的な手法の限界及び不利点が明らかになるであろう。

【課題を解決するための手段】

【0005】

実質的に少なくとも１つの図に関連して図示及び／又は説明し、特許請求の範囲にさらに完全に示すような、マルチモーダルフュージョンベースのディープニューラルネットワークを用いたマルチメディアビデオにおける感情認識のためのシステム及び方法を提供する。

【0006】

全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。

【図面の簡単な説明】

【0007】

【図1】本開示の実施形態による、マルチモーダルフュージョンベースのディープニューラルネットワークを用いたマルチメディアビデオにおける感情認識のためのネットワーク環境を示す図である。

【図2】本開示の実施形態による、マルチモーダルフュージョンベースのディープニューラルネットワークを用いたマルチメディアビデオにおける感情認識のための例示的なシステムのブロック図である。

【図3】本開示の実施形態による、図１のマルチモーダルフュージョンネットワークの例示的なアーキテクチャを示す図である。

【図4】本開示の実施形態による、図３のマルチモーダルフュージョンアテンションネットワークの例示的な視覚特徴抽出器を示す図である。

【図5】本開示の実施形態による、図３のフュージョンアテンションネットワークセットのうちのあるフュージョンアテンションネットワークの例示的なアーキテクチャを示す図である。

【図6】本開示の実施形態による、１又は２以上の特徴抽出器の音響視覚特徴抽出器の例示的なアーキテクチャを示す図である。

【図7】本開示の実施形態による、マルチモーダルフュージョンベースのディープニューラルネットワークを用いたマルチメディアビデオにおける感情認識のための例示的なシナリオを示す図である。

【図8】本開示の実施形態による、マルチモーダルフュージョンベースのディープニューラルネットワークを用いたマルチメディアビデオにおける感情認識の例示的な方法を示すフローチャートである。

【発明を実施するための形態】

【0008】

開示するマルチモーダルフュージョンベースのディープニューラルネットワークを用いたマルチメディアビデオにおける感情認識のためのシステム及び方法では、後述する実装を見出すことができる。システムは回路及びメモリを含み、メモリは、１又は２以上の特徴抽出器と、１又は２以上の特徴抽出器に結合されたトランスフォーマエンコーダネットワークと、トランスフォーマエンコーダネットワークに結合されたフュージョンアテンションネットワークと、フュージョンアテンションネットワークに結合された出力ネットワークとを含むマルチモーダルフュージョンネットワークを記憶するように構成される。システムは、１又は２以上の特徴抽出器にマルチモーダル入力を入力することができる。マルチモーダル入力は、１又は２以上の（映画などの）ビデオにおいて描かれる発話（ｕｔｔｅｒａｎｃｅ）に関連することができる。システムは、入力に対する１又は２以上の特徴抽出器の出力として入力埋め込み（ｉｎｐｕｔ ｅｍｂｅｄｄｉｎｇｓ）を生成することができる。入力埋め込みは、マルチモーダル入力の各モダリティのための埋め込みを含むことができる。システムは、入力埋め込みにトランスフォーマエンコーダネットワークを適用することに基づいて感情関連特徴セットをさらに生成することができる。感情関連特徴セットは、マルチモーダル入力の各モダリティに対応する１又は２以上の特徴を含む。システムは、感情関連特徴セットにフュージョンアテンションネットワークを適用することに基づいて、感情関連特徴セットの融合特徴表現（ｆｕｓｅｄ－ｆｅａｔｕｒｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）をさらに生成することができる。システムは、融合特徴表現に出力ネットワークを適用することに基づいて、発話の（怒り、中立、喜び、悲しみなどの）感情ラベルを予測することができる。

【0009】

感情は、ある対象者（人物）の思考及び気持ちに関連し得る目に見えない精神状態と言うことができる。生理的指標（ｐｈｙｓｉｏｌｏｇｉｃａｌ ｉｎｄｉｃａｔｉｏｎｓ）が存在しなければ、感情は、文字での発話、視覚的ジェスチャ及び音響信号などの人間の行動によってしか検出することができない。会話における感情認識は、会話における対象者の感情を文字的、視覚的及び音響的手掛かりに依存して認識しようとするものである。現在では、会話における感情認識が（ビデオなどの）マルチメディアコンテンツ分析及びモデレーションの文脈で不可欠なタスクになっており、ユーザとコンテンツとの間の相互作用の性質を理解するのに役立っている。会話における感情認識には、ＡＩインタビュー、個人化された対話システム、チャット履歴にわたるオピニオンマイニング、及びソーシャルメディアプラットフォーム内のコンテンツのユーザ知覚の理解などの他の多くのタスクにおける他の重要な用途がある。

【0010】

現在最先端の感情認識方法は、会話における感情認識のタスクを純粋にテキストベースのタスクとして枠組み化している。具体的には、会話における現在最先端の感情認識方法は、対象者に関連するテキストデータに基づいて対象者の感情状態を決定する。テキストデータは、対象者が話した音声の文字起こしに対応することができる。しかしながら、マルチメディアコンテンツの音響及び視覚モダリティ内に存在する膨大な量の情報は、対象者の感情状態の決定において考慮されていない。

【0011】

本開示は、発話に関連する少なくとも３つの異なるモダリティ（音響モダリティ、テキストモダリティ、及び視覚モダリティ）を使用して対象者の感情状態を検出するニューラルネットワークアーキテクチャを提供する。実験データによれば、３つのモダリティを正しく融合させることで、現在最先端のシステムの品質及びロバスト性を改善することができる。開示するシステムは、感情予測に寄与する各モダリティを入力として取り込んで対象者の感情状態を検出することができる。開示する方法は、現在最先端の方法と比べてさらに一般化することができる。

【0012】

本開示は、三重項損失関数（ｔｒｉｐｌｅｔ ｌｏｓｓ ｆｕｎｃｔｉｏｎ）の重要性を活用するように三重項ネットワーク（ｔｒｉｐｌｅｔ ｎｅｔｗｏｒｋ）に基づいて設計できる音響視覚特徴抽出器（ａｃｏｕｓｔｉｃ－ｖｉｓｕａｌ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｏｒ）を提供することもできる。音響視覚特徴抽出器は、適応的マージン三重項損失関数（ａｄａｐｔｉｖｅ ｍａｒｇｉｎ ｔｒｉｐｌｅｔ ｌｏｓｓ ｆｕｎｃｔｉｏｎ）、共分散損失関数（ｃｏｖａｒｉａｎｃｅ ｌｏｓｓ ｆｕｎｃｔｉｏｎ）及び分散損失関数（ｖａｒｉａｎｃｅ ｌｏｓｓ ｆｕｎｃｔｉｏｎ）を含む三重項損失関数について訓練される。

【0013】

図１は、本開示の実施形態による、マルチモーダルフュージョンベースのディープニューラルネットワークを用いたマルチメディアビデオにおける感情認識のためのネットワーク環境を示す図である。図１にはネットワーク環境１００の図を示す。ネットワーク環境１００はシステム１０２を含む。システム１０２は、回路１０４及びメモリ１０６を含む。メモリは、マルチモーダルフュージョンネットワーク１０８を含むことができる。マルチモーダルフュージョンネットワーク１０８は、１又は２以上の特徴抽出器１１０、トランスフォーマエンコーダネットワーク１１２、フュージョンアテンションネットワーク１１４、及び出力ネットワーク１１６を含むことができる。図１には、ディスプレイ装置１１８、サーバ１２０、及び通信ネットワーク１２２をさらに示す。図１には、ディスプレイ装置１１８上に表示されたマルチモーダル入力１２４及び予測感情ラベル１２６も示す。

【0014】

回路１０４は、システム１０２が実行すべき異なる動作に関連するプログラム命令を実行するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。回路１０４は、当業で周知の複数のプロセッサ技術に基づいて実装することができる。プロセッサ技術の例としては、以下に限定するわけではないが、中央処理装置（ＣＰＵ）、ｘ８６ベースのプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、グラフィックプロセッシングユニット（ＧＰＵ）、（推論アクセラレータ又は人口知能（ＡＩ）アクセラレータなどの）コプロセッサ、及び／又はこれらの組み合わせを挙げることができる。

【0015】

メモリ１０６は、回路１０４が実行できるプログラム命令を記憶するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。メモリ１０６は、マルチモーダルフュージョンネットワーク１０８を記憶することもできる。少なくとも１つの実施形態では、メモリ１０６が、マルチモーダルフュージョンネットワーク１０８のための入力データ、マルチモーダル入力埋め込みを使用して取得された中間結果、マルチモーダルフュージョンネットワーク１０８によって予測された（単複の）感情ラベルを記憶することもできる。メモリ１０６の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、固体ドライブ（ＳＳＤ）、ＣＰＵキャッシュ、及び／又はセキュアデジタル（ＳＤ）カードを挙げることができる。

【0016】

マルチモーダルフュージョンネットワーク１０８は、複数の層状に配置された計算ネットワーク又は人工ニューロンのシステムであることができる。マルチモーダルフュージョンネットワーク１０８は、１又は２以上のビデオにおいて描かれる発話の感情ラベル（例えば、感情ラベル１２６）（すなわち、会話における感情認識）を予測するように訓練することができる。

【0017】

マルチモーダルフュージョンネットワーク１０８は、１又は２以上の特徴抽出器１１０と、１又は２以上の特徴抽出器１１０に結合されたトランスフォーマエンコーダネットワーク１１２と、トランスフォーマエンコーダネットワーク１１２に結合されたフュージョンアテンションネットワーク１１４と、フュージョンアテンションネットワーク１１４に結合された出力ネットワーク１１６とを含む。マルチモーダルフュージョンネットワーク１０８の動作は２段階に分けることができる。第１段階（すなわち、発話レベル）では、特徴を単独で発話レベルで抽出することができる。その後、第２段階（すなわち、対話レベル）では、ネットワークが、対話からの文脈情報を使用することによって各発話の感情ラベルを予測することを学習することができる。発話は、多人数での会話において当事者のうちの１人が発した短い口頭セグメント（ｏｒａｌ ｓｅｇｍｅｎｔ）に対応することができ、文字起こし、ビデオクリップ、及びオーディオセグメントを有することができる。対話は、このような発話が時間的に発生した順序での複数の発話を含むことができる。

【0018】

１又は２以上の特徴抽出器１１０の各々は、マルチモーダル入力（例えば、マルチモーダル入力１２４）の各モダリティの入力埋め込みを生成するための１又は２以上の動作を実行するように構成することができる。トランスフォーマエンコーダネットワーク１１２の各エンコーダは、感情関連特徴セットを生成するための１又は２以上の動作を実行するように構成することができる。フュージョンアテンションネットワーク１１４は、感情関連特徴セットの融合特徴表現を生成するように構成することができる。具体的には、フュージョンアテンションネットワーク１１４は、感情関連特徴セットに１又は２以上のマルチヘッドアテンション（ｍｕｌｔｉ－ｈｅａｄ ａｔｔｅｎｔｉｏｎ）動作を適用することに基づいて融合特徴表現を生成するように構成することができる。出力ネットワーク１１６は、マルチモーダル入力１２４に関連する発話の感情ラベル１２６を予測するように構成することができる。出力ネットワーク１１６は、融合特徴表現に基づいて感情ラベル１２６を予測することができる。出力ネットワーク１１６は、感情ラベル１２６を予測するように構成できる全結合層を含むことができる。出力ネットワーク１１６の詳細については、例えば図３に示す。

【0019】

１又は２以上の特徴抽出器１１０の各々、トランスフォーマエンコーダネットワーク１１２の各エンコーダ、フュージョンアテンションネットワーク１１４及び出力ネットワーク１１６は、複数の層状に配置できるニューラルネットワーク又は人工ニューロンのシステムであることができる。ニューラルネットワークの複数の層は、入力層、１又は２以上の隠れ層、及び出力層を含むことができる。複数の層の各層は、１又は２以上のノード（すなわち、人工ニューロン）を含むことができる。入力層における全てのノードの出力は、（単複の）隠れ層の少なくとも１つのノードに結合することができる。同様に、各隠れ層の入力は、ニューラルネットワークの他の層における少なくとも１つのノードの出力に結合することができる。各隠れ層の出力は、ニューラルネットワークの他の層における少なくとも１つのノードの入力に結合することができる。最終層における（単複の）ノードは、少なくとも１つの隠れ層から入力を受け取って結果を出力することができる。層の数及び各層におけるノードの数は、ニューラルネットワークのハイパーパラメータから決定することができる。このようなハイパーパラメータは、ニューラルネットワークを訓練データセットについて訓練する前又は後に設定することができる。マルチモーダルフュージョンネットワーク１０８では、訓練データセットが、マルチモーダル入力セット、及びグランドトゥルース値としての対応する感情ラベルを含むことができる。各マルチモーダル入力は、発話のオーディオ、１又は２以上の文字が発話を生じるシーン内の１又は２以上のフレーム、及びオーディオの文字起こしのうちの少なくとも１つを含むことができる。

【0020】

ニューラルネットワークの各ノードは、ネットワークの訓練中に調整できるパラメータセットを有する数学関数（例えば、シグモイド関数又は正規化線形ユニット（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ））に対応することができる。パラメータセットは、例えば重みパラメータ及び正則化パラメータなどを含むことができる。各ノードは、ニューラルネットワークの他の（単複の）層（例えば、前の（単複の）層）のノードからの１又は２以上の入力に基づいて、数学関数を使用して出力を計算することができる。ニューラルネットワークのノードの全部又は一部は、同じ又は異なる数学関数に対応することができる。

【0021】

ニューラルネットワークの訓練では、（訓練データセットからの）所与の入力に対する最終層の出力がニューラルネットワークの損失関数に基づく正しい結果に一致するかどうかに基づいてニューラルネットワークの各ノードの１又は２以上のパラメータを更新することができる。上記の過程は、損失関数の最小値が達成されて訓練エラーが最小化されるまで同じ又は異なる入力について繰り返すことができる。当業では、勾配降下法、確率的勾配降下法、バッチ勾配降下法、勾配ブースト法及びメタヒューリスティック法などの複数の訓練法が知られている。

【0022】

１又は２以上の特徴抽出器１１０の各々、トランスフォーマエンコーダネットワーク１１２の各エンコーダ、フュージョンアテンションネットワーク１１４、及び出力ネットワーク１１６は、例えばシステム１０２上で実行可能なアプリケーションのソフトウェアコンポーネントとして実装できる電子データを含むことができる。１又は２以上の特徴抽出器１１０の各々、トランスフォーマエンコーダネットワーク１１２の各エンコーダ、フュージョンアテンションネットワーク１１４、及び出力ネットワーク１１６は、回路１０４などの処理装置による実行のために、ライブラリ、外部スクリプト、又はその他のロジック／命令に依存することができる。トランスフォーマエンコーダネットワーク１１２の各エンコーダ、フュージョンアテンションネットワーク１１４、及び出力ネットワーク１１６は、回路１０４などのコンピュータ装置が１又は２以上の動作を実行するのを可能にするように構成されたコード及びルーチンを含むことができる。例えば、１又は２以上の特徴抽出器１１０の各々は、受け取ったマルチモーダル入力１２４の各モダリティの入力埋め込みを生成するための１又は２以上の動作を実行することができる。トランスフォーマエンコーダネットワーク１１２の各エンコーダは、感情関連特徴セットを生成するための１又は２以上の動作を実行することができる。これに加えて又は代えて、１又は２以上の特徴抽出器１１０の各々、トランスフォーマエンコーダネットワーク１１２の各エンコーダ、フュージョンアテンションネットワーク１１４、及び出力ネットワーク１１６は、プロセッサ、（例えば、１又は２以上の動作の実行又はその制御を行う）マイクロプロセッサ、テンソルプロセッシングユニット（ＴＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）を含むハードウェアを使用して実装することもできる。或いは、いくつかの実施形態では、１又は２以上の特徴抽出器１１０の各々、トランスフォーマエンコーダネットワーク１１２の各エンコーダ、フュージョンアテンションネットワーク１１４、及び出力ネットワーク１１６を、ハードウェア及びソフトウェアの組み合わせを使用して実装することもできる。

【0023】

ある実施形態では、トランスフォーマエンコーダネットワーク１１２の各エンコーダを、各モダリティの入力埋め込みを並行して（すなわち、同時に）入力として受け取り、感情関連特徴セットを出力として同時に提供するように構成することができる。限定ではなく一例として、各エンコーダは、マルチヘッドアテンション層、及びフィードフォワードニューラルネットワークを含むことができる。

【0024】

ある実施形態では、フュージョンアテンションネットワーク１１４を使用して、発話に関連するテキストモダリティに視覚モダリティ及び音響モダリティを組み込むことができる。フュージョンアテンションネットワーク１１４は、１又は２以上のマルチヘッドアテンション層及び第１の全結合層を含むことができる。フュージョンアテンションネットワークの詳細については、例えば図５に示す。

【0025】

ディスプレイ装置１１８は、マルチモーダル入力１２４に関連する発話の感情ラベル１２６を表示するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。ある実施形態では、ディスプレイ装置１１８を、マルチモーダル入力１２４と、マルチモーダル入力１２４の発話レベル部分に対応する感情ラベル１２６とを表示するように構成することができる。ディスプレイ装置１１８は、以下に限定するわけではないが、液晶ディスプレイ（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術、又はその他のディスプレイ装置のうちの少なくとも１つなどの複数の既知の技術を通じて実現することができる。ある実施形態によれば、ディスプレイ装置１１８は、ヘッドマウント装置（ＨＭＤ）のディスプレイ画面、スマートメガネ装置、シースルーディスプレイ、投影型ディスプレイ、エレクトロクロミックディスプレイ、又は透明ディスプレイを意味することができる。

【0026】

別の実施形態では、ディスプレイ装置１１８が、マルチモーダルフュージョンネットワーク１０８をディスプレイ装置１１８上で実行可能な（アプリケーションプログラミングインターフェイス（ＡＰＩ）ベースのサービスなどの）ソフトウェアプログラム又はサービスの一部として実装できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。マルチモーダルフュージョンネットワーク１０８は、システム１０２上でマルチモーダルフュージョンネットワーク１０８の訓練が終了した後にディスプレイ装置１１８上に実装することができる。ディスプレイ装置１１８の例としては、以下に限定するわけではないが、コンピュータ装置、メインフレームマシン、サーバ、コンピュータワークステーション、スマートフォン、携帯電話機、ゲーム装置、ウェアラブルディスプレイ、消費者向け電子（ＣＥ）装置、及び／又は画像処理能力を有する他のいずれかの装置を挙げることができる。

【0027】

サーバ１２０は、感情認識、及びメディアストリーミング動作などの他の動作を目的として１又は２以上のビデオを記憶するように構成できる好適なロジック、回路及びインターフェイス、並びに／又はコードを含むことができる。サーバ１２０は、予測できる感情ラベル１２６又はビデオの発話レベル部分も記憶するように構成することができる。サーバ１２０はクラウドサーバとして実装することができ、ウェブアプリケーション、クラウドアプリケーション、ＨＴＴＰリクエスト、リポジトリ操作及びファイル転送などを通じて動作を実行することができる。サーバ１２０の他の実装例としては、以下に限定するわけではないが、データベースサーバ、ファイルサーバ、ウェブサーバ、アプリケーションサーバ、メインフレームサーバ、又はクラウドコンピューティングサーバを挙げることができる。

【0028】

少なくとも１つの実施形態では、当業者に周知のいくつかの技術を使用することにより、サーバ１２０を複数の分散クラウドベースリソースとして実装することができる。当業者であれば、本開示の範囲は、２つの独立エンティティとしてのサーバ１２０及びシステム１０２の実装に限定しないことができると理解するであろう。いくつかの実施形態では、本開示の範囲から逸脱することなく、サーバ１２０の機能を全体的に又は少なくとも部分的にシステム１０２に組み込むことができる。

【0029】

通信ネットワーク１２２は、システム１０２、ディスプレイ装置１１８及びサーバ１２０が互いに通信できるようにする通信媒体を含むことができる。通信ネットワーク１２２は、有線接続又は無線接続の一方を含むことができる。通信ネットワーク１２２の例としては、以下に限定するわけではないが、インターネット、クラウドネットワーク、（ロングタームエボリューション又は５Ｇ新無線などの）セルラー又はワイヤレスモバイルネットワーク、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）ネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、又はメトロポリタンエリアネットワーク（ＭＡＮ）を挙げることができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１２２に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ８０２．１１、ライトフィデリティ（Ｌｉ－Ｆｉ）、８０２．１６、ＩＥＥＥ８０２．１１ｓ、ＩＥＥＥ８０２．１１ｇ、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル及びＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルのうちの少なくとも１つを挙げることができる。

【0030】

動作時には、回路１０４を、１又は２以上の特徴抽出器１１０にマルチモーダル入力１２４を入力するように構成することができる。マルチモーダル入力は、１又は２以上のビデオにおいて描かれる発話に関連することができる。例えば、マルチモーダル入力は、発話の音響に関連する第１のモダリティ、発話の文字起こしに関連する第２のモダリティ、及び発話の視覚的側面に関連する第３のモダリティを含むことができる。ある実施形態では、マルチモーダル入力が、対応する発話に関連する対象者（すなわち、発話者）の１又は２以上の生物学的パラメータに関連することができる第４のモダリティをさらに含むことができる。

【0031】

回路１０４は、入力に対する１又は２以上の特徴抽出器１１０の出力として入力埋め込みを生成するように構成することができる。入力埋め込みは、マルチモーダル入力１２４の各モダリティのための埋め込みを含むことができる。ある実施形態では、入力埋め込みが、対応するモダリティの特徴に対応することができる。具体的には、入力埋め込みは、離散変数の低次元学習済み連続ベクトル表現と呼ぶことができる。入力埋め込みの生成に基づいて、回路１０４を、入力埋め込みにトランスフォーマエンコーダネットワーク１１２を適用することに基づいて感情関連特徴セットを生成するようにさらに構成することができる。ある実施形態では、トランスフォーマエンコーダネットワーク１１２を入力埋め込みに適用して、各モダリティに関する対応する発話のコンテキストを学習することができる。感情関連特徴セットは、マルチモーダル入力１２４の各モダリティに対応する１又は２以上の特徴を含むことができる。感情関連特徴セットに関する詳細については、例えば図３に示す。

【0032】

各モダリティを対応するテキストベクトル空間内にマッピングするために、回路を、感情関連特徴セットにフュージョンアテンションネットワーク１１４を適用するように構成することができる。別の実施形態では、フュージョンアテンションネットワーク１１４を使用して、対話に関連する視覚情報及び音響情報を組み込むことができる。具体的には、回路１０４を、感情関連特徴セットにフュージョンアテンションネットワーク１１４を適用することに基づいて感情関連特徴セットの融合特徴表現を生成するようにさらに構成することができる。融合特徴表現に関する詳細については、例えば図３に示す。

【0033】

融合特徴表現の生成後には、回路１０４を、マルチモーダル入力１２４に関連する発話の感情ラベル１２６を予測するように構成することができる。感情ラベル１２６は、融合特徴表現に出力ネットワーク１１６を適用することに基づいて予測することができる。ある実施形態では、回路１０４を、予測された感情ラベル１２６をディスプレイ装置１１８上にレンダリングするようにディスプレイ装置１１８を制御するようさらに構成することができる。感情ラベル１２６及び感情ラベル１２６の予測に関する詳細については、例えば図３に示す。

【0034】

図２は、本開示の実施形態による、マルチモーダルフュージョンベースのディープニューラルネットワークを用いたマルチメディアビデオにおける感情認識のためのシステムの例示的なブロック図である。図２の説明は、図１の要素に関連して行う。図２には、図１のシステム１０２のブロック図２００を示す。システムは、回路１０４、メモリ１０６、マルチモーダルフュージョンネットワーク１０８、入力／出力（Ｉ／Ｏ）装置２０２、ネットワークインターフェイス２０４、推論アクセラレータ２０６、トランスレータモデル２０８、顔検出モデル２１０、シーン検出モデル２１２、及び単一境界検出モデル２１４を含む。

【0035】

Ｉ／Ｏ装置２０２は、１又は２以上のユーザ入力を受け取り、及び／又はシステム１０２によって生成された（予測感情ラベル１２６などの）情報をレンダリングするように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。Ｉ／Ｏ装置２０２は、システム１０２の異なる動作コンポーネントと通信するように構成できる様々な入力／出力装置を含むことができる。Ｉ／Ｏ装置２０２の例としては、以下に限定するわけではないが、タッチ画面、キーボード、マウス、ジョイスティック、マイク、及び（ディスプレイ装置１１８などの）ディスプレイ装置を挙げることができる。

【0036】

ネットワークインターフェイス２０４は、通信ネットワーク１２２を介してシステム１０２、ディスプレイ装置１１８及びサーバ１２０間の通信を確立するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ネットワークインターフェイス２０４は、有線又は無線通信をサポートする既知の技術を実装するように構成することができる。ネットワークインターフェイス２０４は、以下に限定するわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダーデコーダ（ＣＯＤＥＣ）チップセット、加入者アイデンティティモジュール（ＳＩＭ）カード、及び／又はローカルバッファを含むことができる。

【0037】

ネットワークインターフェイス２０４は、インターネット、イントラネットなどのネットワーク、及び／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＷＬＡＮ）、パーソナルエリアネットワーク、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークとオフライン及びオンライン無線通信を介して通信するように構成することができる。無線通信は、グローバルシステムフォーモバイルコミュニケーションズ（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多重アクセス（Ｗ－ＣＤＭＡ）、符号分割多重アクセス（ＣＤＭＡ）、ＬＴＥ、５Ｇ新無線、時分割多重アクセス（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、（ＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、ＩＥＥＥ８０２．１１ｎ及び／又は他のいずれかのＩＥＥＥ８０２．１１プロトコルなどの）ワイヤレスフィデリティ（ＷｉＦｉ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ－ＭＡＸ、モノのインターネット（ＩｏＴ）技術、機械型通信（ＭＴＣ）技術、電子メール、インスタントメッセージング及び／又はショートメッセージサービス（ＳＭＳ）のためのプロトコルなどの複数の通信標準、プロトコル及び技術のうちのいずれかを使用することができる。

【0038】

推論アクセラレータ２０６は、回路１０４のコプロセッサとしてマルチモーダルフュージョンネットワーク１０８の動作に関連する計算を加速させるように動作するよう構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。例えば、推論アクセラレータ２０６は、推論アクセラレータ２０６を使用しない場合に通常発生する時間よりも短い時間で感情ラベル１２６が予測されるようにシステム１０２上の計算を加速させることができる。推論アクセラレータ２０６は、１又は２以上の特徴抽出器１１０、トランスフォーマエンコーダネットワーク１１２、フュージョンアテンションネットワーク１１４、及び出力ネットワーク１１６の一部又は全部の動作の並列化などの様々な加速化技術を実装することができる。推論アクセラレータ２０６は、ソフトウェア、ハードウェア、又はこれらの組み合わせとして実装することができる。推論アクセラレータ２０６の実装例としては、以下に限定するわけではないが、ＧＰＵ、テンソルプロセッシングユニット（ＴＰＵ）、ニューロモルフィックチップ、ビジョンプロセッシングユニット（ＶＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、マイクロコントローラ、及び／又はこれらの組み合わせを挙げることができる。

【0039】

トランスレータモデル２０８は、第２の言語でのスピーチを第１の言語に（又はこの逆に）翻訳するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ある実施形態では、トランスレータモデル２０８を、第１の言語でのスピーチの写しを第２の言語に翻訳するように構成することができる。トランスレータモデル２０８の例としては、以下に限定するわけではないが、人工ニューラルネットワーク（ＡＮＮ）、ディープニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、回帰型ニューラルネットワーク（ＲＮＮ）、ゲート付き回帰型ユニット（ＧＲＵ）ベースのＲＮＮ、ＣＮＮ－回帰型ニューラルネットワーク（ＣＮＮ－ＲＮＮ）、長短期記憶（ＬＳＴＭ）ネットワークベースのＲＮＮ、ＬＳＴＭ＋ＡＮＮ、及び／又はこのようなネットワークの組み合わせを挙げることができる。

【0040】

顔検出モデル２１０は、画像（又はフレーム）内の１又は２以上の顔を検出するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。顔検出モデル２１０は、１又は２以上の顔検出技術を使用して画像内の１又は２以上の顔を検出することができる。当業者には１又は２以上の顔検出技術の詳細な実装が周知であると考えられ、従って上述した１又は２以上の顔検出技術に関する詳細な説明については、簡潔にするために本開示から省略する。顔検出モデル２１０の例としては、以下に限定するわけではないが、畳み込みニューラルネットワーク（ＣＮＮ）、Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）ＹＯＬＯネットワーク、及び／又はこのようなネットワークの組み合わせを挙げることができる。

【0041】

シーン検出モデル２１２は、１又は２以上のビデオから複数のシーンを抽出するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ある実施形態では、複数のシーンを、背景画素情報（例えば、背景画素値の変化）に基づいて抽出することができる。シーン検出モデル２１２の例としては、以下に限定するわけではないが、畳み込みニューラルネットワーク（ＣＮＮ）、回帰型ニューラルネットワーク（ＲＮＮ）、人工ニューラルネットワーク（ＡＮＮ）、及び／又はこのようなネットワークの組み合わせを挙げることができる。

【0042】

単一境界検出モデル２１４は、シーン内の複数の発話を検出するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ある実施形態では、単一境界検出モデル２１４が、後に複数の畳み込み層が続くＶＧＧ－１６畳み込みニューラルネット（ＣＮＮ）を含むことができる。ＶＧＧ－１６は特徴抽出に使用することができ、畳み込み層はオブジェクトの検出に使用することができる。単一境界検出モデル２１４は、オブジェクトの検出に基づいてビデオの複数のシーンをさらに抽出することができる。ある実施形態では、単一境界検出モデル２１４が、背景画素情報（例えば、背景画素値の変化）に基づいてビデオの複数のシーンを抽出することができる。

【0043】

図３は、本開示の実施形態による、図１のマルチモーダルフュージョンネットワークの例示的なアーキテクチャを示す図である。図３の説明は、図１及び図２の要素に関連して行う。図３には、図１のマルチモーダルフュージョンネットワーク１０８の例示的な実装であることができるマルチモーダルフュージョンネットワーク３０２の図３００を示す。

【0044】

マルチモーダルフュージョンネットワーク３０２は、１又は２以上の特徴抽出器３０４、トランスフォーマエンコーダネットワーク３０６、フュージョンアテンションネットワークセット３０８、及び出力ネットワーク３１０を含むことができる。トランスフォーマエンコーダネットワーク３０６は、１又は２以上の特徴抽出器３０４に結合することができ、フュージョンアテンションネットワークセット３０８の第１のフュージョンアテンションネットワーク３０８Ａは、トランスフォーマエンコーダネットワーク３０６に結合することができ、出力ネットワーク３１０は、フュージョンアテンションネットワークセット３０８の第Ｎのフュージョンアテンションネットワーク３０８Ｎに結合することができる。ある実施形態によれば、トランスフォーマエンコーダネットワーク３０６及び出力ネットワーク３１０に結合できる単一のフュージョンアテンションネットワーク（例えば、第１のフュージョンアテンションネットワーク３０８Ａ）が存在することができる。図３には、ビデオ又は１又は２以上のビデオにおいて描かれる会話に対応する複数の発話３１２のブロックスタイル表現をさらに示す。

【0045】

いずれかの時点で、回路１０４は、複数の人間の話者又はキャラクタ間の会話（例えば、二者間会話（ｄｙａｄｉｃ ｃｏｎｖｅｒｓａｔｉｏｎ））を描写できる１又は２以上のビデオを受け取ることができる。このような会話での各発話について感情ラベルを予測する必要がある。ここでは、感情ラベルを予測する動作について説明する。

【0046】

回路１０４は、受信後に１又は２以上のビデオのフレームにシーン検出モデル２１２を適用するように構成することができる。図２で説明したように、シーン検出モデル２１２は、各ビデオから複数のシーン（又は複数の対話）を抽出するように訓練することができる。回路１０４は、発話の自動検出のために、複数のシーンに対応するビデオのフレームを処理することができる。限定ではなく一例として、フレームに単一境界検出モデル２１４を適用して、このようなフレームの各々における複数のオブジェクトを検出することができる。回路１０４は、この検出に基づいて、複数の発話３１２に対応するフレームのサブセットをさらに検出することができる。

【0047】

回路１０４は、１又は２以上のビデオからオーディオ部分を抽出することができる。このようなオーディオ部分の各々は、（会話又は対話の一部としての）発話に対応するスピーチ音（ｓｐｅｅｃｈ ｓｏｕｎｄ）を含むことができる。同様に、回路１０４は、好適なスピーチ－テキスト変換（Ｓｐｅｅｃｈ－Ｔｏ－Ｔｅｘｔ：ＳＴＴ）技術を使用して、このようなオーディオ部分の文字起こしを生成することができる。

【0048】

複数の発話３１２は、第１の発話３１２Ａ、第２の発話３１２Ｂ、第３の発話３１２Ｃ．．．、及び第Ｋの発話３１２Ｋを含むことができる。（第１の発話３１２Ａなどの）発話は、スピーチ音と画像（又は複数の画像）とスピーチ音の文字起こしとの組み合わせを通じて表現できる対話又は会話の一部として定義することができる。複数の発話３１２の各々は、対応する発話の音響に関連する対応する第１のモダリティ、対応する発話の文字起こしに関連する複数のモダリティのうちの第２のモダリティ、及び対応する発話の視覚的側面（例えば、表情及び唇の動きなど）に関連する第３のモダリティを有することができる。例えば、第１の発話３１２Ａは、第１の発話３１２Ａの音響に関連する第１のモダリティ３１４Ａ、第１の発話３１２Ａの文字起こしに関連する第２のモダリティ３１４Ｂ、及び第１の発話３１２Ａの視覚的側面に関連する第３のモダリティ３１４Ｃを含むことができる。第１のモダリティ３１４Ａ、第２のモダリティ３１４Ｂ及び第３のモダリティ３１４Ｃは、全体として（マルチモーダル入力１２４などの）マルチモーダル入力を形成することができる。

【0049】

ある実施形態では、シーン（又は対話）が、共に時間に関して配置できる「ｋ」個の発話「Ｕ」及びこれらのそれぞれの感情ラベル「Ｙ」を含むことができる。各発話は、対応する第１のモダリティ（すなわち、スピーチセグメント）、第２のモダリティ（すなわち、文字起こし）、及び第３のモダリティ（すなわち、ビデオクリップ）を伴うことができる。一例として、「ｋ」個の発話のシーンは、以下の方程式（１）を使用して数学的に表すことができ、

（１）
ここで、
ｘⁱはｉ番目の発話を表し、

はｉ番目の発話に関連する音響を表し、

はｉ番目の発話に関連する文字起こしを表し、

はｉ番目の発話に関連するビデオを表し、
ｙⁱはｉ番目の発話の感情ラベルを表す。

【0050】

回路１０４は、１又は２以上の特徴抽出器３０４にマルチモーダル入力を入力するように構成することができる。例えば、マルチモーダル入力は、受け取った１又は２以上のビデオにおいて描かれる第１の発話３１２Ａに関連することができる。

【0051】

ある実施形態によれば、マルチモーダル入力は、多言語スピーチと、１又は２以上の特徴抽出器３０４に適合できる第１の言語での多言語スピーチの文字起こしとを含むことができる。例えば、多言語スピーチは、「ハロー、Ｆｒｅｄ、元気ですか？（Ｈｅｌｌｏ Ｆｒｅｄ，Ｇｅｎｋｉｄｅｓｕ ｋａ？）」という発話に対応することができる。このような場合、多言語スピーチの文字起こしは、「Ｈｅｌｌｏ Ｆｒｅｄ，ｈｏｗ ａｒｅ ｙｏｕ？」であることができる。

【0052】

別の実施形態によれば、マルチモーダル入力は、１又は２以上の特徴抽出器３０４に適合する第１の言語とは異なることができる第２の言語でのスピーチを含むことができる。このような場合、マルチモーダル入力は、（１又は２以上の特徴抽出器３０４に適合する）第１の言語でのスピーチの文字起こしを含むことができる。このような実施形態では、回路１０４を、（第２の言語での）スピーチにトランスレータモデル２０８を適用してスピーチを第２の言語から第１の言語に翻訳するように構成することができる。翻訳は、（第２の言語での）スピーチと１又は２以上の特徴抽出器３０４との言語互換性問題（ｌａｎｇｕａｇｅ ｃｏｍｐａｔｉｂｉｌｉｔｙ ｉｓｓｕｅ）を克服するために実行することができる。

【0053】

１又は２以上の特徴抽出器３０４は、音響特徴抽出器３０４Ｂ、テキスト特徴抽出器３０４Ｃ、視覚特徴抽出器３０４Ｄ、及び音響視覚特徴抽出器３０４Ｃを含むことができる。ある実施形態では、１又は２以上の特徴抽出器３０４の各々が、対応するモダリティに関連する特徴を抽出するように構成できる少なくとも１つのニューラルネットワークを含むことができる。例えば、音響特徴抽出器３０４Ｂ及び音響視覚特徴抽出器３０４Ｃは、第１の発話３１２Ａの音響に関連する特徴を抽出するように構成することができる。同様に、テキスト特徴抽出器３０４Ｃは、第１の発話３１２Ａの文字起こしに関連する特徴を抽出するように構成することができ、視覚特徴抽出器３０４Ｄ及び音響視覚特徴抽出器３０４Ｃは、第１の発話３１２Ａの視覚的側面に関連する特徴を抽出するように構成することができる。このような特徴をまとめて入力埋め込みと呼ぶことができる。

【0054】

ある実施形態では、回路１０４を、マルチモーダル入力に１又は２以上の特徴抽出器３０４を適用することに基づいて入力埋め込みを生成するように構成することができる。具体的には、回路１０４は、マルチモーダル入力に含まれる発話の音響情報に音響視覚特徴抽出器３０４Ｃを適用することに基づいて第１の埋め込み（ＦＩＡ）を生成するように構成することができる。音響視覚特徴抽出器３０４Ｃは、音響視覚特徴抽出器３０４Ｃが３つの損失関数の重要性を活用できるようにする三重項ネットワークに基づくことができる。音響視覚特徴抽出器３０４Ｃは、エンコーダネットワーク及びプロジェクタモジュールを含むことができ、適応的マージン三重項損失、共分散損失及び分散損失などの損失関数について訓練することができる。音響視覚特徴抽出器３０４Ｃの詳細については、例えば図６に示す。

【0055】

ある実施形態では、回路１０４を、音響視覚特徴抽出器３０４Ｃに音響情報が入力として提供される前に、音響情報に対して１又は２以上の動作を実行するように構成することができる。回路１０４は、音響情報に含まれるオーディオ部分をＲＧＢフォーマットの２次元（２Ｄ）メルスペクトログラム（Ｍｅｌ Ｓｐｅｃｔｒｏｇｒａｍ）に変換するように構成することができる。このようなＲＧＢフォーマットの２次元メルスペクトログラムは、音響視覚特徴抽出器３０４Ｃに入力として提供することができる。回路１０２は、オーディオ部分を２次元（２Ｄ）メルスペクトログラムに変換するために、時間伸縮法（ｔｉｍｅ ｗａｒｐｉｎｇ）及び加算性白色ガウス雑音（Ａｄｄｉｔｉｖｅ Ｗｈｉｔｅ Ｇａｕｓｓｉａｎ Ｎｏｉｓｅ：ＡＷＧＮ）などの１又は２以上の増強技術を介してオーディオ部分のオーディオ信号を処理して、増強オーディオ信号（ａｕｇｍｅｎｔｅｄ ａｕｄｉｏ ｓｉｇｎａｌｓ）を生成するように構成することができる。このような生成された増強信号をさらにメルスペクトログラムに変換することができる。ある実施形態では、４００サンプル（２５ｍｓ）のフレーム長及び１６０サンプル（１０ｍｓ）のホップ長を有する短時間フーリエ変換（ＳＴＦＴ）及び１２８個のメルフィルタバンクを使用してメルスペクトログラムを計算することができる。回路は、メルスペクトログラムの適用に基づいて第１の埋め込み（Ｆ_IA）を生成するようにさらに構成することができる。

【0056】

別の実施形態では、回路１０４を、マルチモーダル入力に含まれる発話の音響情報に音響特徴抽出器３０４Ｂを適用することに基づいて第１の埋め込み（Ｆ_IA）を生成するように構成することができる。音響特徴抽出器３０４Ｂは、例えばｏｐｅｎＳＭＩＬＥ（ｏｐｅｎ－ｓｏｕｒｃｅ Ｓｐｅｅｃｈ ａｎｄ Ｍｕｓｉｃ Ｉｎｔｅｒｐｒｅｔａｔｉｏｎ ｂｙ Ｌａｒｇｅ－ｓｐａｃｅ Ｅｘｔｒａｃｔｉｏｎ）モデルに基づくことができる。ある実施形態では、音響特徴抽出器３０４Ｂが、発話ラベルについて訓練できる多層パーセプトロン（ｍｕｌｔｉ－ｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ：ＭＬＰ）ネットワークをさらに含むことができる。回路１０４は、ｏｐｅｎＳＭＩＬＥを使用して音響特徴抽出器３０４Ｂによって生成された出力に多層パーセプトロン（ＭＬＰ）ネットワークを適用することに基づいて入力埋め込みの埋め込み（Ｆ_IA）を生成するように構成することができる。例えば、第１の埋め込みは、以下の方程式（２）を使用して数学的に表すことができ、

（２）
ここで、

は第１の埋め込みを表し、

は音響ビデオ特徴抽出器３０４Ｃ又は音響特徴抽出器３０４Ｂの動作を表し、
ｋは複数の発話の総数を表し、

はｉ番目の発話の音響（又はオーディオ成分）を表し、
Ｄ_Aは音声発話の埋め込みのサイズを表す。

【0057】

ある実施形態では、回路１０４を、第１の発話３１２Ａに関連する音響情報の文字起こしにテキスト特徴抽出器３０４Ｃを適用することに基づいて入力埋め込みの第２の埋め込みを生成するように構成することができる。第２の埋め込みは、第１の発話３０２Ａに時間的に先行又は後続する異なる発話の文字起こしにテキスト特徴抽出器３０４Ｃを適用することにさらに基づいて生成することができる。第１の発話３０２Ａに時間的に先行又は後続する異なる発話の文字起こしは、セパレータトークン（＜ｓ＞）によって分離することができる。例えば、あるシーンの第４の発話が「全部だよ！行こうか？（Ｔｈｅ ｗｈｏｌｅ ｔｈｉｎｇ！ Ｃａｎ ｗｅ ｇｏ？）」であり、シーンの第５の発話が「カンガルーが出てくるシーンはどうだった（Ｗｈａｔ ａｂｏｕｔ ｔｈｅ ｓｃｅｎｅ ｗｉｔｈ ｔｈｅ Ｋａｎｇａｒｏｏ）」であり、シーンの第６の発話が「世界大戦の長編映画でカンガルーを見るなんて驚いたよ（Ｉ ｗａｓ ｓｕｒｐｒｉｓｅｄ ｔｏ ｓｅｅ ａ Ｋａｎｇａｒｏｏ ｉｎ ａ ｗｏｒｌｄ ｗａｒ ｅｐｉｃ）」である場合、第５の発話の文字起こしは、「Ｔｈｅ ｗｈｏｌｅ ｔｈｉｎｇ！＜ｓ＞Ｗｈａｔ ａｂｏｕｔ ｔｈｅ ｓｃｅｎｅ ｗｉｔｈ ｔｈｅ Ｋａｎｇａｒｏｏ＜ｓ＞Ｉ ｗａｓ ｓｕｒｐｒｉｓｅｄ ｔｏ ｓｅｅ ａ Ｋａｎｇａｒｏｏ ｉｎ ａ ｗｏｒｌｄ ｗａｒ ｅｐｉｃ」であることができる。

【0058】

ある実施形態では、テキスト特徴抽出器３０４Ｃを、ＲｏＢＥＲＴａモデル（Ｒｏｂｕｓｔｌｙ ｏｐｔｉｍｉｚｅｄ ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）手法）に基づいて実装することができる。例えば、第２の埋め込みは、以下の方程式（３）を使用して数学的に表すことができ、

（３）
ここで、

は入力埋め込みの第２埋め込みを表し、

はテキスト特徴抽出器３０４Ｃ（ＲｏＢＥＲＴａモデル又は修正ＲｏＢＥＲＴａモデル）の動作を表し、
ｋは複数の発話の総数を表し、

はｉ番目の発話の文字起こしを表し、
Ｄ_Tはテキスト発話の埋め込みサイズを表す。

【0059】

ある実施形態では、回路１０４を、音響視覚特徴抽出器３０４Ｃ又は視覚特徴抽出器３０４Ｄの一方を、１又は２以上のビデオのフレーム内の１又は２以上の発話キャラクタの顔情報、及びフレームに関連するシーン情報に適用することに基づいて、入力埋め込みの第３の埋め込みを生成するように構成することができる。フレームは、１又は２以上のビデオ内の第１の発話３１２Ａの継続時間に対応することができる。音響視覚特徴抽出器３０４Ｃ及び視覚特徴抽出器３０４Ｄの各々は、例えば１又は２以上の発話キャラクタの１又は２以上の顔及び１又は２以上の顔の各々のエリアを検出するように構成できるデュアルネットワークであることができる。ある実施形態では、音響視覚特徴抽出器３０４Ｃ又は視覚特徴抽出器３０４Ｄが、１又は２以上の発話キャラクタの検出された１又は２以上の特徴から特徴を抽出する第１のネットワークと、１又は２以上の発話キャラクタを含むシーン全体から特徴を抽出する第２のネットワークとを含むことができる。視覚特徴ネットワークは、検出された１又は２以上の顔を対応するエリアに基づいて正規化して入力埋め込みの第３の埋め込みを生成することができる。音響視覚特徴抽出器３０４Ｃ及び視覚特徴抽出器３０４Ｄについての詳細については、例えば図４に示す。生成された第３の埋め込みは、以下の方程式（４）を使用して数学的に表すことができ、

（４）
ここで、

は入力埋め込みの第３の埋め込みを表し、

は音響視覚特徴抽出器３０４Ｃ又は視覚特徴抽出器３０４Ｄの動作を表し、
ｋは複数の発話の総数を表し、

はｉ番目の発話に関連するビデオを表し、
Ｄ_Vは視覚的発話の埋め込みサイズを表す。

【0060】

（マルチモーダル入力の各モダリティのための埋め込みを含む）生成された入力埋め込みは、トランスフォーマエンコーダネットワーク３０６に入力として供給することができる。入力埋め込みは、マルチモーダル入力の各モダリティに関する発話間コンテキストを学習するようにトランスフォーマエンコーダネットワーク３０６に通すことができる。トランスフォーマエンコーダネットワーク３０６は、マルチモーダル入力の第１のモダリティ３１４Ａのためのトランスフォーマエンコーダの第１のスタック３１６と、マルチモーダル入力の第２のモダリティ３１４Ｂのためのトランスフォーマエンコーダの第２のスタック３１８と、マルチモーダル入力の第３のモダリティ３１４Ｃのためのトランスフォーマエンコーダの第３のスタック３２０とを含むことができる。ある実施形態では、トランスフォーマエンコーダの第１のスタック３１６、トランスフォーマエンコーダの第２のスタック３１８、及びトランスフォーマエンコーダの第３のスタック３２０が、同じ数のトランスフォーマエンコーダを含むことができる。別の実施形態では、トランスフォーマエンコーダの第１のスタック３１６、トランスフォーマエンコーダの第２のスタック３１８、及びトランスフォーマエンコーダの第３のスタック３２０が、異なる数のトランスフォーマエンコーダを含むことができる。

【0061】

トランスフォーマエンコーダの第１のスタック３１６は、第１のトランスフォーマエンコーダ３１６Ａ．．．及び第Ｎのトランスフォーマエンコーダ３１６Ｎまでを含むことができる。第１のトランスフォーマエンコーダ３１６Ａの出力は、第Ｎのトランスフォーマエンコーダ３１６Ｎに入力として提供することができる。同様に、トランスフォーマエンコーダの第２のスタック３１８は、第１のトランスフォーマエンコーダ３１８Ａ．．．、及び第Ｎのトランスフォーマエンコーダ３１８Ｎまでを含むことができる。第１のトランスフォーマエンコーダ３１８Ａの出力は、第Ｎのトランスフォーマエンコーダ３１８Ｎに入力として提供することができる。同様に、トランスフォーマエンコーダの第３のスタック３２０は、第１のトランスフォーマエンコーダ３２０Ａ．．．及び第Ｎのトランスフォーマエンコーダ３２０Ｎまでを含むことができる。第１のトランスフォーマエンコーダ３２０Ａの出力は、第Ｎのトランスフォーマエンコーダ３２０Ｎに入力として提供することができる。

【0062】

入力埋め込みの第１の埋め込み（Ｆ_IA）は、トランスフォーマエンコーダの第１のスタック３１６の第１のトランスフォーマエンコーダ３１６Ａに入力として提供することができる。入力埋め込みの第２の埋め込み（Ｆ_IT）は、トランスフォーマエンコーダの第２のスタック３１８の第１のトランスフォーマエンコーダ３１８Ａに入力として提供することができる。同様に、入力埋め込みの第３の埋め込み（Ｆ_IV）は、トランスフォーマエンコーダの第３のスタック３２０の第１のトランスフォーマエンコーダ３１８Ａに入力として提供することができる。

【0063】

トランスフォーマエンコーダネットワーク３０６の各トランスフォーマエンコーダは、感情関連特徴セットを生成するように訓練することができる。感情関連特徴セットは、マルチモーダル入力の各モダリティに対応する１又は２以上の特徴を含むことができる。例えば、第１のモダリティ３１４Ａに対応する１又は２以上の特徴は、以下の方程式（５）を使用して数学的に表すことができ、

（５）
ここで、

は入力埋め込みの第１の埋め込みを表し、
Ｔ_δはトランスフォーマエンコーダの動作を表し、
Ｎ₁はトランスフォーマエンコーダの第１のスタック３１６の第１のトランスフォーマエンコーダ３１６Ａを表し、
Ｎ_Aはトランスフォーマエンコーダの第１のスタック３１６の第Ｎのトランスフォーマエンコーダ３１６Ｎを表し、
ｉ∈［１，ｋ］である。

【0064】

第２のモダリティ３１４Ｂに対応する１又は２以上の特徴は、以下の方程式（６）を使用して数学的に表すことができ、

（６）
ここで、

は入力埋め込みの第２の埋め込みを表し、
Ｔ_δはトランスフォーマエンコーダの動作を表し、
Ｎ₁はトランスフォーマエンコーダの第２のスタック３１８の第１のトランスフォーマエンコーダ３１８Ａを表し、
Ｎ_Tはトランスフォーマエンコーダの第２のスタック３１８の第Ｎのトランスフォーマエンコーダ３１８Ｎを表し、
ｉ∈［１，ｋ］である。
同様に、第３のモダリティ３１４Ｃに対応する１又は２以上の特徴は、以下の方程式（７）を使用して数学的に表すことができ、

（７）
ここで、

は入力埋め込みの第３の埋め込みを表し、
Ｔ_δはトランスフォーマエンコーダの動作を表し、
Ｎ₁はトランスフォーマエンコーダの第３のスタック３２０の第１のトランスフォーマエンコーダ３２０Ａを表し、
Ｎ_Vはトランスフォーマエンコーダの第３のスタック３２０の第Ｎのトランスフォーマエンコーダ３１８Ｎを表し、
ｉ∈［１，ｋ］である。

【0065】

ある実施形態では、マルチモーダルフュージョンネットワーク３０２が、トランスフォーマエンコーダネットワーク３０６内の隣接するトランスフォーマエンコーダの各対間のスキップ接続３２２をさらに含むことができる。具体的には、スキップ接続３２２は、トランスフォーマエンコーダの第１のスタック３１６、トランスフォーマエンコーダの第２のスタック３１８、及びトランスフォーマエンコーダの第３のスタック３２０内の隣接するトランスフォーマエンコーダの各対間に存在することができる。スキップ接続３２２は、マルチモーダルフュージョンネットワーク３０２がマルチモーダル入力の各モダリティに関連する下位レベルの特徴を無視するのを防ぐためにマルチモーダルフュージョンネットワーク３０２内で採用することができる。

【0066】

生成された感情関連特徴セットは、フュージョンアテンションネットワークセット３０８のフュージョンアテンションネットワーク３０８に入力として提供することができる。フュージョンアテンションネットワークセット３０８は、トランスフォーマエンコーダネットワーク３０６に結合することができ、少なくとも１つのフュージョンアテンションネットワークを含むことができる。一例として、フュージョンアテンションネットワークセット３０８は、限定するわけではないが、第１のフュージョンアテンションネットワーク３０８Ａ．．．及び第Ｎのフュージョンアテンションネットワーク３０８Ｎまでを含むことができる。フュージョンアテンションネットワークセット３０８の各フュージョンアテンションネットワークは、１又は２以上のマルチヘッドアテンション層及び第１の全結合層を含むことができる。ある実施形態では、第１の全結合層の入力を、対応するフュージョンアテンションネットワークの１又は２以上のマルチヘッドアテンション層の出力に結合することができる。フュージョンアテンションネットワークセット３０８の各々は、感情関連特徴セットの融合特徴表現を出力するように構成することができる。フュージョンアテンションネットワークセット３０８及び感情関連特徴セットの各々に関する詳細については、例えば図５に示す。限定ではなく一例として、感情関連特徴セットの融合特徴表現は、以下の方程式（８）及び（９）を使用して数学的に表すことができ、

（８）

（９）
ここで、

は第１のフュージョンアテンションネットワーク３０８Ａの出力を表し、
ＭＨＡは１又は２以上のマルチヘッドアテンション層のマルチヘッドアテンション層の動作を表し、

は第Ｎのフュージョンアテンションネットワーク３０８Ｎの出力（又はフュージョンアテンションネットワークセット３０８の出力）を表し、

は第１のモダリティ３１４Ａに対応する１又は２以上の特徴を表し、

は第２のモダリティ３１４Ｂに対応する１又は２以上の特徴を表し、

は第３のモダリティ３１４Ｃに対応する１又は２以上の特徴を表し、
ｍはフュージョンアテンションネットワークセット３０８内の１又は２以上のマルチヘッドアテンション層の総数を表し、
ｉ∈［１、ｋ］である。

【0067】

ある実施形態では、生成された融合特徴表現を出力ネットワーク３１０に入力として提供することができる。出力ネットワーク３１０は、フュージョンアテンションネットワークセット３０８の出力に結合できる第２の全結合層を含むことができる。出力ネットワーク３１０の第２の全結合層は、複数の発話３１２のうちの第１の発話３１２Ａの感情ラベルを予測するように構成することができる。ある実施形態では、第２の全結合層が、第２の全結合層の出力において実装されるＳｏｆｔＭａｘ関数又はクロスエントロピー関数を含むことができる。予測される感情ラベルは、以下に限定するわけではないが、幸せな感情ラベル、悲しい感情ラベル、怒りの感情ラベル、穏やかな感情ラベル、恐怖の感情ラベル、中立の感情ラベル、わくわくする感情ラベル、混乱した感情ラベル、ストレスを受けた感情ラベル、むかついた感情ラベル、驚いた感情ラベル、興奮した感情ラベル、又は怯えた感情ラベルのうちの１つであることができる。

【0068】

ある実施形態では、出力ネットワーク３１０を、マルチモーダル入力のセンチメントラベル（ｓｅｎｔｉｍｅｎｔ ｌａｂｅｌ）を予測するように構成することができる。予測されるセンチメントラベルは、（マルチモーダルフュージョンネットワーク３０２にマルチモーダル入力が入力として提供される）発話が、肯定的センチメント、否定的センチメント、又は中立的センチメントのいずれに対応するかを示すことができる。

【0069】

ある実施形態では、出力ネットワーク３１０の出力を、以下の方程式（１０）及び（１１）を使用して数学的に表すことができ、

（１０）

（１１）
ここで、

は複数の発話３１２の各々の予測される感情ラベルを表し、

は複数の発話３１２のうちの第１の発話３１２Ａの予測感情ラベルを表し、

は複数の発話３１２のうちの第ｐの発話の予測感情ラベルを表し、
ＦＣは出力ネットワーク３１０の第２の全結合層の動作を表し、

は第Ｎのフュージョンアテンションネットワーク３０８Ｎの出力（又はフュージョンアテンションネットワークセット３０８の出力）を表し、
ｉ∈［１，ｋ］である。

【0070】

ある実施形態では、マルチモーダルフュージョンネットワーク３０２の動作を２つのレベルに、すなわち発話レベル及び対話レベルに分割することができる。マルチモーダル入力の各モダリティに関連する埋め込みは単独で生成することができるので、１又は２以上の特徴抽出器３０４は発話レベルの一部とみなすことができる。対話レベルでは、マルチモーダルフュージョンネットワーク３０２が、対話全体からの文脈情報を使用することによって各発話の感情を予測することを学習することができる。

【0071】

ある実施形態では、複数のモダリティが、対応する発話に関連する対象者の１又は２以上の生物学的パラメータに関連する第４のモダリティを含むこともできる。例えば、１又は２以上の生物学的パラメータは、発話の記録中に取り込んで、マルチモーダルフュージョンネットワーク３０２によるさらなる処理のために時系列データ（又は多次元空間データ）に変換することができる。回路１０４は、４つのモダリティ全て、すなわち第１のモダリティ、第２のモダリティ、第３のモダリティ及び第４のモダリティに基づいて対象者の感情ラベルを予測するように構成することができる。以下に、システム１０２によって実行される動作の擬似コードを示しており、

ここで、
ＭＨＡはマルチヘッドアテンションネットワーク動作（すなわち、フュージョンアテンションネットワーク動作）に対応し、
Ｃｏｎｃａｔは連結演算に対応し、
ＦＣは第２の全結合層の動作に対応し、
Ｄ_Tはテキストの寸法に対応する。

【0072】

図４は、本開示の実施形態による、図３のマルチモーダルフュージョンアテンションネットワークの例示的な視覚特徴抽出器を示す図である。図４の説明は、図１、図２、及び図３の要素に関連して行う。図４には、システム４０２を含むことができる図４００が存在する。システム４０２は、図１のシステム１０２の例示的な実装であることができる。システム４０２は、マルチモーダルフュージョンネットワーク３０２を含む。マルチモーダルフュージョンネットワーク３０２は、１又は２以上の特徴抽出器３０４を含むことができる。図４には、複数のフレームのうちの、複数の発話３１２のうちの第１の発話３１２Ａの継続時間に対応するフレーム４０４をさらに示す。

【0073】

システム４０２は、１又は２以上のビデオの複数のフレームを視覚特徴抽出器３０４Ｄに入力することができる。視覚特徴抽出器３０４Ｄは、顔検出モデル２１０を含むことができる。ある実施形態では、顔検出モデル２１０が、マルチタスクカスケード畳み込みネットワーク（Ｍｕｌｔｉ－ｔａｓｋ Ｃａｓｃａｄｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ：ＭＴＣＮＮ）に対応することができる。顔検出モデル２１０をフレーム４１４に適用して、受け取られた複数のフレームの各々における１又は２以上の顔を検出することができる。一例として、フレーム４０４では、検出された１又は２以上の顔が第１の顔４０６及び第２の顔４０８を含むことができる。

【0074】

システム４０２は、検出された１又は２以上の顔を含むことができる１又は２以上のバウンディングボックスを生成するように構成することができる。生成された１又は２以上のバウンディングボックスは、第１のバウンディングボックス４１０及び第２のバウンディングボックス４１２を含むことができる。第１のバウンディングボックス４１０は第１の面４０６を含むことができ、第２のバウンディングボックス４１２は第２の面４０８を含むことができる。ある実施形態では、１又は２以上のバウンディングボックスを、フレーム４０４に顔検出モデル２１０を適用することに基づいて生成することができる。その後、システム４０２は、音響視覚特徴抽出器３０４Ｃ又は視覚特徴抽出器３０４Ｄの一方の適用に基づいて、１又は２以上のバウンディングボックスの各々に関連するエリアを正規化することができる。システム４０２は、正規化に基づいて、音響視覚特徴抽出器３０４Ｃ又は視覚特徴抽出器３０４Ｄの出力として入力埋め込みの第３の埋め込みを生成することができる。

【0075】

システム４０２は、検出された１又は２以上の顔の各々に関連する特徴及び対応する正規化エリアに基づいて加重和を決定するように構成することができる。加重和は、以下の方程式（１２）を使用して数学的に表すことができ、

（１２）
ここで、
Ｆ_IVは入力埋め込みの第３の埋め込みを表し、
Ｆ₁は検出された第１の顔４０６に関連する特徴を表し、
Ｆ₂は検出された第２の顔４０８に関連する特徴を表し、
Ｗ₁は第１のバウンディングボックス４１０の正規化エリアを表し、
Ｗ₂は第２のバウンディングボックス４１２の正規化エリアを表す。

【0076】

ある実施形態では、視覚特徴抽出器３０４Ｄが、第１の発話３１２Ａの継続時間にわたる連続フレームの第１の総数（例えば、音響視覚特徴抽出器３０４Ｃの場合には１５、視覚特徴抽出器３０４Ｄの場合には３０）に対して使用できる視覚トランスフォーマ（ＶｉＴ）を含むことができる。システム１０２は、上述した動作に基づいて、第１の総数に含まれる各フレームから特徴を抽出することができる。第１の総数の連続フレームの各々から抽出された特徴を最大プーリングして（方程式（７）及び方程式（１２）を使用して表される）第３の埋め込みを生成することができる。

【0077】

別の実施形態では、音響視覚特徴抽出器３０４Ｃ又は視覚特徴抽出器３０４Ｄがデュアルネットワークであることができる。デュアルネットワークは、フレーム４０４内の１又は２以上の顔を検出する第１のネットワークと、フレーム４０４全体に注目する第２のネットワークとを含むことができる。具体的には、第２のネットワークは、フレーム４０４内で視認できる１又は２以上のオブジェクト及びその他の視覚的手掛かり（すなわち、シーン情報）に注目することができる。回路１０４は、（単複の）フレームに第１のネットワーク及び第２のネットワークを適用することに基づいて、音響視覚特徴抽出器３０４Ｃ又は視覚特徴抽出器３０４Ｄの出力として入力埋め込みの第３の埋め込みを生成するようにさらに構成することができる。

【0078】

図５は、本開示の実施形態による、図３のフュージョンアテンションネットワークの例示的なアーキテクチャを示す図である。図５の説明は、図１、図２、図３及び図４の要素に関連して行う。図５には、フュージョンアテンションネットワークセット３０８の第１のフュージョンアテンションネットワーク３０８Ａの例示的な実施形態であることができる第１のアテンションネットワーク５０２の図５００を示す。

【0079】

第１のアテンションネットワーク５０２は、第１のマルチヘッドアテンション層５０４Ａ及び第２のマルチヘッドアテンション層５０４Ｂをさらに含むことができる１又は２以上のマルチヘッドアテンション層を含むことができる。第１のアテンションネットワーク５０２は、（第１の全結合層とも呼ばれる）全結合層５０６をさらに含むことができる。フュージョンアテンションネットワークセット３０８内の各フュージョンアテンションネットワークのアーキテクチャは、図５００に示すものと同じであることができる。フュージョンアテンションネットワークセット３０８は、トランスフォーマエンコーダネットワーク３０６及び出力ネットワーク３１０に結合することができる。具体的には、トランスフォーマエンコーダネットワーク３０６の出力（すなわち、感情関連特徴セット）をフュージョンアテンションネットワークセット３０８（具体的には、第１のフュージョンアテンションネットワーク３０８Ａ）に入力として提供することができ、フュージョンアテンションネットワークセット３０８の出力を出力ネットワーク３１０に入力として提供することができる。

【0080】

回路１０４は、感情関連特徴セットをフュージョンアテンションネットワークセット３０８の第１のアテンションネットワーク５０２に入力として提供するように構成することができる。上述したように、感情関連特徴セットは、第１のモダリティに関連する（方程式（５）によって表される）１又は２以上の特徴、第２のモダリティに関連する（方程式（６）によって表される）１又は２以上の特徴、及び第３のモダリティに関連する（方程式（７）によって表される）１又は２以上の特徴を含むことができる。具体的には、回路１０４は、感情関連特徴セットを第１のアテンションネットワーク５０２の１又は２以上のマルチヘッドアテンション層に提供するように構成することができる。

【0081】

１又は２以上のマルチヘッドアテンション層の各々は、クエリ、キー及び値を入力として受け入れることができ、シーケンス内の様々な範囲（例えば、短い範囲及び長い範囲）の依存関係を捕捉するように構成することができる。ある実施形態では、第１のモダリティに関連する１又は２以上の特徴（Ｆ_A）を「キー（ｋ）」として、第２のモダリティに関連する１又は２以上の特徴（Ｆ_T）を「クエリ（ｑ）及び値（ｖ）」として第１のマルチヘッドアテンション層５０４Ａに提供することができる。同様に、第３のモダリティに関連する１又は２以上の特徴（Ｆ_V）を「キー（ｋ）」として、第３のモダリティに関連する１又は２以上の特徴（Ｆ_T）を「クエリ（ｑ）及び値（ｖ）」として第２のマルチヘッドアテンション層５０４Ｂに提供することができる。

【0082】

回路１０４は、１又は２以上のマルチヘッドアテンション層を感情関連特徴セットに適用して、感情関連特徴セット内の特徴間マッピングを決定するように構成することができる。説明したように、１又は２以上のマルチヘッドアテンション層の各々は、第１のモダリティに関連する（単複の）特徴、第２のモダリティに関連する（単複の）特徴、及び第３のモダリティに関連する（単複の）特徴間の依存関係を捕捉することができる。マッピングを使用して、複数のモダリティの各それぞれのモダリティをテキストベクトル空間にマッピングすることができる。回路１０４は、特徴間マッピングに基づいて感情関連特徴セットを感情関連特徴セットの潜在表現に連結するように構成することができる。連結後には、連結された出力（すなわち、感情関連特徴セットの潜在表現）を全結合層５０６に入力として提供することができる。回路１０４は、全結合層５０６の適用に基づいて、感情関連特徴セットの融合特徴表現を生成するように構成することができる。感情関連特徴セットの融合特徴表現は、Ｒ^k*D _Tに属するとともに方程式（８）及び（９）を使用して表すことができるベクトルであることができる。具体的には、ベクトルは、次元Ｋ^*Ｄ_Tの実座標空間に属することができる。

【0083】

ある実施形態によれば、回路１０４は、出力ネットワーク３１０の第２の全結合層に感情関連特徴セットの融合特徴表現を入力として提供するようにさらに構成することができ、フュージョンアテンションネットワークセット３０８の出力に結合することができる。回路１０４は、出力ネットワーク３１０の第２の全結合層の適用に基づいて、対応する発話の感情ラベルを予測するようにさらに構成することができる。ある実施形態では、第１のフュージョンアテンションネットワーク３０８Ａの出力を第２のフュージョンアテンションネットワークに受け渡すことができる。この同じプロセスをｎ回繰り返して、第Ｎのフュージョンアテンションネットワーク３０８Ｎの出力を、対応する発話の感情ラベルを予測するように構成できる第２の全結合層（すなわち、出力ネットワーク３１０）に入力として受け渡すことができる。

【0084】

図６は、本開示の実施形態による、図３の１又は２以上の特徴抽出器３０４の音響視覚特徴抽出器の例示的なアーキテクチャを示す図である。図６の説明は、図１、図２、図３、図４及び図５の要素に関連して行う。図６には、１又は２以上の特徴抽出器３０４の音響視覚特徴抽出器６０２の図６００を示す。

【0085】

音響視覚特徴抽出器６０２は三重項ネットワークに基づくことができる。三重項ネットワークでは、３つの入力サンプルが必要となり得る。第１のエンコーダネットワーク６０４Ａ、第２のエンコーダネットワーク６０４Ｂ及び第３のエンコーダネットワーク６０４Ｃを含むことができるエンコーダネットワークセット６０４をさらに示す。音響視覚特徴抽出器６０２は、プロジェクタセット６０６をさらに含むことができる。プロジェクタセット６０６は、第１のプロジェクタ６０６Ａ、第２のプロジェクタ６０６Ｂ、及び第３のプロジェクタ６０６Ｃを含むことができる。

【0086】

ある実施形態では、音響モダリティ及び視覚モダリティに関連する入力サンプル６０８を、ポジティブサンプルセット６１０Ａ、アンカーサンプルセット６１０Ｂ、及びネガティブサンプルセット６１０Ｃに分割することができる。ポジティブサンプルセット６１０Ａの各々はアンカーサンプルセット６１０Ｂと同様であることができ、ポジティブサンプルセット６１０Ａの各々はアンカーサンプルセット６１０Ｂとは異なることができる。ポジティブサンプルセット６１０Ａは、第１のエンコーダネットワーク６０４Ａに供給することができる。アンカーサンプルセット６１０Ｂは、第２のエンコーダネットワーク６０４Ｂに供給することができる。同様に、ネガティブサンプルセット６１０Ｃは、第３のエンコーダネットワーク６０４Ｃに供給することができる。エンコーダセット６０４の各エンコーダは、ニューロンの数及び関連する重みが同じである同じアーキテクチャを有することができる。エンコーダの例は、ＲｅｓＮｅｔ－１８ネットワークであることができる。

【0087】

ある実施形態では、第１のエンコーダネットワーク６０４Ａが第１の出力を生成することができる。第２のエンコーダネットワーク６０４Ｂは第２の出力を生成することができる。同様に、第３のエンコーダネットワーク６０４Ｃは第３の出力を生成することができる。第１の出力は第１のプロジェクタ６０６Ａに入力として提供することができ、第２の出力は第２のプロジェクタ６０６Ｂに入力として提供することができ、第３の出力は第３のプロジェクタ６０６Ｃに入力として提供することができる。プロジェクタセット６０６の各プロジェクタは、エンコーダネットワークセット６０４の埋め込みを表現セット６１２に投影するように構成できる全線形全結合層（ｆｕｌｌｙ ｌｉｎｅａｒ－ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）を含むことができる。具体的には、表現セット６１２は、ポジティブサンプルセット６１０Ａの第１の表現６１２Ａ、アンカーサンプルセット６１０Ｂの第２の表現６１２Ｂ、及びネガティブサンプルセット６１０Ｃの第３の表現６１２Ｃを含むことができる。表現セット６１２は、以下の方程式（１３）を使用して数学的に表すことができ、

（１３）
ここで、
Ｚは所望の表現を表し、
Ｎは表現の総数を表し、
ｄは各表現の次元を表す。

【0088】

音響視覚特徴抽出器６０２は、３つの損失関数、すなわち適応的マージン三重項損失関数、共分散損失関数及び分散損失関数の重み付けされた組み合わせを使用して訓練することができる。音響視覚特徴抽出器６０２の訓練の目的は、ポジティブサンプルセット６１０Ａとアンカーサンプルセット６１０Ｂとの間の距離を減少させ、アンカーサンプルセット６１０Ｂとネガティブサンプルセット６１０Ｃとの間の第２の距離を増加させることであることができる。３つの損失関数の重み付けされた組み合わせは、以下の方程式（１４）を使用して数学的に表すことができ、

（１４）
ここで、
λ₁、λ₂及びλ₃は重み付け係数を表し、
Ｌ_AMTは適応的マージン三重項損失関数を表し、
Ｌ_Covは共分散損失関数を表し、
Ｌ_Varは分散損失関数を表し、
Ｌ_FEは三重項損失関数を表す。

【0089】

従来、開発者らは、良好な顔の表現を学習するために使用される三重項損失関数を、ポジティブサンプルセット６１０Ａ、アンカーサンプルセット６１０Ｂ及びネガティブサンプルセット６１０Ｃに基づいて設計していた。開発者らは、自身の三重項損失関数において、ポジティブサンプルの表現とネガティブサンプルの表現とを分離するのに役立つ固定マージン値を使用する傾向にある。しかしながら、ポジティブサンプル又はネガティブサンプルからアンカーまでの距離が同じである場合、或いはポジティブサンプルがネガティブサンプルよりも少しだけアンカーに近い場合には、このような固定値マージンについて計算された三重項損失がゼロになることがあり、依然としてポジティブサンプルをアンカーに近づけ、ネガティブサンプルをアンカーから遠ざけているはずであるにもかかわらず補正が見られないことがある。この問題を解決するために、三重項損失関数の計算において適応的マージン値損失関数を使用することができる。この適応的マージン値損失関数は、以下の方程式（１５）を使用して数学的に表すことができ、

（１５）
ここで、

は、ポジティブサンプルセット６１０Ａの表現とアンカーサンプルセット６１０Ｂの表現との間のユークリッド距離ベースの類似性メトリックを表し、

は、アンカーサンプルセット６１０Ｂの表現とネガティブサンプルセット６１０Ｃの表現との間のユークリッド距離ベースの類似性メトリックを表し、

は、ポジティブサンプルセット６１０Ａの表現とネガティブサンプルセット６１０Ｃの表現との間のユークリッド距離ベースの類似度メトリックを表し、
ｍ_AMは適応的マージンを表す。

【0090】

ある実施形態では、適応的マージン（ｍ_AM）を類似性尺度及び非類似性尺度に基づいて計算することができ、以下の方程式（１６）を使用して数学的に表すことができ、

（１６）
ここで、

は類似性尺度を表し、

であり、

は類似度尺度を表し、

である。

【0091】

ある実施形態では、三重損失関数が分散損失関数を含むこともできる。分散損失関数は、音響視覚特徴抽出器６０２が（単複の）モード崩壊問題（ｍｏｄｅ ｃｏｌｌａｐｓｅ ｉｓｓｕｅ）に対処するのを支援することができ、以下の方程式（１７）を使用して数学的に表すことができ、

（１７）
ここで、
Ｖａｒ（Ｚ）は対応する表現から得られる分散を表し、

であり、
Ｚ_k＝Ｚ_A，Ｚ_p，Ｚ_nであり、
Ｚ_pは、ポジティブサンプルセット６１０Ａに対応する第１の表現を表し、
Ｚ_aは、アンカーサンプルセット６１０Ｂに対応する第２の表現を表し、
Ｚ_nは、ネガティブサンプルセット６１０Ｃに対応する第３の表現を表し、

は、対応する表現の平均を表す。

【0092】

ある実施形態では、三重損失関数が共分散損失関数を含むこともできる。共分散損失関数は、音響視覚特徴抽出器６０２が表現の異なる次元を非相関化するのを支援することができ、以下の方程式（１８）を使用して数学的に表すことができ、

（１８）
ここで、
Ｃｏｖ（Ｚ）は対応する表現の共分散行列を表し、

であり、
Ｚ_k＝Ｚ_A，Ｚ_p，Ｚ_nであり、
Ｚ_pは、ポジティブサンプルセット６１０Ａに対応する第１の表現を表し、
Ｚ_aは、アンカーサンプルセット６１０Ｂに対応する第２の表現を表し、
Ｚ_nは、ネガティブサンプルセット６１０Ｃに対応する第３の表現を表し、

は、対応する表現の平均を表す。

【0093】

図７は、本開示の実施形態による、マルチモーダルフュージョンベースのディープニューラルネットワークを用いたマルチメディアビデオにおける感情認識のための例示的なシナリオを示す図である。図７の説明は、図１、図２、図３、図４、図５及び図６の要素に関連して行う。図７にはシナリオ７００を示す。シナリオ７００には、図１の回路１０４及び図３のマルチモーダルフュージョンネットワーク１０８を含むシステム１０２を示す。さらに、複数のマルチモーダル入力７０２及び複数の予測感情ラベル７０４を示す。

【0094】

複数のマルチモーダル入力７０２は、第１のマルチモーダル入力７０２Ａ、第２のマルチモーダル入力７０２Ｂ、第３のマルチモーダル入力７０２Ｃ、及び第Ｎのマルチモーダル入力７０２Ｎを含むことができる。第１のマルチモーダル入力７０２Ａは、１又は２以上のビデオにおいて描かれる第１の発話に関連することができる。第２のマルチモーダル入力７０２Ｂは、このようなビデオにおいて描かれる第２の発話に関連することができる。同様に、第３のマルチモーダル入力７０２Ｃは、このようなビデオにおいて描かれる第３の発話に関連することができ、第Ｎのマルチモーダル入力７０２Ｎは、このようなビデオにおいて描かれる第Ｎの発話に関連することができる。このような発話は、全て会話（例えば、二者間会話）の一部であることができる。複数のマルチモーダル入力７０２と同様に、複数の予測感情ラベル７０４は、第１の予測感情ラベル７０４Ａ、第２の予測感情ラベル７０４Ｂ、第３の予測感情ラベル７０４Ｃ、及び第Ｎの予測感情ラベル７０４Ｎを含むことができる。

【0095】

回路１０４は、第１のマルチモーダル入力７０２Ａを１又は２以上の特徴抽出器１１０に入力するように構成することができる。第１のマルチモーダル入力７０２Ａは第１の発話に関連することができ、第１の発話の音響に関連する第１のモダリティ７０６、第１の発話の文字起こしに関連する第２のモダリティ７０８、及び第１の発話の視覚的側面に関連する第３のモダリティ７１０を含むことができる。

【0096】

回路１０４は、入力に対する１又は２以上の特徴抽出器１１０の出力として入力埋め込みを生成するようにさらに構成することができる。入力埋め込みは、マルチモーダル入力の各モダリティのための埋め込みを含む。入力埋め込みに関する詳細については、例えば図３に示している。

【0097】

回路１０４は、入力埋め込みにトランスフォーマエンコーダネットワークを適用することに基づいて感情関連特徴セットを生成するようにさらに構成することができる。感情関連特徴セットは、マルチモーダル入力の各モダリティに対応する１又は２以上の特徴を含むことができる。回路１０４は、感情関連特徴セットの生成後に、感情関連特徴セットの融合特徴表現を生成するように構成することができる。ある実施形態では、感情関連特徴セットの融合特徴表現を、感情関連特徴セットにフュージョンアテンションネットワークを適用することに基づいて生成することができる。回路１０４は、融合特徴表現に出力ネットワーク１１６を適用することに基づいて、第１の発話の第１の予測感情ラベル７０４Ａを出力するようにさらに構成することができる。

【0098】

ある実施形態では、上述した動作を複数のマルチモーダル入力７０２の各々について実行して、対応するマルチモーダル入力の対応する感情ラベルを予測することができる。例えば、第１の発話の第１の予測感情ラベル７０４Ａは「驚き」であることができる。第１の予測感情ラベル７０４Ａに関連するセンチメントは「肯定的」であることができる。第２の発話の第２の予測感情ラベル７０４Ｂは「喜び」であることができ、対応するセンチメントは「肯定的」であることができる。第３の発話の第３の予測感情ラベル７０４Ｃは「中立」であることができ、対応するセンチメントは「中立的」であることができる。同様に、第Ｎの発話の第Ｎの予測感情ラベル７０４Ｎも「中立」であることができ、対応するセンチメントも「中立的」であることができる。

【0099】

図８は、本開示の実施形態による、マルチモーダルフュージョンベースのディープニューラルネットワークを用いたマルチメディアビデオにおける例示的な感情認識方法を示すフローチャートである。図８の説明は、図１、図２、図３、図４、図５、図６及び図７の要素に関連して行う。図８にはフローチャート８００を示す。フローチャート８００の動作は、８０２から開始して８０４に進むことができる。

【0100】

８０４において、１又は２以上のビデオにおいて描かれる発話に関連することができるマルチモーダル入力を１又は２以上の特徴抽出器１１０に入力することができる。少なくとも１つの実施形態では、回路１０４を、１又は２以上のビデオにおいて描かれる発話に関連することができるマルチモーダル入力を１又は２以上の特徴抽出器に入力するように構成することができる。マルチモーダル入力に関する詳細については、例えば図１、図３及び図５に示している。

【0101】

８０６において、入力に対する１又は２以上の特徴抽出器１１０の出力として、マルチモーダル入力の各モダリティのための埋め込みを含むことができる入力埋め込みを生成することができる。少なくとも１つの実施形態では、回路１０４を、入力に対する１又は２以上の特徴抽出器の出力として、マルチモーダル入力の各モダリティのための埋め込みを含む入力埋め込みを生成するように構成することができる。入力埋め込みの生成に関する詳細については、例えば図３に示している。

【0102】

８０８において、入力埋め込みにトランスフォーマエンコーダネットワークを適用することに基づいて、マルチモーダル入力の各モダリティに対応する１又は２以上の特徴を含むことができる感情関連特徴セットを生成することができる。少なくとも１つの実施形態では、回路１０４を、入力埋め込みにトランスフォーマエンコーダネットワーク１１２を適用することに基づいて、マルチモーダル入力の各モダリティに対応する１又は２以上の特徴を含むことができる感情関連特徴セットを生成するように構成することができる。感情関連特徴セットの生成に関する詳細については、例えば図３に示している。

【0103】

８１０において、感情関連特徴セットにフュージョンアテンションネットワークを適用することに基づいて、感情関連特徴セットの融合特徴表現を生成することができる。少なくとも１つの実施形態では、回路１０４を、感情関連特徴セットにフュージョンアテンションネットワークを適用することに基づいて、感情関連特徴セットの融合特徴表現を生成するように構成することができる。融合特徴表現の生成に関する詳細については、例えば図３及び図５に示している。

【0104】

８１２において、融合特徴表現に出力ネットワーク１１６を適用することに基づいて発話の感情ラベルを予測することができる。少なくとも１つの実施形態では、回路１０４を、融合特徴表現に出力ネットワークを適用することに基づいて発話の感情ラベルを予測するように構成することができる。制御は終了に進むことができる。

【0105】

複数の実験を行った後に得られた実験データによれば、開示するマルチモーダルフュージョンネットワーク３０２は、会話における感情認識のためのマルチモーダル・マルチパーティ・データセット（Ｍｕｌｔｉｍｏｄａｌ Ｍｕｌｔｉ－Ｐａｒｔｙ Ｄａｔａｓｅｔ ｆｏｒ Ｅｍｏｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｃｏｎｖｅｒｓａｔｉｏｎ：ＭＥＬＤ）データセット、及びインタラクティブ・エモーショナル・ダイアディック・モーション・キャプチャ（Ｉｎｔｅｒａｃｔｉｖｅ Ｅｍｏｔｉｏｎａｌ Ｄｙａｄｉｃ Ｍｏｔｉｏｎ Ｃａｐｔｕｒｅ：ＩＥＭＯＣＡＰ）データセットなどの既知のデータセットに対して実行した時に、最先端の手法を大幅に上回った（すなわち、加重平均Ｆ１スコアに関して９％超の範囲で改善された）。

【0106】

本開示の様々な実施形態は、マルチモーダルフュージョンベースのディープニューラルネットワークを用いたマルチメディアビデオにおける感情認識のためのシステム（例えば、システム１０２）を動作させるために回路又は機械が実行できるコンピュータ実行可能命令を記憶した非一時的のコンピュータ可読媒体を提供することができる。コンピュータ実行可能命令は、マルチモーダルフュージョンネットワーク（例えば、マルチモーダルフュージョンネットワーク１０８）の１又は２以上の特徴抽出器（例えば、１又は２以上の特徴抽出器１１０）にマルチモーダル入力（例えば、マルチモーダル入力１２４）を入力することを含む動作を機械及び／又はコンピュータに実行させることができる。マルチモーダル入力は、１又は２以上のビデオにおいて描かれる発話に関連することができる。動作は、入力に対する１又は２以上の特徴抽出器の出力として入力埋め込みを生成することをさらに含む。入力埋め込みは、マルチモーダル入力の各モダリティのための埋め込みを含むことができる。動作は、入力埋め込みにマルチモーダルフュージョンネットワークのトランスフォーマエンコーダネットワーク（例えば、トランスフォーマエンコーダネットワーク１１２）を適用することに基づいて感情関連特徴セットを生成することをさらに含むことができる。感情関連特徴セットは、マルチモーダル入力の各モダリティに対応する１又は２以上の特徴を含む。動作は、感情関連特徴セットにマルチモーダルフュージョンネットワークのフュージョンアテンションネットワーク（例えば、フュージョンアテンションネットワーク１１４）を適用することに基づいて、感情関連特徴セットの融合特徴表現を生成することをさらに含むことができる。動作は、融合特徴表現にマルチモーダルフュージョンネットワークの出力ネットワーク（例えば、出力ネットワーク１１６）を適用することに基づいて発話の感情ラベルを予測することをさらに含むことができる。

【0107】

マルチモーダルフュージョンベースのディープニューラルネットワークを用いたマルチメディアビデオにおける感情認識のためのシステム及び方法では、本開示のいくつかの実施形態を見出すことができる。本開示の様々な実施形態は、回路１０４及びメモリ１０６を含むことができるシステム１０２を提供することができ、メモリ１０６は、１又は２以上の特徴抽出器１１０と、１又は２以上の特徴抽出器１１０に結合されたトランスフォーマエンコーダネットワーク１１２と、トランスフォーマエンコーダネットワーク１１２に結合されたフュージョンアテンションネットワーク１１４と、フュージョンアテンションネットワーク１１４に結合された出力ネットワーク１１６とを含むマルチモーダルフュージョンネットワーク１０８を記憶するように構成される。回路１０４は、マルチモーダル入力１２４を１又は２以上の特徴抽出器に入力するように構成することができる。マルチモーダル入力は、１又は２以上のビデオにおいて描かれる発話に関連することができる。回路１０４は、入力に対する１又は２以上の特徴抽出器１１０の出力として入力埋め込みを生成するようにさらに構成することができる。入力埋め込みは、マルチモーダル入力の各モダリティのための埋め込みを含むことができる。回路１０４は、入力埋め込みにトランスフォーマエンコーダネットワーク１１２を適用することに基づいて感情関連特徴セットを生成するようにさらに構成することができる。感情関連特徴セットは、マルチモーダル入力の各モダリティに対応する１又は２以上の特徴を含む。回路１０４は、感情関連特徴セットにフュージョンアテンションネットワーク１１４を適用することに基づいて、感情関連特徴セットの融合特徴表現を生成するようにさらに構成することができる。回路１０４は、融合特徴表現に出力ネットワーク３１０を適用することに基づいて発話の感情ラベルを予測するようにさらに構成することができる。

【0108】

ある実施形態によれば、マルチモーダル入力１２４は、多言語スピーチと、１又は２以上の特徴抽出器に適合できる第１の言語での多言語スピーチの文字起こしとを含む。ある実施形態によれば、マルチモーダル入力は、１又は２以上の特徴抽出器１１０に適合する第１の言語とは異なることができる第２の言語でのスピーチを含み、マルチモーダル入力は、１又は２以上の特徴抽出器１１０に適合できる第１の言語でのスピーチの文字起こしを含む。ある実施形態によれば、マルチモーダル入力は、発話の音響に関連する第１のモダリティ３１４Ａ、発話の文字起こしに関連する第２のモダリティ３１４Ｂ、及び発話の視覚的側面に関連する第３のモダリティ３１４Ｃを含む。

【0109】

ある実施形態によれば、１又は２以上の特徴抽出器は、音響特徴抽出器３０４Ｂ及び音響視覚特徴抽出器３０４Ｃを含むことができ、回路１０４は、マルチモーダル入力１２４に含まれる発話の音響情報に音響視覚特徴抽出器３０４Ｃ又は音響特徴抽出器３０４Ｂの一方を適用することに基づいて、入力埋め込みの第１の埋め込みを生成するようにさらに構成することができる。

【0110】

ある実施形態によれば、１又は２以上の特徴抽出器は、テキスト特徴抽出器３０４Ｃを含むことができ、回路１０４は、テキスト特徴抽出器３０４Ｃを、発話に関連する音響情報の文字起こし、及び発話に時間的に先行又は後続する異なる発話の文字起こしに適用することに基づいて、入力埋め込みの第２の埋め込みを生成するようにさらに構成することができる。

【0111】

ある実施形態によれば、１又は２以上の特徴抽出器は、視覚特徴抽出器３０４Ｄ及び音響視覚特徴抽出器３０４Ｃを含むことができ、回路１０４は、音響視覚特徴抽出器３０４Ｃ又は視覚特徴抽出器３０４Ｄの一方を、１又は２以上のビデオのフレーム内の１又は２以上の発話キャラクタの顔情報、及びフレームに関連するシーン情報に適用することに基づいて、入力埋め込みの第３の埋め込みを生成するようにさらに構成することができる。フレームは、１又は２以上のビデオにおける発話の継続時間に対応することができる。

【0112】

ある実施形態によれば、回路１０４は、発話の継続時間に対応する１又は２以上のビデオのフレームを視覚特徴抽出器３０４Ｄに入力するように構成することができる。回路１０４は、受け取ったフレームの各々に視覚特徴抽出器３０４Ｄの顔検出モデル２１０を適用することに基づいて、受け取ったフレームの各々における１又は２以上の顔を検出するようにさらに構成することができる。回路１０４は、検出された１又は２以上の顔を含む１又は２以上のバウンディングボックスを生成するようにさらに構成することができる。回路１０４は、視覚特徴抽出器３０４Ｄの適用により、１又は２以上のバウンディングボックスの各々に関連するエリアを正規化するようにさらに構成することができる。回路１０４は、検出された１又は２以上の顔及び正規化に基づいて、視覚特徴抽出器３０４Ｄの出力として入力埋め込みの第３の埋め込みを生成するようにさらに構成することができる。

【0113】

ある実施形態によれば、トランスフォーマエンコーダネットワーク３０６は、マルチモーダル入力の第１のモダリティ３１４Ａのためのトランスフォーマエンコーダの第１のスタック３１６と、マルチモーダル入力の第２のモダリティ３１４Ｂのためのトランスフォーマエンコーダの第２のスタック３１８と、マルチモーダル入力の第３のモダリティ３１４Ｃのためのトランスフォーマエンコーダの第３のスタック３２０とを含むことができる。

【0114】

ある実施形態によれば、システム１０２は、トランスフォーマエンコーダネットワーク３０６内の隣接するトランスフォーマエンコーダの各対間のスキップ接続３２２をさらに含むことができる。

【0115】

ある実施形態によれば、回路１０４は、１又は２以上のビデオを受け取るように構成することができる。回路１０４は、受け取った１又は２以上のビデオにシーン検出モデル２１２を適用するようにさらに構成することができる。回路１０４は、シーン検出モデルの適用に基づいて、１又は２以上のビデオから複数のシーンを抽出するようにさらに構成することができる。回路１０４は、抽出された複数のシーンの各々に単一境界検出モデル２１４を適用するようにさらに構成することができる。回路１０４は、単一境界検出モデル２１４の適用に基づいて、抽出された複数のシーンにおける複数の発話３１２を検出するようにさらに構成することができる。回路１０４は、検出に基づいて一連のマルチモーダル入力を準備するようにさらに構成することができる。１又は２以上の特徴抽出器３０４に入力できるマルチモーダル入力は、準備された一連のマルチモーダル入力の一部であることができる。

【0116】

ある実施形態によれば、フュージョンアテンションネットワークセット３０８の各々は、１又は２以上のマルチヘッドアテンション層及び第１の全結合層を含むことができる。第１の全結合層の入力は、１又は２以上のマルチヘッドアテンション層の出力に結合することができる。

【0117】

ある実施形態によれば、回路１０４は、感情関連特徴セットに１又は２以上のマルチヘッドアテンション層を適用して感情関連特徴セット内の特徴間マッピングを決定し、特徴間マッピングに基づいて感情関連特徴セットを感情関連特徴セットの潜在表現に連結するようにさらに構成することができる。

【0118】

ある実施形態によれば、潜在表現に第１の全結合層を適用することに基づいて、感情関連特徴セットの融合特徴表現をさらに生成することができる。

【0119】

ある実施形態によれば、出力ネットワーク３１０は、フュージョンアテンションネットワークセット３０８の出力に結合された第２の全結合層を含むことができる。

【0120】

本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアとの組み合わせで実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアとの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムであることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアで実現することができる。

【0121】

本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。

【0122】

いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲内に収まる全ての実施形態を含むように意図される。

【符号の説明】

【0123】

２１０ 顔検出モデル
３０２ マルチモーダルフュージョンネットワーク
３０４Ａ 音響視覚特徴抽出器
３０４Ｄ 視覚特徴抽出器
４０２ システム
４０４ フレーム
４０６ 第１の顔
４０８ 第２の顔
４０８ 第１のバウンディングボックス
４１２ 第２のバウンディングボックス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【国際調査報告】