特開2023-171109学習装置、推定装置、学習方法、推定方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023171109
(43)【公開日】2023-12-01
(54)【発明の名称】学習装置、推定装置、学習方法、推定方法及びプログラム
(51)【国際特許分類】
G10L 15/22 20060101AFI20231124BHJP
G06N 20/00 20190101ALI20231124BHJP
G10L 15/10 20060101ALI20231124BHJP
【ＦＩ】
G10L15/22 300U
G06N20/00
G10L15/10 500N
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022083353
(22)【出願日】2022-05-20
(11)【特許番号】
(45)【特許公報発行日】2023-07-31
(71)【出願人】
【識別番号】504126835
【氏名又は名称】エヌ・ティ・ティ レゾナント株式会社
(74)【代理人】
【識別番号】100141139
【弁理士】
【氏名又は名称】及川 周
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(72)【発明者】
【氏名】小瀬木 悠佳
(72)【発明者】
【氏名】立石 修平
(72)【発明者】
【氏名】中辻 真
(72)【発明者】
【氏名】松野 繁雄
(57)【要約】
【課題】応答の推定の精度を向上させる。
【解決手段】発話者による発話時のデータである発話集合の含む系列間の関連性を示す第１発話関連性情報を取得する第１発話側関連性推定モデルと、応答者の応答データである応答集合の含む系列間の関連性を示す第１応答関連性情報とを取得する第１応答側関連性推定モデルを含む第１構築部の学習を行う第１構築部と、発話集合と学習済みの第１発話側関連性推定モデルが取得した第１発話関連性情報との間の関連性を示す第２発話関連性情報の取得と、応答集合と学習済みの第１応答側関連性推定モデルが取得した第１応答関連性情報との間の関連性を示す第２発話関連性情報の取得とを行う第２構築モデルの学習を行う第２構築部と、を備える学習装置。
【選択図】図１
【解決手段】発話者による発話時のデータである発話集合の含む系列間の関連性を示す第１発話関連性情報を取得する第１発話側関連性推定モデルと、応答者の応答データである応答集合の含む系列間の関連性を示す第１応答関連性情報とを取得する第１応答側関連性推定モデルを含む第１構築部の学習を行う第１構築部と、発話集合と学習済みの第１発話側関連性推定モデルが取得した第１発話関連性情報との間の関連性を示す第２発話関連性情報の取得と、応答集合と学習済みの第１応答側関連性推定モデルが取得した第１応答関連性情報との間の関連性を示す第２発話関連性情報の取得とを行う第２構築モデルの学習を行う第２構築部と、を備える学習装置。
【選択図】図１
【特許請求の範囲】
【請求項1】
発話者による発話時の言葉を示す文字列である発話テキストデータと、前記発話者による発話時の音声を示す発話音声データと、前記発話者による発話時の映像を示す発話映像データとの組である発話集合に基づき、前記発話集合の含む系列間の関連性を示す情報である第１発話関連性情報を取得する第１発話側関連性推定モデルと、
前記発話者の発話に応答する応答者の応答の言葉を示す文字列のデータである応答テキストデータと、前記応答者の応答の音声を示す応答音声データと、前記応答者の応答時の映像を示す応答映像データとの組である応答集合に基づき、前記応答集合の含む系列間の関連性を示す情報である第１応答関連性情報を取得する第１応答側関連性推定モデルと、
前記第１発話関連性情報と前記第１応答関連性情報とに基づき前記発話者及び前記応答者の感情を示す情報を推定する感情推定モデルと、
を含む第１構築モデル、を実行する第１構築モデル実行部と、
前記感情推定モデルの推定の結果と正解データとの違いを小さくするように前記第１構築モデルを更新する第１構築モデル更新部と、
を備え、
前記第１構築モデルの学習に関する所定の終了条件である第１終了条件が満たされるまで、前記第１構築モデルの学習を行う第１構築部と、
発話集合と前記第１終了条件が満たされた時点における前記第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルが前記発話集合に基づいて取得した前記第１発話関連性情報との間の関連性を示す情報である第２発話関連性情報を取得する第２発話側関連性推定モデルと、
応答集合と前記第１終了条件が満たされた時点における前記第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルが前記応答集合に基づいて取得した前記第１応答関連性情報との間の関連性を示す情報である第２応答関連性情報を取得する第２応答側関連性推定モデルと、
を含む第２構築モデル、を実行する第２構築モデル実行部と、
前記第２発話関連性情報と前記第２応答関連性情報との間の違いを小さくするように前記第２構築モデルを更新する第２構築モデル更新部と、
を備え、
前記第２構築モデルの学習に関する所定の終了条件が満たされるまで前記第２構築モデルの学習を行う第２構築部と、
を備える学習装置。
前記発話者の発話に応答する応答者の応答の言葉を示す文字列のデータである応答テキストデータと、前記応答者の応答の音声を示す応答音声データと、前記応答者の応答時の映像を示す応答映像データとの組である応答集合に基づき、前記応答集合の含む系列間の関連性を示す情報である第１応答関連性情報を取得する第１応答側関連性推定モデルと、
前記第１発話関連性情報と前記第１応答関連性情報とに基づき前記発話者及び前記応答者の感情を示す情報を推定する感情推定モデルと、
を含む第１構築モデル、を実行する第１構築モデル実行部と、
前記感情推定モデルの推定の結果と正解データとの違いを小さくするように前記第１構築モデルを更新する第１構築モデル更新部と、
を備え、
前記第１構築モデルの学習に関する所定の終了条件である第１終了条件が満たされるまで、前記第１構築モデルの学習を行う第１構築部と、
発話集合と前記第１終了条件が満たされた時点における前記第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルが前記発話集合に基づいて取得した前記第１発話関連性情報との間の関連性を示す情報である第２発話関連性情報を取得する第２発話側関連性推定モデルと、
応答集合と前記第１終了条件が満たされた時点における前記第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルが前記応答集合に基づいて取得した前記第１応答関連性情報との間の関連性を示す情報である第２応答関連性情報を取得する第２応答側関連性推定モデルと、
を含む第２構築モデル、を実行する第２構築モデル実行部と、
前記第２発話関連性情報と前記第２応答関連性情報との間の違いを小さくするように前記第２構築モデルを更新する第２構築モデル更新部と、
を備え、
前記第２構築モデルの学習に関する所定の終了条件が満たされるまで前記第２構築モデルの学習を行う第２構築部と、
を備える学習装置。
【請求項2】
前記第２発話側関連性推定モデルは第１発話側関連性推定モデルを含み、
前記第２発話関連性情報は、前記第２発話側関連性推定モデルが含む第１発話側関連性推定モデルが前記発話集合に基づいて推定した第１発話関連性情報と、前記学習済みの第１構築モデルが取得した前記第１発話関連性情報との間の関連性を示す情報である、
請求項１に記載の学習装置。
前記第２発話関連性情報は、前記第２発話側関連性推定モデルが含む第１発話側関連性推定モデルが前記発話集合に基づいて推定した第１発話関連性情報と、前記学習済みの第１構築モデルが取得した前記第１発話関連性情報との間の関連性を示す情報である、
請求項１に記載の学習装置。
【請求項3】
前記第２応答側関連性推定モデルは第１応答側関連性推定モデルを含み、
前記第２応答関連性情報は、前記第２応答側関連性推定モデルが含む第１応答側関連性推定モデルが前記応答集合に基づいて推定した第１応答関連性情報と、前記学習済みの第１構築モデルが取得した前記第１応答関連性情報との間の関連性を示す情報である、
請求項１又は２に記載の学習装置。
前記第２応答関連性情報は、前記第２応答側関連性推定モデルが含む第１応答側関連性推定モデルが前記応答集合に基づいて推定した第１応答関連性情報と、前記学習済みの第１構築モデルが取得した前記第１応答関連性情報との間の関連性を示す情報である、
請求項１又は２に記載の学習装置。
【請求項4】
発話者による発話時の言葉を示す文字列である発話テキストデータと、前記発話者による発話時の音声を示す発話音声データと、前記発話者による発話時の映像を示す発話映像データとの組である発話集合の入力を受け付ける対象取得部と、
発話集合に基づき、前記発話集合の含む系列間の関連性を示す情報である第１発話関連性情報を取得する第１発話側関連性推定モデルと、前記発話者の発話に応答する応答者の応答の言葉を示す文字列のデータである応答テキストデータと、前記応答者の応答の音声を示す応答音声データと、前記応答者の応答時の映像を示す応答映像データとの組である応答集合に基づき、前記応答集合の含む系列間の関連性を示す情報である第１応答関連性情報を取得する第１応答側関連性推定モデルと、前記第１発話関連性情報と前記第１応答関連性情報とに基づき前記発話者及び前記応答者の感情を示す情報を推定する感情推定モデルと、を含む第１構築モデル、を実行する第１構築モデル実行部と、前記感情推定モデルの推定の結果と正解データとの違いを小さくするように前記第１構築モデルを更新する第１構築モデル更新部と、を備え、前記第１構築モデルの学習に関する所定の終了条件である第１終了条件が満たされるまで、前記第１構築モデルの学習を行う第１構築部と、発話集合と前記第１終了条件が満たされた時点における前記第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルが前記発話集合に基づいて取得した前記第１発話関連性情報との間の関連性を示す情報である第２発話関連性情報を取得する第２発話側関連性推定モデルと、応答集合と前記第１終了条件が満たされた時点における前記第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルが前記応答集合に基づいて取得した前記第１応答関連性情報との間の関連性を示す情報である第２応答関連性情報を取得する第２応答側関連性推定モデルと、を含む第２構築モデル、を実行する第２構築モデル実行部と、前記第２発話関連性情報と前記第２応答関連性情報との間の違いを小さくするように前記第２構築モデルを更新する第２構築モデル更新部と、を備え、前記第２構築モデルの学習に関する所定の終了条件が満たされるまで前記第２構築モデルの学習を行う第２構築部と、を備える学習装置が得た、学習済みの第１発話側関連性推定モデルと、学習済みの第２発話側関連性推定モデルと、学習済みの第２応答側関連性推定モデルと、を用いて、前記対象取得部に入力された発話集合に基づき、応答を推定する、推定部と、
を備える推定装置。
発話集合に基づき、前記発話集合の含む系列間の関連性を示す情報である第１発話関連性情報を取得する第１発話側関連性推定モデルと、前記発話者の発話に応答する応答者の応答の言葉を示す文字列のデータである応答テキストデータと、前記応答者の応答の音声を示す応答音声データと、前記応答者の応答時の映像を示す応答映像データとの組である応答集合に基づき、前記応答集合の含む系列間の関連性を示す情報である第１応答関連性情報を取得する第１応答側関連性推定モデルと、前記第１発話関連性情報と前記第１応答関連性情報とに基づき前記発話者及び前記応答者の感情を示す情報を推定する感情推定モデルと、を含む第１構築モデル、を実行する第１構築モデル実行部と、前記感情推定モデルの推定の結果と正解データとの違いを小さくするように前記第１構築モデルを更新する第１構築モデル更新部と、を備え、前記第１構築モデルの学習に関する所定の終了条件である第１終了条件が満たされるまで、前記第１構築モデルの学習を行う第１構築部と、発話集合と前記第１終了条件が満たされた時点における前記第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルが前記発話集合に基づいて取得した前記第１発話関連性情報との間の関連性を示す情報である第２発話関連性情報を取得する第２発話側関連性推定モデルと、応答集合と前記第１終了条件が満たされた時点における前記第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルが前記応答集合に基づいて取得した前記第１応答関連性情報との間の関連性を示す情報である第２応答関連性情報を取得する第２応答側関連性推定モデルと、を含む第２構築モデル、を実行する第２構築モデル実行部と、前記第２発話関連性情報と前記第２応答関連性情報との間の違いを小さくするように前記第２構築モデルを更新する第２構築モデル更新部と、を備え、前記第２構築モデルの学習に関する所定の終了条件が満たされるまで前記第２構築モデルの学習を行う第２構築部と、を備える学習装置が得た、学習済みの第１発話側関連性推定モデルと、学習済みの第２発話側関連性推定モデルと、学習済みの第２応答側関連性推定モデルと、を用いて、前記対象取得部に入力された発話集合に基づき、応答を推定する、推定部と、
を備える推定装置。
【請求項5】
発話者による発話時の言葉を示す文字列である発話テキストデータと、前記発話者による発話時の音声を示す発話音声データと、前記発話者による発話時の映像を示す発話映像データとの組である発話集合に基づき、前記発話集合の含む系列間の関連性を示す情報である第１発話関連性情報を取得する第１発話側関連性推定モデルと、
前記発話者の発話に応答する応答者の応答の言葉を示す文字列のデータである応答テキストデータと、前記応答者の応答の音声を示す応答音声データと、前記応答者の応答時の映像を示す応答映像データとの組である応答集合に基づき、前記応答集合の含む系列間の関連性を示す情報である第１応答関連性情報を取得する第１応答側関連性推定モデルと、
前記第１発話関連性情報と前記第１応答関連性情報とに基づき前記発話者及び前記応答者の感情を示す情報を推定する感情推定モデルと、
を含む第１構築モデル、を実行する第１構築モデル実行ステップと、
前記感情推定モデルの推定の結果と正解データとの違いを小さくするように前記第１構築モデルを更新する第１構築モデル更新ステップと、
を有し、
前記第１構築モデルの学習に関する所定の終了条件である第１終了条件が満たされるまで、前記第１構築モデルの学習を行う第１構築ステップと、
発話集合と前記第１終了条件が満たされた時点における前記第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルが前記発話集合に基づいて取得した前記第１発話関連性情報との間の関連性を示す情報である第２発話関連性情報を取得する第２発話側関連性推定モデルと、
応答集合と前記第１終了条件が満たされた時点における前記第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルが前記応答集合に基づいて取得した前記第１応答関連性情報との間の関連性を示す情報である第２応答関連性情報を取得する第２応答側関連性推定モデルと、
を含む第２構築モデル、を実行する第２構築モデル実行ステップと、
前記第２発話関連性情報と前記第２応答関連性情報との間の違いを小さくするように前記第２構築モデルを更新する第２構築モデル更新ステップと、
を有し、
前記第２構築モデルの学習に関する所定の終了条件が満たされるまで前記第２構築モデルの学習を行う第２構築ステップと、
を有する学習方法。
前記発話者の発話に応答する応答者の応答の言葉を示す文字列のデータである応答テキストデータと、前記応答者の応答の音声を示す応答音声データと、前記応答者の応答時の映像を示す応答映像データとの組である応答集合に基づき、前記応答集合の含む系列間の関連性を示す情報である第１応答関連性情報を取得する第１応答側関連性推定モデルと、
前記第１発話関連性情報と前記第１応答関連性情報とに基づき前記発話者及び前記応答者の感情を示す情報を推定する感情推定モデルと、
を含む第１構築モデル、を実行する第１構築モデル実行ステップと、
前記感情推定モデルの推定の結果と正解データとの違いを小さくするように前記第１構築モデルを更新する第１構築モデル更新ステップと、
を有し、
前記第１構築モデルの学習に関する所定の終了条件である第１終了条件が満たされるまで、前記第１構築モデルの学習を行う第１構築ステップと、
発話集合と前記第１終了条件が満たされた時点における前記第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルが前記発話集合に基づいて取得した前記第１発話関連性情報との間の関連性を示す情報である第２発話関連性情報を取得する第２発話側関連性推定モデルと、
応答集合と前記第１終了条件が満たされた時点における前記第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルが前記応答集合に基づいて取得した前記第１応答関連性情報との間の関連性を示す情報である第２応答関連性情報を取得する第２応答側関連性推定モデルと、
を含む第２構築モデル、を実行する第２構築モデル実行ステップと、
前記第２発話関連性情報と前記第２応答関連性情報との間の違いを小さくするように前記第２構築モデルを更新する第２構築モデル更新ステップと、
を有し、
前記第２構築モデルの学習に関する所定の終了条件が満たされるまで前記第２構築モデルの学習を行う第２構築ステップと、
を有する学習方法。
【請求項6】
発話者による発話時の言葉を示す文字列である発話テキストデータと、前記発話者による発話時の音声を示す発話音声データと、前記発話者による発話時の映像を示す発話映像データとの組である発話集合の入力を受け付ける対象取得ステップと、
発話集合に基づき、前記発話集合の含む系列間の関連性を示す情報である第１発話関連性情報を取得する第１発話側関連性推定モデルと、前記発話者の発話に応答する応答者の応答の言葉を示す文字列のデータである応答テキストデータと、前記応答者の応答の音声を示す応答音声データと、前記応答者の応答時の映像を示す応答映像データとの組である応答集合に基づき、前記応答集合の含む系列間の関連性を示す情報である第１応答関連性情報を取得する第１応答側関連性推定モデルと、前記第１発話関連性情報と前記第１応答関連性情報とに基づき前記発話者及び前記応答者の感情を示す情報を推定する感情推定モデルと、を含む第１構築モデル、を実行する第１構築モデル実行ステップと、前記感情推定モデルの推定の結果と正解データとの違いを小さくするように前記第１構築モデルを更新する第１構築モデル更新ステップと、を有し、前記第１構築モデルの学習に関する所定の終了条件である第１終了条件が満たされるまで、前記第１構築モデルの学習を行う第１構築ステップと、発話集合と前記第１終了条件が満たされた時点における前記第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルが前記発話集合に基づいて取得した前記第１発話関連性情報との間の関連性を示す情報である第２発話関連性情報を取得する第２発話側関連性推定モデルと、応答集合と前記第１終了条件が満たされた時点における前記第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルが前記応答集合に基づいて取得した前記第１応答関連性情報との間の関連性を示す情報である第２応答関連性情報を取得する第２応答側関連性推定モデルと、を含む第２構築モデル、を実行する第２構築モデル実行ステップと、前記第２発話関連性情報と前記第２応答関連性情報との間の違いを小さくするように前記第２構築モデルを更新する第２構築モデル更新ステップと、を有し、前記第２構築モデルの学習に関する所定の終了条件が満たされるまで前記第２構築モデルの学習を行う第２構築ステップと、を有する学習方法が得た、学習済みの第１発話側関連性推定モデルと、学習済みの第２発話側関連性推定モデルと、学習済みの第２応答側関連性推定モデルと、を用いて、前記対象取得ステップで入力された発話集合に基づき、応答を推定する、推定ステップと、
を有する推定方法。
発話集合に基づき、前記発話集合の含む系列間の関連性を示す情報である第１発話関連性情報を取得する第１発話側関連性推定モデルと、前記発話者の発話に応答する応答者の応答の言葉を示す文字列のデータである応答テキストデータと、前記応答者の応答の音声を示す応答音声データと、前記応答者の応答時の映像を示す応答映像データとの組である応答集合に基づき、前記応答集合の含む系列間の関連性を示す情報である第１応答関連性情報を取得する第１応答側関連性推定モデルと、前記第１発話関連性情報と前記第１応答関連性情報とに基づき前記発話者及び前記応答者の感情を示す情報を推定する感情推定モデルと、を含む第１構築モデル、を実行する第１構築モデル実行ステップと、前記感情推定モデルの推定の結果と正解データとの違いを小さくするように前記第１構築モデルを更新する第１構築モデル更新ステップと、を有し、前記第１構築モデルの学習に関する所定の終了条件である第１終了条件が満たされるまで、前記第１構築モデルの学習を行う第１構築ステップと、発話集合と前記第１終了条件が満たされた時点における前記第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルが前記発話集合に基づいて取得した前記第１発話関連性情報との間の関連性を示す情報である第２発話関連性情報を取得する第２発話側関連性推定モデルと、応答集合と前記第１終了条件が満たされた時点における前記第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルが前記応答集合に基づいて取得した前記第１応答関連性情報との間の関連性を示す情報である第２応答関連性情報を取得する第２応答側関連性推定モデルと、を含む第２構築モデル、を実行する第２構築モデル実行ステップと、前記第２発話関連性情報と前記第２応答関連性情報との間の違いを小さくするように前記第２構築モデルを更新する第２構築モデル更新ステップと、を有し、前記第２構築モデルの学習に関する所定の終了条件が満たされるまで前記第２構築モデルの学習を行う第２構築ステップと、を有する学習方法が得た、学習済みの第１発話側関連性推定モデルと、学習済みの第２発話側関連性推定モデルと、学習済みの第２応答側関連性推定モデルと、を用いて、前記対象取得ステップで入力された発話集合に基づき、応答を推定する、推定ステップと、
を有する推定方法。
【請求項7】
請求項１に記載の学習装置としてコンピュータを機能させるためのプログラム。
【請求項8】
請求項４に記載の推定装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習装置、推定装置、学習方法、推定方法及びプログラムに関する。
【背景技術】
【0002】
機械学習の技術を用いた対話システムの技術に関心が高まっている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Yunlong Liang, Fandong Meng, Ying Zhang, Yufeng Chen, Jinan Xu and Jie Zhou, ”Infusing Multi-Source Knowledge with Heterogeneous Graph Neural Network for Emotional Conversation Generation” ［online］、［令和４年５月１７日検索］、インターネット〈URL：https://www.aaai.org/AAAI21Papers/AAAI-9925.LiangY.pdf>
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、対話において発話者が話し相手に期待する応答は必ずしも話者が発した言葉だけで決まるものでは無い。例えば同じ言葉が発せられても、発話者の意図は場面に応じて異なり、誉め言葉であったり皮肉であったりする場合がある。したがって、これまで提案された技術では、対話システムによる応答の精度が低い場合があった。
【0005】
上記事情に鑑み、本発明は、応答の推定の精度を向上させる技術を提供することを目的としている。
【課題を解決するための手段】
【0006】
本発明の一態様は、発話者による発話時の言葉を示す文字列である発話テキストデータと、前記発話者による発話時の音声を示す発話音声データと、前記発話者による発話時の映像を示す発話映像データとの組である発話集合に基づき、前記発話集合の含む系列間の関連性を示す情報である第１発話関連性情報を取得する第１発話側関連性推定モデルと、前記発話者の発話に応答する応答者の応答の言葉を示す文字列のデータである応答テキストデータと、前記応答者の応答の音声を示す応答音声データと、前記応答者の応答時の映像を示す応答映像データとの組である応答集合に基づき、前記応答集合の含む系列間の関連性を示す情報である第１応答関連性情報を取得する第１応答側関連性推定モデルと、前記第１発話関連性情報と前記第１応答関連性情報とに基づき前記発話者及び前記応答者の感情を示す情報を推定する感情推定モデルと、を含む第１構築モデル、を実行する第１構築モデル実行部と、前記感情推定モデルの推定の結果と正解データとの違いを小さくするように前記第１構築モデルを更新する第１構築モデル更新部と、を備え、前記第１構築モデルの学習に関する所定の終了条件である第１終了条件が満たされるまで、前記第１構築モデルの学習を行う第１構築部と、発話集合と前記第１終了条件が満たされた時点における前記第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルが前記発話集合に基づいて取得した前記第１発話関連性情報との間の関連性を示す情報である第２発話関連性情報を取得する第２発話側関連性推定モデルと、応答集合と前記第１終了条件が満たされた時点における前記第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルが前記応答集合に基づいて取得した前記第１応答関連性情報との間の関連性を示す情報である第２応答関連性情報を取得する第２応答側関連性推定モデルと、を含む第２構築モデル、を実行する第２構築モデル実行部と、前記第２発話関連性情報と前記第２応答関連性情報との間の違いを小さくするように前記第２構築モデルを更新する第２構築モデル更新部と、を備え、前記第２構築モデルの学習に関する所定の終了条件が満たされるまで前記第２構築モデルの学習を行う第２構築部と、を備える学習装置である。
【0007】
本発明の一態様は、発話者による発話時の言葉を示す文字列である発話テキストデータと、前記発話者による発話時の音声を示す発話音声データと、前記発話者による発話時の映像を示す発話映像データとの組である発話集合の入力を受け付ける対象取得部と、発話集合に基づき、前記発話集合の含む系列間の関連性を示す情報である第１発話関連性情報を取得する第１発話側関連性推定モデルと、前記発話者の発話に応答する応答者の応答の言葉を示す文字列のデータである応答テキストデータと、前記応答者の応答の音声を示す応答音声データと、前記応答者の応答時の映像を示す応答映像データとの組である応答集合に基づき、前記応答集合の含む系列間の関連性を示す情報である第１応答関連性情報を取得する第１応答側関連性推定モデルと、前記第１発話関連性情報と前記第１応答関連性情報とに基づき前記発話者及び前記応答者の感情を示す情報を推定する感情推定モデルと、を含む第１構築モデル、を実行する第１構築モデル実行部と、前記感情推定モデルの推定の結果と正解データとの違いを小さくするように前記第１構築モデルを更新する第１構築モデル更新部と、を備え、前記第１構築モデルの学習に関する所定の終了条件である第１終了条件が満たされるまで、前記第１構築モデルの学習を行う第１構築部と、発話集合と前記第１終了条件が満たされた時点における前記第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルが前記発話集合に基づいて取得した前記第１発話関連性情報との間の関連性を示す情報である第２発話関連性情報を取得する第２発話側関連性推定モデルと、応答集合と前記第１終了条件が満たされた時点における前記第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルが前記応答集合に基づいて取得した前記第１応答関連性情報との間の関連性を示す情報である第２応答関連性情報を取得する第２応答側関連性推定モデルと、を含む第２構築モデル、を実行する第２構築モデル実行部と、前記第２発話関連性情報と前記第２応答関連性情報との間の違いを小さくするように前記第２構築モデルを更新する第２構築モデル更新部と、を備え、前記第２構築モデルの学習に関する所定の終了条件が満たされるまで前記第２構築モデルの学習を行う第２構築部と、を備える学習装置が得た、学習済みの第１発話側関連性推定モデルと、学習済みの第２発話側関連性推定モデルと、学習済みの第２応答側関連性推定モデルと、を用いて、前記対象取得部に入力された発話集合に基づき、応答を推定する、推定部と、を備える推定装置である。
【0008】
本発明の一態様は、発話者による発話時の言葉を示す文字列である発話テキストデータと、前記発話者による発話時の音声を示す発話音声データと、前記発話者による発話時の映像を示す発話映像データとの組である発話集合に基づき、前記発話集合の含む系列間の関連性を示す情報である第１発話関連性情報を取得する第１発話側関連性推定モデルと、
前記発話者の発話に応答する応答者の応答の言葉を示す文字列のデータである応答テキストデータと、前記応答者の応答の音声を示す応答音声データと、前記応答者の応答時の映像を示す応答映像データとの組である応答集合に基づき、前記応答集合の含む系列間の関連性を示す情報である第１応答関連性情報を取得する第１応答側関連性推定モデルと、前記第１発話関連性情報と前記第１応答関連性情報とに基づき前記発話者及び前記応答者の感情を示す情報を推定する感情推定モデルと、を含む第１構築モデル、を実行する第１構築モデル実行ステップと、前記感情推定モデルの推定の結果と正解データとの違いを小さくするように前記第１構築モデルを更新する第１構築モデル更新ステップと、を有し、前記第１構築モデルの学習に関する所定の終了条件である第１終了条件が満たされるまで、前記第１構築モデルの学習を行う第１構築ステップと、発話集合と前記第１終了条件が満たされた時点における前記第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルが前記発話集合に基づいて取得した前記第１発話関連性情報との間の関連性を示す情報である第２発話関連性情報を取得する第２発話側関連性推定モデルと、応答集合と前記第１終了条件が満たされた時点における前記第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルが前記応答集合に基づいて取得した前記第１応答関連性情報との間の関連性を示す情報である第２応答関連性情報を取得する第２応答側関連性推定モデルと、を実行する第２構築モデル実行ステップと、前記第２発話関連性情報と前記第２応答関連性情報との間の違いを小さくするように前記第２構築モデルを更新する第２構築モデル更新ステップと、を有し、前記第２構築モデルの学習に関する所定の終了条件が満たされるまで前記第２構築モデルの学習を行う第２構築ステップと、を有する学習方法である。
前記発話者の発話に応答する応答者の応答の言葉を示す文字列のデータである応答テキストデータと、前記応答者の応答の音声を示す応答音声データと、前記応答者の応答時の映像を示す応答映像データとの組である応答集合に基づき、前記応答集合の含む系列間の関連性を示す情報である第１応答関連性情報を取得する第１応答側関連性推定モデルと、前記第１発話関連性情報と前記第１応答関連性情報とに基づき前記発話者及び前記応答者の感情を示す情報を推定する感情推定モデルと、を含む第１構築モデル、を実行する第１構築モデル実行ステップと、前記感情推定モデルの推定の結果と正解データとの違いを小さくするように前記第１構築モデルを更新する第１構築モデル更新ステップと、を有し、前記第１構築モデルの学習に関する所定の終了条件である第１終了条件が満たされるまで、前記第１構築モデルの学習を行う第１構築ステップと、発話集合と前記第１終了条件が満たされた時点における前記第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルが前記発話集合に基づいて取得した前記第１発話関連性情報との間の関連性を示す情報である第２発話関連性情報を取得する第２発話側関連性推定モデルと、応答集合と前記第１終了条件が満たされた時点における前記第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルが前記応答集合に基づいて取得した前記第１応答関連性情報との間の関連性を示す情報である第２応答関連性情報を取得する第２応答側関連性推定モデルと、を実行する第２構築モデル実行ステップと、前記第２発話関連性情報と前記第２応答関連性情報との間の違いを小さくするように前記第２構築モデルを更新する第２構築モデル更新ステップと、を有し、前記第２構築モデルの学習に関する所定の終了条件が満たされるまで前記第２構築モデルの学習を行う第２構築ステップと、を有する学習方法である。
【0009】
本発明の一態様は、発話者による発話時の言葉を示す文字列である発話テキストデータと、前記発話者による発話時の音声を示す発話音声データと、前記発話者による発話時の映像を示す発話映像データとの組である発話集合の入力を受け付ける対象取得ステップと、発話集合に基づき、前記発話集合の含む系列間の関連性を示す情報である第１発話関連性情報を取得する第１発話側関連性推定モデルと、前記発話者の発話に応答する応答者の応答の言葉を示す文字列のデータである応答テキストデータと、前記応答者の応答の音声を示す応答音声データと、前記応答者の応答時の映像を示す応答映像データとの組である応答集合に基づき、前記応答集合の含む系列間の関連性を示す情報である第１応答関連性情報を取得する第１応答側関連性推定モデルと、前記第１発話関連性情報と前記第１応答関連性情報とに基づき前記発話者及び前記応答者の感情を示す情報を推定する感情推定モデルと、を含む第１構築モデル、を実行する第１構築モデル実行ステップと、前記感情推定モデルの推定の結果と正解データとの違いを小さくするように前記第１構築モデルを更新する第１構築モデル更新ステップと、を有し、前記第１構築モデルの学習に関する所定の終了条件である第１終了条件が満たされるまで、前記第１構築モデルの学習を行う第１構築ステップと、発話集合と前記第１終了条件が満たされた時点における前記第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルが前記発話集合に基づいて取得した前記第１発話関連性情報との間の関連性を示す情報である第２発話関連性情報を取得する第２発話側関連性推定モデルと、応答集合と前記第１終了条件が満たされた時点における前記第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルが前記応答集合に基づいて取得した前記第１応答関連性情報との間の関連性を示す情報である第２応答関連性情報を取得する第２応答側関連性推定モデルと、を含む第２構築モデル、を実行する第２構築モデル実行ステップと、前記第２発話関連性情報と前記第２応答関連性情報との間の違いを小さくするように前記第２構築モデルを更新する第２構築モデル更新ステップと、を有し、前記第２構築モデルの学習に関する所定の終了条件が満たされるまで前記第２構築モデルの学習を行う第２構築ステップと、を有する学習方法が得た、学習済みの第１発話側関連性推定モデルと、学習済みの第２発話側関連性推定モデルと、学習済みの第２応答側関連性推定モデルと、を用いて、前記対象取得ステップで入力された発話集合に基づき、応答を推定する、推定ステップと、を有する推定方法である。
【0010】
本発明の一態様は、上記の学習装置としてコンピュータを機能させるためのプログラムである。
【0011】
本発明の一態様は、上記の推定装置としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【0012】
本発明により、応答の推定の精度を向上させることが可能となる。
【図面の簡単な説明】
【0013】
【図1】実施形態の推定システムの概要を説明する第１の説明図。
【図2】実施形態の推定システムの概要を説明する第２の説明図。
【図3】実施形態の推定システムの概要を説明する第３の説明図。
【図4】実施形態における第１構築モデル及び第２構築モデルのより具体的な一例を説明する説明図。
【図5】実施形態における応答推定モデルによる推定の精度を検証した実験の結果の一例を示す図。
【図6】実施形態における学習装置のハードウェア構成の一例を示す図。
【図7】実施形態における学習装置の備える制御部の構成の一例を示す図。
【図8】実施形態における学習装置が実行する処理であって第１構築モデルの学習に関する処理の流れの一例を示すフローチャート。
【図9】実施形態における学習装置が実行する処理であって第２構築モデルの学習に関する処理の流れの一例を示すフローチャート。
【図10】実施形態における推定装置のハードウェア構成の一例を示す図。
【図11】実施形態における推定装置の備える制御部の構成の一例を示す図。
【図12】実施形態における推定装置が実行する処理の流れの一例を示すフローチャート。
【図13】実施形態における応答推定モデルで実行される処理の流れの一例を示すフローチャート。
【発明を実施するための形態】
【0014】
（実施形態）
図１から図３を用いて、実施形態の推定システム１００の概要を説明する。図１は、実施形態の推定システム１００の概要を説明する第１の説明図である。図２は、実施形態の推定システム１００の概要を説明する第２の説明図である。より具体的には図２は、後述する第１構築モデルの一例の概要を説明する説明図である。図３は、実施形態の推定システム１００の概要を説明する第３の説明図である。より具体的には図３は、後述する第２構築モデルの一例の概要を説明する説明図である。
図１から図３を用いて、実施形態の推定システム１００の概要を説明する。図１は、実施形態の推定システム１００の概要を説明する第１の説明図である。図２は、実施形態の推定システム１００の概要を説明する第２の説明図である。より具体的には図２は、後述する第１構築モデルの一例の概要を説明する説明図である。図３は、実施形態の推定システム１００の概要を説明する第３の説明図である。より具体的には図３は、後述する第２構築モデルの一例の概要を説明する説明図である。
【0015】
推定システム１００は、学習装置１と推定装置２とを備える。学習装置１は、発話者と応答者との間のやりとりにおいて発話者が発した発話に対する応答者の応答を推定する数理モデルである応答推定モデルを得るための学習を行う。応答者は、発話者の発話に応答する者である。発話者と応答者との間のやりとりは、例えば発話者と応答者との間の対話である。
【0016】
より具体的には、学習装置１は、応答推定モデルを得るために、第１構築モデルの学習と、第２構築モデルの学習とをそれぞれ、学習に関する所定の終了条件が満たされるまで行う。このように、第１構築モデル及び第２構築モデルはいずれも応答推定モデルを得るために用いられる数理モデルであって、学習により更新される数理モデルである。なお数理モデルの更新とは、数理モデルの含むパラメータの値を更新することを意味する。
【0017】
なお学習とは機械学習を意味する。学習に関する所定の終了条件がみたされた時点の数理モデルが学習済みの数理モデルである。以下、第１構築モデルの学習に関する所定の終了条件を、第１終了条件という。以下、第２構築モデルの学習に関する所定の終了条件を第２終了条件という。
【0018】
第１終了条件は、例えば第１構築モデルの更新が所定の回数行われたという条件である。第１終了条件は、例えば更新による第１構築モデルの変化が所定の変化より小さいという条件であってもよい。第２終了条件は、例えば第２構築モデルの更新が所定の回数行われたという条件である。第２終了条件は、例えば更新による第２構築モデルの変化が所定の変化より小さいという条件であってもよい。
【0019】
＜応答推定モデルについて＞
上述したように応答推定モデルは、発話者と応答者との間のやりとりにおいて発話者が発した発話に対する応答者の応答を推定する数理モデルである。応答推定モデルは、より具体的には、発話者と応答者との間のやりとりから得られる発話テキストデータ、発話音声データ及び発話映像データの組（以下「発話集合」という。）に基づき、応答者の応答を推定する数理モデルである。また、応答推定モデルの推定する応答は、具体的には、発話者と応答者との間のやりとりから得られる応答テキストデータ、応答音声データ及び応答映像データの組（以下「応答集合」という。）である。
上述したように応答推定モデルは、発話者と応答者との間のやりとりにおいて発話者が発した発話に対する応答者の応答を推定する数理モデルである。応答推定モデルは、より具体的には、発話者と応答者との間のやりとりから得られる発話テキストデータ、発話音声データ及び発話映像データの組（以下「発話集合」という。）に基づき、応答者の応答を推定する数理モデルである。また、応答推定モデルの推定する応答は、具体的には、発話者と応答者との間のやりとりから得られる応答テキストデータ、応答音声データ及び応答映像データの組（以下「応答集合」という。）である。
【0020】
発話テキストデータは、発話者による発話時の言葉を示す文字列である。発話音声データは、発話者による発話時の音声を示す音声データである。発話映像データは、発話者による発話時の映像を示す映像データである。応答テキストデータは、発話者の発話に対する応答者の応答の言葉を示す文字列のデータである。応答音声データは、発話者の発話に対する応答者の応答の音声を示す音声データである。応答映像データは、発話者の発話に対する応答者の応答時の映像を示す映像データである。
【0021】
文字列は、発話された順に言葉を示す文字が並ぶ系列である。したがって文字列は、時間の流れにそってサンプルが並ぶ系列である。すなわち、文字列は時系列でもある。音声データ及び映像データは時間の流れにそってサンプルが並ぶ系列である。したがって音声データ及び映像データは時系列でもある。そのため、発話テキストデータ、発話音声データ、発話映像データ、応答テキストデータ、応答音声データ及び応答映像データはいずれも系列であり時系列でもある。
【0022】
このような応答推定モデルを、推定の精度が高い状態で得る、ために用いられるのが第１構築モデルと第２構築モデルである。
【0023】
＜第１構築モデルについて＞
上述したように第１構築モデルは、応答推定モデルを得るために用いられる数理モデルである。第１構築モデルは、具体的には、第１発話関連性情報と第１応答関連性情報とを推定する数理モデルである。第１発話関連性情報は、発話集合の含む系列間の関連性を示す情報である。第１応答関連性情報は、応答集合の含む系列間の関連性を示す情報である。
上述したように第１構築モデルは、応答推定モデルを得るために用いられる数理モデルである。第１構築モデルは、具体的には、第１発話関連性情報と第１応答関連性情報とを推定する数理モデルである。第１発話関連性情報は、発話集合の含む系列間の関連性を示す情報である。第１応答関連性情報は、応答集合の含む系列間の関連性を示す情報である。
【0024】
発話集合と応答集合とにはそれぞれ３つの系列が含まれる。そこで、発話集合や応答集合に含まれる系列に限らず３以上の複数の系列について、系列間の関連性を示す情報という言葉の定義を念のため説明する。より具体的には、１番目からＱ番目までのＱ個（Ｑは１以上の整数）の系列が存在する場合における、系列間の関連性を示す情報という言葉の定義を説明する。１番目からＱ番目までのＱ個（Ｑは１以上の整数）の系列が存在する場合、系列間の関連性を示す情報とは、ｑ番目の系列とｐ番目の系列（ｑは１以上Ｑ以下の整数であり、ｐは１以上Ｑ以下の整数のうちｑとは異なる整数）との間の関連性を、ｑとｐとの全ての組について示す情報、である。
【0025】
第１構築モデルは、第１発話側関連性推定モデルと、第１応答側関連性推定モデルと、を含む。さらに第１構築モデルは、感情推定モデルを含む。第１発話側関連性推定モデルは、発話集合に基づき第１発話関連性情報を推定する数理モデルである。第１応答側関連性推定モデルは、応答集合に基づき第１応答関連性情報を推定する数理モデルである。
【0026】
感情推定モデルは、第１発話関連性情報と第１応答関連性情報とに基づき、発話者及び応答者の感情を示す情報を推定する数理モデルである。以下、感情推定モデルの推定した発話者の感情を示す情報を発話者推定感情情報という。以下、感情推定モデルの推定した応答者の感情を示す情報を応答者推定感情情報という。
【0027】
＜第１構築モデルの更新について＞
第１構築モデルは、第１構築モデル更新処理によって更新される。第１構築モデル更新処理は、感情推定モデルの推定の結果と、正解組データとの違いを小さくするように第１構築モデルを更新する処理である。正解組データは、発話者感情正解情報と応答者感情正解情報との組であり、第１構築モデルの学習における正解データである。発話者感情正解情報は、発話者の感情を示す情報である。応答者感情正解情報は、応答者の感情を示す情報である。
第１構築モデルは、第１構築モデル更新処理によって更新される。第１構築モデル更新処理は、感情推定モデルの推定の結果と、正解組データとの違いを小さくするように第１構築モデルを更新する処理である。正解組データは、発話者感情正解情報と応答者感情正解情報との組であり、第１構築モデルの学習における正解データである。発話者感情正解情報は、発話者の感情を示す情報である。応答者感情正解情報は、応答者の感情を示す情報である。
【0028】
第１構築モデル更新処理は、例えば、感情推定モデルの推定の結果と、正解組データとに基づき、感情違いを小さくするように第１構築モデルを更新する処理である。感情違いは、発話者推定感情情報と発話者感情正解情報との間の違いと、応答者推定感情情報と応答者感情正解情報との間の違いと、の合計である。
【0029】
このように、第１構築モデル更新処理は、感情推定モデルの推定した発話者の感情と発話者感情正解情報の示す発話者の感情との違いと、感情推定モデルの推定した応答者の感情と応答者感情正解情報の示す応答者の感情との違いと、を小さくするように、第１構築モデルを更新する処理である。
【0030】
なお第１構築モデルの更新では、第１発話側関連性推定モデルと、第１応答側関連性推定モデルと、感情推定モデルと、が更新される。
【0031】
＜第１発話側関連性推定モデルの一例＞
第１発話側関連性推定モデルの一例を説明する。第１発話側関連性推定モデルでは、発話集合の含む各系列それぞれに対して特徴系列取得処理が実行される。特徴系列取得処理は、処理対象の系列に含まれる各サンプルについてサンプル特徴ベクトルを取得することで、サンプル特徴ベクトルの系列（以下「特徴系列」という。）を得る処理である。サンプル特徴ベクトルは、サンプルの特徴ベクトルである。
第１発話側関連性推定モデルの一例を説明する。第１発話側関連性推定モデルでは、発話集合の含む各系列それぞれに対して特徴系列取得処理が実行される。特徴系列取得処理は、処理対象の系列に含まれる各サンプルについてサンプル特徴ベクトルを取得することで、サンプル特徴ベクトルの系列（以下「特徴系列」という。）を得る処理である。サンプル特徴ベクトルは、サンプルの特徴ベクトルである。
【0032】
すなわち、第１発話側関連性推定モデルでは、発話テキスト特徴系列と、発話音声特徴系列と、発話映像特徴系列と、を取得する処理（以下「発話特徴系列取得処理」という。）が実行される。発話テキスト特徴系列は、発話テキストデータの特徴系列である。発話音声特徴系列は、発話音声データの特徴系列である。発話映像特徴系列は、発話映像データの特徴系列である。
【0033】
上述したようにサンプル特徴ベクトルがサンプルの特徴ベクトルである。したがって、発話テキスト特徴系列は発話テキストの特徴ベクトルの系列であり、発話音声特徴系列は発話音声データの特徴ベクトルの系列であり、発話映像特徴系列は発話映像データの特徴ベクトルの系列である。
【0034】
発話テキスト特徴系列は、例えば発話テキストデータがＢＥＲＴ（Bidirectional Encoder Representations from Transformers）に入力されることで得られる。このような場合、発話テキスト特徴系列は、発話テキストデータの入力先のＢＥＲＴの最終層で得られる単語トークンに対する特徴ベクトルである。
【0035】
第１発話側関連性推定モデルでは、第１発話側関連性取得処理が実行される。第１発話側関連性取得処理は、発話特徴系列取得処理で得られた３つの系列間の関連性を示す情報を取得する処理である。第１発話側関連性取得処理で得られる情報は、具体的には系列である。
【0036】
第１発話側関連性取得処理で得られる系列は発話特徴系列取得処理で得られた３つの系列間の関連性を示す情報であり、発話特徴系列取得処理で得られた３つの系列は発話集合の含む各系列の特徴ベクトルの系列である。したがって、第１発話側関連性取得処理で得られる系列は、発話集合に含まれる系列間の関連性を示す情報である。そのため、第１発話側関連性取得処理で得られる系列は、第１発話関連性情報の一例である。
【0037】
第１発話側関連性取得処理は例えば、発話特徴系列取得処理で得られた各系列の重み付き和をSourceとし、発話テキストに対するＢＥＲＴの最終層で得られる単語トークンに対する特徴ベクトルをTargetとするSource-Target Attentionを実行する処理である。このような場合、第１発話側関連性取得処理はさらに、Source-Target Attentionの実行結果に対する所定の残差結合と所定のレイヤーに対する所定の正規化の処理を含んでもよい。
【0038】
＜第１応答側関連性推定モデルの一例＞
第１応答側関連性推定モデルの一例を説明する。第１応答側関連性推定モデルでは、応答集合の含む各系列それぞれに対して特徴系列取得処理が実行される。すなわち、第１応答側関連性推定モデルでは、応答テキスト特徴系列と、応答音声特徴系列と、応答映像特徴系列と、を取得する処理（以下「応答特徴系列取得処理」という。）が実行される。応答テキスト特徴系列は、応答テキストデータの特徴系列である。応答音声特徴系列は、応答音声データの特徴系列である。応答映像特徴系列は、応答映像データの特徴系列である。
第１応答側関連性推定モデルの一例を説明する。第１応答側関連性推定モデルでは、応答集合の含む各系列それぞれに対して特徴系列取得処理が実行される。すなわち、第１応答側関連性推定モデルでは、応答テキスト特徴系列と、応答音声特徴系列と、応答映像特徴系列と、を取得する処理（以下「応答特徴系列取得処理」という。）が実行される。応答テキスト特徴系列は、応答テキストデータの特徴系列である。応答音声特徴系列は、応答音声データの特徴系列である。応答映像特徴系列は、応答映像データの特徴系列である。
【0039】
上述したようにサンプル特徴ベクトルがサンプルの特徴ベクトルである。したがって、応答テキスト特徴系列は応答テキストの特徴ベクトルの系列であり、応答音声特徴系列は応答音声データの特徴ベクトルの系列であり、応答映像特徴系列は応答映像データの特徴ベクトルの系列である。
【0040】
応答テキスト特徴系列は、例えば応答テキストデータがＢＥＲＴに入力されることで得られる。このような場合、応答テキスト特徴系列は、応答テキストデータの入力先のＢＥＲＴの最終層で得られる単語トークンに対する特徴表現である。
【0041】
第１応答側関連性推定モデルでは、第１応答側関連性取得処理が実行される。第１応答側関連性取得処理は、応答特徴系列取得処理で得られた３つの系列間の関連性を示す情報を取得する処理である。第１応答側関連性取得処理で得られる情報は、具体的には系列である。
【0042】
第１応答側関連性取得処理で得られる系列は応答特徴系列取得処理で得られた３つの系列間の関連性を示す情報であり、応答特徴系列取得処理で得られた３つの系列は応答集合の含む各系列の特徴ベクトルの系列である。したがって、第１応答側関連性取得処理で得られる系列は、応答集合に含まれる系列間の関連性を示す情報である。そのため、第１応答側関連性取得処理で得られる系列は、第１応答関連性情報の一例である。
【0043】
第１応答側関連性取得処理は例えば、応答特徴系列取得処理で得られた各系列の重み付き和をSourceとし、応答テキストデータの入力先のＢＥＲＴの最終層で得られる単語トークンに対する特徴ベクトルをTargetとするSource-Target Attentionを実行する処理である。このような場合、第１応答側関連性取得処理はさらに、Source-Target Attentionの実行結果に対する所定の残差結合と所定のレイヤーに対する所定の正規化の処理を含んでもよい。
【0044】
＜第２構築モデルについて＞
上述したように第２構築モデルは、応答推定モデルを得るために用いられる数理モデルである。第２構築モデルは、具体的には、第１発話側関連性推定モデルを含む数理モデルである第２発話側関連性推定モデルと、第２応答側関連性推定モデルを含む数理モデルである第２発話側関連性推定モデルと、を含む数理モデルである。
上述したように第２構築モデルは、応答推定モデルを得るために用いられる数理モデルである。第２構築モデルは、具体的には、第１発話側関連性推定モデルを含む数理モデルである第２発話側関連性推定モデルと、第２応答側関連性推定モデルを含む数理モデルである第２発話側関連性推定モデルと、を含む数理モデルである。
【0045】
＜第２発話側関連性推定モデル＞
第２発話側関連性推定モデルは、第１発話側関連性推定モデルを発話集合に対して実行することで、学習済みの第１構築モデルが推定した第１発話関連性情報とは必ずしも同一ではない、第１発話関連性情報（以下「主第１発話関連性情報」という。）を取得する。以下説明の簡単ため、第２発話側関連性推定モデルにおいて実行された第１発話側関連性推定モデルの実行対象の発話集合を、主発話集合という。
第２発話側関連性推定モデルは、第１発話側関連性推定モデルを発話集合に対して実行することで、学習済みの第１構築モデルが推定した第１発話関連性情報とは必ずしも同一ではない、第１発話関連性情報（以下「主第１発話関連性情報」という。）を取得する。以下説明の簡単ため、第２発話側関連性推定モデルにおいて実行された第１発話側関連性推定モデルの実行対象の発話集合を、主発話集合という。
【0046】
第２発話側関連性推定モデルは、次に第２発話側関連性取得処理を実行する。第２発話側関連性取得処理は、主第１発話関連性情報と、主発話集合に基づいて学習済みの第１構築モデルが取得した第１発話関連性情報と、の間の関連性を示す情報（以下「第２発話関連性情報」という。）を取得する処理である。このように、第２発話側関連性推定モデルは、発話集合と、その発話集合に基づいて学習済みの第１構築モデルが推定した第１発話関連性情報と、に基づき第２発話関連性情報を取得する数理モデルである。
【0047】
なお、第２発話側関連性取得処理は、例えば、主発話集合に基づいて学習済みの第１構築モデルが推定した第１発話関連性情報をSourceとし、主第１発話関連性情報をTargetとするSource-Target Attentionを実行する処理である。
【0048】
第２発話側関連性取得処理は、さらに、Source-Target Attentionの実行結果に対する所定の残差結合と所定のレイヤーに対する所定の正規化の処理を含んでもよい。所定の残差結合と所定のレイヤーに対する所定の正規化の処理の一例を、第２構築モデルにおける発話テキスト特徴系列がＢＥＲＴに応答テキストデータが入力されることで得られるという場合を例に説明する。このような場合、Source-Target Attentionの実行結果に対する所定の残差結合と所定のレイヤーに対する所定の正規化の処理では、例えばその発話テキスト特徴系列を用いて、残差結合とレイヤーの正規化とが行われる。
【0049】
第２発話側関連性取得処理はさらに、Source-Target Attentionの実行結果に対する所定の残差結合と所定のレイヤーに対する所定の正規化の処理の実行の結果、に対するmaxpoolの処理を含んでもよい。
【0050】
＜第２応答側関連性推定モデル＞
第２応答側関連性推定モデルは、第１応答側関連性推定モデルを応答集合に対して実行することで、学習済みの第１構築モデルが取得した第１応答関連性情報とは必ずしも同一ではない、第１応答関連性情報（以下「主第１応答関連性情報」という。）を取得する。以下説明の簡単ため、第２応答側関連性推定モデルにおいて実行された第１応答側関連性推定モデルの実行対象の応答集合を、主応答集合という。
第２応答側関連性推定モデルは、第１応答側関連性推定モデルを応答集合に対して実行することで、学習済みの第１構築モデルが取得した第１応答関連性情報とは必ずしも同一ではない、第１応答関連性情報（以下「主第１応答関連性情報」という。）を取得する。以下説明の簡単ため、第２応答側関連性推定モデルにおいて実行された第１応答側関連性推定モデルの実行対象の応答集合を、主応答集合という。
【0051】
第２応答側関連性推定モデルは、次に第２応答側関連性取得処理を実行する。第２応答側関連性取得処理は、主第１応答関連性情報と、主応答集合に基づいて学習済みの第１構築モデルが推定した第１応答関連性情報と、の間の関連性を示す情報（以下「第２応答関連性情報」という。）を取得する処理である。このように、第２応答側関連性推定モデルは、応答集合と、その応答集合に基づいて学習済みの第１構築モデルが推定した第１応答関連性情報と、に基づき第２応答関連性情報を取得する数理モデルである。
【0052】
なお、第２応答側関連性取得処理は、例えば、主応答集合に基づいて学習済みの第１構築モデルが推定した第１応答関連性情報をSourceとし、主第１応答関連性情報をTargetとするSource-Target Attentionを実行する処理である。
【0053】
第２応答側関連性取得処理は、さらに、Source-Target Attentionの実行結果に対する所定の残差結合と所定のレイヤーに対する所定の正規化の処理を含んでもよい。所定の残差結合と所定のレイヤーに対する所定の正規化の処理の一例を、第２構築モデルにおける応答テキスト特徴系列がＢＥＲＴに応答テキストデータが入力されることで得られるという場合を例に説明する。このような場合、Source-Target Attentionの実行結果に対する所定の残差結合と所定のレイヤーに対する所定の正規化の処理では、例えばその応答テキスト特徴系列を用いて、残差結合とレイヤーの正規化とが行われる。
【0054】
第２応答側関連性取得処理はさらに、Source-Target Attentionの実行結果に対する所定の残差結合と所定のレイヤーに対する所定の正規化の処理の実行の結果、に対するmaxpoolの処理を含んでもよい。
【0055】
＜第２構築モデルの更新について＞
第２構築モデルは、第２構築モデル更新処理によって更新される。第２構築モデル更新処理は、第２発話側関連性情報と第２応答関連性情報との違いを小さくするように第２構築モデルを更新する処理である。第２構築モデルの更新では、第２発話側関連性推定モデルと、第２応答側関連性推定モデルと、が更新される。
第２構築モデルは、第２構築モデル更新処理によって更新される。第２構築モデル更新処理は、第２発話側関連性情報と第２応答関連性情報との違いを小さくするように第２構築モデルを更新する処理である。第２構築モデルの更新では、第２発話側関連性推定モデルと、第２応答側関連性推定モデルと、が更新される。
【0056】
このように第２構築モデルの更新の規則は、第１構築モデルの更新の規則とは異なる。また、第２構築モデル更新処理によって、第１構築モデルが更新されることはない。そのため、上述したように、主第１応答関連性情報と、学習済みの第１構築モデルが推定した第１応答関連性情報と、は必ずしも同一では無い。
【0057】
＜第２構築モデルと応答推定モデルとの関係と、第２構築モデルの更新の規則の技術的意義について＞
第２構築モデルと応答推定モデルとの関係と、第２構築モデルの更新の規則（以下「第２構築モデル更新規則」という。）との技術的意義について説明する。念のため説明しておくと、第２構築モデル更新規則は、第２発話側関連性情報と第２応答関連性情報との違いを小さくするように第２構築モデルを更新する、という規則である。
第２構築モデルと応答推定モデルとの関係と、第２構築モデルの更新の規則（以下「第２構築モデル更新規則」という。）との技術的意義について説明する。念のため説明しておくと、第２構築モデル更新規則は、第２発話側関連性情報と第２応答関連性情報との違いを小さくするように第２構築モデルを更新する、という規則である。
【0058】
上述したように、第２構築モデルの学習は、発話集合と応答集合とを用いて、発話集合に基づいて得られる第２発話側関連性情報と、応答集合に基づいて得られる第２応答関連性情報との違い小さくなるよう行われる。ここで、発話集合に基づき第２発話側関連性情報を得る処理を関数Ｆ１（ｘ）と表現し、応答集合に基づき第２応答側関連性情報を得る処理を関数Ｆ２（ｙ）と表現する。
【0059】
このような表現を用いて、第２構築モデルの学習を説明すれば、関数Ｆ１（ｘ）の値と関数Ｆ２（ｙ）の値との違いを小さくするように第２構築モデルを更新する、という学習である。なお、ｘは発話集合と学習済みの第１構築モデルが得た第１発話関連性情報との集合を表し、ｙは応答集合と学習済みの第１構築モデルが得た第１応答関連性情報との集合を表す。
【0060】
したがって、学習済みの第２構築モデルでは、関数Ｆ２の逆関数Ｆ２－１を考えれば、ｙ～Ｆ２－１（Ｆ１（ｘ））が成立する。そのため学習済みの第２構築モデルを用いれば、Ｆ２－１（Ｆ１（ｘ））を実行することでｙに略同一の結果を得る処理の実行が可能である。学習済みの第２構築モデルを用いてＦ２－１（Ｆ１（ｘ））を実行してｙに略同一の結果を得る処理を実行する数理モデルが応答推定モデルである。
【0061】
このように、第２構築モデルの学習が進み、Ｆ１（ｘ）とＦ２（ｙ）との違いが小さくなるほど、ｙとＦ２－１（Ｆ１（ｘ））との違いが小さくなるため、応答推定モデルによる推定の精度が向上する。
【0062】
ただし必ずしも逆関数Ｆ２－１が実行される必要は無い。例えば、予め複数の応答集合が用意された状態で順方向選択処理が実行されてもよい。順方向選択処理では、各応答集合に対して、学習済みの第１応答側関連性推定モデルと学習済みの第２応答側関連性推定モデルとが実行される。学習済みの第１応答側関連性推定モデルと学習済みの第２応答側関連性推定モデルとの実行により、応答集合ごとに第２応答側関連性情報が得られる。順方向選択処理では、入力された発話集合に対して学習済みの第１発話側関連性推定モデルと学習済みの第１発話側関連性推定モデルとが実行される。学習済みの第１発話側関連性推定モデルと学習済みの第１発話側関連性推定モデルとの実行により、第２発話側関連性情報が得られる。
【0063】
順方向選択処理では、得られた第２発話側関連性情報と、応答集合ごとに得られた各第２応答側関連性情報との比較が行われ、第２発話側関連性情報との違いが最も小さい第２応答側関連性情報を与える応答集合が、応答推定モデルの推定結果として得られる。このように順方向選択処理は、学習済みの第２構築モデルを用いて応答を推定する処理である。以下、応答推定モデルが順方向選択処理を実行する場合を例に、説明を行う。
【0064】
なお、関数Ｆ１（ｘ）には、学習済みの第１構築モデルが得た第１発話関連性情報が含まれるので、応答推定モデルの実行時には、学習済みの第１構築モデルに含まれる学習済みの第１発話側関連性推定モデルが実行される。
【0065】
ところで一般に、発話者と応答者との間のやりとりにおいては発話者と応答者との間の感情が近いほど自然なやりとりが成立する。そのため、第１発話関連性情報と第１応答関連性情報との間の違いを小さくする学習は、発話者と応答者とについて推定した感情の違いを小さくする学習である。したがって、このような学習で得られた学習済みの第１構築モデルは、より自然なやりとりにおける第１発話関連性情報と第１応答関連性情報とを推定する。
【0066】
したがって、学習済みの第１構築モデルが得る第１発明関連性情報と第１応答関連性情報とは、より自然なやりとりであることを示す情報が含まれている。そのため、第２構築モデル更新規則にしたがう学習は、より自然なやりとりであるという条件の下にＦ１（ｘ）とＦ２（ｙ）との違いを小さくする学習である。
【0067】
そのため、第２構築モデル更新規則にしたがって得られた学習済みの第２構築モデルを用いて、順方向選択処理を実行する応答推定モデルは、より自然な応答を推定することができる。応答推定モデルを利用するユーザにとって応答推定モデルによる応答の推定の精度が高いとは、より自然な応答であるというユーザの期待に応える応答を応答推定モデルが推定することである。したがって第２構築モデル更新規則にしたがって第２構築モデルの学習を行うことにより、応答推定モデルによる応答の推定の精度が高まる。
【0068】
＜推定装置２について＞
推定装置２は、応答推定モデルを実行する。応答推定モデルは、発話者の発話に対する応答者の応答を、発話者の発話に関する情報に基づき推定する数理モデルである。応答推定モデルは、例えば順方向選択処理、を実行することで、応答者の応答を推定する数理モデルである。したがって、順方向選択処理は、学習済みの第１発話側関連性推定モデルと、学習済みの第２発話側関連性推定モデルと、学習済みの第２応答側関連性推定モデルと、を用いて、発話集合に基づき、応答を推定する処理である。
推定装置２は、応答推定モデルを実行する。応答推定モデルは、発話者の発話に対する応答者の応答を、発話者の発話に関する情報に基づき推定する数理モデルである。応答推定モデルは、例えば順方向選択処理、を実行することで、応答者の応答を推定する数理モデルである。したがって、順方向選択処理は、学習済みの第１発話側関連性推定モデルと、学習済みの第２発話側関連性推定モデルと、学習済みの第２応答側関連性推定モデルと、を用いて、発話集合に基づき、応答を推定する処理である。
【0069】
＜第１構築モデルと第２構築モデルとのより数学的な説明＞
図４は、実施形態における第１構築モデル及び第２構築モデルのより具体的な一例を説明する説明図である。図４におけるＴはテキストデータを表し、Ａは音声データを表し、Ｖは映像データを表す。テキストＴは、具体的には、最大長Ｎの単語トークン列Ｔ＝｛ｗ１、ｗ２、・・・、ｗＮ｝である。テキストＴは、発話テキストデータ又は応答テキストデータである。ｗＮは、Ｎ番目の単語トークンを意味する。
図４は、実施形態における第１構築モデル及び第２構築モデルのより具体的な一例を説明する説明図である。図４におけるＴはテキストデータを表し、Ａは音声データを表し、Ｖは映像データを表す。テキストＴは、具体的には、最大長Ｎの単語トークン列Ｔ＝｛ｗ１、ｗ２、・・・、ｗＮ｝である。テキストＴは、発話テキストデータ又は応答テキストデータである。ｗＮは、Ｎ番目の単語トークンを意味する。
【0070】
音声データＡは、発話音声データ又は応答音声データである。音声データＡは、具体的には、Ａ＝｛ａ１、ａ２、・・・、ａＮ｝である。映像データＶは、発話映像データ又は応答映像データである。映像データＶは、具体的には、Ｖ＝｛ｖ１、ｖ２、・・・、ｖＮ｝である。
【0071】
第１構築モデル及び第２構築モデルにおいて発話テキストデータはＢＥＲＴに入力される。その結果、ＢＥＲＴの最終層で得られる単語トークンに対する特徴表現ＸＴ＝｛ｅ｛ｃｌｓ｝、ｅ１、ｅ２、・・・、ｅＮ｝が得られる。応答テキストデータはＢＥＲＴに入力される。その結果、ＢＥＲＴの最終層で得られる単語トークンに対する特徴表現ＹＴが得られる。
【0072】
音声データや映像データは、ＣＯＶＡＲＥＰ（参考文献１参照）やＦａｃｅｔ（参考文献２参照）等の特徴表現を得る技術により、特徴ベクトルの系列に変換される。さらに、音声データや映像データは、Ｐ２ＦＡ等の長さを単語長に合わせる技術により、長さが単語長に合うように変換される。
【0073】
参考文献１：Gilles Degottex, John Kane, Thomas Drugman, Tuomo Raitio, Stefan Scherer, “COVAREP - A collaborative voice analysis repository for speech technologies”, In Proc. ICASSP 14, pp. 960 - 964 (2014)
参考文献２： Sabrina Stockli, Michael - Schulte Mecklenbeck , Stefan Borer, Andrea C. Samson, ”Facial expression analysis with AFFDEX and FACET: A validation study”, Behavior Research Methods, pp.1446 - 1460 (2018)
参考文献２： Sabrina Stockli, Michael - Schulte Mecklenbeck , Stefan Borer, Andrea C. Samson, ”Facial expression analysis with AFFDEX and FACET: A validation study”, Behavior Research Methods, pp.1446 - 1460 (2018)
【0074】
例えばＡ＝｛ａ１、ａ２、・・・、ａＮ｝が発話音声データである場合、発話音声データは、テキストの特徴表現ＸＴと長さを揃えるためａ｛ｃｌｓ｝として零ベクトルが先頭に加えられることで、ＸＡ＝｛ａ｛ｃｌｓ｝、ａ１、ａ２、・・・、ａＮ｝に変換される。
【0075】
また、例えばＶ＝｛ｖ１、ｖ２、・・・、ｖＮ｝が発話映像データである場合、発話映像データは、テキストの特徴表現ＸＴと長さを揃えるためｖ｛ｃｌｓ｝として零ベクトルが先頭に加えられることで、ＸＶ＝｛ｖ｛ｃｌｓ｝、ｖ１、ｖ２、・・・、ｖＮ｝に変換される。
【0076】
例えばＡ＝｛ａ１、ａ２、・・・、ａＮ｝が応答音声データである場合、応答音声データは、テキストの特徴表現ＹＴと長さを揃えるためａ｛ｃｌｓ｝として零ベクトルが先頭に加えられることで、ＹＡに変換される。
【0077】
例えばＶ＝｛ｖ１、ｖ２、・・・、ｖＮ｝が応答映像データである場合、応答映像データは、テキストの特徴表現ＹＴと長さを揃えるためｖ｛ｃｌｓ｝として零ベクトルが先頭に加えられることで、ＹＶに変換される。
【0078】
第１構築モデル及び第２構築モデルにおいて、データＸＴ、データＸＡ、データＸＶ、データＹＴ、データＹＡ及びデータＹＶは、整形される。整形の処理を以下で説明する。
【0079】
以下、データＸＴ、データＸＡ、データＸＶの組に対する整形を説明するが、データＹＴ、データＹＡ、データＹＶの組に対する整形についても、シンボルをＸからＹに代えれば同様である。
【0080】
整形の処理では、畳み込み演算を用いて各モダリティの次元数が揃えられる。これは以下の式（１）で表される。
【0081】
【数1】
【0082】
Ｋ｛Ｔ、Ａ、Ｖ｝は畳み込みのカーネルサイズを表す。また以下の式（２）の変換を行うことで、学習の過程でＸ’Ｔに比べてＸ’Ａ又はＸ’Ｖのドット積が大きくなり過ぎることの抑制が可能である。図４の例は、整形の処理において式（２）の変換が行われる例である。
【0083】
【数2】
【0084】
発話テキストデータ、発話音声データ及び発話映像データをそれぞれデータＸ’’Ｔ、データＸ’’Ａ、データＸ’’Ｖに変換する処理が、発話特徴系列取得処理の一例である。また、応答テキストデータ、応答音声データ及び応答映像データをそれぞれデータＹ’’Ｔ、データＹ’’Ａ、データＹ’’Ｖに変換する処理が、応答特徴系列取得処理の一例である。
【0085】
第１構築モデル及び第２構築モデルでは整形の次に、モダリティＸ’’Ｔ、モダリティＸ’’Ａ、モダリティＸ’’Ｖに対するMasked Multimodal Attentionの処理が実行される。モダリティＸ’’Ｔ、モダリティＸ’’Ａ、モダリティＸ’’Ｖに対するMasked Multimodal Attentionの処理は、モダリティＸ’’Ｔ、モダリティＸ’’Ａ、モダリティＸ’’Ｖに対する重み付け和をSourceとし特徴表現ＸＴをTargetとしたSource-Target Attentionを実行する処理である。モダリティＸ’’Ｔ、モダリティＸ’’Ａ、モダリティＸ’’Ｖに対するMasked Multimodal Attentionの実行の次に、残差結合とレイヤーの正規化とを行いマルチモーダルAttention行列ＸＡｔｔを得る処理が実行される。
【0086】
このことは、モダリティＹ’’Ｔ、モダリティＹ’’Ａ、モダリティＹ’’Ｖについても同様である。すなわち、モダリティＹ’’Ｔ、モダリティＹ’’Ａ、モダリティＹ’’Ｖに対するMasked Multimodal Attentionの処理が実行され、次に残差結合とレイヤーの正規化とを行いマルチモーダルAttention行列ＹＡｔｔを得る処理が実行される。モダリティＹ’’Ｔ、モダリティＹ’’Ａ、モダリティＹ’’Ｖに対するMasked Multimodal Attentionの処理は、モダリティＹ’’Ｔ、モダリティＹ’’Ａ、モダリティＹ’’Ｖに対する重み付け和をSourceとし特徴表現ＹＴをTargetとしたSource-Target Attentionを実行する処理である。
【0087】
データＸ’’Ｔ、データＸ’’Ａ、データＸ’’Ｖの組からデータＸＡｔｔを得る処理が第１発話側関連性取得処理の一例である。データＹ’’Ｔ、データＹ’’Ａ、データＹ’’Ｖの組からデータＹＡｔｔを得る処理が第１応答側関連性取得処理の一例である。
【0088】
第１構築モデルでは次に、データＸＡｔｔとデータＹＡｔｔとを用いて発話者及び応答者の感情を推定する処理が実行される。図４における“（１）感情予測”は、データＸＡｔｔとデータＹＡｔｔとを用いて、発話者及び応答者の感情を推定する処理の実行を意味する。
【0089】
データＸＡｔｔとデータＹＡｔｔとを用いて発話者及び応答者の感情を推定する処理は、例えば、データＸＡｔｔとデータＹＡｔｔとを用いて発話者及び応答者の感情を推定する数理モデルを実行する処理である。このような場合、データＸＡｔｔとデータＹＡｔｔとを用いて発話者及び応答者の感情を推定する数理モデルは、感情推定モデルの一例である。このような場合、データＸＡｔｔとデータＹＡｔｔとを用いて発話者及び応答者の感情を推定する数理モデルは、第１構築モデルの学習により更新される。学習に用いられる損失関数が感情違いの一例であり、例えば以下の式（３）の損失関数である。
【0090】
【数3】
【0091】
ｋは各発話と応答の指数を意味する。ｍは発話と応答の組合せ数（バッチサイズ）を意味する。ｏｋ
Ｘは、正解組データに含まれる情報である発話者感情正解情報であってｋ番目の発話に対する発話者感情正解情報を意味する。ｓｋ
Ｘは、感情推定モデルによる推定された発話者の感情を示す情報であってｋ番目の発話に対する感情を示す情報を意味する。ｏｋ
Ｙは、正解組データに含まれる情報である応答者感情正解情報であってｋ番目の発話に対する応答者感情正解情報を意味する。ｓｋ
Ｙは、感情推定モデルによる推定された応答者の感情を示す情報であってｋ番目の発話に対する感情を示す情報を意味する。
【0092】
第２構築モデルでは、第１構築モデルの取得したデータＸＡＴＴをSourceとし、第２構築モデルにおいて得られたデータＸＡＴＴ（以下「データＸ’Ａｔｔ」という。）をTargetとするSource-Target Attention（以下「発話副処理」という。）が実行される。第２構築モデルでは、発話副処理の結果に対して、第２構築モデルで得られた特徴表現ＸＴを用いた、残差結合とレイヤーの正規化との処理が実行される。
【0093】
図４における紙面左側に記載の“Add&Norm2”の処理は、発話副処理の結果に対する処理であって、第２構築モデルで得られた特徴表現ＸＴを用いた残差結合とレイヤーの正規化との処理である。残差結合とレイヤーの正規化との処理の次に、残差結合とレイヤーの正規化との処理の結果に対するmaxpoolの処理が実行され、データＸ’’ＡＴＴが得られる。このように、データＸ’ＡｔｔからデータＸ’’ＡＴＴを得る処理が、第２発話側関連性取得処理の一例である。
【0094】
第２構築モデルでは、第１構築モデルの取得したデータＹＡＴＴをSourceとし、第２構築モデルにおいて得られたデータＹＡＴＴ（以下「データＹ’Ａｔｔ」という。）をTargetとするSource-Target Attention（以下「応答副処理」という。）が実行される。第２構築モデルでは、応答副処理の結果に対して、第２構築モデルで得られた特徴表現ＹＴを用いた、残差結合とレイヤーの正規化との処理が実行される。
【0095】
図４における紙面右側に記載の“Add&Norm2”の処理は、応答副処理の結果に対する処理であって、第２構築モデルで得られた特徴表現ＹＴを用いた残差結合とレイヤーの正規化との処理である。残差結合とレイヤーの正規化との処理の次に、残差結合とレイヤーの正規化との処理の結果に対するmaxpoolの処理が実行され、データＹ’’ＡＴＴが得られる。このように、データＹ’ＡｔｔからデータＹ’’ＡＴＴを得る処理が、第２応答側関連性取得処理の一例である。
【0096】
なお、Ｘ’’ＡＴＴは、第２発話側関連性取得処理の実行の結果の一例であり、Ｙ’’ＡＴＴは、第２応答側関連性取得処理の実行の結果の一例である。すなわち、Ｘ’’ＡＴＴは、第２発話側関連性情報の一例であり、Ｙ’’ＡＴＴは、第２応答側関連性情報の一例である。
【0097】
このような場合、第２構築モデル更新規則は、例えば以下の式（４）で表される損失関数の値を小さくするように第２構築モデルを更新する、という規則であってもよい。
【0098】
【数4】
【0099】
Ｙ＋’’ＡＴＴは正解応答を表し、Ｙ－’’ＡＴＴは全正解候補からランダムに選択されるネガティブサンプルを表す。なお、Ｙ＋’’ＡＴＴはＹ’’ＡＴＴの一部であって学習時に正解応答から得られる正解応答Attentionである。なお、Ｙ－’’ＡＴＴはＹ’’ＡＴＴの一部であって学習時にネガティブサンプルから得られるネガティブサンプルのAttentionである。Ｍは、マージンパラメータを表す。
【0100】
＜実験結果＞
図５は、実施形態における応答推定モデルによる推定の精度を検証した実験の結果の一例を示す図である。実験では比較対象の数理モデルとして、図５に示す“比較手法１”と、“比較手法２”とが用いられた。“比較手法１”は、図４における“（１）感情予測”と“Source-Target Attention”とを行わず、第２構築モデルの学習のみを行って得られた学習済みの数理モデルである。なお、図４における“Source-Target-Attention”とは、図４における“Add&Norm2”の処理の直前で実行される”Source-Target Attention”の処理を意味する。“比較手法２”は、図４における“Source-Target Attention”を行わず、以下の式（５）で表される損失関数を用いて第１構築モデルと第２構築モデルとを同時に学習する方法で得られた学習済みの数理モデルである。
図５は、実施形態における応答推定モデルによる推定の精度を検証した実験の結果の一例を示す図である。実験では比較対象の数理モデルとして、図５に示す“比較手法１”と、“比較手法２”とが用いられた。“比較手法１”は、図４における“（１）感情予測”と“Source-Target Attention”とを行わず、第２構築モデルの学習のみを行って得られた学習済みの数理モデルである。なお、図４における“Source-Target-Attention”とは、図４における“Add&Norm2”の処理の直前で実行される”Source-Target Attention”の処理を意味する。“比較手法２”は、図４における“Source-Target Attention”を行わず、以下の式（５）で表される損失関数を用いて第１構築モデルと第２構築モデルとを同時に学習する方法で得られた学習済みの数理モデルである。
【0101】
【数5】
【0102】
図５に示す“ＳＲＳＰ”は、図４で説明した応答推定モデルを用いて応答を推定する数理モデルである。実験における各数理モデルの学習時のエポック数は２０であった。“ＳＲＳＰ”においては、前半１０エポックで第１構築モデルの学習が行われ、後半１０エポックで第２構築モデルの学習が行われた。検証では、標準的な発話応答の評価尺度であるRecall_100@1が指標として用いられた。Recall_100@1は、指定された発話に対する応答候補が１００個与えられた際に、候補の中にある正しい応答を選択できるか否かを示す。
【0103】
実験で用いられた学習データは、テキスト、音声及び映像が揃っている英語のデータセットであるＣＭＵ－ＭＯＳＥＩが用いられた。テキストは日本語に翻訳されたものが用いられた。実験では、連続した発話を、発話と応答の組み合わせと見なし、それぞれが発話と応答のデータセットとして用いられた。感情の推定に際しては、ＣＭＵ－ＭＯＳＥＩの－３．０～３．０で表現されるセンチメントの感情ラベルが用いられた。
【0104】
図５は、実験を５回試行した結果を示す。図５は、“ＳＲＳＰ”によるRecall_100@1の数値の方が“比較手法１”よりも高いことを示す。この結果は、学習をする上で感情予測と発話応答の学習を段階的に分けた方が、より高い精度で感情情報を発話応答に組み込むことができることを示す。図５は、“比較手法１”よりも“比較手法２”の方がRecall_100@1の数値が高いことを示す。この結果は、感情の推定をすることは応答の精度向上に寄与することを示す。
【0105】
＜ハードウェアについて＞
図６は、実施形態における学習装置１のハードウェア構成の一例を示す図である。学習装置１は、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサ９１とメモリ９２とを備える制御部１１を備え、プログラムを実行する。学習装置１は、プログラムの実行によって制御部１１、入力部１２、通信部１３、記憶部１４及び出力部１５を備える装置として機能する。
図６は、実施形態における学習装置１のハードウェア構成の一例を示す図である。学習装置１は、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサ９１とメモリ９２とを備える制御部１１を備え、プログラムを実行する。学習装置１は、プログラムの実行によって制御部１１、入力部１２、通信部１３、記憶部１４及び出力部１５を備える装置として機能する。
【0106】
より具体的には、プロセッサ９１が記憶部１４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９２に記憶させる。プロセッサ９１が、メモリ９２に記憶させたプログラムを実行することによって、学習装置１は、制御部１１、入力部１２、通信部１３、記憶部１４及び出力部１５を備える装置として機能する。
【0107】
制御部１１は、学習装置１が備える各種機能部の動作を制御する。制御部１１は、例えば第１構築モデル及び第２構築モデルの学習を行う。制御部１１は、例えば出力部１５の動作を制御する。制御部１１は、例えば第１構築モデル及び第２構築モデルの学習により生じた各種情報を記憶部１４に記録する。
【0108】
入力部１２は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部１２は、これらの入力装置を学習装置１に接続するインタフェースとして構成されてもよい。入力部１２は、学習装置１に対する各種情報の入力を受け付ける。
【0109】
入力部１２には、例えば、発話テキストデータ、発話音声データ、発話映像データ、応答テキストデータ、応答音声データ及び応答映像データの組（以下「解析対象データ」という。）が入力される。解析対象データは、発話集合と応答集合との集合である。また入力部１２には、発話者感情正解情報と応答者感情正解情報との組（すなわち正解組データ）が入力される。
【0110】
通信部１３は、学習装置１を外部装置に接続するための通信インタフェースを含んで構成される。通信部１３は、有線又は無線を介して外部装置と通信する。外部装置は、例えば解析対象データの送信元の装置である。通信部１３は、解析対象データの送信元の装置との通信によって解析対象データを取得する。外部装置は、例えば正解組データの送信元の装置である。通信部１３は、正解組データの送信元の装置との通信によって正解組データを取得する。外部装置は、例えば推定装置２である。
【0111】
記憶部１４は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部１４は学習装置１に関する各種情報を記憶する。記憶部１４は、例えば入力部１２又は通信部１３を介して入力された情報を記憶する。記憶部１４は、例えば第１構築モデル及び第２構築モデルの学習により生じた各種情報を記憶する。記憶部１４は、予め第１構築モデル及び第２構築モデルを記憶する。なお数理モデルを記憶するとは数理モデルを記述するコンピュータプログラムを記憶することを意味する。記憶部１４は、得られた学習済みの第１構築モデルと学習済みの第２構築モデルとを記憶してもよい。
【0112】
出力部１５は、各種情報を出力する。出力部１５は、例えばＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示装置を含んで構成される。出力部１５は、これらの表示装置を学習装置１に接続するインタフェースとして構成されてもよい。出力部１５は、例えば入力部１２に入力された情報を出力する。出力部１５は、例えば第１構築モデル及び第２構築モデルの実行の結果を表示してもよい。
【0113】
図７は、実施形態における学習装置１の備える制御部１１の構成の一例を示す図である。制御部１１は、データ取得部１１０、学習部１２０、記憶制御部１３０、通信制御部１４０及び出力制御部１５０を備える。
【0114】
データ取得部１１０は、解析用データ及び正解組データを取得する。
【0115】
学習部１２０は、第１構築部１２１と、第２構築部１２２とを備える。第１構築部１２１は、第１終了条件が満たされるまで、第１構築モデルの学習を行う。第１構築部１２１は、第１構築モデル実行部２１１と、第１構築モデル更新部２１２と、を備える。
【0116】
第１構築モデル実行部２１１は、第１発話側関連性推定モデル実行部２１３と、第１応答側関連性推定モデル実行部２１４と、感情推定部２１５と、を備える。
【0117】
第１発話側関連性推定モデル実行部２１３は、データ取得部１１０の得た解析対象データに対して第１発話側関連性推定モデルを実行し、第１発話関連性情報を得る。第１応答側関連性推定モデル実行部２１４は、データ取得部１１０の得た解析対象データに対して第１応答側関連性推定モデルを実行し、第１応答関連性情報を得る。感情推定部２１５は、感情推定モデルを実行することで、第１発話関連性情報と第１応答関連性情報とに基づいて発話者及び応答者の感情を示す情報を推定する。すなわち、第１構築モデル実行部２１１は、第１構築モデルを実行する。
【0118】
第１構築モデル更新部２１２は、第１構築モデル更新処理を実行する。また、第１構築モデル更新部２１２は、第１終了条件が満たされたか否かを判定する。
【0119】
第２構築部１２２は、第２終了条件が満たされるまで第２構築モデルの学習を行う。第２構築部１２２は、第２構築モデル実行部２２１と、第２構築モデル更新部２２２と、学習済み第１構築モデル実行部２２３と、を備える。
【0120】
第２構築モデル実行部２２１は、第２発話側関連性推定モデル実行部２２４と、第２応答側関連性推定モデル実行部２２５と、を備える。第２発話側関連性推定モデル実行部２２４は、データ取得部１１０の得た解析対象データに対して第２発話側関連性推定モデルを実行し、第２発話関連性情報を得る。第２応答側関連性推定モデル実行部２２５は、第２応答側関連性推定モデルを実行し、第２応答関連性情報を取得する。すなわち、第２構築モデル実行部２２１は、第２構築モデルを実行する。
【0121】
第２構築モデル更新部２２２は、第２構築モデル更新処理を実行する。また、第２構築モデル更新部２２２は、第２終了条件が満たされたか否かを判定する。
【0122】
学習済み第１構築モデル実行部２２３は、学習済みの第１構築モデルに含まれる第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルを実行する。また、学習済み第１構築モデル実行部２２３は、学習済みの第１構築モデルに含まれる第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルを実行する。
【0123】
記憶制御部１３０は、記憶部１４に各種情報を記録する。通信制御部１４０は通信部１３の動作を制御する。出力制御部１５０は、出力部１５の動作を制御する。
【0124】
図８は、実施形態における学習装置１が実行する処理であって第１構築モデルの学習に関する処理の流れの一例を示すフローチャートである。データ取得部１１０が解析対象データと正解組データとの組を取得する（ステップＳ１０１）。次に、第１構築モデル実行部２１１がステップＳ１０１で得られた解析対象データの１つに対して第１構築モデルを実行する（ステップＳ１０２）。次に、第１構築モデル更新部２１２が第１構築モデル更新処理を実行し、ステップＳ１０２の実行の結果と、ステップＳ１０１で得られた正解組データと、に基づき、第１構築モデルを更新する（ステップＳ１０３）。次に第１構築モデル更新部２１２は、第１終了条件が満たされたか否かを判定する（ステップＳ１０４）。第１終了条件が満たされない場合（ステップＳ１０４：ＮＯ）、ステップＳ１０１の処理に戻る。一方、第１終了条件が満たされる場合（ステップＳ１０４：ＹＥＳ）、処理が終了する。第１終了条件が満たされた時点の第１構築モデルが学習済みの第１構築モデルである。
【0125】
ステップＳ１０２からステップＳ１０４の処理は、第１構築部１２１が実行する処理である。したがって、例えば図８が示すようにして、第１構築部１２１は、第１終了条件が満たされるまで第１構築モデルの学習を行う。
【0126】
図９は、実施形態における学習装置１が実行する処理であって第２構築モデルの学習に関する処理の流れの一例を示すフローチャートである。第２構築モデルの学習においては、学習済みの第１発話側関連性推定モデルと、学習済みの第１応答側関連性推定モデルと、が実行される。
【0127】
データ取得部１１０が解析対象データを取得する（ステップＳ２０１）。次に、学習済み第１構築モデル実行部２２３が、ステップＳ２０１で得られた解析対象データに対して学習済みの第１発話側関連性推定モデルを実行し、第１発話関連性情報を得る（ステップＳ２０２）。次に、学習済み第１構築モデル実行部２２３が、データ取得部１１０の得た解析対象データに対して学習済みの第１応答側関連性推定モデルを実行し、第１応答関連性情報を得る（ステップＳ２０３）。
【0128】
次に第２構築モデル実行部２２１が、ステップＳ２０２で得られた第１発話関連性情報と、ステップＳ２０３で得られた第１応答関連性情報と、を用いた第２構築モデルを、ステップＳ２０１で得られた解析対象データに対して実行する（ステップＳ２０４）。次に、第２構築モデル更新部２２２が第２構築モデル更新処理を実行し、ステップＳ２０４の実行の結果に基づき、第２構築モデルを更新する（ステップＳ２０５）。
【0129】
次に第２構築モデル更新部２２２は、第２終了条件が満たされたか否かを判定する（ステップＳ２０６）。第２終了条件が満たされない場合（ステップＳ２０６：ＮＯ）、ステップＳ２０１の処理に戻る。一方、第２終了条件が満たされる場合（ステップＳ２０６：ＹＥＳ）、処理が終了する。第２終了条件が満たされた時点の第２構築モデルが学習済みの第２構築モデルである。
【0130】
ステップＳ２０２からステップＳ２０６の処理は、第２構築部１２２が実行する処理である。したがって、例えば図９が示すようにして、第２構築部１２２は、第２終了条件が満たされるまで第２構築モデルの学習を行う。なお、ステップＳ２０２及びステップＳ２０３の処理は、必ずしも第２構築部１２２が実行する必要は無い。例えば、予め他の装置や機能部によって学習済みの第１発話側関連性推定モデルと学習済みの第１応答側関連性推定モデルとが実行され、第１発話関連性情報及び第１応答関連性情報が取得されていてもよい。このような場合、ステップＳ２０１で入力される解析対象データは、学習済みの第１発話側関連性推定モデルと学習済みの第１応答側関連性推定モデルとの実行対象の解析対象データである。
【0131】
上述したように応答推定モデルは、学習済みの第１発話側関連性推定モデルと、学習済みの第２発話側関連性推定モデルと、学習済みの第２応答側関連性推定モデルと、を用いて、応答を推定する数理モデルである。したがって、例えば図８及び図９の例が示す処理によって得られた学習済みの第１発話側関連性推定モデルと、学習済みの第２発話側関連性推定モデルと、学習済みの第２応答側関連性推定モデルと、に基づいて応答推定モデルが得られる。
【0132】
応答推定モデルは、推定装置２による推定対象の応答の推定に用いられる。応答推定モデルは推定装置２が実行可能な状態になれば、どのような方法で推定装置２の制御下に置かれてもよい。
【0133】
したがって、応答推定モデルは例えば、学習済みの第１発話側関連性推定モデルと、学習済みの第２発話側関連性推定モデルと、学習済みの第２応答側関連性推定モデルと、を用いて制御部１１が得た後、学習装置１から推定装置２に送信されてもよい。
【0134】
応答推定モデルは例えば、学習済みの第１発話側関連性推定モデルと、学習済みの第２発話側関連性推定モデルと、学習済みの第２応答側関連性推定モデルとが学習装置１から推定装置２に送信された後、受信したそれらのモデルを用いて推定装置２が得てもよい。
【0135】
応答推定モデルは例えば、学習済みの第１発話側関連性推定モデルと、学習済みの第２発話側関連性推定モデルと、学習済みの第２応答側関連性推定モデルと、を用いて、学習装置１でも推定装置２でもない他の装置が得てもよい。このような場合、得られた応答推定モデルが推定装置２に送信されることで、応答推定モデルは推定装置２の制御下に置かれる。
【0136】
図１０は、実施形態における推定装置２のハードウェア構成の一例を示す図である。推定装置２は、バスで接続されたＣＰＵ等のプロセッサ９３とメモリ９４とを備える制御部２１を備え、プログラムを実行する。推定装置２は、プログラムの実行によって制御部２１、入力部２２、通信部２３、記憶部２４及び出力部２５を備える装置として機能する。
【0137】
より具体的には、プロセッサ９３が記憶部２４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９４に記憶させる。プロセッサ９３が、メモリ９４に記憶させたプログラムを実行することによって、推定装置２は、制御部２１、入力部２２、通信部２３、記憶部２４及び出力部２５を備える装置として機能する。
【0138】
制御部２１は、推定装置２が備える各種機能部の動作を制御する。制御部２１は、例えば応答推定モデルを実行する。制御部２１は、例えば出力部２５の動作を制御する。制御部２１は、例えば応答推定モデルの実行により生じた各種情報を記憶部２４に記録する。
【0139】
入力部２２は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部２２は、これらの入力装置を推定装置２に接続するインタフェースとして構成されてもよい。入力部２２は、推定装置２に対する各種情報の入力を受け付ける。
【0140】
通信部２３は、推定装置２を外部装置に接続するための通信インタフェースを含んで構成される。通信部２３は、有線又は無線を介して外部装置と通信する。外部装置は、例えば、発話集合の送信元の装置である。通信部２３は、発話集合の送信元の装置との通信によって、発話集合を取得する。外部装置は、例えば学習装置１である。なお、発話集合は、必ずしも通信部２３に入力される必要は無く、入力部２２に入力されてもよい。
【0141】
記憶部２４は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部２４は推定装置２に関する各種情報を記憶する。記憶部２４は、例えば入力部２２又は通信部２３を介して入力された情報を記憶する。記憶部２４は、例えば応答推定モデルの実行により生じた各種情報を記憶する。記憶部２４は、応答推定モデルを予め記憶する。記憶部２４は、複数の応答集合を予め記憶する。
【0142】
出力部２５は、各種情報を出力する。出力部２５は、例えばＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置を含んで構成される。出力部２５は、これらの表示装置を推定装置２に接続するインタフェースとして構成されてもよい。出力部２５は、例えば入力部２２に入力された情報を出力する。出力部２５は、例えば応答推定モデルの実行の結果を表示してもよい。
【0143】
図１１は、実施形態における推定装置２の備える制御部２１の構成の一例を示す図である。制御部２１は、対象取得部２１０、推定部２２０、記憶制御部２３０、通信制御部２４０及び出力制御部２５０を備える。対象取得部２１０は、入力部２２又は通信部２３に入力された発話集合を取得する。
【0144】
推定部２２０は、対象取得部２１０の取得した発話集合に対して応答推定モデルを実行する。推定部２２０は、応答推定モデルの実行により、対象取得部２１０の取得した発話集合が示す発話に対応する応答を推定する。
【0145】
記憶制御部２３０は、記憶部２４に各種情報を記録する。通信制御部２４０は通信部２３の動作を制御する。出力制御部２５０は、出力部２５の動作を制御する。
【0146】
図１２は、実施形態における推定装置２が実行する処理の流れの一例を示すフローチャートである。対象取得部２１０が、入力部２２又は通信部２３に入力された発話集合を取得する（ステップＳ３０１）。次に推定部２２０が、応答推定モデルを実行することで、対象取得部２１０の取得した発話集合が示す発話に対応する応答を推定する（ステップＳ３０２）。次に出力制御部２５０が出力部２５の動作を制御して、ステップＳ３０２で推定された応答を出力部２５に出力させる（ステップＳ３０３）。
【0147】
図１３は、実施形態における応答推定モデルで実行される処理の流れの一例を示すフローチャートである。発話集合に対する学習済みの第１発話側関連性推定モデルが実行される（ステップＳ４０１）。これにより、第１発話関連性情報が得られる。次にステップＳ４０１と同じ発話集合に対して、ステップＳ４０１で得られた第１発話関連性情報を用いた学習済みの第２発話側関連性推定モデルが実行される（ステップＳ４０２）。これにより、第２発話関連性情報が得られる。次に、予め記憶部２４に記憶済みの各応答集合に対して、学習済みの第１応答側関連性推定モデル及び第２応答側関連性推定モデルが実行される（ステップＳ４０３）。これにより、応答集合ごとに第２応答関連性情報が得られる。次に、得られた第２応答関連性情報のうちステップＳ４０２で得られた第２発話関連性情報との違いが最も小さい第２応答関連性情報を与える応答集合が、応答推定モデルの推定結果の応答として得られる（ステップＳ４０４）。
【0148】
このように構成された実施形態における学習装置１は、応答推定モデルを得るための数理モデルである第１構築モデル及び第２構築モデルの学習を行う。そのため学習装置１は、上述の＜第２構築モデルと応答推定モデルとの関係と、第２構築モデルの更新の規則の技術的意義について＞で説明したように、応答の推定の精度を向上させることができる。
【0149】
また、このように構成された実施形態における推定装置２は、学習装置１の得た学習済みの第１発話側関連性推定モデルと、学習済みの第２発話側関連性推定モデルと、学習済みの第２応答側関連性推定モデルとを用いる応答推定モデルによって応答を推定する。そのため、推定装置２は応答の推定の精度を向上させることができる。
【0150】
（変形例）
＜Masked Multimodal Attentionの処理と残差結合とレイヤーの正規化との一連の処理の詳細の例＞
上述した、Masked Multimodal Attentionの処理と残差結合とレイヤーの正規化との一連の処理（以下「マルチモーダル統合処理」という。）のより詳細な一例を説明する。マルチモーダル統合処理は、以下で説明するモダリティ活性化処理を、実行対象を変えながら複数回実行する処理である。例えば、系列Ａ～Ｃの３つの系列が存在する場合、マルチモーダル統合処理では、系列Ａと系列Ｂとに対するモダリティ活性化処理が実行され系列Ｄが得られる。次に系列Ｄと系列Ｃとに対するモダリティ活性化処理の実行により系列Ｅが得られる。このような場合、系列Ｅが、マルチモーダル統合処理の結果である。それではモダリティ活性化処理を説明する。
＜Masked Multimodal Attentionの処理と残差結合とレイヤーの正規化との一連の処理の詳細の例＞
上述した、Masked Multimodal Attentionの処理と残差結合とレイヤーの正規化との一連の処理（以下「マルチモーダル統合処理」という。）のより詳細な一例を説明する。マルチモーダル統合処理は、以下で説明するモダリティ活性化処理を、実行対象を変えながら複数回実行する処理である。例えば、系列Ａ～Ｃの３つの系列が存在する場合、マルチモーダル統合処理では、系列Ａと系列Ｂとに対するモダリティ活性化処理が実行され系列Ｄが得られる。次に系列Ｄと系列Ｃとに対するモダリティ活性化処理の実行により系列Ｅが得られる。このような場合、系列Ｅが、マルチモーダル統合処理の結果である。それではモダリティ活性化処理を説明する。
【0151】
モダリティ活性化処理は、２種類の系列を統合する処理である。モダリティ活性化処理は、例えば２種類の系列を、Source-Target Attentionを用いて統合する処理である。学習が行われた場合、モダリティ活性化処理による処理の内容は更新される。統合とは、複数の系列間の関連性を示す系列を取得する処理である。
【0152】
以下説明の簡単のため、モダリティ活性化処理の統合の対象の系列の一方を適用元モダリティＳと呼称し、他方を適用先モダリティＴと呼称する。適用元モダリティＳは、以下の式（６）で表される。
【0153】
【数6】
【0154】
適用先モダリティＴは、以下の式（７）で表される系列である。
【0155】
【数7】
【0156】
ｎは１以上の整数である。ベクトルｓは、系列Ｓの１つ１つのサンプルであり、適用元モダリティの各サンプルの特徴ベクトルである。ベクトルｔは、系列Ｔの１つ１つのサンプルであり、適用先モダリティの各サンプルの特徴ベクトルである。
【0157】
以下、ベクトルｓの次元数をｆｓと表現する。また、以下、ベクトルｔの次元数をｆｔと表現する。系列Ｓのサンプルはいずれも同一の次元数ｆｓである。系列Ｔのサンプルはいずれも同一の次元数ｆｔである。
【0158】
モダリティ活性化処理では、系列Ｓと系列Ｔとを特徴ベクトルの次元で結合する処理が行われる。モダリティ活性化処理では例えばまず、以下の式（８）で表される系列が、系列Ｓと系列Ｔとに基づいて得られる。式（８）の処理は、系列Ｓと系列Ｔとを連結する処理である。連結とは数値解析の分野においてベクトルや行列等のテンソルに対して定義される連結の意味である。
【0159】
【数8】
【0160】
系列Ｓ´の次元は、ｎ×（ｆｓ＋ｆｔ）である。このように、モダリティ活性化処理では、適用元モダリティと、適用先モダリティとの連結が行われる。
【0161】
モダリティ活性化処理では次に、系列Ｓ´を全結合層（ＦＮＮ；Feedforward Neural Network）により、ｎ×ｆｔ次元の系列Ｋに変換する処理が行われる。系列Ｓ´を系列Ｋに変換する際には、活性化関数ＴａｎｈＥｘｐを用いた変換が行われる。なお、ＴａｎｈＥｘｐは、双曲線正接関数ｔａｎｈと自然対数を底に取った指数関数ｅｘｐとの合成関数である。活性化関数ＴａｎｈＥｘｐを用いた系列Ｓ´から系列Ｋへの変換は、具体的には以下の式（９）で表される。
【0162】
【数9】
【0163】
Ｗｋは全結合層における重みを表し、Ｂｋはバイアス項を表す。ＷｋもＢｋもどちらも学習により更新されるパラメータである。
【0164】
モダリティ活性化処理では次に、系列Ｔと系列Ｋとの間の照応関係を示す情報を得る処理が実行される。系列Ｔと系列Ｋとの間の照応関係を示す情報Ｑ´を得る処理の一例は、系列ＴをＱｕｅｒｙとし、系列ＫをＫｅｙ及びＶａｌｕｅとするSource-Target Attentionである。Source-Target Attentionの実行結果の系列が、情報Ｑ´の一例である。情報Ｑ´は、例えば以下の式（１０）で表される。
【0165】
【数10】
【0166】
写像“ａｔｔｎ”は、Source-Target Attentionの処理を表す。写像“ａｔｔｎ”の第１引数はＱｕｅｒｙとして用いられる情報を表す。写像“ａｔｔｎ”の第２引数はＫｅｙとして用いられる情報を表す。写像“ａｔｔｎ”の第３引数はＶａｌｕｅとして用いられる情報を表す。
【0167】
モダリティ活性化処理では次に、系列Ｑ´に対して系列Ｔとの間の重み付き残差接続が実行される。系列Ｑ´に対して系列Ｔとの間の重み付き残差接続は、より具体的には、系列Ｑ´を表すベクトルのＬ２ノルムと系列Ｔを表すベクトルのＬ２ノルムとに応じた重みｂが乗算された系列Ｑ´、に対して系列Ｔを残差接続する処理である。重みｂは、例えば以下の式（１１）で表される重みである。
【0168】
【数11】
【0169】
ｔｂは重みの各項における最小値でありハイパーパラメータである。以下、系列Ｑ´に対して系列Ｔとの間の重み付き残差接続の実行結果の系列を系列Ｆという。系列Ｆは、例えば以下の式（１２）で表される。
【0170】
【数12】
【0171】
系列Ｆが、適用元モダリティＳと適用先モダリティＴとに対するモダリティ活性化処理の結果である。
【0172】
なお、学習装置１は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、学習装置１が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。例えば第１構築モデル実行部２１１と第２構築モデル実行部２２１とは異なる装置に実装されてもよい。
【0173】
なお、推定装置２は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、推定装置２が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。
【0174】
なお、学習装置１と、推定装置２と、の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。
【0175】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【0176】
（付記１）
発話者による発話時の言葉を示す文字列である発話テキストデータと、前記発話者による発話時の音声を示す発話音声データと、前記発話者による発話時の映像を示す発話映像データとの組である発話集合に基づき、前記発話集合の含む系列間の関連性を示す情報である第１発話関連性情報を取得する第１発話側関連性推定モデルと、
前記発話者の発話に応答する応答者の応答の言葉を示す文字列のデータである応答テキストデータと、前記応答者の応答の音声を示す応答音声データと、前記応答者の応答時の映像を示す応答映像データとの組である応答集合に基づき、前記応答集合の含む系列間の関連性を示す情報である第１応答関連性情報を取得する第１応答側関連性推定モデルと、
前記第１発話関連性情報と前記第１応答関連性情報とに基づき前記発話者及び前記応答者の感情を示す情報を推定する感情推定モデルと、
を含む第１構築モデル、を実行する第１構築モデル実行部と、
前記感情推定モデルの推定の結果と正解データとの違いを小さくするように前記第１構築モデルを更新する第１構築モデル更新部と、
を備え、
前記第１構築モデルの学習に関する所定の終了条件である第１終了条件が満たされるまで、前記第１構築モデルの学習を行う第１構築部と、
発話集合と前記第１終了条件が満たされた時点における前記第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルが前記発話集合に基づいて取得した前記第１発話関連性情報との間の関連性を示す情報である第２発話関連性情報を取得する第２発話側関連性推定モデルと、
応答集合と前記第１終了条件が満たされた時点における前記第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルが前記応答集合に基づいて取得した前記第１応答関連性情報との間の関連性を示す情報である第２応答関連性情報を取得する第２応答側関連性推定モデルと、
を含む第２構築モデル、を実行する第２構築モデル実行部と、
前記第２発話関連性情報と前記第２応答関連性情報との間の違いを小さくするように前記第２構築モデルを更新する第２構築モデル更新部と、
を備え、
前記第２構築モデルの学習に関する所定の終了条件が満たされるまで前記第２構築モデルの学習を行う第２構築部と、
を備える学習装置。
発話者による発話時の言葉を示す文字列である発話テキストデータと、前記発話者による発話時の音声を示す発話音声データと、前記発話者による発話時の映像を示す発話映像データとの組である発話集合に基づき、前記発話集合の含む系列間の関連性を示す情報である第１発話関連性情報を取得する第１発話側関連性推定モデルと、
前記発話者の発話に応答する応答者の応答の言葉を示す文字列のデータである応答テキストデータと、前記応答者の応答の音声を示す応答音声データと、前記応答者の応答時の映像を示す応答映像データとの組である応答集合に基づき、前記応答集合の含む系列間の関連性を示す情報である第１応答関連性情報を取得する第１応答側関連性推定モデルと、
前記第１発話関連性情報と前記第１応答関連性情報とに基づき前記発話者及び前記応答者の感情を示す情報を推定する感情推定モデルと、
を含む第１構築モデル、を実行する第１構築モデル実行部と、
前記感情推定モデルの推定の結果と正解データとの違いを小さくするように前記第１構築モデルを更新する第１構築モデル更新部と、
を備え、
前記第１構築モデルの学習に関する所定の終了条件である第１終了条件が満たされるまで、前記第１構築モデルの学習を行う第１構築部と、
発話集合と前記第１終了条件が満たされた時点における前記第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルが前記発話集合に基づいて取得した前記第１発話関連性情報との間の関連性を示す情報である第２発話関連性情報を取得する第２発話側関連性推定モデルと、
応答集合と前記第１終了条件が満たされた時点における前記第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルが前記応答集合に基づいて取得した前記第１応答関連性情報との間の関連性を示す情報である第２応答関連性情報を取得する第２応答側関連性推定モデルと、
を含む第２構築モデル、を実行する第２構築モデル実行部と、
前記第２発話関連性情報と前記第２応答関連性情報との間の違いを小さくするように前記第２構築モデルを更新する第２構築モデル更新部と、
を備え、
前記第２構築モデルの学習に関する所定の終了条件が満たされるまで前記第２構築モデルの学習を行う第２構築部と、
を備える学習装置。
【0177】
（付記２）
前記第２発話側関連性推定モデルは第１発話側関連性推定モデルを含み、
前記第２発話関連性情報は、前記第２発話側関連性推定モデルが含む第１発話側関連性推定モデルが前記発話集合に基づいて推定した第１発話関連性情報と、前記学習済みの第１構築モデルが取得した前記第１発話関連性情報との間の関連性を示す情報である、
付記１に記載の学習装置。
前記第２発話側関連性推定モデルは第１発話側関連性推定モデルを含み、
前記第２発話関連性情報は、前記第２発話側関連性推定モデルが含む第１発話側関連性推定モデルが前記発話集合に基づいて推定した第１発話関連性情報と、前記学習済みの第１構築モデルが取得した前記第１発話関連性情報との間の関連性を示す情報である、
付記１に記載の学習装置。
【0178】
（付記３）
前記第２応答側関連性推定モデルは第１応答側関連性推定モデルを含み、
前記第２応答関連性情報は、前記第２応答側関連性推定モデルが含む第１応答側関連性推定モデルが前記応答集合に基づいて推定した第１応答関連性情報と、前記学習済みの第１構築モデルが取得した前記第１応答関連性情報との間の関連性を示す情報である、
付記１又は２に記載の学習装置。
前記第２応答側関連性推定モデルは第１応答側関連性推定モデルを含み、
前記第２応答関連性情報は、前記第２応答側関連性推定モデルが含む第１応答側関連性推定モデルが前記応答集合に基づいて推定した第１応答関連性情報と、前記学習済みの第１構築モデルが取得した前記第１応答関連性情報との間の関連性を示す情報である、
付記１又は２に記載の学習装置。
【0179】
（付記４）
発話者による発話時の言葉を示す文字列である発話テキストデータと、前記発話者による発話時の音声を示す発話音声データと、前記発話者による発話時の映像を示す発話映像データとの組である発話集合の入力を受け付ける対象取得部と、
発話集合に基づき、前記発話集合の含む系列間の関連性を示す情報である第１発話関連性情報を取得する第１発話側関連性推定モデルと、前記発話者の発話に応答する応答者の応答の言葉を示す文字列のデータである応答テキストデータと、前記応答者の応答の音声を示す応答音声データと、前記応答者の応答時の映像を示す応答映像データとの組である応答集合に基づき、前記応答集合の含む系列間の関連性を示す情報である第１応答関連性情報を取得する第１応答側関連性推定モデルと、前記第１発話関連性情報と前記第１応答関連性情報とに基づき前記発話者及び前記応答者の感情を示す情報を推定する感情推定モデルと、を含む第１構築モデル、を実行する第１構築モデル実行部と、前記感情推定モデルの推定の結果と正解データとの違いを小さくするように前記第１構築モデルを更新する第１構築モデル更新部と、を備え、前記第１構築モデルの学習に関する所定の終了条件である第１終了条件が満たされるまで、前記第１構築モデルの学習を行う第１構築部と、発話集合と前記第１終了条件が満たされた時点における前記第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルが前記発話集合に基づいて取得した前記第１発話関連性情報との間の関連性を示す情報である第２発話関連性情報を取得する第２発話側関連性推定モデルと、応答集合と前記第１終了条件が満たされた時点における前記第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルが前記応答集合に基づいて取得した前記第１応答関連性情報との間の関連性を示す情報である第２応答関連性情報を取得する第２応答側関連性推定モデルと、を含む第２構築モデル、を実行する第２構築モデル実行部と、前記第２発話関連性情報と前記第２応答関連性情報との間の違いを小さくするように前記第２構築モデルを更新する第２構築モデル更新部と、を備え、前記第２構築モデルの学習に関する所定の終了条件が満たされるまで前記第２構築モデルの学習を行う第２構築部と、を備える学習装置が得た、学習済みの第１発話側関連性推定モデルと、学習済みの第２発話側関連性推定モデルと、学習済みの第２応答側関連性推定モデルと、を用いて、前記対象取得部に入力された発話集合に基づき、応答を推定する、推定部と、
を備える推定装置。
発話者による発話時の言葉を示す文字列である発話テキストデータと、前記発話者による発話時の音声を示す発話音声データと、前記発話者による発話時の映像を示す発話映像データとの組である発話集合の入力を受け付ける対象取得部と、
発話集合に基づき、前記発話集合の含む系列間の関連性を示す情報である第１発話関連性情報を取得する第１発話側関連性推定モデルと、前記発話者の発話に応答する応答者の応答の言葉を示す文字列のデータである応答テキストデータと、前記応答者の応答の音声を示す応答音声データと、前記応答者の応答時の映像を示す応答映像データとの組である応答集合に基づき、前記応答集合の含む系列間の関連性を示す情報である第１応答関連性情報を取得する第１応答側関連性推定モデルと、前記第１発話関連性情報と前記第１応答関連性情報とに基づき前記発話者及び前記応答者の感情を示す情報を推定する感情推定モデルと、を含む第１構築モデル、を実行する第１構築モデル実行部と、前記感情推定モデルの推定の結果と正解データとの違いを小さくするように前記第１構築モデルを更新する第１構築モデル更新部と、を備え、前記第１構築モデルの学習に関する所定の終了条件である第１終了条件が満たされるまで、前記第１構築モデルの学習を行う第１構築部と、発話集合と前記第１終了条件が満たされた時点における前記第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルが前記発話集合に基づいて取得した前記第１発話関連性情報との間の関連性を示す情報である第２発話関連性情報を取得する第２発話側関連性推定モデルと、応答集合と前記第１終了条件が満たされた時点における前記第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルが前記応答集合に基づいて取得した前記第１応答関連性情報との間の関連性を示す情報である第２応答関連性情報を取得する第２応答側関連性推定モデルと、を含む第２構築モデル、を実行する第２構築モデル実行部と、前記第２発話関連性情報と前記第２応答関連性情報との間の違いを小さくするように前記第２構築モデルを更新する第２構築モデル更新部と、を備え、前記第２構築モデルの学習に関する所定の終了条件が満たされるまで前記第２構築モデルの学習を行う第２構築部と、を備える学習装置が得た、学習済みの第１発話側関連性推定モデルと、学習済みの第２発話側関連性推定モデルと、学習済みの第２応答側関連性推定モデルと、を用いて、前記対象取得部に入力された発話集合に基づき、応答を推定する、推定部と、
を備える推定装置。
【0180】
（付記５）
発話者による発話時の言葉を示す文字列である発話テキストデータと、前記発話者による発話時の音声を示す発話音声データと、前記発話者による発話時の映像を示す発話映像データとの組である発話集合に基づき、前記発話集合の含む系列間の関連性を示す情報である第１発話関連性情報を取得する第１発話側関連性推定モデルと、
前記発話者の発話に応答する応答者の応答の言葉を示す文字列のデータである応答テキストデータと、前記応答者の応答の音声を示す応答音声データと、前記応答者の応答時の映像を示す応答映像データとの組である応答集合に基づき、前記応答集合の含む系列間の関連性を示す情報である第１応答関連性情報を取得する第１応答側関連性推定モデルと、
前記第１発話関連性情報と前記第１応答関連性情報とに基づき前記発話者及び前記応答者の感情を示す情報を推定する感情推定モデルと、
を含む第１構築モデル、を実行する第１構築モデル実行ステップと、
前記感情推定モデルの推定の結果と正解データとの違いを小さくするように前記第１構築モデルを更新する第１構築モデル更新ステップと、
を有し、
前記第１構築モデルの学習に関する所定の終了条件である第１終了条件が満たされるまで、前記第１構築モデルの学習を行う第１構築ステップと、
発話集合と前記第１終了条件が満たされた時点における前記第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルが前記発話集合に基づいて取得した前記第１発話関連性情報との間の関連性を示す情報である第２発話関連性情報を取得する第２発話側関連性推定モデルと、
応答集合と前記第１終了条件が満たされた時点における前記第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルが前記応答集合に基づいて取得した前記第１応答関連性情報との間の関連性を示す情報である第２応答関連性情報を取得する第２応答側関連性推定モデルと、
を含む第２構築モデル、を実行する第２構築モデル実行ステップと、
前記第２発話関連性情報と前記第２応答関連性情報との間の違いを小さくするように前記第２構築モデルを更新する第２構築モデル更新ステップと、
を有し、
前記第２構築モデルの学習に関する所定の終了条件が満たされるまで前記第２構築モデルの学習を行う第２構築ステップと、
を有する学習方法。
発話者による発話時の言葉を示す文字列である発話テキストデータと、前記発話者による発話時の音声を示す発話音声データと、前記発話者による発話時の映像を示す発話映像データとの組である発話集合に基づき、前記発話集合の含む系列間の関連性を示す情報である第１発話関連性情報を取得する第１発話側関連性推定モデルと、
前記発話者の発話に応答する応答者の応答の言葉を示す文字列のデータである応答テキストデータと、前記応答者の応答の音声を示す応答音声データと、前記応答者の応答時の映像を示す応答映像データとの組である応答集合に基づき、前記応答集合の含む系列間の関連性を示す情報である第１応答関連性情報を取得する第１応答側関連性推定モデルと、
前記第１発話関連性情報と前記第１応答関連性情報とに基づき前記発話者及び前記応答者の感情を示す情報を推定する感情推定モデルと、
を含む第１構築モデル、を実行する第１構築モデル実行ステップと、
前記感情推定モデルの推定の結果と正解データとの違いを小さくするように前記第１構築モデルを更新する第１構築モデル更新ステップと、
を有し、
前記第１構築モデルの学習に関する所定の終了条件である第１終了条件が満たされるまで、前記第１構築モデルの学習を行う第１構築ステップと、
発話集合と前記第１終了条件が満たされた時点における前記第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルが前記発話集合に基づいて取得した前記第１発話関連性情報との間の関連性を示す情報である第２発話関連性情報を取得する第２発話側関連性推定モデルと、
応答集合と前記第１終了条件が満たされた時点における前記第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルが前記応答集合に基づいて取得した前記第１応答関連性情報との間の関連性を示す情報である第２応答関連性情報を取得する第２応答側関連性推定モデルと、
を含む第２構築モデル、を実行する第２構築モデル実行ステップと、
前記第２発話関連性情報と前記第２応答関連性情報との間の違いを小さくするように前記第２構築モデルを更新する第２構築モデル更新ステップと、
を有し、
前記第２構築モデルの学習に関する所定の終了条件が満たされるまで前記第２構築モデルの学習を行う第２構築ステップと、
を有する学習方法。
【0181】
（付記６）
発話者による発話時の言葉を示す文字列である発話テキストデータと、前記発話者による発話時の音声を示す発話音声データと、前記発話者による発話時の映像を示す発話映像データとの組である発話集合の入力を受け付ける対象取得ステップと、
発話集合に基づき、前記発話集合の含む系列間の関連性を示す情報である第１発話関連性情報を取得する第１発話側関連性推定モデルと、前記発話者の発話に応答する応答者の応答の言葉を示す文字列のデータである応答テキストデータと、前記応答者の応答の音声を示す応答音声データと、前記応答者の応答時の映像を示す応答映像データとの組である応答集合に基づき、前記応答集合の含む系列間の関連性を示す情報である第１応答関連性情報を取得する第１応答側関連性推定モデルと、前記第１発話関連性情報と前記第１応答関連性情報とに基づき前記発話者及び前記応答者の感情を示す情報を推定する感情推定モデルと、を含む第１構築モデル、を実行する第１構築モデル実行ステップと、前記感情推定モデルの推定の結果と正解データとの違いを小さくするように前記第１構築モデルを更新する第１構築モデル更新ステップと、を有し、前記第１構築モデルの学習に関する所定の終了条件である第１終了条件が満たされるまで、前記第１構築モデルの学習を行う第１構築ステップと、発話集合と前記第１終了条件が満たされた時点における前記第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルが前記発話集合に基づいて取得した前記第１発話関連性情報との間の関連性を示す情報である第２発話関連性情報を取得する第２発話側関連性推定モデルと、応答集合と前記第１終了条件が満たされた時点における前記第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルが前記応答集合に基づいて取得した前記第１応答関連性情報との間の関連性を示す情報である第２応答関連性情報を取得する第２応答側関連性推定モデルと、を含む第２構築モデル、を実行する第２構築モデル実行ステップと、前記第２発話関連性情報と前記第２応答関連性情報との間の違いを小さくするように前記第２構築モデルを更新する第２構築モデル更新ステップと、を有し、前記第２構築モデルの学習に関する所定の終了条件が満たされるまで前記第２構築モデルの学習を行う第２構築ステップと、を有する学習方法が得た、学習済みの第１発話側関連性推定モデルと、学習済みの第２発話側関連性推定モデルと、学習済みの第２応答側関連性推定モデルと、を用いて、前記対象取得ステップで入力された発話集合に基づき、応答を推定する、推定ステップと、
を有する推定方法。
発話者による発話時の言葉を示す文字列である発話テキストデータと、前記発話者による発話時の音声を示す発話音声データと、前記発話者による発話時の映像を示す発話映像データとの組である発話集合の入力を受け付ける対象取得ステップと、
発話集合に基づき、前記発話集合の含む系列間の関連性を示す情報である第１発話関連性情報を取得する第１発話側関連性推定モデルと、前記発話者の発話に応答する応答者の応答の言葉を示す文字列のデータである応答テキストデータと、前記応答者の応答の音声を示す応答音声データと、前記応答者の応答時の映像を示す応答映像データとの組である応答集合に基づき、前記応答集合の含む系列間の関連性を示す情報である第１応答関連性情報を取得する第１応答側関連性推定モデルと、前記第１発話関連性情報と前記第１応答関連性情報とに基づき前記発話者及び前記応答者の感情を示す情報を推定する感情推定モデルと、を含む第１構築モデル、を実行する第１構築モデル実行ステップと、前記感情推定モデルの推定の結果と正解データとの違いを小さくするように前記第１構築モデルを更新する第１構築モデル更新ステップと、を有し、前記第１構築モデルの学習に関する所定の終了条件である第１終了条件が満たされるまで、前記第１構築モデルの学習を行う第１構築ステップと、発話集合と前記第１終了条件が満たされた時点における前記第１発話側関連性推定モデルである学習済みの第１発話側関連性推定モデルが前記発話集合に基づいて取得した前記第１発話関連性情報との間の関連性を示す情報である第２発話関連性情報を取得する第２発話側関連性推定モデルと、応答集合と前記第１終了条件が満たされた時点における前記第１応答側関連性推定モデルである学習済みの第１応答側関連性推定モデルが前記応答集合に基づいて取得した前記第１応答関連性情報との間の関連性を示す情報である第２応答関連性情報を取得する第２応答側関連性推定モデルと、を含む第２構築モデル、を実行する第２構築モデル実行ステップと、前記第２発話関連性情報と前記第２応答関連性情報との間の違いを小さくするように前記第２構築モデルを更新する第２構築モデル更新ステップと、を有し、前記第２構築モデルの学習に関する所定の終了条件が満たされるまで前記第２構築モデルの学習を行う第２構築ステップと、を有する学習方法が得た、学習済みの第１発話側関連性推定モデルと、学習済みの第２発話側関連性推定モデルと、学習済みの第２応答側関連性推定モデルと、を用いて、前記対象取得ステップで入力された発話集合に基づき、応答を推定する、推定ステップと、
を有する推定方法。
【0182】
（付記７）
付記１から３のいずれか一つに記載の学習装置としてコンピュータを機能させるためのプログラム。
付記１から３のいずれか一つに記載の学習装置としてコンピュータを機能させるためのプログラム。
【0183】
（付記８）
付記４に記載の推定装置としてコンピュータを機能させるためのプログラム。
付記４に記載の推定装置としてコンピュータを機能させるためのプログラム。
【符号の説明】
【0184】
１…学習装置、 ２…推定装置、 １１…制御部、 １２…入力部、 １３…通信部、 １４…記憶部、 １５…出力部、 １１０…データ取得部、 １２０…学習部、 １２１…第１構築部、 １２２…第２構築部、 ２１１…第１構築モデル実行部、 ２１２…第１構築モデル更新部、 ２１３…第１発話側関連性推定モデル実行部、 ２１４…第１応答側関連性推定モデル実行部、 ２１５…感情推定部、 ２２１…第２構築モデル実行部、 ２２２…第２構築モデル更新部、 ２２３…学習済み第１構築モデル実行部、 ２２４…第２発話側関連性推定モデル実行部、 ２２５…第２応答側関連性推定モデル実行部、 １３０…記憶制御部、 １４０…通信制御部、 １５０…出力制御部、 ２１…制御部、 ２２…入力部、 ２３…通信部、 ２４…記憶部、 ２５…出力部、 ２１０…対象取得部、 ２２０…推定部、 ２３０…記憶制御部、 ２４０…通信制御部、 ２５０…出力制御部、 ９１…プロセッサ、 ９２…メモリ、 ９３…プロセッサ、 ９４…メモリ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】