ホーム > 特許ランキング > 国立研究開発法人理化学研究所
知財求人 - 知財ポータルサイト「IP Force」
特開2024-172050予測システム、学習システム、予測方法、学習方法、予測プログラム及び学習プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024172050
(43)【公開日】2024-12-12
(54)【発明の名称】予測システム、学習システム、予測方法、学習方法、予測プログラム及び学習プログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20241205BHJP
G10L 15/22 20060101ALI20241205BHJP
G06T 7/20 20170101ALI20241205BHJP
【ＦＩ】
G06N20/00
G10L15/22 300Z
G06T7/20 300Z
【審査請求】未請求
【請求項の数】24
【出願形態】ＯＬ
(21)【出願番号】P 2023089475
(22)【出願日】2023-05-31
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人科学技術振興機構、事業名：ムーンショット型研究開発事業、テーマ名：ムーンショット目標１「２０５０年までに、人が身体、脳、空間、時間の制約から解放された社会を実現」、研究課題名：誰もが自在に活躍できるアバター共生社会の実現、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】503359821
【氏名又は名称】国立研究開発法人理化学研究所
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】中村 泰
(72)【発明者】
【氏名】岡留 有哉
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA05
5L096CA04
5L096DA01
5L096HA02
5L096HA11
5L096JA11
5L096JA18
5L096KA04
5L096KA15
(57)【要約】
【課題】人とコンピュータとのインタラクションを改善する。
【解決手段】予測システムは、複数の人のアクションの同時分布を学習することで生成された、学習済みモデルを格納する格納部と、アクションに関するデータの一部を欠損させて、前記学習済みモデルに入力することで、当該欠損させたデータを含むデータを予測する予測部と、前記予測されたデータの中から予測対象のデータを抽出し、アクションを制御する制御装置に対して、前記予測対象のデータまたは前記予測対象のデータに応じたデータを出力する出力部とを有する。
【選択図】図１２Ａ
【解決手段】予測システムは、複数の人のアクションの同時分布を学習することで生成された、学習済みモデルを格納する格納部と、アクションに関するデータの一部を欠損させて、前記学習済みモデルに入力することで、当該欠損させたデータを含むデータを予測する予測部と、前記予測されたデータの中から予測対象のデータを抽出し、アクションを制御する制御装置に対して、前記予測対象のデータまたは前記予測対象のデータに応じたデータを出力する出力部とを有する。
【選択図】図１２Ａ
【特許請求の範囲】
【請求項1】
複数の人のアクションの同時分布を学習することで生成された、学習済みモデルを格納する格納部と、
アクションに関するデータの一部を欠損させて、前記学習済みモデルに入力することで、当該欠損させたデータを含むデータを予測する予測部と、
前記予測されたデータの中から予測対象のデータを抽出し、アクションを制御する制御装置に対して、前記予測対象のデータまたは前記予測対象のデータに応じたデータを出力する出力部と
を有する予測システム。
アクションに関するデータの一部を欠損させて、前記学習済みモデルに入力することで、当該欠損させたデータを含むデータを予測する予測部と、
前記予測されたデータの中から予測対象のデータを抽出し、アクションを制御する制御装置に対して、前記予測対象のデータまたは前記予測対象のデータに応じたデータを出力する出力部と
を有する予測システム。
【請求項2】
前記制御装置により制御されるアクションの影響を受ける第１主体と、前記制御装置によりアクションが制御される第２主体との間のインタラクションにおいて、前記予測部は、
前記第１主体のアクションに関する複数種類のデータと、
前記第２主体のアクションに関する複数種類のデータの一部を欠損させた欠損データと、
を入力データとして前記学習済みモデルに入力することで、前記欠損させたデータを含むデータを予測する、請求項１に記載の予測システム。
前記第１主体のアクションに関する複数種類のデータと、
前記第２主体のアクションに関する複数種類のデータの一部を欠損させた欠損データと、
を入力データとして前記学習済みモデルに入力することで、前記欠損させたデータを含むデータを予測する、請求項１に記載の予測システム。
【請求項3】
前記第２主体のアクションに関する複数種類のデータの一部を欠損させた欠損データは、
前記第２主体のアクションに関する複数種類のデータのうちの一部の種類のデータを欠損させた欠損データ、または、
前記第２主体のアクションに関する複数種類のデータのうちの一部の種類の一部の時間範囲のデータを欠損させた欠損データ、
である、請求項２に記載の予測システム。
前記第２主体のアクションに関する複数種類のデータのうちの一部の種類のデータを欠損させた欠損データ、または、
前記第２主体のアクションに関する複数種類のデータのうちの一部の種類の一部の時間範囲のデータを欠損させた欠損データ、
である、請求項２に記載の予測システム。
【請求項4】
前記制御装置により制御されるアクションの影響を受ける第１主体と、前記制御装置によりアクションが制御される第２主体との間のインタラクションにおいて、前記予測部が、
前記第１主体のアクションに関する複数種類の未来のデータのうちの一部の種類の未来のデータを欠損させた欠損データと、
前記第２主体のアクションに関する複数種類の現在のデータと、
を入力データとして前記学習済みモデルに入力し、前記出力部が、前記予測対象のデータとして、前記第１主体のアクションに関する複数種類の未来のデータのうちの一部の種類の未来のデータを抽出した場合において、抽出された前記予測対象のデータが目標とするデータになるように、前記第２主体のアクションに関する複数種類のデータのうちの特定の種類の現在のデータを最適化する最適化部を更に有する、請求項３に記載の予測システム。
前記第１主体のアクションに関する複数種類の未来のデータのうちの一部の種類の未来のデータを欠損させた欠損データと、
前記第２主体のアクションに関する複数種類の現在のデータと、
を入力データとして前記学習済みモデルに入力し、前記出力部が、前記予測対象のデータとして、前記第１主体のアクションに関する複数種類の未来のデータのうちの一部の種類の未来のデータを抽出した場合において、抽出された前記予測対象のデータが目標とするデータになるように、前記第２主体のアクションに関する複数種類のデータのうちの特定の種類の現在のデータを最適化する最適化部を更に有する、請求項３に記載の予測システム。
【請求項5】
前記出力部は、前記最適化部により最適化されたデータを、前記予測対象のデータに応じたデータとして、前記制御装置に出力する、請求項４に記載の予測システム。
【請求項6】
前記制御装置により制御されるアクションの影響を受ける第１主体と、前記制御装置によりアクションが制御される第２主体との間のインタラクションにおいて、前記予測部が、
前記第１主体のアクションに関する複数種類の未来のデータのうちの一部の種類の未来のデータを欠損させた欠損データと、
前記第２主体のアクションに関する複数種類の未来のデータと、
を入力データとして前記学習済みモデルに入力し、前記出力部が、前記予測対象のデータとして、前記第１主体のアクションに関する複数種類の未来のデータのうちの一部の種類の未来のデータを抽出した場合において、抽出された前記予測対象のデータが目標とするデータになるように、前記第２主体のアクションに関する複数種類の未来のデータのうちの特定の種類の未来のデータを最適化する最適化部を更に有する、請求項３に記載の予測システム。
前記第１主体のアクションに関する複数種類の未来のデータのうちの一部の種類の未来のデータを欠損させた欠損データと、
前記第２主体のアクションに関する複数種類の未来のデータと、
を入力データとして前記学習済みモデルに入力し、前記出力部が、前記予測対象のデータとして、前記第１主体のアクションに関する複数種類の未来のデータのうちの一部の種類の未来のデータを抽出した場合において、抽出された前記予測対象のデータが目標とするデータになるように、前記第２主体のアクションに関する複数種類の未来のデータのうちの特定の種類の未来のデータを最適化する最適化部を更に有する、請求項３に記載の予測システム。
【請求項7】
前記出力部は、前記最適化部により最適化されたデータを、前記予測対象のデータに応じたデータとして、前記制御装置に出力する、請求項６に記載の予測システム。
【請求項8】
前記アクションに関する複数種類のデータのうちの一部の種類のデータをマスクすることで、前記アクションに関する複数種類のデータのうちの一部の種類のデータを欠損させるマスク生成部を更に有する、請求項４または６に記載の予測システム。
【請求項9】
前記マスク生成部に、前記欠損させるデータの種類及び種類数を、マスク対象として設定し、前記出力部に、前記抽出するデータの種類及び種類数を、予測対象として設定する設定部を更に有する、請求項８に記載の予測システム。
【請求項10】
前記設定部は、前記学習済みモデルに入力する前記入力データの種類及び種類数を、入力対象として前記マスク生成部に設定する、請求項９に記載の予測システム。
【請求項11】
前記設定部は、前記最適化部が最適化する際の繰り返し回数を前記最適化部に設定する、請求項１０に記載の予測システム。
【請求項12】
前記設定部は、前記予測部が予測するデータの時間長を前記予測部に設定する、請求項１０に記載の予測システム。
【請求項13】
前記設定部は、
前記第２主体のアクションに関する複数種類のデータのうちの一部の種類のデータを欠損させるモード、
前記第２主体のアクションに関する複数種類のデータのうちの一部の種類の一部の時間範囲のデータを欠損させるモード、
前記第１主体のアクションに関する複数種類の未来のデータのうちの一部の種類の未来のデータを欠損させて予測しながら、前記第２主体のアクションに関する複数種類のデータのうちの特定の種類のデータを最適化するモード、
のうちのいずれかのモードを設定する、請求項９に記載の予測システム。
前記第２主体のアクションに関する複数種類のデータのうちの一部の種類のデータを欠損させるモード、
前記第２主体のアクションに関する複数種類のデータのうちの一部の種類の一部の時間範囲のデータを欠損させるモード、
前記第１主体のアクションに関する複数種類の未来のデータのうちの一部の種類の未来のデータを欠損させて予測しながら、前記第２主体のアクションに関する複数種類のデータのうちの特定の種類のデータを最適化するモード、
のうちのいずれかのモードを設定する、請求項９に記載の予測システム。
【請求項14】
前記第１主体のアクションに関する複数種類のデータには、
前記第１主体の音声データを処理することで生成される音声情報、
前記第１主体を撮影した画像データから抽出される画像特徴点情報、
前記第１主体に装着されたセンサにより測定されたセンサデータから抽出されるセンサ特徴点情報、
のいずれかが含まれ、
前記第２主体のアクションに関する複数種類のデータには、
前記第２主体の音声データを処理することで生成される音声情報、
前記第２主体を撮影した画像データから抽出される画像特徴点情報、
前記第２主体に装着されたセンサにより測定されたセンサデータから抽出されるセンサ特徴点情報、
のいずれかが含まれる、請求項２に記載の予測システム。
前記第１主体の音声データを処理することで生成される音声情報、
前記第１主体を撮影した画像データから抽出される画像特徴点情報、
前記第１主体に装着されたセンサにより測定されたセンサデータから抽出されるセンサ特徴点情報、
のいずれかが含まれ、
前記第２主体のアクションに関する複数種類のデータには、
前記第２主体の音声データを処理することで生成される音声情報、
前記第２主体を撮影した画像データから抽出される画像特徴点情報、
前記第２主体に装着されたセンサにより測定されたセンサデータから抽出されるセンサ特徴点情報、
のいずれかが含まれる、請求項２に記載の予測システム。
【請求項15】
前記音声情報は、音圧レベルに応じた値であり、
前記画像特徴点情報は、各部位の動きを特定する特徴点の位置または顔の表情を特定する特徴点の位置であり、
前記センサ特徴点情報は、各部位の動きを特定する特徴点の位置である、
請求項１４に記載の予測システム。
前記画像特徴点情報は、各部位の動きを特定する特徴点の位置または顔の表情を特定する特徴点の位置であり、
前記センサ特徴点情報は、各部位の動きを特定する特徴点の位置である、
請求項１４に記載の予測システム。
【請求項16】
前記制御装置は、仮想空間内のアバタのアクションまたはロボットのアクションを制御する、請求項１に記載の予測システム。
【請求項17】
複数の人のアクションに関するデータの一部をマスクすることで、データの一部を欠損させるマスク生成部と、
前記データの一部を欠損させた欠損データをモデルに入力することで前記モデルより出力されるデータの中から、欠損させたデータを抽出した場合に、抽出した前記欠損させたデータが前記マスクする対象のデータに近づくよう、前記モデルのモデルパラメータを更新し、複数の人のアクションの同時分布を学習する学習部と
を有する学習システム。
前記データの一部を欠損させた欠損データをモデルに入力することで前記モデルより出力されるデータの中から、欠損させたデータを抽出した場合に、抽出した前記欠損させたデータが前記マスクする対象のデータに近づくよう、前記モデルのモデルパラメータを更新し、複数の人のアクションの同時分布を学習する学習部と
を有する学習システム。
【請求項18】
前記マスク生成部は、前記欠損データを入力データ、前記マスクする対象のデータを正解データとして、前記学習部に入力する、請求項１７に記載の学習システム。
【請求項19】
前記複数の人のアクションに関するデータには、
前記複数の人それぞれの音声データを処理することで生成される音声情報、
前記複数の人それぞれを撮影した画像データから抽出される画像特徴点情報、
前記複数の人それぞれに装着されたセンサにより測定されたセンサデータから抽出されるセンサ特徴点情報、
のいずれかが含まれる、請求項１８に記載の学習システム。
前記複数の人それぞれの音声データを処理することで生成される音声情報、
前記複数の人それぞれを撮影した画像データから抽出される画像特徴点情報、
前記複数の人それぞれに装着されたセンサにより測定されたセンサデータから抽出されるセンサ特徴点情報、
のいずれかが含まれる、請求項１８に記載の学習システム。
【請求項20】
前記音声情報は、音圧レベルに応じた値であり、
前記画像特徴点情報は、各部位の動きを特定する特徴点の位置または顔の表情を特定する特徴点の位置であり、
前記センサ特徴点情報は、各部位の動きを特定する特徴点の位置である、
請求項１９に記載の学習システム。
前記画像特徴点情報は、各部位の動きを特定する特徴点の位置または顔の表情を特定する特徴点の位置であり、
前記センサ特徴点情報は、各部位の動きを特定する特徴点の位置である、
請求項１９に記載の学習システム。
【請求項21】
複数の人のアクションの同時分布を学習することで生成された、学習済みモデルを格納する格納部を有する予測システムのコンピュータが、
アクションに関するデータの一部を欠損させて、前記学習済みモデルに入力することで、当該欠損させたデータを含むデータを予測する予測工程と、
前記予測されたデータの中から予測対象のデータを抽出し、アクションを制御する制御装置に対して、前記予測対象のデータまたは前記予測対象のデータに応じたデータを出力する出力工程と
を実行する予測方法。
アクションに関するデータの一部を欠損させて、前記学習済みモデルに入力することで、当該欠損させたデータを含むデータを予測する予測工程と、
前記予測されたデータの中から予測対象のデータを抽出し、アクションを制御する制御装置に対して、前記予測対象のデータまたは前記予測対象のデータに応じたデータを出力する出力工程と
を実行する予測方法。
【請求項22】
複数の人のアクションに関するデータの一部をマスクすることで、データの一部を欠損させるマスク生成工程と、
前記データの一部を欠損させた欠損データをモデルに入力することで前記モデルより出力されるデータの中から、欠損させたデータを抽出した場合に、抽出した前記欠損させたデータが前記マスクする対象のデータに近づくよう、前記モデルのモデルパラメータを更新し、複数の人のアクションの同時分布を学習する学習工程と
をコンピュータが実行する学習方法。
前記データの一部を欠損させた欠損データをモデルに入力することで前記モデルより出力されるデータの中から、欠損させたデータを抽出した場合に、抽出した前記欠損させたデータが前記マスクする対象のデータに近づくよう、前記モデルのモデルパラメータを更新し、複数の人のアクションの同時分布を学習する学習工程と
をコンピュータが実行する学習方法。
【請求項23】
複数の人のアクションの同時分布を学習することで生成された、学習済みモデルを格納する格納部を有する予測システムのコンピュータに、
アクションに関するデータの一部を欠損させて、前記学習済みモデルに入力することで、当該欠損させたデータを含むデータを予測する予測工程と、
前記予測されたデータの中から予測対象のデータを抽出し、アクションを制御する制御装置に対して、前記予測対象のデータまたは前記予測対象のデータに応じたデータを出力する出力工程と
を実行させるための予測プログラム。
アクションに関するデータの一部を欠損させて、前記学習済みモデルに入力することで、当該欠損させたデータを含むデータを予測する予測工程と、
前記予測されたデータの中から予測対象のデータを抽出し、アクションを制御する制御装置に対して、前記予測対象のデータまたは前記予測対象のデータに応じたデータを出力する出力工程と
を実行させるための予測プログラム。
【請求項24】
複数の人のアクションに関するデータの一部をマスクすることで、データの一部を欠損させるマスク生成工程と、
前記データの一部を欠損させた欠損データをモデルに入力することで前記モデルより出力されるデータの中から、欠損させたデータを抽出した場合に、抽出した前記欠損させたデータが前記マスクする対象のデータに近づくよう、前記モデルのモデルパラメータを更新し、複数の人のアクションの同時分布を学習する学習工程と
をコンピュータに実行させるための学習プログラム。
前記データの一部を欠損させた欠損データをモデルに入力することで前記モデルより出力されるデータの中から、欠損させたデータを抽出した場合に、抽出した前記欠損させたデータが前記マスクする対象のデータに近づくよう、前記モデルのモデルパラメータを更新し、複数の人のアクションの同時分布を学習する学習工程と
をコンピュータに実行させるための学習プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、予測システム、学習システム、予測方法、学習方法、予測プログラム及び学習プログラムに関する。
【背景技術】
【0002】
人とコンピュータとのインタラクションにおいては、コンピュータにより制御されるロボット、あるいは、コンピュータにより制御される仮想空間内のアバタ等が、人間に近い自然なアクションを行うことが求められる。
【0003】
これに対して、従来のロボットやアバタは、例えば、人と対話するシーンにおいては、リップシンク等のように、発話する音声に応じて口元の動きを制御するといったアクションを行っていた。あるいは、対話相手の状態を観測し、観測結果に対応付けられた所定のリアクション（ジェスチャ、顔の表情等）に基づいて各部位の動きや顔の表情を制御するといったアクションを行っていた。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１９－１４５１０８号公報
【特許文献2】特開２０２１－８６４７４号公報
【特許文献3】特許第７１９３０１５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
一方で、人間同士は、全二重通信的なインタラクションを行っており、従来の制御方法のように半二重通信的なインタラクションでは、人間に近い自然なアクションを実現することが困難である。
【0006】
本開示は、人とコンピュータとのインタラクションを改善する。
【課題を解決するための手段】
【0007】
一態様によれば、予測システムは、
複数の人のアクションの同時分布を学習することで生成された、学習済みモデルを格納する格納部と、
アクションに関するデータの一部を欠損させて、前記学習済みモデルに入力することで、当該欠損させたデータを含むデータを予測する予測部と、
前記予測されたデータの中から予測対象のデータを抽出し、アクションを制御する制御装置に対して、前記予測対象のデータまたは前記予測対象のデータに応じたデータを出力する出力部とを有する。
複数の人のアクションの同時分布を学習することで生成された、学習済みモデルを格納する格納部と、
アクションに関するデータの一部を欠損させて、前記学習済みモデルに入力することで、当該欠損させたデータを含むデータを予測する予測部と、
前記予測されたデータの中から予測対象のデータを抽出し、アクションを制御する制御装置に対して、前記予測対象のデータまたは前記予測対象のデータに応じたデータを出力する出力部とを有する。
【発明の効果】
【0008】
本開示によれば、人とコンピュータとのインタラクションを改善することができる。
【図面の簡単な説明】
【0009】
【図1】インタラクション改善システムのシステム構成の一例を示す図である。
【図2】インタラクション改善システムに含まれる各システムの処理の概要を示す図である。
【図3A】予測対象のデータの第１の具体例を示す図である。
【図3B】予測対象のデータの第２の具体例を示す図である。
【図3C】予測対象のデータの第３の具体例を示す図である。
【図3D】予測対象のデータの第４の具体例を示す図である。
【図4】予測システムのハードウェア構成の一例を示す図である。
【図5】データ収集システムのシステム構成の一例を示す図である。
【図6】収集部の機能構成の一例を示す図である。
【図7】収集データの一例を示す図である。
【図8】データ収集システムによる学習用データ収集処理の流れを示すフローチャートの一例である。
【図9】学習システムの機能構成の一例を示す図である。
【図10】学習部の機能構成の一例を示す図である。
【図11】学習システムによる学習処理の流れを示すフローチャートの一例である。
【図12A】予測システムの機能構成の一例を示す第１の図である。
【図12B】予測システムの機能構成の一例を示す第２の図である。
【図13】設定画面の一例を示す図である。
【図14】予測システムによる予測処理の流れを示すフローチャートの一例である。
【図15】予測システムの適用例の概要を示す図である。
【図16】予測システムを適用した対話システムの一例を示す第１の図である。
【図17】予測システムの印象評価を検証するための検証方法の一例を示す図である。
【図18】予測システムの印象評価についての検証結果の一例を示す図である。
【図19】予測システムを適用した対話システムの一例を示す第２の図である。
【図20】予測システムを適用した対話システムの一例を示す第３の図である。
【発明を実施するための形態】
【0010】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0011】
［第１の実施形態］
＜インタラクション改善システムのシステム構成＞
はじめに、第１の実施形態に係る学習システム及び予測システムを含む、インタラクション改善システムのシステム構成について説明する。図１は、インタラクション改善システムのシステム構成の一例を示す図である。
＜インタラクション改善システムのシステム構成＞
はじめに、第１の実施形態に係る学習システム及び予測システムを含む、インタラクション改善システムのシステム構成について説明する。図１は、インタラクション改善システムのシステム構成の一例を示す図である。
【0012】
インタラクション改善システム１００は、
・人とコンピュータとのインタラクションを改善する予測システム１５０を構築し、
・当該予測システム１５０を、インタラクティブなシーンに適用させるために、当該予測システム１５０に対して、適用シーンに応じた設定を行う、
システムである。図１に示すように、インタラクション改善システム１００は、データ収集システム１１０と、学習システム１３０と、予測システム１５０とを有する。
・人とコンピュータとのインタラクションを改善する予測システム１５０を構築し、
・当該予測システム１５０を、インタラクティブなシーンに適用させるために、当該予測システム１５０に対して、適用シーンに応じた設定を行う、
システムである。図１に示すように、インタラクション改善システム１００は、データ収集システム１１０と、学習システム１３０と、予測システム１５０とを有する。
【0013】
データ収集システム１１０は、人間同士のインタラクションにおいて取得が可能なデータとして、人のアクション（人の動作（各部位の動き、表情の変化等を含む）、音声等）を示す複数種類のデータを取得し、予め定められた処理を行ったうえで、時系列に配列する。これにより、データ収集システム１１０は、人のアクションに関する複数種類のデータを生成し、収集データとして格納する。また、データ収集システム１１０は、格納した収集データを、学習用データ１２０と検証用データ（図１において不図示）とに分類し、学習用データ１２０を学習システム１３０に提供する。
【0014】
学習システム１３０は、複数の人のアクションの同時分布を学習する生成モデルを有する。学習システム１３０は、データ収集システム１１０より提供された学習用データ１２０を用いて、生成モデルを学習することで、学習済み生成モデル１４０を生成する。なお、同時分布とは、複数の確率変数の組を確率要素とする確率の確率分布のことをいう。
【0015】
具体的には、学習システム１３０は、学習用データ１２０に含まれる、人のアクションに関する複数種類のデータの一部を欠損させて生成モデルに入力する。続いて、学習システム１３０は、当該生成モデルにより出力されたデータに含まれる予測対象のデータが、当該欠損させたデータに近づくように、当該生成モデルの学習を行う。これにより、学習システム１３０は、学習済み生成モデル１４０を生成する。なお、学習システム１３０により生成された学習済み生成モデル１４０は、予測システム１５０に格納される。
【0016】
予測システム１５０は、人とコンピュータとのインタラクションにおいて取得されるデータから生成した、アクションに関する複数種類のデータであって、一部を欠損させた欠損データを、学習済み生成モデル１４０に入力する。また、予測システム１５０は、学習済み生成モデル１４０よって予測されたデータから、予測対象のデータ（当該欠損させたデータ）を抽出する。なお、予測システム１５０に対しては、学習済み生成モデル１４０に入力されるデータの種類及び種類数、欠損させるデータの種類及び種類数等が、適用シーンに応じて予め設定されているものとする。
【0017】
また、予測システム１５０は、抽出した予測対象のデータに基づいてアクションが行われるよう、アクションを制御する制御装置に対して、予測対象のデータまたは予測対象のデータに応じたデータを出力する。
【0018】
なお、アクションを制御する制御装置とは、人とコンピュータとのインタラクションにおいて、実空間内でアクションを行うロボットを制御する制御装置、または、仮想空間内でアクションを行うアバタを制御する制御装置を指す。
【0019】
＜インタラクション改善システムにおける処理の概要＞
次に、インタラクション改善システム１００に含まれる各システムの処理の概要について説明する。図２は、インタラクション改善システムに含まれる各システムの処理の概要を示す図である。
次に、インタラクション改善システム１００に含まれる各システムの処理の概要について説明する。図２は、インタラクション改善システムに含まれる各システムの処理の概要を示す図である。
【0020】
図２に示すように、人間同士のインタラクションは、全二重通信的である。具体的には、第２話者２０２のアクション２１２（第２話者２０２の動作（各部位の動き、表情の変化等を含む）、音声等）は、第１話者２０１のアクション２１１（第１話者２０１の動作（各部位の動き、表情の変化等を含む）、音声等）の影響を受ける。同様に、第１話者２０１のアクション２１１（第１話者２０１の動作（各部位の動き、表情の変化等を含む）、音声等）は、第２話者２０２のアクション２１２（第２話者２０２の動作（各部位の動き、表情の変化等を含む）、音声等）の影響を受ける。
【0021】
このため、上述したように、データ収集システム１１０では、人間同士のインタラクションにおいて取得が可能な、人のアクションを示す複数種類のデータを取得する。また、データ収集システム１１０では、取得した、人のアクションを示す複数種類のデータに対して、所定の処理を行ったうえで時系列に配列することで、アクションに関する複数種類のデータを生成する。
【0022】
図２に示すように、アクションに関する複数種類のデータには、第１話者２０１を撮影した画像データから抽出される特徴点情報（第１話者／画像特徴点情報）が含まれる。第１話者／画像特徴点情報とは、例えば、
・第１話者２０１の各時間における各部位の動きを特定する特徴点の位置、
・第１話者２０１の各時間における顔の表情を特定する特徴点の位置、
等を指す。
・第１話者２０１の各時間における各部位の動きを特定する特徴点の位置、
・第１話者２０１の各時間における顔の表情を特定する特徴点の位置、
等を指す。
【0023】
また、図２に示すように、アクションに関する複数種類のデータには、第１話者２０１に装着されたセンサが測定したセンサデータより抽出された特徴点情報（第１話者／センサ特徴点情報）が含まれる。第１話者／センサ特徴点情報とは、例えば、
・第１話者２０１の各時間における各部位の動きを特定する特徴点の位置、
等を指す。
・第１話者２０１の各時間における各部位の動きを特定する特徴点の位置、
等を指す。
【0024】
また、図２に示すように、アクションに関する複数種類のデータには、第１話者２０１の音声を処理することで生成された音声情報（第１話者／音声情報）が含まれる。第１話者／音声情報とは、例えば、
・第１話者２０１の各時間における音声の音圧レベルに応じた値、
等を指す。
・第１話者２０１の各時間における音声の音圧レベルに応じた値、
等を指す。
【0025】
同様に、図２に示すように、アクションに関する複数種類のデータには、第２話者２０２を撮影した画像データから抽出される特徴点情報（第２話者／画像特徴点情報）が含まれる。第２話者／画像特徴点情報とは、例えば、
・第２話者２０２の各時間における各部位の動きを特定する特徴点の位置、
・第２話者２０２の各時間における顔の表情を特定する特徴点の位置、
等を指す。
・第２話者２０２の各時間における各部位の動きを特定する特徴点の位置、
・第２話者２０２の各時間における顔の表情を特定する特徴点の位置、
等を指す。
【0026】
また、図２に示すように、アクションに関する複数種類のデータには、第２話者２０２に装着されたセンサが測定したセンサデータより抽出された特徴点情報（第２話者／センサ特徴点情報）が含まれる。第２話者／センサ特徴点情報とは、例えば、
・第２話者２０２の各時間における各部位の動きを特定する特徴点の位置、
等を指す。
・第２話者２０２の各時間における各部位の動きを特定する特徴点の位置、
等を指す。
【0027】
また、図２に示すように、アクションに関する複数種類のデータには、第２話者２０２の音声を処理することで生成された音声情報（第２話者／音声情報）が含まれる。第２話者／音声情報とは、例えば、
・第２話者２０２の各時間における音声の音圧レベルに応じた値、
等を指す。
・第２話者２０２の各時間における音声の音圧レベルに応じた値、
等を指す。
【0028】
また、上述したように、学習システム１３０では、データ収集システム１１０により生成された、アクションに関する複数種類のデータのうち、所定の時間範囲のデータを学習用データとして取得する。また、学習システム１３０では、取得した学習用データのうち、
・アクションに関する複数種類のデータの一部をランダムに欠損させた欠損データを入力データとし、
・当該ランダムに欠損させたデータを正解データ、
とすることで、アクションに関する複数種類のデータの同時分布を学習し、全二重通信的なインタラクションを可能にする学習済み生成モデル１４０を生成する。
・アクションに関する複数種類のデータの一部をランダムに欠損させた欠損データを入力データとし、
・当該ランダムに欠損させたデータを正解データ、
とすることで、アクションに関する複数種類のデータの同時分布を学習し、全二重通信的なインタラクションを可能にする学習済み生成モデル１４０を生成する。
【0029】
また、上述したように、予測システム１５０は、学習システム１３０により生成された学習済み生成モデル１４０を用いて予測したデータの中から、予測対象のデータを抽出する。また、予測システム１５０は、抽出した予測対象のデータまたは抽出した予測対象のデータに応じたデータを制御装置に出力する。
【0030】
＜予測対象のデータの具体例＞
次に、予測対象のデータの具体例について説明する。上記学習済み生成モデル１４０を用いる場合、予測システム１５０では、様々なデータを予測対象のデータとすることができる。ここでは、予測対象のデータの具体例について説明する。
次に、予測対象のデータの具体例について説明する。上記学習済み生成モデル１４０を用いる場合、予測システム１５０では、様々なデータを予測対象のデータとすることができる。ここでは、予測対象のデータの具体例について説明する。
【0031】
（１）予測対象のデータの第１の具体例
図３Ａは、予測対象のデータの第１の具体例を示す図である。図３Ａの例は、アクションに関する複数種類のデータのうち、
・第１主体３０１を撮影した画像データから抽出された、第１主体／画像特徴点情報と、
・第１主体３０１の音声を処理することで生成された、第１主体／音声情報と、
・第２主体３０２の音声を処理することで生成された、第２主体／音声情報と、
を入力データとし、
・第２主体３０２の動作を特定する第２主体／画像特徴点情報、
を"予測対象のデータ"とするケースを示している。つまり、"第２主体のアクションに関する複数種類のデータのうちの一部の種類のデータを欠損させて、予測するケース"を示している。
図３Ａは、予測対象のデータの第１の具体例を示す図である。図３Ａの例は、アクションに関する複数種類のデータのうち、
・第１主体３０１を撮影した画像データから抽出された、第１主体／画像特徴点情報と、
・第１主体３０１の音声を処理することで生成された、第１主体／音声情報と、
・第２主体３０２の音声を処理することで生成された、第２主体／音声情報と、
を入力データとし、
・第２主体３０２の動作を特定する第２主体／画像特徴点情報、
を"予測対象のデータ"とするケースを示している。つまり、"第２主体のアクションに関する複数種類のデータのうちの一部の種類のデータを欠損させて、予測するケース"を示している。
【0032】
なお、データ収集システム１１０がアクションに関する複数種類のデータを生成する際の、アクションの主体は人間に限られるため、図２では、アクションの主体を、"第１話者"、"第２話者"と記載した。これに対して、予測システム１５０がアクションに関する複数種類のデータを生成する際の、アクションの主体は人間とは限らず、少なくとも一方は、ロボットや仮想空間内のアバタ等である。このため、図３Ａ～図３Ｄ等の説明においては、アクションの主体を、"第１主体"、第２主体"と記載する。
【0033】
図３Ａに示すケースは、例えば、
・第１主体３０１が、サービスを利用するユーザ、
・第２主体３０２が、サービスを提供する提供者または提供者のアバタ、
であって、ユーザ（第１主体３０１）からの音声による問い合わせに対して、提供者（第２主体３０２）が音声で回答する際に、ユーザに対して、提供者（第２主体３０２）の音声を出力し、提供者のアバタ（第２主体３０２）の顔を表示するシーン等に適用される。
・第１主体３０１が、サービスを利用するユーザ、
・第２主体３０２が、サービスを提供する提供者または提供者のアバタ、
であって、ユーザ（第１主体３０１）からの音声による問い合わせに対して、提供者（第２主体３０２）が音声で回答する際に、ユーザに対して、提供者（第２主体３０２）の音声を出力し、提供者のアバタ（第２主体３０２）の顔を表示するシーン等に適用される。
【0034】
当該シーンにおいて、提供者（第２主体３０２）の音声は、ユーザ（第１主体３０１）の顔の表情及び音声の影響を受ける。更に、提供者のアバタ（第２主体３０２）の顔の表情は、ユーザ（第１主体３０１）の顔の表情及び音声、提供者（第２主体３０２）の音声の影響を受ける。
【0035】
そこで、図３Ａの例では、提供者のアバタ（第２主体３０２）の顔の表情を特定する「提供者のアバタ／画像特徴点情報」を"予測対象のデータ"とし、
・ユーザ（第１主体３０１）の顔の表情を撮影した画像データから抽出された、「ユーザ／画像特徴点情報」と、
・ユーザ（第１主体３０１）の音声を処理することで生成された、「ユーザ／音声情報」と、
・提供者（第２主体３０２）の音声を処理することで生成された、「提供者／音声情報」と、
を入力データとして学習済み生成モデル１４０に入力する。
・ユーザ（第１主体３０１）の顔の表情を撮影した画像データから抽出された、「ユーザ／画像特徴点情報」と、
・ユーザ（第１主体３０１）の音声を処理することで生成された、「ユーザ／音声情報」と、
・提供者（第２主体３０２）の音声を処理することで生成された、「提供者／音声情報」と、
を入力データとして学習済み生成モデル１４０に入力する。
【0036】
これにより、学習済み生成モデル１４０は、「提供者のアバタ／画像特徴点情報」を予測することが可能になる。また、制御装置は、当該「提供者のアバタ／画像特徴点情報」を用いて提供者のアバタ（第２主体３０２）の顔の表情を制御することが可能になる。この結果、提供者のアバタの顔の表情を、自然な表情にすることができる。
【0037】
（２）予測対象のデータの第２の具体例
図３Ｂは、予測対象のデータの第２の具体例を示す図である。図３Ｂの例は、アクションに関する複数種類のデータのうち、
・第１主体３０１を撮影した画像データから抽出された、第１主体／画像特徴点情報と、
・第１主体３０１の音声を処理することで生成された、第１主体／音声情報と、
・第２主体３０２の動作を特定する第２主体／画像特徴点情報のうち、時間Ｔｘ、Ｔｘ＋１での第２主体／画像特徴点情報と、
・第２主体３０２の音声を処理することで生成された、第２主体／音声情報と、
を入力データとし、
・第２主体３０２の動作を特定する第２主体／画像特徴点情報のうち、時間Ｔｘ－１までの第２主体／画像特徴点情報、
を"予測対象のデータ"とするケースを示している。つまり、"第２主体のアクションに関する複数種類のデータのうちの一部の種類の一部の時間範囲のデータを欠損させて、補間するケース"を示している。
図３Ｂは、予測対象のデータの第２の具体例を示す図である。図３Ｂの例は、アクションに関する複数種類のデータのうち、
・第１主体３０１を撮影した画像データから抽出された、第１主体／画像特徴点情報と、
・第１主体３０１の音声を処理することで生成された、第１主体／音声情報と、
・第２主体３０２の動作を特定する第２主体／画像特徴点情報のうち、時間Ｔｘ、Ｔｘ＋１での第２主体／画像特徴点情報と、
・第２主体３０２の音声を処理することで生成された、第２主体／音声情報と、
を入力データとし、
・第２主体３０２の動作を特定する第２主体／画像特徴点情報のうち、時間Ｔｘ－１までの第２主体／画像特徴点情報、
を"予測対象のデータ"とするケースを示している。つまり、"第２主体のアクションに関する複数種類のデータのうちの一部の種類の一部の時間範囲のデータを欠損させて、補間するケース"を示している。
【0038】
当該ケースは、上記（１）と同様のシーンに適用される。したがって、上記（１）と同様に、提供者（第２主体３０２）の音声は、ユーザ（第１主体３０１）の顔の表情及び音声の影響を受ける。更に、提供者のアバタ（第２主体３０２）の顔の表情は、ユーザ（第１主体３０１）の顔の表情及び音声、提供者（第２主体３０２）の音声の影響を受ける。
【0039】
一方で、当該ケースでは、提供者のアバタ（第２主体３０２）の時間Ｔｘ、Ｔｘ＋１での顔の表情として、目標とする表情が定められている。このため、当該ケースでは、目標とする表情に違和感なく繋がるように、提供者のアバタ（第２主体３０２）の時間Ｔｘ－１までの特徴点情報である第２主体／画像特徴点情報を、適切に補間する必要がある。
【0040】
そこで、図３Ｂの例では、提供者のアバタ（第２主体３０２）の顔の表情を特定する時間Ｔｘ－１までの「提供者のアバタ／画像特徴点情報」を"予測対象のデータ"とし、
・ユーザ（第１主体３０１）の顔の表情を撮影した画像データから抽出された、「ユーザ／画像特徴点情報」と、
・ユーザ（第１主体３０１）の音声を処理することで生成された、「ユーザ／音声情報」と、
・提供者のアバタ（第２主体３０２）の顔の表情を特定する「提供者のアバタ／画像特徴点情報」であって、時間Ｔｘ、Ｔｘ＋１での「提供者のアバタ／画像特徴点情報」と、
・提供者（第２主体３０２）の音声を処理することで生成された、「提供者／音声情報」と、
を入力データとして学習済み生成モデル１４０に入力する。
・ユーザ（第１主体３０１）の顔の表情を撮影した画像データから抽出された、「ユーザ／画像特徴点情報」と、
・ユーザ（第１主体３０１）の音声を処理することで生成された、「ユーザ／音声情報」と、
・提供者のアバタ（第２主体３０２）の顔の表情を特定する「提供者のアバタ／画像特徴点情報」であって、時間Ｔｘ、Ｔｘ＋１での「提供者のアバタ／画像特徴点情報」と、
・提供者（第２主体３０２）の音声を処理することで生成された、「提供者／音声情報」と、
を入力データとして学習済み生成モデル１４０に入力する。
【0041】
これにより、学習済み生成モデル１４０は、時間Ｔｘ－１までの「提供者のアバタ／画像特徴点情報」を予測することが可能になる。また、制御装置は、当該時間Ｔｘ－１までの「提供者のアバタ／画像特徴点情報」を用いて提供者のアバタ（第２主体３０２）の顔の表情を制御することが可能になる。この結果、提供者のアバタの顔の表情を、
・自然な表情にすることができる。
・目標とする表情に違和感なく繋げることができる。
・自然な表情にすることができる。
・目標とする表情に違和感なく繋げることができる。
【0042】
（３）予測対象のデータの第３の具体例
図３Ｃは、予測対象のデータの第３の具体例を示す図である。図３Ｃの例は、アクションに関する複数種類のデータのうち、
・第１主体３０１を撮影した画像データから抽出された、第１主体／画像特徴点情報と、
・第１主体３０１の音声を処理することで生成された、第１主体／音声情報と、
・第２主体３０２の動作を特定する第２主体／画像特徴点情報であって、様々な動作を特定する様々な第２主体／画像特徴点情報と、
・第２主体３０２の音声を処理することで生成された、第２主体／音声情報と、
を入力データとし、
・第１主体３０１の未来の動作を特定する第１主体／画像特徴点情報と、
・第１主体３０１の未来の音声を処理することで生成される第１主体／音声情報と、
を"予測対象のデータ"として、第２主体／画像特徴点情報を最適化するケースを示している。つまり、"第１主体のアクションに関する複数種類の未来のデータのうちの一部の種類の未来のデータを欠損させて反応を予測しながら、第２主体のアクションに関する複数種類の現在のデータのうちの特定の種類の現在のデータを最適化するケース"を示している。
図３Ｃは、予測対象のデータの第３の具体例を示す図である。図３Ｃの例は、アクションに関する複数種類のデータのうち、
・第１主体３０１を撮影した画像データから抽出された、第１主体／画像特徴点情報と、
・第１主体３０１の音声を処理することで生成された、第１主体／音声情報と、
・第２主体３０２の動作を特定する第２主体／画像特徴点情報であって、様々な動作を特定する様々な第２主体／画像特徴点情報と、
・第２主体３０２の音声を処理することで生成された、第２主体／音声情報と、
を入力データとし、
・第１主体３０１の未来の動作を特定する第１主体／画像特徴点情報と、
・第１主体３０１の未来の音声を処理することで生成される第１主体／音声情報と、
を"予測対象のデータ"として、第２主体／画像特徴点情報を最適化するケースを示している。つまり、"第１主体のアクションに関する複数種類の未来のデータのうちの一部の種類の未来のデータを欠損させて反応を予測しながら、第２主体のアクションに関する複数種類の現在のデータのうちの特定の種類の現在のデータを最適化するケース"を示している。
【0043】
当該ケースは、上記（１）と同様のシーンに適用される。当該シーンにおいて、提供者（第２主体３０２）の現在の音声及び提供者のアバタ（第２主体３０２）の現在の顔の表情は、ユーザ（第１主体３０１）の未来の顔の表情及び音声に影響を与える。一方で、ユーザ（第１主体３０１）の未来の顔の表情及び音声を、目標とする表情や目標とする音声にするには、提供者のアバタ（第２主体３０２）の現在の顔の表情を最適化する必要がある。
【0044】
具体的には、
・提供者のアバタ（第２主体３０２）の現在の様々な顔の表情を特定する様々な第２主体／画像特徴点情報を学習済み生成モデル１４０に順次入力し、
・ユーザ（第１主体３０１）の未来の顔の表情及び音声をそれぞれ予測し、
・予測した顔の表情及び音声が目標とする表情及び目標とする音声となる最適な第２主体／画像特徴点情報を探索する、
必要がある。
・提供者のアバタ（第２主体３０２）の現在の様々な顔の表情を特定する様々な第２主体／画像特徴点情報を学習済み生成モデル１４０に順次入力し、
・ユーザ（第１主体３０１）の未来の顔の表情及び音声をそれぞれ予測し、
・予測した顔の表情及び音声が目標とする表情及び目標とする音声となる最適な第２主体／画像特徴点情報を探索する、
必要がある。
【0045】
そこで、図３Ｃの例では、ユーザ（第１主体３０１）の未来の顔の表情を特定する「ユーザ／画像特徴点情報」と、ユーザ（第１主体３０１）の未来の音声を処理することで生成される「ユーザ／音声情報」とを"予測対象のデータ"とし、
・提供者（第２主体３０２）の現在の様々な顔の表情を特定する様々な「提供者のアバタ／画像特徴点情報」と、
・提供者（第２主体３０２）の現在の音声を処理することで生成された、「提供者／音声情報」と、
を入力データとして学習済み生成モデル１４０に入力する。
・提供者（第２主体３０２）の現在の様々な顔の表情を特定する様々な「提供者のアバタ／画像特徴点情報」と、
・提供者（第２主体３０２）の現在の音声を処理することで生成された、「提供者／音声情報」と、
を入力データとして学習済み生成モデル１４０に入力する。
【0046】
これにより、学習済み生成モデル１４０は、様々な「ユーザ／画像特徴点情報」及び「ユーザ／音声情報」を予測することが可能になる。この結果、様々な「ユーザ／画像特徴点情報」及び「ユーザ／音声情報」により特定されるユーザ（第１主体３０１）の未来の様々な顔の表情及び音声の中から、目標とする表情及び音声となる「提供者のアバタ／画像特徴点情報」を探索することが可能になる。つまり、「提供者のアバタ／画像特徴点情報」を最適化することが可能になる。
【0047】
更に、制御装置は、最適化された「提供者のアバタ／画像特徴点情報」を用いて（つまり、予測対象のデータに応じたデータを用いて）、提供者のアバタ（第２主体３０２）の顔の表情を制御することが可能になる。
【0048】
つまり、本ケースによれば、上記シーンにおいて、ユーザ（第１主体３０１）の顔の表情及び音声を、目標とする表情及び目標とする音声に導くことができる。
【0049】
（４）予測対象のデータの第４の具体例
図３Ｄは、予測対象のデータの第４の具体例を示す図である。図３Ｄの例は、アクションに関する複数種類のデータのうち、
・第２主体３０２の未来の様々な動作を特定する様々な第２主体／センサ特徴点情報、
を入力データとし、
・第１主体３０１の未来の動作を特定する第１主体／画像特徴点情報、
を"予測対象のデータ"とするケースを示している。つまり、"第１主体のアクションに関する複数種類の未来のデータのうちの一部の種類の未来のデータを欠損させて反応を予測しながら、第２主体のアクションに関する複数種類の未来のデータのうちの特定の種類の未来のデータを最適化するケース"を示している。
図３Ｄは、予測対象のデータの第４の具体例を示す図である。図３Ｄの例は、アクションに関する複数種類のデータのうち、
・第２主体３０２の未来の様々な動作を特定する様々な第２主体／センサ特徴点情報、
を入力データとし、
・第１主体３０１の未来の動作を特定する第１主体／画像特徴点情報、
を"予測対象のデータ"とするケースを示している。つまり、"第１主体のアクションに関する複数種類の未来のデータのうちの一部の種類の未来のデータを欠損させて反応を予測しながら、第２主体のアクションに関する複数種類の未来のデータのうちの特定の種類の未来のデータを最適化するケース"を示している。
【0050】
図３Ｄに示すケースは、例えば、
・第１主体３０１が、対向して歩行する歩行者、
・第２主体３０２が、当該歩行者とすれ違うロボット、
であって、歩行者とロボットとが衝突することなくすれ違うように、ロボットのアクションを決定するシーン等に適用される。
・第１主体３０１が、対向して歩行する歩行者、
・第２主体３０２が、当該歩行者とすれ違うロボット、
であって、歩行者とロボットとが衝突することなくすれ違うように、ロボットのアクションを決定するシーン等に適用される。
【0051】
当該シーンでは、ロボット（第２主体３０２）の未来の各部位の動きが、歩行者（第１主体３０１）の未来の各部位の動きに影響を与える。一方で、歩行者（第１主体３０１）が避ける方向が、ロボット（第２主体３０２）が避ける方向と反対の方向となるように、ロボット（第２主体３０２）の未来の各部位の動きを最適化する必要がある。
【0052】
具体的には、
・ロボット（第２主体３０２）の未来の各部位の様々な動きを特定する様々な第２主体／センサ特徴点情報を学習済み生成モデル１４０に順次入力し、
・歩行者（第１主体３０１）の未来の各部位の動きをそれぞれ予測し、
・予測した各部位の動きが、目標とする各部位の動きとなる（つまり、ロボット（第２主体３０２）が避ける方向と反対の方向に避ける動きとなる）最適な第２主体／センサ特徴点情報を探索する、
必要がある。
・ロボット（第２主体３０２）の未来の各部位の様々な動きを特定する様々な第２主体／センサ特徴点情報を学習済み生成モデル１４０に順次入力し、
・歩行者（第１主体３０１）の未来の各部位の動きをそれぞれ予測し、
・予測した各部位の動きが、目標とする各部位の動きとなる（つまり、ロボット（第２主体３０２）が避ける方向と反対の方向に避ける動きとなる）最適な第２主体／センサ特徴点情報を探索する、
必要がある。
【0053】
そこで、図３Ｄの例では、歩行者（第１主体３０１）の未来の各部位の動きを特定する「歩行者／画像特徴点情報」を"予測対象のデータ"とし、
・ロボット（第２主体３０２）の未来の各部位の様々な動きを特定する様々な「ロボット／センサ特徴点情報」、
を入力データとして学習済み生成モデル１４０に入力する。
・ロボット（第２主体３０２）の未来の各部位の様々な動きを特定する様々な「ロボット／センサ特徴点情報」、
を入力データとして学習済み生成モデル１４０に入力する。
【0054】
これにより、学習済み生成モデル１４０は、様々な「歩行者／画像特徴点情報」を予測することが可能になる。この結果、様々な「歩行者／画像特徴点情報」により特定される、歩行者（第１主体３０１）の未来の各部位の様々な動きの中から、目標とする各部位の動きとなる「ロボット／センサ特徴点情報」を探索することが可能になる。つまり、「ロボット／センサ特徴点情報」を最適化することが可能になる。
【0055】
更に、制御装置は、最適された「ロボット／センサ特徴点情報」を用いて（つまり、予測対象のデータに応じたデータを用いて）、ロボット（第２主体３０２）の各部位の動きを制御することが可能になる。
【0056】
つまり、本ケースによれば、上記シーンにおいて、歩行者（第１主体３０１）の各部位の動きを、目標とする各部位の動きに導くことができ、ロボット（第２主体３０２）は、歩行者（第１主体３０１）との衝突を回避することができる。
【0057】
＜各種システムのシステム構成＞
次に、インタラクション改善システム１００に含まれる各システム（データ収集システム１１０、学習システム１３０、予測システム１５０）のハードウェア構成について説明する。なお、インタラクション改善システムに含まれる各システムにおいて、
・データ収集システム１１０を構成する学習用データ収集装置（後述）、
・学習システム１３０、
・予測システム１５０、
は、互いに同様のハードウェア構成を有することから、ここでは、予測システム１５０のハードウェア構成について説明する。
次に、インタラクション改善システム１００に含まれる各システム（データ収集システム１１０、学習システム１３０、予測システム１５０）のハードウェア構成について説明する。なお、インタラクション改善システムに含まれる各システムにおいて、
・データ収集システム１１０を構成する学習用データ収集装置（後述）、
・学習システム１３０、
・予測システム１５０、
は、互いに同様のハードウェア構成を有することから、ここでは、予測システム１５０のハードウェア構成について説明する。
【0058】
図４は、予測システムのハードウェア構成の一例を示す図である。図４に示すように、予測システム１５０は、プロセッサ４０１、メモリ４０２、補助記憶装置４０３、Ｉ／Ｆ（Interface）装置４０４、通信装置４０５、ドライブ装置４０６を有する。なお、予測システム１５０に含まれる各ハードウェアは、バス４０７を介して相互に接続されている。
【0059】
プロセッサ４０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ４０１は、各種プログラム（例えば、後述する予測プログラム等）をメモリ４０２上に読み出して実行する。
【0060】
メモリ４０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ４０１とメモリ４０２とは、いわゆるコンピュータを形成し、プロセッサ４０１が、メモリ４０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能部を実現する。
【0061】
補助記憶装置４０３は、各種プログラムや、各種プログラムがプロセッサ４０１によって実行される際に用いられる各種情報を格納する。例えば、後述する学習済みモデル格納部１２８０は、補助記憶装置４０３により実現される。
【0062】
Ｉ／Ｆ装置４０４は、外部装置４１０（例えば、操作装置、表示装置等）と接続する接続デバイスである。Ｉ／Ｆ装置４０４は、予測システム１５０に対する操作を、操作装置を介して受け付ける。また、Ｉ／Ｆ装置４０４は、予測システム１５０における処理の結果を出力し、表示装置を介して表示する。
【0063】
通信装置４０５は、ネットワーク４２０を介して外部装置４３０（例えば、情報処理装置、制御装置等）と通信するための通信デバイスである。
【0064】
ドライブ装置４０６は記録媒体４４０をセットするためのデバイスである。ここでいう記録媒体４４０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体４４０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【0065】
なお、補助記憶装置４０３にインストールされる各種プログラムは、例えば、配布された記録媒体４４０がドライブ装置４０６にセットされ、該記録媒体４４０に記録された各種プログラムがドライブ装置４０６により読み出されることでインストールされる。あるいは、補助記憶装置４０３にインストールされる各種プログラムは、通信装置４０５を介してネットワーク４２０よりダウンロードされることで、インストールされてもよい。
【0066】
＜データ収集システムのシステム構成＞
次に、データ収集システム１１０のシステム構成について説明する。図５は、データ収集システムのシステム構成の一例を示す図である。
次に、データ収集システム１１０のシステム構成について説明する。図５は、データ収集システムのシステム構成の一例を示す図である。
【0067】
図５に示すように、データ収集システム１１０は、音声取得装置５０１、撮像装置５０２、センサデータ取得装置５０３、音声出力装置５０４を有する。また、データ収集システム１１０は、音声取得装置５１１、撮像装置５１２、センサデータ取得装置５１３、音声出力装置５１４を有する。更に、データ収集システム１１０は、学習用データ収集装置５２０を有する。
【0068】
なお、符号５３０は、データ収集システム１１０が、収集データを生成する様子を、模式的に表したものである。符号５３０に示すように、第１の実施形態において、データ収集システム１１０は、２人の話者が、互いに向き合って対話する際の、当該２人の話者のアクションを示す複数種類のデータに基づいて、アクションに関する複数種類のデータを生成する。
【0069】
音声取得装置５０１は、第１話者２０１の頭部に装着され、対話中の第１話者２０１の音声を取得し、音声データを学習用データ収集装置５２０に送信する。なお、対話中の第１話者２０１の音声は、第２話者２０２の音声出力装置５１４にも送信され、第２話者２０２に出力される。
【0070】
撮像装置５０２は、第１話者２０１の正面に配置され、対話中の第１話者２０１の動作を撮影し、画像データを学習用データ収集装置５２０に送信する。
【0071】
センサデータ取得装置５０３は、第１話者２０１の各部位に装着され、対話中の第１話者２０１の各部位の動きに伴って変化する各部位の位置を測定し、センサデータを学習用データ収集装置５２０に送信する。
【0072】
音声出力装置５０４は、第１話者２０１の頭部に装着され、第２話者２０２の音声を第１話者２０１に出力する。
【0073】
同様に、音声取得装置５１１は、第２話者２０２の頭部に装着され、対話中の第２話者２０２の音声を取得し、音声データを学習用データ収集装置５２０に送信する。なお、対話中の第２話者２０２の音声は、第１話者２０１の音声出力装置５０４にも送信され、第１話者２０１に出力される。
【0074】
撮像装置５１２は、第２話者２０２の正面に配置され、対話中の第２話者２０２の動作を撮影し、画像データを学習用データ収集装置５２０に送信する。
【0075】
センサデータ取得装置５１３は、第２話者２０２の各部位に装着され、対話中の第２話者２０２の各部位の動きに伴って変化する各部位の位置を測定し、センサデータを学習用データ収集装置５２０に送信する。
【0076】
音声出力装置５１４は、第２話者２０２の頭部に装着され、第１話者２０１の音声を第２話者２０２に出力する。
【0077】
学習用データ収集装置５２０には、学習用データ収集プログラムがインストールされており、当該プログラムが実行されることで、学習用データ収集装置５２０は、収集部５２１として機能する。
【0078】
収集部５２１は、音声取得装置５０１から送信された音声データを処理することで音声情報を生成し、収集データとして、学習用データ格納部５２２に格納する。同様に、収集部５２１は、音声取得装置５１１から送信された音声データを処理することで音声情報を生成し、収集データとして、学習用データ格納部５２２に格納する。
【0079】
収集部５２１は、撮像装置５０２から送信された画像データから、特徴点情報を抽出し、収集データとして、学習用データ格納部５２２に格納する。同様に、収集部５２１は、撮像装置５１２から送信された画像データから、特徴点情報を抽出し、収集データとして、学習用データ格納部５２２に格納する。
【0080】
収集部５２１は、センサデータ取得装置５０３から送信されたセンサデータから、特徴点情報を抽出し、収集データとして、学習用データ格納部５２２に格納する。同様に、収集部５２１は、センサデータ取得装置５１３から送信されたセンサデータから、特徴点情報を抽出し、収集データとして、学習用データ格納部５２２に格納する。
【0081】
＜収集部の機能構成＞
次に、学習用データ収集装置５２０の収集部５２１の詳細について説明する。図６は、収集部の機能構成の一例を示す図である。図６に示すように、収集部５２１は、第１話者用音声処理部６０１、第１話者用画像特徴点抽出部６０２、第１話者用センサ特徴点抽出部６０３を有する。また、収集部５２１は、第２話者用音声処理部６１１、第２話者用画像特徴点抽出部６１２、第２話者用センサ特徴点抽出部６１３を有する。
次に、学習用データ収集装置５２０の収集部５２１の詳細について説明する。図６は、収集部の機能構成の一例を示す図である。図６に示すように、収集部５２１は、第１話者用音声処理部６０１、第１話者用画像特徴点抽出部６０２、第１話者用センサ特徴点抽出部６０３を有する。また、収集部５２１は、第２話者用音声処理部６１１、第２話者用画像特徴点抽出部６１２、第２話者用センサ特徴点抽出部６１３を有する。
【0082】
第１話者用音声処理部６０１は、例えば、ＶＡＤ（Voice Activity Detection）による処理を行う。具体的には、第１話者用音声処理部６０１は、第１話者２０１の音声データについて各時間における音圧レベルを検出し、所定の閾値以上の音圧レベルを１に変換し、所定の閾値未満の音圧レベルを０に変換する。これにより、第１話者用音声処理部６０１は、０または１の時系列データ（符号６３１）からなる音声情報を生成し、学習用データ格納部５２２に格納する。
【0083】
同様に、第２話者用音声処理部６１１は、例えば、ＶＡＤ（Voice Activity Detection）による処理を行う。具体的には、第２話者用音声処理部６１１は、第２話者２０２の音声データについて各時間における音圧レベルを検出し、所定の閾値以上の音圧レベルを１に変換し、所定の閾値未満の音圧レベルを０に変換する。これにより、第２話者用音声処理部６１１は、０または１の時系列データ（符号６４１）からなる音声情報を生成し、学習用データ格納部５２２に格納する。
【0084】
第１話者用画像特徴点抽出部６０２は、第１話者２０１の各時間の画像データから、例えば、顔領域を抽出し、抽出した顔領域の画像データから、ＯｐｅｎＦａｃｅ等のアプリケーションを用いて、顔の表情を特定する特徴点を抽出する（符号６３２参照）。また、第１話者用画像特徴点抽出部６０２は、抽出した特徴点の位置を特徴点情報として、学習用データ格納部５２２に格納する。
【0085】
同様に、第２話者用画像特徴点抽出部６１２は、第２話者２０２の各時間の画像データから、例えば、顔領域を抽出し、抽出した顔領域の画像データから、ＯｐｅｎＦａｃｅ等のアプリケーションを用いて、表情を特定する特徴点を抽出する（符号６４２参照）。また、第２話者用画像特徴点抽出部６１２は、抽出した特徴点の位置を特徴点情報として、学習用データ格納部５２２に格納する。
【0086】
第１話者用センサ特徴点抽出部６０３は、第１話者２０１の各部位に装着されたセンサにより測定された各時間のセンサデータから、各部位の動きを特定する特徴点を抽出する（符号６３３参照）。また、第１話者用センサ特徴点抽出部６０３は、抽出した特徴点の位置を特徴点情報として、学習用データ格納部５２２に格納する。
【0087】
同様に、第２話者用センサ特徴点抽出部６１３は、第２話者２０２の各部位に装着されたセンサにより測定された各時間のセンサデータから、各部位の動きを特定する特徴点を抽出する（符号６４３参照）。また、第２話者用センサ特徴点抽出部６１３は、抽出した特徴点の位置を特徴点情報として、学習用データ格納部５２２に格納する。
【0088】
＜収集データの一例＞
次に、データ収集システム１１０により収集された収集データについて説明する。図７は、収集データの一例を示す図である。
次に、データ収集システム１１０により収集された収集データについて説明する。図７は、収集データの一例を示す図である。
【0089】
図７に示すように、収集データ７００には、情報の項目として"話者／データ種"が含まれる。"話者／データ種"には、収集されたデータが、第１話者２０１のアクションに関するデータか、第２話者２０２のアクションに関するデータかを示す情報と、収集されたデータの種類とが格納される。
【0090】
データ収集システム１１０の場合、
・第１話者用音声処理部６０１により生成された音声情報は、"第１話者／音声情報"の項目に、
・第１話者用画像特徴点抽出部６０２により抽出された特徴点情報は、"第１話者／画像特徴点情報"の項目に、
・第１話者用センサ特徴点抽出部６０３により抽出された特徴点情報は、"第１話者／センサ特徴点情報"の項目に、
それぞれ格納される。
・第１話者用音声処理部６０１により生成された音声情報は、"第１話者／音声情報"の項目に、
・第１話者用画像特徴点抽出部６０２により抽出された特徴点情報は、"第１話者／画像特徴点情報"の項目に、
・第１話者用センサ特徴点抽出部６０３により抽出された特徴点情報は、"第１話者／センサ特徴点情報"の項目に、
それぞれ格納される。
【0091】
同様に、データ収集システム１１０の場合、
・第２話者用音声処理部６１１により生成された音声情報は、"第２話者／音声情報"の項目に、
・第２話者用画像特徴点抽出部６１２により生成された特徴点情報は、"第２話者／画像特徴点情報"の項目に、
・第２話者用センサ特徴点抽出部６１３により生成された特徴点情報は、"第２話者／センサ特徴点情報"の項目に、
それぞれ格納される。
・第２話者用音声処理部６１１により生成された音声情報は、"第２話者／音声情報"の項目に、
・第２話者用画像特徴点抽出部６１２により生成された特徴点情報は、"第２話者／画像特徴点情報"の項目に、
・第２話者用センサ特徴点抽出部６１３により生成された特徴点情報は、"第２話者／センサ特徴点情報"の項目に、
それぞれ格納される。
【0092】
また、図７に示すように、収集データ７００には、情報の項目として"フレーム識別子"が含まれる。具体的には、"フレーム識別子"として、フレーム１、フレーム２、・・・フレームｎ、フレームｎ＋１、・・・フレームｎ＋ｍが含まれる。
【0093】
フレーム識別子は、撮像装置５０２及び撮像装置５１２により撮影された画像データの各フレームを識別するための識別子である。なお、撮像装置５０２と撮像装置５１２とは、各フレームの生成タイミングが同期しており、同じタイミングで生成されたフレームについては、同じフレーム識別子が付されているものとする。
【0094】
したがって、例えば、フレーム識別子＝"フレーム１"に対応づけて格納された画像特徴点情報１＿１と、画像特徴点情報２＿１とは、同じタイミングで生成されたフレームの画像データから抽出された特徴点情報である。
【0095】
なお、"フレーム１"に対応付けて格納されたセンサ特徴点情報１＿１、センサ特徴点情報２＿１も、"フレーム１"が生成されたタイミングで取得されたセンサデータに基づいて生成されたセンサ特徴点情報である。同様に、"フレーム１"に対応付けて格納された音声情報１＿１、音声情報２＿１も、"フレーム１"が生成されたタイミングで取得された音声データに基づいて生成された音声情報である。
【0096】
また、図７に示すように、収集データ７００において、フレーム識別子が"フレーム１"から"フレームｎ"の時間範囲に対応する収集データは、学習用データとして提供される。また、図７に示すように、収集データ７００において、フレーム識別子が"フレームｎ＋１"から"フレームｎ＋ｍ"の時間範囲に対応する収集データは、検証用データとして提供される。
【0097】
＜学習用データ収集処理の流れ＞
次に、データ収集システム１１０による学習用データ収集処理の流れについて説明する。図８は、データ収集システムによる学習用データ収集処理の流れを示すフローチャートの一例である。
次に、データ収集システム１１０による学習用データ収集処理の流れについて説明する。図８は、データ収集システムによる学習用データ収集処理の流れを示すフローチャートの一例である。
【0098】
ステップＳ８０１において、撮像装置５０２、５１２は、撮影を開始し、撮影した画像データを学習用データ収集装置５２０に送信する。また、音声取得装置５０１、５１１は、音声データの取得を開始し、取得した音声データを学習用データ収集装置５２０に送信する。また、センサデータ取得装置５０３、５１３は、センサデータの取得を開始し、取得したセンサデータを学習用データ収集装置５２０に送信する。
【0099】
ステップＳ８０２において、第１話者２０１と第２話者２０２は、対話を開始する。
【0100】
ステップＳ８０３において、学習用データ収集装置５２０は、第１話者２０１と第２話者２０２との対話が開始されてから、所定時間が経過したか否かを判定する。ステップＳ８０３において所定時間が経過していないと判定した場合には（ステップＳ８０３においてＮＯの場合には）、所定時間が経過したと判定するまで待機する。
【0101】
一方、ステップＳ８０３において、所定時間が経過したと判定した場合には（ステップＳ８０３においてＹＥＳの場合には）、ステップＳ８０４に進む。
【0102】
ステップＳ８０４において、第１話者２０１と第２話者２０２は、対話を終了する。
【0103】
ステップＳ８０５において、撮像装置５０２、５１２は、撮影を終了する。また、音声取得装置５０１、５１１は、音声データの取得を終了する。更に、センサデータ取得装置５０３、５１３は、センサデータの取得を終了する。
【0104】
ステップＳ８０６において、学習用データ収集装置５２０は、第１話者２０１の画像データから画像特徴点情報を抽出する。また、学習用データ収集装置５２０は、第２話者２０２の画像データから画像特徴点情報を抽出する。
【0105】
ステップＳ８０７において、学習用データ収集装置５２０は、第１話者２０１のセンサデータからセンサ特徴点情報を抽出する。また、学習用データ収集装置５２０は、第２話者２０２のセンサデータからセンサ特徴点情報を抽出する。
【0106】
ステップＳ８０８において、学習用データ収集装置５２０は、第１話者２０１の音声データから音声情報を生成する。また、学習用データ収集装置５２０は、第２話者２０２の音声データから音声情報を生成する。
【0107】
ステップＳ８０９において、学習用データ収集装置５２０は、抽出または生成した画像特徴点情報、センサ特徴点情報、音声情報を、フレーム識別子に基づいて時系列に配列することで、収集データ（アクションに関する複数種類のデータ）を生成する。
【0108】
ステップＳ８１０において、学習用データ収集装置５２０は、生成した収集データを、学習用データと検証用データとに分類し、学習用データ格納部５２２に格納する。
【0109】
＜学習システムの機能構成＞
次に、学習システム１３０の機能構成について説明する。図９は、学習システムの機能構成の一例を示す図である。学習システム１３０には、学習プログラムがインストールされており、当該プログラムが実行されることで、学習システム１３０は、学習用データ読み出し部９１０、マスク生成部９２０、学習部９３０、学習済み生成モデル出力部９４０として機能する。
次に、学習システム１３０の機能構成について説明する。図９は、学習システムの機能構成の一例を示す図である。学習システム１３０には、学習プログラムがインストールされており、当該プログラムが実行されることで、学習システム１３０は、学習用データ読み出し部９１０、マスク生成部９２０、学習部９３０、学習済み生成モデル出力部９４０として機能する。
【0110】
学習用データ読み出し部９１０は、学習用データ格納部５２２に格納された収集データから、学習用データ１２０を読み出し、マスク生成部９２０に通知する。
【0111】
マスク生成部９２０は、学習用データ１２０に含まれるアクションに関する複数種類のデータの一部をランダムにマスクすることで、アクションに関する複数種類のデータの一部を欠損させた欠損データを生成する。また、マスク生成部９２０は、生成した欠損データを入力データとして、学習部９３０に入力する。また、マスク生成部９２０は、欠損データを生成する際にマスクすることで欠損させたデータ（マスク対象データ）を正解データとして、学習部９３０に入力する。
【0112】
学習部９３０は、マスク生成部９２０により入力された入力データ及び正解データを用いることにより、人のアクションの同時分布を学習する生成モデルに対して学習を行い、学習済み生成モデル１４０を生成する。
【0113】
学習済み生成モデル出力部９４０は、学習部９３０により生成された学習済み生成モデル１４０を、予測システム１５０に格納する。
【0114】
なお、学習済み生成モデル出力部９４０が学習済み生成モデル１４０を予測システム１５０に格納するにあたっては、検証用データを用いて学習済み生成モデル１４０の予測精度の検証が行われるものとする。
【0115】
＜学習部の機能構成の詳細＞
次に、学習部９３０の機能構成の詳細について説明する。図１０は、学習部の機能構成の一例を示す図である。図１０に示すように、学習部９３０は、生成モデル１０１０と、マスク対象抽出部１０２０と、比較変更部１０３０とを有する。
次に、学習部９３０の機能構成の詳細について説明する。図１０は、学習部の機能構成の一例を示す図である。図１０に示すように、学習部９３０は、生成モデル１０１０と、マスク対象抽出部１０２０と、比較変更部１０３０とを有する。
【0116】
学習用データ１２０が通知されると、マスク生成部９２０は、学習用データ１２０に含まれるアクションに関する複数種類のデータの一部をランダムにマスクすることで、アクションに関する複数種類のデータの一部を欠損させた欠損データを生成する。図１０の例は、マスク生成部９２０が、学習用データ１２０のハッチング領域をマスクした様子を示している。
【0117】
マスク生成部９２０は、ハッチング領域のデータ（画像特徴点情報２＿１～画像特徴点情報２＿ｎ）を除く学習用データ１２０である欠損データを、入力データとして、生成モデル１０１０に入力する。
【0118】
また、マスク生成部９２０は、ハッチング領域のデータ（画像特徴点情報２＿１～画像特徴点情報２＿ｎ）であるマスク対象データを、正解データとして、比較変更部１０３０に入力する。
【0119】
生成モデル１０１０は、例えば、深層ニューラルネットワークなどにより構成されたモデルであって、マスクにより欠損された領域を復元するように学習が行われる生成モデルである。生成モデル１０１０は、欠損データが入力されることで、マスク対象データに対応するデータを含むデータを予測する。また、生成モデル１０１０は、予測したデータをマスク対象抽出部１０２０に出力する。
【0120】
マスク対象抽出部１０２０は、生成モデル１０１０により出力されたデータの中から、マスク生成部９２０によりマスクされたマスク対象データに対応するデータを抽出する。また、マスク対象抽出部１０２０は、抽出したデータを比較変更部１０３０に出力する。
【0121】
比較変更部１０３０は、マスク対象抽出部１０２０により出力されたデータが、マスク生成部９２０により正解データとして入力されたマスク対象データに近づくように、生成モデル１０１０のモデルパラメータを更新する。これにより、アクションに関する複数種類のデータの同時分布が学習され、学習済み生成モデル１４０が生成される。
【0122】
＜学習システムによる学習処理の流れ＞
次に、学習システム１３０による学習処理の流れについて説明する。図１１は、学習システムによる学習処理の流れを示すフローチャートの一例である。
次に、学習システム１３０による学習処理の流れについて説明する。図１１は、学習システムによる学習処理の流れを示すフローチャートの一例である。
【0123】
ステップＳ１１０１において、学習システム１３０は、学習用データ１２０を読み出す。
【0124】
ステップＳ１１０２において、学習システム１３０は、学習用データ１２０に含まれるアクションに関する複数種類のデータの一部をランダムにマスクすることで、欠損データとマスク対象データとを生成する。
【0125】
ステップＳ１１０３において、学習システム１３０は、欠損データを入力データ、マスク対象データを正解データとして、生成モデルの学習を行う。
【0126】
ステップＳ１１０４において、学習システム１３０は、学習により生成した学習済み生成モデルを、予測システム１５０に格納する。
【0127】
＜予測システムの機能構成＞
（１）図３Ａ、図３Ｂのケースに対応する予測システムの機能構成
次に、予測システム１５０の機能構成について説明する。ここでは、図３Ａ、図３Ｂのケースに対応する予測システム１５０の機能構成について説明する。図１２Ａは、予測システムの機能構成の一例を示す第１の図である。上述したように、予測システム１５０には、予測プログラムがインストールされており、当該プログラムが実行されることで、予測システム１５０は、第１主体用音声データ取得部１２０１、第１主体用音声処理部１２０２として機能する。
（１）図３Ａ、図３Ｂのケースに対応する予測システムの機能構成
次に、予測システム１５０の機能構成について説明する。ここでは、図３Ａ、図３Ｂのケースに対応する予測システム１５０の機能構成について説明する。図１２Ａは、予測システムの機能構成の一例を示す第１の図である。上述したように、予測システム１５０には、予測プログラムがインストールされており、当該プログラムが実行されることで、予測システム１５０は、第１主体用音声データ取得部１２０１、第１主体用音声処理部１２０２として機能する。
【0128】
また、予測プログラムが実行されることで、予測システム１５０は、第１主体用画像データ取得部１２１１、第１主体用画像特徴点抽出部１２１２、第１主体用センサデータ取得部１２２１、第１主体用センサ特徴点抽出部１２２２として機能する。
【0129】
また、予測プログラムが実行されることで、予測システム１５０は、第２主体用音声データ取得部１２３１、第２主体用音声処理部１２３２として機能する。
【0130】
また、予測プログラムが実行されることで、予測システム１５０は、第２主体用画像データ取得部１２４１、第２主体用画像特徴点抽出部１２４２、第２主体用センサデータ取得部１２５１、第２主体用センサ特徴点抽出部１２５２として機能する。
【0131】
また、予測プログラムが実行されることで、予測システム１５０は、マスク生成部１２６１、予測部１２６２、予測対象出力部１２６４、設定部１２７０として機能する。
【0132】
第１主体用音声データ取得部１２０１は、予測システム１５０の外部から、第１主体の音声データを取得し、第１主体用音声処理部１２０２に入力する。第１主体用音声処理部１２０２の機能は、図６に示した第１話者用音声処理部６０１と同じであるため、ここでは、説明を省略する。なお、第１主体用音声処理部１２０２により生成された音声情報は、マスク生成部１２６１に入力される。
【0133】
第１主体用画像データ取得部１２１１は、予測システム１５０の外部から、第１主体を撮影した画像データを取得し、第１主体用画像特徴点抽出部１２１２に入力する。第１主体用画像特徴点抽出部１２１２の機能は、図６に示した第１話者用画像特徴点抽出部６０２と同じであるため、ここでは、説明を省略する。なお、第１主体用画像特徴点抽出部１２１２により抽出された画像特徴点情報は、マスク生成部１２６１に入力される。
【0134】
第１主体用センサデータ取得部１２２１は、予測システム１５０の外部から、第１主体に装着されたセンサにより測定されたセンサデータを取得し、第１主体用センサ特徴点抽出部１２２２に入力する。第１主体用センサ特徴点抽出部１２２２の機能は、図６に示した第１話者用センサ特徴点抽出部６０３と同じであるため、ここでは、説明を省略する。なお、第１主体用センサ特徴点抽出部１２２２により抽出されたセンサ特徴点情報は、マスク生成部１２６１に入力される。
【0135】
第２主体用音声データ取得部１２３１は、予測システム１５０の外部から、第２主体の音声データを取得し、第２主体用音声処理部１２３２に入力する。第２主体用音声処理部１２３２の機能は、図６に示した第２話者用音声処理部６１１と同じであるため、ここでは、説明を省略する。なお、第２主体用音声処理部１２３２により生成された音声情報は、マスク生成部１２６１に入力される。
【0136】
第２主体用画像データ取得部１２４１は、予測システム１５０の外部から、第２主体を撮影した画像データを取得し、第２主体用画像特徴点抽出部１２４２に入力する。第２主体用画像特徴点抽出部１２４２の機能は、図６に示した第２話者用画像特徴点抽出部６１２と同じであるため、ここでは、説明を省略する。なお、第２主体用画像特徴点抽出部１２４２により抽出された画像特徴点情報は、マスク生成部１２６１に入力される。
【0137】
第２主体用センサデータ取得部１２５１は、予測システム１５０の外部から、第２主体に装着されたセンサにより測定されたセンサデータを取得し、第２主体用センサ特徴点抽出部１２５２に入力する。第２主体用センサ特徴点抽出部１２５２の機能は、図６に示した第２話者用センサ特徴点抽出部６１３と同じであるため、ここでは、説明を省略する。なお、第２主体用センサ特徴点抽出部１２５２により抽出されたセンサ特徴点情報は、マスク生成部１２６１に入力される。
【0138】
マスク生成部１２６１は、アクションに関する複数種類のデータである、
・第１主体用音声処理部１２０２より入力された音声情報、
・第１主体用画像特徴点抽出部１２１２より入力された画像特徴点情報、
・第１主体用センサ特徴点抽出部１２２２より入力されたセンサ特徴点情報、
・第２主体用音声処理部１２３２より入力された音声情報、
・第２主体用画像特徴点抽出部１２４２より入力された画像特徴点情報、
・第２主体用センサ特徴点抽出部１２５２より入力されたセンサ特徴点情報、
のうち、設定部１２７０により設定された入力対象のデータを抽出する。入力対象のデータとは、アクションに関する複数種類のデータのうち、学習済み生成モデル１４０に入力されるデータである。なお、設定部１２７０は、予め、入力対象として、データの種類と種類数とを、マスク生成部１２６１に対して設定しているものとする。
・第１主体用音声処理部１２０２より入力された音声情報、
・第１主体用画像特徴点抽出部１２１２より入力された画像特徴点情報、
・第１主体用センサ特徴点抽出部１２２２より入力されたセンサ特徴点情報、
・第２主体用音声処理部１２３２より入力された音声情報、
・第２主体用画像特徴点抽出部１２４２より入力された画像特徴点情報、
・第２主体用センサ特徴点抽出部１２５２より入力されたセンサ特徴点情報、
のうち、設定部１２７０により設定された入力対象のデータを抽出する。入力対象のデータとは、アクションに関する複数種類のデータのうち、学習済み生成モデル１４０に入力されるデータである。なお、設定部１２７０は、予め、入力対象として、データの種類と種類数とを、マスク生成部１２６１に対して設定しているものとする。
【0139】
また、マスク生成部１２６１は、設定された入力対象に基づき抽出したアクションに関する複数種類のデータの一部を、設定部１２７０により設定されたマスク対象に基づいてマスクすることで欠損させる。これにより、マスク生成部１２６１は、アクションに関する複数種類のデータの一部を欠損させた欠損データを生成する。なお、設定部１２７０は、予めマスク対象として、データの種類と種類数とを、マスク生成部１２６１に対して設定しているものとする。
【0140】
予測部１２６２は、学習済みモデル格納部１２８０に格納された学習済み生成モデル１４０を読み出し、マスク生成部１２６１により生成された欠損データを入力する。また、予測部１２６２は、学習済み生成モデル１４０に欠損データを入力することで学習済み生成モデル１４０により予測されたデータを、予測対象出力部１２６４に出力する。
【0141】
予測対象出力部１２６４は、予測部１２６２により出力されたデータの中から、設定部１２７０により設定された予測対象のデータ（マスク対象のデータに対応するデータ）を抽出する。なお、設定部１２７０は、予め予測対象として、データの種類と種類数とを、予測対象出力部１２６４に対して設定しているものとする。
【0142】
また、予測対象出力部１２６４は、設定された予測対象のデータに基づいてアクションが行われるよう、アクションを制御する制御装置（不図示）に対して、抽出した予測対象のデータを出力する。
【0143】
設定部１２７０は、アクションに関する複数種類のデータに基づいて決定された予測対象を、予測対象出力部１２６４に設定する。また、設定部１２７０は、アクションに関する複数種類のデータに基づいて決定された、入力対象及びマスク対象を、マスク生成部１２６１に設定する。なお、設定部１２７０により提供される設定画面については、後述する。
【0144】
（２）図３Ｃ、図３Ｄのケースに対応する予測システムの機能構成
次に、図３Ｃ、図３Ｄのケースに対応する予測システム１５０の機能構成について説明する。図１２Ｂは、予測システムの機能構成の一例を示す第２の図である。図１２Ａに示した機能構成との相違点は、図１２Ｂに示す機能構成の場合、最適化部１２９０を有する点である。
次に、図３Ｃ、図３Ｄのケースに対応する予測システム１５０の機能構成について説明する。図１２Ｂは、予測システムの機能構成の一例を示す第２の図である。図１２Ａに示した機能構成との相違点は、図１２Ｂに示す機能構成の場合、最適化部１２９０を有する点である。
【0145】
最適化部１２９０は、予測対象出力部１２６４により抽出される予測対象のデータが、目標とするデータとなるように、第２主体のアクションに関する複数種類のデータのうちの特定の種類のデータを最適化する。
【0146】
最適化部１２９０は、設定部１２７０により設定される繰り返し回数分だけ、第２主体のアクションに関する複数種類のデータのうちの特定の種類の様々なデータを、学習済み生成モデル１４０に順次入力する。これにより、最適化部１２９０は、第２主体のアクションに関する複数種類のデータのうちの特定の種類のデータを最適化する。
【0147】
なお、この場合、制御装置に対しては、学習済み生成モデル１４０により予測され、予測対象出力部１２６４により抽出された予測対象のデータは出力されない。代わりに、制御装置１６１０に対しては、最適化された第２主体のアクションに関する複数種類のデータのうちの特定の種類のデータが出力される。つまり、予測対象出力部１２６４は、予測対象のデータに代えて、予測対象データに応じて最適化された第２主体のアクションに関する特定の種類のデータを、制御装置に対して出力する。
【0148】
＜設定部により提供される設定画面の具体例＞
次に、設定部１２７０により提供される設定画面の詳細について説明する。図１３は、設定画面の具体例を示す図である。
次に、設定部１２７０により提供される設定画面の詳細について説明する。図１３は、設定画面の具体例を示す図である。
【0149】
図１３に示すように、設定部１２７０により提供される設定画面１３００には、パラメータ設定領域１３１０が含まれる。パラメータ設定領域１３１０には、設定すべきパラメータとして、"計算時間"、"自動作生成数"、"相手動作生成数"、"反復生成回数"、"パス生成長"、"生成結果無効期間"が含まれる。
【0150】
"自動作生成数"とは、予測対象（マスク対象）とするデータの種類数をマスク生成部１２６１及び予測対象出力部１２６４に設定するためのパラメータであり、第２主体のアクションに関する複数種類のデータに基づいて決定される。
【0151】
"相手動作生成数"とは、予測対象（マスク対象）とするデータの種類数をマスク生成部１２６１及び予測対象出力部１２６４設定するためのパラメータである。"相手動作生成数"は、第２主体のアクションに関する１つのデータに対して、第１主体のアクションに関する複数種類のデータのうちの何種類のデータを予測対象（マスク対象）とするかに基づいて決定される。なお、"相手動作生成数"は、第１主体のアクションに関する複数種類のデータが確定している場合には、設定が不要である。
【0152】
"反復生成回数"とは、繰り返し回数を最適化部１２９０に設定するためのパラメータである。ここでいう繰り返し回数とは、
・第２主体のアクションに関する複数種類のデータのうちの特定の種類の様々なデータを順次入力し、
・第１主体のアクションに関する複数種類のデータのうちの一部の種類のデータをそれぞれ予測する処理を繰り返し、
・第２主体のアクションに関する複数種類のデータのうちの特定の種類のデータを最適化する、
場合の繰り返し回数を指す。
・第２主体のアクションに関する複数種類のデータのうちの特定の種類の様々なデータを順次入力し、
・第１主体のアクションに関する複数種類のデータのうちの一部の種類のデータをそれぞれ予測する処理を繰り返し、
・第２主体のアクションに関する複数種類のデータのうちの特定の種類のデータを最適化する、
場合の繰り返し回数を指す。
【0153】
"パス生成長"とは、学習に用いた"アクションに関する複数種類のデータ"の時間長よりも長い時間長の"アクションに関する複数種類のデータ"について予測を行う場合に、予測対象のデータの時間長を予測部１２６２に設定するためのパラメータである。
【0154】
"生成結果無効期間"とは、センサ系、制御系の遅れに対処するために、予測したそれぞれのフレームの画像特徴点情報のうち、実際には制御装置によるアクションの制御に用いないフレームの数を予測対象出力部１２６４に設定するためのパラメータである。
【0155】
"計算時間"とは、処理を時間で打ち切る場合に最適化部１２９０に設定されるパラメータである。
【0156】
また、図１３に示すように、設定部１２７０により提供される設定画面１３００には、モード選択領域１３２０が含まれる。モード選択領域１３２０には、"予測"モード、"補間"モード、"反応"モードが含まれる。
【0157】
"予測"モードは、第２主体のアクションに関する複数種類のデータのうちの一部の種類のデータを欠損させて、予測するケースにおいて選択される。例えば、"予測"モードは、図３Ａのケースにおいて選択される。"予測"モードが選択されることで、予測対象（マスク対象）とするデータの種類が設定可能になる。
【0158】
"補間"モードは、第２主体のアクションに関する複数種類のデータのうちの一部の種類の一部の時間範囲のデータを欠損させて、補間するケースにおいて選択される。例えば、"補間"モードは、図３Ｂのケースにおいて選択される。"補間"モードが選択されることで、予測対象（マスク対象）とするデータの種類及び時間範囲が設定可能になる。
【0159】
"反応"モードは、第１主体のアクションに関する複数種類の未来のデータのうちの一部の種類の未来のデータを欠損させて反応を予測しながら、第２主体のアクションに関する複数種類のデータのうちの特定の種類のデータを最適化するケースにおいて選択される。例えば、"反応"モードは、図３Ｃ、図３Ｄのケースにおいて選択される。"反応"モードが選択されることで、予測対象（マスク対象）とするデータの種類、最適化されるデータの種類が設定可能になる。
【0160】
また、図１３に示すように、設定部１２７０により提供される設定画面１３００には、生成動作プレビュー領域１３３０が含まれる。生成動作プレビュー領域１３３０には、第２主体のアクションに関する複数種類の未来のデータを表示する領域と、第１主体のアクションに関する複数種類の未来のデータを表示する領域とが含まれる。生成動作プレビュー領域１３３０には、生成動作プレビューボタン１３４０が押圧されることで、それぞれのデータが表示される。
【0161】
また、図１３に示すように、設定部１２７０により提供される設定画面１３００には、評価基準領域１３５０が含まれる。評価基準領域１３５０には、指標として、"人らしさ"と"エントロピー"とが含まれる。
【0162】
"人らしさ"とは、特定の個人らしさを示す指標である。また、"エントロピー"とは、生成された第１主体のアクションに関する複数種類のデータのばらつきの大きさを示す指標である。例えば、対向して歩行する歩行者と、ロボットとがすれ違うシーンにおいて、右によける場合と左に避ける場合のいずれを選択するかを示す確率に、偏りがあるか否かを予測する指標である。
【0163】
＜予測処理の流れ＞
次に、予測システム１５０による予測処理の流れについて説明する。図１４は、予測システムによる予測処理の流れを示すフローチャートであるの一例である。
次に、予測システム１５０による予測処理の流れについて説明する。図１４は、予測システムによる予測処理の流れを示すフローチャートであるの一例である。
【0164】
ステップＳ１４０１において、予測システム１５０は、設定画面１３００を介してパラメータの入力を受け付ける。
【0165】
ステップＳ１４０２において、予測システム１５０は、入力を受け付けたパラメータを設定する。
【0166】
ステップＳ１４０３において、予測システム１５０は、第１主体の音声データを取得し、音声情報を生成する。
【0167】
ステップＳ１４０４において、予測システム１５０は、第１主体の画像データを取得し、画像特徴点情報を抽出する。
【0168】
ステップＳ１４０５において、予測システム１５０は、第１主体のセンサデータを取得し、センサ特徴点情報を抽出する。
【0169】
ステップＳ１４０６において、予測システム１５０は、第２主体の音声データを取得し、音声情報を生成する。
【0170】
ステップＳ１４０７において、予測システム１５０は、第２主体の画像データを取得し、画像特徴点情報を抽出する。
【0171】
ステップＳ１４０８において、予測システム１５０は、第２主体のセンサデータを取得し、センサ特徴点情報を抽出する。
【0172】
ステップＳ１４０９において、予測システム１５０は、アクションに関する複数種類のデータの中から設定されたパラメータに応じたデータ（入力対象のデータ）を抽出する。また、予測システム１５０は、抽出したアクションに関する複数種類のデータの一部を、設定されたパラメータ（マスク対象）に基づいてマスクすることで欠損データを生成し、学習済み生成モデルに入力する。
【0173】
ステップＳ１４１０において、予測システム１５０は、学習済み生成モデルにより予測されたデータの中から、設定されたパラメータに応じたデータ（予測対象のデータ）を抽出し、制御装置に出力する。
【0174】
ステップＳ１４１１において、予測システム１５０は、予測処理を終了するか否かを判定する。ステップＳ１４１１において、予測処理を終了しないと判定した場合には（ステップＳ１４１１においてＮＯの場合には）、ステップＳ１４０３に戻る。
【0175】
一方、ステップＳ１４１１において、予測処理を終了すると判定した場合には（ステップＳ１４１１においてＹＥＳの場合には）、予測処理を終了する。
【0176】
＜予測システムの適用例＞
次に、予測システム１５０の具体的な適用例について説明する。
次に、予測システム１５０の具体的な適用例について説明する。
【0177】
（１）概要
はじめに、予測システム１５０の具体的な適用例について、概要を説明する。図１５は、予測システムの適用例の概要を示す図であり、予測システム１５０を対話システム１５００に適用した場合の適用例の概要を示している。予測システム１５０が適用される対話システム１５００は以下のとおりである。
・第１主体が、サービスを利用するユーザ１５０１である。
・第２主体が、サービスを提供する提供者１５０２及び提供者１５０２のアバタ１５０２'であって、ユーザ１５０１からの音声による問い合わせに、音声で回答する提供者１５０２及び提供者１５０２のアバタ１５０２'である。
・提供者１５０２のアバタ１５０２'の音声には、提供者１５０２自身の音声が用いられる。
・提供者１５０２のアバタ１５０２'の顔の表情は、ユーザ１５０１の顔の表情、ユーザ１５０１の音声、提供者１５０２の音声に基づいて制御される。
はじめに、予測システム１５０の具体的な適用例について、概要を説明する。図１５は、予測システムの適用例の概要を示す図であり、予測システム１５０を対話システム１５００に適用した場合の適用例の概要を示している。予測システム１５０が適用される対話システム１５００は以下のとおりである。
・第１主体が、サービスを利用するユーザ１５０１である。
・第２主体が、サービスを提供する提供者１５０２及び提供者１５０２のアバタ１５０２'であって、ユーザ１５０１からの音声による問い合わせに、音声で回答する提供者１５０２及び提供者１５０２のアバタ１５０２'である。
・提供者１５０２のアバタ１５０２'の音声には、提供者１５０２自身の音声が用いられる。
・提供者１５０２のアバタ１５０２'の顔の表情は、ユーザ１５０１の顔の表情、ユーザ１５０１の音声、提供者１５０２の音声に基づいて制御される。
【0178】
このため、図１５に示すように、予測システム１５０は、マスク生成部１２６１が、ユーザ１５０１、提供者１５０２、提供者１５０２のアバタ１５０２'のアクションに関する複数種類のデータのうち、
・ユーザ１５０１を撮影した画像データから抽出された画像特徴点情報、
・ユーザ１５０１の音声を処理することで生成された音声情報、
・提供者１５０２のアバタ１５０２'の画像特徴点情報、
・提供者１５０２の音声を処理することで生成された音声情報、
を入力対象のデータとする。また、予測システム１５０は、マスク生成部１２６１が、更に、
・提供者１５０２のアバタ１５０２'の画像特徴点情報、
をマスク対象のデータとし、提供者１５０２のアバタ１５０２'の画像特徴点情報を欠損させた欠損データとして、
・ユーザ１５０１を撮影した画像データから抽出された画像特徴点情報と、
・ユーザ１５０１の音声を処理することで生成された音声情報と、
・提供者１５０２の音声を処理することで生成された音声情報と、
からなる欠損データを、学習済み生成モデル１４０に入力する。
・ユーザ１５０１を撮影した画像データから抽出された画像特徴点情報、
・ユーザ１５０１の音声を処理することで生成された音声情報、
・提供者１５０２のアバタ１５０２'の画像特徴点情報、
・提供者１５０２の音声を処理することで生成された音声情報、
を入力対象のデータとする。また、予測システム１５０は、マスク生成部１２６１が、更に、
・提供者１５０２のアバタ１５０２'の画像特徴点情報、
をマスク対象のデータとし、提供者１５０２のアバタ１５０２'の画像特徴点情報を欠損させた欠損データとして、
・ユーザ１５０１を撮影した画像データから抽出された画像特徴点情報と、
・ユーザ１５０１の音声を処理することで生成された音声情報と、
・提供者１５０２の音声を処理することで生成された音声情報と、
からなる欠損データを、学習済み生成モデル１４０に入力する。
【0179】
また、予測システム１５０は、学習済み生成モデル１４０が予測したデータの中から、提供者１５０２のアバタ１５０２'の画像特徴点情報を、予測対象のデータとして抽出する。これにより、予測システム１５０が適用される対話システムは、予測システム１５０により抽出された画像特徴点情報に基づいて、提供者１５０２のアバタ１５０２'の顔の表情を制御する。
【0180】
このように、予測システム１５０を対話システムに適用することで、提供者１５０２のアバタ１５０２'の顔の表情を、
・ユーザ１５０１の表情、
・ユーザ１５０１の音声、
・提供者１５０２の音声、
に応じた、自然な表情にすることができる。
・ユーザ１５０１の表情、
・ユーザ１５０１の音声、
・提供者１５０２の音声、
に応じた、自然な表情にすることができる。
【0181】
（２）詳細
次に、予測システム１５０を適用した対話システムの具体例について、詳細を説明する。図１６は、予測システムの適用例の詳細を示す第１の図である。なお、図１６の例では、予測システム１５０が有する機能部のうち、対話システム１５００に適用するにあたって設定されたパラメータのもとで機能する機能部のみを示している。また、図１６の例では、パラメータ設定後の予測システムを、予測システム１６００としている。
次に、予測システム１５０を適用した対話システムの具体例について、詳細を説明する。図１６は、予測システムの適用例の詳細を示す第１の図である。なお、図１６の例では、予測システム１５０が有する機能部のうち、対話システム１５００に適用するにあたって設定されたパラメータのもとで機能する機能部のみを示している。また、図１６の例では、パラメータ設定後の予測システムを、予測システム１６００としている。
【0182】
図１６に示すように、予測システム１６００は、対話システム１５００において、制御装置１６１０、情報処理装置１６２０、情報処理装置１６３０と接続される。
【0183】
また、予測システム１６００は、第１主体用音声データ取得部１２０１、第１主体用音声処理部１２０２、第１主体用画像データ取得部１２１１、第１主体用画像特徴点抽出部１２１２を有する。また、予測システム１６００は、第２主体用音声データ取得部１２３１、第２主体用音声処理部１２３２、予測部１２６２、予測対象出力部１２６４を有する。
【0184】
なお、予測システム１６００が有するこれらの機能部は、図１２Ａにおいて説明済みであるため、ここでは、対話システム１５００に適用するにあたっての変更点のみを説明する。
【0185】
第１主体用音声データ取得部１２０１は、情報処理装置１６２０を介して、ユーザ１５０１の音声データを取得する。また、第１主体用音声データ取得部１２０１は、取得した音声データを、第１主体用音声処理部１２０２に通知するとともに、情報処理装置１６３０に通知する。これにより、提供者１５０２は、情報処理装置１６３０と接続されたヘッドフォンを介して、ユーザ１５０１の音声を聞くことができる。
【0186】
第１主体用画像データ取得部１２１１は、情報処理装置１６２０を介して、ユーザ１５０１を撮影した画像データを取得する。また、第１主体用画像データ取得部１２１１は、取得した画像データを、第１主体用画像特徴点抽出部１２１２に通知するとともに、情報処理装置１６３０に通知する。これにより、提供者１５０２は、情報処理装置１６３０の表示画面を介して、ユーザ１５０１の顔の表情を見ることができる。
【0187】
第２主体用音声データ取得部１２３１は、ユーザ１５０１の音声を聞き、ユーザ１５０１の顔の表情を見た提供者１５０２が、ユーザ１５０１の質問に回答するために発話した場合に、情報処理装置１６３０を介して、提供者１５０２の音声データを取得する。また、第２主体用音声データ取得部１２３１は、取得した音声データを、第２主体用音声処理部１２３２に通知するとともに、制御装置１６１０を介して情報処理装置１６２０に送信する。
【0188】
予測部１２６２は、ユーザ１５０１の音声情報と、ユーザ１５０１の画像特徴点情報と、提供者１５０２の音声情報とを、学習済み生成モデル１４０に入力することで、学習済み生成モデル１４０により予測されたデータを出力する。
【0189】
予測対象出力部１２６４は、予測部１２６２により予測されたデータの中から、提供者１５０２のアバタ１５０２'の画像特徴点情報を抽出する。また、予測対象出力部１２６４は、提供者１５０２のアバタ１５０２'の画像特徴点情報を、制御装置１６１０に出力する。
【0190】
制御装置１６１０は、提供者１５０２のアバタ１５０２'のアクションを制御する制御装置であり、図１６に示す適用例では、ＣＧアバタ描画システム（例えば、Ｂｉ－ｌａｙｅｒ ｍｏｄｅｌ）により構成されている。なお、制御装置１６１０には、予め提供者１５０２のアバタ１５０２'の画像が設定されている。
【0191】
制御装置１６１０は、予測対象出力部１２６４から送信された、提供者１５０２のアバタ１５０２'の画像特徴点情報に基づいて、予め設定された提供者１５０２のアバタ１５０２'の画像を制御する。制御装置１６１０により制御された、提供者１５０２のアバタ１５０２'の画像は、情報処理装置１６２０に送信される。これにより、ユーザ１５０１は、情報処理装置１６２０を介して、提供者１５０２の音声を聞き、提供者１５０２のアバタ１５０２'の画像を見ることができる。
【0192】
このとき、ユーザ１５０１が見る提供者１５０２のアバタ１５０２'の画像の顔の表情は、ユーザ１５０１の顔の表情、ユーザ１５０１の音声、提供者１５０２の音声に基づいて生成されている。このため、ユーザ１５０１は、自然な表情のアバタ１５０２'と対話することができる。
【0193】
＜予測システムの印象評価の検証＞
次に、予測システム１６００を対話システム１５００に適用した場合の、予測システム１６００の印象評価について検証する。
次に、予測システム１６００を対話システム１５００に適用した場合の、予測システム１６００の印象評価について検証する。
【0194】
（１）予測システムの印象評価の検証方法
はじめに、予測システム１６００の印象評価についての検証方法について説明する。図１７は、予測システムの印象評価の検証方法の一例を示す図である。図１７の例は、予測システム１６００のほかに、２通りのシステムを用いて対話システムを構築し、これら３通りの対話システムをそれぞれ利用したユーザ１５０１からアンケートをとることで、予測システム１６００の印象評価について検証した様子を示している。
はじめに、予測システム１６００の印象評価についての検証方法について説明する。図１７は、予測システムの印象評価の検証方法の一例を示す図である。図１７の例は、予測システム１６００のほかに、２通りのシステムを用いて対話システムを構築し、これら３通りの対話システムをそれぞれ利用したユーザ１５０１からアンケートをとることで、予測システム１６００の印象評価について検証した様子を示している。
【0195】
図１７において、符号１７２０（ＰＲＯＰ条件）は、予測システム１６００が適用される対話システム１５００を再現して印象評価を検証したものである。具体的には、ユーザ１５０１の音声情報と、ユーザ１５０１の画像特徴点情報と、提供者１５０２の音声情報とを、学習済み生成モデル１４０に入力し、提供者１５０２のアバタ１５０２'の画像特徴点情報を出力する。そして、制御装置１６１０が、提供者１５０２のアバタ１５０２'の画像特徴点情報に基づいて、提供者１５０２のアバタ１５０２'の画像を制御し、情報処理装置１６２０に表示する。
【0196】
一方、図１７において、符号１７１０（ＲＥＡＬ条件）は、提供者１５０２の顔画像に基づいて提供者１５０２のアバタ１５０２'の画像を制御するシステムである。具体的には、対話中の提供者１５０２を撮影した画像データから画像特徴点情報を抽出し、抽出した提供者１５０２の画像特徴点情報に基づいて、提供者１５０２のアバタ１５０２'の画像を制御し、情報処理装置１６２０に表示する。
【0197】
また、図１７において、符号１７３０（ＲＡＮＤ条件）は、提供者１５０２のアバタ１５０２'の画像を、ランダムに生成した画像特徴点情報に基づいて制御するシステムである。具体的には、乱数ベクトルを生成システム１７３１に入力することで、提供者１５０２のアバタ１５０２'の画像特徴点情報を生成する。そして、制御装置１６１０が、提供者１５０２のアバタ１５０２'の画像特徴点情報に基づいて、提供者１５０２のアバタ１５０２'の画像を制御し、情報処理装置１６２０に表示する。
【0198】
なお、ユーザ１５０１に対するアンケートは、
"提供者のアバタの顔の動きは、実際の提供者の動きをトレースしたものだと思うか"
という質問に対して、"そう思う"から"そう思わない"までを５段階で回答する内容である。
"提供者のアバタの顔の動きは、実際の提供者の動きをトレースしたものだと思うか"
という質問に対して、"そう思う"から"そう思わない"までを５段階で回答する内容である。
【0199】
具体的には、実際の提供者１５０２の動きをトレースして、提供者１５０２のアバタ１５０２'の表情を制御したものを、情報処理装置１６２０に表示し、その表情に近いと思うかどうかを、５段階で回答するようにした。
【0200】
（２）予測システムの検証結果
続いて、上記検証方法により検証した予測システム１６００の印象評価の検証結果について説明する。図１８は、予測システムの検証結果の一例を示す図である。
続いて、上記検証方法により検証した予測システム１６００の印象評価の検証結果について説明する。図１８は、予測システムの検証結果の一例を示す図である。
【0201】
このうち、図１８（ａ）は、アンケートの集計結果を示しており、符号１８１０は、図１７の符号１７１０のシステムを利用した場合の９人のユーザ１５０１による４５回分の回答を集計したものである。また、符号１８２０は、図１７の符号１７２０の予測システム１６００を利用した場合の９人のユーザ１５０１による４５回分の回答を集計したものである。更に、符号１８３０は、図１７の符号１７３０のシステムを利用した場合の９人のユーザ１５０１による４５回分の回答を集計したものである。
【0202】
また、図１８（ｂ）は、アンケートの集計結果の割合を示しており、符号１８１１は、図１７の符号１７１０のシステムを利用した場合の９人のユーザ１５０１による４５回分の集計結果の割合を示したものである。また、符号１８２１は、図１７の符号１７２０の予測システム１６００を利用した場合の９人のユーザ１５０１による４５回分の集計結果の割合を示したものである。更に、符号１８３１は、図１７の符号１７３０のシステムを利用した場合の９人のユーザ１５０１による４５回分の集計結果の割合を示したものである。
【0203】
図１８（ａ）、（ｂ）に示すように、符号１７２０の予測システム１６００の場合、符号１７３０のシステムと比較して、"５"または"４"と回答した数が多い結果となった。つまり、符号１７２０の予測システム１６００の場合、符号１７３０のシステムと比較して、提供者１５０２のアバタ１５０２'が人間らしい傾聴（人間に近い自然なアクション）を行っているようにユーザ１５０１が感じているということが示唆された。
【0204】
＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る予測システム１５０は、
・複数の人のアクションの同時分布を学習することで生成された、学習済み生成モデルを格納する。
・アクションに関する複数種類のデータの一部を欠損させて、学習済み生成モデルに入力することで、欠損させたデータを含むデータを予測する。
・予測されたデータの中から予測対象のデータを抽出し、抽出した前記予測対象のデータに基づいてアクションが行われるよう、アクションを制御する制御装置に対して、予測対象のデータまたは予測対象のデータに応じたデータを出力する。
以上の説明から明らかなように、第１の実施形態に係る予測システム１５０は、
・複数の人のアクションの同時分布を学習することで生成された、学習済み生成モデルを格納する。
・アクションに関する複数種類のデータの一部を欠損させて、学習済み生成モデルに入力することで、欠損させたデータを含むデータを予測する。
・予測されたデータの中から予測対象のデータを抽出し、抽出した前記予測対象のデータに基づいてアクションが行われるよう、アクションを制御する制御装置に対して、予測対象のデータまたは予測対象のデータに応じたデータを出力する。
【0205】
このように、第１の実施形態では、アクションの同時分布を学習することで、全二重通信的なインタラクションを可能にする学習済み生成モデルを生成し、当該学習済み生成モデルを用いて予測したデータに基づいて、アクションを制御する構成とした。これにより、第１の実施形態によれば、より人間に近い自然なアクションを実現することが可能となる。
【0206】
つまり、第１の実施形態によれば、人とコンピュータとのインタラクションを改善することが可能になる。
【0207】
［第２の実施形態］
上記第１の実施形態では、予測システム１５０の適用例として、図１６に示す対話システム１５００に適用する場合について説明した。しかしながら、予測システム１５０の適用例は、図１６に示す対話システム１５００に限定されない。第２の実施形態では、予測システム１５０の適用例として、図１６に示す対話システム１５００とは異なるシステムに適用する場合について説明する。
上記第１の実施形態では、予測システム１５０の適用例として、図１６に示す対話システム１５００に適用する場合について説明した。しかしながら、予測システム１５０の適用例は、図１６に示す対話システム１５００に限定されない。第２の実施形態では、予測システム１５０の適用例として、図１６に示す対話システム１５００とは異なるシステムに適用する場合について説明する。
【0208】
（１）他の適用例１
図１９は、予測システムの適用例の詳細を示す第２の図である。図１６に示した対話システム１５００との相違点は、図１９に示す対話システム１５００の場合、予測システム１９００において、チャットボット１９１０が、提供者１５０２の代わりにユーザ１５０１の音声に応じて発話する点である。また、図１６に示した対話システム１５００との相違点は、図１９に示す対話システム１５００の場合、情報処理装置１６３０が接続されておらず、また、制御装置１６１０に、チャットボットのキャラクタ画像が設定される点である。
図１９は、予測システムの適用例の詳細を示す第２の図である。図１６に示した対話システム１５００との相違点は、図１９に示す対話システム１５００の場合、予測システム１９００において、チャットボット１９１０が、提供者１５０２の代わりにユーザ１５０１の音声に応じて発話する点である。また、図１６に示した対話システム１５００との相違点は、図１９に示す対話システム１５００の場合、情報処理装置１６３０が接続されておらず、また、制御装置１６１０に、チャットボットのキャラクタ画像が設定される点である。
【0209】
（２）他の適用例２
図２０は、予測システムの適用例の詳細を示す第３の図である。図１９に示した対話システム１５００との相違点は、図２０に示す対話システム１５００の場合、予測システム１９００が、ロボット２０２０内において実現されている点である。また、図１９に示した対話システム１５００との相違点は、図２０に示す対話システム１５００の場合、制御装置２０１０が、ロボット２０２０のアクチュエータ及び音声出力装置を制御する点である。
図２０は、予測システムの適用例の詳細を示す第３の図である。図１９に示した対話システム１５００との相違点は、図２０に示す対話システム１５００の場合、予測システム１９００が、ロボット２０２０内において実現されている点である。また、図１９に示した対話システム１５００との相違点は、図２０に示す対話システム１５００の場合、制御装置２０１０が、ロボット２０２０のアクチュエータ及び音声出力装置を制御する点である。
【0210】
このように、予測システム１５０は、様々な適用例において適用されうる。
【0211】
［その他の実施形態］
上記各実施形態では、アクションの主体として、第１主体と第２主体とが含まれるものとして説明したが、主体の数は、２つに限定されない。例えば、第３主体、第４主体、・・・等、３つ以上の主体が含まれていてもよい。
上記各実施形態では、アクションの主体として、第１主体と第２主体とが含まれるものとして説明したが、主体の数は、２つに限定されない。例えば、第３主体、第４主体、・・・等、３つ以上の主体が含まれていてもよい。
【0212】
また、上記各実施形態では、インタラクション改善システムを複数のシステム（データ収集システム１１０、学習システム１３０、予測システム１５０）で実現するものとして説明したが、１つのシステムで実現してもよい。
【0213】
また、上記各実施形態では、インタラクション改善システムを構成するそれぞれのシステムを、一体の装置として実現するものとして説明したが、それぞれのシステムは、複数の別体の装置により実現されてもよい。
【0214】
また、上記各実施形態では、音声データの言語の種類について言及しなかったが、音声データの言語の種類は任意である。
【0215】
なお、上記各実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0216】
１００ ：インタラクション改善システム
１１０ ：データ収集システム
１３０ ：学習システム
１５０ ：予測システム
５０１、５１１ ：音声取得装置
５０２、５１２ ：撮像装置
５０３、５１３ ：センサデータ取得装置
５０４、５１４ ：音声出力装置
５２０ ：学習用データ収集装置
５２１ ：収集部
６０１ ：第１話者用音声処理部
６１１ ：第２話者用音声処理部
６０２ ：第１話者用画像特徴点抽出部
６１２ ：第２話者用画像特徴点抽出部
６０３ ：第１話者用センサ特徴点抽出部
６１３ ：第２話者用センサ特徴点抽出部
９１０ ：学習用データ読み出し部
９２０ ：マスク生成部
９３０ ：学習部
９４０ ：学習済み生成モデル出力部
１２０１ ：第１主体用音声データ取得部
１２０２ ：第１主体用音声処理部
１２１１ ：第１主体用画像データ取得部
１２１２ ：第１主体用画像特徴点抽出部
１２２１ ：第１主体用センサデータ取得部
１２２２ ：第１主体用センサ特徴点抽出部
１２３１ ：第２主体用音声データ取得部
１２３２ ：第２主体用音声処理部
１２４１ ：第２主体用画像データ取得部
１２４２ ：第２主体用画像特徴点抽出部
１２５１ ：第２主体用センサデータ取得部
１２５２ ：第２主体用センサ特徴点抽出部
１２６１ ：マスク生成部
１２６２ ：予測部
１４０ ：学習済み生成モデル
１２６４ ：予測対象出力部
１２７０ ：設定部
１２９０ ：最適化部
１３００ ：設定画面
１５００ ：対話システム
１６００ ：予測システム
１６１０ ：制御装置
１６２０、１６３０ ：情報処理装置
１９００ ：予測システム
１９１０ ：チャットボット
２０１０ ：制御装置
２０２０ ：ロボット
１１０ ：データ収集システム
１３０ ：学習システム
１５０ ：予測システム
５０１、５１１ ：音声取得装置
５０２、５１２ ：撮像装置
５０３、５１３ ：センサデータ取得装置
５０４、５１４ ：音声出力装置
５２０ ：学習用データ収集装置
５２１ ：収集部
６０１ ：第１話者用音声処理部
６１１ ：第２話者用音声処理部
６０２ ：第１話者用画像特徴点抽出部
６１２ ：第２話者用画像特徴点抽出部
６０３ ：第１話者用センサ特徴点抽出部
６１３ ：第２話者用センサ特徴点抽出部
９１０ ：学習用データ読み出し部
９２０ ：マスク生成部
９３０ ：学習部
９４０ ：学習済み生成モデル出力部
１２０１ ：第１主体用音声データ取得部
１２０２ ：第１主体用音声処理部
１２１１ ：第１主体用画像データ取得部
１２１２ ：第１主体用画像特徴点抽出部
１２２１ ：第１主体用センサデータ取得部
１２２２ ：第１主体用センサ特徴点抽出部
１２３１ ：第２主体用音声データ取得部
１２３２ ：第２主体用音声処理部
１２４１ ：第２主体用画像データ取得部
１２４２ ：第２主体用画像特徴点抽出部
１２５１ ：第２主体用センサデータ取得部
１２５２ ：第２主体用センサ特徴点抽出部
１２６１ ：マスク生成部
１２６２ ：予測部
１４０ ：学習済み生成モデル
１２６４ ：予測対象出力部
１２７０ ：設定部
１２９０ ：最適化部
１３００ ：設定画面
１５００ ：対話システム
１６００ ：予測システム
１６１０ ：制御装置
１６２０、１６３０ ：情報処理装置
１９００ ：予測システム
１９１０ ：チャットボット
２０１０ ：制御装置
２０２０ ：ロボット
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】