知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024065477
(43)【公開日】2024-05-15
(54)【発明の名称】情報処理装置、情報処理方法、プログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20240508BHJP
G06T 7/00 20170101ALI20240508BHJP
G06Q 10/04 20230101ALI20240508BHJP
【ＦＩ】
G06T7/20 300Z
G06T7/00 350C
G06T7/00 300F
G06Q10/04
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022174357
(22)【出願日】2022-10-31
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100124811
【弁理士】
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100088959
【弁理士】
【氏名又は名称】境 廣巳
(74)【代理人】
【識別番号】100097157
【弁理士】
【氏名又は名称】桂木 雄二
(74)【代理人】
【識別番号】100187724
【弁理士】
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】西原 康介
【テーマコード（参考）】
5L010
5L049
5L096
【Ｆターム（参考）】
5L010AA04
5L049AA04
5L096BA06
5L096DA01
5L096DA02
5L096HA02
5L096HA09
5L096HA11
5L096JA11
5L096KA04
5L096KA15
(57)【要約】
【課題】人物の動作の変化を精度よく予測することができないこと。
【解決手段】本開示の情報処理装置１００は、人物の動作を表す動作データである入力データから、動作について設定された基本動作に対応する動作データの特徴を表す基本特徴データと、動作について設定された動作傾向に対応する動作データの特徴を表す動作特徴データと、人物に対応する動作データの特徴を表す人物特徴データと、を抽出する特徴抽出手段１２１と基本特徴データと動作特徴データとに基づいて第一動作データを生成し、基本特徴データと人物特徴データとに基づいて第二動作データを生成する動作データ生成手段１２２と、第一動作データと第二動作データとに基づいて、特徴抽出手段と動作データ生成手段とを学習する学習手段１２３と、を備える。
【選択図】図１１
【解決手段】本開示の情報処理装置１００は、人物の動作を表す動作データである入力データから、動作について設定された基本動作に対応する動作データの特徴を表す基本特徴データと、動作について設定された動作傾向に対応する動作データの特徴を表す動作特徴データと、人物に対応する動作データの特徴を表す人物特徴データと、を抽出する特徴抽出手段１２１と基本特徴データと動作特徴データとに基づいて第一動作データを生成し、基本特徴データと人物特徴データとに基づいて第二動作データを生成する動作データ生成手段１２２と、第一動作データと第二動作データとに基づいて、特徴抽出手段と動作データ生成手段とを学習する学習手段１２３と、を備える。
【選択図】図１１
【特許請求の範囲】
【請求項1】
人物の動作を表す動作データである入力データから、前記動作について設定された基本動作に対応する前記動作データの特徴を表す基本特徴データと、前記動作について設定された動作傾向に対応する前記動作データの特徴を表す動作特徴データと、前記人物に対応する前記動作データの特徴を表す人物特徴データと、を抽出する特徴抽出手段と、
前記基本特徴データと前記動作特徴データとに基づいて第一動作データを生成し、前記基本特徴データと前記人物特徴データとに基づいて第二動作データを生成する動作データ生成手段と、
前記第一動作データと前記第二動作データとに基づいて、前記特徴抽出手段と前記動作データ生成手段とを学習する学習手段と、
を備えた情報処理装置。
前記基本特徴データと前記動作特徴データとに基づいて第一動作データを生成し、前記基本特徴データと前記人物特徴データとに基づいて第二動作データを生成する動作データ生成手段と、
前記第一動作データと前記第二動作データとに基づいて、前記特徴抽出手段と前記動作データ生成手段とを学習する学習手段と、
を備えた情報処理装置。
【請求項2】
請求項１に記載の情報処理装置であって、
前記学習手段は、前記特徴抽出手段及び前記動作データ生成手段において、前記入力データから前記第一動作データ及び前記第二動作データを生成すると共に、前記第一動作データと前記第二動作データとからそれぞれ前記入力データを生成するよう、前記特徴抽出手段と前記動作データ生成手段とを学習する、
情報処理装置。
前記学習手段は、前記特徴抽出手段及び前記動作データ生成手段において、前記入力データから前記第一動作データ及び前記第二動作データを生成すると共に、前記第一動作データと前記第二動作データとからそれぞれ前記入力データを生成するよう、前記特徴抽出手段と前記動作データ生成手段とを学習する、
情報処理装置。
【請求項3】
請求項１に記載の情報処理装置であって、
前記第一動作データと前記第二動作データとが、それぞれ前記動作データ生成手段にて生成されたデータであるか前記入力データであるかを識別するための特徴量である識別特徴量を生成する識別特徴抽出手段を備え、
前記学習手段は、前記識別特徴量を用いて前記特徴抽出手段と前記動作データ生成手段と前記識別特徴抽出手段とを学習する、
情報処理装置。
前記第一動作データと前記第二動作データとが、それぞれ前記動作データ生成手段にて生成されたデータであるか前記入力データであるかを識別するための特徴量である識別特徴量を生成する識別特徴抽出手段を備え、
前記学習手段は、前記識別特徴量を用いて前記特徴抽出手段と前記動作データ生成手段と前記識別特徴抽出手段とを学習する、
情報処理装置。
【請求項4】
請求項３に記載の情報処理装置であって、
前記識別特徴抽出手段は、前記入力データ及び前記第一動作データに対応する前記識別特徴量をそれぞれ生成する動作識別特徴抽出手段と、前記入力データ及び前記第二動作データに対応する前記識別特徴量をそれぞれ生成する個人識別特徴抽出手段と、を備え、
前記学習手段は、前記動作識別特徴抽出手段で生成された前記識別特徴量、及び、前記個人識別特徴抽出手段で生成された前記識別特徴量、を用いて敵対的学習を行うことで、前記特徴抽出手段と前記動作データ生成手段と前記識別特徴抽出手段とを学習する、
情報処理装置。
前記識別特徴抽出手段は、前記入力データ及び前記第一動作データに対応する前記識別特徴量をそれぞれ生成する動作識別特徴抽出手段と、前記入力データ及び前記第二動作データに対応する前記識別特徴量をそれぞれ生成する個人識別特徴抽出手段と、を備え、
前記学習手段は、前記動作識別特徴抽出手段で生成された前記識別特徴量、及び、前記個人識別特徴抽出手段で生成された前記識別特徴量、を用いて敵対的学習を行うことで、前記特徴抽出手段と前記動作データ生成手段と前記識別特徴抽出手段とを学習する、
情報処理装置。
【請求項5】
請求項４に記載の情報処理装置であって、
前記個人識別特徴抽出手段は、さらに、前記第一動作データに対応する前記識別特徴量を生成し、
前記学習手段は、前記個人識別特徴抽出手段で生成された、前記入力データ及び前記第二動作データにそれぞれ対応する前記識別特徴量、及び、前記入力データ及び前記第一動作データのそれぞれに対応する前記識別特徴量、を用いて敵対的学習を行うことで、前記特徴抽出手段と前記動作データ生成手段と前記識別特徴抽出手段とを学習する、
情報処理装置。
前記個人識別特徴抽出手段は、さらに、前記第一動作データに対応する前記識別特徴量を生成し、
前記学習手段は、前記個人識別特徴抽出手段で生成された、前記入力データ及び前記第二動作データにそれぞれ対応する前記識別特徴量、及び、前記入力データ及び前記第一動作データのそれぞれに対応する前記識別特徴量、を用いて敵対的学習を行うことで、前記特徴抽出手段と前記動作データ生成手段と前記識別特徴抽出手段とを学習する、
情報処理装置。
【請求項6】
請求項４に記載の情報処理装置であって、
前記動作識別特徴抽出手段は、さらに、前記第二動作データに対応する前記識別特徴量を生成し、
前記学習手段は、前記動作識別特徴抽出手段で生成された、前記入力データ及び前記第一動作データにそれぞれ対応する前記識別特徴量、及び、前記入力データ及び前記第二動作データのそれぞれに対応する前記識別特徴量、を用いて敵対的学習を行うことで、前記特徴抽出手段と前記動作データ生成手段と前記識別特徴抽出手段とを学習する、
情報処理装置。
前記動作識別特徴抽出手段は、さらに、前記第二動作データに対応する前記識別特徴量を生成し、
前記学習手段は、前記動作識別特徴抽出手段で生成された、前記入力データ及び前記第一動作データにそれぞれ対応する前記識別特徴量、及び、前記入力データ及び前記第二動作データのそれぞれに対応する前記識別特徴量、を用いて敵対的学習を行うことで、前記特徴抽出手段と前記動作データ生成手段と前記識別特徴抽出手段とを学習する、
情報処理装置。
【請求項7】
請求項１に記載の情報処理装置であって、
前記学習手段は、前記基本特徴データと前記動作特徴データと前記人物特徴データとが、それぞれ予め設定されたラベルに分類されるよう、前記特徴抽出手段と前記動作データ生成手段とを学習する、
情報処理装置。
前記学習手段は、前記基本特徴データと前記動作特徴データと前記人物特徴データとが、それぞれ予め設定されたラベルに分類されるよう、前記特徴抽出手段と前記動作データ生成手段とを学習する、
情報処理装置。
【請求項8】
特徴抽出手段が、人物の動作を表す動作データである入力データから、前記動作について設定された基本動作に対応する前記動作データの特徴を表す基本特徴データと、前記動作について設定された動作傾向に対応する前記動作データの特徴を表す動作特徴データと、前記人物に対応する前記動作データの特徴を表す人物特徴データと、を抽出し、
動作データ生成手段が、前記基本特徴データと前記動作特徴データとに基づいて第一動作データを生成し、前記基本特徴データと前記人物特徴データとに基づいて第二動作データを生成し、
学習手段が、前記第一動作データと前記第二動作データとに基づいて、前記特徴抽出手段と前記動作データ生成手段とを学習する、
情報処理方法。
動作データ生成手段が、前記基本特徴データと前記動作特徴データとに基づいて第一動作データを生成し、前記基本特徴データと前記人物特徴データとに基づいて第二動作データを生成し、
学習手段が、前記第一動作データと前記第二動作データとに基づいて、前記特徴抽出手段と前記動作データ生成手段とを学習する、
情報処理方法。
【請求項9】
請求項８に記載の情報処理方法であって、
識別特徴抽出手段が、前記第一動作データと前記第二動作データとが、それぞれ前記動作データ生成手段にて生成されたデータであるか前記入力データであるかを識別するための特徴量である識別特徴量を生成し、
前記学習手段が、前記識別特徴量を用いて前記特徴抽出手段と前記動作データ生成手段と前記識別特徴抽出手段とを学習する、
情報処理方法。
識別特徴抽出手段が、前記第一動作データと前記第二動作データとが、それぞれ前記動作データ生成手段にて生成されたデータであるか前記入力データであるかを識別するための特徴量である識別特徴量を生成し、
前記学習手段が、前記識別特徴量を用いて前記特徴抽出手段と前記動作データ生成手段と前記識別特徴抽出手段とを学習する、
情報処理方法。
【請求項10】
特徴抽出手段が、人物の動作を表す動作データである入力データから、前記動作について設定された基本動作に対応する前記動作データの特徴を表す基本特徴データと、前記動作について設定された動作傾向に対応する前記動作データの特徴を表す動作特徴データと、前記人物に対応する前記動作データの特徴を表す人物特徴データと、を抽出し、
動作データ生成手段が、前記基本特徴データと前記動作特徴データとに基づいて第一動作データを生成し、前記基本特徴データと前記人物特徴データとに基づいて第二動作データを生成し、
学習手段が、前記第一動作データと前記第二動作データとに基づいて、前記特徴抽出手段と前記動作データ生成手段とを学習する、
処理をコンピュータに実行させるためのプログラム。
動作データ生成手段が、前記基本特徴データと前記動作特徴データとに基づいて第一動作データを生成し、前記基本特徴データと前記人物特徴データとに基づいて第二動作データを生成し、
学習手段が、前記第一動作データと前記第二動作データとに基づいて、前記特徴抽出手段と前記動作データ生成手段とを学習する、
処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、プログラムに関する。
【背景技術】
【0002】
介護予防やフレイル予防に向けた運動を促進するにあたり、運動を開始・継続する動機付けとするために、運動による動作の改善効果を事前に認識したい、という要望がある。また、医療の分野においても、患者の疾病状態の変化に伴う動作の変化を予測したい、という要望がある。このような要望に関連する技術として、非特許文献１には、対象者の動作を変換することが記載されている。具体的に、非特許文献１では、まず、動作画像を、基本動作（例えば、walk, kick）と動作傾向（動作特徴（例えば、neutral, old））とで構成しており、基本動作を変えずに動作傾向を変換することが記載されている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Aberman, K., Weng, Y., Lischinski, D., Cohen-Or, D., & Chen, B. (2020). "Unpaired motion style transfer from video to animation. "ACM Transactions on Graphics (TOG), 39(4), 64-1.
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した非特許文献１に記載の技術では、基本動作から動作傾向を変更することで、人物の動作の変化を予測することができるものの、人物には動作の個性があり、そのような個性を反映することができない。このため、人物の動作の変化を精度よく予測することができない、という問題が生じる。
【0005】
このため、本開示の目的は、上述した課題である、人物の動作の変化を精度よく予測することができない、ことを解決することにある。
【課題を解決するための手段】
【0006】
本開示の一形態である情報処理装置は、
人物の動作を表す動作データである入力データから、前記動作について設定された基本動作に対応する前記動作データの特徴を表す基本特徴データと、前記動作について設定された動作傾向に対応する前記動作データの特徴を表す動作特徴データと、前記人物に対応する前記動作データの特徴を表す人物特徴データと、を抽出する特徴抽出手段と、
前記基本特徴データと前記動作特徴データとに基づいて第一動作データを生成し、前記基本特徴データと前記人物特徴データとに基づいて第二動作データを生成する動作データ生成手段と、
前記第一動作データと前記第二動作データとに基づいて、前記特徴抽出手段と前記動作データ生成手段とを学習する学習手段と、
を備えた、
という構成をとる。
人物の動作を表す動作データである入力データから、前記動作について設定された基本動作に対応する前記動作データの特徴を表す基本特徴データと、前記動作について設定された動作傾向に対応する前記動作データの特徴を表す動作特徴データと、前記人物に対応する前記動作データの特徴を表す人物特徴データと、を抽出する特徴抽出手段と、
前記基本特徴データと前記動作特徴データとに基づいて第一動作データを生成し、前記基本特徴データと前記人物特徴データとに基づいて第二動作データを生成する動作データ生成手段と、
前記第一動作データと前記第二動作データとに基づいて、前記特徴抽出手段と前記動作データ生成手段とを学習する学習手段と、
を備えた、
という構成をとる。
【0007】
また、本開示の一形態である情報処理方法は、
特徴抽出手段が、人物の動作を表す動作データである入力データから、前記動作について設定された基本動作に対応する前記動作データの特徴を表す基本特徴データと、前記動作について設定された動作傾向に対応する前記動作データの特徴を表す動作特徴データと、前記人物に対応する前記動作データの特徴を表す人物特徴データと、を抽出し、
動作データ生成手段が、前記基本特徴データと前記動作特徴データとに基づいて第一動作データを生成し、前記基本特徴データと前記人物特徴データとに基づいて第二動作データを生成し、
学習手段が、前記第一動作データと前記第二動作データとに基づいて、前記特徴抽出手段と前記動作データ生成手段とを学習する、
という構成をとる。
特徴抽出手段が、人物の動作を表す動作データである入力データから、前記動作について設定された基本動作に対応する前記動作データの特徴を表す基本特徴データと、前記動作について設定された動作傾向に対応する前記動作データの特徴を表す動作特徴データと、前記人物に対応する前記動作データの特徴を表す人物特徴データと、を抽出し、
動作データ生成手段が、前記基本特徴データと前記動作特徴データとに基づいて第一動作データを生成し、前記基本特徴データと前記人物特徴データとに基づいて第二動作データを生成し、
学習手段が、前記第一動作データと前記第二動作データとに基づいて、前記特徴抽出手段と前記動作データ生成手段とを学習する、
という構成をとる。
【0008】
また、本開示の一形態であるプログラムは、
特徴抽出手段が、人物の動作を表す動作データである入力データから、前記動作について設定された基本動作に対応する前記動作データの特徴を表す基本特徴データと、前記動作について設定された動作傾向に対応する前記動作データの特徴を表す動作特徴データと、前記人物に対応する前記動作データの特徴を表す人物特徴データと、を抽出し、
動作データ生成手段が、前記基本特徴データと前記動作特徴データとに基づいて第一動作データを生成し、前記基本特徴データと前記人物特徴データとに基づいて第二動作データを生成し、
学習手段が、前記第一動作データと前記第二動作データとに基づいて、前記特徴抽出手段と前記動作データ生成手段とを学習する、
処理をコンピュータに実行させる、
という構成をとる。
特徴抽出手段が、人物の動作を表す動作データである入力データから、前記動作について設定された基本動作に対応する前記動作データの特徴を表す基本特徴データと、前記動作について設定された動作傾向に対応する前記動作データの特徴を表す動作特徴データと、前記人物に対応する前記動作データの特徴を表す人物特徴データと、を抽出し、
動作データ生成手段が、前記基本特徴データと前記動作特徴データとに基づいて第一動作データを生成し、前記基本特徴データと前記人物特徴データとに基づいて第二動作データを生成し、
学習手段が、前記第一動作データと前記第二動作データとに基づいて、前記特徴抽出手段と前記動作データ生成手段とを学習する、
処理をコンピュータに実行させる、
という構成をとる。
【発明の効果】
【0009】
本開示は、以上のように構成されることにより、人物の動作の変化を精度よく予測することができる。
【図面の簡単な説明】
【0010】
【図1】本開示の情報処理装置における処理の概要を説明するための図である。
【図2】本開示の情報処理装置における処理の概要を説明するための図である。
【図3】本開示の情報処理装置における処理の概要を説明するための図である。
【図4】本開示の実施形態１における情報処理装置の構成を示すブロック図である。
【図11】本開示の実施形態２における情報処理装置のハードウェア構成を示すブロック図である。
【図12】本開示の実施形態２における情報処理装置の構成を示すブロック図である。
【発明を実施するための形態】
【0011】
＜実施形態１＞
本開示の第１の実施形態を、図１乃至図１０を参照して説明する。図１乃至図３は、情報処理装置による処理の概要を説明するための図である。図４は、情報処理装置の構成を説明するための図であり、図５乃至図１０は、情報処理装置の処理動作を説明するための図である。
本開示の第１の実施形態を、図１乃至図１０を参照して説明する。図１乃至図３は、情報処理装置による処理の概要を説明するための図である。図４は、情報処理装置の構成を説明するための図であり、図５乃至図１０は、情報処理装置の処理動作を説明するための図である。
【0012】
［概要］
まず、本開示の概要について説明する。本開示の情報処理装置１は、人物の動作データを生成するものであり、例えば、人物の動作を予測すべく動作データを生成するものである。このため、情報処理装置１は、人物の既存の動作データを学習して、新たな動作データを生成するためのモデルを生成する機能を有する。特に、情報処理装置１は、実在する人物の動作データから、人物の個人特徴を反映した予測したい動作傾向の動作からなる新たな動作データに変換するモデルを生成する機能を有する。
まず、本開示の概要について説明する。本開示の情報処理装置１は、人物の動作データを生成するものであり、例えば、人物の動作を予測すべく動作データを生成するものである。このため、情報処理装置１は、人物の既存の動作データを学習して、新たな動作データを生成するためのモデルを生成する機能を有する。特に、情報処理装置１は、実在する人物の動作データから、人物の個人特徴を反映した予測したい動作傾向の動作からなる新たな動作データに変換するモデルを生成する機能を有する。
【0013】
図１乃至図３は、情報処理装置１による学習の概要を示す。まず、人物の動作として、「基本動作」があり、その一例として、図１では「歩行」、「走行」の動作データを示している。また、人物の動作として「動作傾向（動作特徴）」があり、その一例として、図１では「健常」、「高齢」の動作データを示している。そして、図１では、人物Ａ～Ｄというように、複数の「人物」の動作データを示している。
【0014】
情報処理装置１は、上述したような動作データから、それぞれ「基本動作」毎の特徴を表す「基本特徴データ」と、「動作傾向」毎の特徴を表す「動作特徴データ」と、「人物」毎の特徴を表す「個人特徴データ（人物特徴データ）」と、を抽出する。そして、情報処理装置１は、「基本特徴データ」と「動作特徴データ」とを用いて、ある動作傾向の動作データから、別の動作傾向の動作データに変換するモデルの学習を行う。図１の例では、「動作傾向」のうち「健常：Ｘ」と「高齢：Ｙ」との間で動作傾向を変換する変換モデルＧを学習する場合を示している。このとき、情報処理装置１は、同一人物において２つの動作傾向である「健常：Ｘ」と「高齢：Ｙ」とに対応する動作データのペアが存在している場合には、ペアとなる動作データを用いて学習を行うことができる。一方で、ペアとなる動作データがいない場合であっても、循環的学習を行うことで変換モデルＧを学習することができる。具体的には、動作傾向「Ｘ」から「Ｙ」に変換した動作データをさらに逆変換し、つまり、変換した「Ｙ」を「Ｘ」に戻す逆変換を行い、逆変換した動作データと元の動作データとの誤差が小さくなるよう変換モデルＧを学習する。これにより、動作前後のペアとなる動作データが存在していなくても、動作傾向を変換する変換モデルＧを生成することができる。
【0015】
また、情報処理装置１は、「基本特徴データ」と「個人特徴データ」とを用いて、「個人特徴」を変換するモデルの学習を行う。図２の例では、「個人特徴」のうち「人物：Ａ」と「人物：Ｂ」との間で個人特徴を変換する変換モデルＦを学習する。このとき、情報処理装置１は、人物間において同一の基本動作及び動作傾向の動作データのペアが存在している場合には、ペアとなる動作データを用いて学習を行うことができる。一方で、人物間において同一の基本動作及び動作傾向の動作データのペアが存在していない場合であっても、循環的学習を行うことで変換モデルＦを学習することができる。具体的には、個人特徴「Ａ」から「Ｂ」に変換した動作データをさらに逆変換し、つまり、変換した「Ｂ」を「Ａ」に戻す逆変換を行い、逆変換した動作データと元の動作データとの誤差が小さくなるよう変換モデルＦを学習する。人物間でペアとなる動作データが存在していなくても変換モデルＦを生成することができる。
【0016】
そして、情報処理装置１は、上述したように生成した「動作傾向」を変換する変換モデルＧと、「個人特徴」を変換する変換モデルＦと、を同時に学習することで、個人特徴を反映しつつ動作傾向を変換するモデルを生成することができる。例えば、図３の例では、個人特徴を変換する変換モデルＦにおいて学習した人物Ａの特徴を反映して、動作傾向を変換する変換モデルＧを最適化することができる。これにより、生成したモデルに対して、例えば、人物Ａの動作傾向Ｘの動作データを入力することで、人物Ａの個人特徴を反映して動作傾向Ｙに変換した動作データを生成することができる。なお、生成したモデルに対して、人物Ａの動作傾向Ｘの動作データを入力することで、動作傾向Ｘを変更せずに、個人特徴を他の人物Ｂに変換した動作データも生成することができる。
【0017】
そして、上述した動作データの生成は、様々な「基本動作」及び「動作傾向」となる動作にも適用可能である。「基本動作」としては、｛歩行、走行、ジャンプ、キック、パンチ｝などがあり、さらには、疾病に関する状態を確認するための動作、例えば、｛立ち座り｝といった動作であってもよい。また、「動作傾向」としては、｛普通、子供らしさ、老人らしさ、怒った｝などがあり、さらには、疾病に関する状態｛健常、中等、重症｝などであってもよい。
【0018】
上述したような様々な動作データを本開示の情報処理装置１で用いることで、人物の様々な状況における動作データを、その人物の個人特徴を反映して生成することができる。例えば、ある人物が運動不足によりある疾患の「中等」症状の動作傾向である場合の動作データから、運動後に「健常」の動作傾向となった場合の動作データを、その人物の個人特徴を反映して生成し、動作を予測することができる。
【0019】
［構成］
次に、本実施形態における情報処理装置１の構成を、図４を参照して説明する。なお、ここでは、情報処理装置１の構成の概略を説明し、各構成の具体的な機能については、後の動作説明時に詳述する。
次に、本実施形態における情報処理装置１の構成を、図４を参照して説明する。なお、ここでは、情報処理装置１の構成の概略を説明し、各構成の具体的な機能については、後の動作説明時に詳述する。
【0020】
情報処理装置１は、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。そして、情報処理装置１は、図４に示すように、動作入力部１１、特徴抽出部２０、動作生成部３０、識別特徴抽出部４０、損失関数計算部５１、学習部５２、を備える。また、特徴抽出部２０は、個人特徴抽出部２１、基本特徴抽出部２２、動作特徴抽出部２３、を備え、動作生成部３０は、個人特徴変換部３１、動作特徴変換部３２、を備え、識別特徴抽出部４０は、個人識別特徴抽出部４１、動作識別特徴抽出部４２、を備える。これら各部の各機能は、演算装置が記憶装置に格納された各機能を実現するためのプログラムを実行することにより実現することができる。以下、各構成について詳述する。
【0021】
動作入力部１１は、学習フェーズでは、用意された動作データを、基本特徴抽出部２２、動作特徴抽出部２３、個人特徴抽出部２１、識別特徴抽出部４０、損失関数計算部５１に入力する。推論フェーズでは、変換したい動作データを、基本特徴抽出部２２及び動作特徴抽出部２３に入力し、変換したい動作傾向を持つ動作データを、動作特徴抽出部２３に入力する。
【0022】
基本特徴抽出部２２（特徴抽出手段）は、入力された動作データから、基本動作の特徴を表す基本特徴ベクトル（基本特徴データ）を抽出する。動作データは、例えば、関節の座標、回転角が、複数フレーム連続したデータであり、一例として、首や膝などの２３の関節それぞれについて、（ｘ，ｙ，ｚ）の座標点やオイラー角などの回転角が６４フレーム連続したものなどである。基本特徴抽出部２２は、ニューラルネットワークによる「モデルＢ」で構成されており、上述したような動作データが入力されると、基本特徴ベクトルに変換する。基本特徴ベクトルは、例えば、入力データを次元削減した２５６要素や５１２要素などの要素を持つベクトルである。なお、ニューラルネットワークのモデルは特に限定しない。
【0023】
動作特徴抽出部２３（特徴抽出手段）は、入力された動作データから、動作傾向（動作特徴）を表す動作特徴ベクトル（動作特徴データ）を抽出する。動作特徴抽出部２３は、ニューラルネットワークによる「モデルＭ」で構成されており、上述同様に、動作データが入力されると、動作特徴ベクトルに変換する。なお、ニューラルネットワークのモデルは特に限定しない。
【0024】
個人特徴抽出部２１（特徴抽出手段）は、入力された動作データから、人物の特徴を表す個人特徴ベクトル（人物特徴データ）を抽出する。個人特徴抽出部２１は、ニューラルネットワークによる「モデルＰ」で構成されており、上述同様に、動作データが入力されると、個人特徴ベクトルに変換する。なお、ニューラルネットワークのモデルは特に限定しない。
【0025】
動作生成部３０（動作データ生成手段）は、上述した各特徴ベクトルを入力として、ニューラルネットワークを用いて動作データを生成する。具体的に、動作生成部３０は、上述した個人特徴ベクトルと基本特徴ベクトルをもとに、個人特徴を変換した動作データ（第二動作データ）を生成する個人特徴変換部３１と、上述した動作特徴ベクトルと基本特徴ベクトルをもとに、動作傾向を変換した動作データ（第一動作データ）を生成する動作特徴変換部３２と、から構成される。個人特徴変換部３１は、ニューラルネットワークからなる「モデルＦ」で構成されており、動作特徴変換部３２は、ニューラルネットワークからなる「モデルＧ」で構成されている。なお、ニューラルネットワークのモデルは特に限定しない。また、動作生成部３０は、個人特徴ベクトルに、基本特徴ベクトルや動作特徴ベクトルを結合したベクトルをニューラルネットワークに入力してもよい。あるいは、動作生成部３０は、基本特徴ベクトルをニューラルネットワークに入力し、中間出力に個人特徴ベクトル又は動作特徴ベクトルを、加算や乗算して最終出力を得てもよい。そして、動作生成部３０は、生成した動作データを、識別特徴抽出部４０に出力するほか、基本特徴抽出部２２、動作特徴抽出部２３、個人特徴抽出部２１にも出力する。
【0026】
識別特徴抽出部４０（識別特徴抽出手段）は、ある個人特徴を持つ動作が動作生成部３０で生成されたものか入力されたものかを識別するための個人識別特徴抽出部４１と、ある動作傾向を持つ動作が動作生成部３０で生成されたものか入力されたものかを識別するための動作識別特徴抽出部４２と、から構成される。個人識別特徴抽出部４１は、ニューラルネットワークからなる「モデルＥ」で構成されており、動作識別特徴抽出部４２は、ニューラルネットワークからなる「モデルＤ」で構成されている。なお、ニューラルネットワークのモデルは特に限定されない。個人識別特徴抽出部４１及び動作識別特徴抽出部４２は、後述するように入力されるデータを特徴ベクトルまたはスカラ値に変換し、個人識別特徴及び動作識別特徴（識別特徴量）を生成して出力する。
【0027】
損失関数計算部５１（学習手段）は、損失関数を用いて正解ラベルとの差分を計算する。損失関数は、個人特徴変換部３１又は動作特徴変換部３２で生成されたデータが生成データであるかを識別する敵対的学習損失関数、基本特徴抽出部２２又は動作特徴抽出部２３又は個人特徴抽出部２１で抽出された特徴ベクトルと該当する正解ラベルとの差分を算出するクラス分類損失関数、個人特徴変換部３１又は動作特徴変換部３２で循環的に生成した動作データと入力データとの差分を算出する誤差損失関数などである。但し、損失関数は上述したものに限定されず、必要な損失関数が加えられてもよい。
【0028】
学習部５２（学習手段）は、損失関数の値をもとにニューラルネットワークの最適化手法を用いて学習し、上述した各モデル（Ｐ，Ｂ，Ｍ，Ｆ，Ｇ，Ｅ，Ｄ）を構成するニューラルネットワークの重みを更新する。なお、ニューラルネットワークの重み更新手法は特に限定されない。
【0029】
［動作］
次に、上述した情報処理装置１の動作を、図５乃至図７と、図８のフローチャートを参照して説明する。まず、モデルを生成する学習フェーズについて説明する。なお、図５乃至図７においては、矢印に併記した括弧内の数字にて動作順序を示す。
次に、上述した情報処理装置１の動作を、図５乃至図７と、図８のフローチャートを参照して説明する。まず、モデルを生成する学習フェーズについて説明する。なお、図５乃至図７においては、矢印に併記した括弧内の数字にて動作順序を示す。
【0030】
（１）動作データ読み込み
まず、動作入力部１１が、データセットから動作データを読み込む。各動作データには、｛基本動作、動作傾向、個人特徴｝のラベルがついており、例えば、各動作データを｛基本動作動作傾向、個人特徴｝と表すこととする。基本動作は、例えば、{歩行、走行、ジャンプ、キック、パンチ、立ち座り、・・・｝等でラベル付けされ、ここでは｛ｘ，ｙ，ｚ，・・・｝と表す。個人特徴は、｛Ａさん、Ｂさん、Ｃさん、・・・｝等でラベル付けされ、ここでは｛ａ，ｂ，ｃ，・・・｝と表す。動作傾向（動作特徴）は、｛普通、子供らしい、老人らしい、怒った、・・・｝などの動作のスタイルで表されるものや、｛健常、中等、重症、・・・｝などの動作のレベルで表されるものなど、ユースケースによって異なってもよいが、ここでは｛１，２，３，・・・｝と表す。そして、上記をまとめて、入力される動作データを｛ｘ１ａ，ｙ２ｂ，ｚ３ｃ，・・・｝などと表すこととする。例えば、｛ｘ１ａ｝は、基本動作ｘ、動作傾向１、個人特徴Ａさん、の動作データを表している。
まず、動作入力部１１が、データセットから動作データを読み込む。各動作データには、｛基本動作、動作傾向、個人特徴｝のラベルがついており、例えば、各動作データを｛基本動作動作傾向、個人特徴｝と表すこととする。基本動作は、例えば、{歩行、走行、ジャンプ、キック、パンチ、立ち座り、・・・｝等でラベル付けされ、ここでは｛ｘ，ｙ，ｚ，・・・｝と表す。個人特徴は、｛Ａさん、Ｂさん、Ｃさん、・・・｝等でラベル付けされ、ここでは｛ａ，ｂ，ｃ，・・・｝と表す。動作傾向（動作特徴）は、｛普通、子供らしい、老人らしい、怒った、・・・｝などの動作のスタイルで表されるものや、｛健常、中等、重症、・・・｝などの動作のレベルで表されるものなど、ユースケースによって異なってもよいが、ここでは｛１，２，３，・・・｝と表す。そして、上記をまとめて、入力される動作データを｛ｘ１ａ，ｙ２ｂ，ｚ３ｃ，・・・｝などと表すこととする。例えば、｛ｘ１ａ｝は、基本動作ｘ、動作傾向１、個人特徴Ａさん、の動作データを表している。
【0031】
（２）動作入力
動作入力部１１は、基本特徴抽出部２２、動作特徴抽出部２３、個人特徴抽出部２１に動作データを入力する（ステップＳ１）。動作データは、複数まとめて入力してもよい。入力する動作データはランダムに選択してもよいし、予め決められたルールに従って選択してもよい。
動作入力部１１は、基本特徴抽出部２２、動作特徴抽出部２３、個人特徴抽出部２１に動作データを入力する（ステップＳ１）。動作データは、複数まとめて入力してもよい。入力する動作データはランダムに選択してもよいし、予め決められたルールに従って選択してもよい。
【0032】
（３）特徴量抽出
基本特徴抽出部２２、動作特徴抽出部２３、個人特徴抽出部２１は、入力された動作データを、ニューラルネットワークからなる各モデルＢ，Ｍ，Ｐで特徴ベクトルに変換する（ステップＳ２）。例えば、基本特徴抽出部２２は、動作データｘ１ａを入力として基本特徴ベクトルｂ１ａ、動作特徴抽出部２３は、動作データｙ２ｂを入力として動作特徴ベクトルｍ２ｂ、個人特徴抽出部２１はデータｚ３ｃを入力として個人特徴ベクトルｐ３ｃ、をそれぞれ出力する。
基本特徴抽出部２２、動作特徴抽出部２３、個人特徴抽出部２１は、入力された動作データを、ニューラルネットワークからなる各モデルＢ，Ｍ，Ｐで特徴ベクトルに変換する（ステップＳ２）。例えば、基本特徴抽出部２２は、動作データｘ１ａを入力として基本特徴ベクトルｂ１ａ、動作特徴抽出部２３は、動作データｙ２ｂを入力として動作特徴ベクトルｍ２ｂ、個人特徴抽出部２１はデータｚ３ｃを入力として個人特徴ベクトルｐ３ｃ、をそれぞれ出力する。
【0033】
（４）動作生成
個人特徴変換部３１は、個人特徴ベクトルｐ３ｃと基本特徴ベクトルｂ１ａをもとに、個人特徴を変換した動作データｆ１ｃを生成する（ステップＳ３）。動作特徴変換部３２は、動作特徴ベクトルｍ２ｂと基本特徴ベクトルｂ１ａをもとに、動作傾向を変換した動作データｇ２ａを生成する（ステップＳ３）。このとき、個人特徴変換部３１及び動作特徴変換部３２は、それぞれ、基本特徴ベクトルをニューラルネットワークからなるモデルＦ，Ｇに入力し、中間出力に個人特徴ベクトル又は動作特徴ベクトルを加算・乗算することで、上述した最終出力を得る。
個人特徴変換部３１は、個人特徴ベクトルｐ３ｃと基本特徴ベクトルｂ１ａをもとに、個人特徴を変換した動作データｆ１ｃを生成する（ステップＳ３）。動作特徴変換部３２は、動作特徴ベクトルｍ２ｂと基本特徴ベクトルｂ１ａをもとに、動作傾向を変換した動作データｇ２ａを生成する（ステップＳ３）。このとき、個人特徴変換部３１及び動作特徴変換部３２は、それぞれ、基本特徴ベクトルをニューラルネットワークからなるモデルＦ，Ｇに入力し、中間出力に個人特徴ベクトル又は動作特徴ベクトルを加算・乗算することで、上述した最終出力を得る。
【0034】
（５）循環的特徴量生成
基本特徴抽出部２２は、再度、個人特徴変換部３１が生成した動作データｆ１ｃ、及び、動作特徴変換部３２が生成した動作データｇ２ａを入力として、それぞれ基本特徴ベクトルｂ１ｃ、ｂ２ａを出力する。また、動作特徴抽出部２３は、動作データｘ１ａを入力として動作特徴ベクトルｍ１ａを出力する。また、個人特徴抽出部２１は、動作データｘ１ａを入力として個人特徴ベクトルｐ１ａを出力する。
基本特徴抽出部２２は、再度、個人特徴変換部３１が生成した動作データｆ１ｃ、及び、動作特徴変換部３２が生成した動作データｇ２ａを入力として、それぞれ基本特徴ベクトルｂ１ｃ、ｂ２ａを出力する。また、動作特徴抽出部２３は、動作データｘ１ａを入力として動作特徴ベクトルｍ１ａを出力する。また、個人特徴抽出部２１は、動作データｘ１ａを入力として個人特徴ベクトルｐ１ａを出力する。
【0035】
（６）循環的動作生成
個人特徴変換部３１は、再度、個人特徴ベクトルｐ１ａと基本特徴ベクトルｂ１ｃをもとに、個人特徴を変換した動作データｆ１ａを生成する。動作特徴変換部３２は、再度、動作特徴ベクトルｍ１ａと基本特徴ベクトルｂ２aをもとに、動作傾向を変換した動作データｇ１ａを生成する。このように、一度、入力データから変換して生成した動作データｆ１ｃ、ｇ２ａを逆変換し、入力データｘ１ａに対応しうる動作データｆ１ａ、ｇ１ａを生成する（ステップＳ４）。
個人特徴変換部３１は、再度、個人特徴ベクトルｐ１ａと基本特徴ベクトルｂ１ｃをもとに、個人特徴を変換した動作データｆ１ａを生成する。動作特徴変換部３２は、再度、動作特徴ベクトルｍ１ａと基本特徴ベクトルｂ２aをもとに、動作傾向を変換した動作データｇ１ａを生成する。このように、一度、入力データから変換して生成した動作データｆ１ｃ、ｇ２ａを逆変換し、入力データｘ１ａに対応しうる動作データｆ１ａ、ｇ１ａを生成する（ステップＳ４）。
【0036】
（７）識別特徴抽出
識別特徴抽出部４０は、入力データ及び動作生成部３０にて生成された動作データをニューラルネットワークによるモデルＥに入力し、識別特徴抽出値を出力する（ステップＳ５）。具体的に、個人識別特徴抽出部４１は、入力データｘ１ａ及び個人特徴変換部３１が出力した動作データｆ１ｃに対して、個人識別特徴抽出値｛ｅｒ ａ、ｅｆ ｃ｝を出力する。また、動作識別特徴抽出部４２は、入力データｘ１ａ及び動作特徴変換部３２が出力した動作データｇ２ａに対し、動作識別特徴抽出値｛ｄｒ １、ｄｆ ２｝を出力する。
識別特徴抽出部４０は、入力データ及び動作生成部３０にて生成された動作データをニューラルネットワークによるモデルＥに入力し、識別特徴抽出値を出力する（ステップＳ５）。具体的に、個人識別特徴抽出部４１は、入力データｘ１ａ及び個人特徴変換部３１が出力した動作データｆ１ｃに対して、個人識別特徴抽出値｛ｅｒ ａ、ｅｆ ｃ｝を出力する。また、動作識別特徴抽出部４２は、入力データｘ１ａ及び動作特徴変換部３２が出力した動作データｇ２ａに対し、動作識別特徴抽出値｛ｄｒ １、ｄｆ ２｝を出力する。
【0037】
（８）損失関数計算
損失関数計算部５１は、入力データ、及び、個人特徴変換部３１及び動作特徴変換部３２で生成されたデータ｛ｘ１ａ、ｆ１ｃ、ｇ２ａ｝に対し、それらが生成データであるか入力データであるか識別する損失関数を計算する。これは、個人識別特徴抽出値｛ｅｒ ａ、ｅｆ ｃ｝及び動作識別特徴抽出値｛ｄｒ １、ｄｆ ２｝から、敵対的学習損失関数を用いて差分を算出する（ステップＳ６）。
また、損失関数計算部５１は、基本特徴抽出部２２で抽出された特徴ベクトルｂ１ａ、動作特徴抽出部２３で抽出された特徴ベクトルｍ２ｂ、個人特徴抽出部２１で抽出された特徴ベクトルｐ３ｃに対して、クラス分類のための損失関数を計算する。例えば、クロスエントロピー関数を用い、それぞれ該当する正解ラベル｛ｘ，２，ｃ｝との差分を算出する（ステップＳ６）。
また、損失関数計算部５１は、個人特徴変換部３１及び動作特徴変換部３２で循環的に生成した動作データ｛ｆ１ａ、ｇ１ａ｝と、入力データｘ１ａとの差分を小さくするための損失関数を計算する。例えば、平均絶対誤差関数や平均二乗誤差関数などを用いて差分を算出する（ステップＳ６）。
損失関数計算部５１は、入力データ、及び、個人特徴変換部３１及び動作特徴変換部３２で生成されたデータ｛ｘ１ａ、ｆ１ｃ、ｇ２ａ｝に対し、それらが生成データであるか入力データであるか識別する損失関数を計算する。これは、個人識別特徴抽出値｛ｅｒ ａ、ｅｆ ｃ｝及び動作識別特徴抽出値｛ｄｒ １、ｄｆ ２｝から、敵対的学習損失関数を用いて差分を算出する（ステップＳ６）。
また、損失関数計算部５１は、基本特徴抽出部２２で抽出された特徴ベクトルｂ１ａ、動作特徴抽出部２３で抽出された特徴ベクトルｍ２ｂ、個人特徴抽出部２１で抽出された特徴ベクトルｐ３ｃに対して、クラス分類のための損失関数を計算する。例えば、クロスエントロピー関数を用い、それぞれ該当する正解ラベル｛ｘ，２，ｃ｝との差分を算出する（ステップＳ６）。
また、損失関数計算部５１は、個人特徴変換部３１及び動作特徴変換部３２で循環的に生成した動作データ｛ｆ１ａ、ｇ１ａ｝と、入力データｘ１ａとの差分を小さくするための損失関数を計算する。例えば、平均絶対誤差関数や平均二乗誤差関数などを用いて差分を算出する（ステップＳ６）。
【0038】
（９）学習・モデルパラメータ更新
学習部５２は、損失関数計算部５１で算出した値をもとに、ニューラルネットワークの最適化手法を用いて学習し、ニューラルネットワークによる各モデルＢ，Ｍ，Ｐ，Ｆ，Ｇ，Ｅ，Ｄの重みを更新する。つまり、各部を構成する変換モデルを学習し、各モデルのパラメータを更新する（ステップＳ７）。
学習部５２は、損失関数計算部５１で算出した値をもとに、ニューラルネットワークの最適化手法を用いて学習し、ニューラルネットワークによる各モデルＢ，Ｍ，Ｐ，Ｆ，Ｇ，Ｅ，Ｄの重みを更新する。つまり、各部を構成する変換モデルを学習し、各モデルのパラメータを更新する（ステップＳ７）。
【0039】
（２）－（９）繰り返し
ニューラルネットワークによるモデルが十分に学習されるまで、上述した処理を繰り返す。繰り返しの終了は、予め繰り返し回数を決めておくか、損失関数の値で閾値を決めておくことで判断する。
ニューラルネットワークによるモデルが十分に学習されるまで、上述した処理を繰り返す。繰り返しの終了は、予め繰り返し回数を決めておくか、損失関数の値で閾値を決めておくことで判断する。
【0040】
（１０）動作識別の置き換え
繰り返しが一定回数以上になると、動作特徴変換部３２が出力した動作データｇ２ａを識別する動作識別を、一定の割合で個人識別に置き換える。つまり、個人識別特徴抽出部４１が、入力データｘ１ａ及び動作特徴変換部３２が出力した動作データｇ２ａに対して、個人識別特徴抽出値｛ｅｒ ａ、ｅｆ a｝を出力する。そして、かかる個人識別特徴抽出値を用いて上述した学習が行われ、各モデルのパラメータが更新される。これにより、動作特徴変換部３２が出力する動作データｇ２ａが、動作傾向２を持つだけでなく、個人特徴ａを持つようにニューラルネットワークによるモデルＧが学習される。つまり、動作特徴変換部３２で生成した動作データから個人識別特徴抽出部４１で個人識別特徴を抽出し、個人特徴が動作特徴変換部３２で変化しないように学習を行うこととなる。なお、置き換えを開始する繰り返し回数や置き換えの割合は、予め与えるか決めておくか、損失関数の値に応じて決定する。
繰り返しが一定回数以上になると、動作特徴変換部３２が出力した動作データｇ２ａを識別する動作識別を、一定の割合で個人識別に置き換える。つまり、個人識別特徴抽出部４１が、入力データｘ１ａ及び動作特徴変換部３２が出力した動作データｇ２ａに対して、個人識別特徴抽出値｛ｅｒ ａ、ｅｆ a｝を出力する。そして、かかる個人識別特徴抽出値を用いて上述した学習が行われ、各モデルのパラメータが更新される。これにより、動作特徴変換部３２が出力する動作データｇ２ａが、動作傾向２を持つだけでなく、個人特徴ａを持つようにニューラルネットワークによるモデルＧが学習される。つまり、動作特徴変換部３２で生成した動作データから個人識別特徴抽出部４１で個人識別特徴を抽出し、個人特徴が動作特徴変換部３２で変化しないように学習を行うこととなる。なお、置き換えを開始する繰り返し回数や置き換えの割合は、予め与えるか決めておくか、損失関数の値に応じて決定する。
【0041】
次に、推論フェーズについて、図７を参照して説明する。
（１１）動作データ読み込み
まず、動作入力部１１が、変換したい動作データを読み込む。ここでは、動作データ｛ｘ１ａ，ｙ２ｂ｝を読み込み、動作データｘ１ａつまり個人特徴ａの動作傾向１を、動作傾向２に変換したいこととする。
（１１）動作データ読み込み
まず、動作入力部１１が、変換したい動作データを読み込む。ここでは、動作データ｛ｘ１ａ，ｙ２ｂ｝を読み込み、動作データｘ１ａつまり個人特徴ａの動作傾向１を、動作傾向２に変換したいこととする。
【0042】
（１２）動作入力
動作入力部１１は、基本特徴抽出部２２に動作データｘ１ａ、動作特徴抽出部２３に動作データｙ２ｂをそれぞれ入力する。
動作入力部１１は、基本特徴抽出部２２に動作データｘ１ａ、動作特徴抽出部２３に動作データｙ２ｂをそれぞれ入力する。
【0043】
（１３）特徴量抽出
基本特徴抽出部２２は、モデルＢに動作データｘ１ａを入力して、基本特徴ベクトルｂ１ａに変換する。また、動作特徴抽出部２３は、モデルＭに動作データｙ２ｂを入力して、動作特徴ベクトルｍ２ｂに変換する。
基本特徴抽出部２２は、モデルＢに動作データｘ１ａを入力して、基本特徴ベクトルｂ１ａに変換する。また、動作特徴抽出部２３は、モデルＭに動作データｙ２ｂを入力して、動作特徴ベクトルｍ２ｂに変換する。
【0044】
（１４）動作生成
動作特徴変換部３２は、モデルＧを用いて、動作特徴ベクトルｍ２ｂと基本特徴ベクトルｂ１ａをもとに、動作傾向を変換した動作データｇ２ａを生成する。このとき、モデルＧは、上述したように個人特徴ａを持つように学習されているため、動作データｘ１ａから、個人特徴ａは変わらずに、動作特傾向が２に変換された動作データが生成される。
動作特徴変換部３２は、モデルＧを用いて、動作特徴ベクトルｍ２ｂと基本特徴ベクトルｂ１ａをもとに、動作傾向を変換した動作データｇ２ａを生成する。このとき、モデルＧは、上述したように個人特徴ａを持つように学習されているため、動作データｘ１ａから、個人特徴ａは変わらずに、動作特傾向が２に変換された動作データが生成される。
【0045】
以上のように、本開示の情報処理装置１によると、人物の様々な状況における動作データを、その人物の個人特徴を反映して生成することができる。その結果、人物の動作の変化を精度よく予測することができる。これに加え、このような動作データの生成の際に、同一人物における動作前後のペアとなる動作データを必要とせずに学習を行うことができる。その結果、低コストにて人物の動作の変化をより精度よく予測することができる。
【0046】
［変形例］
次に、上述した情報処理装置１の構成及び動作の変形例を、図９乃至図１０を参照して説明する。まず、情報処理装置１は、上述した学習フェーズでは、（１０）において、学習の繰り返しが一定回数以上になると、動作特徴変換部３２が出力した動作データｇ２ａを識別する動作識別を、一定の割合で個人識別に置き換える、ことを行っていた。これに変えて、この変形例では、図９に示すように、学習の繰り返しが一定回数以上になると、個人特徴変換部３１が出力した動作データｆ１ｃを識別する個人識別を、一定の割合で動作識別に置き換える、ことを行う。つまり、動作識別特徴抽出部４２が、入力データｘ１ａ及び個人特徴変換部３１が出力した動作データｆ１ｃに対して、動作識別特徴抽出値を出力する。そして、かかる動作識別特徴抽出値を用いて上述した学習が行われることで、動作傾向が個人特徴変換部３１で変化しないよう学習が行われる。その結果、例えば、動作データｘ１ａから、動作傾向１は変わらずに、個人特徴がｂに変換された動作データを生成することもできる。
次に、上述した情報処理装置１の構成及び動作の変形例を、図９乃至図１０を参照して説明する。まず、情報処理装置１は、上述した学習フェーズでは、（１０）において、学習の繰り返しが一定回数以上になると、動作特徴変換部３２が出力した動作データｇ２ａを識別する動作識別を、一定の割合で個人識別に置き換える、ことを行っていた。これに変えて、この変形例では、図９に示すように、学習の繰り返しが一定回数以上になると、個人特徴変換部３１が出力した動作データｆ１ｃを識別する個人識別を、一定の割合で動作識別に置き換える、ことを行う。つまり、動作識別特徴抽出部４２が、入力データｘ１ａ及び個人特徴変換部３１が出力した動作データｆ１ｃに対して、動作識別特徴抽出値を出力する。そして、かかる動作識別特徴抽出値を用いて上述した学習が行われることで、動作傾向が個人特徴変換部３１で変化しないよう学習が行われる。その結果、例えば、動作データｘ１ａから、動作傾向１は変わらずに、個人特徴がｂに変換された動作データを生成することもできる。
【0047】
また、上記では、動作生成部３０は、個人特徴変換部３１と動作特徴変換部３２とで構成されている場合を説明したが、動作生成部３０は上述した２つの構成に分けなくてもよい。例えば、図１０に示すように、動作生成部３０を１つのニューラルネットワークによるモデルＧで構成してもよい。この場合、個人特徴抽出部２１で出力された個人特徴ベクトルと、動作特徴抽出部２３で出力された動作特徴ベクトルを結合し、モデルＧに入力することで、上述同様に動作データを出力することができる。
【0048】
さらに、図示していないが、上述した基本特徴抽出部２２を、個人特徴抽出部２１用と、動作特徴抽出部２３用とに分けて構成してもよい。つまり、基本特徴抽出部２２を２つ用意し、個人特徴抽出部２１とセットなる構成と、動作特徴抽出部２３とセットとなる構成と、に分けることで、個人特徴を処理する系統と、動作傾向を処理系統と、を分離してもよい。
【0049】
＜実施形態２＞
次に、本開示の第２の実施形態を、図１１乃至図１２を参照して説明する。図１１乃至図１２は、実施形態２における情報処理装置の構成を示すブロック図である。なお、本実施形態では、上述した実施形態で説明した情報処理装置の構成の概略を示している。
次に、本開示の第２の実施形態を、図１１乃至図１２を参照して説明する。図１１乃至図１２は、実施形態２における情報処理装置の構成を示すブロック図である。なお、本実施形態では、上述した実施形態で説明した情報処理装置の構成の概略を示している。
【0050】
まず、図１１を参照して、本実施形態における情報処理装置１００のハードウェア構成を説明する。情報処理装置１００は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３（記憶装置）
・ＲＡＭ１０３にロードされるプログラム群１０４
・プログラム群１０４を格納する記憶装置１０５
・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
・データの入出力を行う入出力インタフェース１０８
・各構成要素を接続するバス１０９
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３（記憶装置）
・ＲＡＭ１０３にロードされるプログラム群１０４
・プログラム群１０４を格納する記憶装置１０５
・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
・データの入出力を行う入出力インタフェース１０８
・各構成要素を接続するバス１０９
【0051】
なお、図１１は、情報処理装置１００である情報処理装置のハードウェア構成の一例を示しており、情報処理装置のハードウェア構成は上述した場合に限定されない。例えば、情報処理装置は、ドライブ装置１０６を有さないなど、上述した構成の一部から構成されてもよい。また、情報処理装置は、上述したＣＰＵの代わりに、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＵ（Ｆｌｏａｔｉｎｇ ｐｏｉｎｔ ｎｕｍｂｅｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＰＰＵ（Ｐｈｙｓｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＴＰＵ（ＴｅｎｓｏｒＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。
【0052】
そして、情報処理装置１００は、プログラム群１０４をＣＰＵ１０１が取得して当該ＣＰＵ１０１が実行することで、図１２に示す特徴抽出手段１２１と動作データ生成手段１２２と学習手段１２３とを構築して装備することができる。なお、プログラム群１０４は、例えば、予め記憶装置１０５やＲＯＭ１０２に格納されており、必要に応じてＣＰＵ１０１がＲＡＭ１０３にロードして実行する。また、プログラム群１０４は、通信ネットワーク１１１を介してＣＰＵ１０１に供給されてもよいし、予め記憶媒体１１０に格納されており、ドライブ装置１０６が該プログラムを読み出してＣＰＵ１０１に供給してもよい。但し、上述した特徴抽出手段１２１と動作データ生成手段１２２と学習手段１２３とは、かかる手段を実現させるための専用の電子回路で構築されるものであってもよい。
【0053】
上記特徴抽出手段１２１は、人物の動作を表す動作データである入力データから、動作について設定された基本動作に対応する動作データの特徴を表す基本特徴データと、動作について設定された動作傾向に対応する動作データの特徴を表す動作特徴データと、人物に対応する動作データの特徴を表す人物特徴データと、を抽出する。
【0054】
上記動作データ生成手段１２２は、基本特徴データと動作特徴データとに基づいて第一動作データを生成し、基本特徴データと人物特徴データとに基づいて第二動作データを生成する。
【0055】
上記学習手段１２３は、第一動作データと第二動作データとに基づいて、特徴抽出手段と動作データ生成手段とを学習する。
【0056】
本開示は、以上のように構成されることにより、基本動作から動作傾向を変更した動作データを生成する際に、人物の個性を反映することができる。その結果、人物の動作の変化を精度よく予測することができる。
【0057】
なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0058】
以上、上記実施形態等を参照して本開示を説明したが、本開示は、上述した実施形態に限定されるものではない。本開示の構成や詳細には、本開示の範囲内で当業者が理解しうる様々な変更をすることができる。また、上述した特徴抽出手段１２１と動作データ生成手段１２２と学習手段１２３との機能のうちの少なくとも一以上の機能は、ネットワーク上のいかなる場所に設置され接続された情報処理装置で実行されてもよく、つまり、いわゆるクラウドコンピューティングで実行されてもよい。
【0059】
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本開示における情報処理装置、情報処理方法、プログラムの構成の概略を説明する。但し、本開示は、以下の構成に限定されない。
（付記１）
人物の動作を表す動作データである入力データから、前記動作について設定された基本動作に対応する前記動作データの特徴を表す基本特徴データと、前記動作について設定された動作傾向に対応する前記動作データの特徴を表す動作特徴データと、前記人物に対応する前記動作データの特徴を表す人物特徴データと、を抽出する特徴抽出手段と、
前記基本特徴データと前記動作特徴データとに基づいて第一動作データを生成し、前記基本特徴データと前記人物特徴データとに基づいて第二動作データを生成する動作データ生成手段と、
前記第一動作データと前記第二動作データとに基づいて、前記特徴抽出手段と前記動作データ生成手段とを学習する学習手段と、
を備えた情報処理装置。
（付記２）
付記１に記載の情報処理装置であって、
前記学習手段は、前記特徴抽出手段及び前記動作データ生成手段において、前記入力データから前記第一動作データ及び前記第二動作データを生成すると共に、前記第一動作データと前記第二動作データとからそれぞれ前記入力データを生成するよう、前記特徴抽出手段と前記動作データ生成手段とを学習する、
情報処理装置。
（付記３）
付記１に記載の情報処理装置であって、
前記第一動作データと前記第二動作データとが、それぞれ前記動作データ生成手段にて生成されたデータであるか前記入力データであるかを識別するための特徴量である識別特徴量を生成する識別特徴抽出手段を備え、
前記学習手段は、前記識別特徴量を用いて前記特徴抽出手段と前記動作データ生成手段と前記識別特徴抽出手段とを学習する、
情報処理装置。
（付記４）
付記３に記載の情報処理装置であって、
前記識別特徴抽出手段は、前記入力データ及び前記第一動作データに対応する前記識別特徴量をそれぞれ生成する動作識別特徴抽出手段と、前記入力データ及び前記第二動作データに対応する前記識別特徴量をそれぞれ生成する個人識別特徴抽出手段と、を備え、
前記学習手段は、前記動作識別特徴抽出手段で生成された前記識別特徴量、及び、前記個人識別特徴抽出手段で生成された前記識別特徴量、を用いて敵対的学習を行うことで、前記特徴抽出手段と前記動作データ生成手段と前記識別特徴抽出手段とを学習する、
情報処理装置。
（付記５）
付記４に記載の情報処理装置であって、
前記個人識別特徴抽出手段は、さらに、前記第一動作データに対応する前記識別特徴量を生成し、
前記学習手段は、前記個人識別特徴抽出手段で生成された、前記入力データ及び前記第二動作データにそれぞれ対応する前記識別特徴量、及び、前記入力データ及び前記第一動作データのそれぞれに対応する前記識別特徴量、を用いて敵対的学習を行うことで、前記特徴抽出手段と前記動作データ生成手段と前記識別特徴抽出手段とを学習する、
情報処理装置。
（付記６）
付記４に記載の情報処理装置であって、
前記動作識別特徴抽出手段は、さらに、前記第二動作データに対応する前記識別特徴量を生成し、
前記学習手段は、前記動作識別特徴抽出手段で生成された、前記入力データ及び前記第一動作データにそれぞれ対応する前記識別特徴量、及び、前記入力データ及び前記第二動作データのそれぞれに対応する前記識別特徴量、を用いて敵対的学習を行うことで、前記特徴抽出手段と前記動作データ生成手段と前記識別特徴抽出手段とを学習する、
情報処理装置。
（付記７）
付記１に記載の情報処理装置であって、
前記学習手段は、前記基本特徴データと前記動作特徴データと前記人物特徴データとが、それぞれ予め設定されたラベルに分類されるよう、前記特徴抽出手段と前記動作データ生成手段とを学習する、
情報処理装置。
（付記８）
特徴抽出手段が、人物の動作を表す動作データである入力データから、前記動作について設定された基本動作に対応する前記動作データの特徴を表す基本特徴データと、前記動作について設定された動作傾向に対応する前記動作データの特徴を表す動作特徴データと、前記人物に対応する前記動作データの特徴を表す人物特徴データと、を抽出し、
動作データ生成手段が、前記基本特徴データと前記動作特徴データとに基づいて第一動作データを生成し、前記基本特徴データと前記人物特徴データとに基づいて第二動作データを生成し、
学習手段が、前記第一動作データと前記第二動作データとに基づいて、前記特徴抽出手段と前記動作データ生成手段とを学習する、
情報処理方法。
（付記９）
付記８に記載の情報処理方法であって、
識別特徴抽出手段が、前記第一動作データと前記第二動作データとが、それぞれ前記動作データ生成手段にて生成されたデータであるか前記入力データであるかを識別するための特徴量である識別特徴量を生成し、
前記学習手段が、前記識別特徴量を用いて前記特徴抽出手段と前記動作データ生成手段と前記識別特徴抽出手段とを学習する、
情報処理方法。
（付記１０）
特徴抽出手段が、人物の動作を表す動作データである入力データから、前記動作について設定された基本動作に対応する前記動作データの特徴を表す基本特徴データと、前記動作について設定された動作傾向に対応する前記動作データの特徴を表す動作特徴データと、前記人物に対応する前記動作データの特徴を表す人物特徴データと、を抽出し、
動作データ生成手段が、前記基本特徴データと前記動作特徴データとに基づいて第一動作データを生成し、前記基本特徴データと前記人物特徴データとに基づいて第二動作データを生成し、
学習手段が、前記第一動作データと前記第二動作データとに基づいて、前記特徴抽出手段と前記動作データ生成手段とを学習する、
処理をコンピュータに実行させるためのプログラム。
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本開示における情報処理装置、情報処理方法、プログラムの構成の概略を説明する。但し、本開示は、以下の構成に限定されない。
（付記１）
人物の動作を表す動作データである入力データから、前記動作について設定された基本動作に対応する前記動作データの特徴を表す基本特徴データと、前記動作について設定された動作傾向に対応する前記動作データの特徴を表す動作特徴データと、前記人物に対応する前記動作データの特徴を表す人物特徴データと、を抽出する特徴抽出手段と、
前記基本特徴データと前記動作特徴データとに基づいて第一動作データを生成し、前記基本特徴データと前記人物特徴データとに基づいて第二動作データを生成する動作データ生成手段と、
前記第一動作データと前記第二動作データとに基づいて、前記特徴抽出手段と前記動作データ生成手段とを学習する学習手段と、
を備えた情報処理装置。
（付記２）
付記１に記載の情報処理装置であって、
前記学習手段は、前記特徴抽出手段及び前記動作データ生成手段において、前記入力データから前記第一動作データ及び前記第二動作データを生成すると共に、前記第一動作データと前記第二動作データとからそれぞれ前記入力データを生成するよう、前記特徴抽出手段と前記動作データ生成手段とを学習する、
情報処理装置。
（付記３）
付記１に記載の情報処理装置であって、
前記第一動作データと前記第二動作データとが、それぞれ前記動作データ生成手段にて生成されたデータであるか前記入力データであるかを識別するための特徴量である識別特徴量を生成する識別特徴抽出手段を備え、
前記学習手段は、前記識別特徴量を用いて前記特徴抽出手段と前記動作データ生成手段と前記識別特徴抽出手段とを学習する、
情報処理装置。
（付記４）
付記３に記載の情報処理装置であって、
前記識別特徴抽出手段は、前記入力データ及び前記第一動作データに対応する前記識別特徴量をそれぞれ生成する動作識別特徴抽出手段と、前記入力データ及び前記第二動作データに対応する前記識別特徴量をそれぞれ生成する個人識別特徴抽出手段と、を備え、
前記学習手段は、前記動作識別特徴抽出手段で生成された前記識別特徴量、及び、前記個人識別特徴抽出手段で生成された前記識別特徴量、を用いて敵対的学習を行うことで、前記特徴抽出手段と前記動作データ生成手段と前記識別特徴抽出手段とを学習する、
情報処理装置。
（付記５）
付記４に記載の情報処理装置であって、
前記個人識別特徴抽出手段は、さらに、前記第一動作データに対応する前記識別特徴量を生成し、
前記学習手段は、前記個人識別特徴抽出手段で生成された、前記入力データ及び前記第二動作データにそれぞれ対応する前記識別特徴量、及び、前記入力データ及び前記第一動作データのそれぞれに対応する前記識別特徴量、を用いて敵対的学習を行うことで、前記特徴抽出手段と前記動作データ生成手段と前記識別特徴抽出手段とを学習する、
情報処理装置。
（付記６）
付記４に記載の情報処理装置であって、
前記動作識別特徴抽出手段は、さらに、前記第二動作データに対応する前記識別特徴量を生成し、
前記学習手段は、前記動作識別特徴抽出手段で生成された、前記入力データ及び前記第一動作データにそれぞれ対応する前記識別特徴量、及び、前記入力データ及び前記第二動作データのそれぞれに対応する前記識別特徴量、を用いて敵対的学習を行うことで、前記特徴抽出手段と前記動作データ生成手段と前記識別特徴抽出手段とを学習する、
情報処理装置。
（付記７）
付記１に記載の情報処理装置であって、
前記学習手段は、前記基本特徴データと前記動作特徴データと前記人物特徴データとが、それぞれ予め設定されたラベルに分類されるよう、前記特徴抽出手段と前記動作データ生成手段とを学習する、
情報処理装置。
（付記８）
特徴抽出手段が、人物の動作を表す動作データである入力データから、前記動作について設定された基本動作に対応する前記動作データの特徴を表す基本特徴データと、前記動作について設定された動作傾向に対応する前記動作データの特徴を表す動作特徴データと、前記人物に対応する前記動作データの特徴を表す人物特徴データと、を抽出し、
動作データ生成手段が、前記基本特徴データと前記動作特徴データとに基づいて第一動作データを生成し、前記基本特徴データと前記人物特徴データとに基づいて第二動作データを生成し、
学習手段が、前記第一動作データと前記第二動作データとに基づいて、前記特徴抽出手段と前記動作データ生成手段とを学習する、
情報処理方法。
（付記９）
付記８に記載の情報処理方法であって、
識別特徴抽出手段が、前記第一動作データと前記第二動作データとが、それぞれ前記動作データ生成手段にて生成されたデータであるか前記入力データであるかを識別するための特徴量である識別特徴量を生成し、
前記学習手段が、前記識別特徴量を用いて前記特徴抽出手段と前記動作データ生成手段と前記識別特徴抽出手段とを学習する、
情報処理方法。
（付記１０）
特徴抽出手段が、人物の動作を表す動作データである入力データから、前記動作について設定された基本動作に対応する前記動作データの特徴を表す基本特徴データと、前記動作について設定された動作傾向に対応する前記動作データの特徴を表す動作特徴データと、前記人物に対応する前記動作データの特徴を表す人物特徴データと、を抽出し、
動作データ生成手段が、前記基本特徴データと前記動作特徴データとに基づいて第一動作データを生成し、前記基本特徴データと前記人物特徴データとに基づいて第二動作データを生成し、
学習手段が、前記第一動作データと前記第二動作データとに基づいて、前記特徴抽出手段と前記動作データ生成手段とを学習する、
処理をコンピュータに実行させるためのプログラム。
【符号の説明】
【0060】
１ 情報処理装置
１１ 動作入力部
２０ 特徴抽出部
２１ 個人特徴抽出部
２２ 基本特徴抽出部
２３ 動作特徴抽出部
３０ 動作生成部
３１ 個人特徴変換部
３２ 動作特徴変換部
４０ 識別特徴抽出部
４１ 個人識別特徴抽出部
４２ 動作識別特徴抽出部
５１ 損失関数計算部
５２ 学習部
１００ 情報処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ プログラム群
１０５ 記憶装置
１０６ ドライブ装置
１０７ 通信インタフェース
１０８ 入出力インタフェース
１０９ バス
１１０ 記憶媒体
１１１ 通信ネットワーク
１２１ 特徴抽出手段
１２２ 動作データ生成手段
１２３ 学習手段
１１ 動作入力部
２０ 特徴抽出部
２１ 個人特徴抽出部
２２ 基本特徴抽出部
２３ 動作特徴抽出部
３０ 動作生成部
３１ 個人特徴変換部
３２ 動作特徴変換部
４０ 識別特徴抽出部
４１ 個人識別特徴抽出部
４２ 動作識別特徴抽出部
５１ 損失関数計算部
５２ 学習部
１００ 情報処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ プログラム群
１０５ 記憶装置
１０６ ドライブ装置
１０７ 通信インタフェース
１０８ 入出力インタフェース
１０９ バス
１１０ 記憶媒体
１１１ 通信ネットワーク
１２１ 特徴抽出手段
１２２ 動作データ生成手段
１２３ 学習手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
