ホーム > 特許ランキング > ソフトバンク株式会社
▶ ソフトバンクモバイル株式会社の特許一覧 ▶ 国立大学法人神戸大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023177594
(43)【公開日】2023-12-14
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06V 10/82 20220101AFI20231207BHJP
G06T 7/00 20170101ALI20231207BHJP
G06T 7/20 20170101ALI20231207BHJP
G06V 40/20 20220101ALI20231207BHJP
A61B 5/16 20060101ALI20231207BHJP
A61B 5/11 20060101ALI20231207BHJP
【ＦＩ】
G06V10/82
G06T7/00 350C
G06T7/00 130
G06T7/20 300Z
G06V40/20
A61B5/16 120
A61B5/11 200
【審査請求】有
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2022090334
(22)【出願日】2022-06-02
(71)【出願人】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(71)【出願人】
【識別番号】504150450
【氏名又は名称】国立大学法人神戸大学
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】岡本 秀明
(72)【発明者】
【氏名】鈴木 裕真
(72)【発明者】
【氏名】堀 隆之
(72)【発明者】
【氏名】金田 麟太郎
(72)【発明者】
【氏名】寺田 努
(72)【発明者】
【氏名】土田 修平
(72)【発明者】
【氏名】モウ コウミン
【テーマコード（参考）】
4C038
5L096
【Ｆターム（参考）】
4C038PP03
4C038PS00
4C038VA04
4C038VA20
4C038VB01
4C038VB35
4C038VC05
5L096AA02
5L096FA12
5L096GA40
5L096HA02
5L096HA11
5L096JA11
5L096KA04
5L096KA15
(57)【要約】
【課題】利用者が自身の感情を表現することを可能とする。
【解決手段】本願に係る情報処理装置は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得部と、機械学習モデルを用いて、利用者の生体情報に基づいて推定された利用者の感情を示す感情情報から利用者の感情に応じた身体の動きを示す運動情報を生成する生成部と、を備える。
【選択図】図６
【解決手段】本願に係る情報処理装置は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得部と、機械学習モデルを用いて、利用者の生体情報に基づいて推定された利用者の感情を示す感情情報から利用者の感情に応じた身体の動きを示す運動情報を生成する生成部と、を備える。
【選択図】図６
【特許請求の範囲】
【請求項1】
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得部と、
前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成部と、
を備える情報処理装置。
前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成部と、
を備える情報処理装置。
【請求項2】
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得部と、
前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成部と、
を備える情報処理装置。
前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成部と、
を備える情報処理装置。
【請求項3】
前記利用者が希望する前記利用者の感情である希望感情を示す希望感情情報を受け付ける受付部をさらに備え、
前記生成部は、
前記希望感情情報から前記希望感情に応じた前記身体の動きを示す運動情報を生成する、
請求項１に記載の情報処理装置。
前記生成部は、
前記希望感情情報から前記希望感情に応じた前記身体の動きを示す運動情報を生成する、
請求項１に記載の情報処理装置。
【請求項4】
前記機械学習モデルは、前記感情情報に基づいて前記感情特徴情報を生成する第１のエンコーダと、前記運動情報に基づいて前記運動特徴情報を生成する第２のエンコーダと、前記運動特徴情報に基づいて前記運動情報を生成するデコーダと、を含む、
請求項１または２に記載の情報処理装置。
請求項１または２に記載の情報処理装置。
【請求項5】
前記感情情報は、前記生体情報から前記感情情報を推定するよう学習された機械学習モデルである推定モデルを用いて推定された感情を示す情報である、
請求項１または２に記載の情報処理装置。
請求項１または２に記載の情報処理装置。
【請求項6】
前記感情情報は、覚醒度を示す値と感情価を示す値の組である、
請求項１または２に記載の情報処理装置。
請求項１または２に記載の情報処理装置。
【請求項7】
前記生体情報は、心電、心拍、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す情報である、
請求項１または２に記載の情報処理装置。
請求項１または２に記載の情報処理装置。
【請求項8】
前記運動情報は、前記身体の動きを示す映像である、
請求項１または２に記載の情報処理装置。
請求項１または２に記載の情報処理装置。
【請求項9】
前記運動情報は、前記身体の動きを複数の方向から撮影した映像である、
請求項１または２に記載の情報処理装置。
請求項１または２に記載の情報処理装置。
【請求項10】
前記身体の動きは、ダンス、リハビリテーション、スポーツ、または演技における動作である、
請求項１または２に記載の情報処理装置。
請求項１または２に記載の情報処理装置。
【請求項11】
情報処理装置が実行するプログラムにより実現される情報処理方法であって、
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得工程と、
前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成工程と、
を含む情報処理方法。
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得工程と、
前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成工程と、
を含む情報処理方法。
【請求項12】
情報処理装置が実行するプログラムにより実現される情報処理方法であって、
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得工程と、
前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成工程と、
を含む情報処理方法。
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得工程と、
前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成工程と、
を含む情報処理方法。
【請求項13】
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得手順と、
前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成手順と、
をコンピュータに実行させる情報処理プログラム。
前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成手順と、
をコンピュータに実行させる情報処理プログラム。
【請求項14】
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得手順と、
前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成手順と、
をコンピュータに実行させる情報処理プログラム。
前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成手順と、
をコンピュータに実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
近年、利用者の計測情報に基づいて利用者の感情を推定する技術が知られている。さらに、利用者に対して、推定された感情に応じたサービスを提供する技術が知られている。例えば、利用者の計測情報から抽出される利用者の特徴量に基づき、利用者の感情を推定する。続いて、推定した第１の利用者の感情と第２の利用者の感情とを比較し、第１の利用者の感情と第２の利用者の感情との共通性を判定する。そして、共通性が認められる場合、第１の利用者の感情の発生源が第１の利用者または第２の利用者であるかを推定する技術が知られている。
【先行技術文献】
【非特許文献】
【0003】
【特許文献1】特開２０２０－１３０５２８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の従来技術では、第１の利用者の感情と第２の利用者の感情との共通性が認められる場合、第１の利用者の感情の発生源が第１の利用者または第２の利用者であるかを推定するにすぎないため、利用者が自身の感情を表現することを可能とすることができるとは限らない。
【0005】
本願は、利用者が自身の感情を表現することを可能とすることができる情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本願に係る情報処理装置は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得部と、前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成部と、を備える。
【0007】
本願に係る情報処理装置は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得部と、前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成部と、を備える。
【0008】
前記利用者が希望する前記利用者の感情である希望感情を示す希望感情情報を受け付ける受付部をさらに備え、前記生成部は、前記希望感情情報から前記希望感情に応じた前記身体の動きを示す運動情報を生成する。
【0009】
前記機械学習モデルは、前記感情情報に基づいて前記感情特徴情報を生成する第１のエンコーダと、前記運動情報に基づいて前記運動特徴情報を生成する第２のエンコーダと、前記運動特徴情報に基づいて前記運動情報を生成するデコーダと、を含む。
【0010】
前記感情情報は、前記生体情報から前記感情情報を推定するよう学習された機械学習モデルである推定モデルを用いて推定された感情を示す情報である。
【0011】
前記感情情報は、覚醒度を示す値と感情価を示す値の組である。
【0012】
前記生体情報は、心電、心拍、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す情報である。
【0013】
前記運動情報は、前記身体の動きを示す映像である。
【0014】
前記運動情報は、前記身体の動きを複数の方向から撮影した映像である。
【0015】
前記身体の動きは、ダンス、リハビリテーション、スポーツ、または演技における動作である。
【0016】
本願に係る情報処理方法は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得工程と、前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成工程と、を含む。
【0017】
本願に係る情報処理方法は、情報処理装置が実行するプログラムにより実現される情報処理方法であって、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得工程と、前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成工程と、を含む。
【0018】
本願に係る情報処理プログラムは、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得手順と、前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成手順と、をコンピュータに実行させる。
【0019】
本願に係る情報処理プログラムは、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得手順と、前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成手順と、をコンピュータに実行させる。
【発明の効果】
【0020】
実施形態の一態様によれば、利用者が自身の感情を表現することを可能とすることができる。
【図面の簡単な説明】
【0021】
【発明を実施するための形態】
【0022】
以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0023】
（実施形態）
〔１．情報処理の概要〕
図１は、実施形態に係る情報処理の概要について説明するための図である。図１では、実施形態に係る情報処理装置１００によって、実施形態に係る情報処理などが実現されるものとする。図１では、情報処理装置１００が、あらかじめ生成された機械学習モデルを用いて、利用者の生体情報に基づいて推定された利用者の感情を示す感情情報から利用者の感情に応じたダンスの動作を示す映像（以下、ダンス映像ともいう）を生成する場合について説明する。
〔１．情報処理の概要〕
図１は、実施形態に係る情報処理の概要について説明するための図である。図１では、実施形態に係る情報処理装置１００によって、実施形態に係る情報処理などが実現されるものとする。図１では、情報処理装置１００が、あらかじめ生成された機械学習モデルを用いて、利用者の生体情報に基づいて推定された利用者の感情を示す感情情報から利用者の感情に応じたダンスの動作を示す映像（以下、ダンス映像ともいう）を生成する場合について説明する。
【0024】
図１では、情報処理装置１００は、利用者の生体情報を取得する。続いて、情報処理装置１００は、利用者の生体情報に基づいて、利用者の感情を示す感情情報を推定する。続いて、情報処理装置１００は、あらかじめ生成された機械学習モデルを用いて、利用者の感情情報から利用者の感情に応じたダンス映像を生成する。続いて、情報処理装置１００は、生成したダンス映像を画面に表示する。利用者は、例えば、画面に表示されたダンス映像を視聴し、ダンス映像に含まれるダンスを真似て踊る。
【0025】
また、情報処理装置１００は、利用者が希望する利用者の感情である希望感情を示す希望感情情報を受け付ける。続いて、情報処理装置１００は、希望感情情報から希望感情に応じたダンス映像を生成する。続いて、情報処理装置１００は、生成したダンス映像を画面に表示する。利用者は、例えば、画面に表示されたダンス映像を視聴し、ダンス映像に含まれるダンスを真似て踊る。
【0026】
このように、情報処理装置１００は、利用者の感情に応じたダンス映像（利用者の感情に応じた身体の動きを示す運動情報の一例）を生成する。これにより、情報処理装置１００は、例えば、生成されたダンス映像を利用者に対して提供可能とすることができる。また、情報処理装置１００は、例えば、利用者が提供されたダンス映像を真似てダンスを踊ることにより、利用者が自身の感情をダンスにより表現することを可能とすることができる。したがって、情報処理装置１００は、例えば、利用者が自身の感情をダンスにより表現することで、利用者がストレスを解消することを可能とすることができる。すなわち、情報処理装置１００は、利用者のメンタルの状態を改善することを可能とすることができる。また、情報処理装置１００は、利用者が自身の感情をダンスにより表現することで、利用者が豊かな感情表現を実現することを可能とする。
【0027】
〔２．情報処理システムの構成〕
図２は、実施形態に係る情報処理システム１の構成例を示す図である。図２に示すように、実施形態に係る情報処理システム１には、センサ装置１０と情報処理装置１００とが含まれる。センサ装置１０と情報処理装置１００とは、各種の通信ネットワークを介して、有線または無線で互いに通信可能に接続される。なお、図２に示した情報処理システム１には、任意の数のセンサ装置１０と任意の数の情報処理装置１００とが含まれていてもよい。
図２は、実施形態に係る情報処理システム１の構成例を示す図である。図２に示すように、実施形態に係る情報処理システム１には、センサ装置１０と情報処理装置１００とが含まれる。センサ装置１０と情報処理装置１００とは、各種の通信ネットワークを介して、有線または無線で互いに通信可能に接続される。なお、図２に示した情報処理システム１には、任意の数のセンサ装置１０と任意の数の情報処理装置１００とが含まれていてもよい。
【0028】
センサ装置１０は、利用者の生体情報を検出する情報処理装置である。具体的には、センサ装置１０は、利用者によって使用されるウェアラブルセンサまたはスマートフォン等の端末装置であってよい。例えば、センサ装置１０は、生体センサ素子を備える生体センサ装置であり、人体に装着可能なウェアラブルセンサであってよい。また、センサ装置１０は、ヘッドセット型、眼鏡型、シャツ型、または、リストバンド型などであってよい。例えば、生体センサ装置であるセンサ装置１０は、センサデータのとして、人体の心電、心拍、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声などをそれぞれ示す電気信号を検出する。また、センサ装置１０は、生体センサ素子が検出した電気信号（アナログ信号）をデジタルデータへとＡＤ変換する。また、センサ装置１０は、生体情報として、検出した電気信号をＡＤ変換したデジタルデータを情報処理装置１００に送信する。なお、後述するが、センサ装置１０が検出可能な生体情報は上記の例に限定されるものではない。
【0029】
情報処理装置１００は、図１で説明した情報処理を実現する情報処理装置である。具体的には、情報処理装置１００は、利用者によって使用されるスマートフォン等の端末装置であってよい。情報処理装置１００は、センサ装置１０から利用者の生体情報を受信する。続いて、情報処理装置１００は、受信した生体情報に基づいて、利用者の感情を示す感情情報を推定する。続いて、情報処理装置１００は、感情を示す感情情報に対応する感情特徴情報と、感情に応じたダンスの動作を示すダンス映像に対応するダンス特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する。続いて、情報処理装置１００は、取得した機械学習モデルを用いて、利用者の感情情報から利用者の感情に応じたダンスの動作を示すダンス映像を生成する。
【0030】
〔３．情報処理装置の構成〕
図３は、実施形態に係る情報処理装置１００の構成例を示す図である。情報処理装置１００は、通信部１１０と、記憶部１２０と、入力部１３０と、出力部１４０と、制御部１５０とを有する。
図３は、実施形態に係る情報処理装置１００の構成例を示す図である。情報処理装置１００は、通信部１１０と、記憶部１２０と、入力部１３０と、出力部１４０と、制御部１５０とを有する。
【0031】
（通信部１１０）
通信部１１０は、ＮＩＣ（Network Interface Card）やアンテナ等によって実現される。通信部１１０は、各種ネットワークと有線または無線で接続され、例えば、センサ装置１０との間で情報の送受信を行う。
通信部１１０は、ＮＩＣ（Network Interface Card）やアンテナ等によって実現される。通信部１１０は、各種ネットワークと有線または無線で接続され、例えば、センサ装置１０との間で情報の送受信を行う。
【0032】
（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。具体的には、記憶部１２０は、各種プログラム（情報処理プログラムの一例）を記憶する。また、記憶部１２０は、生体情報から感情情報を推定するよう学習された機械学習モデルである推定モデルＭ１を記憶する。また、記憶部１２０は、モデル生成部１５２による機械学習モデルＭ４の学習に用いられる各種データを記憶する。また、記憶部１２０は、モデル生成部１５２によって生成された機械学習モデルに関する情報を記憶する。
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。具体的には、記憶部１２０は、各種プログラム（情報処理プログラムの一例）を記憶する。また、記憶部１２０は、生体情報から感情情報を推定するよう学習された機械学習モデルである推定モデルＭ１を記憶する。また、記憶部１２０は、モデル生成部１５２による機械学習モデルＭ４の学習に用いられる各種データを記憶する。また、記憶部１２０は、モデル生成部１５２によって生成された機械学習モデルに関する情報を記憶する。
【0033】
（入力部１３０）
入力部１３０は、利用者から各種操作が入力される。例えば、入力部１３０は、タッチパネル機能により表示面（例えば出力部１４０）を介して利用者からの各種操作を受け付けてもよい。また、入力部１３０は、情報処理装置１００に設けられたボタンや、情報処理装置１００に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
入力部１３０は、利用者から各種操作が入力される。例えば、入力部１３０は、タッチパネル機能により表示面（例えば出力部１４０）を介して利用者からの各種操作を受け付けてもよい。また、入力部１３０は、情報処理装置１００に設けられたボタンや、情報処理装置１００に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
【0034】
（出力部１４０）
出力部１４０は、例えば、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される表示画面であり、各種情報を表示するための表示装置である。出力部１４０は、制御部１５０の制御に従って、各種情報を表示する。なお、情報処理装置１００にタッチパネルが採用される場合には、入力部１３０と出力部１４０とは一体化される。また、以下の説明では、出力部１４０を画面と記載する場合がある。
出力部１４０は、例えば、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される表示画面であり、各種情報を表示するための表示装置である。出力部１４０は、制御部１５０の制御に従って、各種情報を表示する。なお、情報処理装置１００にタッチパネルが採用される場合には、入力部１３０と出力部１４０とは一体化される。また、以下の説明では、出力部１４０を画面と記載する場合がある。
【0035】
（制御部１５０）
制御部１５０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１５０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
制御部１５０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１５０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
【0036】
制御部１５０は、取得部１５１と、モデル生成部１５２と、生成部１５３と、出力制御部１５４と、受付部１５５を機能部として有し、以下に説明する情報処理の作用を実現または実行してよい。なお、制御部１５０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、各機能部は、制御部１５０の機能を示したものであり、必ずしも物理的に区別されるものでなくともよい。
【0037】
（取得部１５１）
取得部１５１は、生体情報を取得する。取得部１５１は、モデル生成部１５２による機械学習モデルの学習に用いられる生体情報を取得してよい。具体的には、取得部１５１は、各利用者のセンサ装置１０から取得された各利用者の生体情報を一括して管理する外部のサーバ装置から機械学習モデルの学習に用いられる生体情報を取得してよい。また、取得部１５１は、利用者のセンサ装置１０から利用者の生体情報を取得してよい。また、取得部１５１は、生体情報を取得した場合、取得した生体情報を記憶部１２０に格納してよい。また、取得部１５１は、記憶部１２０を参照して、センサ装置１０から取得した生体情報を取得してよい。例えば、取得部１５１は、生体情報として、心拍数の時系列データを取得してよい。
取得部１５１は、生体情報を取得する。取得部１５１は、モデル生成部１５２による機械学習モデルの学習に用いられる生体情報を取得してよい。具体的には、取得部１５１は、各利用者のセンサ装置１０から取得された各利用者の生体情報を一括して管理する外部のサーバ装置から機械学習モデルの学習に用いられる生体情報を取得してよい。また、取得部１５１は、利用者のセンサ装置１０から利用者の生体情報を取得してよい。また、取得部１５１は、生体情報を取得した場合、取得した生体情報を記憶部１２０に格納してよい。また、取得部１５１は、記憶部１２０を参照して、センサ装置１０から取得した生体情報を取得してよい。例えば、取得部１５１は、生体情報として、心拍数の時系列データを取得してよい。
【0038】
また、取得部１５１は、生体情報に基づいて、感情を示す感情情報を推定する。取得部１５１は、例えば、生体情報の特徴量を算出し、算出された特徴量に基づいて感情情報を推定してよい。具体的には、例えば、取得部１５１は、生体情報の特徴量から感情情報を推定する学習モデルを取得し、当該学習モデルを用いて生体情報の特徴量に基づき感情情報を推定してよい。
【0039】
ここで、一例として、利用者の心拍数から感情情報を推定する手法について説明する。この場合、まず、取得部１５１は、心拍数の時系列データを周波数解析することで交感神経の影響を受けた周波数成分を抽出してよい。続いて、取得部１５１は、心拍変動解析の技術を用いて、抽出された周波数成分から特徴量を算出してよい。続いて、取得部１５１は、記憶部１２０を参照して、心拍変動解析により算出された特徴量から感情情報を推定するよう学習された推定モデルＭ１を取得してよい。なお、推定モデルＭ１は、心拍変動解析により算出された特徴量から感情情報を推定するよう事前に機械学習により生成された機械学習モデルである。続いて、取得部１５１は、取得した推定モデルＭ１を用いて、心拍変動解析により算出された特徴量から感情情報を推定してよい。なお、後述するが、生体情報から感情情報を推定する手法は上記の例に限定されるものではない。
【0040】
ここで、図４を用いて、感情情報について説明する。図４は、感情円環モデル（ラッセルの円環モデルともいう）について説明するための図である。感情円環モデルとは、感情を互いに独立な二次元の軸（Arousal：覚醒度とValence：感情価（快/不快））で表現できるとし、さまざまな感情を二次元軸上に配置したものである。図４は、縦軸を覚醒度、横軸を感情値とした二次元モデルに、各種感情を配置したラッセルの円環モデルを示す。すなわち、感情円環モデルでは、ある感情を示す感情情報は、覚醒度を示す値と感情価を示す値（感情値ともいう）の組で表される。感情円環モデルの円環上には、喜び（happy）、興奮（excited）、緊張（tense）、ストレス（stressed）、悲哀（sad）、穏やか（calm）、リラックス（relaxed）など、さまざまな感情が配置される。
【0041】
取得部１５１は、生体情報の特徴量に基づいて推定した感情情報が、感情円環モデルの各象限を代表するHAPPY（喜び）、ANGRY（怒り）、SAD（悲しみ）、RELAXED（リラックス）の４つの感情のいずれに該当するかを判定してよい。例えば、取得部１５１は、心拍変動解析により算出された特徴量から、感情情報として、覚醒度の値および感情価の値を推定するよう学習された推定モデルＭ１を取得してよい。続いて、取得部１５１は、心拍変動解析により算出された特徴量を推定モデルＭ１に入力することにより、感情情報として、覚醒度の推定値と感情価の推定値を算出してよい。続いて、取得部１５１は、算出した覚醒度の推定値と感情価の推定値の組で表される点が、感情円環モデルのどの象限に位置するかを判定し、各象限を代表するHAPPY（喜び）、ANGRY（怒り）、SAD（悲しみ）、RELAXED（リラックス）の４つの感情のいずれに該当するかを判定してよい。図４では、取得部１５１は、算出した覚醒度の推定値Ａ１と感情価の推定値Ｖ１の組で表される点Ｐ１が、感情円環モデルの第１象限に位置すると判定し、HAPPY（喜び）の感情に該当すると判定する。また、取得部１５１は、算出した覚醒度の推定値と感情価の推定値の組で表される点が、感情円環モデルの円環のどこに位置するかを判定し、円環の位置に対応する感情に該当するかを判定してよい。例えば、取得部１５１は、算出した覚醒度の推定値Ａ１と感情価の推定値Ｖ１の組で表される点Ｐ１が、図４に示す感情円環モデルの円環の右上に位置すると判定し、excited（興奮）の感情に該当すると判定する。
【0042】
また、取得部１５１は、感情情報に対応する感情特徴情報を取得する。具体的には、取得部１５１は、生体情報に基づいて感情情報を推定した場合、記憶部１２０を参照して、感情情報に基づいて感情の特徴を示す感情特徴情報を生成するエンコーダ（以下、感情エンコーダともいう）を取得してよい。続いて、取得部１５１は、感情エンコーダを用いて、感情情報に対応する感情特徴情報を生成してよい。
【0043】
また、取得部１５１は、感情に応じた身体の動きを示す運動情報を取得する。取得部１５１は、モデル生成部１５２による機械学習モデルの学習に用いられる運動情報を取得してよい。具体的には、取得部１５１は、機械学習モデルの学習に用いられる運動情報を保持する外部のサーバ装置から機械学習モデルの学習に用いられる運動情報を取得してよい。取得部１５１は、運動情報を取得した場合、取得した運動情報を記憶部１２０に格納してよい。例えば、取得部１５１は、運動情報として、感情に応じたダンス映像を取得してよい。ここで、モデル生成部１５２による機械学習モデルの学習に用いられる運動情報は、あらかじめ人手によって生成される。例えば、機械学習モデルの学習に用いられる運動情報は、人手により、ある人物（以下、ダンサーともいう）のダンスの動作を撮影したダンス映像と、ダンスの動作に対応するダンサーの感情とを対応付けることで生成される。ダンスの動作に対応するダンサーの感情は、ダンス中のダンサーの生体情報に基づいて推定された感情であってよい。あるいは、ダンスの動作に対応するダンサーの感情は、ダンサーへのアンケートにより取得された感情であってもよい。例えば、取得部１５１は、記憶部１２０を参照して、感情と対応付けられたダンス映像を取得してよい。また、取得部１５１は、感情と対応付けられたダンス映像として、ダンサーのダンスの動作を複数の方向から撮影した映像（複数の映像であってよい）を取得してよい。
【0044】
また、取得部１５１は、運動情報に対応する運動特徴情報を取得する。例えば、取得部１５１は、運動情報としてダンス映像を取得した場合、記憶部１２０を参照して、ダンス映像に基づいてダンス映像の特徴を示すダンス特徴情報を生成するエンコーダ（以下、ダンスエンコーダともいう）を取得してよい。続いて、取得部１５１は、ダンスエンコーダを用いて、ダンス映像に対応するダンス特徴情報を生成してよい。
【0045】
（モデル生成部１５２）
モデル生成部１５２は、感情特徴情報と運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成してよい。モデル生成部１５２は、感情情報に基づいて感情特徴情報を生成する感情エンコーダと、運動情報に基づいて運動特徴情報を生成する運動エンコーダと、運動特徴情報に基づいて運動情報を生成するデコーダと、を含む機械学習モデルを生成してよい。
モデル生成部１５２は、感情特徴情報と運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成してよい。モデル生成部１５２は、感情情報に基づいて感情特徴情報を生成する感情エンコーダと、運動情報に基づいて運動特徴情報を生成する運動エンコーダと、運動特徴情報に基づいて運動情報を生成するデコーダと、を含む機械学習モデルを生成してよい。
【0046】
図５は、実施形態に係る機械学習モデルの生成処理の一例について説明するための図である。図５に示す例では、実施形態に係る機械学習モデルを「マルチモーダルモデル」と記載する。実施形態に係る機械学習モデルＭ４（以下、マルチモーダルモデルＭ４と記載する場合がある）は、感情情報とダンス映像という異なる種類の情報（異なるモダリティに属する情報ともいう）を相互に変換可能な機械学習モデルである。
【0047】
図５では、モデル生成部１５２は、感情情報に基づいて感情特徴情報を生成する感情エンコーダと、感情特徴情報から感情情報を生成する感情デコーダとを含む感情モデルＭ２を含むマルチモーダルモデルＭ４を生成する。例えば、感情モデルＭ２は、Ｔｒａｎｓｆｏｒｍｅｒ（Ashish Vaswani et al., 2017）、Ｓｅｑ２Ｓｅｑ（sequence-to-sequence）にアテンションモデルを追加したSequence to Sequence with Attention Modelなどのエンコーダ-デコーダモデルであってよい。
【0048】
また、図５では、モデル生成部１５２は、ダンス映像に基づいてダンス特徴情報を生成するダンスエンコーダと、ダンス特徴情報からダンス映像を生成するダンスデコーダとを含むダンスモデルＭ３を含むマルチモーダルモデルＭ４を生成する。例えば、ダンスモデルＭ３は、Ｔｒａｎｓｆｏｒｍｅｒ（Ashish Vaswani et al., 2017）などのエンコーダ-デコーダモデルであってよい。
【0049】
モデル生成部１５２は、取得部１５１によって取得された感情特徴情報とダンス特徴情報とを対応付けて共通の潜在空間にマッピングするようマルチモーダルモデルＭ４を学習させる。具体的には、モデル生成部１５２は、感情特徴情報とダンス特徴情報とをそれぞれ共通の潜在空間にマッピングするよう感情モデルＭ２の感情エンコーダとダンスモデルＭ３のダンスエンコーダをそれぞれ学習させる。
【0050】
より具体的には、取得部１５１は、記憶部１２０を参照して、感情情報と、感情情報に対応するダンス映像の組（ペアデータともいう）を取得する。続いて、取得部１５１は、ペアデータに対応する感情情報の感情特徴情報とダンス映像のダンス特徴情報をそれぞれ生成する。モデル生成部１５２は、取得部１５１によって生成されたペアデータに対応する感情特徴情報とダンス特徴情報との類似度が大きくなるように感情エンコーダおよびダンスエンコーダをそれぞれ学習させる。一方、モデル生成部１５２は、ペアデータではない感情特徴情報とダンス特徴情報との類似度が小さくなるように感情エンコーダおよびダンスエンコーダをそれぞれ学習させる。このようにして、モデル生成部１５２は、感情特徴情報とダンス特徴情報を共通の潜在空間に埋め込むよう感情エンコーダおよびダンスエンコーダをそれぞれ学習させる。このようにして、モデル生成部１５２は、感情特徴情報とダンス特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習されたマルチモーダルモデルＭ４を生成する。
【0051】
（生成部１５３）
生成部１５３は、機械学習モデルＭ４を用いて、利用者の生体情報に基づいて推定された利用者の感情を示す感情情報から利用者の感情に応じた身体の動きを示す運動情報を生成してよい。具体的には、取得部１５１は、記憶部１２０を参照して、モデル生成部１５２によって生成された機械学習モデルＭ４を取得してよい。生成部１５３は、取得部１５１によって取得された機械学習モデルＭ４を用いて、利用者の感情情報から利用者の感情に応じた運動情報を生成してよい。
生成部１５３は、機械学習モデルＭ４を用いて、利用者の生体情報に基づいて推定された利用者の感情を示す感情情報から利用者の感情に応じた身体の動きを示す運動情報を生成してよい。具体的には、取得部１５１は、記憶部１２０を参照して、モデル生成部１５２によって生成された機械学習モデルＭ４を取得してよい。生成部１５３は、取得部１５１によって取得された機械学習モデルＭ４を用いて、利用者の感情情報から利用者の感情に応じた運動情報を生成してよい。
【0052】
図６は、実施形態に係るダンス映像の生成処理の一例について説明するための図である。図６では、取得部１５１は、センサ装置１０から利用者の生体情報を取得する。例えば、取得部１５１は、利用者の生体情報として、利用者の心拍数の時系列データを取得してよい。続いて、取得部１５１は、心拍変動解析により算出された特徴量を推定モデルＭ１に入力することにより、利用者の感情情報として、利用者の覚醒度の推定値と感情価の推定値を算出してよい。続いて、取得部１５１は、算出した感情情報を感情モデルＭ２の感情エンコーダに入力することにより、利用者の感情特徴情報を生成してよい。
【0053】
また、取得部１５１は、モデル生成部１５２によって生成されたマルチモーダルモデルＭ４を取得する。生成部１５３は、取得部１５１によって取得されたマルチモーダルモデルＭ４を用いて、取得部１５１によって生成された利用者の感情特徴情報との類似度が所定の閾値を超えるダンス特徴情報を算出する。例えば、生成部１５３は、取得部１５１によって生成された利用者の感情特徴情報をマルチモーダルモデルＭ４に入力することにより、利用者の感情特徴情報に対応するダンス特徴情報を算出する。続いて、生成部１５３は、算出したダンス特徴情報をダンスモデルＭ３のダンスデコーダに入力することにより、利用者の感情に応じたダンスの動作を示すダンス映像を生成してよい。
【0054】
（出力制御部１５４）
出力制御部１５４は、生成部１５３によって生成された運動情報を出力部１４０に出力するよう制御する。例えば、出力制御部１５４は、生成部１５３によって生成されたダンス映像を出力部１４０に表示するよう制御してよい。
出力制御部１５４は、生成部１５３によって生成された運動情報を出力部１４０に出力するよう制御する。例えば、出力制御部１５４は、生成部１５３によって生成されたダンス映像を出力部１４０に表示するよう制御してよい。
【0055】
（受付部１５５）
受付部１５５は、利用者が希望する利用者の感情である希望感情を示す希望感情情報を受け付ける。例えば、受付部１５５は、感情円環モデルを出力部１４０に表示するよう制御してよい。続いて、受付部１５５は、入力部１３０を介して、希望感情情報として、利用者の希望感情に対応する感情円環モデルにおける覚醒度の値と感情価の値の組を利用者から受け付けてよい。例えば、受付部１５５は、取得部１５１が推定した利用者の感情情報を出力部１４０に表示するよう制御してよい。例えば、受付部１５５は、利用者の感情情報として、利用者の覚醒度の推定値と感情価の推定値を示す点Ｐ１の位置を感情円環モデルに重畳して出力部１４０に表示するよう制御してよい。続いて、受付部１５５は、入力部１３０を介して、利用者から画面に表示された利用者の感情情報を加工する操作を受け付けてよい。例えば、受付部１５５は、利用者の指によって点Ｐ１を長押しする操作を受け付けてよい。続いて、受付部１５５は、点Ｐ１の位置から、例えば、覚醒度の値を「＋３」、感情価の値を「＋３」だけ変化させた点Ｐ２の位置まで利用者の指を画面上でスライドさせる操作（ドラッグ操作）を受け付けてよい。また、受付部１５５は、希望感情情報として、点Ｐ２の位置に対応する加工後の感情情報を受け付けてよい。このように、受付部１５５は、希望感情情報として、利用者により加工された利用者の感情情報である加工後の感情情報を受け付けてよい。
受付部１５５は、利用者が希望する利用者の感情である希望感情を示す希望感情情報を受け付ける。例えば、受付部１５５は、感情円環モデルを出力部１４０に表示するよう制御してよい。続いて、受付部１５５は、入力部１３０を介して、希望感情情報として、利用者の希望感情に対応する感情円環モデルにおける覚醒度の値と感情価の値の組を利用者から受け付けてよい。例えば、受付部１５５は、取得部１５１が推定した利用者の感情情報を出力部１４０に表示するよう制御してよい。例えば、受付部１５５は、利用者の感情情報として、利用者の覚醒度の推定値と感情価の推定値を示す点Ｐ１の位置を感情円環モデルに重畳して出力部１４０に表示するよう制御してよい。続いて、受付部１５５は、入力部１３０を介して、利用者から画面に表示された利用者の感情情報を加工する操作を受け付けてよい。例えば、受付部１５５は、利用者の指によって点Ｐ１を長押しする操作を受け付けてよい。続いて、受付部１５５は、点Ｐ１の位置から、例えば、覚醒度の値を「＋３」、感情価の値を「＋３」だけ変化させた点Ｐ２の位置まで利用者の指を画面上でスライドさせる操作（ドラッグ操作）を受け付けてよい。また、受付部１５５は、希望感情情報として、点Ｐ２の位置に対応する加工後の感情情報を受け付けてよい。このように、受付部１５５は、希望感情情報として、利用者により加工された利用者の感情情報である加工後の感情情報を受け付けてよい。
【0056】
また、生成部１５３は、希望感情情報から希望感情に応じた身体の動きを示す運動情報を生成する。例えば、生成部１５３は、受付部１５５によって受け付けられた希望感情情報を感情モデルＭ２の感情エンコーダに入力することにより、利用者の希望感情情報に対応する感情特徴情報（以下、希望感情特徴情報ともいう）を生成してよい。
【0057】
また、取得部１５１は、モデル生成部１５２によって生成されたマルチモーダルモデルＭ４を取得する。生成部１５３は、取得部１５１によって取得されたマルチモーダルモデルＭ４を用いて、生成部１５３によって生成された利用者の希望感情特徴情報との類似度が所定の閾値を超えるダンス特徴情報を算出する。続いて、生成部１５３は、算出したダンス特徴情報をダンスモデルＭ３のダンスデコーダに入力することにより、利用者の希望感情に応じたダンスの動作を示すダンス映像を生成してよい。
【0058】
〔４．情報処理の手順〕
図７は、実施形態に係る機械学習モデルの生成処理手順を示すフローチャートである。図７に示すように、情報処理装置１００の取得部１５１は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する（ステップＳ１０１）。例えば、取得部１５１は、運動特徴情報として、感情に応じたダンスの動作を示すダンス映像に対応するダンス特徴情報を取得する。
図７は、実施形態に係る機械学習モデルの生成処理手順を示すフローチャートである。図７に示すように、情報処理装置１００の取得部１５１は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する（ステップＳ１０１）。例えば、取得部１５１は、運動特徴情報として、感情に応じたダンスの動作を示すダンス映像に対応するダンス特徴情報を取得する。
【0059】
また、情報処理装置１００のモデル生成部１５２は、感情特徴情報と運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成する（ステップＳ１０２）。例えば、モデル生成部１５２は、感情特徴情報とダンス特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成する。
【0060】
図８は、実施形態に係る運動情報の生成処理手順を示すフローチャートである。図８に示すように、情報処理装置１００の取得部１５１は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する（ステップＳ２０１）。例えば、取得部１５１は、感情特徴情報とダンス特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する。
【0061】
また、情報処理装置１００の生成部１５３は、機械学習モデルを用いて、利用者の生体情報に基づいて推定された利用者の感情を示す感情情報から利用者の感情に応じた身体の動きを示す運動情報を生成する（ステップＳ２０２）。例えば、生成部１５３は、運動情報として、利用者の感情情報から利用者の感情に応じたダンスの動きを示すダンス映像を生成する。
【0062】
〔５．変形例〕
上述した実施形態に係る処理は、上記実施形態以外にも種々の異なる形態にて実施されてよい。
上述した実施形態に係る処理は、上記実施形態以外にも種々の異なる形態にて実施されてよい。
【0063】
〔５－１．生体情報について〕
上述した実施形態では、生体情報が、心拍を示す情報である場合について説明したが、生体情報は、感情に応じて生じる生理現象に関する情報であればよく、心拍を示す情報に限られない。例えば、生体情報は、心電、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す情報であってよい。具体的には、例えば、生体情報は、心電、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す時系列データであってよい。情報処理装置１００は、心電、心拍、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す情報である生体情報が入力された場合、生体情報に対応する感情を示す感情情報を出力するよう学習された機械学習モデル（推定モデルＭ１の一例）を用いて、生体情報から感情情報を推定してよい。また、情報処理装置１００は、推定モデルＭ１を用いる手法以外にも、生体情報から感情情報を推定する公知の技術を用いて、生体情報から感情情報を推定してよい。
上述した実施形態では、生体情報が、心拍を示す情報である場合について説明したが、生体情報は、感情に応じて生じる生理現象に関する情報であればよく、心拍を示す情報に限られない。例えば、生体情報は、心電、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す情報であってよい。具体的には、例えば、生体情報は、心電、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す時系列データであってよい。情報処理装置１００は、心電、心拍、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す情報である生体情報が入力された場合、生体情報に対応する感情を示す感情情報を出力するよう学習された機械学習モデル（推定モデルＭ１の一例）を用いて、生体情報から感情情報を推定してよい。また、情報処理装置１００は、推定モデルＭ１を用いる手法以外にも、生体情報から感情情報を推定する公知の技術を用いて、生体情報から感情情報を推定してよい。
【0064】
〔５－２．身体の動きについて〕
上述した実施形態では、運動情報がダンスにおける動作を示すダンス映像である場合について説明したが、運動情報によって示される身体の動きは、ダンスにおける動作に限られない。具体的には、運動情報によって示される身体の動きは、感情に応じた身体の動きであれば、どのような身体の動きであってもよい。例えば、身体の動きは、ダンス以外にも、リハビリテーション、スポーツ（例えば、フィギュアスケートなど）、または演技における動作であってよい。
上述した実施形態では、運動情報がダンスにおける動作を示すダンス映像である場合について説明したが、運動情報によって示される身体の動きは、ダンスにおける動作に限られない。具体的には、運動情報によって示される身体の動きは、感情に応じた身体の動きであれば、どのような身体の動きであってもよい。例えば、身体の動きは、ダンス以外にも、リハビリテーション、スポーツ（例えば、フィギュアスケートなど）、または演技における動作であってよい。
【0065】
〔５－３．感情情報について〕
上述した実施形態では、感情情報が覚醒度を示す値と感情価を示す値の組である場合について説明したが、感情情報は覚醒度を示す値と感情価を示す値の組に限られない。感情には様々な表現の仕方が存在する。具体的には、感情情報は、生体情報が入力された場合に、喜び、怒り、悲しみ、リラックスなどの複数の種類の感情それぞれに該当する確率をそれぞれ出力するよう学習された機械学習モデルを用いて推定された感情を示す情報であってよい。例えば、感情情報は、喜びの感情が７０％であり、怒りの感情が３０％であるという感情を示す情報であってよい。
上述した実施形態では、感情情報が覚醒度を示す値と感情価を示す値の組である場合について説明したが、感情情報は覚醒度を示す値と感情価を示す値の組に限られない。感情には様々な表現の仕方が存在する。具体的には、感情情報は、生体情報が入力された場合に、喜び、怒り、悲しみ、リラックスなどの複数の種類の感情それぞれに該当する確率をそれぞれ出力するよう学習された機械学習モデルを用いて推定された感情を示す情報であってよい。例えば、感情情報は、喜びの感情が７０％であり、怒りの感情が３０％であるという感情を示す情報であってよい。
【0066】
〔５－４．運動情報について〕
上述した実施形態では、運動情報が身体の動きを示す映像である場合について説明したが、運動情報は映像に限られない。例えば、生成部１５３は、運動情報として、姿勢推定の技術を用いて身体の動きを示す映像に含まれる人物の骨格に関する骨格情報を抽出してもよい。具体的には、生成部１５３は、姿勢推定に関するあらゆる公知技術を用いて映像から骨格情報を抽出してよい。例えば、生成部１５３は、姿勢推定モデルと呼ばれる深層学習モデルを用いて、動画や静止画から人物や動物の姿勢（骨格）を推定する姿勢推定技術を用いて、骨格情報を抽出してよい。
上述した実施形態では、運動情報が身体の動きを示す映像である場合について説明したが、運動情報は映像に限られない。例えば、生成部１５３は、運動情報として、姿勢推定の技術を用いて身体の動きを示す映像に含まれる人物の骨格に関する骨格情報を抽出してもよい。具体的には、生成部１５３は、姿勢推定に関するあらゆる公知技術を用いて映像から骨格情報を抽出してよい。例えば、生成部１５３は、姿勢推定モデルと呼ばれる深層学習モデルを用いて、動画や静止画から人物や動物の姿勢（骨格）を推定する姿勢推定技術を用いて、骨格情報を抽出してよい。
【0067】
例えば、姿勢推定モデルの一例として、ＯｐｅｎＰｏｓｅ（“OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields”、Zhe Cao et al., 2018）が知られている。ＯｐｅｎＰｏｓｅは、画像に含まれる人物の身体の特徴を示す特徴点（キーポイントともいう）を検出し、特徴点を結んだ人物の姿勢を推定する姿勢推定モデルである。例えば、ＯｐｅｎＰｏｓｅは、画像に含まれる人物の身体の特徴点として、人物の身体の関節の位置を示す関節点を推定し、関節点を連結して生成される人物の身体の骨格を示す骨格モデルを人物の姿勢として検出する。また、例えば、特徴点を検出するタイプの姿勢推定モデルの中には、画像中の人物の身体の３０種類の部位を推定可能なものがある。具体的には、特徴点を検出するタイプの姿勢推定モデルを用いると、画像中の人物の身体の部位として、頭、目（右、左）、耳（右、左）、鼻、首、肩（右、中央、左）、肘（右、左）、背骨、手首（右、左）、手（右、左）、親指（右、左）、手先（右、左）、腰（右、中央、左）、膝（右、左）、足首（右、左）、足（右、左）を特定することができる。
【0068】
また、姿勢推定モデルの一例として、ＤｅｎｓｅＰｏｓｅ（参考ＵＲＬ：http://openaccess.thecvf.com/content_cvpr_2018/html/Guler_DensePose_Dense_Human_CVPR_2018_paper.html）が知られている。ＤｅｎｓｅＰｏｓｅは、２次元の画像中の人物の人物領域を検出し、検出した人物領域に対応する３次元身体表面モデルを生成する姿勢推定モデルである。より具体的には、ＤｅｎｓｅＰｏｓｅは、ＲＧＢ画像を入力として、ＲＧＢ画像中の人物の３次元表面のＵＶ座標を推定する。ＤｅｎｓｅＰｏｓｅを用いると、２次元の画像に写る人物領域から３次元身体表面のＵＶ座標を推定することができるので、２次元の画像に写る人物領域の各人体パーツ（人物の身体の部位）を精緻に推定することができる。ＤｅｎｓｅＰｏｓｅを用いると、画像中の人物の身体の２４種類の部位を推定することができる。具体的には、ＤｅｎｓｅＰｏｓｅを用いると、ＲＧＢ画像から、画像中の人物の身体の部位として、頭（左、右）、首、胴体、腕（左、右／上、前／前、後）、脚（左、右／太もも、ふくらはぎ／前、後）、手（左、右）、足（左、右）を特定することができる。
【0069】
〔５－５．その他のシステム構成について〕
上述した実施形態では、情報処理装置１００が、機械学習モデルＭ４を生成するモデル生成部１５２と、ダンス映像を出力する出力部１４０の両方を備える場合について説明した。変形例では、機械学習モデルＭ４を生成する装置（実施形態におけるモデル生成部１５２を備える装置）と、ダンス映像を出力する装置（実施形態における出力部１４０を備える装置）とが別々の装置である場合について説明する。
上述した実施形態では、情報処理装置１００が、機械学習モデルＭ４を生成するモデル生成部１５２と、ダンス映像を出力する出力部１４０の両方を備える場合について説明した。変形例では、機械学習モデルＭ４を生成する装置（実施形態におけるモデル生成部１５２を備える装置）と、ダンス映像を出力する装置（実施形態における出力部１４０を備える装置）とが別々の装置である場合について説明する。
【0070】
図９は、変形例に係る情報処理システム２の構成例を示す図である。図９では、情報処理システム２が生成装置２０を含む点が図２と異なる。図９に示すように、変形例に係る情報処理システム２には、センサ装置１０と生成装置２０と情報処理装置１００とが含まれる。センサ装置１０と生成装置２０と情報処理装置１００とは、各種の通信ネットワークを介して、有線または無線で互いに通信可能に接続される。なお、図９に示した情報処理システム２には、任意の数のセンサ装置１０と任意の数の生成装置２０と任意の数の情報処理装置１００とが含まれていてもよい。
【0071】
生成装置２０は、感情特徴情報と運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルＭ４を生成するサーバ装置である。生成装置２０は、実施形態における取得部１５１とモデル生成部１５２に相当する機能を備えてよい。具体的には、生成装置２０は、機械学習モデルＭ４の学習に用いられる生体情報を取得してよい。例えば、生成装置２０は、学習用の生体情報として、各利用者のセンサ装置１０から各利用者の生体情報を取得してよい。また、生成装置２０は、機械学習モデルの学習に用いられる運動情報を取得してよい。生成装置２０は、上述したモデル生成部１５２と同様に、機械学習モデルＭ４を生成してよい。生成装置２０は、機械学習モデルＭ４を生成した場合、機械学習モデルＭ４に関する情報を各利用者の情報処理装置１００に配信する。
【0072】
情報処理装置１００は、機械学習モデルＭ４を用いてダンス映像を生成し、利用者に対して出力する情報処理装置である。情報処理装置１００は、実施形態における取得部１５１と生成部１５３と出力制御部１５４と受付部１５５と入力部１３０と出力部１４０に相当する機能を備えてよい。具体的には、情報処理装置１００は、利用者によって使用されるスマートフォン等の端末装置であってよい。また、情報処理装置１００は、生成装置２０から機械学習モデルＭ４に関する情報を取得する。情報処理装置１００は、機械学習モデルＭ４に関する情報を取得した場合、上述した生成部１５３と同様に、機械学習モデルＭ４を用いて、ダンス映像を生成してよい。情報処理装置１００は、ダンス映像を生成した場合、上述した出力制御部１５４と同様に、生成されたダンス映像を出力部１４０に表示するよう制御してよい。また、情報処理装置１００は、上述した受付部１５５と同様に、入力部１３０を介して、利用者の希望感情を受け付けてよい。また、情報処理装置１００は、上述した生成部１５３と同様に、利用者の希望感情に応じたダンス映像を生成してよい。
【0073】
〔６．効果〕
上述したように、実施形態に係る情報処理装置１００は、取得部１５１と生成部１５３を備える。取得部１５１は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する。生成部１５３は、機械学習モデルを用いて、利用者の生体情報に基づいて推定された利用者の感情を示す感情情報から利用者の感情に応じた身体の動きを示す運動情報を生成する。
上述したように、実施形態に係る情報処理装置１００は、取得部１５１と生成部１５３を備える。取得部１５１は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する。生成部１５３は、機械学習モデルを用いて、利用者の生体情報に基づいて推定された利用者の感情を示す感情情報から利用者の感情に応じた身体の動きを示す運動情報を生成する。
【0074】
このように、情報処理装置１００は、利用者の感情に応じた身体の動きを示す運動情報を生成する。これにより、情報処理装置１００は、例えば、生成された運動情報を利用者に対して提供可能とすることができる。また、情報処理装置１００は、例えば、利用者が提供された運動情報を真似て自身の身体を動かすことにより、利用者が自身の感情を運動により表現することを可能とすることができる。したがって、情報処理装置１００は、例えば、利用者が自身の感情を運動により表現することで、利用者がストレスを解消することを可能とすることができる。すなわち、情報処理装置１００は、利用者のメンタルの状態を改善することを可能とすることができる。また、情報処理装置１００は、利用者が自身の感情を運動により表現することで、利用者が豊かな感情表現を実現することを可能とする。
【0075】
また、実施形態に係る情報処理装置１００は、取得部１５１とモデル生成部１５２を備える。取得部１５１は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する。モデル生成部１５２は、感情特徴情報と運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成する。
【0076】
これにより、情報処理装置１００は、生成された機械学習モデルを用いて、利用者の感情に応じた身体の動きを示す運動情報を生成可能とすることができる。また、情報処理装置１００は、利用者の感情に応じた運動情報を生成可能とすることができるため、持続可能な開発目標（ＳＤＧｓ）の目標９「産業と技術革新の基盤をつくろう」の達成に貢献できる。これにより、情報処理装置１００は、例えば、生成された運動情報を利用者に対して提供可能とすることができる。また、情報処理装置１００は、例えば、利用者が提供された運動情報を真似て自身の身体を動かすことにより、利用者が自身の感情を運動により表現することを可能とすることができる。したがって、情報処理装置１００は、例えば、利用者が自身の感情を運動により表現することで、利用者がストレスを解消することを可能とすることができる。すなわち、情報処理装置１００は、利用者のメンタルの状態を改善することを可能とすることができる。また、情報処理装置１００は、利用者が自身の感情を運動により表現することで、利用者が豊かな感情表現を実現することを可能とする。
【0077】
また、情報処理装置１００は、受付部１５５をさらに備える。受付部１５５は、利用者が希望する利用者の感情である希望感情を示す希望感情情報を受け付ける。生成部１５３は、希望感情情報から希望感情に応じた身体の動きを示す運動情報を生成する。
【0078】
このように、情報処理装置１００は、利用者が希望する感情に応じた身体の動きを示す運動情報を生成する。これにより、情報処理装置１００は、例えば、生成された運動情報を利用者に対して提供可能とすることができる。また、情報処理装置１００は、例えば、利用者が提供された運動情報を真似て自身の身体を動かすことにより、利用者が希望する感情に近づけることを可能とすることができる。例えば、情報処理装置１００は、例えば、ネガティブな感情を抱いている利用者の感情を、利用者が希望するポジティブな感情に近づけることを可能とすることができる。すなわち、情報処理装置１００は、利用者のメンタルの状態を改善することを可能とすることができる。
【0079】
また、機械学習モデルは、感情情報に基づいて感情特徴情報を生成する第１のエンコーダと、運動情報に基づいて運動特徴情報を生成する第２のエンコーダと、運動特徴情報に基づいて運動情報を生成するデコーダと、を含む。
【0080】
これにより、情報処理装置１００は、利用者の感情に応じた身体の動きを示す運動情報を生成するための精度の高い機械学習モデルを実現することができる。
【0081】
また、感情情報は、生体情報から感情情報を推定するよう学習された機械学習モデルである推定モデルを用いて推定された感情を示す情報である。
【0082】
これにより、情報処理装置１００は、利用者の感情を適切に推定することができる。
【0083】
また、感情情報は、覚醒度を示す値と感情価を示す値の組である。
【0084】
これにより、情報処理装置１００は、感情円環モデルを用いて、利用者の感情を適切に推定することができる。
【0085】
また、生体情報は、心電、心拍、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す情報である。
【0086】
これにより、情報処理装置１００は、利用者の心拍数、脈拍数、発汗量、体温、筋電図の値、脳波、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す情報に基づいて、利用者の感情を適切に推定することができる。
【0087】
また、運動情報は、身体の動きを示す映像である。
【0088】
これにより、情報処理装置１００は、利用者に対して、利用者の感情に応じた身体の動きを示す映像を提供可能とすることができる。
【0089】
また、運動情報は、身体の動きを複数の方向から撮影した映像である。
【0090】
これにより、情報処理装置１００は、利用者に対して、利用者の感情に応じた身体の動きを複数の方向から撮影した映像を提供可能とすることができる。
【0091】
また、身体の動きは、ダンス、リハビリテーション、スポーツ、または演技における動作である。
【0092】
これにより、情報処理装置１００は、利用者に対して、利用者が希望する利用者の感情に応じたダンス、リハビリテーション、スポーツ、または演技における動作を示す運動情報を提供可能とすることができる。
【0093】
〔７．ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置１００は、例えば図１０に示すような構成のコンピュータ１０００によって実現される。図１０は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。
また、上述してきた実施形態に係る情報処理装置１００は、例えば図１０に示すような構成のコンピュータ１０００によって実現される。図１０は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。
【0094】
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【0095】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。
【0096】
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
【0097】
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0098】
例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１５０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
【0099】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0100】
〔８．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0101】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0102】
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【符号の説明】
【0103】
１ 情報処理システム
１０ センサ装置
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１３０ 入力部
１４０ 出力部
１５０ 制御部
１５１ 取得部
１５２ モデル生成部
１５３ 生成部
１５４ 出力制御部
１５５ 受付部
１０ センサ装置
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１３０ 入力部
１４０ 出力部
１５０ 制御部
１５１ 取得部
１５２ モデル生成部
１５３ 生成部
１５４ 出力制御部
１５５ 受付部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】