(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-29
(45)【発行日】2024-03-08
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06V 10/82 20220101AFI20240301BHJP
G06T 7/00 20170101ALI20240301BHJP
G06T 7/20 20170101ALI20240301BHJP
G06V 40/20 20220101ALI20240301BHJP
A61B 5/16 20060101ALI20240301BHJP
A61B 5/11 20060101ALI20240301BHJP
【FI】
G06V10/82
G06T7/00 350C
G06T7/00 130
G06T7/20 300Z
G06V40/20
A61B5/16 120
A61B5/11 200
(21)【出願番号】P 2022090334
(22)【出願日】2022-06-02
【審査請求日】2023-01-18
(73)【特許権者】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(73)【特許権者】
【識別番号】504150450
【氏名又は名称】国立大学法人神戸大学
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】岡本 秀明
(72)【発明者】
【氏名】鈴木 裕真
(72)【発明者】
【氏名】堀 隆之
(72)【発明者】
【氏名】金田 麟太郎
(72)【発明者】
【氏名】寺田 努
(72)【発明者】
【氏名】土田 修平
(72)【発明者】
【氏名】モウ コウミン
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開2021-049349(JP,A)
【文献】国際公開第2018/168369(WO,A1)
【文献】特開2015-176592(JP,A)
【文献】国際公開第2019/082687(WO,A1)
【文献】特開2022-071968(JP,A)
【文献】韓国登録特許第2078209(KR,B1)
【文献】米国特許出願公開第2020/0184203(US,A1)
【文献】米国特許第10732708(US,B1)
【文献】進藤 智則,Pepperの感情生成エンジンはRNNを利用 7種の仮想的ホルモンを模擬して喜怒哀楽,日経エレクトロニクス,日本,日経BP社,2015年11月20日,第1162号,pp.100-101
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/06 - 5/22
G06T 1/00
G06T 7/00 - 7/90
G06T 11/60 - 13/80
G06T 17/05
G06T 19/00 - 19/20
G06V 10/00 - 20/90
G06V 30/418
G06V 40/16
G06V 40/20
CSDB(日本国特許庁)
(57)【特許請求の範囲】
【請求項1】
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得部と、
前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動き
であって、前記利用者に模倣させるための身体の動きを示す運動情報を生成する生成部と、
を備える情報処理装置。
【請求項2】
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得部と、
前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成部と、
前記利用者が希望する前記利用者の感情である希望感情を示す希望感情情報を受け付ける受付部と、
を備え、
前記生成部は、
前記希望感情情報から前記希望感情に応じた前記身体の動きを示す運動情報を生成する、
情報処理装置。
【請求項3】
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得部と、
前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成部と、
を備え、
前記機械学習モデルは、前記感情情報に基づいて前記感情特徴情報を生成する第1のエンコーダと、前記運動情報に基づいて前記運動特徴情報を生成する第2のエンコーダと、前記運動特徴情報に基づいて前記運動情報を生成するデコーダと、を含む、
情報処理装置。
【請求項4】
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得部と、
前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成部と、
を備え、
前記運動情報は、前記身体の動きを複数の方向から撮影した映像である、
情報処理装置。
【請求項5】
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得部と、
前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成部と、
を備え
、
前記機械学習モデルは、前記感情情報に基づいて前記感情特徴情報を生成する第1のエンコーダと、前記運動情報に基づいて前記運動特徴情報を生成する第2のエンコーダと、前記運動特徴情報に基づいて前記運動情報を生成するデコーダと、を含む、
情報処理装置。
【請求項6】
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得部と、
前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成部と、
を備え、
前記運動情報は、前記身体の動きを複数の方向から撮影した映像である、
情報処理装置。
【請求項7】
前記利用者が希望する前記利用者の感情である希望感情を示す希望感情情報を受け付ける受付部をさらに備え、
前記生成部は、
前記希望感情情報から前記希望感情に応じた前記身体の動きを示す運動情報を生成する、
請求項1
、3または4に記載の情報処理装置。
【請求項8】
前記機械学習モデルは、前記感情情報に基づいて前記感情特徴情報を生成する第1のエンコーダと、前記運動情報に基づいて前記運動特徴情報を生成する第2のエンコーダと、前記運動特徴情報に基づいて前記運動情報を生成するデコーダと、を含む、
請求項1
、2、4または6に記載の情報処理装置。
【請求項9】
前記感情情報は、前記生体情報から前記感情情報を推定するよう学習された機械学習モデルである推定モデルを用いて推定された感情を示す情報である、
請求項1
~6のいずれか1つに記載の情報処理装置。
【請求項10】
前記感情情報は、覚醒度を示す値と感情価を示す値の組である、
請求項1
~6のいずれか1つに記載の情報処理装置。
【請求項11】
前記生体情報は、心電、心拍、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す情報である、
請求項1
~6のいずれか1つに記載の情報処理装置。
【請求項12】
前記運動情報は、前記身体の動きを示す映像である、
請求項1
~6のいずれか1つに記載の情報処理装置。
【請求項13】
前記運動情報は、前記身体の動きを複数の方向から撮影した映像である、
請求項1
~3または5のいずれか1つに記載の情報処理装置。
【請求項14】
前記身体の動きは、ダンス、リハビリテーション、スポーツ、または演技における動作である、
請求項1
~6のいずれか1つに記載の情報処理装置。
【請求項15】
情報処理装置が実行するプログラムにより実現される情報処理方法であって、
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得工程と、
前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動き
であって、前記利用者に模倣させるための身体の動きを示す運動情報を生成する生成工程と、
を含む情報処理方法。
【請求項16】
情報処理装置が実行するプログラムにより実現される情報処理方法であって、
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得工程と、
前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成工程と、
前記利用者が希望する前記利用者の感情である希望感情を示す希望感情情報を受け付ける受付工程と、
を含み、
前記生成工程は、
前記希望感情情報から前記希望感情に応じた前記身体の動きを示す運動情報を生成する、
情報処理方法。
【請求項17】
情報処理装置が実行するプログラムにより実現される情報処理方法であって、
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得工程と、
前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成工程と、
を含み、
前記機械学習モデルは、前記感情情報に基づいて前記感情特徴情報を生成する第1のエンコーダと、前記運動情報に基づいて前記運動特徴情報を生成する第2のエンコーダと、前記運動特徴情報に基づいて前記運動情報を生成するデコーダと、を含む、
情報処理方法。
【請求項18】
情報処理装置が実行するプログラムにより実現される情報処理方法であって、
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得工程と、
前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成工程と、
を含み、
前記運動情報は、前記身体の動きを複数の方向から撮影した映像である、
情報処理方法。
【請求項19】
情報処理装置が実行するプログラムにより実現される情報処理方法であって、
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得工程と、
前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成工程と、
を含
み、
前記機械学習モデルは、前記感情情報に基づいて前記感情特徴情報を生成する第1のエンコーダと、前記運動情報に基づいて前記運動特徴情報を生成する第2のエンコーダと、前記運動特徴情報に基づいて前記運動情報を生成するデコーダと、を含む、
情報処理方法。
【請求項20】
情報処理装置が実行するプログラムにより実現される情報処理方法であって、
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得工程と、
前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成工程と、
を含み、
前記運動情報は、前記身体の動きを複数の方向から撮影した映像である、
情報処理方法。
【請求項21】
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得手順と、
前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動き
であって、前記利用者に模倣させるための身体の動きを示す運動情報を生成する生成手順と、
をコンピュータに実行させる情報処理プログラム。
【請求項22】
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得手順と、
前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成手順と、
前記利用者が希望する前記利用者の感情である希望感情を示す希望感情情報を受け付ける受付手順と、
をコンピュータに実行させ、
前記生成手順は、
前記希望感情情報から前記希望感情に応じた前記身体の動きを示す運動情報を生成する、
情報処理プログラム。
【請求項23】
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得手順と、
前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成手順と、
をコンピュータに実行させ、
前記機械学習モデルは、前記感情情報に基づいて前記感情特徴情報を生成する第1のエンコーダと、前記運動情報に基づいて前記運動特徴情報を生成する第2のエンコーダと、前記運動特徴情報に基づいて前記運動情報を生成するデコーダと、を含む、
情報処理プログラム。
【請求項24】
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得手順と、
前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成手順と、
をコンピュータに実行させ、
前記運動情報は、前記身体の動きを複数の方向から撮影した映像である、
情報処理プログラム。
【請求項25】
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得手順と、
前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成手順と、
をコンピュータに実行させ
、
前記機械学習モデルは、前記感情情報に基づいて前記感情特徴情報を生成する第1のエンコーダと、前記運動情報に基づいて前記運動特徴情報を生成する第2のエンコーダと、前記運動特徴情報に基づいて前記運動情報を生成するデコーダと、を含む、
情報処理プログラム。
【請求項26】
生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得手順と、
前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成手順と、
をコンピュータに実行させ、
前記運動情報は、前記身体の動きを複数の方向から撮影した映像である、
情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
近年、利用者の計測情報に基づいて利用者の感情を推定する技術が知られている。さらに、利用者に対して、推定された感情に応じたサービスを提供する技術が知られている。例えば、利用者の計測情報から抽出される利用者の特徴量に基づき、利用者の感情を推定する。続いて、推定した第1の利用者の感情と第2の利用者の感情とを比較し、第1の利用者の感情と第2の利用者の感情との共通性を判定する。そして、共通性が認められる場合、第1の利用者の感情の発生源が第1の利用者または第2の利用者であるかを推定する技術が知られている。
【先行技術文献】
【非特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の従来技術では、第1の利用者の感情と第2の利用者の感情との共通性が認められる場合、第1の利用者の感情の発生源が第1の利用者または第2の利用者であるかを推定するにすぎないため、利用者が自身の感情を表現することを可能とすることができるとは限らない。
【0005】
本願は、利用者が自身の感情を表現することを可能とすることができる情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本願に係る情報処理装置は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得部と、前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成部と、を備える。
【0007】
本願に係る情報処理装置は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得部と、前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成部と、を備える。
【0008】
前記利用者が希望する前記利用者の感情である希望感情を示す希望感情情報を受け付ける受付部をさらに備え、前記生成部は、前記希望感情情報から前記希望感情に応じた前記身体の動きを示す運動情報を生成する。
【0009】
前記機械学習モデルは、前記感情情報に基づいて前記感情特徴情報を生成する第1のエンコーダと、前記運動情報に基づいて前記運動特徴情報を生成する第2のエンコーダと、前記運動特徴情報に基づいて前記運動情報を生成するデコーダと、を含む。
【0010】
前記感情情報は、前記生体情報から前記感情情報を推定するよう学習された機械学習モデルである推定モデルを用いて推定された感情を示す情報である。
【0011】
前記感情情報は、覚醒度を示す値と感情価を示す値の組である。
【0012】
前記生体情報は、心電、心拍、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す情報である。
【0013】
前記運動情報は、前記身体の動きを示す映像である。
【0014】
前記運動情報は、前記身体の動きを複数の方向から撮影した映像である。
【0015】
前記身体の動きは、ダンス、リハビリテーション、スポーツ、または演技における動作である。
【0016】
本願に係る情報処理方法は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得工程と、前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成工程と、を含む。
【0017】
本願に係る情報処理方法は、情報処理装置が実行するプログラムにより実現される情報処理方法であって、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得工程と、前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成工程と、を含む。
【0018】
本願に係る情報処理プログラムは、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得手順と、前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成手順と、をコンピュータに実行させる。
【0019】
本願に係る情報処理プログラムは、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得手順と、前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成手順と、をコンピュータに実行させる。
【発明の効果】
【0020】
実施形態の一態様によれば、利用者が自身の感情を表現することを可能とすることができる。
【図面の簡単な説明】
【0021】
【
図1】
図1は、実施形態に係る情報処理の概要について説明するための図である。
【
図2】
図2は、実施形態に係る情報処理システムの構成例を示す図である。
【
図3】
図3は、実施形態に係る情報処理装置の構成例を示す図である。
【
図4】
図4は、感情円環モデル(ラッセルの円環モデル)について説明するための図である。
【
図5】
図5は、実施形態に係る機械学習モデルの生成処理の一例について説明するための図である。
【
図6】
図6は、実施形態に係るダンス映像の生成処理の一例について説明するための図である。
【
図7】
図7は、実施形態に係る機械学習モデルの生成処理手順を示すフローチャートである。
【
図8】
図8は、実施形態に係る運動情報の生成処理手順を示すフローチャートである。
【
図9】
図9は、変形例に係る情報処理システムの構成例を示す図である。
【
図10】
図10は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0022】
以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0023】
(実施形態)
〔1.情報処理の概要〕
図1は、実施形態に係る情報処理の概要について説明するための図である。
図1では、実施形態に係る情報処理装置100によって、実施形態に係る情報処理などが実現されるものとする。
図1では、情報処理装置100が、あらかじめ生成された機械学習モデルを用いて、利用者の生体情報に基づいて推定された利用者の感情を示す感情情報から利用者の感情に応じたダンスの動作を示す映像(以下、ダンス映像ともいう)を生成する場合について説明する。
【0024】
図1では、情報処理装置100は、利用者の生体情報を取得する。続いて、情報処理装置100は、利用者の生体情報に基づいて、利用者の感情を示す感情情報を推定する。続いて、情報処理装置100は、あらかじめ生成された機械学習モデルを用いて、利用者の感情情報から利用者の感情に応じたダンス映像を生成する。続いて、情報処理装置100は、生成したダンス映像を画面に表示する。利用者は、例えば、画面に表示されたダンス映像を視聴し、ダンス映像に含まれるダンスを真似て踊る。
【0025】
また、情報処理装置100は、利用者が希望する利用者の感情である希望感情を示す希望感情情報を受け付ける。続いて、情報処理装置100は、希望感情情報から希望感情に応じたダンス映像を生成する。続いて、情報処理装置100は、生成したダンス映像を画面に表示する。利用者は、例えば、画面に表示されたダンス映像を視聴し、ダンス映像に含まれるダンスを真似て踊る。
【0026】
このように、情報処理装置100は、利用者の感情に応じたダンス映像(利用者の感情に応じた身体の動きを示す運動情報の一例)を生成する。これにより、情報処理装置100は、例えば、生成されたダンス映像を利用者に対して提供可能とすることができる。また、情報処理装置100は、例えば、利用者が提供されたダンス映像を真似てダンスを踊ることにより、利用者が自身の感情をダンスにより表現することを可能とすることができる。したがって、情報処理装置100は、例えば、利用者が自身の感情をダンスにより表現することで、利用者がストレスを解消することを可能とすることができる。すなわち、情報処理装置100は、利用者のメンタルの状態を改善することを可能とすることができる。また、情報処理装置100は、利用者が自身の感情をダンスにより表現することで、利用者が豊かな感情表現を実現することを可能とする。
【0027】
〔2.情報処理システムの構成〕
図2は、実施形態に係る情報処理システム1の構成例を示す図である。
図2に示すように、実施形態に係る情報処理システム1には、センサ装置10と情報処理装置100とが含まれる。センサ装置10と情報処理装置100とは、各種の通信ネットワークを介して、有線または無線で互いに通信可能に接続される。なお、
図2に示した情報処理システム1には、任意の数のセンサ装置10と任意の数の情報処理装置100とが含まれていてもよい。
【0028】
センサ装置10は、利用者の生体情報を検出する情報処理装置である。具体的には、センサ装置10は、利用者によって使用されるウェアラブルセンサまたはスマートフォン等の端末装置であってよい。例えば、センサ装置10は、生体センサ素子を備える生体センサ装置であり、人体に装着可能なウェアラブルセンサであってよい。また、センサ装置10は、ヘッドセット型、眼鏡型、シャツ型、または、リストバンド型などであってよい。例えば、生体センサ装置であるセンサ装置10は、センサデータのとして、人体の心電、心拍、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声などをそれぞれ示す電気信号を検出する。また、センサ装置10は、生体センサ素子が検出した電気信号(アナログ信号)をデジタルデータへとAD変換する。また、センサ装置10は、生体情報として、検出した電気信号をAD変換したデジタルデータを情報処理装置100に送信する。なお、後述するが、センサ装置10が検出可能な生体情報は上記の例に限定されるものではない。
【0029】
情報処理装置100は、
図1で説明した情報処理を実現する情報処理装置である。具体的には、情報処理装置100は、利用者によって使用されるスマートフォン等の端末装置であってよい。情報処理装置100は、センサ装置10から利用者の生体情報を受信する。続いて、情報処理装置100は、受信した生体情報に基づいて、利用者の感情を示す感情情報を推定する。続いて、情報処理装置100は、感情を示す感情情報に対応する感情特徴情報と、感情に応じたダンスの動作を示すダンス映像に対応するダンス特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する。続いて、情報処理装置100は、取得した機械学習モデルを用いて、利用者の感情情報から利用者の感情に応じたダンスの動作を示すダンス映像を生成する。
【0030】
〔3.情報処理装置の構成〕
図3は、実施形態に係る情報処理装置100の構成例を示す図である。情報処理装置100は、通信部110と、記憶部120と、入力部130と、出力部140と、制御部150とを有する。
【0031】
(通信部110)
通信部110は、NIC(Network Interface Card)やアンテナ等によって実現される。通信部110は、各種ネットワークと有線または無線で接続され、例えば、センサ装置10との間で情報の送受信を行う。
【0032】
(記憶部120)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。具体的には、記憶部120は、各種プログラム(情報処理プログラムの一例)を記憶する。また、記憶部120は、生体情報から感情情報を推定するよう学習された機械学習モデルである推定モデルM1を記憶する。また、記憶部120は、モデル生成部152による機械学習モデルM4の学習に用いられる各種データを記憶する。また、記憶部120は、モデル生成部152によって生成された機械学習モデルに関する情報を記憶する。
【0033】
(入力部130)
入力部130は、利用者から各種操作が入力される。例えば、入力部130は、タッチパネル機能により表示面(例えば出力部140)を介して利用者からの各種操作を受け付けてもよい。また、入力部130は、情報処理装置100に設けられたボタンや、情報処理装置100に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
【0034】
(出力部140)
出力部140は、例えば、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等によって実現される表示画面であり、各種情報を表示するための表示装置である。出力部140は、制御部150の制御に従って、各種情報を表示する。なお、情報処理装置100にタッチパネルが採用される場合には、入力部130と出力部140とは一体化される。また、以下の説明では、出力部140を画面と記載する場合がある。
【0035】
(制御部150)
制御部150は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、情報処理装置100内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部150は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
【0036】
制御部150は、取得部151と、モデル生成部152と、生成部153と、出力制御部154と、受付部155を機能部として有し、以下に説明する情報処理の作用を実現または実行してよい。なお、制御部150の内部構成は、
図3に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、各機能部は、制御部150の機能を示したものであり、必ずしも物理的に区別されるものでなくともよい。
【0037】
(取得部151)
取得部151は、生体情報を取得する。取得部151は、モデル生成部152による機械学習モデルの学習に用いられる生体情報を取得してよい。具体的には、取得部151は、各利用者のセンサ装置10から取得された各利用者の生体情報を一括して管理する外部のサーバ装置から機械学習モデルの学習に用いられる生体情報を取得してよい。また、取得部151は、利用者のセンサ装置10から利用者の生体情報を取得してよい。また、取得部151は、生体情報を取得した場合、取得した生体情報を記憶部120に格納してよい。また、取得部151は、記憶部120を参照して、センサ装置10から取得した生体情報を取得してよい。例えば、取得部151は、生体情報として、心拍数の時系列データを取得してよい。
【0038】
また、取得部151は、生体情報に基づいて、感情を示す感情情報を推定する。取得部151は、例えば、生体情報の特徴量を算出し、算出された特徴量に基づいて感情情報を推定してよい。具体的には、例えば、取得部151は、生体情報の特徴量から感情情報を推定する学習モデルを取得し、当該学習モデルを用いて生体情報の特徴量に基づき感情情報を推定してよい。
【0039】
ここで、一例として、利用者の心拍数から感情情報を推定する手法について説明する。この場合、まず、取得部151は、心拍数の時系列データを周波数解析することで交感神経の影響を受けた周波数成分を抽出してよい。続いて、取得部151は、心拍変動解析の技術を用いて、抽出された周波数成分から特徴量を算出してよい。続いて、取得部151は、記憶部120を参照して、心拍変動解析により算出された特徴量から感情情報を推定するよう学習された推定モデルM1を取得してよい。なお、推定モデルM1は、心拍変動解析により算出された特徴量から感情情報を推定するよう事前に機械学習により生成された機械学習モデルである。続いて、取得部151は、取得した推定モデルM1を用いて、心拍変動解析により算出された特徴量から感情情報を推定してよい。なお、後述するが、生体情報から感情情報を推定する手法は上記の例に限定されるものではない。
【0040】
ここで、
図4を用いて、感情情報について説明する。
図4は、感情円環モデル(ラッセルの円環モデルともいう)について説明するための図である。感情円環モデルとは、感情を互いに独立な二次元の軸(Arousal:覚醒度とValence:感情価(快/不快))で表現できるとし、さまざまな感情を二次元軸上に配置したものである。
図4は、縦軸を覚醒度、横軸を感情値とした二次元モデルに、各種感情を配置したラッセルの円環モデルを示す。すなわち、感情円環モデルでは、ある感情を示す感情情報は、覚醒度を示す値と感情価を示す値(感情値ともいう)の組で表される。感情円環モデルの円環上には、喜び(happy)、興奮(excited)、緊張(tense)、ストレス(stressed)、悲哀(sad)、穏やか(calm)、リラックス(relaxed)など、さまざまな感情が配置される。
【0041】
取得部151は、生体情報の特徴量に基づいて推定した感情情報が、感情円環モデルの各象限を代表するHAPPY(喜び)、ANGRY(怒り)、SAD(悲しみ)、RELAXED(リラックス)の4つの感情のいずれに該当するかを判定してよい。例えば、取得部151は、心拍変動解析により算出された特徴量から、感情情報として、覚醒度の値および感情価の値を推定するよう学習された推定モデルM1を取得してよい。続いて、取得部151は、心拍変動解析により算出された特徴量を推定モデルM1に入力することにより、感情情報として、覚醒度の推定値と感情価の推定値を算出してよい。続いて、取得部151は、算出した覚醒度の推定値と感情価の推定値の組で表される点が、感情円環モデルのどの象限に位置するかを判定し、各象限を代表するHAPPY(喜び)、ANGRY(怒り)、SAD(悲しみ)、RELAXED(リラックス)の4つの感情のいずれに該当するかを判定してよい。
図4では、取得部151は、算出した覚醒度の推定値A1と感情価の推定値V1の組で表される点P1が、感情円環モデルの第1象限に位置すると判定し、HAPPY(喜び)の感情に該当すると判定する。また、取得部151は、算出した覚醒度の推定値と感情価の推定値の組で表される点が、感情円環モデルの円環のどこに位置するかを判定し、円環の位置に対応する感情に該当するかを判定してよい。例えば、取得部151は、算出した覚醒度の推定値A1と感情価の推定値V1の組で表される点P1が、
図4に示す感情円環モデルの円環の右上に位置すると判定し、excited(興奮)の感情に該当すると判定する。
【0042】
また、取得部151は、感情情報に対応する感情特徴情報を取得する。具体的には、取得部151は、生体情報に基づいて感情情報を推定した場合、記憶部120を参照して、感情情報に基づいて感情の特徴を示す感情特徴情報を生成するエンコーダ(以下、感情エンコーダともいう)を取得してよい。続いて、取得部151は、感情エンコーダを用いて、感情情報に対応する感情特徴情報を生成してよい。
【0043】
また、取得部151は、感情に応じた身体の動きを示す運動情報を取得する。取得部151は、モデル生成部152による機械学習モデルの学習に用いられる運動情報を取得してよい。具体的には、取得部151は、機械学習モデルの学習に用いられる運動情報を保持する外部のサーバ装置から機械学習モデルの学習に用いられる運動情報を取得してよい。取得部151は、運動情報を取得した場合、取得した運動情報を記憶部120に格納してよい。例えば、取得部151は、運動情報として、感情に応じたダンス映像を取得してよい。ここで、モデル生成部152による機械学習モデルの学習に用いられる運動情報は、あらかじめ人手によって生成される。例えば、機械学習モデルの学習に用いられる運動情報は、人手により、ある人物(以下、ダンサーともいう)のダンスの動作を撮影したダンス映像と、ダンスの動作に対応するダンサーの感情とを対応付けることで生成される。ダンスの動作に対応するダンサーの感情は、ダンス中のダンサーの生体情報に基づいて推定された感情であってよい。あるいは、ダンスの動作に対応するダンサーの感情は、ダンサーへのアンケートにより取得された感情であってもよい。例えば、取得部151は、記憶部120を参照して、感情と対応付けられたダンス映像を取得してよい。また、取得部151は、感情と対応付けられたダンス映像として、ダンサーのダンスの動作を複数の方向から撮影した映像(複数の映像であってよい)を取得してよい。
【0044】
また、取得部151は、運動情報に対応する運動特徴情報を取得する。例えば、取得部151は、運動情報としてダンス映像を取得した場合、記憶部120を参照して、ダンス映像に基づいてダンス映像の特徴を示すダンス特徴情報を生成するエンコーダ(以下、ダンスエンコーダともいう)を取得してよい。続いて、取得部151は、ダンスエンコーダを用いて、ダンス映像に対応するダンス特徴情報を生成してよい。
【0045】
(モデル生成部152)
モデル生成部152は、感情特徴情報と運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成してよい。モデル生成部152は、感情情報に基づいて感情特徴情報を生成する感情エンコーダと、運動情報に基づいて運動特徴情報を生成する運動エンコーダと、運動特徴情報に基づいて運動情報を生成するデコーダと、を含む機械学習モデルを生成してよい。
【0046】
図5は、実施形態に係る機械学習モデルの生成処理の一例について説明するための図である。
図5に示す例では、実施形態に係る機械学習モデルを「マルチモーダルモデル」と記載する。実施形態に係る機械学習モデルM4(以下、マルチモーダルモデルM4と記載する場合がある)は、感情情報とダンス映像という異なる種類の情報(異なるモダリティに属する情報ともいう)を相互に変換可能な機械学習モデルである。
【0047】
図5では、モデル生成部152は、感情情報に基づいて感情特徴情報を生成する感情エンコーダと、感情特徴情報から感情情報を生成する感情デコーダとを含む感情モデルM2を含むマルチモーダルモデルM4を生成する。例えば、感情モデルM2は、Transformer(Ashish Vaswani et al., 2017)、Seq2Seq(sequence-to-sequence)にアテンションモデルを追加したSequence to Sequence with Attention Modelなどのエンコーダ-デコーダモデルであってよい。
【0048】
また、
図5では、モデル生成部152は、ダンス映像に基づいてダンス特徴情報を生成するダンスエンコーダと、ダンス特徴情報からダンス映像を生成するダンスデコーダとを含むダンスモデルM3を含むマルチモーダルモデルM4を生成する。例えば、ダンスモデルM3は、Transformer(Ashish Vaswani et al., 2017)などのエンコーダ-デコーダモデルであってよい。
【0049】
モデル生成部152は、取得部151によって取得された感情特徴情報とダンス特徴情報とを対応付けて共通の潜在空間にマッピングするようマルチモーダルモデルM4を学習させる。具体的には、モデル生成部152は、感情特徴情報とダンス特徴情報とをそれぞれ共通の潜在空間にマッピングするよう感情モデルM2の感情エンコーダとダンスモデルM3のダンスエンコーダをそれぞれ学習させる。
【0050】
より具体的には、取得部151は、記憶部120を参照して、感情情報と、感情情報に対応するダンス映像の組(ペアデータともいう)を取得する。続いて、取得部151は、ペアデータに対応する感情情報の感情特徴情報とダンス映像のダンス特徴情報をそれぞれ生成する。モデル生成部152は、取得部151によって生成されたペアデータに対応する感情特徴情報とダンス特徴情報との類似度が大きくなるように感情エンコーダおよびダンスエンコーダをそれぞれ学習させる。一方、モデル生成部152は、ペアデータではない感情特徴情報とダンス特徴情報との類似度が小さくなるように感情エンコーダおよびダンスエンコーダをそれぞれ学習させる。このようにして、モデル生成部152は、感情特徴情報とダンス特徴情報を共通の潜在空間に埋め込むよう感情エンコーダおよびダンスエンコーダをそれぞれ学習させる。このようにして、モデル生成部152は、感情特徴情報とダンス特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習されたマルチモーダルモデルM4を生成する。
【0051】
(生成部153)
生成部153は、機械学習モデルM4を用いて、利用者の生体情報に基づいて推定された利用者の感情を示す感情情報から利用者の感情に応じた身体の動きを示す運動情報を生成してよい。具体的には、取得部151は、記憶部120を参照して、モデル生成部152によって生成された機械学習モデルM4を取得してよい。生成部153は、取得部151によって取得された機械学習モデルM4を用いて、利用者の感情情報から利用者の感情に応じた運動情報を生成してよい。
【0052】
図6は、実施形態に係るダンス映像の生成処理の一例について説明するための図である。
図6では、取得部151は、センサ装置10から利用者の生体情報を取得する。例えば、取得部151は、利用者の生体情報として、利用者の心拍数の時系列データを取得してよい。続いて、取得部151は、心拍変動解析により算出された特徴量を推定モデルM1に入力することにより、利用者の感情情報として、利用者の覚醒度の推定値と感情価の推定値を算出してよい。続いて、取得部151は、算出した感情情報を感情モデルM2の感情エンコーダに入力することにより、利用者の感情特徴情報を生成してよい。
【0053】
また、取得部151は、モデル生成部152によって生成されたマルチモーダルモデルM4を取得する。生成部153は、取得部151によって取得されたマルチモーダルモデルM4を用いて、取得部151によって生成された利用者の感情特徴情報との類似度が所定の閾値を超えるダンス特徴情報を算出する。例えば、生成部153は、取得部151によって生成された利用者の感情特徴情報をマルチモーダルモデルM4に入力することにより、利用者の感情特徴情報に対応するダンス特徴情報を算出する。続いて、生成部153は、算出したダンス特徴情報をダンスモデルM3のダンスデコーダに入力することにより、利用者の感情に応じたダンスの動作を示すダンス映像を生成してよい。
【0054】
(出力制御部154)
出力制御部154は、生成部153によって生成された運動情報を出力部140に出力するよう制御する。例えば、出力制御部154は、生成部153によって生成されたダンス映像を出力部140に表示するよう制御してよい。
【0055】
(受付部155)
受付部155は、利用者が希望する利用者の感情である希望感情を示す希望感情情報を受け付ける。例えば、受付部155は、感情円環モデルを出力部140に表示するよう制御してよい。続いて、受付部155は、入力部130を介して、希望感情情報として、利用者の希望感情に対応する感情円環モデルにおける覚醒度の値と感情価の値の組を利用者から受け付けてよい。例えば、受付部155は、取得部151が推定した利用者の感情情報を出力部140に表示するよう制御してよい。例えば、受付部155は、利用者の感情情報として、利用者の覚醒度の推定値と感情価の推定値を示す点P1の位置を感情円環モデルに重畳して出力部140に表示するよう制御してよい。続いて、受付部155は、入力部130を介して、利用者から画面に表示された利用者の感情情報を加工する操作を受け付けてよい。例えば、受付部155は、利用者の指によって点P1を長押しする操作を受け付けてよい。続いて、受付部155は、点P1の位置から、例えば、覚醒度の値を「+3」、感情価の値を「+3」だけ変化させた点P2の位置まで利用者の指を画面上でスライドさせる操作(ドラッグ操作)を受け付けてよい。また、受付部155は、希望感情情報として、点P2の位置に対応する加工後の感情情報を受け付けてよい。このように、受付部155は、希望感情情報として、利用者により加工された利用者の感情情報である加工後の感情情報を受け付けてよい。
【0056】
また、生成部153は、希望感情情報から希望感情に応じた身体の動きを示す運動情報を生成する。例えば、生成部153は、受付部155によって受け付けられた希望感情情報を感情モデルM2の感情エンコーダに入力することにより、利用者の希望感情情報に対応する感情特徴情報(以下、希望感情特徴情報ともいう)を生成してよい。
【0057】
また、取得部151は、モデル生成部152によって生成されたマルチモーダルモデルM4を取得する。生成部153は、取得部151によって取得されたマルチモーダルモデルM4を用いて、生成部153によって生成された利用者の希望感情特徴情報との類似度が所定の閾値を超えるダンス特徴情報を算出する。続いて、生成部153は、算出したダンス特徴情報をダンスモデルM3のダンスデコーダに入力することにより、利用者の希望感情に応じたダンスの動作を示すダンス映像を生成してよい。
【0058】
〔4.情報処理の手順〕
図7は、実施形態に係る機械学習モデルの生成処理手順を示すフローチャートである。
図7に示すように、情報処理装置100の取得部151は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する(ステップS101)。例えば、取得部151は、運動特徴情報として、感情に応じたダンスの動作を示すダンス映像に対応するダンス特徴情報を取得する。
【0059】
また、情報処理装置100のモデル生成部152は、感情特徴情報と運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成する(ステップS102)。例えば、モデル生成部152は、感情特徴情報とダンス特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成する。
【0060】
図8は、実施形態に係る運動情報の生成処理手順を示すフローチャートである。
図8に示すように、情報処理装置100の取得部151は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する(ステップS201)。例えば、取得部151は、感情特徴情報とダンス特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する。
【0061】
また、情報処理装置100の生成部153は、機械学習モデルを用いて、利用者の生体情報に基づいて推定された利用者の感情を示す感情情報から利用者の感情に応じた身体の動きを示す運動情報を生成する(ステップS202)。例えば、生成部153は、運動情報として、利用者の感情情報から利用者の感情に応じたダンスの動きを示すダンス映像を生成する。
【0062】
〔5.変形例〕
上述した実施形態に係る処理は、上記実施形態以外にも種々の異なる形態にて実施されてよい。
【0063】
〔5-1.生体情報について〕
上述した実施形態では、生体情報が、心拍を示す情報である場合について説明したが、生体情報は、感情に応じて生じる生理現象に関する情報であればよく、心拍を示す情報に限られない。例えば、生体情報は、心電、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す情報であってよい。具体的には、例えば、生体情報は、心電、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す時系列データであってよい。情報処理装置100は、心電、心拍、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す情報である生体情報が入力された場合、生体情報に対応する感情を示す感情情報を出力するよう学習された機械学習モデル(推定モデルM1の一例)を用いて、生体情報から感情情報を推定してよい。また、情報処理装置100は、推定モデルM1を用いる手法以外にも、生体情報から感情情報を推定する公知の技術を用いて、生体情報から感情情報を推定してよい。
【0064】
〔5-2.身体の動きについて〕
上述した実施形態では、運動情報がダンスにおける動作を示すダンス映像である場合について説明したが、運動情報によって示される身体の動きは、ダンスにおける動作に限られない。具体的には、運動情報によって示される身体の動きは、感情に応じた身体の動きであれば、どのような身体の動きであってもよい。例えば、身体の動きは、ダンス以外にも、リハビリテーション、スポーツ(例えば、フィギュアスケートなど)、または演技における動作であってよい。
【0065】
〔5-3.感情情報について〕
上述した実施形態では、感情情報が覚醒度を示す値と感情価を示す値の組である場合について説明したが、感情情報は覚醒度を示す値と感情価を示す値の組に限られない。感情には様々な表現の仕方が存在する。具体的には、感情情報は、生体情報が入力された場合に、喜び、怒り、悲しみ、リラックスなどの複数の種類の感情それぞれに該当する確率をそれぞれ出力するよう学習された機械学習モデルを用いて推定された感情を示す情報であってよい。例えば、感情情報は、喜びの感情が70%であり、怒りの感情が30%であるという感情を示す情報であってよい。
【0066】
〔5-4.運動情報について〕
上述した実施形態では、運動情報が身体の動きを示す映像である場合について説明したが、運動情報は映像に限られない。例えば、生成部153は、運動情報として、姿勢推定の技術を用いて身体の動きを示す映像に含まれる人物の骨格に関する骨格情報を抽出してもよい。具体的には、生成部153は、姿勢推定に関するあらゆる公知技術を用いて映像から骨格情報を抽出してよい。例えば、生成部153は、姿勢推定モデルと呼ばれる深層学習モデルを用いて、動画や静止画から人物や動物の姿勢(骨格)を推定する姿勢推定技術を用いて、骨格情報を抽出してよい。
【0067】
例えば、姿勢推定モデルの一例として、OpenPose(“OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields”、Zhe Cao et al., 2018)が知られている。OpenPoseは、画像に含まれる人物の身体の特徴を示す特徴点(キーポイントともいう)を検出し、特徴点を結んだ人物の姿勢を推定する姿勢推定モデルである。例えば、OpenPoseは、画像に含まれる人物の身体の特徴点として、人物の身体の関節の位置を示す関節点を推定し、関節点を連結して生成される人物の身体の骨格を示す骨格モデルを人物の姿勢として検出する。また、例えば、特徴点を検出するタイプの姿勢推定モデルの中には、画像中の人物の身体の30種類の部位を推定可能なものがある。具体的には、特徴点を検出するタイプの姿勢推定モデルを用いると、画像中の人物の身体の部位として、頭、目(右、左)、耳(右、左)、鼻、首、肩(右、中央、左)、肘(右、左)、背骨、手首(右、左)、手(右、左)、親指(右、左)、手先(右、左)、腰(右、中央、左)、膝(右、左)、足首(右、左)、足(右、左)を特定することができる。
【0068】
また、姿勢推定モデルの一例として、DensePose(参考URL:http://openaccess.thecvf.com/content_cvpr_2018/html/Guler_DensePose_Dense_Human_CVPR_2018_paper.html)が知られている。DensePoseは、2次元の画像中の人物の人物領域を検出し、検出した人物領域に対応する3次元身体表面モデルを生成する姿勢推定モデルである。より具体的には、DensePoseは、RGB画像を入力として、RGB画像中の人物の3次元表面のUV座標を推定する。DensePoseを用いると、2次元の画像に写る人物領域から3次元身体表面のUV座標を推定することができるので、2次元の画像に写る人物領域の各人体パーツ(人物の身体の部位)を精緻に推定することができる。DensePoseを用いると、画像中の人物の身体の24種類の部位を推定することができる。具体的には、DensePoseを用いると、RGB画像から、画像中の人物の身体の部位として、頭(左、右)、首、胴体、腕(左、右/上、前/前、後)、脚(左、右/太もも、ふくらはぎ/前、後)、手(左、右)、足(左、右)を特定することができる。
【0069】
〔5-5.その他のシステム構成について〕
上述した実施形態では、情報処理装置100が、機械学習モデルM4を生成するモデル生成部152と、ダンス映像を出力する出力部140の両方を備える場合について説明した。変形例では、機械学習モデルM4を生成する装置(実施形態におけるモデル生成部152を備える装置)と、ダンス映像を出力する装置(実施形態における出力部140を備える装置)とが別々の装置である場合について説明する。
【0070】
図9は、変形例に係る情報処理システム2の構成例を示す図である。
図9では、情報処理システム2が生成装置20を含む点が
図2と異なる。
図9に示すように、変形例に係る情報処理システム2には、センサ装置10と生成装置20と情報処理装置100とが含まれる。センサ装置10と生成装置20と情報処理装置100とは、各種の通信ネットワークを介して、有線または無線で互いに通信可能に接続される。なお、
図9に示した情報処理システム2には、任意の数のセンサ装置10と任意の数の生成装置20と任意の数の情報処理装置100とが含まれていてもよい。
【0071】
生成装置20は、感情特徴情報と運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルM4を生成するサーバ装置である。生成装置20は、実施形態における取得部151とモデル生成部152に相当する機能を備えてよい。具体的には、生成装置20は、機械学習モデルM4の学習に用いられる生体情報を取得してよい。例えば、生成装置20は、学習用の生体情報として、各利用者のセンサ装置10から各利用者の生体情報を取得してよい。また、生成装置20は、機械学習モデルの学習に用いられる運動情報を取得してよい。生成装置20は、上述したモデル生成部152と同様に、機械学習モデルM4を生成してよい。生成装置20は、機械学習モデルM4を生成した場合、機械学習モデルM4に関する情報を各利用者の情報処理装置100に配信する。
【0072】
情報処理装置100は、機械学習モデルM4を用いてダンス映像を生成し、利用者に対して出力する情報処理装置である。情報処理装置100は、実施形態における取得部151と生成部153と出力制御部154と受付部155と入力部130と出力部140に相当する機能を備えてよい。具体的には、情報処理装置100は、利用者によって使用されるスマートフォン等の端末装置であってよい。また、情報処理装置100は、生成装置20から機械学習モデルM4に関する情報を取得する。情報処理装置100は、機械学習モデルM4に関する情報を取得した場合、上述した生成部153と同様に、機械学習モデルM4を用いて、ダンス映像を生成してよい。情報処理装置100は、ダンス映像を生成した場合、上述した出力制御部154と同様に、生成されたダンス映像を出力部140に表示するよう制御してよい。また、情報処理装置100は、上述した受付部155と同様に、入力部130を介して、利用者の希望感情を受け付けてよい。また、情報処理装置100は、上述した生成部153と同様に、利用者の希望感情に応じたダンス映像を生成してよい。
【0073】
〔6.効果〕
上述したように、実施形態に係る情報処理装置100は、取得部151と生成部153を備える。取得部151は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する。生成部153は、機械学習モデルを用いて、利用者の生体情報に基づいて推定された利用者の感情を示す感情情報から利用者の感情に応じた身体の動きを示す運動情報を生成する。
【0074】
このように、情報処理装置100は、利用者の感情に応じた身体の動きを示す運動情報を生成する。これにより、情報処理装置100は、例えば、生成された運動情報を利用者に対して提供可能とすることができる。また、情報処理装置100は、例えば、利用者が提供された運動情報を真似て自身の身体を動かすことにより、利用者が自身の感情を運動により表現することを可能とすることができる。したがって、情報処理装置100は、例えば、利用者が自身の感情を運動により表現することで、利用者がストレスを解消することを可能とすることができる。すなわち、情報処理装置100は、利用者のメンタルの状態を改善することを可能とすることができる。また、情報処理装置100は、利用者が自身の感情を運動により表現することで、利用者が豊かな感情表現を実現することを可能とする。
【0075】
また、実施形態に係る情報処理装置100は、取得部151とモデル生成部152を備える。取得部151は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する。モデル生成部152は、感情特徴情報と運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成する。
【0076】
これにより、情報処理装置100は、生成された機械学習モデルを用いて、利用者の感情に応じた身体の動きを示す運動情報を生成可能とすることができる。また、情報処理装置100は、利用者の感情に応じた運動情報を生成可能とすることができるため、持続可能な開発目標(SDGs)の目標9「産業と技術革新の基盤をつくろう」の達成に貢献できる。これにより、情報処理装置100は、例えば、生成された運動情報を利用者に対して提供可能とすることができる。また、情報処理装置100は、例えば、利用者が提供された運動情報を真似て自身の身体を動かすことにより、利用者が自身の感情を運動により表現することを可能とすることができる。したがって、情報処理装置100は、例えば、利用者が自身の感情を運動により表現することで、利用者がストレスを解消することを可能とすることができる。すなわち、情報処理装置100は、利用者のメンタルの状態を改善することを可能とすることができる。また、情報処理装置100は、利用者が自身の感情を運動により表現することで、利用者が豊かな感情表現を実現することを可能とする。
【0077】
また、情報処理装置100は、受付部155をさらに備える。受付部155は、利用者が希望する利用者の感情である希望感情を示す希望感情情報を受け付ける。生成部153は、希望感情情報から希望感情に応じた身体の動きを示す運動情報を生成する。
【0078】
このように、情報処理装置100は、利用者が希望する感情に応じた身体の動きを示す運動情報を生成する。これにより、情報処理装置100は、例えば、生成された運動情報を利用者に対して提供可能とすることができる。また、情報処理装置100は、例えば、利用者が提供された運動情報を真似て自身の身体を動かすことにより、利用者が希望する感情に近づけることを可能とすることができる。例えば、情報処理装置100は、例えば、ネガティブな感情を抱いている利用者の感情を、利用者が希望するポジティブな感情に近づけることを可能とすることができる。すなわち、情報処理装置100は、利用者のメンタルの状態を改善することを可能とすることができる。
【0079】
また、機械学習モデルは、感情情報に基づいて感情特徴情報を生成する第1のエンコーダと、運動情報に基づいて運動特徴情報を生成する第2のエンコーダと、運動特徴情報に基づいて運動情報を生成するデコーダと、を含む。
【0080】
これにより、情報処理装置100は、利用者の感情に応じた身体の動きを示す運動情報を生成するための精度の高い機械学習モデルを実現することができる。
【0081】
また、感情情報は、生体情報から感情情報を推定するよう学習された機械学習モデルである推定モデルを用いて推定された感情を示す情報である。
【0082】
これにより、情報処理装置100は、利用者の感情を適切に推定することができる。
【0083】
また、感情情報は、覚醒度を示す値と感情価を示す値の組である。
【0084】
これにより、情報処理装置100は、感情円環モデルを用いて、利用者の感情を適切に推定することができる。
【0085】
また、生体情報は、心電、心拍、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す情報である。
【0086】
これにより、情報処理装置100は、利用者の心拍数、脈拍数、発汗量、体温、筋電図の値、脳波、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す情報に基づいて、利用者の感情を適切に推定することができる。
【0087】
また、運動情報は、身体の動きを示す映像である。
【0088】
これにより、情報処理装置100は、利用者に対して、利用者の感情に応じた身体の動きを示す映像を提供可能とすることができる。
【0089】
また、運動情報は、身体の動きを複数の方向から撮影した映像である。
【0090】
これにより、情報処理装置100は、利用者に対して、利用者の感情に応じた身体の動きを複数の方向から撮影した映像を提供可能とすることができる。
【0091】
また、身体の動きは、ダンス、リハビリテーション、スポーツ、または演技における動作である。
【0092】
これにより、情報処理装置100は、利用者に対して、利用者が希望する利用者の感情に応じたダンス、リハビリテーション、スポーツ、または演技における動作を示す運動情報を提供可能とすることができる。
【0093】
〔7.ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置100は、例えば
図10に示すような構成のコンピュータ1000によって実現される。
図10は、情報処理装置100の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を備える。
【0094】
CPU1100は、ROM1300またはHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
【0095】
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、所定の通信網を介して他の機器からデータを受信してCPU1100へ送り、CPU1100が生成したデータを所定の通信網を介して他の機器へ送信する。
【0096】
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、生成したデータを入出力インターフェイス1600を介して出力装置へ出力する。
【0097】
メディアインターフェイス1700は、記録媒体1800に格納されたプログラムまたはデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0098】
例えば、コンピュータ1000が実施形態に係る情報処理装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部150の機能を実現する。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
【0099】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0100】
〔8.その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0101】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0102】
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【符号の説明】
【0103】
1 情報処理システム
10 センサ装置
100 情報処理装置
110 通信部
120 記憶部
130 入力部
140 出力部
150 制御部
151 取得部
152 モデル生成部
153 生成部
154 出力制御部
155 受付部