知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024080412
(43)【公開日】2024-06-13
(54)【発明の名称】表示制御プログラム、表示制御装置および表示制御方法
(51)【国際特許分類】
G06T 13/40 20110101AFI20240606BHJP
G06F 3/01 20060101ALI20240606BHJP
G06F 3/04815 20220101ALI20240606BHJP
【ＦＩ】
G06T13/40
G06F3/01 510
G06F3/04815
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022193582
(22)【出願日】2022-12-02
(71)【出願人】
【識別番号】391027310
【氏名又は名称】株式会社ソニー・ミュージックソリューションズ
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】岡田 拓実
(72)【発明者】
【氏名】谷口 勝也
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050AA03
5B050BA06
5B050BA08
5B050BA09
5B050BA12
5B050CA07
5B050CA08
5B050EA04
5B050EA19
5B050EA24
5B050EA26
5B050FA02
5E555AA11
5E555AA27
5E555AA46
5E555AA64
5E555BA02
5E555BA05
5E555BA06
5E555BA73
5E555BA87
5E555BA88
5E555BB05
5E555BB06
5E555BC18
5E555BE16
5E555BE17
5E555CA42
5E555CA44
5E555CA47
5E555CB64
5E555CB66
5E555CB67
5E555CC20
5E555DA01
5E555DA23
5E555DB02
5E555DB32
5E555DB53
5E555DB57
5E555DC19
5E555DC43
5E555DC84
5E555DC85
5E555EA11
5E555EA22
5E555FA00
(57)【要約】
【課題】仮想空間のアバターを多様に表現することのできる表示制御プログラム、表示制御装置および表示制御方法を提案すること。
【解決手段】本開示に係る一形態の表示制御プログラムは、コンピュータを、ユーザに装着された慣性センサから得られた慣性情報に基づき取得される、当該ユーザの身体の動きを示す情報である身体情報と、当該ユーザの表情を示す情報である表情情報と、当該ユーザの手および指の動きを示す情報である手指情報とを、それぞれ異なる端末を介して取得する取得部と、前記取得部によって取得された情報に基づいて、当該ユーザに対応するモーションデータを生成する生成部と、前記生成部によって生成されたモーションデータをアバターに反映する表示制御部と、を備える表示制御装置として機能させる。
【選択図】図１
【解決手段】本開示に係る一形態の表示制御プログラムは、コンピュータを、ユーザに装着された慣性センサから得られた慣性情報に基づき取得される、当該ユーザの身体の動きを示す情報である身体情報と、当該ユーザの表情を示す情報である表情情報と、当該ユーザの手および指の動きを示す情報である手指情報とを、それぞれ異なる端末を介して取得する取得部と、前記取得部によって取得された情報に基づいて、当該ユーザに対応するモーションデータを生成する生成部と、前記生成部によって生成されたモーションデータをアバターに反映する表示制御部と、を備える表示制御装置として機能させる。
【選択図】図１
【特許請求の範囲】
【請求項1】
コンピュータを、
ユーザに装着された慣性センサから得られた慣性情報に基づき取得される、当該ユーザの身体の動きを示す情報である身体情報と、当該ユーザの表情を示す情報である表情情報と、当該ユーザの手および指の動きを示す情報である手指情報とを、それぞれ異なる端末を介して取得する取得部と、
前記取得部によって取得された情報に基づいて、当該ユーザに対応するモーションデータを生成する生成部と、
前記生成部によって生成されたモーションデータをアバターに反映する表示制御部と、
を備える表示制御装置として機能させるための表示制御プログラム。
ユーザに装着された慣性センサから得られた慣性情報に基づき取得される、当該ユーザの身体の動きを示す情報である身体情報と、当該ユーザの表情を示す情報である表情情報と、当該ユーザの手および指の動きを示す情報である手指情報とを、それぞれ異なる端末を介して取得する取得部と、
前記取得部によって取得された情報に基づいて、当該ユーザに対応するモーションデータを生成する生成部と、
前記生成部によって生成されたモーションデータをアバターに反映する表示制御部と、
を備える表示制御装置として機能させるための表示制御プログラム。
【請求項2】
前記生成部は、
前記慣性情報から得られる３次元座標データを用いて、前記表情情報と前記手指情報とを前記身体情報に付加することで、前記モーションデータを生成する、
請求項１に記載の表示制御プログラム。
前記慣性情報から得られる３次元座標データを用いて、前記表情情報と前記手指情報とを前記身体情報に付加することで、前記モーションデータを生成する、
請求項１に記載の表示制御プログラム。
【請求項3】
前記表示制御部は、
前記モーションデータを前記アバターに反映させた映像を表示するとともに、当該映像を動画データとして書き出す、
請求項１に記載の表示制御プログラム。
前記モーションデータを前記アバターに反映させた映像を表示するとともに、当該映像を動画データとして書き出す、
請求項１に記載の表示制御プログラム。
【請求項4】
前記表示制御部は、
前記モーションデータを前記アバターに反映させた映像において、任意に変更可能な仮想背景を合成する、
請求項３に記載の表示制御プログラム。
前記モーションデータを前記アバターに反映させた映像において、任意に変更可能な仮想背景を合成する、
請求項３に記載の表示制御プログラム。
【請求項5】
前記取得部は、
任意の対象を撮影する際のカメラの画角の推移を示すカメラデータを取得し、
前記表示制御部は、
前記モーションデータを反映させた前記アバターを含む映像を、前記カメラデータを反映させた画角で表示するよう制御する、
請求項１に記載の表示制御プログラム。
任意の対象を撮影する際のカメラの画角の推移を示すカメラデータを取得し、
前記表示制御部は、
前記モーションデータを反映させた前記アバターを含む映像を、前記カメラデータを反映させた画角で表示するよう制御する、
請求項１に記載の表示制御プログラム。
【請求項6】
前記表示制御部は、
前記カメラによる前記任意の対象を撮影中の第１映像と、当該撮影中の映像に対応するカメラデータを反映させた画角で前記アバターを表示した第２映像とを並列に表示するよう制御する、
請求項５に記載の表示制御プログラム。
前記カメラによる前記任意の対象を撮影中の第１映像と、当該撮影中の映像に対応するカメラデータを反映させた画角で前記アバターを表示した第２映像とを並列に表示するよう制御する、
請求項５に記載の表示制御プログラム。
【請求項7】
前記表示制御部は、
前記モーションデータを反映させた前記アバターと、当該アバターの動きと関連した動きを伴う映像コンテンツとを重畳して表示するよう制御する、
請求項１に記載の表示制御プログラム。
前記モーションデータを反映させた前記アバターと、当該アバターの動きと関連した動きを伴う映像コンテンツとを重畳して表示するよう制御する、
請求項１に記載の表示制御プログラム。
【請求項8】
前記取得部は、
前記身体情報を取得する際に、当該身体情報と同期させる音声情報を併せて取得し、
前記表示制御部は、
前記音声情報の取得開始時に、予め設定された表示効果を前記アバターに反映させる、
請求項１に記載の表示制御プログラム。
前記身体情報を取得する際に、当該身体情報と同期させる音声情報を併せて取得し、
前記表示制御部は、
前記音声情報の取得開始時に、予め設定された表示効果を前記アバターに反映させる、
請求項１に記載の表示制御プログラム。
【請求項9】
ユーザに装着された慣性センサから得られた慣性情報に基づき取得される、当該ユーザの身体の動きを示す情報である身体情報と、当該ユーザの表情を示す情報である表情情報と、当該ユーザの手および指の動きを示す情報である手指情報とを、それぞれ異なる端末を介して取得する取得部と、
前記取得部によって取得された情報に基づいて、当該ユーザに対応するモーションデータを生成する生成部と、
前記生成部によって生成されたモーションデータをアバターに反映する表示制御部と、
を備える表示制御装置。
前記取得部によって取得された情報に基づいて、当該ユーザに対応するモーションデータを生成する生成部と、
前記生成部によって生成されたモーションデータをアバターに反映する表示制御部と、
を備える表示制御装置。
【請求項10】
コンピュータが、
ユーザに装着された慣性センサから得られた慣性情報に基づき取得される、当該ユーザの身体の動きを示す情報である身体情報と、当該ユーザの表情を示す情報である表情情報と、当該ユーザの手および指の動きを示す情報である手指情報とを、それぞれ異なる端末を介して取得し、
前記取得された情報に基づいて、当該ユーザに対応するモーションデータを生成し、
前記生成されたモーションデータをアバターに反映する、
ことを含む表示制御方法。
ユーザに装着された慣性センサから得られた慣性情報に基づき取得される、当該ユーザの身体の動きを示す情報である身体情報と、当該ユーザの表情を示す情報である表情情報と、当該ユーザの手および指の動きを示す情報である手指情報とを、それぞれ異なる端末を介して取得し、
前記取得された情報に基づいて、当該ユーザに対応するモーションデータを生成し、
前記生成されたモーションデータをアバターに反映する、
ことを含む表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、仮想現実におけるアバター（Avatar）を表現するための表示制御プログラム、表示制御装置および表示制御方法に関する。
【背景技術】
【0002】
近年、ユーザの動きを示した動き情報を取得するためのモーションキャプチャ技術が盛んに開発されている。取得された動き情報は、例えばスポーツやリハビリテーションにおいて動作指導に用いられたり、ＶＲ（Virtual Reality）またはＡＲ（Augmented Reality）等のアプリケーションに用いられたりしている。また、取得された動き情報を用いて、ユーザの動きを模したアバター映像を生成し、当該アバター映像を配信することも行われている。
【0003】
なお、モーションキャプチャ技術を実現する方式としては、マーカを使用する光学式、加速度センサなどを使用する慣性センサ方式、および映像を解析するカメラ方式などが知られている。例えば、特許文献１には、慣性航法（ＩＮＳ：Inertial Navigation System）を用いた慣性センサ方式により実現されるモーションキャプチャ技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０１９／２０３１８８号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、仮想空間においてアバターを表現する手法については、さらに改善の余地がある。
【0006】
例えば、仮想空間では、アバターを用いてユーザ同士がコミュニケーションを親密にとることが可能である。このため、仮想空間を提供するサービス側は、ユーザが親しみを抱くような、様々な感情表現や多彩な動きを表現するアバターを提供することが望ましい。
【0007】
そこで、本開示では、仮想空間のアバターを多様に表現することのできる表示制御プログラム、表示制御装置および表示制御方法を提案する。
【課題を解決するための手段】
【0008】
上記の課題を解決するために、本開示に係る一形態の表示制御プログラムは、コンピュータを、ユーザに装着された慣性センサから得られた慣性情報に基づき取得される、当該ユーザの身体の動きを示す情報である身体情報と、当該ユーザの表情を示す情報である表情情報と、当該ユーザの手および指の動きを示す情報である手指情報とを、それぞれ異なる端末を介して取得する取得部と、前記取得部によって取得された情報に基づいて、当該ユーザに対応するモーションデータを生成する生成部と、前記生成部によって生成されたモーションデータをアバターに反映する表示制御部と、を備える表示制御装置として機能させる。
【図面の簡単な説明】
【0009】
【図1】実施形態に係る表示制御システムの概要を示す図である。
【図2】表示制御システムにおける処理の流れを示すブロック図である。
【図3】実施形態に係るキャプチャ処理の一例を示す図である。
【図4】実施形態に係る表示制御装置の構成例を示す図である。
【図5】実施形態に係る表示制御処理の流れを示すフローチャートである。
【図6】実施形態に係る表示制御処理の第１のバリエーションを説明するための図である。
【図7】実施形態に係る表示制御処理の第２のバリエーションを説明するための図である。
【図8】実施形態に係る表示制御処理の第３のバリエーションを説明するための図である。
【図9】表示制御装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0010】
以下に、実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0011】
以下に示す項目順序に従って本開示を説明する。
１．実施形態
１－１．実施形態に係る表示制御処理の概要
１－２．実施形態に係る表示制御装置の構成
１－３．実施形態に係る処理の手順
１－４．実施形態に係る処理のバリエーション
１－４－１．カメラデータを用いた表示制御
１－４－２．コンテンツ配信
１－４－３．音と映像の同期処理
１－５．変形例
２．その他の実施形態
３．本開示に係る表示制御装置の効果
４．ハードウェア構成
１．実施形態
１－１．実施形態に係る表示制御処理の概要
１－２．実施形態に係る表示制御装置の構成
１－３．実施形態に係る処理の手順
１－４．実施形態に係る処理のバリエーション
１－４－１．カメラデータを用いた表示制御
１－４－２．コンテンツ配信
１－４－３．音と映像の同期処理
１－５．変形例
２．その他の実施形態
３．本開示に係る表示制御装置の効果
４．ハードウェア構成
【0012】
（１．実施形態）
（１－１．実施形態に係る表示制御処理の概要）
図１を用いて、実施形態に係る表示制御処理の一例を説明する。図１は、実施形態に係る表示制御システム１の概要を示す図である。実施形態に係る表示制御処理は、図１に示した表示制御システム１によって実行される。
（１－１．実施形態に係る表示制御処理の概要）
図１を用いて、実施形態に係る表示制御処理の一例を説明する。図１は、実施形態に係る表示制御システム１の概要を示す図である。実施形態に係る表示制御処理は、図１に示した表示制御システム１によって実行される。
【0013】
表示制御システム１は、表示制御装置１００と、第１端末５０と、第２端末６０と、第３端末７０と、配信プラットフォーム３００とを含む。表示制御システム１が含む各装置は、ネットワークを介して接続される。ネットワークは、例えば、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などを含んでもよい。また、ネットワークは、ＩＰ－ＶＰＮ（Internet Protocol-Virtual Private Network）などの専用回線網を含んでもよい。
【0014】
表示制御装置１００は、ＶＲやＡＲ技術を実現するための情報処理端末である。例えば、表示制御装置１００は、メタバース（Meta-verse）等と称される、コンピュータやコンピュータネットワークの中に構築された３次元仮想空間（以下、単に「仮想空間」と称する）を表示部（ディスプレイ等）に表示する。また、表示制御装置１００は、仮想空間やＡＲ空間において、人間（以下「ユーザ」と総称する）を模したキャラクターであるアバターに関する表示制御を行う。具体的には、表示制御装置１００は、図１に示すユーザ１５の動作や表情等の変化に基づいて取得されたモーションデータをアバターに反映させ、ユーザ１５が動作したり表情を変化させたりしている様子をアバターで表現する。表示制御装置１００は、ＰＣ（Personal Computer）やサーバ装置、タブレット端末、スマートフォンなど、任意の情報処理装置によって実現される。
【0015】
第１端末５０は、ユーザ１５の身体の動きを示す身体情報を取得する情報処理端末である。例えば、第１端末５０は、ユーザ１５に装着されたＩＭＵ（Inertial Measurement Unit）センサ１０Ａ～１０Ｆから得られる、３次元座標情報を含む慣性情報に基づいて、ユーザ１５の全身の動きに関する身体情報をモーションデータとして取得する。すなわち、第１端末５０は、人間等の動体の動き（モーション）を計測し、計測したデータに基づいてモーションを可視化する、いわゆるモーションキャプチャに関する情報処理を実行する。そして、第１端末５０は、取得した身体情報を表示制御装置１００に送る。なお、以下では、ＩＭＵセンサ１０Ａ～１０Ｆを区別する必要のない場合、「ＩＭＵセンサ１０」と総称する。
【0016】
第２端末６０は、ユーザ１５の表情の変化を示す表情情報を取得する情報処理端末である。例えば、第２端末６０は、ユーザ１５の表情変化をとらえた特徴点をカメラや各種センサ（デプスセンサ等）を用いて取得する。また、第２端末６０は、ユーザ１５の顔を撮影することにより得られる顔画像に基づいて表情変化をとらえてもよい。第２端末６０は、表情情報の取得にあたり、種々の既知の技術を用いても良い。そして、第２端末６０は、取得した表情情報を表示制御装置１００に送る。第２端末６０は、例えば、スマートフォンやタブレット端末等により実現される。
【0017】
第３端末７０は、ユーザ１５の末端の動き、特に手や指の動きを示す手指情報を取得する情報処理端末である。例えば、第３端末７０は、ユーザ１５から所定距離だけ離れた箇所からユーザ１５の手指を撮影およびセンシングし、その位置を、ＩＭＵセンサ１０等から得られた座標情報でキャリブレーション（校正）すること等により、ユーザ１５の手指の動き情報を精度よく取得する。第３端末７０は、手指情報の取得にあたり、種々の既知の技術を用いても良い。そして、第３端末７０は、取得した手指情報を表示制御装置１００に送る。
【0018】
第１端末５０、第２端末６０、第３端末７０は、いずれも、例えばスマートフォンやタブレット端末等により実現される。
【0019】
配信プラットフォーム３００は、表示制御装置１００によって動きが反映されたアバターを視聴者等に配信するためのプラットフォームである。例えば、配信プラットフォーム３００は、エンターテイメント性の高い動画を配信する配信事業者により運営される。配信プラットフォーム３００は、視聴者からの要求に基づいて、動きが反映されたアバターや、アバターと関連する映像や音声コンテンツを視聴者に配信する。
【0020】
上記のように、表示制御システム１は、ユーザ１５をモーションキャプチャーし、その情報をアバターに反映させる処理を行う。
【0021】
ところで、従来、ウェブカメラやスマートフォンを使用した簡易のモーションキャプチャーでは、３次元のモーションデータを反映したり、表情を付与したり、手指等の末端の動きまでも精度よく反映したりしたアバターを生成することが困難であった。例えば、従来の２次元画像ベースの位置推定では、アバターの動きを２次元でしか捉えられないため、アバターを３次元空間で回転させるなどの動きを実現できなかった。しかし、光学式マーカ等を使用した３次元ベースのモーションキャプチャーを行おうとすると、非常に大規模な設備が必要になり、モーションキャプチャーにかかるコストが膨大となる。
【0022】
一方、実施形態に係る表示制御システム１は、第１端末５０、第２端末６０、第３端末７０といった３台のスマートフォン等を用いることで、精度のよいモーションキャプチャーを実現できる。このため、動画配信等でアバターを使用しようとする配信者は、簡易かつ安価にモーションキャプチャーを行うことができる。また、表示制御システム１によれば、身体、表情、手指の情報を一度の撮影で同時に取得することができるため、配信者は、モーションキャプチャー後の編集作業などの手間を大幅に削減することもできる。
【0023】
また、従来、モーションキャプチャーでは、主にユーザ１５の動きを取得していたが、表示制御システム１は、ユーザ１５の表情等も捉えることができるため、エンターテイメント性の高いアバターを生成することができる。これにより、配信者は、ユーザが親しみを抱くような、様々な感情表現や多彩な動きを表現するアバターを視聴者に提供することができる。
【0024】
以下、図１を用いて、実施形態に係る表示制御処理の概要を説明する。モーションキャプチャーを行うにあたり、ユーザ１５は、ＩＭＵセンサ１０Ａ～１０Ｆを装着する。ＩＭＵセンサ１０Ａ～１０Ｆは、例えば加速度（Acceleration）を取得する加速度センサや角速度（Angular velocity）を取得するジャイロセンサ（角速度センサ）等の慣性センサを含む。なお、ＩＭＵセンサ１０Ａ～１０Ｆは、地磁気センサ、超音波センサ、気圧センサなどのセンサを含んでもよい。ＩＭＵセンサ１０Ａ～１０Ｆは、身体の基準となる関節部位（例えば腰や頭部）、あるいは身体の末端近傍（手首、足首、頭部等）に装着されることが望ましい。図１に示す例では、ユーザ１５の腰にＩＭＵセンサ１０Ａが装着され、手首にＩＭＵセンサ１０ＢおよびＩＭＵセンサ１０Ｅが装着され、足首にＩＭＵセンサ１０ＣおよびＩＭＵセンサ１０Ｄが装着され、頭部にＩＭＵセンサ１０Ｆが装着されている。なお、以下では、ＩＭＵセンサ１０が装着された身体の部位を、装着部位とも称する場合がある。また、ＩＭＵセンサ１０の数や装着位置（装着部位の位置）は図１に示す例に限定されず、ユーザ１５に装着されるＩＭＵセンサ１０は、より多くてもよいし、より少なくてもよい。
【0025】
このように、ＩＭＵセンサ１０Ａ～１０Ｆがユーザ１５の手足、頭部、胴体等の動きを慣性情報として捉えることで、第１端末５０は、ユーザ１５の身体情報を取得することができる。なお、人間や動物等の動体の動きの情報の可視化には、例えば身体の構造を示すスケルトン構造により表現されるスケルトンデータが用いられる。スケルトンデータは、部位の情報と、部位間を結ぶ線分であるボーンを含む。スケルトン構造における部位は、例えば身体の末端部位や関節部位等に対応する。また、スケルトン構造におけるボーンは例えば人間の骨に相当し得るが、ボーンの位置や数は、必ずしも実際の人間の骨格と整合していなくてもよい。
【0026】
図１に示す例では、第１端末５０は、ＩＭＵセンサ１０Ａ～１０Ｆのセンサデータを受信し、受信したセンサデータを用いて、例えば、ユーザ１５の慣性式スケルトンデータを生成する。かかるデータは、ユーザ１５の全身の動きを示す身体情報として、第１端末５０から表示制御装置１００に送られる。図１に示すように、身体情報は、例えば、アバター５５の個別の関節２０Ａ～２０Ｆに対応するものである。なお、第１端末５０は、適宜、ユーザ１５の全身の動きを撮影した画像（光学情報）を用いることで、慣性データのみでは正確に表現することのできないようなモーションデータを補ってもよい。
【0027】
また、第２端末６０は、例えば、ユーザ１５の顔の前に専用器具を用いて設置される。第２端末６０は、各種センサおよびカメラを備えており、既知の技術に基づいて、ユーザ１５の表情の変化を示す表情情報を取得する。
【0028】
また、第３端末７０は、例えば、ユーザ１５から数メートル離れた距離で、三脚等の器具を用いて設置される。第３端末７０は、各種センサおよびカメラを備えており、既知の技術に基づいて、ユーザ１５の手指等の動きを示す手指情報を取得する。
【0029】
表示制御装置１００は、第１端末５０から取得した身体情報、第２端末６０から取得した表情情報、第３端末７０から取得した手指情報を統合し、アバターに反映させるモーションデータを生成する。例えば、表示制御装置１００は、慣性情報から得られる３次元座標データを用いて校正することで、表情情報と手指情報とをモーションデータに反映させる際の３次元座標を決定することができる。これにより、表示制御装置１００は、それぞれ異なる端末により得られた各モーションデータを、ずれることなく統合することができる。
【0030】
表示制御装置１００は、モーションデータを反映させたアバターを生成すると、生成したデータに配信のための各種処理を行ったのち、アバターに関するデータを配信プラットフォーム３００に渡す。配信のための処理の詳細については後述する。
【0031】
【0032】
図２に示すように、第１端末５０は、身体用アプリケーション５１を有する。身体用アプリケーション５１は、ＩＭＵセンサ１０等に基づき取得されたセンサデータを用いて、ユーザ１５の身体情報を取得する。第１端末５０は、身体情報を表示制御装置１００に送信する。
【0033】
表示制御装置１００は、身体情報を取得すると、足首と足の付け根の角度等、身体情報をモーションデータに適用する際に不自然な表示になる可能性のある情報について、既知の技術に基づき補正を行う。そして、表示制御装置１００は、補正後の身体情報をモーションデータとしてアバターに反映する。
【0034】
また、第２端末６０は、表情用アプリケーション６１を有する。表情用アプリケーション６１は、既知のライブラリ（例えば、ユーザ１５の顔の特徴点を表情のモーションデータに変換するためのプログラム等）と、第２端末６０によるセンシングデータを用いて、表情情報を取得する。第２端末６０は、表情情報を表示制御装置１００に送信する。
【0035】
表示制御装置１００は、表情情報を取得すると、表情情報をアバターにリターゲットすることにより、アバターの表情変化に反映させる。
【0036】
また、第３端末７０は、手指用アプリケーション７１を有する。手指用アプリケーション７１は、既知のライブラリ（例えば、ユーザ１５の末端の動きをアバターのモーションデータに変換するためのプログラム等）と、第３端末７０によるセンシングデータを用いて、手指情報を取得する。第３端末７０は、手指情報を表示制御装置１００に送信する。
【0037】
表示制御装置１００は、手指情報を取得すると、指の初期角度と曲がる向き等、手指情報をモーションデータに適用する際に不自然な表示になる可能性のある情報について、既知の技術に基づき補正を行う。そして、表示制御装置１００は、補正後の手指情報をモーションデータとしてアバターに反映する。
【0038】
なお、表示制御装置１００は、モーションデータを反映させたアバターを配信プラットフォーム３００に送信する際には、各々のプラットフォームの仕様に併せて、適宜、アバターのデータを変換する処理等を行ってもよい。具体的には、表示制御装置１００は、各々のプラットフォームの仕様に併せて、適宜、配信用ソフトウェアを用いてアバターのデータを変換する処理等を行ってもよい。
【0039】
従来、ユーザ１５を撮影して得られた２次元画像等によりモーションデータが作成される場合、３次元空間の再現がないため、表情や手指の動きを３次元空間上の正確な位置に再現することが困難であった。しかし、表示制御装置１００は、ＩＭＵセンサ１０や各端末が備えるデプスセンサ等の３次元情報を用いてモーションデータを作成することにより、身体情報のみならず、表情や手指情報についても、３次元空間上の正確な位置に再現することが可能である。また、実施形態に係る表示制御処理は、ユーザ１５の表情や手指の動きを異なる端末で追うことで、固定のカメラ方向ではなく、自由なカメラ方向からそれぞれ個別に情報を取得する。そして、実施形態に係る表示制御処理は、取得した表情情報と手指情報を、ＩＭＵセンサ１０等により得られる身体情報における顔の位置や手の位置を参照し、アバターの動きに付加することができる。これにより、表示制御装置１００は、１回の撮影で、ユーザ１５の動きや表情、手指等の動きを正確にアバター上で再現することのできるモーションデータを生成することができる。なお、表示制御装置１００は、手指の情報を画像ストリーミングから生成してリアルタイムで身体情報と合成することも可能である。
【0040】
【0041】
図３に示すように、ユーザ１５は、ＩＭＵセンサ１０と、顔の前に第２端末６０を固定するための器具を装着する。なお、第３端末７０は、ユーザ１５を撮影可能な位置で固定されるか、もしくは、手動により、ユーザ１５の手指を撮影する。
【0042】
図３において、ユーザ１５が手を伸ばしたり、身体を動かしたりすると、第１端末５０がＩＭＵセンサ１０を介して身体情報を取得し、第２端末６０がユーザ１５の表情情報を取得し、第３端末７０がユーザ１５の手指情報を取得する。表示制御装置１００は、各端末が取得した情報に基づいて、アバター３０に反映するためのモーションデータを生成する。そして、表示制御装置１００は、モーションデータをアバター３０に適用し、ユーザ１５と同様の動きをアバター３０が行うように表示制御する。
【0043】
【0044】
（１－２．実施形態に係る表示制御装置の構成）
次に、表示制御装置１００の構成について説明する。図４は、実施形態に係る表示制御装置１００の構成例を示す図である。
次に、表示制御装置１００の構成について説明する。図４は、実施形態に係る表示制御装置１００の構成例を示す図である。
【0045】
図４に示すように、表示制御装置１００は、通信部１１０と、記憶部１２０と、制御部１３０と、音声入力部１４０と、表示部１５０を有する。なお、表示制御装置１００は、表示制御装置１００を操作するユーザから各種操作を受け付ける入力部（キーボードやタッチパネル等）を有してもよい。
【0046】
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）やネットワークインタフェイスコントローラ（Network Interface Controller）等によって実現される。通信部１１０は、ネットワークＮと有線または無線で接続され、ネットワークＮを介して、第１端末５０等と情報の送受信を行う。ネットワークＮは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、インターネット、Ｗｉ－Ｆｉ（登録商標）、ＵＷＢ（Ultra Wide Band）、ＬＰＷＡ（Low Power Wide Area）等の無線通信規格もしくは方式で実現される。
【0047】
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
【0048】
記憶部１２０は、実施形態に係る表示制御処理に関する種々の情報を記憶する。実施形態では、記憶部１２０は、アバターデータ記憶部１２１と、音声データ記憶部１２２と、モーションデータ記憶部１２３とを含む。
【0049】
アバターデータ記憶部１２１は、モーションデータが適用されるアバターに関するデータを記憶する。例えば、アバターデータ記憶部１２１は、アバターの外観やモーションデータが適用された際の動作を表現するための映像データや、モーションデータが適用される関節等の情報を記憶する。
【0050】
音声データ記憶部１２２は、ユーザ１５に対応するモーションデータが生成される際に録音される音声データを記憶する。音声データは、例えば、モーションデータに基づいてアバターに動きが適用される際に、動きと同期して、配信先の端末等で再生される。
【0051】
モーションデータ記憶部１２３は、ユーザ１５の動きに対応するモーションデータであり、アバターに適用されるモーションデータを記憶する。
【0052】
音声入力部１４０は、アバターの動きと同期して再生される音声データの入力を受け付ける。音声入力部１４０は、例えば、マイクロホン１４１による現場での録音や、現場に設置された録音機器から取得された音声ファイル１４２に基づき、音声データを取得する。
【0053】
表示部１５０は、制御部１３０から出力された各種情報を表示する。例えば、表示部１５０は、ユーザに向けて映像を出力するディスプレイである。なお、表示部１５０は、音声を出力する音声出力部（スピーカー等）を含んでもよい。
【0054】
制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＧＰＵ等によって、表示制御装置１００内部に記憶されたプログラム（例えば、本開示に係る表示制御プログラム）がＲＡＭ等を作業領域として実行されることにより実現される。また、制御部１３０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。
【0055】
図４に示すように、制御部１３０は、取得部１３１と、生成部１３２と、表示制御部１３３とを有する。
【0056】
取得部１３１は、各種情報を取得する。取得部１３１は、身体情報取得部１３１Ａと、表情情報取得部１３１Ｂと、手指情報取得部１３１Ｃとを含む。
【0057】
すなわち、取得部１３１は、ユーザ１５に装着されたＩＭＵセンサ１０から得られた慣性情報に基づき取得される、ユーザ１５の身体の動きを示す情報である身体情報と、ユーザ１５の表情を示す情報である表情情報と、ユーザ１５の手および指の動きを示す情報である手指情報を、それぞれ異なる端末を介して取得する。
【0058】
また、取得部１３１は、ユーザ１５からの各種操作や設定要求を取得してもよい。例えば、取得部１３１は、ユーザ１５から特定の動作をアバターに反映するか否かの設定を受け付ける。また、取得部１３１は、アバターの外観を変更する旨の要求や、アバターの背景を変更する旨の要求等を受け付けてもよい。
【0059】
生成部１３２は、取得部１３１によって取得された情報に基づいて、ユーザ１５に対応するモーションデータを生成する。
【0060】
具体的には、生成部１３２は、ＩＭＵセンサ１０から取得された慣性情報から得られる３次元座標データを用いて、表情情報と手指情報とを身体情報に付加することで、モーションデータを生成する。
【0061】
表示制御部１３３は、制御部１３０から出力される情報を表示部１５０に表示するよう制御する。例えば、表示制御部１３３は、生成部１３２によって生成されたモーションデータをアバターに反映し、反映したアバターを表示部１５０に表示する。なお、アバターを表示する表示先は、表示部１５０等の内蔵ディスプレイに限らず、スマートフォン等の他の情報機器や、テレビなどの映像出力装置でもよい。
【0062】
また、表示制御部１３３は、モーションデータをアバターに反映させた映像を表示するとともに、映像を動画データとして書き出してもよい。表示制御部１３３は、動画データを配信プラットフォーム３００に送ることで、ユーザ１５の動きが反映されたアバターを簡易に配信先で表示させることができる。
【0063】
また、表示制御部１３３は、モーションデータをアバターに反映させた映像において、任意に変更可能な仮想背景を合成してもよい。例えば、表示制御部１３３は、図３に示したように、アバター３０と仮想空間である背景データとを合成し、アバター３０とともに表示することができる。
【0064】
【0065】
図５に示すように、表示制御装置１００は、まずモーションデータを適用する元となるアバターデータを取得する（ステップＳ１０１）。その後、表示制御装置１００は、モーションデータの元となるユーザ１５の撮影が開始されたか否かを判定する（ステップＳ１０２）。撮影が開始されていない場合（ステップＳ１０２；Ｎｏ）、表示制御装置１００は、撮影が開始されるまで待機する。
【0066】
一方、撮影が開始された場合（ステップＳ１０２；Ｙｅｓ）、表示制御装置１００は、身体情報、表情情報、手指情報を各端末からそれぞれ取得する（ステップＳ１０３）。
【0067】
表示制御装置１００は、取得した情報に基づいて、ユーザ１５の動きに対応する３Ｄモーションデータを生成する（ステップＳ１０４）。続けて、表示制御装置１００は、モーションデータをアバターに反映する（ステップＳ１０５）。
【0068】
その後、表示制御装置１００は、配信プラットフォーム３００の仕様等、配信態様に合わせた各種処理を実行する（ステップＳ１０６）。
【0069】
（１－４．実施形態に係る処理のバリエーション）
（１－４－１．カメラデータを用いた表示制御）
実施形態に係る表示制御処理は、様々なバリエーションを含んでも良い。以下では、実施形態に係る表示制御処理のバリエーションを説明する。
（１－４－１．カメラデータを用いた表示制御）
実施形態に係る表示制御処理は、様々なバリエーションを含んでも良い。以下では、実施形態に係る表示制御処理のバリエーションを説明する。
【0070】
まず、第１のバリエーションについて説明する。第１のバリエーションでは、表示制御装置１００は、アバターが実際の映像に重畳されて表示される、いわゆるＡＲ表示が行われる場合に有用なモニター処理を提供する。かかる処理によれば、撮影者は、アバターに重畳しようとする背景映像を撮影しながら、アバターがどのように表示されるかをリアルタイムで確認することができる。この点について、図６を用いて説明する。
【0071】
図６は、実施形態に係る表示制御処理の第１のバリエーションを説明するための図である。図６に示す例では、撮影者は、まずユーザ１５を撮影することで、アバター３１に適用するモーションデータを取得したものとする。その後、撮影者は、アバター３１の背景となる背景映像３２を撮影する。このとき、表示制御装置１００は、撮影者が背景映像３２を撮影している途中の映像や、カメラの画角やカメラパラメータ等、撮影に関する情報（以下、「カメラデータ」と総称する）を取得するものとする。そして、表示制御装置１００は、表示部１５０の左部に、背景映像３２を表示する。
【0072】
このとき、表示制御装置１００は、表示部１５０の右部に、アバター３１の仮想空間映像３３を表示する。この時点では、仮想空間映像３３の背景映像は取得されていないため、表示制御装置１００は、アバター３１の背景には、例えば仮想空間として予め作成された背景アセット（asset）等を表示する。
【0073】
その後、撮影者は、背景映像の撮影を継続する。すると、表示制御装置１００は、その撮影の動きに合わせて、カメラデータを反映させた背景映像３４を表示部１５０の左部に表示する。このとき、表示制御装置１００は、表示部１５０の右部にアバター３１を表示するとともに、アバター３１を仮想的に撮影するカメラに、背景映像３４に対応するカメラデータを反映させる。すなわち、表示制御装置１００は、あたかも背景映像３４を撮影しているカメラが、アバター３１を撮影しているような角度で、アバター３１を表示する仮想空間映像３５を表示する。
【0074】
このように、表示制御装置１００は、背景など任意の対象を撮影する際のカメラの画角の推移を示すカメラデータを取得し、モーションデータを反映させたアバター３１を含む仮想空間映像３５を、当該カメラデータを反映させた画角で表示するよう制御する。
【0075】
また、表示制御装置１００は、図６に示すように、カメラによる任意の対象を撮影中の第１映像（背景映像３４）と、撮影中の映像に対応するカメラデータを反映させた画角でアバター３１を表示した第２映像（仮想空間映像３５）とを並列に表示してもよい。なお、表示制御装置１００は、必ずしも第１映像と第２映像を同時に表示することを要せず、様々な態様で表示可能である。例えば、表示制御装置１００は、第１映像を自装置で表示し、第２映像を他の外部機器（スマートフォン等）に表示してもよい。また、表示制御装置１００は、カメラデータをアバター３１に反映する際に、必ずしも現実の背景映像を表示することを要せず、仮想空間内の映像のみで撮影を行ってもよい。
【0076】
上記のように、表示制御装置１００は、撮影者に対して、アバター３１を映し出すための仮想カメラに背景映像を撮影する際のカメラデータを連動させることで、実際に背景映像を重ね合わせた際の状況を撮影者が体験できるようなモニター映像を返すことができる。これにより、表示制御装置１００は、アバター３１をＡＲ表示する態様において、生成される映像の質を向上させることができる。
【0077】
（１－４－２．コンテンツ配信）
次に、第２のバリエーションについて説明する。第２のバリエーションでは、表示制御装置１００は、他のコンテンツ（ゲーム等）にアバターを重畳させて表示する。かかる処理について、図７を用いて説明する。
次に、第２のバリエーションについて説明する。第２のバリエーションでは、表示制御装置１００は、他のコンテンツ（ゲーム等）にアバターを重畳させて表示する。かかる処理について、図７を用いて説明する。
【0078】
図７は、実施形態に係る表示制御処理の第２のバリエーションを説明するための図である。図７に示す例では、表示制御装置１００は、予めモーションデータが適用された、あるいは、ユーザ１５を撮影して得られたモーションデータがリアルタイムで適用されているアバター３０を画面３６に表示する。この例において、表示制御装置１００は、画面３６はゲームコンテンツを含み、ゲームコンテンツに重畳するレイヤにアバター３０を表示する。すなわち、アバター３０は、ゲームのプレイ動画等を配信する配信者であるユーザ１５の動きを、当該ゲームがプレイされている映像に重ねられるように表示される。
【0079】
このように、表示制御装置１００は、モーションデータを反映させたアバター３０と、アバター３０の動きと関連した動きを伴う映像コンテンツとを重畳して表示するよう制御してもよい。
【0080】
上述してきたように、アバター３０は、ユーザ１５の全身の動きのみならず、表情や、手指などの末端情報についても、ユーザ１５の動きを再現する。これにより、表示制御装置１００は、ユーザ１５の実際の動きを３次元データでアバター３０に反映した、より臨場感があるゲームコンテンツ配信動画等を配信先に提供することができる。なお、表示制御装置１００は、既知のアプリケーションやライブラリ等を用いて、ゲームコンテンツとアバター３０の合成を行ってもよい。例えば、表示制御装置１００は、記録した動画アニメーションをゲームエンジンで使用させたり、汎用的な形式でのエクスポートさせたりすることを可能とする。なお、図７で示した、他のコンテンツにアバターを重畳させて合成させる処理は、複数台の機器を用いて実現されてもよい。例えば、上記の表示制御処理は、アバターの表示を制御する第１の装置（例えば表示制御装置１００）と、他のコンテンツの表示やアバターとコンテンツとの合成処理等を制御する第２の装置とが協働して実行してもよい。
【0081】
（１－４－３．音と映像の同期処理）
次に、第３のバリエーションについて説明する。第３のバリエーションでは、表示制御装置１００は、ユーザ１５を撮影したモーションデータと、撮影時の音声とを同期させるための補助となる処理を行う。かかる処理について、図８を用いて説明する。
次に、第３のバリエーションについて説明する。第３のバリエーションでは、表示制御装置１００は、ユーザ１５を撮影したモーションデータと、撮影時の音声とを同期させるための補助となる処理を行う。かかる処理について、図８を用いて説明する。
【0082】
図８は、実施形態に係る表示制御処理の第３のバリエーションを説明するための図である。図８に示す例では、表示制御装置１００は、図３と同様、ユーザ１５の動きを第１端末５０等を用いて捕捉し、モーションデータを生成する。そして、表示制御装置１００は、当該モーションデータをアバター３０に適用する。
【0083】
ここで、配信者は、ユーザ１５の動きと同時に撮影時の音声を取得し、音声を含めた配信コンテンツ（動画ファイル等）の作成を所望する場合がある。このとき、配信者がモーションデータが適用されたアバター３０の動きと撮影と同時収録された音声とを同期させるにあたり、何らかの契機があると、作業が効率的である。
【0084】
そこで、表示制御装置１００は、図８に示す第１段階３７において、撮影の開始を指示するボタン３８が配信者によって押下されたタイミングで、のちほど映像を閲覧する配信者が契機とできるような映像処理を行う。具体的には、表示制御装置１００は、図８に示す第２段階３９に示すように、第１段階３７においてボタン３８が押下された瞬間、アバター３０を一瞬大きく表示するような映像効果を追加する。より具体的には、表示制御装置１００は、アバター３０のスケールを変化させるとともに効果音等を追加して、どのきっかけで音声が収録開始されたかを配信者がすぐに確認できるようなトリガーを付与する。
【0085】
その後、図８に示す第３段階４０に示すように、表示制御装置１００は、アバター３０の表示を元に戻し、ユーザ１５の撮影を継続する。具体的には、表示制御装置１００は、ユーザ１５の動きを仮想空間に表示されているアバター３０に反映させる。
【0086】
このように、表示制御装置１００は、アバター３０に反映させる身体情報を取得する際に、当該身体情報と同期させる音声情報を併せて取得する。また、表示制御装置１００は、音声情報の取得開始時に、予め設定された表示効果をアバター３０に反映させる。具体的には、表示制御装置１００は、音声収録開始がされた瞬間、アバター３０を一瞬だけ大きく表示するようなエフェクト処理を追加する。
【0087】
これにより、配信者は、のちほど映像と音声を同期させた動画ファイル等を作成する際に、どのタイミングで音声収録が開始されたかを、アバター３０の映像を視聴することで確認できるので、作業効率を向上させることができる。なお、音声の収録は、必ずしも表示制御装置１００が行うことを要さず、外部録音機器等が利用されてもよい。
【0088】
（１－５．変形例）
上記実施形態に係る処理は、様々な変形を伴ってもよい。例えば、図１における各々の装置は、表示制御システム１における機能を概念的に示すものであり、実施形態によって様々な態様をとりうる。
上記実施形態に係る処理は、様々な変形を伴ってもよい。例えば、図１における各々の装置は、表示制御システム１における機能を概念的に示すものであり、実施形態によって様々な態様をとりうる。
【0089】
また、表示制御装置１００は、ユーザ１５の表情をそのままアバター３０に適用するのではなく、ある特徴が観測された場合に、アニメ的なエフェクト処理を伴う表情変化をアバター３０に適用してもよい。これにより、表示制御装置１００は、より娯楽性の高いアバター表現を提供することができる。
【0090】
また、実施形態では、表示制御装置１００が、第１端末５０、第２端末６０、第３端末７０等と協働して処理を行う例を示した。しかし、表示制御装置１００は、第１端末５０等が実行する処理の一部または全部を自装置で実行してもよい。また、表示制御装置１００は、必ずしも第１端末５０、第２端末６０、第３端末７０の全てと協働して処理を行うことを要しない。例えば、表示制御装置１００は、第１端末５０のみ、あるいは、第１端末５０と第２端末６０など、他の機器を任意に組み合わせて、実施形態に係る表示制御処理を行ってもよい。
【0091】
また、表示制御装置１００は、複数の装置で構成されてもよい。例えば、表示制御装置１００は、ユーザの身体情報等を取得し、取得した情報に基づいてモーションデータを生成する第１の情報処理装置と、モーションデータをアバター３０に適用する第２の情報処理装置とに分けられてもよい。
【0092】
また、表示制御装置１００は、ディスプレイ部と情報処理部とが別々に構成される装置であってもよい。この場合、表示制御装置１００の情報処理部は、サーバやＰＣなど任意の情報処理装置であってもよい。
【0093】
また、アバターに適用される対象となる動体は、動物およびロボットなどの他の動体にも同様に適用可能である。また、アバターは、必ずしも人間を模したものに限らず、あらゆる態様で表現可能である。
【0094】
（２．その他の実施形態）
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。
【0095】
また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0096】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0097】
また、上述してきた各実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0098】
また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
【0099】
（３．本開示に係る表示制御装置の効果）
上述のように、本開示に係る表示制御装置（実施形態では表示制御装置１００）は、取得部（実施形態では取得部１３１）と、生成部（実施形態では生成部１３２）と、表示制御部（実施形態では表示制御部１３３）とを備える。取得部は、ユーザに装着された慣性センサ（実施形態ではＩＭＵセンサ１０）から得られた慣性情報に基づき取得される、当該ユーザの身体の動きを示す情報である身体情報と、当該ユーザの表情を示す情報である表情情報と、当該ユーザの手および指の動きを示す情報である手指情報とを、それぞれ異なる端末を介して取得する。生成部は、取得部によって取得された情報に基づいて、当該ユーザに対応するモーションデータを生成する。表示制御部は、生成部によって生成されたモーションデータをアバターに反映する。
上述のように、本開示に係る表示制御装置（実施形態では表示制御装置１００）は、取得部（実施形態では取得部１３１）と、生成部（実施形態では生成部１３２）と、表示制御部（実施形態では表示制御部１３３）とを備える。取得部は、ユーザに装着された慣性センサ（実施形態ではＩＭＵセンサ１０）から得られた慣性情報に基づき取得される、当該ユーザの身体の動きを示す情報である身体情報と、当該ユーザの表情を示す情報である表情情報と、当該ユーザの手および指の動きを示す情報である手指情報とを、それぞれ異なる端末を介して取得する。生成部は、取得部によって取得された情報に基づいて、当該ユーザに対応するモーションデータを生成する。表示制御部は、生成部によって生成されたモーションデータをアバターに反映する。
【0100】
このように、本開示に係る表示制御装置は、身体、表情、手指の情報を一度の撮影で同時に取得することができ、かつ、表情や手指などの動きも含めたエンターテイメント性の高く多様に表現可能なアバターを簡易に生成することができる。
【0101】
また、生成部は、慣性情報から得られる３次元座標データを用いて、表情情報と手指情報とを身体情報に付加することで、モーションデータを生成する。
【0102】
このように、表示制御装置は、３次元のモーションデータを用いることで、３次元空間で回転させるなどの動きを実現可能なアバターを表示制御することができる。
【0103】
また、表示制御部は、モーションデータをアバターに反映させた映像を表示するとともに、当該映像を動画データとして書き出す。
【0104】
このように、表示制御装置は、モーションデータが反映されたアバターを動画データとして生成することをサポートすることで、多様な表現がなされたアバターを配信者が簡易に配信すること等を可能とすることができる。
【0105】
また、表示制御部は、モーションデータをアバターに反映させた映像において、任意に変更可能な仮想背景を合成する。
【0106】
このように、表示制御装置は、予め用意した背景アセットを配信者の要望に沿って変更可能とすることで、アバターのみならず、背景も含めた、多様な仮想空間を表現することができる。
【0107】
また、取得部は、任意の対象を撮影する際のカメラの画角の推移を示すカメラデータを取得する。表示制御部は、モーションデータを反映させたアバターを含む映像を、カメラデータを反映させた画角で表示するよう制御する。
【0108】
また、表示制御部は、カメラによる任意の対象を撮影中の第１映像と、当該撮影中の映像に対応するカメラデータを反映させた画角でアバターを表示した第２映像とを並列に表示するよう制御してもよい。
【0109】
このように、表示制御装置は、アバターにカメラデータを適用することで、あたかもアバターをカメラで撮影しているかのようなモニター映像を映像作成者に返すことができる。これにより、表示制御装置は、実際の背景とアバターを合成する際等に、映像作成者の意図に沿った高品質の動画を作成させることを支援することができる。
【0110】
また、表示制御部は、モーションデータを反映させたアバターと、当該アバターの動きと関連した動きを伴う映像コンテンツとを重畳して表示するよう制御する。
【0111】
このように、表示制御装置は、表情や動きが豊かに反映されたアバターと、ゲームコンテンツ等とを重畳する処理をサポートすることで、娯楽性の高い配信動画を提供することができる。
【0112】
また、取得部は、身体情報を取得する際に、当該身体情報と同期させる音声情報を併せて取得する。表示制御部は、音声情報の取得開始時に、予め設定された表示効果をアバターに反映させる。
【0113】
このように、表示制御装置は、映像と同期する音声を収録する際に、契機となるような表示効果を与えることで、映像作成者の作業が効率的に進むよう支援することができる。
【0114】
（４．ハードウェア構成）
上述してきた各実施形態に係る表示制御装置１００や第１端末５０等の情報機器は、例えば図９に示すような構成のコンピュータ１０００によって実現される。以下、表示制御装置１００を例に挙げて説明する。図９は、表示制御装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、および入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
上述してきた各実施形態に係る表示制御装置１００や第１端末５０等の情報機器は、例えば図９に示すような構成のコンピュータ１０００によって実現される。以下、表示制御装置１００を例に挙げて説明する。図９は、表示制御装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、および入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
【0115】
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
【0116】
ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【0117】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である、本開示に係る表示制御プログラムを記録する記録媒体である。
【0118】
通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
【0119】
入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやエッジーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0120】
例えば、コンピュータ１０００が実施形態に係る表示制御装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた表示制御プログラムを実行することにより、制御部１３０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る表示制御プログラムや、記憶部１２０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
【0121】
なお、本技術は以下のような構成も取ることができる。
（１）
コンピュータを、
ユーザに装着された慣性センサから得られた慣性情報に基づき取得される、当該ユーザの身体の動きを示す情報である身体情報と、当該ユーザの表情を示す情報である表情情報と、当該ユーザの手および指の動きを示す情報である手指情報とを、それぞれ異なる端末を介して取得する取得部と、
前記取得部によって取得された情報に基づいて、当該ユーザに対応するモーションデータを生成する生成部と、
前記生成部によって生成されたモーションデータをアバターに反映する表示制御部と、
を備える表示制御装置として機能させるための表示制御プログラム。
（２）
前記生成部は、
前記慣性情報から得られる３次元座標データを用いて、前記表情情報と前記手指情報とを前記身体情報に付加することで、前記モーションデータを生成する、
前記（１）に記載の表示制御プログラム。
（３）
前記表示制御部は、
前記モーションデータを前記アバターに反映させた映像を表示するとともに、当該映像を動画データとして書き出す、
前記（１）または（２）に記載の表示制御プログラム。
（４）
前記表示制御部は、
前記モーションデータを前記アバターに反映させた映像において、任意に変更可能な仮想背景を合成する、
前記（３）に記載の表示制御プログラム。
（５）
前記取得部は、
任意の対象を撮影する際のカメラの画角の推移を示すカメラデータを取得し、
前記表示制御部は、
前記モーションデータを反映させた前記アバターを含む映像を、前記カメラデータを反映させた画角で表示するよう制御する、
前記（１）～（４）のいずれか一つに記載の表示制御プログラム。
（６）
前記表示制御部は、
前記カメラによる前記任意の対象を撮影中の第１映像と、当該撮影中の映像に対応するカメラデータを反映させた画角で前記アバターを表示した第２映像とを並列に表示するよう制御する、
前記（５）に記載の表示制御プログラム。
（７）
前記表示制御部は、
前記モーションデータを反映させた前記アバターと、当該アバターの動きと関連した動きを伴う映像コンテンツとを重畳して表示するよう制御する、
前記（１）～（６）のいずれか一つに記載の表示制御プログラム。
（８）
前記取得部は、
前記身体情報を取得する際に、当該身体情報と同期させる音声情報を併せて取得し、
前記表示制御部は、
前記音声情報の取得開始時に、予め設定された表示効果を前記アバターに反映させる、
前記（１）～（７）のいずれか一つに記載の表示制御プログラム。
（９）
ユーザに装着された慣性センサから得られた慣性情報に基づき取得される、当該ユーザの身体の動きを示す情報である身体情報と、当該ユーザの表情を示す情報である表情情報と、当該ユーザの手および指の動きを示す情報である手指情報とを、それぞれ異なる端末を介して取得する取得部と、
前記取得部によって取得された情報に基づいて、当該ユーザに対応するモーションデータを生成する生成部と、
前記生成部によって生成されたモーションデータをアバターに反映する表示制御部と、
を備える表示制御装置。
（１０）
コンピュータが、
ユーザに装着された慣性センサから得られた慣性情報に基づき取得される、当該ユーザの身体の動きを示す情報である身体情報と、当該ユーザの表情を示す情報である表情情報と、当該ユーザの手および指の動きを示す情報である手指情報とを、それぞれ異なる端末を介して取得し、
前記取得された情報に基づいて、当該ユーザに対応するモーションデータを生成し、
前記生成されたモーションデータをアバターに反映する、
ことを含む表示制御方法。
（１）
コンピュータを、
ユーザに装着された慣性センサから得られた慣性情報に基づき取得される、当該ユーザの身体の動きを示す情報である身体情報と、当該ユーザの表情を示す情報である表情情報と、当該ユーザの手および指の動きを示す情報である手指情報とを、それぞれ異なる端末を介して取得する取得部と、
前記取得部によって取得された情報に基づいて、当該ユーザに対応するモーションデータを生成する生成部と、
前記生成部によって生成されたモーションデータをアバターに反映する表示制御部と、
を備える表示制御装置として機能させるための表示制御プログラム。
（２）
前記生成部は、
前記慣性情報から得られる３次元座標データを用いて、前記表情情報と前記手指情報とを前記身体情報に付加することで、前記モーションデータを生成する、
前記（１）に記載の表示制御プログラム。
（３）
前記表示制御部は、
前記モーションデータを前記アバターに反映させた映像を表示するとともに、当該映像を動画データとして書き出す、
前記（１）または（２）に記載の表示制御プログラム。
（４）
前記表示制御部は、
前記モーションデータを前記アバターに反映させた映像において、任意に変更可能な仮想背景を合成する、
前記（３）に記載の表示制御プログラム。
（５）
前記取得部は、
任意の対象を撮影する際のカメラの画角の推移を示すカメラデータを取得し、
前記表示制御部は、
前記モーションデータを反映させた前記アバターを含む映像を、前記カメラデータを反映させた画角で表示するよう制御する、
前記（１）～（４）のいずれか一つに記載の表示制御プログラム。
（６）
前記表示制御部は、
前記カメラによる前記任意の対象を撮影中の第１映像と、当該撮影中の映像に対応するカメラデータを反映させた画角で前記アバターを表示した第２映像とを並列に表示するよう制御する、
前記（５）に記載の表示制御プログラム。
（７）
前記表示制御部は、
前記モーションデータを反映させた前記アバターと、当該アバターの動きと関連した動きを伴う映像コンテンツとを重畳して表示するよう制御する、
前記（１）～（６）のいずれか一つに記載の表示制御プログラム。
（８）
前記取得部は、
前記身体情報を取得する際に、当該身体情報と同期させる音声情報を併せて取得し、
前記表示制御部は、
前記音声情報の取得開始時に、予め設定された表示効果を前記アバターに反映させる、
前記（１）～（７）のいずれか一つに記載の表示制御プログラム。
（９）
ユーザに装着された慣性センサから得られた慣性情報に基づき取得される、当該ユーザの身体の動きを示す情報である身体情報と、当該ユーザの表情を示す情報である表情情報と、当該ユーザの手および指の動きを示す情報である手指情報とを、それぞれ異なる端末を介して取得する取得部と、
前記取得部によって取得された情報に基づいて、当該ユーザに対応するモーションデータを生成する生成部と、
前記生成部によって生成されたモーションデータをアバターに反映する表示制御部と、
を備える表示制御装置。
（１０）
コンピュータが、
ユーザに装着された慣性センサから得られた慣性情報に基づき取得される、当該ユーザの身体の動きを示す情報である身体情報と、当該ユーザの表情を示す情報である表情情報と、当該ユーザの手および指の動きを示す情報である手指情報とを、それぞれ異なる端末を介して取得し、
前記取得された情報に基づいて、当該ユーザに対応するモーションデータを生成し、
前記生成されたモーションデータをアバターに反映する、
ことを含む表示制御方法。
【符号の説明】
【0122】
１０ ＩＭＵセンサ
１５ ユーザ
３０ アバター
５０ 第１端末
６０ 第２端末
７０ 第３端末
１００ 表示制御装置
１１０ 通信部
１２０ 記憶部
１３０ 制御部
１３１ 取得部
１３１Ａ 身体情報取得部
１３１Ｂ 表情情報取得部
１３１Ｃ 手指情報取得部
１３２ 生成部
１３３ 表示制御部
１４０ 音声入力部
１４１ マイクロホン
１４２ 音声ファイル
１５０ 表示部
３００ 配信プラットフォーム
１５ ユーザ
３０ アバター
５０ 第１端末
６０ 第２端末
７０ 第３端末
１００ 表示制御装置
１１０ 通信部
１２０ 記憶部
１３０ 制御部
１３１ 取得部
１３１Ａ 身体情報取得部
１３１Ｂ 表情情報取得部
１３１Ｃ 手指情報取得部
１３２ 生成部
１３３ 表示制御部
１４０ 音声入力部
１４１ マイクロホン
１４２ 音声ファイル
１５０ 表示部
３００ 配信プラットフォーム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】