(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-02
(45)【発行日】2024-09-10
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G06T 13/40 20110101AFI20240903BHJP
G06T 19/00 20110101ALI20240903BHJP
H04N 21/2343 20110101ALI20240903BHJP
H04N 21/24 20110101ALI20240903BHJP
【FI】
G06T13/40
G06T19/00 600
H04N21/2343
H04N21/24
(21)【出願番号】P 2023024657
(22)【出願日】2023-02-20
【審査請求日】2023-03-31
【早期審査対象出願】
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】KDDI株式会社
(74)【代理人】
【識別番号】110004222
【氏名又は名称】弁理士法人創光国際特許事務所
(74)【代理人】
【識別番号】100166006
【氏名又は名称】泉 通博
(74)【代理人】
【識別番号】100154070
【氏名又は名称】久恒 京範
(74)【代理人】
【識別番号】100153280
【氏名又は名称】寺川 賢祐
(72)【発明者】
【氏名】上月 勝博
(72)【発明者】
【氏名】三功 浩嗣
【審査官】吉川 康男
(56)【参考文献】
【文献】韓国登録特許第10-2114457(KR,B1)
【文献】特開2015-230640(JP,A)
【文献】国際公開第2022/190919(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 13/40
G06T 19/00
H04N 21/2343
H04N 21/24
(57)【特許請求の範囲】
【請求項1】
第1端末の撮像部が撮像した第1人物の動作を示す第1動作情報を取得する第1端末用取得部と、
前記第1端末とは異なる複数の第2端末それぞれから、前記第1人物に対応するアバターを表示するための第2端末表示要求であって、前記第2端末を使用する視聴者のIDを含む前記第2端末表示要求と、前記アバターが配置された仮想空間において前記アバターを眺めるための仮想視点の位置であって前記視聴者が設定した前記位置を示す位置情報と、前記仮想視点からの向きであって前記視聴者が設定した前記向きを示す向き情報とを取得する第2端末用取得部と、
前記第2端末用取得部が前記第2端末表示要求を取得するごとに、当該第2端末表示要求に含まれる前記視聴者のIDに関連付けて前記アバターを生成するアバター生成部と、
前記第1動作情報に基づいて、前記アバター生成部が生成した前記アバターの動作を制御する動作制御部と、
前記動作制御部が動作を制御した前記アバターであって、前記位置情報及び向き情報に基づいて、前記仮想視点から眺めた場合の前記アバターを表示するための表示情報を生成する表示情報生成部と、
前記表示情報生成部が生成した前記表示情報を、当該表示情報によって表示される前記アバターに関連付けられている前記視聴者のIDに対応する前記第2端末に送信することにより、前記複数の第2端末それぞれに前記表示情報を送信する送信部と、
を有し、
前記第2端末用取得部は、前記第2端末の撮像部が撮像した人物であって前記第1人物とは異なる人物である第2人物の動作を示す第2動作情報と、前記第1動作情報に基づく前記アバターの動作の制御から前記第2動作情報に基づく前記アバターの動作の制御に切り替えるための動作指示情報とをさらに取得し、
前記動作制御部は、前記第2端末用取得部が前記動作指示情報を取得した場合に、前記第1動作情報に基づく前記アバターの動作の制御から、前記第2動作情報に基づく前記アバターの動作の制御に切り替
え、
前記送信部は、前記動作制御部が前記第2動作情報に基づく前記アバターの動作の制御に切り替えた後に前記表示情報生成部が生成した前記表示情報を、前記第1端末及び前記第2人物に対応する前記第2端末に送信する、
情報処理装置。
【請求項2】
前記第2端末表示要求には、複数の前記アバターの種類の中から選択された前記アバターの種類を示す種類選択情報が含まれ、
前記アバター生成部は、前記第2端末表示要求に含まれる前記種類選択情報によって示される種類の前記アバターを生成する、
請求項1に記載の情報処理装置。
【請求項3】
前記第1端末用取得部は、前記第1人物において動作する部位と、前記アバターにおいて動作させる部位との対応付けを設定するための部位設定情報をさらに取得し、
前記動作制御部は、前記第1動作情報によって示される前記第1人物の部位の動作を、前記部位設定情報において当該第1人物の部位に対応付けられている前記アバターの部位に適用する、
請求項1に記載の情報処理装置。
【請求項4】
前記第2端末表示要求には、仮想空間に前記アバターを表示させるVR(Virtual Reality)モードと、現実空間に前記アバターを表示させるAR(Augmented Reality)モードとの中から選択されたモードを示すモード選択情報が含まれ、
前記表示情報生成部は、前記VRモードが選択されたことを前記モード選択情報が示す場合、前記仮想空間に配置した前記アバターが表示された前記表示情報を生成し、前記ARモードが選択されたことを前記モード選択情報が示す場合、前記現実空間に配置した前記アバターが表示された前記表示情報を生成し、
前記送信部は、前記表示情報生成部が生成した前記表示情報を前記第2端末に送信する、
請求項1に記載の情報処理装置。
【請求項5】
前記情報処理装置は、前記第2端末に表示される前記アバターの表示品質がそれぞれ異なる複数の品質レベルの中から前記第2端末を使用するユーザが選択した選択レベル、又は前記ユーザが利用する通信サービスの利用状態に基づいて、前記複数の品質レベルの中から前記第2端末に適用する前記品質レベルを決定する決定部をさらに有し、
前記送信部は、前記決定部が決定した前記品質レベルに基づいて、前記表示情報を前記第2端末に送信する、
請求項1に記載の情報処理装置。
【請求項6】
前記情報処理装置は、前記第1端末及び前記第2端末とは異なる第3端末から、前記第2端末に表示されている前記アバターを表示するための第3端末表示要求を取得する第3端末用取得部をさらに有し、
前記第2端末用取得部は、前記第2端末から、前記表示情報に基づいて表示されている表示画像を取得し、
前記送信部は、前記第2端末用取得部が取得した表示画像を前記第3端末に送信する、
請求項1に記載の情報処理装置。
【請求項7】
コンピュータが実行する、
第1端末の撮像部が撮像した第1人物の動作を示す第1動作情報を取得するステップと、
前記第1端末とは異なる複数の第2端末それぞれから、前記第1人物に対応するアバターを表示するための第2端末表示要求であって、前記第2端末を使用する視聴者のIDを含む前記第2端末表示要求と、前記アバターが配置された仮想空間において前記アバターを眺めるための仮想視点の位置であって前記視聴者が設定した前記位置を示す位置情報と、前記仮想視点からの向きであって前記視聴者が設定した前記向きを示す向き情報とを取得するステップと、
前記第2端末表示要求を取得するごとに、当該第2端末表示要求に含まれる前記視聴者のIDに関連付けて前記アバターを生成するステップと、
前記第1動作情報に基づいて、生成した前記アバターの動作を制御するステップと、
動作を制御した前記アバターであって、前記位置情報及び向き情報に基づいて、前記仮想視点から眺めた場合の前記アバターを表示するための表示情報を生成するステップと、
生成した前記表示情報を、当該表示情報によって表示される前記アバターに関連付けられている前記視聴者のIDに対応する前記第2端末に送信することにより、前記複数の第2端末それぞれに前記表示情報を送信するステップと、
前記第2端末の撮像部が撮像した人物であって前記第1人物とは異なる人物である第2人物の動作を示す第2動作情報と、前記第1動作情報に基づく前記アバターの動作の制御から前記第2動作情報に基づく前記アバターの動作の制御に切り替えるための動作指示情報とを取得するステップと、
前記動作指示情報を取得した場合に、前記第1動作情報に基づく前記アバターの動作の制御から、前記第2動作情報に基づく前記アバターの動作の制御に切り替えるステップと、
前記第2動作情報に基づく前記アバターの動作の制御に切り替えた後に生成した前記表示情報を、前記第1端末及び前記第2人物に対応する前記第2端末に送信するステップと、
を有する情報処理方法。
【請求項8】
コンピュータを、
第1端末の撮像部が撮像した第1人物の動作を示す第1動作情報を取得する第1端末用取得部、
前記第1端末とは異なる複数の第2端末それぞれから、前記第1人物に対応するアバターを表示するための第2端末表示要求であって、前記第2端末を使用する視聴者のIDを含む前記第2端末表示要求と、前記アバターが配置された仮想空間において前記アバターを眺めるための仮想視点の位置であって前記視聴者が設定した前記位置を示す位置情報と、前記仮想視点からの向きであって前記視聴者が設定した前記向きを示す向き情報とを取得する第2端末用取得部、
前記第2端末用取得部が前記第2端末表示要求を取得するごとに、当該第2端末表示要求に含まれる前記視聴者のIDに関連付けて前記アバターを生成するアバター生成部、
前記第1動作情報に基づいて、前記アバター生成部が生成した前記アバターの動作を制御する動作制御部、
前記動作制御部が動作を制御した前記アバターであって、前記位置情報及び向き情報に基づいて、前記仮想視点から眺めた場合の前記アバターを表示するための表示情報である第1表示情報を生成する表示情報生成部、及び
前記表示情報生成部が生成した前記表示情報を、当該表示情報によって表示される前記アバターに関連付けられている前記視聴者のIDに対応する前記第2端末に送信することにより、前記複数の第2端末それぞれに前記表示情報を送信する送信部、
として機能させ、
前記第2端末用取得部は、前記第2端末の撮像部が撮像した人物であって前記第1人物とは異なる人物である第2人物の動作を示す第2動作情報と、前記第1動作情報に基づく前記アバターの動作の制御から前記第2動作情報に基づく前記アバターの動作の制御に切り替えるための動作指示情報とをさらに取得し、
前記動作制御部は、前記第2端末用取得部が前記動作指示情報を取得した場合に、前記第1動作情報に基づく前記アバターの動作の制御から、前記第2動作情報に基づく前記アバターの動作の制御に切り替
え、
前記送信部は、前記動作制御部が前記第2動作情報に基づく前記アバターの動作の制御に切り替えた後に前記表示情報生成部が生成した前記表示情報を、前記第1端末及び前記第2人物に対応する前記第2端末に送信する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
従来、人物の動きに応じて三次元モデルを制御するシステムが知られている。特許文献1には、人物の動きに応じて三次元のキャラクター(以下、「アバター」という。)が動く動画像を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記技術においては、人物の動作が反映されたアバターを視聴する複数の視聴者に対して同じ動画像しか表示されず、視聴者ごとにアバターの表示を自由に設定することができなかった。
【0005】
そこで、本発明はこれらの点に鑑みてなされたものであり、視聴者ごとにアバターの表示を設定可能にするための仕組みを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1の態様にかかる情報処理装置は、第1端末の撮像部が撮像した人物の動作を示す動作情報を取得する第1端末用取得部と、前記第1端末とは異なる第2端末から、前記人物に対応するアバターを表示するための第2端末表示要求を取得する第2端末用取得部と、前記第2端末用取得部が前記第2端末表示要求を取得するごとに、当該第2端末表示要求に基づいて、前記アバターを生成するアバター生成部と、前記動作情報に基づいて、前記アバター生成部が生成した前記アバターの動作を制御する動作制御部と、前記動作制御部が動作を制御した前記アバターを表示するための表示情報を前記第2端末に送信する送信部と、を有する。
【0007】
前記第2端末表示要求には、複数の前記アバターの種類の中から選択された前記アバターの種類を示す種類選択情報が含まれてもよいし、前記アバター生成部は、前記第2端末表示要求に含まれる前記種類選択情報によって示される種類の前記アバターを生成してもよい。
【0008】
前記第2端末用取得部は、前記送信部が前記表示情報を送信した後において、前記アバターが配置された仮想空間において前記アバターを眺めるための仮想視点の位置を示す位置情報と、前記仮想視点からの向きを示す向き情報とを前記第2端末から取得してもよいし、前記情報処理装置は、前記位置情報及び向き情報に基づいて、前記仮想視点から眺めた場合の前記アバターが表示された前記表示情報を生成する表示情報生成部をさらに有してもよいし、前記送信部は、前記表示情報生成部が生成した前記表示情報を前記第2端末に送信してもよい。
【0009】
前記第1端末用取得部は、前記人物において動作する部位と、前記アバターにおいて動作させる部位との対応付けを設定するための部位設定情報をさらに取得してもよいし、前記動作制御部は、前記動作情報によって示される前記人物の部位の動作を、前記部位設定情報において当該人物の部位に対応付けられている前記アバターの部位に適用してもよい。
【0010】
前記第2端末表示要求には、仮想空間に前記アバターを表示させるVR(Virtual Reality)モードと、現実空間に前記アバターを表示させるAR(Augmented Reality)モードとの中から選択されたモードを示すモード選択情報が含まれてもよいし、前記情報処理装置は、前記VRモードが選択されたことを前記モード選択情報が示す場合、前記仮想空間に配置した前記アバターが表示された前記表示情報を生成し、前記ARモードが選択されたことを前記モード選択情報が示す場合、前記現実空間に配置した前記アバターが表示された前記表示情報を生成する表示情報生成部をさらに有してもよいし、前記送信部は、前記表示情報生成部が生成した前記表示情報を前記第2端末に送信してもよい。
【0011】
前記情報処理装置は、前記第2端末に表示される前記アバターの表示品質がそれぞれ異なる複数の品質レベルの中から前記第2端末を使用するユーザが選択した選択レベル、又は前記ユーザが利用する通信サービスの利用状態に基づいて、前記複数の品質レベルの中から前記第2端末に適用する前記品質レベルを決定する決定部をさらに有してもよいし、前記送信部は、前記決定部が決定した前記品質レベルに基づいて、前記表示情報を前記第2端末に送信してもよい。
【0012】
前記情報処理装置は、前記第1端末及び前記第2端末とは異なる第3端末から、前記第2端末に表示されている前記アバターを表示するための第3端末表示要求を取得する第3端末用取得部をさらに有してもよいし、前記第2端末用取得部は、前記第2端末から、前記表示情報に基づいて表示されている表示画像を取得してもよいし、前記送信部は、前記第2端末用取得部が取得した表示画像を前記第3端末に送信してもよい。
【0013】
前記第2端末用取得部は、前記アバターを、前記人物の動作とは異なる他の動作をさせるための動作指示情報をさらに取得してもよいし、前記動作制御部は、前記動作指示情報に基づいて、前記アバター生成部が生成した前記アバターの動作を制御してもよい。
【0014】
本発明の第2の態様にかかる情報処理方法は、コンピュータが実行する、第1端末の撮像部が撮像した人物の動作を示す動作情報を取得するステップと、前記第1端末とは異なる第2端末から、前記人物に対応するアバターを表示するための第2端末表示要求を取得するステップと、前記第2端末表示要求を取得するごとに、当該第2端末表示要求に基づいて、前記アバターを生成するステップと、前記動作情報に基づいて、が生成した前記アバターの動作を制御するステップと、動作を制御した前記アバターを表示するための表示情報を前記第2端末に送信するステップと、を有する。
【0015】
本発明の第3の態様にかかるプログラムは、コンピュータを、第1端末の撮像部が撮像した人物の動作を示す動作情報を取得する第1端末用取得部、前記第1端末とは異なる第2端末から、前記人物に対応するアバターを表示するための第2端末表示要求を取得する第2端末用取得部、前記第2端末用取得部が前記第2端末表示要求を取得するごとに、当該第2端末表示要求に基づいて、前記アバターを生成するアバター生成部、前記動作情報に基づいて、前記アバター生成部が生成した前記アバターの動作を制御する動作制御部、及び前記動作制御部が動作を制御した前記アバターを表示するための表示情報を前記第2端末に送信する送信部、として機能させる。
【発明の効果】
【0016】
本発明によれば、視聴者ごとにアバターの表示を設定可能にするための仕組みを提供することができるという効果を奏する。
【図面の簡単な説明】
【0017】
【
図1】情報処理システムの概要を説明するための図である。
【
図2】情報処理装置の機能構成を模式的に示す図である。
【
図3】ある演者に対応するアバターが同時に提示されている複数の第2端末それぞれに表示された表示画像を模式的に表した図である。
【
図4】ある演者に対応するアバターが同時に提示されている複数の第2端末それぞれに表示された表示画像を模式的に表した図である。
【
図5】情報処理装置の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0018】
[情報処理システムSの概要]
図1は、情報処理システムSの概要を説明するための図である。情報処理システムSは、アバター提示サービスをユーザに提供するために用いられるシステムである。アバター提示サービスは、演者Pに対応するアバターを視聴者に提示するサービスであり、例えば、イベント及びレッスン等のように様々な用途で利用される。
【0019】
演者Pは、アバターを介して所定のパフォーマンスを視聴者に提供する人物(ユーザ)であり、例えば、イベントに出演する出演者、レッスンを受講する受講者等である。視聴者は、演者Pがアバターを介して行う所定のパフォーマンスを視聴するユーザであり、例えば、イベントに参加する観客、レッスンにおいて受講者を指導する指導者等である。情報処理システムSは、第1端末1と、第2端末2と、情報処理装置3とを有する。
【0020】
第1端末1は、演者Pが管理する端末である。第1端末1は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等である。第1端末1は、被写体を撮像するカメラ等の撮像部を有する。なお、撮像部は、第1端末1と電気的に接続された外部のカメラであってもよい。第1端末1は、カメラであってもよい。第1端末1は、情報処理装置3と通信可能である。
【0021】
第2端末2は、第1端末1とは異なる端末であって、視聴者が使用する端末である。第2端末2には、例えば、アバター提示サービスを利用するために用いられる専用のアプリケーションプログラムがインストールされている。第2端末2は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等である。第2端末2は、情報を表示するディスプレイ等の表示部と、視聴者の操作を受け付けるタッチパネル等の操作部とを有する。第2端末2は、情報処理装置3と通信可能である。
【0022】
情報処理装置3は、アバター表示サービスを管理する装置である。情報処理装置3は、例えば、サーバである。情報処理装置3は、第1端末1及び第2端末2と通信可能である。
以下において、情報処理システムSが実行する処理について説明する。
【0023】
まず、第1端末1は、動作情報を情報処理装置3に送信する(
図1における(1))。動作情報は、第1端末1の撮像部が撮像した演者Pの動作を示す情報であり、例えば、演者Pの全身の点群データである。動作情報は、演者Pの一部(例えば、顔、上半身、下半身など)の点群データであってもよい。
【0024】
情報処理装置3は、第2端末2から、第2端末表示要求を取得する(
図1における(2))。第2端末表示要求は、演者Pに対応するアバターを表示するための要求である。
図1に示す例において、情報処理装置3は、第2端末2a及び第2端末2bそれぞれから第2端末表示要求を取得する。
【0025】
情報処理装置3は、第2端末表示要求を取得するごとに、演者Pに対応するアバターを生成する(
図1における(3))。
図2に示す例において、情報処理装置3は、第2端末2aに対応する第1アバターと、第2端末2bに対応する第2アバターとを生成する。
【0026】
情報処理装置3は、第1端末1から取得した動作情報に基づいて、生成した各アバターの動作を制御する(
図1における(4))。
図1に示す例において、情報処理装置3は、第1端末1から取得した動作情報に基づいて、第1アバター及び第2アバターそれぞれの動作を制御する。
【0027】
そして、情報処理装置3は、動作を制御したアバターを表示するための表示情報を第2端末2に送信する(
図1における(5))。表示情報は、例えば、アバターを含む表示画像である。
図1に示す例において、情報処理装置3は、動作を制御した第1アバターを表示するための第1表示情報を第2端末2aに送信し、動作を制御した第2アバターを表示するための第2表示情報を第2端末2bに送信する。
【0028】
その後、第2端末2は、情報処理装置3から表示情報を取得すると、当該表示情報に基づいて、動作が制御されたアバターを表示する。
図1に示す例において、第2端末2aは、第1表示情報に基づいて、動作が制御された第1アバターであるアバターA1を表示する。また、第2端末2bは、第2表示情報に基づいて、動作が制御された第2アバターであるアバターA2を表示する。
【0029】
このようにすることで、情報処理システムSは、視聴者ごとに、当該視聴者用のアバターを提示することができる。これにより、情報処理システムSは、ある視聴者が当該視聴者用のアバターの表示を設定(例えば、アバターの外見の設定、アングルの設定等)しても、当該視聴者が設定した内容が他の視聴者用のアバターの表示に反映されることを防ぐことができる。その結果、情報処理システムSは、複数の視聴者それぞれが視聴者ごとにアバターの表示を設定可能にするための仕組みを提供することができる。
【0030】
上記において、第1端末1と第2端末2とは異なる端末である例を説明したが、これに限らない。例えば、第1端末1は、第2端末2が有する機能を有し、アバターを表示させてもよい。このように、第1端末1が当該演者Pの動作に応じて制御されているアバターを表示させることにより、演者Pは、動作が制御されているアバターを確認しながら、パフォーマンスを行うことができる。
以下、情報処理装置3の構成について説明する。
【0031】
[情報処理装置3の構成]
図2は、情報処理装置3の機能構成を模式的に示す図である。情報処理装置3は、通信部31と、記憶部32と、制御部33とを備える。
図2において、矢印は主なデータの流れを示しており、
図2に示していないデータの流れがあってもよい。
図2において、各機能ブロックはハードウェア(装置)単位の構成ではなく、機能単位の構成を示している。そのため、
図2に示す機能ブロックは単一の装置内に実装されてもよく、あるいは複数の装置内に分かれて実装されてもよい。機能ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてもよい。
【0032】
通信部31は、ネットワークに接続するための通信インターフェースであり、外部の端末及び外部のサーバからデータを受信するための通信コントローラを有する。
【0033】
記憶部32は、情報処理装置3を実現するコンピュータのBIOS(Basic Input Output System)等を格納するROM(Read Only Memory)や情報処理装置3の作業領域となるRAM(Random Access Memory)、OS(Operating System)やアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される種々の情報を格納するHDD(Hard Disk Drive)やSSD(Solid State Drive)等の大容量記憶装置である。
【0034】
記憶部32は、アバター提示サービスを利用するユーザに関する情報を記憶している。ユーザに関する情報には、例えば、ユーザのID、ユーザの名前等が含まれる。
【0035】
制御部33は、情報処理装置3のCPU(Central Processing Unit)やGPU(Graphics Processing Unit)等のプロセッサであり、記憶部32に記憶されたプログラムを実行することによって、第1端末用取得部331、第2端末用取得部332、アバター生成部333、動作制御部334、表示情報生成部335、送信部336、決定部337及び第3端末用取得部338として機能する。
【0036】
第1端末用取得部331は、第1端末1の撮像部が撮像した演者Pの動作を示す動作情報を取得する。例えば、まず、第1端末1は、動作する演者Pの撮像画像(例えば動画像)を撮像部で撮像すると、当該動画像のフレームごとにフレーム画像を不図示のデータ生成サーバに送信する。データ生成サーバは、第1端末1から取得したフレーム画像に基づいて、点群データを生成する。そして、第1端末用取得部331は、フレーム画像ごとに、データ生成サーバが生成した点群データを動作情報として取得する。
【0037】
なお、第1端末1は、データ生成サーバの機能を有し、撮像部が撮像した撮像画像に基づいて点群データを生成してもよい。また、第1端末用取得部331は、データ生成サーバの機能を有し、第1端末1から取得した撮像画像に基づいて点群データを生成することにより、動作情報を取得してもよい。
【0038】
第1端末用取得部331は、動作情報をアバターのIDに関連付けて取得してもよい。アバターのIDは、演者P又は当該演者Pに対応するアバターを識別するためのユーザのIDである。
【0039】
第2端末用取得部332は、第2端末2から、演者Pに対応するアバターを表示するための第2端末表示要求を取得する。具体的には、第2端末用取得部332は、複数の第2端末2それぞれから第2端末表示要求を取得する。例えば、第2端末表示要求には、アバターのIDと、視聴者のIDとが含まれる。視聴者のIDは、視聴者を識別するためのユーザのIDである。
【0040】
例えば、まず、視聴者が第2端末2においてアバター提示サービスを提供するサイトにアクセスする操作を行うと、第2端末2は、提示可能な一以上のアバターの一覧が表示された一覧画面を表示する。視聴者が第2端末2に表示された一覧画面においてアバターを選択する操作を行うと、第2端末2は、視聴者が選択したアバターのIDと、当該視聴者のIDとを含む第2端末表示要求を送信する。そして、第2端末用取得部332は、第2端末2から第2端末表示要求を取得する。
【0041】
アバター生成部333は、第2端末用取得部332が第2端末表示要求を取得するごとに、当該第2端末表示要求に基づいて、アバターを生成する。具体的には、アバター生成部333は、第2端末用取得部332が第2端末表示要求を取得するごとに、当該第2端末表示要求を送信した第2端末2に対応するアバターを生成する。
【0042】
アバター生成部333は、例えば、第2端末用取得部332が取得した第2端末表示要求を送信した第2端末2に対応するインスタンスを生成することにより、アバターを生成する。インスタンスは、例えば、第2端末表示要求を送信した第2端末2に対して当該第2端末表示要求に含まれるアバターのIDに対応するアバターを提示するために生成される領域である。インスタンスには、アバターを含む画像をレンダリングするための情報が含まれ、例えば、形、色、大きさ等のアバターの外見を構成するための情報が含まれる。
【0043】
情報処理装置3は、アバターをVR又はARで提示可能であり、アバターがVRで提示される場合、インスタンスには、アバターが配置された仮想空間において当該アバターを眺めるための仮想視点の位置及び向きを示す情報、及びアバター以外のオブジェクト(例えば背景等)を構成するための情報等がさらに含まれてもよい。また、アバターがARで提示される場合、インスタンスには、アバターが配置される現実空間の位置を示す情報がさらに含まれてもよい。アバター生成部333は、例えば、第2端末表示要求に含まれるアバターのID及び視聴者のIDに関連付けてインスタンスを生成する。
【0044】
動作制御部334は、動作情報に基づいて、アバター生成部333が生成したアバターの動作を制御する。具体的には、動作制御部334は、アバター生成部333が生成したアバターごとに、第2端末表示要求に含まれるアバターのIDに対応する当該アバターに対して、第1端末用取得部331が第2端末表示要求に含まれるアバターのIDに関連付けて取得した動作情報によって示される演者Pの動作を反映させることにより、アバターの動作を制御する。
【0045】
動作制御部334は、例えば、アバター生成部333が生成したインスタンスごとに、当該インスタンスに含まれるアバターに対して、第1端末用取得部331が当該インスタンスに関連付けられているアバターのIDに関連付けて取得した動作情報によって示される演者Pの動作を反映させる。動作制御部334は、例えば、既知の技術を用いて、動作情報によって示される演者Pの動作をアバターに反映する。
【0046】
動作制御部334は、例えば、リアルタイムに演者Pの動作をアバターに反映させる。具体的には、動作制御部334は、第1端末用取得部331が取得した動作情報によって示される演者Pの動作と、アバターの動作とを同期させる。動作制御部334は、例えば、第1端末用取得部331が新たな動作情報を取得するごとに、当該新たな動作情報によって示される演者Pの動作をアバターに反映させる。
【0047】
送信部336は、動作制御部334が動作を制御したアバターを表示するための表示情報を第2端末2に送信する。具体的には、情報処理装置3は、以下の2つのステップを実行することにより、表示情報を第2端末2に送信する。
【0048】
第1のステップとして、表示情報生成部335は、アバター生成部333が生成したアバターごとに、動作制御部334が動作を制御した当該アバターを表示するための表示情報を生成する。表示情報生成部335は、例えば、アバター生成部333が生成したインスタンスごとに、当該インスタンスに含まれる情報に基づいて、当該インスタンスにおいて動作制御部334が動作情報に基づいて動作を制御したアバターを含む画像をレンダリングすることにより、表示情報を生成する。
【0049】
第2のステップとして、送信部336は、表示情報生成部335が生成した表示情報ごとに、当該表示情報を当該表示情報に対応する第2端末2に送信する。具体的には、送信部336は、表示情報生成部335が生成した表示情報を、当該表示情報に基づくインスタンスに関連付けられている視聴者のIDに対応する第2端末2に送信する。送信部336は、例えば、表示情報生成部335がレンダリングするごとに、当該レンダリングに対応する表示情報を第2端末2に送信する。
【0050】
情報処理装置3は、視聴者ごとに、当該視聴者による設定に応じたアバターを提示する。情報処理装置3は、例えば、仮想空間にアバターを表示させるVRモードと、現実空間にアバターを表示させるARモードとの中から視聴者が選択したモードでアバターを提示する。具体的には、情報処理装置3は、以下の3つのステップを実行することにより、視聴者が選択したモードでアバターを提示する。
【0051】
第1のステップとして、第2端末用取得部332は、モード選択情報を含む第2端末表示要求を取得する。モード選択情報は、VRモードとARモードとの中から選択されたモードを示す情報である。例えば、アバターの一覧画面には、VRモード及びARモードのいずれかを選択するための選択項目が設けられており、視聴者が当該選択項目においていずれかのモードを選択すると、第2端末2は、視聴者が選択したモードを示すモード選択情報を含む第2端末表示要求を情報処理装置3に送信する。
【0052】
第2のステップとして、表示情報生成部335は、VRモードが選択されたことをモード選択情報が示す場合、仮想空間に配置したアバターが表示された表示情報を生成する。表示情報生成部335は、例えば、所定の仮想視点(例えば、予め定められた仮想視点)から眺めた場合におけるアバター及び他のオブジェクト(例えば、背景を構成するオブジェクト等)が表示された表示画像を表示情報として生成する。
【0053】
表示情報生成部335は、ARモードが選択されたことをモード選択情報が示す場合、現実空間に配置したアバターが表示された表示情報を生成する。例えば、まず、第2端末2は、視聴者がアバターの一覧画面においてアバター及びARモードを選択した後に、撮像部が撮像した撮像画像を表示部に表示させる。撮像画像が表示された第2端末2の表示部において、視聴者がアバターを配置したい位置を指定する操作(例えば、表示部においてアバターを配置したい位置に対応する箇所をタップする操作)を行うと、第2端末2は、当該第2端末2が存在する存在位置と、視聴者が指定した指定位置との関係を示す位置関係情報(例えば、距離、各位置の位置座標等)を情報処理装置3に送信する。そして、第2端末用取得部332が位置関係情報を取得すると、表示情報生成部335は、当該位置関係情報に基づいて、第2端末2の存在位置を視点として、指定位置に配置したアバターが表示された表示画像を表示情報として生成する。
【0054】
第3のステップとして、送信部336は、表示情報生成部335が生成した表示情報を第2端末2に送信する。その後、第2端末2は、情報処理装置3から取得した表示情報に基づくアバターが表示された表示画像を表示部に表示させる。例えば、視聴者がVRモードを選択した場合、第2端末2は、情報処理装置3から取得した表示画像を表示部に表示させる。また、例えば、視聴者がARモードを選択した場合、第2端末2は、情報処理装置3から取得した表示画像を、撮像部が撮像した撮像画像に重畳して表示部に表示させる。このようにすることで、情報処理装置3は、視聴者が希望するモードでアバターを提示することができる。
【0055】
情報処理装置3は、視聴者が設定した種類のアバターを提示してもよい。アバターの種類は、例えば、人、動物、ロボット等である。具体的には、情報処理装置3は、以下の3つのステップを実行することにより、視聴者が設定した種類のアバターを提示する。
【0056】
第1のステップとして、第2端末用取得部332は、種類選択情報を含む第2端末表示要求を取得する。種類選択情報は、複数のアバターの種類の中から選択されたアバターの種類を示す情報である。例えば、アバターの一覧画面には、アバターの種類を選択するための選択項目が設けられており、視聴者が第2端末2に表示されたアバターの一覧画面において選択項目から1つのアバターの種類を選択する操作を行うと、第2端末2は、視聴者が選択したアバターの種類を示す種類選択情報をさらに含む第2端末表示要求を情報処理装置3に送信する。
【0057】
第2のステップとして、アバター生成部333は、第2端末用取得部332が取得した第2端末表示要求に含まれる種類選択情報によって示される種類のアバターを生成する。アバター生成部333は、例えば、第2端末用取得部332が取得した第2端末表示要求に含まれる種類選択情報によって示される種類のアバターの外見を構成するための情報をインスタンスに格納する。
【0058】
第3のステップとして、送信部336は、アバター生成部333が生成したアバターであって、第2端末表示要求に含まれる種類選択情報によって示される種類のアバターを表示するための表示情報を第2端末2に送信する。その後、第2端末2は、情報処理装置3から取得した表示情報に基づくアバターが表示された表示画像を表示部に表示させる。
【0059】
図3は、ある演者Pに対応するアバターが同時に提示されている複数の第2端末2それぞれに表示された表示画像を模式的に表した図である。
図3(a)に示す図は、例えば、2つの第2端末2のうちの一方の第2端末2に表示された表示画面を示す。
図3(a)に示す例においては、一方の第2端末2を使用する視聴者が選択したアバターの種類として「人」の外見をしたアバターA3が表示されている。
【0060】
図3(b)に示す図は、例えば、2つの第2端末2のうちの他方の第2端末2に表示された表示画面を示す。
図3(b)に示す例においては、他方の第2端末2を使用する視聴者が選択したアバターの種類として「犬」の外見をしたアバターA4が表示されている。このようにすることで、情報処理装置3は、視聴者ごとに当該視聴者が選択した種類のアバターを提示することができる。
【0061】
ここで、情報処理装置3が、動物、ロボット等のように人以外の種類のアバターを視聴者に提示する場合、演者Pにおいて動作する部位(例えば、腕、足等)と、アバターにおいて動作させる部位(例えば、アバターの種類が「犬」である場合における前足、後ろ足、しっぽ等)とを対応付けすることが望ましい。そこで、情報処理装置3は、演者Pの部位の動作を、当該演者Pの部位に対応付けたアバターの部位に適用してもよい。
【0062】
具体的には、まず、第1端末用取得部331は、演者Pにおいて動作する部位と、アバターにおいて動作させる部位との対応付けを設定するための部位設定情報をさらに取得する。部位設定情報は、例えば、演者Pにおいて動作する部位と、当該演者Pの部位に対応付けるアバターの部位とを関連付けた情報である。部位設定情報は、例えば、演者Pによってアバターの種類ごとに設定される。そして、動作制御部334は、動作情報によって示される演者Pの部位の動作を、第1端末用取得部331が取得した部位設定情報において当該人物の部位に対応付けられているアバターの部位に適用する。このようにすることで、情報処理装置3は、アバターの種類に応じて演者Pが所望する動作をさせることができる。
【0063】
情報処理装置3は、視聴者がVRモードを選択した場合、当該視聴者が設定したアングルでアバターを提示してもよい。具体的には、情報処理装置3は、以下の3つのステップを実行することにより、視聴者が設定したアングルでアバターを提示する。
【0064】
第1のステップとして、第2端末用取得部332は、送信部336が表示情報を送信した後において、アバターが配置された仮想空間においてアバターを眺めるための仮想視点の位置を示す位置情報と、当該仮想視点からの向きを示す向き情報とを第2端末2から取得する。例えば、第2端末2においてアバターが表示された表示画面には、アングルを操作するためのコントローラが設けられており、視聴者がコントローラを介してアングルを変える操作を行うと、第2端末2は、変えられたアングルに対応する位置情報及び向き情報を情報処理装置3に送信する。
【0065】
第2のステップとして、表示情報生成部335は、第2端末用取得部332が取得した位置情報及び向き情報に基づいて、仮想視点から眺めた場合のアバターが表示された表示情報を生成する。例えば、まず、表示情報生成部335は、インスタンスに含まれる位置情報及び向き情報を、第2端末用取得部332が取得した位置情報及び向き情報に更新する。そして、表示情報生成部335は、位置情報及び向き情報を更新した後のインスタンスに含まれる情報に基づいて、当該インスタンスにおいて動作制御部334が動作情報に基づいて動作を制御したアバターを含む画像をレンダリングすることにより、表示情報を生成する。
【0066】
第3のステップとして、送信部336は、表示情報生成部335が生成した表示情報を第2端末2に送信する。
図4は、ある演者Pに対応するアバターが同時に提示されている複数の第2端末2それぞれに表示された表示画像を模式的に表した図である。
【0067】
図4(a)に示す図は、例えば、2つの第2端末2のうちの一方の第2端末2に表示された表示画面を示す。
図4(a)に示す例においては、アバターの正面に位置する仮想視点V1からアバターを眺めた場合におけるアバターA5が表示されている。
【0068】
図4(b)に示す図は、例えば、2つの第2端末2のうちの他方の第2端末2に表示された表示画面を示す。
図4(b)に示す例においては、アバターの側面に位置する仮想視点V2からアバターを眺めた場合におけるアバターA6が表示されている。このようにすることで、情報処理装置3は、視聴者が希望するアングルのアバターを提示することができる。
【0069】
情報処理装置3は、視聴者に応じた品質でアバターを提示してもよい。具体的には、情報処理装置3は、以下の2つのステップを実行することにより、視聴者に応じた品質でアバターを提示する。
【0070】
第1のステップとして、決定部337は、複数の品質レベルの中から第2端末2に適用する視聴者に応じた品質レベルを決定する。品質レベルは、第2端末2に表示されるアバターの表示品質であり、例えば、アバターの表示画像の画素数、アバターの表示画像のフレームレート等である。情報処理装置3には、例えば、「高」、「中」、「低」等のように、アバターの表示品質がそれぞれ異なる複数の品質レベルが設定されている。
【0071】
具体的には、決定部337は、第2端末2を使用する視聴者が選択した選択レベルに基づいて、第2端末2に適用する品質レベルを決定する。例えば、まず、第2端末用取得部332は、複数の品質レベルの中から視聴者が選択した選択レベルを示すレベル情報を含む第2端末表示要求を取得する。そして、決定部337は、第2端末用取得部332が取得した第2端末表示要求に含まれるレベル情報によって示される選択レベルを、第2端末2に適用する品質レベルとして決定する。
【0072】
決定部337は、視聴者が利用する通信サービスの利用状態に基づいて、第2端末2に適用する品質レベルを決定してもよい。例えば、情報処理装置3を管理する管理者は、通信サービスを提供する通信事業者であり、記憶部32には、通信サービスを利用する利用者に関する情報が記憶されている。利用者に関する情報には、例えば、利用者のID、利用者による通信サービスの利用履歴、利用者が契約している通信サービスの利用プラン等が含まれる。
【0073】
この場合において、決定部337は、記憶部32に記憶されている利用者に関する情報によって特定される視聴者が利用する通信サービスの利用状態に基づいて、第2端末2に適用する品質レベルを決定する。決定部337は、例えば、視聴者が通信サービスを利用している場合、第2端末2に適用する品質レベルを高く決定し、視聴者が通信サービスを利用していない場合、第2端末2に適用する品質レベルを低く決定する。
【0074】
また、決定部337は、通信サービスを利用している視聴者の利用履歴によって特定される通信サービスの利用度合い(例えば、視聴者が利用した通信量、又は視聴者が支払った金額等)が高いほど、第2端末2に適用する品質レベルを高く決定し、通信サービスの利用度合いが低いほど、第2端末2に適用する品質レベルを低く決定してもよい。決定部337は、例えば、通信サービスの利用度合いが予め定められた基準の利用閾値(例えば、予め定められた通信量又は予め定められた金額)を超える場合に、第2端末2に適用する品質レベルを高く決定し、通信サービスの利用度合いが利用閾値を超えない場合に、第2端末2に適用する品質レベルを低く決定する。
【0075】
また、決定部337は、通信サービスを利用している視聴者の利用プランが上位のプラン(例えば、金額が高いプラン)であるほど、第2端末2に適用する品質レベルを高く決定し、視聴者の利用プランが下位のプラン(例えば、金額が安いプラン)であるほど、第2端末2に適用する品質レベルを低く決定してもよい。決定部337は、例えば、視聴者の利用プランが予め定められた基準のプラン閾値(例えば、予め定められたプラン)よりも上位のプランである場合に、第2端末2に適用する品質レベルを高く決定し、視聴者の利用プランがプラン閾値より上位のプランではない場合に、第2端末2に適用する品質レベルを低く決定する。
【0076】
第2のステップとして、送信部336は、決定部337が決定した品質レベルに基づいて、表示情報を第2端末2に送信する。例えば、品質レベルがアバターの表示画像の画素数である場合、送信部336は、表示情報生成部335が決定された品質レベルに基づいて生成した表示情報を第2端末2に送信する。例えば、品質レベルごとに画素数が定められており、表示情報生成部335は、決定部337が決定した品質レベルに対応する画素数で表示画像を生成する。
【0077】
例えば、品質レベルがアバターの表示画像のフレームレートである場合、送信部336は、表示情報生成部335が決定された品質レベルに基づいて生成した表示情報を第2端末2に送信する。例えば、品質レベルごとにフレームレートが定められており、表示情報生成部335は、決定部337が決定した品質レベルに対応するフレームレートで表示画像を生成する。このようにすることで、情報処理装置3は、視聴者に応じた品質レベルでアバターを提示することができる。
【0078】
情報処理装置3は、アバターが表示されている第2端末2の表示部に表示されている表示画像を、当該第2端末2とは異なる他の第2端末2(以下、「第3端末」という。)に提示してもよい。表示画像は、VRモードにおける表示情報生成部335が生成した表示画像、又はARモードにおける表示情報生成部335が生成した表示画像と第2端末2の撮像部が撮像した撮像画像とを重畳した画像である。具体的には、情報処理装置3は、以下の3つのステップを実行することにより、第2端末2の表示画像を第3端末に提示する。
【0079】
第1のステップとして、第3端末用取得部338は、第3端末から、第2端末2に表示されているアバターを表示するための第3端末表示要求を取得する。第3端末表示要求には、第2端末2の視聴者のIDが含まれる。例えば、アバターの一覧画面には、当該アバターを視聴している視聴者(第2端末2の視聴者)を示す情報(例えば、視聴者の名前等)がさらに表示されており、第3端末の視聴者が第2端末2の視聴者を選択する操作を行うと、第3端末は、第3端末の視聴者が選択した第2端末2の視聴者のIDを含む第3端末表示要求を情報処理装置3に送信する。
【0080】
第2のステップとして、第2端末用取得部332は、第2端末2から、表示情報に基づいて表示されている表示画像を取得する。具体的には、第2端末用取得部332は、第3端末用取得部338が取得した第3端末用表示要求に含まれる視聴者のIDに対応する第2端末2から、表示情報に基づいて表示されている表示画像を取得する。
【0081】
第3のステップとして、送信部336は、第2端末用取得部332が取得した表示画像を第3端末に送信する。このようにすることで、情報処理装置3は、ある第2端末2に表示されているアバターを含む表示画像を当該第2端末2の視聴者とは異なる他の視聴者に共有させることができる。
【0082】
情報処理装置3は、アバターが表示されている第2端末2の表示部に表示されている表示画像を、当該第2端末2の視聴者が設定した設定条件を満たす第3端末に提示してもよい。設定条件は、例えば、第2端末2の表示部に表示されている表示画面の共有を許可するか否か、当該表示画面を共有する共有範囲等である。共有範囲は、例えば、アバター提示サービスがフレンドを登録する機能を有する場合における第2端末2の視聴者のフレンドまで(第2端末2の視聴者がフレンドとして登録されている他の視聴者まで)、又はn階層の他の視聴者まで(例えば、共有範囲として2階層の他の視聴者までと設定されている場合、第2端末2の視聴者のフレンド(第1階層の他の視聴者)のフレンド(第2階層の他の視聴者)まで)等である。
【0083】
この場合において、情報処理装置3は、例えば、第3端末に表示させるアバターの一覧画面において、当該第3端末がアバターを表示している第2端末2の視聴者の設定条件を満たす場合に、当該第2端末2の視聴者を示す情報をさせる。
【0084】
ところで、アバター提示サービスがレッスンの用途で用いられる場合、視聴者である指導者は、演者Pのパフォーマンスを視聴するだけではなく、演者Pにパフォーマンスを指導し得る。この場合、指導者が指導する動作をアバターに反映させて、演者Pにフィードバックさせることが望ましい。
【0085】
そこで、情報処理装置3は、指導者の指示に応じてアバターの動作を制御してもよい。この場合、例えば、第1端末1は、第2端末2の機能(アバターを表示させる機能)を有し、第2端末2は、第1端末1の機能(指導者の動作を示す情報を送信する機能)を有する。具体的には、情報処理装置3は、以下の2つのステップを実行することにより、指導者の指示に応じてアバターの動作を制御する。
【0086】
第1のステップとして、第2端末用取得部332は、アバターを、演者Pの動作とは異なる他の動作をさせるための動作指示情報をさらに取得する。例えば、アバターが表示された表示画面には、第1端末1の動作情報に基づくアバターの動作の制御と、第2端末2の動作情報に基づくアバターの動作の制御とを切り替える切り替えボタンが設けられており、指導者が第2端末2において切り替えボタンを押下する操作を行うと、第2端末2は、動作指示情報を情報処理装置3に送信する。その後、第2端末2は、指導者の動作を示す動作情報を情報処理装置3に送信する。
【0087】
第2のステップとして、動作制御部334は、動作指示情報に基づいて、アバター生成部が生成したアバターの動作を制御する。動作制御部334は、例えば、第2端末2の動作情報に基づいてアバターの動作を制御することを動作指示情報が示す場合に、第2端末用取得部332が第2端末2から取得した動作情報に基づいて、アバターの動作を制御する。その後、送信部336は、動作制御部334が第2端末2の動作情報に基づいて動作を制御したアバターを表示するための表示情報を第1端末1及び第2端末2に送信する。
【0088】
[情報処理装置3の処理]
続いて、情報処理装置3の処理の流れについて説明する。
図5は、情報処理装置3の処理の流れを示すフローチャートである。第1端末用取得部331は、フレーム画像ごとに当該フレーム画像に対応する動画情報を取得している。この場合において、本処理は、第2端末用取得部332が複数の第2端末2それぞれから第2端末表示要求を取得したことを契機として開始する(S1)。
【0089】
アバター生成部333は、第2端末用取得部332が第2端末表示要求を取得するごとに、当該第2端末表示要求に基づいて、アバターを生成する(S2)。動作制御部334は、アバター生成部333が生成したアバターごとに、第1端末用取得部331が取得した最新の動作情報に基づいて当該アバターの動作を制御する(S3)。
【0090】
表示情報生成部335は、アバター生成部333が生成したアバターごとに、動作制御部334が動作を制御した当該アバターを表示するための表示情報を生成する(S4)。そして、送信部336は、表示情報生成部335が生成した表示情報ごとに、当該表示情報を当該表示情報に対応する第2端末2に送信する(S5)。
【0091】
[本実施の形態における効果]
以上説明したとおり、情報処理装置3は、第2端末2から第2端末表示要求を取得するごとに、当該第2端末表示要求に基づいてアバターを生成し、動作情報に基づいて動作を制御したアバターを表示するための表示情報を第2端末2に送信する。このようにすることで、情報処理装置3は、視聴者ごとに、当該視聴者用のアバターを提示することができる。これにより、情報処理装置3は、ある視聴者が当該視聴者用のアバターの表示を設定しても、当該視聴者が設定した内容が他の視聴者用のアバターの表示に反映されることを防ぐことができる。その結果、情報処理装置3は、複数の視聴者それぞれが視聴者ごとにアバターの表示を設定可能にするための仕組みを提供することができる。
【0092】
なお、本発明により、国連が主導する持続可能な開発目標(SDGs)の目標9「産業と技術革新の基盤をつくろう」に貢献することが可能となる。
【0093】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
【符号の説明】
【0094】
1 第1端末
2 第2端末
3 情報処理装置
31 通信部
32 記憶部
33 制御部
331 第1端末用取得部
332 第2端末用取得部
333 アバター生成部
334 動作制御部
335 表示情報生成部
336 送信部
337 決定部
338 第3端末用取得部
S 情報処理システム