(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024118303
(43)【公開日】2024-08-30
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G06T 13/40 20110101AFI20240823BHJP
H04N 21/266 20110101ALI20240823BHJP
【FI】
G06T13/40
H04N21/266
【審査請求】有
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023024658
(22)【出願日】2023-02-20
(11)【特許番号】
(45)【特許公報発行日】2024-01-26
(71)【出願人】
【識別番号】000208891
【氏名又は名称】KDDI株式会社
(74)【代理人】
【識別番号】110004222
【氏名又は名称】弁理士法人創光国際特許事務所
(74)【代理人】
【識別番号】100166006
【弁理士】
【氏名又は名称】泉 通博
(74)【代理人】
【識別番号】100154070
【弁理士】
【氏名又は名称】久恒 京範
(74)【代理人】
【識別番号】100153280
【弁理士】
【氏名又は名称】寺川 賢祐
(72)【発明者】
【氏名】上月 勝博
(72)【発明者】
【氏名】三功 浩嗣
【テーマコード(参考)】
5B050
5C164
【Fターム(参考)】
5B050BA09
5B050BA12
5B050CA07
5B050DA04
5B050FA05
5C164MA03S
5C164PA39
5C164SB02S
5C164SB41S
5C164SC01P
5C164YA12
(57)【要約】
【課題】アバターを編集する仕組みを提供する。
【解決手段】情報処理装置4は、所定のイベントに出演するアバターの動きを演じる演者が使用する演者端末から、演者端末に接続されている所定のセンサによって検出された演者の動作を示す動作情報を取得する第1取得部441と、第1取得部441が取得した動作情報に基づいて、アバターの動作を制御する動作制御部442と、所定のイベントを管理するイベント管理端末から、アバターを編集する編集内容を示す編集情報を取得する第2取得部443と、動作制御部442が動作を制御したアバターを、第2取得部443が取得した編集情報によって示される編集内容で表示するための表示情報を生成する表示情報生成部444と、表示情報生成部444が生成した表示情報を、所定のイベントを視聴する視聴者が使用する視聴者端末に送信する送信部446と、を有する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
所定のイベントに出演するアバターの動きを演じる演者が使用する演者端末から、前記演者端末に接続されている所定のセンサによって検出された前記演者の動作を示す動作情報を取得する第1取得部と、
前記第1取得部が取得した前記動作情報に基づいて、前記アバターの動作を制御する動作制御部と、
前記所定のイベントを管理するイベント管理端末から、前記アバターを編集する編集内容を示す編集情報を取得する第2取得部と、
前記動作制御部が動作を制御した前記アバターを、前記第2取得部が取得した前記編集情報によって示される前記編集内容で表示するための表示情報を生成する表示情報生成部と、
前記表示情報生成部が生成した前記表示情報を、前記所定のイベントを視聴する視聴者が使用する視聴者端末に送信する送信部と、
を有する情報処理装置。
【請求項2】
前記送信部は、前記表示情報生成部が生成した前記表示情報を、複数の前記視聴者端末に配信する、
請求項1に記載の情報処理装置。
【請求項3】
前記動作制御部は、前記第1取得部が取得した前記動作情報によって示される前記演者の動作と、前記アバターの動作とを同期させ、
前記表示情報生成部は、前記動作制御部が前記演者の動作と同期させている前記アバターを、前記第2取得部が取得した前記編集情報によって示される前記編集内容で表示するための前記表示情報を生成する、
請求項1に記載の情報処理装置。
【請求項4】
前記情報処理装置は、前記視聴者端末に表示される前記アバターの表示品質がそれぞれ異なる複数の品質レベルの中から前記視聴者が選択した選択レベル、又は前記視聴者が利用する通信サービスの利用状態に基づいて、前記複数の品質レベルの中から前記視聴者端末に適用する前記品質レベルを決定する決定部をさらに有し、
前記送信部は、前記決定部が決定した前記品質レベルに基づいて、前記表示情報を送信する、
請求項1から3のいずれか一項に記載の情報処理装置。
【請求項5】
前記第1取得部は、前記動作情報を、前記演者を識別するための演者識別情報に関連付けて取得し、
前記第2取得部は、指定された前記演者に対応する前記演者識別情報を含む前記編集情報を取得し、
前記表示情報生成部は、前記第2取得部が取得した前記編集情報に含まれる前記演者識別情報によって特定される前記アバターを表示するための前記表示情報を生成する、
請求項1から3のいずれか一項に記載の情報処理装置。
【請求項6】
前記編集情報は、前記アバターを配置する仮想空間の位置を示す位置情報を含み、
前記表示情報生成部は、前記位置情報によって特定される仮想空間の位置に配置した前記アバターを表示するための前記表示情報を生成する、
請求項1から3のいずれか一項に記載の情報処理装置。
【請求項7】
前記編集情報は、前記アバターの外見を示す外見情報を含み、
前記表示情報生成部は、前記外見情報によって示される外見の前記アバターを表示するための前記表示情報を生成する、
請求項1から3のいずれか一項に記載の情報処理装置。
【請求項8】
前記編集情報は、前記演者において動作する部位と、前記アバターにおいて動作させる部位との対応付けを設定するための部位設定情報を含み、
前記動作制御部は、前記動作情報によって示される前記演者の部位の動作を、前記部位設定情報において当該演者の部位に対応付けられている前記アバターの部位に適用する、
請求項1から3のいずれか一項に記載の情報処理装置。
【請求項9】
コンピュータが実行する、
所定のイベントに出演するアバターの動きを演じる演者が使用する演者端末から、前記演者端末に接続されている所定のセンサによって検出された前記演者の動作を示す動作情報を取得するステップと、
取得した前記動作情報に基づいて、前記アバターの動作を制御するステップと、
前記所定のイベントを管理するイベント管理端末から、前記アバターを編集する編集内容を示す編集情報を取得するステップと、
動作を制御した前記アバターを、取得した前記編集情報によって示される前記編集内容で表示するための表示情報を生成するステップと、
生成した前記表示情報を、前記所定のイベントを視聴する視聴者が使用する視聴者端末に送信するステップと、
を有する情報処理方法。
【請求項10】
コンピュータを、
所定のイベントに出演するアバターの動きを演じる演者が使用する演者端末から、前記演者端末に接続されている所定のセンサによって検出された前記演者の動作を示す動作情報を取得する第1取得部、
前記第1取得部が取得した前記動作情報に基づいて、前記アバターの動作を制御する動作制御部、
前記所定のイベントを管理するイベント管理端末から、前記アバターを編集する編集内容を示す編集情報を取得する第2取得部、
前記動作制御部が動作を制御した前記アバターを、前記第2取得部が取得した前記編集情報によって示される前記編集内容で表示するための表示情報を生成する表示情報生成部、及び
前記表示情報生成部が生成した前記表示情報を、前記所定のイベントを視聴する視聴者が使用する視聴者端末に送信する送信部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
従来、人物の動きに応じて三次元モデルを制御するシステムが知られている。特許文献1には、人物の動きに応じて三次元のキャラクター(以下、「アバター」という。)が動く動画像を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記技術においては、予め設定されている情報(アバターの三次元情報やアバターの背景の三次元情報等)に基づいて動画像が生成されるため、例えば、アバターが出演するイベントの状況に応じてアバターを編集することができなかった。
【0005】
そこで、本発明はこれらの点に鑑みてなされたものであり、アバターを編集する仕組みを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1の態様にかかる情報処理装置は、所定のイベントに出演するアバターの動きを演じる演者が使用する演者端末から、前記演者端末に接続されている所定のセンサによって検出された前記演者の動作を示す動作情報を取得する第1取得部と、前記第1取得部が取得した前記動作情報に基づいて、前記アバターの動作を制御する動作制御部と、前記所定のイベントを管理するイベント管理端末から、前記アバターを編集する編集内容を示す編集情報を取得する第2取得部と、前記動作制御部が動作を制御した前記アバターを、前記第2取得部が取得した前記編集情報によって示される前記編集内容で表示するための表示情報を生成する表示情報生成部と、前記表示情報生成部が生成した前記表示情報を、前記所定のイベントを視聴する視聴者が使用する視聴者端末に送信する送信部と、を有する。
【0007】
前記送信部は、前記表示情報生成部が生成した前記表示情報を、複数の前記視聴者端末に配信してもよい。
【0008】
前記動作制御部は、前記第1取得部が取得した前記動作情報によって示される前記演者の動作と、前記アバターの動作とを同期させてもよいし、前記表示情報生成部は、前記動作制御部が前記演者の動作と同期させている前記アバターを、前記第2取得部が取得した前記編集情報によって示される前記編集内容で表示するための前記表示情報を生成してもよい。
【0009】
前記情報処理装置は、前記視聴者端末に表示される前記アバターの表示品質がそれぞれ異なる複数の品質レベルの中から前記視聴者が選択した選択レベル、又は前記視聴者が利用する通信サービスの利用状態に基づいて、前記複数の品質レベルの中から前記視聴者端末に適用する前記品質レベルを決定する決定部をさらに有してもよいし、前記送信部は、前記決定部が決定した前記品質レベルに基づいて、前記表示情報を送信してもよい。
【0010】
前記第1取得部は、前記動作情報を、前記演者を識別するための演者識別情報に関連付けて取得してもよいし、前記第2取得部は、指定された前記演者に対応する前記演者識別情報を含む前記編集情報を取得してもよいし、前記表示情報生成部は、前記第2取得部が取得した前記編集情報に含まれる前記演者識別情報によって特定される前記アバターを表示するための前記表示情報を生成してもよい。
【0011】
前記編集情報は、前記アバターを配置する仮想空間の位置を示す位置情報を含んでもよいし、前記表示情報生成部は、前記位置情報によって特定される仮想空間の位置に配置した前記アバターを表示するための前記表示情報を生成してもよい。
【0012】
前記編集情報は、前記アバターの外見を示す外見情報を含んでもよいし、前記表示情報生成部は、前記外見情報によって示される外見の前記アバターを表示するための前記表示情報を生成してもよい。
【0013】
前記編集情報は、前記演者において動作する部位と、前記アバターにおいて動作させる部位との対応付けを設定するための部位設定情報を含んでもよいし、前記動作制御部は、前記動作情報によって示される前記演者の部位の動作を、前記部位設定情報において当該演者の部位に対応付けられている前記アバターの部位に適用してもよい。
【0014】
本発明の第2の態様にかかる情報処理方法は、コンピュータが実行する、所定のイベントに出演するアバターの動きを演じる演者が使用する演者端末から、前記演者端末に接続されている所定のセンサによって検出された前記演者の動作を示す動作情報を取得するステップと、取得した前記動作情報に基づいて、前記アバターの動作を制御するステップと、前記所定のイベントを管理するイベント管理端末から、前記アバターを編集する編集内容を示す編集情報を取得するステップと、動作を制御した前記アバターを、取得した前記編集情報によって示される前記編集内容で表示するための表示情報を生成するステップと、生成した前記表示情報を、前記所定のイベントを視聴する視聴者が使用する視聴者端末に送信するステップと、を有する。
【0015】
本発明の第3の態様にかかるプログラムは、コンピュータを、所定のイベントに出演するアバターの動きを演じる演者が使用する演者端末から、前記演者端末に接続されている所定のセンサによって検出された前記演者の動作を示す動作情報を取得する第1取得部、前記第1取得部が取得した前記動作情報に基づいて、前記アバターの動作を制御する動作制御部、前記所定のイベントを管理するイベント管理端末から、前記アバターを編集する編集内容を示す編集情報を取得する第2取得部、前記動作制御部が動作を制御した前記アバターを、前記第2取得部が取得した前記編集情報によって示される前記編集内容で表示するための表示情報を生成する表示情報生成部、及び前記表示情報生成部が生成した前記表示情報を、前記所定のイベントを視聴する視聴者が使用する視聴者端末に送信する送信部、として機能させる。
【発明の効果】
【0016】
本発明によれば、アバターを編集する仕組みを提供することができるという効果を奏する。
【図面の簡単な説明】
【0017】
【
図1】情報処理システムの概要を説明するための図である。
【
図2】情報処理装置の機能構成を模式的に示す図である。
【
図3】情報処理装置が表示情報を生成する処理を模式的に表した図である。
【
図4】情報処理装置の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0018】
[情報処理システムSの概要]
図1は、情報処理システムSの概要を説明するための図である。情報処理システムSは、アバター提示サービスをユーザに提供するために用いられるシステムである。アバター提示サービスは、演者Pに対応するアバターをイベント管理者が編集した内容で視聴者に提示するサービスである。
【0019】
演者Pは、例えば、所定のイベントに出演するアバターの動きを演じる人物(ユーザ)である。イベント管理者は、例えば、アバターが出演する所定のイベントを管理するユーザであり、アバターを編集するユーザである。視聴者は、例えば、所定のイベントを視聴するユーザである。情報処理システムSは、演者端末1と、視聴者端末2と、イベント管理端末3と、情報処理装置4とを有する。
【0020】
演者端末1は、演者Pが管理(使用)する端末である。演者端末1は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等である。演者端末1には、所定のセンサが接続されている。所定のセンサは、演者Pの動作を検出するためのセンサであり、例えば、被写体を撮像するカメラである。演者端末1は、情報処理装置4と通信可能である。
【0021】
視聴者端末2は、視聴者が使用する端末である。視聴者端末2には、例えば、アバター提示サービスを利用するために用いられる専用のアプリケーションプログラムがインストールされている。視聴者端末2は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等である。視聴者端末2は、情報を表示するディスプレイ等の表示部と、視聴者の操作を受け付けるタッチパネル、コントローラ、キーボード等の操作部とを有する。視聴者端末2は、情報処理装置4と通信可能である。
【0022】
イベント管理端末3は、所定のイベントを管理する端末であり、例えば、イベント管理者が使用する端末である。イベント管理端末3は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等である。イベント管理端末3は、情報を表示するディスプレイ等の表示部と、イベント管理者の操作を受け付けるタッチパネル、コントローラ、キーボード等の操作部とを有する。イベント管理端末3は、情報処理装置4と通信可能である。
【0023】
情報処理装置4は、アバター表示サービスを管理する装置である。情報処理装置4は、例えば、サーバである。情報処理装置4は、演者端末1、視聴者端末2及びイベント管理端末3と通信可能である。
以下において、情報処理システムSが実行する処理について説明する。
【0024】
まず、演者端末1は、動作情報を情報処理装置4に送信する(
図1における(1))。動作情報は、演者端末1に接続されている所定のセンサによって検出された演者Pの動作を示す情報であり、例えば、演者Pの全身の点群データである。動作情報は、演者Pの一部(例えば、顔、上半身、下半身など)の点群データであってもよい。所定のセンサは、例えば、カメラであるが、演者Pの動作を検出可能なセンサであればいずれであってもよい。
【0025】
イベント管理端末3は、編集情報を情報処理装置4に送信する(
図1における(2))。編集情報は、アバターを編集する編集内容を示す情報である。編集情報は、例えば、アバターを特定するための情報、仮想空間に配置するアバターの位置を示す情報、及びアバターの外見を示す情報等が含まれる。例えば、イベント管理者がイベント管理端末3においてアバターを編集する操作を行うと、イベント管理端末3は、イベント管理者が操作した編集内容を示す編集情報を情報処理装置4に送信する。
【0026】
情報処理装置4は、演者端末1から取得した動作情報と、イベント管理端末3から取得した編集情報とに基づいて、表示情報を生成する(
図1における(3))。表示情報は、動作情報に基づいて動作を制御したアバターを、編集情報によって示される編集内容で表示するための情報であり、例えば、アバターを含む表示画像である。
【0027】
そして、情報処理装置4は、生成した表示情報を視聴者端末2に送信する(
図1における(4))。その後、視聴者端末2は、情報処理装置4から表示情報を取得すると、当該表示情報に基づいて、アバターを表示する。
【0028】
このようにすることで、情報処理システムSは、イベント管理者による編集内容を、動作を制御しているアバターに反映させることができる。これにより、情報処理システムSは、イベント管理者による編集内容に応じたアバターを視聴者に提示することができる。その結果、情報処理システムSは、アバターを編集する仕組みを提供することができる。
以下、情報処理装置4の構成について説明する。
【0029】
[情報処理装置4の構成]
図2は、情報処理装置4の機能構成を模式的に示す図である。情報処理装置4は、通信部41と、記憶部42と、制御部43とを備える。
図2において、矢印は主なデータの流れを示しており、
図2に示していないデータの流れがあってもよい。
図2において、各機能ブロックはハードウェア(装置)単位の構成ではなく、機能単位の構成を示している。そのため、
図2に示す機能ブロックは単一の装置内に実装されてもよく、あるいは複数の装置内に分かれて実装されてもよい。機能ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてもよい。
【0030】
通信部41は、ネットワークに接続するための通信インターフェースであり、外部の端末及び外部のサーバからデータを受信するための通信コントローラを有する。
【0031】
記憶部42は、情報処理装置4を実現するコンピュータのBIOS(Basic Input Output System)等を格納するROM(Read Only Memory)や情報処理装置4の作業領域となるRAM(Random Access Memory)、OS(Operating System)やアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される種々の情報を格納するHDD(Hard Disk Drive)やSSD(Solid State Drive)等の大容量記憶装置である。
【0032】
記憶部42は、アバター提示サービスを利用するユーザに関する情報を記憶している。ユーザに関する情報には、例えば、ユーザのID、ユーザの名前等が含まれる。
【0033】
制御部43は、情報処理装置4のCPU(Central Processing Unit)やGPU(Graphics Processing Unit)等のプロセッサであり、記憶部42に記憶されたプログラムを実行することによって、第1取得部441、動作制御部442、第2取得部443、表示情報生成部444、第3取得部445、送信部446及び決定部447として機能する。
【0034】
第1取得部441は、一以上の演者端末1それぞれから、演者端末1に接続されている所定のセンサによって検出された演者Pの動作を示す動作情報を取得する。例えば、まず、演者端末1は、所定のセンサにおいて所定の間隔で演者Pの動作を検出すると、演者Pの動作を検出するごとに、検出した演者Pの動作を示す検出情報(例えば動画像におけるフレーム画像)を不図示のデータ生成サーバに送信する。データ生成サーバは、演者端末1から取得した検出情報に基づいて、点群データを生成する。そして、第1取得部441は、検出情報ごとに、データ生成サーバが当該検出情報に基づいて生成した点群データを動作情報として取得する。
【0035】
なお、演者端末1は、データ生成サーバの機能を有し、所定のセンサが検出した検出情報に基づいて点群データを生成してもよい。また、第1取得部441は、データ生成サーバの機能を有し、演者端末1から取得した検出情報に基づいて点群データを生成することにより、動作情報を取得してもよい。
【0036】
第1取得部441は、動作情報を演者PのIDに関連付けて取得してもよい。演者PのIDは、演者Pを識別するための演者識別情報(ユーザのID)である。
【0037】
動作制御部442は、第1取得部441が取得した動作情報に基づいて、アバターの動作を制御する。具体的には、動作制御部442は、第1取得部441が取得した動作情報によって示される演者Pの動作をアバターに反映させることにより、アバターの動作を制御する。動作制御部442は、例えば、既知の技術を用いて、動作情報によって示される演者Pの動作をアバターに反映させる。
【0038】
表示情報生成部444は、第1取得部441が取得した動作情報と、アバターを編集する編集内容を示す編集情報とに基づいて、表示情報を生成する。具体的には、まず、第2取得部443は、イベント管理端末3から編集情報を取得する。そして、表示情報生成部444は、動作制御部442が動作情報に基づいて動作を制御したアバターを、第2取得部443がイベント管理端末3から取得した編集情報によって示される編集内容で表示するための表示情報を生成する。
【0039】
表示情報生成部444は、例えば、イベント管理者が指定した演者Pに対応するアバターを表示するための表示情報を生成する。具体的には、まず、第2取得部443は、指定された演者Pに対応する演者PのIDを含む編集情報を取得する。そして、表示情報生成部444は、第2取得部443が取得した編集情報に含まれる演者PのIDによって特定されるアバター(演者Pに対応するアバター)を表示するための表示情報を生成する。このようにすることで、情報処理装置4は、イベント管理者が指定した演者Pに対応するアバターを視聴者に提示することができる。
【0040】
表示情報生成部444は、仮想空間においてイベント管理者が設定した位置に配置したアバターを表示するための表示情報を生成してもよい。具体的には、まず、第2取得部443は、アバターの位置情報を含む編集情報を取得する。位置情報は、アバターを配置する仮想空間の位置を示す情報である。そして、表示情報生成部444は、第2取得部443が取得した編集情報に含まれる位置情報によって特定される仮想空間の位置に配置したアバターを表示するための表示情報を生成する。このようにすることで、情報処理装置4は、イベント管理者が指定した仮想空間の位置に配置してアバターを視聴者に提示することができる。
【0041】
表示情報生成部444は、イベント管理者が設定した外見でアバターを表示するための表示情報を生成してもよい。具体的には、まず、第2取得部443は、アバターの外見情報を含む編集情報を取得する。外見情報は、アバターの外見を示す情報である。外見情報は、例えば、アバターの種類(人、動物、ロボット等)、衣装、サイズ等である。表示情報生成部444は、第2取得部443が取得した編集情報に含まれる外見情報によって示される外見のアバターを表示するための表示情報を生成する。このようにすることで、情報処理装置4は、イベント管理者が指定した外見でアバターを視聴者に提示することができる。
【0042】
ここで、情報処理装置4が、動物、ロボット等のように人以外の種類のアバターを視聴者に提示する場合、演者Pにおいて動作する部位(例えば、腕、足等)と、アバターにおいて動作させる部位(例えば、アバターの種類が「犬」である場合における前足、後ろ足、しっぽ等)とを対応付けすることが望ましい。そこで、情報処理装置4は、演者Pの部位の動作を、当該演者Pの部位に対応付けたアバターの部位に適用してもよい。
【0043】
具体的には、まず、第2取得部443は、部位設定情報を含む編集情報を取得する。部位設定情報は、演者Pにおいて動作する部位と、アバターにおいて動作させる部位との対応付けを設定するための情報である。そして、表示情報生成部444は、動作制御部442が、動作情報によって示される演者Pの部位の動作を、第2取得部443が取得した編集情報に含まれる部位設定情報において当該演者Pの部位に対応付けられているアバターの部位に適用したアバターを表示するための表示情報を生成する。このようにすることで、情報処理装置4は、アバターの種類に応じてイベント管理者が所望する動作をさせることができる。
【0044】
表示情報生成部444は、リアルタイムに演者Pの動作が反映されたアバターを含む表示情報を生成してもよい。具体的には、まず、動作制御部442は、第1取得部441が取得した動作情報によって示される演者Pの動作と、アバターの動作とを同期させる。動作制御部442は、例えば、第1取得部441が新たな動作情報を取得するごとに、当該動作情報によって示される演者Pの動作をアバターの動作に反映させる。
【0045】
そして、表示情報生成部444は、動作制御部442が演者Pの動作と同期させているアバターを、第2取得部443が取得した編集情報によって示される編集内容で表示するための表示情報を生成する。このようにすることで、情報処理装置4は、リアルタイムに演者Pの動作が反映されたアバターを、リアルタイムにイベント管理者が編集した編集内容で視聴者に提示することができる。
【0046】
表示情報生成部444は、イベント管理者が設定したアングル(アバターを眺めるための仮想視点)、イベント管理者が編集したアバターの背景を含む編集内容に基づく表示情報を生成してもよい。
【0047】
送信部446は、表示情報生成部444が生成した表示情報を、視聴者端末2に送信する。具体的には、送信部446は、表示情報生成部444が生成した表示情報を、複数の視聴者端末2に配信する。
【0048】
より具体的には、まず、第3取得部445は、複数の視聴者端末2それぞれから表示要求を取得する。そして、送信部446は、第3取得部445が取得した表示要求に基づいて、表示情報生成部444が生成した表示情報を、複数の視聴者端末2それぞれに送信する。その後、複数の視聴者端末2は、それぞれ表示情報に基づく表示画像を表示部に表示させる。
【0049】
図3は、情報処理装置4が表示情報を生成する処理を模式的に表した図である。
図3(a)は、動作情報によって示される演者Pの動作を模式的に表した図である。
図3(a)に示す例においては、第1の演者端末1から取得された動作情報によって示される演者P1の動作と、第2の演者端末1から取得された動作情報によって示される演者P2の動作とを表している。
【0050】
図3(b)は、イベント管理者が編集した編集内容を模式的に表した図である。
図3(b)に示す例においては、イベント管理者が指定した演者P1に対応するアバターA1と、イベント管理者が指定した演者P2に対応するアバターA2とが表されている。また、
図3(b)に示す例においては、仮想空間である空間Vにおいてイベント管理者が設定した位置に配置された各アバターが、イベント管理者が編集した外見で表されている。
【0051】
図3(c)は、表示情報に基づいて表示されるアバターを模式的に表した図である。
図3(c)に示す例においては、
図3(a)に示す各演者Pの動作が反映された各アバターが、
図3(b)に示す編集内容で表されている。また、
図3(c)に示す例においては、イベント管理者が設定したアングル(仮想視点の位置及び向き)で眺めた場合における各アバターが表されている。
【0052】
ここで、情報処理装置4は、第1の編集内容でアバターを視聴者に提示した後に、第2の編集内容でアバターを視聴者に提示してもよい。第2の編集内容は、イベント管理者が第1の編集内容から変更した他の編集内容であり、例えば、アバター(演者P)、仮想空間におけるアバターの位置、アバターの外見、アバターの背景、アングルのうちの少なくともいずれかが第1の編集内容とは異なる内容である。
【0053】
具体的には、まず、第2取得部443は、送信部446が第1の編集内容を示す第1編集情報に基づく表示情報を視聴者端末2に送信した後において、イベント管理端末3から、第2の編集内容を示す第2編集情報を取得する。そして、送信部446は、第2編集情報に基づいて生成された表示情報を視聴者端末2に送信する。このようにすることで、情報処理装置4は、例えば、イベントの状況に応じて編集されたアバターを含む空間を視聴者に提示することができる。
【0054】
情報処理装置4は、視聴者に応じた品質でアバターを提示してもよい。具体的には、情報処理装置4は、以下の2つのステップを実行することにより、視聴者に応じた品質でアバターを提示する。
【0055】
第1のステップとして、決定部447は、複数の品質レベルの中から視聴者端末2に適用する視聴者に応じた品質レベルを決定する。品質レベルは、視聴者端末2に表示されるアバターの表示品質であり、例えば、アバターの表示画像の画素数、アバターの表示画像のフレームレート等である。情報処理装置4には、例えば、「高」、「中」、「低」等のように、アバターの表示品質がそれぞれ異なる複数の品質レベルが設定されている。
【0056】
具体的には、決定部447は、視聴者端末2を使用する視聴者が選択した選択レベルに基づいて、視聴者端末2に適用する品質レベルを決定する。例えば、まず、第3取得部445は、複数の品質レベルの中から視聴者が選択した選択レベルを示すレベル情報を含む表示要求を取得する。そして、決定部447は、第3取得部445が取得した表示要求に含まれるレベル情報によって示される選択レベルを、視聴者端末2に適用する品質レベルとして決定する。
【0057】
決定部447は、視聴者が利用する通信サービスの利用状態に基づいて、視聴者端末2に適用する品質レベルを決定してもよい。例えば、情報処理装置4を管理する管理者は、通信サービスを提供する通信事業者であり、記憶部42には、通信サービスを利用する利用者に関する情報が記憶されている。利用者に関する情報には、例えば、利用者のID、利用者による通信サービスの利用履歴、利用者が契約している通信サービスの利用プラン等が含まれる。
【0058】
この場合において、決定部447は、記憶部42に記憶されている利用者に関する情報によって特定される視聴者が利用する通信サービスの利用状態に基づいて、視聴者端末2に適用する品質レベルを決定する。決定部447は、例えば、視聴者が通信サービスを利用している場合、視聴者端末2に適用する品質レベルを高く決定し、視聴者が通信サービスを利用していない場合、視聴者端末2に適用する品質レベルを低く決定する。
【0059】
また、決定部447は、通信サービスを利用している視聴者の利用履歴によって特定される通信サービスの利用度合い(例えば、視聴者が利用した通信量、又は視聴者が支払った金額等)が高いほど、視聴者端末2に適用する品質レベルを高く決定し、通信サービスの利用度合いが低いほど、視聴者端末2に適用する品質レベルを低く決定してもよい。決定部447は、例えば、通信サービスの利用度合いが予め定められた基準の利用閾値(例えば、予め定められた通信量又は予め定められた金額)を超える場合に、視聴者端末2に適用する品質レベルを高く決定し、通信サービスの利用度合いが利用閾値を超えない場合に、視聴者端末2に適用する品質レベルを低く決定する。
【0060】
また、決定部447は、通信サービスを利用している視聴者の利用プランが上位のプラン(例えば、金額が高いプラン)であるほど、視聴者端末2に適用する品質レベルを高く決定し、視聴者の利用プランが下位のプラン(例えば、金額が安いプラン)であるほど、視聴者端末2に適用する品質レベルを低く決定してもよい。決定部447は、例えば、視聴者の利用プランが予め定められた基準のプラン閾値(例えば、予め定められたプラン)よりも上位のプランである場合に、視聴者端末2に適用する品質レベルを高く決定し、視聴者の利用プランがプラン閾値より上位のプランではない場合に、視聴者端末2に適用する品質レベルを低く決定する。
【0061】
第2のステップとして、送信部446は、決定部447が決定した品質レベルに基づいて、表示情報を送信する。例えば、表示情報生成部444は、品質レベルごとに当該品質レベルに対応する表示情報を生成しており、送信部446は、決定部447が決定した品質レベルに対応する表示情報を視聴者端末2に送信する。このようにすることで、情報処理装置4は、視聴者に応じた品質レベルでアバターを提示することができる。
【0062】
[情報処理装置4の処理]
続いて、情報処理装置4の処理の流れについて説明する。
図4は、情報処理装置4の処理の流れを示すフローチャートである。第1取得部441は、演者端末1が演者Pの動作を検出するごと、演者端末1から動作情報を取得している。この場合において、本処理は、第2取得部443が、イベント管理端末3から編集情報を取得したことを契機として開始する(S1)。
【0063】
表示情報生成部444は、第1取得部441が演者端末1から取得した動作情報と、第2取得部443がイベント管理端末3から取得した編集情報とに基づいて、表示情報を生成する(S2)。
【0064】
第3取得部445は、視聴者端末2から表示要求を取得する(S3)。そして、送信部446は、第3取得部445が取得した表示要求に基づいて、表示情報生成部444が生成した表示情報を視聴者端末2に送信する(S4)。その後、視聴者端末2は、表示情報に基づく表示画像を表示部に表示させる。
【0065】
[本実施の形態における効果]
以上説明したとおり、情報処理装置4は、動作情報に基づいて動作を制御したアバターを、編集情報によって示される編集内容で表示するための表示情報を生成し、生成した表示情報を視聴者端末2に送信する。このようにすることで、情報処理装置4は、イベント管理者による編集内容を、動作を制御しているアバターに反映させることができる。これにより、情報処理装置4は、イベント管理者による編集内容に応じたアバターを視聴者に提示することができる。その結果、情報処理装置4は、アバターを編集する仕組みを提供することができる。
【0066】
なお、本発明により、国連が主導する持続可能な開発目標(SDGs)の目標9「産業と技術革新の基盤をつくろう」に貢献することが可能となる。
【0067】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
【符号の説明】
【0068】
1 演者端末
2 視聴者端末
3 イベント管理端末
4 情報処理装置
41 通信部
42 記憶部
43 制御部
441 第1取得部
442 動作制御部
443 第2取得部
444 表示情報生成部
445 第3取得部
446 送信部
447 決定部
S 情報処理システム
【手続補正書】
【提出日】2023-08-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
所定のイベントに出演するアバターの動きを演じる演者が使用する演者端末から、前記演者端末に接続されている所定のセンサが前記演者の動作を検出するごとに、検出された前記演者の動作を示す動作情報を取得する第1取得部と、
前記第1取得部が前記動作情報を取得するごとに、当該動作情報によって示される前記演者の動作と、前記アバターの動作とを同期させることにより、前記アバターの動作を制御する動作制御部と、
前記所定のイベントを管理するイベント管理端末から、前記アバターを編集する第1編集内容を示す第1編集情報を取得する第2取得部と、
前記動作制御部が前記演者の動作と同期させている前記アバターを、前記第2取得部が取得した前記第1編集情報によって示される前記第1編集内容で表示するための第1表示情報を生成する表示情報生成部と、
前記表示情報生成部が前記第1表示情報を生成するごとに、生成された前記第1表示情報を、前記所定のイベントを視聴する視聴者が使用する視聴者端末に送信する送信部と、
を有し、
前記第2取得部は、前記送信部が前記第1表示情報を前記視聴者端末に送信した後に、前記第1編集内容から変更された第2編集内容を示す第2編集情報を取得し、
前記表示情報生成部は、前記動作制御部が前記演者の動作と同期させている前記アバターを、前記第2取得部が取得した前記第2編集情報によって示される前記第2編集内容で表示するための第2表示情報を生成し、
前記送信部は、前記表示情報生成部が前記第2表示情報を生成するごとに、生成された前記第2表示情報を前記視聴者端末に送信する、
情報処理装置。
【請求項2】
前記送信部は、前記表示情報生成部が生成した前記第1表示情報と、前記表示情報生成部が生成した前記第2表示情報とを、複数の前記視聴者端末に配信する、
請求項1に記載の情報処理装置。
【請求項3】
前記情報処理装置は、前記視聴者端末に表示される前記アバターの表示品質がそれぞれ異なる複数の品質レベルの中から前記視聴者が選択した選択レベル、又は前記視聴者が利用する通信サービスの利用状態に基づいて、前記複数の品質レベルの中から前記視聴者端末に適用する前記品質レベルを決定する決定部をさらに有し、
前記送信部は、前記決定部が決定した前記品質レベルに基づいて、前記表示情報生成部が生成した前記第1表示情報と、前記表示情報生成部が生成した前記第2表示情報とを送信する、
請求項1又は2に記載の情報処理装置。
【請求項4】
前記第1取得部は、前記動作情報を、前記演者を識別するための演者識別情報に関連付けて取得し、
前記第2取得部は、指定された前記演者に対応する前記演者識別情報を含む前記第1編集情報と、指定された前記演者に対応する前記演者識別情報を含む前記第2編集情報とを取得し、
前記表示情報生成部は、前記第2取得部が取得した前記第1編集情報に含まれる前記演者識別情報によって特定される前記アバターを表示するための前記第1表示情報と、前記第2取得部が取得した前記第2編集情報に含まれる前記演者識別情報によって特定される前記アバターを表示するための前記第2表示情報とを生成する、
請求項1又は2に記載の情報処理装置。
【請求項5】
前記第1編集情報及び前記第2編集情報は、前記アバターを配置する仮想空間の位置を示す位置情報を含み、
前記表示情報生成部は、前記位置情報によって特定される仮想空間の位置に配置した前記アバターを表示するための前記第1表示情報と、前記位置情報によって特定される仮想空間の位置に配置した前記アバターを表示するための前記第2表示情報とを生成する、
請求項1又は2に記載の情報処理装置。
【請求項6】
前記第1編集情報及び前記第2編集情報は、前記アバターの外見を示す外見情報を含み、
前記表示情報生成部は、前記外見情報によって示される外見の前記アバターを表示するための前記第1表示情報と、前記外見情報によって示される外見の前記アバターを表示するための前記第2表示情報とを生成する、
請求項1又は2に記載の情報処理装置。
【請求項7】
前記第1編集情報及び前記第2編集情報は、前記演者において動作する部位と、前記アバターにおいて動作させる部位との対応付けを設定するための部位設定情報を含み、
前記動作制御部は、前記動作情報によって示される前記演者の部位の動作を、前記部位設定情報において当該演者の部位に対応付けられている前記アバターの部位に適用する、
請求項1又は2に記載の情報処理装置。
【請求項8】
コンピュータが実行する、
所定のイベントに出演するアバターの動きを演じる演者が使用する演者端末から、前記演者端末に接続されている所定のセンサが前記演者の動作を検出するごとに、検出された前記演者の動作を示す動作情報を取得するステップと、
前記動作情報を取得するごとに、当該動作情報によって示される前記演者の動作と、前記アバターの動作とを同期させることにより、前記アバターの動作を制御するステップと、
前記所定のイベントを管理するイベント管理端末から、前記アバターを編集する第1編集内容を示す第1編集情報を取得するステップと、
前記演者の動作と同期させている前記アバターを、取得した前記第1編集情報によって示される前記第1編集内容で表示するための第1表示情報を生成するステップと、
前記第1表示情報を生成するごとに、生成された前記第1表示情報を、前記所定のイベントを視聴する視聴者が使用する視聴者端末に送信するステップと、
前記第1表示情報を前記視聴者端末に送信した後に、前記第1編集内容から変更された第2編集内容を示す第2編集情報を取得するステップと、
前記演者の動作と同期させている前記アバターを、取得した前記第2編集情報によって示される前記第2編集内容で表示するための第2表示情報を生成するステップと、
前記第2表示情報を生成するごとに、生成された前記第2表示情報を前記視聴者端末に送信するステップと、
を有する情報処理方法。
【請求項9】
コンピュータを、
所定のイベントに出演するアバターの動きを演じる演者が使用する演者端末から、前記演者端末に接続されている所定のセンサが前記演者の動作を検出するごとに、検出された前記演者の動作を示す動作情報を取得する第1取得部、
前記第1取得部が前記動作情報を取得するごとに、当該動作情報によって示される前記演者の動作と、前記アバターの動作とを同期させることにより、前記アバターの動作を制御する動作制御部、
前記所定のイベントを管理するイベント管理端末から、前記アバターを編集する第1編集内容を示す第1編集情報を取得する第2取得部、
前記動作制御部が前記演者の動作と同期させている前記アバターを、前記第2取得部が取得した前記第1編集情報によって示される前記第1編集内容で表示するための第1表示情報を生成する表示情報生成部、及び
前記表示情報生成部が前記第1表示情報を生成するごとに、生成された前記第1表示情報を、前記所定のイベントを視聴する視聴者が使用する視聴者端末に送信する送信部、
として機能させ、
前記第2取得部は、前記送信部が前記第1表示情報を前記視聴者端末に送信した後に、前記第1編集内容から変更された第2編集内容を示す第2編集情報を取得し、
前記表示情報生成部は、前記動作制御部が前記演者の動作と同期させている前記アバターを、前記第2取得部が取得した前記第2編集情報によって示される前記第2編集内容で表示するための第2表示情報を生成し、
前記送信部は、前記表示情報生成部が前記第2表示情報を生成するごとに、生成された前記第2表示情報を前記視聴者端末に送信する、
プログラム。
【手続補正書】
【提出日】2023-11-30
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
所定のイベントに出演するアバターの動きを演じる演者が使用する演者端末から、前記演者端末に接続されている所定のセンサが前記演者の動作を検出するごとに、検出された前記演者の動作を示す動作情報を取得する第1取得部と、
前記第1取得部が前記動作情報を取得するごとに、当該動作情報によって示される前記演者の動作と、前記アバターの動作とを同期させることにより、前記アバターの動作を制御する動作制御部と、
前記所定のイベントを管理するイベント管理者が使用するイベント管理端末から、前記イベント管理者が前記アバターを編集した第1編集内容を示す第1編集情報を取得する第2取得部と、
前記動作制御部が前記演者の動作と同期させている前記アバターを、前記第2取得部が取得した前記第1編集情報によって示される前記第1編集内容で表示するための第1表示情報を生成する表示情報生成部と、
前記表示情報生成部が前記第1表示情報を生成するごとに、生成された前記第1表示情報を、前記所定のイベントを視聴する視聴者が使用する視聴者端末に送信する送信部と、
を有し、
前記第2取得部は、前記送信部が前記第1表示情報を前記視聴者端末に送信した後に、前記イベント管理者が前記第1編集内容から変更した第2編集内容を示す第2編集情報を取得し、
前記表示情報生成部は、前記動作制御部が前記演者の動作と同期させている前記アバターを、前記第2取得部が取得した前記第2編集情報によって示される前記第2編集内容で表示するための第2表示情報を生成し、
前記送信部は、前記表示情報生成部が前記第2表示情報を生成するごとに、生成された前記第2表示情報を前記視聴者端末に送信する、
情報処理装置。
【請求項2】
前記送信部は、前記表示情報生成部が生成した前記第1表示情報と、前記表示情報生成部が生成した前記第2表示情報とを、複数の前記視聴者端末に配信する、
請求項1に記載の情報処理装置。
【請求項3】
前記情報処理装置は、前記視聴者端末に表示される前記アバターの表示品質がそれぞれ異なる複数の品質レベルの中から前記視聴者が選択した選択レベル、又は前記視聴者が利用する通信サービスの利用状態に基づいて、前記複数の品質レベルの中から前記視聴者端末に適用する前記品質レベルを決定する決定部をさらに有し、
前記送信部は、前記決定部が決定した前記品質レベルに基づいて、前記表示情報生成部が生成した前記第1表示情報と、前記表示情報生成部が生成した前記第2表示情報とを送信する、
請求項1又は2に記載の情報処理装置。
【請求項4】
前記第1取得部は、前記動作情報を、前記演者を識別するための演者識別情報に関連付けて取得し、
前記第2取得部は、指定された前記演者に対応する前記演者識別情報を含む前記第1編集情報と、指定された前記演者に対応する前記演者識別情報を含む前記第2編集情報とを取得し、
前記表示情報生成部は、前記第2取得部が取得した前記第1編集情報に含まれる前記演者識別情報によって特定される前記アバターを表示するための前記第1表示情報と、前記第2取得部が取得した前記第2編集情報に含まれる前記演者識別情報によって特定される前記アバターを表示するための前記第2表示情報とを生成する、
請求項1又は2に記載の情報処理装置。
【請求項5】
前記第1編集情報及び前記第2編集情報は、前記アバターを配置する仮想空間の位置を示す位置情報を含み、
前記表示情報生成部は、前記位置情報によって特定される仮想空間の位置に配置した前記アバターを表示するための前記第1表示情報と、前記位置情報によって特定される仮想空間の位置に配置した前記アバターを表示するための前記第2表示情報とを生成する、
請求項1又は2に記載の情報処理装置。
【請求項6】
前記第1編集情報及び前記第2編集情報は、前記アバターの外見を示す外見情報を含み、
前記表示情報生成部は、前記外見情報によって示される外見の前記アバターを表示するための前記第1表示情報と、前記外見情報によって示される外見の前記アバターを表示するための前記第2表示情報とを生成する、
請求項1又は2に記載の情報処理装置。
【請求項7】
前記第1編集情報及び前記第2編集情報は、前記演者において動作する部位と、前記アバターにおいて動作させる部位との対応付けを設定するための部位設定情報を含み、
前記動作制御部は、前記動作情報によって示される前記演者の部位の動作を、前記部位設定情報において当該演者の部位に対応付けられている前記アバターの部位に適用する、
請求項1又は2に記載の情報処理装置。
【請求項8】
コンピュータが実行する、
所定のイベントに出演するアバターの動きを演じる演者が使用する演者端末から、前記演者端末に接続されている所定のセンサが前記演者の動作を検出するごとに、検出された前記演者の動作を示す動作情報を取得するステップと、
前記動作情報を取得するごとに、当該動作情報によって示される前記演者の動作と、前記アバターの動作とを同期させることにより、前記アバターの動作を制御するステップと、
前記所定のイベントを管理するイベント管理者が使用するイベント管理端末から、前記イベント管理者が前記アバターを編集した第1編集内容を示す第1編集情報を取得するステップと、
前記演者の動作と同期させている前記アバターを、取得した前記第1編集情報によって示される前記第1編集内容で表示するための第1表示情報を生成するステップと、
前記第1表示情報を生成するごとに、生成された前記第1表示情報を、前記所定のイベントを視聴する視聴者が使用する視聴者端末に送信するステップと、
前記第1表示情報を前記視聴者端末に送信した後に、前記イベント管理者が前記第1編集内容から変更した第2編集内容を示す第2編集情報を取得するステップと、
前記演者の動作と同期させている前記アバターを、取得した前記第2編集情報によって示される前記第2編集内容で表示するための第2表示情報を生成するステップと、
前記第2表示情報を生成するごとに、生成された前記第2表示情報を前記視聴者端末に送信するステップと、
を有する情報処理方法。
【請求項9】
コンピュータを、
所定のイベントに出演するアバターの動きを演じる演者が使用する演者端末から、前記演者端末に接続されている所定のセンサが前記演者の動作を検出するごとに、検出された前記演者の動作を示す動作情報を取得する第1取得部、
前記第1取得部が前記動作情報を取得するごとに、当該動作情報によって示される前記演者の動作と、前記アバターの動作とを同期させることにより、前記アバターの動作を制御する動作制御部、
前記所定のイベントを管理するイベント管理者が使用するイベント管理端末から、前記イベント管理者が前記アバターを編集した第1編集内容を示す第1編集情報を取得する第2取得部、
前記動作制御部が前記演者の動作と同期させている前記アバターを、前記第2取得部が取得した前記第1編集情報によって示される前記第1編集内容で表示するための第1表示情報を生成する表示情報生成部、及び
前記表示情報生成部が前記第1表示情報を生成するごとに、生成された前記第1表示情報を、前記所定のイベントを視聴する視聴者が使用する視聴者端末に送信する送信部、
として機能させ、
前記第2取得部は、前記送信部が前記第1表示情報を前記視聴者端末に送信した後に、前記イベント管理者が前記第1編集内容から変更した第2編集内容を示す第2編集情報を取得し、
前記表示情報生成部は、前記動作制御部が前記演者の動作と同期させている前記アバターを、前記第2取得部が取得した前記第2編集情報によって示される前記第2編集内容で表示するための第2表示情報を生成し、
前記送信部は、前記表示情報生成部が前記第2表示情報を生成するごとに、生成された前記第2表示情報を前記視聴者端末に送信する、
プログラム。