特許 7605179 サーバ装置、システム、及びシステムの動作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】サーバ装置、システム、及びシステムの動作方法

(51)【国際特許分類】

   G06Q 10/10 20230101AFI20241217BHJP

【ＦＩ】

G06Q10/10

【請求項の数】 9

(21)【出願番号】P 2022084670

(22)【出願日】2022-05-24

(65)【公開番号】P2023172694

(43)【公開日】2023-12-06

【審査請求日】2024-01-11

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100187078

【弁理士】

【氏名又は名称】甲原 秀俊

(74)【代理人】

【識別番号】100139491

【弁理士】

【氏名又は名称】河合 隆慶

(72)【発明者】

【氏名】加来 航

【審査官】佐藤 敬介

(56)【参考文献】

【文献】米国特許出願公開第２０２２／０１０３７８４（ＵＳ，Ａ１）

【文献】特開２００７－１３３７３８（ＪＰ，Ａ）

【文献】国際公開第２０２２／２３４７２４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

通信部と、
前記通信部により通信を行う制御部とを有し、
前記制御部は、仮想イベントにおける複数のユーザそれぞれの参加態様を示す態様情報を各ユーザの端末装置から受け、当該態様情報に基づいて、各ユーザの画像がそれぞれの参加態様に応じた優先度の位置に配置された前記仮想イベントの画像を生成するための情報を前記端末装置へ送り、
前記態様情報は、前記端末装置のユーザの撮像画像を用いた画像処理により特定された前記ユーザの注視点であって前記端末装置に表示された前記仮想イベントの画像における前記ユーザの前記注視点に対応する他のユーザの画像を特定する情報を含み、
前記制御部は、
前記態様情報に基づいて、ユーザの画像毎に注目する他のユーザ数を注目量として集計し、
前記各ユーザに対して前記注目量が大きいほど高い優先度を設定する、
サーバ装置。

【請求項2】

請求項１において、
前記参加態様は、前記仮想イベントにおける各ユーザの発話を含み、
前記制御部は、各ユーザの発話量に応じて前記優先度を決定する、
サーバ装置。

【請求項3】

請求項１において、
前記制御部は、前記仮想イベント中に前記態様情報に応じて各ユーザの画像の優先度を変更し、変更した優先度に対応する前記仮想イベントの画像を生成するための情報を前記端末装置へ送る、
サーバ装置。

【請求項4】

互いに通信するサーバ装置と端末装置とを有するシステムであって、
前記端末装置は、仮想イベントにおける複数のユーザそれぞれの参加態様を示す態様情報を前記サーバ装置へ送り、
前記サーバ装置は、前記態様情報に基づいて、各ユーザの画像がそれぞれの参加態様に応じた優先度の位置に配置された前記仮想イベントの画像を生成するための情報を前記端末装置へ送り、
前記態様情報は、前記端末装置のユーザの撮像画像を用いた画像処理により特定された前記ユーザの注視点であって前記端末装置に表示された前記仮想イベントの画像における前記ユーザの前記注視点に対応する他のユーザの画像を特定する情報を含み、
前記サーバ装置は、
前記態様情報に基づいて、ユーザの画像毎に注目する他のユーザ数を注目量として集計し、
前記各ユーザに対して前記注目量が大きいほど高い優先度を設定する、
システム。

【請求項5】

請求項４において、
前記参加態様は、前記仮想イベントにおける各ユーザの発話を含み、各ユーザの発話量に応じて前記優先度が決定される、
システム。

【請求項6】

請求項４において、
前記サーバ装置又は端末装置は、前記仮想イベント中に前記態様情報に応じて各ユーザの画像の優先度を変更し、
前記端末装置は、変更した優先度に対応する前記仮想イベントの画像を生成するための情報に基づいて前記仮想イベントの画像を出力する、
システム。

【請求項7】

互いに通信するサーバ装置と端末装置とを有するシステムの動作方法であって、
前記端末装置が、仮想イベントにおける複数のユーザそれぞれの参加態様を示す態様情報を前記サーバ装置へ送る工程と、
前記サーバ装置が、前記態様情報に基づいて、各ユーザの画像がそれぞれの参加態様に応じた優先度の位置に配置された前記仮想イベントの画像を生成するための情報を前記端末装置へ送る工程とを含み、
前記態様情報は、前記端末装置のユーザの撮像画像を用いた画像処理により特定された前記ユーザの注視点であって前記端末装置に表示された前記仮想イベントの画像における前記ユーザの前記注視点に対応する他のユーザの画像を特定する情報を含み、
前記動作方法は、
前記サーバ装置が、
前記態様情報に基づいて、ユーザの画像毎に注目する他のユーザ数を注目量として集計する工程と、
前記各ユーザに対して前記注目量が大きいほど高い優先度を設定する工程とを更に含む、
動作方法。

【請求項8】

請求項７において、
前記参加態様は、前記仮想イベントにおける各ユーザの発話を含み、各ユーザの発話量に応じて前記優先度が決定される、
動作方法。

【請求項9】

請求項７において、
前記サーバ装置又は端末装置が、前記仮想イベント中に前記態様情報に応じて各ユーザの画像の優先度を変更する工程と、
前記端末装置が、変更した優先度に対応する前記仮想イベントの画像を生成するための情報に基づいて前記仮想イベントの画像を出力する工程とを更に含む、
動作方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、サーバ装置、システム、及びシステムの動作方法に関する。

【背景技術】

【0002】

ネットワークを介して複数地点のコンピュータが通信を行い、ネットワーク上の仮想空間で会議等の仮想イベントを行う方法が知られている。そうした仮想イベントにおいて、ユーザ間の円滑なコミュニケーションを支援する技術が種々提案されている。例えば特許文献１には、各ユーザが使用するコンピュータにて表示される通話相手の画像をカメラ目線に修正するシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許6849133号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ネットワーク上の仮想イベントに参加するユーザ間のコミュニケーションをより円滑化し、ユーザ体験を向上させる余地がある。

【0005】

本開示は、仮想イベントに参加するユーザのユーザ体験向上に資するサーバ装置等を提供する。

【課題を解決するための手段】

【0006】

本開示におけるサーバ装置は、通信部と、前記通信部により通信を行う制御部とを有し、前記制御部は、仮想イベントにおける複数のユーザそれぞれの参加態様を示す態様情報を各ユーザの端末装置から受け、当該態様情報に基づいて、各ユーザの画像がそれぞれの参加態様に応じた優先度の位置に配置された前記仮想イベントの画像を生成するための情報を前記端末装置へ送る。

【0007】

本開示におけるシステムは、互いに通信するサーバ装置と端末装置とを有するシステムであって、端末装置は、仮想イベントにおける複数のユーザそれぞれの参加態様を示す態様情報を前記サーバ装置へ送り、前記サーバ装置は、前記態様情報に基づいて、各ユーザの画像がそれぞれの参加態様に応じた優先度の位置に配置された前記仮想イベントの画像を生成するための情報を前記端末装置へ送る。

【0008】

本開示におけるシステムの動作方法は、互いに通信するサーバ装置と端末装置とを有するシステムの動作方法であって、端末装置が、仮想イベントにおける複数のユーザそれぞれの参加態様を示す態様情報を前記サーバ装置へ送る工程と、前記サーバ装置が、前記態様情報に基づいて、各ユーザの画像がそれぞれの参加態様に応じた優先度の位置に配置された前記仮想イベントの画像を生成するための情報を前記端末装置へ送る工程とを含む。

【発明の効果】

【0009】

本開示における端末装置等によれば、仮想イベントに参加するユーザのユーザ体験向上に資することが可能となる。

【図面の簡単な説明】

【0010】

【図1】仮想イベント提供システムの構成例を示す図である。

【図2】仮想イベント提供システムの動作例を示すシーケンス図である。

【図3A】端末装置の動作例を示すフローチャート図である。

【図3B】サーバ装置の動作例を示すフローチャート図である。

【図3C】端末装置の動作例を示すフローチャート図である。

【図4A】仮想イベント画像の例を示す図である。

【図4B】仮想イベント画像の例を示す図である。

【図4C】仮想イベント画像の例を示す図である。

【図4D】仮想イベント画像の例を示す図である。

【発明を実施するための形態】

【0011】

以下、実施の形態について説明する。

【0012】

図１は、一実施形態における仮想イベント提供システムの構成例を示す図である。仮想イベント提供システム１は、ネットワーク１１を介して互いに情報通信可能に接続される、サーバ装置１０と複数の端末装置１２を有する。仮想イベント提供システム１は、ユーザが端末装置１２を用いて参加可能な仮想空間におけるイベント、すなわち仮想イベントを提供するためのシステムである。仮想イベントは、仮想空間において複数の参加者が発話等により情報伝達を行うイベントであって、各参加者はそれぞれを表す２Ｄ画像、３Ｄモデル等のユーザ画像によって表現される。本実施形態における仮想イベントは、任意のテーマについての参加者同士のディスカッションである。

【0013】

サーバ装置１０は、例えば、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属し、各種機能を実装するサーバとして機能するサーバコンピュータである。サーバ装置１０は、情報通信可能に接続されて連携動作する二以上のサーバコンピュータにより構成されてもよい。サーバ装置１０は、仮想イベントの提供に必要な情報の送受及び情報処理を実行する。

【0014】

端末装置１２は、通信機能を備えた情報処理装置であって、サーバ装置１０が提供する仮想イベントに参加するユーザ（以下、参加者という）により使用される。端末装置１２は、例えば、スマートフォン、タブレット端末といった情報処理端末、又はパーソナルコンピュータ等の情報処理装置である。

【0015】

ネットワーク１１は、例えばインターネットであるが、アドホックネットワーク、ＬＡＮ(Local Area Network)、ＭＡＮ(Metropolitan Area Network)、もしくは他のネットワーク又はこれらいずれかの組合せが含まれる。

【0016】

本実施形態において、サーバ装置１０は、通信部１０１と、通信部１０１により通信を行う制御部１０３とを有する。制御部１０３は、仮想イベントにおける複数のユーザそれぞれの参加態様を示す態様情報を各ユーザの端末装置１２から受け、その態様情報に基づいて、各ユーザの画像（以下ユーザ画像という）がそれぞれの参加態様に応じた優先度の位置に配置された仮想イベントの画像（以下、仮想イベント画像という）を生成するための情報を端末装置１２へ送る。参加態様は、仮想イベント画像における各ユーザによる他のユーザのユーザ画像への注目を含み、制御部１０３は、他のユーザからの注目量に応じて優先度を決定する。すなわち、他のユーザからの注目量が大きいユーザほどそのユーザ画像は優先度の高い位置に配置される。あるいは、参加態様は、仮想イベントにおける各ユーザの発話を含み、制御部１０３は、各ユーザの発話量に応じて優先度を決定する。すなわち、発話量が大きいユーザほどそのユーザ画像は優先度の高い位置に配置される。このように構成される仮想イベント画像を、端末装置１２がユーザに向け表示する。各ユーザは、注目度が高いユーザ又は発話量が多いユーザが優先度の高い位置、例えば画像の中央に配置された仮想イベント画像を見てコミュニケーションを行うことが可能となる。よって、注目又は会話において支配的なユーザに直観的に集中してコミュニケーションを行うことができるので、コミュニケーションがより円滑化され、ユーザ体験の向上が可能となる。

【0017】

サーバ装置１０と端末装置１２のそれぞれの構成について詳述する。

【0018】

サーバ装置１０は、通信部１０１、記憶部１０２、制御部１０３、入力部１０５、及び出力部１０６を有する。これらの構成は、サーバ装置１０が二以上のサーバコンピュータで構成される場合には、二以上のコンピュータに適宜に配置される。

【0019】

通信部１０１は、一以上の通信用インタフェースを含む。通信用インタフェースは、例えば、ＬＡＮインタフェースである。通信部１０１は、サーバ装置１０の動作に用いられる情報を受信し、またサーバ装置１０の動作によって得られる情報を送信する。サーバ装置１０は、通信部１０１によりネットワーク１１に接続され、ネットワーク１１経由で端末装置１２と情報通信を行う。

【0020】

記憶部１０２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する一以上の半導体メモリ、一以上の磁気メモリ、一以上の光メモリ、又はこれらのうち少なくとも２種類の組み合わせを含む。半導体メモリは、例えば、ＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）である。ＲＡＭは、例えば、ＳＲＡＭ（Static RAM）又はＤＲＡＭ（Dynamic RAM）である。ＲＯＭは、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）である。記憶部１０２は、サーバ装置１０の動作に用いられる情報と、サーバ装置１０の動作によって得られた情報とを格納する。

【0021】

制御部１０３は、一以上のプロセッサ、一以上の専用回路、又はこれらの組み合わせを含む。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）などの汎用プロセッサ、又は特定の処理に特化したＧＰＵ（Graphics Processing Unit）等の専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等である。制御部１０３は、サーバ装置１０の各部を制御しながら、サーバ装置１０の動作に係る情報処理を実行する。

【0022】

入力部１０５は、一以上の入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、又は音声入力を受け付けるマイクロフォンである。入力部１０５は、サーバ装置１０の動作に用いられる情報を入力する操作を受け付け、入力される情報を制御部１０３に送る。

【0023】

出力部１０６は、一以上の出力用インタフェースを含む。出力用インタフェースは、例えば、ディスプレイ又はスピーカである。ディスプレイは、例えば、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electro-Luminescence）ディスプレイである。出力部１０６は、サーバ装置１０の動作によって得られる情報を出力する。

【0024】

サーバ装置１０の機能は、制御プログラムを、制御部１０３に含まれるプロセッサが実行することにより実現される。制御プログラムは、コンピュータをサーバ装置１０として機能させるためのプログラムである。また、サーバ装置１０の一部又は全ての機能が、制御部１０３に含まれる専用回路により実現されてもよい。また、制御プログラムは、サーバ装置１０に読取り可能な非一過性の記録・記憶媒体に格納され、サーバ装置１０が媒体から読み取ってもよい。

【0025】

端末装置１２は、通信部１１１、記憶部１１２、制御部１１３、入力部１１５、出力部１１６、及び撮像部１１７を有する。

【0026】

通信部１１１は、有線又は無線ＬＡＮ規格に対応する通信モジュール、ＬＴＥ、４Ｇ、５Ｇ等の移動体通信規格に対応するモジュール等を有する。端末装置１２は、通信部１１１により、近傍のルータ装置又は移動体通信の基地局を介してネットワーク１１に接続され、ネットワーク１１経由でサーバ装置１０等と情報通信を行う。

【0027】

記憶部１１２は一以上の半導体メモリ、一以上の磁気メモリ、一以上の光メモリ、又はこれらのうち少なくとも２種類の組み合わせを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。ＲＯＭは、例えば、ＥＥＰＲＯＭである。記憶部１１２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部１１２は、制御部１１３の動作に用いられる情報と、制御部１１３の動作によって得られた情報とを格納する。

【0028】

制御部１１３は、例えば、ＣＰＵ、ＭＰＵ（Micro Processing Unit）等の一以上の汎用プロセッサ、又は特定の処理に特化したＧＰＵ等の一以上の専用プロセッサを有する。あるいは、制御部１１３は、一以上の、ＦＰＧＡ、ＡＳＩＣ等の専用回路を有してもよい。制御部１１３は、制御・処理プログラムに従って動作したり、あるいは、回路として実装された動作手順に従って動作したりすることで、端末装置１２の動作を統括的に制御する。そして、制御部１１３は、通信部１１１を介してサーバ装置１０等と各種情報を送受し、本実施形態にかかる動作を実行する。

【0029】

入力部１１５は、一以上の入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、およびディスプレイと一体的に設けられたタッチスクリーンを含む。また、入力用インタフェースは、音声入力を受け付けるマイクロフォン、及び撮像画像を取り込むカメラを含む。さらに、入力用インタフェースは、画像コードをスキャンするスキャナ又はカメラ、ＩＣカードリーダを含んでもよい。入力部１１５は、制御部１１３の動作に用いられる情報を入力する操作を受け付け、入力される情報を制御部１１３に送る。

【0030】

出力部１１６は、一以上の出力用インタフェースを含む。出力用インタフェースは、例えば、ディスプレイ、及びスピーカを含む。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイである。出力部１１６は、制御部１１３の動作によって得られる情報を出力する。

【0031】

撮像部１１７は、可視光による被写体の撮像画像を撮像するカメラと、被写体までの距離を測定して距離画像を取得する測距センサとを含む。カメラは、例えば毎秒１５～３０フレームで被写体を撮像して連続した撮像画像からなる動画像を生成する。測距センサは、ＴｏＦ（Time Of Flight）カメラ、ＬｉＤＡＲ（Light Detection And Ranging）、ステレオカメラを含み、距離情報を含んだ被写体の距離画像を生成する。撮像部１１７は、撮像画像と距離画像とを制御部１１３へ送る。

【0032】

制御部１１３の機能は、制御部１１３に含まれるプロセッサが制御プログラムを実行することにより実現される。制御プログラムは、プロセッサを制御部１１３として機能させるためのプログラムである。また、制御部１１３の一部又は全ての機能が、制御部１１３に含まれる専用回路により実現されてもよい。また、制御プログラムは、端末装置１２に読取り可能な非一過性の記録・記憶媒体に格納され、端末装置１２が媒体から読み取ってもよい。

【0033】

本実施形態において、制御部１１３は、端末装置１２のユーザの撮像画像と距離画像を撮像部１１７により取得し、ユーザの発話音声を入力部１１５のマイクロフォンで集音する。制御部１１３は、ユーザ画像を生成するためのユーザの撮像画像と距離画像、及びユーザの音声を再生するための音声情報を符号化して符号化情報を生成する。制御部１１３は、符号化に際して、撮像画像等に対して任意の加工処理（例えば解像度変更及びトリミング等）を行ってもよい。制御部１１３は、符号化情報を通信部１１１によりサーバ装置１０を介して他の端末装置１２へ送る。また、制御部１１３は、他の端末装置１２からサーバ装置１０を介して送られる符号化情報を、通信部１１１により受ける。制御部１１３は、他の端末装置１２から受けた符号化情報を復号すると、復号された情報を用いて、他の端末装置１２を用いるユーザを表すユーザ画像を生成し、そのユーザ画像を自らのユーザのユーザ画像と共に仮想空間に配置する。制御部１１３は、仮想空間内の所定の視点からのユーザ画像を含んだ出力用の仮想空間画像、つまり仮想イベント画像をレンダリングにより生成すると、出力部１１６により、仮想イベント画像を表示するとともに各ユーザの音声情報に基づく発話音声を出力する。このような制御部１１３等の動作により、端末装置１２のユーザは、仮想イベントにリアルタイムで参加し、他のユーザと会話することができる。

【0034】

図２は、仮想イベント提供システム１の動作手順を説明するためのシーケンス図である。このシーケンス図は、サーバ装置１０及び複数の端末装置１２（それぞれを区別する際は、端末装置１２Ａ及び１２Ｂという）の連係動作にかかる手順を示す。端末装置１２Ａは、仮想イベントの管理者であるユーザにより用いられる。複数の端末装置１２Ｂは、管理者以外のユーザにより用いられる。ここに示す端末装置１２Ｂに係る動作手順は各端末装置１２Ｂにより、又は各端末装置１２Ｂとサーバ装置１０とにより、実行される。

【0035】

図２におけるサーバ装置１０及び端末装置１２の各種情報処理に係るステップは、それぞれの制御部１０３及び１１３により実行される。また、サーバ装置１０及び端末装置１２の各種情報の送受に係るステップは、それぞれの制御部１０３及び１１３が、それぞれ通信部１０１、及び１１１を介して互いに情報を送受することにより実行される。サーバ装置１０及び端末装置１２では、それぞれ制御部１０３及び１１３が、それぞれ送受する情報を記憶部１０２及び１１２及びに適宜格納する。さらに、端末装置１２の制御部１１３は、入力部１１５により各種情報の入力を受け付け、出力部１１６により各種情報を出力する。

【0036】

ステップＳ２００において、端末装置１２Ａは、管理者ユーザによる仮想イベントの設定情報の入力を受け付ける。設定情報は、仮想イベントのスケジュール、ディスカッションのテーマ、参加者のリスト等を含む。参加者のリストは、参加者名と各参加者のメールアドレスとを含む。そして、ステップＳ２０１において、端末装置１２Ａは、設定情報をサーバ装置１０へ送る。サーバ装置１０は、端末装置１２Ａから送られる情報を受ける。例えば、端末装置１２Ａは、サーバ装置１０が提供する、仮想イベントを実施するためのサイトにアクセスして設定情報の入力画面を取得し、入力画面を表示する。そして、管理者ユーザが入力画面に設定情報を入力することで、設定情報がサーバ装置１０へ送られる。

【0037】

ステップＳ２０２において、サーバ装置１０は、設定情報に基づいて、仮想イベントを設定する。制御部１０３は、仮想イベントの情報と参加予定者の情報とを対応付けて記憶部１０２に格納する。

【0038】

ステップＳ２０３において、サーバ装置１０は、端末装置１２Ｂそれぞれへ認証情報を送る。認証情報は、端末装置１２Ｂを用いるユーザを特定して認証するための情報であって、仮想イベントに参加する際に用いられるＩＤ、パスコード等の情報である。これらの情報は、例えば、電子メールに添付されて送られる。端末装置１２Ｂは、サーバ装置１０から送られる情報を受ける。

【0039】

ステップＳ２０５において、端末装置１２Ｂは、サーバ装置１０から受けた認証情報と参加申請の情報を、サーバ装置１０へ送る。端末装置１２Ｂのユーザは、端末装置１２Ｂを操作して、サーバ装置１０から送られた認証情報を用いて仮想イベントへの参加を申請する。例えば、端末装置１２Ｂは、サーバ装置１０が提供する仮想イベントのためのサイトにアクセスして、認証情報と参加申請のための情報の入力画面を取得し、入力画面をユーザに表示する。そして、端末装置１２Ｂは、ユーザが入力する情報を受け付けてサーバ装置１０へ送る。

【0040】

ステップＳ２０６において、サーバ装置１０は、ユーザの認証を行って参加受付を完了する。記憶部１０２には、端末装置１２Ｂの識別情報とユーザの識別情報が対応付けて格納される。

【0041】

ステップＳ２０８及びＳ２０９において、サーバ装置１０は、それぞれ端末装置１２Ａ及び１２Ｂへ、仮想イベントの開始通知を送る。端末装置１２Ａ及び１２Ｂはそれぞれサーバ装置１０から送られる情報を受けると、それぞれユーザの撮像と発話音声の集音を開始する。

【0042】

ステップＳ２１０において、サーバ装置１０を介して端末装置１２Ａ、１２Ｂにより仮想イベントが実施される。各端末装置１２は、それぞれのユーザ画像を生成するための情報と発話音声の情報を、サーバ装置１０を介して互いに送受する。また、各端末装置１２は、ユーザに向けて自他のユーザ画像を含む仮想イベント画像と他のユーザの発話音声とを出力する。

【0043】

図３Ａ～３Ｃを用いて、仮想イベントの実施に係るサーバ装置１０及び端末装置１２の動作手順を説明する。図３Ａ及び３Ｃは、端末装置１２の動作手順例を示すフローチャート図である。また、図３Ｂは、サーバ装置１０の動作手順例を示すフローチャート図である。

【0044】

図３Ａは、各端末装置１２が、その端末装置１２を用いるユーザのユーザ画像を生成するための情報を送出するときの、制御部１１３の動作手順に関する。

【0045】

ステップＳ３０２において、制御部１１３は、撮像部１１７により、任意に設定されるフレームレートでの当参加者の可視光画像の撮像及び距離画像の取得、並びに入力部１１５により当参加者の発話の音声の集音を行う。制御部１１３は、撮像部１１７から、可視光による撮像画像と距離画像とを取得し、入力部１１５から音声情報を取得する。

【0046】

ステップＳ３０３において、制御部１１３は、撮像画像、距離画像及び音声情報を用いて態様情報を生成する。

【0047】

態様情報は、例えば、ユーザが注目する他のユーザのユーザ画像を特定する情報である。後述する図３Ｃの手順を実行することで、端末装置１２は、仮想イベント画像をユーザに向けて表示する。仮想イベント画像には、自らのユーザと他の端末装置１２のユーザとをそれぞれ示すユーザ画像が含まれる。制御部１１３は、仮想イベント画像において自らのユーザが注目するユーザ画像を特定する。例えば、制御部１１３は、ユーザの撮像画像、距離画像を用いて画像処理を行い、仮想イベント画像におけるユーザの注視点を検出する。制御部１１３は、仮想イベント画像におけるユーザ画像の位置、仮想イベント画像が表示されるディスプレイとカメラの位置、ディスプレイ及びカメラからユーザの目の位置までの距離等の情報を用いて、ユーザの注視点を検出し、注視点に対応する他のユーザのユーザ画像を特定する。

【0048】

また、態様情報は、例えば、ユーザの発話量の情報である。発話量は、例えば、直近の判定期間（例えば、数秒～数分）における発話時間の合計である。制御部１１３は、人の発話音声が属する周波数帯（例えば、１００Ｈｚ～１０００Ｈｚ）で、任意の基準音圧以上の音声を発話として検出する。制御部１１３は、予め設定された言語に合致する音声を音声認識により他のノイズから峻別してもよい。制御部１１３は、判定期間において発話音声が検出された時間を累計して発話量を導出する。

【0049】

ステップＳ３０４において、制御部１１３は、撮像画像、距離画像、音声情報及び態様情報を符号化し、符号化情報を生成する。

【0050】

ステップＳ３０６において、制御部１１３は、通信部１１１により符号化情報をパケット化し、他の端末装置１２に向けてサーバ装置１０へ送出する。

【0051】

制御部１１３は、撮像・集音を中断するための操作又は仮想イベントを退出するための、ユーザによる操作に対応して入力される情報を取得すると（Ｓ３０８のＹｅｓ）、図３Ａの処理手順を終了し、中断又は退出のための操作に対応する情報を取得しない間は（Ｓ３０８のＮｏ）ステップＳ３０２～Ｓ３０６を実行して、ユーザ画像を生成するための情報と音声を出力するための情報を、態様情報と共に他の端末装置１２に向けてサーバ装置１０へ送出する。

【0052】

図３Ｂは、端末装置１２が送出する情報をサーバ装置１０が中継するときの、制御部１０３の動作手順に関する。制御部１０３は、端末装置１２が図３Ａの手順を実行することで送出するパケットを受けると、ステップＳ３１０～Ｓ３１８を実行する。

【0053】

ステップＳ３１０において、制御部１０３は、端末装置１２から受けたパケットに含まれる符号化情報を復号して撮像画像、距離画像、音声情報、及び態様情報を取得する。

【0054】

ステップＳ３１２において、制御部１０３は、態様情報に基づき、ユーザ画像の優先順位を決定する。例えば、制御部１０３は、複数の端末装置１２それぞれについて、各ユーザが注目する他のユーザ画像を導出する。そして、制御部１０３は、ユーザ画像毎に注目する他のユーザ数を集計し、集計結果が大きい順、つまり注目量が大きい順に優先順位を決定する。また、例えば、制御部１０３は、複数の端末装置１２のユーザを示すユーザ画像について、発話量が大きい順に優先順位を決定する。このようにして、制御部１０３は、仮想イベントに参加するユーザのユーザ画像に対し、注目量又は発話量に応じた優先順位を決定する。つまり、仮想イベントで他のユーザから得る注目又は他のユーザとの会話において、より支配的なユーザのユーザ画像ほど高い優先順位が割り当てられる。

【0055】

ステップＳ３１４において、制御部１０３は、イベント画像における各ユーザ画像の配置を、それぞれの優先順位に応じて決定する。優先順位に応じた配置は、予め任意に設定された規則に基づいて決定される。例えば、制御部１０３は、ユーザ画像の優先順位が高いほど仮想イベント画像の中心に近くなるようにユーザ画像の配置を決定する。また、制御部１０３は、ユーザ画像の優先順位が高いほど仮想イベント画像の上部に近くなるようにユーザ画像の配置を決定してもよい。その場合、ユーザ画像は、例えば優先順位に応じたヒエラルキーを構成するように配置される。

【0056】

ステップＳ３１６において、制御部１０３は、撮像画像、距離画像、音声情報及びユーザ画像の配置情報を符号化し、符号化情報を生成する。

【0057】

ステップＳ３１８において、制御部１１３は、通信部１０１により符号化情報をパケット化し、他の端末装置１２へ送出する。

【0058】

図３Ｃは、端末装置１２が仮想イベントの画像と他ユーザの音声とを出力するときの、制御部１１３の動作手順に関する。制御部１１３は、他の端末装置１２が図３Ａの手順を実行することで送出するパケットを、図３Ｂの手順を実行するサーバ装置１０を介して受けると、ステップＳ３２０～Ｓ３２３を実行する。

【0059】

ステップＳ３２０において、制御部１１３は、他の端末装置１２から受けたパケットに含まれる符号化情報を復号して撮像画像、距離画像、音声情報及びは位置情報を取得する。また、制御部１１３は、ステップＳ３０２を実行する際に、自らのユーザの撮像画像及び距離画像を撮像部１１７から、音声情報を入力部１１５から取得する。

【0060】

ステップＳ３２２において、制御部１１３は、撮像画像及び距離画像に基づいて、自他のユーザのユーザ画像を生成する。ユーザ画像は、例えば、各ユーザの顔、上半身等の２Ｄ画像、３Ｄモデル、撮像画像が任意のアルゴリズムにより変換されたキャラクタ画像等である。

【0061】

複数のユーザの端末装置１２から情報を受ける場合、制御部１１３は、各端末装置１２それぞれについてステップＳ３２０～Ｓ３２２を実行し、ユーザ毎のユーザ画像を生成する。

【0062】

ステップＳ３２３において、制御部１１３は、仮想イベントが開催される仮想空間に各ユーザ画像を配置する。記憶部１１２には、予め、仮想空間の座標情報と、各ユーザ画像の例えば認証された順番に応じて初期的に配置すべき座標の情報が格納される。また、制御部１１３は、サーバ装置１０において生成された位置情報を取得した場合、配置情報に基づいて各ユーザ画像を配置する。

【0063】

ステップＳ３２４において、制御部１１３は、仮想空間に配置した複数のユーザ画像を仮想の視点から撮像した仮想空間画像をレンダリングして生成する。

【0064】

ステップＳ３２６において、制御部１１３は、出力部１１６により仮想空間画像、つまり仮想イベント画像を表示するとともに音声を出力する。すなわち、制御部１１３は、仮想イベント画像を表示するための情報を出力部１１６に出力し、出力部１１６が仮想イベント画像を表示するとともに音声を出力する。

【0065】

制御部１１３がステップＳ３２０～Ｓ３２６を繰り返し実行することで、ユーザは、自他のユーザ画像を含んだ仮想イベント画像の動画を見ながら、他ユーザの発話の音声を聞くことができる。その際、各ユーザ画像が、参加態様に応じた配置に表示される。

【0066】

図４Ａ～４Ｄは、端末装置１２にて表示される仮想イベント画像の例を示す。

【0067】

図４Ａは、ユーザ画像４０～４６が初期的に配置された仮想イベント画像４００の例である。

【0068】

図４Ｂは、ユーザ画像４０～４６が配置情報に基づいて配置された仮想イベント画像４００の例である。ここでは、注目の獲得又は会話において最も支配的なユーザのユーザ画像４０が、最も優先順位の高い中心エリア、つまり境界４８の内側に配置される。また、次に支配的なユーザのユーザ画像４１及び４２が、中心エリアの外周、つまり境界４８と４９の間に配置される。そして、最も支配的でないユーザのユーザ画像４３、４４、４５及び４６が、境界４９の外側に配置される。このように配置されることで、仮想イベント画像４００を見るユーザは、注目の獲得又は会話において支配的なユーザのユーザ画像に直観的に集中することが可能となり、円滑なコミュニケーションの向上が可能となる。

【0069】

図４Ｃは、各ユーザの参加態様が変化することに伴い、注目の獲得又は会話における支配的なユーザが変化する場合の仮想イベント画像４００の例である。図４Ｃは、図４Ｂで最も支配的だったユーザ画像４０のユーザよりユーザ画像４２のユーザの方が支配的になり、それに応じてユーザ画像４０、４２が入れ替わる場合の例を示す。ここでは、ユーザ画像４０が中心エリアの境界４８の内側から外側に移動し（矢印４０Ｂ）、ユーザ画像４２が境界４８の外側から内側に移動する（矢印４０Ａ）場合が示される。このように、各ユーザの参加態様の変化に応じてユーザ画像の配置が動的に変化することで、仮想イベント画像４００を見るユーザは、注目の獲得又は会話において支配的なユーザの変化を直観的に把握することが可能となる。

【0070】

図４Ｄは、ユーザ画像４０～４６が配置情報に基づいて別の態様で配置された仮想イベント画像４００の例である。ここでは、注目又は会話において最も支配的なユーザのユーザ画像４０が、最も優先順位の高い最上位層、つまり境界４８の上側に配置される。また、次に支配的なユーザのユーザ画像４１及び４２が、中位層、つまり境界４８と４９の間に配置される。そして、最も支配的でないユーザのユーザ画像４３、４４、４５及び４６が、最下位層、つまり境界４９の下側に配置される。このような配置であっても、仮想イベント画像４００を見るユーザは、注目の獲得又は会話において支配的なユーザのユーザ画像に直観的に集中することが可能となるので、円滑なコミュニケーションの向上が可能となる。

【0071】

変形例として、図３Ａにおいて端末装置１２がステップＳ３０３を実行する代わりに、図３Ｂにおいてサーバ装置１０が、ステップＳ３１０の後に、端末装置１２ごとの撮像画像又は音声情報に基づいて態様情報を生成してもよい。

【0072】

さらに、ユーザ画像の配置を決定するための優先順位は、他のユーザからの注目量と発話量とに基づいて決定する場合も、本実施形態に含まれる。例えば、サーバ装置１０又は端末装置１２は、注目量と発話量を任意のスコアに正規化し、スコアの合計の順に優先順位を決定することが可能である。あるいは、注目量と発話量のスコアにそれぞれ任意に設定される重みを付して合計を求めてもよい。

【0073】

上述において、ユーザ画像の配置を３段階にレベル分けした例を示したが、レベルの数はこれに限られない。

【0074】

上述において、実施形態を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。従って、これらの変形及び修正は本開示の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段、ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

【符号の説明】

【0075】

１ 仮想イベント提供システム
１０ サーバ装置
１１ ネットワーク
１２ 端末装置
１０１、１１１ 通信部
１０２、１１２ 記憶部
１０３、１１３ 制御部
１０５、１１５ 入力部
１０６、１１６ 出力部
１１７ 撮像部

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図4C】

【図4D】