特許 7658314 端末装置、端末装置の動作方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-31

(45)【発行日】2025-04-08

(54)【発明の名称】端末装置、端末装置の動作方法及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20250401BHJP

   G06T 13/40 20110101ALI20250401BHJP

   G06F 3/0488 20220101ALI20250401BHJP

【ＦＩ】

G06T19/00 A

G06T13/40

G06F3/0488

【請求項の数】 10

(21)【出願番号】P 2022054397

(22)【出願日】2022-03-29

(65)【公開番号】P2023146940

(43)【公開日】2023-10-12

【審査請求日】2023-11-29

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100139491

【弁理士】

【氏名又は名称】河合 隆慶

(74)【代理人】

【識別番号】100203264

【弁理士】

【氏名又は名称】塩川 未久

(72)【発明者】

【氏名】菊地 大輔

(72)【発明者】

【氏名】加来 航

(72)【発明者】

【氏名】澤渡 愛子

(72)【発明者】

【氏名】舩造 美奈

【審査官】三沢 岳志

(56)【参考文献】

【文献】米国特許出願公開第２０１９／００２６１３２（ＵＳ，Ａ１）

【文献】特開２０１５－２３０６８４（ＪＰ，Ａ）

【文献】特開２００５－１９１９６４（ＪＰ，Ａ）

【文献】特開２００４－３５５４９４（ＪＰ，Ａ）

【文献】特開２０１０－１９３０４３（ＪＰ，Ａ）

【文献】Nicolas ROUSSEL et al.，“MirrorSpace: Using Proximity as an Interface to Video-Mediated Communication”，Lecture Notes in Computer Science，2004年，pp.345-350，DOI: 10.1007/978-3-540-24646-6_25

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ １３／４０

Ｇ０６Ｆ ３／０４８８

(57)【特許請求の範囲】

【請求項1】

制御部と、通信部と、表示装置とを備える端末装置であって、
前記制御部は、
他の端末装置から、前記他の端末装置の第１ユーザのイラストのデータを前記通信部によって受信し、
仮想空間内において、仮想カメラと前記第１ユーザのアバターとの間に、仮想スクリーンを配置し、
前記仮想カメラの位置、向き及び視野を前記端末装置の第２ユーザの視線に基づいて決定し、
前記仮想スクリーンの前記アバター側の面上に描画された前記第１ユーザのイラストに含まれる文字を前記仮想カメラから見て可読可能に反転させ、
前記イラストに含まれる文字が単語を構成しているが、文章を構成していないと判定した場合、前記イラストに含まれる文字を単語単位で前記仮想カメラから見て可読可能に反転させ、
前記イラストに含まれる文字が文章を構成していると判定した場合、前記イラストに含まれる文字を文章単位で仮想カメラから見て可読可能に反転させ、
前記仮想カメラから見て前記仮想スクリーンに投影された前記仮想空間の２次元画像をレンダリングにより生成し、
前記表示装置に生成した前記２次元画像を表示させる、端末装置。

【請求項2】

入力部をさらに備え、
前記制御部は、前記入力部によって受け付けた前記第２ユーザの操作入力に基づいて、前記イラストに含まれる文字を前記仮想カメラから見て可読可能に反転させる、請求項１に記載の端末装置。

【請求項3】

前記制御部は、
前記第１ユーザのモーションデータと、前記モーションデータに同期された前記イラストのデータとを前記通信部によって受信し、
受信した前記モーションデータに基づいて、前記第１ユーザのアバターが前記仮想スクリーン上に前記第１ユーザのイラストを描いていくように前記アバターを動かしつつ、前記仮想スクリーン上に前記イラストを描画する、請求項１又は２に記載の端末装置。

【請求項4】

前記制御部は、前記仮想空間内において、前記アバターの代わりに仮想オブジェクトを配置する、請求項１から３までの何れか一項に記載の端末装置。

【請求項5】

前記制御部は、
前記第１ユーザの撮像画像のデータを前記通信部によって受信し、
前記アバターの外観を前記第１ユーザの撮像画像のデータから生成する、請求項１から４までの何れか一項に記載の端末装置。

【請求項6】

前記制御部は、前記アバターの外観をキャラクタの画像のデータから生成する、請求項１から４までの何れか一項に記載の端末装置。

【請求項7】

前記制御部は、リアルタイムに、前記アバターが前記仮想スクリーン上に前記イラストを描いていくように前記アバターを動かしつつ、前記仮想スクリーン上に前記イラストを描画する、請求項１から６までの何れか一項に記載の端末装置。

【請求項8】

前記表示装置は、ディスプレイであり、
前記第１ユーザのモーションデータは、前記他の端末装置の測距センサによって取得され、
前記第１ユーザのイラストのデータは、前記他の端末装置のディスプレイのタッチスクリーンに対するタッチ操作に応じて取得される、請求項１から７までの何れか一項に記載の端末装置。

【請求項9】

端末装置の動作方法であって、
他の端末装置から、前記他の端末装置の第１ユーザのイラストのデータを受信することと、
仮想空間内において、仮想カメラと前記第１ユーザのアバターとの間に、仮想スクリーンを配置することと、
前記仮想カメラの位置、向き及び視野を前記端末装置の第２ユーザの視線に基づいて決定することと、
前記仮想スクリーンの前記アバター側の面上に描画された前記第１ユーザのイラストに含まれる文字を前記仮想カメラから見て可読可能に反転させることであって、
前記イラストに含まれる文字が単語を構成しているが、文章を構成していないと判定した場合、前記イラストに含まれる文字を単語単位で前記仮想カメラから見て可読可能に反転させ、
前記イラストに含まれる文字が文章を構成していると判定した場合、前記イラストに含まれる文字を文章単位で仮想カメラから見て可読可能に反転させる、ことと、
前記仮想カメラから見て前記仮想スクリーンに投影された前記仮想空間の２次元画像をレンダリングにより生成することと、
表示装置に生成した前記２次元画像を表示させることと、を含む、端末装置の動作方法。

【請求項10】

端末装置に、
他の端末装置から、前記他の端末装置の第１ユーザのイラストのデータを受信することと、
仮想空間内において、仮想カメラと前記第１ユーザのアバターとの間に、仮想スクリーンを配置することと、
前記仮想カメラの位置、向き及び視野を前記端末装置の第２ユーザの視線に基づいて決定することと、
前記仮想スクリーンの前記アバター側の面上に描画された前記第１ユーザのイラストに含まれる文字を前記仮想カメラから見て可読可能に反転させることであって、
前記イラストに含まれる文字が単語を構成しているが、文章を構成していないと判定した場合、前記イラストに含まれる文字を単語単位で前記仮想カメラから見て可読可能に反転させ、
前記イラストに含まれる文字が文章を構成していると判定した場合、前記イラストに含まれる文字を文章単位で仮想カメラから見て可読可能に反転させる、ことと、
前記仮想カメラから見て前記仮想スクリーンに投影された前記仮想空間の２次元画像をレンダリングにより生成することと、
表示装置に生成した前記２次元画像を表示させることと、
を含む動作を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、端末装置、端末装置の動作方法及びプログラムに関する。

【背景技術】

【0002】

従来、仮想空間を利用して複数のユーザがコミュニケーションをとるための技術が知られている。例えば、特許文献１には、第１ユーザに関連付けられる第１アバターと第２ユーザに関連付けられる第２アバターとを含む、仮想空間を定義することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－６４３９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

遊び又は創作活動等の場において、ユーザ間のコミュニケーションを向上させるために、描いたイラスト等をユーザ間で共有したい場合がある。イラストに文字が含まれる場合、文字をユーザに適切に表示することが求められる。

【0005】

かかる点に鑑みてなされた本開示の目的は、文字をユーザに適切に表示する技術を提供することにある。

【課題を解決するための手段】

【0006】

本開示の一実施形態に係る端末装置は、
仮想空間内の仮想スクリーン上に描画された第１ユーザのイラストに含まれる文字を仮想カメラから見て可読可能に反転させる制御部を備える。

【0007】

本開示の一実施形態に係る端末装置の動作方法は、
仮想空間内の仮想スクリーン上に描画された第１ユーザのイラストに含まれる文字を仮想カメラから見て可読可能に反転させることを含む。

【0008】

本開示の一実施形態に係るプログラムは、
コンピュータに、
仮想空間内の仮想スクリーン上に描画された第１ユーザのイラストに含まれる文字を仮想カメラから見て可読可能に反転させること
を含む動作を実行させる。

【発明の効果】

【0009】

本開示の一実施形態によれば、文字をユーザに適切に表示する技術を提供することができる。

【図面の簡単な説明】

【0010】

【図1】本開示の一実施形態に係る提供システムの概略構成を示す図である。

【図2】図１に示す提供システムのブロック図である。

【図3】図１に示す提供システムの動作手順を示すシーケンス図である。

【図4】図２に示す端末装置の動作手順を示すフローチャートである。

【図5】図２に示す端末装置の動作手順を示すフローチャートである。

【図6】仮想空間を説明するための図である。

【発明を実施するための形態】

【0011】

以下、本開示に係る実施形態について、図面を参照して説明する。

【0012】

図１に示すように、提供システム１は、少なくとも１つのサーバ装置１０と、端末装置２０Ａと、端末装置２０Ｂとを含む。

【0013】

以下、端末装置２０Ａと端末装置２０Ｂとを特に区別しない場合、これらは、「端末装置２０」とも記載される。提供システム１は、２つの端末装置２０を含む。ただし、提供システム１は、２つ以上の端末装置２０を含んでもよい。

【0014】

サーバ装置１０と、端末装置２０とは、ネットワーク２を介して通信可能である。ネットワーク２は、移動体通信網及びインターネット等を含む任意のネットワークであってよい。

【0015】

提供システム１は、仮想イベントを提供するためのシステムである。仮想イベントは、仮想空間を利用して提供される。仮想イベントに、ユーザは、端末装置２０を用いて参加者として参加することができる。本実施形態に係る仮想イベントでは、ユーザは、イラストを共有することができる。本実施形態に係る仮想イベントは、遊び又は創作活動等の場において実施されてよい。

【0016】

サーバ装置１０は、例えば、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属し、各種機能を実装するサーバとして機能するサーバコンピュータである。サーバ装置１０は、通信可能に接続されて連携動作する２つ以上のサーバコンピュータにより構成されてもよい。

【0017】

サーバ装置１０は、仮想イベントの提供に必要な処理を実行する。例えば、サーバ装置１０は、ネットワーク２を介して端末装置２０に仮想イベントの提供に必要な情報を送信する。また、サーバ装置１０は、仮想イベントの実施中、端末装置２０Ａと端末装置２０Ｂとの間の情報の送受信を仲介する。

【0018】

端末装置２０は、例えば、デスクトップＰＣ（Personal Computer）、タブレットＰＣ、ノートＰＣ又はスマートフォン等の端末装置である。

【0019】

端末装置２０は、表示装置としてのディスプレイ２４を備える。ただし、端末装置２０は、ディスプレイ２４以外の表示装置を備えてもよい。例えば、端末装置２０は、表示装置としてプロジェクタを備えてもよい。

【0020】

ディスプレイ２４は、例えば、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electro Luminescence）ディスプレイ等である。ディスプレイ２４は、例えば、後述する入力部２２のタッチスクリーンとともに、タッチパネルディスプレイ又はタッチスクリーンディスプレイとして構成される。

【0021】

端末装置２０Ａは、第１ユーザ３Ａによって使用される。第１ユーザ３Ａは、端末装置２０Ａを用いて仮想イベントに参加する。

【0022】

端末装置２０Ｂは、第２ユーザ３Ｂによって使用される。第２ユーザ３Ｂは、端末装置２０Ｂを用いて仮想イベントに参加する。

【0023】

第１ユーザ３Ａと第２ユーザ３Ｂとは、仮想イベントにてイラスト等を共有することにより、コミュニケーションをとることができる。

【0024】

例えば、第１ユーザ３Ａは、指又はスタイラスペン等でディスプレイ２４にタッチすることにより、ディスプレイ２４にイラストを描く。端末装置２０Ａは、第１ユーザ３Ａのイラストデータを、ネットワーク２及びサーバ装置１０を介して端末装置２０Ｂに送信する。端末装置２０Ｂは、端末装置２０Ａから第１ユーザ３Ａのイラストのデータを受信し、ディスプレイ２４に第１ユーザ３Ａのイラストを表示させる。第２ユーザ３Ｂは、端末装置２０Ｂのディスプレイ２４に第１ユーザ３Ａのイラストが表示されることにより、第１ユーザ３Ａのイラストを見ることができる。ここで、第１ユーザ３Ａのイラストには、「ｈｅｌｌо」との文字が含まれる。端末装置２０Ｂは、第１ユーザ３Ａのイラストのデータに含まれる「ｈｅｌｌо」との文字を第２ユーザ３Ｂから見て可読可能に反転する。このような構成により、第２ユーザ３Ｂに対して文字を適切に表示することができる。

【0025】

（サーバ装置の構成）
図２に示すように、サーバ装置１０は、通信部１１と、記憶部１２と、制御部１３とを備える。

【0026】

通信部１１は、ネットワーク２に接続可能な少なくとも１つの通信モジュールを含んで構成される。通信モジュールは、例えば、有線ＬＡＮ（Local Area Network）又は無線ＬＡＮ等の規格に対応した通信モジュールである。ただし、通信モジュールは、これに限定されない。通信モジュールは、任意の通信規格に対応してよい。通信部１１は、通信モジュールによって有線ＬＡＮ又は無線ＬＡＮを介して、ネットワーク２に接続される。

【0027】

記憶部１２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ又はこれらのうちの少なくとも２種類の組み合わせを含んで構成される。半導体メモリは、例えば、ＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）等である。ＲＡＭは、例えば、ＳＲＡＭ（Static Random Access Memory）又はＤＲＡＭ（Dynamic Random Access Memory）等である。ＲＯＭは、例えば、ＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)等である。記憶部１２は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部１２には、サーバ装置１０の動作に用いられるデータと、サーバ装置１０の動作によって得られたデータとが記憶される。

【0028】

制御部１３は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）若しくはＧＰＵ（Graphics Processing Unit）等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit）等である。制御部１３は、サーバ装置１０の各部を制御しながら、サーバ装置１０の動作に関わる処理を実行する。

【0029】

サーバ装置１０の機能は、本実施形態に係る処理プログラムを、制御部１３に相当するプロセッサで実行することにより実現される。つまり、サーバ装置１０の機能は、ソフトウェアにより実現される。処理プログラムは、サーバ装置１０の動作をコンピュータに実行させることにより、コンピュータをサーバ装置１０として機能させる。つまり、コンピュータは、処理プログラムに従ってサーバ装置１０の動作を実行することにより、サーバ装置１０として機能する。

【0030】

サーバ装置１０の一部又は全ての機能が、制御部１３に相当する専用回路により実現されてもよい。つまり、サーバ装置１０の一部又は全ての機能が、ハードウェアにより実現されてもよい。

【0031】

（端末装置の構成）
図２に示すように、端末装置２０は、通信部２１と、入力部２２と、出力部２３と、カメラ２５と、測距センサ２６と、記憶部２７と、制御部２８とを備える。端末装置２０は、複数のカメラ２５を備えてもよい。

【0032】

通信部２１は、ネットワーク２に接続可能な少なくとも１つの通信モジュールを含んで構成される。通信モジュールは、例えば、有線ＬＡＮ若しくは無線ＬＡＮ等の規格に対応した通信モジュールであるか、又は、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）若しくは５Ｇ（5th Generation）等の移動体通信規格に対応した通信モジュールである。ただし、通信モジュールは、これに限定されない。通信モジュールは、任意の通信規格に対応してよい。

【0033】

入力部２２は、ユーザからの入力を受け付け可能である。入力部２２は、ユーザからの入力を受け付け可能な少なくとも１つの入力用インタフェースを含んで構成される。入力用インタフェースは、ディスプレイ２４と一体的に設けられたタッチスクリーンを含む。さらに、入力用インタフェースは、物理キー、静電容量キー、ポインティングデバイス、又はマイクロフォン等を含んでもよい。ただし、入力用インタフェースは、これに限定されない。

【0034】

出力部２３は、データを出力可能である。出力部２３は、データを出力可能な少なくとも１つの出力用インタフェースを含んで構成される。出力用インタフェースは、ディスプレイ２４及びスピーカ等を含む。出力用インタフェースは、例えばディスプレイ２４の周囲に設けられた、複数のスピーカを含んでよい。ただし、出力用インタフェースは、これに限定されない。

【0035】

カメラ２５は、被写体を撮像して撮像画像を生成可能である。カメラ２５は、例えば、可視光カメラである。カメラ２５は、例えば１５～３０［ｆｐｓ］のフレームレートで被写体を連続的に撮像する。

【0036】

カメラ２５は、ディスプレイ２４に対向するユーザを被写体として撮像可能な位置に配置される。カメラ２５は、ユーザの全身を撮像可能な位置に配置されてよい。図１に例示として、端末装置２０Ａが備える複数のカメラ２５の位置を示す。例えば、端末装置２０が備える複数のカメラ２５のうちの一部は、ディスプレイ２４の正面に埋め込まれる。ディスプレイ２４の正面に埋め込んだカメラ２５によって、ユーザの正面画像を撮像することができる。また、端末装置２０が備える複数のカメラ２５のうちの他の一部は、複数方向からユーザを撮像可能に、ユーザの周囲に配置される。ただし、カメラ２５の配置は、これに限定されない。他の例として、カメラ２５は、ユーザを斜め上から撮像可能な位置に配置されてもよい。

【0037】

測距センサ２６は、被写体までの距離を測定可能である。測距センサ２６は、ディスプレイ２４から被写体までの距離を測定可能な位置に配置される。測距センサ２６は、被写体としてユーザまでの距離を測定可能な位置に配置される。測距センサ２６は、距離画像を生成する。距離画像は、各画素の画素値が距離に対応した画像である。測距センサ２６は、例えば、ＴｏＦ（Time Of Flight）カメラ、ＬｉＤＡＲ（Light Detection And Ranging）又はステレオカメラを含んで構成される。

【0038】

記憶部２７は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ又はこれらのうちの少なくとも２種類の組み合わせを含んで構成される。半導体メモリは、例えば、ＲＡＭ又はＲＯＭ等である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭ等である。ＲＯＭは、例えば、ＥＥＰＲＯＭ等である。記憶部２７は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部２７には、端末装置２０の動作に用いられるデータと、端末装置２０の動作によって得られたデータとが記憶される。

【0039】

制御部２８は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、例えば、ＣＰＵ若しくはＧＰＵ等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ又はＡＳＩＣ等である。制御部２８は、端末装置２０の各部を制御しながら、端末装置２０の動作に関わる処理を実行する。

【0040】

端末装置２０の機能は、本実施形態に係る端末プログラムを、制御部２８に相当するプロセッサで実行することにより実現される。つまり、端末装置２０の機能は、ソフトウェアにより実現される。端末プログラムは、端末装置２０の動作をコンピュータに実行させることにより、コンピュータを端末装置２０として機能させる。つまり、コンピュータは、端末プログラムに従って端末装置２０の動作を実行することにより、端末装置２０として機能する。

【0041】

端末装置２０の一部又は全ての機能が、制御部２８に相当する専用回路により実現されてもよい。つまり、端末装置２０の一部又は全ての機能が、ハードウェアにより実現されてもよい。

【0042】

（提供システムの動作）
図３は、図１に示す提供システム１の動作手順を示すシーケンス図である。以下、第１ユーザ３Ａは、仮想イベントの管理者として仮想イベントを設定するものとする。また、第１ユーザ３Ａ及び第２ユーザ３Ｂは、参加者として仮想イベントに参加するものとする。

【0043】

ステップＳ１の処理において、端末装置２０Ａでは、制御部２８は、第１ユーザ３Ａから設定情報の入力を入力部２２によって受け付ける。設定情報は、仮想イベントを設定するための情報である。設定情報は、例えば、仮想イベントのスケジュール及び参加者リスト等を含む。参加者リストは、参加者の名前と、その参加者の電子メールアドレスとを含む。ここでは、参加者リストは、参加者である第２ユーザ３Ｂの名前と、第２ユーザ３Ｂの電子メールアドレスとを含む。例えば、制御部２８は、通信部２１を介して、サーバ装置１０が提供する仮想イベントを設定するためのサイトにアクセスし、設定情報を入力するための入力画面のデータを取得する。制御部２８は、当該入力画面をディスプレイ２４に表示させ、第１ユーザ３Ａに提示する。第１ユーザ３Ａは、入力画面を見て、設定情報を入力部２２から入力する。

【0044】

ステップＳ２の処理において、端末装置２０Ａでは、制御部２８は、入力部２２によって受け付けた設定情報を、ネットワーク２を介してサーバ装置１０に通信部２１によって送信する。

【0045】

ステップＳ３の処理において、サーバ装置１０では、制御部１３は、ネットワーク２を介して端末装置２０Ａから、設定情報を通信部１１によって受信する。

【0046】

ステップＳ４の処理において、サーバ装置１０では、制御部１３は、ステップＳ３の処理で受信した設定情報に基づいて、仮想イベントを設定する。例えば、制御部１３は、認証情報を生成する。認証情報は、端末装置２０Ｂを用いて仮想イベントに参加する第２ユーザ３Ｂを認証するための情報である。認証情報は、参加者ＩＤ及びパスコード等を含む。参加者ＩＤは、第２ユーザ３Ｂが参加者として仮想イベントに参加する際に用いる識別情報である。

【0047】

ステップＳ５の処理において、サーバ装置１０では、制御部１３は、生成した認証情報を、ネットワーク２を介して端末装置２０Ｂに通信部１１によって送信する。制御部１３は、例えば、認証情報を電子メールに添付して端末装置２０Ｂに送信する。

【0048】

ステップＳ６の処理において、端末装置２０Ｂでは、制御部２８は、ネットワーク２を介してサーバ装置１０から、認証情報を通信部２１によって受信する。制御部２８は、電子メールに添付された認証情報を受信する。

【0049】

ステップＳ７の処理において、端末装置２０Ｂでは、制御部２８は、第２ユーザ３Ｂから認証情報及び参加の申請情報の入力を入力部２２によって受け付ける。例えば、制御部２８は、通信部２１によって、サーバ装置１０が提供する仮想イベントを設定するためのサイトにアクセスし、認証情報及び参加の申請情報を入力するための入力画面のデータを取得する。制御部２８は、当該入力画面をディスプレイ２４に表示させ、第２ユーザ３Ｂに提示する。第２ユーザ３Ｂは、入力画面を見て、電子メールに添付された認証情報と、参加の申請情報とを入力部２２から入力する。

【0050】

ステップＳ８の処理において、端末装置２０Ｂでは、制御部２８は、ネットワーク２を介してサーバ装置１０に、入力部２２によって受け付けた認証情報及び参加の申請情報を通信部２１によって送信する。

【0051】

ステップＳ９の処理において、サーバ装置１０では、制御部１３は、ネットワーク２を介して端末装置２０Ｂから、認証情報及び参加の申請情報を通信部１１によって受信する。制御部１３は、認証情報及び参加の申請情報を受信することにより、第２ユーザ３Ｂの参加受付を完了する（ステップＳ１０）。

【0052】

ステップＳ１１の処理において、サーバ装置１０では、制御部１３は、ネットワーク２を介して端末装置２０Ａ，２０Ｂのそれぞれに、イベントの開始通知を通信部１１によって送信する。

【0053】

ステップＳ１２の処理において、端末装置２０Ａでは、制御部２８は、ネットワーク２を介してサーバ装置１０から、イベントの開始通知を通信部２１によって受信する。制御部２８は、イベントの開始通知を受信すると、第１ユーザ３Ａの撮像を開始したりする。

【0054】

ステップＳ１３の処理において、端末装置２０Ｂでは、制御部２８は、ネットワーク２を介してサーバ装置１０から、イベントの開始通知を通信部２１によって受信する。制御部２８は、イベントの開始通知を受信すると、第２ユーザ３Ｂの撮像を開始したりする。

【0055】

ステップＳ１４の処理において、端末装置２０Ａと端末装置２０Ｂとは、サーバ装置１０を介して仮想イベントを実施する。

【0056】

（端末装置の動作）
図４は、図２に示す端末装置２０の動作手順を示すフローチャートである。図４に示す動作手順は、端末装置２０Ａ，２０Ｂに共通の動作手順である。図４に示す動作手順は、本実施形態に係る端末装置２０の動作方法の一例である。図４に示す動作手順は、図３に示すステップＳ１４の処理において実行される。以下、端末装置２０Ａが図４に示す動作手順を実行するものとして説明する。

【0057】

ステップＳ２１の処理において、制御部２８は、第１ユーザ３Ａのモーションデータを取得する。本実施形態では、制御部２８は、第１ユーザ３Ａの距離画像のデータを第１ユーザ３Ａのモーションデータとして、測距センサ２６によって取得する。第１ユーザ３Ａが動くと、ディスプレイ２４から第１ユーザ３Ａまでの距離が変化する。そのため、第１ユーザ３Ａの距離画像のデータを第１ユーザ３Ａのモーションデータとして用いることができる。

【0058】

ステップＳ２１の処理において、制御部２８は、第１ユーザ３Ａの撮像画像のデータを、カメラ２５によって取得する。

【0059】

ステップＳ２１の処理において、制御部２８は、第１ユーザ３Ａがディスプレイ２４に描いたイラストのデータを、入力部２２のタッチスクリーンに対するタッチ操作に応じて取得する。

【0060】

ステップＳ２１の処理において、制御部２８は、第１ユーザ３Ａが発する発話等の音を入力部２２のマイクロフォンで集音することにより、音データを取得する。

【0061】

ここで、ステップＳ２１の処理において、制御部２８は、同じタイミングで、第１ユーザ３Ａのモーションデータと、第１ユーザ３Ａの撮像画像のデータと、第１ユーザ３Ａのイラストのデータと、第１ユーザ３Ａの音データとを取得する。つまり、第１ユーザ３Ａのモーションデータに、第１ユーザ３Ａの撮像画像のデータ、第１ユーザ３Ａのイラストのデータ及び第１ユーザ３Ａの音データは、同期される。

【0062】

ステップＳ２２の処理において、制御部２８は、ステップＳ２１の処理で取得しデータを符号化することにより、符号化データを生成する。制御部２８は、符号化において、撮像画像のデータ等に対して任意の加工処理（例えば解像度変更及びトリミング等）を実行してよい。

【0063】

ステップＳ２３の処理において、制御部２８は、符号化データをパケットとして、ネットワーク２を介してサーバ装置１０に通信部２１によって送信する。この符号化データは、サーバ装置１０を介して端末装置２０Ｂに送信される。

【0064】

ステップＳ２４の処理において、制御部２８は、撮像等を中断する入力又は仮想イベントから退出する入力を、入力部２２によって受け付けたか否かを判定する。制御部２８は、撮像等を中断する入力又は仮想イベントから退出する入力を受け付けたと判定した場合（ステップＳ２４：ＹＥＳ）、図４に示すような動作手順を終了する。制御部２８は、撮像等を中断する入力又は仮想イベントから退出する入力を受け付けたと判定しない場合（ステップＳ２４：ＮＯ）、ステップＳ２１の処理に戻る。

【0065】

図５は、図２に示す端末装置２０の動作手順を示すフローチャートである。図５に示す動作手順は、端末装置２０Ａ，２０Ｂに共通の動作手順である。図５に示す動作手順は、本実施形態に係る端末装置２０の動作方法の一例である。図５に示す動作手順は、図３に示すステップＳ１４の処理において実行される。以下、端末装置２０Ｂが図５に示す動作手順を実行するものとして説明する。

【0066】

ステップＳ３１の処理において、制御部２８は、符号化データを、ネットワーク２及びサーバ装置１０を介して端末装置２０Ａから、通信部２１によって受信する。

【0067】

ステップＳ３２の処理において、制御部２８は、受信した符号化データを復号する。制御部２８は、符号化データを復号することにより、第１ユーザ３Ａのモーションデータ、第１ユーザ３Ａの撮像画像のデータ、第１ユーザ３Ａのイラストのデータ及び第１ユーザ３Ａの音データを取得する。第１ユーザ３Ａの撮像画像のデータ、第１ユーザ３Ａのイラストのデータ及び第１ユーザ３Ａの音データは、上述したステップＳ２１の処理により、第１ユーザ３Ａのモーションデータに同期されたものである。

【0068】

ステップＳ３３の処理において、制御部２８は、ステップＳ３２の処理で取得したデータを用いて、図６に示すような第１ユーザ３Ａのアバター３２を生成する。例えば、制御部２８は、第１ユーザ３Ａのモーションデータすなわち距離画像のデータを用いてポリゴンモデルを生成する。さらに、制御部２８は、第１ユーザ３Ａの撮像画像のデータを用いたテクスチャマッピングをポリゴンモデルに施すことにより、アバター３２の外観を第１ユーザ３Ａの撮像画像のデータから生成する。ただし、制御部２８は、任意の手法を採用して、第１ユーザ３Ａのアバター３２を生成してよい。

【0069】

ここで、ステップＳ３３の処理において、制御部２８は、アバター３２の外観正面を、ステップＳ３２の処理で取得した第１ユーザ３Ａの撮像画像のデータに含まれる、第１ユーザ３Ａの正面の撮像画像のデータから生成してよい。第１ユーザ３Ａの正面の撮像画像は、例えば、端末装置２０Ａのディスプレイ２４の正面に埋め込まれたカメラ２５によって撮像される。制御部２８は、ステップＳ３２の処理で取得した撮像画像のデータに第１ユーザ３Ａの正面の撮像画像のデータが含まれない場合、アバター３２の外観正面を、第１ユーザ３Ａの他の撮像画像のデータから生成してよい。例えば、制御部２８は、アバター３２の外観正面を、ステップＳ３２の処理で取得した撮像画像のデータに含まれる、複数方向から第１ユーザ３Ａを撮像して生成された撮像画像のデータを補間又は補正等することにより、生成する。又は、制御部２８は、アバター３２の外観正面を、過去に撮像された第１ユーザ３Ａの正面の撮像画像のデータを複製して生成してもよい。

【0070】

ステップＳ３４の処理において、制御部２８は、図６に示すように、仮想空間３０内に、仮想カメラ３１と、アバター３２と、仮想スクリーン３３とを配置する。制御部２８は、仮想カメラ３１とアバター３２との間に、仮想スクリーン３３を配置する。仮想スクリーン３３は、アバター３２側の面３３Ａと、仮想カメラ３１側の面３３Ｂとを含む。面３３Ａは、端末装置２０Ａのディスプレイ２４の画面に対応する。面３３Ｂは、端末装置２０Ｂのディスプレイ２４の画面に対応する。

【0071】

ステップＳ３４の処理において、制御部２８は、アバター３２が仮想スクリーン３３上にイラストを描いているように、アバター３２を仮想空間３０内に配置してよい。例えば、第１ユーザ３Ａが指又はスタイラスペンでディスプレイ２４にタッチしてイラストを描く場合、アバター３２の指又はスタイラスペンが仮想スクリーン３３の面３３Ａにタッチするように、アバター３２を仮想空間３０内に配置する。

【0072】

ステップＳ３４の処理において、制御部２８は、仮想カメラ３１の位置、向き及び視野を、図１に示すような端末装置２０Ｂのディスプレイ２４に対向する第２ユーザ３Ｂの視線に基づいて、決定してもよいし、又は、調整してもよい。例えば、制御部２８は、仮想カメラ３１の位置を第２ユーザ３Ｂの視線の高さに基づいて決定する。また、制御部２８は、仮想カメラ３１の向きを、第２ユーザ３Ｂの視線の方向に基づいて決定する。制御部２８は、端末装置２０Ｂのカメラ２５によって撮像した第２ユーザ３Ｂの撮像画像のデータを解析することにより、第２ユーザ３Ｂの視線のデータを検出してよい。ただし、制御部２８は、仮想カメラ３１の位置、向き及び視野を、入力部２２から受け付けた第２ユーザ２Ｂの操作入力に基づいて、決定してもよいし、又は、調整してもよい。

【0073】

ステップＳ３５の処理において、制御部２８は、ステップＳ３２の処理で取得した第１ユーザ３Ａのイラストのデータに基づいて、図６に示すように、仮想スクリーン３３上に第１ユーザ３Ａのイラストを描画する。例えば、制御部２８は、仮想スクリーン３３の面３３Ａ上にイラストを描画する。

【0074】

ステップＳ３６の処理において、制御部２８は、例えば機械学習等の任意の方法によって、仮想スクリーン３３上に描画されたイラストに文字が含まれるか否かを判定する。制御部２８は、仮想スクリーン３３上に描画されたイラストに文字が含まれると判定した場合（ステップＳ３６：ＹＥＳ）、ステップＳ３７の処理に進む。図６に示す構成では、制御部２８は、イラストに「ｈｅｌｌо」との文字が含まれると判定する。一方、制御部２８は、仮想スクリーン３３上に描画されたイラストに文字が含まれないと判定した場合（ステップＳ３６：ＮＯ）、ステップＳ３８の処理に進む。

【0075】

ステップＳ３７の処理において、制御部２８は、仮想スクリーン３３上の文字を仮想カメラ３１から見て可読可能に反転させる。一例として、制御部２８は、機械学習等の任意の方法によって、アバター３２から見た仮想スクリーン３３上の文字を読む方向を特定してよい。さらに、制御部２８は、特定した文字を読む方向で仮想カメラ３１から見て仮想スクリーン３３上の文字が読めるように、仮想スクリーン３３上の文字を反転させてよい。図６に示す構成では、制御部２８は、仮想スクリーン３３上の「ｈｅｌｌо」との文字を読む方向がアバター３２から見て左側から右側に向かう方向であると特定する。制御部２８は、仮想カメラ３１から見て「ｈｅｌｌо」との文字が左側から右側に向かう方向に読めるように、仮想スクリーン３３上の「ｈｅｌｌо」との文字を反転させる。別の例として、制御部２８は、アバター３２から見た仮想スクリーン３３上の文字を読む方向が上側から下側に向かう方向であると特定し得る。この場合、制御部２８は、仮想カメラ３１から見て可読可能になるように、仮想スクリーン３３上の文字の左右を反転させる。制御部２８は、反転させる文字の中心に軸を設定し、設定した軸を中心に文字を反転させてよい。

【0076】

ステップＳ３７の処理において、制御部２８は、仮想スクリーン３３上に描画されたイラストに含まれる文字を単語単位又は文章単位で、仮想カメラ３１から見て可読可能に反転させてよい。例えば、制御部２８は、仮想スクリーン３３上に描画されたイラストに含まれる文字が単語を構成しているが、文章を構成していないと判定した場合、当該文字を単語単位で仮想カメラ３１から見て可読可能に反転させる。また、制御部２８は、仮想スクリーン３３上に描画されたイラストに含まれる文字が文章を構成していると判定した場合、当該文字を文章単位で仮想カメラ３１から見て可読可能に反転させる。なお、制御部２８は、仮想スクリーン３３上に描画されたイラストに含まれる文字が単語及び文章を構成していないと判定した場合、当該文字を仮想カメラ３１から見て可読可能に反転させてよい。制御部２８は、機械学習等の任意の方法によって、仮想スクリーン３３上の文字が単語を構成しているか又は文章を構成しているか等を判定してよい。仮想スクリーン３３上の文字を単語単位又は文章単位で自動的に反転させることにより、第２ユーザ３Ｂは、文字を読みやすくなる。そのため、第２ユーザ３Ｂの利便性を向上させることができる。

【0077】

ステップＳ３８の処理において、制御部２８は、図６に示すような仮想カメラ３１から見て仮想スクリーン３３に投影された仮想空間３０の２次元画像をレンダリングにより生成する。

【0078】

ステップＳ３９の処理において、制御部２８は、ディスプレイ２４に、ステップ３８の処理で生成した２次元画像を表示させる。また、制御部２８は、出力部２３のスピーカに、ステップＳ３２の処理で取得した音を出力させる。制御部２８は、出力部２３の複数のスピーカのうちから、音を出力させるスピーカを適宜選択してもよい。例えば、ディスプレイ２４に表示される２次元画像には、アバター３２が描画される。制御部２８は、描画されたアバター３２付近から音が出力されるように、ディスプレイ２４の周囲に設けられた複数のスピーカのうちから、描画されたアバター３２付近のスピーカを、音を出力させるスピーカとして選択する。

【0079】

ステップＳ３９の処理を実行した後、制御部２８は、ステップＳ３１の処理に戻る。制御部２８は、例えば符号化データが端末装置２０Ａから送信されなくなるか、又は仮想イベントが終了するまで、ステップＳ３１～Ｓ３９の処理を繰り返し実行する。

【0080】

２回目以降のステップＳ３４，Ｓ３５の処理では、制御部２８は、第１ユーザ３Ａのモーションデータと、当該モーションデータに同期された第１ユーザ３Ａのイラストのデータとに基づいて、図６に示すようなアバター３２を動かす。制御部２８は、アバター３２が仮想スクリーン３３上に第１ユーザ３Ａのイラストを描いていくようにアバター３２を動かしつつ、仮想スクリーン３３上にイラストを描画する。制御部２８は、リアルタイムに、アバター３２が仮想スクリーン３３上に第１ユーザ３Ａのイラストを描いていくようにアバター３２を動かしつつ、仮想スクリーン３３上にイラストを描画してよい。リアルタイムにアバター３２を動かしたりすることにより、第１ユーザ３Ａと第２ユーザ３Ｂとは、リアルタイムにコミュニケーションをとることができる。

【0081】

このようにステップＳ３９の処理によって、図６に示すような仮想空間３０の２次元画像が端末装置２０Ｂのディスプレイ２４に表示される。このような構成により、第２ユーザ３Ｂには、端末装置２０Ｂのディスプレイ２４を介して、第１ユーザ３Ａが第２ユーザ３Ｂに向き合った状態で、端末装置２０Ｂのディスプレイ２４にイラストを描いているように見える。そのため、第２ユーザ３Ｂは、第１ユーザ３Ａがイラストを描く姿及びそのイラストを、ガラス越しに見ているかのように感じることができる。したがって、第１ユーザ３Ａと第２ユーザ３Ｂとは、イラスト及びイラストを描く姿を共有することができる。

【0082】

また、ステップＳ３３の処理にてアバター３２の外観が第１ユーザ３Ａの撮像画像のデータから生成されることにより、第２ユーザ３Ｂは、第１ユーザ３Ａ自身がイラストを描いているように感じることができる。このような構成により、ユーザ間のコミュニケーションを向上させることができる。

【0083】

また、ステップＳ３７の処理によって、仮想スクリーン３３上に描画されたイラストに含まれる文字が仮想カメラ３１から見て可読可能に反転される。このような構成により、仮想空間３０の２次元画像が端末装置２０Ｂのディスプレイ２４に表示された際、第２ユーザ３Ｂから見て文字が可読可能になる。したがって、第２ユーザ３Ｂの利便性を向上させることができる。よって、文字をユーザに適切に表示する技術を提供することができる。

【0084】

以下、本実施形態の変形例について説明する。

【0085】

上述したステップＳ３３の処理において、制御部２８は、アバター３２の外観をキャラクタの画像のデータから生成してもよい。この場合、制御部２８は、キャラクタの画像のデータを用いたテクスチャマッピングをポリゴンモデルに施すことにより、アバター３２の外観をキャラクタの画像のデータから生成する。アバター３２の外観をキャラクタの画像のデータから生成することにより、遊戯性を高めることができる。そのため、ユーザ間のコミュニケーションを向上させることができる。

【0086】

上述したステップＳ３４の処理において、制御部２８は、アバター３２の代わりに、図６に示すような仮想オブジェクト３４を仮想空間に配置してもよい。この場合、制御部２８は、仮想カメラ３１と仮想オブジェクト３４との間に、仮想スクリーン３３を配置する。制御部２８は、第１ユーザ３Ａの撮像画像に写り込んだオブジェクトによって、仮想オブジェクト３４を生成してもよい。又は、制御部２８は、予め設定されたオブジェクトを仮想オブジェクト３４として用いてもよい。アバター３２の代わりに仮想オブジェクト３４を用いても、第２ユーザ３Ｂは、端末装置２０Ｂのディスプレイ２４に表示された仮想空間３０の２次元画像に奥行きを感じることができる。第２ユーザ３Ｂは、ディスプレイ２４に表示された２次元画像に奥行きを感じることにより、ディスプレイ２４に表示された第１ユーザ３Ａのイラストを、ガラス越しに見ているように感じることができる。

【0087】

上述したステップＳ３７の処理において、制御部２８は、入力部２２によって受け付けた第２ユーザ３Ｂの操作入力に基づいて、仮想スクリーン３３上に描画されたイラストに含まれ文字を仮想カメラ３１から見て可読可能に反転させてもよい。一例として、制御部２８は、ディスプレイ２４と一体として設けられた入力部２２のタッチスクリーンによって、ディスプレイ２４の文字部分に対する第２ユーザ３Ｂのタッチ操作を受け付けてよい。制御部２８は、このタッチ操作を受け付けると、仮想スクリーン３３上に描画されたイラストに含まれ文字を仮想カメラ３１から見て可読可能に反転させてよい。このような構成により、第２ユーザ３Ｂは、ディスプレイ２４に表示される文字を所望のタイミングで反転させることができる。

【0088】

本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行ってもよいことに注意されたい。したがって、これらの変形及び改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

【0089】

例えば、上述した実施形態では、表示装置は、ディスプレイであるものとして説明した。ただし、表示装置は、ディスプレイに限定されない。他の例として、表示装置は、プロジェクタであってもよい。表示装置がプロジェクタである場合、制御部２８は、第１ユーザ３Ａのモーションデータ及びイラストのデータの両方を測距センサ２６によって取得してもよい。第１ユーザ３Ａがイラストを描く際に動くことにより、第１ユーザ３Ａのモーションデータから、第１ユーザ３Ａのイラストのデータを推定して取得することができる。

【0090】

例えば、端末装置２０の制御部２８は、図５に示すようなステップＳ３６，Ｓ３７の処理を実行しなくてもよい。この場合、例えば、繰り返し実行するステップＳ３４，Ｓ３５の処理において、端末装置２０Ｂの制御部２８は、第１ユーザ３Ａのモーションデータに基づいて、アバター３２を動かしてよい。制御部２８は、アバター３２が仮想スクリーン３３上に第１ユーザ３Ａのイラストを描いていくようにアバター３２を動かしつつ、仮想スクリーン３３上に第１ユーザ３Ａのイラストを描画してよい。このような構成によって、上述したように、第２ユーザ３Ｂは、第１ユーザ３Ａがイラストを描く姿及びそのイラストを、ガラス越しに見ているかのように感じることができる。したがって、第１ユーザ３Ａと第２ユーザ３Ｂとは、イラスト及びイラストを描く姿を共有することができる。

【0091】

例えば、上述した実施形態では、端末装置２０Ａと端末装置２０Ｂとは、サーバ装置１０を介して仮想イベントを実施するものとして説明した。ただし、端末装置２０Ａと端末装置２０Ｂとは、サーバ装置１０を介さずに、仮想イベントを実施してもよい。一例として、端末装置２０Ａと端末装置２０Ｂとは、Ｐ２Ｐ（Peer to Peer）型のアーキテクチャーで接続された状態で、仮想イベントを実施してもよい。

【0092】

例えば、汎用のコンピュータを、上述した実施形態に係る端末装置２０として機能させる実施形態も可能である。具体的には、上述した実施形態に係る端末装置２０の各機能を実現する処理内容を記述したプログラムを、汎用のコンピュータのメモリに格納し、プロセッサによって当該プログラムを読み出して実行させる。したがって、本開示は、プロセッサが実行可能なプログラム、又は、当該プログラムを記憶する非一時的なコンピュータ可読媒体としても実現可能である。

【符号の説明】

【0093】

１ 提供システム
２ ネットワーク
１０ サーバ装置
１１ 通信部
１２ 記憶部
１３ 制御部
２０，２０Ａ，２０Ｂ 端末装置
２１ 通信部
２２ 入力部
２３ 出力部
２４ ディスプレイ
２５ カメラ
２６ 測距センサ
２７ 記憶部
２８ 制御部
３０ 仮想空間
３１ 仮想カメラ
３２ アバター
３３ 仮想スクリーン
３３Ａ，３３Ｂ 面
３４ 仮想オブジェクト
３Ａ 第１ユーザ
３Ｂ 第２ユーザ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】