特許 7574815 情報処理方法、情報処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-21

(45)【発行日】2024-10-29

(54)【発明の名称】情報処理方法、情報処理装置及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241022BHJP

   H04N 7/15 20060101ALI20241022BHJP

【ＦＩ】

G06T19/00 A

H04N7/15 170

【請求項の数】 4

(21)【出願番号】P 2022015238

(22)【出願日】2022-02-02

(65)【公開番号】P2023113081

(43)【公開日】2023-08-15

【審査請求日】2023-11-24

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100139491

【弁理士】

【氏名又は名称】河合 隆慶

(74)【代理人】

【氏名又は名称】石井 裕充

(72)【発明者】

【氏名】加来 航

【審査官】鈴木 明

(56)【参考文献】

【文献】米国特許出願公開第２０２１／０４００２３４（ＵＳ，Ａ１）

【文献】国際公開第２０２０／１８５３１５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ７／１５

(57)【特許請求の範囲】

【請求項1】

第１のユーザ端末及び第２のユーザ端末と通信可能な情報処理装置による情報処理方法であって、
前記第１のユーザ端末は第１の表示部を含み、前記第１の表示部は第１のユーザによって目視され、
前記第２のユーザ端末は第２の表示部を含み、前記第２の表示部は第２のユーザによって目視され、
第１の仮想空間内に設置された第１の仮想カメラによって撮像された第１のユーザに対応する第１のオブジェクト画像を生成することとと、
第２の仮想空間内に設置された第２の仮想カメラによって撮像された第２のユーザに対応する第２のオブジェクト画像を生成することと、
前記第１のオブジェクト画像を前記第２のユーザ端末に送信することと、
前記第２のオブジェクト画像を前記第１のユーザ端末に送信することと、
を含み、
前記第２の仮想空間において、前記第２のユーザは、前記第２の仮想カメラから、実空間での前記第１のユーザから前記第１の表示部までの物理距離と同じ距離だけ離して配置され、前記第２の仮想カメラによりレンダリングされ、
前記第１の仮想空間において、前記第１のユーザは、前記第１の仮想カメラから、実空間での前記第２のユーザから前記第２の表示部までの物理距離と同じ距離だけ離して配置され、前記第１の仮想カメラによりレンダリングされる、
情報処理方法。

【請求項2】

請求項１に記載の情報処理方法において、
前記第１の表示部及び前記第２の表示部のそれぞれはライトフィールドディスプレイを含む、情報処理方法。

【請求項3】

第１のユーザ端末及び第２のユーザ端末と通信可能な情報処理装置であって、制御部を含み、
前記第１のユーザ端末は第１の表示部を含み、前記第１の表示部は第１のユーザによって目視され、
前記第２のユーザ端末は第２の表示部を含み、前記第２の表示部は第２のユーザによって目視され、
前記制御部は、
第１の仮想空間内に設置された第１の仮想カメラによって撮像された第１のユーザに対応する第１のオブジェクト画像を生成することとと、
第２の仮想空間内に設置された第２の仮想カメラによって撮像された第２のユーザに対応する第２のオブジェクト画像を生成することと、
前記第１のオブジェクト画像を前記第２のユーザ端末に送信することと、
前記第２のオブジェクト画像を前記第１のユーザ端末に送信することと、
を含む動作を実行し、
前記第２の仮想空間において、前記第２のユーザは、前記第２の仮想カメラから、実空間での前記第１のユーザから前記第１の表示部までの物理距離と同じ距離だけ離して配置され、前記第２の仮想カメラによりレンダリングされ、
前記第１の仮想空間において、前記第１のユーザは、前記第１の仮想カメラから、実空間での前記第２のユーザから前記第２の表示部までの物理距離と同じ距離だけ離して配置され、前記第１の仮想カメラによりレンダリングされる、
情報処理装置。

【請求項4】

第１のユーザ端末及び第２のユーザ端末と通信可能な情報処理装置としてのコンピュータであって、
前記第１のユーザ端末は第１の表示部を含み、前記第１の表示部は第１のユーザによって目視され、
前記第２のユーザ端末は第２の表示部を含み、前記第２の表示部は第２のユーザによって目視される、
コンピュータに、
第１の仮想空間内に設置された第１の仮想カメラによって撮像された第１のユーザに対応する第１のオブジェクト画像を生成することとと、
第２の仮想空間内に設置された第２の仮想カメラによって撮像された第２のユーザに対応する第２のオブジェクト画像を生成することと、
前記第１のオブジェクト画像を前記第２のユーザ端末に送信することと、
前記第２のオブジェクト画像を前記第１のユーザ端末に送信することと、
を含む動作を実行させ、
前記第２の仮想空間において、前記第２のユーザは、前記第２の仮想カメラから、実空間での前記第１のユーザから前記第１の表示部までの物理距離と同じ距離だけ離して配置され、前記第２の仮想カメラによりレンダリングされ、
前記第１の仮想空間において、前記第１のユーザは、前記第１の仮想カメラから、実空間での前記第２のユーザから前記第２の表示部までの物理距離と同じ距離だけ離して配置され、前記第１の仮想カメラによりレンダリングされる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理方法、情報処理装置及びプログラムに関する。

【背景技術】

【0002】

従来、映像を表示する表示装置の表示面を正面から見ている被写体の第１の映像を、表示装置側から可視光映像カメラにより撮影し、被写体までの距離を示す距離映像を距離カメラにより撮影し、可視光映像カメラで撮影した第１の映像から、距離カメラで撮影した距離映像を用いて、可視光映像カメラの位置と異なる位置から撮影した第２の映像を生成する遠隔対面コミュニケーション装置が知られている（例えば特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開2011-166316号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記背景技術のようなビデオ会議では、センサの視認性によって対話相手との距離が大きくなることがある。この場合、アイコンタクトを取って会話をすることができない。

【0005】

かかる事情に鑑みてなされた本開示の目的は、アイコンタクトを取りながらの対話が可能なビデオ通話を提供することができる情報処理方法、情報処理装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

本開示の一実施形態に係る情報処理方法は、
第１のユーザ端末及び第２のユーザ端末と通信可能な情報処理装置による情報処理方法であって、
前記第１のユーザ端末は第１の表示部を含み、前記第１の表示部は第１のユーザによって目視され、
前記第２のユーザ端末は第２の表示部を含み、前記第２の表示部は第２のユーザによって目視され、
第１の仮想空間内に設置された第１の仮想カメラによって撮像された第１のユーザに対応する第１のオブジェクト画像を生成することとと、
第２の仮想空間内に設置された第２の仮想カメラによって撮像された第２のユーザに対応する第２のオブジェクト画像を生成することと、
前記第１のオブジェクト画像を前記第２のユーザ端末に送信することと、
前記第２のオブジェクト画像を前記第１のユーザ端末に送信することと、
を含み、
前記第２の仮想空間において、前記第２のユーザは、前記第２の仮想カメラから、実空間での前記第１のユーザから前記第１の表示部までの物理距離と同じ距離だけ離して配置され、前記第２の仮想カメラによりレンダリングされ、
前記第１の仮想空間において、前記第１のユーザは、前記第１の仮想カメラから、実空間での前記第２のユーザから前記第２の表示部までの物理距離と同じ距離だけ離して配置され、前記第１の仮想カメラによりレンダリングされる。

【0007】

本開示の一実施形態に係る情報処理装置は、
第１のユーザ端末及び第２のユーザ端末と通信可能な情報処理装置であって、制御部を含み、
前記第１のユーザ端末は第１の表示部を含み、前記第１の表示部は第１のユーザによって目視され、
前記第２のユーザ端末は第２の表示部を含み、前記第２の表示部は第２のユーザによって目視され、
前記制御部は、
第１の仮想空間内に設置された第１の仮想カメラによって撮像された第１のユーザに対応する第１のオブジェクト画像を生成することとと、
第２の仮想空間内に設置された第２の仮想カメラによって撮像された第２のユーザに対応する第２のオブジェクト画像を生成することと、
前記第１のオブジェクト画像を前記第２のユーザ端末に送信することと、
前記第２のオブジェクト画像を前記第１のユーザ端末に送信することと、
を含む動作を実行し、
前記第２の仮想空間において、前記第２のユーザは、前記第２の仮想カメラから、実空間での前記第１のユーザから前記第１の表示部までの物理距離と同じ距離だけ離して配置され、前記第２の仮想カメラによりレンダリングされ、
前記第１の仮想空間において、前記第１のユーザは、前記第１の仮想カメラから、実空間での前記第２のユーザから前記第２の表示部までの物理距離と同じ距離だけ離して配置され、前記第１の仮想カメラによりレンダリングされる。

【0008】

本開示の一実施形態に係るプログラムは、
第１のユーザ端末及び第２のユーザ端末と通信可能な情報処理装置としてのコンピュータであって、
前記第１のユーザ端末は第１の表示部を含み、前記第１の表示部は第１のユーザによって目視され、
前記第２のユーザ端末は第２の表示部を含み、前記第２の表示部は第２のユーザによって目視される、
コンピュータに、
第１の仮想空間内に設置された第１の仮想カメラによって撮像された第１のユーザに対応する第１のオブジェクト画像を生成することとと、
第２の仮想空間内に設置された第２の仮想カメラによって撮像された第２のユーザに対応する第２のオブジェクト画像を生成することと、
前記第１のオブジェクト画像を前記第２のユーザ端末に送信することと、
前記第２のオブジェクト画像を前記第１のユーザ端末に送信することと、
を含む動作を実行させ、
前記第２の仮想空間において、前記第２のユーザは、前記第２の仮想カメラから、実空間での前記第１のユーザから前記第１の表示部までの物理距離と同じ距離だけ離して配置され、前記第２の仮想カメラによりレンダリングされ、
前記第１の仮想空間において、前記第１のユーザは、前記第１の仮想カメラから、実空間での前記第２のユーザから前記第２の表示部までの物理距離と同じ距離だけ離して配置され、前記第１の仮想カメラによりレンダリングされる。

【発明の効果】

【0009】

本開示の一実施形態による情報処理方法、情報処理装置及びプログラムによれば、アイコンタクトを取りながらの対話が可能なビデオ通話を提供することができる。

【図面の簡単な説明】

【0010】

【図1】情報処理システムの概略図である。

【図2】情報処理装置の構成を示すブロック図である。

【図3】第１のユーザ端末の構成を示すブロック図である。

【図4】第２のユーザ端末の構成を示すブロック図である。

【図5】対話ＤＢ(database)のデータ構造を示す図である。

【図6】第１のユーザ側の対話を示す図である。

【図7】第２のユーザ側の対話を示す図である。

【図8】図６に示される対話において第１のユーザが移動したときの対話を示す図である。

【図9】情報処理装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0011】

図１は、本実施形態の情報処理システムＳの概略図である。情報処理システムＳは、ネットワークＮＷを介して互いに通信可能な情報処理装置１と第１のユーザ端末２と第２のユーザ端末３とを含む。ネットワークＮＷは、例えば移動体通信網又はインターネットを含む。

【0012】

図１では説明の簡便のため、情報処理装置１と第１のユーザ端末２と第２のユーザ端末３とは１つずつ図示される。しかし、情報処理装置１と第１のユーザ端末２と第２のユーザ端末３との数はこれに限られない。例えば、本実施形態の情報処理装置１が実行する処理は、分散配置された複数の情報処理装置１によって実行されてよい。

【0013】

情報処理装置１は、データセンタなどの施設に設置される。情報処理装置１は、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属するサーバなどのコンピュータである。

【0014】

図２を参照して情報処理装置１の内部構成が詳細に説明される。

【0015】

情報処理装置１は、制御部１１と通信部１２と記憶部１３とを含む。情報処理装置１の各構成要素は、例えば専用線を介して互いに通信可能に接続される。

【0016】

制御部１１は例えば、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）を含む１つ以上の汎用プロセッサを含む。制御部１１は、特定の処理に特化した１つ以上の専用プロセッサを含んでよい。制御部１１は、プロセッサを含む代わりに、１つ以上の専用回路を含んでもよい。専用回路は例えば、ＦＰＧＡ（Field-Programmable Gate Array）、又はＡＳＩＣ（Application Specific Integrated Circuit）であってよい。制御部１１は、ＥＣＵ（Electronic Control Unit）を含んでもよい。制御部１１は通信部１２を介して、任意の情報を送信及び受信する。

【0017】

通信部１２は、ネットワークＮＷに接続するための、１つ以上の有線又は無線ＬＡＮ（Local Area Network）規格に対応する通信モジュールを含む。通信部１２は、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、又は５Ｇ（5th Generation）を含む１つ以上の移動体通信規格に対応するモジュールを含んでよい。通信部１２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＡｉｒＤｒｏｐ（登録商標）、ＩｒＤＡ、ＺｉｇＢｅｅ（登録商標）、Ｆｅｌｉｃａ（登録商標）、又はＲＦＩＤを含む１つ以上の近距離通信の規格又は仕様に対応する通信モジュール等を含んでよい。通信部１２は、ネットワークＮＷを介して任意の情報を送信及び受信する。

【0018】

記憶部１３は、例えば半導体メモリ、磁気メモリ、光メモリ、又はこれらのうち少なくとも２種類の組み合わせが含まれるが、これらに限られない。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。ＲＯＭは、例えば、ＥＥＰＲＯＭである。記憶部１３は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１３は、制御部１１によって分析又は処理された結果の情報を記憶してよい。記憶部１３は、情報処理装置１の動作又は制御に関する各種情報等を記憶してよい。記憶部１３は、システムプログラム、アプリケーションプログラム、及び組み込みソフトウェア等を記憶してよい。記憶部１３は情報処理装置１の外部に設けられて、情報処理装置１からアクセスされてよい。記憶部１３は後述される対話ＤＢを含む。

【0019】

第１のユーザ端末２は、ユーザによって操作される端末である。第１のユーザ端末２は、例えば、ＰＣなどの汎用機器、又は専用機器であってよい。「ＰＣ」は、personal computerの略語である。代替例として第１のユーザ端末２は、携帯電話機、スマートフォン、ウェアラブル機器、若しくはタブレットなどのモバイル機器であってよい。

【0020】

図３を参照して第１のユーザ端末２の内部構成が詳細に説明される。

【0021】

第１のユーザ端末２は、制御部２１と通信部２２と記憶部２３と入力部２４と出力部２５と表示部２６と撮像部２７とを含む。第１のユーザ端末２の各構成要素は、例えば専用線を介して互いに通信可能に接続される。

【0022】

第１のユーザ端末２の制御部２１と通信部２２と記憶部２３とのハードウェア構成は、情報処理装置１の制御部１１と通信部１２と記憶部１３とのハードウェア構成と同一であってよい。ここでの説明は省略される。

【0023】

入力部２４は例えば、マイク、物理キー、静電容量キー、ポインティングデバイス、又は、ディスプレイと一体的に設けられたタッチスクリーンである。入力部２４は、第１のユーザ端末２の動作に用いられる情報を入力する操作を受け付ける。入力部２４は、第１のユーザ端末２に備えられる代わりに、外部の入力機器として第１のユーザ端末２に接続されてもよい。接続方式としては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）等の任意の方式を用いることができる。

【0024】

出力部２５は、情報を出力してユーザに通知する１つ以上の出力インタフェースを含む。例えば、出力部２５に含まれる出力インタフェースは、情報を音声で出力するスピーカ等であるが、これらに限られない。

【0025】

表示部２６は例えば、ディスプレイである。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイである。「ＬＣＤ」は、liquid crystal displayの略語である。「ＥＬ」は、electro luminescenceの略語である。表示部２６は、第１のユーザ端末２に備えられる代わりに、外部の出力機器として第１のユーザ端末２に接続されてもよい。接続方式としては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）等の任意の方式を用いることができる。「ＵＳＢ」は、Universal Serial Busの略語である。「ＨＤＭＩ（登録商標）」は、High-Definition Multimedia Interfaceの略語である。表示部２６は例えばライトフィールドディスプレイ（ＬＦＤ：Light Field Display）を含んでよい。

【0026】

撮像部２７はカメラを含み、画像を撮像する。例えば撮像部２７は、３Ｄホログラム用の２台のカメラと、目の位置のトラッキング用の１台のカメラとを含んでよい。画像は静止画又は動画のいずれであってもよい。撮像部２７は、画像を生成し、生成した画像を記憶部１３に記録してよい。

【0027】

第２のユーザ端末３は、ユーザによって操作される端末である。第２のユーザ端末３は、例えば、ＰＣなどの汎用機器、又は専用機器であってよい。「ＰＣ」は、personal computerの略語である。代替例として第２のユーザ端末３は、携帯電話機、スマートフォン、ウェアラブル機器、若しくはタブレットなどのモバイル機器であってよい。

【0028】

図４を参照して第２のユーザ端末３の内部構成が詳細に説明される。

【0029】

第２のユーザ端末３は、制御部３１と通信部３２と記憶部３３と入力部３４と出力部３５と表示部３６と撮像部３７とを含む。第２のユーザ端末３の各構成要素は、例えば専用線を介して互いに通信可能に接続される。

【0030】

第２のユーザ端末３の制御部３１と通信部３２と記憶部３３と入力部３４と出力部３５と表示部３６と撮像部３７とのハードウェア構成についての説明は、第１のユーザ端末２の制御部２１と通信部２２と記憶部２３と入力部２４と出力部２５と表示部２６と撮像部２７との説明と同一であってよい。ここでの説明は省略される。

【0031】

以下、本実施形態の情報処理システムＳで実行される処理が説明される。ここでは、第１のユーザ端末２を操作する第１のユーザと、第２のユーザ端末３を操作する第２のユーザとが、ビデオ通話を行う。第１のユーザは第１のユーザ端末２の表示部２６（第１の表示部とも称される）を目視する。第２のユーザは第２のユーザ端末３の表示部３６（第２の表示部とも称される）を目視する。第１のユーザ端末２の制御部２１は、撮像部２７を用いて第１のユーザを撮像し、入力部２４のマイクを用いて第１のユーザの音声を取得する。制御部２１は、第１のユーザについての画像と音声とを情報処理装置１に送信する。情報処理装置１の制御部１１は、取得した画像から、第１のオブジェクト画像を生成する。生成処理の詳細は後述される。制御部１１は、第１のオブジェクト画像及び音声を第２のユーザ端末３に送信する。第２のユーザ端末３は、取得した第１のオブジェクト画像を表示部３６に表示すると共に、取得した音声を出力部３５のスピーカから出力する。

【0032】

第２のユーザは、第１のユーザについての第１のオブジェクト画像及び音声を視聴して、第１のユーザに対して返答する。第２のユーザ端末３の制御部３１は、撮像部３７を用いて第２のユーザを撮像し、入力部３４のマイクを用いて第２のユーザの音声を取得する。制御部３１は、第２のユーザについての画像と音声とを情報処理装置１に送信する。情報処理装置１の制御部１１は、第２のユーザについての画像から、第２のオブジェクト画像を生成する。第２のユーザについての画像及び音声に対して情報処理装置１の制御部１１が実行する処理は、第１のユーザについての画像及び音声に対して情報処理装置１の制御部１１が実行する処理と同一でよい。ここでの説明は省略される。

【0033】

図５に示されるように、制御部１１は、対話ＩＤに関連付けて、第１のオブジェクト画像Ｍ０１と第２のオブジェクト画像Ｍ０２とを記憶部１３に記憶する。

【0034】

第１のオブジェクト画像及び第２のオブジェクト画像の生成処理が詳細に説明される。

【0035】

制御部１１は、第１のオブジェクト画像及び第２のオブジェクト画像を、例えば３次元コンピュータグラフィックスの技術を用いて生成してよい。第１のオブジェクト画像及び第２のオブジェクト画像は、３次元空間内の仮想的な立体物を２次元である平面上の情報に変換することで生成された、奥行き感（立体感）のある画像である。生成過程で行われるモデリング、シーンレイアウト設定、レンダリング及びレタッチの少なくとも１つには、任意の手法を適用可能である。

【0036】

図６に示されるように、実空間ＲＳにおいて、第１のユーザＰ０１は第１のユーザ端末２の表示部２６及び撮像部２７に向かって発話する。第１のユーザＰ０１から表示部２６までの物理距離をＤ１とする。表示部２６には、第２の仮想空間Ｖ２が表示される。第２の仮想空間Ｖ２には第２の仮想カメラＶＣ２が設置される。第２の仮想空間Ｖ２には、第２のユーザＰ０２についての第２のオブジェクト画像が表示される。

【0037】

情報処理装置１の制御部１１は、第２のオブジェクト画像の生成において、第２のユーザＰ０２が第２の仮想カメラＶＣ２目線であるように、第２のオブジェクト画像を生成する。第２の仮想空間Ｖ２において、第２のユーザＰ０２は、第２の仮想カメラＶＣ２から、実空間ＲＳでの第１のユーザＰ０１から表示部２６までの物理距離Ｄ１と同じ距離だけ離して配置され、第２の仮想カメラＶＣ２によりレンダリングされる。第１のユーザＰ０１は、表示部２６を介して、第２のユーザＰ０２とアイコンタクトを取りながら対話することができる。

【0038】

類似的に、図７に示されるように、実空間ＲＳにおいて、第２のユーザＰ０２は第２のユーザ端末３の表示部３６及び撮像部３７に向かって発話する。第２のユーザＰ０２から表示部３６までの物理距離をＤ２とする。表示部３６には、第１の仮想空間Ｖ１が表示される。第１の仮想空間Ｖ１には、第１のユーザＰ０１についての第１のオブジェクト画像が表示される。

【0039】

情報処理装置１の制御部１１は、第１のオブジェクト画像の生成において、第１のユーザＰ０１が第１の仮想カメラＶＣ１目線であるように、第１のオブジェクト画像を生成する。第１の仮想空間Ｖ１において、第１のユーザＰ０１は、第１の仮想カメラＶＣ１から、実空間ＲＳでの第２のユーザＰ０２から表示部３６までの物理距離Ｄ２と同じ距離だけ離して配置され、第１の仮想カメラＶＣ１によりレンダリングされる。第２のユーザＰ０２は、表示部３６を介して、第１のユーザＰ０１とアイコンタクトを取りながら対話することができる。

【0040】

図６において対話中の第１のユーザＰ０１は、表示部２６に近づく又は遠ざかる場合がある。あるいは第１のユーザＰ０１は、左右にずれる場合がある。ここでは一例として第１のユーザＰ０１が表示部２６に近づいた場合に行われる処理が説明される。図６において説明された生成方法と重複する説明は省略される。

【0041】

図８に示されるように、第１のユーザＰ０１は表示部２６に近づく。このときの第１のユーザＰ０１から表示部２６までの距離はＤ３である。情報処理装置１の制御部１１は、第２の仮想カメラＶＣ２から第２のユーザＰ０２までの距離がＤ３となるように、第２のオブジェクト画像を生成する。第１のユーザＰ０１は、表示部２６を介して、第２のユーザＰ０２とアイコンタクトを取りながら対話することができる。

【0042】

図９を参照して、情報処理装置１の制御部１１による情報処理方法が説明される。情報処理は、第１のユーザ端末２と第２のユーザ端末３との間の円滑な対話を可能にするために必要な頻度で実行される。

【0043】

ステップＳ１にて制御部１１は、第１のユーザ端末２から撮像画像を取得すると、第１のオブジェクト画像を生成する。

【0044】

ステップＳ２にて制御部１１は、第２のユーザ端末３から撮像画像を取得すると、第２のオブジェクト画像を生成する。

【0045】

ステップＳ３にて制御部１１は、第１のオブジェクト画像を第２のユーザ端末３に送信する。ステップＳ３は、ステップＳ１より後の任意のタイミングで実行されてよい。第１のオブジェクト画像は第２のユーザ端末３に表示される。

【0046】

ステップＳ４にて制御部１１は、第２のオブジェクト画像を第１のユーザ端末２に送信する。ステップＳ４は、ステップＳ２より後の任意のタイミングで実行されてよい。第２のオブジェクト画像は第１のユーザ端末２に表示される。

【0047】

ステップＳ５にて制御部１１は、第１のユーザ端末２と第２のユーザ端末３との間の対話が終了したか否かを判定する。

【0048】

ステップＳ５にてＹｅｓのとき制御部１１は、フローを終了する。

【0049】

ステップＳ５にてＮｏのとき制御部１１は、ステップＳ１に戻る。

【0050】

以上述べたように本実施形態によれば、第２の仮想空間Ｖ２において、第２のユーザＰ０２は、第２の仮想カメラＶＣ２から、実空間での第１のユーザＰ０１から表示部２６までの物理距離と同じ距離だけ離して配置され、第２の仮想カメラＶＣ２によりレンダリングされる。第１の仮想空間Ｖ１において、第１のユーザＰ０１は、第１の仮想カメラＶＣ１から、実空間での第２のユーザＰ０２から表示部３６までの物理距離と同じ距離だけ離して配置され、第１の仮想カメラＶＣ１によりレンダリングされる。この構成により第１のユーザＰ０１及び第２のユーザＰ０２は、ビデオ対話でアイコンタクトを取って会話をすることができる。第１のユーザＰ０１又は第２のユーザＰ０２が対話中に表示部に近づき又は表示部から遠ざかっても、同様である。

【0051】

また本実施形態によれば、表示部２６及び表示部３６のそれぞれはライトフィールドディスプレイを含む。ライトフィールドディスプレイは横方向にしか作画できないため、ディスプレイ面（接面）でオブジェクトを切断したときの切り口に相当する部分（輪郭）しか再現性が良くないという問題がある。本実施形態をライトフィールドディスプレイに適用することで、上記切り口以外でもオブジェクトの再現性が良くなる。

【0052】

例えば、上記の実施形態において、情報処理装置１の機能又は処理の全部又は一部を実行するプログラムは、コンピュータで読取り可能な記録媒体に記録しておくことができる。コンピュータで読取り可能な記録媒体は、非一時的なコンピュータ読取可能な媒体を含み、例えば、磁気記録装置、光ディスク、光磁気記録媒体、又は半導体メモリである。プログラムの流通は、例えば、プログラムを記録したＤＶＤ（Digital Versatile Disc）又はＣＤ－ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体を販売、譲渡、又は貸与することによって行う。またプログラムの流通は、プログラムを任意のサーバのストレージに格納しておき、任意のサーバから他のコンピュータにプログラムを送信することにより行ってもよい。またプログラムはプログラムプロダクトとして提供されてもよい。本開示は、プロセッサが実行可能なプログラムとしても実現可能である。

【0053】

コンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型記録媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ型のサービスによって処理を実行してもよい。「ＡＳＰ」は、application service providerの略語である。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものが含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。

【符号の説明】

【0054】

Ｓ 情報処理システム
ＮＷ ネットワーク
１ 情報処理装置
１１ 制御部
１２ 通信部
１３ 記憶部
２ 第１のユーザ端末
２１ 制御部
２２ 通信部
２３ 記憶部
２４ 入力部
２５ 出力部
２６ 表示部
２７ 撮像部
３ 第２のユーザ端末
３１ 制御部
３２ 通信部
３３ 記憶部
３４ 入力部
３５ 出力部
３６ 表示部
３７ 撮像部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】