特許 7613392 情報処理装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-06

(45)【発行日】2025-01-15

(54)【発明の名称】情報処理装置、方法、及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20250107BHJP

   H04N 13/307 20180101ALI20250107BHJP

   H04N 13/366 20180101ALI20250107BHJP

   H04N 21/431 20110101ALI20250107BHJP

   H04N 21/442 20110101ALI20250107BHJP

【ＦＩ】

G06T19/00 A

H04N13/307

H04N13/366

H04N21/431

H04N21/442

【請求項の数】 7

(21)【出願番号】P 2022015245

(22)【出願日】2022-02-02

(65)【公開番号】P2023113086

(43)【公開日】2023-08-15

【審査請求日】2023-11-24

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100139491

【弁理士】

【氏名又は名称】河合 隆慶

(74)【代理人】

【識別番号】100205833

【弁理士】

【氏名又は名称】宮谷 昂佑

(72)【発明者】

【氏名】加来 航

【審査官】鈴木 明

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０２８１２８０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ １３／３０７

Ｈ０４Ｎ １３／３６６

Ｈ０４Ｎ ２１／４３１

Ｈ０４Ｎ ２１／４４２

(57)【特許請求の範囲】

【請求項1】

ライトフィールドディスプレイの複数の視聴者のそれぞれについて、
目の三次元座標位置を特定し、
特定した前記目の三次元座標位置に応じた画像を生成し、
特定した前記目の三次元座標位置に基づいて、前記ライトフィールドディスプレイから出射される複数の光線にそれぞれ対応付けられた複数のチャネルのうち、生成した前記画像を出力するチャネルを特定し、
特定した前記チャネルに生成した前記画像を出力する制御部を備え、
前記制御部は、
前記目の三次元座標位置が時間とともに変位する場合、前記複数の視聴者のそれぞれについて、
現時点から所定時間前の目の三次元座標位置に基づいて、現時点から所定時間後の目の三次元座標位置を予測し、
予測した前記目の三次元座標位置に応じた予測画像を生成し、
予測した前記目の三次元座標位置に基づいて、生成した前記予測画像を出力するチャネルを特定し、
特定した当該チャネルに生成した前記予測画像を出力する、情報処理装置。

【請求項2】

請求項１に記載の情報処理装置であって、
前記制御部は、特定した前記チャネルに対応付けられた光線の出射角に隣接する出射角に対応付けられたチャネルにも前記画像を出力する、情報処理装置。

【請求項3】

請求項１に記載の情報処理装置であって、
前記制御部は、
前記複数の視聴者の間で予測した前記目の三次元座標位置が一致する場合、
前記複数の視聴者のうち、予測した前記目の三次元座標位置が前記ライトフィールドディスプレイに最も近い視聴者の目の三次元座標位置に応じた予測画像を出力する、情報処理装置。

【請求項4】

請求項１又は３に記載の情報処理装置であって、
前記制御部は、
予測した前記目の三次元座標位置が前記ライトフィールドディスプレイの視域角の範囲外に位置する場合、
前記所定時間前の前記目の三次元座標位置に基づいて、前記視域角の限界値に相当する目の三次元座標位置を推測し、
推測した前記目の三次元座標位置に応じた推測画像を生成し、
前記視域角の限界値に対応付けられたチャネルを特定し、
特定した当該チャネルに生成した前記推測画像を出力する、情報処理装置。

【請求項5】

請求項１乃至４の何れか一項に記載の情報処理装置であって、
前記制御部は、
特定した前記目の三次元座標位置に基づいて、前記光線の出射方向に前記複数の視聴者のうち何れの視聴者も存在しないと判断した場合、当該光線の出射角に対応付けられたチャネルについては、所定画像を出力すると決定し、或いは画像を出力しないと決定する、情報処理装置。

【請求項6】

情報処理装置が実行する方法であって、
ライトフィールドディスプレイの複数の視聴者のそれぞれについて、
目の三次元座標位置を特定すること、
特定した前記目の三次元座標位置に応じた画像を生成すること、
特定した前記目の三次元座標位置に基づいて、前記ライトフィールドディスプレイから出射される複数の光線にそれぞれ対応付けられた複数のチャネルのうち、生成した前記画像を出力するチャネルを特定すること、及び
特定した前記チャネルに生成した前記画像を出力すること
を含み、
前記目の三次元座標位置が時間とともに変位する場合、前記複数の視聴者のそれぞれについて、
現時点から所定時間前の目の三次元座標位置に基づいて、現時点から所定時間後の目の三次元座標位置を予測すること、
予測した前記目の三次元座標位置に応じた予測画像を生成すること、
予測した前記目の三次元座標位置に基づいて、生成した前記予測画像を出力するチャネルを特定すること、及び
特定した当該チャネルに生成した前記予測画像を出力すること
を含む、方法。

【請求項7】

コンピュータに、
ライトフィールドディスプレイの複数の視聴者のそれぞれについて、
目の三次元座標位置を特定すること、
特定した前記目の三次元座標位置に応じた画像を生成すること、
特定した前記目の三次元座標位置に基づいて、前記ライトフィールドディスプレイから出射される複数の光線にそれぞれ対応付けられた複数のチャネルのうち、生成した前記画像を出力するチャネルを特定すること、及び
特定した前記チャネルに生成した前記画像を出力すること
を実行させ、
前記目の三次元座標位置が時間とともに変位する場合、前記複数の視聴者のそれぞれについて、
現時点から所定時間前の目の三次元座標位置に基づいて、現時点から所定時間後の目の三次元座標位置を予測すること、
予測した前記目の三次元座標位置に応じた予測画像を生成すること、
予測した前記目の三次元座標位置に基づいて、生成した前記予測画像を出力するチャネルを特定すること、及び
特定した当該チャネルに生成した前記予測画像を出力すること
を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、方法、及びプログラムに関する。

【背景技術】

【0002】

従来、立体感のある画像を表示可能なライトフィールドディスプレイに関する技術が知られている。例えば、特許文献１には、ライトフィールドディスプレイの各画素から出射される光を制御することで、視聴者の視認する任意の虚像を投影する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－００５０７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来技術では、１つのライトフィールドディスプレイを複数の視聴者が視聴する場合、例えば各視聴者の視点に対応する画素の準備及び各画素から出射される光の制御が視聴者の増加に伴って困難となる場合がある。従って、複数の視聴者に対して立体感のある画像を提供する技術には改善の余地があった。

【0005】

かかる事情に鑑みてなされた本開示の目的は、複数の視聴者に対して立体感のある画像を提供する技術を改善することにある。

【課題を解決するための手段】

【0006】

本開示の一実施形態に係る情報処理装置は、
制御部を備える情報処理装置であって、
前記制御部は、
ライトフィールドディスプレイの複数の視聴者のそれぞれについて、
目の三次元座標位置を特定し、
特定した前記目の三次元座標位置に応じた画像を生成し、
特定した前記目の三次元座標位置に基づいて、前記ライトフィールドディスプレイから出射される複数の光線にそれぞれ対応付けられた複数のチャネルのうち、生成した前記画像を出力するチャネルを特定し、
特定した前記チャネルに生成した前記画像を出力する。

【0007】

本開示の一実施形態に係る方法は、
情報処理装置が実行する方法であって、
ライトフィールドディスプレイの複数の視聴者のそれぞれについて、
目の三次元座標位置を特定すること、
特定した前記目の三次元座標位置に応じた画像を生成すること、
特定した前記目の三次元座標位置に基づいて、前記ライトフィールドディスプレイから出射される複数の光線にそれぞれ対応付けられた複数のチャネルのうち、生成した前記画像を出力するチャネルを特定すること、及び
特定した前記チャネルに生成した前記画像を出力すること
を含む。

【0008】

本開示の一実施形態に係るプログラムは、
コンピュータに、
ライトフィールドディスプレイの複数の視聴者のそれぞれについて、
目の三次元座標位置を特定すること、
特定した前記目の三次元座標位置に応じた画像を生成すること、
特定した前記目の三次元座標位置に基づいて、前記ライトフィールドディスプレイから出射される複数の光線にそれぞれ対応付けられた複数のチャネルのうち、生成した前記画像を出力するチャネルを特定すること、及び
特定した前記チャネルに生成した前記画像を出力すること
を実行させる。

【発明の効果】

【0009】

本開示の一実施形態によれば、複数の視聴者に対して立体感のある画像を提供する技術を改善することができる。

【図面の簡単な説明】

【0010】

【図1】本開示の一実施形態に係るシステムの概略構成を示すブロック図である。

【図2】本開示の一実施形態に係る情報処理装置の概略構成を示すブロック図である。

【図3】本開示の一実施形態に係る情報処理装置の動作を示すフローチャートである。

【図4】本開示の一実施形態に係るライトフィールドディスプレイと複数の視聴者との位置関係を説明する図である。

【発明を実施するための形態】

【0011】

以下、本開示の実施形態について説明する。

【0012】

図１を参照して、本開示の実施形態に係るシステム１の概要について説明する。

【0013】

システム１は、情報処理装置１０と、第１のＬＦＤ（Light Field Display）２０と、第１のカメラ３０と、第２のＬＦＤ４０と、第２のカメラ５０と、を備える。情報処理装置１０、第１のＬＦＤ２０、及び第２のＬＦＤ４０は、ネットワーク６０と通信可能に接続される。

【0014】

情報処理装置１０は、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属するサーバ等のコンピュータである。

【0015】

第１のＬＦＤ２０及び第２のＬＦＤ４０は、任意の物体が放つ光線を再現可能なライトフィールド方式が採用された任意のディスプレイである。第１のＬＦＤ２０及び第２のＬＦＤ４０は、ディスプレイから出射される複数の光線にそれぞれ対応付けられた複数のチャネルを有する。第１のＬＦＤ２０及び第２のＬＦＤ４０は、各チャネルに入力された画像を、出射方向が画面左右方向となる光線として出力することで、超多視点の画像を実現する。なお、画面左右方向の視域角は、例えば１３０度であるが、これに限られない。また、光線の数は、例えば光線１乃至６９の６９個であるが、これに限られない。また、チャネルの数は、例えばチャネル１乃至６９の６９個であるが、これに限られない。また、画像は、動画像又は静止画像を含む。また、第１のＬＦＤ２０及び第２のＬＦＤ４０は、例えば、視域角が１３０度であるライトフィールド方式が採用された任意のディスプレイを複数枚（例えば３枚）組み合わせてなるディスプレイであってもよい。

【0016】

第１のカメラ３０及び第２のカメラ５０は、例えばカラー画像に加えて距離画像を取得可能なＲＧＢ－Ｄカメラであるが、これに限られない。本実施形態において、第１のカメラ３０は、第１のＬＦＤ２０の画面下側中央部に設けられるが、これに限られない。また、本実施形態において、第２のカメラ５０は、第２のＬＦＤ４０の画面下側中央部に設けられるが、これに限られない。

【0017】

ネットワーク６０は、インターネット、少なくとも１つのＷＡＮ（wide area network）、少なくとも１つのＭＡＮ（metropolitan area network）、又はこれらの任意の組合せを含む。ネットワーク６０は、少なくとも１つの無線ネットワーク、少なくとも１つの光ネットワーク、又はこれらの任意の組合せを含んでもよい。無線ネットワークは、例えば、アドホックネットワーク、セルラーネットワーク、無線ＬＡＮ（local area network）、衛星通信ネットワーク、又は地上マイクロ波ネットワークである。

【0018】

図１を参照して、本実施形態の概要を説明する。

【0019】

情報処理装置１０の制御部１１は、第１のＬＦＤ２０の複数の視聴者Ａ及びＢのそれぞれについて、目の三次元座標位置を特定する。そして、制御部１１は、特定した目の三次元座標位置に応じた画像を生成する。そして、制御部１１は、特定した目の三次元座標位置に基づいて、第１のＬＦＤ２０から出射される複数の光線にそれぞれ対応付けられたチャネルのうち、生成した画像を出力するチャネルを特定する。そして、制御部１１は、特定したチャネルに生成した画像を出力する。

【0020】

このように、本実施形態によれば、複数の視聴者のそれぞれについて、目の三次元座標位置に対応するライトフィールドディスプレイのチャネルに、目の三次元座標位置に応じた画像が出力される。したがって、複数の視聴者に対して立体感のある画像を提供する技術を改善することができる。

【0021】

図２を参照して、本実施形態に係る情報処理装置１０の構成を説明する。

【0022】

情報処理装置１０は、制御部１１と、通信部１２と、記憶部１３と、を備える。

【0023】

制御部１１は、少なくとも１つのプロセッサ、少なくとも１つのプログラマブル回路、少なくとも１つの専用回路、又はこれらの任意の組合せを含む。プロセッサは、ＣＰＵ（central processing unit）若しくはＧＰＵ（graphics processing unit）等の汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。プログラマブル回路は、例えば、ＦＰＧＡ（field-programmable gate array）である。専用回路は、例えば、ＡＳＩＣ（application specific integrated circuit）である。制御部１１は、情報処理装置１０の各部を制御しながら、情報処理装置１０の動作に関わる処理を実行する。本実施形態において、制御部１１は、仮想空間内に配置された任意の三次元モデルの被写体像を撮像可能な仮想カメラの動作を制御する。

【0024】

通信部１２は、少なくとも１つの通信用インタフェースを含む。通信用インタフェースは、例えば、移動体通信規格、有線ＬＡＮ規格、又は無線ＬＡＮ規格に対応するが、これらに限られず、任意の通信規格に対応してもよい。通信部１２は、情報処理装置１０の動作に用いられるデータを受信する。また、通信部１２は、情報処理装置１０の動作によって得られるデータを送信する。

【0025】

記憶部１３は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらの任意の組合せを含む。半導体メモリは、例えば、ＲＡＭ（random access memory）又はＲＯＭ（read only memory）である。ＲＡＭは、例えば、ＳＲＡＭ（static random access memory）又はＤＲＡＭ（dynamic random access memory）である。ＲＯＭは、例えば、ＥＥＰＲＯＭ（electrically erasable programmable read only memory）である。記憶部１３は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部１３には、情報処理装置１０の動作に用いられるデータと、情報処理装置１０の動作によって得られたデータとが記憶される。本実施形態において、情報処理装置１０の動作に用いられるデータは、システムプログラム、アプリケーションプログラム、データベース、及びテクスチャ画像等を含む。

【0026】

図３を参照して、本実施形態に係る情報処理装置１０の動作について説明する。この動作は、本開示の一実施形態に係る方法に相当する。

【0027】

本例では、複数の視聴者に相当する視聴者Ａ及び視聴者Ｂが、ライトフィールドディスプレイに相当する第１のＬＦＤ２０を視聴しており、第２のＬＦＤ４０の前に位置する視聴者Ｃとオンライン会議を行っているものとする。ただし、本開示はこれに限られず、視聴者の数は任意に定められてもよい。

【0028】

ステップＳ１００：情報処理装置１０の制御部１１は、視聴者Ａ及び視聴者Ｂのそれぞれについて、目の三次元座標位置を特定する。

【0029】

具体的には、情報処理装置１０の制御部１１は、第１のカメラ３０によって撮像された視聴者Ａの目の三次元座標位置（ｘＡ、ｙＡ、ｚＡ）を特定する。また、制御部１１は、第１のカメラ３０によって撮像された視聴者Ｂの目の三次元座標位置（ｘＢ、ｙＢ、ｚＢ）を特定する。なお、座標系（ｘ、ｙ、ｚ）は、実空間の座標系であって、例えば図４に示すように、画面中央に原点Ｏが取られ、第１のＬＦＤ２０の画面右方向にｘ軸が取られ、画面上方向にｙ軸が取られ、画面手前方向にｚ軸が取られるものとするが、本開示はこれに限られない。

【0030】

ステップＳ１１０：情報処理装置１０の制御部１１は、視聴者Ａ及び視聴者Ｂのそれぞれについて、ステップＳ１００で特定した目の三次元座標位置に応じた画像を生成する。

【0031】

具体的には、情報処理装置１０の制御部１１は、第２のカメラ５０によって撮像された視聴者Ｃの画像に基づいて、視聴者Ｃに相当する三次元モデルを生成する。なお、三次元モデルは、例えばテクスチャマッピング技術によってテクスチャ画像が投影されたポリゴンから構成されてもよいが、これに限られない。そして、制御部１１は、生成した三次元モデルを仮想空間内に配置する。そして、制御部１１は、ステップＳ１００で特定した視聴者Ａの目の三次元座標位置（ｘＡ、ｙＡ、ｚＡ）に対応する仮想空間の三次元座標位置（ＸＡ、ＹＡ、ＺＡ）に仮想カメラＡ１を配置する。また、制御部１１は、ステップＳ１００で特定した視聴者Ｂの目の三次元座標位置（ｘＢ、ｙＢ、ｚＢ）に対応する仮想空間の三次元座標位置（ＸＢ、ＹＢ、ＺＢ）に仮想カメラＢ１を配置する。なお、実空間の三次元座標位置（ｘ、ｙ、ｚ）は、任意の方法で予め定められた座標変換によって、仮想空間の三次元座標位置（Ｘ、Ｙ、Ｚ）と対応付けられる。そして、制御部１１は、仮想カメラＡ１の視界（撮像範囲）内に存在する視聴者Ｃに相当する三次元モデルの被写体像を含む画像Ａ２を生成（レンダリング）する。また、制御部１１は、仮想カメラＢ１の視界（撮像範囲）内に存在する視聴者Ｃに相当する三次元モデルの被写体像を含む画像Ｂ２を生成（レンダリング）する。従って、画像Ａ２は、仮想カメラＡ１を視点として、仮想空間内の視聴者Ｃに相当する三次元モデルを眺めた画像である。また、画像Ｂ２は、仮想カメラＢ１を視点として、仮想空間内の視聴者Ｃに相当する三次元モデルを眺めた画像である。

【0032】

ステップＳ１２０：情報処理装置１０の制御部１１は、視聴者Ａ及び視聴者Ｂのそれぞれについて、ステップＳ１００で特定した目の三次元座標位置に基づいて、第１のＬＦＤ２０から出射される複数の光線にそれぞれ対応付けられたチャネルのうち、ステップＳ１１０で生成した画像を出力するチャネルを特定する。

【0033】

具体的には、情報処理装置１０の制御部１１は、図４に示す実空間の座標系において、視聴者Ａに対してはベクトル（０、０、１）とベクトル（ｘＡ、０、ｚＡ）とのなす角θＡを特定し、視聴者Ｂに対してはベクトル（０、０、１）とベクトル（ｘＢ、０、ｚＢ）とのなす角θＢを特定する。そして、制御部１１は、第１のＬＦＤ２０から出射される複数の光線（例えば光線１乃至６９）のうち、特定したθと出射角が一致する光線に対応付けられたチャネル、又は特定したθに出射角が最も近い光線に対応付けられたチャネルを特定する。例えば、制御部１１は、θＡに対しては光線３０に対応付けられたチャネル３０を特定し、θＢに対しては光線５０に対応付けられたチャネル５０を特定する。

【0034】

ステップＳ１３０：情報処理装置１０の制御部１１は、視聴者Ａ及び視聴者Ｂのそれぞれについて、ステップＳ１２０で特定したチャネルにステップＳ１１０で生成した画像を出力する。

【0035】

具体的には、情報処理装置１０の制御部１１は、通信部１２を介して、ステップＳ１２０で特定したチャネル３０に画像Ａ２を出力する。また、制御部１１は、通信部１２を介して、ステップＳ１２０で特定したチャネル５０に画像Ｂ２を出力する。これにより、視聴者Ａは画像Ａ２を視聴し、視聴者Ｂは画像Ｂ２を視聴することができる。ここで、チャネルは、物理的な入力端子ではなく、入力映像上の区画に対応する。この場合、例えば６９個に区画された１つの映像がＨＤＭＩ（登録商標）端子でシリアル入力され、第１のＬＦＤ２０側で適宜合成等される。なお、チャネルは、物理的な入力端子に対応してもよい。この場合、第１のＬＦＤ２０は、例えば６９個のＨＤＭＩ（登録商標）端子を有することになる。

【0036】

以上述べたように、本実施形態に係る情報処理装置１０の制御部１１は、第１のＬＦＤ２０の複数の視聴者Ａ及び視聴者Ｂのそれぞれについて、目の三次元座標位置を特定する。そして、制御部１１は、特定した目の三次元座標位置に応じた画像を生成する。そして、制御部１１は、特定した目の三次元座標位置に基づいて、第１のＬＦＤ２０から出射される複数の光線にそれぞれ対応付けられたチャネルのうち、生成した画像を出力するチャネルを特定する。そして、制御部１１は、特定したチャネルに生成した画像を出力する。

【0037】

かかる構成によれば、複数の視聴者のそれぞれについて、目の三次元座標位置に対応するライトフィールドディスプレイのチャネルに、目の三次元座標位置に応じた画像が出力される。したがって、複数の視聴者に対して立体感のある画像を提供する技術を改善することができる。

【0038】

本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行ってもよいことに注意されたい。したがって、これらの変形及び改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

【0039】

一変形例として、情報処理装置１０の構成及び動作を、互いに通信可能な複数のコンピュータに分散させた実施形態も可能である。例えば、上述した実施形態におけるステップＳ１１０の処理のうち視聴者Ａ側の処理及び視聴者Ｂ側の処理と視聴者Ｃ側の処理とを互いに通信可能な２つのコンピュータに分散して実行させてもよい。

【0040】

また、一変形例として、情報処理装置１０の制御部１１は、上述した実施形態におけるステップＳ１２０において特定したチャネルに対応付けられた光線の出射角に隣接する出射角に対応付けられたチャネルにも、上述した実施形態におけるステップＳ１１０で生成した画像を出力してもよい。例えば、制御部１１は、図４に示されるθＡに隣接するθＡ－１に対しては光線２９に対応付けられたチャネル２９を特定し、θＡに隣接するθＡ＋１に対しては光線３１に対応付けられたチャネル３１を特定する。また、制御部１１は、図４に示されるθＢに隣接するθＢ－１に対しては光線４９に対応付けられたチャネル４９を特定し、θＢに隣接するθＢ＋１に対しては光線５１に対応付けられたチャネル５１を特定する。そして、制御部１１は、通信部１２を介して、チャネル３０の他にチャネル２９及びチャネル３１にも画像Ａ２を出力し、チャネル５０の他にチャネル４９及びチャネル５１にも画像Ｂ２を出力する。本変形例によれば、視聴者Ａ及び視聴者Ｂの動きに伴うレイテンシーを改善することができる。

【0041】

また、一変形例として、情報処理装置１０の制御部１１は、以下の処理を実行することにより、視聴者Ａ及び視聴者Ｂのそれぞれの動きを予測した予測画像を出力してもよい。具体的には、制御部１１は、視聴者Ａ及び視聴者Ｂのそれぞれについて、現時点から所定時間前の目の三次元座標位置に基づいて、現時点から所定時間後の目の三次元座標位置を予測する。なお、現時点から所定時間前の目の三次元座標位置は、上述した実施形態におけるステップＳ１００と同様にして特定され、記憶部１３に予め格納されてもよい。また、所定時間は任意に定められる。そして、制御部１１は、上述した実施形態におけるステップＳ１１０と同様にして、予測した目の三次元座標位置に応じた予測画像を生成する。そして、制御部１１は、上述した実施形態におけるステップＳ１２０と同様にして、予測した目の三次元座標位置に基づいて、生成した予測画像を出力するチャネルを特定する。そして、制御部１１は、上述した実施形態におけるステップＳ１３０と同様にして、特定した当該チャネルに生成した予測画像を出力する。ここで、視聴者Ａ及び視聴者Ｂの間で予測した目の三次元座標位置が一致する場合、制御部１１は、視聴者Ａ及び視聴者Ｂのうち、予測した目の三次元座標位置が第１のＬＦＤ２０に最も近い視聴者の目の三次元座標位置に応じた予測画像を出力してもよい。本変形例によれば、視聴者Ａ及び視聴者Ｂの動きに伴うレイテンシーを改善することができる。なお、本変形例は、視聴者Ａ及び視聴者Ｂのそれぞれが、第１のＬＦＤ２０の画面左右方向に移動する場合の他に、画面上下方向及び画面前後方向に移動する場合にも適用可能である。

【0042】

また、一変形例として、情報処理装置１０の制御部１１は、視聴者Ａ及び視聴者Ｂのそれぞれについて、上述した変形例と同様にして予測した目の三次元座標位置が第１のＬＦＤ２０の視域角（例えば１３０度）の範囲外に位置する場合、以下の処理を実行してもよい。具体的には、制御部１１は、現時点から所定時間前の目の三次元座標位置に基づいて、視域角の限界値に相当する目の三次元座標位置を推測する。そして、制御部１１は、上述した実施形態におけるステップＳ１１０と同様にして、推測した目の三次元座標位置に応じた推測画像を生成する。そして、制御部１１は、視域角の限界値に対応付けられたチャネル（例えばチャネル１又はチャネル６９）を特定する。そして、制御部１１は、特定したチャネル（例えばチャネル１又はチャネル６９）に、生成した推測画像を出力する。

【0043】

また、一変形例として、情報処理装置１０の制御部１１は、上述した実施形態におけるステップＳ１００で特定した目の三次元座標位置に基づいて、第１のＬＦＤ２０の光線の出射方向に視聴者Ａ及び視聴者Ｂのうち何れの視聴者も存在しないと判断した場合、当該光線の出射角に対応付けられたチャネルについては、所定画像を出力すると決定してもよく、或いは画像を出力しないと決定してもよい。なお、所定画像は、例えば図４に示されるｚ軸に対応付けられた仮想空間の座標軸上に配置された仮想カメラを視点として視聴者Ｃに相当する三次元モデルが配置された仮想空間を眺めた画像であってもよいが、これに限られない。

【0044】

また、一変形として、視聴者Ａ及び視聴者Ｂには、オンライン会議に代えて、三次元ゲーム等の任意の三次元コンテンツが提供されてもよい。この場合、上述した実施形態におけるステップＳ１１０で生成される画像Ａ２は、仮想カメラＡ１を視点として、仮想空間を眺めた三次元ゲームに登場するキャラクタに相当する三次元モデルを含む画像であってもよいが、これに限られない。また、上述した実施形態におけるステップＳ１１０で生成される画像Ｂ２は、仮想カメラＢ１を視点として、仮想空間を眺めた三次元ゲームに登場するキャラクタに相当する三次元モデルを含む画像であってもよいが、これに限られない。

【0045】

また、一変形例として、視聴者Ｃが視聴するディスプレイは、第２のＬＦＤ４０に代えて、ＬＣＤ（liquid crystal display）又は有機ＥＬ（electro luminescence）等の従来型の二次元ディスプレイであってもよい。

【0046】

また、一変形例として、汎用のコンピュータを、上述した実施形態に係る情報処理装置１０として機能させる実施形態も可能である。具体的には、上述した実施形態に係る情報処理装置１０の各機能を実現する処理内容を記述したプログラムを、汎用のコンピュータのメモリに格納し、プロセッサによって当該プログラムを読み出して実行させる。したがって、本開示は、プロセッサが実行可能なプログラム、又は当該プログラムを記憶する非一時的なコンピュータ可読媒体としても実現可能である。

【符号の説明】

【0047】

１ システム
１０ 情報処理装置
１１ 制御部
１２ 通信部
１３ 記憶部
２０ 第１のＬＦＤ（ライトフィールドディスプレイ）
３０ 第１のカメラ
４０ 第２のＬＦＤ（ライトフィールドディスプレイ）
５０ 第２のカメラ
６０ ネットワーク

【図1】

【図2】

【図3】

【図4】