特開 2024-95442 表示装置及び表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024095442

(43)【公開日】2024-07-10

(54)【発明の名称】表示装置及び表示システム

(51)【国際特許分類】

   H04N 13/383 20180101AFI20240703BHJP

   G09G 5/36 20060101ALI20240703BHJP

   G09G 5/00 20060101ALI20240703BHJP

   H04N 13/307 20180101ALI20240703BHJP

   H04N 13/194 20180101ALI20240703BHJP

   G02B 30/10 20200101ALN20240703BHJP

【ＦＩ】

H04N13/383

G09G5/36 500

G09G5/00 550C

G09G5/00 555D

H04N13/307

H04N13/194

G02B30/10

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022212730

(22)【出願日】2022-12-28

(71)【出願人】

【識別番号】502356528

【氏名又は名称】株式会社ジャパンディスプレイ

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】冨沢 一成

(72)【発明者】

【氏名】長谷川 晃

(72)【発明者】

【氏名】上原 利範

【テーマコード（参考）】

2H199

5C061

5C182

【Ｆターム（参考）】

2H199BA19

2H199BA48

2H199BB04

2H199BB08

2H199BB52

2H199BB59

5C061AA06

5C061AB12

5C061AB14

5C182AA02

5C182AA03

5C182AA26

5C182AA28

5C182AB08

5C182AC46

5C182BA14

5C182BA56

5C182BC14

5C182BC22

5C182BC25

5C182BC26

5C182DA65

(57)【要約】

【課題】より新しい時点でのユーザの視点に対応した画像を出力できる表示装置等を提供する。
【解決手段】端末１０は、所定方向に並ぶ複数の画素を有し、画像を出力する表示部１５と、当該画像を視認するユーザの視線に関する情報を周期的に取得する取得部１１と、第１時点での当該情報に基づいてサーバ２０から与えられた画像群データを記憶する記憶部１３と、当該第１時点よりも後の第２時点での当該情報に基づいて、当該視線に対応した表示データを当該画像群データから選択して当該表示部に表示させる表示制御部１４と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定方向に並ぶ複数の画素を有し、画像を出力する表示部と、
前記画像を視認するユーザの視線に関する情報を周期的に取得する取得部と、
第１時点での前記情報に基づいて外部の情報処理装置から与えられた画像群データを記憶する記憶部と、
前記第１時点よりも後の第２時点での前記情報に基づいて、前記視線に対応した表示データを前記画像群データから選択して前記表示部に表示させる表示制御部と、を備える
表示装置。

【請求項2】

前記表示データは、ユーザの右目と左目の各々に対して個別の画像を視認させて立体視を成立させる画像データであり、
前記表示部は、ユーザの右目と左目の各々に対して個別の画像を出力する視差形成部を有する、
請求項１に記載の表示装置。

【請求項3】

前記情報は、前記表示部の画像表示面に対するユーザの視線の基準角度を示す情報を含み、
前記画像群データは、前記第１時点での前記基準角度に対応した画像データと、前記第１時点での前記基準角度にそれぞれ異なる誤差角度を加算又は減算した角度に対応した画像データと、を含み、
前記表示制御部は、前記画像群データに含まれる複数の画像データから、前記右目に対応する第１画像データと、前記左目に対応する第２画像データと、を個別に選択して前記第１画像データと前記第２画像データを統合した前記表示データを前記表示部に表示させる、
請求項２に記載の表示装置。

【請求項4】

前記外部の情報処理装置と通信を行う通信部を備え、
前記取得部は、第１周期で前記情報を取得し、
前記情報は、前記第１周期よりも長い第２周期で前記外部の情報処理装置に送信され、
前記画像群データは、前記第２周期で前記外部の情報処理装置から与えられる、
請求項１から３のいずれか一項に記載の表示装置。

【請求項5】

前記表示制御部は、前記第１時点よりも後の複数の時点で取得された複数の前記情報の各々が示す視線角度同士の差に基づいて前記第２時点での前記情報を導出する、
請求項４に記載の表示装置。

【請求項6】

表示装置と、
前記表示装置と通信可能に設けられたサーバと、を備える表示システムであって、
前記表示装置は、
所定方向に並ぶ複数の画素を有し、画像を出力する表示部と、
前記画像を視認するユーザの視線に関する情報を周期的に取得する取得部と、
第１時点での前記情報に基づいて前記サーバから与えられた画像群データを記憶する記憶部と、
前記第１時点よりも後の第２時点での前記情報に基づいて、前記視線に対応した表示データを前記画像群データから選択して前記表示部に表示させる表示制御部と、を備え、
前記サーバは、
前記画像群データを含み、３以上の視線角度の各々に対応した画像データを含む元データを記憶する記憶部と、
前記情報に基づいて前記元データから前記画像群データのもとになる抽出要素画像群を生成する抽出部と、を備える、
表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示装置及び表示システムに関する。

【背景技術】

【0002】

表示装置によって出力されるユーザの視線位置情報に基づいてサーバから表示画像を提供する表示システムが知られている（例えば特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平１－１４１４７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、サーバが画像を提供する提供時点での視線位置情報と、提供された画像を表示装置が出力する出力時点と、の間に生じるタイムラグによって、出力時点でのユーザの視線に画像が対応しなくなることがあった。このため、より新しい時点でのユーザの視線に対応可能な画像を出力できる仕組みが求められていた。

【0005】

本開示は、上記の課題に鑑みてなされたもので、より新しい時点でのユーザの視点に対応した画像を出力できる表示装置及び表示システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一態様による表示装置は、所定方向に並ぶ複数の画素を有し、画像を出力する表示部と、前記画像を視認するユーザの視線に関する情報を周期的に取得する取得部と、第１時点での前記情報に基づいて外部の情報処理装置から与えられた画像群データを記憶する記憶部と、前記第１時点よりも後の第２時点での前記情報に基づいて、前記視線に対応した表示データを前記画像群データから選択して前記表示部に表示させる表示制御部と、を備える。

【図面の簡単な説明】

【0007】

【図1】図１は、表示システムの主要構成を示すブロック図である。

【図2】図２は、表示システムの主要機能構成を示すブロック図である。

【図3】図３は、表示システムの主要な処理の流れの一例を示すフローチャートである。

【図4】図４は、自然環境下におけるヒトによる立体物の視認の仕組みを示す概略図である。

【図5】図５は、３Ｄ画像の出力及びユーザによる３Ｄ画像の視認の仕組みを示す概略図である。

【図6】図６は、３Ｄを実現するために用意される画像の撮像方法の一例を示す概略図である。

【図7】図７は、３Ｄを実現するために用意される画像の撮像方法の一例を示す概略図である。

【図8】図８は、オブジェクトＯＢ側から見た撮像装置の並びの例を示す概略図である。

【図9】図９は、視差画像データの内容の一例を示す概略図である。

【図10】図１０は、部分画像データの内容を示す概略図である。

【図11】図１１は、ｍ＝ｎ＝４である場合の複数の画像データを示す概略図である。

【図12】図１２は、図１１に示す画像データに対応する視差画像データを示す概略図である。

【図13】図１３は、要素画像データの一例を示す概略図である。

【図14】図１４は、図１３から再現された画像データを含む画像群データを示す概略図である。

【図15】図１５は、画像群データの構成例を示す概略図である。

【図16】図１６は、表示システムで行われる情報処理の流れを概略的に示すタイムチャートである。

【図17】図１７は、画像群データＥｘｔ（θ１°）に含まれる複数の画像データと、第１時点の視線情報（θ１°）に基づいて表示データとして選択される第１視差画像ＧＲ１及び第２視差画像ＧＬ１と、の関係の一例を示す概略図である。

【図18】図１８は、第１時点の視線情報（θ１°）が示すＸ方向の角度（θｘ１）と、当該第１時点でのユーザの目の位置と、の関係の一例を示す概略図である。

【図19】図１９は、画像群データＥｘｔ（θ１°）に含まれる複数の画像データと、第１時点の視線情報（θ１°）に基づいて表示データとして選択される第１視差画像ＧＲ１及び第２視差画像ＧＬ１と、第２時点の視線情報（θ３°）に基づいて表示データとして選択される第１視差画像ＧＲ３及び第２視差画像ＧＬ３と、の関係の一例を示す概略図である。

【図20】図２０は、第１時点の視線情報（θ１°）が示す視線角度（θｘ１）及び当該第１時点でのユーザの目の位置と、第２時点の視線情報（θ３°）が示す視線角度（θｘ３）及び当該第２時点でのユーザの目の位置と、の関係の一例を示す概略図である。

【図21】図２１は、ユーザの視線情報が示すＹ方向の角度を示す概略図である。

【図22】図２２は、画像群データＥｘｔ（θ１°）に含まれる複数の画像データと、第１時点の視線情報（θ１°）に基づいて表示データとして選択される第１視差画像ＧＲ１及び第２視差画像ＧＬ１と、第２時点の視線情報（θ４°）に基づいて表示データとして選択される第１視差画像ＧＲ４及び第２視差画像ＧＬ４と、の関係の一例を示す概略図である。

【図23】図２３は、第１時点の視線情報（θ１°）が示す視線角度（θｙ１）及び当該第１時点でのユーザの目の位置と、第２時点の視線情報（θ４°）が示す視線角度（θｙ４）及び当該第２時点でのユーザの目の位置と、の関係の一例を示す概略図である。

【図24】図２４は、実施形態で採用可能な表示部の具体的形態の一例を示す概略断面図である。

【図25】図２５は、変形例の表示システムで行われる情報処理の流れを概略的に示すタイムチャートである。

【発明を実施するための形態】

【0008】

以下に、本開示の各実施の形態について、図面を参照しつつ説明する。なお、開示はあくまで一例にすぎず、当業者において、発明の主旨を保っての適宜変更について容易に想到し得るものについては、当然に本開示の範囲に含有されるものである。また、図面は説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本開示の解釈を限定するものではない。また、本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して、詳細な説明を適宜省略することがある。

【0009】

図１は、表示システム１の主要構成を示すブロック図である。表示システム１は、端末１０と、サーバ２０と、を備える。端末１０は、取得部１１と、通信部１２と、記憶部１３と、表示制御部１４と、表示部１５と、を有する。サーバ２０は、演算部２１と、記憶部２２と、通信部２３と、を有する。なお、以下では、画像や画像を処理することについて各画像を個別の具体的な画像イメージとして視覚化して説明しているが、実際には画像は画像信号（画像データ）であり、画像処理はサーバや端末内のソフトウェアまたはハードウェアによる信号処理（データ処理）によってなされるもので、各画像処理のために実際に画像を逐一視覚化する必要がないことは言うまでもない。

【0010】

端末１０は、表示部１５によって出力される画像をユーザが視認することを想定された表示装置である。以下、単に出力と記載した場合、特筆しない限り、ユーザによる画像の視認を想定した表示出力をさす。端末１０は、例えばスマートフォンのような携帯端末であるが、これに限られるものでない。端末１０は、携帯可能又は据え置きの表示端末であってよい。以下、単にユーザと記載した場合、特筆しない限り、表示部１５によって出力される画像を視認するヒトをさす。

【0011】

取得部１１は、ユーザの視線情報を取得する。具体的には、取得部１１は、例えば撮像部１１ａを有する。撮像部１１ａは、画像表示面１５ａに対向するユーザの顔を撮像する。撮像部１１ａによる画像の撮像範囲（画角等）は、表示部１５の画像表示面１５ａ（図２４等参照）に対面するユーザの顔の位置を想定して設定されている。具体的には、撮像部１１ａは、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサのような撮像素子を構成に含み、当該撮像素子によって画像データを生成する。以下、単に視線情報と記載した場合、特筆しない限り、ユーザの視線情報をさす。

【0012】

取得部１１は、さらに、画像データを解析する演算処理を行うための回路を構成に含む。当該回路は、例えば端末１０にＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）として設けられた回路であるが、これに限られるものでなく、取得部１１のための専用の回路であってもよい。取得部１１は、撮像部１１ａによって撮像された画像データに含まれるユーザの顔画像における目（右目、左目）の位置に基づいて、視線情報を取得する演算処理を行う。視線情報は、少なくとも、ユーザが表示部１５に対してどの角度で視線を向けているのかを示す情報を含む。

【0013】

視線情報を取得するための演算処理として、例えばＯｐｅｎＣＶが挙げられるが、これに限られるものでなく、ヒトの顔画像に含まれる二つの目の位置及び向きを特定可能な他の演算処理が採用されてもよい。

【0014】

通信部１２及び通信部２３は、外部の情報処理装置と通信を行う。具体的には、通信部１２及び通信部２３は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ）として機能するための回路を有する。通信部１２と通信部２３とは、同一の通信プロトコルで互いにデータ送受信可能に設けられる。通信部１２と通信部２３との間の通信経路は、例えば無線であるが、有線であってもよいし、無線と有線とが混在していてもよい。また、当該通信経路は、インターネット等、公共の情報通信網を含んでいてもよいし、専用の通信経路であってもよい。

【0015】

実施形態では、取得部１１が取得した視線情報が通信部１２を介してサーバ２０に送信され、通信部２３によって受信される。また、実施形態では、視線情報に基づいて生成された抽出要素画像群（例えば、後述する抽出要素画像群２２ｂ、図１３参照）が通信部２３を介してサーバ２０から送信され、通信部１２によって受信される。当該抽出要素画像群は、後述する視差画像群Ｅｘｔ（図１５等参照）のもとになるデータである。その詳細は後述する。

【0016】

記憶部１３は、通信部１２による通信を介してサーバ２０から送信された抽出要素画像群等、表示出力に関わる各種のデータを記憶する。記憶部１３は、画像データを記憶可能な記憶装置を有する。当該記憶装置は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）として機能する半導体素子又はフラッシュメモリのような半導体素子であるが、これに限られるものでなく、同様に機能する他の構成であってもよい。

【0017】

表示制御部１４は、記憶部１３に記憶された抽出要素画像群を展開して視差画像群を生成し、当該視差画像群に基づいて、表示部１５による出力内容を制御する。表示制御部１４が奏する機能は、例えば端末１０にＳｏＣとして設けられた回路の一機能であってもよいし、表示制御部１４専用に設けられた回路が有する機能であってもよい。表示部１５は、表示制御部１４の制御下で、画像の出力を行う。表示部１５は、例えば透過型の液晶ディスプレイであるが、これに限られるものでなく、同様に機能する他の方式によるディスプレイであってもよい。

【0018】

サーバ２０は、端末１０と通信可能に設けられた情報処理装置である。演算部２１は、サーバ２０の動作に関する各種の処理を行う。サーバ２０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）として機能する回路を構成に含み、当該ＣＰＵが記憶部２２から処理内容に応じたプログラム等を読み出して実行処理する。ここでいうプログラム等は、いわゆるソフトウェア・プログラム及び当該ソフトウェア・プログラムの実行処理に際して読み出される各種の情報を含む。

【0019】

記憶部２２は、各種のデータを記憶する。記憶部２２は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ ＤＲＩＶＥ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）その他の記憶装置を少なくとも１つ以上有する。記憶部２２は、要素画像群２２ａと、抽出プログラム２２ｐと、を記憶する。要素画像群２２ａは、端末１０の表示部１５によって表示される画像の元になる画像データである。要素画像群２２ａは、複数の視線に対応する画像データを含む。抽出プログラム２２ｐは、演算部２１によって実行処理されるプログラム等である。抽出プログラム２２ｐを実行処理した演算部２１は、抽出部２５（図２参照）として機能する。

【0020】

図２は、表示システム１の主要機能構成を示すブロック図である。抽出部２５は、取得部１１が取得した視線情報に基づいて、要素画像群２２ａから抽出要素画像群２２ｂを生成する。

【0021】

図３は、表示システム１の主要な処理の流れの一例を示すフローチャートである。まず、端末１０の取得部１１が、第１周期で視線情報を取得する（ステップＳ１１）。また、ステップＳ１１の処理で取得された視線情報が、端末１０からサーバ２０へ送信される（ステップＳ１２）。ステップＳ１２の処理による視線情報の送信は、ステップＳ１１が行われる周期である第１周期よりも長い第２周期で行われる。すなわち、ステップＳ１１の処理が第１周期で繰り返し行われることで取得される複数タイミングの各々の視線情報の一部が端末１０からサーバ２０へ送信される。言い換えれば、係る複数タイミングの各々の視線情報の全てが端末１０からサーバ２０へ送信されるわけでない。

【0022】

以下、ある時点で行われた１回のステップＳ１２の処理後の処理の流れについて説明する。サーバ２０は、ステップＳ１２の処理で送信された視線情報を受信する（ステップＳ２３）。サーバ２０の演算部２１は、要素画像群２２ａに含まれる一部のデータを、ステップＳ２３の処理で得られた視線情報が示すユーザの視線に対応した抽出要素画像群２２ｂとして抽出する（ステップＳ２４）。また、ステップＳ２４の処理で生成された抽出視差画像群２２ｂが、サーバ２０から端末１０へ送信される（ステップＳ２５）。以下、ステップＳ２４の処理で抽出要素画像群２２ｂの生成のために参照された視線情報を、第１時点での視線情報とする。

【0023】

端末１０は、ステップＳ２５の処理で送信された抽出要素画像群２２ｂを受信する（ステップＳ１６）。端末１０は、ステップＳ１６の処理で得られた抽出要素画像群２２ｂを記憶部１３に一時的に記憶する（ステップＳ１７）。端末１０の表示制御部１４は、ステップＳ１６の処理で得られた抽出要素画像群２２ｂから再現された視差画像群Ｅｘｔに含まれる一対の視差画像を、第１時点よりも後の第２時点で得られた視線情報が示すユーザの視線に対応した表示データとしてから選択する（ステップＳ１８）。第２時点で得られた視線情報とは、第１周期で繰り返されるステップＳ１１の処理で得られた視線情報であって、ステップＳ１７の処理の元になったステップＳ１２の処理で送信された視線情報（第１時点の視線情報）よりも後の時点で行われたステップＳ１１の処理で得られた視線情報である。表示部１５は、ステップＳ１８の処理で選択された表示データに対応した出力を行う（ステップＳ１９）。

【0024】

以下、表示システム１による処理の流れに関する各種の事項について、より詳細に説明する。まず、実施形態で表示部１５によって出力される画像の理論的背景について、図４と図５を参照して説明する。

【0025】

図４は、自然環境下におけるヒトによる立体物の視認の仕組みを示す概略図である。図４等で示す右目ＥＲと左目ＥＬは、一人のヒトであるユーザの右目と左目である。

【0026】

一般的に、ユーザによる対象物ＦＢの視認は、光源ＳＵから発せられた光が対象物ＦＢによって反射されて右目ＥＲ、左目ＥＬに到達することで成立する。また、立体視は、ヒトの右目と左目で視認する像にずれがあることによって成立している。例えば、図４に示す対象物ＦＢの点Ｐ１では、右目ＥＲに向かう反射光Ｌ１１と、左目ＥＬに向かう反射光Ｌ１２と、の両方が生じている。ここで、反射光Ｌ１１と、反射光Ｌ１２と、は同一でない。また、対象物ＦＢの点Ｐ２では、左目ＥＬに向かう反射光Ｌ２２が生じているが、右目ＥＲに向かう反射光は生じていない。このような、対象物ＦＢの各所における光の反射の度合いや差異によって、ユーザによる対象物ＦＢの立体視が成立している。

【0027】

上記した立体視の仕組みに基づき、立体視が成立するように右目ＥＲに到達する光及び左目ＥＬに到達する光を制御することで、人為的に立体像を視認させることができる。

【0028】

図５は、インテグラルイメージング方式の３Ｄ画像（立体像）の出力及びユーザによる当該３Ｄ画像の視認の仕組みを示す概略図である。例えば、図５に示す３Ｄ再現オブジェクトＶＦＢが、図４に示す対象物ＦＢの３Ｄ画像であるとする。また、図５に示す仮想点ＶＰ１が、図４に示す点Ｐ１に対応する位置であり、ユーザの右目ＥＲ及び左目ＥＬの焦点であるとする。また、図５に示す仮想点ＶＰ２が、図４に示す点Ｐ２に対応する位置であるとする。

【0029】

３Ｄ再現オブジェクトＶＦＢをユーザに視認させる３Ｄ出力を行いたい場合、少なくとも、光ＶＬ１１を右目ＥＲに到達させ、光ＶＬ１２，ＶＬ２２を左目ＥＬに到達させる必要がある。光ＶＬ１１は、反射光Ｌ１１に対応する光である。光ＶＬ１２は、反射光Ｌ１２に対応する光である。光ＶＬ２２は、反射光Ｌ２２に対応する光である。ここでは、説明を簡略化する目的で、光ＶＬ１１，ＶＬ１２，ＶＬ２２に関する説明に特化し、３Ｄ再現オブジェクトＶＦＢをユーザに視認させるために必要な他の光の射線については説明を省略する。

【0030】

図５では、画像表示パネルＤＰ及び視差形成部Ｐａｒによって、点ＶＯ１１から光ＶＬ１１が出力され、点ＶＯ１２から光ＶＬ１２が出力され、点ＶＯ２２から光ＶＬ２２が出力される例を示している。これによって、ユーザは、３Ｄ再現オブジェクトＶＦＢを視認できる。

【0031】

なお、単純な表示装置では、点ＶＯ１１からの出力を左目ＥＬでも視認でき、点ＶＯ１２，ＶＯ２２からの出力を右目ＥＲでも視認できてしまうことから、３Ｄ再現オブジェクトＶＦＢのような３Ｄ画像の出力が成立しなくなる。そこで、図５に示す例では、点ＶＯ１１からの出力を左目ＥＬから視認できなくし、点ＶＯ１２，ＶＯ２２からの出力を右目ＥＲから視認できなくする構成として、視差形成部Ｐａｒが設けられている。

【0032】

より具体的には、図４において第１方向ＤＸに並ぶユーザに対して第３方向ＤＺに位置する対象物ＦＢと実質的に同様の３Ｄ再現オブジェクトＶＦＢをユーザに視認させるインテグラルイメージング方式の３Ｄ表示を実現するためには、ユーザの右目ＥＲと左目ＥＬとの並びに対する画像表示パネルＤＰからの光の出射方向を図４に示す状態に対応させる必要がある。以下、ユーザの右目ＥＲと左目ＥＬと、画像表示パネルＤＰのような表示装置と、の位置関係に係る説明において、右目ＥＲと左目ＥＬとの並び方向をＸ方向とする。Ｘ方向は、図４に示す第１方向ＤＸに対応する。また、ユーザと表示装置（例えば、画像表示パネルＤＰ、端末１０）との対向方向をＺ方向とする。Ｚ方向は、図４に示す第３方向ＤＺに実質的に対応する。また、Ｘ方向及びＺ方向に直交する方向をＹ方向とする。Ｙ方向は、図４に示す第２方向ＤＹに対応する。第２方向ＤＹは、第１方向ＤＸ及び第３方向ＤＺに直交する。

【0033】

図６及び図７は、インテグラルイメージング方式及び視差方式を含む３Ｄ表示を実現するために用意される画像の撮像方法の一例を示す概略図である。図６及び図７では、撮像対象であり、表示システム１による３Ｄ画像の出力による再現の対象を、オブジェクトＯＢとして示している。オブジェクトＯＢは、オブジェクトＯＢ１と、オブジェクトＯＢ２とを含む。なお、オブジェクトＯＢはあくまで説明のために例示されている撮像対象に過ぎず、実施形態で出力可能な画像の元になる撮像対象はオブジェクトＯＢに限られるものでなく、撮像可能なあらゆるモノであってよい。

【0034】

上記３Ｄ表示の出力では、異なる位置にいる複数のユーザの各視点や一人のユーザの視点移動にも柔軟に対応できるよう、Ｘ方向及びＹ方向の両方について複数の画像データが準備される。従って、図６及び図７に示すように、Ｘ方向及びＹ方向に並ぶ複数の撮像装置Ｃｘ（１），…，Ｃｘ（ｍ），Ｃｙ（１），…，Ｃｙ（ｎ）によるオブジェクトＯＢの撮像が行われ、３Ｄの出力の大元となる画像データが生成される。より具体的には、各撮像装置により元画像が撮像され、それら複数の元画像を上記撮像装置Ｃｘ（１），…，Ｃｘ（ｍ），Ｃｙ（１），…，Ｃｙ（ｎ）の並びに合わせて並べた元画像群が生成される。

【0035】

なお、図６に示す撮像装置Ｃｘ（１），…，Ｃｘ（ｍ）と、図７に示す撮像装置Ｃｙ（１），…，Ｃｙ（ｎ）と、は個別の撮像装置の列を示すものでなく、Ｘ方向及びＹ方向にマトリクス状に配置されてオブジェクトＯＢと対向する複数の撮像装置を示している。言い換えれば、図６に示すようなＸ方向に並ぶ撮像装置Ｃｘ（１），…，Ｃｘ（ｍ）が、図７に示すように、Ｙ方向に撮像装置Ｃｙ（１），…，Ｃｙ（ｎ）だけ並んでいる。

【0036】

図６に示す撮像装置Ｃｘ（１），…，Ｃｘ（ｍ）のｍは、Ｘ方向に並ぶ撮像装置の数を示す。また、図７に示す撮像装置Ｃｙ（１），…，Ｃｙ（ｎ）のｎは、Ｙ方向に並ぶ撮像装置の数を示す。ｍ，ｎは３以上の自然数である。ｍとｎとは同一であってもよいし、異なっていてもよい。また、図６及び図７に示す（Ｃ－１），（Ｃ），（Ｃ＋１）は、Ｘ方向及びＹ方向の撮像装置の並びにおいて中間点付近に配置されている撮像装置を抜粋的に示すことを目的に記載されたものであり、それ以上に特段の意味はない。なお、図６及び図７のように、撮像装置Ｃｘ（Ｃ）が存在する撮像装置の並びでは、ｍ，ｎが奇数であることになるが、３Ｄの出力に対応した画像データの生成のための撮像に用いられる撮像装置の並び数は奇数に限られるものでなく、Ｘ方向及びＹ方向の少なくとも一方について偶数であってもよい。

【0037】

図８は、オブジェクトＯＢ側から見た撮像装置の並びの例を示す概略図である。図８に示すように、実施形態では、オブジェクトＯＢ側から見た場合、複数の撮像装置がマトリクス状に並んでいる。図８においてＸ方向に並ぶ撮像装置の数は、ｍであり、図６に対応している。図８においてＹ方向に並ぶ撮像装置の数は、ｎであり、図７に対応している。実施形態における複数の撮像装置を区別したい場合、図８に示すＸ方向の座標の番号（１からｍのいずれか）と、Ｙ方向の座標の番号（１からｎのいずれか）と、によって区別できる。例えば、撮像装置Ｃｘ（１）かつ撮像装置Ｃｙ（１）である撮像装置は、図８において左上角に位置する撮像装置になる。なお、図８はあくまで複数の撮像装置の配置を分かりやすく示すことを目的とした概略図であり、複数の撮像装置の向き等の詳細な態様を反映したものでない。実際には、複数の撮像装置の各々のフォーカスはオブジェクトＯＢ側に向いている。

【0038】

図９は、要素画像群２２ａの内容の一例を示す概略図である。要素画像群２２ａは、図５で説明したインテグラルイメージング方式の３Ｄ表示に対応した画像データであって、元画像群を加工して得られる。図９に示すように、要素画像群２２ａは、二次元的に配置された複数の要素画像Ａを含む。

【0039】

より具体的には、図９に示す要素画像群２２ａは、マトリクス状に配置されたＨ×Ｖの要素画像Ａを含む。Ｈ，Ｖは３以上の自然数である。本形態においては、当該Ｈ、Ｖは、上記撮像装置Ｃｘ、Ｃｙにて撮像された画像のｘ方向の画素数及びｙ方向の画素数に等しい。換言すると、各元画像はＨ×Ｖの画素データから構成されており、また、要素画像群２２ａは、撮像装置の画素数に等しいＨ×Ｖ個の要素画像Ａを有する。また、図９では、Ｈブロック（ｂｌｏｃｋ）並ぶ要素画像ＡのＸ方向の位置と、Ｖブロック（ｂｌｏｃｋ）並ぶ要素画像ＡのＹ方向の位置と、の組み合わせによる座標系（Ａ（ｈ，ｖ））で要素画像Ａの各々の位置を示している。ｈは、Ｈ以下の自然数である。ｖは、Ｖ以下の自然数である。例えば、Ａ（１，１）の符号は、Ｘ方向の一端側かつＹ方向の一端側に配置された要素画像Ａを示す。Ａ（Ｈ，Ｖ）の符号は、Ｘ方向の他端側かつＹ方向の他端側に配置された要素画像Ａを示す。

【0040】

図９では、要素画像群２２ａがマトリクス状に配置されたＨ×Ｖの要素画像Ａを含む例を示しているが、要素画像群２２ａが含む要素画像Ａの二次元配置は、マトリクス状に限定されるものでなく、例えばＹ方向に隣り合う要素画像Ａの行の一方においてＸ方向に並ぶ要素画像Ａの数と、他方においてＸ方向に並ぶ要素画像Ａの数と、が異なっていてもよい。

【0041】

要素画像Ａについてより詳細に説明する。図１０は、１つのある要素画像Ａ（ｈ，ｖ）の内容を示す概略図である。図１０に示すように、要素画像Ａ（ｈ，ｖ）は、Ｘ方向にｍ、Ｙ方向にｎの画素データがマトリクス状に配置された画像データである。以下、（Ｘ，Ｙ）＝（α，β）の座標系は、要素画像Ａ（ｈ，ｖ）に含まれる画素データの位置を示す。αはｍ以下の自然数である。βはｎ以下の自然数である。例えば、（Ｘ，Ｙ）＝（１，１）の画素データと記載した場合、図１０においてＸ＝１であり、かつ、Ｙ＝１である画素データをさす。（Ｘ，Ｙ）＝（ｍ，ｎ）の画素データと記載した場合、図１０においてＸ＝ｍであり、かつ、Ｙ＝ｎである画素データをさす。図１０に示す要素画像Ａ（ｈ，ｖ）におけるＸ方向、Ｙ方向の各々の画素の並び数（ｍ，ｎ）は、図８を参照して説明した複数の撮像装置のＸ方向、Ｙ方向の各々の並び数（ｍ，ｎ）に対応する。なお、元画像群のうち一部の元画像のみを抽出して要素画像群を生成する場合は、要素画像Ａ（ｈ，ｖ）におけるＸ方向、Ｙ方向の各々の画素の並び数（ｍ，ｎ）は、図８を参照して説明した複数の撮像装置のＸ方向、Ｙ方向の各々の並び数（ｍ，ｎ）よりも小さくなる。

【0042】

要素画像Ａ（ｈ，ｖ）に含まれる（Ｘ，Ｙ）＝（α，β）の画素データは、Ｘ方向に並ぶ撮像装置Ｃｘ（１），…，Ｃｘ（ｍ）（図６参照）のうち、Ｃｘ（α）に位置し、かつ、Ｙ方向に並ぶ撮像装置Ｃｙ（１），…，Ｃｙ（ｎ）（図７参照）のうち、Ｃｙ（β）に位置する撮像装置によって撮像された元画像に含まれる画素データである。

【0043】

図６及び図７を参照して説明した、Ｘ方向及びＹ方向にマトリクス状に配置されてオブジェクトＯＢと対向する複数の撮像装置の各々は、Ｘ方向にＨ、Ｙ方向にＶの画素データがマトリクス状に配置された画像データを生成する。すなわち、係る複数の撮像装置の各々は、係る画像データを生成可能な撮像素子を有する。図９に示す要素画像Ａ（１，１）は、係る複数の撮像装置の各々によって生成された複数の元画像の各々に含まれるＨ×Ｖの画素データのうち、Ｘ方向の一端側かつＹ方向の一端側に配置された画素データを含む。

【0044】

例えば、要素画像Ａ（１，１）（図９参照）に含まれる画素データのうち、（Ｘ，Ｙ）＝（１，１）の画素データ（図１０参照）は、撮像装置Ｃｘ（１）（図６参照）に位置し、かつ、撮像装置Ｃｙ（１）（図７参照）に位置する撮像装置によって撮像された元画像に含まれるＨ×Ｖの画素データのうち、Ｘ方向の一端側かつＹ方向の一端側に配置された画素データである。また、例えば、要素画像Ａ（１，１）（図９参照）に含まれる画素データのうち、（Ｘ，Ｙ）＝（ｍ，ｎ）の画素データ（図１０参照）は、撮像装置Ｃｘ（ｍ）（図６参照）に位置し、かつ、撮像装置Ｃｙ（ｎ）（図７参照）に位置する撮像装置によって撮像された元画像に含まれるＨ×Ｖの画素データのうち、Ｘ方向の一端側かつＹ方向の一端側に配置された画素データである。

【0045】

また、要素画像Ａ（Ｈ，Ｖ）（図９参照）に含まれる画素データのうち、（Ｘ，Ｙ）＝（１，１）の画素データ（図１０参照）は、撮像装置Ｃｘ（１）（図６参照）に位置し、かつ、撮像装置Ｃｙ（１）（図７参照）に位置する撮像装置によって撮像された元画像に含まれるＨ×Ｖの画素データのうち、Ｘ方向の他端側かつＹ方向の他端に配置された画素データである。また、例えば、要素画像Ａ（Ｈ，Ｖ）（図９参照）に含まれる画素データのうち、（Ｘ，Ｙ）＝（ｍ，ｎ）の画素データ（図１０参照）は、撮像装置Ｃｘ（ｍ）（図６参照）に位置し、かつ、撮像装置Ｃｙ（ｎ）（図７参照）に位置する撮像装置によって撮像された元画像に含まれるＨ×Ｖの画素データのうち、Ｘ方向の他端側かつＹ方向の他端側に配置された画素データである。すなわち、各要素画像Ａは、各撮像装置Ｃｘ、Ｃｙによって撮像された画像データのうち、同じ座標位置にある画素データごとに集め、それを撮像装置の並び順に沿って並べることによって再構成される画像である。当該要素画像は、上記インテグラルイメージング方式の３Ｄ表示の画面表示に供する。

【0046】

従って、図９に示す要素画像群２２ａに含まれる複数の要素画像Ａの各々から（Ｘ，Ｙ）＝（α，β）の画素データを抽出し、抽出された画素データを複数の要素画像Ａの並びに対応させて配置することで得られる画像データは、撮像装置Ｃｘ（α）に位置し、かつ、撮像装置Ｃｙ（β）に位置する撮像装置によって撮像された元画像に実質的に一致する。これは、かかる画素データの再集合により元画像が再現されると言い換えてもよい。要素画像群２２ａは、インテグラルイメージング方式の３Ｄ表示に用いられる要素画像Ａの集合体である画像データであるものの、例えば上記のような考え方で、要素画像群２２ａから所定の位置にある撮像装置Ｃによって撮像された画像データ（すなわち元画像）の取得が可能となる。図９では、係る考え方で生成された画像データの例として、画像Ｇ１，ＧＬ，ＧＲ，Ｇｍを例示している。

【0047】

画像Ｇ１と、画像ＧＬと、画像ＧＲと、画像Ｇｍと、はそれぞれ異なる位置からオブジェクトＯＢを撮像して生成された元画像に一致する。オブジェクトＯＢに対する撮像の位置及び角度が異なることで、画像Ｇ１と、画像ＧＬと、画像ＧＲと、画像Ｇｍと、はそれぞれオブジェクトＯＢ１，ＯＢ２の見え方が異なっている。すなわち、これらの画像データの間には視差が生じている。したがって、例えば画像ＧＬをユーザの左目ＥＬに視認させ、画像ＧＲをユーザの右目ＥＲに視認させることで、視差方式の３Ｄ表示を行える。すなわち、本実施形態においては、インテグラルイメージング方式に用いられる要素画像（群）の画像データを展開することで、最終的には視差方式による３Ｄ表示を実現する。かかる点に鑑み、以下、表示部の表示に供する上記のような画像（例えば、画像Ｇ１，ＧＬ，ＧＲ，Ｇｍ）と同様の考え方で利用される画像を視差画像Ｇとして記載することがある。

【0048】

以下、視差画像Ｇと記載した場合、要素画像群２２ａから抽出された画像データであって、かつ、図６及び図７を参照して説明した、Ｘ方向及びＹ方向にマトリクス状に配置されてオブジェクトＯＢと対向する複数の撮像装置のいずれかによって撮像された元画像に一致する画像データをさす。なお、上述の要素画像群２２ａは、上記各撮像装置から得られた元画像により生成する方法に替えて、１台のカメラの前にｍ×ｎのレンズを有するレンズアレイを具えた光学系から得られる画像に基づいても生成可能であるし、上記複数の撮像装置を仮想的に配置した仮想的な光学系を仮定した演算処理によって得ることも可能である。すなわち、例えば所定のオブジェクトＯＢを３Ｄ表示の対象とする場合、サーバ２０は、予め準備して、あるいは演算処理により１又は複数の要素画像群２２ａを記憶部２２に保存しておくことができる。

【0049】

ここで、複数の撮像装置の各々によって撮像された元画像ｇと、要素画像群２２ａと、抽出要素画像群２２ｂと、視差画像Ｇとの関係について、ｍ＝ｎ＝４の場合を例として、図１１及び図１２を参照して説明する。すなわち、４×４×１６台の撮像装置が、オブジェクトＯＢ（図６、図７参照）に対してＸ方向及びＹ方向にマトリクス状に並んでいる場合を例とした説明を行う。

【0050】

図１１は、ｍ＝ｎ＝４である場合の元画像群ＢＦを示す概略図である。図１１では、説明を分かりやすくすることを目的として、各撮像装置によって撮像される元画像ｇが、Ｘ方向に３つの画素が並び、Ｙ方向に３つの画素が並ぶ、いわゆる３×３＝９の元画像ｇであるものとする。また、図１１及び図１４では、元画像ｇの各画素データが各段階でどのように集められるのかについての理解を助ける目的で、元画像ｇごとにパターンを付している。すなわち、パターンが異なる矩形は、異なる撮像装置によって撮像された元画像ｇによるものである。また、図１１及び図１２では、「１つの元画像ｇに含まれる画素データの位置」を区別する目的で、各元画像ｇに含まれる９つの矩形（画素イメージ）にそれぞれ異なる値を付している。例えば、「１１」が付された矩形は、各元画像ｇで左上に位置する画素データを示す。

【0051】

図１２は、図１１に示す画像データに対応する要素画像群２２ａを示す概略図である。図１２に示すＸ方向の座標ｈ（１から３のいずれか）とＹ方向の座標ｖ（１から３のいずれか）との組み合わせは、図９及び図１０を参照して説明した要素画像Ａ（ｈ，ｖ）の座標系（ｈ，ｖ）に当てはめることができる値を示す。例えば、図１２においてｈ＝１であり、かつ、ｖ＝１である範囲に含まれる１６の矩形は、要素画像Ａ（１，１）に含まれる画素データを示す。係る要素画像Ａ（１，１）に含まれる画素データは、図１１に示す元画像ｇの各々の「１１」の画素データである。また、要素画像Ａ（１，１）における画素データの並びは、図１１に示すＸ方向、Ｙ方向の座標系、すなわち、複数の撮像装置の配置に対応する。図１１と図１２との対応関係が示すように、図９及び図１０を参照して説明したのと同様、要素画像Ａ（ｈ，ｖ）に含まれる画素データは、図６から図８を参照して説明した撮像装置の数及び配置に対応する。

【0052】

図３を参照して説明したステップＳ２５の処理でサーバ２０から端末１０へ送信される要素画像データは、要素画像群２２ａの一部である抽出要素画像群２２ｂである。以下、当該抽出要素画像群２２ｂの生成について、図１２に対応した図１３を例として説明する。

【0053】

図１３は、抽出要素画像群２２ｂの一例を示す概略図である。図１３に示す抽出要素画像群２２ｂは、図１２に示す要素画像Ａ（ｈ，ｖ）のうち、太い枠線で囲われた部分に含まれる画素データの集合である。係る抽出要素画像群２２ｂは、図１１における複数の撮像装置のＸ方向の座標（Ｃｘ（１から４のいずれか））と、Ｙ方向の座標（Ｃｙ（１から４のいずれか））と、の組み合わせで表した場合、（Ｃｘ，Ｃｙ）＝（２，２）、（３，２）、（２，３）及び（３，３）の視差画像Ｇに対応する。

【0054】

サーバ２０は、ステップＳ２４の処理（図３参照）で、要素画像群２２ａから、抽出要素画像群２２ｂを抽出する処理を行う。例えば、要素画像群２２ａが図１２に示すものであって、ステップＳ２３の処理で得られた第１時点の視線情報が、図１２に示す太枠の範囲内に対応する視線情報である場合、サーバ２０は、図１３に示す抽出要素画像群２２ｂを抽出する。すなわち、要素画像群２２ａそのものはデータとしては著しく大きいのみならず、そのすべてが端末１０における表示に供されるわけではない。そこで、サーバ２０は第１時点の視線情報に基づいて、当該視線情報との関係で必要とされる要素画像群２２ａの一部のみを抽出して（選抜して）抽出要素画像群２２ｂを生成し且つ端末１０に送るのである。

【0055】

端末１０は、ステップＳ１６の処理（図３参照）で得られた抽出要素画像群２２ｂを展開して視差画像Ｇを生成する処理を行うことができる。

【0056】

図１４は、図１３から生成された視差画像Ｇを含む視差画像群Ｅｘｔを示す概略図である。図１２と図１３との対応関係で説明したように、図１３に示す抽出要素画像群２２ｂは、（Ｃｘ，Ｃｙ）＝（２，２）、（３，２）、（２，３）及び（３，３）に対応する元画像ｇの画素データを含んでいる。従って、図９及び図１０を参照して説明した画素データと元画像ｇとの関係から、端末１０は、抽出要素画像群２２ｂから、上記座標に対応する元画像ｇと同一の視差画像Ｇを生成できる。

【0057】

以上、図１１から図１４に示す分かりやすい例を用いて、抽出要素画像群２２ｂがどのように構成されているか、係る抽出要素画像群２２ｂから端末１０が元画像に一致する視差画像をどのように生成するのか、を説明した。以下、抽出要素画像群２２ｂから端末１０によって再現された画像データ（視差画像群Ｅｘｔ（θ°））について、実際の態様により近いものを、図１５を参照して説明する。

【0058】

図１５は、視差画像群Ｅｘｔ（θ°）の構成例を示す概略図である。図１５に示すように、視差画像群Ｅｘｔ（θ°）は、マトリクス状に配置されたｐ×ｑの視差画像Ｇを含む。ｐ，ｑは３以上の自然数である。また、ｐは、Ｈ未満である。また、ｑは、Ｖ未満である。図１５では、ｐブロック（ｂｌｏｃｋ）並ぶ視差画像ＧのＸ方向の位置と、ｑブロック（ｂｌｏｃｋ）並ぶ視差画像ＧのＹ方向の位置と、の組み合わせによる座標系（Ｇ（φ，ψ））で視差画像群Ｅｘｔ（θ°）の各々の位置を示している。φは、ｐ以下の自然数である。ψは、ｑ以下の自然数である。例えば、Ｇ（１，１）の符号は、Ｘ方向の一端側かつＹ方向の一端側に配置された視差画像Ｇを示す。Ｇ（ｐ，ｑ）の符号は、Ｘ方向の他端側かつＹ方向の他端側に配置された視差画像Ｇを示す。

【0059】

視差画像群Ｅｘｔ（θ°）は、Ｘ方向の角度θｘ及びＹ方向の角度θｙに基づいて要素画像群２２ａから抽出された抽出要素画像群２２ａを展開して生成されており、複数の視差画像Ｇを含む。角度θｘは、上述したステップＳ１２の処理（図３参照）で端末１０からサーバ２０へ送信された視線情報が示すユーザの視線角度（θ°）のうち、Ｘ方向の基準となる角度である。角度θｙは、上述したステップＳ１２の処理（図３参照）で端末１０からサーバ２０へ送信された視線情報が示すユーザの視線角度（θ°）のうち、Ｙ方向の角度である。

【0060】

なお、後述する図１８、図２１等で示すように、表示部１５（図１、図２参照）は、Ｘ方向及びＹ方向に直交する画像表示面１５ａを有し、画像表示面１５ａから画像を出力する。取得部１１は、画像表示面１５ａに直交する基準軸、すなわち、Ｚ方向に沿う基準軸に対する角度として、Ｘ方向の角度θｘ及びＹ方向の角度θｙを導出する。

【0061】

図６に示す撮像装置Ｃｘ（１），…，Ｃｘ（ｍ）は、それぞれ異なるＸ方向の撮像角度（θｘ（１），…，θｘ（ｍ））から撮像を行う。また、図７に示す撮像装置Ｃｙ（１），…，Ｃｙ（ｎ）は、それぞれ異なるＹ方向の撮像角度（θｙ（１），…，θｙ（ｎ））から撮像を行う。要素画像群２２ａは、Ｃｘ（α）に位置し、Ｃｙ（β）に位置する撮像装置によって撮像された元画像が、角度θｘα及び角度θｙβに対応する画像データであることを示す情報を含む。すなわち、（Ｘ，Ｙ）＝（α，β）の画素データは、角度θｘα及び角度θｙβに対応する画素データである。図１５に示す視差画像群Ｅｘｔ（θ°）は、ステップＳ２４の処理で要素画像群２２ａから抽出され、ステップＳ２５の処理でサーバ２０から端末１０へ送信された抽出要素画像群２２ｂを展開して生成される。言い換えれば、当該抽出要素画像群２２ｂは、図１５に示す視差画像群Ｅｘｔ（θ°）を再現できるよう、要素画像群２２ａから抽出されている。

【0062】

例えば、角度θｘ＝角度θｘαであり、角度θｙ＝角度θｙβである場合、視差画像群Ｅｘｔ（θ°）は、以下の第１条件及び第２条件の両方に該当する元画像を含む。第１条件は、撮像装置Ｃｘ（１），…，Ｃｘ（ｍ）のうち、Ｃｘ（α）を中心としてＸ方向に並ぶｐ個の撮像装置に含まれることである。第２条件は、撮像装置Ｃｙ（１），…，Ｃｙ（ｎ）のうち、Ｃｙ（β）を中心としてＹ方向に並ぶｑ個の撮像装置に含まれることである。また、この場合、図１５に示す視差画像ＧＣは、Ｃｘ（α）に位置し、Ｃｙ（β）に位置する撮像装置によって撮像された元画像である。この場合の例で示すように、視差画像群Ｅｘｔ（θ°）は、角度θｘ及び角度θｙに対応する画像データを生成した撮像装置を中心として、Ｘ方向にｐ個の撮像装置、Ｙ方向にｑ個の撮像装置によって撮像されたｐ×ｑの画像データを含む。あるいはまた、サーバにて抽出プログラム２２ｐと協働してなる演算部（すなわち抽出部）は、要素画像群２２ａに対し、角度θｘ及び角度θｙに対応する元画像の画素イメージと、当該元画像を中心として、Ｘ方向にｐ個の元画像、Ｙ方向にｑ個の元画像の画素イメージを含むように画素データを抽出し、それらを並べて抽出要素画像群２２ｂを生成する。

【0063】

なお、特定の元画像の撮像角度が角度θｘや角度θｙに一致するとは限らない。その場合、抽出部２５（図２参照）は、ステップＳ２４の処理（図３参照）において、撮像角度（θｘ１，…，θｘｍ）のうち角度θｘに最も近い撮像角度であって、かつ、撮像角度（θｙ１，…，θｙｎ）のうち角度θｙに最も近い撮像角度である元画像を視差画像ＧＣ（図１５参照）に対応する画像とみなして選択する。ただし、抽出部２５は、撮像角度（θｘ１，…，θｘｍ）のうち角度θｘに最も近い撮像角度を角度θｘとみなすわけでなく、撮像角度（θｙ１，…，θｙｎ）のうち角度θｙに最も近い撮像角度を角度θｙとみなすわけでない。角度θｘ，θｙと、視差画像ＧＣを生成した撮像装置の撮像角度と、は個別に管理される。

【0064】

また、ｐが偶数である場合、ｐ×ｑの画像データを含む視差画像群Ｅｘｔ（θ°）（図１５参照）における視差画像ＧＣは、図１５に示すようにＸ方向の中心に位置するわけでなく、Ｘ方向の中心に対してＸ方向の一端側又は他端側に１つずれた位置を取ることになる。ここで、視差画像ＧＣがＸ方向の一端側に位置する場合、視差画像群Ｅｘｔ（θ°）は、視差画像ＧＣを生成した撮像装置を基準として、当該基準からＸ方向の一端側に連続して並ぶ｛（ｐ／２）－１｝個の撮像装置と、当該基準からＸ方向の他端側に連続して並ぶ｛（ｐ／２）｝個の撮像装置と、によって撮像された画像データを含む。また、視差画像ＧＣがＸ方向の他端側に位置する場合、視差画像群Ｅｘｔ（θ°）は、視差画像ＧＣを生成した撮像装置を基準として、当該基準からＸ方向の一端側に連続して並ぶ｛（ｐ／２）｝個の撮像装置と、当該基準からＸ方向の他端側に連続して並ぶ｛（ｐ／２）－１｝個の撮像装置と、によって撮像された画像データを含む。ｑが偶数である場合の視差画像ＧＣと、視差画像群Ｅｘｔθ°に含まれるＹ方向のｑ個の画像データの並びについても同様の考え方が適用される。

【0065】

ここで、視差画像ＧＣは、視差画像群Ｅｘｔのもとになる抽出要素画像群２２ｂが抽出された時点（第１時点）での基準角度（θ°）に対応した画像データとして機能する。また、視差画像群Ｅｘｔに含まれる視差画像ＧＣ以外の画像データは、当該第１時点での当該基準角度にそれぞれ異なる誤差角度を加算又は減算した角度に対応した画像データとして機能する。

【0066】

実施形態では、例えば、ｍ＝３２，ｎ＝３２，Ｈ＝２４６，Ｖ＝４３２，ｐ＝１６，ｑ＝５であるが、これらの具体的な値はあくまで一例であってこれに限られるものでなく、適宜変更可能である。

【0067】

以下、図３を参照して説明したステップＳ１２の処理で端末１０からサーバ２０へ送信される視線情報が示す視線角度と、ステップＳ２４の処理で要素画像群２２ａから抽出される抽出要素画像群２２ｂから再現された視差画像群Ｅｘｔと、ステップＳ１８の処理で視差画像群Ｅｘｔから選択される表示データと、の関係の一例について、図１６から図２３を参照して説明する。

【0068】

図１６は、表示システム１で行われる情報処理の流れを概略的に示すタイムチャートである。図１６及び後述する図２５では、表示システム１で行われる情報処理の流れにおける起点となるタイミングをタイミングＴ１としている。

【0069】

まず、タイミングＴ１にステップＳ１１の処理（図３参照）が行われる。すなわち、タイミングＴ１に取得部１１が視線情報を取得する。ここで、上述したように、ステップＳ１１の処理は、第１周期で行われる。図１６及び図２５では、第１周期をタイミングＴ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５，Ｔ６，…で示している。また、図１６及び図２５では、タイミングＴ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５の各々で取得された視線情報を、θ１°，θ２°，θ３°，θ４°，θ５°として示している。θ１°，θ２°，θ３°，θ４°，θ５°はそれぞれ、上記した角度θｘを示す情報及び角度θｙを示す情報を含む（図１５参照）。

【0070】

また、ステップＳ１２の処理（図３参照）による端末１０からサーバ２０への視線情報の送信は、第２周期で行われる。図１６及び図２５では、第２周期をタイミングＴ１，Ｔ３，Ｔ５，…で示している。すなわち、第２周期は、第１周期よりもインターバルが長い。図１６及び図２５では、タイミングＴ１，Ｔ３，Ｔ５の各々で取得された視線情報（θ１°，θ３°，θ５°）がステップＳ１２の処理で端末１０からサーバ２０へ送信されていることを、取得部１１から抽出部２５への二点鎖線の矢印で示している。

【0071】

ステップＳ２４の処理（図３参照）として説明したように、抽出部２５は、ステップＳ１２の処理で送信され、ステップＳ２３の処理で受信した視線情報（θ１°）に基づいて、要素画像群２２ａから視差画像群Ｅｘｔのもとになる抽出要素画像群２２ｂを生成する。抽出要素画像群２２ｂは、ステップＳ２５の処理でサーバ２０から端末１０へ送信される。係る抽出要素画像群２２ｂの抽出及び送信は、ステップＳ２３の処理が生じる度に行われる。図１６及び後述する図２５では、取得部１１から表示制御部１５に向かう矢印によって抽出要素画像群２２ｂの送信が示されている。

【0072】

図１６及び図２５では、タイミングＴ１に取得部１１によって取得された視線情報（θ１°）に基づいて生成された抽出要素画像群２２ｂから再現された視差画像群Ｅｘｔである視差画像群Ｅｘｔ（θ１°）と、タイミングＴ３に取得部１１によって取得された視線情報（θ３°）に抽出要素画像群２２ｂから再現された視差画像群Ｅｘｔである視差画像群Ｅｘｔ（θ３°）と、を例示している。視線情報に基づいた視差画像群Ｅｘｔの抽出は、視線情報の受信から第２周期の経過までに完了している。すなわち、次の視線情報の受信までに、前の視線情報に基づいた要素画像データの抽出は完了している。

【0073】

ステップＳ２５の処理（図３参照）によるサーバ２０から端末１０への抽出要素画像群２２ｂの送信及びステップＳ１６の処理による抽出要素画像群２２ｂの受信は、第２周期又はそれに準じたインターバルで行われる。抽出要素画像群２２ｂからの視差画像群Ｅｘｔの展開は、ステップＳ１６の処理後、ステップＳ１９の処理前までに行われる。図１５及び図２５では、視差画像群Ｅｘｔ（θ１°）の再現がタイミングＴ３前後に行われ、視差画像群Ｅｘｔ（θ３°）の再現がタイミングＴ５前後に行われている例を示している。

【0074】

なお、端末１０が視差画像群Ｅｘｔ（θ１°）の展開を完了することと並行して、取得部１１によるタイミングＴ３時点での視線情報（θ３°）の取得が行われている。ここで、視差画像群Ｅｘｔ（θ１°）のもとになる抽出要素画像群２２ｂを要素画像群２２ａから抽出する際に参照された視線情報（θ１°）を第１時点（ここでは、タイミングＴ１）の視線情報とする。この場合、端末１０は、当該第１時点の視線情報に基づいた視差画像群Ｅｘｔ（θ１°）のもとになる抽出要素画像群２２ｂの受信を完了した時点で、取得部１１によって当該第１時点よりも後の第２時点（ここでは、タイミングＴ３）の視線情報（θ３°）を取得している。つまり、この時点で視線はθ３にも関わらず、受信して展開した視差画像群Ｅｘｔの視線の中心は（θ１）のものであることがわかる。そこで、ステップＳ１８の処理（図３参照）で、表示制御部１４は、当該第２時点の視線情報（θ３°）に基づいて、当該第１時点の視線情報に基づいた視差画像群Ｅｘｔ（θ１°）から、当該第２時点の視線情報（θ３°）に対応した視差画像Ｇを選択する。これによって、当該第１時点の視線情報に基づく視差画像群Ｅｘｔのうちから第２の視線情報、すなわち最新の視線情報を基にした適切な視差画像（第１視差画像ＧＲ３と第２視差画像ＧＬ３）が選択される。

【0075】

図１６では、第１時点（ここでは、タイミングＴ１）の視線情報（θ１°）に基づく限り、視差画像群Ｅｘｔ（θ１°）において表示データを構成する視差画像として選択される画像データを、第１視差画像ＧＲ１と第２視差画像ＧＬ１として示している。また、ステップＳ１８の処理で、当該第１時点よりも後の第２時点（ここでは、タイミングＴ３）の視線情報（θ３°）に基づいて選択される表示データを構成する視差画像として選択される画像データを、第１視差画像ＧＲ３と第２視差画像ＧＬ３として示している。係る選択は、タイミングＴ３とタイミングＴ４と間の期間に行われる。ステップＳ１９の処理で、表示部１５は、このようにして表示制御部１４に選択された第１視差画像ＧＲ３と第２視差画像ＧＬ３とに基づいた表示データを、タイミングＴ４とタイミングＴ５との間の期間に表示する。すなわち、表示部１５は、タイミングＴ１時点の視線情報に対応した視差画像群Ｅｘｔ（θ１°）から、タイミングＴ３時点の視点情報に対応した表示データＤ（θ３°）の出力を、まだ視差画像群Ｅｘｔ（θ３°）に基づいた出力を行えないタイミングＴ４時点で行える。

【0076】

続いて、端末１０が視差画像群Ｅｘｔ（θ１°）のもとになる抽出要素画像群２２ｂの受信を完了した後、取得部１１によるタイミングＴ４時点での視線情報（θ４°）の取得が行われている。ここで、視差画像群Ｅｘｔ（θ１°）のもとになる抽出要素画像群２２ｂを要素画像群２２ａから抽出する際に参照された視線情報（θ１°）を第１時点（ここでは、タイミングＴ１）の視線情報とする。この場合、端末１０は、当該第１時点の視線情報に基づいた視差画像群Ｅｘｔ（θ１°）のもとになる抽出要素画像群２２ｂの受信を完了した時点で、取得部１１によって当該第１時点よりも後の第２時点（ここでは、タイミングＴ４）の視線情報（θ４°）を取得している。ステップＳ１８の処理（図３参照）で、表示制御部１４は、当該第２時点の視線情報（θ４°）に基づいて、当該第１時点の視線情報に基づいた視差画像群Ｅｘｔ（θ１°）から、当該第２時点の視線情報（θ４°）に対応した視差画像Ｇを選択する。これによって、当該第１時点の視線情報に基づく視差画像群Ｅｘｔのうちから第２の視線情報、すなわち最新の視線情報を基にした適切な視差画像（第１視差画像ＧＲ４と第２視差画像ＧＬ４）が選択される。

【0077】

図１６では、ステップＳ１８の処理で、当該第１時点よりも後の第２時点（ここでは、タイミングＴ４）の視線情報（θ４°）に基づいて選択される表示データを構成する画像データとして選択される画像データを、第１視差画像ＧＲ４と第２視差画像ＧＬ４として示している。係る選択は、タイミングＴ４とタイミングＴ５と間の期間に行われる。ステップＳ１９の処理で、表示部１５は、このようにして表示制御部１４に選択された第１視差画像ＧＲ４と第２視差画像ＧＬ４とに基づいた表示データを、タイミングＴ５とタイミングＴ６との間の期間に表示する。

【0078】

また、端末１０が視差画像群Ｅｘｔ（θ３°）のもとになる抽出要素画像群２２ｂの受信を完了することと並行して、取得部１１によるタイミングＴ５時点での視線情報（θ５°）の取得が行われている。ここで、視差画像群Ｅｘｔ（θ３°）のもとになる抽出要素画像群２２ｂを要素画像群２２ａから抽出する際に参照された視線情報（θ３°）を第１時点（ここでは、タイミングＴ３）の視線情報とする。この場合、端末１０は、当該第１時点の視線情報に基づいた視差画像群Ｅｘｔ（θ３°）のもとになる抽出要素画像群２２ｂの受信を完了した時点で、取得部１１によって当該第１時点よりも後の第２時点（ここでは、タイミングＴ５）の視線情報（θ５°）を取得している。ステップＳ１８の処理（図３参照）で、表示制御部１４は、当該第２時点の視線情報（θ５°）に基づいて、当該第１時点の視線情報に基づいた視差画像群Ｅｘｔ（θ３°）から、当該第２時点の視線情報（θ５°）に対応した表示データを選択する。これによって、当該第１時点の視線情報に基づく視差画像群Ｅｘｔのうちから第２の視線情報、すなわち最新の視線情報を基にした適切な視差画像（第１視差画像ＧＲ５と第２視差画像ＧＬ５）が選択される。

【0079】

図１６では、第１時点（ここでは、タイミングＴ３）の視線情報（θ３°）に基づく限り、視差画像群Ｅｘｔ（θ３°）において表示データを構成する画像データとして選択される画像データを、第１視差画像ＧＲ３と第２視差画像ＧＬ３として示している。また、ステップＳ１８の処理で、当該第１時点よりも後の第２時点（ここでは、タイミングＴ５）の視線情報（θ３°）に基づいて選択される表示データを構成する画像データとして選択される画像データを、第１視差画像ＧＲ５と第２視差画像ＧＬ５として示している。係る選択は、タイミングＴ５とタイミングＴ６と間の期間に行われる。ステップＳ１９の処理で、表示部１５は、このようにして表示制御部１４に選択された第１視差画像ＧＲ５と第２視差画像ＧＬ５とに基づいた表示データを、タイミングＴ６以降の期間に表示する。このことにより、第２の視線情報に基にした適切な視差画像群Ｅｘｔを選択することができる。

【0080】

図示しないが、タイミングＴ６以降も表示システム１が動作し続ける場合、第１周期での取得部１１による視線情報の取得、第２周期での視線情報の送受信、抽出部２５による第１時点での視線情報に基づいた視差画像群Ｅｘｔのもとになる要素画像データの抽出、当該抽出要素画像群２２ｂからの視差画像群Ｅｘｔの再現、表示制御部１４による第２時点での視線情報に基づいた視差画像群Ｅｘｔからの表示データの選択及び表示部１５による表示データの出力が繰り返し行われる。

【0081】

以下、視線情報と、視差画像群Ｅｘｔに含まれる表示データと、表示制御部１４による表示データの選択と、のより詳細な事項について、図１７から図２３を参照して説明する。なお、説明の簡略化を目的として、タイミングＴ１の視線情報（θ１°）とタイミングＴ３の視線情報（θ３°）との間には、Ｘ方向の視線角度の変化のみあったものとする。

【0082】

図１７は、視差画像群Ｅｘｔ（θ１°）に含まれる複数の視差画像（すなわち元画像）と、第１時点の視線情報（θ１°）に基づいて表示データとして選択される第１視差画像ＧＲ１及び第２画像視差ＧＬ１と、の関係の一例を示す概略図である。図１８は、第１時点の視線情報（θ１°）が示すＸ方向の角度（θｘ１）と、当該第１時点でのユーザの目の位置と、の関係の一例を示す概略図である。

【0083】

視差画像群Ｅｘｔ（θ１°）のような視差画像群Ｅｘｔは、図１５を参照して説明したように、Ｘ方向の角度θｘ及びＹ方向の角度θｙを中心として複数の視差画像（すなわち元画像）を含む。図１７等では、視差画像群Ｅｘｔ（θ１°）のもとになる抽出要素画像群２２ｂが抽出された時点（第１時点）でのＸ方向の角度θｘを、角度θｘ１として示している。また、当該第１時点でのＹ方向の角度θｙを、角度θｙ１として示している。また、当該中心をＸ方向に０°、Ｙ方向に０°の角度とすると、図１７に示す視差画像群Ｅｘｔは、係る複数の画像データを含むことで、Ｘ方向に±１２°、Ｙ方向に±３．２°の角度範囲におけるユーザの視線をカバーしている。言い換えれば、実施形態の視差画像群Ｅｘｔは、当該第１時点のユーザの視線情報が示す視線角度を中心として、Ｘ方向に±１２°、Ｙ方向に±３．２°の角度範囲内でユーザが視線角度を変えて視認可能な画像を含んでいる。あるいはまた、サーバ２０の抽出部２５は、一対の視差画像データ（例えば、図１７に示す第１視差画像ＧＲ１と第２視差画像ＧＬ１）が常に当該位置となるように各視線情報に基づく抽出要素画像群２２ｂを生成している、ともいえる。

【0084】

実施形態では、視線情報は、取得部１１の撮像部１１ａによって撮像されたユーザの顔画像に含まれる右目ＥＲ及び左目ＥＬが、表示部１５の画像表示面１５ａを見ているものとして視線情報を導出する。すなわち、実施形態の取得部１１は、端末１０の設計によって予め定められた撮像部１１ａの配置及び画角と画像表示面１５ａとの位置関係に基づいて、ユーザの顔画像に含まれる右目ＥＲ及び左目ＥＬの焦点が画像表示面１５ａに収束しているものとして視線情報を導出する。

【0085】

図１８及び後述する図２０では、視差画像群Ｅｘｔ（θ１°）のもとになる抽出要素画像群２２ｂが抽出された時点（第１時点）でのユーザの視線情報（θ１°）が示すＸ方向の角度θｘ１が、ユーザが表示部１５の画像表示面１５ａにおけるＸ方向の中心点を見ている場合を例示している。また、図１８及び図２０では、この場合のユーザの右目ＥＲの位置を右目ＥＲ１とし、当該ユーザの左目ＥＬの位置を左目ＥＬ１としている。

【0086】

また、図１８及び図２０に示すように、ユーザの視線情報（θ１°）が示すＸ方向の角度θｘ１は、基準線と、Ｚ方向と、の間の角度である。当該基準線は、右目ＥＲ１と左目ＥＬ１とのＸ方向の中間点ＣＰ（図２５参照）と、右目ＥＲ１と左目ＥＬ１との焦点と、を結ぶ直線である。当該基準線を中心として、焦点と右目ＥＲ１とを結ぶ直線と、焦点と右目ＥＲ１とを結ぶ直線と、の間には角度Ｗ°の開きがある。図１８及び図２０では、焦点と右目ＥＲ１とを結ぶ直線を、｛（θ１＋（Ｗ／２）｝°の直線として示している。また、焦点と左目ＥＬ１とを結ぶ直線を、｛（θ１－（Ｗ／２）｝°の直線として示している。

【0087】

ここで、上記したように、視差画像群Ｅｘｔに含まれるＸ方向の中心に対応する画像は、ユーザの視線情報（θ１°）が示すＸ方向の角度θｘ１に対応している。一方、右目ＥＲ１の視線角度は、角度θｘ１でなく、｛（θ１＋（Ｗ／２）｝°である。また、左目ＥＬ１の視線角度は、｛（θ１－（Ｗ／２）｝°である。このような、視線情報（θ１°）が示すＸ方向の角度θｘ１と、右目ＥＲ１及び左目ＥＬ１の各々の視線角度と、の関係を鑑みると、視差方式の３Ｄ画像をユーザに視認させるためには、右目ＥＲ１の視線角度と左目ＥＬ１の視線角度に個別に対応した出力を行う必要がある。従って、図１７等に示すように、右目ＥＲ１によって視認されることを想定して選択される第１視差画像ＧＲ１は、角度θｘ１に直接対応する位置の画像データではなく、角度θｘ１からＸ方向に一方側に所定角度（例えば、４．０°）ずれた位置の画像データである。また、左目ＥＬ１によって視認されることを想定して選択される第２視差画像ＧＬ１は、角度θｘ１に直接対応する位置の画像データではなく、角度θｘ１からＸ方向に他方側に所定角度（例えば、－４．０°）ずれた位置の画像データである。なお、実施形態の表示制御部１４は、角度θｘ１から｛（θ１±（Ｗ／２）｝を導出可能なアルゴリズムが反映された回路又はプログラム等を保持する。

【0088】

図１９は、視差画像群Ｅｘｔ（θ１°）に含まれる複数の視差画像（すなわち元画像）と、第１時点の視線情報（θ１°）に基づいて表示データとして選択される第１視差画像ＧＲ１及び第２画像視差ＧＬ１と、第２時点の視線情報（θ３°）に基づいて表示データとして選択される第１画像視差ＧＲ３及び第２画像視差ＧＬ３と、の関係の一例を示す概略図である。図２０は、第１時点の視線情報（θ１°）が示す視線角度（θｘ１）及び当該第１時点でのユーザの目の位置と、第２時点の視線情報（θ３°）が示す視線角度（θｘ３）及び当該第２時点でのユーザの目の位置と、の関係の一例を示す概略図である。

【0089】

上記したように、表示制御部１４が第２時点の視線情報（θ３°）に対応した表示データを選択することによって、第１時点の視線情報（θ１°）に基づく限り表示されていたはずの表示データとは異なる表示データが選択されることがある。図１９では、第１視差画像ＧＲ１とは異なる第１視差画像ＧＲ３と、第２視差画像ＧＬ１とは異なる第２視差画像ＧＬ３と、が選択されている例を示している。

【0090】

図１９及び図２０に示すように、第２時点の視線情報（θ３°）が示すＸ方向の角度θｘ３は、第１時点の視線情報（θ１°）が示すＸ方向の角度θｘ１に対してＸ方向にずれている。当然、角度θｘ３に対応したユーザの右目ＥＲの位置である右目ＥＲ３の視線角度｛（θ３＋（Ｗ／２）｝°も、右目ＥＲ１の視線角度｛（θ１＋（Ｗ／２）｝°に対してずれている。また、角度θｘ３に対応したユーザの左目ＥＬの位置である左目ＥＬ３の視線角度｛（θ３－（Ｗ／２）｝°も、左目ＥＬ１の視線角度｛（θ１－（Ｗ／２）｝°に対してずれている。第２時点の視線情報（θ３°）に基づいて表示データを選択する表示制御部１４は、このようなＸ方向の視線角度のずれが反映された画像データを表示データとして選択する。これによって、表示制御部１４は、第２時点の視線情報（θ３°）に対応した表示データとして、第１視差画像ＧＲ３と第２視差画像ＧＬ３を選択する。

【0091】

以上、第１時点の視線情報と第２時点の視線情報との間のＸ方向の視線角度のずれについて、図１７から図２０を参照して説明した。次に、第１時点の視線情報と第２時点の視線情報との間のＹ方向の視線角度のずれについて、図２１から図２３を参照して説明する。なお、説明の簡略化を目的として、タイミングＴ３視線情報（θ３°）とタイミングＴ４の視線情報（θ４°）との間には、Ｙ方向の視線角度の変化のみあったものとする。

【0092】

図２１は、ユーザの視線情報が示すＹ方向の角度を示す概略図である。図２１に示す角度θｙ１は、第１時点での視線情報（θ１°）が示すＹ方向の角度である。また、視線情報（θ１°）と視線情報（θ３°）では、視線情報が示すＹ方向の角度が変化していない。従って、図２０から図２３では、角度θｙ１（＝θｙ３）として示している。

【0093】

なお、実施形態ではユーザの右目ＥＲと左目ＥＬはＸ方向に並んでおり、Ｙ方向には並ばない。実施形態では、右目ＥＲと左目ＥＬがＹ方向に同一の位置にあるものとして扱われる。図２１及び後述する図２３では、角度θｙ１（＝θｙ３）に対応した右目ＥＲ及び左目ＥＬの位置を、目Ｅ３として示している。

【0094】

図２２は、視差画像群Ｅｘｔ（θ１°）に含まれる複数の視差画像（すなわち元画像）と、第１時点の視線情報（θ１°）に基づいて表示データとして選択される第１視差画像ＧＲ１及び第２視差画像ＧＬ１と、第２時点の視線情報（θ４°）に基づいて表示データとして選択される第１視差画像ＧＲ４及び第２視差画像ＧＬ４と、の関係の一例を示す概略図である。図２３は、第１時点の視線情報（θ１°）が示す視線角度（θｙ１）及び当該第１時点でのユーザの目の位置と、第２時点の視線情報（θ４°）が示す視線角度（θｙ４）及び当該第２時点でのユーザの目の位置と、の関係の一例を示す概略図である。

【0095】

上記したように、表示制御部１４が第２時点の視線情報（θ４°）に対応した表示データを選択することによって、第１時点の視線情報（θ１°）に基づく限り表示されていたはずの表示データとは異なる表示データが選択されることがある。図２３では、第１視差画像ＧＲ１とは異なる第１視差画像ＧＲ４と、第２視差画像ＧＬ１とは異なる第２視差画像ＧＬ４と、が選択されている例を示している。

【0096】

図２２及び図２３に示すように、第２時点の視線情報（θ４°）が示すＹ方向の角度θｙ４は、第１時点の視線情報（θ１°）が示すＹ方向の角度θｙ１に対してＹ方向にずれている。当然、角度θｙ４に対応したユーザの右目ＥＲ及び左目ＥＬの位置である目Ｅ４も、目Ｅ３に対してずれている。第２時点の視線情報（θ４°）に基づいて表示データを選択する表示制御部１４は、このようなＹ方向の視線角度のずれが反映された画像データを表示データとして選択する。これによって、表示制御部１４は、第２時点の視線情報（θ４°）に対応した表示データとして、第１視差画像ＧＲ４と第２視差画像ＧＬ４を選択する。

【0097】

以上、第１時点の視線情報と第２時点の視線情報との間のＸ方向の視線角度のずれが生じた場合（図１７から図２０参照）と、第１時点の視線情報と第２時点の視線情報との間のＹ方向の視線角度のずれが生じた場合（図２１から図２３参照）と、を個別に説明したが、Ｘ方向の視線角度のずれとＹ方向の視線角度のずれの両方が同時に生じることも当然ありうる。その場合、両方のずれが反映された画像データの選択が行われる。

【0098】

また、図１６に示す視差画像群Ｅｘｔ（θ３°）における第１視差画像ＧＲ３及び第２視差画像ＧＬ３と、第１視差画像ＧＲ５及び第２視差画像ＧＬ５と、の関係も、図１７から図２３を参照して説明した第１時点の視線情報と第２時点の視線情報との間の視線角度のずれの関係に対応する。なお、第１時点の視線情報と第２時点の視線情報との間で視線角度にずれがない又は選択される画像データの変更が生じない程度に小さいずれであった場合、第１時点の視線情報に基づいて選択される画像データと、第２時点の視線情報に基づいて選択される画像データと、は同じになる。

【0099】

なお、第２時点の視線情報（θａ°）に対応した右目ＥＲ、左目ＥＬの視線角度｛（θｘａ±（Ｗ／２）｝や、当該視線情報（θａ°）に対応したＹ方向の視線角度（θｙａ）に完全一致で対応する画像データが、第１時点の視線情報（θｂ°）に対応した視差画像群Ｅｘｔ（θｂ°）に含まれるとは限らない。この場合、表示制御部１４は、視差画像群Ｅｘｔ（θｂ°）に含まれる画像データのうち、求められた｛（θｘａ±（Ｗ／２）｝、（θｙａ）に最も近い角度からの撮像で得られた画像データを選択する。

【0100】

次に、視差方式を用いた３Ｄ表示を成立させることができる表示部１５の具体的形態の一例について、図２４を参照して説明する。

【0101】

図２４は、実施形態で採用可能な表示部１５の具体的形態の一例を示す概略断面図である。図２４に示すように、表示部１５は、例えば、液晶パネル１５ｂと、光源装置１５ｃと、を有する。液晶パネル１５ｂは、透過型の液晶ディスプレイパネルである。実施形態の画像表示面１５ａは、液晶パネル１５ｂのパネル板面のうちユーザ側の一面である。

【0102】

液晶パネル１５ｂは、例えばいわゆるアクティブマトリックス方式で実装された複数の画素Ｐｉｘを有する。ここで、Ｘ方向に並ぶ複数の画素Ｐｉｘのうち、一部を第１画像データ（例えば、第１視差画像ＧＲ３，ＧＲ４，ＧＲ５等）の出力に適用し、他の一部を第２画像データ（例えば、第２視差画像ＧＬ３，ＧＬ４，ＧＬ５等）の出力に適用することで、表示部１５は、当該第１視差画像と当該第２視差画像を統合した表示データの出力を行える。図１６に示す表示データＤ（θ３°），Ｄ（θ４°），Ｄ（θ５°）及び後述する図２５に示す表示データＤ（θ４Ａ°），Ｄ（θ５Ａ°），Ｄ（θ６Ａ°）は、このような考え方で第１視差画像と第２視差画像を統合した表示データである。

【0103】

表示制御部１４は、係る表示データの出力が行われるように当該第１画像データと当該第２画像データを統合して表示部１５に出力させる。図２４では、当該第１視差画像を出力する第１画素ＰｉｘＲと、当該第２視差画像を出力する第２画素ＰｉｘＬと、Ｘ方向に並ぶ３つの画素Ｐｉｘ周期で交互に配置されているが、このような第１画素ＰｉｘＲと第２画素ＰｉｘＬとの関係はあくまで一例であってこれに限られるものでない。第１画素ＰｉｘＲと第２画素ＰｉｘＬとの関係は、ユーザの右目ＥＲ及び左目ＥＬと画像表示面１５ａとの距離Ｚ１、右目ＥＲと左目ＥＬとの間の間隔ＥＤ２、画素Ｐｉｘを透過する光の光源点ＬＰと画素ＰｉｘのＺ方向の中間点との間の奥行きＴｈ、各画素ＰｉｘのピッチＰＤ等の各種のパラメータに対応して適宜決定される。

【0104】

光源装置１５ｃは、液晶パネル１５ｂを挟んでユーザの反対側に設けられる。光源装置１５ｃは、複数の光源点ＬＰから液晶パネル１５ｂ側へ光を発する。言い換えれば、光源装置１５ｃにおける複数の光源点ＬＰ間の範囲では、液晶パネル１５ｂ側へ向かう光は生じない。複数の光源点ＬＰは、例えば個別に設けられたマイクロＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）のような複数の点光源であってもよいし、複数の光源点ＬＰの位置に応じた複数の孔が設けられた遮光層を面光源と液晶パネル１５ｂとの間に設けることで形成されたものであってもよい。図２４に示す構成では、Ｘ方向に所定間隔（ピッチＬＰＰ）をあけて配置された複数の光源点ＬＰが、図５を参照して説明した視差形成部Ｐａｒと同様に機能する。

【0105】

図２４に示すピッチＬＰＰは、Ｘ方向に並ぶ画素Ｐｉｘ６つ分に対応するが、これはあくまで一例であってこれに限られるものでない。ピッチＬＰＰ及び各光源点ＬＰのピッチＬＤは、上記した各種のパラメータの１つであり、ユーザに立体視を成立させることを想定した設計において適宜決定される。

【0106】

また、図２４では、液晶パネル１５ｂと光源装置１５ｃとの間にギャップＡＧが介在している。ギャップＡＧには、例えば液晶パネル１５ｂと実質的に同様の屈折率ｎ２を示す透光性部材（例えば、ガラス）が設けられているが、空間であってもよい。ただし、ギャップＡＧが空間である場合には、後述する屈折と同様の事象をギャップＡＧと液晶パネル１５ｂとの間でも考慮することが望ましい。

【0107】

画像表示面１５ａと右目ＥＲ、左目ＥＬとの間には、空気が介在することが想定される。ここで、空気の屈折率ｎ１と、液晶パネル１５ｂを構成する透光性基板（例えば、ガラス基板）の屈折率ｎ２と、の相違に応じた屈折が生じる。図２４では、光源点ＬＰから発せられて第２画素ＰｉｘＬを通過して画像表示面１５ａに向かう光の射線と画像表示面１５ａから左目ＥＬに向かう光の射線と、の間で生じる屈折の発生点ＲＥ１と、光源点ＬＰから発せられて第１画素ＰｉｘＲを通過して画像表示面１５ａに向かう光の射線と画像表示面１５ａから右目ＥＲに向かう光の射線と、の間で生じる屈折の発生点ＲＥ２と、を示している。上記した各種のパラメータには、係る屈折率ｎ１，ｎ２も含まれる。

【0108】

また、液晶パネル１５ｂを挟んでＺ方向に対向するように偏光板Ｐｏ１，Ｐｏ２が設けられること等、上記した各種のパラメータには、より詳細な表示部１５の具体的形態に対応した諸所的事項が含まれうる。

【0109】

また、上記した基準線は、右目ＥＲと左目ＥＬとの間の中間点ＣＰと、画像表示面１５ａにおける右目ＥＲと左目ＥＬの焦点と、を結ぶ直線である。中間点ＣＰと右目ＥＲとのＸ方向の距離及び中間点ＣＰと左目ＥＬとのＸ方向の距離は、ともに間隔ＥＤ１である。間隔ＥＤ１は、間隔ＥＤ２の１／２である。

【0110】

一例として、屈折率ｎ１＝１．０とした場合、屈折率ｎ２＝１．５である。また、間隔ＥＤ２＝６２．５ｍｍ、間隔ＥＤ１＝３１．２５ｍｍ、距離Ｚ１＝３８０ｍｍ、幅ＰＤ＝０．０３１５ｍｍ、ピッチＬＰＰ＝０．１８９ｍｍである場合、奥行きＴｈ＝０．８６ｍｍとすることで、視差方式の３Ｄ表示を成立させることができる。図２４に示す奥行きＴｈは、ギャップＡＧのＺ方向の厚みＴｈ１、液晶パネル１５ｂと光源装置１５ｃとの間の偏光板Ｐｏ１のＺ方向の厚みＴｈ２、画素Ｐｉｘに対して光源装置１５ｃ側に設けられるガラス基板の厚みに対応したＺ方向の厚みＴｈ３を含む。表示システム１は、設計に応じて定められた厚みＴｈ２，Ｔｈ３に応じて厚みＴｈ１を適宜調節することで、より容易かつ高精度に奥行きＴｈを設定できる。一例を挙げると、厚みＴｈ２＝０．１ｍｍ、厚みＴｈ３＝０．２ｍｍの場合、ギャップＡＧの厚みＴｈ１を０．５６ｍｍとすればよいことになる。また、光源点ＬＰのＸ方向の中間位置を挟んでＸ方向に対向する第１画素ＰｉｘＲと第２画素ＰｉｘＬのうち片方と、当該中間位置と、の間のＸ方向の間隔は、例えば０．０４７２５ｍｍである。これらの具体的な数値はあくまで一例であってこれに限られるものでなく、距離Ｚ１や表示部１５の具体的形態等に応じて適宜変更可能である。

【0111】

なお、実施形態における取得部１１は、撮像部１１ａを有しているが、さらにユーザと画像表示面１５ａとのＺ方向の間隔を示す情報を取得する測距部等を有していてもよい。その場合、距離Ｚ１を当該測距部によって測定された値とし、表示制御部１４が当該値に応じて第１画素ＰｉｘＲと第２画素ＰｉｘＬとのインターバルを調整するようにしてもよい。係る調整が行われる場合、Ｚ方向の間隔の値と、係るインターバルと、の対応関係を示すデータが予め記憶部１３等に記憶され、表示制御部１４から参照可能とされている。

【0112】

（変形例）
次に、表示制御部１４の処理内容の一部が実施形態と異なる変形例について、図２５を参照して説明する。変形例に係る説明では、実施形態と異なる部分について特筆し、実施形態と同様の事項については同じ符号を付して説明を省略する。

【0113】

図２５は、変形例の表示システム１で行われる情報処理の流れを概略的に示すタイムチャートである。変形例の表示制御部１４は、視差画像群Ｅｘｔのもとになる抽出視差画像群２２ｂの生成で参照された第１時点よりも後の複数の時点で取得された複数の視線情報の各々が示す視線角度同士の差に基づいて、第２時点での視線情報を導出する。

【0114】

具体的には、表示制御部１４は、例えば、取得部１１によってタイミングＴ２に取得された視線情報（θ２°）と、タイミングＴ３に取得された視線情報（θ３°）と、の各々の視線情報の各々が示す視線角度同士の差に基づいて、第２時点（タイミングＴ４）の視線情報（θ４Ａ°）を導出する。より具体的には、表示制御部１４は、例えば、タイミングＴ２に取得された視線情報（θ２°）が示す視線角度から、タイミングＴ３に取得された視線情報（θ２°）が示す視線角度への変化のベクトル（方向及び度合い）を算出する。表示制御部１４は、当該ベクトルが、タイミングＴ３からタイミングＴ４時点まで継続すると仮定して、第２時点（タイミングＴ４）の視線情報（θ４Ａ°）を導出する。このように、表示制御部１４は、第１周期で取得される複数の視線情報の各々が示す視線角度の差から当該ベクトルを算出することで、取得済みの最新の視線情報の次の視線情報を推定的に導出して第２の視線情報として採用できる。

【0115】

変形例の表示制御部１４は、このようにして導出された第２時点の視線情報に対応した表示データを選択する。図２５では、第２時点（タイミングＴ４）の視線情報（θ４Ａ°）に対応して、視差画像群Ｅｘｔ（θ１°）から第１視差画像ＧＲ４Ａと第２視差画像ＧＬ４Ａとが選択されている。これによって、変形例の表示部１５は、タイミングＴ４時点の視点情報として推定的に導出された視線情報（θ４Ａ°）に対応した表示データＤ（θ４Ａ°）を出力できる。

【0116】

同様の考え方で、変形例の表示制御部１４は、取得部１１によってタイミングＴ３に取得された視線情報（θ３°）と、タイミングＴ４に取得された視線情報（θ４°）と、の各々の視線情報の各々が示す視線角度同士の差に基づいて、第２時点（タイミングＴ５）の視線情報（θ５Ａ°）を導出する。また、変形例の表示制御部１４は、取得部１１によってタイミングＴ４に取得された視線情報（θ４°）と、タイミングＴ５に取得された視線情報（θ５°）と、の各々の視線情報の各々が示す視線角度同士の差に基づいて、第２時点（タイミングＴ６）の視線情報（θ６Ａ°）を導出する。表示制御部１４は、このようにして導出された第２時点の視線情報に対応した表示データを、最新の視差画像群Ｅｘｔから選択する。図２５では、第２時点（タイミングＴ５）の視線情報（θ５Ａ°）に対応して、視差画像群Ｅｘｔ（θ１°）から第１視差画像ＧＲ５Ａと第２視差画像ＧＬ５Ａとが選択されている。また、２時点（タイミングＴ６）の視線情報（θ６Ａ°）に対応して、視差画像群Ｅｘｔ（θ３°）から第１視差画像ＧＲ６Ａと第２視差画像ＧＬ６Ａとが選択されている。

【0117】

なお、視差画像群Ｅｘｔのもとになる抽出視差画像群２２ｂの生成で参照された第１時点よりも後の複数の時点で取得された複数の視線情報の各々が示す視線角度同士の差に基づいた第２時点の視線情報の導出は、上記の方法に限られるものでない。例えば、３つ以上の視線情報の各々が示す視線角度同士に基づいてより長期的観点で導出されたベクトルによってもよいし、過去に検出された複数の視線情報に基づいてその先の視線情報の推定を行う既知の視線移動推定アルゴリズムの採用によるものであってもよい。以上、特筆した事項を除いて、変形例は、実施形態と同様である。

【0118】

以上説明したように、実施形態によれば、端末１０は、所定方向（例えば、Ｘ方向）に並ぶ複数の画素（画素Ｐｉｘ）を有し、画像を出力する表示部（表示部１５）と、当該画像を視認するユーザの視線に関する情報を周期的に取得する取得部（取得部１１）と、第１時点での当該情報に基づいて外部の情報処理装置（サーバ２０）から与えられた画像群データ（抽出視差画像群２２ｂ）を記憶する記憶部（記憶部１３）と、当該第１時点よりも後の第２時点での当該情報に基づいて、当該視線に対応した表示データを当該画像群データから選択して当該表示部に表示させる表示制御部（表示制御部１４）と、を備える。

【0119】

また、実施形態によれば、表示システム（表示システム１）は、表示装置（端末１０）と、当該表示装置と通信可能に設けられたサーバ（サーバ２０）と、を備える表示システムであって、当該表示装置は、所定方向（例えば、Ｘ方向）に並ぶ複数の画素（画素Ｐｉｘ）を有し、画像を出力する表示部（表示部１５）と、当該画像を視認するユーザの視線に関する情報を周期的に取得する取得部（取得部１１）と、第１時点での当該情報に基づいて外部の情報処理装置（サーバ２０）から与えられた画像群データ（抽出視差画像群２２ｂ）を記憶する記憶部（記憶部１３）と、当該第１時点よりも後の第２時点での当該情報に基づいて、当該視線に対応した表示データを当該画像群データから選択して当該表示部に表示させる表示制御部（表示制御部１４）と、を備え、当該サーバは、当該画像群データを含み、３以上の視線角度の各々に対応した画像データを含む元データ（要素画像群２２ａ）を記憶する記憶部（記憶部２２）と、当該情報に基づいて当該元データから当該画像群データのもとになる要素画像データを抽出する抽出部（抽出部２５）と、を備える。

【0120】

実施形態によれば、第１時点に基づいて与えられた画像群データから、当該第１時点よりも後の第２時点のユーザの視点に対応した視差画像を表示に供させることができる。従って、より新しい時点でのユーザの視点に対応した画像を出力できる。

【0121】

また、表示部（表示部１５）が表示する表示データは、ユーザの右目（右目ＥＲ）と左目（左目ＥＬ）の各々に対して個別の画像を視認させて立体視を成立させる画像データであり、当該表示部は、ユーザの右目と左目の各々に対して個別の画像を出力する視差形成部を有する。これによって、３Ｄ画像を出力する表示装置において、第１時点に基づいて与えられた画像群データから、当該第１時点よりも後の第２時点のユーザの視点に対応した画像の出力を行える。従って、より新しい時点でのユーザの視点に対応した３Ｄ画像を出力できる。なお、図２４に示す構成では、当該視差形成部は、光源装置１５ｃの形態によって成立している。

【0122】

また、ユーザの視線に関する情報は、表示部（表示部１５）の画像表示面（画像表示面１５ａ）に対するユーザの視線の基準角度（例えば、θ１°等）を示す情報を含み、画像群データ（視差画像群Ｅｘｔ）は、第１時点での基準角度に対応した画像データ（視差画像ＧＣ）と、当該第１時点での当該基準角度にそれぞれ異なる誤差角度を加算又は減算した角度に対応した画像データと、を含み、表示制御部（表示制御部１４）は、当該画像群データに含まれる複数の画像データから、ユーザの右目（右目ＥＲ）に対応する第１画像データ（例えば、第１視差画像ＧＲ３等）と、ユーザの左目（右目ＥＲ）に対応する第２画像データ（例えば、第１視差画像ＧＲ３等）と、を個別に選択して当該第１画像データと当該第２画像データを統合した表示データ（例えば、表示データＤ（θ３°等）を当該表示部に表示させる。これによって、３Ｄ画像を出力する表示装置において、第１時点に基づいて与えられた画像群データから、当該第１時点よりも後の第２時点のユーザの右目と左目の各々に対応した画像に基づいた出力を行える。

【0123】

また、表示装置（端末１０）は、外部の情報処理装置（サーバ２０）と通信を行う通信部（通信部１２）を備え、取得部（取得部１１）は、第１周期でユーザの視線に関する情報を取得し、当該情報は、当該第１周期よりも長い第２周期で当該外部の情報処理装置に送信され、画像群データ（視差画像群Ｅｘｔ）は、当該第２周期で当該外部の情報処理装置から与えられる。これによって、当該表示装置と当該外部の情報処理装置との通信の頻度を第２周期に抑えつつ、第１周期で取得されるより新しいユーザの視点に対応した画像の出力を行える。

【0124】

また、表示制御部（表示制御部１４）は、第１時点（例えば、タイミングＴ１）よりも後の複数の時点（例えば、タイミングＴ２，Ｔ３）で取得された複数のユーザの視線に関する情報の各々が示す視線角度同士の差に基づいて、第２時点（例えば、タイミングＴ４）での当該情報を導出する。これによって、より新しいユーザの視線として推定された視線に対応する画像の出力を行える。

【0125】

なお、要素画像群２２ａ及び要素画像データの具体的形態は、図１３を参照して説明した形態に限られるものでない。要素画像群２２ａ及び要素画像データの少なくとも一方は、例えば、図６及び図７を参照して説明したような複数の撮像装置の各々によって撮像された複数の画像データがそのまま保持された画像データの集合であってもよい。例えば、要素画像群２２ａが複数の撮像装置の各々によって撮像された複数の画像データがそのまま保持された画像データの集合であり、要素画像データが上記した実施形態と同様のものである場合、演算部２１は、ステップＳ２４の処理で、当該要素画像群２２ａから要素画像データを生成する処理を行うことで、当該要素画像データを当該視差画像データから抽出する。

【0126】

また、視差形成部Ｐａｒとして機能する構成の形成方法は、上記した表示部１５の形態によるものに限られない。例えば、視差形成部Ｐａｒは液晶パネル１５ｂとユーザとの間又は液晶パネル１５ｂと面光源との間に設けられる視差バリアであってもよいし、液晶パネル１５ｂとユーザとの間に設けられるレンチキュラーレンズであってもよい。また、液晶パネル１５ｂとユーザとの間に視差形成部Ｐａｒが設けられる場合、表示部１５は、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ ＥＭＩＴＴＩＮＧ Ｄｉｏｄｅ）パネル等、自発光型の表示装置であってもよい。

【0127】

また、取得部が端末１０の外部にあってもよい。例えば、端末１０とは別個の表示装置であって、端末１０による３Ｄ画像の出力によって再現される事物と同一の事物を２Ｄ又はより簡便な３Ｄで出力する表示装置がさらに設けられてもよい。この場合、係る別個の表示装置にさらに取得部１１が設けられてもよく、端末１０による出力が係る別個の表示装置に設けられた取得部１１によって取得された視線に関する情報に対応してもよい。

【0128】

また、本開示によれば、３Ｄに限らず、視差形成部によって右目と左目との視差を生じさせる画像を出力することで再現可能なあらゆる３Ｄ画像の出力を行える。

【0129】

また、本実施形態において述べた態様によりもたらされる他の作用効果について本明細書記載から明らかなもの、又は当業者において適宜想到し得るものについては、当然に本開示によりもたらされるものと解される。

【符号の説明】

【0130】

１ 表示システム
１０ 端末
１１ 取得部
１１ａ 撮像部
１２，２３ 通信部
１３，２２ 記憶部
１４ 表示制御部
１５ 表示部
２０ サーバ
２１ 演算部
２２ａ 要素画像群
２５ 抽出部
Ｄ（θ３°），Ｄ（θ４°），Ｄ（θ４Ａ°），Ｄ（θ５°），Ｄ（θ５Ａ°），Ｄ（θ６Ａ°） 表示データ
ＥＲ 右目
ＥＬ 左目
Ｅｘｔ 視差画像群
ＧＲ１，ＧＲ３，ＧＲ４，ＧＲ４Ａ，ＧＲ５，ＧＲ５Ａ，ＧＲ６Ａ 第１視差画像
ＧＬ１，ＧＬ３，ＧＬ４，ＧＬ４Ａ，ＧＬ５，ＧＬ５Ａ，ＧＬ６Ａ 第２視差画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】