特開 2022-55732 光線再生装置、三次元空間表示システム、光線再生方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022055732

(43)【公開日】2022-04-08

(54)【発明の名称】光線再生装置、三次元空間表示システム、光線再生方法、及びプログラム

(51)【国際特許分類】

   G02B 30/00 20200101AFI20220401BHJP

   G03B 35/08 20210101ALI20220401BHJP

   G02B 5/32 20060101ALI20220401BHJP

【ＦＩ】

G02B30/00

G03B35/08

G02B5/32

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2020163317

(22)【出願日】2020-09-29

(71)【出願人】

【識別番号】000003193

【氏名又は名称】凸版印刷株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】鈴木 翼

(72)【発明者】

【氏名】高橋 進

【テーマコード（参考）】

2H059

2H199

2H249

【Ｆターム（参考）】

2H059AA10

2H059AA35

2H059AB13

2H199BA20

2H199BA49

2H199BB23

2H199BB41

2H199BB52

2H199BB59

2H199BB60

2H199BB62

2H249CA17

2H249CA22

(57)【要約】

【課題】社会距離空間を、自然な距離感が得られ、且つボケが少ない三次元空間として表示することができる光線再生装置を提供する。
【解決手段】再生空間に立体像を再生させる場合における前記立体像から仮想的に射出される光線を再生する光線再生装置であって、再生画面に対応して二次元的に配置される複数の要素セルからなる要素セル集合に含まれる各要素セルが射出する光線により前記立体像を少なくとも虚像または実像のいずれか一方として表示する立体像表示部を備え、前記立体像表示部は、前記再生空間における奥行き方向の距離が社会距離に相当する領域に前記立体像を表示し、前記要素セル集合における各要素である要素セルのサイズ、及び前記要素セルを二次元的に配置する際の前記要素セルのピッチは、前記再生空間に表示される前記立体像が観察者に観察される度合いに応じて決定される値である。
【選択図】図１

【特許請求の範囲】

【請求項1】

再生空間に立体像を表示させる場合における前記立体像から仮想的に射出される光線を再生する光線再生装置であって、
前記立体像の表面から射出される複数の前記光線が到達する再生画面に対応して二次元的に配置される複数の要素セルからなる要素セル集合に含まれる各要素セルが射出する光線により前記立体像を少なくとも虚像または実像のいずれか一方として表示する立体像表示部、
を備え、
前記立体像表示部は、前記再生空間における奥行き方向の距離が社会距離に相当する領域に前記立体像を表示し、
前記要素セル集合における各要素である要素セルのサイズ、及び前記要素セルを二次元的に配置する際の前記要素セルのピッチは、前記再生空間に表示される前記立体像が観察者に観察される度合いに応じて決定される値である、
光線再生装置。

【請求項2】

前記立体像の表面から射出される複数の前記光線からなる集合を、前記再生画面の位置に応じて分割し、前記要素セル集合の各要素に前記分割した前記複数の前記光線の各要素を対応づけ、前記要素セル集合の各要素について、再生する１以上の前記光線の成分を演算する信号処理部を更に備える、
請求項１に記載の光線再生装置。

【請求項3】

前記要素セルのサイズは、再生空間における奥行き方向の距離が社会距離に相当する領域に前記立体像を表示させる場合において、当該表示される前記立体像に生じるボケの大きさに応じて決定される、
請求項１又は請求項２に記載の光線再生装置。

【請求項4】

前記要素セルのピッチは、再生空間における奥行き方向の距離が社会距離に相当する領域に前記立体像を表示させる場合に、当該表示される前記立体像を観察する観察者の網膜上の分解能に応じて決定される、
請求項１から請求項３のいずれか一項に記載の光線再生装置。

【請求項5】

前記要素セルのサイズは、前記要素セルのピッチよりも小さくなるように決定される、
請求項１から請求項４のいずれか一項に記載の光線再生装置。

【請求項6】

前記要素セルのサイズは、０．８ｍｍ以上である、
請求項１から請求項５のいずれか一項に記載の光線再生装置。

【請求項7】

前記要素セルのピッチは、１．２ｍｍ以下である、
請求項１から請求項６のいずれか一項に記載の光線再生装置。

【請求項8】

前記要素セルは、立体像からの波面を記録したホログラムである、
請求項１から請求項７のいずれか一項に記載の光線再生装置。

【請求項9】

請求項１から請求項８のいずれか一項に記載の光線再生装置と
前記光線再生装置に、立体像の三次元情報を出力する立体カメラと、
を備える三次元空間表示システム。

【請求項10】

再生空間に立体像を表示させる場合における前記立体像から仮想的に射出される光線を再生する、再生画面に対応して二次元的に配置される複数の要素セルからなる要素セル集合に含まれる各要素セルが射出する光線により前記立体像を少なくとも虚像または実像のいずれか一方として表示する立体像表示部を備える光線再生装置の光線再生方法であって、
前記立体像表示部が、前記再生空間における奥行き方向の距離が社会距離に相当する領域に前記立体像を表示し、
前記要素セル集合における各要素である要素セルのサイズ、及び前記要素セルを二次元的に配置する際の前記要素セルのピッチは、前記再生空間に表示される前記立体像が観察者に観察される度合いに応じて決定される値であり、
信号処理部が、前記立体像の表面から射出される複数の前記光線からなる集合を、前記再生画面の位置に応じて分割し、前記要素セル集合の各要素に前記分割した前記複数の前記光線の各要素を対応づけ、前記要素セル集合の各要素について、再生する１以上の前記光線の成分を演算する、
光線再生方法。

【請求項11】

再生空間に立体像を表示させる場合における前記立体像から仮想的に射出される光線を再生する、再生画面に対応して二次元的に配置される複数の要素セルからなる要素セル集合に含まれる各要素セルが射出する光線により前記立体像を少なくとも虚像または実像のいずれか一方として表示する立体像表示部を備える光線再生装置のコンピュータを、
前記立体像の表面から射出される複数の前記光線からなる集合を、前記再生画面の位置に応じて分割し、前記要素セル集合の各要素に前記分割した前記複数の前記光線の各要素を対応づけ、前記要素セル集合の各要素について、再生する１以上の前記光線の成分を演算する信号処理手段、
として機能させるプログラムであって、
前記立体像表示部は、前記再生空間における奥行き方向の距離が社会距離に相当する領域に前記立体像を表示し、
前記要素セル集合における各要素である要素セルのサイズ、及び前記要素セルを二次元的に配置する際の前記要素セルのピッチは、前記再生空間に表示される前記立体像が観察者に観察される度合いに応じて決定される値である、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光線再生装置、三次元空間表示システム、光線再生方法、及びプログラムに関する。

【背景技術】

【0002】

家族間、親しい間柄、または、政治やビジネスの世界でもコミュニケーションにおいて、互いの気持ちを知ることが重要である。非言語的な部分では、会話の間合いや、パーソナルスペースの距離感を違和感なく伝える必要があり、加えてその距離感の中で相手の表情や仕草など非言語的な情報の獲得が大切である。

【0003】

コミュニケーションを円滑に行うための技術として種々の技術が提供されている。例えば、通信技術の分野では５Ｇの低遅延技術で通信遅延を低減させ、オンラインでの会話においても実際の会話と同じ感覚で会話の間合いとることができる。また、ＴＯＦ（Time of Flight）などの三次元計測技術を用いて人との距離を正確に計測することができる。しかし、適切な対人距離（パーソナルスペース）を取ることができる奥行きのある空間を違和感なく表示する技術は知られていない。

【0004】

ここで、本願における奥行きのある空間とは、人が他者と公的なコミュニケーションをとる際に主に適用される、１．２ｍ前後から３．６ｍ程度までの対人距離がとれる空間より大きいサイズの空間を示す。以下の説明においては、この、１．２ｍ前後から３．６ｍ程度までの対人距離がとれる奥行きのある空間のことを、「社会距離空間」という。

【0005】

奥行きのある三次元像を表示するための様々な技術が存在している。例えば、ヘッドアップディスプレイや偏光めがね方式、液晶シャッターめがね方式のような装着型の表示装置、あるいはパララックスバリア方式やレンチキュラー方式など装着せずに、二つの目に異なる視差を観察させ立体像を表示する技術がある。このような三次元像を表示技術は、視差のみで立体感を感じさせるものである。このため、一点に視線を集中させる輻輳や、ピント調整などを必要とするため、人に眼精疲労や酔いを感じさせる場合があった。このため、奥行きのある社会距離空間を表示させるツールとして適切ではない。

【0006】

これに対し、非特許文献１には、輻輳とピント調整を必要とすることなく三次元像を表示する技術が開示されている。非特許文献１には、超多眼ディスプレイや、マイクロレンズアレイを用いてライトフィールド（デジタルカメラの撮像面に入射する光線の撮像面上での方向情報と強度分布）を記録し、記録したライトフィールドを再現（表示）するディスプレイ（図１９参照）が開示されている。また、液晶パネルなどを重ねたスタティックディスプレイ型のライトフィールドディスプレイ（図２０参照）が提案されている。

【0007】

また、特許文献１に記載の立体画像表示装置によれば、視点の数を十分に多くする（超多眼）技術が開示されている。これにより、人間の立体知覚に対し、両眼視差、ピント調節、輻輳、運動視差の４つの要因を満足させることができる。このような超多眼ディスプレイやライトフィールドディスプレイによる三次元画像の表示は、瞳の大きさより小さなサイズで光線を再現することで、自然なピント調整と輻輳を実現するものである。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特願２００７－１７６３４号公報

【非特許文献】

【0009】

【非特許文献1】［online］、 ”ライトフィールドディスプレイの研究動向”２０１８年３月 小池 崇文、［令和２年８月３日検索］、インターネット〈URL:https://home.jeita.or.jp/device/lirec/symposium/fpd/pdf/2018_2a.pdf〉

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、特許文献１に記載されているような超多眼ディスプレイ等は、瞳の大きさより小さなサイズで光線を再現することで、自然なピント調整と輻輳を実現するものである。微小な面積で光線を制御していることから回折の影響で、ディスプレイ面から離れるほどボケが大きくなる。このため、ディスプレイ近傍の物体しか再現できず、ディスプレイ面と観察者が近い場合、社会距離空間の再現は困難である。一方、ディスプレイ面を観察者から離して社会距離空間近傍に置いた場合は、ディスプレイが表示したい空間より大きなサイズにする必要があり、高いコストや大きな設置スペースが必要となる。

【0011】

以上のように、社会距離空間を再現するには、従来のライトフィールドディスプレイでは、回折の影響により大きなボケが生じることになるという問題があった。

【0012】

本発明の実施形態は、上記の問題に鑑みてなされたもので、主にディスプレイ面から１．２ｍ前後から３．６ｍ程度までの奥行きがある空間（社会距離空間）又は、それ以上の奥行きがある空間を、自然な距離感が得られ、且つボケが少ない三次元空間として表示することができる光線再生装置、三次元空間表示システム、光線再生方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0013】

上記の課題を解決するために、発明の実施形態の光線再生装置は、再生空間に立体像を再生させる場合における前記立体像から仮想的に射出される光線を再生する光線再生装置であって、再生画面に対応して二次元的に配置される複数の要素セルからなる要素セル集合に含まれる各要素セルが射出する光線により前記立体像を少なくとも虚像または実像のいずれか一方として表示する立体像表示部を備え、前記立体像表示部は、前記再生空間における奥行き方向の距離が社会距離に相当する領域に前記立体像を表示し、前記要素セル集合における各要素である要素セルのサイズ、及び前記要素セルを二次元的に配置する際の前記要素セルのピッチは、前記再生空間に表示される前記立体像が観察者に観察される度合いに応じて決定される値である。なお、ここでいう観察者に観察される度合いとは、立体像が表示される位置や範囲、観察者が許容するボケの程度などを示すものである。

【発明の効果】

【0014】

本発明の実施形態によれば、社会距離空間を、自然な距離感が得られ、且つボケが少ない三次元空間として表示することができる。

【図面の簡単な説明】

【0015】

【図1】第１実施形態の三次元空間表示システム１の構成を示すブロック図である。

【図2】第１実施形態の三次元空間表示システム１が適用される例を説明する図である。

【図3】第２実施形態の三次元空間表示システム１００構成を示すブロック図である。

【図4】第２実施形態の三次元空間表示システム１００が適用される例を説明する図である。

【図5】三次元表示ディスプレイ３０から観察対象とする物体までの距離と、その物体を再現する際に生じるボケの大きさとの関係を示す特性図である。

【図6】三次元表示ディスプレイ３０から観察対象とする物体までの距離と、再現された物体を見る観察者の網膜上の分解能（錯乱円直径）との関係を示す特性図である。

【図7】要素セルにおけるサイズｄとピッチｐの関係の例を示す図である。

【図8】点物体を物点Ａ’として再生した場合の例を示す図である。

【図9】要素セルから再生する光線（再生光）の明るさの分布の一例を示す図である。

【図10】点物体を物点Ａ’’として再生した場合の例を示す図である。

【図11】図９の方法で複数の物体を再生した場合の例を示す図である。

【図12】光線追跡法を適用してホログラムの再生用データを計算する方法を説明するための図である。

【図13】観察者がディスプレイ面を通して、再生点を観察する様態を示す模式図である。

【図14】ディスプレイから再生される光線が広がりをもった光となり、再生点のボケとなる様態を示す模式図である。

【図15】円形開口によるフラウンフォーファ回折の広がり角と、その大きさを説明するための模式図である。

【図16】実施形態の三次元表示ディスプレイ３０が行う処理の流れを示すフローチャートである。

【図17】実施形態の変形例における三次元空間表示システム１Ａの構成を示すブロック図である。

【図18】実施形態の変形例における三次元空間表示システム１Ａが適用される例を説明する図である。

【図19】従来の、マイクロレンズアレイを用いるライトフィールドディスプレイの構成を例示する模式断面図である。

【図20】従来の、液晶パネルを重ねたスタティックディスプレイ型のライトフィールドディスプレイの構成を例示する模式断面図である。

【発明を実施するための形態】

【0016】

以下、図面を参照して本発明の実施の形態を詳しく説明する。三次元空間表示システム１は、例えば、光学装置と電気回路により実装される。以下に説明する各図面において、見易さのため構成要素の厚さや比率は誇張されていることがあり、構成要素の数も減らして図示していることがある。また、本発明は以下の実施形態そのままに限定されるものではなく、主旨を逸脱しない限りにおいて、適宜の組み合わせ、変形によって具体化できる。

【0017】

図１は、第１実施形態の三次元空間表示システム１の構成を示すブロック図である。三次元空間表示システム１は、例えば、通信部１０と、立体カメラ２０と、三次元表示ディスプレイ３０とを備える。通信部１０は、デジタル通信網ＮＷを介して外部と通信を行う。

【0018】

立体カメラ２０は、被写体である観察対象とする物体を立体的に撮像するカメラであり、例えばステレオカメラである。立体カメラ２０は、観察対象とする物体の三次元情報を、通信部１０を介して三次元表示ディスプレイ３０に転送する。ここでの三次元情報は、少なくとも物体から撮像面に入射する光線の入射方向と強度を含み、２つ以上の視差画像列や２次元画像と距離画像の組み合わせなどから得られるものであってもよく、観察対象とする物体を含む空間を示す情報であればよい。

【0019】

三次元情報を取得するための方法として、様々な方法が考えられる。例えば、立体カメラ２０がステレオカメラである場合、２台のカメラでそれぞれ撮影した画像を用いてデプス情報（以下、深度情報、奥行き距離などともいう）を測定することにより三次元情報を取得する方法がある。或いは、撮影対象物体に投影されたパターンを解析する方法がある。また、光の飛行時間を測定することにより、観察対象とする物体までの距離を計測するＴＯＦ方式などがある。三次元情報を取得するための方法は、少なくとも社会距離の範囲を必要な分解能で測定できれば、どの方法を用いてもよい。特に、数ｃｍから数ｍという奥行き距離を精度よく測定することが可能なＴＯＦ方式が好適である。

【0020】

立体カメラ２０によって撮像する空間の範囲は、社会距離空間を認識させる程度に十分広い空間であることが望ましい。例えば、３．６ｍ奥に角度±３０度で広がるような空間であり、画角として６０度以上である空間が好適である。例えば、３５ｍｍフィルム換算で、焦点距離２５ｍｍの広角レンズ相当の８０度以上の画角であるとより臨場感のある空間を撮像することができる。さらに、角度方向の最小分解能Δαは、視力０．５程度に相当する分解能である０．０３３度以下であることが望ましい。

【0021】

例えば、立体カメラ２０の解像度がハイビジョン（画素数１０８０×１９２０）の場合、角度方向の最小分解能Δαを０．０３３度以下にするためには、画角を７３度以下とする。また、立体カメラ２０の解像度が４Ｋ（画素数２１ ６０×３８４０）の場合、角度方向の最小分解能Δαを１４６度以下とする。よって、８０度以上の画角で社会距離空間を撮影する場合、４Ｋ以上の解像度の立体カメラ２０で撮影することが望ましい。

【0022】

通信部１０は、三次元情報の動画を安定して転送することが可能なデジタル通信網ＮＷを用いて、外部の機器と三次元情報をやり取りする。解像度４Ｋの画像、かつ画素毎の奥行き情報を含む動画を安定して転送するためには、例えば、通信速度２５Ｍｂｐｓ以上であることが望ましい。デジタル通信網として、モバイル通信網を使用する場合、例えば、５Ｇ以上の規格を用いることにより遠隔地との情報のやり取りが容易になる。

【0023】

三次元表示ディスプレイ３０は、三次元の画像を表示するＰＣ（Personal Computer）、サーバ装置、或いはクラウドサーバなどのコンピュータ装置である。三次元表示ディスプレイ３０は、例えば、演算部３１と、制御部３２と、光源部３３と、表示部３４と、光制御部３５と、記憶部３６とを備える。ここで、三次元表示ディスプレイ３０は、「光線再生装置」の一例である。演算部３１は、「信号処理部」の一例である。制御部３２は、「信号処理部」の一例である。表示部３４は、「立体像表示部」の一例である。光制御部３５は、「立体像表示部」の一例である。

【0024】

演算部３１、及び制御部３２は、信号処理を行う機能部であり、例えば、三次元表示ディスプレイ３０のＣＰＵ（Central Processing Unit）が記憶部３６に予め記憶されたプログラムを実行することにより実現される。また、これらの信号処理を行う機能部が、ＡＳＩＣ（Application Specific Integrated Circuit）等の集積回路として実現されてもよい。

【0025】

演算部３１は、立体カメラ２０から取得した三次元情報に基づいて、再生（表示）すべき光線の成分（光線の方向と強度）を、要素セル毎に計算する。ここでの要素セルについては、後で詳しく説明する。

【0026】

制御部３２は、光源部３３、表示部３４、及び光制御部３５を制御し、要素セルごとに再生された光線の方向と強度を反映させる。これにより、自然な距離感とボケのない空間を表示することが可能となる。なお、三次元表示ディスプレイ３０における光源部３３や光制御部３５が受動的で制御が不要な場合、制御部３２によってこれらの機能部（光源部３３や光制御部３５）が制御される必要はない。

【0027】

なお、立体カメラ２０から取得した三次元情報を用いず、通信部１０を介して外部から獲得した三次元情報のみを用いて画像を表示する場合、三次元空間表示システム１における立体カメラ２０を省略することが可能である。一方、立体カメラ２０からの三次元情報のみを用いて三次元表示ディスプレイ３０に画像を表示する場合、三次元表示ディスプレイ３０において通信部１０を省略することが可能である。

【0028】

光源部３３は、レーザーやＬＥＤ（Light-Emitting Diode）やＥＬ（Electro-Luminescence）などの発光体を含む光源機能を有し、表示部３４の光源となる機能部である。光制御部３５は、制御部３２からの制御信号に従って、光源部３３によって照射される光源の方向と強度を制御する。

【0029】

表示部３４は、ＬＣＤ（Liquid Crystal Display）や、ＯＬＥＤ（Organic LED）、ＤＭＤ（Digital Mirror Device）などの表示素子を用いた表示機能を有する。表示部３４は、制御部３２の制御に従い画像を表示する。

【0030】

表示部３４として、ＬＣＤ、ＬＥＤ、ＯＬＥＤ、ＤＬＰ（Digital Light Processing）などの２次元の画像を表示する表示装置が一般的である。しかしながら、これに限定されない。表示部３４は、レーザー光源やＬＥＤ光源などの光源部３３をスキャンする方式であってもよい。ＬＥＤやＯＬＥＤなどの自発光デバイスの場合、表示部３４が、光源機能と表示機能を合わせ持つことになる。表示部３４が、ホログラムなどの回折パターンによって光の方向を制御するものであれば、表示機能と光制御機能を一つのデバイスで実現することができる。

【0031】

なお、以下の説明において、ディスプレイ面とは、表示部３４の表示装置によってパターンが表示される面のことを示し、複数の表示装置を用いて画像を表示する場合、最も観察者に近い面を示す。

【0032】

記憶部３６は、記憶媒体、例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）、または、これらの記憶媒体の任意の組み合わせによって構成される。記憶部３６は、三次元表示ディスプレイ３０の各種の処理を実行するためのプログラム、及び各種の処理を行う際に利用される一時的なデータを記憶する。記憶部３６は、例えば、立体カメラ２０によって獲得された三次元情報を記憶する。記憶部３６は、演算部３１による演算結果を記憶する。記憶部３６は、制御部３２の制御によって再生される光線の方向や強度などを示す情報を記憶する。

【0033】

図２は、第１実施形態の三次元空間表示システム１が適用される例を説明する図である。図２のＸＹ方向は平面方向を示し、Ｚ方向は鉛直方向を示している。立体カメラ２０は、観察対象となる実体空間ＪＫを撮像可能に設置される。実体空間ＪＫには、複数の実体像ＩＭ（実体像ＩＭ－１～ＩＭ－７）が配置されている。三次元表示ディスプレイ３０は、表示する画像が観察者ＯＢによって観察可能となるように設置される。

【0034】

立体カメラ２０は、実体空間ＪＫを撮像する。三次元表示ディスプレイ３０は、立体カメラ２０によって撮像された実体空間ＪＫを再現（表示）した再生空間ＳＫを表示する。なお、図２の例では、立体カメラ２０と三次元表示ディスプレイ３０とが重なっている様子が示されているが、これらはＺ方向に互いに異なる位置にあり重なってはいない。また、この例では立体カメラ２０の撮像方向がＸ軸方向に沿った方向である場合を示しているが、これに限定されない。立体カメラ２０の位置は、観察対象となる実体空間ＪＫについて、観察者ＯＢが観察したい任意の位置や方向から撮像可能であればよい。また、立体カメラは２０が１機のみ配置される場合に限定されることはなく、複数の立体カメラ２０が設置されてもよい。

【0035】

この図の例では、三次元空間表示システム１が、三次元情報の記録（撮像）と再生（表示）に時間差を有してコミュニケーションを実現する三次元画像表示コミュニケーターとして機能する。すなわち、立体カメラ２０で撮像された実体空間ＪＫの三次元情報は、記憶部３６にいったん記憶された後、観察者ＯＢが希望する任意の時間に、所望の三次元画像が再生空間ＳＫに再現される。これにより、撮像時に観察者ＯＢが不在であっても、撮像時における実体空間ＪＫの実体像ＩＭを、撮像後の任意のタイミングで観察することができる。

【0036】

なお、上記では、時間差で記録と再生を行う例を示したが、これに限定されない。例えば立体カメラ２０と三次元表示ディスプレイ３０とを、玄関とリビングなど互いに離れた位置に設置し、相手を直接視認することができないような互いに離れた位置でのコミュニケーションを実現する三次元映像コミュニケーターとして機能するようにしてもよい。これにより、観察者ＯＢが、実体空間ＪＫまで移動することなく、遠隔にある実体空間ＪＫを体験（観察）することが可能になる。

【0037】

ここで、本願で対象とする社会距離空間について、詳しく説明する。社会距離空間は、従来の三次元ディスプレイ（立体画像表示装置）で表示させる空間のようにディスプレイ近傍に物体（被写体）が存在する空間ではない。社会距離空間は、ディスプレイが表示する空間において奥行き方向に離れた位置に被写体が存在する空間である。社会距離空間は、例えば、部屋の内部の空間や、公園内の空間等であり、その区間の内部に観察者（被写体）がいるような空間である。或いは、ディスプレイを窓として、窓から外側の空間（部屋の内部の空間等）を観察するような場合に表示される空間である。

【0038】

アメリカの文化人類学者であるエドワード・ホールは、人と人が相対する対人距離（パーソナルスペース）を、次の４つの距離帯に分類している。
１）密接距離
２）個体距離
３）社会距離
４）公衆距離

【0039】

１）密接距離とは、相手との距離が０～０．４５ｍ程度であって、例えば相手の体温や匂いが分かるような距離に相当する。密接距離は、非常に親密な間柄の相手との距離であり、手をつなぐなど肌と肌の触れ合いや、匂いによるコミュニケーションが主となる対人距離である。
２）個体距離とは、相手との距離が０．４５～１．２ｍ程度であって、自分の独立性を保つために他者との間にとる距離に相当する。自分や相手が手を伸ばせば、触れることが可能な距離で、友人など親しい相手とコミュニケーションが行われる場合の対人距離である。
３）社会距離とは、相手との距離が１．２～３．６ｍ程度であって、相手に触れることが困難な距離であり、職場での同僚同士の会話など、公式な場でのコミュニケーションに適している対人距離である。
４）公衆距離とは、相手との距離が３．６ｍ程度以上で、二者間のコミュニケーションには不適切な距離であり、例えば演説や講演などのコミュニケーションが行われる場合の対人距離である。

【0040】

図３は、第２実施形態の三次元空間表示システム１００構成を示すブロック図である。本実施形態の三次元空間表示システム１００では、図１に示した三次元空間表示システム１が複数備えられ、お互いにデジタル通信網ＮＷを介して接続される。これによって、複数の遠隔地同士が互いに自然なコミュニケーションを実現する三次元画像表示コミュニケーターを構成している。尚、立体カメラ２０により得られた三次元情報は、必要に応じて演算部３１などの信号処理によって圧縮、又は／及び変換され、通信部１０を介して、通信先に送信される。

【0041】

なお、通信部１０による通信手段として特に制限はないが、三次元情報を送受し合うため、上記に挙げた５Ｇの通信網のように大容量の情報を高速に伝送可能な通信手段を有することが好ましい。

【0042】

図４は、第２実施形態の三次元空間表示システム１００が適用される例を説明する図である。図４のＸＹ方向は平面方向を示し、Ｚ方向は鉛直方向を示している。立体カメラ２０が設置される位置、方向、機数は、図２と同様であるため、その説明を省略する。三次元表示ディスプレイ３０についても同様である。この図の例では、三次元空間表示システム１００は、デジタル通信網ＮＷを介して通信可能に接続される２つの遠隔地における、自然なコミュニケーションを実現する三次元画像表示コミュニケーターとして機能する。

【0043】

すなわち、実体空間ＪＫ－１に存在するメンバーが立体カメラ２０－１に撮像されることによって得られる三次元情報が、デジタル通信網ＮＷを介して三次元表示ディスプレイ３０－２に送信される。これにより、三次元表示ディスプレイ３０－２には、立体カメラ２０－１で撮像された空間（実体空間ＪＫ－１）を再生した再生空間ＳＫ－１が表示される。

【0044】

一方、実体空間ＪＫ－２に存在するメンバー（この例では一人）が立体カメラ２０－２に撮像されることによって得られる三次元情報が、デジタル通信網ＮＷを介して三次元表示ディスプレイ３０－１に送信される。これにより、三次元表示ディスプレイ３０－１には、立体カメラ２０－２で撮像された空間（実体空間ＪＫ－２）を再生した再生空間ＳＫ－２が表示される。

【0045】

ここで、本実施形態の要素セルについて図５を用いて説明する。図５は、三次元表示ディスプレイ３０から観察対象とする物体までの距離と、その物体を再現する際に生じるボケの大きさとの関係を示す特性図である。図５の横軸はディスプレイからの距離を示す。図５の縦軸はボケの大きさを示す。

【0046】

一般に、ピント調整を可能とするディスプレイでは、図１３に示すように、観察者は、ディスプレイ面を通して、その前後の空間を観察しており、再生すべき点物体である再生点から広がる光と同じ方向の光線が観察者の瞳より小さなサイズで再現されると観察者は、あたかも空間に点光源があるかのように観察することができる。

【0047】

しかしながら、ディスプレイから再生される光線は、厳密には、図１４に示すように様々な原因で広がりをもった光となり、それが再生像にボケが生じる要因となる。特に、光線の方向を決めるディスプレイの要素セルが小さい場合、要素セルを開口とする回折の影響によって、光は開口の外側に回り込んで広がりボケを生じることになる。

【0048】

開口による回折の広がりは、ディスプレイ面から離れた位置ではフラウンフォーファ回折として近似でき、円形開口の場合、その広がり角はエアリーディスク（回折パターンの中心に生じる明るい領域）の大きさから求めることができる。すなわち円形開口から離れた遠視野にできる最小の暗環と光軸との隔たりを、光軸と平行で円形開口の端面を通る光線の広がり角θで表わすと、以下のように表現することができる（図１５参照）。ここで、（式１）におけるλは光の波長、ｄは円形開口の直径である。

【0049】

θ＝１．２２×λ／ｄ ・・・・（式１）

【0050】

上記のような開口は、光線の方向を定義するディスプレイ上の面積の単位となる。このような単位を「要素セル」と呼称する。要素セルは、例えばマイクロレンズアレイを用いるライトフィールドディスプレイ（図１９）では、１つのレンズが要素セルに相当する。また、液晶パネルなどを重ねたスタティックディスプレイ型のライトフィールドディスプレイ（図２０）の場合、使用するディスプレイの画素が要素セルになる。

【0051】

ライトフィールドディスプレイでは、要素セル毎に光線の方向を制御するため、ピント調整の機能を持たせるためには、要素セルは観察者の瞳より十分に小さい必要がある。一般に人の瞳のサイズは２～８ｍｍ程度である。このため、要素セルのサイズを０．３ｍｍとし、光の波長を５００ｎｍとすると、（式１）より光線の広がり角は、以下で表現される。

【0052】

θ＝１．２２×５００×１０^－６／０．３
≒２．０３×１０^－３（ｒａｄ）
≒０．１２（度）

【0053】

つまり、図１５で円形開口を有する面からの距離Ｌ＝３．６ｍ離れた位置における、０．３ｍｍの要素セルを通過した光線によるボケの大きさは、３６００×ｔａｎ（０．１２°）×２≒１５（ｍｍ）となり、約１５ｍｍの長さのボケが広がることになる。例えば、３．６ｍ離れた位置での人物の顔に対して、１５ｍｍ程度のボケが生じたとすると、人物としての認識はできるが、表情を読み取ることは難しくなる。

【0054】

一般に、視力１．０の人は、裸眼で１／６０度の角度の分解能をもつ。これと同等の回折による広がり角θとなる要素セルのサイズｄは、波長を５００ｎｍとすると、（式１）より、以下で表現することができる。

【0055】

ｄ＝１．２２×５００×１０－６／ｔａｎ（１／６０°）×２
＝４．２ｍｍ

【0056】

同様に、自動車免許の条件である視力０．７の人と同等の１／６０／０．７度の角度の分解能をもつ、ボケを生じる要素セルのサイズは２．９ｍｍとなる。眼鏡が不要な最低の視力は視力０．３であり、この条件における同様の計算により求められる、ボケを生じる要素セルのサイズは１．２ｍｍとなる。視力０．２の条件において、ボケを生じる要素セルのサイズは０．８ｍｍとなる。このことから観察して許容できるボケに抑えるためには、少なくとも０．８ｍｍ以上の要素セルのサイズｄが必要と言える。

【0057】

ここで、図５に、要素セルのサイズｄをパラメータとし、ディスプレイからの距離Ｌと回折によるボケの大きさの関係を示す。要素セルのサイズｄは、図１５におけるｄに相当する。すなわち、上記で計算した要素セルのサイズｄであり、条件に応じて、ｄ＝４．２ｍｍ、２．９ｍｍ、１．２ｍｍ、又は０．８ｍｍと算出されたサイズに相当する。

【0058】

図５に示すように、ディスプレイからの距離（Ｌ）が同じであれば、要素セルのサイズ（ｄ）が大きいほど、ボケの大きさが小さくなることが分かる。これは（式１）でｄが大きくなれば広がり角θが小さくなることを反映している。

【0059】

ここで、要素セルを配置する間隔（ピッチｐ）について、図６を用いて説明する。図６は、三次元表示ディスプレイ３０から観察対象とする物体までの距離と、再現された物体を見る観察者の網膜上の分解能（錯乱円直径）との関係を示す特性図である。図６の横軸はディスプレイからの距離を示す。図６の縦軸は錯乱円直径を示す。

【0060】

一般に、人の瞳の大きさは２～８ｍｍ程度であり、この中に複数の光線を通過させて目のピント調整を実現する。このようなピント調整を実現するためには、少なくとも瞳内に２つ以上の要素セルからの光線が入るような要素セルの間隔（ピッチｐ）で配置されることが必要となる。より自然なピント調整を実現するには、瞳内に入射する光線数（要素セルの数）は多いほうが望ましい。つまり、要素セルの数を増やすために要素セル間の間隔（ピッチｐ）を小さくすることが望ましい。

【0061】

図６に示すように、観察者から物体までの距離（Ｌ）が同じであれば、要素セルのピッチ（ｐ）が小さいほど、錯乱円直径が小さくなることが分かる。人の網膜上の視細胞の間隔は約１０μｍ（０．０１ｍｍ）であることから、これより良い分解能（より小さい錯乱円直径）を持つためには、距離１．２ｍより遠い物体であれば、約０．４ｍｍ以下の要素セルのピッチｐが必要であることが分かる。

【0062】

また、０．５ｍ離れた距離で２４インチのＸＧＡ（Extended Graphics Array：１９９０年にＩＢＭ社が発表した規格）のディスプレイ程度の解像度（網膜上で３０μｍ（０．０３ｍｍ）程度の錯乱円直径）まで許容できる用途であれば、距離１．２ｍより遠い物体であれば、要素セルのピッチｐを、１．２ｍｍ以下で配置すればよいことが分かる。

【0063】

以上を総合すると、社会距離（ディスプレイから約１．２ｍから３．６ｍ程度までの距離の範囲）をとってコミュニケーションを行うのであれば、要素セルのサイズｄが０．８ｍｍ以上、かつ要素セルのピッチｐが１．２ｍｍ以下であれば、実用上支障のないコミュニケーションが可能になる。

【0064】

なお、図６の横軸は観察者から物体までの距離であるが、察者が装置のディスプレイ面に対してどの距離から観察するかは、設計時には判らない。このため、設計時においては、観察者がディスプレイ面に最も近づいた場合、つまり観察者から物体までの距離をディスプレイ面から物体までの距離として計算を行うこととする。

【0065】

図７は、要素セルのサイズｄより、要素セルのピッチｐが大きい（ｐ≧ｄ）場合の略図である。これは、上述した、要素セルのサイズｄが０．８ｍｍ以上、かつ要素セルのピッチｐが１．２ｍｍ以下の一例である。この場合、ｐ≧ｄの関係にあることから、要素セル同士が重なることがない。このため、回折格子パターンも重ならずに独立している。

【0066】

図８は、本発明によるディスプレイによって、点物体を物点Ａ’として再生した場合の概念図である。各要素セルは、ディスプレイ面において、物点Ａ’から出た光の方向を再現する。図面の上方の様々な方向から観察すると、観察者はそれぞれの方向からあたかも物点Ａ’が存在するように見ることができる。

【0067】

本実施形態では、図６で説明したように、要素セルのピッチｐは瞳の大きさに対して十分に小さいことを前提とする。また、図５で説明したように、要素セルのサイズｄは回折によるボケが少ないサイズとすることを前提とする。このため、観察者ＯＢには、輻輳、ピント調整、両眼視差などの立体視に必要な条件が矛盾なく再現される。したがって、観察者ＯＢに眼精疲労を覚えさせることがない。すなわち、ディスプレイ面に近接していない、ディスプレイ面から離れた空間であっても、自然で違和感のない空間を再現することが可能になる。

【0068】

一方、図８に示すように、各要素セルから射出する光線は、要素セルのサイズ（ｄ）＋回折による広がり（Δα）の幅をもつ。そのため、ディスプレイ面から遠い空間を観察する場合には問題ないが、ディスプレイ面から近い物体を観察する場合、物体の解像度が低下することになる。

【0069】

この対策として、幾つかの方法が考えられる。例えば、図９に示すように、要素セルから再生する光線の明るさの分布を特徴的な分布とすることが考えられる。図９は、要素セルから再生する光線（再生光）の明るさの分布の一例を示す図である。図９の上側は要素セル内の位置と、再生光の明るさとの関係を示す特性図である。図９の下側は要素セルから射出する再生光の明るさの分布のイメージを示す模式図である。

【0070】

図９に示すように、要素セルから再生する光線の明るさを、中心を明るくすると共に、中心から周辺に向かうにしたがっては暗くなるような分布とする。このようにすることで、再生される物体の解像度を向上させることが可能になる。このような光線の明るさ分布を作ることには、要素セルに記録する干渉縞パターンの透過率が、中心部から周辺部にいくほど低下するように要素セル内で回折効率の変化をつけることで実現できる。

【0071】

また、解像度の低下を防ぐ方法として、図１０に示すように、各要素セルから再生される再生光の光線による物点Ａ’’のサイズを調整することが考えられる。すなわち、要素セルとして、ディスプレイ面に物点Ａ’’から発散した球面波、つまり物点からの波面と参照光との干渉縞を記録した要素セルを形成する。これにより、図１０に示すように、各要素セルから再生される光線による物点Ａ’’のサイズを、要素セルのサイズｄの回折限界まで小さくすることが可能になる。

【0072】

これを実現する方法として、例えば、要素セルごとに計算したＣＧＨ（Computer-Generated Hologram；計算機ホログラム）を使用する方法がある。この方法では、物体からの光が要素セルの位置に到達した際における、波面と参照光とのホログラムを計算する。この方法では、要素セルごとの演算を実行すればよい。このため、後述するような、通常のＣＧＨの計算と比較して演算量が少なく、また並列演算も可能であり高速な演算が可能となる。

【0073】

この場合、一つの要素セルだけでもピント調整の機能を満たすことが可能になる。そのため、要素セルのピッチｐが１．２ｍｍ以上であっても、自然な立体視が可能になる。しかしながら、観察者ＯＢの視点移動に伴って、像をなめらかに変化させるためには、要素セルのピッチｐが瞳のサイズ以下であることが望ましい。このため、要素セルのピッチｐは少なくとも７ｍｍ以下、望ましくは２ｍｍ以下であることが望ましい。すなわち、要素セルを、物体からの球面波を記録したホログラムとした場合、要素セルのサイズｄを１．２ｍｍ以上（視力０．５相当）、要素セルのピッチｐを２ｍｍ以下とすることで、より高解像度の立体像を観察することができる。

【0074】

図１０の方法で複数の物体を再生した場合の様態を、図１１を用いて説明する。ディスプレイ面の各要素セルには、物体の表面における各点から発散した球面波と参照光との干渉縞が記録されている。ディスプレイ面から比較的近くに存在する物体Ｂ’からは、近くの光点から発散した球面波が再生される。一方、ディスプレイ面から比較的遠くに存在する物体Ｃ’からは、遠くの光点から発散した球面波が再生される。このように、ディスプレイ面から物体までの距離によって波面は異なって記録される。

【0075】

本実施形態では、物体の表面における各点から発散した球面波と参照光との干渉縞を、立体カメラ２０を通してデジタル化する。これは、従来のデジタルホログラムと同様であるが、本実施形態では、物体をサンプリングする点に特徴がある。すなわち、図１１に示すように、物体をサンプリングする点を、各要素セル位置からΔαの角度で分解されたポイントとする。

【0076】

これにより、従来のデジタルホログラムでは、μｍオーダのサンプリングピッチで波面を計算する必要があるのに対して、本実施形態の手法では数ｍｍから数ｃｍのピッチでサンプリングすればよくなる。したがって、従来の手法において必要とされていた膨大な計算量を低減させることが可能となる。

【0077】

また、本実施形態の手法では、ディスプレイ面から離れれば離れるほど、サンプリングする間隔（サンプリングピッチ）が広がる。このため、本実施形態の手法は、ディスプレイ面から離れた広い空間を再現するのに適した方法となる。

【0078】

ホログラフィックステレオグラムでは、光線の方向を再現するように立体像が作られる。このため、物体を複数の方向から撮影した画像から三次元画像を表示するためのデータを作成することが可能である。したがって、様々な方法で研究されているＣＧ（コンピュータグラフィックス）の手法を用いて、光沢のある物体や透明な物体など、物体の形状のみならず、そのテクスチャを再現することが可能である。さらに、実際の物体を撮像することで、実物の物体における立体像を再生することも可能となる。

【0079】

例えば、ＣＧ手法の一つである光線追跡法を適用してホログラムのパターンを計算する方法を、図１２を用いて説明する。まず、各要素セルの中心を、光線追跡法によって射出される光線の始点とする。次に、各要素セルの中心を始点として光線追跡法を行い、光線と被写体となる物体との交点を求める。これにより、要素セルごとに異なる視点位置からの点光源の集合を持つことになり、上下左右の視差を持つ要素セルのパターンを作成することが可能となる。なお、ここでの物体（被写体）は、立体カメラ２０で撮像された情報から得られる三次元情報に基づいて作成された三次元物体であってもよいし、ＣＡＤ（computer-aided design）などを利用して作成された仮想的な（バーチャルな）物体であってもよい。また、この計算の際に光線の方向のみを考慮した場合、図８に示すような光線による再生となる。一方、この計算の際に光線の方向、及び物点までの距離の両方を考慮した場合、図１０や、図１１に示すような光線による再生となる。

【0080】

ここで、実施形態の三次元表示ディスプレイ３０が行う処理の流れを、図１６のフローチャートを用いて説明する。図１６には、光線の方向と物点までの距離まで考慮した場合のホログラムのパターンの計算処理の流れが示されている。

【0081】

まず、三次元表示ディスプレイ３０は、ディスプレイに表示すべき物体の三次元情報を取得する（ステップＳ１０）。次に、三次元表示ディスプレイ３０は、演算すべき要素セルの中心の位置を求め（ステップＳ１１）、要素セルの中心位置を始点とし、始点から射出されΔαずつ角度が異なる各線と物体との交点を求める（ステップＳ１２）。そして、三次元表示ディスプレイ３０は、各物体との交点を物点とし、各物点から発散する球面波の要素セル位置における複素振幅の和を求める（ステップＳ１３）。なお、ここで求められる複素振幅は、要素セルの大きさの範囲でよい。

【0082】

三次元表示ディスプレイ３０は、以上の工程（ステップＳ１１～Ｓ１３までの工程）を全ての要素セルについて行う（ステップＳ１４、Ｓ１７）。

【0083】

その後、三次元表示ディスプレイ３０は、全ての要素セルの複素振幅の和を求めることでディスプレイ面での複素振幅を求める（ステップＳ１５）。次に、三次元表示ディスプレイ３０は、参照光の波面とディスプレイ面での複素振幅との干渉縞のパターンを求める（ステップＳ１６）。これにより、三次元表示ディスプレイ３０は、ディスプレイに表現するホログラムのパターンを求めることができる。

【0084】

上述したフローチャートに示す処理では、要素セル毎の干渉縞パターンの和を求めるのではなく、複素振幅の和を求め（ステップＳ１５）、その後に、参照光との干渉縞パターンを演算する（ステップＳ１６）。こうすることで、三次元表示ディスプレイ３０は、物体の三次元画像を、光線の方向及び物点までの距離の両方を含めた情報として記録、再生することができる。

【0085】

なお、上述したフローチャートに示す処理では、要素セルの複素振幅の和を計算した後に、参照光との干渉パターンを計算したが、これに限定されることはない。三次元表示ディスプレイ３０は、要素セル毎に参照光との干渉パターンを求めた後に、各干渉パターンの和を演算するようにしてもよい。この場合、三次元表示ディスプレイ３０は、要素セル毎に演算を実行することができる。このため、並列演算が容易になり、演算に要する時間をより短時間とすることができる。

【0086】

また、記録する立体像（物体の三次元情報）は、水平方向の視差のみを考慮したステレオグラムでもよいが、ピント調整の効果をより効果的するためには、水平方向と鉛直方向の両方向の視差をもったステレオグラムである方が望ましい。また、上述した実施形態では、要素セルとして円形のセルを例示して説明したが、これに限定する必要はない。要素セルの形状は、三角形、四角形、五角形、六角形などの多角形の形状であってもよいし、星型、楕円、長方形などの形状であってもよい。

【0087】

また、ホログラフィックステレオグラムを再生する光源としては、レーザーやＬＥＤなどの単色の光源、もしくは通常の光源とフィルターを組み合わせた光源を用いることが望ましい。波長による回折角の違いに起因するボケの発生を抑えるためである。

【0088】

また、光源としてレーザー光源を用いた場合、コヒーレント性を落とす工夫をすることが望ましい。スペックルによるノイズを低減させるためである。レーザー光源のコヒーレント性を落とすには、光ファイバーを透過させる、光源を振動させる、光路長を変化させる、動きのある拡散要素を光路内に挿入する、複数の光源を組み合わせるなどの方法が考えられる。

【0089】

上記では、社会距離として、おおよそ１．２ｍ程度から３．６ｍ程度まで距離を対象としてきたが、空間において再生される全て物体がこの距離の範囲内に存在する必要はない。主に観察対象となる物体が、少なくともこの社会距離の範囲に存在していればよい。また、再生される対象（物体）としては、人に限定されるものではなく、動物やロボットなどであってもよい。また、再生される対象（物体）が、空間に再現された２次元の画像であってもよい。さらには、コミュニケーション対象の存在を示唆するような建築物、例えば、空間に配置された机や椅子、テーブルなどを再現するものであってもよい。さらには、再生される対象が、コミュニケーションを直接取るものでなくてもよい。例えば、重機を遠隔操作する際の観察対象となる地山などが、社会距離の範囲に存在している形態であっても構わない。遠隔手術や、宇宙空間におけるロボットアームの操作、軍事などにおける無人偵察機の操作などを行う場合も同様である。

【0090】

図５や図６を用いて説明したように、空間の奥行きが３．６ｍを超えた場合であっても本発明を用いればボケが少なく広い空間を再生することが可能になる。例えば、景色などの広い空間や建物や大きな動植物など巨大な物体を含む空間を表現するために、社会距離を超えた空間の表現にも本発明は利用することが可能である。

【0091】

また、接眼レンズなどの光学系を介してディスプレイを観察する場合、要素セルのサイズｄ、及び要素セルのピッチｐの条件を、光学系の倍率に基づいて補正するようにしてもよい。例えば、ディスプレイからの距離が、おおよそ１．２ｍ程度から３．６ｍ程度までの社会距離で、接眼レンズなしのとき要素セルのサイズｄを１．０ｍｍ、要素セルのピッチｐを１．２ｍｍとする場合を考える。この場合において、ヘッドマウントディスプレイなどに本実施形態を応用し、ヘッドマウントディスプレイなどに装着される接眼レンズの倍率が２倍であった場合、三次元表示ディスプレイ３０は、要素セルのサイズｄを１．０／２＝０．５ｍｍ、要素セルのピッチｐを１．２／２＝０．６ｍｍに補正する。逆に、縮小光学系を用いて光学系の倍率を０．５とする場合、三次元表示ディスプレイ３０は、要素セルのサイズｄを１．０／０．５＝２．０ｍｍ、要素セルのピッチｐを１．２／０．５＝２．４ｍｍとなるように補正する。

【0092】

すなわち、補正後のサイズｄ＃、補正後のｐ＃は以下の式で表現される。以下の式において、ｄは補正前のサイズ、ｐは補正前のピッチ、ＢＲは接眼レンズなどの光学系の倍率を示す。

【0093】

ｄ＃＝ｄ／ＢＲ
ｐ＃＝ｐ／ＢＲ

【0094】

なお、接眼レンズなどを用いずに直接ディスプレイ面を観察する場合、輻輳の効果を得るために両眼で同時に観察できることが望ましい。平均の眼間距離が約６０ｍｍであることから、ディスプレイ面のサイズは、少なくとも長軸方向において６０ｍｍ以上あることが望ましい。

【0095】

（実施形態の変形例）
ここで、実施形態の変形例について説明する。本変形例では、仮想的な物体（以下、仮想物体）を再生空間に再現させる点において、上述した実施形態と相違する。仮想物体は、例えば、バーチャルなキャラクターなどである。

【0096】

図１７は、実施形態の変形例における三次元空間表示システム１Ａの構成を示すブロック図である。三次元空間表示システム１Ａは、例えば、通信部１０と、三次元表示ディスプレイ３０とを備える。すなわち、本変形例において立体カメラ２０を省略することが可能となる。

【0097】

通信部１０は、外部から仮想物体の三次元情報を取得する。仮想物体には、観察対象となる物体のみならず、背景など、再現する空間の三次元情報が含まれる。三次元表示ディスプレイ３０は、通信部１０を介して取得した、仮想物体の三次元情報を用いて、例えば、その仮想物体が社会距離に存在する空間を再現して表示する。

【0098】

或いは、三次元表示ディスプレイ３０は、仮想物体の三次元情報を作成する機能部を備えるようにしてもよい。或いは、本変形例の三次元表示ディスプレイ３０は、予め記憶部３６に記憶されている仮想物体の三次元情報を用いるようにしてもよい。この場合、三次元空間表示システム１において、通信部１０を省略することができる。

【0099】

図１８は、実施形態の変形例における三次元空間表示システム１Ａが適用される例を説明する図である。図１８では、例えば図１７で示した構成により生成した仮想物体の三次元画像が再生像ＳＩＭ（この例では、再生像ＳＩＭ１～ＳＩＭ７）として存在する再生空間ＳＫを、ディスプレイに表示することができる。このように、本変形例の三次元表示ディスプレイ３０を用いることで、バーチャルな空間に作られた人物やキャラクターなど実在しない相手や、他システムから送られたコミュニケーション相手のアバター等と、社会距離がとれる奥行きのある社会距離空間において、より自然なコミュニケーションを取ることができる。

【0100】

本変形例におけるコミュニケーションの手段は、特定の手段に限定されるものではない。例えば、三次元空間表示システム１Ａが、キャラクターとコミュニケーションをとる手段に適用されてもよい。ここでのキャラクターは、仮想物体として表示されるバーチャルなキャラクターである。

【0101】

この場合、三次元空間表示システム１は、例えば、ライブカメラと、キャラクターに所定のリアクションを取らせた三次元空間画像を表示させる信号処理を行うプロセッサとを備える。ライブカメラはユーザを撮影する。プロセッサは、ライブカメラによって撮影された映像から当該ユーザのジェスチャーを認識し、当該ジェスチャーに基づいて、キャラクターに取らせるリアクションを決定し、決定したリアクションを取らせたキャラクターの画像を表示させる。これにより、ジェスチャーを通じて当該キャラクターとコミュニケーションをとることが可能となる。

【0102】

或いは、三次元空間表示システム１Ａが、マイクと、スピーカーと、キャラクターに所定のリアクションを取らせた三次元空間画像を表示させる信号処理を行うプロセッサとを備える。マイクにはユーザの音声が入力される。プロセッサは、当該マイクから入力されたユーザの音声に応じて当該音声の返答を決定し、決定した返答をスピーカーから出力させる。また、プロセッサは、ユーザの音声に応じてキャラクターに取らせるリアクションを決定し、決定したリアクションを取らせたキャラクターの画像を表示させる。これにより、音声を通じて当該キャラクターとコミュニケーションをとることが可能となる。

【0103】

また、本変形例において、仮想物体は、ＣＧ（Computer Graphics）ではなく、予め立体カメラ等で撮影しておいた実写の動画像であってもよい。このような場合であっても、上述したようなユーザからのジェスチャーや音声などの入力に応じて、リアクションとして再生する動画像を切り替えることで、仮想物体とインタラクション（コミュニケーション）することが可能となる。

【0104】

また、三次元空間表示システム１Ａが再生（表示）する仮想物体が静止物体である場合には、三次元表示ディスプレイ３０の表示部３４として、印刷物などの変化しない（静止した）画像を表示するようにしてもよい。

【0105】

また、三次元表示ディスプレイ３０の表示部３４が表示する画像は、電子線描画装置などの微細なパターニング装置を用いてホログラムパターンが描画された画像、さらには、描画されたホログラムパターンが複製された画像であってもよい。このように、表示する画像として固定されたホログラムパターン（静止画像）を用いることで、安価に広い空間を再現することが可能になる。なお、この場合、表示部３４がホログラムパターンによって光の方向を制御する。表示部３４は、各要素セルが射出する光線によりホログラムパターンを少なくとも虚像または実像のいずれか一方として表示する。このため、表示機能と光制御機能とが一つのデバイスで実現されることになる。このような場合、仮想物体として表示されるバーチャルなキャラクターにリアクションを取らせることはできなくなるが、上述のように疑似的に仮想物体との音声によるコミュニケーションを成立させることは可能である。なお、表示部３４と共に、又は表示部４３に代えて光制御部３５が、固定されたホログラムパターン等の静止画像を表示するようにしてもよい。表示部３４は、「立体像表示部」の一例である。光制御部３５は、「立体像表示部」の一例である。また、ホログラムパターンが描画された画像は、「立体像」の一例である。描画されたホログラムパターンが複製された画像は、「立体像」の一例である。

【0106】

以上、説明したように、実施形態の三次元表示ディスプレイ３０は、再生空間に立体像を再生させる場合における前記立体像から仮想的に射出される光線を再生する。

【0107】

実施形態の三次元表示ディスプレイ３０は表示部３４、又は／及び光制御部３５を備える。表示部３４、又は／及び光制御部３５は「立体像表示部」の一例である。表示部３４、又は／及び光制御部３５は、再生画面に対応して二次元的に配置される複数の要素セルからなる要素セル集合に含まれる各要素セルが射出する光線により立体像を少なくとも虚像または実像のいずれか一方として表示する。表示部３４、又は／及び光制御部３５は、前記再生空間における奥行き方向の距離が社会距離に相当する領域に前記立体像を表示する。また、三次元表示ディスプレイ３０では、要素セルのサイズｄ、及び要素セルのピッチｐは、再生空間に再現される立体像が観察者に観察される度合いに応じて決定される値である。立体像は、再生空間おける奥行き方向の距離が社会距離に相当する領域に再現される。

【0108】

これにより、実施形態の三次元表示ディスプレイ３０は、再生空間において社会距離にある立体像が観察者ＯＢによく見えるように、要素セルのサイズｄ、及び要素セルのピッチｐを決定することができる。したがって、社会距離空間を、自然な距離感が得られ、且つボケが少ない三次元空間として再生することができる。

【0109】

また、実施形態の三次元表示ディスプレイ３０は演算部３１又は／及び制御部３２を備える。演算部３１又は／及び制御部３２は、「信号処理部」の一例である。演算部３１又は／及び制御部３２は、要素セル集合の各要素（要素セル）について、再生する光線の方向を演算する。要素セルは、再生画面に対応して二次元的に配置される。要素セルには、立体像の表面から射出される複数の前記光線からなる集合を、各々の光線が到達する再生画面の位置に応じて分割した各要素が対応づけられる。これにより上述した効果と同様の効果を奏する。

【0110】

また、実施形態の三次元表示ディスプレイ３０では、要素セルのサイズｄは再現された立体像に生じるボケの大きさに応じて決定される。これにより、許容できるボケの大きさに抑えられるように要素セルのサイズｄが決定されるため、ボケの少ない立体像を再生することができる。

【0111】

また、要素セルのピッチｐは、再現された立体像を観察する観察者の網膜上の分解能に応じて決定される。これにより、ピント調整ができるように要素セルのピッチｐが決定されるため、観察者ＯＢがピントを合わせることが可能な立体像を再生することができる。

【0112】

上述した実施形態における三次元空間表示システム１（１Ａ、１００）、及び三次元表示ディスプレイ３０の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0113】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0114】

１、１Ａ、１００…三次元空間表示システム、１０…通信部、２０…立体カメラ、３０…三次元表示ディスプレイ（光線再生装置）、３１…演算部（信号処理部）、３２…制御部（信号処理部）、３３…光源部、３４…表示部（立体像表示部）、３５…光制御部（立体像表示部）、３６…記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】