(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024080390
(43)【公開日】2024-06-13
(54)【発明の名称】空間浮遊映像表示装置
(51)【国際特許分類】
G02B 30/56 20200101AFI20240606BHJP
G02B 30/27 20200101ALI20240606BHJP
G09F 9/00 20060101ALI20240606BHJP
G09G 5/36 20060101ALI20240606BHJP
G09G 5/00 20060101ALI20240606BHJP
G09F 19/12 20060101ALI20240606BHJP
G03B 35/00 20210101ALI20240606BHJP
G03B 35/24 20210101ALI20240606BHJP
H04N 13/305 20180101ALI20240606BHJP
H04N 13/351 20180101ALI20240606BHJP
G06F 3/04815 20220101ALI20240606BHJP
G06F 3/0346 20130101ALN20240606BHJP
【ＦＩ】
G02B30/56
G02B30/27
G09F9/00 361
G09F9/00 313
G09G5/36 500
G09G5/00 550C
G09F19/12 F
G03B35/00 A
G03B35/24
H04N13/305
H04N13/351
G06F3/04815
G06F3/0346 421
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022193538
(22)【出願日】2022-12-02
(71)【出願人】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110002066
【氏名又は名称】弁理士法人筒井国際特許事務所
(72)【発明者】
【氏名】▲高▼橋 宏明
(72)【発明者】
【氏名】藤田 浩司
【テーマコード（参考）】
2H059
2H199
5B087
5C061
5C182
5E555
5G435
【Ｆターム（参考）】
2H059AA35
2H059AB04
2H059AB11
2H199BA08
2H199BA17
2H199BA32
2H199BA41
2H199BA49
2H199BA51
2H199BA55
2H199BA61
2H199BA63
2H199BB04
2H199BB10
2H199BB12
2H199BB15
2H199BB20
2H199BB52
2H199BB66
5B087AA07
5B087AB02
5B087BC01
5B087BC32
5B087CC33
5B087DE03
5C061AA06
5C061AB14
5C061AB17
5C182AA02
5C182AA03
5C182AA28
5C182AB02
5C182AB08
5C182AB11
5C182AB25
5C182AC02
5C182AC03
5C182AC46
5C182BA01
5C182BA03
5C182BA14
5C182BA35
5C182BA54
5C182BA55
5C182BA65
5C182BA75
5C182BC03
5C182BC22
5C182BC25
5C182CA01
5C182CA02
5C182CA13
5C182DA44
5E555AA27
5E555AA64
5E555AA76
5E555BA23
5E555BA31
5E555BB23
5E555BB31
5E555BC08
5E555BE16
5E555CA42
5E555CA46
5E555CB22
5E555CB66
5E555CB80
5E555DA09
5E555DA11
5E555DB18
5E555DB20
5E555DB41
5E555DB56
5E555DC43
5E555DC84
5E555DD06
5E555EA09
5E555FA00
5G435AA01
5G435BB12
5G435CC11
5G435DD11
5G435EE02
5G435EE49
5G435FF03
5G435GG06
5G435LL19
(57)【要約】
【課題】空間浮遊映像表示装置の利用者に対して好適に映像を表示し、必要な情報を提供すること。本発明によれば、持続可能な開発目標の「３すべての人に健康と福祉を」、「９産業と技術革新の基盤をつくろう」、「１１住み続けられるまちづくりを」に貢献する。
【解決手段】空間浮遊映像表示装置は、映像表示装置１０と、映像表示装置１０の映像光出射側に配置されたレンチキュラーレンズ１１０３と、映像表示装置１０からの映像光を反射させ、反射した光により空中に空間浮遊映像を形成せしめる再帰性反射部材３３０とを備え、映像表示装置１０は、少なくとも２個のオブジェクトを含む映像を表示し、少なくとも２個のオブジェクトのうち、任意のオブジェクトの位置を固定し、任意のオブジェクト以外のオブジェクトの位置を、異なる多視点画像間で、互いに所定方向にずらすことにより得られた複数の映像を多視点画像１９０２として表示する。
【選択図】図２３
【解決手段】空間浮遊映像表示装置は、映像表示装置１０と、映像表示装置１０の映像光出射側に配置されたレンチキュラーレンズ１１０３と、映像表示装置１０からの映像光を反射させ、反射した光により空中に空間浮遊映像を形成せしめる再帰性反射部材３３０とを備え、映像表示装置１０は、少なくとも２個のオブジェクトを含む映像を表示し、少なくとも２個のオブジェクトのうち、任意のオブジェクトの位置を固定し、任意のオブジェクト以外のオブジェクトの位置を、異なる多視点画像間で、互いに所定方向にずらすことにより得られた複数の映像を多視点画像１９０２として表示する。
【選択図】図２３
【特許請求の範囲】
【請求項1】
空間浮遊映像表示装置であって、
映像を表示する映像表示装置と、
前記映像表示装置の映像光出射側に配置されたレンチキュラーレンズと、
前記映像表示装置からの映像光を反射させ、反射した光により空中に空間浮遊映像を形成せしめる再帰性反射部材と、を備え、
前記映像表示装置は、少なくとも２個のオブジェクトを含む映像を表示し、前記少なくとも２個のオブジェクトのうち、任意のオブジェクトの位置を固定し、前記任意のオブジェクト以外のオブジェクトの位置を、異なる多視点画像間で、互いに所定方向に位置をずらすことにより得られた複数の映像を多視点画像として表示する、
空間浮遊映像表示装置。
映像を表示する映像表示装置と、
前記映像表示装置の映像光出射側に配置されたレンチキュラーレンズと、
前記映像表示装置からの映像光を反射させ、反射した光により空中に空間浮遊映像を形成せしめる再帰性反射部材と、を備え、
前記映像表示装置は、少なくとも２個のオブジェクトを含む映像を表示し、前記少なくとも２個のオブジェクトのうち、任意のオブジェクトの位置を固定し、前記任意のオブジェクト以外のオブジェクトの位置を、異なる多視点画像間で、互いに所定方向に位置をずらすことにより得られた複数の映像を多視点画像として表示する、
空間浮遊映像表示装置。
【請求項2】
請求項１に記載の空間浮遊映像表示装置において、
前記所定方向は、前記空間浮遊映像を視認する利用者の視点に対しての左右方向である、
空間浮遊映像表示装置。
前記所定方向は、前記空間浮遊映像を視認する利用者の視点に対しての左右方向である、
空間浮遊映像表示装置。
【請求項3】
請求項１に記載の空間浮遊映像表示装置において、
前記レンチキュラーレンズは、前記映像表示装置と前記再帰性反射部材との間に配置されている、
空間浮遊映像表示装置。
前記レンチキュラーレンズは、前記映像表示装置と前記再帰性反射部材との間に配置されている、
空間浮遊映像表示装置。
【請求項4】
請求項１に記載の空間浮遊映像表示装置において、
前記映像表示装置は、表示パネルを有しており、
前記レンチキュラーレンズは、前記表示パネルの出射面から所定の距離に配置されている、
空間浮遊映像表示装置。
前記映像表示装置は、表示パネルを有しており、
前記レンチキュラーレンズは、前記表示パネルの出射面から所定の距離に配置されている、
空間浮遊映像表示装置。
【請求項5】
請求項４に記載の空間浮遊映像表示装置において、
前記レンチキュラーレンズと前記映像表示装置との距離は、前記レンチキュラーレンズの焦点距離により調整されている、
空間浮遊映像表示装置。
前記レンチキュラーレンズと前記映像表示装置との距離は、前記レンチキュラーレンズの焦点距離により調整されている、
空間浮遊映像表示装置。
【請求項6】
請求項１に記載の空間浮遊映像表示装置において、
前記映像表示装置は、表示パネルを有しており、
前記表示パネルの出射面と、前記レンチキュラーレンズの入射面とが平行である、
空間浮遊映像表示装置。
前記映像表示装置は、表示パネルを有しており、
前記表示パネルの出射面と、前記レンチキュラーレンズの入射面とが平行である、
空間浮遊映像表示装置。
【請求項7】
請求項１に記載の空間浮遊映像表示装置において、
前記オブジェクトは、数字、文字、図形のいずれかである、
空間浮遊映像表示装置。
前記オブジェクトは、数字、文字、図形のいずれかである、
空間浮遊映像表示装置。
【請求項8】
請求項１に記載の空間浮遊映像表示装置において、
前記レンチキュラーレンズは、前記映像表示装置と前記再帰性反射部材との間に配置され、
前記映像表示装置および前記再帰性反射部材を収納する筐体と、
所定操作に基づいて所定の処理を実行する制御装置と、を備え、
前記オブジェクトは、数字、文字、図形のいずれかであり、
前記オブジェクトは、前記空間浮遊映像を視認する利用者の移動に伴って運動視差を有する、
空間浮遊映像表示装置。
前記レンチキュラーレンズは、前記映像表示装置と前記再帰性反射部材との間に配置され、
前記映像表示装置および前記再帰性反射部材を収納する筐体と、
所定操作に基づいて所定の処理を実行する制御装置と、を備え、
前記オブジェクトは、数字、文字、図形のいずれかであり、
前記オブジェクトは、前記空間浮遊映像を視認する利用者の移動に伴って運動視差を有する、
空間浮遊映像表示装置。
【請求項9】
請求項１に記載の空間浮遊映像表示装置において、
前記レンチキュラーレンズは、前記映像表示装置と前記再帰性反射部材との間に配置され、
前記映像表示装置および前記再帰性反射部材を収納する筐体と、
所定操作に基づいて所定の処理を実行する制御装置と、を備え、
前記オブジェクトは、前記空間浮遊映像を視認する利用者の移動に伴って運動視差を有し、
前記映像表示装置に表示される前記オブジェクトは、前記空間浮遊映像として表示される前記オブジェクトとは前記所定方向での位置関係が逆である、
空間浮遊映像表示装置。
前記レンチキュラーレンズは、前記映像表示装置と前記再帰性反射部材との間に配置され、
前記映像表示装置および前記再帰性反射部材を収納する筐体と、
所定操作に基づいて所定の処理を実行する制御装置と、を備え、
前記オブジェクトは、前記空間浮遊映像を視認する利用者の移動に伴って運動視差を有し、
前記映像表示装置に表示される前記オブジェクトは、前記空間浮遊映像として表示される前記オブジェクトとは前記所定方向での位置関係が逆である、
空間浮遊映像表示装置。
【請求項10】
請求項１に記載の空間浮遊映像表示装置において、
前記レンチキュラーレンズは、前記映像表示装置と前記再帰性反射部材との間に配置され、
前記映像表示装置および前記再帰性反射部材を収納する筐体と、
所定操作に基づいて所定の処理を実行する制御装置と、を備え、
前記オブジェクトは、前記空間浮遊映像を視認する利用者の移動に伴って運動視差を有し、
前記筐体に前記利用者が近づいたことを検知した場合に、前記空間浮遊映像として前記オブジェクトを表示する、
空間浮遊映像表示装置。
前記レンチキュラーレンズは、前記映像表示装置と前記再帰性反射部材との間に配置され、
前記映像表示装置および前記再帰性反射部材を収納する筐体と、
所定操作に基づいて所定の処理を実行する制御装置と、を備え、
前記オブジェクトは、前記空間浮遊映像を視認する利用者の移動に伴って運動視差を有し、
前記筐体に前記利用者が近づいたことを検知した場合に、前記空間浮遊映像として前記オブジェクトを表示する、
空間浮遊映像表示装置。
【請求項11】
請求項８に記載の空間浮遊映像表示装置において、
人感センサを備え、
前記人感センサの出力結果に基づいて、前記利用者が近づいたことを検知する、
空間浮遊映像表示装置。
人感センサを備え、
前記人感センサの出力結果に基づいて、前記利用者が近づいたことを検知する、
空間浮遊映像表示装置。
【請求項12】
請求項８に記載の空間浮遊映像表示装置において、
撮像装置を備え、
前記撮像装置により取得した前記利用者が写った画像に基づいて、前記利用者が近づいたことを検知する、
空間浮遊映像表示装置。
撮像装置を備え、
前記撮像装置により取得した前記利用者が写った画像に基づいて、前記利用者が近づいたことを検知する、
空間浮遊映像表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、空間浮遊映像表示装置に関する。
【背景技術】
【0002】
空間浮遊映像表示装置として、直接外部に向かって映像を空間像として表示する映像表示装置および表示方法については、既に知られている。また、表示された空間像の操作面における操作に対する誤検知を低減する検知システムについても、例えば、特開２０１９－１２８７２２号公報（特許文献１）に記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－１２８７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１の開示では、立体的な形状として空間浮遊映像を表示するための具体的な技術は十分に考慮されていなかった。
【0005】
そこで、本発明の目的は、より簡便な方法で多視点画像を生成し、立体視可能な空間浮遊映像を表示することができる空間浮遊映像表示装置を提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本発明は、上記課題を解決する手段を複数含んでいるが、一例を挙げるならば、以下の通りである。空間浮遊映像表示装置は、映像を表示する映像表示装置と、映像表示装置の映像光出射側に配置されたレンチキュラーレンズと、映像表示装置からの映像光を反射させ、反射した光により空中に空間浮遊映像を形成せしめる再帰性反射部材とを備え、映像表示装置は、少なくとも２個のオブジェクトを含む映像を表示し、少なくとも２個のオブジェクトのうち、任意のオブジェクトの位置を固定し、任意のオブジェクト以外のオブジェクトの位置を、異なる多視点画像間で、互いに所定方向に位置をずらすことにより得られた複数の映像を多視点画像として表示する。
【発明の効果】
【0007】
本発明によれば、より好適な空中浮遊映像表示装置を実現できる。これ以外の課題、構成および効果は、以下の実施形態の説明において明らかにされる。
【図面の簡単な説明】
【0008】
【図1】一実施例に係る空間浮遊映像表示装置の使用形態の一例を示す図である。
【図2】一実施例に係る空間浮遊映像表示装置の内部構成の一例を示す図である。
【図3】一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。
【図4】一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の他の例を示す図である。
【図5】一実施例に係る再帰反射で発生する異常光線を遮る部材の配置例を示す斜視図である。
【図6】一実施例に係る再帰反射で発生する異常光線を遮る部材の配置例を示す断面図である。
【図7】一実施例に係る空間浮遊映像表示装置で用いる第１のセンシング技術の説明図である。
【図8】一実施例に係る空間浮遊映像表示装置で用いる第２のセンシング技術の説明図である。
【図9】一実施例に係る空間浮遊映像表示装置で用いるセンシングシステムの動作および装置についての説明図である。
【図10】太陽光の分光放射照度の特性を示す図である。
【図11】屈折率１.５の媒質に入射する偏光光の光線入射角度に対する反射特性を示す図である。
【図12】一実施例に係る空間浮遊映像表示装置の主要部構成を示す図である。
【図13】一実施例に係る他の空間浮遊映像表示装置の主要部構成を示す図である。
【図14】多視点画像を表示する原理を示す図である。
【図15】多視点映像を生成するためのカメラ配置の一例を示す図である。
【図16】多視点映像表示装置により表示される映像の一例を示す図である。
【図17】空間浮遊像としての多視点映像の見え方の一例を示す図である。
【図18】空間浮遊像としての多視点映像の見え方の他の一例を示す図である。
【図19】一実施例に係る多視点映像の一例を示す図である。
【図20】一実施例に係る多視点映像の見え方の一例を示す図である。
【図21】一実施例に係る空間浮遊像としての多視点映像の見え方の一例を示す図である。
【図22】一実施例に係る多視点映像の他の一例を示す図である。
【図23】一実施例に係る多視点映像の見え方の他の一例を示す図である。
【図24】一実施例に係る空間浮遊像としての多視点映像の見え方の他の一例を示す図である。
【図25】一実施例に係る多視点画像の生成に関する補足説明図である。
【図26】一実施例に係る自動販売機の外観例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら本開示の実施の形態を詳細に説明する。図面において、同一部には原則として同一符号を付し、繰り返しの説明を省略する。図面において、構成要素の表現は、発明の理解を容易にするために、実際の位置、大きさ、形状、範囲等を表していない場合がある。
【0010】
説明上、プログラムによる処理について説明する場合に、プログラムや機能や処理部等を主体として説明する場合があるが、それらについてのハードウェアとしての主体は、プロセッサ、あるいはそのプロセッサ等で構成されるコントローラ、装置、計算機、システム等である。計算機は、プロセッサによって、適宜にメモリや通信インタフェース等の資源を用いながら、メモリ上に読み出されたプログラムに従った処理を実行する。これにより、所定の機能や処理部等が実現される。プロセッサは、例えばＣＰＵ／ＭＰＵやＧＰＵ等の半導体デバイス等で構成される。処理は、ソフトウェアプログラム処理に限らず、専用回路でも実装可能である。専用回路は、ＦＰＧＡ、ＡＳＩＣ、ＣＰＬＤ等が適用可能である。
【0011】
プログラムは、対象計算機に予めデータとしてインストールされていてもよいし、プログラムソースから対象計算機にデータとして配布されてもよい。プログラムソースは、通信網上のプログラム配布サーバでもよいし、非一過性のコンピュータ読み取り可能な記憶媒体、例えばメモリカードやディスクでもよい。プログラムは、複数のモジュールから構成されてもよい。コンピュータシステムは、複数台の装置によって構成されてもよい。コンピュータシステムは、クライアント・サーバシステム、クラウドコンピューティングシステム、ＩｏＴシステム等で構成されてもよい。各種のデータや情報は、例えばテーブルやリスト等の構造で構成されるが、これに限定されない。識別情報、識別子、ＩＤ、名前、番号等の表現は互いに置換可能である。
【0012】
立体的な形状として空間浮遊映像を表示する場合、多視点画像による運動視差に基づく立体感を備えた画像を表示するためには、押しボタンのような表示オブジェクトを複数の異なる方向から撮影した複数の画像を用いるか、もしくは、レンダリングにより異なる方向から観察した画像を生成する必要がある。この場合、多視点画像を生成するために、多くの時間と多大な手間が必要である、という課題があった。したがって、押しボタンなどの、比較的単純な形状を有するＨＭＩを立体的な空間浮遊映像として表示する場合には、多視点画像をより簡便な方法で作成する技術が望まれていた。
【0013】
そこで、以下の実施例によれば、より簡便な方法で多視点画像を生成し、立体視可能な物体を表示することができる空間浮遊表示装置を提供することができる。一実施の形態の空間浮遊映像表示装置（以下、単に装置と記載する場合もある）は、まず、空間浮遊映像の視認性を著しく低下させるゴースト像を無くし、空間浮遊映像の明るさを向上させることで、視認性を改善する構成を備える。また、立体的な形状を有する空間浮遊映像を、例えば、サイネージ（電子的な看板）として用いた場合には、サイネージにより表示された商品やサービスに対する人々の関心をより高める効果が期待できる。空間浮遊映像として、例えば、押しボタン（数字ボタン）のようなマン・マシン・インタフェース（ＨＭＩ；Human Machine Interface、あるいは、単に、ユーザインタフェース、ＵＩ；User Interface、という場合もある）を表示する場合には、立体的に見える、つまり奥行き感のある非接触のＨＭＩを実現できるので、物理的な押しボタンを使用する場合に比較して、不特定多数の人同士の間接的な接触を防止することができ、感染症等によるリスクを低減することができる。
【0014】
また、立体的に見える押しボタンを空間浮遊映像として表示すると、平面的な空間浮遊映像（２次元映像／画像に基づく空間浮遊映像）によって表示された押しボタンに比べて、押しボタンが３次元的に、奥行き感を伴って、すなわち、飛び出て見えたり、逆に、引っ込んで見えたりするので、空間浮遊像を初めて見る人や、取り扱いに不慣れな人にとってＨＭＩとしての使い勝手に優れる、という効果をもたらす。
【0015】
例えば、一実施の形態の装置は、自動販売機での商品選択のための数字ボタンや、電話機のボタンなどに適用され、空間浮遊映像による画面によるユーザインタフェースを提供する。その上で、一実施の形態のシステムは、ユーザが装置の筐体に近づいてきた時に、空間浮遊映像の画面上に商品選択のための数字ボタンや電話機のボタンなどを表示する。
【0016】
一実施の形態の空間浮遊映像表示装置は、ユーザが空間浮遊映像に近づいた場合や空間浮遊映像に対し何等かの操作した場合に、自動的にウエルカムメッセージや、使い方を説明する人物像を表示し、続いて、複数の押しボタン（数字ボタン）や決定ボタンなどを有し、ユーザがそれらのボタンを押下できるような操作メニュー画面に遷移・変化させる。また、装置は、ユーザが空間浮遊映像の操作方法などがよくわからない状態であると判定した場合（長時間、何も操作を行わないなどの場合）には、ユーザに対し、操作方法を詳しくガイドするようにしてもよい。
【0017】
また、一実施の形態の空間浮遊映像表示装置は、例えばカメラを用いた顔認証などによりユーザを識別・特定する機能を備える。システムは、その機能によって特定したユーザについて、年齢やシステム使用履歴などのユーザ属性情報を参照する。システムは、ユーザの属性に応じて、空間浮遊映像として表示される操作方法のガイドの文字の大きさを変えるように制御する。
【0018】
なお、以下の実施の形態の説明において、空間に浮遊する映像、空中に表示される映像を、「空間浮遊映像」という用語で表現する場合がある。この用語の代わりに、「空中像」、「空間像」、「空中浮遊映像」、「表示映像の空間浮遊光学像」、「表示映像の空中浮遊光学像」などと表現しても構わない。実施の形態の説明で主に用いる「空間浮遊映像」の用語は、これらの用語の代表例として用いている。
【0019】
＜空間浮遊映像表示装置＞
本開示は、例えば、大面積な映像発光源からの映像光による映像を、ショーウィンドのガラスなどの、空間を仕切る透明部材を介して透過して、店舗空間の内部または外部に空間浮遊映像として表示可能な表示装置に関する。また、本開示は、かかる表示装置を複数用いて構成される大規模なデジタルサイネージシステムに関する。
本開示は、例えば、大面積な映像発光源からの映像光による映像を、ショーウィンドのガラスなどの、空間を仕切る透明部材を介して透過して、店舗空間の内部または外部に空間浮遊映像として表示可能な表示装置に関する。また、本開示は、かかる表示装置を複数用いて構成される大規模なデジタルサイネージシステムに関する。
【0020】
以下の実施の形態によれば、例えば、ショーウィンドのガラス面や光透過性の板材上に高解像度な映像を空間浮遊した状態で表示可能となる。この時、出射する映像光の発散角を小さく、すなわち鋭角とし、さらに特定の偏波に揃えることで、再帰反射部材（再帰性反射部材）または再帰反射板に対して正規の反射光だけを効率良く反射させることができる。このため、実施の形態によれば、光の利用効率が高く、従来の再帰反射方式での課題となっていた主空間浮遊像の他に発生するゴースト像を抑えることができ、鮮明な空間浮遊映像を得ることができる。
【0021】
また、本開示の光源を含む装置により、消費電力を大幅に低減可能な、新規で利用性に優れた空間浮遊映像表示装置を提供できる。また、本開示の技術によれば、例えば、車両のフロントガラスやリアガラスやサイドガラスを含むシールドガラスを介して、車両外部において視認可能である、いわゆる、一方向性の空間浮遊映像の表示が可能な車両用空間浮遊映像表示装置を提供できる。
【0022】
一方、従来の空間浮遊映像表示装置は、高解像度なカラー表示映像源として有機ＥＬパネルや液晶表示パネル（液晶パネルなどと記載する場合がある）を、再帰反射部材と組み合わせる。従来技術による空間浮遊映像表示装置では、映像光が広角で拡散する。そのため、図３（Ｂ）に示す多面体で構成された第一の実施例での再帰反射部材２を用いる場合、再帰反射部材２で正規に反射する反射光（それによる正規な空間浮遊映像）の他に、図３（Ｃ）に示す再帰反射部材２（再帰反射部２ａ）に斜めから入射する映像光によって、ゴースト像が発生する。これにより、空間浮遊映像の画質が低下する。また、従来技術による空間浮遊映像表示装置では、正規な空間浮遊映像の他に、反射面の数に応じたゴースト像が複数発生する。このため、観視者以外の人にも、ゴースト像である同一空間浮遊映像を観視され、セキュリティ上の観点からも大きな課題があった。
【0023】
＜空間浮遊映像表示装置の第１の構成例＞
図１（Ａ）は、実施例の空間浮遊映像表示装置の使用形態の一例を示し、空間浮遊映像表示装置の全体構成の説明図を示す。図１（Ａ）で、例えば、店舗などにおいては、ガラスなどの透光性の部材（透明部材とも記載）であるショーウィンド（ウィンドガラスともいう）１０５により、空間が仕切られている。本空間浮遊映像表示装置によれば、かかる透明部材を透過して、空間浮遊映像を、店舗空間の外部に対して一方向に表示が可能である。
図１（Ａ）は、実施例の空間浮遊映像表示装置の使用形態の一例を示し、空間浮遊映像表示装置の全体構成の説明図を示す。図１（Ａ）で、例えば、店舗などにおいては、ガラスなどの透光性の部材（透明部材とも記載）であるショーウィンド（ウィンドガラスともいう）１０５により、空間が仕切られている。本空間浮遊映像表示装置によれば、かかる透明部材を透過して、空間浮遊映像を、店舗空間の外部に対して一方向に表示が可能である。
【0024】
具体的には、本システムによれば、映像表示装置１０から挟角な指向特性でかつ特定偏波の光が、映像光束として出射される。出射された映像光束は、再帰反射部材２に一旦入射し、再帰反射されて、ウィンドガラス１０５を透過して、店舗空間の外側に、実像である空間浮遊映像（空中像）３を形成する。図１（Ａ）では、透明部材（ここではウィンドガラス）１０５の内側の店舗内を奥行方向とし、ウィンドガラス１０５の外側（例えば歩道）が手前になるように示している。他方、ウィンドガラス１０５に特定偏波を反射する部材を設け、かかる部材によって映像光束を反射させて、店舗内の所望の位置に空中像を形成することもできる。
【0025】
図１（Ｂ）は、映像表示装置１０の内部構成を示す。映像表示装置１０は、空中像の原画像を表示する映像表示部１１０２と、入力された映像をパネルの解像度に合わせて変換する映像制御部１１６０と、映像音声信号を受信・入力する映像・音声信号受信部１１３０とを含む。
【0026】
このうち、映像・音声信号受信部１１３０は、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）などの入力インタフェースを通じての有線での入力信号への対応と、Ｗｉ－Ｆｉ（Wireless Fidelity）（登録商標）などの無線入力信号への対応を行う役割を担う。また、映像・音声信号受信部１１３０は、映像受信・表示装置として単独で機能することもできる。さらに、映像・音声信号受信部１１３０は、タブレット端末、スマートフォンなどからの映像・音声情報を表示・出力することもできる。さらにまた、映像・音声信号受信部１１３０は、必要に応じてスティックＰＣなどのプロセッサ（演算処理装置）を接続することもでき、この場合、映像信号・音声信号受信部全体として、計算処理や映像解析処理などの能力を持たせることもできる。
【0027】
［空間浮遊映像表示装置の機能ブロック］
図２は、空間浮遊映像表示装置１の機能ブロック図を示す。映像表示部１１０２は、映像信号に基づいて、映像表示部１１０２を透過する光を変調することで、映像を生成する。映像表示部１１０２は、表示パネル、または液晶パネル、または液晶表示パネルと称する場合がある。映像表示部１１０２は、例えば、透過型表示パネルを用いてもよく、場合によっては、映像信号に基づいてパネルに反射する光を変調する反射型表示パネルや、ＤＭＤパネル（ＤＭＤ:Digital Micromirror Device、登録商標）などを用いて構成されてもよい。
図２は、空間浮遊映像表示装置１の機能ブロック図を示す。映像表示部１１０２は、映像信号に基づいて、映像表示部１１０２を透過する光を変調することで、映像を生成する。映像表示部１１０２は、表示パネル、または液晶パネル、または液晶表示パネルと称する場合がある。映像表示部１１０２は、例えば、透過型表示パネルを用いてもよく、場合によっては、映像信号に基づいてパネルに反射する光を変調する反射型表示パネルや、ＤＭＤパネル（ＤＭＤ:Digital Micromirror Device、登録商標）などを用いて構成されてもよい。
【0028】
空間浮遊映像表示装置１は、図２に示すように、レンチキュラーレンズ１１０３を有している。レンチキュラーとは、シート状のレンチキュラーレンズを用いて、見る角度によって絵柄が変化したり、立体感が得られたりする印刷物のことである。レンチキュラーレンズは、その表面が、半円筒状（言い換えると、半楕円筒状。後述の図１４）を有するレンズの集合体であり、１つのレンズ（半円筒状レンズ）の下部には、多視点画像（または映像）の視点の数に相当する、異なる映像を表示する映像表示部１１０２が配置されている。本実施例では、レンチキュラーレンズ１１０３が、映像表示部１１０２の映像光出射側に配置されている。具体的には、レンチキュラーレンズ１１０３は、映像表示部１１０２の映像光出射側と所定距離を介して配置されている。また、空間浮遊映像表示装置１は、映像表示部１１０２から出射された映像光を、レンチキュラーレンズ１１０３を通して、多視点画像（または多視点映像）を表示し、利用者がその多視点画像（または多視点映像）を観察することができる。
【0029】
図２の構成によれば、利用者が、レンチキュラーレンズ１１０３を形成する半円筒状レンズが並んでいる方向（例えば、左右の方向）に移動することにより、利用者はそれぞれの位置から異なる画像（または映像）を見ることができる。従って、上記異なる画像（または映像）を、１つの被写体に対して、撮影方向が異なる撮影画像（または映像）とする。このことで、利用者は、レンチキュラーレンズを介して、運動視差を伴う多視点立体像として、映像表示部１１０２を構成する液晶パネル上に表示された画像（または映像）を視認することができる。
【0030】
再帰性反射部１１０１は、映像表示部１１０２により変調された光を再帰反射する。再帰性反射部１１０１からの反射光のうち、空間浮遊映像表示装置１の外部に出力された光が空間浮遊映像３を形成する。光源１１０５は、映像表示部１１０２用の光を発生する。光源１１０５は、例えばＬＥＤ光源、レーザ光源などの固体光源が用いられる。電源１１０６は、外部から入力されるＡＣ電流をＤＣ電流に変換し、光源１１０５に電力を供給する。さらに、電源１１０６は、その他各部にそれぞれ必要なＤＣ電流を供給する。
【0031】
導光体１１０４は、光源１１０５で発生した光を導いて映像表示部１１０２に照射する。導光体１１０４と光源１１０５との組み合わせを映像表示部１１０２のバックライトと称することもできる。導光体１１０４や光源１１０５の組み合わせは、様々な方式が考えられる。なお、図２に示すように、映像表示部１１０２と導光体１１０４と光源１１０５の３つの部品から構成される部分を、特に、映像表示装置１０と呼ぶ。
【0032】
空中操作検出センサ１３５１は、ユーザの手指による空間浮遊映像３の操作（空中操作とも記載）を検出するために、空間浮遊映像３の表示範囲と少なくとも一部に重畳する範囲、またはすべての表示範囲に重畳する範囲をセンシングするセンサである。空中操作検出センサ１３５１は、具体的なセンサ構成としては、赤外線などの非可視光、非可視光レーザ、超音波などを用いた距離センサや、これを複数組み合わせて２次元平面の座標を検出できる構成としたものでもよい。また、空中操作検出センサ１３５１は、後述するＴｏＦ（Time of Flight）方式のＬｉＤＡＲ（Light Detection and Ranging）として構成してもよい。
【0033】
空中操作検出部１３５０は、空中操作検出センサ１３５１が取得したセンシング信号を取得し、これに基づいて、ユーザの手指による空間浮遊映像３への接触の有無や、空間浮遊映像３における当該接触の位置の算出を行う。空中操作検出部１３５０は、ＦＰＧＡなどの回路で構成されてもよい。
【0034】
空中操作検出センサ１３５１および空中操作検出部１３５０（これらをセンシングシステムと記載する場合がある）は、空間浮遊映像表示装置１に内蔵する構成としてもよいが、空間浮遊映像表示装置１とは別体の外部に設けてもよい。別体に設ける場合は、有線または無線の通信接続路や映像信号伝送路を介して空間浮遊映像表示装置１に情報または信号を伝達できるように構成すればよい。空中操作検出センサ１３５１および空中操作検出部１３５０の両者を別体で設けてもよい。この場合は、空中操作検出機能の無い空間浮遊映像表示装置１を本体として、空中操作検出機能のみをオプションで追加できるシステムを構築可能である。また、空中操作検出センサ１３５１のみを別体とし、空中操作検出部１３５０を空間浮遊映像表示装置１に内蔵してもよい。空間浮遊映像表示装置１の設置位置に対して空中操作検出センサ１３５１をより自由に配置したい場合などは、空中操作検出センサ１３５１のみを別体とする構成に利点がある。
【0035】
撮像部１１８０は、イメージセンサを有する、いわゆるカメラであり、空間浮遊映像３の付近の空間、および／または、ユーザの顔、腕、指などを撮像する。撮像部１１８０は、用途に応じて、複数のカメラや、深度センサ付きカメラが用いられてもよい。撮像部１１８０は、空間浮遊映像表示装置１とは別体に設けてもよい。撮像部１１８０は、複数のカメラや深度センサ付きカメラを用いる場合には、ユーザによる空間浮遊映像３へのタッチ操作、言い換えると空間浮遊映像３の面に接触する空中操作、の検出について、空中操作検出部１３５０を補助してもよい。
【0036】
例えば、空中操作検出センサ１３５１が、空間浮遊映像３が属する平面を対象として、当該平面内への物体侵入センサとして構成された場合、当該平面内へ侵入していない物体（例えばユーザの指）がどのくらい当該平面に近いのか、空中操作検出センサ１３５１のみでは検出できない場合がある。このような場合には、撮像部１１８０における複数のカメラの撮像結果による深度算出情報や深度センサによる深度情報を用いることにより、当該空間浮遊映像３の平面内へ侵入していない物体（例えばユーザの指）と当該平面との距離を算出可能となる。この算出情報を、空間浮遊映像３における各種表示制御に用いることができる。
【0037】
あるいは、本システムは、空中操作検出センサ１３５１を用いずに、撮像部１１８０の撮像結果に基づいて、空中操作検出部１３５０がユーザによる空間浮遊映像３のタッチ操作（空中操作）を検出するように構成されてもよい。
【0038】
撮像部１１８０が空間浮遊映像３を操作するユーザの顔などを撮像し、撮像画像に基づいて、制御部１１１０がユーザの識別・特定処理、あるいはユーザの認証処理を行うように構成されてもよい。あるいは、空間浮遊映像３を操作するユーザの周辺や背後に他の人が立っていて、空間浮遊映像３に対するユーザの操作を覗き見ていないかなどを判別するために、空間浮遊映像３を操作するユーザの周辺を含めて撮像するように、撮像部１１８０が構成されてもよい。
【0039】
操作入力部１１０７は、操作ボタンやリモコン受光部であり、空間浮遊映像３に対する空中操作とは異なる、ユーザによる操作に関する信号を入力する。操作入力部１１０７は、空間浮遊映像３をタッチ操作する上述のユーザとは別に、空間浮遊映像表示装置１の管理者が、本システムを操作するために用いてもよい。
【0040】
映像信号入力部１１３１は、外部の映像出力装置を接続して映像データを入力する機能を有する。音声信号入力部１１３３は、外部の音声出力装置を接続して音声データを入力する機能を有する。一方、音声信号出力部１１４０は、音声信号入力部１１３３に入力された音声データに基づいた音声信号を出力する機能を有する。また、音声信号出力部１１４０は、予めストレージ部１１７０に記録されている、数字や文字列などの音声データ、その他の操作音やエラー警告音のデータに基づいた音声信号を出力してもよい。なお、映像信号入力部１１３１、音声信号入力部１１３３を合わせて、映像・音声信号入力部１１３０と呼ぶ。映像信号入力部１１３１と音声信号入力部１１３３はそれぞれの構成でもよいが、合わせて１つでも構わない。
【0041】
音声信号出力部１１４０は、スピーカまたは超指向性スピーカ３０に接続される。音声信号出力部１１４０は、通常の可聴帯域の音声を出力するスピーカに接続してもよいが、特に、秘匿性が高くセキュリティに配慮する必要がある場合には、ユーザ以外の他の人には聞き取ることができないように、超指向性スピーカに接続してもよい。超指向性スピーカとは、特定の限られた空間領域に存在する人の耳のみには可聴帯域の音声を聴取でき、その特定の空間領域の外に存在する人の耳にはその可聴帯域の音声を聴取できないという特性を有するスピーカである。
【0042】
超指向性スピーカ３０は、例えば、４０ｋＨｚ程度の超音波信号を発生できる超音波出力素子を平面上に複数個並べることで構成される。この時、使用する超音波出力素子の数が多いほど、超指向性スピーカによって得られる音声の音量は大きくなる。超指向性スピーカの原理を簡単に説明する。よく知られるように、超音波は可聴帯域の音声（例えば人の話し声）と比較して直進性が高い。従って、４０ｋＨｚの超音波信号をキャリア（搬送波）として、キャリアを可聴帯域の音声信号で変調（例えばＡＭ変調）することで、特定の限られた空間領域だけで音声が聞こえるようにすることが可能となる。
【0043】
例えば、撮像部１１８０として複数のカメラを用いることで、ユーザの顔や耳の位置を特定し、その特定の結果に応じて、超指向性スピーカ３０からの出力によって、ユーザの耳の近傍領域においてのみ音声が聞こえるようにすることができる。具体的には、超指向性スピーカ３０を構成する超音波出力素子に入力する超音波信号の位相（言い換えると遅延時間）を制御することで、特定の限られた空間領域だけで音声が聞こえるようにすることができる。また、複数の超音波出力素子を、平面上ではなく、例えば、凹面状の面に配置する構成によっても、特定の限られた空間領域だけで音声が聞こえるようにすることができる。
【0044】
不揮発性メモリ１１０８は、空間浮遊映像表示装置１で用いる各種データを格納する。不揮発性メモリ１１０８に格納されるデータには、空間浮遊映像３として表示される各種操作用のデータ、アイコンやボタンなどのユーザインタフェース映像情報、ユーザが操作するためのオブジェクトのデータやレイアウト情報なども含まれてもよい。メモリ１１０９は、空間浮遊映像３として表示する映像データや装置の制御用データを記憶する。
【0045】
制御部１１１０は、空間浮遊映像表示装置１のコントローラ、言い換えると制御装置に相当し、接続される各部の動作を制御する。制御部１１１０は、プロセッサなどのデバイスを備えている。制御部１１１０は、不揮発性メモリ１１０８やストレージ部１１７０からメモリ１１０９または内蔵メモリに読み出したプログラムに従った処理を実行する。これにより、各種の機能が実現される。制御部１１１０は、メモリ１１０９に格納されるプログラムと協働して、接続される各部から取得した情報に基づいた演算処理を行ってもよい。制御部１１１０は、空間浮遊映像表示装置１を構成する筐体内に、マイコンなどを用いて実装されてもよいし、筐体外に接続・実装されてもよい。
【0046】
通信部１１３２は、有線または無線の通信インタフェースを介して、外部機器や外部のサーバなどと通信を行う。通信部１１３２は、当該通信により、映像、画像、音声、各種データを送受信する。
【0047】
ストレージ部１１７０は、映像、画像、音声、各種データなどを記録する。例えば、製品出荷時に、予め、映像、画像、音声、各種データなどをストレージ部１１７０に記録しておいてもよい。通信部１１３２を介して外部機器や外部のサーバなどから取得した映像、画像、音声、各種データなどをストレージ部１１７０に記録してもよい。ストレージ部１１７０に記録された映像、画像、各種データなどは、映像表示部１１０２、映像表示装置１０、および再帰性反射部１１０１を介して、空間浮遊映像３として出力可能である。
【0048】
空間浮遊映像３にユーザインタフェース（後述の操作メニューや人物像を含む）として表示する、アイコン、ボタン、ユーザが操作するためのオブジェクトなどのデータや、人物像を構成するデータも、ストレージ部１１７０に記録する映像や画像のデータに含まれていてもよい。また、空間浮遊映像３にユーザインタフェースとして表示するアイコン、ボタン、オブジェクトなどの操作メニューや人物像のレイアウト情報や、操作メニューや人物像に関する各種メタデータなどの情報も、ストレージ部１１７０に記録する各種データに含まれていてもよい。また、空間浮遊映像３の人物像が音声出力するための音声データも、ストレージ部１１７０に記録されていてもよい。ストレージ部１１７０に記録されている音声データは、音声信号出力部１１４０を介して、スピーカまたは超指向性スピーカ３０から音声信号として出力すればよい。
【0049】
制御部１１１０、または、映像制御部１１６０や音声信号出力部１１４０は、ストレージ部１１７０や不揮発性メモリ１１０８などに記憶されている、操作メニューや人物像を構成するための各種データに基づいて、操作メニューや人物像を表示・出力するための映像データや音声データを適宜に作成してもよい。
【0050】
映像制御部１１６０は、映像表示部１１０２に入力する映像信号についての各種制御を行う。映像制御部１１６０は、例えば、メモリ１１０９に格納する映像と、映像信号入力部１１３１で入力した映像などのうち、どの映像を映像表示部１１０２に入力する映像とするかなどの映像切り替え制御を行ってもよい。あるいは、映像制御部１１６０は、メモリ１１０９に格納する映像と、映像信号入力部１１３１で入力した映像とを重畳し、映像表示部１１０２に入力する合成映像を生成する制御を行ってもよい。また、映像制御部１１６０は、映像信号入力部１１３１で入力した映像データやメモリ１１０９に格納する映像などに対して画像処理の制御を行ってもよい。画像処理としては、例えば、画像の拡大、縮小、変形などを行うスケーリング処理や、輝度を変更するブライト調整処理や、画像のコントラストカーブを変更するコントラスト調整処理や、画像を光の成分に分解して成分ごとの重み付けを変更するレティネックス処理などがある。
【0051】
また、映像制御部１１６０は、映像表示部１１０２に入力する映像に対して、ユーザの空中操作を補助するための特殊効果映像処理などを行ってもよい。特殊効果映像処理は、空中操作検出部１３５０によるユーザ操作の検出結果や、撮像部１１８０によるユーザの撮像結果に基づいて制御されればよい。
【0052】
上述のように、空間浮遊映像表示装置１には、様々な機能を搭載可能である。しかしながら、空間浮遊映像表示装置１は、必ずしも上述した構成のすべてを有する必要は無い。空間浮遊映像表示装置１は、少なくとも空間浮遊映像３を生成する機能があれば、どのような構成でもよい。
【0053】
［空間浮遊映像の形成に関する第１方式］
図３は、実施例の空間浮遊映像表示装置における主要部構成を示し、また、空間浮遊映像３の形成、および再帰反射部材２の構成に関する一例（第１方式とする）を示す。
図３は、実施例の空間浮遊映像表示装置における主要部構成を示し、また、空間浮遊映像３の形成、および再帰反射部材２の構成に関する一例（第１方式とする）を示す。
【0054】
図３（Ａ）に示すように、この空間浮遊映像表示装置は、ガラスなどの透光性を有する透過性プレートである透明部材１００に対し、斜め方向に、特定偏波の映像光を挟角に発散させる映像表示装置１０を備える。映像表示装置１０は、液晶表示パネル１１と、挟角な拡散特性を有する特定偏波の光を生成する光源装置１３とを備えている。
【0055】
映像表示装置１０から出射された特定偏波の映像光は、透明部材１００に設けられた、特定偏波の映像光を選択的に反射する膜を有する偏光分離部材１０１で反射され、反射された光が、再帰反射部材２に入射する。図３中では、シート状に形成された偏光分離部材１０１が、透明部材１００に粘着されている。
【0056】
透明部材１００に対し、他方の斜め方向に、再帰反射部材２が設けられている。再帰反射部材２の映像光入射面には、λ／４板２１（言い換えると四分の一波長板）が設けられている。映像光は、再帰反射部材２への入射の際と出射の際との計２回、λ／４板２１を通過させられることで、特定偏波（一方の偏波）から他方の偏波へ偏光変換される。
【0057】
ここで、特定偏波の映像光を選択的に反射する偏光分離部材１０１は、偏光変換後の他方の偏波の偏光については透過する性質を有する。よって、偏光変換後の他方の偏波の映像光は、偏光分離部材１０１を透過する。偏光分離部材１０１を透過した映像光は、図示のように、透明部材１００の外側に、実像である空間浮遊映像３を形成する。
【0058】
なお、空中浮遊映像３を形成する光は、再帰反射部材２から空中浮遊映像３の光学像へ収束する光線の集合であり、これらの光線は、空中浮遊映像３の光学像を通過後も直進する。よって、空中浮遊映像３は、一般的なプロジェクタなどでスクリーン上に形成される拡散映像光とは異なり、高い指向性を有する映像である。
【0059】
よって、図３の構成では、矢印Ａの方向からユーザが視認する場合には空中浮遊映像３は明るい映像として視認されるが、例えば矢印Ｂの方向から他の人物が視認する場合には、空中浮遊映像３は映像として一切視認できない。このような空中浮遊映像３の特性は、高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示するシステムなどに採用する場合に、非常に好適である。
【0060】
なお、再帰反射部材２の性能によっては、反射後の映像光の偏光軸が不揃いになることがある。この場合、偏光軸が不揃いになった一部の映像光は、上述した偏光分離部材１０１で反射されて映像表示装置１０の方に戻る。この一部の映像光は、映像表示装置１０を構成する液晶表示パネル１１の映像表示面で再反射し、ゴースト像を発生させる。これにより、空間浮遊像３の画質の低下を引き起こす要因になり得る。
【0061】
そこで、本実施例では、映像表示装置１０の映像表示面に吸収型偏光板１２が設けられている。吸収型偏光板１２は、映像表示装置１０から出射する映像光を当該吸収型偏光板１２にて透過させ、偏光分離部材１０１から戻ってくる反射光を当該吸収型偏光板１２で吸収させることで、再反射を抑制できる。従って、吸収型偏光板１２を用いる本実施例によれば、空間浮遊映像３のゴースト像による画質低下を防止または抑制できる。
【0062】
上述した偏光分離部材１０１は、例えば反射型偏光板や特定偏波を反射させる金属多層膜などで形成すればよい。
【0063】
図３（Ｂ）は、第１方式で用いる再帰反射部材２の構成例を示す。図３（Ｂ）には、代表的な再帰反射部材２として、今回の検討に用いた日本カーバイド工業株式会社製の再帰反射部材の表面形状を示す。この再帰反射部材２は、表面において、規則的に配列された６角柱の再帰反射部（再帰反射素子）２ａを有する。６角柱の内部に入射した光線は、６角柱の壁面と底面で反射され、再帰反射光として、入射光に対応した方向に出射し、映像表示装置１０に表示した映像に基づいて実像である空間浮遊映像３を表示する。
【0064】
この空間浮遊映像３の解像度は、液晶表示パネル１１の解像度の他に、図３（Ｂ）で示す再帰反射部材２の再帰反射部２ａの外形ＤとピッチＰに大きく依存する。例えば、７インチのＷＵＸＧＡ（１９２０×１２００画素）の液晶表示パネル１１を用いる場合には、１画素（１トリプレット）が約８０μｍであっても、例えば再帰反射部２ａの直径Ｄが２４０μｍでピッチＰが３００μｍであれば、空間浮遊映像３の１画素は３００μｍ相当となる。このため、空間浮遊映像３の実効的な解像度は、１／３程度に低下する。そこで、空間浮遊映像３の解像度を映像表示装置１０の解像度と同等にするためには、再帰反射部２ａの直径ＤとピッチＰを液晶表示パネル１１の１画素に近づけることが望まれる。他方、再帰反射部材２ａと液晶表示パネル１１の画素によるモアレの発生を抑えるためには、それぞれのピッチ比を１画素の整数倍から外して設計するとよい。
【0065】
また、形状は、再帰反射部２ａのいずれの一辺も液晶表示パネル１１の１画素のいずれの一辺と重ならないように配置するとよい。
【0066】
一方、再帰反射部材２を低価格で製造するためには、ロールプレス法を用いて成形するとよい。この方法は、具体的には、再帰反射部２ａを整列させフィルム上に賦形する方法である。この方法は、賦形する形状の逆形状をロール表面に形成し、固定用のベース材の上に紫外線硬化樹脂を塗布し、ロール間を通過させることで、必要な形状を賦形し、紫外線を照射して硬化させ、所望形状の再帰反射部材２を得る。
【0067】
［空間浮遊映像の形成に関する第２方式］
次に、図４は、本実施例の空間浮遊映像表示装置における空間浮遊映像３の形成、および再帰反射部材の構成に関する他の一例（第２方式とする）を示す。図４（Ａ）は、第２方式での再帰反射部材３３０を用いた空間浮遊映像３の形成の概要を示す。再帰反射部材３３０に対し、一方の空間（本例ではＺ方向で下側の空間）内にある物体Ｐ（対応する点Ｐ）からの光は、再帰反射部材３３０に入射し、再帰反射されて、他方の空間（本例ではＺ方向で上側の空間）内に、空間浮遊映像３３１（対応する点Ｑ）を形成する。
次に、図４は、本実施例の空間浮遊映像表示装置における空間浮遊映像３の形成、および再帰反射部材の構成に関する他の一例（第２方式とする）を示す。図４（Ａ）は、第２方式での再帰反射部材３３０を用いた空間浮遊映像３の形成の概要を示す。再帰反射部材３３０に対し、一方の空間（本例ではＺ方向で下側の空間）内にある物体Ｐ（対応する点Ｐ）からの光は、再帰反射部材３３０に入射し、再帰反射されて、他方の空間（本例ではＺ方向で上側の空間）内に、空間浮遊映像３３１（対応する点Ｑ）を形成する。
【0068】
図４（Ｂ）は、代表的な再帰反射部材３３０として、今回の検討に用いた株式会社アスカネット製の再帰反射部材の動作原理を説明するための表面形状を示す。再帰反射部材３３０は、表面（図示のＸ－Ｙ面）において、規則的に配列された４面の構造体（言い換えると四面体）３３０Ａを有する。側壁３３０Ｂ間に、複数の構造体３３０Ａが配列されている。４面の構造体３３０Ａは、例えばＺ方向に延在する四角柱形状を有するマイクロミラーである。例えば物体Ｐからの光（物体光とも記載）が４面の構造体３３０Ａの内部に入射する。４面の構造体３３０Ａの内部に入射した光線は、４面の構造体３３０Ａの壁面のうち、２つの面（例えば反射面ＲＳ１と反射面ＲＳ２）で反射される。反射された光線（反射面ＲＳ１から上側へ出射される光線と、反射面ＲＳ２から上側へ出射される光線との両方）を、反射光Ｒ０として示す。反射光Ｒ０は、再帰反射光として、入射光に対応した方向に出射し、図４（Ａ）のように、物体Ｐに基づいた実像である空間浮遊映像３３１を形成・表示する。
【0069】
この空間浮遊映像３３１の解像度も、前述した図３の第１方式の再帰反射部材２と同様に、再帰反射部材３３０の再帰反射部（４面の構造体３３０Ａ）の外形（直径）ＤＳとピッチＰＴに大きく依存する。例えば、７インチのＷＵＸＧＡ（１９２０×１２００画素）の液晶表示パネルを用いる場合には、１画素（１トリプレット）が約８０μｍであっても、例えば再帰反射部の外形（直径）ＤＳが１２０μｍでピッチＰＴが１５０μｍであれば、空間浮遊像３３１の１画素は１５０μｍ相当となる。このため、空間浮遊映像３３１の実効的な解像度は、１／２程度に低下する。
【0070】
そこで、空間浮遊映像３３１の解像度を映像表示装置１０の解像度と同等にするためには、再帰反射部（構造体３３０Ａ）の直径ＤＳとピッチＰＴを、液晶表示パネルの１画素に近づけることが望まれる。他方、再帰反射部材３３０と液晶表示パネルの画素によるモアレの発生を抑えるためには、前述のようにそれぞれのピッチ比を１画素の整数倍から外して設計するとよい。また、形状は、再帰反射部（構造体３３０Ａ）のいずれの一辺も液晶表示パネルの１画素のいずれの一辺と重ならないように配置するとよい。
【0071】
なお、空間浮遊映像３３１を形成する光は、再帰反射部材３３０から空中浮遊映像３３１の光学像へ収束する光線の集合であり、これらの光線は、空中浮遊映像３３１の光学像を通過後も直進する。よって、空間浮遊映像３３１は、一般的なプロジェクタなどでスクリーン上に形成される拡散映像光とは異なり、高い指向性を有する映像となる。
【0072】
図４の構成では、矢印Ａの方向からユーザが視認する場合には、空間浮遊映像３３１は、明るい映像として視認されるが、例えば矢印Ｂの方向から他の人物が視認する場合には、空間浮遊映像３３１は映像として一切視認できない。このような空間浮遊映像３３１の特性は、前述の第１方式の再帰反射部材２を用いた空中浮遊映像と同様に、高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示するシステムなどに採用する場合に、非常に好適である。
【0073】
なお、第２方式の再帰反射部材３３０においては、物体Ｐからの光は、図４（Ｂ）に示すように、再帰反射部材３３０に対して一方の側（Ｚ方向の下側）から入射し、再帰反射部材３３０を構成する４面の壁面に設けられた２つの反射面（ＲＳ１，ＲＳ２）で反射し、反射光Ｒ０として、他方の側（Ｚ方向の上側）に、点Ｑの位置に、空間浮遊映像３３１を結像する。この時、２つの反射面（ＲＳ１，ＲＳ２）では、反射光Ｒ０とは反射方向が異なる光として異常光Ｒ１，Ｒ２が発生する。２つの反射面（ＲＳ１，ＲＳ２）で発生した異常光Ｒ１，Ｒ２により、図４（Ａ）に示すようなゴースト像３３２，３３３を発生させる。このため、ゴースト像３３２，３３３が空間浮遊映像３３１の画質の低下を引き起こす要因となり得る。
【0074】
上述したように、第１方式での再帰反射部材２は、反射面の数に応じてゴースト像が発生する。それに対し、第２方式での再帰反射部材３３０は、物体光の入射角度により特定の２方向にのみゴースト像が発生する。よって、第２方式での再帰反射部材３３０の方が、ゴースト像の影響が少なく、高画質な空間映像表示が可能となる。そのため、以下に示す空間浮遊映像表示装置としては、第２方式の再帰反射部材３３０を適用する場合に絞って説明する。
【0075】
［ゴースト像を低減する技術手段］
ゴースト像を低減した高画質な空間浮遊映像を形成できる空間映像表示装置などを実現するためには、映像表示素子としての液晶表示パネルからの映像光の発散角を制御して、所望の方向に曲げるために、液晶表示パネルの出射面に映像光制御シートを設けるとよい。さらに、再帰反射部材３３０の光線出射面、または光線入射面、またはそれらの両面に、映像光制御シートを設けて、ゴースト像を発生させる要因となる異常光Ｒ１，Ｒ２（図４（Ｂ））を吸収させるとよい。
ゴースト像を低減した高画質な空間浮遊映像を形成できる空間映像表示装置などを実現するためには、映像表示素子としての液晶表示パネルからの映像光の発散角を制御して、所望の方向に曲げるために、液晶表示パネルの出射面に映像光制御シートを設けるとよい。さらに、再帰反射部材３３０の光線出射面、または光線入射面、またはそれらの両面に、映像光制御シートを設けて、ゴースト像を発生させる要因となる異常光Ｒ１，Ｒ２（図４（Ｂ））を吸収させるとよい。
【0076】
図５には、上記映像光制御シートを空間浮遊映像表示装置に適用する具体的な方法および構成例を示す。図５では、映像光制御シート３３４が、映像表示素子である液晶表示パネル３３５の出射面に設けられる。図５では、液晶表示パネル３３５の出射面を、図示のＸ軸とＹ軸とが為す平面（Ｘ－Ｙ面）として示している。映像光制御シート３３４は、主面（Ｘ－Ｙ面）において、透過部と光吸収部とを有している。この場合に、液晶表示パネル３３５の画素と映像光制御シート３３４の透過部および光吸収部とのピッチによる干渉によってモアレが発生し得る。このモアレを低減するためには、以下に示す２つの方法が有効である。
【0077】
（１）第１の方法としては、映像光制御シート３３４の透過部と光吸収部により生じる縦縞（図示の斜め線）を、液晶表示パネル３３５の画素の配列（Ｘ軸およびＹ軸）に対して、所定の角度（傾き）θ０だけ傾けて配置する。
【0078】
（２）第２の方法としては、液晶表示パネル３３５の画素寸法をＡ、映像光制御シート３３４の縦縞のピッチをＢとした場合に、これらの比率（Ｂ／Ａ）を、整数倍から外した値に選択する。液晶表示パネル３３５の１画素は、ＲＧＢの３色のサブ画素が並列して成り、一般的には正方形であるため、上述したモアレの発生を画面全体で抑えることはできない。このため、（１）の第１の方法に示した傾きθ０は、空間浮遊映像を表示させない箇所にモアレの発生位置を意図的にずらして配置できるように、５度から２５度の範囲内で最適化すればよい。
【0079】
上記モアレを低減するために、液晶表示パネルと映像光制御シート３３４を題材に述べたが、再帰反射部材３３０に映像光制御シート３３４を設ける場合に再帰反射部材３３０と映像光制御シート３３４との間に発生するモアレについても、同様の方法・構成が適用できる。再帰反射部材３３０と映像光制御シート３３４は、両者が線状の構造体であるため、映像光制御シート３３４を、再帰反射部材３３０のＸ軸およびＹ軸に着目して最適に傾ければよい。これにより、目視でも視認できる、波長が長く周波数が低い大柄なモアレを低減できる。
【0080】
図６（Ａ）は、液晶表示パネル３３５の映像光出射面３３５１に映像光制御シート３３４が配置された構成を有する映像表示装置１０の垂直断面図を示す。映像光制御シート３３４は、主面において、光透過部３３６と光吸収部３３７とが交互に配置して構成され、粘着層３３８により、液晶表示パネル３３５の映像光出射面３３５１に粘着固定されている。
【0081】
また、前述したように、映像表示装置１０として７インチのＷＵＸＧＡ（１９２０×１２００画素）の液晶表示パネルを用いる場合には、１画素（１トリプレット）（図中のＡで示す）が約８０μｍであっても、以下の構成で、空間浮遊映像３３１の両側に発生する図４（Ａ）のゴースト像３３２，３３３を軽減できる。例えば、映像光制御シート３３４のピッチＢとして、光透過部３３６の距離ｄ２が３００μｍと、光吸収部３３７の距離ｄ１が４０μｍとからなるピッチＢを３４０μｍとする。この場合、映像光制御シート３３４により、十分な透過特性と、異常光の発生原因となる映像表示装置１０からの映像光の拡散特性とを制御することで、ゴースト像を軽減できる。この場合、映像光制御シート３３４の厚さは、ピッチＢの２／３以上とすると、ゴースト低減効果が大幅に向上する。
【0082】
図６（Ｂ）は、再帰反射部材３３０（図４）の映像光出射面に映像光制御シート３３４が配置された構成の垂直断面図を示す。映像光制御シート３３４は、光透過部３３６と光吸収部３３７とが交互に配置されて構成され、再帰反射部材３３０に対し、再帰反射光３３４１の出射方向に合わせて所定の傾斜角θ１を持って傾斜配置されている。この結果、映像光制御シート３３４によって、前述した再帰反射に伴って発生する異常光Ｒ１，Ｒ２（図４（Ｂ））を吸収し、他方、正常反射光は、再帰反射光３３４１として、損失無く透過させることができる。
【0083】
再帰反射部材３３０は、前述の４面の構造体３３０Ａ（図４）による再帰反射部に対応する空間３３０１が配列されている。再帰反射部に対応する空間３３０１は、側壁３３０Ｂの面によって区切られている。空間３３０１内は例えば反射面Ｒ１や反射面Ｒ２を有する。再帰反射部材３３０に対し、例えば下側から入射した光ａ１は、例えば空間３３０１の反射面ＲＳ１で反射され、反射された光ａ２はさらに例えば反射面ＲＳ２で反射されて、再帰反射部材３３０の上側に出射する。その出射した光は、映像光制御シート３３４に入射されて、再帰反射光３３４１として出射される。
【0084】
７インチのＷＵＸＧＡ（１９２０×１２００画素）の液晶表示パネルを用いる場合には、１画素（１トリプレット）が約８０μｍであっても、図４（Ａ）のような構成で、空間浮遊映像３３１の両側に発生するゴースト像３３２，３３３を軽減できる。図６（Ｂ）に示すように、例えば、映像光制御シート３３４のピッチＢとして、再帰反射部材３３０の光透過部３３６の距離ｄ２が４００μｍと、光吸収部３３７の距離ｄ１が２０μｍとからなるピッチＢが４２０μｍとする。この場合、映像光制御シート３３４により、十分な透過特性と、再帰反射部材３３０での異常光の発生原因となる映像表示装置１０からの映像光の拡散特性を制御し、ゴースト像を軽減できる。
【0085】
上述した映像光制御シート３３４は、他方、外界からの外光が空間浮遊映像表示装置内に侵入する妨げにもなるため、構成部品の信頼性向上にも繋がる。この映像光制御シート３３４としては、例えば信越ポリマー（株）の視野角制御フィルム（ＶＣＦ）が適している。そのＶＣＦの構造は、透明シリコンと黒色シリコンとが交互に配置され、光入出射面に合成樹脂が配置されて、サンドウィッチ構造となっている。そのため、このＶＣＦを本実施例の映像光制御シート３３４として適用した場合に、上述の効果が期待できる。
【0086】
［空間浮遊映像に対する操作をセンシングする技術］
ユーザ（利用者、操作者、観視者などと記載する場合もある）は、空間浮遊映像表示装置１による空間浮遊映像３（図２など）を介して、空間浮遊映像表示装置１と双方向で接続される。言い換えると、ユーザは、空間浮遊映像３を見て操作することで、空間浮遊映像表示装置１のアプリケーション、例えば、空間浮遊映像としてテンキー等を表示した電話機としての機能などを利用する。そのために、ユーザが空間浮遊映像３を疑似的に操作してその操作をセンシングするためのセンシング技術が必要である。このセンシング技術の例について、以下に具体例を挙げて説明する。ここでいう「センシング技術」とは、図２を用いて説明した空中操作検出センサ１３５１および空中操作検出部１３５０を含み、特に、３次元空間におけるユーザの操作（言い換えると空中操作）を検出するための技術である。空中操作検出センサ１３５１および空中操作検出部１３５０を、センシングシステムと記載する場合がある。
ユーザ（利用者、操作者、観視者などと記載する場合もある）は、空間浮遊映像表示装置１による空間浮遊映像３（図２など）を介して、空間浮遊映像表示装置１と双方向で接続される。言い換えると、ユーザは、空間浮遊映像３を見て操作することで、空間浮遊映像表示装置１のアプリケーション、例えば、空間浮遊映像としてテンキー等を表示した電話機としての機能などを利用する。そのために、ユーザが空間浮遊映像３を疑似的に操作してその操作をセンシングするためのセンシング技術が必要である。このセンシング技術の例について、以下に具体例を挙げて説明する。ここでいう「センシング技術」とは、図２を用いて説明した空中操作検出センサ１３５１および空中操作検出部１３５０を含み、特に、３次元空間におけるユーザの操作（言い換えると空中操作）を検出するための技術である。空中操作検出センサ１３５１および空中操作検出部１３５０を、センシングシステムと記載する場合がある。
【0087】
図７（Ａ）は、第１のセンシング技術を説明するための原理図を示す。図７（Ａ）に示すように、空間浮遊映像ＦＩに対するセンシングエリアａ０、ａ１、ａ２、ａ３は、それぞれ複数のエリア（言い換えると領域）に分割される。本実施例では、センシングエリアａ０、ａ１、ａ２、ａ３は、縦横で３×４＝１２のエリアに１２分割されている。図７（Ａ）では、空間浮遊映像ＦＩの面をｘ－ｙ面として示しており、面に対する前後方向をｚ方向で示している。例えば、図示のエリアＡ３０１は、センシング面ａ３のうちの左上の１つのエリアである。
【0088】
第１のセンシング技術では、空間浮遊映像ＦＩのそれぞれのエリアに対応したＴＯＦ（Time of Flight）システムを内蔵した第１の測距装置３４０が設けられる。第１の測距装置３４０は、図２での空中操作検出センサ１３５１の代わりに設けられる。第１の測距装置３４０の発光部から、システムの信号に同期させて、光源である近赤外線発光のＬＥＤ（Light Emitting Diode）を発光させる。ＬＥＤの光線出射側には、発散角を制御するための光学素子が設けられ、受光素子としてピコ秒の時間分解能を持つ高感度なアバランシェダイオード（ＡＢＤ）を一対として、１２エリアに対応するように、縦４列、横３行に整列配置される。システムからの信号に同期させて、光源であるＬＥＤが発光し、その光が、測距すべき対象物（ここではユーザの手指ＵＨの先端）に反射して、受光部に戻るまでの時間だけ、位相のずれ（位相シフト）、すなわち、発光タイミングと受光タイミングの時間的なずれ、より具体的には、後述する、図９中のΔｔ０～Δｔ１１が生じる。
【0089】
図９（Ｂ）に示すセンシングシステムの演算ユニットは、システムからの信号と、第１の測距装置３４０の受光部であるアバランシェダイオードによって生成される信号とを受け取り、これらの信号から、位相シフトを計算することで、対象物までの距離を算出する。エリアごとに対応付けられたＴＯＦシステム（ＴＯＦ１～ＴＯＦ１２）ごとに、距離が算出される。図７（Ａ）で、空間浮遊映像ＦＩの面に対し、ｚ方向で、対象物（手指ＵＨ）に近い側には、測距装置３４０の計測階層として、対象物に近い順に、センシング面ａ３，ａ２，ａ１（第１センシング面ａ３、第２センシング面ａ２、第３センシング面ａ１とも記載）を示し、さらに空間浮遊映像ＦＩから離れる側に、計測階層として、センシング面ａ０を示す。距離Ｌ１はセンシング面ａ０までの距離、距離Ｌ２はセンシング面ａ１までの距離、距離Ｌ３はセンシング面ａ２までの距離、距離Ｌ４はセンシング面ａ３までの距離を示す。
【0090】
次に、センシングシステムは、対象物（手指ＵＨ）の移動の方向については、それぞれの計測階層（センシング面ａ３～ａ１）において、１２のエリアのどのエリアを通過したかを認識し、それぞれの計測階層の移動時間を前述した方法で算出することで、システムとして認識できる。
【0091】
図９（Ａ）には、１２の測定エリアごとのＬＥＤ光源の発光のタイミングと受光素子の受光のタイミングを示す。ＳＵ１～ＳＵ１２は、各エリアおよびＴＯＦに対応付けられたセンシングユニットごとの発光タイミングと受光タイミングを示す。図９（Ａ）に示すように、センシングユニットＳＵ１においては、発光タイミングと受光タイミングとの時間差はΔｔ０であり、センシングユニットＳＵ２においては、発光タイミングと受光タイミングとの時間差はΔｔ１であり、センシングユニットＳＵ１２においては、発光タイミングと受光タイミングとの時間差はΔｔ１１であることがわかる。ここで、センシングシステムは、ＬＥＤの発光のタイミングを１２の測定エリアごとに遅延させることで、個々のデータを画一化させている。
【0092】
実際に、システムに双方向で接続されるために、ユーザが、意思によって、空間浮遊映像ＦＩに向けて手指ＵＨを伸ばしたとする。その場合、センシングシステムは、空中浮遊映像ＦＩから最も遠いセンシング面ａ３において例えばエリアＡ３０１で感知した第１感知信号Ｓ１と、例えばセンシング面ａ２の特定エリアで感知した第２の感知信号Ｓ２と、例えば第３センシング面ａ１の特定エリアで感知した第３の感知信号Ｓ３とを得る。センシングシステムは、これらの感知信号（Ｓ１～Ｓ３）によって、手指ＵＨの移動方向とそれぞれのセンシング面を横切った時間差から、空間浮遊映像ＦＩとの接点位置を計算処理して求める。
【0093】
さらに高精度な位置情報を取得するため、空間浮遊映像ＦＩから奥に離れた位置のセンシング面ａ０が設定される。センシングシステムは、センシング面ａ０での感知に基づいて、空間浮遊映像ＦＩを手指ＵＨが通過したことを終了信号として検知するとともに、その感知の位置座標と、前述した２つの感知信号とから、空間浮遊映像ＦＩへの接触点を３次元座標として求める。
【0094】
また、図７（Ｂ）は、ユーザの手指ＵＨ（特に指先端）によって空間浮遊映像ＦＩの一部を選択する動作と、ユーザの手指ＵＨが空間浮遊映像ＦＩの一部から離れる動作とを示す。図７（Ｂ）に示すように、第１のセンシング技術では、ユーザが空間浮遊映像ＦＩの所望の位置座標に接触した後、手指ＵＨを戻した場合には、以下のようになる。すなわち、センシングシステムは、第１センシング面ａ１で感知した第１の感知信号Ｓ１、第２センシング面ａ２で感知した第２の感知信号Ｓ２、第３センシング面ａ３で感知した第３の感知信号Ｓ３を、順次、センシングシステムの演算ユニットに伝達し、計算処理する。これにより、空間浮遊映像ＦＩの特定座標からユーザの手指ＵＨが離れたことが、システム上で認識される。
【0095】
次に、空間浮遊映像を疑似的に操作するためのさらに高精度なセンシング技術について以下に説明する。
【0096】
図８（Ａ）は、第２のセンシング技術を説明するための原理図を示す。第２のセンシング技術は、図７（Ａ）に示した第１のセンシング技術との違いとしては、第１の測距装置３４０に加え、第２の測距装置３４１が配置併設され、より高精度なセンシングを実現する。第２のセンシング技術では、第２の測距装置３４１（特にＣＭＯＳセンサ）を第２センシングシステムとして、第１の測距装置３４０による第１センシングシステムと組み合わせて用いる。図８（Ａ）に示すように、第２の測距装置３４１は、第１の測距装置３４０と同様の範囲（センシング面ａ１，ａ２，ａ３，ａ０）を対象としてセンシングする。
【0097】
第１の測距装置３４０は、上述したように、空間浮遊映像ＦＩにおける例えば１２個に分割された複数のエリアの各エリアに対応したＴＯＦシステムを内蔵している（図９（Ｂ）でのセンシングシステムを第１センシングシステムとする）。他方、第２の測距装置３４１は、２次元の画像センサ、例えばセンシングカメラ用途の１／４インチＣＭＯＳセンサを適用する。このＣＭＯＳセンサの縦横比は、３:４が一般的である。このため、本実施例では、そのＣＭＯＳセンサの縦横比に合わせて、第１の測距装置３４０のＴＯＦシステムについても、センシングエリアを上述のように縦３分割、横４分割として合計１２エリアとしている。
【0098】
また、ＣＭＯＳセンサの解像度は、１００万画素程度でも十分な分解能が得られるが、通常のカメラシステムとは異なり、ＲＧＢの色分離フィルターを設ける必要が無い。そのため、ＣＭＯＳセンサは、同一画素数では小型化や高感度化が実現できるばかりでなく、近赤外光に対する感度が高い。そのため、第２のセンシング技術では、第１の測距装置３４０のＴＯＦシステムの光源光によって測距すべき対象物（手指ＵＨの先端）がエリアごとに決められたタイミングで照明されるので、検知精度が大幅に向上する。詳解は省くが、図９（Ｂ）には、以上述べたシステムを機能ブロック図として示している。
【0099】
図８（Ｂ）は、第１の測距装置３４０によるセンシング面ａ１，ａ２，ａ３と、それらに対応して設けられた、第２の測距装置３４１によるセンシング面ｂ１，ｂ２，ｂ３と、を示す。そして、図８（Ｂ）は、それらのセンシング面に対する、手指ＵＨによる、空間浮遊映像ＦＩの一部を選択する動作や、一部から離れる動作を示す。
【0100】
図８（Ｂ）に示すように、第２のセンシング技術を用いた空間浮遊映像表示装置においては、ユーザが意思によって空間浮遊映像ＦＩに向けて手指ＵＨを伸ばした場合、以下のようになる。この場合、上述した第１の測距装置３４０による３次元情報の他に、第２の測距装置３４１による３次元情報が得られる。空中浮遊映像ＦＩから最も遠い第１の測距装置３４０のセンシング面ａ３に対応した第２の測距装置３４１のセンシング面ｂ３の平面分解能は、使用しているＣＭＯＳセンサの解像度に合わせて高精度化できる。同様に、センシング面ａ２にはセンシング面ｂ２が対応し、センシング面ａ１にはセンシング面ｂ１が対応している。これにより、平面方向の分解能を大幅に向上させたセンシングシステムが実現できる。
【0101】
この時、対象物（ユーザの手指ＵＨの先端）の移動方向については、第１の測距装置３４０および第２の測距装置３４１のそれぞれのセンシング面を横切った時間差から、空間浮遊映像ＦＩとの接点位置が、計算処理で求められる。さらに高精度な位置情報を取得するため、空間浮遊映像ＦＩから奥側に離れたセンシング面ａ０が設定される。センシングシステムは、空間浮遊映像ＦＩを手指ＵＨが通過したことを終了信号として検知するとともに、そのセンシング面ａ０での位置座標と前述した２つの感知信号から、空間浮遊映像ＦＩへの接触点を、より精細度の高い３次元座標として算出できる。
【0102】
また、ＣＭＯＳセンサのフレームレートを１／２０秒から１／３０秒、１／１２０秒と高速化した場合には、平面方向の検知精度に加え、単位時間当たりに取り込む平面情報が増えるため、分解能が大幅に向上する。この時、第２のセンシング技術による検出情報は、第１のセンシング技術による位置情報とは、システムから供給される同期信号により、系統付けされる。
【0103】
さらに、図８（Ｂ）に示すように、ユーザが空間浮遊映像ＦＩの所望の位置座標に接触した後、手指ＵＨを戻した場合には、上述した第１のセンシング技術と同様に、第１のセンシング面ａ１で感知した第１の感知信号Ｓ１、第２センシング面ａ２で感知した第２の感知信号Ｓ２、第３センシング面ａ３で感知した第３の感知信号Ｓ３が、順次にセンシングシステムの演算ユニットに伝達される。そして、演算ユニットでの計算処理によって、空間浮遊映像ＦＩの特定座標からユーザの手指ＵＨが離れたことが、システム上で認識される。
【0104】
以上述べたセンシングシステムの第１の測距装置３４０のＴＯＦセンサで使用するＬＥＤ光源は、測距装置の太陽光などの外光に対する精度低下を防ぎ、肉眼で視認できない可視光範囲（３８０ｎｍ～７８０ｎｍ）を超えた領域で光のエネルギーが高い近赤外光を用いるとよい。
【0105】
【0106】
＜空間浮遊映像表示装置の第２の構成例＞
図１２（Ａ）は、一実施例に係る空間浮遊映像表示装置１の主要部構成を示す。また、図１２（Ｂ）は、図１２（Ａ）に示す映像表示装置１０の映像光出射側、つまり液晶表示パネル１１の映像光出射側に配置されたレンチキュラーレンズ１１０３の拡大図である。図１２（Ａ）に示す空間浮遊映像表示装置１は、監視者（観視者）であるユーザが空間浮遊映像３を斜め上方から観察するのに適したシステムである。図１２（Ａ）中の座標系（Ｘ，Ｙ，Ｚ）では、空間浮遊映像表示装置１の筐体３５０が水平面（Ｘ－Ｙ面）に配置されており、空間浮遊映像３は、鉛直方向（Ｚ方向）に対し、前後方向（Ｙ方向）でやや斜めに傾いて形成されている。ユーザの視点Ｅから、空間浮遊映像３の面を正対して好適に視認する場合、視点Ｅは、図示のように、空間浮遊映像３の面に対し、光軸Ｊ２に合わせて、Ｙ方向でやや斜め上に配置される。ユーザは、視点ＥからＹ方向でやや斜め下の視線で空間浮遊映像３を好適に視認できる。
図１２（Ａ）は、一実施例に係る空間浮遊映像表示装置１の主要部構成を示す。また、図１２（Ｂ）は、図１２（Ａ）に示す映像表示装置１０の映像光出射側、つまり液晶表示パネル１１の映像光出射側に配置されたレンチキュラーレンズ１１０３の拡大図である。図１２（Ａ）に示す空間浮遊映像表示装置１は、監視者（観視者）であるユーザが空間浮遊映像３を斜め上方から観察するのに適したシステムである。図１２（Ａ）中の座標系（Ｘ，Ｙ，Ｚ）では、空間浮遊映像表示装置１の筐体３５０が水平面（Ｘ－Ｙ面）に配置されており、空間浮遊映像３は、鉛直方向（Ｚ方向）に対し、前後方向（Ｙ方向）でやや斜めに傾いて形成されている。ユーザの視点Ｅから、空間浮遊映像３の面を正対して好適に視認する場合、視点Ｅは、図示のように、空間浮遊映像３の面に対し、光軸Ｊ２に合わせて、Ｙ方向でやや斜め上に配置される。ユーザは、視点ＥからＹ方向でやや斜め下の視線で空間浮遊映像３を好適に視認できる。
【0107】
一方、図１２（Ｂ）は、液晶表示パネル１１より出射された光の方向と逆方向から見た図である。図１２（Ｂ）に示すように、レンチキュラーレンズ１１０３は、液晶表示パネル１１の光出射面に略平行または平行して配置され、かつ、液晶表示パネル１１面より出射される映像光側に配置される。また、レンチキュラーレンズ１１０３の複数の半円筒（半円筒状レンズ）は、Ｘ－Ｚ平面から見て縦に伸びて並んで配置される。なお、上記座標系（Ｘ，Ｙ，Ｚ）は、図１２（Ａ），（Ｂ）で共通である。
【0108】
筐体３５０内には、映像表示装置１０などが所定の位置関係で配置されている。筐体３５０の上面（Ｘ－Ｙ面）は、開口部を有しており、所定の角度α１で、再帰反射部材３３０が配置されている。映像表示装置１０の光軸Ｊ１は、Ｙ方向に対し所定の角度β１で斜め上を向いている。
【0109】
映像表示装置１０は、映像表示素子としての液晶表示パネル１１と、挟角な拡散特性を有する特定偏波の光を生成する光源装置１３とを備えて構成されている。液晶表示パネル１１は、画面サイズが５インチ程度の小型のものから８０インチを超える大型なものまで適用可能であり、それらから選択されたパネルで構成される。液晶表示パネル１１からの映像光は、光軸Ｊ１上、再帰反射部材３３０（再帰反射部または再帰反射板とも記載）に向けて出射される。液晶表示パネル１１には、狭発散角な光源装置１３からの光を入射させる。これにより、狭発散角な映像光束φ１が生成される。その狭発散角な映像光束φ１を、光軸Ｊ１に沿って、Ｚ方向で下側から再帰反射部材３３０に入射させる。この再帰反射部材３３０での再帰反射により、前述の図４で説明した原理に従って、再帰反射部材３３０に対しＺ方向で上側に、光軸Ｊ２の方向に、狭発散角な映像光束φ２が生成される。その映像光束φ２により、筐体３５０の外の所定の位置に、空間浮遊映像３（図４での空間浮遊映像３３１）が得られる。光軸Ｊ２は、Ｙ方向に対し所定の角度β２で斜め上を向いている。
【0110】
空間浮遊映像３は、再帰反射部材３３０を対称面とした映像表示装置１０の対称位置に形成される。斜めに配置された再帰反射部材３３０の面に対し、映像表示装置１０の面と空間浮遊映像３の面とが概略的に略対称な位置または対称的な位置に配置されている。空間浮遊映像３の面において、ｒ２は光軸Ｊ２に対応した中心位置を示し、ｒ１は映像光束φ２の下端の光線に対応した下端位置を示し、ｒ３は映像光束φ２の上端の光線に対応した上端位置を示す。
【0111】
この構成において、図４で説明した、再帰反射部材３３０により発生するゴースト像３３２，３３３を消去して高画質な空間浮遊映像３を得るために、液晶表示パネル１１の出射側には、映像光制御シート３３４（詳しくは前述の図５や図６（Ａ））が設けられている。これにより、不要な方向の拡散特性が制御される。
【0112】
さらに、液晶表示パネル１１からの映像光は、図１１に示すように、再帰反射部材３３０などの反射部材での反射率を原理的に高くできるので、Ｓ偏波（電界成分が入射面に垂直な電磁波、ＳはSenkrechtの略）を使用するとよい。しかしながら、ユーザが偏光サングラスを使用した場合には、空中浮遊映像３が偏光サングラスで反射または吸収されるため、これに対策する場合には、Ｐ偏波（電界成分が入射面に平行な電磁波、Ｐはparallelの略）を使用するとよい。そのためには、特定偏波の映像光の一部を光学的に他方の偏波に変換して疑似的に自然光に変換する素子として、図示の偏光解消素子３３９が設けられる。例えば偏光解消素子３３９が映像光制御シート３３４の出射側に配置されている。これにより、ユーザが偏光サングラスを使用している場合でも、良好な空間浮遊映像３を観視できる。
【0113】
偏光解消素子３３９の市販品としては、コスモシャインＳＲＦ（東洋紡社製）、偏光解消粘着剤（長瀬産業社製）が挙げられる。コスモシャインＳＲＦ（東洋紡社製）の場合、画像表示装置上に粘着剤を貼合することにより、界面の反射を低減して輝度を向上させることができる。また、偏光解消粘着剤（長瀬産業社製）の場合、無色透明板と画像表示装置とを偏光解消粘着剤を介して貼合することで使用される。
【0114】
また、本実施例では、再帰反射部材３３０の映像出射面にも、映像光制御シート３３８Ｂ（映像光制御シート３３８と同様のもの、詳しくは前述の図６（Ｂ））が設けられる。これにより、不要光による空間浮遊映像３の正規像の両側に発生するゴースト像３３２，３３３（図４）が消去される。
【0115】
本実施例では、再帰反射部材３３０を水平軸（Ｙ方向）に対して所定の角度α１で傾斜させ、空間浮遊映像３を水平軸に対して斜め（特に、水平面よりは鉛直面に近い角度での斜め）に生成する構成とした。これに限らず、構成要素の配置を変更すれば、空間浮遊映像３の配置の位置や傾きを設計可能である。
【0116】
また、本実施例では、筐体３５０の所定の位置に、第１の測距装置３４０（図７）が装着されている。すなわち、このシステムには、図７と同様のセンシング技術が実装されている。これにより、ユーザが空間浮遊映像３にアクセス、インタラクトできるシステムとする。第１の測距装置３４０を含む第１のセンシングシステムは、空間浮遊映像３に対するユーザの手指などによる操作（空中操作）の状態を検出する。さらに、図８や図９（Ｂ）と同様に、第２の測距装置３４１を含む第２のセンシングシステムを追加した構成としてもよい。
【0117】
第１の測距装置３４０の取り付け位置と視野角α３は、空間浮遊映像３の大きさを十分カバーできるように適宜選択するとよい。本例では、第１の測距装置３４０は、筐体３５０のうち、Ｙ方向で奥側（ユーザおよび空間浮遊映像３の位置に対し奥側）で、再帰反射部材３３０の斜面の延長上で、かつ、映像光の映像光束を遮らないように少し離れた位置である、図示の位置に取り付けられている。第１の測距装置３４０の視野角α３（上端Ａから下端Ｂまでの範囲）は、本例では、空間浮遊映像３全体とそれを基準位置（正対する位置）の視点Ｅから視認するユーザの顔を含む領域とをカバーできるように、十分に広い視野角とされている。視野角α３は、空間浮遊映像３全体を捉える視野角α２を内包している。視野角α２は、例えば図７のセンシング面ａ０，ａ１，ａ２，ａ３と対応している。
【0118】
第１の測距装置３４０のＴＯＦセンサは、図７（あるいは図８）に示したように、空間浮遊映像３のセンシング面を複数のエリアに分割した測距システムを使用する。これにより、センシングの領域ごとの分解能が高められる。さらに、図８および図９（Ｂ）のようなＣＭＯＳセンサを使用した第２のセンシング技術を使用する場合には、検知精度をより一層向上できる。
【0119】
また、本実施例では、光源装置１３として、狭角の指向特性を有する可視光を発散させる光源を使用し、第１測距装置３４０（さらには第２の測距装置３４１）を、筐体３５０側において挟角の映像光束に対し外側の位置に配置する。また、第２の測距装置３４１が同様に配置されてもよい。これにより、空間浮遊映像３を形成する映像光のセンシング精度に対する悪影響を除くことができる。
【0120】
図１２（Ａ）に示す上記構成において、液晶表示パネル１１の映像光出射側（斜線で示す位置）にレンチキュラーレンズ１１０３を配置する。より具体的には、液晶表示パネル１１の映像光出射側に、図１２（Ｂ）に示す向きとなるように、レンチキュラーレンズ１１０３を配置する。レンチキュラーレンズ１１０３の面（ここではｘ－ｙ面とする）において、ｙ方向（縦）に延在する半円筒状レンズが、ｘ方向（横）に複数の半円筒状レンズとして並んでいる。ｘ方向は表示パネル１１の画面内水平方向に対応しており、ｙ方向は表示パネル１１の画面内垂直方向に対応している。この構成とすることで、後述するように、利用者が、レンチキュラーレンズ１１０３を形成する半円筒状レンズが並んでいる方向（ｘ方向、Ｘ方向）に移動することで、利用者はそれぞれの位置から異なる画像（または映像）を見ることが可能となる。すなわち、画像または映像として、視差画像を表示することにより、運動視差が生じ、液晶表示パネル１１上に表示された画像または映像を立体像として認識することができる。多視点映像と運動視差については、後述する。
【0121】
図１２（Ａ）において、空間浮遊映像３は、再帰反射部材３３０を対称面とした映像表示装置１０または液晶表示パネル１１の対称位置に形成される実像であるので、利用者は、空間浮遊映像３を、運動視差を伴う立体像として視認することができる。すなわち、レンチキュラーレンズ１１０３を配置した上記構成によれば、空間浮遊像３を、単に、液晶表示パネル１１上に表示された二次元映像ではなく、運動視差を伴う立体像として表示可能となる。
【0122】
＜空間浮遊映像表示装置の第３の構成例＞
図１３（Ａ）は、空間浮遊映像表示装置の他の実施例を示す。また、図１３（Ｂ）は、図１３（Ａ）に示す映像表示装置１０の映像光出射側、つまり液晶表示パネル１１の光出射側に配置されたレンチキュラーレンズ１１０３の拡大図である。図１３（Ａ）中の座標系（Ｘ，Ｙ，Ｚ）では、空間浮遊映像表示装置１の筐体３５０が水平面（Ｘ－Ｙ面）に配置されており、空間浮遊映像３は、鉛直方向（Ｚ方向）に対し、前後方向（Ｙ方向）でやや斜めに傾いて形成されている。ユーザの視点Ｅから、空間浮遊映像３の面を正対して好適に視認する場合、視点Ｅは、図示のように、空間浮遊映像３の面に対し、光軸Ｊ２に合わせて、Ｙ方向でやや斜め上に配置される。ユーザは、視点ＥからＹ方向でやや斜め下の視線で空間浮遊映像３を好適に視認できる。
図１３（Ａ）は、空間浮遊映像表示装置の他の実施例を示す。また、図１３（Ｂ）は、図１３（Ａ）に示す映像表示装置１０の映像光出射側、つまり液晶表示パネル１１の光出射側に配置されたレンチキュラーレンズ１１０３の拡大図である。図１３（Ａ）中の座標系（Ｘ，Ｙ，Ｚ）では、空間浮遊映像表示装置１の筐体３５０が水平面（Ｘ－Ｙ面）に配置されており、空間浮遊映像３は、鉛直方向（Ｚ方向）に対し、前後方向（Ｙ方向）でやや斜めに傾いて形成されている。ユーザの視点Ｅから、空間浮遊映像３の面を正対して好適に視認する場合、視点Ｅは、図示のように、空間浮遊映像３の面に対し、光軸Ｊ２に合わせて、Ｙ方向でやや斜め上に配置される。ユーザは、視点ＥからＹ方向でやや斜め下の視線で空間浮遊映像３を好適に視認できる。
【0123】
一方、図１３（Ｂ）において、レンチキュラーレンズ１１０３は、液晶表示パネル１１の光出射面に略平行または平行し、かつ、液晶表示パネル１１より出射される映像光側に配置される。また、レンチキュラーレンズ１１０３の複数の半円筒（半円筒状レンズ）は、Ｘ－Ｚ平面から見て縦に伸びて並んで配置される。なお、上記座標系（Ｘ，Ｙ，Ｚ）は、図１３（Ａ）、（Ｂ）で共通である。
【0124】
筐体３５０内には、映像表示装置１０、ミラー３６０などが所定の位置関係で配置されている。筐体３５０の開口部、本例では概略的に鉛直方向に立つ面（Ｘ－Ｚ面）を持つ開口部には、Ｚ方向に対し所定の角度γ１（やや斜め下に傾いた角度）で、再帰反射部材３３０が配置されている。ミラー３６０は平面ミラーである。
【0125】
本実施例では、映像表示装置１０からの映像光は、ミラー３６０で反射されてから、再帰反射部材３３０に入射される。筐体３５０は、Ｚ方向で上側に凸状に出ている部分を有し、その部分内に映像表示装置１０が配置されている。映像表示装置１０の光軸Ｊ１は、Ｚ方向で下側、Ｙ方向で奥側に、Ｚ方向に対する所定の角度δ１で斜め下を向いている。
【0126】
映像表示装置１０は、映像表示素子としての液晶表示パネル１１と、挟角な拡散特性を有する特定偏波の光を生成する光源装置１３とを備えて構成されている。液晶表示パネル１１は、画面サイズが５インチ程度の小型のものから８０インチを超える大型なものまで適用可能であり、それらから選択されたパネルで構成される。液晶表示パネル１１からの映像光は、光軸Ｊ１上、光路折り返しミラーであるミラー３６０によって折り返され、折り返し後の光軸Ｊ１Ｂ上で、再帰反射部材３３０に向けて出射される。
【0127】
液晶表示パネル１１には、狭発散角な光源装置１３からの光を入射させる。これにより、狭発散角な映像光束φ１が生成される。狭発散角な映像光束φ１は、ミラー３６０で反射後、映像光束φ１Ｂとなる。その狭発散角な映像光束φ１Ｂを、光軸Ｊ１Ｂに沿って、図示のＹ方向で右側から再帰反射部材３３０に入射させる。この再帰反射部材３３０での再帰反射により、前述の図４で説明した原理に従って、再帰反射部材３３０に対しＹ方向で左側に、光軸Ｊ２の方向に、狭発散角な映像光束φ２が生成される。その映像光束φ２により、筐体３５０の開口部に対して外の所定の位置に、空間浮遊映像３（図４での空間浮遊映像３３１）が得られる。光軸Ｊ２は、Ｙ方向に対し所定の角度δ２（Ｚ方向に対しては角度（９０度－δ２））で斜め上を向いている。
【0128】
空間浮遊映像３は、再帰反射部材３３０を対称面として、ミラー３６０に対し概略的に対称位置に形成される。本実施例では、ミラー３６０により光路を折り返す構成であるため、映像表示装置１０は、Ｚ方向で空間浮遊映像３よりも上に配置されている。この結果、映像光線が再帰反射部材３３０に対し斜め上方から入射し、斜め上方に出射して、図示のように斜めに傾いた空間浮遊映像３を形成するシステムを実現できる。
【0129】
また、空間浮遊映像３を筐体３５０に対して斜め上向き（図示の光軸Ｊ２上）に結像させるためには、再帰反射部材３３０を、図示のように筐体３５０の底面の垂直軸（Ｚ方向）に対して所定の角度γ１で傾斜させて配置することで実現できる。また、このように再帰反射部材３３０の出射軸がやや斜め下に傾いた構成の結果、外光が再帰反射部材３３０に入射して筐体３５０内部に侵入することで発生し得る空間浮遊映像３の画質低下を防止できる。
【0130】
空間浮遊映像３で発生し得るゴースト像（図４）を消去してより高画質な空間浮遊映像３を得るためには、第２の構成例（図１２（Ａ）、（Ｂ））と同様に、本実施例でも、液晶表示パネル１１の出射側に、映像光制御シート３３４（図５、図６（Ａ））を設けることで、不要な方向の拡散特性を制御してもよい。また、再帰反射部材３３０の映像出射面にも、映像光制御シート３３４（図６（Ｂ））を設けることで、不要光により空間浮遊映像３の正規像の両側に発生するゴースト像を消去してもよい。
【0131】
以上述べた構造物が筐体３５０の内部に配置されることで、再帰反射部材３３０に対し外光が入射することを防止し、ゴースト像の発生を防止することができる。
【0132】
本実施例でも、液晶表示パネル１１からの映像光は、図１２（Ａ）と同様に、Ｓ偏波を使用してもよいし、偏光サングラスに対応する場合には、Ｐ偏波を使用して偏光解消素子３３９を設けてもよい。
【0133】
本実施例では、再帰反射部材３３０を鉛直軸（Ｚ方向）に対して所定の角度γ１で傾斜させ、空間浮遊映像３を水平軸に対して斜め（特に、水平面よりは鉛直面に近い角度での斜め）に生成する構成とした。これに限らず、構成要素の配置を変更すれば、空間浮遊映像３の配置の位置や傾きを設計調整可能である。
【0134】
また、本実施例では、筐体３５０の所定の位置に、第１の測距装置３４０（図７）が装着されている。すなわち、このシステムには、図７と同様のセンシング技術が実装されている。これにより、ユーザが空間浮遊映像３にアクセス、インタラクトできるシステムとする。第１の測距装置３４０を含む第１のセンシングシステムは、空間浮遊映像３に対するユーザの手指などによる操作（空中操作）の状態を検出する。
【0135】
第１の測距装置３４０の取り付け位置と視野角γ３は、空間浮遊映像３の大きさを十分カバーできるように適宜選択するとよい。本例では、第１の測距装置３４０は、筐体３５０の底面部のうち、Ｙ方向で再帰反射部材３３０の手前の近傍で、かつ、映像光の映像光束を遮らないように少し離れた位置である、図示の位置に取り付けられている。第１の測距装置３４０の視野角γ３は、本例では、空間浮遊映像３全体とそれを基準位置の視点Ｅから視認するユーザの顔を含む領域とをカバーできるように、十分に広い視野角とされている。視野角γ３は、空間浮遊映像３全体を捉える視野角を内包している。
【0136】
【0137】
また、本実施例では、光源装置１３として、狭角の指向特性を有する可視光を発散させる光源を使用し、第１測距装置３４０（さらには第２の測距装置３４１）を、筐体３５０側において挟角の映像光束に対し外側の位置に配置する。これにより、空間浮遊映像３を形成する映像光のセンシング精度に対する悪影響を除くことができる。
【0138】
さらに、本実施例では、空間浮遊映像３と再帰反射部材３３０との間に、図示のように、静電容量方式のタッチパネル３６１を、支持部材３６２で固定して配置してもよい。支持部材３６２は、例えば枠状として、内側にタッチパネル３６１を支持する。支持部材３６２は、例えば筐体３５０の底面部に対し固定されている。このタッチパネル３６１は、空間浮遊映像３を形成するための映像光、および第１の測距装置３４０からの光を透過させる部材で構成されている。
【0139】
このタッチパネル３６１は、静電容量方式で、当該タッチパネルの面に対するユーザの手指の近接の状態を検出する。もしくは、このタッチパネル３６１は、当該タッチパネルの面に対するユーザの手指の接触の状態を検出する。このタッチパネル３６１を含む第３のセンシング技術を、第１のセンシング技術などと併用することで、検知精度をより一層向上できる。この静電容量方式のタッチパネル３６１の大きさと取り付け位置についても、同様に、空間浮遊映像３を十分カバーできるように選択するとよい。
【0140】
高精度な位置情報を取り込むことができる静電容量方式のタッチパネル３６１としては、例えば投影型静電容量方式を採用できる。この方式のタッチパネルは、例えば、微細な線間距離を有する透明電極（Ｙ軸電極）であるＩＴＯと微細な線間距離を有する透明電極（Ｘ軸電極）である銅薄膜とを、透明ガラス基板の両面にフォトリソエッチングによりパターンニングすることで製造される。そのため、この透明ガラス基板に対象物（例えば指先端）が近づいた場合に、Ｘ軸電極とＹ軸電極のそれぞれで静電容量の変化を捉え、対象物の相対座標が得られる。また、この方式は、透明電極の線間距離が短いほど、高い分解能を得られるので、多点検出が可能である。そのため、この方式では、複数の指での同時入力も可能となる。
【0141】
図１３（Ａ）に示す上記構成においても、図１３（Ｂ）に示すように、図１２（Ａ）に示す空間浮遊映像表示装置１と同様に、液晶表示パネル１１の映像光出射側（斜線で示す位置）にレンチキュラーレンズ１１０３を配置する。レンチキュラーレンズ１１０３の面（ここではｘ－ｙ面とする）において、ｙ方向（縦）に延在する半円筒状レンズが、ｘ方向（横）に複数の半円筒状レンズとして並んでいる。この構成とすることで、利用者は、空間浮遊像３を、運動視差を伴う立体像として認識できる。すなわち、レンチキュラーレンズ１１０３を配置した上記構成によれば、空間浮遊像３として、単に、液晶表示パネル１１上に表示された二次元映像ではなく、立体像を表示可能となる。
【0142】
ここで、利用者が空間浮遊像３を立体像として認識できることは、特に、表示される立体像が人物（特に顔）である場合、空間浮遊像が二次元平面である従来のシステムには無い新たな効果をもたらす。例えば、後述するように、空間浮遊像として表示される人物（特に顔）は、利用者が空間浮遊像の周辺であれば、どの位置に存在しても、常に利用者の方に向くという新たな効果をもたらす。このことにより、利用者は、空間浮遊像として表示される人物が、あたかも自分だけに話しかけてくれているような感覚を有することになり、表示される人物が、例えば、利用者に対して、何かを説明するような場面、あるいは、利用者に対して何等かのアシスト（支援）を行うような場面において、特に好適である。
【0143】
［多視点映像を生成・表示するための技術］
既に述べたように、レンチキュラーレンズを用いた多視点画像、または多視点映像により、運動視差が得られることはよく知られている。レンチキュラーレンズは、その表面において半円筒状を有するレンズ（半円筒状レンズ）が所定方向に延在して配列された集合体であり、１つの半円筒状レンズの下部には、多視点画像または多視点映像の視点の数に相当する、異なる映像を表示する液晶表示パネルが配置されている。本実施の形態（図１２の第２の構成例または図１３の第３の構成例）での所定方向（半円筒状レンズの軸が延在する方向）は前述のような縦方向（ｙ方向）となる。
既に述べたように、レンチキュラーレンズを用いた多視点画像、または多視点映像により、運動視差が得られることはよく知られている。レンチキュラーレンズは、その表面において半円筒状を有するレンズ（半円筒状レンズ）が所定方向に延在して配列された集合体であり、１つの半円筒状レンズの下部には、多視点画像または多視点映像の視点の数に相当する、異なる映像を表示する液晶表示パネルが配置されている。本実施の形態（図１２の第２の構成例または図１３の第３の構成例）での所定方向（半円筒状レンズの軸が延在する方向）は前述のような縦方向（ｙ方向）となる。
【0144】
図１４（Ａ）は、本実施の形態（第２の構成例や第３の構成例）における、レンチキュラーレンズ１１０３を用いる多視点画像を生成するための原理を示す図である。また、図１４（Ｂ）は、レンチキュラーレンズ１１０３の構成をよりわかりやすく示すために、レンチキュラーレンズ１１０３を斜め上方から俯瞰して見た模式図である。なお、ここでは、多視点画像として９視点の場合について説明する。図１４（Ａ）において、液晶表示パネル１１の画素１４０１は、数字で１～９と示す９つの画素１４０１を１グループとして、９視点の多視点画像を形成する。図１４（Ａ）では、観察者の目に像として見える画素１４０１の番号を１～９で示しており、画素１～画素９と記載する場合がある。図１４（Ｂ）では、レンチキュラーレンズ１１０３は、Ｘ方向に繰り返して配列されている複数のレンズ（半円筒状レンズ）１１０３ａを有する。
【0145】
一方、人間の眼の間隔、すなわち瞳孔間の距離は、ほぼ一定であることが知られており、例えば日本人の平均瞳孔間距離ＰＤは約６４ｍｍである。レンチキュラーレンズ１１０３のピッチ、すなわち、半円筒状レンズ１１０３ａの配置の間隔を、人間の眼の間隔の半分、すなわち、例えば約３２ｍｍと略同一とすることで、観察者（利用者）の右眼と左眼には、図１４（Ａ）に示すように、それぞれ異なる画素１４０１からの光が到達する。より具体的には、観察者の右眼には、画素６に表示される画像からの光が到達し、観察者の左眼には、画素４に表示される画像からの光が到達する。
【0146】
このため、観察者は、右眼と左眼で、それぞれ異なる画素１４０１に表示された画像を見ることになり、それぞれの画素１４０１に、同一の物体あるいは人物を、視点を変えて撮影した画像を表示すれば、観察者の両眼には視差が生じる。その結果、観察者は、撮影された画像を立体として認識することが可能となる。上記のように、液晶表示パネル１１の光出射側にレンチキュラーレンズ１１０３を配置する構成で、観察者の右眼と左眼には、異なる画素１４０１からの光が到達するため、観察者は、立体的な画像を認識できる。
【0147】
ここで、観察者（特に顔）が左右（Ｘ方向）に移動すると、観察者の右眼と左眼には、移動前とは異なる画素１４０１からの光が到達する。より具体的には、図１４（Ａ）に示すように、観察者が右方向に１画素分移動した場合、観察者の右眼には、画素７に表示される画像からの光が到達し、観察者の左眼には、画素５に表示される画像からの光が到達する。すなわち、観察者の移動（運動）に伴って、移動する前とは異なる画素１４０１の光が目に到達することとなる。この結果、観察者は、自分が左右に移動することに伴って、同一の物体あるいは人物を別の角度から見たのと同等の効果、すなわち、運動視差を得ることができる。よって、液晶表示パネル１１の光出射側にレンチキュラーレンズ１１０３を配置する構成で、観察者の目が移動することによって、立体感がある画像を、角度を変えて見たのと同等の効果を得ることができる。
【0148】
図１５は、上記した運動視差を生じさせるための画像、すなわち、多視点画像を撮影するための装置の一例を示す模式図である。図１５では、９つの異なる視点から、被写体１５００である人物（特に人物の顔部分）を撮影する様子を示している。より具体的には、９つのカメラ１５０１としてカメラＮｏ.１～Ｎｏ.９を、図１５に示すように、被写体１５００から所定距離の位置で互いの角度を所定角度ずつ移動した位置である半円周上の位置に配置して撮影する。本実施の形態では、カメラＮｏ.１～Ｎｏ.９は、被写体１５００から等距離の位置で互いの角度を２２.５度ずつ移動した位置、言い換えると１８０度を８つに分割した９つの位置に配置されている。これに限らず、視点の数に応じて被写体１５００からの距離および角度を変更してよい。
【0149】
このとき、被写体１５００が静止している場合には、１台のカメラ１５０１を、カメラＮｏ.１～Ｎｏ.９の位置に順に移動させて撮影することで、多視点画像を撮影することも可能である。被写体１５００が動きのあるもの、例えば、表情を変えながら口を動かして話をしている人物の顔である場合には、９台のカメラ１５０１を用いて、それぞれの位置にカメラ１５０１を固定して、動画（言い換えると動画像、映像）として撮影することも可能である。
【0150】
上記のようにして撮影された、９台のカメラ１５０１による、それぞれのカメラ１５０１の画像１５０２（あるいは映像）は、映像表示部、ここでは液晶表示パネル１１の、９つのそれぞれの画素１４０１に割り当てられて表示される。図１５に示すように、１つの被写体１５００の映像を、それぞれ異なる角度から撮影された画像１５０２（あるいは映像）として表示することで、運動視差を伴う多視点画像（または多視点映像）を得ることができる。図１５に示す例では、被写体１５００である人物の顔部分を９つのカメラＮｏ.１～Ｎｏ.９により異なる角度で撮影し、９つのカメラ１５０１で撮影した画像１５０２を、液晶表示パネル１１の各画素１４０１（画素１～画素９）に割り当て表示している。
【0151】
さらに、レンチキュラーレンズ１１０３を液晶表示パネル１１の光出射側に配置することで、運動視差を伴う多視点画像（または映像）を得ている。多視点画像（または映像）を得る方法としては、上記のように１台または複数のカメラ１５０１を用いる方法に限らず、コンピュータグラフィックス（ＣＧ）によって多視点画像（または映像）をレンダリングする方法でもよい。レンダリングによってＣＧを生成することにより、複数のカメラを用いた大掛かりな撮影装置は必要無くなり、より簡便に、カメラの台数に起因する視点数の制約も無く、かつ、短時間に、多視点画像（または映像）を得ることができ、特に多視点画像や多視点映像の生成では好適である。
【0152】
図１６は、多視点映像表示装置による表示例を示す図である。ここで、多視点映像表示装置とは、液晶表示パネル１１および光源装置１３等により構成される映像表示装置１０の映像光出射側に、レンチキュラーレンズ１１０３を配置した構成を備える表示装置をいう。具体的には、多視点映像表示装置は、光源装置１３、映像表示部である液晶表示パネル１１、およびレンチキュラーレンズ１１０３を有している。映像表示装置１０は、少なくとも２個のオブジェクトを含む映像を表示し、少なくとも２個のオブジェクトのうち、任意のオブジェクトの位置を固定または左右方向（所定の方向）にずらすことにより得られた複数の映像を、多視点画像として表示する。つまり、映像表示装置１０は、少なくとも２個のオブジェクトを含む映像を表示し、少なくとも２個のオブジェクトのうち、任意のオブジェクト（第１のオブジェクト）の位置を固定し、任意のオブジェクト以外のオブジェクト（第２のオブジェクト）の位置を、異なる多視点画像間で、互いに左右方向にずらすことにより得られた複数の映像を、多視点画像として表示する。
【0153】
ここでの左右方向（所定の方向）とは、利用者の視点に対して左右方向（図１４でのＸ方向）ということであり、レンチキュラーレンズ１１０３での複数の半円筒状レンズ１１０３ａが繰り返して配列された方向と対応している。ここで、映像表示部である液晶表示パネル１１の映像出射面とレンチキュラーレンズ１１０３の入射面とは平行である。また、映像表示部である液晶表示パネル１１の映像出射面とレンチキュラーレンズ１１０３の入射面とは所定の距離をもって配置される。本実施の形態においては、レンチキュラーレンズ１１０３に固有の焦点距離に基づき、レンチキュラーレンズ１１０３の光入射面と液晶表示パネル１１の光出射面との間の所定距離が調整して配置される。このとき、レンチキュラーレンズ１１０３の焦点距離が相対的に大きな値である場合には、上記所定距離を大きくし、逆に、レンチキュラーレンズ１１０３の焦点距離が相対的に小さな値である場合には、上記所定距離を小さくするように、レンチキュラーレンズ１１０３の光入射面と液晶表示パネル１１の光出射面との距離、すなわち上記所定距離を調整する。これにより、好適な多視点映像を表示できる。
【0154】
図１６では、９つの異なる視点を有する多視点映像を表示する多視点映像表示装置を示している。図１６（Ａ）は、液晶表示パネル１１の前述の画素１４０１（画素１～９）に対して、カメラ１５０１（Ｎｏ.１～Ｎｏ.９）による画像１５０２を撮影順に配置した場合を示している。一方、図１６（Ｂ）は、液晶表示パネル１１の画素１～９に対して、図１６（Ａ）とは逆の順序で、カメラ１５０１（Ｎｏ.９～Ｎｏ.１）による画像１５０２を配置した場合を示している。図１６（Ａ）、（Ｂ）の効果の違いは、以下の通りである。まず、図１６（Ａ）では、利用者（ユーザ）が、多視点映像表示装置に対して左側から右側に移動した場合、左側からは、被写体（人物の顔）を左側から見た画像を観察でき、右側からは、被写体（人物の顔）を右側から見た画像を観察できることになる。すなわち、実際の被写体を中心において、利用者が被写体の左側から、または右側から観察した場合と同様の被写体を観察することとなる。
【0155】
それに対して、図１６（Ｂ）では、図１６（Ａ）と逆となり、利用者（観察者）が、多視点映像表示装置に対して左側から右側に移動した場合、左側からは、被写体（人物の顔）を図１６（Ａ）の右側から見た画像を観察でき、右側からは、被写体（人物の顔）を図１６（Ａ）の左側から見た画像を観察できることになる。この結果、図１６（Ｂ）では、利用者から被写体（人物の顔）を見ると、利用者が被写体に対してどの位置（相対的な角度）に存在しても、被写体である人物が、常に、利用者の方に視線を向けているように感じることができる。
【0156】
上記した図１６（Ｂ）の見え方、すなわち、被写体である人物が、利用者の位置にかかわらず、常に利用者の方に視線を向けているように見えるという特徴は、利用者からは、被写体である人物が、常に自分（利用者）と向き合い、話しかけられているように感じるという効果を生じる。こうした効果は、被写体である人物が、利用者一人だけに対して、何等かの説明や案内をするような場面では、特に好適である。
【0157】
ここで、レンチキュラーレンズを用いた多視点映像表示装置では、しばしば、いわゆる逆視が問題となる。図１４（Ａ）に示したように、観察者の右眼には例えば画素６に表示される画像からの光が到達し、観察者の左眼には画素４に表示される画像からの光が到達することで、観察者は立体的な画像を認識できる。逆視とは、観察者の眼とレンチキュラーレンズとの位置関係により、観察者の右眼に本来画素６からの光が到達すべきであるのに、画素４からの光が到達し、また、観察者の左眼に本来画素４からの光が到達すべきであるのに、画素６からの光が到達するような現象のことをいう。こうした逆視が発生すると、観察者は、本来観察されるべき立体的な画像を認識できないこととなる。
【0158】
上記した逆視の発生は、映像表示素子としての液晶表示パネル１１と挟角な拡散特性を有する光源装置１３とを備えた映像表示装置１０を用いることで、効果的に防止することができる。より具体的には、多視点映像を表示するためのレンチキュラーレンズの拡散角は、一般的に４０度から６０度（中心から±２０～３０度）であるのに対し、映像表示装置１０の光源として拡散角が３０度（中心から±１５度）の挟角な拡散特性を有する光源装置１３を用いること、あるいは、図６に示した映像光制御シート３３４を用いることで、逆視の発生を防止することができ、好適である。
【0159】
次に、図１７および図１８は、図１６（Ａ）および図１６（Ｂ）に示す、レンチキュラーレンズ１１０３を備えた多視点映像表示装置から発せられた映像光を、再帰反射板（再帰反射部材、再帰性反射部材）３３０を介することで、空間浮遊像３を生成した状態を、模式的に示す図である。図１７、図１８は、ともに、多視点映像表示装置と再帰反射板３３０により空間浮遊像３が生成される点は同じである。
【0160】
上記図１７と図１８の２つの実施例の相違点は、多視点映像表示装置上の多視点画像の順序が異なる点にある。すなわち、図１７は、図１６（Ａ）に対応しており、利用者から見て、多視点映像表示装置の左から右に、すなわち液晶表示パネル１１の画素１～９に対して、カメラＮｏ.１～Ｎｏ.９による画像１５０２が割り当てられている。その結果、再帰反射板３３０を介して生成される空間浮遊像３では、多視点画像の順序は、利用者から見て、逆に、右から左にカメラＮｏ.１～Ｎｏ.９による画像１５０２に対応した多視点画像１５０３が表示される。一方、図１８では、図１６（Ｂ）に対応しており、多視点映像表示装置の右から左に、すなわち液晶表示パネル１１の画素１～９に対して、カメラＮｏ.１～Ｎｏ.９による画像１５０２が割り当てられている。その結果、再帰反射板３３０を介して生成される空間浮遊像３では、多視点画像の順序は、利用者から見ると、図１７とは逆に、左から右にカメラＮｏ.１～Ｎｏ.９による画像１５０２に対応した多視点画像１５０３が表示される。
【0161】
上記のように、再帰反射板３３０を介して生成される空間浮遊像３（多視点画像１５０３）では、映像表示装置１０と再帰反射板３３０との間にレンチキュラーレンズ１１０３を配置する構成により、映像表示装置１０に表示される多視点映像の順番と、空間浮遊映像３による多視点映像の順番とが逆となった順序で、利用者に認識される。すなわち、利用者に対して、運動視差を有する空間浮遊像３を提供する場合、利用者に対して、どのような多視点画像を提供すべきか、という目的に応じて、液晶表示パネル１１上の画素１４０１に対して、カメラＮｏ.１～Ｎｏ.９による画像１５０２の順序を、適宜定めて配置した構成とすればよい。
【0162】
＜多視点映像を空間浮遊像として表示するための実施例１＞
次に、本発明に係る、多視点映像を空間浮遊像として表示するための実施例１について説明する。図１９は、本発明に係る、レンチキュラーレンズ１１０３を用いて多視点画像を生成するための実施例１を示す図である。
次に、本発明に係る、多視点映像を空間浮遊像として表示するための実施例１について説明する。図１９は、本発明に係る、レンチキュラーレンズ１１０３を用いて多視点画像を生成するための実施例１を示す図である。
【0163】
ここで、図１９と図１５とを比較する。まず、前述の図１５では、被写体１５００（人物の顔）から所定の距離で離れた位置から、互いの角度を所定角度（具体的には２２.５度）ずつ移動した位置に配置された９台のカメラ１５０１によって被写体１５００を撮影する。これにより、多視点画像であるカメラＮｏ.１～Ｎｏ.９による画像１５０２を生成している。そして、カメラＮｏ.１～Ｎｏ.９による画像１５０２を、液晶表示パネル１１の９つの画素１４０１である画素１～９に割り当てることで、１つの画素グループを構成している。１つの画素グループとは、図１４に示すように、レンチキュラーレンズ１１０３のレンチキュラーレンズ群（複数の半円筒状レンズ１１０３ａ）のうち、１つのレンズ１１０３ａ内に収まる複数の画素１４０１である。
【0164】
一方、図１９では、１つの被写体を異なる角度から撮影することで多視点画像を生成するのではなく、別の方法を示している。一例として、被写体１９００における０、１、２、３、４の５つの数字のうち、数字０の位置を固定し、それに対し、１、２、３、４の４つの数字の位置を、Ｘ方向で左から右に少しずつ移動することで、画像Ｎｏ．１～画像Ｎｏ．９で示す９つの画像１９０２である多視点画像１９０２を生成した場合を示している。こうして生成した画像Ｎｏ．１～Ｎｏ．９は、液晶表示パネル１１の１つの画素グループの画素１４０１である画素１～９に割り当てられる。
【0165】
図２５は、上記画像Ｎｏ．１～画像Ｎｏ．９で示す９つの画像１９０２である多視点画像１９０２の生成に関する補足説明図である。ここでは、カメラの画像１９０２として、カメラＮｏ．１の画像Ｎｏ．１と、カメラＮｏ．２の画像Ｎｏ．２と、カメラＮｏ．９の画像Ｎｏ．９との３つのみを、Ｘ方向の位置を揃えて示している。画像Ｎｏ．１における複数のオブジェクトのうち、Ｘ方向で左右に移動させるオブジェクト（第２のオブジェクト）として、例えば数字１のオブジェクト２５０１について説明する。数字１のオブジェクト２５０１を、Ｘ方向で最も左側の位置から最も右側の位置まで移動させるとする。画像Ｎｏ．１では最も左側の位置Ｘ１とし、画像Ｎｏ．９では最も右側の位置Ｘ９とする。最も左側の位置Ｘ１から最も右側の位置Ｘ９までの移動距離をＤとする。多視点（９視点）の画像１９０２の枚数（９枚）に応じて、移動距離Ｄを８分割し、単位移動距離（Ｄ／８）が得られる。数字１のオブジェクト２５０１についての、画像Ｎｏ．２での位置Ｘ２は、画像Ｎｏ．１での位置Ｘ１から、単位移動距離（Ｄ／８）の１個分移動した位置である。他の画像での位置も同様に求めることができる。
【0166】
なお、被写体１９００の多視点画像１９０２を形成するにあたって、図１９等の例では、１つの円筒状レンズ１１０３ａ（図１４）に対応付けられた１つの画素グループのみに複数の画像１９０２を割り当てる場合を示したが、これに限らずに、被写体１９００の多視点画像１９０２は、隣接する複数の画素グループを用いて構成可能である。
【0167】
次に、図２０は、上記のように、液晶表示パネル１１の画素１～９に対して、数字０（第１のオブジェクト）の位置を固定し、数字１～４（第２のオブジェクト）を単に左から右に少しずつ移動させることで多視点画像１９０２を生成し、さらに、レンチキュラーレンズ１１０３を液晶表示パネル１１の映像光出射側に配置することで、運動視差を得ることができることを示す図である。すなわち、図示の利用者の視点が、Ｘ方向で左から右に移動することで、像としての数字０の位置は変わらないが、像としての数字１～４は左から右に移動して見えることとなる。その結果、利用者は、数字０が相対的に遠い位置（後ろの方）にあるように見え、数字１～４は相対的に近い位置（手前の方）にあるように見える。
【0168】
上記のように観察者（利用者）から見て数字０が遠い位置（後ろの方）にあるように見え、数字１～４は近い位置（手前の方）にあるように見える現象、言い換えると遠近感や立体感を感じる現象は、以下のような物理現象のアナロジーとして説明できる。すなわち、電車の乗客が、走行中の電車の窓から外の景色を見たとき、遠くに存在するもの、例えば、山や雲は、その位置が変わらないが、近くに存在するもの、例えば、建物や田畑などの位置は、電車の速度に応じて大きく変化する、という現象から説明できる。
【0169】
上記説明した、走行中の電車の窓から見える景色とのアナロジーで考えると、遠くに存在する山や雲は、図２０での数字０に対応する。すなわち、利用者が左から右に、またはその逆の方向に移動しても、数字０の位置は変わらない。一方、近くに存在する建物や田畑は、図２０での数字１～４に対応する。すなわち、利用者が左から右に、またはその逆の方向に移動すると、その数字の位置が大きく変化する。このことから、利用者は、数字０は遠くの位置、すなわち、比較的奥の方に存在し、数字１～４は近くの位置、すなわち、比較的手前の方に存在するように感じる、という効果をもたらす。
【0170】
上記の通り、多視点画像によって運動視差を得ようとする場合、図１５に示したように、多視点画像としては、円周上の異なる位置に配置されたカメラ１５０１により撮影された画像１５０２を用いることは必ずしも必要ではなく、図１９に示すように、複数の被写体（図１９では被写体１９００の数字０～４）の相対的な位置を、単に左右方向にずらすだけでも、多視点画像を生成することができる。図１９での被写体１９００のうち、数字０は、位置が固定される第１のオブジェクトの例であり、数字１～４は、位置が左右にずらされる第２のオブジェクトの例である。
【0171】
ここで、図１９に示す方法、すなわち、同じ画像内のオブジェクト（第２のオブジェクト）としての数字０～４の相対的な位置を、単に左右方向にずらすことで多視点画像を生成する方法では、図１５に示した円周上に配置された複数のカメラ１５０１を用いて多視点画像を生成する方法に比べて、非常に簡便に多視点画像を生成可能である。しかも、１つの画像内に表示された複数のオブジェクト（ここでは数字０～４）に関し、運動視差を得ることができる、という特徴がある。
【0172】
図２０では、図１９に示す方法により生成された多視点画像１９０２を用いた、映像表示装置１０とレンチキュラーレンズ１１０３とを備えた多視点映像表示装置による表示例を示している。すでに記載したように、数字０～４の相対的な位置を、単に左右方向にずらすことで得られた多視点画像１９０２とレンチキュラーレンズ１１０３とを組み合わせることで、利用者は運動視差を得ることができ、表示されたオブジェクトを立体的に見ることができる。図２０の場合では、利用者が、Ｘ方向で左右に移動することで、数字０は奥の方に存在するように見え、逆に数字１～４は、手前の方に存在するように見えることとなる。
【0173】
＜多視点映像を空間浮遊像として表示するための実施例２＞
次に、図２１は、図１９の場合とは逆に、被写体１９００における０、１、２、３、４の５つの数字のうち、数字０の位置を固定し、１、２、３、４の４つの数字の位置を、右から左に少しずつ移動することで、画像Ｎｏ．１～画像Ｎｏ．９で示す９つの画像１９０２である多視点画像１９０２を生成した場合を示している。こうして生成した画像Ｎｏ．１～Ｎｏ．９は、１つの画素グループとして、液晶表示パネル１１の画素１～９に割り当てられる。
次に、図２１は、図１９の場合とは逆に、被写体１９００における０、１、２、３、４の５つの数字のうち、数字０の位置を固定し、１、２、３、４の４つの数字の位置を、右から左に少しずつ移動することで、画像Ｎｏ．１～画像Ｎｏ．９で示す９つの画像１９０２である多視点画像１９０２を生成した場合を示している。こうして生成した画像Ｎｏ．１～Ｎｏ．９は、１つの画素グループとして、液晶表示パネル１１の画素１～９に割り当てられる。
【0174】
図２２は、上記のように、画素１～９に対して、数字０の位置を固定し、１～４の数字を右から左に少しずつ移動させることで多視点画像１９０２を生成し、さらに、レンチキュラーレンズ１１０３を液晶表示パネル１１の映像光出射側に配置することで、運動視差を得ることができることを示す図である。すなわち、図示の利用者の視点が、Ｘ方向で左から右に移動することで、数字０の位置は変わらないが、数字１～４は右から左に移動して見えることとなる。この場合、図２０とは逆に、利用者は、数字０が近い位置（手前の方）にあるように見え、数字１～４は遠い位置（後ろの方、奥側）にあるように見える。
【0175】
上記のように、数字０が近い位置（手前の方）にあるように見え、数字１～４は遠い位置（後ろの方）にあるように見える現象は、以下のような物理現象のアナロジーとして説明することができる。すなわち、図２２において、利用者が左側にいるとき、数字１～４は、利用者から見ると数字０よりも、右側にあるように見え、利用者が正面の位置にいるとき、数字０、および数字１～４は同一平面上に存在するように見え、逆に、利用者が右側にいるとき、数字１～４は、利用者から見ると数字０よりも、左側にあるように見える。言い換えると、利用者からは、数字０の位置は常に基準の位置（中央）に留まっているように見え、それに対して、数字１～４は、常に、数字０よりも遠い位置（後ろの方、奥側）に存在するように見える。
【0176】
すなわち、図２０および図２２の場合も、図１９および図２１の場合と同様に、第１のオブジェクトとして数字０の位置を固定し、第２のオブジェクトとして数字１～４を左右、または右左に、少しずつずらして各画素１～９に配置することで、利用者には数字０と数字１～４の奥行き方向の位置がずれて見えることとなる。より詳細には、図１９、図２０の場合には、数字０の位置は、数字１～４よりも遠い位置に存在するように見え、逆に、図２１、図２２の場合には、数字０の位置は、数字１～４よりも近い位置に存在するように見える。
【0177】
本発明の実施例１のポイントの１つは、上記の点にある。すなわち、多視点画像を用いて、運動視差を得る場合、従来の技術では、多視点画像は、被写体に対して、カメラを円周上に配置した位置から、被写体に対して異なる角度で撮影して生成する必要があるのに対し、本発明の実施例１では、多視点画像を構成する複数のオブジェクトの相対的な位置関係を、単に、直線的に所定の方向（左右方向）にずらすだけで、複数のオブジェクトのうち、あるオブジェクトは他のオブジェクトよりも相対的に遠くの位置（奥側）に存在するように見え、逆に、複数のオブジェクトのうち、他のオブジェクトはあるオブジェクトよりも相対的に近い位置（手前側）に存在するように見えることとなる。
【0178】
本発明の実施例１のポイントの２つ目は、上記のように生成した多視点画像１９０２を、さらに、空間浮遊像３として表示したときに表れる。
【0179】
図２３は、図２０で示した映像表示装置１０とレンチキュラーレンズ１１０３とを備えた多視点映像表示装置により表示した多視点画像１９０２を、再帰反射板３３０を介して、空間浮遊像３として表示した様子を示す図である。すでに図１７、図１８を用いて記載したように、再帰反射板３３０を介して生成される空間浮遊像３では、映像表示装置１０により表示される多視点画像（多視点映像であってもよい）の左右の順番と、空間浮遊映像３による多視点画像の左右の順番とは、ちょうど逆の順番となって、利用者に認識される。
【0180】
すなわち、図１９に示すように、画像Ｎｏ.１が一番左側の画素１に対応し、画像Ｎｏ.２が画素１の右隣の画素２に対応し、さらに、最後の画像Ｎｏ.９が一番右側の画素９に対応するといった順番で多視点画像１９０２が生成される場合、多視点映像表示装置は、こうして生成された多視点画像１９０２を、図２３に示すように、映像表示装置１０およびレンチキュラーレンズ１１０３と再帰反射板３３０を介して、空間浮遊像３として表示する。映像表示装置１０およびレンチキュラーレンズ１１０３では、画像Ｎｏ．１～Ｎｏ．９は、Ｘ方向で左から右への順番で配置されている。すると、利用者から見て、空間浮遊映像３では、多視点画像１９０３である画像Ｎｏ.１～Ｎｏ，９が映像表示装置１０での順番とは逆の順番で配置され、画像Ｎｏ.１は一番右側に、画像Ｎｏ.２は画像Ｎｏ.１の左隣に、さらに、最後の画像Ｎｏ.９は一番左側に存在するように認識される。
【0181】
上記のように、図２３に示す実施例では、利用者が空間浮遊像３として認識する多視点画像１９０３は、図２２に示した順番と同じ配置を備える。すなわち、空間浮遊像３を認識（観察）する利用者からは、数字０の位置は常に基準の位置（中央）に留まっているように見え、数字１～４は、数字０よりも相対的に遠い位置（後ろの方、奥側）に存在するように見えることとなる。
【0182】
続いて、図２４は、図２２で示した映像表示装置１０とレンチキュラーレンズ１１０３とを備えた多視点映像表示装置により表示した多視点画像１９０２を、再帰反射板３３０を介して、空間浮遊像３として表示した様子を示す図である。この場合も、図２３と同様に、再帰反射板３３０を介して生成される空間浮遊像３では、映像表示装置１０により表示される多視点画像１９０２（多視点映像であってもよい）の左右の順番と、空間浮遊映像３による多視点画像１９０２の左右の順番とは、逆の順番となって、利用者に認識される。
【0183】
途中の経緯は図２３の場合と同様であるため詳細な説明を省くが、図２４に示す実施例では、利用者が空間浮遊像３として認識する多視点画像１９０３は、図２０に示した順番と同じ配置を備える。すなわち、空間浮遊像３を認識（観察）する利用者からは、数字０の位置は常に基準の位置（中央）に留まっているように見え、数字１～４は、数字０よりも相対的に近い位置（手前側）に存在するように見えることとなる。
【0184】
上記図２３および図２４を用いて説明した通り、映像表示装置１０により表示される多視点画像１９０２の左右の順番と、空間浮遊映像３による多視点画像１９０３の左右の順番とは、ちょうど逆の順番となって、利用者に認識される。より具体的には、図２３の場合には、数字０の位置は常に基準の位置（中央）に留まっているように見え、それに対して、数字１～４は、常に、数字０よりも相対的に遠い位置（後ろの方、奥側）に存在するように見える。一方、図２４の場合には、数字０の位置は常に基準の位置（中央）に留まっているように見え、それに対して、数字１～４は、常に、数字０よりも相対的に近い位置（手前側）に存在するように見えることとなる。
【0185】
多視点映像表示装置である空間浮遊映像表示装置は、図２４のような多視点画像１９０３の表示、数字１～４のオブジェクトを手前側に表示する第１の状態、としたい場合には、図２２のような多視点画像１９０２の表示、数字１～４を移動する第２のオブジェクトとして逆順（右から左）に配置、とすればよい。逆に、図２３のような多視点画像１９０３の表示、数字１～４のオブジェクトを奥側に表示する第２の状態、としたい場合には、図２０のような多視点画像１９０２の表示、数字１～４を移動する第２のオブジェクトとして順（左から右）に配置、とすればよい。
【0186】
すなわち、本発明の実施例１によれば、空間浮遊映像３として表示するオブジェクトとして、例えば複数の数字を表示する場合、複数の数字のうち、任意の数字の位置を変えず、その他の数字の位置を相対的に左右の方向にずらすことで、多視点画像を生成可能である。つまり、空中に空間浮遊映像３を形成する空間浮遊映像表示装置は、少なくとも２個のオブジェクトの映像を表示する映像表示装置１０と、映像表示装置の映像光出射側に配置されたレンチキュラーレンズ１１０３と、映像表示装置１０からの映像光を空中に空間浮遊映像３として形成するための光学部材（再帰反射部材３３０）とを備え、映像表示装置１０は、上記オブジェクトとして、例えば、数字に対応した押しボタンを、利用者から見て、単に左右方向に移動することで得られた多視点画像として表示する。
【0187】
その結果、生成された空間浮遊像３を利用者が観察すると、あたかも、オブジェクト（この場合は数字に対応した押しボタン）同士の奥行き方向の位置、つまり、奥側か手前側かの位置関係が異なって見える、という効果をもたらす。別の言い方をすると、空間浮遊像３に奥行き感、あるいは立体感をもたらすことができる。この画像として表示されるオブジェクトとしては、数字に限らず、任意の文字や図形であってもよい。
【0188】
これにより、本実施例によれば、例えば数字を押しボタン（言い換えると数字ボタン）とするＨＭＩないしＧＵＩとして空間浮遊像３を表示する場合において、任意の数字ボタンが利用者によってタッチ（空中操作）されると、表示制御によって、そのタッチされた数字ボタンだけが奥側に引っ込み、他の数字ボタンは相対的に手前側にあるままとして見せることができる、という新たな効果をもたらす。具体的な表示制御としては、空間浮遊映像表示装置は、タッチされた数字ボタン（例えば数字１のオブジェクト）を、前述のような手前側に表示する第１の状態から、奥側に表示する第２の状態へ変化させるように制御すればよい。
【0189】
図２３および図２４に示す実施例では、数字０（位置を固定する第１のオブジェクト）を、他の数字１～４（位置を移動する第２のオブジェクト）に対して、手前側に表示する例（図２３）や、逆に、他の数字１～４を、数字０に対して、手前側に表示する例（図２４）を示した。これに限定されず、例えば数字０～９のうち、任意の１つあるいは２つ以上の数字を、他の数字に比較して手前側に表示したり、奥側に表示したりすることが可能である。また、上記例では、多視点画像のオブジェクトの奥行き方向での位置として、手前側と奥側との２つの位置のみを設ける場合を説明したが、これに限定されず、画像を所定の方向にずらして移動する距離などを設計することで、多視点画像のオブジェクトの奥行き方向での位置を多段階の位置として同様に実現可能である。
【0190】
以上、本発明の実施例１の原理について、オブジェクトとして数字０～４の場合で説明したが、すでに記載したように、空間浮遊像３として表示するオブジェクトとしては、数字に限らず、任意の文字や図形であってもよい。したがって、本発明の実施例１の適用範囲は広い。例えば、数字０～９の押しボタン、決定ボタン、発信オン・オフボタン等を備える電話に適用することもできるし、また、エレベータの階数を表す数字ボタン、ドアの開閉ボタンを備えるエレベータに適用することも可能である。
【0191】
本発明の実施例１によれば、多視点画像を構成する複数のオブジェクトの各オブジェクトを、単に、直線的に左右に移動するだけで、すなわちその移動によってオブジェクトの位置関係を異ならせた複数の画像（例えば図２３の画像１９０２）を生成するだけで、オブジェクト同士の奥行き方向の位置（奥側か手前側か）を異ならせて表示することができる。よって、実施例１では、従来の多視点画像を生成する方法に比べて、簡便な方法で、多視点画像を生成することができる。しかも、利用者にとっては、自分が操作したボタン（オブジェクト）が確実に反応しているかを、立体的に視認できるので、操作の誤りの有無を確実に把握でき、さらに、空間浮遊像としてボタンを操作できるので、特に、不特定多数の利用者がタッチ操作を行う機器を、安心して操作することができる、という効果をもたらす。
【0192】
＜自動販売機に係る本発明の実施の形態＞
次に、図２６を用いて、本発明の実施の形態として、空間浮遊映像表示装置を、自動販売機に適用した例について説明する。図２６は、例えば、ドリンク類の自動販売機に、本発明の多視点映像表示装置（空間浮遊映像表示装置）を適用した場合を示す図である。
次に、図２６を用いて、本発明の実施の形態として、空間浮遊映像表示装置を、自動販売機に適用した例について説明する。図２６は、例えば、ドリンク類の自動販売機に、本発明の多視点映像表示装置（空間浮遊映像表示装置）を適用した場合を示す図である。
【0193】
図２６において、自動販売機本体２６００には、空間浮遊映像表示部２６２０が備えられている。この空間浮遊映像表示部２６２０も、図示はしないが、図１２または図１３に示した内部構成を備えており、空間浮遊映像表示部２６２０による空間浮遊映像３は、映像表示装置１０とレンチキュラーレンズ１１０３による多視点映像に基づき生成される。また、この自動販売機本体２６００には、自動販売機本体２６００により販売されているドリンク類を表示するドリンク類ディスプレイ部２６８０、お札を投入するためのお札投入部２６８１、コインを投入するためのコイン投入部２６８２、つり銭を取り出すためのつり銭取り出し口２６８３、利用者によって購入されたドリンクを取り出すためのドリンク取り出し口２６８４が備えられている。
【0194】
自動販売機本体２６００には、人感センサまたはカメラ２６３０が備えられており、
人感センサまたはカメラ２６３０は、自動販売機本体２６００に対する利用者の近付きを検出するためのデバイスである。自動販売機本体２６００に利用者が近づくと、空間浮遊映像表示装置は、人感センサまたはカメラ２６３０による検出結果に基づいて、利用者が近付いたことを検知し、空間浮遊映像表示部２６２０を起動する。次に、図２６中の（ａ）に示すように、空間浮遊映像表示部２６２０には、空間浮遊映像（多視点画像）として、人物像２６２１が表れ、利用者に対して、例えば、「いらっしゃいませ。ご利用ありがとうございます。画面が数字ボタンに変わります。ご希望の商品番号をお選びください。」といった音声を発する。その後、空間浮遊映像表示部２６２０からは人物像２６２１が消え、続いて、（ｂ）に示すように、数字ボタン２６２２と決定ボタン２６２３が表示される。この時、図示はしないが、数字ボタン２６２２と決定ボタン２６２３に加えて、取り消しボタンや、戻るボタンが表示されてもよい。
人感センサまたはカメラ２６３０は、自動販売機本体２６００に対する利用者の近付きを検出するためのデバイスである。自動販売機本体２６００に利用者が近づくと、空間浮遊映像表示装置は、人感センサまたはカメラ２６３０による検出結果に基づいて、利用者が近付いたことを検知し、空間浮遊映像表示部２６２０を起動する。次に、図２６中の（ａ）に示すように、空間浮遊映像表示部２６２０には、空間浮遊映像（多視点画像）として、人物像２６２１が表れ、利用者に対して、例えば、「いらっしゃいませ。ご利用ありがとうございます。画面が数字ボタンに変わります。ご希望の商品番号をお選びください。」といった音声を発する。その後、空間浮遊映像表示部２６２０からは人物像２６２１が消え、続いて、（ｂ）に示すように、数字ボタン２６２２と決定ボタン２６２３が表示される。この時、図示はしないが、数字ボタン２６２２と決定ボタン２６２３に加えて、取り消しボタンや、戻るボタンが表示されてもよい。
【0195】
ここで、図２６に示す空間浮遊映像表示部２６２０に表示される人物像２６２１の映像は、図１７に示すような運動視差を伴う多視点映像１５０２に基づく空間浮遊映像３（１５０３）であってもよい。これにより、利用者は、人物像２６２１の映像を立体像として視認することができる。さらに、利用者が自動販売機本体２６００の周辺を移動した場合には、利用者は、人物像２６２１が、利用者の例えば左右方向の移動に伴い、常に利用者の方に視線を向けて話しかけるように見える。そのため、利用者は、人物像２６２１の映像を、あたかも自分一人に向かって話しかけてくれているような感覚を得ることができる、という効果をもたらす。
【0196】
利用者が、空間浮遊映像表示部２６２０に表示された数字ボタン２６２２と決定ボタン２６２３を操作することにより、ドリンクを選択し、所定の金額を、お札投入部２６８１やコイン投入部２６８２に投入することで、当該ドリンクがドリンク取り出し口２６８４から取り出すことができる形で供出される。
【0197】
ここで、上記数字ボタン２６２２や決定ボタン２６２３は、図２３、図２４に示した、多視点画像を用いる。このことにより、例えば数字ボタン０～９のうち、利用者が、例えば、数字ボタン１と数字ボタン２を、この順序でタッチ操作（空中操作）し、引き続き決定ボタン２６２３にタッチ操作（空中操作）することで、番号１２で表されるドリンクを選択することができる。また、ここで、数字ボタン１と数字ボタン２、および決定ボタン２６２３は、図２５と同様に、他のボタン、すなわち、数字ボタン０および数字ボタン３～９よりも奥側に引っ込んだように表示される。これにより、利用者は、自分が番号１２のドリンクを選択したことを明確に認識することが可能となる。
【0198】
ドリンク取り出し口２６８４からドリンクが取り出されると、その後、空間浮遊映像表示部２６２０には、数字ボタン０～９と決定ボタン２６２３が消え、（ｃ）に示すように、再び、人物像２６２１が表れ、例えば、「ありがとうございました。またのご利用をお持ちしております。」などといった音声を発する。この場合でも、音声は、通常のスピーカから発せられてもよいし、前述の超指向性スピーカにより、利用者だけが聞こえるように発せられてもよい。
【0199】
上記の一連の操作により、利用者は所望のドリンクを購入することができる。なお、図２６の例では、自動販売機本体２６００に前述の構成要素のうち空間浮遊映像表示部だけが備えられている例を示したが、映像表示装置と空間浮遊映像表示部との両方が備えられていてもよいし、また、空間浮遊映像表示部が、１か所ではなく、２か所以上に備えられてもよい。なお、例えば空間浮遊映像表示部が２か所に備えられている場合には、そのうちのいずれか一方の空間浮遊映像表示部に、運動視差を伴う多視点映像として人物像が表示され、他方の空間浮遊映像表示部に、数字ボタンと決定ボタンが表示されるように構成してもよい。
【0200】
また、人物像２６２１として、複数の、年齢や性別の異なる、別の人物像やアニメーションによるキャラクターを表示するようにしてもよい。上記複数の、年齢や性別の異なる、別の人物像やアニメーションによるキャラクターを表示するためのデータは、図２の不揮発性メモリ１１０８に格納されており、適宜、それら複数の人物像やアニメーションによるキャラクターのうちの１つが選択されて、空間浮遊映像表示部に表示されるようにしてもよい。その場合、利用者の属性（例えば年齢など）に応じて、いずれの人物像またはキャラクターを表示するかを決定するようにしてもよい。
【0201】
以上、記載したように、本実施の形態では、運動視差を伴う多視点画像（または映像）に基づく空間浮遊映像表示部２６２０を備えているので、利用者は非接触で商品を選択して購入することができる。また、利用者が自動販売機に近づくことを検知して、空間浮遊映像が自動的に表示され、さらに、空間浮遊映像表示部２６２０には、運動視差を伴う多視点画像（または映像）の表示に基づく、立体像として認識される人物像２６２１を表示することができる。その結果、あたかも、実際の人物がそこに存在し、しかも、自分がどの位置に移動しても、常に自分に向かって話しかけてくれているような感覚を得ることができる。さらに、数字ボタン２６２２（数字ボタン０～９）のいずれか、および決定ボタン２６２３にタッチした場合には、上記のように、利用者が選択（タッチ）した数字ボタン２６２２および決定ボタン２６２３は、他のボタンよりも奥側に引っ込んだように表示されるので、利用者は、自分が選択したドリンクの番号を明確に認識することが可能となる、という効果を得ることができる。
【0202】
また、上述したように、本実施の形態では、空間浮遊映像として多視点映像が表示され、特に、ＨＭＩとしての押しボタンが立体的に表示されるので、利用者にとって実際の押しボタンを押下するように見え、ＨＭＩとして好適な空間浮遊映像を提供することができる、という効果がある。
【0203】
以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。各実施の形態は、必須構成要素を除き、構成要素の追加・削除・置換などが可能である。特に限定しない場合、各構成要素は、単数でも複数でもよい。各実施の形態を組み合わせた形態も可能である。
【0204】
実施の形態に係る技術では、空間浮遊映像を高解像度かつ高輝度な映像を空間浮遊した状態で表示することにより、例えば、ユーザは感染症の接触感染に対する不安を感じることなく操作を可能にする。不特定多数のユーザが使用するシステムに本実施例に係る技術を用いれば、感染症の接触感染のリスクを低減し、不安を感じることなく使用できる非接触ユーザインタフェースを提供可能にする。このような技術を提供する本発明によれば、国連の提唱する持続可能な開発目標（ＳＤＧｓ:Sustainable Development Goals）の「３すべての人に健康と福祉を」に貢献する。
【0205】
また、実施の形態に係る技術では、出射する映像光の発散角を小さくし、さらに特定の偏波に揃えることで、再帰反射部材に対して正規の反射光だけを効率良く反射させるため、光の利用効率が高く、明るく鮮明な空間浮遊映像を得ることが可能になる。実施の形態に係る技術によれば、消費電力を大幅に低減可能な、利用性に優れた非接触ユーザインタフェースを提供できる。このような技術を提供する本発明によれば、国連の提唱する持続可能な開発目標（ＳＤＧｓ:Sustainable Development Goals）の「９産業と技術革新の基盤をつくろう」および「１１住み続けられるまちづくりを」に貢献する。
【0206】
さらに、実施の形態に係る技術では、指向性（直進性）の高い映像光による空間浮遊映像の形成を可能にする。本実施例に係る技術では、いわゆるキオスク端末のような高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示する場合でも、指向性の高い映像光を表示することで、ユーザ以外に空間浮遊映像を覗き込まれる危険性が少ない非接触ユーザインタフェースを提供可能にする。本発明は、以上のような技術を提供することにより、国連の提唱する持続可能な開発目標（ＳＤＧｓ:Sustainable Development Goals）の「１１住み続けられるまちづくりを」に貢献する。
【符号の説明】
【0207】
１…空間浮遊映像表示装置、２…再帰反射部材、３…空間浮遊映像、１０…映像表示装置、１１…液晶表示パネル、１３…光源装置、３３０…再帰反射板（再帰反射部材、再帰性反射部材）、１１０３…レンチキュラーレンズ、１４０１…画素、１９０２…画像（多視点画像）、１９０３…画像（多視点画像）。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】