知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-10
(45)【発行日】2024-10-21
(54)【発明の名称】空間浮遊映像表示装置
(51)【国際特許分類】
G02B 30/56 20200101AFI20241011BHJP
G09F 9/00 20060101ALI20241011BHJP
G06F 3/01 20060101ALN20241011BHJP
【ＦＩ】
G02B30/56
G09F9/00 313
G09F9/00 366A
G06F3/01 510
【請求項の数】
9
(21)【出願番号】P 2021109317
(22)【出願日】2021-06-30
(65)【公開番号】P2023006618
(43)【公開日】2023-01-18
【審査請求日】2023-07-18
(73)【特許権者】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110002066
【氏名又は名称】弁理士法人筒井国際特許事務所
(72)【発明者】
【氏名】渡辺 克行
(72)【発明者】
【氏名】清水 拓也
(72)【発明者】
【氏名】平田 浩二
(72)【発明者】
【氏名】藤田 浩司
(72)【発明者】
【氏名】杉山 寿紀
【審査官】川村 大輔
(56)【参考文献】
【文献】特開２０１９－１０５７４４（ＪＰ，Ａ）
【文献】国際公開第２００６／０３８５０９（ＷＯ，Ａ１）
【文献】特開２０２０－０４３４７２（ＪＰ，Ａ）
【文献】特開２０１２－０４７９９５（ＪＰ，Ａ）
【文献】特開２０１９－１０９４０７（ＪＰ，Ａ）
【文献】特開２０２０－０５６８０６（ＪＰ，Ａ）
【文献】特開２０２０－１３４８４３（ＪＰ，Ａ）
【文献】特開２０２０－１７０３０２（ＪＰ，Ａ）
【文献】特開２０１４－０６７０７１（ＪＰ，Ａ）
【文献】国際公開第２０１８／００３８６０（ＷＯ，Ａ１）
【文献】特開２０１７－０８４０７３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０２Ｂ ３０／００ －３０／６０
Ｇ０６Ｆ ３／００ － ３／０１
Ｇ０６Ｆ ３／０４８－ ３／０４８９５
(57)【特許請求の範囲】
【請求項1】
映像を表示する表示装置と、前記表示装置からの映像光を反射させ、反射した光により空中に空間浮遊映像を形成せしめる再帰反射板と、
を備え、
前記空間浮遊映像の表示範囲においては、オブジェクトが表示されている領域があり、前記オブジェクトが表示されている領域を取り囲む黒表示領域が配置されており、前記黒表示領域を取り囲む枠映像表示領域が配置されており、
前記空間浮遊映像を周囲から取り囲むように配置される物理枠を有し、
前記物理枠は、前記表示装置と前記再帰反射板を格納する格納部を覆うカバー構造の開口窓を形成しており、
前記カバー構造の内部に、前記開口窓と前記表示装置と前記再帰反射板を格納する前記格納部の間に配置される遮光板であって、前記開口窓の少なくとも上端と下端の両者から前記表示装置と前記再帰反射板を格納する前記格納部に向かって延伸する遮光板を有する、
空間浮遊映像表示装置。
【請求項2】
請求項１に記載の空間浮遊映像表示装置において、前記黒表示領域とは、前記空間浮遊映像に対応する前記表示装置の表示映像において、輝度を有する映像情報がない領域である、
空間浮遊映像表示装置。
【請求項3】
請求項１に記載の空間浮遊映像表示装置において、前記オブジェクトに対してタッチ操作を行うユーザの指の位置を検出するセンサを備える、
空間浮遊映像表示装置。
【請求項4】
請求項３に記載の空間浮遊映像表示装置において、前記オブジェクトの近傍に、前記オブジェクトがタッチ操作が可能なオブジェクトである旨を示すメッセージを表示する、
空間浮遊映像表示装置。
【請求項5】
請求項４に記載の空間浮遊映像表示装置において、前記メッセージに加えて、前記オブジェクトを指し示すマークを表示する、
空間浮遊映像表示装置。
【請求項6】
請求項１に記載の空間浮遊映像表示装置において、前記枠映像表示領域の表示色は、
前記物理枠の色と同系色である、
空間浮遊映像表示装置。
【請求項7】
請求項１に記載の空間浮遊映像表示装置において、前記遮光板は筒型の四角柱を構成する、
空間浮遊映像表示装置。
【請求項8】
請求項１に記載の空間浮遊映像表示装置において、前記遮光板は四角錐台を構成する、
空間浮遊映像表示装置。
【請求項9】
請求項８に記載の空間浮遊映像表示装置において、前記四角錐台の形状は、前記開口窓の近傍から前記表示装置と前記再帰反射板を格納する格納部に向かって広がっていく形状である、
空間浮遊映像表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、空間浮遊映像表示装置に関する。
【背景技術】
【0002】
空間浮遊情報表示システムとして、直接外部に向かって映像を表示する映像表示装置と空間画面として表示される表示法は既に知られている。また、表示された空間像の操作面における操作に対する誤検知を低減する検知システムについても、例えば、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－１２８７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、空間浮遊映像に対するタッチ操作は、物理的なボタンやタッチパネル等に対し行うものではない。このため、タッチ操作がなされたか否かを、ユーザが認識できない場合がある。
【0005】
本発明の目的は、より好適な空間浮遊映像表示装置を提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、空間浮遊映像表示装置は、映像を表示する表示装置と、前記表示装置からの映像光を反射させ、反射した光により空中に空間浮遊映像を形成せしめる再帰反射板と、を備え、前記空間浮遊映像の表示範囲においては、オブジェクトが表示されている領域があり、前記オブジェクトが表示されている領域を取り囲む黒表示領域が配置されており、前記黒表示領域を取り囲む枠映像表示領域が配置されており、前記空間浮遊映像を周囲から取り囲むように配置される物理枠を有し、前記物理枠は、前記表示装置と前記再帰反射板を格納する格納部を覆うカバー構造の開口窓を形成しており、前記カバー構造の内部に、前記開口窓と前記表示装置と前記再帰反射板を格納する前記格納部の間に配置される遮光板であって、前記開口窓の少なくとも上端と下端の両者から前記表示装置と前記再帰反射板を格納する前記格納部に向かって延伸する遮光板を有するように構成すればよい。
【発明の効果】
【0007】
本発明によれば、より好適な空間浮遊映像表示装置を実現できる。これ以外の課題、構成および効果は、以下の実施形態の説明において明らかにされる。
【図面の簡単な説明】
【0008】
【図1】本発明の一実施例に係る空間浮遊映像表示装置の使用形態の一例を示す図である。
【図2】本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。
【図3A】空間浮遊映像表示装置の設置方法の一例を示す図である。
【図3B】空間浮遊映像表示装置の設置方法の他の例を示す図である。
【図3C】空間浮遊映像表示装置の構成例を示す図である。
【図4】本発明の一実施例に係る空間浮遊映像表示装置の主要部構成の他の例を示す図である。
【図5】空間浮遊映像表示装置で用いるセンシング装置の機能を説明するための説明図である。
【図6】空間浮遊映像表示装置で用いる３次元映像表示の原理の説明図である。
【図7】反射型偏光板の特性を評価した測定系の説明図である。
【図8】反射型偏光板透過軸の光線入射角度に対する透過率特性を示す特性図である。
【図9】反射型偏光板反射軸の光線入射角度に対する透過率特性を示す特性図である。
【図10】反射型偏光板透過軸の光線入射角度に対する透過率特性を示す特性図である。
【図11】反射型偏光板反射軸の光線入射角度に対する透過率特性を示す特性図である。
【図12】光源装置の具体的な構成の一例を示す断面図である。
【図13】光源装置の具体的な構成の一例を示す断面図である。
【図14】光源装置の具体的な構成の一例を示す断面図である。
【図15】本発明の一実施例に係る空間浮遊映像表示装置の主要部を示す配置図である。
【図16】本発明の一実施例に係る表示装置の構成を示す断面図である。
【図17】光源装置の具体的な構成の一例を示す断面図である。
【図18】光源装置の具体的な構成の一例を示す断面図である。
【図19】光源装置の具体的な構成の一例を示す断面図である。
【図20】映像表示装置の光源拡散特性を説明するための説明図である。
【図21】映像表示装置の拡散特性を説明するための説明図である。
【図22】映像表示装置の拡散特性を説明するための説明図である。
【図23】映像表示装置の構成を示す断面図である。
【図24】従来技術におけるゴースト像の発生原理を説明するための説明図である。
【図25】本発明の一実施例に係る表示装置の構成を示す断面図である。
【図26】本発明の一実施例に係る表示装置の表示の一例を説明する図である。
【図27】仮想影を用いたタッチ操作の補助方法の一例を説明する図である。
【図28】仮想影を用いたタッチ操作の補助方法の一例を説明する図である。
【図29】仮想影を用いたタッチ操作の補助方法の一例を説明する図である。
【図30】仮想影を用いたタッチ操作の補助方法の他の例を説明する図である。
【図31】仮想影を用いたタッチ操作の補助方法の他の例を説明する図である。
【図32】仮想影を用いたタッチ操作の補助方法の他の例を説明する図である。
【図33】仮想光源の設定方法を説明する図である。
【図34】指の位置の検出方法の一例を示す構成図である。
【図35】指の位置の検出方法の他の例を示す構成図である。
【図36】指の位置の検出方法のその他の例を示す構成図である。
【図37】入力した内容を表示してタッチ操作を補助する方法を説明する図である。
【図38】入力内容を強調表示してタッチ操作を補助する方法を説明する図である。
【図39】振動によりタッチ操作の補助を行う方法の一例を説明する図である。
【図40】振動によるタッチ操作の補助方法の他の例を説明する図である。
【図41】振動によるタッチ操作の補助方法のその他の例を説明する図である。
【図42A】本発明の一実施例に係る空間浮遊映像の表示例の一例を説明する図である。
【図42B】本発明の一実施例に係る空間浮遊映像の表示例の一例を説明する図である。
【図43】本発明の一実施例に係る空間浮遊映像表示装置の構成例の一例を説明する図である。
【図44】本発明の一実施例に係る空間浮遊映像表示装置の一部分の構成例の一例を説明する図である。
【図45】本発明の一実施例に係る空間浮遊映像の表示例の一例を説明する図である。
【図46】本発明の一実施例に係る空間浮遊映像表示装置の構成例の一例を説明する図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、本発明は実施例の説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものには、同一の符号を付与し、その繰り返しの説明は省略する場合がある。なお、以下の実施例の説明において、空間に浮遊する映像を「空間浮遊映像」という用語で表現している。この用語の代わりに、「空中像」、「空間像」、「空中浮遊映像」、「表示映像の空間浮遊光学像」、「表示映像の空中浮遊光学像」などと表現してもかまわない。実施例の説明で主として用いる「空間浮遊映像」との用語は、これらの用語の代表例として用いている。
【0010】
以下の実施例は、映像発光源からの映像光による映像を、ガラス等の空間を仕切る透明な部材を介して透過して、前記透明な部材の外部に空間浮遊映像として表示することが可能な映像表示装置に関する。
【0011】
以下の実施例によれば、例えば、銀行のＡＴＭや駅の券売機やデジタルサイネージ等において好適な映像表示装置を実現できる。例えば、現状、銀行のＡＴＭや駅の券売機等では、通常、タッチパネルが用いられているが、透明なガラス面や光透過性の板材を用いて、このガラス面や光透過性の板材上に高解像度な映像情報を空間浮遊した状態で表示可能となる。この時、出射する映像光の発散角を小さく、即ち鋭角とし、さらに特定の偏波に揃えることで、再帰反射部材に対して正規の反射光だけを効率良く反射させるため、光の利用効率が高く、従来の再帰反射方式での課題となっていた主空間浮遊像の他に発生するゴースト像を抑えることができ、鮮明な空間浮遊映像を得ることができる。また、本実施例の光源を含む装置により、消費電力を大幅に低減することが可能な、新規で利用性に優れた空間浮遊映像表示装置（空間浮遊映像表示システム）を提供することができる。また、例えば、車両において車両内部および／または外部において視認可能である、いわゆる、一方向性の空間浮遊映像表示が可能な車両用空間浮遊映像表示装置を提供することができる。なお、以下の実施例では、いずれの場合も再帰反射部材として板状のものを用いてよい。この場合、再帰反射板と表現してもよい。
【0012】
一方、従来の技術では、高解像度なカラー表示映像源１５０として有機ＥＬパネルや液晶パネルを再帰反射部材１５１と組合せる。従来の技術では映像光が広角で拡散するため、再帰反射部材１５１で正規に反射する反射光の他に、図２４に示すように、再帰反射部材２aに斜めから入射する映像光によってゴースト像３０１及び３０２が発生し、空間浮遊映像の画質を損ねていた。また、図２３に示すように、正規な空間浮遊映像３００の他に第１ゴースト像３０１や第２ゴースト像３０２などが複数発生する。このため監視者以外にもゴースト像である同一空間浮遊映像を監視されてしまいセキュリティ上大きな課題があった。
【0013】
＜空間浮遊映像表示装置＞
図１は、本発明の一実施例に係る空間浮遊映像表示装置の使用形態の一例を示す図であり、本実施例に係る空間浮遊映像表示装置の全体構成を示す図である。空間浮遊映像表示装置の具体的な構成については、図２等を用いて詳述するが、映像表示装置１から挟角な指向特性でかつ特定偏波の光が、映像光束として出射し、再帰反射部材２に一旦入射し、再帰反射して透明な部材１００（ガラス等）を透過して、ガラス面の外側に、実像である空中像（空間浮遊映像３）を形成する。
図１は、本発明の一実施例に係る空間浮遊映像表示装置の使用形態の一例を示す図であり、本実施例に係る空間浮遊映像表示装置の全体構成を示す図である。空間浮遊映像表示装置の具体的な構成については、図２等を用いて詳述するが、映像表示装置１から挟角な指向特性でかつ特定偏波の光が、映像光束として出射し、再帰反射部材２に一旦入射し、再帰反射して透明な部材１００（ガラス等）を透過して、ガラス面の外側に、実像である空中像（空間浮遊映像３）を形成する。
【0014】
また、店舗等においては、ガラス等の透光性の部材であるショーウィンド（「ウィンドガラス」とも言う）１０５により空間が仕切られている。本実施例の空間浮遊映像表示装置によれば、かかる透明な部材を透過して、浮遊映像を店舗（空間）の外部および／または内部に対して一方向に表示することが可能である。
【0015】
図１（Ａ）では、ウィンドガラス１０５の内側（店舗内）を奥行方向にしてその外側（例えば、歩道）が手前になるように示している。他方、ウィンドガラス１０５に特定偏波を反射する手段を設けることで反射させ、店内の所望の位置に空中像を形成することもできる。
【0016】
図１（Ｂ）は、上述した表示装置１の構成を示す概略ブロック図である。表示装置１は、空中像の原画像を表示する映像表示部と、入力された映像をパネルの解像度に合わせて変換する映像制御部と、映像信号を受信する映像信号受信部とを含んでいる。映像信号受信部は、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）入力など有線での入力信号への対応と、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）などの無線入力信号への対応を行い、映像受信・表示装置として単独で機能するものでもあり、タブレット、スマートフォンなどからの映像情報を表示することもできる。更にステックＰＣなどを接続すれば、計算処理や映像解析処理などの能力を持たせることもできる。
【0017】
図２は、本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。図２を用いて、空間浮遊映像表示装置の構成をより具体的に説明する。図２（Ａ）に示すように、ガラス等の透明な部材１００の斜め方向には、特定偏波の映像光を挟角に発散させる表示装置１を備える。表示装置１は、液晶表示パネル１１と、挟角な拡散特性を有する特定偏波の光を生成する光源装置１３とを備えている。
【0018】
表示装置１からの特定偏波の映像光は、透明な部材１００に設けた特定偏波の映像光を選択的に反射する膜を有する偏光分離部材１０１（図中は偏光分離部材１０１をシート状に形成して透明な部材１００に粘着している）で反射され、再帰反射部材２に入射する。再帰反射部材２の映像光入射面にはλ／４板２１を設ける。映像光は、再帰反射部材２への入射のときと出射のときの２回、λ／４板２１を通過させられることで、特定偏波から他方の偏波へ偏光変換される。ここで、特定偏波の映像光を選択的に反射する偏光分離部材１０１は偏光変換された他方の偏波の偏光は透過する性質を有するので、偏光変換後の特定偏波の映像光は、偏光分離部材１０１を透過する。偏光分離部材１０１を透過した映像光が、透明な部材１００の外側に、実像である空間浮遊映像３を形成する。
【0019】
なお、空間浮遊映像３を形成する光は再帰反射部材２から空間浮遊映像３の光学像へ収束する光線の集合であり、これらの光線は、空間浮遊映像３の光学像を通過後も直進する。よって、空間浮遊映像３は、一般的なプロジェクタなどでスクリーン上に形成される拡散映像光とは異なり、高い指向性を有する映像である。よって、図２の構成では、矢印Ａの方向からユーザが視認する場合は、空間浮遊映像３は明るい映像として視認される。しかし、矢印Ｂの方向から他の人物が視認する場合は、空間浮遊映像３は映像として一切視認することはできない。この特性は、高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示するシステムに採用する場合に非常に好適である。
【0020】
なお、再帰反射部材２の性能によっては、反射後の映像光の偏光軸が不揃いになることがある。この場合、偏光軸が不揃いになった一部の映像光は、上述した偏光分離部材１０１で反射され表示装置１に戻る。この光が、表示装置１を構成する液晶表示パネル１１の映像表示面で再反射し、ゴースト像を発生させ空間浮遊像の画質を低下させる可能性がある。
【0021】
そこで、本実施例では、表示装置１の映像表示面に吸収型偏光板１２を設ける。表示装置１から出射する映像光は吸収型偏光板１２を透過させ、偏光分離部材１０１から戻ってくる反射光は吸収型偏光板１２で吸収させることで、上記再反射を抑制できる。これにより、空間浮遊像のゴースト像による画質低下を防止することができる。
【0022】
上述した偏光分離部材１０１は、例えば反射型偏光板や特定偏波を反射させる金属多層膜などで形成すればよい。
【0023】
次に、図２（Ｂ）に、代表的な再帰反射部材２として、今回の検討に用いた日本カーバイト工業株式会社製の再帰反射部材の表面形状を示す。規則的に配列された６角柱の内部に入射した光線は、６角柱の壁面と底面で反射され再帰反射光として入射光に対応した方向に出射し、表示装置１に表示した映像に基づき実像である空間浮遊映像を表示する。
【0024】
この空間浮遊像の解像度は、液晶表示パネル１１の解像度の他に、図２（Ｂ）で示す再帰反射部材２の再帰反射部の外形ＤとピッチＰに大きく依存する。例えば、７インチのＷＵＸＧＡ（１９２０×１２００画素）液晶表示パネルを用いる場合には、１画素（１トリプレット）が約８０μｍであっても、例えば再帰反射部の直径Ｄが２４０μｍでピッチが３００μｍであれば、空間浮遊像の１画素は３００μｍ相当となる。このため、空間浮遊映像の実効的な解像度は１／３程度に低下する。
【0025】
そこで、空間浮遊映像の解像度を表示装置１の解像度と同等にするためには、再帰反射部の直径とピッチを液晶表示パネルの１画素に近づけることが望まれる。他方、再帰反射部材と液晶表示パネルの画素によるモアレの発生を抑えるため、それぞれのピッチ比を１画素の整数倍から外して設計すると良い。また、形状は、再帰反射部のいずれの一辺も液晶表示パネルの１画素のいずれの一辺と重ならないように配置すると良い。
【0026】
一方、再帰反射部材を低価格で製造するためには、ロールプレス法を用いて成形すると良い。具体的には、再帰部を整列させフィルム上に賦形する方法であり、賦形する形状の逆形状をロール表面に形成し、固定用のベース材の上に紫外線硬化樹脂を塗布しロール間を通過させることで、必要な形状を賦形し紫外線を照射して硬化させ、所望形状の再帰反射部材２を得る。
【0027】
＜＜空間浮遊映像表示装置の設置方法＞＞
次に、空間浮遊映像表示装置の設置方法について説明する。空間浮遊映像表示装置は、使用形態に応じて設置方法を自在に変更することが可能である。図３Ａは、空間浮遊映像表示装置の設置方法の一例を示す図である。図３Ａに示す空間浮遊映像表示装置は、空間浮遊映像３が形成される側の面が上方を向くように横置きにして設置される。すなわち、図３Ａでは、空間浮遊映像表示装置は、透明な部材１００が上方を向くように設置され、空間浮遊映像３が、空間浮遊映像表示装置の上方に形成される。
次に、空間浮遊映像表示装置の設置方法について説明する。空間浮遊映像表示装置は、使用形態に応じて設置方法を自在に変更することが可能である。図３Ａは、空間浮遊映像表示装置の設置方法の一例を示す図である。図３Ａに示す空間浮遊映像表示装置は、空間浮遊映像３が形成される側の面が上方を向くように横置きにして設置される。すなわち、図３Ａでは、空間浮遊映像表示装置は、透明な部材１００が上方を向くように設置され、空間浮遊映像３が、空間浮遊映像表示装置の上方に形成される。
【0028】
図３Ｂは、空間浮遊映像表示装置の設置方法の他の例を示す図である。図３Ｂに示す空間浮遊映像表示装置は、空間浮遊映像３が形成される側の面が側方（ユーザ２３０の方向）を向くように縦置きにして設置される。すなわち、図３Ｂでは、空間浮遊映像表示装置は、透明な部材１００が側方を向くように設置され、空間浮遊映像３が、空間浮遊映像表示装置の側方（ユーザ２３０の方向）に形成される。
【0029】
＜＜空間浮遊映像表示装置の構成＞＞
次に、空間浮遊映像表示装置１０００の構成について説明する。図３Ｃは、空間浮遊映像表示装置１０００の内部構成の一例を示すブロック図である。
次に、空間浮遊映像表示装置１０００の構成について説明する。図３Ｃは、空間浮遊映像表示装置１０００の内部構成の一例を示すブロック図である。
【0030】
空間浮遊映像表示装置１０００は、再帰反射部１１０１、映像表示部１１０２、導光体１１０４、光源１１０５、電源１１０６、操作入力部１１０７、不揮発性メモリ１１０８、メモリ１１０９、制御部１１１０、映像信号入力部１１３１、音声信号入力部１１３３、通信部１１３２、空中操作検出センサ１３５１、空中操作検出部１３５０、音声出力部１１４０、映像制御部１１６０、ストレージ部１１７０、撮像部１１８０等を備えている。
【0031】
空間浮遊映像表示装置１０００の各構成要素は、筐体１１９０に配置されている。なお、図３Ｃに示す撮像部１１８０および空中操作検出センサ１３５１は、筐体１１９０の外側に設けられてもよい。
【0032】
図３Ｃの再帰反射部１１０１は、図２の再帰反射部材２に対応している。再帰反射部１１０１は、映像表示部１１０２により変調された光を再帰反射する。再帰反射部１１０１からの反射光のうち、空間浮遊映像表示装置１０００の外部に出力された光により空間浮遊映像３が形成される。
【0033】
図３Ｃの映像表示部１１０２は、図２の液晶表示パネル１１に対応している。図３Ｃの光源１１０５は、図２の光源装置１３と対応している。そして、図３Ｃの映像表示部１１０２、導光体１１０４、および光源１１０５は、図２の表示装置１に対応している。
【0034】
映像表示部１１０２は、後述する映像制御部１１６０による制御により入力される映像信号に基づいて、透過する光を変調して映像を生成する表示部である。映像表示部１１０２は、図２の液晶表示パネル１１に対応している。映像表示部１１０２として、例えば透過型液晶パネルが用いられる。また、映像表示部１１０２として、例えば反射する光を変調する方式の反射型液晶パネルやＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ：登録商標）パネル等が用いてられてもよい。
【0035】
光源１１０５は、映像表示部１１０２用の光を発生するもので、ＬＥＤ光源、レーザ光源等の固体光源である。電源１１０６は、外部から入力されるＡＣ電流をＤＣ電流に変換し、光源１１０５に電力を供給する。また、電源１１０６は、空間浮遊映像表示装置１０００内の各部に、それぞれ必要なＤＣ電流を供給する。
【0036】
導光体１１０４は、光源１１０５で発生した光を導光し、映像表示部１１０２に照射させる。導光体１１０４と光源１１０５とを組み合わせたものを、映像表示部１１０２のバックライトと称することもできる。導光体１１０４と光源１１０５との組み合わせには、さまざまな方式が考えられる。導光体１１０４と光源１１０５との組み合わせについての具体的な構成例については、後で詳しく説明する。
【0037】
空中操作検出センサ１３５１は、ユーザ２３０の指による空間浮遊映像３の操作を検出するセンサである。空中操作検出センサ１３５１は、例えば空間浮遊映像３の表示範囲の全部と重畳する範囲をセンシングする。なお、空中操作検出センサ１３５１は、空間浮遊映像３の表示範囲の少なくとも一部と重畳する範囲のみをセンシングしてもよい。
【0038】
空中操作検出センサ１３５１の具体例としては、赤外線などの非可視光、非可視光レーザ、超音波等を用いた距離センサが挙げられる。また、空中操作検出センサ１３５１は、複数のセンサを複数組み合わせ、２次元平面の座標を検出できるように構成されたものでもよい。また、空中操作検出センサ１３５１は、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式のＬｉＤＡＲ(Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ)や、画像センサで構成されてもよい。
【0039】
空中操作検出センサ１３５１は、ユーザが指で空間浮遊映像３として表示されるオブジェクトに対するタッチ操作等を検出するためのセンシングができればよい。このようなセンシングは、既存の技術を用いて行うことができる。
【0040】
空中操作検出部１３５０は、空中操作検出センサ１３５１からセンシング信号を取得し、センシング信号に基づいてユーザ２３０の指による空間浮遊映像３のオブジェクトに対する接触の有無や、ユーザ２３０の指とオブジェクトとが接触した位置（接触位置）の算出等を行う。空中操作検出部１３５０は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路で構成される。また、空中操作検出部１３５０の一部の機能は、例えば制御部１１１０で実行される空間操作検出用プログラムによりソフトウェアで実現されてもよい。
【0041】
空中操作検出センサ１３５１および空中操作検出部１３５０は、空間浮遊映像表示装置１０００に内蔵された構成としてもよいが、空間浮遊映像表示装置１０００とは別体で外部に設けられてもよい。空間浮遊映像表示装置１０００と別体で設ける場合、空中操作検出センサ１３５１および空中操作検出部１３５０は、有線または無線の通信接続路や映像信号伝送路を介して空間浮遊映像表示装置１０００に情報や信号を伝達できるように構成される。
【0042】
また、空中操作検出センサ１３５１および空中操作検出部１３５０が別体で設けられてもよい。これにより、空中操作検出機能の無い空間浮遊映像表示装置１０００を本体として、空中操作検出機能のみをオプションで追加できるようなシステムを構築することが可能である。また、空中操作検出センサ１３５１のみを別体とし、空中操作検出部１３５０が空間浮遊映像表示装置１０００に内蔵された構成でもよい。空間浮遊映像表示装置１０００の設置位置に対して空中操作検出センサ１３５１をより自由に配置したい場合等には、空中操作検出センサ１３５１のみを別体とする構成に利点がある。
【0043】
撮像部１１８０は、イメージセンサを有するカメラであり、空間浮遊映像３付近の空間、および／またはユーザ２３０の顔、腕、指などを撮像する。撮像部１１８０は、複数設けられてもよい。複数の撮像部１１８０を用いることで、あるいは深度センサ付きの撮像部を用いることで、ユーザ２３０による空間浮遊映像３のタッチ操作の検出処理の際、空中操作検出部１３５０を補助することができる。撮像部１１８０は空間浮遊映像表示装置１０００と別体で設けられてもよい。撮像部１１８０を空間浮遊映像表示装置１０００と別体で設ける場合、有線または無線の通信接続路などを介して空間浮遊映像表示装置１０００に撮像信号を伝達できるように構成すればよい。
【0044】
例えば、空中操作検出センサ１３５１が、空間浮遊映像３の表示面を含む平面（侵入検出平面）を対象として、この侵入検出平面内への物体の侵入の有無を検出する物体侵入センサとして構成された場合、侵入検出平面内に侵入していない物体（例えば、ユーザの指）が侵入検出平面からどれだけ離れているのか、あるいは物体が侵入検出平面にどれだけ近いのかといった情報を、空中操作検出センサ１３５１では検出できない場合がある。
【0045】
このような場合、複数の撮像部１１８０の撮像画像に基づく物体の深度算出情報や深度センサによる物体の深度情報等の情報を用いることにより、物体と侵入検出平面との距離を算出することができる。そして、これらの情報や、物体と侵入検出平面との距離等の各種情報は、空間浮遊映像３に対する各種表示制御に用いられる。
【0046】
また、空中操作検出センサ１３５１を用いずに、撮像部１１８０の撮像画像に基づき、空中操作検出部１３５０がユーザ２３０による空間浮遊映像３のタッチ操作を検出するようにしてもよい。
【0047】
また、撮像部１１８０が空間浮遊映像３を操作するユーザ２３０の顔を撮像し、制御部１１１０がユーザ２３０の識別処理を行うようにしてもよい。また、空間浮遊映像３を操作するユーザ２３０の周辺や背後に他人が立っており、他人が空間浮遊映像３に対するユーザ２３０の操作を覗き見ていないか等を判別するため、撮像部１１８０は、空間浮遊映像３を操作するユーザ２３０と、ユーザ２３０の周辺領域とを含めた範囲を撮像するようにしてもよい。
【0048】
操作入力部１１０７は、例えば操作ボタンやリモートコントローラの受光部であり、ユーザ２３０による空中操作（タッチ操作）とは異なる操作についての信号を入力する。空間浮遊映像３をタッチ操作する前述のユーザ２３０とは別に、操作入力部１１０７は、例えば管理者が空間浮遊映像表示装置１０００を操作するために用いられてもよい。
【0049】
映像信号入力部１１３１は、外部の映像出力装置を接続して映像データを入力する。音声信号入力部１１３３は、外部の音声出力装置を接続して音声データを入力する。音声出力部１１４０は、音声信号入力部１１３３に入力された音声データに基づいた音声出力を行うことが可能である。また、音声出力部１１４０は内蔵の操作音やエラー警告音を出力してもよい。
【0050】
不揮発性メモリ１１０８は、空間浮遊映像表示装置１０００で用いる各種データを格納する。不揮発性メモリ１１０８に格納されるデータには、例えば、空間浮遊映像３に表示する各種操作用のデータ、表示アイコン、ユーザの操作が操作するためのオブジェクトのデータやレイアウト情報等が含まれる。メモリ１１０９は、空間浮遊映像３として表示する映像データや装置の制御用データ等を記憶する。
【0051】
制御部１１１０は、接続される各部の動作を制御する。また、制御部１１１０は、メモリ１１０９に記憶されるプログラムと協働して、空間浮遊映像表示装置１０００内の各部から取得した情報に基づく演算処理を行ってもよい。通信部１１３２は、有線または無線のインタフェースを介して、外部機器や外部のサーバ等と通信を行う。通信部１１３２を介した通信により、映像データ、画像データ、音声データ等の各種データが送受信される。
【0052】
ストレージ部１１７０は、映像データ、画像データ、音声データ等の各種データ＆の各種情報を記録する記憶装置である。ストレージ部１１７０には、例えば、製品出荷時に予め映像データ、画像データ、音声データ等の各種データ等の各種情報が記録されていてもよい。また、ストレージ部１１７０は、通信部１１３２を介して外部機器や外部のサーバ等から取得した映像データ、画像データ、音声データ等の各種データ等の各種情報を記録してもよい。
【0053】
ストレージ部１１７０に記録された映像データ、画像データ等は、映像表示部１１０２と再帰反射部１１０１とを介して空間浮遊映像３として出力される。空間浮遊映像３として表示される、表示アイコンやユーザが操作するためのオブジェクト等の映像データ、画像データ等も、ストレージ部１１７０に記録される。
【0054】
空間浮遊映像３として表示される表示アイコンやオブジェクト等のレイアウト情報や、オブジェクトに関する各種メタデータの情報等もストレージ部１１７０に記録される。ストレージ部１１７０に記録された音声データは、例えば音声出力部１１４０から音声として出力される。
【0055】
映像制御部１１６０は、映像表示部１１０２に入力する映像信号に関する各種制御を行う。映像制御部１１６０は、例えば、メモリ１１０９に記憶させる映像信号と、映像信号入力部１１３１に入力された映像信号（映像データ）等のうち、どの映像信号を映像表示部１１０２に入力するかといった映像切り替えの制御等を行う。
【0056】
また、映像制御部１１６０は、メモリ１１０９に記憶させる映像信号と、映像信号入力部１１３１から入力された映像信号とを重畳した重畳映像信号を生成し、重畳映像信号を映像表示部１１０２に入力することで、合成映像を空間浮遊映像３として形成する制御を行ってもよい。
【0057】
また、映像制御部１１６０は、映像信号入力部１１３１から入力された映像信号やメモリ１１０９に記憶させる映像信号等に対して画像処理を行う制御を行ってもよい。画像処理としては、例えば、画像の拡大、縮小、変形等を行うスケーリング処理、輝度を変更するブライト調整処理、画像のコントラストカーブを変更するコントラスト調整処理、画像を光の成分に分解して成分ごとの重みづけを変更するレティネックス処理等がある。
【0058】
また、映像制御部１１６０は、映像表示部１１０２に入力する映像信号に対して、ユーザ２３０の空中操作（タッチ操作）を補助するための特殊効果映像処理等を行ってもよい。特殊効果映像処理は、例えば、空中操作検出部１３５０によるユーザ２３０のタッチ操作の検出結果や、撮像部１１８０によるユーザ２３０の撮像画像に基づいて行われる。
【0059】
ここまで説明したように空間浮遊映像表示装置１０００には、さまざまな機能が搭載されている。ただし、空間浮遊映像表示装置１０００は、これらのすべての機能を備える必要はなく、空間浮遊映像３を形成する機能があればどのような構成でもよい。
【0060】
＜空間浮遊映像表示装置２＞
図４は、本発明の一実施例に係る空間浮遊映像表示装置の主要部構成の他の例を示す図である。表示装置１は、映像表示素子である液晶表示パネル１１と、挟角な拡散特性を有する特定偏波の光を生成する光源装置１３とを備える。表示装置１は、例えば、画面サイズが５インチ程度の小型のものから８０インチを超える大型な液晶表示パネルで構成される。折り返しミラー２２は、透明な部材１００を基板とする。透明な部材１００の表示装置１側の表面には、反射型偏光板のような特定偏波の映像光を選択的に反射する偏光分離部材１０１を設け、液晶表示パネル１１からの映像光を再帰反射板２に向けて反射する。これにより、折り返しミラー２２はミラーとしての機能を有する。表示装置１からの特定偏波の映像光は、透明な部材１００に設けた偏光分離部材１０１（図中はシート状の偏光分離部材１０１を粘着）で反射され、再帰反射板２に入射する。なお、偏光分離部材１０１の代わりに、透明な部材１００の表面に偏光分離特性を有する光学膜を蒸着してもよい。
図４は、本発明の一実施例に係る空間浮遊映像表示装置の主要部構成の他の例を示す図である。表示装置１は、映像表示素子である液晶表示パネル１１と、挟角な拡散特性を有する特定偏波の光を生成する光源装置１３とを備える。表示装置１は、例えば、画面サイズが５インチ程度の小型のものから８０インチを超える大型な液晶表示パネルで構成される。折り返しミラー２２は、透明な部材１００を基板とする。透明な部材１００の表示装置１側の表面には、反射型偏光板のような特定偏波の映像光を選択的に反射する偏光分離部材１０１を設け、液晶表示パネル１１からの映像光を再帰反射板２に向けて反射する。これにより、折り返しミラー２２はミラーとしての機能を有する。表示装置１からの特定偏波の映像光は、透明な部材１００に設けた偏光分離部材１０１（図中はシート状の偏光分離部材１０１を粘着）で反射され、再帰反射板２に入射する。なお、偏光分離部材１０１の代わりに、透明な部材１００の表面に偏光分離特性を有する光学膜を蒸着してもよい。
【0061】
再帰反射板の光入射面にはλ／４板２１を設け、映像光を２度通過させることで偏光変換し特定偏波を、位相が９０°異なる他方の偏波に変換する。これにより、再帰反射後の映像光について偏光分離部材１０１を透過させ、透明な部材１００の外側に実像である空間浮遊映像３を表示する。
【0062】
ここで、上述した偏光分離部材１０１では再帰反射することで偏光軸が不揃いになるため、一部の映像光は反射し表示装置１に戻る。この光が再度表示装置１を構成する液晶表示パネル１１の映像表示面で反射し、ゴースト像を発生させ空間浮遊像の画質を著しく低下させる。
【0063】
そこで、本実施例では表示装置１の映像表示面に吸収型偏光板１２を設けてもよい。表示装置１から発せられる映像光は透過させ、上述した偏光分離部材１０１からの反射光を吸収させることで空間浮遊像のゴースト像による画質低下を防止する。また、セット外部の太陽光や照明光による画質低下を軽減するため、透明な部材１００の映像光透過出力側の表面に吸収型偏光板１０２を設けると良い。
【0064】
次に、上述した空間浮遊映像表示装置により得られた空間浮遊映像に対して対象物とセンサ４４の距離と位置の関係をセンシングするように、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｙ）機能を有するセンサ４４を図５に示すように複数層に配置して、対象物の平面方向の座標の他に奥行方向の座標と対象物の移動方向、移動速度も感知することが可能となる。２次元の距離と位置を読み取るために赤外線発光部と受光部の組み合わせを複数直線的に配置し、発光点からの光を対象物に照射し反射した光を受光部で受光する。発光した時間と受光した時間との差と、光速の積により、対象物との距離が明確になる。また、平面上の座標は、複数の発光部と受光部で、発光時間と受光時間の差が最も小さい部分での座標から読み取ることができる。以上により、平面（２次元）での対象物の座標と、前述したセンサを複数組み合わせることで、３次元の座標情報を得ることもできる。
【0065】
更に、上述した空間浮遊映像表示装置として３次元の空間浮遊映像を得る方法について、図６を用いて説明する。図６は、空間浮遊映像表示装置で用いる３次元映像表示の原理の説明図である。図４に示す表示装置１の液晶表示パネル１１の映像表示画面の画素に合わせて水平レンチキュラーレンズを配置する。この結果、図６に示すように画面水平方向の運動視差Ｐ１、Ｐ２、Ｐ３の３方向からの運動視差を表示するには、３方向からの映像を３画素ごとに１つのブロックとして、１画素ごとに３方向からの映像情報を表示し、対応するレンチキュラーレンズ（図６中に縦線で示す）の作用により光の出射方向を制御して３方向に分離出射する。この結果、３視差の立体像が表示可能となる。
【0066】
＜反射型偏光板＞
本実施例の空間浮遊映像表示装置において、偏光分離部材１０１は、映像の画質を決めるコントラスト性能を、一般的なハーフミラーよりも向上させるために用いられる。本実施例の偏光分離部材１０１の一例として、反射型偏光板の特性を説明する。図７は、反射型偏光板の特性を評価した測定系の説明図である。図７の反射型偏光板の偏光軸に対して垂直方向からの光線入射角に対する透過特性と反射特性を、Ｖ－ＡＯＩとして、図８及び図９にそれぞれ示す。同様に、反射型偏光板の偏光軸に対して水平方向からの光線入射角に対する透過特性と反射特性を、Ｈ－ＡＯＩとして、図１０及び図１１にそれぞれ示す。
本実施例の空間浮遊映像表示装置において、偏光分離部材１０１は、映像の画質を決めるコントラスト性能を、一般的なハーフミラーよりも向上させるために用いられる。本実施例の偏光分離部材１０１の一例として、反射型偏光板の特性を説明する。図７は、反射型偏光板の特性を評価した測定系の説明図である。図７の反射型偏光板の偏光軸に対して垂直方向からの光線入射角に対する透過特性と反射特性を、Ｖ－ＡＯＩとして、図８及び図９にそれぞれ示す。同様に、反射型偏光板の偏光軸に対して水平方向からの光線入射角に対する透過特性と反射特性を、Ｈ－ＡＯＩとして、図１０及び図１１にそれぞれ示す。
【0067】
なお、図８～図１１の特性グラフ（各々カラーで表示している）において、右側の欄外に示す角度（ｄｅｇ）の値は、縦軸すなわち透過率（％）の値が高い順に、上から示している。例えば、図８では、横軸が略４００ｎｍ～８００ｎｍの波長の光を示す範囲において、垂直（Ｖ）方向の角度が０度（ｄｅｇ）の場合が最も透過率が高く、１０度、２０度、３０度、４０度の順に透過率が低くなる。また、図９では、横軸が略４００ｎｍ～８００ｎｍの波長の光を示す範囲において、垂直（Ｖ）方向の角度が０度（ｄｅｇ）の場合が最も透過率が高く、１０度、２０度、３０度、４０度の順に透過率が低くなる。また、図１０では、横軸が略４００ｎｍ～８００ｎｍの波長の光を示す範囲において、水平（Ｈ）方向の角度が０度（ｄｅｇ）の場合が最も透過率が高く、１０度、２０度の順に透過率が低くなる。また、図１１では、横軸が略４００ｎｍ～８００ｎｍの波長の光を示す範囲において、水平（Ｈ）方向の角度が０度（ｄｅｇ）の場合が最も透過率が高く、１０度、２０度の順に透過率が低くなる。
【0068】
図８及び図９に示すように、グリッド構造の反射型偏光板は、偏光軸に対して垂直方向からの光についての特性は低下する。このため、偏光軸に沿った仕様が望ましく、液晶表示パネルからの出射映像光を挟角で出射可能な本実施例の光源が理想的な光源となる。また、水平方向の特性も同様に、斜めからの光については特性低下がある。以上の特性を考慮して、以下、液晶表示パネルからの出射映像光をより挟角に出射可能な光源を液晶表示パネルのバックライトとして使用する、本実施例の構成例について説明する。これにより、高コントラストな空間浮遊映像が提供可能となる。
【0069】
＜表示装置＞
次に、本実施例の表示装置１について、図を用いて説明する。本実施例の表示装置１は、映像表示素子１１（液晶表示パネル）と共に、その光源を構成する光源装置１３を備えており、図１２では、光源装置１３を液晶表示パネルと共に展開斜視図として示している。
次に、本実施例の表示装置１について、図を用いて説明する。本実施例の表示装置１は、映像表示素子１１（液晶表示パネル）と共に、その光源を構成する光源装置１３を備えており、図１２では、光源装置１３を液晶表示パネルと共に展開斜視図として示している。
【0070】
この液晶表示パネル（映像表示素子１１）は、図１２に矢印３０で示すように、バックライト装置である光源装置１３からの光により挟角な拡散特性を有する、即ち、指向性（直進性）が強く、かつ、偏光面を一方向に揃えたレーザ光に似た特性の照明光束を受光する。液晶表示パネル（映像表示素子１１）は、入力される映像信号に応じて受光した照明光速を変調する。変調された映像光は、再帰反射部材２により反射し、透明な部材１００を透過して、実像である空間浮遊像を形成する（図１参照）。
【0071】
また、図１２では、表示装置１を構成する液晶表示パネル１１と、更に、光源装置１３からの出射光束の指向特性を制御する光方向変換パネル５４、および、必要に応じ挟角拡散板（図示せず）を備えて構成されている。即ち、液晶表示パネル１１の両面には偏光板が設けられ、特定の偏波の映像光が映像信号により光の強度を変調して出射する（図１２の矢印３０を参照）構成となっている。これにより、所望の映像を指向性（直進性）の高い特定偏波の光として、光方向変換パネル５４を介して、再帰反射部材２に向けて投写し、再帰反射部材２で反射後、店舗（空間）の外部の監視者の眼に向けて透過して空間浮遊映像３を形成する。なお、上述した光方向変換パネル５４の表面には保護カバー５０（図１３、図１４を参照）を設けてよい。
【0072】
本実施例では、光源装置１３からの出射光束３０の利用効率を向上させ、消費電力を大幅に低減するために、光源装置１３と液晶表示パネル１１を含んで構成される表示装置１において、光源装置１３からの光（図１２の矢印３０を参照）を、再帰反射部材２に向けて投写し、再帰反射部材２で反射後、透明な部材１００（ウィンドガラス１０５等）の表面に設けた透明シート（図示せず）により、浮遊映像を所望の位置に形成するよう指向性を制御することもできる。具体的には、この透明シートは、フレネルレンズやリニアフレネルレンズ等の光学部品によって高い指向性を付与したまま浮遊映像の結像位置を制御する。かかる構成によれば、表示装置１からの映像光は、レーザ光のようにショーウィンド１０５の外側（例えば、歩道）にいる観察者に対して高い指向性（直進性）で効率良く届く。その結果、高品位な浮遊映像を高解像度で表示すると共に、光源装置１３のＬＥＤ素子２０１を含む表示装置１による消費電力を著しく低減することが可能となる。
【0073】
＜表示装置の例１＞
図１３には、表示装置１の具体的な構成の一例を示す。図１３では、図１２の光源装置１３の上に液晶表示パネル１１と光方向変換パネル５４を配置している。この光源装置１３は、図１２に示したケース上に、例えば、プラスチックなどにより形成され、その内部にＬＥＤ素子２０１、導光体２０３を収納して構成されており、導光体２０３の端面には、図１２等にも示したように、それぞれのＬＥＤ素子２０１からの発散光を略平行光束に変換するために、受光部に対して対面に向かって徐々に断面積が大きくなる形状を有し、内部を伝搬する際に複数回全反射することで発散角が徐々に小さくなるような作用を有するレンズ形状を設けている。表示装置１における上面には、かかる表示装置１を構成する液晶表示パネル１１が取り付けられている。また、光源装置１３のケースのひとつの側面（本例では左側の端面）には、半導体光源であるＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）素子２０１や、その制御回路を実装したＬＥＤ基板２０２が取り付けられると共に、ＬＥＤ基板２０２の外側面には、ＬＥＤ素子および制御回路で発生する熱を冷却するための部材であるヒートシンクが取り付けられてもよい。
図１３には、表示装置１の具体的な構成の一例を示す。図１３では、図１２の光源装置１３の上に液晶表示パネル１１と光方向変換パネル５４を配置している。この光源装置１３は、図１２に示したケース上に、例えば、プラスチックなどにより形成され、その内部にＬＥＤ素子２０１、導光体２０３を収納して構成されており、導光体２０３の端面には、図１２等にも示したように、それぞれのＬＥＤ素子２０１からの発散光を略平行光束に変換するために、受光部に対して対面に向かって徐々に断面積が大きくなる形状を有し、内部を伝搬する際に複数回全反射することで発散角が徐々に小さくなるような作用を有するレンズ形状を設けている。表示装置１における上面には、かかる表示装置１を構成する液晶表示パネル１１が取り付けられている。また、光源装置１３のケースのひとつの側面（本例では左側の端面）には、半導体光源であるＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）素子２０１や、その制御回路を実装したＬＥＤ基板２０２が取り付けられると共に、ＬＥＤ基板２０２の外側面には、ＬＥＤ素子および制御回路で発生する熱を冷却するための部材であるヒートシンクが取り付けられてもよい。
【0074】
また、光源装置１３のケースの上面に取り付けられる液晶表示パネルのフレーム（図示せず）には、当該フレームに取り付けられた液晶表示パネル１１と、更に、当該液晶表示パネル１１に電気的に接続されたＦＰＣ（Ｆｌｅｘｉｂｌｅ Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔｓ：フレキシブル配線基板）（図示せず）などが取り付けられて構成される。即ち、映像表示素子である液晶表示パネル１１は、固体光源であるＬＥＤ素子２０１と共に、電子装置を構成する制御回路（図示せず）からの制御信号に基づいて、透過光の強度を変調することによって表示映像を生成する。この時、生成される映像光は拡散角度が狭く特定の偏波成分のみとなるため、映像信号により駆動された面発光レーザ映像源に近い、従来にない新しい映像表示装置が得られることとなる。なお、現状では、レーザ装置により、上述した表示装置１で得られる画像と同等のサイズのレーザ光束を得ることは、技術的にも安全上からも不可能である。そこで、本実施例では、例えば、ＬＥＤ素子を備えた一般的な光源からの光束から、上述した面発光レーザ映像光に近い光を得る。
【0075】
【0076】
図１３および図１４は断面図であるため、光源を構成する複数のＬＥＤ素子２０１が１つだけ示されており、これらは導光体２０３の受光端面２０３ａの形状により略コリメート光に変換される。このため、導光体端面の受光部とＬＥＤ素子は、所定の位置関係を保って取り付けられている。
【0077】
なお、この導光体２０３は、各々、例えば、アクリル等の透光性の樹脂により形成されている。図１３および図１４には示されないが、この導光体２０３の一端側におけるＬＥＤ光の受光面は、例えば、放物断面を回転して得られる円錐凸形状の外周面を有し、かかる外周面の頂側の中央領域には、凸部（即ち、凸レンズ面）を形成した凹部を有する。また、導光体２０３の他端側における平面部の中央領域には、外側に突出した凸レンズ面（あるいは、内側に凹んだ凹レンズ面でも良い）を有する。これらの構成は、図１６等の説明で後述する。なお、ＬＥＤ素子２０１を取り付ける導光体の受光部外形形状は、円錐形状の外周面を形成する放物面形状をなし、ＬＥＤ素子から周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
【0078】
他方、ＬＥＤ素子２０１は、その回路基板である、ＬＥＤ基板２０２の表面上の所定の位置にそれぞれ配置されている。このＬＥＤ基板２０２は、ＬＥＤコリメータ（受光端面２０３ａ）に対して、その表面上のＬＥＤ素子２０１が、それぞれ、前述した凹部の中央部に位置するように配置されて固定される。
【0079】
かかる構成によれば、導光体２０３の受光端面２０３ａの形状によって、ＬＥＤ素子２０１から放射される光は略平行光として取り出すことが可能となり、発生した光の利用効率を向上することが可能となる。
【0080】
以上述べたように、光源装置１３は、導光体２０３の端面に設けた受光部である受光端面２０３ａに光源であるＬＥＤ素子２０１を複数並べた光源ユニットを取り付けて構成される。そして、光源装置１３は、ＬＥＤ素子２０１からの発散光束を、導光体端面の受光端面２０３ａのレンズ形状によって略平行光として、矢印で示すように、導光体２０３内部を導光し（図面に平行な方向）、光束方向変換手段２０４によって、導光体２０３に対して略平行に配置された液晶表示パネル１１に向かって（図面から手前に垂直な方向に）出射する。導光体内部または表面の形状によって、この光束方向変換手段２０４の分布（密度）を最適化することで、液晶表示パネル１１に入射する光束の均一性を制御することができる。
【0081】
上述した光束方向変換手段２０４は、導光体表面の形状により、あるいは導光体内部に例えば屈折率の異なる部分を設けることで、導光体内を伝搬した光束を、導光体２０３に対して略平行に配置された液晶表示パネル１１に向かって（図面から手前に垂直な方向に）出射する。この時、液晶表示パネル１１を画面中央に正対し画面対角寸法と同じ位置に視点を置いた状態で画面中央と画面周辺部の輝度を比較した場合の相対輝度比が２０％以上あれば実用上問題なく、３０％を超えていれば更に優れた特性となる。
【0082】
なお、図１３は上述した導光体２０３とＬＥＤ素子２０１を含む光源装置１３において、偏光変換する本実施例の光源の構成とその作用を説明するための断面配置図である。図１３において、光源装置１３は、例えば、プラスチックなどにより形成される表面または内部に光束方向変換手段２０４を設けた導光体２０３、光源としてのＬＥＤ素子２０１、反射シート２０５、位相差板２０６、レンチキュラーレンズなどから構成されており、その上面には、光源光入射面と映像光出射面に偏光板を備える液晶表示パネル１１が取り付けられている。
【0083】
また、光源装置１３に対応した液晶表示パネル１１の光源光入射面（図の下面）にはフィルムまたはシート状の反射型偏光板４９を設けており、ＬＥＤ素子２０１から出射した自然光束２１０のうち片側の偏波（例えばＰ波）２１２を選択的に反射させ、導光体２０３の一方（図の下方）の面に設けた反射シート２０５で反射して、再度、液晶表示パネル１１に向かうようにする。そこで、反射シート２０５と導光体２０３の間もしくは導光体２０３と反射型偏光板４９の間に位相差板（λ／４板）を設けて反射シート２０５で反射させ、２回通過させることで反射光束をＰ偏光からＳ偏光に変換し、映像光としての光源光の利用効率を向上する。液晶表示パネル１１で映像信号により光強度を変調された映像光束は（図１３の矢印２１３）、再帰反射部材２に入射して、図１に示したように、反射後にウィンドガラス１０５を透過して店舗（空間）の内部または外部に実像である空間浮遊像を得ることができる。
【0084】
図１４は、図１３と同様に、導光体２０３とＬＥＤ素子２０１を含む光源装置１３において、偏光変換する本実施例の光源の構成と作用を説明するための断面配置図である。光源装置１３も、同様に、例えばプラスチックなどにより形成される表面または内部に光束方向変換手段２０４を設けた導光体２０３、光源としてのＬＥＤ素子２０１、反射シート２０５、位相差板２０６、レンチキュラーレンズなどから構成されている。光源装置１３における上面には、映像表示素子として、光源光入射面と映像光出射面に偏光板を備える液晶表示パネル１１が取り付けられている。
【0085】
また、光源装置１３に対応した液晶表示パネル１１の光源光入射面（図の下面）にはフィルムまたはシート状の反射型偏光板４９を設け、ＬＥＤ光源２０１から出射した自然光束２１０うち片側の偏波（例えばＳ波）２１１を選択的に反射させ、導光体２０３の一方（図の下方）の面に設けた反射シート２０５で反射して、再度液晶表示パネル１１に向かう。反射シート２０５と導光体２０３の間もしくは導光体２０３と反射型偏光板４９の間に位相差板（λ／４板）を設けて反射シート２０５で反射させ、２回通過させることで反射光束をＳ偏光からＰ偏光に変換し、映像光として光源光の利用効率を向上する。液晶表示パネル１１で映像信号により光強度変調された映像光束は（図１４の矢印２１４）、再帰反射部材２に入射して、図１に示すように、反射後にウィンドガラス１０５を透過して店舗（空間）の内部または外部に実像である空間浮遊像を得ることができる。
【0086】
図１３および図１４に示す光源装置においては、対応する液晶表示パネル１１の光入射面に設けた偏光板の作用の他に、反射型偏光板で片側の偏光成分を反射するため、理論上得られるコントラスト比は、反射型偏光板のクロス透過率の逆数と液晶表示パネルに付帯した２枚の偏光板により得られるクロス透過率の逆数を乗じたものとなる。これにより、高いコントラスト性能が得られる。実際には、表示画像のコントラスト性能が１０倍以上向上することを実験により確認した。この結果、自発光型の有機ＥＬに比較しても遜色ない高品位な映像が得られた。
【0087】
＜表示装置の例２＞
図１５には、表示装置１の具体的な構成の他の一例を示す。図１５の光源装置１３は、図１７等の光源装置と同様である。この光源装置１３は、例えばプラスチックなどのケース内にＬＥＤ、コリメータ、合成拡散ブロック、導光体等を収納して構成されており、その上面には液晶表示パネル１１が取り付けられている。また、光源装置１３のケースのひとつの側面には、半導体光源であるＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）素子１４ａ、１４ｂや、その制御回路を実装したＬＥＤ基板が取り付けられると共に、ＬＥＤ基板の外側面には、ＬＥＤ素子および制御回路で発生する熱を冷却するための部材であるヒートシンク１０３が取り付けられている（図１７、図１８等も参照）。
図１５には、表示装置１の具体的な構成の他の一例を示す。図１５の光源装置１３は、図１７等の光源装置と同様である。この光源装置１３は、例えばプラスチックなどのケース内にＬＥＤ、コリメータ、合成拡散ブロック、導光体等を収納して構成されており、その上面には液晶表示パネル１１が取り付けられている。また、光源装置１３のケースのひとつの側面には、半導体光源であるＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）素子１４ａ、１４ｂや、その制御回路を実装したＬＥＤ基板が取り付けられると共に、ＬＥＤ基板の外側面には、ＬＥＤ素子および制御回路で発生する熱を冷却するための部材であるヒートシンク１０３が取り付けられている（図１７、図１８等も参照）。
【0088】
また、ケースの上面に取り付けられた液晶表示パネルフレームには、当該フレームに取り付けられた液晶表示パネル１１と、更に、液晶表示パネル１１に電気的に接続されたＦＰＣ（Ｆｌｅｘｉｂｌｅ Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔｓ：フレキシブル配線基板）４０３（図７参照）などが取り付けられて構成されている。即ち、液晶表示素子である液晶表示パネル１１は、固体光源であるＬＥＤ素子１４ａ，１４ｂと共に、電子装置を構成する制御回路（ここでは図示せず）からの制御信号に基づいて、透過光の強度を変調することによって、表示映像を生成する。
【0089】
【0090】
図１７および図１８には、光源を構成するＬＥＤ１４ａ、１４ｂが示されており、これらはＬＥＤコリメータ１５に対して所定の位置に取り付けられている。なお、このＬＥＤコリメータ１５は、各々、例えばアクリル等の透光性の樹脂により形成されている。そして、このＬＥＤコリメータ１５は、図１８（ｂ）にも示すように、放物断面を回転して得られる円錐凸形状の外周面１５６を有する。また、ＬＥＤコリメータ１５の頂部（ＬＥＤ基板１０２に対向する側）における中央部には、凸部（即ち、凸レンズ面）１５７を形成した凹部１５３を有する。また、ＬＥＤコリメータ１５の平面部（上記の頂部とは逆の側）の中央部には、外側に突出した凸レンズ面（あるいは、内側に凹んだ凹レンズ面でも良い）１５４を有している。なお、ＬＥＤコリメータ１５の円錐形状の外周面を形成する放物面１５６は、ＬＥＤ１４ａ、１４ｂから周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
【0091】
また、ＬＥＤ１４ａ、１４ｂは、その回路基板である、ＬＥＤ基板１０２の表面上の所定の位置にそれぞれ配置されている。このＬＥＤ基板１０２は、ＬＥＤコリメータ１５に対して、その表面上のＬＥＤ１４ａまたは１４ｂが、それぞれ、その凹部１５３の中央部に位置するように配置されて固定される。
【0092】
かかる構成によれば、上述したＬＥＤコリメータ１５によって、ＬＥＤ１４ａまたは１４ｂから放射される光のうち、特に、その中央部分から上方（図の右方向）に向かって放射される光は、ＬＥＤコリメータ１５の外形を形成する２つの凸レンズ面１５７、１５４により集光されて平行光となる。また、その他の部分から周辺方向に向かって出射される光は、ＬＥＤコリメータ１５の円錐形状の外周面を形成する放物面によって反射され、同様に、集光されて平行光となる。換言すれば、その中央部に凸レンズを構成すると共に、その周辺部に放物面を形成したＬＥＤコリメータ１５によれば、ＬＥＤ１４ａまたは１４ｂにより発生された光のほぼ全てを平行光として取り出すことが可能となり、発生した光の利用効率を向上することが可能となる。
【0093】
なお、ＬＥＤコリメータ１５の光の出射側には偏光変換素子２１が設けられている。この偏光変換素子２１は、図１８からも明らかなように、断面が平行四辺形である柱状（以下、平行四辺形柱）の透光性部材と、断面が三角形である柱状（以下、三角形柱）の透光性部材とを組み合わせ、ＬＥＤコリメータ１５からの平行光の光軸に対して直交する面に平行に、複数、アレイ状に配列して構成されている。更に、これらアレイ状に配列された隣接する透光性部材間の界面には、交互に、偏光ビームスプリッタ（以下、「ＰＢＳ膜」と省略する）２１１と反射膜２１２とが設けられている。また、偏光変換素子２１へ入射してＰＢＳ膜２１１を透過した光が出射する出射面には、λ／２位相板２１３が備えられている。
【0094】
この偏光変換素子２１の出射面には、更に、図１８（ａ）にも示す矩形状の合成拡散ブロック１６が設けられている。即ち、ＬＥＤ１４ａまたは１４ｂから出射された光は、ＬＥＤコリメータ１５の働きにより平行光となって合成拡散ブロック１６へ入射し、出射側のテクスチャー１６１により拡散された後、導光体１７に到る。
【0095】
導光体１７は、例えばアクリル等の透光性の樹脂により断面が略三角形（図１８（ｂ）参照）の棒状に形成された部材である。そして、導光体１７は、図１７からも明らかなように、合成拡散ブロック１６の出射面に第１の拡散板１８ａを介して対向する導光体光入射部（面）１７１と、斜面を形成する導光体光反射部（面）１７２と、第２の拡散板１８ｂを介して、液晶表示素子である液晶表示パネル１１と対向する導光体光出射部（面）１７３とを備えている。
【0096】
この導光体１７の導光体光反射部（面）１７２には、その一部拡大図である図１７にも示すように、多数の反射面１７２ａと連接面１７２ｂとが交互に鋸歯状に形成されている。そして、反射面１７２ａ（図では右上がりの線分）は、図において一点鎖線で示す水平面に対してαｎ（ｎ：自然数であり、本例では、例えば、１～１３０である）を形成しており、その一例として、ここでは、αｎを４３度以下（ただし、０度以上）に設定している。
【0097】
導光体光入射部（面）１７１は、光源側に傾斜した湾曲の凸形状に形成されている。これによれば、合成拡散ブロック１６の出射面からの平行光は、第１の拡散板１８ａを介して拡散されて入射し、図からも明らかなように、導光体光入射部（面）１７１により上方に僅かに屈曲（偏向）しながら導光体光反射部（面）１７２に達し、ここで反射して図の上方の出射面に設けた液晶表示パネル１１に到る。
【0098】
以上に詳述した表示装置１によれば、光利用効率やその均一な照明特性をより向上すると同時に、モジュール化されたＳ偏光波の光源装置を含め、小型かつ低コストで製造することが可能となる。なお、上記の説明では、偏光変換素子２１をＬＥＤコリメータ１５の後に取り付けるものとして説明したが、本発明はそれに限定されることなく、液晶表示パネル１１に到る光路中に設けることによっても同様の作用・効果が得られる。
【0099】
なお、導光体光反射部（面）１７２には、多数の反射面１７２ａと連接面１７２ｂとが交互に鋸歯状に形成されており、照明光束は、各々の反射面１７２ａ上で全反射されて上方に向かい、更には、導光体光出射部（面）１７３には挟角拡散板を設けて略平行な拡散光束として指向特性を制御する光方向変換パネル５４に入射し、斜め方向から液晶表示パネル１１へ入射する。本実施例では光方向変換パネル５４を導光体出射部（面）１７３と液晶表示パネル１１の間に設けたが、液晶表示パネル１１の出射面に光方向変換パネル５４を設けても、同様の効果が得られる。
【0100】
＜表示装置の例２の光源装置の例２＞
光源装置１３等の光学系の構成について、他の例を図１９に示す。図１９に示す例は、図１８に示した例と同様に、光源を構成する複数（本例では、２個）のＬＥＤ１４ａ、１４ｂが示されており、これらはＬＥＤコリメータ１５に対して所定の位置に取り付けられている。なお、このＬＥＤコリメータ１５は、各々、例えばアクリル等の透光性の樹脂により形成されている。
光源装置１３等の光学系の構成について、他の例を図１９に示す。図１９に示す例は、図１８に示した例と同様に、光源を構成する複数（本例では、２個）のＬＥＤ１４ａ、１４ｂが示されており、これらはＬＥＤコリメータ１５に対して所定の位置に取り付けられている。なお、このＬＥＤコリメータ１５は、各々、例えばアクリル等の透光性の樹脂により形成されている。
【0101】
そして、図１８に示した例と同様に、図１９に示すＬＥＤコリメータ１５は、放物断面を回転して得られる円錐凸形状の外周面１５６を有する。また、ＬＥＤコリメータ１５の頂部（頂側）における中央部には、凸部（即ち、凸レンズ面）１５７を形成した凹部１５３（図１８（ｂ）を参照）を有する。
【0102】
また、ＬＥＤコリメータ１５の平面部の中央部には、外側に突出した凸レンズ面（あるいは、内側に凹んだ凹レンズ面でも良い）１５４（図１８（ｂ）を参照）を有している。なお、ＬＥＤコリメータ１５の円錐形状の外周面を形成する放物面１５６は、ＬＥＤ１４ａから周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
【0103】
また、ＬＥＤ１４ａ、１４ｂは、その回路基板である、ＬＥＤ基板１０２の表面上の所定の位置にそれぞれ配置されている。このＬＥＤ基板１０２は、ＬＥＤコリメータ１５に対して、その表面上のＬＥＤ１４ａまたは１４ｂが、それぞれ、その凹部１５３の中央部に位置するように配置されて固定される。
【0104】
かかる構成によれば、上述したＬＥＤコリメータ１５によって、ＬＥＤ１４ａまたは１４ｂから放射される光のうち、特に、その中央部分から上方（図の右方向）に向かって放射される光は、ＬＥＤコリメータ１５の外形を形成する２つの凸レンズ面１５７、１５４により集光されて平行光となる。また、その他の部分から周辺方向に向かって出射される光は、ＬＥＤコリメータ１５の円錐形状の外周面を形成する放物面によって反射され、同様に、集光されて平行光となる。換言すれば、その中央部に凸レンズを構成すると共に、その周辺部に放物面を形成したＬＥＤコリメータ１５によれば、ＬＥＤ１４ａまたは１４ｂにより発生された光のほぼ全てを平行光として取り出すことが可能となり、発生した光の利用効率を向上することが可能となる。
【0105】
なお、ＬＥＤコリメータ１５の光の出射側には第一の拡散板１８aを介して導光体１７０が設けられている。導光体１７０は、例えばアクリル等の透光性の樹脂により断面が略三角形（図１９（ａ）参照）の棒状に形成された部材である。そして、導光体１７０は、図１９（ａ）からも明らかなように、拡散ブロック１６の出射面に第１の拡散板１８ａを介して対向する導光体光入射部（面）１７１と、斜面を形成する導光体光反射部（面）１７２と、反射式偏光板２００を介して液晶表示素子である液晶表示パネル１１と対向する導光体光出射部（面）１７３とを備えている。
【0106】
この反射型偏光板２００は、例えばＰ偏光を反射（Ｓ偏光は透過）させる特性を有する物を選択すれば、光源であるＬＥＤから発した自然光のうちＰ偏光を反射し、図１９（ｂ）に示した導光体光反射部１７２に設けたλ／４板２０２を通過して反射面２０１で反射し、再びλ／４板２０２を通過することでＳ偏光に変換され、液晶表示パネル１１に入射する光束は全てＳ偏光に統一される。
【0107】
同様に、反射型偏光板２００としてＳ偏光を反射（Ｐ偏光は透過）させる特性を有する物を選択すれば、光源であるＬＥＤから発した自然光のうちＳ偏光を反射し、図１９（ｂ）に示した導光体光反射部１７２に設けたλ／４板２０２を通過して反射面２０１で反射し、再びλ／４板２０２を通過することでＰ偏光に変換され、液晶表示パネル５２に入射する光束は全てＰ偏光に統一される。以上述べた構成でも偏光変換が実現できる。
【0108】
＜表示装置の例３＞
続いて、図１６を用いて表示装置１の具体的な構成の他の例（表示装置の例３）を説明する。この表示装置１の光源装置は、ＬＥＤからの光（Ｐ偏光とＳ偏光が混在）の発散光束をコリメータ１８により略平行光束に変換し、該変換された光束を、反射型導光体３０４の反射面により、液晶表示パネル１１に向けて反射する。かかる反射光は、液晶表示パネル１１と反射型導光体３０４の間に配置された反射型偏光板４９に入射する。反射型偏光板４９は、特定の偏波の光（例えばＰ偏光）を透過させ、透過した偏波光を液晶表示パネル１１に入射させる。ここで、特定の偏波以外の他の偏波（例えばＳ偏光）は、反射型偏光板４９で反射されて、再び反射型導光体３０４へ向かう。
続いて、図１６を用いて表示装置１の具体的な構成の他の例（表示装置の例３）を説明する。この表示装置１の光源装置は、ＬＥＤからの光（Ｐ偏光とＳ偏光が混在）の発散光束をコリメータ１８により略平行光束に変換し、該変換された光束を、反射型導光体３０４の反射面により、液晶表示パネル１１に向けて反射する。かかる反射光は、液晶表示パネル１１と反射型導光体３０４の間に配置された反射型偏光板４９に入射する。反射型偏光板４９は、特定の偏波の光（例えばＰ偏光）を透過させ、透過した偏波光を液晶表示パネル１１に入射させる。ここで、特定の偏波以外の他の偏波（例えばＳ偏光）は、反射型偏光板４９で反射されて、再び反射型導光体３０４へ向かう。
【0109】
反射型偏光板４９は、反射型導光体３０４の反射面からの光の主光線に対して垂直とならないように、液晶表示パネル１１に対して傾きを以て設置されている。そして、反射型偏光板４９で反射された光の主光線は、反射型導光体３０４の透過面に入射する。反射型導光体３０４の透過面に入射した光は、反射型導光体３０４の背面を透過し、位相差板であるλ／４板２７０を透過し、反射板２７１で反射される。反射板２７１で反射された光は、再びλ／４板２７０を透過し、反射型導光体３０４の透過面を透過する。反射型導光体３０４の透過面を透過した光は再び反射型偏光板４９に入射する。
【0110】
このとき、反射型偏光板４９に再度入射する光は、λ／４板２７０を２回通過しているため、反射型偏光板４９を透過する偏波（例えば、Ｐ偏光）へ偏光が変換されている。よって、偏光が変換されている光は反射型偏光板４９を透過し、液晶表示パネル１１に入射する。なお、偏光変換に係る偏光設計について、上述の説明から偏波を逆に構成（Ｓ偏光とＰ偏光を逆にする）してもかまわない。
【0111】
この結果、ＬＥＤからの光は特定の偏波（例えばＰ偏光）に揃えられ、液晶表示パネル１１に入射し、映像信号に合わせて輝度変調されパネル面に映像を表示する。上述の例と同様に光源を構成する複数のＬＥＤが示されており（ただし、縦断面のため図１６では１個のみ図示している）、これらはコリメータ１８に対して所定の位置に取り付けられている。
【0112】
なお、コリメータ１８は、各々、例えばアクリル等の透光性の樹脂またはガラスにより形成されている。そして、このコリメータ１８は、放物断面を回転して得られる円錐凸形状の外周面を有してもよい。コリメータ１８の頂部では、その中央部に凸部（即ち、凸レンズ面）を形成した凹部を有してもよい。また、その平面部の中央部には、外側に突出した凸レンズ面（あるいは、内側に凹んだ凹レンズ面でも良い）を有している。なお、コリメータ１８の円錐形状の外周面を形成する放物面は、ＬＥＤから周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
【0113】
なお、ＬＥＤは、その回路基板である、ＬＥＤ基板１０２の表面上の所定の位置にそれぞれ配置されている。このＬＥＤ基板１０２は、コリメータ１８に対して、その表面上のＬＥＤが、それぞれ、円錐凸形状の頂部の中央部（頂部に凹部が有る場合はその凹部）に位置するように配置されて固定される。
【0114】
かかる構成によれば、コリメータ１８によって、ＬＥＤから放射される光のうち、特に、その中央部分から放射される光は、コリメータ１８の外形を形成する凸レンズ面により集光されて平行光となる。また、その他の部分から周辺方向に向かって出射される光は、コリメータ１８の円錐形状の外周面を形成する放物面によって反射され、同様に、集光されて平行光となる。換言すれば、その中央部に凸レンズを構成すると共に、その周辺部に放物面を形成したコリメータ１８によれば、ＬＥＤにより発生された光のほぼ全てを平行光として取り出すことが可能となり、発生した光の利用効率を向上することが可能となる。
【0115】
以上の構成は図１７、図１８等に示した映像表示装置の光源装置と同様の構成である。さらに、図１６に示したコリメータ１８により略平行光に変換された光は、反射型導光体３０４で反射される。当該光のうち、反射型偏光板４９の作用により特定の偏波の光は反射型偏光板４９を透過し、反射型偏光板４９の作用により反射された他方の偏波の光は再度導光体３０４を透過する。当該光は、反射型導光体３０４に対して、液晶表示パネル１１とは逆の位置にある反射板２７１で反射する。この時、当該光は位相差板であるλ／４板２７０を２度通過することで偏光変換される。反射板２７１で反射した光は、再び導光体３０４を透過して、反対面に設けた反射型偏光板４９に入射する。当該入射光は、偏光変換がなされているので、反射型偏光板４９を透過して、偏光方向を揃えて液晶表示パネル１１に入射される。この結果、光源の光を全て利用できるので光の幾何光学的な利用効率が２倍になる。また、反射型偏光板の偏光度（消光比）もシステム全体の消光比に乗せられるので、本実施例の光源装置を用いることで表示装置全体としてのコントラスト比が大幅に向上する。なお、反射型導光体３０４の反射面の面粗さおよび反射板２７１の面粗さを調整することで、それぞれの反射面での光の反射拡散角を調整することができる。液晶表示パネル１１に入射する光の均一性がより好適になるように、設計毎に、反射型導光体３０４の反射面の面粗さおよび反射板２７１の面粗さを調整すればよい。
【0116】
なお、図１６の位相差板であるλ／４板２７０は、必ずしもλ／４板２７０へ垂直に入射した偏光に対する位相差がλ／４である必要はない。図１６の構成において、偏光が２回通過することで、位相が９０°（λ／２）変わる位相差板であればよい。位相差板の厚さは偏光の入射角度分布に応じて調整すればよい。
【0117】
＜表示装置の例４＞
さらに、表示装置の光源装置等の光学系の構成についての他の例（表示装置の例４）を、図２５を用いて説明する。表示装置の例３の光源装置において、反射型導光体３０４の代わりに拡散シートを用いる場合の構成例である。具体的には、コリメータ１８の光の出射側には図面の垂直方向と水平方向（図の前後方向で図示せず）の拡散特性を変換する光学シートを２枚用い（光学シート２０７Ａおよび光学シート２０７Ｂ）、コリメータ１８からの光を２枚の光学シート（拡散シート）の間に入射させる。この光学シートは、２枚構成ではなく１枚としても良い。1枚構成とする場合には1枚の光学シートの表面と裏面の微細形状で垂直と水平の拡散特性を調整する。また、拡散シートを複数枚使用して作用を分担しても良い。ここで、図２５の例では、光学シート２０７Ａと光学シート２０７Ｂの表面形状と裏面形状による反射拡散特性について、液晶表示パネル１１から出射する光束の面密度が均一になるように、ＬＥＤの数量とＬＥＤ基板（光学素子）１０２からの発散角およびコリメータ１８の光学仕様を設計パラメータとして最適設計すると良い。つまり、導光体の代わりに複数の拡散シートの表面形状により拡散特性を調整する。図２５の例では偏光変換は上述した表示装置の例３と同様の方法で行われる。すなわち、図２５の例において、反射型偏光板４９はＳ偏光を反射（Ｐ偏光は透過）させる特性を有するように構成すればよい。その場合、光源であるＬＥＤから発した光のうちＰ偏光を透過して、透過した光は液晶表示パネル１１に入射する。光源であるＬＥＤから発した光のうちＳ偏光を反射し、反射した光は、図２５に示した位相差板２７０を通過する。位相差板２７０を通過した光は、反射面２７１で反射される。反射面２７１で反射した光は、再び位相差板２７０を通過することでＰ偏光に変換される。偏光変換された光は、反射型変更板４９を透過し、液晶表示パネル１１に入射する。
さらに、表示装置の光源装置等の光学系の構成についての他の例（表示装置の例４）を、図２５を用いて説明する。表示装置の例３の光源装置において、反射型導光体３０４の代わりに拡散シートを用いる場合の構成例である。具体的には、コリメータ１８の光の出射側には図面の垂直方向と水平方向（図の前後方向で図示せず）の拡散特性を変換する光学シートを２枚用い（光学シート２０７Ａおよび光学シート２０７Ｂ）、コリメータ１８からの光を２枚の光学シート（拡散シート）の間に入射させる。この光学シートは、２枚構成ではなく１枚としても良い。1枚構成とする場合には1枚の光学シートの表面と裏面の微細形状で垂直と水平の拡散特性を調整する。また、拡散シートを複数枚使用して作用を分担しても良い。ここで、図２５の例では、光学シート２０７Ａと光学シート２０７Ｂの表面形状と裏面形状による反射拡散特性について、液晶表示パネル１１から出射する光束の面密度が均一になるように、ＬＥＤの数量とＬＥＤ基板（光学素子）１０２からの発散角およびコリメータ１８の光学仕様を設計パラメータとして最適設計すると良い。つまり、導光体の代わりに複数の拡散シートの表面形状により拡散特性を調整する。図２５の例では偏光変換は上述した表示装置の例３と同様の方法で行われる。すなわち、図２５の例において、反射型偏光板４９はＳ偏光を反射（Ｐ偏光は透過）させる特性を有するように構成すればよい。その場合、光源であるＬＥＤから発した光のうちＰ偏光を透過して、透過した光は液晶表示パネル１１に入射する。光源であるＬＥＤから発した光のうちＳ偏光を反射し、反射した光は、図２５に示した位相差板２７０を通過する。位相差板２７０を通過した光は、反射面２７１で反射される。反射面２７１で反射した光は、再び位相差板２７０を通過することでＰ偏光に変換される。偏光変換された光は、反射型変更板４９を透過し、液晶表示パネル１１に入射する。
【0118】
なお、図２５の位相差板であるλ／４板２７０は、必ずしもλ／４板２７０へ垂直に入射した偏光に対する位相差がλ／４である必要はない。図２５の構成において、偏光が２回通過することで、位相が９０°（λ／２）変わる位相差板であればよい。位相差板の厚さは偏光の入射角度分布に応じて調整すればよい。なお、図２５においても、偏光変換に係る偏光設計について、上述の説明から偏波を逆に構成（Ｓ偏光とＰ偏光を逆にする）してもかまわない。
【0119】
液晶表示パネル１１からの出射光は、一般的なＴＶ用途の装置では画面水平方向（図２２（ａ）Ｘ軸で表示）と画面垂直方向（図２２（ｂ）Ｙ軸で表示）ともに同様な拡散特性を持っている。これに対して、本実施例の液晶表示パネルからの出射光束の拡散特性は、例えば図２２の例１に示すように輝度が正面視（角度０度）の５０％になる視野角が１３度とすることで、従来の６２度に対して１／５となる。同様に垂直方向の視野角は上下不均等として上側の視野角を下側の視野角に対して１／３程度に抑えるように反射型導光体の反射角度と反射面の面積等を最適化する。この結果、従来の液晶ＴＶに比べ監視方向に向かう映像光量が大幅に向上し、輝度は５０倍以上となる。
【0120】
更に、図２２の例２に示す視野角特性とすれば輝度が正面視（角度０度）の５０％になる視野角が５度とすることで従来の６２度に対して１／１２となる。同様に垂直方向の視野角は上下均等として視野角を従来に対して１／１２程度に抑えるように反射型導光体の反射角度と反射面の面積等を最適化する。この結果、従来の液晶ＴＶに比べ監視方向に向かう映像光量が大幅に向上し、輝度は１００倍以上となる。以上述べたように視野角を挟角とすることで監視方向に向かう光束量を集中できるので光の利用効率が大幅に向上する。この結果、従来のＴＶ用の液晶表示パネルを使用しても、光源装置の光拡散特性を制御することで同様な消費電力で大幅な輝度向上が実現可能で、明るい屋外に向けての情報表示システムに対応した映像表示装置とすることができる。
【0121】
大型の液晶表示パネルを使用する場合には、画面周辺の光は画面中央を監視者が正対した場合に監視者の方向に向かうように内側に向けることで、画面明るさの全面性が向上する。図２０は監視者のパネルからの距離Ｌと、パネルサイズ（画面比１６：１０）とをパラメータとしたときのパネル長辺と短辺の収斂角度を求めたものである。画面を縦長として監視する場合には、短辺に合わせて収斂角度を設定すればよく、例えば２２“パネルの縦使いで監視距離が０．８ｍの場合には収斂角度を１０度とすれば画面４コーナからの映像光を有効に監視者に向けることができる。
【0122】
同様に、１５”パネルの縦使いで監視する場合には監視距離が０．８ｍの場合には収斂角度を７度とすれば画面４コーナからの映像光を有効に監視者に向けることができる。以上述べたように液晶表示パネルのサイズ及び縦使いか横使いかによって画面周辺の映像光を、画面中央を監視するのに最適な位置にいる監視者に向けることで画面明るさの全面性を向上できる。
【0123】
基本構成としては、上述の図１６などに示すように光源装置により挟角な指向特性の光束を液晶表示パネル１１に入射させ、映像信号に合わせて輝度変調することで、液晶表示パネル１１の画面上に表示した映像情報を、再帰反射部材で反射させ得られた空間浮遊映像を、透明な部材１００を介して室外または室内に表示する。
【0124】
＜レンチキュラーレンズ＞
液晶表示パネル１１からの映像光の拡散分布を制御するためには、光源装置１３と液晶表示パネル１１の間、あるいは、液晶表示パネル１１の表面に、レンチキュラーレンズを設けてレンズ形状を最適化することで、一方向の出射特性を制御できる。更に、マイクロレンズアレイをマトリックス状に配置することで表示装置１からの映像光束をＸ軸およびＹ軸方向に出射特性を制御することができ、この結果所望の拡散特性を有する映像表示装置を得ることができる。
液晶表示パネル１１からの映像光の拡散分布を制御するためには、光源装置１３と液晶表示パネル１１の間、あるいは、液晶表示パネル１１の表面に、レンチキュラーレンズを設けてレンズ形状を最適化することで、一方向の出射特性を制御できる。更に、マイクロレンズアレイをマトリックス状に配置することで表示装置１からの映像光束をＸ軸およびＹ軸方向に出射特性を制御することができ、この結果所望の拡散特性を有する映像表示装置を得ることができる。
【0125】
レンチキュラーレンズによる作用について説明する。レンチキュラーレンズは、レンズ形状を最適化することで、上述した表示装置１から出射されて透明な部材１００を透過又は反射して効率良く空間浮遊像を得ることが可能となる。即ち、表示装置１からの映像光に対し、２枚のレンチキュラーレンズを組み合わせ、またはマイクロレンズアレイをマトリックス状に配置して拡散特性を制御するシートを設けて、Ｘ軸およびＹ軸方向において、映像光の輝度（相対輝度）をその反射角度（垂直方向を０度）に応じて制御することができる。本実施例では、このようなレンチキュラーレンズにより、従来に比較し、図２２（ｂ）に示すように垂直方向の輝度特性を急峻にし、更に上下（Ｙ軸の正負方向）方向の指向特性のバランスを変化させることで反射や拡散による光の輝度（相対輝度）を高めることにより、面発光レーザ映像源からの映像光のように、拡散角度が狭く（高い直進性）かつ特定の偏波成分のみの映像光とし、従来技術による映像表示装置を用いた場合に再帰反射部材で発生していたゴースト像を抑え、効率良く監視者の眼に再帰反射による空間浮遊像が届くように制御できる。
【0126】
また上述した光源装置により、図２２の（ａ）（ｂ）に示した一般的な液晶表示パネルからの出射光拡散特性特性（図中では従来と表記）に対してＸ軸方向およびＹ軸方向ともに大幅に挟角な指向特性とすることで、特定方向に対して平行に近い映像光束を出射する特定偏波の光を出射する映像表示装置が実現できる。
【0127】
図２１には、本実施例で採用するレンチキュラーレンズの特性の一例を示している。この例では、特に、Ｘ方向（垂直方向）における特性を示しており、特性Ｏは、光の出射方向のピークが垂直方向（０度）から上方に３０度付近の角度であり上下に対称な輝度特性を示している。また、図２１の特性ＡやＢは、更に、３０度付近においてピーク輝度の上方の映像光を集光して輝度（相対輝度）を高めた特性の例を示している。このため、これらの特性ＡやＢでは、３０度を超えた角度において、特性Ｏに比較して、急激に光の輝度（相対輝度）が低減する。
【0128】
即ち、上述したレンチキュラーレンズを含んだ光学系によれば、表示装置１からの映像光束を再帰反射部材２に入射させる際、光源装置１３で挟角に揃えられた映像光の出射角度や視野角を制御でき再帰反射シート（再帰反射部材２）の設置の自由度を大幅に向上できる。その結果透明な部材１００を反射又は透過して所望の位置に結像する空間浮遊像の結像位置の関係の自由度を大幅に向上できる。この結果、拡散角度が狭く（高い直進性）かつ特定の偏波成分のみの光として効率良く室外または室内の監視者の眼に届くようにすることが可能となる。このことによれば、映像表示装置からの映像光の強度（輝度）が低減しても、監視者は映像光を正確に認識して情報を得ることができる。換言すれば、映像表示装置の出力小さくすることにより、消費電力の低い空間浮遊映像表示装置を実現することが可能となる。
【0129】
＜タッチ操作の補助機能＞
次に、ユーザに対するタッチ操作の補助機能について説明する。まず、補助機能を備えていない場合のタッチ操作について説明する。なお、ここでは、ユーザが２つのボタン（オブジェクト）のいずれかを選択してタッチする場合を例にして説明するが、以下の内容は、例えば、銀行等のＡＴＭ、駅等の券売機、デジタルサイネージ等に対しても好適に適用可能である。
次に、ユーザに対するタッチ操作の補助機能について説明する。まず、補助機能を備えていない場合のタッチ操作について説明する。なお、ここでは、ユーザが２つのボタン（オブジェクト）のいずれかを選択してタッチする場合を例にして説明するが、以下の内容は、例えば、銀行等のＡＴＭ、駅等の券売機、デジタルサイネージ等に対しても好適に適用可能である。
【0130】
図２６は、空間浮遊映像表示装置１０００の表示例とタッチ操作を説明する図である。図２６に示す空間浮遊映像３には、「ＹＥＳ」と表示された第１ボタンＢＵＴ１、および「ＮＯ」と表示された第２ボタンＢＵＴ２が含まれている。ユーザは、空間浮遊映像３へ向けて指２１０を動かし、第１ボタンＢＵＴ１または第２ボタンＢＵＴ２をタッチすることで「ＹＥＳ」または「ＮＯ」を選択する。なお、図２６および図２７～２９の例では、第１ボタンＢＵＴ１と第２ボタンＢＵＴ２は異なる色の表示がなされているものとする。ここで、空間浮遊映像３における第１ボタンＢＵＴ１と第２ボタンＢＵＴ２以外の領域には、映像を表示させず透明としてもよいが、その場合は、後述する仮想影の効果が及ぶ範囲が表示されるボタンの領域（第１ボタンＢＵＴ１の表示領域と第２ボタンＢＵＴ２の表示領域）のみとなる。よって、以下の説明では、より好適な例として、空間浮遊映像３における第１ボタンＢＵＴ１と第２ボタンＢＵＴ２以外の領域には、第１ボタンＢＵＴ１の表示領域と第２ボタンＢＵＴ２の表示領域を含むより広い領域について、第１ボタンＢＵＴ１と第２ボタンＢＵＴ２と異なる色または異なる輝度の映像が表示されているものとする。
【0131】
空間浮遊映像表示装置ではない一般的なタッチパネル付き映像表示装置では、ユーザが選択する、ボタンは、タッチパネル面に表示される映像ボタンで構成される。このため、ユーザは、タッチパネル面を視認することで、タッチパネル面上に表示されるオブジェクト（例えば、ボタン）と自身の指の距離感を認識することができる。しかし、空間浮遊映像表示装置では、空間浮遊映像３が空中に浮遊しているため、ユーザは空間浮遊映像３の奥行きを認識することが容易ではない場合がある。よって、空間浮遊映像３に対するタッチ操作では、ユーザは、空間浮遊映像３に表示されるボタンと自身の指の距離感を認識することが容易ではない場合がある。また、空間浮遊映像表示装置ではない一般的なタッチパネル付き映像表示装置では、ユーザは、触れたときの感触で、ボタンをタッチしたか否かを容易に判断することができる。しかし、空間浮遊映像３に対するタッチ操作では、オブジェクト（例えばボタン）にタッチしたときの感触がないため、ユーザは、オブジェクトにタッチできたのか否かを判断できない場合がある。以上の状況を考慮して、本実施の形態では、ユーザに対するタッチ操作の補助機能が設けられている。
【0132】
なお、以下の説明で、ユーザの指の位置に基づく処理が説明されるが、ユーザの指の位置の具体的な検出方法については後述する。
【0133】
＜＜仮想影を用いたタッチ操作の補助（１）＞＞
図２７～図２９は、仮想影を用いたタッチ操作の補助方法の一例を説明する図である。図２７～図２９の例では、ユーザは、第１ボタンＢＵＴ１をタッチして、「ＹＥＳ」を選択するものとする。本実施例の空間浮遊映像表示装置１０００は、空間浮遊映像３の表示映像上に仮想影を表示することにより、ユーザのタッチ操作を補助する。ここで、「空間浮遊映像３の表示映像上に仮想影を表示する」とは、空間浮遊映像３として表示する映像について、指を模した形状の一部の領域について映像信号の輝度を低減することにより、あたかも映像上に影が投影されたように見せる映像表示処理である。具体的には、映像制御部１１６０または制御部１１１０の演算により、当該処理を行えばよい。仮想影の表示処理においては、指を模した形状の一部の領域について映像信号の輝度を完全に０にしても構わない。しかし、指を模した形状の一部の領域について映像信号の輝度を完全に０にするよりも、当該領域において、低減された輝度で映像が表示されている方が、影としてより自然に認識されるため好適である。この場合、仮想影の表示処理においては、指を模した形状の一部の領域について映像信号の輝度を低減するのみならず、映像信号の彩度を低減してもよい。
図２７～図２９は、仮想影を用いたタッチ操作の補助方法の一例を説明する図である。図２７～図２９の例では、ユーザは、第１ボタンＢＵＴ１をタッチして、「ＹＥＳ」を選択するものとする。本実施例の空間浮遊映像表示装置１０００は、空間浮遊映像３の表示映像上に仮想影を表示することにより、ユーザのタッチ操作を補助する。ここで、「空間浮遊映像３の表示映像上に仮想影を表示する」とは、空間浮遊映像３として表示する映像について、指を模した形状の一部の領域について映像信号の輝度を低減することにより、あたかも映像上に影が投影されたように見せる映像表示処理である。具体的には、映像制御部１１６０または制御部１１１０の演算により、当該処理を行えばよい。仮想影の表示処理においては、指を模した形状の一部の領域について映像信号の輝度を完全に０にしても構わない。しかし、指を模した形状の一部の領域について映像信号の輝度を完全に０にするよりも、当該領域において、低減された輝度で映像が表示されている方が、影としてより自然に認識されるため好適である。この場合、仮想影の表示処理においては、指を模した形状の一部の領域について映像信号の輝度を低減するのみならず、映像信号の彩度を低減してもよい。
【0134】
空間浮遊映像３は、物理的な接触面が存在しない空中に存在し、本来通常の環境では、指の影が投影されないことはない。しかし、本実施例の仮想影の表示処理によれば、本来指の影が投影されない空中であっても、空間浮遊映像３中にあたかも影が存在するかのように見せることにより、ユーザに対して空間浮遊映像３の奥行き認識の向上と空間浮遊映像３の実在間の向上を図ることができる。
【0135】
図２７はユーザが指２１０により空間浮遊映像３の表示面３ａの第１ボタンＢＵＴ１へのタッチ操作を試みる第１の時点の状態を示し、図２８は図２７よりも指２１０が空間浮遊映像３に近づいている第２の時点の状態を示し、図２９は、指２１０が空間浮遊映像３の表示面３ａの第１ボタンＢＵＴ１にタッチした第３の時点の状態を示している。また、図２７～図２９の（Ａ）は、空間浮遊映像３の表示面３ａを正面(表示面３ａの法線方向)から見たときの状態を示し、図２７～図２９の（Ｂ）は、空間浮遊映像３の表示面３ａを側方(表示面３ａと平行な方向)から見たときの状態を示している。なお、図２７～図２９において、ｘ方向は空間浮遊映像３の表示面３ａにおける水平方向であり、ｙ方向は空間浮遊映像３の表示面３ａ内においてｘ軸と直交する方向であり、ｚ方向は空間浮遊映像３の表示面３ａの法線方向（表示面３ａに対する高さ方向）である。なお、図２７～３３の説明図において、空間浮遊映像３は説明上の見やすさのために奥行き方向に厚みを有するように図示されているが、実際には、表示装置１の映像表示面が平面であれば、空間浮遊映像３も平面であり、奥行き方向に厚みはない。この場合、空間浮遊映像３と表示面３ａは同一平面にある。本実施例の説明において、表示面３ａは空間浮遊映像３が表示されうる面を意味し、空間浮遊映像３は実際に空間浮遊映像が表示されている部分を意味する。
【0136】
図２７、図２８、図２９において、指２１０の検出処理は、例えば、撮像部１１８０で生成される撮像画像や、空中操作検出センサ１３５１のセンシング信号を用いて行われる。指２１０の検出処理では、例えば、空間浮遊映像３の表示面３ａにおける指２１０の先端の位置（ｘ座標、ｙ座標）、表示面３ａに対する指２１０の先端の高さ位置（ｚ座標）等が検出される。ここで、空間浮遊映像３の表示面３ａにおける指２１０の先端の位置（ｘ座標、ｙ座標）とは、空間浮遊映像３の表示面３ａへの指２１０の先端からの垂線の交点の表示面３ａにおける位置座標である。なお、表示面３ａに対する指２１０の先端の高さ位置は、表示面３ａに対する指２１０の深度を表す深度情報でもある。なお、指２１０等の検出を行う撮像部１１８０や空中操作検出センサ１３５１の配置等については、後で詳しく説明する。
【0137】
図２７が示す第１の時点では、図２８が示す第２の時点や、図２８が示す第３の時点に比べて、指２１０は空間浮遊映像３の表示面３ａから最も離れた位置にあるものとする。このときの指２１０の先端と空間浮遊映像３の表示面３ａとの距離（高さ位置）をｄｚ１とする。すなわち、距離ｄｚ１は、ｚ方向における空間浮遊映像３の表示面３ａに対する指２１０の高さを示している。
【0138】
なお、図２７で示される距離ｄｚ１および後述する図２８で示される距離ｄｚ２等は、空間浮遊映像３の表示面３ａに対してユーザ側を正側とし、表示面３ａに対してユーザとは反対側を負側とする。すなわち、指２１０が表示面３ａに対しユーザ側にあれば、距離ｄｚ１および距離ｄｚ２は正の値となり、指２１０が表示面３ａに対しユーザとは反対側にあれば、距離ｄｚ１および距離ｄｚ２は負の値となる。
【0139】
本実施の形態では、空間浮遊映像３の表示面３ａに対しユーザ側に仮想光源１５００があるものと仮定する。ここで、仮想光源１５００の設置方向の設定は、空間浮遊映像表示装置１０００の不揮発性メモリ１１０８やメモリ１１０９において、実際に情報として格納されていてもよい。また、仮想光源１５００の設置方向の設定は、設計上にのみ存在するパラメータであってもよい。仮想光源１５００の設置方向の設定が設計上にのみ存在するパラメータである場合でも、後述するユーザの指の位置と仮想影の表示位置の関係から、仮想光源１５００の設計上の設置方向は一意に定まるものである。ここで、図２７～図２９の例では、仮想光源１５００は、表示面３ａに対しユーザ側であって、ユーザから見て表示面３ａの右側方に設けられている。そして、仮想光源１５００から照射される光により形成される指２１０の影を模した仮想影１５１０が空間浮遊映像３に表示される。図２７～図２９の例では、仮想影１５１０は、指２１０の左側に表示される。この仮想影１５１０により、ユーザに対するタッチ操作の補助が行われる。
【0140】
図２７（Ｂ）の状態では、図２８（Ｂ）の状態および図２９（Ｂ）の状態と比べて、指２１０の先端は、空間浮遊映像３の表示面３ａからの法線方向の距離において最も離れている。このため、図２７（Ａ）において、仮想影１５１０の先端は、図２８（Ａ）の状態および図２９（Ａ）の状態と比べて、タッチしようとする第１ボタンＢＵＴ１から水平方向において最も離れた位置に形成される。したがって、図２７（Ａ）において、空間浮遊映像３の表示面３ａを正面から見たときの指２１０の先端と仮想影１５１０の先端との水平方向の距離は、図２８（Ａ）の状態および図２９（Ａ）の状態と比べて、最も大きくなる。図２７（Ａ）では、空間浮遊映像３の表示面３ａの水平方向における指２１０の先端と仮想影１５１０の先端との距離をｄｘ１としている。
【0141】
そして、図２８（Ｂ）では、図２７（Ｂ）よりも指２１０が空間浮遊映像３に近づいている。よって、図２８（Ｂ）では、指２１０の先端と空間浮遊映像３の表示面３ａとの法線方向の距離ｄｚ２は、ｄｚ１よりも小さい。このとき、図２８（Ａ）では、仮想影１５１０は、空間浮遊映像３の表示面３ａの水平方向における指２１０の先端と仮想影１５１０の先端との距離が、ｄｘ１よりも小さいｄｘ２となる位置に表示される。すなわち、図２８の例では、仮想光源１５００が表示面３ａに対しユーザ側であってユーザから見て表示面３ａの右側方に設けられているため、指２１０の先端と空間浮遊映像３の表示面３ａとの法線方向の距離に連動して、空間浮遊映像３の表示面３ａを正面から見たときの指２１０の先端と仮想影１５１０の先端との水平方向の距離が変化することとなる。
【0142】
そして、指２１０の先端と仮想影１５１０の先端とが接すると、図２９に示すように、指２１０の先端と空間浮遊映像３の表示面３ａとの法線方向の距離が0になる。このとき、仮想影１５１０は、空間浮遊映像３の表示面３ａの水平方向における指２１０と仮想影１５１０との距離がゼロとなるように表示される。これにより、ユーザは、指２１０が空間浮遊映像３の表示面３ａにタッチしたことを認識できる。このとき、指２１０の先端が第１ボタンＢＵＴ１の領域に触れていれば、ユーザは、第１ボタンＢＵＴ１にタッチしたことを認識することができる。すなわち、図２９の例でも、仮想光源１５００が表示面３ａに対しユーザ側であってユーザから見て表示面３ａの右側方に設けられているため、指２１０の先端と空間浮遊映像３の表示面３ａとの法線方向の距離に連動して、空間浮遊映像３の表示面３ａを正面から見たときの指２１０の先端と仮想影１５１０の先端との水平方向の距離が変化したこととなる。すなわち、仮想影１５１０の先端の表示位置は、仮想光源１５００の位置とユーザの指２１０の先端の位置の位置関係により特定される位置であり、ユーザの指２１０の先端の位置の変化に連動して変化するものである。
【0143】
以上説明した「仮想影を用いたタッチ操作の補助（１）」の構成および処理によれば、タッチ操作時、ユーザは、指２１０と仮想影１５１０との空間浮遊映像３の表示面３ａにおける水平方向の位置関係から、指２１０と空間浮遊映像３の表示面３ａとの法線方向の距離（奥行き）をより好適に認識することが可能となる。また、指２１０が空間浮遊映像３であるオブジェクト（例えばボタン）に触れた場合は、ユーザは、オブジェクトにタッチしたことを認識することが可能となる。これにより、より好適な空間浮遊映像表示装置を提供することが可能となる。
【0144】
＜＜仮想影を用いたタッチ操作の補助（２）＞＞
次に、仮想影を用いたタッチ操作の補助方法の他の例として、仮想光源１５００がユーザから見て表示面３ａの左側方に設けられた場合について説明する。図３０～図３２は、仮想影を用いたタッチ操作の補助方法の他の例を説明する図である。図３０は、図２７と対応しており、ユーザが指２１０により空間浮遊映像３の表示面３ａの第１ボタンＢＵＴ１へのタッチ操作を試みる第１の時点の状態を示している。図３１は、図２８と対応しており、図３０よりも指２１０が空間浮遊映像３に近づいている第２の時点の状態を示している。図３２は、図２９と対応しており、指２１０が空間浮遊映像３にタッチしたときの状態を示している。なお、図３０～図３２の（Ｂ）では、説明の便宜上、図２７～図２９の(Ｂ)とは反対の向きから見た図で示している。
次に、仮想影を用いたタッチ操作の補助方法の他の例として、仮想光源１５００がユーザから見て表示面３ａの左側方に設けられた場合について説明する。図３０～図３２は、仮想影を用いたタッチ操作の補助方法の他の例を説明する図である。図３０は、図２７と対応しており、ユーザが指２１０により空間浮遊映像３の表示面３ａの第１ボタンＢＵＴ１へのタッチ操作を試みる第１の時点の状態を示している。図３１は、図２８と対応しており、図３０よりも指２１０が空間浮遊映像３に近づいている第２の時点の状態を示している。図３２は、図２９と対応しており、指２１０が空間浮遊映像３にタッチしたときの状態を示している。なお、図３０～図３２の（Ｂ）では、説明の便宜上、図２７～図２９の(Ｂ)とは反対の向きから見た図で示している。
【0145】
図３０～図３２では、仮想光源１５００は、表示面３ａに対しユーザ側であって、ユーザから見て表示面３ａの左側方に設けられている。そして、仮想光源１５００から照射される光により形成される指２１０の影を模した仮想影１５１０が、空間浮遊映像３に表示される。図３０～図３２では、仮想影１５１０は、指２１０の右側に表示される。この仮想影１５１０により、ユーザに対するタッチ操作の補助が行われる。
【0146】
図３０（Ｂ）の状態では、図３１（Ｂ）および図３２（Ｂ）の状態と比べて、指２１０の先端は、空間浮遊映像３の表示面３ａからの法線方向の距離において最も離れている。図３０（Ｂ）では、このときの指２１０の先端と空間浮遊映像３の表示面３ａとの法線方向の距離はｄｚ１０である。また、図３０（Ａ）では、このときの空間浮遊映像３の表示面３ａの水平方向における指２１０の先端と仮想影１５１０の先端との距離はｄｘ１０である。
【0147】
図３１（Ｂ）では、図２７（Ｂ）よりも指２１０が空間浮遊映像３に近づいている。よって、図３１（Ｂ）では、指２１０の先端と空間浮遊映像３の表示面３ａとの法線方向の距離ｄｚ２０はｄｚ１０よりも小さい。このとき、図３１（Ａ）では、仮想影１５１０は、空間浮遊映像３の表示面３ａの水平方向における指２１０の先端と仮想影１５１０の先端との距離が、ｄｘ１０よりも小さいｄｘ２０となる位置に表示される。すなわち、図３１の例では、仮想光源１５００が表示面３ａに対しユーザ側であってユーザから見て表示面３ａの左側方に設けられているため、指２１０の先端と空間浮遊映像３の表示面３ａとの法線方向の距離に連動して、空間浮遊映像３の表示面３ａを正面から見たときの指２１０の先端と仮想影１５１０の先端との水平方向の距離が変化することとなる。
【0148】
そして、指２１０の先端と仮想影１５１０の先端とが接すると、図３２に示すように、指２１０の先端と空間浮遊映像３の表示面３ａとの法線方向の距離が0になる。このとき、仮想影１５１０は、空間浮遊映像３の表示面３ａの水平方向における指２１０と仮想影１５１０との距離がゼロとなるように表示される。これにより、ユーザは、指２１０が空間浮遊映像３の表示面３ａにタッチしたことを認識できる。このとき、指２１０の先端が第１ボタンＢＵＴ１の領域に触れていれば、ユーザは、第１ボタンＢＵＴ１にタッチしたことを認識することができる。すなわち、図３２の例でも、仮想光源１５００が表示面３ａに対しユーザ側であってユーザから見て表示面３ａの左側方に設けられているため、指２１０の先端と空間浮遊映像３の表示面３ａとの法線方向の距離に連動して、空間浮遊映像３の表示面３ａを正面から見たときの指２１０の先端と仮想影１５１０の先端との水平方向の距離が変化したこととなる。
【0149】
【0150】
ここで、空間浮遊映像表示装置１０００に、上述した、「仮想影を用いたタッチ操作の補助（１）」の処理および／または「仮想影を用いたタッチ操作の補助（２）」の処理を実装する場合、以下の複数の実装例がありえる。
【0151】
第１の実装例としては、空間浮遊映像表示装置１０００に「仮想影を用いたタッチ操作の補助（１）」のみを実装する方法である。この場合、仮想光源１５００が表示面３ａに対しユーザ側であってユーザから見て表示面３ａの右側方に設けられているため、仮想影１５１０は、ユーザから見てユーザの指２１０の先端の左側に表示される。よって、ユーザの指２１０が右手の指であれば、仮想影１５１０の表示の視認性はユーザの右手や右腕によって遮られることがなく好適である。よって、統計的に右利きのユーザが多いという傾向からすると、空間浮遊映像表示装置１０００に「仮想影を用いたタッチ操作の補助（１）」のみを実装しても、仮想影１５１０の表示が良好に視認できる確率は十分高く好適である。
【0152】
また、第１の実装例としては、「仮想影を用いたタッチ操作の補助（１）」の処理と、「仮想影を用いたタッチ操作の補助（２）」の処理の両者を実装し、ユーザが、右手か左手かどちらの手でタッチ操作を行うかに応じていずれの処理を行うかを切り替える構成としてもよい。この場合、仮想影１５１０の表示が良好に視認できる確率をさらに高めることが可能であり、ユーザの利便性が向上する。
【0153】
具体的には、ユーザが右手でタッチ操作を行っている場合には、図２７～図２９の構成を用いて、指２１０の左側に仮想影１５１０を表示する。この場合、仮想影１５１０の表示の視認性はユーザの右手や右腕によって遮られることがなく好適である。一方、ユーザが左手でタッチ操作を行っている場合には、図３０～図３２の構成を用いて、指２１０の右側に仮想影１５１０を表示する。この場合、仮想影１５１０の表示の視認性はユーザの左手や左腕によって遮られることがなく好適である。これにより、ユーザが右手でタッチ操作をおこなう場合も左手でタッチ操作をおこなう場合も、ユーザが視認しやすい位置に仮想影１５１０が表示され、ユーザの利便性が向上する。
【0154】
ここで、右手でタッチ操作を行っているか左手でタッチ操作を行っているかの判定は、例えば、撮像部１１８０により生成された撮像画像に基づいて行えばよい。例えば、制御部１１１０は、撮像画像に対する画像処理を行い、撮像画像からユーザの顔、腕、手、指を検出する。そして、撮像部１１８０は、検出したこれら（顔、腕、手、指）の配置からユーザの姿勢または動作を推定し、ユーザが右手でタッチ操作を行っているか左手でタッチ操作を行っているかを判定すればよい。なお、当該判定において、ユーザの体の左右方向の中心付近が他の部分から判定できれば、顔の撮像は必ずしも必要ではない。また、腕の配置のみから上記判定を行ってもよい。手の配置のみから上記判定を行ってもよい。腕の配置と手の配置の組み合わせから上記判定を行ってもよい。またこれらの判定の際に、顔の配置を組み合わせて判定を行ってもよい。
【0155】
なお、図２７～図２９および図３０～図３２では、実際の指２１０の延在方向に対応する角度で延在する仮想影１５１０が示されている。実際の指２１０の延在方向は、既に説明したいずれかの撮像部で指を撮像して算出すればよい。ここで、指２１０の延在方向に対応する角度を反映させずに、延在方向を所定の角度に固定した仮想影１５１０を表示させるようにしてもよい。これにより、仮想影１５１０の表示制御を行う映像制御部１１６０または制御部１１１０の負荷が軽減される。
【0156】
例えば、指２１０が右手の指であれば、ユーザは、空間浮遊映像３の表示面３ａの手前右側から腕を伸ばし、空間浮遊映像３の表示面３ａに向かって左上を指２１０が差す状態で、空間浮遊映像３の表示面３ａにタッチを試みるのが自然である。よって、指２１０が右手の指である場合は、仮想影１５１０が示す指の影が空間浮遊映像３の表示面３ａに向かって右上の方向を示す所定の方向に表示されるように構成すれれば、指２１０に対応する角度を反映させなくとも自然な表示となる。
【0157】
また、例えば、指２１０が左手の指であれば、ユーザは、空間浮遊映像３の表示面３ａの手前左側から腕を伸ばし、空間浮遊映像３の表示面３ａに向かって右上を指２１０が差す状態で、空間浮遊映像３の表示面３ａにタッチを試みるのが自然である。よって、指２１０が左手の指である場合は、仮想影１５１０が示す指の影が空間浮遊映像３の表示面３ａに向かって左上の方向を示す所定の方向に表示されるように構成すれれば、指２１０に対応する角度を反映させなくとも自然な表示となる。
【0158】
なお、ユーザの指２１０が、空間浮遊映像３の表示面３ａに対しユーザとは反対側にある場合、指２１０が空間浮遊映像３の裏側にありタッチできない状態であることをユーザが認識できる表示を行えばよく、例えば、指２１０が空間浮遊映像３の裏側にありタッチできない状態であることをユーザに伝えるメッセージを空間浮遊映像３に表示してもよい。または、例えば仮想影１５１０を赤色など通常と異なる色に変えて表示するようにしてもよい。これにより、より好適にユーザに対して、指２１０を適切な位置に戻すことを促すことが可能となる。
【0159】
＜＜仮想光源の設定条件の一例＞＞
ここで、仮想光源１５００の設定方法について説明する。図３３は、仮想光源の設定方法を説明する図である。図３３には、ユーザが左手でタッチ操作を行う状況が示されているが、以下で説明する内容は、ユーザが右手でタッチ操作を行う場合にも好適に適用される。
ここで、仮想光源１５００の設定方法について説明する。図３３は、仮想光源の設定方法を説明する図である。図３３には、ユーザが左手でタッチ操作を行う状況が示されているが、以下で説明する内容は、ユーザが右手でタッチ操作を行う場合にも好適に適用される。
【0160】
図３３には、空間浮遊映像３の表示面３ａの中央の点Ｃからユーザ側に向かって延びる表示面３ａの法線Ｌ１、仮想光源１５００と法線Ｌ１が表示面３ａと交差する点Ｃとを結ぶ線Ｌ２、法線Ｌ１と線Ｌ２との間の角度で規定される仮想光源設置角度αが示されている。図３３では、説明を簡単にするため、線Ｌ２上にユーザの指２１０の先端がある瞬間を示している。
【0161】
ここで、図２７～３３まで、説明を簡単にするために、仮想光源１５００は、空間浮遊映像３の表示面３ａやユーザの指２１０からさほど遠くない位置に配置するように図示されている。仮想光源１５００をこのような位置に設定しても構わないが、最も好適な設定例は次の通りである。すなわち、仮想光源１５００と空間浮遊映像３の表示面３ａの中央の点Ｃとの距離は無限遠に設定することが望ましい。その理由は以下の通りである。仮に、図２７～３２の空間浮遊映像３の表示面３ａと同じ座標系に接触面を有する物体平面があり、仮想光源でなく太陽が光源であった場合、太陽の距離はほぼ無限遠として近似できるため、ユーザの指の先端と当該物体平面の距離(ｚ方向)の変化に対して、現実の物体平面上のユーザの指の影の先端の水平方向（ｘ方向）の位置は線形に変化する。よって、本実施例の図２７～３３に示す仮想光源１５００の設定においても、仮想光源１５００と空間浮遊映像３の表示面３ａの中央の点Ｃとの距離は無限遠に設定し、ユーザの指２１０の先端と空間浮遊映像３の表示面３ａの距離(ｚ方向)の変化に対して、空間浮遊映像３での仮想影１５１０の先端の水平方向（ｘ方向）の位置が線形に変化するように構成すると、ユーザにとってより自然に認識できる仮想影を表現できる。
【0162】
仮想光源１５００は、空間浮遊映像３の表示面３ａやユーザの指２１０からさほど遠くない位置に配置するように設定すると、ユーザの指２１０の先端と空間浮遊映像３の表示面３ａの距離(ｚ方向)の変化に対して、空間浮遊映像３での仮想影１５１０の先端の水平方向（ｘ方向）の位置が非線形に変化し、仮想影１５１０の先端の水平方向（ｘ方向）の位置を算出する演算が多少煩雑になる。これに対し、仮想光源１５００と空間浮遊映像３の表示面３ａの中央の点Ｃとの距離は無限遠に設定すれば、ユーザの指２１０の先端と空間浮遊映像３の表示面３ａの距離(ｚ方向)の変化に対して、空間浮遊映像３での仮想影１５１０の先端の水平方向（ｘ方向）の位置が線形に変化するので、仮想影１５１０の先端の水平方向（ｘ方向）の位置を算出する演算を単純化することができる、という効果もある。
【0163】
仮想光源設置角度αが小さい場合、ユーザから見て、仮想光源１５００と指２１０とを結ぶ線と法線Ｌ１との間の角度を大きくすることができないため、空間浮遊映像３の表示面３ａの水平方向（ｘ方向）における、指２１０の先端と仮想影１５１０の先端との距離が短くなってしまう。これにより、指２１０の先端がタッチ操作を行う際の仮想影１５１０の位置の変化がユーザに視認しづらくなってしまい、タッチ操作におけるユーザの奥行き認識の効果が低下するおそれがある。これを避けるため、仮想光源１５００と点Ｃとを結ぶ線Ｌ２と法線Ｌ１との間の角度が、例えば２０°以上となるよう、仮想光源１５００が設置されることが望ましい。
【0164】
一方、仮想光源１５００と指２１０とを結ぶ線と法線Ｌ１との間の角度が、９０°付近になると、指２１０の先端と仮想影１５１０の先端との距離が非常に長くなってしまう。そうすると、仮想影１５１０の表示位置が空間浮遊映像３の範囲外になる確率が高まり、仮想影１５１０を空間浮遊映像３中に表示できない確率が高まる。このため、仮想光源１５００と点Ｃとを結ぶ線Ｌ２と法線Ｌ１との間の角度が、例えば９０°に近づきすぎないよう、仮想光源１５００の設置角度αは７０°以下が望ましい。
【0165】
すなわち、仮想光源１５００は、指２１０を通る法線を含む面に近づきすぎず、空間浮遊映像３の表示面３ａを含む面に近づきすぎない位置に設置されることが望ましい。
【0166】
本実施例の空間浮遊映像表示装置１０００は、上述のように仮想影を表示することができる。これは、ユーザのタッチ操作の補助のために所定のマークを映像に重畳して表示する場合よりも、物理的に自然な演出となる映像処理となる。よって、本実施例の空間浮遊映像表示装置１０００の上述の仮想影の表示によるタッチ操作補助技術は、ユーザがより自然に対してタッチ操作における奥行きを認識できる状況を提供することができる。
【0167】
＜＜指の位置の検出方法＞＞
次に、指２１０の位置の検出方法について説明する。以下では、ユーザ２３０の指２１０の位置を検出する構成を具体的に説明する。
次に、指２１０の位置の検出方法について説明する。以下では、ユーザ２３０の指２１０の位置を検出する構成を具体的に説明する。
【0168】
＜＜＜指の位置の検出方法（１）＞＞＞
図３４は、指の位置の検出方法の一例を示す構成図である。図３４に示す例では、１つの撮像部１１８０、および１つの空中操作センサ１３５１を用いて指２１０の位置が検出される。なお、本発明の実施例における撮像部はいずれも撮像センサを有する。
図３４は、指の位置の検出方法の一例を示す構成図である。図３４に示す例では、１つの撮像部１１８０、および１つの空中操作センサ１３５１を用いて指２１０の位置が検出される。なお、本発明の実施例における撮像部はいずれも撮像センサを有する。
【0169】
第１撮像部１１８０ａ（１１８０）は、空間浮遊映像３に対してユーザ２３０と反対側に設置される。第１撮像部１１８０ａは、図３４に示すように筐体１１９０に設置されてもよいし、筐体１１９０から離れた場所に設置されてもよい。
【0170】
第１撮像部１１８０ａの撮像領域は、例えば空間浮遊映像３の表示領域、ユーザ２３０の指、手、腕、顔等を含むように設定される。第１撮像部１１８０ａは、空間浮遊映像３に対するタッチ操作を行うユーザ２３０を撮像し、第１撮像画像を生成する。なお、空間浮遊映像３の表示領域を第１撮像部１１８０ａから撮像しても空間浮遊映像３の指向性光束の進行方向の逆側からの撮影になるので、空間浮遊映像３自体は映像として視認できない。ここで、指の位置の検出方法（１）の例では、第１撮像部１１８０ａは単なる撮像部ではなく、撮像センサに加えて深度センサを内蔵している。深度センサの構成と処理は既存の技術を使用すればよい。第１撮像部１１８０ａの深度センサは、第１撮像部１１８０ａの撮像画像における各部(例えば、ユーザの指、手、腕、顔等)の奥行きを検出し、深度情報を生成する。
【0171】
空中操作センサ１３５１は、空間浮遊映像３の表示面３ａをセンシング対象面としてセンシングできる位置に設置される。図３４では、空中操作センサ１３５１は、空間浮遊映像３の表示面３ａの下方に設置されているが、表示面３ａの側方や上方に設置されてもよい。空中操作センサ１３５１は、図３４に示すように筐体１１９０に設置されてもよいし、筐体１１９０から離れた場所に設置されてもよい。
【0172】
図３４での空中操作検出センサ１３５１は、空間浮遊映像３の表示面３ａと指２１０が接触または重畳する位置を検出するセンサである。すなわち、空間浮遊映像３の表示面３ａのユーザ側から、指２１０の先端が空間浮遊映像３の表示面３ａに近づく場合、空中操作検出センサ１３５１は、空間浮遊映像３の表示面３ａに対する指２１０の接触を検出することができる。
【0173】
例えば図３Ｃに示す制御部１１１０は、画像処理を行うプログラムや、仮想影１５１０の表示させるプログラムを不揮発性メモリ１１０８から読み出す。制御部１１１０は、第１撮像部１１８０ａの撮像センサで生成された第１撮像画像に対する第１画像処理を行い、指２１０の検出、および指２１０の位置（ｘ座標、ｙ座標）を算出する。制御部１１１０は、第１撮像部１１８０ａの撮像センサで生成された第１撮像画像と、第１撮像部１１８０ａの深度センサが生成した深度情報とに基づいて、空間浮遊映像３に対する指２１０の先端の位置（ｚ座標）を算出する。
【0174】
図３４の例では、第１撮像部１１８０ａの撮像センサおよび深度センサ、空中操作センサ１３５１、空中操作検出部１３５０、制御部１１１０により、ユーザの指の位置の検出および空間浮遊映像３のオブジェクトに対するタッチの検出を行うタッチ検出部が構成される。これにより、指２１０の位置（ｘ座標、ｙ座標、ｚ座標）が算出される。また、空中操作検出部１３５０の検出結果または空中操作検出部１３５０の検出結果と第１撮像部１１８０aが生成する情報の組み合わせにより、タッチ検出結果が算出される。
【0175】
そして、制御部１１１０は、指２１０の位置（ｘ座標、ｙ座標、ｚ座標）、および仮想光源１５００の位置に基づき、仮想影１５１０を表示させる位置（表示位置）を算出し、算出した表示位置に基づく仮想影１５１０の映像データを生成する。
【0176】
なお、制御部１１１０による、映像データにおける仮想影１５１０の表示位置の算出は、指２１０の位置の算出のたびに行ってもよい。映像データにおける仮想影１５１０の表示位置の算出を、指２１０の位置の算出のたびには行わずに、予め指２１０の複数箇所の位置のそれぞれの位置に対応する仮想影１５１０の表示位置を算出した表示位置マップのデータを不揮発性メモリ１１０８に格納しておき、指２１０の位置の算出をおこなったら、不揮発性メモリ１１０８に格納されている表示位置マップのデータに基づいて仮想影１１５０の映像データを生成してもよい。また、制御部１１１０は、第１画像処理で指２１０の先端および指２１０の延在方向を算出しておき、指２１０の先端の表示位置、および延在方向に対応する仮想影１５１０の延在方向を算出し、これらに基づいて、実際の指２１０の向きに対応した表示角度に調整した仮想影１５１０の映像データを生成してもよい。
【0177】
制御部１１１０は、生成した仮想影１５１０の映像データを映像制御部１１６０へ出力する。映像制御部１１６０は、仮想影１５１０の映像データとオブジェクト等の他の映像データとを重畳した映像データ（重畳映像データ）を生成し、仮想影１５１０の映像データを含む重畳映像データを映像表示部１１０２へ出力する。
【0178】
映像表示部１１０２は、仮想影１５１０の映像データを含む重畳映像データに基づく映像を表示することで、仮想影１５１０とオブジェクト等とが重畳した空間浮遊映像３が表示される。
【0179】
オブジェクトに対するタッチの検出は、例えば以下のようにして実行される。空中操作検出部１３５０および空中操作検出センサ１３５１は、図３で説明したように構成され、空間浮遊映像３の表示面３ａを含む平面に指２１０が接触または重畳した場合、その位置を検出し、指２１０が表示面３ａに接触または重畳したその位置を示すタッチ位置情報を制御部１１１０へ出力する。そして、制御部１１１０は、タッチ位置情報が入力されると、第１画像処理により算出した指２１０の位置（ｘ座標、ｙ座標）が、空間浮遊映像３の表示面３ａに表示される各オブジェクトの表示範囲に含まれるか否かを判定する。そして、制御部１１１０は、指２１０の位置がいずれかのオブジェクトの表示範囲に含まれる場合、このオブジェクトに対するタッチが行われたと判定する。
【0180】
以上説明した検出方法によれば、撮像センサと深度センサを有する１つの撮像部１１８０（第１撮像部１１８０ａ）と１つの空中操作検出センサ１３５１とを組み合わせた簡便な構成で指２１０の位置の検出およびタッチ操作の検出を行うことが可能となる。
【0181】
なお、指の位置の検出方法（１）の変形例として、空中操作検出部１３５０および空中操作検出センサ１３５１による検出結果を用いずに、制御部１１１０が、第１撮像部１１８０ａの撮像センサで生成された第１撮像画像と、第１撮像部１１８０ａの深度センサが生成した深度情報に基づき、のみで指２１０によるタッチ操作を検出してもよい。例えば、通常動作動作時は、第１撮像部１１８０ａの撮像センサの撮像画像と深度センサの検出結果と、空中操作検出センサ１３５１の検出結果を組み合わせて指２１０によるタッチ操作を検出するモードとなるように構成し、空中操作検出センサ１３５１や空中操作検出部１３５０の動作に何らかの不具合がある場合に、空中操作検出部１３５０および空中操作検出センサ１３５１による検出結果を用いずに、制御部１１１０が、第１撮像部１１８０ａの撮像センサで生成された第１撮像画像と、第１撮像部１１８０ａの深度センサが生成した深度情報に基づき、のみで指２１０によるタッチ操作を検出するモードに切り替えてもよい。
【0182】
＜＜指の位置の検出方法（２）＞＞
図３５は、指の位置の検出方法の他の例を示す構成図である。図３５に示す例では、２つの撮像部を用いて指２１０の位置が検出される。第２撮像部１１８０ｂ（１１８０）、第３撮像部１１８０ｃ（１１８０）は、いずれも空間浮遊映像３に対してユーザ２３０と反対側に設けられる。
図３５は、指の位置の検出方法の他の例を示す構成図である。図３５に示す例では、２つの撮像部を用いて指２１０の位置が検出される。第２撮像部１１８０ｂ（１１８０）、第３撮像部１１８０ｃ（１１８０）は、いずれも空間浮遊映像３に対してユーザ２３０と反対側に設けられる。
【0183】
第２撮像部１１８０ｂは、例えばユーザ２３０から見て右側に設置される。第２撮像部１１８０ｂの撮像領域は、例えば空間浮遊映像３、ユーザ２３０の指、手、腕、顔等を含むように設定される。第２撮像部１１８０ｂは、空間浮遊映像３に対するタッチ操作を行うユーザ２３０をユーザ２３０の右側から撮像し、第２撮像画像を生成する。
【0184】
第３撮像部１１８０ｃは、例えばユーザ２３０から見て左側に設置される。第３撮像部１１８０ｃの撮像領域は、例えば空間浮遊映像３、ユーザ２３０の指、手、腕、顔等を含むように設定される。第３撮像部１１８０ｃは、空間浮遊映像３に対しタッチ操作を行うユーザ２３０をユーザ２３０の左側から撮像し、第３撮像画像を生成する。このように、図３５の例では、第２撮像部１１８０ｂおよび第３撮像部１１８０ｃは、いわゆるステレオカメラを構成する。
【0185】
第２撮像部１１８０ｂ、第３撮像部１１８０ｃは、図３５に示すように筐体１１９０に設置されてもよいし、筐体１１９０から離れた場所に設置されてもよい。また、一方の撮像部が筐体１１９０に設置され、他方の撮像部が筐体１１９０から離れた位置に設置されてもよい。
【0186】
制御部１１１０は、第２撮像画像に対する第２画像処理、第３撮像画像に対する第３画像処理をそれぞれ行う。そして、制御部１１１０は、第２画像処理の結果（第２画像処理結果）および第３画像処理の結果（第３画像処理結果）に基づき、指２１０の位置（ｘ座標、ｙ座標、ｚ座標）を算出する。
【0187】
図３５の例では、第２撮像部１１８０ｂ、第３撮像部１１８０ｃ、制御部１１１０により、ユーザの指の位置の検出および空間浮遊映像３のオブジェクトに対するタッチの検出を行うタッチ検出部が構成される。そして、指２１０の位置（ｘ座標、ｙ座標、ｚ座標）が位置検出結果あるいはタッチ検出結果として算出される。
【0188】
このように、図３５の例では、第２画像処理結果および第３画像処理結果に基づき算出した指２１０の位置に基づき仮想影１５１０が生成される。また、第２画像処理結果および第３画像処理結果に基づき算出した指２１０の位置に基づき、オブジェクトに対するタッチの有無の判定が行われる。
【0189】
この構成によれば、深度センサを有する撮像部を採用する必要はない。また、この構成によれば、第２撮像部１１８０ｂおよび第３撮像部１１８０ｃをステレオカメラとして用いることで、指２１０の位置の検出精度を向上させることが可能となる。特に、図３４の例と比較して、ｘ座標およびｙ座標の検出精度を向上させることができる。このため、オブジェクトがタッチされたか否かの判定をより正確に行うことが可能となる。
【0190】
また、指の位置の検出方法（２）の変形例として、ユーザの指の位置の検出（ｘ座標、ｙ座標、ｚ座標）は、上述のとおり、第２撮像部１１８０ｂによる第２撮像画像および第３撮像部１１８０ｃによる第３撮像画像に基づいて行い、これにより仮想影１５１０の表示を制御するようにし、空間浮遊映像３のオブジェクトに対するタッチの有無は、空中操作検出センサ１３５１による検出結果に基づいて空中操作検出部１３５０または制御部１１１０が検出するように構成すればよい。この変形例によれば、空間浮遊映像３の表示面３ａをセンシング対象面としてセンシングする空中操作センサ１３５１を用いるため、空間浮遊映像３の表示面３ａに対するユーザの指２１０の接触の検出については、第２撮像部１１８０ｂと第３撮像部１１８０ｃによるステレオカメラによる奥行き方向の検出精度よりも高い精度で検出することが可能である。
【0191】
＜＜＜指の位置の検出方法（３）＞＞＞
図３６は、指の位置の検出方法のその他の例を示す構成図である。図３６に示す例においても、２つの撮像部を用いて指２１０の位置が検出される。図３６の例は、図３５の例とは異なり、撮像部の一つである第４撮像部１１８０ｄ（１１８０）が空間浮遊映像３の表示面３ａを側面から撮像する位置に配置された構成となっている。また、図３４の例のように、第１撮像部１１８０a（１１８０）が、空間浮遊映像３に対してユーザ２３０と反対側に設置される。図３６の例では、第１撮像部１１８０a（１１８０）は撮像ができればよく深度センサを備える必要はない。
図３６は、指の位置の検出方法のその他の例を示す構成図である。図３６に示す例においても、２つの撮像部を用いて指２１０の位置が検出される。図３６の例は、図３５の例とは異なり、撮像部の一つである第４撮像部１１８０ｄ（１１８０）が空間浮遊映像３の表示面３ａを側面から撮像する位置に配置された構成となっている。また、図３４の例のように、第１撮像部１１８０a（１１８０）が、空間浮遊映像３に対してユーザ２３０と反対側に設置される。図３６の例では、第１撮像部１１８０a（１１８０）は撮像ができればよく深度センサを備える必要はない。
【0192】
したがって、第４撮像部１１８０ｄは、空間浮遊映像３の表示面３ａの周辺に設置される。図３６では、第４撮像部１１８０ｄは、空間浮遊映像３の表示面３ａの側面下方に設置されているが、表示面３ａの側方や上方に設置されてもよい。第４撮像部１１８０ｄは、図３６に示すように筐体１１９０に設置されてもよいし、筐体１１９０から離れた場所に設置されてもよい。
【0193】
第４撮像部１１８０ｄの撮像領域は、例えば空間浮遊映像３、ユーザ２３０の指、手、腕、顔等を含むように設定される。第４撮像部１１８０ｄは、空間浮遊映像３に対するタッチ操作を行うユーザ２３０を、空間浮遊映像３の表示面３ａの周辺から撮像し、第４撮像画像を生成する。
【0194】
制御部１１１０は、第４撮像画像に対する第４画像処理を行い、空間浮遊映像３の表示面３ａと指２１０の先端との距離（ｚ座標）を算出する。そして、制御部１１１０は、上述した第１撮像部１１８０aによる第1撮像画像についての第１画像処理により算出した指２１０の位置（ｘ座標、ｙ座標）、および第４画像処理により算出した指２１０の位置（ｚ座標）に基づき、仮想影１５１０に関する処理や、オブジェクトに対するタッチの有無の判定を行う。
【0195】
図３６の例では、第１撮像部１１８０ａ、第４撮像部１１８０ｄ、制御部１１１０により、ユーザの指の位置の検出およびオブジェクトに対するタッチの検出を行うタッチ検出部が構成される。そして、指２１０の位置（ｘ座標、ｙ座標、ｚ座標）が位置検出結果あるいはタッチ検出結果として算出される。
【0196】
この構成によれば、空間浮遊映像３の表示面３ａと指２１０の先端との距離、すなわち空間浮遊映像３の表示面３ａに対する指２１０の奥行の検出精度を、図３５のステレオカメラの構成の例よりも向上させることが可能となる。
【0197】
また、指の位置の検出方法（３）の変形例として、ユーザの指の位置の検出（ｘ座標、ｙ座標、ｚ座標）は、上述のとおり、第１撮像部１１８０ａによる第１撮像画像および第４撮像部１１８０ｄによる第４撮像画像に基づいて行い、これにより仮想影１５１０の表示を制御するようにし、空間浮遊映像３のオブジェクトに対するタッチの有無は、空中操作検出センサ１３５１による検出結果に基づいて空中操作検出部１３５０または制御部１１１０が検出するように構成すればよい。この変形例によれば、空間浮遊映像３の表示面３ａをセンシング対象面としてセンシングする空中操作センサ１３５１を用いるため、空間浮遊映像３の表示面３ａに対するユーザの指２１０の接触の検出については、第４撮像部１１８０ｄによる第４撮像画像による検出精度よりも高い精度で検出することが可能である。
【0198】
＜＜入力内容を表示してタッチ操作を補助する方法＞＞
ユーザのタッチ操作を他の方法で補助する例を説明する。例えば、入力した内容を表示してタッチ操作を補助することも可能である。図３７は、入力した内容を表示してタッチ操作を補助する方法を説明する図である。図３７には、タッチ操作により数字を入力する場合が示されている。
ユーザのタッチ操作を他の方法で補助する例を説明する。例えば、入力した内容を表示してタッチ操作を補助することも可能である。図３７は、入力した内容を表示してタッチ操作を補助する方法を説明する図である。図３７には、タッチ操作により数字を入力する場合が示されている。
【0199】
図３７の空間浮遊映像３には、例えば、数字等を入力する複数のオブジェクト、入力内容を消去するオブジェクト１６０１、入力内容を決定するオブジェクト１６０３等を含む複数のオブジェクトを含むキー入力ＵＩ(ユーザインタフェース)表示領域１６００、入力内容を表示する入力内容表示領域１６１０が含まれる。
【0200】
入力内容表示領域１６１０には、左端から右方向に向かい、タッチ操作により入力された内容（例えば数字）が空間浮遊映像３に順次表示される。ユーザは、入力内容表示領域１６１０を見ながらタッチ操作により入力した内容を確認することがでできる。そして、ユーザは、所望のすべての数字を入力すると、オブジェクト１６０３をタッチする。これにより、入力内容表示領域１６１０に表示された入力内容が登録される。空間浮遊映像３へのタッチ操作は、表示デバイスの表面上への物理的な接触と異なり、ユーザが接触した感触を得ることができない。そのため、入力内容を別途、入力内容表示領域１６１０に表示することで、ユーザは自身のタッチ操作が有効に行われたか否かを確認しながら操作を進めることができ、好適である。
【0201】
一方、タッチするオブジェクトを間違えた場合等、所望のものと異なる内容を入力した場合、ユーザは、オブジェクト１６０１をタッチすることで最後に入力した内容（ここでは「９」）を消去することができる。そして、ユーザは、数字等の入力用のオブジェクトに対するタッチ操作を引き続き行う。ユーザは、所望のすべての数字を入力すると、オブジェクト１６０３をタッチする。
【0202】
このように、入力内容表示領域１６１０に入力内容を表示することで、ユーザに、入力内容を確認させることができ、利便性を向上させることが可能となる。また、ユーザが誤ったオブジェクトをタッチした場合には、入力内容を修正させることができ、利便性を向上させることが可能となる。
【0203】
＜＜入力内容を強調表示してタッチ操作を補助する方法＞＞
次に、入力内容を強調表示してタッチ操作を補助することも可能である。図３８は、入力内容を強調表示してタッチ操作を補助する方法を説明する図である。
次に、入力内容を強調表示してタッチ操作を補助することも可能である。図３８は、入力内容を強調表示してタッチ操作を補助する方法を説明する図である。
【0204】
図３８には、タッチ操作により入力された数字が強調表示された例が示されている。図３８に沿って述べると、数字「６」に対応するオブジェクトがタッチされると、タッチされたオブジェクトが消去され、このオブジェクトが表示されていた領域に、入力された数字「６」が表示される。
【0205】
このように、タッチしたオブジェクトに対応する数字が、オブジェクトに代わって表示されることで、ユーザに対し、オブジェクトにタッチしたことを認識させることが可能となり、利便性を向上させることが可能となる。タッチしたオブジェクトに対応する数字は、タッチされたオブジェクトに差し替える、差し替えオブジェクトと称してもよい。
【0206】
入力内容を強調表示する他の方法として、例えば、ユーザがタッチしたオブジェクトを明るく点灯させてもよいし、ユーザがタッチしたオブジェクトを点滅させてもよい。ここでは図示していないが、図２７～図２８の実施例で説明した指２１０と表示面３ａとの距離を認識することで、表示面に指が近づくにつれタッチしようとしているオブジェクトが周囲のオブジェクトよりも明るく変化し、最終的に表示面に振れた段階で、強調度合いが最高に達したり、さらに明るく点灯したり、点滅させることも可能である。このような構成においても、ユーザに、オブジェクトにタッチしたことを認識させることが可能となり、利便性を向上させることが可能となる。
【0207】
＜＜振動によりタッチ操作を補助する方法（１）＞＞
次に、振動によりタッチ操作を補助する方法について説明する。図３９は、振動によりタッチ操作補助を行う方法の一例を説明する図である。図３９では、指２１０に代えてタッチペン（タッチ入力装置）１７００を用いてタッチ操作が行われる場合が示されている。タッチペン１７００は、例えば空間浮遊映像表示装置等の装置との間で信号やデータ等の各種情報を送受信する通信部、および入力された信号に基づき振動する振動機構等が搭載されている。
次に、振動によりタッチ操作を補助する方法について説明する。図３９は、振動によりタッチ操作補助を行う方法の一例を説明する図である。図３９では、指２１０に代えてタッチペン（タッチ入力装置）１７００を用いてタッチ操作が行われる場合が示されている。タッチペン１７００は、例えば空間浮遊映像表示装置等の装置との間で信号やデータ等の各種情報を送受信する通信部、および入力された信号に基づき振動する振動機構等が搭載されている。
【0208】
ユーザは、タッチペン１７００を操作し、空間浮遊映像３のキー入力ＵＩ表示領域１６００に表示されるオブジェクトをタッチペン１７００でタッチしたとする。このとき、例えば制御部１１００は、オブジェクトに対するタッチを検出したことを示すタッチ検出信号を通信部１１３２から送信する。タッチペン１７００がタッチ検出信号を受信すると、タッチ検出信号に基づいて振動機構が振動を発生させる。これにより、タッチペン１７００が振動する。そして、タッチペン１７００の振動がユーザに伝わり、ユーザは、オブジェクトにタッチしたことを認識する。このように、タッチペン１７００の振動によりタッチ操作の補助が行われる。
【0209】
この構成によれば、オブジェクトにタッチしたことを、振動によりユーザに認識させることが可能となる。
【0210】
ここでは、空間浮遊映像装置から送信されたタッチ検出信号をタッチペン１７００が受信する場合について述べたが、これ以外の構成でもよい。例えば、オブジェクトに対するタッチを検出すると、空間浮遊映像表示装置は、上位装置にオブジェクトに対するタッチを検出したことを通知する。そして、上位装置は、タッチペン１７００に対しタッチ検出信号を送信する。
【0211】
あるいは、空間浮遊映像表示装置および上位装置は、ネットワークを介してタッチ検出信号を送信してもよい。このように、タッチペン１７００は、空間浮遊映像表示装置から間接的にタッチ検出信号を受信してもよい。
【0212】
＜＜振動によりタッチ操作を補助する方法（２）＞＞
次に、振動によりタッチ操作を補助する他の方法について説明する。ここでは、ユーザが所有する端末を振動させることにより、オブジェクトにタッチしたことをユーザに認識させる。図４０は、振動によるタッチ操作の補助方法の他の例を説明する図である。図４０の例では、腕時計型のウェアラブル端末１８００を装着しているユーザ２３０が、タッチ操作を行う。
次に、振動によりタッチ操作を補助する他の方法について説明する。ここでは、ユーザが所有する端末を振動させることにより、オブジェクトにタッチしたことをユーザに認識させる。図４０は、振動によるタッチ操作の補助方法の他の例を説明する図である。図４０の例では、腕時計型のウェアラブル端末１８００を装着しているユーザ２３０が、タッチ操作を行う。
【0213】
ウェアラブル端末１８００は、例えば空間浮遊映像表示装置等の装置との間で信号やデータ等の各種情報を送受信する通信部、および入力された信号に基づき振動する振動機構等が搭載されている。
【0214】
ユーザは、指２１０でタッチ操作を行い、空間浮遊映像３のキー入力ＵＩ表示領域１６００に表示されるオブジェクトをタッチしたとする。このとき、例えば制御部１１００は、オブジェクトに対するタッチを検出したことを示すタッチ検出信号を通信部１１３２から送信する。ウェアラブル端末１８００がタッチ検出信号を受信すると、タッチ検出信号に基づいて振動機構が振動を発生させる。これにより、ウェアラブル端末１８００が振動する。そして、ウェアラブル端末１８００の振動がユーザに伝わり、ユーザは、オブジェクトにタッチしたことを認識する。このように、ウェアラブル端末１８００の振動によりタッチ操作の補助が行われる。ここでは、腕時計型のウェアラブル端末を例にとって説明したが、ユーザが身に着けているスマートフォンなどでもよい。
【0215】
なお、ウェアラブル端末１８００は、前述のタッチペン１７００と同様、上位装置からタッチ検出信号を受信してもよい。なお、ウェアラブル端末１８００は、ネットワークを介してタッチ検出信号を受信してもよい。なお、ウェアラブル端末１８００の他にも、例えば、ユーザが所有するスマートフォン等の情報処理端末を用いてタッチ操作の補助を行うことも可能である。
【0216】
この構成によれば、ユーザが所有するウェアラブル端末１８００等の各種端末を介して、オブジェクトにタッチしたことをユーザに認識させることが可能となる。
【0217】
＜＜振動によりタッチ操作を補助する方法（３）＞＞
次に、振動によりタッチ操作を補助するその他の方法について説明する。図４１は、振動によるタッチ操作の補助方法のその他の例を説明する図である。図４１の例では、ユーザ２３０は、振動板１９００の上に立ってタッチ操作を行う。振動板１９００は、ユーザ２３０がタッチ操作を行う所定の位置に設置される。実際の使用形態としては、振動板１９００は、例えば図示しないマットの下に配置され、ユーザ２３０は、マットを介して振動板１９００の上に立つこととなる。
次に、振動によりタッチ操作を補助するその他の方法について説明する。図４１は、振動によるタッチ操作の補助方法のその他の例を説明する図である。図４１の例では、ユーザ２３０は、振動板１９００の上に立ってタッチ操作を行う。振動板１９００は、ユーザ２３０がタッチ操作を行う所定の位置に設置される。実際の使用形態としては、振動板１９００は、例えば図示しないマットの下に配置され、ユーザ２３０は、マットを介して振動板１９００の上に立つこととなる。
【0218】
振動板１９００は、図４１に示すように、ケーブル１９１０を介して、例えば空間浮遊映像表示装置１０００の通信部１１３２と接続される。オブジェクトに対するタッチが検出されると、例えば制御部１１１０は、通信部１１３２を介して所定の時間、振動板１９００へ交流電圧を供給させる。振動板１９００は、交流電圧が供給されている間振動する。すなわち当該交流電圧は、通信部１１３２から出力される、振動板１９００を振動させるための制御信号である。振動板１９００で発生した振動が、足元からユーザ２３０に伝わり、ユーザ２３０は、オブジェクトにタッチしたことを認識することができる。このように、振動板１９００の振動によりタッチ操作の補助が行われる。
【0219】
交流電圧の周波数は、ユーザ２３０が振動を感じることができる範囲内の値に設定される。人が感じることができる振動の周波数は、おおよそ０．１Ｈｚ～５００Ｈｚの範囲内である。このため、交流電圧の周波数は、この範囲内に設定されることが望ましい。
【0220】
また、交流電圧の周波数は、振動板１９００の特性によって適宜変更されることが望ましい。例えば、振動板１９００が鉛直方向に振動する場合、人は、４１０Ｈｚ程度の振動に対する感度が最も高いとされている。また、振動板１９００が水平方向に振動する場合、人は、１２Ｈｚ程度の振動に対する感度が最も高いとされている。さらに、３４Ｈｚ以上の周波数では、人は、水平方向より鉛直方向に対する感度が高いとされている。
【0221】
そこで、振動板１９００が鉛直方向に振動する場合、交流電圧の周波数は、例えば、４１０Ｈｚを含む範囲内の値に設定されることが望ましい。また、振動板１９００が水平方向に振動する場合、交流電圧の周波数は、例えば、１２Ｈｚを含む範囲内の値に設定されることが望ましい。なお、振動板１９００の性能に応じて、交流電圧のピーク電圧や周波数は適宜調整されてもよい。
【0222】
この構成によれば、オブジェクトに対するタッチが行われたことを、足元からの振動によりユーザ２３０に認識させることが可能となる。また、この構成の場合、オブジェクトに対するタッチが行われたときに空間浮遊映像３の表示が変わらないように設定することも可能であり、他者がタッチ操作を覗き込んだ場合でも、入力内容が知られてしまう可能性が低減され、セキュリティをより向上させることが可能となる。
【0223】
＜＜オフジェクト表示の変形例１＞＞
空間浮遊映像表示装置１０００による空間浮遊映像３でのオブジェクト表示の他の例について説明する。空間浮遊映像表示装置１０００では、表示装置１が表示する矩形の映像の光学像である空間浮遊映像３を表示する構成となっている。表示装置１が表示する矩形の映像と空間浮遊映像３とは対応関係にある。よって、表示装置１の表示範囲全面に輝度を有する映像を表示すると、空間浮遊映像３は表示範囲全面に輝度を有する映像が表示される。この場合、矩形である空間浮遊映像３全体としての空中浮遊感は得られるものの、空間浮遊映像３内に表示される各オブジェクト自体の空中浮遊感が得られ難いという課題がある。これに対し、空間浮遊映像３のうち、オブジェクトの部分だけを輝度を有する映像として表示する方法もあり得る。しかしながら、オブジェクトの部分だけを輝度を有する映像として表示する方法はオブジェクトの浮遊感は好適に得られるが、一方でオブジェクトの奥行が認識しがたいという課題があった。
空間浮遊映像表示装置１０００による空間浮遊映像３でのオブジェクト表示の他の例について説明する。空間浮遊映像表示装置１０００では、表示装置１が表示する矩形の映像の光学像である空間浮遊映像３を表示する構成となっている。表示装置１が表示する矩形の映像と空間浮遊映像３とは対応関係にある。よって、表示装置１の表示範囲全面に輝度を有する映像を表示すると、空間浮遊映像３は表示範囲全面に輝度を有する映像が表示される。この場合、矩形である空間浮遊映像３全体としての空中浮遊感は得られるものの、空間浮遊映像３内に表示される各オブジェクト自体の空中浮遊感が得られ難いという課題がある。これに対し、空間浮遊映像３のうち、オブジェクトの部分だけを輝度を有する映像として表示する方法もあり得る。しかしながら、オブジェクトの部分だけを輝度を有する映像として表示する方法はオブジェクトの浮遊感は好適に得られるが、一方でオブジェクトの奥行が認識しがたいという課題があった。
【0224】
そこで、本実施例に係る図４２Ａの表示例では、空間浮遊映像３の表示範囲４２１０内において、「ＹＥＳ」と表示された第１ボタンＢＵＴ１、および「ＮＯ」と表示された第２ボタンＢＵＴ２の２つのオブジェクトを表示している。第１ボタンＢＵＴ１、および「ＮＯ」と表示された第２ボタンＢＵＴ２の２つのオブジェクト領域は、表示装置１において輝度を有する映像が含まれている領域である。この２つのオブジェクトの表示領域の周辺に、オブジェクトの表示領域を取り囲むように黒表示領域４２２０が配置されている。
【0225】
黒表示領域４２２０とは、表示装置１において黒を表示する領域である。すなわち、黒表示領域４２２０は、表示装置１において輝度を有しない映像情報を有する領域である。言い換えれば、黒表示領域４２２０は、輝度を有する映像情報がない領域である。表示装置１で黒が表示されている領域は、光学像である空間浮遊映像３ではユーザに何も見えない空間領域となる。さらに、図４２Ａの表示例では、表示範囲４２１０内において、黒表示領域４２２０を取り囲む形で、枠映像表示領域４２５０が配置されている。
【0226】
枠映像表示領域４２５０は、表示装置１では、輝度を有する映像を用いて疑似的な枠を表示する領域である。ここで、枠映像表示領域４２５０における疑似的な枠は、単色の色を表示して枠映像としてもよい。あるいは、枠映像表示領域４２５０におけるかかる疑似的な枠は、意匠性のある画像を用いて表示する枠映像としてもよい。あるいは、枠映像表示領域４２５０は、破線のような枠を表示してもよい。
【0227】
上記のような枠映像表示領域４２５０の枠映像を表示することにより、ユーザは、第１ボタンＢＵＴ１、および第２ボタンＢＵＴ２の２つのオブジェクトの属する平面を認識しやすくなり、第１ボタンＢＵＴ１、および第２ボタンＢＵＴ２の２つのオブジェクトの奥行位置を認識しやすくなる。それでありながら、これらのオブジェクトの周辺には、ユーザには何も見えない黒表示領域４２２０が存在するため、第１ボタンＢＵＴ１、および第２ボタンＢＵＴ２の２つのオブジェクトの空中浮遊感を強調することができる。なお、空間浮遊映像３において、枠映像表示領域４２５０は表示範囲４２１０の最外周に存在するが、場合によっては、表示範囲４２１０の最外周でなくともよい。
【0228】
以上のように、図４２Ａの表示例によれば、空間浮遊映像３に表示するオブジェクトの空中浮遊感と奥行位置の認識をより好適に両立することができる。
【0229】
＜＜オフジェクト表示の変形例２＞＞
図４２Ｂは、図４２Ａのオブジェクト表示の変形例である。第１ボタンＢＵＴ１および第２ボタンＢＵＴ２などのユーザがタッチ操作可能なオブジェクトの近傍に「タッチ操作が可能である」旨のメッセージ表示を行う表示例である。ここで、図４２Ｂにように、ユーザがタッチ操作可能なオブジェクトを指し示す矢印などのマークの表示を行っても良い。このようにすれば、ユーザはタッチ操作が可能なオブジェクトの容易に認識することができる。
図４２Ｂは、図４２Ａのオブジェクト表示の変形例である。第１ボタンＢＵＴ１および第２ボタンＢＵＴ２などのユーザがタッチ操作可能なオブジェクトの近傍に「タッチ操作が可能である」旨のメッセージ表示を行う表示例である。ここで、図４２Ｂにように、ユーザがタッチ操作可能なオブジェクトを指し示す矢印などのマークの表示を行っても良い。このようにすれば、ユーザはタッチ操作が可能なオブジェクトの容易に認識することができる。
【0230】
ここで、このようなメッセージ表示やマーク表示も、黒表示領域４２２０に取り囲まれるように表示することで空中浮遊感を得ることができる。
【0231】
＜＜空間浮遊映像表示装置の変形例＞＞
次に、空間浮遊映像表示装置の変形例について、図４３を用いて説明する。図４３の空間浮遊映像表示装置は、図３Ａの空間浮遊映像表示装置の変形例である。図３Ａに記載の構成要素と同じ構成要素については同一の符号を付している。図４３の説明では、図３Ａに記載の構成要素と異なる点を説明し、図３Ａに記載の構成要素と同じ構成要素については、図３Ａで既に説明済のため、繰り返しの説明は省略する。
次に、空間浮遊映像表示装置の変形例について、図４３を用いて説明する。図４３の空間浮遊映像表示装置は、図３Ａの空間浮遊映像表示装置の変形例である。図３Ａに記載の構成要素と同じ構成要素については同一の符号を付している。図４３の説明では、図３Ａに記載の構成要素と異なる点を説明し、図３Ａに記載の構成要素と同じ構成要素については、図３Ａで既に説明済のため、繰り返しの説明は省略する。
【0232】
ここで、図４３の空間浮遊映像表示装置は、図３Ａの空間浮遊映像表示装置と同様に、偏光分離部材１０１、λ／４板２１、および再帰反射部材２を介することにより、表示装置１からの映像光を空間浮遊映像３に変換する。
【0233】
図４３の空間浮遊映像表示装置は、図３Ａの空間浮遊映像表示装置と異なり、空間浮遊映像３を周辺から取り囲むように物理枠４３１０が設けられている。ここで、物理枠４３１０には、空間浮遊映像３の外周に沿って開口窓が設けられており、ユーザは、物理枠４３１０の開口窓の位置に空間浮遊映像３を視認することができる。空間浮遊映像３が矩形である場合には、物理枠４３１０の開口窓の形状も矩形となる。
【0234】
図４３の例では、物理枠４３１０の開口窓の一部に空中操作検出センサ１３５１が設けられている。空中操作検出センサ１３５１は、図３Ｃで既に説明したとおり、空間浮遊映像３に表示されるオブジェクトにユーザの指によるタッチ操作を検出することができる。
【0235】
図４３の例では、物理枠４３１０は空間浮遊映像表示装置の上面において、偏光分離部材１０１を覆うカバー構造を有している。なお、当該カバー構造が覆うのは、偏光分離部材１０１に限られず、表示装置１および再帰反射部材２の格納部を覆うように構成すればよい。ただし、図４３の物理枠４３１０は、本実施例の一例にすぎず、必ずしもカバー構造を有する必要はない。
【0236】
【0237】
これに対し、本実施例の図４３の空間浮遊映像表示装置の物理枠４３１０の開口窓４４５０の構成と空間浮遊映像３の表示の例の一例を、図４５を用いて示す。図４５の例では、開口窓４４５０は、空間浮遊映像３の表示範囲４２１０と略一致するように構成されている。
【0238】
さらに、図４５の空間浮遊映像３の表示例は、例えば、図４２Ａの例に近いオブジェクト表示を行う。具体的には、ユーザがタッチ操作可能なオブジェクト、例えば第１ボタンＢＵＴ１および第２ボタンＢＵＴ２を表示する。これらのユーザがタッチ操作可能なオブジェクトは、黒表示領域４２２０に囲まれており、空間浮遊感を好適に得ている。
【0239】
黒表示領域４２２０を取り囲む外周には、枠映像表示領域４４７０が設けられている。枠映像表示領域４４７０の外周は表示範囲４２１０であり、空間浮遊映像表示装置の開口窓４４５０の縁は表示範囲４２１０と略一致するように配置されている。
【0240】
ここで、図４５の表示例では、枠映像表示領域４４７０の枠の映像は、開口窓４４５０周辺の物理枠４３１０の色と同系色の色で表示する。例えば、物理枠４３１０が白色であれば、枠映像表示領域４４７０の枠の映像も白色で表示する。物理枠４３１０が灰色であれば、枠映像表示領域４４７０の枠の映像も灰色で表示する。例えば、物理枠４３１０が黄色であれば、枠映像表示領域４４７０の枠の映像も黄色で表示する。
【0241】
このように、枠映像表示領域４４７０の枠の映像は、開口窓４４５０周辺の物理枠４３１０の色と同系色で表示することで、物理枠４３１０と枠映像表示領域４４７０の枠の映像の空間連続性をユーザに強調して伝えることができる。
【0242】
一般に、ユーザは、空間浮遊映像よりも物理的構成に対して、より好適に空間認識が可能である。よって、図４５の表示例のように、空間浮遊映像を物理枠の空間連続性を強調するように表示することによって、ユーザは、空間浮遊映像の奥行をより好適に認識しやすくなる。
【0243】
さらに、図４５の表示例では、ユーザがタッチ操作可能なオブジェクト、例えば第１ボタンＢＵＴ１および第２ボタンＢＵＴ２の空間浮遊像は枠映像表示領域４４７０と同一平面上に結像していることから、ユーザは、物理枠４３１０と枠映像表示領域４４７０の奥行認識に基づいて、第１ボタンＢＵＴ１および第２ボタンＢＵＴ２の奥行をより好適に認識することができる。
【0244】
すなわち、図４５の表示例によれば、空間浮遊映像３に表示するオブジェクトの空中浮遊感と奥行位置の認識をより好適に両立することができる。かつ、図４２Ａの表示例よりも好適に空間浮遊映像３に表示するオブジェクトの奥行位置の認識を容易にすることが可能となる。
【0245】
【0246】
なお、図４３の空間浮遊映像表示装置の構成の変形例として、図４６に示すように、物理枠４３１０のカバー構造の内側に、光反射率の低い黒い表面を有する遮光板４６１０や遮光板４６２０を設けてもよい。このように遮光板を設けることで、ユーザが開口窓から空間浮遊映像表示装置内部を覗きこんでも、空間浮遊映像３と関係のない部品等を視認することを防ぐことができる。これにより、図４２Ａなどの黒表示領域４２２０の後ろ側に、空間浮遊映像３と関係のない実物体が視認されて、空間浮遊映像３が視認しづらくなる、ということを防ぐことができる。また、空間浮遊映像３に基づく迷光の発生も防止することができる。
【0247】
ここで、遮光板４６１０や遮光板４６２０は、空間浮遊映像３の矩形に対応する筒型の四角柱を構成するものであり、空間浮遊映像表示装置の開口窓近傍から表示装置１および再帰反射部材２の格納部に向かって延伸する構成としてもよい。また、光の発散角およびユーザの視点の自由度確保を考慮して、向かい合った遮光板が平行でない四角錐台形状を含む構成とし、空間浮遊映像表示装置の開口窓近傍から表示装置１および再帰反射部材２の格納部に向かって延伸する構成としてもよい。この場合、当該四角錐台形状は、空間浮遊映像表示装置の開口窓近傍から表示装置１および再帰反射部材２の格納部に向かって広がっていく形状となる。
【0248】
なお、図４６のカバー構造と、遮光板は、図４５の表示例以外の表示を行う空間浮遊映像表示装置において用いてもよい。すなわち、必ずしも枠映像表示領域４４７０を表示する必要はない。空間浮遊映像表示装置のカバー構造の物理枠４３１０が空間浮遊映像３の表示範囲４２１０を囲むように配置されていれば、図４５において枠映像表示領域４４７０がなくとも、表示されるオブジェクトの奥行位置の認識向上に寄与することができる。
【0249】
以上、種々の実施例について詳述したが、しかしながら、本発明は、上述した実施例のみに限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するためにシステム全体を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0250】
本実施例に係る技術では、高解像度かつ高輝度な映像情報を空間浮遊した状態で表示することにより、例えば、ユーザは感染症の接触感染に対する不安を感じることなく操作することを可能にする。不特定多数のユーザが使用するシステムに本実施例に係る技術を用いれば、感染症の接触感染のリスクを低減し、不安を感じることなく使用できる非接触ユーザインタフェースを提供することを可能にする。これにより、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Sustainable Development Goals）の「3すべての人に健康と福祉を」に貢献する。
【0251】
また、本実施例に係る技術では、出射する映像光の発散角を小さく、さらに特定の偏波に揃えることで、再帰反射部材に対して正規の反射光だけを効率良く反射させるため、光の利用効率が高く、明るく鮮明な空間浮遊映像を得ることを可能にする。本実施例に係る技術によれば、消費電力を大幅に低減することが可能な、利用性に優れた非接触ユーザインタフェースを提供することができる。これにより、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Sustainable Development Goals）の「9産業と技術革新の基盤をつくろう」および「11住み続けられるまちづくりを」に貢献する。
【0252】
さらに、本実施例に係る技術では、指向性（直進性）の高い映像光による空間浮遊映像を形成することを可能にする。本実施例に係る技術では、銀行のＡＴＭや駅の券売機等における高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示する場合でも、指向性の高い映像光を表示することで、ユーザ以外に空間浮遊映像を覗き込まれる危険性が少ない非接触ユーザインタフェースを提供することを可能にする。これにより、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Sustainable Development Goals）の「11住み続けられるまちづくりを」に貢献する。
【符号の説明】
【0253】
１…表示装置、２…再帰反射部材、３…空間像（空間浮遊映像）、１０５…ウィンドガラス、１００…透明な部材、１０１…偏光分離部材、１２…吸収型偏光板、１３…光源装置、５４…光方向変換パネル、１５１…再帰反射部材、１０２、２０２…ＬＥＤ基板、２０３…導光体、２０５、２７１…反射シート、２０６、２７０…位相差板、３００…空間浮遊映像、３０１…空間浮遊映像のゴースト像、３０２…空間浮遊映像のゴースト像、２３０…ユーザ、１０００…空間浮遊映像表示装置、１１１０…制御部、１１６０…映像制御部、１１８０…撮像部、１１０２…映像表示部、１３５０…空中操作検出部、１３５１…空中操作検出センサ、１５００…仮想光源、１５１０…仮想影、１６１０…入力内容表示領域、１７００…タッチペン、１８００…ウェアラブル端末、１９００…振動板、４２２０…黒表示領域、４２５０…枠映像表示領域。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42A】
【図42B】
【図43】
【図44】
【図45】
【図46】