(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022100561
(43)【公開日】2022-07-06
(54)【発明の名称】空間浮遊映像表示装置
(51)【国際特許分類】
G06F 3/01 20060101AFI20220629BHJP
G06F 3/04815 20220101ALI20220629BHJP
H04N 13/346 20180101ALI20220629BHJP
H04N 13/366 20180101ALI20220629BHJP
【FI】
G06F3/01 510
G06F3/0481 150
H04N13/346
H04N13/366
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2020214603
(22)【出願日】2020-12-24
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.HDMI
(71)【出願人】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110002066
【氏名又は名称】特許業務法人筒井国際特許事務所
(72)【発明者】
【氏名】▲高▼橋 宏明
(72)【発明者】
【氏名】渡辺 克行
(72)【発明者】
【氏名】平田 浩二
(72)【発明者】
【氏名】藤田 浩司
(72)【発明者】
【氏名】杉山 寿紀
【テーマコード(参考)】
5C061
5E555
【Fターム(参考)】
5C061AA06
5C061AB14
5C061AB16
5E555AA11
5E555AA27
5E555AA64
5E555BA02
5E555BB02
5E555BC08
5E555BE16
5E555CA42
5E555CB66
5E555DA11
5E555DB53
5E555DC19
5E555FA00
(57)【要約】
【課題】ユーザの利便性が高い好適な空間浮遊映像表示装置等を提供する。
【解決手段】空間浮遊映像表示装置1000は、光源および映像源(表示装置1)と、映像光に基づいて所定の指向性の空間浮遊映像を形成する再帰反射部材2と、それらを収容する筐体60と、筐体60を移動させる駆動機構62と、筐体60の外部の空間内の所定の位置に形成される空間浮遊映像3の表示を制御するコントローラ(制御基板61)と、空間浮遊映像3に対する視認および操作を行うユーザによる空間浮遊映像3に対する操作を検出するための第1センサ(センサ31)と、空間浮遊映像3に対するユーザの顔UFの位置を検出するための第2センサ(カメラ32)とを備える。コントローラは、空間浮遊映像3に対するユーザの顔UFの位置に応じて、筐体60を駆動機構62によって移動させることで、ユーザの顔UFの位置に応じて、空間浮遊映像3の状態を調整する。
【選択図】
図26
【特許請求の範囲】
【請求項1】
光源と、
前記光源からの光に基づいて映像光を出射する映像源と、
前記映像光に基づいて所定の指向性の空間浮遊映像を形成する再帰反射部材と、
前記光源、前記映像源、および前記再帰反射部材を収容する筐体と、
前記筐体または前記筐体内の構成要素を移動させる駆動機構と、
前記筐体の外部の空間内の所定の位置に形成される前記空間浮遊映像の表示を制御するコントローラと、
前記空間浮遊映像に対する視認および操作を行うユーザによる、前記空間浮遊映像に対する操作を検出するための第1センサと、
前記空間浮遊映像に対する前記ユーザの顔または頭の位置を検出するための第2センサと、
を備え、
前記コントローラは、前記空間浮遊映像に対する前記ユーザの顔または頭の位置に応じて、前記筐体または前記筐体内の構成要素を前記駆動機構によって移動させる、
空間浮遊映像表示装置。
【請求項2】
請求項1記載の空間浮遊映像表示装置において、
前記駆動機構は、前記筐体または前記筐体内の構成要素を回転移動させる、
空間浮遊映像表示装置。
【請求項3】
請求項1記載の空間浮遊映像表示装置において、
前記駆動機構は、前記筐体または前記筐体内の構成要素を平行移動させる、
空間浮遊映像表示装置。
【請求項4】
請求項1記載の空間浮遊映像表示装置において、
前記コントローラは、前記第2センサを用いて、前記空間浮遊映像に対する前記顔または頭の標準位置に対する前記顔または頭の現在位置として、鉛直方向での位置を判定する、
空間浮遊映像表示装置。
【請求項5】
請求項1記載の空間浮遊映像表示装置において、
前記コントローラは、前記第2センサを用いて、前記空間浮遊映像に対する前記顔または頭の標準位置に対する前記顔または頭の現在位置として、左右方向での位置を判定する、
空間浮遊映像表示装置。
【請求項6】
請求項1記載の空間浮遊映像表示装置において、
前記コントローラは、前記第2センサを用いて、前記空間浮遊映像に対する前記顔または頭の標準位置に対する前記顔または頭の現在位置として、前後方向での位置を判定する、
空間浮遊映像表示装置。
【請求項7】
請求項1記載の空間浮遊映像表示装置において、
前記コントローラは、前記第2センサを用いて、前記空間浮遊映像に対する前記顔または頭の標準位置に対する前記顔または頭の現在位置の差を判断し、前記差が閾値以内になった場合に、前記調整を開始する、
空間浮遊映像表示装置。
【請求項8】
請求項1記載の空間浮遊映像表示装置において、
前記コントローラは、前記空間浮遊映像に対し所定の物体を重ねるようにかざす操作に応じて、前記第2センサを用いて前記物体を読み取る、
空間浮遊映像表示装置。
【請求項9】
光源と、
前記光源からの光に基づいて映像光を出射する映像源と、
前記映像光に基づいて所定の指向性の空間浮遊映像を形成する再帰反射部材と、
前記光源、前記映像源、および前記再帰反射部材を収容する筐体と、
前記筐体の外部の空間内の所定の位置に形成される前記空間浮遊映像の表示を制御するコントローラと、
前記空間浮遊映像に対する視認および操作を行うユーザによる、前記空間浮遊映像に対する操作を検出するための第1センサと、
前記空間浮遊映像に対する前記ユーザによる操作の特性を検出するためのセンサと、
を備え、
前記コントローラは、前記センサに基づいて、前記空間浮遊映像に対する前記ユーザによる操作の特性を判定し、前記特性に合わせるように、前記第1センサを用いた前記空間浮遊映像に対する操作の判定条件を変更する、
空間浮遊映像表示装置。
【請求項10】
請求項9記載の空間浮遊映像表示装置において、
前記コントローラは、前記特性を判定するための目標物を含む画面を前記空間浮遊映像として表示し、前記目標物に対する操作の特性を判定する、
空間浮遊映像表示装置。
【請求項11】
請求項9記載の空間浮遊映像表示装置において、
前記コントローラは、前記特性として、前記空間浮遊映像の面に対する垂直方向での前記ユーザの手指または所持物の進入の深さを判定し、前記判定条件として前記深さに関する閾値を変更する、
空間浮遊映像表示装置。
【請求項12】
請求項9記載の空間浮遊映像表示装置において、
前記コントローラは、前記特性として、前記空間浮遊映像の面における前記ユーザの手指または所持物の接触の位置を判定し、前記判定条件として前記位置に関する閾値を変更する、
空間浮遊映像表示装置。
【請求項13】
請求項9記載の空間浮遊映像表示装置において、
前記コントローラは、前記特性として、前記空間浮遊映像の面における前記ユーザの手指または所持物の接触の面積を判定し、前記判定条件として前記面積に関する閾値を変更する、
空間浮遊映像表示装置。
【請求項14】
請求項9記載の空間浮遊映像表示装置において、
前記空間浮遊映像に対する前記ユーザの顔または頭の位置を検出するための第2センサを備え、
前記コントローラは、前記第2センサを用いて、前記ユーザの顔の画像を取得し、前記顔の画像に基づいて顔認証によるユーザ認証を行う、
空間浮遊映像表示装置。
【請求項15】
請求項9記載の空間浮遊映像表示装置において、
前記空間浮遊映像に対する前記ユーザの顔または頭の位置を検出するための第2センサを備え、
前記コントローラは、前記空間浮遊映像に対し所定の物体を重ねるようにかざす操作に応じて、前記第2センサを用いて前記物体を読み取る、
空間浮遊映像表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、空間浮遊映像表示装置等の技術に関する。
【背景技術】
【0002】
空間浮遊映像表示装置等に関する先行技術例としては、特開2019-128722号公報(特許文献1)が挙げられる。特許文献1には、表示された空間像の操作面における誤検知を低減する旨の技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術例の空間浮遊映像表示装置は、ユーザによる空間浮遊映像の視認性や操作のしやすさ等の点について改善の余地がある。
【0005】
本発明の目的は、ユーザの利便性が高い好適な空間浮遊映像表示装置等を提供することである。
【課題を解決するための手段】
【0006】
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本発明の実施の形態の空間浮遊映像表示装置は、光源と、前記光源からの光に基づいて映像光を出射する映像源と、前記映像光に基づいて所定の指向性の空間浮遊映像を形成する再帰反射部材と、前記光源、前記映像源、および前記再帰反射部材を収容する筐体と、前記筐体または前記筐体内の構成要素を移動させる駆動機構と、前記筐体の外部の空間内の所定の位置に形成される前記空間浮遊映像の表示を制御するコントローラと、前記空間浮遊映像に対する視認および操作を行うユーザによる、前記空間浮遊映像に対する操作を検出するための第1センサと、前記空間浮遊映像に対する前記ユーザの顔または頭の位置を検出するための第2センサと、を備え、前記コントローラは、前記空間浮遊映像に対する前記ユーザの顔または頭の位置に応じて、前記筐体または前記筐体内の構成要素を前記駆動機構によって移動させる。
【発明の効果】
【0007】
本発明によれば、ユーザの利便性が高い好適な空間浮遊映像表示装置等を提供することができる。上記以外の課題や構成や効果等については、[発明を実施するための形態]において示される。
【図面の簡単な説明】
【0008】
【
図1】本発明の一実施例に係る空間浮遊映像表示装置の使用形態の一例を示す図である。
【
図2】本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。
【
図3A】空間浮遊映像表示装置の設置方法の一例を示す図である。
【
図3B】空間浮遊映像表示装置の設置方法の他の例を示す図である。
【
図3C】空間浮遊映像表示装置の構成例を示す図である。
【
図4】本発明の一実施例に係る空間浮遊映像表示装置の主要部構成の他の例を示す図である。
【
図5】空間浮遊映像表示装置で用いるセンシング装置の機能を説明するための説明図である。
【
図6】空間浮遊映像表示装置で用いる3次元映像表示の原理の説明図である。
【
図7】反射型偏光板の特性を評価した測定系の説明図である。
【
図8】反射型偏光板透過軸の光線入射角度に対する透過率特性を示す特性図である。
【
図9】反射型偏光板反射軸の光線入射角度に対する透過率特性を示す特性図である。
【
図10】反射型偏光板透過軸の光線入射角度に対する透過率特性を示す特性図である。
【
図11】反射型偏光板反射軸の光線入射角度に対する透過率特性を示す特性図である。
【
図12】光源装置の具体的な構成の一例を示す断面図である。
【
図13】光源装置の具体的な構成の一例を示す断面図である。
【
図14】光源装置の具体的な構成の一例を示す断面図である。
【
図15】本発明の一実施例に係る空間浮遊映像表示装置の主要部を示す配置図である。
【
図16】本発明の一実施例に係る表示装置の構成を示す断面図である。
【
図17】光源装置の具体的な構成の一例を示す断面図である。
【
図18】光源装置の具体的な構成の一例を示す断面図である。
【
図19】光源装置の具体的な構成の一例を示す断面図である。
【
図20】表示装置の光源拡散特性を説明するための説明図である。
【
図21】表示装置の拡散特性を説明するための説明図である。
【
図22】表示装置の拡散特性を説明するための説明図である。
【
図23】ゴースト像の発生原理を説明するための説明図である。
【
図24】従来技術におけるゴースト像の発生原理を説明するための説明図である。
【
図25】本発明の一実施例に係る表示装置の構成を示す断面図である。
【
図26】実施の形態1の空間浮遊映像表示装置の構成を示す説明図である。
【
図27】実施の形態1で、空間浮遊映像の表示例を示す説明図である。
【
図28】実施の形態1で、縦置きの場合の構成を示す説明図である。
【
図29】実施の形態1で、上から見た構成を示す説明図である。
【
図30】実施の形態1で、カメラによる顔の位置の判別についての説明図である。
【
図31】実施の形態1で、筐体の回転移動についての説明図である。
【
図32】実施の形態1の変形例で、筐体の平行移動についての説明図である。
【
図33】実施の形態1の変形例で、奥行き方向の顔の位置の判別についての説明図である。
【
図34】実施の形態1の変形例で、カメラ画像における顔の位置についての説明図である。
【
図35】実施の形態1の変形例で、コードの読み取りについての説明図である。
【
図36】実施の形態2の空間浮遊映像表示装置の構成を示す説明図である。
【
図37】実施の形態2で、空間浮遊映像の表示例を示す説明図である。
【
図38】実施の形態2で、処理フローを示す説明図である。
【
図39】実施の形態2で、操作の特性の判別(その1)についての説明図である。
【
図40】実施の形態2で、操作の特性の判別(その2)についての説明図である。
【
図41】実施の形態2で、操作の特性の判別(その3)についての説明図である。
【
図42】実施の形態2の変形例で、コードの読み取りについての説明図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、本発明は実施例の説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。図面において、同一の機能を有するものには同一の符号を付与し、繰り返しの説明を省略する場合がある。図面において、各構成要素の表現は、発明の理解を容易にするために、実際の位置、大きさ、形状、および範囲等を表していない場合があり、本発明は、図面に開示された位置等には必ずしも限定されない。説明上、プログラムによる処理について説明する場合に、プログラムや機能や処理部等を主体として説明する場合があるが、それらについてのハードウェアとしての主体は、プロセッサ、あるいはそのプロセッサ等で構成されるコントローラ等である。装置は、プロセッサによって、適宜にメモリや通信インタフェース等の資源を用いながら、メモリ上に読み出されたプログラムに従った処理を実行する。これにより、所定の機能や処理部等が実現される。プロセッサは、例えばCPUやGPU等の半導体デバイス等で構成される。プロセッサは、所定の演算が可能な装置や回路で構成される。処理は、ソフトウェアプログラム処理に限らず、専用回路でも実装可能である。専用回路は、FPGA、ASIC等が適用可能である。プログラムは、対象装置に予めデータとしてインストールされていてもよいし、プログラムソースから対象装置にデータとして配布されてインストールされてもよい。プログラムソースは、通信網上のプログラム配布サーバでもよいし、非一過性のコンピュータ読み取り可能な記憶媒体でもよい。プログラムは、複数のプログラムモジュールから構成されてもよい。また、識別情報、識別子、ID、名、番号等の表現は、互いに置換可能である。
【0010】
以下の実施例は、映像発光源からの映像光による映像を、ガラス等の空間を仕切る透明な部材を介して透過して、前記透明な部材の外部に空間浮遊映像として表示することが可能な空間浮遊映像表示装置に関する。
【0011】
以下の実施例によれば、例えば、銀行のATMや駅の券売機やデジタルサイネージ等において好適な空間浮遊映像表示装置を実現できる。例えば、現状、銀行のATMや駅の券売機等では、通常、タッチパネルが用いられているが、透明なガラス面や光透過性の板材を用いて、このガラス面や光透過性の板材上に高解像度な映像情報を空間浮遊した状態で表示可能となる。この時、出射する映像光の発散角を小さく、即ち鋭角とし、さらに特定の偏波に揃えることで、再帰反射部材に対して正規の反射光だけを効率良く反射させるため、光の利用効率が高く、従来の再帰反射方式での課題となっていた主空間浮遊像の他に発生するゴースト像を抑えることができ、鮮明な空間浮遊映像を得ることができる。また、本実施例の光源を含む装置により、消費電力を大幅に低減することが可能な、新規で利用性に優れた空間浮遊映像表示装置(空間浮遊映像表示システム)を提供することができる。また、例えば、車両において車両内部および/または外部において視認可能である、いわゆる、一方向性の空間浮遊映像表示が可能な車両用空間浮遊映像表示装置を提供することができる。
【0012】
一方、従来の技術では、
図23、
図24に示すように、高解像度なカラー表示映像源150として有機ELパネルや液晶パネルを再帰反射部材151と組合せる。従来の技術では映像光が広角で拡散するため、再帰反射部材151で正規に反射する反射光の他に、
図24に示すように再帰反射部材2aに斜めから入射する映像光よってゴースト像301及び302が発生し空間浮遊映像の画質を損ねていた。また、
図23に示すように正規な空間浮遊映像300の他に第1ゴースト像301や第2ゴースト像302などが複数発生する。このため監視者以外にもゴースト像である同一空間浮遊映像を監視されてしまいセキュリティ上大きな課題があった。
【0013】
<空間浮遊映像表示装置の例1>
図1は、本発明の一実施例に係る空間浮遊映像表示装置の使用形態の一例を示す図であり、本実施例に係る空間浮遊映像表示装置の全体構成を示す図である。空間浮遊映像表示装置の具体的な構成については、
図2等を用いて詳述するが、表示装置1から挟角な指向特性でかつ特定偏波の光が、映像光束として出射し、再帰反射部材2に一旦入射し、再帰反射して透明な部材100(ガラス等)を透過して、ガラス面の外側に、実像である空中像(空間浮遊映像3)を形成する。
【0014】
また、店舗等においては、ガラス等の透光性の部材であるショーウィンド(「ウィンドガラス」とも言う)105により空間が仕切られている。本実施例の空間浮遊映像表示装置によれば、かかる透明な部材を透過して、浮遊映像を店舗(空間)の外部および/または内部に対して一方向に表示することが可能である。
【0015】
図1(A)では、ウィンドガラス105の内側(店舗内)を奥行方向にしてその外側(例えば、歩道)が手前になるように示している。他方、ウィンドガラス105に特定偏波を反射する手段を設けることで反射させ、店内の所望の位置に空中像を形成することもできる。
【0016】
図1(B)は、上述した空間浮遊映像表示装置1000(映像表示装置)の構成を示す概略ブロック図である。空間浮遊映像表示装置1000は、空中像の原画像を表示する映像表示部と、入力された映像をパネルの解像度に合わせて変換する映像制御部と、映像信号を受信する映像信号受信部とを含んでいる。映像信号受信部は、HDMI(High-Definition Multimedia Interface)入力など有線での入力信号への対応と、Wi-Fi(登録商標、Wireless Fidelity)などの無線入力信号への対応を行い、映像受信・表示装置として単独で機能するものでもあり、タブレット、スマートフォンなどからの映像情報を表示することもできる。更にステックPCなどを接続すれば計算処理や映像解析処理などの能力を持たせることもできる。
【0017】
図2は、本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。
図2を用いて、空間浮遊映像表示装置の構成をより具体的に説明する。
図2(A)に示すように、ガラス等の透明な部材100の斜め方向には、特定偏波の映像光を挟角に発散させる表示装置1を備える。表示装置1は、液晶表示パネル11と挟角な拡散特性を有する特定偏波の光を生成する光源装置13とを備えている。
【0018】
表示装置1からの特定偏波の映像光は、透明な部材100に設けた特定偏波の映像光を選択的に反射する膜を有する偏光分離部材101(図中は偏光分離部材101をシート状に形成して透明な部材100に粘着している)で反射され、再帰反射部材2に入射する。再帰反射部材の映像光入射面にはλ/4板21を設ける。映像光は、再帰反射部材への入射のときと出射のときの2回、λ/4板21を通過させられることで特定偏波から他方の偏波へ偏光変換される。ここで、特定偏波の映像光を選択的に反射する偏光分離部材101は偏光変換された他方の偏波の偏光は透過する性質を有するので、偏光変換後の特定偏波の映像光は、偏光分離部材101を透過する。偏光分離部材101を透過した映像光が、透明な部材100の外側に実像である空間浮遊映像3を形成する。
【0019】
なお、空間浮遊映像3を形成する光は再帰反射部材2から空間浮遊映像3の光学像へ収束する光線の集合であり、これらの光線は、空間浮遊映像3の光学像を通過後も直進する。よって、空間浮遊映像3は、一般的なプロジェクタなどでスクリーン上に形成される拡散映像光とは異なり、高い指向性を有する映像である。よって、
図2の構成では、矢印Aの方向からユーザが視認する場合は、空間浮遊映像3は明るい映像として視認される。しかし、矢印Bの方向から他の人物が視認する場合は、空間浮遊映像3は映像として一切視認することはできない。この特性は、高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示するシステムに採用する場合に非常に好適である。
【0020】
なお、再帰反射部材2の性能によっては、反射後の映像光の偏光軸が不揃いになることがある。この場合、偏光軸が不揃いになった一部の映像光は、上述した偏光分離部材101で反射され表示装置1に戻る。この光が、表示装置1を構成する液晶表示パネル11の映像表示面で再反射し、ゴースト像を発生させ空間浮遊像の画質を低下させる可能性がある。そこで、本実施例では表示装置1の映像表示面に吸収型偏光板12を設ける。表示装置1から出射する映像光は吸収型偏光板12を透過させ、偏光分離部材101から戻ってくる反射光は吸収型偏光板12で吸収させることで、上記再反射を抑制できる。これにより、空間浮遊像のゴースト像による画質低下を防止することができる。
【0021】
上述した偏光分離部材101は、例えば反射型偏光板や特定偏波を反射させる金属多層膜などで形成すればよい。
【0022】
次に、
図2(B)に代表的な再帰反射部材2として、今回の検討に用いた日本カーバイト工業株式会社製の再帰反射部材の表面形状を示す。規則的に配列された6角柱の内部に入射した光線は、6角柱の壁面と底面で反射され再帰反射光として入射光に対応した方向に出射し、表示装置1に表示した映像に基づき実像である空間浮遊映像を表示する。この空間浮遊像の解像度は液晶表示パネル11の解像度の他に、
図2(B)で示す再帰反射部材2の再帰反射部の外形(直径)DとピッチPに大きく依存する。例えば、7インチのWUXGA(1920×1200画素)液晶表示パネルを用いる場合には、1画素(1トリプレット)が約80μmであっても、例えば再帰反射部の直径Dが240μmでピッチPが300μmであれば空間浮遊像の1画素は300μm相当となる。このため、空間浮遊映像の実効的な解像度は1/3程度に低下する。そこで空間浮遊映像の解像度を表示装置1の解像度と同等にするためには、再帰反射部の直径とピッチを液晶表示パネルの1画素に近づけることが望まれる。他方、再帰反射部材と液晶表示パネルの画素によるモアレの発生を抑えるため、それぞれのピッチ比を1画素の整数倍から外して設計すると良い。また形状は再帰反射部のいずれの一辺も液晶表示パネルの1画素のいずれの一辺と重ならないように配置すると良い。
【0023】
一方、再帰反射部材を低価格で製造するためには、ロールプレス法を用いて成形すると良い。具体的には再帰部を整列させフィルム上に賦形する方法であり、賦形する形状の逆形状をロール表面に形成し、固定用のベース材の上に紫外線硬化樹脂を塗布しロール間を通過させることで、必要な形状を賦形し紫外線を照射して硬化させ、所望形状の再帰反射部材2を得る。
【0024】
<<空間浮遊映像表示装置の設置方法>>
次に、空間浮遊映像表示装置の設置方法について説明する。空間浮遊映像表示装置は、使用形態に応じて設置方法を自在に変更することが可能である。
図3Aは、空間浮遊映像表示装置の設置方法の一例を示す図である。
図3Aに示す空間浮遊映像表示装置は、空間浮遊映像3が形成される側の面が上方を向くように横置きにして設置される。すなわち、
図3Aでは、空間浮遊映像表示装置は、透明な部材100が上方を向くように設置され、空間浮遊映像3が、空間浮遊映像表示装置の上方に形成される。
【0025】
図3Bは、空間浮遊映像表示装置の設置方法の他の例を示す図である。
図3Bに示す空間浮遊映像表示装置は、空間浮遊映像3が形成される側の面が側方(ユーザ230の方向)を向くように縦置きにして設置される。すなわち、
図3Bでは、空間浮遊映像表示装置は、透明な部材100が側方を向くように設置され、空間浮遊映像3が、空間浮遊映像表示装置の側方(ユーザ230の方向)に形成される。
【0026】
<<空間浮遊映像表示装置の構成>>
次に、空間浮遊映像表示装置1000の構成について説明する。
図3Cは、空間浮遊映像表示装置1000の内部構成の一例を示すブロック図である。空間浮遊映像表示装置1000は、再帰性反射部1101、映像表示部1102、導光体1104、光源1105、電源1106、操作入力部1107、不揮発性メモリ1108、メモリ1109、制御部1110、映像信号入力部1131、音声信号入力部1133、通信部1132、空中操作検出センサ1351(後述の第1センサ)、空中操作検出部1350、音声出力部1140、映像制御部1160、ストレージ部1170、撮像部1180(後述の第2センサ)等を備えている。制御部1110は、空間浮遊映像表示装置1000のコントローラに相当する。
【0027】
空間浮遊映像表示装置1000の各構成要素は、筐体1190に収容されている。なお、
図3Cに示す撮像部1180および空中操作検出センサ1351は、筐体1190の外側に設けられてもよい。
【0028】
図3Cの再帰性反射部1101は、
図2の再帰反射部材2に対応している。再帰性反射部1101は、映像表示部1102により変調された光を再帰性反射する。再帰性反射部1101からの反射光のうち、空間浮遊映像情報装置1000の外部に出力された光により空間浮遊映像3が形成される。
【0029】
図3Cの映像表示部1102は、
図2の液晶表示パネル11に対応している。
図3Cの光源1105は、
図2の光源装置13と対応している。そして、
図3Cの映像表示部1102、導光体1104、および光源1105は、
図2の表示装置1に対応している。液晶表示パネル11または映像表示部1102は、映像光を生成する映像源に相当する。
【0030】
映像表示部1102は、後述する映像制御部1160による制御により入力される映像信号に基づいて、透過する光を変調して映像を生成する表示部である。映像表示部1102として、例えば透過型液晶パネルが用いられる。また、映像表示部1102として、例えば反射する光を変調する方式の反射型液晶パネルやDMD(Digital Micromirror Device:登録商標)パネル等が用いてられてもよい。
【0031】
光源1105は、映像表示部1102用の光を発生するもので、LED光源、レーザ光源等の固体光源である。電源1106は、外部から入力されるAC電流をDC電流に変換し、光源1105に電力を供給する。また、電源1106は、空間浮遊映像表示装置1000内の各部に、それぞれ必要なDC電流を供給する。
【0032】
導光体1104は、光源1105で発生した光を導光し、映像表示部1102に照射させる。導光体1104と光源1105とを組み合わせたものを、映像表示部1102のバックライトと称することもできる。導光体1104と光源1105との組み合わせには、さまざまな方式が考えられる。導光体1104と光源1105との組み合わせについての具体的な構成例については、後で詳しく説明する。
【0033】
空中操作検出センサ1351は、ユーザ230の指による空間浮遊映像3の操作を検出するセンサである。空中操作検出センサ1351は、例えば空間浮遊映像3の表示範囲の全部と重畳する範囲をセンシングする。なお、空中操作検出センサ1351は、空間浮遊映像3の表示範囲の少なくとも一部と重畳する範囲のみをセンシングしてもよい。
【0034】
空中操作検出センサ1351の具体例としては、赤外線などの非可視光、非可視光レーザ、超音波等を用いた距離センサが挙げられる。また、空中操作検出センサ1351は、複数のセンサを複数組み合わせ、2次元平面の座標を検出できるように構成されたものでもよい。また、空中操作検出センサ1351は、ToF(Time of Flight)方式のLiDAR(Light Detection and Ranging)や、画像センサで構成されてもよい。
【0035】
空中操作検出センサ1351は、ユーザが指で空間浮遊映像3として表示されるオブジェクトに対するタッチ操作等を検出するためのセンシングができればよい。このようなセンシングは、既存の技術を用いて行うことができる。
【0036】
空中操作検出部1350は、空中操作検出センサ1351からセンシング信号を取得し、センシング信号に基づいてユーザ230の指による空間浮遊映像3のオブジェクトに対する接触の有無や、ユーザ230の指とオブジェクトとが接触した位置(接触位置)の算出等を行う。空中操作検出部1350は、例えば、FPGA(Field Programmable Gate Array)等の回路で構成される。また、空中操作検出部1350の一部の機能は、例えば制御部1110で実行される空間操作検出用プログラムによりソフトウェアで実現されてもよい。
【0037】
空中操作検出センサ1351および空中操作検出部1350は、空間浮遊映像表示装置1000に内蔵された構成としてもよいが、空間浮遊映像表示装置1000とは別体で外部に設けられてもよい。空間浮遊映像表示装置1000と別体で設ける場合、空中操作検出センサ1351および空中操作検出部1350は、有線または無線の通信接続路や映像信号伝送路を介して空間浮遊映像表示装置1000に情報や信号を伝達できるように構成される。
【0038】
また、空中操作検出センサ1351および空中操作検出部1350が別体で設けられてもよい。これにより、空中操作検出機能の無い空間浮遊映像表示装置1000を本体として、空中操作検出機能のみをオプションで追加できるようなシステムを構築することが可能である。また、空中操作検出センサ1351のみを別体とし、空中操作検出部1350が空間浮遊映像表示装置1000に内蔵された構成でもよい。空間浮遊映像表示装置1000の設置位置に対して空中操作検出センサ1351をより自由に配置したい場合等には、空中操作検出センサ1351のみを別体とする構成に利点がある。
【0039】
撮像部1180は、イメージセンサを有するカメラであり、空間浮遊映像3付近の空間、および/またはユーザ230の顔、腕、指などを撮像する。撮像部1180は、複数設けられてもよい。複数の撮像部1180を用いることで、あるいは深度センサ付きの撮像部を用いることで、ユーザ230による空間浮遊映像3のタッチ操作の検出処理の際、空中操作検出部1350を補助することができる。
【0040】
例えば、空中操作検出センサ1351が、空間浮遊映像3の表示面を含む平面(侵入検出平面)を対象として、この侵入検出平面内への物体の侵入の有無を検出する物体侵入センサとして構成された場合、侵入検出平面内に侵入していない物体(例えば、ユーザの指)が侵入検出平面からどれだけ離れているのか、あるいは物体が侵入検出平面にどれだけ近いのかといった情報を、空中操作検出センサ1351では検出できない場合がある。
【0041】
このような場合、複数の撮像部1180の撮像画像に基づく物体の深度算出情報や深度センサによる物体の深度情報等の情報を用いることにより、物体と侵入検出平面との距離を算出することができる。そして、これらの情報や、物体と侵入検出平面との距離等の各種情報は、空間浮遊映像3に対する各種表示制御に用いられる。
【0042】
また、空中操作検出センサ1351を用いずに、撮像部1180の撮像画像に基づき、空中操作検出部1350がユーザ230による空間浮遊映像3のタッチ操作を検出するようにしてもよい。
【0043】
また、撮像部1180が空間浮遊映像3を操作するユーザ230の顔を撮像し、制御部1110がユーザ230の識別処理を行うようにしてもよい。また、空間浮遊映像3を操作するユーザ230の周辺や背後に他人が立っており、他人が空間浮遊映像3に対するユーザ230の操作を覗き見ていないか等を判別するため、撮像部1180は、空間浮遊映像3を操作するユーザ230と、ユーザ230の周辺領域とを含めた範囲を撮像するようにしてもよい。
【0044】
操作入力部1107は、例えば操作ボタンやリモートコントローラの受光部であり、ユーザ230による空中操作(タッチ操作)とは異なる操作についての信号を入力する。空間浮遊映像3をタッチ操作する前述のユーザ230とは別に、操作入力部1107は、例えば管理者が空間浮遊映像表示装置1000を操作するために用いられてもよい。
【0045】
映像信号入力部1131は、外部の映像出力装置を接続して映像データを入力する。音声信号入力部1133は、外部の音声出力装置を接続して音声データを入力する。音声出力部1140は、音声信号入力部1133に入力された音声データに基づいた音声出力を行うことが可能である。また、音声出力部1140は内蔵の操作音やエラー警告音を出力してもよい。
【0046】
不揮発性メモリ1108は、空間浮遊映像表示装置1000で用いる各種データを格納する。不揮発性メモリ1108に格納されるデータには、例えば、空間浮遊映像3に表示する各種操作用のデータ、表示アイコン、ユーザが操作するためのオブジェクトのデータやレイアウト情報等が含まれる。メモリ1109は、空間浮遊映像3として表示する映像データや装置の制御用データ等を記憶する。
【0047】
制御部1110は、接続される各部の動作を制御する。また、制御部1110は、メモリ1109に記憶されるプログラムと協働して、空間浮遊映像表示装置1000内の各部から取得した情報に基づく演算処理を行ってもよい。通信部1132は、有線または無線のインタフェースを介して、外部機器や外部のサーバ等と通信を行う。通信部1132を介した通信により、映像データ、画像データ、音声データ等の各種データが送受信される。
【0048】
ストレージ部1170は、映像データ、画像データ、音声データ等の各種データおよび各種情報を記録する記憶装置である。ストレージ部1170には、例えば、製品出荷時に予め映像データ、画像データ、音声データ等の各種データ等の各種情報が記録されていてもよい。また、ストレージ部1170は、通信部1132を介して外部機器や外部のサーバ等から取得した映像データ、画像データ、音声データ等の各種データ等の各種情報を記録してもよい。
【0049】
ストレージ部1170に記録された映像データ、画像データ等は、映像表示部1102と再帰性反射部1101とを介して空間浮遊映像3として出力される。空間浮遊映像3として表示される、表示アイコンやユーザが操作するためのオブジェクト等の映像データ、画像データ等も、ストレージ部1170に記録される。
【0050】
空間浮遊映像3として表示される表示アイコンやオブジェクト等のレイアウト情報や、オブジェクトに関する各種メタデータの情報等もストレージ部1170に記録される。ストレージ部1170に記録された音声データは、例えば音声出力部1140から音声として出力される。
【0051】
映像制御部1160は、映像表示部1102に入力する映像信号に関する各種制御を行う。映像制御部1160は、例えば、メモリ1109に記憶させる映像信号と、映像信号入力部1131に入力された映像信号(映像データ)等のうち、どの映像信号を映像表示部1102に入力するかといった映像切り替えの制御等を行う。
【0052】
また、映像制御部1160は、メモリ1109に記憶させる映像信号と、映像信号入力部1131から入力された映像信号とを重畳した重畳映像信号を生成し、重畳映像信号を映像表示部1102に入力することで、合成映像を空間浮遊映像3として形成する制御を行ってもよい。
【0053】
また、映像制御部1160は、映像信号入力部1131から入力された映像信号やメモリ1109に記憶させる映像信号等に対して画像処理を行う制御を行ってもよい。画像処理としては、例えば、画像の拡大、縮小、変形等を行うスケーリング処理、輝度を変更するブライト調整処理、画像のコントラストカーブを変更するコントラスト調整処理、画像を光の成分に分解して成分ごとの重みづけを変更するレティネックス処理等がある。
【0054】
また、映像制御部1160は、映像表示部1102に入力する映像信号に対して、ユーザ230の空中操作(タッチ操作)を補助するための特殊効果映像処理等を行ってもよい。特殊効果映像処理は、例えば、空中操作検出部1350によるユーザ230のタッチ操作の検出結果や、撮像部1180によるユーザ230の撮像画像に基づいて行われる。
【0055】
ここまで説明したように空間浮遊映像表示装置1000には、さまざまな機能が搭載されている。ただし、空間浮遊映像表示装置1000は、これらのすべての機能を備える必要はなく、空間浮遊映像3を形成する機能があればどのような構成でもよい。
【0056】
<空間浮遊映像表示装置の例2>
図4は、本発明の一実施例に係る空間浮遊映像表示装置の主要部構成の他の例を示す図である。表示装置1は、液晶表示パネル11と挟角な拡散特性を有する特定偏波の光を生成する光源装置13を備え、例えば、画面サイズが5インチ程度の小型のものから80インチを超える大型な液晶表示パネルで構成され、折り返しミラー22の表面には反射型偏光板のような偏光分離部材101を設け、液晶表示パネル11からの映像光を再帰反射部材2に向けて反射する。表示装置1からの特定偏波の映像光は、透明な部材100に設けた特定偏波の映像光を選択的に反射する膜(図中はシート101を粘着)で反射され、再帰反射部材2に入射する。
【0057】
再帰反射部材2の光入射面にはλ/4板21を設け、映像光を2度通過させることで偏光変換し特定偏波を他方の偏波に変換することで、偏光分離部材101を透過させ、透明な部材100の外側に実像である空間浮遊映像3を表示する。透明な部材100の外光入射面には吸収型の偏光板を設ける。上述した偏光分離部材101では再帰反射することで偏光軸が不揃いになるため一部の映像光は反射し表示装置1に戻る。この光が再度表示装置1を構成する液晶表示パネル11の映像表示面で反射し、ゴースト像を発生させ空間浮遊像の画質を著しく低下させる。そこで、本実施例では表示装置1の映像表示面に吸収型偏光板12を設け、映像光は透過させ、上述した反射光を吸収させることで空間浮遊像のゴースト像による画質低下を防止する。更に、セット外部の太陽光や照明光による画質低下を軽減するため、透明な部材100の表面に吸収型偏光板を設けると良い。偏光分離部材101としては反射型偏光板や特定偏波を反射させる金属多層膜から形成される。
【0058】
次に、上述した空間浮遊映像表示装置により得られた空間浮遊映像に対して対象物とセンサ44の距離と位置の関係をセンシングするように、TOF機能を有するセンサ44を
図5に示すように複数層に配置して、対象物の平面方向の座標の他に奥行方向の座標と対象物の移動方向、移動速度も感知することが可能となる。2次元の距離と位置を読み取るために紫外線発光部と受光部の組み合わせを複数直線的に配置し、発光点からの光を対象物に照射し反射した光を受光部で受光する。発光した時間と受光した時間との差と、光速の積により対象物との距離が明確になる。また平面上の座標は複数の発光部と受光部で、発光時間と受光時間の差が最も小さい部分での座標から読み取ることができる。以上により平面(2次元)での対象物の座標と、前述したセンサを複数組み合わせることで3次元の座標情報を得ることもできる。
【0059】
更に、上述した空間浮遊映像表示装置として3次元の空間浮遊映像を得る方法について
図6を用いて説明する。
図6は、空間浮遊映像表示装置で用いる3次元映像表示の原理の説明図である。
図4に示す表示装置1の液晶表示パネル11の映像表示画面の画素に合わせて水平レンチキュラーレンズを配置する。この結果、
図6に示すように画面水平方向の運動視差P1、P2、P3の3方向からの運動視差を表示するには、3方向からの映像を3画素ごとに1つのブロックとして、1画素ごとに3方向からの映像情報を表示し、対応するレンチキュラーレンズ(
図6中に縦線で示す)の作用により光の出射方向を制御して3方向に分離出射する。この結果、3視差の立体像が表示可能となる。
【0060】
<反射型偏光板>
本実施例の空間浮遊映像表示装置において、偏光分離部材101は、映像の画質を決めるコントラスト性能を、一般的なハーフミラーよりも向上させるために用いられる。本実施例の偏光分離部材101の一例として反射型偏光板の特性を説明する。
図7は、反射型偏光板の特性を評価した測定系の説明図である。
図7の反射型偏光板の偏光軸に対して垂直方向からの光線入射角に対する透過特性と反射特性をV-AOIとして、
図8及び
図9にそれぞれ示す。同様に反射型偏光板の偏光軸に対して水平方向からの光線入射角に対する透過特性と反射特性をH-AOIとして、
図10及び
図11にそれぞれ示す。
【0061】
図8及び
図9に示すようにグリッド構造の反射型偏光板は、偏光軸に対して垂直方向からの光についての特性は低下する。このため、偏光軸に沿った仕様が望ましく、液晶表示パネルからの出射映像光を挟角で出射可能な本実施例の光源が理想的な光源となる。また、水平方向の特性も同様に斜めからの光については特性低下がある。以上の特性を考慮して、以下、液晶表示パネルからの出射映像光をより挟角に出射可能な光源を液晶表示パネルのバックライトとして使用する、本実施例の構成例について説明する。これにより、高コントラストな空間浮遊映像が提供可能となる。
【0062】
<表示装置>
次に、本実施例の表示装置1について図を用いて説明する。本実施例の表示装置1は、映像表示素子11(液晶表示パネル)と共に、その光源を構成する光源装置13を備えており、
図12では、光源装置13を液晶表示パネルと共に展開斜視図として示している。
【0063】
この液晶表示パネル(映像表示素子11)は、
図12に矢印30で示すように、バックライト装置である光源装置13からの光により挟角な拡散特性を有する、即ち、指向性(直進性)が強く、かつ、偏光面を一方向に揃えたレーザ光に似た特性の照明光束を得て、入力される映像信号に応じて変調をかけた映像光を、再帰反射部材2により反射し透明な部材100を透過して実像である空間浮遊像を形成する。(
図1参照)。また、
図12では、表示装置1を構成する液晶表示パネル11と、更に、光源装置13からの出射光束の指向特性を制御する光方向変換パネル54、および、必要に応じて挟角拡散板(図示せず)を備えて構成されている。即ち、液晶表示パネル11の両面には偏光板が設けられ、特定の偏波の映像光が映像信号により光の強度を変調して出射する(
図12の矢印30を参照)構成となっている。これにより、所望の映像を指向性(直進性)の高い特定偏波の光として、光方向変換パネル54を介して、再帰反射部材2に向けて投射し、再帰反射部材2で反射後、店舗(空間)の外部の監視者の眼に向けて透過して空間浮遊映像3を形成する。なお、上述した光方向変換パネル54の表面には保護カバー50(
図13、
図14を参照)を設けてよい。
【0064】
本実施例では、光源装置13からの出射光束(矢印)30の利用効率を向上させ、消費電力を大幅に低減するために、光源装置13と液晶表示パネル11を含んで構成される表示装置1において、光源装置13からの光(矢印30)を、再帰反射部材2に向けて投射し、再帰反射部材2で反射後、透明な部材100(ウィンドガラス105等)の表面に設けた透明シート(図示せず)により、浮遊映像を所望の位置に形成するよう指向性を制御することもできる。具体的には、この透明シートは、フレネルレンズやリニアフレネルレンズ等の光学部品によって高い指向性を付与したまま浮遊映像の結像位置を制御する。このことによれば、表示装置1からの映像光は、レーザ光のようにショーウィンド105の外側(例えば、歩道)にいる観察者に対して高い指向性(直進性)で効率良く届くこととなり、その結果、高品位な浮遊映像を高解像度で表示すると共に、光源装置13のLED素子201を含む表示装置1による消費電力を著しく低減することが可能となる。
【0065】
<表示装置の例1>
図13には、表示装置1の具体的な構成の一例を示す。
図13では、
図12の光源装置13の上に液晶表示パネル11と光方向変換パネル54を配置している。この光源装置13は、
図12に示したケース上に、例えば、プラスチックなどにより形成され、その内部にLED素子201、導光体203を収納して構成されており、導光体203の端面には、
図12等にも示したように、それぞれのLED素子201からの発散光を略平行光束に変換するために、受光部に対して対面に向かって徐々に断面積が大きくなる形状を有し、内部を伝搬する際に複数回全反射することで発散角が徐々に小さくなるような作用を有するレンズ形状を設けている。その上面には、表示装置1を構成する液晶表示パネル11が取り付けられている。また、光源装置13のケースのひとつの側面(本例では左側の端面)には、半導体光源であるLED素子201や、その制御回路を実装したLED基板202が取り付けられると共に、LED基板202の外側面には、LED素子および制御回路で発生する熱を冷却するための部材であるヒートシンクが取り付けられてもよい。
【0066】
また、光源装置13のケースの上面に取り付けられる液晶表示パネルのフレーム(図示せず)には、当該フレームに取り付けられた液晶表示パネル11と、更に、当該液晶表示パネルに電気的に接続されたFPC(Flexible Printed Circuits:フレキシブル配線基板)(図示せず)などが取り付けられて構成される。即ち、液晶表示素子である液晶表示パネル11は、固体光源であるLED素子201と共に、電子装置を構成する制御回路(図示せず)からの制御信号に基づいて、透過光の強度を変調することによって表示映像を生成する。この時、生成される映像光は拡散角度が狭く特定の偏波成分のみとなるため、映像信号により駆動された面発光レーザ映像源に近い、従来にない新しい表示装置が得られることとなる。なお、現状では、レーザ装置により、上述した表示装置1で得られる画像と同等のサイズのレーザ光束を得ることは、技術的にも安全上からも不可能である。そこで、本実施例では、例えば、LED素子を備えた一般的な光源からの光束から、上述した面発光レーザ映像光に近い光を得る。
【0067】
続いて、光源装置13のケース内に収納されている光学系の構成について、
図13と共に、
図14を参照しながら詳細に説明する。
図13および
図14は断面図であるため、光源を構成する複数のLED素子201が1つだけ示されており、これらは導光体203の受光端面203aの形状により略コリメート光に変換される。このため導光体端面の受光部とLED素子は所定の位置関係を保って取り付けられている。なお、この導光体203は、各々、例えば、アクリル等の透光性の樹脂により形成されている。そして、この導光体端部のLED受光面は、例えば、放物断面を回転して得られる円錐凸形状の外周面を有し、その頂部では、その中央部に凸部(即ち、凸レンズ面)を形成した凹部を有し、その平面部の中央部には、外側に突出した凸レンズ面(あるいは、内側に凹んだ凹レンズ面でも良い)を有するものである(図示せず)。なお、LED素子201を取り付ける導光体の受光部外形形状は、円錐形状の外周面を形成する放物面形状をなし、LED素子から周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
【0068】
他方、LED素子201は、その回路基板である、LED基板202の表面上の所定の位置にそれぞれ配置されている。このLED基板202は、LEDコリメータ(受光端面203a)に対して、その表面上のLED素子201が、それぞれ、前述した凹部の中央部に位置するように配置されて固定される。
【0069】
かかる構成によれば、導光体203の受光端面203aの形状によって、LED素子201から放射される光は略平行光として取り出すことが可能となり、発生した光の利用効率を向上することが可能となる。
【0070】
以上述べたように、光源装置13は、導光体203の端面に設けた受光部である受光端面203aに光源であるLED素子201を複数並べた光源ユニットを取り付けて構成され、LED素子からの発散光束を導光体端面の受光端面203aのレンズ形状によって略平行光として、矢印で示すように、導光体203内部を導光し(図面に平行な方向)、光束方向変換手段204によって、導光体に対して略平行に配置された液晶表示パネル11に向かって(図面から手前に垂直な方向)出射する。導光体内部または表面の形状によってこの光束方向変換手段の分布(密度)を最適化することで、液晶表示パネル11に入射する光束の均一性を制御することができる。上述した光束方向変換手段204は導光体表面の形状や導光体内部に例えば屈折率の異なる部分を設けることで、導光体内を伝搬した光束を、導光体に対して略平行に配置された液晶表示パネル11に向かって(図面から手前に垂直な方向)出射する。この時、液晶表示パネル11を画面中央に正対し画面対角寸法と同じ位置に視点を置いた状態で画面中央と画面周辺部の輝度を比較した場合の相対輝度比が20%以上あれば実用上問題なく、30%を超えていれば更に優れた特性となる。
【0071】
なお、
図13は上述した導光体203とLED素子201を含む光源装置13において、偏光変換する本実施例の光源の構成とその作用を説明するための断面配置図である。
図13において、光源装置13は、例えば、プラスチックなどにより形成される表面または内部に光束方向変換手段204を設けた導光体203、光源としてのLED素子201、反射シート205、位相差板206、レンチキュラーレンズなどから構成されており、その上面には、光源光入射面と映像光出射面に偏光板を備える液晶表示パネル11が取り付けられている。
【0072】
また、光源装置13に対応した液晶表示パネル11の光源光入射面(図の下面)にはフィルムまたはシート状の反射型偏光板49を設けており、LED素子201から出射した自然光束210のうち片側の偏波(例えばP波)212を選択的に反射させ、導光体203の一方(図の下方)の面に設けた反射シート205で反射して、再度、液晶表示パネル52に向かうようにする。そこで、反射シート205と導光体203の間もしくは導光体203と反射型偏光板49の間に位相差板(λ/4板)を設けて反射シート205で反射させ、2回通過させることで反射光束をP偏光からS偏光に変換し、映像光としての光源光の利用効率を向上する。液晶表示パネル11で映像信号により光強度を変調された映像光束は(
図13の矢印213)、再帰反射部材2に入射して、
図1に示したように、反射後にウィンドガラス105を透過して店舗(空間)の内部または外部に実像である空間浮遊像を得ることができる。
【0073】
図14は、
図13と同様に、導光体203とLED素子201を含む光源装置13において、偏光変換する本実施例の光源の構成と作用を説明するための断面配置図である。光源装置13も、同様に、例えばプラスチックなどにより形成される表面または内部に光束方向変換手段204を設けた導光体203、光源としてのLED素子201、反射シート205、位相差板206、レンチキュラーレンズなどから構成されており、その上面には、映像表示素子として、光源光入射面と映像光出射面に偏光板を備える液晶表示パネル11が取り付けられている。
【0074】
また、光源装置13に対応した液晶表示パネル11の光源光入射面(図の下面)にはフィルムまたはシート状の反射型偏光板49を設け、LED光源201から出射した自然光束210うち片側の偏波(例えばS波)211を選択的に反射させ、導光体203の一方(図の下方)の面に設けた反射シート205で反射して、再度液晶表示パネル11に向かう。反射シート205と導光体203の間もしくは導光体203と反射型偏光板49の間に位相差板(λ/4板)を設けて反射シート205で反射させ、2回通過させることで反射光束をS偏光からP偏光に変換し、映像光として光源光の利用効率を向上する。液晶表示パネル11で映像信号により光強度変調された映像光束は(
図14の矢印214)、再帰反射部材2に入射して、
図1に示すように、反射後にウィンドガラス105を透過して店舗(空間)の内部または外部に実像である空間浮遊像を得ることができる。
【0075】
図13および
図14に示す光源装置においては、対応する液晶表示パネル11の光入射面に設けた偏光板の作用の他に、反射型偏光板で片側の偏光成分を反射するため、理論上得られるコントラスト比は、反射型偏光板のクロス透過率の逆数と液晶表示パネルに付帯した2枚の偏光板により得られるクロス透過率の逆数を乗じたものとなる。これにより、高いコントラスト性能が得られる。実際には、表示画像のコントラスト性能が10倍以上向上することを実験により確認した。この結果、自発光型の有機ELに比較しても遜色ない高品位な映像が得られた。
【0076】
<表示装置の例2>
図15には、表示装置1の具体的な構成の他の一例を示す。
図15の光源装置13は、
図17等の光源装置と同様である。この光源装置13は、例えばプラスチックなどのケース内にLED、コリメータ、合成拡散ブロック、導光体等を収納して構成されており、その上面には液晶表示パネル11が取り付けられている。また、光源装置13のケースのひとつの側面には、半導体光源であるLED素子14a,14bや、その制御回路を実装したLED基板102が取り付けられると共に、LED基板102の外側面には、LED素子および制御回路で発生する熱を冷却するための部材であるヒートシンク103が取り付けられている(
図17、
図18等も参照)。
【0077】
また、ケースの上面に取り付けられた液晶表示パネルフレームには、当該フレームに取り付けられた液晶表示パネル11と、更に、液晶表示パネル11に電気的に接続されたFPC403(
図7参照)などが取り付けられて構成されている。即ち、液晶表示素子である液晶表示パネル11は、固体光源であるLED素子14a,14bと共に、電子装置を構成する制御回路(ここでは図示せず)からの制御信号に基づいて、透過光の強度を変調することによって表示映像を生成する。
【0078】
<表示装置の例3>
続いて、
図16を用いて表示装置1の具体的な構成の他の例を説明する。この表示装置1の光源装置は、LEDからの自然光(P偏波とS偏波が混在)の発散光束をLEDコリメータ18により略平行光束に変換し、反射型導光体304により液晶表示パネル11に向け反射する。反射光は液晶表示パネル11と反射型導光体304の間に配置された波長板と反射型偏光板49に入射する。反射型偏光板で特定の偏波(例えばS偏波)が反射され波長板で位相が変換され反射面に戻り再び位相差板を通過して反射型偏光板を透過する偏波(例えばP偏波)に変換される。
【0079】
この結果、LEDからの自然光は特定の偏波(例えばP偏波)に揃えられ、液晶表示パネル11に入射し、映像信号に合わせて輝度変調されパネル面に映像を表示する。上述の例と同様に光源を構成する複数のLEDが示されており(ただし、縦断面のため
図16では1個のみ図示)、これらはLEDコリメータ18に対して所定の位置に取り付けられている。なお、このLEDコリメータ18は、各々、例えばアクリル等の透光性の樹脂またはガラスにより形成されている。そして、このLEDコリメータ18は、放物断面を回転して得られる円錐凸形状の外周面を有すると共に、その頂部では、その中央部に凸部(即ち、凸レンズ面)を形成した凹部を有する。また、その平面部の中央部には、外側に突出した凸レンズ面(あるいは、内側に凹んだ凹レンズ面でも良い)を有している。なお、LEDコリメータ18の円錐形状の外周面を形成する放物面は、LEDから周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
【0080】
以上の構成は
図17、
図18等に示した表示装置の光源装置と同様の構成である。更に
図16に示したLEDコリメータ15により略平行光に変換された光は、反射型導光体304で反射し反射型偏光板49の作用により特定の偏波の光を透過させ、反射した他方の偏波の光は再度導光体304を透過して、液晶表示パネル11と接しない導光体の他方の面に設けた反射板271で反射する。この時、反射板271と液晶表示パネル11の間に配置した位相差板(λ/4板)270を2度通過することで偏光変換され、再び導光体304を透過して、反対面に設けた反射型偏光板49を透過して、偏光方向を揃えて液晶表示パネル11に入射させる。この結果、光源の光を全て利用できるので光の利用効率が2倍になる。
【0081】
液晶表示パネルからの出射光は、従来のTVセットでは画面水平方向(
図22(a)X軸で表示)と画面垂直方向(
図22(b)Y軸で表示)ともに同様な拡散特性を持っている。これに対して、本実施例の液晶表示パネルからの出射光束の拡散特性は、例えば
図22の例1に示すように輝度が正面視(角度0度)の50%になる視野角が13度とすることで、従来の62度に対して1/5となる。同様に垂直方向の視野角は上下不均等として上側の視野角を下側の視野角に対して1/3程度に抑えるように反射型導光体の反射角度と反射面の面積等を最適化する。この結果、従来の液晶TVに比べ監視方向に向かう映像光量が大幅に向上し、輝度は50倍以上となる。
【0082】
更に、
図22の例2に示す視野角特性とすれば輝度が正面視(角度0度)の50%になる視野角が5度とすることで従来の62度に対して1/12となる。同様に垂直方向の視野角は上下均等として視野角を従来に対して1/12程度に抑えるように反射型導光体の反射角度と反射面の面積等を最適化する。この結果、従来の液晶TVに比べ監視方向に向かう映像光量が大幅に向上し、輝度は100倍以上となる。以上述べたように視野角を挟角とすることで監視方向に向かう光束量を集中できるので光の利用効率が大幅に向上する。この結果、従来のTV用の液晶表示パネルを使用しても、光源装置の光拡散特性を制御することで同様な消費電力で大幅な輝度向上が実現可能で、明るい屋外に向けての空間浮遊映像表示装置に対応した表示装置とすることができる。
【0083】
大型の液晶表示パネルを使用する場合には、画面周辺の光は画面中央を監視者が正対した場合に監視者の方向に向かうように内側に向けることで、画面明るさの全面性が向上する。
図20は監視者のパネルからの距離Lと、パネルサイズ(画面比16:10)とをパラメータとしたときのパネル長辺と短辺の収斂角度を求めたものである。画面を縦長として監視する場合には、短辺に合わせて収斂角度を設定すればよく、例えば22”(インチ)パネルの縦使いで監視距離が0.8mの場合には収斂角度を10度とすれば画面4コーナからの映像光を有効に監視者に向けることができる。
【0084】
同様に、15”(インチ)パネルの縦使いで監視する場合には監視距離が0.8mの場合には収斂角度を7度とすれば画面4コーナからの映像光を有効に監視者に向けることができる。以上述べたように液晶表示パネルのサイズ及び縦使いか横使いかによって画面周辺の映像光を、画面中央を監視するのに最適な位置にいる監視者に向けることで画面明るさの全面性を向上できる。
【0085】
基本構成としては、
図16に示すように光源装置により挟角な指向特性の光束を液晶表示パネル11に入射させ、映像信号に合わせて輝度変調することで、液晶表示パネル11の画面上に表示した映像情報を、再帰反射部材で反射させ得られた空間浮遊映像を、透明な部材100を介して室外または室内に表示する。
【0086】
<光源装置の例1>
続いて、ケース内に収納されている光源装置等の光学系の構成について、
図17と共に、
図18(a)および(b)を参照しながら、詳細に説明する。
図17および
図18には、光源を構成するLED14a,14bが示されており、これらはLEDコリメータ15に対して所定の位置に取り付けられている。なお、このLEDコリメータ15は、各々、例えばアクリル等の透光性の樹脂により形成されている。そして、このLEDコリメータ15は、
図18(b)にも示すように、放物断面を回転して得られる円錐凸形状の外周面156を有すると共に、その頂部では、その中央部に凸部(即ち、凸レンズ面)157を形成した凹部153を有する。また、その平面部の中央部には、外側に突出した凸レンズ面(あるいは、内側に凹んだ凹レンズ面でも良い)154を有している。なお、LEDコリメータ15の円錐形状の外周面を形成する放物面156は、LED14a,14bから周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
【0087】
また、LED14a,14bは、その回路基板である、LED基板102の表面上の所定の位置にそれぞれ配置されている。このLED基板102は、LEDコリメータ15に対して、その表面上のLED14aまたは14bが、それぞれ、その凹部153の中央部に位置するように配置されて固定される。
【0088】
かかる構成によれば、上述したLEDコリメータ15によって、LED14aまたは14bから放射される光のうち、特に、その中央部分から上方(図の右方向)に向かって放射される光は、LEDコリメータ15の外形を形成する2つの凸レンズ面157,154により集光されて平行光となる。また、その他の部分から周辺方向に向かって出射される光は、LEDコリメータ15の円錐形状の外周面を形成する放物面によって反射され、同様に、集光されて平行光となる。換言すれば、その中央部に凸レンズを構成すると共に、その周辺部に放物面を形成したLEDコリメータ15によれば、LED14aまたは14bにより発生された光のほぼ全てを平行光として取り出すことが可能となり、発生した光の利用効率を向上することが可能となる。
【0089】
なお、LEDコリメータ15の光の出射側には偏光変換素子21が設けられている。この偏光変換素子21は、
図18からも明らかなように、断面が平行四辺形である柱状(以下、平行四辺形柱)の透光性部材と、断面が三角形である柱状(以下、三角形柱)の透光性部材とを組み合わせ、LEDコリメータ15からの平行光の光軸に対して直交する面に平行に、複数、アレイ状に配列して構成されている。更に、これらアレイ状に配列された隣接する透光性部材間の界面には、交互に、偏光ビームスプリッタ(以下、「PBS膜」と省略する)211と反射膜212とが設けられており、また、偏光変換素子21へ入射してPBS膜211を透過した光が出射する出射面には、λ/2位相板213が備えられている。
【0090】
この偏光変換素子21の出射面には、更に、
図18(a)にも示す矩形状の合成拡散ブロック16が設けられている。即ち、LED14aまたは14bから出射された光は、LEDコリメータ15の働きにより平行光となって合成拡散ブロック16へ入射し、出射側のテクスチャー161により拡散された後、導光体17に到る。
【0091】
導光体17は、例えばアクリル等の透光性の樹脂により断面が略三角形(
図18(b)参照)の棒状に形成された部材であり、そして、
図17からも明らかなように、合成拡散ブロック16の出射面に第1の拡散板18aを介して対向する導光体光入射部(面)171と、斜面を形成する導光体光反射部(面)172と、第2の拡散板18bを介して、液晶表示素子である液晶表示パネル11と対向する導光体光出射部(面)173とを備えている。
【0092】
この導光体17の導光体光反射部(面)172には、その一部拡大図である
図17にも示すように、多数の反射面172aと連接面172bとが交互に鋸歯状に形成されている。そして、反射面172a(図では右上がりの線分)は、図において一点鎖線で示す水平面に対してαn(n:自然数であり、本例では、例えば、1~130である)を形成しており、その一例として、ここでは、αnを43度以下(ただし、0度以上)に設定している。
【0093】
導光体光入射部(面)171は、光源側に傾斜した湾曲の凸形状に形成されている。これによれば、合成拡散ブロック16の出射面からの平行光は、第1の拡散板18aを介して拡散されて入射し、図からも明らかなように、導光体光入射部(面)171により上方に僅かに屈曲(偏向)しながら導光体光反射部(面)172に達し、ここで反射して図の上方の出射面に設けた液晶表示パネル11に到る。
【0094】
以上に詳述した表示装置1によれば、光利用効率やその均一な照明特性をより向上すると同時に、モジュール化されたS偏光波の光源装置を含め、小型かつ低コストで製造することが可能となる。なお、上記の説明では、偏光変換素子21をLEDコリメータ15の後に取り付けるものとして説明したが、本発明はそれに限定されることなく、液晶表示パネル11に到る光路中に設けることによっても同様の作用・効果が得られる。
【0095】
なお、導光体光反射部(面)172には、多数の反射面172aと連接面172bとが交互に鋸歯状に形成されており、照明光束は、各々の反射面172a上で全反射されて上方に向かい、更には、導光体光出射部(面)173には挟角拡散板を設けて略平行な拡散光束として指向特性を制御する光方向変換パネル54に入射し、斜め方向から液晶表示パネル11へ入射する。本実施例では光方向変換パネル54を導光体出射部(面)173と液晶表示パネル11の間に設けたが、液晶表示パネル11の出射面に設けても、同様の効果が得られる。
【0096】
<光源装置の例2>
光源装置13等の光学系の構成について、他の例を
図19に示す。
図18に示した例と同様に、光源を構成する複数(本例では、2個)のLED14a,14bが示されており、これらはLEDコリメータ15に対して所定の位置に取り付けられている。なお、このLEDコリメータ15は、各々、例えばアクリル等の透光性の樹脂により形成されている。そして、
図18に示した例と同様に、このLEDコリメータ15は、放物断面を回転して得られる円錐凸形状の外周面156を有すると共に、その頂部では、その中央部に凸部(即ち、凸レンズ面)157を形成した凹部153を有する。また、その平面部の中央部には、外側に突出した凸レンズ面(あるいは、内側に凹んだ凹レンズ面でも良い)154を有している。なお、LEDコリメータ15の円錐形状の外周面を形成する放物面156は、LED14aから周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
【0097】
また、LED14a、14bは、その回路基板である、LED基板102の表面上の所定の位置にそれぞれ配置されている。このLED基板102は、LEDコリメータ15に対して、その表面上のLED14aまたは14bが、それぞれ、その凹部153の中央部に位置するように配置されて固定される。
【0098】
かかる構成によれば、上述したLEDコリメータ15によって、LED14aまたは14bから放射される光のうち、特に、その中央部分から上方(図の右方向)に向かって放射される光は、LEDコリメータ15の外形を形成する2つの凸レンズ面157,154により集光されて平行光となる。また、その他の部分から周辺方向に向かって出射される光は、LEDコリメータ15の円錐形状の外周面を形成する放物面によって反射され、同様に、集光されて平行光となる。換言すれば、その中央部に凸レンズを構成すると共に、その周辺部に放物面を形成したLEDコリメータ15によれば、LED14aまたは14bにより発生された光のほぼ全てを平行光として取り出すことが可能となり、発生した光の利用効率を向上することが可能となる。
【0099】
なお、LEDコリメータ15の光の出射側には第一の拡散板18aを介して導光体170が設けられている。導光体170は、例えばアクリル等の透光性の樹脂により断面が略三角形(
図19(a)参照)の棒状に形成された部材であり、そして、
図19(a)からも明らかなように、拡散ブロック16の出射面に第1の拡散板18aを介して対向する導光体光入射部(面)171と、斜面を形成する導光体光反射部(面)172と、反射式偏光板200を介して液晶表示素子である液晶表示パネル11と対向する導光体光出射部(面)173とを備えている。
【0100】
この反射型偏光板200は、例えばP偏光を反射(S偏光は透過)させる特性を有する物を選択すれば、光源であるLEDから発した自然光のうちP偏光を反射し、
図19(b)に示した導光体光反射部172に設けたλ/4板202を通過して反射面201で反射し、再びλ/4板202を通過することでS偏光に変換され、液晶表示パネル11に入射する光束は全てS偏光に統一される。
【0101】
同様に、反射型偏光板200としてS偏光を反射(P偏光は透過)させる特性を有する物を選択すれば、光源であるLEDから発した自然光のうちS偏光を反射し、
図19(b)に示した導光体光反射部172に設けたλ/4板202を通過して反射面201で反射し、再びλ/4板202を通過することでP偏光に変換され、液晶表示パネル52に入射する光束は全てP偏光に統一される。以上述べた構成でも偏光変換が実現できる。
【0102】
<光源装置の例3>
光源装置等の光学系の構成についての他の例を、
図16を用いて説明する。第3の例では、
図16に示すようにLED102からの自然光(P偏光とS偏光が混在)の発散光束をコリメータレンズ18により略平行光束に変換し、反射型導光体304により液晶表示パネル11に向け反射する。反射光は液晶表示パネル11と反射型導光体304の間に配置された反射型偏光板206に入射する。反射型偏光板206で特定の偏波(例えばS偏波)が反射され導光体304の反射面を繋ぐ面を透過し、導光体304の反対面に面して配置された反射板271で反射され位相板(λ/4波長板)270を2度透過することで偏光変換され、導光体と反射型偏光板を透過して液晶表示パネル11に入射し映像光に変調される。この時、特定偏波と偏光変換された偏波面を合わせることで光の利用効率が通常の2倍となり、反射型偏光板の偏光度(消光比)もシステム全体の消光比に乗せられるので、本実施例の光源装置を用いることで情報表示システムのコントラスト比が大幅に向上する。
【0103】
この結果、LEDからの自然光は特定の偏波(例えばP偏波)に揃えられる。上述の例と同様に光源を構成する複数のLEDが設けられており(ただし、縦断面のため
図16では1個のみ図示)、これらはLEDコリメータ18に対して所定の位置に取り付けられている。なお、このLEDコリメータ18は、各々、例えばアクリル等の透光性の樹脂またはガラスにより形成されている。そして、このLEDコリメータ18は、放物断面を回転して得られる円錐凸形状の外周面を有すると共に、その頂部では、その中央部に凸部(即ち、凸レンズ面)を形成した凹部を有する。また、その平面部の中央部には、外側に突出した凸レンズ面(あるいは、内側に凹んだ凹レンズ面でも良い)を有している。なお、LEDコリメータ18の円錐形状の外周面を形成する放物面は、LED18から周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
【0104】
また、LEDは、その回路基板である、LED基板102の表面上の所定の位置にそれぞれ配置されている。このLED基板102は、LEDコリメータ18に対して、その表面上のLEDが、それぞれ、その凹部の中央部に位置するように配置されて固定される。
【0105】
かかる構成によれば、LEDコリメータ18によって、LEDから放射される光のうち、特に、その中央部分から放射される光は、LEDコリメータ18の外形を形成する2つの凸レンズ面により集光されて平行光となる。また、その他の部分から周辺方向に向かって出射される光は、LEDコリメータ18の円錐形状の外周面を形成する放物面によって反射され、同様に、集光されて平行光となる。換言すれば、その中央部に凸レンズを構成すると共に、その周辺部に放物面を形成したLEDコリメータ18によれば、LEDにより発生された光のほぼ全てを平行光として取り出すことが可能となり、発生した光の利用効率を向上することが可能となる。
【0106】
<光源装置の例4>
更に、光源装置等の光学系の構成についての他の例を、
図25を用いて説明する。LEDコリメータ18の光の出射側には図面の垂直方向と水平方向(図の前後方向で図示せず)の拡散特性を変換する光学シート207を2枚用い、LEDコリメータ18からの光を2枚の光学シート207(拡散シート)の間に入射させる。この光学シート207は、1枚で構成する場合には表面と裏面の微細形状で垂直と水平の拡散特性を制御する。また、拡散シートを複数枚使用して作用を分担しても良い。光学シート207の表面形状と裏面形状により、LEDコリメータ18からの光の画面垂直方向の拡散角を拡散シートの反射面の垂直面の幅に合わせ、水平方向は液晶表示パネル11から出射する光束の面密度が均一になるように、LEDの数量とLED基板(光学素子)102からの発散角を設計パラメータとして最適設計すると良い。つまり、導光体の代わりに複数の拡散シートの表面形状により拡散特性を制御する。本実施例では、偏光変換は上述した光源装置の例3と同様の方法で行われる。これに対し、LEDコリメータ18と拡散フィルム207の間に偏光変換素子21を設けて、偏光変換を行った後、拡散シート207に光源光を入射させても良い。
【0107】
前述した反射型偏光板206は、S偏光を反射(P偏光は透過)させる特性を有する物を選択すれば、光源であるLEDから発した自然光のうちS偏光を反射し、
図25に示した位相差板270を通過して、反射面271で反射し、再び位相差板270を通過することでP偏光に変換され液晶表示パネル11に入射する。この位相差板の厚さは位相差板への光線の入射角度により最適値を選ぶ必要があり、λ/16からλ/4の範囲に最適値が存在する。
【0108】
<レンチキュラーレンズ>
液晶表示パネル11からの映像光の拡散分布を制御するためには、光源装置13と液晶表示パネル11の間、あるいは、液晶表示パネル11の表面に、レンチキュラーレンズを設けてレンズ形状を最適化することで、一方向の出射特性を制御できる。更に、マイクロレンズアレイをマトリックス状に配置することで表示装置1からの映像光束をX軸およびY軸方向に出射特性を制御することができ、この結果所望の拡散特性を有する空間浮遊映像表示装置を得ることができる。
【0109】
レンチキュラーレンズによる作用について説明する。レンチキュラーレンズは、レンズ形状を最適化することで、上述した表示装置1から出射されて透明な部材100を透過又は反射して効率良く空間浮遊像を得ることが可能となる。即ち、表示装置1からの映像光に対し、2枚のレンチキュラーレンズを組み合わせ、またはマイクロレンズアレイをマトリックス状に配置して拡散特性を制御するシートを設けて、X軸およびY軸方向において、映像光の輝度(相対輝度)をその反射角度(垂直方向を0度)に応じて制御することができる。本実施例では、このようなレンチキュラーレンズにより、従来に比較し、
図22(b)に示すように垂直方向の輝度特性を急峻にし、更に上下(Y軸の正負方向)方向の指向特性のバランスを変化させることで反射や拡散による光の輝度(相対輝度)を高めることにより、面発光レーザ映像源からの映像光のように、拡散角度が狭く(高い直進性)かつ特定の偏波成分のみの映像光とし、従来技術を用いた場合に再帰反射部材で発生していたゴースト像を抑え、効率良く監視者の眼に再帰反射による空間浮遊像が届くように制御できる。
【0110】
また上述した光源装置により、
図22の(a)(b)に示した一般的な液晶表示パネルからの出射光拡散特性特性(図中では従来と表記)に対してX軸方向およびY軸方向ともに大幅に挟角な指向特性とすることで、特定方向に対して平行に近い映像光束を出射する特定偏波の光を出射する表示装置が実現できる。
【0111】
図21には、本実施例で採用するレンチキュラーレンズの特性の一例を示している。この例では、特に、X方向(垂直方向)における特性を示しており、特性Oは、光の出射方向のピークが垂直方向(0度)から上方に30度付近の角度であり上下に対称な輝度特性を示している。また、
図21の特性AやBは、更に、30度付近においてピーク輝度の上方の映像光を集光して輝度(相対輝度)を高めた特性の例を示している。このため、これらの特性AやBでは、30度を超えた角度において、特性Oに比較して、急激に光の輝度(相対輝度)が低減する。
【0112】
即ち、上述したレンチキュラーレンズを含んだ光学系によれば、表示装置1からの映像光束を再帰反射部材2に入射させる際、光源装置13で挟角に揃えられた映像光の出射角度や視野角を制御でき再帰反射シート(再帰反射部材2)の設置の自由度を大幅に向上できる。その結果透明な部材100を反射又は透過して所望の位置に結像する空間浮遊像の結像位置の関係の自由度を大幅に向上できる。この結果、拡散角度が狭く(高い直進性)かつ特定の偏波成分のみの光として効率良く室外または室内の監視者の眼に届くようにすることが可能となる。このことによれば、表示装置からの映像光の強度(輝度)が低減しても、監視者は映像光を正確に認識して情報を得ることができる。換言すれば、表示装置の出力を小さくすることにより、消費電力の低い空間浮遊映像表示装置を実現することが可能となる。
【0113】
(実施の形態1)
次に、
図26以降を用いて、実施の形態1の空間浮遊映像表示装置について説明する。実施の形態1の基本構成は前述の
図1~
図3C等と同様である。
【0114】
[空間浮遊映像表示装置]
図26は、実施の形態1の空間浮遊映像表示装置1000の構成を示す。この空間浮遊映像表示装置1000は、銀行、病院など適用される空間内に配置される。
図26は、
図3Aと同様に、横置きの場合である。この空間浮遊映像表示装置1000は、例えば、銀行のATM装置の一部として、ATM装置の筐体内に収容されたり、外つけユニットとしてATM装置に接続されるなど、利用される場所に配置される。空間浮遊映像表示装置1000の透明な部材100は、外側に露出するように配置される。この空間浮遊映像表示装置1000は、前述の仕組みにより、高輝度で高い指向性を持った空間浮遊映像3を空間内に形成・表示する装置である。空間浮遊映像3に対して標準的な位置(背伸びしたり屈むことなく映像が見える標準的な身長を有した人の目線位置)で正対するユーザ230は、その位置の目UEからこの空間浮遊映像3を好適に視認できる。
【0115】
ユーザ230は、この空間浮遊映像表示装置1000を利用・操作する人であり、模式的に図示している。ユーザ230の顔、目、手指は、それぞれUF、UE、UHで示される。空間浮遊映像表示装置1000は、前述の撮像部1180(
図3C)に相当するカメラ32を用いて、ユーザ230の顔UFを検出し、顔UFの撮像位置に合わせて空間浮遊映像3の表示状態を調整する制御を行う。空間浮遊映像表示装置1000は、前述の空中操作検出部1351(
図3C)に相当するセンサ31を用いて、空間浮遊映像3に対する手指UHによるタッチ操作の検出を同様に行う。
【0116】
ここでは、説明上、空間の座標系および方向を(X,Y,Z)で図示している。X方向およびY方向は、水平面を構成する2つの方向であり、Z方向は鉛直方向である。X方向は、空間浮遊映像表示装置1000およびユーザ230の左右方向であり、Y方向は、空間浮遊映像表示装置1000およびユーザ230の前後方向であり、Z方向は、空間浮遊映像表示装置1000およびユーザ230の上下方向、高さ方向である。また、空間浮遊映像3での座標系および方向を(x,y,z)で図示している。空間浮遊映像3の画面内において、x方向が水平方向、y方向が垂直方向であり、z方向はそれらに垂直である奥行き・深さ方向である。空間浮遊映像3の面に対する操作の際には、手指UH(図示の例では人差し指)がz方向等において進入等移動する。
【0117】
この空間浮遊映像表示装置1000は、筐体60と、制御基板61と、駆動機構62とを備える。筐体60(前述の
図3Cの筐体1190に相当する)には、前述の各構成要素として、表示装置1と、再帰反射部材2と、透明な部材100と、偏光分離部材101とが収容され、それらは所定の位置関係で固定されている。また、筐体60には、第1センサであるセンサ31と、第2センサであるカメラ32とが設置されている。表示装置1は、前述の光源装置13と、液晶表示パネル11と、吸収型偏光板12とを備える。再帰反射部材2の出射面には、λ/4板21を備える。透明な部材100の裏面には、偏光分離部材101を備える。
【0118】
筐体60内の各構成要素は、制御基板61と信号線等で接続されている。構成要素間では無線通信を適用してもよい。制御基板61は、
図3Cでの制御部1110等の各部を実装した部分に相当し、表示装置1等の各構成要素を制御する。本例では筐体60内に制御基板61を有するが、これに限らず筐体60外部等にも実装可能である。
【0119】
筐体60の上面を除いて下面や側面の周囲には、駆動機構62が配置されている。駆動機構62は、例えばモータや駆動回路基板等を含む。駆動機構62は、制御基板61からの制御に基づいて、後述のように筐体60を移動させるように駆動する。なお、駆動機構62にも筐体を有することで、筐体60と駆動機構62とで二重の筐体を有する形態としてもよい。
【0120】
筐体60の上面で、所定の位置には、第1センサであるセンサ31が、所定の向きで配置されている。センサ31の位置および向きは、例えば図示のように検出軸(破線で示す)が空間浮遊映像3の面と平行になるような位置および向きである。本例では、センサ31の位置は、Y方向でユーザ230に近い手前側の位置であり、センサ31の向きは、Y方向で奥側に斜め上の方向である。
図26では、空間浮遊映像3の光軸(再帰反射部材2からの反射光の光軸等にも対応する軸)、すなわち、空間浮遊映像3の面とユーザ230の目UEの位置とを垂直に結ぶ線を一点鎖線で示している。また、空間浮遊映像3の面および第1センサの検出軸の水平面に対する角度を角度a1で示している。
【0121】
第2センサであるカメラ32は、筐体60の上面の所定の位置に所定の向きで配置されている。カメラ32の位置および向きは、例えば図示のように、空間浮遊映像3を視認するユーザ230が標準的な身長で、顔UFの位置が標準的な場合を想定しており、光軸がその標準的な位置の顔UFの領域をカバーできる撮像範囲となるような位置および向きである。
図26では、カメラ32(第2センサ)の光軸を二点鎖線で示し、画角範囲(撮像範囲)を破線で示している。第2センサの光軸の水平面に対する角度を角度a2で示している。第2センサのZ方向での画角を角度αで示している。また、カメラ32の座標系を(CX,CY,CZ)で示している。CZはカメラ32の光軸方向であり、(CX,CY)はカメラ32の撮像画像内の水平方向および垂直方向である。
【0122】
空間浮遊映像表示装置1000(制御基板61)は、カメラ32で撮像した画像から、空間(X,Y,Z)内でのユーザ230の顔UF(または頭)の位置を判断する。この判断は、例えば、公知の画像解析や顔認識の技術を用いて、顔UFまたは頭の領域や、その領域内での目UFや鼻や口等の位置の検出に基づいて可能である。空間浮遊映像表示装置1000は、例えば、顔UFの領域内で左右の両方の目UFの間の中心点を、顔位置として算出してもよい。
図26では、標準的な顔位置を、目UFに対応した位置座標(X0,Y0,Z0)の点として示している。空間内の顔UFの位置と、カメラ32の画像内での顔UFの位置とは、所定の対応関係を有しており、換算が可能である。
【0123】
筐体60は、後述のように、駆動機構62によって回転移動が可能となっており、回転軸J1は、その回転移動の際の回転軸の配置例を示す。この回転軸J1の場合、筐体60は、Y-Z面内で回転することにより、上面である透明な部材100は、ユーザ230に対してY方向で手前や奥に傾くように配置状態が変わる。すなわち、そのような筐体60および透明な部材100の回転移動に伴い、空間浮遊映像3もユーザ230に対してY方向で手前や奥に傾くように表示状態が変わる。
【0124】
実施の形態1では、空間浮遊映像表示装置1000(制御基板61)は、駆動機構62を用いて筐体60全体を移動させることで、空間浮遊映像3の位置等の状態を調整する。筐体60内には、複数の構成要素が所定の位置関係で固定されている。よって、駆動機構62によって筐体60を回転等で移動させた場合、それに伴って複数の構成要素も所定の位置関係を維持したまま移動する。実施の形態1では、筐体60の移動の例として回転移動の場合を示す。
【0125】
第1センサであるセンサ31(空中操作検出センサ1351)は、例えばTOF方式の測距センサ、赤外線センサ、またはステレオカメラ等、各種のセンサを適用できる。センサ31は、空間浮遊映像3に対する手指UHによる操作、例えば空間浮遊映像3の面に対しz方向に指を進入させてボタン等を押すタッチ操作等を検出できるように、図示の位置や向きで配置されている。z方向(深さ方向)の手指UHの位置等の状態は、例えば前述の
図5と同様に検出可能である。
【0126】
第2センサであるカメラ32(撮像部1180)は、一般的なCCD等のカメラを適用できる。カメラ32の配置位置は、前述した標準的な位置に正対する顔UFに対して、カメラの光軸の延長上に目UEが位置するように、図示の位置や向き、および画角α等で配置されている。第2センサは、上述したカメラに限らず、ユーザの顔UFを含む領域を2次元画像として撮像・検出できるセンサであればよい。
【0127】
[空間浮遊映像]
図27は、
図26のような標準的な位置で正対するユーザ230の目UEから見た空間浮遊映像3の表示例を示す。筐体60や駆動機構62は、実際には例えばATM装置内に収容されており、ユーザ230からは見えない。この空間浮遊映像3の例は、ATMでの暗証番号入力画面例である。
【0128】
なお、この空間浮遊映像表示装置1000で空間浮遊映像3として表示可能な映像内容やグラフィカルユーザインタフェースは、本例に限定されない。他の例として、パソコンのキーボードのようなGUIでもよいし、店舗の広告やアート映像、無人レジでの商品や金額の確認画面など、各種の用途に適用可能である。
【0129】
[縦置き]
図28は、
図26の空間浮遊映像表示装置1000を、
図3Bと同様に縦置きで利用する場合の配置例を示す。この状態では、透明な部材100は縦(Z方向)に配置されている。空間浮遊映像3は、透明な部材100から外側にY方向で斜め上の向きに出射した位置に形成されている。空間浮遊映像3の面は、Y方向で斜め下に傾いた状態で形成されている。
【0130】
センサ31は、筐体60の前面(透明な部材100がある面)において、Z方向で上側の位置に、検出軸が空間浮遊映像3の面と平行になる向きで配置されている。カメラ32は、筐体60の前面において、Z方向で下側の位置に、光軸が斜め上の向きで、標準的な位置の顔UFをカバーする撮像範囲となるように配置されている。空間浮遊映像表示装置1000は、
図26のように横置きで利用する場合と、
図28のように縦置きで利用する場合とのいずれでも適用可能であり、仕組みや作用は概略的に同様である。以下では
図26のような横置きの場合を例に説明する。
【0131】
図29は、空間浮遊映像表示装置1000を上から見たX-Y面での各センサの配置例を示す。センサ31は、本例では、X方向で左右の2つのセンサ31R,31Lから構成される。センサ31R,31Lは、X方向の位置として、筐体60の中央位置XCに対し左右の位置(XR,XL)とされている。なお、他の方式でのセンサ31とする場合、筐体60の中央位置XC等に設置されてもよい。
【0132】
カメラ32は、本例では、1つのカメラとする。その場合に、カメラ32のX方向の位置は、筐体60の中央位置XCとされている。カメラ32のX方向での画角は、標準位置での顔UFを含む、例えば筐体60の手前の一辺をカバーできる広さの範囲である。第2センサの位置や方向や撮像範囲は、本例に限らず可能であり、想定される標準位置(X0,Y0,Z0)での顔UF(標準的な顔UFA)を撮影できる位置等であればよい。他の例では、カメラ32は左右の2台のカメラ(32R,32L)としてもよい。その場合、2台のカメラ(32R,32L)の位置は、例えば図示の左右の位置(XR,XL)である。
【0133】
想定される標準位置(X0,Y0,Z0)は、
図26や
図29のように空間浮遊映像3に対し顔UFが正対し、空間浮遊映像3の光軸と目UEの視線方向とが図示の一点鎖線のように一致する状態に対応する位置である。空間浮遊映像3の高い指向性等の特性から、この標準位置では、ユーザ230の目UEから空間浮遊像3を好適に視認でき、この標準位置から外れるほど空間浮遊映像3を視認しにくくなる。
【0134】
[カメラによる顔の位置の判別]
次に、
図30は、
図26の第2センサであるカメラ32による顔UFの位置の判別についての模式説明図である。
図30の(A)は、
図26と同様に、空間浮遊映像表示装置1000を側面から見たY-Z面の状態(ここでは駆動機構62の図示を省略している)で、ユーザ230の顔UFの位置として、Z方向での高さ位置が3種類の高さ位置(ZA,ZB,ZC)に変化する場合を示す。ユーザ230の身長や動き等に応じて、空間(X,Y,Z)内での顔UFの位置が変化する。顔UFの位置Aは、標準位置(X0,Y0,Z0)にある場合であり、高さ位置がZ0=ZAである。顔UFの位置Bは、標準位置よりも高い位置にある場合であり、高さ位置はZBである。顔UFの位置Cは、標準位置よりも低い位置にある場合であり、高さ位置はZCである。ZC<ZA<ZBである。
【0135】
図30の(B)は、(A)の顔UFの位置A,B,Cの例に対応した、カメラ32で撮像した画角αの画像3001における顔UFの位置を示す。(B)のカメラ32の画像3001において、ユーザ230の顔UFは、CX方向では中心位置(CX0)にあり、CY方向では、高さ位置ZA,ZB,ZCに応じた位置にある。顔UFが標準位置(X0,Y0,Z0)に対応した位置A(高さ位置ZA)にある場合、図示のように、顔UFは画像3001の中心付近に写っている。顔UFが位置Bや位置Cにある場合、図示のように、顔は画像3001の中心から上側や下側の位置に写っている。
【0136】
よって、空間浮遊映像表示装置1000の制御基板61は、カメラ32の画像3001の内容を解析することで、空間(X,Y,Z)内における空間浮遊映像表示装置1000および空間浮遊映像3に対するユーザ230の顔UFの位置を判別できる。一例として、制御基板61は、画像3001の中心点(CX0,CY0)(一点鎖線の交点として示す)を標準位置として、その中心点から、写っている顔UFの位置までの距離を算出してもよい。画像3001内の顔UFの位置は、例えば両目の中間点等で定義される。制御基板61は、画像3001内の顔UFの位置から、換算によって、空間(X,Y,Z)内での顔UFの位置を算出できる。
【0137】
特に、制御基板61は、顔UFの高さ位置を含む位置座標を判別する。また、制御基板61は、顔UFの高さ位置を、簡略的には複数の種類の高さ位置(例えば高さ位置ZA,ZB,ZC等)に区分して判別してもよい。例えば、制御基板62は、少なくとも、標準位置(X0,Y0,Z0)付近の高さ位置と、それよりも上側に所定の距離以上にある高さ位置と、下側に所定の距離以上にある位置との3種類の高さ位置を判別してもよい。この場合、例えば、空間浮遊映像表示装置1000の位置設定の初期値を標準位置(X0,Y0,Z0)に正対する操作者に合わせた位置に設定し、その後カメラ32で顔の位置を検出し視認しやすい他の位置(例えば(X1,Y1,Z1))に調整し、一連の操作が終了し操作者が空間浮遊映像表示装置1000から離れた後、再び空間浮遊映像表示装置1000の位置を標準位置に戻す。次の操作者としては、平均身長などから設定した標準位置に正対する人の割合が多いため、よりスムーズな操作への準備が可能となる。
【0138】
制御基板61は、判別した顔UFの位置に基づいて、空間浮遊映像3の位置や向きの調整を、筐体60の移動によって行う。
【0139】
[筐体の回転移動]
図31は、空間浮遊映像表示装置1000における筐体60の回転移動についての模式説明図である。
図31の(A)は、同様に空間浮遊映像表示装置1000を側面から見たX-Z面の状態で、駆動機構62によって、筐体60を、
図30のような標準的な状態から、回転移動させた後の状態の一例を示す。筐体60は、X方向に延在する回転軸J1を中心としてY-Z面で例えば角度θでY方向の奥側に傾くように回転されている。面AAは、標準位置での筐体60の上面(透明な部材100がある面)を示す。面ABは、角度θでの回転後の筐体60の上面を示す。標準位置での空間浮遊映像3Aは、回転後、空間浮遊映像3Bの状態となっている。なお、回転軸J1は、この例には限定されず、回転機構の詳細についても特に限定されない。
【0140】
破線で示す顔UFの位置UFAは、標準位置を示す。実線で示す顔UFBは、標準位置よりも上側の位置の例を示す。標準の空間浮遊映像3Aに対し、上側の位置の顔UFBにある場合、空間浮遊映像3Aの内容を視認しにくい。
【0141】
図31の(B)は、(A)の例に対応した、カメラ32の画像3101内での顔UFの位置を示す。画像3101内において、顔FBは、上側の位置の顔UFBである場合の顔領域を示す。空間浮遊映像表示装置1000は、画像3101から顔FBの位置(例えば位置(CXB,CYB))を判別し、その位置から空間内での顔UFBの位置(例えば(XB,YB,ZB))を判別する。空間浮遊映像表示装置1000の制御基板61は、このような顔UFの位置の判別に応じて、駆動機構62によって筐体60を回転移動させることで、顔UFがカメラ32の画像3101内の中心(CX0,CY0)の付近に写るように制御する。
【0142】
本例では、画像3101内の顔FBRの領域は、筐体60の角度θでの回転後に顔が中心付近に写った状態を示す。この回転に伴い、空間浮遊映像3Aは、回転後の空間浮遊映像3Bの状態に変更されている。すなわち、この回転後の状態では、ユーザ230は、Z方向で上側の位置にある顔UFBの対応する目UEから、その空間浮遊映像3Bの内容を好適に視認できる。この回転後の状態では、顔UFBの目UEと空間浮遊映像3Bとの空間的な関係が、回転前の標準的な顔UFAの目UEと空間浮遊映像3Aとの空間的な関係と類似の関係となるように調整されている。
【0143】
上記のように、実施の形態1では、空間浮遊映像表示装置1000に対向するユーザ230の例えば身長の違いに応じて、空間浮遊映像3を好適な状態に調整することができ、ユーザ230は空間浮遊映像3(例えば
図27)を好適に視認し操作することができる。他の例として
図30のように顔UFが標準位置から下側の位置C(高さ位置ZC)にある場合でも、上記と同様の調整が可能である。その場合、回転移動の方向は、
図31の角度θの反時計回りとは逆の時計回りの方向とすればよい。
【0144】
上記のように、実施の形態1によれば、空間浮遊映像3の視認および操作に関して、ユーザの利便性を高めることができる。ユーザ230の状態に応じて、空間浮遊映像表示装置1000が自動的に空間浮遊映像3を調整するので、ユーザ230は特に何らの面倒な動作や操作を要せずに、空間浮遊映像3の好適な視認および操作が可能となる。
【0145】
[変形例-平行移動]
図32は、実施の形態1の変形例を示す。この変形例では、筐体60の移動の他の方式として平行移動の場合、特に高さ方向(Z方向)の平行移動の場合を示す。
図32は、空間浮遊映像表示装置1000を側面から見たY-Z面の状態で、ユーザ230の顔UFが標準よりも上側の位置の顔UFBである場合に、筐体60を標準位置からZ方向で上方に平行移動させた場合を示す。空間浮遊映像表示装置1000は、カメラ32で撮像した画像に基づいて、
図31と同様の仕組みで、空間浮遊映像3の状態を調整する。制御基板61は、駆動機構62によって、筐体60を上方へ距離DZで平行移動させる。上面ACは、標準の筐体60の上面AAの位置から上方に距離DZで平行移動させた後の上面の位置を示す。距離DZは、カメラ32の画像内で顔UFの位置が中央付近となるように算出した距離である。この平行移動に伴い、空間浮遊映像3Aは、空間浮遊映像3Bの状態に変更されている。ユーザ230は、顔UFBの位置(高さ位置ZB)から、調整後の空間浮遊映像3Bを好適に視認し操作することができる。
【0146】
[変形例-構成要素移動]
他の変形例として、図示はしないが、筐体60自体ではなく、筐体60内の構成要素を移動することで、筐体自体を移動した場合と同様の効果を得ることができる。例えば、筐体60内の構成要素である表示装置1と再帰反射部材2を、相互の位置関係を保ったままで回転移動させることで、空間浮遊映像3が表示される空間上の位置を、例えば、より上側の位置となるように調整することができる。
【0147】
上記の結果、ユーザ230は、標準位置から、上側にずれた位置にある顔UFの位置からでも、調整後の空間浮遊映像3Bをより好適に視認することができる。
【0148】
[変形例-左右方向の制御]
他の変形例として以下も可能である。この変形例では、空間浮遊映像表示装置1000およびユーザ230の左右方向(X方向)での顔UFの位置に応じた空間浮遊映像3の調整を行う機能を有する。前述の
図29を用いて、X方向での調整を行う例を示す。X方向で、顔UFの位置XEは、標準的な中央の位置XAに対し、例えば右側にずれた位置の例である。ユーザ230はこの位置XEからは標準的な空間浮遊映像3(3A)を視認しにくい。距離DXは、位置XAと位置XEとのX方向での距離である。空間浮遊映像表示装置1000は、カメラ32の画像に基づいて、このような顔UFのX方向の位置XEやずれの距離DXを判別し、その顔UFのX方向の位置等に応じて、筐体60を移動させて、空間浮遊映像3の状態が好適となるように調整する。この場合、駆動機構62による筐体60の移動は、例えばX方向での平行移動、あるいはX-Y面でのZ軸周りの回転が挙げられる。これにより、ユーザ100は、X方向である程度ずれた位置からでも、調整後の空間浮遊映像3の好適な視認が可能となる。
【0149】
[変形例-奥行き方向の制御]
図33および
図34は、他の変形例を示す。この変形例では、空間浮遊映像表示装置1000およびユーザ230の奥行き方向・前後方向であるY方向での顔UFの位置に応じた空間浮遊映像3の調整を行う機能を有する。
図33および
図34を用いて、Y方向での調整を行う例を示す。予め設定された顔UFの標準位置(顔UFA)は、Z方向では高さ位置ZA、Y方向では位置YA、X方向では
図29の位置XAであるとする。その標準位置に合わせて設定された標準的な空間浮遊映像3は、空間浮遊映像3Aであるとする。顔UFDは、顔UFがY方向で位置YDにある場合を示す。距離YDは、顔UFDの位置YDと、標準の顔UFAの位置YAとの距離である。ユーザ230はこの位置YDからは標準的な空間浮遊映像3(3A)を視認しにくい。
【0150】
空間浮遊映像表示装置1000は、カメラ32の画像に基づいて、このようなY方向での顔UFの位置YDやずれの距離DY等を判別し、その判別した顔UFの状態に応じて、筐体60を移動させて、空間浮遊映像3の状態が好適となるように調整する。この場合、駆動機構62による筐体60の移動は、例えばY方向での平行移動、あるいはY-Z面でのX軸周りの回転が挙げられる。これにより、ユーザ100は、Y方向である程度ずれた位置からでも、調整後の空間浮遊映像3の好適な視認が可能となる。
【0151】
[変形例-空間浮遊映像の制御]
さらに、変形例として以下も可能である。ユーザ230が移動することで顔UFの位置が
図30のようにZ方向で変化する場合、
図29のようにX方向で変化する場合、および
図33のようにY方向で変化する場合、のいずれの場合にも、空間浮遊映像表示装置1000は、以下のように、空間浮遊映像3の表示および調整の開始や終了の制御を行う。ここでは、
図33のようにY方向で変化する場合を例に説明する。
図33で、例えばユーザ230がY方向で空間浮遊映像表示装置1000に対し遠方から手前に近付いてきた場合を考える。位置YFは、遠方の位置の例である。
【0152】
空間浮遊映像表示装置1000は、カメラ32の画像による検出に基づいて、最初、付近にユーザ230の顔UFが無い場合には、空間浮遊映像3を表示せず、言い換えると待機状態にする。あるいは、空間浮遊映像表示装置1000は、カメラ32の画像内に顔UFが写っている場合でも、画像内での顔のサイズ等から、顔UFのY方向での位置を判別し、その位置が閾値以上である場合には、ユーザ230が空間浮遊映像表示装置1000の手前の位置には来ていないと判定し、空間浮遊映像3を表示しない。例えば、閾値HYは、Y方向の距離の閾値の例であり、例えば標準の位置YAとの所定の距離である。空間浮遊映像表示装置1000は、顔UFの位置が閾値HY以内の位置になったと判定した場合、空間浮遊映像3の表示および調整を開始する。例えば、最初、空間浮遊映像表示装置1000は、標準位置に空間浮遊映像3(3A)を表示する。その後、空間浮遊映像表示装置1000は、閾値HY以内での顔UFの位置や距離DYに応じて、空間浮遊映像3の状態を調整する。
【0153】
図34は、
図33の例に対応したカメラ32の画像3401の例である。顔UFが位置YFのように標準位置に対し遠方にある場合、カメラ32の画像3401では、標準位置にある場合の顔FAの領域よりもサイズが相対的に小さい顔FFの領域として写っている。また、その顔FFの領域は、標準位置にある場合の顔FAの高さ位置よりも下側の位置(例えば位置(CXF,CYF))として写っている。
【0154】
制御基板61は、カメラ32で撮像した画像3401の解析に基づいて、ユーザ230の顔UFの領域のサイズおよびその変化を判断することで、ユーザ230の顔UFのY方向での移動を判別する。制御基板61は、顔UFの位置が閾値HY内の位置になったかどうかや、標準的な位置YAとの距離DY等を判別する。その際、例えば、制御基板61は、画像3401内の顔または頭の画素領域を検出し、画素数等によってサイズ(言い換えると面積)を判断してもよい。制御基板61は、そのサイズから、換算で、Y方向での位置を判断してもよい。制御基板61は、そのサイズと、サイズ閾値とを比較することで、顔UFの位置が閾値HY内の位置になったかどうか(例えば顔UFが標準的な位置YAの付近に来たかどうか)等を判断してもよい。
【0155】
制御基板61は、例えば、顔UFのY方向の位置に応じた距離DYが、所定の閾値超えである場合には、X方向、Y方向、およびZ方向での空間浮遊映像3の調整を開始せず、所定の閾値内になった場合には、X方向、Y方向、およびZ方向での空間浮遊映像3の調整を開始してもよい。
【0156】
上記のように、変形例では、ユーザ230の状態に応じて空間浮遊映像3の表示および調整に関するオン/オフ等の制御を行うことにより、ユーザ230による空間浮遊映像3の利用の利便性を高めることができる、なお、ユーザ230の顔UFのY方向の位置の検出については、第2センサとして、特にTOF方式のセンサやステレオカメラ等を適用すれば、Y方向での位置の測定をより容易・高精度にできるため、より効率的な制御が可能である。
【0157】
[変形例-コード読み取り]
実施の形態1の変形例として以下も可能である。この変形例では、空間浮遊映像表示装置1000は、QRコード(登録商標)等のコードを使用する用途に適用される。例えば、ATM装置でQRコードを利用する用途でもよいし、店舗の無人レジ等でQRコードを使用する用途でもよい。この変形例では、空間浮遊映像表示装置1000は、前述の顔UFの位置に応じた空間浮遊映像3の調整の機能の他に、空間浮遊映像3でのQRコードの読み取りの機能を有する。
【0158】
図35の(A)は、変形例において、空間浮遊映像表示装置1000を側面からみたX-Z面の状態で、ユーザ230が空間浮遊映像3の面に自分のスマートフォンSPの表示画面のQRコードをかざす操作を行う様子を示す。ユーザ230の顔UFは、前述の標準位置(高さ位置ZA等)にあるとする。
【0159】
図35の(B)は、空間浮遊映像表示装置1000による空間浮遊映像3の表示例として、QRコードをかざすようにガイドする画像3501の表示例を示す。画像3501において、領域3502には、「ここにQRコードをかざしてください」といったようにユーザ230に対しQRコードをかざす操作をガイドするメッセージ等のGUIが表示されている。領域3502は、空間浮遊映像表示装置1000の制御基板61によってカメラ32の画像からQRコードを読み取った場合に、読み取り結果が表示される領域である。読み取り結果は、そのQRコードに応じた内容である。
【0160】
ユーザ230は、空間浮遊映像表示装置1000の手前の位置で、
図35の(B)のような空間浮遊映像3の画像3501を視認して確認し、ガイドに従って、スマートフォンSPの表示画面に表示されているQRコードを、領域3502に重ね合わせるようにかざす。その際、カメラ32は、空間浮遊映像3の領域3502においてかざされたQRコードを含む、画角αの範囲を撮像する。制御基板61は、そのカメラ32の画像から、QRコードを読み取る。すなわち、制御基板61は、QRコード画像からQRコード情報を認識する。制御基板61は、QRコードの読み取り結果を、空間浮遊映像3の画像3501の領域3503に表示する。
【0161】
このように、この変形例では、前述の空間浮遊映像3の調整用の第2センサであるカメラ32を、QRコード等のコードの読み取りに兼用できる。カメラ32は、前述のように、標準的な顔UF、および空間浮遊映像3の少なくとも一部、を含む範囲を画角αで撮像できるように設計されている。そのため、カメラ32は、空間浮遊映像3に対し重ねるように配置されたQRコードを高精度に撮像することができ、QRコードの読み取りを高精度に実現できる。
【0162】
また、空間浮遊映像表示装置1000は、上記QRコードの読み取りの操作の際に、カメラ32の画像に基づいて、前述のように、顔UFの位置に応じて空間浮遊映像3の状態を調整する。これにより、ユーザ230個人の状態に応じて好適な空間浮遊映像3の状態とすることで、ユーザ230は、空間浮遊映像3の面に対するQRコードの操作をより容易に行うことができ、空間浮遊映像表示装置1000は、QRコードの読み取りをより高精度に可能である。
【0163】
また、
図35の(A)では、空間浮遊映像3の面に対し、z方向で少し手前側にスマートフォンSPのQRコードがかざされている。空間浮遊映像3の面においてコードを読み取る際に、空間浮遊映像3の面と、コード(対応するスマートフォンSPの画面)の面との距離については、予め、コード読み取りの判定条件として設定可能である。判定条件の例としては、その距離が、空間浮遊映像3の面を0として前後に±で所定の閾値以内である場合に、コードの読み取りを開始する、というものとしてもよい。
【0164】
特に、空間浮遊映像3の面の位置に対し、QRコード等のコードの画像や物体を高精度に位置合わせしなければならないという条件にする場合も考えられる。その場合に、空間浮遊映像表示装置1000は、前述の顔UFの位置に応じた空間浮遊映像3の調整を併せて行うことで、ユーザ230は、空間浮遊映像3の面の位置に対し、コードの画像や物体を高精度に位置合わせすることが容易となる。
【0165】
上記変形例は、QRコードに限らず、IDカードや本人確認証等を空間浮遊映像3の位置で読み取らせる用途に適用できる。
【0166】
他の変形例として、カメラ32の方向や撮像範囲に関して以下のようにしてもよい。
図26等の構成例では、空間浮遊映像3の光軸の方向と、カメラ32の光軸の方向とは別の方向となっている。カメラ32の光軸は、空間浮遊映像3の上辺よりも上側を通過して、標準的な顔UFや目UEを捉えるように設計されている。この設計に限らずに可能である。例えば、カメラ32の光軸の方向を、空間浮遊映像3の光軸の方向と平行にしてもよい。この場合、空間浮遊映像3の座標系とカメラ32の画像の座標系とをより近いものにすることができる。また、カメラ32の光軸が空間浮遊映像3の領域を通過するようにしてもよい。
【0167】
(実施の形態2)
図36以降を用いて、実施の形態2の空間浮遊映像表示装置1000について説明する。実施の形態2で、適用する用途の例としては、銀行のATM装置とする。実施の形態2での空間浮遊映像表示装置1000は、ユーザ230の銀行口座に関連付けられたユーザ認証を行う機能を有する。この空間浮遊映像表示装置1000は、空間浮遊映像3として表示される画面(例えば銀行口座の暗証番号入力画面)を利用・操作するユーザ230個人をユーザ認証し、そのユーザ認証結果に応じて空間浮遊映像3の画面の表示を制御する。
【0168】
また、実施の形態2では、空間浮遊映像表示装置1000は、空間浮遊映像3の画面に対する手指UHによる操作の検出・判定に関する感度を調整する機能を有する。ユーザ230が空間浮遊映像3の画面のボタン等を押下する操作の際、空中での操作でもあるため、ユーザ230個人毎に、手指UHの動かし方等の特性(言い換えると癖)が異なる。ユーザ230個人によっては、第1センサを用いた空中操作の検出・判定がしにくいことが想定される。そこで、実施の形態2の空間浮遊映像表示装置1000は、第1センサ、第2センサ、または後述の第3センサを用いて、ユーザ230個人毎の空間浮遊映像3の操作の特性を判別する。そして、実施の形態2の空間浮遊映像表示装置1000は、そのユーザ230個人の操作の特性に応じて、その個人用に空間浮遊映像3の画面の操作の感度を調整する。感度の調整は、具体的には、個人の操作の特性に合わせるように、第1センサ(および前述の
図3Cの空中操作検出部1350)を用いた空間浮遊映像3の操作の判定のための判定条件を変更・調整することである。
【0169】
実施の形態2では、ユーザ認証を含む空間浮遊映像3の操作に関して、個人の操作の特性を用いて感度を調整できるので、ユーザ230は、ユーザ認証を含む空間浮遊映像3の操作をより容易に利用できる。
【0170】
[ユーザ認証]
図36は、実施の形態2における空間浮遊映像表示装置1000等の構成を側面からみたX-Z面の状態を示す。吹き出しには、主に制御基板61(特に
図3Cの制御部1110)によって行われるユーザ認証の処理の概要を示す。実施の形態2の例では、制御基板61(特に制御部1110を構成するプロセッサ)が、ユーザ認証に係わる処理として、2段階のユーザ認証に係わる処理を行う。2段階のうち、第1ユーザ認証は、第2センサであるカメラ32を用いて、ユーザ230の顔UFを撮影した画像を用いた、顔認証である。制御基板61は、カメラ32でユーザ230の顔UFを撮影した画像内の顔画像から、予め登録済みの顔画像との比較に基づいて、そのユーザ230が登録済みのユーザ(すなわち銀行口座に関連付けられたユーザ)であるかどうか、顔認証処理を行う。第1ユーザ認証の結果が成功(OK)である場合には、空間浮遊映像表示装置1000は、所定の空間浮遊映像3(後述)を表示する。第1ユーザ認証の結果が失敗(NG)である場合には、空間浮遊映像表示装置1000は、次に、第2ユーザ認証に遷移する。
【0171】
第2ユーザ認証は、専用タッチペンUPを用いたユーザ認証である。この専用タッチペンUPは、ユーザ230が所持しており、そのユーザ230個人のユーザIDを含む情報がメモリに内蔵されている。そのユーザIDは、ユーザ230の銀行口座と関連付けられたIDである。ユーザ230は、空間浮遊映像表示装置1000が表示する空間浮遊映像3の画面のガイドに従って、専用タッチペンUPを操作する。専用タッチペンUPは、通信機能として特に近距離無線通信機能(例えばBluetooth(登録商標))も備えている。空間浮遊映像表示装置1000の制御基板61は、
図3Cの通信部1132を通じて、専用タッチペンUPと通信し、専用タッチペンUPからユーザIDを含む情報を受信・取得する。制御基板61は、その取得したユーザIDから、予め登録済みのユーザIDとの比較に基づいて、その専用タッチペンUPを持つユーザ230が登録済みのユーザ(すなわち銀行口座に関連付けられたユーザ)であるかどうか、専用タッチペンでのユーザ認証処理を行う。
【0172】
第2ユーザ認証の結果が成功(OK)である場合には、空間浮遊映像表示装置1000は、所定の空間浮遊映像3(後述)を表示する。第2ユーザ認証の結果が失敗(NG)である場合には、空間浮遊映像表示装置1000は、総合的なユーザ認証結果失敗に対応する処理として、空間浮遊映像3の消去(言い換えると表示終了)、あるいは、「認証失敗」の旨の空間浮遊映像3の表示といった処理を行い、所定の空間浮遊映像3の表示には遷移しない。
【0173】
所定の空間浮遊映像3の表示は、本例では、ATM装置のアプリケーションのGUIにおける、暗証番号入力画面の表示である。この所定の空間浮遊映像3の画面において、空間浮遊映像表示装置1000は、ユーザ230の手指UHまたは専用タッチペンSPによる操作を受け付ける。空間浮遊映像表示装置1000は、第1センサであるセンサ31を用いて、その空間浮遊映像3の画面に対する手指UHまたは専用タッチペンSPによる操作を検出・判定する。例えば専用タッチペンSPによる操作を検出する場合には、専用タッチペンSPの先端部分を対象として、空間浮遊映像3の面に対する位置や進入の深さ等が判断される。
【0174】
[所定の画面]
図37は、所定の空間浮遊映像3の画面の例として、暗証番号入力画面を、正対するユーザ230の目UEから見た状態として示す。この画面は、第1段階の画面3701と、第2段階の画面3702とから構成されている。空間浮遊映像3は、本例では縦長の画面である。空間浮遊映像表示装置1000は、最初、第1段階の画面3701を表示する。画面3701には、中央位置に感度調整用のGUI部品としての確認ボタン3703と、ガイドのメッセージ(「はじめに上の確認ボタンを押してください」)とが表示されている。ユーザ230は、ガイドに従い、手指UHまたは専用タッチペンUPによって確認ボタン3703を押す操作(空中でのタッチ操作)を行う。なお、空間浮遊映像表示装置1000は、第1センサまたは第3センサを用いて確認ボタン3703の押下の操作を検出した場合、確認ボタン3703が押下されたことを表すエフェクト等を表示してもよい。これにより、ユーザ230に対し確認ボタン3703が押下されたことがよりわかりやすくフィードバックされる。
【0175】
この確認ボタン3703の操作を受けて、空間浮遊映像表示装置1000は、感度調整の処理を行った後、第2段階の画面3702の表示へ遷移させる。第2段階の画面3702は、暗証番号入力画面の本体であり、番号ボタン3704やガイドのメッセージ(「暗証番号(4けた)を押してください」)や入力暗証番号確認欄3705等が設けられている。ユーザ230は、手指UH等で暗証番号に対応する番号ボタン3704を順に押下する。制御基板61は、第1センサを用いて判定条件に基づいて番号ボタン3704の押下を検出し、検出に応じて入力暗証番号確認欄3705に、入力された番号の確認用の表示を行う。この確認用の表示は、公知技術と同様に、番号自体の表示ではなく、アスタリスク(*)等の表示としてもよい。本例は、ATMの暗証番号入力に適用する例を示したが、これに限らず、各種の用途に同様に適用できる。
【0176】
[特性検出・感度調整]
図36で、実施の形態2の空間浮遊映像表示装置1000は、筐体60に、実施の形態1と同様の構成要素に加え、第3センサとして、特性検出センサ33(言い換えると感度調整用センサ)を備える。もしくは、前述の第1センサであるセンサ31を、特性検出センサとして兼用する構成、言い換えると、第1センサと第3センサとを一体化した構成でもよい。あるいは、前述の第2センサであるカメラ32を、特性検出センサとして兼用する構成、言い換えると、第2センサと第3センサとを一体化した構成でもよい。特性検出センサ33は、空間浮遊映像3に対するユーザ230の操作の特性を検出するためのセンサである。特性検出センサ33は、例えば
図36のように第1センサであるセンサ31と同じような位置に設置されてもよいし、それとは異なる位置に設置されてもよい。本例では、特性検出センサ33は、第1センサと同じような位置として、Z方向では筐体60の上面、Y方向では手前側、X方向では
図29の左右の位置XR,XLの付近に設置されている。特性検出センサ33の検出軸の方向は、例えば空間浮遊映像3の面と平行な方向である。本例では、特性検出センサ33として、X方向で左右の2つのカメラをステレオカメラとして用いる。これを用いることで、3次元の空間(X,Y,Z)内での手指UH等の位置や動き等を検出できる。他の例では、第3センサは、X方向で中央位置の1つのセンサとして設けられてもよい。第3センサは、3次元の空間内での手指UH等の位置や動き等を検出できるセンサであればよい。
【0177】
第1センサであるセンサ31や、第2センサであるカメラ32については、実施の形態1で説明したものと同様のものを適用できる。これに限らず、第2センサは、ユーザ認証を考慮して、実施の形態1で適用したカメラ32とは別のセンサを適用してもよい。また、ユーザ個人の操作の特性を検出する際には、第3センサに加え、第2センサを併用してもよい。また、第3センサとして、1つのTOF方式の測距センサを用いてもよい。また、第1センサである1つ以上のセンサ32、第2センサである1つ以上のカメラ32、および第3センサである任意の1つ以上のセンサ(例えばCCD等のカメラ、あるいはTOF方式の測距センサ)を組み合わせて機能を構成してもよい。
【0178】
[処理フロー]
図38は、実施の形態2での空間浮遊映像表示装置1000の主な処理のフローを示し、ステップS200~S208を有する。ステップS200で、制御基板61は、
図36で示した2段階のユーザ認証を行う。ステップS200のユーザ認証の結果で成功となってユーザ230個人を識別したことを契機として、ステップS201で、制御基板61は、特性検出・感度調整プロセスを開始する。ステップS202で、制御基板61は、
図37の第1段階の画面3701を表示する。ユーザ230は、手指UHまたは専用タッチペンSPで確認ボタン3702を押下する操作(空中でのタッチ操作)を行う。
【0179】
ステップS203で、制御基板61は、第3センサを用いて、その確認ボタン3702を押下する操作を検出する。制御基板61は、第3センサからの画像を取得する。なお、この際、空間浮遊映像表示装置1000は、第1センサや第2センサを用いて、手指UH等の初動の動きを検出してもよい。そして、空間浮遊映像表示装置1000は、その初動の動きの検出に応じて、第3センサによる検出を開始させてもよい。
【0180】
ステップS204で、制御基板61は、上記確認ボタンの押下の操作を検出できたかを確認し、検出できるまで同様に繰り返す。なお、検出できない場合には例えばフローの終了としてもよい。
【0181】
ステップS205で、制御基板61は、第3センサからの画像の解析に基づいて、確認ボタンの押下の操作の際の、手指UHの深さ、位置、方向・角度、面積、速度、時間等の所定のパラメータの値を測定することで、そのユーザ230個人の操作の特性を判定する。具体例については後述する。
【0182】
ステップS206で、制御基板61は、上記判定したユーザ個人の操作の特性に合わせるように、第1センサを用いた空間浮遊映像3の操作の検出の際の判定条件を変更・更新する。制御基板61は、予め標準として設定されている判定条件に基づいて、個人の特性に応じて判定条件を変更する。制御基板61は、個人のユーザIDと対応付けて、その判定条件を保存する。この判定条件の変更は、言い換えると、所定の空間浮遊映像3の画面でのボタン等の操作の際の感度の調整に相当する。また、これは、ユーザ個人に適合させるキャリブレーションに相当する。
【0183】
ステップS207で、制御基板61は、空間浮遊映像3の表示を、
図37の第2段階の画面3702に遷移させる。制御基板61(特に
図3Cの空中操作検出部1350)は、この空間浮遊映像3の画面3702に対するユーザ230による操作の検出・判定の際には、上記変更・更新後の判定条件を適用する。
【0184】
その後、ステップS208で、制御基板61は、所定の契機で、例えば
図37の第2段階の画面3702での暗証番号入力の成功に応じて、特性検出・感度調整プロセスを終了する。
図38のフローの終了後には、判定条件は、任意のユーザに対応した標準的な判定条件の設定値に戻される。
【0185】
空間浮遊映像表示装置1000は、上記変更・更新後の判定条件を、ユーザ個人毎の情報として少なくとも一定期間以上保存する。その場合、空間浮遊映像表示装置1000は、ユーザ認証に基づいて、同じユーザ230個人が、次回に同様の画面3702を利用する場合に、第1段階の画面3701を用いた感度調整(判定条件の更新)を省略し、保存されていた判定条件を読み出して第2段階の画面3702に適用してもよい。あるいは、空間浮遊映像表示装置1000は、1回の画面3702の利用毎に、上記判定条件の変更(感度調整)を適用し、変更・更新後の判定条件を保存しないようにしてもよい。
【0186】
[特性検出・感度調整の例]
図39は、第3センサを用いた感度調整の例についての模式説明図であり、空間浮遊映像表示装置1000を側面からみたX-Z面の状態で、ユーザ230の手指UHによって、所定の空間浮遊映像3の画面(
図37の第1段階の画面3701)を操作する際の様子、特にX-Z面での手指UHの動きの例を示す。
【0187】
制御基板61(特に
図3Cの制御部1110のプロセッサ)は、第3センサである2つのカメラで撮像した2つの画像から、空間浮遊映像3の面に対する例えば手指UH(専用タッチペンUPの場合でも同様)による操作の際の手指UHの位置や動き等の状態を判別し、その状態からそのユーザ230個人の操作の特性(癖)を判定する。
【0188】
図39の例では、特性として、空間浮遊映像3の座標系(x,y,z)における、深さ方向であるz方向での手指UHの進入の深さの特性や、空間浮遊映像3の中央にある目標物4001(
図37での確認ボタン3703)の位置に対する手指UHの位置のずれや向き(z方向の軸からの角度)などの特性を判定する場合を示す。目標物4001である確認ボタン3703は、操作の特性を測定するために設けられている。
【0189】
制御基板61は、第3センサ等の検出情報を用いて、そのユーザ230個人(前述のユーザ認証結果から個人として識別済みである)の操作の特性を表す深さや位置や角度や面積などのパラメータ値を算出する。例えば、
図38では、z方向の深さは、空間浮遊映像3の面がある基準位置zaに対し、手指UHの例えば先端の位置(例えばzc)との距離dzに相当する値である。位置zaは、手指UHの先端がちょうど空間浮遊映像3の面に接触する場合と対応している。位置zbは、空間浮遊映像3の位置zaよりも手前側の位置の例であり、手指UHの先端が面に接触しない場合に対応する。位置zcは、空間浮遊映像3の面よりも奥側の位置の例であり、手指UHの先端が奥に進入している場合に対応する。
【0190】
制御基板61は、そのユーザ230個人の操作の特性を値として得た後、その特性に合わせるように、判定条件を変更する。判定条件の例は、空間浮遊映像3の面に対するz方向での手指UHの進入の深さに関する深さ閾値が挙げられる。制御基板61は、例えば、判定した深さ(例えば距離dz)の特性に応じて、その個人に適用するための判定条件のうちの閾値(例えば距離dzに近い値)を設定する。例えば、空間浮遊映像3の面を浅くタッチするユーザと、深くタッチするユーザとでは、異なる閾値が設定される。
【0191】
制御基板61(特に
図3Cの空中操作検出部1350)は、ユーザ230による画面3702の操作の際には、第1センサの検出情報に基づいて、判定条件として、目標物4001に対する手指UHの進入の深さが、深さ閾値(例えば距離dz)以上となった場合、その目標物4001を押下する操作(空中でのタッチ操作)がされたと判定する。
【0192】
このような判定条件の変更によって、空間浮遊映像3の操作の判定を、ユーザ230個人に適合した好適な判定とすることができる。ユーザ230にとっては、空間浮遊映像3の操作がしやすい感触が得られる。
【0193】
手指の進入の際の角度3901に関しては、簡単な計算で深さ方向の距離にも換算でき、深さに関する判定条件に反映することができる。
【0194】
図40は、他の特性の判定の例として、上からみたX-Y面で、ユーザ230が手指UHとして特に右手の人指し指の先端で、空間浮遊映像3内の目標物4001(確認ボタン3703)を押下する操作の様子を示す。本例では、この際に、ユーザ230は、破線で軌跡として示すように、右手を動かして移動させ、目標物4001を押下するように、z方向で奥に指先を進入している。このような操作は、ユーザ個人毎に異なる癖として現れる。本例では、ユーザ230の指先は、空間浮遊映像3のx-y面において、中央の目標物4001に対しやや右側にずれた位置(xf,yf)を通過している。空間浮遊映像表示装置1000は、このような操作の際の特性として、空間浮遊映像3の面における中央の目標物4001の位置に対する指先の接触の位置やずれの距離、方向(例えば右)や角度を判定する。角度は、例えば
図39でのz方向の軸に対する角度3901である。空間浮遊映像3の面の目標物4001に対し、手指UHをz方向で進入させる場合に、個人の特性として、面内での位置や方向のずれが大きい場合もあるし、z方向の軸に対する角度3901が大きい場合もある。
【0195】
また、別のユーザ230であれば、左手で操作するかもしれないし、別の指先で操作するかもしれないし、二本指で操作するかもしれないし、手のひら全体(グーやパー等の形状)で操作するかもしれない。空間浮遊映像表示装置1000は、第3センサに基づいて、そのような特性も判別する。
【0196】
図41は、他の特性の判定の例として、空間浮遊映像3をユーザ230の視点から見たx-y面で、空間浮遊映像3の面に対する手指UHの接触の際に特性として位置や面積を判定する例を示す。判定条件の例として、空間浮遊映像3の中央位置の目標物4001に対する接触位置のずれの閾値や、接触面積の閾値などが挙げられる。例えば、接触面積4101は、
図40と同様にユーザ230が右手の人差し指で目標物4001のやや右側の位置を押下した場合の、手指UHの接触の面積の概略を示す。一方、接触面積4102は、別のユーザ230が左手全体で目標物4001のやや左側の位置を押下した場合の、手指UHの接触の面積の概略を示す。このように、個人に応じて、空間浮遊映像3の面での接触面積が異なる。制御基板61は、このような接触面積を概略的に算出し、算出した接触面積に応じて、個人毎の判定条件における接触面積の閾値を変更する。すなわち、図示の右手側のユーザであれば相対的に小さい接触面積の閾値が設定され、左手側のユーザであれば相対的に大きい接触面積の閾値が設定される。
【0197】
他の特性および判定条件として、手指UH等の動きの速度を用いてもよい。空間浮遊映像表示装置1000は、第3センサを用いて、時系列の検出データに基づいて、空間浮遊映像3の目標物4001に対する手指UH等の動きの速度を判定する。そして、空間浮遊映像表示装置1000は、その個人の速度の特性に応じて、操作の判定条件の1つとして速度の閾値を更新する。例えば番号ボタン3704が押下される際に、閾値以上の速度である場合には、押下と判定される。
【0198】
他の特性および判定条件として、手指UH等の接触の時間を用いてもよい。空間浮遊映像表示装置1000は、第3センサを用いて、時系列の検出データに基づいて、空間浮遊映像3の目標物4001に対する手指UH等の接触時の時間を判定する。そして、空間浮遊映像表示装置1000は、その個人の接触時間の特性に応じて、操作の判定条件の1つとして接触時間の閾値を更新する。例えば番号ボタン3704が押下される際に、閾値以上の時間で接触状態が維持された場合には、押下と判定される。
【0199】
上記のように、各種の特性を考慮して判定条件を設定することで、高精度検出および誤操作検出防止が可能となる。例えば、図示の右手人差し指を使用するユーザ個人の場合には、意図せずとも手全体で空間浮遊映像3の面(例えば複数の番号ボタン)に触れた場合にも、正規の操作としては検出・判定されず、誤操作が防止できる。
【0200】
また、他の制御方法としては、図示の左手全体を使用するユーザのように、手指UHの全体で操作する個人の場合に、空間浮遊映像表示装置1000は、その個人の特性の判定に応じて、判定条件として、1本指先での操作用の判定条件から、手指全体での操作用の判定条件に切り替えてもよい。例えば、手指全体での操作用の判定条件は、手指UHの全体のうち、空間浮遊映像3の面に最初に接触した部分を用いて、深さ閾値等に基づいて、目標物4001の押下を判定する条件である。この場合、手指全体では複数のボタンに接触した場合でも、最初に一部分が接触した1つのボタンが押下されたと判定可能である。
【0201】
[変形例-単一画面]
実施の形態2の変形例として以下も可能である。空間浮遊映像表示装置1000は、
図37で、第1段階の画面3701を省略し、最初から画面3702を表示し、画面3702のボタン(例えば番号ボタン3704)に対する操作の検出に応じて、個人の特性を判定し、即時に操作の判定条件を更新してもよい。
【0202】
[変形例-コード読み取り]
実施の形態2の変形例として以下も可能である。例えば、前述のATM装置で、第2ユーザ認証の際に、専用タッチペンUPを用いた認証の代わりに、カメラ32およびQRコード等を用いたユーザ認証を適用してもよい。あるいは、他の装置に適用する場合でも、同様に、カメラ32およびQRコード等を用いたユーザ認証を適用してもよい。このユーザ認証の仕組みは、前述の実施の形態1の変形例(
図35)と同様の仕組みを適用できる。
【0203】
図42は、この変形例でのユーザ認証の例を示す。
図42は、空間浮遊映像表示装置1000等を側面からみたY-Z面の状態で、ユーザ230が手指UHに持ったスマートフォンSPの表示画面に表示されているQRコードを、空間浮遊映像3の面に合わせてかざす様子を示す。
【0204】
制御基板61は、ATM装置での第2ユーザ認証の際に、
図35の画面例と同様に、ユーザ230にQRコードをかざすようにガイドし、ユーザ230は、空間浮遊映像3の領域にスマートフォンSPのQRコードを重ねるようにかざす。制御基板61は、第2センサであるカメラ32を用いてそのQRコードが写った画像を取得し、そのQRコードの読み取り結果に基づいて、ユーザ230個人を認証する。制御基板61は、ユーザ認証の結果を、空間浮遊映像3の画面内に表示する。
【0205】
このように、この変形例では、第2センサを活用して、空間浮遊映像3の面でのコードの提示を利用したユーザ認証が可能である。また、この変形例では、このユーザ認証の操作の際に適用するための個人毎の判定条件の変更を前述と同様に行うことで、ユーザ230は、このユーザ認証の操作(例えば空間浮遊映像3の面にコードを高精度に位置合わせする操作)をより容易に行うことができる。
【0206】
以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。前述の各実施の形態を組み合わせた形態も可能である。前述の各実施の形態において必須要素を除いて構成要素を追加・削除・置換した形態も可能である。
【符号の説明】
【0207】
1000…空間浮遊映像表示装置、1…表示装置、2…再帰反射部材、3…空間浮遊映像、11…液晶表示パネル、12…吸収型偏光板、13…光源装置、21…λ/4板、100…透明な部材、101…偏光分離部材、31…センサ(第1センサ)、32…カメラ(第2センサ)、60…筐体、61…制御基板、62…駆動機構、230…ユーザ、UF…顔、UE…目、UH…手指。