(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024067866
(43)【公開日】2024-05-17
(54)【発明の名称】空中表示装置
(51)【国際特許分類】
G06F 3/042 20060101AFI20240510BHJP
G02B 3/08 20060101ALI20240510BHJP
G02B 5/08 20060101ALI20240510BHJP
G02B 5/04 20060101ALI20240510BHJP
【FI】
G06F3/042 483
G02B3/08
G02B5/08 Z
G02B5/04 A
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022178245
(22)【出願日】2022-11-07
(71)【出願人】
【識別番号】000003193
【氏名又は名称】TOPPANホールディングス株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100199565
【弁理士】
【氏名又は名称】飯野 茂
(74)【代理人】
【識別番号】100209048
【弁理士】
【氏名又は名称】森川 元嗣
(74)【代理人】
【識別番号】100212705
【弁理士】
【氏名又は名称】矢頭 尚之
(74)【代理人】
【識別番号】100219542
【弁理士】
【氏名又は名称】大宅 郁治
(72)【発明者】
【氏名】代工 康宏
【テーマコード(参考)】
2H042
【Fターム(参考)】
2H042BA20
2H042CA13
2H042DA22
(57)【要約】
【課題】 観察者による空中像へのタッチ操作をより正確に検知することが可能な空中表示装置を提供する。
【解決手段】 空中表示装置は、画像を表示する表示素子20と、表示素子20からの光を受けるように配置され、表示素子20からの光を、表示素子20と反対側に反射し、空中に空中像を結像する光学素子40と、空中像と重なる空間領域に検知領域を形成し、検知領域内の対象物を検知するセンシング素子50とを含む。検知領域は、第1及び第2空中像にそれぞれ対応した第1及び第2検知領域を含む。第1検知領域は、複数の第1部分領域を含み、第2検知領域は、複数の第2部分領域を含む。センシング素子50は、オンした第1部分領域の数と、オンした第2部分領域の数との関係に基づいて、第1及び第2空中像のどちらがタッチされたかを判定する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
画像を表示する表示素子と、
前記表示素子からの光を受けるように配置され、前記表示素子からの光を、前記表示素子と反対側に反射し、空中に空中像を結像する光学素子と、
前記空中像と重なる空間領域に検知領域を形成し、前記検知領域内の対象物を検知するセンシング素子と、
を具備し、
前記空中像は、第1方向に沿って配置された第1及び第2空中像を含み、
前記検知領域は、前記第1及び第2空中像にそれぞれ対応した第1及び第2検知領域を含み、
前記第1検知領域は、それぞれが前記第1方向に直交する第2方向に延び、前記第1方向に並んだ複数の第1部分領域を含み、
前記第2検知領域は、それぞれが前記第2方向に延び、前記第1方向に並んだ複数の第2部分領域を含み、
前記センシング素子は、前記複数の第1部分領域のうちオンした第1部分領域の数と、前記複数の第2部分領域のうちオンした第2部分領域の数との関係に基づいて、前記第1及び第2空中像のどちらがタッチされたかを判定する
空中表示装置。
【請求項2】
前記複数の第1部分領域のうちオンした第1部分領域の数をm、前記複数の第2部分領域のうちオンした第2部分領域の数をnとすると、
前記センシング素子は、m>nである場合に、前記第1空中像がタッチされたと判定し、m<nである場合に、前記第2空中像がタッチされたと判定する
請求項1に記載の空中表示装置。
【請求項3】
前記センシング素子は、m=nである場合、タッチ操作が無いと判定する
請求項2に記載の空中表示装置。
【請求項4】
前記表示素子は、前記センシング素子によりm=nであると判定された場合、前記第1及び第2空中像を点滅させる
請求項2に記載の空中表示装置。
【請求項5】
前記表示素子は、前記センシング素子によりm=nであると判定された場合、前記第1及び第2空中像を拡大する
請求項2に記載の空中表示装置。
【請求項6】
前記センシング素子は、m=nである場合、一定時間だけ待機し、前記一定時間が経過した後、数mと数nとの大小関係を判定する
請求項2に記載の空中表示装置。
【請求項7】
前記センシング素子は、前記検知領域に向けて光を発光する発光部と、前記対象物で反射された反射光を受光する受光部とを含む
請求項1に記載の空中表示装置。
【請求項8】
前記光学素子は、平面状の基材と、前記基材の下に設けられ、それぞれが前記第1方向に延び、前記第2方向に並んだ複数の光学要素とを含み、
前記複数の光学要素の各々は、前記基材の法線方向に対してそれぞれが傾き、互いに接する入射面及び反射面を有する
請求項1に記載の空中表示装置。
【請求項9】
前記表示素子と前記光学素子との間に配置され、前記表示素子からの光のうち斜め方向の光成分を透過する配向制御素子をさらに具備する
請求項1に記載の空中表示装置。
【請求項10】
前記配向制御素子は、交互に配置された複数の透明部材及び複数の遮光部材を含み、
前記複数の遮光部材は、前記配向制御素子の法線に対して傾いている
請求項9に記載の空中表示装置。
【請求項11】
前記表示素子及び前記光学素子は、互いに平行に配置される
請求項1に記載の空中表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、空中表示装置に関する。
【背景技術】
【0002】
画像や動画などを空中像として表示可能な空中表示装置が研究され、新しいヒューマン・マシン・インターフェースとして期待されている。空中表示装置は、例えば、2面コーナーリフレクタがアレイ状に配列された2面コーナーリフレクタアレイを備え、表示素子の表示面から出射される光を反射し、空中に実像を結像する。2面コーナーリフレクタアレイによる表示方法は、収差が無く、面対称位置に実像(空中像)を表示することができる。
【0003】
特許文献1は、透明平板の表面から突出した透明な四角柱を2面コーナーリフレクタとして使用し、複数の四角柱を平面上にアレイ状に配置した光学素子を開示している。また、特許文献2は、第1及び第2光制御パネルの各々を、透明平板の内部に垂直に複数の平面光反射部を並べて形成し、第1及び第2光制御パネルを、互いの平面光反射部が直交するように配置した光学素子を開示している。特許文献1、2の光学素子は、表示素子から出射された光を直交する反射面で2回反射させ、空中像を生成している。
【0004】
観察者は、機器に接触することなく、空中表示装置が表示した空中像をタッチすることが可能である。空中表示装置が備えるセンシング素子は、空中像の領域に存在する物体を検知し、観察者が空中像をタッチしたことを認識する。
【0005】
空中表示装置に対して観察者の視点が移動した場合に、視点の移動に合わせて空中像が移動する場合がある。この場合、空中像と、空中像を検知するための検知領域とがずれてしまう。この場合、センシング素子は、観察者が目標とする空中像とは異なる空中像がタッチされたと認識してしまう可能性がある。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2011-191404号公報
【特許文献2】特開2011-175297号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、観察者による空中像へのタッチ操作をより正確に検知することが可能な空中表示装置を提供する。
【課題を解決するための手段】
【0008】
本発明の第1態様によると、画像を表示する表示素子と、前記表示素子からの光を受けるように配置され、前記表示素子からの光を、前記表示素子と反対側に反射し、空中に空中像を結像する光学素子と、前記空中像と重なる空間領域に検知領域を形成し、前記検知領域内の対象物を検知するセンシング素子とを具備し、前記空中像は、第1方向に沿って配置された第1及び第2空中像を含み、前記検知領域は、前記第1及び第2空中像にそれぞれ対応した第1及び第2検知領域を含み、前記第1検知領域は、それぞれが前記第1方向に直交する第2方向に延び、前記第1方向に並んだ複数の第1部分領域を含み、前記第2検知領域は、それぞれが前記第2方向に延び、前記第1方向に並んだ複数の第2部分領域を含み、前記センシング素子は、前記複数の第1部分領域のうちオンした第1部分領域の数と、前記複数の第2部分領域のうちオンした第2部分領域の数との関係に基づいて、前記第1及び第2空中像のどちらがタッチされたかを判定する、空中表示装置が提供される。
【0009】
本発明の第2態様によると、前記複数の第1部分領域のうちオンした第1部分領域の数をm、前記複数の第2部分領域のうちオンした第2部分領域の数をnとすると、前記センシング素子は、m>nである場合に、前記第1空中像がタッチされたと判定し、m<nである場合に、前記第2空中像がタッチされたと判定する、第1態様に係る空中表示装置が提供される。
【0010】
本発明の第3態様によると、前記センシング素子は、m=nである場合、タッチ操作が無いと判定する、第2態様に係る空中表示装置が提供される。
【0011】
本発明の第4態様によると、前記表示素子は、前記センシング素子によりm=nであると判定された場合、前記第1及び第2空中像を点滅させる、第2態様に係る空中表示装置が提供される。
【0012】
本発明の第5態様によると、前記表示素子は、前記センシング素子によりm=nであると判定された場合、前記第1及び第2空中像を拡大する、第2態様に係る空中表示装置が提供される。
【0013】
本発明の第6態様によると、前記センシング素子は、m=nである場合、一定時間だけ待機し、前記一定時間が経過した後、数mと数nとの大小関係を判定する、第2態様に係る空中表示装置が提供される。
【0014】
本発明の第7態様によると、前記センシング素子は、前記検知領域に向けて光を発光する発光部と、前記対象物で反射された反射光を受光する受光部とを含む、第1態様に係る空中表示装置が提供される。
【0015】
本発明の第8態様によると、前記光学素子は、平面状の基材と、前記基材の下に設けられ、それぞれが前記第1方向に延び、前記第2方向に並んだ複数の光学要素とを含み、前記複数の光学要素の各々は、前記基材の法線方向に対してそれぞれが傾き、互いに接する入射面及び反射面を有する、第1態様に係る空中表示装置が提供される。
【0016】
本発明の第9態様によると、前記表示素子と前記光学素子との間に配置され、前記表示素子からの光のうち斜め方向の光成分を透過する配向制御素子をさらに具備する、第1態様に係る空中表示装置が提供される。
【0017】
本発明の第10態様によると、前記配向制御素子は、交互に配置された複数の透明部材及び複数の遮光部材を含み、前記複数の遮光部材は、前記配向制御素子の法線に対して傾いている、第9態様に係る空中表示装置が提供される。
【0018】
本発明の第11態様によると、前記表示素子及び前記光学素子は、互いに平行に配置される、第1態様に係る空中表示装置が提供される。
【発明の効果】
【0019】
本発明によれば、観察者による空中像へのタッチ操作をより正確に検知することが可能な空中表示装置を提供することができる。
【図面の簡単な説明】
【0020】
【
図1】
図1は、本発明の第1実施形態に係る空中表示装置の斜視図である。
【
図2】
図2は、
図1に示した空中表示装置のXZ面における側面図である。
【
図3】
図3は、空中表示装置の外観を説明する斜視図である。
【
図7】
図7は、光学素子における光の反射の様子を説明する斜視図である。
【
図8】
図8は、光学素子における光の反射の様子を説明するXZ面の側面図である。
【
図9】
図9は、光学素子における光の反射の様子を説明するYZ面の側面図である。
【
図10】
図10は、光学素子における入射面43及び反射面44の角度条件を説明する図である。
【
図11】
図11は、観察者が空中像をタッチする様子を説明する図である。
【
図12】
図12は、観察者が視点を上下に動かした場合の空中像の様子を説明する図である。
【
図13】
図13は、空中表示装置が表示する空中像の一例を説明する図である。
【
図14】
図14は、センシング素子が形成する検知領域の一例を説明する図である。
【
図15】
図15は、一部の検知領域の詳細な構成を説明する図である。
【
図16】
図16は、センシング素子による検知動作を説明する模式図である。
【
図17】
図17は、空中表示装置における全体動作を説明するフローチャートである。
【
図18】
図18は、本発明の第2実施形態に係る空中表示装置における全体動作を説明するフローチャートである。
【
図19】
図19は、本発明の第3実施形態に係る空中表示装置における全体動作を説明するフローチャートである。
【発明を実施するための形態】
【0021】
以下、実施形態について図面を参照して説明する。ただし、図面は模式的または概念的なものであり、各図面の寸法および比率等は必ずしも現実のものと同一とは限らない。また、図面の相互間で同じ部分を表す場合においても、互いの寸法の関係や比率が異なって表される場合もある。特に、以下に示す幾つかの実施形態は、本発明の技術思想を具体化するための装置および方法を例示したものであって、構成部品の形状、構造、配置等によって、本発明の技術思想が特定されるものではない。なお、以下の説明において、同一の機能及び構成を有する要素については同一符号を付し、重複する説明は省略する。
【0022】
[1] 第1実施形態
[1-1] 空中表示装置1の構成
図1は、本発明の第1実施形態に係る空中表示装置1の斜視図である。
図1において、X方向は、空中表示装置1のある1辺に沿った方向であり、Y方向は、水平面内においてX方向に直交する方向であり、Z方向は、XY面に直交する方向(法線方向ともいう)である。
図2は、
図1に示した空中表示装置1のXZ面における側面図である。
図3は、空中表示装置1の外観を説明する斜視図である。
【0023】
空中表示装置1は、画像(動画を含む)を表示する装置である。空中表示装置1は、自身の光出射面の上方の空中に、空中像を表示する。空中表示装置1の光出射面とは、空中表示装置1を構成しかつ光路上に配置された複数の部材のうち最上層に配置された部材の上面を意味する。空中像とは、空中に結像する実像である。
【0024】
空中表示装置1は、照明素子(バックライトともいう)10、表示素子20、配向制御素子30、光学素子40、センシング素子50、及び筐体60を備える。照明素子10、表示素子20、配向制御素子30、及び光学素子40は、この順にZ方向に沿って配置され、互いに平行に配置される。照明素子10、表示素子20、配向制御素子30、及び光学素子40は、互いに特定の間隔を空けるようにして、図示せぬ固定部材で特定の位置に固定される。
【0025】
照明素子10は、照明光を発光し、この照明光を表示素子20に向けて出射する。照明素子10は、光源部11、導光板12、及び反射シート13を備える。照明素子10は、例えばサイドライト型の照明素子である。照明素子10は、面光源を構成する。照明素子10は、後述する角度θ1の斜め方向に光強度がピークになるように構成してもよい。
【0026】
光源部11は、導光板12の側面に向き合うように配置される。光源部11は、導光板12の側面に向けて光を発光する。光源部11は、例えば白色LED(Light Emitting Diode)からなる複数の発光素子を含む。導光板12は、光源部11からの照明光を導光し、照明光を自身の上面から出射する。反射シート13は、導光板12の底面から出射した照明光を、再び導光板12に向けて反射する。照明素子10は、導光板12の上面に、光学特性を向上させる部材(プリズムシート、及び拡散シートを含む)を備えていてもよい。
【0027】
表示素子20は、透過型の表示素子である。表示素子20は、例えば液晶表示素子で構成される。表示素子20の駆動モードについては特に限定されず、TN(Twisted Nematic)モード、VA(Vertical Alignment)モード、又はホモジニアスモードなどを用いることができる。表示素子20は、照明素子10から出射された照明光を受ける。表示素子20は、照明素子10からの照明光を透過して光変調を行う。そして、表示素子20は、自身の画面に特定の画像を表示する。
【0028】
配向制御素子30は、不要光を低減する機能を有する。不要光とは、空中像を生成するのに寄与しない光成分であり、法線方向に光学素子40を透過する光成分を含む。配向制御素子30は、法線方向に対して角度θ1の斜め方向を中心として所定の角度範囲の光成分を透過するとともに、上記角度範囲以外の光成分を遮光するように構成される。配向制御素子30の面積は、表示素子20の面積以上に設定される。配向制御素子30の詳細な構成については後述する。
【0029】
光学素子40は、底面側から入射した光を上面側に反射する。また、光学素子40は、底面側から斜めに入射した入射光を、例えば正面方向(法線方向)に反射する。光学素子40の面積は、表示素子20の面積以上に設定される。光学素子40の詳細な構成については後述する。光学素子40は、空中に空中像2を結像する。空中像2は、光学素子40の素子面に平行であり、2次元の画像である。素子面とは、光学素子40が面内方向に広がる仮想的な平面を言う。素子面は、面内と同じ意味である。その他の素子の素子面についても同様の意味である。光学素子40の正面にいる観察者3は、空中像2を視認することができる。
【0030】
センシング素子50は、光学素子40の上方かつ空中表示装置1の一側部に配置される。センシング素子50は、例えば、空中像2とおおよそ同じレベルに配置される。センシング素子50は、センシング素子50から出射される光が空中像2を斜めに横切るように、空中像2より下方に配置してもよい。センシング素子50は、図示せぬ固定部材で特定の位置に固定される。
【0031】
センシング素子50は、空中表示装置1が生成した空中像2の一部又は全部を含む2次元の空間領域に、検知領域53を形成する。センシング素子50は、検知領域53に存在する対象物(物体)を検知する。センシング素子50は、検知領域53に赤外光を出射し、対象物で反射された反射光を検知する。センシング素子50は、検知領域53に向けて赤外光を発光する発光部と、対象物で反射された反射光を検知する受光部(センサ)とを含む。センシング素子50は、例えば、複数の発光素子と複数の受光素子とが交互に一列に並んだラインセンサで構成される。ラインセンサは、赤外光を用いてライン状に空間をスキャンすることが可能であり、複数の発光素子が並んだ方向と光が進む方向とからなる2次元の空間をスキャンすることが可能である。センシング素子50が出射する赤外光の方向は、適宜設定可能である。
【0032】
筐体60は、照明素子10、表示素子20、配向制御素子30、光学素子40、及びセンシング素子50を収容する。筐体60は、上部に光学素子40を露出する開口部を有する。また、筐体60の一側部には、センシング素子50が取り付けられる。センシング素子50は、筐体60に収容されず、筐体60の外の任意の位置に配置してもよい。センシング素子50は、検知動作に最適な箇所に配置することが可能である。
【0033】
[1-1-1] 配向制御素子30の構成
図4Aは、
図1に示した配向制御素子30の平面図である。
図4Bは、
図4AのA-A´線に沿った配向制御素子30の断面図である。
【0034】
基材31は、XY面において平面状に構成され、直方体を有する。基材31は、光を透過する。
【0035】
基材31上には、それぞれがY方向に延び、X方向に並んだ複数の透明部材33が設けられる。また、基材31上には、それぞれがY方向に延び、X方向に並んだ複数の遮光部材34が設けられる。複数の透明部材33と複数の遮光部材34とは、隣接するもの同士が接するようにして交互に配置される。
【0036】
複数の透明部材33及び複数の遮光部材34上には、基材32が設けられる。基材32は、XY面において平面状に構成され、直方体を有する。基材32は、光を透過する。
【0037】
透明部材33は、XZ面において、基材31の法線方向に対して角度θ1の斜め方向に延びる。透明部材33は、XZ面において、側面が角度θ1だけ傾いた平行四辺形である。透明部材33は、光を透過する。
【0038】
遮光部材34は、XZ面において、基材31の法線方向に対して角度θ1の斜め方向に延びる。遮光部材34は、XZ面において、側面が角度θ1だけ傾いた平行四辺形である。遮光部材34は、光を遮光する。遮光部材34の厚みは、透明部材33の厚みより薄く設定される。
【0039】
隣接する2個の遮光部材34は、Z方向において互いの端部が若干重なるように配置される。
【0040】
基材31、32、及び透明部材33としては、ガラス、又は透明な樹脂(アクリル樹脂を含む)が用いられる。遮光部材34としては、例えば、黒色の染料又は顔料が混入された樹脂が用いられる。
【0041】
なお、基材31、32の一方又は両方を省略して、配向制御素子30を構成してもよい。複数の透明部材33と複数の遮光部材34とが交互に配置されていれば、配向制御素子30の機能を実現できる。
【0042】
このように構成された配向制御素子30は、法線方向に対して角度θ1の斜め方向の光強度がピークになるように、表示光を透過することができる。例えば、配向制御素子30は、法線方向に対して30°±30°の範囲以外の光成分を遮光するように構成される。望ましくは、配向制御素子30は、法線方向に対して30°±20°の範囲以外の光成分を遮光するように構成される。
【0043】
なお、変形例として、配向制御素子30は、照明素子10と表示素子20との間に配置してもよい。また、配向制御素子30を省略して、空中表示装置1を構成してもよい。
【0044】
[1-1-2] 光学素子40の構成
図5は、
図1に示した光学素子40の斜視図である。
図5には、光学素子40の一部を拡大した拡大図も図示している。
図5の拡大図は、XZ面における側面図である。
【0045】
光学素子40は、基材41、及び複数の光学要素42を備える。基材41は、XY面において平面状に構成され、直方体を有する。
【0046】
基材41の底面には、複数の光学要素42が設けられる。複数の光学要素42の各々は、三角柱で構成される。光学要素42は、三角柱の3個の側面がXY面と平行になるように配置され、1つの側面が基材41に接する。複数の光学要素42は、それぞれがY方向に延び、X方向に並んで配置される。換言すると、複数の光学要素42は、XZ面において鋸歯状を有する。
【0047】
複数の光学要素42の各々は、入射面43及び反射面44を有する。Y方向から見て、左側の側面が入射面43であり、右側の側面が反射面44である。入射面43は、表示素子20からの光が入射する面である。反射面44は、入射面43に外部から入射した光を、光学要素42の内部で反射する面である。入射面43と反射面44とは、角度θpを有する。
【0048】
基材41及び光学要素42は、透明材料で構成される。光学要素42は、例えば、基材41と同じ透明材料によって基材41と一体的に形成される。基材41と光学要素42とを個別に形成し、透明な接着材を用いて基材41に光学要素42を接着してもよい。基材41及び光学要素42を構成する透明材料としては、ガラス、又は透明な樹脂(アクリル樹脂を含む)が用いられる。
【0049】
このように構成された光学素子40は、入射光を内部で反射して、空中に実像を結像する。また、光学素子40は、素子面の正面の位置に、空中像2を結像する。
【0050】
[1-1-3] 空中表示装置1のブロック構成
図6は、空中表示装置1のブロック図である。空中表示装置1は、制御部70、記憶部71、入出力インターフェース(入出力IF)72、表示部73、センシング素子50、及び入力部74を備える。制御部70、記憶部71、及び入出力インターフェース72は、バス75を介して互いに接続される。
【0051】
入出力インターフェース72は、表示部73、センシング素子50、及び入力部74に接続される。入出力インターフェース72は、表示部73、センシング素子50、及び入力部74のそれぞれに対して、所定の規格に応じたインターフェース処理を行う。
【0052】
表示部73は、照明素子10、及び表示素子20を備える。表示部73は、画像を表示する。
【0053】
センシング素子50は、発光部51、及び受光部52を備える。発光部51は、検知領域に向けて赤外光を発光する。受光部52は、対象物で反射された反射光を検知する。
【0054】
制御部70は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の1つ以上のプロセッサにより構成される。制御部70は、記憶部71に格納されたプログラムを実行することで各種機能を実現する。制御部70は、表示処理部70A、情報処理部70B、及び検知位置算出部70Cを備える。
【0055】
表示処理部70Aは、表示部73(具体的には、照明素子10、及び表示素子20)の動作を制御する。表示処理部70Aは、照明素子10のオン及びオフを制御する。表示処理部70Aは、表示素子20に画像信号を送信し、表示素子20に画像を表示させる。
【0056】
情報処理部70Bは、空中表示装置1が表示する画像を生成する。情報処理部70Bは、記憶部71に格納された画像データを用いることが可能である。情報処理部70Bは、図示せぬ通信機能を用いて外部から画像データを取得してもよい。
【0057】
検知位置算出部70Cは、センシング素子50の動作を制御する。検知位置算出部70Cは、センシング素子50に含まれる発光部51が赤外光を出射するように制御し、所定の空間領域に赤外光からなる検知領域を形成する。検知位置算出部70Cは、センシング素子50に含まれる受光部52から送られる複数の検知信号に基づいて、対象物の位置を算出する。
【0058】
記憶部71は、ROM(Read Only Memory)、HDD(Hard Disk Drive)、及びSSD(Solid State Drive)等の不揮発性記憶装置と、RAM(Random Access Memory)、及びレジスタ等の揮発性記憶装置とを含む。記憶部71は、制御部70が実行するプログラムを格納する。記憶部71は、制御部70の制御に必要な各種データを格納する。記憶部71は、空中表示装置1が表示する画像のデータを格納する。
【0059】
入力部74は、例えばタッチパネルやボタンなどを含み、ユーザが入力した情報を受け付ける。情報処理部70Bは、入力部74が受け付けた情報に基づいて、表示部73に表示する画像を選択することが可能である。
【0060】
[1-2] 空中表示装置1の動作
次に、上記のように構成された空中表示装置1の動作について説明する。
【0061】
図2の矢印は、光路を示している。
図2に示すように、表示素子20の任意の点“o”から出射された光は、配向制御素子30に入射する。表示素子20から出射された光のうち角度θ
1の光成分(角度θ
1を中心とした所定の角度範囲の光成分を含む)は、配向制御素子30を透過する。配向制御素子30を透過した光は、光学素子40に入射する。光学素子40は、入射光を、配向制御素子30と反対側に反射し、空中に空中像2を結像する。
【0062】
図7は、光学素子40における光の反射の様子を説明する斜視図である。
図8は、光学素子40における光の反射の様子を説明するXZ面の側面図である。
図8は、観察者3の両目(すなわち、両目を結ぶ線)がX方向に平行な状態で光学素子40を見た図である。
図9は、光学素子40における光の反射の様子を説明するYZ面の側面図である。
図9は、観察者3の両目がY方向に平行な状態で光学素子40を見た図である。
【0063】
表示素子20の任意の点“o”から出射された光は、光学素子40の入射面43に入射し、反射面44に到達する。反射面44の法線方向に対して臨界角よりも大きい角度で反射面44に到達した光は、反射面44で全反射され、光学素子40の光学要素42が形成されている側と反対側の平面から出射される。臨界角とは、その入射角を超えると全反射する最少の入射角である。臨界角は、入射面の垂線に対する角度である。
【0064】
図8のXZ面では、点“o”から出射された光は、光学要素42の反射面44で全反射され、その光は空中で結像されて空中像を生成する。
【0065】
図9のYZ面では、点“o”から出射された光は、光学要素42の反射面44で反射されず、その光は空中で結像することがないため空中像の生成に寄与しない。
【0066】
すなわち、観察者3が空中像を視認できる条件は、観察者3の両眼がX方向に平行、又はそれに近い状態(例えばX方向に対して±10度)である。また、観察者3の両眼がX方向に平行、又はそれに近い状態でY方向に沿って視点を移動した場合、空中像を常に認識することができる。
【0067】
図10は、光学素子40における入射面43及び反射面44の角度条件を説明する図である。
【0068】
Z方向(素子面に垂直な方向)に対する入射面43の角度をθ2、Z方向に対する反射面44の角度をθ3、入射面43と反射面44とのなす角度をθpとする。角度をθpは、以下の式(1)で表される。
θp=θ2+θ3 ・・・(1)
【0069】
配向制御素子30から角度θ1で出射された光は、入射面43に入射する。光学素子40の材料の屈折率をnp、空気の屈折率を1とする。入射面43における入射角をθ4、屈折角をθ5とする。反射面44における入射角をθ6、反射角をθ7(=θ6)とする。光学素子40の上面における入射角をθ8、屈折角をθ9とする。屈折角θ9が出射角である。出射角θ9は、以下の式(2)で表される。
θ9=sin-1(np*sin(sin-1((1/np)*sin(90°-(θ1+θ2)))+θ2+2θ3-90°)) ・・・(2)
【0070】
反射面44における臨界角は、以下の式(3)で表される。
臨界角<θ6(=θ7)
臨界角=sin-1(1/np) ・・・(3)
【0071】
すなわち、反射面44における入射角θ6は、反射面44における臨界角より大きく設定される。換言すると、反射面44の角度θ3は、反射面44に入射する光の入射角が臨界角より大きくなるように設定される。
【0072】
また、入射面43に入射した光は、入射面43で全反射されないように設定される。すなわち、入射面43の角度θ2は、入射面43に入射する光の入射角が臨界角より小さくなるように設定される。
【0073】
光学素子40の素子面と空中像2の面との角度、及び光学素子40の素子面と空中像2の面との距離は、光学素子40に入射する光の角度θ1、光学素子40の屈折率、光学素子40の入射面43の角度θ2、光学素子40の反射面44の角度θ3を最適に設定することで調整が可能である。
【0074】
[1-3] 対象物の検知動作
次に、対象物の検知動作について説明する。
【0075】
図11は、観察者3が空中像2をタッチする様子を説明する図である。
図11において、Y方向が鉛直方向(地面に直交する方向)であり、X方向が水平方向(地面に平行な方向)であり、Z方向が観察者3の正面方向(視線に平行な方向)である。観察者3の上下方向は、Y方向に沿った方向である。
【0076】
空中表示装置1は、空中に空中像2A、2Bを結像する。空中像2A、2Bは、例えば、四角形の押しボタンである。空中像2A、2Bは、互いに異なる2次元の空間領域に表示される。
【0077】
センシング素子50は、制御部70の制御に基づいて、空中像2A、2Bにおおよそ重なる領域にそれぞれ、検知領域53A、53Bを形成する。検知領域53A、53Bは、赤外光で形成される。空中像の形状は、空中表示装置1が表示する画像として予め決められており、空中像の形状に関する情報は、空中表示装置1が表示する画像の情報に関連付けて、記憶部71に格納されている。空中像2Aが占める領域は、検知領域53Aとして設定され、検知領域53Aの情報は、記憶部71に格納されている。同様に、複数の空中像の各々について、検知領域が設定される。
【0078】
観察者3は、自身の指3Aで空中像2A又は空中像2Bをタッチする。センシング素子50は、制御部70の制御に基づいて、検知領域53A又は検知領域53Bに存在する観察者3の指3Aを検知する。具体的には、検知位置算出部70Cは、センシング素子50の受光部52から送られる信号に基づいて、対象物の位置を算出する。検知位置算出部70Cは、算出した位置が例えば検知領域53Aに存在する場合、空中像2Aがタッチされたと判定する。
【0079】
図12は、観察者3が視点を上下に動かした場合の空中像の様子を説明する図である。観察者3が空中表示装置1の正面から上側に視点を移動した場合、観察者3が視認する空中像2A、2Bも上側に移動する。
図12は、空中像2A、2Bが上側に移動した場合を例示している。観察者3が空中表示装置1の正面から下側に視点を移動した場合、観察者3が視認する空中像2A、2Bも下側に移動する。
【0080】
一方、検知領域53A又は検知領域53Bの情報は、表示する空中像に基づいて制御部70により予め管理されており、検知領域53A又は検知領域53Bは、常に同じ位置に設定される。よって、観察者3から見て、空中像2A、2Bと検知領域53A、53Bとがそれぞれずれる場合がある。
【0081】
図13は、空中表示装置1が表示する空中像の一例を説明する図である。空中表示装置1は、4個の空中像2A~2Dを表示する。空中像2A~2Dの各々は、例えば、四角形の押しボタンである。空中像2A~2Dは、四角形に配置される。空中像2A~2Dは、例えば、互いに異なる色に着色される。
【0082】
図14は、センシング素子50が形成する検知領域の一例を説明する図である。センシング素子50は、4個の空中像2A~2Dにそれぞれ対応する4個の検知領域53A~53Dを形成する。検知領域53Aの外形は、空中像2Aと同じ形状を有する。検知領域53Aは、平面視において、空中像2Aと重なるように配置されるとともに、空中像2Aとおおよそ同じレベルに配置される。検知領域53B~53Dの構成も、検知領域53Aと同様である。
【0083】
図15は、一部の検知領域(検知領域53A、53B)の詳細な構成を説明する図である。検知領域53Aは、それぞれがX方向に延び、Y方向に並んだ複数の検知部分領域54Aを備える。複数の検知部分領域54Aの各々は、長方形を有する。検知部分領域54Aの幅(Y方向の長さ)は、適宜設定可能であり、より狭い方が望ましい。隣接する検知部分領域54Aの間隔は、適宜設定可能であり、より狭い方が望ましい。センシング素子50は、検知部分領域54Aごとに、対象物を検知することが可能である。同様に、検知領域53Bは、複数の検知部分領域54Bを備える。検知領域53C、53Dの構成も、検知領域53Aと同様である。検知領域53A~53Dに含まれる検知部分領域の幅及び間隔はそれぞれ同じである。
【0084】
図16は、センシング素子50による検知動作を説明する模式図である。
図16には、2個の検知領域53A、53Bを示している。
図16は、検知領域53A、53Bを観察者3と反対側(空中表示装置1側)から見た図である。
【0085】
観察者3の指3Aが検知領域53A、53Bの間の領域を含むようにして検知領域53A、53Bの両方に存在しているものとする。検知領域53Aにおいて、m本の検知部分領域54Aがオンしている。検知領域53Bにおいて、n本の検知部分領域54Bがオンしている。“検知部分領域がオン”とは、検知部分領域が対象物を検知している状態をいう。mは、0以上かつ全検知部分領域54Aの数以下である。nは、0以上かつ全検知部分領域54Bの数以下である。
【0086】
センシング素子50は、対象物を以下のように判定する。
・「m>n」の場合は、空中像2Aがタッチされている。「m>n」は、対象物のうち検知領域53Aに存在する領域が、検知領域53Bに存在する領域より大きいことを意味する。
・「m<n」の場合は、空中像2Bがタッチされている。「m<n」は、対象物のうち検知領域53Bに存在する領域が、検知領域53Aに存在する領域より大きいことを意味する。
・「m=n」の場合は、タッチ操作が無いと判定する。
【0087】
このような対象物の判定処理により、観察者3のタッチ操作をより正確に判定できる。
【0088】
[1-4] 全体動作の流れ
次に、空中表示装置1における全体動作の流れについて説明する。
図17は、空中表示装置1における全体動作を説明するフローチャートである。以下の説明では、
図16に対応した動作について説明する。すなわち、空中表示装置1は、2個の空中像2A、2Bを表示するとともに、2個の検知領域53A、53Bを形成するものとする。
【0089】
制御部70は、空中像2A、2Bを表示する(ステップS100)。表示処理部70Aは、表示素子20の画面に画像を表示させる。光学素子40は、表示素子20からの光を反射し、空中に空中像2A、2Bを結像する。
【0090】
続いて、センシング素子50は、センシング動作を実行する(ステップS101)。センシング素子50に含まれる発光部51は、空中像2A、2Bが表示された領域を含む検知領域53A、53Bに、赤外光を出射する。
【0091】
続いて、センシング素子50は、検知領域53A、53B内に対象物が存在するか否かを監視している(ステップS102)。すなわち、センシング素子50に含まれる受光部52は、対象物で反射された赤外光を監視している。
【0092】
センシング素子50が対象物を検知した場合(S102=Yes)、検知位置算出部70Cは、センシング素子50により検知された信号に基づいて、オンしている検知部分領域の数を判定する(ステップS103)。具体的には、検知位置算出部70Cは、検知領域53Aに含まれる全ての検知部分領域54Aのうちオンしている検知部分領域54Aの数mと、検知領域53Bに含まれる全ての検知部分領域54Bのうちオンしている検知部分領域54Bの数nとの関係を判定する。検知位置算出部70Cは、数mと数nとを比較し、数mと数nとの大小関係を判定する。
【0093】
「m>n」である場合(ステップS104=Yes)、検知位置算出部70Cは、第1空中像(空中像2Aに対応する)がタッチされたと判定する(ステップS105)。
【0094】
「m<n」である場合(ステップS106=Yes)、検知位置算出部70Cは、第2空中像(空中像2Bに対応する)がタッチされたと判定する(ステップS107)。
【0095】
「m=n」である場合(ステップS106=No)、検知位置算出部70Cは、観察者3によるタッチ操作が無いと判定する(ステップS108)。
【0096】
このようにして、観察者3による空中像2へのタッチ操作が検知される。その後、空中表示装置1は、観察者3のタッチ操作に応じた動作を実行する。
【0097】
[1-5] 第1実施形態の効果
第1実施形態では、ある空中像2に対応して検知領域53を形成し、この検知領域53を、複数のライン状の検知部分領域54で構成する。そして、対象物によりオンした検知部分領域54の数に応じて、観察者3のタッチ操作を判定するようにしている。これにより、隣接する2個の検知領域53の両方に対象物が存在する場合でも、観察者3が目標とする空中像2へのタッチ操作を認識することができる。ひいては、観察者3による空中像2へのタッチ操作をより正確に検知することが可能な空中表示装置1を実現できる。
【0098】
また、空中表示装置1は、表示素子20から出射された光を光学素子40で反射させることで、空中に空中像2を表示することができる。また、空中表示装置1は、その正面方向において、光学素子40の素子面に平行に空中像2を表示することができる。また、表示品質を向上させることが可能な空中表示装置1を実現できる。
【0099】
また、観察者3の両眼がX方向(すなわち、複数の光学要素42が並ぶ方向)に平行、又はそれに近い状態で光学素子40を見た場合に、観察者3は、空中像を視認することができる。また、観察者3の両眼がX方向に平行、又はそれに近い状態でY方向に沿って視点を移動した場合、空中像を常に視認することができる。また、観察者3の両眼がX方向に平行、又はそれに近い状態において、より広い視野角を実現できる。
【0100】
また、空中表示装置1を構成する複数の素子を平行に配置することができる。これにより、Z方向に小型化が可能な空中表示装置1を実現できる。
【0101】
[2] 第2実施形態
第2実施形態は、オンしている検知部分領域54Aの数mと、オンしている検知部分領域54Bの数nとが同じである場合、2個の空中像2A、2Bのどちらをタッチしているか判定できないことを観察者3に認識させるようにしている。
【0102】
図18は、本発明の第2実施形態に係る空中表示装置1における全体動作を説明するフローチャートである。ステップS100~S107までの動作は、第1実施形態と同じである。
【0103】
「m=n」である場合(ステップS106=No)、制御部70は、第1及び第2空中像(空中像2A、2B)を点滅させる(ステップS200)。具体的には、表示処理部70Aは、表示素子20の画像を点滅させる。光学素子40は、点滅した第1及び第2空中像(空中像2A、2B)を結像する。この動作は、第1及び第2空中像のどちらがタッチされたか判定できないことを観察者3に認識させることが可能である。この動作により、観察者3が指3Aを目標の空中像にずらすように促すことが可能である。
【0104】
続いて、ステップS103に移行する。その後、「m>n」であるか、又は「m<n」であるかが判定される。
【0105】
第2実施形態によれば、観察者3のタッチ操作をより正確に判定できる。その他の効果は、第1実施形態と同じである。
【0106】
なお、変形例として、対象の2個の空中像を点滅させる動作に替えて、対象の2個の空中像を所定の割合だけ拡大するようにしてもよい。
【0107】
[3] 第3実施形態
第3実施形態は、オンしている検知部分領域54Aの数mと、オンしている検知部分領域54Bの数nとが同じである場合、タッチ操作の判断を一定時間だけ待機するようにしている。
【0108】
図19は、本発明の第3実施形態に係る空中表示装置1における全体動作を説明するフローチャートである。ステップS100~S107までの動作は、第1実施形態と同じである。
【0109】
「m=n」である場合(ステップS106=No)、検知位置算出部70Cは、一定時間だけ待機する(ステップS201)。この動作は、第1及び第2空中像のどちらがタッチされたか判定できないことを観察者3に認識させることが可能である。この動作により、観察者3が指3Aを目標の空中像にずらすように促すことが可能である。
【0110】
続いて、ステップS103に移行する。その後、「m>n」であるか、又は「m<n」であるかが判定される。
【0111】
第3実施形態によれば、観察者3のタッチ操作をより正確に判定できる。その他の効果は、第1実施形態と同じである。
【0112】
[4] 変形例
上記実施形態では、観察者3の上下方向(Y方向)に隣接する2個の空中像のどちらがタッチされたかを判定するようにしている。しかし、これに限定されず、X方向に隣接する2個の空中像についても、検知部分領域の数に応じてどちらがタッチされたかを判定するようにしてもよい。
【0113】
上記実施形態では、表示素子20と光学素子40とを平行に配置している。しかし、これに限定されず、光学素子40に対して表示素子20を斜めに配置してもよい。表示素子20と光学素子40との角度は、0度より大きく45度より小さい範囲に設定される。この変形例では、配向制御素子30を省略できる。
【0114】
上記実施形態で説明した光学素子40に限定されず、他の種類の結像素子を用いることも可能である。例えば、2面コーナーリフレクタがアレイ状に配列された2面コーナーリフレクタアレイで光学素子40を構成してもよい。2面コーナーリフレクタアレイを用いた場合は、面対称の位置に空中像が結像される。
【0115】
上記実施形態では、光学要素42の左側の側面が入射面43、右側の側面が反射面44として定義している。しかし、これに限定されず、入射面43と反射面44とを逆に構成してもよい。この場合、実施形態で説明した空中表示装置1の作用も左右が逆になる。
【0116】
上記実施形態では、表示素子20として液晶表示素子を例に挙げて説明しているが、これに限定されるものではない。表示素子20は、自発光型である有機EL(electroluminescence)表示素子、又はマイクロLED(Light Emitting Diode)表示素子などを用いることも可能である。マイクロLED表示素子は、画素を構成するR(赤)、G(緑)、B(青)をそれぞれLEDで発光させる表示素子である。自発光型の表示素子20を用いる場合、照明素子10は不要である。
【0117】
本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【0118】
1…空中表示装置、2…空中像、3…観察者、10…照明素子、11…光源部、12…導光板、13…反射シート、20…表示素子、30…配向制御素子、31…基材、32…基材、33…透明部材、34…遮光部材、40…光学素子、41…基材、42…光学要素、43…入射面、44…反射面、50…センシング素子、51…発光部、52…受光部、53…検知領域、54…検知部分領域、60…筐体、70…制御部、70A…表示処理部、70B…情報処理部、70C…検知位置算出部、71…記憶部、72…入出力インターフェース、73…表示部、74…入力部、75…バス。