特開 2023-168064 空中操作装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023168064

(43)【公開日】2023-11-24

(54)【発明の名称】空中操作装置

(51)【国際特許分類】

   G06F 3/042 20060101AFI20231116BHJP

   G06F 3/041 20060101ALI20231116BHJP

   G09G 5/00 20060101ALI20231116BHJP

【ＦＩ】

G06F3/042 481

G06F3/041 580

G09G5/00 510A

G09G5/00 550C

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022079694

(22)【出願日】2022-05-13

(71)【出願人】

【識別番号】000148689

【氏名又は名称】株式会社村上開明堂

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100182006

【弁理士】

【氏名又は名称】湯本 譲司

(72)【発明者】

【氏名】宮城 幸子

(72)【発明者】

【氏名】松村 智美

(72)【発明者】

【氏名】江川 泰三郎

【テーマコード（参考）】

5C182

【Ｆターム（参考）】

5C182AA03

5C182AA05

5C182AC02

5C182AC03

5C182BA28

5C182BA29

5C182BA39

5C182BA54

5C182BA56

5C182BA65

5C182BA75

5C182BB02

5C182BB11

5C182CA32

(57)【要約】

【課題】多数のボタンを表示するための空中結像デバイス、及び多数のボタンを表示するための表示装置を備える場合でも筐体の大型化を抑制し、薄型化を実現させることができる空中操作装置を提供する。
【解決手段】一実施形態に係る空中操作装置１において、複数の空中結像デバイス１４は、第１表示装置１５Ａからの光Ｌ１を受けて第１ボタン１１Ａ付きの第１表示面１０Ａを表示する第１空中結像デバイス１４Ａ、及び第２表示装置１５Ｂからの光Ｌ２を受けて第２ボタン１１Ｂ付きの第２表示面１０Ｂを表示する第２空中結像デバイス１４Ｂを含んでいる。１つのセンサ３が、第１表示面１０Ａに対象物Ｆが位置していること、及び第２表示面１０Ｂに対象物Ｆが位置していることを検出する。複数の表示装置１５が第３方向Ｄ３に沿って並んで配置されており、複数の空中結像デバイス１４が第３方向Ｄ３に沿って並んで配置されている。
【選択図】図２

【特許請求の範囲】

【請求項1】

光を照射して情報を表示する複数の表示装置と、
複数の前記表示装置を収容する筐体と、
前記筐体に取り付けられており、各前記表示装置からの光を複数回反射させて空中像としてボタン付きの表示面を表示する複数の空中結像デバイスと、
前記ボタンに接近する対象物の位置を検出するセンサと、
を備えた空中操作装置であって、
前記センサによって検出された対象物の位置に基づいて、前記ボタンが押されたか否かを認識する認識部と、
前記認識部によって前記ボタンが押されたと認識されたときに、前記空中操作装置の外部の機器に制御信号を出力して前記機器の動作を制御する信号出力部と、
を備え、
複数の前記表示装置は、第１表示装置及び第２表示装置を含んでおり、
複数の前記空中結像デバイスは、前記第１表示装置からの光を受けて第１ボタン付きの第１表示面を表示する第１空中結像デバイス、及び前記第２表示装置からの光を受けて第２ボタン付きの第２表示面を表示する第２空中結像デバイスを含んでおり、
１つの前記センサが、前記第１表示面に前記対象物が位置していること、及び前記第２表示面に前記対象物が位置していることを検出し、
複数の前記表示装置が所定方向に沿って並んで配置されており、
複数の前記空中結像デバイスが前記所定方向に沿って並んで配置されている、
空中操作装置。

【請求項2】

前記第１表示装置は、前記第２表示装置よりも上方に配置されており、
前記第１空中結像デバイスは、前記第２空中結像デバイスよりも上方に配置されており、
前記第１表示装置と前記第１空中結像デバイスとが成す角度は、前記第２表示装置と前記第２空中結像デバイスとが成す角度よりも小さい、
請求項１に記載の空中操作装置。

【請求項3】

前記第１表示面及び前記第２表示面を視認する視認者の目が位置するアイポイントを検出するアイポイント検出部と、
前記アイポイント検出部によって検出されたアイポイントの位置に応じて、前記第１表示装置と前記第１空中結像デバイスとが成す角度、及び前記第２表示装置と前記第２空中結像デバイスとが成す角度、の少なくともいずれかを変更する角度変更機構と、
を備える、
請求項１又は２に記載の空中操作装置。

【請求項4】

前記認識部は、
前記センサによって検出された対象物が前記ボタンの位置であると認識したときに前記信号出力部による前記制御信号の出力を抑制するように前記ボタンを無効とし、
前記センサによって検出された対象物が前記ボタンから離れることを認識したときに前記信号出力部による前記制御信号の出力を許容するように前記ボタンを有効とする、
請求項１又は２に記載の空中操作装置。

【請求項5】

前記ボタンが押されたか否かを前記表示面を視認する視認者に通知する通知部を備え、
前記通知部は、前記ボタンが押されたと前記認識部が認識したときに、前記表示装置を制御して押された前記ボタンの表示態様を変更する、
請求項１又は２に記載の空中操作装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、空中操作装置に関する。

【背景技術】

【0002】

特開２０２０－１６０９０３号公報には、表示・入力装置が記載されている。表示・入力装置は、複数のセンサのそれぞれに割り当てられたボタンの機能を象徴するマークを表示させる制御部を備える。複数のセンサは、磁気型センサ、光電形センサ、又は感熱形センサである。

【0003】

特開２０１６－９５６３５号公報には、ＴＯＦ方式が用いられている位置入力部を備えた空中タッチパネルが記載されている。位置入力部は第１のモードと第２のモードとを有する。第１のモードでは第１空間の画像の手の位置を認識し、第２のモードでは第２空間の操作面の手の位置を認識する。１つのセンサが複数の画面上の指等の位置を認識する。

【0004】

特開２０１８－９７３８８号公報には、ＴＯＦセンサを用いて２つの空中画像を押すことが可能な入力デバイスが記載されている。この入力デバイスでは、１つのセンサが複数の画面上の指等の位置を検出する。

【0005】

特開２０１９－１０５７２６号公報には、一方向に並ぶ複数の表示部と、位置検出部とを有する空中映像表示装置が記載されている。位置検出部として、ＴＯＦで観察者の位置を検出するセンサが設けられる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２０－１６０９０３号公報

【特許文献2】特開２０１６－９５６３５号公報

【特許文献3】特開２０１８－９７３８８号公報

【特許文献4】特開２０１９－１０５７２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

前述したように、空中像としてボタン付きの表示面が表示され、ボタンに接近する手等の位置がセンサによって検出される空中操作装置では、表示するボタンの数が増加すると、表示装置の面積が増加する。表示するボタンの数が増えると、それに伴い対となるセンサの数も増える。空中操作装置では、空中結像デバイスと表示装置が筐体の厚さ方向に並ぶように配置されるので、厚さ方向に筐体が大型化する。本開示は、多数のボタンを表示するための空中結像デバイス、及び多数のボタンを表示するための表示装置を備える場合でも筐体の大型化を抑制し、薄型化を実現させることができる空中操作装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

（１）本開示に係る空中操作装置は、光を照射して情報を表示する複数の表示装置と、複数の表示装置を収容する筐体と、筐体に取り付けられており、各表示装置からの光を複数回反射させて空中像としてボタン付きの表示面を表示する複数の空中結像デバイスと、ボタンに接近する対象物の位置を検出するセンサと、を備えた空中操作装置である。空中操作装置は、センサによって検出された対象物の位置に基づいて、ボタンが押されたか否かを認識する認識部と、認識部によってボタンが押されたと認識されたときに、空中操作装置の外部の機器に制御信号を出力して機器の動作を制御する信号出力部と、を備える。複数の表示装置は、第１表示装置及び第２表示装置を含んでいる。複数の空中結像デバイスは、第１表示装置からの光を受けて第１ボタン付きの第１表示面を表示する第１空中結像デバイス、及び第２表示装置からの光を受けて第２ボタン付きの第２表示面を表示する第２空中結像デバイスを含んでいる。１つのセンサが、第１表示面に対象物が位置していること、及び第２表示面に対象物が位置していることを検出する。複数の表示装置が所定方向に沿って並んで配置されており、複数の空中結像デバイスが所定方向に沿って並んで配置されている。

【0009】

この空中操作装置では、複数の表示装置が第１表示装置及び第２表示装置を含んでいる。複数の空中結像デバイスは、第１表示装置からの光を受けて第１ボタン付きの第１表示面を表示する第１空中結像デバイスと、第２表示装置からの光を受けて第２ボタン付きの第２表示面を表示する第２空中結像デバイスとを含んでいる。そして、第１表示面に指等の対象物が位置していること、及び第２表示面に対象物が位置していることが１つのセンサによって検出される。従って、１つのセンサが複数の表示面のそれぞれへの対象物の接近を検出するので、センサの数を低減させることができ、その結果、簡易な構成の空中操作装置とすることができる。また、複数の表示装置が所定方向に沿って並んでおり、複数の空中結像デバイスも当該所定方向に沿って並んでいる。従って、複数の表示装置、及び複数の空中結像デバイスが互いに同一の所定方向に沿って並んでいるので、当該所定方向に交差する方向への筐体の厚さが肥大化することを抑制できる。よって、複数の空中結像デバイス、及び複数の表示装置を備える場合でも筐体の大型化を抑制すると共に薄型化を実現させることができる。

【0010】

（２）上記（１）において、第１表示装置は、第２表示装置よりも上方に配置されており、第１空中結像デバイスは、第２空中結像デバイスよりも上方に配置されていてもよい。第１表示装置と第１空中結像デバイスとが成す角度は、第２表示装置と第２空中結像デバイスとが成す角度よりも小さくてもよい。この場合、下側に位置する第２表示装置と第２空中結像デバイスとが成す角度が、上側に位置する第１表示装置と第１空中結像デバイスとが成す角度より大きい。従って、上側に位置する第１表示面と比較して下側に位置する第２表示面がより上側を向くように表示される。すなわち、上側に位置する第１表示面が横向きに表示されるのに対し、下側に位置する第２表示面が上向きに表示される。従って、筐体の斜め上方から上側に位置する第１表示面、及び下側に位置する第２表示面を視認しやすくすることができるので、複数の空中像の視認性を向上させることができる。

【0011】

（３）上記（１）又は（２）において、空中操作装置は、第１表示面及び第２表示面を視認する視認者の目が位置するアイポイントを検出するアイポイント検出部と、アイポイント検出部によって検出されたアイポイントの位置に応じて、第１表示装置と第１空中結像デバイスとが成す角度、及び第２表示装置と第２空中結像デバイスとが成す角度、の少なくともいずれかを変更する角度変更機構と、を備えてもよい。この場合、アイポイント検出部によって検出された視認者の目の位置に応じて第１表示装置と第１空中結像デバイスとが成す角度、及び第２表示装置と第２空中結像デバイスとが成す角度、の少なくともいずれかが変更される。従って、視認者の目の位置に応じて第１表示面又は第２表示面の向きが変わるので、第１表示面及び第２表示面の視認性を一層向上させることができる。

【0012】

（４）上記（１）～（３）のいずれかにおいて、認識部は、センサによって検出された対象物がボタンの位置であると認識したときに信号出力部による制御信号の出力を抑制するようにボタンを無効とし、センサによって検出された対象物がボタンから離れることを認識したときに信号出力部による制御信号の出力を許容するようにボタンを有効としてもよい。この場合、認識部は、対象物がボタンの位置にあるときに複数のボタンを無効にする。従って、ボタンが押されたタイミングで複数のボタンを無効にすることにより、意図しないボタンが反応して意図しない動作が生じることを抑制することができる。また、認識部は、対象物がボタンから離れるときに、信号出力部による制御信号の出力を許容するように当該ボタンを有効とする。従って、対象物がボタンから離れるタイミングで当該ボタンを有効にすることにより、意図したボタンのみを反応させて意図した動作を実現させることができる。よって、誤動作を抑制することができると共に、ボタンの操作性を向上させることができる。

【0013】

（５）上記（１）～（４）のいずれかにおいて、空中操作装置は、ボタンが押されたか否かを表示面を視認する視認者に通知する通知部を備えてもよい。通知部は、ボタンが押されたと認識部が認識したときに、表示装置を制御して押されたボタンの表示態様を変更してもよい。この場合、ボタンが押されたと認識部によって認識されたときに、通知部はボタンの表示態様を変更することによって視認者にボタンが押されたことを通知する。従って、視認者はボタンが押されたことを表示態様の変更によって容易に把握できるので、ボタンの操作性を向上させることができる。

【発明の効果】

【0014】

本開示によれば、多数のボタンを表示するための空中結像デバイス、及び多数のボタンを表示するための表示装置を備える場合でも筐体の大型化を抑制し、薄型化を実現させることができる。

【図面の簡単な説明】

【0015】

【図1】実施形態に係る空中操作装置を示す斜視図である。

【図2】実施形態に係る空中操作装置の内部構造を模式的に示す縦断面図である。

【図3】実施形態に係る空中操作装置の機能構成を示すブロック図である。

【図4】空中操作装置によって表示される表示面のボタンを押そうとする対象物が第１位置にある場合、及び第２位置にある場合、のそれぞれのボタンの表示態様を模式的に示す図である。

【図5】ボタンの外縁の内側、外縁、及び外縁の外側の例を説明する図である。

【図6】ボタンと認識部との関係の例を示すブロック図である。

【図7】実施形態に係る空中操作装置におけるボタンの認識方法の工程の例を示すフローチャートである。

【図8】第１変形例に係る空中操作装置の内部構造を模式的に示す縦断面図である。

【図9】第２変形例に係る空中操作装置の内部構造を模式的に示す縦断面図である。

【図10】第２変形例に係る空中操作装置の機能構成を示すブロック図である。

【図11】（ａ）は、第２変形例に係る空中操作装置の表示装置及び空中結像デバイスを模式的に示す図である。（ｂ）は、第３変形例に係る空中操作装置の表示装置及び空中結像デバイスを模式的に示す図である。

【図12】第４変形例に係る空中操作装置を示す斜視図である。

【発明を実施するための形態】

【0016】

以下では、図面を参照しながら本開示に係る空中操作装置の実施形態について説明する。図面の説明において同一又は相当する要素には同一の符号を付し、重複する説明を適宜省略する。また、図面は、理解の容易化のため、一部を簡略化又は誇張して描いている場合があり、寸法、比率及び角度等は図面に記載のものに限定されない。

【0017】

図１は、本実施形態に係る空中操作装置１を示す斜視図である。例えば、空中操作装置１は、空中操作装置１の外部の機器を操作可能な操作入力装置である。一例として、空中操作装置１は、現金自動預け払い機（ＡＴＭ：Automated Teller Machine）に付属して設けられる。

【0018】

図２は、空中操作装置１の内部構造を模式的に示す縦断面図である。図１及び図２に示されるように、一例としての空中操作装置１は、矩形状を呈する。空中操作装置１は、第１方向Ｄ１、第２方向Ｄ２及び第３方向Ｄ３に延在する。第１方向Ｄ１は空中操作装置１に対面する視認者Ｍ（空中操作装置１の使用者）から見て左右方向に相当し、第２方向Ｄ２は空中操作装置１の奥行方向に相当する。第３方向Ｄ３は空中操作装置１の高さ方向に相当する。

【0019】

一例として、空中操作装置１の第３方向Ｄ３への長さ（高さ）は、空中操作装置１の第１方向Ｄ１への長さ、及び空中操作装置１の第２方向Ｄ２への長さよりも長い。空中操作装置１の第１方向Ｄ１への長さは、空中操作装置１の第２方向Ｄ２への長さよりも長い。本実施形態に係る空中操作装置１では、第２方向Ｄ２への長さを低減して空中操作装置１の厚さの肥大化を抑制している。

【0020】

以降では、説明の便宜のため、空中操作装置１から見て視認者Ｍ側に向けられる方向を前、前側又は前方、空中操作装置１から見て視認者Ｍの反対側に向けられる方向を後、後側又は後方と称することがある。しかしながら、これらの方向は、説明の便宜上のものであり、部品の配置位置等を限定するものではない。

【0021】

空中操作装置１は、空中操作装置１の外面を構成する筐体２を備える。筐体２は、例えば、鉛直上方を向く上面２ｂと、第１方向Ｄ１に沿って並ぶ一対の側面２ｃと、第２方向Ｄ２の一方側（前側）を向く前面２ｄと、第２方向Ｄ２の他方側（後側）を向く背面２ｆとを有する。例えば、筐体２は、前面２ｄから前方に突出する突出部２ｇを有する。突出部２ｇは、前面２ｄから前方に延在する上面２ｈと、上面２ｈの第１方向Ｄ１の端部から下方に延在する側面２ｊと、上面２ｈの前端から下方に延在する前面２ｋとを有する。

【0022】

前面２ｄは、例えば、後に詳述する空中結像デバイス１４が露出する開口２ｐを有する。開口２ｐは、例えば、第１方向Ｄ１に沿って延びる長辺、及び第３方向Ｄ３に沿って延びる短辺を有する長方形状を呈する。筐体２は、例えば、複数の開口２ｐを有し、複数の開口２ｐは第３方向Ｄ３に沿って並んでいる。一例として、開口２ｐの数は４である。

【0023】

空中操作装置１は、空中にボタン１１付きの表示面１０を表示する。ボタン１１付きの表示面１０は、空中に浮き出るように表示される空中浮遊像である。すなわち、ボタン１１付きの表示面１０は、空中像として表示される。よって、空中操作装置１の視認者Ｍは、直接タッチパネル等に触れなくても済むため衛生的に空中操作装置１の外部の機器（例えばＡＴＭ）を操作することが可能となる。

【0024】

例えば、表示面１０は、複数のボタン１１を備えており、視認者Ｍが複数のボタン１１を操作することによって空中操作装置１の外部の機器を操作することが可能である。空中操作装置１は対象物Ｆを検出するセンサ３を有し、例えば、センサ３は筐体２に埋め込まれている。本開示において、「対象物」とは、ボタンを操作して空中操作装置の外部の機器を動作させるものを示しており、例えば、視認者Ｍの指を示している。

【0025】

例えば、空中操作装置１は、複数の空中結像デバイス１４と、複数の表示装置１５と、複数のセンサ３と、制御部２０とを備える。各空中結像デバイス１４及び各表示装置１５は、例えば、側面視（第１方向Ｄ１から見た場合）において、板状を呈する。空中結像デバイス１４及び表示装置１５によって空中像表示部１７が構成される。空中結像デバイス１４は、例えば、筐体２の開口２ｐに固定されている再帰反射部材（再起反射鏡）である。

【0026】

表示装置１５は、空中結像デバイス１４に対して斜めに配置されている。一例として、空中結像デバイス１４は第３方向Ｄ３に沿って延びるように配置されており、表示装置１５は、その上端から斜め後方に延びるように配置されている。表示装置１５の上端は空中結像デバイス１４に近接しており、下方に向かうに従って空中結像デバイス１４と表示装置１５との距離が長くなっている。

【0027】

表示装置１５は、一例として、液晶ディスプレイ（ＬＣＤ）である。表示装置１５は、筐体２に収容されており、筐体２の内部における空中結像デバイス１４の後方に配置されている。表示装置１５は、画像を表示するスクリーンを有する。表示装置１５のスクリーンは、例えば、空中結像デバイス１４に向けて斜め下方に画像としての光Ｌを照射する。空中結像デバイス１４は、表示装置１５からの光Ｌを空中結像デバイス１４の内部において複数回（例えば２回）反射し、視認者Ｍから見て空中結像デバイス１４よりも手前側の空間に表示面１０を結像する。

【0028】

空中操作装置１は、空中結像デバイス１４及び表示装置１５を含む複数の空中像表示部１７を有する。複数の空中像表示部１７は、第３方向Ｄ３（所定方向）に沿って並んでいる。各空中像表示部１７が表示面１０を表示する。例えば、第３方向Ｄ３に沿って並ぶ複数の空中像表示部１７によって複数のボタン１１からなるテンキーが表示される。空中像表示部１７は、表示面１０において複数のボタン１１が第１方向Ｄ１に沿って並ぶように複数のボタン１１を表示する。一例として、ボタン１１の数は１２である。

【0029】

一例として、最上段の空中像表示部１７が「１」、「２」、「３」という数字のボタン１１を表示し、上から２段目の空中像表示部１７が「４」、「５」、「６」という数字のボタン１１を表示する。上から３段目の空中像表示部１７が「７」、「８」、「９」という数字のボタン１１を表示し、最下段の空中像表示部１７が「＊」、「０」、「＃」という数字又は記号のボタン１１を表示する。

【0030】

センサ３は、例えば、第３方向Ｄ３に沿って並ぶ複数のボタン１１の組Ｃに対応して設けられており、複数のボタン１１がセンサ３の上方に表示される。複数の表示装置１５は、例えば、第１表示装置１５Ａ及び第２表示装置１５Ｂを含んでおり、複数の空中結像デバイス１４は第１空中結像デバイス１４Ａ及び第２空中結像デバイス１４Ｂを含んでいる。

【0031】

第１空中結像デバイス１４Ａは第２空中結像デバイス１４Ｂよりも上方に配置されており、第１表示装置１５Ａは第２表示装置１５Ｂよりも上方に配置されている。第１空中結像デバイス１４Ａは、第１表示装置１５Ａからの光Ｌ１を受けて第１ボタン１１Ａ付きの第１表示面１０Ａを表示する。第２空中結像デバイス１４Ｂは、第２表示装置１５Ｂからの光Ｌ２を受けて第２ボタン１１Ｂ付きの第２表示面１０Ｂを表示する。第１表示面１０Ａ及び第２表示面１０Ｂは複数の表示面１０に含まれる表示面であり、第１ボタン１１Ａ及び第２ボタン１１Ｂは複数のボタン１１に含まれるボタンである。

【0032】

一例として、第１表示面１０Ａは最上段の表示面１０であり、第２表示面１０Ｂは上から２段目の表示面１０である。例えば、第１ボタン１１Ａは数字の「１」であり、第２ボタン１１Ｂは数字の「４」である。しかしながら、第１表示面１０Ａ及び第２表示面１０Ｂは上下に並んでいればよく、第１表示面１０Ａの位置、及び第２表示面１０Ｂの位置は、最上段及び上から２段目に限定されない。第１ボタン１１Ａ及び第２ボタン１１Ｂも上下に並んでいればよく、数字の「１」及び数字の「４」に限定されない。

【0033】

空中操作装置１では、１つのセンサ３が、第１表示面１０Ａに対象物Ｆが位置していること、及び第２表示面１０Ｂに対象物Ｆが位置していることを検出する。センサ３は、例えば、上方に位置する組Ｃの複数のボタン１１のいずれかに対象物Ｆが位置していることを検出してもよい。一例として、センサ３は、上方に位置する組Ｃの４つのボタン１１のいずれかに対象物Ｆが位置するか否かを検出する。

【0034】

例えば、第１のセンサ３Ａは、数字の「１」のボタン１１、数字の「４」のボタン１１、数字の「７」のボタン１１、及び記号「＊」のボタン１１、のいずれかに対象物Ｆが位置するか否かを検出する。第２のセンサ３Ｂは、数字の「２」のボタン１１、数字の「５」のボタン１１、数字の「８」のボタン１１、及び数字の「０」のボタン１１、のいずれかに対象物Ｆが位置するか否かを検出する。第３のセンサ３Ｃは、数字の「３」のボタン１１、数字の「６」のボタン１１、数字の「９」のボタン１１、及び記号「＃」のボタン１１、のいずれかに対象物Ｆが位置するか否かを検出する。

【0035】

センサ３は、例えば、筐体２の突出部２ｇの上面２ｈに配置されている。センサ３は上面２ｈにおいて露出している。一例として、センサ３は深度センサである。例えば、センサ３は、ボタン１１の中央から下方に延びる仮想直線Ｘ上、すなわち、空中像であるボタン１１の下方に設けられる。センサ３は、例えば、仮想直線Ｘに対して交差する面における対象物Ｆの位置（２次元位置）の情報と、センサ３から対象物Ｆまでの距離の情報とを含む距離画像データを取得する。

【0036】

センサ３は、例えば、距離画像データを取得する。センサ３は、例えば、取得した距離画像データを所定の周期（例えば１／３０秒）で制御部２０に出力する。具体例として、センサ３は、対象物Ｆを含む撮影領域内に存在する物体上の各点に光線（又は赤外線）を照射し、物体上の各点から反射した光線を受光する。そして、センサ３は、受光した光線に基づいてセンサ３と物体上の各点との距離を測定し、測定した距離を画素毎に出力する。センサ３と物体上の各点との距離は、例えばＬｉｇｈｔ Ｃｏｄｉｎｇ方式によって測定されてもよい。

【0037】

Ｌｉｇｈｔ Ｃｏｄｉｎｇ方式では、センサ３は、対象物Ｆを含む撮影領域内に存在する物体上の各点にランダムドットパターンで光線を照射する。そして、センサ３は、物体上の各点から反射した光線を受光し、反射した光線のパターンの歪みを検出することによって、センサ３と物体上の各点との距離を測定する。センサ３は、物体上の各点の２次元位置の情報と、センサ３から物体上の各点までの距離の情報とを複数の画素として検出し、検出した複数の画素を制御部２０に出力する。

【0038】

制御部２０は、センサ３及び表示装置１５のそれぞれと通信可能とされている。制御部２０は、例えば、プログラムを実行するＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read OnlyMemory）及びＲＡＭ（Random Access Memory）を含む記憶部と、入出力部と、ドライバとを含む。制御部２０の各機能は、ＣＰＵの制御の下で入出力部を動作させ、記憶部におけるデータの読み出し又は書き込みを行うことによって実現される。一例として、制御部２０は、複数の表示装置１５の下方に配置されている。しかしながら、制御部２０の形態及び配置場所については特に限定されない。

【0039】

図３は、制御部２０の機能ブロック図である。図３に示されるように、制御部２０は、機能的構成要素として、画像出力部２１と、対象物検出部２２と、位置検出部２３と、認識部２４と、信号出力部２５と、通知部２６とを有する。画像出力部２１は、表示装置１５に表示させる画像の画像データの制御信号を表示装置１５に出力する。

【0040】

対象物検出部２２は、センサ３から出力される検出信号（例えば、距離画像データ）に基づいて対象物Ｆを検出する。位置検出部２３は、例えば、対象物検出部２２によって検出された対象物Ｆの位置を示す位置データを生成する。位置検出部２３は、生成した位置データを認識部２４に出力する。

【0041】

認識部２４は、対象物検出部２２によって検出された対象物Ｆの位置に基づいて、対象物Ｆによってボタン１１が押されたことを認識する。図２及び図３に示されるように、例えば、認識部２４は、センサ３と対象物Ｆとの距離が第１距離Ｋ１となったときに第１ボタン１１Ａが押されたと認識し、センサ３と対象物Ｆとの距離が第１距離Ｋ１よりも短い第２距離Ｋ２となったときに第２ボタン１１Ｂが押されたと認識する。

【0042】

また、センサ３は、第１ボタン１１Ａと仮想直線Ｘとの交点Ｑ１に位置する仮想の第１検出部３ｄ、及び第２ボタン１１Ｂと仮想直線Ｘとの交点Ｑ２に位置する仮想の第２検出部３ｆを有していてもよい。例えば、第１検出部３ｄは第１ボタン１１Ａの中心と仮想直線Ｘとの交点Ｑ１に位置しており、第２検出部３ｆは第２ボタン１１Ｂの中心と仮想直線Ｘとの交点Ｑ２に位置する。この場合、認識部２４は、対象物Ｆが第１検出部３ｄに到達したときに第１ボタン１１Ａが押されたと認識し、対象物Ｆが第２検出部３ｆに到達したときに第２ボタン１１Ｂが押されたと認識する。例えば、第１検出部３ｄは第１ボタン１１Ａの中心に位置しており、第２検出部３ｆは第２ボタン１１Ｂの中心に位置している。

【0043】

信号出力部２５は、第１ボタン１１Ａ又は第２ボタン１１Ｂを含むボタン１１が押されたと認識部２４が認識したときに、ボタン１１の押下操作に基づく制御信号を生成する。信号出力部２５は、生成した制御信号を空中操作装置１の外部の機器に出力する。信号出力部２５は、制御信号を空中操作装置１の外部の機器に出力することによって当該機器を動作させる。

【0044】

通知部２６は、ボタン１１が押されたと認識部２４が認識したときに認識部２４から操作信号を受信する。通知部２６は、ボタン１１が押されたと認識部２４が認識したときに、ボタン１１が押されたことを視認者Ｍに通知する通知手段である。通知部２６は、例えば、音声出力部２６ｂと、色彩変更部２６ｃとを有する。

【0045】

一例として、音声出力部２６ｂはスピーカであり、認識部２４から操作信号を受信したときに音声を出力する。音声出力部２６ｂからの音声を視認者Ｍが聞くことにより、視認者Ｍはボタン１１が操作されたことを把握可能となる。色彩変更部２６ｃは、例えば、認識部２４から操作信号を受信したときに色彩変更信号を生成し、色彩変更信号を押されたボタン１１を表示している表示装置１５に出力する。

【0046】

色彩変更信号を受信した表示装置１５は、例えば、視認者Ｍが押したボタン１１の色彩を変更する。押したボタン１１の色彩が変更されたことを視認者Ｍが視認することにより、視認者Ｍがボタン１１を押すことができたことを把握可能となる。なお、表示装置１５は、色彩変更部２６ｃから色彩変更信号を受信したときに、ボタン１１以外の箇所の色彩を変更してもよい。

【0047】

以上の通知部２６を備えることにより、視認者Ｍはボタン１１が押されたことを把握できる。しかしながら、音声出力部２６ｂ及び色彩変更部２６ｃの少なくともいずれかが省略されてもよい。また、通知部２６は、音声出力部２６ｂによる音声出力、又は色彩変更部２６ｃによる色彩変更、とは異なる態様でボタン１１が押されたことを視認者Ｍに通知してもよい。

【0048】

図４に示されるように、例えば、センサ３は、表示面１０よりも視認者Ｍ寄りの第１位置Ｓ１、及び表示面１０よりも視認者Ｍから離れた第２位置Ｓ２を設定してもよい。例えば、通知部２６は、センサ３によって検出された対象物Ｆの位置が第１位置Ｓ１であるときに、表示装置１５を制御して接近対象のボタン１１の表示態様を第１モードに変更する。

【0049】

「ボタンの表示態様を（第１モード又は後述する第２モードに）変更」とは、例えば、対象物Ｆの接近対象のボタン１１を他のボタン１１とは異なる色彩に変更すること、及び、対象物Ｆの接近対象のボタン１１を他のボタン１１とは異なる大きさに変更する（一例として大きくする）ことの少なくともいずれかを示している。このように接近対象のボタン１１の表示態様を通知部２６が変更することにより、視認者Ｍは自分が押そうとしているボタン１１を把握でき、安心してボタン１１の操作を行うことができる。

【0050】

センサ３によって検出された対象物Ｆの位置が第１位置Ｓ１よりも奥側（空中結像デバイス１４側）に位置する第２位置Ｓ２であると認識部２４が認識したときに信号出力部２５は空中操作装置１の外部の機器に制御信号を出力する。これにより、空中操作装置１の外部の機器が動作する。また、センサ３によって検出された対象物Ｆの位置が第２位置Ｓ２であると認識部２４が認識したときに、例えば、通知部２６は、押されたボタン１１を表示する表示装置１５を制御して当該ボタン１１の表示態様を第１モードとは異なる第２モードに変更する。

【0051】

「ボタンの表示態様を第２モードに変更」とは、例えば、接近対象のボタン１１の色彩を第１モードとは異なる色彩に変更すること、接近対象のボタン１１の大きさを第１モードとは異なる大きさに変更すること、及び、第１モードとは異なる音声を出力すること、の少なくともいずれかを示している。このように接近対象のボタン１１の表示態様を第２モードに変更することにより、狙いのボタン１１を確実に押せていることを視認者Ｍが把握できると共に機器を操作することができる。

【0052】

図５は、図４とは別の例を説明するための図である。図５に示されるように、通知部２６は、対象物Ｆが接近する表示面１０の位置に応じて視認者Ｍへの通知の内容を変更してもよい。通知部２６は、センサ３によって検出された対象物Ｆの位置がボタン１１の外縁よりも内側であると認識部２４が認識したときに、ボタン１１を表示する表示装置１５を制御して当該ボタン１１の表示態様を第１モードに変更する。

【0053】

一例として、対象物Ｆの位置がボタン１１の外縁よりも内側であると認識部２４が認識したときに、通知部２６は接近対象のボタン１１の色彩を青系色に変更してもよい。具体例として、対象物Ｆの位置が位置ａ、位置ｃ又は位置ｅであると認識されたときに、通知部２６は対象物Ｆの位置のボタン１１を青系色に変更してもよい。この場合、視認者Ｍは、正しく狙いのボタン１１を押せていることを把握できる。

【0054】

通知部２６は、センサ３によって検出された対象物Ｆの位置がボタン１１の外縁又は当該外縁よりも外側であると認識部２４が認識したときに、ボタン１１を表示する表示装置１５を制御して当該ボタン１１の表示態様を第１モードとは異なる第２モードに変更する。例えば、対象物Ｆの位置がボタン１１の外縁又は当該外縁よりも外側であると認識部２４が認識したときに、通知部２６は接近対象のボタン１１の色彩を赤系又は黄系色に変更してもよい。具体例として、対象物Ｆの位置が位置ｂ、位置ｄ又は位置ｆであると認識されたときに、通知部２６は対象物Ｆの位置のボタン１１、又は対象物Ｆから最も近い位置のボタン１１を赤系色又は黄系色に変更してもよい。この場合、視認者Ｍは、狙いのボタン１１を正しく押せていないことを把握でき、視認者Ｍに正しくボタン１１を押すように警告することができる。

【0055】

図６は、複数のボタン１１と認識部２４との関係の例を模式的に示すブロック図である。図６に示されるように、複数のボタン１１は、少なくとも１つのボタン１１を含むグループを構成してもよい。当該グループの数は、単数であってもよいし、複数であってもよい。当該グループは、同一線上でタッチできる関係にある複数のボタン１１（例えば、「１」、「４」、「７」のボタン１１、又は「１」、「２」、「３」のボタン１１）から構成されていてもよい。図６の例では、複数のボタン１１の一部であるボタン１１ａ及びボタン１１ｂを含むグループＧ１、ボタン１１ｃ、ボタン１１ｄ及びボタン１１ｅを含むグループＧ２、並びに、ボタン１１ｐを含むグループＧＸ（Ｘは３以上の自然数）が構成されている。

【0056】

図７は、以上のようにグループ分けされたボタン１１の操作を認識部２４が認識する認識方法の一例を示すフローチャートである。図６及び図７に示されるように、まず、認識部２４は、タッチされたボタン１１のグループを認識する。例えば、認識部２４は、センサ３によって検出された対象物Ｆがボタン１１ａ（又はボタン１１ｂ）の位置であるときに、グループＧ１の領域を認識する。例えば、認識部２４は、センサ３によって検出された対象物Ｆがボタン１１ａ（又はボタン１１ｂ）の位置であるときに、グループＧ１の領域を認識する。このとき、例えば、グループＧ１におけるタッチ同一線上の領域を認識する（ステップＳ１）。

【0057】

認識部２４は、センサ３によって検出された対象物ＦがグループＧ１のボタン１１ａ（又はボタン１１ｂ）の位置であると認識したときに、グループＧ１の全てのボタン１１（ボタン１１ａ及びボタン１１ｂ）を無効とする。すなわち、前述した領域にある全てのボタンを無効とする（ステップＳ２）。そして、認識部２４は、グループＧ１（例えば前述した領域）にある全てのボタン１１を（ボタン１１ａ及びボタン１１ｂ）を有効可能候補とする（ステップＳ３）。

【0058】

ところで、例えば、最初にボタン１１ａを押そうとしたが、押したときにボタン１１ｂを押したかったことに視認者Ｍが気付くことがある。そのときに、視認者Ｍは、表示面１０から指等の対象物Ｆを離さず、表示面１０に対象物Ｆを接触させたままボタン１１ｂに対象物Ｆを移動させることがあり、ボタン１１ｂから対象物Ｆを離したときに動作させるようにしたいことが考えられる。

【0059】

このとき、認識部２４は、センサ３によって検出された対象物Ｆがボタン１１ｂから離れるか否か、すなわち、対象物Ｆの位置がタッチリリース座標であるときに、信号出力部２５による制御信号の出力を許容するようにボタン１１ｂを有効とし（ステップＳ５）、一連の工程を終了する。一方、認識部２４は、センサ３によって検出された対象物Ｆがボタン１１ｂから離れることを認識しないとき、すなわち、対象物Ｆの位置がタッチリリースボタン座標でないときには、そのまま一連の工程を終了する。

【0060】

次に、本実施形態に係る空中操作装置１から得られる作用効果について説明する。図２に示されるように、空中操作装置１では、複数の表示装置１５が第１表示装置１５Ａ及び第２表示装置１５Ｂを含んでいる。複数の空中結像デバイス１４は、第１表示装置１５Ａからの光Ｌ１を受けて第１ボタン１１Ａ付きの第１表示面１０Ａを表示する第１空中結像デバイス１４Ａと、第２表示装置１５Ｂからの光Ｌ２を受けて第２ボタン１１Ｂ付きの第２表示面１０Ｂを表示する第２空中結像デバイス１４Ｂとを含んでいる。そして、第１表示面１０Ａに指等の対象物Ｆが位置していること、及び第２表示面１０Ｂに対象物Ｆが位置していることが１つのセンサ３によって検出される。従って、１つのセンサ３が複数の表示面１０のそれぞれへの対象物Ｆの接近を検出するので、センサ３の数を低減させることができ、その結果、簡易な構成の空中操作装置１とすることができる。本実施形態では、センサ３の数を、ボタン１１の数の１／４、すなわち３とすることができる。

【0061】

また、複数の表示装置１５が第３方向Ｄ３に沿って並んでおり、複数の空中結像デバイス１４も第３方向Ｄ３に沿って並んでいる。従って、複数の表示装置１５、及び複数の空中結像デバイス１４が互いに同一の方向（第３方向Ｄ３）に沿って並んでいるので、第３方向Ｄ３に交差する方向（特に第２方向Ｄ２）への筐体２の厚さが肥大化することを抑制できる。

【0062】

例えば、第３方向Ｄ３に沿って並ぶ複数のボタン１１を１つの空中結像デバイス１４及び１つの表示装置１５によって表示する場合には、空中結像デバイス１４及び表示装置１５の第３方向Ｄ３への長さが長いと共に、表示装置１５が斜め後方に大きく延在し、筐体２の第２方向Ｄ２への長さ（厚さ）が大きくなって空中操作装置１が肥大化しうる。これに対し、本実施形態のように、第３方向Ｄ３に沿って並ぶ複数のボタン１１を複数の空中結像デバイス１４のそれぞれ、及び複数の表示装置１５のそれぞれによって表示する場合には、各空中結像デバイス１４及び各表示装置１５の第３方向Ｄ３への長さを短くでき、各表示装置１５の斜め後方への長さを低減できる。従って、筐体２の第２方向Ｄ２への長さを低減できるので、筐体２の薄型化を実現させることができる。よって、複数の空中結像デバイス１４、及び複数の表示装置１５を備える場合でも筐体２の大型化を抑制すると共に薄型化を実現させることができる。

【0063】

図６及び図７に示されるように、認識部２４は、センサ３によって検出された対象物Ｆがボタン１１ａ，１１ｂの位置であると認識したときに信号出力部２５による制御信号の出力を抑制するようにボタン１１ａ，１１ｂ（例えばグループＧ１に属するボタン１１）を無効とし、センサ３によって検出された対象物Ｆがボタン１１ｂから離れることを認識したときに信号出力部２５による制御信号の出力を許容するようにボタン１１ｂを有効としてもよい。この場合、認識部２４は、対象物Ｆがボタン１１ａ，１１ｂの位置にあるときにボタン１１ａ，１１ｂを無効にする。従って、ボタン１１ａ，１１ｂが押されたタイミングでボタン１１ａ，１１ｂを無効にすることにより、意図しないボタン１１が反応して意図しない動作が生じることを抑制することができる。

【0064】

また、認識部２４は、対象物Ｆがボタン１１ｂから離れるときに、信号出力部２５による制御信号の出力を許容するようにボタン１１ｂを有効とする。従って、対象物Ｆがボタン１１ｂから離れるタイミングでボタン１１ｂを有効にすることにより、意図したボタン１１ｂのみを反応させて意図した動作を実現させることができる。よって、誤動作を抑制することができると共に、ボタン１１の操作性を向上させることができる。

【0065】

図３～図５に示されるように、空中操作装置１は、ボタン１１が押されたか否かを表示面１０を視認する視認者Ｍに通知する通知部２６を備えてもよい。通知部２６は、ボタン１１が押されたと認識部２４が認識したときに、ボタン１１を表示する表示装置１５を制御して押されたボタン１１の表示態様を変更してもよい。この場合、ボタン１１が押されたと認識部２４によって認識されたときに、通知部２６はボタン１１の表示態様を変更することによって視認者Ｍにボタン１１が押されたことを通知する。従って、視認者Ｍはボタン１１が押されたことを表示態様の変更によって容易に把握できるので、ボタン１１の操作性を向上させることができる。

【0066】

続いて、本開示に係る空中操作装置の種々の変形例について説明する。後述する各変形例に係る空中操作装置の一部の構成は、前述した空中操作装置１の一部の構成と同一であるため、以下では、空中操作装置１の構成と重複する構成の説明を適宜省略する。

【0067】

図８は、第１変形例に係る空中操作装置１Ａの筐体２Ａの縦断面を模式的に示す図である。図８に示されるように、空中操作装置１Ａは、空中操作装置１と同様、複数の空中結像デバイス１４と、複数の表示装置１５とを有する。複数の空中結像デバイス１４は、第１空中結像デバイス１４Ａと、第１空中結像デバイス１４Ａよりも下方に位置する第２空中結像デバイス１４Ｂと、第２空中結像デバイス１４Ｂよりも下方に位置する第３空中結像デバイス１４Ｃとを含む。複数の表示装置１５は、第１表示装置１５Ａと、第１表示装置１５Ａよりも下方に位置する第２表示装置１５Ｂと、第２表示装置１５Ｂよりも下方に位置する第３表示装置１５Ｃとを含む。

【0068】

第１空中結像デバイス１４Ａ及び第１表示装置１５Ａによって空中像である第１表示面１０Ａが表示され、第２空中結像デバイス１４Ｂ及び第２表示装置１５Ｂによって空中像である第２表示面１０Ｂが表示され、第３空中結像デバイス１４Ｃ及び第３表示装置１５Ｃによって空中像である第３表示面１０Ｃが表示される。例えば、第１空中結像デバイス１４Ａ、第２空中結像デバイス１４Ｂ及び第３空中結像デバイス１４Ｃのそれぞれは第３方向Ｄ３に沿って延在している。

【0069】

第１表示装置１５Ａ、第２表示装置１５Ｂ及び第３表示装置１５Ｃのそれぞれは、第１空中結像デバイス１４Ａ、第２空中結像デバイス１４Ｂ及び第３空中結像デバイス１４Ｃのそれぞれから斜め後方に延在している。第１空中結像デバイス１４Ａに対する第１表示装置１５Ａの傾斜角度θ１、第２空中結像デバイス１４Ｂに対する第２表示装置１５Ｂの傾斜角度θ２、及び第３空中結像デバイス１４Ｃに対する第３表示装置１５Ｃの傾斜角度θ３は、互いに異なっている。具体的には、傾斜角度θ１は傾斜角度θ２より小さく、傾斜角度θ３は傾斜角度θ２より大きい。

【0070】

第１表示面１０Ａは第１空中結像デバイス１４Ａに対して第１表示装置１５Ａの面対称の位置に表示され、第２表示面１０Ｂは第２空中結像デバイス１４Ｂに対して第２表示装置１５Ｂの面対称の位置に表示され、第３表示面１０Ｃは第３空中結像デバイス１４Ｃに対して第３表示装置１５Ｃの面対称の位置に表示される。これにより、第１空中結像デバイス１４Ａに対する第１表示面１０Ａの傾斜角度θ１は第２空中結像デバイス１４Ｂに対する第２表示面１０Ｂの傾斜角度θ２より小さく、第３空中結像デバイス１４Ｃに対する第３表示面１０Ｃの傾斜角度θ３は第２空中結像デバイス１４Ｂに対する第２表示面１０Ｂの傾斜角度θ２よりも大きい。よって、上段の第１表示面１０Ａの傾斜角度θ１が最も小さく、下段の第３表示面１０Ｃの傾斜角度θ３が最も大きく、中段の第２表示面１０Ｂの傾斜角度θ２は傾斜角度θ１より大きく且つ傾斜角度θ３より小さい。

【0071】

傾斜角度θ１、傾斜角度θ２及び傾斜角度θ３は、例えば、予め設定された一般的な視認者Ｍの目Ｅの位置であるアイポイントＰに基づいて設計される。この場合、アイポイントＰから第１表示面１０Ａの中心Ｏ１まで延びる仮想線Ｘ１と第１表示面１０Ａとが成す角度が直角となるように傾斜角度θ１が設定され、アイポイントＰから第２表示面１０Ｂの中心Ｏ２まで延びる仮想線Ｘ２と第２表示面１０Ｂとが成す角度が直角となるように傾斜角度θ２が設定される。そして、アイポイントＰから第３表示面１０Ｃの中心Ｏ３まで延びる仮想線Ｘ３と第３表示面１０Ｃとが成す角度が直角となるように傾斜角度θ３が設定される。

【0072】

以上、第１変形例に係る空中操作装置１Ａでは、第１表示装置１５Ａ、第２表示装置１５Ｂ、第１空中結像デバイス１４Ａ、及び第２空中結像デバイス１４Ｂは、側面視において板状を呈する。第１表示装置１５Ａは、第２表示装置１５Ｂよりも上方に配置されており、第１空中結像デバイス１４Ａは、第２空中結像デバイス１４Ｂよりも上方に配置されている。第１表示装置１５Ａと第１空中結像デバイス１４Ａとが成す傾斜角度θ１は、第２表示装置１５Ｂと第２空中結像デバイス１４Ｂとが成す傾斜角度θ２よりも小さい。

【0073】

よって、下側に位置する第２表示装置１５Ｂと第２空中結像デバイス１４Ｂとが成す傾斜角度θ２が、上側に位置する第１表示装置１５Ａと第１空中結像デバイス１４Ａとが成す傾斜角度θ１より大きい。従って、上側に位置する第１表示面１０Ａと比較して下側に位置する第２表示面１０Ｂがより上側を向くように表示される。すなわち、上側に位置する第１表示面１０Ａが横向きに表示されるのに対し、下側に位置する第２表示面１０Ｂが上向きに表示される。従って、筐体２の斜め上方から上側に位置する第１表示面１０Ａ、及び下側に位置する第２表示面１０Ｂを視認しやすくすることができるので、空中像として表示される複数の表示面１０の視認性を向上させることができる。

【0074】

続いて、第２変形例に係る空中操作装置１Ｂについて図９及び図１０を参照しながら説明する。空中操作装置１Ｂでは、第１表示装置１５Ａ、第２表示装置１５Ｂ及び第３表示装置１５Ｃのそれぞれが可動する。空中操作装置１Ｂは、視認者Ｍの目Ｅの位置をアイポイントＰとして検出するアイポイント検出部１６と、各空中結像デバイス１４に対する各表示装置１５の傾斜角度θを変更する角度変更機構３０とを備える。

【0075】

制御部２０は、角度変更機構３０に角度変更信号を出力して複数の表示装置１５のそれぞれを回転させる回転部２７を有する。アイポイント検出部１６は、筐体２に対面する目Ｅの位置をアイポイントＰとして検出する。一例として、アイポイント検出部１６はセンサ３に組み込まれていてもよく、筐体２の突出部２ｇに組み込まれた眼球位置検出センサであってもよい。アイポイント検出部１６は、視認者Ｍの目Ｅの位置を検出すると、検出信号を回転部２７に出力し、回転部２７は当該検出信号を受信すると可動信号を生成して当該可動信号を角度変更機構３０に出力する。

【0076】

角度変更機構３０は、回転部２７から可動信号を受信すると、複数の表示装置１５のそれぞれの傾斜角度θを変更する。例えば図８～図１０に示されるように、角度変更機構３０は、第１表示装置１５Ａを、アイポイントＰから第１表示面１０Ａの中心Ｏ１まで延びる仮想線Ｘ１と第１表示面１０Ａとが成す角度が直角となるように回転する。角度変更機構３０は、第２表示装置１５Ｂを、アイポイントＰから第２表示面１０Ｂの中心Ｏ２まで延びる仮想線Ｘ２と第２表示面１０Ｂとが成す角度が直角となるように回転する。角度変更機構３０は、第３表示装置１５Ｃを、アイポイントＰから第３表示面１０Ｃの中心Ｏ３まで延びる仮想線Ｘ３と第３表示面１０Ｃとが成す角度が直角となるように回転する。

【0077】

以上、第２変形例に係る空中操作装置１Ｂは、第１表示面１０Ａ及び第２表示面１０Ｂを視認する視認者Ｍの目Ｅが位置するアイポイントＰを検出するアイポイント検出部１６と、アイポイント検出部１６によって検出されたアイポイントＰの位置に応じて、第１表示装置１５Ａと第１空中結像デバイス１４Ａとが成す傾斜角度θ、及び第２表示装置１５Ｂと第２空中結像デバイス１４Ｂとが成す角度、の少なくともいずれかを変更する角度変更機構３０と、を備える。従って、アイポイント検出部１６によって検出された視認者Ｍの目Ｅの位置に応じて第１表示装置１５Ａと第１空中結像デバイス１４Ａとが成す傾斜角度θ、及び第２表示装置１５Ｂと第２空中結像デバイス１４Ｂとが成す傾斜角度θ、の少なくともいずれかが変更される。従って、視認者Ｍの目Ｅの位置に応じて第１表示面１０Ａ又は第２表示面１０Ｂの向きが変わるので、第１表示面１０Ａ及び第２表示面１０Ｂの視認性を一層向上させることができる。

【0078】

次に、図１１（ａ）及び図１１（ｂ）を参照しながら、第３変形例に係る空中操作装置１Ｃについて説明する。まず、第２変形例に係る空中操作装置１Ｂにおいて、角度変更機構３０は、表示装置１５の上側に位置しており且つ第１方向Ｄ１に延在する軸１５ｆを中心として表示装置１５を回転させる。これに対し、第３変形例に係る空中操作装置１Ｃでは、角度変更機構３０は、側面視（第１方向Ｄ１から見た場合）における表示装置１５の中央において第１方向Ｄ１に延在する軸１５ｇを中心として表示装置１５を回転させる。

【0079】

前述したように、例えば、センサ３の検出部（例えば、第１検出部３ｄ及び第２検出部３ｆ）はボタン１１の中心と仮想直線Ｘとの交点Ｑ（前述では交点Ｑ１及び交点Ｑ２）に位置する。例えば、交点Ｑは空中結像デバイス１４に対して軸１５ｇの面対称の位置に設けられる。この場合、表示装置１５が回転しても、交点Ｑの位置をずれにくくすることができるので、ボタン１１に接近する対象物Ｆのセンサ３によるセンシングの精度を高く維持することができる。すなわち、表示装置１５が回転してもセンサ３による対象物Ｆの検出精度をより安定させることができる。

【0080】

次に、第４変形例に係る空中操作装置１Ｄについて図１２を参照しながら説明する。空中操作装置１Ｄは、筐体２と、１つのセンサ３と、２つの空中結像デバイス１４とを有する。各空中結像デバイス１４は、複数のボタン１１Ｄを含む表示面１０Ｄを空中像として表示する。空中操作装置１Ｄは、前述した表示装置１５と同様、筐体２に内蔵された複数の表示装置を有し、各空中結像デバイス１４は各表示装置からの光を複数回反射させて表示面１０Ｄを表示する。前述の実施形態では、複数のボタン１１としてテンキーが表示される例について説明した。しかしながら、第４変形例では、複数のボタン１１Ｄとして方向を示す三角印が表示される。以上のように、空中像として表示されるボタン等の種類は適宜変更可能である。

【0081】

以上、本開示に係る空中操作装置の実施形態及び種々の変形例について説明した。しかしながら、本開示に係る空中操作装置は、前述した実施形態に限定されるものではなく、特許請求の範囲に記載した要旨を変更しない範囲において変形し、又は他のものに適用したものであってもよい。すなわち、空中操作装置の各部の構成、形状、大きさ、数、材料及び配置態様は、前述した要旨を変更しない範囲において適宜変更可能である。例えば、前述した実施形態及び複数の実施例の一部を、他の実施形態及び複数の実施例の他の部分に組み合わせてもよい。すなわち、本開示に係る空中操作装置は、前述した実施形態及び実施例の一部が適宜組み合わされたものであってもよい。

【0082】

例えば、前述の実施形態では、空中操作装置１がＡＴＭに付属して設けられる例について説明した。しかしながら、本開示に係る空中操作装置の操作対象となる空中操作装置の外部の機器は、ＡＴＭ以外のものであってもよい。例えば、空中操作装置の外部の機器は、機械式駐車場、コインパーキング、洗車場、又はエレベータシステムであってもよい。この場合も、空中に表示される表示面のボタンを操作することができるので、前述した実施形態及び変形例と同様の効果が得られる。

【0083】

また、空中操作装置の操作対象としての機器は、キッチン、トイレ、水回り、病院、公共機関、駅又は空港等に設けられていてもよい。例えば、キッチンに設けられる空中操作装置では、数字付きの表示面が空中像として表示されることにより、食材が付着した指等でディスプレイに直接触れなくても、料理アプリにおける数字の入力が可能となる。すなわち、従来は携帯端末等のディスプレイを触るために、わざわざ手を洗ってからディスプレイに表示される料理アプリの数字入力を行っていたが、本開示に係る空中操作装置では、ボタン付きの表示面が空中像として表示されるので、空中のボタンを操作することによって料理アプリを操作できる。従って、わざわざ手を洗わなくても料理アプリを操作できるので、操作性が高い空中操作装置とすることができる。

【0084】

例えば、ＡＴＭ、病院、公共機関、駅又は空港に設けられる空中操作装置では、ボタン付きの表示面が空中像として表示されることにより、共用のディスプレイを直接触らなくても、ＡＴＭ、又は、病院若しくは空港の受付機等への入力操作を行うことが可能である。従って、共用のディスプレイへの指の接触を不要とすることができるので、衛生的に操作を行うことができる。

【符号の説明】

【0085】

１，１Ａ，１Ｂ，１Ｃ，１Ｄ…空中操作装置、２…筐体、２ｂ…上面、２ｃ…側面、２ｄ…前面、２ｆ…背面、２ｇ…突出部、２ｈ…上面、２ｊ…側面、２ｋ…前面、２ｐ…開口、３，３Ａ，３Ｂ，３Ｃ…センサ、３ｄ…第１検出部、３ｆ…第２検出部、１０，１０Ｄ…表示面、１０Ａ…第１表示面、１０Ｂ…第２表示面、１０Ｃ…第３表示面、１１，１１ａ，１１ｂ，１１ｃ，１１ｄ，１１Ｄ，１１ｅ，１１ｐ…ボタン、１１Ａ…第１ボタン、１１Ｂ…第２ボタン、１４…空中結像デバイス、１４Ａ…第１空中結像デバイス、１４Ｂ…第２空中結像デバイス、１４Ｃ…第３空中結像デバイス、１５…表示装置、１５Ａ…第１表示装置、１５Ｂ…第２表示装置、１５Ｃ…第３表示装置、１５ｆ，１５ｇ…軸、１６…アイポイント検出部、１７…空中像表示部、２０…制御部、２１…画像出力部、２２…対象物検出部、２３…位置検出部、２４…認識部、２５…信号出力部、２６…通知部、２６ｂ…音声出力部、２６ｃ…色彩変更部、２７…回転部、３０…角度変更機構、ａ，ｂ，ｃ，ｄ，ｅ，ｆ…位置、Ｃ…組、Ｄ１…第１方向、Ｄ２…第２方向、Ｄ３…第３方向、Ｅ…目、Ｆ…対象物、Ｇ１，Ｇ２，ＧＸ…グループ、Ｋ１…第１距離、Ｋ２…第２距離、Ｌ，Ｌ１，Ｌ２…光、Ｍ…視認者（空中操作装置１の使用者）、Ｏ１，Ｏ２，Ｏ３…中心、Ｐ…アイポイント、Ｑ，Ｑ１，Ｑ２…交点、Ｓ１…第１位置、Ｓ２…第２位置、Ｘ…仮想直線、Ｘ１，Ｘ２，Ｘ３…仮想線、θ，θ１，θ２，θ３…傾斜角度。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】