(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-10
(45)【発行日】2025-02-19
(54)【発明の名称】空中操作装置
(51)【国際特許分類】
G06F 3/04817 20220101AFI20250212BHJP
G06F 3/01 20060101ALI20250212BHJP
G06F 3/04815 20220101ALI20250212BHJP
【FI】
G06F3/04817
G06F3/01 570
G06F3/04815
(21)【出願番号】P 2020198783
(22)【出願日】2020-11-30
【審査請求日】2023-11-29
(73)【特許権者】
【識別番号】000148689
【氏名又は名称】株式会社村上開明堂
(74)【代理人】
【識別番号】100088155
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100182006
【氏名又は名称】湯本 譲司
(72)【発明者】
【氏名】中山 仁
(72)【発明者】
【氏名】中島 史晴
【審査官】木内 康裕
(56)【参考文献】
【文献】特開2012-194617(JP,A)
【文献】国際公開第2016/103520(WO,A1)
【文献】特開2017-115334(JP,A)
【文献】特開2020-021296(JP,A)
【文献】特開2012-252386(JP,A)
【文献】国際公開第2020/012690(WO,A1)
【文献】特開2013-205885(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/03
G06F 3/041 - 3/04895
(57)【特許請求の範囲】
【請求項1】
光を照射して情報を表示する表示装置と、
前記表示装置からの光を複数回反射させて空中に虚像として複数のボタン付きの表示面を表示する空中結像デバイスと、
前記ボタンに接近する対象物の位置を検出するセンサと、
を備えた空中操作装置であって、
前記センサによって検出された対象物の位置に基づいて、前記ボタンが押されたか否かを認識する認識部と、
前記空中操作装置の使用者によって押された前記ボタンに応じた制御信号を前記空中操作装置の外部の機器に出力し、前記機器の動作を制御する信号出力部と、
を備え、
前記認識部は、
前記センサによって検出された対象物が前記ボタンの位置であると認識したときに前記信号出力部による前記制御信号の出力を抑制するように複数の前記ボタンを無効とし、
前記センサによって検出された対象物が前記ボタンから離れることを認識したときに前記信号出力部による前記制御信号の出力を許容するように前記ボタンを有効とし、
前記センサは、前記対象物の位置を複数回検出し、
前記信号出力部は、
前記対象物が前記ボタンから離れることを前記認識部が認識して前記ボタンを有効とし、かつ、前記表示面を挟む第1面と第2面との間に前記対象物が位置していることを前記センサが複数回検出したときにのみ、前記機器に制御信号を出力する、
空中操作装置。
【請求項2】
前記複数のボタンは、少なくとも1つの前記ボタンを含むグループを構成し、
前記認識部は、前記センサによって検出された対象物が前記グループの前記ボタンの位置であると認識したときに、前記グループの全ての前記ボタンを無効とする、
請求項1に記載の空中操作装置。
【請求項3】
前記認識部が認識したことを前記空中操作装置の使用者に通知する通知部を備え、
前記通知部は、前記表示面を挟む第1面と第2面との間に前記対象物が位置していることを前記センサが複数回検出したときに、前記ボタンが押されたことを前記使用者に通知する、
請求項1または請求項2に記載の空中操作装置。
【請求項4】
前記センサは、前記センサから前記対象物までの距離を複数回計測し、
前記信号出力部は、計測された前記センサから前記対象物までの距離の平均値が、前記センサから前記第2面までの距離以上且つ前記センサから前記第1面までの距離以下であるときにのみ、前記機器に制御信号を出力する、
請求項1から請求項3のいずれか一項に記載の空中操作装置。
【請求項5】
複数の前記センサを備え、
前記信号出力部は、複数の前記センサが前記対象物を検出したときに、前記機器に制御信号を出力しない、
請求項1から請求項4のいずれか一項に記載の空中操作装置
。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、空中に虚像として表示された表示面に対する操作が行われる空中操作装置に関する。
【背景技術】
【0002】
特開2019-109637号公報には、装置筐体と、装置筐体の内部に配置されたディスプレイと、ディスプレイの実像を装置筐体の外部の空中に結像する光学プレートと、非接触位置検出部とを備えた非接触入力装置が記載されている。非接触位置検出部は、不可視光発光素子と反射光を検出する受光素子とを備え、不可視光発光素子から出射して検出面で反射した光を受光素子で検出する。検出面は、光学プレートによって結像された空中像の像面と略平行に配置される。
【0003】
非接触入力装置は、第1検出面と、第1検出面よりも奥側に位置する第2検出面とを有する。第1検出面及び第2検出面のそれぞれには、指示物体として手指が当てられる。手指が第1検出面に当たると手指が指しているXY位置座標がポインタとして空中像に表示される。これにより、ユーザは空中像のどこの位置を指しているかを認識できる。
【0004】
手指が第2検出面に当たると、第2検出面に手指が当てられた時点が入力時とされ、その後、指示位置が第1検出面において検出された位置座標に基づいて補正される。すなわち、第2検出面に手指が当てられたときを基準としてその後の手指の位置が補正されるので、ユーザは手指の位置ずれを気にすることなく入力操作を行うことが可能となる。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
前述したように、空中像の像面に略平行に検出面を設定し、検出面において指等の対象物を検出する場合において、対象物の誤検出が問題となることがある。複数の検出面として複数のボタンが表示される場合には、押されたボタンと異なるボタンに対応する検出面が対象物を検出することによって誤動作が生じることがある。すなわち、押したボタンとは異なるボタンが反応することがある。また、空中に虚像としてボタン付きの表示面を表示する場合には、例えば使用者の衣服等、指以外のものがボタンに触れることによって意図しない動作がなされる可能性がある。このように、誤動作が生じたり、意図しない動作がなされたりする懸念がある。
【0007】
本開示は、誤動作を抑制することができる空中操作装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本開示の一側面に係る空中操作装置は、光を照射して情報を表示する表示装置と、表示装置からの光を複数回反射させて空中に虚像として複数のボタン付きの表示面を表示する空中結像デバイスと、ボタンに接近する対象物の位置を検出するセンサと、を備えた空中操作装置であって、センサによって検出された対象物の位置に基づいて、ボタンが押されたか否かを認識する認識部と、空中操作装置の使用者によって押されたボタンに応じた制御信号を空中操作装置の外部の機器に出力し、機器の動作を制御する信号出力部と、を備え、認識部は、センサによって検出された対象物がボタンの位置であると認識したときに信号出力部による制御信号の出力を抑制するように複数のボタンを無効とし、センサによって検出された対象物がボタンから離れることを認識したときに信号出力部による制御信号の出力を許容するようにボタンを有効とする。
【0009】
この空中操作装置では、空中結像デバイスが空中に虚像として複数のボタン付きの表示面を表示し、ボタンに接近する指等の対象物の位置をセンサが検出する。認識部はセンサによって検出された対象物の位置に基づいてボタンが押されたか否かを認識する。信号出力部は、押されたボタンに応じた制御信号を空中操作装置の外部の機器に出力する。認識部は、対象物がボタンの位置にあるときに複数のボタンを無効にする。従って、ボタンが押されたタイミングで複数のボタンを無効にすることにより、意図しないボタンが反応して意図しない動作が生じることを抑制することができる。また、認識部は、対象物がボタンから離れるときに、信号出力部による制御信号の出力を許容するように当該ボタンを有効とする。従って、対象物がボタンから離れるタイミングで当該ボタンを有効にすることにより、意図したボタンのみを反応させて意図した動作を実現させることができる。よって、誤動作を抑制することができると共に、ボタンの操作性を向上させることができる。
【0010】
複数のボタンは、少なくとも1つのボタンを含むグループを構成し、認識部は、センサによって検出された対象物がグループのボタンの位置であると認識したときに、グループの全てのボタンを無効としてもよい。この場合、認識部は、対象物がグループに属するボタンの位置にあるときに、当該グループの全てのボタンを無効にする。グループのボタンが押されたタイミングで当該グループに属する全てのボタンを無効にすることにより、当該グループ内における他のボタンが反応して意図しない動作が生じることを抑制できる。
【0011】
本開示の別の側面に係る空中操作装置は、光を照射して情報を表示する表示装置と、表示装置からの光を複数回反射させて空中に虚像として複数のボタン付きの表示面を表示する空中結像デバイスと、ボタンに接近する対象物の位置を検出するセンサと、を備えた空中操作装置であって、センサによって検出された対象物の位置に基づいて、ボタンが押されたか否かを認識する認識部と、空中操作装置の外部の機器に制御信号を出力して機器の動作を制御する信号出力部と、を備え、センサは、対象物の位置を複数回検出し、信号出力部は、表示面を挟む第1面と第2面との間に対象物が位置していることをセンサが複数回検出したときにのみ、機器に制御信号を出力する。
【0012】
この空中操作装置では、空中結像デバイスによって結像される表示面を挟む第1面と第2面との間に対象物が位置することをセンサが複数回検出したときに、信号出力部が機器に制御信号を出力する。すなわち、第1面と第2面の間に対象物が位置することをセンサが複数回検出したときにのみ、信号出力部が機器に制御信号を出力して機器が動作する。従って、第1面と第2面の間に位置する対象物をセンサが複数回検出しない場合には、信号出力部が制御信号を出力しないので、機器の誤動作を抑制することができる。
【0013】
前述した空中操作装置は、認識部が認識したことを空中操作装置の使用者に通知する通知部を備え、通知部は、表示面を挟む第1面と第2面との間に対象物が位置していることをセンサが複数回検出したときに、ボタンが押されたことを使用者に通知してもよい。この場合、第1面と第2面の間に対象物が位置することをセンサが複数回検出したときに、ボタンが押されたことが使用者に通知される。従って、ボタンが正しく押されたことを使用者に通知することができるので、ボタンの操作性を向上させることができる。
【0014】
センサは、センサから対象物までの距離を複数回計測し、信号出力部は、計測されたセンサから対象物までの距離の平均値が、センサから第2面までの距離以上且つセンサから第1面までの距離以下であるときにのみ、機器に制御信号を出力してもよい。この場合、信号出力部は、計測された距離の平均値が、センサから第2面までの距離以上、且つセンサから第1面までの距離以下である場合にのみ、機器に制御信号を出力する。従って、距離の平均値が、センサから第2面までの距離より短い場合、又はセンサから第1面までの距離より長い場合には、信号出力部は制御信号を出力しない。従って、対象物の誤検出を抑制して誤動作をより確実に抑制することができる。
【0015】
前述した空中操作装置は、複数のセンサを備え、信号出力部は、複数のセンサが対象物を検出したときに、機器に制御信号を出力しなくてもよい。この場合、複数のセンサが対象物を検出したときに制御信号の出力が抑制されるので、誤検出及び誤動作をより確実に抑制することができる。
【0016】
本開示の別の側面に係る空中操作装置は、光を照射して情報を表示する表示装置と、表示装置からの光を複数回反射させて空中に虚像として複数のボタン付きの表示面を表示する空中結像デバイスと、ボタンに接近する対象物の位置を検出するセンサと、を備えた空中操作装置であって、センサによって検出された対象物の位置に基づいて、ボタンが押されたか否かを認識する認識部と、空中操作装置の外部の機器に制御信号を出力して機器の動作を制御する信号出力部と、を備え、センサは、対象物の位置を複数回検出し、信号出力部は、センサによって検出された対象物の位置が第1面であると認識部が認識した後に、センサによって検出された対象物の位置が第1面よりもセンサ寄りの位置にある第2面であると認識部が認識したときにのみ、機器に制御信号を出力する。
【0017】
この空中操作装置では、対象物の位置が第1面であると認識部が認識した後に、対象物の位置が当該第1面よりもセンサ寄りの第2面であると認識部が認識したときにのみ、信号出力部が機器に制御信号を出力する。すなわち、対象物が第1面からセンサ寄りの第2面に移動したことが認識されたときにのみ機器に制御信号が出力される。従って、対象物が第1面から第2面に移動する場合以外には制御信号が機器に出力されないので、対象物の誤検出、及び機器の誤動作を抑制することができる。
【0018】
前述した空中操作装置は、複数のセンサを備え、第1面から第2面までの距離は、互いに隣接する2つのセンサ間の距離の半分であってもよい。この場合、対象物が第1面から2つのセンサ間の距離の半分移動して第2面に達したときにのみ、機器に対する制御信号が出力される。従って、機器に対する制御信号の出力を制限できるので、誤動作を抑制することができる。
【0019】
前述した空中操作装置は、表示面におけるボタンの隣接位置に接近する対象物の位置を検出するダミーセンサを備え、信号出力部は、ダミーセンサによって対象物の位置が検出されたときに、機器に制御信号を出力しなくてもよい。この場合、ボタンの隣接位置にある対象物をダミーセンサが検出したときに機器への制御信号の出力が規制される。従って、対象物の誤検出、及び機器の誤動作をより確実に抑制することができる。
【発明の効果】
【0020】
本開示によれば、誤動作を抑制することができる。
【図面の簡単な説明】
【0021】
【
図1】実施形態に係る空中操作装置の適用例を示す斜視図である。
【
図2】実施形態に係る空中操作装置がボタン付きの表示面を表示している状態を示す斜視図である。
【
図3】実施形態に係る空中操作装置の縦断面図である。
【
図4】実施形態に係る空中操作装置の機能を示すブロック図である。
【
図5】実施形態に係るセンサによる対象物の検出を模式的に示す図である。
【
図6】実施形態に係るボタンと認識部との関係の例を示すブロック図である。
【
図7】実施形態に係る空中操作装置におけるボタンの認識方法の工程を示すフローチャートである。
【
図8】変形例に係る空中操作装置を示す斜視図である。
【
図9】変形例に係る空中操作装置を示す縦断面図である。
【発明を実施するための形態】
【0022】
以下では、本開示に係る空中操作装置の種々の実施形態について図面を参照しながら説明する。図面の説明において同一又は相当する要素には同一の符号を付し、重複する説明を適宜省略する。また、図面は、理解の容易化のため、一部を簡略化又は誇張して描いている場合があり、寸法比率及び角度等は図面に記載のものに限定されない。
【0023】
図1は、本実施形態に係る一例としての空中操作装置1を示す斜視図である。
図2は、空中操作装置1が空中にボタン11付きの表示面10を表示している状態を示す斜視図である。例えば、本実施形態に係る空中操作装置1は、機器を操作するための操作入力装置である。
【0024】
空中操作装置1は、一例として、トイレTに設けられ、表示面10のボタン11はトイレTの各部を動作させるスイッチである。ボタン11付きの表示面10は、空中に浮き出るように表示される空中浮遊像である。すなわち、ボタン11付きの表示面10は、空中に虚像として表示される。よって、空中操作装置1の使用者は直接ボタン等に触れなくて済むため衛生的にトイレTの各部を操作することが可能である。
【0025】
例えば、トイレTは、便器Bと、便器Bに隣接する壁部Wとを備える。例えば、壁部Wは、便器Bに着座した使用者から見て右側に設けられる。例示的な壁部Wには、空中操作装置1及びトイレットペーパーEが固定されており、洗面台Mが設けられていてもよい。便器Bは、例えば、ウォシュレット(登録商標)付きであって、表示面10のボタン11からトイレTのウォシュレットを操作可能とされている。例えば、表示面10は、複数のボタン11を備えており、使用者が複数のボタン11を操作することによってウォシュレットの各部を動作させることが可能である。
【0026】
空中操作装置1は、例えば、壁部Wに固定されている。空中操作装置1は、壁部Wに埋め込まれていてもよいし、壁部Wに対して着脱可能であってもよい。例示的な空中操作装置1は、筐体2と、筐体2の下部から突出する突出部3とを備える。突出部3には、ボタン11に接近する対象物Fを検出する複数のセンサ12が埋め込まれている。
【0027】
本開示において、「対象物」とは、ボタン11を操作して機器を動作させるものを示しており、例えば、使用者の指を示している。センサ12はボタン11に対応して設けられており、各ボタン11は各センサ12の斜め上方に表示される。一例として、ボタン11及びセンサ12の数は7である。
【0028】
表示面10は、空中操作装置1の上下方向D1、及び壁部Wからの突出方向D3の双方に対して斜め上方に向けられるように表示される。これにより、使用者に表示面10を視認しやすくすることができる。例えば、表示面10は光って表示されるので、周囲の明るさにかかわらず容易に表示面10を視認することができる。表示面10は、例えば、左右方向D2に長く延びる形状を呈する。
【0029】
一例として、表示面10は、矩形状に表示され、表示面10の縦方向の長さL1は表示面10の横方向の長さL2よりも短い。長さL1と長さL2のアスペクト比を1:X(Xを実数)とすると、例えば、Xの値は2以上且つ10以下である。Xの値の下限は3であてもよいし、Xの値の上限は5、6、7、8又は9であってもよい。
【0030】
一例として、上記のXの値は4であり、長さL1と長さL2のアスペクト比は1:4であってもよい。ボタン11は、例えば、矩形状を呈する。一例として、ボタン11は正方形状であってもよい。ボタン11の一辺の長さは、例えば、18mm以上且つ24mm以下である。しかしながら、ボタン11の形状及び大きさは適宜変更可能である。
【0031】
表示面10は、複数のボタン11以外のものを表示してもよい。例えば、表示面10は、複数のボタン11と、文字情報13とを含んでもよい。文字情報13は、一例として、日付情報、時刻情報、気温情報、温度情報及び気圧情報の少なくともいずれかを含んでいてもよい。
【0032】
表示面10では、例えば、表示面10の下側において複数のボタン11が横方向に並ぶように表示され、複数のボタン11の上方に文字情報13が表示されてもよい。ボタン11は、表示面10の中心10bからずれた位置に中心11bが位置するように配置されてもよい。本実施形態では、一例として、複数のボタン11のそれぞれは、中心10bを通ると共に表示面10の長手方向(横方向)に延びる基準線Vからオフセットした位置に表示される。
【0033】
図3は、空中操作装置1の内部構造を模式的に示す断面図である。
図2及び
図3に示されるように、例えば、筐体2は、横長に延びる箱状を呈する。一例として、筐体2は、壁部Wに取り付けられた状態において上下方向D1及び左右方向D2に延びる前面2bと、上下方向D1及び壁部Wからの突出方向D3に延びる左右一対の側面2cと、左右方向D2及び突出方向D3に延びる上面2dと、上面2dの反対側を向く下面2fとを有する。
【0034】
突出部3は、例えば、矩形板状を呈する。一例として、突出部3は、前面2bの下側から突出すると共に上方に向けられる主面3bと、左右方向D2又は突出方向D3を向く端面3cと、主面3bの反対側を向く裏面3dとを有する。前述したように突出部3にはセンサ12が内蔵されている。これにより、センサ12によって対象物Fを検出しやすくすることができる。
【0035】
空中操作装置1は、ボタン11付きの表示面10を表示する空中結像デバイス14と、筐体2の内部に配置された表示装置15と、制御部20とを備える。空中結像デバイス14及び表示装置15は、表示面10を虚像として空中に表示する虚像表示部に相当する。空中結像デバイス14は、例えば、筐体2の前面2bの内側に位置する開口2gに固定されている再帰反射部材(再起反射鏡)である。
【0036】
開口2gは、例えば、筐体2の前面2bを構成する一対の第1板部2hと、第1板部2hの筐体2の内側に固定された一対の第2板部2jとによって画成される。一例として、第1板部2h及び第2板部2jは、上下一対に設けられる。空中結像デバイス14は、第1板部2hと第2板部2jの間に挟まれた状態で筐体2に固定されている。
【0037】
空中結像デバイス14は、例えば、左右方向D2に延びる長辺と、上下方向D1に延びる短辺とを有する長方形状とされている。空中結像デバイス14の一方の長辺及び他方の長辺のそれぞれが、第1板部2hと第2板部2jの間に挟まれている。表示装置15は、空中結像デバイス14に対して斜めに配置されている。
【0038】
一例として、表示装置15は液晶ディスプレイ(LCD)である。表示装置15は、筐体2の内部において空中結像デバイス14の斜め上方に配置されている。表示装置15は、画像を表示するスクリーンを有する。表示装置15のスクリーンは、例えば、空中結像デバイス14に向けて斜め下方に画像としての光Cを照射する。空中結像デバイス14は、表示装置15からの光Cを内部において複数回(例えば2回)反射し、空中操作装置1の使用者から見て空中結像デバイス14よりも手前側の空間に表示面10を結像する。
【0039】
センサ12は、例えば、突出部3の主面3bに露出していてもよい。一例として、センサ12は深度センサである。例えば、センサ12は、ボタン11から延びる仮想直線上、すなわち、虚像であるボタン11に対して正面位置に設けられる。センサ12は、当該仮想直線に対して垂直な面における対象物Fの位置(2次元位置)の情報と、センサ12から対象物Fまでの距離Kの情報とを含む距離画像データを取得する。センサ12は、例えば、距離画像データを取得する。センサ12は、例えば、取得した距離画像データを所定の周期(例えば1/30秒)で制御部20に出力する。
【0040】
具体例として、センサ12は、対象物Fを含む撮影領域内に存在する物体上の各点に光線(又は赤外線)を照射し、物体上の各点から反射した光線を受光する。そして、センサ12は、受光した光線に基づいてセンサ12と物体上の各点との距離を測定し、測定した距離を画素毎に出力する。センサ12と物体上の各点との距離は、例えばLight Coding方式によって測定されてもよい。
【0041】
Light Coding方式では、センサ12は、対象物Fを含む撮影領域内に存在する物体上の各点にランダムドットパターンで光線を照射する。そして、センサ12は、物体上の各点から反射した光線を受光し、反射した光線のパターンの歪みを検出することによって、センサ12と物体上の各点との距離を測定する。センサ12は、物体上の各点の2次元位置の情報と、センサ12から物体上の各点までの距離の情報とを複数の画素として検出し、検出した複数の画素を制御部20に出力する。
【0042】
制御部20は、センサ12及び表示装置15のそれぞれと通信可能とされている。制御部20は、例えば、プログラムを実行するCPU(Central Processing Unit)と、ROM(Read Only Memory)及びRAM(Random Access Memory)を含む記憶部と、入出力部と、ドライバとを含む。制御部20の各機能は、CPUの制御の下で入出力部を動作させ、記憶部におけるデータの読み出し又は書き込みを行うことによって実現される。制御部20の形態及び配置場所については特に限定されない。
【0043】
図4は、制御部20の機能ブロック図である。
図3及び
図4に示されるように、制御部20は、機能的構成要素として、画像出力部21と、対象物検出部22と、認識部23と、信号出力部24と、通知部25とを有する。画像出力部21は、表示装置15に表示される画像の画像データの制御信号を表示装置15に出力する。表示装置15は、画像出力部21からの画像データの制御信号に基づいて、様々な種類の画像を表示することが可能である。
【0044】
対象物検出部22は、センサ12から出力される距離画像データに基づいて対象物Fを検出する。対象物検出部22は、対象物Fを検出すると、対象物Fの位置を示す位置データを認識部23に出力する。認識部23は、対象物検出部22から出力された位置データに基づいて、対象物Fによってボタン11が押されたことを認識する。
【0045】
通知部25は、ボタン11が押されたと認識部23が認識したときに認識部23から操作信号を受信する。通知部25は、ボタン11が操作されたと認識部23が認識したときに、ボタン11が操作されたことを空中操作装置1の使用者に通知する通知手段である。通知部25は、例えば、音声出力部25bと、色彩変更部25cとを有する。
【0046】
一例として、音声出力部25bは、スピーカであり、認識部23から操作信号を受信したときに音声を出力する。音声出力部25bからの音声を使用者が聞くことにより、使用者はボタン11が操作された旨を把握可能となる。色彩変更部25cは、例えば、認識部23から操作信号を受信したときに色彩変更信号を生成し、色彩変更信号を表示装置15に出力する。
【0047】
表示装置15は、色彩変更部25cから色彩変更信号を受信すると、例えば、使用者が押下したボタン11の色彩を変更する。ボタン11の色彩が変更されたことを使用者が視認することにより、使用者はボタン11が操作された旨を把握可能となる。なお、表示装置15は、色彩変更部25cから色彩変更信号を受信したときに、ボタン11以外の箇所の色彩を変更してもよい。
【0048】
以上の通知部25を備えることにより、使用者はボタン11が操作された旨を把握できる。しかしながら、通知部25では、音声出力部25b及び色彩変更部25cの少なくともいずれかが省略されてもよい。また、通知部25は、音声出力部25bによる音声出力、又は色彩変更部25cによる色彩変更、とは異なる態様でボタン11が操作された旨を使用者に通知してもよい。
【0049】
信号出力部24は、ボタン11が押されたと認識部23が認識したときに、ボタン11の押下操作に基づく制御信号を生成する。信号出力部24は、生成した制御信号を空中操作装置1の外部の機器30に送信し、制御信号を機器30に送信することによって機器30を動作させる。
【0050】
機器30は、例えば、ウォシュレット付きの便器B(
図1参照)、ウォシュレットの各部、及び洗面台Mのいずれかであってもよい。一例として、機器30は便器Bであってもよく、便器Bは信号出力部24から制御信号を受けたときに便器洗浄を行うように動作してもよい。このように、例示的な空中操作装置1では、虚像として表示されるボタン11の操作でトイレTの各部を動作させることが可能である。従って、トイレTの各部の動作のためにボタン等を直接(物理的に)押す必要がないため、衛生的に操作を実現させることができる。
【0051】
例えば、認識部23は、センサ12によって検出された対象物Fがボタン11の位置であると認識したときに信号出力部24による制御信号の出力を抑制するようにボタン11を無効としてもよい。また、認識部23は、センサ12によって検出された対象物Fがボタン11から離れることを認識したときに信号出力部24による制御信号の出力を許容するようにボタン11を有効としてもよい。
【0052】
また、認識部23は、センサ12と対象物Fとの距離Kが閾値Y1以下であるか否か、及びセンサ12と対象物Fとの距離Kが閾値Y1より小さい閾値Y2以下であるか否か、を判定してもよい。この場合、認識部23は、センサ12からの距離Kが閾値Y1である押下判定面である第1面Z1に対象物Fが到達したか否か、及びセンサ12からの距離Kが閾値Y2である押下判定面である第2面Z2に対象物Fが到達したか否か、を判定する。
【0053】
第1面Z1及び第2面Z2のそれぞれは、センサ12からの距離が一定である部位に形成された仮想の面である。
図5に示されるように、第1面Z1及び第2面Z2のそれぞれは、例えば、円形状を呈する。第1面Z1及び第2面Z2のそれぞれは、例えば、ボタン11の近接位置に設けられる。第1面Z1及び第2面Z2の少なくともいずれかがボタン11の位置と一致していてもよいし、第1面Z1及び第2面Z2の双方がボタン11の位置と一致していなくてもよい。
【0054】
第1面Z1から第2面Z2までの距離は、一例として、互いに隣接する2つのセンサ12間の距離の半分である。なお、
図3では、第1面Z1がボタン11よりも使用者側に設けられ、且つ第2面Z2がボタン11よりもセンサ12寄りの位置に設けられる例を示している。
【0055】
前述したように、センサ12は、対象物Fの位置を複数回検出する。一例として、信号出力部24は、表示面10を挟む第1面Z1と第2面Z2との間に対象物Fが位置していることをセンサ12が複数回検出したときにのみ、機器30に制御信号を出力する。また、センサ12は、センサ12から対象物Fまでの距離Kを複数回計測する。例えば、通知部25は、表示面10を挟む第1面Z1と第2面Z2との間に対象物Fが位置していることをセンサ12が複数回検出したときに、ボタン11が押されたことを空中操作装置1の使用者に通知する。
【0056】
そして、信号出力部24は、計測されたセンサ12から対象物Fまでの距離Kの平均値が、センサ12から第2面Z2までの距離(閾値Y2)以上且つセンサ12から第1面Z1までの距離(閾値Y1)以下であるときにのみ機器30に制御信号を出力する。具体例として、センサ12が距離Kをn回(nは自然数)計測したときに、距離Kの平均値が閾値Y1以上且つ閾値Y2以下であるときに信号出力部24が制御信号を機器30に出力する。上記のnの値は、例えば、3以上且つ10以下(一例として5)である。
【0057】
信号出力部24は、センサ12によって検出された対象物Fの位置が第1面Z1であると認識部23が認識した後に、センサ12によって検出された対象物Fの位置が第1面Z1よりもセンサ12寄りの第2面Z2であると認識部23が認識したときにのみ、機器30に制御信号を出力してもよい。
【0058】
信号出力部24は、複数のセンサ12が対象物Fを同時に検出したときに、機器30に制御信号を出力しないように構成されていてもよい。また、複数のセンサ12の少なくともいずれかがダミーセンサであってもよく、信号出力部24は当該ダミーセンサによって対象物Fの位置が検出されたときに機器30に制御信号を出力しないように構成されていてもよい。ダミーセンサは、例えば、表示面10におけるボタン11の隣接位置に接近する対象物Fの位置を検出する。以上のように所定の条件下で信号出力部24が制御信号を出力しないように構成されていることにより、機器30の誤動作を抑制することができる。
【0059】
図6は、複数のボタン11と認識部23との関係の例を模式的に示すブロック図である。
図6に例示されるように、複数のボタン11は、少なくとも1つのボタン11を含むグループを構成する。グループの数は、単数であってもよいし、複数であってもよい。グループは、同一線上でタッチできる関係にある複数のボタン11から構成されていてもよい。
図6の例では、ボタン11A及びボタン11Bを含むグループG1、ボタン11C、ボタン11D及びボタン11Eを含むグループG2、並びに、ボタン11Nを含むグループGX(Xは3以上の自然数)が構成されている。
【0060】
図7は、以上のようにグループ分けされたボタン11の操作を認識部23が認識する認識方法のフローチャートである。
図7に示されるように、まず、認識部23は、タッチされたボタン11のグループを認識する。例えば、認識部23は、センサ12によって検出された対象物Fがボタン11A(又はボタン11B)の位置であるときに、グループG1の領域を認識する。このとき、例えば、グループG1におけるタッチ同一線上の領域を認識する(ステップS1)。
【0061】
認識部23は、センサ12によって検出された対象物FがグループG1のボタン11A(又はボタン11B)の位置であると認識したときに、グループG1の全てのボタン11(ボタン11A及びボタン11B)を無効とする。すなわち、前述した領域にある全てのボタンを無効とする(ステップS2)。そして、認識部23は、グループG1(例えば前述した領域)にある全てのボタン(ボタン11A及びボタン11B)を有効可能候補とする(ステップS3)。
【0062】
ところで、例えば、最初にボタン11Aを押そうとしたが、押したときにボタン11Bを押したかったことに使用者が気付くことがある。そのときに、使用者は、表示面10から指等の対象物Fを離さず、そのまま表示面10に対象物Fを添えたままボタン11Bに対象物Fを移動させることがあり、ボタン11Bから対象物Fを離したときに動作させるようにしたいことが考えられる。このとき、認識部23は、センサ12によって検出された対象物Fがボタン11Bから離れるか否か、すなわち、対象物Fの位置がタッチリリースボタン座標であるか否かを判定する(ステップS4)。認識部23は、センサ12によって検出された対象物Fがボタン11Bから離れることを認識したとき、すなわち、対象物Fの位置がタッチリリースボタン座標であるときに、信号出力部24による制御信号の出力を許容するようにボタン11Bを有効とし(ステップS5)、一連の工程を終了する。一方、認識部23は、センサ12によって検出された対象物Fがボタン11Bから離れることを認識しないとき、すなわち、対象物Fの位置がタッチリリースボタン座標でないときには、そのまま一連の工程を終了する。
【0063】
次に、本実施形態に係る空中操作装置1から得られる作用効果について説明する。空中操作装置1では、空中結像デバイス14が空中に虚像として複数のボタン11付きの表示面10を表示し、ボタン11に接近する指等の対象物Fの位置をセンサ12が検出する。認識部23はセンサ12によって検出された対象物Fの位置に基づいてボタン11が押されたか否かを認識する。信号出力部24は、押されたボタン11に応じた制御信号を空中操作装置1の外部の機器30に出力する。認識部23は、対象物Fがボタン11の位置にあるときに複数のボタン11の操作を無効にする。従って、ボタン11が押されたタイミングで複数のボタン11を無効にすることにより、意図しないボタン11が反応して意図しない動作が生じることを抑制することができる。
【0064】
また、認識部23は、対象物Fがボタン11から離れるときに、信号出力部24による制御信号の出力を許容するように当該ボタン11を有効とする。従って、対象物Fがボタン11から離れるタイミングで当該ボタン11を有効にすることにより、意図したボタン11のみを反応させて意図した動作を実現させることができる。よって、誤動作を抑制することができると共に、ボタン11の操作性を向上させることができる。
【0065】
複数のボタン11は、少なくとも1つのボタン11を含むグループG1,G2,GXを構成し、認識部23は、センサ12によって検出された対象物FがグループG1,G2,GXのボタン11の位置であると認識したときに、グループG1,G2,GXの全てのボタン11の操作を無効としてもよい。例えば、認識部23は、対象物FがグループG1に属するボタン11Aの位置にあるときに、グループG1の全てのボタン11(ボタン11A及びボタン11B)を無効にする。グループG1のボタンが押されたタイミングでグループG1に属する全てのボタン11を無効にすることにより、グループG1内における他のボタン11が反応して意図しない動作が生じることを抑制できる。具体例として、ボタン11Aを押したつもりだったがボタン11Bが反応してしまったと使用者が感じることを回避することができる。
【0066】
図3に例示されるように、空中操作装置1では、空中結像デバイス14によって結像される表示面10を挟む第1面Z1と第2面Z2との間に対象物Fが位置することをセンサ12が複数回検出したときにのみ、信号出力部24が機器30に制御信号を出力する。すなわち、第1面Z1と第2面Z2の間に対象物Fが位置することをセンサ12が複数回検出したときにのみ、信号出力部24が機器30に制御信号を出力して機器30が動作する。従って、第1面Z1と第2面Z2の間に位置する対象物Fをセンサ12が複数回検出しない場合には、信号出力部24が制御信号を出力しないので、対象物Fの誤検出を抑制することができる。その結果、機器30の誤動作を抑制することができる。
【0067】
空中操作装置1は、認識部23が認識したことを空中操作装置1の使用者に通知する通知部25を備え、通知部25は、表示面10を挟む第1面Z1と第2面Z2との間に対象物Fが位置していることをセンサ12が複数回検出したときに、ボタン11が押されたことを使用者に通知してもよい。この場合、第1面Z1と第2面Z2の間に対象物Fが位置することをセンサ12が複数回検出したときに、ボタン11が押されたことが使用者に通知される。従って、ボタン11が正しく押されたことを使用者に通知することができるので、ボタン11の操作性を向上させることができる。
【0068】
センサ12は、センサ12から対象物Fまでの距離Kを複数回計測し、信号出力部24は、計測されたセンサ12から対象物Fまでの距離Kの平均値が、センサ12から第2面Z2までの距離以上且つセンサ12から第1面Z1までの距離以下であるときにのみ、機器30に制御信号を出力してもよい。この場合、信号出力部24は、計測された距離Kの平均値が、センサ12から第2面Z2までの距離以上、且つセンサ12から第1面Z1までの距離以下である場合にのみ、機器30に制御信号を出力する。従って、距離Kの平均値が、センサ12から第2面Z2までの距離より短い場合、又はセンサ12から第1面Z1までの距離より長い場合には、信号出力部24は制御信号を出力しない。従って、対象物Fの誤検出を抑制して誤動作をより確実に抑制することができる。
【0069】
空中操作装置1は、複数のセンサ12を備え、信号出力部24は、複数のセンサ12が対象物Fを検出したときに、機器30に制御信号を出力しなくてもよい。この場合、複数のセンサ12が対象物Fを検出したときに制御信号の出力が抑制されるので、誤検出及び誤動作をより確実に抑制することができる。
【0070】
空中操作装置1では、対象物Fの位置が第1面Z1であると認識部23が認識した後に、対象物Fの位置が第1面Z1よりもセンサ12寄りの第2面Z2であると認識部23が認識したときにのみ、信号出力部24が機器30に制御信号を出力してもよい。この場合、対象物Fが第1面Z1からセンサ12寄りの第2面Z2に移動したことが認識されたときにのみ機器30に制御信号が出力される。従って、対象物Fが第1面Z1から第2面Z2に移動する場合以外には制御信号が機器30に出力されないので、対象物Fの誤検出、及び機器の誤動作を抑制することができる。具体例として、トイレTを使用している使用者の衣服等が表示面10を通った場合、トイレットペーパーEを取ろうとする使用者の手が表示面10を通った場合、トイレTの掃除をするときに手等が表示面10を通った場合、及び小さな虫が表示面10を通った場合等におけるボタン11の誤検出を抑制することができる。
【0071】
空中操作装置1は、複数のセンサ12を備え、第1面Z1から第2面Z2までの距離は、互いに隣接する2つのセンサ12間の距離の半分であってもよい。この場合、対象物Fが第1面Z1から2つのセンサ12間の距離の半分移動して第2面Z2に達したときにのみ、機器30に対する制御信号が出力される。従って、機器30に対する制御信号の出力を制限できるので、誤動作を抑制することができる。
【0072】
空中操作装置1は、表示面10におけるボタン11の隣接位置に接近する対象物Fの位置を検出するダミーセンサを備え、信号出力部24は、当該ダミーセンサによって対象物Fの位置が検出されたときに、機器30に制御信号を出力しなくてもよい。この場合、ボタン11の隣接位置にある対象物Fをダミーセンサが検出したときに機器30への制御信号の出力が規制される。従って、対象物Fの誤検出、及び機器30の誤動作をより確実に抑制することができる。
【0073】
以上、本開示に係る空中操作装置の実施形態について説明した。しかしながら、本開示に係る空中操作装置は、前述した実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲において変形し、又は他のものに適用したものであってもよい。すなわち、空中操作装置の各部の構成、形状、大きさ、数、材料及び配置態様は、前述した要旨を変更しない範囲において適宜変更可能である。
【0074】
例えば、前述の実施形態では、センサ12は、センサ12と物体上の各点との距離をLight Coding方式によって測定する例について説明したが、この方式に限定されない。例えば、センサ12は、センサ12と物体上の各点との距離を、TOF(Time Of Flight)方式によって測定してもよい。TOF方式では、センサ12は、光線が物体上の各点で反射してセンサ12に到達するまでの光線の飛行時間(遅れ時間)を算出し、算出した飛行時間と光の速度とから、センサ12と物体上の各点との距離を測定する。このような形態であっても、前述した実施形態と同様の効果を奏する。更に、センサの種類は深度センサに限定されない。すなわち、深度センサであるセンサ12に代えて、赤外線センサ又は超音波センサ等を備えていてもよく、センサの種類は適宜変更可能である。
【0075】
また、前述の実施形態では、下部に複数のボタン11が横方向に並ぶように配置され、ボタン11の上方に文字情報13が表示される表示面10を空中結像デバイス14及び表示装置15が表示する例について説明した。しかしながら、表示面のボタン等のレイアウトは、上記の例に限られず適宜変更可能である。
【0076】
次に、変形例に係る空中操作装置41について
図8及び
図9を参照しながら説明する。
図8は、変形例に係る空中操作装置41を示す斜視図である。
図9は、空中操作装置41の内部構造を模式的に示す縦断面図である。
図8及び
図9に示されるように、空中操作装置41は、テンキーである複数のボタン51を備えた表示面50を虚像として空中に表示する。空中操作装置41は柱状を呈する。空中操作装置41は、第1方向A1、第2方向A2及び第3方向A3に延在する。
【0077】
第1方向A1は空中操作装置41の奥行方向(前後方向)に相当し、、第2方向A2は空中操作装置41の幅方向に相当し、第3方向A3は空中操作装置41の高さ方向に相当する。空中操作装置41の第3方向A3の長さ(高さ)は、空中操作装置41の第1方向A1の長さ(奥行)、及び空中操作装置41の第2方向A2の長さ(幅)よりも長い。これにより使用者に対する表示面50の視認性を一層高めることが可能となる。
【0078】
空中操作装置41は、空中操作装置41の外面を構成する筐体42を備える。筐体42は、例えば、鉛直上方を向く上面42bと、第2方向A2に沿って並ぶ一対の側面42cと、第1方向A1の一方側を向く前面42dと、第1方向A1の他方側を向く背面42fと、鉛直下方を向く下面42gとを有する。更に、筐体42は、前面42dの上側に位置する傾斜面42hを有する。
【0079】
傾斜面42hには、空中結像デバイス54が露出する矩形状の開口が形成されている。傾斜面42hは、例えば、斜め上方に向けられている。空中結像デバイス54によって結像される表示面50は、傾斜面42hよりも使用者寄りの位置に表示されるので、表示面50の視認性を高めることができる。
【0080】
表示面50のボタン51は、現金自動預け払い機(ATM:AutomatedTeller Machine)を操作するためのボタンである。ボタン51付きの表示面50は、空中に浮き出るように表示される空中浮遊像である。すなわち、ボタン51付きの表示面50は、空中に虚像として表示される。よって、空中操作装置41の使用者は、直接タッチパネル等に触れなくて済むため衛生的に現金自動預け払い機を操作することが可能である。
【0081】
例えば、表示面50は、複数のボタン51を備えており、使用者が複数のボタン51を操作することによって現金自動預け払い機を操作することが可能である。筐体42には、例えば、ボタン51に接近する対象物Fを検出するセンサ43が埋め込まれている。センサ43の構成は、前述したセンサ12の構成と同様である。
【0082】
空中操作装置41は、例えば、複数のセンサ43を備える。センサ43は、例えば、ボタン51に対応して設けられており、各ボタン51は各センサ43の斜め上方に表示される。一例として、ボタン51及びセンサ43の数は12である。表示面50は、空中結像デバイス54よりも使用者寄りの位置に表示され、且つ空中結像デバイス54の斜め上方に表示される。これにより、使用者に表示面50を視認しやすくすることができる。
【0083】
例えば、表示面50は光って表示されてもよく、この場合、周囲の明るさにかかわらず容易に表示面50を視認することができる。表示面50は、例えば、縦に長く延びる形状を呈する。一例として、表示面50は矩形状に表示され、表示面50の縦方向の長さは表示面50の横方向の長さよりも長い。しかしながら、表示面50の形状及び大きさは上記の例に限られず特に限定されない。表示面50は、ボタン51以外のものを表示してもよい。例えば、表示面50は,複数のボタン51と文字情報とを含んでもよい。文字情報は、一例として、日付情報及び時刻情報の少なくともいずれかを含んでもよい。
【0084】
表示面50では、例えば、複数のボタン51が格子状に配列されるように表示される。一例として、複数のボタン51は、テンキーとして表示される。この場合、空中操作装置41のボタン51を押すことによって、現金自動預け払い機に対して引き落としの金額、預け入れの金額、振込金額又は暗証番号を指定することが可能となる。
【0085】
ボタン51の形状は、例えば、四角形状(一例として隅丸長方形状)である。しかしながら、ボタン51の形状は、円形状、長円形状、又は多角形状であってもよく、特に限定されない。例えば、ボタン51として、決定ボタン及び戻るボタンの少なくともいずれかが含まれていてもよい。この場合、決定ボタンは操作を決定させるボタンに相当し、戻るボタンは操作の前に戻るボタンに相当する。しかしながら、ボタン51の種類は、上記の各例に限られず特に限定されない。
【0086】
空中操作装置41は、ボタン51付きの表示面50を表示する空中結像デバイス54と、筐体42の内部に配置された表示装置55と、制御部60とを備える。空中結像デバイス54及び表示装置55は、表示面50を虚像として空中に表示する虚像表示部に相当する。空中結像デバイス54は、例えば、筐体42の傾斜面42hに形成された開口に固定されている再帰反射部材(再帰反射鏡)である。表示装置55は、空中結像デバイス54に対して斜めに配置されている。なお、空中結像デバイス54、表示装置55及び制御部60のそれぞれの構成は、前述した空中結像デバイス14、表示装置15及び制御部20のそれぞれの構成と同一である。
【0087】
以上、現金自動預け払い機に設けられる変形例の空中操作装置41について説明したが、空中操作装置41からも空中操作装置1と同様の作用効果が得られる。また、変形例に係る空中操作装置41に対して、本開示に係る操作入力装置は、更に変形させることが可能である。例えば、前述の変形例では、現金自動預け払い機に設けられる空中操作装置41について説明した。しかしながら、本開示に係る空中操作装置は、キッチン、水回り、病院、公共機関、駅又は空港等に設けられていてもよい。
【0088】
例えば、キッチンに設けられる空中操作装置では、ボタン付きの表示面が空中に虚像として表示されることにより、食材が付着した指等でディスプレイに直接触れなくても、料理アプリを操作可能となる。すなわち、従来は携帯端末等のディスプレイを触るために、わざわざ手を洗ってからディスプレイに表示される料理アプリを操作していたが、本開示に係る空中操作装置では、ボタン付きの表示面が空中に虚像として表示されるので、空中のボタンを操作することによって料理アプリを操作できる。従って、わざわざ手を洗わなくても料理アプリを操作できるので、操作性が高い空中操作装置とすることができる。
【0089】
例えば、ATM、病院、公共機関、駅又は空港に設けられる空中操作装置では、ボタン付きの表示面が空中に虚像として表示されることにより、共用のディスプレイを直接触らなくても、ATM、又は、病院若しくは空港の受付機等の操作を行うことが可能である。従って、共用のディスプレイへの指の接触を不要とすることができるので、衛生的に操作を行うことができる。
【符号の説明】
【0090】
1,41…空中操作装置、2,42…筐体、2b…前面、2c…側面、2d…上面、2f…下面、2g…開口、2h…第1板部、2j…第2板部、3…突出部、3b…主面、3c…端面、3d…裏面、10,50…表示面、10b…中心、11,11A,11B,11C,11D,11E,11N,51…ボタン、11b…中心、12,43…センサ、13…文字情報、14,54…空中結像デバイス、15,55…表示装置、20,60…制御部、21…画像出力部、22…対象物検出部、23…認識部、24…信号出力部、25…通知部、25b…音声出力部、25c…色彩変更部、30…機器、42b…上面、42c…側面、42d…前面、42f…背面、42g…下面、42h…傾斜面、A1…第1方向、A2…第2方向、A3…第3方向、B…便器、C…光、D1…上下方向、D2…左右方向、D3…突出方向、E…トイレットペーパー、F…対象物、G1,G2,GX…グループ、K…距離、M…洗面台、T…トイレ、V…基準線、W…壁部、Y1,Y2…閾値、Z1…第1面、Z2…第2面。