(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022128932
(43)【公開日】2022-09-05
(54)【発明の名称】入力支援機構、入力システム
(51)【国際特許分類】
G06F 3/042 20060101AFI20220829BHJP
【FI】
G06F3/042 485
G06F3/042 484
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021027415
(22)【出願日】2021-02-24
(71)【出願人】
【識別番号】504123166
【氏名又は名称】有限会社 アドリブ
(71)【出願人】
【識別番号】310023335
【氏名又は名称】株式会社Eggs
(74)【代理人】
【識別番号】100108604
【弁理士】
【氏名又は名称】村松 義人
(72)【発明者】
【氏名】加畑 健志
(57)【要約】
【課題】ホバー入力を行えるディスプレイにどの程度まで指を近づけたら入力を行えるかを、ユーザが直感的に理解できるようにする。
【解決手段】ホバー入力を行えないディスプレイに対して入力装置200が取付けられる。入力装置200は、レーザを照射する光源11と、光源11から照射されたレーザをディスプレイの画面と平行に広げる拡散部材12とを備えている。拡散部材12を通過したレーザは、面状の光面Pを形成する。入力装置200は、光面Pよりも下側に至ったユーザの指先の位置情報を生成する。光面Pを横切った指先は光るので、指先が光っていることを確認しながらユーザが指先を移動させれば、入力装置200は指先の位置情報を確実に生成することができる。
【選択図】
図3
【特許請求の範囲】
【請求項1】
ユーザが操作を行う対象となるディスプレイにおける表示が行われる面である対象面、前記対象面に近接する位置でユーザが行った操作についてのデータである操作データを受付けて前記操作データに基づく所定の情報処理を実行する情報処理装置、及び前記対象面の正面から見た場合において前記対象面上に位置する、前記対象面からの距離が所定の距離である第1距離よりも近い位置にあるユーザ指先の前記対象面上での位置座標を検出して当該位置座標についてのデータを含む操作データを前記情報処理装置へ出力するようになっている入力装置、と組合せて用いられる入力支援機構であって、
光を照射する光源と、
前記光源からの光を、前記対象面から前記第1距離と同じかそれよりも小さい距離だけ離れた前記対象面と平行な平面上の、前記対象面を正面から見た場合における前記対象面の所定の部分を少なくとも覆う範囲に広げることにより面状の光である光面を生成する拡散部材と、
を備えており、
前記光面を横切ることにより前記光源からの光を受けて光った指先を視認したユーザが、ユーザの指先が前記第1距離よりも前記対象面に近づいたことを認識できるようになっている、
入力支援機構。
【請求項2】
前記光源は直線光を照射する直線光光源であり、前記拡散部材はシリンドリカルレンズ又はシリンドリカルミラーである、
請求項1記載の入力支援機構。
【請求項3】
前記入力装置は、ユーザの指先の前記対象面上での位置座標に加えて、前記対象面からの距離の座標である距離座標をも検出するようになっているとともに、ユーザの指先から前記対象面までの距離が、前記光面から前記対象面までの距離よりも短い所定の距離である第2距離よりも近い距離まで前記対象面に近づいたことを前記距離座標に基づいて検知したときに近接信号を生成し、生成した前記近接信号を前記光源に送るようになっており、
前記光源は、光の照射の状態を変化させることができるようになっており、且つ前記近接信号を受取ったときに、光の照射の状態を変化させるようになっている、
請求項1又は2記載の入力支援機構。
【請求項4】
光の照射の状態の前記変化は、光の点滅又は、可視光領域における光の波長の変更である、
請求項3記載の入力支援機構。
【請求項5】
光を照射する補助光源と、
前記補助光源からの光を、前記対象面から前記第1距離よりも小さい所定の距離だけ離れた前記対象面と平行な平面上の、前記対象面を正面から見た場合における前記対象面の所定の部分を少なくとも覆う範囲に広げることにより面状の光である補助光面を生成する補助拡散部材と、
を備えており、
前記補助光面を横切ることにより前記補助光源からの光を受けて光った指先を視認したユーザが、ユーザの指先が前記第1距離よりも前記対象面に更に近づいたことを認識できるようになっている、
請求項1記載の入力支援機構。
【請求項6】
前記光源からの光の波長と、前記補助光源からの光の波長とは、いずれも可視光領域の波長であり、且つ互いに異なる、
請求項5記載の入力支援機構。
【請求項7】
前記入力装置による入力をユーザが行おうとしたことを検知するセンサを備えており、
前記センサが前記入力装置による入力をユーザが行おうとしたことを検知した場合にのみ、前記光源が光を照射するようになっている、
請求項1記載の入力支援機構。
【請求項8】
前記ディスプレイ及び情報処理装置と別体とされ、一体とされた前記ディスプレイ及び情報処理装置に対して取付けられるようにされた前記入力装置と一体とされている、
請求項1記載の入力支援機構。
【請求項9】
前記入力装置は、前記対象面を囲むフレームを備えており、前記光源及び前記拡散部材は、前記フレームに取付けられている、
請求項8記載の入力支援機構。
【請求項10】
ユーザが操作を行う対象となるディスプレイにおける表示が行われる面である対象面、前記対象面に近接する位置でユーザが行った操作についてのデータである操作データを受付けて前記操作データに基づく所定の情報処理を実行する情報処理装置、及び前記対象面の正面から見た場合において前記対象面上に位置する、前記対象面からの距離が所定の距離である第1距離よりも近い位置にあるユーザの指先の前記対象面上での位置座標を検出して当該位置座標についてのデータを含む操作データを前記情報処理装置へ出力するようになっている入力装置、及び入力支援機構を備えている入力システムであって、
前記入力支援機構は、
光を照射する光源と、
前記光源からの光を、前記対象面から前記第1距離と同じかそれよりも小さい距離だけ離れた前記対象面と平行な平面上の、前記対象面を正面から見た場合における前記対象面の所定の部分を少なくとも覆う範囲に広げることにより面状の光である光面を生成する拡散部材と、
を備えており、
前記光面を横切ることにより前記光源からの光を受けて光った指先を視認したユーザが、ユーザの指先が前記第1距離よりも前記対象面に近づいたことを認識できるようになっている、
入力システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象面に取付けることにより、対象面をホバー入力可能な面とするための入力装置において、入力を行うユーザを支援するための技術に関する。
対象面の典型例は、タッチパネルであるかを問わず、ホバー入力が不可能なディスプレイである。
【背景技術】
【0002】
液晶ディスプレイ、有機ELディスプレイその他のディスプレイが広く用いられている。ディスプレイは単に画像を表示する目的で用いられる場合もあるが、ディスプレイに表示した画像に応じた何らかの入力をユーザに行わせる目的で用いられる場合も非常に多い。
例えば、デスクトップ型のパーソナルコンピュータであれば、マウスやトラックボール等のパーソナルコンピュータ及びディスプレイとは別の製品であるアクセサリを介した入力をユーザに行わせることが多いが、ノートブック型のパーソナルコンピュータの場合には、それが備えるディスプレイをタッチパネルとすることにより、アクセサリを介さない入力を、ユーザのディスプレイの画面に対する接触によって行わせることが一般的になって来つつあり、また、スマートフォン、タブレット等では、タッチパネルであるディスプレイに接触させることによってユーザに入力を行わせることが殆どとなっている。
【0003】
ディスプレイをタッチパネルとすることによって実現されるタッチパネルからの入力は、アクセサリの準備及びその操作を不要とするものであり、そして何より、ディスプレイの画面に表示されたボタンなどをユーザがタッチすることにより入力を行うことができるため直感的な操作が可能となるので便利である。
このような事情から、ディスプレイをタッチパネルとすることによる、タッチパネルを介しての入力は、ATM(automated/automatic teller machine、現金自動預け払い機)や、券売機、コンビニエンスストアのレジスター等の、公共向けの装置のディスプレイにも広く採用されている。
【0004】
公共向けの装置が備えるディスプレイをタッチパネルとすることにより実現される上述の如きタッチパネルを介しての入力は便利ではあるものの、一部のユーザにはよく思われていない。一部のユーザは、不特定多数の人間が触り得るタッチパネルを自分も触らなければならないのは不潔であると嫌悪する。
特に、新型コロナウイルスの感染が広まった昨今においては、清潔か不潔かという問題を超え、新型コロナウイルスへの、或いは他のウイルス等への感染を避けるため、タッチパネルに触ることを極度に嫌うユーザが現れている。また、そこまで強い嫌悪感を抱かないユーザであっても、もし可能なのであれば、タッチパネルに触らないで入力を行いたいと希望する者が確実に増えている。
【0005】
もちろん、タッチパネルとしてのディスプレイの中には、既に実用化されているものも存在するが、ホバー入力を行えるものがある。ホバー入力とは、タッチパネルの画面前面の所定距離の空間を指で触れることにより、タッチパネルを介しての入力を行う入力の仕組みである。タッチレスタイプのタッチパネル等とも称される、非接触での入力が可能なホバー入力の行えるタイプのディスプレイは、新型コロナウイルスの感染が広まった昨今において急激に大きくなった、タッチパネルであるディスプレイに触ることなく入力を行いたいという需要に、非常によくマッチしている。
【0006】
ホバー入力を可能としたディスプレイには、例えば、ディスプレイに内蔵されたセンサが、ディスプレイとユーザの指との間に生じる僅かな静電容量の変化を検出することによって、ディスプレイに対する入力を行おうとしているユーザの指のディスプレイ上での座標を検出するものがある。このようなディスプレイは、例えば、NISSHA株式会社や、株式会社ジャパンディスプレイによって製造販売され、或いは発表されている。
また、特開2007-310441や、本願出願人が先に出願した特願2020-145788には、出荷され、例えば既に使用されているタッチパネルであるディスプレイを、事後的にホバー入力を行えるディスプレイとするための装置が開示されている。
加えて、タッチパネルでないディスプレイをタッチパネルとして機能させることを専らの目的として日本ではテックウインド株式会社が販売するデバイスである「AirBar(商標)」も、タッチパネルであるディスプレイをホバー入力可能とする目的にも応用可能である。
【発明の概要】
【発明が解決しようとする課題】
【0007】
このように、ホバー入力が可能なディスプレイ、或いはタッチパネルであるディスプレイを事後的にホバー入力の可能なディスプレイとするための技術には既に様々なものが存在する。
しかしながら、これら技術には共通する難点がある。
それは、ホバー入力による入力を行う場合にはユーザは当然に、ディスプレイを触らないで入力を行うため、ユーザが指をどの程度までディスプレイに近づけたら入力を行えるのか(ディスプレイ等側が備える入力を受付けるための仕組みが反応するのか)ということをユーザに直感的に理解させるのが難しいという点である。
もちろん、入力が行えたときに、例えば、ディスプレイ上の表示や、或いはスピーカから発せられる音によってユーザに、入力が行えたという事実を通知することは考えられる。しかしながら、上述の難点はむしろ、入力が行えた後ではなく、入力を行っている最中の、言い換えればディスプレイ上で指を任意の方向に移動させているユーザに、ディスプレイに対してこの程度の距離まで指を近づけたのであれば入力を行えるということを理解させたいのであるから、上述の通知はあまり役に立たない。
【0008】
本願発明は、事後的にホバー入力を行えるようにされたのか否かを問わず、ホバー入力を行えるディスプレイに対する入力を行うユーザが、ディスプレイにどの程度まで指を近づけたら入力を行えるかを直感的に理解できるようにするための技術を提供することをその課題とする。
【課題を解決するための手段】
【0009】
上述の課題を解決するために、本願発明者は、以下の発明を提案する。
本願発明は、ユーザが操作を行う対象となるディスプレイにおける表示が行われる面である対象面、前記対象面に対してユーザが行った操作についてのデータである操作データを受付けて前記操作データに基づく所定の情報処理を実行する情報処理装置、及び前記対象面の正面から見た場合において前記対象面上に位置する、前記対象面からの距離が所定の距離である第1距離よりも近い位置にあるユーザ指先の前記対象面上での位置座標を検出して当該位置座標についてのデータである位置座標データを前記情報処理装置へ出力するようになっている入力装置、と組合せて用いられる入力支援機構である。
つまり、本願発明の入力支援機構は、表示が行われる対象面を備えるディスプレイ、ディスプレイに対してユーザが行った操作についての操作データを生成する入力装置、入力装置から操作データを受取って所定の情報処理を実行する情報処理装置を含む、ホバー入力を行えるようにされた装置と組合せて用いられる。ここで、ディスプレイと情報処理装置とは通常一体の装置である。他方、入力装置は、ディスプレイ及び情報処理装置と一体であることもあるし、一体であるディスプレイ及び情報処理装置に対して後付して用いられるものである場合もある。
入力支援機構は、光を照射する光源と、前記光源からの光を、前記対象面から前記第1距離と同じかそれよりも小さい距離だけ離れた前記対象面と平行な平面上の、前記対象面を正面から見た場合における前記対象面の所定の部分を少なくとも覆う範囲に広げることにより面状の光である光面を生成する拡散部材と、を備えている。入力支援機構は、前記光面を横切ることにより前記光源からの光を受けて光った指先を視認したユーザが、ユーザの指先が前記第1距離よりも前記対象面に近づいたことを認識できるように構成されている。
このような入力支援機構が存在すると、ディスプレイの対象面に対して指を近づけてホバー入力を行おうとするユーザが指先をディスプレイに近づけて行くと、やがて指先が光面を横切ることになる。そうすると、空中にある光面自体はユーザに視認できないものであったとしても、光面を横切る指先は、光源からの光を反射或いは散乱させて光る。光面は、対象面と平行であり、対象面から第1距離以下の距離だけ離れたところに位置しているため、光ったユーザの指先は、対象面からの距離が第1距離以下の位置にあることが保証される。上述したように、入力装置が指先の位置座標データを情報処理装置へ出力するのは、指先がディスプレイの対象面から第1距離よりも近い位置にあるときである。したがって、指先が光っていることをユーザが確認しながらユーザが指先をディスプレイの対象面に沿って動かすことにより、第1距離よりも対象面に近い場所に位置するユーザの指先の位置座標を、入力装置は確実に情報処理装置へと出力する。
つまり、上述の如き入力支援機構が存在するのであれば、指先が光っているときにはホバー入力が可能である(指先が光っているときにはホバー入力が可能な程度に指先がディスプレイの対象面に近づいている)ということをユーザに認識させておくことにより、ユーザは、自らの指先が光っていることを視認することにより、今現在の指先の位置(ディスプレイの対象面からの距離)が、ホバー入力が可能な位置にあることを認識することができるようになる。つまり、本願の入力支援機構により、ホバー入力を行えるディスプレイに対する入力を行うユーザは、ディスプレイの対象面にどの程度まで指を近づけたらホバー入力を行えるかを直感的に理解できるようになる。
【0010】
本願発明の入力支援機構は上述したように、光源と拡散部材とを備えている。光源は光を照射する機能を有する。拡散部材は、光源からの光を広げることにより面状の光である光面を生成する機能を有する。それら機能が保証される限り、光源、拡散部材はどのように構成されていても構わない。
前記光源は直線光を照射する直線光光源とすることができる。直線光の例はレーザであり、直線光光源の例はレーザ装置である。また、前記拡散部材はシリンドリカルレンズ又はシリンドリカルミラーとすることができる。
なお、直線光光源とシリンドリカルレンズ又はシリンドリカルミラーの組合せによって生成される光面は、光面が生成されている時間帯のどの瞬間においても、光面が存在している状態にある。もちろん、シリンドリカルレンズや、シリンドリカルミラーに到達する前、或いは後の光路に鏡やプリズム等の他の光学要素を配することも可能である。
他方、本願による、光面は、光面が生成されている時間帯のある一瞬に着目した場合には面状の光が存在しておらず、直線上の光のみが存在している場合であって、直線上の光がある程度高速で、ある平面に沿って、例えば、ワイパー運動することによって、或いは回転することによって、ある程度の時間長さに着目した場合には面状に存在する場合においても光面であるものとする。かかる光面を生成するには、典型的にはレーザ装置である直線光光源と、ある角度内で往復して揺動する鏡や、ある軸回りに回転する鏡(双方とも、例えば、MEMS(Micro Electro Mechanical Systems)の技術を用いて実現可能である。)を用いて構成することができる。例えば、直線光を、揺動或いは回転する鏡に対して、揺動或いは回転の軸に対して垂直に照射すれば、ある平面に沿う、平面上の光面が生成されることになる。もちろん、揺動或いは回転する鏡や、シリンドリカルミラーに到達する前、或いは後の光路に鏡やプリズム等の他の光学要素を配することも可能である。
【0011】
本願発明における入力支援機構と組合せて用いられる前記入力装置は、ユーザの指先の前記対象面上での位置座標に加えて、前記対象面からの距離の座標である距離座標をも検出するようになっていてもよい。この場合、入力装置は、ユーザの指先から前記対象面までの距離が、前記光面から前記対象面までの距離よりも短い所定の距離である第2距離よりも近い距離まで前記対象面に近づいたことを前記距離座標に基づいて検知したときに近接信号を生成し、生成した前記近接信号を前記光源に送るようになっていてもよい。
そのような入力装置と組合せて用いられる入力支援機構における前記光源は、光の照射の状態を変化させることができるようになっており、且つ前記近接信号を受取ったときに、光の照射の状態を変化させるようになっていてもよい。
このようにすることにより、ユーザは、光源から照射される光の状態の変化に伴って生じる、光面を横切る指先の光り方の変化を視認することにより、指先が、ホバー入力が可能な位置よりもディスプレイの対象面により近づいたことを認識することができることになる。第2距離の設定の仕方によっては、ユーザは、それ以上指先をディスプレイの対象面に近づけると指先がディスプレイに触れてしまうということを認識できることになる。
光源が実行する光の照射の状態の前記変化は、例えば、光の点滅又は、可視光領域における光の波長の変更、光の強度の変更とすることができる。可視光領域における光の波長の変更は、要するに光の色の変化である。
【0012】
入力支援機構は、上述したように、光源と拡散部材とを備える。光源と拡散部材は、複数組であっても良い。2組目の光源と拡散部材は上述した光源と拡散部材と同じもので良い。本願発明では、2組目の光源と拡散部材とを、補助光源と補助拡散部材と称する。
補助光源と補助拡散部材を有する入力支援機構は、光を照射する補助光源と、前記補助光源からの光を、前記対象面から前記第1距離よりも小さい所定の距離だけ離れた前記対象面と平行な平面上の、前記対象面を正面から見た場合における前記対象面の所定の部分を少なくとも覆う範囲に広げることにより面状の光である補助光面を生成する補助拡散部材と、を備えており、前記補助光面を横切ることにより前記補助光源からの光を受けて光った指先を視認したユーザが、ユーザの指先が前記第1距離よりも前記対象面に更に近づいたことを認識できるようになっている。
このような入力支援機構が存在すれば、ユーザが、指先をディスプレイの対象面に近づけて行くと、指先はまず光面を横切り、やがては補助光面を横切ることになる。光面を横切ったときにまず指先が光り、補助光面を横切ったときには、光面を横切るとともに補助光面を横切ることにより指先が2箇所で光ることになる。そのような指先の光り具合の変化を視認することにより、ユーザは、指先が、ホバー入力が可能な位置よりもディスプレイの対象面により近づいたことを認識することができることになる。補助光面の対象面からの距離の設定の仕方によっては、ユーザは、それ以上指先をディスプレイの対象面に近づけると指先がディスプレイに触れてしまうということを認識できることになる。
前記光源からの光の波長と、前記補助光源からの光の波長とは、いずれも可視光領域の波長であり、且つ互いに異なるものとすることができる。そうすると、光面を横切ったときと、補助光面を横切ったときとで、指先で反射乃至散乱する光の色に差が生じるので、ユーザは、指先の光の色を視認することにより、指先が光面のみを横切ったのか、光面と補助光面の双方を横切ったのかを容易に判別することが可能となる。また、光源と補助光源からの光は、同じ波長で強度が異なっていても良い。
なお、上述した例では、光源と拡散部材との組は2組であったが、それを3組以上とすることも当然に可能である。つまり、補助光面は平行に複数存在していても構わない。
【0013】
本願発明による入力支援機構は、前記入力装置による入力をユーザが行おうとしたことを検知するセンサを備えており、前記センサが前記入力装置による入力をユーザが行おうとしたことを検知した場合にのみ、前記光源が光を照射するようになっていても構わない。
光源は光を発するために電力を消費する。特に、光源がレーザ装置である場合には、消費電力は大きい。上述の如きセンサが存在すれば、ユーザが入力装置による入力を行おうとしたときにのみ光源が光を照射するので、電力の消費を抑制することができる。
【0014】
上述したように、本願発明における入力支援機構は、ディスプレイ、情報処理装置、及び入力装置に組合せて用いられる。ここで、ディスプレイと情報処理装置とは一体の装置であり、入力装置は、ディスプレイ及び情報処理装置と一体である場合もあるし、そうでない場合もある。入力装置がディスプレイ及び情報処理装置と一体でない場合には、入力装置はディスプレイ及び情報処理装置に対して後付される。
入力装置がディスプレイ及び情報処理装置と一体でない場合、入力支援機構は以下のようなものとすることができる。すなわち、本願発明における入力支援機構は、前記ディスプレイ及び情報処理装置と別体とされ、一体とされた前記ディスプレイ及び情報処理装置に対して取付けられるようにされた前記入力装置と一体とされていても良い。つまり、入力支援機構は、ディスプレイ及び情報処理装置に後付される入力装置の一部とされていても良い。これによれば、ディスプレイ及び情報処理装置に入力装置を取付けると自動的に、本願の入力支援機構がそれらに取付けられる、或いは組込まれることになる。
入力支援機構が入力装置の一部である場合、前記入力装置は、前記対象面を囲むフレームを備えており、前記光源及び前記拡散部材は、前記フレームに取付けられていてもよい。これによれば、フレームをディスプレイの対象面に対して正しく位置決めすれば、入力支援機構中の光源と拡散部材もディスプレイの対象面に対して自動的に正しく位置決めされた状態となる。
【0015】
本願発明者は、上述した入力支援機構を、ディスプレイ、情報処理装置、及び入力装置を含む、ホバー入力を行うことが可能な装置に組合せた入力システムをも本願発明の一態様として提案する。かかる入力システムの効果は、入力システムに組込まれた入力支援機構の効果に等しい。
一例となる入力システムは、ユーザが操作を行う対象となるディスプレイにおける表示が行われる面である対象面、前記対象面に近接する位置でユーザが行った操作についてのデータである操作データを受付けて前記操作データに基づく所定の情報処理を実行する情報処理装置、及び前記対象面の正面から見た場合において前記対象面上に位置する、前記対象面からの距離が所定の距離である第1距離よりも近い位置にあるユーザ指先の前記対象面上での位置座標を検出して当該位置座標についてのデータを含む操作データを前記情報処理装置へ出力するようになっている入力装置、及び入力支援機構を備えている入力システムである。
入力システムにおける前記入力支援機構は、光を照射する光源と、前記光源からの光を、前記対象面から前記第1距離と同じかそれよりも小さい距離だけ離れた前記対象面と平行な平面上の、前記対象面を正面から見た場合における前記対象面の所定の部分を少なくとも覆う範囲に広げることにより面状の光である光面を生成する拡散部材と、を備えており、前記光面を横切ることにより前記光源からの光を受けて光った指先を視認したユーザが、ユーザの指先が前記第1距離よりも前記対象面に近づいたことを認識できるようになっている。
【図面の簡単な説明】
【0016】
【
図1】第1実施形態の入力支援機構を含む入力装置と組合せて用いられるATMの構造を概略的に示す斜視図。
【
図2】第1実施形態の入力支援機構を含む入力装置の斜視図。
【
図5】
図2に示した入力装置の第2長辺板及び第2短辺板の内面に発光体によって作られるパターンの例を示す図。
【
図6】
図2に示した入力装置の正面板を除去した状態の平面図。
【
図7】
図2に示した入力装置が備えるコンピュータのハードウエア構成図。
【
図8】
図2に示した入力装置が備えるコンピュータ内に生成される機能ブロックを示す機能ブロック図。
【
図9】
図2に示した入力装置の使用状態における指からカメラに至る像光の経路を示す図。
【
図10】
図2に示した入力装置の使用状態における指からカメラに至る像光の経路を示す他の図。
【
図11】変形例2による入力装置の
図3と同じ位置の断面図。
【
図12】変形例2による入力装置の
図4と同じ位置の断面図。
【
図13】変形例2による入力装置の正面板を除去した状態の平面図。
【
図14】第2実施形態における入力装置の
図3と同じ位置の断面図。
【
図15】第3実施形態における入力支援装置をディスプレイに取付けた状態を示す斜視図。
【
図16】揺動する鏡を拡散部材として用いて光面を作る場合の原理図。
【発明を実施するための形態】
【0017】
以下、図面を参照して、本発明の第1から第3実施形態、及びそれらの変形例について説明する。
各実施形態及び変形例の説明において、共通する対象には共通の符号を付すものとし、重複する説明は、場合により省略するものとする。また、各実施形態及び変形例に記載した内容は、組合せた場合に矛盾が生じない限り、他の実施形態及び変形例にも組合せ可能なものとする。
【0018】
≪第1実施形態≫
第1実施形態では、ディスプレイ及び情報処理装置を含む既存の装置に後付して用いられる入力装置に、本願発明における入力支援機構が組込まれた例について説明するものとする。
公共向けの既存の装置は、例えば、ATM、券売機、コンビニエンスストアのレジスターであるが、これらに限られない。もっと言えば、装置は、ディスプレイと情報処理装置を備え、それらが直接的に或いは他の部品を介して一体的にされた装置であれば良く、公共向けの装置である必要はなく、また、既存の装置である必要もない。とはいえ、それら装置はすべて、公知或いは周知のもので良いから、それらの構成の詳細についての説明は行わない。
ディスプレイは、ユーザに操作データの入力を行わせるために必要となる情報を、その画面に表示する機能を有している。ディスプレイは、タッチパネルであっても良いし、そうでなくても良いが、ディスプレイがタッチパネルである場合には、ユーザはディスプレイに触れることにより操作データの入力を行い、ディスプレイがタッチパネルでない場合には、その装置におけるディスプレイの近傍に設けられている押し釦等の所定の入力装置から操作データの入力を行うようになっている。
この実施形態では、既存の装置は、既に街に設置されているATMであり(
図1参照)、ディスプレイは、タッチパネルであるものとする。
【0019】
ATMはディスプレイ110を備えている。ディスプレイ110は、ATMが備える公知のテーブル131に、その画面111が露出する態様で取付けられており、また、ATMの内部に組込まれた情報処理装置120と、信号線132を介して接続されている。画面111の露出している部分が本願で言う対象面である。
図1に概念的に、ATMを図示するが、同図では、ディスプレイ110の画面111とテーブル131とのみを実線で図示し、ATMの全体と、情報処理装置120、信号線132は一点鎖線で図示している。なお、この実施形態では、本願発明でいう対象面に相当するディスプレイ110の画面111は、必ずしもそうである必要はないが矩形である。画面111の四つ角は面取りされている場合もあるが、そもそも画面111が矩形である必要もないので矩形の定義は厳密なものとする必要はなく、この実施形態においては、四つ角において面取りがなされていてもディスプレイ110が矩形であるといって差し支えない。
情報処理装置120は一般的なコンピュータである。情報処理装置120は、ディスプレイ110の画面111に、操作データの入力を行うユーザに入力のために必要な情報を表示させる機能を有している。ディスプレイ110を備える装置がATMである場合であれば、画面111に表示される画像は、例えば、キャッシュカードの暗証番号の入力をユーザに促す画像や、ユーザがATMに行わせる手続きを、例えば出金、入金、振込等から選択させるための公知或いは周知の画像である。情報処理装置120は、公知或いは周知のように、ディスプレイ110の画面111に表示される画像についての画像データを生成し、その画像データをディスプレイ110に信号線132を介して送るようになっている。それにより、ディスプレイ110の画面111には、画像データに対応した画像が表示されるようになっている。
情報処理装置120は、また、入力された操作データに基づいた情報処理を実行するようになっている。情報処理装置120が実行する情報処理は、例えば、装置がATMである場合には、ユーザが入力した暗証番号に基づくユーザの認証や、出金、入金、振込等からユーザが選択した処理の一つ等である。ATMのディスプレイ110がタッチパネルである場合には本来、操作データはディスプレイ110から信号線132を介して情報処理装置120に送られる。ただし、この実施形態では、後述するように、操作データは、入力装置から、情報処理装置120に送られるようになっている。もちろん、入力装置から情報処理装置120に操作データが入力されることを基本としつつ、ディスプレイ110からも情報処理装置120に操作データが入力できるようにする(入力装置を後付した状態においてもディスプレイ110からの操作データの入力機能をそのまま生かしておく)ことも可能である。そうすれば、仮に入力装置に故障その他の不具合が生じたとしても、ディスプレイ110からの操作データの入力を従前どおりに行うことが可能となる。
【0020】
以上で説明したATMにこの実施形態における入力装置は組み合わせて使用される。具体的には、入力装置は、ディスプレイ110が取付けられたテーブル131に、ディスプレイ110の画面111に対して適宜に位置決めした状態で固定して用いられる。それにより、ユーザは、ディスプレイ110の画面111に対して、ホバー入力を行えるようになる。
入力装置200の斜視図を
図2に示す。また、
図3は、入力装置200の
図2におけるA-A断面図、
図4は、同B-B断面図、
図5は、入力装置200の
図2における厚さ方向の中程で切断した断面図である。
入力装置200はフレーム210を備えている。この実施形態におけるフレーム210は、これには限られないが、
図2における底面と上面とを有さない、或いは底面と上面とが開放された、平べったい直方体形状である。フレーム210は例えば、金属或いは不透明な樹脂でできている。
フレーム210を、
図2における上から見た場合において、フレーム210は矩形である。便宜上、フレーム210の
図2において奥側に位置する鉛直な板を第1長辺板211、第1長辺板211と対向する鉛直な板を第2長辺板212、フレーム210の
図2において左側に位置する鉛直な板を第1短辺板213、第1短辺板213と対向する鉛直な板を第2短辺板214と称するものとする。
第1長辺板211、第2長辺板212、第1短辺板213、第2短辺板214はいずれも矩形であり、
図2における高さ方向の長さは、例えばこの実施形態では皆等しい。
図2における入力装置200を平面視した場合において、第1長辺板211、第2長辺板212、第1短辺板213、第2短辺板214は、
図2を平面視したときに矩形を作るが、この実施形態ではこの矩形を「仮想の矩形」と称する場合がある。
第1長辺板211、第2長辺板212、第1短辺板213、第2短辺板214の
図2における上側には、孔215Aの開いた正面板215が存在している。正面板215はこの実施形態では1枚ものの板であるが、これはこの限りではない。例えば、第1長辺板211、第2長辺板212、第1短辺板213、第2短辺板214のそれぞれを断面L字状のいわゆるアングルとすることにより、第1長辺板211、第2長辺板212、第1短辺板213、第2短辺板214の上側の板を組合せて作られていても良い。
正面板215の孔215Aは、この入力装置200と組合せて用いられるディスプレイ110の画面111の形状、大きさと略一致している。孔215Aの大きさはディスプレイ110の画面111の形状、大きさと完全に一致している必要はなく、例えば、ディスプレイ110の画面111の端の部分においてユーザが入力を行わないことが当初から明らかなのであるなら、孔215Aの大きさは画面111の大きさよりも小さくても構わない。つまり、後述するようにしてフレーム210は、ディスプレイ110の画面111を第1長辺板211、第2長辺板212、第1短辺板213、第2短辺板214からなる仮想の矩形が囲むようにしてテーブル131に取付けられるが、そのとき、正面板215の孔215Aの内側の縁が、正面から見た場合の画面111の縁に若干被さることは許容されうる。正面板215は、第1長辺板211、第2長辺板212、第1短辺板213、第2短辺板214の内面(フレーム210の内側の面、以下同じ。)付近に、孔215Aを介して、外部環境からの迷光が入り込むのを防ぐためのものであるが、これは必ずしも必須ではない。
【0021】
第1長辺板211の内面と、第1短辺板213の内面とには、鏡221、222がそれぞれ取付けられている。
第1長辺板211の内面に取付けられた鏡221は、矩形で、第1長辺板211の内面の略全面を覆っており、且つその内面が鏡面となっている。
第1短辺板213の内面に取付けられた鏡222は、矩形で、第1短辺板213の内面の略全面を覆っており、且つその内面が鏡面となっている。
鏡221は第1長辺板211の内面の全面を覆っていても良いが、この実施形態では、その上下左右においては第1長辺板211の内面を覆っていない。また、鏡222は第1短辺板213の内面の全面を覆っていても良いが、この実施形態では、その上下左右においては第1短辺板213の内面を覆っていない。つまり、鏡221、及び鏡222は、上述する仮想の矩形の隣接する2辺に沿って存在しているものの、隣接する2辺のそれぞれよりもその長さが幾らか短い。このように、鏡221と鏡222のそれが沿う仮想の矩形の辺方向の長さは、鏡221の鏡面と鏡222の鏡面のそれが沿う仮想の矩形の辺の長さよりも短くても構わない。ただし、仮想の矩形を
図2の上方から見た場合において、鏡221の鏡面が作る線分と、鏡222の鏡面が作る線分との双方を、それら線分と平行な仮想の矩形の辺の遠い側に向けて平行移動させた場合に両者が交差する矩形の範囲は、対象面としてのディスプレイ110の画面111をその範囲内に収められる形状、大きさとするのが好ましい。
また、鏡221と鏡222が存在する
図2における高さ方向の範囲は、
図2、3、4等では同一とされているが、これは同一である必要は必ずしもない。鏡221、鏡222の存在する高さ方向の範囲は、ユーザの指を検出すべき画面111からの距離に応じて決定すれば良い。
【0022】
第2長辺板212と、第2短辺板214との内面には、これには限られないが発光体231、232がそれぞれ設けられている。発光体231と、発光体232とは、後述するカメラで指を撮像する際に、撮像された画像中の指とその背景とのコントラストを高める役割を有している。発光体231、232は例えば、ELワイヤ、LED等の公知、或いは周知の材料で構成することができる。これらは、図示を省略の電源から供給される電力によって発光する。
発光体231、232はともに、第2長辺板212と第2短辺板214の内面の全面を覆うようになっていても構わないが、この実施形態では、発光体231、232はともに、第2長辺板212と第2短辺板214の内面の一部のみを覆うようになっており、より詳細には、これには限られないが、それらの内面に連続する所定のパターンを形成している。
連続するパターンの例を
図5に示す。
図5(A)に示した例では、発光体231、232は、第2長辺板212又は第2短辺板214の内面の全面に、
図2における縦方向の縦縞を形成している。この例では、発光体231、232の幅と発光体231、232が無い部分の幅は同じであるが、これは必ずしもこの限りではない。
同(B)に示した例では、発光体231、232は、第2長辺板212又は第2短辺板214の内面の全面に、
図2における横方向の横縞を形成している。この例では、発光体231、232の幅と発光体231、232が無い部分の幅は同じであるが、これは必ずしもこの限りではない。
(C)に示した例では、発光体231、232は、第2長辺板212又は第2短辺板214の内面の全面に、市松模様を形成している。
第2長辺板212、及び第2短辺板214の内面のうち、発光体231、及び発光体232が存在しない部分の色彩は、例えば、黒等の、発光体231、及び発光体232が存在する部分との間で、後述するカメラで撮像した場合においてコントラストが大きくなるような明度の低い色彩とされているのが好ましい。
第2長辺板212、及び第2短辺板214の内面に発光体231、及び発光体232が存在しない場合には、それらの内面の色彩の明度を低くするのが良い。
【0023】
また、フレーム210の内面の、この実施形態では第2長辺板212と第2短辺板214とが交わる部分には、カメラ240が設けられている(
図6)。もっとも、カメラ240が配置される位置は、フレーム210が対象面のあるテーブル131に対して取付けられたときに、対象面の外側であり、鏡221の鏡面と、鏡222の鏡面との双方の全体を撮像できるような位置であれば良い。
図6における鎖線は、カメラ240の画角を示している。カメラ240が取付けられる
図2における高さは適宜選択することができるが、例えば、フレーム210の
図2における高さ方向の中程に、カメラ240を取付けることができる。
カメラ240は動画像を撮像することができ、且つその動画像についてのデータである動画像データを出力することができるようなものであれば良い。もちろんそのようなカメラは公知或いは周知であり、市販もされている。そのようなカメラから適当なものを選択してカメラ240として利用すれば良い。もっとも、カメラ240で鏡221の鏡面と、鏡222の鏡面との双方の全体を撮像できるようにするにはカメラ240の画角が広い方が有利であるので、カメラ240の選択の際にはそのような点も考慮すべきである。
【0024】
フレーム210には、図示を省略のコンピュータが配されている。コンピュータは、カメラ240と接続されており、カメラ240が生成した動画像データを公知或いは周知の技術によりカメラ240から略実時間で受取るようになっている。コンピュータがカメラ240から動画像データを受取る方法は、有線であっても無線であっても構わない。
なお、コンピュータは、フレーム210に取付けられている必要はなく、例えば、ATMの内部に設けられていても良い。コンピュータがATMの内部に設けられている場合には、上述の情報処理装置120がコンピュータを兼ねても良い。この実施形態では、これには限られないが、フレーム210に、より詳細にはフレーム210内の、
図2におけるカメラ240の上又は下の空間に、小さなコンピュータが取付けられているものとする。
【0025】
コンピュータは、動画像データに基づいて後述する操作データを生成し、それを情報処理装置120へと出力する機能を有する。それが可能であるなら、コンピュータは公知の或いは周知のもので良く、市販のもので良い。
コンピュータは、
図7に示したようなハードウエアを備えている。この実施形態におけるコンピュータは、CPU(Central Processing Unit)311、ROM(Read Only Memory)312、RAM(Random Access Memory)313、インタフェイス315、及びこれらを接続するバス316を備えている。
CPU311は、演算装置であり、コンピュータ全体の制御を行う。CPU311は、コンピュータプログラムを実行することで、以下に説明するような処理を実行する。
ROM312は、書換不可能なメモリであり、CPU311を動作させるためのコンピュータプログラム、及びコンピュータが以下の処理を実行する際に必要なデータなどを記憶している。
RAM313は、書換可能なメモリであり、CPU311が以下の処理を実行する場合のワーク領域を提供する。RAM313には、例えば、動画像データの一部や操作データが一時的に書き込まれることがある。
インタフェイス315は、CPU311、ROM312、RAM313とコンピュータの
図7で示したハードウエアの外部とを繋ぐ窓口となるものであり、CPU311、ROM312、RAM313は、インタフェイス315を介して
図7に示したハードウエアを持つコンピュータの外部と、データ交換を行えるようになっている。例えば、コンピュータがカメラ240から有線で動画像データを受取る場合であれば、インタフェイス315はカメラ240とコンピュータとを結ぶ動画像データを送信するための図示せぬ導線と接続される接続端子が接続されている。これにより、コンピュータ内のCPU311等は、ケーブルと端子とインタフェイス315とを介して、カメラ240から動画像データを受取れるようになる。コンピュータがカメラ240から無線で動画像データを受取る場合であれば、動画像データを送信するためにカメラ240に設けられた送信機から動画像データを受信するための受信機が接続されている。これにより、コンピュータ内のCPU311等は、受信機とインタフェイス315とを介して、カメラ240から動画像データを受取れるようになる。同様に、コンピュータは生成した操作データを情報処理装置120へと送信する必要があるので、かかるデータの送信に必要な部品が、インタフェイス315には接続されている。コンピュータから情報処理装置120に有線で操作データを送信するなら、インタフェイス315には、情報処理装置120に有線で接続するケーブル(例えば、USBケーブル)を接続するための端子が、コンピュータから情報処理装置120に無線で操作データを送信するなら、インタフェイス315には、情報処理装置120が備える受信機に操作データを送信する送信機(例えば、Wi-Fi(商標)やBlutooth(商標)の規格の送信機)が接続されることになる。
【0026】
上記コンピュータプログラムをCPU311が実行することにより、コンピュータの内部には、
図8に示した如き種々の機能ブロックが生成される。
コンピュータの内部には、入力部321、操作データ生成部322、座標データ記録部323、出力部324が生成される。
入力部321はインタフェイス315と接続されており、インタフェイス315からの入力を受取るものである。入力部321がインタフェイス315から受取るデータは、カメラ240から送られた動画像データである。動画像データは、入力部321から操作データ生成部322へと送られるようになっている。
操作データ生成部322は、入力部321から受取った動画像データに基づいて操作データを生成する機能を有する。操作データ生成部322は、操作データを生成する際に座標データ記録部323に記録された座標データを読み込み、それを利用する。操作データ生成部322が操作データを生成する方法については後述する。操作データ生成部322は操作データを生成したら、それを出力部324に送るようになっている。
座標データ記録部323には上述したように座標データが記録されている。座標データの詳細については後述する。
出力部324は、コンピュータから外部へ、操作データ生成部322が生成した操作データを出力する機能を有する。出力部324は、操作データをインタフェイス315へ出力する。インタフェイス315が受取った操作データは、有線又は無線で情報処理装置120へと送られる。
【0027】
この実施形態では、入力装置200に、より詳細には、フレーム210に対して、本願発明における入力支援機構が設けられている。
入力支援機構は、フレーム210が後述するようにしてテーブル131に固定された場合において、ディスプレイ110の画面111から所定の距離である第1距離だけ、或いはそれよりも短い距離だけ離れた部分に、画面111と平行な光の面である後述する光面を形成するためのものである。
この実施形態における入力支援機構は、光を発する光源11と、光源11からの光を、ディスプレイ110の画面111から第1距離又は第1距離よりも短い距離だけ離れた距離においてディスプレイ110の画面111に平行な面状に広げることにより光面を生成する拡散部材12とを備えて構成される。第1距離は、そこよりもディスプレイ110の画面111に近い位置にユーザの指先が位置した場合に入力装置200が操作データを生成する、ディスプレイ110からの距離である。
【0028】
この実施形態における光源11が発する光は、可視光領域の波長の光である。この実施形態における光源11は、これには限られないが、直線状の光を発する直線光光源である。より詳細には、この実施形態における光源11は、レーザを発するレーザ装置である。レーザを発するレーザ装置はもちろん公知或いは周知であり、また、市販もされているので、光源11はそのようなレーザ装置から適宜選択することができる。
この実施形態ではレーザ装置である光源11は、フレーム210の内側、より詳細には、フレーム210を構成する第1長辺板211と第2短辺板213とが交わる部分における
図2における所定の高さ位置に取付けられているが、光源11の取付けられる位置は、光面を上述するような位置に生成可能な限りかかる位置に存在する必要はない。例えば、第1長辺板211や第2長辺板212の長さ方向の中程に光源11が取付けられていても良い。この実施形態における光源11から照射される直線光であるレーザは、これには限られないが概ね、フレーム210の対角に沿う方向、つまり、第2長辺板212と第2短辺板214とが交わる部分に向けて照射されるようになっている。また、光源11から照射される光は、テーブル131に入力装置200が取付けられた場合において、ディスプレイ110の画面111に平行な方向に照射されるようになっている。
光源11から出た光は、拡散部材12を通過するようになっており、拡散部材12は、光源11のフレーム210に対してやや内側に配されている。拡散部材12を通過した光は、薄い所定の厚さ、例えば、理想的には直線光の直径に相当する厚さで、ディスプレイ110の画面111に平行に広がるようになっている。この実施形態では、そのような光の拡散を実現するための拡散部材12として、シリンドリカルレンズを採用している。シリンドリカルレンズの代わりにシリンドリカルミラーを拡散部材12として用いることも可能であるが、シリンドリカルミラーを拡散部材12として用いる場合には、拡散部材12と光源11の位置関係が逆転する。シリンドリカルレンズ、シリンドリカルミラーともに公知或いは周知であり、市販もされているので、拡散部材12として用いられるシリンドリカルレンズやシリンドリカルミラーは、そのようなものの中から適宜選択することができる。拡散部材12を通過して薄く広がった上述の光が、光面Pである(
図3、
図4参照)。光面Pは、例えば、正面から見た場合におけるディスプレイ110の画面111の全体を覆うように形成される。これには限られないが、この実施形態では、光面Pは、フレーム210の内側一杯に広がるようにされる。また、この実施形態では、これには限られないが光面Pからディスプレイ110の画面111までの距離は第1距離に等しくされる。
光面Pそのものは、不可視であるが、光を反射或いは散乱させる物体が光面Pを横切ると、その物体の光面Pを横切った部分が光るためユーザは、フレーム210内でディスプレイ110の画面111に沿って指を動かすことにより、ディスプレイ110から所定の距離離れた位置に光面Pがあるということを理解することができる。
他方、本願による、光面Pは、光面が生成されている時間帯のある一瞬に着目した場合には面状の光が存在しておらず、直線上の光のみが存在している場合であって、直線上の光が高速で、ある平面に沿って、例えば、ワイパー運動することによって、或いは回転することによって、ある程度の時間長さに着目した場合には面状に存在する場合においても光面Pであるものとする。かかる光面Pを生成するには、典型的にはレーザ装置である直線光光源と、ある角度内で往復して揺動する鏡や、ある軸回りに回転する鏡を用いて構成することができる。
例えば、
図15に示したように、光源11から照射される直線光(例えば、レーザ)である光X1を、角度αの間で揺動する平面状の鏡19の揺動の軸に相当する部分に照射した場合には、光X1は、鏡19が実線の位置にあるときにはX2の方向に反射され、鏡19が2点鎖線の位置にあるときにはX3の方向に反射される(なお、この場合には、鏡19が拡散部材12に相当することになる。)。したがって、直線光である光X1が照射され続けているのであれば、光X1は、光X2と、光X3の間の平面(網掛けされた平面)を、鏡19が実線の位置から破線の位置にまで移動する間に埋め尽くす。つまり、直線光を発する光源11と揺動する鏡19とを組合せて用いれば、平面上の光面Pを作ることが可能となる。もちろん、
図15に示した例では、作図の都合上αを小さく取っているので、光X1が光X2と光X3の間に作られる扇形の光面Pの中心角は小さいが、αを大きくとってやれば、光源11とシリンドリカルレンズである拡散部材12を用いて作られる上述の光面Pと同じ範囲にわたる光面Pを、光源11と鏡19の組合せによって生成することも可能である。この場合、鏡19の揺動の速さは、移動する直線上の光が肉眼によって面状に視認程度の速さ、例えば、30Hz(30往復/秒)とすることができる。
同様に、回転する鏡の例えば、回転の軸の近辺に、直線光である光を照射することによっても、光源11とシリンドリカルレンズである拡散部材12を用いて作られる上述の光面Pと同じ範囲にわたる光面Pを生成することが可能である。この場合、鏡の回転速度は例えば、60回転/秒とすることができる。
揺動、回転する鏡は、例えば、MEMSミラーによって構成することができるがこれには限られない。
【0029】
以上で説明した入力装置200が取付けられたATMの使用方法、及び動作について説明する。
入力装置200を用いる場合、それをATMのテーブル131に固定する。入力装置200は、
図2の下側の部分をテーブル131の上面に当接させた状態で、テーブル131に対して固定される。後述するような位置決めができていれば、入力装置200はテーブル131に載置しただけで固定していなくても機能はする。しかしながら、使用時において入力装置200は後述するようにディスプレイ110に対して予定された位置に位置決めがなされている必要があり、単にテーブル131に載置されただけだと入力装置200の位置が予定された位置からずれるおそれがあるから、この実施形態では入力装置200をテーブル131に対して固定することとしている。入力装置200のテーブル131に対する固定は、ネジ止め、接着等、公知或いは周知技術により行えば良い。
入力装置200をテーブル131に対して固定する場合、第1長辺板211、第2長辺板212、第1短辺板213、及び第2短辺板214が、テーブル131の上面に露出しているディスプレイ110の画面111を囲むようにする。また、入力装置200のフレーム210とディスプレイ110の画面とが、相対的に、予定された位置関係となるようにして両者を固定する(
図9参照)。
また、入力装置200のコンピュータと、ATMの情報処理装置120とを、例えば、図示を省略のケーブルで接続することにより、入力装置200のコンピュータから情報処理装置120へと操作データを送信できる状態とする。両者の間での操作データの送受信を無線で行うのであれば、無線で操作データの送受信を行えるように、情報処理装置120と入力装置200との少なくとも一方で必要な設定を行う。
この状態でユーザは、ATMが備える画面111上の空間(概ね、画面111上で鏡221、及び鏡222が側方に存在する範囲の空間のうち、光面Pよりも下方の空間)で、ホバー入力を行えるようになる。ユーザには、指先が光る位置よりもディスプレイ110の画面111に指を近づければ、指先を画面111に触れずともホバー入力を行えることを、何らかの方法で予め告げておくと良い。
【0030】
この実施形態では、カメラ240は常時動画像を撮像しており、動画像データが常時カメラ240からコンピュータに送られている。もっとも、カメラ240は、ユーザがホバー入力を行う可能性のある時間帯のみ、例えば、ユーザが取引を開始してから(例えば、キャッシュカードがATMに入れられてから)、取引が終了するまでの間のみ、動画像を撮像して、動画像データをコンピュータに送るようになっていても構わない。これは、光源11についても同様である。光源11も、ユーザが取引を開始してから、取引が終了するまでの間のみ光を照射するようになっていても構わない。また、入力支援機構が用いられる対象がATMでない場合には、例えば、公知或いは周知の人感センサによってホバー入力が行われる装置に人が近づいたときのみ光源11が発光するようになっていても良いし、また、カメラ240に指が写り込んだことをきっかけとして、それまで消灯していた光源11が発光するようになっていてもよい。、カメラ240に指が写り込んだことをきっかけとして、それまで消灯していた光源11が発光するという光源11の制御は、入力支援機構が用いられる対象がATMである場合にももちろん応用可能である。例えば、操作データ生成部322に光源11の点灯、消灯の処理を行わせることが可能である。もちろん、操作データ生成部322がそのような処理を行うのであれば、入力装置200に設けられたコンピュータのインタフェイス315と光源11とを、図示せぬケーブルで結んでおくことが必要となるであろう。
いずれにせよ、光源11が発光すると、既に説明したようにして光面Pが生成されることになる。光面Pは、この実施形態では、光源11が消灯するまで、一定の状態を保つ。
【0031】
カメラ240が動画像を撮像することによって生成された動画像データは、カメラ240からコンピュータへと送られる。これには限られないが、この実施形態では、カメラ240から図示せぬケーブルを通り、端子、インタフェイス315を経ることにより、動画像データはコンピュータ内の入力部321へと至る。動画像データは、入力部321から操作データ生成部322へと送られる。
【0032】
カメラ240が撮像する動画像の撮像範囲は、例えば、画面111上の上述したホバー入力を行える空間である、フレーム210内の画面111から第1距離よりも離れていない空間のすべてを含み、この実施形態では画面111も含む。また、動画の撮像範囲には、鏡221及び鏡222の鏡面の全体が含まれる。
フレーム210内の空間に、フレーム210の孔215Aを介してユーザの指が入ってきた場合の動画像データによって特定される動画像中の画像がどのようなものとなるかを、
図9、
図10を例として説明する。なお、
図9、10では、入力支援機構(光源11と、拡散部材12)の図示を省略している。
例えば、
図9中Fの符号が付されたのがユーザの指であるが、その位置に指Fがある場合、画像には、直接カメラ240に至った指Fからの像光L0による指が写り込む。また、画像には、鏡221又は鏡222の鏡面に1回反射されることによってカメラ240に至った指Fからの像光F11、F12による指が写り込む。更に、画像には、鏡221及び鏡222の鏡面にそれぞれ1回ずつ、合計2回反射されることによってカメラ240に至った指Fからの像光F21、F22による指が写り込む。つまり、カメラ240で撮像される画像には、指Fが5本写り込むことになり、また、画像中に写り込む指Fは、それぞれ異なる方向から撮像されることになる。
また、
図10に示した位置に指Fがある場合、画像には、直接カメラ240に至った指Fからの像光L0による指のみが写り込むことになる。なぜなら、鏡221、鏡222で反射された像光は、カメラ240に近い位置にある指Fによって遮られ、カメラ240に至ることができないからである。
以上の説明から明らかなように、指Fが画面111上のどの位置に存在するかということと、動画像データによって特定される動画像を構成する各画像(フレームごとの静止画)中に写り込んだ指の状態とは、一対一対応したものとなる。つまり、指のX座標とY座標の組合せと、動画像を構成する各画像中に写り込んだ指の状態とは、一対一対応する。
したがって、画面111とフレーム210との相対的位置が予定された関係になっていることが前提となるが、両者が予定された関係にある場合における、画面111の座標ごと(X座標とY座標の組合せごと)に、その座標に指があるときの指が写り込んだ画像の例(或いはモデル)を座標データ記録部323に記録しておけば、操作データ生成部322は、ある時点においてカメラ240から受取った動画像データによって特定される動画像中の画像に写り込んだ指の状態(指の数と、各指の位置と、必要であれば向き)と、座標データ記録部323に記録されていた上述のデータとを比較することによって、その時点において指がその直上に存在する画面111上の座標、つまり、指のX座標及びY座標を特定することが可能となる。なお、座標データ記録部323に記録されるべき、上述の、座標と指が写り込んだ画像の例とを紐付けたデータが、座標データである。
このようにして、ユーザの指の位置についてのX座標及びY座標の組合せについての座標データが、ユーザが入力装置200を用いて入力を行っている間中、常に操作データ生成部322で生成されることになる。
【0033】
そして、この実施形態では、ユーザの指が第1距離よりもディスプレイ110の画面111に近づき、そして所定の時間、例えば0.3秒以上そこにとどまった後にディスプレイ110の画面111から離れた場合に、ユーザの指がとどまっていたその箇所に対応する画面111に接触したものとみなすこととしている。操作データ生成部322は、上述のようにして指がディスプレイ110の画面111から離れた場合、とどまっていたその指の位置を示す座標データとその座標データによって特定される場所をユーザがタッチしたことを示す情報とを、セットにしたデータとして、操作データを生成する。この操作データは、一般的なタッチパネルを用いて入力できる、座標データ+ユーザがその座標にタッチしたことを示すデータの組とまったく同じものとすることができる。
指がディスプレイ110の画面111から離れたことを検出するには、画面111からの距離をZ座標とするのであれば、Z座標を検出することが必要である。もっともZ座標は、画像中に写り込んでいる指の像のうち、ユーザの指から直接カメラ240に至った像光による指の像の先端から画像中に写り込んでいる画面111までの距離から容易に特定することが可能である。この実施形態では、指先の位置の座標データが生成されている間中ずっと、操作データ生成部322は、指先の位置のZ座標の検出を行うようになっている。それにより、指先がディスプレイ110の画面111から離れたことを、操作データ生成部322は検知可能となっている。
【0034】
ここで、ユーザは、第1距離まで指を近づけると、指先が光面Pを横切るため指先が光る。したがって、指先が光ったことを視認しつつ指先をディスプレイ110の画面111に近づけ、そして、そこで例えば0.3秒指を静止させてから指を画面111から遠ざけることにより、確実に入力を行うことが、つまり、操作データ生成部322に操作データを生成させることが可能となる。
【0035】
操作データは、操作データ生成部322から出力部324に送られ、出力部324から、インタフェイス315、図示せぬ端子及びケーブルを経て情報処理装置120へと送られる。操作データを受取った情報処理装置120は、その操作データに基づいて、必要な情報処理を実行する。
上述の如き、画面のX座標及びY座標と、その座標にタッチされたことを示すデータの組合せである操作データは、上述のようにディスプレイ110がタッチパネルである場合に、ディスプレイ110から情報処理装置120へ入力されるデータとまったく同じものとすることができる。したがって、情報処理装置120は、ディスプレイ110に表示する画像にもまったく変更を加えなくとも、というより、ATMの全体に入力装置200との接続を行う以外の修正を加えなくとも、入力装置200から入力される操作データに基づいて、従来どおりの情報処理を行うことができる。
ユーザが入力装置200による入力を終えたら、光源11は消灯する。
【0036】
なお、上述の例では、操作データ生成部322は、その時点の画像に写り込んだ指の像のうちのユーザの指から直接カメラ240に至った像光による指の像と、画面111までの距離から、指の先端のZ座標を特定することとしていた。
しかしながら、発光体231、232が、
図5(B)、(C)に示したようなものである場合には、指の像(ユーザの指から直接カメラ240に至った像光による指の像には限らない。)により、どの発光体231、232が隠れているかということによっても、そのときの指の先端のZ座標を特定することが可能である。
したがって、座標データ記録部323に記録された上述した座標データに、更に、発光体231、232の写り込みパターンのデータまで加えることによって、操作データ生成部322は、動画像データによって特定される動画像中の各フレームの画像において写り込んでいる発光体231、232それぞれの位置や数に基づいて、ユーザの指の先端のZ座標を特定することも可能である。
【0037】
座標データ記録部323に記録する座標データは、例えば、指の位置するX座標とY座標の組と、その時点における指が写り込んだカメラ240で撮像された画像との組合せを教師データとして、コンピュータにディープランニングさせることによって生成された学習済みデータとして生成することも可能である。もちろんディープランニングさせるために用いられる画像のデータは、画面111とフレーム210とを予定された相対的な位置関係とした状況で得られたものとする。
その場合、操作データ生成部322は人工知能として機能して、動画像データから、その時点における指の先端のX座標、Y座標、Z座標を特定することができるようになる。
【0038】
<変形例1>
変形例1で説明するのも、第1実施形態と同様に、ATMに入力装置200を取付けたものである。ATM、入力装置200ともに変形例1と第1実施形態とで殆ど違いはない。第1実施形態と変形例1とで異なるのは、操作データ生成部322の機能と、光源11の点灯の仕方である。
第1実施形態では、光面Pは、ユーザが入力を行っている間中、言い換えれば、光源11が点灯している間中一定の状態を保つようになっていた。また、第1実施形態の入力装置200では、ユーザが入力を行っている間、或いは、光源11が点灯している間中、操作データ生成部322は、指先のX座標、Y座標、及びZ座標を検出し続けるようになっていた。
また、第1実施形態では、ユーザは、常時点灯している光源11からの光によって生じている光面Pを横切ることによって光る指先を視認することにより、指先が、操作データを入力装置200から情報処理装置120に入力させることが可能な程度にディスプレイ110の画面111に近づいていることを確認することができるようになっている。
【0039】
ところで、ユーザが入力装置200を用いた入力を行っている最中に、指先が画面111に近づきすぎ、指先を画面111に接触させてしまう場合があり得る。また、指先とディスプレイ110の画面111との距離に応じて入力されるデータを異ならせる処理を行う等の事情により、ユーザに、指先が光面Pよりもディスプレイ110の画面111に近づいたこと、或いは指先とディスプレイ110の画面111との距離が第1距離よりも短くなったことを知らせたいような場合もあり得る。
これを可能とするため、この実施形態では、ユーザの指先が、第1距離よりも短い第2距離(例えば、第1距離の1/2~1/3の距離)よりも画面111に近づいた場合には、光源11からの光の照射の状態を変化させることとしている。
変形例1でも第1実施形態の場合と同様に、操作データ生成部322は、指先のX座標、Y座標、及びZ座標を検出し続ける。そして、変形例1の操作データ生成部322は、指先とディスプレイ110の画面111との距離が第2距離よりも短くなったことを指先の位置のZ座標から検出したときに、近接データを生成するようになっている。この近接データは、出力部324、入力装置200に設けられたコンピュータのインタフェイス315、及びインタフェイス315と光源11とを結ぶ図示を省略のケーブルを介して、光源11へと送られる。そうすると、光源11は、光の照射の状態を変化させる。光源11における光の照射の状態の変化の例は、光の点滅、可視光領域における光の波長の変更、又は光の強度の変更とすることができる。光が点滅すれば、光面Pは点滅して、光面Pを指先が横切ったときに指先に生じる光が点滅することになる。光の波長を変更させれば、光面Pを指先が横切ったときに指先に生じてユーザが視認することになる光の色が変化することとなる。また、光の強度を変化させれば、光面Pを指先が横切ったときに指先に生じる光の強さが変化する。
【0040】
このように、変形例1によれば、ユーザの指先が第1距離よりもディスプレイ110の画面111に近づいたときにまず、指先が一定の状態で光り、そして、指先が第2距離よりもディスプレイ110の画面111に近づいたときに、指先がそれとは異なる状態で光ることになる。そのような指先に生じる光の状態の変化を視認することにより、ユーザは、指先とディスプレイ110の画面111との間の距離を直感的に認識できるようになる。
なお、変形例1では、指先とディスプレイ110の画面111との距離について第1距離と第2距離という2つの距離を設定し、光源11の発光のさせ方を2種類に変化させることとしたが、距離の設定を3種類或いはそれ以上とし、光源11の発光のさせかたを3種類或いはそれ以上とすることももちろん可能である。
【0041】
<変形例2>
変形例2で説明するのも、第1実施形態と同様に、ATMに入力装置200を取付けたものである。ATM、入力装置200ともに変形例2と第1実施形態とで殆ど違いはない。第1実施形態と変形例2とで異なるのは、第1実施形態では、1組の光源11及び拡散部材12で構成されていた入力支援機構が、変形例2では光源11、13及び拡散部材12、14という2組の光源及び拡散部材によって構成されている、という点である。
光源13及び拡散部材14は、光源11及び拡散部材12が作る光面Pよりディスプレイ110の画面111に近い位置に、光面Pとは別の、光面Pと平行な光面P1を生成するためのものである(
図11、12参照)。光面P1は、例えば、光面Pと同様に、正面から見た場合におけるディスプレイ110の画面111の全体を覆うように形成され、これには限られないが、変形例2では、フレーム210の内側一杯に広がるようにされる。
光源13及び拡散部材14はそれが可能な限り適当に設計することができ、例えば、光源11及び拡散部材12と同じものとすることができる。変形例2における光源13及び拡散部材14は、光源11及び拡散部材12と同じものであるが、ただし、光源13と光源11が発する光の波長はいずれも可視光領域に属するものの、必ずしもそうする必要はないが、両者の波長は異なるものとされている。或いは、光源11と光源13は、同じ波長の光を照射するものの、発する光の強度が異なっていても良い。また、光源13及び拡散部材14は、光源11及び拡散部材12の直下であって、例えば、変形例1で説明した第2距離に対応する位置に設けられている。
【0042】
このような2組の光源11、13及び拡散部材12、14を備える入力装置200にてユーザが入力を行う場合、ユーザの指先がディスプレイ110の画面111に近づいていく過程でディスプレイ110の画面111までの距離が第1距離よりも短くなると、光面Pを横切ることによりユーザの指先が光る。また、ユーザの指先からディスプレイ110の画面111までの距離が第2距離よりも短くなると、ユーザの指先は、光面Pと光面P1の双方を横切ることになるので、指先の発光の状態が、指先が光面Pのみを横切っていた場合とは異なるものとなる。
このように、変形例2によれば、ユーザの指先が第1距離よりもディスプレイ110の画面111に近づいたときと、ユーザの指先が第2距離よりもディスプレイ110の画面111に近づいたときとで、指先に生じる光の状態が変化することになる。したがって、指先に生じる光の状態の変化を視認することにより、ユーザは、変形例1の場合と同様に、指先とディスプレイ110の画面111との間の距離を直感的に認識できるようになる。しかも、変形例2では、光面Pと光面P1を横切ったときに指先にそれぞれ生じる光の色が異なるので、ユーザは、上述の視認を行いやすい。
【0043】
≪第2実施形態≫
第2実施形態でも、第1実施形態と同様にATMに入力装置200を組合わせる。
ATMに取付けて用いられる入力装置200には、第1実施形態の場合と同様に構成された入力支援機構が組込まれている。
第1実施形態の入力装置200は、カメラ240と2つの鏡221、222によって、入力中の指先の位置のX座標及びY座標を特定するものとなっていた。第2実施形態の入力装置200は、第1実施形態の入力装置200と同様に入力中の指先の位置のX座標及びY座標を特定するものとなっているが、指先の位置のX座標及びY座標を特定するための原理、仕組みが第1実施形態の場合と異なる。
第1実施形態の入力装置200と同様に、第2実施形態の入力装置200はフレーム210を備えている。第2実施形態におけるフレーム210は、第1実施形態のフレーム210と同様に構成されている。
しかしながら、第2実施形態のフレーム210の内側には、代位1実施形態で存在したカメラ240も鏡221、222も、また、発光体231、232も存在しない。その代わりに、第2実施形態の入力装置200におけるフレーム210の内面には、多数の発光部291と、受光部292とが設けられている(
図13、
図14)。
【0044】
発光部291は、第1長辺板211の内側と、第1短辺板213の内側とにそれぞれ多数設けられている。第1長辺板211に設けられる発光部291はいずれも、
図14における上下方向を高さとした場合において、同じ高さ位置に位置するようにして、第1長辺板211の長さ方向において等間隔に取付けられている。また、第1短辺板213に設けられる発光部291はいずれも、同じ高さ位置に位置するようにして、第1短辺板213の長さ方向において等間隔に取付けられている。第1長辺板211の内側と、第1短辺板213の内側とにそれぞれ多数設けられる発光部291は、必ずしも同じ高さ位置に存在する必要はないが、この実施形態では同じ高さ位置に位置するようにされている。
発光部291は、直線光を発する光源である。発光部291は、光を発するようにされており、例えば、不可視領域の波長の光である赤外線を発するようにされている。発光部291は、それが取付けられている第1長辺板211又は第1短辺板213の内面に垂直な方向に、対面する第2長辺板212又は第2短辺板214に向けて直線光を発するようになっている。
受光部292は、第2長辺板212の内側と、第2短辺板214の内側とにそれぞれ多数設けられている。
第2長辺板212に設けられる受光部292の数は、第1長辺板211に設けられる発光部291の数と同数であり、両者にそれぞれ設けられる受光部292と発光部291は一対一対応している。一対一対応する発光部291と受光部292とは、第1長辺板211の背面から見た場合に、丁度対応する位置に位置している。それにより、第1長辺板211に設けられた発光部291から出た赤外線は、第2長辺板212に設けられた、その赤外線を発した発光部291に一対一対応した受光部292によって受けられるようになっている。
第2短辺板214に設けられる受光部292の数は、第1短辺板213に設けられる発光部291の数と同数であり、両者にそれぞれ設けられる受光部292と発光部291は一対一対応している。一対一対応する発光部291と受光部292とは、第1短辺板213の背面から見た場合に、丁度対応する位置に位置している。それにより、第1短辺板213に設けられた発光部291から出た赤外線は、第2短辺板214に設けられた、その赤外線を発した発光部291に一対一対応した受光部292によって受けられるようになっている。
各受光部292は、発光部291が発した光をその時点で受信しているか、受信していないかを検知し、光の受信状態を示すデータを生成するようになっている。
入力装置200を用いてユーザが入力を行うとき、すべての発光部291は、対応する受光部292に向けて赤外線を発する。それにより、平面視した場合のフレーム210の内側には、縦横に走る赤外線によって形成されるマトリクスが形成される。
図13、14において、Rの符号が付されているのが直線光である赤外線であり、赤外線Rに付された矢印は、赤外線Rの進行方向を示している。
入力装置200を用いて入力を行うユーザの指先がフレーム210内に入って来て、縦横、例えば1本ずつの赤外線Rを遮断すると、遮断された赤外線Rを受けていた受光部292は、赤外線Rを受けない状態となる。そうすると、それまで光(赤外線R)を受信していることを示すデータを生成していた受光部292は、光を受信していないことを示すデータを生成するようになる。
したがって、第2長辺板212にある受光部292のうちどれが光を受信していない状態になったかと、第2短辺板214にある受光部292のうちどれが光を受信していない状態になったかということを検出することにより、ディスプレイ110の画面に対する指先の位置、つまり、指先のX座標とY座標とを検出することが可能となる。
【0045】
第2実施形態における入力装置200にも、入力支援機構が設けられている。第2実施形態における入力支援機構は、第1実施形態の場合と同様に、光源11と拡散部材12とを含んで構成されている(
図14参照)。なお、
図13では、入力支援機構の図示を省略している。
第2実施形態における入力支援機構は、第1実施形態の場合と同様に、入力装置200が取付けられる装置に設けられたディスプレイ110の画面111と平行な光面Pを生成する。これには限られないが、第2実施形態における光面Pは、第1実施形態における光面Pと同様に、フレーム210の内側一杯に広がるようになっている。
上述したように、第2実施形態の入力装置200では、マトリクス状に張り巡らされた赤外線Rのうち縦横のどの赤外線Rが指先によって遮断されたかによって、指先のX座標とY座標とを検出することができる。したがって、指先を、少なくともマトリクス状に張り巡らされた赤外線Rの位置までディスプレイ110の画面に近づけないと、ユーザは、第2実施形態による入力装置200による入力を行えない。この場合には、マトリクス状に張り巡らされた赤外線Rが存在する位置から、ディスプレイ110の画面111までの距離が、本願発明における第1距離となる。
光面Pは、ディスプレイ110の画面111からの距離が第1距離と同じかそれよりも短くなるような位置に設けられる。
図14に示した例では、光面Pは、ディスプレイ110の画面111から第1距離離れた位置よりもやや画面111に近い位置に位置している。ユーザが指先で光面Pを横切ると、第1実施形態の場合と同様に指先が光るので、ユーザは指先が光ることを視認することができる。指先が光っている状態が生じているとき、ユーザの指はその手前にあるマトリクス状の赤外線Rをかならず横切っている。したがって、指先が光っていることを確認しながらユーザが入力装置200の操作を行えば、指先がマトリクス状に張り巡らされた赤外線Rに届いていないことによって生じる誤入力や入力ミスを生じさせることなく、確実な入力を実現できることとなる。
【0046】
≪第3実施形態≫
第3実施形態では、入力支援装置500について説明する。
第3実施形態における入力支援装置500は、NISSHA株式会社や、株式会社ジャパンディスプレイによって製造販売され、或いは発表されている、ディスプレイの画面111とユーザの指との間に生じる僅かな静電容量の変化を検出することによって、ディスプレイに対する入力を行おうとしているユーザの指のディスプレイ上での座標を検出する機能を有するディスプレイに組合せて用いられる。つまり、この実施形態における入力支援機構500が用いられるディスプレイは、第1実施形態における入力装置200自体、或いは入力装置200の機能を内包している。
しかしながら、このようなディスプレイを用いて入力を行おうとしてもユーザは、画面111からどの程度の距離まで指を近づければ、ディスプレイが指の座標を検知することが可能かをにわかには知ることができない。
そのような不具合を解決すべく第3実施形態の入力支援装置500は使用される。
【0047】
入力支援装置500は、照射部510と、固定部520とを備えている。
照射部510は、第1実施形態で説明した光源11及び拡散部材12を内蔵しており、平面状の光、要するに第1実施形態における光面Pに相当する光を射出する機能を有している。
固定部520は、照射部510を、ディスプレイの画面111に対して位置決めした状態で、ディスプレイに対して直接的、或いは他の部材を介して間接的に固定する機能を有している。固定部520は例えば棒状である。また、固定部520は、画面111から照射部510までの距離を可変として構成するのが望ましい。
入力支援装置500は、照射部510が画面111に対して適宜の位置になるようにして、固定部520を用いてディスプレイに対して固定した状態で用いる。その状態で、照射部510は、ディスプレイの画面111に対して指先を近づけた場合においてディスプレイが指先の位置を検知できる位置と同じか、それよりも画面111に近い位置に、光面Pを形成する。光面Pは、例えば、正面からディスプレイの画面111を見た場合において、画面111の全体を覆うような範囲に形成される。
光面Pを横切ることによって指先が光っていることを確認しながら指先をディスプレイの画面111に近づけてディスプレイに対して入力を行えば、ディスプレイは指先の位置を確実に特定することができるため、誤入力や入力ミスが生じることがない。
【符号の説明】
【0048】
11 光源
12 拡散部材
110 ディスプレイ
111 画面
131 テーブル
200 入力装置
210 フレーム
221 鏡
222 鏡
231 発光体
232 発光体
240 カメラ
321 入力部
322 操作データ生成部
323 座標データ記録部
324 出力部