特開 2024-29268 操作入力装置及びキャリブレーション方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024029268

(43)【公開日】2024-03-06

(54)【発明の名称】操作入力装置及びキャリブレーション方法

(51)【国際特許分類】

   G06F 3/0346 20130101AFI20240228BHJP

   G06F 3/0488 20220101ALI20240228BHJP

   G06F 3/041 20060101ALI20240228BHJP

   G06F 3/042 20060101ALI20240228BHJP

【ＦＩ】

G06F3/0346 421

G06F3/0488

G06F3/041 580

G06F3/042 470

G06F3/041 520

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2020212714

(22)【出願日】2020-12-22

(71)【出願人】

【識別番号】000148689

【氏名又は名称】株式会社村上開明堂

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100182006

【弁理士】

【氏名又は名称】湯本 譲司

(72)【発明者】

【氏名】有江 巧

【テーマコード（参考）】

5B087

5E555

【Ｆターム（参考）】

5B087AA02

5B087AA07

5B087AB16

5B087AD02

5B087CC09

5B087CC33

5B087DD09

5B087DE02

5B087DJ03

5E555AA15

5E555AA71

5E555BA32

5E555BB32

5E555BC13

5E555BE08

5E555BE16

5E555CA13

5E555CA41

5E555CB33

5E555CC05

5E555DA03

5E555DB20

5E555DC43

5E555EA11

5E555FA00

(57)【要約】

【課題】複数の使用者のそれぞれの特性に合わせて高精度にキャリブレーションを行うことができる操作入力装置及びキャリブレーション方法を提供する。
【解決手段】一実施形態に係る操作入力装置において、計算部は、第１ボタンが押されたときにおける第１論理エリアの所定位置に対する対象物の位置である第１位置、第２ボタンが押されたときにおける第２論理エリアの所定位置に対する対象物の位置である第２位置、及び、第３ボタンが押されたときにおける第３論理エリアの所定位置に対する対象物の位置である第３位置、から対象物の基準位置を計算する。
【選択図】図４

【特許請求の範囲】

【請求項1】

光を照射して情報を画像として表示する表示装置と、
前記画像に接近する対象物の位置を検出するセンサと、
前記センサによって検出された対象物の位置から前記対象物の基準位置を計算する計算部と、
を備え、
前記表示装置は、
前記センサが前記画像における前記対象物の位置を検出するための第１論理エリアに含まれる第１ボタンを表示し、
前記センサが前記画像における前記対象物の位置を検出するための第２論理エリアに含まれる第２ボタンを前記第１論理エリアとは異なる場所に表示し、
前記センサが前記画像における前記対象物の位置を検出するための第３論理エリアに含まれる第３ボタンを前記第１論理エリア及び前記第２論理エリアとは異なる場所に表示し、
前記計算部は、
前記第１ボタンが押されたときにおける前記第１論理エリアの所定位置に対する前記対象物の位置である第１位置、前記第２ボタンが押されたときにおける前記第２論理エリアの所定位置に対する前記対象物の位置である第２位置、及び、前記第３ボタンが押されたときにおける前記第３論理エリアの所定位置に対する前記対象物の位置である第３位置、から前記対象物の基準位置を計算する、
操作入力装置。

【請求項2】

前記表示装置からの光を複数回反射させて前記画像を表示する空中結像デバイスを備え、
前記空中結像デバイスは、空中に虚像として前記画像を表示する、
請求項１に記載の操作入力装置。

【請求項3】

前記表示装置によって表示される前記画像は、複数の領域に分割されており、
前記第１ボタンが表示される前記領域、前記第２ボタンが表示される前記領域、及び、前記第３ボタンが表示される前記領域、が互いに異なる、
請求項１又は２に記載の操作入力装置。

【請求項4】

前記操作入力装置の外部の機器に制御信号を出力して前記機器の動作を制御する信号出力部を備え、
前記信号出力部は、前記第１ボタンが押されたとき、前記第２ボタンが押されたとき、及び、前記第３ボタンが押されたとき、のそれぞれにおいて前記機器に制御信号を出力する、
請求項１～３のいずれか一項に記載の操作入力装置。

【請求項5】

表示装置によって表示された画像に接近する対象物の位置から前記対象物の基準位置を計算するキャリブレーション方法であって、
前記表示装置が前記画像として第１論理エリアに含まれる第１ボタンを表示する工程と、
前記対象物によって前記第１ボタンが押されたときにおける前記第１論理エリアの所定位置に対する前記対象物の位置である第１位置を計算する工程と、
前記表示装置が前記画像として第２論理エリアに含まれる第２ボタンを前記第１論理エリアとは異なる場所に表示する工程と、
前記対象物によって前記第２ボタンが押されたときにおける前記第２論理エリアの所定位置に対する前記対象物の位置である第２位置を計算する工程と、
前記表示装置が前記画像として第３論理エリアに含まれる第３ボタンを前記第１論理エリア及び前記第２論理エリアとは異なる場所に表示する工程と、
前記対象物によって前記第３ボタンが押されたときにおける前記第３論理エリアの所定位置に対する前記対象物の位置である第３位置を計算する工程と、
前記第１位置、前記第２位置、及び前記第３位置から前記対象物の基準位置を計算する工程と、を備える、
キャリブレーション方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、操作入力装置及びキャリブレーション方法に関する。

【背景技術】

【0002】

特開２０１７－１６５１６号公報には、キャリブレーション操作を行う入力装置が記載されている。入力装置は、表示部と、タッチパネルと、制御部と、処理部とを備える。処理部は、座標変換部と、判定部と、表示制御部と、キャリブレーション処理部と、設定部と、出力部とを備える。表示部は操作をタッチ入力するための操作画面であり、複数のボタン画像を含む。タッチパネルは、抵抗膜式とされており、表示部に重ねて配置される。タッチパネルは、表示部に対するユーザのタッチ位置を検出する。

【0003】

キャリブレーション処理部は、表示部に対するユーザのタッチ入力に基づいて、タッチ位置と対応位置との間の位置ずれ量を検出する。そして、キャリブレーション処理部は、その検出した位置ずれ量を相殺するように、座標変換部が座標変換の際に参照する所定の変換規則を補正する。

【0004】

表示画面は、複数のボタン画像を有する。複数のボタン画像のうちの特定のボタン画像は基準位置を含む。ユーザが特定のボタン画像をタッチすると、タッチパネルがそのタッチに対するタッチ位置として検出位置を定める。そして、座標変換部が所定の変換規則を参照して当該検出位置を対応位置に座標変換する。当該対応位置が特定のボタン画像に含まれると、判定部は当該特定のボタンに対してタッチ入力が行われたと判定する。

【0005】

また、キャリブレーション処理部は、特定のボタン画像に対してタッチ入力が行われると、そのタッチ入力をキャリブレーション操作として利用して位置ずれ補正を行う。キャリブレーション処理部は、特定のボタン画像に対するタッチ位置に対する対応位置と基準位置との差分を求める。そして、キャリブレーション処理部は、求めた差分を相殺するように、座標変換部が座標変換で参照する所定の変換規則を補正する。従って、基準位置と対応位置との間の位置ずれが補正される。その結果、タッチ位置と対応位置との間の位置ずれが補正される。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１７－１６５１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、指等の対象物で画像を押して操作を実行する操作入力装置の場合、画像に表示されたボタンの位置と、指等の対象物によって押される位置とを合わせる処理であるキャリブレーションが必要となりうる。また、操作入力装置は、複数の使用者によって使用されることがある。この場合、例えば、指の太さ又はボタンに対する指の角度等が使用者によって異なるので、使用者によってボタンの押される位置が変わりうる。

【0008】

操作する使用者ごとにキャリブレーションを行えば、使用者によってボタンの押される位置が変わっても、複数の使用者に対して高精度な操作を実現できる。しかしながら、前述したように、求めた差分を相殺するように座標変換で参照する所定の変換規則を補正するだけでは、高精度なキャリブレーションを実現できない場合がある。従って、複数の使用者のそれぞれの特性に合わせて高精度にキャリブレーションを行うことが求められる。

【0009】

本開示は、複数の使用者のそれぞれの特性に合わせて高精度にキャリブレーションを行うことができる操作入力装置及びキャリブレーション方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

本開示に係る操作入力装置は、光を照射して情報を画像として表示する表示装置と、画像に接近する対象物の位置を検出するセンサと、センサによって検出された対象物の位置から対象物の基準位置を計算する計算部と、を備え、表示装置は、センサが画像における対象物の位置を検出するための第１論理エリアに含まれる第１ボタンを表示し、センサが画像における対象物の位置を検出するための第２論理エリアに含まれる第２ボタンを第１論理エリアとは異なる場所に表示し、センサが画像における対象物の位置を検出するための第３論理エリアに含まれる第３ボタンを第１論理エリア及び第２論理エリアとは異なる場所に表示し、計算部は、第１ボタンが押されたときにおける第１論理エリアの所定位置に対する対象物の位置である第１位置、第２ボタンが押されたときにおける第２論理エリアの所定位置に対する対象物の位置である第２位置、及び、第３ボタンが押されたときにおける第３論理エリアの所定位置に対する対象物の位置である第３位置、から対象物の基準位置を計算する。

【0011】

この操作入力装置では、表示装置が光を照射して情報を画像として表示し、画像に接近する指等の対象物の位置をセンサが検出する。操作入力装置は計算部を備え、計算部はセンサによって検出された対象物の位置から対象物の基準位置を計算する。このように計算部が対象物の基準位置を計算することにより、画像に表示されたボタンに対する対象物の押下位置を基準位置としてキャリブレーションすることができる。従って、対象物で操作する使用者ごとにキャリブレーションを行うことができるので、複数の使用者に対して高精度な操作を実現できる。また、表示装置は、第１論理エリアに含まれる第１ボタンを表示し、第２論理エリアに含まれる第２ボタンを第１論理エリアとは異なる場所に表示し、第３論理エリアに含まれる第３ボタンを第１論理エリア及び第２論理エリアとは異なる場所に表示する。計算部は、第１論理エリアの所定位置に対する対象物の第１位置、第２論理エリアの所定位置に対する対象物の第２位置、及び、第３論理エリアの所定位置に対する対象物の第３位置、から対象物の基準位置を計算する。計算部は、対象物による画像の押下位置である第１位置、第２位置及び第３位置から基準位置を計算するので、３点の位置を基に高精度にキャリブレーションを行うことができる。従って、複数の使用者の特性に合わせて高精度にキャリブレーションを行うことができる。

【0012】

前述した操作入力装置は、表示装置からの光を複数回反射させて画像を表示する空中結像デバイスを備え、空中結像デバイスは、空中に虚像として画像を表示してもよい。この場合、空中に虚像として表示される画像に対しても高精度にキャリブレーションを行うことができる。従って、虚像として浮き出たように表示される表示面に対する操作性を向上させることができる。

【0013】

表示装置によって表示される画像は、複数の領域に分割されていてもよく、第１ボタンが表示される領域、第２ボタンが表示される領域、及び、第３ボタンが表示される領域、が互いに異なってもよい。この場合、第１ボタンが表示される領域、第２ボタンが表示される領域、及び第３ボタンが表示される領域、を互いに離間させることができるので、３点の位置からより高精度にキャリブレーションを行うことができる。

【0014】

前述した操作入力装置は、操作入力装置の外部の機器に制御信号を出力して機器の動作を制御する信号出力部を備えてもよく、信号出力部は、第１ボタンが押されたとき、第２ボタンが押されたとき、及び、第３ボタンが押されたとき、のそれぞれにおいて機器に制御信号を出力してもよい。この場合、第１ボタン、第２ボタン及び第３ボタンのそれぞれを押すたびに信号出力部が機器に制御信号を出力するので、使用者による機器の操作と同時にキャリブレーションを行うことができる。従って、更なる操作性の向上に寄与する。

【0015】

本開示に係るキャリブレーション方法は、表示装置によって表示された画像に接近する対象物の位置から対象物の基準位置を計算するキャリブレーション方法であって、表示装置が画像として第１論理エリアに含まれる第１ボタンを表示する工程と、対象物によって第１ボタンが押されたときにおける第１論理エリアの所定位置に対する対象物の位置である第１位置を計算する工程と、表示装置が画像として第２論理エリアに含まれる第２ボタンを第１論理エリアとは異なる場所に表示する工程と、対象物によって第２ボタンが押されたときにおける第２論理エリアの所定位置に対する対象物の位置である第２位置を計算する工程と、表示装置が画像として第３論理エリアに含まれる第３ボタンを第１論理エリア及び第２論理エリアとは異なる場所に表示する工程と、対象物によって第３ボタンが押されたときにおける第３論理エリアの所定位置に対する対象物の位置である第３位置を計算する工程と、第１位置、第２位置、及び第３位置から対象物の基準位置を計算する工程と、を備える。

【0016】

このキャリブレーション方法では、表示装置が第１論理エリアに含まれる第１ボタンを表示し、計算部が第１論理エリアの所定位置に対する対象物の第１位置を計算する。表示装置が第２論理エリアに含まれる第２ボタンを表示し、計算部が第２論理エリアの所定位置に対する対象物の第２位置を計算する。表示装置が第３論理エリアに含まれる第３ボタンを表示し、計算部が第３論理エリアの所定位置に対する対象物の第３位置を計算する。そして、計算部は、対象物の第１位置、第２位置及び第３位置から対象物の基準位置を計算する。従って、前述した操作入力装置と同様、計算部が、対象物による画像の押下位置である第１位置、第２位置及び第３位置から基準位置を計算するので、３点の位置を基に高精度にキャリブレーションを行うことができる。その結果、複数の使用者の特性に合わせて高精度にキャリブレーションを行うことができる。

【発明の効果】

【0017】

本開示によれば、複数の使用者のそれぞれの特性に合わせて高精度にキャリブレーションを行うことができる。

【図面の簡単な説明】

【0018】

【図1】実施形態に係る操作入力装置を模式的に示す斜視図である。

【図2】実施形態に係る操作入力装置の内部構造を模式的に示す断面図である。

【図3】実施形態に係る操作入力装置の機能を示すブロック図である。

【図4】実施形態に係るキャリブレーション方法の工程を示すフローチャートである。

【図5】実施形態に係るキャリブレーション方法の一工程を示す図である。

【図6】（ａ）、（ｂ）及び（ｃ）は、実施形態に係るキャリブレーション方法で用いられる論理エリア及びボタンを示す図である。

【図7】実施形態に係るキャリブレーション方法の一工程を示す図である。

【図8】実施形態に係るキャリブレーション方法の一工程を示す図である。

【図9】実施形態に係るキャリブレーション方法の一工程を示す図である。

【図10】実施形態に係るキャリブレーション方法の一工程を示す図である。

【図11】実施形態に係るキャリブレーション方法の一工程を示す図である。

【発明を実施するための形態】

【0019】

以下では、本開示に係る操作入力装置の実施形態について図面を参照しながら説明する。図面の説明において同一又は相当する要素には同一の符号を付し、重複する説明を適宜省略する。また、図面は、理解の容易化のため、一部を簡略化又は誇張して描いている場合があり、寸法比率及び角度等は図面に記載のものに限定されない。

【0020】

図１は、実施形態に係る一例としての操作入力装置１を示す斜視図である。一例としての操作入力装置１は、現金自動預け払い機（ＡＴＭ：Automated teller Machine）に付属して設けられる。操作入力装置１は、空中に表示される虚像の表示面である画像１０を使用者に向けて表示する。画像１０は操作入力装置１における機器の操作画面である。一例としての操作入力装置１は、柱状を呈する。操作入力装置１は、第１方向Ｄ１、第２方向Ｄ２及び第３方向Ｄ３に延在する。

【0021】

第１方向Ｄ１は操作入力装置１の奥行方向（前後方向）に相当し、第２方向Ｄ２は操作入力装置１の幅方向に相当し、第３方向Ｄ３は操作入力装置１の高さ方向に相当する。一例として、操作入力装置１の第３方向Ｄ３の長さ（高さ）は、操作入力装置１の第１方向Ｄ１の長さ（奥行）、及び操作入力装置１の第２方向Ｄ２の長さ（幅）よりも長い。これにより使用者に対する画像１０の視認性を一層高めることが可能となる。しかしながら、操作入力装置１の第１方向Ｄ１の長さ、操作入力装置１の第２方向Ｄ２の長さ、及び操作入力装置１の第３方向Ｄ３の長さ、の関係は上記の例に限られず特に限定されない。

【0022】

以降では、説明の便宜のため、操作入力装置１から見て使用者側に向けられる方向を前又は前側、操作入力装置１から見て使用者の反対側に向けられる方向を後又は後側と称することがある。しかしながら、これらの方向は、説明の便宜上のものであり、部品の配置等を限定するものではない。

【0023】

図２は、操作入力装置１の内部構造の例を示す縦断面図である。図１及び図２に示されるように、操作入力装置１は、操作入力装置１の外面を構成する筐体２を備える。筐体２は、例えば、鉛直上方を向く上面２ｂと、第２方向Ｄ２に沿って並ぶ一対の側面２ｃと、第１方向Ｄ１の一方側を向く前面２ｄと、第１方向Ｄ１の他方側を向く背面２ｆと、鉛直下方を向く下面２ｇとを有する。更に、筐体２は、前面２ｄの上側に位置する傾斜面２ｈを有する。

【0024】

傾斜面２ｈには、例えば、後に詳述する空中結像デバイス１４が露出する矩形状の開口が形成されている。傾斜面２ｈは、例えば、斜め上方に向けられている。空中結像デバイス１４によって結像される画像１０は、傾斜面２ｈよりも使用者寄りの位置に表示されるので、画像１０の視認性を高めることができる。

【0025】

操作入力装置１は、空中にボタン１１付きの画像１０を表示する。例えば、画像１０のボタン１１は、現金自動預け払い機を操作するためのボタンである。ボタン１１付きの画像１０は、空中に浮き出るように表示される空中浮遊像である。すなわち、ボタン１１付きの画像１０は、空中に虚像として表示される。よって、操作入力装置１の使用者は、直接タッチパネル等に触れなくて済むため衛生的に現金自動預け払い機を操作することが可能である。

【0026】

例えば、画像１０には複数回ボタン１１が表示され、使用者がボタン１１を複数回操作することによって現金自動預け払い機を操作することが可能である。具体例として、ボタン１１を押すことによって、現金自動預け払い機に対して引き落としの金額、預け入れの金額、振込金額又は暗証番号を指定することが可能となる。筐体２には、例えば、ボタン１１に接近する対象物Ｆを検出するセンサ３が埋め込まれている。本開示において、「対象物」とは、ボタン１１を操作して現金自動預け払い機等の機器を動作させるものを示しており、例えば、使用者の指を示している。

【0027】

センサ３は、例えば、ボタン１１に対応して設けられており、ボタン１１はセンサ３の斜め上方に表示される。ボタン１１及びセンサ３の数は、単数であってもよいし、複数のであってもよい。画像１０は、空中結像デバイス１４よりも使用者寄りの位置に表示され、且つ空中結像デバイス１４の斜め上方に表示される。これにより、使用者にとって画像１０を視認しやすく表示することができる。

【0028】

例えば、画像１０は光って表示されてもよく、この場合、周囲の明るさにかかわらず容易に画像１０を視認することができる。画像１０は、例えば、縦に長く延びる形状を呈する。一例として、画像１０は矩形状に表示され、画像１０の縦方向の長さは画像１０の横方向の長さよりも長い。しかしながら、画像１０の形状及び大きさは上記の例に限られず特に限定されない。画像１０は、ボタン１１以外のものを表示してもよい。例えば、画像１０は、複数のボタン１１と文字情報とを含んでもよい。文字情報は、一例として、ボタン１１の操作に関する情報、日付情報及び時刻情報の少なくともいずれかを含んでもよい。ボタン１１の形状は、例えば、四角形状である。しかしながら、ボタン１１の形状は、円形状、長円形状、又は多角形状であってもよく、特に限定されない。

【0029】

操作入力装置１は、ボタン１１付きの画像１０を虚像として表示する空中結像デバイス１４と、筐体２の内部に配置された表示装置１５と、制御部２０とを備える。空中結像デバイス１４及び表示装置１５は、画像１０を虚像として空中に表示する虚像表示部に相当する。空中結像デバイス１４は、例えば、筐体２の傾斜面２ｈに形成された開口に固定されている再帰反射部材（再帰反射鏡）である。

【0030】

表示装置１５は、空中結像デバイス１４に対して斜めに配置されている。一例として、表示装置１５は液晶ディスプレイ（ＬＣＤ）である。表示装置１５は、筐体２の内部における空中結像デバイス１４の後方位置に配置されている。表示装置１５は、画像を表示するスクリーンを有する。表示装置１５のスクリーンは、例えば、空中結像デバイス１４に向けて斜め下方に画像としての光Ｃを照射する。空中結像デバイス１４は、表示装置１５からの光Ｃを空中結像デバイス１４の内部において複数回（例えば２回）反射し、使用者から見て空中結像デバイス１４よりも手前側の空間に画像１０を結像する。

【0031】

センサ３は、例えば、筐体２の傾斜面２ｈにおいて斜め上方を向くように露出していてもよい。一例として、センサ３は、深度センサである。例えば、センサ３は、ボタン１１から延びる仮想直線上、すなわち、虚像であるボタン１１に対して正面位置に設けられる。センサ３は、当該仮想直線に対して垂直な面における対象物Ｆの位置（２次元位置）の情報と、センサ３から対象物Ｆまでの距離Ｋの情報とを含む距離画像データを取得する。

【0032】

センサ３は、例えば、取得した距離画像データを所定の周期（例えば１／３０秒）で制御部２０に出力する。具体例として、センサ３は、対象物Ｆを含む撮影領域内に存在する物体上の各点に光線（又は赤外線）を照射し、物体上の各点から反射した光線を受光する。そして、センサ３は、受光した光線に基づいてセンサ３と物体上の各点との距離を測定し、測定した距離を画素毎に出力する。センサ３と物体上の各点との距離は、例えばＬｉｇｈｔ Ｃｏｄｉｎｇ方式によって測定されてもよい。

【0033】

Ｌｉｇｈｔ Ｃｏｄｉｎｇ方式では、センサ３は、対象物Ｆを含む撮影領域内に存在する物体上の各点にランダムドットパターンで光線を照射する。そして、センサ３は、物体上の各点から反射した光線を受光し、反射した光線のパターンの歪みを検出することによって、センサ３と物体上の各点との距離を測定する。センサ３は、物体上の各点の２次元位置の情報と、センサ３から物体上の各点までの距離の情報とを複数の画素として検出し、検出した複数の画素を制御部２０に出力する。

【0034】

制御部２０は、センサ３及び表示装置１５のそれぞれと通信可能とされている。制御部２０は、例えば、プログラムを実行するＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read OnlyMemory）及びＲＡＭ（Random Access Memory）を含む記憶部と、入出力部と、ドライバとを含む。制御部２０の各機能は、ＣＰＵの制御の下で入出力部を動作させ、記憶部におけるデータの読み出し又は書き込みを行うことによって実現される。制御部２０の形態及び配置場所については特に限定されない。

【0035】

図３は、制御部２０の機能ブロック図である。図２及び図３に示されるように、制御部２０は、機能的構成要素として、画像出力部２１と、対象物検出部２２と、認識部２３と、信号出力部２４と、通知部２５と、計算部２６とを有する。画像出力部２１は、表示装置１５に表示させる画像の画像データの制御信号を表示装置１５に出力する。表示装置１５は、画像出力部２１からの画像データの制御信号に基づいて、様々な種類の画像を表示することが可能である。

【0036】

対象物検出部２２は、センサ３から出力される距離画像データに基づいて対象物Ｆを検出する。対象物検出部２２は、対象物Ｆを検出すると、対象物Ｆの位置を示す位置データを認識部２３に出力する。認識部２３は、対象物検出部２２から出力された位置データに基づいて、対象物Ｆによってボタン１１が押されたことを認識する。

【0037】

認識部２３は、対象物検出部２２によって検出された対象物Ｆの位置に基づいて、対象物Ｆによってボタン１１が押されたかどうかを判定する。具体的には、認識部２３は、センサ３と対象物Ｆとの距離Ｋが閾値Ｙ以下であるか否かを判定する。そして、認識部２３は、距離Ｋが閾値Ｙ以下であると判定したときに、対象物Ｆが仮想の押下判定面Ｚに到達し、ボタン１１が押されたと判定する。

【0038】

押下判定面Ｚは、センサ３からの距離が一定である部位に形成された仮想の面である。例えば、押下判定面Ｚは、ボタン１１の近接位置に設けられる。押下判定面Ｚの位置は、ボタン１１の位置と一致していてもよいし、ボタン１１から所定距離だけ離間した位置であってもよい。

【0039】

通知部２５は、ボタン１１が押されたと認識部２３が認識したときに認識部２３から操作信号を受信する。通知部２５は、ボタン１１が操作されたと認識部２３が認識したときに、ボタン１１が操作されたことを操作入力装置１の使用者に通知する通知手段である。通知部２５は、例えば、音声出力部２５ｂと、色彩変更部２５ｃとを有する。

【0040】

一例として、音声出力部２５ｂは、スピーカであり、認識部２３から操作信号を受信したときに音声を出力する。音声出力部２５ｂからの音声を使用者が聞くことにより、使用者はボタン１１が操作された旨を把握可能となる。色彩変更部２５ｃは、例えば、認識部２３から操作信号を受信したときに色彩変更信号を生成し、色彩変更信号を表示装置１５に出力する。

【0041】

表示装置１５は、色彩変更部２５ｃから色彩変更信号を受信すると、例えば、使用者が押下したボタン１１の色彩を変更する。ボタン１１の色彩が変更されたことを使用者が視認することにより、使用者はボタン１１が操作された旨を把握可能となる。なお、表示装置１５は、色彩変更部２５ｃから色彩変更信号を受信したときに、ボタン１１以外の箇所の色彩を変更してもよい。

【0042】

以上の通知部２５を備えることにより、使用者はボタン１１が操作された旨を把握できる。しかしながら、通知部２５では、音声出力部２５ｂ及び色彩変更部２５ｃの少なくともいずれかが省略されてもよい。また、通知部２５は、音声出力部２５ｂによる音声出力、又は色彩変更部２５ｃによる色彩変更、とは異なる態様でボタン１１が操作された旨を使用者に通知してもよい。

【0043】

信号出力部２４は、ボタン１１が押されたと認識部２３が認識したときに、ボタン１１の押下操作に基づく制御信号を生成する。信号出力部２４は、生成した制御信号を操作入力装置１の外部の機器（例えば前述した現金自動預け払い機）に送信し、制御信号を機器に送信することによって機器を動作させる。機器が現金自動預け払い機である場合には、現金の引き落とし、現金の預け入れ、振り込み、又は暗証番号の指定操作が実行される。

【0044】

計算部２６は、対象物Ｆの基準位置を計算する。本開示において、「対象物の基準位置」とは、操作入力装置の使用者ごとに定められる対象物の押下傾向位置（ボタンのどの部分を押す傾向があるか）を示している。計算部２６が対象物Ｆの基準位置を計算することにより、複数の使用者におけるボタン１１が押される位置の個人差を補正することが可能となる。すなわち、ボタン１１の押下位置のキャリブレーションを使用者ごとに行うことが可能となる。

【0045】

以下では、本実施形態に係るキャリブレーション方法の例について図４を参照しながら説明する。図４は、計算部２６の計算によって対象物Ｆの基準位置を計算する方法の各工程の例を示すフローチャートである。初期動作として、まず図５に示されるように、制御部２０は表示装置１５に領域Ａ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７、Ａ８，Ａ９に分割された画像１０を表示させる。このように、表示装置１５は画像１０を９つの領域に分けて表示する。なお、分割された領域Ａ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７、Ａ８，Ａ９は使用者には視認されない。

【0046】

また、操作入力装置１では、計算部２６による対象物Ｆの基準位置の計算にあたり、図６（ａ）に示されるように、論理エリア１２に含まれたボタン１１がＧＵＩパーツとして用いられる。論理エリア１２は、画像１０における対象物Ｆの位置を検出するための領域であり、例えば、ボタン１１を囲むように形成されている。

【0047】

図６（ｂ）に示されるように、例えば、論理エリア１２は、四角形状とされており、２本の対角線Ｌが交わる点である所定位置１１ｂ（後述する所定位置ＰＸ１、所定位置ＰＸ２、所定位置ＰＸ３に相当）を備える。所定位置１１ｂは、例えば、ボタン１１の中心位置を示している。また、図６（ｃ）に示されるように、論理エリア１２は、操作入力装置の使用者には視認されない。

【0048】

以上のボタン１１及び論理エリア１２を用いて、制御部２０は、図７及び図８に示されるように、表示装置１５に第１論理エリア１２Ａに含まれる第１ボタン１１Ａを表示させる（第１ボタンを表示する工程、ステップＳ１）。例えば、表示装置１５は、文字情報１３と共に、領域Ａ８に第１論理エリア１２Ａに含まれる第１ボタン１１Ａを表示する。このとき、第１論理エリア１２Ａも領域Ａ８の内部に配置される。また、第１ボタン１１Ａは、例えば、操作開始ボタンである。

【0049】

続いて、図９に示されるように、対象物Ｆによって第１ボタン１１Ａが押されたときに、第１論理エリア１２Ａの所定位置ＰＸ１に対する対象物Ｆの位置である第１位置Ｐ１を計算部２６が計算する（第１位置を計算する工程、ステップＳ２）。なお、対象物Ｆによって第１ボタン１１Ａが押されなくても第１論理エリア１２Ａの範囲内の領域が押された場合には、計算部２６が計算を行うが、第１論理エリア１２Ａよりも外側が押された場合には、この押下操作は無効な操作として扱われる。一例として、計算部２６は、所定位置ＰＸ１よりも右下の位置を対象物Ｆによって押された第１位置Ｐ１として計算し、制御部２０の記憶部が第１位置Ｐ１を記憶する。

【0050】

次に、図１０に示されるように、制御部２０は、表示装置１５に第２論理エリア１２Ｂに含まれる第２ボタン１１Ｂ１，１１Ｂ２を表示させる（第２ボタンを表示する工程、ステップＳ３）。図１０の例のように、表示装置１５は複数の第２ボタンを表示してもよい。例えば、表示装置１５は、文字情報１７と共に、領域Ａ６に第２論理エリア１２Ｂに含まれる第２ボタン１１Ｂ１，１１Ｂ２を表示する。なお、表示装置１５が第２ボタン１１Ｂ１，１１Ｂ２を表示する領域は、前述した領域Ａ８以外の領域であればよいが、領域Ａ８と同一の行又は同一の列でない領域（例えば領域Ａ１、領域Ａ４、領域Ａ３又は領域Ａ６）であることがより好ましい。

【0051】

例えば、第２ボタン１１Ｂ１が押されたときに、信号出力部２４が操作入力装置１の外部の機器に第２ボタン１１Ｂ１に応じた制御信号を出力し、操作入力装置１の外部の機器が操作される。また、第２ボタン１１Ｂ１が押されたときに、第２論理エリア１２Ｂの所定位置ＰＸ２に対する対象物Ｆの位置である第２位置Ｐ２を計算部２６が計算する（第２位置を計算する工程、ステップＳ４）。

【0052】

例えば、計算部２６は、所定位置ＰＸ２よりも右上の位置を対象物Ｆによって押された第２位置Ｐ２として計算し、制御部２０の記憶部が第２位置Ｐ２を記憶する。また、対象物Ｆによって第２ボタン１１Ｂ１，１１Ｂ２が押されなくても第２論理エリア１２Ｂの範囲内の領域が押された場合には、計算部２６が計算を行うが、第２論理エリア１２Ｂよりも外側が押された場合には、この押下操作は無効な操作として扱われる。

【0053】

続いて、図１１に示されるように、制御部２０は、表示装置１５に第３論理エリア１２Ｃに含まれる第３ボタン１１Ｃ１,１１Ｃ２を表示させる（第３ボタンを表示する工程、ステップＳ５）。例えば、表示装置１５は、文字情報１６と共に、領域Ａ１に第３論理エリア１２Ｃに含まれる第３ボタン１１Ｃ１，１１Ｃ２を表示する。表示装置１５が第３ボタン１１Ｃ１，１１Ｃ２を表示する領域は、前述した領域Ａ８又は領域Ａ６以外の領域であればよいが、領域Ａ８又は領域Ａ６と同一の行又は同一の列でない領域であることがより好ましい。

【0054】

例えば、第３ボタン１１Ｃ２が押されたときに、信号出力部２４が操作入力装置１の外部の機器に第３ボタン１１Ｃ２に応じた制御信号を出力し、操作入力装置１の外部の機器が操作される。信号出力部２４が操作入力装置１の外部の機器に第３ボタン１１Ｃ２に応じた制御信号が出力され、操作入力装置１の外部の機器が操作される。

【0055】

また、第３ボタン１１Ｃ２が押されたときに、第３論理エリア１２Ｃの所定位置ＰＸ３に対する対象物Ｆの位置である第３位置Ｐ３を計算部２６が計算する（第３位置を計算する工程、ステップＳ６）。例えば、計算部２６は、所定位置ＰＸ３よりも右下の位置を対象物Ｆによって押された第３位置Ｐ３として計算し、制御部２０の記憶部が第３位置Ｐ３を記憶する。なお、対象物Ｆによって第３ボタン１１Ｃ１，１１Ｃ２が押されなくても第３論理エリア１２Ｃの範囲内の領域が押された場合には、計算部２６が計算を行うが、第３論理エリア１２Ｃよりも外側が押された場合には、この押下操作は無効な操作として扱われる。

【0056】

その後、計算部２６は、制御部２０の記憶部に記憶されている第１位置Ｐ１、第２位置Ｐ２及び第３位置Ｐ３から対象物Ｆの基準位置を計算する。一例として、計算部２６は、所定位置ＰＸ１よりも右下の第１位置Ｐ１、所定位置ＰＸ２よりも右上の第２位置Ｐ２、及び所定位置ＰＸ３よりも右下の第３位置Ｐ３から、論理エリア１２の所定位置１１ｂの右側部分を基準位置として計算する。その後、一連の工程が完了し、例えば、所定位置１１ｂの右側部分を基準位置としてその後の対象物Ｆによるボタン１１の押下操作が実行される。

【0057】

次に、本実施形態に係る操作入力装置１及びキャリブレーション方法から得られる作用効果について説明する。本実施形態に係る操作入力装置１及びキャリブレーション方法では、表示装置１５が光Ｃを照射して情報を画像１０として表示し、画像１０に接近する指等の対象物Ｆの位置をセンサ３が検出する。操作入力装置１は計算部２６を備え、計算部２６はセンサ３によって検出された対象物Ｆの位置から対象物Ｆの基準位置を計算する。このように計算部２６が対象物Ｆの基準位置を計算することにより、画像１０に表示されたボタン１１に対する対象物Ｆの押下位置を基準位置としてキャリブレーションすることができる。

【0058】

従って、対象物Ｆで操作する使用者ごとにキャリブレーションを行うことができるので、複数の使用者に対して高精度な操作を実現できる。また、表示装置１５は、第１論理エリア１２Ａに含まれる第１ボタン１１Ａを表示し、第２論理エリア１２Ｂに含まれる第２ボタン１１Ｂ１，１１Ｂ２を第１論理エリア１２Ａとは異なる場所に表示し、第３論理エリア１２Ｃに含まれる第３ボタン１１Ｃ１，１１Ｃ２を第１論理エリア１２Ａ及び第２論理エリア１２Ｂとは異なる場所に表示する。

【0059】

計算部２６は、第１論理エリア１２Ａの所定位置ＰＸ１に対する対象物Ｆの第１位置Ｐ１、第２論理エリア１２Ｂの所定位置ＰＸ２に対する対象物Ｆの第２位置Ｐ２、及び、第３論理エリア１２Ｃの所定位置ＰＸ３に対する対象物Ｆの第３位置Ｐ３、から対象物Ｆの基準位置を計算する。計算部２６は、対象物Ｆによる画像１０の実際の押下位置である第１位置Ｐ１、第２位置Ｐ２及び第３位置Ｐ３から基準位置を計算するので、３点の位置を基に高精度にキャリブレーションを行うことができる。従って、複数の使用者の特性に合わせて高精度にキャリブレーションを行うことができる。

【0060】

本実施形態に係る操作入力装置１は、表示装置１５からの光Ｃを複数回反射させて画像１０を表示する空中結像デバイス１４を備え、空中結像デバイス１４は、空中に虚像として画像１０を表示してもよい。よって、空中に虚像として表示される画像１０に対しても高精度にキャリブレーションを行うことができる。従って、虚像として浮き出たように表示される表示面である画像１０に対する操作性を向上させることができる。

【0061】

表示装置１５によって表示される画像１０は、領域Ａ１～Ａ９に分割されており、第１ボタン１１Ａが表示される領域Ａ８、第２ボタン１１Ｂ１，１１Ｂ２が表示される領域Ａ６、及び、第３ボタン１１Ｃ１，１１Ｃ２が表示される領域Ａ１、が互いに異なる。よって、第１ボタン１１Ａが表示される領域Ａ８、第２ボタン１１Ｂ１，１１Ｂ２が表示される領域Ａ６、及び第３ボタン１１Ｃ１，１１Ｃ２が表示される領域Ａ１、を互いに離間させることができるので、３点の位置からより高精度にキャリブレーションを行うことができる。

【0062】

本実施形態に係る操作入力装置１は、操作入力装置１の外部の機器に制御信号を出力して機器の動作を制御する信号出力部２４を備えてもよく、信号出力部２４は、第１ボタン１１Ａが押されたとき、第２ボタン１１Ｂ１，１１Ｂ２が押されたとき、及び、第３ボタン１１Ｃ１，１１Ｃ２が押されたとき、のそれぞれにおいて機器に制御信号を出力する。よって、第１ボタン１１Ａ、第２ボタン１１Ｂ１，１１Ｂ２及び第３ボタン１１Ｃ１，１１Ｃ２のそれぞれを押すたびに信号出力部２４が機器に制御信号を出力するので、使用者による機器の操作と同時にキャリブレーションを行うことができる。従って、更なる操作性の向上に寄与する。

【0063】

以上、本開示に係る操作入力装置の実施形態について説明した。しかしながら、本開示に係る操作入力装置は、前述した実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲において変形し、又は他のものに適用したものであってもよい。すなわち、操作入力装置の各部の構成、形状、大きさ、数、材料及び配置態様は、前述した要旨を変更しない範囲において適宜変更可能である。

【0064】

例えば、前述の実施形態では、センサ３は、センサ３と物体上の各点との距離をＬｉｇｈｔ Ｃｏｄｉｎｇ方式によって測定する例について説明したが、この方式に限定されない。例えば、センサ３は、センサ３と物体上の各点との距離を、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式によって測定してもよい。ＴＯＦ方式では、センサ３は、光線が物体上の各点で反射してセンサ３に到達するまでの光線の飛行時間（遅れ時間）を算出し、算出した飛行時間と光の速度とから、センサ３と物体上の各点との距離を測定する。このような形態であっても、前述した実施形態と同様の効果を奏する。更に、センサの種類は深度センサに限定されない。すなわち、深度センサであるセンサ３に代えて、赤外線センサ又は超音波センサ等を備えていてもよく、センサの種類は適宜変更可能である。

【0065】

また、前述の実施形態では、現金自動預け払い機に設けられる操作入力装置１について例示した。しかしながら、本開示に係る空中操作装置は、キッチン、トイレ、水回り、病院、公共機関、駅又は空港等に設けられていてもよい。例えば、キッチンに設けられる空中操作装置では、ボタン付きの表示面が空中に虚像として表示されることにより、食材が付着した指等でディスプレイに直接触れなくても、料理アプリを操作可能となる。すなわち、従来は携帯端末等のディスプレイを触るために、わざわざ手を洗ってからディスプレイに表示される料理アプリを操作していたが、本開示に係る空中操作装置では、ボタン付きの表示面が空中に虚像として表示されるので、空中のボタンを操作することによって料理アプリを操作できる。従って、わざわざ手を洗わなくても料理アプリを操作できるので、操作性が高い空中操作装置とすることができる。

【0066】

例えば、ＡＴＭ、病院、公共機関、駅又は空港に設けられる空中操作装置では、ボタン付きの表示面が空中に虚像として表示されることにより、共用のディスプレイを直接触らなくても、ＡＴＭ、又は、病院若しくは空港の受付機等の操作を行うことが可能である。従って、共用のディスプレイへの指の接触を不要とすることができるので、衛生的に操作を行うことができる。

【0067】

また、前述の実施形態では、領域を９分割（領域Ａ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７，Ａ８，Ａ９に分割）して表示する表示装置１５について説明した。しかしながら、本開示に係る表示装置は、領域を２分割以上且つ８分割以下、又は１０分割以上に分けて画像を表示してもよい。更に、表示装置が４回以上ボタンを表示し、計算部が４回以上所定位置に対する対象物の位置を計算してもよい。この場合、キャリブレーションの精度を更に高めることができる。また、前述の実施形態では、虚像を表示する空中結像デバイス１４及び表示装置１５が空中に画像１０を表示する例について説明した。しかしながら、本開示に係る操作入力装置は、空中結像デバイス１４及び表示装置１５に代えて、ディスプレイ上に画像を表示する表示装置を備えていてもよい。そして、ディスプレイの表示画面上の操作において前述したキャリブレーションが実行されてもよい。

【符号の説明】

【0068】

１…操作入力装置、２…筐体、２ｂ…上面、２ｃ…側面、２ｄ…前面、２ｆ…背面、２ｇ…下面、２ｈ…傾斜面、３…センサ、１０…画像、１１…ボタン、１１Ａ…第１ボタン、１１ｂ…所定位置、１１Ｂ１，１１Ｂ２…第２ボタン、１１Ｃ１，１１Ｃ２…第３ボタン、１２…論理エリア、１２Ａ…第１論理エリア、１２Ｂ…第２論理エリア、１２Ｃ…第３論理エリア、１３，１６，１７…文字情報、１４…空中結像デバイス、１５…表示装置、２０…制御部、２１…画像出力部、２２…対象物検出部、２３…認識部、２４…信号出力部、２５…通知部、２５ｂ…音声出力部、２５ｃ…色彩変更部、２６…計算部、Ａ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７，Ａ８，Ａ９…領域、Ｃ…光、Ｄ１…第１方向、Ｄ２…第２方向、Ｄ３…第３方向、Ｆ…対象物、Ｋ…距離、Ｌ…対角線、Ｐ１…第１位置、Ｐ２…第２位置、Ｐ３…第３位置、ＰＸ１，ＰＸ２，ＰＸ３…所定位置、Ｙ…閾値、Ｚ…押下判定面。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】