▶ 有限会社 アドリブの特許一覧 ▶ 株式会社Ｅｇｇｓの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022040865
(43)【公開日】2022-03-11
(54)【発明の名称】入力補助装置、入力装置
(51)【国際特許分類】
G06F 3/0346 20130101AFI20220304BHJP
G06T 7/20 20170101ALI20220304BHJP
【ＦＩ】
G06F3/0346 422
G06T7/20 300A
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2020145788
(22)【出願日】2020-08-31
(71)【出願人】
【識別番号】504123166
【氏名又は名称】有限会社 アドリブ
(71)【出願人】
【識別番号】310023335
【氏名又は名称】株式会社Ｅｇｇｓ
(74)【代理人】
【識別番号】100108604
【弁理士】
【氏名又は名称】村松 義人
(72)【発明者】
【氏名】加畑 健志
【テーマコード（参考）】
5B087
5L096
【Ｆターム（参考）】
5B087AA07
5B087AC02
5B087AC09
5B087CC01
5B087CC33
5L096BA08
5L096CA04
5L096CA17
5L096DA02
5L096FA69
5L096HA02
(57)【要約】
【課題】ホバー入力を行えない対象面で、ホバー入力を行えるようにする、簡単な入力補助装置を提供する。
【解決手段】入力補助装置２００は、矩形のフレーム２１０を持つ。フレーム２１０は直方体形状であり、底がなく、上面に孔２１５Ａが穿たれている。隣接する２つの辺に相当する板の内面には所定幅の鏡２２１、鏡２２２が取付けられている。フレーム２１０における鏡２２１、鏡２２２が取付けられた板同士が接する角の対角の位置にはカメラが存在する。入力補助装置２００はホバー入力を行えるようにすべき面である対象面に被せて使用される。ユーザが孔２１５Ａから指を入れると、指が直接、或いは鏡２２１、鏡２２２に反射してカメラで捉えられる。フレーム２１０に取付けられたコンピュータで略実時間で、カメラで生成された動画像データに基づき、指の位置を特定して操作データを生成する。
【選択図】図２
【解決手段】入力補助装置２００は、矩形のフレーム２１０を持つ。フレーム２１０は直方体形状であり、底がなく、上面に孔２１５Ａが穿たれている。隣接する２つの辺に相当する板の内面には所定幅の鏡２２１、鏡２２２が取付けられている。フレーム２１０における鏡２２１、鏡２２２が取付けられた板同士が接する角の対角の位置にはカメラが存在する。入力補助装置２００はホバー入力を行えるようにすべき面である対象面に被せて使用される。ユーザが孔２１５Ａから指を入れると、指が直接、或いは鏡２２１、鏡２２２に反射してカメラで捉えられる。フレーム２１０に取付けられたコンピュータで略実時間で、カメラで生成された動画像データに基づき、指の位置を特定して操作データを生成する。
【選択図】図２
【特許請求の範囲】
【請求項1】
ユーザが操作を行う対象となる、所定の形状、大きさの面である対象面、及び前記対象面に対してユーザが行った操作についてのデータである操作データを受付けて前記操作データに基づく所定の情報処理を実行する情報処理装置、と組合せて用いられる入力補助装置であって、
前記対象面を所定高さで囲むようにして前記対象面に対して位置決めして配されるフレームと、
コンピュータと、前記フレームに取付けられる２つの鏡、及びカメラと、
を備えているとともに、
前記２つの鏡は、前記フレームが前記対象面に配されたときに、前記対象面を囲む仮想の矩形の隣接する２辺に沿う位置にそれぞれ位置するとともに、前記対象面に垂直な状態で前記対象面に臨む、所定幅の鏡面をそれぞれ備えており、
前記カメラは、前記フレームが前記対象面に配されたときに、前記対象面の外側であり、且つその画角に、前記フレームに囲まれた前記対象面上の空間、及び前記２つの鏡の前記鏡面が収まるような位置に位置するとともに、動画像のデータである動画像データを出力するようになっており、
前記コンピュータは、前記フレームに囲まれた前記対象面上の空間内で動くユーザの指を含む画像についての動画像データを前記カメラから受け付け、前記フレームに囲まれた前記対象面上の空間内で動くユーザの指の位置を、前記動画像データに写り込んだユーザの指の位置、及び前記２つの鏡の鏡面に写り込んだ指の位置から特定することにより、前記対象面に対してユーザが行った操作についてのデータである操作データを生成し、前記操作データを前記情報処理装置へ出力するようになっている、
入力補助装置。
前記対象面を所定高さで囲むようにして前記対象面に対して位置決めして配されるフレームと、
コンピュータと、前記フレームに取付けられる２つの鏡、及びカメラと、
を備えているとともに、
前記２つの鏡は、前記フレームが前記対象面に配されたときに、前記対象面を囲む仮想の矩形の隣接する２辺に沿う位置にそれぞれ位置するとともに、前記対象面に垂直な状態で前記対象面に臨む、所定幅の鏡面をそれぞれ備えており、
前記カメラは、前記フレームが前記対象面に配されたときに、前記対象面の外側であり、且つその画角に、前記フレームに囲まれた前記対象面上の空間、及び前記２つの鏡の前記鏡面が収まるような位置に位置するとともに、動画像のデータである動画像データを出力するようになっており、
前記コンピュータは、前記フレームに囲まれた前記対象面上の空間内で動くユーザの指を含む画像についての動画像データを前記カメラから受け付け、前記フレームに囲まれた前記対象面上の空間内で動くユーザの指の位置を、前記動画像データに写り込んだユーザの指の位置、及び前記２つの鏡の鏡面に写り込んだ指の位置から特定することにより、前記対象面に対してユーザが行った操作についてのデータである操作データを生成し、前記操作データを前記情報処理装置へ出力するようになっている、
入力補助装置。
【請求項2】
前記仮想の矩形における前記鏡面が存在する辺と対向する辺の前記鏡面と対向する面にはそれぞれ、前記カメラで撮像されるユーザの指と背景とのコントラストを高めるための発光体が配されている、
請求項１記載の入力補助装置。
請求項１記載の入力補助装置。
【請求項3】
前記発光体は、前記鏡面と対向する前記面上に、連続する所定のパターンを形成している、
請求項２記載の入力補助装置。
請求項２記載の入力補助装置。
【請求項4】
前記仮想の矩形は、矩形である前記対象面よりも一回り大きい矩形である、
請求項１記載の入力補助装置。
請求項１記載の入力補助装置。
【請求項5】
前記対象面はディスプレイの画面であり、
前記情報処理装置は、前記ディスプレイの前記画面に表示される画像を制御するようになっている、
請求項１記載の入力補助装置。
前記情報処理装置は、前記ディスプレイの前記画面に表示される画像を制御するようになっている、
請求項１記載の入力補助装置。
【請求項6】
前記フレームは前記対象面の正面から見た場合に矩形であり、
２つの前記鏡、及び発光体は、前記フレームの内周面に取付けられている、
請求項２記載の入力補助装置。
２つの前記鏡、及び発光体は、前記フレームの内周面に取付けられている、
請求項２記載の入力補助装置。
【請求項7】
ユーザが操作を行う対象となる、所定の形状、大きさの面である対象面と、
前記対象面に対してユーザが行った操作についてのデータである操作データを受付けて前記操作データに基づく所定の情報処理を実行する情報処理装置と、
前記対象面を所定高さで囲むようにして前記対象面に対して位置決めして配されるフレーム、コンピュータ、前記フレームに取付けられる２つの鏡、及びカメラを備えている入力補助装置と、
を備えているとともに、
前記２つの鏡は、前記フレームが前記対象面に配されたときに、前記対象面を囲む仮想の矩形の隣接する２辺に沿う位置にそれぞれ位置するとともに、それらの鏡面が前記対象面に垂直な状態で前記対象面に臨むようになっている、所定幅の鏡であり、
前記カメラは、前記フレームが前記対象面に配されたときに、前記対象面の外側であり、且つその画角に、前記フレームに囲まれた前記対象面上の空間、及び前記２つの鏡の前記鏡面が収まるような位置に位置するとともに、動画像のデータである動画像データを出力するようになっており、
前記コンピュータは、前記フレームに囲まれた前記対象面上の空間内で動くユーザの指を含む画像についての動画像データを前記カメラから受け付け、前記フレームに囲まれた前記対象面上の空間内で動くユーザの指の位置を、前記動画像データに写り込んだユーザの指の位置、及び前記２つの鏡の鏡面に写り込んだ指の位置から特定することにより、前記対象面に対してユーザが行った操作についてのデータである操作データを生成し、前記操作データを前記情報処理装置へ出力するようになっている、
入力装置。
前記対象面に対してユーザが行った操作についてのデータである操作データを受付けて前記操作データに基づく所定の情報処理を実行する情報処理装置と、
前記対象面を所定高さで囲むようにして前記対象面に対して位置決めして配されるフレーム、コンピュータ、前記フレームに取付けられる２つの鏡、及びカメラを備えている入力補助装置と、
を備えているとともに、
前記２つの鏡は、前記フレームが前記対象面に配されたときに、前記対象面を囲む仮想の矩形の隣接する２辺に沿う位置にそれぞれ位置するとともに、それらの鏡面が前記対象面に垂直な状態で前記対象面に臨むようになっている、所定幅の鏡であり、
前記カメラは、前記フレームが前記対象面に配されたときに、前記対象面の外側であり、且つその画角に、前記フレームに囲まれた前記対象面上の空間、及び前記２つの鏡の前記鏡面が収まるような位置に位置するとともに、動画像のデータである動画像データを出力するようになっており、
前記コンピュータは、前記フレームに囲まれた前記対象面上の空間内で動くユーザの指を含む画像についての動画像データを前記カメラから受け付け、前記フレームに囲まれた前記対象面上の空間内で動くユーザの指の位置を、前記動画像データに写り込んだユーザの指の位置、及び前記２つの鏡の鏡面に写り込んだ指の位置から特定することにより、前記対象面に対してユーザが行った操作についてのデータである操作データを生成し、前記操作データを前記情報処理装置へ出力するようになっている、
入力装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象面に取付けることにより、対象面をホバー入力可能な面とするための入力補助装置に関する。対象面の典型例は、タッチパネルであるかを問わず、ホバー入力が不可能なディスプレイである。
【背景技術】
【0002】
液晶ディスプレイ、有機ＥＬディスプレイその他のディスプレイが広く用いられている。ディスプレイは単に画像を表示する目的で用いられる場合もあるが、ディスプレイに表示した画像に応じた何らかの入力をユーザに行わせる目的で用いられる場合も非常に多い。
例えば、デスクトップ型のパーソナルコンピュータであれば、マウスやトラックボール等のパーソナルコンピュータ及びディスプレイとは別の製品であるアクセサリを介した入力をユーザに行わせることが多いが、ノートブック型のパーソナルコンピュータの場合には、それが備えるディスプレイをタッチパネルとすることにより、アクセサリを介さない入力を、ユーザのディスプレイの画面に対する接触によって行わせることが一般的になって来つつあり、また、スマートフォン、タブレット等では、タッチパネルであるディスプレイに接触させることによってユーザに入力を行わせることが殆どとなっている。
例えば、デスクトップ型のパーソナルコンピュータであれば、マウスやトラックボール等のパーソナルコンピュータ及びディスプレイとは別の製品であるアクセサリを介した入力をユーザに行わせることが多いが、ノートブック型のパーソナルコンピュータの場合には、それが備えるディスプレイをタッチパネルとすることにより、アクセサリを介さない入力を、ユーザのディスプレイの画面に対する接触によって行わせることが一般的になって来つつあり、また、スマートフォン、タブレット等では、タッチパネルであるディスプレイに接触させることによってユーザに入力を行わせることが殆どとなっている。
【0003】
ディスプレイをタッチパネルとすることによって実現されるタッチパネルからの入力は、アクセサリの準備及びその操作を不要とするものであり、そして何より、ディスプレイの画面に表示されたボタンなどをユーザがタッチすることにより入力を行うことができるため直感的な操作が可能となるので便利である。
このような事情から、ディスプレイをタッチパネルとすることによる、タッチパネルを介しての入力は、ATM（automated/automatic teller machine、現金自動預け払い機）や、券売機、コンビニエンスストアのレジスター等の、公共向けの装置のディスプレイにも広く採用されている。
このような事情から、ディスプレイをタッチパネルとすることによる、タッチパネルを介しての入力は、ATM（automated/automatic teller machine、現金自動預け払い機）や、券売機、コンビニエンスストアのレジスター等の、公共向けの装置のディスプレイにも広く採用されている。
【0004】
公共向けの装置が備えるディスプレイをタッチパネルとすることにより実現される上述の如きタッチパネルを介しての入力は便利ではあるものの、一部のユーザにはよく思われていない。一部のユーザは、不特定多数の人間が触り得るタッチパネルを自分も触らなければならないのは不潔であると嫌悪する。
特に、新型コロナウイルスの感染が広まった昨今においては、清潔か不潔かという問題を超え、新型コロナウイルスへの、或いは他のウイルス等への感染を避けるため、タッチパネルに触ることを極度に嫌うユーザが現れている。また、そこまで強い嫌悪感を抱かないユーザであっても、もし可能なのであれば、タッチパネルに触らないで入力を行いたいと希望する者が確実に増えている。
また、ユーザがタッチパネルに触れるのを嫌悪していない場合であっても、例えば料理その他の作業をしているため、或いは手袋をしているためにユーザがタッチパネルに触れない場合、又は手袋をしているためユーザがタッチパネルに対して触れてもタッチパネルが反応しない場合もある。
特に、新型コロナウイルスの感染が広まった昨今においては、清潔か不潔かという問題を超え、新型コロナウイルスへの、或いは他のウイルス等への感染を避けるため、タッチパネルに触ることを極度に嫌うユーザが現れている。また、そこまで強い嫌悪感を抱かないユーザであっても、もし可能なのであれば、タッチパネルに触らないで入力を行いたいと希望する者が確実に増えている。
また、ユーザがタッチパネルに触れるのを嫌悪していない場合であっても、例えば料理その他の作業をしているため、或いは手袋をしているためにユーザがタッチパネルに触れない場合、又は手袋をしているためユーザがタッチパネルに対して触れてもタッチパネルが反応しない場合もある。
【0005】
もちろん、タッチパネルとしてのディスプレイの中には、既に実用化されているが、ホバー入力を行えるものがある。ホバー入力とは、タッチパネルの画面前面の所定距離の空間を指で触れることにより、タッチパネルを介しての入力を行う入力の仕組みである。タッチレスタイプのタッチパネル等とも称される、非接触での入力が可能なホバー入力の行えるタイプのディスプレイは、タッチパネルであるディスプレイに触ることなく入力を行いたいという需要に応えるものである。
しかしながら、ホバー入力を行えるタッチパネルはその殆どが専用のディスプレイを含む構成で実用化されており、高価である。
しかしながら、ホバー入力を行えるタッチパネルはその殆どが専用のディスプレイを含む構成で実用化されており、高価である。
【発明の概要】
【発明が解決しようとする課題】
【0006】
したがって、街中に既に溢れているタッチパネルタイプのディスプレイをホバー入力を行えるようにするには、技術的側面に着目すればディスプレイ自体をすべて、ホバー入力を行える専用のディスプレイに入れ替えるとうのが原則である。しかしながら、それにかかるコストは非常に大きい。
他方、タッチパネルでないディスプレイを、出荷後にタッチパネルとして機能させるためのモジュールが既に提案されており、そのようなモジュールを用いることにより、タッチパネルですらない一般的なディスプレイを、タッチパネルどころかホバー入力を行えるタッチパネルとして機能させることも考えられる。しかしながら、そのようなモジュールは、ディスプレイの画面の前に来た指の位置を検出するために赤外線、音波、レーザー等を用いることが一般的であり、原理上殆どの場合、一般的なホバー入力の場合に要求される程度に画面から離れた指の位置を検出できないから、ホバー入力に応用するのはやはり難しい。
他方、タッチパネルでないディスプレイを、出荷後にタッチパネルとして機能させるためのモジュールが既に提案されており、そのようなモジュールを用いることにより、タッチパネルですらない一般的なディスプレイを、タッチパネルどころかホバー入力を行えるタッチパネルとして機能させることも考えられる。しかしながら、そのようなモジュールは、ディスプレイの画面の前に来た指の位置を検出するために赤外線、音波、レーザー等を用いることが一般的であり、原理上殆どの場合、一般的なホバー入力の場合に要求される程度に画面から離れた指の位置を検出できないから、ホバー入力に応用するのはやはり難しい。
【0007】
本願発明は、基本的には、かかる問題を解決すること、つまり、既存のディスプレイ（タッチパネルであってもそうでなくても良いが、ホバー入力を行えないディスプレイである。）を、ホバー入力を行えるように改良するための技術を提案するものである。
しかしながら、かかる技術を開発している最中に、本願発明者は、既存のディスプレイでホバー入力を実現させることを可能とするような技術が存在するのであれば、ユーザが操作を行う対象となる、所定の形状、大きさの面である面（本願では、「対象面」と称する。）が、例えば、木材の板の表面や、普通の紙の表面であっても、その対象面からのホバー入力が可能となる、ということに気づいた。
本願発明は、ホバー入力を本来なら行えない所定の対象面からのホバー入力を可能とするための技術を提供することをその課題とする。
しかしながら、かかる技術を開発している最中に、本願発明者は、既存のディスプレイでホバー入力を実現させることを可能とするような技術が存在するのであれば、ユーザが操作を行う対象となる、所定の形状、大きさの面である面（本願では、「対象面」と称する。）が、例えば、木材の板の表面や、普通の紙の表面であっても、その対象面からのホバー入力が可能となる、ということに気づいた。
本願発明は、ホバー入力を本来なら行えない所定の対象面からのホバー入力を可能とするための技術を提供することをその課題とする。
【課題を解決するための手段】
【0008】
上述の課題を解決するために、本願発明者は、以下の発明を提案する。
本願発明は、ユーザが操作を行う対象となる、所定の形状、大きさの面である対象面、及び前記対象面に対してユーザが行った操作についてのデータである操作データを受付けて前記操作データに基づく所定の情報処理を実行する情報処理装置、と組合せて用いられる入力補助装置である。
この入力補助装置は、前記対象面を所定高さで囲むようにして前記対象面に対して位置決めして配されるフレームと、コンピュータと、前記フレームに取付けられる２つの鏡、及びカメラと、を備えている。
入力補助装置における前記２つの鏡は、前記フレームが前記対象面に配されたときに、前記対象面を囲む仮想の矩形の隣接する２辺に沿う位置にそれぞれ位置するとともに、前記対象面に垂直な状態で前記対象面に臨む、所定幅（鏡面の画面に垂直な方向の長さを鏡面の「幅」と称している。）の鏡面（一般的には、細長い鏡面）をそれぞれ備えている。また、前記カメラは、前記フレームが前記対象面に配されたときに、前記対象面の外側であり、且つその画角に、前記フレームに囲まれた前記対象面上の空間、及び前記２つの鏡の前記鏡面が収まるような位置に位置するとともに、動画像のデータである動画像データを出力するようになっている。そして、前記コンピュータは、前記フレームに囲まれた前記対象面上の空間内で動くユーザの指を含む画像についての動画像データを前記カメラから受け付け、前記フレームに囲まれた前記対象面上の空間内で動くユーザの指の位置を、前記動画像データに写り込んだユーザの指の位置、及び前記２つの鏡の鏡面に写り込んだ指の位置から特定することにより、前記対象面に対してユーザが行った操作についてのデータである操作データを生成し、前記操作データを前記情報処理装置へ出力するようになっている。
本願発明は、ユーザが操作を行う対象となる、所定の形状、大きさの面である対象面、及び前記対象面に対してユーザが行った操作についてのデータである操作データを受付けて前記操作データに基づく所定の情報処理を実行する情報処理装置、と組合せて用いられる入力補助装置である。
この入力補助装置は、前記対象面を所定高さで囲むようにして前記対象面に対して位置決めして配されるフレームと、コンピュータと、前記フレームに取付けられる２つの鏡、及びカメラと、を備えている。
入力補助装置における前記２つの鏡は、前記フレームが前記対象面に配されたときに、前記対象面を囲む仮想の矩形の隣接する２辺に沿う位置にそれぞれ位置するとともに、前記対象面に垂直な状態で前記対象面に臨む、所定幅（鏡面の画面に垂直な方向の長さを鏡面の「幅」と称している。）の鏡面（一般的には、細長い鏡面）をそれぞれ備えている。また、前記カメラは、前記フレームが前記対象面に配されたときに、前記対象面の外側であり、且つその画角に、前記フレームに囲まれた前記対象面上の空間、及び前記２つの鏡の前記鏡面が収まるような位置に位置するとともに、動画像のデータである動画像データを出力するようになっている。そして、前記コンピュータは、前記フレームに囲まれた前記対象面上の空間内で動くユーザの指を含む画像についての動画像データを前記カメラから受け付け、前記フレームに囲まれた前記対象面上の空間内で動くユーザの指の位置を、前記動画像データに写り込んだユーザの指の位置、及び前記２つの鏡の鏡面に写り込んだ指の位置から特定することにより、前記対象面に対してユーザが行った操作についてのデータである操作データを生成し、前記操作データを前記情報処理装置へ出力するようになっている。
【0009】
この入力補助装置は、上述したように、対象面、及び情報処理装置と組合せて用いられる。
対象面は、所定の形状、大きさの面であり、対象面に対してユーザはホバー入力を行う。対象面はホバー入力を行えないディスプレイの画面（タッチパネルであってもそうでなくても良い。）であっても構わないし、本来なら入力の機能を持たない単なる面であっても構わない。例えば、木材や金属によって形成された面、或いは紙面である。対象面がディスプレイの画面である場合には、ユーザが入力を行うための目安となる画像、例えば、テンキーや、上下左右の矢印、「確認」、「次へ」、「Ｙｅｓ」、「Ｎｏ」等の文字が記されたボタンなどが、画面に表示される。他方、対象面が本来なら入力の機能を持たない単なる面である場合には、対象面には、ユーザが入力を行うための目安となる上述の如き画像が、例えば印刷や浮出し文字等によって記されている。対象面は、矩形であっても良いが、そうでなくても良い。また、対象面には多少の凹凸があっても構わない。もっとも、許容される凸部の突出量は、後述する鏡面の幅よりもある程度小さくなければならない。
情報処理装置は、対象面に対してユーザが行った操作についてのデータである操作データを受付けて操作データに基づく所定の情報処理を実行する。操作データは、後述するようにして、入力補助装置が生成する。それを受付けて情報処理装置は何らかの情報処理を行うが、情報処理装置が実行する情報処理には特に制限がない。
対象面は、所定の形状、大きさの面であり、対象面に対してユーザはホバー入力を行う。対象面はホバー入力を行えないディスプレイの画面（タッチパネルであってもそうでなくても良い。）であっても構わないし、本来なら入力の機能を持たない単なる面であっても構わない。例えば、木材や金属によって形成された面、或いは紙面である。対象面がディスプレイの画面である場合には、ユーザが入力を行うための目安となる画像、例えば、テンキーや、上下左右の矢印、「確認」、「次へ」、「Ｙｅｓ」、「Ｎｏ」等の文字が記されたボタンなどが、画面に表示される。他方、対象面が本来なら入力の機能を持たない単なる面である場合には、対象面には、ユーザが入力を行うための目安となる上述の如き画像が、例えば印刷や浮出し文字等によって記されている。対象面は、矩形であっても良いが、そうでなくても良い。また、対象面には多少の凹凸があっても構わない。もっとも、許容される凸部の突出量は、後述する鏡面の幅よりもある程度小さくなければならない。
情報処理装置は、対象面に対してユーザが行った操作についてのデータである操作データを受付けて操作データに基づく所定の情報処理を実行する。操作データは、後述するようにして、入力補助装置が生成する。それを受付けて情報処理装置は何らかの情報処理を行うが、情報処理装置が実行する情報処理には特に制限がない。
【0010】
対象面、及び情報処理装置と組合せて用いられる入力補助装置は、対象面を所定高さで囲むようにして対象面に対して位置決めして配されるフレームと、コンピュータと、フレームに取付けられる２つの鏡、及びカメラを備えている。
フレームは、対象面を所定高さで囲むようにして対象面に対して位置決めして配される。なお、ここでいう「高さ」は上下方向とは限らず、対象面に垂直な方向での長さを意味する。対象面上のフレームで囲まれた空間（より正確には、後述する鏡面の幅の高さ方向に対応した空間）が、ユーザがホバー入力を行うことが予定された空間となる。したがって、ユーザがどのような操作をしたかを特定するために、その空間内でのユーザの指の位置を略実時間で特定する必要がある。その特定は後述するようにして行われる。なお、フレームが対象面に配されたときにおける、対象面の前方向から見た場合のフレームの形状は、対象面の形状と同じである必要はない。例えば、フレームが矩形で、対象面が円形のように、両者がまったく異なる形状であっても構わない。ただし、対象面はフレームに囲まれる必要がある。また、フレームが対象面に配されるとき、フレームは対象面に対して固定されてもされなくても良い。
フレームに取付けられている２つの鏡は、フレームが対象面に配されたときに、対象面を囲む仮想の矩形の隣接する２辺に沿う位置にそれぞれ位置するとともに、対象面に垂直な状態で前記対象面に臨む、所定幅の例えば細長い鏡面をそれぞれ備えている。鏡面の幅は、フレームの高さと同じかそれより低いことが一般的であるがその限りではない。それぞれの鏡面の幅は一定である必要はないが、一定としないことに意味はない。２つの鏡面の幅は同一である必要はないが、同一としないことに意味はない。
カメラは、フレームが対象面に配されたときに、対象面の外側であり、且つその画角に、フレームに囲まれた対象面上の空間、及び２つの鏡の前記鏡面が収まるような範囲で、フレームに取付けられている。したがって、上述の空間にユーザの指が位置する場合、ユーザの指の像は、カメラで撮像される画像に直接写り込み、また、指の位置にもよるが、２つの鏡面のいずれかで１回反射された像や、２つの鏡面の双方で１回ずつ反射された像も、カメラで撮像される画像に写り込むことになる。カメラは、動画像のデータである動画像データを出力するようになっている。動画像データの出力は、よく知られているビデオカメラで行われるように、略実時間で実行される。
コンピュータは、動画像データを受け取り、それに基づき操作データを生成するものである。このコンピュータは、基本的にはユーザが操作するものではない。同画像データに基づく操作データの生成は、自動的に実行される。コンピュータはフレームに取付けられていても良いし、そうでなくても良い。コンピュータは、フレームに囲まれた対象面上の空間内で動くユーザの指を含む画像についての動画像データをカメラから受け付け、フレームに囲まれた対象面上の空間内で動くユーザの指の位置を、動画像データに写り込んだユーザの指の位置、及び２つの鏡の鏡面に写り込んだ指の位置から特定することにより、対象面に対してユーザが行った操作についてのデータである操作データを生成する。上述したように、動画像データには、指の直接の像の他、２つの鏡面の一方で反射されて生じた像と、２つの鏡面の双方で合計２回反射されて生じた像が写り込み得る。条件によっては、３回以上反射された画像も動画像データに基づく画像に写り込む可能性がある。本願発明者が制作した試作品によれば、像の数は最低１つで、最高５つであった。そして、カメラで得られる動画像データに基づく画像中の像の数及び位置は、上記空間における指の位置、つまり、仮想の矩形の一辺をＸ軸、それと隣接する辺をＹ軸、対象面からの距離をＺ軸とした場合の全座標ごとにユニークであることが判明した。したがって、動画像データに基づいて得られる画像中の指の数と画像中の指の位置とを特定することにより、その指が上記空間中のどこにあるのかを特定できる。そのように特定された指の位置（或いはその動き）のデータにより、コンピュータは操作データを生成する。例えば、対象面に「Ｙｅｓ」と記されたボタンが存在したとして、その位置でユーザが指を対象面に近づけた（ユーザが対象面には触れる必要はない。）としたら、「Ｙｅｓ」と記されたボタンをユーザが押したという操作データ、或いはそのボタンがある位置でユーザが入力を行った（一般的なタッチパネルでいえば、Ｘ座標とＹ座標で特定されるボタンがある位置をユーザが触れた）という操作データを、コンピュータは生成する。そして、その操作データは、情報処理装置へ出力される。コンピュータから情報処理装置への操作データの出力は、有線（例えば、ＵＳＢ接続）でも、無線（例えば、Ｗｉ－Ｆｉ）でも構わない。
本願発明の入力補助装置はこのようなものであるから、ホバー入力を本来なら行えない所定の対象面からのホバー入力を可能とする。また、本願発明の入力補助装置が組み合わされる対象面は、ディスプレイであってもなくても良いが、本願発明による入力補助装置は、既存のディスプレイ（タッチパネルであってもそうでなくても良いが、ホバー入力を行えないディスプレイである。）に、ホバー入力を行える機能を追加することができるものとなる。
しかも、本願発明の入力補助装置は、ディスプレイに適用するにしても、専用のディスプレイを必要としないから高価になり過ぎることがない。また、かかる入力補助装置は、カメラが１つでよいため、これもコスト抑制に効く。また、指の位置に関する分解能もピクセル単位までの精度はいらないことが一般的であるから、仮にそうであれば、コンピュータで実行する必要のある演算はそれほど重くないので、略実時間での処理を行う場合であっても、入力補助装置のコストが向上しにくい。
フレームは、対象面を所定高さで囲むようにして対象面に対して位置決めして配される。なお、ここでいう「高さ」は上下方向とは限らず、対象面に垂直な方向での長さを意味する。対象面上のフレームで囲まれた空間（より正確には、後述する鏡面の幅の高さ方向に対応した空間）が、ユーザがホバー入力を行うことが予定された空間となる。したがって、ユーザがどのような操作をしたかを特定するために、その空間内でのユーザの指の位置を略実時間で特定する必要がある。その特定は後述するようにして行われる。なお、フレームが対象面に配されたときにおける、対象面の前方向から見た場合のフレームの形状は、対象面の形状と同じである必要はない。例えば、フレームが矩形で、対象面が円形のように、両者がまったく異なる形状であっても構わない。ただし、対象面はフレームに囲まれる必要がある。また、フレームが対象面に配されるとき、フレームは対象面に対して固定されてもされなくても良い。
フレームに取付けられている２つの鏡は、フレームが対象面に配されたときに、対象面を囲む仮想の矩形の隣接する２辺に沿う位置にそれぞれ位置するとともに、対象面に垂直な状態で前記対象面に臨む、所定幅の例えば細長い鏡面をそれぞれ備えている。鏡面の幅は、フレームの高さと同じかそれより低いことが一般的であるがその限りではない。それぞれの鏡面の幅は一定である必要はないが、一定としないことに意味はない。２つの鏡面の幅は同一である必要はないが、同一としないことに意味はない。
カメラは、フレームが対象面に配されたときに、対象面の外側であり、且つその画角に、フレームに囲まれた対象面上の空間、及び２つの鏡の前記鏡面が収まるような範囲で、フレームに取付けられている。したがって、上述の空間にユーザの指が位置する場合、ユーザの指の像は、カメラで撮像される画像に直接写り込み、また、指の位置にもよるが、２つの鏡面のいずれかで１回反射された像や、２つの鏡面の双方で１回ずつ反射された像も、カメラで撮像される画像に写り込むことになる。カメラは、動画像のデータである動画像データを出力するようになっている。動画像データの出力は、よく知られているビデオカメラで行われるように、略実時間で実行される。
コンピュータは、動画像データを受け取り、それに基づき操作データを生成するものである。このコンピュータは、基本的にはユーザが操作するものではない。同画像データに基づく操作データの生成は、自動的に実行される。コンピュータはフレームに取付けられていても良いし、そうでなくても良い。コンピュータは、フレームに囲まれた対象面上の空間内で動くユーザの指を含む画像についての動画像データをカメラから受け付け、フレームに囲まれた対象面上の空間内で動くユーザの指の位置を、動画像データに写り込んだユーザの指の位置、及び２つの鏡の鏡面に写り込んだ指の位置から特定することにより、対象面に対してユーザが行った操作についてのデータである操作データを生成する。上述したように、動画像データには、指の直接の像の他、２つの鏡面の一方で反射されて生じた像と、２つの鏡面の双方で合計２回反射されて生じた像が写り込み得る。条件によっては、３回以上反射された画像も動画像データに基づく画像に写り込む可能性がある。本願発明者が制作した試作品によれば、像の数は最低１つで、最高５つであった。そして、カメラで得られる動画像データに基づく画像中の像の数及び位置は、上記空間における指の位置、つまり、仮想の矩形の一辺をＸ軸、それと隣接する辺をＹ軸、対象面からの距離をＺ軸とした場合の全座標ごとにユニークであることが判明した。したがって、動画像データに基づいて得られる画像中の指の数と画像中の指の位置とを特定することにより、その指が上記空間中のどこにあるのかを特定できる。そのように特定された指の位置（或いはその動き）のデータにより、コンピュータは操作データを生成する。例えば、対象面に「Ｙｅｓ」と記されたボタンが存在したとして、その位置でユーザが指を対象面に近づけた（ユーザが対象面には触れる必要はない。）としたら、「Ｙｅｓ」と記されたボタンをユーザが押したという操作データ、或いはそのボタンがある位置でユーザが入力を行った（一般的なタッチパネルでいえば、Ｘ座標とＹ座標で特定されるボタンがある位置をユーザが触れた）という操作データを、コンピュータは生成する。そして、その操作データは、情報処理装置へ出力される。コンピュータから情報処理装置への操作データの出力は、有線（例えば、ＵＳＢ接続）でも、無線（例えば、Ｗｉ－Ｆｉ）でも構わない。
本願発明の入力補助装置はこのようなものであるから、ホバー入力を本来なら行えない所定の対象面からのホバー入力を可能とする。また、本願発明の入力補助装置が組み合わされる対象面は、ディスプレイであってもなくても良いが、本願発明による入力補助装置は、既存のディスプレイ（タッチパネルであってもそうでなくても良いが、ホバー入力を行えないディスプレイである。）に、ホバー入力を行える機能を追加することができるものとなる。
しかも、本願発明の入力補助装置は、ディスプレイに適用するにしても、専用のディスプレイを必要としないから高価になり過ぎることがない。また、かかる入力補助装置は、カメラが１つでよいため、これもコスト抑制に効く。また、指の位置に関する分解能もピクセル単位までの精度はいらないことが一般的であるから、仮にそうであれば、コンピュータで実行する必要のある演算はそれほど重くないので、略実時間での処理を行う場合であっても、入力補助装置のコストが向上しにくい。
【0011】
本願発明による入力補助装置の前記仮想の矩形における前記鏡面が存在する辺と対向する辺の前記鏡面と対向する面にはそれぞれ、前記カメラで撮像されるユーザの指と背景とのコントラストを高めるための発光体が配されていてもよい。
カメラで撮像される指の背景にあたるところに発光体を配置することにより、動画像中で指と背景とのコントラストを高めることが可能となるため、コンピュータが指の位置を特定しやすくなる。
発光体を用いる場外、前記発光体は、前記鏡面と対向する前記面上に、連続する所定のパターンを形成していてもよい。所定のパターンの例としては、発光体のある部分と発光体の無い部分とを、所定幅で交互に繰り返して縞模様を作るとか、発光体のある部分と発光体の無い部分とが市松模様を構成するといったものがある。このようにすることにより、動画像中での指の位置をコンピュータが特定しやすくなる。
発光体の例は、ＬＥＤ（light emitting diode）、ＥＬワイヤ（Electroluminescent wire）である。
カメラで撮像される指の背景にあたるところに発光体を配置することにより、動画像中で指と背景とのコントラストを高めることが可能となるため、コンピュータが指の位置を特定しやすくなる。
発光体を用いる場外、前記発光体は、前記鏡面と対向する前記面上に、連続する所定のパターンを形成していてもよい。所定のパターンの例としては、発光体のある部分と発光体の無い部分とを、所定幅で交互に繰り返して縞模様を作るとか、発光体のある部分と発光体の無い部分とが市松模様を構成するといったものがある。このようにすることにより、動画像中での指の位置をコンピュータが特定しやすくなる。
発光体の例は、ＬＥＤ（light emitting diode）、ＥＬワイヤ（Electroluminescent wire）である。
【0012】
上述したように、対象面は矩形でも良いし、そうでなくても良い。前記仮想の矩形は、矩形である前記対象面よりも一回り大きい矩形であってもよい。これによれば、対象面にフレームを配置したときに無駄なスペースが生じない。
前記フレームは前記対象面の正面から見た場合に矩形であり、２つの前記鏡、及び発光体は、前記フレームの内周面に取付けられていてもよい。これは、対象面が矩形であるか否かを問わない。
上述したように、対象面はディスプレイである必要はないが、ディスプレイであっても良い。対象面がディスプレイの画面である場合、前記情報処理装置は、前記ディスプレイの前記画面に表示される画像を制御するようになっていてもよい。そうすることにより、情報処理装置は、ディスプレイに表示された画像に関連した操作データを入力補助装置から受付けることができるようになる。
前記フレームは前記対象面の正面から見た場合に矩形であり、２つの前記鏡、及び発光体は、前記フレームの内周面に取付けられていてもよい。これは、対象面が矩形であるか否かを問わない。
上述したように、対象面はディスプレイである必要はないが、ディスプレイであっても良い。対象面がディスプレイの画面である場合、前記情報処理装置は、前記ディスプレイの前記画面に表示される画像を制御するようになっていてもよい。そうすることにより、情報処理装置は、ディスプレイに表示された画像に関連した操作データを入力補助装置から受付けることができるようになる。
【0013】
本願発明者は、対象面と、情報処理装置と、入力補助装置とを組合せてなる入力装置をも本願発明の一態様として提案する。かかる入力装置の効果は、以上に説明した入力補助装置の効果と同様である。
一例となる入力装置は、ユーザが操作を行う対象となる、所定の形状、大きさの面である対象面と、前記対象面に対してユーザが行った操作についてのデータである操作データを受付けて前記操作データに基づく所定の情報処理を実行する情報処理装置と、前記対象面を所定高さで囲むようにして前記対象面に対して位置決めして配されるフレーム、コンピュータ、前記フレームに取付けられる２つの鏡、及びカメラを備えている入力補助装置と、を備えている入力装置である。
入力装置における前記２つの鏡は、前記フレームが前記対象面に配されたときに、前記対象面を囲む仮想の矩形の隣接する２辺に沿う位置にそれぞれ位置するとともに、それらの鏡面が前記対象面に垂直な状態で前記対象面に臨むようになっている、所定幅の鏡（一般的には細長い鏡）であり、前記カメラは、前記フレームが前記対象面に配されたときに、前記対象面の外側であり、且つその画角に、前記フレームに囲まれた前記対象面上の空間、及び前記２つの鏡の前記鏡面が収まるような位置に位置するとともに、動画像のデータである動画像データを出力するようになっており、前記コンピュータは、前記フレームに囲まれた前記対象面上の空間内で動くユーザの指を含む画像についての動画像データを前記カメラから受け付け、前記フレームに囲まれた前記対象面上の空間内で動くユーザの指の位置を、前記動画像データに写り込んだユーザの指の位置、及び前記２つの鏡の鏡面に写り込んだ指の位置から特定することにより、前記対象面に対してユーザが行った操作についてのデータである操作データを生成し、前記操作データを前記情報処理装置へ出力するようになっている。
一例となる入力装置は、ユーザが操作を行う対象となる、所定の形状、大きさの面である対象面と、前記対象面に対してユーザが行った操作についてのデータである操作データを受付けて前記操作データに基づく所定の情報処理を実行する情報処理装置と、前記対象面を所定高さで囲むようにして前記対象面に対して位置決めして配されるフレーム、コンピュータ、前記フレームに取付けられる２つの鏡、及びカメラを備えている入力補助装置と、を備えている入力装置である。
入力装置における前記２つの鏡は、前記フレームが前記対象面に配されたときに、前記対象面を囲む仮想の矩形の隣接する２辺に沿う位置にそれぞれ位置するとともに、それらの鏡面が前記対象面に垂直な状態で前記対象面に臨むようになっている、所定幅の鏡（一般的には細長い鏡）であり、前記カメラは、前記フレームが前記対象面に配されたときに、前記対象面の外側であり、且つその画角に、前記フレームに囲まれた前記対象面上の空間、及び前記２つの鏡の前記鏡面が収まるような位置に位置するとともに、動画像のデータである動画像データを出力するようになっており、前記コンピュータは、前記フレームに囲まれた前記対象面上の空間内で動くユーザの指を含む画像についての動画像データを前記カメラから受け付け、前記フレームに囲まれた前記対象面上の空間内で動くユーザの指の位置を、前記動画像データに写り込んだユーザの指の位置、及び前記２つの鏡の鏡面に写り込んだ指の位置から特定することにより、前記対象面に対してユーザが行った操作についてのデータである操作データを生成し、前記操作データを前記情報処理装置へ出力するようになっている。
【図面の簡単な説明】
【0014】
【図1】第１実施形態による入力補助装置と組合せて用いられるＡＴＭの構造を概略的に示す斜視図。
【図2】第１実施形態における入力補助装置の斜視図。
【図11】第２実施形態における入力補助装置と組合せて用いられる紙を示す平面図。
【発明を実施するための形態】
【0015】
以下、図面を参照して、本発明の第１、及び第２実施形態について説明する。
各実施形態の説明において、共通する対象には共通の符号を付すものとし、重複する説明は、場合により省略するものとする。
各実施形態の説明において、共通する対象には共通の符号を付すものとし、重複する説明は、場合により省略するものとする。
【0016】
≪第１実施形態≫
第１実施形態の入力補助装置は、ディスプレイと組合せて用いられる。ディスプレイは、これには限られないが、この実施形態では、公共向けの既存の装置に組込まれている。ディスプレイは、ユーザに操作データの入力を行わせるために必要となる情報を、その画面に表示する機能を有している。ディスプレイは、タッチパネルであっても良いし、そうでなくても良いが、ディスプレイがタッチパネルである場合には、ユーザはディスプレイに触れることにより操作データの入力を行い、ディスプレイがタッチパネルでない場合には、その装置におけるディスプレイの近傍に設けられている押し釦等の所定の入力装置から操作データの入力を行うようになっている。
公共向けの既存の装置は、例えば、ＡＴＭ、券売機、コンビニエンスストアのレジスターであるが、これらに限られない。もっと言えば、装置は、公共向けの装置である必要もなく、既存のものである必要はない。それら装置はすべて、公知或いは周知のもので良いから、それらの構成の詳細についての説明は行わない。
この実施形態では、既存の装置は、既に街に設置されているＡＴＭであり、ディスプレイは、タッチパネルであるものとする。
第１実施形態の入力補助装置は、ディスプレイと組合せて用いられる。ディスプレイは、これには限られないが、この実施形態では、公共向けの既存の装置に組込まれている。ディスプレイは、ユーザに操作データの入力を行わせるために必要となる情報を、その画面に表示する機能を有している。ディスプレイは、タッチパネルであっても良いし、そうでなくても良いが、ディスプレイがタッチパネルである場合には、ユーザはディスプレイに触れることにより操作データの入力を行い、ディスプレイがタッチパネルでない場合には、その装置におけるディスプレイの近傍に設けられている押し釦等の所定の入力装置から操作データの入力を行うようになっている。
公共向けの既存の装置は、例えば、ＡＴＭ、券売機、コンビニエンスストアのレジスターであるが、これらに限られない。もっと言えば、装置は、公共向けの装置である必要もなく、既存のものである必要はない。それら装置はすべて、公知或いは周知のもので良いから、それらの構成の詳細についての説明は行わない。
この実施形態では、既存の装置は、既に街に設置されているＡＴＭであり、ディスプレイは、タッチパネルであるものとする。
【0017】
ディスプレイ１１０は、ＡＴＭが備える公知のテーブル１３１に、その画面１１１が露出する態様で取付けられており、また、ＡＴＭの内部に組込まれた情報処理装置１２０と、信号線１３２を介して接続されている。図１に概念的に、ＡＴＭを図示するが、同図では、ディスプレイ１１０の画面１１１とテーブル１３１とのみを実線で図示し、ＡＴＭの全体と、情報処理装置１２０、信号線１３２は一点鎖線で図示する。なお、この実施形態では、本願発明でいう対象面に相当するディスプレイ１１０の画面１１１は、必ずしもそうである必要はないが矩形である。画面１１１の四つ角は面取りされている場合もあるが、そもそも画面１１１が矩形である必要もないので矩形の定義は厳密なものとする必要はなく、本願においては、四つ角において面取りがなされていてもディスプレイ１１０が矩形であるといって差し支えない。
情報処理装置１２０は一般的なコンピュータである。情報処理装置１２０は、ディスプレイ１１０の画面１１１に、操作データの入力を行うユーザに入力のために必要な情報を表示させる機能を有している。ディスプレイ１１０を備える装置がＡＴＭである場合であれば、画面１１１に表示される画像は、例えば、キャッシュカードの暗証番号の入力をユーザに促す画像や、ユーザがＡＴＭに行わせる手続きを、例えば出金、入金、振込等から選択させるための公知或いは周知の画像である。情報処理装置１２０は、公知或いは周知のように、ディスプレイ１１０の画面１１１に表示される画像についての画像データを生成し、その画像データをディスプレイ１１０に信号線１３２を介して送るようになっている。それにより、ディスプレイ１１０の画面１１１には、画像データに対応した画像が表示されるようになっている。
情報処理装置１２０は、また、入力された操作データに基づいた情報処理を実行するようになっている。情報処理装置１２０は、例えば、装置がＡＴＭである場合には、ユーザが入力した暗証番号に基づくユーザの認証や、出金、入金、振込等からユーザが選択した処理の一つ等である。ＡＴＭのディスプレイ１１０がタッチパネルである場合には本来、操作データはディスプレイ１１０から信号線１３２を介して情報処理装置１２０に送られる。ただし、この実施形態では、後述するように、操作データは、入力補助装置から、情報処理装置１２０に送られるようになっている。
情報処理装置１２０は一般的なコンピュータである。情報処理装置１２０は、ディスプレイ１１０の画面１１１に、操作データの入力を行うユーザに入力のために必要な情報を表示させる機能を有している。ディスプレイ１１０を備える装置がＡＴＭである場合であれば、画面１１１に表示される画像は、例えば、キャッシュカードの暗証番号の入力をユーザに促す画像や、ユーザがＡＴＭに行わせる手続きを、例えば出金、入金、振込等から選択させるための公知或いは周知の画像である。情報処理装置１２０は、公知或いは周知のように、ディスプレイ１１０の画面１１１に表示される画像についての画像データを生成し、その画像データをディスプレイ１１０に信号線１３２を介して送るようになっている。それにより、ディスプレイ１１０の画面１１１には、画像データに対応した画像が表示されるようになっている。
情報処理装置１２０は、また、入力された操作データに基づいた情報処理を実行するようになっている。情報処理装置１２０は、例えば、装置がＡＴＭである場合には、ユーザが入力した暗証番号に基づくユーザの認証や、出金、入金、振込等からユーザが選択した処理の一つ等である。ＡＴＭのディスプレイ１１０がタッチパネルである場合には本来、操作データはディスプレイ１１０から信号線１３２を介して情報処理装置１２０に送られる。ただし、この実施形態では、後述するように、操作データは、入力補助装置から、情報処理装置１２０に送られるようになっている。
【0018】
以上で説明したＡＴＭにこの実施形態における入力補助装置は組み合わせて使用される。具体的には、入力補助装置は、ディスプレイ１１０が取付けられたテーブル１３１に、ディスプレイ１１０の画面１１１に対して適宜に位置決めした状態で固定して用いられる。それにより、ユーザは、ディスプレイ１１０の画面１１１に対して、ホバー入力を行えるようになる。
【0019】
入力補助装置２００の斜視図を図２に示す。また、図３は、入力補助装置２００の図２におけるＡ－Ａ断面図、図４は、同Ｂ－Ｂ断面図、図５は、入力補助装置２００の図２における厚さ方向の中程で切断した断面図である。
入力補助装置２００はフレーム２１０を備えている。この実施形態におけるフレーム２１０は、これには限られないが、図２における底面を有さない、或いは底面が開放された、平べったい直方体形状である。フレーム２１０は例えば、金属或いは不透明な樹脂でできている。
フレーム２１０を、図２における上から見た場合において、フレーム２１０は矩形である。便宜上、フレーム２１０の図２において奥側に位置する鉛直な板を第１長辺板２１１、第１長辺板２１１と対向する鉛直な板を第２長辺板２１２、フレーム２１０の図２において左側に位置する鉛直な板を第１短辺板２１３、第１短辺板２１３と対向する鉛直な板を第２短辺板２１４と称するものとする。
第１長辺板２１１、第２長辺板２１２、第１短辺板２１３、第２短辺板２１４はいずれも矩形であり、図２における高さ方向の長さは皆等しい。図２における入力補助装置２００を平面視した場合において、第１長辺板２１１、第２長辺板２１２、第１短辺板２１３、第２短辺板２１４が作る矩形が、この実施形態における、本願でいう仮想の矩形である。
第１長辺板２１１、第２長辺板２１２、第１短辺板２１３、第２短辺板２１４の図２における上側には、孔２１５Ａの開いた正面板２１５が存在している。正面板２１５は、この入力補助装置２００と組合せて用いられるディスプレイ１１０の画面１１１の形状、大きさと略一致している。孔２１５Ａの大きさはディスプレイ１１０の画面１１１の形状、大きさと完全に一致している必要はなく、例えば、ディスプレイ１１０の画面１１１の端の部分においてユーザが入力を行わないことが当初から明らかなのであるなら、孔２１５Ａの大きさは画面１１１の大きさよりも小さくても構わない。つまり、後述するようにしてフレーム２１０は、ディスプレイ１１０の画面１１１を第１長辺板２１１、第２長辺板２１２、第１短辺板２１３、第２短辺板２１４が囲むようにしてテーブル１３１に取付けられるが、そのとき、正面板２１５の孔２１５Ａの内側の縁が、正面から見た場合の画面１１１の縁に若干被さることは許容されうる。正面板２１５は、第１長辺板２１１、第２長辺板２１２、第１短辺板２１３、第２短辺板２１４の内面（フレーム２１０の内側の面、以下同じ。）付近に、孔２１５Ａを介して、外部環境からの迷光が入り込むのを防ぐためのものであるが、これは必ずしも必須ではない。
入力補助装置２００はフレーム２１０を備えている。この実施形態におけるフレーム２１０は、これには限られないが、図２における底面を有さない、或いは底面が開放された、平べったい直方体形状である。フレーム２１０は例えば、金属或いは不透明な樹脂でできている。
フレーム２１０を、図２における上から見た場合において、フレーム２１０は矩形である。便宜上、フレーム２１０の図２において奥側に位置する鉛直な板を第１長辺板２１１、第１長辺板２１１と対向する鉛直な板を第２長辺板２１２、フレーム２１０の図２において左側に位置する鉛直な板を第１短辺板２１３、第１短辺板２１３と対向する鉛直な板を第２短辺板２１４と称するものとする。
第１長辺板２１１、第２長辺板２１２、第１短辺板２１３、第２短辺板２１４はいずれも矩形であり、図２における高さ方向の長さは皆等しい。図２における入力補助装置２００を平面視した場合において、第１長辺板２１１、第２長辺板２１２、第１短辺板２１３、第２短辺板２１４が作る矩形が、この実施形態における、本願でいう仮想の矩形である。
第１長辺板２１１、第２長辺板２１２、第１短辺板２１３、第２短辺板２１４の図２における上側には、孔２１５Ａの開いた正面板２１５が存在している。正面板２１５は、この入力補助装置２００と組合せて用いられるディスプレイ１１０の画面１１１の形状、大きさと略一致している。孔２１５Ａの大きさはディスプレイ１１０の画面１１１の形状、大きさと完全に一致している必要はなく、例えば、ディスプレイ１１０の画面１１１の端の部分においてユーザが入力を行わないことが当初から明らかなのであるなら、孔２１５Ａの大きさは画面１１１の大きさよりも小さくても構わない。つまり、後述するようにしてフレーム２１０は、ディスプレイ１１０の画面１１１を第１長辺板２１１、第２長辺板２１２、第１短辺板２１３、第２短辺板２１４が囲むようにしてテーブル１３１に取付けられるが、そのとき、正面板２１５の孔２１５Ａの内側の縁が、正面から見た場合の画面１１１の縁に若干被さることは許容されうる。正面板２１５は、第１長辺板２１１、第２長辺板２１２、第１短辺板２１３、第２短辺板２１４の内面（フレーム２１０の内側の面、以下同じ。）付近に、孔２１５Ａを介して、外部環境からの迷光が入り込むのを防ぐためのものであるが、これは必ずしも必須ではない。
【0020】
第１長辺板２１１の内面と、第１短辺板２１３の内面とには、鏡２２１、２２２がそれぞれ取付けられている。
第１長辺板２１１の内面に取付けられた鏡２２１は、矩形で、第１長辺板２１１の内面の略全面を覆っており、且つその内面が鏡面となっている。
第１短辺板２１３の内面に取付けられた鏡２２２は、これには限られないがこの実施形態では細長い矩形で、第１短辺板２１３の内面の略全面を覆っており、且つその内面が鏡面となっている。
鏡２２１は第１長辺板２１１の内面の全面を覆っていても良いが、この実施形態では、その上下左右においては第１長辺板２１１の内面を覆っていない。また、鏡２２２は第１短辺板２１３の内面の全面を覆っていても良いが、この実施形態では、その上下左右においては第１短辺板２１３の内面を覆っていない。つまり、鏡２２１、及び鏡２２２は、上述する仮想の矩形の隣接する２辺に沿って存在しているものの、隣接する２辺のそれぞれよりもその長さが幾らか短い。このように、鏡２２１と鏡２２２のそれが沿う仮想の矩形の辺方向の長さは、鏡２２１の鏡面と鏡２２２の鏡面のそれが沿う仮想の矩形の辺の長さよりも短くても構わない。ただし、仮想の矩形を図２の上方から見た場合において、鏡２２１の鏡面が作る線分と、鏡２２２の鏡面が作る線分との双方を、それら線分と平行な仮想の矩形の辺の遠い側に向けて平行移動させた場合に両者が交差する矩形の範囲は、対象面としてのディスプレイ１１０の画面１１１をその範囲内に収められる形状、大きさでなければならない。
また、鏡２２１と鏡２２２が存在する図２における高さ方向の範囲は、図２、３、４等では同一とされているが、これは同一である必要は必ずしもない。鏡２２１、鏡２２２の存在する高さ方向の範囲は、ユーザの指を検出すべき画面１１１からの距離に応じて決定すれば良い。
第１長辺板２１１の内面に取付けられた鏡２２１は、矩形で、第１長辺板２１１の内面の略全面を覆っており、且つその内面が鏡面となっている。
第１短辺板２１３の内面に取付けられた鏡２２２は、これには限られないがこの実施形態では細長い矩形で、第１短辺板２１３の内面の略全面を覆っており、且つその内面が鏡面となっている。
鏡２２１は第１長辺板２１１の内面の全面を覆っていても良いが、この実施形態では、その上下左右においては第１長辺板２１１の内面を覆っていない。また、鏡２２２は第１短辺板２１３の内面の全面を覆っていても良いが、この実施形態では、その上下左右においては第１短辺板２１３の内面を覆っていない。つまり、鏡２２１、及び鏡２２２は、上述する仮想の矩形の隣接する２辺に沿って存在しているものの、隣接する２辺のそれぞれよりもその長さが幾らか短い。このように、鏡２２１と鏡２２２のそれが沿う仮想の矩形の辺方向の長さは、鏡２２１の鏡面と鏡２２２の鏡面のそれが沿う仮想の矩形の辺の長さよりも短くても構わない。ただし、仮想の矩形を図２の上方から見た場合において、鏡２２１の鏡面が作る線分と、鏡２２２の鏡面が作る線分との双方を、それら線分と平行な仮想の矩形の辺の遠い側に向けて平行移動させた場合に両者が交差する矩形の範囲は、対象面としてのディスプレイ１１０の画面１１１をその範囲内に収められる形状、大きさでなければならない。
また、鏡２２１と鏡２２２が存在する図２における高さ方向の範囲は、図２、３、４等では同一とされているが、これは同一である必要は必ずしもない。鏡２２１、鏡２２２の存在する高さ方向の範囲は、ユーザの指を検出すべき画面１１１からの距離に応じて決定すれば良い。
【0021】
第２長辺板２１２と、第２短辺板２１４との内面には、これには限られないが発光体２３１、２３２がそれぞれ設けられている。発光体２３１と、発光体２３２とは、後述するカメラで指を撮像する際に、撮像された画像中の指とその背景とのコントラストを高める役割を有している。発光体２３１、２３２は例えば、ＥＬワイヤ、ＬＥＤ等の公知、或いは周知の材料で構成することができる。これらは、図示を省略の電源から供給される電力によって発光する。
発光体２３１、２３２はともに、第２長辺板２１２と第２短辺板２１４の内面の全面を覆うようになっていても構わないが、この実施形態では、発光体２３１、２３２はともに、第２長辺板２１２と第２短辺板２１４の内面の一部のみを覆うようになっており、より詳細には、これには限られないが、それらの内面に連続する所定のパターンを形成している。
連続するパターンの例を図５に示す。
図５（Ａ）に示した例では、発光体２３１、２３２は、第２長辺板２１２又は第２短辺板２１４の内面の全面に、図２における縦方向の縦縞を形成している。この例では、発光体２３１、２３２の幅と発光体が無い部分の幅は同じであるが、これは必ずしもこの限りではない。
同（Ｂ）に示した例では、発光体２３１、２３２は、第２長辺板２１２又は第２短辺板２１４の内面の全面に、図２における横方向の横縞を形成している。この例では、発光体２３１、２３２の幅と発光体が無い部分の幅は同じであるが、これは必ずしもこの限りではない。
同（Ｃ）に示した例では、発光体２３１、２３２は、第２長辺板２１２又は第２短辺板２１４の内面の全面に、市松模様を形成している。
第２長辺板２１２、及び第２短辺板２１４の内面のうち、発光体２３１、及び発光体２３２が存在しない部分の色彩は、例えば、黒等の、発光体２３１、及び発光体２３２が存在する部分との間で、後述するカメラで撮像した場合においてコントラストが大きくなるような明度の低い色彩とされている。
第２長辺板２１２、及び第２短辺板２１４の内面に発光体２３１、及び発光体２３２が存在しない場合には、それらの内面の色彩の明度を低くするのが良い。
発光体２３１、２３２はともに、第２長辺板２１２と第２短辺板２１４の内面の全面を覆うようになっていても構わないが、この実施形態では、発光体２３１、２３２はともに、第２長辺板２１２と第２短辺板２１４の内面の一部のみを覆うようになっており、より詳細には、これには限られないが、それらの内面に連続する所定のパターンを形成している。
連続するパターンの例を図５に示す。
図５（Ａ）に示した例では、発光体２３１、２３２は、第２長辺板２１２又は第２短辺板２１４の内面の全面に、図２における縦方向の縦縞を形成している。この例では、発光体２３１、２３２の幅と発光体が無い部分の幅は同じであるが、これは必ずしもこの限りではない。
同（Ｂ）に示した例では、発光体２３１、２３２は、第２長辺板２１２又は第２短辺板２１４の内面の全面に、図２における横方向の横縞を形成している。この例では、発光体２３１、２３２の幅と発光体が無い部分の幅は同じであるが、これは必ずしもこの限りではない。
同（Ｃ）に示した例では、発光体２３１、２３２は、第２長辺板２１２又は第２短辺板２１４の内面の全面に、市松模様を形成している。
第２長辺板２１２、及び第２短辺板２１４の内面のうち、発光体２３１、及び発光体２３２が存在しない部分の色彩は、例えば、黒等の、発光体２３１、及び発光体２３２が存在する部分との間で、後述するカメラで撮像した場合においてコントラストが大きくなるような明度の低い色彩とされている。
第２長辺板２１２、及び第２短辺板２１４の内面に発光体２３１、及び発光体２３２が存在しない場合には、それらの内面の色彩の明度を低くするのが良い。
【0022】
また、フレーム２１０の内面の、この実施形態では第２長辺板２１２と第２短辺板２１４とが交わる部分には、カメラ２４０が設けられている（図６）。もっとも、カメラ２４０が配置される位置は、フレーム２１０が対象面のあるテーブル１３１に対して取付けられたときに、対象面の外側であり、鏡２２１の鏡面と、鏡２２２の鏡面との双方の全体を撮像できるような位置であれば良い。図６における鎖線は、カメラ２４０の画角を示している。カメラ２４０が取付けられる図２における高さは適宜選択することができるが、例えば、フレーム２１０の図２における高さ方向の中程に、カメラ２４０を取付けることができる。
カメラ２４０は動画像を撮像することができ、且つその動画像についてのデータである動画像データを出力することができるようなものであれば良い。もちろんそのようなカメラは公知或いは周知であり、市販もされている。そのようなカメラから適当なものを選択してカメラ２４０として利用すれば良い。もっとも、カメラ２４０で鏡２２１の鏡面と、鏡２２２の鏡面との双方の全体を撮像できるようにするにはカメラ２４０の画角が広い方が有利であるので、カメラ２４０の選択の際にはそのような点も考慮すべきである。
カメラ２４０は動画像を撮像することができ、且つその動画像についてのデータである動画像データを出力することができるようなものであれば良い。もちろんそのようなカメラは公知或いは周知であり、市販もされている。そのようなカメラから適当なものを選択してカメラ２４０として利用すれば良い。もっとも、カメラ２４０で鏡２２１の鏡面と、鏡２２２の鏡面との双方の全体を撮像できるようにするにはカメラ２４０の画角が広い方が有利であるので、カメラ２４０の選択の際にはそのような点も考慮すべきである。
【0023】
フレーム２１０には、図示を省略のコンピュータが配されている。コンピュータは、カメラ２４０と接続されており、カメラ２４０が生成した動画像データを公知或いは周知の技術によりカメラ２４０から略実時間で受取るようになっている。コンピュータがカメラ２４０から動画像データを受取る方法は、有線であっても無線であっても構わない。
なお、コンピュータは、フレーム２１０に取付けられている必要はなく、例えば、ＡＴＭの内部に設けられていても良い。コンピュータがＡＴＭの内部に設けられている場合には、上述の情報処理装置１２０がコンピュータを兼ねても良い。この実施形態では、これには限られないが、フレーム２１０に、より詳細にはフレーム２１０内の、図２におけるカメラ２４０の上又は下の空間に、小さなコンピュータが取付けられているものとする。
なお、コンピュータは、フレーム２１０に取付けられている必要はなく、例えば、ＡＴＭの内部に設けられていても良い。コンピュータがＡＴＭの内部に設けられている場合には、上述の情報処理装置１２０がコンピュータを兼ねても良い。この実施形態では、これには限られないが、フレーム２１０に、より詳細にはフレーム２１０内の、図２におけるカメラ２４０の上又は下の空間に、小さなコンピュータが取付けられているものとする。
【0024】
コンピュータは、動画像データに基づいて後述する操作データを生成し、それを情報処理装置１２０へと出力する機能を有する。それが可能であるなら、コンピュータは公知の或いは周知のもので良く、市販のもので良い。
コンピュータは、図７に示したようなハードウエアを備えている。この実施形態におけるコンピュータは、ＣＰＵ（Central Processing Unit）３１１、ＲＯＭ（Read Only Memory）３１２、ＲＡＭ（Random Access Memory）３１３、インタフェイス３１５、及びこれらを接続するバス３１６を備えている。
ＣＰＵ３１１は、演算装置であり、コンピュータ全体の制御を行う。ＣＰＵ３１１は、コンピュータプログラムを実行することで、以下に説明するような処理を実行する。
ＲＯＭ３１２は、書換不可能なメモリであり、ＣＰＵ３１１を動作させるためのコンピュータプログラム、及びコンピュータが以下の処理を実行する際に必要なデータなどを記憶している。
ＲＡＭ３１３は、書換可能なメモリであり、ＣＰＵ３１１が以下の処理を実行する場合のワーク領域を提供する。ＲＡＭ３１３には、例えば、動画像データの一部や操作データが一時的に書き込まれることがある。
インタフェイス３１５は、ＣＰＵ３１１、ＲＯＭ３１２、ＲＡＭ３１３とコンピュータの図７で示したハードウエアの外部とを繋ぐ窓口となるものであり、ＣＰＵ３１１、ＲＯＭ３１２、ＲＡＭ３１３は、インタフェイス３１５を介して図７に示したハードウエアを持つコンピュータの外部と、データ交換を行えるようになっている。例えば、コンピュータがカメラ２４０から有線で動画像データを受取る場合であれば、インタフェイス３１５はカメラ２４０とコンピュータとを結ぶ動画像データを送信するための図示せぬ導線と接続される接続端子が接続されている。これにより、コンピュータ内のＣＰＵ３１１等は、ケーブルと端子とインタフェイス３１５とを介して、カメラ２４０から動画像データを受取れるようになる。コンピュータがカメラ２４０から無線で動画像データを受取る場合であれば、動画像データを送信するためにカメラ２４０に設けられた送信機から動画像データを受信するための受信機が接続されている。これにより、コンピュータ内のＣＰＵ３１１等は、受信機とインタフェイス３１５とを介して、カメラ２４０から動画像データを受取れるようになる。同様に、コンピュータは生成した操作データを情報処理装置１２０へと送信する必要があるので、かかるデータの送信に必要な部品が、インタフェイス３１５には接続されている。コンピュータから情報処理装置１２０に有線で操作データを送信するなら、インタフェイス３１５には、情報処理装置１２０に有線で接続するケーブル（例えば、ＵＳＢケーブル）を接続するための端子が、コンピュータから情報処理装置１２０に無線で操作データを送信するなら、インタフェイス３１５には、情報処理装置１２０が備える受信機に操作データを送信する送信機（例えば、Ｗｉ－Ｆｉ規格の送信機）が接続されることになる。
コンピュータは、図７に示したようなハードウエアを備えている。この実施形態におけるコンピュータは、ＣＰＵ（Central Processing Unit）３１１、ＲＯＭ（Read Only Memory）３１２、ＲＡＭ（Random Access Memory）３１３、インタフェイス３１５、及びこれらを接続するバス３１６を備えている。
ＣＰＵ３１１は、演算装置であり、コンピュータ全体の制御を行う。ＣＰＵ３１１は、コンピュータプログラムを実行することで、以下に説明するような処理を実行する。
ＲＯＭ３１２は、書換不可能なメモリであり、ＣＰＵ３１１を動作させるためのコンピュータプログラム、及びコンピュータが以下の処理を実行する際に必要なデータなどを記憶している。
ＲＡＭ３１３は、書換可能なメモリであり、ＣＰＵ３１１が以下の処理を実行する場合のワーク領域を提供する。ＲＡＭ３１３には、例えば、動画像データの一部や操作データが一時的に書き込まれることがある。
インタフェイス３１５は、ＣＰＵ３１１、ＲＯＭ３１２、ＲＡＭ３１３とコンピュータの図７で示したハードウエアの外部とを繋ぐ窓口となるものであり、ＣＰＵ３１１、ＲＯＭ３１２、ＲＡＭ３１３は、インタフェイス３１５を介して図７に示したハードウエアを持つコンピュータの外部と、データ交換を行えるようになっている。例えば、コンピュータがカメラ２４０から有線で動画像データを受取る場合であれば、インタフェイス３１５はカメラ２４０とコンピュータとを結ぶ動画像データを送信するための図示せぬ導線と接続される接続端子が接続されている。これにより、コンピュータ内のＣＰＵ３１１等は、ケーブルと端子とインタフェイス３１５とを介して、カメラ２４０から動画像データを受取れるようになる。コンピュータがカメラ２４０から無線で動画像データを受取る場合であれば、動画像データを送信するためにカメラ２４０に設けられた送信機から動画像データを受信するための受信機が接続されている。これにより、コンピュータ内のＣＰＵ３１１等は、受信機とインタフェイス３１５とを介して、カメラ２４０から動画像データを受取れるようになる。同様に、コンピュータは生成した操作データを情報処理装置１２０へと送信する必要があるので、かかるデータの送信に必要な部品が、インタフェイス３１５には接続されている。コンピュータから情報処理装置１２０に有線で操作データを送信するなら、インタフェイス３１５には、情報処理装置１２０に有線で接続するケーブル（例えば、ＵＳＢケーブル）を接続するための端子が、コンピュータから情報処理装置１２０に無線で操作データを送信するなら、インタフェイス３１５には、情報処理装置１２０が備える受信機に操作データを送信する送信機（例えば、Ｗｉ－Ｆｉ規格の送信機）が接続されることになる。
【0025】
上記コンピュータプログラムをＣＰＵ３１１が実行することにより、コンピュータの内部には、図８に示した如き種々の機能ブロックが生成される。
コンピュータの内部には、入力部３２１、操作データ生成部３２２、座標データ記録部３２３、出力部３２４が生成される。
入力部３２１はインタフェイス３１５と接続されており、インタフェイス３１５からの入力を受取るものである。入力部３２１がインタフェイス３１５から受取るデータは、カメラ２４０から送られた動画像データである。動画像データは、入力部３２１から操作データ生成部３２２へと送られるようになっている。
操作データ生成部３２２は、入力部３２１から受取った動画像データに基づいて操作データを生成する機能を有する。操作データ生成部３２２は、操作データを生成する際に座標データ記録部３２３に記録された座標データを読み込み、それを利用する。操作データ生成部３２２が操作データを生成する方法については後述する。操作データ生成部３２２は操作データを生成したら、それを出力部３２４に送るようになっている。
座標データ記録部３２３には上述したように座標データが記録されている。座標データの詳細については後述する。
出力部３２４は、コンピュータから外部へ、操作データ生成部３２２が生成した操作データを出力する機能を有する。出力部３２４は、操作データをインタフェイス３１５へ出力する。インタフェイス３１５が受取った操作データは、有線又は無線で情報処理装置１２０へと送られる。
コンピュータの内部には、入力部３２１、操作データ生成部３２２、座標データ記録部３２３、出力部３２４が生成される。
入力部３２１はインタフェイス３１５と接続されており、インタフェイス３１５からの入力を受取るものである。入力部３２１がインタフェイス３１５から受取るデータは、カメラ２４０から送られた動画像データである。動画像データは、入力部３２１から操作データ生成部３２２へと送られるようになっている。
操作データ生成部３２２は、入力部３２１から受取った動画像データに基づいて操作データを生成する機能を有する。操作データ生成部３２２は、操作データを生成する際に座標データ記録部３２３に記録された座標データを読み込み、それを利用する。操作データ生成部３２２が操作データを生成する方法については後述する。操作データ生成部３２２は操作データを生成したら、それを出力部３２４に送るようになっている。
座標データ記録部３２３には上述したように座標データが記録されている。座標データの詳細については後述する。
出力部３２４は、コンピュータから外部へ、操作データ生成部３２２が生成した操作データを出力する機能を有する。出力部３２４は、操作データをインタフェイス３１５へ出力する。インタフェイス３１５が受取った操作データは、有線又は無線で情報処理装置１２０へと送られる。
【0026】
以上で説明した入力補助装置２００の使用方法、及び動作について説明する。
入力補助装置２００を用いる場合、それをＡＴＭのテーブル１３１に固定する。入力補助装置２００は、図２の下側の部分をテーブル１３１の上面に当接させた状態で、テーブル１３１に対して固定される。後述するような位置決めができていれば、入力補助装置２００はテーブル１３１に載置しただけで固定していなくても機能はする。しかしながら、使用時において入力補助装置２００は後述するようにディスプレイ１１０に対して予定された位置に位置決めがなされている必要があり、単にテーブル１３１に載置されただけだと入力補助装置２００の位置が予定された位置からずれるおそれがあるから、この実施形態では入力補助装置２００をテーブル１３１に対して固定することとしている。入力補助装置２００のテーブル１３１に対する固定は、ネジ止め、接着等、公知或いは周知技術により行えば良い。
入力補助装置２００をテーブル１３１に対して固定する場合、第１長辺板２１１、第２長辺板２１２、第１短辺板２１３、及び第２短辺板２１４が、テーブル１３１の上面に露出しているディスプレイ１１０の画面１１１を囲むようにする。また、入力補助装置２００のフレーム２１０とディスプレイ１１０の画面とが、相対的に、予定された位置関係となるようにして両者を固定する（図９参照）。
また、入力補助装置２００のコンピュータと、ＡＴＭの情報処理装置１２０とを、例えば、図示を省略のケーブルで接続することにより、入力補助装置２００のコンピュータから情報処理装置１２０へと操作データを送信できる状態とする。両者の間での操作データの送受信を無線で行うのであれば、無線で操作データの送受信を行えるように、情報処理装置１２０と入力補助装置２００との少なくとも一方で必要な設定を行う。
この状態でユーザは、ＡＴＭが備える画面１１１上の空間（概ね、画面１１１上で鏡２２１、及び鏡２２２が側方に存在する範囲の空間）で、ホバー入力を行えるようになる。ユーザにはホバー入力を行えること、指を例えば、画面１１１から１ｃｍまで近づけると画面１１１を触ったことになることを、何らかの方法で予め告げておくと良い。
入力補助装置２００を用いる場合、それをＡＴＭのテーブル１３１に固定する。入力補助装置２００は、図２の下側の部分をテーブル１３１の上面に当接させた状態で、テーブル１３１に対して固定される。後述するような位置決めができていれば、入力補助装置２００はテーブル１３１に載置しただけで固定していなくても機能はする。しかしながら、使用時において入力補助装置２００は後述するようにディスプレイ１１０に対して予定された位置に位置決めがなされている必要があり、単にテーブル１３１に載置されただけだと入力補助装置２００の位置が予定された位置からずれるおそれがあるから、この実施形態では入力補助装置２００をテーブル１３１に対して固定することとしている。入力補助装置２００のテーブル１３１に対する固定は、ネジ止め、接着等、公知或いは周知技術により行えば良い。
入力補助装置２００をテーブル１３１に対して固定する場合、第１長辺板２１１、第２長辺板２１２、第１短辺板２１３、及び第２短辺板２１４が、テーブル１３１の上面に露出しているディスプレイ１１０の画面１１１を囲むようにする。また、入力補助装置２００のフレーム２１０とディスプレイ１１０の画面とが、相対的に、予定された位置関係となるようにして両者を固定する（図９参照）。
また、入力補助装置２００のコンピュータと、ＡＴＭの情報処理装置１２０とを、例えば、図示を省略のケーブルで接続することにより、入力補助装置２００のコンピュータから情報処理装置１２０へと操作データを送信できる状態とする。両者の間での操作データの送受信を無線で行うのであれば、無線で操作データの送受信を行えるように、情報処理装置１２０と入力補助装置２００との少なくとも一方で必要な設定を行う。
この状態でユーザは、ＡＴＭが備える画面１１１上の空間（概ね、画面１１１上で鏡２２１、及び鏡２２２が側方に存在する範囲の空間）で、ホバー入力を行えるようになる。ユーザにはホバー入力を行えること、指を例えば、画面１１１から１ｃｍまで近づけると画面１１１を触ったことになることを、何らかの方法で予め告げておくと良い。
【0027】
この実施形態では、カメラ２４０は常時動画像を撮像しており、動画像データが常時カメラ２４０からコンピュータに送られている。もっとも、カメラ２４０は、ユーザがホバー入力を行う可能性のある時間帯のみ、例えば、ユーザが取引を開始してから（例えば、キャッシュカードがＡＴＭに入れられてから）、取引が終了するまでの間のみ、動画像を撮像して、動画像データをコンピュータに送るようになっていても構わない。
カメラ２４０が動画像を撮像することによって生成された動画像データは、カメラ２４０からコンピュータへと送られる。これには限られないが、この実施形態では、カメラ２４０から図示せぬケーブルを通り、端子、インタフェイス３１５を経ることにより、動画像データはコンピュータ内の入力部３２１へと至る。動画像データは、入力部３２１から操作データ生成部３２２へと送られる。
カメラ２４０が動画像を撮像することによって生成された動画像データは、カメラ２４０からコンピュータへと送られる。これには限られないが、この実施形態では、カメラ２４０から図示せぬケーブルを通り、端子、インタフェイス３１５を経ることにより、動画像データはコンピュータ内の入力部３２１へと至る。動画像データは、入力部３２１から操作データ生成部３２２へと送られる。
【0028】
カメラ２４０が撮像する動画は、画面１１１上の上述したホバー入力を行える空間（画面１１１も含む）のすべてを含み、また、鏡２２１及び鏡２２２の鏡面の全体を含む。
ホバー入力を行うことができる空間に、フレーム２１０の孔２１５Ａを介してユーザの指が入ってきた場合の動画像データによって特定される動画像中の画像がどのようなものとなるかを、図９、図１０を例として説明する。
例えば、図９中Ｆの符号が付されたのがユーザの指であるが、その位置に指Ｆがある場合、画像には、直接カメラ２４０に至った指Ｆからの像光Ｌ０による指が写り込む。また、画像には、鏡２２１又は鏡２２２の鏡面に１回反射されることによってカメラ２４０に至った指Ｆからの像光Ｆ１１、Ｆ１２による指が写り込む。更に、画像には、鏡２２１及び鏡２２２の鏡面にそれぞれ１回ずつ、合計２回反射されることによってカメラ２４０に至った指Ｆからの像光Ｆ２１、Ｆ２２による指が写り込む。つまり、カメラ２４０で撮像される画像には、指Ｆが５本写り込むことになり、また、画像中に写り込む指Ｆは、それぞれ異なる方向から撮像されることになる。
また、図１０に示した位置にその位置に指Ｆがある場合、画像には、直接カメラ２４０に至った指Ｆからの像光Ｌ０による指のみが写り込むことになる。なぜなら、鏡２２１、鏡２２２で反射された像光は、カメラ２４０に近い位置にある指Ｆによって遮られ、カメラ２４０に至ることができないからである。
以上の説明から明らかなように、指Ｆが画面１１１上のどの位置に存在するかということと、動画像データによって特定される動画像を構成する各画像（フレームごとの静止画）中に写り込む指の状態とは、一対一対応したものとなる。
したがって、画面１１１とフレーム２１０との相対的位置が予定された関係になることが前提となるが、両者が予定された関係がある場合における、画面１１１の座標ごと（Ｘ座標とＹ座標の組合せごと）に、その座標に指があるときの指が写り込んだ画像の例（或いはモデル）を座標データ記録部３２３に記録しておけば、操作データ生成部３２２は、ある時点においてカメラ２４０から受取った動画像データによって特定される動画像中の画像に写り込んだ指の状態（指の数と、各指の位置と、必要であれば向き）と、座標データ記録部３２３に記録されていた上述のデータとを比較することによって、その時点において指がその直上に存在する画面１１１上の座標を特定することが可能となる。なお、座標データ記録部３２３に記録されるべき、上述の、座標と指が写り込んだ画像の例とを紐付けたデータが、座標データである。
他方、画面１１１からの距離をＺ座標とするのであれば、指の先端のＺ座標は、画像中に写り込んでいる指の像のうち、ユーザの指から直接カメラ２４０に至った像光による指の像から、容易に特定可能である。
したがって、操作データ生成部３２２は、常時指の３次元座標を特定することができるから、ユーザが画面１１１に触れずとも、画面１１１上のどこにユーザの指が近づいたかを特定することができる。予め特定された距離よりも画面１１１に指が近づいたとき、この実施形態における操作データ生成部３２２は、そのときの画面１１１上のＸ座標及びＹ座標と、その座標にユーザがタッチしたことを示す情報とをセットにしたデータとして、操作データを生成する。この操作データは、一般的なタッチパネルを用いて入力できる、座標データ＋ユーザがその座標にタッチしたことを示すデータの組とまったく同じものとすることができる。
なお、指Ｆは、必ずしも指である必要はなく、例えば、障碍者であるユーザが何らかの方法で操作する棒を指Ｆと同じように画面１１１に近づけたときにおいても、操作データ生成部３２２は同じように操作データを生成することができる。
ホバー入力を行うことができる空間に、フレーム２１０の孔２１５Ａを介してユーザの指が入ってきた場合の動画像データによって特定される動画像中の画像がどのようなものとなるかを、図９、図１０を例として説明する。
例えば、図９中Ｆの符号が付されたのがユーザの指であるが、その位置に指Ｆがある場合、画像には、直接カメラ２４０に至った指Ｆからの像光Ｌ０による指が写り込む。また、画像には、鏡２２１又は鏡２２２の鏡面に１回反射されることによってカメラ２４０に至った指Ｆからの像光Ｆ１１、Ｆ１２による指が写り込む。更に、画像には、鏡２２１及び鏡２２２の鏡面にそれぞれ１回ずつ、合計２回反射されることによってカメラ２４０に至った指Ｆからの像光Ｆ２１、Ｆ２２による指が写り込む。つまり、カメラ２４０で撮像される画像には、指Ｆが５本写り込むことになり、また、画像中に写り込む指Ｆは、それぞれ異なる方向から撮像されることになる。
また、図１０に示した位置にその位置に指Ｆがある場合、画像には、直接カメラ２４０に至った指Ｆからの像光Ｌ０による指のみが写り込むことになる。なぜなら、鏡２２１、鏡２２２で反射された像光は、カメラ２４０に近い位置にある指Ｆによって遮られ、カメラ２４０に至ることができないからである。
以上の説明から明らかなように、指Ｆが画面１１１上のどの位置に存在するかということと、動画像データによって特定される動画像を構成する各画像（フレームごとの静止画）中に写り込む指の状態とは、一対一対応したものとなる。
したがって、画面１１１とフレーム２１０との相対的位置が予定された関係になることが前提となるが、両者が予定された関係がある場合における、画面１１１の座標ごと（Ｘ座標とＹ座標の組合せごと）に、その座標に指があるときの指が写り込んだ画像の例（或いはモデル）を座標データ記録部３２３に記録しておけば、操作データ生成部３２２は、ある時点においてカメラ２４０から受取った動画像データによって特定される動画像中の画像に写り込んだ指の状態（指の数と、各指の位置と、必要であれば向き）と、座標データ記録部３２３に記録されていた上述のデータとを比較することによって、その時点において指がその直上に存在する画面１１１上の座標を特定することが可能となる。なお、座標データ記録部３２３に記録されるべき、上述の、座標と指が写り込んだ画像の例とを紐付けたデータが、座標データである。
他方、画面１１１からの距離をＺ座標とするのであれば、指の先端のＺ座標は、画像中に写り込んでいる指の像のうち、ユーザの指から直接カメラ２４０に至った像光による指の像から、容易に特定可能である。
したがって、操作データ生成部３２２は、常時指の３次元座標を特定することができるから、ユーザが画面１１１に触れずとも、画面１１１上のどこにユーザの指が近づいたかを特定することができる。予め特定された距離よりも画面１１１に指が近づいたとき、この実施形態における操作データ生成部３２２は、そのときの画面１１１上のＸ座標及びＹ座標と、その座標にユーザがタッチしたことを示す情報とをセットにしたデータとして、操作データを生成する。この操作データは、一般的なタッチパネルを用いて入力できる、座標データ＋ユーザがその座標にタッチしたことを示すデータの組とまったく同じものとすることができる。
なお、指Ｆは、必ずしも指である必要はなく、例えば、障碍者であるユーザが何らかの方法で操作する棒を指Ｆと同じように画面１１１に近づけたときにおいても、操作データ生成部３２２は同じように操作データを生成することができる。
【0029】
操作データは、操作データ生成部３２２から出力部３２４に送られ、出力部３２４から、インタフェイス３１５、図示せぬ端子及びケーブルを経て情報処理装置１２０へと送られる。操作データを受取った情報処理装置１２０は、その操作データに基づいて、必要な情報処理を実行する。
上述の如き、画面のＸ座標及びＹ座標と、その座標にタッチされたことを示す（正確には、その座標にタッチしようとユーザの指が近づいたことを示す）データの組合せである操作データは、上述のようにディスプレイ１１０がタッチパネルである場合に、ディスプレイ１１０から情報処理装置１２０へ入力されるデータとまったく同じでものである。したがって、情報処理装置１２０は、ディスプレイ１１０に表示する画像にもまったく変更を加えなくとも、というより、ＡＴＭの全体に入力補助装置２００との接続を行う以外の修正を加えなくとも、入力補助装置２００から入力される操作データに基づいて、従来どおりの情報処理を行うことができる。
上述の如き、画面のＸ座標及びＹ座標と、その座標にタッチされたことを示す（正確には、その座標にタッチしようとユーザの指が近づいたことを示す）データの組合せである操作データは、上述のようにディスプレイ１１０がタッチパネルである場合に、ディスプレイ１１０から情報処理装置１２０へ入力されるデータとまったく同じでものである。したがって、情報処理装置１２０は、ディスプレイ１１０に表示する画像にもまったく変更を加えなくとも、というより、ＡＴＭの全体に入力補助装置２００との接続を行う以外の修正を加えなくとも、入力補助装置２００から入力される操作データに基づいて、従来どおりの情報処理を行うことができる。
【0030】
なお、上述の例では、操作データ生成部３２２は、その時点の画像に写り込んだ指の像のうち、ユーザの指から直接カメラ２４０に至った像光による指の像から、画面１１１からの指の距離、つまり、指の先端のＺ座標を特定することとしていた。
しかしながら、発光体２３１、２３２が、図５（Ｂ）、（Ｃ）に示したようなものである場合には、指の像（ユーザの指から直接カメラ２４０に至った像光による指の像には限らない。）により、どの発光体２３１、２３２が隠れているかということによっても、そのときの指の先端のＺ座標を特定することが可能である。
したがって、座標データ記録部３２３に記録された上述した座標データに、更に、発光体２３１、２３２の写り込みパターンのデータまで加えることによって、操作データ生成部３２２は、動画像データによって特定される動画像中の各フレームの画像において写り込んでいる発光体２３１、２３２それぞれの位置や数に基づいて、ユーザの指の先端のＺ座標を特定することも可能である。
また、カメラ２４０が画面１１１の撮像までできるのであれば、操作データは、画面１１１のＸ座標及びＹ座標と、その座標にタッチされたことを示すデータとの組合せではなく、「画面１１１上に表示されたどの対象（例えば、画面上に表示された「操作開始」という文字が表示されたボタン）が押された」といったデータとすることも可能ではある。
しかしながら、発光体２３１、２３２が、図５（Ｂ）、（Ｃ）に示したようなものである場合には、指の像（ユーザの指から直接カメラ２４０に至った像光による指の像には限らない。）により、どの発光体２３１、２３２が隠れているかということによっても、そのときの指の先端のＺ座標を特定することが可能である。
したがって、座標データ記録部３２３に記録された上述した座標データに、更に、発光体２３１、２３２の写り込みパターンのデータまで加えることによって、操作データ生成部３２２は、動画像データによって特定される動画像中の各フレームの画像において写り込んでいる発光体２３１、２３２それぞれの位置や数に基づいて、ユーザの指の先端のＺ座標を特定することも可能である。
また、カメラ２４０が画面１１１の撮像までできるのであれば、操作データは、画面１１１のＸ座標及びＹ座標と、その座標にタッチされたことを示すデータとの組合せではなく、「画面１１１上に表示されたどの対象（例えば、画面上に表示された「操作開始」という文字が表示されたボタン）が押された」といったデータとすることも可能ではある。
【0031】
座標データ記録部３２３に記録する座標データは、例えば、指の位置するＸ座標とＹ座標の組と、その時点における指が写り込んだカメラ２４０で撮像された画像との組合せを教師データとして、コンピュータにディープランニングさせることによって生成された学習済みデータとして生成することも可能である。もちろんディープランニングさせるために用いられる画像のデータは、画面１１１とフレーム２１０とを予定された相対的な位置関係とした状況で得られたものとする。
その場合、操作データ生成部３２２は人工知能として機能して、動画像データから、その時点における指の先端のＸ座標、Ｙ座標、Ｚ座標を特定することができるようになる。
その場合、操作データ生成部３２２は人工知能として機能して、動画像データから、その時点における指の先端のＸ座標、Ｙ座標、Ｚ座標を特定することができるようになる。
【0032】
≪第２実施形態≫
この実施形態における対象面は、第１実施形態の場合とは異なり、ディスプレイの画面ではなく、画像を表示する機能を持たないもの、例えば、単なる紙である。
単なる紙でも、その紙に対して正しく位置決めしてやれるのであれば、第１実施形態の場合と同様に、入力補助装置２００は使用可能である。入力補助装置２００は第１実施形態のものとまったく同じで良い。
例えば、図１１に示したような紙４００があったとする。紙４００は、絵本の１ページであっても良い。図１１の紙には、「この中で花はどれ？」という質問に加え、花と、自動車と、山の絵が描かれている。
かかる紙４００に対して正しく位置決めした状態で、入力補助装置２００を載せてやる。例えば、紙４００を、入力補助装置２００が備えるフレーム２１０の図２における下端の外縁と同じ形状、大きさとしておけばかかる位置合わせは容易である。
その状態で、入力補助装置２００のコンピュータを、例えば、所定のソフトウエアがインストールされたパーソナルコンピュータやスマートフォンに、入力補助装置２００のコンピュータで生成された操作データの送信が可能なように、接続してやる。
そうすると、「この中で花はどれ？」という質問に対して、ユーザである子供が花か、自動車か、山のどれかを、入力補助装置２００のフレーム２１０の孔２１５Ａから指を挿入して指差すと、その指差した場所の紙におけるＸ座標及びＹ座標と、その座標をタッチしたという情報の組合せである操作データが、パーソナルコンピュータやスマートフォンに送られることになる。
その操作データを受取ったパーソナルコンピュータやスマートフォンが、ユーザである子供の選択に応じた情報処理、例えば、「正解」や、「ハズレ」といった音声を出力するようにするといったことが可能である。もちろん、それを可能とするには、パーソナルコンピュータやスマートフォン等が、子供が指差した紙４００に記載されている情報の内容を把握していることが必要である。例えば、パーソナルコンピュータやスマートフォンにすべっての紙４００に記載された情報を記録しておくとともに、各紙４００毎にユニークな識別子（例えば、ページ番号）を付しておき、ある紙４００による処理を実行する前にその識別子を前もってパーソナルコンピュータやスマートフォンに読み込ませてやるといった、公知或いは周知の技術を応用することにより、パーソナルコンピュータやスマートフォンに、これから処理の対象となる紙４００に記載された情報（上述の例でいえば、花、自動車、山の絵が書いてある紙４００における座標）を把握させることは容易である。
この実施形態における対象面は、第１実施形態の場合とは異なり、ディスプレイの画面ではなく、画像を表示する機能を持たないもの、例えば、単なる紙である。
単なる紙でも、その紙に対して正しく位置決めしてやれるのであれば、第１実施形態の場合と同様に、入力補助装置２００は使用可能である。入力補助装置２００は第１実施形態のものとまったく同じで良い。
例えば、図１１に示したような紙４００があったとする。紙４００は、絵本の１ページであっても良い。図１１の紙には、「この中で花はどれ？」という質問に加え、花と、自動車と、山の絵が描かれている。
かかる紙４００に対して正しく位置決めした状態で、入力補助装置２００を載せてやる。例えば、紙４００を、入力補助装置２００が備えるフレーム２１０の図２における下端の外縁と同じ形状、大きさとしておけばかかる位置合わせは容易である。
その状態で、入力補助装置２００のコンピュータを、例えば、所定のソフトウエアがインストールされたパーソナルコンピュータやスマートフォンに、入力補助装置２００のコンピュータで生成された操作データの送信が可能なように、接続してやる。
そうすると、「この中で花はどれ？」という質問に対して、ユーザである子供が花か、自動車か、山のどれかを、入力補助装置２００のフレーム２１０の孔２１５Ａから指を挿入して指差すと、その指差した場所の紙におけるＸ座標及びＹ座標と、その座標をタッチしたという情報の組合せである操作データが、パーソナルコンピュータやスマートフォンに送られることになる。
その操作データを受取ったパーソナルコンピュータやスマートフォンが、ユーザである子供の選択に応じた情報処理、例えば、「正解」や、「ハズレ」といった音声を出力するようにするといったことが可能である。もちろん、それを可能とするには、パーソナルコンピュータやスマートフォン等が、子供が指差した紙４００に記載されている情報の内容を把握していることが必要である。例えば、パーソナルコンピュータやスマートフォンにすべっての紙４００に記載された情報を記録しておくとともに、各紙４００毎にユニークな識別子（例えば、ページ番号）を付しておき、ある紙４００による処理を実行する前にその識別子を前もってパーソナルコンピュータやスマートフォンに読み込ませてやるといった、公知或いは周知の技術を応用することにより、パーソナルコンピュータやスマートフォンに、これから処理の対象となる紙４００に記載された情報（上述の例でいえば、花、自動車、山の絵が書いてある紙４００における座標）を把握させることは容易である。
【0033】
なお、第１実施形態、第２実施形態のいずれでも、本願で言う対象面が矩形であるものとして説明を行ったが、上述した条件、ざっくり言えばフレーム２１０に入る、或いは仮想の矩形に入るようなものであれば、対象面が矩形以外、例えば、円形、楕円形、三角形であっても構わないのは当然である。ただし、フレーム２１０と対象面との位置合わせに多少の工夫は必要であろう。
また、対象面を例えば３×３の格子状に分割して各格子に１－９の数字を付すとともに、対象面の直前に硝子板のような透明な板を置き、対象面を的として対象面に向かってボールを投げるようなゲームを実行する場合において、フレーム２１０が対象面を囲むようにして入力補助装置２００を設置すると、対象面がただの紙であったとしても、投げられたボールが、１－９のどの数字が付された的に当たったか判定することができるようになる。
また、対象面を例えば３×３の格子状に分割して各格子に１－９の数字を付すとともに、対象面の直前に硝子板のような透明な板を置き、対象面を的として対象面に向かってボールを投げるようなゲームを実行する場合において、フレーム２１０が対象面を囲むようにして入力補助装置２００を設置すると、対象面がただの紙であったとしても、投げられたボールが、１－９のどの数字が付された的に当たったか判定することができるようになる。
【符号の説明】
【0034】
１１０ ディスプレイ
１１１ 画面
１３１ テーブル
２００ 入力補助装置
２１０ フレーム
２２１ 鏡
２２２ 鏡
２３１ 発光体
２３２ 発光体
２４０ カメラ
３２１ 入力部
３２２ 操作データ生成部
３２３ 座標データ記録部
３２４ 出力部
１１１ 画面
１３１ テーブル
２００ 入力補助装置
２１０ フレーム
２２１ 鏡
２２２ 鏡
２３１ 発光体
２３２ 発光体
２４０ カメラ
３２１ 入力部
３２２ 操作データ生成部
３２３ 座標データ記録部
３２４ 出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】