IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エヌ・ゼット・テクノロジーズ・インコーポレイテッドの特許一覧

特許7672721接触型入力機器用後付けタッチレスインタフェース
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-04-25
(45)【発行日】2025-05-08
(54)【発明の名称】接触型入力機器用後付けタッチレスインタフェース
(51)【国際特許分類】
   G06F 3/041 20060101AFI20250428BHJP
   G06F 3/01 20060101ALI20250428BHJP
   G06F 3/0488 20220101ALI20250428BHJP
   G06F 3/0346 20130101ALI20250428BHJP
【FI】
G06F3/041 580
G06F3/01 560
G06F3/0488
G06F3/01 570
G06F3/0346 422
【請求項の数】 17
(21)【出願番号】P 2022572274
(86)(22)【出願日】2021-05-25
(65)【公表番号】
(43)【公表日】2023-06-22
(86)【国際出願番号】 CA2021050707
(87)【国際公開番号】W WO2021237348
(87)【国際公開日】2021-12-02
【審査請求日】2024-05-20
(31)【優先権主張番号】63/029,708
(32)【優先日】2020-05-25
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/105,161
(32)【優先日】2020-10-23
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/163,000
(32)【優先日】2021-03-18
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】518185495
【氏名又は名称】エヌ・ゼット・テクノロジーズ・インコーポレイテッド
【氏名又は名称原語表記】NZ TECHNOLOGIES INC.
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(74)【代理人】
【識別番号】100142907
【弁理士】
【氏名又は名称】本田 淳
(72)【発明者】
【氏名】ジラクネジャド、ニマ
(72)【発明者】
【氏名】サクセナ、プラナフ
(72)【発明者】
【氏名】カリヤント、ジョーダン
(72)【発明者】
【氏名】ジャハンギリ、ナシム
(72)【発明者】
【氏名】ファン、デイビッド
【審査官】伊藤 昭治
(56)【参考文献】
【文献】特開2017-058719(JP,A)
【文献】特開平9-237158(JP,A)
【文献】特開2002-251259(JP,A)
【文献】米国特許出願公開第2008/0100572(US,A1)
【文献】特開2013-175113(JP,A)
【文献】特開2013-232062(JP,A)
【文献】特開2014-106878(JP,A)
【文献】特開2014-186610(JP,A)
【文献】特開2002-342033(JP,A)
【文献】特開2018-198051(JP,A)
【文献】国際公開第2018/083765(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/033 - 3/039
G06F 3/041 - 3/04895
(57)【特許請求の範囲】
【請求項1】
ターゲット装置にタッチレスユーザ入力を提供するべく、前記ターゲット装置とでインタフェースするための後付けインタフェース装置であって、前記後付けインタフェース装置は、
人間のユーザによるタッチレス入力に反応するとともに、1つまたは複数の対応するセンサ入力信号を生成する、1つまたは複数のセンサを備えているタッチレス感知システムと、
前記タッチレス感知システムから1つまたは複数の前記センサ入力信号を受け入れるように接続されており、1つまたは複数の前記センサ入力信号に基づき、対応する制御信号を生成するように構成された後付けコントローラと、
を備えており、
前記後付けコントローラは前記ターゲット装置のタッチベース入力をバイパスするとともに、前記ターゲット装置の既存の制御システムへの入力として前記制御信号を提供することで、それによって前記ターゲット装置の前記制御システムによって前記制御信号に基づき前記ターゲット装置を動作させるように、前記ターゲット装置に接続可能にされており、
前記タッチレス感知システムは、1つまたは複数の静電容量センサに近接する人体の一部によって引き起こされる電界の妨害に敏感な1つまたは複数の前記静電容量センサを備えており、
1つまたは複数の前記静電容量センサの各々の少なくとも1つの電極は、前記ターゲット装置のディスプレイのユーザ対向面上に位置しており、
1つまたは複数の前記静電容量センサの各々の少なくとも1つの前記電極は、透明導電材料から製造されており、その結果として人間のユーザは1つまたは複数の前記静電容量センサの各々の少なくとも1つの前記電極を通して、前記ターゲット装置の前記ディスプレイを見ることができる、
後付けインタフェース装置。
【請求項2】
前記後付けコントローラは、1つまたは複数の前記センサ入力信号に基づき、人間ユーザの手の一部の位置を推定するように構成されており、
前記後付けコントローラは、ユーザの手の一部の推定位置に基づき前記ディスプレイによってディスプレイ上に指標(カーソル、ポインタ、および同様のもの、のうちの少なくとも1つ)を表示させるべく、ユーザの手の一部の推定位置に基づき表示信号を生成するように構成されており、
前記後付けコントローラは、1つまたは複数の前記センサ入力信号に基づき、前記ディスプレイに対するユーザの手の一部の近接度を推定するように構成されている、
請求項1に記載の後付けインタフェース装置。
【請求項3】
表示信号は、前記ユーザの手の一部の推定近接度に基づき、前記ディスプレイに、表示された指標の外観を変更させており、
表示された前記指標の前記外観の変化は、表示された前記指標の色の変化、表示された前記指標の大きさ、表示された前記指標の明るさ(強度)、表示された前記指標の形状の変化、表示された前記指標の色勾配の変化、表示された前記指標への他の指標の追加、のうちの少なくとも1つを備えている、
請求項2に記載の後付けインタフェース装置。
【請求項4】
前記後付けコントローラは、1つまたは複数の前記センサ入力信号に基づき、前記ユーザの手の一部で行われる円運動を検出するように構成されている、
請求項2に記載の後付けインタフェース装置。
【請求項5】
表示信号は、前記ディスプレイによって、前記ディスプレイに対する前記手の一部の近接度に相関する方法で、表示された指標のサイズを変化させており、
前記後付けコントローラは、表示された前記指標のサイズが仮想入力の1つとで同じ(適切な閾値内まで)であるとともに、前記手の一部の位置が閾値期間中(適切な閾値を有する)動きを欠如している場合に、前記制御信号を変更することでそれによって前記ターゲット装置の動作を変更するように構成されている、
請求項2に記載の後付けインタフェース装置。
【請求項6】
前記後付けインタフェース装置は後付けディスプレイを備えている、
請求項1に記載の後付けインタフェース装置。
【請求項7】
前記タッチレス感知システムと前記後付けディスプレイとは、統合モジュールとして製造される、
請求項6に記載の後付けインタフェース装置。
【請求項8】
前記タッチレス感知システムは、前記ディスプレイの周囲に配置されている1つまたは複数の光学センサを備えており、1つまたは複数の前記光学センサは前記ディスプレイのユーザ対向面上の前記ユーザの身体から反射される電磁放射の変化に敏感であり、
1つまたは複数の前記センサ入力信号は、1つまたは複数の前記静電容量センサからの1つまたは複数の静電容量センサ信号と、1つまたは複数の前記光学センサからの1つまたは複数の光学センサ信号と、を備えており、および
前記後付けコントローラは、1つまたは複数の前記静電容量センサ信号と、1つまたは複数の前記光学センサ信号と、の両方に基づき前記制御信号を生成するように構成されている、
請求項1に記載の後付けインタフェース装置。
【請求項9】
ターゲット装置にタッチレスユーザ入力を提供するべく、前記ターゲット装置とでインタフェースするための後付けインタフェース装置であって、前記後付けインタフェース装置は、
人間のユーザによるタッチレス入力に応答することで、1つまたは複数の対応するセンサ入力信号を生成する、1つまたは複数のセンサを備えているタッチレス感知システムと、
前記タッチレス感知システムから1つまたは複数の前記センサ入力信号を受け入れるように接続されており、1つまたは複数の前記センサ入力信号に基づき、対応する制御信号を生成するように構成された後付けコントローラと、
を備えており、
前記後付けコントローラは、前記ターゲット装置に接続可能にされていることで、前記ターゲット装置のタッチベース入力をバイパスするとともに、前記ターゲット装置の既存の制御システムへの入力として前記制御信号を提供することで、それによって前記ターゲット装置の前記制御システムによって、前記制御信号に基づき前記ターゲット装置を動作させ、
1つまたは複数の前記センサは、1つまたは複数の静電容量センサに近接する人体の一部によって引き起こされる電界の変化に敏感な1つまたは複数の前記静電容量センサを備えており、1つまたは複数の前記静電容量センサは前記センサ入力信号の少なくとも一部を形成する1つまたは複数の対応する静電容量センサ信号を生成しており、
1つまたは複数の前記静電容量センサの少なくとも一部は、前記ターゲット装置のディスプレイの周囲に配置されているとともに、前記ディスプレイの前記周囲の中央において前記ディスプレイのユーザ対向面に近接する人体の一部によって引き起こされる電界の乱れに敏感である、
後付けインタフェース装置。
【請求項10】
前記タッチレス感知システムは、前記ディスプレイの前記周囲に配置されている1つまたは複数の光学センサを備えており、1つまたは複数の前記光学センサは前記ディスプレイのユーザ対向面上の前記ユーザの身体から反射される電磁放射の変化に敏感であり、
1つまたは複数の前記センサ入力信号は、1つまたは複数の前記静電容量センサからの1つまたは複数の静電容量センサ信号と、1つまたは複数の前記光学センサからの1つまたは複数の光学センサ信号と、を備えており、および
前記後付けコントローラは、1つまたは複数の前記静電容量センサ信号と、1つまたは複数の前記光学センサ信号と、の両方に基づき前記制御信号を生成するように構成されている、
請求項9に記載の後付けインタフェース装置。
【請求項11】
1つまたは複数の前記光学センサの各々は、レーザ放射を放出するための1つまたは複数のレーザと、ユーザの身体の一部から反射された前記レーザ放射を受け入れるように配置された検出器と、を備えている、
請求項10に記載の後付けインタフェース装置。
【請求項12】
前記各光学センサは、放出された前記レーザ放射を受け入れるとともに前記レーザ放射の2次元平面を生成するべく配置された適切な光学系を備えており、
前記後付けコントローラは、前記2次元平面に交差する前記身体の一部に基づき、前記身体の一部の2つの直交空間座標を推定するように構成されている、
請求項11に記載の後付けインタフェース装置。
【請求項13】
前記後付けコントローラは、前記静電容量センサ信号に基づき前記身体の一部の第3直交空間座標を推定するように構成されている、
請求項12に記載の後付けインタフェース装置。
【請求項14】
前記第3直交空間座標は、前記ターゲット装置の前記ディスプレイの接平面からの前記身体の一部の距離を反映するように前記接平面の法線に沿うz座標であり、
第1および第2直交空間座標は、前記接平面の前記法線に対して直交するとともに、互いに直交する方向における前記身体の一部の距離を反映する横方向のx座標およびy座標である、
請求項13に記載の後付けインタフェース装置。
【請求項15】
1つまたは複数の前記静電容量センサの各々の少なくとも1つの電極は、前記ターゲット装置のディスプレイのユーザ対向面上に位置しており、
1つまたは複数の前記静電容量センサの各々の少なくとも1つの前記電極は、透明導電材料から製造されており、その結果として人間のユーザは1つまたは複数の前記静電容量センサの各々の少なくとも1つの前記電極を通して、前記ターゲット装置の前記ディスプレイを見ることができる、
請求項9に記載の後付けインタフェース装置。
【請求項16】
前記後付けインタフェース装置は後付けディスプレイを備えている、
請求項9に記載の後付けインタフェース装置。
【請求項17】
ターゲット装置にタッチレスユーザ入力を提供するべく、前記ターゲット装置とでインタフェースするための後付けインタフェース方法であって、前記後付けインタフェース方法は、
人間のユーザによって為されたジェスチャに対応するタッチレス入力を検出するとともに、検出に応じて1つまたは複数の対応するセンサ入力信号を生成する工程と、
1つまたは複数の前記センサ入力信号を受け入れるように接続されている後付けコントローラを提供するとともに、1つまたは複数の前記センサ入力信号に基づき前記後付けコントローラによって対応する制御信号を生成する工程と、および
前記ターゲット装置のタッチベース入力をバイパスするとともに、前記ターゲット装置の既存の制御システムへの入力として前記制御信号を提供することで、それによって前記ターゲット装置の前記制御システムが前記制御信号に基づき前記ターゲット装置を動作させるように、前記後付けコントローラを前記ターゲット装置に接続する工程と、
を備えており、
前記タッチレス入力を検出する工程は、前記タッチレス入力に反応する1つまたは複数のセンサを備えているタッチレス感知システムを搭載する工程を備えており、
1つまたは複数の前記センサは、1つまたは複数の静電容量センサに近接する人体の一部によって引き起こされる電界の妨害に敏感な1つまたは複数の前記静電容量センサを備えており、1つまたは複数の前記静電容量センサは、前記センサ入力信号の少なくとも一部を形成する1つまたは複数の対応する静電容量センサ信号を生成しており、
1つまたは複数の前記静電容量センサの各々の少なくとも1つの電極は、前記ターゲット装置のディスプレイのユーザ対向面上に位置しており、1つまたは複数の前記静電容量センサの各々の少なくとも1つの前記電極は、透明導電材料から製造されており、その結果として人間のユーザは1つまたは複数の前記静電容量センサの各々の少なくとも1つの前記電極を通して、前記ターゲット装置の前記ディスプレイを見ることができる、
後付けインタフェース方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、機械(マシン)等とのタッチレスインタラクション(非接触相互作用)に関する。特定の実施形態は、既存のターゲット装置(ターゲットシステム、対象機器)とで共に使用することで、そのようなターゲット装置のための接触型(コンタクトベース)のヒューマンマシンインタフェース(HMI)および/または接触ベースの入力の代わりに、タッチレス(タッチフリー)機能を提供するための後付け(レトロフィット)タッチレスインタフェースおよび/または入力、ならびにそれらのインストールおよび/または操作の方法、を提供する。他の実施形態は、機械または他のターゲット装置との人間の相互作用を促進するためのカスタムおよび/またはモジュール式タッチレスインタフェースおよび/または入力、ならびにそれらの設置および/または操作方法、を提供する。
【背景技術】
【0002】
タッチ画面(接触スクリーン)、キーパッド、電灯のスイッチ(ライトスイッチ)、エレベータのボタン、などタッチベースのインタフェースは世の中に溢れている。これらのインタフェースは、安価に製造できるだけでなく、原始的に直感的に使用できる。タッチレスタイプのヒューマンマシンインタフェース(HMI)は、現在、ゲーム、エンターテインメント、自動車パネル、ホームオートメーション、および臨床無菌相互作用、などの主に産業特有のニッチアプリケーションに限定されている。
【0003】
このパラダイムは、COVID-19のパンデミックと、例えば、多数の個人に一般的にさらされる高トラフィックタッチ面を備えている感染伝播の一般的な手段を回避する意識の高まりと、を考慮して変化している。ヒューマンマシンインタフェースHMIシステムのためのタッチレス(タッチフリー)および/または非接触(コンタクトレス)ソリューションに対するニーズが高まっている。特定の例として、また一般的なニーズの一般性を制限することなく、病院、診療所、手術環境、および/または同種のもの、で使用されるヒューマンマシンインタフェースHMIシステム用のタッチレスおよび/または非接触ソリューションに対する特定のニーズがある。しかしながら、現在のタッチレスのヒューマンマシンインタフェースHMIシステムは、多くの用途においてタッチベースシステムよりも劣っている。現在のタッチベースのヒューマンマシンインタフェースHMIシステムは、しばしば触覚フィードバックを有するだけでなく、タッチレスソリューションよりも高速であり得、タッチレスソリューションよりも使いやすくおよび/または直感的であり得る。
【先行技術文献】
【特許文献】
【0004】
【文献】米国特許出願公開第2014/0327645号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
したがって、直感的で実用的なユーザ体験、触覚フィードバック、および/またはそのようなもの、を提供する改良されたタッチレスのヒューマンマシンインタフェースHMIに対する要望が存在する。今日の社会に存在する最も一般的なタッチベースのヒューマンマシンインタフェースHMIおよび入力インタフェースに対して、タッチレスインタラクションを提供する(例えば、ターゲット装置のタッチベースヒューマンマシンインタフェースHMIおよび入力インタフェースを、タッチレスソリューションで改修(後付け、レトロフィット)する)ことが望まれている。
【課題を解決するための手段】
【0006】
本発明の側面は、タッチベースのユーザ入力装置を備えている既存のターゲット装置に後付け(レトロフィット)することで、ターゲット装置にタッチレスユーザ入力を提供するための方法および装置を提供する。いくつかの実施形態による後付け方法および装置は、タッチレス感知(不接触センシング)のための静電容量センサ(静電容量式センサ、静電容量型センサ)と、ターゲット装置のタッチベース入力(例えば、ボタン、ラッチ、ドアハンドル、および/または同類)を押す、スライドする、回転させる、または他の方法で相互作用(インタラクト、対話)する、タッチ作動構成要素(TAC)と、を備えている。後付け(レトロフィット)方法および装置はまた、非限定的な例として、タッチレス触覚フィードバック(THF)(すなわち触覚)のために音波伝達(SWT、ソニックウェイブトランスミッション)を使用したり、視覚フィードバックのためにディスプレイ画面(例えばLCDまたはLED)を使用したり、聴覚フィードバックのために音の合図(サウンドキュー)を使用したり、および/または同様の方法を用いたり、で具体化し得るユーザフィードバックを備えてもよい。ユーザフィードバックは、習得が容易で素早く使用できる、直感的なユーザ体験を提供することが望ましい場合がある。後付け方法および装置の使用タイミングは、ターゲットタッチベースシステムとで同じ(または同等の)時間スケールであること、またはターゲットタッチベースシステムよりも遙かに長くはないこと、が望ましい場合がある。
【0007】
本発明の他の態様は、ターゲット装置の制御システムとでインタフェースするための、後付けインタフェース装置を提供する。この後付けインタフェース装置(この装置)は、人間のユーザによってなされたジェスチャに対応するタッチレス入力を検出するとともに1つまたは複数の対応する入力信号を生成するための、タッチレス感知システムを具備している。本装置はまた、タッチレス感知システムから入力信号を受け取るとともに、入力信号に基づき、対応する制御信号と、対応する表示信号と、を生成するように接続された後付けコントローラ(コントローラ、インタフェースコントローラ)を備えている。後付けコントローラは、表示信号をターゲット装置の制御システムおよび/またはターゲット装置のディスプレイに、提供するように接続されている。表示信号は、表示信号に基づき、ディスプレイによって、対応する視覚的指標(ヴィジュアルインジシア)を表示させることができる。後付けコントローラは、制御信号をターゲット装置の制御システムに提供することで、それによって、ターゲット装置の制御システムによって、制御信号に基づきターゲット装置を動作させるように接続されている。
【0008】
さらなる態様および例示的な実施形態は、添付の図面に示されており、および/または以下の説明で説明される。
添付の図面は、本発明の非限定的な例示的実施形態を示す。
【図面の簡単な説明】
【0009】
図1】例示的な実施形態による、後付け(レトロフィット)インタフェース装置を示す。
図1A】他の例示的な実施形態による、後付けインタフェース装置を示す図。
図1B】別の例示的な実施形態による、後付けインタフェース装置を示す図。
図1C】さらに別の例示的な実施形態による、後付けインタフェース装置を示す図。
図2】例示的な実施形態による、本明細書に記載されるいずれかの後付けインタフェース装置のタッチレス感知システムで使用され得る、静電容量センサのアレイを概略的に示している。
図3A】特定の例示的な実施形態による本明細書に記載される後付けインタフェース装置のいずれかで使用され得る、1つまたは複数の静電容量センサを備えているタッチレス感知システムと、複数(例えば2つ)の光学センサを備えている光学感知システムと、を概略的に示している。
図3B】特定の例示的な実施形態による本明細書に記載される後付けインタフェース装置のいずれかで使用され得る、1つまたは複数の静電容量センサを備えているタッチレス感知システムと、複数(例えば2つ)の光学センサを備えている光学感知システムと、を概略的に示している。
図3C】特定の例示的な実施形態による本明細書に記載される後付けインタフェース装置のいずれかで使用され得る、1つまたは複数の静電容量センサを備えているタッチレス感知システムと、複数(例えば2つ)の光学センサを備えている光学感知システムと、を概略的に示している。
図4A】ターゲット装置のタッチ画面を概略的に示す。
図4B】特定の例示的な実施形態による図1Bの後付けインタフェース装置とで共に使用され得る、タッチエミュレータを概略的に示す図である。
図5A】例示的な実施形態による仮想ボタンを表示する、図1の後付けユーザインタフェース装置(または本明細書に記載の他の後付けユーザインタフェース装置のいずれか)のパネルの正面図。
図5B】例示的な実施形態による仮想ボタンを表示する、図1の後付けユーザインタフェース装置(または本明細書に記載の他の後付けユーザインタフェース装置のいずれか)のパネルの側面図。
図6】特定の例示的な実施形態による本明細書に記載された後付けインタフェース装置のいずれかを使用することで、タッチレス入力選択を判定するための方法を示す概略図である。
図6A】別の例示的な実施形態に従って本明細書に記載された後付けインタフェース装置(後付け装置、レトロフィットデバイス)のいずれかを使用することで、タッチレス入力選択を判定するための方法の概略的な描写である。
図7A】特定の実施形態に従って本明細書に記載された後付けインタフェース装置のいずれかとで共に使用され得る、音波伝達フィードバック機構およびタッチレス感知機構(タッチレス感知システム)を概略的に示す図である。
図7B】特定の実施形態に従って本明細書に記載された後付けインタフェース装置のいずれかとで共に使用され得る、音波伝達フィードバック機構およびタッチレス感知機構を概略的に示す図である。
図8】特定の実施形態による本明細書に記載される後付けインタフェース装置のいずれかのフィードバック機構の一部として使用され得るディスプレイの周囲にリング状に配置された、1つまたは複数の静電容量センサと、任意選択で1つまたは複数の光学センサと、を備えているタッチレス感知システムの分解図を概略的に描いている。
図8A】特定の実施形態による開口部の周囲にリング状に配置された、1つまたは複数の受信電極および1つまたは複数の送信電極を備えている静電容量センサの概略図。
図8B】エレベータパネルを備えているターゲット装置(対象機器)に適用される、図8の後付けインタフェース装置の概略的な描写である。
図9】特定の実施形態による複数のリニアアクチュエータを備えている、図1Aの後付けインタフェース装置の概略分解図。
【発明を実施するための形態】
【0010】
以下の説明を通じて、本発明をより完全に理解するべく、特定の詳細が記載されている。しかしながら、本発明は、これらの特定事項がなくても実施することができる。他の例では、よく知られた要素は、本発明を不必要に不明瞭にするのを避けるべく、詳細に示されたり、説明されたり、はしていない。したがって、本明細書および図面は、制限的な意味ではなく例示的な意味で見なされるものである。
【0011】
本発明の態様は、ターゲットタッチベースのユーザ入力装置(例えばタッチベースのヒューマンマシンインタフェースHMI)を備えた既存のターゲット装置に後付け(レトロフィット)することで、そのようなターゲット装置へのタッチレスユーザ入力を提供するための方法および装置を提供するものである。
【0012】
ターゲットタッチベースのインタフェース(または他のターゲットタッチベースのユーザ入力)を備えている既存のターゲット装置に後付けすることで、ターゲット装置にタッチレスユーザ入力機能を提供するための方法および装置が提供される。そのようなターゲット入力は、典型的には、所定の装置(ターゲット装置)に統合されるので、いくつかの実施形態によれば、後付けインタフェース装置は、既存の(ターゲット)タッチベース入力に隣接することで、または他の方法で相対的に配置されることで、ユーザがタッチレスジェスチャ(例えばホバー、ポイント/タップ、ウェーブ(波)など)をすることでそれによってターゲット装置への入力を提供するときに、後付けインタフェース装置がターゲットタッチベース入力(例えばボタン、ノブ、ハンドル、スライダ、など)の少なくとも一部とで相互作用(インタラクト)できるようになってもよい。いくつかの実施形態では、後付けインタフェース装置は、ターゲット装置の既存のターゲットタッチベース入力をバイパスすることで、ターゲット装置の制御システムに直接通信するように接続される。いくつかの実施形態では、後付けインタフェース装置は、ターゲット装置の既存のターゲットタッチ画面インタフェースをエミュレート(模倣)するように構成されている。
【0013】
一般に、特定の実施形態による後付けインタフェース装置は、ターゲット装置にタッチレスユーザ入力機能を提供するべく、任意の適切なターゲット装置に後付けされ得る。例示的なターゲット装置およびそのターゲットタッチベース入力は、限定されないが、街灯信号用の歩行者制御装置、照明スイッチおよびパネル、インターホンシステムのキーパッド、支払い(POS)端末、ATM(個別および銀行内ユニット)、エレベータパネル、パーキングメータ/端末、キーパッドロック、タッチ画面付きキオスク(例えば、空港チェックインキオスク、小売店セルフチェックアウトキオスク、広告キオスク、病院チェックインキオスク、および/または同類)、コンピュータ、水栓、ウォータディスペンサ、ランチルーム機器、自動販売機、ゲーム機、ゲームコントローラ、カジノスロットおよび他のギャンブル機器、ドアハンドル、ラッチ、ノブ、産業機器、医療機器、等である。
【0014】
図1は、本発明の例示的な実施形態による後付け(レトロフィット)インタフェース装置10を概略的に示している。後付けインタフェース装置10は、タッチベース入力50Aを有するターゲット装置50に後付けすることで、ターゲット装置50に入力を提供するべくユーザによって(タッチベース入力50Aに加えてまたはその代わりに)使用され得るタッチレス入力機能性をターゲット装置50に提供する。図示された図1の実施形態の場合、後付けインタフェース装置10は、タッチレス制御信号16を用いることでターゲット装置50のターゲット制御システム51とでインタフェースするだけでなく、任意選択で、タッチレス表示信号18を用いることでターゲット装置50のターゲットディスプレイ22とでインタフェースする。後付けインタフェース装置10は、タッチレス入力(例えば、人間のユーザによってなされるジェスチャに対応する入力)を検出するためのタッチレス感知(不接触センシング)システム12と、タッチレス感知システム12によって生成されたタッチレス入力信号14を受け入れるように接続された後付けコントローラ(インタフェースコントローラ)20と、を備えている。いくつかの実施形態では、タッチレス入力信号14は、タッチレス感知システム12がユーザからのタッチレス入力を検出すること、またはそうでなければユーザがタッチレス入力を行ったことを判定すること、に応じて生成されてもよい。すなわち、タッチレス感知システム12は、タッチレス感知システム12のセンサからの信号を解釈するとともに、特定のユーザ入力を示すタッチレス入力信号14を後付けコントローラ20に提供する、独自のコントローラまたは内部論理回路(図示せず)を構成してもよい。図示された図1の実施形態の場合のようないくつかの実施形態では、タッチレス入力信号14は、後付けコントローラ20によって受信されてもよく、後付けコントローラ20は、タッチレス入力信号14が特定のタッチレスユーザ入力に対応するかどうかを判定してもよい。増幅器、フィルタ、マルチプレクサMUX、および/または同類、のような当業者に知られている適切な信号調整回路(図示せず)が、タッチレス感知システム12のタッチレスセンサと、後付けコントローラ20と、の間に提供されてもよい。
【0015】
後付けコントローラ20は、タッチレス感知システム12からタッチレス入力信号14を受け取る(受信する、受け入れる)ように接続されている。後付けコントローラ20は、タッチレス感知システム12から受け取ったタッチレス入力信号14に基づき、ターゲット装置50のためのタッチレス制御信号16および/またはタッチレス表示信号18を生成するように構成されてもよい(例えば、好適にプログラムされる)。後付けコントローラ20は、タッチレス制御信号16をターゲット制御システム51に提供することで、それによってターゲット制御システム51によってタッチレス制御信号16に基づきターゲット装置50を動作させるべく、ターゲット装置50のターゲット制御システム51に動作可能に接続されてもよい。例えば、後付けコントローラ20は、ターゲット制御システム51にタッチレス制御信号16を配信することで、それによってターゲット制御システム51によって、ユーザの手の一部(例えば指)の動きまたは推定位置(ロケーション)など、タッチレス感知システム12によって検出されたタッチレスユーザ入力に基づきターゲット装置50を動作させるよう、ターゲット制御システム51に接続されてもよい。ターゲット装置50のターゲット制御システム51は、ターゲット装置50の動作を制御するべく、ターゲット装置50のタッチベースインタフェース(50A)からのタッチベース制御信号19に加えてまたはその代わりに、後付けインタフェース装置10の後付けコントローラ20からのタッチレス制御信号16を使用することができる。
【0016】
後付けインタフェース装置10は、オプションとして、後付けディスプレイ60を備えてもよい。後付けディスプレイ60は、後付けフィードバック機構55の一部であってもよい(以下でさらに議論する)。後付けコントローラ20は、後付けディスプレイ60によってビデオ信号(61)を提供することで、後付けディスプレイ60によって、対応する画像、ビデオ、視覚的指標、および/または同様のもの、を表示させることができる。このようにして、後付けディスプレイ60は、後付けインタフェース装置10の状態(例えば、後付けインタフェース装置10がタッチレス入力を検出したかどうか)および/またはターゲット装置50の状態、に関する何らかのフィードバックを、ユーザに提供してもよい。いくつかの実施形態では、ターゲット装置50は、ターゲット装置50の状態に関するフィードバックがユーザに提供され得る、ターゲット装置50自身のディスプレイまたは何らかの他の形態のターゲット出力装置(22)を構成してもよい。例えば、エレベータ制御盤(コントロールパネル)であるターゲット装置50は、(例えば、エレベータカーが停止する次の階を示すための)フラット画面ディスプレイであるターゲット出力装置(22)を備えてもよいし、単に押された対応階ボタン(またはボタンの一部)を照らすようにするターゲット出力装置(22)を備えてもよい。簡潔さのために、ターゲット装置50のターゲット出力装置(22)は、本明細書ではターゲットディスプレイ22と呼ばれることがあり、文脈が他に指示しない限り、このような言及は、ターゲット出力装置(22)の任意の適切な形態を備えていると理解されるべきである。
【0017】
ターゲット装置50のターゲット制御システム51は、適切なターゲット表示信号21を介してターゲット装置50のターゲットディスプレイ22を制御することができる。いくつかの実施形態では、後付けインタフェース装置10の後付けコントローラ20は、オプションとして、ターゲット装置50のターゲットディスプレイ22に追加的または代替的に接続されることで、ターゲットディスプレイ22にタッチレス表示信号(出力信号)18を提供することで、それによってターゲットディスプレイ22によってタッチレス表示信号18に基づき、対応する画像、ビデオ、視覚的指標、および/または同様のもの、を表示させてもよい。いくつかの実施形態では、後付けインタフェース装置10の後付けコントローラ20は、タッチレス制御信号16をターゲット装置50のターゲット制御システム51に提供してもよく、これによって、ターゲット制御システム51は、ターゲットディスプレイ22によって、(例えば、ターゲット表示信号21を介して)対応する画像、ビデオ、視覚的指標、および/または同様のもの、を表示させるようにしてもよい。
【0018】
タッチレス感知システム12(非接触型センシングシステム)12は、タッチレスユーザ入力(非接触型ユーザ入力)を検出するための1つまたは複数のセンサを備えている。いくつかの実施形態では、後付けインタフェース装置10の、および/または本明細書に記載の他の後付けインタフェース方法および装置の、タッチレス感知システム12は、センサの近傍の電界(電場、エレクトリックフィールド)に対して感度のある(敏感である、センシティブである)(すなわち、電界に応じて変化する静電容量を有する)、1つまたは複数の静電容量センサ30を備えて構成されている。例えば、ユーザによってなされるジェスチャ(例えば、タップ、指の動き、など)は、静電容量センサ30に近接(隣接)する電界に、対応する変化を引き起こすので、それによって静電容量センサ30の静電容量に、検出可能にされている変化を引き起こす可能性がある。簡単のために、単一の静電容量センサ30が図1に示されているが、タッチレス感知システム12は、適切に配置された複数の静電容量センサ30を備えて構成されてもよいことは理解されるであろう。有利には、静電容量センサ30は、タッチレスユーザインタラクションイベント(例えば、ハンドジェスチャ、指ジェスチャ、および/または同種のもの)の正確な短距離(ショートレンジ)検出を促進し得る。
【0019】
いくつかの実施形態では、静電容量センサ30は、プリント回路基板(PCB)(図示せず)上に作製されるか、または他の方法で支持される。プリント回路基板PCBは、多層のプリント回路基板PCBを備えて構成されてもよい。いくつかのそのような実施形態において、プリント回路基板PCBの1つの表面または層(受信表面(受取表面)または受信電極(受取電極)として知られている)は、感知(センシング)されるオブジェクト(例えば、ユーザの指または手)に露出してもよい。いくつかのそのような実施形態では、このプリント回路基板PCB受信表面または受信層は、直接露出されておらず、むしろ非導電性材料の保護層によって覆われている。各静電容量センサ30は、一対の電極(送信電極および受信電極)を備えて構成されてもよく、その間に電界が確立される。いくつかの実施形態では、複数の静電容量センサ30は、単一の送信電極と複数の受信電極と(またはその逆)、によって提供されてもよい。送信電極は、受信電極よりもユーザから相対的に遠くに位置していてもよい(例えば、プリント回路基板PCBの第1層よりもユーザから相対的に遠い層で)。非導電性材料の層は、送信電極(複数可)と受信電極(複数可)との間に配置されることで、送信電極と受信電極とを電気的に絶縁してもよい。
【0020】
動作において、タッチレス感知システム12によって感知されることが望まれるオブジェクト(例えば、人体の一部(身体の部分))は、オブジェクトが静電容量センサ30に位置するか近接されると、静電容量センサ30の送信電極と受信電極との間の電界に妨害を引き起こすることで、それによって静電容量センサ30の静電容量を変化させる。各静電容量センサ30は、静電容量センサ30に、その受信電極と送信電極との間の静電容量に依存する、信号m(例えばタッチレス入力信号14)を出力させるとともに、ひいてはユーザの身体の一部(例えば手または指)の位置(ロケーション)に依存する適切な回路(明示的に示されていない)を備えて構成されてもよい。これによって、タッチレス感知システム12の静電容量センサ30を、(例えば、後付けインタフェース装置10の後付けコントローラ20であったり、静電容量センサ30またはタッチレス感知システム12の内部コントローラ(図示せず)であったり、等の適切に構成されたコントローラによって)使用することで、ユーザの身体の一部(例えば、手または指)の動きを検出し追跡することができる。好適に配置された静電容量センサ30のアレイ(複数)と、対応する複数の出力信号と、によって機械学習アルゴリズムは、ユーザの身体の一部に関する位置特性(ロケーション特性)を推論するように学習(訓練、トレーニング)され得る。センサ(静電容量センサ30を備えている)からの出力信号は、後付けインタフェース装置10の後付けコントローラ20であったり、静電容量センサ30またはタッチレス感知システム12の内部コントローラ(図示せず)であったり、および/または同様のものであったり、を備え得る、1つまたは複数のコントローラの任意の適切な組み合わせによって解釈できることが理解されるであろう。
【0021】
いくつかのヒューマンマシンインタフェースHMIアプリケーションに対して、静電容量センサ30は、タッチレス入力検出を容易にするべく、他のタイプのセンサ(例えば、3Dカメラセンサ)よりも、以下の非限定的な利点を提供し得る:静電容量センサ30の検出範囲が、数センチメートル前後の範囲に集中している;ファームウェアレベルのアルゴリズムが、単一の関心点(例えば、ユーザの指などの導電性オブジェクトの質量中心)を検出するべく、調整可能にされている;周囲の要因(例えば、光、背景の動き、など)が機能に及ぼす影響は、限定的である;静電容量センサ30は、カメラベースのセンサと同様なプライバシーに関する懸念を、生じさせない。このような利点は、他のタイプのセンサとで比較した場合、静電容量センサ30が、(例えば、後付けインタフェース装置10の後付けコントローラ20であったり、静電容量センサ30またはタッチレス感知システム12の内部コントローラ(図示せず)であったり、等の適切に構成されたコントローラによって)使用されることで、後付けインタフェース装置10とでタッチレスに相互作用するべく通常使用されるであろうユーザジェスチャのタイプについて、さらに一貫したおよび/またはさらに正確な推定を提供することができるようにする。
【0022】
静電容量センサ30の受信電極および/または送信電極のレイアウト配置、サイズ、および/または形状、は(例えばプリント回路基板PCB上で)カスタマイズすることができる。いくつかの実施形態では、静電容量センサ30の受信電極同士は、間隔を空けて配置されており、各受信電極の信号は、人体の一部(例えば指)の近接(近接度、近接性)に基づいている。静電容量センサ30および/またはタッチレス感知システム12は、(各受信電極からの)これらの信号を利用することで、ユーザの身体の導電性部分(例えば指先)の位置(例えば三次元x、y、z座標;これらの座標の適切なサブセットまたは表現;ならびに同類)を判定する、信号処理アルゴリズムが適切に構成された(例えばプログラムされた)内部コントローラを備えてもよい。いくつかの実施形態では、後付けコントローラ20は、ユーザの身体の導電性部分の位置を判定するべく、これらの信号処理アルゴリズムで好適に構成されている(例えば、プログラムされる)。静電容量センサ30の各受信電極の形状および/またはサイズおよび/または位置は、例えば、タッチレス感知システム12が有線式か電池式か、所望の検出範囲、所望の検出精度、および/または機械的制約、に基づき設計することが可能にされている。
【0023】
いくつかの実施形態では、送信電極(複数可)を支持するプリント回路基板PCBの層は、受信電極の対応するx-およびy-寸法よりもわずかに大きい寸法(例えばプリント回路基板PCBの平面におけるx-およびy-寸法)を有する、銅の膨張層および/または銅のハッチ層(例えば「クリスクロス」銅トレース)を備えている。
【0024】
いくつかの実施形態では、静電容量センサ30の受信電極および送信電極は、同心円状の構成で矩形セル内に配置(例えば、ペアリング)されており、その概略図が図2に示されている。図2の実施形態では、静電容量センサ30は、個々の静電容量センサセル30Aのアレイを備えており、その各々の静電容量センサセル30Aは、受信電極36と送信電極34とを備えて構成されている。個々の静電容量センサセル30Aについて、受信電極36は送信電極34を取り囲み、または、代替的な配置では、送信電極34は受信電極36を取り囲む。そのような実施形態において、各静電容量センサセル30A(すなわち、個々の静電容量センサセル30A)は、適切な信号調整回路(例えば、増幅器、フィルタ、デジタル-アナログ変換器、マルチプレクサ、および/または同類)を介して、コントローラ(例えば、静電容量センサ30またはタッチレス感知システム12(図示せず)の内部コントローラ、後付けインタフェース装置(システム)10の後付けコントローラ20、および/または同類)に接続されることで、固有の容量式検出信号(例えば各受信電極36からの信号)を出力する。このような実施形態では、各静電容量センサセル30Aに(例えば送信電極に)印加される電圧は、静電容量センサセル30Aに対応する電界出力を制御するように構成されてもよい。このように個々の静電容量センサセル30Aの電界を独立して制御することで、静電容量センサ30のセンサ電界全体の形状および境界を正確に制御することができる。例えば、静電容量センサ30の各静電容量センサセル30Aの各受信電極36を個別に走査することで、一連の正確な測定値を得ることができる。有利には、(各静電容量センサセル30Aの独立制御を伴う)そのようなモジュール式設計は、そのモジュール式セル設計に起因する良好な拡張性を提供する(すなわち、そのような設計は、(例えば、静電容量センサセル30Aの数を増やすことによって)大きなサイズに拡張できるだけでなく、許容できる検出/感度ボリュームを維持しながら(例えば、静電容量センサセル30Aの適した位置によって)、成形することが可能にされている)。
【0025】
いくつかの実施形態では、静電容量センサ30は、ユーザの身体の一部または他の導電性オブジェクトの1つまたは複数の位置特性および/または運動特性(例えば、速度、加速度、および/または、そのような速度および/または加速度に関連する方向)を、典型的には身体の一部または他の導電性オブジェクトの中心または質量またはセントロイドを、検出するべく配置および/または方向付け(配向)される。位置特性から運動特性(移動特性、動き特性)を得るべく、適切なデジタルまたはアナログ信号処理(例えば、微分を取る)が使用され得ることが理解されるであろう。したがって、身体の一部または他の導電性オブジェクトのセントロイドの位置特性および/または移動特性は、後付けインタフェース装置10の後付けコントローラ20であったり、静電容量センサ30またはタッチレス感知システム12の内部コントローラ(図示せず)であったり、および/または同様のもの、などの適切に構成されたコントローラおよび/または信号処理ハードウェアとで協力することで静電容量センサ30によって判定されてもよい。簡潔にするべく、本開示の残りの部分では、位置特性について言及するが、文脈が他に指示しない限り、かかる位置特性は、位置特性から導出されてもよいし独立して検出されてもよい移動特性を、備えていることが理解される。簡潔さのために、本開示は、特定の動作(例えば、特性の判定、特性の検出、特性の感知、信号および/または情報の生成、および/または同様のもの)を行うタッチレス感知システム12および/またはそのセンサ(例えば、静電容量センサ30または任意の他のセンサ)に言及することがある。文脈が他に指示しない限り、そのようなセンサは、後付けインタフェース装置10の後付けコントローラ20であったり、センサまたはタッチレス感知システム12の内部コントローラ(図示せず)であったり、および/または同様のものであったり、のような1つまたは複数の適切に構成されたコントローラおよび/または信号処理ハードウェアとで協働することで、そのような動作を実行してもよいと理解されるべきである。
【0026】
位置特性は、ジェスチャに対応してもよい。例えば、位置特性は、ユーザが身体の一部を用いてジェスチャを行う際のユーザの身体の一部(例えば、指、手、拳、手首、前腕、などのセントロイド(重心))の位置を備えて構成されてもよい。文脈が他に指示しない限り、用語「ジェスチャ」(本明細書で使用)は、ユーザの身体の一部によってなされる位置(場所、ポジション)、動き(運動、移動)、および/または構成、を指しているので、手のジェスチャに限定されるように解釈されるべきではない。非限定的な例として、静電容量センサ30は、ハンドジェスチャ、指のジェスチャ、センサ30に対する身体の一部の動きの角度(例えば、接近)、身体の一部の位置、および/または同様のもの、を検出するように構成されてもよい。そのような位置特性は、ターゲット装置50への特定のタッチレス入力を判定するべく(例えば、後付けコントローラ20によって)使用されてもよい。例えば、タッチベースインタフェース(50A)が一連の入力ボタン(例えば、エレベータ制御パネルのような)を備えている場合、そのような位置特性は、1つのそのようなボタンの選択(例えば、押すこと)を表すタッチレス入力を判定するべく使用されてもよい。
【0027】
いくつかの実施形態では、後付けコントローラ20は、タッチレス入力信号14に基づき、ユーザの手の一部で行われる円運動を備えている位置特性を検出することで、検出された円運動に基づきターゲット装置50の動作に影響を与える制御信号を(例えばタッチレス制御信号16を、アクチュエータ制御信号39(以下でさらに説明)を、またはエミュレータ制御信号(エミュレータ信号)43(以下でさらに説明)を)、発生させるように構成されている。いくつかの実施形態では、後付けコントローラ20は、タッチレス入力信号14に基づき、閾値期間にわたって(閾値内に)動き欠如のユーザの手の一部を備えている位置特性を検出することで、検出された動き欠如に基づきターゲット装置50の動作に影響を与える制御信号を(例えば、タッチレス制御信号16を、アクチュエータ制御信号39(さらに後述)を、またはエミュレータ制御信号43(さらに後述)を)生成するように構成されている。いくつかの実施形態では、後付けコントローラ20は、タッチレス入力信号14に基づき、後付けディスプレイ60またはターゲットディスプレイ22の一部への、ユーザの手の一部の近接(例えば、適切な期間)を備えている位置特性を検出することで、後付けディスプレイ60またはターゲットディスプレイ22の一部へのユーザの手の一部の近接に基づきターゲット装置50の動作に影響を与える制御信号を(例えば、タッチレス制御信号16を、アクチュエータ制御信号39(さらに後述)を、またはエミュレータ制御信号43(さらに後述)を)発生するように構成されている。いくつかの実施形態では、後付けコントローラ20は、タッチレス入力信号14に基づき、アイコンや仮想ボタンなどを示すパネル(例えば、適切な期間)のような他の何らかの概ね平面状の表面の一部へのユーザの手の一部の近接を含む位置特性を検出するように構成されているだけでなく、および、他の平面的表面の一部へのユーザの手の一部の近接に基づき、ターゲット装置50の動作に影響を与える制御信号を(例えば、タッチレス制御信号16を、アクチュエータ制御信号39(以下でさらに説明)を、またはエミュレータ制御信号43(以下でさらに説明)を)生成するように構成されている。
【0028】
タッチレス感知システム12は、1つまたは複数の2次特性を検出するべく配置および/または配向され(方向付けられ)た1つまたは複数の追加センサ33(例えば、1つまたは複数の静電容量センサ35の第2セットや、本書の他の位置でより詳細に説明する1つまたは複数の光学センサ(40)等)を任意に備えてもよい。そのような2次特性は、静電容量センサ30によって検出される位置特性とは異なってもよいが(すなわち、追加的または代替的)、これは必須ではない。そのような2次特性は、ユーザの身体の一部の2次位置特性(および/または2次運動特性)を備えてもよい。このような身体の一部は、必須ではないが、1次位置特性に関連付けられた身体の一部とは異なっていてもよい。2次位置特性は、身体の一部の2次ジェスチャに対応してもよい。そのような追加センサ33は、ユーザの身体の2次位置特性を検出したときに、2次位置センサ信号(複数可)を生成してもよい。
【0029】
2次特性の例は、順番にターゲット装置50の制御をもたらすべく使用され得る後付けインタフェース装置10へのタッチレス入力を備え得るジェスチャを行うユーザの身体の一部の体積、形状、位置、および/または、移動(例えば、接近)の角度、を備えているが、これらに限定されない。
【0030】
追加センサ33は、第1静電容量センサ(30)に隣接して配置されてもよい。第1静電容量センサ(30)および追加センサ33は、異なる検出範囲を有してもよく、または、互いに異なる他の検出特性を有してもよい。例えば、追加センサ33は、第1静電容量センサ(30)の検出範囲よりも広い(例えば、静電容量センサ30が具現化されるプリント回路基板PCBに対応するx-y平面において)、および/またはより遠い(例えば、x-y平面に対して直交するz方向において)、検出範囲を有していてもよい。いくつかの実施形態では、第1静電容量センサ(30)の検出範囲のかなりの部分(例えば、75%、90%、または100%)が、追加センサ33の検出範囲内に配置される。他の実施形態では、第1静電容量センサ(30)の検出範囲と、追加センサ33の検出範囲と、は非重複である。
【0031】
いくつかの実施形態では、(タッチレス感知システム12から後付けコントローラ20への)タッチレス入力信号14は、第1静電容量センサ(30)によって生成された位置センサ信号と、追加センサ33によって生成された2次センサ信号と、の両方を備えている。いくつかの実施形態において、後付けコントローラ20は、第1静電容量センサ(30)および追加センサ33からタッチレス入力信号14を受信するとともに、後付けコントローラ20は、位置(ロケーション)特性および/または2次位置特性を判定するように構成されている。後付けコントローラ20は、静電容量センサ30からの位置センサ信号と、および追加センサ33からの2次センサ信号と、のうちのいずれか一方または両方に基づき、タッチレス制御信号16および/またはタッチレス表示信号18を生成するように構成されてもよい。
【0032】
いくつかの実施形態では、後付けコントローラ20は、静電容量センサ30および追加センサ33の両方からのタッチレス入力信号14に基づき、ユーザの身体の一部の位置特性を判定するように構成されている。例えば、後付けコントローラ20は、追加センサ33からの情報に基づき、静電容量センサ30からの情報を処理(例えば、スケーリング、フィルタリング、重み付け、その他の修正、解釈、較正、および/または同様のもの)するように構成されてもよい。いくつかの実施形態では、後付けコントローラ20は、(追加センサ33からの)2次センサ信号に基づき、ターゲット装置50の近傍に位置するユーザの存在を判定するように構成されている。後付けコントローラ20は、ターゲット装置50の近傍におけるユーザの存在の有無の判定に基づき、静電容量センサ30からの位置センサ信号(タッチレス入力信号14)を較正するように構成されてもよい。後付けコントローラ20は、追加センサ33によって検出された位置特性に基づき、および/またはそのような追加センサ33によって生成された出力信号に基づき、静電容量センサ30からの位置センサ信号(タッチレス入力信号14)を較正するように他の方法で構成されてもよい。
【0033】
後付けインタフェース装置10および/または本明細書に記載される他の後付けインタフェース方法および装置は、いくつかの実施形態によれば、(例えば追加センサ33として)マイクロフォンを備えている音声検出技術(例えばAlexa(登録商標)、Google(登録商標)、および/または同様のもの)および(適切な機械学習または人工知能ソフトウェアの学習によって-後付けコントローラ20および/または別のコントローラにプログラムされてもよい)適切な音声検出アルゴリズムを備えて構成されてもよい。そのような音声検出技術は、タッチレスの静電容量センサ30に加えてまたはその代わりに、使用され得る。そのような音声検出技術は、一般に、タッチレス感知システム12の一部として(例えば、追加センサ33として)、および/または、後付けインタフェース装置10の一部として、含まれ得る。そのような音声検出は、一例として、ブザー番号、名前、ナンバープレート、エレベータ階数、ドアロックコード、などを入力するべく使用され得る。
【0034】
いくつかの実施形態では、後付けインタフェース装置10および/または本明細書に記載される他の後付けインタフェース方法および装置は、光学感知(オプティカルセンシング、光学検知)システム40を備えてもよい。光学感知システム40は、図1に示すように、タッチレス感知システム12の一部として(例えば、追加センサ33として)具現化されてもよいが、これは必須ではなく、光学感知システム40は、後付けインタフェース装置10のスタンドアロン構成要素であってもよい。光学感知システム40は、1つまたは複数の光学センサ(例えば、サーマルカメラ、赤外線カメラ、RBGカメラ、飛行時間カメラ、立体視カメラ、構造化光カメラ、3Dカメラ、など)を備えて構成されてもよい。このような光学センサは、ユーザの身体の一部から反射される電磁放射の変化(例えば、ユーザによってなされたジェスチャによって引き起こされる変化)に敏感であって(感度があって)よい。
【0035】
有利には、光学感知システム40は、静電容量センサ30のみを使用する場合とで比較して、後付けコントローラ20がユーザの身体の一部(例えば、指)のより正確な位置特性を較正するとともに、それによって得ることを可能にするように構成され得る。光学感知システム40は、静電容量センサ30からの情報を較正または他の方法で補償するべく(例えば後付けコントローラ20によって)使用され得る身体の一部の様々な特性(例えば、サイズおよび形状、左手/右手、拳位置/前腕位置、手の角度など)のいずれかを検出してもよい。非限定的な例として、光学センサ(40)は、以下のことを確認するべく使用され得る。ユーザが特に背が高いこと(したがって、静電容量センサ30とで相互作用(対話、インタラクト)するときに、指を下方に傾斜させるかもしれない)、ユーザの前腕が静電容量センサ30に比較的近いこと(したがって、特定の静電容量センサ30から受け取った信号の振幅に影響を与えるかもしれない、または感知ボリューム内のオブジェクトの重心の推定が、ユーザの指先ではなくユーザの前腕に偏り得る、または補償されるべき)、および、ユーザが左手または右手で静電容量センサ30の感知ボリュームに接近または相互作用している(これによって、後付けコントローラ20は、ユーザの指の位置特性を予測するべく異なる左手/右手の機械学習推論エンジンを使用し得る)、および/または同種のもの、である。
【0036】
いくつかの実施形態では、後付けコントローラ20(および/またはタッチレス感知システム12に関連する追加コントローラ(図示せず))は、位置センサ信号(例えば、静電容量センサ30によって生成された信号)および2次センサ信号(例えば、光学感知システム40、および/または第2静電容量センサ35、および/またはいくつかの他の追加センサ33、によって生成された信号)を使用することでユーザの身体の一部の位置特性を判定するべく学習した、機械学習データ訓練モデル(例えばニューラルネットワークモデル)を備えて構成されている。そのような位置センサ信号および2次センサ信号は、タッチレス入力信号14の一部であってもよい。後付けコントローラ20は、位置センサ信号および/または2次センサ信号から判定された位置特性に基づき、タッチレス制御信号16および/またはタッチレス表示信号18を生成するように構成されてもよい。例えば、後付けコントローラ20は、かかる位置センサ信号および/または2次センサ信号から判定される位置特性に基づき、複数の潜在的な制御信号の中からタッチレス制御信号16を選択するように構成されてもよい。
【0037】
いくつかの実施形態では、光学感知システム40は、後付けインタフェース装置(システム)10および/またはターゲット装置50の近傍における、ユーザの存在(または存在の欠如)を検出するかまたは他の方法で確認するように構成されている。そのような実施形態では、ユーザの存在の検出後、静電容量センサ30は、ノイズレベルの測定を記録するように構成されてもよい。後付けコントローラ20は、測定されたバックグラウンドノイズに基づき、(例えば、静電容量センサ30の、および/または、一般にタッチレス感知システム12の他のセンサの)システム較正を実行することができる。
【0038】
光学感知システム40は、任意選択で、レーザ放射(例えば、赤外線レーザ光、近赤外線レーザ、または他の可視光)を放出するための1つまたは複数のレーザと、放出されたレーザ放射を検出するための1つまたは複数の検出器(例えば、光検出器)と、を備えてもよい。例えば、光学感知システム40は、ユーザの身体の一部(例えば、ジェスチャをする身体の一部)から反射されたレーザ放射を受け入れる(受信する)ように配置された検出器を備えて構成されてもよい。光学感知システム40は、放出された(例えば反射された)レーザ放射を受け入れるべく配置された適切な光学系を備えてもよい。いくつかの実施形態では、光学感知システム40の1つまたは複数のレーザは、後付けインタフェース装置10の1次センサとして使用するように適合されてもよい-例えば、光学感知システム40は、本明細書に記載される静電容量センサ30の代わりに使用されてもよい。
【0039】
いくつかの実施形態において、光学感知システム40は、本明細書において検出平面(検出面)と呼ばれることがある、レーザ放射の2次元平面を生成するように構成されている。この2次元検出平面は、後付けディスプレイ60(後付けインタフェース装置10の)またはターゲットディスプレイ22(またはターゲット装置50)の平面、後付けディスプレイ60またはターゲットディスプレイ22の外部表面に接する平面(接平面)、および/または、ターゲット装置50および/または後付けインタフェース装置10の他のいくつかの表面(例えば、アイコンや仮想ボタンなどが表示されている平面)に接する平面、の法線ベクトルに実質的に平行(例えば10°または15°以内)である法線ベクトルを有してもよい。この2次元検出平面は、後付けディスプレイ60やターゲットディスプレイ22の平面、後付けディスプレイ60やターゲットディスプレイ22の接平面、および/または、ターゲット装置50および/または後付けインタフェース装置10の表面の接平面、に隣接するように(しかし、それらから間隔を置いて)配置されてもよい。いくつかの実施形態では、この2次元検出平面は、いくつかの他の一般的に平面的な表面(例えば、アイコンなどの画像で飾られたパネル)に隣接するように(しかし、そこから間隔をあけて)配置されてもよい。この2次元検出平面上の位置は、一対の適切な座標(例えば、直交するx座標およびy座標のデカルトセット)によって特徴付けられることがある。後付けコントローラ20は、身体の一部が2次元検出平面に交差した位置を示す2次センサ信号(例えば、光学感知システム40によって生成される信号)に基づき、ユーザの身体の一部のx座標およびy座標を推定するように構成されてもよい。
【0040】
光学感知システム40は、静電容量センサ30に隣接して(または、静電容量センサ30に対する他の適切な位置に)配置されてもよい。光学感知システム40は、静電容量センサ30、後付けディスプレイ60、ターゲットディスプレイ22、および/または何らかの他の一般的に平面的な表面、から構成可能距離(すなわち、x-y方向に直交するz方向)離れた位置(例えば、検出平面上のxおよびy-位置)におけるユーザの身体の一部(例えば、指)の交差を検出するように構成されてもよい。光学感知システム40は、指が静電容量センサ30および/または後付けディスプレイ60、ターゲットディスプレイ22、および/またはいくつかの他の一般的に平面的な表面、に近づく際に感知平面に交差するようにユーザの指の横方向x座標およびy座標を感知するように構成されてもよく、静電容量センサ30は、感知平面に近づく際に(例えば、指が光学センサ(40)の感知平面に交差する前および/または後に)指の直交z座標を感知することができる。静電容量センサ30は、指(または他の身体の一部)の横方向(x-y)座標も検出することができるが、静電容量センサ30によって測定される横方向座標は、光学感知システム40によって検出される横方向座標に対して比較的粗くてもよい。光学感知システム40によって検出されるそのようなx座標およびy座標は、後付けディスプレイ60、ターゲットディスプレイ22、および/またはいくつかの他の一般的な平面、上の特定のx座標およびy座標に表示され得る特定の入力(例えば、仮想ボタン)の選択に、関連付けられる場合がある。z座標の検出は、タッチレス感知システム12がユーザの次の選択を予期するのに役立ち得る。非限定的な例として、z座標は、「仮想クリック」検出アルゴリズムの一部として、後付けコントローラ20によって使用されてもよい(例えば、ユーザが仮想ボタンをタッチレスで押したりクリックしたりしようとしているか、またはユーザの身体の一部が感知システム12の感知ボリューム内で単に滞留しているかどうか、を確認するべく)。仮想ボタンとのユーザインタラクションのこのような検出は、以下でさらに議論される。別の例として、z座標は、ユーザの身体の一部が検出されていることを示すべく、ユーザへのフィードバックを提供するべく(例えば、適切な後付けフィードバック機構55を介して)使用されてもよい。静電容量センサ30と、x、yおよびz座標を検出する静電容量センサ30の能力と、は検出平面への接近角度を判定するべく使用されてもよい。この接近角度は、「仮想クリック」検出アルゴリズムの一部として、光学感知システム40からのより正確な横方向(x-y)情報とで共に使用されてもよい。仮想ボタンとのユーザインタラクションのこのような検出は、以下でさらに議論される。
【0041】
光学感知システム40は、光学感知システム40の2次元検出平面の空間的位置および/または向きを制御するべく使用され得る、多数のオプションの特徴を備えてもよい。例えば、光学感知システム40は、ターゲットディスプレイ22またはタッチベース入力50Aまたはターゲット装置50および/または後付けインタフェース装置10の他の適切な表面の平面(またはその接線方向の平面)の横に配置されてもよい1つまたは複数のレーザエミッタを備えてよく、そのような平面の法線に関して平行に放射を向けるように配向されてもよい。そのような実装において、光学感知システム40は、任意選択で、ターゲットディスプレイ22またはタッチベース入力50Aの平面(または接線方向の平面)に、またはターゲット装置50および/または後付けインタフェース装置10のいくつかの他の適切な表面の平面(または接線方向の平面)に、平行な検出平面を形成するべく、放射されたレーザ放射方向に対して約45度の角度で、放射方向に対して約90度の角度の方向へレーザ放射を反射させるように配向された、1つまたは複数のミラー(放出放射線の反射に最適化されたもの)を備えてもよい。光学感知システム40は、所望の位置および/または向きに所望の検出平面を提供するべく、ミラーの形状/サイズの異なる組み合わせ、および/または異なる配置角度、および/または、他の光学素子(例えば、レンズ、導波路、および/または同類)の異なる組み合わせ、を備えてもよい。光学感知システム40は、Neonode(登録商標)やzForce sensor(登録商標)のような、市販のレーザーベースの光学センサを備えて構成されてもよい。
【0042】
図3A図3Cは、1つまたは複数の静電容量センサ30を備えているタッチレス感知システム12と、複数(例えば2つ)の光学センサ42A、42B(総称して、光学センサ42)を備えている光学感知システム40と、を図解している。光学感知システム40は、特定の例示的な実施形態に従って、後付けインタフェース装置10(図1)と、および/または本明細書に記載する他の後付けインタフェース方法および装置と、で共に使用することができる。図3A図3Cの例示的な実施形態では、光学センサ42A、42Bは、静電容量センサ30の感知領域32に向かって(または感知領域32に交差するように)、放射を向けるように光学的に配向される。図3A図3Cに示される例示的な実施形態では、光学センサ42はそれぞれ、放射線(ラジエーション)を放出するための放射線源と、放出された放射線の経路内の任意のオブジェクトから反射した放射線を受け入れる(受信する)ための放射線受信器(例えば、光検出器、受信ダイオードなど)と、を備えて構成されている。文脈が他に指示しない限り、(本明細書で使用される)「光学的に配向された」という用語は、本明細書に記載の光学センサ42(または光学感知システム40の他のセンサ)が、放射線源からの放射線を光学配向方向に成形、位置合わせ、および/または配向、するべく配置された任意の数(例えば0、1、2、3など)の適切な光学素子(例えばレンズ、鏡、導波路など)を備えてもよいことを意味するものと解釈されるべきである。
【0043】
図3Aに示すデカルト軸同士を用いて示すように、放射センサ(光学センサ42)は、一緒に、静電容量センサ30の座標系に対するオブジェクト(例えば、指)のx-位置およびy-位置を検出するように、配向されるかまたは他の方法で構成されてもよい。例えば、図3Aに示す図示の実施形態では、光学センサ42Bは、x′-位置およびy′-位置(図3Aのx′、y′、z′軸を参照)を検出することができるだけでなく、光学センサ42Aは、x′′-位置およびy′′位置(図3Aのx′′、y′′、z′′軸を参照)を検出することができる。これらの検出された位置(x′、y′)および(x′′、y′′)のいずれかまたは両方を用いることで、静電容量センサ30の座標フレームにおけるx-位置およびy-位置を判定するべく(例えば、後付けコントローラ20によって、および/または、光学センサ42またはタッチレス感知システム12に関連するコントローラによって)、適切な幾何計算が使用されてもよい(図3A図3BのX、Y、Z-軸を参照のこと)。すなわち、光学感知システム40は、光学センサ42によって検出された横方向(x′-y′)および/または(x′′-y′′)位置に基づき、静電容量センサ30に対するオブジェクトの横方向(x-y)位置を判定するように構成されてもよい。
【0044】
上述したように、光学感知システム40(例えば光学センサ42)は、静電容量センサ30に対するオブジェクト(例えば指)のx-位置およびy-位置を正確に判定できる一方で、静電容量センサ30は、静電容量センサ30に対するオブジェクトの距離(すなわち静電容量センサ30の座標フレームにおける、オブジェクトのz-位置)を正確に検出することができる。このように、光学感知システム40と静電容量センサ30とは、互いに補完し合うことができる。人間の指のようなオブジェクトが、光学センサ42(図3B参照)によって規定される光学感知システム40の検出領域5に入る(例えば、図3Bに示すタッチレス感知システム12の1つまたは複数のタッチレス検出平面6に交差するか、さもなければ光学センサの検出領域5に入る)とき、光学感知システム40は、放射線放射センサ(光学センサ42)からの情報に基づき、静電容量センサ30に対するオブジェクトのx位置とy位置を判定するように構成され得る。
【0045】
光学センサ42の感知領域(検出領域5)は、静電容量センサ30の感知領域32とは異なる場合があるので、場合によっては、オブジェクトのx-位置およびy-位置は、最初に判定されるとともに、オブジェクトが静電容量センサ30の感知領域32内に入るまで、および/または、オブジェクトがタッチレス感知システム12のタッチレス検出平面6に交差するまで、追跡または一時的に記憶されてもよい。いくつかの実施形態では、オブジェクトのx-位置およびy-位置が光学感知システム40によって判定された後、オブジェクトのz-位置は、静電容量センサ30によって検出される。他の実施形態では、オブジェクトのz-位置は、オブジェクトのx-位置およびy-位置が光学感知システム40によって判定される前に、静電容量センサ30によって検出される。いくつかの実施形態では、タッチレス感知システム12は、オブジェクトのz-位置が、静電容量センサ30から、および/またはターゲットディスプレイ22の表面(またはターゲットディスプレイ22に接する平面)などのいくつかの他の基準表面から、構成可能閾値距離に達した後、オブジェクトのx-位置およびy-位置(光学感知システム40によって検出)を登録するように構成されている。例えば、タッチレス感知システム12は、オブジェクトがタッチレス検出平面6に交差するときに、x-,y-位置を登録するように構成されてもよい。この閾値z-距離(その閾値z-距でx-,y-位置が登録される)は、静電容量センサ30によって評価され得る。いくつかの実施形態では、後付けコントローラ20は、またはタッチレス感知システム12に関連するいくつかの他のコントローラは、判定(例えば、特定のジェスチャの検出、または登録されたx-,y-位置に基づくジェスチャの検出)を行うように構成され得る。
【0046】
いくつかの実施形態では、作動平面(作動面)(6)は、静電容量センサ30に対する固定位置で、および/または、ターゲットディスプレイ22の表面またはターゲットディスプレイ22に接する平面などのいくつかの他の基準面からの固定位置で-(例えば、光学センサ42A、42Bによって放射される放射線5が交差する位置に対応する距離で)定義される。他の実施形態では、作動平面(6)の位置は、後付けコントローラ20の、またはタッチレス感知システム12に関連するいくつかの他のコントローラの、適切なプログラミング(またはユーザ設定)によって調整され得る。
【0047】
図3Cは、特定の実施形態による静電容量センサ30および光学感知システム40の例示的な配置を模式的に示している。図3Cに示される例では、タッチレス感知システム12は、静電容量センサ30とで同一平面上にあり得る位置から放射線を放射するように光学的に配向された、複数(例えば2つ)の光学センサ42A、42B(集合的に、光学センサ42)を備えている。いくつかの実施形態では、光学センサ42および静電容量センサ30は、統合モジュールの一部として(例えば、タブレットデバイスのような形状を有する薄型スレートの一部として)形成される。いくつかの実施形態において、光学センサ42および静電容量センサ30は、光学センサ42および静電容量センサ30の相対位置を固定するべく、樹脂などの媒体44に封入される。媒体44は、光学センサ42の波長において透明であってよい。いくつかの実施形態では、媒体44は、光学センサ42によって放射される(および/または受信される)放射線の経路に光学素子を提供することで、そのような放射線を成形、位置決め、および/または方向付け(配向)、することができる。媒体44は、ガラスまたは石英を備えて構成されてもよい。いくつかの実施形態では、静電容量センサ30は、酸化インジウム錫(ITO)などの透明導電材料を用いて形成されているとともに、ガラス媒体(44)内に位置しており、光学センサ42は、ガラスの背後で所望の角度に配向される。有利には、ガラス媒体(44)は、静電容量センサ30および光学感知システム40を包むことで、別の表面(例えば、壁または水平面)にフラッシュマウント(平坦な搭載)することができる平坦(非突起)な設計を形成するべく使用され得る。この平坦な搭載は、表面(中にまたは上に搭載(マウント)される壁または水平面)から離れて突出する先行技術の光学設計とは、対照的である。この平坦デザインは、例えば、後付けインタフェース装置に対するタンパリング(改ざん)を防止することができる。
【0048】
図3A図3Cを参照すると、いくつかの実施形態では、第2静電容量センサ35(図3A図3Cには示されていない)は、第1静電容量センサ(30)に隣接して配置されていることで、第1静電容量センサ(30)とで相互作用しているユーザの手を感知するように方向付けされ得る。次に、第2静電容量センサ35は、第1静電容量センサ(30)に対するオブジェクト(手/指)に関する別の程度の情報を提供する、第2距離推定値(座標)を検出し得る。この情報は、第2センサの既知の向きと共に、手/指の向きを判定するのに役立てられてもよく、これは、ユーザが相互作用しようとしている特定入力(例えば、特定の仮想ボタン)を識別するのに有用な追加情報を提供することができる。
【0049】
追加の光学センサ(図3A図3Cには示されていない)は、既存の光学センサ42A、42Bに積み重ねることによって配備されることができるとともに、検出されたオブジェクトのより多くのカバレッジおよび精度を与えることができる。追加の光学センサは、オブジェクトの向きを判定するとともに、さらなる分析のための追加の奥行き(深度)情報を提供するべく利用され得る。仮想ボタンまたは他のタッチレス入力に向かう、指の動きの異なるポイントで、異なる角度の光学センサがトリガーされることを想像することができる。これによって、「タップベクトル」または軌道を判定することができるだけでなく、この情報を使用することで、ユーザがどの仮想ボタンを選択しようとしているのかを判定することができる。例えば、指は、「2」に対応する仮想ボタンの上に配置されるかもしれないが、右を向いているので、後付けコントローラ20は、タップベクトルの角度が十分であれば、ユーザが「3」をクリックすることを意図したと判定するように(適切なソフトウェアによって)構成されていることができる。より多くの光学センサを提供することに加えてまたはその代替として(例えば、光学センサ42A、42Bに加えて)、他のセンサおよび技法を「タップ-ベクトル」を判定するべく使用することができる。そのような追加または代替の技術は、限定されないが、静電容量センサからの情報に基づく第1および第2の3次元位置推定に基づき(例えば、仮想ボタンの平面から離れた第1および第2閾値距離(z座標距離)の交差を検出する際に)タップ-ベクトルを判定することを備え得る。静電容量センサは、横方向(x、y)座標を検出することができるが、これらの横方向座標は、光学センサ(40)によって検出される座標よりも精度が低い場合があることに、この点に関して留意されたい。このような追加または代替の技術は、限定されないが、静電容量センサ30からの情報に基づく第1の3次元検出(例えば、仮想ボタンの平面から離れた第1閾値(z座標)の交差を検出する際に)と、光学センサ(40)からの情報に基づく横方向情報(x,y)座標に基づくとともに静電容量センサ30によって判定されるz座標に基づく第2の3次元検出と、に基づきタップ-ベクトルを判定することを備えてもよい。これらのタップベクトル推定技術のいずれにおいても、タップの判定(判別)に関連する別の基準として、適切な時間閾値が用いられてもよい。
【0050】
光学センサ(40)(例えばセンサ42A、42Bのような)は、一度に複数の点を検出することができる。複数の点または単一の点のいずれかで作業するユーザの意図は、光学センサの検出領域に入るオブジェクトの閾値期間枠内で判定することができる。閾値期間枠内でどのように多くの点が検出されるかに応じて、光学センサ(40)は、単一点または多点の動作モードに入ることができる。多点精度は、上述したように、追加の光学センサ(複数可)(すなわち、図3A図3Cに示すセンサ42A、42Bに加えて)によって良好に実行され得る。多点検出は、ピンチ・トゥ・ズームおよびピンチ・トゥ・パンのような、2本指のジェスチャに使用することができる。
【0051】
光学センサ(40)(例えば光学センサ42A、42B)の範囲および精度のさらなる改善は、光学センサの検出平面が(例えば回転アクチュエータなどを用いることで)或る範囲の角度の間で振動することによって達成することができる。このような検出平面の揺動によって、静電容量センサ30から得られるz方向情報に加えて、光学センサ自身が奥行き(深度、z方向)情報を持つことができる。そのような振動検出平面はまた、固定された奥行き(深さ)とは対照的に、異なるオブジェクト奥行き(すなわち、異なるz座標)において横方向x-y位置を得ることを可能にする。
【0052】
いくつかの実施形態では、後付けコントローラ20は、タッチレス感知システム12からのタッチレス入力信号14に基づき、人間ユーザの視線(ラインオブサイト)ベクトルを、および/または人間ユーザと後付けディスプレイ60との間の距離を、推定するように構成されている。後付けコントローラ20は、ユーザの手の一部(例えば、拳、手首、前腕など)の位置の推定値および/またはユーザの手の一部の接近角度の推定値に基づき、視線ベクトルを推定するように構成され得る。視線ベクトルはまた、場合によっては、ユーザの頭/胴体の位置に基づき推定され得る。そのような視線推定を行うための情報は、タッチレス感知システム12によって提供され得る。
【0053】
ユーザの視線および/または位置は、場合によっては、タッチレス感知システム12の一部として提供され得る追加の視線センサ(例えば、静電容量センサ、光学センサ、カメラ、および/またはその他(図示せず))を用いることによって、検出され得る。例えば、好適な光学センサは、ユーザの頭部姿勢、視線、および手つき(すなわち、左手または右手)、を検出するべく使用され得る。いくつかの実施形態では、静電容量センサ30は、(例えば、機械学習アルゴリズムを用いることで)ユーザの手の一部の位置および/または接近角度を検出するべく使用され得る。いくつかの実施形態では、視線センサは、後付けインタフェース装置10(またはその特定の部分)の高さを判定するように構成された高さまたは高度センサ(例えば、レーザベースのセンサ)を備えている。そのような実施形態では、ユーザの視線は、後付けインタフェース装置10の高さとともに、平均的な人間の身長に基づき推定され得る。この高さ情報は、ユーザの視線を推定するべく、上述した他の検出値とで共に使用され得る。
【0054】
図1に戻ると、後付けインタフェース装置10(例えば、後付けコントローラ20)は、タッチレス制御信号16を使用することで、ターゲット装置50のターゲット制御システム51に直接通信するように接続されてもよい。このように、後付けインタフェース装置10は、ターゲット装置50の既存のタッチベース入力50Aおよびタッチベース制御信号(入力信号)19の入力機能を、代替または補完(すなわち、代替または追加を提供)してもよい。いくつかの実施形態において、後付けインタフェース装置10は、1つまたは複数の適切な通信プロトコル(例えば、USB、SPI、I2C、CAN、RS-232、シリアルなど)を有する配線を備えている。後付けインタフェース装置10の配線は、ターゲット装置50との容易な統合のために、容易なプラグパッケージで提供され得、ターゲット装置50は、1つまたは複数の対応する通信プロトコルを有する配線を備え得る。例えば、ターゲット装置50の既存のタッチベース入力50AがUSBマウスまたは同様のUSB入力装置である場合、後付けインタフェース装置10は、ターゲット装置50のUSBジャックに直接差し込まれることで、ターゲット装置50にタッチレス入力機能を提供することができる。ターゲット装置50との後付けインタフェース装置10の接続は、追加的にまたは代替的に、ターゲット装置50の既存の電気ノード(図示せず)に結合することによって達成され得る。例えば、そのような電気ノードは、タッチベース入力50Aがターゲット制御システム51に接続されるものとで同じノードを備えていることができる。いくつかの実施形態では、タッチベース入力50Aの接続は、このような電気ノードから切断されてもよく、これによって、後付けインタフェース装置10は、タッチベース入力50Aの機能をタッチレス入力に置き換えるが、これは必須ではない。
【0055】
後付けインタフェース装置10の設計は、いくつかの拡張可能にされている形態をとることができる。後付けインタフェース装置10のいくつかの実施形態は、製造業者、およびOEMサードパーティ、またはエンドユーザ自身、が単一の「ブロック」ユニットを、より大きなユニットに接続することで、より大きなタッチベースのインタフェースをカバーすることを可能にするモジュール設計を備えている。単一のユニットは、街灯信号であるターゲット装置50(単一のボタンしか持たない)に適用可能であり、一方、ターゲット装置50がキーパッドを有するインターホンシステムを備えている場合には、3×4グリッドに組み合わせた12個のユニットが使用され得る。このモジュール設計は、各モジュールブロックが、静電容量センサ、視覚または触覚フィードバックのための方法、およびタッチ作動構成要素TAC、を構成し得ることを意味するであろうが、いくつかのそのような実装は、モジュールブロック同士間でいくつかのそのような構成要素同士を共有し得る。
【0056】
図1Aは、本発明の別の例示的な実施形態による後付けインタフェース装置10Aの概略的な描写である。上述した後付けインタフェース装置10とで同様に、後付けインタフェース装置10Aは、ターゲット装置50(タッチベース入力50Aを備えている)に後付けすることで、ターゲット装置50にタッチレス入力を提供する。(後付けインタフェース装置10の場合のように-図1参照)タッチレス制御信号16を使用することでターゲット装置50とでインタフェースする代わりに(または、オプションとしてそれに加えて)、後付けインタフェース装置10Aは、ターゲット装置50のタッチベース入力50Aに物理的に相互作用するように位置付けられかつ移動可能にされている1つまたは複数のアクチュエータ37を備えている。後付けインタフェース装置10Aは、オプションとして、タッチレス表示信号18を使用することでターゲット装置のターゲットディスプレイ22とで通信することもできる。アクチュエータ37は、本明細書において単数形または複数形で言及されることがあり、後付けインタフェース装置10Aは、1つまたは複数のアクチュエータ37を備えて構成されてもよいことが理解される。アクチュエータ37は、後付けコントローラ20からアクチュエータ制御信号39を受け入れるべく、後付けインタフェース装置10Aの後付けコントローラ20に接続されてもよい。アクチュエータ制御信号39は、アクチュエータ37の動き(移動)を制御するべく後付けコントローラ20によって使用されてもよい。後付けインタフェース装置10Aは、アクチュエータ制御信号39に応答(反応)してアクチュエータ37を駆動するべく使用され得る、電源、増幅器、および/または同様のもの、などの適切なアクチュエータ駆動回路(明示的に示されていない)を備えてもよい。アクチュエータ37は、アクチュエータ制御信号39に応答することで、ターゲット装置50のタッチベース入力50Aに物理的に相互作用するように移動してもよく、それによってターゲット装置50にタッチレス(ユーザの観点から)入力を提供してもよい。
【0057】
後付けインタフェース装置10Aのアクチュエータ37は、ターゲット装置50のタッチベース入力50Aを押す、引く、スライドする、回転する、またはその他の方法、でターゲット装置50のタッチベース入力50Aに物理的に相互作用するおよび/または力を及ぼす、ことができる。ターゲット装置50のタッチベース入力50Aは、多くの形態を備えている場合があり、その結果、アクチュエータ37は、特定のタッチベース入力50Aとで相互作用するべく望ましい多くの異なるタイプのアクチュエータ37を備えている場合がある。非限定的な例として、アクチュエータ37は、キーパッドボタンを押す、ダイヤルまたはノブを回す、引く、または押す、ドアハンドルを回す、ラッチまたはスライダ入力をスライドさせる、タッチセンサに触れる、および/または同様のこと、を行うべく使用されてもよい。アクチュエータ37は、ターゲット装置50のタッチベース入力50Aとで好適な方法で相互作用するように、ターゲット装置50に対して好適に配置されてもよい。
【0058】
いくつかの実施形態において、ターゲット装置50のタッチベース入力50Aがタッチ画面インタフェースを備えている一方で、アクチュエータ37は、(例えば、導電性スタイラス、チップ、および/または同種のもの、を用いることで)タッチ画面インタフェースをタッチするべく使用されてもよい。いくつかのそのような実施形態では、アクチュエータ37は、入力が提供され得るタッチ画面の一部(例えば、タッチボタン、キーパッド、またはキーボード、が典型的に現れる部分)とで相互作用するように配置、位置への移動、および/またはサイズ決め、されることで、タッチ画面インタフェースの他の部分の可視性がアクチュエータ37によって妨げられないようにしてもよい。
【0059】
いくつかの実施形態では、アクチュエータ37は、モータ、ソレノイド、リニアアクチュエータ、油圧アクチュエータ、圧電アクチュエータ、および/または同様のもの、など電力によって駆動する電気機械アクチュエータを備えて構成されてもよい。後付けインタフェース装置10Aのいくつかの実施形態は、タッチベース入力50Aの品揃えを備えているターゲット装置50に後付けするための、アクチュエータ37の品揃えを備えて構成されてもよい。アクチュエータ37の1つの例示的な実施形態は、ソレノイドまたはモータの離散マトリックスアレイ-格子状に配置されており、タッチベース入力50Aの対応するボタン-例えばキーパッドボタン、キーボードボタン、タッチ画面仮想ボタン、および/または同様のもの、を押すように配置または配置可能-を備えている。いくつかのそのような実施形態では、アクチュエータ37と、タッチベース入力50Aの個々の入力(例えば、ボタン、仮想ボタン、タッチ画面位置、および/または同類)と、の間に1対1の対応があってもよいが、これは必須ではない。いくつかの実施形態では、1つのアクチュエータ37は、タッチベース入力50Aの2つ以上の個々の入力(例えば、ボタン、仮想ボタン、タッチ画面位置、および/または同種のもの)とで相互作用するように配置、位置への移動、サイズ調整、および/またはその他の方法、で使用されてもよい。
【0060】
いくつかの実施形態では、アクチュエータ37は、タッチベース入力50Aに対する移動のために支持される。例えば、アクチュエータ37は、タッチベース入力50Aとの相互作用を容易にするべく、アクチュエータ37がタッチベース入力50A(またはその一部)の近傍に移動され得るように、可動ガントリー上にまたは可動ヘッドを有するフレームワーク上に支持され得る。例えば、アクチュエータ37は、ソレノイドのグリッドがキーパッドボタンに隣接して配置されることでキーパッドボタンを押すことができるように、「ガントリー」上に、または可動ヘッドを有するフレームワーク上に、などによって支持されたソレノイドのグリッド配置を備えていることがある。いくつかの実施形態では、タッチベース入力50Aの個々の入力との相互作用のために1つまたは複数の適切なアクチュエータ37を配置するべく、磁場および/または電界の使用を備えている適切なシステムを使用することができる。
【0061】
後付けインタフェース装置10Aは、ソレノイドアクチュエータ(37)を備えてもよい。ソレノイドアクチュエータ(37)は、電流の変化を利用してそれぞれのコイル内に磁場を発生させることで、それによって直線運動を作り出す1つまたは複数のソレノイドを備えている。作動するとき、ソレノイドの内部に位置する金属棒は、コイルの外側に押されるか、またはコイルの中に引き込まれるか、のいずれかである。後付けインタフェース装置10Aは、いくつかの実施形態において、離散的な(例えば、独立して制御可能にされている)ソレノイドアクチュエータ(37)のマトリックスを備えて構成されてもよい。非限定的な例として、ターゲット装置50のタッチベース入力50Aのボタン(または仮想ボタン)に隣接して配置されたソレノイドアクチュエータ(37)のグリッド配置は、所定のボタンを押すことができるであろう。ソレノイドアクチュエータ(37)は、モータベースのアクチュエータ37とで比較すると、コンパクトな機械的設計を有することができる。
【0062】
後付けインタフェース装置10Aは、追加的にまたは代替的に、モータベースのアクチュエータ37を備えてもよい。例えば、モータベースのアクチュエータ37は、ターゲット装置50のタッチベース入力50Aを押す、引く、直線的に作動させる、または回転させる、ための1つまたは複数のサーボモータ、DCモータ、またはステッパモータ、を備えて構成されてもよい。モータベースのアクチュエータ37は、それぞれのモータによって生じる力の方向、パワー、速度、および/または他の特性、を操作するための適切な機構を備えているかまたはそれを装備されてもよい。このような機構を備えて構成されているかまたは装備されているモータベースのアクチュエータ37は、例えば、タッチベース入力50Aのボタンを押すための直線力を生成するべく、またはタッチベース入力50Aのドアハンドルを回すのに十分なパワーおよび/または範囲を生成するべくギアのセット(例えば、ギア列)を回転させるべく、利用され得る。モータベースのアクチュエータ37は、ソレノイドベースのアクチュエータ37とで比較した場合、より電力効率がよい場合がある。
【0063】
上で言及したように、アクチュエータ37は、ソレノイドおよび/またはモータに限定されない。他の適切なアクチュエータ37は、非限定的な例として、リニアアクチュエータ、油圧/空気圧アクチュエータ、圧電アクチュエータ、熱アクチュエータ、バネベースのアクチュエータ、磁気アクチュエータ、静電アクチュエータ、および/または同様のもの、を備えていることができる。図9は、特定の実施形態による複数のリニアアクチュエータ(37)を備えている、図1Aの後付けインタフェース装置10Aの概略分解斜視図である。
【0064】
他の点では、後付けインタフェース装置10Aは、本明細書に記載される後付けインタフェース装置10とで同様であってよい。文脈が特に指示しない限り、後付けインタフェース装置10の特徴への言及は、後付けインタフェース装置10Aに適用可能にされていると理解されるべきである。
【0065】
図1Bは、別の例示的な実施形態による後付けインタフェース装置10Bを模式的に示す。本明細書で説明した後付けインタフェース装置10、10Aとで同様に、後付けインタフェース装置10Bは、ターゲット装置50(タッチベース入力50Aを備えている)に後付けすることで、ターゲット装置50にタッチレス入力を提供する。図1Bの実施形態の後付けインタフェース装置10Bの場合、ターゲット装置50のタッチベース入力50Aは、ターゲットタッチ画面(入力)50Bを備えて構成されている。タッチレス制御信号16を使用することでターゲット装置50とでインタフェースしたり(後付けインタフェース装置10の場合であったように-図1参照)、または移動するアクチュエータ37を使用したり(後付けインタフェース装置10Aの場合であったように-図1A参照)、する代わりに(または任意にそれに加えて)、後付けインタフェース装置10Bは、ユーザの身体の接触をエミュレーション(模倣)することによってターゲット装置50のターゲットタッチ画面(タッチパネル)50Bとで電気的に相互作用するように制御可能にされている、1つまたは複数のタッチエミュレータ41を備えて構成されている。後付けインタフェース装置10Bは、タッチレス表示信号18を用いることで、ターゲット装置のターゲットディスプレイ22とで任意に通信することもできる。いくつかの実施形態では、後付けインタフェース装置10Bは、タッチベース入力50Aとで相互作用するためのアクチュエータ(後付けインタフェース装置10Aのアクチュエータ37のような)を任意に備えてもよい。
【0066】
タッチエミュレータ41は、本明細書では単数形または複数形で言及されることがあり、後付けインタフェース装置10Bは、1つまたは複数のタッチエミュレータ41を備えて構成されてもよいことが理解される。タッチエミュレータ41は、後付けインタフェース装置10Bの後付けコントローラ20に接続されることで、後付けコントローラ20からエミュレータ制御信号43を受け入れ(受信し)てもよい。エミュレータ制御信号43は、後付けコントローラ20によってタッチエミュレータ41の電気的特性を制御するべく使用されてもよい。タッチエミュレータ41は、エミュレータ制御信号43に応答することで、ターゲット装置50のタッチベース入力50A(ターゲットタッチ画面50B)とで電気的に相互作用することで人間のタッチをエミュレートしてもよく、それによってターゲット装置50にタッチレス(ユーザの観点から)入力を提供してもよい。
【0067】
図4Aは、典型的なターゲット装置50の典型的な静電容量式のターゲットタッチ画面50Bを概略的に示している。ターゲットタッチ画面50Bは、典型的には、透明導電材料(例えば、酸化インジウム錫(ITO))の層で被覆されている。ターゲットタッチ画面50Bが導電性要素(ユーザの指など)によって接触されると、局所電気特性(具体的には局所電荷、局所静電容量、および/または局所電界)がタッチの位置において変化するので、このタッチイベントは、ターゲットタッチ画面50Bによって、および/またはターゲット装置50のターゲット制御システム51によって、観察される(図1Bを参照)。
【0068】
図4Bは、特定の例示的な実施形態によるタッチエミュレータ41を模式的に示している。図4Bの実施形態のタッチエミュレータ41は、順に酸化インジウム錫(ITO)、導電性カーボンナノチューブ、グラフェン、高分子材料、薄い金属(例えば、銀)ナノワイヤ、および/または同類、を備えていることができる透明導電フィルム45の1つまたは複数の要素(例えば、セル)を備えている。透明導電フィルム45は、ターゲットタッチ画面50Bの1つまたは複数の領域に隣接して(例えば、適切な相互作用近接内に)配置されてもよい。例えば、透明導電フィルム45は、ターゲットタッチ画面50Bに直接重なってもよい(接触していてもよい)。透明導電フィルム45は、局所電荷、局所静電容量、および/または局所電界、を変化させることで、それによってターゲットタッチ画面50Bのその領域における「タッチ」をエミュレートするべく、制御可能かつ選択的にグランドに(すなわち、ターゲットタッチ画面50Bのグランドに、またはターゲットタッチ画面50Bのアースの電位に十分に近いグランドに)接続可能であってもよい。例えば、図4Bの例示的な図示の実施形態では、透明導電フィルム45は複数のセル52に分割されており、各セル52はターゲットタッチ画面50Bの対応する領域に(例えば、導電性接着剤または適用圧力を介して)直接に物理的接触していてもよい。図4Bに示されたセル52の数、およびターゲットタッチ画面50Bの対応する領域の数、は例示のためであり、セル52の数および/またはレイアウトは、異なる実施形態では異なってもよいことが理解されよう。
【0069】
各セル52は、導電体(電気伝導体)53(例えば、ワイヤ、プリント回路基板PCBトレース、および/または同類)および適切なスイッチ(図4Bにおいてスイッチ54A~54L(集合的にスイッチ54)として示されている)を介することで、制御可能かつ選択的にグランドに接続可能であってよい。透明導電フィルム45の各セル52は、他のセル52から電気的に絶縁されていてもよい。各導電体53は、他の導電体53から電気的に絶縁されていてもよい。セル52は、適切なグリッド配置または他の適切な配置(ターゲットタッチ画面50B上の仮想ボタンの位置に依存し得る)でレイアウトされてもよい。セル52の数、サイズ、および/または配置、はタッチエミュレータ41および後付けインタフェース装置10Bのタッチエミュレーション解像度を判定し得る。いくつかの実施形態では、導電体53は、透明(例えば、1つまたは複数の透明導電材料で作られる)であるか、またはユーザにとって透明に見える導電材料(例えば、金属ナノワイヤ)の薄い(細い)ストランドで作られる。導電体53は、透明な導電性接着剤または半田でセル52に電気的に接続されてもよい。導電体53は、ターゲットタッチ画面50Bとユーザとの間に位置する配線(ワイヤ)の量を最小にするように配置されてもよい。
【0070】
スイッチ54(例えば、MOSFETトランジスタ、スイッチングリレー、および/または同類)は、各セル52と電気的グランドとの間に電気的接続される。後付けインタフェース装置10Bの後付けコントローラ20は、エミュレータ制御信号43(図1B参照)を用いることでスイッチ54を制御してもよい。具体的には、後付けコントローラ20は、特定のスイッチ(電気スイッチ)54を、スイッチ54が導通することによって対応するセル52をグランドに接続するON構成と、スイッチ54が非導通であるOFF構成と、の間で切り替えるように構成されてもよい。スイッチ54がON構成になっていることで導通しているとき、ターゲット装置50のターゲットタッチ画面50Bはこれ(ON構成)を、対応するセル52の位置におけるタッチイベントとして解釈することができる。タッチレス感知システム12がユーザからのタッチレス入力(例えば、指がタッピングする(叩く)ジェスチャ)を検出すると、後付けコントローラ20は、エミュレータ制御信号43を使用することで、1つまたは複数のスイッチ(電気スイッチ)54をON位置に切り替えてもよい。後付けコントローラ20は、スイッチ(電気スイッチ)54をリアルタイムで(すなわち、タッチレス感知システム12によって検出されたタッチレスタップと、タッチエミュレートされたタップと、の間の時間遅延がほとんどないかまたは時間遅延がない状態で)制御するように構成されてもよい。
【0071】
いくつかの実施形態において、後付けインタフェース装置10Bは、タッチレス感知システム12と、タッチエミュレータ41のセル52と、の間の空間的対応を確立するように構成されている。有利には、空間的対応関係は、ユーザがセル52に直接に隣接するタッチレス入力(例えば、指のタッピングジェスチャ)を入力することによって、タッチエミュレータ41のセル52を作動させることを可能にし得る(例えば、タッチレスタップはタッチレス感知システム12によって検出されてもよく、後付けコントローラ20は、エミュレータ制御信号43を用いることで、ユーザのタッチレスタップの位置に隣接するセル52に対応するスイッチ54をONにし得る)。好ましくは、スイッチ(電気スイッチ)54は、スイッチON時に電気的グランドへの強力な接続を確立するべく、低い浮遊/寄生容量を有する。後付けコントローラ20は、ターゲットタッチ画面50Bに隣接するか、またはターゲットタッチ画面50Bの背後に配置されるか、してもよい。いくつかの実施形態では、後付けコントローラ20は、タッチレス感知システム12とで一体化されてもよい。
【0072】
後付けインタフェース装置10Bは(タッチレス感知システム12を介して)、多種多様なタッチレス入力を検出するように構成されてもよいだけでなく、様々な方法でターゲットタッチ画面50Bを作動させてもよい。例えば、タッチレス感知システム12によって検出されたタッチレス入力ジェスチャは、(例えば、タップまたはダブルタップジェスチャの場合)一過性であってもよいので、後付けインタフェース装置10Bは、セル52を一時的に電気的グランドするとともに、ターゲットタッチ画面50B上の対応するジェスチャをシミュレートするように構成されてもよい。別の例として、タッチレス感知システム12によって検出されたタッチレス入力は、一定期間保持されてもよいので、後付けインタフェース装置10Bは、ターゲットタッチ画面50B上のより長い「タッチホールド」をシミュレートするべく、対応する期間、セル52を電気的グランドするように構成されてもよい。別の例として、タッチレス感知システム12によって検出されたタッチレス入力は、ホバー、ドラッグ、スワイプ、ピンチ、などを備えてよいので、後付けインタフェース装置10Bは、ターゲットタッチ画面50Bの導電性表面にわたるそのような動きをエミュレートするべく、セル52の1つまたは複数を、同時に、或る時間にわたって、または順次に、電気的グランドさせるように構成されてもよい。
【0073】
いくつかの実施形態では、タッチエミュレータ41の透明導電フィルム45と、タッチレス感知システム12の静電容量センサ30と、は同じプリント回路基板PCB上に設けられるが、これは必須ではない。いくつかのそのような実施形態では、透明導電フィルム45および静電容量センサ30は、互いに電気的に絶縁されてもよい。例えば、プリント回路基板PCB(例えば透明プリント回路基板PCB)は、ターゲット装置50のターゲットタッチ画面50Bから遠位に存在するプリント回路基板PCBの複数の層のうちの2つに位置する静電容量センサ30の送信電極および受信電極を備えてよい。透明導電フィルム45のセル52は、ターゲットタッチ画面50Bとの接触のためにターゲットタッチ画面50Bに近接するように(例えば、最も近接して)、プリント回路基板PCBの複数の層のうちの1つに位置することができる。
【0074】
いくつかの実施形態において、後付けインタフェース装置10Bおよび/またはタッチエミュレータ41は、防水性または耐水性を提供するためのコーティングまたは他の層状材料を備えてもよい。いくつかの実施形態では、後付けインタフェース装置10Bおよび/またはタッチエミュレータ41は、温度および湿度の様々な範囲に耐えるように(すなわち、後付けされるターゲット装置50のターゲットタッチ画面50Bに合わせるように)構築することができる。
【0075】
有利には、後付けインタフェース装置10Bは、ターゲット装置50のターゲット制御システム51に後付けインタフェース装置10Bを直接接続することは必須ではなく(そのような接続は任意であるが)、既存のターゲットタッチ画面50B(すなわち、公共空間における一般的なタイプのタッチベースインタフェース)に容易に統合することができる。後付けインタフェース装置10Bは、ユーザがターゲット装置50の既存のターゲットタッチ画面50Bとでタッチレスで相互作用(対話、インタラクト)できるように構成され得る。
【0076】
他の点では、後付けインタフェース装置10Bは、本明細書に記載される後付けインタフェース装置10に類似していてもよい。文脈が特に指示しない限り、後付けインタフェース装置10の特徴への言及は、後付けインタフェース装置10Bに適用可能にされていると理解されるべきである。
【0077】
図1Cは、ターゲット機械装置150に、後付けインタフェース装置10Cを取り付けることに関する本発明の追加の態様の一実施形態を模式的に示している。ターゲット機械装置150は、ターゲット機械装置150独自のコントローラを備えない一方で、タッチベース入力50A(自己作動オブジェクト150Aとして記載されてもよい)を備えている。タッチベース入力50A(自己作動オブジェクト150A)では、(タッチベースのコンテキストにおいて)自己作動オブジェクト150Aとのユーザの相互作用が、ターゲット機械装置150の対応するターゲット機構150Bの動作に影響を与える。ターゲット機械装置150の非限定的な例には、ドアハンドル/ノブ(自己作動オブジェクト150Aはハンドル/ノブの機構である一方で、ターゲット機構150Bは舌/ボルトである)、機械ロック機構(自己作動オブジェクト150Aはロックハンドルである一方で、ターゲット機構150Bはロックシャフトである)、ライトスイッチ(自己作動オブジェクト150Aはライトスイッチのレバーである一方で、ターゲット機構150Bはスイッチ接触部である)、および/または同様のもの、が含まれる。後付けインタフェース装置10Cは、それぞれの自己作動オブジェクト150Aとで相互作用するべく固有のアクチュエータ37を備えて構成されてもよい。他の点では、後付けインタフェース装置10Cは、本明細書に記載される後付けインタフェース装置10A(図1A)に類似していてもよく、文脈が他に指示しない限り、後付けインタフェース装置10Cの特徴は、本明細書に記載される後付けインタフェース装置10Aの特徴に類似すると見なされるべきである。
【0078】
いくつかの実施形態では、後付けインタフェース装置10Cおよびターゲット機械装置150は、単一の装置として製造またはその他の方法で提供されてもよい。素の場合、自己作動オブジェクト150Aは、通常のタッチベース装置のように動作するように製造される一方で、自己作動オブジェクト150Aがタッチレスに作動することを可能にするべく後付けインタフェース装置10Cを備えている。いくつかのそのような実施形態において、後付けインタフェース装置10Cは、ユーザとの相互作用または指示のための後付けディスプレイ60を備えてもよい。例えば、ターゲット機械装置150は、ライトスイッチの物理的タッチを発生させることなく、ホバータップまたはスワイプで押されるかまたはフリックされるライトスイッチを備えて構成されてもよい。他の例として、ターゲット機械装置は、適切な仮想ボタン等の上でFOBをホバリングすることによって回転可能にされているドアハンドルを備えて構成されてもよい。
【0079】
本明細書に記載される後付けインタフェース装置のいずれか(例えば、後付けインタフェース装置10、10A、10B、10C)は、ユーザのスマートフォンまたはハンドヘルド計算装置(携帯型コンピューティングデバイス)47との相互作用(例えば、モバイル装置信号49を介した後付けコントローラ20とハンドヘルド計算装置47との間の通信)を促進し得る。非限定的な例として、後付けインタフェース装置10が、QRコード(登録商標)、NFC/RFIDタグ、WIFI/Bluetooth(登録商標)接続、および/または同様のもの、を備えていることで、ユーザは、モバイル装置信号49を介して後付けコントローラ20に入力(例えばボタン選択、英数文字、スライドジェスチャ、および/または同様のもの)をワイヤレスで提供するだけでなく、その後にターゲット装置50に対応する入力を提供してもよいように、ハンドヘルド計算装置47のキーボード/キーパッド入力を利用できるようにされてもよい。これによって、ユーザは、自身のハンドヘルド計算装置47を利用して後付けインタフェース装置10とで相互作用することができるだけでなく、この後、ターゲット装置50とで相互作用することで、ユーザは、ターゲット装置50とで通信(例えば、入力を提供)するべく自身のハンドヘルド計算装置47に物理的に接触するだけでよいようにされている。いくつかの実施形態では、ハンドヘルド計算装置47は、後付けコントローラ20に入力信号(モバイル装置信号49)を提供するべく、タッチレス感知システム12に加えてまたはそれに代えて、ユーザによって使用されてもよい。
【0080】
後付けインタフェース装置10は、後付けインタフェース装置10への迅速な接続および後付けインタフェース装置10からの迅速な自動切断を、容易にするソフトウェアアプリケーション(例えば、スマートフォンアプリ)を用いるように(例えば、後付けコントローラ20の適切なプログラミングによって)構成されてもよい。後付けインタフェース装置10は、ハンドヘルド計算装置(ハンドヘルド装置)47への迅速な接続、および/またはハンドヘルド計算装置47からの迅速な切断を、容易にするソフトウェアアプリケーションで(例えば、後付けコントローラ20の適切なプログラミングによって)構成され得る。
【0081】
いくつかの実施形態では、ハンドヘルド計算装置(機器)47と後付けインタフェース装置10との間の接続は、ターゲット装置50が複数のハンドヘルド計算装置47からユーザ入力を受け取る(受信する)こと、または一度に複数のハンドヘルド計算装置47から入力を受け取ること、を防ぐべく特定ユーザのハンドヘルド計算装置47にまたは一度に特定のハンドヘルド計算装置の1つに、限定される。そのような実施形態は、安全なアプリケーション(例えば、POS端末および/または同種のもの、におけるピンコードの入力用)および/または個人使用アプリケーション(例えば、パーキングメータおよび/または同種のもの)に適している場合がある。そのような実施形態の1つの例示的な実装は、閾値期間の後(例えば、非アクティブな閾値期間の後)、各ハンドヘルド計算装置(ユーザ装置)47を後付けインタフェース装置10から切断するように構成されたタイマーを使用したり、および/または、イベントの検出または完了後に新しいユーザが接続できるように各ハンドヘルド計算装置(ユーザ装置)47を後付けインタフェース装置10から切断するイベント検出アルゴリズムを使用したり、するように構成されている。このような実施形態の別の追加的または代替的な実施例では、後付けインタフェース装置10とで通信するべく、使用中にユーザ装置(ハンドヘルド計算装置47)がQRコード(登録商標)またはNFCタグを、ハンドヘルド計算装置47のカメラまたはNFCセンサの視界内に維持することを要求するように、後付けインタフェース装置10を構成することが含まれる。そのような実施形態の別の追加的または代替的な実装は、ハンドヘルド計算装置47の近接を推定するように構成され得る適切な通信ハードウェアおよび/またはソフトウェア(例えば、WIFIおよび/またはBluetooth(登録商標)アンテナ)を後付けインタフェース装置10に提供することで、ハンドヘルド計算装置47の近接が後付けインタフェース装置10から離れた閾値距離に達するとすぐにハンドヘルド計算装置47と後付けインタフェース装置10との間の接続が失効し得ることを備えている。
【0082】
後付けインタフェース装置10は、ハンドヘルド計算装置47からの入力選択の通信を受け入れるための、様々な方法を備えていることができる。例示的な方法は、限定されないが、コード化された音響信号、LEDライト信号、カメラシステムを利用することでスマートフォン画面および/または同類(例えば紙片)上に表示された英数字テキストまたはQRコード(登録商標)を見ること、NFCまたはRFID、を備えている。
【0083】
本明細書に記載された後付けインタフェース装置のいずれか(例えば後付けインタフェース装置10、10A、10B、10C)は、後付けインタフェース装置10を介してターゲット装置50とで相互作用するユーザにフィードバックを提供するための、1つまたは複数の後付けフィードバック機構55を備えてもよい。そのような後付けフィードバック機構55は、適切なフィードバック制御信号57を使用することで後付けコントローラ20によって制御されてもよい。本明細書の他の位置で論じるように、後付けインタフェース装置10の後付けディスプレイ60は、後付けフィードバック機構55の一部を構成してもよい。特定の実施形態による後付けインタフェース装置10は、以下の後付けフィードバック機構55のうちの1つまたは複数を備えてもよい。
【0084】
後付けインタフェース装置10は、超音波および/または音響波伝送(本明細書では総称して音波伝送(SWT:ソニックウェーブトランスミッション))フィードバック機構を備えている、後付けフィードバック機構55を備えてもよい。音波伝送SWTフィードバックは、人間の皮膚によって感じることができるボタンクリック感覚(例えば、指が、従来のキーボードの表面上のキーを、またはタッチパッドマウスの左/右ボタンを、打つときに典型的に感知される感覚、または他の適切な感覚)を模擬することによってタッチレス触覚フィードバックを作成することで、それによって入力が行われたこと(例えば、選択が行われたこと、ボタンが押されたこと、および/または同様のこと)をユーザに示すべく使用されてもよい。
【0085】
静電容量センサ30を備えている典型的で既製のプリント回路基板PCBは、音波伝送SWTをサポートしない。そのようなプリント回路基板PCBの背後に位置する音波トランスデューサは、プリント回路基板PCBの反対側に存在する指によっては感じることができないであろう。後付けインタフェース装置10(および/または本明細書に記載の他の後付けインタフェース装置10A、10B、10C)は、静電容量センサおよび音波伝送SWTを単一のフォームファクタで共存させる設計構成を、備えていることができる。タッチレス触覚フィードバックは、タッチレス感知システム12のセンサの感知動作を妨げない(または不当に干渉しない)一方で、音波伝送SWTトランスデューサ(音波トランスデューサ55A)からの音響エネルギーがタッチレス感知システム12の感知領域(センシングゾーン)に到達することを可能にするように、タッチレス感知システム12(例えば、静電容量センサ(複数)30)および音波トランスデューサ55A(例えば、プリント回路基板PCB上またはその他)を配置することによって達成されてもよい。
【0086】
例えば、後付けインタフェース装置10および/または後付けインタフェース装置10Aは、音波伝送SWTトランスデューサの円形、楕円形、または矩形、の品揃えが、静電容量センサのプリント回路基板PCBの周囲の周りにまたは部分的に配置される-おそらく静電容量センサのプリント回路基板PCBのユーザ対向面(ユーザに面した側)の感知ゾーンの中心に向かって向けられる-「周囲」(ペリメータ)配置を備えてもよい。静電容量センサのプリント回路基板PCBの周囲または部分的な周囲における、音波伝送SWTトランスデューサのこの配置は、ボタンクリック感覚を感じるべく人間の指に当たる音波のための自由な経路を提供する。音波伝送SWTトランスデューサは、音波エネルギーをユーザの指の位置に向けることで、ユーザの指上のボタンクリックの感覚および/または同様のもの、をシミュレートするように構成されてもよい。いくつかの実施形態では、タッチレス感知システム12によって検出された指の位置は、適切に構成されたコントローラ(例えば、後付けコントローラ20)によって処理されることで、音波トランスデューサを制御することで(フィードバック制御信号57を介して)音波を指の検出位置に向けて指向させることが可能にされている。
【0087】
図7Aおよび図7Bは、特定の実施形態に従って本明細書に記載される、後付けインタフェース装置10、10A、10B、10Cのいずれかとで共に使用され得る、音波伝達式の後付けフィードバック機構55を概略的に示している。音波伝達式の後付けフィードバック機構55は、音波トランスデューサ(音波伝送SWTトランスデューサ)55Aと、タッチレス感知システム(タッチレス感知機構)12と、を備えている。タッチレス感知システム12は静電容量センサ(複数可)30を備えている。図7A図7Bの図示された実施形態では、音波伝送SWT式の後付けフィードバック機構55は、音波トランスデューサ55Aのレイアウトを備えており、これらは、表面(凹面または平面であるように形成されてもよい)上に位置決めされてもよい。図7Aの図示された実施形態では、音波トランスデューサ55Aを支持する第1支持表面38Aが概して平坦であるとともに、音波トランスデューサ55Aは、第1支持表面38A上に支持されることで、タッチレス感知システム12よりも後ろ(すなわち、ユーザから遠い)に位置する(例えば、1つまたは複数の静電容量センサ(複数)30の後ろ)。図7Aの実施形態では、静電容量センサ(複数可)30またはそれらの電極の一部(または一般にタッチレス感知システム12)は、音波伝送SWTトランスデューサ(音波トランスデューサ55A)が音波を静電容量センサ30(または一般にタッチレス感知システム12)の感知ゾーンに向け得る開口部31において、穿孔される。いくつかの実施形態では、単一の大きな開口部31のような少数の開口部が提供され得る。いくつかの実施形態では、複数の小さい開口部31を備えているマトリックスが提供されてもよい。図7Bの図示された実施形態では、音波トランスデューサ55Aを支持する第2支持表面38Bが凹部を有するだけでなく、音波トランスデューサ55Aがタッチレス感知システム12の周囲(例えば、1つまたは複数の静電容量センサ(単数または複数)30の周囲)に位置することで、音波トランスデューサ55Aは、タッチレス感知システム12のユーザ対向面(ユーザに面した側)(例えば、静電容量センサ(単数または複数)30および/またはタッチレス感知システム12の感知領域において一般に)に、音波を発生するよう向けられる。いくつかの実施形態では、図7Bの構成は、逆であり得る。すなわち、静電容量センサ30(またはそれらの電極の1セット)は、リング状に配置され得るので、音波トランスデューサ55Aは、静電容量センサ30のリングの中央開口部に配置され得る。いくつかの実施形態において、図7Aおよび図7Bに示されるフィードバックシステム(後付けフィードバック機構55)の態様は、組み合わされ得る。例えば、図7Aの実施形態において音波トランスデューサを支持する第1支持表面38Aは、凹型の形状を有するようにすることができる。いくつかの実施形態において、音波トランスデューサ55Aは、非導電性材料から(少なくとも主に)作製され得る。
【0088】
後付けインタフェース装置10は、視覚的フィードバック装置を備えている後付けフィードバック機構55を備えてもよい。いくつかの実施形態では、視覚的フィードバック装置は、タッチレス表示信号18を使用することでターゲット装置50のターゲットディスプレイ22を介して(および/またはタッチレス制御信号16およびターゲット表示信号21を介して間接的に)、実装されてもよい。いくつかの実施形態では、後付けインタフェース装置10の後付けフィードバック機構55の視覚的フィードバック装置は、後付け表示信号(ディスプレイシグナル)61によって制御される後付けフィードバック機構55自身の後付けディスプレイ60を備えて構成されてもよい。いくつかの実施形態では、ターゲット装置50はターゲットディスプレイ22を有していない一方で、後付けインタフェース装置10の後付けフィードバック機構55は、唯一のディスプレイまたは視覚的インジケータ(複数可)を備えている。いくつかの実施形態では、後付けフィードバック機構55は、LCD画面、eインク画面、または他の任意の適切なディスプレイ画面、などのディスプレイ画面を介することで視覚的フィードバックを提供する。後付けディスプレイ60は、外部パネル(例えば、タッチレス感知システム12を収容するプリント回路基板PCBに隣接して配置されたパネル)に組み込まれてもよい。後付けインタフェース装置10は、後付けディスプレイ60および/またはターゲットディスプレイ22を使用することで、タッチレス感知システム12によるインタラクティブなタッチ画面様のユーザ体験を提供してもよい。簡潔さのために、視覚的フィードバックに関するこの説明の残りの部分は、後付け表示信号61によって制御される後付けインタフェース装置10の一部である後付けディスプレイ60を指す。そのような視覚的フィードバックは、タッチレス表示信号18によって、またはタッチレス制御信号16およびターゲット表示信号21によって間接的に制御されるターゲット装置50の一部であるターゲットディスプレイ22によって、追加的にまたは代替的に提供されてもよいという一般性を損なわないものとする。
【0089】
図8は、特定の実施形態に従って本明細書に記載される後付けインタフェース装置10、10A、10B、10Cのいずれかの後付けフィードバック機構55とで使用されることができる、タッチレス感知システム12の分解図であり、概略図示している。タッチレス感知システム12は、後付けディスプレイ60の周りに「リング」形状に配置された1つまたは複数の静電容量センサ30と、および任意で1つまたは複数の光学センサ(40)と、および/または追加センサ33(図8には明示されていない)と、を備えている。明確にするべく、後付けコントローラ20は、図8には示されていないが、タッチレス感知システム12および/または後付けディスプレイ60とで共に、収容されてもよい。図8に示すように、タッチレス感知システム12の静電容量センサ30が、後付けディスプレイ60に隣接して配置されてもよいので、静電容量センサ30を支持するプリント回路基板PCBは、後付けディスプレイ60の周囲および前方(すなわち、ユーザ対向面(ユーザに面する側))に感知領域を提供するべく、静電容量センサ30の受信電極36が後付けディスプレイ60の境界の外側(例えば、一部の周囲、完全に周囲、または周囲)に配置されるように、サイズ、形状、および/または位置決め、をされてもよい。すなわち、静電容量センサ30を支持するプリント回路基板PCBは、静電容量センサ30の感知領域が後付けディスプレイ60のユーザ対向面上に位置するように、後付けディスプレイ60の周囲にまたは周囲の一部に「リング」を形成するように設計されてもよい。いくつかの実施形態では、静電容量センサ30を支持するプリント回路基板PCBは、後付けディスプレイ60によって静電容量センサ30の電界に引き起こされ得る干渉を緩和するべく、ユーザに向かって(後付けディスプレイ60に対して)わずかに変位されてもよい。静電容量センサ30のリングの中心46は、後付けディスプレイ60のアクティブ部分、すなわちコンテンツを実際に表示する後付けディスプレイ60の部分、にサイズおよび形状が概ね対応していてもよい。図8Aは、特定の実施形態による開口部(46)の周りにリング状に配置された1つまたは複数の受信電極36および1つまたは複数の送信電極34を備えている、静電容量センサ30の概略描写を示す。いくつかの実施形態では、静電容量センサ30は、後付けディスプレイ60以外の目的のために使用され得る開口部(46)の周囲(または部分的に周囲)に配置されてもよい。例えば、ターゲットディスプレイ22または他のいくつかの表面が、開口部(46)を通して見られることがある。
【0090】
いくつかの実施形態では、静電容量センサ30のリングの中心46は、空の開口部である。いくつかの実施形態では、静電容量センサ30のリングのこの中心46は、適切な透明材料(例えば、ガラス、プレキシガラス(ポリ(メタクリル酸メチル))、および/またはその類)を備えて構成されてもよい。いくつかの実施形態では、リングの中心46の透明材料は、透明導電材料(例えば、インジウム-錫(スズ)-オキサイド(ITO)または他の任意の適切な透明材料)を備えて構成されてもよい。いくつかのそのような実施形態では、透明導電材料は、静電容量センサ30の電極(例えば受信電極)のうちの1つのみが後付けディスプレイ60の周りのリングに配置されるように、静電容量センサ30の電極(例えば送信電極)のうちの1つを形成し得る。中央領域(46)に電極を有することは、プリント回路基板PCBの中央においてより強い電界を提供することによって、静電容量センサ30の電界の均一性を提供することで、静電容量センサ30の精度を高めるのに役立ち得る。プリント回路基板PCBの中央に強い電界を提供することは、タッチレス感知システム12が、より遠くに位置するより巨大な拳/前腕よりもむしろ、指をよりよく検出するのを助け得る-したがってタッチレス感知システム12の精度を増加させる。いくつかのそのような実施形態において、静電容量センサ30の送信電極および受信電極の両方は、透明導電材料から作製されてもよいので、その場合、静電容量センサ30は、後付けディスプレイ60のユーザ対向面に直接配置されてもよい-すなわち、送信電極34および受信電極36が両方とも透明なので、図8に示す開口(46)周辺の静電容量センサ30のリングベースのレイアウトは、「開口」(46)を覆うレイアウトに変更されてもよい。図8の図示された実施形態では、静電容量センサ30のリングは、透明材料(例えば、ガラス、プレキシガラス(ポリ(メチルメタクリレート))、および/またはその類)の適切なシート48によって、(ユーザ対向面で)部分的にまたは完全に覆われてもよい。透明シートまたはパネル(48)は、静電容量センサ30を包み込むことで、後付けインタフェース装置10が取り付けられ得る壁または他の表面とで同一平面(フラッシュ)に収まる、平坦な非突出デザインを形成するべく使用され得る。このような平坦なデザインは、後付けインタフェース装置10に対するタンパリングを軽減することで、場合によっては、ターゲット装置50が例えばエレベータパネルである場合のように、業界の安全要件を満たすことがある。エレベータパネルを備えているターゲット装置に適用される後付けインタフェース装置10のこのような例は、図8Bに示されている。
【0091】
有利には、静電容量センサ30のそのような「リング」デザインは、後付けディスプレイ60によって静電容量センサ30の電界に引き起こされ得る干渉を、(少なくとも許容できる程度まで)最小化し得る。また、図8の(および図3A図3Cに示される)タッチレス感知システム12は、有利には、後付けディスプレイ60から離れた位置に存在する静電容量センサ30および光学センサ(40)の融合を備えていることで、光学センサ(40)によって提供される精密な横方向(x-y)検出と、静電容量センサ30によって提供される精密なz座標検出および横方向検出トリガーと、タッチレス感知システム12および後付けディスプレイ60の組み合わせによって提供される有用なユーザフィードバックと、を備えている。
【0092】
いくつかの実施形態では、後付けコントローラ20は、後付けディスプレイ60によってインジシア(指標)(例えば、カーソル、ポインタ、および/またはその類)を後付けディスプレイ60上に表示させる後付け表示信号61を生成するように構成されている。後付けディスプレイ60上の表示されたインジシアの位置は、ユーザの手の一部の推定位置(すなわち、タッチレス感知システム12から受信したタッチレス入力信号14に基づき後付けコントローラ20が推定した位置)に対応してもよいし、それに基づくものであってもよい。ディスプレイ画面(後付けディスプレイ60)上の表示されたインジシアの位置は、追加的または代替的に、ディスプレイ画面(後付けディスプレイ60)に対するユーザの手の一部の近接度(例えば、タッチレス感知システム12から受信したタッチレス入力信号14に基づき後付けコントローラ20が推定した近接度)に対応してもよく、またはこれに基づくものであってもよい。例えば、いくつかの実施形態では、後付けコントローラ20は、後付けディスプレイ60の平面に平行な平面(例えば、x-y平面)内、後付けディスプレイ60の表面の接線方向の平面内、または、ターゲット装置50および/または後付けインタフェース装置10のいくつかの他の適切な表面の接線方向の平面内、のユーザの手の一部の推定位置を示すインジシアを後付けディスプレイ60によって表示させてよく、次に後付けディスプレイ60によって、例えば、ユーザの手の一部の、前記平面への近接(例えば、z方向)を示すインジシアの特徴(例えば、インジシアのサイズ、輝度、色、およびアニメーション特徴(複数可)、および/または同種のもの)を表示させてよい。いくつかの実施形態では、インジシアは、ユーザの指の位置をユーザに知らせるべく、常に後付けディスプレイ60上に表示される。
【0093】
いくつかの実施形態では、後付けコントローラ20は、ユーザの手の一部の推定近接度(例えばz方向)および/またはユーザの手の一部の推定位置(例えば後付けディスプレイ60の平面に対して、後付けディスプレイ60の表面に接する平面に対して、またはターゲット装置50および/または後付けインタフェース装置10のいくつかの他の適切な表面に接する平面に対して)に基づき、表示されるインジシアの外観をディスプレイ画面(後付けディスプレイ60)によって変化させる後付け表示信号61を生成してもよい。表示されたインジシアの外観の変化は、表示されたインジシアの色の変化、表示されたインジシアのサイズ、表示されたインジシアの明るさ(強度)、表示されたインジケアの形の変化、表示されたインジシアの色の勾配の変化、表示されたインジシアのアニメーション機能、表示されたインジシアに他のインジシアを追加、および/または同様のもの、のうちの少なくとも1つを備えてもよい。例えば、表示された指標(インジシア)は「リングカーソル」であってもよく、ユーザの手が、後付けディスプレイ60から離れた閾値距離に近づくと、リングカーソルのサイズが減少してもよい(すなわち、リングカーソルの直径が減少してもよい)。
【0094】
いくつかの実施形態では、後付けディスプレイ60は、(後付けコントローラ20からの後付け表示信号61によって)1つまたは複数の仮想入力(例えば、仮想ボタン)を表示するように構成されている。これらの実施形態では、後付け表示信号61は、ユーザの手の一部の推定位置および/またはユーザの手の一部の推定近接度(推定近接、推定近接性)に基づき、後付けディスプレイ60によって仮想入力の外観を変更させることができる。
【0095】
いくつかの実施形態では、後付けコントローラ20は、タッチレス感知システム12からのタッチレス入力信号14に基づき、ユーザの手の一部で行われる円運動を検出するように構成されている。いくつかのそのような実施形態では、後付けコントローラ20は、検出された円運動に基づき、後付けディスプレイ60によって何らかの視覚的フィードバックを提供させる(例えば、1つまたは複数の表示された仮想入力の外観を変更する)後付け表示信号61を生成するように構成されてもよい。
【0096】
いくつかの実施形態では、後付けコントローラ20は、タッチレス入力信号14に基づき、ユーザの手の一部が閾値期間にわたって(閾値内まで)動きを欠如して(欠いて)いることを検出するように構成されている。これらの実施形態では、後付けコントローラ20は、検出された動きの欠如に基づき、後付けディスプレイ60によって何らかの視覚的フィードバックを提供させる(例えば、1つまたは複数の表示された仮想入力の外観を変更する)後付け表示信号61を生成するように構成されてもよい。
【0097】
いくつかの実施形態では、後付けコントローラ20は、今度は、後付けディスプレイ60によって、後付けディスプレイ60に対するユーザの手の一部の近接度に相関する方法で、表示されたインジシアのサイズを変化させる後付け表示信号61を生成するように構成されている。いくつかのそのような実施形態では、後付けコントローラ20は、表示された指標のサイズが、複数の表示された仮想入力のうちの1つのサイズとで同じ(適切な閾値内まで)であるとき、およびユーザの手の一部の位置が閾値期間中に(適切な閾値内で)動きを欠くとき、それによってターゲット装置50の動作(例えば選択を行う)に影響を与えるようタッチレス制御信号16を変更するように構成されてもよい。すなわち、後付けコントローラ20は、ユーザが手の一部を、表示された仮想入力に(閾値内に)近接させるとともに、その後(閾値期間)動かないときに、表示された仮想入力の選択を確認するとともに、ユーザが手の一部を十分に近接させたときに指標(インジシア)の大きさが仮想入力の大きさとで同じであることに基づきこの選択の近接要素をユーザにフィードバックすることが可能にされている。
【0098】
後付けディスプレイ60は、フラット画面ディスプレイに加えてまたはフラット画面ディスプレイの代替として、1つまたは複数の可視光源を任意に備えていることができる。後付けコントローラ20は、例えば、後付けディスプレイ60の平面、後付けディスプレイ60の表面の接平面、またはターゲット装置50および/または後付けインタフェース装置10のいくつかの他の適切な表面の接平面、に対応する平面(例えばx-y平面)内のユーザの手の一部の推定位置、および/またはかかる平面に対するユーザの手の一部の推定近接度、に応じて後付けディスプレイ60によって可視光源の少なくとも1つを照明または照明の色を変更させる後付け表示信号61を生成するように構成されてもよい。
【0099】
いくつかの実施形態では、後付けコントローラ20は、ユーザの推定視線ベクトルに少なくとも部分的に基づき、後付けディスプレイ60によってフィードバックを提供させる(または他の方法で後付けディスプレイ60の出力を変更する)後付け表示信号61を生成するように構成されている。そのような実施形態では、後付け表示信号61は、後付けディスプレイ60によって、推定視線ベクトルに基づき、ユーザに向かう方向またはユーザから離れる方向にスキューした(偏った、歪んだ)画像を表示させることができる。有利には、後付けディスプレイ60によって「歪んだ」画像を表示させることは、例えば、後付けディスプレイ60および/またはその後付けディスプレイ60に表示される仮想入力に対する、ユーザの視野角および視点によって他の方法で引き起こされ得る、後付けインタフェース装置(後付けインタフェースシステム)10との不正確なタッチレス相互作用をユーザが避けるのを助けることができる。ユーザの推定視線ベクトルに基づき仮想入力の位置(または仮想入力の検出ゾーン)をスキューする(歪める)ことによって、ユーザがタッチレス感知システム12とで正確に相互作用する(例えば、特定の仮想入力を選択する)確率は増加することになる。いくつかの実施形態では、後付けコントローラ20は、(ユーザの視線の推定によって判定される)ユーザの視点に対応する(便宜を図る)ように、後付けディスプレイ60によって、歪んだ指標(例えば、カーソル)を表示させる後付け表示信号61を生成し得る。
【0100】
後付けインタフェース装置10は、選択や、指/手の存在、などをユーザに通知するのに役立つ追加の視覚インジケータ(後付けフィードバック機構55の一部として)を任意選択で備えてもよい。例えば、後付けインタフェース装置は、指/手のタップ/ウェーブが成功したことを示すべくオンになるライト(例えば、発光ダイオード)を備えてもよい。ライトは、後付けディスプレイ60とで同期することで、ユーザに視覚的なフィードバックを一緒に提供してもよい。例えば、後付けディスプレイ60は、様々なキーパッド番号または他の可能にされている選択に対する様々なアイコン、画像、および/またはテキスト、を表示するように構成されてもよく、ライトは、指の存在および/または成功した選択、を示すように構成されてもよい。
【0101】
後付けインタフェース装置10は、追加的にまたは代替的に、聴覚フィードバックをサポートする後付けフィードバック機構55を備えてもよい。聴覚フィードバック機構は、ユーザと後付けインタフェース装置10(例えば、タッチレス感知システム12)との間の成功したタッチレス選択または他の相互作用を示す、音の合図(サウンドキュー)を提供するように(例えば、適切にプログラムされた後付けコントローラ20からの適切なフィードバック信号57で)構成され得る。例えば、英数字テキストに対応するタッチレス入力がユーザによって入力されたとき(例えば、適切な指押しジェスチャが、タッチレス感知システム12によって検出されたとき)、単にボタン押しを示すか、または入力された入力(例えば、「9」、「m」)を繰り返すべく、音の合図が生成され得る。聴覚フィードバック機構は、スピーカを備え得る。スピーカは、非限定的な例として、ユーザの存在が検出されたとき、システムがユーザ入力を待っているとき、ユーザが「メインメニュー」または「サブメニューX」に到達したとき、および/または同様のもの、などの後付けインタフェース装置10および/またはターゲット装置50のシステム状態および/またはシステム状態の変化を、ユーザに通知するべく使用することが可能にされている。
【0102】
本明細書の他の箇所で論じたように、後付けインタフェース装置10は、ユーザから(タッチレス感知システム12を介して)タッチレス入力を受け取る(受信する、受け入れる)だけでなく、かかるタッチレス入力を使用することで、対応する入力をターゲット装置50に提供する。ここで、後付けインタフェース装置10が特定のタッチレス入力をどのように判定し得るかについて、多数の非限定的な例示的実施形態が説明される。これらの例は、本明細書の他の位置で説明されるものに対する追加的または代替的な技術を含んで構成されてもよい。いくつかの例示的な実施形態において、静電容量センサ30、光学感知システム40、および/または、タッチレス感知システム12の一部を形成する他のセンサ、はユーザの身体の一部(例えば指)の動きを検出してもよい。いくつかの実施形態では、後付けフィードバック機構55は、ディスプレイ(後付けインタフェース装置10の一部である後付けディスプレイ60、および/または、ターゲット装置50の一部であるターゲットディスプレイ22、を備えてもよい)を介して、視覚的フィードバックを提供する。そのような視覚的フィードバックは、静電容量センサ30、光学感知システム(光学系)40、および/または、タッチレス感知システム12の一部を形成する他のセンサ、によって検出および/または感知可能にされている位置特性に対応する視覚的指標を表示することを備えてよい。
【0103】
図5A図5Bは、例示的な実施形態による仮想ボタン104を表示する、後付け(ユーザ)インタフェース装置10(または本明細書に記載される他の後付け(ユーザ)インタフェース装置10A、10B、10Cのうちのいずれか)のパネル100の正面図および側面図を示している。図5A図5Bに概略的に示すように、後付けインタフェース装置10は、例えばキーパッド上のボタンまたは他の選択可能にされている仮想ボタン(または入力)104を表すべく使用され得る、アイコン、グラフィック、または英数字テキスト102、でラベル付けされたパネル100を備えてよい。そのようなアイコン、グラフィック、または英数字テキスト102、は(物理ボタンであるのとは対照的に)タッチレスで動作するおよび/またはパネル100上にのみ存在する、仮想ボタン(または入力)104と見なすことができる。仮想ボタン(または入力)104を表示するそのようなパネル100は、ディスプレイ(例えば、後付けインタフェース装置10の一部である後付けディスプレイ60、および/またはターゲット装置50のターゲットディスプレイ22、を備えている後付けフィードバック機構55の一部であるディスプレイ)を備えてもよい。仮想ボタン(または入力)104を表示するこのようなパネル100は、追加的にまたは代替的に、静的な仮想ボタン(または入力)104を表示する静的なパネルまたは表面を備えて構成されてもよい。以下に説明する例示的なタッチレス入力選択の実施形態では、様々な仮想ボタン104がユーザに見えるように、アイコンおよび/または英数字テキスト102でラベル付けされたパネル100が存在することが一般性を損なわずに仮定されている。図5A図5Bは、例示的なタッチレス入力選択の以下の説明で方向を記述するべく使用される直交軸x、y、zも示しており、x、yは直交横方向であり、z方向はパネル100に対して概ね垂直な方向である。
【0104】
簡潔さのために、本明細書で説明する例示的なタッチレス入力選択の実施形態は、(後付け表示信号61を介して)後付けコントローラ20によって制御され得る後付けインタフェース装置10の後付けディスプレイ60に示される、仮想ボタン104について言及したものである。後付けコントローラ20による制御は、後付けディスプレイ60に関連すると説明した機能が、後付けコントローラ20によって(タッチレス表示信号18を介して、および/または、間接的にタッチレス制御信号16およびターゲット表示信号21を介して)制御され得るターゲット装置50の一部であるターゲットディスプレイ22によって追加的にまたは代替的に提供されてもよく、または、かかる仮想ボタンが静的パネルまたは表面上に表示される、という一般性を損なわない。以下に説明する例示的なタッチレス入力選択の実施形態は、特定の仮想ボタン104がユーザによってタッチレスに選択されたことを、後付けインタフェース装置10が判定(または結論)し得る技法を提供するものである。本明細書の他の位置で説明するように、後付けインタフェース装置10は、そのような仮想ボタン104の選択の判定を使用することで、ターゲット装置50の対応する動作を実現し得る。
【0105】
図6は、特定の例示的な実施形態による、後付けインタフェース装置10(または本明細書で説明する他の任意の後付けインタフェース装置10A、10B、10C)を使用することでタッチレス入力選択を判定する方法200の概略的な描写である。図6の方法200を説明する目的で、タッチレス感知システム12は、図3A図3Cの実施形態に示されるものとで同様の静電容量センサ30のアレイと光学感知システム40との組み合わせを備えているだけでなく、入力の選択は、本明細書の他の位置で説明するように仮想ボタン104との相互作用を備えている、と仮定される。方法200は、後付けコントローラ20と、任意選択で後付けフィードバック機構(複数可)55と、を組み合わせることでタッチレス感知システム12によって実施され得る。
【0106】
方法200はブロック202で始まり、タッチレス感知システム12は、ユーザの身体の一部(方法200を説明する目的で、一般性を損なうことなく、指であると仮定する)がそのタッチレス感知システム12の検出範囲に入るのを待機する。いくつかの実施形態では、ブロック202は、ユーザの指が静電容量センサ30の感知領域32に入ったことを検出することを備えており、この感知領域32は、1つまたは複数の仮想ボタン104を表示する平面からz距離離れていてもよく、z座標は、仮想ボタン104を表示する平面に対して垂直であってよい。タッチレス感知システム12がその感知領域32においてユーザの指を検出すると、方法200はブロック204に進み、タッチレス感知システム12(例えば、静電容量センサ30)は、感知領域32におけるユーザの指の移動に伴って、ユーザの指の位置を追跡する。いくつかの実施形態において、ブロック204は、指のz座標のみを追跡することを備えてもよい。いくつかの実施形態では、ブロック204は、z座標に加えて、ユーザの指の横方向(x-y)座標を追跡することを備えてもよい。ブロック204Aにおいて、後付けコントローラ20は、任意に、ユーザの指が感知領域32において検出されたときに、後付けフィードバック機構55を用いることで或る種のフィードバックを提供する。例えば、後付けコントローラ20は、後付けディスプレイ60(またはターゲットディスプレイ22)によって、ユーザの指の横方向(x-y)位置を追跡するだけでなく、ユーザの指のz座標を示す、何らかの指標(例えば、サイズ、色など)を有するカーソルなどを表示させてもよい。
【0107】
ブロック206Aにおいて、方法200は、ユーザの指が感知領域32の外に引き出されたかどうかを問い合わせる(照会する)。もしそうであれば、方法200はブロック202に戻る。ユーザの指が感知領域32内にまだ存在する場合、方法200は、オプションのブロック206Bに進む。オプションのブロック206は、ユーザの指が検出平面を横切ったかどうかについての問い合わせを備えている。検出平面は、閾値z座標を使用することで実装されてもよい。すなわち、タッチレス感知システム12は、ユーザの指のz座標が、構成可能閾値以上から、構成可能閾値未満になったことを確認した場合、ブロック206Bにおいて検出平面交差(検出平面を横切ったこと)が検出される。ブロック206Bにおいて検出平面交差が検出されない場合、方法200はブロック204に戻る。しかしながら、ブロック206Bにおいて検出平面交差が検出された場合、方法200はオプションのブロック208に進む。ブロック208では、ユーザの指が検出平面を横切るときに、ユーザの指の横方向(x-y)位置が判定される。このブロック208の判定は、本明細書の他の箇所で説明するように、(静電容量センサ30とで比較して)横方向(x-y)座標のより正確な判定を可能にし得る光学センサ(40)によって実行されてもよい。
【0108】
オプションのブロック206Bおよび208を介して到着するか、またはブロック206Aから直接到着するかどうかにかかわらず、方法200は、ブロック210において特定の選択基準(セレクションクライテリア)が満たされるか否かを確認することを備えている。本明細書の他の位置で説明したように、ブロック210において選択基準が満たされているかどうかを判別するべく、様々な技法が使用され得る。そのような技術は、一般に、タッチレス感知システム12(例えば、静電容量センサ30および/または光学感知システム40)によって判定されるユーザの身体の一部(例えば、ユーザの指)の追跡された位置に基づいてもよい。ある特定の実施形態では、ブロック210は、ユーザの指が別の検出平面(ブロック206Bおよび208に関連して上述した検出平面とで同様)を横切ったときに、選択がなされたと判定することを備えている。他の特定の実施形態では、ブロック210の選択基準は、タップジェスチャ、ダブルタップジェスチャ、ホバージェスチャ、および/または同様のもの、の検出を備え得、そのいくつかの例は以下に記載される。ブロック210の選択基準が満たされる場合、方法200は、どの選択(例えば、どの特定の仮想ボタン104)がなされたかを判定することを備えているブロック212に進む。ブロック210で満足される選択基準の性質に応じて、ブロック212の選択判定は、ブロック210の問い合わせの一部として行われ得る。
【0109】
いくつかの実施形態では、各仮想ボタン104が、対応する横方向(x-y)座標の範囲を有しているので、ブロック212は、ブロック210の選択基準が満たされたときのユーザの指の追跡されたx-y位置に対応する、またはブロック208において検出平面を横切ったときのユーザの指の判定されたx-y位置に対応する、特定の仮想ボタン104を選択することを備えて構成されている。いくつかの実施形態では、ブロック212は、ユーザの指のアプローチ角度を考慮してもよい。そのような接近角度は、例えば、静電容量センサ30がブロック204と210の間でユーザの指を追跡する際に、静電容量センサ30によって判定されてもよい。そのような接近角度は、(ブロック208で判定されたような)第1検出平面交差のx-y位置と、(選択基準が満たされたときにブロック210で判定されたような)第2検出平面交差のx-y位置と、の間で判定されてもよい。(z方向に対する)接近角度が、閾値角度よりも大きい場合、ブロック212は、隣接する仮想ボタン104(すなわち、ブロック210の選択基準が満たされたときのユーザの指の追跡されたx-y位置に対応する仮想ボタンに隣接する仮想ボタン、または検出平面208を横切ったときのユーザの指の判定されたx-y位置に対応する仮想ボタンに隣接する仮想ボタン)を、ユーザが選択しようとしていたことの判定を備えている場合がある。いくつかの実施形態では、ブロック212は、(x,y,z)検出ペア(x,y,z)および(x,y,z)に基づくタップベクトルの計算を備えている。これら2つの別々の検出を利用することで、空間内のベクトルを取得し、その後、ユーザが選択しようとしていた仮想ボタンを予測することができる。非限定的な例として、このような(x,y,z)検出ペアは、それぞれの検出のためのレーザ光学センサを備えていることができる。センサAの検出平面が当たる(ヒットする)と検出が発生する一方で、センサBの検出平面が当たると別の検出が発生する。z座標は、光学センサの角度によって、または静電容量センサ30によって、計算することができる。一般に、本明細書に記載される静電容量センサ30および/または光学センサ(40)からの情報の任意の組み合わせは、(x,y,z)検出ペア同士のうちの一方または両方を行うべく使用され得る。いくつかの実施形態では、ユーザが意図的にジェスチャを行ったかどうかを識別するべく、(x,y,z)検出ペア同士の間で適切な時間閾値が使用されてもよい。
【0110】
ブロック212Aにおいて、後付けコントローラ20は、オプションで、後付けフィードバック機構55によって、仮想ボタン104がユーザによって選択されたことを示す或る種のフィードバックを表示させてもよい。例えば、後付けコントローラ20は、仮想ボタンに関連付けられたアイコンの色を変更させたり、アニメーションを表示または変更させたり、および/または、同様のことをしたり、してもよい。方法200は次にブロック214に進み、これは、後付けインタフェース装置(システム)10がユーザからの追加入力を待っているかどうかについての問い合わせを備えている。例えば、ターゲット装置50がエレベータパネルであり、ユーザが8階に対応する仮想ボタンを押した場合、それ以上の入力は要求されない。しかし、ターゲット装置50が空港のキオスクであり、ユーザが自分の姓の最初の文字を入力した場合、後付けインタフェース装置(システム)10は、さらなる入力を要求し得る。ブロック214の問い合わせ(照会)が否定的である場合、方法200は終了する。そうでなければ、方法200は、オプションのブロック218および220を介することで、ブロック202またはブロック210のいずれかに戻る。オプションのブロック218において、後付けコントローラ20は、フィードバック機構によって、後付けインタフェース装置がさらなる入力を待っていることを示させることができる。オプションのブロック220は、ユーザの指がブロック206Bおよび208で評価された検出平面を越えて(仮想ボタンから離れるように)引っ込んだかどうかの問い合わせ(照会)を備えている。ブロック220の照会が否定的である場合、方法200はブロック210に戻る。ブロック220の照会が肯定的である場合、方法200はブロック202に戻る。
【0111】
ブロック210の照会に戻ると、選択基準が満たされていない可能性があり、その場合、方法200はブロック216に進む。ブロック216は、再始動(再スタート、再起動)が所望されるかどうかについての問い合わせを備えていることができる。再始動の希望がない場合、方法200はブロック210に戻る。再始動が望まれる場合、適切な再始動フィードバックが表示されてもよく(ブロック216A)、方法200はブロック204に戻ってもよい。ブロック216において評価される再始動基準は、例えば、適切な時間閾値、ブロック206B、208検出平面の逆交差が検出されたという判定、および/または同様のもの、を備えて構成されてもよい。
【0112】
本明細書の他の箇所で議論したように、タッチレス感知システム12(例えば、静電容量センサ30および/または光学感知システム42)は、ユーザの身体の一部(例えば、ユーザの指)のx、y、およびz位置(図3A図5A図5Bを参照)を検出することが可能にされている。例えば方法200のブロック210で使用され得るタッチレス入力選択基準の例示的な方法は、ユーザが指を、特定の仮想ボタン104上(例えば十分に近接させるとともに(閾値z-距離内(図3A図5A図5B))、および特定の仮想ボタン104に対する正しい横方向(x-y)位置)にあり、指のx、y、z位置を閾値期間(例えば、0.5秒または1秒)にわたって閾値(例えば0.5cmまたは1cm)よりも大きく変更せずにホバリングすること、を備えている。他の実施形態では、ブロック210で使用され得る仮想ボタン(またはアイコン)104の選択基準は、ユーザが最初に指を仮想ボタン104から閾値距離(例えばz-距離)以内に(指の横方向(x-y)位置によって判定)閾値期間動かしたことを判定するとともに、次に指のz位置の急激な変化を検出すること(例えば、仮想ボタン104に向かってまたは仮想ボタンから離れるように指を動かすこと)を、閾値期間内にz-位置の閾値変化(例えば、0.25秒未満で1cm以上のz方向変化)および/または適切な閾値よりも大きいz-位置変化率(例えば、4cm/秒よりも大きいz方向変化率)で、検出する。
【0113】
後付けディスプレイ60は、選択がなされたこと(例えばブロック212Aにおいて)、および指が新しい位置に移動され得ること(例えばブロック218において)、を示すべく後付けフィードバック機構55によって視覚的指標(ヴィジュアルインジシア)またはアニメーション(例えばロードバー/サークル)を表示したり、または他のタイプのフィードバック(例えば、本書の他の箇所で説明されるものを含む)が提供されたり、してもよい。いくつかの実施形態では、ブロック212Aで使用される後付けインタフェース装置10の後付けフィードバック機構55は、選択を意味する(選択に対応するフィードバックを提供する)べく、例えば、ユーザの指に向かって音波を向ける音波エミッタを備えて構成されている。
【0114】
例のホバー選択タッチレス入力選択技術は、本明細書に記載された他のタッチレス入力技術のいずれかに加えてまたはその代わりに(例えばブロック210において)使用され得る。
【0115】
仮想ボタン104の選択を判定するための方法200のブロック210において、例えば使用され得るタッチレス入力選択基準の別の例示的方法は、ユーザが仮想ボタン(またはアイコン)104上に(例えば、十分に近接しつつ(閾値z-距離内で)、相対的に正しい横方向(x-y)位置に)閾値期間ホバリングするだけでなく、続いて仮想ボタン104に向かってさらに(z方向に)自分の指をタッピングすることを備えている。タッピング動作は、ユーザが仮想ボタン104に向かってさらに指を動かすだけでなく(例えば、z方向に近い閾値距離内まで)、その後、仮想ボタン104から遠ざかるように指を動かすまたは離すことを備えてよい。タッチレス感知システム12(例えば、静電容量センサ30および/または光学感知システム40)は、後続のタップイベントのための予選(クオリファイイング)イベントとなり得る特定の仮想ボタン上のホバリングを検出してもよい。次に、x-y位置が(閾値以上)変化しないとともに、z方向が(例えば、ホバー検出中のz値とで比較して、閾値だけ)減少することが検出されると、「タップ」が識別される。
【0116】
この例示的な方法は、最初のホバー(ホバリング)の後で、指を横方向にタップおよびドラッグすることも備え得る。非限定的な例として、最初に識別されたタップは、(例えば、アイコンの)ドラッグを実施するべく使用されており、その後の指のx-y移動は、ドラッグを解除するべく、その後のタップ、z座標の増加、および/または同様のもの、が使用されるまでドラッグを実施するべく使用され得る。
【0117】
例えば、仮想ボタン104の選択を判定するための方法200のブロック210において使用され得るタッチレス入力選択基準の別の例示的方法は、ユーザが仮想ボタンまたはアイコンをダブルタップすることを備えている。この選択方法は、潜在的に、(上述したホバー選択とで比較した場合)後付けインタフェース装置10とのより迅速な相互作用を可能にする。選択のダブルタップ方法は、選択を入力するべく、ユーザが閾値期間から時間内に仮想ボタン104(仮想ボタンの横方向位置)に向かって指をタップしてそこから離れることを2回することを備えている。タッチレス感知システム12(例えば、静電容量センサ30および/または光学感知システム40)は、第1タップの検出(上述)とで同様の方法でそのようなダブルタッピングを検出するだけでなく、次に、閾値期間内の第2タップに続いてz位置の増加を検出してもよい。ダブルタップは、有利には、一部のユーザがどのボタンを選択するかを決めようとしているときに特定の仮想ボタンの上に自然にホバーすることがあるので、上記で議論されたホバー型選択基準とで比較して、クリックの堅牢性を高めるだけでなく、仮想ボタンの誤検出または偶発クリックを低減することを可能にする。いくつかの実施形態において、ブロック210の選択基準は、ダブルタップ方式と、上述のホバー選択方式と、の組合せを備えてもよい。例えば、ユーザは、最初にアイコンを事前選択するべくホバー選択方法を使用するとともに、その後、選択を確認するべくダブルタップ方法(または代替としてのシングルタップ方法)を使用することができる。
【0118】
例えば、仮想ボタン104の選択を判定するための方法200のブロック210で使用され得るタッチレス入力選択基準の別の例示的方法は、ユーザが仮想ボタンまたはアイコンの方に指を向けるとともに、選択したい仮想ボタンまたはアイコンの周りに円を作る(すなわち、円を描く)動作をすることを備えている。いくつかのそのような実施形態では、タッチレス感知システム12は、指が仮想ボタンへの閾値z-距離の近接に入ると、ユーザの指の横方向x-y位置を追跡し得る。追跡中、タッチレス感知システム12は、指の横方向の位置が閾値だけ変化するかどうかと、その後、構成可能時間閾値(例えば、1秒)内に同じ位置の閾値近傍内に戻ってくるかどうかと、をチェックしてもよい。「真」であれば、タッチレス感知システム12は、横方向の位置を追跡している間にできあがった形状を分析する。運動が円またはいくつかの他の「閉じた」形状であるかどうかを判定するための1つの例および非限定的な方法は、運動がその運動中に4つのデカルト象限を順次横断するかどうか確認すること(例えば、特定の座標の極端部に対応し得る4つの「コーナー」(角)点を検出するだけでなく、これらのコーナー点が4つの別々の象限に存在するかどうかを確かめることによって)と、対向するコーナー点同士の間に最小閾値半径または閾値分離が存在することを確認することと、を備えている。ユーザの指が閉じた形状を横断しているかどうかを確認するべく、他の技術が使用され得ることが理解されよう。タッチレス感知システム12は、特定の仮想ボタンの選択を確認する前に、仮想ボタンのx-y座標が、検出された円の内部に完全にまたは部分的に囲まれているかどうかを追加的に確認し得る。いくつかの実施形態では、後付けディスプレイ60は、選択された仮想ボタンまたはアイコンの周囲に描かれている円を示すフィードバックを提供するように構成されている。そのようなフィードバックは、例えば、ブロック210において選択基準が満たされたというYESの結論の前に、提供されてもよい。
【0119】
タッチレス入力選択の別の例の方法は、ユーザが、後付けディスプレイ60上に表示され得る「リング」(輪)インジケータ(または他の適切な「セレクタ」インジケータ)の上に自分の指を位置付けるとともに、その後、選択したい仮想ボタン104の上にセレクタインジケータを「ドラッグ」することを備えている。いくつかのそのような実施形態では、タッチレス感知システム12は、最初に、リングインジケータに近接するホバージェスチャを検出するだけでなく、この動作を、リングを指とで共に動くように作動させることと解釈してもよい。次に、タッチレス感知システム12は、仮想ボタン上を移動する指の横方向x-y位置を追跡してもよい。次に、タッチレス感知システム12は、リングのx-y位置に対応する仮想ボタンを選択するべく、ホバージェスチャ、離れるジェスチャ(z-距離が閾値期間内に一定の閾値だけ増加)、または他の適切なジェスチャ、を検出してもよい。次に、ブロック210選択基準は、ユーザがセレクタインジケータを仮想ボタン(またはアイコン)104上に閾値期間保持したことによって、またはセレクタインジケータが仮想ボタン(またはアイコン)104上にドラッグされた後で仮想ボタン104から指を(例えば、z方向に)引き離すことによって、仮想ボタン104の選択を判定してもよい。有利には、このリング選択技法は上述のダブルタップ法とで同様に意図的なユーザアクションを必要とするので、ホバーベースの選択とで比較して、このリング選択技法はダブルタップ法とで同様に偽陽性およびユーザエラーを軽減することができる。
【0120】
例えば、仮想ボタン104の選択を判定するための方法200のブロック210で使用され得るタッチレス入力選択基準の別の例示的方法は、ユーザがタッチレス感知システム12の表面にわたって手をウェーブする(手を振る)またはスワイプすることを備えている。いくつかのそのような実施形態では、タッチレス感知システム12は、まず、ユーザの身体の一部が十分に近い(z距離閾値内)ことを保証し、次に、ユーザの身体の一部(例えば、指、手、前腕)の部分の横方向(x-y)位置を閾値期間(例えば、1秒)かけて追跡する。ユーザの身体の一部の横位置の変化が閾値時間(閾値期間)内に設定可能閾値よりも大きい場合、または閾値の横移動中の横方向変化率が設定可能閾値よりも高い場合、スワイプは検出される。いくつかの実装では、スワイプの方向性は、スワイプの動きが、左(負のx)/右(正のx)/上(正のy)/下(負のy)方向のうちの1つに最も近いことを検出することによって、タッチレス感知システム12によって把握され得る。手はずっと、センサの検出範囲内に存在するものとする。有効なスワイプが識別されるには、閾値の変更-距離が必要である。いくつかの実施形態では、スワイプの検出は、方法200のブロック210において仮想ボタンを選択するための手法として使用されることに加えてまたはその代替として、ナビゲーションジェスチャ(例えば、仮想ボタンのセット同士間を変更するべく)として使用されてもよい。
【0121】
例えば、仮想ボタン104の選択を判定するための方法200のブロック210において使用され得るタッチレス入力選択基準の別の例示的方法は、ユーザが、選択項目をサイクルまたはスクロールするべく手で円運動をすること、スライダウィジェットを操作すること、数値を選択すること、または設定(例えば、サーモスタットの温度)を調整すること、を備えている。いくつかのそのような実施形態では、タッチレス感知システム12は、まず、ユーザの身体の一部が十分に近い(z距離閾値内)ことを確認するとともに、次に、指/手の横方向x-y位置を追跡することで、一貫した円運動が行われているか否かを確認する。この円運動は、上述した円選択とで同様の方法で、把握することができる。いくつかの実施形態では、運動の半径および速度を追跡することで、選択などを介するサイクルの速度を確認することができる。いくつかの実施形態において、これらの回転を追跡することは、以下のことを備え得る:円運動であるという仮定;瞬間的な運動の速度ベクトルの検出および計算;そして次に、現在および以前の速度ベクトル同士に基づく交差積ベクトル-これらの交差積の方向は方向情報をもたらす一方で、これらの交差積の大きさは速度情報をもたらす-を計算すること。いくつかの実施形態では、円運動の検出は、方法200のブロック210において仮想ボタンの選択のための技法として使用されることに加えてまたはその代替として、ナビゲーションジェスチャとして(例えば、仮想ボタンのセット同士間で変更するべく)使用されてもよい。
【0122】
仮想ボタンまたはアイコンの選択は、スライダボタンおよび/または同類、のような相互作用型仮想アイコンの選択を備えてもよい。仮想スライダボタンは、可動範囲にわたって「ドラッグ」することができるスライダアイコンを備えて構成されてもよい。仮想スライダボタンを実装する1つの特定の実施形態では、仮想スライダボタンとの相互作用は、以下を備えていることができる:タッチレス感知システム12は、スライダアイコンの上で選択基準を満たす指を検出するとともに(ホバー、ホバータップ、ダブルタップなど)、z距離が(閾値量以上)増加しないことを検出する限り、タッチレス感知システム12は横方向x-y位置を追跡することで、スライダが画面上で左/右または上/下にドラッグするように影響を与える。指のz距離が閾値を超えて増加したことが検出されると、相互作用(インタラクション)を終了する。
【0123】
いくつかの実施形態では、後付けディスプレイ60は、キーボード(例えば、仮想ボタン104はキーボードのキーに対応する)を表示するように構成されており、タッチレス感知システム12は、ユーザが単語を入力(タイプ)するべく様々な英数字アイコン同士の間で後付けディスプレイ60の表面にわたって(しかしそこから間隔を置いて)自分の指をスワイプすることを検出するように構成されている。タッチレス感知システム12は、そのようなスワイプを一連のスワイプとして検出してもよく、押されたキーボードのキーとして、スワイプの終点を追跡してもよい。非アクティブの閾値期間の後、または何らかの他の適切なジェスチャ(例えば、z方向に離れることおよび/またはそのようなこと)の検出の後、検出された端点は、英数字列を形成することができる。後付けコントローラ20は、ユーザの指の動きの近接度および端点に基づき、どの単語が入力されることが望まれるかを予測するべく採用され得る予測アルゴリズムをサポートしてもよい。
【0124】
いくつかの実施形態では、タッチレス感知システム12は、ユーザによって行われる指の動きを検出するように構成されており、後付けコントローラ20は、その動きを解釈するように構成されている。例えば、ユーザは、指の動きを使用することで、「2」または「d」、あるいは「open」または「1234」のような単語全体またはコードを描くことができる。ユーザの指が閾値z-距離内に入ると、タッチレス感知システム12はユーザの指の横方向(x-y)位置を追跡するとともに、遠ざかるジェスチャ(または他の適切なジェスチャ)が検出されると、文字認識(CR)または同様のアルゴリズムのいずれかが採用されることで、どの英数字入力が描かれたかを識別することができる。複数の数字/文字が一緒に検出されることで、単語またはパスコードを形成することができる。いくつかの実施形態では、ユーザの指の位置と指の動き(すなわち、ユーザが書いたもの)とが、ディスプレイ画面(後付けディスプレイ60)上に表示される。
【0125】
いくつかの実施形態では、後付けコントローラ20は、ユーザの手の一部(例えば指)の推定近接度がパネル100に近すぎる場合、後付けディスプレイ60によって警告メッセージを表示させるように構成されている。これによって、タッチレス感知システム12に慣れていないユーザに対して、パネル100の表面に触れることを(接触型ウイルス感染からの感染伝播を防止するべく)思いとどまらせることができる。これはまた、例えば、後付けコントローラ20が比較的細い指の検出用に調整されている状態で、ユーザの手または前腕が検出範囲内に入ってしまうことによって、潜在的に不正確な結果をもたらす場合に生じ得るセンサの検出能力の不正確さを低減するべく、指がパネル100に近づきすぎることを抑制することができる。
【0126】
タッチレス感知システム12のセンサ(例えば、静電容量センサ30)は、身体の一部(例えば、指)の位置に対応する3D(x,y,z)座標を判定するように構成されてもよい。そのような3D座標を使用することで、後付けコントローラ20は、異なるカスタムジェスチャ同士を後付けインタフェース装置10への入力として検出および解釈するように構成されてもよい。カスタムジェスチャの例としては、8の字、三角形、文字、円形ループ、などの任意の形状が挙げられるが、これらに限定されるものではない。
【0127】
図6Aは、別の例示的な実施形態による、本明細書で説明する後付けインタフェース装置10、10A、10B、10Cのうちのいずれかを使用することでタッチレス入力選択を判定するための方法300の概略図である。方法300は、特定の実施形態であり、タッチレス感知システム12は、図3A図3Cに関連して上述した静電容量センサ30および光学センサ42A、42Bを備えて構成されている。方法300のフローチャート図は、静電容量センサ30によって実行される静電容量部分310と、光学センサ(40)によって実行される光学部分320と、の計2つの部分に論理的に分解される。方法300は、上述のブロック202に類似するブロック302で始まるとともに、ユーザの身体の一部(例えば、指または手)が感知領域32内に移動するのを待つことを備えている。簡潔さのために、そして説明の一般性を制限することなく、方法300の残りの部分では、ユーザの指が、関連する身体の一部であることに関連して説明される。
【0128】
ユーザの指が検出領域(感知領域32)に入ると、静電容量部分310において、中央の静電容量センサ30は指のz座標を検出および追跡するとともに(ブロック312)、指が仮想ボタン104または後付けディスプレイ60やターゲットディスプレイ22の平面に近づくかまたはこの平面から離れると、任意にユーザに対して表示する(ブロック312A)ことも可能にされている。ユーザの指が検出領域(感知領域32)の外に移動した場合(ブロック314のYES分岐)、方法300はブロック302に戻る。ユーザの指が検出平面を通って移動する(構成可能z座標の上から、構成可能z座標の下に交差する)場合、方法はブロック316のYES分岐を経由してブロック330に進む。この意味で、ブロック316は、方法300の選択基準が検出平面の交差(横断)である状態で、選択基準が満たされるかどうかのブロック210の判定に類似している場合がある。このように、ブロック316の検出平面は、作動平面と呼ばれることがある。他の実施形態では、ブロック316は、追加的または代替的に、本明細書に記載される他のブロック210の選択基準のいずれかを利用し得る。
【0129】
一方、光学部分320において、仮想ボタン104または後付けディスプレイ60やターゲットディスプレイ22の平面の横に存在する光学センサ42A、42B(図3A参照)は、仮想ボタン104または後付けディスプレイ60やターゲットディスプレイ22の平面に対して、角度を持ってレーザ光の2つの検出平面を放射する。指が光学センサ42A、42Bの一方または両方の検出平面を横切ることによって判定されるように、および/または静電容量センサ30によって測定されたz座標を適切な閾値とで比較することによって判定されるように、ユーザの指が検出平面を横切ったとき(ブロック322)、光学センサ42A、42Bはトリガーされるのであり、ユーザの指の横方向(x-y)位置は本書の他の位置で説明するように判定される(ブロック324、326)。ブロック322の検出平面は、ブロック316の作動平面とで同じであってもよいし、ブロック316の作動平面とは異なっていてもよい。例えば、ブロック316の作動平面は、光学センサ42A、42Bの検出平面同士の交差点(図3Aに示す交差点56参照)よりもユーザから遠く離れていてもよい。この構成では、方法300がブロック316に到達する前に、光学的検出(ブロック322、324、326において)が発生することになる。ユーザが指をブロック322の検出平面から遠ざけると(ブロック328のYES分岐)、方法300はブロック322に戻る。
【0130】
ブロック316の照会が肯定的である場合(すなわち、ユーザの指が作動平面を横切る場合)、方法300はブロック330に進む。ブロック330は、ブロック326で把握されたx-y位置に基づき、入力(例えば、仮想ボタン)選択を判定してもよい。この意味において、ブロック330は、図6のブロック212に類似していてもよい。ブロック330の選択に関するフィードバックは、ブロック330Aで後付けフィードバック機構55によって提供されてもよい。ユーザが感知領域32から手を離す場合(ブロック332のYES分岐)、方法300はブロック302に戻る。そうでなければ、z座標が表示され(ブロック334)、方法はブロック332に戻る。
【0131】
本明細書で説明され請求される特定の実施形態は、タッチベース入力50Aを有するターゲット装置50に後付け(レトロフィット)することで、ターゲット装置50にタッチレスユーザ入力を提供するべく使用される後付け(タッチレス)インタフェース装置10を提供する。これは必須ではない。当業者には、機械または他のデバイスとでの人間の相互作用を直接促進するためのカスタムおよび/またはモジュール式のタッチレスインタフェースを提供するべく、いくつかの実施形態が好適に変更され得ることが理解されよう。すなわち、後付けインタフェース装置10およびターゲット装置50は、新たに製造される装置に統合されてもよい。いくつかのそのような新たに製造された装置では、本明細書で独立したものとして説明されている後付けインタフェース装置10およびターゲット装置50のいくつかの態様は、統合されてもよい。例えば、後付けインタフェース装置10の後付けコントローラ20と、ターゲット装置50のターゲット制御システム51と、は1つの機能的なコントローラに統合されてもよい。別の例として、後付けインタフェース装置10の後付けディスプレイ60と、ターゲット装置50のターゲットディスプレイ22と、は1つのディスプレイに統合されてもよい。そのような新たに製造される装置のうちのいくつかは、本明細書に記載されるものとで同様のタッチレス感知システム12を備え得る。
【0132】
<用語の解釈>
文脈が明確に他に要求しない限り、本明細書および特許請求の範囲全体を通して
-「comprise」(備える、含む)、「comprising」(備えている、含んでいる)などは、排他的または網羅的な意味とは対照的に、包括的な意味で、すなわち「備えているが、これに限定されない」という意味で解釈されるものとする。
【0133】
-「接続された」、「結合された」、またはその変形、は2つ以上の要素同士間の直接的または間接的な接続または結合を意味しており、要素同士間の結合または接続は、物理的、論理的、またはその組み合わせ、とすることができる。
【0134】
-本明細書を説明するべく使用される「本明細書」、「上述」、「下述」、および類似のインポート語(輸入語)、は本明細書の特定の部分ではなく、全体として本明細書を指すものとする。
【0135】
-2つ以上の項目のリストに関する「または」は、リスト内の項目のうちのいずれか、リスト内の項目のすべて、およびリスト内の項目の任意の組み合わせ、というこの単語の解釈のすべてをカバーするものである。
【0136】
-単数形の「a」(1つの)、「an」、「the」、は適切な複数形の意味をも備えている。
本明細書および任意の添付の請求項(存在する場合)において使用される、「垂直」、「横方向」、「上」、「下」、「前方」、「後方」、「内」、「外」、「直交」、「横」、「左」、「右」、「前」、「後」、「頂部」、「底部」、「直下」、「直上」、「下方」などの方向を示す言葉は、説明および例示される装置の特定の方向性によって決まる。本明細書に記載される主題は、様々な代替的な方向性を想定することができる。したがって、これらの方向性の用語は、厳密に定義されないだけでなく、狭く解釈されるべきではない。
【0137】
本発明の様々な実施形態のいくつかの構成要素(非限定的な例として、後付けインタフェース装置10、10A、10B、10Cの後付けコントローラ20、ターゲット装置50のターゲット制御システム51、または本明細書に記載の任意の他のコントローラ、を含む)は、特別に設計したハードウェア、構成可能にされているハードウェア、データプロセッサ上で実行可能にされているソフトウェア(任意選択で「ファームウェア」を備えてもよい)の提供によって構成されているプログラム可能にされているデータプロセッサ、本明細書で詳細に説明する方法における1つまたは複数の工程を実行するように特別にプログラム、構成、または構築、されている特別目的のコンピュータまたはデータプロセッサ、および/またはこれらのうちの2以上の組合せ、を使用することで実装されてもよい。具体的に設計されたハードウェアの例は、論理回路、特定用途向け集積回路(「ASIC」)、大規模集積回路(「LSI」)、超大規模集積回路(「VLSI」)、等である。設定可能にされているハードウェアの例としては、プログラマブルアレイロジック(「PAL」)、プログラマブルロジックアレイ(「PLA」)、フィールドプログラマブルゲートアレイ(「FPGA」)、のような1つまたは複数のプログラム可能にされている論理デバイスが挙げられる。プログラム可能にされているデータプロセッサの例としては、マイクロプロセッサ、デジタル信号プロセッサ(「DSP」)、組み込みプロセッサ、グラフィックプロセッサ、数学コプロセッサ、汎用コンピュータ、サーバコンピュータ、クラウドコンピュータ、メインフレームコンピュータ、コンピュータワークステーション、などがある。例えば、デバイスの制御回路内の1つまたは複数のデータプロセッサは、プロセッサにアクセス可能にされているプログラムメモリ内のソフトウェア命令を実行することによって、本明細書に記載の方法を実施することができる。
【0138】
処理は、集中型であっても分散型であってもよい。処理が分散される場合、ソフトウェアおよび/またはデータ、を備えている情報は、集中的に保持されてもよいし、分散されてもよい。そのような情報は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、またはインターネット、有線または無線データリンク、電磁信号、または他のデータ通信チャネル、などの通信ネットワークによって、異なる機能ユニット同士間で交換されてもよい。
【0139】
例えば、処理またはブロックが所定の順序で提示されているが、代替例は、異なる順序で、工程を有するルーチンを実行し、またはブロックを有するシステムを採用し、いくつかの処理またはブロックは、代替またはサブコンビネーションを提供するべく削除、移動、追加、小分け、結合、および/または修正、されてもよい。これらの処理またはブロックの各々は、様々な異なる方法で実施されてもよい。また、処理またはブロックは、直列に実行されるように示されている場合があるが、これらの処理またはブロックは、代わりに並列に実行されてもよく、または、異なる時間に実行されてもよい。
【0140】
さらに、要素同士が順次実行されるように示される場合があるが、代わりに同時または異なる順序で実行される場合がある。したがって、以下の請求項は、その意図する範囲内に存在するすべてのそのような変形を備えているように解釈されることが意図される。
【0141】
ソフトウェアおよび他のモジュールは、サーバ、ワークステーション、パーソナルコンピュータ、タブレットコンピュータ、画像データエンコーダ、画像データデコーダ、PDA、色等級付け(カラーグレード)ツール、ビデオプロジェクタ、オーディオビジュアル受信機、ディスプレイ(テレビなど)、デジタルシネマプロジェクタ、メディアプレーヤー、および本書に記載する目的に適した他のデバイス、に常駐してもよい。関連する技術分野の当業者は、本システムの態様が、他の通信、データ処理、またはコンピュータシステムの構成で実施できることを理解するであろう。これら態様は、インターネット家電、ハンドヘルド装置(パーソナルデジタルアシスタント(PDA)を含む)、ウェアラブルコンピュータ、あらゆる種類のセルラーまたは携帯電話、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラマブルな家電(例えば、ビデオプロジェクタ、AV受信機、テレビなどのディスプレイ、など)、セットトップボックス、カラーグレードツール、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、などを含んでいる。
【0142】
いくつかの実施形態において、本発明は、部分的にソフトウェアで実施されてもよい。より明確にするべく、「ソフトウェア」は、プロセッサ上で実行される任意の命令を備えており、ファームウェア、常駐ソフトウェア、マイクロコード、などを備えていることができる(ただし、これらに限定されない)。処理ハードウェアとソフトウェアの両方は、当業者に知られているように、全体的にまたは部分的に、集中型または分散型(またはそれらの組み合わせ)であってもよい。例えば、ソフトウェアおよび他のモジュールは、ローカルメモリを介することで、ネットワークを介することで、分散コンピューティングコンテキストにおけるブラウザまたは他のアプリケーションを介することで、または上述した目的に適した他の手段を介することで、アクセス可能であってよい。
【0143】
構成要素(コンポーネント、例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など)が上記で言及される場合、特に示されない限り、その構成要素への言及(「手段」への言及を含む)は、本発明の例示的な実施形態においてその機能を実行する開示済みの構造とは構造的に同等でない構成要素を備えている、その構成要素の同等物(すなわち、機能的に同等である)を含むと解釈されるべきである。
【0144】
システム、方法、および装置、の特定の例は、説明の目的で本明細書に記載されている。これらは例示に過ぎない。本明細書で提供される技術は、上述した例示的なシステム以外のシステムにも適用することができる。多くの変更、修正、追加、省略、および順列、がこの発明の実施内で可能にされている。本発明は、当業者には明らかであろう、説明された実施形態の変形を備えており、以下の方法によって得られる変形を備えている。すなわち以下の方法とは、特徴、要素、および/または行為、を同等の特徴、要素、および/または行為、で置き換える;異なる実施形態からの特徴、要素、および/または行為、を混合およびマッチングする;ここに説明した実施形態からの特徴、要素、および/または行為、と他の技術の特徴、要素、および/または行為、とを組み合わせる;ならびに説明した実施形態の特徴、要素、および/または行為、の組み合わせの省略、のうちの少なくとも1つである。
【0145】
本明細書では、様々な特徴が「いくつかの実施形態」に存在するものとして説明されている。そのような特徴は、必須ではないので、全ての実施形態に存在するというわけではない可能性がある。本発明の実施形態は、そのような特徴のゼロ、任意の1つ、または2つ以上、の任意の組み合わせを備えてもよい。これは、そのような特徴のあるものが、そのような特徴の他のものとでは、当業者であればそのような両立しない特徴を組み合わせた実用的な実施形態を構築することが不可能にされているという意味で両立しない範囲にのみ、限定される。したがって、「いくつかの実施形態」が特徴Aを有するだけでなく、「いくつかの実施形態」が特徴Bを有する、という記述は、本発明者らが特徴Aおよび特徴Bを組み合わせた実施形態も想定していることを明示的に示すものと解釈すべきである(記述に別の記述があるか、特徴Aおよび特徴Bが根本的に両立しない場合を除く)。
【0146】
したがって、以下の添付の請求項およびこれから導入する請求項は、合理的に推測されるすべての変更、順列、追加、省略、および下位組合せ、を備えていると解釈されることが意図される。特許請求の範囲は、実施例に示された好ましい実施形態によって制限されるべきではなく、全体として本明細書に一致する最も広い解釈を与えられるべきである。
図1
図1A
図1B
図1C
図2
図3A
図3B
図3C
図4A
図4B
図5A
図5B
図6
図6A
図7A
図7B
図8
図8A
図8B
図9