(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-01
(45)【発行日】2022-02-09
(54)【発明の名称】非接触入力システム、方法およびプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20220202BHJP
H04Q 9/00 20060101ALI20220202BHJP
H03J 9/06 20060101ALI20220202BHJP
G01B 11/00 20060101ALI20220202BHJP
【FI】
G06F3/01 570
H04Q9/00 361
H03J9/06
G01B11/00 H
(21)【出願番号】P 2018025064
(22)【出願日】2018-02-15
【審査請求日】2020-02-04
【早期審査対象出願】
【前置審査】
(73)【特許権者】
【識別番号】516217767
【氏名又は名称】有限会社ワタナベエレクトロニクス
(72)【発明者】
【氏名】渡辺 大吾
【審査官】菅原 浩二
(56)【参考文献】
【文献】特開2013-205885(JP,A)
【文献】特開2014-182662(JP,A)
【文献】特開2014-082605(JP,A)
【文献】特開2016-119095(JP,A)
【文献】国際公開第2017/047527(WO,A1)
【文献】米国特許出願公開第2016/0195849(US,A1)
【文献】中国特許出願公開第109117066(CN,A)
【文献】特開2017-027401(JP,A)
【文献】国際公開第2011/108139(WO,A1)
【文献】特開2015-060296(JP,A)
【文献】特開2017-084073(JP,A)
【文献】特開2013-069273(JP,A)
【文献】特表2010-526391(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
H04Q 9/00
H03J 9/06
G01B 11/00
(57)【特許請求の範囲】
【請求項1】
入力要素のイメージ画像を生成する表示手段と、
前記イメージ画像を反射させることにより前記表示手段から離れた空間内に前記イメージ画像を結像させる透過型結像手段と、
前記空間内に結像した前記イメージ画像に対するユーザ動作の画像を、
前記ユーザ動作に対して交差する位置で取得する
赤外線センサ手段と、
前記
赤外線センサ手段が取得した前記画像の画素位置を、前記空間内に結像した前記イメージ画像に対応付けする手段と、
前記
赤外線センサ手段が検出した前記画像を、
形状、面積または曲率の少なくとも1つを使用して制限する制限手段と、
制限後の前記空間内の前記イメージ画像の3次元位置を判断し、電子装置を制御する情報処理装置と
を含み、前記対応付けする手段が、下記式を使用して前記画素位置を前記空間内に結像した前記イメージ画像に対応付け、
【数1】
(上記式中、(x
i
、y
j
)は、前記赤外線センサ上の画素位置であり、係数a~fは、位置変換行列の要素であり、(X、Y、Z
K
)は、結像面上での3次元空間位置であって、Z
K
は、透過型平面レンズからの距離である。)
前記制限手段が前記透過型結像手段からの距離を判断して選択された前記イメージ画像を判断する、非接触入力システム。
【請求項2】
入力要素のイメージ画像を生成する表示ステップと、
前記イメージ画像を反射させることにより空間内に前記イメージ画像を結像させるステップと、
赤外線センサ手段により前記空間内に結像した前記イメージ画像に対するユーザ動作の画像を、
前記ユーザ動作に対して交差する位置で取得するステップと、
取得した前記画像の画素位置を、前記空間内に結像した前記イメージ画像に対応付けするステップと、
検出した前記画像を、
形状、面積または曲率の少なくとも1つを使用して制限するステップと、
制限後の前記空間内の前記イメージ画像の3次元位置を判断し、電子装置を制御するステップと
を含み、
前記対応付けするステップが、下記式を使用して前記画素位置を前記空間内に結像した前記イメージ画像に対応付け、
【数2】
(上記式中、(x
i
、y
j
)は、前記赤外線センサ上の画素位置であり、係数a~fは、位置変換行列の要素であり、(X、Y、Z
K
)は、結像面上での3次元空間位置であって、Z
K
は、透過型平面レンズからの距離である。)
前記制限手段が前記透過型結像手段からの距離を判断して選択された前記イメージ画像を判断する、非接触入力方法。
【請求項3】
情報処理装置を、
入力要素のイメージ画像を生成する表示手段、
前記イメージ画像を反射させることにより前記表示手段から離れた空間内に前記イメージ画像を結像させる透過型結像手段、
前記空間内に結像した前記イメージ画像に対するユーザ動作の画像を、
前記ユーザ動作に対して交差する位置で取得する
赤外線センサ手段、
前記
赤外線センサ手段が取得した前記画像の画素位置を、前記空間内に結像した前記イメージ画像に対応付けする手段、
前記
赤外線センサ手段が検出した前記画像を、
形状、面積または曲率の少なくとも1つを使用して制限する制限手段、
制限後の前記空間内の前記イメージ画像の3次元位置を判断し、電子装置を制御する手段
として機能させ、
前記対応付けする手段が、下記式を使用して前記画素位置を前記空間内に結像した前記イメージ画像に対応付け、
【数3】
(上記式中、(x
i
、y
j
)は、前記赤外線センサ上の画素位置であり、係数a~fは、位置変換行列の要素であり、(X、Y、Z
K
)は、結像面上での3次元空間位置であって、Z
K
は、透過型平面レンズからの距離である。)
前記制限手段が前記透過型結像手段からの距離を判断して選択された前記イメージ画像を判断する、情報処理装置実行可能なプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、非接触入力技術に関する。
【背景技術】
【0002】
電気装置の起動、停止、パスワード入力などにおいて接触型のスイッチが多用されている。しかしながら、衛生用途、食品工場、高圧電気作業、現場作業などにおいては、非接触で装置の起動・停止などを行うことが望まれる場合がある。具体的には、例えば、多数の病人が触れる整理券発券装置、隔離病棟のエントランス・スイッチ、手術室の出入りドアのスイッチについては細菌の持ち込みや持ち出しを防止する必要がある。また、パスワード入力によりセキュリティを確保するシステムでは、後ろや横からの盗み見によるパスワード窃取の問題も発生している。
【0003】
また、食品工業では、食品工場内への細菌の持込を防止することが必要である、さらに、高電圧作業では、高圧電源の遮断時の感電防止のためにスイッチ類を非接触で操作することが好ましい場合もあるし、また原子力施設においては、スイッチ操作を介した汚染物質の外部への流出を防止する必要もある。
【0004】
このような非接触入力を可能とする技術は検討されており、例えば、特許第5,856,357号明細書(特許文献1)には、スイッチ画像を空中に結像させ、当該スイッチ画像への接触を発光ダイオードと、光センサとを使用して結像面付近に形成したグリッドを使用して、スイッチ画像への接触を判断する非接触入力装置が記載されている。
【0005】
特許文献1に記載される非接触入力装置は、空中に結像したスイッチ画像への接触を、センサレイを使用して検出するため、装置が大掛かりなものとなり、また接触をセンサレイの2次元平面で検出するため、例えば異物、昆虫などをユーザによる動作と判断してしまうという誤検知が発生しやすく、また2次元平面的にスイッチングを判断するため、オンオフ位置がクリティカルなものとなるなど動作性や信頼性に問題があった。
【先行技術文献】
【特許文献】
【0006】
特許第5,856,357号明細書
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、動作性およびスイッチングの信頼性を向上した非接触入力技術を提供することを課題とする。
【課題を解決するための手段】
【0008】
すなわち、本発明によれば、
入力要素のイメージ画像を生成する表示手段と、
前記イメージ画像を反射させることにより前記表示手段から離れた空間内に前記イメージ画像を結像させる透過型結像手段と、
前記空間内に結像した前記イメージ画像に対するユーザ動作の画像を、
前記ユーザ動作に対して交差する位置で取得する
赤外線センサ手段と、
前記
赤外線センサ手段が取得した前記画像の画素位置を、前記空間内に結像した前記イメージ画像に対応付けする手段と、
前記
赤外線センサ手段が検出した前記画像を、
形状、面積または曲率の少なくとも1つを使用して制限する制限手段と、
制限後の前記空間内の前記イメージ画像の3次元位置を判断し、電子装置を制御する情報処理装置と
を含み、前記対応付けする手段が、下記式を使用して前記画素位置を前記空間内に結像した前記イメージ画像に対応付け、
【数1】
(上記式中、(x
i
、y
j
)は、前記赤外線センサ上の画素位置であり、係数a~fは、位置変換行列の要素であり、(X、Y、Z
K
)は、結像面上での3次元空間位置であって、Z
K
は、透過型平面レンズからの距離である。)
前記制限手段が前記透過型結像手段からの距離を判断して選択された前記イメージ画像を判断する、非接触入力システムが提供される。
【0010】
本発明の他の側面では、
入力要素のイメージ画像を生成する表示ステップと、
前記イメージ画像を反射させることにより空間内に前記イメージ画像を結像させるステップと、
赤外線センサ手段により前記空間内に結像した前記イメージ画像に対するユーザ動作の画像を、
前記ユーザ動作に対して交差する位置で取得するステップと、
取得した前記画像の画素位置を、前記空間内に結像した前記イメージ画像に対応付けするステップと、
検出した前記画像を、
形状、面積または曲率の少なくとも1つを使用して制限するステップと、
制限後の前記空間内の前記イメージ画像の3次元位置を判断し、電子装置を制御するステップと
を含み、
前記対応付けするステップが、下記式を使用して前記画素位置を前記空間内に結像した前記イメージ画像に対応付け、
【数2】
(上記式中、(x
i
、y
j
)は、前記赤外線センサ上の画素位置であり、係数a~fは、位置変換行列の要素であり、(X、Y、Z
K
)は、結像面上での3次元空間位置であって、Z
K
は、透過型平面レンズからの距離である。)
前記制限手段が前記透過型結像手段からの距離を判断して選択された前記イメージ画像を判断する、非接触入力方法が提供できる。
【0012】
本発明のさらに他の側面では、
情報処理装置を、
入力要素のイメージ画像を生成する表示手段、
前記イメージ画像を反射させることにより前記表示手段から離れた空間内に前記イメージ画像を結像させる透過型結像手段、
前記空間内に結像した前記イメージ画像に対するユーザ動作の画像を、
前記ユーザ動作に対して交差する位置で取得する
赤外線センサ手段、
前記
赤外線センサ手段が取得した前記画像の画素位置を、前記空間内に結像した前記イメージ画像に対応付けする手段、
前記
赤外線センサ手段が検出した前記画像を、
形状、面積または曲率の少なくとも1つを使用して制限する制限手段、
制限後の前記空間内の前記イメージ画像の3次元位置を判断し、電子装置を制御する手段
として機能させ、
前記対応付けする手段が、下記式を使用して前記画素位置を前記空間内に結像した前記イメージ画像に対応付け、
【数3】
(上記式中、(x
i
、y
j
)は、前記赤外線センサ上の画素位置であり、係数a~fは、位置変換行列の要素であり、(X、Y、Z
K
)は、結像面上での3次元空間位置であって、Z
K
は、透過型平面レンズからの距離である。)
前記制限手段が前記透過型結像手段からの距離を判断して選択された前記イメージ画像を判断する、情報処理装置実行可能なプログラムが提供される。
【図面の簡単な説明】
【0014】
【
図1】本実施形態の非接触入力システム100の概略図。
【
図2】本実施形態の情報処理装置120のハードウェアブロック200を示す図。
【
図3】本実施形態の空間入力装置110を、
図1に示したカーテシアン座標系におけるX方向から見たものとしてその概略構成300を示した図。
【
図4】空間入力装置110のZ方向から見た概略構成400を示す図。
【
図5】本実施形態における結像面350へとオペレータの指330の接触を判断する実施形態500を示す図。
【
図6】空間入力装置110の第2の実施形態600を示す図。
【
図7】本実施形態(第1および第2の実施形態で共通する)における赤外線センサ380の画素381と、画素位置にマッピングされたイメージ画像710との関係を示す図。
【
図8】本実施形態の情報処理装置120の機能ブロック600を示す図。
【
図9】本実施形態の情報処理装置120が第1の実施形態において実行する処理のフローチャートを示す図。
【
図10】本実施形態の情報処理装置120が第2の実施形態において実行する処理のフローチャートを示す図。
【
図11】第1実施形態で、操作者から見た空中結像の実施形態を示す図。
【
図12】センサから見上げた空中結像の実施形態を示す図。
【
図13】第2実施形態において使用するテンキーを表示するイメージ画像の実施形態を示す図。
【
図14】本実施形態の第2の実施形態で表示されるテンキー配置のイメージ画像を表示する空中結像の実施形態を示す図。
【
図17】空中に映像を表示できる実施形態を示した図。
【
図18】これまで知られている代表的なタッチセンサの種類を示す図。
【発明を実施するための形態】
【0015】
以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。
図1は、本実施形態の非接触入力システム100の概略図である。本実施形態の非接触入力システム100は、空間入力装置110と、空間入力装置110の制御を行うと共に装置を制御する情報処理装置120と、空間入力装置110からの入力に応答して制御される装置130とを含んで構成されている。
【0016】
空間入力装置110は、3次元空間内に情報処理装置120が生成するイメージを結像させ、オペレータの指140の位置を赤外線センサ(図示せず)により検出している。赤外線センサの検出信号は、情報処理装置120へと送られる。情報処理装置120は、イメージの3次元空間内の結像面に対応する画素位置と、指140の赤外線画像が検出された位置とを比較して、指140による入力を判断する。
【0017】
指140により入力されたと判断した場合、情報処理装置120は、入力属性に対応する制御信号を生成し、装置130を制御する。また情報処理装置120は、指140による入力がなされたことをオペレータに通知するための音響を発生するための信号を生成し、情報処理装置120が備える音響装置または、外部装置として構成される音響装置を動作させ、オペレータに対して音響的に入力が許可されたことを認識させている。
【0018】
装置130は、本実施形態では、特に限定されるものではなく、制御信号により、その動作、状態を変化させることが可能な電子装置であれば、機械、情報処理装置、車両、モータなどとすることが可能である。なお、
図1には、本実施形態で使用する3次元空間を定義するカーテシアン座標を示す。このカーテシアン座標は、空間入力装置110および情報処理装置12により入力制御の座標系を説明するために使用する。
【0019】
図2は、本実施形態の情報処理装置120のハードウェアブロック200を示す。本実施形態の情報処理装置120は、パーソナルコンピュータ、タブレット型コンピュータ、スマートホンなどとして実装することができる。
【0020】
情報処理装置120は、システムバス206により相互接続されたCPU201、RAM202、ROM203、表示装置204および通信装置205を含んで構成されている。さらに、システムバス206には、PCI、PCIExpressなどのバスブリッジを介してI/Oバス207が接続されている。
【0021】
また、I/Oバス207には、適切なプロトコルを介して、キーボード、マウスなどの入力装置208、HDDといった記憶装置209およびPCM音源などの音響装置210が接続されている。
【0022】
情報処理装置120が使用するCPUとしては、より具体的には、例えば、PENTIUM(登録商標)~PENTIUM(登録商標) IV、Core i(登録商標)シリーズ、XEON(登録商標)、PENTIUM(登録商標)互換CPU、POWER PC(登録商標)、MIPS、SNAPDRAGONなどを挙げることができる。
【0023】
使用するオペレーティング・システム(OS)としては、MacOS(商標)、iOS(登録商標)、Windows(登録商標)、CHROME(登録商標)、ANDROID(登録商標)、UNIX(登録商標)、AIX(登録商標)、LINUX(登録商標)またはそれ以外の適切なOSを挙げることができる。さらに、情報処理装置10は、上述したOS上で動作する、アセンブラ言語、Basic、VisualBasic、C、C++、Visual C++、VisualBasic、Java(登録商標)、Perl、Rubyなどのプログラミング言語により記述されたアプリケーション・プログラムを格納し、実行する。
【0024】
図3は、本実施形態第1の空間入力装置110を、
図1に示したカーテシアン座標系におけるX方向から見たものとしてその概略構成300を示した図である。なお、
図3には説明の便宜上、空間入力装置110の筐体は示していないが、適切な筐体に
図3に示した各要素を収容することができる。また筐体に代えて建築物の構造内に空間を設け、その空間内に空間入力装置110を収容することも可能である。
【0025】
空間入力装置110は、表示要素310(表示手段)と、透過型平面レンズ320(透過型結像手段)と、赤外線センサ380(センサ手段)とを含んで構成することができる。表示要素310は、液晶ディスプレイ装置を含んで構成され、ディスプレイ面に情報処理装置120が生成する入力を誘導するためのイメージ画像を表示させている。
図3には、説明の目的で、ディスプレイ面上に表示されるイメージ画像360を示す。
【0026】
図3に示される光学的関係から、透過型平面レンズ320は、イメージ画像を倒立して透過させることがないので、ユーザが、普通の正立像を認識するため、ディスプレイ面上には、倒立像としてイメージ画像360が表示される。なお、他の実施形態では補助的に赤外線照射装置および対応する位置において赤外線を検知する赤外線センサのマトリックスを搭載することもできる。この実施形態では、赤外線センサの誤作動を防止する目的で赤外線透過性のフィルタを併用することもできる。
【0027】
表示要素310が表示したイメージ画像360は、透過型平面レンズ320により概ね45°の角度で入射され、透過型平面レンズ320でさらに45°反射されて、結像面350に正立像370として結像される。オペレータは、結像面に表示された正立像370に対して指330、340を近づけることで、空間入力を行うことが可能とされる。
【0028】
<第1実施形態>
第1実施形態では、
図3において透過型平面レンズ320の両脇に2つの赤外線センサ380が配置されている。赤外線センサ380は、結像面350全面をモニタすることができ、結像面350への指330の接近を検出する。検出した信号は、適切な接続バスを使用して情報処理装置120へと送付され、結像面350と、指330、340の空間的位置関係の判断を可能としている。
【0029】
なお指330は、図示する実施形態では、ユーザ動作に応じてON位置に触れた場合の位置であり、指340は、OFF位置に触れた場合の位置を示す。ここで、本実施形態の空間検出を定式化する目的で座標系を定義する。3次元空間座標(X、Y、Z)を、便宜上、透過型平面レンズ320の中心を原点とし、
図3に示す配置で定義する。また、指330は、本実施形態では、空間入力のための入力要素として機能するが、ペンその他の他の入力要素として使用することができる。
【0030】
本実施形態では、上記定義のもとで、赤外線センサ380の校正を行う。赤外線センサ380の校正は、結像面の3次元空間位置と、赤外線センサ380の画素位置とを対応付ける処理により行われる。具体的には、結像面に相当する位置および範囲に赤外線面発熱体を配置する治具を使用して、当該赤外線面発熱体の画像を左右の赤外線センサ380で取得する。
【0031】
ここで、一方の赤外線センサの画素座標を(x1i、y1j)、他方の赤外線センサの画素座標を(x2i、y2j)とする。また、赤外線面発熱体の3次元空間位置を(X、Y、Z)とすると、両側のセンサの画素座標と赤外線面発行体の座標とは、以下の関係で与えられる。
【0032】
【0033】
赤外線面発熱体の3次元空間の位置は、計算できるので、式(1)の変数であるa~lまでの値を、赤外線面発行体の既知の位置、例えば四隅、辺の等分点などを12点決定しておき、a~lを変数とする12元連立方程式を解くことにより、結像面の3次元位置座標と、赤外線センサ380の画素位置との対応関係が決定される。
【0034】
図4は、空間入力装置110のZ方向から見た概略構成400を示す。オペレータがその指330を結像面350に接近させてゆくと、赤外線センサ380は、指330の熱を画素単位で検出する。赤外線センサ380が結像面を倒立像としてその表面に結像させる光学配置の場合、赤外線センサ380は、ライン390で示される上側領域が結像面よりも指が下に下がったことを示す領域である。一方、その下側領域は、指が結像面に達していないことを示す。
【0035】
本実施形態では、指330の結像面への接触を、
図3で説明したようにして校正した赤外線センサ380の画像情報と対応付けて判断する。なお、イメージ画像の位置については、結像面350の範囲と、イメージ画像の光学的に計算される結像面上の位置座標とを使用して式(1)により決定することができる。
【0036】
各赤外線センサ380の検出した画素情報は、ライン410を経由して情報処理装置120に送付され、接触判断が行われる。なお、校正の結果得られた画素対応関係は、校正後に情報処理装置120に送付され、例えば赤外線センサ380の画素位置と、結像面上の位置とを対応付けしたルックアップテーブルとして格納することができる。
【0037】
図5は、本実施形態における結像面350へとオペレータの指330の接触を判断する実施形態500を示す。赤外線センサ380は複数の画素を含んで構成されており、
図5に示す実施形態では、結像面350は、領域510で示した位置に対応付けされる。なお領域510は、赤外線センサ380が結像面350の真横に配置される場合、さらに細い領域またはラインとなる。そして、領域520がオペレータの指330が結像面よりも下側まで達したことを示す領域であり、領域560が、オペレータの指330が結像面に達していないことを示す領域である。
【0038】
一方、領域530は、ON位置の領域であり、領域540は、OFF位置の領域を示す。本実施形態では、これらの領域のうち、結像面350を示す領域510近傍の領域における指画像の検出を使用して、入力を判断する。本実施形態では、領域510からの距離、領域520における指画像の面積または指を検出した画素数、領域510からの距離と、指画像の面積または画素数の組み合わせを、入力判断の基準として使用することができる。
【0039】
図5の実施形態によれば、例えばオペレータの指330が結像面から設定した閾値距離まで接近したこと、領域550の領域にオペレータの指330が検出されたことなどを使用して柔軟でかつ信頼性の高い入力判断を行うことができる。
【0040】
<第2実施形態>
図6は、空間入力装置110の第2の実施形態600を示す。
図6に示す第2の実施形態では、赤外線センサ380が1つだけ配置されており、1つの赤外線センサ3801つで、結像面350上の指330の位置を推定し、赤外線センサ380の画素位置に対応付けられたイメージ画像に接触したことを判定する。
【0041】
第2の実施形態においては、上記式(1)を、赤外線センサ1つだけで計測する実施形態に対応した下記式(2)のように修正する。
【0042】
【0043】
上記式(2)中、(xi、yj)は、赤外線センサ上の画素位置であり、係数a~fは、位置変換行列の要素であり、(X、Y、ZK)は、結像面350上での3次元空間位置であって、ZKは、透過型平面レンズからの距離である。
【0044】
ここで、例えば赤外線面発光体を結像面に配置し赤外線面発光体の設定された位置を6点使用して連立方程式を解くことにより、係数a~fが決定できる。なお、係数a~fは、上記式(1)と同一ではなく、第2の実施形態に従い、新たに決定される値を有する。第2の実施形態では、赤外線センサ380上の特定の画素には、Z=ZKではないZの異なる複数の空間位置が含まれることとなり、3次元空間位置と、赤外線センサ380上の位置は一義に定めることはできない。
【0045】
一方、Zの位置が異なる場合、赤外線センサ380が認識する指330の大きさが異なることになる。第2の実施形態では、Z位置を結像面350に関連付けるため、赤外線センサ380が認識した指330の形状、具体的には大きさや、指先の曲率を使用して、指330が結像面350に接触したものとして画像を規制する。規制により排除された画像は、規制後にはノイズ画像として処理され、以後の処理においては考慮されない。なお、指330が結像面350に接触したことの判断を、
図7を使用して本実施形態の制限手段の機能を説明する。
【0046】
図7は、本実施形態第2の実施形態における赤外線センサ380の画素381と、画素位置にマッピングされたイメージ画像710との関係を示す。なお、第1の実施形態および第2の実施形態では、赤外線センサ380の画素に対して予めイメージ画像をマッピングし、これらの対応関係を、ルックアップテーブルの形態として情報処理装置110の適切な記憶領域に格納しておくことができる。イメージ画像710は、表示装置204により表示されるイメージ画像710の位置が表示装置204上の位置と赤外線センサ380および結像面の光学的関係からあらかじめ割り当てておくことができる。複数のイメージ画像710は、
図7に示した実施形態では、テンキーの実施形態として示されている。
【0047】
赤外線センサ380は、イメージ画像710のマッピングとは関係なく、結像面350付近に接近した指330の画像を認識する。赤外線センサ380が認識した指330の画像の大きさを
図7中、白丸382、383、384で示す。白丸383が、概略的に結像面350において結像面350上に表示されたイメージ画像の位置に指330が存在するときに検出される指330の大きさである。
【0048】
また、白丸382は、結像面350よりも遠い位置で数字「4」を示すイメージ画像に相当する画素381が指330を検出した場合の形態であり、白丸384は、結像面350よりも近い位置で数字「6」を示すイメージ画像に相当する画素381が指330を検出した場合の形態である。
【0049】
第2の実施形態では検出された指330の画像のうち、指先に相当する大きさの領域を判断し、指先を検出した画素数、指先に相当する画像の曲率などに対して下限閾値、上限閾値を設定し、各閾値の間の面積または曲率として指330が検出された場合に、指先として認識され画像の先端部が存在する画素位置のイメージ画像が選択されたと判断する。なお、
図7には、赤外線センサ380が検出する指330の概念的な大きさおよび指先の曲率の相違を、参考の目的で示す。
【0050】
図8は、本実施形態の情報処理装置120の機能ブロック600を示す。なお、
図8の機能ブロックは、
図2に示したCPU201がプログラムを実行することにより、情報処理装置120のハードウェアを制御して情報処理装置120上に実現される機能手段である。
【0051】
情報処理装置120は、センサI/F801と、センサ画像取得部802と、指位置計算部804とを含んで構成されている。センサI/F801は、赤外線センサ380からの画像情報を受け取り、センサ画像取得部802に渡す。センサ画像取得部802は、グラフィックRAMなどを管理しており、受領した画像データを処理が終了するまで格納する。指位置計算部804は、受領した画像データを解析し、2つの赤外線センサが取得した画像データペア(x1i、x2i、y1j、y2j)、または1つの赤外線センサが取得した画像データ(xi、yj)を特定する。
【0052】
さらに情報処理装置120は、指位置比較部803と、接触判断部805と、制御信号生成部807と、音響生成部806とを含んで構成することができる。指位置比較部803は、指位置計算部804が決定した画像データペア(x1i、x2i、y1j、y2j)が結像面350のイメージ画像に相当する位置にあるかを、をルックアップテーブルと比較し、領域上での判定結果を接触判断部805に渡す。
【0053】
接触判断部805は、本実施形態において制限手段の機能を備え、指位置比較部803の判定結果を受領し、ユーザの指330が結像面のイメージ画像に接触し、
図5で示した関係を満たしているか否かを判断し、
図5の関係、または
図7の関係が満たされていると判断した場合に、オペレータによる入力動作が行われたものと判断する。接触判断部805は、入力動作が行われたと判断した場合、その領域情報を制御信号生成部807に送付する。同時に接触判断部805は、入力動作が行われたとの判断を、音響生成部806に送付する。
【0054】
制御信号生成部807は、接触判断部805が、接触したと判断した領域に存在するイメージ画像に対応する制御信号を生成し、出力I/F808に渡す。出力I/F808は、適切なバスを介して装置130へと制御信号を送付し、装置130の制御を可能としている。また、音響生成部806は、接触判断部805による入力動作の検出の通知を受領すると、PCM音源を駆動してビープ音その他の音響信号を発生させて、オペレータに入力が成功したことを通知している。
【0055】
図9は、本実施形態の第1の実施形態において、情報処理装置120が実行する非接触入力方法のフローチャートを示す。処理はステップS900から開始し、ステップS901で表示装置からイメージ画像を表示させ、ステップS901で検出した画像の位置を、赤外線センサ380で取得する。
【0056】
ステップS903では、画像の位置、結像面、イメージ画像の位置を比較し、ステップS905で検出した画像が、ON位置を表示したイメージ画像の画素位置に対応するか否かを判断する。ON位置に指に相当する画像が検出されたと判断された場合(yes)、ステップS906で装置をONする信号を生成し、装置に送付し、装置をオンさせ、処理をステップS902に戻し、さらにオペレータによる入力を待機する。
【0057】
ステップS905の判断でON位置を表示したイメージ画像の空間位置に配置されていないと判断された場合(no)、ステップS907で画像位置が、OFF位置を表示したイメージ画像の画素位置に対応するか否かを判断する。OFF位置であると判断された場合(yes)、ステップS908で装置をOFFする信号を生成し、装置に送付し、装置をオフさせ、処理をステップS902に戻し、さらにオペレータによる入力を待機する。
【0058】
図10は、情報処理装置120が第2の実施形態において実行する非接触入力方法のフローチャートを示す。処理はステップS900から開始し、ステップS901で表示装置からイメージ画像を表示させ、ステップS901で画像(オペレータの指)の位置を、赤外線センサ380で取得する。ステップS903では、検出された画像の位置座標と、予めイメージ画像の位置として割り当てられた画素位置とを比較し、ステップS1004で、検出された画像の形状の面積または曲率が、下限閾値と上限閾値の間にあるイメージ画像があるか否かを判断する。なお、本実施形態では、形状の面積や曲率以外にも同等の作用効果を奏する範囲においていかなる尺度・基準でも使用することができる。
【0059】
イメージ画像に相当する位置において、下限閾値と上限閾値の間の面積または曲率で制限し、指330と判断される画像が検出された場合(yes)、ステップS1005で決定されたイメージ画像の空間位置に指が配置されたと判断する。そして、ステップS1006で、該当するイメージ画像に対応した信号を装置に送付して装置を制御し、処理をステップS1002に戻し、再度画像の位置取得を繰り返す。
【0060】
一方、イメージ画像に相当する位置において、下限閾値と上限閾値の間の面積または曲率で、指330が検出されない場合(no)、検出された画像は、判断しているイメージ画像の選択動作のものではない、すなわち、ノイズ画像であると判断し、処理をステップS1002に戻し、再度画像の位置取得を繰り返す。
【0061】
以上、本発明によれば、左右に対となった赤外線センサ380を使用してオペレータの入力を結像面およびイメージ画像に対する位置を使用して入力判断を行うため、例えば異物、昆虫などをユーザによる動作と判断してしまう誤検知や、オンオフ位置がクリティカルなものとなるなど動作性や信頼性を改善する非接触入力技術が提供できる。さらに、本発明の空間入力技術は、空間結像をきわめて高い指向性を以て形成することができるので、テンキー入力の際の盗み見などによるセキュリティ低下を防止する新規な入力方式を提供することが可能となる。
【0062】
さらに、本発明は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【0063】
100 :非接触入力システム
110 :空間入力装置
120 :情報処理装置
130 :装置
140 :指
200 :ハードウェアブロック
201 :CPU
202 :RAM
203 :ROM
204 :表示装置
205 :通信装置
206 :システムバス
207 :I/Oバス
208 :入力装置
209 :記憶装置
210 :音響装置
300 :概略構成
310 :表示要素
320 :透過型平面レンズ
330 :指
340 :指
350 :結像面
360 :イメージ画像
370 :正立像
380 :赤外線センサ
【0064】
<特許出願人のコメント>
以下のような用途で能動型非接触スイッチは活用されます。
衛生用途、食品工場、高圧電気のスイッチ、現場作業。
衛生用途とは、隔離病棟,手術室の出入りドアのスイッチに最適で、治療装置の操作にも利用できます。伝染病の感染防止や、消毒の手間と費用を少なくできます。ハサップ認証の食品工場では厨房への細菌の持込を防ぐことが出来ます。高圧電気のスイッチとして高圧電源の遮断時の感電を防止できます。現場作業では、作業で汚れた手でも、確実にスイッチを操作できます。不特定多数が利用するスイッチへの応用も考えられます。例としては、バスの降車スイッチ、エレベーター用スイッチなどです。
【0065】
携帯電話に本技術を応用すれば前方への視界が多少は確保でき、歩きながらスマホを操作しても安全で、首への負担を軽減します。
【0066】
以下に従来技術である従来型スイッチについて概略的に説明する。その利点および欠点は、以下の通りである。
利点
・成熟した技術なので技術的・工学的な確実性がある
・価格が安い。
欠点
・スイッチに、操作者が触れることにより、感染、感電の恐れがある。こうして作業者、消費者の生命に危険が生じる。
・レーザカーテンのような受動型非接触スイッチでは、動物、虫などが検知空間を横切っても作動する危険があります。
【0067】
操作者の反対側に位置センサを配置した場合、赤外線センサでは、スイッチ操作者の頭部等の上半身と、手先の赤外線映像が重なってしまい、別々に認識することが出来ないので、手先で指示するスイッチ操作ができない。
【0068】
本発明は、上述した従来技術の問題点に鑑みてなされたものであり、本発明は、スイッチに接触することなく遮断する装置を提供することを課題とする。
【0069】
すなわち、本発明、空中遮断器、空中遮断スイッチ、Skyswitchとは、特殊な空中反射投影鏡パネル、ミラージュミラーにより、スイッチ画面を空中結像画面に表示し、センサで、空中で遮断操作を行った指の操作を認識し、電気回路を実際に遮断する装置である。空間画像の特定位置を、指、指示棒、タッチペン等の指示手段で指してその位置を検知し、物理的に接触しなくても信号入力ができる非接触入力装置及び方法を提供することを目的とする。
【0070】
特殊な鏡パネル、ミラージュミラーは、ディスプレイの表示や、十分明るい物体からでた、映像を、45度の入射角で、取り込み反射し、反対側の、空中に45°の出射角で実体結像して表示するもので、
図12に示すディスプレイのごとく空中に映像を表示できる。その構造は平面視して交差する第1、第2の微小反射面がそれぞれ同一平面上に多数立設して配置され、各第1の微小反射面からの第1の反射光を、対応する第2の微小反射面で受けて第2の反射光とし光を結像させる。手先の温度より、大きく異なる温度の部分は、背景(バックグランド)のクラッターと、独自ソフトとにより判断して削除し誤検知を少なくすることもできる。
【0071】
赤外線検出センサを空中反射投影鏡の左又は右又は左右に設置し、光学的に厳密な空間位置に結像した画面上の座標を特定する。斜め下より、結像画面を操作者から見て裏側より、空中反射投影鏡を透過しないで直接センサが覗き込むと、最初に結像画面に指が触れる空間座標を原点とし、z方向に指先が動いた動作を感知し、ボタンを押した動作とソフトにより認識して、電気を遮断するものである。このような設計としたのは、レーザやミリ波などは、距離を測定することが出来るが、赤外線センサはあまり得意ではないからである。従来の赤外線の利用は走査方式だったが、本願は赤外線画像方式である。本願では、使用する結像の位置が厳密に既定でき、かつ斜めに測定することにより、z方向の距離の変異も測定できる独自ソフトを開発した。特殊な鏡パネル,ミラージュミラーは、結像面の空間上の位置が、誤差なく、極めて厳密だからである。
【0072】
センサ斜め下より視認しているため、座標は、正方形ではなく遠近法の消失点方向に傾いているが、本願の独自ソフトにより、補正している。このような配置とすることで、操作者の反対側に位置センサを配置した場合と違い、スイッチ操作者の頭部等の上半身と、手先の赤外線映像が重なってしまい、赤外線センサが別々に認識することが出来ない不具合がほとんど生じない。左右にセンサを配置すれば、さらに正確性が増す。
図13にこれまで知られている代表的なタッチセンサの種類を示すが、本願の形式は存在しない。
【0073】
結像面に指が触れると、接触部の画像が暗くなることにより、空中にも拘わらず、人間は接触を感じることができる。多少慣れが必要である。人間は優れた空間認識能力があるので、スイッチ操作だけならば習熟すれば、空間結像が故障していても、センサの検知機能だけで、遮断ができる。
【0074】
主に明るく、温度が高い屋外での使用の場合、結像の周囲にフードを装着するが、そのフード内部に、2次的補助測定センサを装着することもできる。
【0075】
空中反射投影鏡の、結像位置は、参考画像の場合、空中反射投影鏡に対して45°であるが、極めて高精度の空間座標に結像する。この結像画面上に、仮想のX-Y座標を設定する。赤外線センサの検出波長は、8~14マイクロメーターであり、主に生体人体の放射している赤外線を参考画像のように鮮明に解析することができる。左右にセンサを配置した場合は、より検知雑音を減少させる。特許第5,856,357号では、空中反射投影鏡を透過させてセンサで検知しているが、センサにとって、検知物との間のいかなる透過物も検知の妨げとなるので細心の注意が必要であろう。センサの実際の運用にあたっては、保護カバーが必要となるが、赤外線センサのレンズとカバーを兼用させることもできる。
【0076】
レーザセンサを使用した測距では、3次元の測定を実施したので、より正確に指先の操作を確認できた、またレーザ光線が操作者の眼内に入らない角度で、操作者と対向した位置に配置しての目への入光遮断も実施している。
【0077】
現在の試作品での赤外線センサのドット数は、48×47の2256画素であり、この目盛りに近い値で、座標面を設定しているため、添付画像の如く十分な解像度がある。赤外線センサを近接密集実装することにより、解像度を上げることも可能であり、4つを十字型に配置したものも検討している。キーボードのキー操作などを、更に確実に行える。
【0078】
本願の形式のSkyswitch(商標登録出願通)では、装置表面板をほとんど平滑に製作することが、できるので、消毒、清掃が極めて容易に行える。医療現場では、使い捨てのシリコンカバーで、入力装置を覆っているものも多いが、これらが不要となることで、医療廃棄物を減少させることができる。
【0079】
本願出願人のSkyswitchでは、センサとして、赤外線、レーザ、ビデオを単独または、協同して使用している。現在ビデオセンサとして有名なものに、マイクロソフト社のキネクトがあるが、元来がTVゲームのセンサなため、最大検知距離は、大きいが、近接では対象物より150mm以上が必要で、本願で想定している入出力装置では、利用できない。又、入力速度も速くないと検知しない。外国製品のため、容易なことではないが、将来的には、マクロレンズなどを使用した手入力の速度に合った専用製品が発売されるであろう。
【0080】
関係者のみ座標位置を知る任意のマトリックス空間は、随意に変更可能であり、偶然を期待して闇雲に触ると警報となるようにし、その空間を正しく押し込むことによりミラージュミラーが起動し、スイッチ画面を結像させるようにすれば、入室の制限をかなり厳重に行うことができる。電気自動車のコードレス給電時に、多くは猫であるが、送電空間に動物が入ったことを本実施形態の非接触入力システムにて検知し、送電を停止して事故を防ぐことが出来る。送電の危険識別圏に入った場合、音響、照明などで、進入を阻止することも可能である。この給電遮断装置は、動物の生命だけでなく、短絡による火災、爆発も避けることができる。
【0081】
空中リフレクション機能
ポケモンGoのようなアプリ向けには、ミラージュミラーの進行方向の枠先端にカメラ素子を付ければ、前方がかなり視認できるので、安全に各種アプリを楽しむことが出来る。前方カメラの映像をミラージュミラーの枠より、表示装置に送り、ミラージュミラーで反射させ一眼レフのような光路で空中結像させる、これにスカイスイッチを連動させ、ヘッドアップディスプレイのように使用できる。HUDと異なり、反射面は必要ない。ポケモンや情報ステンシルのみ輝度を高くすれば、ディスプレイの消費電力も抑えられる。ポケモンGoや、GPS地図アプリでの利用が想定される。
【0082】
本願で使用する温度センサは通常の場合、データ読み出し回路は、外部入力クロックに従って画素を順次切り換えて各画素の電圧を読み出すが、本願では、デジタルマッピングで、結像画面の変更が実施される部分のみ、読み込むことも出来る。これにより、読み取り速度が速くなり、正確さが増し、消費電力も節約できる。
【0083】
医療に携わる者は、感染病の治療に辺り、自身が感染して命を落とした医師の無念さはいかばかりだろうと考えると、本願発明を世に活用してもらいたいと希望するものである。