特許 7595532 非接触入力装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-28

(45)【発行日】2024-12-06

(54)【発明の名称】非接触入力装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241129BHJP

   G06F 3/0346 20130101ALI20241129BHJP

【ＦＩ】

G06F3/01 570

G06F3/0346 422

【請求項の数】 3

(21)【出願番号】P 2021105837

(22)【出願日】2021-06-25

(65)【公開番号】P2023004254

(43)【公開日】2023-01-17

【審査請求日】2024-01-26

(73)【特許権者】

【識別番号】591036457

【氏名又は名称】三菱電機エンジニアリング株式会社

(74)【代理人】

【識別番号】100110423

【弁理士】

【氏名又は名称】曾我 道治

(74)【代理人】

【識別番号】100111648

【弁理士】

【氏名又は名称】梶並 順

(74)【代理人】

【識別番号】100147566

【弁理士】

【氏名又は名称】上田 俊一

(74)【代理人】

【識別番号】100161171

【弁理士】

【氏名又は名称】吉田 潤一郎

(74)【代理人】

【識別番号】100188514

【弁理士】

【氏名又は名称】松岡 隆裕

(72)【発明者】

【氏名】佐伯 正人

【審査官】亀澤 智博

(56)【参考文献】

【文献】国際公開第２０１５／０１５８４３（ＷＯ，Ａ１）

【文献】特開２０１７－０５８８１８（ＪＰ，Ａ）

【文献】特開２０２１－００５２２０（ＪＰ，Ａ）

【文献】特開２０１８－０３２０５５（ＪＰ，Ａ）

【文献】特開２０１５－２０２１３３（ＪＰ，Ａ）

【文献】特表２０１０－５３４８９５（ＪＰ，Ａ）

【文献】特開２００８－０５２５９０（ＪＰ，Ａ）

【文献】特開２００６－２０９５６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３３ － ３／０３９

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

(57)【特許請求の範囲】

【請求項1】

意思表示者の動きを動画像として撮像する撮像装置と、
前記意思表示者による意思表示内容を特定するために、複数の表示画面のいずれかを切り替え表示する表示部と、
切り替え表示される表示内容を視認している前記意思表示者の前記動画像を画像処理することで前記意思表示者によるあらかじめ決められた動作を抽出し、抽出結果に応じて前記表示部に表示させる表示画面の表示内容を切り替える表示切り替え処理、および現在の表示内容を選択する意思表示を確定する確定処理を実行し、前記意思表示者が伝達したい前記意思表示内容を特定する制御部と
を備え、
前記撮像装置と前記表示部とは、分離して配置され、前記撮像装置は、前記意思表示者の動きを撮像可能な位置に設置されており、前記表示部は、前記意思表示者が視認可能な位置に設置されており、
前記制御部は、前記あらかじめ決められた動作として、前記意思表示者による手あるいは指の動作に加え、目の動きあるいは足の動きを利用することが可能である
非接触入力装置。

【請求項2】

前記制御部は、
前記動画像を画像処理することで、前記あらかじめ決められた動作として移動指示動作を抽出した場合には、抽出した前記移動指示動作に応じて前記表示部に表示させる表示画面の表示内容を切り替えることで前記表示切り替え処理を実行する表示制御部と、
前記動画像を画像処理することで、前記あらかじめ決められた動作として確定指示動作を抽出した場合には、前記確定指示動作が行われたタイミングにおいて前記表示部に表示されていた表示内容を前記意思表示として確定することで前記確定処理を実行する入力情報検出部と
を有する請求項１に記載の非接触入力装置。

【請求項3】

前記意思表示者は、ベッド上に寝ている患者であり、
前記表示部は、あらかじめ決められた意思疎通文章を切り替え表示できる構成を有し、
前記制御部は、前記画像処理、前記表示切り替え処理、および前記確定処理を実行することで、前記患者が伝達したい意思表示内容を所望の意思疎通文章として特定可能とする
請求項１または２に記載の非接触入力装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、意思表示者が表示部に触れることなく選択入力を可能とする非接触入力装置に関するものである。

【背景技術】

【0002】

指を使って意思疎通を行う従来の入力装置としては、主に下のような構造のものがある。
・指をスイッチに接触させて、電気的な接点のオンオフ操作を行うことで、所望の入力操作を行うもの。
・光学センサを用いたタッチパネルなどで、指による接触箇所を検出することで、所望の入力操作を行うもの。
・非接触タイプの光学センサ、タッチパネルを用いて、所望の入力操作を行うもの。

【0003】

具体例として、指を動かすことが可能な指入力空間に挿入された指先の位置を逐次検出する従来技術がある（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－２２６７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術には以下のような課題がある。
指などを使って意思疎通を行う従来の入力装置は、上述したようなスイッチあるいはタッチパネルなどがあるが、操作入力者と入力装置との距離が限定される。

【0006】

例えば、自動販売機を利用して、非接触で意思疎通の入力を行いたい状況を考えると、所望の釦まで指を移動させることが困難な状況も考えられる。また、ベッドに横たわっている要介護者が、非接触で意思疎通の入力を行いたい場合を考えると、特定の領域に指を移動させることが困難な状況が考えられる。従って，意思表示者である操作入力者による簡便な動作に基づいて非接触での入力操作を可能とする非接触入力装置が望まれている。

【0007】

本開示は、このような課題を解決するためになされたものであり、意思表示者による簡便な動作に基づいて非接触での入力操作を可能とする非接触入力装置を得ることを目的とする。

【課題を解決するための手段】

【0008】

本開示に係る非接触入力装置は、意思表示者の動きを動画像として撮像する撮像装置と、意思表示者による意思表示内容を特定するために、複数の表示画面のいずれかを切り替え表示する表示部と、切り替え表示される表示内容を視認している意思表示者の動画像を画像処理することで意思表示者によるあらかじめ決められた動作を抽出し、抽出結果に応じて表示部に表示させる表示画面の表示内容を切り替える表示切り替え処理、および現在の表示内容を選択する意思表示を確定する確定処理を実行し、意思表示者が伝達したい意思表示内容を特定する制御部とを備え、撮像装置と表示部とは、分離して配置され、撮像装置は、意思表示者の動きを撮像可能な位置に設置されており、表示部は、意思表示者が視認可能な位置に設置されており、制御部は、あらかじめ決められた動作として、意思表示者による手あるいは指の動作に加え、目の動きあるいは足の動きを利用することが可能であるものである。

【発明の効果】

【0009】

本開示によれば、意思表示者による簡便な動作に基づいて非接触での入力操作を可能とする非接触入力装置を得ることができる。

【図面の簡単な説明】

【0010】

【図1】本開示の実施の形態１に係る非接触入力装置を自動販売機に適用した場合の全体構成図である。

【図2】本開示の実施の形態２に係る非接触入力装置を要介護者の意思表示に適用した場合の全体構成図である。

【図3】本開示の実施の形態３に係る非接触入力装置を要介護者の意思表示に適用した場合の全体構成図である。

【発明を実施するための形態】

【0011】

以下、本開示に係る非接触入力装置の実施の形態につき、図を用いて説明する。本開示に係る非接触入力装置は、撮像装置により撮像した動画像から特定した意思表示者の特定の動作に基づいて、非接触での入力操作を可能とすることを技術的特徴とするものである。

【0012】

実施の形態１．
本実施の形態１では、本開示に係る非接触入力装置を自動販売機に適用し、非接触による所望の商品選択を可能とする場合について説明する。図１は、本開示の実施の形態１に係る非接触入力装置を自動販売機に適用した場合の全体構成図である。

【0013】

図１に示した本実施の形態１に係る非接触入力装置は、意思表示者１を撮像するカメラ１０、カメラ１０で取得した動画像を記憶する動画像メモリ２０、画像処理および表示制御を実行する制御部３０、および制御部３０による表示制御に基づいて表示画面を切り替えて表示する表示部４０を備えて構成されている。

【0014】

本開示による非接触入力装置では、撮像装置に相当するカメラ１０を利用する点に１つの特徴があり、カメラ１０を用いるメリットについて、まず説明する。従来技術で説明したように、非接触タイプのタッチパネル、光学センサ等を入力装置に用いた場合には、入力装置の近傍で特定の動作を行う必要があり、特定の動作を認識する位置が極端に制限される。また、誤って装置に接触してしまうおそれも考えられる。

【0015】

これに対して、カメラ１０を用いて非接触化を実現する場合には、広範囲で特定の動作を捕捉できるため、入力装置と意思表示者１との距離を十分に確保した上での選択入力が可能となる。

【0016】

また、非接触での選択入力を可能にする構成としては、音声認識技術を採用することも考えられる。しかしながら、音声認識技術を採用する場合には、不特定多数の人が存在する屋外では、声を出すことが恥ずかしいなどの心理的な問題がある。また、音声認識技術を採用する場合には、意思表示者以外の雑音を除去する必要がある。

【0017】

これに対して、カメラ１０を用いて非接触化を実現する場合には、声を出す必要はなく、また、カメラ１０の前に存在する利用者を意思表示者１としているため、利用者以外のことを考慮する必要もない。

【0018】

次に、各構成について説明する。表示部４０は、自動販売機の前面に設けられており、意思表示者１が商品を購入する際に視認する表示画面が表示部４０に表示される。図１においては、商品Ａ～商品Ｆの６種の商品が選択可能であり、現在の表示画面では、商品Ｅが選択されている状態を示している。

【0019】

従来の自動販売機では、いずれかの商品を選択するためのスイッチが設けられていた。これに対して、本実施の形態１に係る自動販売機では、スイッチはなく、どの商品が選択されている状態かを識別するための識別表示部４１が設けられている。図１においては、６つの識別表示部４１のうち、商品Ｅに対応する識別表示部４１が●で表示され、他の５つの識別表示部４１が○で表示されることで、商品Ｅが選択された状態が識別表示されている場合を例示している。

【0020】

このような表示部４０は、全体を表示パネルとして構成することもでき、また、６つの識別表示部４１の部分をランプとして構成することもできる。

【0021】

自動販売機の利用者である意思表示者１は、自動販売機に設置されたカメラ１０の前に立ち、カメラ１０に向かって現在、選択されている商品の場所にある識別表示部４１の位置を、希望の商品の場所に移動させるように、あらかじめ決められた移動指示動作を行う。あらかじめ決められた移動指示動作の一例としては、指を上下左右の４方向のいずれかに動かす動作が挙げられる。すなわち、意思表示者１は、自動販売機に触れる必要はなく、表示部４０に表示される表示内容を識別できる位置であり、かつ、カメラ１０で指が撮像可能な位置にいればよい。

【0022】

入力情報検出部３１は、カメラ１０で撮像された動画像に対して画像処理を施すことで、意思表示者１が指を上下左右の４方向のいずれかに動かす動作が検出できた場合には、あらかじめ決められた移動指示動作として抽出する。そして、表示制御部３２は、入力情報検出部３１による抽出結果に応じて、●の表示位置を上下左右のいずれかに移動させ、現在、選択表示されている商品を変更する。

【0023】

すなわち、入力情報検出部３１は、動画像を画像処理することで意思表示者１によるあらかじめ決められた移動指示動作を抽出する。さらに、表示制御部３２は、入力情報検出部３１による抽出結果に応じて表示部４０に表示させる表示画面の表示内容を切り替える表示切り替え処理を実行する。

【0024】

希望の商品が●で表示された状態になると、自動販売機を利用する意思表示者１は、現在、選択表示されている商品を確定するために、あらかじめ決められた確定指示動作を行う。あらかじめ決められた確定指示動作の一例としては、手の形状をチョキ、グーなどの形状にする動作が挙げられる。

【0025】

入力情報検出部３１は、カメラ１０で撮像された動画像に対して画像処理を施すことで、意思表示者１が手の形状をチョキ、グー等の形状にする動作が検出できた場合には、あらかじめ決められた確定指示動作として抽出する。そして、入力情報検出部３１は、抽出結果に応じて、現在、選択表示されている商品を確定する。

【0026】

すなわち、入力情報検出部３１は、動画像を画像処理することで意思表示者１によるあらかじめ決められた確定指示動作を抽出し、抽出結果に応じて表示部４０における現在の表示内容を選択する意思表示を確定する確定処理を実行する。

【0027】

このようにして、制御部３０は、画像処理、表示切り替え処理、および確定処理を実行することで、意思表示者１が伝達したい意思表示内容を特定することができる。すなわち、自動販売機を利用する意思表示者１は、自動販売機に接触することなく、自動販売機とある程度の距離を保った上で、あらかじめ決められた特定の動作を行うことで、所望の商品を選択することができる。

【0028】

実施の形態２．
本実施の形態２では、本開示に係る非接触入力装置を要介護者等の意思表示に適用する場合について説明する。人工呼吸器、点滴などの医療機器が身体に取り付けられている患者、あるいは身体障がい者が意思表示者１である場合には、体の一部分しか動かすことができない状況、あるいは音声を発することができない状況が考えられる。

【0029】

このため、非接触タイプのタッチパネル、光学センサ、音声認識等を入力手段として使用することは、困難である。これに対して、本開示のように、カメラ１０を活用する場合には、意思表示者１が動かすことが可能な部分の、わずかな動きを利用して選択入力が可能となる。従って、上述したような患者あるいは身体障がい者が意思表示者１である場合にも、本開示に係る非接触入力装置を容易に適用することができる。

【0030】

図２は、本開示の実施の形態２に係る非接触入力装置を要介護者の意思表示に適用した場合の全体構成図である。

【0031】

図２に示した本実施の形態２に係る非接触入力装置は、ベッド２上に寝ている意思表示者１を撮像するカメラ１０、カメラ１０で取得した動画像を記憶する動画像メモリ２０、画像処理および表示制御を実行する制御部３０、および制御部３０による表示制御に基づいて表示画面を切り替えて表示する表示部４０を備えて構成されている。

【0032】

表示部４０は、ベッド２上に寝ている患者である意思表示者１が視認可能な位置に設けられており、意思表示者１が意思を伝達したいメッセージを選択する際に視認する表示画面が表示部４０に表示される。図１においては、「苦しい」というメッセージが表示された表示画面１と、「水がほしい」というメッセージが表示された表示画面２のいずれか一方が表示されている状態を示している。

【0033】

すなわち、本実施の形態２に係る非接触入力装置では、「苦しい」あるいは「水がほしい」といった、あらかじめ決められた意思疎通文章４２を切り替え表示できる構成を有している。なお、図２においては、「苦しい」というメッセージが表示された表示画面１と、「水がほしい」というメッセージが表示された表示画面２の２つの表示画面を選択できる構成を例示しているが、異なるメッセージによる表示画面をさらに設けることも可能である。

【0034】

また、１画面内に複数の意思疎通文章４２を表示させた上で、先の実施の形態１で示したように、識別表示部４１を用いて識別表示させることも可能である。

【0035】

このような表示部４０は、複数の表示画面を備えた表示パネルとして構成することもでき、また、識別表示部４１をランプとして構成することもできる。

【0036】

ベッド２上の意思表示者１は、ベッド２上からカメラ１０に向かって現在選択表示されている表示画面を、希望の表示画面に変更させるように、あらかじめ決められた移動指示動作を行う。あらかじめ決められた移動指示動作の一例としては、指を上下の２方向のいずれかに動かす動作が挙げられる。

【0037】

入力情報検出部３１は、カメラ１０で撮像された動画像に対して画像処理を施すことで、意思表示者１が指を上下の２方向のいずれかに動かす動作が検出できた場合には、あらかじめ決められた移動指示動作として抽出する。そして、表示制御部３２は、入力情報検出部３１による抽出結果に応じて、表示画面１と表示画面２との切り替え表示を行う。

【0038】

すなわち、入力情報検出部３１は、動画像を画像処理することで意思表示者１によるあらかじめ決められた移動指示動作を抽出する。さらに、表示制御部３２は、入力情報検出部３１による抽出結果に応じて表示部４０に表示させる表示画面の表示内容を切り替える表示切り替え処理を実行する。

【0039】

希望の意思疎通文章４２が表示された状態になると、患者である意思表示者１は、現在、希望の意思疎通文章４２が表示されている表示画面を確定するために、あらかじめ決められた確定指示動作を行う。あらかじめ決められた確定指示動作の一例としては、手の形状をチョキ、グーなどの形状にする動作が挙げられる。

【0040】

入力情報検出部３１は、カメラ１０で撮像された動画像に対して画像処理を施すことで、意思表示者１が手の形状をチョキ、グー等の形状にする動作が検出できた場合には、あらかじめ決められた確定指示動作として抽出する。そして、入力情報検出部３１は、抽出結果に応じて、現在、選択表示されている意思疎通文章４２を確定する。

【0041】

すなわち、入力情報検出部３１は、動画像を画像処理することで意思表示者１によるあらかじめ決められた確定指示動作を抽出し、抽出結果に応じて表示部４０における現在の表示内容を選択する意思表示を確定する確定処理を実行する。

【0042】

このようにして、制御部３０は、画像処理、表示切り替え処理、および確定処理を実行することで、意思表示者１が伝達したい意思表示内容を所望の意思疎通文章４２として特定することができる。すなわち、意思表示者１は、入力装置に接触することなく、入力装置とある程度の距離を保った上で、あらかじめ決められた特定の動作を行うことで、所望の意思疎通文章４２を選択することができる。

【0043】

換言すると、本実施の形態２に係る非接触入力装置では、ディスプレイとしての表示部４０が付いた本体と、カメラ１０の部分が分離できるようになっている。そして、表示部４０が付いた本体は、患者である意思表示者１の視野に入る位置に設置され、カメラ１０は、患者である意思表示者１の手が映る位置に設置される。

【0044】

さらに、あらかじめ複数の意思疎通文章４２を用意しておき、利用者のわずかな動作だけで所望の意思疎通文章４２の選択を可能としている。この結果、直接文字を入力する場合よりも簡単かつ迅速に意思疎通でき、緊急時等にも有効となる。

【0045】

実施の形態３．
先の実施の形態２では、本開示における非接触入力装置を要介護者等の意思表示に適用する際に、図２に示したように、あらかじめ決められた意思疎通文章４２を用いていた。これに対して、本実施の形態３では、意思表示者１によって、任意の文字列による意思表示を可能とする構成を備えた非接触入力装置について説明する。

【0046】

図３は、本開示の実施の形態３に係る非接触入力装置を要介護者の意思表示に適用した場合の全体構成図である。先の実施の形態２における図２の構成と比較すると、本実施の形態３における図３の構成は、表示部４０の表示内容が異なっているとともに、制御部による制御内容が異なっている。そこで、これらの相違点を中心に、以下に説明する。

【0047】

図３に例示した表示部４０には、五十音の一覧表４３とともに、五十音のうちの１つを選択するための選択表示部４４が表示されている。このような表示内容に対して、意思表示者１は、カメラ１０に向かって現在表示されている選択表示部４４の位置を、希望の一音の位置に移動させるように、あらかじめ決められた移動指示動作を行う。あらかじめ決められた移動指示動作の一例としては、指を上下左右の４方向のいずれかに動かす動作が挙げられる。

【0048】

入力情報検出部３１は、カメラ１０で撮像された動画像に対して画像処理を施すことで、意思表示者１が指を上下左右の４方向のいずれかに動かす動作が検出できた場合には、あらかじめ決められた移動指示動作として抽出する。そして、表示制御部３２は、入力情報検出部３１による抽出結果に応じて、選択表示部４４の表示位置を上下左右のいずれかに移動させ、現在、選択表示部４４によって囲まれている一音を変更する。

【0049】

選択表示部４４の表示位置が希望の一音を選択できた状態になると、意思表示者１は、現在の選択表示部４４の表示位置にある一音を選択するために、あらかじめ決められた選択指示動作を行う。あらかじめ決められた選択指示動作の一例としては、手の形状をチョキの形状にする動作が挙げられる。

【0050】

入力情報検出部３１は、カメラ１０で撮像された動画像に対して画像処理を施すことで、意思表示者１が手の形状をチョキの形状にする動作が検出できた場合には、あらかじめ決められた選択指示動作として抽出する。そして、入力情報検出部３１は、抽出結果に応じて、現在、選択表示部４４によって囲まれている一音を確定する。

【0051】

そして、意思表示者は、移動指示動作および選択指示動作を繰り返し、一音を順次選択することで、複数の一音が並んだ時系列データに相当する文字列を選択することができる。

【0052】

所望の文字列の選択が完了すると、意思表示者１は、カメラ１０に向かって、あらかじめ決められた確定指示動作を行う。あらかじめ決められた確定指示動作の一例としては、手の形状をグーの形状にする動作が挙げられる。

【0053】

入力情報検出部３１は、カメラ１０で撮像された動画像に対して画像処理を施すことで、意思表示者１が手の形状をグーの形状にする動作が検出できた場合には、あらかじめ決められた確定指示動作として抽出する。そして、入力情報検出部３１は、抽出結果に応じて、意思表示者１によって最終的に確定された文字列を特定することができる。

【0054】

換言すると、本実施の形態３における表示制御部３２は、動画像を画像処理することで、あらかじめ決められた動作として移動指示動作を抽出した場合には、抽出した移動指示動作に応じて表示部に表示させる選択表示部４４の表示位置を変更することで、表示画面の表示内容を切り替え、表示切り替え処理を実行する。

【0055】

一方、入力情報検出部３１は、動画像を画像処理することで、あらかじめ決められた動作として選択指示動作を抽出した場合には、選択指示動作が行われたタイミングにおいて表示部に表示された選択表示部４４の表示位置の一音を選択データとして検出する。

【0056】

そして、入力情報検出部３１は、あらかじめ決められた動作として確定指示動作を抽出できるまで、表示制御部３２による表示切り替え処理と連動して、選択指示動作による検出処理を順次繰り返すことで、所望の文字列を選択する。

【0057】

さらに、入力情報検出部３１は、確定指示動作を行ったタイミングが特定できた場合には、順次検出された前記選択データによる時系列データからなる文字列を、意思表示として確定することで確定処理を実行する。従って、図３のような表示画面を活用することで、意思表示者１は、五十音からなる任意の文字列を用いて意思疎通することが可能となる。

【0058】

また、本実施の形態３に係る非接触入力装置では、ディスプレイとしての表示部４０が付いた本体と、カメラ１０の部分が分離できるようになっている。そして、表示部４０が付いた本体は、患者である意思表示者１の視野に入る位置に設置され、カメラ１０は、患者である意思表示者１の手が映る位置に設置される。

【0059】

このように配置されたカメラ１０を使用することにより、手足などを動かすことができる程度の病人、要介護者が、非接触で意思疎通を容易に行うことが可能となる。

【0060】

なお、図３で示した五十音の一覧表の代わりに、アルファベット、絵文字などを用いることも可能である。

【0061】

また、上述した実施の形態１では、移動指示動作、選択指示動作、確定指示動作のそれぞれを手あるいは指の動作で行う場合について説明したが、本開示は、これに限定されない。意思表示者の制約等に応じて、例えば、目の動き、足の動きなどを利用することも可能である。

【符号の説明】

【0062】

１０ カメラ、２０ 動画像メモリ、３０ 制御部、３１ 入力情報検出部、３２ 表示制御部、４０ 表示部、４１ 識別表示部、４２ 意思疎通文章、４３ 五十音の一覧表、４４ 選択表示部。

【図1】

【図2】

【図3】