特許 5993354 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5993354

(24)【登録日】2016年8月26日

(45)【発行日】2016年9月14日

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20160901BHJP

【ＦＩ】

   G06F3/01 570

【請求項の数】2

【全頁数】32

(21)【出願番号】特願2013-141551(P2013-141551)

(22)【出願日】2013年7月5日

(62)【分割の表示】特願2012-233272(P2012-233272)の分割

【原出願日】2012年6月5日

(65)【公開番号】特開2013-242889(P2013-242889A)

(43)【公開日】2013年12月5日

【審査請求日】2015年2月26日

(31)【優先権主張番号】特願2012-101258(P2012-101258)

(32)【優先日】2012年4月26日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】598049322

【氏名又は名称】株式会社三菱東京ＵＦＪ銀行

(74)【代理人】

【識別番号】110000408

【氏名又は名称】特許業務法人高橋・林アンドパートナーズ

(72)【発明者】

【氏名】望月 隆

【審査官】 笠田 和宏

(56)【参考文献】

【文献】 特開２０１１−０２２９４５（ＪＰ，Ａ）

【文献】 特開２０１０−２７７１９８（ＪＰ，Ａ）

【文献】 特開２０１２−０７３６５９（ＪＰ，Ａ）

【文献】 特開平１１−３０５９１０（ＪＰ，Ａ）

【文献】 特開２０１１−０９５９８５（ＪＰ，Ａ）

【文献】 特開２００９−０４２７９６（ＪＰ，Ａ）

【文献】 特開２００５−３０１６９３（ＪＰ，Ａ）

【文献】 特許第４９１８１７１（ＪＰ，Ｂ１）

【文献】 特開２０１１−１９２０９０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

ＩＰＣ Ｇ０６Ｆ ３／０１ − ３／０４８９

３／１４ − ３／１５３

Ｇ０６Ｔ ７／００ − ７／６０

(57)【特許請求の範囲】

【請求項1】

検知範囲に存在する物体を検知し、検知した物体に応じた検知データを出力する検知手段と、
前記検知データに基づいて、前記物体の少なくとも１箇所の座標を算出する座標算出手段と、
前記算出された座標の少なくとも１つの移動速度が特定の速度以下に変化した場合に、前記特定の速度以下に変化した後の当該座標に対応付けられている、装置に対する指示を決定する決定手段と
を備え、
前記決定手段は、前記算出された座標の少なくとも１つの移動速度が前記特定の速度よりも大きい第１の速度以上から前記特定の速度以下に変化した場合に、前記特定の速度以下に変化した後の当該座標に対応付けられている、装置に対する指示を決定する、情報処理装置。

【請求項2】

検知範囲に存在する物体を検知し、検知した物体に応じた検知データを出力する検知手段と、
前記検知データに基づいて、前記物体の少なくとも１箇所の座標を算出する座標算出手段と、
前記算出された座標の少なくとも１つの移動速度が特定の速度以下に変化した場合に、前記特定の速度以下に変化した後の当該座標に対応付けられている、装置に対する指示を決定する決定手段と
を備え、
前記座標算出手段は、前記検知データに基づいて、前記少なくとも１箇所の座標以外の前記物体における所定の特徴位置の第２座標を算出し、
前記決定手段は、前記算出された座標の少なくとも１つの移動速度であって前記第２の座標に対する移動速度が特定の速度以下に変化した場合に、前記特定の速度以下に変化した後の当該座標に対応付けられている、装置に対する指示を決定する、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体を認識する認識空間を設定する技術に関する。

【背景技術】

【0002】

コンピュータに対してユーザの指示を入力するときには、ユーザは、キーボードやマウスなどの入力インターフェースを用いる。近年ではユーザの指示の入力を容易にするため、ナチュラルインターフェイス（ナチュラルユーザインタフェースといわれることもある）に関する技術が開発されている。例えば、特許文献１に記載されているように、ジェスチャによってユーザの指示を入力する技術が開発されている。また、特許文献２に記載されているように、ジェスチャにユーザの視線を組み合わせて、ユーザの指示を入力するときの精度を向上させる技術が開発されている。さらに、特許文献３に記載されているように、予め決められた領域での指の動きによってユーザの指示を入力する技術が開発されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許出願公開第２０１１／０１９３９３９号明細書

【特許文献2】米国特許出願公開第２０１１／００２９９１８号明細書

【特許文献3】米国特許出願公開第２０１０／０２３１５２２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、動作を行う各部の動きにはそれぞれ特徴があるため、検出すべきジェスチャを行う部分によって、精度よくジェスチャを検出する方法が異なってくる。そのため、各ジェスチャの検出精度のさらなる改善が望まれている。

【0005】

本発明は、指の動きに応じた装置に対する入力指示を精度よく認識することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一実施形態によると、検知範囲に存在する物体を検知し、検知した物体に応じた検知データを出力する検知手段と、前記検知データに基づいて、前記物体の少なくとも１箇所の座標を算出する座標算出手段と、前記算出された座標の少なくとも１つの移動速度が特定の速度以下に変化した場合に、前記特定の速度以下に変化した後の当該座標に対応付けられている、装置に対する指示を決定する決定手段とを備え、前記決定手段は、前記算出された座標の少なくとも１つの移動速度が前記特定の速度よりも大きい第１の速度以上から前記特定の速度以下に変化した場合に、前記特定の速度以下に変化した後の当該座標に対応付けられている、装置に対する指示を決定する、情報処理装置が提供される。また、本発明の一実施形態によると、検知範囲に存在する物体を検知し、検知した物体に応じた検知データを出力する検知手段と、前記検知データに基づいて、前記物体の少なくとも１箇所の座標を算出する座標算出手段と、前記算出された座標の少なくとも１つの移動速度が特定の速度以下に変化した場合に、前記特定の速度以下に変化した後の当該座標に対応付けられている、装置に対する指示を決定する決定手段とを備え、前記座標算出手段は、前記検知データに基づいて、前記少なくとも１箇所の座標以外の前記物体における所定の特徴位置の第２座標を算出し、前記決定手段は、前記算出された座標の少なくとも１つの移動速度であって前記第２の座標に対する移動速度が特定の速度以下に変化した場合に、前記特定の速度以下に変化した後の当該座標に対応付けられている、装置に対する指示を決定する、情報処理装置が提供される。

【0007】

本発明の一実施形態によると、検知範囲に存在する物体を検知し、検知した物体に応じた検知データを出力する検知手段と、前記検知データに基づいて、前記検知した物体における特徴位置の動きと連動する原点を設定する原点設定手段と、前記検知データに基づいて、前記物体における少なくとも１箇所の座標を算出する座標算出手段と、前記座標と前記原点との相対的な位置関係に基づいて装置に対する指示を決定する決定手段とを備える情報処理装置が提供される。

【発明の効果】

【0008】

本発明によれば、指の動きに応じた装置に対する入力指示を精度よく認識することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の第１実施形態に係る電子機器１の構成を示す概略図である。

【図2】本発明の第１実施形態に係る情報処理装置１０の機能構成を示すブロック図である。

【図3】本発明の第１実施形態に係る認識空間設定機能１００の構成を示すブロック図である。

【図4】本発明の第１実施形態に係る走査部１３０における基準点Ｃを設定する方法の一例を説明する図である。

【図5】本発明の第１実施形態に係る認識空間設定部１４０において認識空間を設定する処理を示すフローチャートである。

【図6】本発明の第１実施形態に係る認識空間設定部１４０における走査線形状の特定方法の一例を説明する図である。

【図7】本発明の第１実施形態に係る認識空間設定部１４０における特徴位置の特定方法の一例を説明する図である。

【図8】本発明の第１実施形態に係る認識空間設定部１４０における特定形状の調整方法の一例を説明する図である。

【図9】本発明の第１実施形態に係る認識空間設定部１４０における認識空間の設定方法の一例を説明する図である。

【図10】本発明の第１実施形態に係るジェスチャ入力機能２００の構成を示すブロック図である。

【図11】本発明の第１実施形態に係る挙動測定部２１０により算出される座標の位置を説明する図である。

【図12】本発明の第１実施形態に係る決定部２２０で用いられる照合用テーブルを説明する図である。

【図13】本発明の第１実施形態に係る照合用テーブルに定義されるジェスチャの例を説明する図である。

【図14】本発明の第１実施形態に係る決定部２２０における処理を示すフローチャートである。

【図15】本発明の第１実施形態に係る視線認証機能３００の構成を示すブロック図である。

【図16】本発明の第１実施形態に係る表示装置１４に表示される確認画面の例を説明する図である。

【図17】本発明第１の実施形態に係る判定部３３０における処理を示すフローチャートである。

【図18】本発明の第２実施形態に係る挙動測定部２１０により算出される座標の位置と伸縮装置３０００の使用方法とを説明する図である。

【図19】本発明の第２実施形態に係る決定部２２０で用いられる照合用テーブルを説明する図である。

【図20】本発明の第２実施形態に係る照合用テーブルに定義されるジェスチャの例を説明する図である。

【図21】本発明の第３実施形態に係る挙動測定部２１０により算出される座標の位置と伸縮装置３０１０の使用方法とを説明する図である。

【図22】本発明の第３実施形態に係る伸縮装置３０１０の図２１とは異なる使用方法を説明する図である。

【図23】本発明の第３実施形態に係る決定部２２０で用いられる照合用テーブルを説明する図である。

【図24】本発明の第４実施形態に係る発光装置３０５０の使用方法を説明する図である。

【図25】本発明の第４実施形態に係る決定部２２０で用いられる照合用テーブルを説明する図である。

【図26】本発明の第４実施形態に係る発光装置３０６０の使用方法を説明する図である。

【図27】本発明の第５実施形態に係る決定部２２０で用いられる照合用テーブルを説明する図である。

【図28】本発明の第５実施形態に係る挙動測定部２１０により算出される座標の位置に基づいて決められる登録領域を説明する図である。

【図29】本発明の第５実施形態に係る登録領域の詳細を説明する図である。

【図30】本発明の第５実施形態に係る照合パターンの例を説明する図である。

【図31】本発明の第５実施形態に係る登録領域と検出領域との比較を説明する図である。

【図32】本発明の第５実施形態に係る検出領域と照合パターンとの照合について説明する図である。

【図33】本発明の第５実施形態に係る検出領域と照合パターンとが一致しない場合の例について説明する図である。

【図34】本発明の第５実施形態に係る検出領域と照合パターンとが一致した場合の例について説明する図である。

【図35】本発明の第５実施形態に係る照合パターンの別の例を説明する図である。

【図36】本発明の第６実施形態に係る物体検知装置２０Ａの構成を説明する図である。

【図37】本発明の第６実施形態に係る挙動測定部２１０により算出される座標の位置を説明する図である。

【図38】本発明の第６実施形態に係る決定部２２０で用いられる照合用テーブルを説明する図である。

【図39】本発明の第６実施形態に係る照合用テーブルに登録される各パラメータを説明する図である。

【図40】本発明の変形例５に係るセキュリティシステム５００の構成を示す概略図である。

【図41】本発明の変形例５に係るサーバ６に記憶された管理テーブルを説明する図である。

【図42】本発明の変形例５に係る表示装置１４の表示例を示す図である。

【図43】本発明の変形例６に係る電気機器１Ｂの構成を示す概略図である。

【発明を実施するための形態】

【0010】

以下、本発明の一実施形態に係る電子機器について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。

【0011】

＜第１実施形態＞
本発明の第１実施形態に係る電子機器について、図面を参照しながら詳細に説明する。

【0012】

［全体構成］
図１は、本発明の第１実施形態に係る電子機器１の構成を示す概略図である。電子機器１は、この例では、パーソナルコンピュータである。この電子機器１は、ユーザからの電子機器１に対する指示の入力を、キーボード１３ａまたはマウス１３ｂによって受け付けるだけでなく、ユーザのジェスチャ（主に手を用いたジェスチャ）または視線により受け付けることができるナチュラルインターフェイスを有する装置である。なお、電子機器１は、スマートフォン、携帯電話、テレビ、ゲーム機、セキュリティ装置など、ユーザの指示の入力を受け付けて、指示に応じた処理を実行する装置であればよい。

【0013】

電子機器１は、情報処理装置１０を有する。また、電子機器１は、操作部１３（この例では、キーボード１３ａおよびマウス１３ｂ）、表示装置１４、物体検知装置２０および視線測定装置３０を有する。これらの各構成は、情報処理装置１０に有線または無線で接続されている。なお、物体検知装置２０と視線測定装置３０とが一体の装置として構成されるなど、一部の構成が一体の装置として構成されていてもよいし、全体の構成が一体の装置として構成されていてもよい。

【0014】

情報処理装置１０は、ＣＰＵ（Central Processing Unit）１１およびメモリ１２を有
する。ＣＰＵ１１は、メモリ１２に記憶されているプログラムを実行することにより、後述する認識空間設定機能１００、ジェスチャ入力機能２００、視線認証機能３００（図２参照）など、様々な機能を実現する。ＣＰＵ１１によって実現される様々な機能により、電子機器１の各構成が制御される。

【0015】

操作部１３は、ユーザによる操作を受け付けて、受け付けられた操作に応じた信号をＣＰＵ１１に出力する。表示装置１４は、ＣＰＵ１１の制御により画面の表示態様が制御される。

【0016】

物体検知装置２０は、パターン投影方式により、物体を検知して、その物体の形状を３次元で測定し、測定した結果を示す測定信号を出力する。物体検知装置２０は、所定の検知範囲に存在する物体を検知する検知センサ２１を有する。この例では、検知センサ２１は、所定のパターン（ドットパターン、メッシュパターン等）で赤外光を照射する発光素子と、物体で反射することにより歪んだパターンの赤外光を受光して受光信号を出力する赤外光用イメージセンサとを有する深度センサである。物体検知装置２０は、赤外光用イメージセンサから出力される受光信号を用いて、測定信号を出力する。したがって、測定信号は、検知センサ２１から見た場合の物体の形状を反映している。

【0017】

この例では、物体検知装置２０における物体の検知にはパターン投影方式を用いていたが、レーザ干渉計等で用いられるＴＯＦ（Time of Flight）方式を用いてもよいし、可視光用イメージセンサ等で撮影した結果得られる画像データを解析して検出する方式を用いてもよい。また、複数の方式を組み合わせて用いてもよい。いずれの方式であっても、物体検知装置２０は、検知範囲に存在する物体の形状を３次元座標で測定した結果を示す測定信号を出力する。

【0018】

なお、この例では、物体検知装置２０は、図１に示すように、電子機器１を使用するユーザからみて表示装置１４の左側に設置され、矢印Ａ１方向に検出センサ２１が向けられている。そのため、ユーザの左手側から右手側に向けて赤外光が照射されて、電子機器１を使用するユーザと表示装置１４との間の空間およびその周辺の空間が検知範囲となる。そのため、物体検知装置２０の位置および検知センサ２１の向きは、ユーザの右手を物体として検知するのに適した配置となっている。なお、この物体検知装置２０の配置は一例であって、この配置に限定されるものではなく、検知すべき物体に応じて決められればよい。

【0019】

視線測定装置３０は、ユーザの視線方向を測定するための撮影をする装置である。視線測定装置３０は、プルキニエ像を取得するためにユーザの眼に向けて赤外光を照射する発光素子と、ユーザの眼を含む領域を撮影するイメージセンサとを有する視線センサ３１を有し、イメージセンサによる撮影結果を示す撮影信号を情報処理装置１０に出力する。この撮影信号は、情報処理装置１０において、ユーザの視線方向を測定するために用いられる。この例では、視線測定装置３０は、図１に示すように表示装置１４の上部に取り付けられている。

【0020】

なお、視線方向の測定には、この例では、プルキニエ像を用いる角膜反射法により視線方向を測定する公知の方法を用いるが、強膜トラッカー法、ＥＯＧ（Electro-oculography）法、サーチコイル法など他の公知の方法を用いてもよい。他の方法を用いる場合、視線測定装置３０においては、視線方向の測定に用いる方法に応じた構成で、ユーザの視線の情報を取得するようにすればよい。

【0021】

［情報処理装置１０の機能構成］
図２は、本発明の第１実施形態に係る情報処理装置１０の機能構成を示すブロック図である。情報処理装置１０は、認識空間設定機能１００、ジェスチャ入力機能２００、視線認証判定機能３００、検知部５００、および実行部７００を有する。

【0022】

検知部５００は、物体検知装置２０から出力される測定信号に基づいて、検知した物体に応じた検知データを出力する。検知データは、測定信号から検知範囲において検知された物体の形状（例えば輪郭）を認識可能なデータであれば、どのようなデータであってもよい。また、検知データは、物体の形状の概略（例えば、物体の軸など）を示すデータが含まれていてもよい。なお、検知部５００は、物体検知装置２０に含まれていてもよい。

【0023】

認識空間設定機能１００は、検知部５００からの検知データに基づいて、上述した検知範囲に存在する物体の一端部の位置を認識して、その周囲に認識空間を設定する機能を有する。この例では、物体は、ユーザの手および腕であり、物体の一端部とは手（指を含む）の部分を意味する。以下の説明では、物体は、ユーザの手および腕であるものとする。認識空間とは、検知範囲における手の周囲に設定され、この手の動きに注目してジェスチャを認識するために設定される。

【0024】

ジェスチャ入力機能２００は、検知部５００からの検知データに基づいて、認識空間における手（特に指）の動きまたは形状をジェスチャとして認識し、ジェスチャに対応する指示を装置に対して入力された指示として決定する機能を有する。また、この例では、操作部１３への操作に基づいて装置に対して入力された指示を決定する機能も有している。

【0025】

視線認証判定機能３００は、視線測定装置３０からの測定信号に基づいて、ユーザの視線方向を測定し、その視線が表示装置１４に表示された所定の領域を向いているかどうかを判定する機能を有している。なお、認識空間設定機能１００、ジェスチャ入力機能２００および視線認証判定機能３００の詳細については後述する。

【0026】

実行部７００は、ジェスチャ入力機能２００および視線認証判定機能３００の処理により決定された指示に基づく処理を実行して、電子機器１の動作を制御する。このとき、ジェスチャ入力機能２００および視線認証判定機能３００における処理の結果に応じて、指示に基づく処理が実行されなかったり、処理内容が変更されたりする場合もある。

【0027】

［認識空間設定機能１００］
図３は、本発明の第１実施形態に係る認識空間設定機能１００の構成を示すブロック図である。認識空間設定機能１００は、領域特定部１１０、基準点設定部１２０、操作部１３０および認識空間設定部１４０の各機能を用いて実現される。以下に詳述する認識空間設定機能１００を用いた処理については、この例では、ユーザによる操作部１３への開始指示が入力されると実行される。なお、この処理は、一定間隔で実行されてもよいし、予め決められたスケジュールにしたがって実行されてもよいし、検知範囲において手などの予め決められた物体が検知されると実行されてもよい。

【0028】

領域特定部１１０は、検知部５００から出力される検知データに基づいて、検知範囲において検知された物体の輪郭から、手および腕の領域（以下、物体領域という）を特定する。この例では、腕の伸びる方向に沿った軸線Ｌ（図４参照）についても特定する。

【0029】

基準点設定部１２０は、特定された物体領域に基づいて、後述する走査の開始点となる基準点Ｃを、図４に示すようにして設定する。

【0030】

図４は、本発明の第１実施形態に係る走査部１３０における基準点Ｃを設定する方法の一例を説明する図である。図４に示す中心点Ｐは、検知範囲全体における中心の位置を示している。基準点設定部１２０は、中心点Ｐから鉛直方向に線を伸ばし、軸線Ｌとの交点を基準点Ｃとして設定する。なお、基準点Ｃは、軸線Ｌ上の中心点Ｐから最も近い点としてもよいし、また、軸線Ｌまたは中心点Ｐを用いない方法を含めて他の方法で設定されてもよいが、物体領域（手１０００および腕２０００）に設定されることが望ましく、物体領域から指を除いた領域に設定されることがさらに望ましい。

【0031】

図３に戻って説明を続ける。走査部１３０は、基準点Ｃを囲む走査線ＳＬを設定し、走査線ＳＬが基準点Ｃから拡がるようにして、検知範囲を走査する（図６参照）。走査線ＳＬの形状は、この例では円形であるが、楕円形、矩形など、基準点Ｃを囲む形状であれば、どのような形状であってもよい。

【0032】

認識空間設定部１４０は、走査線ＳＬと物体領域とが重なる部分が、走査線ＳＬの一部かつ１つの連続した線となる条件（以下、特定条件という）を満たすときの走査線ＳＬの形状に基づいて、認識空間を設定する。この認識空間を設定するための方法について、以下、図５から図１０を用いて具体的に説明する。

【0033】

図５は、本発明の第１実施形態に係る認識空間設定部１４０において認識空間を設定する処理を示すフローチャートである。まず、認識空間設定部１４０は、走査線ＳＬと物体領域（手１０００および腕２０００）との重なる部分（以下、重畳部分という）が特定条件を満たすか否かを判定する（ステップＳ１１０）。特定条件を満たさない場合（ステップＳ１１０；Ｎｏ）には、この判定が続いて行われる。そのため、この判定は、特定条件を満たすと判定される（ステップＳ１１０；Ｙｅｓ）まで、走査部１３０による走査線ＳＬの拡大に伴って、一定間隔で実行されることになる。頂上部分が特定条件を満たす場合（ステップＳ１１０；Ｙｅｓ）には、認識空間設定部１４０は、特定条件を満たす走査線ＳＬの形状を特定する（ステップＳ１２０）。以下、特定された走査線ＳＬの形状を特定形状という。ステップＳ１１０、Ｓ１２０の処理について、図６を用いて具体的に説明する。

【0034】

図６は、本発明の第１実施形態に係る認識空間設定部１４０における走査線形状の特定方法の一例を説明する図である。走査線ＳＬ（１）、ＳＬ（２）、ＳＬ（３）は、基準点Ｃから拡がる走査線ＳＬを示している。図６においては、走査線ＳＬ（１）、ＳＬ（２）、ＳＬ（３）は破線で示され、そのうち重畳部分は太い実線で示されている。走査線ＳＬ（３）まで拡がると、走査線ＳＬ（３）は物体領域のうち腕２０００の部分だけ重畳することになる。すなわち、重畳部分ＬＯ（３）は特定条件を満たすことになり、認識空間設定部１４０は、走査線ＳＬ（３）の形状を特定形状として特定する。

【0035】

なお、特定条件を満たすかどうかについては、この方法に限らず、他の方法を用いてもよい。例えば、走査線ＳＬと物体領域の輪郭部分との交点の数を抽出し、交点が２点になった場合になど、間接的に特定条件を満たすかどうか判定してもよい。このように、特定条件を満たすかどうかを判定するための方法は、重畳部分の状態を直接的に判定するだけでなく間接的に判定する方法も含む。

【0036】

図５に戻って説明を続ける。続いて、認識空間設定部１４０は、特徴位置を特定する（ステップＳ１３０）。この例では、特徴位置は手１０００と腕２０００との間の手首の位置である。特徴位置の特定方法の一例について、図７を用いて説明する。

【0037】

図７は、本発明の第１実施形態に係る認識空間設定部１４０における特徴位置の特定方法の一例を説明する図である。認識空間設定部１４０は、特定形状（走査線）ＳＬ（３）を軸線Ｌに沿って平行移動させる。この例では、ＳＬ（３）、ＳＬ（４）、ＳＬ（５）の順に変化させる。この平行移動に伴い、重畳部分ＬＯがＬＯ（３）、ＬＯ（４）、ＬＯ（５）の順で変化し、重畳部分ＬＯの長さが変化する。認識空間設定部１４０は、重畳部分ＬＯの長さの変化を算出し、その長さが急激に変化する（例えば、長さの変化量が予め決められた閾値を超えた場合など）部分を手首（特徴位置）として特定する。図７に示す例では、重畳部分ＬＯ（４）に相当する位置を特徴位置として特定する。

【0038】

なお、上述したように、重畳部分ＬＯを、走査線ＳＬと物体領域の輪郭部分との２つの交点により認識する場合には、重畳部分ＬＯの長さに対応して２つの交点間の距離を用いればよい。

【0039】

図５に戻って説明を続ける。続いて、認識空間設定部１４０は、特徴位置を特定すると、特定条件を満たす範囲で、特徴位置を基準とした特定形状の調整を行う（ステップＳ１４０）。特定形状の調整方法の一例について、図８を用いて説明する。

【0040】

図８は、本発明の第１実施形態に係る認識空間設定部１４０における特定形状の調整方法の一例を説明する図である。この例では、特定形状（走査線）ＳＬ（４）と軸線Ｌとの交点のうち、特徴位置側の交点Ｄ１を固定して、特定形状の直径Ｒを調整する。このとき、特定形状は、特定条件を満たす範囲（所定のマージンを設けてもよい）において、直径Ｒが最小になるように調整される。図８に示す例では、特定形状ＳＬ（４）は、軸線Ｌとの交点Ｄ１、Ｄ２を結ぶ直径Ｒの特定形状ＳＬ（６）に調整される。

【0041】

直径Ｒが最小になるように調整するときには、例えば、以下の方法で行えばよい。まず、交点Ｄ１を固定して、特定条件を満たさなくなる（例えば、特定形状が手１０００の指の部分と重なる状態）まで特定形状を小さくする。そして、特定条件を満たさなくなる直前の大きさ（例えば、特定形状が手１０００の指の部分と重ならない状態）に特定形状大きさを調整すればよい。なお、この調整の方法は一例であって、特定条件を満たす範囲で、特徴位置を基準とした調整がなされれば、別の方法であってもよい。

【0042】

図５に戻って説明を続ける。続いて、認識空間設定部１４０は、調整後の特定形状に基づいて、認識空間を設定する（ステップＳ１５０）。認識空間の設定方法の一例について、図９を用いて説明する。

【0043】

図９は、本発明の第１実施形態に係る認識空間設定部１４０における認識空間の設定方法の一例を説明する図である。この例では、認識空間は、交点Ｄ１を中心とし、調整後の特定形状ＳＬ（６）の直径Ｒを半径とする球ＲＡとして設定される。なお、マージンを考慮して、この半径はＲでなくＲ×（１＋α）（ここでαは誤差許容割合を表す正の値）にしてもよい。また、認識空間は球でなくてもよく、例えば、楕円体、直方体、半球など、様々な形状にしてもよい。いずれの場合であっても、調整後の特定形状ＳＬ（６）（例えば、直径）に基づいて決められればよく、特徴位置（手首）を固定した状態で物体の一端部側（手１０００）が可動する範囲を含むようになっていることが望ましい。

【0044】

ここで、手１０００を動かしてジェスチャをする場合、手１０００は、手首を中心にして動く。そのため、手首を特徴位置として、その近傍に認識空間の中心を設定することにより、手１０００がどのように動いても、手１０００の挙動を測定することができる。また、手１０００以外の周囲の動きの影響により誤認識を少なくすることができる。このようにして設定された認識空間は、ジェスチャ入力機能２００（挙動測定部２１０）において用いられる。

【0045】

なお、手１０００は腕側に曲げられる限界が存在する。そのため、認識空間の球ＲＡの中心は、Ｄ１とするのではなく、Ｄ１より指先側（Ｄ２側）に移動させた点としてもよい。この中心は、調整後の特定形状ＳＬ（６）と物体領域の輪郭との２つの交点の中点としてもよい。このように中心がＤ１でないときの半径は、この中心からＤ２までの距離としてもよい。

【0046】

［ジェスチャ入力機能２００］
図１０は、本発明の第１実施形態に係るジェスチャ入力機能２００の構成を示すブロック図である。ジェスチャ入力機能２００は、挙動測定部２１０および決定部２２０の各機能を用いて実現される。

【0047】

挙動測定部２１０は、検知部５００から出力される検知データに基づいて、認識空間における物体の少なくとも一部の挙動を測定する。この例では、挙動測定部２１０は、物体の少なくとも一部（この例では５本の指の先端部）の座標を算出する座標算出手段として機能する。なお、座標が算出される指は、この例では５本の指全てであるが、一部の指であってもよいし、１本の指のみであってもよい。

【0048】

このとき、挙動測定部２１０は、検知データに含まれる情報のうち、認識空間における情報を抽出して座標の算出をすればよい。そのため、情報処理の負荷を少なくすることができ、また、座標の算出における分解能を向上させることもできる。より精度を向上させるため、検知範囲を認識空間近傍に絞り込むように物体検知装置２０の光学系（レンズ倍率など）を調整してもよいし、認識空間近傍において検知センサ２１が照射するパターンの密度（ドットパターンの密度など）を高めてもよい。

【0049】

図１１は、本発明の第１実施形態に係る挙動測定部２１０により算出される座標の位置を説明する図である。挙動測定部２１０は、手１０００の親指１００１の先端の座標Ａ、人差し指１００２の先端の座標Ｂ、中指１００３の先端の座標Ｃ、薬指１００４の先端の座標Ｄ、小指１００５の先端の座標Ｅを算出する。挙動測定部２１０は、各指の位置の変化に追従して、所定間隔で座標を算出し続ける。なお、座標の原点については、検知範囲の特定の位置としてもよいし、認識空間の特定の位置（球ＲＡの中心など）としてもよいし、手１０００のいずれかの位置（例えばいずれかの指の先端）の座標を原点としてもよい。例えば、親指の先端の座標を原点とする場合には、他の指の座標は、親指を基準とした相対的な座標として算出されることになる。

【0050】

図１０に戻って説明を続ける。決定部２２０は、挙動測定部２１０において算出された座標（以下、算出座標という）に基づいて、ユーザの装置に対する指示を決定する。この例では、決定部２２０は、ジェスチャの種類と指示の種類とを対応付けた照合用テーブル、および算出座標に基づいて、ユーザからの装置に対する指示を決定する。指示には、例えば、ＯＫ、ＮＧなどの判断を入力する指示の他、特定の処理（メニュー画面の呼び出し、プログラムの実行、ページ切り替え、画面のスクロール、拡大縮小など）を行うための指示などがある。なお、後述するように、決定部２２０は、視線認証判定機能３００における判定結果などにより、決定する指示が変更されたり、指示の決定が行われなかったりする場合もある。また、決定部２２０は、操作部１３への操作に基づいて指示を決定する場合もある。

【0051】

図１２は、本発明の第１実施形態に係る決定部２２０で用いられる照合用テーブルを説明する図である。図１２に示すように照合用テーブルは、ジェスチャの種類と指示の種類とが対応付けられている。図１２に示す例では、ジェスチャＡと指示ａとが対応付けられ、ジェスチャＢと指示ｂが対応付けられ、ジェスチャＡからジェスチャＢに変化する場合として指示ｃが対応付けられている。

【0052】

図１３は、本発明の第１実施形態に係る照合用テーブルに定義されるジェスチャの例を説明する図である。この例では、ジェスチャＡについては、図１３（ａ）に示すジェスチャであり、そのジェスチャＡの定義のため各指の算出座標の相対関係が図示のとおり決められている。すなわち、ジェスチャＡは、座標ＡからＥが縦に並んだような形状として定義されている。

【0053】

一方、ジェスチャＢについては、図１３（ｂ）に示すジェスチャであり、そのジェスチャＢの定義のため各指の算出座標の相対関係が図示のとおり決められている。すなわち、ジェスチャＢは、座標Ｂ、Ｃが情報に分離して横に並び、座標Ａ、Ｄ、Ｅが座標Ｂ、Ｃの下方で集まった形状として定義されている。ジェスチャＡからジェスチャＢに変化する場合とは、図１３（ａ）に示すジェスチャから図１３（ｂ）に示すジェスチャに変化させる動作をする場合を示している。

【0054】

なお、ここでは、右手用のジェスチャを示して説明したが、左手用のジェスチャについても定義されていてもよい。いずれの手のジェスチャが適用されるかについては、上述した認識空間設定部１４０において特定された特徴位置と物体の一端部との位置関係（いずれが相対的に左側に存在するかなど）から決定してもよい。

【0055】

図１４は、本発明の第１実施形態に係る決定部２２０における処理を示すフローチャートである。決定部２２０は、各指に対応する算出座標の位置の変化から、各指に対応する算出座標の変化速度を算出し、最も動きの速い指の速度を変化速度Ｖｆとする。なお、変化速度Ｖｆは、各指の算出座標の変化速度に基づいて決められていればよく、各指の算出座標の変化速度の平均値などであってもよいし、特定の指の算出座標の変化速度であってもよい。

【0056】

決定部２２０は、変化速度Ｖｆは第１の速度Ｖ１（この例では３０ｃｍ／秒）以上であるかを判定する（ステップＳ２１０）。変化速度Ｖｆが第１の速度Ｖ１未満である場合（ステップＳ２１０；Ｎｏ）には、この判定が続いて行われる。変化速度Ｖｆが第１の速度Ｖ１以上となる（ステップＳ２１０；Ｙｅｓ）と、決定部２２０は、変化速度Ｖｆが第２の速度Ｖ２以上の状態で第１の時間Ｔ１を経過したかどうかを判定し（ステップＳ２２１）、経過していない場合（ステップＳ２２１；Ｎｏ）には、変化速度Ｖｆが第２の速度Ｖ２未満まで減速したかを判定する（ステップＳ２２２）。なお、第２の速度Ｖ２は、第１の速度Ｖ１よりも遅い速度（この例では０．５ｃｍ／秒）である。具体的には、第２の速度Ｖ２は、静止状態とみなせる速度であることが望ましい。

【0057】

変化速度Ｖｆが第２の速度Ｖ２未満まで減速せず（ステップＳ２２２；Ｎｏ）に、第１の時間Ｔ１（この例では０．５秒）を経過した場合（ステップＳ２２１；Ｙｅｓ）には、ステップＳ２１０に戻る。

【0058】

第１の時間Ｔ１を経過する前（ステップＳ２２１；Ｎｏ）に、変化速度Ｖｆが第２の速度Ｖ２未満まで減速した場合（ステップＳ２２２；Ｙｅｓ）には、決定部２２０は、変化速度Ｖｆが第２の速度Ｖ２未満の状態で第２の時間Ｔ２（この例では１秒）を経過したかどうかを判定する（ステップＳ２２３）。第２の時間Ｔ２を経過していない場合には、ステップＳ２２２に戻る。

【0059】

変化速度Ｖｆが第２の速度Ｖ２未満で第２の時間Ｔ２を経過した場合（ステップＳ２２３；Ｙｅｓ）には、各指の算出座標（第１座標）を記憶する（ステップＳ２３０）。その後、決定部２２０は、変化速度Ｖｆが第１の速度Ｖ１以上であるかを判定する（ステップＳ２４０）。第１の速度Ｖ１未満（ステップＳ２４０；Ｎｏ）で第３の時間Ｔ３が経過した場合（ステップＳ２５０；Ｙｅｓ）には、決定部２２０は、ステップＳ２３０で記憶した第１座標と照合用テーブルのジェスチャの種類とを照合して、第１座標に対応する指示の種類を決定する（ステップＳ２８０）。そして、ステップＳ２１０に戻る。

【0060】

一方、第３の時間Ｔ３（この例では１秒）が経過する前（ステップＳ２５０；Ｎｏ）に、変化速度Ｖｆが第１の速度Ｖ１以上になった場合（ステップＳ２４０；Ｙｅｓ）には、ステップＳ２６１に進む。ステップＳ２６１からステップＳ２６３については、ステップＳ２２１からステップＳ２２３までの処理と同様であるため説明を省略する。

【0061】

変化速度Ｖｆが第２の速度Ｖ２未満で第２の時間Ｔ２を経過した場合（ステップＳ２６３；Ｙｅｓ）には、各指の算出座標（第２座標）を記憶する（ステップＳ２７０）。そして、決定部２２０は、ステップＳ２３０で記憶した第１座標からステップＳ２７０で記憶した第２座標への変化と、照合用テーブルのジェスチャの種類とを照合して、この変化に対応する指示の種類を決定する（ステップＳ２８０）。そして、ステップＳ２１０に戻る。このように決定された指示により実行部７００が実行される。なお、ステップＳ２８０において決定された指示が、ジェスチャ入力を終了する指示である場合には、ステップＳ２１０に戻らずに終了してもよい。また、ジェスチャ入力を終了する指示は、ユーザによる操作部１３への操作によって行われてもよいし、検知範囲に一定期間にわたって手が検知されなくなった時に行われてもよい。

【0062】

決定部２２０は、上述のフローで処理をすることにより、ユーザの指の動きが一定速度以上で動いてから、一定期間にわたってほぼ静止した状態で場合に、ジェスチャとして認識する。本発明者は、ユーザがジェスチャ入力をしようとする意図があるときには、指を早く動かして意図するジェスチャに応じた状態で指をしばらく止めるという動作を行う一方、ジェスチャ入力の意図がない場合または入力の開始をするまでは、指の動きが遅いことに着目した。

【0063】

例えば、手を広げた状態をジェスチャとして認識させる場合を想定すると、一般に、ユーザは、手をゆっくりとつぼめた後、急激に広げる動作をすることが多い。例えば、以下の（１）から（３）に示す流れになる。
（１）ジェスチャ入力を意図するまでは、手（指）の動きが遅い。したがって、ジェスチャ認識の対象外となる。
（２）ジェスチャを開始する準備として、手をつぼめるまでの動きは、手（指）の動きが遅い、または、手をつぼめた後の静止時間がほとんどない。したがって、ジェスチャ認識の対象外となる。
（３）ジェスチャとして認識させるために、手を広げる動きは、手（指）の動きが速く、手を広げた後の静止時間が存在する。したがって、ジェスチャ認識の対象となる。

【0064】

［視線認証判定機能３００］
図１５は、本発明の第１実施形態に係る視線認証機能３００の構成を示すブロック図である。視線認証判定機能３００は、視線測定部３１０、表示制御部３２０および判定部３３０の各機能を用いて実現される。

【0065】

視線測定部３１０は、視線測定装置３０から出力される撮影信号を用いて、ユーザの視線方向を測定し、ユーザの視線が表示装置１４のどの部分に向いているかを算出する。視線方向の測定には、上述したとおり、プルキニエ像を用いる角膜反射法により視線方向を測定する公知の方法を用いるが、他の公知の方法を用いてもよい。

【0066】

表示制御部３２０は、表示装置１４の表示を制御する機能を有し、認証領域を含む確認画面を表示装置１４に表示させる。

【0067】

図１６は、本発明の第１実施形態に係る表示装置１４に表示される確認画面の例を説明する図である。確認画面には、少なくとも１つの認証領域が設けられ、図１６に示す例では、認証領域Ｗ１、Ｗ２、Ｗ３が設けられている。また、ＶＰは、視線測定部３１０の算出結果に基づいて得られるユーザの視線が向いている表示装置１４上の位置（以下、視線位置ＶＰという）を示している。この視線位置ＶＰは表示装置１４に表示されてもよいし、表示されなくてもよい。

【0068】

確認画面とは、銀行などにおいて行われる業務上確認が必要な画面、ソフトウエアの利用規約を表示する画面など、ユーザが確認すべき内容として表示装置１４に表示される画面である。確認すべき項目、特に重要な項目など、ユーザが視認するべき項目については、予め設定された認証領域に表示される。図１６に示すように認証領域が複数存在する場合には、ユーザが視認すべき順番（認証順）が決められている。これは、認証領域に対応付けて予め決められていてもよいし、表示装置１４における認証領域の位置関係（画面の上であるほど早い順番など）に基づいて決められてもよい。

【0069】

この例では、認証領域Ｗ１、Ｗ２、Ｗ３の順に認証順が１番目、２番目、３番目として決められている。図１６に示す例では、認証領域Ｗ１には、２行の横書きの文字列が表示され、認証領域Ｗ２には、認証領域Ｗ１よりは文字数が少ないものの２行の横書きの文字列が表示され、認証領域Ｗ３には、１行の横書きの文字列が表示されている。なお、認証領域は、表示装置１４の画面全体として１つの領域であってもよい。

【0070】

図１５に戻って説明を続ける。判定部３３０は、視線位置ＶＰと認証領域との関係に基づいて、ユーザが確認画面を確認したかどうかを判定する。

【0071】

図１７は、本発明の第１実施形態に係る判定部３３０における処理を示すフローチャートである。まず、判定部３３０は、視線位置ＶＰが最初の認証領域（図１６の例では認証領域Ｗ１）に存在（所定のマージンを許容してもよい）するかどうかの判定を続ける（ステップＳ３１０；Ｎｏ）。視線位置ＶＰが最初の認証領域に存在することを検出する（ステップＳ３１０；Ｙｅｓ）と、判定部３３０は、次の認証順になっている認証領域が存在するかどうかを判定する（ステップＳ３２０）。

【0072】

次の認証順になっている認証領域が存在する場合（ステップＳ３２０；Ｙｅｓ）には、判定部３３０は、視線位置ＶＰが次の認証領域に存在するかどうかの判定を続ける（ステップＳ３３０；Ｎｏ）。なお、所定時間経過しても視線位置ＶＰが次の認証領域に存在することを検出できない場合には、認証領域を視認する一連の処理が中断されたものとみなし、これまでの処理をリセットし、ステップＳ３１０から再び処理を開始するようにしてもよい。

【0073】

視線位置ＶＰが次の認証領域に存在することを検出する（ステップＳ３３０；Ｙｅｓ）と、再びステップＳ３２０の処理に戻る。次の認証順になっている認証領域が存在しない場合（ステップＳ３２０；Ｎｏ）には、判定部３３０は、ユーザによって確認画面が確認されたことを判定（ステップＳ３４０）して、処理を終了する。以下、この判定をユーザ確認判定という。

【0074】

ここで、判定部３３０は、視線位置ＶＰが移動するときに認証領域の一部を通過することを条件に、視線位置ＶＰが認証領域に存在することを判定すればよいが、他の条件により判定してもよい。以下、判定を行うために取り得る様々な条件について、以下の（ａ）から（ｃ）として例示する。

【0075】

（ａ）視線位置ＶＰが所定時間連続して認証領域に留まっていること。なお、所定時間は、認証領域に表示されている文字の量に応じて、認証領域ごとに決められていてもよい。
（ｂ）視線位置ＶＰが認証領域で所定時間静止していること。なお、所定時間は、認証領域に表示されている文字の量に応じて、認証領域ごとに決められていてもよい。
（ｃ）視線位置ＶＰが認証領域に表示されている文字列の向き（予め決められた範囲でずれてもよい）に沿って移動したと検出されたこと。すなわち、横書きであれば概ね水平方向に沿って視線位置ＶＰが移動し、縦書きであれば概ね鉛直方向に沿って視線位置ＶＰが移動すること。なお、複数行にわたって文字列が表示されている場合には、視線位置ＶＰが文字列に沿って移動したことが認証領域において、少なくとも文字列の行数分の回数、検出されたことを条件としてもよい。また、文字列の向きにそって移動する量は文字列の長さに応じて決められていてもよい。

【0076】

図１５に戻って説明を続ける。上述の判定部３３０における判定結果は、決定部２２０および実行部７００における処理に反映される。例えば、実行部７００における処理に反映される場合には、実行部７００は、ユーザ確認判定がされると、確認画面に対応して決められた処理（次の確認画面への遷移など）を実行するようにしてもよい。また、ユーザ確認判定がなされるまで、決定部２２０によって決定された指示に基づく処理を実行しないようにしてもよい。

【0077】

決定部２２０における処理に反映される場合には、決定部２２０は、ユーザ確認判定を条件として、装置に対する指示を決定してもよい。これにより、ユーザ確認判定がされない状態では、ユーザによる指示の入力が拒否される。また、ユーザ確認判定の有無に応じて、決定する指示の種類を変更してもよい。例えば、エラー画面に遷移したり、エラーを示すポップアップ表示をしたり、ユーザがどの認証領域を見ていないかの表示をしたりする指示に変更されてもよい。

【0078】

このように、ユーザが確認画面における認証領域を視認したかどうかを判定して、その判定結果を反映した処理を実行することにより、ユーザが確認すべき文章等の内容を読まずに、内容を確認したことを示す操作をして先に進んでしまうことがないようにすることができる。このとき、確認を要する認証領域が複数ある場合には、所定の順序でユーザが視認する必要がある場合が多い。しかしながら、ユーザがその順序とは異なる順序で視認した場合には、単に視線が認証領域に向いているだけで、内容を確認していない場合が考えられる。このような場合には、ユーザ確認判定をしないようにすることができるため、ユーザが内容を確認せずに先に進んでしまわないようにすることができる。

【0079】

［判定部３３０における別の処理例］
判定部３３０は、上述のように視線位置ＶＰが認証領域に所定の順番で存在したことでユーザ確認判定をしていたが、視線位置ＶＰが認証領域に存在している間のみユーザ確認判定をするようにしてもよい。すなわち、判定部３３０は、ユーザの視線が認証領域を向いていることを検出している（ユーザが認証領域を視認している）ときに、ユーザ確認判定をする。

【0080】

このような場合には、決定部２２０は、ユーザ確認判定がされている間（ユーザが認証領域を視認している間）にのみ、装置に対する指示を決定し、それ以外は決定をしないようにしてもよい。これにより、ユーザは、認証領域を視認しているときにのみ、ユーザはジェスチャまたは操作部１３への操作により、装置に対する指示を入力することができるようになる。なお、一部のジェスチャまたは操作部１３への操作については、ユーザ確認判定にかかわらず、装置に対する指示の決定がされるようにしてもよい。

【0081】

また、ユーザが認証領域を視認して一定時間においては、装置に対する指示を入力することができるようになっていてもよい。この場合には、判定部３３０は、視線位置ＶＰが認証領域に存在している間に加えて、認証領域に存在しなくなった後の一定時間についてもユーザ確認判定をするようにすればよい。このようにすると、ユーザが認証領域を視認した後、操作部１３を見ながら操作しても、装置に対する指示の入力をすることができる。

【0082】

認証領域が一画面において複数存在する場合には、決定部２２０は、ユーザがそれぞれの認証領域を視認してユーザ確認判定がされているときに、入力されたジェスチャまたは操作部１３への操作に基づいて、装置に対する指示を決定するようにすればよい。ここで、ユーザから操作の入力を受け付ける操作部１３と、ジェスチャの入力を受け付ける挙動測定部２１０とは、ユーザからの指示の入力を受け付ける入力受付手段として考えることもできる。

【0083】

なお、視認されている認証領域と、入力されたジェスチャまたは操作部１３への操作との関係が、予め決められたものと対応する場合に、装置に対する指示が決定されるようにしてもよい。例えば、ユーザが認証領域Ｗ１を視認しながらジェスチャＡを行い、認証領域Ｗ２を視認しながらジェスチャＢを行い、認証領域Ｗ３を視認しながらジェスチャＡを行うという流れであった場合に、この流れに応じて装置に対する指示が決定されるようにしてもよい。

【0084】

このように、ユーザの視線が認証領域を向いているときに、決定部２２０による装置に対する指示が決定されることで、ユーザがよそ見をした状態で装置に対する指示を入力することを防ぐことができる。

【0085】

＜第２実施形態＞
本発明の第２実施形態においては、ジェスチャ入力機能２００における処理が第１実施形態とは異なっている。第２実施形態においては、ユーザの手１０００の指には長さを調整可能な伸縮装置が取り付けられた状態で、ジェスチャが入力される。

【0086】

図１８は、本発明の第２実施形態に係る挙動測定部２１０により算出される座標の位置と伸縮装置３０００の使用方法とを説明する図である。伸縮装置３０００は、手１０００の指先に取り付けられる。図１８に示す例では、人差し指に取り付けられている。この伸縮装置３０００は伸縮部３１００が設けられ、伸縮装置３０００に対する所定の操作により伸縮部３１００の長さが変化する。

【0087】

例えば、伸縮部３１００の長さを伸縮させて多段階に変化させるときには、伸縮部３１００を縮める方向に押される操作、スイッチ等を操作、手１０００を振るなどして振動を与えて操作など、様々な操作が適用できる。このとき、振動を与えて伸縮させる構成である場合には、振動の強さにより伸縮部３１００の長さが変化するようにしてもよいし、一度の振動で一段階の伸縮をして振動を与えるたびに伸縮部３１００の長さが変化するようにしてもよい。この例では、伸縮部３１００は、５段階に長さが変化する。

【0088】

図１８（ａ）は伸縮部３１００が最も縮んだ状態を示し、図１８（ｂ）は伸縮部３１００が最も伸びた状態を示している。人差し指には伸縮装置３０００が取り付けられているため、挙動測定部２１０は、物体における突起先端部を認識して座標を算出するようにすれば、伸縮部３１００の先端部を人差し指の先端部として認識して、座標Ｂとして算出する。したがって、ユーザが同じジェスチャをした場合であっても、図１８（ａ）に示すように伸縮部３１００が最も縮んだ状態の場合と、図１８（ｂ）に示すように伸縮部３１００が最も伸びた状態の場合とでは、座標Ａ、Ｃ、Ｄ、Ｅが同じであっても、座標Ｂについては異なることになる。

【0089】

図１９は、本発明の第２実施形態に係る決定部２２０で用いられる照合用テーブルを説明する図である。第２実施形態における照合用テーブルは、図１２に示す第１実施形態における照合用テーブルと概ね同じであるが、一部が異なっている。例えば、第２実施形態では、ジェスチャＢにおいては、伸縮部３１００の伸縮の段階（この例では５段階）に応じて、Ｂ１〜Ｂ５までジェスチャ種類が設定され、それぞれ異なる指示ｂ１〜ｂ５が対応付けられている。

【0090】

図２０は、本発明の第２実施形態に係る照合用テーブルに定義されるジェスチャの例を説明する図である。この例では、図２０（ａ）はジェスチャＢ１（伸縮部３１００を最も縮めた状態）を示し、図２０（ｂ）はジェスチャＢ５（伸縮部３１００を最も伸ばした状態）を示す。いずれのジェスチャにおいてもユーザにとっては同じジェスチャである。したがって、図２０に示すように、各座標のうち、座標Ａ、Ｃ、Ｄ、Ｅのそれぞれについては、いずれのジェスチャでも共通の座標であるが、伸縮装置３０００を取り付けられている人差し指の座標Ｂについては、それぞれのジェスチャで異なる座標になる。

【0091】

このようにすると、ユーザにとっては同じジェスチャであっても、伸縮部３１００の伸縮の段階に応じた数で異なるジェスチャとして認識させることができる。この例で示した５段階の伸縮が可能な場合には、ユーザにとって１つの同じジェスチャであっても、５通りの指示が可能である。また、各指に、５段階の伸縮が可能な伸縮装置３０００を取り付ければ、決定部２２０は、ユーザが同じジェスチャをしたとしても、５本の指×５段階で２５通りの種類の指示を決定することができる。

【0092】

＜第３実施形態＞
本発明の第３実施形態においては、第２実施形態で用いた伸縮装置３０００を座標の算出対象である指に取り付けるのではなく、座標の算出対象ではない部分に取り付ける伸縮装置３０１０について説明する。

【0093】

図２１は、本発明の第３実施形態に係る挙動測定部２１０により算出される座標の位置と伸縮装置３０１０の使用方法とを説明する図である。図２１に示すように、伸縮部３１１０を有する伸縮装置３０１０は、支持部材３３００を介してリストバンド３２００に支持されている。リストバンド３２００がユーザの手首に取り付けられると、図２１に示すように、伸縮部３１１０が手のひら部分に位置した状態となる。

【0094】

この例においては、伸縮部３１１０が最も縮んだ状態（図２１（ａ））から、手のひらから外側（図２１においては下方）に向けて伸びる。図２１（ｂ）は、最も伸びた状態である。図２１に示すように、挙動測定部２１０は、各指の先端部の座標を算出するとともに、この例では伸縮装置３０１０の伸縮部３１１０の先端部の座標Ｚについてもさらに算出する。この座標Ｚは、手１０００における特定の位置（例えば、上述した交点Ｄ１など）を基準として算出して、手１０００全体の動きにかかわらず同じ座標が得られることが望ましい。なお、挙動測定部２１０は、指の先端部の座標を算出するときのアルゴリズムとは別に、伸縮装置３０１０の形状のような特定の形状を検出するアルゴリズムを用いて伸縮部３１１０の先端部の座標を算出してもよい。

【0095】

なお、伸縮装置３０１０は、図２１のように伸縮部３１１０が伸びるように取り付けられるだけではなく、別の方向に伸びるように取り付けられてもよい。

【0096】

図２２は、本発明の第３実施形態に係る伸縮装置３０１０の図２１とは異なる使用方法を説明する図である。図２１に示す例とは異なる場合として、例えば、図２２に示すように、伸縮部３１１０が手のひらに対して垂直方向に伸びるようにしてもよい。この場合には、座標Ｚは、手のひらからの距離を示す値として算出されてもよい。

【0097】

図２３は、本発明の第３実施形態に係る決定部２２０で用いられる照合用テーブルを説明する図である。第３実施形態における照合用テーブルは、図１２に示す第１実施形態における照合用テーブルに加えて、座標Ｚが対応付けられている。照合用テーブルに規定された座標ＺにおけるＺ１、Ｚ２、・・・は、伸縮部３１１０の伸縮の段階に対応している。すなわち、この例における照合用テーブルにおいては、ジェスチャの座標Ａ〜Ｅおよび座標Ｚの組み合わせに対して、各指示が対応付けられている。

【0098】

図２３の照合用テーブルは、ジェスチャＡが同じ（座標Ａ〜Ｅが同じ）であっても伸縮部３１１０の伸縮の段階（座標Ｚ）によって異なる指示となる。そのため、決定部２２０は、ユーザが同じジェスチャをしたとしても、伸縮部３１１０の伸縮の段階の数に応じた種類の指示を決定することができる。なお、第１実施形態のような照合用テーブルを複数用い、それぞれに座標Ｚの値を対応付けておいてもよい。この場合、決定部２２０は、座標Ｚの値に応じて、照合用テーブルを切り替えて用いるようにすればよい。例えば、銀行業務等においてジェスチャによる入力を用いるときに、複数の照合用テーブルの各々を業務の種類毎に対応させるとよい。このように、伸縮部３１１０の伸縮により業務の種類を切り替えることもできる。これに連動して表示装置１４の表示を、切り替えられた業務の種類に対応した表示に切り替えてもよい。

【0099】

＜第４実施形態＞
本発明の第４実施形態においては、第３実施形態のように伸縮する部分を有する伸縮装置３０１０を手１０００に取り付けるのではなく、発光素子が設けられた発光装置を取り付ける場合について説明する。なお、この場合には、物体検知装置２０において、発光素子からの発光を認識可能なイメージセンサを用い、挙動測定部２１０は、このイメージセンサからの出力に基づいて、発光素子からの発光色を特定する。

【0100】

図２４は、本発明の第４実施形態に係る発光装置３０５０の使用方法を説明する図である。第４実施形態においては、第３実施形態における伸縮装置３０１０に代えて、発光装置３０５０が取り付けられている。発光装置３０５０は、発光部３１５０が設けられている。発光部３１５０は、ＬＥＤなどの発光素子を有し、周囲に光を放射する。この例では、発光部３１５０は、ユーザの操作に応じて、赤色、緑色、青色をそれぞれ切り替えて発光する。ユーザの操作とは、伸縮装置３０００、３０１０の場合と同様に、スイッチ等を操作、手１０００を振るなどして振動を与えて操作など、様々な操作が適用できる。なお、発光部３１５０は、各色を組み合わせて中間色も発光されるようにしてもよいし、可視光以外が発光されるようにしてもよい。可視光以外の場合には、物体検知装置２０において、その光を検出可能なイメージセンサを用いればよい。

【0101】

図２５は、本発明の第４実施形態に係る決定部２２０で用いられる照合用テーブルを説明する図である。図１２に示す第１実施形態における照合用テーブルに加えて、発光色が対応付けられている。照合用テーブルに規定された発光色における赤、緑、・・・は、発光部３１５０の発光色に対応している。すなわち、この例における照合用テーブルにおいては、ジェスチャの座標Ａ〜Ｅおよび発光色の組み合わせに対して、各指示が対応付けられている。図２５の照合用テーブルは、ジェスチャＡが同じ（座標Ａ〜Ｅが同じ）であっても発光部３１５０の発光色によって異なる指示となる。なお、第３実施形態でも記載したとおり、照合用テーブルを複数用い、それぞれに発光色を対応付けておいてもよい。

【0102】

図２６は、本発明の第４実施形態に係る発光装置３０６０の使用方法を説明する図である。上述の例では、リストバンド３２００を用いて発光装置３０５０を手１０００に取り付けていたが、図２６に示すように、指に取り付けられるようにしたリング状の発光装置３０６０を用いてもよい。発光装置３０６０は、指の周囲方向に光を放射する発光部３１６０を有する。このとき、複数の指に発光装置３０６０を設けて、それぞれの色の組み合わせにより発光色を定義してもよい。

【0103】

なお、発光部３１５０、３１６０は、発光強度の時間変化（発光パターン）を変化させてもよい。このようにすれば、挙動測定部２１０は、発光部３１５０、３１６０からの発光と他の光とを区別しやすくなり、発光色の誤認識を減らすことができる。また、発光パターンが変更できるようになっていれば、発光パターンが異なることでジェスチャが同じでも指示を異ならせることもできる。発光パターンによる変化を用いるときには、発光部３１５０、３１６０から放射される光は単色でもよい。このように、第４実施形態では、挙動測定部２１０は発光部３１５０、３１６０における発光状態を測定する発光状態測定手段としても機能し、この発光状態が異なることでジェスチャが同じでも指示を異ならせることができる。

【0104】

＜第５実施形態＞
第５実施形態においては、上述した決定部２２０において、ジェスチャの変化、例えば、ユーザのジェスチャがジェスチャＡからＢに変化することの照合を行うときの照合の方法の一例について説明する。

【0105】

図２７は、本発明の第５実施形態に係る決定部２２０で用いられる照合用テーブルを説明する図である。この例では、ジェスチャの種類としては、ジェスチャＡ→Ｂといったように、特定のジェスチャから別のジェスチャに変化する場合（以下、照合パターンという）として決められて、装置に対する指示が対応付けられている。照合パターンは、理想的なジェスチャの変化における各指の軌跡、およびその軌跡からの許容範囲が定められている。まず、照合パターンにおける軌跡と許容範囲とが、登録されるときの一例を説明する。以下に説明する照合パターンを登録する処理については、ＣＰＵ１１により実行される。このため、ＣＰＵ１１は、照合パターンを登録する処理を実行する登録手段としても機能する。

【0106】

図２８は、本発明の第５実施形態に係る挙動測定部２１０により算出される座標の位置に基づいて決められる登録領域を説明する図である。まず、ＣＰＵ１１は、挙動測定部２１０により算出される手１０００の各指の先端部の座標の位置に基づいて登録領域ＳＡ、ＳＢ、・・・ＳＥを設定する。

【0107】

図２９は、本発明の第５実施形態に係る登録領域の詳細を説明する図である。この例では、人差し指の先端部に設定される登録領域ＳＢを例として説明する。登録領域ＳＢは、挙動測定部２１０により算出される人差し指の先端部の座標Ｂを中心ＬＣＢとし、許容長ＡＲを半径とした球（球でなくてもよい）で定義される。許容長ＡＲは、予め決められている。許容長ＡＲは、各指に対応して決められていてもよいし、各指全てに対して共通に決められていてもよい。

【0108】

図３０は、本発明の第５実施形態に係る照合パターンの例を説明する図である。照合パターンは、特定のジェスチャから別のジェスチャ（例えば、ジェスチャＡからジェスチャＢ）へ変化するときの軌跡ＴＣ及び許容長ＡＲで定められる。図３０においては、照合用テーブルに定められた各指に対応する照合パターンのうち、人差し指に対応して定められた照合パターンについて、軌跡ＴＣと許容長ＡＲとを模式的に表している。したがって、照合用テーブルに登録されている照合パターンについては、図３０に示す照合パターンが各指に対応して決められている。なお、照合用テーブルには、全ての指に対応した照合パターンが登録されていなくてもよく、１つの指だけに対応した照合パターンが登録されていていもよい。

【0109】

開始点ＴＣｓは、軌跡ＴＣの開始位置であり、最初のジェスチャのときの中心ＬＣＢの位置を表している。終了点ＴＣｅは、軌跡ＴＣの終了位置であり、別のジェスチャに変わったときの中心ＬＣＢの位置を表している。軌跡ＴＣは、ジェスチャが変化するときの開始点ＴＣｓから終了点ＴＣｅに至る中心ＬＣＢの経路を表している。なお、ジェスチャＡ→Ｂ→Ａと変化する場合など、一度別のジェスチャに変化してから元に戻るという場合など、開始点ＴＣｓから終了点ＴＣｅとがほぼ同じ場所になることもある。

【0110】

図３０に示すように、照合パターンは、指の先端部から一定範囲の登録領域が、ジェスチャの変化により移動して形成されたチューブ状の空間となる。この空間が許容範囲となる。軌跡ＴＣの各位置から、許容範囲の外縁ＡＥまでの距離は、許容長ＡＲの長さに対応する。例えば、軌跡ＴＣが直線であれば、外縁ＡＥは半径ＡＲの円柱の側面形状になる。

【0111】

この例では、照合用テーブルにおける照合パターンについては、上述のようにしてユーザによる実際のジェスチャを用いて登録されるが、このように登録される場合に限らず、各パラメータが数値として入力されるなどして、別の方法で登録されてもよい。ユーザによる実際のジェスチャを用いて登録する場合には、ユーザごとに異なる照合用テーブルを用いるようにしてもよい。この場合には、電子機器１を操作するユーザを識別する手段を電子機器１に設けるようにすればよい。そして決定部２２０は、識別されたユーザに対応する照合用テーブルを用いるようにすればよい。

【0112】

続いて、決定部２２０が照合用テーブルを用いて、ユーザによるジェスチャの入力と照合パターンとを照合する場合の例について説明する。決定部２２０が照合を行う場合には、上述した各指の先端部に対応した登録領域を用いるのではなく、登録領域より狭い範囲の検出領域を用いる。

【0113】

図３１は、本発明の第５実施形態に係る登録領域と検出領域との比較を説明する図である。この例では、人差し指の先端部に設定される検出領域ＣＢを例として説明する。検出領域ＣＢは、挙動測定部２１０により算出される人差し指の先端部の座標Ｂを中心ＬＣＢとし、検出長ＣＲを半径とした球で定義される。検出長ＣＲは、許容長ＡＲより短い長さとして、予め決められている。検出長ＣＲが許容長ＡＲの半分程度であることが望ましい。検出長ＣＲは、各指に対応して決められていてもよいし、各指全てに対して共通に決められていてもよい。決定部２２０は、このようにして決められた検出領域を用いて照合パターンとの照合を行う。

【0114】

図３２は、本発明の第５実施形態に係る検出領域と照合パターンとの照合について説明する図である。決定部２２０は、各指について、照合用テーブルに登録されている照合パターンと検出領域の時間変化とを比較して照合を行う。この検出領域は、各指の先端部に対応して算出された座標に基づいて決められているため、指が動いて算出された座標が時間変化すると、検出領域についても時間変化する。この照合は、以下のように行われる。なお、図３２では、人差し指の先端部における検出領域ＣＢを例として説明している。後述する図３３および図３４についても同様である。

【0115】

まず、検出領域ＣＢの時間変化により検出領域ＣＢの通過した領域が、軌跡ＴＣ（開始点ＴＣｓから終了点ＴＣｅまで）をすべて含むこと、および許容長ＡＲから定まる外縁ＡＥより内部（許容範囲）に収まっていることの２条件を満たす照合パターンを、照合用テーブルから検索する。以下の説明において、この条件を満たす照合パターンを、検出領域と一致する照合パターンという。

【0116】

図３３は、本発明の第５実施形態に係る検出領域と照合パターンとが一致しない場合の例について説明する図である。図３３に示すように、検出領域ＣＢが軌跡ＴＣを含まない状態になった場合であったり、検出領域ＣＢの一部が許容範囲外（外縁ＡＥよりも外側）に出てしまったりした場合には、検出領域ＣＢは、照合パターンと一致しないものとなる。なお、図３３に示すように、軌跡ＴＣのうち検出領域ＣＢが通過した部分については、通過部分ＴＣＤとして、破線で示している。図３４についても同様である。

【0117】

図３４は、本発明の第５実施形態に係る検出領域と照合パターンとが一致した場合の例について説明する図である。図３４に示すように、検出領域ＣＢが、許容範囲内（外縁ＡＥよりも内側）に収まった状態で、開始点ＴＣｓから終了点ＴＣｅまでの軌跡ＴＣを通過した場合（軌跡ＴＣがすべて通過部分ＴＣＤとなった場合）には、検出領域ＣＢは、照合パターンと一致していることになる。決定部２２０は、全ての指についての検出領域が各指に対応する照合パターンと一致した場合には、その照合パターンに対応付けられている指示を、装置に対する指示として決定する。

【0118】

なお、全ての指についての検出領域が照合パターンと一致していなくてもよく、例えば、予め決められた一部の指について照合パターンと一致をしているだけでもよい。また、検出領域と照合パターンとの一致は、必ずしも上記の２つの条件を満たした場合に限られない。例えば、検出領域が軌跡ＴＣを通過しなかった部分があったとしても、その長さが予め決められた閾値以下であれば、通過したものとみなしてもよい。また、検出領域が許容範囲内に収まっている状態が全体の予め決められた割合以上であれば、許容範囲内に収まっていたものとみなしてもよい。このように、決定部２２０は、マージンを含んで照合を行うようにしてもよい。

【0119】

なお、上述した照合パターンにおいては、許容長ＡＲについては軌跡ＴＣのどの位置でも同じ長さとして決められていたが、位置によって異なる長さとして決められていてもよい。

【0120】

図３５は、本発明の第５実施形態に係る照合パターンの別の例を説明する図である。図３５に示す例では、開始点ＴＣｓから終了点ＴＣｅまでの中央近傍の位置では、軌跡ＴＣから外縁ＡＥまでの距離が許容長ＡＲ１となる一方、軌跡ＴＣの開始点ＴＣｓまたは終了点ＴＣｅに近い位置では、軌跡ＴＣから外縁ＡＥまでの距離が許容長ＡＲ１より長い許容長ＡＲ２となっている。このように、軌跡ＴＣにおける位置によって、許容長ＡＲが異なるように定められた照合パターンが照合用テーブルに登録されていてもよい。また、軌跡ＴＣが許容範囲の中心を通らないように定められた照合パターンが照合用テーブルに登録されていてもよい。

【0121】

また、視線認証判定機能３００におけるユーザ確認判定がされている場合とされていない場合とで許容長ＡＲが異なるようにしてもよい。すなわち、判定部３３０における判定結果に応じて許容長ＡＲが変更されるようにしてもよい。例えば、ユーザ確認判定がされている場合には、されていない場合に比べて許容長ＡＲを長くするようにしてもよい。これとは逆に、判定部３３０における判定結果に応じて検出長ＣＲが変更されるようにしてもよい。例えば、ユーザ確認判定がされている場合には、されていない場合に比べて検出長ＣＲを短くするようにしてもよい。このようにすると、ユーザが認証領域を視認しているときには、許容長ＡＲが長くなることで、検出領域と照合パターンとが一致しやすくなる。すなわち、ユーザによるジェスチャを認識するマージンが増加する。

【0122】

＜第６実施形態＞
第６実施形態においては、ユーザのジェスチャとして指の動きを用い、指の動きに応じて、文字、数字、記号等の入力（以下、キー入力という）を行う場合について説明する。この構成によれば、キーボード１３ａを用いなくても、指の動きによってキー入力が可能となる。以下、第６実施形態に係る電子機器について説明する。キー入力は、手のひらが下側を向いて行うことが多いため、第６実施形態では、第１実施形態に係る物体検知装置２０が設置される場所が異なっている。

【0123】

図３６は、本発明の第６実施形態に係る物体検知装置２０Ａの構成を説明する図である。図３６は、ユーザが作業する机５０００の断面を模式的に示した図である。第６実施形態に係る物体検知装置２０Ａは、机５０００の上面の表面部分に設けられている。検知センサ２１Ａは、机５０００の上面方向（矢印Ａ２方向）に向けられて設置され、ユーザの手１０００の手のひら側からの検知が可能になっている。また、ユーザが手１０００の位置を楽に維持できるように、腕２０００を置くためのアームレスト２５Ａが設けられている。図の奥行き方向の腕２０００が置かれる大まかな位置が決められるように、このアームレスト２５Ａには、腕２０００を置くためのくぼみ部分が設けられていてもよい。なお、アームレスト２５Ａは用いられなくてもよい。

【0124】

図３７は、本発明の第６実施形態に係る挙動測定部２１０により算出される座標の位置を説明する図である。第６実施形態に係る挙動測定部２１０は、第１実施形態と同様に各指の先端部分（以下、指先という場合がある）の座標を算出する。このとき、挙動測定部２１０は、設定された原点に対する各指先の座標を算出する。なお、座標が算出される箇所は指の先端部分に限らず、指の可動部分であれば、いずれの部分でもよい。

【0125】

原点は、手１０００における所定の特徴位置の動きと連動する位置として、ＣＰＵ１１によって設定される。このため、ＣＰＵ１１は、原点設定手段としても機能する。この例では、所定の特徴位置とは、認識空間設定部１４０で用いられた交点Ｄ１とし、交点Ｄ１が原点として設定される。なお、交点Ｄ１の動きと連動する座標であれば、別の点が原点として設定されてもよい。

【0126】

このように原点が決められ、この原点を基準として相対的に各指先の座標が算出されることで、手１０００の位置が平行に移動（手１０００の向きを変えずに移動）しただけでは、各指の位置は変化していないものとして座標が算出される。

【0127】

続いて、決定部２２０において、ユーザの各指の動作から挙動測定部２１０によって算出される座標の変化に基づいて、装置に対する指示を決定するための照合用テーブルについて説明する。

【0128】

図３８は、本発明の第６実施形態に係る決定部２２０で用いられる照合用テーブルを説明する図である。この例における照合用テーブルは、指の動きを示すパラメータと指示内容とが対応付けられている。指示内容は、キー入力の種類であり、例えば、「「Ａ」入力」とは、「Ａ」のキーを入力する指示である。

【0129】

指の動きを示すパラメータは、検出面、開始範囲、収束範囲、および速度範囲である。まず、これらのパラメータの内容を説明する前に、照合用テーブルにこのパラメータが登録されるときの一例を説明する。ＣＰＵ１１は、この登録処理を実行する登録手段としても機能する。

【0130】

まず、表示装置１４にキー入力の設定対象となるキーが表示される。例えば、「Ｄ」と表示された場合には、Ｄを入力するための指の動きを設定する。表示装置１４に設定対象となるキーが表示された後、ユーザは、図３６に示す状態で保持された手１０００の指を動かす。この動作がパラメータ化されて照合用テーブルに登録される。

【0131】

図３９は、本発明の第６実施形態に係る照合用テーブルに登録される各パラメータを説明する図である。この登録において、手１０００（指）は、実線の状態から二点鎖線の状態に動く。なお、動作を見やすくするため、親指および人差し指以外の指については記載を省略し、人差し指を動かした場合の例として図示している。

【0132】

図３９に示すように指を動かしたときに、ＣＰＵ１１は、指先の移動速度が所定速度以上となる直前の指先の座標を開始座標とし、所定速度以下に減速した直後の指先の座標を収束座標として特定する。照合用テーブルに登録されるパラメータのうち、開始範囲は開始座標に対して所定のマージンを持った範囲として決められ、収束範囲は収束座標に対して所定のマージンを持った範囲として決められる。開始範囲および収束範囲は、図３９に示す例では、開始範囲Ａｓ（ｍ）および収束範囲Ａｅ（ｍ）として決められる。ここで、ｍ＝１、２、３、・・・（以下同じ）である。

【0133】

照合用テーブルに登録されるパラメータのうち、検出面は、数ミリ程度、収束範囲Ａｅ（ｍ）よりも開始範囲Ａｓ（ｍ）側に決められ、指先が通過する位置を含み所定のマージンを持った、所定範囲に拡がる面として決められる。なお、検出面は、指先が通過する方向を法線とした平面であってもよいし、曲面であってもよい。検出面は、図３９に示す例では、検出面Ｐ（ｍ）として決められる。また、この検出面Ｐ（ｍ）には、通過する方向（検出面のいずれの側から通過するか）も規定される。そのため、登録をしたときと逆方向に検出面を指先が通過しても、指先が検出面を通過したものとしては検出されない。

【0134】

照合用テーブルに登録されるパラメータのうち、速度範囲は、検出面を指先が通過するときの速度に所定のマージンを持って決められる。速度は、図３９に示す例では、速度Ｖ（ｍ）として決められ、マージンは±β（図３８参照）として決められる。

【0135】

ＣＰＵ１１は、このようにして決められた各パラメータと設定対象となるキーとを対応付けて照合用テーブルに登録する。決定部２２０は、挙動測定部２１０によって算出された座標の変化と、照合用テーブルに登録された各パラメータとを照合して、照合結果に基づいて、装置に対する指示を決定する。

【0136】

すなわち、決定部２２０は、挙動測定部２１０によって算出された座標の変化に基づいて、指先が所定速度以上になる直前の指先の座標（移動開始座標）、所定速度以下に減速した直後の指先の座標（移動収束座標）、指先が通過した検出面、指先が検出面を通過したときの速度を特定しつつ、照合用テーブルに登録された各パラメータと照合し、指示内容（キー入力されたキーの種類）を決定する。

【0137】

なお、指示内容が決定された場合に、ユーザに対して報知がされるようにしてもよい。報知の種類としては、表示装置１４への表示（入力された文字等が表示されてもよい）、スピーカを用いた発音、アームレスト２５の振動など様々に取りうる。また、表示装置１４に検出面およびこれに対応するキーを表示させ、入力されたキーを発光させる等の表示により報知してもよい。これらの報知をするための処理は、ＣＰＵ１１によって実行される。このとき、ＣＰＵ１１は報知手段として機能する。

【0138】

このように決められる各パラメータのうち、検出面はキーボードのキー表面に対応するが、上述のような処理により、現実のキーボードでは実現が困難な２種類の構成も容易に実現可能である。まず第１には、図３９に示すように、検出面は水平に限らず、指先の動きに応じて傾けることができる。第２には、複数段のキーボードが実現できる。これについて、図３９（ａ）、（ｂ）を用いて説明する。

【0139】

図３９（ａ）は、図３６に示す手１０００の状態から指を下げる動作をした場合の図である。図３９（ｂ）は、図３６に示す手１０００の状態から一度、指を上げてから下げる動作をした場合の図である。図３９（ａ）に示す検出面と図３９（ｂ）に示す検出面とは、上下方向の高さが異なるものの、上方から見た場合の位置はほぼ重なる状態となる。これは、上下方向に２段重ねたキーボードが存在してもよいことを示しているが、現実のキーボードでは実現困難な構成である。

【0140】

複数段重ねたキーボードが実現できるため、例えば、１段目を英字、２段目をひらがな（または英大文字）、３段目を数字などとして配置することで、手１０００の水平方向の移動量を少なくすることもできる。

【0141】

このとき、決定部２２０は、検出面を通過するときの指先の速度、移動開始座標、および移動収束座標を組み合わせて照合することにより、指先が複数の検出面を通過してしまう場合においても、装置に対する指示を適切に決定することができる。なお、指を大きく動かしても複数の検出面を通過しないような構成（１段のキーボード等）も取りうるため、決定部２２０は、必ずしも、検出面を通過するときの指先の速度、移動開始座標、および移動収束座標の全てを組み合わせて用いずに、通過した検出面だけを用いて、装置に対する指示を決定してもよい。

【0142】

また、決定部２２０が照合する座標は、原点を基準として相対的に各指先の座標が算出されることで、手１０００の位置が平行に移動しただけでは、各指の位置は変化していないものとして扱われる。したがって、ユーザは、正確に手１０００の位置を決めなくても自由な位置でキー入力が可能となり、ユーザに無理な姿勢を要求しなくてすむ。また、物理的にキーボードを打撃する必要がなくなるため、腱鞘炎になることを防止するという効果もある。また、入力デバイスを小型化できるため、省スペース効果もある。

【0143】

なお、第６実施形態における構成は、他の実施形態とともに用いることも可能である。例えば、ユーザがキー入力の途中で、上述したジェスチャＡをした場合には、ジェスチャＡに対応した指示が決定されてもよい。

【0144】

＜変形例＞
以上、本発明の実施形態およびその実施例について説明したが、本発明は以下のように、様々な態様で実施可能である。

【0145】

［変形例１］
上述した視線測定部３１０は、ユーザの視線方向を測定していたが、ユーザの両眼の視線方向を測定するなどして、さらに、ユーザの注視点（方向だけでなく距離を含む概念）を測定してもよい。この場合には、判定部３３０は、視線位置ＶＰが認証領域に存在することの判定には、さらに注視点が表示装置１４の画面平面上（所定のマージンを許容してもよい）に存在することを条件としてもよい。これは、例えば左眼の視線方向と右眼の視線方向との交点を空間上で求めて注視点として扱い、その交点が表示装置１４の画面平面上に存在するか否かを判定すればよい。求めた交点がその画面平面上に存在しない場合として、例えばユーザから見て画面の奥側の位置にある場合（所定のマージンを許容するときには画面の奥側に予め決められた距離以上ずれている場合）には、判定部３３０は、視線方向が認証領域に存在したとしてもユーザ確認判定をしないようにすればよい。

【0146】

［変形例２］
上述した認識空間設定機能１００、ジェスチャ入力機能２００および視線認証判定機能３００は、情報処理装置１０において同時に実現されている場合について説明したが、それぞれ独立して機能してもよい。

【0147】

例えば、認識空間設定機能１００において設定された認識空間は、ジェスチャ入力のために使われるだけでなく、画像認識の範囲を特定の範囲に限定したい場合など、他の用途にも用いることができる。また、ジェスチャ入力機能２００については、認識空間が設定されていない状態においても、検知範囲全体または検知範囲のうち予め決められた範囲において、物体の挙動を測定するようにすればよい。例えば、腕全体の挙動を測定して、この挙動に基づいてユーザの装置に対する指示（腕の振りに応じた画面（または画面の一部）のスクロール指示、拡大、縮小、回転など）を決定してもよい。

【0148】

［変形例３］
第４実施形態においては、決定部２２０は、発光部３１５０の発光色に応じて、ユーザが同じジェスチャをしたとしても、異なる種類の指示を決定していたが、ユーザの操作部１３への操作に応じて、異なる種類の指示を決定するようにしてもよい。例えば、キーボード１３ａのキーのいくつかに対応して照合用テーブルを設ける。そして、ユーザのキーボード１３ａへの第１のキーの入力があった後に次のキーが入力されるまでは、決定部２２０は、第１のキーに対応した照合用テーブルを用いて、装置に対する指示を決定するようにすればよい。なお、認識空間設定機能１００を用いた処理の操作部１３への開始指示の入力と上記キーの入力を兼ねてもよい。

【0149】

［変形例４］
上述した第６実施形態において、左右の手のそれぞれにおいて、個別に処理が行われるようにしてもよい。この場合には、照合用テーブルは左手および右手のそれぞれに対して設けられていればよい。また、物体検知装置２０Ａは、左手用および右手用の２つを用いてもよい。

【0150】

また、各指に対して、個別に処理が行われるようにしてもよい。この場合には、照合用テーブルは各指に対して設けられていればよい。このようにすると、同じ位置の検出面を通過する指先が異なれば、例えば、人差し指と中指とでは、異なる指示が決定されることになる。また、各指の長さに対応して調整された傾きおよび位置の検出面として照合用テーブルに登録ができるため、ユーザがより自然な動きでキー入力が可能となる。

【0151】

［変形例５］
上述した各実施形態では、電子機器１としてセキュリティ装置に適用することができる。第６実施形態の電気機器をセキュリティ装置に適用した場合について説明する。

【0152】

図４０は、本発明の変形例５に係るセキュリティシステム６００の構成を示す概略図である。セキュリティシステム６００は、インターネット、通信回線等のネットワークＮＷに接続されたセキュリティ装置５およびサーバ６を有する。セキュリティ装置５は、第６実施形態の電子機器をセキュリティ装置に適用した装置であり、例えば、ＡＴＭ（Automatic teller machine：現金自動預け払い機）、電子錠付き扉等である。また、セキュリティ装置５は、ユーザを識別する識別手段を有している。識別手段は、例えばＡＴＭであれば、キャッシュカード等でユーザを識別する。

【0153】

サーバ６は、複数の照合用テーブルを記憶するとともに、複数のユーザの各々と照合用テーブルとを対応付けた管理テーブルを記憶する。

【0154】

図４１は、本発明の変形例５に係るサーバ６に記憶された管理テーブルを説明する図である。管理テーブルは、ユーザを識別する情報（この例ではユーザＩＤ）と照合用テーブル（Ｔｃ１、Ｔｃ２、・・・）とを対応付けている。各照合用テーブルは、第６実施形態において説明したとおり、予め各ユーザの指の動作に基づいて登録されている。この登録は、セキュリティ装置５を用いて実行されてもよいし、登録用の装置を別途設けてもよい。

【0155】

サーバ６は、セキュリティ装置５から識別したユーザのＩＤを受信すると、管理テーブルを参照して、そのユーザＩＤに対応する照合用テーブルを特定し、特定した照合用テーブルをセキュリティ装置５に送信する。

【0156】

セキュリティ装置５は、サーバ６から照合用テーブルを受信すると、その照合用テーブルに基づいて、第６実施形態における処理を行う。例えば、ユーザの指の動きにより、暗証番号の入力に用いることができる。上述したように、セキュリティ装置５は、暗証番号の入力が受け付けられたことをユーザに報知することができる。

【0157】

図４２は、本発明の変形例５に係る表示装置１４の表示例を示す図である。図４２は、ＡＴＭなどのセキュリティ装置５に設けられた表示装置１４において、ユーザに対して暗証番号の入力を促す画面が表示されている状態を示している。この画面には、テンキーＴＫが表示されている。ユーザが指を動かすことにより、決定部２２０によって指示（ここでは、０から９までの数字のキー入力）が決定されると、図４２（ａ）から図４２（ｂ）に示す変化のように、ＣＰＵ１１は決定された数字の表示を変化させる（図４２の例では「６」）。表示の変化は、例えば、明るく変化、暗く変化、点滅変化等にすればよい。

【0158】

この構成によれば、セキュリティ装置５によって識別されたされたユーザによって予め登録された照合用テーブルを利用する。そのため、偽造したキャッシュカード等を用い、他のユーザになりすまして暗証番号を入力しようとしても、手の大きさ、動き等の個人差があり容易には入力できない。このように、セキュリティの効果を高めることもできる。

【0159】

また、このようなセキュリティ装置５は、キーボードまたはタッチパネル等への接触をしなくても、暗証番号等の入力が可能である。そのため、接触に起因する入力履歴（例えば指紋検出など）により、暗証番号の盗難を防止することができる。また、ＡＴＭ、クレジットカード暗証入力装置、セキュリティ暗証入力装置、各種販売タッチパネル（切符、商品）、ゲーム施設タッチパネル等は、不特定多数のユーザが利用することになるが、セキュリティ装置５によれば、暗証番号、入力指示のの入力による接触が不要であるため、伝染病等の感染経路を遮断することもできる。

【0160】

［変形例６］
上述した実施形態において、電子機器１をスマートフォンに適用した場合の例について説明する。

【0161】

図４３は、本発明の変形例６に係る電気機器１Ｂの構成を示す概略図である。スマートフォンのような電子機器１Ｂにおいては、物体検知装置の検知センサ２１は、表示装置１４Ｂ側に設けられ、電子機器１Ｂの表示装置１４Ｂ側のユーザの手１０００を検知するようになっている。このような構成により、例えば、ユーザが一方の手１０００で電子機器１Ｂを持ち、もう一方の手１０００において、電子機器１Ｂに対して接触しない状態で、キー入力等をすることも可能である。

【0162】

一般には、スマートフォンにおいては、表示面上に設けられたタッチセンサによりユーザの指示が入力される。そのため、指示の入力ができる領域は表示面上に限られることになるが、高齢者や指が太い人などにおいては、細かい入力操作が困難である。電子機器１Ｂによれば、ユーザによる指示の入力ができる領域が電子機器１Ｂの表示面側に広がる。また、第６実施形態に示す構成を適用すれば、ユーザの手１０００の位置の精度が求められないため、電子機器１に対する指示の入力が容易になる。

【符号の説明】

【0163】

１，１Ｂ…電子機器、５…セキュリティ装置、６…サーバ、１０…情報処理装置、１１…ＣＰＵ、１２…メモリ、１３…操作部、１３ａ…キーボード、１３ｂ…マウス、１４，１４Ｂ…表示装置、２０，２０Ａ…物体検知装置、２１，２１Ａ，２１Ｂ検知センサ、２５Ａ…アームレスト、３０…視線測定装置、３１…視線センサ、１００…認識空間設定機能、１１０…領域特定部、１２０…基準点設定部、１３０…走査部、１４０…認識空間設定部、２００…ジェスチャ入力機能、２１０…挙動測定部、２２０…決定部、３００…視線認証判定機能、３１０…視線測定部、３２０…表示制御部、３３０…判定部、５００…検知部、６００…セキュリティシステム、７００…実行部、１０００…手、２０００…腕、３０００，３０１０…伸縮装置、３０５０，３０６０…発光装置、３１００，３１１０…伸縮部、３１５０，３１６０…発光部、３２００…リストバンド、３３００…支持部材、５０００…机

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】