特許 7560144 情報処理方法、プログラム、及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-24

(45)【発行日】2024-10-02

(54)【発明の名称】情報処理方法、プログラム、及び情報処理装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240925BHJP

【ＦＩ】

G06F3/01 510

【請求項の数】 9

(21)【出願番号】P 2022092871

(22)【出願日】2022-06-08

(65)【公開番号】P2023179927

(43)【公開日】2023-12-20

【審査請求日】2023-03-20

(73)【特許権者】

【識別番号】506159699

【氏名又は名称】株式会社ジンズホールディングス

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】菰田 泰生

【審査官】木村 慎太郎

(56)【参考文献】

【文献】特開２０２２－０２６２５１（ＪＰ，Ａ）

【文献】特開２０１６－０６２２７４（ＪＰ，Ａ）

【文献】特開２０１７－１４２８５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

情報処理装置が、
ユーザの所定部位の動作を計測可能なセンサから、複数時点における前記所定部位の動作に関するデータを順に取得すること、
移動モードである場合、前記データに基づいてポインタに関する移動情報を出力すること、
前記移動情報の出力後に所定条件が満たされた場合、前記移動モードから非移動モードに切り替えること、
前記移動モードから切替後の非移動モードである場合、前記データに基づいて前記所定部位の動作がモード切替動作であるかどうかを判定すること、
前記所定部位の動作がモード切替動作であると判定した場合、前記非移動モードから前記移動モードに切り替えること、
を実行する情報処理方法。

【請求項2】

前記非移動モードから前記移動モードに切り替えることは、
前記所定部位の動作が第１モード切替動作である場合、前記非移動モードから前記移動モードの第１状態に切り替えることを含み、
前記情報処理装置がさらに、
前記移動モードが前記第１状態である場合、前記移動情報の出力に続いて、ポインタの移動停止後に前記第１モード切替動作に対応するコマンドを出力することを実行する、請求項１に記載の情報処理方法。

【請求項3】

前記非移動モードから前記移動モードに切り替えることは、
前記所定部位の動作が第２モード切替動作である場合、前記非移動モードから前記移動モードの第２状態に切り替えることを含み、
前記情報処理装置がさらに、
前記移動モードが前記第２状態である場合、前記移動情報の出力に続いて、ポインタの移動停止後に前記データに基づいて前記所定部位の動作がコマンド動作であるかどうかを判定し、前記コマンド動作であると判定した場合に、前記コマンド動作に対応するコマンドを出力することを実行する、請求項１に記載の情報処理方法。

【請求項4】

前記所定条件は、前記コマンドを出力したことを含む、請求項２又は３に記載の情報処理方法。

【請求項5】

前記非移動モードから前記移動モードに切り替えられる場合、前記モード切替動作に対応する動きを前記ポインタにさせる動き情報を出力することを含む、請求項１に記載の情報処理方法。

【請求項6】

前記動き情報は、前記所定部位の動作に関係なく定められた動きを示す情報を含む、請求項５に記載の情報処理方法。

【請求項7】

前記情報処理装置がさらに、
前記非移動モードである場合、前記データに基づいて前記所定部位の動作がポインタの移動を伴わないコマンド動作であるかどうかを判定すること、
前記所定部位の動作が前記ポインタの移動を伴わないコマンド動作であると判定した場合、前記ポインタの移動を伴わないコマンド動作に対応するコマンドを出力すること、
を実行する請求項１に記載の情報処理方法。

【請求項8】

情報処理装置に、
ユーザの所定部位の動作を計測可能なセンサから、複数時点における前記所定部位の動作に関するデータを順に取得すること、
移動モードである場合、前記データに基づいてポインタに関する移動情報を出力すること、
前記移動情報の出力後に所定条件が満たされた場合、前記移動モードから非移動モードに切り替えること、
前記移動モードから切替後の非移動モードである場合、前記データに基づいて前記所定部位の動作がモード切替動作であるかどうかを判定すること、
前記所定部位の動作がモード切替動作であると判定した場合、前記非移動モードから前記移動モードに切り替えること、
を実行させるプログラム。

【請求項9】

プロセッサを含む情報処理装置であって、
前記プロセッサが、
ユーザの所定部位の動作を計測可能なセンサから、複数時点における前記所定部位の動作に関するデータを順に取得すること、
移動モードである場合、前記データに基づいてポインタに関する移動情報を出力すること、
前記移動情報の出力後に所定条件が満たされた場合、前記移動モードから非移動モードに切り替えること、
前記移動モードから切替後の非移動モードである場合、前記データに基づいて前記所定部位の動作がモード切替動作であるかどうかを判定すること、
前記所定部位の動作がモード切替動作であると判定した場合、前記非移動モードから前記移動モードに切り替えること、
を実行する情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、プログラム、及び情報処理装置に関する。

【背景技術】

【0002】

従来、ユーザの頭部の動きを検出するセンサを用いて、マウスなどの入力手段に対するクリック操作などの入力操作を制御する技術が知られている（例えば、特許文献１、２参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平４－３０９９９６号公報

【文献】特開平９－２５８８８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、頭部の動きを用いて入力操作を行う場合、ポインタが常に動いていたり、自然な頭部の動きにより意図しない操作が行われたり、ユーザビリティに問題があった。

【0005】

そこで、開示技術は、センサが設けられる所定部位の動きを用いて入力操作が行われる際に、ユーザが意図する操作をより適切に実現可能にし、ユーザビリティを向上させることを目的とする。

【課題を解決するための手段】

【0006】

開示技術の一態様における情報処理方法は、情報処理装置が、ユーザの所定部位の動作を計測可能なセンサから、複数時点における前記所定部位の動作に関するデータを順に取得すること、非移動モードである場合、前記データに基づいて前記所定部位の動作がモード切替動作であるかどうかを判定すること、前記所定部位の動作がモード切替動作であると判定した場合、前記非移動モードから移動モードに切り替えること、前記移動モードである場合、前記データに基づいてポインタに関する移動情報を出力すること、前記移動情報の出力後に所定条件が満たされた場合、前記移動モードから前記非移動モードに切り替えること、を実行する。

【発明の効果】

【0007】

開示技術によれば、センサにより所定部位の動作を計測して入力操作が行われる際に、ユーザが意図する操作をより適切に実現可能にし、ユーザビリティを向上させることができる。

【図面の簡単な説明】

【0008】

【図1】実施例における情報処理システムの一例を示す図である。

【図2】実施例における外部の情報処理装置の構成の一例を示すブロック図である。

【図3】実施例における情報処理装置の構成の一例を示すブロック図である。

【図4】実施例における処理部の構成の一例を示すブロック図である。

【図5】実施例における移動速度に関するデータの一例を示す図である。

【図6】実施例におけるデータ、動き、出力の関係の一例を示す図である。

【図7】実施例における所定部位の動きとモードとコマンドとの関係の一例を示す図である。

【図8】実施例における動きとコマンドとポインタの動きとの関係の一例を示す図である。

【図9】実施例におけるコマンド発行に関する処理の一例（その１）を示すフローチャートである。

【図10】実施例におけるコマンド発行に関する処理の一例（その２）を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。

【0010】

［実施例］
実施例では、加速度センサ及び／又は角速度センサ、必要に応じて生体電極を搭載するウエアラブル端末の対象として、アイウエアを例に挙げるが、これに限られない。図１は、実施例における情報処理システム１の一例を示す図である。図１に示す情報処理システム１は、外部の情報処理装置（以下、「外部装置」とも称す。）１０と、アイウエア３０とを含み、外部装置１０と、アイウエア３０とは、ネットワークを介して接続され、データ通信可能になっている。

【0011】

アイウエア３０は、例えばブリッジ部分に情報処理装置２０を搭載する。情報処理装置２０は、一対のノーズパッド及びブリッジ部を含み、それぞれに生体電極３２、３４、３６を有してもよい。情報処理装置２０は、３軸加速度センサ及び／又は３軸角速度センサ（６軸センサでもよい）を含む。なお、生体電極３２、３４、３６は必ずしも必要ではない。

【0012】

情報処理装置２０は、センサ信号や眼電位信号等を検出して外部装置１０に送信する。情報処理装置２０の設置位置は、必ずしもブリッジ部分である必要はないが、アイウエア３０が装着された際に、センサ信号や眼電位信号を取得可能な位置に位置決めされればよい。また、情報処理装置２０は、ブリッジ部分に取り外し可能に設けられてもよい。

【0013】

外部装置１０は、通信機能を有する情報処理装置である。例えば、外部装置１０は、サーバ装置、パーソナルコンピュータ、タブレット端末、スマートフォンなどの携帯端末等である。外部装置１０は、情報処理装置２０から受信したユーザの頭部の移動に関するデータを取得し、このデータに基づいて複数の操作処理を実行する。操作処理は、例えば、ポインタ（カーソル）移動、クリック、ドラッグ、スクロールなどを含む。また、外部装置１０は、情報処理装置２０から、頭部の動作に応じて、操作処理を命令するコマンドや、ポインタの移動量を示すデータを受信してもよい。

【0014】

＜外部装置１０の構成＞
図２は、実施例における外部装置１０の構成の一例を示すブロック図である。外部装置１０は、１つ又は複数の処理装置（ＣＰＵ）１１０、１つ又は複数のネットワーク通信インタフェース１２０、メモリ１３０、ユーザインタフェース１５０、撮像センサ１６０、及びこれらの構成要素を相互接続するための１つ又は複数の通信バス１７０を含む。

【0015】

ネットワーク通信インタフェース１２０は、移動体通信用アンテナや無線ＬＡＮ通信用アンテナを通じてネットワークに接続され、情報処理装置２０との間でデータ通信をすることが可能である。

【0016】

ユーザインタフェース１５０は、ディスプレイ装置、及び入力装置（キーボード及び／又はマウス、又は他の何らかのポインティングデバイス等）を挙げることができる。ユーザインタフェース１５０は、ディスプレイ装置に表示されるポインタを移動操作することが可能である。撮像センサ１６０は、イメージセンサであり、光信号を受け、この光信号を電気信号に変換し画像を生成する。画像は静止画像及び動画像の少なくとも１つを含む。

【0017】

メモリ１３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよく、コンピュータ読み取り可能な非一時的な記録媒体でもよい。

【0018】

メモリ１３０は、情報処理システム１により用いられるデータを記憶する。例えば、メモリ１３０は、アイウエア３０（情報処理装置２０）から送信されるデータを記憶する。

【0019】

また、メモリ１３０の他の例として、ＣＰＵ１１０から遠隔に設置される１つ又は複数の記憶装置でもよい。ある実施形態において、メモリ１３０は、ＣＰＵ１１０により実行されるプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。

【0020】

ＣＰＵ１１０は、メモリ１３０に記憶されるプログラムを実行することで、取得部１１２、及び処理制御部１１４を構成する。

【0021】

取得部１１２は、アイウエア３０の情報処理装置２０から、操作に関する指令（コマンド）やポインタの移動量を示すデータ等を取得する。

【0022】

処理制御部１１３は、取得部１１２により取得された操作に関する指令を実行したり、ポインタの移動量を用いてポインタの移動を制御したりする。例えば、処理制御部１１３は、ポインティングデバイス（例えばマウス）などの入力デバイスの機能と同様の機能を有するアイウエア３０から取得される指令やデータを用いて、クリックやドラッグなどの操作を制御する。

【0023】

なお、ＣＰＵ１１０の取得部１１２は、、ユーザの所定部位の動作を計測可能なセンサ（一例として、ユーザの所定部位に装着されるセンサ）から、所定部位の移動速度に関するデータを順に取得してもよい。この場合、処理制御部１１３は、後述する情報処理装置２０のモード制御処理や判定処理や出力処理を実行し、クリックやドラッグなどの操作を制御してもよい。なお、処理制御部１１３の処理は、クリックやドラッグ、スクロールなどのマウス操作に加え、ファンクションキーやテンキーや設定変更などの操作が、ユーザの頭部の動きに対応付けられてもよい。

【0024】

＜情報処理装置２０の構成＞
図３は、実施例における情報処理装置２０の構成の一例を示すブロック図である。図３に示すように、情報処理装置２０は、処理部２０２、送信部２０４、６軸センサ２０６、電源部２０８、及び各生体電極３２、３４、３６を有する。また、各生体電極３２、３４、３６は、例えば増幅部を介して電線を用いて処理部２０２に接続される。なお、各生体電極３２、３４、３６は必ずしも必要な構成ではない。また、情報処理装置２０は、処理データを記憶するメモリを有する。このメモリは、コンピュータ読み取り可能な非一時的な記録媒体でもよい。

【0025】

送信部２０４は、例えば、処理部２０２によりパケット化された移動速度に関するデータ、後述する移動情報、非移動情報、又はコマンドを外部装置１０に送信する。例えば、送信部２０４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び無線ＬＡＮ等の無線通信、又は有線通信によって、非移動情報、移動情報、コマンド等を外部装置１０に送信する。

【0026】

６軸センサ２０６は、３軸加速度センサ及び３軸角速度センサである。また、これらの各センサは別個に設けられてもよく、いずれか一方のセンサが設けられてもよい。６軸センサ２０６は、検出したセンサ信号を処理部２０２に出力する。電源部２０８は、処理部２０２、送信部２０４、６軸センサ２０６等に電力を供給する。

【0027】

処理部２０２は、プロセッサを含み、６軸センサ２０６から得られるセンサ信号や、必要に応じて各生体電極３２、３４、３６から得られる眼電位信号を処理し、例えば、センサ信号や眼電位信号をパケット化して、このパケットを送信部２０４に出力してもよい。また、処理部２０２は、６軸センサ２０６から得られるセンサ信号を増幅等するだけでもよい。

【0028】

また、処理部２０２は、６軸センサ２０６からのセンサ信号を、頭部の動きに関する情報に基づく移動速度データとして生成してもよい。頭部の動きに関する情報は、例えば頭部の上下（前後）左右への動きに関する情報である。以下、処理部２０２が、プロセッサを有し、入力デバイスに対応する処理を実行する例について説明する。

【0029】

図４は、実施例における処理部２０２の構成の一例を示すブロック図である。図４に示す例では、処理部２０２は、取得部２２２、モード制御部２２４、出力部２２８を有する。

【0030】

取得部２２２は、ユーザの所定部位の動作を計測可能なセンサから、複数時点における所定部位の移動速度に関するデータを順に取得する。例えば、取得部１１２は、所定のサンプリングレートでサンプリングする角速度センサから送信される角速度データを順に取得する。センサからデータを取得するとは、直接的又は間接的にデータを取得することを含む。実施例における所定部位は頭部であるが、腕や脚などでもよい。センサは、所定部位の移動速度を計測可能なセンサであり、実施例では、角速度センサや加速度センサが好適であり、ユーザの所定部位に装着されてもよい。例えば、センサが３軸角速度センサの場合、移動速度に関するデータは方向を含む角速度ベクトルのデータである。

【0031】

モード制御部２２４は、移動速度に関するデータに基づいて、外部装置１０のポインタの移動を制御する移動モードと、ポインタを移動させない非移動モードとの状態遷移を制御する。例えば、モード制御部２２４は、各種の判定を行う判定部２２６を有する。

【0032】

例えば、モード制御部２２４の判定部２２６は、現在の状態が非移動モードである場合、順に取得される移動速度に関するデータに基づいて、ユーザの所定部位の動作がモード切替動作であるか否かを判定する。具体例として、モード切替動作は、予め設定された所定部位の１又は複数の動作であり、ユーザにより設定された動作でもよい。

【0033】

また、判定部２２６は、ユーザの所定部位の動作がモード切替動作であると判定した場合、非移動モードから移動モードに切り替える。例えば、判定部２２６は、順に取得される移動速度に関するデータにより示される所定部位の移動方向及び／又は移動量が、１又は複数のモード切替動作のうちの１つの動作を示すと判定した場合、モード制御部２２４は、非移動モードから移動モードに切り替える。モード切替動作の判定について、例えば、所定時間内に所定方向に閾値以上の移動がある動作であるか、又は任意の動作の複数の組み合わせがあるか否かが判定されてもよい。

【0034】

また、閾値は、急な動きを検出できる所定閾値が予め設定されてもよい。例えば、所定部位が頭部の場合は、素早く頭部を横方向や縦方向に振ったりする場合に超えるような閾値が設定されたり、所定部位が腕や脚の場合は、素早く腕や脚を動かした場合に超えるような閾値が設定されたりする。なお、各方向に応じた閾値は、それぞれの動きに合わせて異なるように設定されてもよい。

【0035】

出力部２２８は、情報処理装置２０の電源がＯＮになった場合などに、処理部２０２により処理されたデータを出力する。出力されたデータは、送信部２０４からネットワークやＢｌｕｅｔｏｏｔｈ（登録商標）を介して外部装置１０に送信される。

【0036】

例えば、出力部２２８は、非移動モードの場合、外部装置１０側のポインタを移動させない非移動情報を出力する。例えば、非移動情報は、順に取得される移動速度に関するデータに関わらず、ポインタを移動させないために、Ｘ座標、Ｙ座標の移動量が０を示す（０，０）などの情報である。

【0037】

また、出力部２２８は、現在の状態が移動モードである場合、順に取得される移動速度に関するデータに基づいてポインタに関する移動情報を出力する。例えば、出力部２２８は、順に取得される移動速度に関するデータに基づいて、ポインタを移動させるために、Ｘ座標、Ｙ座標の移動量（Ｘ１，Ｙ１）などの情報を出力する。

【0038】

モード制御部２２４は、現在が移動モードであり、かつ、移動情報の出力後に所定条件が満たされた場合、移動モードから非移動モードに切り替える。所定条件は、例えば、移動速度に関するデータが示す移動量や動作に関する条件を含む。

【0039】

以上の処理により、センサにより所定部位の動作を計測して入力操作が行われる際に、ユーザが意図しないポインタの移動を防止し、ユーザが意図する操作をより適切に実現可能にし、ユーザビリティを向上させることができる。また、上記処理によれば、ユーザがポインタを移動させないときは、所定部位の動きに関係ない非移動モードを導入することで、ユーザが操作を意図しないときに、所定部位の動きに合わせてポインタが動いてしまうことを防止することが可能になる。また、外部装置１０は、マウスやポインティングデバイスを操作するときと同様に情報処理装置２０から送信される非移動情報、移動情報、コマンド等に従ってポインタを移動等させればよいだけなので、外部装置１０側に特別なプログラムを追加等する必要がなく既存の外部装置１０に適用できる。またその結果、外部装置１０の限られた処理リソースを有効活用することが可能になる。

【0040】

また、モード制御部２２４は、移動速度に関するデータを用いてポインタ移動の制御が開始される場合、開始のモードとして非移動モードが設定されてもよい。これにより、情報処理装置２０の電源をＯＮにしてからすぐにポインタが所定部位の動きに合わせて移動することを防止し、マウス等のように、使いたい時にだけポインタが動くようになる操作感をユーザに提供することが可能になる。

【0041】

また、モード制御部２２４は、非移動モードから移動モードに切り替えることについて、ユーザの所定部位の動作が第１モード切替動作である場合、非移動モードから移動モードの第１状態に切り替えることを含んでもよい。例えば、モード制御部２２４は、順に取得される移動速度に関するデータにより示される移動方向及び移動量に基づいて、所定部位の動作が第１モード切替動作であると判定された場合、非移動モードから複数の移動モードのうちの第１状態に切り替える。

【0042】

例えば、第１モード切替動作が左右の動きである場合、判定部２２６は、順に取得される移動速度に関するデータに基づいて、所定時間内に左方向に閾値以上の移動量及び右方向に閾値以上の移動量のある動きがあるか否かを判定する。判定部２２６は、この動きを検知すれば、ユーザの所定部位の一連の動作が、ポインタ移動後にコマンド発行までの処理を行う第１モード切替動作であると判定する。

【0043】

また、出力部２２８は、移動モードが第１状態である場合、移動情報の出力に続いて、ポインタの移動停止後に第１モード切替動作に対応するコマンドを出力することを含んでもよい。例えば、第１状態はクリック待ち状態であり、第１モード切替動作に対応するコマンドは左クリックである。

【0044】

以上の処理により、非移動モードから移動モードへの切替動作後に、ポインタを移動して目的の位置で停止するだけで、左クリックのコマンドを出力することが可能になる。すなわち、ユーザは、モード切替動作と、コマンド決定動作との両方を行う必要がなく、良く使用する左クリックについてはモード切替動作からの一連の動作でポインタの移動から
左クリックまでの一連の動作を行うことが可能になる。また、コマンド決定の処理を削減することで、情報処理装置２０の処理負荷を軽減させることが可能になる。なお、第１モード切替動作に対応するコマンドは左クリックに限らず、ユーザが良く利用するコマンドに変更されてもよい。

【0045】

また、モード制御部２２４は、非移動モードから移動モードに切り替えることについて、所定部位の動作が第２モード切替動作である場合、非移動モードから移動モードの第２状態に切り替えることを含んでもよい。例えば、モード制御部２２４は、順に取得される移動速度に関するデータにより示される移動方向及び移動量に基づいて、所定部位の動作が第２モード切替動作であると判定された場合、非移動モードから複数の移動モードのうちの第２状態に切り替える。

【0046】

例えば、第２モード切替動作が右左の動きである場合、判定部２２６は、順に取得される移動速度に関するデータに基づいて、所定時間内に右方向に閾値以上の移動量及び左方向に閾値以上の移動量のある動きがあるか否かを判定する。判定部２２６は、この動きを検知すれば、ユーザの所定部位の動作が、ポインタ移動後にコマンド決定の動作判定処理を行う第２モード切替動作であると判定する。

【0047】

また、判定部２２６は、移動モードが第２状態である場合、移動情報の出力に続いて、ポインタの移動停止後に移動速度に関するデータに基づいて、所定部位の動作がコマンド動作であるかどうかを判定する。例えば、コマンド動作が複数設定されている場合、判定部２２６は、順に取得される移動速度に関するデータに基づいて、複数のコマンド動作のうちの１つに該当するか否かを判定する。

【0048】

また、出力部２２８は、判定部２２６によりコマンド動作であると判定された場合に、コマンド動作に対応するコマンドを出力してもよい。例えば、コマンド動作が左へ一瞬動かす動きの場合、左クリックのコマンドが出力され、コマンド動作が右へ一瞬動かす動きの場合、右クリックのコマンドが出力され、コマンド動作が上へ一瞬動かす動きの場合、ダブルクリックが出力され、コマンド動作が下へ一瞬動かす動きの場合、ドラッグ開始のコマンドが出力される。

【0049】

以上の処理により、例えばポインタを移動して目的のアイコン上で一旦停止してから頭部を右へ一瞬動かすことで、当該アイコン上で右クリックするコマンドが出力され、当該アイコンのメニュー表示を開くことができる。すなわち、複数の動作を組み合わせてコマンドを設定することができ、コマンドのバリエーションを増やすことが可能になる。

【0050】

また、移動モードから非移動モードに遷移する所定条件は、出力部２２８によりコマンドが出力されたことを含んでもよい。例えば、モード制御部２２４は、出力部２２８からコマンドが出力されたことを検知すると、移動モードから非移動モードに遷移するよう制御する。

【0051】

以上の処理により、コマンド出力後に非移動モードに自動で遷移することができ、入力操作が終わった後にポインタが不必要に移動することを防止することが可能になる。

【0052】

また、出力部２２８は、非移動モードから移動モードに切り替えられる場合、モード切替動作に対応する動きをポインタにさせる動き情報を出力することを含んでもよい。例えば、出力部２２８は、モード切替後、所定時間は移動情報に代えて、予め設定されたモード切替動作に対応するポインタの動き情報を出力し、動き情報に続いて移動速度データに基づく移動情報を出力してもよい。

【0053】

以上の処理により、ユーザは、ポインタの動きを把握することにより、所定部位の動きが意図したものかどうかを確認することが可能になる。

【0054】

また、上述した動き情報は、ユーザの所定部位の動作に関係なく定められた動きを示す情報を含んでもよい。例えば、所定部位の動きは左右左右であるのに対し、動き情報は円３回を示す情報であってもよい。

【0055】

以上の処理により、ユーザはポインタのシンプルな動きを把握することで、自身の複雑な動きが正しく入力できたかを確認することが可能になる。

【0056】

また、現在のモードが非移動モードである場合、判定部２２６は、順に取得される移動速度に関するデータに基づいて、ユーザの所定部位の動作がポインタの移動を伴わないコマンド動作であるかどうかを判定してもよい。

【0057】

この場合、出力部２２８は、ユーザの所定部位の動作が上記コマンド動作であると判定した場合、コマンド動作に対応するコマンドを出力してもよい。

【0058】

以上の処理により、非移動モードの状態の時に、ユーザは直接コマンド動作を行うことで、非移動モードが解除されるとともに、ポインタの移動が不要なコマンド（例えばスクロール動作など）に対して直接コマンドを出力することが可能になる。

【0059】

＜データ例＞
図５は、実施例における移動速度に関するデータの一例を示す図である。図５に示すデータは、所定のサンプリングレート（例えば２０Ｈｚ＝０．０５秒）により取得されたデータを表す。図５に示すデータは、例えば情報処理装置２０内のメモリに記憶される。なお、移動速度に関するデータとして、眼電位信号に基づく視線の移動速度に関するデータも記憶されてもよい。

【0060】

＜具体例＞
図６は、実施例におけるデータ、動き、出力の関係の一例を示す図である。図６に示す例では、情報処理装置２０の電源がＯＮになり、外部装置１０と情報処理装置２０とがＢｌｕｅｔｏｏｔｈ（登録商標）などでペアリングした後は非移動モードに制御される。すなわち、ペアリング後、ユーザの所定部位は移動しているが、処理部２０２のモードは非移動モードであるため、非移動情報が出力される。これにより、外部装置１０は、非移動情報を取得し、ポインタを移動させない。

【0061】

次に、０．８５秒までの所定時間において、所定部位が左右と移動した場合、例えば、判定部２２６は、順に取得される移動速度に関するデータが左右の動きを示すことで、第１モード切替動作であると判定する。モード制御部２２４は、非移動モードから、移動モードの第１状態に遷移させる。この時、出力部２２８は、非移動情報を出力してもよいし、データの取得から出力までにタイムラグがある場合は、左右の一連の動作の移動情報を出力してもよい。また、出力部２２８は、コマンドを示す動き情報を出力してもよい。

【0062】

次に、２．６５秒まで所定部位が移動し、ユーザが目的とする対象位置にポインタが位置するように、ユーザは所定部位を動かす。第１状態においては、センサはこの動きを検知し、移動速度に関するデータが取得部２２２に取得され、このデータに基づく移動情報が出力部２２８により出力される。

【0063】

次に、所定時間（例えば２．７０～２．８０までの間）、所定部位が停止した場合、順に取得される移動速度に関するデータは、移動方向及び移動量がほぼ０のデータを示す。これにより、判定部２２６は停止を判定し、出力部２２８は、第１モード切替動作に対応する左クリックのコマンドを出力する。

【0064】

図７は、実施例における所定部位の動きとモードとコマンドとの関係の一例を示す図である。例えば、非移動モードの状態で、所定部位の動作のその後のコマンドは以下のとおりである。なお、コマンド発行後、状態は非移動モードに戻る。
所定部位の動作：その後のコマンド
左右（移動モードへの切替動作）：ポインタ移動→停止→左クリック
右左（移動モードへの切替動作）：ポインタ移動→停止→クリック選択（左：左クリック、右：右クリック、上：ダブルクリック、下：ドラッグ開始）
左右左右又は右左右左（停止動作）：停止モード
縦３回往復（設定動作）：設定モード→モード選択（右：設定変更モード、左：設定表示モード）
上下（ダイレクトコマンド動作）：スクロール１つ上
下上（ダイレクトコマンド動作）：スクロール１つ下
上下上（ダイレクトコマンド動作）：連続スクロール上→上又は下→スクロール停止
下上下（ダイレクトコマンド動作）：連続スクロール下→上又は下→スクロール停止

【0065】

以上のとおり、非移動モードから、ポインタが移動するモード（ポインタ移動）や、直接コマンドが発行されるモード等に遷移しうる。例えば、マウスのホイールは、ポインタの移動を伴わずにコマンドが発行される。このホイール機能と同様にするため、スクロールのコマンドに対応するダイレクトコマンド動作が判定されれば、ポインタの移動を伴わずに直接コマンドが発行される。

【0066】

また、停止モードは、停止モードを解除する動作がされない限り、ポインタは移動せず、コマンドは発行されない。例えば、会議中などで、相手に同調して所定部位を動かすことで、意図しない操作がなされることを防止するため、停止モードを解除する動作以外の動作を受け付けないモードが設けられている。これにより、ユーザが意図する動作からのコマンドの発行を、より適切に行うことができるようになる。

【0067】

図８は、実施例における動きとコマンドとポインタの動きとの関係の一例を示す図である。ポインタの動きとは、モード切替後に、所定部位の動作又はコマンドに応じて設定されているポインタの動きを示す。図８に示す例では、各関係は以下のとおりである。
ポインタが示す動き：コマンド：ポインタの動き
左右：移動：左右
右左：移動：右左
左右左右：停止モード：円３回
縦３回往復：設定モード：円２回
上下：スクロール１つ上：上下
下上：スクロール１つ下：下上

【0068】

コマンドが移動などの場合は、データが示す動きとポインタの動きは同じであるが、コマンドが認識されたことを強調するため、ポインタの動きが強調されてもよい。出力部２２８は、強調処理として、例えば実際のデータが示す動きよりも、早く動いたり、大きく動いたりする動きを有する動き情報を出力してもよい。データが示す動きと、ポインタの動きとが同じであるため、ユーザは動作が適切に認識されたことを直感的に把握することができる。

【0069】

また、コマンドが停止モードなどの場合は、動きがないコマンドであるため、データが示す動きとは関係なく定められた動きをポインタが行う。このとき、所定部位が通常行わないようなシンプルな動きとすることで、ユーザは、所定部位の動作が適切に認識されたかを把握することができる。

【0070】

＜動作＞
図９及び図１０は、実施例におけるコマンド発行に関する処理の一例を示すフローチャートである。図９及び図１０に示す処理は、情報処理装置２０で実行される処理の一例である。

【0071】

図９に示すステップＳ１０２において、取得部２２２は、ユーザの所定部位の動作を計測可能なセンサから、所定部位の移動速度に関するデータを順に取得する。センサは、例えばアイウエア３０に装着される角速度センサであり、所定部位は、例えばユーザの頭部であり、移動速度に関するデータは、例えば角速度データである。

【0072】

ステップＳ１０４において、モード制御部２２４は、現在の状態が非移動モードか移動モードかを判定する。例えば、モード制御部２２４は、デフォルトとして非移動モードに設定し、モード切替動作が検知されてから所定条件が満たされるまで移動モードに設定する。ここで、現在の状態が非移動モードであれば（ステップＳ１０４－ＹＥＳ）、処理はステップＳ１０６に進み、現在の状態が移動モードであれば（ステップＳ１０４－ＮＯ）、図１０に示すステップＳ１２２に進む。

【0073】

ステップＳ１０６において、判定部２２６は、順に取得される移動速度に関するデータが、予め設定されている１又は複数のモード切替動作を示すかを判定する。データがモード切替動作を示せば（ステップＳ１０６－ＹＥＳ）、処理はステップＳ１１４に進み、データがモード切替動作を示さなければ（ステップＳ１０６－ＮＯ）、処理はステップＳ１０８に進む。

【0074】

ステップＳ１０８において、判定部２２６は、ステップＳ１０６において取得した移動速度に関するデータが、ポインタ移動を伴わないコマンド動作（ダイレクトコマンド動作）か否かを判定する。データがダイレクトコマンド動作を示せば（ステップＳ１０８－ＹＥＳ）、処理はステップＳ１１０に進み、データがダイレクトコマンド動作を示さなければ（ステップＳ１０８－ＮＯ）、処理はステップＳ１１２に進む。

【0075】

ステップＳ１１０において、出力部２２８は、ダイレクトコマンド動作に対応するコマンドを出力する。

【0076】

ステップＳ１１２において、出力部２２８は、外部装置１０のポインタを移動させない非移動情報、例えば移動量が（０，０）を示す情報を出力する。

【0077】

ステップＳ１１４において、モード制御部２２４は、非移動モードから移動モードに切り替える。

【0078】

ステップＳ１１６において、判定部２２６は、ステップＳ１０６において取得した移動速度に関するデータが第１モード切替動作を示すか否かを判定する。データが第１モード切替動作を示せば（ステップＳ１１６－ＹＥＳ）、処理はステップＳ１１８に進み、データが第１モード切替動作を示さなければ（ステップＳ１１８－ＮＯ）、処理はステップＳ１２０に進む。言い換えれば、第１モード切替動作であると判定されれば、処理はステップＳ１１８に進み、第２モード切替動作であると判定されれば、処理はステップＳ１２０に進む。

【0079】

ステップＳ１１８において、モード制御部２２４は、ポインタ停止後にコマンドを発行する第１状態に設定する。

【0080】

ステップＳ１２０において、モード制御部２２４は、所定のコマンドに対応する動作を待つ第２状態に設定する。

【0081】

図１０に示すステップＳ１２２において、すなわち移動モードにおいて、判定部２２６は、順に取得される移動速度に関するデータがポインタの停止動作を示すか否かを判定する。データがポインタの停止動作を示せば（ステップＳ１２２－ＹＥＳ）、処理はステップＳ１２６に進み、データがポインタの停止動作を示さなければ（ステップＳ１２２－ＮＯ）、処理はステップＳ１２４に進む。

【0082】

ステップＳ１２４において、出力部２２８は、順に取得される移動速度に関するデータに基づき、ポインタの移動量を示す移動情報を出力する。

【0083】

ステップＳ１２６において、モード制御部２２４は、現在の状態が第１状態であるか否かを判定する。現在の状態が第１状態であれば（ステップＳ１２６－ＹＥＳ）、処理はステップＳ１２８に進み、現在の状態が第２状態であれば（ステップＳ１２６－ＮＯ）、処理はステップＳ１３０に進む。

【0084】

ステップＳ１２８において、出力部２２８は、第１モード切替動作に対応したコマンド動作に応じたコマンドを出力する。また、モード制御部２２４は、コマンド出力後に、移動モードを非移動モードに切り替える。

【0085】

ステップＳ１３０において、出力部２２８は、ポインタ停止後の所定のコマンド動作に応じたコマンドを出力する。また、モード制御部２２４は、コマンド出力後に、移動モードを非移動モードに切り替える。

【0086】

以上の処理により、センサが設けられる所定部位の動きを用いて入力操作が行われる際に、ユーザが意図する操作をより適切に実現可能にし、ユーザビリティを向上させることができる。

【0087】

なお、判定部２２６によりモード切替動作又はコマンド動作が判定された場合、モード切替動作又はコマンド動作に応じたポインタの動き情報を、出力部２２８が出力するようにしてもよい。この処理により、ユーザは、所定部位の動きが情報処理装置２０により正しく認識されているかを確認することができる。

【0088】

なお、図９で説明した処理のフローに含まれる各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して又は並列に実行することができるとともに、各処理ステップ間に他のステップを追加してもよい。また、便宜上１ステップとして記載されているステップは、複数ステップに分けて実行することができる一方、便宜上複数ステップに分けて記載されているものは、１ステップとして把握することができる。

【0089】

以上、実施例によれば、センサにより所定部位の動作を計測して入力操作が行われる際に、ユーザが意図する操作をより適切に実現可能にし、ユーザビリティを向上させることができる。また、実施例によれば、所定部位の動きを用いて入力操作する場合、マウスなどの入力デバイスのように、ポインタを動かしたいときや所定の操作をしたいときに、ユーザが意図する動きの認識や入力操作ができるようなインタフェースを提供することが可能になる。

【0090】

また、上記実施例では、所定部位の動きとして、ユーザの頭部や腕や脚などの動きを例に挙げたが、眼球の視線の動きを用いてもよい。この場合、各生体電極（センサの一例）から検知されるセンサ信号から眼球の動きを求め、この動きに関するデータに基づいて、処理部２０２は、処理を制御するようにしてもよい。

【0091】

なお、実施例において、アイウエア３０に搭載された６軸センサからのセンサ信号を用いて説明したが、上述したように、６軸センサは頭部だけではなく、人体のいずれかの位置に装着されていればよい。

【0092】

また、実施例において、移動速度データに３軸加速度センサのデータを用いてもよいことは述べたが、この場合、加速度が検出された後に、所定の演算処理によって速度に変換し、変換後の速度のデータが用いられてもよい。

【0093】

以上、本発明について実施例を用いて説明したが、本発明の技術的範囲は上記実施例に記載の範囲には限定されない。上記実施例に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0094】

＜変形例１＞
上述した実施例では、アイウエア３０側の情報処理装置２０がマウス等に変わるインタフェースの機能を果たし、情報処理装置２０が、左クリック、右クリック、スクロールなどの操作コマンドを外部装置１０に出力する例を説明した。他方、情報処理装置２０は、順に取得される移動速度に関するデータを増幅したり、パケット化したりして外部装置１０に送信してもよく、この場合、外部装置１０は、上述した処理部２０２の機能を有し、判定されたコマンドをＯＳ（Operating System）等に出力し、画面上のポインタの移動や操作を制御してもよい。

【0095】

＜変形例２＞
変形例２において、情報処理装置２０と、外部装置１０の一部の構成とが一体として形成される情報処理装置により、実施例で上述した処理内容が実現されてもよい。例えば、ヘッドマウントディスプレイは、情報処理装置２０の処理部２０２と、外部装置１０のディスプレイ１５１とを有し、ディスプレイ１５１に表示される画像に、ユーザの頭部の動作に応じたポインタが重畳され、上述したような入力操作が行われてもよい。

【0096】

＜変形例３＞
変形例３において、ユーザの所定部位の動作を計測可能なセンサとして、撮像センサ１６０が用いられる。変形例３の場合、外部装置１０が、上述した情報処理装置であり、ＣＰＵ１１０が処理部２０２を有する。具体例として、撮像センサ１６０のライブビューモードなどによりユーザの所定部位（頭部等）の動作を撮影し、画像認識により認識された所定部位の動きに関するデータを処理部２０２が取得する。以降の処理は、実施例の処理と同様である。これにより、カメラを有するパーソナルコンピュータなどを用いて、上述した非移動モードの導入により、ユーザが意図する操作をより適切に実現可能にし、ユーザビリティを向上させることができる。

【符号の説明】

【0097】

１０ 情報処理装置（外部装置）
２０ 情報処理装置
３０ アイウエア
１１０ ＣＰＵ
１１２ 取得部
１１３ 処理制御部
１２０ ネットワーク通信インタフェース
１３０ メモリ
１５０ ユーザインタフェース
１６０ 撮像センサ
２０２ 処理部
２０４ 送信部
２０６ ６軸センサ
２０８ 電源部
２２２ 取得部
２２４ モード制御部
２２６ 判定部
２２８ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】