特許 7224018 頭部装着型情報機器及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-09

(45)【発行日】2023-02-17

(54)【発明の名称】頭部装着型情報機器及びプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20230210BHJP

   G06F 3/04812 20220101ALI20230210BHJP

【ＦＩ】

G06F3/01 510

G06F3/04812

【請求項の数】 9

(21)【出願番号】P 2018238042

(22)【出願日】2018-12-20

(65)【公開番号】P2020101886

(43)【公開日】2020-07-02

【審査請求日】2021-10-20

(73)【特許権者】

【識別番号】517355729

【氏名又は名称】株式会社ガゾウ

(74)【代理人】

【識別番号】100177127

【弁理士】

【氏名又は名称】▲高▼橋 一哉

(72)【発明者】

【氏名】金田 篤幸

【審査官】塩屋 雅弘

(56)【参考文献】

【文献】特開２００１－３５６８７５（ＪＰ，Ａ）

【文献】特開２０１７－１９１４２６（ＪＰ，Ａ）

【文献】特開２０１３－１７５０４８（ＪＰ，Ａ）

【文献】特開２０１３－１９０９４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８１２

(57)【特許請求の範囲】

【請求項1】

使用者の頭部に装着されて該使用者の顔前にある該使用者の手の指に装着された第１マーカ及び前記手の甲に付された第２マーカを撮影し得るカメラと、
前記カメラの撮影画角内で撮影される画像である２次元平面内にマーカ検出領域を定めて、該マーカ検出領域内から前記第１マーカ及び前記第２マーカを検出し得るマーカ検出部と、
前記第１マーカの検出位置を表示領域にスケール変換して定めたカーソル表示位置に更新、又は前記第１マーカの移動量と方向とから算出される第１マーカ積算ベクトルを前記表示領域に積算ベクトル用スケール変換をして生成した表示カーソル移動ベクトルにカーソル初期表示位置を表す位置ベクトルを加算して生成したベクトルの終点として定まるベクトル式カーソル表示位置に更新してそこにカーソルを表示する表示部と、
前記カメラの動きを検出するジャイロセンサと、を有し、
前記ジャイロセンサが、前記カメラの左右方向回転すなわちパンニング回転したこと若しくは上下方向回転すなわちチルティング回転したことを検出していた場合には、前記カーソル表示位置又は前記ベクトル式カーソル表示位置は更新されずに維持される構成にして、
前記ジャイロセンサが前記カメラのパンニング回転もチルティング回転も検出せず、かつ、前記マーカ検出部が前記第１マーカを検出している場合において、
前記第２マーカが検出されているときは、若しくは前記第２マーカが検出されていないときは、前記カーソル表示位置又は前記ベクトル式カーソル表示位置が更新されずに維持される頭部装着型情報機器。

【請求項2】

前記カーソル表示位置又は前記ベクトル式カーソル表示位置が更新されずに維持される場合において、前記カーソル表示位置又は前記ベクトル式カーソル表示位置には、前記カーソルの代わりに、該カーソルとは外観上識別し得るように形状や表示面積若しくは色彩に差異があるフリーズマークが表示されている請求項１に記載の頭部装着型情報機器。

【請求項3】

前記表示領域に前記フリーズマークが表示されており、かつ、前記ジャイロセンサが前記カメラのパンニング回転及びチルティング回転を検出しないときは、
前記マーカ検出部が検出した前記第１マーカの位置に応じて前記カーソル表示位置が更新されて表示されるべき位置に、前記カーソルとは外観上識別し得るように形状又は表示面積若しくは色彩に差異があるフリーズカーソルが表示される請求項２に記載の頭部装着型情報機器。

【請求項4】

前記表示領域に前記フリーズマークが表示されている場合に、
前記第１マーカが検出された位置に基づいて定まる前記カーソル表示位置に表示される前記フリーズカーソルが、前記フリーズマークに重なると該フリーズマークが前記表示領域から消去され、前記カーソル表示位置の更新が始まり、前記カーソル表示位置に前記フリーズカーソルの代わりに前記カーソルが表示される請求項３に記載の頭部装着型情報機器。

【請求項5】

前記第１マーカ積算ベクトルは、前記マーカ検出領域において時々刻々と検出される前記第１マーカの移動方向と移動量とをベクトル的に加算するベクトル積算によって更新され、
前記積算ベクトル用スケール変換は、予め定めた係数を前記第１マーカ積算ベクトルに乗じることにより為され、
前記ジャイロセンサが、少なくとも、前記カメラのパンニング回転と前記カメラのチルティング回転のいずれかを検出したときは、前記第１マーカ積算ベクトルへの前記ベクトル積算を停止することによって前記ベクトル式カーソル表示位置は更新されずに維持される請求項２に記載の頭部装着型情報機器。

【請求項6】

前記マーカ検出部が前記第２マーカを検出したときは、前記第１マーカ積算ベクトルへの前記ベクトル積算を停止することによって前記ベクトル式カーソル表示位置は更新されずに維持される、
若しくは、前記マーカ検出部が前記第２マーカを検出しないときは、前記第１マーカ積算ベクトルへの前記ベクトル積算を停止することによって前記ベクトル式カーソル表示位置は更新されずに維持される、
請求項５に記載の頭部装着型情報機器。

【請求項7】

前記マーカ検出部は、前記使用者の前記手の親指に装着された親指マーカを前記マーカ検出領域内で検出し得るものとし、
前記表示部にアイコンが表示されており、かつ、該アイコンの領域上に前記カーソルが表示されている場合において、
前記マーカ検出部が前記親指マーカと前記第１マーカとが接していることを検出したときは、前記アイコンに関連付けられていたプログラムのメニューが前記表示部に表示されるか、又は該プログラムが起動されるか、若しくは前記カーソルの移動と共に前記アイコンの位置が移動する請求項１、請求項２、請求項３、請求項４、請求項５又は請求項６のいずれか１項に記載の頭部装着型情報機器。

【請求項8】

前記使用者の眼球を撮影する眼球カメラと、
該眼球カメラの取得画像を解析して前記表示領域における前記使用者の視点を検出する視点検出部と、を有し、
前記マーカ検出領域内に前記第１マーカと前記親指マーカとが検出された場合には、前記第１マーカと前記親指マーカとが離間若しくは接触している状態に応じて、前記親指マーカの所在を前記表示領域に表示するものである親指カーソルを、前記カーソルと離間若しくは接触させて表示するものとし、
離間した前記カーソルと前記親指カーソルとの間に前記視点がある場合、若しくは、接触した前記カーソルと前記親指カーソルの少なくともいずれか一方の上に前記視点がある場合には、前記表示領域に表示される画像を拡大表示若しくは縮小表示させる請求項７に記載の頭部装着型情報機器。

【請求項9】

使用者の頭部に装着されて該使用者の顔前にある該使用者の手の指に装着された第１マーカ及び前記手の甲に装着された第２マーカを撮影し得るカメラの画像を取得するステップと、
前記カメラの画像内に２次元平面であるマーカ検出領域を定めて、該マーカ検出領域内から前記第１マーカを検出するステップと、
前記第１マーカの検出位置を表示領域にスケール変換して定めたカーソル表示位置、若しくは、前記第１マーカの移動量と方向とから算出される第１マーカ積算ベクトルを前記表示領域に積算ベクトル用スケール変換をして生成した表示カーソル移動ベクトルにカーソル初期表示位置を表す位置ベクトルを加算して生成したベクトルの終点として定まるベクトル式カーソル表示位置にカーソルを表示するステップと、
前記カメラの動きを検出するジャイロセンサの出力を取得するステップと、
前記マーカ検出領域内で前記第２マーカの有無を検出するステップと、を有し、
前記ジャイロセンサが、前記カメラの左右方向回転すなわちパンニング回転したこと若しくは上下方向回転すなわちチルティング回転したことを検出していた場合には、前記カーソル表示位置又は前記ベクトル式カーソル表示位置は更新されずに維持される処理を、
また、前記ジャイロセンサが、前記カメラのパンニング回転もチルティング回転も検出せず、前記第１マーカが検出されている場合において、前記第２マーカが検出されているときは、若しくは前記第２マーカが検出されていないときは、前記カーソル表示位置又は前記ベクトル式カーソル表示位置は更新されずに維持される処理を、
演算器に実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、頭部に装着する情報機器及びプログラムに関するものである。

【背景技術】

【0002】

プラント施設や、エレベータやエスカレータ、その他インフラ設備の保守の現場において、マニュアルを参照するなど、パソコンやタブレット端末といった情報機器を欠かすことはできない。しかし、これらの情報機器の置き場所を十分に確保できない場合も多い。このため、ヘッドマウントディスプレイなどの頭部装着型情報機器への必要性も増している。

【0003】

特許文献１には、奥行き方向に積層配置された仮想パネルの画像を立体的に表示し、ユーザは奥行き方向に配置された各コマンド層に指を一定時間以上滞留させたり、指を折ったり、手を振ったりすることでコマンド選択が可能なヘッドマウントディスプレイが記載されている。ユーザの指は同ヘッドマウントディスプレイに備えられたステレオカメラで撮影する。このように、ヘッドマウントディスプレイを介して頭部に備えられたカメラで指先を撮影すると、頭部の揺れにより画面内の指さし位置がぶれやすい。しかし、この装置では奥行き方向の選択とすることで頭部の揺れに強いとの記載がある。

【0004】

また、特許文献２には、指先に特徴点となるようなマーカを装着した指先をカメラで撮影し、撮影座標系をディスプレイ用の座標系に変換し、頭部に装着したディスプレイにそのマーカをカーソルとして表示することが記載されている。また、ボタン選択の方法として人差し指と親指とでつまむジェスチャを、パタンマッチングで検出することが記載されている。カメラの設置場所については具体的な記載がない。

【0005】

特許文献３には、手に光を照射して撮影し、指先の検出座標を画面表示用座標に変換してコンピュータ画面のカーソルとして表示することが記載されている。また、指先Ａと指先Ｂとが近づいて、その距離が一定値以下になると、ユーザが擬似的にボタン操作を行なったと判定することが記載されている。

【0006】

しかし、これらの構成を頭部装着型情報機器及びプログラムに適用すると次のようなことが課題となる。頭部装着型情報機器は頭部に装着されたカメラで使用者の指先を検出し、この検出位置に基づいて情報機器のカーソルの表示位置を決めるものである。頭部を不用意に動かすことにより、カーソルが意図しない場所へ移動してしまう虞がある。

【0007】

例えば、機器の保守作業者が情報機器で保守の対象となる装置の仕様を読んでいる最中に、ふと、その装置に目をやったことに伴い、カーソルが別の装置の仕様に移動してしまったりする問題がある。特許文献１は２次元の画面内ではなく、奥行き方向にことなるコマンドを配置することでこのような問題点を解決している。しかし、奥行き方向に様々な情報を配置することは、スペースのコンパクト化に支障を来す。しかも限られた作業スペースでは奥へ手を伸ばす動作は避けたい。

【0008】

特許文献２と特許文献３に記載される構成は、指を撮影するカメラがどこに設けられているのかが不明であり、情報機器使用時の不意なカメラの移動についての考察や解決策についての記載は無い。

【先行技術文献】

【特許文献】

【0009】

【文献】特開２０１０－１４６４８１号公報

【文献】特開２０１６－８１２８６号公報

【文献】特開２０１２－７３６５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

そこで、本発明の目的は、不用意なカーソル移動で意図しない情報と取り違えたり、誤操作を引き起こしたりすることを防止した頭部装着型情報機器及びプログラムを提供することにある。

【課題を解決するための手段】

【0011】

上記課題を解決する実施形態として、使用者の頭部に装着されて該使用者の顔前にある指に装着された第１マーカ１１１を撮影するカメラと、その撮影画角内にあるマーカ検出領域１１Ｄ内から第１マーカ１１１を検出するマーカ検出部４１と、第１マーカ１１１の検出位置を表示領域２１にスケール変換して定めた位置にカーソル２２を表示する表示部２と、カメラ１の動きを検出するジャイロセンサ３と、を有する頭部装着型情報機器Ａ１とすることができる。更に、第１マーカ１１１が検出されても、ジャイロセンサ３が、カメラ１のパンニング回転したこと若しくはチルティング回転したことを検出していた場合には、カーソル２２の位置は更新されないこととすることができる。

【発明の効果】

【0012】

本発明の実施形態は、不用意なカーソル移動で意図しない情報と取り違えたり、誤操作を引き起こしたりすることを防止した頭部装着型情報機器を提供することができる。

【図面の簡単な説明】

【0013】

【図1】図１は第１実施形態の頭部装着型情報機器の図である。

【図2】図２はマーカ検出領域と表示領域との関係を説明する図である。

【図3】図３は第１実施形態の頭部装着型情報機器の構成図である。

【図4】図４は第１実施形態のマーカの例を示す図である。

【図5】図５はカメラ取得画像を画像処理した図である。

【図6】図６はアイコンに関する動作の処理フローの図である。

【図7】図７はつまみ動作処理を説明する図である。

【図8】図８はクリック動作とWクリック動作とを説明する図である。

【図9】図９は人差し指と親指との動作解析の処理フローの図である。

【図10】図１０は第２実施形態の動作を説明する図である。

【図11】図１１は第２実施形態の処理フローの図である。

【図12】図１２はフリーズフラグリセットの処理フローの図である。

【図13】図１３は第３実施形態のカーソル操作法を示す図である。

【図14】図１４は第３実施形態の処理フローの図である。

【図15】図１５は親指カーソルの表示例を示す図である。

【図16】図１６は第４実施形態の構成図である。

【図17】図１７は表示部の画像を虚像として表示する構成を示す図である。

【図18】図１８は第５実施形態の頭部装着装置の構成及び動作を示す図である。

【図19】図１９は視点計測処理を説明する図である。

【発明を実施するための形態】

【0014】

〔頭部装着型情報機器：全実施形態共通〕
図１を参照して本発明に基づく実施形態の頭部装着型情報機器の説明をする。本実施形態は手元にタッチパネルやポインティングデバイス及び、これらを操作するスペースを不要とする情報機器である。同情報機器のディスプレイはメガネのように頭部に装着するヘッドマウントディスプレイとして実現される。

【0015】

このディスプレイに情報機器が表示すべき情報が表示される。同ディスプレイは、使用者の片目に表示するものでもよいし、両目に表示するものでもよい。また、同ディスプレイの表示部は半透明とし、同表示面を通して使用者の前景が見えるようにしてもよい。また、同ディスプレイを備えているメガネ状装着部に回転軸を設けて、同情報機器を使用しないときは、ディスプレイを額の側へ折り返しまたは回転させ、使用者が直接、自身の前景を見られるようにしてもよい。

【0016】

使用者は、情報機器の表示画面のアイコンを選択して、必要な書類や動画を閲覧したり、アプリケーションプログラムを起動させたりする。その際に、使用者は同表示画面上にカーソルを表示させ、そのカーソルを所望のアイコン上に移動させ、選択の意思を情報機器に入力する。タッチパネル型情報機器では特にカーソルを表示する必要はないが、それは、使用者自身の指が直に見えているからである。情報機器の表示部が、完全に使用者の指や前景を遮るものである場合はカーソルの表示が必要である。

【0017】

〔第１実施形態〕
図１（Ａ）は、本発明に基づく第１実施形態の頭部装着型情報機器Ａ１を装着した使用者を右側から見た図である。同情報機器Ａ１の一部は透明に表されている。ここに示すように、同情報機器Ａ１は、メガネ状つるＡ１ｆに構成部品が装着されていて、メガネ状つるＡ１ｆを使用者が頭部に装着することにより、各構成部品が使用者の頭部に装着される。構成部品には、カメラ１と、表示部２と、ジャイロセンサ３と、これらの動作を統合する演算器４０を収納するコントロールボックス４とが含まれる。

【0018】

使用者は表示部２の表示面である表示領域２１に表示されているカーソルの位置を制御するために、その手の指に第１マーカ１１１を装着している。更に同じ手の甲には、第２マーカ１１２が装着されている。これらのマーカは指輪状であったり、粘着テープで貼り付けるものであったりしてよい。あるいは、手袋にこれらのマーカが固定されていて、この手袋を使用者が装着するのでもよい。

【0019】

使用者の顔前にある手に装着された第１マーカ１１１と第２マーカ１１２とを撮影できる画角でカメラ１が使用者頭部に装着される。更に、このカメラ１の回転を検出するためにジャイロセンサ３が設けられている。ジャイロセンサ３は、図１（Ｃ）に示すように、カメラ１のパンニングとチルティングの２軸回転を検出することができる。更にローリングを含めて３軸検出できるジャイロセンサを用いてもよい。カメラ１のパンニング回転とは左右方向の動きである。カメラ１のチルティング回転とは上下方向の動きである。カメラ１のローリング回転とは画面中心を軸として画面が回転する動きである。

【0020】

図１（Ａ）に示すように、カメラ１の撮影画角１１は、使用者の鼻先から下方であって、この範囲にある手を撮影することができる。カメラ１で撮影された画像はコントロールボックス４内のマーカ検出部４１で画像処理されて、第１マーカ１１１と第２マーカ１１２とが検出される。この処理は演算器４０でソフトウェア処理してもよい。

【0021】

これらマーカが特定の色をしている場合は、色抽出処理でマーカを検出することができる。これらマーカの輝度が特に高い場合は、高輝度値の領域を抽出することでマーカを検出することができる。例えば、各マーカとしてコーナキューブを装着するならば、反射光による高輝度領域を検出することでマーカ検出することができる。特に、カメラ１の近傍に、撮影画角１１に向けて照明する照明機器を設けると、上記コーナキューブでの光の反射が確実になり、高輝度を維持しやすくなる。また、上記照明機器が使用者にとってまぶしい場合は、近赤外照明とし、カメラ１も近赤外域に感度を有するものとすることができる。

【0022】

図１（Ｂ）はカメラ１の概念図である。撮影画角１１は３次元空間である。この空間内の手などの物体はレンズ１Ｌで結像されて、フォトセンサ１１Ｓ上で２次元の像になる。この結像する面内にマーカ検出領域１１Ｄを設定してマーカの検出処理が行われる。

【0023】

表示部２は使用者頭部側方に設けられている。そして、表示部２の表示画像は、図１７を参照しながら後記するように、ミラー１６Ａと１６Ｂとプリズム１６Ｃとによって使用者の顔前に虚像として表示される。このように虚像として、情報機器Ａ１に表示されるべき情報が使用者に対して表示される。そして表示画面内にはカーソル２２が表示される範囲として、表示領域２１が設定されている。

【0024】

すなわち、第１実施形態の頭部装着型情報機器を装着した使用者が、カメラ１の撮影画角１１内で、第１マーカ１１１を装着した手を所定の位置へ移動させると、これがマーカ検出領域１１Ｄで２次元の位置情報となる。これがさらに、表示領域２１内のカーソル表示位置２１１にスケール変換され、ここにカーソル２２が表示される。表示領域２１は上述のとおり、表示部２が出力する虚像であって、使用者の顔前に表示される。

【0025】

以上説明したように、同頭部装着型情報機器Ａ１では、カメラ１と第１マーカ１１１との相対的な位置関係により表示領域２１におけるカーソル２２の位置が決まる。したがって、使用者が無意識に頭部を動かすと、これに伴ってカメラ１もパンニング若しくはチルティングする。そして、カメラ１と第１マーカ１１１との相対的位置関係が変わることにより、カーソル２２が意図せずに移動することになる。

【0026】

これを防ぐために、図１（Ｄ）に示す処理フローにより、カーソル２２が使用者の意思に反して移動することを防止している。ここに示す処理は、毎秒何度も繰り返し実施されることが好ましい処理である。まず、ジャイロセンサ３の出力からカメラ１が回転しているか否かを判断する〔ステップ１（ＳＴＰ１）〕。回転が検出された場合は‘真’分岐して、カーソル位置を更新せずこの処理を終了する。カメラが回転しているときは、第１マーカ１１１の位置が使用者の意思で移動しているのではないからである。

【0027】

このようにカーソル更新処理を終了した後は再び同処理フローを開始し、カメラの回転の有無に基づいて分岐判断をする〔ステップ１（ＳＴＰ１）〕。カメラの回転が検出されなければ‘偽’分岐してマーカ検出処理を行う〔ステップ２（ＳＴＰ２）〕。ここでは、第１マーカ１１１と第２マーカ１１２とが検出される場合、いずれも検出されない場合、いずれか一方が検出される場合が生じ得る。

【0028】

そこで、条件１に基づいて判断をして分岐する〔ステップ３（ＳＴＰ３）〕。条件１は、第１マーカ１１１が未検出または、第２マーカ１１２が検出されることである。条件１が満たされていれば‘真’分岐してカーソル更新をせずに一連の処理を終了する。第１マーカ１１１が検出できなければカーソルを更新できないからである。また、第２マーカ１１２が検出されたということは、使用者による、カーソルを更新しないという意思表示だからである。一方、条件１を満たさない場合は、‘偽’分岐してカーソル位置２１１を更新して〔ステップ４（ＳＴＰ４）〕、一連の処理を終了する。

【0029】

ステップ３（ＳＴＰ３）で条件１を分岐条件としたのは、使用者がカーソル表示位置２１１を更新しないという意思表示を、第２マーカ１１２をカメラ１に向けることで示せるシステムとしたからである。ここで、使用者が、カーソル表示位置２１１を更新する意思表示として、第１マーカ１１１と第２マーカ２２２との２つのマーカをカメラ１に向けることとすることもできる。この場合、ステップ３（ＳＴＰ３）の分岐条件は、「第１マーカ１１１と第２マーカ１１２とのいずれかが未検出」という条件（以下、この条件を「条件１Ｂ」と称することもある。）を適用すればよい。そうすると、第１マーカ１１１と第２マーカ１１２のいずれもがカメラ１に向いていて、マーカ検出部４１がこれら２つのマーカを検出した時のみカーソル表示位置２１１の更新が可能となる。カーソル表示位置２１１を更新したくない時、使用者は第２マーカ１１２をカメラ１の向きからそらして、見えなくすればよい。

【0030】

〔マーカ検出領域と表示領域との関係〕
次に図２を参照して、マーカ検出領域１１Ｄと表示領域２１との関係を説明する。図２（Ａ）はフォトセンサ１１Ｓ上に設定されているマーカ検出領域１１Ｄを表している。上述したように、これは２次元の輝度情報である。色情報を含んでいても良い。

【0031】

図２（Ａ）に示されるマーカ検出領域１１Ｄはフォトセンサ１１Ｓのセンサ面上に定められる領域である。撮影画角１１内に存する点は、レンズ１Ｌ〔図１（Ｂ）参照〕の作用でマーカ検出領域１１Ｄ内に点として結像する。ここで、マーカ検出領域１１Ｄ内に検出原点Ｄ０を定める。そして、検出原点Ｄ０を始点とする２つの単位ベクトルとして、検出第１単位ベクトルＤＶ１と、検出第２単位ベクトルＤＶ２とを定める。検出第１単位ベクトルＤＶ１と、検出第２単位ベクトルＤＶ２とは、異なる方向を持つので、フォトセンサ１１Ｓのセンサ面上の任意の位置は、これら２つのベクトルの線形結合で表すことができる。また、検出第１単位ベクトルＤＶ１と検出第２単位ベクトルＤＶ２とは、９０度の角度を成す必要性はなく、フォトセンサ１１Ｓの素子の並びに合わせればよい。

【0032】

検出領域内１１Ｄはレンズ１Ｌの結像面なので撮影画角１１内に存する手の像が写り得る。しかし、ここで重要なのは、第１マーカ１１１の位置なので、上述の色情報処理若しくは輝度情報処理で第１マーカ１１１の像のみが検出されているとして説明を進める。また、厳密にはここに表れるのは第１マーカ１１１自体ではなく像であるが、同じ符号で表す。第１マーカ１１１の位置は、検出原点Ｄ０を始点とする位置ベクトルＰＤで表される。位置ベクトルＰＤは、検出第１単位ベクトルＤＶ１と、検出第２単位ベクトルＤＶ２とを使って、ＰＤ＝ＣＭ１・ＤＶ１＋ＣＭ２・ＤＶ２と表される。ここで、ＣＭ１とＣＭ２とは、それぞれ、検出第１単位ベクトルＤＶ１と検出第２単位ベクトルＤＶ２とのベクトル成分である。

【0033】

一方、図２（Ｂ）は表示部２に表示されるカーソルの存在範囲を表す、表示領域２１を説明する図である。上述のとおり、使用者が視認するのはこれ自体ではなく、ミラーとプリズムで生成される虚像である。表示領域２１には、検出原点Ｄ０にある像を表示させる位置が定められ、これをカーソル原点ＣＯと称することとする。２次元平面である表示領域２１内の任意の位置は、カーソル原点ＣＯを始点とする２つの単位ベクトルの線形結合で決めることができる。単位ベクトルの１つであるカーソル第１単位ベクトルＣＶ１は、カーソル原点ＣＯを始点とし、表示部２の表示面上の１点を終点とするベクトルである。もう１つの単位ベクトルであるカーソル第２単位ベクトルＣＶ２は、カーソル原点ＣＯを始点とし、表示部２の表示面上の他の点を終点とするベクトルである。

【0034】

ここで、マーカ検出領域１１Ｄ内の位置と表示領域２１内の位置とを対応付けるために、検出第１単位ベクトルＤＶ１の成分ＣＭ１に、第１係数ＭＧ１を乗じて、カーソル第１単位ベクトルＣＶ１の第１表示成分ＣＣＭ１とする。同様に、検出第２単位ベクトルＤＶ２の成分ＣＭ２に、第２係数ＭＧ２を乗じて、カーソル第２単位ベクトルＣＶ２の第２表示成分ＣＣＭ２とする。第１係数ＭＧ１と第２係数ＭＧ２とは、フォトセンサ１１Ｓ上で結像する像を如何なる倍率で表示するかに関わる定数であるので、頭部装着型情報機器Ａ１の設計に合わせて決めればよい。

【0035】

すなわち、マーク検出領域１１Ｄ内で検出される第１マーカ１１１の移動量を、使用者にとって使いやすい表示領域２１内でのカーソル２２の移動量にスケールアップ若しくはスケールダウンするスケール変換の係数を適切に設計するのである。

【0036】

マーカ検出領域１１Ｄ内の位置ベクトルＰＤで表される位置に第１マーカ１１１が検出された場合、表示領域２１内での位置は次のようになる。カーソル原点ＣＯを始点として、表示領域２１内での位置を表す位置ベクトルをＰＣとすれば、ＰＣ＝ＣＣＭ１・ＣＶ１＋ＣＣＭ２・ＣＶ２である。ここで、ＣＣＭ１はカーソル第１単位ベクトルＣＶ１の成分で、ＣＣＭ２はカーソル第２単位ベクトルＣＶ２の成分である。そして、ＣＣＭ１とＣＣＭ２とはそれぞれ、ＣＭ１とＣＭ２とに、第１係数ＭＧ１と第２係数ＭＧ２とを乗じたものである。すなわち、ＣＣＭ１＝ＣＭ１・ＭＧ１、ＣＣＭ２＝ＣＭ２・ＭＧ２である。このようにして、マーカ検出領域１１Ｄ内の位置が表示領域２１内の位置に変換され、第１マーカ１１１の検出位置が変換された位置がカーソル表示位置２１１であり、ここにカーソル２２が表示される。

【0037】

〔機器構成〕
次に図３を参照して、第１実施形態の頭部装着型情報機器Ａ１の機器構成を説明する。頭部装着型情報機器Ａ１は、カメラ１と表示部２とジャイロセンサ３とコントロールボックス４とを有する。コントロールボックス４には演算器４０とこれが使用するメモリ４４４とが収められている。演算器４０には、ハードウェアとしての、マーカ検出部４１と座標変換部４２とカーソル重畳部４３を備えていてもよいし、これらをソフトウェア処理するのでもよい。演算器４０はカメラ１の画像を処理してマーカ検出部４１でマーカを検出し、第１マーカ１１１のマーカ検出領域１１Ｄでの検出位置を表示領域２１内の位置に変換してカーソル表示位置２１１として求める。そして、カーソル重畳部４３にて、頭部装着型情報機器Ａ１が表示すべき画面にカーソル２２を重畳し、表示部２に表示する。

【0038】

ジャイロセンサ３はカメラ１の左右方向と上下方向の回転の有無を検出する。カメラが回転している場合は、カーソル２２が使用者の意図に反して移動している虞があるので、カーソルの移動すなわち更新を停止する。カーソル２２はジャイロセンサ３がカメラ１の回転を検出する直前の位置を維持することとなる。また、マーカ検出部４１で第２マーカ１１２が検出された時にもカーソルの更新を行わない。カーソル２２の位置を更新しないという使用者の意思表示だからである。

【0039】

〔マーカについて〕
次に図４を参照して、第１マーカ１１１や第２マーカ１１２等のマーカの説明をする。これらのマーカは使用者がカーソル２２を操作しようとする手に装着される。ここでは右手を例として説明する。図４（Ａ）は右手の概念図である。人差し指の先端から付け根にかけて第１関節と第２関節、第３関節とがある。

【0040】

図４（Ｂ）と（Ｃ）に表されているように、第１マーカ１１１は使用者の人差し指先端に付された指先ミラーである。更にこのミラーをコーナキューブとすることにより、カメラ１の近傍に備えられた照明光の光を効率的にカメラ１方向へ反射する。反射により第１マーカ１１１の部分が特に明るくなるので、高輝度位置を探す画像処理によって安定的に検出することができる。または、第１関節付近又は第１関節表面にミラーを付けて第１マーカ１１１Ｃとしてもよい。このように、指先から離れたところにマーカを付すことにより、使用者が指先を使っての作業を行いやすくなる。尚、第１マーカ１１１は人差し指に限らず、中指や薬指、小指に装着することも可能である。

【0041】

また、図４（Ｃ）に示すように手の甲には第２マーカ１１２が装着されている。これは甲ミラーである。これもコーナキューブといったミラーで構成することができる。図４（Ｂ）には、この第２マーカ１１２は現れていない。このように、第２マーカ１１２は手の姿勢により表示したり隠したりすることができる。既に説明したように、使用者がカーソル表示位置２１１を更新したくないという意思表示のために第２マーカ１１２を表示することができる。

【0042】

ただし、先述のように処理フローの条件分岐で「条件１」の代わりに「条件１Ｂ」を適用するならば、使用者が第２マーカ１１２をカメラ１に向けることでカーソル表示位置２１１を更新可能とし、第２マーカ１１２をカメラ１から隠すことでカーソル表示位置２１１を更新しないという意表示が可能な情報機器にもし得る。

【0043】

また、図４（Ｂ）と（Ｃ）とに表されているように、使用者の親指に親指マーカ１１３を装着してもよい。これは親指ミラーである。これもコーナキューブといったミラーで構成される。マーカ検出部４１において、第１マーカ１１１又は１１１Ｃ、第２マーカ１１２及び、親指マーカ１１３を安定的に区別して検出するために、それぞれのマーカの色を変えたり、多角形の角の数を変えたり、ミラー面積や光の波長ごとの反射率を変えるなどをすることができる。

【0044】

親指マーカ１１３のマーカ検出領域１１Ｄ内の検出位置に対応させて、親指カーソル２２１を表示領域２１内に表示してもよい。親指マーカ１１３は表示領域２１内に表示されているアイコンを選択したり、アイコンの位置を移動させたりするのに使用する。詳細は後記する。

【0045】

図５は、マーカ検出部４１におけるマーカ検出処理を説明する図である。（Ａ１）はカメラ１による取得画像である。輝度しきい値を設けて高輝度の部分を抽出する。更に、抽出対象に面積の範囲を設けることでより安定的にマーカ検出が可能である。（Ａ２）は第１マーカ１１１と親指マーカ１１３とが検出された例である。このようにして、マーカ検出領域１１Ｄにおける第１マーカ１１１と親指マーカ１１３の位置が決まる。

【0046】

図５（Ｂ１）もカメラ１による取得画像である。手の姿勢が先のものと異なり、手の甲に第２マーカ１１２が装着されているのが見える。（Ｂ２）はこれを画像処理した例である。この画像に基づいて、マーカ検出部４１は第２マーカ１１２を検出することができる。

【0047】

図５（Ｃ１）（Ｄ１）はそれぞれ、人差し指と親指とを接触させた動作について、カメラ１で取得した画像である。そして、図５（Ｃ２）（Ｄ２）はそれぞれ、これらの高輝度領域を抽出した図である。図５（Ｃ２）では、人差し指先端に装着された第１マーカ１１１と親指マーカ１１３とが接触していることがわかる。また、図５（Ｄ２）では、人差し指の第１関節付近に装着された第１マーカ１１１Ｃと親指マーカ１１３とが接触していることがわかる。このようなマーカ同士の接触動作は、後記するアイコン選択の意思表示として用いることができる。尚、２つのマーカが離間しているか接しているかは、それぞれ検出されたマーカの位置が所定の距離以内か否かで判断すればよい。

【0048】

〔アイコンに関する動作〕
情報機器では表示画面に表されたアイコンに対する動作、たとえば、選択してこれに関連するプログラムを起動させたり、アイコンに関するメニューを表示させたり、アイコンの位置を移動させたりといった動作が可能であると便利である。以下、第１実施形態の頭部装着型情報機器Ａ１における、アイコンに対する動作と処理について説明する。

【0049】

〔アイコンに関する動作の処理フロー〕
図６を参照して、アイコンに関する動作の処理フローを説明する。アイコンは複数あってもよいが、ここでは説明の便宜上、アイコン２３を例として説明する。また、ここでの様々な判断処理は演算器４０で行われる。そして、カーソル更新をするために、マーカ検出部４１は常時カメラ１の画像を処理して、第１マーカ１１１と親指マーカ１１３の有無とその位置と、第２マーカの有無とを把握している。

【0050】

そのうえでまず、カーソル２２がアイコン２３上にあるか否かが判断され〔ステップ１１（ＳＴＰ１１）〕、アイコン２３上に無ければ‘偽’分岐して一連の処理を終了する。ただしこの処理フローは、頭部装着型情報機器Ａ１が使用されている間は、再び開始される。再びステップ１１で判断され、カーソル２２がアイコン２３上にあれば、‘真’分岐して条件２の判定をする〔ステップ１２（ＳＴＰ１２）〕。条件２とは、第１マーカ１１１と親指マーカ１１３とが検出され、かつ両者が接触していることである。両者の接触は、図５（Ｃ２）と（Ｄ２）の処理画像から判断することができる。条件２を満たさぬ場合は‘偽’分岐して一連の処理を終了する。満たす場合は次ステップ１３（ＳＴＰ１３）へ’真’分岐する。

【0051】

ステップ１３（ＳＴＰ１３）では第１マーカ１１１と親指マーカ１１３との動作を解析して、つまみ動作及び、クリック動作、Ｗクリック動作に動作分類し、各動作に対応するフラグをセットする。つまみ動作及び、クリック動作、Ｗクリック動作に対応するフラグはそれぞれ、つまみＦ、クリックＦ、ＷクリックＦである。フラグは１ビットメモリであり、論理判断の真偽の結果を記憶するものである。

【0052】

ステップ１４（ＳＴＰ１４）ではつまみＦに基づいて分岐する。つまみＦがセットされていれば‘真’分岐して、つまみ動作処理〔ステップ１５（ＳＴＰ１５）〕を実施後に一連の処理を終了する。一方、つまみＦがセットされていなければ、ステップ１６（ＳＴＰ１６）へ‘偽’分岐する。

【0053】

ステップ１６（ＳＴＰ１６）ではクリックFに基づいて分岐する。クリックＦがセットされていれば‘真’分岐してクリック動作処理〔ステップ１７（ＳＴＰ１７）〕を実施後に一連の処理を終了する。一方、クリックＦがセットされていなければ、ステップ１８（ＳＴＰ１８）へ‘偽’分岐する。

【0054】

ステップ１８（ＳＴＰ１８）ではＷクリックFに基づいて分岐する。ＷクリックＦがセットされていれば‘真’分岐してＷクリック動作処理〔ステップ１９（ＳＴＰ１９）〕を実施後に一連の処理を終了する。一方、ＷクリックＦがセットされていなければ、‘偽’分岐して一連の処理を終了する。

【0055】

次に各処理の具体的な内容を説明する。図７に示すように、つまみ動作処理とはアイコン２３上にカーソル２２があるときに、第１マーカ１１１と親指マーカ１１３とを接触させる。そして、これらのマーカの状態を維持しつつ、カーソル２２を所望の位置まで移動させる。すると、アイコン２３はカーソル２２と共に移動する。第１マーカ１１１と親指マーカ１１３との接触状態を解消すると、カーソル２２の動きにアイコン２３は追従しなくなる。上述したように、カーソル２２の位置は、マーカ検出領域２１における第１マーカ１１１の位置で決まる。尚、親指マーカ１１３の検出位置に基づいて、表示領域２１内に親指カーソル２２１を表示してもよい。図７において、破線で示した右手は、説明の便宜上示したものであって使用者には見えない。

【0056】

図８は、クリック動作を説明する図である。アイコン２３上にカーソル２２を置き、クリック動作すると、アイコン２３に関する説明若しくはメニューが現れる〔図８（Ａ）〕。そこで表れたメニューの１つを選択し、再びクリックするとメニュー表示は消える。後記するＷクリックをするとそのメニューに関連するプログラムが起動される。

【0057】

〔ステップ１３（ＳＴＰ１３）の人差し指と親指の動作解析〕
図９を参照して、ステップ１３（ＳＴＰ１３）における、第１マーカ１１１と親指マーカ１１３との動作解析の詳細を説明する。これに先立ち、カメラ１が取得する画像について確認する。この画像はいわゆる動画像であって、毎秒１０枚～３０枚程度の静止画像を一定間隔で取得される。そして、必要に応じてメモリ４４４に保存される。毎秒の取得枚数はカメラ１の仕様で決まるのであらかじめ決まっている。これらの静止画像をフレームと呼ぶこともある。時間的に前後するフレームからそれぞれ、第１マーカ１１１を抽出し、先のフレームにおける位置を始点とし、続くフレームにおける位置を終点としてベクトルを形成できる。このベクトルは、２フレーム間における第１マーカ１１１の移動量と移動方向及び向きを表すベクトルである。

【0058】

図９の処理フローにおいて、まず、クリックＦ、ＷクリックＦ、つまみＦをリセットする〔ステップ２１（ＳＴＰ２１）〕。１．５秒の間に取得した、数十枚のフレームから第１マーカ１１１と親指マーカ１１３とを抽出する〔ステップ２２（ＳＴＰ２２）〕。フレームの中で、最初に第１マーカ１１１と親指マーカ１１３とが接しているフレームを１ＳＴフレームとして特定する〔ステップ２３（ＳＴＰ２３）〕。フレームの中で、最後に第１マーカ１１１と親指マーカ１１３とが接しているフレームをＬａｓｔフレームとして特定する〔ステップ２４（ＳＴＰ２４）〕。

【0059】

次いで、条件３の判定に基づいて分岐する〔ステップ２５（ＳＴＰ２５）〕。条件３とは、１ＳＴフレームからＬａｓｔフレームまでのフレーム数が、この対象となっているフレーム数の８０％以上を占めることである。条件３を満たさない場合は‘偽’分岐して一連の処理を終了する。これにより、クリックＦと、ＷクリックＦと、つまみＦとは全てリセット状態のままとなる。これはたまたま１フレームだけ両マーカが接触して見えたという状況を排して誤作動を防止する効果がある。

【0060】

条件３を満たす場合は、‘真’分岐して条件４に基づく判定をする〔ステップ２６（ＳＴＰ２６）〕。条件４は、フレームの取得時間の順序において、１ＳＴフレームとＬａｓｔフレームとの間に取得されたフレームの中で、第１マーカ１１１と親指マーカ１１３とが離間したフレームが存在することである。条件４を満たさなければ‘偽’分岐して、つまみＦをセット〔ステップ２７（ＳＴＰ２７）〕した後に一連の処理を終了する。

【0061】

条件４を満たす場合は‘真’分岐して、条件５に基づく判定をする〔ステップ２８（ＳＴＰ２８）〕。条件５は、フレームの取得時間の順序において、両マーカが離間している最初のフレーム最後のフレームとの間に取得されたフレームの中に、両マーカが接しているフレームが存在することである。条件５を満たさなければ‘偽’分岐してクリックＦをセット〔ステップ２９（ＳＴＰ２９）〕した後に一連の処理を終了する。条件５を満たす場合は‘真’分岐してＷクリックＦをセット〔ステップ３０（ＳＴＰ３０）〕した後に一連の処理を終了する。

【0062】

以上が、第１マーカ１１１と親指マーカ１１３との動作解析処理のフローである。ステッム１３（ＳＴＰ１３）にてこの処理を実行した後は、動作に応じたフラグがセットされている。ここで、上記の条件３と、条件４及び条件５の意味を説明する。

【0063】

条件３は、１．５秒という期間の８０％にあたる、１．２秒にも満たない接触動作は無視するという条件である。この場合はいずれのフラグもセットされずに一連の処理を終了する〔ステップ２５（ＳＴＰ２５）〕。

【0064】

条件４は、両マーカが最初に接してから最後に離間するまでの間に離間した期間があったという条件である。これは、つまみ動作ではないという条件である。これを裏返せば、１．２秒以上両マーカを接触させていればつまみ動作として処理されるということである。この場合はつまみＦがセットされる〔ステップ２７（ＳＴＰ２７）〕。

【0065】

つまみ動作でない場合は、クリック動作なのかＷクリック動作なのかを条件５で判定する。条件５は両マーカが離間している間に一度も接触していないかを判定している。１回も接触していなければクリック動作と判定してクリックＦをセットする〔ステップ２９（ＳＴＰ２９）〕。これは、親指と人差し指をと短時間に２回合わせる動作である。１回以上接している場合は、親指と人差し指をと短時間に３回以上合わせる動作であり、Ｗクリックと判定してＷクリックＦをセットする〔ステップ３０（ＳＴＰ３０）〕。

【0066】

以上が、第１実施形態の頭部装着型情報機器Ａ１である。タッチパネル機器やマウスといったポインティングデバイス等の機器類を手元に置かずとも、情報機器を用いてマニュアル等の情報にアクセスできる。しかも、使用者が頭部を動かしてもカーソルが不用意に移動しないという効果がある。

【0067】

〔第２実施形態〕
次に本発明に基づく第２実施形態を説明する。第２実施形態の頭部装着型情報機器Ａ２の機器構成は第１実施形態と同様である。しかし、第１実施形態と第２実施形態とは、カーソル更新が中断した後の復帰の方法が異なる。第１実施形態では、図１（Ｄ）に示される処理フローが繰り返し実行されるため、カメラ１の回転が検出されず、第２マーカ１１２が検出されない状態になれば、カーソル更新が可能で、つまみ動作、クリック動作、Ｗクリック動作も可能である。しかし、第２実施形態では、一旦、カーソル更新が不能になると所定の手続きをしなければカーソル更新やクリック動作等の動作を実行することができない。

【0068】

〔動作概要〕
図１０を参照して、第２実施形態の頭部装着型情報機器Ａ２の動作概要を説明する。ジャイロセンサ３がカメラ１の回転を検出したり、マーカ検出部４１によって第１マーカ１１１が検出されなかったり、第２マーカ１１２が検出されたりした場合には、図１０（Ａ）に示すように、それまでカーソル２２が表示されていた場所に、フリーズマーク２４（以後、Ｆマーク２４とも表す。）が表示される。そして、使用者の指先に装着された第１マーカ１１１が検出された位置に応じて、表示領域２１内にはフリーズカーソル２５（以後、ＦＣ２５とも表す。）が表示されるようになっている〔図１０（Ｂ）〕。使用者が指先を動かすことにより、ＦＣ２５の位置を自由に変えることができる。そして、ＦＣ２５をＦマーク２４に重ねると、Ｆマーク２４が消去され、ＦＣ２５はカーソル２２に置き換わる〔図１０（Ｃ）〕。以後の動作は第１実施形態の頭部装着型情報機器Ａ１と同様である。尚、使用者にとって区別しやすくするように、Ｆマーク２４と、カーソル２２とは外観上区別し得るように、形状や表示面積若しくは色彩に差異があることが好ましい。また、ＦＣ２５と、カーソル２２とも外観上区別し得るように、形状や表示面積若しくは色彩に差異があることが好ましい。

【0069】

図１１を参照して、第２実施形態の頭部装着型情報機器Ａ２の処理フローを説明する。ここに示す一連の処理は演算器４０で実行される。しかし、「開始」から何度も繰り返されるのではない。原則として、頭部装着型情報機器Ａ２使用開始時に開始され、使用終了時に終了する。使用中は、ステップ３１（ＳＴＰ３１）を最初に１回実行してスリープモードを解除した後、ステップ３４（ＳＴＰ３４）からステップ４０（ＳＴＰ４０）までを繰り返し実行する。頭部装着型情報機器Ａ２の電源が切られたりするなどの終了条件が満たされると一連の処理を終了する〔ステップ４０（ＳＴＰ４０）〕。終了条件とは、使用者によって同情報機器Ａ２の終了操作が行われたり、電源が切られたりすることである。

【0070】

頭部装着型情報機器Ａ２の電源が投入されると表示領域２１内に予め定められている初期カーソル位置に、フリーズマーク２４（以後、Ｆマークと表す。）を表示する。そしてフリーズフラグ（以下、ＦＦと表す。）をセットする〔ステップ３１（ＳＴＰ３１）〕。Ｆマーク２４は同情報機器Ａ２がフリーズモードであり、通常の動作をさせるには所定の手続きが必要であることを示している。フリーズモードであることを使用者に示すために、Ｆマーク２４と、カーソル２２とは外観上区別し得ることが好ましい。そしてＦＦは１ビットメモリであり、セット状態でフリーズモードであることを表し、リセット状態でフリーズモードが解除された状態であることを表す。

【0071】

この一連の処理の開始時はＦＦがセットされているのでこれをリセットする必要がある。そこで、ＦＦリセットルーチンを実行する〔ステップ３２（ＳＴＰ３２〕。ＦＦリセットルーチンの内容は後記する。リセットルーチンに入るたびに、使用者はＦＣ２５を移動させ、ようやく、これをＦマーク２４に重ねることでＦＦリセット処理を完了する。したがって、１回だけＦＦリセットルーチン〔ステップ３２（ＳＴＰ３２）〕に入ってもＦＦがリセットされるわけではない。

【0072】

ステップ３３（ＳＴＰ３３）でＦＦがリセットされているかを判定する。リセットされていなければ‘偽’分岐して終了条件を判定する〔ステップ４１（ＳＴＰ４１）〕。終了条件を満たせば一連の処理を終了する。終了条件を満たさなければ‘偽’分岐してＦＦリセットルーチン〔ステップ３２（ＳＴＰ３２）〕に戻る。要するに、ＦＦリセットされるまで、ステップ３２（ＳＴＰ３２）と、ステップ３３（ＳＴＰ３３）と、ステップ４１（ＳＴＰ４１）とを繰り返し、リセットされたならば、ステップ３４（ＳＴＰ３４）へ移行する。この時点でフリーズモードは解除され、Ｆマークは消去されている。ステップ４１（ＳＴＰ４１）の終了条件は、ステップ４０（ＳＴＰ４０）のリセット条件と同様である。

【0073】

フリーズモードが解除されてＦＦがリセットされたなら、最初にカメラ１の回転の有無がチェックされる〔ステップ３４（ＳＴＰ３4）〕。回転が検出されると‘真’分岐し、円の中に３の表記で表されている先であるステップ３７（ＳＴＰ３７）へ移行する。ここではＦマークが表示され、ＦＦがセットされる〔ステップ３７（ＳＴＰ３７）〕。つまりこれは、カメラ１の回転により、再びフリーズモードになったことを意味する。Ｆマークは、原則として、カーソル２２のあった場所にカーソル２２の代わりに表示される。フリーズモードを解除するには、ステップ３２（ＳＴＰ３２）を経て、上述した処理を繰り返す必要がある。

【0074】

カメラ１の回転が検出されなければ、ステップ３４（ＳＴＰ３4）で‘偽’分岐してマーカ検出処理が行われる〔ステップ３５（ＳＴＰ３５）〕。マーカ検出処理はマーカ検出部４１の処理である。次いで、この処理に基づいて条件１の判定をする〔ステップ３６（ＳＴＰ３６）〕。条件１は、前述のとおり、第１マーカ１１１が未検出または第２マーカ１１２が検出されていることである。条件１が満たされていれば‘真’分岐して円の中に３の表記で表されている先であるステップ３７（ＳＴＰ３７）へ移行する。つまり、再びフリーズモードになる。

【0075】

条件１が満たされなければ‘偽’分岐し、第１マーカ１１１の検出位置に基づいてカーソル２２の表示位置を更新する〔ステップ３８（ＳＴＰ３８）〕。第１マーカ１１１と親指マーカ１１３の動作に基づいて、上述したアイコンに関する処理を行う〔ステップ３９（ＳＴＰ３９）〕。その後、終了条件に基づいて分岐する〔ステップ４０（ＳＴＰ４０）〕。終了条件を満たす場合は‘真’分岐で一連の処理を終了する。一方、終了条件を満たさなければ‘偽’分岐してステップ３４（ＳＴＰ３４）へ戻る。以上説明したように、ステップ３４（ＳＴＰ３４）と、ステップ３５（ＳＴＰ３５）と、ステップ３６（ＳＴＰ３６）と、ステップ３８（ＳＴＰ３８）と、ステップ３９（ＳＴＰ３９）と、ステップ４０（ＳＴＰ４０）とを経てカーソル２２の位置が制御される。尚、ここでも「条件１」の代わりに「条件１Ｂ」を適用することで第２マーカ１１２の役割を変えることができる。

【0076】

次に図１２を参照して、ＦＦリセットルーチンの内容を説明する。これは表示領域２１内でカーソル２２の代わりにＦＣ２５を移動させて、Ｆマーク２４に重ねる処理である。まず、カメラ１の回転の有無に応じて分岐する〔ステップ４２（ＳＴＰ４２）〕。回転が検出された場合は‘真’分岐してリセット処理を終了する。その結果、ステップ３３（ＳＴＰ３３）を経て再び、ステップ３２（ＳＴＰ３２）のＦＦリセットルーチンを開始する。

【0077】

ステップ４２（ＳＴＰ４２）の条件分岐でカメラ１の回転が検出されなければ‘偽’分岐してマーカ検出処理を行う〔ステップ４３（ＳＴＰ４３）〕。マーカ検出処理はマーカ検出部４１の処理である。次いで、この処理に基づいて条件１判定をする〔ステップ４４（ＳＴＰ４４）〕。条件１は、前述のとおり、第１マーカ１１１が未検出または第２マーカ１１２が検出されていることである。条件１が満たされていれば‘真’分岐して、ＦＦリセットルーチンを終了する。

【0078】

条件１が満たされていなければ‘偽’分岐して、第１マーカ１１１の検出位置に基づいて表示領域２１にＦＣ２５を表示する。フリーズモードなので、カーソル２２ではなく、ＦＣ２５の位置が更新されて表示される。ＦＣ２５はやがてＦマーク２４と重なって、フリーズモードは解除される。これを実現するために、第１マーカ１１１の検出位置に応じてＦＣ２５を表示領域２１に表示する〔ステップ４５（ＳＴＰ４５）〕。次いで、Ｆマーク２４にＦＣ２５が重なっているか否かを判定する〔ステップ４６（ＳＴＰ４６）〕。両者が重なっていなければ‘偽’分岐してＦＦリセットルーチンを終了する。一方、両者が重なっていれば‘真’分岐してＦＦをリセットし、Ｆマーク２４を消去してから〔ステップ４７（ＳＴＰ４７）〕ＦＦリセットルーチンを終了する。以上が、ＦＦリセットルーチンの内容である。第２実施形態によれば、フリーズモードに入る直前にカーソル２２が表示されていた位置から、再びカーソル操作を開始することができる。尚、ステップ３６（STP３６）にて条件１Ｂを適用した場合は、ステップ４４（ＳＴＰ４４）にても条件１Ｂを適用し、第２マーカ１１２の意味合いを統一しなければならない。

【0079】

ＦＣ２５とカーソル２２とは、表示面積、形状又は色彩のいずれかに差異があって外観上識別し得る態様で表示されるのが好ましい。例えば図１０では、ＦＣ２５は６角の星形で、カーソル２２は下向き矢印であって、表示面積と形状において外観上識別し得る態様で表されている。そのほか、ＦＣ２５が濃色でカーソル２２が淡色などと色彩の差異で外観上識別し得る態様で表示されていてもよい。

【0080】

〔第３実施形態：ベクトル入力型ポインティングデバイス付情報機器〕
次に図１３を参照して、本発明に基づく第３実施形態の頭部装着型情報機器Ａ３を説明する。同頭部装着型情報機器Ａ３の機器構成は第１実施形態及び第２実施形態と同様である。しかし、マーカ検出領域１１Ｄで検出された第１マーカ１１１の位置を、表示領域２１内のカーソル表示位置２１１へ変換する方法が異なる。

【0081】

先に説明した情報機器Ａ１とＡ２とは、マーカ検出領域１１Ｄと表示領域２１とが一意に対応していた。一方、第３実施形態の頭部装着型情報機器Ａ３では、同情報機器Ａ３の使用開始時に、表示領域２１において、最初にカーソル２２が表示される位置が決まっている。これをカーソル初期表示位置２１１Ａという。そして、移動後のカーソル２２の表示位置であるカーソル表示位置２１１は、カーソル初期表示位置２１１Ａを始点とする表示カーソル移動ベクトル１１１Ｃの終点として決まる。

【0082】

つまり、カーソル初期表示位置２１１Ａをカーソル原点ＣＯについての位置ベクトルＰＣ０とし、カーソル表示位置２１１の位置ベクトルをＰＣとすると、
ＰＣ＝ＰＣ０＋（表示カーソル移動ベクトル１１１Ｃ）
と表される。この例を図１３に示している。図１３（Ｃ）では、表示領域２１の中央にカーソル初期表示位置２１１Ａがある。ここは位置ベクトルＰＣ０で表される。そして、位置ベクトルＰＣ０に、表示カーソル移動ベクトル１１１Ｃが加算されて、位置ベクトルＰＣが生成される。ＰＣの終点がカーソル表示位置２１１であり、ここにカーソル２２が表示されている。

【0083】

表示カーソル移動ベクトル１１１Ｃは、図１３（Ｂ）に示す、第１マーカ積算ベクトル１１１Ｂを、表示領域２１へ表示するためにスケール変換したベクトルである。後記するように、第１マーカ積算ベクトル１１１Ｂは、マーカ検出領域１１Ｄ内で使用者が動かす第１マーカ１１１の移動方向と移動量とが積算されて決まるベクトルである。一方、表示カーソル移動ベクトル１１１Ｃは表示領域２１上のカーソル２２の動きを規定するベクトルである。使用者にとって使いやすいカーソル操作感度となるように、第１マーカ積算ベクトル１１１Ｂをスケールアップ若しくはスケールダウンというスケール変換をする必要がある。つまり、使用者の使いやすさを考慮して、第１マーカ積算ベクトル１１１Ｂにスケール変換かけたものが表示カーソル移動ベクトル１１１Ｃである。

【0084】

マーカ検出領域１１Ｄの平面上に生成されるベクトルである第１マーカ積算ベクトル１１１Ｂは、検出第１単位ベクトルＤＶ１と検出第２単位ベクトルＤＶ２との線形結合で表される。ただし、第１実施形態及び第２実施形態の場合と異なり、ここでは単に大きさと向き方向のみに意味があるベクトルとして扱い、検出原点ＤＯについての位置ベクトルとはみなさない。このベクトルのベクトル成分はそれぞれ、ＣＭ１とＣＭ２とである〔図１３（Ｂ）〕。

【0085】

一方、表示領域２１上に生成されるベクトルである表示カーソル移動ベクトル１１１Ｃは、カーソル第１単位ベクトルＣＶ１とカーソル第２単位ベクトルＣＶ２との線形結合で表される。そして、この時のベクトル成分をそれぞれ、ＣＣＭ１とＣＣＭ２とする。ここで、第１実施形態及び第２実施形態の場合のようにＣＣＭ１＝ＣＭ１・ＭＧ１、ＣＣＭ２＝ＣＭ２・ＭＧ２という関係を使う。前述のとおり、第１係数ＭＧ１と第２係数ＭＧ２とは、使用者が使いやすいようにスケール変換するために設計される係数である。このようにして、第１マーカ積算ベクトル１１１Ｂから表示カーソル移動ベクトル１１１Ｃにスケール変換される。ただし、この変換は相似変換に限らず、縦横比が保たれている場合に限られない。

【0086】

次に、図１３（Ａ１）～（Ａ３）と（Ｂ）を参照して、第１マーカ移動ベクトル１１１Ａから第１マーカ積算ベクトル１１１Ｂが生成されるまでを説明する。図１３（Ａ１）ではマーカ検出領域１１Ｄ内で、第１マーカ１１１を装着した手が左上から右下へ移動している。この移動に伴い、第１マーカ移動ベクトル１１１（ア）が検出される。（Ａ２）では、同じ手が、右下から左上へ移動し、第１マーカ移動ベクトル１１１（イ）が検出される。更に、（Ａ３）では、同じ手が、左上から右下へ移動し、第１マーカ移動ベクトル１１１（ウ）が検出される。

【0087】

第１マーカ移動ベクトルを次々と積算して第１マーカ積算ベクトルを形成する際に、第２マーカ１１２が検出された時の第１マーカ移動ベクトル１１１は加算しない。この場合は第１マーカ移動ベクトル１１１（イ）を積算しない。第２マーカ１１２をカメラ１に向けて検出させるのは、このときの第１マーカ移動ベクトル１１１を積算させないという使用者の意志表示だからである。そうすると、第１マーカ積算ベクトル１１１Ｂは図１３（Ｂ）に示すように、第１マーカ移動ベクトル１１１Ａ（ア）と第１マーカ移動ベクトル１１１Ａ（ウ）との和になる。尚、第１マーカ移動ベクトル１１１Ａが検出された時、ジャイロセンサ３がカメラ１のパンニング回転やチルティング回転を検出していた時も、第１マーカ積算ベクトル１１１Ｂには積算しない。

【0088】

第１マーカ積算ベクトル１１１Ｂをスケール変換した表示カーソル移動ベクトル１１１Ｃの始点をカーソル初期表示位置２１１Ａとすれば、その終点がカーソル表示位置２１１であるからここに、カーソル２２が表示される。このように、複数の第１マーカ移動ベクトル１１１Ａの積算によってカーソル２２の位置を制御するので、マーカ検出領域１１Ｄを広く取れない状況でも、カーソル２２の移動を制御することができる。

【0089】

次に図１４を参照して、頭部装着型情報機器Ａ３の処理フローを説明する。ここでの様々な判断処理は演算器４０で行われる。ここに示す一連の処理は、演算器４０で繰り返されるものではなく、原則として、頭部装着型情報機器Ａ３使用開始時に開始され、使用終了時に終了する。使用中は、ステップ５１（ＳＴＰ５１）を最初に１回実行し、ステップ５５（ＳＴＰ５５）にて第１マーカ移動ベクトル１１１の始点をセットした後、ステップ５６（ＳＴＰ５６）からステップ６５（ＳＴＰ６５）までを繰り返し実行する。頭部装着型情報機器Ａ３の電源が切られるなどの終了条件が満たされると、一連の処理を終了する〔ステップ６５（ＳＴＰ６５）〕。

【0090】

まず、第１マーカ積算ベクトル１１１Ｂをゼロクリアする。そしてカーソル初期表示位置２１１Ａにカーソル２２を表示する〔ステップ５１（ＳＴＰ５１）〕。次いで、ジャイロセンサ３の出力からカメラ１の回転の有無を判定する〔ステップ５２（ＳＴＰ５２）〕。回転が検出されると‘真’分岐して、円の中に１の表記で表されている先の終了条件判定分岐であるステップ６４（ＳＴＰ６４）へ行く。使用者が電源を切るなどの終了条件が満たされれば‘真’分岐して一連の動作を終了する。一方、終了条件が満たされなければ‘偽’分岐して再び、カメラ回転判定をする〔ステップ５２（ＳＴＰ５２）〕。

【0091】

カメラ回転が検出されなければ‘偽’分岐して、マーカ検出処理をする〔ステップ５３（ＳＴＰ５３）〕。マーカ検出処理はマーカ検出部４１の処理である。次いで、この処理に基づいて条件１の判定をする〔ステップ５４（ＳＴＰ５４）〕。条件１は、前述のとおり、第１マーカ１１１が未検出または第２マーカ１１２が検出されていることである。条件１が満たされていれば‘真’分岐して、円の中に１の表記で表されている先の終了条件判定分岐であるステップ６４（ＳＴＰ６４）へ行く。そこから先の処理は上述のとおりである。

【0092】

条件１が満たされていなければ‘偽’分岐して、第１マーカ１１１の検出位置を第１マーカ移動ベクトル１１１Ａの始点とする〔ステップ５５（ＳＴＰ５５）〕。次いで、再びカメラの回転判定をする〔ステップ５６（ＳＴＰ５６）〕。回転が検出されれば‘真’分岐して円の中に１の表記で表されている先である終了条件の判定をする〔ステップ６４（ＳＴＰ６４）〕。そこから先の処理は上述のとおりである。

【0093】

ステップ５６（ＳＴＰ５６）にてカメラが回転していなければ‘偽’分岐してマーカ検出処理をする〔ステップ５７（ＳＴＰ５７）〕。これはステップ５３（ＳＴＰ５３）と同様の処理である。次いで、条件１の判定をする〔ステップ５８（ＳＴＰ５８）〕。条件１を満たしていれば‘真’分岐して円の中に１の表記で表されている先の終了条件判定をする〔ステップ６４（ＳＴＰ６４）〕。条件１を満たしていなければ‘偽’分岐して新たに検出した第１マーカ１１１の位置を終点とし、先に検出されていた始点との間で第１マーカ移動ベクトル１１１Ａを作成する〔ステップ５９（ＳＴＰ５９）〕。次いで、この第１マーカ移動ベクトル１１１Ａを第１マーカ積算ベクトル１１１Ｂに積算することで、これを更新する〔ステップ６０（ＳＴＰ６０）〕。

【0094】

更新済みの第１マーカ積算ベクトルを表示領域用にスケール変換した表示カーソル移動ベクトル１１１Ｃを作成し〔ステップ６１（ＳＴＰ６１）〕、このベクトルに基づいてカーソル２２を表示するカーソル表示位置２１１を更新する〔ステップ６２（ＳＴＰ６２）〕。

【0095】

次いで、第１マーカ移動ベクトル１１１Ａの終点を新たな始点とし〔ステップ６３（ＳＴＰ６３）〕、円の中に２の表記で表されている先である終了条件判定をする〔ステップ６５（ＳＴＰ６５）〕。終了判定の内容はステップ６４（ＳＴＰ６４）と同様である。終了条件を満たす場合は‘真’分岐して一連の処理を終了する。終了条件を満たさない場合は‘偽’分岐してステップ５６（ＳＴＰ５６）にてカメラ１の回転判定をする。この処理フローは、カメラ回転が検出されず、条件１を満たさない場合は、ステップ５６（ＳＴＰ５６）～ステップ６５（ＳＴＰ６５）までを繰り返して、カーソル２２の位置を更新していく。

【0096】

ところで、ステップ６２（ＳＴＰ６２）で、カーソル位置を更新しようとした場合に、カーソル表示位置２１１が表示領域２１外になる場合がある。この時は、カーソル更新前後の位置を結んだ線上で表示領域２１と交差する位置にカーソル２２を表示すればよい。

【0097】

また、第３実施形態でも、条件１の代わりに条件１Ｂを適用することができる。この場合、第１マーカ１１１と第２マーカ１１２とがいずれも検出されていなければ第１マーカ積算ベクトル１１１Ｂは更新されず、カーソル表示位置２１１も更新されない。図１３の（Ａ１）～（Ａ３）を例にとるならば、（Ａ２）のみがカーソル表示位置２１１を更新する有効な動作であるということになる。

【0098】

以上の構成を採る頭部装着型情報機器Ａ３は、カメラ１の撮影画角１１を大きくとれなかったり、マーカ検出領域１１Ｄを大きくとれなかったりする場合でも、大きな表示領域２１に対してカーソル移動操作をすることができる。また、この構成ではカメラ１の回転によるカーソル操作の中断でカーソルがある位置で停止している場合、カメラ回転が無くなってカーソル操作が可能になった時点で、これまでカーソルが停止していた位置から操作を再開できる。したがって実施形態２のように、フリーズモードカーソルなどを設けなくてもよい。

【0099】

〔親指カーソルの表示〕
第２マーカ１１２の検出位置に基づいて、表示領域２１に親指カーソル２２１を表示する場合について説明する。図１５（Ａ１）と（Ａ２）とは、第１実施形態や第２実施形態において、カーソル２２と共に親指カーソル２２１を表示している例である。同図（Ａ１１）と（Ａ２１）とは、それぞれ、第１マーカ１１１と第２マーカ１１２とを離間させている手の姿勢と、第１マーカ１１１と第２マーカ１１２とを接触させている手の姿勢である。

【0100】

第１実施形態と第２実施形態とでは、マーカ検出領域１１Ｄにおける検出位置と、表示領域２１における位置とが一意に対応している。そこで、第１マーカ１１１に対してした変換と同様の変換を、第２マーカ１１２の検出位置に対して行えば、親指カーソル２２１を表示すべき位置が決まるので、そこに親指カーソル２２１を表示する。

【0101】

しかし、第３実施形態の頭部装着型情報機器Ａ３では、検出領域１１Ｄにおける検出位置と表示領域２１における表示位置とが一意に対応していないので、上記の構成をとることができない。図１５（Ｂ１）と（Ｂ２）とは、第３実施形態において、カーソル２２と共に親指カーソル２２１を表示している例である。同図（Ｂ１１）と（Ｂ２１）とは、それぞれ、第１マーカ１１１と第２マーカ１１２とを離間させている手の姿勢と、第１マーカ１１１と第２マーカ１１２とを接触させている手の姿勢である。

【0102】

第３実施形態で親指カーソル２２１を表示する場合は、表示領域２１内のカーソル２２から一定の距離ｄｉｓｔだけ離れた位置に親指カーソル２２１を表示する。第１マーカ１１１と第２マーカ１１２とが接している場合には、カーソル２２に接するか極めて接近させて親指カーソル２２１を表示することができる。以上、親指カーソル２２１の表示例を説明した。

【0103】

これまでに説明した、実施形態１～３の頭部装着型情報機器では、第１マーカ１１１の移動方向や移動の速度を計測することができるので、移動方向に応じて画面をスクロールさせたり、切り替えたりする機能を実現することができる。

【0104】

〔第４実施形態：サーバ型〕
次に図１６を参照して、本発明に基づく第４実施形態の頭部装着型情報機器４を説明する。この構成において、情報機器本体はサーバＡ４Ｓである。の頭部装着型情報機器Ａ４は、カメラ１と、表示部２と、ジャイロセンサ３と、演算部４０４と、メモリ４４４と、通信部５とを有する。カメラ１の取得画像と、ジャイロセンサ３の出力とは、通信部５を介してサーバＡ４Ｓへ送られる。メモリ４４４は演算器４０４の演算の用に供される。

【0105】

サーバ４ＡＳはサーバ演算器４０Ｓと、サーバメモリ４４４Ｓと、サーバ通信部５Ｓとを有している。メモリ４４４Ｓはサーバ演算器４０Ｓの演算の用に供される。サーバ演算器４０Ｓは、サーバ通信部５Ｓを介してカメラ１の取得画像とジャイロセンサ３の出力を受信してこれを処理する。サーバ演算器４０Ｓにはマーカ検出部４１Ｓと、座標変換部４２Ｓと、カーソル重畳部４３Ｓとを有している。若しくはこれらの機能をソフトウェアに従った演算で実現することができる。

【0106】

マーカ検出部４１Ｓは、カメラ１の撮影画角内に設定されたマーカ検出領域１１Ｄ内で、第１マーカ１１１及び第２マーカ１１２を検出する。そして、マーカ検出領域１１Ｄにおける第１マーカ１１１の検出位置に基づいて、表示部２の表示領域２１内にカーソル２２を表示する。しかし、第１マーカ１１１が検出されるときに、ジャイロセンサ３がカメラ１の回転を検出していたり、マーカ検出部４１Ｓが第２マーカ１１２を検出していたりした場合には、カーソル２２の表示位置２１１を更新しない。

【0107】

尚、カーソル重畳部４３Ｓは、サーバＡ４Ｓが持つ情報機器本体の機能によりディスプレイに表示すべき画面に、座標変換されたカーソル２２を重畳する。カーソル２２が重畳された表示用画像は、サーバ演算器４０Ｓによってサーバ通信部５Ｓを介して頭部装着型情報機器Ａ４へ送られる。同情報機器Ａ４は通信部５を介してこれを受けとって表示部２に表示する。このような構成にすると、同情報機器Ａ４の演算器４０４の負担が軽くなる。これにより消費電力が低く抑えられて、同情報機器Ａ４のバッテリを小さくできるなど、給電条件が緩和される。

【0108】

図１７にヘッドマウント型の表示例を示す。図１７（Ａ）は本発明に基づく頭部装着型情報機器を、使用者の頭上から表した概念図である。一部が透明に表されている。使用者の頭部右側に表示部２の本体を装着している。表示部２から出射された表示画像は、光路ＬＰを通ってミラー１６Ａと、ミラー１６Ｂ及びプリズム１６Ｃを経て使用者の目Ｒ－Ｅｙｅに到達する。この構成にして、使用者は表示部２が表示する画像を虚像として視認することができる。

【0109】

図１７（Ｂ１）は、使用者が、本発明に基づく頭部装着型情報機器を装着した様子を右側から見た図である。そして、（Ｂ２）は同情報機器を使用しないときに、ミラー１６Ａと、ミラー１６Ｂ及びプリズム１６Ｃとが含まれている部分を頭部上方へ回し上げている状態である。このようにすると、使用者は自らの前景を直接見ることができる。

【0110】

〔第５実施形態：視点検出機能〕
第５実施形態の頭部装着型情報機器Ａ５は、これまで説明した頭部装着型情報機器において、使用者の眼球を撮影する眼球カメラ６を追加したものである〔図１８（Ａ）〕。図１８Ａの頭部装着型情報機器は一部透明に表されている。そして、演算器４０には、眼球カメラ６で取得した、使用者の眼球画像を解析して、使用者が表示領域２１のどこに視点６１を置いているのかを検出する機能が含まれている。この機能を実現するのは視点検出部４４である。視点検出部４４は演算器４０に電子回路として組み込まれていてもよいが、ソフトウェアで実現されているものでもよい。また、実施形態４のようなサーバＡ４Ｓを有する場合は、前記眼球画像を通信部５とサーバ通信部５Ｓとを介して、サーバ演算器４０Ｓへ送り、ここで視点検出をさせてもよい。

【0111】

ここで、図１９を参照して視点計測処理について説明する。視点検出部４４は眼球カメラ６が取得する眼球画像から使用者の視線を検出するものである。より具体的には、使用者の視線と表示部２の表面とが交差する場所である視点６１の同表示部２の表面における座標を検出するものである。第５実施形態においては、眼球画像から使用者の瞳の位置を検出する。眼球画像とは、例えば、図１９（Ｂ２）に示す画像である。瞳の位置は輝度に基づいて検出する。瞳の検出を安定化するために、眼球に近赤外照明を当ててもよい。この場合、眼球カメラ６は近赤外線領域に感度の高いカメラを用いる。

【0112】

そして、視点検出に先立ち、図１９（Ａ１）と（Ａ２）とに示されるキャリブレーション動作が必要である。表示部２の表示面である領事領域２１内の所定の位置には、キャリブレーション点Ｑ１と、Ｑ２、Ｑ３、Ｑ４が表示されている〔図１９（Ａ２）〕。同情報端末Ａ５を装着した使用者はこれらの指定されたキャリブレーション点を目で追う。この時の眼球画像における瞳の位置Ｅ１とＥ２とＥ３とＥ４とが、視点検出部４４によって記録される。これは、表示領域２１における視点６１の位置と、その時の眼球画像における瞳の位置との対応付けを行うことが目的である。

【0113】

この対応付けができたなら、例えば、図１９（Ｂ２）ア）に示す右目眼球画像から、同じ行の（Ｂ３）のように瞳の位置Ｅ１が検出されると、視点６１はキャリブレーション点Ｐ１上にあると判断される。ここで、使用者の視認する表示部２の表面である表示領域２１が表示する向きと、眼球カメラが瞳を撮影する向きとは、ほぼ逆向きゆえに左右逆転していることに注意する。（Ｂ３）アイウエのいずれにも一致しない位置に瞳を検出した場合には、（Ｂ１）のキャリブレーション点アイウエの位置から内そう又は外そうして視点６１の座標を検出する。以上が、視点検出部４４の処理である。

【0114】

再び図１８に戻る。図１８（Ｂ２）は第１マーカ１１１と親指マーカ１１３とを装着した使用者の手であって、両マーカを離間した姿勢を表している。そして、図１８（Ｂ１）はこのときの表示領域２１であって、カーソル２２と親指カーソル２２１とが表示されている。そして、使用者がカーソル２２と親指カーソル２２１との間を見つめて視点６１を置いている。この視点６１は必ずしも表示領域２１に表示しなくてもよい。しかし、演算器４０またはサーバ演算器４０Ｓは、表示領域２１におけるカーソル２２と、これから離間した親指カーソル２２１と、カーソル２２と親指カーソル２２１との間に位置する視点６１との位置関係が成立していることを把握できる。このような場合に演算器４０またはサーバ演算器４０Ｓは表示領域２１に表示される画像を拡大表示若しくは縮小表示させることができる。

【0115】

また、図１８（Ｃ２）は第１マーカ１１１と親指マーカ１１３とを装着した使用者の手であって、両マーカを接触させた姿勢を表している。そして、図１８（Ｃ１）はこのときの表示領域２１であって、カーソル２２とこれに接した親指カーソル２２１とが表示されている。そして、使用者がカーソル２２と親指カーソル２２１とを見つめて視点６１を置いている。この視点６１は必ずしも表示領域２１に表示しなくてもよい。しかし、演算器４０またはサーバ演算器４０Ｓは、表示領域２１におけるカーソル２２と、これに接した親指カーソル２２１と、カーソル２２と親指カーソル２２１と接点に位置する視点６１との位置関係が成立していることを把握できる。このような場合に演算器４０またはサーバ演算器４０Ｓは表示領域２１に表示される画像を縮小表示若しくは拡大表示させることができる。

【0116】

このように、指先の姿勢に視点６１の置き場所を加えて使用者の意思を演算器４０またはサーバ演算器４０Ｓに伝えることとすることによって、同情報機器の誤操作を防止することができる。

【符号の説明】

【0117】

Ａ１・・・第１実施形態の頭部装着型情報機器、
Ａ２・・・第２実施形態の頭部装着型情報機器、
Ａ３・・・第３実施形態の頭部装着型情報機器、
Ａ４・・・第４実施形態の頭部装着型情報機器、
Ａ５・・・第５実施形態の頭部装着型情報機器、
Ａ１f・・・メガネ状つる、Ａ４Ｓ・・・サーバ、１・・・カメラ、１L・・・レンズ、
１１・・・撮影画角、１１Ｓ・・・フォトセンサ、１１Ｄ・・・マーカ検出領域、
１１１，１１１Ｃ・・・第１マーカ、１１１Ａ・・・第１マーカ移動ベクトル、
１１１Ｂ・・・第１マーカ積算ベクトル、１１２・・・第２マーカ、
１１３・・・親指マーカ、１６Ａ，１６Ｂ・・・ミラー、１６Ｃ・・・プリズム、
２・・・表示部、２１・・・表示領域、２１１・・・カーソル表示位置、
２１１Ａ・・・カーソル初期表示位置、２２・・・カーソル、
２２１・・・親指カーソル、２３・・・アイコン、２４・・・フリーズマーク、
２５・・・フリーズカーソル、３・・・ジャイロセンサ、
４・・・コントロールボックス、４０，４０４・・・演算器、４４４・・・メモリ、
４４４Ｓ・・・サーバメモリ、４０Ｓ・・・サーバ演算器、
４１・・・マーカ検出部、４２・・・座標変換部、４３・・・カーソル重畳部、
４４・・・視点検出部、５，５Ｓ・・・通信部、６・・・眼球カメラ、６１・・・視点、
Ｄ０・・・検出原点、ＤＶ１・・・検出第１単位ベクトル、
ＤＶ２・・・検出第２単位ベクトル、Ｃ０・・・カーソル原点、
ＣＶ１・・・カーソル第１単位ベクトル、ＣＶ２・・・カーソル第２単位ベクトル、
Ｅ１，Ｅ２，Ｅ３，Ｅ４・・・瞳の位置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】