特許 6110764 メガネ型表示装置、表示制御装置、表示システム及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6110764

(24)【登録日】2017年3月17日

(45)【発行日】2017年4月5日

(54)【発明の名称】メガネ型表示装置、表示制御装置、表示システム及びコンピュータプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20170327BHJP

   G06F 3/0346 20130101ALI20170327BHJP

   G06F 3/048 20130101ALI20170327BHJP

   G09G 5/00 20060101ALI20170327BHJP

【ＦＩ】

   G06F3/01 515

   G06F3/01 570

   G06F3/0346 424

   G06F3/048

   G09G5/00 550C

   G09G5/00 555D

【請求項の数】8

【全頁数】13

(21)【出願番号】特願2013-180696(P2013-180696)

(22)【出願日】2013年8月30日

(65)【公開番号】特開2015-49695(P2015-49695A)

(43)【公開日】2015年3月16日

【審査請求日】2016年1月27日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100146835

【弁理士】

【氏名又は名称】佐伯 義文

(72)【発明者】

【氏名】河合 直樹

【審査官】 西田 聡子

(56)【参考文献】

【文献】 特開２００２−２６８８１５（ＪＰ，Ａ）

【文献】 特開２００５−２０２９６５（ＪＰ，Ａ）

【文献】 特開２００９−１１６６０９（ＪＰ，Ａ）

【文献】 特開２０１０−２３１２９０（ＪＰ，Ａ）

【文献】 特開２００１−０６７１７９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｆ ３／０４８

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

使用者の頭部の筋肉の動きを検出する動き検出部と、
前記頭部の傾動を検出する傾動検出部と
を備え、
前記傾動検出部は、前記動き検出部の検出結果に基づいて使用の可否を判断し、
前記動き検出部の検出結果、又は前記傾動検出部の検出結果及び前記動き検出部の検出結果に基づいて表示が制御されることを特徴とするメガネ型表示装置。

【請求項2】

前記動き検出部は咬筋の動きを検出することを特徴とする請求項１に記載のメガネ型表示装置。

【請求項3】

前記メガネ型表示装置のテンプルに咬筋電位センサーを設けたことを特徴とする請求項２に記載のメガネ型表示装置。

【請求項4】

使用者の頭部の筋肉の動きを検出する動き検出部と、前記頭部の傾動を検出する傾動検出部とを備えたメガネ型表示装置で検出された使用者の頭部の筋肉の動きの検出結果に基づいて、前記傾動検出部の検出結果の使用の可否を判断し、前記動き検出部の検出結果、又は前記傾動検出部の検出結果及び前記動き検出部の検出結果に基づいて表示の制御を行う、
ことを特徴とする表示制御装置。

【請求項5】

前記動き検出部の検出値が所定の閾値以上である期間において前記傾動検出部の検出結果を使用すると判断することを特徴とする請求項４に記載の表示制御装置。

【請求項6】

前記動き検出部の検出値が所定の時間幅以内で閾値以上である場合に、特定の操作の指定であると判断することを特徴とする請求項５に記載の表示制御装置。

【請求項7】

請求項１のメガネ型表示装置と、請求項４に記載の表示制御装置とを有する表示システム。

【請求項8】

コンピュータに、
使用者の頭部の筋肉の動きを検出する動き検出部と、前記頭部の傾動を検出する傾動検出部とを備えたメガネ型表示装置で検出された使用者の頭部の筋肉の動きの検出結果に基づいて、前記メガネ型表示装置の表示の制御を行うステップと、
前記動き検出部の検出結果に基づいて、前記傾動検出部が使用の可否を判断するステップと、
前記動き検出部の検出結果、又は前記傾動検出部の検出結果及び前記動き検出部の検出結果に基づいて表示の制御を行うステップと
を実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、メガネ型表示装置、表示制御装置、表示システム及びコンピュータプログラムに関する。

【背景技術】

【0002】

近年、グラスディスプレイと呼ばれるメガネ型表示装置が注目されている。グラスディスプレイは、グラスディスプレイをメガネのように装着した使用者の視覚空間に、様々な文字や図形などの情報画像を表示することができる。グラスディスプレイの表示を制御する表示制御技術として、例えば非特許文献１では音声認識技術を利用することにより、使用者が手で表示の操作を行わずに済むハンズフリー操作を実現している。また、特許文献１では、使用者の頭部自体の動き（頭部の縦の動きや横の動き）を検出し、該検出結果に基づいて表示の制御を行っている。

【0003】

また、特許文献２には、外部の情報処理装置の操作をハンズフリーで行う技術が記載されている。特許文献２のハンズフリー操作技術では、使用者の頭部にヘッドバンドにより装着される操作装置に、加速度センサーと使用者の頭部に当接する圧力センサーとを設ける。そして、加速度センサーで検出された頭部の傾動と圧力センサーで検出された頭部の筋肉の動きの変化とに応じて、情報処理装置へ操作信号を出力している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００４−２３３９０９号公報

【特許文献2】特開２００９−１１６６０９号公報

【特許文献3】特許第４７３０６２１号

【非特許文献】

【0005】

【非特許文献1】「ヘッドマウントディスプレイ式ハンズフリーピッキング」、インターネット＜ＵＲＬ：http://www.murata-system.co.jp/products/yubi_kitasu/index.html＞

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、上述した非特許文献１の表示制御技術では、使用者は音声を発する必要があるので、静穏が必要な環境下（例えば、図書館や教室、電車、バスなどの中）では使用しにくい。

【0007】

特許文献１の表示制御技術では、使用者は頭部を動かすことによって操作を行うが、使用者が周囲を視認するために頭部を動かしたり又は無意識に頭部を動かしたりした場合には誤操作となる。このため、使用者の頭部の動きの検出結果を表示制御に使用するタイミングを的確に判断することが課題である。

【0008】

特許文献２のハンズフリー操作技術では、使用者の頭部の傾動の検出結果と頭部の筋肉の動きの検出結果とはそれぞれ独立の制御信号として使用されるので、頭部の傾動の検出結果は使用者の操作の意思にかかわらず常に制御に使用される。これは誤操作の原因になる。このため、使用者の操作の意思を的確に判断し、使用者の操作の意思に基づいて頭部の傾動の検出結果を制御に使用することが課題である。

【0009】

本発明は、このような事情を考慮してなされたもので、グラスディスプレイ（メガネ型表示装置）の使用者の使い勝手の向上や誤操作の防止を図ることができるメガネ型表示装置、表示制御装置、表示システム及びコンピュータプログラムを提供することを課題とする。

【課題を解決するための手段】

【0010】

（１）本発明に係るメガネ型表示装置は、使用者の頭部の筋肉の動きを検出する動き検出部と、前記頭部の傾動を検出する傾動検出部とを備え、前記傾動検出部は、前記動き検出部の検出結果に基づいて使用の可否を判断し、前記動き検出部の検出結果、又は前記傾動検出部の検出結果及び前記動き検出部の検出結果に基づいて表示が制御されることを特徴とする。

【0011】

（２）本発明に係るメガネ型表示装置においては、上記（１）のメガネ型表示装置において、前記動き検出部は咬筋の動きを検出することを特徴とする。

【0012】

（３）本発明に係るメガネ型表示装置においては、上記（２）のメガネ型表示装置において、前記メガネ型表示装置のテンプルに咬筋電位センサーを設けたことを特徴とする。

【0015】

（４）本発明に係る表示制御装置は、使用者の頭部の筋肉の動きを検出する動き検出部と、前記頭部の傾動を検出する傾動検出部とを備えたメガネ型表示装置で検出された使用者の頭部の筋肉の動きの検出結果に基づいて、前記傾動検出部の検出結果の使用の可否を判断し、前記動き検出部の検出結果、又は前記傾動検出部の検出結果及び前記動き検出部の検出結果に基づいて表示の制御を行う、ことを特徴とする。

【0018】

（５）本発明に係る表示制御装置においては、上記（４）の表示制御装置において、前記動き検出部の検出値が所定の閾値以上である期間において前記傾動検出部の検出結果を使用すると判断することを特徴とする。

【0019】

（６）本発明に係る表示制御装置においては、上記（５）の表示制御装置において、前記動き検出部の検出値が所定の時間幅以内で閾値以上である場合に、特定の操作の指定であると判断することを特徴とする。

【0020】

（７）本発明に係る表示システムは、上記（１）のメガネ型表示装置と、上記（４）の表示制御装置とを有する。

【0021】

（８）本発明に係るコンピュータプログラムは、コンピュータに、使用者の頭部の筋肉の動きを検出する動き検出部と、前記頭部の傾動を検出する傾動検出部とを備えたメガネ型表示装置で検出された使用者の頭部の筋肉の動きの検出結果に基づいて、前記メガネ型表示装置の表示の制御を行うステップと、前記動き検出部の検出結果に基づいて、前記傾動検出部が使用の可否を判断するステップと、前記動き検出部の検出結果、又は前記傾動検出部の検出結果及び前記動き検出部の検出結果に基づいて表示の制御を行うステップとを実行させるためのコンピュータプログラムであることを特徴とする。

【発明の効果】

【0022】

本発明によれば、グラスディスプレイ（メガネ型表示装置）の使用者の使い勝手の向上や誤操作の防止を図ることができるという効果が得られる。

【図面の簡単な説明】

【0023】

【図1】本発明の一実施形態に係る表示システム１の構成を示すブロック図である。

【図2】図１に示すグラスディスプレイ１０の外観図である。

【図3】グラスディスプレイ１０の情報画像空間の例を示す説明図である。

【図4】本発明の一実施形態に係る表示制御処理のフローチャートである。

【図5】本発明の一実施形態に係る咬筋電位検出信号Ａ（瞬時値）と咬筋電位検出整流信号Ｂ（整流値）の例を示すグラフ図である。

【図6】本発明の実施例１に係るハンズフリー操作の例の説明図である。

【図7】本発明の実施例１に係る操作内容テーブル４０の例を示すテーブル図である。

【図8】本発明の実施例１に係る咬筋電位検出信号Ａ（瞬時値）と咬筋電位検出整流信号Ｂ（整流値）の例を示すグラフ図である。

【発明を実施するための形態】

【0024】

以下、図面を参照し、本発明の実施形態について説明する。
図１は、本発明の一実施形態に係る表示システム１の構成を示すブロック図である。図１において、グラスディスプレイ（メガネ型表示装置）１０は、表示部１１と咬筋電位センサー１２と加速度センサー１３とジャイロセンサー１４と通信部１５を有する。表示データ生成装置３０は、通信部３１と整流部３２と表示制御部３３と操作内容テーブル記憶部３４と表示データ生成部３５を有する。

【0025】

グラスディスプレイ１０の通信部１５と表示データ生成装置３０の通信部３１とは、無線通信又は有線通信により、相互にデータを送受する。

【0026】

図２は、図１に示すグラスディスプレイ１０の外観図である。図２において、グラスディスプレイ１０は、使用者の頭部１００にメガネのように装着される。グラスディスプレイ１０において、メガネのレンズ部分には、表示部１１が設けられている。表示部１１は、使用者の視覚空間に、様々な文字や図形などの情報画像を表示する。

【0027】

テンプル（つる）１６には、咬筋電位センサー１２、加速度センサー１３及びジャイロセンサー１４が設けられている。また、通信部１５は図２中には図示されないもう一方のテンプル１６に設けられている。咬筋電位センサー１２、加速度センサー１３及びジャイロセンサー１４は、通信部１５にそれぞれ信号線（図示せず）で接続されている。

【0028】

咬筋電位センサー１２は、使用者の咬筋の動きに応じた電位を検出する。咬筋電位センサー１２を頭部１００の皮膚に接触するようにテンプル１６に設けることにより、咬筋の動きに応じた電位を検出できる。加速度センサー１３及びジャイロセンサー１４は、頭部１００の傾動を検出する傾動検出部として機能する。咬筋電位センサー１２、加速度センサー１３、ジャイロセンサー１４及び通信部１５をテンプル１６に設けることにより、使用者の着用感はよく、また見栄えも悪くないという効果が得られる。

【0029】

説明を図１に戻す。
咬筋電位センサー１２は、検出した咬筋電位検出信号を通信部１５へ出力する。加速度センサー１３は、検出した加速度検出信号を通信部１５へ出力する。ジャイロセンサー１４は、検出した角速度検出信号を通信部１５へ出力する。通信部１５は、入力された咬筋電位検出信号、加速度検出信号及び角速度検出信号を表示データ生成装置３０へ送信する。

【0030】

通信部１５は、表示データ生成装置３０から表示データを受信する。通信部１５は、受信した表示データを表示部１１へ出力する。表示部１１は、入力された表示データを表示する。

【0031】

表示データ生成装置３０において、通信部３１は、グラスディスプレイ１０から、咬筋電位検出信号、加速度検出信号及び角速度検出信号を受信する。通信部３１は、受信した咬筋電位検出信号を整流部３２へ出力する。通信部３１は、受信した加速度検出信号及び角速度検出信号を表示制御部３３へ出力する。整流部３２は、入力された咬筋電位検出信号を整流し、整流された信号（咬筋電位検出整流信号）を表示制御部３３へ出力する。

【0032】

表示制御部３３は、入力された加速度検出信号、角速度検出信号及び咬筋電位検出整流信号に基づいて、表示制御信号を表示データ生成部３５へ出力する。表示制御部３３は、表示制御信号を出力する際に、加速度検出信号、角速度検出信号及び咬筋電位検出整流信号に基づいて操作内容テーブル記憶部３４に記憶される情報を参照する。操作内容テーブル記憶部３４には、加速度検出信号、角速度検出信号及び咬筋電位検出整流信号と、表示操作内容とを対応付ける情報が記憶されている。表示制御部３３は、加速度検出信号、角速度検出信号及び咬筋電位検出整流信号に対応付けられた表示操作内容に応じて、表示制御信号を表示データ生成部３５へ出力する。

【0033】

表示データ生成部３５は、入力された表示制御信号に基づいて、表示データを生成する。表示データ生成部３５は、生成した表示データを通信部３１へ出力する。通信部３１は、入力された表示データをグラスディスプレイ１０へ送信する。

【0034】

表示データ生成装置３０として、例えば、ノート型のパーソナルコンピュータ（ＰＣ）やタブレットＰＣ、スマートフォン等の携帯端末などが利用可能である。

【0035】

図３は、グラスディスプレイ１０の情報画像空間の例を示す説明図である。図３において、メガネのリム１７に囲まれた内の表示領域１８には、使用者に見える情報画像（図３の例では「教科書 単元Ｂ」）が表示されている。情報画像空間としては、使用者には見えないが、表示領域１８の外側である左右上下および斜め方向にも情報画像が存在している。また、さらにその外側にも連続的に情報画像が空間として広がることもある。さらには、グラスディスプレイ１０で３次元表示が可能な場合には、奥行き方向にも立体的に情報画像空間が広がる。本実施形態では、使用者は、グラスディスプレイ１０の情報画像空間に存在する情報画像を利用するための操作を、頭部１００の動きと咬む動作とを組合せて行う。

【0036】

次に、図４を参照して、図１に示す表示システム１の動作を説明する。図４は、本実施形態に係る表示制御処理のフローチャートである。

【0037】

（ステップＳ１）使用者は、グラスディスプレイ１０および表示データ生成装置３０の電源をオン（ＯＮ）にする。これ以降はハンズフリー操作が可能となる。

【0038】

(ステップＳ２）グラスディスプレイ１０は咬筋電位センサー１２の咬筋電位検出信号を表示データ生成装置３０へ送信する。表示データ生成装置３０において、該受信された咬筋電位検出信号は整流部３２に入力される。

【0039】

（ステップＳ３）整流部３２は、入力された咬筋電位検出信号を整流し、咬筋電位検出整流信号を表示制御部３３へ出力する。

【0040】

図５は、本実施形態に係る咬筋電位検出信号Ａ（瞬時値）と咬筋電位検出整流信号Ｂ（整流値）の例を示すグラフ図である。咬筋電位は、咬筋電位検出信号Ａの例に示すように、筋線維から発生した個々の活動電位が電極に到達した時点の活動電位を加算（複合活動電位）した結果を表現したものである。咬筋電位の瞬時の電圧は、咬筋電位検出信号Ａのように０Ｖ（基準電位）を上下する値となるが、この咬筋電位（瞬時値）を信号処理で整流することにより、使用者が噛んでいる間は咬筋電位検出整流信号Ｂのように平滑化された咬筋電位（整流値）が得られる。

【0041】

使用者が軽く噛むことによって発生する咬筋電位は、随意筋によるものであるため、使用者の操作の意思を確実に表現できる。これにより、使用者が操作するのか又は操作しないのかを、咬筋電位によって明確に区別できる。そこで、本実施形態では、閾値を用いて咬筋電位（整流値）を判定することにより、使用者が操作するのか又は操作しないのかを判断する。

【0042】

具体的には、咬筋電位センサー１２の検出と整流との繰り返しを１００ミリ秒（ｍｓｅｃ）程度の周期で繰り返す。これにより得られた咬筋電位検出整流信号Ｂの値が所定の閾値以上になっている期間は、使用者がハンズフリー操作する期間（操作可能期間）である、と判断する。そして、その操作可能期間においてのみ、加速度センサー１３およびジャイロセンサー１４の各検出信号を、グラスディスプレイ１０の表示の制御に使用することとする。これにより、噛むという使用者の操作の意思の表れに応じて使用者の頭部１００の動きの検出結果が表示制御に使用されるので、使用者の操作の意思に基づいたグラスディスプレイ１０の表示制御が可能となり、誤操作の防止の効果が得られる。

【0043】

（ステップＳ４）表示制御部３３は、入力された咬筋電位検出整流信号の値を閾値と比較する。この結果、咬筋電位検出整流信号の値が閾値以上である場合にはステップＳ５に進み、咬筋電位検出整流信号の値が閾値未満である場合にはステップＳ８に進む。

【0044】

（ステップＳ５）表示データ生成装置３０にはグラスディスプレイ１０から、加速度センサー１３およびジャイロセンサー１４の各検出信号が入力されている。該各検出信号は表示制御部３３に入力される。

【0045】

（ステップＳ６）表示制御部３３は、入力された加速度センサー１３およびジャイロセンサー１４の各検出信号の値に対応付けられた表示操作内容を操作内容テーブル記憶部３４から読み出す。

【0046】

（ステップＳ７）表示制御部３３は、操作内容テーブル記憶部３４から読み出した表示操作内容に応じて、表示制御信号を表示データ生成部３５へ出力する。この後、ステップＳ４に戻る。そして、咬筋電位検出整流信号の値が閾値以上である場合には、表示制御部３３は、加速度センサー１３およびジャイロセンサー１４の各検出信号の値に基づいて表示制御信号を出力する。一方、咬筋電位検出整流信号の値が閾値未満である場合には、表示制御信号の出力を停止することにより、グラスディスプレイ１０の表示の制御を終了する。

【0047】

（ステップＳ８）使用者がグラスディスプレイ１０又は表示データ生成装置３０の電源をオフ（ＯＦＦ）にすると、図４の処理は終了する。グラスディスプレイ１０及び表示データ生成装置３０の電源のオンが継続される場合にはステップＳ２に戻る。

【0048】

なお、咬筋電位を判定するための閾値は、人によって、又は環境によって異なる場合がある。このため、該閾値を任意に設定できるようにすることが好ましい。

【実施例1】

【0049】

実施例１は、本実施形態に係るハンズフリー操作の実施例である。グラスディスプレイ１０の加速度センサー１３及びジャイロセンサー１４を用いることにより、使用者の頭部１００の３次元空間での動きを検出する。具体的には、グラスディスプレイ１０の加速度センサー１３を用いることにより、使用者の頭部１００の３方向（左右、上下、前後）の加速度／移動量を検出する。グラスディスプレイ１０のジャイロセンサー１４を用いることにより、使用者の頭部１００の３軸の方向（ヨーイング、ピッチング、ローリング）の角速度／角度を検出する。これらの検出結果により、多種類のハンズフリー操作を可能にする。

【0050】

図６は、本発明の実施例１に係るハンズフリー操作の例の説明図である。使用者に装着されたグラスディスプレイ１０の加速度センサー１３を用いることにより、図６に示されるように、該使用者の頭部１００の３方向の動き（左右、上下、前後）を検出できる。また、該グラスディスプレイ１０のジャイロセンサー１４を用いることにより、図６に示されるように、該使用者の頭部１００の３軸の回転角度（ヨーイング、ピッチング、ローリング）を検出できる。該検出された頭部１００の動きと、グラスディスプレイ１０に対する操作内容とを、自然なヒューマンインターフェースになるように対応させる。

【0051】

図７は、本発明の実施例１に係る操作内容テーブル記憶部３４に格納される操作内容テーブル４０の例を示すテーブル図である。以下、図７の操作内容テーブル４０を参照して、実施例１に係るハンズフリー操作を説明する。

【0052】

（１）表示領域外の画像表示
グラスディスプレイ１０の２次元の情報画像空間において、表示領域１８の外側に画像が左右上下あるいは斜め方向にある場合、使用者は見たい方向へ頭部１００を左右上下あるいは斜め方向に回転させることが自然である。そこで、ジャイロセンサー１４の垂直方向であるＹ軸や左右方向であるＸ軸の回転角度であるヨーイング、ピッチング、あるいは２軸を合成した回転角を使用者が見たい方向に対応させる。これにより、使用者は、左右上下、斜め方向にある画像を素早く表示させて見ることができる。

【0053】

さらに、画像を斜めに傾けてみる場合には、ジャイロセンサー１４の前後方向のＺ軸の回転角度であるローリングを検出して用いることができる。但し、通常は斜めに見る必要性は多くなく、また画像がジャイロセンサー１４の検出値にセンシティブに反応してローリングすると映像酔いの原因ともなるので、ローリングの検出値を使用しないように設定できるようにすることが好ましい。

【0054】

なお、使用者は、左右上下あるいは斜めにある画像を長時間見る場合に、頭部１００を該当する方向に回転させたままにする必要はない。つまり、使用者は、見たい方向の画像が表示領域１８に表示された時に噛むことをやめれば、ジャイロセンサー１４の検出値は使用されなくなるので、首を回転させたままでなく、頭部１００を正面に戻し、自然な姿勢で所望の画像を見続けることができる。

【0055】

（２）スクロール（画像の連続移動）
グラスディスプレイ１０の２次元の情報画像空間において、表示領域１８の外側に画像が上下、左右あるいは斜め方向に、連続して長く繋がっている、又は広がっている場合、使用者はその方向に頭部１００の回転角を増加させつづけることは困難である。そこで、マウスのホイールやキーボードの上下左右キーのようなスクロールを、任意の方向にできるようにする。そのために本実施例１では、使用者が、噛む動作を短く（所定の時間幅以内で）１回し、次いで２回目の噛む動作を継続しつつ、頭部１００を上下左右、斜め方向に回転角度を保つことにより、連続スクロールを可能にする。

【0056】

図８は、本発明の実施例１に係る咬筋電位検出信号Ａ（瞬時値）と咬筋電位検出整流信号Ｂ（整流値）の例を示すグラフ図である。図８において、咬筋電位検出信号Ａ及び咬筋電位検出整流信号Ｂは、使用者が「短時間１回噛んだ後に、継続してかんだ場合の咬筋電位を示している。咬筋電位検出整流信号Ｂの区間Ｂ＿１は、使用者が短時間１回噛んだ時の波形である。この区間Ｂ＿１は、所定の時間幅以内で閾値以上であることにより検出される。使用者が１回目の噛む動作と２回目に噛む動作との間隔の検知時間は、いわゆるダブルクリックの速さの設定と同様に、事前に任意に設定可能とする。

【0057】

スクロールの速度は、頭部１００の回転角度の大きさに連動させる。回転角度が大きいほど早くスクロールさせる。スクロール速度は、回転角度に線形的に比例させてもよく、又は、回転角度とは非線形であってもよい。

【0058】

（３）ページめくり
表示領域外の画像表示やスクロールのように左右上下の別の画像を表示領域１８に表示させるのではなく、表示領域１８に表示されている画像に関するページめくりを可能とする。例えば、書類のように複数ページが連続して重なっている場合、加速度センサー１３による左右上下の位置検出の結果を用いる。例えば、右のページをめくる場合には、使用者が頭部１００を右に並行に動かすことに対応させる。また、下のページをめくる場合には、使用者が頭部１００を上に並行に動かすことに対応させる。

【0059】

また、ページめくりを連続して行う場合には、使用者が頭部１００を左右上下に動かしたままにすると一定時間で次々とページをめくることができるようにする。この場合のページめくりの速度は、使用者の頭部１００の移動量の値（移動値）の大きさに連動し、移動値が大きいほど早いページめくりができるようにする。

【0060】

（４）ズームイン／ズームアウト
人は新聞紙面などの対象物を細かく見る場合には顔を対象物に近づける、また、対象物の全体を見る場合には顔を対象物から離すのが自然である。そこで、グラスディスプレイ１０に表示している画像をズームイン／ズームアウトするには、加速度センサー１３による頭部１００の前方／後方への動きの検出結果に対応させる。

【0061】

（５）ドラッグ
ＰＣ操作で行うウィンドウ画像やアイコンなどのドラッグをグラスディスプレイ１０の表示領域１８上でハンズフリー操作により可能にするものである。グラスディスプレイ１０の２次元の情報画像空間において、表示領域１８の左右上下あるいは斜め方向にあるウィンドウ画像を任意の位置に移動させたり、重ね合わせて表示させたりする場合、当該ウィンドウ画像を引っ張る動作が自然である。そこで、使用者は、まず、表示領域外の画像表示やスクロールなどにより、ドラッグしたいウィンドウ画像を表示領域１８の中央に表示させる。次いで、使用者の噛む動作が継続されている状態において、加速度センサー１３による頭部１００の左右上下あるいは斜めに並行に動く方向と距離の検出結果に対応させることにより、表示領域１８の中央に表示されているウィンドウ画像をドラッグして移動させる。

【0062】

なお、立体視できるグラスディスプレイ１０の場合には、奥行き方向にもドラッグすることを可能にするため、加速度センサー１３による頭部１００の前後方向に動く距離の検出結果に対応させる。

【0063】

（６）選択、実行（クリック）
グラスディスプレイ１０の表示領域１８上でウィンドウやボタンの選択（クリック）を行うことを可能にする。例えばＡ、Ｂ、Ｃ、・・・の複数のボタンがある場合に、Ａのボタンを選択するときには、使用者は、表示領域外の画像表示やスクロールなどにより、Ａのボタンを表示領域１８の中央に表示させる。次いで、使用者の噛む動作１回をワンクリックに対応させ、また連続する噛む動作２回をダブルクリックに対応させる。これにより、ワンクリックとダブルクリックを実現可能とする。

【0064】

（７）マウスの左右ボタン
マウスには左右のボタンが備わっている場合があるが、その左右のボタンの操作を可能にする。このために、グラスディスプレイ１０の左右の各テンプル１６にそれぞれ咬筋電位センサー１２を設ける。これにより、使用者による左側の噛む動作と右側の噛む動作とを区別して検出し、左右の咬筋電位の大小の発生の違いを判別し、左右いずれのボタンを操作したかに対応させる。

【0065】

（８）Ｙｅｓ（肯定）／Ｎｏ（否定）／不明の表現
アンケートなどでＹｅｓ／Ｎｏ／不明を回答することを可能にする。「Ｙｅｓ」は、使用者のうなずく動作として、ジャイロセンサー１４による短時間の上下ピッチングの検出結果に対応させる。「Ｎｏ」は、使用者の首を横に振る動作として、ジャイロセンサー１４による短時間の左右ヨーイングの検出結果に対応させる。「不明」は、使用者の首を斜めにかしげる動作として、ジャイロセンサー１４による短時間の斜め・戻しのローリングの検出結果に対応させる。

【実施例2】

【0066】

実施例２は、本実施形態に係る応用例である。グラスディスプレイ１０を情報機器の端末として用いる場合に、セキュリティーロックの解除をハンズフリー操作により行うことを可能にする。

【0067】

従来、スマートフォンなどでは、セキュリティーロックの解除方法として、例えば、使用者がタッチパネル上で２次元平面の３×３の９点の連結順をなぞることが挙げられる。そこで、本実施例２では、セキュリティーロックの解除方法として、使用者が、グラスディスプレイ１０の表示領域１８上で、上述の実施例１のクリック操作により、２次元平面の３×３の９点の連結順をなぞることに対応させる。この場合、加速度センサー１３またはジャイロセンサー１４のどちらの検出結果を用いてもよい。

【0068】

また、セキュリティーロックの解除方法として、新たに立方体形状を用いてもよい。例えば加速度センサー１３による頭部１００の移動方向の検出結果により、２×２×２の８点の連結順をなぞることに対応させる。さらに、ジャイロセンサー１４による３軸の６回転方向の組み合わせの検出結果を用いるなど、多様なセキュリティーロックの設定が可能である。

【0069】

上述したように本実施形態によれば、咬筋電位の検出値を利用し、使用者が噛む動作を行っている最中に頭部１００の動きがある場合を操作している状態として判断することにより、使用者の操作の意思を明確に把握することができる。これにより、誤操作の防止を図ることができるという効果が得られる。

【0070】

特に人の噛む行為は、例えば視線の動きなどに比べて当人の意思によるところが多く、使用者の意思を把握することに好適である。また、噛む行為は、視線を固定させることに比して人の負担が少ない。このため、本実施形態によれば、視線の検知結果によりハンズフリー操作を行う場合に比べて、精度の高いハンズフリー操作を実現可能である。

【0071】

また、加速度センサー１３及びジャイロセンサー１４による検出結果を用いることにより、人の自然な頭部１００の動きを多様なハンズフリー操作に対応させることができる。

【0072】

また、本実施形態によれば、ハンズフリー操作のために音声を発する必要がなく、またグラスディスプレイ１０の装着によっても見栄えが悪く使用しにくいということもない。これにより、図書館や教室、電車、バスなどの中など、静穏が必要な環境下や他者が居る環境下であっても、グラスディスプレイ１０を使用することができるので、使い勝手がよいという効果が得られる。

【0073】

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【0074】

例えば、咬筋の動きを検出する方法として、咬筋電位センサー１２を利用する方法の他に、顔の表皮の変動を光学的に検出する方法（特許文献３参照）や、筋肉の伸縮の変化を圧力センサーで検出する方法（特許文献２参照）などが挙げられる。但し、光学的に検出する方法では周囲環境の光の変化により光学的に誤動作を起こす可能性があり、また圧力センサーで検出する方法では圧力を生じる程度の咬筋の変位を捉えなければならないので、咬筋電位のような高い精度を得ることができない。例えば、咬筋電位は話す場合や食事をする場合にも生じるが、それらは異なる強度や特徴のあるパターンで検出されるので、上述した実施形態にように咬筋電位の検出値を用いることにより、使用者による操作の意思の表示の場合と、それ以外の場合とを咬筋電位の特徴により明確に区別することが可能である。

【0075】

また、上述した表示システム１を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

【0076】

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disk）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

【0077】

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【符号の説明】

【0078】

１…表示システム、１０…グラスディスプレイ（メガネ型表示装置）、１１…表示部、１２…咬筋電位センサー、１３…加速度センサー、１４…ジャイロセンサー、１５，３１…通信部、１６…テンプル（つる）、１７…リム、１８…表示領域、３２…整流部、３３…表示制御部、３４…操作内容テーブル記憶部、３５…表示データ生成装置、４０…操作内容テーブル、１００…頭部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】