特許 6595597 ウェアラブル装置、制御方法及び制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6595597

(24)【登録日】2019年10月4日

(45)【発行日】2019年10月23日

(54)【発明の名称】ウェアラブル装置、制御方法及び制御プログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20191010BHJP

【ＦＩ】

   G06F3/01 570

   G06F3/01 510

【請求項の数】19

【全頁数】25

(21)【出願番号】特願2017-530864(P2017-530864)

(86)(22)【出願日】2016年7月25日

(86)【国際出願番号】JP2016071767

(87)【国際公開番号】WO2017018388

(87)【国際公開日】20170202

【審査請求日】2018年1月4日

(31)【優先権主張番号】特願2015-149243(P2015-149243)

(32)【優先日】2015年7月29日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】伊東 伸悟

【審査官】 滝谷 亮一

(56)【参考文献】

【文献】 特開平０７−００５９７８（ＪＰ，Ａ）

【文献】 国際公開第２０１１／１１８０９６（ＷＯ，Ａ１）

【文献】 特開２０１３−２１８５２１（ＪＰ，Ａ）

【文献】 特開２００２−３０４２５６（ＪＰ，Ａ）

【文献】 特開２０１２−０９８８４４（ＪＰ，Ａ）

【文献】 特開２０１２−２４８０６７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

文字を表示する表示部と、
現実の空間に在る利用者の上肢を検出する検出部と、
前記検出部の検出結果から、前記上肢における一部と他部とが互いに近づく第１身体動作を検出すると、前記文字を選択する文字選択処理を実行する制御部と、を備え、
前記制御部は、前記第１身体動作を検出し、かつ、該第１身体動作における前記一部又は前記他部の移動速度が第１速度以上であることを検出すると、前記文字選択処理を実行する、頭部に装着可能な
ウェアラブル装置。

【請求項2】

文字を表示する表示部と、
現実の空間に在る利用者の上肢を検出する検出部と、
前記検出部の検出結果から、前記上肢における一部と他部とが互いに近づく第１身体動作を検出すると、前記文字を選択する文字選択処理を実行する制御部と、を備え、
前記制御部は、前記上肢における前記一部と前記他部とが互いに近づく方向と、前記文字の入力方向と、が交わる角度を算出し、該角度が第１角度以下である場合に、前記文字選択処理を実行する、頭部に装着可能な
ウェアラブル装置。

【請求項3】

文字を表示する表示部と、
現実の空間に在る利用者の上肢を検出する検出部と、
前記検出部の検出結果から、前記上肢における一部と他部とが互いに近づく第１身体動作を検出すると、前記文字を選択する文字選択処理を実行する制御部と、を備え、
前記制御部は、前記上肢における前記一部と前記他部とが互いに近づく方向と、前記文字の入力方向と垂直な方向、が交わる角度を算出し、該角度が第２角度以下である場合に、前記文字選択処理を実行する、頭部に装着可能な
ウェアラブル装置。

【請求項4】

前記制御部は、前記第１身体動作を検出し、かつ、該第１身体動作によって、前記上肢における前記一部と前記他部との距離が所定長さ以下となったことを検出すると、前記文字選択処理を実行する
請求項１から３の何れか一項に記載のウェアラブル装置。

【請求項5】

前記表示部は、文字列を表示し、
前記制御部は、前記第１身体動作を検出すると、前記文字列における、該第１身体動作が検出される直前の前記一部の位置と前記他部の位置とによって規定される数の文字に対して前記文字選択処理を実行する
請求項１、２、４の何れか一項に記載のウェアラブル装置。

【請求項6】

前記表示部は、複数の行で構成される文字列を表示し、
前記制御部は、前記第１身体動作を検出すると、前記文字列における、該第１身体動作が検出される直前の前記一部の位置と前記他部の位置とによって規定される行数の前記文字列に対して前記文字選択処理を実行する
請求項１または４に記載のウェアラブル装置。

【請求項7】

前記制御部は、前記第１身体動作を検出すると、前記文字選択処理によって選択した文字を消去する文字消去処理を実行する
請求項１から６の何れか一項に記載のウェアラブル装置。

【請求項8】

前記制御部は、前記表示部による文字入力画面の表示時に、該表示時以前に入力された文字が表示されると、前記第１身体動作の検出の有無を監視し、前記第１身体動作の検出が有ったことを契機に、前記表示時以前に入力された文字に対する前記文字消去処理を実行する
請求項７に記載のウェアラブル装置。

【請求項9】

前記文字消去処理の実行後に、前記上肢における前記一部と前記他部とが互いに離れる第２身体動作を検出すると、前記消去した文字を再入力する
請求項７又は８に記載のウェアラブル装置。

【請求項10】

前記制御部は、前記第１身体動作を検出すると、前記文字選択処理によって選択した文字をコピーする複製処理を実行する
請求項１から６の何れか一項に記載のウェアラブル装置。

【請求項11】

前記制御部は、前記複製処理の実行後に、前記上肢における前記一部と前記他部とが互いに離れる第２身体動作を検出すると、前記コピーした文字を前記表示部にペーストする貼付処理を実行する
請求項１０に記載のウェアラブル装置。

【請求項12】

前記制御部は、前記第１身体動作を検出すると、前記文字を選択するとともに、該文字の文字種を変更する文字種変更処理を実行する
請求項１から６の何れか一項に記載のウェアラブル装置。

【請求項13】

前記制御部は、前記第１身体動作を検出すると、前記文字を選択するとともに、該文字に対して、全角／半角変換、又は、かな／漢字変換、又は、他言語への翻訳、又は、大文字／小文字変換を前記文字種変更処理として実行する
請求項１２に記載のウェアラブル装置。

【請求項14】

文字を表示する表示部と、現実の空間に在る利用者の上肢を検出する検出部と、制御部と、を備える頭部に装着可能なウェアラブル装置によって実行される制御方法であって、
前記制御部は、前記検出部の検出結果から、前記上肢における一部と他部とが互いに近づく第１身体動作を検出すると、前記文字を選択する文字選択処理を実行し、
前記制御部は、前記第１身体動作を検出し、かつ、該第１身体動作における前記一部又は前記他部の移動速度が第１速度以上であることを検出すると、前記文字選択処理を実行する
制御方法。

【請求項15】

文字を表示する表示部と、現実の空間に在る利用者の上肢を検出する検出部と、制御部と、を備える頭部に装着可能なウェアラブル装置によって実行される制御方法であって、
前記制御部は、前記検出部の検出結果から、前記上肢における一部と他部とが互いに近づく第１身体動作を検出すると、前記文字を選択する文字選択処理を実行し、
前記制御部は、前記上肢における前記一部と前記他部とが互いに近づく方向と、前記文字の入力方向と、が交わる角度を算出し、該角度が第１角度以下である場合に、前記文字選択処理を実行する
制御方法。

【請求項16】

文字を表示する表示部と、現実の空間に在る利用者の上肢を検出する検出部と、制御部と、を備える頭部に装着可能なウェアラブル装置によって実行される制御方法であって、
前記制御部は、前記検出部の検出結果から、前記上肢における一部と他部とが互いに近づく第１身体動作を検出すると、前記文字を選択する文字選択処理を実行し、
前記制御部は、前記上肢における前記一部と前記他部とが互いに近づく方向と、前記文字の入力方向と垂直な方向、が交わる角度を算出し、該角度が第２角度以下である場合に、前記文字選択処理を実行する
制御方法。

【請求項17】

文字を表示する表示部と、現実の空間に在る利用者の上肢を検出する検出部と、制御部と、を備える頭部に装着可能なウェアラブル装置において、
前記制御部が前記検出部の検出結果から、前記上肢における一部と他部とが互いに近づく第１身体動作を検出すると、当該制御部に、前記文字を選択する文字選択処理を実行させ、
前記制御部が前記第１身体動作を検出し、かつ、該第１身体動作における前記一部又は前記他部の移動速度が第１速度以上であることを検出すると、当該制御部に、前記文字選択処理を実行させる
制御プログラム。

【請求項18】

文字を表示する表示部と、現実の空間に在る利用者の上肢を検出する検出部と、制御部と、を備える頭部に装着可能なウェアラブル装置において、
前記制御部が前記検出部の検出結果から、前記上肢における一部と他部とが互いに近づく第１身体動作を検出すると、当該制御部に、前記文字を選択する文字選択処理を実行させ、
前記制御部に、前記上肢における前記一部と前記他部とが互いに近づく方向と、前記文字の入力方向と、が交わる角度を算出させ、該角度が第１角度以下である場合に、当該制御部に、前記文字選択処理を実行させる
制御プログラム。

【請求項19】

文字を表示する表示部と、現実の空間に在る利用者の上肢を検出する検出部と、制御部と、を備える頭部に装着可能なウェアラブル装置において、
前記制御部が前記検出部の検出結果から、前記上肢における一部と他部とが互いに近づく第１身体動作を検出すると、当該制御部に、前記文字を選択する文字選択処理を実行させ、
前記制御部に、前記上肢における前記一部と前記他部とが互いに近づく方向と、前記文字の入力方向と垂直な方向、が交わる角度を算出させ、該角度が第２角度以下である場合に、当該制御部に、前記文字選択処理を実行させる
制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、利用者の頭部に装着可能なウェアラブル装置、制御方法及び制御プログラムに関する。

【背景技術】

【0002】

上記のウェアラブル装置として、近年、眼前に配置されるディスプレイと、手指の動きを認識可能な赤外線検知ユニットと、を備え、手のジェスチャによって操作が行われるヘッドマウントディスプレイ装置が開示されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１４／１２８７５１号

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のようなウェアラブル装置においては、より使い勝手の良いものが望まれる。

【0005】

本出願の目的は、より使い勝手の良いウェアラブル装置、制御方法及び制御プログラムを提供することにある。

【課題を解決するための手段】

【0006】

態様の一つに係るウェアラブル装置は、文字を表示する表示部と、現実の空間に在る利用者の上肢を検出する検出部と、前記検出部の検出結果から、前記上肢における一部と他部とが互いに近づく第１身体動作を検出すると、前記文字を選択する文字選択処理を実行する制御部と、を備える、頭部に装着可能なものである。

【0007】

また、態様の一つに係るウェアラブル装置は、文字を表示する表示部と、現実の空間に在る利用者の上肢を検出する検出部と、前記検出部の検出結果から、前記上肢における一部と他部との距離の変化を伴う身体動作を検出すると、前記文字の文字種を変更する文字種変更処理を実行する制御部と、を備える、頭部に装着可能なものである。

【0008】

また、態様の一つに係るウェアラブル装置は、利用者の眼前に配置され、文字を表示する表示部と、現実の空間に在る利用者の上肢を検出する検出部と、前記検出部の検出結果から、前記上肢の身体動作を検出する制御部と、を備える、利用者の頭部に装着可能なウェアラブル装置であって、前記制御部は、前記表示部による文字入力画面の表示時に、該表示時以前に入力された文字列が表示されると、前記身体動作の内、所定の身体動作が検出されるかを判定し、当該所定の身体動作の検出が有ると判定すると、前記文字列の表示を消去する。

【0009】

また、態様の一つに係るウェアラブル装置は、複数の文字からなる文字列を表示する表示部と、現実の空間に在る利用者の上肢を検出する検出部と、前記文字列の内、前記検出部によって検出される前記上肢の一部の位置と他部の位置とによって規定される範囲に含まれる第１文字列を選択する文字選択処理を実行する制御部と、を備える頭部に装着可能なウェアラブル装置であって、前記制御部は、文字選択処理の実行中に、前記一部と前記他部との間の離間距離が略同一に維持された状態で、前記上肢の所定の身体動作を検出したことに基づいて、前記第１文字列に対して所定の処理を実行する。

【0010】

態様の一つに係る制御方法は、文字を表示する表示部と、現実の空間に在る利用者の上肢を検出する検出部と、制御部と、を備える頭部に装着可能なウェアラブル装置によって実行される制御方法であって、前記制御部は、前記検出部の検出結果から、前記上肢における一部と他部とが互いに近づく第１身体動作を検出すると、前記文字を選択する文字選択処理を実行する。

【0011】

態様の一つに係る制御プログラムは、文字を表示する表示部と、現実の空間に在る利用者の上肢を検出する検出部と、制御部と、を備える頭部に装着可能なウェアラブル装置において、前記制御部が前記検出部の検出結果から、前記上肢における一部と他部とが互いに近づく第１身体動作を検出すると、当該制御部に、前記文字を選択する文字選択処理を実行させる。

【図面の簡単な説明】

【0012】

【図1】ウェアラブル装置の斜視図である。

【図2】ウェアラブル装置のブロック図である。

【図3A】検出部の検出範囲と、表示部の表示領域との関係について説明する図である。

【図3B】検出部の検出範囲と、表示部の表示領域との関係について説明する図である。

【図3C】検出部の検出範囲と、表示部の表示領域との関係について説明する図である。

【図4】ウェアラブル装置により実行される機能の第１例を説明する図である。

【図5】ウェアラブル装置により実行される機能の第２例を説明する図である。

【図6】ウェアラブル装置により実行される機能の第３例を説明する図である。

【図7】ウェアラブル装置により実行される機能の第４例を説明する図である。

【図8A】文字選択処理を実行するための第１身体動作における上肢の一部と他部とが近づく方向の条件について説明する図である。

【図8B】文字選択処理を実行するための第１身体動作における上肢の一部と他部とが近づく方向の条件について説明する図である。

【図9】ウェアラブル装置により実行される機能の第５例を説明する図である。

【図10】ウェアラブル装置により実行される機能の第６例を説明する図である。

【図11A】文字種の変更の他の例を示す図である。

【図11B】文字種の変更の他の例を示す図である。

【図11C】文字種の変更の他の例を示す図である。

【図11D】文字種の変更の他の例を示す図である。

【発明を実施するための形態】

【0013】

本出願に係るウェアラブル装置１を実施するための複数の実施形態を、図面を参照しつつ詳細に説明する。以下の説明においては、同様の構成要素に同一の符号を付すことがある。さらに、重複する説明は省略することがある。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。

【0014】

まず、図１を参照しながら、ウェアラブル装置１の全体的な構成について説明する。図１は、ウェアラブル装置１の斜視図である。図１に示すように、ウェアラブル装置１は、利用者の頭部に装着されるヘッドマウントタイプ（或いはメガネ型）の装置である。

【0015】

ウェアラブル装置１は、前面部１ａと、側面部１ｂと、側面部１ｃとを有する。前面部１ａは、装着時に、利用者の両目を覆うように利用者の正面に配置される。側面部１ｂは、前面部１ａの一方の端部に接続される。側面部１ｃは、前面部１ａの他方の端部に接続される。側面部１ｂ及び側面部１ｃは、装着時に、眼鏡の蔓のように利用者の耳によって支持され、ウェアラブル装置１を安定させる。側面部１ｂ及び側面部１ｃは、装着時に、利用者の頭部の背面で接続されるように構成されても良い。

【0016】

前面部１ａは、装着時に利用者の目と対向する面に表示部２ａ及び表示部２ｂを備える。表示部２ａは、装着時に利用者の右目と対向する位置に配設される。表示部２ｂは、装着時に利用者の左目と対向する位置に配設される。表示部２ａは、右目用の画像を表示し、表示部２ｂは、左目用の画像を表示する。なお、装着時に利用者のそれぞれの目に対応した画像を表示する表示部２ａ及び表示部２ｂを備えることにより、ウェアラブル装置１は、両眼の視差を利用した３次元表示を実現することができる。

【0017】

表示部２ａ及び表示部２ｂは、一対の透過又は半透過のディスプレイであるが、これに限定されない。例えば、表示部２ａ及び表示部２ｂは、メガネレンズ、サングラスレンズ、及び紫外線カットレンズ等のレンズ類を設け、レンズとは別に表示部２ａ及び表示部２ｂを設けても良い。表示部２ａ及び表示部２ｂは、利用者の右目と左目に異なる画像を独立して提供することができれば、１つの表示デバイスによって構成されても良い。

【0018】

前面部１ａには、撮像部３（アウトカメラ）が備えられている。撮像部３は、前面部１ａの中央部分に配置されている。撮像部３は、利用者の前方の風景における所定範囲の画像を取得する。また、撮像部３は、利用者の視界に相当する範囲の画像を取得することも可能である。ここでいう視界とは、例えば、利用者が正面を見ているときの視界である。なお、撮像部３は、前面部１ａの一方の端部（装着時の右目側）の近傍に配設される撮像部と、前面部１ａの他方の端部（装着時の左目側）の近傍に配設される撮像部との２つから構成されていても良い。この場合、前面部１ａの一方の端部（装着時の右目側）の近傍に配設される撮像部は、利用者の右目の視界に相当する範囲の画像を取得できる。前面部１ａの一方の端部（装着時の左目側）の近傍に配設される撮像部は、利用者の左目の視界に相当する範囲の画像を取得できる。

【0019】

また、前面部１ａには、撮像部４（インカメラ）が備えられている。撮像部４は、ウェアラブル装置１が利用者の頭部に装着されたときに、前面部１ａにおける、利用者の顔面側に配置されている。撮像部４は、利用者の顔面、例えば目の画像を取得できる。

【0020】

また、前面部１ａには、検出部５が備えられる。検出部５は、前面部１ａの中央部分に配置されている。また、側面部１ｃには、操作部６が備えられる。検出部５、操作部６については後述する。

【0021】

ウェアラブル装置１は、利用者に各種情報を視認させる機能を有する。ウェアラブル装置１は、表示部２ａ及び表示部２ｂが表示を行っていない場合、表示部２ａ及び表示部２ｂを透して前景を利用者に視認させる。ウェアラブル装置１は、表示部２ａ及び表示部２ｂが表示を行っている場合、表示部２ａ及び表示部２ｂを透した前景と、表示部２ａ及び表示部２ｂの表示内容とを利用者に視認させる。

【0022】

次に、図２を参照しながら、ウェアラブル装置１の機能的な構成について説明する。図２は、ウェアラブル装置１のブロック図である。図２に示すように、ウェアラブル装置１は、表示部２ａ及び表示部２ｂと、撮像部３（アウトカメラ）及び撮像部４（インカメラ）と良い、検出部５と、操作部６と、制御部７と、通信部８と、記憶部９とを有する。

【0023】

表示部２ａ及び２ｂは、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｓｅｎｃｅ）パネル等の半透過または透過の表示デバイスを備える。表示部２ａ及び表示部２ｂは、制御部７から入力される制御信号に従って各種の情報を画像として表示する。表示部２ａ及び表示部２ｂは、制御部７の制御に基づき、所定の文字を表示する。表示部２ａ及び表示部２ｂは、レーザー光線等の光源を用いて利用者の網膜に画像を投影する投影装置であっても良い。この場合、表示部２ａ及び表示部２ｂは、眼鏡を模したウェアラブル装置１のレンズ部分にハーフミラーを設置して、別途設けられるプロジェクタから照射される画像が投影される構成であっても良い（図１に示す例において、表示部２ａ及び表示部２ｂは、矩形状のハーフミラーを示している）。また、前述したように、表示部２ａ及び表示部２ｂは、各種の情報を３次元的に表示しても良い。また、表示部２ａ及び表示部２ｂは、各種の情報を利用者の前方（利用者から離れた位置）にあたかも存在するかのように表示しても良い。このように情報を表示する方式としては、例えば、フレームシーケンシャル方式、偏光方式、直線偏光方式、円偏光方式、トップアンドボトム方式、サイドバイサイド方式、アナグリフ方式、レンチキュラ方式、パララックスバリア方式、液晶パララックスバリア方式、２視差方式等の多視差方式の何れかが採用されて良い。

【0024】

撮像部３及び撮像部４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを用いて電子的に画像を撮像する。そして、撮像部３及び撮像部４は、撮像した画像を信号に変換して制御部７へ出力する。

【0025】

検出部５は、利用者の前景に存在する現実の物体（所定物）を検出する。検出部５は、例えば、現実の物体のうち、予め登録された物体又は予め登録された形状にマッチする物体を検出する。予め登録された物体は、例えば、人間の手や指を含む。予め登録された形状は、例えば、人間の手や指等の形状を含む。検出部５は、現実の物体を検出するセンサを有する。検出部５は、例えば、赤外線を照射する赤外線照射部と、現実の所定物から反射される赤外線を受光可能な、センサとしての赤外線撮像部と、からなる。赤外線照射部は、ウェアラブル装置１の前面部１ａに設けられることによって、利用者の前方に赤外線を照射可能となる。また、赤外線撮像部は、ウェアラブル装置１の前面部１ａに設けられることによって、利用者の前方に在る所定物から反射される赤外線を検出可能となる。なお、検出部５は、赤外線の他にも、例えば、可視光、紫外線、電波、音波、磁気、静電容量の少なくとも１つを用いて、現実の物体を検出しても良い。

【0026】

本実施形態においては、撮像部３（アウトカメラ）は、検出部５を兼ねても良い。すなわち、撮像部３は、撮像される画像を解析することによって、撮像範囲内の物体を検出する。撮像部３は、利用者の前方の所定物を撮像可能なように、図１に示すような、ウェアラブル装置１の前面部１ａに設けられる。

【0027】

操作部６は、例えば、側面部１ｃに配設されるタッチセンサを含む。タッチセンサは、利用者の接触を検出可能であり、検出結果に応じて、ウェアラブル装置１の起動、停止、動作モードの変更等の基本的な操作を受け付ける。本実施形態では、操作部６が側面部１ｃに配置されている例を示しているが、これに限定されず、側面部１ｂに配置されても良いし、側面部１ｂと側面部１ｃにとの双方に配置されても良い。

【0028】

制御部７は、演算手段であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、記憶手段であるメモリとを備える。制御部７は、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部７は、記憶部９に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をＣＰＵに実行させる。そして、制御部７は、ＣＰＵによる命令の実行結果に応じて、メモリ及び記憶部９に対してデータの読み書きを行ったり、表示部２ａ及び表示部２ｂ等の動作を制御したりする。ＣＰＵが命令を実行するに際しては、メモリに展開されているデータや検出部５等を介して検出される操作がパラメータや判定条件の一部として利用される。また、制御部７は、通信部８を制御することによって、通信機能を有する他の電子機器との通信を実行させる。

【0029】

通信部８は、無線により通信する。通信部８によってサポートされる無線通信規格には、例えば、２Ｇ、３Ｇ、４Ｇ等のセルラーフォンの通信規格と、近距離無線の通信規格がある。セルラーフォンの通信規格としては、例えば、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）等がある。近距離無線の通信規格としては、例えば、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等がある。ＷＰＡＮの通信規格には、例えば、ＺｉｇＢｅｅ（登録商標）がある。通信部８は、上述した通信規格の１つ又は複数をサポートしていても良い。ウェアラブル装置１は、例えば、無線通信機能を有する他の電子機器（スマートフォン、ノートパソコン、テレビ等）と無線通信接続を行うことにより、各種信号の送受信を行うことが出来る。

【0030】

なお、通信部８は、上記携帯電子機器等の他の電子機器と有線接続されることによって、通信しても良い。この場合、ウェアラブル装置１は、他の電子機器が接続されるコネクタを備える。コネクタは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ライトピーク（サンダーボルト（登録商標））、イヤホンマイクコネクタのような汎用的な端子であっても良い。コネクタは、Ｄｏｃｋコネクタのような専用の端子でも良い。コネクタは、上記の電子機器以外にも、例えば、外部ストレージ、スピーカ、及び通信装置を含むあらゆる装置に接続されて良い。

【0031】

記憶部９は、各種のプログラムやデータを記憶する。記憶部９は、フラッシュメモリ等の不揮発性を有する記憶装置を含んでも良い。記憶部９に記憶されるプログラムには、制御プログラム９０が含まれる。記憶部９は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されても良い。この場合、制御プログラム９０は、記憶媒体に記憶されていても良い。また、制御プログラム９０は、無線通信または有線通信によってサーバ装置や、スマートフォン、腕時計型端末、ノートパソコン、テレビ等から取得されても良い。

【0032】

制御プログラム９０は、ウェアラブル装置１を稼働させるための各種制御に関する機能を提供する。制御プログラム９０は、検出処理プログラム９０ａと、表示制御プラグラム９０ｂとを含む。検出処理プログラム９０ａは、検出部５の検出結果から、利用者の前景に存在する所定物を検出するための機能を提供する。検出処理プログラム９０ａは、検出部５の検出結果から、利用者の前景における所定物の位置、及び、所定物の動作を検出する機能を提供する。表示制御プラグラム９０ｂは、利用者に視認可能なように画像を表示し、所定物の動作に応じて、画像の表示の態様を変更する機能を提供する。

【0033】

次に、図３Ａから図３Ｃを参照し、検出部５の検出範囲と、表示部２ａ及び表示部２ｂの表示領域との関係について説明する。図３Ａから図３Ｃは、検出部の検出範囲と、表示部の表示領域との関係について説明する図である。なお、本実施形態では、検出部５が赤外線によって現実の所定物を検出するセンサであるものとして説明していく。検出部５は、赤外線を照射する赤外線照射部と、現実の所定物から反射される赤外線を受光可能な（赤外感度を有する）赤外線撮像部とからなるものとして説明していく。即ち、制御部７は、赤外線撮像部の撮像画像から、現実の所定物を検出する。また、本実施形態では、表示部２ａ及び表示部２ｂがウェアラブル装置１から離れた位置にあたかも存在するかのように表示画像を表示させるものとして説明していく。

【0034】

図３Ａは、検出部５の検出範囲５１と、表示部２ａ及び２ｂの表示領域２１とを模式的に示した斜視図である。図３Ｂは、図３Ａの上面図である。図３Ｃは、図３Ａの正面図である。図３Ａから図３Ｃは、Ｘ軸、Ｙ軸、Ｚ軸からなる三次元直交座標系が定義されている。Ｘ軸方向は、水平方向を指す。Ｙ軸方向は、鉛直方向或いは利用者の体の長軸方向を指す。Ｚ軸方向は、利用者の前後方向を指す。また、Ｚ軸正方向は、検出部５が含む赤外線照射部の照射におけるより大きい深度の方向を指す。なお、図３Ｃは、利用者が前方を視認した際の視界に相当する。

【0035】

図３Ａから図３Ｃから解るように、検出範囲５１は、３次元空間を有する。赤外線照射部と赤外線撮像部とからなる検出部５は、利用者の前方の所定物を２次元的な画像として検出するとともに、該所定物の形状を検出することができる。また、検出部５は、所定物を２次元的な画像として検出するとともに、該画像の各画素の位置座標データに対応する深度データを取得することができる（即ち深度データが付加された深度画像を取得することができる）。深度データは、検出部５と、２次元的な画像における各画素に対応する現実の物体（所定物）までの距離を示すデータである。制御部７は、検出部５の検出結果に基づき、例えば、所定物が利用者の腕、手、又は指、或いはこれらを組み合わせたもの（上肢と総称する）である場合の該所定物の動作として、指の曲げ動作・伸展動作、手首の曲げ、前腕の回転（回内又は回外）、等の身体動作を検出できる。

【0036】

なお、制御部７は、上記の身体動作の他に、上肢の特定箇所の位置が、検出範囲５１内において移動をすることを身体動作として検出しても良い。また、制御部７は、上肢が特定の形状を形成したことを身体動作として検出しても良い。例えば、制御部７は、親指を上方に伸ばしつつ他の指を握った形態（グッドサイン）等を身体動作として検出して良い。

【0037】

なお、撮像部３（アウトカメラ）を検出部として適用した場合であっても、上記検出部５と同様に、制御部７は、検出範囲内（撮像範囲内）に在る所定物の検出、所定物の動作等の検出が可能である。

【0038】

次に、表示部２ａ及び表示部２ｂは、図３Ａから図３Ｃから解るように、実際に設けられたウェアラブル装置１の部分ではなく、ウェアラブル装置１から離れた位置となる表示領域２１において利用者によって視認可能なように画像を表示する（以下、表示部２ａ及び表示部２ｂが表示する画像を表示画像と称することもある）。このとき、表示部２ａ及び２ｂは、表示画像を、奥行きを持つ立体形状の３Ｄオブジェクトとして表示しても良い。なお、当該奥行きは、Ｚ軸方向における厚みに対応する。しかしながら、表示部２ａ及び表示部２ｂは、ウェアラブル装置１から離れた位置となる表示領域２１において利用者によって視認可能なように画像を表示するのではなく、実際に設けられたウェアラブル装置１の表示部２ａ及び表示部２ｂの部分に画像を表示しても良い。

【0039】

次に、図４〜図１１を参照して、本実施形態に係るウェアラブル装置１により実行される機能を説明する。以下に示す各種の機能は、制御プログラム９０によって提供される。図４は、ウェアラブル装置１により実行される機能の第１例を説明する図である。

【0040】

図４には、ウェアラブル装置１の表示部２ａ或いは表示部２ｂ（以後、単に表示部２と称することもある）、表示部２の表示領域２１、及び利用者の上肢が示されている。また、図４は、凡そ、利用者によって２次元的に視認され得る領域として示されている。なお、後述する図５〜図１０の例においても同様である。

【0041】

ステップＳ１において、ウェアラブル装置１は、ウェブブラウザアプリケーションを実行しており、利用者の所望とする検索ワードを入力し、該検索ワードに基づき検索を行うための検索画面ＳＣ１を表示部２に表示している。また、ウェアラブル装置１は、検出部５の検出範囲５１における利用者の上肢の位置に対応する表示位置に、検出部５の検出結果に基づいて制御部７に検出される上肢の形状と略同形状の表示オブジェクト（以後、手オブジェクトＨと称する）を表示部２に表示している。ウェアラブル装置１は、検出部５の検出範囲５１内の予め定められた所定空間の座標位置と表示領域２１の座標位置とを対応付けて記憶している。そのため、利用者は、手オブジェクトＨの表示位置を視認しながら、現実の空間において上肢を動かすことにより、表示領域２１における所望とする位置に手オブジェクトＨを移動させることができる。また、ステップＳ１においては、利用者が現実の空間において、上肢における人差し指を伸展させていることに基づき、ウェアラブル装置１は、人差し指を伸展させた手を模した画像を手オブジェクトＨとして表示部２に表示している。

【0042】

ステップＳ１に示すように、利用者が現実の空間において上肢を動かすことにより、ウェアラブル装置１は、手オブジェクトＨを点線で示した位置から、人差し指の指先部分が検索画面ＳＣ１における文字入力領域ＳＣ１１と重畳する位置へ、該手オブジェクトＨを移動させる。ウェアラブル装置１は、利用者によって文字入力操作が開始されるものと認識する。ウェアラブル装置１は、手オブジェクトＨが文字入力領域ＳＣ１１と重畳する位置へ移動することにより、利用者によって文字入力を行う操作が開始されるものと認識する。ウェアラブル装置１は、例えば、ステップＳ２に示すように、上肢の身体動作に基づく手オブジェクトＨの位置及び形状の変化に応じて文字を入力可能な文字キーＳＣ２を検索画面ＳＣ１の一部に重畳させて表示する。また、ウェアラブル装置１は、ステップＳ２において、検索画面ＳＣ１における文字入力領域ＳＣ１１に、前回のウェブブラウザアプリケーションの起動時に入力されていた文字列「ｃａｒｒｏｔ ｒｅｃｉｐｅｓ」を表示している。

【0043】

次に、手オブジェクトＨが文字入力領域ＳＣ１１の近くに位置している状態において、利用者は、上肢における人差し指と親指を伸展させた状態から、人差し指と親指とを互いに近づける動作（摘まむ動作）を行っている。ステップＳ３において、ウェアラブル装置１は、上肢における人差し指と親指を伸展させた状態を検出すると、入力していた文字列「ｃａｒｒｏｔ ｒｅｃｉｐｅｓ」が利用者によって選択されたものと見なす。そして、ステップＳ４において、ウェアラブル装置１は、上肢における人差し指と親指とを互いに近づける動作を検出すると、利用者によって選択されたものと見なした文字列「ｃａｒｒｏｔ ｒｅｃｉｐｅｓ」を消去する。ここで、「人差し指と親指とを互いに近づける動作」とは、人差し指の所定領域（例えば指先）と、親指の所定領域（例えば、指先）とを互いに近づける動作を示す。また「指先」とは、例えば、指の第１間接から指の先端に至る部分として良い。

【0044】

このように、本実施形態に係るウェアラブル装置１は、文字を表示する表示部２と、現実の空間に在る所定物を検出する検出部５と、検出部５の検出結果から、上肢における一部（第１例では人差し指）と他部（第１例では親指）とが互いに近づく第１身体動作を検出すると、文字を選択する文字選択処理を実行する制御部７と、を備える。このような構成を有することにより、ウェアラブル装置１において、摘まむ動作のような、より簡易な動作によって文字を選択することができるため、利用者にとって使い勝手が良くなる。

【0045】

なお、本実施形態に係るウェアラブル装置１において、制御部７は、人差し指の指先と親指の指先とを互いに近づける動作（第１身体動作）を検出すると、当該動作に基づいて変化する、人差し指の指先と親指の指先との距離を検出する。制御部７は、検出した距離が所定長さ以下となったことを契機に、文字選択処理を実行するようにしても良い。ここで、「人差し指の指先と親指の指先との距離」とは、現実に存在する上肢における人差し指の指先と親指の指先との現実の空間における距離を意味していても良いし、手オブジェクトＨにおける人差し指の指先と親指の指先との距離を意味していても良い。また「所定長さ」とは、「人差し指の指先と親指の指先との距離」が、手オブジェクトＨにおける人差し指の指先と親指の指先との距離を意味する場合においては、例えば、対象とする文字列の半分の長さであっても良い。図４に示す例では、ウェアラブル装置１は、第１身体動作を検出すると、手オブジェクトＨにおける人差し指の指先と親指の指先との距離が、「ｃａｒｒｏｔ ｒｅｃｉｐｅｓ」の文字列が表示されている部分の長さｄの半分の長さ（１／２ｄ）以下となった場合に、当該文字列が利用者によって選択されたものと見なす。また、「所定長さ」は、人差し指の指先と親指の指先とが互いに触れたと見なせる長さ、即ち、ゼロとしても良い。

【0046】

また、本実施形態に係るウェアラブル装置１において、制御部７は、第１身体動作を検出し、かつ、該第１身体動作における一部（第１例では人差し指）又は他部（第１例では親指）の移動速度が第１速度以上であることを検出すると、文字選択処理を実行するようにしても良い。このような構成とすることで、ウェアラブル装置１は、利用者の意図した身体動作によって文字選択を行い易くすることができる。

【0047】

図５は、ウェアラブル装置１により実行される機能の第２例を説明する図である。第２例は、第１例と同様に、ウェブブラウザアプリケーションが起動している場合を示している。

【0048】

ステップＳ１１において、ウェアラブル装置１は、検索画面ＳＣ１及び文字キーＳＣ２を表示部２に表示している。また、ウェアラブル装置１は、検索画面ＳＣ１における文字入力領域ＳＣ１１に、前回のウェブブラウザアプリケーションの起動時に入力されていた文字列「ｃａｒｒｏｔ ｒｅｃｉｐｅｓ」を表示している。また、ウェアラブル装置１は、検出部５の検出範囲５１における利用者の上肢の位置に対応する表示位置に、検出部５によって検出結果に基づいて制御部７に検出される上肢の形状と略同形状の手オブジェクトＨを表示部２に表示している。

【0049】

ステップＳ１１において、利用者は、上肢を動かすことにより、手オブジェクトＨの親指の指先を文字列「ｒｅｃｉｐｅｓ」の先頭に位置させ、一方で、人差し指の指先を「ｒｅｃｉｐｅｓ」の後尾に位置させている。このとき、手オブジェクトＨの親指の指先と人差し指の指先とは、「ｒｅｃｉｐｅｓ」の表示領域の長さｄ２だけ離間している。次に、利用者は、ステップＳ１１に示す状態から、利用者が人差し指の指先と親指の指先とを互いに近づける動作（第１身体動作）を行う。ステップＳ１２において、ウェアラブル装置１は、第１身体動作を検出すると、文字列「ｃａｒｒｏｔ ｒｅｃｉｐｅｓ」の内の「ｒｅｃｉｐｅｓ」の部分が利用者によって選択されたものと見なす。ステップＳ１２に示す例では、ウェアラブル装置１は、第１身体動作を行う上肢の形状と略同形状の手オブジェクトＨを表示部２に表示している。ステップＳ１３において、ウェアラブル装置１は、利用者によって選択されたものと見なした文字列「ｒｅｃｉｐｅｓ」を文字入力領域ＳＣ１１から消去する。

【0050】

以上のように、本実施形態に係るウェアラブル装置１において、表示部２は複数の文字からなる文字列を表示し、制御部７は、第１身体動作を検出すると、前記文字列における、第１身体動作が検出される直前の手オブジェクトＨの一部（親指の指先）の位置と他部（人差し指の指先）の位置とによって規定される数の文字（第２例では「ｒｅｃｉｐｅｓ」）に対して文字選択処理を実行する。ここで、「手オブジェクトＨの一部の位置と他部の位置とによって規定される数の文字」とは、第２例のように、手オブジェクトＨの一部（親指の指先）と重畳する文字「ｒ」と手オブジェクトＨの他部（人差し指の指先）と重畳する文字「ｓ」との間に含まれる文字列（「ｒ」、「ｓ」も含む文字列、即ち「ｒｅｃｉｐｅｓ」）であって良い。また、「手オブジェクトＨの一部の位置と他部の位置とによって規定される数の文字」とは、手オブジェクトＨの一部のＸ座標位置と略同一のＸ座標位置に表示されている文字（Ｙ軸座標位置は同一でなくても良い）と、手オブジェクトＨの他部のＸ座標位置と略同一のＸ座標位置に表示されている文字（Ｙ軸座標位置は同一でなくても良い）と、の間に含まれる文字列としても良い。また、「手オブジェクトＨの一部の位置と他部の位置とによって規定される数の文字」とは、上肢の一部と他部の位置との間の距離のＸ軸方向成分（即ち、文字列の入力方向の成分）と同程度の長さとなる文字列としても良い。また、第２例のように複数の単語（「ｃａｒｒｏｔ」と「ｒｅｃｉｐｅｓ」）が表示されている場合には、当該単語の表示領域のＸ軸方向における長さが、上肢の一部と他部の位置との間の距離のＸ軸方向成分により近い一方を「手オブジェクトＨの一部の位置と他部の位置とによって規定される数の文字」と見なしても良い。

【0051】

また、第１例において、ウェアラブル装置１は、第１身体動作を検出し、当該第１身体動作における上肢の一部又は他部の移動速度が第１速度以上であることを検出すると、文字選択処理を実行するようにしても良いことを説示した。一方で、ウェアラブル装置１は、上肢の一部又は他部の第１速度未満の動作によっては文字選択処理が実行されない。このため、利用者は、上肢の一部又は他部を第１速度未満で適宜移動させることにより、利用者の所望とする文字列、或いは文字数を指定することができる（文字列を指定した後に、第１速度以上の第１身体動作を行えば、当該指定した文字列に対して文字選択処理が実行される）。また、ウェアラブル装置１は、表示領域２１における、手オブジェクトＨの一部の位置と他部の位置とが所定時間以上変動しなかった場合に、当該位置に基づいて利用者の所望とする文字列、或いは文字数が指定されたものと見なしても良い。

【0052】

以上に説明した第１例及び第２例においては、ウェアラブル装置１は、利用者の第１身体動作を検出すると、制御部７が文字選択処理によって選択した文字を消去する文字消去処理を実行する例を示した。ここで、第１例及び第２例のように、制御部７は、表示部２による検索画面ＳＣ１における文字入力領域ＳＣ１１（文字入力画面と称する）の表示時に、該表示時以前に入力された文字（文字列「ｃａｒｒｏｔ ｒｅｃｉｐｅｓ」）が表示されると、第１身体動作の検出の有無を監視する。制御部７は、第１身体動作の検出が有ったこと契機に、入力された文字「ｃａｒｒｏｔ ｒｅｃｉｐｅｓ」に対する文字消去処理を実行する構成を有していて良い。第１例及び第２例のように、ウェアラブル装置１は、所定のアプリケーションを起動した際に、前回の起動時に入力されていた文字列を再度表示する場合がある。この場合に、ウェアラブル装置１は、再度表示された文字を上記の第１身体動作のような簡易な動作によって、一括して消去できるので、利用者にとって使い勝手が良くなる。なお、ウェアラブル装置１は、文字消去処理の実行後に、身体動作として、上肢の一部と他部とが互いに離れる第２身体動作を検出すると、消去した文字を再入力するようにしても良い。また、ウェアラブル装置１は、文字消去処理の実行後、所定時間内に、第２身体動作を検出すると、消去した文字を再入力するようにしても良い。

【0053】

図６は、ウェアラブル装置１により実行される機能の第３例を説明する図である。第３例は、ウェアラブル装置１によってメールアプリケーションが起動されている場合を示している。

【0054】

ステップＳ２１において、ウェアラブル装置１は、他の通信端末とのメールのやりとりを示すメール画面ＳＣ３を表示部２に表示している。また、ウェアラブル装置１は、検出部５の検出範囲５１における利用者の右上肢の位置に対応する表示位置に、検出部５によって検出結果に基づいて制御部７に検出される右上肢の形状と略同形状の右手オブジェクトＲＨを表示部２に表示している。右手オブジェクトＲＨは、メール画面ＳＣ３中の一部のメッセージＳＣ３１に重畳して表示されている。

【0055】

ここで、利用者が右上肢を動かすことにより、右手オブジェクトＲＨの人差し指の指先と親指の指先とを互いに近づける動作を（第１身体動作）を行うと、ウェアラブル装置１は、文字選択処理を実行する。ステップＳ２２において、ウェアラブル装置１は、第１身体動作がなされる直前における右手オブジェクトＲＨの人差し指の指先の位置と親指の指先の位置に基づいて、或いは、人差し指の指先と親指の指先とが距離ｄ３だけ離間していることに基づいて、メッセージＳＣ３１の内の一部の文字列「１９時に○○駅前」に対して文字選択処理を実行する。そして、ウェアラブル装置１は、文字選択処理を実行するとともに、文字列「１９時に○○駅前」をコピーする複製処理、即ち、文字列「１９時に○○駅前」を一時的に記憶する処理を実行する。なお、文字列「１９時に○○駅前」に対する複製処理がなされたことを視認しやすくするために、ウェアラブル装置１は、文字列「１９時に○○駅前」の表示態様を変更する。

【0056】

ステップＳ２２において、複製処理を実行した後に、利用者は、ウェアラブル装置１の検出部５の検出範囲５１内に左上肢を移動させる。ステップＳ２３において、ウェアラブル装置１は、検出部５の検出結果に基づいて左上肢の形状と略同形状の左手オブジェクトＬＨを表示部２に表示する。ステップＳ２３において、例えば、利用者は、現実の空間において左上肢を左方向に移動させている。ステップＳ２４において、ウェアラブル装置１は、左手オブジェクトＬＨの表示位置を表示領域２１における左方向に移動させるとともに、左上肢が移動したことに基づいて、メール画面ＳＣ３から異なる画面へ表示を遷移させる。遷移後の画面は、ステップＳ２４に示すように、例えば、利用者の操作によって文字を入力することが可能なメモ画面ＳＣ４である。

【0057】

ステップＳ２４において、利用者は、現実の空間において右上肢を動かすことにより、メモ画面ＳＣ４上に右手オブジェクトＲＨを移動させ、右手オブジェクトＲＨの人差し指と親指とを互い離間させる（第２身体動作を行う）。ステップＳ２５において、ウェアラブル装置１は、第２身体操作を検出すると、複製処理によって一時的に記憶していた文字列「１９時に○○駅前」をメモ画面ＳＣ４内に入力（ペースト）する。

【0058】

以上のように、本実施形態に係るウェアラブル装置１において、制御部７は、第１身体動作を検出すると、文字選択動作によって選択した文字（第３例においては、文字列「１９時に○○駅前」）をコピーする複製処理を実行する。

【0059】

また、本実施形態に係るウェアラブル装置１において、制御部７は、複製処理の実行後に、身体動作として、手オブジェクトＨの一部（親指の指先）と他部（人差し指の指先）とが互いに離れる第２身体動作を検出すると、文字選択動作によってコピーした文字を表示部２にペーストする貼付処理を実行する。なお、ウェアラブル装置１は、貼付処理を実行した後、複製処理を実行した状態を解除、即ち、一時的に記憶していた文字列を記憶しない状態へ変更しても良い。また、ウェアラブル装置１は、貼付処理を実行した後も、複製処理を実行した状態を維持、即ち、文字選択処理によって選択した文字列を継続して記憶しても良い。当該構成によれば、ウェアラブル装置１は、利用者が第１身体動作を繰り返し行うことで、当該繰り返した回数だけ貼付処理を実行させることができる。また、ウェアラブル装置１は、貼付処理を実行した後も、複製処理を実行した状態を維持し、利用者の操作に基づき、他の文字列に対する文字選択処理を実行する際に、一時的に記憶する文字列を他の文字列に置換するようにしても良い。

【0060】

また、ウェアラブル装置１は、第１身体動作に基づき文字選択処理及び複製処理を実行すると、当該第１身体動作後の上肢の一部と他部とが近づいた状態が維持されているか否かを判定しても良い。例えば、ウェアラブル装置１は、当該状態が維持されている場合には、文字選択処理及び複製処理を継続し、一方で、当該状態が解除された、即ち、上肢の一部と他部とが離れた場合には、文字選択処理及び複製処理を解除するにようにしても良い。

【0061】

また、ウェアラブル装置１は、右上肢による第１身体動作に基づいて第１文字列に対する文字選択処理及び複製処理を実行し、一方で、左上肢による第１身体動作に基づいて第２文字列に対する文字選択処理及び複製処理を実行しても良い。この場合、ウェアラブル装置１は、第２身体動作に基づき、選択した文字列の貼付処理を実行するに際し、当該第２身体動作が左上肢に依るものなのか、右上肢に依るものなのかを判定しても良い。例えば、ウェアラブル装置１は、左上肢に依る第２身体動作である場合には第１文字列を貼り付ける処理を実行し、一方で、右上肢に依る第２身体動作である場合には第２文字列を貼り付ける処理を実行するようにしても良い。また、ウェアラブル装置１は、上肢の親指と人差し指とが互いに近づく第１身体動作に基づいて第１文字列に対する文字選択処理及び複製処理を実行し、一方で、上肢の親指と中指とが互いに近づく第１身体動作に基づいて第２文字列に対する文字選択処理及び複製処理を実行するようにしても良い。この場合、ウェアラブル装置１は、第２身体動作に基づき、選択した文字列の貼付処理を実行するに際し、当該第２身体動作が、親指と人差し指とが離れる動作であるか、親指と中指とが離れる動作であるか、を判定する。例えば、ウェアラブル装置１は、親指と人差し指とが離れる動作である場合には第１文字列を貼り付ける処理を実行し、一方で、親指と中指とが離れる動作である場合には第２文字列を貼り付ける処理を実行するようにしても良い。このような構成によれば、ウェアラブル装置１は、第１身体動作における上肢の一部と他部との組み合わせの種類に対応する数だけそれぞれ異なる複製処理を実行することができるので、ウェアラブル装置１の操作性が向上する。

【0062】

図７は、ウェアラブル装置１により実行される機能の第４例を説明する図である。ウェアラブル装置１は、メールアプリケーションを起動している。ステップＳ３１において、ウェアラブル装置１は、メール画面ＳＣ３と右手オブジェクトＲＨを表示部２に表示している。また、メール画面ＳＣ３中の一部のメッセージＳＣ３２に右手オブジェクトＲＨが重畳して表示されている。

【0063】

ここで、利用者が右上肢を動かすことにより、右手オブジェクトＲＨの人差し指の指先と親指の指先とを互いに近づける動作を（第１身体動作）を行うと、ウェアラブル装置１は、文字選択処理を実行する。ステップＳ３２において、ウェアラブル装置１は、複数の行で構成される文字列を含むメッセージＳＣ３２の内、第１身体動作がなされる直前における右手オブジェクトＲＨの人差し指の指先の位置と親指の指先の位置に基づいた行数の文字列に対して文字選択処理を実行する。図７に示す例では、ウェアラブル装置１は、人差し指の指先と親指の指先とが距離ｄ４だけ離間していることに基づいた２行分の行数の文字列「ｈｔｔｐ：／／・・・」に対して文字選択処理を実行する。そして、ウェアラブル装置１は、文字選択処理を実行するとともに、文字列「ｈｔｔｐ：／／・・・」をコピーする複製処理、即ち、文字列「ｈｔｔｐ：／／・・・」を一時的に記憶する処理を実行する。なお、ステップＳ３２に示す例では、文字列「ｈｔｔｐ：／／・・・」に対する複製処理がなされたことを視認しやすくするために、ウェアラブル装置１は、文字列「ｈｔｔｐ：／／・・・」の表示態様を変更する。

【0064】

ステップＳ３３において、ウェアラブル装置１は、複製処理を実行した後に、図６のステップＳ２３に示したような所定の操作が利用者によってなされたことに基づいて、メール画面ＳＣ３から異なる画面（メモ画面ＳＣ４）へ表示を遷移させる。ステップＳ３３において、利用者は、現実の空間において右上肢を動かすことにより、メモ画面ＳＣ４上に右手オブジェクトＲＨを移動させ、右手オブジェクトＲＨの人差し指と親指とを互い離間させる（第２身体動作を行う）。ステップＳ３４において、ウェアラブル装置１は、複製処理によって一時的に記憶していた文字列「ｈｔｔｐ：／／・・・」をメモ画面ＳＣ４内に入力（ペースト）する。

【0065】

以上のように、本実施形態に係るウェアラブル装置１において、表示部２は、複数の行で構成される文字列を表示し、制御部７は、第１身体動作を検出すると、文字列における、該第１身体動作が検出される直前の上肢の一部の位置と他部の位置とによって規定される行数の文字列（図７の例では２行分の文字列）に対して文字選択処理を実行する。ここで、「上肢の一部の位置と他部の位置とによって規定される行数の文字列」とは、図７の例のように、手オブジェクトＨの一部（親指の指先）と重畳する行と、手オブジェクトＨの他部（人差し指の指先）と重畳する行と、双方の行の間に含まれる行と、を構成する文字列であって良い。また、「上肢の一部の位置と他部の位置とによって規定される行数の文字列」とは、手オブジェクトＨの一部のＹ座標位置と略同一のＹ座標位置に表示されている行（Ｘ軸座標位置は同一でなくても良い）と、手オブジェクトＨの他部のＹ座標位置と略同一のＹ座標位置に表示されている行（Ｘ軸座標位置は同一でなくても良い）と、双方の行の間に含まれる他の行と、を構成する文字列としても良い。また、「上肢の一部の位置と他部の位置とによって規定される行数の文字列」とは、上肢の一部と他部の位置との間の距離のＹ軸方向成分（即ち、文字列の入力方向と垂直な方向の成分）と同程度の長さとなる行数の文字列としても良い。また、ウェアラブル装置１は、上肢の一部の位置と他部の位置とによって規定される行に加えて、当該規定された行の文字列と連続して一の文節（或いは、一の意味内容）を構成する他の文字列が含まれる上段の行又は下段の行も合わせて、文字選択処理の対象とされても良い。例えば、文字列「ｈｔｔｐ：／／・・・」が、２行分の文字列で１つのＵＲＬを構成しているものと仮定すれば、たとえ１行分（文字列「ｈｔｔｐ：／／・・・」の一部）しか指定しなかったとしても、文字列「ｈｔｔｐ：／／・・・」の全部（２行分）を文字選択処理の対象にすることができる。また、メッセージＳＣ３２（対象となる文字列）が複数の行からなるパラグラフを含む場合、ウェアラブル装置１は、上肢の一部の位置と他部の位置とによって規定される行を含むパラグラフ全部が、文字選択処理の対象とされても良い。また、メッセージＳＣ３２（対象となる文字列）が複数のパラグラフを含む場合、ウェアラブル装置１は、上肢の一部の位置に重畳する行を含む第１のパラグラフと、上肢の他部の位置に重畳する行を含む第２のパラグラフの双方（或いは、第１のパラグラフと第２のパラグラフとの間に他のパラグラフがある場合には、該他のパラグラフも含む）が、文字選択処理の対象とされても良い。

【0066】

以上の各実施形態において、文字列の横方向の規定と縦方向の双方において、文字選択処理の対象となる範囲の指定が可能であることを示した。次に、図８を参照して、文字選択処理を実行するための第１身体動作における上肢の一部と他部とが近づく方向の条件について説明する。図８Ａ及び図８Ｂは、文字選択処理を実行するための第１身体動作における上肢の一部と他部とが近づく方向の条件について説明する図である。

【0067】

図８Ａに示すように、制御部７は、第１身体動作を検出すると、上肢における一部と他部とが互いに近づく方向と、文字が順番に入力される入力方向（Ｘ軸方向）と、が交わる角度θ１を算出する。制御部７は、該角度θ１が第１角度以下である場合に、文字選択処理を実行するようにして良い。ここで、角度θ１は、例えば、０〜４５度の範囲内で適宜設定されると良い。

【0068】

また、図８Ｂに示すように、制御部７は、上肢における一部と他部とが互いに近づく方向と、文字の入力方向と垂直な方向（Ｙ軸方向）、が交わる角度θ２を算出する。制御部７は、該角度θ２が第２角度以下である場合に、文字選択処理を実行するようにして良い。ここで、角度θ２は、例えば、０〜４５度の範囲内で適宜設定されると良い。

【0069】

図９は、ウェアラブル装置１により実行される機能の第５例を説明する図である。第５例は、メールアプリケーションが起動している場合を示している。ステップＳ４１において、ウェアラブル装置１は、メール画面ＳＣ３と右手オブジェクトＲＨを表示部２に表示している。また、メール画面ＳＣ３中の一部のメッセージＳＣ３２には、右手オブジェクトＲＨが重畳して表示されている。

【0070】

ここで、利用者が右上肢を動かすことにより、右手オブジェクトＲＨの人差し指の指先と親指の指先とを互いに近づける動作を（第１身体動作）を行うと、ウェアラブル装置１は、文字選択処理を実行する。ステップＳ４２において、ウェアラブル装置１は、第１身体動作における人差し指の指先と親指の指先とを互いに近づく方向が略縦方向（Ｙ軸方向）であり、かつ、第１身体動作後の右手オブジェクトＲＨの人差し指の指先がメッセージＳＣ３２１の上端に、親指の指先がメッセージＳＣ３２１の下端に位置していることに基づいて、メッセージＳＣ３２１を文字選択処理の対象とする。ウェアラブル装置１は、利用者によってメッセージＳＣ３２１が選択されたものと見なしたことを契機に、メッセージＳＣ３２１の表示態様を変更する。なお、図９に示す例は、第１身体動作後の上肢の一部の位置と他部の位置とに基づいて、文字選択処理の対象とする文字列を決定する点において、上記の各実施形態とは異なる。

【0071】

ステップＳ４２において、利用者は、右手オブジェクトＲＨがメッセージＳＣ３２１を摘まんでいる状態、即ち、人差し指と親指との離間距離が略同一に維持された状態において、利用者が現実の空間において上肢を動かしている。この動作を検出することにより、ステップＳ４３において、ウェアラブル装置１は、右手オブジェクトＲＨを表示部２の表示領域２１における右方向へ移動させる。この場合、ウェアラブル装置１は、文字選択処理で選択したメッセージＳＣ３２１中を構成する文字をコピーする複製処理を実行するとともに、メッセージＳＣ３２１の表示位置を右方向へ移動させる。

【0072】

そして、ステップＳ４３において、利用者は、ウェアラブル装置１の検出部５の検出範囲５１内に左上肢を移動させている。ステップＳ４３において、ウェアラブル装置１は、検出部５の検出結果に基づいて左上肢の形状と略同形状の左手オブジェクトＬＨを表示部２に表示する。そして、例えば、利用者が現実の空間において左上肢を左方向に移動させると、ウェアラブル装置１は、検出部５の検出結果から左上肢の身体動作を検出し、左手オブジェクトＬＨの表示位置を表示領域２１における左方向に移動させる。また、ステップＳ４３において、ウェアラブル装置１は、左上肢の身体動作を検出すると、利用者による操作がなされたものと見なし、例えば、メール画面ＳＣ３から異なる画面へ表示を遷移させる。遷移後の画面は、例えば、ステップＳ４４に示すように検索画面ＳＣ５である。なお、ウェアラブル装置１は、メール画面ＳＣ３から検索画面ＳＣ５に表示を遷移させるに際して、右手オブジェクトＲＨが摘まんでいるメッセージＳＣ３２１の表示を維持する、即ち、メッセージＳＣ３２１中の文字をコピーしている状態を維持する。

【0073】

ステップＳ４４において、利用者が現実の空間において右上肢を動かすことにより、ウェアラブル装置１は、検索画面ＳＣ５における文字入力領域ＳＣ５１にメッセージＳＣ３２１が重畳するように、右手オブジェクトＲＨの表示位置を移動させる。ステップＳ４５において、ウェアラブル装置１は、文字入力領域ＳＣ５１にコピーしていたメッセージＳＣ３２１内の文字を入力、即ち、ペーストする貼付処理を実行する。なお、ウェアラブル装置１は、文字入力領域ＳＣ５１にメッセージＳＣ３２１が重畳するように、右手オブジェクトＲＨの表示位置を移動させることに基づいて、文字入力領域ＳＣ５１にメッセージＳＣ３２１内の文字をペーストすることに限定しない。例えば、ウェアラブル装置１は、文字入力領域ＳＣ５１にメッセージＳＣ３２１が重畳するように、右手オブジェクトＲＨの表示位置が移動し、該移動後に右手オブジェクトＲＨの人差し指の指先と親指の指先とが離れたことに基づいて、文字入力領域ＳＣ５１にメッセージＳＣ３２１内の文字をペーストするようにしても良い。この場合、利用者は、文字入力領域ＳＣ５１にメッセージＳＣ３２１を構成する文字をペーストするために、現実の空間において、右上肢を移動させ、かつ人差し指の指先と親指の指先とを離す動作（第２身体動作）を行えば良い。

【0074】

上述したように第５例では、第１身体動作前ではなく、第１身体動作後の上肢の一部の位置と他部の位置とに基づいて、文字選択処理の対象とする文字列を決定する点において、上記の各実施形態とは異なる。第５例では、メッセージＳＣ３２１に対する文字選択処理を実施するための操作が、必ずしも、上肢の一部と他部とが互いに近づく第１身体動作である必要はない。例えば、ウェアラブル装置１は、単に、上肢の一部がメッセージＳＣ３２１の上端に位置し、他部がメッセージＳＣ３２１の下端に位置したことに基づいて、メッセージＳＣ３２１に対する文字選択処理を実行しても良い。或いは、ウェアラブル装置１は、上肢の一部がメッセージＳＣ３２１の上端に位置し、他部がメッセージＳＣ３２１の下端に位置した状態が所定時間以上継続したことに基づいてメッセージＳＣ３２１に対する文字選択処理を実行しても良い。

【0075】

図９に示したように、本実施形態に係るウェアラブル装置１は、複数の文字からなる文字列を表示する表示部２と、現実の空間に在る利用者の上肢を検出する検出部５と、前記文字列の内、検出部５によって検出される上肢の一部の位置と他部の位置とによって規定される範囲に含まれる第１文字列（図９の例では、メッセージＳＣ３２１）を選択する文字選択処理を実行する制御部７と、を備える頭部に装着可能なウェアラブル装置１であって、制御部７は、文字選択処理の実行中に、上肢一部と他部との間の離間距離が略同一に維持された状態で、該上肢の所定の身体動作（図９の例では、上肢を右方向へ移動させる動作）を検出したことに基づいて、第１文字列に対して所定の処理（図９の例では、メッセージＳＣ３２１内の文字列をコピーする複製処理）を実行する。ここで、所定の身体動作は、例えば、文字選択処理を実行させるための上肢の一部と他部とを近づける動作における、該一部と他部とが近づく方向と略直交する（或いは所定範囲内の角度で交わる）方向へ上肢を移動させる動作であって良い。当該動作であれば、文字選択処理のための操作と、所定の処理を実行させるための操作と、の間で身体動作が混同し難く、従って、誤操作が生じ難くなる。

【0076】

図１０は、ウェアラブル装置１により実行される機能の第６例を説明する図である。ステップＳ５１に示すように、ウェアラブル装置１は、利用者に所定の情報を入力させるための入力フォームＳＣ６を表示部２に表示している。また、ウェアラブル装置１は、検出部５の検出範囲５１における利用者の上肢の位置に対応する表示位置に、検出部５によって検出結果に基づいて検出される上肢の形状と略同形状の手オブジェクトＨを表示部２に表示している。

【0077】

ステップＳ５１において、入力フォームＳＣ６における電話番号入力領域には、全角数字列「０８０−」（文字列Ｔ１）が入力されている。ステップＳ５２において、利用者は、現実の空間において上肢を動かすことにより、文字列Ｔ１「０８０−」の先頭に右手オブジェクトＲＨの親指の指先を位置させ、文字列Ｔ１「０８０−」の後尾に右手オブジェクトＲＨの人差し指の指先を位置させている。次に、利用者は、右手オブジェクトＲＨの人差し指の指先と親指の指先とを互いに近づける動作を（第１身体動作）を行っている。ステップＳ５２において、ウェアラブル装置１は、当該近づける動作を検出すると、文字列Ｔ１「０８０−」が利用者によって選択されたものと見なす。即ち、ウェアラブル装置１は、文字列Ｔ１を選択する文字選択処理を実行する。

【0078】

ステップＳ５２において、ウェアラブル装置１は、文字列Ｔ１を選択する文字選択処理を実行するとともに、当該選択した文字列Ｔ１の文字種を変更する。ウェアラブル装置１は、文字種の変更として、ステップＳ５３に示すように、全角数字である文字列Ｔ１から半角数字である文字列Ｔ２へ変更する。

【0079】

以上のように、本実施形態に係るウェアラブル装置１において、制御部７は、第１身体動作を検出すると、文字列Ｔ１を選択するとともに、該文字の文字種を変更する文字種変更処理を実行する。

【0080】

なお、文字種の変更は、全角文字から半角文字への変更に限られない。図１１Ａから図１１Ｄは、文字種の変更の他の例を示す図である。

【0081】

図１１Ａに示す例では、ウェアラブル装置１は、上肢の一部と他部とが互いに近づく第１身体動作を検出すると、第６例と同様に、文字を全角から半角に変換、若しくは、文字の大きさを変更する例を示している。なお、ウェアラブル装置１は、上肢の一部と他部とが互いに近づく第１身体動作を検出すると、文字の大きさを縮小し、一方で、上肢の一部と他部とが互いに離れる第２身体動作を検出すると、文字の大きさを拡大する構成として良い。

【0082】

即ち、本実施形態に係るウェアラブル装置１において、制御部７は、検出部５の検出結果から、上肢における一部と他部との距離の変化を伴う身体動作を検出すると、文字の文字種を変更する文字種変更処理を実行するものと特徴付けられても良い。このような構成を有することにより、ウェアラブル装置１は、摘まむ動作のような、より簡易な動作によって、入力されている文字の文字種を変更することができるため、利用者にとって使い勝手が良くなる。

【0083】

また、本実施形態に係るウェアラブル装置１において、文字種変更処理は、所定の２種の文字種の内、一方から他方へ変更する動作であり、一部と他部との距離が小さくなる第１身体動作を検出すると、一方から他方へ変更し、一方、一部と他部との距離が大きくなる第２身体動作を検出すると、他方から一方へ変更する。また、２種の文字種は、互いに大小関係を有する文字種であり、ウェアラブル装置１は、第１身体動作を検出すると、２種の文字種の内の相対的に大きな一方（全角表記）から相対的に小さな他方（半角表記）へ変更し、第２身体動作を検出すると、２種の文字種の内の相対的に小さな一方から相対的に大きな他方へ変更するようにしても良い。なお、ウェアラブル装置１は、文字種変更処理の対象となる文字列が全角表記の文字と半角表記の文字との双方を含む場合には、第１身体動作に基づき、文字列中の全角表記の文字を半角表記へ変更し（元々半角表記の文字は文字種を変更しない）、第２身体動作に基づき、文字列中の半角表記の文字を全角表記へ変更（元々全角表記の文字は文字種を変更しない）するようにしても良い。

【0084】

図１１Ｂに示す例では、ウェアラブル装置１は、上肢の一部と他部とが互いに近づく第１身体動作を検出すると、かな文字で表記された文字列「にんじん」を漢字表記の文字列「人参」に変換する例を示している。なお、ウェアラブル装置１は、上肢の一部と他部とが互いに近づく第１身体動作を検出すると、かな文字での表記から、漢字での表記に変更し、一方で、上肢の一部と他部とが互いに離れる第２身体動作を検出すると、漢字での表記から、かな文字での表記に変換する構成として良い。かな文字で表記された文字列（単語）と、該文字列に対応する漢字とでは、漢字表記の場合の方が、文字数が少なくなる場合が多い。そのため、第１身体動作又は第２身体動作による上肢の一部と他部との間の距離の増減に従って、文字列の文字数が増減するため、利用者に対してより自然な操作感を与えることができる。即ち、ウェアラブル装置１は、第１身体動作を検出すると、２種の文字種の内の相対的に大きな一方（かな文字での表記）から相対的に小さな他方（漢字での表記）へ変更する動作を実行し、第２身体動作を検出すると、２種の文字種の内の相対的に小さな一方から相対的に大きな他方へ変更する動作を実行する構成を有していても良い。なお、ウェアラブル装置１は、文字種変更処理の対象となる文字列が、かな文字と漢字表記の文字との双方を含む場合には、第１身体動作に基づき、文字列中のかな文字を漢字表記へ変更し（元々漢字表記の文字は文字種を変更しない）、第２身体動作に基づき、文字列中の漢字表記の文字をかな表記へ変更（元々かな表記の文字は文字種を変更しない）するようにしても良い。

【0085】

図１１Ｃに示す例では、ウェアラブル装置１は、上肢の一部と他部とが互いに近づく第１身体動作を検出すると、漢字表記で表記された日本語の文字列「人参」を英語「ｃａｒｒｏｔ」に翻訳する例を示している。なお、ウェアラブル装置１は、上肢の一部と他部とが互いに近づく第１身体動作を検出すると、漢字での表記から、英語での表記に翻訳し、一方で、上肢の一部と他部とが互いに離れる第２身体動作を検出すると、英語での表記から、漢字での表記に翻訳する構成として良い。なお、図１１Ｃの例では、一の単語を翻訳する例を示したが、これに限定されず、複数の単語からなる文章に対して翻訳される処理がウェアラブル装置１によって実行されても良い。

【0086】

図１１Ｄに示す例では、ウェアラブル装置１は、先頭の文字が大文字で表記されている文字列「Ｃａｒｒｏｔ」に対し、上肢の一部を「Ｃ」の上部に、他部を「Ｃ」の下部に位置させた状態で、一部と他部とが互いに近づく第１身体動作を検出すると、大文字で表記された「Ｃ」を小文字の「ｃ」に変更する例を示している。反対に、ウェアラブル装置１は、文字の全てが小文字で表記された文字列「ｃａｒｒｏｔ」に対し、上肢の一部を「ｃ」の上部に、他部を「ｃ」の下部に位置させた状態で、一部と他部とが互いに離れる第２身体動作を検出すると、小文字で表記された「ｃ」を大文字の「Ｃ」に変更するようにしても良い。即ち、ウェアラブル装置１は、第１身体動作を検出すると、２種の文字種の内の相対的に大きな一方（大文字）から相対的に小さな他方（小文字）へ変更し、第２身体動作を検出すると、２種の文字種の内の相対的に小さな一方（小文字）から相対的に大きな他方（大文字）へ変更する動作を実行するようにしても良い。

【0087】

以上、図１１を参照して説明したように、本実施形態に係るウェアラブル装置１において、制御部７は、第１身体動作を検出すると、文字を選択するとともに、該文字に対して、全角／半角変換、又は、かな／漢字変換、又は、他言語への翻訳、又は、大文字／小文字変換を文字種変更処理として実行する。

【0088】

以上に、各実施形態を説明してきた。特に、第１例及び第２例においては、ウェアラブル装置１が利用者の第１身体動作を検出すると、文字選択処理によって選択した文字を消去する文字消去処理を実行する例を示した。ここで、第１例、第２例のように、制御部７は、表示部２による検索画面ＳＣ１における文字入力領域ＳＣ１１の表示時に、該表示時以前に入力された文字が表示されると、第１身体動作の検出の有無を監視し、第１身体動作の検出が有ったこと契機に、表示時以前に入力された文字に対する文字消去処理を実行する構成を有していても良いことを述べた。これによれば、ウェアラブル装置１は、利用者の眼前に配置され、文字を表示する表示部２と、現実の空間に在る利用者の上肢を検出する検出部５と、検出部５の検出結果から、上肢の身体動作を検出する制御部７と、を備え、制御部７は、表示部２による文字入力画面の表示時に、該表示時以前に入力された文字列が表示されると、前記身体動作の内、所定の身体動作が検出されるかを判定し、当該所定の身体動作の検出が有ると判定すると、文字列の表示を消去するものと特徴づけられても良い。このとき、「所定の身体動作」は、上記のような、上肢における一部と他部とが互いに近づく第１身体動作に限られず、例えば、手を開いた状態から閉じた状態へ遷移させる握り動作、又は、上肢の指先を所定方向（例えば、文字列が並ぶ方向）に移動させる動作、又は、上肢の指先を所定方向に移動させた後、当該所定方向とは逆方向に戻す往復動作を所定時間内に所定回数以上繰り返す動作（消しゴムで文字を消すような動作を模した身体動作）等であって良い。

【0089】

また、ウェアラブル装置１において、制御部７は、表示部２による文字入力画面の表示時に、該表示時以前に入力された文字列が表示されると、当該文字列が表示されてから所定時間が経過するまでに、所定の身体動作が検出されるかを判定し、所定時間が経過する前に所定の身体動作の検出が有ると判定すると、文字列の表示を消去するようにしても良い。また、ウェアラブル装置１において、制御部７は、表示部２による文字入力画面の表示時に、該表示時以前に入力された文字列が表示されると、当該文字列が表示されてから所定時間が経過するまでの間は、手オブジェクトＨの位置、即ち現実の空間における上肢の位置に依らず、第１身体動作（上肢の一部と他部とを互いに近づける動作）がなされたことに基づいて、文字列を消去できるようにし、一方で、文字列が表示されてから所定時間が経過した後は、手オブジェクトＨが所定の位置に在ることを条件に文字列を指定し、該指定した状態で、第１身体動作（上肢の一部と他部とを互いに近づける動作）がなされなければ文字列を消去するができないようにしても良い。

【0090】

以上に、説明してきた実施形態は、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。さらに、本明細書において開示される全ての技術的事項は、矛盾しないように再配置可能であり、複数の構成部を１つに組み合わせたり、或いは分割したりすることが可能である。

【0091】

以上の各実施形態では、現実の空間における上肢の位置及び上肢の形状に基づく手オブジェクトＨを表示領域２１に表示し、当該手オブジェクトＨの表示態様（表示位置或いは形状）を変更することによって、ウェアラブル装置１に上記に例示した種々の動作を実行させる構成を例示した。例えば、第１例においては、手オブジェクトＨの人差し指の指先と表示画像（検索画面ＳＣ１１）とが重畳することに基づいて当該表示画像が選択される構成を例示した。しかしながらこのような構成に限定されない。例えば、ウェアラブル装置１は、現実の空間における上肢の人差し指の指先が、表示領域２１における表示画像と重畳して利用者に視認されると位置に在ると推定した場合に、当該表示画像が選択されたと見なす構成としても良い。この場合、ウェアラブル装置１は、利用者によって表示領域２１と重畳して視認される現実の空間の範囲を予め推定しており、従って、その範囲内における人差し指の指先と検出位置に応じて表示領域２１の何れの位置と重畳して視認されるかを推定可能としている。

【0092】

また、上記の実施形態では、ウェアラブル装置１が、眼鏡形状を有する例を示してきたが、ウェアラブル装置１の形状はこれに限定されない。例えば、ウェアラブル装置１は、利用者の頭部のほぼ上半分を覆うようなヘルメットタイプの形状を有していても良い。或いは、ウェアラブル装置１は、利用者の顔面のほぼ全体を覆うようなマスクタイプの形状を有していても良い。

【0093】

また、上記の実施形態では、ウェアラブル装置１は、表示部２が利用者の左右の目の前に設けられる一対の表示部２ａ及び表示部２ｂを有している構成を例示してきたが、これに限定されない。例えば、表示部２は、利用者の左右の目の内の一方の前に設けられる一つの表示部を有している構成であっても良い。

【0094】

また、上記の実施形態では、ウェアラブル装置１は、正面部の縁部が、表示部２の表示領域の縁の全周を囲っている構成を例示してきたが、これに限定されない。例えば、ウェアラブル装置１は、表示部２の表示領域の縁の一部のみを囲っている構成であっても良い。

【0095】

また、上記の実施形態では、ウェアラブル装置１は、利用者の上肢として手や指を撮像部（或いは検出部）によって検出する構成を示したが、手や指は、手袋やグローブ等が装着されている状態であっても同様にして検出可能である。

【0096】

上記の実施形態では、ウェアラブル装置１の構成と動作について説明したが、これに限定されず、各構成要素を備える方法やプログラムとして構成されても良い。例えば、一態様に係る制御方法は、文字を表示する表示部と、現実の空間に在る利用者の上肢を検出する検出部と、前記検出部の検出結果から、前記上肢の身体動作を検出する制御部と、を備える、頭部に装着可能なウェアラブル装置によって実行される制御方法であって、前記制御部が、前記身体動作として、前記上肢における一部と他部とが互いに近づく第１身体動作を検出するステップと、当該第１身体動作を検出すると、前記文字を選択する文字選択処理を実行するステップと、を含む制御方法として特徴づけられても良い。また、一態様に係るプログラムは、文字を表示する表示部と、現実の空間に在る利用者の上肢を検出する検出部と、前記検出部の検出結果から、前記上肢の身体動作を検出する制御部と、を備える、頭部に装着可能なウェアラブル装置において、前記制御部に前記身体動作として、前記上肢における一部と他部とが互いに近づく第１身体動作を検出するステップと、当該第１身体動作を検出すると、前記文字を選択する文字選択処理を実行するステップと、を実行させる制御プログラムとして特徴づけられても良い。

【符号の説明】

【0097】

１ ウェアラブル装置
１ａ 前面部
１ｂ 側面部
１ｃ 側面部
２ 表示部
３ 撮像部
４ 撮像部
５ 検出部
６ 操作部
７ 制御部
８ 通信部
９ 記憶部

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11A】

【図11B】

【図11C】

【図11D】