特許 6136090 電子機器、及び表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6136090

(24)【登録日】2017年5月12日

(45)【発行日】2017年5月31日

(54)【発明の名称】電子機器、及び表示装置

(51)【国際特許分類】

   G06F 3/0346 20130101AFI20170522BHJP

   G06F 3/0487 20130101ALI20170522BHJP

   G06F 3/0484 20130101ALI20170522BHJP

   H04N 5/225 20060101ALI20170522BHJP

【ＦＩ】

   G06F3/0346 422

   G06F3/0487

   G06F3/0484 120

   H04N5/225 Z

【請求項の数】10

【全頁数】32

(21)【出願番号】特願2012-55864(P2012-55864)

(22)【出願日】2012年3月13日

(65)【公開番号】特開2013-190925(P2013-190925A)

(43)【公開日】2013年9月26日

【審査請求日】2015年3月10日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100108578

【弁理士】

【氏名又は名称】高橋 詔男

(72)【発明者】

【氏名】江島 聡

(72)【発明者】

【氏名】加藤 茂

【審査官】 遠藤 尊志

(56)【参考文献】

【文献】 特開２０１１−２２３４７６（ＪＰ，Ａ）

【文献】 特開２０１１−０９５９８５（ＪＰ，Ａ）

【文献】 特開２０１０−１２２７３５（ＪＰ，Ａ）

【文献】 特開平０７−０８４７１５（ＪＰ，Ａ）

【文献】 特開２００９−２９５０３１（ＪＰ，Ａ）

【文献】 特開２０１１−０１０１２８（ＪＰ，Ａ）

【文献】 特開平０８−００６０７８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１−３／０４８９

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

撮像部によって撮像された画像から対象物を検出する検出部と、
前記検出部によって検出された前記対象物の大きさに基づき、前記撮像部の焦点調節部を制御するとともに、前記検出部によって検出された前記対象物の位置に基づく指示位置を、操作を設定するための複数の画像が表示されている表示部に表示させる制御部と、
を備える電子機器。

【請求項2】

前記制御部は、前記対象物の大きさが所定の大きさ以上であると、前記撮像部の焦点調節部を制御する請求項１に記載の電子機器。

【請求項3】

前記制御部は、前記検出部によって複数の前記対象物が検出されると、最も大きい前記対象物の大きさに基づき、前記撮像部の焦点調節部を制御する請求項１又は請求項２に記載の電子機器。

【請求項4】

前記制御部は、前記撮像部の焦点調節部を制御することにより前記撮像部の光学系を前記対象物に合焦させる請求項１から請求項３のいずれか一項に記載の電子機器。

【請求項5】

前記制御部は、前記操作を設定するための複数の画像のうちの前記指示位置の画像に基づく操作を選択する請求項１から請求項４のいずれか一項に記載の電子機器。

【請求項6】

前記制御部は、選択された前記操作を実行する請求項５に記載の電子機器。

【請求項7】

前記制御部は、前記表示部の前記指示位置にマークを表示させる請求項１から請求項６のいずれか一項に記載の電子機器。

【請求項8】

前記対象物は、手である請求項１から請求項７のいずれか一項に記載の電子機器。

【請求項9】

前記撮像部と前記表示部とを備える請求項１から請求項８のいずれか一項に記載の電子機器。

【請求項10】

請求項１から請求項８のいずれか一項に記載の電子機器と、
前記撮像部及び前記表示部を頭部に装着する装着部と、
を備える表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子機器、及び表示装置に関する。

【背景技術】

【0002】

使用者の頭部に装着し、表示部に表示される画像を観察させるヘッドマウントディスプレイ装置などの表示装置が知られている（例えば、特許文献１を参照）。このような表示装置には、入力装置としての機能を有するものがあり、例えば、表示部に仮想パネルを表示して、手や指の位置から仮想パネルを選択するか否かを検出している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−１４６４８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、特許文献１に記載の表示装置は、入力装置として使用する場合、表示部に複数の仮想パネルを奥行き方向に積層配置した立体視画像を表示して、いずれの仮想パネルの位置に手や指の位置が重なったか否かを検出して仮想パネルを選択している。しかしながら、上述の表示装置は、例えば、手や指の奥行き方向の位置を正確に検出する必要があるが、手や指の奥行き方向の位置を正確に検出することが困難であった。そのため、上述の表示装置は、入力装置として使用する場合に、誤検出が発生する場合があるために、利便性が悪いという問題があった。

【0005】

本発明は、上記問題を解決すべくなされたもので、その目的は、利便性を向上させることができる電子機器、及び表示装置を提供することにある。

【課題を解決するための手段】

【0006】

上記問題を解決するために、本発明の一実施形態は、撮像部によって撮像された画像から対象物を検出する検出部と、前記検出部によって検出された前記対象物の大きさに基づき、前記撮像部の焦点調節部を制御するとともに、前記検出部によって検出された前記対象物の位置に基づく指示位置を、操作を設定するための複数の画像が表示されている表示部に表示させる制御部と、を備える電子機器である。

【0007】

また、本発明の一実施形態は、上記の電子機器と、前記撮像部及び前記表示部を頭部に装着する装着部と、を備える表示装置である。

【発明の効果】

【0008】

本発明によれば、利便性を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態によるヘッドマウントディスプレイの斜視図である。

【図2】本実施形態におけるヘッドマウントディスプレイを背面側から見た斜視図である。

【図3】本実施形態におけるヘッドマウントディスプレイの装着形態を示す図である。

【図4】本実施形態におけるディスプレイ本体の水平断面図である。

【図5】本実施形態におけるリモコンを示す斜視図である。

【図6】本実施形態におけるステレオイヤホンを示す斜視図である。

【図7】本実施形態におけるヘッドマウントディスプレイの機能ブロック図である。

【図8】本実施形態における処理部の機能ブロック図である。

【図9】本実施形態におけるヘッドマウントディスプレイの右目装着時の撮像範囲を示す模式図である。

【図10】本実施形態におけるヘッドマウントディスプレイの左目装着時の撮像範囲を示す模式図である。

【図11】本実施形態におけるヘッドマウントディスプレイの撮像範囲及び表示範囲の切り替えを示す図である。

【図12】本実施形態におけるヘッドマウントディスプレイの撮像範囲及び表示範囲の切り替え処理を示すフローチャートである。

【図13A】本実施形態における入力装置の処理を示すフローチャートの第１の図である。

【図13B】本実施形態における入力装置の処理を示すフローチャートの第２の図である。

【図14】本実施形態におけるヘッドマウントディスプレイの動作の一例を示す第１の図である。

【図15】本実施形態におけるヘッドマウントディスプレイの動作の一例を示す第２の図である。

【図16】本実施形態におけるヘッドマウントディスプレイの動作の一例を示す第３の図である。

【図17】本実施形態におけるヘッドマウントディスプレイの動作の一例を示す第４の図である。

【図18】本実施形態におけるヘッドマウントディスプレイの動作の一例を示す第５の図である。

【図19】本実施形態におけるリモコンによるポイント指示の動作の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の一実施形態による入力装置及び表示装置について、図面を参照して説明する。
以下の説明においては、必要に応じてＸＹＺ直交座標系を設定し、このＸＹＺ直交座標系を参照しつつ各部の位置関係について説明する。水平面内の所定方向をＸ軸方向、水平面内においてＸ軸方向と直交する方向をＹ軸方向、Ｘ軸方向及びＹ軸方向のそれぞれと直交する方向（すなわち鉛直方向）をＺ軸方向とする。また、Ｘ軸、Ｙ軸、及びＺ軸まわりの回転（傾斜）方向をそれぞれ、θＸ、θＹ、及びθＺ方向とする。

【0011】

図１は、本実施形態のヘッドマウントディスプレイの斜視図である。図２は、ヘッドマウントディスプレイを背面側から見た斜視図である。図３は、本実施形態のヘッドマウントディスプレイの装着形態を示す図である。

【0012】

ヘッドマウントディスプレイ１（表示装置）は、ディスプレイ本体２０と、ユーザー（使用者）の頭部に装着されディスプレイ本体２０を支持するヘッドバンド４０（装着部）と、を備えた単眼式のヘッドマウントディスプレイである。本実施形態のヘッドマウントディスプレイ１は、図３に示すように、両眼どちらでも使用可能である。図３（Ａ）には、ユーザーが右眼（右目）で表示部６０を見ている状態、図３（Ｂ）には左眼（左目）で見ている状態が示されている。ここで、ヘッドバンド４０は、ディスプレイ本体２０をユーザーの頭部に装着する。
また、図２に示すように、ディスプレイ本体２０とヘッドバンド４０とは、連結ピン４１を介して着脱可能に構成されている。
なお、図１及び図２では、ディスプレイ本体２０の長手方向をＹ軸方向、ヘッドバンド４０がユーザーの頭部を挟持する方向をＸ軸方向としている。

【0013】

以下、ヘッドマウントディスプレイ１の各部の構成について詳細に説明する。
ディスプレイ本体２０は、主要回路を内蔵するとともに操作部や各種インターフェースを備えた装置本体部２１と、装置本体部２１の先端に連結された表示部６０とを有する。

【0014】

装置本体部２１は、概略板状の筐体２１Ａ（図４）を有する。本実施形態では、装置本体部２１においてヘッドバンド４０との接続部が設けられている側の端部（＋Ｙ側の端部）を基端部とし、この基端部と反対側の端部（−Ｙ側の端部）を先端部とする。また、装置本体部２１をヘッドバンド４０に装着した状態で、装置本体部２１のヘッドバンド４０側（＋Ｘ側）を内側、ヘッドバンド４０と反対側（−Ｘ側）を外側とする。

【0015】

装置本体部２１の外面には、図１に示すように、メインスイッチ２８と、タッチスイッチ３４と、集音マイク２４とが、筐体２１Ａの長手方向に沿って配置されている。
メインスイッチ２８は、ディスプレイ本体２０の電源のオンオフ操作を行うスイッチである。タッチスイッチ３４は、表面に手指等で触れることによりヘッドマウントディスプレイ１の各種操作を行うことができるタッチパネルである。集音マイク２４は、環境音を収集する外部マイクである。

【0016】

装置本体部２１内面の基端部側に、図２に示すように、耳元スピーカー２３と、オーディオコネクター２６と、連結孔３１を有するヘッドバンドヒンジ３２とが設けられている。装置本体部２１内面の中央部に心拍数センサー１３７が設けられている。装置本体部２１の内側面の先端部には通話マイク３７が設けられている。

【0017】

耳元スピーカー２３は、ユーザーの耳の近傍に配置される。耳元スピーカー２３からユーザーに音声情報が伝えられる。オーディオコネクター２６は、例えば図６に示すイヤホンが接続される音声入出力端子である。ヘッドバンドヒンジ３２は、ヘッドバンド４０とのジョイント部である。通話マイク３７にはユーザーの音声が入力される。

【0018】

心拍数センサー１３７は、ユーザーの顔の表面に接触させることでユーザーの心拍数を測定するセンサーである。心拍数センサー１３７は、発光ダイオード等を備えた発光部と、ユーザーの皮膚内部で反射した光を検知する受光部とを有する。心拍数センサー１３７は、血流の変化による反射光量の変化を検出することで心拍数をカウントする。心拍数センサー１３７はユーザーの目の近くに配置されるが、発光部から赤外域の光を射出させる構成とすればユーザーにまぶしさを感じさせることはない。

【0019】

装置本体部２１の基端部側の側端面には、ＵＳＢコネクター２５と、操作スイッチ３０と、ビデオコネクター２７とが設けられている。
ＵＳＢコネクター２５はＵＳＢ（Universal Serial Bus）デバイスの接続端子である。本実施形態では、例えば、図５に示すリモコン（リモートコントローラー）１４０が接続される。

【0020】

操作スイッチ３０（操作部）は、例えばトラックボールやスティックなどのポインティングデバイスである。操作スイッチ３０は表示部６０に表示される画面に正対するように設けられている。これにより、操作スイッチ３０における操作の左右方向と、上記画面の左右方向とが一致するので、ユーザーは画面を見ながら直感的に操作スイッチ３０を操作することが可能である。
ビデオコネクター２７は映像入出力端子である。

【0021】

ヘッドバンド４０は、図２に示すように、ユーザーの頭部を挟持する一対のヘッドパット（装着部材）４６、４７と、第１ヘッドバンド４３と、第２ヘッドバンド４４と、回動機構５６、５７とを備えている。

【0022】

第１ヘッドバンド４３は、全体として円弧状を成す弾性部材である。第１ヘッドバンド４３の頂部に、第１ヘッドバンド４３を折り曲げるためのジョイント部４３ａが設けられている。第１ヘッドバンド４３の両端には、回動機構５６、５７を構成する軸受部４３ｂ、４３ｃがそれぞれ設けられている。軸受部４３ｂ、４３ｃよりもさらにバンド先端側に、ヘッドパット４６、４７が接続される軸受部４３ｄ、４３ｅが設けられている。

【0023】

第２ヘッドバンド４４は、全体として円弧状を成す弾性部材である。第２ヘッドバンド４４の頂部には、第２ヘッドバンド４４を折り曲げるためのジョイント部４４ａが設けられている。第２ヘッドバンド４４の両端には、それぞれ回動機構５６、５７を構成する軸部材４４ｂ、４４ｃが設けられている。

【0024】

また本実施形態において、第２ヘッドバンド４４は、ステンレス等の金属からなるバネ部材４８の表面を樹脂等の柔軟な材料で被覆した構成を有する。この第２ヘッドバンド４４のバネ部材４８においてユーザーの頭部を挟持するバネ力を発生させる。また第２ヘッドバンド４４は第１ヘッドバンド４３と比較して広い幅に形成されている。ジョイント部４４ａの形成部分は他のバンド部分よりもさらに広く形成された標章表示部４９とされている。標章表示部４９には、シールや印刷により製品タグ等が付される。なお、第２ヘッドバンド４４の全体を金属で形成してもよい。

【0025】

ヘッドパット４６は、板状の支持板４６ａと、支持板４６ａの一面側に設けられた断面アーチ状の弾性部材４６ｂとを有する。支持板４６ａの弾性部材４６ｂと反対側の面に、当該面に垂直な姿勢で概略六角柱状の連結ピン４１が立設されている。連結ピン４１は、第１ヘッドバンド４３の一方の先端に設けられた軸受部４３ｄに軸支されている。これにより、ヘッドパット４６は連結ピン４１回りに回転可能である。

【0026】

ヘッドパット４７は、板状の支持板４７ａと、支持板４７ａの一方の面に設けられた断面アーチ状の弾性部材４７ｂとを有する。支持板４７ａの弾性部材４７ｂと反対側の面には、軸部材４７ｃが設けられている。軸部材４７ｃは、第１ヘッドバンド４３の先端に設けられた軸受部４３ｅに軸支されている。これにより、ヘッドパット４７は、軸部材４７ｃ回りに回転可能である。

【0027】

図４は、ディスプレイ本体２０の水平断面図である。
図４に示すように、装置本体部２１には、筐体２１Ａの長手方向に沿って延びる板状の回路基板２９と、バッテリー３３とが内蔵されている。回路基板２９には、不図示の制御回路、電源回路等が実装されており、不図示の配線を介してディスプレイ本体２０の各部と電気的に接続されている。

【0028】

装置本体部２１の外面に露出するタッチスイッチ３４の内側には、液晶パネルからなる表示パネル３６と、バックライト３５とが配置されている。本実施形態では、表示パネル３６の表示画像がタッチスイッチ３４を透過して表示される。表示パネル３６及びバックライト３５を、有機ＥＬパネルや電気泳動パネルとしてもよい。

【0029】

ヘッドバンドヒンジ３２は、筐体２１Ａに設けられた凹曲面状の収容部３２ａと、収容部３２ａに嵌合された球状部３２ｂとからなるボールジョイントである。球状部３２ｂは、球面状の側面部と、この側面部を挟むように互いに平行に形成された２つの平面部を有する。２つの平面部を垂直に貫くように連結孔３１が形成されている。連結孔３１は軸方向視で六角形状に形成されている。連結孔３１にヘッドバンド４０の連結ピン４１が挿入されることによりディスプレイ本体２０とヘッドバンド４０とが連結される。

【0030】

ヘッドバンドヒンジ３２を備えていることで、ディスプレイ本体２０は、図１に示したＡ方向（ヘッドバンドヒンジ３２を中心とするＸ軸回り）に回動させることができる。本実施形態において、ディスプレイ本体２０の回転可能範囲は２７０°程度とされる。このＸ軸回りの回転動作により、図３（Ａ）に示す右目で画像を観察する形態と、図３（Ｂ）に示す左目で画像を観察する形態との切替機能が実現される。

【0031】

また、ヘッドバンドヒンジ３２は、ボールジョイントであるため、ディスプレイ本体２０は図１に示すＢ方向（ヘッドバンドヒンジ３２を中心とするＺ軸回り）に揺動させることもできる。この揺動操作により、ディスプレイ本体２０のユーザーの目や耳に対する位置を調整することができる。

【0032】

ヘッドバンドヒンジ３２近傍の心拍数センサー１３７は、装置本体部２１の内面から突出するように設けられ、ヘッドマウントディスプレイ１の装着時にユーザーの顔の表面に当接可能とされている。バッテリー３３は、充電式電池、使い捨て電池のいずれであってもよい。

【0033】

表示部６０は、図１及び図２に示すように、装置本体部２１の先端部に連結されている。本実施形態において、表示部６０のヘッドバンド４０側を内側、ヘッドバンド４０と反対側を外側とする。表示部６０は、上面視（Ｚ軸視）において湾曲した形状を有するアーム部材であり、装置本体部２１との連結部から先端側へ向かうに従って内側へ湾曲する形状を有する。表示部６０の内面に、ファインダー開口部６７が設けられている。表示部６０の外面には、カメラ６４が設けられている。

【0034】

図４に示すように、表示部６０は、ディスプレイヒンジ６１を介して装置本体部２１と連結されている。ディスプレイヒンジ６１は、表示部６０の筐体６０Ａに形成された凹曲面状の収容部６１ａと、装置本体部２１に形成され収容部６１ａに嵌合された球状部６１ｂとからなるボールジョイントである。

【0035】

装置本体部２１の球状部６１ｂは、装置本体部２１の外面先端部に形成された筐体２１Ａの長手方向に対して斜めに延びる傾斜面に、この傾斜面の法線方向（図４のＹ’軸方向）に突出するようにして設けられている。表示部６０は、ディスプレイヒンジ６１の球状部６１ｂに対してＹ’軸回りに自由に回転させることができる。

【0036】

ディスプレイヒンジ６１の球状部６１ｂには、球状部６１ｂを高さ方向（Ｙ’軸方向）に貫通する貫通孔６１ｃが形成されている。貫通孔６１ｃを介して、表示部６０の内部と装置本体部２１の内部とが連通されている。貫通孔６１ｃには不図示のケーブルが挿通される。挿通されたケーブルを介して回路基板２９と表示部６０の各部とが電気的に接続される。

【0037】

表示部６０の内部には、バックライト６２と、表示パネル６３と、カメラ６４と、プリズム６５と、反射ミラー６６と、前方ライト６８と、前方スピーカー７０と、結像レンズ７１と、撮像素子７２とが設けられている。すなわち、表示部６０は、バックライト６２、表示パネル６３、カメラ６４、プリズム６５、反射ミラー６６、前方ライト６８、前方スピーカー７０、結像レンズ７１、及び撮像素子７２を備えている。

【0038】

プリズム６５は、上面視（Ｚ軸視）で略三角形状の第１プリズム６５ａと第２プリズム６５ｂとを互いの面で貼り合わせた構成を有する。この貼り合わせ面以外の第１プリズム６５ａの他の二面のうち、一方の面に対向する位置に、液晶パネルからなる表示パネル６３が設けられている。表示パネル６３の背面に表示パネル６３を透過照明するバックライト６２が配置されている。第１プリズム６５ａの他方の面に対向する位置に反射ミラー６６が配置されている。反射ミラー６６は、ファインダー開口部６７のほぼ正面に位置する。

【0039】

第２プリズム６５ｂの貼り合わせ面以外の他の二面のうち、一方の面はファインダー開口部６７に配置されたファインダー接眼面である。第２プリズム６５ｂの他方の面に対向する位置には結像レンズ７１を介して撮像素子７２が対向配置されている。

【0040】

表示部６０において、表示パネル６３に表示された画像は、第１プリズム６５ａ、反射ミラー６６、第２プリズム６５ｂを介してファインダー開口部６７から射出され、ユーザーに観察される。また、ファインダー開口部６７を見ているユーザーの目元は、第２プリズム６５ｂ及び結像レンズ７１を介して撮像素子７２上に結像される。撮像素子７２を介して取得された目元の画像は、ユーザーの視線の方向や瞬き、表情の解析に用いられる。すなわち、撮像素子７２は、ユーザーの目元を撮像する撮像部として機能する。バックライト６２は、撮像素子７２による目元撮像の照明装置としても利用される。

【0041】

カメラ６４は、例えば５００万画素〜１０００万画素の撮像素子を有し、オートフォーカス動作が可能に構成される。
本実施形態の場合、カメラ６４の撮像方向は、ユーザーの視線方向と一致するように設定される。すなわち、カメラ６４は、ヘッドマウントディスプレイ１を装着したユーザーの視線方向の画像（映像）を撮像する。なお、撮像方向と視線方向との調整は、機械的に行ってもよく、画像処理により行ってもよい。例えば、カメラ６４を広角の映像を取得可能に構成し、ユーザーの目元画像から取得した視線方向の情報に基づいて、電気的に捕らえた映像の一部を、視線方向の映像として抜き出して表示パネル６３に表示させる。これにより、カメラ６４に調整機構を設けることなくユーザー正面の映像（画像）の撮像、表示が可能となる。

【0042】

前方ライト６８は、例えば、ＬＥＤ（Light Emitting Diode）ライトである。前方ライト６８は、赤、緑、青の各色の発光素子を有し、任意の色を任意のタイミングで発光させることが可能に構成してもよい。前方ライト６８は、発光色や発光タイミングにより外部に対して情報を表示する装置として用いてもよく、カメラ６４で撮像する際の照明装置として用いてもよい。

【0043】

図５は、本実施形態のヘッドマウントディスプレイ１に付属のリモコンを示す斜視図である。
リモコン１４０は、筐体１４０Ａと、タッチパッド１４１と、操作スイッチ１４７と、ＵＳＢコネクター１４２と、インジケーター１４３ａ、１４３ｂ、１４３ｃと、取付クリップ１４４と、インジケータースイッチ１５０と、を備えている。

【0044】

リモコン１４０は、ＵＳＢケーブル１４８の一方の端子をＵＳＢコネクター１４２に接続し、他方の端子を装置本体部２１のＵＳＢコネクター２５に接続することで、装置本体部２１と電気的に接続される。ＵＳＢケーブル１４８としては市販のＵＳＢケーブルを用いることができる。本実施形態の場合、ＵＳＢケーブル１４８の途中に複数のクリップ１４９が設けられている。複数のクリップ１４９は、例えばＵＳＢケーブル１４８を第２ヘッドバンド４４に沿わせた状態で固定するために用いることができる。

【0045】

リモコン１４０には、ディスプレイ本体２０や他の電子機器と無線通信を行うための通信回路が内蔵されている。通信回路の通信方式としては、例えば、Bluetooth（登録商標）、無線ＬＡＮ、赤外線通信、ＵＷＢ（Ultra Wide Band）、Transfer Jetなどを用いることができる。かかる通信回路により、ＵＳＢケーブル１４８を接続していなくてもディスプレイ本体２０との通信が可能である。

【0046】

リモコン１４０には、Ｇセンサーや加速度センサー、方位センサーが内蔵されていてもよい。これらのセンサーで検出した情報についても、上記した通信回路を介してディスプレイ本体２０へ通信可能である。

【0047】

タッチパッド１４１は、筐体１４０Ａの一方の主面に設けられている。タッチパッド１４１は、ユーザーがタッチすることによりディスプレイ本体２０を操作するための操作部である。タッチパッド１４１の背面側の筐体１４０Ａ内部には、装置本体部２１のタッチスイッチ３４と同様に表示パネルやバックライトが設けられていてもよい。

【0048】

操作スイッチ１４７は、リモコン１４０やディスプレイ本体２０を手動操作するためのスイッチである。操作スイッチ１４７は、必要に応じて設けられていればよい。筐体１４０Ａの側面に設けられたインジケータースイッチ１５０は、インジケーター１４３ａ〜１４３ｃを利用した所定動作を行わせるためのスイッチである。

【0049】

ＵＳＢコネクター１４２は、装置本体部２１との接続のほか、リモコン１４０が充電式のバッテリーを内蔵している場合にはリモコン１４０の充電端子や、ＰＣとの接続にも用いられる。
また、ＵＳＢコネクター１４２は、リモコン１４０がバッテリーを内蔵している場合には、装置本体部２１への給電端子として用いることもできる。リモコン１４０のバッテリーを補助電源として使用可能にすることで、ヘッドマウントディスプレイ１は、装置本体部２１のバッテリー容量を小さくでき、装置本体部２１を小型軽量化することができる。

【0050】

インジケーター１４３ａ、１４３ｂ、１４３ｃは、タッチパッド１４１の周囲に配置されている。本実施形態では、タッチパッド１４１の一辺に沿う位置にインジケーター１４３ａが配置され、インジケーター１４３ａに対してタッチパッド１４１を挟んだ反対側にインジケーター１４３ｂとインジケーター１４３ｃとが配置されている。

【0051】

インジケーター１４３ａ〜１４３ｃはＬＥＤ等の発光素子を備えている。本実施形態では、インジケーター１４３ａは緑色の発光素子、インジケーター１４３ｂはオレンジ色の発光素子、インジケーター１４３ｃは青色の発光素子をそれぞれ備えている。これらの発光素子は制御されたタイミングでパターン発光可能に構成されている。インジケーター１４３ａ〜１４３ｃの上記パターン発光は、筐体１４０Ａ側面のインジケータースイッチ１５０を操作することでオンオフすることができる。

【0052】

取付クリップ１４４は、筐体１４０Ａのタッチパッド１４１と反対側の面に設けられている。本実施形態の場合、取付クリップ１４４は、一端を筐体１４０Ａに固定された側面視Ｓ形のバネ板部材である。取付クリップ１４４により、リモコン１４０をユーザーの衣服やベルト等に装着することができる。

【0053】

また、ヘッドマウントディスプレイ１は、取付クリップ１４４によりヘッドパット４７の近傍を挟むことで、ヘッドバンド４０にリモコン１４０を取り付けてもよい。ヘッドバンド４０のヘッドパット４６にディスプレイ本体２０を取り付ける一方、ヘッドパット４７側にリモコン１４０を取り付けることで、ヘッドマウントディスプレイ１における重量バランスの不均衡を低減することができる。

【0054】

また、リモコン１４０をユーザーが手に持って操作スイッチ１４７を操作することで、インジケーター１４３ａ〜１４３ｃは、所定のパターンで点滅するように構成されている。例えば、インジケーター１４３ａの色は緑、インジケーター１４３ｂはオレンジ、インジケーター１４３ｃは青色となっており、この３つのインジケーターの発光パターンを表示部６０に設けられたカメラ６４で捕らえることにより、リモコン１４０の上下左右の傾きを認識することが可能となっている。ここ結果、リモコン１４０とディスプレイ本体２０とで後述するBluetooth（登録商標）による通信を行うことなく、すなわち消費電力を最小に押さえつつリモコン１４０の操作状態を本体側に伝えることが可能である。

【0055】

図６は、本実施形態のヘッドマウントディスプレイに付属のステレオイヤホンを示す斜視図である。
ステレオイヤホン１００は、コネクター１０１と、ケーブル１０２と、第１スピーカー１０３と、第２スピーカー１０４と、集音マイク１０５と、複数のクリップ１０６とを有している。

【0056】

コネクター１０１は、ケーブル１０２の一方の端部に設けられている。コネクター１０１は、例えば、一般的な４極φ３．５ｍｍのミニプラグである。４極の内訳は、集音マイク１０５、第１スピーカー１０３、第２スピーカー１０４、グランド（ＧＮＤ）である。ケーブル１０２は、コネクター１０１の近傍において二分岐され、分岐されたケーブルの先端に第１スピーカー１０３が設けられている。ケーブル１０２の他方の端部には、第２スピーカー１０４と集音マイク１０５とが設けられている。複数のクリップ１０６は、ケーブル１０２上に所定の間隔で配置されている。

【0057】

ステレオイヤホン１００の第１スピーカー１０３は、ディスプレイ本体２０が配置された側のユーザーの耳に装着され、第２スピーカー１０４は第１スピーカー１０３と反対側の耳に装着される。このとき、ケーブル１０２は、クリップ１０６によって第２ヘッドバンド４４に固定することができる。

【0058】

また、ステレオイヤホン１００の集音マイク１０５と、ディスプレイ本体２０において筐体２１Ａの外側面に設けられた集音マイク２４とにより、ステレオ録音が可能である。例えば、図３（Ａ）に示すようにディスプレイ本体２０が右眼側に配置されているとすれば、ディスプレイ本体２０の集音マイク２４はユーザーの右側の音を収集し、左耳に装着された集音マイク１０５はユーザーの左側の音を収集する。なお、ステレオイヤホン１００の第１スピーカー１０３から右チャンネルの音声が出力され、第２スピーカー１０４からは左チャンネルの音声が出力される。

【0059】

一方、図３（Ｂ）に示すように左眼側にディスプレイ本体２０が配置されている場合には、ディスプレイ本体２０の集音マイク２４がユーザーの左側の音を収集し、右耳に装着された集音マイク１０５がユーザーの右側の音を収集する。ステレオイヤホン１００の第１スピーカー１０３から左チャンネルの音声が出力され、第２スピーカー１０４からは右チャンネルの音声が出力される。

【0060】

図７は、ヘッドマウントディスプレイ１の機能ブロック図である。
ヘッドマウントディスプレイ１は、処理部１２３を中心として種々の電気回路を備えている。ヘッドマウントディスプレイ１は、例えば、バックライト６２、表示パネル６３、カメラ６４、撮像素子７２、デコーダー１２１、フラッシュメモリー１２２、処理部１２３、ＬＣＤドライバ１２５、ＢＬドライバ１２６、メモリー１２７、エンコーダー１２９、メインスイッチ２８、操作スイッチ３０、及びタッチスイッチ３４を備えている。
なお、本実施形態において、カメラ６４、撮像素子７２、処理部１２３、メモリー１２７、エンコーダー１２９、メインスイッチ２８、操作スイッチ３０、及びタッチスイッチ３４が入力装置２００に対応する。すなわち、入力装置２００は、カメラ６４、撮像素子７２、処理部１２３、メモリー１２７、エンコーダー１２９、メインスイッチ２８、操作スイッチ３０、及びタッチスイッチ３４を備えている。

【0061】

処理部１２３は、例えば、ＣＰＵ（Central Processing Unit）であり、ヘッドマウントディスプレイ１の各種回路と接続されるとともに、ヘッドマウントディスプレイ１を総合的に制御する。処理部１２３の詳細については、後述する。
本実施形態の場合、エンコーダー１２９、デコーダー１２１、電源回路１２０、操作スイッチ３０、フラッシュメモリー１２２、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、加速度センサー１３２、地磁気センサー１３３、前方ライト６８、３Ｇ／ＬＴＥ通信回路１３８、レーザー発振器７３、角速度センサー１３４、ＧＰＳセンサー１３５、温湿度センサー１３６、心拍数センサー１３７、ＢＬドライバ１２６、メモリー１２７、メインスイッチ２８、及びタッチスイッチ３４は、処理部１２３に接続されている。

【0062】

エンコーダー１２９は、音声信号及び映像信号を所定方式の音声データ及び映像データにエンコード（符号化）する。エンコーダー１２９には、カメラ６４、撮像素子７２、集音マイク２４、通話マイク３７、オーディオコネクター２６、ビデオコネクター２７が接続されている。

【0063】

エンコーダー１２９は、集音マイク２４、通話マイク３７、及び、オーディオコネクター２６から供給される音声信号をエンコード（符号化）し、エンコードした音声信号を処理部１２３に供給する。また、エンコーダー１２９は、カメラ６４、ユーザーの目元を撮像する撮像素子７２、及びビデオコネクター２７から入力される映像（画像）信号をエンコード（符号化）し、エンコードした映像（画像）信号を処理部１２３に供給する。

【0064】

デコーダー１２１は、音声データ及び映像データを音声信号及び映像信号にデコード（復号化）する。デコーダー１２１には、ＬＣＤドライバ１２５、スピーカーアンプ１６２、オーディオコネクター２６、及びビデオコネクター２７が接続されている。すなわち、デコーダー１２１は、音声データを音声信号にデコード（復号化）し、デコードした音声信号をスピーカーアンプ１６２又はオーディオコネクター２６に供給する。また、デコーダー１２１は、映像（画像）データを映像（画像）信号にデコード（復号化）し、デコードした映像信号をＬＣＤドライバ１２５又はビデオコネクター２７に供給する。

【0065】

ＬＣＤドライバ１２５は、例えば、液晶パネル用の駆動信号を生成する回路であり、表示パネル３６及び表示パネル６３に接続されている。すなわち、ＬＣＤドライバ１２５は、処理部１２３からデコーダー１２１を介して供給された映像（画像）信号に基づいて液晶パネル用の駆動信号を生成し、生成した液晶パネル用の駆動信号を表示パネル３６又は表示パネル６３に供給する。
表示パネル６３（表示部）は、例えば、液晶表示パネルであり、ＬＣＤドライバ１２５から供給される駆動信号に基づいて、映像（画像）を表示する。表示パネル６３は、例えば、カメラ６４によって撮像された画像、及びメニュー画面などを表示する。

【0066】

ＢＬドライバ１２６は、例えば、バックライト用の駆動信号を生成する回路であり、バックライト３５及びバックライト６２に接続されている。すなわち、ＢＬドライバ１２６は、処理部１２３から供給された制御信号に基づいて、バックライト用の駆動信号を生成し、生成したバックライト用の駆動信号をバックライト３５及びバックライト６２に供給する。

【0067】

バッテリー３３は、電源回路１２０を介してヘッドマウントディスプレイ１の各部に電力を供給する。
電源回路１２０は、処理部１２３から供給される制御信号に基づいて、バッテリー３３から供給された電力の制御（例えば、電圧の変換、供給オンオフ）を行う。

【0068】

スピーカーアンプ１６２は、例えば、音声信号を増幅してスピーカーに出力する回路であり、耳元スピーカー２３及び前方スピーカー７０に接続されている。スピーカーアンプ１６２は、処理部１２３からデコーダー１２１を介して供給された音声信号を増幅し、増幅した音声信号を耳元スピーカー２３又は前方スピーカー７０に供給する。

【0069】

本実施形態の場合、耳元スピーカー２３及び前方スピーカー７０は、モノラル音声の使用を想定しており、耳元スピーカー２３及び前方スピーカー７０は、左右の音声信号が合成された音を出力する。
メモリー１２７は、処理部１２３によって実行される制御プログラムを記憶している。

【0070】

メインスイッチ２８は、全体の電源のオンオフを行うスイッチであり、ユーザーが操作することにより、操作に基づく制御信号を処理部１２３に供給する。
操作スイッチ３０（操作部）は、画面内でのポインティング操作を行うためのスイッチであり、ユーザーが操作することにより、操作に基づく制御信号を処理部１２３に供給する。
タッチスイッチ３４は、タッチ操作により各種操作を行うスイッチであり、ユーザーが操作することにより、操作に基づく制御信号を処理部１２３に供給する。
なお、ディスプレイ本体２０は、メインスイッチ２８、操作スイッチ３０、及びタッチスイッチ３４を備えており、ディスプレイ本体２０は、ユーザーの身体における右側及び左側のいずれかの位置に装着可能である。そのため、ディスプレイ本体２０は、メインスイッチ２８、操作スイッチ３０、及びタッチスイッチ３４は、ユーザーの身体における右側及び左側のいずれかの位置に装着可能であって、入力装置を操作する。

【0071】

ＢＴ通信回路１３０は、他の機器とのBluetooth（登録商標）通信を行うための通信回路である。
ＷｉＦｉ通信回路１３１は、他の機器との無線ＬＡＮ通信（IEEE 802.11）を行うための通信回路である。
３Ｇ／ＬＴＥ通信回路１３８は、他の機器との移動通信を行うための通信回路である。
ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、及び３Ｇ／ＬＴＥ通信回路１３８は、他の機器との間で、音声データや映像（画像）データなどの情報の送信／受信を行う。

【0072】

加速度センサー１３２（Ｇセンサー）は、加速度情報（例えば、加速度及び重力）を検出し、ヘッドマウントディスプレイ１の傾き検出に用いられる。加速度センサー１３２は、検出した加速度情報を処理部１２３に供給する。
地磁気センサー１３３は、地磁気に基づいて方位情報を検出し、ヘッドマウントディスプレイ１の方角検出に用いられる。地磁気センサー１３３は、検出した方位情報を処理部１２３に供給する。

【0073】

角速度センサー１３４（ジャイロセンサー）は、角速度を検出し、ヘッドマウントディスプレイ１の回転検出に用いられる。角速度センサー１３４は、検出した角速度を処理部１２３に供給する。
ＧＰＳセンサー１３５は、ＧＰＳ（Global Positioning System）を利用した測位検出に用いられ、ヘッドマウントディスプレイ１の緯度経度を測定する。ＧＰＳセンサー１３５は、測定したヘッドマウントディスプレイ１の緯度経度を処理部１２３に供給する。

【0074】

温湿度センサー１３６は、環境の温度、及び湿度を検出する。温湿度センサー１３６は、検出した環境の温度、及び湿度を処理部１２３に供給する。
心拍数センサー１３７は、ユーザーの頬に接触し、ユーザーの心拍数を検出する。すなわち、心拍数センサー１３７は、ヘッドマウントディスプレイ１がユーザーに装着されているか否かを検出する。心拍数センサー１３７は、検出したユーザーの心拍数を処理部１２３に供給する。
レーザー発振器７３は、上述したように表示パネル６３に表示された画像内の所定の位置に対応するターゲット（対象物）にレーザー光（スポット光）を照射する。

【0075】

カメラ６４は、オートフォーカス動作が可能に構成されており、光学系６４１と撮像部６４２とを備えている。また、カメラ６４は、比較的深い被写界深度を有しており、例えば、１ｍ（メートル）〜無限遠方まではいわゆるパンフォーカスとして扱うことも可能である。したがって、カメラ６４は、無限遠方の被写体に合焦していたとしても、例えば、１ｍ以内にある手に対して、この段階では厳密に手にピントが合っていないとしても、手の検出は可能となっている。

【0076】

光学系６４１は、例えば、複数のレンズを備え、被写体像である画像を撮像部６４２の受光面に結像させる。なお、光学系６４１は、オートフォーカス動作の再に、処理部１２３から供給される制御信号に基づいてレンズが駆動され、画像を撮像部６４２に合焦する。
撮像部６４２は、例えば、撮像素子であり、光学系６４１によって結像された画像を撮像する。撮像部６４２は、例えば、光学系６４１によって結像された被写体像を電気信号に変換し、画像データとしてエンコーダー１２９に出力する。

【0077】

処理部１２３は、上述したようにヘッドマウントディスプレイ１を総合的に制御する。処理部１２３は、例えば、集音マイク２４、通話マイク３７、又はオーディオコネクター２６からエンコーダー１２９を介して供給された音声データをフラッシュメモリー１２２に記憶させる。処理部１２３は、例えば、集音マイク２４、通話マイク３７、又はオーディオコネクター２６からエンコーダー１２９を介して供給された音声データをＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、又は３Ｇ／ＬＴＥ通信回路１３８を介して他の機器に送信する。
また、処理部１２３は、例えば、カメラ６４、撮像素子７２、又はビデオコネクター２７からエンコーダー１２９を介して供給された映像（画像）データをフラッシュメモリー１２２に記憶させる。処理部１２３は、例えば、カメラ６４、撮像素子７２、又はビデオコネクター２７からエンコーダー１２９を介して供給された映像（画像）データを、ＬＣＤドライバ１２５を介して表示パネル６３に表示させる。処理部１２３は、例えば、カメラ６４、撮像素子７２、又はビデオコネクター２７からエンコーダー１２９を介して供給された映像（画像）データをＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、又は３Ｇ／ＬＴＥ通信回路１３８を介して他の機器に送信する。

【0078】

また、映像データを再生する場合、処理部１２３は、フラッシュメモリー１２２に記録された映像（画像）データ、あるいはエンコーダー１２９から入力される映像（画像）データを、デコーダー１２１及びＬＣＤドライバ１２５を介して表示パネル３６、６３に供給する。これにより、映像信号が入力された表示パネル３６又は表示パネル６３に映像データに基づく映像が表示される。また、処理部１２３は、デコーダー１２１から出力される映像信号を、ビデオコネクター２７を介して外部機器に出力させる。

【0079】

また、映像の表示に際して、処理部１２３は、必要に応じて表示パネル３６用のバックライト３５、及び表示パネル６３用のバックライト６２を点灯させる。すなわち、処理部１２３は、ＢＬドライバ１２６に制御信号を供給し、ＢＬドライバ１２６はバックライト（３５，６２）を個々に点灯させる。
また、処理部１２３は、例えば、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。

【0080】

また、処理部１２３は、カメラ６４によって撮像された映像（画像）に基づいて、レーザー発振器７３によるレーザー光の照射を制御する。
また、本実施形態において、処理部１２３は、パターン認識部２０１、入力制御部２０２、ＡＦ（オートフォーカス）制御部２０３、メニュー選択処理部２０４、表示制御部２０５、目元検出部２０６、及び表示切替部２０７を備えている。
図８は、本実施形態における処理部１２３の一例を示す機能ブロック図である。
以下、図７及び図８を参照して、本実施形態における処理部１２３の各部について説明する。

【0081】

パターン認識部２０１（認識部）は、撮像部６４２によって撮像された画像に含まれる予め定められた所定の形状（例えば、人の手の形状）を認識する。パターン認識部２０１は、例えば、予め定められている手の形状のパターンと画像に含まれるパターンとが一致するか否かを判定するパターンマッチングを用いて、手の形状を認識する。なお、予め定められている手の形状のパターンは、メモリー１２７に記憶させておいてもよい。ここで、手の形状とは、撮像部６４２によって撮像された画像における手の形状のパターン領域を示す。
パターン認識部２０１は、手の形状を認識した場合に、認識した手の形状に関する情報を入力制御部２０２に供給する。なお、手の形状に関する情報とは、例えば、撮像された画像上の位置情報、手の形状の大きさ、指の位置や指の長さなどの情報である。

【0082】

ＡＦ制御部２０３（合焦部）は、カメラ６４の光学系６４１を駆動して撮像部６４２に被写体像などの画像を合焦させる。ＡＦ制御部２０３は、入力制御部２０２から供給される制御指令に基づいて、撮像部６４２によって撮像される画像における所定の画素位置に合焦するように、光学系６４１を駆動する制御を行う。

【0083】

メニュー選択処理部２０４（選択部）は、後述する入力制御部２０２が算出した手が指示する指示位置に応じて、入力を操作する。例えば、メニュー選択処理部２０４は、表示パネル６３に表示された複数の操作メニュー（例えば、アイコンなど）を、手による指示位置に応じて選択する。メニュー選択処理部２０４は、例えば、手による指示位置に応じて、少なくとも１つの操作メニューを選択するような操作処理を行う。すなわち、メニュー選択処理部２０４は、手による指示位置に応じて、操作メニューを操作する。

【0084】

表示制御部２０５は、表示パネル６３及び表示パネル３６に映像（画像）及び各種表示を表示させる制御を行う。表示制御部２０５は、例えば、カメラ６４によって撮像された映像（画像）内における入力制御部２０２によって指示された位置に、カーソルマークを表示パネル６３に表示させる制御を行う。表示制御部２０５は、表示パネル６３に表示させる映像（画像）データを、表示切替部２０７を介してデコーダー１２１に供給する。

【0085】

目元検出部２０６（検出部）は、ユーザーの目元を撮像する撮像素子７２が撮像した画像に基づいて、ヘッドマウントディスプレイ１がユーザーに装着されているか否かを検出する。また、目元検出部２０６は、撮像素子７２が撮像した画像に基づいて、例えば、ユーザーの目元のパターンマッチングを行うことにより、表示部６０が装着されている左右の位置を検出する。すなわち、目元検出部２０６は、表示部６０（操作スイッチ３０）がユーザーに装着されている位置であって、例えば、ユーザーの身体における右側及び左側のいずれかの位置であるかを検出する。目元検出部２０６は、検出したユーザーの左右のいずれかに表示部６０が装着されているかの情報を表示切替部２０７及び入力制御部２０２に供給する。

【0086】

表示切替部２０７は、目元検出部２０６によって検出されたユーザーの左右のいずれかに表示部６０が装着されているかの情報に応じて、表示制御部２０５から供給された画像情報を、ユーザーが正しく視認できるように表示を切り替える。表示の切り替え処理の詳細については、後述する。表示切替部２０７は、目元検出部２０６によって検出されたユーザーの左右のいずれかに表示部６０が装着されているかの情報に応じて切り替えた画像データを、デコーダー１２１を介してＬＣＤドライバ１２５に供給することにより、表示パネル６３に表示させる。

【0087】

入力制御部２０２（制御部）は、パターン認識部２０１によって認識された手の形状の大きさに応じて、予め定められた所定の処理を実行させるか否かを制御する。ここで、予め定められた所定の処理とは、例えば、ＡＦ制御部２０３に光学系６４１を合焦させる処理であるオートフォーカス処理やメニュー選択処理部２０４による操作メニューを選択する処理などである。

【0088】

入力制御部２０２は、手の形状の大きさが予め定められた所定の大きさ以上である場合に、上述の所定の処理を実行させる。ここで、「予め定められた所定の大きさ」は、撮像部６４２によって撮像される画像において、撮像部６４２から予め定められた所定の距離に対応する手の形状の大きさである。一般に、ヘッドマウントディスプレイ１を頭部に装着した場合には、ユーザーの手が最も遠い場合でも１ｍ以上離れることはない。そこで、手の形状における「予め定められた所定の大きさ」とは、例えば、１ｍ以内における手に対応する大きさである。例えば、「予め定められた所定の大きさ」は、パターン認識部２０１によって手の形状として認識されるパターンの横方向の画素数が、カメラ６４の画素数とレンズの画角と手と頭との距離より算出される値として、例えば、手の幅が２００画素以上であればユーザーの「手」とする。

【0089】

また、入力制御部２０２は、パターン認識部２０１によって複数の手の形状が認識された場合に、最も大きい手の形状の大きさに応じて、上述の所定の処理を実行させるか否かを制御する。これは、例えば、１ｍ以内に複数の「手」があった場合に、入力制御部２０２は、最も近くにある手をユーザーの手として判定するためである。
また、入力制御部２０２は、例えば、画像を表示する表示パネル６３に撮像部６４２によって撮像された画像が表示されている場合に、ＡＦ制御部２０３に手の形状の背景に対して光学系６４１を合焦させる制御を行う。すなわち、この場合、ユーザーが背景の部分を手によって差し示している可能性が高いため、入力制御部２０２は、手の形状の背景に対して光学系６４１を合焦させる制御を行う。ここで、背景とは、表示パネル６３に表示されている画像のうちの手の形状を除く領域を示す。

【0090】

また、入力制御部２０２は、例えば、画像を表示する表示パネル６３に後述するメニュー画面などが表示されており、撮像部６４２によって撮像された画像が表示されていない場合に、ＡＦ制御部２０３に手（手の形状）に対して光学系６４１を合焦させる。すなわち、この場合、ユーザーが手によってメニュー選択処理部２０４により選択処理を行う可能性が高いため、手の形状を詳細に認識する必要があるので、入力制御部２０２は、手に対して光学系６４１を合焦させる制御を行う。ここで、手（手の形状）に対して光学系６４１を合焦させるとは、カメラ６４によって撮像された画像内の手の形状の画素位置（画素領域）に合焦する（ピントを合わせる）ように、光学系６４１を駆動させることである。
また、入力制御部２０２は、例えば、パターン認識部２０１によって認識された手の形状に基づいて、手が物を持っている状態か否かを判定する。入力制御部２０２は、手が物を持っている状態であると判定した場合に、ＡＦ制御部２０３に、手に対して光学系６４１を合焦させる。この場合、ユーザーは、手に持っている物を指し示している可能性が高いため、入力制御部２０２は、ＡＦ制御部２０３に手に対して光学系６４１を合焦させる。

【0091】

また、入力制御部２０２は、例えば、パターン認識部２０１によって複数の手の形状が認識された場合、且つ、左右の手の形状が認識された場合に、目元検出部２０６によって検出された操作スイッチ３０がユーザーに装着されている左右のいずれかの位置に応じて、左右の手の形状のうちのいずれかの手の形状を選択する。入力制御部２０２は、選択したこの左右のいずれかの手の形状の大きさに応じて、上述の所定の処理を実行させるか否かを制御する。

【0092】

例えば、ここでヘッドマウントディスプレイ１が図３（Ａ）に示すように右目用で使用されている場合には、タッチスイッチ３４や操作スイッチ３０なども右側に配置されているため、ユーザーが右利きである可能性が高い。この場合には、例えば、ユーザーの左手は体を支えるなどの用途に使われており、右手は細かな操作及び指示に使われる可能性が高いので、入力制御部２０２は、右手を優先して選択する。なお、入力制御部２０２は、右手と左手との認識に手の形や手の掌紋（手のシワ）などに基づいて検出してもよい。

【0093】

次に、本実施形態におけるヘッドマウントディスプレイ１の動作について説明する。
まず、本実施形態におけるヘッドマウントディスプレイ１の動作を説明する上で前提となるカメラ６４（撮像部６４２）の撮像範囲について、図９及び図１０を参照して説明する。
図９は、本実施形態におけるヘッドマウントディスプレイ１の右目装着時の撮像範囲を示す模式図である。
この図において、表示部６０は、右目の正面を向いた場合の視線方向に対して角度αの方向の下方に配置されている。この場合、カメラ６４の撮像部６４２は、撮像範囲Ｑの範囲を撮像する。なお、撮像範囲Ｐには、右目装着時の上半分の範囲Ｑと、左目装着時の下半分の範囲Ｒとが含まれている。

【0094】

また、図１０は、本実施形態におけるヘッドマウントディスプレイ１の左目装着時の撮像範囲を示す模式図である。
この図において、表示部６０は、左目の正面を向いた場合の視線方向に対して角度αの方向の下方に配置されている。この場合、カメラ６４の撮像部６４２は、撮像範囲Ｒの範囲を撮像する。

【0095】

次に、図１１及び図１２を参照して、ヘッドマウントディスプレイ１における撮像範囲及び表示範囲の切り替え処理について説明する。
図１１は、本実施形態におけるヘッドマウントディスプレイ１の撮像範囲及び表示範囲の切り替えを示す図である。
図１１において、撮像範囲Ｐは、カメラ６４の全撮像範囲を示している。ここでは、４対３のアスペクト比を有する撮像部６４２（撮像素子）を用いて、撮像範囲が縦長になるようにカメラが配置されている。
また、図１２は、本実施形態におけるヘッドマウントディスプレイ１の撮像範囲及び表示範囲の切り替え処理を示すフローチャートである。

【0096】

図１２において、まず、ヘッドマウントディスプレイ１の処理部１２３は、ユーザーがまず右目で表示パネル６３を見ていることを想定して、映像（画像）の読み出し範囲（表示範囲）として範囲Ｑを選択する（ステップＳ１）。すなわち、処理部１２３は、図９に示すように、撮像範囲Ｐにおけるユーザーから見た上の方（上半分）の範囲Ｑを読み出して、表示制御部２０５及び表示切替部２０７により表示パネル６３に表示させる。

【0097】

次に、処理部１２３は、ユーザーが右目で観察しているか否かを判定する（ステップＳ２）。ここで、処理部１２３は、ユーザーが観察している目に関する情報（ユーザーの左右のいずれかに表示部６０が装着されているかの情報）を検出する。すなわち、処理部１２３の目元検出部２０６は、撮像素子７２によってユーザーの瞼を含めた目元を撮影した画像に基づいて、ユーザーが観察している目に関する情報を検出する。
処理部１２３は、ユーザーが右目で観察していると判定した場合（ステップＳ２：Ｙｅｓ）に、処理をステップＳ６に進める。また、処理部１２３は、ユーザーが右目で観察していない（左目で観察している）と判定した場合（ステップＳ２：Ｎｏ）に、処理をステップＳ３に進める。この場合、ユーザーは、図１０に示すようにヘッドマウントディスプレイ１を装着していることになる。

【0098】

次に、ステップＳ３において、処理部１２３は、映像（画像）の読み出し範囲（表示範囲）として範囲Ｒを選択する。範囲Ｒは、図１１における下側の点線で示された枠であるが、図１０に示すように左目でヘッドマウントディスプレイ１を使用する場合には、撮像範囲Ｐにおけるユーザーから見た上の方が読み出されることになる。すなわち、処理部１２３は、図１０に示すように、撮像範囲Ｐにおけるユーザーから見た上の方（上半分）の範囲Ｒを読み出して、表示制御部２０５及び表示切替部２０７により表示パネル６３に表示させる。

【0099】

次に、処理部１２３は、撮像範囲Ｐにおける読み出し範囲の上下を反転させる（ステップＳ４）。すなわち、処理部１２３は、カメラ６４が１８０度回転していることから、読み出し範囲におけるカメラの映像（画像）を１８０度回転させる。

【0100】

次に、処理部１２３は、表示画像を１８０度回転させる（ステップＳ５）。すなわち、処理部１２３の表示切替部２０７は、目元検出部２０６によって検出されたユーザーが観察している目に関する情報に応じて、表示制御部２０５から供給された画像を１８０度回転させるか否かを切り替える。表示切替部２０７は、切り替えた画像データを、デコーダー１２１を介してＬＣＤドライバ１２５に供給することにより、表示パネル６３に表示させる。

【0101】

次に、処理部１２３は、被写体までの測距値とズーム値とに応じて、画像の読み出し範囲を変更する（ステップＳ６）。すなわち、処理部１２３は、被写体とカメラのズーム倍率に応じて、撮像範囲Ｐのうちの画像の読み出し範囲（表示範囲）を変更する。例えば、表示部６０が右目で観察されている場合（ヘッドマウントディスプレイ１を右目で使用している場合）には、処理部１２３は、図１１に示す読み出し範囲Ｑを表示パネル６３に表示させている。この場合においてユーザーが被写体の一部を拡大するズーミング指示を操作スイッチ３０などによって行った場合に、処理部１２３は、まず、被写体までの距離を、カメラ６４を用いた公知の測距技術により測距する。処理部１２３は、被写体までの距離が十分に遠い場合には、遠方を見る人間の目も顔の正面を見ているので、読み出し範囲として画面の中央の範囲Ｓ（図１１）を読み出し、表示パネル６３に表示させる。また、処理部１２３は、被写体までの距離が極近い場合には、人の目は中央に寄ることから、範囲Ｔ（図１１）を読み出し、表示パネル６３に表示させる。なお、処理部１２３は、この読み出し範囲Ｔから範囲Ｓまでを被写体までの距離に応じてほぼ連続的に変化させる。
また、処理部１２３は、広い範囲を映したい場合、すなわちズーミングがワイド側にあり、範囲Ｑを読み出している場合には、特に読み出し範囲の移動は行わない。

【0102】

また、例えば、表示部６０が左目で観察されている場合（ヘッドマウントディスプレイ１を左目で使用している場合）には、処理部１２３は、図１１に示す読み出し範囲Ｒを表示パネル６３に表示させている。この場合においても上記と同様に、処理部１２３は、被写体がズーミングされて被写体までの距離が十分に遠い場合には範囲Ｕ（図１１）を読み出し、また、被写体までの距離が極近い場合には範囲Ｖ（図１１）を読み出し、表示パネル６３に表示させる。
このように、本実施形態におけるヘッドマウントディスプレイ１は、ユーザーが見ている範囲と、カメラ６４によって撮像される範囲との差異を低減し、使用時に違和感のない使い易い（利便性のよい）システムを提供することができる。

【0103】

次に、処理部１２３は、スピーカー（第１スピーカー１０３、第２スピーカー１０４）の左右の音を設定する（ステップＳ７）。すなわち、処理部１２３は、上述したユーザーが観察している目に関する情報（ユーザーの左右のいずれかに表示部６０が装着されているかの情報）に応じて、スピーカー（第１スピーカー１０３、第２スピーカー１０４）の左右の音を設定する。

【0104】

次に、処理部１２３は、ステレオマイク（集音マイク１０５、集音マイク２４）の左右の音を設定する（ステップＳ８）。すなわち、処理部１２３は、上述したユーザーが観察している目に関する情報（ユーザーの左右のいずれかに表示部６０が装着されているかの情報）に応じて、ステレオマイク（集音マイク１０５、集音マイク２４）の左右の音を設定する。

【0105】

図９〜図１２を参照して説明したように、本実施形態におけるヘッドマウントディスプレイ１は、ディスプレイ本体２０や表示部６０をユーザーの目の正面に配置する必要がなく、正面よりも下に配置することができるので通話マイク３７を口の比較的近傍に配置することが可能である。このため、本実施形態におけるヘッドマウントディスプレイ１は、音声を明瞭に記録することができる。
また、本実施形態におけるヘッドマウントディスプレイ１は、右目で表示部６０を観察する場合及び左目で表示部６０を観察する場合のいずれの場合においても、適切な範囲を読み出して表示パネル６３に表示させることができる。そのため、本実施形態におけるヘッドマウントディスプレイ１は、利便性の高いシステムを提供することができる。さらに、本実施形態におけるヘッドマウントディスプレイ１は、被写体までの距離が近い場合にも、ユーザーが観察する方向とカメラ６４の撮影範囲の中心が一致するので、パララックスの無い使い易いシステムを提供することができる。

【0106】

次に、ヘッドマウントディスプレイ１が備えている入力装置２００の動作について説明する。
図１３Ａ及び図１３Ｂは、本実施形態における入力装置２００の処理を示すフローチャートである。
この図において、まずはカメラ６４が図１４（Ｂ）に示すように、横長の範囲の画像Ｇ２を撮影しており、その全ての撮影範囲が読み取られて、表示部６０の表示パネル６３に表示される場合について説明する。

【0107】

まず、入力装置２００は、カメラ６４からの画像が表示されているか否かを判定する（ステップＳ１０１）。すなわち、処理部１２３の入力制御部２０２は、カメラ６４の撮像部６４２によって撮像された画像が、表示部６０の表示パネル６３に表示されているか否かを判定する。入力制御部２０２は、撮像部６４２によって撮像された画像が表示部６０の表示パネル６３に表示されている場合（ステップＳ１０１：Ｙｅｓ）に、処理をステップＳ１０２に進める。また、入力制御部２０２は、撮像部６４２によって撮像された画像が表示部６０の表示パネル６３に表示されていない場合（ステップＳ１０１：Ｎｏ）に、処理をステップＳ１１６に進める。なお、撮像部６４２によって撮像された画像が表示部６０の表示パネル６３に表示されていない場合には、表示パネル６３は、例えば、図１４（Ａ）に示すようなメニューアイコンＩ１〜Ｉ９などを含む画像Ｇ１が表示されている。ここで、この画像Ｇ１は、カメラ６４によって撮像された画像に依存しない画像である。

【0108】

ステップＳ１１６において、入力装置２００は、カメラ６４によって撮像された画像に予め定められた所定以上の大きさの手があるか否かを判定する。すなわち、入力装置２００は、カメラ６４においてユーザーの「手」が認識できるか否かを手の大きさによって判定する。この場合、まず、例えば、処理部１２３のパターン認識部２０１は、撮像部６４２によって撮像された画像に含まれる人の手を認識し、認識した手に関する情報を入力制御部２０２に供給する。なお、ここでは、人の手に合焦されていなくてもよく、大雑把に手をパターン認識部２０１が認識できればよい。入力制御部２０２は、パターン認識部２０１から供給された手に関する情報に基づいてユーザーの「手」が認識できるか否かを判定する。例えば、入力制御部２０２は、パターン認識部２０１によって手として認識されるパターンの横方向の画素数が、カメラ６４の画素数とレンズの画角と手と頭との距離より算出される値として、例えば、手の幅が２００画素以上（例えば、１ｍ以内の手）であればユーザーの「手」と判定する。

【0109】

入力制御部２０２は、手の形状の大きさが予め定められた所定の大きさ以上である場合（ステップＳ１１６：Ｙｅｓ）に、処理をステップＳ１１７に進める。また、入力制御部２０２は、手の形状の大きさが予め定められた所定の大きさ未満である場合（ステップＳ１１６：Ｎｏ）に、処理を終了させる。

【0110】

次に、ステップＳ１１７において、入力装置２００は、至近の「手」にピントを合わせる。すなわち、入力制御部２０２は、ＡＦ制御部２０３に至近の手の形状に対して光学系６４１を合焦させる。これは、入力制御部２０２は、１ｍ以内に複数の「手」があった場合に、最も近くにある手をユーザーの「手」として判定するためである。
さらに、入力制御部２０２は、ユーザーの右手と左手の両方が存在される場合には、いずれかの手を優先させる。ここで、ヘッドマウントディスプレイ１が図３（Ａ）のように右目用で使用されている場合には、タッチスイッチ３４、操作スイッチ３０なども右側に配置されており、ユーザーが右利きである可能性が高い。この場合には、ユーザーの左手は体を支えるなどの用途に使われており、右手は細かな操作及び指示に使われる可能性が高いので、入力制御部２０２は、右手を優先してピントを合わせる（ＡＦ制御部２０３によって光学系６４１を合焦させる）。

【0111】

次に、入力装置２００は、公知のパターン認識の処理によって手の形を認識する（ステップＳ１１８）。すなわち、パターン認識部２０１は、公知のパターン認識の処理によって手の形を認識し、認識した手の形状に関する情報を入力制御部２０２に供給する。
次に、入力装置２００は、操作スイッチ３０等の操作部が操作されているか否かを検出する（ステップＳ１１９）。すなわち、入力制御部２０２は、操作スイッチ３０等の操作部が操作されているか否かを検出する。入力制御部２０２は、操作スイッチ３０等が操作されている場合（ステップＳ１１９：Ｙｅｓ）に、ユーザーの手が操作スイッチ３０等に置かれているはずであるから、他人の手が写っている可能性もあるので、操作スイッチ３０等の操作を優先し、処理をステップＳ１２０に進める。また、入力制御部２０２は、操作スイッチ３０等が操作されていない場合（ステップＳ１１９：Ｎｏ）に、処理をステップＳ１２１に進める。

【0112】

ステップＳ１２０において、入力装置２００は、操作スイッチ３０等が操作された場合の所定の表示を表示パネル６３に行い、操作スイッチ３０等が操作された場合の操作に従った処理を行う。
一方、操作スイッチ３０等の操作が無い場合にはステップＳ１２１において、入力装置２００は、人差し指の位置に対応して画面にカーソル（図１４（Ａ）のカーソルＭ１）を重畳表示する。すなわち、入力制御部２０２は、例えば、図１４（Ｂ）に示すように、表示制御部２０５に対して、人差し指の長さを２倍した人差し指の延長方向に対応する位置Ｐ１に対応する箇所に図１４（Ａ）に示すところのカーソルＭ１を表示させる。ここでは、カーソルＭ１によって封筒のアイコンＩ８が選択されていることが分かる。
ここで、カメラ６４には、図１４（Ｂ）に示すようにユーザーの手Ｈ１が撮影されており、入力制御部２０２は、パターン認識によって破線で示すように、ユーザーの人差し指の延長線上であって、画面上で測定できる人差し指の長さＬ１を約２倍延長した位置Ｐ１（指先から距離Ｌ２の位置）を計算する。入力制御部２０２は、表示制御部２０５に対して、位置Ｐ１に対応する表示パネル６３の画像上の位置に、図１４（Ａ）で示すように、カーソルＭ１を表示させる。
なお、入力制御部２０２は、下記の式（１）及び式（２）に基づいて、位置Ｐ１を算出する。

【0113】

Ｘ３＝Ｘ１＋２×（Ｘ１−Ｘ２） ・・・（１）
Ｙ３＝Ｙ１＋２×（Ｙ１−Ｙ２） ・・・（２）

【0114】

ここで、変数Ｘ１及び変数Ｙ１は図１４（Ｂ）における人差し指の先端の座標（Ｘ１，Ｙ１）に対応し、変数Ｘ２及び変数Ｙ２は人差し指の根もとの座標（Ｘ２、Ｙ２）に対応する。また、変数Ｘ３及び変数Ｙ３は位置Ｐ１の座標であり、すなわちカーソルＭ１の座標（Ｘ３，Ｙ３）に対応する。
例えば、カメラ６４の光軸に略平行に人差し指を向けた場合には、カメラ６４には人差し指が短く写るので、カーソルＭ１は、人差し指先端の近傍となる。また、例えば、カメラ６４の光軸と直交するように人差し指を置いた場合には、最も離れた箇所にカーソルＭ１が表示される。このように、人差し指の位置、傾き、及び方向をユーザーが変えることで、自由に画面内の位置を指示（ポインティング）することが可能である。
なお、ここでは、図１４（Ａ）に示すようなメニュー画面Ｇ１を表示パネル６３に表示しているので、入力装置２００は、図１４（Ｂ）に示すカメラ６４の画像Ｇ２を表示パネル６３に表示させることはない。

【0115】

次に、入力装置２００は、カーソルＭ１がアイコン（例えば、アイコンＩ８）の上で所定の時間だけ静止したか否かを判定する（ステップＳ１２２）。すなわち、メニュー選択処理部２０４は、入力制御部２０２から取得したカーソルＭ１の位置情報に基づいて、カーソルＭ１がアイコンの上で所定の時間だけ静止したか否かを判定する。メニュー選択処理部２０４は、カーソルＭ１がアイコンの上で所定の時間だけ静止したと判定された場合（ステップＳ１２２：Ｙｅｓ）に、処理をステップＳ１２３に進める。また、メニュー選択処理部２０４は、カーソルＭ１がアイコンの上で所定の時間静止していないと判定された場合（ステップＳ１２２：Ｎｏ）に、処理を終了させる。

【0116】

ステップＳ１２３において、入力装置２００は、アイコンが選択された場合に対応する所定の処理を行う。すなわち、メニュー選択処理部２０４は、例えば、封筒のアイコンＩ８を選択し、処理部１２３は、選択された封筒のアイコンＩ８に対応する処理を実行する。
なお、メニュー選択処理部２０４は、親指と人差し指を特定のパターンに形成したり、その形を変化させたりすることを検出することにより、メニュー選択などの操作を行うことも可能である。例えば、メニュー選択処理部２０４は、メニュー画面などで「ＹＥＳ／ＮＯ」などの２択の選択を迫られた場合にも、ユーザーがあえて一方の選択肢を選ばすに、親指と人差し指とで作ったＯＫサインを検出することにより設定（選択）を行ってもよい。

【0117】

このように、手にピントがあっている場合には、細かい手の動きをカメラ６４で読み取ることが可能であるため、入力装置２００は、指のパターンの詳細な読み取りが可能となっており、図１４（Ａ）に示すような細かなアイコンの選択が可能となっている。そのため、入力制御部２０２は、手の形状に対して光学系６４１を合焦させる場合に、メニュー選択処理部２０４によって選択可能な操作メニューの数を、後述する手の形状の背景に対して光学系６４１を合焦させる場合よりも多く表示パネル６３に表示させる。

【0118】

次に、カメラ６４からの画像が表示されている場合について説明する。
ステップＳ１０２において、入力装置２００は、ステップＳ１１６と同様に、カメラ６４によって撮像された画像に予め定められた所定以上の大きさの手があるか否かを判定する。すなわち、入力制御部２０２は、パターン認識部２０１から供給された手に関する情報に基づいて手の形状の大きさが予め定められた所定の大きさ以上であるか否かを判定する。入力制御部２０２は、手の形状の大きさが予め定められた所定の大きさ以上である場合（ステップＳ１０２：Ｙｅｓ）に、処理をステップＳ１０４に進める。また、入力制御部２０２は、手の形状の大きさが予め定められた所定の大きさ未満である場合（ステップＳ１０２：Ｎｏ）に、処理をステップＳ１０３に進める。

【0119】

次に、ステップＳ１０３において、入力装置２００は、至近の被写体に焦点と露出とを合わせる。すなわち、入力制御部２０２は、ＡＦ制御部２０３に至近の被写体に対して光学系６４１を合焦させる制御を行い、処理部１２３は、カメラ６４に対して至近の被写体に露出を合わせる制御を行う。なお、極至近（例えば、５ｃｍなど指が入らない距離）の被写体などで光学系６４１の制約によってピントを合わせることが不可能な被写体などは、レンズ上のゴミの可能性もあるので、入力制御部２０２は、ＡＦ制御部２０３に次に合焦可能な至近の被写体に合焦させる。また、入力制御部２０２は、いわゆる顔認識技術によって人物を検出した場合には、人物にピントを合わる制御を行ってもよい。また、ＡＦ制御部２０３は、ピント合わせ（合焦）については公知の手段を用いる。入力制御部２０２は、至近の被写体に合焦させる制御を行った後、処理をステップＳ１１４に進める。

【0120】

一方、ステップＳ１０２で手の大きさが所定以上であると判断された場合、ステップＳ１０４において、入力装置２００は、手に物を持っているか否かを判定する。すなわち、入力制御部２０２は、例えば、パターン認識部２０１によって認識された手の形状に基づいて、手が物を持っているか否かを判定する。入力制御部２０２は、手が物を持っていると判定した場合（ステップＳ１０４：Ｙｅｓ）に、処理をステップＳ１０５に進め、手が物を持っていないと判定した場合（ステップＳ１０４：Ｎｏ）に、処理をステップＳ１０６に進める。

【0121】

次に、ステップＳ１０５において、入力装置２００は、手の近傍の被写体に焦点を合わせる。この場合、ユーザーが手に物を持っていて、それがカメラ６４に写っている場合には、手に持っている物が他の通信端末（他の機器）にも伝えたい物であると推定できる。そのため、入力制御部２０２は、手が物を持っている状態であると判定した場合に、ＡＦ制御部２０３に、手の形状又は手の近傍の被写体に対して光学系６４１を合焦させる。入力制御部２０２は、手の形状又は手の近傍の被写体に合焦させる制御を行った後、処理をステップＳ１０９に進める。

【0122】

一方、ステップＳ１０６において、入力装置２００は、ユーザーの手を避けて背景に焦点を合わせる。この場合、ユーザーが背景の部分を手によって差し示している可能性が高いため、入力制御部２０２は、手の形状の背景に対して光学系６４１を合焦させる制御を行う。これは、例えば、図１５に示すように、幾つかある商品の中から一つを指し示すような場合において、手にピントが合った画像を他者に伝えるよりも、背景にピントの合った画像を伝えることが重要だからである。このことで、入力装置２００は、情報（画像など）を伝達する相手にとってわかり易いコミュニケーションを取ることが可能になる。

【0123】

なお、他の通信端末に画像を送信する際に、例えば、ＶＧＡ（Video Graphics Array：６４０×４８０画素）などの低解像度で送信を行っている場合、且つ、カメラ６４の被写界深度と解像度との関係により手に合焦していても背景がボケないと判定される場合には、入力装置２００は、ステップＳ１０６の処理をスキップしてもよい。また、入力装置２００は、他の通信端末に画像を送信する際の解像度が高い（例えば、８００×６００画素やハイビジョン（１０８０ｉ）など）場合のみに、ステップＳ１０６の処理を実行してもよい。

【0124】

次に、入力装置２００は、複数の手が存在した場合を想定して、最も大きな手のパターン（手の形状）を認識する（ステップＳ１０７）。すなわち、入力制御部２０２は、パターン認識部２０１から供給された手に関する情報に基づいて、最も大きな手の形状を認識する。ここで、最も大きな手を認識するのは、複数の手が画面内に存在した場合に、最も大きな手が最も至近にあり、それがユーザーの手である可能性が高いためである。
なお、ステップＳ１１６では至近の手を認識していたが、ステップＳ１０７においては手に対してのピント合わせを行っていないため、複数の手があってもどれが至近の手であるか判定できない。そのため、入力制御部２０２は、最も大きな手をユーザーの手として判定（認識）する。また、右手と左手とが検出された場合の処理は、ステップＳ１１７と同様である。

【0125】

次に、入力装置２００は、最も大きな手の輪郭を強調する（ステップＳ１０８）。すなわち、入力制御部２０２は、認識した手のパターンの輪郭を強調して、表示制御部２０５に表示させる。これはピントが合っていない手を少しでもハッキリ表示するための処理である。また、入力制御部２０２は、手が背景に紛れて見難い場合には、手の輪郭を赤色などで強調してもよい。

【0126】

次に、入力装置２００は、ステップＳ１１９と同様に、操作スイッチ３０等の操作部が操作されているか否かを検出する（ステップＳ１０９）。入力制御部２０２は、操作スイッチ３０等が操作されている場合（ステップＳ１０９：Ｙｅｓ）に、操作スイッチ３０等の操作を優先し、処理をステップＳ１１０に進める。また、入力制御部２０２は、操作スイッチ３０等が操作されていない場合（ステップＳ１０９：Ｎｏ）に、処理をステップＳ１１１に進める。

【0127】

ステップＳ１１０において、ステップＳ１２０と同様に、入力装置２００は、操作スイッチ３０等が操作された場合の所定の表示を表示パネル６３に行う等、操作スイッチ３０等が操作された場合の操作に従った処理を行う。

【0128】

一方、ステップＳ１１１において、入力装置２００は、人差し指を検出し、検出した人差し指の先にカーソル（図１５のカーソルＭ２）を表示パネル６３に表示させる。ここで、入力制御部２０２は、パターン認識部２０１から供給された手に関する情報に基づいて、予め定められた所定の指（例えば、人差し指）を検出する。入力制御部２０２は、例えば、図１５に示すように、検出した人差し指の先端から当該指の長さを所定の係数倍（例えば、２倍）して延長した位置にカーソルＭ２を、表示制御部２０５に対して表示させる。
なお、図１５において、画像Ｇ３は、カメラ６４（撮像部６４２）によって撮像されている画像を示し、手の形状Ｈ２は、カメラ６４（撮像部６４２）によって撮像されている手を示している。

【0129】

次に、入力装置２００は、カーソルが示す背景に焦点と露出とを合わせる（ステップＳ１１２）。例えば、入力制御部２０２は、図１５のカーソルＭ２が示すところの背景の近傍に対して、ＡＦ制御部２０３に光学系６４１を合焦させる制御を行い、処理部１２３は、カメラ６４に対してカーソルＭ２が示す背景の近傍に露出を合わせる制御を行う。すなわち、入力制御部２０２は、検出した人差し指の先端から当該指の長さを所定の係数倍（例えば、２倍）して延長した位置の背景に対して光学系６４１を合焦させる。このことで、手前の指ではなく背景を鮮明に撮像することが可能になるので、ヘッドマウントディスプレイ１は、通信を行っている他の通信端末に対しても明瞭な画像（明確な画像）を表示させることができる。そのため、入力装置２００は、コミュニケーションのミスが発生する可能性を低減することが可能である。

【0130】

次に、入力装置２００は、操作に応じてカーソル／軌跡を表示パネル６３に表示させる（ステップＳ１１３）。すなわち、入力制御部２０２は、表示制御部２０５に対して、所定の指（例えば、人差し指）の動きに応じてカーソルを引き続き表示させるか、あるいはカーソルの軌跡を表示させる。
なお、この場合には、指に厳密にピントが合っていないので、細かな指の動作に基づいてヘッドマウントディスプレイ１を制御することは難しい。よって、入力装置２００は、指に合焦していない場合に、指の画像認識で制御可能なメニューに限定した入力制御を行う。ここでは、指の画像認識で制御可能なメニューは、例えば、カーソルの表示の他、線画を描くなどの限定された項目である。

【0131】

次に、ヘッドマウントディスプレイ１（入力装置２００を含む）は、通信を行っている他の通信端末に対して逐次画像を送信する（ステップＳ１１４）とともに、表示パネル６３にも上述の入力制御の結果を表示する（ステップＳ１１５）。入力装置２００は、ステップＳ１１５の処理後に処理を終了する。なお、本実施形態において、入力装置２００は、この入力制御の処理（ステップＳ１０１からステップＳ１２３の処理）を繰り返し実行する。

【0132】

次に、ヘッドマウントディスプレイ１がカメラ６４の画像を上下に分けて使用する場合の一例について説明する。
図１２のフローチャートにおいて、カメラ６４の読み出し領域として上半分を使用する一例を説明したが、図１６では、図３（Ａ）に示すように、右目で表示を観察している状態を示している。図１６において、ヘッドマウントディスプレイ１と通信相手の他の通信端末とは、カメラ６４の撮像範囲Ｐのうちの範囲Ｑの画像を表示パネル６３に表示する。また、ヘッドマウントディスプレイ１（入力装置２００）は、範囲Ｒをユーザーの手の認識用の領域として使用する。この場合、表示パネル６３の表示画面には、図１５に示すようなユーザーの手Ｈ３が写り込まずに、カーソルＭ３のみが表示される。
また、上述のように、ヘッドマウントディスプレイ１（入力装置２００）は、指の長さの延長上を計算してカーソルを置いてもよいが、範囲Ｒにおける人差し指の先部の位置Ｐ２を検出し、人差し指の長さを２倍程度まで拡大し、範囲Ｑで撮像された画像に重畳してカーソルＭ３を表示してもよい。この場合においても、入力装置２００は、ユーザーの手にはピントを合わせず、カーソルＭ３が示す背景に焦点を合焦させる。

【0133】

なお、図１６は、撮影画像に対してカーソルを表示する一例を示しているが、図１４（Ａ）に示すようなアイコンの選択において、範囲Ｒの領域を手のパターン認識用に用いてもよい。この場合には、入力装置２００は、上述したようにユーザーの手に焦点を合焦させる。

【0134】

また、図３（Ｂ）に示すように、左目で表示を観察している場合は、ヘッドマウントディスプレイ１（入力装置２００）は、背景画像の読み取り領域が範囲Ｒに、また、手のパターン認識用の領域が範囲Ｑに変更する。また、この場合、カメラ６４が１８０度回転して使用されることになるため、処理部１２３は、図１２に示すように表示パネル６３への表示を１８０度回転するとともに、指の移動方向の認識も１８０度回転させる。

【0135】

このように、ヘッドマウントディスプレイ１（入力装置２００）は、カメラ６４によって撮像された画像において、表示に使用しない領域を手のパターン認識に用いる。これにより、ヘッドマウントディスプレイ１（入力装置２００）は、図１５に示すように画面中にユーザーの手が映り込むことが無くなり、背景の映像が見やすくなると言う利点がある。さらに、ヘッドマウントディスプレイ１（入力装置２００）は、指示するための指を目の正面まで高く上げる必要がなく、図１０に示すように、範囲Ｑに示される画角の範囲に手があればよいので、手が疲れることなく使いやすいシステムを提供することができる。

【0136】

また、ヘッドマウントディスプレイ１（入力装置２００）は、ユーザーが図１７に示すように表示領域である範囲Ｑ内に手Ｈ４をもって行った場合に、画像中にユーザーの手を表示することも可能である。この場合には、ユーザーが人差し指で画面上の一点を指示するだけではなく、両手や複数の指を使って様々な情報を相手に伝えたい場合が想定される。そこで、この場合には、手の形の情報が重要であるから、ヘッドマウントディスプレイ１（入力装置２００）は、指先のポイントを表示するカーソルを消す（表示させない）制御を行ってもよい。このことにより、ヘッドマウントディスプレイ１は、情報を受信する他の通信端末にとって分かりやすい情報を送ることが可能になる。
さらに、例えば、夕方などの手と背景のコントラストが低くなる場合には、ヘッドマウントディスプレイ１は、図１８に示すように手Ｈ５の指先にカーソルＭ４を表示することで指先の位置を見やすく表示してもよい。

【0137】

以上説明したように、本実施形態における入力装置２００は、撮像部６４２が光学系６４１によって結像された画像を撮像し、パターン認識部２０１が撮像部６４２によって撮像された画像に含まれる予め定められた所定の形状（例えば、手の形状）を認識する。入力制御部２０２は、パターン認識部２０１によって認識された所定の形状の大きさに応じて、予め定められた所定の処理（例えば、合焦処理やメニュー選択処理）を実行させるか否かを制御する。
これにより、本実施形態における入力装置２００は、所定の形状（例えば、手の形状）の大きさに応じて、所定の処理の操作を指示する物（例えば、ユーザーの手）を認識し、認識した例えばユーザーの手の動作により、所定の処理を実行させるか否かを制御することができる。そのため、ユーザーは、所定の形状を撮像部６４２に撮像させることで、容易に所定の処理の操作を指示することができる。よって、本実施形態における入力装置２００は、利便性を向上させることができる。なお、本実施形態における入力装置２００は、手や指の奥行き方向の位置を正確に検出する必要はなく、所定の形状の大きさにより所定の処理の実行を制御するので、所定の処理を実行させる上で利便性を向上させることができる。

【0138】

また、本実施形態では、入力制御部２０２は、所定の形状の大きさが予め定められた所定の大きさ以上である場合に、所定の処理を実行させる。所定の大きさは、撮像部６４２によって撮像される画像において、撮像部６４２から予め定められた所定の距離（例えば、１ｍ）に対応する所定の形状の大きさに基づいて定められている。例えば、所定の形状を手の形状とした場合に、ユーザの手は１ｍ以内になる。そのため、入力制御部２０２は、１ｍ以内に対応する手の形状をユーザーの手と判定し、所定の処理を実行させる。
これにより、入力装置２００は、ユーザーが操作を指示するために用いる所定の形状（例えば、ユーザーの手）を正確に検出することができるので、例えば、他人の手により誤操作されることを低減することができる。よって、本実施形態における入力装置２００は、利便性を向上させることができる。

【0139】

また、本実施形態では、入力制御部２０２は、パターン認識部２０１によって複数の所定の形状が認識された場合に、認識された複数の所定の形状のうちの最も大きい所定の形状の大きさに応じて、所定の処理を実行させるか否かを制御する。すなわち、入力制御部２０２は、複数の手の形状が認識された場合に、最も大きい手の形状の大きさに応じて、所定の処理を実行させるか否かを制御する。
これにより、入力装置２００は、ユーザーが操作を指示するために用いる所定の形状（例えば、ユーザーの手）を簡易な手段により、正確に検出することができる。

【0140】

また、本実施形態における入力装置２００は、光学系６４１を駆動して撮像部６４２に合焦させるＡＦ制御部２０３を備えている。すなわち、入力装置２００は、光学系６４１からの像を撮像部６４２に合焦させるＡＦ制御部２０３を備えている。そして、上述の所定の処理は、ＡＦ制御部２０３に光学系６４１を合焦させる処理を含む。
これにより、ユーザーは、所定の形状を撮像部６４２に撮像させることにより、ＡＦ制御部２０３により合焦処理を指示（操作）することができる。そのため、本実施形態における入力装置２００は、利便性を向上させることができる。

【0141】

また、本実施形態では、入力制御部２０２は、撮像部６４２によって撮像された画像が表示パネル６３に表示されているか否かに応じて、ＡＦ制御部２０３に光学系６４１を合焦させる処理を変更する。例えば、入力制御部２０２は、表示パネル６３に撮像部６４２によって撮像された画像が表示されている場合に、ＡＦ制御部２０３に表示パネル６３に表示されている画像のうちの所定の形状を除く領域を示す背景に対して光学系６４１を合焦させる。
これにより、本実施形態における入力装置２００は、例えば、情報（画像など）を伝達する相手にとってわかり易いコミュニケーションを取ることが可能になる。そのため、本実施形態における入力装置２００は、利便性を向上させることができる。

【0142】

また、本実施形態では、入力制御部２０２は、表示パネル６３に撮像部６４２によって撮像された画像が表示されていない場合に、ＡＦ制御部２０３に所定の形状に対して光学系６４１を合焦させる。
これにより、本実施形態における入力装置２００は、例えば、メニュー選択などを行う場合に、所定の形状（例えば、ユーザーの手）の動作や形状を正確に認識することが可能になる。そのため、本実施形態における入力装置２００は、利便性を向上させることができる。

【0143】

また、本実施形態における入力装置２００は、所定の形状の位置に応じて、少なくとも１つの操作メニューを選択可能なメニュー選択処理部２０４を備えている。そして、所定の処理は、メニュー選択処理部２０４による操作メニューを選択する処理を含む。
これにより、ユーザーは、所定の形状を撮像部６４２に撮像させることにより、メニュー選択処理部２０４による操作メニューを選択する処理を行うことができる。そのため、本実施形態における入力装置２００は、利便性を向上させることができる。

【0144】

また、本実施形態では、入力制御部２０２は、所定の形状に対して光学系６４１を合焦させる場合に、メニュー選択処理部２０４によって選択可能な操作メニューの数を、所定の形状の背景に対して光学系６４１を合焦させる場合よりも多く表示パネル６３に表示させる。
これにより、所定の形状（例えば、ユーザーの手）の動作や形状を正確に認識する場合に、操作メニューの数を多くするので、本実施形態における入力装置２００は、適切に操作メニューを選択する処理を行うことができる。そのため、本実施形態における入力装置２００は、利便性を向上させることができる。

【0145】

また、本実施形態では、上述の所定の形状は、手の形状に基づいて定められている。
これにより、ユーザーは、手を撮像部６４２に撮像させることにより、ヘッドマウントディスプレイ１を操作することができる。そのため、本実施形態における入力装置２００は、利便性を向上させることができる。

【0146】

また、本実施形態における入力装置２００は、ユーザーの身体における右側及び左側のいずれかの位置に装着可能な操作部であって、入力装置２００を操作する操作スイッチ３０と、操作スイッチ３０がユーザーに装着されている位置を検出する目元検出部２０６と、を備えている。所定の形状は、手の形状に基づいて定められており、入力制御部２０２は、パターン認識部２０１によって複数の手の形状が認識された場合、且つ、左手の形状と右手の形状とが認識された場合に、目元検出部２０６によって検出された操作スイッチ３０がユーザーに装着されている右側及び左側のいずれかの位置に応じて、左手の形状と右手の形状とのうちのいずれかの手の形状を選択する。そして、入力制御部２０２は、選択した手の形状の大きさに応じて、上述の所定の処理を実行させるか否かを制御する。
これにより、ユーザーが左右の手のうちの操作に使用する手を検出するので、本実施形態における入力装置２００は、ユーザーの手による使い易い操作が可能となる。

【0147】

また、本実施形態では、入力制御部２０２は、パターン認識部２０１によって認識された手の形状に基づいて、手が把持している（手が物を持っている）状態か否かを判定し、手が把持している（手が物を持っている）状態であると判定した場合に、ＡＦ制御部２０３に、把持している手に対して光学系６４１を合焦させる。ユーザーが手に物を持っていて、それがカメラ６４に写っている場合には、手に持っている物が他の通信端末にも伝えたい物であると推定できる。そのため、本実施形態における入力装置２００は、このような場合に、把持している手に対して合焦させるので、例えば、情報（画像など）を伝達する相手にとってわかり易いコミュニケーションを取ることが可能になる。

【0148】

また、本実施形態では、入力制御部２０２は、ＡＦ制御部２０３に手の形状の背景に対して光学系６４１を合焦させる場合に、予め定められた所定の指（例えば、人差し指）の先端から当該指の長さを所定の係数倍して延長した位置の背景に対して光学系６４１を合焦させる。すなわち、入力制御部２０２は、ＡＦ制御部２０３に背景に対して光学系６４１を合焦させる場合に、予め定められた所定の指（例えば、人差し指）を延長した位置に対応する背景に対して光学系６４１を合焦させる。
これにより、ユーザーは、画像内に指し示したい対象物を操作性よく指し示すことができる。そのため、本実施形態における入力装置２００は、例えば、情報（画像など）を伝達する相手にとってわかり易いコミュニケーションを取ることが可能になる。

【0149】

なお、本実施形態におけるヘッドマウントディスプレイ１（表示装置）は、上述の入力装置２００と、少なくとも撮像部６４２によって撮像された画像を表示する表示パネル６３と、少なくとも撮像部６４２及び表示パネル６３をユーザーの頭部に装着するヘッドバンド４０と、を備えている。
これにより、本実施形態におけるヘッドマウントディスプレイ１は、上述した入力装置２００を備えているので、上述した入力装置２００と同様の効果を奏し、利便性を向上させることができる。

【0150】

なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態において、所定の形状が手の形状である形態について説明したが、これに限定されるものではない。例えば、図１９に示すように、所定の形状が、入力装置２００を操作するためのリモコン１４０の形状であってもよい。すなわち、所定の形状が、リモコン１４０の形状に基づいて定められていてもよい。図１９において、画像Ｇ４は、撮像部６４２によって撮像されている画像を示している。リモコン１４０には３つのインジケーター１４３ａ〜１４３ｃが設けられていて、このインジケーターの発光をカメラ６４で捕らえることにより、ユーザーの手の代用とすることが可能である。入力制御部２０２は、手の場合と同様に、リモコン１４０のインジケーター１４３ａ〜１４３ｃによって指し示される位置Ｐ３において、所定の処理（例えば、合焦処理やメニュー選択処理）を制御する形態でもよい。インジケーター１４３ａ〜１４３ｃは発光させることができるので、入力装置２００は、撮像画像が暗い場合であっても、正確に操作することができる。すなわち、入力装置２００は、リモコン１４０のインジケーター１４３ａ〜１４３ｃの発光を用いる場合、暗いところでもパターンをハッキリと認識することが可能であり、暗いところでも使いやすいシステムが提供できる。
また、図１９では３つのインジケーター１４３ａ〜１４３ｃを使用することで座標認識の精度を向上させているが、インジケーターが２つであってもよいし、４つ以上であってもよい。

【0151】

また、上記の各実施形態において、ヘッドマウントディスプレイ１が右側及び左側のいずれの側（位置）に装着されているのかを撮像素子７２及び目元検出部２０６によって判定する形態を説明したが、これに限定されるものではない。ヘッドマウントディスプレイ１は、例えば、ヘッドバンド４０に対するディスプレイ本体２０の角度に基づいて、右側及び左側のいずれの側（位置）に装着されているのかを判定してもよい。また、ヘッドマウントディスプレイ１は、不図示の設定手段をユーザーが操作することで設定してもよい。また、ヘッドマウントディスプレイ１は、例えば、加速度センサー１３２によって測定される重力の方向より、右側及び左側のいずれの側（位置）に装着されているのかを判定してもよい。

【0152】

また、カメラ６４における読み取り領域の変更は、電子的な手法に限定されるものではなく、ユーザーの両耳を結ぶ軸に略平行な回転軸周りに機械的にカメラ６４を回転させてもよい。この場合には、ユーザーが不図示のノブを回してカメラ６４の方向を設定することが可能である。
また、上記の各実施形態において、ＡＦ制御部２０３は、光学系６４１を駆動して合焦させる形態を説明したが、撮像部６４２を移動させて合焦させる形態でもよい。

【0153】

また、上記の各実施形態において、ユーザーが、所定のパターンを印刷した手袋等を事前に装着しておき、その色や印刷されたパターンに基づいて、入力装置２００が他の手と異なることを認識する形態でもよい。さらに、右手用の手袋と左手用の手袋で、表面に印刷するパターンを変えることで、右手と左手との認識を容易にすることも可能である。この場合、手袋の手の甲に位置するところに、例えばＱＲコード（登録商標）を印刷するとともに、指先の認識が容易なように、各指の先端に例えば「▲」マークを印刷してもよい。

【0154】

上述のヘッドマウントディスプレイ１及び入力装置２００は内部に、コンピュータシステムを有している。そして、上述した入力装置２００の処理過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリー等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

【符号の説明】

【0155】

１…ヘッドマウントディスプレイ、３０…操作スイッチ、４０…ヘッドバンド、６３…表示パネル、６４…カメラ、１２３…処理部、１４０…リモコン、２００…入力装置、２０１…パターン認識部、２０２…入力制御部、２０３…ＡＦ制御部、２０４…メニュー選択処理部、２０６…目元検出部、６４１…光学系、６４２…撮像部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】