特許 6576639 電子眼鏡および電子眼鏡の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6576639

(24)【登録日】2019年8月30日

(45)【発行日】2019年9月18日

(54)【発明の名称】電子眼鏡および電子眼鏡の制御方法

(51)【国際特許分類】

   H04N 5/64 20060101AFI20190909BHJP

   G02C 11/00 20060101ALI20190909BHJP

   G02B 27/02 20060101ALI20190909BHJP

   H04N 5/225 20060101ALI20190909BHJP

   H04N 5/232 20060101ALI20190909BHJP

   G09G 5/36 20060101ALI20190909BHJP

   G09G 5/00 20060101ALI20190909BHJP

【ＦＩ】

   H04N5/64 511A

   G02C11/00

   G02B27/02 Z

   H04N5/225

   H04N5/232 930

   G09G5/36 520F

   G09G5/00 510H

   G09G5/00 550C

【請求項の数】7

【全頁数】24

(21)【出願番号】特願2015-6624(P2015-6624)

(22)【出願日】2015年1月16日

(65)【公開番号】特開2016-134668(P2016-134668A)

(43)【公開日】2016年7月25日

【審査請求日】2017年12月20日

(73)【特許権者】

【識別番号】517088838

【氏名又は名称】ミラマサービスインク

(74)【代理人】

【識別番号】110000844

【氏名又は名称】特許業務法人 クレイア特許事務所

(72)【発明者】

【氏名】杉本 礼彦

(72)【発明者】

【氏名】新見 浩司

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開２０１１−２０５５３４（ＪＰ，Ａ）

【文献】 特開２００５−１７２８５１（ＪＰ，Ａ）

【文献】 特開２００８−０８３２８９（ＪＰ，Ａ）

【文献】 特開２００８−０９６８６８（ＪＰ，Ａ）

【文献】 特開２０１４−１５８１３６（ＪＰ，Ａ）

【文献】 国際公開第２０１４／１９７１０９（ＷＯ，Ａ２）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／６４

Ｇ０２Ｂ ２７／０２

Ｇ０２Ｃ １１／００

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３６

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

人体の頭部に装着可能な電子眼鏡であって、
対象物を撮像する撮像装置と、
前記撮像装置による２次元および３次元の少なくとも一方の画像を表示する１または複数の表示装置と、
前記表示装置に表示された画像を操作する操作部と、
前記表示装置に表示された前記画像の一部のみの表示倍率を調整する制御部と、を含み、
前記操作部は、電子眼鏡から電子眼鏡の装着者の人体の一部までの距離を測定する深度センサを含み、
前記制御部は、前記深度センサで測定した前記人体の一部までの距離の情報に応じて、前記画像の一部のみの表示倍率を調整するとともに、前記画像の一部の周囲に前記人体の一部または前記人体の一部の外郭を表示する、電子眼鏡。

【請求項2】

前記制御部は、前記表示装置の前記画像の中央部の表示倍率を調整し、前記中央部の周囲の表示倍率を調整しない、請求項１記載の電子眼鏡。

【請求項3】

前記表示装置は、没入型ディスプレイである、請求項１または２記載の電子眼鏡。

【請求項4】

前記操作部は、音声認識部および骨伝導認識部の少なくとも一方を含み、
前記制御部は、前記音声認識部および前記骨伝導認識部の少なくとも一方に応じて、前記画像の表示倍率を調整する、請求項１乃至３のいずれか１項に記載の電子眼鏡。

【請求項5】

前記制御部は、前記画像に対してデジタルズーム機能を有する、請求項１乃至４のいずれか１項に記載の電子眼鏡。

【請求項6】

前記制御部は、赤外線を照射する照射部および赤外線カメラを含む、請求項１乃至５のいずれか１項に記載の電子眼鏡。

【請求項7】

人体の頭部に装着可能な電子眼鏡の制御方法であって、
対象物を撮像する撮像工程と、
前記撮像工程による２次元および３次元の少なくとも一方の画像を表示する１または複数の表示工程と、
前記表示工程に表示された画像を操作する操作工程と、
前記表示工程に表示された前記画像の一部のみの表示倍率を調整する制御工程と、を含み、
前記操作工程は、深度センサによる、電子眼鏡から電子眼鏡の装着者の人体の一部までの距離を測定する工程を含み、
前記制御工程は、前記深度センサで測定した前記人体の一部までの距離の情報に応じて、前記画像の一部のみの表示倍率を調整するとともに、前記画像の一部の周囲に前記人体の一部または前記人体の一部の外郭を表示する工程を含む、電子眼鏡の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子眼鏡および電子眼鏡の制御方法に関する。より具体的に本発明は、立体視像を容易に操作することができる電子眼鏡および電子眼鏡の制御方法に関する。

【背景技術】

【0002】

従来から、電子眼鏡および電子眼鏡の制御方法について種々開発研究されている。例えば、特許文献１（特開２００８−３１０２７５号公報）には、デジタルビデオムービー、デジタルカメラ、携帯電話の機能を搭載したデジタル眼鏡システムについて開示されている。

【0003】

また、特許文献２（特開２００７−３２８０７１号公報）には、一見して従来の眼鏡と形状が変わらず、さらに利用時に切り換え操作が不要である弱視者用眼鏡について開示されている。特許文献２記載の弱視者用眼鏡は、フレーム部に固定され、当該フレーム部装着時に装着者の顔前に位置する矯正レンズと、フレーム部又は矯正レンズに設けられ、顔前方向を近接撮影可能な撮像カメラと、撮像カメラより得られた撮像を映像出力する液晶表示部と、液晶表示部に着設された非球面拡大レンズと、を備えたものである。

【0004】

また、特許文献３（特開２０１０−５５０３８号公報）には、従来の眼鏡型ディスプレイに比べ違和感がない、弱視者への視力を補う機器について開示されている。
特許文献３記載のサングラス型デジタル眼鏡システムは、使用する人の目の先に置いて映像を表示する小型の電子ディスプレイ、この電子ディスプレイに表示される映像を見る人の目の網膜に拡大して表示する光学装置、この電子ディスプレイと光学装置を取付けるサングラス、電子ディスプレイに映像を取り込むカメラ及びその映像制御装置から構成され、このシステムを利用する人が、使用する場所、好み、目的などに応じたデザイン性のあるサングラスの眼鏡フレームに、電子ディスプレイ及び光学装置を着脱式で簡単に取付けることが出来るものである。

【0005】

また、特許文献４（特開平９−１９２１６４号公報）には、一対の矯正レンズと、少なくとも一対のＴＶカメラと、眼前に提示される液晶ディスプレイと、一対のＴＶカメラにより撮影されたステレオ画像を一時的に保存するフレームバッファメモリと、該フレームバッファメモリに保存されたステレオ画像を三次元画像解析処理により稜線を抽出して強調する画像処理手段と、画像処理手段により処理された稜線強調図形を前記液晶ディスプレイに表示させる表示制御手段とを備えている弱視者用眼鏡装置について開示されている。

【0006】

さらに、特許文献５（特開２００３−１３４４２０号公報）は、眼鏡を掛け肉眼で見える領域の一部に小型液晶表示装置を内蔵する暗室を設け、上記小型液晶表示装置に表示される映像を見る手段と、他の部分は外界を見る手段を特徴とするハイブリッド電子眼鏡について開示されている。

【0007】

また、特許文献６（特開２０１４−１５５２０７号公報）は、使用者が視線を移動させることなく、視界方向の物体の実像と、物体の外観に現れない情報とを同時に視認可能な頭部装着型表示装置について開示されている。
特許文献６記載の頭部装着型表示装置は、使用者が映像と外景を同時に視認可能な頭部装着型表示装置であって、外景に含まれる物体に対して物体の外観に現れない情報である不可視情報を重畳表示させるための情報である重畳情報を生成する重畳情報生成部と、重畳情報を前記映像として使用者に視認させる画像表示部と、を備えるものである。

【0008】

また、特許文献７（特開２０１２−５８７３３号公報）は、簡易な照明で特殊効果を利用できる特殊照明手術用ビデオ立体顕微鏡について開示されている。
特許文献７記載の特殊照明手術用ビデオ立体顕微鏡は、特殊な照明、特に励起光を含む照明、のもとで検体を観察するための、特に検体を蛍光観察するための、ビデオ撮像ユニットを有する２つの部分光束からなる立体部分光束を有するビデオ立体観察光束を少なくとも１つ有する特殊照明手術用ビデオ立体顕微鏡であって、該ビデオ撮像ユニットは、ビデオ立体画像を取得するための、チップの半分を２つ組み合わせたビデオチップを少なくとも１つ含み、それぞれの該半分は、それぞれ１つの部分光束が割り当てられ、それぞれスペクトル感度が異なっており、複数の光電子センサ（ピクセル）から構成されているものである。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２００８−３１０２７５号公報

【特許文献2】特開２００７−３２８０７１号公報

【特許文献3】特開２０１０−５５０３８号公報

【特許文献4】特開平９−１９２１６４号公報

【特許文献5】特開２００３−１３４４２０号公報

【特許文献6】特開２０１４−１５５２０７号公報

【特許文献7】特開２０１２−５８７３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、上記特許文献１から特許文献７のいずれにおいても、操作性が低く、周囲の環境を確認しつつ画像の表示倍率を調整することが困難である。また、ユーザにとっては、表示された画像一部のみの表示倍率を調整したいというニーズがある。

【0011】

本発明の目的は、画像の一部のみの表示倍率を調整することができる電子眼鏡および電子眼鏡の制御方法を提供することである。

【課題を解決するための手段】

【0012】

（１）
一局面に従う電子眼鏡は、人体の頭部に装着可能な電子眼鏡であって、 対象物を撮像する撮像装置と、撮像装置による２次元および３次元の少なくとも一方の画像を表示する１または複数の表示装置と、表示装置に表示された画像の一部のみの表示倍率を調整する制御部と、を含むものである。

【0013】

この場合、撮像装置により対象物が撮像され、表示装置に２次元および３次元の少なくとも一方の画像が表示される。また、制御部は、画像の一部のみの表示倍率を調整することができる。その結果、画像の一部のみの倍率を拡大または縮小させることができるため、ユーザは、細かな部分または全体部分を容易に認識することができる。
また、画像の一部のみの表示倍率を調整するため、画像の一部のみの周囲により周囲の環境を認識することができる。
特に、医療現場においては、一部のみを拡大させつつ周囲の状況を認識したい場合がある。本発明は、当該分野に対して有効である。

【0014】

（２）
第２の発明に係る電子眼鏡は、一の局面に従う電子眼鏡において、制御部は、表示装置の画像の中央部の表示倍率を調整し、中央部の周囲の表示倍率を調整しなくてもよい。

【0015】

この場合、画像の中央部の表示倍率を拡大または縮小させることができ、さらに、中央部の周囲の表示倍率は、１倍となる。その結果、周囲を確認することにより、全体の特徴を認識することができ、中央部を確認することにより細かな部分を認識したり、全体を認識したりすることができる。

【0016】

（３）
第３の発明に係る電子眼鏡は、一局面または第２の発明に係る電子眼鏡であって、表示装置は、没入型ディスプレイであってもよい。

【0017】

この場合、表示装置は、没入型ディスプレイからなるので、完全に画像を視認することができる。また、ユーザは、画像を視認することに集中することができる。

【0018】

（４）
第４の発明に係る電子眼鏡は、第２または第３の発明に係る電子眼鏡において、表示装置に表示された画像を操作する操作部を含み、操作部は、人体の一部までの距離を測定する深度センサを含み、制御部は、深度センサに応じて、中央部の表示倍率を調整するとともに、中央部の周囲に人体の一部または人体の一部の外郭を表示してもよい。

【0019】

この場合、深度センサにより人体の一部までの距離が測定される。当該測定結果に応じて表示装置に表示された画像の中央部の表示倍率が制御部により調整される。
また、中央部の周囲に人体の一部そのもの、または人体の一部の外郭が表示される。
その結果、ユーザは、中央部の周囲を確認しつつ、人体の一部を動かして、中央部の表示倍率を調整することができる。すなわち、当該周囲を確認して中央部の画像を拡大または縮小させることができる。

【0020】

（５）
第５の発明に係る電子眼鏡は、一局面、第２から第４の発明に係る電子眼鏡において、表示装置に表示された画像を操作する操作部を含み、操作部は、音声認識部および骨伝導認識部の少なくとも一方を含み、制御部は、音声認識部および骨伝導認識部の少なくとも一方に応じて、画像の表示倍率を調整してもよい。

【0021】

この場合、操作部は、音声認識部および骨伝導認識部の少なくとも一方を含むので、ユーザは、両手が使えない場合でも、声により操作部の操作を行うことができる。また、骨伝導を用いることで、騒がしい環境下、または静かな環境下であっても操作部の操作を行うことができる。したがって、画像の表示倍率を調整することができる。
なお、音声認識部および骨伝導認識部は、電子眼鏡から取り外しできるよう形成されていてもよい。

【0022】

（６）
第６の発明に係る電子眼鏡は、一局面、第２から第５の発明に係る電子眼鏡において、制御部は、画像に対してデジタルズーム機能を有してもよい。

【0023】

この場合、制御部は、デジタルズーム機能を有するため、省スペースで対象物を大きく表示することができる。

【0024】

（７）
第７の発明に係る電子眼鏡は、一局面、第２から第６の発明に係る電子眼鏡において、撮像装置は、赤外線を照射する照射部および赤外線カメラを含んでもよい。

【0025】

この場合、赤外線カメラにより赤外線を照射しつつ、撮像することができるので、人体の血管を明確に視認することができる。

【0026】

（８）
他の局面に従う電子眼鏡の制御方法は、人体の頭部に装着可能な電子眼鏡の制御方法であって、対象物を撮像する撮像工程と、撮像工程による２次元および３次元の少なくとも一方の画像を表示する１または複数の表示工程と、表示工程に表示された画像の一部のみの表示倍率を調整する制御工程と、を含むものである。

【0027】

この場合、撮像工程で撮像された対象物が、２次元または３次元の少なくとも一方で表示される。さらに、制御工程は、操作に応じて画像の表示倍率が調整される。
その結果、細かな部分を大きく表示させることができる。したがって、ユーザは、見にくい細かな画像であっても、操作により表示倍率を調整し、容易に視認することができる。

【図面の簡単な説明】

【0028】

【図1】本実施の形態にかかる電子眼鏡の基本構成の一例を示す模式的外観正面図である。

【図2】電子眼鏡の一例を示す模式的外観斜視図である。

【図3】操作システムの制御ユニットの構成の一例を示す模式図である。

【図4】操作システムにおける処理の流れを示すフローチャートである。

【図5】一対の没入型ディスプレイで表示される画像の一例を示す模式図である。

【図6】赤外線検知ユニットの検知領域と、一対の没入型ディスプレイの仮想表示領域とを説明するための模式的斜視図である。

【図7】図６の上面図である。

【図8】図６の側面図である。

【図9】検知領域における操作領域と、ジェスチャ領域との一例を示す模式図である。

【図10】検知領域における操作領域と、ジェスチャ領域との一例を示す模式図である。

【図11】キャリブレーション処理の説明を行なうためのフローチャートである。

【図12】指認識の一例を示す模式図である。

【図13】指認識の処理の一例を示すフローチャートである。

【図14】掌認識の一例を示す模式図である。

【図15】親指認識の一例を示す模式図である。

【図16】電子眼鏡の没入型ディスプレイの表示の一例を示す模式図である。

【図17】電子眼鏡の没入型ディスプレイの表示の一例を示す模式図である。

【図18】治療時における電子眼鏡の処理の一例を示すフローチャートである。

【図19】図９から図１１において説明した操作領域の他の例を示す模式図である。

【図20】図９から図１１において説明した操作領域の他の例を示す模式図である。

【図21】図９から図１１において説明した操作領域の他の例を示す模式図である。

【図22】図９から図１１において説明した操作領域の他の例を示す模式図である。

【図23】電子眼鏡１００の他の例を示す模式図である。

【発明を実施するための形態】

【0029】

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
また、本発明は、以下に説明する電子眼鏡に限定されるものではなく、他の入出力装置、表示装置、テレビジョン、モニタ、プロジェクタ等にも適用することができる。

【0030】

（電子眼鏡の構成概略）
図１は、本実施の形態にかかる電子眼鏡１００の基本構成の一例を示す模式的外観正面図であり、図２は、電子眼鏡１００の一例を示す模式的外観斜視図である。

【0031】

図１または図２に示すように、電子眼鏡１００は、眼鏡型の表示装置である。当該電子眼鏡１００は、後述するように、ユーザの顔に装着して使用される。

【0032】

図１および図２に示すように、電子眼鏡１００は、主に、眼鏡ユニット２００、通信システム３００および操作システム４００からなる。

【0033】

（眼鏡ユニット２００）
図１および図２に示すように、眼鏡ユニット２００は、眼鏡フレーム２１０、一対の没入型ディスプレイ２２０および一対の表示調整機構６００からなる。眼鏡フレーム２１０は、主にリムユニット２１１、テンプルユニット２１２を含む。
眼鏡フレーム２１０のリムユニット２１１により一対の没入型ディスプレイ２２０が支持される。また、リムユニット２１１には、一対の表示調整機構６００が設けられる。さらに、リムユニット２１１には、赤外線検知ユニット４１０およびユニット調整機構５００が設けられる。ユニット調整機構５００の詳細については後述する。
一対の表示調整機構６００は、後述するように一対の没入型ディスプレイ２２０の角度および位置を調整することができる。一対の表示調整機構６００の詳細については、後述する。

【0034】

本実施の形態においては、電子眼鏡１００には、リムユニット２１１の一対の表示調整機構６００に一対の没入型ディスプレイ２２０を設けることとしているが、これに限定されず、電子眼鏡１００のリムユニット２１１の一対の表示調整機構６００に通常のサングラスレンズ、紫外線カットレンズ、または眼鏡レンズなどのレンズ類を設け、別に１個の没入型ディスプレイ２２０または一対の没入型ディスプレイ２２０を設けてもよい。

【0035】

また、当該レンズ類の一部に、没入型ディスプレイ２２０を埋め込んで設けてもよい。
また、一対の表示調整機構６００を没入型ディスプレイ２２０の側部に設けているが、これに限定されず、没入型ディスプレイ２２０の周囲または内部に設けてもよい。

【0036】

さらに、本実施の形態は、眼鏡タイプに限定するものではなく、人体に装着し、装着者の視野に配設できるタイプであれば、帽子タイプその他任意のヘッドマウントディスプレイ装置に使用することができる。
さらに、本実施の形態においては、眼鏡形状の電子眼鏡１００を例示したが、これに限定されず、１個または１対の鏡筒状の部材内に電子眼鏡１００の機能を含めて形成してもよい。また、当該鏡筒状の部材は、取り外し可能であってもよい。

【0037】

（通信システム３００）
次に、通信システム３００について説明を行なう。
通信システム３００は、バッテリーユニット３０１、アンテナモジュール３０２、カメラユニット３０３、スピーカユニット３０４、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）ユニット３０７、マイクユニット３０８、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）ユニット３０９およびメインユニット３１０を含む。

【0038】

なお、カメラユニット３０３にはＣＣＤセンサが備えられてもよい。スピーカユニット３０４は、ノーマルイヤホンであってもよいし、骨伝導イヤホンであってもよい。ＳＩＭユニット３０９には、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ：近距離無線通信）ユニットおよび他の接触式ＩＣカードユニット、ならびに非接触式ＩＣカードユニットを含んでもよい。
また、マイクユニット３０８は、音声マイクのみならず、骨伝導マイクであってもよく、両者を含んでもよい。さらに、マイクユニット３０８は、電子眼鏡１００から取り外し可能に設けられていてもよい。

【0039】

以上のように、本実施の形態にかかる通信システム３００は、少なくとも携帯電話、スマートフォンおよびタブレット端末のいずれかの機能を含むものである。具体的には、電話機能、インターネット機能、ブラウザ機能、メール機能、および撮像機能（録画機能を含む）等を含むものである。
したがって、ユーザは、電子眼鏡１００を用いて、通信装置、スピーカおよびマイクにより、携帯電話と同様の通話機能を使用することができる。また、眼鏡型であるので、両手を利用せず、通話を行なうことができる。

【0040】

なお、本実施の形態においては、電話機能、インターネット機能、ブラウザ機能、メール機能、および撮像機能（録画機能を含む）等を含むこととしているが、これに限定されず、通信により外部に当該機能を有する外部機器を有してもよい。

【0041】

また、当該通信機能を用いて、他の電子眼鏡１００の画像を表示させることができる画像共有機能を設けてもよい。すなわち、リアルタイム画像の出力および画像を他の電子眼鏡１００と共有することができる機能を有してもよい。

【0042】

（操作システム４００）
続いて、操作システム４００は、赤外線検知ユニット４１０、ジャイロセンサユニット４２０、加速度検知ユニット４３０および制御ユニット４５０からなる。赤外線検知ユニット４１０は、主に赤外線照射素子４１１および赤外線検知カメラ４１２からなる。

【0043】

なお、本実施の形態においては、赤外線照射素子４１１および赤外線検知カメラ４１２からなることとしているが、これに限定されず、近赤外線照射素子および近赤外線検知カメラを設けてもよい。
さらに、その他、近赤外線、赤外線に限定されず、他の周波数の照射素子、他の周波数の検知カメラを設けてもよく、また、特定の波長設定が可能な照射素子、特定の波長設定が可能な検知カメラを設けてもよい。

【0044】

（ユニット調整機構５００）
図２に示すように、ユニット調整機構５００は、赤外線検知ユニット４１０の角度を調整することができる。具体的には、ユニット調整機構５００は、矢印Ｖ５の水平軸周り、および、矢印Ｈ５の垂直軸周り、に赤外線検知ユニット４１０の角度を調整可能な構造である。

【0045】

ユニット調整機構５００は、制御ユニット４５０からの指示により赤外線検知ユニット４１０を矢印Ｖ５および矢印Ｈ５の方向に移動調整する。
例えば、制御ユニット４５０により所定のジェスチャを認識した場合に、ユニット調整機構５００を所定の角度で動作させてもよい。その場合、ユーザは、所定のジェスチャを行うことにより赤外線検知ユニット４１０の角度の調整を行うことができる。

【0046】

なお、本実施の形態においては制御ユニット４５０によりユニット調整機構５００が動作することとしているが、これに限定されず、手動により図１の調整部５２０を操作して、矢印Ｖ５の方向および矢印Ｈ５の方向に移動調整できることとしてもよい。

【0047】

続いて、操作システム４００の構成、処理の流れおよび概念について説明を行なう。図３は、操作システム４００の制御ユニット４５０の構成の一例を示す模式図である。

【0048】

図３に示すように、制御ユニット４５０は、イメージセンサ演算ユニット４５１、デプスマップ演算ユニット４５２、イメージ処理ユニット４５３、解剖学的認識ユニット４５４、ジェスチャデータ記録ユニット４５５、ジェスチャ識別ユニット４５６、キャリブレーションデータ記録ユニット４５７、合成演算ユニット４５８、アプリケーションソフトユニット４５９、イベントサービスユニット４６０、キャリブレーションサービスユニット４６１、表示サービスユニット４６２、グラフィック演算ユニット４６３、ディスプレイ演算ユニット４６４、６軸駆動ドライバユニット４６５、赤外線照射ユニット４６６、赤外線撮影ユニット４６７、音声認識ユニット４６８、および骨伝導装置ユニット４６９を含む。

【0049】

なお、制御ユニット４５０は、上記の全てを含む必要はなく、適宜必要な１または複数のユニットを含んでもよい。例えば、ジェスチャデータ記録ユニット４５５およびキャリブレーションデータ記録ユニット４５７は、クラウド上に配置してもよく、合成演算ユニット４５８を特に設けなくてもよい。

【0050】

次に、図４は、操作システム４００における処理の流れを示すフローチャートであり、図５は一対の没入型ディスプレイで表示される画像の一例を示す模式図である。

【0051】

まず、図４に示すように、赤外線検知ユニット４１０から対象のデータを取得し、デプスマップ演算ユニット４５２により深さ演算を行なう（ステップＳ１）。次に、イメージ処理ユニット４５３により外形イメージデータを処理する（ステップＳ２）。

【0052】

次いで、解剖学的認識ユニット４５４により、標準的な人体の構造に基づき、ステップＳ２において処理された外形イメージデータから、解剖学的特徴を識別する。これにより、人体の手または腕、指などの外形が認識される（ステップＳ３）。

【0053】

さらに、ジェスチャ識別ユニット４５６により、ステップＳ３で得た解剖学的特徴に基づいてジェスチャを識別する（ステップＳ４）。
ジェスチャ識別ユニット４５６は、ジェスチャデータ記録ユニット４５５に記録されたジェスチャデータを参照し、解剖学的特徴が識別された外形からジェスチャの識別を行なう。なお、ジェスチャ識別ユニット４５６は、ジェスチャデータ記録ユニット４５５からのジェスチャデータを参照することとしているが、参照することに限定されず、他の任意のデータを参照してもよく、全く参照することなく処理してもよい。
以上の処理により、図５（ａ）に示すように、手Ｈ１のジェスチャを認識する。

【0054】

続いて、アプリケーションソフトユニット４５９およびイベントサービスユニット４６０は、ジェスチャ識別ユニット４５６により判定されたジェスチャに応じて所定のイベントを実施する（ステップＳ５）。
例えば、上述した図５（ａ）の手Ｈ１を認識した後の一部の画像ＺＭの領域部分（図中点線）の設定である。
その他、図５（ｂ）に示すように、決定された一部の画像ＺＭが、ジェスチャに応じて拡大または縮小して表示される。具体的には、図５（ａ）と比較して、図５（ｂ）では、植物が拡大して表示されている。

【0055】

最後に、表示サービスユニット４６２、キャリブレーションサービスユニット４６１、グラフィック演算ユニット４６３、ディスプレイ演算ユニット４６４および合成演算ユニット４５８により、没入型ディスプレイ２２０に、図５（ａ）に示したように、画像ＺＭの周囲の画像領域ＯＺＭにおいて、ジェスチャを示す手Ｈ１の外郭を示す表示が行われる。また、ステップＳ５の処理の後、イメージ仮想表示が行われる（ステップＳ６）。
その他、ステップＳ５の処理に応じて、後述する３次元立体モデルＤＤ等の表示が行なわれる。

【0056】

なお、６軸駆動ドライバユニット４６５は、常にジャイロセンサユニット４２０、加速度検知ユニット４３０からの信号を検知し、ディスプレイ演算ユニット４６４に姿勢状況を伝達する。

【0057】

電子眼鏡１００を装着したユーザが電子眼鏡１００を傾斜させた場合には、６軸駆動ドライバユニット４６５は、常にジャイロセンサユニット４２０、加速度検知ユニット４３０からの信号を受信し、イメージの表示の制御を行なう。当該制御においては、イメージの表示を水平に維持させてもよいし、イメージの表示を傾斜にあわせて調整してもよい。
また、６軸駆動ドライバユニット４６５は、画像ＺＭのぶれ抑制を行う。すなわち、画像ＺＭ内で縮小した画像表示の場合には、ぶれ補正の効果が、大きく必要ではないが、画像ＺＭ内で拡大した画像表示の場合には、ぶれ補正を行わないと、常に画像ＺＭが揺れて表示されるため、ユーザにとって不快感が生じる問題となるからである。

【0058】

（検知領域と仮想表示領域との一例）
次に、操作システム４００の赤外線検知ユニット４１０の検知領域と、一対の没入型ディスプレイ２２０の仮想表示領域との関係について説明を行なう。
図６は、赤外線検知ユニット４１０の検知領域と、一対の没入型ディスプレイ２２０の仮想表示領域とを説明するための模式的斜視図であり、図７は図６の上面図であり、図８は、図６の側面図である。

【0059】

以下において、説明の便宜上、図６に示すように、ｘ軸、ｙ軸およびｚ軸からなる三次元直交座標系が定義される。以下の図におけるｘ軸の矢印は、水平方向を指す。ｙ軸の矢印は、鉛直方向またはユーザの体の長軸方向を指す。ｚ軸の矢印は、深度方向を指す。ｚ軸正方向は、より大きい深度の方向を指す。それぞれの矢印の向きは、他の図においても同じである。

【0060】

図６から図８に示すように、電子眼鏡１００は操作システム４００の赤外線検知ユニット４１０により検知可能な三次元空間検知領域（３Ｄスペース）４１０３Ｄを有する。
三次元空間検知領域４１０３Ｄは、赤外線検知ユニット４１０からの円錐状または角錐状の三次元空間からなる。

【0061】

すなわち、赤外線検知ユニット４１０は、赤外線照射素子４１１から、照射された赤外線を、赤外線検知カメラ４１２により検知できるので、三次元空間検知領域４１０３Ｄ内のジェスチャを認識することができる。
また、本実施の形態においては、赤外線検知ユニット４１０を１個設けることとしているが、これに限定されず、赤外線検知ユニット４１０を複数個設けてもよいし、赤外線照射素子４１１を１個、赤外線検知カメラ４１２を複数個設けてもよい。

【0062】

続いて、図６から図８に示すように一対の没入型ディスプレイ２２０は、ユーザに、実際に設けられた電子眼鏡１００の部分ではなく、電子眼鏡１００から離れた場所となる仮想イメージ表示領域２２０３Ｄに、奥行きを持って仮想表示されたものとして視認させる。当該奥行きは、仮想イメージ表示領域２２０３Ｄが有する仮想立体形状の深度方向（ｚ軸方向）の厚みに対応する。したがって、当該仮想立体形状の深度方向（ｚ軸方向）の厚みに応じて奥行きが設けられる。
すなわち、実際には電子眼鏡１００の没入型ディスプレイ２２０に表示されるものの、ユーザは、右目のイメージは右目側の没入型ディスプレイ２２０により三次元空間領域２２０３ＤＲで認識し、左目のイメージは左目側の没入型ディスプレイ２２０により三次元空間領域２２０３ＤＬで認識する。その結果、認識された両イメージがユーザの脳内で合成されることにより、仮想イメージ表示領域２２０３Ｄで仮想イメージとして認識することができる。

【0063】

また、仮想イメージ表示領域２２０３Ｄは、フレーム・シーケンシャル方式、偏光方式、直線偏光方式、円偏光方式、トップ・アンド・ボトム方式、サイド・バイ・サイド方式、アナグリフ方式、レンチキュラ方式、パララックス・バリア方式、液晶パララックス・バリア方式、２視差方式および３視差以上を利用する多視差方式のいずれかを利用して表示されてもよい。

【0064】

また、本実施の形態においては、仮想イメージ表示領域２２０３Ｄは、三次元空間検知領域４１０３Ｄと共有する空間領域を有する。特に、図６および図７に示すように、三次元空間検知領域４１０３Ｄの内部に、仮想イメージ表示領域２２０３Ｄが存在するため、仮想イメージ表示領域２２０３Ｄが共有領域となる。

【0065】

なお、仮想イメージ表示領域２２０３Ｄの形状およびサイズについては、一対の没入型ディスプレイ２２０への表示方法により任意に調整することができる。
また、図８に示すように、一対の没入型ディスプレイ２２０よりも赤外線検知ユニット４１０が上方（ｙ軸正方向）に配設されている場合について説明しているが、鉛直方向（ｙ軸方向）に対して、赤外線検知ユニット４１０の配設位置が没入型ディスプレイ２２０よりも下方（ｙ軸負方向）または没入型ディスプレイ２２０と同位置であっても、同様に、仮想イメージ表示領域２２０３Ｄは、三次元空間検知領域４１０３Ｄと共有する空間領域を有する。

【0066】

（操作領域とジェスチャ領域）
続いて、検知領域における操作領域とジェスチャ領域とについて説明する。図９および図１０は、検知領域における操作領域と、ジェスチャ領域との一例を示す模式図である。

【0067】

まず、図９に示すように、一般的に、ユーザは、右肩関節ＲＰおよび左肩関節ＬＰの両肩関節を回転中心として両手を水平移動させるため、両手の移動できる領域は、点線で囲まれた移動領域Ｌおよび移動領域Ｒとなる。

【0068】

また、図１０に示すように、一般的に、ユーザは、右肩関節ＲＰおよび左肩関節ＬＰの両肩関節を回転中心として両手を鉛直移動させるため、両手の移動できる領域は、点線で囲まれた移動領域Ｌおよび移動領域Ｒとなる。

【0069】

すなわち、図９および図１０に示すように、ユーザは、両手を右肩関節ＲＰおよび左肩関節ＬＰをそれぞれ回転中心とした欠球状（深度方向に凸のアーチ状曲面を有する）の立体空間内で移動させることができる。

【0070】

次に、赤外線検知ユニット４１０による三次元空間検知領域４１０３Ｄと、仮想イメージ表示領域が存在しうる領域（図９では仮想イメージ表示領域２２０３Ｄを例示）と、腕の移動領域Ｌおよび移動領域Ｒを合わせた領域との全てが重なる空間領域を、操作領域４１０ｃとして設定する。
また、三次元空間検知領域４１０３Ｄ内における操作領域４１０ｃ以外の部分で、かつ腕の移動領域Ｌおよび移動領域Ｒを合わせた領域と重なる部分をジェスチャ領域４１０ｇとして設定する。

【0071】

ここで、操作領域４１０ｃが、深度方向に最も遠い面が深度方向（ｚ軸正方向）に凸のアーチ状に湾曲した曲面である立体形状を有することに対し、仮想イメージ表示領域２２０３Ｄは、深度方向に最も遠い面が平面である立体形状を有する。このように両領域の間で当該面の形状が異なることに起因し、ユーザは、当該操作において体感的に違和感を覚える。当該違和感を取り除くためにキャリブレーション処理で調整を行なう。また、キャリブレーション処理の詳細については、後述する。

【0072】

（キャリブレーションの説明）
次いで、キャリブレーション処理について説明を行なう。図１１は、キャリブレーション処理の説明を行なうためのフローチャートである。

【0073】

図９および図１０に示したように、ユーザが仮想イメージ表示領域２２０３Ｄに沿って手を動かそうとすると、補助のない平面に沿って動作させる必要がある。したがって、後述する認識処理により仮想イメージ表示領域２２０３Ｄにおいて、操作をし易くするためにキャリブレーション処理を行なう。
また、キャリブレーション処理には、ユーザの個々で異なる指の長さ、手の長さ、腕の長さの調整も行なう。

【0074】

以下、図１１を用いて説明を行なう。まず、ユーザが、電子眼鏡１００を装着し、両腕を最大限に伸張する。その結果、赤外線検知ユニット４１０が、操作領域４１０ｃの最大領域を認識する（ステップＳ１１）。
すなわち、ユーザによりユーザの個々で異なる指の長さ、手の長さ、腕の長さが異なるので、操作領域４１０ｃの調整を行なうものである。

【0075】

次に、電子眼鏡１００においては、仮想イメージ表示領域２２０３Ｄの表示位置を決定する（ステップＳ１２）。すなわち、仮想イメージ表示領域２２０３Ｄを操作領域４１０ｃの外側に配置するとユーザによる操作が不可能となるため、操作領域４１０ｃの内部に配置する。

【0076】

続いて、電子眼鏡１００の赤外線検知ユニット４１０の三次元空間検知領域４１０３Ｄ内で、かつ仮想イメージ表示領域２２０３Ｄの表示位置と重ならない位置に、ジェスチャ領域４１０ｇの最大領域を設定する（ステップＳ１３）。
なお、ジェスチャ領域４１０ｇは、仮想イメージ表示領域２２０３Ｄと重ならないように配置しかつ深さ方向（ｚ軸正方向）に厚みを持たせることが好ましい。

【0077】

本実施の形態においては、以上の手法により、操作領域４１０ｃ、仮想イメージ表示領域２２０３Ｄ、ジェスチャ領域４１０ｇが設定される。

【0078】

続いて、操作領域４１０ｃ内における仮想イメージ表示領域２２０３Ｄのキャリブレーションについて説明する。

【0079】

操作領域４１０ｃ内の仮想イメージ表示領域２２０３Ｄの外部周囲にユーザの指、手、または腕が存在すると判定された場合に、あたかも仮想イメージ表示領域２２０３Ｄの内部に存在するように、丸め込みを行なう（ステップＳ１４）。

【0080】

図９および図１０に示すように、没入型ディスプレイ２２０により仮想表示されたイメージの中央部近辺では、両腕を最大限に伸ばした状態にすると、両手先が仮想イメージ表示領域２２０３Ｄ内に留まることなく深さ方向（ｚ軸正方向）の外部へ外れてしまう。また、仮想表示されたイメージの端部においては、両腕を最大限に伸ばさない限り、両手先が仮想イメージ表示領域２２０３Ｄ内に存在すると判定されない。
そのため、赤外線検知ユニット４１０からの信号を無処理のまま使用すると、ユーザは、手先が仮想イメージ表示領域２２０３Ｄから外れたとしても、そのような状態であることを体感しにくい。

【0081】

したがって、本実施の形態におけるステップＳ１４の処理においては、仮想イメージ表示領域２２０３Ｄから外部へ突き出た手先が、仮想イメージ表示領域２２０３Ｄ内にあるものとして補正すべく、赤外線検知ユニット４１０からの信号を処理する。
その結果、ユーザは、両腕を最大限に伸ばした状態、または少し曲げた状態で、奥行きのある平面状の仮想イメージ表示領域２２０３Ｄ内の中央部から端部まで操作することができる。

【0082】

なお、本実施の形態においては、仮想イメージ表示領域２２０３Ｄを、深度方向に最も遠い面が平面である三次元空間領域からなることとしているが、これに限定されず、深度方向に最も遠い面領域Ｌ，Ｒの深度方向に最も遠い面に沿った形状の曲面である三次元空間領域からなることとしてもよい。
その結果、ユーザは、両腕を最大限に伸ばした状態、または少し曲げた状態で、奥行きのある平面状の仮想イメージ表示領域２２０３Ｄ内の中央部から端部まで操作することができる。

【0083】

さらに、没入型ディスプレイ２２０は、仮想イメージ表示領域２２０３Ｄに矩形状の像を表示させる（ステップＳ１５）。
続いて、没入型ディスプレイ２２０に、像の周囲を指で囲んでくださいと、表示を行なう（ステップＳ１６）。ここで、像の近傍に指の形の像を薄く表示してもよいし、没入型ディスプレイ２２０に表示を行なう代わりにスピーカから音声により指示をユーザに伝えてもよい。

【0084】

ユーザは、指示に従い指を像の見える部分にあわせる。そして、仮想イメージ表示領域２２０３Ｄの表示領域と、赤外線検知ユニット４１０との相関関係が自動調整される（ステップＳ１７）。
なお、上記においては、指で矩形を形作り、そのように定められた矩形と、像の外縁の矩形にあわせる。このことによって、指により定められた矩形の視認サイズおよび位置と像の外縁の矩形の視認サイズ及び位置とを合わせることとした。
しかしながら、指によって形状を定める手法はこれに限定されず、表示された像の外縁を指でなぞる手法、表示された像の外縁上の複数の点を指で指し示す手法等、他の任意の手法であってもよい。また、これらの手法を複数のサイズの像について行ってもよい。

【0085】

なお、上記のキャリブレーション処理の説明においては、電子眼鏡１００の場合についてのみ説明を行ったが、他の入出力装置の場合には、ステップＳ１１の処理において、像を表示させ、ステップＳ１７の処理の当該像と赤外線検知ユニット４１０との相関関係を調整してもよい。

【0086】

（指、掌、腕認識）
次いで、指認識について説明を行い、その後掌認識、腕認識の順で説明を行なう。図１２は、指認識の一例を示す模式図である。図１２において、（Ａ）は指の先端付近の拡大図であり、（Ｂ）は指の根元付近の拡大図である。図１３は、指認識の処理の一例を示すフローチャートである。

【0087】

図１３に示すように、本実施の形態においては、デバイスの初期化を行なう（ステップＳ２１）。次に、赤外線照射素子４１１から照射され、手に反射した赤外線が、赤外線検知カメラ４１２により検出される（ステップＳ２２）。
次に、赤外線検知ユニット４１０により画像データをピクセル単位で距離に置き換える（ステップＳ２３）。この場合、赤外線の明るさは、距離の三乗に反比例する。これを利用し、デプスマップを作成する（ステップＳ２４）。

【0088】

次いで、作成したデプスマップに適切な閾値を設ける。そして、画像データを二値化する（ステップＳ２５）。すなわち、デプスマップのノイズを除去する。
続いて、二値化した画像データから約１００個の頂点を持つポリゴンを作成する（ステップＳ２６）。そして、頂点が滑らかになるようにローパスフィルタ（ＬＰＦ）により、より多くの頂点ｐ_ｎを有する新たな多角形を作成することによって、図１２に示す手の外形ＯＦを抽出する（ステップＳ２７）。
なお、本実施の形態においては、ステップＳ２６において二値化したデータからポリゴンを作成するために抽出する頂点の数を約１００個としているが、これに限定されず、１０００個、その他の任意の個数であってもよい。

【0089】

ステップＳ２７で作成した新たな多角形の頂点ｐ_ｎの集合から、Ｃｏｎｖｅｘ Ｈｕｌｌを用いて、凸包を抽出する（ステップＳ２８）。
その後、ステップＳ２７で作成された新たな多角形と、ステップＳ２８で作成された凸包との共有の頂点ｐ_０を抽出する（ステップＳ２９）。このように抽出された共有の頂点ｐ_０自体を指の先端点として用いることができる。
さらに、頂点ｐ_０の位置に基づいて算出される他の点を指の先端点として用いてもよい。例えば、図１２（Ａ）に示すように頂点ｐ_０における外形ＯＦの内接円の中心を先端点Ｐ０として算出することもできる。

【0090】

そして、図１２に示すように、頂点ｐ_０に隣接する左右一対の頂点ｐ_１を通る基準線分ＰＰ_１のベクトルを算出する。その後、頂点ｐ_１と、隣接する頂点ｐ_２とを結ぶ辺ｐｐ_２を選択し、そのベクトルを算出する。同様に、外形ＯＦを構成する頂点ｐ_ｎを用い、辺のベクトルを求める処理を外形ＯＦの外周に沿って繰り返す。各辺の向きと基準線分ＰＰ_１の向きとを調べ、基準線分ＰＰ_１と平行に近くなる辺ｐｐ_ｋが指の股の位置に存在すると判定する。そして、辺ｐｐ_ｋの位置に基づき、指の根元点Ｐ１を算出する（ステップＳ３０）。指の先端点Ｐ０と指の根元点Ｐ１とを直線で結ぶことで、指のスケルトンが得られる（ステップＳ３１）。指のスケルトンを得ることで、指の延在方向を認識することができる。
全ての指について同様の処理を行なうことで、全ての指のスケルトンを得る。これにより、手のポーズを認識することができる。すなわち、親指、人差し指、中指、薬指、小指のいずれの指が広げられ、いずれの指が握られているかを認識することができる。

【0091】

続いて、直前に実施した数フレームの画像データと比較して、手のポーズの違いを検知する（ステップＳ３２）。すなわち、直前の数フレームの画像データと比較することにより、手の動きを認識することができる。

【0092】

次いで、認識した手の形状を、ジェスチャデータとしてイベントサービスユニット４６０へイベント配送する（ステップＳ３３）。

【0093】

次いで、アプリケーションソフトユニット４５９によりイベントに応じた振る舞いを実施する（ステップＳ３４）。

【0094】

続いて、表示サービスユニット４６２により、三次元空間に描画を要求する（ステップＳ３５）。
グラフィック演算ユニット４６３は、キャリブレーションサービスユニット４６１を用いてキャリブレーションデータ記録ユニット４５７を参照し、表示の補正を行なう（ステップＳ３６）。
最後に、ディスプレイ演算ユニット４６４により没入型ディスプレイ２２０に表示を行なう（ステップＳ３７）。

【0095】

なお、本実施の形態においては、ステップＳ３０の処理およびステップＳ３１の処理により指の根元点を検出したが、根元点の検出方法はこれに限定されない。例えば、まず、頂点ｐ_０の一方の側と他方の側において隣接する一対の頂点ｐ_１を結ぶ基準線分ＰＰ_１の長さを算出する。
次に、当該一方の側と他方の側における一対の頂点ｐ_２間を結ぶ線分の長さを算出する。同様に、当該一方の側と他方の側における一対の頂点間を結ぶ線分の長さを、頂点ｐ_０により近い位置にある頂点からより遠い位置にある頂点への順で算出していく。

【0096】

このような線分は、外形ＯＦ内で交わることなく、互いにおおよそ平行となる。当該線分の両端の頂点が指の部分にある場合は、線分の長さは指の幅に相当するため、その変化量は小さい。一方、線分の両端の頂点の少なくともいずれかが指の股の部分に達した場合は、当該長さの変化量が大きくなる。
したがって、当該長さの変化量が所定量を超えずかつ頂点ｐ_０から最も遠い線分を検知し、検知された線分上の１点を抽出することによって、根元点を決定することができる。

【0097】

（掌認識）
次いで、図１４は、掌認識の一例を示す模式図である。

【0098】

図１４に示すように、指認識を実施した後、画像データの外形ＯＦに内接する最大内接円Ｃを抽出する。当該最大内接円Ｃの位置が、掌の位置として認識できる。

【0099】

次いで、図１５は、親指認識の一例を示す模式図である。

【0100】

図１５に示すように、親指は、人差し指、中指、薬指、および小指の他の４指とは異なる特徴を有する。例えば、掌の位置を示す最大内接円Ｃの中心と各指の根元点Ｐ１とを結ぶ直線が相互になす角度θ１，θ２，θ３，θ４のうち、親指が関与するθ１が最も大きい傾向にある。
また、各指の先端点Ｐ０と各指の根元点Ｐ１とを結んだ直線が相互になす角度θ１１，θ１２，θ１３，θ１４のうち、親指が関与するθ１１が最も大きい傾向にある。このような傾向に基づき親指の判定を行なう。その結果、右手か左手か、または掌の表か裏かを判定することができる。

【0101】

（腕認識）
次いで、腕認識について説明を行なう。本実施の形態において、腕認識は、指、掌および親指のいずれかを認識した後に実施する。なお、腕認識は、指、掌および親指のいずれかを認識する前、またはそれらの少なくともいずれかと同時に実施してもよい。

【0102】

本実施の形態においては、画像データの手の形のポリゴンよりも大きな領域でポリゴンを抽出する。例えば、長さ５ｃｍ以上１００ｃｍ以下の範囲、より好ましくは、１０ｃｍ以上４０ｃｍ以下の範囲で、ステップＳ２１からＳ２７の処理を実施し、外形を抽出する。
その後、抽出した外形に外接する四角枠を選定する。本実施の形態においては、当該四角枠は、平行四辺形または長方形からなる。
この場合、平行四辺形または長方形は、対向する長辺を有するので、長辺の延在方向から腕の延在方向を認識することができ、長辺の向きから腕の向きを判定することが出来る。なお、ステップＳ３２の処理と同様に、直前の数フレームの画像データと比較して、腕の動きを検知させてもよい。

【0103】

なお、上記の説明においては、２次元像から指、掌、親指、腕を検出することとしているが、上記に限定されず、赤外線検知ユニット４１０をさらに増設してもよく、赤外線検知カメラ４１２のみをさらに増設し、２次元像から、３次元像を認識させてもよい。その結果、さらに認識確度を高めることができる。

【0104】

（没入型ディスプレイの表示例）
次に、図１６、１７は、電子眼鏡１００の没入型ディスプレイ２２０の表示の一例を示す模式図であり、図１８は、手術時における電子眼鏡１００の処理の一例を示すフローチャートである。以下、電子眼鏡１００を手術時に使用する場合について説明する。

【0105】

まず、図１８に示すように、制御ユニット４５０は、ユーザの手Ｈ１を認識し、表示された画像の一部領域を決定する。具体的には、図５（ａ）に示した画像ＺＭの周囲の点線枠を決定する（ステップＳ５１）。
続いて、制御ユニット４５０は、ユーザの手Ｈ１のジェスチャを認識し、画像ＺＭを拡大または縮小する（ステップＳ５２）。具体的には、図５（ａ）に示した画像ＺＭを図５(ｂ)に示した画像ＺＭのように、拡大表示させる。本実施の形態においては、図５（ｂ）に示したように、ユーザの手Ｈ１を矢印ＸＹの方向へ移動することにより、当該一部の画像ＺＭを拡大することができる。なお、この場合、当該一部の画像ＺＭの周囲の画像領域については、拡大処理が行われない。
さらに、ユーザの手Ｈ１を矢印ＸＹの方向と逆方向へ移動させることにより、当該一部の画像ＺＭを縮小することができる。

【0106】

次に、制御ユニット４５０は、画像ＺＭに対してぶれ抑制処理を行う（ステップＳ５３）。本実施の形態においては、当該処理は、自動的に実施される。なお、本実施の形態においては、自動的に実施されることとしているが、これに限定されず、所定のジェスチャにより処理が開始されてもよい。

【0107】

続いて、制御ユニット４５０は、手Ｈ１のジェスチャにより、特定の周波数フィルタ処理を行う（ステップＳ５４）。具体的には、図１６に示すように、ユーザが手Ｈ１で所定のジェスチャを行うことにより、赤外線撮影ユニット４６７および赤外線照射ユニット４６６が機能を開始する。その結果、ユーザは、手術時に明確に表示された血管Ｂｄ等を容易に認識できるようになる。
次いで、制御ユニット４５０は、手Ｈ１のジェスチャにより、画像ＺＭの周囲の画像領域ＯＺＭに３次元立体モデルＤＤを表示する（ステップＳ５５）。具体的には、図１７に示すように、当該一部の画像ＺＭの周囲の画像領域ＯＺＭに、当該３次元立体モデルＤＤを表示させる。３次元立体モデルＤＤは、当該ジェスチャにより、鉛直軸周りに回転させたり、水平軸周りに回転させたりすることができることが好ましい。
なお、３次元立体モデルＤＤは、手術または治療における試作モデルまたはシミュレーションモデルを表示させることが望ましい。その結果、ユーザは、安心して手術または治療を行うことができる。特に、３次元立体モデルＤＤが、手術または治療のガイドとして機能させることができる。

【0108】

なお、上記の例においては、全ての処理をユーザの手Ｈ１のジェスチャにより機能させる、例えば、ステップＳ５１からＳ５５の処理を行うこととしているが、これに限定されず、音声認識ユニット４６８、または骨伝導装置ユニット４６９、図示していないフットペダル等、任意の装置により機能させてもよい。

【0109】

（操作領域４１０ｃの詳細）
図１９から図２２は、図９から図１１において説明した操作領域４１０ｃの他の例を示す模式図である。
図１９および図２０は、ユーザを上方から視認した状態を示す模式図であり、図２１および図２２は、ユーザを側方から視認した状態を示す模式図である。

【0110】

図１９は、ユーザは、腕ａｒｍ１、腕ａｒｍ２および手Ｈ１を伸ばし切った場合を示し、この場合の手Ｈ１は、右肩関節ＲＰを中心に移動軌跡ＲＬ１を通過する。この場合、移動軌跡ＲＬ１の曲率半径はｒａｄ１である。

【0111】

一方、図２０は、ユーザは、腕ａｒｍ１および腕ａｒｍ２を屈曲させた場合を示し、この場合の手Ｈ１は、移動軌跡ＲＬ２を通過する。
すなわち、図２０においては、ユーザが水平方向に手Ｈ１を移動させようとしているが、直線に近い移動軌跡ＲＬ２を通ることとなる。この場合、移動軌跡ＲＬ２の曲率半径はｒａｄ２である。ここで、人間工学に基づいて、当然のことながら、曲率半径ｒａｄ１は、曲率半径ｒａｄ２よりも小さい値となる。

【0112】

この場合、制御ユニット４５０は、赤外線ユニット４１０から移動軌跡ＲＬ１を検知した場合でも、直線移動であるとキャリブレーションする。同様に、制御ユニット４５０は、移動軌跡ＲＬ２を検知した場合でも、直線移動であるとキャリブレーションする。

【0113】

次いで、図２１は、ユーザは、腕ａｒｍ１、腕ａｒｍ２および手Ｈ１を伸ばし切った場合を示し、この場合の手Ｈ１は、右肩関節ＲＰを中心に移動軌跡ＲＬ３を通過する。この場合、移動軌跡ＲＬ３の曲率半径はｒａｄ３である。

【0114】

一方、図２２に示すように、ユーザは、腕ａｒｍ１および腕ａｒｍ２を屈曲させた場合を示し、この場合の手Ｈ１は、移動軌跡ＲＬ４を通過する。
すなわち、図２２においては、ユーザが鉛直方向に手Ｈ１を移動させようとしているが、直線に近い移動軌跡ＲＬ４を通ることとなる。この場合、移動軌跡ＲＬ４の曲率半径はｒａｄ４である。ここで、人間工学に基づいて、当然のことながら、曲率半径ｒａｄ３は、曲率半径ｒａｄ４よりも小さい値となる。

【0115】

この場合、制御ユニット４５０は、赤外線ユニット４１０から移動軌跡ＲＬ３を検知した場合でも、直線移動であるとキャリブレーションする。同様に、制御ユニット４５０は、移動軌跡ＲＬ４を検知した場合でも、直線移動であるとキャリブレーションする。

【0116】

以上のように、図１９から図２２においては、一方の腕の場合について説明したが、他方の腕の場合も同じように、キャリブレーションが実施され、両腕の場合も複数のキャリブレーションが同時に行われる。

【0117】

また、移動軌跡ＲＬ１および移動軌跡ＲＬ２の間を通る任意の軌跡に対して、キャリブレーションを実施してもよい。同様に、移動軌跡ＲＬ３および移動軌跡ＲＬ４の間を通る任意の軌跡に対して、キャリブレーションを実施してもよい。

【0118】

その結果、人間工学に基づいて、ユーザが直線に手Ｈ１を移動させる軌跡が湾曲していても、制御ユニット４５０によりキャリブレーションされて認識されるとともに、一対の光透過ディスプレイ２２０には、直線で表示されるとともに、直線で移動した軌跡で表示される。

【0119】

次に、図２３は、電子眼鏡１００の他の例を示す模式図である。

【0120】

図２３に示すように、電子眼鏡１００ａは、図１および図２と異なり、鏡筒部６１０を有する。鏡筒部６１０は、内部に光学ズーム機能を有する。また、鏡筒部６１０は、ヒンジ部を有しており、電子眼鏡１００ａの上方に跳ね上げることができる。また、電子眼鏡１００ａの鏡筒部６１０の内部には、一対の没入型ディスプレイ２２０ａが配設されている。
電子眼鏡１００ａは、上述した図１および図２の電子眼鏡１００と同様の機能および表示を有する。

【0121】

また、電子眼鏡１００ａは、外部のフットペダル６９０を有する。また、図示しないが、外部のダイヤル機能を含んでもよい。

【0122】

さらに、電子眼鏡１００ａは、外部出力端子６９８を有してもよい。当該外部出力端子６９８は、外部の録画装置６９９と接続されてもよい。

【0123】

また、図２３における電子眼鏡１００ａは、通信システム３００、操作システム４００、および鏡筒部６１０のみ取り外し可能であってもよく、通常の眼鏡に取り付け可能であってもよい。

【0124】

以上のように、本発明に係る電子眼鏡１００は、カメラユニット３０３により対象物が撮像され、没入型ディスプレイ２２０に２次元および３次元の少なくとも一方の画像が表示される。また、制御ユニット４５０は、画像ＺＭのみの表示倍率を調整することができる。その結果、画像ＺＭのみの倍率を拡大または縮小させることができるため、ユーザは、細かな部分または全体部分を容易に認識することができる。

【0125】

また、画像ＺＭの周囲の表示倍率は、１倍となる。その結果、周囲を確認することにより、全体の特徴を認識することができ、画像ＺＭを確認することにより細かな部分を認識したり、全体を認識したりすることができる。

【0126】

赤外線検知ユニット４１０により人体の一部Ｈ１までの距離が測定され、当該測定結果に応じて没入型ディスプレイ２２０に表示された画像ＺＭの表示倍率が制御ユニット４５０により調整される。

【0127】

また、操作システム４００は、音声認識ユニット４６８および骨伝導装置ユニット４６９の少なくとも一方を含むので、ユーザは、両手が使えない場合でも、声により操作システム４００の操作を行うことができる。また、骨伝導を用いることで、騒がしい環境下、または静かな環境下であっても操作システム４００の操作を行うことができる。
なお、音声認識ユニット４６８および骨伝導装置ユニット４６９は、電子眼鏡１００から取り外しできるよう形成されていてもよい。

【0128】

さらに、赤外線照射ユニット４６６により赤外線を照射しつつ、赤外線撮影ユニット４６７により撮像することができるので、人体の血管を明確に視認することができる。
また、電子眼鏡１００は、容易に携帯可能となる。また、ヘッドマウントディスプレイは小型であるので、汎用性および利便性を高めることができる。

【0129】

なお、電子眼鏡１００は、軽量化の為に、必須な部品および機能のみ装備させ、バッテリ等の重量物をケーブル等で電子眼鏡１００の外側に設けてもよい。

【0130】

本発明においては、電子眼鏡１００が「電子眼鏡」に相当し、カメラユニット３０３が「撮像装置」に相当し、一対の没入型ディスプレイ２２０が「１または複数の表示装置」に相当し、画像ＺＭが「画像の一部」に相当し、制御ユニット４５０が「制御部」に相当し、操作システム４００が「操作部」に相当し、赤外線検知ユニット４１０が「深度センサ」に相当し、手Ｈ１が「人体の一部または前記人体の一部の外郭」に相当し、音声認識ユニット４６８が「音声認識部」に相当し、骨伝導装置ユニット４６９が「骨伝導認識部」に相当し、赤外線照射ユニット４６６が「照射部」に相当し、赤外線撮影ユニット４６７が「赤外線カメラ」に相当し、図１８が「電子眼鏡の制御方法」に相当する。

【0131】

本発明の好ましい一実施の形態は上記の通りであるが、本発明はそれだけに制限されない。本発明の精神と範囲から逸脱することのない様々な実施形態が他になされることは理解されよう。さらに、本実施形態において、本発明の構成による作用および効果を述べているが、これら作用および効果は、一例であり、本発明を限定するものではない。

【符号の説明】

【0132】

１００，１００ａ 電子眼鏡
２２０，２２０ａ 一対の没入型ディスプレイ
３０３ カメラユニット
４００ 操作システム
４１０ 赤外線検知ユニット
４５０ 制御ユニット
４６６ 赤外線照射ユニット
４６７ 赤外線撮影ユニット
４６８ 音声認識ユニット
４６９ 骨伝導装置ユニット
６１０ 鏡筒部
６９０ フットペダル
６９８ 外部出力端子
６９９ 録画装置
Ｈ１ 手
ＺＭ 画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】