ホーム > 特許ランキング > ミラマ サービス インク
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6195894
(24)【登録日】2017年8月25日
(45)【発行日】2017年9月13日
(54)【発明の名称】形状認識装置、形状認識プログラム、および形状認識方法
(51)【国際特許分類】
G06T 7/60 20170101AFI20170904BHJP
【ＦＩ】
G06T7/60 150S
【請求項の数】9
【全頁数】40
(21)【出願番号】特願2015-501082(P2015-501082)
(86)(22)【出願日】2013年7月23日
(86)【国際出願番号】JP2013004485
(87)【国際公開番号】WO2014128788
(87)【国際公開日】20140828
【審査請求日】2015年7月23日
(31)【優先権主張番号】PCT/JP2013/000909
(32)【優先日】2013年2月19日
(33)【優先権主張国】JP
(31)【優先権主張番号】PCT/JP2013/002524
(32)【優先日】2013年4月12日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】517065688
【氏名又は名称】ミラマ サービス インク
(74)【代理人】
【識別番号】110000844
【氏名又は名称】特許業務法人 クレイア特許事務所
(72)【発明者】
【氏名】ルンベリ ヨハネス
【審査官】
板垣 有紀
(56)【参考文献】
【文献】
国際公開第２００７／０８８９３９（ＷＯ，Ａ１）
【文献】
国際公開第２０１２／０２４０２２（ＷＯ，Ａ１）
【文献】
国際公開第２０１１／１４２３１７（ＷＯ，Ａ１）
【文献】
特開２０１２−１６８５９５（ＪＰ，Ａ）
【文献】
特開２００５−０５０２８４（ＪＰ，Ａ）
【文献】
特開平０８−００６７０８（ＪＰ，Ａ）
【文献】
青山 章一郎，非接触型掌紋認証のための掌紋領域抽出アルゴリズムの検討，２０１１年 暗号と情報セキュリティシンポジウム ＳＣＩＳ２０１１ ［ＣＤ−ＲＯＭ］ ２０１１年 暗号と情報セキュリティシンポジウム （ＳＣＩＳ２０１１），２０１１年 １月２８日，pp.1-7
【文献】
井上 快，Ｋｉｎｅｃｔを利用した指文字認識に関する検討，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，２０１３年 １月１８日，第112巻 第417号，pp.45-50
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｔ ７／６０
Ｇ０６Ｔ ７／２０
Ｇ０６Ｆ ３／０１
(57)【特許請求の範囲】
【請求項1】
手の外形を検知する外形検知部と、
検知された前記外形の最大内接円の中心点を基準点として抽出する、基準点抽出部と、
前記基準点と、前記外形上の複数の外形点との距離を計測する距離計測部と、
前記距離に基づいて、前記複数の外形点から前記外形の特徴部を判定する特徴認識部と、を含み、
前記基準点抽出部が、前記基準点を通る前記最大内接円の弦を設定し、前記設定された弦上に所定の間隔で複数の抽出点を設定し、前記抽出点に対応する前記手の表面上の点を対象点として設定し、前記外形検知部による掌の対象点の深度、または指の対象点の深度のばらつきに応じて掌側および背側を判定する、形状認識装置。
検知された前記外形の最大内接円の中心点を基準点として抽出する、基準点抽出部と、
前記基準点と、前記外形上の複数の外形点との距離を計測する距離計測部と、
前記距離に基づいて、前記複数の外形点から前記外形の特徴部を判定する特徴認識部と、を含み、
前記基準点抽出部が、前記基準点を通る前記最大内接円の弦を設定し、前記設定された弦上に所定の間隔で複数の抽出点を設定し、前記抽出点に対応する前記手の表面上の点を対象点として設定し、前記外形検知部による掌の対象点の深度、または指の対象点の深度のばらつきに応じて掌側および背側を判定する、形状認識装置。
【請求項2】
前記外形上の複数の外形点が、前記基準点を中心として所定の角度毎に回転する半直線と前記外形との交点として得られるものである、請求項１に記載の形状認識装置。
【請求項3】
前記外形検知部は、深度センサまたはイメージセンサである、請求項１または２に記載の形状認識装置。
【請求項4】
立体視像を表示可能な表示装置をさらに含み、
前記外形検知部が、前記手までの距離を測定する深度センサを含み、且つ、前記表示装置により生成された立体視像の立体視領域と深度検知領域とが共有する共有領域において、前記手の外形を検知する、請求項１から３のいずれか１項に記載の形状認識装置。
前記外形検知部が、前記手までの距離を測定する深度センサを含み、且つ、前記表示装置により生成された立体視像の立体視領域と深度検知領域とが共有する共有領域において、前記手の外形を検知する、請求項１から３のいずれか１項に記載の形状認識装置。
【請求項5】
請求項１から請求項４のいずれか１項に記載の形状認識装置を有するヘッドマウントディスプレイ装置。
【請求項6】
手の外形を検知する外形検知処理と、
検知された前記外形の最大内接円の中心点を基準点として抽出する、基準点抽出処理と、
前記基準点と、前記外形上の複数の外形点との距離を計測する距離計測処理と、
前記距離に基づいて、前記複数の外形点から前記外形の特徴部を判定する特徴認識処理と、を含み、
前記基準点抽出処理が、前記基準点を通る前記最大内接円の弦を設定し、前記設定された弦上に所定の間隔で複数の抽出点を設定し、前記抽出点に対応する前記手の表面上の点を対象点として設定し、前記外形検知処理による掌の対象点の深度、または指の対象点の深度のばらつきに応じて掌側および背側を判定する、形状認識プログラム。
検知された前記外形の最大内接円の中心点を基準点として抽出する、基準点抽出処理と、
前記基準点と、前記外形上の複数の外形点との距離を計測する距離計測処理と、
前記距離に基づいて、前記複数の外形点から前記外形の特徴部を判定する特徴認識処理と、を含み、
前記基準点抽出処理が、前記基準点を通る前記最大内接円の弦を設定し、前記設定された弦上に所定の間隔で複数の抽出点を設定し、前記抽出点に対応する前記手の表面上の点を対象点として設定し、前記外形検知処理による掌の対象点の深度、または指の対象点の深度のばらつきに応じて掌側および背側を判定する、形状認識プログラム。
【請求項7】
前記外形上の複数の外形点を、前記基準点を中心として所定の角度毎に回転する半直線と前記外形との交点として得る、請求項６に記載の形状認識プログラム。
【請求項8】
手の外形を検知する外形検知工程と、
検知された前記外形の最大内接円の中心点を基準点として抽出する、基準点抽出工程と、
前記基準点と、前記外形上の複数の外形点との距離を計測する距離計測工程と、
前記距離に基づいて、前記複数の外形点から前記外形の特徴部を判定する特徴認識工程と、を含み、
前記基準点抽出工程が、前記基準点を通る前記最大内接円の弦を設定し、前記設定された弦上に所定の間隔で複数の抽出点を設定し、前記抽出点に対応する前記手の表面上の点を対象点として設定し、前記外形検知工程による掌の対象点の深度、または指の対象点の深度のばらつきに応じて掌側および背側を判定する、形状認識方法。
検知された前記外形の最大内接円の中心点を基準点として抽出する、基準点抽出工程と、
前記基準点と、前記外形上の複数の外形点との距離を計測する距離計測工程と、
前記距離に基づいて、前記複数の外形点から前記外形の特徴部を判定する特徴認識工程と、を含み、
前記基準点抽出工程が、前記基準点を通る前記最大内接円の弦を設定し、前記設定された弦上に所定の間隔で複数の抽出点を設定し、前記抽出点に対応する前記手の表面上の点を対象点として設定し、前記外形検知工程による掌の対象点の深度、または指の対象点の深度のばらつきに応じて掌側および背側を判定する、形状認識方法。
【請求項9】
前記外形上の複数の外形点を、前記基準点を中心として所定の角度毎に回転する半直線と前記外形との交点として得る、請求項８に記載の形状認識方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、形状認識装置、形状認識プログラムおよび形状認識方法に関する。特に、本発明は、手のひらまたは手の甲を認識するための形状認識装置、形状認識プログラムおよび形状認識方法に関する。【背景技術】
【0002】
日本国特公平８−３１１４０号公報（特許文献１）には、高速で臨場感のある画像をスクリーン上に表示するようなコンピュータグラフィックス、すなわち高速画像生成表示方法が開示されている。特許文献１に記載の高速画像生成表示方法においては、立体構造をもつ対象を２次元画面に投影して表示する高速画像生成表示方法であって、対象の構成面は、対象座標系において、領域の大きさを少なくとも１つの要素として階層的に記述され、任意の視点から見た時の該対象の構成面を２次元画面へ投影するに際して、表示基準座標系原点または視点から対象座標系で表される該対象の任意の点までの距離を少なくとも１つのパラメータとして階層度を設定することを特徴とする。
【0003】
日本国特開２００４−１２６９０２号公報（特許文献２）には、観測者に負担のない立体視映像を効率よく生成する立体視画像生成方法および立体視画像生成装置が開示されている。特許文献２に記載の立体視画像生成方法は、三次元座標を有するポリゴンで構成されるオブジェクトのうち、平面視表示させるオブジェクトデータを基準カメラを原点とする基準カメラ座標系データに、立体視表示させるオブジェクトのデータを所定の視差角を有する右眼用及び左眼用視差カメラをそれぞれ原点とする右眼用及び左眼用視差カメラ座標系データに変換し、基準カメラ座標系のオブジェクトのデータと、右眼用視差カメラ座標系のオブジェクトのデータを右眼用画像データとして、ビデオメモリに描画し、基準カメラ座標系のオブジェクトのデータと、左眼用視差カメラ座標系のオブジェクトのデータを左眼用画像データとして、ビデオメモリに描画し、ビデオメモリに描画された右眼用画像データと左眼用画像データを合成して、立体視オブジェクトと平面視オブジェクトの混在する画像を立体視表示装置に表示することを特徴とする。
【0004】
日本国特表２０１２−５３３１２０号公報（特許文献３）には、顔認識及びジェスチャ／体位認識技法を使用する方法が開示されている。特許文献３に記載の方法は、ユーザの気質を示す属性を視覚表示に適用するための方法であって、ユーザの視覚表示をレンダリングするステップと、物理的な空間のデータを受信するステップであって、データが、物理的な空間内のユーザを代表しているものと、ユーザの気質を推論するために、少なくとも１つの検出可能な特徴を解析するステップと、ユーザの気質を示す属性を視覚表示に適用するステップと、を含む。
【0005】
日本国特表２０１２−５２８４０５号公報（特許文献４）においては、空間またはジェスチャ計算システムにマルチモード入力を供給するシステムおよび方法が開示されている。特許文献４に記載のシステムは、入力デバイスと、プロセッサに結合され、入力デバイスの方位を検出する検出器と、を備えているシステムであって、入力デバイスが、方位に対応する複数のモード方位を有し、複数のモード方位が、ジェスチャ制御システムの複数の入力モードに対応し、検出器が、ジェスチャ制御システムに結合され、方位に応答して、複数の入力モードからの入力モードの選択を自動的に制御する。
【0006】
日本国特表２０１２−５２１０３９号公報（特許文献５）においては、仮想オブジェクトを操作するためのシステム、方法及びコンピューター読み取り可能な媒体が開示されている。特許文献５に記載の方法は、仮想空間において仮想オブジェクトを操作する方法であって、仮想オブジェクトを操作するためにユーザが利用する少なくとも１つのコントローラーを決定するステップと、コントローラーを仮想空間におけるカーソルにマッピングするステップと、ユーザがカーソルによって仮想オブジェクトを操作することを示すコントローラー入力を決定するステップと、操作の結果を表示するステップとを含む方法。【0007】
日本国特開２０１２−１０６００５号公報（特許文献６）においては、画像表示装置の観察者が、実際には存在しない立体像に対してあたかも直接的に操作を行えるかのような感覚を得ることができる画像表示装置、ゲーム方法、ゲーム制御方法が開示されている。特許文献６に記載の画像表示装置は、表示画面に視差画像を表示する画像表示手段と、視差画像の観察者によって表示画面と観察者との間に認識される立体像の仮想的な空間座標を算出する第１座標算出手段と、観察者の操作対象である操作体の空間座標を算出する第２座標算出手段と、第１座標算出手段によって算出された立体像の少なくとも１点の空間座標と、第２座標算出手段によって算出された操作体の少なくとも１点の空間座標との間の距離が所定の閾値以下になったときに、視差画像、または視差画像以外の表示画面上の画像の少なくとも一方の変化を伴う所定のイベントを発生させるイベント発生手段と、を備える。【先行技術文献】
【特許文献】
【0008】
【特許文献1】日本国特公平８−３１１４０号公報
【特許文献2】日本国特開２００４−１２６９０２号公報
【特許文献3】日本国特表２０１２−５３３１２０号公報
【特許文献4】日本国特表２０１２−５２８４０５号公報
【特許文献5】日本国特表２０１２−５２１０３９号公報
【特許文献6】日本国特開２０１２−１０６００５号公報
【発明の開示】
【発明が解決しようとする課題】
【0009】
本発明の目的は、対象物の外形を識別するためのより正確な情報を得ることができる形状認識装置、形状認識プログラムおよび形状認識方法を提供することにある。【課題を解決するための手段】
【0010】
（１）一局面に従う形状認識装置は、外形検知部と、基準点抽出部と、距離計測部と、特徴認識部とを含む。外形検知部は、手の外形を検知する。基準点抽出部は、検知された外形の最大内接円の中心点を基準点として抽出する。距離計測部は、基準点と、外形上の複数の外形点との距離を計測する。特徴認識部は、計測された距離に基づいて、複数の外形点から外形の特徴部を判定する。
【0011】
これにより、検知対象となる手の指のうち少なくともいずれかが延びている場合、伸びた指先に近くなる程、基準点と外形点との距離が大きくなり、指間に近くなるほど、基準点と外形点との距離が小さくなることに基づいて、指先部分の特徴点および指間部分の特徴点の少なくともいずれかを判定することができる。したがって、手の外形の特徴点を容易に得ることができる。なお、全ての指が屈曲させられている場合、少なくともいずれかの指が伸びている場合と比べ、基準点と外形点との距離のばらつきが小さいことに基づいて、全ての指が屈曲させられていると判定することもできる。【0012】
さらに、指先部分の特徴点を判定する場合、手の外形と手の凸包との重なりを指先部分であると判定する場合と異なり、当該凸包より内側に短い指または屈曲させた指がある場合であっても、正確に指を判定することができる。【0013】
（２）第２の発明に従う形状認識装置においては、外形上の複数点が、外形に沿って所定の間隔で設定される。
【0014】
これにより、複数の外形点は、手の外形に沿って一方向に走査され、且つ、計測された距離は、外形点の走査点数または走査距離に対する量として得ることができる。【0015】
従って、計測された距離が極値を示す場合の走査点数または走査距離における外形点が、手の外形における特徴点であると判断することができる。このうち、当該極値が極大値である場合は指先部分の特徴点を、当該極値が極少値である場合は指間部分の特徴点を判断することができる。
【0016】
（３）第３の発明に従う形状認識装置においては、外形上の複数の外形点が、基準点を中心として所定の角度毎に回転する半直線と、外形との交点として得られる。
【0017】
これにより、複数の外形点は、手の外形に沿って一方向に走査され、且つ、計測された距離は、当該半直線の回転角度に対する量として得ることができる。【0018】
従って、計測された距離が極値を示す場合の回転角度を有する当該半直線と外形との交点が、手の外形における特徴点であると判断することができる。このうち、当該極値が極大値である場合は指先部分の特徴点を、当該極値が極小値である場合は指間部分の特徴点を判断することができる。
【0019】
（４）第４の発明にかかる形状認識装置は、一局面から第３の発明のいずれかにかかる形状認識装置の外形検知部が、深度センサまたはイメージセンサであってもよい。
【0020】
この場合、手まで距離に基づいたイメージング結果または対象の像のイメージ処理よって手の外形を正確に検知することができる。【0021】
（５）第５の発明にかかる形状認識装置は、一局面から第４の発明のいずれかにかかる形状認識装置に、立体視像を表示可能な表示装置をさらに含んだものであってもよい。この場合、外形検知部は、手までの距離を測定する深度センサを含んでもよく、かつ、表示装置により生成された立体視像の立体視領域と深度検知領域とが共有する共有領域において、手の外形を検知してもよい。
【0022】
この場合、共有領域中の立体視像の視認と、当該立体視像の視界中に存在する手の形状認識とを同時に行なうことができる。すなわち、立体視像を表示させつつ、手の形状認識を行なうことができる。【0023】
（６）他の局面にかかるヘッドマウントディスプレイ装置は、一局面から第５の発明のいずれかにかかる形状認識装置を有するものである。
この場合、形状認識装置がヘッドマウントディスプレイ装置に設けられるので、装置を身体に装着した状態で手の形状認識を行うことができる。
また、装置を頭に装着するため、検知される手の外形とユーザが視認できる手の外形とがほぼ同じとなり、表示オブジェクトの操作を行う場合およびジェスチャの登録を行う場合などに、形状認識装置に検知されやすい態様を意識しながら手を検知させることもできる。
【0024】
（７）さらに他の局面に従う形状認識プログラムは、外形検知処理と、基準点抽出処理と、距離計測処理と、特徴認識処理とを含む。外形検知処理は、手の外形を検知する。基準点抽出処理は、検知された外形の最大内接円の中心点を基準点として抽出する。距離計測処理は、基準点と、外形上の複数の外形点との距離を計測する。特徴認識処理は、計測された距離に基づいて、複数の外形点から外形の特徴部を判定する。
【0025】
これにより、検知対象となる手の指のうち少なくともいずれかが延びている場合、伸びた指先に近くなる程、基準点と外形点との距離が大きくなり、指間に近くなるほど、基準点と外形点との距離が小さくなることに基づいて、指先部分の特徴点および指間部分の特徴点の少なくともいずれかを判定することができる。したがって、手の外形の特徴点を容易に得ることができる。なお、全ての指が屈曲させられている場合、少なくともいずれかの指が伸びている場合と比べ、基準点と外形点との距離のばらつきが小さいことに基づいて、全ての指が屈曲させられていると判定することもできる。【0026】
さらに、指先部分の特徴点を判定する場合、手の外形と手の凸包との重なりを指先部分であると判定する場合と異なり、当該凸包より内側に短い指または屈曲させた指がある場合であっても、正確に指を判定することができる。【0027】
（８）第８の発明に従う形状認識プログラムにおいては、外形上の複数点が、外形に沿って所定の間隔で設定される。
【0028】
これにより、複数の外形点は、手の外形に沿って一方向に走査され、且つ、計測された距離は、外形点の走査点数または走査距離に対する量として得ることができる。【0029】
従って、計測された距離が極値を示す場合の走査点数または走査距離における外形点が、手の外形における特徴点であると判断することができる。このうち、当該極値が極大値である場合は指先部分の特徴点を、当該極値が極少値である場合は指間部分の特徴点を判断することができる。
【0030】
（９）第９の発明に従う形状認識プログラムにおいては、外形上の複数の外形点が、基準点を中心として所定の角度毎に回転する半直線と、外形との交点として得られる。
【0031】
これにより、複数の外形点は、手の外形に沿って一方向に走査され、且つ、計測された距離は、当該半直線の回転角度に対する量として得ることができる。【0032】
従って、計測された距離が極値を示す場合の回転角度を有する当該半直線と外形との交点が、手の外形における特徴点であると判断することができる。このうち、当該極値が極大値である場合は指先部分の特徴点を、当該極値が極小値である場合は指間部分の特徴点を判断することができる。
【0033】
（１０）さらに他の局面に従う形状認識方法は、外形検知工程と、基準点抽出工程と、距離計測工程と、特徴認識工程とを含む。外形検知工程は、手の外形を検知する。基準点抽出工程は、検知された外形の最大内接円の中心点を基準点として抽出する。距離計測工程は、基準点と、外形上の複数の外形点との距離を計測する。特徴認識工程は、計測された距離に基づいて、複数の外形点から外形の特徴部を判定する。
【0034】
これにより、検知対象となる手の指のうち少なくともいずれかが延びている場合、伸びた指先に近くなる程、基準点と外形点との距離が大きくなり、指間に近くなるほど、基準点と外形点との距離が小さくなることに基づいて、指先部分の特徴点および指間部分の特徴点の少なくともいずれかを判定することができる。したがって、手の外形の特徴点を容易に得ることができる。なお、全ての指が屈曲させられている場合、少なくともいずれかの指が伸びている場合と比べ、基準点と外形点との距離のばらつきが小さいことに基づいて、全ての指が屈曲させられていると判定することもできる。【0035】
さらに、指先部分の特徴点を判定する場合、手の外形と手の凸包との重なりを指先部分であると判定する場合と異なり、当該凸包より内側に短い指または屈曲させた指がある場合であっても、正確に指を判定することができる。【0036】
（１１）第１１の発明に従う形状認識方法においては、外形上の複数の外形点が、外形に沿って所定の間隔で設定される。
【0037】
これにより、複数の外形点は、手の外形に沿って一方向に走査され、且つ、計測された距離は、外形点の走査点数または走査距離に対する量として得ることができる。【0038】
従って、計測された距離が極値を示す場合の走査点数または走査距離における外形点が、手の外形における特徴点であると判断することができる。このうち、当該極値が極大値である場合は指先部分の特徴点を、当該極値が極小値である場合は指間部分の特徴点を判断することができる。
【0039】
（１２）第１２の発明に従う形状認識方法においては、外形上の複数の外形点が、基準点を中心として所定の角度毎に回転する半直線と、外形との交点として得られる。
【0040】
これにより、複数の外形点は、手の外形に沿って一方向に走査され、且つ、計測された距離は、当該半直線の回転角度に対する量として得ることができる。【0041】
従って、計測された距離が極値を示す場合の回転角度を有する当該半直線と外形との交点が、手の外形における特徴点であると判断することができる。このうち、当該極値が極大値である場合は指先部分の特徴点を、当該極値が極小値である場合は指間部分の特徴点を判断することができる。
【0042】
なお、本明細書においては、指先に近い側を遠位（distal）、体幹に近い側を近位（proximal）、手の平の側を掌側（palmer）、手の甲の側を背側（dorsal）、親指の側を撓側（radial）、小指の側を尺側（ulnar）と記載する。【発明の効果】
【0043】
本発明によると、対象物の外形を識別するためのより正確な情報を得ることができる形状認識装置、形状認識プログラムおよび形状認識方法を提供することができる。【図面の簡単な説明】
【0044】
【図1】眼鏡表示装置１００の基本構成の一例を示す模式的外観正面図である。
【図2】眼鏡表示装置１００の一例を示す模式的外観斜視図である
【図3】操作システム４００の制御ユニット４５０の構成の一例を示す模式図である。
【図4】操作システム４００における処理の流れを示すフローチャートである。
【図6】赤外線検知ユニット４１０の検知領域と、一対の半透過ディスプレイ２２０の仮想表示領域とを説明するための模式的斜視図である。
【図9】検知領域と仮想表示領域との他の例を示す模式図である。
【図10】検知領域と仮想表示領域との他の例を示す模式図である。
【図11】検知領域と仮想表示領域との他の例を示す模式図である。
【図12】検知領域における操作領域とジェスチャ領域との一例を示す模式図である。
【図13】検知領域における操作領域とジェスチャ領域との一例を示す模式図である。
【図14】キャリブレーション処理の説明を行なうためのフローチャートである。
【図15】指認識の一例を示す模式図である。
【図16】指認識の処理の一例を示すフローチャートである。
【図17】指認識の他の例を示す模式図である。
【図19】指認識のさらなる他の例を示す模式図である。
【図20】掌認識の一例を示す模式図である。
【図21】親指認識の一例を示す模式図である。
【図22】認識対象となる握りこぶしの形状の手を掌側（ａ）および背側（ｂ）から視認した場合の模式的外観図である。
【図29】ジェスチャデータの登録処理の一例を示すフローチャートである。
【図30】ジェスチャコマンドの設定処理の一例を示すフローチャートである。
【図31】ジェスチャコマンドの書換え処理の一例を示すフローチャートである。
【図32】眼鏡表示装置１００の半透過ディスプレイ２２０の表示の一例を示す模式図である。
【図33】半透過ディスプレイ２２０の視野の一例（ａ）、および半透明ディスプレイ２２０の表示の一例（ｂ）を示す模式図である。
【図34】イベント発生の一例を示す模式図である。
【図35】イベント発生の他の例を示す模式図である。
【図36】イベント発生の他の例を示す模式図である。
【図37】眼鏡表示装置の操作の一例を示す模式図である。
【図38】眼鏡表示装置の操作の他の一例を示す模式図である。
【図39】ジェスチャ認識の一例を示す模式図である。
【図40】ジェスチャ認識の他の例を示す模式図である。
【図41】ジェスチャ認識の他の例を示す模式図である。
【図42】ジェスチャ認識の他の例を示す模式図である。
【図43】ジェスチャ認識の他の例を示す模式図である。
【図44】ジェスチャ認識の他の例を示す模式図である。
【図45】ジェスチャ認識の他の例を示す模式図である。
【図46】ジェスチャ認識の他の例を示す模式図である。
【符号の説明】
【0045】
１００ 眼鏡表示装置２２０ 半透過ディスプレイ
２２０３Ｄ 仮想イメージ表示領域（共有領域）
４１０ 赤外線検知ユニット
４１０３Ｄ 三次元空間検知領域
４５０ 制御ユニット
ＯＦ 外形
Ｃ 最大内接円
Ｃ０ 基準点
ａｎ，ａｉ，ａｋ 頂点（外形点）
ｂｎ，ｂｊ，ｂｋ 外形点
ＨＬ 半直線
ｄ 距離
【発明を実施するための形態】
【0046】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。また、本発明は、
以下に説明する眼鏡表示装置に限定されるものではなく、他のウェアラブル機器、その他入出力装置、表示装置、テレビジョン、モニタ、プロジェクタ等にも適用することができる。
【0050】
（眼鏡ユニット２００）図１および図２に示すように、眼鏡ユニット２００は、眼鏡フレーム２１０および一対の半透過ディスプレイ２２０からなる。眼鏡フレーム２１０は、主にリムユニット２１１、テンプルユニット２１２を含む。
眼鏡フレーム２１０のリムユニット２１１により一対の半透過ディスプレイ２２０が支持される。
【0051】
本実施の形態においては、眼鏡表示装置１００には、リムユニット２１１に一対の半透過ディスプレイ２２０を設けることとしているが、これに限定されず、眼鏡表示装置１００のリムユニット２１１に通常のサングラスレンズ、紫外線カットレンズ、または眼鏡レンズなどのレンズ類を設け、別に１個の半透過ディスプレイ２２０または一対の半透過ディスプレイ２２０を設けてもよい。また、当該レンズ類の一部に、半透過ディスプレイ２２０を埋め込んで設けてもよい。
【0052】
さらに、本実施の形態は、眼鏡タイプに限定するものではなく、人体に装着し、装着者の視野に配設できるタイプであれば、帽子タイプその他任意のヘッドマウントディスプレイ装置に使用することができる。【0053】
（通信システム３００）次に、通信システム３００について説明を行なう。
通信システム３００は、バッテリーユニット３０１、アンテナモジュール３０２、カメラユニット３０３、スピーカユニット３０４、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）ユニット３０７、マイクユニット３０８、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）ユニット３０９およびメインユニット３１０を含む。
なお、カメラユニットにはＣＣＤセンサが備えられてよい。スピーカユニット３０４は、ノーマルイヤホンであってもよいし、骨伝導イヤホンであってもよい。ＳＩＭユニット３０９には、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ：近距離無線通信）ユニットおよび他の接触式ＩＣカードユニット、ならびに非接触式ＩＣカードユニットを含む。
【0054】
以上のように、本実施の形態にかかる通信システム３００は、少なくとも携帯電話、スマートフォンおよびタブレット端末のいずれかの機能を含むものである。具体的には、電話機能、インターネット機能、ブラウザ機能、メール機能、および撮像機能等を含むものである。したがって、ユーザは、眼鏡表示装置１００を用いて、通信装置、スピーカおよびマイクにより、携帯電話と同様の通話機能を使用することができる。また、眼鏡型であるので、両手を利用せず、通話を行なうことができる。
【0055】
（操作システム４００）続いて、操作システム４００は、赤外線検知ユニット４１０、ジャイロセンサユニット４２０、加速度検知ユニット４３０および制御ユニット４５０からなる。赤外線検知ユニット４１０は、主に赤外線照射素子４１１および赤外線検知カメラ４１２からなる。
【0056】
続いて、操作システム４００の構成、処理の流れおよび概念について説明を行なう。図３は、操作システム４００の制御ユニット４５０の構成の一例を示す模式図である。【0057】
図３に示すように、制御ユニット４５０は、イメージセンサ演算ユニット４５１、デプスマップ演算ユニット４５２、イメージ処理ユニット４５３、解剖学的認識ユニット４５４、ジェスチャデータ記録ユニット４５５、ジェスチャ識別ユニット４５６、キャリブレーションデータ記録ユニット４５７、合成演算ユニット４５８、アプリケーションソフトユニット４５９、イベントサービスユニット４６０、キャリブレーションサービスユニット４６１、表示サービスユニット４６２、グラフィック演算ユニット４６３、ディスプレイ演算ユニット４６４、および６軸駆動ドライバユニット４６５を含む。【0058】
なお、制御ユニット４５０は、上記の全てを含む必要はなく、適宜必要な１または複数のユニットを含んでもよい。たとえば、ジェスチャデータ記録ユニット４５５およびキャリブレーションデータ記録ユニット４５７は、クラウド上に配置してもよく、合成演算ユニット４５８を特に設けなくてもよい。【0060】
まず、図４に示すように、赤外線検知ユニット４１０から対象のデータを取得し、デプスマップ演算ユニット４５２により深さ演算を行なう（ステップＳ１。次に、イメージ処理ユニット４５３により外形イメージデータを処理する（ステップＳ２）。【0061】
次いで、解剖学的認識ユニット４５４により、標準的な人体の構造に基づき、ステップＳ２において処理された外形イメージデータから、解剖学的特徴を識別する。これにより、外形が認識される（ステップＳ３）。【0062】
さらに、ジェスチャ識別ユニット４５６により、ステップＳ３で得た解剖学的特徴に基づいてジェスチャを識別する（ステップＳ４）。ジェスチャ識別ユニット４５６は、ジェスチャデータ記録ユニット４５５に記録されたジェスチャデータを参照し、解剖学的特徴が識別された外形からジェスチャの識別を行なう。なお、ジェスチャ識別ユニット４５６は、ジェスチャデータ記録ユニット４５５からのジェスチャデータを参照することとしているが、参照することに限定されず、他の任意のデータを参照してもよく、全く参照することなく処理してもよい。
以上により、図５（ａ）に示すように、手のジェスチャを認識する。
【0063】
続いて、アプリケーションソフトユニット４５９およびイベントサービスユニット４６０は、ジェスチャ識別ユニット４５６により判定されたジェスチャに応じて所定のイベントを実施する（ステップＳ５）。これによって、図５（ｂ）に示すように、たとえば写真アプリによる画像が表示される。この際、当該画面には、カメラユニット３０３からの撮像データが表示されてよい。
【0064】
最後に、表示サービスユニット４６２、キャリブレーションサービスユニット４６１、グラフィック演算ユニット４６３、ディスプレイ演算ユニット４６４および合成演算ユニット４５８により、半透過ディスプレイ２２０に、イメージの表示、またはイメージの仮想表示が行なわれる（ステップＳ６）これによって、図５（ｃ）に示すようにジェスチャを示す手のスケルトンの表示が行われ、図５（ｄ）に示すように、当該スケルトンの形状および大きさに写真の形状および大きさが合致するように合成されたイメージが表示される。【0065】
なお、６軸駆動ドライバユニット４６５は、常にジャイロセンサユニット４２０、加速度検知ユニット４３０からの信号を検知し、ディスプレイ演算ユニット４６４に姿勢状況を伝達する。【0066】
眼鏡表示装置１００を装着したユーザが眼鏡表示装置１００を傾斜させた場合には、６軸駆動ドライバユニット４６５は、常にジャイロセンサユニット４２０、加速度検知ユニット４３０からの信号を受信し、イメージの表示の制御を行なう。当該制御においては、イメージの表示を水平に維持させてもよいし、イメージの表示を傾斜にあわせて調整してもよい。【0067】
（検知領域と仮想表示領域との一例）次に、操作システム４００の赤外線検知ユニット４１０の検知領域と、一対の半透過ディスプレイ２２０の仮想表示領域との関係について説明を行なう。
図６は、赤外線検知ユニット４１０の検知領域と、一対の半透過ディスプレイ２２０の仮想表示領域とを説明するための模式的斜視図であり、図７は図６の上面図であり、図８は、図６の側面図である。
【0068】
以下において、説明の便宜上、図６に示すように、ｘ軸、ｙ軸およびｚ軸からなる三次元直交座標系が定義される。以下の図におけるｘ軸の矢印は、水平方向を指す。ｙ軸の矢印は、鉛直方向またはユーザの体の長軸方向を指す。ｚ軸の矢印は、深度方向を指す。ｚ軸正方向は、より大きい深度の方向を指す。それぞれの矢印の向きは、他の図においても同じである。【0069】
図６から図８に示すように、操作システム４００の赤外線検知ユニット４１０により検知可能な三次元空間検知領域（３Ｄスペース）４１０３Ｄを有する。三次元空間検知領域４１０３Ｄは、赤外線検知ユニット４１０からの円錐状または角錐状の三次元空間からなる。
【0070】
すなわち、赤外線検知ユニット４１０は、赤外線照射素子４１１から、照射された赤外線を、赤外線検知カメラ４１２により検知できるので、三次元空間検知領域４１０３Ｄ内のジェスチャを認識することができる。また、本実施の形態においては、赤外線検知ユニット４１０を１個設けることとしているが、これに限定されず、赤外線検知ユニット４１０を複数個設けてもよいし、赤外線照射素子４１１を１個、赤外線検知カメラ４１２を複数個設けてもよい。
【0071】
続いて、図６から図８に示すように一対の半透過ディスプレイ２２０は、ユーザに、実際に設けられた眼鏡表示装置１００の部分ではなく、眼鏡表示装置１００から離れた場所となる仮想イメージ表示領域２２０３Ｄに、奥行きを持って仮想表示されたものとして視認させる。当該奥行きは、仮想イメージ表示領域２２０３Ｄが有する仮想立体形状の深度方向（ｚ軸方向）の厚みに対応する。したがって、当該仮想立体形状の深度方向（ｚ軸方向）の厚みに応じて奥行きが設けられる。すなわち、実際には眼鏡表示装置１００の半透過ディスプレイ２２０に表示されるものの、ユーザは、右目のイメージは右目側の半透過ディスプレイ２２０を透過し三次元空間領域２２０３ＤＲで認識し、左目のイメージは左目側の半透過ディスプレイ２２０を透過し三次元空間領域２２０３ＤＬで認識する。その結果、認識された両イメージがユーザの脳内で合成されることにより、仮想イメージ表示領域２２０３Ｄで仮想イメージとして認識することができる。
【0072】
また、仮想イメージ表示領域２２０３Ｄは、フレーム・シーケンシャル方式、偏光方式、直線偏光方式、円偏光方式、トップ・アンド・ボトム方式、サイド・バイ・サイド方式、アナグリフ方式、レンチキュラ方式、パララックス・バリア方式、液晶パララックス・バリア方式、２視差方式および３視差以上を利用する多視差方式のいずれかを利用して表示されたものである。【0073】
また、本実施の形態においては、仮想イメージ表示領域２２０３Ｄは、三次元空間検知領域４１０３Ｄと共有する空間領域を有する。特に、図６および図７に示すように、三次元空間検知領域４１０３Ｄの内部に、仮想イメージ表示領域２２０３Ｄが存在するため、仮想イメージ表示領域２２０３Ｄが共有領域となる。【0074】
なお、仮想イメージ表示領域２２０３Ｄの形状およびサイズについては、一対の半透過ディスプレイ２２０への表示方法により任意に調整することができる。また、図８に示すように、一対の半透過ディスプレイ２２０よりも赤外線検知ユニット４１０が上方（ｙ軸正方向）に配設されている場合について説明しているが、鉛直方向（ｙ軸方向）に対して、赤外線検知ユニット４１０の配設位置が半透過ディスプレイ２２０よりも下方（ｙ軸負方向）または半透過ディスプレイ２２０と同位置であっても、同様に、仮想イメージ表示領域２２０３Ｄは、三次元空間検知領域４１０３Ｄと共有する空間領域を有する。
【0076】
例えば、図９から図１１に示すように、眼鏡表示装置１００の半透過ディスプレイ２２０の代わりに、他の入出力装置、表示装置、テレビジョン、モニタ等を用いてもよい。以下、他の入出力装置、表示装置、テレビジョン、モニタ、プロジェクタを総称して入出力装置９００と略記する。【0077】
図９に示すように、入出力装置９００からｚ軸負方向に仮想イメージ表示領域２２０３Ｄが出力され、入出力装置９００にｚ軸方向で対向する位置に配設された赤外線検知ユニット４１０からｚ軸正方向に三次元空間検知領域４１０３Ｄが形成されてもよい。この場合、入出力装置９００による仮想イメージ表示領域２２０３Ｄが、三次元空間検知領域４１０３Ｄと共有の空間領域として生じる。
【0078】
また、図１０に示すように、入出力装置９００から仮想イメージ表示領域２２０３Ｄが出力され、入出力装置９００と同方向（ｘｙ平面を基準としていずれもｚ軸正側の方向）に赤外線検知ユニット４１０の三次元空間検知領域４１０３Ｄが形成されてもよい。この場合でも、入出力装置９００による仮想イメージ表示領域２２０３Ｄが、三次元空間検知領域４１０３Ｄと共有の空間領域として生じる。
【0079】
次に、図１１に示すように、入出力装置９００から鉛直上方向（ｙ軸正方向）に仮想イメージ表示領域２２０３Ｄが出力されてもよい。図１１においても、図９、図１０と同様に、入出力装置９００による仮想イメージ表示領域２２０３Ｄが、三次元空間検知領域４１０３Ｄと共有の空間領域として生じる。【0080】
また、図示していないが、入出力装置９００を三次元空間検知領域４１０３Ｄより上方側（ｙ軸正方向の側）に配置し、鉛直下方向（ｙ軸負方向）に仮想イメージ表示領域２２０３Ｄが出力されてもよく、水平方向（ｘ軸方向）から出力されてもよく、プロジェクタまたは映画館のように、後上方（ｚ軸正方向かつｙ軸正方向）から出力されてもよい。【0081】
（操作領域とジェスチャ領域）続いて、検知領域における操作領域とジェスチャ領域とについて説明する。図１２および図１３は、検知領域における操作領域と、ジェスチャ領域との一例を示す模式図である。
【0082】
まず、図１２に示すように、一般的に、ユーザは、右肩関節ＲＰおよび左肩関節ＬＰの両肩関節を回転中心として両手を水平移動させるため、両手の移動できる領域は、点線で囲まれた移動領域Ｌおよび移動領域Ｒとなる。【0083】
また、図１３に示すように、一般的に、ユーザは、右肩関節ＲＰおよび左肩関節ＬＰの両肩関節を回転中心として両手を鉛直移動させるため、両手の移動できる領域は、点線で囲まれた移動領域Ｌおよび移動領域Ｒとなる。【0084】
すなわち、図１２および図１３に示すように、ユーザは、両手を右肩関節ＲＰおよび左肩関節ＬＰをそれぞれ回転中心とした欠球状（深度方向に凸のアーチ状曲面を有する）の立体空間内で移動させることができる。【0085】
次に、赤外線検知ユニット４１０による三次元空間検知領域４１０３Ｄと、仮想イメージ表示領域が存在しうる領域（図１２では仮想イメージ表示領域２２０３Ｄを例示）と、腕の移動領域Ｌおよび移動領域Ｒを合わせた領域との全てが重なる空間領域を、操作領域４１０ｃとして設定する。また、三次元空間検知領域４１０３Ｄ内における操作領域４１０ｃ以外の部分で、かつ腕の移動領域Ｌおよび移動領域Ｒを合わせた領域と重なる部分をジェスチャ領域４１０ｇとして設定する。
【0086】
ここで、操作領域４１０ｃが、深度方向に最も遠い面が深度方向（ｚ軸正方向）に凸のアーチ状に湾曲した曲面である立体形状を有することに対し、仮想イメージ表示領域２２０３Ｄは、深度方向に最も遠い面が平面である立体形状を有する。このように両領域の間で当該面の形状が異なることに起因し、ユーザは、当該操作において体感的に違和感を覚える。当該違和感を取り除くためにキャリブレーション処理で調整を行なう。また、キャリブレーション処理の詳細については、後述する。【0088】
図１２および図１３に示したように、ユーザが仮想イメージ表示領域２２０３Ｄに沿って手を動かそうとすると、補助のない平面に沿って動作させる必要がある。したがって、後述する認識処理により仮想イメージ表示領域２２０３Ｄにおいて、操作をし易くするためにキャリブレーション処理を行なう。また、キャリブレーション処理には、ユーザの個々で異なる指の長さ、手の長さ、腕の長さの調整も行なう。
【0089】
以下、図１４を用いて説明を行なう。まず、ユーザが、眼鏡表示装置１００を装着し、両腕を最大限に伸張する。その結果、赤外線検知ユニット４１０が、操作領域４１０ｃの最大領域を認識する（ステップＳ１１）。すなわち、ユーザによりユーザの個々で異なる指の長さ、手の長さ、腕の長さが異なるので、操作領域４１０ｃの調整を行なうものである。
【0090】
次に、眼鏡表示装置１００においては、仮想イメージ表示領域２２０３Ｄの表示位置を決定する（ステップＳ１２）。すなわち、仮想イメージ表示領域２２０３Ｄを操作領域４１０ｃの外側に配置するとユーザによる操作が不可能となるため、操作領域４１０ｃの内部に配置する。【0091】
続いて、眼鏡表示装置１００の赤外線検知ユニット４１０の三次元空間検知領域４１０３Ｄ内で、かつ仮想イメージ表示領域２２０３Ｄの表示位置と重ならない位置に、ジェスチャ領域４１０ｇの最大領域を設定する（ステップＳ１３）。なお、ジェスチャ領域４１０ｇは、仮想イメージ表示領域２２０３Ｄと重ならないように配置しかつ深さ方向（ｚ軸正方向）に厚みを持たせることが好ましい。
【0092】
本実施の形態においては、以上の手法により、操作領域４１０ｃ、仮想イメージ表示領域２２０３Ｄ、ジェスチャ領域４１０ｇが設定される。【0093】
続いて、操作領域４１０ｃ内における仮想イメージ表示領域２２０３Ｄのキャリブレーションについて説明する。【0094】
操作領域４１０ｃ内の仮想イメージ表示領域２２０３Ｄの外部周囲にユーザの指、手、または腕が存在すると判定された場合に、あたかも仮想イメージ表示領域２２０３Ｄの内部に存在するように、丸め込みを行なう（ステップＳ１４）。【0095】
図１２および図１３に示すように、半透過ディスプレイ２２０により仮想表示されたイメージの中央部近辺では、両腕を最大限に伸ばした状態にすると、両手先が仮想イメージ表示領域２２０３Ｄ内に留まることなく深さ方向（ｚ軸正方向）の外部へ外れてしまう。また、仮想表示されたイメージの端部においては、両腕を最大限に伸ばさない限り、両手先が仮想イメージ表示領域２２０３Ｄ内に存在すると判定されない。そのため、赤外線検知ユニット４１０からの信号を無処理のまま使用すると、ユーザは、手先が仮想イメージ表示領域２２０３Ｄから外れたとしても、そのような状態であることを体感しにくい。
【0096】
したがって、本実施の形態におけるステップＳ１４の処理においては、仮想イメージ表示領域２２０３Ｄから外部へ突き出た手先が、仮想イメージ表示領域２２０３Ｄ内にあるものとして補正すべく、赤外線検知ユニット４１０からの信号を処理する。その結果、ユーザは、両腕を最大限に伸ばした状態、または少し曲げた状態で、奥行きのある平面状の仮想イメージ表示領域２２０３Ｄ内の中央部から端部まで操作することができる。
【0097】
なお、本実施の形態においては、仮想イメージ表示領域２２０３Ｄを、深度方向に最も遠い面が平面である三次元空間領域からなることとしているが、これに限定されず、深度方向に最も遠い面領域Ｌ，Ｒの深度方向に最も遠い面に沿った形状の曲面である三次元空間領域からなることとしてもよい。その結果、ユーザは、両腕を最大限に伸ばした状態、または少し曲げた状態で、奥行きのある平面状の仮想イメージ表示領域２２０３Ｄ内の中央部から端部まで操作することができる。【0098】
さらに、半透過ディスプレイ２２０は、仮想イメージ表示領域２２０３Ｄに矩形状の像を表示させる。例えば、図５（ｂ）に示したように、矩形状の像を表示させる（ステップＳ１５）。続いて、半透過ディスプレイ２２０に、像の周囲を指で囲んでくださいと、表示を行なう（ステップＳ１６）。ここで、像の近傍に指の形の像を薄く表示してもよいし、半透過ディスプレイ２２０に表示を行なう代わりにスピーカから音声により指示をユーザに伝えてもよい。
【0099】
ユーザは、指示に従い図５（ｄ）に示すように、指を像の見える部分にあわせる。そして、仮想イメージ表示領域２２０３Ｄの表示領域と、赤外線検知ユニット４１０との相関関係が自動調整される（ステップＳ１７）。なお、上記においては、指で矩形を形作り、そのように定められた矩形と、像の外縁の矩形にあわせる。このことによって、指により定められた矩形の視認サイズおよび位置と像の外縁の矩形の視認サイズ及び位置とを合わせることとした。しかしながら、指によって形状を定める手法はこれに限定されず、表示された像の外縁を指でなぞる手法、表示された像の外縁上の複数の点を指で指し示す手法等、他の任意の手法であってもよい。また、これらの手法を複数のサイズの像について行ってもよい。
【0100】
なお、上記のキャリブレーション処理の説明においては、眼鏡表示装置１００の場合についてのみ説明を行ったが、入出力装置９００の場合には、ステップＳ１１の処理において、像を表示させ、ステップＳ１７の処理の当該像と赤外線検知ユニット４１０との相関関係を調整してもよい。【0101】
（形状認識）次いで、指認識について説明を行い、その後掌認識、腕認識の順で説明を行なう。図１５は、指認識の一例を示す模式図である。図１５において、（Ａ）は指の先端付近の拡大図であり、（Ｂ）は指の根元付近の拡大図である。図１６は、指認識の処理の一例を示すフローチャートである。
【0102】
図１６に示すように、本実施の形態においては、デバイスの初期化を行なう（ステップＳ２１）。次に、赤外線照射素子４１１から照射され、手に反射した赤外線が、赤外線検知カメラ４１２により検出される（ステップＳ２２）。次に、赤外線検知ユニット４１０により画像データをピクセル単位で距離に置き換える（ステップＳ２３）。この場合、赤外線の明るさは、距離の三乗に反比例する。これを利用し、デプスマップを作成する（ステップＳ２４）。
【0103】
次いで、作成したデプスマップに適切な閾値を設ける。そして、画像データを二値化する（ステップＳ２５）すなわち、デプスマップのノイズを除去する。続いて、二値化した画像データから約１００個の頂点を持つポリゴンを作成する（ステップＳ２６）。そして、頂点が滑らかになるようにローパスフィルタ（ＬＰＦ）により、より多くの頂点ｐｎを有する新たな多角形を作成することによって、図１５に示す手の外形ＯＦを抽出する（ステップＳ２７）。
なお、本実施の形態においては、ステップＳ２６において二値化したデータからポリゴンを作成するために抽出する頂点の数を約１００個としているが、これに限定されず、１０００個、その他の任意の個数であってもよい。
【0104】
（指認識）ステップＳ２７で作成した新たな多角形の頂点ｐｎの集合から、Ｃｏｎｖｅｘ Ｈｕｌｌを用いて、凸包を抽出する（ステップＳ２８）。
その後、ステップＳ２７で作成された新たな多角形と、ステップＳ２８で作成された凸包との共有の頂点ｐ０を抽出する（ステップＳ２９）。このように抽出された共有の頂点ｐ０自体を指の先端点として用いることができる。
さらに、頂点ｐ０の位置に基づいて算出される他の点を指の先端点として用いてもよい。例えば、図１５（Ａ）に示すように頂点ｐ０における外形ＯＦの内接円の中心を先端点Ｐ０として算出することもできる。
【0105】
そして、図１５に示すように、頂点ｐ０に隣接する左右一対の頂点ｐ１を通る基準線分ＰＰ１のベクトルを算出する。その後、頂点ｐ１と、隣接する頂点ｐ２とを結ぶ辺ｐｐ２を選択し、そのベクトルを算出する。同様に、外形ＯＦを構成する頂点ｐｎを用い、辺のベクトルを求める処理を外形ＯＦの外周に沿って繰り返す。各辺の向きとステップＳ３０の処理による基準線分ＰＰ１の向きとを調べ、基準線分ＰＰ１と平行に近くなる辺ｐｐｋが指の股の位置に存在すると判定する。そして、辺ｐｐｋの位置に基づき、指の根元点Ｐ１を算出する（ステップＳ３０）。指の先端点Ｐ０と指の根元点Ｐ１とを直線で結ぶことで、指のスケルトンが得られる（ステップＳ３１）。指のスケルトンを得ることで、指の延在方向を認識することができる。全ての指について同様の処理を行なうことで、全ての指のスケルトンを得る。これにより、手のポーズを認識することができる。すなわち、親指、人差し指、中指、薬指、小指のいずれの指が広げられ、いずれの指が握られているかを認識することができる。
【0106】
続いて、直前に実施した数フレームの画像データと比較して、手のポーズの違いを検知する（ステップＳ３２）。すなわち、直前の数フレームの画像データと比較することにより、手の動きを認識することができる。【0107】
次いで、認識した手の形状を、ジェスチャデータとしてイベントサービスユニット４６０へイベント配送する（ステップＳ３３）。【0108】
次いで、アプリケーションソフトユニット４５９によりイベントに応じた振る舞いを実施する（ステップＳ３４）。【0109】
続いて、表示サービスユニット４６２により、三次元空間に描画を要求する（ステップＳ３５）。グラフィック演算ユニット４６３は、キャリブレーションサービスユニット４６１を用いてキャリブレーションデータ記録ユニット４５７を参照し、表示の補正を行なう（ステップＳ３６）。
最後に、ディスプレイ演算ユニット４６４により半透過ディスプレイ２２０に表示を行なう（ステップＳ３７）。
【0110】
なお、本実施の形態においては、ステップＳ３０の処理およびステップＳ３１の処理により指の根元点を検出したが、根元点の検出方法はこれに限定されない。例えば、まず、頂点ｐ０の一方の側と他方の側において隣接する一対の頂点ｐ１を結ぶ基準線分ＰＰ１の長さを算出する。次に、当該一方の側と他方の側における一対の頂点ｐ２間を結ぶ線分の長さを算出する。同様に、当該一方の側と他方の側における一対の頂点間を結ぶ線分の長さを、頂点ｐ０により近い位置にある頂点からより遠い位置にある頂点への順で算出していく。このような線分は、外形ＯＦ内で交わることなく、互いにおおよそ平行となる。当該線分の両端の頂点が指の部分にある場合は、線分の長さは指の幅に相当するため、その変化量は小さい。一方、線分の両端の頂点の少なくともいずれかが指の股の部分に達した場合は、当該長さの変化量が大きくなる。したがって、当該長さの変化量が所定量を超えずかつ頂点ｐ０から最も遠い線分を検知し、検知された線分上の１点を抽出することによって、根元点を決定することができる。【0112】
図１６で説明した形態と同様に、本実施の形態においては、赤外線検知カメラ４１２を用いて得られたデプスマップの処理による画像データから、約１００個の頂点を持つポリゴンを作成する（図１６、ステップＳ２６参照）。そして、本実施形態でも、頂点が滑らかになるようにローパスフィルタ（ＬＰＦ）処理し、より多くの頂点ａｎを有する新たな多角形を作成することによって、図１７に示す手の外形ＯＦを抽出する（図１６、ステップＳ２７参照）。【0113】
図１７に示すように、手の外形ＯＦの最大内接円Ｃを抽出する。最大内接円Ｃは、後述の図２０で説明するように、掌（または甲）の部分の位置として認識できる。さらに、本実施形態では、最大内接円Ｃの中心Ｃ０を基準点（以下、基準点Ｃ０）として抽出する。【0114】
次に、外形ＯＦを構成する、所定の間隔で設定された頂点ａｎそれぞれと、基準点Ｃ０との距離ｄを計測する。特に図１７に示すように伸びた指の場合、指の先端に近くなるほど、基準点Ｃ０と頂点ａｎとの距離ｄが大きい傾向にあり、指間に近くなるほど、基準点Ｃ０と頂点ａｎとの距離ｄが小さくなる傾向がある。このような傾向に基づいて、指の先端部と指間部を識別することができる。【0115】
具体的には、頂点ａｎを、外形ＯＦに沿って尺側（小指側）から撓側（親指側）への一方向へ走査して縦軸を基準点Ｃ０と頂点ａｎとの距離を計測し、走査点数ｎと距離ｄとの関係を調べる。その関係を示すグラフを、図１８（縦軸：距離ｄ、横軸、走査点数ｎ）に示す。なお、横軸には、走査点数ｎの代わりに走査距離を表してもよい。図１８に示すように、走査点数ｎに対する距離ｄは極値を持つ曲線を呈する。この場合、距離ｄが極値を示す場合の走査点数ｎに相当する頂点ａｎの位置付近を、指の特徴部とすることができる。【0116】
たとえば、図１８において距離ｄが極大値の１つＬを示す場合の走査点数ｉに相当する頂点ａｉの位置（図１７参照）を、指の先端部と判定することができる。他の極大値Ｒ、Ｍ、ＦおよびＴについても、同様である。【0117】
指の先端部の判定に用いられた頂点ａｉは、図１６のステップＳ２９で抽出される共有の頂点ｐ０（図１５中（Ａ）参照）と同様に、指の先端点として取り扱われることもできる。また、図１５中（Ａ）と同様に、頂点ａｉを、頂点ａｉにおける外形ＯＦの内接円の中心に較正し、当該内接円の中心を先端点Ｐ０として取り扱われることもできる。【0118】
また、図１８において距離ｄが極小値の１つＬＲを示す場合の走査点数ｋに相当する頂点ａｋの位置（図１７参照）を指間部と判定することができる。他の極小値ＲＭ、ＭＦ、ＦＴについても、同様である。【0119】
指間部の判定に用いられた頂点ａｋは、たとえば、親指と人差し指との間（図１８ＦＴ）の距離ｄが、他の指間より小さいことに基づいて、尺側と撓側との判定のために用いることができる。また、指間部の判定に用いられた頂点ａｋは、指の根元点を抽出するための図１６のステップＳ３０で、頂点ｐｋ（図１５中（Ｂ）参照）と同様の取扱がされてもよい。
指間部の判定に用いられた頂点ａｋは、上記例示のように、指の根元点とは別の取扱がされてもよいし、適宜較正を行うことによって、指の根元点に準じる点として取り扱われてもよい。
【0120】
図１７においては、全ての指を伸ばし広げた態様について例示したが、たとえば、人差し指と中指のみを伸ばし広げた場合には、図１８のグラフにおいて、ＦおよびＭと同様の極大が表れるが、他については、同様の極大は表れない。また、ＭＦ、またはＭＦおよびＲＭと同様の極小が表れるが、他については、同様の極小は表れない。【0121】
図１７の例では、距離ｄの取得方法として、外形ＯＦを構成する、所定の間隔で設定された頂点ａｎそれぞれと、基準点Ｃ０との距離を計測する態様を示したが、距離ｄの取得方法は、この方法に限定されるものではない。例えば図１９に示すように、基準点Ｃ０を中心として所定の角度毎に回転する半直線ＨＬと外形ＯＦとの交点として外形点ｂｎを得て、外形点ｂｎと、基準点Ｃ０との距離ｄを取得してもよい。
【0122】
この場合、図１７の場合と同様、指の先端に近くなるほど、基準点Ｃ０と外形点ｂｎとの距離ｄが大きい傾向にあり、指間に近くなるほど、基準点Ｃ０と外形点ｂｎとの距離ｄが小さくなる傾向がある。このような傾向に基づいて、指の先端部と指間部を識別することができる。外形点ｂｎを、外形ＯＦに沿って尺側（小指側）から撓側（親指側）への一方向へ走査した場合の走査点数ｎと距離ｄとの関係も、図１８と特徴が共通する。このため、極大値を示す場合の外形点ｂｊに基づいて指の先端部を、極小値を示す場合の外形点ｂｋに基づいて指間部を判定することができる。【0124】
図２０に示すように、指認識を実施した後、画像データの外形ＯＦに内接する最大内接円Ｃを抽出する。当該最大内接円Ｃの位置が、掌の位置として認識できる。【0125】
次いで、図２１は、親指認識の一例を示す模式図である。【0126】
図２１に示すように、親指は、人差し指、中指、薬指、および小指の他の４指とは異なる特徴を有する。例えば、掌の位置を示す最大内接円Ｃの中心と各指の根元点Ｐ１とを結ぶ直線が相互になす角度θ１，θ２，θ３，θ４のうち、親指が関与するθ１が最も大きい傾向にある。また、各指の先端点Ｐ０と各指の根元点Ｐ１とを結んだ直線が相互になす角度θ１１，θ１２，θ１３，θ１４のうち、親指が関与するθ１１が最も大きい傾向にある。このような傾向に基づき親指の判定を行なう。その結果、右手か左手か、または掌の表か裏かを判定することができる。【0127】
（腕認識）次いで、腕認識について説明を行なう。本実施の形態において、腕認識は、指、掌および親指のいずれかを認識した後に実施する。なお、腕認識は、指、掌および親指のいずれかを認識する前、またはそれらの少なくともいずれかと同時に実施してもよい。
【0128】
本実施の形態においては、画像データの手の形のポリゴンよりも大きな領域でポリゴンを抽出する。例えば、長さ５ｃｍ以上１００ｃｍ以下の範囲、より好ましくは、１０ｃｍ以上４０ｃｍ以下の範囲で、ステップＳ２１からＳ２７の処理を実施し、外形を抽出する。その後、抽出した外形に外接する四角枠を選定する。本実施の形態においては、当該四角枠は、平行四辺形または長方形からなる。
この場合、平行四辺形または長方形は、対向する長辺を有するので、長辺の延在方向から腕の延在方向を認識することができ、長辺の向きから腕の向きを判定することが出来る。なお、ステップＳ３２の処理と同様に、直前の数フレームの画像データと比較して、腕の動きを検知させてもよい。
【0129】
なお、上記の説明においては、２次元像から指、掌、親指、腕を検出することとしているが、上記に限定されず、赤外線検知ユニット４１０をさらに増設してもよく、赤外線検知カメラ４１２のみをさらに増設し、２次元像から、３次元像を認識させてもよい。その結果、さらに認識確度を高めることができる。【0130】
（手の掌側および背側の認識）図２２（ａ）は、認識対象となる握りこぶしの形状の手（右手）を掌側から視認した場合（以下、手Ｈ１Ｐ）の模式的外観図であり、図２２（ｂ）は、当該手を背側から視認した場合（以下、手Ｈ１Ｄ）の模式的外観図である。
【0131】
図１６で説明した実施の形態と同様に、本実施の形態においては、赤外線検知カメラ４１２を用いて得られたデプスマップの処理による画像データから、約１００個の頂点を持つポリゴンを作成する（図１６、ステップＳ２６参照）。そして、本実施の形態でも、頂点が滑らかになるようにローパスフィルタ（ＬＰＦ）処理し、より多くの頂点を有する新たな多角形を作成することによって、図２３（ａ）に示す掌側の握りこぶしの手の外形ＯＦＰと、図２３（ｂ）に示す背側の握りこぶしの手の外形ＯＦＤとを抽出する（図１６、ステップＳ２７参照）。【0133】
外形ＯＦＰ，ＯＦＤ内の複数の点を抽出するために、まず、外形ＯＦＰ，ＯＦＤの最大内接円Ｃを抽出する。さらに、最大内接円Ｃの中心Ｃ０を基準点（以下、基準点Ｃ０）として抽出する。【0134】
さらに、基準点Ｃ０を通る最大内接円Ｃの弦を設定する。例えば図２３（ａ）および図２３（ｂ）に示すように、垂直方向（ｙ軸方向）の弦Ｃｖと、水平方向（ｘ軸方向）の弦Ｃｈとを定める。定められた弦Ｃｖ，Ｃｈにおいて、所定の間隔で抽出点Ｅを設定する。この場合、基準点Ｃ０も抽出点Ｅとして設定されることが好ましい。図２３においては、弦１本につき、基準点Ｃ０を含めて５点の抽出点Ｅを設定する。【0135】
さらに、手の外形ＯＦＰ，ＯＦＤを手Ｈ１Ｐ，Ｈ１Ｄに重ね合わせた場合に抽出点Ｅがｚ軸方向に投影される手Ｈ１Ｐ，Ｈ１Ｄ表面上の点を、対象点Ｓとして設定する。図２４（ａ）および図２４（ｂ）は、図２３（ａ）の外形ＯＦＰと及び図２３（ｂ）の外形ＯＦＤとをそれぞれ手Ｈ１Ｐ，Ｈ１Ｄに重ね合わせて表示した模式図を示す。
【0136】
設定した対象点Ｓそれぞれについて、赤外線検知ユニット４１０からの距離すなわち深度ＤＰを測定する。測定された深度ＤＰは、統計学的に集計される。具体的には、測定された深度のばらつきの尺度が求められる。ばらつきの尺度としては、たとえば、標準偏差、分散、範囲（すなわち最大値と最小値とをそれぞれ上限および下限に有する範囲）、四分位数範囲、平均差、および平均絶対偏差の少なくともいずれかが用いられてよい。【0137】
ここで、図２５（ａ）は、図２４（ａ）において、弦Ｃｖを含むｙ−ｚ平面に平行な面による手Ｈ１Ｐの断面図を示す模式図であり、図２５（ｂ）は、図２４（ｂ）において、弦Ｃｖを含むｙ−ｚ平面に平行な面による手Ｈ１Ｄの断面図を示す模式図である。また、図２６（ａ）は、図２４（ａ）において、弦Ｃｈを含むｘ−ｚ平面に平行な面による手Ｈ１Ｐの断面図を示す模式図であり、図２６（ｂ）は、図２４（ｂ）において、弦Ｃｈを含むｘ−ｚ平面に平行な面による手Ｈ１Ｄの断面図を示す模式図である。【0138】
図２５（ａ）及び図２６（ａ）に示されるように、掌側を向いている手Ｈ１Ｐの場合、掌側表面の凹凸が大きいため、対象点Ｓまでの深度ＤＰのばらつきが大きい。一方、図２５（ｂ）および図２６（ｂ）に示されるように、背側を向いている手Ｈ１Ｄの場合、背側表面は凹凸がほとんどないため、対象点Ｓまでの深度ＤＰのばらつきが小さい。このように、掌側の手Ｈ１Ｐと背側の手Ｈ１Ｄとは、当該深度ＤＰのばらつきの尺度が相対的に異なることに基づいて識別することができる。
【0139】
たとえばばらつきの尺度として標準偏差を用いる場合、判断基準となる標準偏差の基準値を定め、当該基準値以上である場合には掌側、当該基準値を下回る場合には背側と判断することができる。【0140】
（手の掌側および背側の認識の他の例）図２７は、図２２（ａ）および図２２（ｂ）の掌側および背側の識別処理の他の例を示す、図２２（ａ）および図２２（ｂ）の外形および抽出点設定の模式図である。図２７においては、基準点Ｃ０を通る弦として、手Ｈ１Ｐ，Ｈ１Ｄの近位および遠位を結ぶ方向の弦Ｃｐｄと、当該弦Ｃｐｄに垂直な弦Ｃｕｒとを設定する。なお、弦Ｃｐｄの設定は、腕の延在方向と平行な弦として設定することができる。
【0141】
さらに、上述の例と同様、定められた弦Ｃｐｄ，Ｃｕｒにおいて、所定の間隔で複数の抽出点Ｅを設定し、手Ｈ１Ｐ，Ｈ１Ｄへｚ軸方向に投影した複数の対象点Ｓを設定し、複数の対象点Ｓについての深度ＤＰのばらつきを調べ、掌側および背側を識別する。掌側および背側の識別においては、図２５および図２６と同様の、深度ＤＰのばらつきの大小と手Ｈ１Ｐ，Ｈ１Ｄとの関係に基づくことができる。【0142】
（手の掌側および背側の認識のさらに他の例）図２３および図２７の例では、基準点Ｃ０を通る弦として、弦Ｃｖと弦Ｃｈとの両方、および弦Ｃｐｄと弦Ｃｕｒとの両方を定めたが、いずれか一方のみ（たとえば弦Ｃｖのみ、または弦Ｃｐｄのみ）を定めてもよい。さらに、基準点Ｃ０を通ると通らないとを問わず、他の任意の弦を任意の数で定めてもよい。
【0143】
また、図２３および図２７の例では、抽出点Ｅを定めるために基準点Ｃ０を通る弦を設定したが、例えば、最大内接円Ｃの内部に、基準点Ｃ０を中心とする同心円を設定し、その上に抽出点Ｅを定めてもよいし、基準点Ｃ０を重心とする多角形、その他の任意の図形を設定し、その上に抽出点Ｅを定めてもよい。いずれにしても、複数の抽出点Ｅの１つとしては基準点Ｃ０を選択することが好ましい。【0144】
さらに、図２３および図２７の例では、認識対象が、全ての指を屈曲させた握りこぶしの形状の手Ｈ１Ｐ，Ｈ１Ｄを例示したが、手の形状は、この態様に限られない。少なくともいずれかの指を内側（すなわち掌側）に屈曲させた形状であればよい。【0145】
（手の左右の識別）さらに、手の尺側と撓側とを結ぶ方向（以下、方向ＵＲ）における対象点Ｓの深度の傾向を調べることによって、手の左右の識別を行うことができる。
【0146】
手の尺側と撓側とを結ぶ方向ＵＲとしては、好ましくは、図２７における弦Ｃｕｒの方向である。その他、手の尺側と撓側とを結ぶ方向ＵＲとしては、図２３における弦Ｃｈに例示されるような、弦Ｃｕｒの方向と−３０°以上＋３０°以下の角度を有する任意の弦の方向も許容する。【0147】
手の左右の識別においては、得られた対象点Ｓの深度ＤＰのデータを、線形回帰分析する。具体的には、ＵＲ方向の各位置における深度ＤＰの傾向を分析する。図２６（ａ）および図２６（ｂ）に示した深度ＤＰの、ＵＲ方向における位置との関係を、それぞれ、図２８（ａ）および図２８（ｂ）のグラフに示す。図２８のグラフにおいて、横軸は、対象点Ｓの、ＵＲ方向における撓側からの相対距離（Ｕ）を表し、縦軸は、対象点Ｓの深度（ＤＰ）を表す。【0148】
図２８（ａ）に示すように、掌側を向いた握りこぶし形状の手Ｈ１Ｐの場合、手の尺側に近くなるほど、深度ＤＰが大きくなる傾向にある。この傾向に基づいて手の左右を識別してよい場合としては、たとえば、例示のような握りこぶし形状である場合を含め、少なくとも親指が掌側に屈曲させた形状である場合が挙げられる。【0149】
また、図２８（ｂ）に示すように、背側を向いた握りこぶし形状の手Ｈ１Ｄの場合も、手の尺側に近くなるほど、深度ＤＰが大きくなる傾向にある。この傾向に基づいて手の左右を識別してよい場合としては特に限定されない。【0150】
なお、上述の全ての実施形態において、手の外形を検知するために赤外線検知ユニット４１０を用いる態様を例示しているが、外形の取得はこれに限定されるものではない。たとえば、深度情報を伴わないイメージセンサによる外形取得を行うこともできる。【0151】
（ジェスチャの登録）ジェスチャデータ記録ユニット４５５（図３参照）にストックされるジェスチャデータは、ユーザによって登録される。また、ジェスチャデータは、ユーザによってジェスチャコマンドとして設定され、さらに必要に応じて書換えもされる。
【0153】
本実施の形態においては、ユーザの操作に従い、アプリケーションソフトユニット４５９がジェスチャ設定アプリを起動する。図２９に示すように、アプリ画面に表示された機能から、ジェスチャデータ登録機能を選択する（ステップＳ４１）。これによって、撮像準備を開始する。撮像準備においては、ユーザが、ジェスチャとして登録を所望する形態を手および腕を使って表す。ジェスチャを表す手の形態がユーザによって決定されるまでの間、撮像は待機される（ステップＳ４２）。撮像待機の時間は、たとえば５秒に設定されることができる。【0154】
その後、ジェスチャを表した手と腕の少なくとも一部とを含む部分を撮影する（ステップＳ４３）。撮影により、検知された一連の外形として外形データを取得する。外形データの取得には、ジェスチャを示している手および腕を一定時間撮影することにより動画を取得する。撮影時間は、たとえば１０秒に設定されることができる。【0155】
撮影時間の間、動作を伴うジェスチャの場合は、当該ジェスチャの動作を反復した様子を撮影することができる。動作の遷移が意図されないジェスチャの場合は、当該ジェスチャのサインを示したまま、ユーザ自身が当該ジェスチャとして意識する態様を逸脱しない程度に手および腕を様々に動かした様子を撮影することができる。
【0156】
なお、上述の動画撮影の他、静止画を複数回撮影することによって、検知された複数の外形として外形データを取得してもよい。この場合、動作を伴うジェスチャの場合は、ジェスチャを示している間連写を行なうことによって複数フレームを取得できる。動作を伴わないジェスチャの場合は、時および場所を変えて同じジェスチャを撮影することによって複数フレームを取得できる。【0157】
撮影は、例えば赤外線検知ユニット４１０によって行なわれる。撮影において、赤外線検知ユニット４１０は、ジェスチャを示す手および腕の外形を検知する。外形検知は、図１６のステップＳ２２からステップＳ２５と同じ処理によって行なわれる。この外形検知の処理は、複数フレームそれぞれについて行われる。【0158】
撮影結果に基づいて、ジェスチャを示す手および腕の特徴部を分析する（ステップＳ４４）。特徴部の分析は、検知した複数の外形それぞれについて行われる。分析されるべき特徴部としては、所定の形態の指の数および位置等の解剖学的特徴を示す対象の部分が挙げられる。さらに、特徴部の位置および／または角度の値を分析する（ステップＳ４５）。特徴部の位置としては、指先および指の根元を表す点など、対象における解剖学的特徴点を座標情報の付加により表すことができる。また、特徴部の角度としては、指の延在方向および腕の延在方向などに基づいた角度情報の付加により表すことができる。
【0159】
ステップＳ４４およびステップＳ４５においては、上述の指認識、掌認識、および腕認識と同じ処理が行われる。より具体的には、図１６のステップＳ２６からＳ３１と同じ処理が行われる。これによって、全ての指について同様の処理を行なうことで、全ての指のスケルトンを得る。これにより、指の延在方向、具体的には指の関節を中心とした指の角度を認識することができる。また、指先および指の根元等を示す特徴点の位置を、座標情報を付加することにより認識することができる。さらに、手の形態を認識することができる。たとえば、それぞれの指の形態（具体的には、親指、人差し指、中指、薬指、小指のいずれの指が曲げられ、いずれの指が伸びているか等）を認識することができる。
【0160】
また、図２０と同様に掌認識で掌の位置を認識し、図２１と同様に親指認識で、右手か左手か、または掌の表か裏かを判定することができる。これにより、所定の指の位置を認識することができる。さらに、腕認識によって、腕の延在方向、具体的には肘の関節を中心とした腕の角度を判定することができる。
【0161】
ステップＳ４５では、さらに、複数の外形について抽出された上述の特徴部の情報を総合することによって、ステップＳ４３での撮影対象となったジェスチャを示していた手および腕の可動範囲も導出する。【0162】
具体的には、上述の特徴部の抽出で得られた角度の最大値及び最小値を含む範囲を求めることによって、可動範囲を導出することができる。上述のほか、指先等を示す特徴点の座標の軌跡を含む範囲を求めることによって、可動範囲を導出することができる。
【0163】
ジェスチャが動作を伴うものである場合、複数の外形について抽出されたそれぞれの特徴部の差異に基づいて、複数の外形を経時的に比較する。これによって、ジェスチャ動作に伴う外形の遷移の認識もできる。【0164】
ユーザは、上記の分析結果を、ジェスチャデータとして記録するかどうかを決定する（ステップＳ４６）。この場合、撮影した動画の再生および分析結果の表示によって撮影した手および腕の形態を確認できるようにしてよい。ジェスチャデータとして記録する場合（ステップＳ４６のＹｅｓ）、ジェスチャデータ記録ユニット４５５に記録する（ステップＳ４７）。ジェスチャデータとして記録しない場合（ステップＳ４６のＮｏ）、ジェスチャデータ記録ユニット４５５に記録することなく、別の動画を撮影するために再び撮影待機（ステップＳ４２）を行なうことができる。【0165】
なお、上述の実施形態においては、一連の外形または複数の外形を取得する態様を挙げたが、この態様に限定されない。たとえば、１つの外形を取得し、当該取得した外形について、特徴点と、その位置およびまたは方向の値の分析を行い、ジェスチャデータ記録ユニット４５５に記録してよい。この場合、得られた当該値に、所定の幅を持たせて所定の範囲とし、当該所定の範囲を、ジェスチャとして許容する範囲としてジェスチャデータ記録ユニット４５５に記録することができる。【0166】
（ジェスチャコマンド設定）図３０は、ジェスチャデータ記録ユニット４５５において、ジェスチャデータが、当該ジェスチャデータをコマンドとすべきアプリケーションの操作と関連付けられて記録される関連付け処理の一例を示すフローチャートである。
【0167】
本実施の形態においては、ユーザの操作に従い、ジェスチャ設定アプリの画面に表示された機能から、ジェスチャコマンド設定機能を選択する（ステップＳ５１）。次に、アプリケーションソフトユニット４５９において、アプリケーション操作コマンドを呼び出し、参照する（ステップＳ５２）。アプリケーション操作には、アプリケーションの起動および終了、アプリケーション内の各機能の選択および決定、ならびに画面の移動など、アプリケーションの利用に際し用いられるいかなる操作も含まれる。【0168】
参照したコマンドデータから、ジェスチャによって発生させたいコマンドを選択する（ステップＳ５３）。さらに、ジェスチャデータ記録ユニット４５５から、ジェスチャデータを呼び出し、参照する（ステップＳ５４）。ステップＳ５３で選択したコマンドに関連付けたいジェスチャを選択する（ステップＳ５５）。ユーザは、選択されたジェスチャで設定するか否かを決定する（ステップＳ５６）。選択されたジェスチャで設定する場合（ステップＳ５６のＹｅｓ）、ジェスチャデータと、当該ジェスチャデータをコマンドとして発生させるべきイベントとが関連付けられた状態でジェスチャデータ記録ユニット４５５に記録される（ステップＳ５７）。選択されたジェスチャをキャンセルする場合（ステップＳ５６のＮｏ）、再びジェスチャデータを選択し（ステップＳ５４）、別のジェスチャを選択することができる（ステップＳ５５）。【0169】
なお、上述の実施形態では、先にアプリケーション操作コマンドを呼び出し選択した後に、選択したアプリケーションコマンドに対してジェスチャデータを関連付けるものとしたが、この態様に限定されない。たとえば、先にジェスチャデータを呼び出し選択した後に、選択したジェスチャデータに対してアプリケーション操作コマンドを関連付けてもよい。また、たとえば、アプリケーション操作コマンドを呼び出した後に、ジェスチャデータを直接記録させ、関連付ける態様としてもよい。
【0171】
本実施の形態においては、ユーザの操作に従い、ジェスチャ設定アプリの画面に表示された機能から、ジェスチャコマンド書換え機能を選択する（ステップＳ６１）。次に、ジェスチャデータ記録ユニット４５５から、ジェスチャデータを呼び出し、参照する（ステップＳ６２）。書き換えたいジェスチャコマンドを選択し（ステップＳ６３）、当該ジェスチャコマンドが関連付けられているアプリケーション操作との関連付けを解除するか否かを決定する（ステップＳ６４）。関連付けを解除する場合（ステップＳ６４のＹｅｓ）、解除が実行され、当該ジェスチャコマンドを構成していたジェスチャデータとアプリケーション操作との間の関連性が無くなる（ステップＳ６５）。関連付けを解除しない場合（ステップＳ６４のＮｏ）、この処理を終了する。【0172】
ステップＳ６５によってジェスチャデータとアプリケーション操作との間の関連性が解除された後、さらに、関連性が解除されたジェスチャデータ自体を削除するか否かを決定する（ステップＳ６６）。ジェスチャデータ自体も削除する場合（ステップＳ６６のＹｅｓ）、当該ジェスチャデータはジェスチャデータ記録ユニット４５５から削除される（ステップＳ６７）。【0173】
ステップＳ６７でジェスチャデータが削除された場合、図２９で説明したジェスチャデータ登録処理がなされる（ステップＳ６８）。その後、図３０で説明したジェスチャコマンド設定処理がなされることにより、新たなジェスチャコマンドが設定される（ステップＳ６９）。【0174】
一方、ジェスチャデータを削除しない場合（ステップＳ６６のＮｏ）、図３０で説明したジェスチャコマンド設定処理が行われ、当該ジェスチャデータを他のアプリケーション操作と関連付けられることにより、新たなジェスチャコマンドが設定される（ステップＳ６９）。【0175】
（設定されたジェスチャコマンドの識別によるアプリケーションの操作）上述のように記録されたジェスチャデータ記録ユニット４５５内のジェスチャデータを利用してジェスチャの識別を行なう方法は、図４のステップＳ１からステップＳ４で説明した通りである。より具体的には、上述のジェスチャデータ登録時と同様に、ステップＳ２において、対象の外形イメージデータを複数フレーム取得し、それぞれ、ステップＳ３において、外形の特徴部およびその可動範囲の情報を取得する。さらに、ステップＳ４において、ジェスチャデータ記録ユニット４５５に記録されたジェスチャデータの外形の特徴部およびその可動範囲と、識別すべきジェスチャの外形の特徴部およびその可動範囲とを比較する。双方のデータの一致性を判断することによって、識別すべきジェスチャが、ジェスチャデータ記録ユニット４５５に記録されたジェスチャデータのうちどれに該当するかを判断する。
【0176】
引き続いて、ステップＳ５で説明したとおり、アプリケーションソフトユニット４５９が、ジェスチャ識別ユニット４５６により判定されたジェスチャをコマンドとして所定のアプリケーション操作を行なう。【0178】
図３２に示すように、眼鏡表示装置１００の半透過ディスプレイ２２０には、一部には広告２２１が表示され、さらに一部には地図２２２が表示され、その他には、眼鏡表示装置１００の半透過ディスプレイ２２０を透過して風景２２３が視認され、その他に天気予報２２４および時刻２２５が表示される。【0179】
（視野の説明）次に、眼鏡表示装置１００の半透過ディスプレイ２２０に表示される表示の一例について説明を行なう。図３３（ａ）は、半透過ディスプレイ２２０の視野の一例、図３３（ｂ）は、半透明ディスプレイ２２０の表示の一例を説明する図である。
【0180】
図３３に示すように、本実施の形態においては、眼鏡表示装置１００が視認させることができる表示は、複数の表示７０１，〜，７０７から構成される。複数の表示は、それら全てが一体化した連続像の一部をなすセグメントである。連続像のうち視認部分を遷移させることにより、複数の表示を途切れさせることなくスムーズに遷移させる切換え表示を行なう。図３３に示すように、縦方向に表示７０３、７０２、７０１、７０４、７０５の表示が設けられており、表示７０１を中央として、左右に表示７０６，７０７が設けられる。なお、当然のことながら、当該表示７０１，〜，７０７は、ユーザによって自由に削除または変更することができ、さらに他の表示を追加することもできる。
なお、本実施の形態においては、表示７０１，〜，７０７はシームレスに連続した画像であるが、切換えされるべき表示は、それぞれが独立した非連続の像であってもよい。
【0181】
具体的には、眼鏡表示装置１００の姿勢が水平方向である場合、すなわち、ユーザが眼鏡表示装置１００を装着し、水平前方を向いた場合、表示７０１が表示される。【0182】
続いて、ユーザが眼鏡表示装置１００を装着し、水平面（すなわち水平方向に平行の面）を基準として３０度程度斜め上方を向いた場合、表示７０２が表示される。すなわち、眼鏡表示装置１００におけるジャイロセンサユニット４２０および加速度検知ユニット４３０の少なくとも一方からの信号に基づいて、ユーザの向く方向を認識する。なお、表示７０２は、例えば顔認識アプリの画面が表示されてよい。【0183】
さらに、水平面を基準として４５度程度斜め上方を向いた場合、表示７０３が表示される。表示７０３には天気予報が示されてよい。また、表示７０３にはその他の天空情報が表示されてもよく、時間帯によっては、例えば星座の像を表示させてもよい。【0184】
同様に、ユーザが眼鏡表示装置１００を装着し、水平面を基準として３０度程度斜め下方を向いた場合、表示７０４（例えば、メール画面）が表示され、水平面を基準として４５度程度斜め下方を向いた場合、表示７０５（例えば、地図）が表示され、鉛直面を基準として３０度程度右方を向いた場合、表示７０６（例えば、インターネットブラウザ）が表示され、鉛直面を基準として３０度程度左方を向いた場合、表示７０７（例えば、通話画面）が表示される。【0185】
また、表示７０１乃至表示７０７の切換えは、上記の説明においては、ジャイロセンサユニット４２０および加速度検知ユニット４３０の少なくとも一方からの信号に基づいて行なうこととしているが、これに限定されず、上述した指、掌、腕認識により切換えを行なってもよい。【0186】
さらに、ユーザが歩行する場合、表示７０１から表示７０２へ、表示７０１から表示７０４へ、表示７０１から表示７０７へ、および表示７０１から表示７０６への少なくともいずれかの切換えを行なう条件として、ジャイロセンサユニット４２０および加速度検知ユニット４３０の少なくとも一方からの信号のレベルを高めに設定してもよい。それにより、歩行時に短時間で表示７０１から他の表示に切り替わることを防止できる。また、緊急に振り向く場合には、特に切換えない設定を設けてもよい。一方、天空情報の表示７０３および地図情報の表示７０５はパノラマ表示であってよく、この場合、左右方向の動きに伴ってそれら表示７０３，７０５をスクロールさせてよい。
【0187】
（イベント発生の具体例）続いて、指、掌、手、腕が操作領域４１０ｃに存在する場合と、ジェスチャ領域４１０ｇに存在する場合との違いをユーザが認識し易いように、所定のイベントを発生させる。以下、所定のイベントについて説明を行なう。図３４は、所定のイベント発生の一例を示す模式図であり、図３５は、図３４のイベント発生の他の例を示す模式図であり、図３６は、他のイベント発生の一例を示す模式図である。
【0188】
まず、図３４に示すように、仮想イメージには、赤外線検知ユニット４１０により検知された手Ｈ１の形状が表示される。さらに、ユーザの手が操作領域４１０ｃから離れている場合には、イベントの一例として、手Ｈ１の形状の陰影Ｈ２を表示する。これにより、ユーザは、ジェスチャ領域４１０ｇに手が存在することを容易に認識できる。
【0189】
続いて、図３５に示すように、仮想イメージには、赤外線検知ユニット４１０により検知された手Ｈ１の形状が表示され、陰影Ｈ２よりも濃い陰影Ｈ３が、手Ｈ１の形状の周囲に小さな面積で表示される。したがって、ユーザは、図３４の場合よりも手が操作領域４１０ｃに近づいたことを容易に認識することができる。さらに、手が操作領域４１０ｃ内にある場合には、陰影Ｈ２、Ｈ３は、表示されない。【0190】
その結果、ユーザは、試行錯誤または手探りで操作領域４１０ｃを探す必要がなくなる。すなわち、操作領域４１０ｃまでの距離を陰影の濃度、手の形状と陰影とのずれ方により容易に認識することができる。【0191】
また、図３６に示すように、手が操作領域４１０ｃ内にある場合に、指先に円表示Ｈ４を行なってもよい。【0192】
なお、上記の実施の形態においては、陰影Ｈ２、Ｈ３、円表示Ｈ４が表示されるイベント発生態様について説明したが、これに限定されず、操作領域４１０ｃ内にある場合に、表示に波紋を発生させてもよく、眼鏡表示装置１００に振動発生装置を設けて振動を発生させてもよく、音を発生させてもよく、表示の点滅態様および点灯照度の少なくともいずれかによって表示を変化させてもよい。例えば、操作領域４１０ｃまでの距離を点滅間隔により表してもよく、操作領域４１０ｃまでの距離を点灯照度により表してもよい。例えば、操作領域４１０ｃから離れるほど点滅間隔を長く、近づくほど点滅間隔を短くする、または、操作領域４１０ｃから離れるほど点灯照度を低く、近づくほど点灯照度を高くする、または、操作領域４１０ｃから離れるほどより濃い色による点灯（赤、黒、紫など）を行い、近づくほどより淡い色による点灯（青、黄、ピンクなど）を行なうなど、その他、人間の感覚（視覚、聴覚および触覚に代表される）に訴える任意のイベントを発生させてもよい。【0193】
（眼鏡表示装置の操作）以上の指、掌、腕認識およびイベント発生を伴う眼鏡表示装置１００の使用態様について説明する。
【0194】
まず、ユーザが操作領域４１０ｃ内に手を入れることにより、手の認識が行なわれ、仮想イメージ表示を操作することができる。例えば、仮想イメージ表示を拡大させたり、縮小させたり、表示をスクロールさせたり、ポイントを選択したりすることができる。【0195】
例えば、図３７に示すように、広告２２１の表示をタッチすることで、追加表示を行なってもよい。例えば、広告２２１には、店舗の、商品、サービス等の情報が表示されている。ユーザがその広告２２１をタッチした場合、当該店舗に関するさらに詳しい情報を追加表示させてもよい。たとえば、飲食店の場合には、当該飲食店の代表メニュ、ユーザからの評価、価格帯等を表示させてもよい。
なお、広告２２１は、店舗をカメラユニット３０３で撮影された像そのものであってもよいし、カメラユニット３０３による当該店舗の撮像データに基づいて店舗認識を自動で開始し、その結果、店舗認識アプリ画面に表示された認識結果情報であってもよい。
【0196】
（パロディモードによる表示）また、図３８に示すように、半透過ディスプレイ２２０に一の企業（○○社）のロゴマークが表示されている際に、画面中のロゴマークにタッチ等行なうことで、競合又は非競合の他の企業（△△社）に関連する情報を表示させることができる。この場合、例えばパロディモードとして、当該他の企業のロゴを表示させてもよい。
【0197】
（ジェスチャコマンドによる表示）また、ユーザがジェスチャ領域４１０ｇ内で所定の手のポーズを作ることにより、予め設定された動作が実施される。図３９から図４６は、ジェスチャ認識の例を示す模式図である。
【0198】
例えば、図３９に示すように、ユーザが握った手Ｈ１の親指と人差し指を９０度に開いて伸ばしたＬ字サインを作った場合、親指と人差し指との間に、メニュ画面Ｖ１が表示されてもよい。【0199】
また、図４０に示すように、握った手Ｈ１の人差し指と中指とを延ばし広げた、いわゆるピースサインの場合には、人差し指と中指との間に、所定の画像Ｖ２を表示させてもよい。【0200】
また、図４１に示すように、挨拶行為により、手Ｈ１を軽く開いて矢印方向に移動させた場合には、顔認識のアプリを自動的に起動させる。カメラユニット３０３で取得した相手の人物の顔データに基づいて顔認識を自動で開始し、顔認識アプリ画面Ｖ３に、氏名、企業名、役職、最後に会った日時および場所等の情報を表示させる。さらに顔認識アプリの認識による同一人物に会うたびにフラグを立て、フラグの数を顔認識アプリ画面Ｖ３に表示させてもよい。この場合、フラグの数によって、顔認識アプリ画面Ｖ３の背景および色等を異ならせてもよい。【0201】
さらに、図４２に示すように、握った手Ｈ１の親指と小指を広げた、いわゆるアロハサインを作り、矢印方向にゆすった場合には、電話のアプリが自動的に起動し、連絡帳のデータＶ４が表示される。ユーザは、電話のアプリを操作して、所定の相手に電話をかけることができる。【0202】
また、図４３に示すように、手Ｈ１の指でアルファベットのＳの文字を描くことにより、ＳＮＳ（ＳＯＣＩＡＬ ＮＥＴＷＯＲＫＩＮＧ ＳＥＲＶＩＣＥ）アプリを自動的に起動させ、ＳＮＳアプリ画面Ｖ５を表示させることができる。【0203】
さらに、図４４に示すように、漢字アプリを起動させ、手Ｈ１の人差し指を認識させることにより人差し指の位置に筆の画像をさらに追加表示させ、漢字の練習アプリ画面Ｖ６に漢字を書いて練習できる。【0204】
また、図４５に示すように、手Ｈ１を手刀の形状にした場合、刀アプリを起動させ、手刀上の手の位置に刀の画像をさらに追加表示させ、仮想イメージ表示画面Ｖ７を切ることができる。【0205】
また、図４６に示すように、両方の手Ｈ１の指で、四角を形成した場合、カメラアプリが自動起動され、カメラアプリ画面Ｖ８中で、形成した四角から抽出される撮像用フレーム内の風景等を撮像してもよい。【0206】
以上のように、本実施の形態の形状認識装置によると、基準点Ｃ０と、外形ＯＦ上の複数の頂点ａｎまたは外形点ｂｎとの距離ｄに基づいて、外形ＯＦから指先部分の特徴点ａｉ，ｂｊおよび指間部分の特徴点ａｋ，ｂｋを判定し、指先部分Ｌ、Ｒ、Ｍ、Ｆ、Ｔおよび指間部分ＬＲ、ＲＭ、ＭＦ、ＦＴを認識することができる。たとえば、計測された距離ｄが極大Ｌ、Ｒ、Ｍ、Ｆ、Ｔを示す場合の頂点（例えば極大Ｌの場合は頂点ａｉ、外形点ｂｊ）が、手の外形ＯＦにおける指先部分の特徴点であり、極小ＬＲ、ＲＭ、ＭＦ、ＦＴを示す場合の頂点（例えば極小ＬＲの場合は頂点ａｋ、外形点ｂｋ）が、手の外形ＯＦにおける指間部分の特徴点であると判断することができる。したがって、仮にいずれかの指先が、手の外形の凸包より内側に位置する場合であっても、当該内側に位置する指も正確に判定することができる。
【0207】
また、本実施の形態の形状認識装置によると、赤外線検知ユニット４１０によって外形が検知されるため、手の外形ＯＦを正確に検知することができる。【0208】
さらに、本実施の形態の形状認識装置によると、半透過ディスプレイ２２０により生成された立体視像の立体視領域（仮想イメージ表示領域２２０３Ｄ）と赤外線検知ユニット４１０の深度検知領域（三次元空間検知領域４１０３Ｄ）とが共有する共有領域において手の外形を検知することができるため、立体視像を表示させつつ、手の形状認識を行なうことができる。【0209】
さらに本実施の形態の形状認識装置によると、眼鏡表示装置１００に備えられているため、眼鏡表示装置１００をかけた状態で手の形状認識を行うことができる。また、検知される手の外形とユーザが視認できる手の外形とがほぼ同じとなり、表示オブジェクトの操作を行う場合およびジェスチャの登録などを行う場合に、形状認識装置に検知されやすい態様を意識しながら手を検知させることもできる。【0210】
本発明においては、制御ユニット４５０が「形状認識装置」に相当し、外形ＯＦが「検知された外形」に相当し、赤外線検知ユニット４１０が「外形検知部」および「深度センサ」に相当し、最大内接円Ｃが「最大内接円」に相当し、基準点Ｃ０が「基準点」に相当し、頂点ａｎ、ａｉ、ａｋおよび外形点ｂｎ、ｂｊ、ｂｋが「外形点」に相当し、距離ｄが「距離」に相当し、半直線ＨＬが「半直線」に相当し、半透過ディスプレイ２２０が「表示装置」に相当し、仮想イメージ表示領域２２０３Ｄが「立体視領域」に相当し、三次元空間検知領域４１０３Ｄが「深度検知領域」に相当し、共有領域（仮想イメージ表示領域２２０３Ｄと一致）が「共有領域」に相当し、眼鏡表示装置１００が「ヘッドマウントディスプレイ装置」に相当する。【0211】
本発明の好ましい一実施の形態は上記の通りであるが、本発明はそれだけに制限されない。本発明の精神と範囲から逸脱することのない様々な実施形態が他になされることは理解されよう。さらに、本実施形態において、本発明の構成による作用および効果を述べているが、これら作用および効果は、一例であり、本発明を限定するものではない。