特許 5926184 コンピュータ装置の遠隔制御

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5926184

(24)【登録日】2016年4月28日

(45)【発行日】2016年5月25日

(54)【発明の名称】コンピュータ装置の遠隔制御

(51)【国際特許分類】

   G06F 3/01 20060101AFI20160516BHJP

   G06F 3/0346 20130101ALI20160516BHJP

   G06F 3/0354 20130101ALI20160516BHJP

【ＦＩ】

   G06F3/01 570

   G06F3/0346 422

   G06F3/0354 451

【請求項の数】40

【全頁数】32

(21)【出願番号】特願2012-530394(P2012-530394)

(86)(22)【出願日】2010年9月19日

(65)【公表番号】特表2013-505508(P2013-505508A)

(43)【公表日】2013年2月14日

(86)【国際出願番号】IB2010054228

(87)【国際公開番号】WO2011036618

(87)【国際公開日】20110331

【審査請求日】2013年8月23日

(31)【優先権主張番号】61/244,473

(32)【優先日】2009年9月22日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】512073677

【氏名又は名称】ペブルステック リミテッド

(74)【代理人】

【識別番号】100103816

【弁理士】

【氏名又は名称】風早 信昭

(74)【代理人】

【識別番号】100120927

【弁理士】

【氏名又は名称】浅野 典子

(72)【発明者】

【氏名】グロッシンガー， ナダフ

(72)【発明者】

【氏名】グロッシンガー， イスラエル

(72)【発明者】

【氏名】ロマーノ， ニタイ

【審査官】 間野 裕一

(56)【参考文献】

【文献】 国際公開第２００９／０１８１６１（ＷＯ，Ａ１）

【文献】 米国特許第７４４０５９０（ＵＳ，Ｂ１）

【文献】 米国特許出願公開第２００８／０２５６４９４（ＵＳ，Ａ１）

【文献】 特開２０００−２６７８００（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／０１８９８５８（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１ − ３／０４８９

(57)【特許請求の範囲】

【請求項1】

コンピュータ装置の遠隔手制御のための装置であって、
コンピュータ装置のユーザの手の動きを追跡するように構成された手追跡器と、
前記手追跡器に関連付けられ、手を表わす第１画像および第２画像をユーザに提示し、かつ追跡された動きに従って第１画像を動かすように構成された画像提示器と、
前記画像提示器に関連付けられ、第１画像と第２画像との間の相互作用に応じてコンピュータ装置を制御するように構成され、それによって、第１画像および第２画像を前記相互作用させるように手を動かすことにより、ユーザがコンピュータ装置を制御することを可能にするコンピュータ制御器と
を備え、
前記手追跡器はさらに、手に投射される光パターンの連続的特徴のセグメント化を検知することによって動きを追跡するように構成され、平らな表面に投射される光パターンは、第１方向に前記連続的特徴を有し、第１方向に対し実質的に垂直な方向に非連続的であり、
前記手追跡器は、前記連続的特徴に沿って反射された光の光強度プロファイルの変化に基づいて前記連続的特徴のセグメント化を検知するように構成されている、装置。

【請求項2】

前記手追跡器はさらに、手の動きを追跡するために、二次元ビデオデータを使用するように構成される、請求項１に記載の装置。

【請求項3】

光パターンは、互いに実質的に平行に配列された複数の縞を含み、前記手追跡器はさらに、光パターンにおいて、手のそれぞれの指による縞のセグメント化によって生じる縞セグメントの少なくとも１つのクラスタを識別し、指による縞のセグメント化によって生じる縞セグメントのクラスタを追跡することによって指の動きを追跡するように構成される、請求項１に記載の装置。

【請求項4】

前記手追跡器はさらに、追跡されたクラスタ内の縞のセグメントの数の変化を検知することによって、指の深度移動を識別するように構成される、請求項３に記載の装置。

【請求項5】

投射された光パターンにおける連続的特徴は、光パターンの伝搬方向に垂直な方向に変化する光強度プロファイルを有する、請求項１に記載の装置。

【請求項6】

投射された光パターンは、光が物体に向かって伝搬する方向に変化する断面強度プロファイルを有する、請求項１に記載の装置。

【請求項7】

コンピュータ装置の遠隔手制御のための装置であって、
コンピュータ装置のユーザの手の動きを追跡するように構成された手追跡器と、
前記手追跡器に関連付けられ、手を表わす第１画像および第２画像をユーザに提示し、かつ追跡された動きに従って第１画像を動かすように構成された画像提示器と、
前記画像提示器に関連付けられ、第１画像と第２画像との間の相互作用に応じてコンピュータ装置を制御するように構成され、それによって、第１画像および第２画像を前記相互作用させるように手を動かすことにより、ユーザがコンピュータ装置を制御することを可能にするコンピュータ制御器と
を備え、
前記手追跡器は光パターンを投射するように構成され、
前記光パターンは、互いに実質的に平行に配列された複数の縞を含み、前記手追跡器はさらに、光パターンにおいて、手の掌による縞のセグメント化によって生じる縞セグメントの少なくとも１つのクラスタを識別し、掌による縞のセグメント化によって生じる縞セグメントのクラスタを追跡することによって手の動きを追跡するように構成され、
前記手追跡器は、前記縞に沿って反射された光の光強度プロファイルの変化に基づいて前記縞セグメントを生じるように構成されている、装置。

【請求項8】

投射された光パターンにおける複数の縞は、光パターンの伝搬方向に垂直な方向に変化する光強度プロファイルを有する、請求項７に記載の装置。

【請求項9】

投射された光パターンは、光が物体に向かって伝搬する方向に変化する断面強度プロファイルを有する、請求項７に記載の装置。

【請求項10】

コンピュータ装置の遠隔手制御のための装置であって、
コンピュータ装置のユーザの手の動きを追跡するように構成された手追跡器と、
前記手追跡器に関連付けられ、手を表わす第１画像および第２画像をユーザに提示し、かつ追跡された動きに従って第１画像を動かすように構成された画像提示器と、
前記画像提示器に関連付けられ、第１画像と第２画像との間の相互作用に応じてコンピュータ装置を制御するように構成され、それによって、第１画像および第２画像を前記相互作用させるように手を動かすことにより、ユーザがコンピュータ装置を制御することを可能にするコンピュータ制御器と
を備え、
前記手追跡器はさらに、対象を識別しかつ追跡することからなる群の少なくとも１つの要素を実施するように構成され、前記要素は、手に投射される光パターンの連続的特徴に沿ったノーテーションの位置のずれを検知することによって実施され、
前記手追跡器は、前記連続的特徴に沿って反射された光の光強度プロファイルの変化に基づいて前記連続的特徴に沿ったノーテーションの位置のずれを検知するように構成されている、請求項１に記載の装置。

【請求項11】

投射された光パターンにおける連続的特徴は、光パターンの伝搬方向に垂直な方向に変化する光強度プロファイルを有する、請求項１０に記載の装置。

【請求項12】

投射された光パターンは、光が物体に向かって伝搬する方向に変化する断面強度プロファイルを有する、請求項１０に記載の装置。

【請求項13】

第１方向に連続的特徴を有し、かつ第１方向に対し実質的に垂直な方向に非連続的特徴を有する光パターンを手の上に投射するように構成された投光器と、
前記手追跡器に関連付けられ、光パターンを投射された手の画像を取得することにより第一画像を取得するように構成されたカメラと
を備えた、請求項１に記載の装置。

【請求項14】

前記投光器はコンピュータ装置から遠隔位置にある、請求項１３に記載の装置。

【請求項15】

前記カメラはコンピュータ装置から遠隔位置にある、請求項１３に記載の装置。

【請求項16】

前記投光器は、光ビームを放出するように構成された光源と、
光パターンを生成するために、光ビームを修正するように構成された微細構造素子と
を備えた、請求項１３に記載の装置。

【請求項17】

前記微細構造素子はさらに、光ビームを、光ビームに沿って変化する断面強度プロファイルを有する光ビームに変換するように構成される、請求項１６に記載の装置。

【請求項18】

前記手追跡器に関連付けられ、追跡された手の動きの中で予め定められたジェスチャを検知するように構成されたジェスチャ認識器をさらに含み、前記コンピュータ制御器はさらに、検知されたジェスチャに対し予め定められた方法でコンピュータ装置を制御するように構成される、請求項１に記載の装置。

【請求項19】

前記画像提示器はさらに、予め定められたジェスチャを検知すると、第１画像を予め定められた位置に位置合せすること、第１画像のサイズを変更すること、及び第２画像のサイズを変更することからなる群からの１つの要素を実施するように構成される、請求項１８に記載の装置。

【請求項20】

前記コンピュータ制御器は、携帯電話機、自動車に据え付けられる装置、及び楽器からなる群の１つの要素の一部である、請求項１に記載の装置。

【請求項21】

前記手追跡器は、コンピュータ装置から遠隔位置にある、請求項１に記載の装置。

【請求項22】

第２画像は、コンピュータ入力装置を表わす、請求項１に記載の装置。

【請求項23】

コンピュータ装置の遠隔手制御のためのコンピュータ実装方法であって、コンピュータ装置が実行するようにプログラムされたステップを含み、該ステップが
ａ）コンピュータ装置のユーザの手の動きを追跡するステップと、
ｂ）手を表わす第１画像および第２画像をユーザに提示し、かつ追跡された動きに呼応して第１画像を動かすステップと、
ｃ）第１画像と第２画像との間の相互作用に従ってコンピュータ装置を制御し、それによって、第１画像および第２画像を相互作用させるように手を動かすことにより、ユーザがコンピュータ装置を制御することを可能にするステップと
を含み、
手の動きの前記追跡はさらに、手に投射された光パターンの連続的特徴のセグメント化を検知することを含み、平らな表面に投射される光パターンは、第１方向に前記連続的特徴を有し、第１方向に対して実質的に垂直な方向に非連続的であり、
前記連続的特徴のセグメント化を検知することは、前記連続的特徴に沿って反射された光の光強度プロファイルの変化に基づいている、方法。

【請求項24】

手の動きの前記追跡は、二次元ビデオデータを用いて実行される、請求項２３に記載の方法。

【請求項25】

投射された光パターンにおける連続的特徴は、光パターンの伝搬方向に垂直な方向に変化する光強度プロファイルを有する、請求項２３に記載の方法。

【請求項26】

投射された光パターンは、光が物体に向かって伝搬する方向に変化する断面強度プロファイルを有する、請求項２３に記載の方法。

【請求項27】

コンピュータ装置の遠隔手制御のためのコンピュータ実装方法であって、コンピュータ装置が実行するようにプログラムされたステップを含み、該ステップが
ａ）コンピュータ装置のユーザの手の動きを追跡するステップと、
ｂ）手を表わす第１画像および第２画像をユーザに提示し、かつ追跡された動きに呼応して第１画像を動かすステップと、
ｃ）第１画像と第２画像との間の相互作用に従ってコンピュータ装置を制御し、それによって、第１画像および第２画像を相互作用させるように手を動かすことにより、ユーザがコンピュータ装置を制御することを可能にするステップと
を含み、
前記追跡は光パターンを投射することをさらに含み、
前記光パターンは、互いに実質的に平行に配列された複数の縞を含み、方法はさらに、光パターンにおいて、手のそれぞれの指による縞のセグメント化によって生じる縞セグメントの少なくとも１つのクラスタを識別し、指による縞のセグメント化によって生じる縞セグメントのクラスタを追跡することによって指の動きを追跡することを含み、ただし、前記縞のセグメント化は、前記縞に沿って反射された光の光強度プロファイルの変化に基づいている、方法。

【請求項28】

追跡されたクラスタ内の縞のセグメントの数の変化を検知することによって、指の深度移動を識別することをさらに含む、請求項２７に記載の方法。

【請求項29】

投射された光パターンにおいて互いに実質的に平行に配列された複数の縞はそれぞれ、光パターンの伝搬方向に垂直な方向に変化する光強度プロファイルを有する、請求項２７に記載の方法。

【請求項30】

投射された光パターンは、光が物体に向かって伝搬する方向に変化する断面強度プロファイルを有する、請求項２７に記載の方法。

【請求項31】

コンピュータ装置の遠隔手制御のためのコンピュータ実装方法であって、コンピュータ装置が実行するようにプログラムされたステップを含み、該ステップが
ａ）コンピュータ装置のユーザの手の動きを追跡するステップと、
ｂ）手を表わす第１画像および第２画像をユーザに提示し、かつ追跡された動きに呼応して第１画像を動かすステップと、
ｃ）第１画像と第２画像との間の相互作用に従ってコンピュータ装置を制御し、それによって、第１画像および第２画像を相互作用させるように手を動かすことにより、ユーザがコンピュータ装置を制御することを可能にするステップと
を含み、
前記追跡は光パターンを投射することをさらに含み、
前記光パターンは、互いに実質的に平行に配列された複数の縞を含み、方法はさらに、光パターンにおいて、手の掌による縞のセグメント化によって生じる縞セグメントの少なくとも１つのクラスタを識別し、掌による縞のセグメント化によって生じる縞セグメントのクラスタを追跡することによって手の動きを追跡することを含み、ただし、前記縞のセグメント化は、前記縞に沿って反射された光の光強度プロファイルの変化に基づいている、方法。

【請求項32】

手の動きの前記追跡は、手に投射された光パターンの連続的特徴に沿ったノーテーションの位置のずれを検知することをさらに含む、請求項３１に記載の方法。

【請求項33】

投射された光パターンにおいて互いに実質的に平行に配列された複数の縞はそれぞれ、光パターンの伝搬方向に垂直な方向に変化する光強度プロファイルを有する、請求項３１に記載の方法。

【請求項34】

投射された光パターンは、光が物体に向かって伝搬する方向に変化する断面強度プロファイルを有する、請求項３１に記載の方法。

【請求項35】

コンピュータ装置の遠隔手制御のためのステップを実行するためのコンピュータ実行可能命令を格納する非一時的なコンピュータ可読媒体であって、該ステップが
ａ）コンピュータ装置のユーザの手の動きを追跡するステップと、
ｂ）手を表わす第１画像および第２画像をユーザに提示し、かつ追跡された動きに呼応して第１画像を動かすステップと、
ｃ）第１画像と第２画像との間の相互作用に従ってコンピュータ装置を制御し、それによって、第１画像および第２画像を相互作用させるように手を動かすことにより、ユーザがコンピュータ装置を制御することを可能にするステップと
を含み、前記追跡はさらに、手に投射された光パターンの連続的特徴のセグメント化を検知することを含み、平らな表面に投射される光パターンは、第１方向に前記連続的特徴を有し、第１方向に対して実質的に垂直な方向に非連続的であり、
前記追跡は、前記連続的特徴に沿って反射された光の光強度プロファイルの変化に基づいて前記連続的特徴のセグメント化を検知する、コンピュータ可読媒体。

【請求項36】

投射された光パターンにおける連続的特徴は、光パターンの伝搬方向に垂直な方向に変化する光強度プロファイルを有する、請求項３５に記載のコンピュータ可読媒体。

【請求項37】

投射された光パターンは、光が物体に向かって伝搬する方向に変化する断面強度プロファイルを有する、請求項３５に記載のコンピュータ可読媒体。

【請求項38】

コンピュータ装置の遠隔手制御のための装置であって、
コンピュータ装置のユーザの手を追跡するように構成された手追跡器と、
前記手追跡器に関連付けられ、手を表わす第１画像および第２画像をユーザに提示し、かつ追跡に従って第１画像を動かすように構成された画像提示器と、
前記画像提示器に関連付けられ、第１画像と第２画像との間の相互作用に応じてコンピュータ装置を制御するように構成され、それによって、第１画像および第２画像を前記相互作用させるように手を動かすことにより、ユーザがコンピュータ装置を制御することを可能にするコンピュータ制御器と
を備え、
前記手追跡器はさらに、手に投射される光パターンの連続的特徴のセグメント化を検知することによって手を追跡するように構成され、平らな表面に投射される光パターンは、第１方向に前記連続的特徴を有し、第１方向に対し実質的に垂直な方向に非連続的であり、
前記手追跡器は、前記連続的特徴に沿って反射された光の光強度プロファイルの変化に基づいて前記連続的特徴のセグメント化を検知するように構成されている、装置。

【請求項39】

投射された光パターンにおける連続的特徴は、光パターンの伝搬方向に垂直な方向に変化する光強度プロファイルを有する、請求項３８に記載の装置。

【請求項40】

投射された光パターンは、光が物体に向かって伝搬する方向に変化する断面強度プロファイルを有する、請求項３８に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータ装置の制御に関し、さらに詳しくは、しかし排他的にではなく、コンピュータ装置の遠隔制御のためのシステムおよび方法に関する。

【背景技術】

【0002】

現在、コンピュータ装置の遠隔制御に使用される多種多様の方法が存在する。

【0003】

現在使用されている方法の幾つかは、コンピュータユーザが、ユーザの腕または脚のような１つ以上の身体部分を使用して、予め定められたジェスチャによりコンピュータ装置を制御することを可能にする。

【0004】

現在使用されている方法では、ジェスチャの離散的セットが定義される。ひとたびユーザの身体部分が予め定められた位置に整列したように見えると、ジェスチャが検知される。その結果、コンピュータ装置が予め定められた機能を実行する。

【0005】

現在の方法では、各ジェスチャは、ひとたび検知されると、特定のジェスチャに対して予め定められたコンピュータ動作を起動させる。現在の方法は典型的に、初期設定段階を含む。設定段階で、ジェスチャの離散的セットおよびセットにおける特定の各ジェスチャに対するコンピュータ機能が定義される。

【0006】

ジェスチャは、現在使用されている種々の方法を介して検知することができる。

【0007】

例えば、現在の方法の幾つかは、デジタル・ビデオ・ストリームからの通常の画像解析を含む。ビデオ画像を解析して、優勢な身体部分の位置および姿勢を検知する。身体部分が予め定められた位置に位置合せされていると、予め定められた機能がコンピュータ装置によって実行される。

【0008】

通常の画像解析方法では、身体部分の検知は、ビデオ画像の各画素の解析によって実行される。画素は、当該画素の色値と当該画素に近接する他の画素の色値との間で行なわれる比較によって解析される。すなわち、通常の画像解析方法は、身体部分と背景物体との間の色の有意差に依存する。

【0009】

現在使用されている他の方法は、計算量が過大になる三次元深度マップの計算に基づく。

【0010】

深度マップとは、深度カメラの前に位置する物体の部分までの距離を各画素に保持する画像である。

【0011】

三次元深度マップにより、ユーザの手の位置を抽出することは、手が典型的にはユーザの身体の残部の前に位置するので、比較的容易であることが判明するであろう。したがって、特定の距離を越える距離に位置する三次元マップの部分は放棄してもよい。

【0012】

深度マップは種々の方法を用いて計算することができる。例えば立体視法では、２つ以上のカメラを使用してユーザの身体の画像を取得する。カメラから取得された物体の画像を比較かつ解析して、ユーザの身体の表面上の各点の深さ位置の三次元データを生成し、こうして深度マップを作成する。

【0013】

陰影からの形状復元（ｓｈａｐｅ ｆｒｏｍ ｓｈａｄｉｎｇ）法では、ユーザの身体は幾つかの方向から照明される。

【0014】

身体の影を比較かつ解析して、ユーザの身体の表面上の各点の位置の三次元データを生成し、こうして深度マップを作成する。

【発明の概要】

【0015】

本発明の第１態様では、コンピュータ装置の遠隔手制御のための装置であって、コンピュータ装置のユーザの手の動きを追跡するように構成された手追跡器と、手追跡器に関連付けられ、手を表わす第１画像および第２画像をユーザに提示し、かつ追跡された動きに従って第１画像を動かすように構成された画像提示器と、画像提示器に関連付けられ、第１画像と第２画像との間の相互作用に応じてコンピュータ装置を制御するように構成され、それによって、第１画像および第２画像を相互作用させるように手を動かすことにより、ユーザがコンピュータ装置を制御することを可能にするコンピュータ制御器とを備えた装置を提供する。

【0016】

本発明の第２態様では、コンピュータ装置の遠隔手制御のためのコンピュータ実装方法であって、コンピュータ装置が実行するようにプログラムされたステップを含み、該ステップがコンピュータ装置のユーザの手の動きを追跡するステップと、手を表わす第１画像および第２画像をユーザに提示し、かつ追跡された動きに呼応して第１画像を動かすステップと、第１画像と第２画像との間の相互作用に従ってコンピュータ装置を制御し、それによって、第１画像および第２画像を相互作用させるように手を動かすことにより、ユーザがコンピュータ装置を制御することを可能にするステップとを含む、方法を提供する。

【0017】

本発明の第３態様では、コンピュータ装置の遠隔手制御のためのステップを実行するためのコンピュータ実行可能命令を格納するコンピュータ可読媒体であって、該ステップがコンピュータ装置のユーザの手の動きを追跡するステップと、手を表わす第１画像および第２画像をユーザに提示し、かつ追跡された動きに呼応して第１画像を動かすステップと、第１画像と第２画像との間の相互作用に従ってコンピュータ装置を制御し、それによって、第１画像および第２画像を相互作用させるように手を動かすことにより、ユーザがコンピュータ装置を制御することを可能にするステップとを含む、コンピュータ可読媒体を提供する。

【0018】

別途定義されない限り、本明細書で使用されるすべての技術的用語および／または科学的用語は、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。本明細書で与えられる材料、方法および実施例は例示にすぎず、限定であることは意図されない。

【0019】

本発明の方法およびシステムを実行することは、特定の選択されたタスクまたはステップを、手動操作で、自動的にまたはそれらを組み合わせて実行または完了することを含んでいる。さらに、本発明の方法およびシステムの好ましい実施形態の実際の機器や装置によって、いくつもの選択されたステップを、ハードウェアによって、またはソフトウェアによって、ファームウェアのオペレーティングシステムまたはそれらの組合せで実行できる。

【0020】

例えば、ハードウェアとして、本発明の選択されたステップは、チップまたは回路として実施されることができる。ソフトウェアとして、本発明の選択されたステップは、コンピュータが適切なオペレーティングシステムを使って実行する複数のソフトウェアの命令として実施されることができる。いかなる場合においても、本発明の方法およびシステムの選択されたステップは、データプロセッサ、例えば複数の命令を実行する計算プラットフォームで実行されるものとして記載されることができる。

【図面の簡単な説明】

【0021】

本明細書では本発明のいくつかの実施形態を単に例示し図面を参照して説明する。特に詳細に図面を参照して、示されている詳細が例示として本発明の好ましい実施態様を例示考察することだけを目的としており、本発明の原理や概念の側面の最も有用でかつ容易に理解される説明であると考えられるものを提供するために提示していることを強調するものである。図面について行う説明によって本発明のいくつもの形態を実施する方法は当業者には明らかになるであろう。

【0022】

【図1】図１は、本発明の例示的実施形態に係る、コンピュータ装置の遠隔手制御のための装置を模式的に示すブロック図である。

【0023】

【図2】図２は、本発明の例示的実施形態に係る、コンピュータ装置の遠隔手制御のための方法を示すフローチャートである。

【0024】

【図3】図３は、本発明の例示的実施形態に係る、コンピュータ装置の遠隔手制御のステップを実行するためのコンピュータ実行可能命令を格納するコンピュータ可読媒体を模式的に示すブロック図である。

【0025】

【図4】図４は、本発明の例示的実施形態に係る、光パターンを投射された手を示す模式図である。

【0026】

【図5】図５は、本発明の例示的実施形態に係る、強度ノーテーションを有する光パターンを投射された手を示す模式図である。

【0027】

【図6】図６は、本発明の例示的実施形態に係る、コンピュータキーボードの画像を用いるコンピュータ装置の遠隔手制御を模式的に示すブロック図である。

【0028】

【図7】図７は、本発明の例示的実施形態に係る、コンピュータ装置の遠隔手制御のための第１ジェスチャを模式的に示すブロック図である。

【0029】

【図8】図８は、本発明の例示的実施形態に係る、コンピュータ装置の遠隔手制御のための第２ジェスチャを模式的に示すブロック図である。

【0030】

【図9】図９は、本発明の例示的実施形態に係る、コンピュータ装置の遠隔手制御のための第３ジェスチャを模式的に示すブロック図である。

【0031】

【図10】図１０は、本発明の例示的実施形態に係る、コンピュータ装置の遠隔手制御のための第４ジェスチャを模式的に示すブロック図である。

【0032】

【図11】図１１は、本発明の例示的実施形態に係る、コンピュータ装置の遠隔手制御のためのシステムを模式的に示すブロック図である。

【発明を実施するための形態】

【0033】

本発明の実施形態は、コンピュータ装置の遠隔手制御のため装置および方法を含む。

【0034】

本発明の例示的実施形態では、コンピュータ装置のユーザの手の動きが連続的に追跡される。

【0035】

ユーザに対し、手を表わす第１画像、および第２画像が提示される。

【0036】

第１画像は、スクリーン上に提示されるユーザの手の完全かつ正確な動画像とすることができる。代替的に、第１画像はむしろ、手の指先の位置を表わす５つのカーソルから構成される。第１画像はまた、以下でさらに詳述するように、第２画像に対する指（すなわち人差し指から小指までの指、親指、または両方）の位置についてのユーザ情報をもたらす、いずれかの他の視覚的外観とすることもできる。

【0037】

ユーザがその手（またはその人差し指から小指までの指もしくは親指だけ）を動かすと、第１画像は追跡された動きに呼応して動く。すなわち、第１画像の動きはユーザの手の動きと相関する。ユーザがその手を左に動かすと、第１画像は左に動く。ユーザがその指の１本を屈曲すると、第１画像も指を屈曲する（またはそれに応じて指の先の位置を表わすカーソルを動かす）などする。

【0038】

任意選択的に、第２画像は、ボタンおよびメニューオプションを持つＭｉｃｒｏｓｏｆｔ（商標）Ｅｘｃｅｌスプレッドシート、ハイパーリンク、ボタン等を持つウェブページのような、コンピュータアプリケーションのグラフィカル・ユーザ・インタフェース（ＧＵＩ）である。

【0039】

コンピュータ装置は、あたかも第１画像がユーザ自身の手であり、かつ第２画像が、タッチスクリーンにユーザ自身の指をタッチすることによって、ユーザがＧＵＩのメニュー、ボタン等と対話することを可能にするタッチスクリーンに提示されるＧＵＩであるかのように、第１画像と第２画像との間の相互作用に従って制御される。

【0040】

すなわち、第１画像および第２画像を相互作用させるために、ユーザの手または指を動かすことによって、ユーザはコンピュータ装置を制御することが可能になる。

【0041】

任意選択的に、第２画像はむしろ、コンピュータ入力装置（例えば、当業界で公知の通り、コンピュータキーボード、コンピュータマウス、ジョイスティック等）を表わす画像である。

【0042】

コンピュータ装置は、あたかも画像内の手がユーザ自身の手であり、かつ第２画像が、コンピュータ装置に接続された、任意の標準的周辺コンピュータ装置（例えばキーボード、ジョイスティック等）のような実際のコンピュータ入力装置であるかのように、第１画像と第２画像との間の相互作用に従って制御される。ユーザはこのようにして、第１画像および第２画像を相互作用させるようにユーザの手を動かすことによって、コンピュータ装置を制御することが可能になる。

【0043】

したがって、ユーザの手の動きによるコンピュータ装置の遠隔制御は、（特定のジェスチャを定義することもできるが）特定のジェスチャの予め定められたセットに限定されたインタフェースというよりむしろ連続ユーザインタフェースに基づく。
こともできるが）。

【0044】

一実施例では、ユーザがその手を動かすと、第１画像がコンピュータキーボードの画像上で動き、ユーザがその指をタイピング動作するように動かすと、以下でさらに詳述する通り、コンピュータ装置は、あたかもユーザが実際のキーボードを用いてタイピングしたかのように応答する。

【0045】

本発明の例示的実施形態に係る装置および方法の原理および動作は、図面および関連する説明を参照することによって、理解を深めることができる。

【0046】

本発明の少なくとも１つの実施形態を詳しく説明する前に、本発明は、その適用において、下記の説明に示されるか、または図面において例示される構成要素の構成および配置の細部に必ずしも限定されないことを理解しなければならない。

【0047】

本発明は他の実施形態が可能であり、あるいは様々なやり方で実施もしくは実行することができる。また、本書で使用する表現および専門用語は説明を目的とするものであって、限定とみなすべきではないことを理解されたい。

【0048】

ここで図１を参照すると、それは、本発明の例示的実施形態に係る、コンピュータ装置の遠隔手制御のための装置を模式的に示すブロック図である。

【0049】

装置１０００はコンピュータ装置上に実装することができ、コンピュータ装置はデスクトップコンピュータ、ラップトップコンピュータ、携帯電話機等である。装置１０００はまた、コンピュータ装置に接続可能な装置、例えばコンピュータ装置と連絡するコンピュータプロセッサを持つユニットに実装することもできる。さらに、装置１０００はソフトウェアとして、ハードウェアとして、またはソフトウェアおよびハードウェアの組合せとして実装することができる。

【0050】

装置１０００は手追跡器１１０を含む。

【0051】

手追跡器１１０は、以下でさらに詳述する通り、例えば指および親指の微細な動きを追跡するのに有用なパターンに構造化された光を投射された手の画像を用いて、コンピュータ装置のユーザの手の動きを追跡する。

【0052】

任意選択的に、手追跡器１１０は、以下でさらに詳述する通り、コンピュータ装置から遠隔位置にある。

【0053】

装置１０００はさらに、手追跡器１１０と連絡する画像提示器１２０を含む。

【0054】

画像提示器１２０は、手を表わす第１画像、および第２画像を提示する。

【0055】

任意選択的に、第２画像は、ボタンおよびメニューオプションを持つＭｉｃｒｏｓｏｆｔ（商標）Ｅｘｃｅｌスプレッドシート、ハイパーリンク、ボタン等を持つウェブページのような、コンピュータアプリケーションのグラフィカル・ユーザ・インタフェース（ＧＵＩ）である。

【0056】

任意選択的に、第２画像は、以下でさらに詳述する通り、むしろコンピュータ入力装置、例えばコンピュータマウスまたはコンピュータキーボードを表わす。

【0057】

任意選択的に、第２画像は別のグラフィカルオブジェクト、ピクチャ等である。

【0058】

第１画像は、スクリーン上に提示されるユーザの手の完全かつ正確な動画像とすることができる。代替的に、第１画像はむしろ、手の指先の位置を表わす５つのカーソルから構成される。第１画像はまた、第２画像に対する指（すなわち人差し指から小指までの指、親指、または両方）の位置についてのユーザ情報をもたらす、いずれかの他の視覚的外観とすることもできる。

【0059】

画像提示器１２０はさらに、以下でさらに詳述する通り、手追跡器１１０によって追跡されるユーザの手の動きに呼応して第１画像を動かす。

【0060】

装置１０００はさらに、画像提示器１２０と連絡するコンピュータ制御器１３０を含む。

【0061】

任意選択的に、コンピュータ制御器１３０は、以下でさらに詳述する通り、デスクトップコンピュータ、ラップトップコンピュータ等の一部である。

【0062】

任意選択的に、コンピュータ制御器１３０は、以下でさらに詳述する通り、自動車に据え付けられる装置の一部である。

【0063】

任意選択的に、コンピュータ制御器１３０は、以下でさらに詳述する通り、携帯電話機（例えばスマートフォン）の一部である。

【0064】

コンピュータ制御器１３０は、第１画像と第２画像との間の相互作用に従ってコンピュータ装置を制御する。したがって、コンピュータ制御器１３０は、以下でさらに詳述する通り、第１画像および第２画像を相互作用させるように手を動かすことによって、ユーザがコンピュータ装置を制御することを可能にする。

【0065】

一実施例では、ユーザがその手を動かすと、画像提示器１２０がコンピュータキーボードの画像上で第１画像を動かす。ユーザが指をタイピング動作するように動かすと、コンピュータ制御器１３０はコンピュータ装置を制御し、以下でさらに詳述する通り、あたかもユーザが実際のキーボードを用いてタイピングしたかのように、コンピュータ装置に応答させる。

【0066】

第２実施例では、ユーザがその手を動かすと、画像提示器１２０がコンピュータマウスの画像上で第１画像を動かす。ユーザがその指をクリック動作するように動かすと、第１画像の指は、手の動作の動きに正確に相関してクリック動作するように動く。その結果として、コンピュータ装置は、コンピュータマウスの画像に対する第１画像の位置に従って（すなわち、第１画像の指が画像内のコンピュータマウスのボタン上に位置する状態で）、あたかもユーザが実際のコンピュータマウスのボタンの１つをクリックしたかのように応答する。

【0067】

第３実施例では、第２画像は、ボタンおよびメニューオプションを持つＭｉｃｒｏｓｏｆｔ（商標）Ｅｘｃｅｌスプレッドシート、ハイパーリンク、ボタン等を持つウェブページのような、コンピュータアプリケーションのグラフィカル・ユーザ・インタフェース（ＧＵＩ）である。

【0068】

コンピュータ制御器１３０は、第１画像と第２画像との間の相互作用に従って、コンピュータ装置を制御する。コンピュータ装置は、あたかも第１画像がユーザ自身の手であり、かつ第２画像が、タッチスクリーンにその指をタッチすることによって、ユーザがＧＵＩのメニュー、ボタン等と対話することを可能にするタッチスクリーン上に提示されるＧＵＩであるかのように、制御される。

【0069】

任意選択的に、手追跡器１１０は、以下でさらに詳述する通り、手の動きを追跡するために、二次元ビデオデータ、例えば手追跡器１１０に接続されたカメラから流れる例えば二次元ビデオ画像を使用する。

【0070】

任意選択的に、手追跡器１１０は、手に投射される光パターンの連続的特徴のセグメント化（すなわち分割）を検知することによって動きを追跡する。光パターンは、以下でさらに詳述する通り、第１方向の連続的特徴、および第１方向に対し実質的に垂直な方向の非連続的（例えば周期的）特徴を有する。

【0071】

一実施例では、光パターンは、互いに平行（または実質的に平行）に配列された幾つかの縞を含む。

【0072】

手追跡器１１０は、以下でさらに詳述する通り、光パターンの中に、手の指（すなわち人差し指から小指までの指または親指）による縞のセグメント化によって生じる、１つ以上の縞セグメントの１つ以上のクラスタを識別する。

【0073】

手追跡器１１０は、指による縞のセグメント化によって生じる縞セグメントのクラスタを追跡することによって、またはクラスタのセグメントの少なくとも１つを追跡することによって、指の動きを追跡する。

【0074】

任意選択的に、手追跡器１１０はさらに、光パターンの中に、手の掌による縞のセグメント化によって生じる１つ以上の縞セグメントの１つ以上のクラスタを識別する。手追跡器１１０は、掌による縞のセグメント化によって生じる縞セグメントのクラスタを追跡することによって、またはクラスタのセグメントの少なくとも１つを追跡することによって、手の動きを追跡する。

【0075】

任意選択的に、手追跡器１１０はさらに、手に投射される光パターンの連続的特徴に沿ったノーテーションの位置のずれを検知することができる。手追跡器１１０は、以下でさらに詳述する通り、検知されたずれを手の追跡に使用する。

【0076】

任意選択的に、手追跡器１１０は、以下でさらに詳述する通り、指の深度移動（例えばクリックと同様の動作またはタッチスクリーンのような操作）をさらに識別する。

【0077】

任意選択的に、手の指および掌によって生じた縞セグメントのクラスタが検知された後、掌および指クラスタの縞セグメントだけが追跡され、それによって手の動きが追跡される。背景縞セグメントおよび追加的画像情報のような、縞セグメントクラスタ以外のビデオデータの部分は、こうして除外することができる。

【0078】

その結果、動きを追跡するための計算量および処理時間をかなり軽減することができる。

【0079】

任意選択的に、装置１０００はさらに、以下でさらに詳述する通り、手追跡器１１０と連絡する投光器およびカメラを含む。

【0080】

一実施例では、以下でさらに詳述する通り、投光器、カメラ、または両方とも、コンピュータ装置から遠隔位置にある。

【0081】

任意選択的に、投光器は、当業界で公知の通り、光源および微細構造素子を含む。

【0082】

光源は、当業界で公知の通り、レーザダイオード、発光ダイオード（ＬＥＤ）、光ビームを放出する任意の他の素子とすることができる。

【0083】

光源から放出された光ビームは、微細構造素子を介してユーザの手の上に伝搬する。微細構造素子は、以下でさらに詳述する通り、ユーザの手に投射される光パターンを生成するために光ビームを修正する。

【0084】

任意選択的に、微細構造素子は光ビームを可変断面強度プロファイルの光ビームに変換する。その結果として、断面強度プロファイルは光ビームに沿って変化し、したがって、以下でさらに詳述する通り、光源からの物体（例えばユーザの指の１つ）の距離を示す情報を提供する。

【0085】

任意選択的に、投光器は、以下でさらに詳述する通り、第１方向に連続的特徴を有し、かつ第１方向に対し実質的に垂直な方向に非連続的特徴を有する光パターンを手の上に投射する。

【0086】

任意選択的に、微細構造素子は、当業界で公知の通り、回折光学素子である。

【0087】

回折光学素子は、当業界で公知の通り、一次元または二次元空間配列を有する離散数のスポットに光ビームを分割する周期的微細構造によって得ることができる。

【0088】

任意選択的に、円筒状マイクロ・レンズ・アレイのような追加的素子または追加的回折素子を使用して、スポットの各々から縞を形成する。

【0089】

任意選択的に、縞は、以下でさらに詳述する通り、縞に沿って互いに固定距離に位置する位相ノーテーションによりマーキングされる。

【0090】

円筒状マイクロ・レンズ・アレイのような追加的微細構造素子を使用する利点として考えられることは、当業界で公知の通り、追加的素子がレーザビームのような零次の光ビームを分散させることである。

【0091】

零次とは回折素子から出力される光スポットの中心であり、比較的高いエネルギによって特徴付けることができる。零次を縞のような光構造に分散することで、目の安全性限界を超えることなく、レーザ光ビームの強度を高めることができる。

【0092】

任意選択的に、投光器はさらに、投射された縞を反射する物体からの距離に関して、光パターンにおける各縞の断面強度プロファイルを変化させる、追加的回折素子を含む。断面強度プロファイルとは、投射された光の伝搬方向に垂直な強度プロファイルである。

【0093】

任意選択的に、強度プロファイルの変化は、投射された光が物体に伝搬し、かつ物体の表面から反射して戻る際に、投射された光の移動距離に沿って漸進的に実行される、ガウス断面強度プロファイルからトップハット断面強度プロファイルへの漸次変化である。

【0094】

任意選択的に、強度プロファイルの変化は、当業界で公知の通り、単一ピークを持つ強度プロファイルから２つ以上のピーク等を持つ強度プロファイルへの漸次変化である。

【0095】

光パターンを持つ光が投射された物体から反射した光の移動距離に沿った強度プロファイルの変化は、以下でさらに詳述する通り、異なる範囲で、異なる物体から反射した縞間の差別化を助長し、したがってさらにセグメント一体化問題の克服を助長することができる。

【0096】

さらに、強度プロファイルの変化はさらに、物体までの（例えばユーザの手、人差し指から小指までの指、および親指までの）距離を直接測定するために使用することができる。

【0097】

カメラは、投光器の隣に配置された、ウェブカメラまたは携帯電話機のカメラのようなビデオカメラとすることができる。

【0098】

カメラは光パターンを投射された手の１つ以上の画像を取得し、取得した画像を手追跡器１１０に転送する。手追跡器１１０は、以下でさらに詳述する通り、手の動きを追跡するために、取得された画像を使用する。

【0099】

任意選択的に、装置１０００はさらに、手追跡器１１０と連絡するジェスチャ認識器を含む。

【0100】

ジェスチャ認識器は、追跡された手の動きの中で、装置１０００の管理者によって予め定められたジェスチャを検知する。ジェスチャを検知すると、コンピュータ制御器１３０は、以下でさらに詳述する通り、検知されたジェスチャに対し予め定められた方法でコンピュータ装置を制御する。

【0101】

任意選択的に、特定の予め定められたジェスチャを検知すると、画像提示器１２０は第１画像を予め定められた位置に位置合せする。一実施例では、ユーザがその手を振ると、画像提示器１２０は、第１画像を第２画像（例えばコンピュータキーボードの画像）の中心位置に位置合せする。

【0102】

任意選択的に、特定の予め定められたジェスチャを検知すると、画像提示器１２０は、以下でさらに詳述する通り、第１画像（すなわち手の画像）のサイズを変更する。

【0103】

ここで図２を参照すると、それは、本発明の例示的実施形態に係る、コンピュータ装置の遠隔手制御のための方法を示すフローチャートである。

【0104】

本発明の例示的実施形態に係る例示的方法は、コンピュータ装置上に実装することができ、コンピュータ装置はデスクトップコンピュータ、ラップトップコンピュータ、携帯電話機等である。

【0105】

例示的方法は、上で詳述した通り、コンピュータ装置に接続可能な装置上に、例えばコンピュータ装置と連絡するコンピュータプロセッサを持つユニット上に、実装することもできる。

【0106】

例示的方法では、以下でさらに詳述する通り、例えば指および親指の微細な動きを追跡するのに有用なパターンに構造化された光を投射された手の画像を用いて、コンピュータ装置のユーザの手の動きを追跡する２１０。任意選択的に、動きは、上で詳述した通り、手追跡器１１０を用いて追跡される。

【0107】

同時に、手を表わす第１画像、および第２画像をユーザに、例えばコンピュータ装置のスクリーン上に、提示する２２０。任意選択的に、第２画像および第１画像は、上で詳述した通り、画像提示器１２０によってユーザに提示される。

【0108】

任意選択的に、第２画像は、ボタンおよびメニューオプションを持つＭｉｃｒｏｓｏｆｔ（商標）Ｅｘｃｅｌスプレッドシート、ハイパーリンク、ボタン等を持つウェブページのような、コンピュータアプリケーションのグラフィカル・ユーザ・インタフェース（ＧＵＩ）である。

【0109】

任意選択的に、第２画像はむしろ、以下でさらに詳述する通り、コンピュータ入力装置、例えばキーボードまたはコンピュータマウスを表わす。

【0110】

任意選択的に、第２画像は別のグラフィカルオブジェクト、ピクチャ等である。

【0111】

第１画像は、スクリーン上に提示されるユーザの手の完全かつ正確な動画像とすることができる。代替的に、第１画像はむしろ、手の指先の位置を表わす５つのカーソルから構成される。第１画像はまた、第２画像に対する指（すなわち人差し指から小指までの指、および親指）の位置に関するユーザ情報をもたらす、いずれかの他の視覚的外観を有することもできる。

【0112】

第１画像は、以下でさらに詳述する通り、手追跡器１１０によって追跡される２１０ユーザの手の動きに呼応して動く。

【0113】

コンピュータ装置は、第１画像と第２画像との間の相互作用に従って、例えばコンピュータ制御器１３０によって制御される２３０。

【0114】

その結果として、ユーザは、以下でさらに詳述する通り、第１画像および第２画像を相互作用させるように手を動かすことによって、コンピュータ装置を制御することが可能になる。

【0115】

一実施例では、ユーザがその手を動かすと、第１画像はコンピュータキーボードの画像上で動く。

【0116】

ユーザがその指をタイピング動作するように動かすと、コンピュータ装置は、以下でさらに詳述する通り、あたかもユーザがコンピュータ装置にワイヤ接続された実際のキーボードを用いてタイピングしたかのように、コンピュータ装置が応答するように制御される２３０。

【0117】

第２実施例では、ユーザがその手を動かすと、第１画像はコンピュータマウスの画像上で動く。

【0118】

ユーザがその指をクリック動作するように動くと、第１画像の指は、手の動作の動きに正確に相関してクリック動作するように動く。その結果として、コンピュータ装置は、コンピュータマウスの画像に対する第１画像の位置に従って（すなわち、第１画像の指が第２画像内のコンピュータマウスのボタン上に位置する状態で）、あたかもユーザが実際のコンピュータマウスのボタンの１つをクリックしたかのように応答する。

【0119】

第３実施例では、第２画像は、ボタンおよびメニューオプションを持つＭｉｃｒｏｓｏｆｔ（商標）Ｅｘｃｅｌスプレッドシート、ハイパーリンク、ボタン等を持つウェブページのような、コンピュータアプリケーションのグラフィカル・ユーザ・インタフェース（ＧＵＩ）である。

【0120】

コンピュータ装置は、画像間の相互作用に従って（例えばコンピュータ制御器１３０によって）制御される２３０。コンピュータ装置は、あたかも第１画像がユーザ自身の手であり、第２画像が、ユーザがタッチスクリーンにその指をタッチすることによってＧＵＩのメニュー、ボタン等と対話することを可能にする、タッチスクリーン上に提示されたＧＵＩであるかのように、制御される２３０。

【0121】

任意選択的に、手の動きの追跡２１０は、上で詳述した通り、二次元ビデオデータ（例えば手追跡器１１０に接続されたカメラから流れる二次元ビデオ画像）を用いて実行される。

【0122】

任意選択的に、手に投射された光パターンの連続的特徴のセグメント化（すなわち分割）を検知することによって、動きは追跡される２１０。光パターンは、以下でさらに詳述する通り、第１方向に連続的特徴を有し、第１方向に対して実質的に垂直な方向に非連続的（例えば周期的）特徴を有する。

【0123】

一実施例では、光パターンは互いに平行（または実質的に平行）に配列された幾つかの縞を含む。

【0124】

任意選択的に、以下でさらに詳述する通り、光パターンの中に、手の指（すなわち人差し指から小指までの指または親指）による縞のセグメント化によって生じる、１つ以上の縞セグメントの１つ以上のクラスタを識別することができる。その結果として、指の動きの追跡２１０は、指による縞のセグメント化によって生じる縞セグメントのクラスタを追跡することによって、またはクラスタのセグメントの少なくとも１つを追跡することによって行なわれる。

【0125】

任意選択的に、さらに、以下でさらに詳述する通り、例えば追跡されたクラスタ内のセグメントの数の変化を検知することによって、指の深度移動（例えばクリックと同様の動作またはタッチスクリーンのような操作）が識別される。

【0126】

任意選択的に、さらに、光パターンの中で、手の掌による縞のセグメント化によって生じる１つ以上の縞セグメントの１つ以上のクラスタが識別される。その結果として、手の動きの追跡２１０は、掌による縞のセグメント化によって生じる縞セグメントのクラスタを追跡することによって、またはクラスタのセグメントの少なくとも１つを追跡することによって行なわれる。

【0127】

任意選択的に、さらに、手に投射された光パターンの連続的特徴に沿ったノーテーションの位置のずれが検知される。検知されたずれは、以下でさらに詳述する通り、例えば手追跡器１１０による手の追跡２１０に使用される。

【0128】

任意選択的に、例示的方法はさらに、追跡された２１０手の動きの中で、装置１０００の管理者によって予め定められたジェスチャを検知することを含む。ジェスチャを検知すると、コンピュータ装置は、以下でさらに詳述する通り、検知されたジェスチャに対して予め定められた方法で（例えばコンピュータ制御器１３０によって）制御される２３０。

【0129】

任意選択的に、予め定められたジェスチャが検知されると、第１画像は予め定められた位置に位置合せされる。一実施例では、ユーザがその手を振ると、画像提示器１２０は、第１画像を第２画像（例えばコンピュータキーボード画像またはＧＵＩ）の中心位置に位置合せする。

【0130】

任意選択的に、予め定められたジェスチャが検知されると、第１画像は、以下でさらに詳述する通り、（例えば画像提示器１２０によって）サイズを変更される。

【0131】

ここで図３を参照すると、それは、本発明の例示的実施形態に係る、コンピュータ装置の遠隔手制御のステップを実行するためのコンピュータ実行可能命令を格納するためのコンピュータ可読媒体を模式的に示すブロック図である。

【0132】

本発明の例示的実施形態では、ＣＤ−ＲＯＭ、ＵＳＢメモリ、携帯ハードディスク、ディスケット等のようなコンピュータ可読媒体３０００を提供する。

【0133】

コンピュータ可読媒体３０００は、本発明の例示的実施形態に係る、コンピュータ装置の遠隔手制御のステップを実行するためのコンピュータ実行可能命令を格納する。

【0134】

コンピュータ実行可能命令は、以下でさらに詳述する通り、例えば指および親指の微細な動きを追跡するのに有用なパターンに構造化された光を投射された手の画像を用いて、コンピュータ装置のユーザの手の動きを追跡するステップ３１０を含む。

【0135】

コンピュータ実行可能命令はさらに、上で詳述した通り、手を表わす第１画像および第２画像を、例えば装置のスクリーン上でユーザに提示するステップ３２０を含む。

【0136】

ステップ３２０で、第１画像はさらに、以下でさらに詳述する通り、追跡された３１０ユーザの手の動きに呼応して動く。

【0137】

任意選択的に、第２画像は、ボタンおよびメニューオプションを持つＭｉｃｒｏｓｏｆｔ（商標）Ｅｘｃｅｌスプレッドシート、ハイパーリンク、ボタン等を持つウェブページのような、コンピュータアプリケーションのグラフィカル・ユーザ・インタフェース（ＧＵＩ）である。

【0138】

任意選択的に、第２画像は、以下でさらに詳述する通り、むしろコンピュータ入力装置、例えばキーボードまたはコンピュータマウスを表わす。

【0139】

任意選択的に、第２画像は別のグラフィカルオブジェクト、ピクチャ等である。

【0140】

第１画像は、スクリーンに提示されるユーザの手の完全かつ正確な動画像とすることができる。代替的に、第１画像はむしろ、手の指先の位置を表わす５つのカーソルから構成される。第１画像はまた、第２画像に対する指（すなわち人差し指から小指までの指、親指、または両方）の位置に関するユーザ情報をもたらす、いずれかの他の視覚的外観を有することもできる。

【0141】

コンピュータ実行可能命令はさらに、第１画像と第２画像との間の相互作用に従ってコンピュータ装置が制御されるステップ３３０を含む。

【0142】

その結果として、ユーザは、以下でさらに詳述する通り、第１画像および第２画像を相互作用させるように手を動かすことによって、コンピュータ装置を制御することが可能になる。

【0143】

一実施例では、ユーザがその手を動かすと、第１画像がコンピュータキーボードの画像上で動く。

【0144】

ユーザがその手をタイピング動作するように動かすと、コンピュータ装置は、以下でさらに詳述する通り、あたかもユーザが実際のキーボードを用いてタイピングしたかのように、コンピュータ装置が応答するように制御される３３０。

【0145】

第２実施例では、ユーザがその手を動かすと、第１画像はコンピュータマウスの画像上で動く。

【0146】

ユーザがその指をクリック動作するように動かすと、第１画像の指は、手の動作の動きと正確に相関してクリック動作するように動く。その結果として、コンピュータ装置は、コンピュータマウスの画像に対する第１画像の位置に従って（すなわち第１画像の指が第２画像のマウスのボタンに配置された状態で）、あたかもユーザが実際のコンピュータマウスのボタンの１つをクリックしたかのように応答する。

【0147】

第３実施例では、第２画像は、ボタンおよびメニューオプションを持つＭｉｃｒｏｓｏｆｔ（商標）Ｅｘｃｅｌスプレッドシート、ハイパーリンク、ボタン等を持つウェブページのような、コンピュータアプリケーションのグラフィカル・ユーザ・インタフェース（ＧＵＩ）である。

【0148】

コンピュータ装置は、あたかも第１画像がユーザ自身の手であり、かつ第２画像が、ユーザがタッチスクリーンにその指をタッチすることによってＧＵＩのメニュー、ボタン等と対話することを可能にする、タッチスクリーン上に提示されるＧＵＩであるかのように、画像間の相互作用に従って制御される。

【0149】

任意選択的に、手の動きの追跡３１０は、上で詳述した通り、二次元ビデオデータ（例えばカメラから流れる二次元ビデオ画像）を用いて実行される。

【0150】

任意選択的に、動きは、手に投射される光パターンの連続的特徴のセグメント化（すなわち分割）を検知することによって、追跡される３１０。光パターンは、以下でさらに詳述する通り、第１方向に連続的特徴を有し、かつ第１方向に対し実質的に垂直な方向に非連続的特徴を有する。

【0151】

一実施例では、光パターンは、互いに平行（または実質的に平行）に配列された幾つかの縞を含む。

【0152】

任意選択的に、命令はさらに、以下でさらに詳述する通り、光パターンの中に、手の指（すなわち人差し指から小指までの指または親指）による縞のセグメント化によって生じる１つ以上の縞セグメントの１つ以上のクラスタを識別することを含む。その結果として、指による縞のセグメント化によって生じる縞セグメントのクラスタを追跡することによって、またはクラスタのセグメントの少なくとも１つを追跡することによって、指の動きを追跡することができる３１０。

【0153】

任意選択的に、命令はさらに、以下でさらに詳述する通り、例えば追跡されたクラスタ内のセグメントの数の変化を検知することによって、指の深度移動を識別することを含む。

【0154】

任意選択的に、命令はさらに、光パターンの中に、手の掌による縞のセグメント化によって生じる１つ以上の縞セグメントの１つ以上のクラスタを識別することを含む。その結果として、掌による縞のセグメント化（すなわち分割）によって生じる縞セグメントのクラスタを追跡することによって、またはクラスタのセグメントの少なくとも１つを追跡することによって、手の動きを追跡することができる３１０。

【0155】

任意選択的に、命令はさらに、手に投射された光パターンの連続的特徴に沿ったノーテーションの位置のずれを検知することを含む。検知されたずれは、以下でさらに詳述する通り、手を追跡する３１０ために使用される。

【0156】

任意選択的に、命令はさらに、追跡された３１０手の動きの中に、管理者によって予め定められたジェスチャを検知することを含む。ジェスチャを検知すると、コンピュータ装置は、以下でさらに詳述する通り、検知されたジェスチャに対して予め定められた方法で制御される３３０。

【0157】

任意選択的に、命令はさらに、予め定められたジェスチャを検出すると、第１画像を予め定められた位置に位置合せするステップを含む。一実施例では、ユーザがその手を振ると、第１画像は、第２画像（例えばコンピュータキーボードの画像またはＧＵＩ）上の中心位置に位置合せされる。

【0158】

任意選択的に、命令はさらに、以下でさらに詳述する通り、予め定められたジェスチャを検出すると、第１画像がサイズを変更されるステップをさらに含む。

【0159】

ここで図４を参照すると、それは、本発明の例示的実施形態に係る、光パターンを投射された手を模式的に示す。

【0160】

例示的実施形態では、手の動きの追跡は、人差し指から小指までの指および親指の微細な動きのような手の動きの検知を可能にするように設計された光パターンを用いて実行される。

【0161】

特別に設計された光パターンは、上で詳述した通り、三次元深度マップとは異なり、手が身体の残部から容易に分離されない二次元ビデオデータにおいてさえも、距離に従って動きを追跡することを可能にする。

【0162】

任意選択的に、光パターンは、二次元ビデオデータ（例えば通常のビデオカメラから流れるビデオ画像）において手の指の動きを追跡するように特別に設計される。さらに詳しくは、光パターンは、以下でさらに詳述する通り、指によるパターンの歪みに従って、二次元ビデオデータにおいて指（すなわち人差し指から小指までの指および親指）のみならず掌をも検知および追跡することを可能にするように設計することができる。

【0163】

任意選択的に、光パターンは第１方向（例えばＸ軸方向）に連続的特徴を有し、かつ第１方向に対し実質的に垂直な方向（例えばＹ軸方向）に非連続的（例えば周期的）特徴を有する。

【0164】

そのようなパターンの一実施例では、光パターンは、図４を用いて模式的に示す通り、互いに平行（または実質的に平行）に配列された幾つかの縞を含む。

【0165】

カメラは、縞のパターンを手４１０および背景４２０（例えば手が載置されている台、壁等の表面）に投射する投光器より上の、Ｙ軸方向に特定の距離に配置される。

【0166】

カメラの位置は、当業界で公知の通り、カメラ、投光器、ならびにユーザの手４１０および背景４２０から反射される光の間に三角効果（ｔｒｉａｎｇｕｌａｔｉｏｎ ｅｆｆｅｃｔ）を形成するように選択される。

【0167】

三角効果は、光パターンを投射された物体からの著しい深度ずれが存在する縞に沿った位置に、パターンの不連続性を生じる。

【0168】

不連続性は、縞を２つ以上の縞セグメント、例えば手に位置するセグメント４３１、手の左側に位置するセグメント４３２、および手の右側に位置するセグメント４３３にセグメント化（すなわち分割）する。

【0169】

そのような深度ずれから生じる縞セグメントは、カメラとユーザの身体との間に位置するユーザの手の掌または指の輪郭線上に位置付けることができる。

【0170】

すなわち、ユーザの指または掌は、縞を２つ以上の縞セグメントにセグメント化する。

【0171】

ひとたびそのような縞セグメントが検知されると、縞セグメントを縞セグメントの終わりまで追跡することは容易である。

【0172】

手追跡器１１０はこうして二次元ビデオデータ（例えばカメラから手追跡器１１０に転送されるビデオ・ストリーム）を解析して、縞セグメントのクラスタを生成することができる。

【0173】

例えば、手追跡器１１０は、光パターンの中に、手の指による縞のセグメント化によって生じる１つ以上の縞セグメントのクラスタ、例えば手の中指から反射される４つのセグメントのクラスタ４４１を識別することができる。その結果として、手追跡器１１０は、指による縞のセグメント化によって生じる縞セグメントのクラスタを追跡することによって、またはクラスタのセグメントの少なくとも１つを追跡することによって、指の動きを追跡する。

【0174】

指による縞のセグメント化（すなわち分割）によって生じる縞セグメントのクラスタは、Ｘ軸方向に重複する縞セグメントを含む。任意選択的に、クラスタ内の縞セグメントはさらに、同様の長さ（指の太さから導出される）またはＹ軸座標の相対的近接性を有する。

【0175】

Ｘ軸上で、セグメントは、まっすぐに置かれた指では完全に重複し、Ｘ−Ｙ面内に斜めに置かれた指では部分的に重複する。

【0176】

任意選択的に、手追跡器１１０はさらに、例えば追跡されるクラスタ内のセグメントの数の変化を検知することによって、指の深度移動を識別する。

【0177】

例えば、ユーザがその中指を伸ばすと、その指と投光器およびカメラの平面（Ｘ−Ｙ面）との間の角度が変化する。その結果として、クラスタ４４１内のセグメントの数が４から３に減少する。

【0178】

任意選択的に、手追跡器１１０はさらに、光パターンの中に、手の掌による縞のセグメント化によって生じる１つ以上の縞セグメントの１つ以上のクラスタを識別する。その結果として、掌による縞のセグメント化によって生じる縞セグメントのクラスタを追跡することによって、またはクラスタのセグメントの少なくとも１つを追跡することによって、手の動きが追跡される２１０。

【0179】

掌による縞のセグメント化によって生じる縞セグメントのクラスタは、Ｘ軸方向にユーザの手の指の縞セグメントクラスタと重複する上部縞セグメント４３１を含む。

【0180】

上部縞セグメント４３１はＸ軸方向に４つの指クラスタが重複するが、４つの指クラスタの最下セグメントの最小および最大Ｘ値を超えない。

【0181】

掌による縞のセグメント化によって生じる縞セグメントのクラスタはさらに、セグメント４３１の真下に、縞セグメント４３１とかなり重複する少数の縞セグメントを含む。掌による縞のセグメント化によって生じる縞セグメントのクラスタはさらに、ユーザの親指の縞セグメントクラスタ４５１の基部まで延びる、より長い縞セグメントを含む。

【0182】

指および掌クラスタの向きは、特定の手の位置および回転により変化する。

【0183】

ここで図５を参照すると、それは、本発明の例示的実施形態に係る、強度ノーテーションを有する光パターンを投射された手を模式的に示す。

【0184】

これまでに示した光パターンによる１つの問題は、縞セグメント一体化問題である。

【0185】

場合によっては、手の背景から反射した縞セグメントは、手から反射した縞セグメントと一体化することがある。その結果として、掌および指の縞セグメントクラスタを見つけることができず、手を追跡することができなくなる。

【0186】

縞セグメント一体化問題を克服するのに役立つ１つの方法は、図５に示す通り、各縞に沿った周期的ノーテーションの導入を介するものである。

【0187】

任意選択的に、ノーテーションは、縞に沿って変化する光強度３２０の形、または縞に沿って一定の間隔で現われる、短い垂直線のような特定の形状の形を取る。

【0188】

周期的ノーテーションの導入に加えて、カメラは投光器に対して、上で詳述したようにＹ軸方向に間隙を置くだけでなく、Ｘ軸方向にも間隙を置いて配置される。Ｘ軸方向のこの間隙は、物体の距離に対して縞に沿ったノーテーションの位置に位相ずれを生成する。

【0189】

その結果として、手から反射した縞セグメントが背景から反射したセグメントと一体化する場合に、セグメントは依然として、異なる位相の周期的ノーテーションを有する。任意選択的に、カメラと投光器との間の垂直方向および水平方向の距離の比は、セグメントが一体化される場合にセグメント間のノーテーションの位相ずれが最大になるように、慎重に選択される。

【0190】

一体化されるセグメントの問題を克服するのに有用であることが証明される第２の方法は、カメラおよび投光器のセットアップを、それらのＺ軸上の位置も異なるように変更することによる。

【0191】

カメラと投光器との間のＺ軸上の位置の相違は、カメラおよび投光器を異なるＺ軸位置に物理的に配置することによって、または投光パターンの前に特定の距離を置いて負レンズまたは正レンズを配置することによって、もたらすことができる。

【0192】

その結果として、物体から反射される光パターンの縞セグメントは、異なる物体距離に異なる周期を有する。したがって、手から反射した縞セグメントの１つが背景から反射した縞セグメントとたとえ一体化しても、隣接する線は周期が異なるため一体化しない。

【0193】

一体化されるセグメントの問題を克服するのに有用であることが証明される第３の方法は、上で詳述した通り、光ビームを異なる断面強度プロファイルの光ビームに変換する微細構造素子を使用して実行される。

【0194】

断面強度プロファイルは、光パターンを反射する物体の投光器からの距離に従って変化する。

【0195】

その結果として、上で詳述した通り、手から反射した縞セグメントの断面強度プロファイルと、背景から反射した縞セグメントの断面強度プロファイルとは異なる。

【0196】

本発明の例示的実施形態に係る方法はさらに、指による縞のセグメント化によって生じた縞セグメントのクラスタの垂直移動、縞セグメントのノーテーションの水平移動、または両方を検知することによって、手の指の深度移動を追跡することを含むことができる。

【0197】

任意選択的に、指の深度移動の追跡は、指による縞のセグメント化によって生じる縞セグメントのクラスタにおける最上セグメントの垂直方向の移動を検知することによって実行される。最上セグメントは、Ｚ−Ｙ面内における指の最も重要な動きを実行する指の先を表わす。

【0198】

任意選択的に、深度移動の追跡は、追跡されるクラスタ内のセグメントの数の変化を検知することによって実行される。すなわち、手の指の深度移動（すなわちＺ軸方向の動き）は、指の追跡される縞セグメントの１つを上方に移動させて消失させ、新しい縞セグメントを出現させるなどする。

【0199】

ここで図６を参照すると、それは、本発明の例示的実施形態に係る、コンピュータキーボードの画像を用いるコンピュータ装置の遠隔手制御を模式的に示すブロック図である。

【0200】

本発明の例示的実施形態では、コンピュータ装置（例えばデスクトップコンピュータ）のユーザの手６１０の動きは連続的に追跡される。

【0201】

ユーザに対し、当業界で公知の通り、手を表わす第１画像６２０、およびコンピュータ入力装置、例えばコンピュータキーボード、コンピュータマウス、ジョイスティック等を表わす第２画像がスクリーン上に提示される。

【0202】

第１画像６２０は、スクリーン上に提示されるユーザの手の完全かつ正確な動画像とすることができる。代替的に、第１画像６２０は、手６１０の指先の位置を表わす５つのカーソルから構成することができる。第１画像６２０はまた、同じくスクリーン上に表示されるコンピュータ入力装置に対する指（すなわち人差し指から小指までの指および親指）の位置に関するユーザ情報をもたらす、いずれかの他の視覚的外観を持つこともできる。

【0203】

ユーザが手６１０（またはその人差し指から小指までの指もしくは親指）を動かすと、追跡された動きに呼応して第１画像６２０が動く。すなわち、第１画像６２０の動きはユーザ自身の手６１０の動きと相関する。ユーザがその手６１０を左に動かすと、第１画像６２０は左に動く。ユーザがその指の１本を屈曲すると、第１画像６２０も指を屈曲するなどする。

【0204】

コンピュータ装置は、あたかも画像６２０内の手がユーザ自身の手６１０であり、かつ入力装置がコンピュータ装置に接続された実際のコンピュータ入力装置であるかのように、第１画像６２０と第２画像との間の相互作用に従って制御される。コンピュータ入力装置は、キーボード、ジョイスティック、コンピュータマウス等のような標準的周辺コンピュータ装置を含むが、それらに限定されない。

【0205】

ユーザはこうして、第１画像６２０および第２画像を相互作用させるようにユーザの手６１０を動かすことによって、コンピュータ装置を遠隔的に制御することが可能になる。

【0206】

その結果として、ユーザの手６１０の動きによるコンピュータ装置の遠隔制御は、（特定のジェスチャを定義することもできるが）予め定められた特定のジェスチャのセットに限定されたインタフェースではなく、連続的ユーザインタフェースに基づく。

【0207】

一実施例では、ユーザがその手６１０を動かすと、第１画像６２０はコンピュータキーボードの画像上で動き、ユーザがその指をタイピング動作するように動かすと、コンピュータ装置は、以下でさらに詳述する通り、あたかもユーザが実際のキーボードをタイピングしているかのように応答する。

【0208】

一実施例では、第１画像６２０の第二指が、コンピュータキーボードの画像の「Ｃ」文字の真上に位置する。ユーザがその手６１０の第二指で押す動作を行なうと、第１画像６２０の第二指は平行移動して、スクリーン上に提示された画像のキーボード画像の「Ｃ」文字を押す。その結果として、コンピュータ装置は、コンピュータ装置にワイヤ接続された実際のキーボードの「Ｃ」文字がユーザによってユーザ自身の指を用いて押されたかのように、応答する。

【0209】

当該実施例では、三次元空間におけるユーザの手の絶対位置は関係せず、ユーザの指の動きだけを追跡する必要がある。

【0210】

第１画像６２０の動きは、ユーザ自身の手６１０の動きと正確に相関するが、異なる縮尺で実行することができる。すなわち、第１画像６２０のサイズは、ユーザの実際の手６１０のサイズとは異なってもよい。

【0211】

任意選択的に、装置１０００のジェスチャ認識器はさらに、以下でさらに詳述する通り、ユーザが第１画像６２０のサイズを変更することを可能にする。

【0212】

ここで図７を参照すると、それは、本発明の例示的実施形態に係る、コンピュータ装置の遠隔手制御のための第１ジェスチャを模式的に示すブロック図である。

【0213】

本発明の例示的実施形態に係る装置は、上で詳述した通り、ジェスチャ認識器を含むことができる。

【0214】

本発明の例示的実施形態に係る第１の例示的ジェスチャは、ユーザがその手７１０をカメラの前で（例えば指および手を側方に素早く小さく揺り動かすことによって）振るリセットジェスチャである。

【0215】

リセットジェスチャを検知すると、スクリーン上に提示された第１画像は、第２画像上で予め定められた位置に、例えば第２画像に提示されたコンピュータ入力装置上の予め定められた位置に、またはスクリーン上に提示されたスプレッドシートのようなグラフィカル・ユーザ・インタフェースの１行目の位置に移動する。

【0216】

一実施例では、例示的リセットジェスチャを検知すると、画像提示器１２０は、上で詳述した通り、第１画像を表示されたコンピュータキーボードの中心の位置に移動させる。

【0217】

例示的リセットジェスチャは各指の別々の動きを含むので、例示的リセットジェスチャはさらに、指の位置の検出を容易化することができる。

【0218】

ここで図８を参照すると、それは、本発明の例示的実施形態に係る、コンピュータ装置の遠隔手制御のための第２ジェスチャを模式的に示すブロック図である。

【0219】

第２の例示的ジェスチャはサイズ変更ジェスチャ、例えばユーザがその手８１０を予め定められた方向に回転させるジェスチャである。

【0220】

任意選択的に、例示的サイズ変更ジェスチャを検知すると、画像提示器１２０は、サイズまたはズームレベルに関して第２画像を変更することなく、スクリーンに表示された第１画像のサイズを変更する。

【0221】

例えば、全スクリーンモードで表示されたキーボードの画像と対話するユーザは、ユーザの実際の手の比較的小さい動きにより（動きの規模は手の画像のサイズに依存するので）、キーボードの片側から反対側に移るために、より大きい第１画像（例えば手の画像）を使用することを希望することがある。しかし、ユーザは、自分のウェブブラウザ上で小さいフォントのテキストを選択するために、より小さい第１画像（例えば手の画像）を必要とすることがある。

【0222】

代替的に、第１画像（すなわち手の画像）のサイズは一定に維持され、画像提示器１２０はむしろ縮小、拡大、ズームイン、またはズームアウトする第２画像（例えばキーボード）のサイズを変更し、こうして第１画像と第２画像との間のサイズの割合を変更する。

【0223】

ここで図９を参照すると、それは、本発明の実施形態に係る、コンピュータ装置を遠隔手制御するための第３ジェスチャを模式的に示すブロック図である。

【0224】

第３の例示的ジェスチャはクリック（またはダブルクリック）ジェスチャであり、例えばユーザがその手の１本または２本の指を用いてクリックする９１０ジェスチャである。

【0225】

任意選択的に、例示的クリック（またはダブルクリック）ジェスチャを検知すると、画像提示器１２０は、ユーザの指の動きと正確に同調して、第１画像の指をクリック動作するように動かす。

【0226】

例えば、ユーザはコンピュータマウスの画像を提示され、画像内のコンピュータマウスの上の位置に第１画像を動かすことができる。

【0227】

ユーザが自分自身の指をクリック動作するように動かすと、第１画像の指がコンピュータマウスの画像上でクリックし、コンピュータ制御器１３０は、あたかもユーザがユーザ自身の指で実際のコンピュータマウスをクリックしたかのように、コンピュータ装置に応答させる。

【0228】

ここで図１０を参照すると、それは、本発明の例示的実施形態に係る、コンピュータ装置の遠隔手制御のための第４ジェスチャを模式的に示すブロック図である。

【0229】

第４の例示的ジェスチャは、例えばユーザの手１０１０を引張り動作するように動かすことによって、または（スマートフォンのタッチスクリーン上で指を互いに離れるように動かすのと同様に）ユーザの指の２本を互いに離れるように動かすことによって、ユーザがコンピュータ装置のスクリーン上に提示された画像をズームインまたは単純に拡大するジェスチャのような、ズーミングジェスチャである。

【0230】

一実施例では、互いに離れる指の動きを検知すると、画像提示器１２０は、ユーザの指の動きと平行に、第１画像の２本の指を互いに離れるように動かす。コンピュータ制御器１３０は、コンピュータ装置のスクリーン上に提示された画像をズームインまたは拡大するようにコンピュータ装置（例えばセルラ・スマート・フォン）を制御し、こうして、ユーザに実際のタッチスクリーンをタッチさせることなく、ユーザにタッチスクリーンのような機能性を提供する。

【0231】

本発明の例示的実施形態は、種々の他のユーザジェスチャ、例えばユーザがその指を閉じるスクロール・ダウン・ジェスチャ、またはユーザがその指を反対方向に動かすスクロール・アップ・ジェスチャを提供する。ジェスチャは、片方または両方の手、１本以上の指、手および指等により実行することができる。

【0232】

しかし、本発明の例示的実施形態では、ユーザの手の動きによるコンピュータ装置の遠隔制御は、（特定のジェスチャを定義することもできるが）特定のジェスチャの予め定められたセットに限定されるインタフェースにではなく、連続的ユーザインタフェースに基づく。

【0233】

例えば、コンピュータ装置の遠隔制御は、コンピュータ装置のスクリーン上に提示されたコンピュータキーボードの画像とユーザの連続的対話に基づくことができる。ユーザは、その手を空中で動かし、こうして第１画像をキーボード上で動かして、上で詳述した通り、ユーザの指をタイピング動作するように動かし、こうして第１画像の指によりキーボード上でタイピングすること等が可能になる。

【0234】

別の実施例では、第１画像がスクリーン上に提示されるコンピュータマウスを保持し、マウスをドラッグするなど、対話を通して第１画像を動かすために（ユーザは）その手を動かす。コンピュータ装置は、あたかも実際のマウスがユーザによってユーザ自身の手を用いてドラッグされているかのように、スクリーン上でカーソルを動かす。

【0235】

任意選択的に、当該実施例では、ユーザはさらに、単一の小さい中指動作によってマウスを自動的に移動させることができる。その結果として、マウスはスクリーンの片側から反対側に自動的に移動し、あるいはマウスはむしろ、予め定められた距離または時間（例えば３秒間）移動する。

【0236】

さらに別の実施例では、ボタンおよびメニューオプションを持つＭｉｃｒｏｓｏｆｔ（商標）Ｅｘｃｅｌスプレッドシート、ハイパーリンク、ボタン等を持つウェブページのようなコンピュータアプリケーションのグラフィカル・ユーザ・インタフェース（ＧＵＩ）が、コンピュータ装置のスクリーン上でユーザに提示される。

【0237】

コンピュータ装置は、あたかもユーザが、ＧＵＩをユーザに提示するタッチスクリーンに、ユーザ自身の指をタッチしたかのように、ユーザ自身の手および指の動きに呼応して動く手の画像とＧＵＩのメニュー、ボタン等との間の連続的対話に従って制御される。

【0238】

ここで図１１を参照すると、それは、本発明の例示的実施形態に係る、コンピュータ装置の遠隔手制御のためのシステムを模式的に示すブロック図である。

【0239】

コンピュータ装置の遠隔手制御のための例示的システムは、上で詳述した通り、装置１０００の部品を含む。

【0240】

任意選択的に、装置１０００の部品の１つ以上、例えばカメラおよび投光器は移動ユニット１１１０に設置される。移動ユニット１１１０は、装置１０００の他の部品、コンピュータ装置１１２０（例えば、Ａｐｐｌｅ（商標）ｉＭａｃコンピュータ、コンピュータプロセッサ付きＴＶ受像機等のような、スクリーンと結合されたコンピュータ）、または両方と無線連絡する。

【0241】

ユーザは、移動ユニット１１１０をテーブル上に配置することができる。

【0242】

次いで、ユーザはテーブルの横の椅子に着座し、その手を動かし、それによってコンピュータ装置１１２０を制御することができる。ユーザは、上で詳述した通り、（ユーザの手を表わす）第１画像と、コンピュータ装置１１２０のスクリーンに提示されたコンピュータキーボードの画像との相互作用を介して、コンピュータ装置１１２０を制御する。

【0243】

本発明の例示的方法および装置は、さらなる用途に使用することができる。

【0244】

例えば、携帯電話機では、装置１０００はユーザが携帯電話機に触れることなく、スクロール、テキストの打ち込み、ズーム、およびクリックを行なうことを可能にする。その結果として、携帯電話機は小さくすることができるが、あたかも電話機がフルサイズのコンピュータキーボードを有するかのように、依然として携帯電話機との対話が可能である。

【0245】

任意選択的に、携帯電話機は、壁に画像を映写することのできるプロジェクタを有する。装置１０００を使用して、ユーザは、電話機の制御器の画像の隣に映写された第１画像を動かすことができ、制御器は通常の電話機のボタンまたはタッチスクリーンである。

【0246】

その結果として、ユーザは、あたかもユーザが自身の手を用いて実際の電話機の制御器を直接操作するかのように、第１画像（例えば手の画像）を電話機の制御器の画像と相互作用させ、こうして相互作用に従って電話機を操作することができる。

【0247】

別の実施例では、コンピュータ装置は、自動車に設置されたコンピュータ装置（例えばＧＰＳユニットまたは電話ユニット）である。

【0248】

運転しながらコンピュータ装置を操作することは、運転者は自動車のフロントウィンドウを通して道路に目を向けるよりむしろ、コンピュータ装置を操作するために、脇に目を向けなければならないので、そのような装置に典型的に設けられたインタフェース（すなわち小さいボタンまたはタッチスクリーン）の性質上、危険である。

【0249】

本発明の実施形態の装置１０００は自動車のコンピュータ装置に設置すること（または自動車のコンピュータ装置と連絡すること）ができる。

【0250】

手追跡器１１０は、運転者の手および指の動きを追跡し、それによって、運転者の目を道路からユニットの小さいボタンを操作するその指に動かすことなく、運転者がコンピュータ装置（例えばＧＰＳまたは電話ユニット）を制御することを可能にする。

【0251】

任意選択的に、手の画像およびＧＰＳまたは電話ユニットのキーの画像は、ウィンドウを介する視界を著しく妨げることなく、自動車のフロントウィンドウに設置された小さいスクリーン上で運転者に提示される。

【0252】

運転者自身の手の実際の正確な位置は変化してもよい。

【0253】

すなわち、運転者は、実際に番号をダイヤルするかまたはＧＰＳユニットのガイドシステムで行先を選択するために、どこでも自分に便利と思う場所でクリックすることができる。

【0254】

その結果として、運転者は、スクリーンが設置されたフロントウィンドウを覗き込み、かつ目を道路に向け続けながら、ハンドルの任意の領域で自分の手を使用して、ＧＰＳまたは電話ユニットを制御することができる。

【0255】

さらに、運転者は、上で詳述した通り、リセット動作でその手を振ることができる。その結果として、第１画像は、スクリーン上に存在する自動車電話機の番号の中心、または自動車のＧＰＳユニットのタッチスクリーンのボタンに配置される。

【0256】

装置１０００はまた、楽器に、例えばシンセサイザ、ＤＪターンテーブル、または上で詳述した通り、ユーザの手の動きによって案内される別の楽器に設置することもできる。

【0257】

本特許の存続期間の期間中には、多くの関連する装置およびシステムが開発されることが予想され、本明細書中の（特に、「コンピュータ」、「ＣＤ−ＲＯＭ」、「ＵＳＢメモリ」、「ハードディスク」、「カメラ」、「回折光学素子」、「レーザダイオード」、および「ＬＥＤ」）用語の範囲は、すべてのそのような新しい技術を先験的に包含することが意図される。

【0258】

明確にするため別個の実施形態で説明されている本発明の特定の特徴は単一の実施形態に組み合わせて提供することもできることは分かるであろう。逆に、簡潔にするため単一の実施形態で説明されている本発明の各種の特徴は別個にまたは適切なサブコンビネーションで提供することもできる。

【0259】

本発明はその特定の実施形態によって説明してきたが、多くの別法、変更および変形があることは当業者には明らかであることは明白である。従って、本発明は、本願の請求項の精神と広い範囲の中に入るこのような別法、変更および変形すべてを包含するものである。

【0260】

本明細書中で言及した刊行物、特許および特許願はすべて、個々の刊行物、特許または特許願が各々あたかも具体的にかつ個々に引用提示されているのと同程度に、全体を本明細書に援用するものである。さらに、本願で引用または確認したことは本発明の先行技術として利用できるという自白とみなすべきではない。

【0261】

さらなる概論
一部の方法は、デジタル・ビデオ・ストリームからの通常の画像解析を含む。

【0262】

ビデオ画像はしたがって、関心のある特定領域、通常は手、顔、腕等のような身体部分を検知するために解析される。

【0263】

身体部分の位置および姿勢が検知された後、身体のジェスチャが検知され、コンピュータスクリーン上またはＴＶ上に表示された媒体を制御するように変換される。ユーザの手および指のような身体部分を検知するには、最初に画像内の各画素をその色値によって解析し、それをその環境内の他の画素と比較する必要がある。そのような方法は、長い計算時間ならびに誤りおよび読取りミスの比較的高い百分率を免れない。主な問題の１つは、検知すべき手の背後の背景に由来する。例えば、該方法は、皮膚の色に近い色のシャツまたは別の複雑な模様のあるシャツを着用しているユーザの手を検知することが困難である。部屋の照明も検出性能に影響を及ぼす。カメラに対する手の角度も、この方法では問題になることがある。手の形はその回転により変化し、指先は、手の残部をカメラの方向に向けて、同一軸上に存在し、したがって色の差によって検知されないことがある。

【0264】

手の検知およびジェスチャの認知のための他の方法は、３Ｄ深度マップを使用することを含む。深度マップとは、画素によって表わされる、深度カメラの前に位置する物体の部分までの距離を各画素に保持する画像である。深度は、通常の２Ｄビデオ解析に存在する問題の多くを解決する。手は通常身体の前に位置しており、したがって特定の距離を越える画像の部分を取り除くことによって分離することができるので、手の位置の抽出は比較的容易である。そのような方法により、カメラに対する手の角度は同じように重要性が低くなる。手または身体の最も近い部分は、背景の色を考慮することなく、距離だけで検知することができる。しかし、完全な３Ｄ深度マップを取得するには比較的複雑なハードウェアおよび計算量が必要である。

【0265】

人体の完全な深度マップは、ゲームのようなジェスチャ認知の特定のアプリケーションには重要である。例えば、テニス・ゲーム・アプリケーションでは、ユーザの手が、ボールを打つことができるように後ろに伸ばされるか、あるいはネット近くでボールを阻止するために前に伸ばされる場合に、ユーザの位置をいかに正確に突き止めるかが重要である。しかし、ジェスチャ駆動仮想キーボードまたはマウスのような他のアプリケーションは、アプリケーションを制御するために、手および指の完全な３Ｄ深度マップを必要としない。

【0266】

したがって、上で詳細に教示した通り、中間ステップとして完全な３Ｄ深度マップを取得することなく、光パターン画像から直接ジェスチャを抽出することは有利であることが証明されるであろう。

【0267】

画像の比較に基づく解決策は、ジェスチャを直接検知するために、グリッドパターンのような構造化光パターンを使用する。比較に基づく解決策は、グリッドパターンの歪みを検知し、該歪みを、特定のジェスチャを表わす、予め定められたグリッドパターンの歪みのセットと比較する。ひとたび検知されると、ジェスチャは、各ジェスチャに配属されたコンピュータ動作を起動させる。画像比較に基づく解決策は、取得された光パターン画像に対して手のジェスチャを直接抽出するが、それらは予め定められたジェスチャの離散的セットに限られており、上で詳述した通り、ユーザの手および指の柔軟な追跡および表現、ならびに連続的ユーザインタフェースを介するコンピュータ装置の制御を提案するものではない。

【図1】

【図2】

【図3】

【図4】

【図7】

【図8】

【図5】

【図6】

【図9】

【図10】

【図11】