特許 5723462 マルチモーダル及びジェスチャー制御のための方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5723462

(24)【登録日】2015年4月3日

(45)【発行日】2015年5月27日

(54)【発明の名称】マルチモーダル及びジェスチャー制御のための方法及びシステム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20150507BHJP

   G06F 3/16 20060101ALI20150507BHJP

   H04N 5/00 20110101ALI20150507BHJP

【ＦＩ】

   G06F3/01 310C

   G06F3/16 320A

   H04N5/00 A

【請求項の数】10

【全頁数】12

(21)【出願番号】特願2013-550458(P2013-550458)

(86)(22)【出願日】2011年1月19日

(65)【公表番号】特表2014-507714(P2014-507714A)

(43)【公表日】2014年3月27日

(86)【国際出願番号】US2011021716

(87)【国際公開番号】WO2012099584

(87)【国際公開日】20120726

【審査請求日】2013年8月12日

(73)【特許権者】

【識別番号】511076424

【氏名又は名称】ヒューレット−パッカード デベロップメント カンパニー エル．ピー．

【氏名又は名称原語表記】Ｈｅｗｌｅｔｔ‐Ｐａｃｋａｒｄ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏｍｐａｎｙ， Ｌ．Ｐ．

(74)【代理人】

【識別番号】100087642

【弁理士】

【氏名又は名称】古谷 聡

(74)【代理人】

【識別番号】100076680

【弁理士】

【氏名又は名称】溝部 孝彦

(74)【代理人】

【識別番号】100121061

【弁理士】

【氏名又は名称】西山 清春

(72)【発明者】

【氏名】プラフル，チャンドラ

(72)【発明者】

【氏名】ランガナサン，パーササラシー

(72)【発明者】

【氏名】マドヴァナス，スリガネシュ

【審査官】 山崎 慎一

(56)【参考文献】

【文献】 特開２００９−０３７４３４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００７／０１２４７０３（ＵＳ，Ａ１）

【文献】 特開２００３−１８６５９６（ＪＰ，Ａ）

【文献】 特開２００７−３１８３１９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０３０２１４５（ＵＳ，Ａ１）

【文献】 特開２００１−２１６０６９（ＪＰ，Ａ）

【文献】 特開平０９−０８１３０９（ＪＰ，Ａ）

【文献】 特開平１１−３２７７５３（ＪＰ，Ａ）

【文献】 特開２０００−２２２０９７（ＪＰ，Ａ）

【文献】 特開２００５−２４２７５９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／１６

Ｈ０４Ｎ ５／００

(57)【特許請求の範囲】

【請求項1】

ディスプレイ装置に結合された複数の装置にマルチモーダル及びジェスチャー制御を提供するための方法であって、
前記複数の装置のうちの少なくとも１つの装置を介してユーザからのジェスチャーコマンドを検出し、
該ジェスチャーコマンドが検出された空間領域に基づいて前記複数の装置から１つの目標装置を決定し、ジェスチャー検出空間が複数の前記空間領域へと分割されており、その各空間領域が前記複数の装置のうちの１つの装置にマッピングされており、
前記ジェスチャーコマンドに基づいて制御動作を決定し、及び、
該決定された制御動作を前記決定された目標装置上で実行する
ことを含む、方法。

【請求項2】

前記複数の装置が互いに積み重ねられており、前記ジェスチャー検出空間が、前記複数の空間領域が互いに積み重ねられるように、及び前記複数の空間領域の上から下までの各空間領域が前記複数の装置の上から下までの各装置にマッピングされるように、分割されている、請求項１に記載の方法。

【請求項3】

前記複数の装置が、ディジタルビデオレコーダ、衛星放送受信器、ディジタルテレビセットトップユニット、又はマルチメディアプレーヤを含み、その各々が前記ディスプレイ装置と組み合わされる、請求項１又は請求項２に記載の方法。

【請求項4】

前記ジェスチャーコマンドを、前記決定された目標装置によって検出することが可能な代替コマンド信号に変換し、及び、
該代替コマンド信号を、前記目標装置によって検出するために、前記少なくとも１つの装置から伝送する
ことを更に含む、請求項１ないし請求項３の何れか一項に記載の方法。

【請求項5】

前記ジェスチャーコマンドを検出するステップが、前記ユーザの利き手のジェスチャーを検出することを含む、請求項１ないし請求項４の何れか一項に記載の方法。

【請求項6】

マルチモーダル及びジェスチャー制御システムであって、
ディスプレイユニットと、
該ディスプレイユニットに結合された複数の装置であって、その少なくとも１つの装置が、ユーザからのジェスチャー入力を検出し及び該ジェスチャー入力が検出された空間領域に基づいて該複数の装置のうちの１つの目標装置を決定するジェスチャー検出モジュールを含み、ジェスチャー検出空間が複数の前記空間領域へと分割されており、その各空間領域が該複数の装置のうちの１つの装置にマッピングされている、複数の装置と
を備え、
前記ユーザからの前記ジェスチャー入力に基づいて制御動作が決定される、システム。

【請求項7】

前記複数の装置が互いに積み重ねられており、前記ジェスチャー検出空間が、前記複数の空間領域が互いに積み重ねられるように、及び該複数の空間領域の上から下までの各空間領域が前記複数の装置の上から下までの各装置にマッピングされるように、分割されている、請求項６に記載のシステム。

【請求項8】

前記複数の装置が、ディジタルビデオレコーダ、衛星放送受信器、ディジタルテレビセットトップユニット、又はマルチメディアプレーヤを含み、その各々がディスプレイ装置と組み合わされる、請求項６又は請求項７に記載のシステム。

【請求項9】

前記複数の装置が互いに近接した状態にある、請求項６ないし請求項８の何れか一項に記載のシステム。

【請求項10】

前記複数の装置が、前記ユーザからのジェスチャー入力を検出するための前記ジェスチャー検出モジュールを有するホスト装置を含み、該ホスト装置が、前記ジェスチャー入力を代替信号へと変換し及び該代替信号を前記複数の装置へブロードキャストするよう構成されている、請求項６ないし請求項９の何れか一項に記載のシステム。

【発明の詳細な説明】

【背景技術】

【0001】

背景
技術において絶えず続く変化に起因して、家庭用娯楽機器（ホームエンターテイメント）及び特に、家庭用娯楽機器システム（ホームエンターテイメントシステム）が、ここ１０年間にわたって劇的に変化した。例えば、今日のエンターテイメントシステムには、とりわけ、３次元（３Ｄ）が可能にされたテレビセット、ディジタルビデオレコーダ、ブルーレイメディアプレーヤ、及びビデオゲームシステムを含めることができる。その多くの技術的進歩にもかかわらず、エンターテイメントシステムの各装置は、依然として、ユーザからの何らかの物理的な操作（又は動作）のものである。現在、赤外線ベースのコントローラが、リモートに（遠隔で）装置を制御するのに最も人気がある方法のうちの１つである。しかしながら、同時に操作することが要求される装置の数が増加するにつれ、ユーザが学んで操作しなければならないコントローラの数もそのように増加する。

【0002】

以下の図面と併せて用いられた際に、本発明の特定の実施形態の詳細な説明の結果として、本発明の特徴及び利点、並びに、その追加的な特徴及び利点が、下記においてよりはっきりと理解されることとなるであろう。

【図面の簡単な説明】

【0003】

【図1】本発明の一例による、マルチモーダル及びジェスチャー制御システムの３次元の斜視図を示す図である。

【図2】本発明の一例による、マルチモーダル及びジェスチャー制御システムの簡略化されたブロック図を示す図である。

【図3】図３Ａ〜図３Ｉは、本発明の一例による、様々なジェスチャーコマンドを示す図である。

【図4A】本発明の一例による、相互作用が意図される特定のデバイスをユーザが指定することを可能にするための様々なメタ相互作用アプローチのうちの１つを示す図である。

【図4B】本発明の一例による、相互作用が意図される特定のデバイスをユーザが指定することを可能にするための様々なメタ相互作用アプローチのうちの１つを示す図である。

【図4C】本発明の一例による、相互作用が意図される特定のデバイスをユーザが指定することを可能にするための様々なメタ相互作用アプローチのうちの１つを示す図である。

【図4D】本発明の一例による、相互作用が意図される特定のデバイスをユーザが指定することを可能にするための様々なメタ相互作用アプローチのうちの１つを示す図である。

【図4E】本発明の一例による、相互作用が意図される特定のデバイスをユーザが指定することを可能にするための様々なメタ相互作用アプローチのうちの１つを示す図である。

【図5】本発明の一例による、マルチモーダル及びジェスチャー制御を可能にするための処理ステップの簡略化された流れ図を示す図である。

【実施例】

【0004】

発明の詳細な説明
以下の説明は、様々な実施形態に向けられているものである。これら実施形態のうちの１つか又は複数は、詳細に検討される場合があるが、開示した実施形態は、特許請求の範囲を含めて本開示の範囲を限定するものとして解釈されるべきではないか、或いは別様にも用いられる。更に、以下の説明には広い用途があり、任意の実施形態の説明は、その実施形態の一例であることのみを意味しており、及び特許請求の範囲を含めて本開示の範囲がその実施形態に限定されるということを暗に示すように任意の実施形態の説明は意図されていないということを当業者であれば理解するであろう。更には、本明細書内において使用されると、識別子「Ａ」、「Ｂ」、及び「Ｎ」は、具体的には図面内の参照数字について、そのように指定されたある番号の特定の特徴が、本開示の例と共に含まれる可能性があるということを示す。該識別子は、同じ番号か又は異なる番号の特定の特徴を表すことができる。

【0005】

最初の１桁又は複数桁が図面番号に対応して、残りの桁がその図面内のある要素か又は構成要素を識別（又は特定）するというような番号付けの慣習に本明細書内の図は従っている。異なる図の間における類似の要素か又は構成要素は、類似の桁を有した図でユーザにより識別され得る。例えば、１４３は、図１内の要素「４３」を参照することができ、及び、類似の要素が、図２内において２４３として参照され得る。本明細書内における様々な図内に示された要素は、本開示の多くの追加的な例を提供するために、追加され得る、交換され得る、及び／又は削除され得る。追加的には、図内に提供されている要素の比率（又は割合）及び相対的な縮尺（スケール）は、本開示の例を説明することが意図されており、限定する意味に受け取られるべきではない。

【0006】

上述の問題に対する一般的な解決法は、複数のエンターテイメント装置を制御するユニバーサルリモコン（リモートコントローラ）を使用することである。ここで、複数の装置を制御するために、単一コントローラが設定（又は構成）される。装置のセットと、通信チャンネル（例えば、赤外線）上において該コントローラが発令することが可能なその対応するコマンドとが、事前に設定され得るか、或いは、ユーザによりカスタマイズされ得る。典型的には、物理コントローラは、ある特定のモードに置かれる。これにより、そのモードが変更されない限り、全ての後続するコマンドは、ある特定の装置に向けられたもの（ある特定の装置用）になることとなる。しかしながら、物理コントローラは、バッテリの交換がたびたび必要となり、頻繁に置き忘れ、及び時が経つにつれて最終的には摩耗する。

【0007】

上述の問題に対する別の解決法は、ジェスチャー制御を用いることによって、物理コントローラを必要とせずに複数の装置の制御を可能にすることである。しかしながら、先行する解決法では、各装置は、それ自体の固有の相互作用ボキャブラリー（例えば、ジェスチャーコマンドデータベース）を有することに加えて、各装置には、ユーザからのジェスチャーを検出するためのコントローラが含まれなければならない。更には、物理コントローラが見当たらない時には、ジェスチャーがその目標を定める目標装置（目標とする装置、又は送り先装置）を指定することは、頻繁に困難となる。

【0008】

物理コントローラが無い場合において、別のアプローチは、ユーザのジェスチャーの意図される方向を、彼／彼女が指し示している場所を観察することによって決定することを可能にすることである。このことは、ユーザのジェスチャーの赤外線カメラ画像か又はＲＧＢを処理することによってか、或いは凝視（視線）検出により、成し遂げられ得る。このアプローチは、装置が空間内において物理的に離されている時に、時々働く（機能する）。すなわち、１度に１台のみのカメラ（例えば、前方を向いたカメラ）がユーザ相互作用を正確にキャプチャして ジェスチャーに対する目標装置（送り先装置）を決定することが可能であることとなるように、各装置が空間内において物理的に離されている状態で、独立したカメラを用いて、ビジュアルなジェスチャーを認識するよう複数のデバイスが構成されている。しかしながら、複数の装置が、互いにごく接近している状態にある場合には、このアプローチは、必要な精度で働かない（又は機能しない）。

【0009】

共通に存在する複数の装置によってユーザ動作（すなわち、ジェスチャーコマンド）が作動され得る時には、ある特定の装置をあるユーザが指定することを、本発明の例が可能にする。すなわち、本発明の例は、複数のエンターテイメント装置を制御するために使用され得る単一ジェスチャー及びマルチモーダルコントローラを提供する。具体的には、本発明の例は、メタ相互作用を利用するか、或いは、如何なる動作も結果的に生じないが相互作用それ自体（すなわち、相互作用の目的装置）を解釈するのに有用であるような相互作用を利用する。つまり、別の言い方をすると、同じ相互作用メカニズムを介して２つか又は３つ以上の複数装置が制御され得るような該複数装置とユーザが相互作用する時には、マルチモーダル及びジェスチャー制御システムは、ある特定の相互作用が意図されるのがどの装置なのかを区別するのを助ける。従って、メタ相互作用と、それに関連付けられたジェスチャー制御システムとが、幾つかの相互作用モダリティ（すなわち、マルチモーダル（複数態様、複数様式））に及ぶことが可能であり、及び、複数の近接装置との液体相互作用を可能にする。

【0010】

次に、図面（該図面内において、同様の数字は、図面全体を通じて対応する部分を同一視する）をより詳細に参照すると、図１は、本発明の一例による、マルチモーダル及びジェスチャー制御システムの３次元の斜視図である。ここで示されるように、システム１００は、多数のエンターテイメント装置に１０５、１１０、１１５に結合されたディスプレイユニット１２４を備える。一実施形態によれば、ディスプレイユニット１２４は、操作ユーザに対するオーディオ及びビデオ信号の伝送を容易にするよう構成されたディジタルテレビである。エンターテイメント装置１０５、１１０、１１５は、衛星放送受信器（サテライトレシーバ）、ディジタルビデオレコーダ（ＤＶＲ）、ディジタルビデオディスクプレーヤ（ＤＶＤ／ブルーレイ）、ビデオゲームコンソール、オーディオ・ビデオ（ＡＶ）レシーバ、及びこれらに類するものような、ディスプレイユニット１２４とペアを組ませるためのマルチメディア民生用電子装置を表す。更に、ジェスチャー検出コントローラが、コントローラ（例えば、カメラ、マイクロホン、赤外線カメラ、など）に情報を入力するための必要不可欠なセンサと共に、エンターテイメント装置１０５、１１０、１１５のうちの少なくとも１つの中に組み込まれ得る。その他のエンターテイメント装置には、赤外線ベースか又は無線周波数（ＲＦ）プロトコルなどの標準無線通信手段を含めることができる。本発明の例は、多数のエンターテイメント装置１０５、１１０、及び１１５の空間的な近接性と、無線プロトコルのブロードキャスト性（特質）との両方を利用する。例えば、ホスト装置のジェスチャー検出コントローラが、該ホスト装置に対する目標先（送り先）が定められていないユーザからのジェスチャーコマンドを認識する時には、該ホスト装置が、該コマンドを、他の装置によって理解され得る代替コマンドコード（例えば赤外線）へと変換するよう構成される。該代替コマンドは、次いで、適切なコードか又は媒体（例えば赤外線）が用いられて該ホスト装置によって目標装置（送り先装置）へとブロードキャストされる。図１内に示された例を再び参照すると、エンターテイメント装置１１０がジェスチャーコントローラを含み、エンターテイメント装置１０５に対する目標（送り先）が定められたユーザからのジェスチャーコマンドを認識する場合には、エンターテイメント装置１１０は、次いで、受け取ったジェスチャーコマンドに関連付けられた赤外線コード（すなわち、代替コマンド）を生成して、該代替コマンドを装置１０５にブロードキャストすることができる。装置１１０と装置１０５とが、ごく接近した状態にあるので、装置１０５の赤外線受信器は、この代替の赤外線コマンドを受け取って、従って、それに基づいて作動する。更に、該代替のコマンドか又は赤外線コードは、エンターテイメント装置１０５に固有のものであるので、エンターテイメント装置１１５は、このコマンドによって影響を受けない。更にまた、ディスプレイユニット１２４は、ホスト装置を介して制御されるエンターテイメント装置のうちの１つとすることもできる。

【0011】

図２は、本発明の一例による、マルチモーダル及びジェスチャー制御システムの簡略化されたブロック図である。この例の中に示されるように、システム２００は、複数のエンターテイメント装置２０５、２１０、２１５（Ａ、Ｂ、・・・Ｎ）、ディスプレイユニット２２４、ジェスチャーデータベース２２３、及びコンピュータ可読記憶媒体（ＣＲＳＭ）２１１を備える。本発明の例によるジェスチャー及びマルチモーダル制御を容易にするために、ホストか又はエンターテイメント装置２１０は、ジェスチャー検出モジュール２１１と信号プロセッサ２０９とを含む。より詳細には、ジェスチャー検出モジュール２１１は、ジェスチャーデータベース２２３に結合される。該ジェスチャーデータベース２２３は、関連付けられた動作コマンド及び目標装置（送り先装置）と共に記されたジェスチャーのリストを格納する。一例によれば、信号プロセッサ２０９は、ジェスチャーコマンドを代替コードか又はコマンド（例えば、無線周波数）に変換して、適切な目標装置（送り先装置）によって検出されるために、その変換されたコマンドを放出するよう構成される。装置２０５及び２１５は、ホストエンターテイメント装置２１０から放出された代替信号を検出するための信号受信器２０７、２１７をそれぞれ含む。ディスプレイユニット２２４は、液晶ディスプレイ（ＬＣＤ）テレビか、プラズマディスプレイパネルか、陰極線管（ＣＲＴ）ディスプレイか、ビデオプロジェクタか、又はこれらに類するもののような、ユーザに対して映像及び画像を提示するよう構成された電子映像ディスプレイを表す。更には、ディスプレイユニット２２４にはまた、ホスト装置からブロードキャストされた代替コマンド信号を検出するための信号受信器を含めることができる。記憶媒体２１９は、揮発性記憶装置（例えば、ランダムアクセスメモリ）か、不揮発性記憶装置（例えば、ハードディスクドライブ、読み出し専用メモリ、コンパンクトディスク可読専用メモリ、フラッシュ記憶装置、など）か、又はそれらの組み合わせを表す。更にまた、記憶媒体２１９には、本明細書内に記載された機能性（機能）のうちの幾つかか又は全てを実施するための、ホスト装置により実行可能なソフトウェア２１３を含めることができる。

【0012】

図３（図３Ａ〜図３Ｉ）は、本発明の一例による、様々なジェスチャーコマンドを示す。この例示的な実施形態の中に示されるように、図３Ａは、ユーザの手が握り拳を形成して、親指が西向きの方向を指し示しているようなジェスチャーコマンドを図示する。このようなジェスチャーコマンドは、ＤＶＤプレーヤ装置上において以前のチャプタにスキップさせることか、或いはＤＶＤ装置上において３０秒巻き戻すことのような「戻す（BACK）」操作にマッピングされ得る。同様に、図３Ｂは、ユーザの手が握り拳を形成して、親指が東向きの方向を指し示しているようなジェスチャーコマンドを図示する。このジェスチャーは、ＤＶＤプレーヤ上において次のチャプタにスキップさせることか、或いはＤＶＤ装置上において３０秒先にスキップさせることのような「進める（FORWARD）」操作にマッピングされ得る。図３Ｃは、ユーザの手が開かれており、指が互いに閉じられており、及び親指が人差し指に対して垂直であるような、更に別のジェスチャーコマンドを図示する。このようなジェスチャーは、例えば、ブルーレイ・エンターテイメント装置上のブルーレイ映画の再生を停止させることのような「停止」操作にマッピングされ得る。

【0013】

更にまた、図３Ｄは、ユーザの手の特質が、開かれていることと、指が本質的には等距離に離れていることと、手のひらが該ユーザに面していることとを含むようなジェスチャーコマンドを図示する。従って、このジェスチャーは、例えば、接続されたビデオゲームコンソール上においてセーブしたファイルをオープンさせることのような「オープン」操作にマッピングされ得る。同様に、図３Ｅは、ユーザの手の特質が、図３Ｄにおけるユーザの手の特質を模倣したものであるが、手のひらについてはユーザから離れる方向を向いているようなジェスチャーコマンドを図示する。一例によれば、このジェスチャーは、ディスプレイユニット上に示された画像か又は映像のビジュアルディスプレイ領域を増大させるための「最大化」操作にマッピングされ得る。更に言うと、図３Ｆは、ユーザの手が握り拳を形成するようなジェスチャーコマンドを図示する。ここで、このジェスチャーコマンドは、接続されたディスプレイユニット上に示された画像か又は映像のビジュアルディスプレイ領域を減少させるための「最小化」操作にマッピングされ得る。

【0014】

図３Ｇは、人差し指が東向きの方向を指し示している状態で、及び中指が北の方向を指し示している状態で、該中指と該人差し指とを除いてユーザの手が閉じられているような、更に別のジェスチャーコマンドを図示する。一例によれば、このようなジェスチャーは、最後に受け取ったコマンドがキャンセルされるか又は削除されるような「アンドゥー（UNDO）」操作にマッピングされ得る。図３Ｈは、人差し指が西向きの方向を指し示すということを除いて図３Ｇに類似したジェスチャーコマンドを図示する。図３Ｇとは逆に、図３Ｈのジェスチャーは、以前のコマンドが適用されることとなるような「リドゥ（REDO）」操作にマッピングされ得る。更にまた、図３Ｉは、かぎ爪タイプのジェスチャーを形成するために、ユーザの手の各指が内側に丸められているようなジェスチャーコマンドを図示する。このようなジェスチャーコマンドは、ホスト装置のジェスチャーコントローラを介して、ある特定の目標装置（送り先装置）に関するデータファイルをセーブする（例えば、ビデオゲームコンソールのハードドライブ上に写真をセーブする）ための「セーブ」操作に、マッピングされ得る。上述のジェスチャーコマンドは、本発明のシステムによって利用され得るジェスチャーのタイプの小さなサブセットの単なる一例に過ぎない。更にまた、これらのジェスチャーコマンドは、任意のタイプの動作コマンドに対して各ジェスチャーがマッピングされ得るように、単に例示を目的として使用されているに過ぎない。

【0015】

上述のように複数の装置を制御するために、ホストエンターテイメント装置内において単一ジェスチャー検出コントローラを用いることによって、特定のジェスチャーに対する目標装置（送り先装置）を指示することが必要になってくる。しかしながら、大量セットのジェスチャーコマンドを提供することは、ユーザが学び且つ吸収しなければならない多くのコマンドを増加させる働きをする。そのような方法はまた、大量セットのコマンド間の区別を行うためのセンサ及びコントローラの性能要件を増加させる働きもする。従って、本発明の例は、ユーザが、ある特定のジェスチャーコマンドをオーバーロードさせて、次いで、コマンドが意味付けられるか又は目標付けられるのがどの装置なのかを指定することを可能にするというような方法を提供する。具体的には、メタ相互作用か、或いは、如何なるアクションも結果として生じさせないけれども相互作用自体を解釈するためには有効な相互作用が、ある特定のユーザ相互作用か又はジェスチャーの目標装置（送り先装置）を識別するのに利用され得る。

【0016】

図４Ａ〜図４Ｅは、ユーザが、本発明の一例による、相互作用が意図される特定の装置を指定することを可能にすることのための様々なメタ相互作用アプローチを示す。図４Ａは、「利き手でない手（又は非支配的な手、又は非優位な手、非主要な手）」のメタ相互作用アプローチを図示する。このアプローチによれば、ユーザ４２６の利き手でない手４２４は、目標装置（送り先装置）を指定するために使用され得る一方、利き手（又は支配的な手、又は優位な手、又は主要な手）４３２が、ジェスチャー相互作用のために使用されている。すなわち、利き手４３２を用いてなされているジェスチャーコマンドに対する目標装置（送り先装置）を適格とするために、利き手でない手（又は非支配的な手、又は非優位な手、非主要な手）４３４を用いてなされるある姿勢か又はジェスチャーが使用され得る。その提示例の中に示されているように、ユーザ４２６は、利き手４２４で「戻す（BACK）」ジェスチャーコマンドを形成している一方で、同時に、「戻す（BACK）」動作を実行するための目標エンターテイメント装置（すなわち、装置１）を指示するために利き手でない手で１本の指を立てている。

【0017】

図４Ｂは、「クロスモードの」メタ相互作用アプローチを図示する。ここで、該メタ相互作用には、目標装置（送り先装置）を指定する別のモダリティ（例えば、スピーチ（言葉を発すること））によって同時に生じられるビジュアル手ジェスチャーを含めることができる。この例の中で示されているように、「戻す（BACK）」コマンドについてのビジュアル手ジェスチャーは、操作か又は制御するために「戻す（BACK）」コマンドが意味付けられるのがどの装置なのかを指定するための「ＤＶＤ」か又は「ＤＶＲ」などのスピーチタグによって成し遂げられ得る。図４Ｃは、「テンポラル」アプローチと呼ばれる更に別のメタ相互作用を図示する。この例では、同じ相互作用ドメイン内における幾つかのジェスチャーが、メタ相互作用として作用することができ、該メタ相互作用は、所与の期間内において今後（未来）のメタ相互作用が受容されない限り、目標装置（送り先装置）を設定する。例えば、ユーザ４２６は、目標装置（送り先装置）として「装置２」を選択することができ、次いで、所定の時間閾値（例えば、５秒）内において、及び、同じ相互作用ドメイン内において、ジェスチャーコマンド（例えば、「元に戻す（GO BACK）」、「ボリュームアップ（VOLUME UP）」など）を、選択した目標装置（送り先装置）を操作することのために形成する。代替的には、ある特定のジェスチャーは、異なる装置間において切り替えを行う「トグル・メタ相互作用」として作用することができる。

【0018】

次に図４Ｄを参照すると、「空間的な」メタ相互作用アプローチが図示されている。この例示的な実施形態によれば、相互作用のジェスチャー認識空間が、異なる装置にマッピングされている異なる空間領域内へと細分化され得る。これにより、ある特定の空間領域内においてトリガーされる相互作用が、ある特定の装置に向かって目標付けられることとなる。例えば、もしも２つのエンターテイメント装置が、互いの上に積み重ねられている場合には、所定の閾値（例えば、ユーザの顔か又は肩）上のビジュアル手ジェスチャーが、最も上の装置に割り当てられ得る一方、該閾値未満のジェスチャーコマンドは、該最も上の装置の下の装置に割り当てられ得る。図４Ｄの例では、空間領域４３６ａ内（すなわち、ユーザ４２４の目の上）におけるジェスチャーコマンド４３６ａは、エンターテイメント装置４０５に割り当てられることが可能であり、空間領域４３６ｂ内（すなわち、ユーザ４２４の目のレベルと肩のレベルとの間）におけるジェスチャーコマンド４３２ｂは、エンターテイメント装置４１０に割り当てられることが可能であり、一方、空間領域４３６ｃ内（すなわち、ユーザ４２４の肩のレベルと、ウエストのレベルとの間）におけるジェスチャーコマンド４３２ｃは、エンターテイメント装置４１５に割り当てられることが可能である。

【0019】

図４Ｅは、複数の装置を制御するための、更に別のメタ相互作用アプローチ（「ジェスチャー属性（アトリビュート）」を図示する。ここで、ジェスチャーのその特定の属性（アトリビュート）が、適切な目標装置を決定することのために分析される。より詳細には、メタ相互作用が、ジェスチャーコマンドそれ自体の中において組み込まれ得る。図４Ｅの中に示された例では、左から右へと手を振る（スワイプする）ジェスチャーには、ある特定の装置の「ボリュームを増大させる」意味を持たせることが可能である一方で、ジェスチャーを行っている間に伸ばされた指の数は、ジェスチャーコマンドが、第１の装置４０５に対してか、第２の装置４１０に対してか、又は第３の装置４１５に対して目標づけられるかどうかを、指定することが可能である。ここで、手を振る（スワイプする）ジェスチャー４３２は、第２の装置４１０上においてボリュームを増大させる動作を実施するようホスト装置に対して指示するするための２本の指を含む（該ホスト装置は、第２の装置であることさえも可能である）。代替の例示的な実施形態において、ジェスチャーコマンドの目標（送り先）が、不明確であり、且つ、ディスプレイか又はグラフィカル・ユーザ・インターフェースを用いて複数のエンターテイメント装置間においてユーザに選択を行わせることによって決定され得る、というイベントにおいてメタ相互作用は相互作用的であることができる。

【0020】

図５は、本発明の一例による、マルチモーダル及びジェスチャー制御を可能にするための処理ステップの簡略化された流れ図である。ステップ５０２において、ユーザからのジェスチャーコマンドが、ホストエンターテイメント装置のジェスチャー検出モジュールによって検出される。次に、ステップ５０４内において、ホスト装置が、該ジェスチャーコマンド（例えば、メタ相互作用）を分析して、目標装置（送り先装置）が該ホスト装置それ自体であるのかどうかを判定する。もしもそうであった場合には、ステップ５１２において、ジェスチャーデータベースは、クエリーがなされて、受け取ったジェスチャーコマンドに関連づけられた動作コマンドが決定されて、この動作コマンドは、ステップ５１４において、ホスト装置上において実行される。しかしながら、もしもホスト装置が、所望の目標装置であると判定されなかった場合には、ステップ５０６において、例えば上述のメタ相互作用に基づいて、該ホスト装置が適切な目標装置を決定する。ジェスチャーコマンドが、次いで、ステップ５０８内において、ホスト装置の信号プロセッサを介して代替コマンド信号（例えば、赤外線）に変換される。その後、ステップ５１０において、該代替コマンド信号がブロードキャストされるか又は該ホスト装置によって目標装置に伝送される。目標装置において受け取られたコマンド信号に基づいて、関連付けられた動作コマンドが、ステップ５１４内において該目標装置上において実行される。

【0021】

本発明の例による、マルチモーダル及びジェスチャー制御システムによって、多くの利点が提供される。例えば、該ジェスチャー制御システムは、ユーザに、単一の組み込まれたジェスチャーコントローラにより複数の装置を制御する能力を提供する。結果として、複数のセンサ及びジェスチャーコントローラを製造して各エンターテイメント装置上に配置することの費用を、削減することができる。更には、複数の装置間にわたって共有化された相互作用言語／ボキャブラリーを利用することによって、ユーザが、少量セットのジェスチャーを学ぶことが可能になり、従って、これらのジェスチャーコマンドの再呼び出し（リコール）及び利用が増大させられる。更には、少量の相互作用ボキャブラリは、ホスト装置における組み込まれたジェスチャーコントローラによってジェスチャーコマンドの認識を改善するのに役立つ。

【0022】

更にまた、本発明は、例示的な実施形態に関連して説明されてきたが、多くの改変が可能であるということを当業者は認識するであろう。例えば、本発明の例は、３つ以上か又は４つ以上のエンターテイメント装置に拡張可能であり、及び、ビジュアルジェスチャー以外の相互作用モダリティに拡張可能である。更にまた、各装置が、それ自体のジェスチャーコントローラを有しているけれども、（既存の凝視（視線）及びポインティング解決法を信頼不可能にさせるような）該装置が非常に接近しているという場合には、ジェスチャー制御システムは、平等に効果的とすることができる。更にまた、複数の装置を制御するためにユーザによって設定されている単一のユニバーサルリモコンに類似して、本発明の例は、ある特定の動作コマンドに対するジェスチャー及びメタ相互作用の手動設定を可能にさせるか、或いは、手動割り当てを可能にさせる。

【0023】

更にまた、ユーザはまた、特定の装置にのみマッピングされている新たなジェスチャーを追加することもできるか、又は、セットアップにおいて更に多くの装置が追加される時には、新たなメタ相互作用を追加することもできる。メタ相互作用はまた、２つ以上の装置に対して（従って、複数の装置内におけるトリガアクションに対して単一ジェスチャーコマンドを用いて）、ある特定のコマンドが意味付けられるということを指定することもできる。従って、例示的な実施形態に関連して本発明が説明されてきたが、以下の特許請求の範囲内における全ての改変及び等価物をカバーすることを本発明が意図されているということが理解されよう。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5】