(58)【調査した分野】(Int.Cl.,DB名)
前記電子装置がジェスチャー認識制御ユーザインターフェース(UI)を表示する場合、前記調整されたジェスチャー入力ダイナミックレンジに基づいて、ジェスチャー認識制御UIのサイズを調整すること
をさらに含む、請求項1に記載の方法。
前記ジェスチャー認識制御UIの少なくとも1つの要素のサイズおよび/または位置のうちの1つもしくは複数を修正することによって、前記ジェスチャー認識制御UIを調整すること
をさらに含む、請求項2に記載の方法。
前記電子装置がジェスチャー認識制御UIを表示しない場合、現在のジェスチャー入力ダイナミックレンジを反映するジェスチャー入力ダイナミックレンジインジケータを表示すること
をさらに含む、請求項1に記載の方法。
全地球測位サービス(GPS)信号、無線ネットワーク信号、およびセルラ通信信号のうちの1つから前記位置情報を取得することが可能な少なくとも1つの通信モジュールをさらに備える、請求項8に記載の装置。
前記環境のタイプを判断するために前記環境から音声信号を捕捉するためのマイクロフォンおよびビデオ信号を捕捉するためのカメラのうちの1つまたは複数をさらに備える、請求項8に記載の装置。
デスクトップコンピュータ、ラップトップコンピュータ、ハンドヘルドコンピュータ、車載コンピュータ、スマートフォン、テレビジョンモニタ、投影装置、およびコンピューティング装置に結合されたディスプレイのうちの1つを備える、請求項8に記載の装置。
【発明を実施するための形態】
【0010】
以下の詳細な説明では、その詳細な説明の一部を形成する添付の図面が参照される。図面では、内容に別段の規定がない限り、類似の記号は、一般に、類似のコンポーネントを識別する。詳細な説明、図面、請求項に説明される例示的な実施形態は、限定的であることが意味されない。その他の実施形態が使用されてよく、本明細書に提示される主題の趣旨または範囲から逸脱せずに、その他の変更が行われてよい。本明細書で一般に説明され、図面で例示される本開示の態様は、そのすべてが本明細書で明示的に企図される広範囲な異なる構成で構成可能であり、置換可能であり、組み合わせ可能であり、分離可能であり、設計可能であることを容易に理解されるであろう。
【0011】
本開示は、一般には、とりわけ、ジェスチャー認識のための環境依存型ダイナミックレンジ制御に関する方法、装置、システム、デバイス、および/またはコンピュータプログラム製品に関する。
【0012】
手短に述べると、ダイナミックレンジ制御はユーザ環境に基づくジェスチャー認識のために提供可能である。いくつかの実施形態によれば、位置、装置サイズ、仮想表示サイズまたは物理的な表示サイズを含むが、それらに限定されないユーザ環境が検出可能であり、ジェスチャー制御範囲は、検出された環境に従って調整可能である。その他の実施形態によれば、コントローラユーザインターフェースまたはダイナミックレンジ状態インジケータは、修正されたジェスチャー認識範囲制御に基づいて調整可能である。
【0013】
図1は、本明細書に記載される少なくともいくつかの実施形態による、ジェスチャー認識のためのある環境依存型ダイナミックレンジ制御の1つの例示的な実装形態を示す概念図である。
図100に示されるように、コンピューティング装置112などの電子装置は、機械制御(例えば、キーボード、マウスなど)、音声制御(例えば、発話認識)、および類似の制御などの従来の制御機構の代わりに、またはそれらに加えて、ジェスチャー認識によって制御可能である。
【0014】
コンピューティング装置112は、導電的に、光学的に、またはワイヤレスにディスプレイ装置104に結合されること(110)が可能である。ディスプレイ装置104は、一体型画像捕捉装置106(例えば、カメラ)を含んでもよい。あるいは、画像捕捉装置106は、導電的に、光学的に、またはワイヤレスにディスプレイ装置104に結合された個別の装置であってよい。ある例示的な実装形態では、ユーザ102は、ジェスチャーによってコンピューティング装置112の選択機能性を制御することができる。ジェスチャーは、画像捕捉装置106によって捕捉されて、コンピューティング装置112において認識可能であり、コンピューティング装置112は、それらのジェスチャーを特定の入力コマンドにマッピングして、それに応じて、それらのジェスチャーを処理することができる。
【0015】
コンピューティング装置112は、ユーザ102にフィードバックを提供して、ユーザ102が特定のジェスチャーを実行するのを容易にするための制御要素108を表示することができる。例えば、表示されたボタンは、特定のコマンドと関連付けられることが可能であり、ボタンはそのボタンに対する(例えば、手を用いた)ユーザの動作を検出するとすぐにアクティベートされ得る。フィードバックとして、アクティベートされるとすぐに、そのジェスチャーが成功裏に認識されたことをユーザに示すボタンの色/陰影付け/サイズを修正することが可能である。
【0016】
図2は、本明細書に記載される少なくともいくつかの実施形態による、ジェスチャー認識のためのある環境依存型ダイナミックレンジ制御の別の例示的な実装形態を示す概念図である。
図200に示されるように、ジェスチャーベースの制御は、ラップトップコンピュータ、デスクトップコンピュータ、ハンドヘルドコンピュータ、車載コンピュータ、スマートフォン、または類似の装置などの従来のコンピューティング装置に限定されない。コンピューティング装置と、家庭電化製品などの他の電子装置との間の区別は、広範囲な電子装置に専用プロセッサと通信機能とを組み込むことによって次第に曖昧になっているものの、それらは依然として別個の範疇にあると見なされる。
【0017】
ジェスチャーベースの制御は、テレビジョン、娯楽システム、自動現金預け払い機(ATM)、または同等の装置などの多様な電子装置の形で実装されることも可能である。
図200は、静止画像またはビデオ画像を表示するために住宅環境または公の環境で使用され得る投影型ディスプレイ204を例示する。電源オン/電源オフ、表示特性、音声特性などの投影型ディスプレイ204の機能性は、ユーザ202のジェスチャーを認識することによって制御可能である。
図1にあるように、ユーザのジェスチャー認識機構との相互作用を容易にして、ユーザ202にフィードバックを提供するための1つまたは複数の制御要素208を備えた制御ユーザインターフェースを提示することが可能である。ジェスチャーは、ビデオカメラ206を介して捕捉可能であり、ビデオカメラ206は、あるいは、静止画像カメラ、ウェブカム、または類似の画像捕捉装置であってもよい。
【0018】
図1および2の例示的な実装形態が示すように、ジェスチャー認識を用いる装置、およびそれらのジェスチャー認識が使用される環境は、幅広い範囲で変化する可能性がある。その範囲の一端には、比較的小さなディスプレイを備えたハンドヘルド装置(例えば、スマートフォン)があり、もう一端には、比較的大きな投影型ディスプレイまたはテレビ受信機がある。同様に、住宅環境またはオフィス環境において、ユーザは、手および腕を用いた大きなジェスチャーを自由に使用することができるのに対して、公の環境において、利用可能な空間およびその他の要件(例えば、そのジェスチャーに対する他の人々の反応)は、指のジェスチャーなど、より小さなジェスチャーの使用を必要とする場合がある。
【0019】
いくつかの実施形態によるシステムでは、(仮想的もしくは物理的)表示サイズおよび/または(公的もしくは私的)位置などのユーザの環境は、ジェスチャーによって自動的に制御される装置によって検出可能であり、ジェスチャー認識のためのダイナミックレンジが調整される。例えば、この範囲は、公的な場所で、または利用可能なディスプレイが小さいとき、より小さなジェスチャー用に修正可能であり、私的な場所で、または利用可能な表示サイズが大きいとき、より大きなジェスチャー用に修正可能である。検出は、位置判断(例えば、全地球測位サービス(GPS)、セルラ位置特定サービス、無線ネットワーク位置特定サービスなどの使用)、環境からのビデオ信号および/もしくは音声信号の解釈(例えば、背景内の多数の人々もしくは雑音レベルの検出)、またはユーザ入力に基づいてよい。ジェスチャー認識に関連する制御ユーザインターフェースは、検出された環境に基づいてサイズまたは構成の点で調整されることも同様に可能である。制御ユーザインターフェースが提供されない場合、ダイナミックレンジにおける変更をユーザに知らせるために、ユーザにダイナミックレンジインジケータを提供することが可能である。
【0020】
図3は、本明細書に説明される少なくともいくつかの実施形態による、同じ装置上の環境の検出に基づくジェスチャー入力制御の調整を例示する。
図300は、ジェスチャー認識のダイナミックレンジ制御を調整するある例を示す。
【0021】
ディスプレイ310は、画像312(例えば、建物)とジェスチャー認識制御ユーザインターフェース314とを提示する。制御ユーザインターフェース314は、ボタン、スライディング制御(sliding controls)、テキストボックスなど、いくつかの制御要素を含んでもよい。ユーザにとって使い勝手のよい相互作用をレンダリングして、フィードバックをユーザに提供するために、異なる色方式、陰影付け方式、テキスト方式、またはグラフィカル方式を使用することが可能である。例えば、ディスプレイ310に示される制御ユーザインターフェースなど、比較的小さい制御ユーザインターフェースの場合、ユーザは制御ユーザインターフェース314の要素を選択/アクティベートするために指のジェスチャー316を用いることができる。
【0022】
ディスプレイ320は、画像322と、より大きな制御ユーザインターフェース324とを提示する。ユーザの環境を検出することに応答して、いくつかの実施形態によるシステムは、ジェスチャー認識のダイナミックレンジと、表示された制御ユーザインターフェース324のサイズとを調整することができる。したがって、ユーザは、このとき、指のジェスチャーの代わりに手のジェスチャーを利用することができる。サイズに加えて、表示された制御ユーザインターフェース324内の構成および/または数を、検出された環境とジェスチャー認識に関して調整されたダイナミックレンジとに基づいて修正することも可能である。
【0023】
図4は、本明細書に記載される少なくともいくつかの実施形態による、異なる装置上の環境の検出に基づくジェスチャー入力制御の調整を例示する。
図400は、装置のタイプに基づく、ジェスチャー認識ダイナミックレンジおよび制御ユーザインターフェース調整のある例を示す。ユーザがコンピューティング装置間で切り替えて、同じソフトウェアアプリケーションを使用し続けることは一般的である。例えば、ユーザは、そのハンドヘルドコンピューティング装置上でウェブページを閲覧することができ、ユーザが住宅または事務所に到着するとき、ユーザはそのデスクトップコンピュータのより大きなディスプレイに切り替えて、同じウェブページを閲覧し続けることができる。同様に、ある人物は異なるサイズ表示を用いて、異なるテレビ受信機上で同じ番組を閲覧し続けることができる。
【0024】
ハンドヘルドコンピューティング装置430は、画像432をユーザに表示する、より小さな形態の装置のある例である。制御ユーザインターフェース434は、ジェスチャー認識機能性のためにハンドヘルドコンピューティング装置430上に提示される。装置のサイズにより、制御ユーザインターフェース434は、比較的に小さい(例えば、より小さなボタンがより互いに近接して配置されている)場合もある。
【0025】
ユーザがより大きなディスプレイ装置440(例えば、デスクトップコンピュータのモニタ)に切り替えるとき、類似の画像442を表示し続けることが可能であるが、表示環境内の変化を検出するとすぐに、ディスプレイ装置440は、ジェスチャー認識のダイナミックレンジを調整して、同時に、制御ユーザインターフェース444のサイズおよび/または構成を調整する(例えば、より大きなボタンを互いからさらに離す)ことが可能である。
【0026】
図5は、本明細書に記載される少なくともいくつかの実施形態による、携帯用コンピューティング装置上のある例示的なジェスチャー認識ダイナミックレンジ状態インジケータを示す。
図500に示されるように、制御ユーザインターフェースは常に提示されなくてよい。そのようなシナリオでは、いくつかの実施形態による装置は、ジェスチャー認識ダイナミックレンジに関するインジケータ548を表示することが可能である。ユーザが調整されたダイナミックレンジに関して知らされていない場合、ジェスチャー認識の精度は低減される可能性がある。それを回避するために、ボタンインジケータ548などのグラフィカルインジケータまたはテキストインジケータをディスプレイの適切な場所に(例えば、主な表示画像546の下に)表示することが可能である。
【0027】
いくつかの実施形態によれば、表示されたボタンのサイズ、色、および/または陰影付けは、ジェスチャー認識のための現在のダイナミックレンジを示すことができる。その他の実施形態によれば、現在のダイナミックレンジを示すために、スライディングスケールまたは2つのグラフィカル要素の組み合わせ(例えば、アイコン間の距離)などの他のグラフィカル方式を使用することが可能である。
【0028】
図6は、本明細書に記載される少なくともいくつかの実施形態による、装置構成がユーザの位置に基づいて変化する使用シナリオにおけるジェスチャーUI範囲の調整を例示する。先に議論されたように、実施形態によるシステムは環境を検出するように構成される。環境の検出は、位置判断、ユーザのスペースの検出、画像捕捉装置とユーザとの間の距離の判断、またはそれらの任意の組み合わせのうちの1つもしくは複数に基づいてよい。
【0029】
位置判断は、GPS、セルラ、または無線ネットワークサービス/有線ネットワークサービスなどの位置特定サービスを使用して、ならびに音声信号および/もしくはビデオ信号の解釈(例えば、公的な環境、観衆などの検出)を使用して、実行可能である。ユーザのスペースの検出は、そのユーザに近接して他の人々が存在するか否か、そのユーザの周囲に十分な空間的余裕が存在するか否かなどの検出を含んでもよい。ジェスチャーを捕捉する画像捕捉装置とユーザとの間の距離は、それらのジェスチャーがどの程度正確に認識されるかを判断することができる。したがって、その距離は、ジェスチャー認識のためのダイナミックレンジを調整するためのユーザの環境の第3の側面として検出が可能である。
【0030】
ジェスチャー認識ダイナミックレンジの調整に関して、2つのタイプのシナリオを考慮することができる。1つのシナリオでは、環境は変化し得るが、装置構成(例えば、ディスプレイのサイズ、検出能力など)は変化し得ない。もう1つのシナリオでは、装置構成は環境の変化と共に変化し得る。
【0031】
図600に示されるように、画像捕捉装置651からのユーザの距離は、ユーザの移動に関する範囲に影響を与える場合がある。例えば、ユーザが画像捕捉装置651に近接している場合、ユーザ動作(すなわち、ジェスチャー)に関する最大範囲652は、制御ユーザインターフェース654を管理するために必要とされる範囲とほぼ同じであり得る。いくつかの実施形態によれば、ダイナミックレンジは、2つのインジケータ656および658を使用して、制御された装置650上に表示可能である。
【0032】
次のシナリオでは、ユーザは、私的な場所に到着して、同じ装置がより遠くの距離(このとき、装置660)から利用可能になるように、その装置をドッキングステーション上に配置することができる。装置構成がユーザの環境と共に変化するこの例示的なシナリオでは、ユーザ動作662に関する新しい最大範囲は、ユーザ動作に関する以前の最大範囲652より大きいが、制御ユーザインターフェース664を管理するために必要とされる範囲は前と同じである。したがって、ユーザは、より大きなジェスチャー(例えば、指の動きの代わりに手のジェスチャー)を使用することができる。これは、近接して配置された2つのダイナミックレンジインジケータ666および668を用いて装置660上に表示可能である。
【0033】
したがって、環境だけが変化し、装置構成が変化しない場合、ダイナミックレンジを単に削減することは十分な可能性がある。他のシナリオによれば、ダイナミックレンジを増大または拡張することが可能である。装置構成および環境が変化する場合、ジェスチャー認識のための最適ダイナミックレンジを判断するために、上で議論された要因(例えば、表示サイズ、ユーザのスペース、カメラとユーザとの間の距離など)を個々に、または組み合わせて考慮することができる。制御ユーザインターフェースおよび/または表示されたダイナミックレンジ表示もそれに応じて調整可能である。
【0034】
図7は、本明細書に記載される少なくともいくつかの実施形態による、ユーザの環境に応じたジェスチャーベースの制御UI調整のある例を示す。
図7に示されるように、ジェスチャー認識のための制御ユーザインターフェースは、多くの形をとることが可能である。例えば、頭部装着型ディスプレイ(または、その他のディスプレイ)を備えた拡張現実感(AR)ベースの実装形態の人気はますます高まっている。これらの半透明ディスプレイは、ユーザが、実際の背景上に重ね合わされた1つまたは複数のソフトウェアアプリケーションに関する仮想ユーザインターフェースを見ながら、そのユーザの環境を知ることを可能にする。
【0035】
ディスプレイ770は、ユーザが背景に人々771を伴う公的な場所におり、デスクトップアプリケーションユーザインターフェース772が実際の背景上に重ね合わされている、ある例示的なAR実装形態を示す。デスクトップアプリケーションユーザインターフェース772は、やらなければならないことリスト(to−do list)アプリケーション774、カレンダーアプリケーション775、メモ取り(note taking)アプリケーション776に関する要素、および/またはその他の制御要素773を含んでもよい。ユーザは公的な場所にいるため、デスクトップアプリケーションユーザインターフェース772のサイズおよび構成は、ディスプレイ770上に示されるように、周囲の状況を楽に見ることを可能にするために最小化または構成が可能である。(ユーザインターフェースの要素と相互作用するための)ジェスチャー認識のためのユーザインターフェースサイズおよび/またはダイナミックレンジの調整は、本明細書に記載されるような環境検出に基づき得る。
【0036】
ディスプレイ780は、デスクトップアプリケーションユーザインターフェース772の修正されたバージョンであるデスクトップアプリケーションユーザインターフェース782を示す。人々771の代わりに本棚781を検出するなど、ユーザの環境の変化を検出して、それをユーザが私的な場所にいると解釈するとすぐに、システムは、デスクトップアプリケーションユーザインターフェース782のサイズを増大することができる。やらなければならないことリストアプリケーション784、カレンダーアプリケーション785、メモ取りアプリケーション786、および/またはその他の制御要素783を表すアイコンのうちの少なくともいくつかは、ユーザにより大きな仮想作業領域を提供するためにサイズの増大が可能であるか、または異なって配置されることも可能である。
【0037】
デスクトップアプリケーションユーザインターフェース782のサイズの増大と共に、ジェスチャー認識のためのダイナミックレンジは、今やユーザが私的な場所にいるため、ユーザがより大きなジェスチャーを用いることを可能にするために調整されることも可能である。
【0038】
図8は、本明細書に記載される少なくともいくつかの実施形態による、ジェスチャー認識のための環境依存型ダイナミックレンジ制御を実装するために使用され得る汎用コンピューティング装置を例示する。非常に基本的な構成802では、コンピューティング装置800は、一般に、1つまたは複数のプロセッサ804と、システムメモリ806とを含む。メモリバス808は、プロセッサ804とシステムメモリ806との間の通信のために使用可能である。
【0039】
所望の構成に応じて、プロセッサ804は、マイクロプロセッサ(μP)、マイクロコントローラ(μC)、デジタル信号プロセッサ(DSP)、またはそれらの任意の組み合わせを含むが、それらに限定されない任意のタイプのものであってよい。プロセッサ804は、レベルキャッシュメモリ812、プロセッサコア814、およびレジスタ816など、キャッシュのもう1つのレベルを含んでもよい。例示的なプロセッサコア814は、論理演算装置(ALU)、浮動小数点演算ユニット(FPU)、デジタル信号処理コア(DSPコア)、またはそれらの任意の組み合わせを含んでもよい。例示的なメモリコントローラ818は、プロセッサ804と共に使用されることも可能であり、いくつかの実装形態では、メモリコントローラ818はプロセッサ804の内部部分であってもよい。
【0040】
所望の構成に応じて、システムメモリ806は、(RAMなど)揮発性メモリ、(ROM、フラッシュメモリなど)不揮発性メモリ、またはそれらの任意の組み合わせを含むが、それらに限定されない任意のタイプのものであってよい。システムメモリ806は、オペレーティングシステム820と、アプリケーション822と、プログラムデータ824とを含んでもよい。アプリケーション822は、任意のコンピュータアプリケーションであってよく、ユーザジェスチャーを検出して、それらのユーザジェスチャーをアプリケーション822、ならびに上で議論されたような任意のその他のプロセス、方法、および機能に関する制御入力として用いるように構成されたジェスチャー認識モジュール826を含んでもよい。プログラムデータ824は、環境データ828、および少なくとも
図1から7に関して上で議論されたものに類似したデータのうちの1つまたは複数を含んでもよい。このデータは、本明細書に説明されるように、ジェスチャー認識のためのダイナミックレンジ制御を調整するために有用であり得る。いくつかの実施形態では、アプリケーション822は、本明細書に説明されるように、オペレーティングシステム820上でプログラムデータ824と協働するように構成可能である。この説明される基本的な構成802は、
図8において、内側の破線内のコンポーネントによって例示される。
【0041】
コンピューティング装置800は、基本的な構成802と任意の必要とされる装置およびインターフェースとの間の通信を円滑にするために追加の特徴または機能性と、追加のインターフェースとを有することが可能である。例えば、バス/インターフェースコントローラ830は、記憶インターフェースバス834を経由して、基本的な構成802と1つまたは複数のデータ記憶装置832との間の通信を円滑にするために使用可能である。データ記憶装置832は、取外し可能記憶装置836、取外し不可能記憶装置838、またはそれらの組み合わせであってよい。取外し可能記憶装置および取外し不可能記憶装置の例は、ほんのいくつかの例を挙げると、フレキシブルディスクドライブおよびハードディスクドライブ(HHD)などの磁気ディスク装置、コンパクトディスク(CD)ドライブまたはデジタル多用途ディスク(DVD)ドライブなどの光ディスクドライブ、固体ドライブ(SSD)、およびテープドライブを含む。例示的なコンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、もしくはその他のデータなどの情報を記憶するための任意の方法または技術の形で実装される揮発性媒体および不揮発性媒体、取外し可能媒体および取外し不可能媒体を含んでもよい。
【0042】
システムメモリ806、取外し可能記憶装置836、および取外し不可能記憶装置838は、コンピュータ記憶媒体の例である。コンピュータ記憶媒体は、所望の情報を記憶するために使用可能であり、かつコンピューティング装置800によってアクセスされ得るRAM、ROM、EEPROM、フラッシュメモリもしくはその他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)もしくはその他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくはその他の磁気記憶装置、または任意のその他の媒体を含むが、それらに限定されない。任意のそのようなコンピュータ記憶媒体は、コンピューティング装置800の一部であってよい。
【0043】
コンピューティング装置800は、バス/インターフェースコントローラ830を経由してさまざまなインターフェース装置(例えば、出力装置842、周辺インターフェース844、および通信装置866)から基本的な構成802への通信を円滑にするためのインターフェースバス840を含むこともできる。例示的な出力装置842は、1つもしくは複数のA/Vポート852を経由して、ディスプレイまたはスピーカなどのさまざまな外部装置と通信するように構成され得るグラフィックス処理ユニット848と音声処理ユニット850とを含む。例示的な周辺インターフェース844は、1つもしくは複数のI/Oポート858を経由して、入力装置(例えば、キーボード、マウス、ペン、音声入力装置、タッチ入力装置など)またはその他の周辺装置(例えば、カメラなど)などの外部装置と通信するように構成され得るシリアルインターフェースコントローラ854またはパラレルインターフェースコントローラ856を含む。例示的な通信装置866は、1つまたは複数の通信ポート864を経由して、ネットワーク通信リンク上で1つまたは複数のその他のコンピューティング装置862との通信を円滑にするように構成され得るネットワークコントローラ860を含む。
【0044】
ネットワーク通信リンクは、通信媒体の一例であり得る。通信媒体は、一般に、コンピュータ可読命令、データ命令、プログラムモジュール、または搬送波もしくはその他の移送機構などの変調データ信号における他のデータによって、実装可能であり、任意の情報送達媒体を含んでもよい。「変調データ信号」は、その特性セットのうちの1つもしくは複数を有する信号か、または情報を信号内で符号化するように変更された信号であってよい。限定ではなく、例として、通信媒体は、有線ネットワーク接続または直接配線接続などの有線媒体と、音響媒体、無線周波数(RF)媒体、マイクロ波媒体、赤外線(IR)媒体、およびその他の無線媒体などの無線媒体とを含んでもよい。本明細書で使用されているコンピュータ可読媒体という用語は、記憶媒体と通信媒体の両方を含み得る。
【0045】
コンピューティング装置800は、上記の機能のうちのいずれかを含む物理サーバ、仮想サーバ、コンピューティングクラウド、またはハイブリッド装置の一部として実装可能である。コンピューティング装置800は、ラップトップコンピュータ構成と非ラップトップコンピュータ構成の両方を含めて、パーソナルコンピュータとしても実装可能である。さらに、コンピューティング装置800は、ネットワーク接続されたシステムとして、または汎用サーバもしくは専用サーバの一部として実装可能である。
【0046】
コンピューティング装置800を含むネットワーク接続されたシステムに関するネットワークは、サーバ、クライアント、スイッチ、ルータ、モデム、インターネットサービスプロバイダ、および任意の適切な通信媒体(例えば、有線通信または無線通信)の任意のトポロジーを含んでもよい。いくつかの実施形態によるシステムは、静的または動的なネットワークトポロジーを有することが可能である。ネットワークは、企業ネットワーク(例えば、LAN、WAN、もしくはWLAN)など、安全なネットワーク、ワイヤレスオープンネットワーク(例えば、IEEE802.11無線ネットワーク)、または(例えば、インターネット)などのワールドワイドネットワークなど、安全でないネットワークを含んでもよい。ネットワークは、一緒に動作するように適合された複数の別個のネットワークを含むことも可能である。そのようなネットワークは、本明細書に記載されるノード間の通信を提供するように構成される。限定ではなく、例として、これらのネットワークは、音響媒体、RF媒体、赤外線媒体、およびその他の媒体など、無線媒体を含んでもよい。さらに、これらのネットワークは、同じネットワークまたは別個のネットワークの一部であってもよい。
【0047】
図9は、本明細書に記載される少なくともいくつかの実施形態によるジェスチャー認識のための環境依存型ダイナミックレンジ制御を実装するために使用され得る専用プロセッサを例示する。
図900に示されるように、プロセッサ990は、ジェスチャー入力によって制御可能なコンピューティング装置または任意の電子装置(例えば、テレビジョン、ATMコンソール、もしくは同等のもの)の一部であってもよい。
【0048】
プロセッサ990は、(1つまたは複数の)ネットワーク910−2を介して、とりわけ、ユーザジェスチャー、ユーザ環境を捕捉するためのカメラ980などの捕捉装置と通信するように構成された環境検出モジュール996およびジェスチャー認識モジュール998など、いくつかのモジュールを含んでもよい。環境検出モジュール996によって環境を検出するとすぐに、プロセッサ990は、検出された環境に応じて、ジェスチャー入力範囲および/または制御ユーザインターフェースサイズを動的に調節することが可能である。
【0049】
メモリ991は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせとして実装可能なプロセッサ990のコントロールモジュール用の命令を記憶するように構成可能である。データのうちのいくつかは、環境データ992、ジェスチャーデータ994、または類似の情報を含んでもよいが、それに限定されない。プロセッサ990は、電子結合によって、またはネットワーク接続された通信(例えば、(1つもしくは複数の)ネットワーク910−1)によって他の装置、例えば、ディスプレイ970および/あるいは記憶設備960などのデータ記憶装置と通信するように構成可能である。
【0050】
例示的な実施形態は、方法を含むことも可能である。これらの方法は、本明細書に記載される構造を含めて、任意の数の様式で実装可能である。1つのそのような様式は、本開示で説明されるタイプの装置の機械動作による。別のオプションの様式は、そのうちのいくつかを1人または複数の人間オペレータが実行するのと同時に、他の動作が機械によって実行されることと併せて、方法の個々の動作のうちの1つまたは複数を実行することに関する。これらの人間オペレータは、互いに並べて配置されなくてもよく、それぞれ、プログラムの一部を実行する機械とだけ同じ場所に配置されてもよい。他の例では、機械自動化された事前に選択された基準によってなど、人間の相互作用を自動化することが可能である。
【0051】
図10は、本明細書に記載される少なくともいくつかの実施形態による、
図8の装置800などのコンピューティング装置、または
図9のプロセッサ990などの専用プロセッサによって実行され得るジェスチャー認識のための環境依存型ダイナミックレンジ制御を実装するためのある例示的な方法を示す流れ図である。ブロック1022から1028で説明される動作は、コンピュータ可読媒体1020内のコンピュータ実行可能命令として記憶可能であり、かつ
図8のコンピューティング装置800、
図9の専用プロセッサ990、または類似の装置であってよい、コントローラ装置1010によって実行可能である。
【0052】
ジェスチャー認識のための環境依存型ダイナミックレンジ制御を用いるためのプロセスは、動作1022、「環境を検出する」から開始することができる。動作1022で、位置情報、カメラからの情報、マイクロフォンからの情報、もしくは同等のソースに基づいて、装置および/またはディスプレイの位置、サイズなどのユーザの環境を決定することが可能である。
【0053】
動作1022の後に、動作1024「ジェスチャー入力ダイナミックレンジを調節する」を続けることが可能である。動作1024で、検出された環境に基づいて、ジェスチャー認識設定を調整することができる。例えば、ジェスチャー制御は、ハンドベースの制御からフィンガーベースの制御に変更可能であり、逆も同様である。当然、より小さな調整(例えば、より大きな手のジェスチャーに対してより小さな手のジェスチャー)を実行することも可能である。
【0054】
動作1024の後に、動作1026「コントローラユーザインターフェースが存在する場合、コントローラユーザインターフェースサイズを調整する」を続けることが可能である。オプションの動作1026で、コントローラユーザインターフェースは、検出された環境および/または調整されたジェスチャー認識範囲に基づいて調整可能である。例えば、上で議論された状況に基づいて、ボタンまたは類似の制御要素の数および/もしくはサイズ、制御要素の構成を修正することが可能である。
【0055】
オプションの動作1026の後に、オプションの動作1028「コントローラユーザインターフェースが存在しない場合、ダイナミックレンジ状態インジケータを提供/調整する」を続けることが可能である。オプションの動作1028で、装置がコントローラユーザインターフェースを含まない場合、1つもしくは複数のアイコンまたは類似の表示要素を使用して、調整されたジェスチャー認識範囲に関するフィードバックをユーザに提供することができる。
【0056】
上述のプロセス内に含まれる動作は、例示のためだけである。ジェスチャー認識のための環境依存型ダイナミックレンジ制御は、より少ない動作または追加の動作を伴う類似のプロセスによって実装可能である。いくつかの例では、これらの動作を異なる順序で実行することが可能である。いくつかのその他の例では、さまざまな動作を除去することが可能である。さらにその他の例では、さまざまな動作は、追加の動作に分割可能であるか、または一緒に組み合わせてより少ない動作にすることが可能である。
【0057】
図11は、本明細書に記載される少なくともいくつかの実施形態に従って構成された、ある例示的なコンピュータプログラム製品のブロック図を示す。いくつかの例では、
図11に示されるように、コンピュータプログラム製品1100は、例えば、プロセッサによって実行されるとき、
図8または9に関して上で説明された機能を提供することが可能な機械可読命令1104を含むことも可能な信号伝達媒体1102を含んでもよい。したがって、例えば、コンピューティング装置800を参照すると、環境検出モジュール826は、本明細書に記載されるようなジェスチャー認識のための環境依存型ダイナミックレンジ制御に関連する動作を実行するために、信号伝達媒体1102によってプロセッサ804に伝達された命令1104に応答して、
図11に示されるタスクのうちの1つまたは複数に着手することができる。それらの命令のうちのいくつかを、環境を検出すること、ジェスチャー入力ダイナミックレンジを調整すること、コントローラユーザインターフェースおよび/またはダイナミックレンジ状態インジケータを調整することと関連付けることが可能である。
【0058】
いくつかの実装形態では、
図11に示される信号伝達媒体1102は、それらに限定されないが、ハードディスクドライブ、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、デジタルテープ、メモリなどのコンピュータ可読媒体1106を包含することができる。いくつかの実装形態では、信号伝達媒体1102は、それらに限定されないが、メモリ、読取り/書込み(R/W)CD、R/W DVDなどの記録可能媒体1108を包含することが可能である。いくつかの実装形態では、信号伝達媒体1102は、それらに限定されないが、デジタル通信媒体および/またはアナログ通信媒体(例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンク)などの通信媒体1110を包含することが可能である。したがって、例えば、プログラム製品1100は、RF信号伝達媒体によってプロセッサ990の1つまたは複数のモジュールに伝達可能であり、この場合、信号伝達媒体1102は、無線通信媒体1110(例えば、IEEE802.11標準に準拠する無線通信媒体)によって伝達される。
【0059】
本開示は、ジェスチャー認識のダイナミックレンジを調整するための方法を提示する。いくつかの例によれば、この方法は、ジェスチャー認識可能な電子装置のユーザの環境を検出することと、ユーザの検出された環境に基づいて、ジェスチャー認識可能な電子装置に関するジェスチャー入力ダイナミックレンジを調整することとを含む。環境は公的な場所または私的な場所を含んでもよい。
【0060】
その他の例によれば、この方法は、電子装置がジェスチャー認識制御UIを表示する場合、調整されたジェスチャー入力ダイナミックレンジに基づいて、ジェスチャー認識制御ユーザインターフェース(UI)のサイズを調整することを含むことも可能である。ジェスチャー認識制御UIは、制御要素および/またはアプリケーションユーザインターフェースを含んでもよい。この方法は、ジェスチャー認識制御UIの少なくとも1つの要素のサイズおよび/または位置のうちの1つもしくは複数を修正することによって、ジェスチャー認識制御UIを調整することをさらに含んでもよい。
【0061】
さらなる例によれば、この方法は、電子装置がジェスチャー認識制御UIを表示しない場合、現在のジェスチャー入力ダイナミックレンジを反映するジェスチャー入力ダイナミックレンジインジケータを表示することを含んでもよい。この方法は、音声信号、ビデオ信号、および/または位置情報のうちの1つもしくは複数に基づいて、環境を検出することをさらに含んでもよい。位置情報は、全地球測位サービス(GPS)信号、無線ネットワーク信号、および/またはセルラ通信信号のうちの1つもしくは複数から取得可能である。この方法は、画像認識、電子装置の構成、または電子装置とユーザとの間の距離に基づいて、環境を検出することを含むことも可能である。
【0062】
本開示は、ジェスチャー認識のダイナミックレンジを調整することが可能な装置も説明する。いくつかの例によれば、この装置は、ジェスチャーを検出するための画像捕捉装置と、命令を記憶するように構成されたメモリと、そのメモリに結合されたプロセッサとを含んでもよい。プロセッサは、命令を実行するように適合可能であり、命令は、実行されるとき、ユーザの環境を検出して、ユーザの検出された環境に基づいて、ジェスチャー入力ダイナミックレンジを調整するようにプロセッサを構成する。環境は、公的な場所であってよく、または私的な場所であってもよい。プロセッサは、装置がジェスチャー認識制御ユーザインターフェース(UI)を表示する場合、調整されたジェスチャー入力ダイナミックレンジに基づいて、ジェスチャー認識制御UIのサイズを調整するようにさらに構成可能である。
【0063】
その他の例によれば、ジェスチャー認識制御UIは、制御要素および/またはアプリケーションユーザインターフェースを含むことが可能であり、プロセッサは、ジェスチャー認識制御UIの少なくとも1つの要素のサイズおよび/または位置のうちの1つもしくは複数を修正することによって、ジェスチャー認識制御UIを調整することが可能である。プロセッサは、電子装置がジェスチャー認識制御UIを表示しない場合、現在のジェスチャー入力ダイナミックレンジを反映するジェスチャー入力ダイナミックレンジインジケータを表示することも可能である。
【0064】
さらなる例によれば、プロセッサは、音声信号、ビデオ信号、および/または位置情報のうちの1つもしくは複数に基づいて、環境を検出することが可能であり、この場合、装置は、全地球測位サービス(GPS)信号、無線ネットワーク信号、またはセルラ通信信号から位置情報を取得することが可能な少なくとも1つの通信モジュールをさらに含んでもよい。装置は、環境のタイプを判断するために環境から音声信号を捕捉するためのマイクロフォンおよびビデオ信号を捕捉するためのカメラのうちの1つまたは複数を含むことも可能である。
【0065】
プロセッサは、画像認識、装置の構成、装置のタイプ、および/またはユーザと装置との間の距離のうちの1つもしくは複数に基づいて、環境を検出することができる。さらに、装置は、デスクトップコンピュータ、ラップトップコンピュータ、ハンドヘルドコンピュータ、車載コンピュータ、スマートフォン、テレビジョンモニタ、投影装置、またはコンピューティング装置に結合されたディスプレイであってよい。
【0066】
本開示は、ジェスチャー認識の動的範囲を調整するための命令を記憶しているコンピュータ可読記憶媒体をさらに説明する。これらの命令は、ジェスチャー認識可能な電子装置のユーザの環境を検出することと、公的な場所であってよく、または私的な場所であってもよい、ユーザの環境に基づいて、ジェスチャー認識可能な電子装置に関するジェスチャー入力ダイナミックレンジを調整することとを含んでもよい。
【0067】
これらの命令は、電子装置がジェスチャー認識制御UIを表示する場合、調整されたジェスチャー入力ダイナミックレンジに基づいて、ジェスチャー認識制御ユーザインターフェース(UI)のサイズを調整することを含むことも可能であり、この場合、ジェスチャー認識制御UIは、制御要素および/またはアプリケーションユーザインターフェースを含む。他の例によれば、これらの命令は、ジェスチャー認識制御UIの少なくとも1つの要素のサイズおよび/または位置のうちの1つもしくは複数を修正することによって、ジェスチャー認識制御UIを調整することと、電子装置がジェスチャー認識制御UIを表示しない場合、現在のジェスチャー入力ダイナミックレンジを反映するジェスチャー入力ダイナミックレンジインジケータを表示することとをさらに含んでもよい。音声信号、ビデオ信号、および/または位置情報のうちの1つもしくは複数に基づいて、環境を検出することが可能である。画像認識、電子装置の構成、電子装置のタイプ、および/またはユーザと電子装置との間の距離のうちの1つもしくは複数に基づいて、環境を検出することも可能である。
【0068】
システムの側面でのハードウェアの実装形態とソフトウェアの実装形態との間には、ほとんど相違が残されていない。ハードウェアまたはソフトウェアの使用は、一般に(いつもそうではないが、ある状況ではハードウェアとソフトウェアの間の選択が重要になり得るという点で)コスト対効果のトレードオフを表す設計上の選択である。本明細書に記載された、プロセスおよび/またはシステムおよび/または他の技術をもたらすことができるさまざまな達成手段があり(例えば、ハードウェア、ソフトウェア、および/またはファームウェア)、好ましい達成手段は、プロセスおよび/またはシステムおよび/または他の技術が導入される状況によって異なる。例えば、実装者が速度と正確性が最も重要であると決定すると、実装者は主にハードウェアおよび/またはファームウェアの達成手段を選択することができる。フレキシビリティが最も重要なら、実装者は主にソフトウェアの実装形態を選択することができる。または、さらに別の代替案として、実装者は、ハードウェア、ソフトウェア、および/またはファームウェアのなんらかの組み合わせを選択することができる。
【0069】
前述の詳細な説明では、ブロック図、フローチャート、および/または例の使用によって、装置および/またはプロセスのさまざまな実施形態を説明してきた。そのようなブロック図、フローチャート、および/または例が1つまたは複数の機能および/または動作を含む限りにおいて、そのようなブロック図、フローチャート、または例の中のそれぞれの機能および/または動作は、広範囲のハードウェア、ソフトウェア、ファームウェア、または実質上それらのすべての組み合わせにより、個別におよび/または集合的に実装可能であることが、当業者には理解されるであろう。ある実施形態では、本明細書に記載された主題のいくつかの部分は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタルシグナルプロセッサ(DSP)、または他の集積化方式によって実装することができる。しかし、本明細書で開示された実施形態のいくつかの態様が、全体においてまたは一部において、1つまたは複数のコンピュータ上で動作する1つまたは複数のコンピュータプログラムとして(例えば、1つまたは複数のコンピュータシステム上で動作する1つまたは複数のプログラムとして)、1つまたは複数のプロセッサ上で動作する1つまたは複数のプログラムとして(例えば、1つまたは複数のマイクロプロセッサ上で動作する1つまたは複数のプログラムとして)、ファームウェアとして、あるいは実質上それらの任意の組み合わせとして、等価に集積回路に実装することができることを、当業者は認識するであろうし、電気回路の設計ならびに/またはソフトウェアおよび/もしくはファームウェアのコーディングが、本開示に照らして十分当業者の技能の範囲内であることを、当業者は認識するであろう。
【0070】
本開示は、さまざまな態様の例示として意図される、本出願で記載された特定の実施形態の点で限定されない。当業者に明らかになるように、その趣旨および範囲から逸脱せずに、多くの修正および改変を行うことが可能である。本開示の範囲内の機能的に均等な方法および装置は、本明細書に記載された方法および装置に加えて、前述の記載から当業者に明らかになるであろう。そのような修正および改変は、添付の請求項の範囲に包含されることが意図される。本開示は、添付の請求項が権限を有する均等物の完全範囲と共に、そのような請求項の条件によってだけ限定されるべきである。本開示は、当然変化し得る特定の方法、材料、および構成に限定されないことを理解されたい。本明細書で使用される専門用語は、特定の実施形態を説明するためだけであり、限定的であることが意図されない点も理解されたい。
【0071】
さらに、本明細書に記載された主題のメカニズムをさまざまな形式のプログラム製品として配布することができることを、当業者は理解するであろうし、本明細書に記載される主題の例示的な実施形態が、実際に配布を実行するために使用される信号伝達媒体の特定のタイプにかかわらず適用されることを、当業者は理解するであろう。信号伝達媒体の例は、フロッピー(登録商標)ディスク、ハードディスクドライブ、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、デジタルテープ、コンピュータメモリ、などの記録可能なタイプの媒体、ならびに、デジタル通信媒体および/またはアナログ通信媒体(例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど)などの伝送タイプの媒体を含むが、それらに限定されない。
【0072】
本明細書で説明されたやり方で装置および/またはプロセスを記載し、その後そのように記載された装置および/またはプロセスをデータ処理システムに統合するためにエンジニアリング方式を使用することは、一般的であることを当業者は認識するであろう。すなわち、本明細書に記載された装置および/またはプロセスの少なくとも一部を、妥当な数の実験によってデータ処理システムに統合することができる。通常のデータ処理システムは、一般に、システムユニットハウジング、ビデオディスプレイ装置、揮発性メモリおよび不揮発性メモリなどのメモリ、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサ、オペレーティングシステムなどの計算実体、ドライバ、グラフィカルユーザインターフェース、およびアプリケーションプログラムのうちの1つもしくは複数、タッチパッドまたはスクリーンなどの1つもしくは複数の相互作用装置、ならびに/あるいはフィードバックループおよび(例えば、ジェスチャー入力ダイナミックレンジを調整する)コントロールモジュールを含むコントロールシステムを含むことを、当業者は認識するであろう。
【0073】
一般的なデータ処理システムは、データ計算システム/データ通信システム、および/またはネットワーク計算システム/ネットワーク通信システムの中に一般に見出されるコンポーネントなどの任意の適切な市販のコンポーネントを利用して実装可能である。本明細書に記載された主題は、時として、異なるその他のコンポーネント内に包括されるか、または異なる他のコンポーネントに結合された異なるコンポーネントを例示する。そのように示されたアーキテクチャは、単に例示にすぎず、実際には、同じ機能性を実現する多くの他のアーキテクチャが実装可能であることを理解されたい。概念的な意味で、同じ機能性を実現するためのコンポーネントの任意の構成は、所望の機能性が実現されるように効果的に「関連付け」される。したがって、特定の機能性を実現するために組み合わされた、本明細書における任意の2つのコンポーネントは、アーキテクチャまたは中間のコンポーネントにかかわらず、所望の機能性が実現されるように、互いに「関連付け」されていると理解することができる。同様に、そのように関連付けされた任意の2つのコンポーネントは、所望の機能性を実現するために、互いに「動作可能に接続」または「動作可能に結合」されていると見なすことができ、そのように関連付け可能な任意の2つのコンポーネントは、所望の機能性を実現するために、互いに「動作可能に結合できる」と見なすこともできる。動作可能に結合できる具体例は、物理的に接続可能な、および/もしくは物理的に相互作用可能なコンポーネント、ならびに/またはワイヤレスに相互作用可能な、および/もしくはワイヤレスに相互作用するコンポーネント、ならびに/または論理的に相互作用する、および/もしくは論理的に相互作用可能なコンポーネントを含むが、それらに限定されない。
【0074】
本明細書における実質的に任意の複数形、および/または単数形の用語の使用に関して、当業者は、状況および/もしくは用途に適切なように、複数形から単数形に、および/または単数形から複数形に変換することができる。さまざまな単数形/複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。
【0075】
通常、本明細書において、特に添付の特許請求の範囲(例えば、添付の特許請求の範囲の本体部)において使用される用語は、一般に、「オープンな(open)」用語として意図されることが、当業者には理解されよう(例えば、用語「含む(including)」は、「含むがそれに限定されない(including but not limited to)」と解釈されるべきであり、用語「有する(having)」は、「少なくとも有する(having at least)」と解釈されるべきであり、用語「含む(includes)」は「含むがそれに限定されない(includes but not limited to)」と解釈されるべきである、など)。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該特許請求の範囲において明示的に記載されることになり、そのような記載がない場合、そのよう意図は存在しないことが、当業者にはさらに理解されよう。例えば、理解の一助として、以下の添付の特許請求の範囲は、導入句「少なくとも1つの(at least one)」および「1つまたは複数の(one or more)」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「1つもしくは複数の」または「少なくとも1つの」、および「a」または「an」などの不定冠詞を含む場合であっても、不定冠詞「a」または「an」による請求項の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に1つのそのような記載を含む実施形態に限定する、ということを示唆していると解釈されるべきではない(例えば、「a」および/または「an」は、「少なくとも1つの」または「1つもしくは複数の」を意味すると解釈されるべきである)。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。さらに、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう(例えば、他の修飾語なしでの「2つの記載(two recitations)」の単なる記載は、少なくとも2つの記載、または2つ以上の記載を意味する)。
【0076】
さらに、「A、B、およびC、などの少なくとも1つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている(例えば、「A、B、およびCの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、AおよびBを共に、AおよびCを共に、BおよびCを共に、ならびに/またはA、B、およびCを共に、など有するシステムを含むが、それに限定されないことになる)。「A、B、またはC、などの少なくとも1つ」に類似する慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている(例えば、「A、B、またはCのうちの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、AおよびBを共に、AおよびCを共に、BおよびCを共に、ならびに/またはA、B、およびCを共に、などを有するシステムを含むが、それに限定されないことになる)。2つ以上の代替用語を提示する事実上いかなる離接する語および/または句も、明細書においてであれ、特許請求の範囲においてであれ、または図面においてであれ、当該用語のうちの一方(one of the terms)、当該用語のいずれか(either of the terms)、または両方の用語(both terms)を含む可能性を企図すると理解されるべきであることが、当業者には理解されよう。例えば、句「AまたはB」は、「A」もしくは「B」または「AおよびB」の可能性を含むことが理解されよう。
【0077】
さらに、本開示の特徴または態様がマーカッシュグループによって説明される場合、本開示は、それによって、マーカッシュグループの任意の個々のメンバーまたはメンバーのサブグループによって説明されることを当業者は理解するであろう。
【0078】
さまざまな態様および実施形態が本明細書に記載されているが、その他の態様および実施形態が当業者に明らかになるであろう。本明細書で開示されたさまざまな態様および実施形態は、例示のためであり、限定的であることが意図されず、その真の範囲および趣旨は以下の請求項によって示されている。