特許第6072237号(P6072237)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アマゾン・テクノロジーズ、インコーポレイテッドの特許一覧

特許6072237ジェスチャー入力のための指先の場所特定
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6072237
(24)【登録日】2017年1月13日
(45)【発行日】2017年2月1日
(54)【発明の名称】ジェスチャー入力のための指先の場所特定
(51)【国際特許分類】
   G06F 3/0346 20130101AFI20170123BHJP
【FI】
   G06F3/0346 422
   G06F3/0346 421
【請求項の数】14
【全頁数】22
(21)【出願番号】特願2015-518581(P2015-518581)
(86)(22)【出願日】2013年6月20日
(65)【公表番号】特表2015-520471(P2015-520471A)
(43)【公表日】2015年7月16日
(86)【国際出願番号】US2013046906
(87)【国際公開番号】WO2013192454
(87)【国際公開日】20131227
【審査請求日】2015年2月23日
(31)【優先権主張番号】13/528,522
(32)【優先日】2012年6月20日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】506223509
【氏名又は名称】アマゾン・テクノロジーズ、インコーポレイテッド
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100075672
【弁理士】
【氏名又は名称】峰 隆司
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100140176
【弁理士】
【氏名又は名称】砂川 克
(74)【代理人】
【識別番号】100124394
【弁理士】
【氏名又は名称】佐藤 立志
(74)【代理人】
【識別番号】100112807
【弁理士】
【氏名又は名称】岡田 貴志
(74)【代理人】
【識別番号】100111073
【弁理士】
【氏名又は名称】堀内 美保子
(72)【発明者】
【氏名】カラコトシオス、ケネス・エム.
(72)【発明者】
【氏名】ノーブル、アイザック・エス.
(72)【発明者】
【氏名】ジョウ、ドン
【審査官】 塩屋 雅弘
(56)【参考文献】
【文献】 米国特許出願公開第2008/0244468(US,A1)
【文献】 欧州特許出願公開第02284655(EP,A2)
【文献】 特表2010−526391(JP,A)
【文献】 特開2012−003724(JP,A)
【文献】 特開2012−048393(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F3/01
3/03−3/0489
(57)【特許請求の範囲】
【請求項1】
ユーザの指先の場所を特定するための、コンピュータにより実現される方法において
コンピューティングデバイスの少なくとも1つのカメラを使用して、画像を取り込むことと、
ーザの指の第1の部分の表現と、前記コンピューティングデバイスに関する前記指の第1の部分についての場所情報と、前記画像から決定することと、
前記指の第2の部分が前記少なくとも1つのカメラの視野の外側であることを決定することと、
前記指の第1の部分と前記指の第2の部分とを含む、前記ユーザの手のモデルを決定することと、
記コンピューティングデバイスの少なくとも1つのセンサを使用して、前記コンピューティングデバイスにする前記指の第2の部分の近接を検出することと、
前記ユーザの手のモデルと、前記指の第1の部分についての場所情報と、前記第2の部分の近接とに少なくとも部分的に基づいて、前記コンピューティングデバイスに関する前記指の第2の部分の相対的な場所を決定することと、
前記指の第1の部分についての場所情報と、前記指の第2の部分の相対的な場所とに少なくとも部分的に基づいて、前記指先のおおよその軌跡を決定することと、
前記指先のおおよその軌跡に少なくとも部分的に基づいて、前記コンピューティングデバイス上で実行するアプリケーションへの入力を提供することとを含むコンピュータにより実現される方法。
【請求項2】
前記少なくとも1つのセンサは、電磁界センサ、容量センサ、または、超音波センサのうちの少なくとも1つを含む請求項1記載のコンピュータにより実現される方法。
【請求項3】
前記ユーザの手のモデルを決定することは、前記指の第1の部分の表現と、前記指の第1の部分に関する前記指の第2の部分の場所とに対する情報を、前記指のデジタルモデルに入力すること、または前記指の第2の部分が視野の外側に移動する前に少なくとも1つの以前に取り込まれた画像の中で識別される、少なくとも1つの以前の指先の相対的な場所を使用すること、のうちの1つ以上を含む請求項1記載のコンピュータにより実現される方法。
【請求項4】
時的に前記指の複数の画像を解析することによって、前記指の移動を追跡することと
前記指の移動に少なくとも部分的に基づいて、前記第1の部分の表現と前記第2の部分の場所を使用して、前記指の第2の部分の相対的な場所を更新することをさらに含む請求項1記載のコンピュータにより実現される方法。
【請求項5】
前記指の第2の部分の相対的な場所と前記指の第1の部分とを通り抜ける仮想ベクトルを決定することと、
前記仮想ベクトルと前記コンピューティングデバイスとの交差を決定することと、
前記仮想ベクトルが前記コンピューティングデバイスとどこで交差するかに少なくとも部分的に基づいて、前記ユーザが提供しようとする入力のタイプを決定することとをさらに含む請求項1記載のコンピュータにより実現される方法。
【請求項6】
コンピュータにより実現される方法において
コンピューティングデバイスの少なくとも1つのカメラを使用して、ユーザの手の第1の部分の表現を含む画像を取り込むことと、
前記手の指の指先が前記少なくとも1つのカメラの視野の外側であることを決定することと、
記コンピューティングデバイスの少なくとも1つのプロセッサを使用して、前記画像を解析し、前記コンピューティングデバイスに関する、前記ユーザの手の第1の部分に対応する少なくとも1つの参照点に対する場所情報を決定することと、
少なくとも1つのセンサを使用して、前記コンピューティングデバイスに関する前記指の指先の近接を検出することと、
前記参照点と前記指の指先とを含む、前記手のモデルを決定することと、
前記手のモデルと、前記指先の近接と、前記少なくとも1つの参照点に対する場所情報とに少なくとも部分的に基づいて、前記コンピューティングデバイスに関する前記指先の相対的な位置を算出することと、
前記少なくとも1つの参照点に対する場所情報と、前記指先の相対的な位置とに少なくとも部分的に基づいて、前記指先のおおよその軌跡を決定することと、
前記指先のおおよその軌跡に少なくとも部分的に基づいて、前記コンピューティングデバイス上で実行するアプリケーションへの入力を提供することとを含むコンピュータにより実現される方法。
【請求項7】
前記少なくとも1つのセンサは、電磁界センサ、容量センサ、または、超音波センサのうちの少なくとも1つを含む請求項6記載のコンピュータにより実現される方法。
【請求項8】
記指先の相対的な位置を算出することは、前記少なくとも1つの参照点を、前記ユーザ用にパーソナライズされた前記指のデジタルモデルに提供すること、または少なくとも1つの以前に取り込まれた画像から識別される、少なくとも1つの以前の指先の位置を使用すること、のうちの1つ以上を含む請求項記載のコンピュータにより実現される方法。
【請求項9】
時的に前記指の移動を追跡し、前記指の移動に少なくとも部分的に基づいて、前記少なくとも1つの参照点を使用して、前記指先の相対的な位置を更新することをさらに含む請求項記載のコンピュータにより実現される方法。
【請求項10】
前記コンピューティングデバイスにする前記指先の相対的な位置を算出することはさらに、前記ユーザの前記指の物理的限度、または、以前の指先の場所に基づいて前記ユーザによって行われた以前の選択に関する機械学習、のうちの1つ以上に少なくとも部分的に基づいている請求項記載のコンピュータにより実現される方法。
【請求項11】
コンピューティングデバイスにおいて
プロセッサと、
少なくとも1つのカメラと、
命令を含むメモリデバイスとを具備し
前記命令は、前記プロセッサによって実行されときに、前記コンピューティングデバイスに、
前記少なくとも1つのカメラを使用させて、ユーザの手の第1の部分の表現を含む1つ以上の画像を取り込ませ
前記ユーザの手の指の指先が前記少なくとも1つのカメラの視野の外側であることを決定させ、
記1つ以上の画像を解析させて、前記コンピューティングデバイスに関する前記ユーザの手の第1の部分に対する場所情報を決定させ、
前記手の第1の部分と前記指先とを含む、前記手のモデルを決定させ、
前記コンピューティングデバイスの少なくとも1つのセンサを使用させて、前記コンピューティングデバイスに関する前記指先の近接を検出させ、
前記手のモデルと、前記指先の近接と、前記第1の部分に対する場所情報とに少なくとも部分的に基づいて、前記コンピューティングデバイスにする前記指先の相対的な場所を算出させ
前記第1の部分に対する場所情報と、前記指先の相対的な場所とに少なくとも部分的に基づいて、前記指先のおおよその軌跡を決定させ、
前記指先のおおよその軌跡に少なくとも部分的に基づいて、前記コンピューティングデバイス上で実行するアプリケーションへの入力を提供させるコンピューティングデバイス。
【請求項12】
前記少なくとも1つのセンサは、電磁界センサ、容量センサ、または超音波センサのうちの少なくとも1つを含む請求項11記載のコンピューティングデバイス。
【請求項13】
前記1つ以上の画像は、静止画像情報、立体画像情報、赤外線画像情報、またはビデオ情報のうちの少なくとも1つを含む請求項11記載のコンピューティングデバイス。
【請求項14】
記指先の相対的な場所を算出することは、前記第1の部分を前記指のデジタルモデルに提供することを含む請求項11記載のコンピューティングデバイス。
【発明の詳細な説明】
【背景技術】
【0001】
コンピューティングデバイスが、処理能力および機能性をますます増加させるにつれて、ユーザは、ますます多様化する方法で入力することが可能になる。例えば、ユーザは、コンピューティングデバイスから離れて運動またはジェスチャーを行うことによってコンピューティングデバイスを制御することが可能であり得、この場合そのジェスチャーは、ユーザの手または指を使用して行われる。あるデバイスについて、ジェスチャーは、ユーザを見ることが可能であるカメラを使用して決定され、デバイスが、そのユーザによって行われた運動を決定することを可能にする。しかしながら、いくつかの場合において、ユーザの少なくとも一部分がカメラの視野の範囲内になくなり、これはデバイスが、行われている運動またはジェスチャーを成功裏に決定することを妨げる可能性がある。運動またはジェスチャーを行っているユーザの一部分が視野の範囲内にあるときであっても、どの入力をユーザが提供しようかを正確に決定することが困難な可能性があり、よって、検出可能なジェスチャーが有効性を低減させる単純で大まかなものに限定される。
【図面の簡単な説明】
【0002】
以下、本開示に従う種々の実施態様を、図面を参照して説明する。
図1(a)】種々の実施形態の態様を実装することができ、同様に、そのような態様のいくつかを実装しながら取り込むことができるように撮像することができる、例示的な環境を示す図である。
図1(b)】種々の実施形態の態様を実装することができ、同様に、そのような態様のいくつかを実装しながら取り込むことができるように撮像することができる、例示的な環境を示す図である。
図1(c)】種々の実施形態の態様を実装することができ、同様に、そのような態様のいくつかを実装しながら取り込むことができるように撮像することができる、例示的な環境を示す図である。
図2】ユーザの指先の一部分がデバイスカメラのデッドゾーンの範囲内に入っているが、種々の実施形態に従って処理することができる、例示的な環境を示す図である。
図3】種々の実施形態に従って、コンピューティングデバイス上の入力場所を決定するために、決定された指先の位置を使用することができる、例示的な図である。
図4】種々の実施形態に従って使用することができる、コンピューティングデバイス上の入力場所を決定するための例示的な過程を示す図である。
図5(a)】種々の実施形態に従って、ユーザの指の配向に少なくとも部分的に基づいて決定することができる、例示的な入力を示す図である。
図5(b)】種々の実施形態に従って、ユーザの指の配向に少なくとも部分的に基づいて決定することができる、例示的な入力を示す図である。
図5(c)】種々の実施形態に従って、ユーザの指の配向に少なくとも部分的に基づいて決定することができる、例示的な入力を示す図である。
図6】種々の実施形態に従って使用することができるコンピューティングデバイスへの入力を決定するための例示的な過程を示す図である。
図7】種々の実施形態の態様を実装するために使用することができる、例示的なデバイスを示す図である。
図8図7で例示されるようなクライアントデバイスの例示的な構成要素を示す図である。
図9】種々の実施形態を実装することができる環境を示す図である。
【発明を実施するための形態】
【0003】
本開示の種々の実施形態に従うシステムおよび方法は、電子デバイスへの入力を決定するための従来の手法における、上で参照したおよび他の欠陥の1つ以上を克服する。具体的には、種々の実施形態は、指先または他のそのような物体を使用して、運動、ジェスチャー、またはホバーに基づく入力を提供することを可能にする。少なくともいくつかの実施形態では、1つ以上のカメラが、ユーザの指先の相対位置を決定するために分析することができる、画像情報を取り込むことができる。指先がカメラ(複数可)の視野から外れた場合、デバイスは、指先の位置を決定するために、デバイス上の別のセンサを使用しようとすることができる。センサが指先を正確に検出できない場合、またはどのそのような指先も利用できない場合、デバイスは、代替的に(または加えて)、ユーザの手のサイズ、ユーザの指の長さ、および他のそのような情報等の、ユーザに関して知られている情報を使用して、指先の位置を推定しようとすることができる。デバイスはまた、指先が視野の外に出る前に取得した、任意の情報も使用することができる。指先の場所が特定されると、デバイスへの適切な入力を決定することができる。少なくともいくつかの実施形態において、この決定は、指が指し示している方向、または指の軌跡もしくは「ポインティング」ベクトルを決定すること、およびその方向、ポインティングベクトル、もしくは軌跡がデバイスと交差する場所を決定することを含む。決定されると、ユーザは、交差点またはその近くで、物体または他の要素によって入力を提供することができる。
【0004】
種々の他の機能および利点は、種々の実施形態に従って提供され得るように、下で説明され、提案される。
【0005】
図1(a)は、種々の実施形態の態様を実装することができる、例示的な環境100を示す。本実施例において、ユーザ102は、ユーザの指106を使用して、ジェスチャー入力をコンピューティングデバイス104に提供しようとしている。ポータブルコンピューティングデバイス(例えば、電子ブックリーダー、スマートフォン、またはタブレットコンピュータ)が示されているが、本明細書で説明される種々の実施形態に従って入力を受け取り、決定し、および/または処理することができる任意の電子デバイスを使用できることを理解すべきであり、該デバイスとしては、例えば、数ある中でも、デスクトップコンピュータ、ノートパソコン、携帯情報端末、ビデオゲーミングコンソール、テレビジョンセットトップボックス、スマートテレビジョン、およびポータブルメディアプレーヤーが挙げられる。
【0006】
本実施例において、コンピューティングデバイス104は、ユーザの指106のビューを含む画像情報を取り込むように構成される、1対のカメラ108、110または他のジェスチャーセンサを含み、該画像情報は、コンピューティングデバイス104に対する指の相対的な場所を決定するために、コンピューティングデバイス上で実行するアプリケーションによって解析することができる。画像情報は、数ある他のそのようなオプションの中でも、周辺光または赤外線光を使用して取り込まれる静止画像またはビデオ情報とすることができる。さらに、種々の実施形態の範囲内でも、同じまたは異なるタイプのより少ないまたは追加的なカメラも同様に使用することができる。アプリケーションは、運動および/またはジェスチャーのデバイスへの入力を可能にするために、取り込まれた画像情報を解析することによって、指の位置を決定することができ、また、経時的に指の位置を追跡することができる。例えば、ユーザは、指を上下に移動させてボリュームを調整することができる、平面の中で指を移動させて仮想カーソルを制御することができる、等である。
【0007】
図1(b)は、コンピューティングデバイス104のカメラ110の1つによって取り込むことができる、例示的な画像120を示す。この例示的な画像では、ユーザの手をはっきりと見ることができる。コンピューティングデバイス上で(またはコンピューティングデバイスと少なくとも通信して)実行するアプリケーションは、ユーザの指の概略的配向ならびに指が概して指し示している方向を決定するために使用することができる指先の位置122および指の基準場所124等の、手の1つ以上の特徴の場所を特定するために、画像を解析することができる。
【0008】
しかしながら、各カメラは、概して、限定された視野を有するので、カメラ情報に依存することは、ある欠点を有する可能性がある。魚眼レンズであっても、限定された視野を有するか、または少なくとも、視野の縁部の近くでは若干歪んだ画像を提供する。故に、概して、コンピューティングデバイスの周囲には、物体がいずれかのカメラの視野から外れる場合があり得る、1つ以上のデッドゾーンがある。例えば、図1(c)の画像140は、手がデバイスの中央に向かって移動したときの、同じカメラ110からのビューを示す。示されるように、指先142は、視野の外に移動しており、したがって、画像に含まれない。指先が別のカメラの視野に進入しない限り、デバイスは、その場所のいずれかのカメラから取り込まれる画像の中で指先を見ることができない。
【0009】
本実施例において、コンピューティングデバイスは、依然として手の一部分を見ることができ、パターン認識、画像認識、物体認識、または別のそのような過程を使用して、指の基準場所124等の、画像140の中のユーザの手の一部分を依然として潜在的に識別することができる。少なくともいくつかの実施形態において、デバイスは、統計解析を使用して、または別様にはユーザの手の可視部分を使用して、ユーザの指先の位置を推定しようとすることができる。例えば、デバイスが最近通過した点でユーザの指先を見ることができ、及び、基準点124に対する指先の相対的な距離および方向を決定することができた場合、デバイスは、指先点144が類似する相対的な場所にある可能性があると推定するために、外挿過程を使用することができる。デバイスは、指先と基準点との間の相対距離および配向の変化を追跡することができ、また、それらの点の少なくとも1つがデバイスの少なくとも1つのカメラの視認可能領域から外れたときに、それらを使用して場所を推定することができる。
【0010】
別の実施形態において、コンピューティングデバイスは、ユーザの手のモデルを記憶し得るか、または別様にはそれへのアクセスを有し得る。画像情報から、手のサイズ、形状、および関連する構成等の情報を使用することで、デバイスは、モデルを使用して指先の場所を推定することができる。モデルおよび基準点124に少なくとも部分的に基づいて、ユーザの指および手の物理的限度は、指先の位置が、決定可能な場所の範囲に限定されることを意味する。指の可視部分および手の配向等の情報を使用することで、デバイスはさらに、潜在的な領域を限定することができ、妥当な度合いの確実性または変動で場所を決定することができる場合は、その点を指先の場所144として使用することができる。種々の実施形態の範囲内で、そのような他の推定手法も同様に使用することができる。
【0011】
少なくともいくつかの実施形態において、コンピューティングデバイスは、種々の実施形態に従って指先の場所特定を支援することができる、1つ以上の他のタイプのセンサまたは構成要素を含み得る。例えば、図2は、例示的な構成200を説明し、該構成において、コンピューティングデバイスは、デバイスの表示画面または他のそのような要素と同じ側の1対のカメラ204を使用して、指先の位置の場所を特定し、および/または追跡することができる。論じられるように、指先がカメラ204のうちの少なくとも1つの視野内にあれば、カメラは、指先に関する立体情報を取り込み、場所を決定することができる。カメラの間、および各カメラの視野の外側は、「デッドゾーン」208であり、そこでは、カメラによって指先または任意の他の物体を撮像することができない。しかしながら、この例示的なデバイス202において、デバイスは、電磁界(EMF)センサ210(例えば、EMF測定器またはEMFプローブ)を含み、該電磁界センサは、周辺のおよび/または発生させたEMFを妨げる物体の存在を検出するように位置付けられ、構成される。EMFセンサは、ブロードバンド測定、周波数選択測定、または任意の他のそのようなEMFに基づく手法を使用してEMFの変化を測定するように動作可能な、任意の適切なセンサ、プローブ、測定器、または他のそのような要素とすることができる。
【0012】
本実施例において、EMFの範囲は、デッドゾーン208の少なくとも大部分を覆って広がり、また少なくともいくつかの実施形態では、より正確で連続的な決定を提供するために、部分的にデッドゾーンを超えて広がり得る。ユーザの指先がデッドゾーンに向かって移動すると、EMFセンサは、電磁界の変化を検出することができ、該変化を使用して、指先の最も近い点の相対位置212を3次元で推定することができる。電磁界の変化に基づいて物体の場所を特定するための手法は、当技術分野で知られているものであり、よって、本明細書では詳細に論じられない。
【0013】
ユーザの手の少なくとも一部分は、依然としてカメラ204で見ることができるので、デバイスは、ユーザの人差し指の基準点206を決定するために、画像情報を解析することができる。この情報を、EMFを使用して決定される指先の場所212と組み合わせることによって、デバイスは、依然として、少なくともそれら2つの点を使用して、指のおよその角度、配向、および/または軌跡を決定することができる。例えば、多指入力に対して、複数の指先の場所が追跡される場合、指先がデッドゾーンまたは他のそのような場所にあるときに、それらの指先の場所を特定するために、類似する手法を使用することができる。
【0014】
種々の実施形態の範囲内で、他の技術も同様に使用することができる。例えば、種々の実施形態の範囲内で、容量センサも同様に使用することができる。容量センサは、表面の2〜3ミリメートルの範囲内の物体を検出することだけしかできない場合があるので、EMFセンサの範囲を有しない場合があるが、少なくともいくつかの実施形態では、潜在的に、より正確であり得る。容量センサはまた、指先または他のそのような物体に関する最も近い点の情報を3次元で提供することもできる。種々の実施形態の範囲内で、超音波手法、または他のそのような距離もしくは場所を決定する手法も同様に使用することができる。
【0015】
論じられたように、EMF、容量、またはその他の分野に基づく手法は、デバイスおよび/またはセンサに対する物体の最も近い点に関連する情報を提供することができる。しかしながら、多くの場合において、この最も近い点は、指等の物体の実際の先端部からある量オフセットされ、そのオフセットは、デバイスの表面に対して垂直または直角からの角度とともに増加し得る。小型のディスプレイおよび/または要素を有する、スマートフォン等のデバイスの場合、このオフセットは、デバイスによる間違った要素の選択を行わせるのに十分であり得る。
【0016】
いくつかの実施形態において、デバイス上で実行するアプリケーションは、検出された位置および基準点、または他のそのようなデータ点から実際の指先の位置を推定するために、物体(例えば、指)に関する情報を使用することができる。例えば、デバイスは、一般的な情報またはユーザに固有の情報のいずれかを使用して、ユーザの指の一般的なサイズおよび/または形状を知ることができる。基準点および最も近い決定された点の場所等の情報を知ることで、デバイスは、指先の点が存在しそうな場所を決定するために、指モデルを使用することができる。
【0017】
いくつかの実施形態において、デバイスは、機械学習を通して相対的指先位置を学習することができる。例えば、デバイスが指先の位置を推定し、それを使用して入力を決定し、次いで、ユーザがそのアクションの調整またはキャンセルを行い、そして僅かに異なる場所に対するアクションを行おうとした場合、デバイスは、異なる角度に対するオフセットに関する情報を学習し、将来の決定のためにその情報を記憶することができる。
【0018】
いくつかの実施形態において、デバイスは、代わりに、指がデッドゾーンに向かって移動するときに指先の点を追跡し、指先が基準点に対する類似する軌跡を追うであろうとみなすことができ、これは指先の推定を補助することができる。種々の実施形態の範囲内で、種々の他の推定または調整過程も同様に使用することができる。
【0019】
指先の点、ならびに基準点または参照点を正確に決定することができることは、ユーザが運動またはジェスチャーを通して提供しようとしている入力を正確に決定することを補助することができる。まさに指先の点の相対的な場所が指先の下側にあるものを選択するいくつかの実施形態では、その点の正確な決定が必要である。ユーザが指し示している場所を決定するために指先を使用する例では、適切な指示方向を決定するために、正確な決定が必要であり得る。例えば、図3において、指先および基準点は、カメラおよびEMFセンサ情報の組み合わせを使用して決定されている。取得すると、デバイスは、コンピューティングデバイス302に向かってそれらの点を通り抜ける仮想ベクトル304を決定することができる。デバイスは、そのベクトルがデバイスと交差する場所を決定することができ、また、ユーザが提供しようとしている入力のタイプを決定するために、その点306を使用することができる。例えば、点306が表示画面上の点に対応する場合、デバイスは、その点に表示される要素または物体を決定することができ、また、決定に応じて、その物体の選択、ハイライト、または別様には調整を行わせることができる。同様に、点306がデバイスのボタン、コントロール、キー、または他のそのような要素に対応する場合、デバイスは同様に、適切な入力を決定するためにその情報を利用することもできる。
【0020】
図4は、種々の実施形態に従って利用することができる、ユーザの指に基づいて入力を決定するための例示的な過程400を示す。別途指示がない限り、種々の実施形態の範囲内で、類似する、または代替の順序で行われる追加的な、より少ない、または代替のステップがあり得ることを理解されたい。さらに、本実施例では指が使用されているが、種々の実施形態の範囲内で、種々の他のタイプの物体または特徴も同様に使用することができる。本実施例では、402で、コンピューティングデバイスの1つ以上のカメラを使用して画像情報が取り込まれる。画像情報は、ビデオ、ステレオ、または1つ以上の静止画像を含むことができる。404で、指先が、取り込まれた画像情報の中に見えるかどうかを判定するために、画像情報を解析することができる。見える場合は、406で、指先の位置を画像情報から決定することができ、そして408で、適切な入力を決定し、受け付けることができる。
【0021】
指先が画像情報の中に見えない場合は、410で、デバイスのセンサが指先または指先と関連する物体の一部分を検出できるかどうかに関して決定を行うことができる。検出できる場合、414で、指先の位置を決定するためにセンサデータを解析し、使用することができ、そして、適切な入力を受け付けることができる。少なくとも1つのセンサによって指先を検出できない場合は、412で、デバイスに対する指先の場所を推定しようとするために、取り込まれた画像情報の中に見える手および/または指の一部分を解析することができる。論じられたように、推定は、ユーザの指または手のモデルを使用すること、指先がデッドゾーンに進入する前に取り込まれる画像情報、または他のそのような情報を含むことができる。
【0022】
上で述ベられるように、指先の点は、例えば、単にデバイスの面に平行な面の中のその位置に基づいて使用され得るのではなく、ユーザが実際に指し示している場所を決定しようとするために、指および/またはユーザの手の残部に関する情報とともに使用され得る。過程は、図3に関して論じられ、該過程では、ユーザの指の指示方向に対応する軌跡またはベクトルを決定することができる。図5(a)および5(b)は、ある要素を選択するために、および/またはコンピューティングデバイスへのある入力を提供するために、ベクトルまたは方向をどのように使用できるのか、の実施例を示す。そのような過程は、ユーザが、ジェスチャーまたは運動を使用してデバイスと対話することを可能にすることができ、またはユーザが、オプションもしくは要素が親指もしくは指の到達範囲を超えたときに、その親指もしくは指を使用してオプションもしくは要素を選択することを可能にすることができる。
【0023】
図5(a)のビュー500において、ユーザは、ディスプレイ上の特定のアイコン502に向かう方向を指し示している。本実施例において、指先は、ディスプレイの面に平行な方向でアイコンに最も近く、よって、指先の位置に基づく決定も同様にそのアイコンを選択する。本実施例において、デバイスは、ユーザがそのアイコン502を示していると決定することができ、また、ユーザがそのアイコンを選択しているとデバイスが決定した境界ボックス504または他のインジケータをレンダリングすることができる。次いで、ユーザは、指によるタッピング運動を行うこと、デバイスを握ること、ボタンを押すこと、音声もしくはジェスチャーコマンドを発行すること等によって、そのアイコンを選択または起動するために、選択アクションを行うか、または他のそのような入力を提供することができる。いくつかの実施形態において、ユーザは、「ドエル」期間と称される最短期間にわたってそのアイコンを指で指し示すことができ、アイコンの選択を行わせることができる。次いで、任意の適切な行動を行うことができる。例えば、アイコンがアプリケーションに対応する場合、ユーザは、アイコンを指し示し、次いで、選択アクションを行うことによって、そのアプリケーションを起動することができ、ユーザがアプリケーションを開くことを望んでいることをデバイスに示すことができる。本明細書に含まれる教示および提案に照らして当業者に明らかであるように、他のアクションも同様に行うことができる。
【0024】
図5(b)は、ユーザの指先がデバイスに対してほぼ同じ場所にあるが、指の角度が異なる、類似する状況を示す。故に、指の方向について決定されるベクトルは、異なるアイコン522でデバイスと交差する。したがって、指先の点に基づくインターフェースが双方の状況について同じアイコンを選択し得る場合であっても、指が指し示している方向を決定することは、コンピューティングデバイス上の要素を選択するためのより自然な制御をユーザに提供することができる。
【0025】
いくつかの実施形態において、ユーザはまた、選択の態様を制御するために、指先の方向を使用し得る。例えば、ユーザは、図5(a)のように指を使用して第1のアイコン502を指し示すことができるが、次いで、少なくとも1つの追加的なアイコン522の方を指し示すために、図5(c)で示されるように、指を片側へ回転させることができる。見てわかるように、これは、表示される境界ボックス524によって示されるように、指先の位置を使用してユーザが複数のアイコンまたは要素を選択することを可能にするが、種々の実施形態の範囲内で、他のグラフィカルな表示も同様に使用することができる。
【0026】
図6は、種々の実施形態に従って、ユーザが指または他のそのような物体の方向を通して入力を提供することを可能にするための例示的な過程を示す。本実施例において、602で、ユーザの指先、および指または手の少なくとも1つの参照点の場所が特定される。論じられたように、これは、本明細書の他の場所で論じられるように、画像データ、センサデータ、または他の情報を使用して行うことができる。それらの点に少なくとも部分的に基づいて、604で、ユーザの指の現在の配向(例えば、ユーザの指がどこを指し示しているかという予測)に対応するベクトルを決定することができ、そして606で、そのベクトルとデバイスとの交差を決定することができる。608で、その場所に対応する要素を決定することができ、そして610で、その点で、ユーザがその要素に対する入力を提供することを可能にする。論じられたように、これは、選択された要素に提供するか、または該要素とともに使用することができる選択アクションまたは他の入力を提供することを含むことができる。種々の実施形態の範囲内で、種々のその他手法も同様に使用することができる。
【0027】
いくつかの実施形態では、決まった数の要素を選択可能にすることによって、指、親指、または他のそのような物体を使用して入力を提供する際に、ユーザを支援することができる。ユーザが物体を移動させると、カーソル、境界ボックス、または他のインジケータを、次のオブジェクトまで移動させる、または「スナップ」することができ、これは、特に小さいフォームファクタを有する、またはユーザから離れているデバイスについて、ユーザが意図するオブジェクトを選択するのを補助することができる。
【0028】
図7は、種々の実施形態に従って使用することができる例示的な電子ユーザデバイス700を示すポータブルコンピューティングデバイス(例えば、電子ブックリーダーまたはタブレットコンピュータ)が示されているが、本明細書で説明される種々の実施形態に従って入力を受け取り、決定し、および/または処理することができる任意の電子デバイスを、使用できることを理解すべきであり、該デバイスとしては、例えば、デスクトップコンピュータ、ノートパソコン、携帯情報端末、スマートフォン、ビデオゲーミングコンソール、テレビジョンセットトップボックス、およびポータブルメディアプレーヤーが挙げられる。本実施例において、コンピューティングデバイス700は、表側に表示画面702を有し、該表示画面は、通常動作の下で、表示画面(例えば、コンピューティングデバイスの表示画面と同じ側)に面するユーザに情報を表示する。本実施例のコンピューティングデバイスは、少なくとも1つのカメラの少なくとも1つの視野を通じて静止またはビデオ画像情報を取り込むための、少なくとも1つのカメラ704または他の撮像要素を含む。いくつかの実施形態において、コンピューティングデバイスは、撮像要素を1つだけ含み得、また他の実施形態において、コンピューティングデバイスは、複数の撮像要素を含み得る。各画像取り込み要素は、例えば、数多くの他の可能性の中で、カメラ、電荷結合素子(CCD)、運動検出センサ、または赤外線センサであり得る。複数の画像取り込み要素がコンピューティングデバイス上にある場合、画像取り込み要素は異なるタイプのものであり得る。いくつかの実施形態において、少なくとも1つの撮像要素は、カメラが、180度以上等の、広範囲の角度にわたって画像を取り込むことを可能にする、魚眼レンズ等の、少なくとも1つの広角光学素子を含むことができる。さらに、各画像取り込み要素は、後続のフレームを高速に連続して取り込むように構成されるデジタルスチルカメラ、またはストリーミングビデオを取り込むことができるビデオカメラを備えることができる。
【0029】
例示的なコンピューティングデバイス700はまた、デバイスのユーザによって話される言葉またはコマンド、デバイスの近くで演奏する音楽等の音声データを取り込むことができる、少なくとも1つのマイクロホン706または他の音声取り込みデバイスも含む。本実施例において、マイクロホン706は、デバイスの表示画面702と同じ側に配置され、よって、マイクロホンは、一般的に、デバイスのユーザによって話される言葉をより良好に取り込むことができる。少なくともいくつかの実施形態において、マイクロホンは、指向性マイクロホンとすることができ、該マイクロホンは、マイクロホンの正面から実質的に直接音情報を取り込み、他の方向から限られた量の音だけを取り出す。マイクロホンは、異なる実施形態において、デバイスの任意の領域、面、または縁部の任意の適切な表面に配置され得ること、ならびに音声の録音およびフィルタリングの目的等に対して複数のマイクロホンを使用できることを理解されたい。
【0030】
例示的なコンピューティングデバイス700はまた、位置および/または移動決定要素等の、少なくとも1つの配向センサ708も含む。そのようなセンサは、例えば、コンピューティングデバイスの配向および/または配向の変化、ならびにデバイスの少しの移動を検出するように動作可能な、加速度計またはジャイロスコープを含むことができる。配向センサはまた、電子またはデジタルコンパスも含むことができ、それらは、デバイスが(例えば、主軸または他のそのような態様に対して)デバイスが指し示していると決定される方向(例えば、北または南)を示すことができる。配向センサはまた、コンピューティングデバイスの位置の相対座標、ならびにデバイスの比較的大きい移動に関する情報を決定するように動作することができる、全地球測位システム(GPS)または類似の測位要素も含む、または備えることができる。種々の実施形態は、1つ以上のそのような要素を任意の適切な組み合わせで含むことができる。理解されるように、相対的な位置、配向、および/または移動を決定するために使用されるアルゴリズムまたは機構は、デバイスに利用可能な要素の選択に少なくとも部分的に依存することができる。いくつかの実施形態において、デバイスは、これらのセンサの1つを使用してデバイスの移動が検出されたときに、画像情報の解析を開始することができる。他の実施形態において、ユーザは、デバイスを傾斜させる、デバイスを揺らす、または別のそのような運動もしくはアクションを行うことによって、デバイスへの入力を提供することができる。
【0031】
図8は、図7に関して説明されるデバイス700等の、例示的なコンピューティングデバイス800の1組の汎用構成要素の論理的配設を示す。本実施例において、デバイスは、メモリデバイスまたは要素804に記憶することができる命令を実行するための、プロセッサ802を含む。当業者には明らかなように、デバイスは、プロセッサ802によって実行するためのプログラム命令のための第1のデータ記憶部、画像またはデータのための別個の記憶部、情報を他のデバイスと共有するためのリムーバブルメモリ等の、数多くのタイプのメモリ、データ記憶部、または非一時的なコンピュータ読み出し可能な記憶媒体を含むことができる。デバイスは、一般的に、タッチ画面または液晶ディスプレイ(LCD)等の、いくつかのタイプの表示要素806を含むが、ポータブルメディアプレーヤー等のデバイスは、音声スピーカーを通す等の、他の手段を介して情報を伝達し得る。論じられたように、数多くの実施形態におけるデバイスは、デバイスの近傍の投影画像または他の物体を撮像することができる、カメラまたは赤外線センサ等の少なくとも1つの媒体取り込み要素808、またはデバイスの近くの音を取り込むことができる音声取り込み要素を含む。コンピューティングデバイスによってカメラ素子を使用して画像またはビデオを取り込むための方法は、当技術分野でよく知られており、本明細書では詳細に論じない。画像取り込みは、単一の画像、多数の画像、定期的な撮像、連続画像取り込み、画像ストリーミング等を使用して行うことができることを理解されたい。さらに、デバイスは、ユーザ、アプリケーション、または他のデバイスから命令を受け取ったとき等に、画像取り込みを開始および/または停止する能力を含むことができる。例示的なデバイスは、少なくとも1つの主方向から音声情報を取り込むように動作可能な、少なくとも1つのモノもしくはステレオマイクロホン、またはマイクロホンアレイを含むことができる。マイクロホンは、そのようなデバイスについて知られているような、単一指向性または全指向性マイクロホンとすることができる。
【0032】
いくつかの実施形態において、図8のコンピューティングデバイス800は、Wi−Fi、Bluetooth(登録商標)、RF、有線または無線通信システム等の、1つ以上の通信構成要素810を含むことができる。多くの実施形態におけるデバイスは、インターネット等のネットワークと通信することができ、他のそのようなデバイスと通信することができ得る。いくつかの実施形態において、デバイスは、ユーザから従来の入力を受け取ることができる、少なくとも1つの追加的な入力要素812を含むことができる。この従来の入力としては、例えば、押しボタン、タッチパッド、タッチ画面、ホイール、ジョイスティック、キーボード、マウス、キーパッド、またはユーザがそれによってデバイスへのコマンドを入力することができる任意の他のそのようなデバイスもしくは要素が挙げられる。しかしながら、いくつかの実施形態において、そのようなデバイスは、いかなるボタンも含まない場合があり、また、視覚および音声命令の組み合わせを通してだけ制御され得、よって、ユーザは、デバイスと接触することを必要とせずに、デバイスを制御することができる。
【0033】
デバイスはまた、少なくとも1つの配向または行動センサも含むことができる。論じられたように、そのようなセンサは、配向および/または配向の変化を検出するように動作可能な、加速度計もしくはジャイロスコープ、または電子もしくはデジタルコンパスを含むことができ、それらは、デバイスに面していると決定される方向を示すことができる。機構(複数可)はまた(または代替的に)、コンピューティングデバイスの位置の相対座標、ならびにデバイスの比較的大きい移動に関する情報を決定するように動作することができる、全地球測位システム(GPS)または類似の測位要素も含む、または備えることができる。デバイスはまた、三角測量または別のそのような手法を通した場所の決定を可能にし得る等の、他の要素も含むことができる。これらの機構は、プロセッサと通信することができ、それによって、デバイスは、本明細書で説明または提案されるいくつかのアクションのいずれかを行うことができる。
【0034】
論じられたように、説明される実施形態に従って、異なる手法を種々の環境で実装することができる。例えば、図9は、種々の実施形態に従って態様を実装するための、環境900の実施例を図示す。認識されるように、説明の目的でウェブに基づく環境が使用されるが、種々の実施形態を実装するために、必要に応じて、異なる環境が使用され得る。システムは、電子クライアントデバイス902を含み、該デバイスとしては、適切なネットワーク904を通じて要求、メッセージ、または情報を送信および受信し、情報をデバイスのユーザに搬送するように操作可能な、任意の適切なデバイスが挙げられる。そのようなクライアントデバイスの例としては、パーソナルコンピュータ、携帯電話、ハンドヘルドメッセージングデバイス、ラップトップコンピュータ、セットトップボックス、携帯情報端末、電子ブックリーダー等が挙げられる。ネットワークとしては、イントラネット、インターネット、セルラーネットワーク、ローカルエリアネットワーク、もしくは任意の他のそのようなネットワーク、またはそれらの組み合わせを含む、任意の適切なネットワークが挙げられる。そのようなシステムに使用される構成要素は、選択されたネットワークおよび/または選択環境のタイプに少なくとも部分的に依存し得る。そのようなネットワークを介して通信するためのプロトコルおよび構成要素はよく知られており、本明細書では詳細に論じない。ネットワークを通じた通信は、有線接続または無線接続、およびそれらの組み合わせを介して可能にすることができる。本実施例では、当業者には明らかなように、要求を受け取り、それに応じてコンテンツを提供するためのウェブサーバ906を環境が含むので、このネットワークは、インターネットを含むが、他のネットワークの場合、類似の目的を提供する代替のデバイスを使用することができる。
【0035】
実例となる環境は、少なくとも1つのアプリケーションサーバ908と、データストア910とを含む。連鎖され得るまたは別様には構成され得る、適切なデータストアからデータを取得する等の作業を行うように相互作用することができる、いくつかのアプリケーションサーバ、層もしくは他の要素、過程、または構成要素があり得ることを理解されたい。本明細書で使用される「データストア」という用語は、データを記憶し、それにアクセスし、それを取り出すことができる任意のデバイスまたはデバイスの組み合わせを指し、任意の数のデータサーバ、データベース、データ記憶デバイス、データ記憶媒体、およびそれらの任意の組み合わせを、任意の標準型、分散型、またはクラスタ型の環境において含み得る。アプリケーションサーバは、クライアントデバイスのための1つ以上のアプリケーションの態様を実行するために、必要に応じて、データストアと統合するための、およびアプリケーションのためのデータアクセスおよびビジネスロジックの大部分を取り扱うための、任意の適切なハードウェアおよびソフトウェアを含むことができる。アプリケーションサーバは、データストアと連携してアクセス制御サービスを提供し、また、この実施例においてHTML、XML、または別の適切な構造化言語の形態でウェブサーバによってユーザに提供され得る、ユーザに転送されるテキスト、グラフィックス、オーディオ、および/またはビデオ等のコンテンツを生成することができる。全ての要求および応答、ならびにクライアントデバイス902とアプリケーションサーバ908との間のコンテンツの送達は、ウェブサーバ906によって取り扱うことができる。本明細書で論じられる構造化コードは、本明細書で他の場所で論じられるように、任意の適切なデバイスまたはホストマシン上で実行することができるので、ウェブサーバおよびアプリケーションサーバは必要とされず、これらは単に例示的な構成要素に過ぎないことを理解されたい。
【0036】
データストア910は、いくつかの別個のデータテーブル、データベース、または他のデータ記憶機構と、特定の態様に関連するデータを記憶するための媒体を含むことができる。例えば、例示されるデータストアは、製品側のコンテンツを提供するために使用することができる、製品データ912およびユーザ情報916を記憶するための機構を含む。データストアはまた、ログデータまたはセッションデータ914を記憶するための機構も含むように示される。ページ画像情報およびアクセス権利情報等の、データストアに記憶する必要があり得る、数多くの他の態様があり得、必要に応じて上で列記した機構のいずれかに、またはデータストア910の付加的な機構に記憶することができることを理解されたい。データストア910は、アプリケーションサーバ908から命令を受け取って、それに応じてデータを取得する、更新する、または別様には処理するために、それと関連する論理を通して操作可能である。一例において、ユーザは、特定のタイプの要素の検索要求を提出し得る。この場合、データストアは、ユーザの識別情報を確認するためにユーザ情報にアクセスし得、また、そのタイプの要素に関する情報を取得するために、カタログの詳細情報にアクセスすることができる。情報は、次いで、ユーザがユーザデバイス902上のブラウザを介して視聴することができる、ウェブページ上の結果リスト等で、ユーザに返すことができる。関心の特定の要素の情報は、ブラウザの専用ページまたはウィンドウで視聴することができる。
【0037】
各サーバは、一般的に、そのサーバの一般管理および操作のための実行可能プログラム命令を提供するオペレーティングシステムを含み、また一般的に、サーバのプロセッサによって実行されたときに、サーバがその意図する機能を行うことを可能にする命令を記憶する、コンピュータが読み出し可能な媒体を含む。オペレーティングシステムおよびサーバの一般機能性の好適な実装例は、既知であるか、または商業的に入手可能であり、また、特に本明細書の開示に照らして、当業者によって容易に実装される。
【0038】
一実施形態における環境は、1つ以上のコンピュータネットワークまたは直接接続を使用して、通信リンクを介して相互接続される複数のコンピュータシステムおよび構成要素を利用する、分散コンピューティング環境である。しかしながら、そのようなシステムは、図9で例示されるよりも少ない数または多い数の構成要素を有するシステムで十分同等に動作できることが、当業者に認識されるであろう。したがって、図9のシステム900の描写は、事実上、実例となるものであり、本開示の範囲を限定するものとみなすべきではない。
【0039】
上で論じられたように、種々の実施形態はさらに、多種多様な操作環境で実装することができ、一部の場合において、いくつかのアプリケーションのいずれかを操作するために使用することができる、1つ以上のユーザコンピュータ、コンピューティングデバイス、または処理デバイスを含むことができる。ユーザまたはクライアントデバイスとしては、標準的なオペレーティングシステムを実行するデスクトップまたはラップトップコンピュータ等の、数多くの汎用パーソナルコンピュータ、ならびに、モバイルソフトウェアを実行し、かついくつかのネットワークおよびメッセージングプロトコルをサポートすることができる、セルラーデバイス、無線デバイス、およびハンドヘルドデバイスのいずれかが挙げられる。そのようなシステムとしてはまた、開発およびデータベース管理等の目的で、種々の市販のオペレーティングシステムおよび他の既知のアプリケーションのいずれかを実行する、数多くのワークステーションも挙げられる。これらのデバイスとしてはまた、ネットワークを介して通信することができる、ダミー端末、シンクライアント、ゲームシステム、および他のデバイス等の、他の電子デバイスも挙げられる。
【0040】
種々の態様はまた、サービス指向アーキテクチャの一部であり得る等の、少なくとも1つのサービスまたはウェブサービスの一部として実装することができる。ウェブサービス等のサービスは、拡張マークアップ言語(XML)フォーマットのメッセージを使用し、SOAP(「シンプルオブジェクトアクセスプロトコル」に由来)等の適切なプロトコルを使用して交換する等によって、任意の適切なタイプのメッセージングを使用して通信することができる。このようなサービスによって提供または実行される過程は、ウェブサービス記述言語(WSDL)等の任意の適切な言語で記述することができる。WSDL等の言語を使用することは、種々のSOAPフレームワークのクライアント側コードの自動生成等の機能を可能にする。
【0041】
大部分の実施形態は、TCP/IP、OSI、FTP、UPnP、NFS、CIFS、およびAppleTalk等の、種々の市販のプロトコルのいずれかを使用して通信をサポートするための、当業者が精通している少なくとも1つのネットワークを利用する。ネットワークは、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、仮想プライベートネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話網、赤外線ネットワーク、無線ネットワーク、およびそれらの任意の組み合わせとすることができる。
【0042】
ウェブサーバを利用する実施形態において、ウェブサーバは、HTTPサーバ、FTPサーバ、CGIサーバ、データサーバ、Java(登録商標)サーバ、およびビジネスアプリケーションサーバを含む、種々のサーバまたは中間層アプリケーションのいずれかを動作させることができる。サーバ(複数可)はまた、ユーザデバイスからの要求に応じて、Java(登録商標)、C、C#、もしくはC++等の任意のプログラミング言語、またはPerl、Python、もしくはTCL等の任意のスクリプト言語、ならびにそれらの組み合わせで書かれた1つ以上のスクリプトまたはプログラムとして実装され得る1つ以上のウェブアプリケーションを実行すること等によって、プログラムまたはスクリプトを実行することも可能であり得る。サーバ(複数可)としてはまた、Oracle(登録商標)、Microsoft(登録商標)、Sybase(登録商標)、およびIBM(登録商標)から市販されているものが挙げられるがそれらに限定されない、データベースサーバも挙げられる。
【0043】
環境は、上で論じたように、種々のデータストア、ならびに他のメモリおよび記憶媒体を含むことができる。これらは、1つ以上のコンピュータに対してローカルな(および/またはその中に存在する)、またはネットワーク全体にわたるコンピュータのいずれかまたは全てからリモートな記憶媒体上等の、種々の場所に存在することができる。特定の1組の実施形態において、情報は、当業者が精通しているストレージエリアネットワーク(「SAN」)の中に存在し得る。同様に、必要に応じて、コンピュータ、サーバ、または他のネットワークデバイスに起因する機能を行うための任意の必要なファイルが、ローカルおよび/またはリモートで記憶され得る。システムがコンピュータ制御のデバイスを含む場合、そのような各デバイスは、バスを介して電気的に連結され得るハードウェア要素を含むことができ、該要素は、例えば、少なくとも1つの中央処理ユニット(CPU)と、少なくとも1つの入力デバイス(例えば、マウス、キーボード、コントローラ、タッチ画面、またはキーパッド)と、少なくとも1つの出力デバイス(例えば、表示デバイス、プリンタ、またはスピーカー)とを含む。そのようなシステムはまた、ディスクドライブ、光記憶デバイス、およびランダムアクセスメモリ(RAM)またはリードオンリーメモリ(ROM)等の固体記憶デバイス、ならびにリムーバブル媒体デバイス、メモリカード、フラッシュカード等の、1つ以上の記憶デバイスも含み得る。
【0044】
そのようなデバイスとしてはまた、上で説明したように、コンピュータ読み出し可能な記憶媒体リーダー、通信デバイス(例えば、モデム、ネットワークカード(無線または有線)、赤外線通信デバイス等)、および作業メモリも挙げられる。コンピュータ読み出し可能な記憶媒体リーダーは、リモート、ローカル、固定の、および/またはリムーバブルな記憶デバイスを表すコンピュータ読み出し可能な記憶媒体、ならびにコンピュータ読み出し可能な情報を一時的におよび/またはより恒久的に含む、記憶する、伝送する、および取り出すための記憶媒体と接続することができる、またはそれを受け取るように構成することができる。システムおよび種々のデバイスはまた、一般的に、オペレーティングシステム、およびクライアントアプリケーションまたはウェブブラウザ等のアプリケーションプログラムを含む、少なくとも1つのワーキングメモリデバイス内に位置する、数多くのソフトウェアアプリケーション、モジュール、サービス、または他の要素も含む。代替の実施形態は、上で説明した数多くの変形例を有し得ることを理解されたい。例えば、カスタマイズされたハードウェアも使用され得、および/または特定の要素が、ハードウェア、ソフトウェア(アプレット等のポータブルソフトウェアを含む)、または双方で実装され得る。さらに、ネットワーク入力/出力デバイス等の他のコンピューティングデバイスへの接続が利用され得る。
【0045】
コードまたはコードの部分を収容するための記憶媒体およびコンピュータ読み出し可能な媒体としては、コンピュータ読み出し可能な命令、データ構造、プログラムモジュール、または他のデータ等の情報を記憶および/または伝送するための任意の方法または技術で実装される揮発性および不揮発性で、取り外し可能および取り外し不可能な媒体等が挙げられるが、それらに限定されない、RAM、ROM、EEPROM、フラッシュメモリ、または他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)または他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または他の磁気記憶デバイス、または所望の情報を記憶するために使用することができ、システムデバイスによってアクセスすることができる、任意の他の媒体を含む、記憶媒体および通信媒体を含む、当技術分野において知られているまたは使用される、任意の適切な媒体が挙げられる。本明細書で提供される開示および教示に基づいて、当業者は、種々の実施形態を実装するための他の様式および/または方法を認識するであろう。
【0046】
したがって、本明細書および図面は、限定的な意味ではなく、例示的な意味であるとみなされるべきである。しかしながら、特許請求の範囲に記載された本発明のより広い趣旨および範囲から逸脱することなく、種々の修正および変更が行われ得ることが明らかであろう。
付記
付記1.ユーザの指先の場所を特定するための、コンピュータにより実装される方法であって、
コンピューティングデバイスの少なくとも1つのカメラを使用して、画像を取り込むことと、
取り込まれた画像から、ユーザの指の少なくとも第1の部分の場所を決定することと、
指の少なくとも第2の部分が少なくとも1つのカメラの視野の外側にあるときに、コンピューティングデバイスの少なくとも1つのセンサを使用して、コンピューティングデバイスに対する前記の第2の部分の指の場所を検出することと、
指の指先の相対的な場所を決定するために、第1の場所および第2の場所を解析することと、を含む、コンピュータにより実装される方法。
付記2.デバイスセンサは、電磁界センサ、容量センサ、超音波センサのうちの少なくとも1つを含む、付記1に記載のコンピュータにより実装される方法。
付記3.指先の相対的な場所を決定するために、少なくとも第1の部分および第2の部分の場所を解析することは、場所を指のデジタルモデルに入力することを含む、付記1に記載のコンピュータにより実装される方法。
付記4.指先の相対的な場所を決定するために、少なくとも第1の部分および第2の部分の場所を解析することは、指の第2の部分が視野の外側に移動する前に、少なくとも1つの以前に取り込まれた画像の中で識別される少なくとも1つの以前の指先の相対的な場所を使用することを含む、付記1に記載のコンピュータにより実装される方法。
付記5.指の移動に少なくとも部分的に基づいて、指先の相対的な場所を更新するために、経時的に指の移動を追跡し、少なくとも第1の部分および第2の部分の場所を使用することをさらに含む、付記1に記載のコンピュータにより実装される方法。
付記6.コンピューティングデバイスの少なくとも1つのカメラを使用して画像を取り込むことであって、画像は、ユーザの手の少なくとも一部分の描写を含む、取り込むことと、
手の指の指先が画像の中に描写されないときに、コンピューティングデバイスに対するユーザの手の少なくとも1つの参照点の場所を決定するために、コンピューティングデバイスの少なくとも1つのプロセッサを使用して、画像を解析することと、
少なくとも1つの参照点に少なくとも部分的に基づいて、指先の位置を算出することと、
コンピューティングデバイスに対する指の指先の位置に少なくとも部分的に基づいて、コンピューティングデバイス上で実行するアプリケーションへの入力を提供することと、を含む、コンピュータにより実装される方法。
付記7.コンピューティングデバイスの少なくとも1つのセンサを使用して、指の第2の部分を検出することをさらに含み、
コンピューティングデバイスに対する指先の位置を算出することはさらに、第2の部分に少なくとも部分的に基づく、付記6に記載のコンピュータにより実装される方法。
付記8.デバイスセンサは、電磁界センサ、容量センサ、超音波センサのうちの少なくとも1つを含む、付記7に記載のコンピュータにより実装される方法。
付記9.複数の指先の位置が同時に算出され、複数の指先の位置に少なくとも部分的に基づいて入力が提供される、付記6に記載のコンピュータにより実装される方法。
付記10.画像は、静止画像情報、立体画像情報、赤外線画像情報、またはビデオ情報のうちの少なくとも1つを含む、付記6に記載のコンピュータにより実装される方法。
付記11.少なくとも1つの参照点に少なくとも部分的に基づいて、コンピューティングデバイスに対する指先の位置を算出することは、少なくとも1つの参照点を、ユーザ用にパーソナライズされた指のデジタルモデルに提供することを含む、付記6に記載のコンピュータにより実装される方法。
付記12.少なくとも1つの参照点に少なくとも部分的に基づいて、コンピューティングデバイスに対する指先の位置を算出することは、少なくとも1つの以前に取り込まれた画像から識別される、少なくとも1つの以前の指先の位置を使用することを含む、付記6に記載のコンピュータにより実装される方法。
付記13.指の移動に少なくとも部分的に基づいて、指先の位置を更新するために、経時的に指の移動を追跡し、少なくとも1つの参照点を使用することをさらに含む、付記6に記載のコンピュータにより実装される方法。
付記14.コンピューティングデバイスに対する指先の位置を算出することはさらに、ユーザの指の物理的限度に少なくとも部分的に基づく、付記6に記載のコンピュータにより実装される方法。
付記15.コンピューティングデバイスに対する指先の位置を算出することはさらに、以前の指先の場所に基づいて、ユーザによって行われた以前の選択に関する機械学習に少なくとも部分的に基づく、付記6に記載のコンピュータにより実装される方法。
付記16.コンピューティングデバイスであって、
プロセッサと、
少なくとも1つのカメラと、
命令を含むメモリデバイスであって、該命令は、プロセッサによって実行されたときに、コンピューティングデバイスに、
少なくとも1つのカメラを使用して1つ以上の画像を取り込むことであって、1つ以上の画像情報は、ユーザの手の少なくとも一部分の表現を含む、取り込むこと、
ユーザの指先が1つ以上の画像の中に見えないときに、コンピューティングデバイスに対するユーザの手の少なくとも一部分の場所を決定するために、1つ以上の画像を解析すること、および
少なくとも一部分に少なくとも部分的に基づいて、コンピューティングデバイスに対する指先の場所を算出すること、を行わせる、メモリデバイスと、を備える、コンピューティングデバイス。
付記17.指の第2の部分を検出するように構成される、少なくとも1つのセンサをさらに備え、コンピューティングデバイスに対する指先の場所はさらに、第2の部分に少なくとも部分的に基づく、付記16に記載のコンピューティングデバイス。
付記18.センサは、電磁界センサ、容量センサ、または超音波センサのうちの少なくとも1つを含む、付記17に記載のコンピューティングデバイス。
付記19.1つ以上の画像は、静止画像情報、立体画像情報、赤外線画像情報、またはビデオ情報のうちの少なくとも1つを含む、付記16に記載のコンピューティングデバイス。
付記20.少なくとも一部分に少なくとも部分的に基づいて、コンピューティングデバイスに対する指先の場所を算出することは、少なくとも一部分を指のデジタルモデルに提供することを含む、付記16に記載のコンピューティングデバイス。
付記21.命令を含む非一時的なコンピュータ読み出し可能な記憶媒体であって、該命令は、コンピューティングデバイスのプロセッサによって実行されたときに、コンピューティングデバイスに、
コンピューティングデバイスの少なくとも1つのカメラを使用して画像を取り込むことであって、画像は、ユーザの手の少なくとも一部分の表現を含む、取り込むこと、
ユーザの指先が画像の中に見えないときに、コンピュータデバイスに対するユーザの手の少なくとも1つの参照点の場所を決定するために、コンピューティングデバイスの少なくとも1つのプロセッサを使用して、画像を解析すること、
少なくとも1つの参照点に少なくとも部分的に基づいて、コンピューティングデバイスに対する指先の位置を算出すること、および
コンピューティングデバイスに対する指先の位置に少なくとも部分的に基づいて、コンピューティングデバイス上で実行するアプリケーションへの入力を提供すること、を行わせる、非一時的なコンピュータ読み出し可能な記憶媒体。
付記22.命令は、実行されたときにさらに、コンピュータシステムに、
コンピューティングデバイスの少なくとも1つのセンサを使用して、指の第2の点を検出することを行わせ、
コンピューティングデバイスに対する指先の位置を算出することはさらに、第2の点に少なくとも部分的に基づき、
デバイスセンサは、電磁界センサ、容量センサ、または超音波センサのうちの少なくとも1つを含む、付記21に記載の非一時的なコンピュータ読み出し可能な記憶媒体。
付記23.複数の指先の位置を同時に算出することができ、複数の指先の位置に少なくとも部分的に基づいて、入力を提供することができる、付記21に記載の非一時的なコンピュータ読み出し可能な記憶媒体。
付記24.コンピューティングデバイスに対する指先の位置を算出することはさらに、ユーザの指の物理的限度に少なくとも部分的に基づく、付記21に記載の非一時的なコンピュータ読み出し可能な記憶媒体。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]ユーザの指先の場所を特定するための、コンピュータにより実装される方法であって、
コンピューティングデバイスの少なくとも1つのカメラを使用して、画像を取り込むことと、
前記取り込まれた画像から、ユーザの指の少なくとも第1の部分の場所を決定することと、
前記指の第2の部分が前記少なくとも1つのカメラの視野の外側にあるときに、前記コンピューティングデバイスの少なくとも1つのセンサを使用して、前記コンピューティングデバイスに対する少なくとも前記第2の部分の場所を検出することと、
前記指の指先の相対的な場所を決定するために、前記第1の場所および前記第2の場所を解析することと、を含む、コンピュータにより実装される方法。
[2]前記デバイスセンサは、電磁界センサ、容量センサ、超音波センサのうちの少なくとも1つを含む、[1]に記載のコンピュータにより実装される方法。
[3]前記指先の前記相対的な場所を決定するために、少なくとも前記第1の部分の場所および前記第2の部分の場所を解析することは、前記場所を前記指のデジタルモデルに入力すること、または前記指の前記第2の部分が前記視野の外側に移動する前に少なくとも1つの以前に取り込まれた画像の中で識別される、少なくとも1つの以前の指先の相対的な場所を使用すること、のうちの1つ以上を含む、[1]に記載のコンピュータにより実装される方法。
[4]前記指の移動に少なくとも部分的に基づいて、前記指先の前記相対的な場所を更新するために、経時的に前記指の移動を追跡し、少なくとも前記第1の部分の場所および前記第2の部分の場所を使用することをさらに含む、[1]に記載のコンピュータにより実装される方法。
[5]コンピュータにより実装される方法であって、
コンピューティングデバイスの少なくとも1つのカメラを使用して画像を取り込むことであって、前記画像は、ユーザの手の少なくとも一部分の描写を含む、取り込むことと、
前記手の指の指先が前記画像の中に描写されないときに、前記コンピューティングデバイスに対する前記ユーザの前記手の少なくとも1つの参照点の場所を決定するために、前記コンピューティングデバイスの少なくとも1つのプロセッサを使用して、前記画像を解析することと、
前記少なくとも1つの参照点に少なくとも部分的に基づいて、前記指先の位置を算出することと、
前記コンピューティングデバイスに対する前記指の前記指先の前記位置に少なくとも部分的に基づいて、前記コンピューティングデバイス上で実行するアプリケーションへの入力を提供することと、を含む、コンピュータにより実装される方法。
[6]前記コンピューティングデバイスの少なくとも1つのセンサを使用して、前記指の第2の部分を検出することをさらに含み、
前記コンピューティングデバイスに対する前記指先の前記位置を算出することはさらに、前記第2の部分に少なくとも部分的に基づく、[5]に記載のコンピュータにより実装される方法。
[7]前記デバイスセンサは、電磁界センサ、容量センサ、超音波センサのうちの少なくとも1つを含む、[6]に記載のコンピュータにより実装される方法。
[8]前記少なくとも1つの参照点に少なくとも部分的に基づいて、前記コンピューティングデバイスに対する前記指先の前記位置を算出することは、前記少なくとも1つの参照点を、前記ユーザ用にパーソナライズされた前記指のデジタルモデルに提供すること、または少なくとも1つの以前に取り込まれた画像から識別される、少なくとも1つの以前の指先の位置を使用すること、のうちの1つ以上を含む、[5]に記載のコンピュータにより実装される方法。
[9]前記指の移動に少なくとも部分的に基づいて、前記指先の前記位置を更新するために、経時的に前記指の移動を追跡し、前記少なくとも1つの参照点を使用することをさらに含む、[5]に記載のコンピュータにより実装される方法。
[10]前記コンピューティングデバイスに対する前記指先の前記位置を算出することはさらに、前記ユーザの前記指の物理的限度、または、以前の指先の場所に基づいて前記ユーザによって行われた以前の選択に関する機械学習、のうちの1つ以上に少なくとも部分的に基づく、[5]に記載のコンピュータにより実装される方法。
[11]コンピューティングデバイスであって、
プロセッサと、
少なくとも1つのカメラと、
命令を含むメモリデバイスであって、前記命令は、前記プロセッサによって実行されたときに、前記コンピューティングデバイスに、
前記少なくとも1つのカメラを使用して1つ以上の画像を取り込むことであって、前記1つ以上の画像情報は、ユーザの手の少なくとも一部分の表現を含む、取り込むこと、
前記ユーザの指先が前記1つ以上の画像の中に見えないときに、前記コンピューティングデバイスに対する前記ユーザの手の少なくとも一部分の場所を決定するために、前記1つ以上の画像を解析すること、および
前記少なくとも一部分に少なくとも部分的に基づいて、前記コンピューティングデバイスに対する前記指先の場所を算出すること、を行わせる、メモリデバイスと、を備える、コンピューティングデバイス。
[12]前記指の第2の部分を検出するように構成される、少なくとも1つのセンサをさらに備え、
前記コンピューティングデバイスに対する前記指先の前記場所はさらに、前記第2の部分に少なくとも部分的に基づく、[11]に記載のコンピューティングデバイス。
[13]前記センサは、電磁界センサ、容量センサ、または超音波センサのうちの少なくとも1つを含む、[12]に記載のコンピューティングデバイス。
[14]前記1つ以上の画像は、静止画像情報、立体画像情報、赤外線画像情報、またはビデオ情報のうちの少なくとも1つを含む、[11]に記載のコンピューティングデバイス。
[15]前記少なくとも一部分に少なくとも部分的に基づいて、前記コンピューティングデバイスに対する前記指先の前記場所を算出することは、前記少なくとも一部分を前記指のデジタルモデルに提供することを含む、[11]に記載のコンピューティングデバイス。
図1(a)】
図1(b)】
図1(c)】
図2
図3
図4
図5(a)】
図5(b)】
図5(c)】
図6
図7
図8
図9