特許 6522124 ジェスチャ制御方法、デバイス、およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6522124

(24)【登録日】2019年5月10日

(45)【発行日】2019年5月29日

(54)【発明の名称】ジェスチャ制御方法、デバイス、およびシステム

(51)【国際特許分類】

   H04Q 9/00 20060101AFI20190520BHJP

   G06F 3/0488 20130101ALI20190520BHJP

   G06F 3/01 20060101ALI20190520BHJP

   H04M 1/00 20060101ALI20190520BHJP

【ＦＩ】

   H04Q9/00 331A

   G06F3/0488 130

   G06F3/01 570

   H04M1/00 U

【請求項の数】11

【全頁数】17

(21)【出願番号】特願2017-525966(P2017-525966)

(86)(22)【出願日】2016年4月14日

(65)【公表番号】特表2018-504798(P2018-504798A)

(43)【公表日】2018年2月15日

(86)【国際出願番号】CN2016079220

(87)【国際公開番号】WO2016197697

(87)【国際公開日】20161215

【審査請求日】2017年5月12日

(31)【優先権主張番号】201510316890.1

(32)【優先日】2015年6月10日

(33)【優先権主張国】CN

【前置審査】

(73)【特許権者】

【識別番号】506379493

【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100140534

【弁理士】

【氏名又は名称】木内 敬二

(72)【発明者】

【氏名】朱 振▲華▼

【審査官】 加内 慎也

(56)【参考文献】

【文献】 特開２０１２−２３１２４９（ＪＰ，Ａ）

【文献】 特開２０１４−１３７６７１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／０２６７２９１（ＵＳ，Ａ１）

【文献】 特開２０１３−１４１２４２（ＪＰ，Ａ）

【文献】 特開２０１０−２３９２５１（ＪＰ，Ａ）

【文献】 特開２０１４−１３２４５６（ＪＰ，Ａ）

【文献】 国際公開第２０１２／１１８０５６（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｑ ９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８８

Ｈ０４Ｍ １／００

(57)【特許請求の範囲】

【請求項1】

ジェスチャ制御方法であって、
モバイル端末によって、ディスプレイデバイスとのワイヤレス通信接続を確立するステップと、
前記モバイル端末によって、前記ディスプレイデバイスとの前記ワイヤレス通信接続を確立する前記ステップは、
前記モバイル端末が前記ディスプレイデバイスと前記モバイル端末の両方に接続された１つのルータを検出することによって前記ディスプレイデバイスを検出した後、前記モバイル端末によって、ワイヤレスフィディリティネットワークを介して前記ディスプレイデバイスとの前記ワイヤレス通信接続を確立するステップと、
前記ディスプレイデバイスの現在のアプリケーションが前記モバイル端末に通知されることに応答して、前記モバイル端末によって、前記ディスプレイデバイスの現在のアプリケーションに対応するジェスチャ入力インターフェースを表示するステップと、を備え、
前記現在のアプリケーションは、少なくとも第１のインターフェースおよび第２のインターフェースを有し、前記ディスプレイデバイスは、前記モバイル端末に表示されない第２のインターフェースを表示し、
前記ジェスチャ入力インターフェースは、前記ディスプレイデバイスに表示されず、ユーザ入力を受け取るように構成された前記第１のインターフェースと、前記ユーザに対するインターフェースプロンプトとしてのジェスチャ操作テーブルとを含み、
前記モバイル端末のユーザによって、複数の操作命令と複数のユーザジェスチャとを１対１に対応付けて予め定義するステップと、
前記モバイル端末によって、前記ユーザのユーザジェスチャを検出するステップと、
前記モバイル端末によって、前記ユーザジェスチャを、前記ユーザジェスチャに対応する操作命令へ変換するステップと、
前記モバイル端末によって、前記ディスプレイデバイスへ前記操作命令を送信するステップと、を備える方法。

【請求項2】

前記モバイル端末は、タッチ入力機能を有する、請求項1に記載の方法。

【請求項3】

前記モバイル端末によって、前記ユーザジェスチャを検出する前記ステップは、前記モバイル端末によって、ユーザのタッチ操作を検出するステップを備える、請求項2に記載の方法。

【請求項4】

前記モバイル端末によって、前記ユーザジェスチャを、前記ユーザジェスチャに対応する前記操作命令へ変換する前記ステップは、
前記モバイル端末によって、前記タッチ操作を、前記タッチ操作に対応する操作命令へ変換するステップを備える、請求項3に記載の方法。

【請求項5】

ジェスチャ制御デバイスであって、
モバイル端末がディスプレイデバイスと前記モバイル端末の両方に接続された１つのルータを検出することによって前記ディスプレイデバイスを検出した後、ワイヤレスフィディリティネットワークを介して、ディスプレイデバイスとのワイヤレス通信接続を確立するように構成された接続メンテナンスユニットと、
前記ディスプレイデバイスの現在のアプリケーションが前記モバイル端末に通知されることに応答して、前記ディスプレイデバイスの現在のアプリケーションに対応するジェスチャ入力インターフェースを表示するように構成されたディスプレイユニットと、
前記現在のアプリケーションは、少なくとも第１のインターフェースおよび第２のインターフェースを有し、前記ディスプレイデバイスは、前記モバイル端末に表示されない第２のインターフェースを表示し、
前記ジェスチャ入力インターフェースは、前記ディスプレイデバイスに表示されず、ユーザ入力を受け取るように構成された前記第１のインターフェースと、前記ユーザに対するインターフェースプロンプトとしてのジェスチャ操作テーブルとを含み、
ユーザジェスチャを検出するように構成されたジェスチャ検出ユニットと、
前記ユーザジェスチャを、前記ユーザジェスチャに対応する操作命令へ変換するように構成された命令変換ユニットと、
前記操作命令を前記ディスプレイデバイスへ送信するように構成された命令送信ユニットと、を備え、
複数の操作命令と複数のユーザジェスチャとが、前記ユーザによって前記ジェスチャ制御デバイスに１対１に対応付けて予め定義されるジェスチャ制御デバイス。

【請求項6】

前記デバイスは、タッチ入力機能を有する、請求項5に記載のデバイス。

【請求項7】

前記ジェスチャ検出ユニットは、ユーザのタッチ操作を検出するように構成されたタッチ検出ユニットを備える、請求項6に記載のデバイス。

【請求項8】

前記命令変換ユニットは、前記タッチ操作を、前記タッチ操作に対応する操作命令へ変換するように構成された、請求項7に記載のデバイス。

【請求項9】

ジェスチャ制御システムであって、請求項5から8のいずれか一項に記載の前記ジェスチャ制御デバイスと、ディスプレイデバイスと、を備えるジェスチャ制御システム。

【請求項10】

ジェスチャ制御デバイスであって、
少なくとも1つのプロセッサと、
前記プロセッサによって実行された場合、請求項1から4のいずれか一項に記載の前記方法を実行するように前記デバイスを設定するプログラム命令を記憶するように構成されたメモリと、を備えるジェスチャ制御デバイス。

【請求項11】

コンピューティングデバイスのプロセッサによって実行された場合、請求項1から4のいずれか一項に記載の前記方法を実行するように前記コンピューティングデバイスを設定するプログラム命令を備える、非一時的なコンピュータ読取可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、全体において参照によって本明細書に組み込まれている、中華人民共和国の国家知識産権局に2015年6月10日に出願された「GESTURE CONTROL METHOD, MOBILE TERMINAL AND SYSTEM」と題された中国特許出願第201510316890.1号に対する優先権を主張する。

【0002】

本開示は、通信技術の分野、特に、ジェスチャ制御方法、ジェスチャ制御デバイス、およびジェスチャ制御システムに関する。

【背景技術】

【0003】

現在、アプリケーションソフトウェアが、テレビのようなディスプレイデバイスにおいて起動された後、メニュー選択、ゲーム操作入力のような操作が、アプリケーションソフトウェアへ実行される必要がある。

【0004】

現在の市場では、アプリケーションソフトウェアのために一般に使用される操作入力方式は、遠隔コントローラを使用している。遠隔コントローラは、確認ボタン、上/下/左/右移動ボタン、モード選択ボタンのような多くの入力ボタンを含む。ユーザは、入力ボタンを使用することによってカーソルの移動位置を制御し、次に、確認操作を実行するために入力ボタンを操作する。チャンネルモード選択、音量制御のような少数の機能しか備えていないテレビの場合、遠隔コントローラを使用するこの入力方式が、要求を満足し得る。しかしながら、アプリケーションソフトウェアのための操作命令がより多くなると、遠隔コントローラを介して命令を入力する方式は、便利ではなく、低効率という結果を招く。

【0005】

操作命令をテレビへ入力する効率を向上するために、現在、ジェスチャ入力方式が開発されている。たとえば、カメラおよびプロセッサ等が、テレビ内に統合される。テレビは、テレビの前に立っているユーザのユーザジェスチャを検出し、ユーザジェスチャを認識し、ユーザジェスチャに対応する操作命令を決定し、その後、操作結果を表示するために、操作命令を実行する。しかしながら、テレビのためのジェスチャ入力を実現する解決策で、テレビのコストは大幅に上昇され、ユーザは、テレビの前で操作する必要がある。これは、ユーザの操作習慣を満たさない。したがって、テレビのためのジェスチャ入力を実現する解決策は、高コスト、および、ジェスチャ命令の不便な入力という技術問題を有する。

【発明の概要】

【発明が解決しようとする課題】

【0006】

命令の便利な入力を可能にする、本開示の実施形態に従うジェスチャ制御方法、ジェスチャ制御デバイス、およびジェスチャ制御システムが提供される。

【課題を解決するための手段】

【0007】

本開示の実施形態に従うジェスチャ制御方法が提供される。ジェスチャ制御方法は、モバイル端末によって、ディスプレイデバイスとのワイヤレス通信接続を確立するステップと、モバイル端末によって、ディスプレイデバイスの現在のアプリケーションに対応するジェスチャ入力インターフェースを表示するステップと、モバイル端末によって、ユーザジェスチャを検出するステップと、モバイル端末によって、ユーザジェスチャを、ユーザジェスチャに対応する操作命令へ変換するステップと、モバイル端末によって、ディスプレイデバイスへ操作命令を送信するステップとを含む。

【0008】

本開示の実施形態に従うジェスチャ制御デバイスが提供される。ジェスチャ制御デバイスは、ディスプレイデバイスとのワイヤレス通信接続を確立するように構成された接続メンテナンスユニットと、ディスプレイデバイスの現在のアプリケーションに対応するジェスチャ入力インターフェースを表示するように構成されたディスプレイユニットと、ユーザジェスチャを検出するように構成されたジェスチャ検出ユニットと、ユーザジェスチャを、ユーザジェスチャに対応する操作命令へ変換するように構成された命令変換ユニットと、操作命令をディスプレイデバイスへ送信するように構成された命令送信ユニットとを含む。

【0009】

ジェスチャ制御システムが、本開示の実施形態に従って提供され、ジェスチャ制御システムは、本開示の実施形態に従うジェスチャ制御デバイスと、ディスプレイデバイスとを含む。

【0010】

本開示の実施形態に従って、ジェスチャ制御デバイスが提供される。ジェスチャ制御デバイスは、少なくとも1つのプロセッサと、プロセッサによって実行された場合、本開示の実施形態に従ってジェスチャ制御方法を実行するようにジェスチャ制御デバイスを設定するプログラム命令を記憶するように構成されたメモリとを含む。

【0011】

コンピューティングデバイスのプロセッサによって実行された場合、本開示の実施形態に従ってジェスチャ制御方法を実行するようにコンピュータデバイスを設定するプログラム命令を含む非一時的なコンピュータ読取可能な記憶媒体が、本開示の実施形態に従って提供される。

【0012】

上記の技術的解決策から理解され得るように、本開示に従う実施形態は、以下の利点を有する。ジェスチャ入力機能を有するモバイル端末によって、ユーザジェスチャが検出され、対応する操作命令へ変換され、その後、操作命令が、モバイル端末とディスプレイデバイスとの間のワイヤレス通信接続を介してディスプレイデバイスへ送信され、ディスプレイデバイスは、この命令に基づいて動作する。この処理では、ディスプレイデバイスは、ジェスチャ検出機能を有している必要はなく、ジェスチャ検出機能は、既存のデバイスの機能を十分に活用することによって達成され、ユーザは、ディスプレイデバイスの前に立つ代わりに、入力のためにモバイル端末を保持し得、これによって、ハードウェアコストが比較的低くなり、ジェスチャ命令の入力が便利になる。

【0013】

本開示の実施形態における技術的解決策をより明確に例示するために、実施形態の記載において使用される図面が、以下に手短に紹介される。明らかに、以下に記載される図面は、本開示のいくつかの実施形態を単に例示しているだけであり、これら図面に基づいて、当業者によって、何ら創造的な努力なしで他の図面が取得され得る。

【図面の簡単な説明】

【0014】

【図1】本開示の実施形態に従うジェスチャ制御方法の概要フローチャートである。

【図2A】本開示の実施形態に従うジェスチャの概要図である。

【図2B】本開示の実施形態に従うジェスチャの概要図である。

【図2C】本開示の実施形態に従うジェスチャの概要図である。

【図2D】本開示の実施形態に従うジェスチャの概要図である。

【図2E】本開示の実施形態に従うジェスチャの概要図である。

【図2F】本開示の実施形態に従うジェスチャの概要図である。

【図3】本開示の実施形態に従うアプリケーションシナリオのシステムの概要構成図である。

【図4】本開示の実施形態に従うジェスチャ制御デバイスの概要構成図である。

【図5】本開示の別の実施形態に従うジェスチャ制御デバイスの概要構成図である。

【図6】本開示の別の実施形態に従うジェスチャ制御デバイスの概要構成図である。

【図7】本開示の実施形態に従うジェスチャ制御システムの概要構成図である。

【図8】本開示の実施形態に従うモバイル端末の概要構成図である。

【発明を実施するための形態】

【0015】

本開示の目的、技術的解決策、および利点をより明確にするために、本開示はさらに、図面と連携して詳細に記載される。明らかに、本明細書に記載された実施形態は、本開示の単なるいくつかの実施形態である。何ら創造的な努力なしで当業者によって取得され得る他の実施形態は、本開示の保護範囲に入る。

【0016】

図1に図示されるように、ジェスチャ制御方法は、以下のステップ101乃至103を含む本開示の実施形態に従って提供される。

【0017】

ステップ101において、モバイル端末は、ディスプレイデバイスとのワイヤレス通信接続を確立する。

【0018】

モバイル端末は、ジェスチャ入力機能を有し得る。モバイル端末は、モバイル端末によってサポートされるジェスチャ入力方式に依存して、対応するハードウェアおよび/またはソフトウェアを有し得る。ジェスチャ入力方式は、タッチジェスチャ、またはフローティングジェスチャであり得る。たとえば、ジェスチャの文法的な情報が、設定および手の移動変化によって渡され得る。

【0019】

モバイル端末のモバイル通信機能に基づいて、モバイル端末は、ワイヤレスローカルエリアネットワーク、ポイントツーポイント接続技術、さらに詳しくは、Bluetooth、ワイヤレスフィディリティ(WIFI)のような異なる通信方式を使用してディスプレイデバイスとの接続を確立し得る。通信方式は、モバイル端末およびディスプレイデバイスのワイヤレス通信機能に基づいて選択され得る。

【0020】

WIFIの通信利点と、ほとんどの家庭が、ワイヤレスローカルエリアネットワークとしてWIFIを使用するという状況とに基づいて、本開示の例として、モバイル端末によって、ディスプレイデバイスとのワイヤレス通信接続を確立するステップは、モバイル端末が、ワイヤレスフィディリティネットワークを介してディスプレイデバイスを検出した後、モバイル端末が、ワイヤレスフィディリティネットワークを介してディスプレイデバイスとのワイヤレス通信接続を確立するステップを含む。

【0021】

例として、ディスプレイデバイスを検出する具体的な方式は、ディスプレイデバイスとモバイル端末との両方に接続されたルータを検出することによって実現され得る。この具体的な処理は、本開示の実施形態において限定されない。

【0022】

ステップ102では、ディスプレイデバイスの現在のアプリケーションに対応するジェスチャ入力インターフェースが表示される。

【0023】

モバイル端末がディスプレイデバイスとのワイヤレス通信接続を確立した後、ディスプレイデバイスにおいて起動している現在のアプリケーションが、モバイル端末へ通知され得、これによって、モバイル端末は、ディスプレイデバイスの現在のアプリケーションのためのジェスチャを入力するためのインターフェースを表示し得る。このインターフェースは、ユーザの入力を容易にするために、ジェスチャ操作テーブルのようなインターフェースプロンプトを含み得る。ディスプレイデバイスは、ゲームのスクリーン、ソフトウェアのメインインターフェースのようなアプリケーションのメインインターフェースを表示する。モバイル端末は、これらのインターフェースを表示することも、表示しないこともあり得る。

【0024】

ステップ103において、モバイル端末はユーザジェスチャを検出し、ユーザジェスチャを、ユーザジェスチャに対応する操作命令へ変換し、この操作命令を、ディスプレイデバイスへ送信する。

【0025】

本開示の実施形態に従って、モバイル端末は、ユーザジェスチャに対応する操作命令をディスプレイデバイスへ送信し、これによって、操作命令は、ディスプレイデバイスの現在のアプリケーションによって実行されるようになり得る。

【0026】

モバイル端末によるユーザジェスチャの検出は、ジェスチャ認識の処理に属する。3次元入力としてのジェスチャ認識の本質は、自身のジェスチャによって表現されたユーザの意図を識別することである。現在、構文的なパターン認識方法、テンプレートマッチングおよびテーブルルックアップ方法、ベイズ分類器、結合ニューラルネットワークのようなジェスチャ認識のための多くの画像分類アルゴリズムが存在する。パターン認識を考慮して、入力されたジェスチャを検出するために、データグローブおよびカメラのうちのどちらが使用されているかに関わらず、ジェスチャがどの表現方式を使用しているかに関わらず、どの特徴抽出が使用されているかに関わらず、同じ方法が、ジェスチャを認識するために使用され得る。ジェスチャを検出するための具体的な処理は、本開示の実施形態において限定されない。図2A乃至図2Fに図示されるように、ジェスチャカテゴリは各々、タップ、ダブルタップ、右ドラッグ、上スワイプ、下スワイプ、指2本下スワイプである。上記ジェスチャは、タッチスクリーンによって検出され得る。異なるジェスチャカテゴリに対応する異なる操作命令と、操作命令とジェスチャカテゴリとの間の対応とは、操作習慣によって決定され得る。たとえば、タップは、選択命令に対応し、ダブルタップは、確認命令に対応する。

【0027】

この実施形態では、ジェスチャ入力機能を有するモバイル端末によって、ユーザジェスチャが検出され、対応する操作命令へ変換され、その後、操作命令は、モバイル端末とディスプレイデバイスとの間のワイヤレス通信接続を介してディスプレイデバイスへ送信され、ディスプレイデバイスは、この命令に基づいて動作する。この処理では、ディスプレイデバイスは、ジェスチャ検出機能を有している必要はなく、ジェスチャ検出機能は、既存のデバイスの機能を十分に活用することによって達成され、ユーザは、ディスプレイデバイスの前に立つ代わりに、入力するためのモバイル端末を保持することができ得、これによって、ハードウェアコストが比較的低く、ジェスチャ命令の入力が便利になる。

【0028】

本開示の例として、モバイル端末はタッチ入力機能を有する。ここで、モバイル端末がユーザジェスチャを検出するステップは、モバイル端末が、ユーザのタッチ操作を検出するステップを含む。アプリケーションに対応するディスプレイインターフェースが、モバイル端末によって表示され、その後、タッチ操作が、タッチ入力機能によって取得され、タッチ操作は、タッチ操作に対応する操作命令へ変換され、この操作命令が、ディスプレイデバイスへ送信される。

【0029】

アプリケーションニーズに基づいて、ディスプレイデバイスは通常、大型スクリーンのディスプレイデバイスであり、入力デバイスとしてのモバイル端末は、比較的小型のスクリーンを有する。分割スクリーンディスプレイが利用され得、入力に関連するインターフェースが、ディスプレイデバイスにおいて表示されないことがあり得る。具体的には、ジェスチャ入力インターフェースは、アプリケーションの分割スクリーンインターフェースの入力インターフェースであり、アプリケーションの分割スクリーンインターフェースの操作結果インターフェースが、ディスプレイデバイス上に表示される。

【0030】

可能なアプリケーションシナリオとして、モバイル端末は、モバイル電話であり、ディスプレイデバイスは、テレビである。ジェスチャ入力機能を有する他のモバイル端末と、モバイル端末とのワイヤレス接続を確立することが可能な他のデバイスもまた可能であり、したがって、それは、モバイル電話およびテレビのアプリケーションシナリオに限定されない。ワイヤを用いてルータのようなデバイスと接続した後にローカルエリアネットワークを確立することによってモバイル電話とワイヤレス通信接続をし得るテレビは、ワイヤレス通信機能を有している必要はない。図3は、本開示の実施形態に従うアプリケーションシナリオを図示する。アプリケーションシナリオのシステムアーキテクチャは、モバイル電話側およびテレビ側を含み、ここで、モバイル電話側におけるモバイル電話は、ジェスチャ検出機能を有し、テレビ側におけるテレビは、対応するアプリケーションを表示および起動するために主に使用される。モバイル電話側とテレビ側との間の通信接続を確立した後、モバイル電話側において定義されたジェスチャ機能によって、テレビ側においてチェスゲームが操作される。モバイル電話は、ゲームの操作コントローラとしてサービス提供され、テレビは、命令受信機およびゲームスクリーンディスプレイヤとしてサービス提供される。完全なゲーム経験が、モバイル電話とテレビのインタラクションによって達成される。具体的な処理が以下のように記載される。

【0031】

第1に、様々なジェスチャ機能の定義が、モバイル電話側で完了され、ジェスチャは、限定されないが、タップ、ダブルタップ、ドラッグ、上スワイプ、下スワイプ、および指2本下スワイプを含む。タップ、ダブルタップ、ドラッグ、上スワイプ、下スワイプ、指2本下スワイプのジェスチャは、ゲームを開始すること、プロンプト、カードを連続的に示すこと、カードを示すこと、カード選択をキャンセルすること、および無操作各々の操作命令に対応する。第2に、モバイル電話側とテレビ側との間の接続が確立される。第3に、テレビチェスゲームの分割スクリーンインタラクティブインターフェース(各々、モバイル電話インターフェースとテレビインターフェース)が、モバイル電話側およびテレビ側において同期して表示される。最後に、モバイル電話側において、ゲーム操作に対応する異なるジェスチャを入力することによってゲーム操作が完了される。

【0032】

図4に図示されるように、本開示の実施形態に従って、ジェスチャ入力機能を有するジェスチャ制御デバイス(たとえば、モバイル端末)がさらに提供され、ジェスチャ制御デバイスは、接続メンテナンスユニット401、ディスプレイユニット402、ジェスチャ検出ユニット403、命令変換ユニット404、および命令送信ユニット405を含む。接続メンテナンスユニット401は、ディスプレイデバイスとのワイヤレス通信接続を確立するように構成される。ディスプレイユニット402は、ディスプレイデバイスの現在のアプリケーションに対応するジェスチャ入力インターフェースを表示するように構成される。ジェスチャ検出ユニット403は、ユーザジェスチャを検出するように構成される。命令変換ユニット404は、ユーザジェスチャを、ユーザジェスチャに対応する操作命令へ変換するように構成される。命令送信ユニット405は、ユーザジェスチャに対応する操作命令をディスプレイデバイスへ送信するように構成される。

【0033】

モバイル端末は、ジェスチャ入力機能を有し得る。モバイル端末は、モバイル端末によってサポートされているジェスチャ入力方式に依存して、対応するハードウェアおよび/またはソフトウェアを有し得る。ジェスチャ入力方式は、タッチジェスチャ、またはフローティングジェスチャであり得る。たとえば、ジェスチャの文法的な情報が、設定および手の移動変化によって渡され得る。

【0034】

モバイル端末がディスプレイデバイスとのワイヤレス通信接続を確立した後、ディスプレイデバイスにおいて起動している現在のアプリケーションが、モバイル端末へ通知され得、これによって、モバイル端末は、ディスプレイデバイスの現在のアプリケーションのためのジェスチャを入力するためのインターフェースを表示し得る。このインターフェースは、ユーザの入力を容易にするために、ジェスチャ操作テーブルのようなインターフェースプロンプトを含み得る。ディスプレイデバイスは、ゲームのスクリーン、ソフトウェアのメインインターフェースのようなアプリケーションのメインインターフェースを表示する。モバイル端末は、これらのインターフェースを表示することも、表示しないこともあり得る。

【0035】

モバイル端末によるユーザジェスチャの検出は、ジェスチャ認識の処理に属する。3次元入力としてのジェスチャ認識の本質は、自身のジェスチャによって表現されたユーザの意図を識別することである。現在、構文的なパターン認識方法、テンプレートマッチングおよびテーブルルックアップ方法、ベイズ分類器、結合ニューラルネットワークのようなジェスチャ認識のための多くの画像分類アルゴリズムが存在する。パターン認識を考慮して、入力されたジェスチャを検出するために、データグローブおよびカメラのうちのどちらが使用されているかに関わらず、ジェスチャがどの表現方式を使用しているかに関わらず、どの特徴抽出が使用されているかに関わらず、同じ方法が、ジェスチャを認識するために使用され得る。ジェスチャを検出するための具体的な処理は、本開示の実施形態において限定されていない。図2A乃至図2Fに図示されるように、ジェスチャカテゴリは各々、タップ、ダブルタップ、右ドラッグ、上スワイプ、下スワイプ、指2本下スワイプである。上記ジェスチャは、タッチスクリーンによって検出され得る。異なるジェスチャカテゴリに対応する異なる操作命令と、操作命令とジェスチャカテゴリとの間の対応とは、操作習慣によって決定され得る。たとえば、タップは、選択命令に対応し、ダブルタップは、確認命令に対応する。

【0036】

この実施形態では、ジェスチャ入力機能を有するモバイル端末によって、ユーザジェスチャが検出され、対応する操作命令へ変換され、その後、操作命令は、モバイル端末とディスプレイデバイスとの間のワイヤレス通信接続を介してディスプレイデバイスへ送信され、ディスプレイデバイスは、この命令に基づいて動作する。この処理では、ディスプレイデバイスは、ジェスチャ検出機能を有している必要はなく、ジェスチャ検出機能は、既存のデバイスの機能を十分に活用することによって達成され、ユーザは、ディスプレイデバイスの前に立つ代わりに、入力するためのモバイル端末を保持することができ得、これによって、ハードウェアコストが比較的低く、ジェスチャ命令の入力が便利になる。

【0037】

モバイル端末のモバイル通信機能に基づいて、モバイル端末は、ワイヤレスローカルエリアネットワーク、ポイントツーポイント接続技術、さらに詳しくは、Bluetooth、ワイヤレスフィディリティ(WIFI)のような異なる通信方式を使用してディスプレイデバイスとの接続を確立し得る。通信方式は、モバイル端末およびディスプレイデバイスのワイヤレス通信機能に基づいて選択され得る。WIFIの通信利点と、ほとんどの家庭が、ワイヤレスローカルエリアネットワークとしてWIFIを使用するという状況とに基づいて、本開示の例として、接続メンテナンスユニット401は、ワイヤレスフィディリティネットワークを介してディスプレイデバイスを検出した後、ワイヤレスフィディリティネットワークを介してディスプレイデバイスとのワイヤレス通信接続を確立するように構成される。

【0038】

例として、ディスプレイデバイスを検出する具体的な方式は、ディスプレイデバイスとモバイル端末との両方と接続されたルータを検出することによって実現され得る。この具体的な処理は、本開示の実施形態において限定されない。

【0039】

本開示の例として、図5に図示されるように、モバイル端末は、タッチ入力機能を有する。ディスプレイユニット402はさらに、ディスプレイデバイスとのワイヤレス通信接続を確立した後に、アプリケーションに対応するディスプレイインターフェースを表示するように構成される。モバイル端末はまた、ユーザのタッチ操作を検出するように構成されたタッチ検出ユニット501を含む。命令変換ユニット404はさらに、タッチ操作を、タッチ操作に対応する操作命令へ変換するよう構成される。命令送信ユニット405はさらに、タッチ操作に対応する操作命令をディスプレイデバイスへ送信するように構成される。

【0040】

アプリケーションニーズに基づいて、ディスプレイデバイスは通常、大型スクリーンのディスプレイデバイスであり、入力デバイスとしてのモバイル端末は、比較的小型のスクリーンを有する。分割スクリーンディスプレイが利用され得、入力に関連するインターフェースが、ディスプレイデバイスに表示されないことがあり得る。具体的には、ジェスチャ入力インターフェースは、アプリケーションの分割スクリーンインターフェースの入力インターフェースであり、アプリケーションの分割スクリーンインターフェースの操作結果インターフェースが、ディスプレイデバイス上に表示される。

【0041】

可能なアプリケーションシナリオとして、モバイル端末は、モバイル電話であり、ディスプレイデバイスは、テレビである。ジェスチャ入力機能を有する他のモバイル端末と、モバイル端末とのワイヤレス接続を確立することが可能な他のデバイスもまた可能であり、したがって、それは、モバイル電話とテレビとのアプリケーションシナリオに限定されない。ワイヤを用いてルータのようなデバイスと接続した後にローカルエリアネットワークを確立することによってモバイル電話とワイヤレス通信接続をし得るテレビは、ワイヤレス通信機能を有している必要はない。

【0042】

図6に図示されるように、受信機601、送信機602、プロセッサ603、およびディスプレイ604を含む別のジェスチャ制御デバイス(たとえば、モバイル端末)が、本開示の実施形態に従って提供される。ジェスチャ制御デバイスはまた、図6に図示されないメモリをも含み得る。

【0043】

プロセッサ603は、以下の動作、すなわち、ディスプレイデバイスとのワイヤレス通信接続を確立するステップ、ディスプレイデバイスの現在のアプリケーションに対応するジェスチャ入力インターフェースを表示するステップ、ユーザジェスチャを検出するステップ、ユーザジェスチャを、ユーザジェスチャに対応する操作命令へ変換するステップ、および、ディスプレイデバイスへ操作命令を送信するステップを実行するために制御するように構成される。

【0044】

モバイル端末は、ジェスチャ入力機能を有し得る。モバイル端末は、モバイル端末によってサポートされているジェスチャ入力方式に依存して、対応するハードウェアおよび/またはソフトウェアを有し得る。ジェスチャ入力方式は、タッチジェスチャ、またはフローティングジェスチャであり得る。たとえば、ジェスチャの文法的な情報が、設定および手の移動変化によって渡され得る。

【0045】

モバイル端末がディスプレイデバイスとのワイヤレス通信接続を確立した後、ディスプレイデバイスにおいて起動している現在のアプリケーションが、モバイル端末へ通知され得、これによって、モバイル端末は、ディスプレイデバイスの現在のアプリケーションのためのジェスチャを入力するためのインターフェースを表示し得る。インターフェースは、ユーザの入力を容易にするために、ジェスチャ操作テーブルのようなインターフェースプロンプトを含み得る。ディスプレイデバイスは、ゲームのスクリーン、ソフトウェアのメインインターフェースのようなアプリケーションのメインインターフェースを表示する。モバイル端末は、これらのインターフェースを表示することも、表示しないこともあり得る。

【0046】

モバイル端末によるユーザジェスチャの検出は、ジェスチャ認識の処理に属する。3次元入力としてのジェスチャ認識の本質は、自身のジェスチャによって表現されたユーザの意図を識別することである。現在、構文的なパターン認識方法、テンプレートマッチングおよびテーブルルックアップ方法、ベイズ分類器、結合ニューラルネットワークのようなジェスチャ認識のための多くの画像分類アルゴリズムが存在する。パターン認識を考慮して、入力されたジェスチャを検出するために、データグローブおよびカメラのうちのどちらが使用されているかに関わらず、どの表現方式をジェスチャが使用しているかに関わらず、どの特徴抽出が使用されているかに関わらず、同じ方法が、ジェスチャを認識するために使用され得る。ジェスチャを検出するための具体的な処理は、本開示の実施形態において限定されていない。図2A乃至図2Fに図示されるように、ジェスチャカテゴリは各々、タップ、ダブルタップ、右ドラッグ、上スワイプ、下スワイプ、指2本下スワイプである。上記ジェスチャは、タッチスクリーンによって検出され得る。異なるジェスチャカテゴリに対応する異なる操作命令と、操作命令とジェスチャカテゴリとの間の対応とは、操作習慣によって決定され得る。たとえば、タップは、選択命令に対応し、ダブルタップは、確認命令に対応する。

【0047】

この実施形態では、ジェスチャ入力機能を有するモバイル端末によって、ユーザジェスチャが検出され、対応する操作命令へ変換され、その後、操作命令は、モバイル端末とディスプレイデバイスとの間のワイヤレス通信接続を介してディスプレイデバイスへ送信され、ディスプレイデバイスは、この命令に基づいて動作する。この処理では、ディスプレイデバイスは、ジェスチャ検出機能を有している必要はなく、ジェスチャ検出機能は、既存のデバイスの機能を十分に活用することによって達成され、ユーザは、ディスプレイデバイスの前に立つ代わりに、入力するためのモバイル端末を保持することができ得、これによって、ハードウェアコストが比較的低く、ジェスチャ命令の入力が便利になる。

【0048】

モバイル端末のモバイル通信機能に基づいて、モバイル端末は、ワイヤレスローカルエリアネットワーク、ポイントツーポイント接続技術、さらに詳しくは、Bluetooth、ワイヤレスフィディリティ(WIFI)のような異なる通信方式を使用してディスプレイデバイスとの接続を確立し得る。通信方式は、モバイル端末およびディスプレイデバイスのワイヤレス通信機能に基づいて選択され得る。WIFIの通信利点と、ほとんどの家庭が、ワイヤレスローカルエリアネットワークとしてWIFIを使用するという状況とに基づいて、本開示の例として、プロセッサ603は、以下の動作を実行するために制御するように構成され、ディスプレイデバイスとのワイヤレス通信接続を確立するステップは、モバイル端末が、ワイヤレスフィディリティネットワークを介してディスプレイデバイスを検出した後、ワイヤレスフィディリティネットワークを介してディスプレイデバイスとのワイヤレス通信接続を確立するステップを含む。

【0049】

本開示の実施形態として、モバイル端末は、タッチ入力機能を有し、プロセッサ603は、以下の動作、すなわち、ディスプレイデバイスとのワイヤレス通信接続を確立した後、アプリケーションに対応するディスプレイインターフェースを表示するステップと、ユーザのタッチ操作を検出するステップと、タッチ操作を、タッチ操作に対応する操作命令へ変換するステップと、ディスプレイデバイスへ操作命令を送信するステップとを実行するために制御するように構成される。

【0050】

アプリケーションニーズに基づいて、ディスプレイデバイスは通常、大型スクリーンのディスプレイデバイスであり、入力デバイスとしてのモバイル端末は、比較的小型のスクリーンを有する。分割スクリーンディスプレイが利用され得、入力に関連するインターフェースが、ディスプレイデバイスに表示されないことがあり得る。具体的には、ジェスチャ入力インターフェースは、アプリケーションの分割スクリーンインターフェースの入力インターフェースであり、アプリケーションの分割スクリーンインターフェースの操作結果インターフェースが、ディスプレイデバイス上に表示される。

【0051】

可能なアプリケーションシナリオとして、モバイル端末は、モバイル電話であり、ディスプレイデバイスは、テレビである。ジェスチャ入力機能を有する他のモバイル端末と、モバイル端末とのワイヤレス接続を確立することが可能な他のデバイスもまた可能であり、したがって、それは、モバイル電話とテレビとのアプリケーションシナリオに限定されない。ワイヤを用いてルータのようなデバイスと接続した後にローカルエリアネットワークを確立することによってモバイル電話とワイヤレス通信接続をし得るテレビは、ワイヤレス通信機能を有している必要はない。

【0052】

図7に図示されるように、ジェスチャ制御システムが、本開示の実施形態に従って提供され、ジェスチャ制御システムは、モバイル端末701およびディスプレイデバイス702を含む。ここで、モバイル端末701は、本開示の実施形態に従うモバイル端末のうちの任意の1つである。

【0053】

この実施形態では、ジェスチャ入力機能を有するモバイル端末によって、ユーザジェスチャが検出され、対応する操作命令へ変換され、その後、操作命令は、モバイル端末とディスプレイデバイスとの間のワイヤレス通信接続を介してディスプレイデバイスへ送信され、ディスプレイデバイスは、この命令に基づいて操作する。この処理では、ディスプレイデバイスは、ジェスチャ検出機能を有している必要はなく、ジェスチャ検出機能は、既存のデバイスの機能を十分に活用することによって達成され、ユーザは、ディスプレイデバイスの前に立つ代わりに、入力するためのモバイル端末を保持することができ得、これによって、ハードウェアコストが比較的低く、ジェスチャ命令の入力が便利になる。

【0054】

本開示の実施形態に従って、別のモバイル端末が提供される。図8に図示されるように、モバイル電話が例として採用される。説明の利便のために、本開示の実施形態に関連する部分のみが図示されている。例示されていない詳細については、本開示の方法部分への参照がなされる。端末デバイスは、モバイル電話、タブレットPC、およびPDA(携帯情報端末)のうちのいずれか1つであり得、例として、端末デバイスとしてモバイル電話が採用されている。

【0055】

図8は、本開示の実施形態に対応する端末デバイスに関連するモバイル電話の構成の一部を図示するブロック図である。図8を参照して示すように、モバイル電話は、無線周波数(RF)回路810、メモリ820、入力ユニット830、ディスプレイユニット840、センサ850、オーディオ回路860、ワイヤレスフィディリティ(WiFi)モジュール870、プロセッサ880および電源890等を含む。図8に図示されるモバイル電話構成は、モバイル電話への限定とならず、モバイル電話は、図8に図示される構成要素よりも多いまたは少ない構成要素を含み得るか、または、いくつかの構成要素を結合し得、または、異なる構成要素配置にあり得ることが当業者によって認識されるべきである。

【0056】

モバイル電話の構成要素の各々が、図8と連携して詳細に記載される。

【0057】

RF回路810は、情報を受信および送信する処理、または、通話をする処理の間、信号を受信および送信するように構成され得る。具体的には、基地局からのダウンリンク情報が受信された後、ダウンリンク情報が、プロセッサ880において処理され、設計されたアップリンクデータが、基地局へ送信される。一般に、RF回路810は、限定されないが、アンテナ、少なくとも1つの増幅器、トランシーバ、カプラ、低ノイズ増幅器(LNA)、およびデュプレクサを含む。それに加えて、RF回路810は、ワイヤレス通信を介して他のデバイスおよびネットワークと通信し得る。ワイヤレス通信は、限定される訳ではないが、グローバル移動体通信システム(GSM)、汎用パケット無線サービス(GPRS)、符号分割多元接続(CDMA)、広帯域符号分割多元接続(WCDMA)、ロングタームエボリューション(LTE)、電子メール、およびショートメッセージングサービス(SMS)を含む任意の通信規格またはプロトコルを使用し得る。

【0058】

メモリ820は、ソフトウェアプログラムおよびモジュールを記憶するように構成され得、プロセッサ880は、メモリ820に記憶されたソフトウェアプログラムおよびモジュールを起動することによって、モバイル電話の様々な機能アプリケーションおよびデータ処理を実行し得る。メモリ820は、主に、プログラム記憶エリアおよびデータ記憶エリアを含み得る。プログラム記憶エリアは、少なくとも1つの機能(たとえば、音声再生機能、画像再生機能)によって必要とされるオペレーティングシステムおよびアプリケーションを記憶するために使用され得る。データ記憶エリアは、モバイル電話の使用に基づいて確立されたデータ(たとえば、オーディオデータ、電話帳)を記憶するために使用され得る。それに加えて、メモリ820は、高速ランダムアクセスメモリ、少なくとも1つの磁気ディスクメモリのような不揮発性メモリ、フラッシュメモリ、または他の揮発性ソリッドステートメモリを含み得る。

【0059】

入力ユニット830は、入力された数またはキャラクタ情報を受信し、モバイル電話のユーザ設定および機能制御に関連するキー信号入力を生成するように構成され得る。具体的には、入力ユニット830は、タッチ制御パネル831および他の入力デバイス832を含み得る。タッチスクリーンとも称されるタッチ制御パネル831は、タッチスクリーン上、または、タッチスクリーンの近傍においてユーザによって実行されたタッチ操作(たとえば、指、タッチペン、および他の任意の適切なオブジェクトまたはアクセサリを用いてユーザによってなされた、タッチ制御パネル831上または近傍における操作)を収集し、あらかじめ設定された手順に基づいて、対応する接続デバイスを駆動し得る。オプションとして、タッチ制御パネル831は、タッチ検出デバイスおよびタッチコントローラを含み得る。タッチ検出デバイスは、ユーザのタッチ方位を検出し、タッチ操作によって生成された信号を検出し、タッチコントローラへ信号を送信する。タッチコントローラは、タッチ検出デバイスからタッチ情報を受信し、タッチ情報をタッチポイント座標へ変換し、タッチポイント座標をプロセッサ880へ送信する。タッチコントローラはまた、プロセッサ880からコマンドを受信し、このコマンドを実行し得る。それに加えて、タッチ制御パネル831は、抵抗性パネル、容量性パネル、赤外線パネル、および表面弾性波パネル等として実施され得る。タッチ制御パネル831に加えて、入力ユニット830はまた、他の入力デバイス832を含み得る。具体的には、他の入力デバイス832は、限定されないが、物理的なキーボード、(音量制御ボタンまたはスイッチボタンのような)機能ボタン、トラックボール、マウス、操作ロッド等のうちの1つまたは複数を含み得る。

【0060】

ディスプレイユニット840は、ユーザによって入力されたか、または、ユーザのために提供された情報と、モバイル電話のための様々なメニューとを表示するように構成され得る。ディスプレイユニット840は、ディスプレイパネル841を含み得る。オプションとして、ディスプレイパネル841は、液晶ディスプレイ(LCD)、または有機発光ダイオード(OLED)等の形態で構成され得る。それに加えて、ディスプレイパネル841は、タッチ制御パネル831によってカバーされ得る。タッチ制御パネル831が、タッチ制御パネル831上またはその近傍のタッチ操作を検出した場合、タッチ制御パネル831は、タッチイベントのタイプを決定するために、プロセッサ880へタッチ操作を送信し、その後、プロセッサ880は、タッチイベントのタイプに基づいて、ディスプレイパネル841上に、対応する視覚的出力を提供する。タッチ制御パネル831およびディスプレイパネル841は、図8における2つの個別の構成要素として、モバイル電話の入力および出力機能を実施するが、タッチ制御パネル831およびディスプレイパネル841は、他の実施形態では、モバイル電話の入力および出力機能を実施するために、共に統合され得る。

【0061】

モバイル電話はさらに、光センサ、動きセンサ、および他のセンサのような少なくとも1つのセンサ850を含み得る。具体的には、光センサは、周辺光センサおよび近接センサを含み得、周辺光センサは、周辺光の輝度に基づいて、ディスプレイパネル841の輝度を調節し得、近接センサは、モバイル電話が耳へ移動した場合、ディスプレイパネル841および/またはバックライトをオフにする。動きセンサの1つとして、加速度センサは、(通常は3軸存在する)方向の各々における加速速度の大きさを検出し得、加速度センサは、加速度センサが静止している間、重力の大きさおよび方向を検出し得、加速度センサは、(縦および横方位の間の切り換え、関連するゲーム、または、磁力計を使用したジェスチャ較正のような)モバイル電話のジェスチャを認識するためのアプリケーションへ適用され、(万歩計またはクリックのような)振動認識に関連する機能へ適用される。本明細書に記載されていないジャイロスコープ、気圧計、湿度計、温度計、または赤外線センサのような他のセンサが、モバイル電話のために提供され得る。

【0062】

オーディオ回路860、スピーカ861、およびマイクロホン862は、ユーザとモバイル電話との間のオーディオインターフェースを提供し得る。オーディオ回路860は、受信されたオーディオデータから変換された電気信号をスピーカ861へ送信し得、その後、スピーカ861は、出力のために、この電気信号をオーディオ信号へ変換する。一方、マイクロホン862は、収集されたオーディオ信号を電気信号へ変換し、この電気信号は、オーディオ回路860によって受信され、その後、オーディオデータへ変換され、オーディオデータが、プロセッサ880によって処理された後、処理されたオーディオデータが、RF回路810を介して別のモバイル電話へ送信されるか、または、オーディオデータが、さらなる処理のためにメモリ820へ出力される。

【0063】

WiFiは、近距離ワイヤレス送信技術に属し、モバイル電話は、WiFiモジュール870を用いて、ユーザが、電子メールを受信および送信し、ウェブページをブラウズし、ストリーミングメディアへアクセスすることを助け得、WiFiモジュール870は、ユーザのためのワイヤレスブロードバンドインターネットアクセスを提供する。図8にはWiFiモジュール870が例示されているが、WiFiモジュール870は、モバイル電話の必要な構成要素ではなく、本開示の本質を変更することなく、要件に基づいて省略され得ることが理解され得る。

【0064】

プロセッサ880は、モバイル電話のコントロールセンタであり、モバイル電話の各部を、インターフェースおよび回路と接続し、メモリ820に記憶されたソフトウェアプログラムおよび/またはモジュールを起動または実行し、メモリ820に記憶されたデータを呼び出すことによって、モバイル電話およびデータ処理の機能を実行し、これによって、モバイル電話の全体的なモニタリングを実現する。オプションとして、プロセッサ880は、1つまたは複数の処理ユニットを含み得る。好適には、プロセッサ880は、アプリケーションプロセッサおよびモデムプロセッサを統合し得、アプリケーションプロセッサは主に、オペレーティングシステム、ユーザインターフェース、およびアプリケーションを処理するように構成される。モデムプロセッサは主に、ワイヤレス通信を処理するように構成される。モデムプロセッサは、プロセッサ880へ統合されないことがあり得ることが理解され得る。

【0065】

モバイル電話はさらに、すべての構成要素へ電力を供給するように構成された(バッテリのような)電源890を含む。好適には、電源は、電源管理システムを介してプロセッサ880と論理的に接続され得、これによって、充電、放電、および電力管理のような機能の管理が、電源管理システムを用いて実現され得る。

【0066】

しかしながら、図面に図示されていないが、モバイル電話はさらに、本明細書に記載されていないカメラ、Bluetoothモジュール等を含み得る。

【0067】

本開示の実施形態では、端末デバイスに含まれたプロセッサ880はまた、上記方法の実行を制御する機能をも有する。

【0068】

モバイル端末の実施形態に含まれる各ユニットは、その機能ロジックに従って分割されるが、この分割は、対応する機能が実現される限り限定されないことが注目されるべきである。それに加えて、ユニットの特別の名称は、互いを区別する目的のためであり、本開示の保護範囲を限定することは意図されていない。

【0069】

それに加えて、上述された方法実施形態におけるステップのすべてまたは一部が、プログラムによって命令される関連ハードウェアによって達成され得ることが当業者によって認識されるであろう。プログラムは、読取専用メモリ、磁気ディスク、光ディスク等であり得るコンピュータ読取可能な記憶媒体に記憶され得る。

【0070】

上記記載は、本開示の単なる好適な実施形態であり、本開示を限定するべきではない。本開示の実施形態の技術的範囲内で当業者によって容易になされるすべての変形および均等物は、本開示の保護範囲内にあるものとする。したがって、本開示の保護範囲は、請求項の保護範囲によって決定されるべきである。

【符号の説明】

【0071】

401 接続メンテナンスユニット
402 ディスプレイユニット
403 ジェスチャ検出ユニット
404 命令変換ユニット
405 命令送信ユニット
501 タッチ検出ユニット
601 受信機
602 送信機
603 プロセッサ
604 ディスプレイ
701 モバイル端末
702 ディスプレイデバイス
810 無線周波数(RF)回路
820 メモリ
830 入力ユニット
831 タッチ制御パネル
832 他の入力デバイス
840 ディスプレイユニット
841 ディスプレイパネル
850 センサ
860 オーディオ回路
861 スピーカ
862 マイクロホン
870 WiFiモジュール
880 プロセッサ
890 電源

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図2F】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】