▶ ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-26
(45)【発行日】2022-10-04
(54)【発明の名称】ジェスチャによる電子機器の制御方法及び装置
(51)【国際特許分類】
G06F 3/01 20060101AFI20220927BHJP
G06F 3/04883 20220101ALI20220927BHJP
G06T 7/20 20170101ALI20220927BHJP
G06T 7/00 20170101ALI20220927BHJP
【ＦＩ】
G06F3/01 570
G06F3/04883
G06T7/20 300A
G06T7/00 350B
【請求項の数】
19
(21)【出願番号】P 2021020915
(22)【出願日】2021-02-12
(65)【公開番号】P2021089761
(43)【公開日】2021-06-10
【審査請求日】2021-02-12
(31)【優先権主張番号】202010095286.1
(32)【優先日】2020-02-14
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】514322098
【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】ワン イーポン
(72)【発明者】
【氏名】リー ユアンハン
(72)【発明者】
【氏名】ジャオ ウェイソン
(72)【発明者】
【氏名】ユン ティン
(72)【発明者】
【氏名】チェン グオチン
(72)【発明者】
【氏名】リー ユージャン
(72)【発明者】
【氏名】ヤン チンユン
【審査官】滝谷 亮一
(56)【参考文献】
【文献】特開２０１３－０８０４１３（ＪＰ，Ａ）
【文献】特開２０１９－０７１０４８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／０２０１６６６（ＵＳ，Ａ１）
【文献】国際公開第２０１９／１２０２９０（ＷＯ，Ａ１）
【文献】特開２０１４－１３７８１８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０３４５２１８（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１９／０１１６３１４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８８３
Ｇ０６Ｔ ７／２０
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
ジェスチャによる電子機器の制御方法であって、連続するＮフレームの第１のジェスチャ画像を取得し、前記Ｎフレームの第１のジェスチャ画像に基づいて、スクリーンにディスプレイされた第１の対象を制御することであって、Ｎが１より大きい整数である、取得し、制御することと、
少なくとも１フレームのジェスチャ画像を取得することであって、前記少なくとも１フレームのジェスチャ画像、及び、前記Ｎフレームの第１のジェスチャ画像内の一部のジェスチャ画像により、連続するＮフレームの第２のジェスチャ画像を構成し、前記少なくとも１フレームのジェスチャ画像の取得時点が、前記Ｎフレームの第１のジェスチャ画像の取得時点より遅れている、取得することと、
前記Ｎフレームの第２のジェスチャ画像に基づいて、前記スクリーンにディスプレイされた第１の対象を引き続き制御し、前記Ｎフレームの第２のジェスチャ画像と前記Ｎフレームの第１のジェスチャ画像には、同様なジェスチャがある、制御することと、を含み、
前記Ｎフレームの第１のジェスチャ画像に基づいて、スクリーンにディスプレイされた第１の対象を制御することは、
前記Ｎフレームの第１のジェスチャ画像に基づいて、ジェスチャを第１の動的ジェスチャとして認識することと、
前記Ｎフレームの第１のジェスチャ画像内の一部のジェスチャ画像に基づいて、前記第１の対象の第１の制御情報を確定することと、
前記第１の制御情報に基づいて、前記第１の動的ジェスチャに対応する第１の命令を実行して前記第１の対象を制御することと、を含むことを特徴とする、ジェスチャによる電子機器の制御方法。
【請求項2】
前記Ｎフレームの第１のジェスチャ画像内の一部のジェスチャ画像に基づいて、前記第１の対象の第１の制御情報を確定することは、第１のターゲットジェスチャ画像に対応するハンドキーポイント位置に対する、第２のターゲットジェスチャ画像に対応するハンドキーポイント位置の変動値に基づいて、前記第１の制御情報を確定することを含み、
前記第２のターゲットジェスチャ画像が、前記Ｎフレームの第１のジェスチャ画像内に最後に取得されたジェスチャ画像であり、前記第１のターゲットジェスチャ画像が、前記第２のターゲットジェスチャ画像が取得された前に最近取得された１フレームのジェスチャ画像であることを特徴とする、請求項１に記載の方法。
【請求項3】
第１のターゲットジェスチャ画像に対応するハンドキーポイント位置に対する、第２のターゲットジェスチャ画像に対応するハンドキーポイント位置の変動値に基づいて、前記第１の制御情報を確定することは、前記第１のターゲットジェスチャ画像に対応するハンドキーポイント位置に対する、前記第２のターゲットジェスチャ画像に対応するハンドキーポイント位置の変動値、及び、前記第１の動的ジェスチャに基づいて、前記第１の制御情報を確定することを含むことを特徴とする、請求項２に記載の方法。
【請求項4】
第１のターゲットジェスチャ画像に対応するハンドキーポイント位置に対する、第２のターゲットジェスチャ画像に対応するハンドキーポイント位置の変動値に基づいて、前記第１の制御情報を確定する前に、前記第１のジェスチャ画像を第１の機械学習モデルを用いて学習することと、
前記第１の機械学習モデルの出力を取得することであって、前記出力が、前記第１のジェスチャ画像に対応するハンドキーポイント座標を含む、取得することと、をさらに含むことを特徴とする、請求項２又は請求項３に記載の方法。
【請求項5】
前記第１の制御情報に基づいて、前記第１の動的ジェスチャに対応する第１の命令を実行して前記第１の対象を制御することは、前記第１の制御情報及び第１の履歴制御情報に基づいて、前記第１の対象の新しい制御情報を取得することであって、前記第１の履歴制御情報が、前記第１の対象を制御する現在のプロセスで、前回前記第１の対象を制御するとき基になっている制御情報である、取得することと、
前記新しい制御情報に基づいて、前記第１の命令を実行して前記第１の対象を制御することと、を含むことを特徴とする、請求項１～請求項３のいずれか１項に記載の方法。
【請求項6】
前記第１の制御情報は、第１の移動距離であることを特徴とする、請求項１～請求項３のいずれか１項に記載の方法。
【請求項7】
前記第１の動的ジェスチャが、１本の指が第１の方向へスワイプするジェスチャであり、前記第１の命令が、前記第１の対象を前記第１の方向で移動させる命令であり、前記第１の対象が位置決めマークであり、前記第１の制御情報に基づいて、前記第１の命令を実行して前記第１の対象を制御することは、前記位置決めマークが前記第１の方向で前記第１の移動距離を移動するように制御することを含むことを特徴とする、請求項６に記載の方法。
【請求項8】
前記第１の動的ジェスチャが、２本の指が第１の方向へスワイプするジェスチャであり、前記第１の命令が、前記第１の方向で前記第１の対象を移動させる命令であり、前記第１の対象が第１の画面であり、前記第１の制御情報に基づいて、前記第１の命令を実行して前記第１の対象を制御することは、前記第１の画面が前記第１の方向で前記第１の移動距離を移動するように制御することを含むことを特徴とする、請求項６に記載の方法。
【請求項9】
前記第１の動的ジェスチャは、手のひらが第１の方向へスワイプするジェスチャであり、前記第１の命令が、前記第１の方向で前記第１の対象を移動させる命令であり、前記第１の対象が第１の画面であり、前記第１の制御情報に基づいて、前記第１の命令を実行して前記第１の対象を制御することは、前記第１の画面が前記第１の方向で前記第１の移動距離を移動するように制御することを含むことを特徴とする、請求項６に記載の方法。
【請求項10】
前記第１の制御情報は、サイズ変動値であることを特徴とする、請求項１～請求項３のいずれか１項に記載の方法。
【請求項11】
前記第１の動的ジェスチャは、２本の指を徐々に広げるジェスチャであり、前記第１の命令が前記第１の対象をズームインする命令であり、前記第１の制御情報に基づいて、前記第１の命令を実行して前記第１の対象を制御することは、前記第１の対象のサイズを前記サイズ変動値でズームインすることを含むことを特徴とする、請求項１０に記載の方法。
【請求項12】
前記第１の動的ジェスチャが２本の指を近づけるジェスチャであり、前記第１の命令が前記第１の対象をズームアウトする命令であり、前記第１の制御情報に基づいて、前記第１の命令を実行して前記第１の対象を制御することは、前記第１の対象のサイズを前記サイズ変動値でズームアウトすることを含むことを特徴とする、請求項１０に記載の方法。
【請求項13】
ジェスチャによる電子機器の制御装置であって、連続するＮフレームの第１のジェスチャ画像を取得するための取得モジュールであって、Ｎが１より大きい整数である取得モジュールと、
前記Ｎフレームの第１のジェスチャ画像に基づいて、スクリーンにディスプレイされた第１の対象を制御するための制御モジュールと、を含み、
前記取得モジュールは、さらに、少なくとも１フレームのジェスチャ画像を取得するために使用されるものであり、前記少なくとも１フレームのジェスチャ画像、及び、前記Ｎフレームの第１のジェスチャ画像内の一部のジェスチャ画像により、連続するＮフレームの第２のジェスチャ画像を構成し、前記少なくとも１フレームのジェスチャ画像の取得時点が、前記Ｎフレームの第１のジェスチャ画像の取得時点より遅れているものであり、
前記制御モジュールは、さらに、前記Ｎフレームの第２のジェスチャ画像に基づいて、前記スクリーンにディスプレイされた第１の対象を引き続き制御するために使用されるものであり、前記Ｎフレームの第２のジェスチャ画像と前記Ｎフレームの第１のジェスチャ画像には、同様なジェスチャがあり、
前記制御モジュールは、
前記Ｎフレームの第１のジェスチャ画像に基づいて、ジェスチャを第１の動的ジェスチャとして認識すること、
前記Ｎフレームの第１のジェスチャ画像内の一部のジェスチャ画像に基づいて、前記第１の対象の第１の制御情報を確定すること、及び
前記第１の制御情報に基づいて、前記第１の動的ジェスチャに対応する第１の命令を実行して前記第１の対象を制御すること、のために使用されるものであることを特徴とする、ジェスチャによる電子機器の制御装置。
【請求項14】
前記制御モジュールは、第１のターゲットジェスチャ画像に対応するハンドキーポイント位置に対する、第２のターゲットジェスチャ画像に対応するハンドキーポイント位置の変動値に基づいて、前記第１の制御情報を確定するために使用されるものであり、
前記第２のターゲットジェスチャ画像が、前記Ｎフレームの第１のジェスチャ画像内に最後に取得されたジェスチャ画像であり、前記第１のターゲットジェスチャ画像が、前記第２のターゲットジェスチャ画像が取得された前に最近取得された１フレームのジェスチャ画像であることを特徴とする、請求項１３に記載の装置。
【請求項15】
前記制御モジュールは、第１のターゲットジェスチャ画像に対応するハンドキーポイント位置に対する、第２のターゲットジェスチャ画像に対応するハンドキーポイント位置の変動値に基づいて、前記第１の制御情報を確定する前に、前記取得モジュールは、さらに、前記第１のジェスチャ画像を第１の機械学習モデルを用いて学習すること、及び
前記第１の機械学習モデルの出力を取得すること、のために使用されるものであり、
前記出力が、前記第１のジェスチャ画像に対応するハンドキーポイント座標を含むことを特徴とする、請求項１４に記載の装置。
【請求項16】
前記制御モジュールは、前記第１の制御情報及び第１の履歴制御情報に基づいて、前記第１の対象の新しい制御情報を取得することであって、前記第１の履歴制御情報が、前記第１の対象を制御する現在のプロセスで、前回前記第１の対象を制御するとき基になっている制御情報である、取得すること、及び
前記新しい制御情報に基づいて、前記第１の命令を実行して前記第１の対象を制御すること、のために使用されるものであることを特徴とする、請求項１３～請求項１５のいずれか１項に記載の装置。
【請求項17】
電子機器であって、少なくとも１つのプロセッサ、および
前記少なくとも１つのプロセッサと通信するように接続されたメモリを含み、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサは、請求項１～請求項１２のいずれか１項に記載の方法を実行することができることを特徴とする、電子機器。
【請求項18】
コンピュータ命令が記憶された非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ命令は、コンピュータが請求項１～請求項１２のいずれか１項に記載の方法を実行するためのものであることを特徴とする、非一時的なコンピュータ可読記憶媒体。
【請求項19】
コンピュータ可読記憶媒体に記憶されるコンピュータプログラムであって、前記コンピュータプログラムは、プロセッサで実行されると、請求項１～１２のいずれか一項に記載の方法を実現することを特徴とする、コンピュータプログラム。【発明の詳細な説明】
【技術分野】
【0001】
本願の実施例は画像処理技術に関し、特にスマート端末技術に関する。
【背景技術】
【0002】
現在、ユーザが電子機器をタッチしないまま、ジェスチャによって電子機器を制御することを実現し、ユーザが電子機器を制御することに極大な便利さをもたらし、ユーザが電子機器を操作する効率をも向上させている。
【0003】
現在、ジェスチャ認識による電子機器の制御方法は、一般的に、１つのジェスチャが１つの命令に対応し、例えば、「Ｃ」の文字を描画するジェスチャがカメラを開く命令に対応し、さらに例えば、ユーザが１本の指でスワイプすることは、画面移動命令に対応し、電子機器は、ユーザが１本の指でスワイプするジェスチャを検出すると、ディスプレイ画面をプリセット距離で移動するように制御する。現在、動的ジェスチャによる電子機器の制御は、比較的マクロであり、十分に洗練されていないことがわかる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本願の実施例は、ジェスチャによる電子機器の制御方法及び装置を提供し、動的ジェスチャによって電子機器を洗練的に制御する目的を実現することができる。
【課題を解決するための手段】
【0005】
第１の態様では、本願の実施例は、ジェスチャによる電子機器の制御方法を提供し、前記方法は、連続するＮフレームの第１のジェスチャ画像を取得し、前記Ｎフレームの第１のジェスチャ画像に基づいて、スクリーンにディスプレイされた第１の対象を制御することであって、Ｎが１より大きい整数である、取得し、制御することと、少なくとも１フレームのジェスチャ画像を取得することであって、前記少なくとも１フレームのジェスチャ画像及び前記Ｎフレームの第１のジェスチャ画像内の一部のジェスチャ画像により、連続するＮフレームの第２のジェスチャ画像を構成し、前記少なくとも１フレームのジェスチャ画像の取得時点が、前記Ｎフレームの第１のジェスチャ画像の取得時点より遅れている、取得することと、前記Ｎフレームの第２のジェスチャ画像に基づいて、前記スクリーンにディスプレイされた第１の対象を引き続き制御することと、を含む。
【0006】
本解決手段において、動的ジェスチャによって電子機器を制御する現在のプロセスでは、少数のジェスチャ画像をキャプチャした後、第１の対象を１回制御し、第１の対象に対して行われた隣接する２回の制御の基になっているジェスチャ画像には、同様なジェスチャ画像があることにより、動的ジェスチャによって電子機器を洗練的に制御する目的を実現する。
【0007】
１つの可能な実施形態において、前記Ｎフレームの第１のジェスチャ画像に基づいて、スクリーンにディスプレイされた第１の対象を制御することは、前記Ｎフレームの第１のジェスチャ画像に基づいて、ジェスチャを第１の動的ジェスチャとして認識することと、前記Ｎフレームの第１のジェスチャ画像内の一部のジェスチャ画像に基づいて、前記第１の対象の第１の制御情報を確定することと、前記第１の制御情報に基づいて、前記第１の動的ジェスチャに対応する第１の命令を実行して前記第１の対象を制御することと、を含む。
【0008】
第１の制御情報は、第１の対象の移動距離であるか、または第１の対象のサイズ変動値である。本解決手段において、第１の対象の制御情報は、プリセットのものではなく、Ｎフレームの第１のジェスチャ画像内の一部のジェスチャ画像に基づいて得られたものであり、ジェスチャによって電子機器を洗練的に制御することを実現することを基礎とすることによって、電子機器に対する制御をユーザのニーズにより適合させ、ユーザエクスペリエンスを向上させる。
【0009】
１つの可能な実施形態において、前記Ｎフレームの第１のジェスチャ画像内の一部のジェスチャ画像に基づいて、前記第１の対象の第１の制御情報を確定することは、第１のターゲットジェスチャ画像に対応するハンドキーポイント位置に対する、第２のターゲットジェスチャ画像に対応するハンドキーポイント位置の変動値に基づいて、前記第１の制御情報を確定することを含み、前記第２のターゲットジェスチャ画像が、前記Ｎフレームの第１のジェスチャ画像内に最後に取得されたジェスチャ画像であり、前記第１のターゲットジェスチャ画像が、前記第２のターゲットジェスチャ画像が取得された前に最近取得された１フレームのジェスチャ画像である。
【0010】
本解決手段において、第１の対象の制御情報を確定する１つの具体的な実現を提案している。
【0011】
１つの可能な実施形態において、第１のターゲットジェスチャ画像に対応するハンドキーポイント位置に対する、第２のターゲットジェスチャ画像に対応するハンドキーポイント位置の変動値に基づいて、前記第１の制御情報を確定することは、前記第１のターゲットジェスチャ画像に対応するハンドキーポイント位置に対する、前記第２のターゲットジェスチャ画像に対応するハンドキーポイント位置の変動値、及び、前記第１の動的ジェスチャに基づいて、前記第１の制御情報を確定することを含む。
【0012】
本解決手段において、第１の対象の制御情報を確定する他の具体的な実現を提案している。本解決手段において、第１の対象の制御情報を確定するとき、ジェスチャの種類も考慮に入れており、多種類のジェスチャが同様な命令に対応し、該多種類のジェスチャ内に異なるジェスチャが、第１の対象への度合いが違う制御に対応する目的を実現することができる。例えば、手のひらでスワイプすることにより、画面の高速スワイプを制御し、２本の指でスワイプすることにより、画面の低速スワイプを制御することができる。
【0013】
１つの可能な実施形態において、第１のターゲットジェスチャ画像に対応するハンドキーポイント位置に対する、第２のターゲットジェスチャ画像に対応するハンドキーポイント位置の変動値に基づいて、前記第１の制御情報を確定する前に、前記方法は、前記第１のジェスチャ画像を第１の機械学習モデルを用いて学習することと、前記第１の機械学習モデルの出力を取得することであって、前記出力が、前記第１のジェスチャ画像に対応するハンドキーポイント座標を含む、取得することと、をさらに含む。
【0014】
本解決手段において、第１の機械学習に基づいてジェスチャ画像を学習した後に、ハンドキーポイント座標を直接に得ることができ、まず、手を検出するためのモデルを用いて画像に手があるかどうかを検出し、手がある場合、画像内のハンド画像を分離させ、次に、キーポイント検出モデルを用いて分離されたハンド画像に対応するハンドキーポイントを検出する解決手段に比べて、ハンドキーポイント座標の取得効率および正確さを向上させ、ひいては、ユーザがジェスチャにより電子機器を制御する効率も向上させることができる。
【0015】
１つの可能な実施形態において、前記第１の制御情報に基づいて、前記第１の動的ジェスチャに対応する第１の命令を実行して前記第１の対象を制御することは、前記第１の制御情報及び第１の履歴制御情報に基づいて、前記第１の対象の新しい制御情報を取得することであって、前記第１の履歴制御情報が、前記第１の対象を制御する現在のプロセスで、前回前記第１の対象を制御するとき基になっている制御情報である、取得することと、前記新しい制御情報に基づいて、前記第１の命令を実行して前記第１の対象を制御することと、を含む。
【0016】
本解決手段により、第１の対象を制御するプロセスで、第１の対象の変動がより平穏であるようにさせることができる。
【0017】
１つの可能な実施形態において、前記第１の動的ジェスチャが、１本の指が第１の方向へスワイプするジェスチャであり、前記第１の命令が、前記第１の対象を前記第１の方向で移動させる命令であり、前記第１の対象が位置決めマークであり、前記第１の制御情報に基づいて、前記第１の命令を実行して前記第１の対象を制御することは、前記位置決めマークが前記第１の方向で前記第１の移動距離を移動するように制御することを含む。
【0018】
１つの可能な実施形態において、前記第１の動的ジェスチャが、２本の指が第１の方向へスワイプするジェスチャであり、前記第１の命令が、前記第１の方向で前記第１の対象を移動させる命令であり、前記第１の対象が第１の画面であり、前記第１の制御情報に基づいて、前記第１の命令を実行して前記第１の対象を制御することは、前記第１の画面が前記第１の方向で前記第１の移動距離を移動するように制御することを含む。
【0019】
１つの可能な実施形態において、前記第１の動的ジェスチャは、手のひらが第１の方向へスワイプするジェスチャであり、前記第１の命令が、前記第１の方向で前記第１の対象を移動させる命令であり、前記第１の対象が第１の画面であり、 前記第１の制御情報に基づいて、前記第１の命令を実行して前記第１の対象を制御することは、前記第１の画面が前記第１の方向で前記第１の移動距離を移動するように制御することを含む。
【0020】
１つの可能な実施形態において、前記第１の動的ジェスチャは、２本の指を徐々に広げるジェスチャであり、前記第１の命令が前記第１の対象をズームインする命令であり、前記第１の制御情報に基づいて、前記第１の命令を実行して前記第１の対象を制御することは、前記第１の対象のサイズを前記サイズ変動値でズームインすることを含む。
【0021】
１つの可能な実施形態において、前記第１の動的ジェスチャが２本の指を近づけるジェスチャであり、前記第１の命令が前記第１の対象をズームアウトする命令であり、前記第１の制御情報に基づいて、前記第１の命令を実行して前記第１の対象を制御することは、前記第１の対象のサイズを前記サイズ変動値でズームアウトすることを含む。
【0022】
第２の態様では、本願の実施例は、ジェスチャによる電子機器の制御装置を提供し、該装置は、連続するＮフレームの第１のジェスチャ画像を取得するための取得モジュールであって、Ｎが１より大きい整数である取得モジュールと、前記Ｎフレームの第１のジェスチャ画像に基づいて、スクリーンにディスプレイされた第１の対象を制御するための制御モジュールと、を含み、前記取得モジュールは、更に、少なくとも１フレームのジェスチャ画像を取得するために使用されるものであり、前記少なくとも１フレームのジェスチャ画像、及び、前記Ｎフレームの第１のジェスチャ画像内の一部のジェスチャ画像により、連続するＮフレームの第２のジェスチャ画像を構成し、前記少なくとも１フレームのジェスチャ画像の取得時点が、前記Ｎフレームの第１のジェスチャ画像の取得時点より遅れているものであり、前記制御モジュールが、更に、前記Ｎフレームの第２のジェスチャ画像に基づいて、前記スクリーンにディスプレイされた第１の対象を引き続き制御するために使用されるものである。
【0023】
１つの可能な実施形態において、前記制御モジュールは、具体的に、前記Ｎフレームの第１のジェスチャ画像に基づいて、ジェスチャを第１の動的ジェスチャとして認識すること、前記Ｎフレームの第１のジェスチャ画像内の一部のジェスチャ画像に基づいて、前記第１の対象の第１の制御情報を確定すること、及び前記第１の制御情報に基づいて、前記第１の動的ジェスチャに対応する第１の命令を実行して前記第１の対象を制御すること、に用いられる。
【0024】
１つの可能な実施形態において、前記制御モジュールは、具体的に、第１のターゲットジェスチャ画像に対応するハンドキーポイント位置に対する、第２のターゲットジェスチャ画像に対応するハンドキーポイント位置の変動値に基づいて、前記第１の制御情報を確定するために使用されるものであり、前記第２のターゲットジェスチャ画像が、前記Ｎフレームの第１のジェスチャ画像内に最後に取得されたジェスチャ画像であり、前記第１のターゲットジェスチャ画像が、前記第２のターゲットジェスチャ画像が取得された前に最近取得された１フレームのジェスチャ画像である。
【0025】
１つの可能な実施形態において、前記制御モジュールは、具体的に、前記第１のターゲットジェスチャ画像に対応するハンドキーポイント位置に対する、前記第２のターゲットジェスチャ画像に対応するハンドキーポイント位置の変動値、及び、前記第１の動的ジェスチャに基づいて、前記第１の制御情報を確定するために使用されるものである。
【0026】
１つの可能な実施形態において、前記制御モジュールは、第１のターゲットジェスチャ画像に対応するハンドキーポイント位置に対する、第２のターゲットジェスチャ画像に対応するハンドキーポイント位置の変動値に基づいて、前記第１の制御情報を確定する前に、前記取得モジュールは、さらに、前記第１のジェスチャ画像を第１の機械学習モデルを用いて学習するために使用されるものであり、前記第１の機械学習モデルの出力を取得するために使用されるものであり、前記出力が、前記第１のジェスチャ画像に対応するハンドキーポイント座標を含む。
【0027】
１つの可能な実施形態において、前記制御モジュールは、具体的に、前記第１の制御情報及び第１の履歴制御情報に基づいて、前記第１の対象の新しい制御情報を取得することであって、前記第１の履歴制御情報が、前記第１の対象を制御する現在のプロセスで、前回前記第１の対象を制御するとき基になっている制御情報である、取得すること、及び前記新しい制御情報に基づいて、前記第１の命令を実行して前記第１の対象を制御すること、に用いられる。
【0028】
１つの可能な実施形態において、前記第１の制御情報は、第１の移動距離である。
【0029】
１つの可能な実施形態において、前記第１の動的ジェスチャが、１本の指が第１の方向へスワイプするジェスチャであり、前記第１の命令が、前記第１の対象を前記第１の方向で移動させる命令であり、前記第１の対象が位置決めマークであり、前記制御モジュールは、具体的に、前記位置決めマークが前記第１の方向で前記第１の移動距離を移動するように制御するために使用されるものである。
【0030】
１つの可能な実施形態において、前記第１の動的ジェスチャが、２本の指が第１の方向へスワイプするジェスチャであり、前記第１の命令が、前記第１の方向で前記第１の対象を移動させる命令であり、前記第１の対象が第１の画面であり、前記制御モジュールは、具体的に、前記第１の画面が前記第１の方向で前記第１の移動距離を移動するように制御するために使用されるものである。
【0031】
１つの可能な実施形態において、前記第１の動的ジェスチャは、手のひらが第１の方向へスワイプするジェスチャであり、前記第１の命令が、前記第１の方向で前記第１の対象を移動させる命令であり、前記第１の対象が第１の画面であり、前記制御モジュールは、具体的に、前記第１の画面が前記第１の方向で前記第１の移動距離を移動するように制御するために使用されるものである。
【0032】
１つの可能な実施形態において、前記第１の制御情報は、サイズ変動値である。
【0033】
１つの可能な実施形態において、前記第１の動的ジェスチャは、２本の指を徐々に広げるジェスチャであり、前記第１の命令が前記第１の対象をズームインする命令であり、前記制御モジュールは、具体的に、前記第１の対象のサイズを前記サイズ変動値でズームインするために使用されるものである。
【0034】
１つの可能な実施形態において、前記第１の動的ジェスチャが２本の指を近づけるジェスチャであり、前記第１の命令が前記第１の対象をズームアウトする命令であり、前記制御モジュールは、具体的に、前記第１の対象のサイズを前記サイズ変動値でズームアウトするために使用されるものである。
【0035】
第３の態様では、本願の実施例は、電子機器を提供し、前記電子機器は、少なくとも１つのプロセッサ、および前記少なくとも１つのプロセッサと通信するように接続されたメモリを含み、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行されることで、前記少なくとも１つのプロセッサは、第１の態様および第１の態様のいずれか可能な実施形態に記載の方法を実行することができる。
【0036】
第４の態様では、本願は、コンピュータ命令が記憶された非一時的なコンピュータ可読記憶媒体を提供し、前記コンピュータ命令は、前記コンピュータが第１の態様および第１の態様のいずれか可能な実施形態に記載の方法を実行するためのものである。
【0037】
第５様態では、本願は、コンピュータプログラムを提供し、前記コンピュータプログラムは、コンピュータ可読記憶媒体に記憶され、電子機器の少なくとも１つのプロセッサは、前記コンピュータ可読記憶媒体から前記コンピュータプログラムを読み取ることができ、前記コンピュータプログラムが前記少なくとも１つのプロセッサで実行されると、前記電子機器が第１の様態に記載の方法を実行する。
【発明の効果】
【0038】
上記の出願における１つの実施例は、動的ジェスチャによって電子機器を洗練的に制御することができる目的を実現できるような利点又は有益な効果を有する。現在、動的ジェスチャによって電子機器を制御するプロセスでは、少数のジェスチャ画像をキャプチャした後、第１の対象を１回制御し、第１の対象に対して行われた隣接する２回の制御の基になっているジェスチャ画像には、同様なジェスチャ画像がある技術的手段により、従来の技術において、ユーザが動的ジェスチャによって電子機器を制御することは、比較的マクロであるという技術的課題を克服し、動的ジェスチャによって電子機器を洗練的に制御することができる技術的効果を確保する。
【0039】
上記の選択的な形態による他の効果について、以下、具体的な実施例に合わせて説明する。
【図面の簡単な説明】
【0040】
図面は、本解決手段をよりよく理解するために使用されるものであり、本願に対する限定を構成しない。
【図1】現在、電子機器を洗練的に制御するとき、対応するインタフェースインタラクションの図である。
【図2】本願の実施例に係るジェスチャによる電子機器の制御方法のフローチャート１である。
【図3】本願の実施例に係るジェスチャ画像を取得する概略図である。
【図9】本願の実施例に係るジェスチャによる電子機器の制御装置の構造概略図である。
【図10】本願の実施例のジェスチャによる電子機器の制御方法を実現するための電子機器のブロック図である。
【発明を実施するための形態】
【0041】
以下、本願の例示的な実施例を図面に合わせて説明する。理解に寄与するための本願の実施例の様々な詳細が含まれるが、これらは、例示的なものにすぎないと考えるべきである。よって、当業者は、ここに記述した実施例に対する様々な変更や修正が可能であり、本願の範囲や趣旨から逸脱されないと認識するべきである。同様に、明確や簡潔のため、以下の記述では、周知の機能や構造に関するものを省略するようにしている。
【0042】
本願では、「少なくとも１つ」とは、１つ又は複数を意味し、「複数」とは、２つ以上を意味する。「及び／又は」は、関連対象の関連関係を説明し、３種の関係が存在できると示し、例えば、Ａ及び／又はＢは、Ａが単独で存在する場合、ＡとＢが同時に存在する場合、Ｂが単独で存在する場合を示すことができ、そのうち、Ａ、Ｂが単数であるか、または複数である。キャラクタ「／」は、一般的に、前後関連対象が「又は」という関係であると示す。「以下少なくとも１項（個）」又はそれに類似する表現は、これらの項の任意の組み合わせを意味し、単一項（個）又は複数項（個）の任意の組み合わせを含む。例えば、ａ、ｂ、又はｃの少なくとも１項（個）は、ａ、ｂ、ｃ、ａ－ｂ、ａ－ｃ、ｂ－ｃ、又はａ－ｂ－ｃを示すことができ、そのうち、ａ、ｂ、ｃが単一であってもよく、複数であってもよい。本願では、「第１の」、「第２の」という用語などは、類似の対象を区別するためのものであり、指定された順序又は順番を説明するために使用する必要がない。
【0043】
現在、ユーザは、静的ジェスチャ及び動的ジェスチャによって電子機器に対する制御を実現することができる。
【0044】
静的ジェスチャの場合、例えば、ユーザが「ＯＫ」のジェスチャをすると、電子機器は、カメラによって収集されたジェスチャ画像に基づいて、ユーザが「ＯＫ」という静的ジェスチャをしたと確定し、および「ＯＫ」ジェスチャに対応する制御対象がスクリーンにディスプレイされた写真であると確定すると、電子機器は、「ＯＫ」のジェスチャに対応する制御対象保存命令を実行し、電子機器に該写真を保存する。
【0045】
動的ジェスチャの場合、例えば、ユーザがＭを描画すると、電子機器は、カメラによって収集されたジェスチャ画像に基づいて、ユーザがＭを描画するジェスチャをしたと確定し、電子機器は、Ｍを描画するジェスチャに対応するウィーチャットを開く操作を実行する。さらに、例えば、ユーザが１本の指で下にスワイプするジェスチャをすると、電子機器は、カメラによって収集されたジェスチャ画像に基づいて、ユーザが１本の指で下にスワイプするジェスチャをしたと確定し、電子機器は、１本の指で下にスワイプするジェスチャに対応する画面を下に移動させる命令を実行し、画面が下にプリセット距離で移動するように制御する。現在、ユーザが動的ジェスチャをするたびに、対応的に、電子機器をマクロ的に制御するようになっていることがわかる。多くのシーンでは、画面を徐々に移動する、画像を徐々にズームインするなどのように、電子機器を洗練的に制御する必要がある。現在、電子機器を洗練的に制御することを実現する方法は、一般的に、ユーザのハンドが、電子機器のディスプレイスクリーンで次第に移動し、電子機器は、リアルタイムにディスプレイスクリーンの静電容量の変動に基づいてハンドタッチトレースを確定してタッチトレースに対応する命令を実行し、該電子機器を洗練的に制御することを実現する。現在、電子機器を洗練的に制御することを実現するための方法に対応するインタフェースインタラクションの図は、図１に示したようなものであってもよい。図１を参照し、ハンドの１本の指でディスプレイスクリーンをタッチし、ハンドが下へ移動し、図１での（ａ）図の位置から（ｂ）図の位置まで徐々にスワイプし、現在、ディスプレイされた画面がそれに従って下にスワイプし、画面でディスプレイされた内容は、図１での（ａ）図にディスプレイされた内容から（ｂ）図にディスプレイされた内容に更新される。ハンドが引き続き下へ移動し、図１での（ｂ）図の位置から（ｃ）図の位置まで徐々にスワイプし、現在、ディスプレイされた画面がそれに従って下にスワイプし、画面でディスプレイされた内容は、図１での（ｂ）図にディスプレイされた内容から（ｃ）図にディスプレイされた内容に更新される。
【0046】
動的ジェスチャによって電子機器を制御する場合、複数枚のジェスチャ画像を得、ディスプレイスクリーンの静電容量に変動がないから、リアルタイムにディスプレイスクリーンの静電容量の変動に基づいてハンドタッチトレースを確定してタッチトレースに対応する命令を実行し、該電子機器を洗練的に制御することを実現することができない。発明者は、現在、動的ジェスチャによって電子機器を制御するプロセスでは、少数のジェスチャ画像をキャプチャした後、第１の対象を１回制御し、第１の対象に対して行われた隣接する２回の制御の基になっているジェスチャ画像には、同様なジェスチャ画像があると、電子機器を洗練的に制御する目的を実現することができる。
【0047】
以下、本願に係るジェスチャによる電子機器の制御方法について具体的な実施例を用いて説明する。
【0048】
【0049】
ステップＳ２０１において、連続するＮフレームの第１のジェスチャ画像を取得し、Ｎフレームの第１のジェスチャ画像に基づいて、スクリーンにディスプレイされた第１の対象を制御し、Ｎが１より大きい整数である。
【0050】
電子機器にはカメラが設置されており、カメラは、一秒で数フレームの画像、例えば、１０フレームの画像をキャプチャすることができる。キャプチャされたフレーム画像ごとに、電子機器により該画像がジェスチャ画像であるかどうかを確定する。ここで、ジェスチャ画像は、手が含まれた画像である。本願の実施例に出た画像キャプチャと画像取得は、同様な意味を持っている。
【0051】
１つの具体的な実現において、電子機器により該画像がジェスチャ画像であるかどうかを確定する方法は以下の通りである。第１の機械学習モデルを用いて該画像を学習し、第１の機械学習モデルの出力を取得する。該出力には、該画像に手が含まれた確率が含まれており、該出力により該画像に手が含まれた確率が第１のプリセット確率より低いと指示した場合、該画像がジェスチャ画像ではないと確定し、該出力により画像に手が含まれた確率が第２のプリセット確率より高いと指示した場合、該画像がジェスチャ画像であると確定するようになっている。また、該出力により画像に手が含まれた確率が第２のプリセット確率より高いと指示した場合、該出力には、また、ハンドキーポイント座標も含まれている。つまり、ジェスチャ画像について、第１の機械学習モデルを用いて該ジェスチャ画像を学習し、第１の機械学習モデルの出力を取得し、該出力には、該ジェスチャ画像に対応するハンドキーポイント座標が含まれている。図３に示したように、ジェスチャ画像を第１の機械学習モデルに入力し、出力には、該ジェスチャ画像に対応するハンドキーポイント座標が含まれている。
【0052】
本実施例において、第１の機械学習に基づいてジェスチャ画像を学習した後に、ハンドキーポイント座標を直接に得ることができ、まず、手を検出するためのモデルを用いて画像に手があるかどうかを検出し、手がある場合、画像内のハンド画像を分離させ、次に、キーポイント検出モデルを用いて分離されたハンド画像に対応するハンドキーポイントを検出する解決手段に比べて、ハンドキーポイント座標の取得効率および正確さを向上させ、ひいては、ユーザがジェスチャにより電子機器を制御する効率も向上させることができる。
【0053】
電子機器は、連続するＮフレームの第１のジェスチャ画像を取得した後に、Ｎフレームの第１のジェスチャ画像に基づいて、スクリーンにディスプレイされた第１の対象を制御する。Ｎが１より大きい整数であり、選択的に、Ｎが区間[４、１０]内の任意の整数であってもよい。そのうち、連続するＮフレームの第１のジェスチャ画像とは、時間の順に追ってカメラによって順次キャプチャされたＮフレームの第１のジェスチャ画像を指し、即ち、Ｎフレームの第１のジェスチャ画像で、キャプチャ時点が隣接する任意の２フレームの第１のジェスチャ画像の場合、該２フレームの第１のジェスチャ画像をキャプチャする時点の間には、他のジェスチャ画像がカメラによってキャプチャされない。
【0054】
例示的に、カメラによって画像１～７が順次キャプチャされ、画像１及び画像２がジェスチャ画像ではなく、画像３、画像４、画像５、画像６及び画像７がジェスチャ画像であると、画像３と画像４は、連続する２フレームのジェスチャ画像であり、画像４～６は、連続する３フレームのジェスチャ画像であり、画像３～７は、ジェスチャ画像が連続する５フレームのジェスチャ画像である。
【0055】
以下、Ｎフレームの第１のジェスチャ画像に基づいて、スクリーンにディスプレイされた第１の対象を制御するステップの具体的な実現について説明する。
【0056】
１つの具体的な実現において、Ｎフレームの第１のジェスチャ画像に基づいて、スクリーンにディスプレイされた第１の対象を制御するステップは、以下のようなａ１～ａ３を含む。
【0057】
ａ１において、Ｎフレームの第１のジェスチャ画像に基づいて、ジェスチャを第１の動的ジェスチャとして認識する。
【0058】
Ｎフレームの第１のジェスチャ画像のそれぞれに対応するハンドキーポイント座標に基づいて、ジェスチャを第１の動的ジェスチャとして認識することができる。１つの具体的な実現において、Ｎフレームの第１のジェスチャ画像のそれぞれに対応するハンドキーポイント座標に基づいて、ジェスチャを第１の動的ジェスチャとして認識するステップは、Ｎフレームの第１のジェスチャ画像のそれぞれに対応するハンドキーポイント座標をジェスチャ分類モデルの入力として、ジェスチャ分類モデルによって学習された後出力を得、該出力により第１の動的ジェスチャを指示するステップを含む。そのうち、ジェスチャ分類モデルは、現在汎用のジェスチャ分類モデル、例えば、ニューラルネットワークモデルであってもよい。
【0059】
第１の動的ジェスチャは、例えば、１本の指でスワイプするジェスチャ、２本の指でスワイプするジェスチャ、２本の指を徐々に広げるジェスチャ、２本の指を近づけるジェスチャ、及び手のひらでスワイプするジェスチャであってもよい。
【0060】
ａ２において、Ｎフレームの第１のジェスチャ画像内の少なくとも一部のジェスチャ画像に基づいて、第１の対象の第１の制御情報を確定する。
【0061】
第１種の解決手段において、第１のターゲットジェスチャ画像に対応するハンドキーポイント位置に対する、第２のターゲットジェスチャ画像に対応するハンドキーポイント位置の変動値に基づいて、第１の対象の第１の制御情報を確定する。そのうち、第１のターゲットジェスチャ画像及び第２のターゲットジェスチャ画像は、Ｎフレームの第１のジェスチャ画像内に最後にキャプチャされた２フレームのジェスチャ画像であり、第２のターゲットジェスチャ画像は、Ｎフレームの第１のジェスチャ画像で一番遅くキャプチャされたジェスチャ画像である。
【0062】
該第１種の解決手段は、現在、第１の動的ジェスチャによって電子機器にディスプレイされた第１の対象を制御するプロセスに適用し、Ｎフレームの第１のジェスチャ画像に基づいて、第１の対象を制御する前に、また、少なくとも連続するＮフレームの第３のジェスチャ画像に基づいて、第１の対象を制御しており、そのうち、Ｎフレームの第１のジェスチャ画像には、Ｎフレームの第３のジェスチャ画像内の一部のジェスチャ画像が含まれており、Ｎフレームの第３のジェスチャ画像で一番早くキャプチャされたジェスチャ画像のキャプチャ時点は、Ｎフレームの第１のジェスチャ画像内の任意１フレームのジェスチャ画像のキャプチャ時点よりも早い。Ｎ=５の場合、Ｎフレームの第１のジェスチャ画像は、連続するＮフレームの第３のジェスチャ画像の後にキャプチャされた４フレームのジェスチャ画像、及び、該４フレームのジェスチャ画像の後に初めてキャプチャされた１フレームのジェスチャ画像を含んでもよく、または、Ｎフレームの第１のジェスチャ画像は、また、連続するＮフレームの第３のジェスチャ画像で最後にキャプチャされた３フレームのジェスチャ画像、及び、該３フレームのジェスチャ画像の後に一番早くキャプチャされた２フレームのジェスチャ画像を含んでもよい。
【0063】
第１種の解決手段は、また、Ｎフレームの第１のジェスチャ画像が、現在、第１の動的ジェスチャによって電子機器にディスプレイされた第１の対象を制御するプロセスで、一番早くキャプチャされたＮフレームの第１のジェスチャ画像である場合にも適用する。
【0064】
以下、第１の対象の第１の制御情報を確定するステップの具体的な実現について説明する。
【0065】
第１のターゲットジェスチャ画像に対応するハンドキーポイント位置に対する、第２のターゲットジェスチャ画像に対応するハンドキーポイント位置の変動値に基づいて、第１の対象の第１の制御情報を確定するステップは、以下のようなａ２１～ ａ２４を含むことができる。
【0066】
ａ２１において、ハンドキーポイントで、第１の動的ジェスチャに対応するターゲットハンドキーポイントごとに、ターゲットハンドキーポイントが第２のターゲットジェスチャ画像における第１の座標、及び、ターゲットハンドキーポイントが第１のターゲットジェスチャ画像における第２の座標に基づいて、ターゲットハンドキーポイントの移動距離を得る。
【0067】
ハンドキーポイントは、一般的に、２１個プリセットされており、ターゲットハンドキーポイントは、２１個のハンドキーポイントで、第１の動的ジェスチャに対応するハンドキーポイントであってもよい。例えば、動的ジェスチャが１本の指でスワイプするジェスチャであると、該１本の指上のキーポイントは、ターゲットハンドキーポイントになり、動的ジェスチャが２本の指を広げるジェスチャであると、該２本の指上のキーポイントは、ターゲットハンドキーポイントになる。
【0068】
第１の座標が（ｘ１、ｙ１）で、第２の座標が（ｘ２、ｙ２）である場合、ターゲットハンドキーポイントの移動距離は、(ｘ１ーｘ２)２＋(ｙ１ーｙ２)２であってもよい。
【0069】
ａ２２において、各ターゲットハンドキーポイントの移動距離の平均値を取得する。
【0070】
ａ２３において、プリセットの倍数を取得する。
【0071】
該解決手段において、様々な動的ジェスチャは、プリセットの倍数が同じである。プリセットの倍数は、電子機器に記憶されることができる。
【0072】
ａ２４において、プリセットの倍数及び各ターゲットハンドキーポイントの移動距離の平均値に基づいて、第１の対象の第１の制御情報を確定する。
【0073】
第１の対象の第１の制御情報が第１の対象の第１の移動距離を含むと、各ターゲットハンドキーポイントの移動距離の平均値に基づいて、第１の対象の第１の制御情報を確定するステップは、各ターゲットハンドキーポイントの移動距離の平均値のプリセットの倍数が第１の対象の第１の移動距離であると確定するステップを含む。
【0074】
第１の対象の第１の制御情報が第１の対象のサイズ変動値を含むと、各ターゲットハンドキーポイントの移動距離の平均値に基づいて、第１の対象の第１の制御情報を確定するステップは、第１の移動距離を取得し、第１の移動距離が各ターゲットハンドキーポイントの移動距離の平均値のプリセットの倍数であるステップと、第１の移動距離と第１の距離との比の値に基づいて、サイズ変動割合を得、第１の距離が第１の対象に対応する長方形領域の対角線長さの半分であり、第１の対象に対応する長方形領域が第１の対象をディスプレイするための領域であるステップと、サイズ変動割合と第１の対象の現在のサイズとの積に基づいてサイズ変動値を得るステップと、を含む。
【0075】
第２種の解決手段において、第１のターゲットジェスチャ画像に対応するハンドキーポイント位置に対する、第２のターゲットジェスチャ画像に対応するハンドキーポイント位置の変動値、及び、第１の動的ジェスチャに基づいて、第１の対象の第１の制御情報を確定する。そのうち、第１のターゲットジェスチャ画像及び第２のターゲットジェスチャ画像は、Ｎフレームの第１のジェスチャ画像内に最後にキャプチャされた２フレームのジェスチャ画像であり、第２のターゲットジェスチャ画像は、Ｎフレームの第１のジェスチャ画像で一番遅くキャプチャされたジェスチャ画像である。
【0076】
本解決手段の適用条件は、第１種の解決手段の適用条件と同じである。
【0077】
以下、第１の対象の第１の制御情報を確定するステップの具体的な実現について説明する。
【0078】
第１のターゲットジェスチャ画像に対応するハンドキーポイント位置に対する、第２のターゲットジェスチャ画像に対応するハンドキーポイント位置の変動値、及び、第１の動的ジェスチャに基づいて、第１の対象の第１の制御情報を確定するステップは、以下のようなａ２６～ ａ２９を含むことができる。
【0079】
ａ２６において、ハンドキーポイントで、第１の動的ジェスチャに対応するターゲットハンドキーポイントごとに、ターゲットハンドキーポイントが第２のターゲットジェスチャ画像での第１の座標、及び、ターゲットハンドキーポイントが第１のターゲットジェスチャ画像での第２の座標に基づいて、ターゲットハンドキーポイントの移動距離を得る。
【0080】
ａ２６の具体的な実現は、ａ２１の記述を参照する。
【0081】
ａ２７において、各ターゲットハンドキーポイントの移動距離の平均値を取得する。
【0082】
ａ２７の具体的な実現は、ａ２２の記述を参照する。
【0083】
ａ２８において、第１の動的ジェスチャに基づいて、第１のプリセットの倍数を確定する。
【0084】
電子機器には、様々な動的ジェスチャに対応するプリセットの倍数か記憶されている。そのうち、異なる命令に対応する動的ジェスチャのプリセットの倍数が同じであってもよく、異なってもよく、同じ命令に対応する動的ジェスチャのプリセットの倍数が異なる。
【0085】
ａ２９において、第１のプリセットの倍数及び各ターゲットハンドキーポイントの移動距離の平均値に基づいて、第１の対象の第１の制御情報を確定する。
【0086】
ａ２９の具体的な実現は、ａ２４の記述を参照し、ａ２４でのプリセットの倍数を第１のプリセットの倍数に更新すればよい。例えば、２本の指でスワイプする動的ジェスチャがプリセットの倍数１に対応し、手のひらでスワイプする動的ジェスチャがプリセットの倍数２に対応し、２本の指でスワイプする動的ジェスチャが画面スワイプに対応し、手のひらでスワイプする動的ジェスチャも画面スワイプに対応すると、プリセットの倍数２がプリセットの倍数１より大きい場合、手のひらでスワイプするジェスチャに対応する画面スワイプの速度は、２本の指のスワイプに対応する画面スワイプの速度より速い。即ち、手のひらスワイプは、高速の画面スワイプに対応し、２本の指スワイプは、低速の画面スワイプに対応する。
【0087】
第３種の解決手段において、第１のターゲットジェスチャ画像に対応するハンドキーポイント位置に対する、第２のターゲットジェスチャ画像に対応するハンドキーポイント位置の変動値に基づいて、第１の対象の第１の制御情報を確定し、そのうち、第１のターゲットジェスチャ画像及び第２のターゲットジェスチャ画像は、それぞれ、Ｎフレームの第１のジェスチャ画像で一番早くキャプチャされたジェスチャ画像、及び一番遅くキャプチャされたジェスチャ画像であり、第２のターゲットジェスチャ画像は、Ｎフレームの第１のジェスチャ画像で一番遅くキャプチャされたジェスチャ画像である。
【0088】
第３種の解決手段は、Ｎフレームの第１のジェスチャ画像が、現在、第１の動的ジェスチャによって電子機器にディスプレイされた第１の対象を制御するプロセスで、一番早くキャプチャされたＮフレームのジェスチャ画像である場合に適用する。
【0089】
上記の３種の解決手段により、本実施例において、電子機器にディスプレイされた第１の対象の制御情報ごとに、プリセットのものではなく、ハンドキーポイント位置の変動に基づいて得られたものであり、これにより、第１の対象の制御がより洗練されたものになり、ユーザのニーズにより適合し、ユーザエクスペリエンスを向上させることが分かる。
【0090】
ａ３において、第１の対象の第１の制御情報に基づいて、第１の動的ジェスチャに対応する第１の命令を実行して第１の対象を制御する。
【0091】
電子機器には、多種類の動的ジェスチャに対応する命令が記憶されている。電子機器により、ジェスチャを第１の動的ジェスチャとして認識し、および、第１の対象の第１の制御情報を確定した後に、電子機器は、第１の制御情報に基づいて、第１の動的ジェスチャに対応する第１の命令を実行して第１の対象を制御する。
【0092】
第１の対象を制御するプロセスで、第１の対象の変動がより平穏であるように、第１の対象の制御がより平穏であるようにさせるために、第１の制御情報に基づいて、第１の命令を実行して前記第１の対象を引き続き制御するステップは、第１の制御情報及び第１の履歴制御情報に基づいて、第１の対象の新しい制御情報を得、第１の履歴制御情報が、現在第１の対象を制御するプロセスで、前回第１の対象を制御するとき基になっている制御情報であるステップと、新しい制御情報に基づいて、第１の命令を実行して第１の対象を制御するステップと、を含むことができる。
【0093】
第１の制御情報及び第１の履歴制御情報に基づいて、第１の対象の新しい制御情報を得るステップは、具体的に、
ｖｎ＝［αｖｎ－１＋（１－α）ｓｎ］／（１－αｎ） （１）という式で実現することができ、
ただし、ｖ０＝０、ｎ≧１とし、ｓｎが第１の制御情報に対応し、ｖｎが新しい制御情報に対応し、ｖｎ－１が第１の履歴制御情報に対応する。
ｖｎ＝［αｖｎ－１＋（１－α）ｓｎ］／（１－αｎ） （１）という式で実現することができ、
ただし、ｖ０＝０、ｎ≧１とし、ｓｎが第１の制御情報に対応し、ｖｎが新しい制御情報に対応し、ｖｎ－１が第１の履歴制御情報に対応する。
【0094】
ステップＳ２０２において、少なくとも１フレームのジェスチャ画像を取得し、そのうち、少なくとも１フレームのジェスチャ画像、及び、Ｎフレームの第１のジェスチャ画像内の一部のジェスチャ画像により、連続するＮフレームの第２のジェスチャ画像を構成し、少なくとも１フレームのジェスチャ画像の取得時点がＮフレームの第１のジェスチャ画像の取得時点より遅れている。
【0095】
少なくとも１フレームのジェスチャ画像は、電子機器がＮフレームの第１のジェスチャ画像をキャプチャした後に、一番早くキャプチャされた１フレーム又は複数フレームのジェスチャ画像であり、少なくとも１フレームのジェスチャ画像、及び、Ｎフレームの第１のジェスチャ画像内の一部のジェスチャ画像により、連続するＮフレームの第２のジェスチャ画像を構成する。
【0096】
１つの具体的な実現において、少なくとも１フレームのジェスチャ画像は、１フレームのジェスチャ画像である。つまり、１フレームの新しいジェスチャ画像をキャプチャするたびに、この前にキャプチャされたジェスチャ画像が、連続する複数フレームのジェスチャ画像を構成しやすく、複数フレームのジェスチャ画像は、例えば、前記したようなＮフレームの第１のジェスチャ画像であるか、Ｎフレームの第２のジェスチャ画像である。
【0097】
例示的に、Ｎ＝５とし、Ｎフレームの第１のジェスチャ画像は、現在第１の対象への制御プロセスで、順次取得された第２フレーム～第６フレームのジェスチャ画像であり、少なくとも１フレームのジェスチャ画像は、第７フレームのジェスチャ画像であり、Ｎフレームの第２のジェスチャ画像は、現在第１の対象への制御プロセスで、順次取得された第３フレーム～第７フレームのジェスチャ画像である。
【0098】
他の具体的な実現において、少なくとも１フレームのジェスチャ画像は、２フレームのジェスチャ画像である。
【0099】
例示的に、Ｎ=５とし、Ｎフレームの第１のジェスチャ画像は、現在第１の対象への制御プロセスで、順次取得された第２フレーム～第６フレームのジェスチャ画像であり、少なくとも１フレームのジェスチャ画像は、第７フレーム及び第８フレームのジェスチャ画像であり、Ｎフレームの第２のジェスチャ画像は、現在第１の対象への制御プロセスで、順次取得された第４フレーム～第８フレームのジェスチャ画像である。
【0100】
ステップＳ２０３において、Ｎフレームの第２のジェスチャ画像に基づいて、スクリーンにディスプレイされた第１の対象を引き続き制御する。
【0101】
以下、Ｎフレームの第２のジェスチャ画像に基づいて、スクリーンにディスプレイされた第１の対象を制御するステップの具体的な実現について説明する。
【0102】
１つの具体的な実現において、Ｎフレームの第２のジェスチャ画像に基づいて、スクリーンにディスプレイされた第１の対象を制御するステップは、以下のようなｂ１～ｂ４を含む。
【0103】
ｂ１において、Ｎフレームの第２のジェスチャ画像に基づいて、ジェスチャを第１の動的ジェスチャとして認識する。
【0104】
ｂ１の具体的な実現は、ａ１の具体的な実現を参照し、ここで繰り返して説明しない。
【0105】
ｂ２において、Ｎフレームの第２のジェスチャ画像内の一部のジェスチャ画像に基づいて、第１の対象の第２の制御情報を確定する。
【0106】
ｂ２の具体的な実現は、ａ２における「Ｎフレームの第１のジェスチャ画像内の少なくとも一部のジェスチャ画像に基づいて第１の対象の第１の制御情報を確定する」の第１種の解決手段及び第２種の解決手段の具体的な実現を参照し、ここで繰り返して説明しない。
【0107】
ｂ３において、第１の対象の第２の制御情報に基づいて、第１の命令を実行して第１の対象を引き続き制御する。
【0108】
ｂ３の具体的な実現は、ａ３の具体的な実現を参照し、ここで繰り返して説明しない。
【0109】
本実施例において、ユーザが、現在第１の動的ジェスチャによって電子機器にディスプレイされた第１の対象を制御するプロセスで、第１の対象を連続して複数回制御することを実現でき、ステップＳ２０１～ステップＳ２０３は、第１の対象に対する連続的な複数回制御中に、任意の隣接する２回の制御方法であると理解することができる。例を挙げると、Ｎ=５の場合、ユーザが、現在第１の動的ジェスチャによって電子機器にディスプレイされた第１の対象を制御するプロセスで、電子機器は、最初の５フレームのジェスチャ画像に基づいてジェスチャを第１の動的ジェスチャとして認識して、第４フレームのジェスチャ画像に対応するハンドキーポイント位置に対する、第５フレームのジェスチャ画像に対応するハンドキーポイント位置の変動に基づいて、１つの制御情報を得、および、該制御情報に基づいて第１の対象を制御するか、または、最初の５フレームのジェスチャ画像に基づいてジェスチャを第１の動的ジェスチャとして認識して、第１フレームのジェスチャ画像に対応するハンドキーポイント位置に対する、第５フレームのジェスチャ画像に対応するハンドキーポイント位置の変動に基づいて１つの制御情報を得、および、該制御情報に基づいて第１の対象を制御する。次に、第２フレーム～第６フレームのジェスチャ画像に基づいて、ジェスチャを第１の動的ジェスチャとして認識して、第５フレームのジェスチャ画像に対応するハンドキーポイント位置に対する、第６フレームのジェスチャ画像に対応するハンドキーポイント位置の変動に基づいて、１つの制御情報を得、および、該制御情報に基づいて第１の対象を制御して、続いて、第３～第７フレームのジェスチャ画像に基づいて、ジェスチャを第１の動的ジェスチャとして認識して、第６フレームのジェスチャ画像に対応するハンドキーポイント位置に対する、第７フレームのジェスチャ画像に対応するハンドキーポイント位置の変動に基づいて、１つの制御情報を得、および、該制御情報に基づいて第１の対象を制御して、これによって類推し、最後の５フレームのジェスチャ画像に基づいて、ジェスチャを第１の動的ジェスチャとして認識して、後ろから２番目フレームのジェスチャ画像に対応するハンドキーポイント位置に対する、最後の１フレームのジェスチャ画像に対応するハンドキーポイント位置の変動に基づいて、１つの制御情報を得、および、該制御情報に基づいて第１の対象を制御するまで続ける。
【0110】
本実施例の方法により、現在、動的ジェスチャによって電子機器を制御するプロセスでは、少数のジェスチャ画像をキャプチャした後、第１の対象を１回制御し、第１の対象に対して行われた隣接する２回の制御の基になっているジェスチャ画像には、同様なジェスチャ画像があることにより、動的ジェスチャによって電子機器を洗練的に制御する目的を実現する。
【0111】
以下、いくつかの具体的な動的ジェスチャシーンに対応する電子機器の制御方法について説明する。
【0112】
まず、動的ジェスチャが、１本の指が第１の方向へスワイプするジェスチャであるシーンに対応する電子機器の制御方法について説明する。本願では、第１の方向は、上、下、左、右などの任意の方向であってもよい。
【0113】
ユーザが現在、１本の指が第１の方向へスワイプすることにより、電子機器内の第１の対象を制御し、第１の対象が位置決めマークであるとき、
電子機器は、キャプチャされた最初の５フレームのジェスチャ画像に基づいてジェスチャが、１本の指が第１の方向へスワイプするジェスチャであると認識し、第４フレームのジェスチャ画像でのターゲットキーポイントに対する、第５フレームのジェスチャ画像でのターゲットハンドキーポイント位置の移動距離と第１のプリセットの倍数との積に基づいて、位置決めマークの第１の移動距離を得、続いて、位置決めマークが第１の方向で第１の移動距離を移動するように制御する。
電子機器は、キャプチャされた最初の５フレームのジェスチャ画像に基づいてジェスチャが、１本の指が第１の方向へスワイプするジェスチャであると認識し、第４フレームのジェスチャ画像でのターゲットキーポイントに対する、第５フレームのジェスチャ画像でのターゲットハンドキーポイント位置の移動距離と第１のプリセットの倍数との積に基づいて、位置決めマークの第１の移動距離を得、続いて、位置決めマークが第１の方向で第１の移動距離を移動するように制御する。
【0114】
電子機器は、キャプチャされた第６フレームのジェスチャ画像と、第２～第５フレームのジェスチャ画像とを連続する５フレームの画像に構成し、第２～第６フレームのジェスチャ画像に基づいて、ジェスチャが、１本の指が第１の方向へスワイプするジェスチャであると認識し、第５フレームのジェスチャ画像でのターゲットキーポイントに対する、第６フレームのジェスチャ画像でのターゲットハンドキーポイント位置の平均移動距離及び第１のプリセットの倍数に基づいて、位置決めマークの第２の移動距離を得、位置決めマークが第１の方向で第２の移動距離を移動するように制御する。
【0115】
電子機器は、キャプチャされた第７フレームのジェスチャ画像及び第３～第６フレームのジェスチャ画像を連続する５フレームの画像に構成し、第３～第７フレームのジェスチャ画像に基づいて、ジェスチャが、１本の指が第１の方向へスワイプするジェスチャであると認識し、第６フレームのジェスチャ画像でのターゲットキーポイントに対する、第７フレームのジェスチャ画像でのターゲットハンドキーポイント位置の平均移動距離及び第１のプリセットの倍数に基づいて、位置決めマークの第３の移動距離を得、位置決めマークが第１の方向で第３の移動距離を移動するように制御する。
【0116】
これによって類推し、電子機器により、総計５０フレームのジェスチャ画像がキャプチャされた場合、第４６～第５０フレームのジェスチャ画像に基づいて、ジェスチャが、１本の指が第１の方向へスワイプするジェスチャであると認識するまで、第４９フレームのジェスチャ画像でのターゲットキーポイントに対する、第５０フレームのジェスチャ画像でのターゲットハンドキーポイント位置の平均移動距離及び第１のプリセットの倍数に基づいて、位置決めマークの第４の移動距離を得、位置決めマークが第１の方向で第４の移動距離を移動するように制御する。
【0117】
本実施例において、位置決めマークは、マウスの矢印であってもよく、カーソル又は矢印などの、ユーザが、現在第１の対象を制御するプロセスで、ジェスチャが、１本の指が第１の方向へスワイプするジェスチャであると始めて認識したとき、ディスプレイされた位置決めマークであってもよい。
【0118】
該実施例に対応するインタフェースインタラクションの概略図は、図４に示したようなものであってもよい。図４を参照し、ハンドが実際にスクリーンの前方にあり、明瞭な図示のために、ハンドを携帯電話の下に描画した。ハンドは、図４での（ａ）図の位置から徐々に（ｂ）図の位置までスワイプし、即ち、１本の指で右にスワイプし、位置決めマークが徐々に図４での（ａ）図の位置から、（ｂ）図の位置までスワイプする。
【0119】
本実施例において、方法により、１本の指で右にスワイプすることで、位置決めマーク移動を洗練的に制御する。
【0120】
次に、動的ジェスチャが、２本の指が第１の方向へスワイプするジェスチャであるシーンに対応する電子機器の制御方法について説明する。
【0121】
ユーザが、現在２本の指が第１の方向へスワイプするジェスチャにより、電子機器内の第１の対象を制御するとき、第１の対象が現在ディスプレイされた第１の画面である。
【0122】
電子機器は、キャプチャされた最初の６フレームのジェスチャ画像に基づいて、ジェスチャが、２本の指が第１の方向へスワイプするジェスチャであると認識する。
【0123】
電子機器は、キャプチャされた第７フレームのジェスチャ画像及び第２～第６フレームのジェスチャ画像を連続する６フレームの画像に構成し、第２フレーム～第７フレームのジェスチャ画像に基づいて、ジェスチャが、２本の指が第１の方向へスワイプするジェスチャであると認識して、第６フレームのジェスチャ画像でのターゲットキーポイントに対する、第７フレームのジェスチャ画像でのターゲットハンドキーポイント位置の平均移動距離及び第２のプリセットの倍数に基づいて、第１の画面の第１の移動距離を得、第１の画面が第１の方向で第１の移動距離を移動するように制御する。第１のプリセットの倍数と第２のプリセットの倍数は、同じであってもよく、異なってもよい。
【0124】
電子機器は、キャプチャされた第８フレームのジェスチャ画像及び第３～第７フレームのジェスチャ画像を連続する６フレームの画像に構成し、第３～８フレームのジェスチャ画像に基づいて、ジェスチャが、２本の指が第１の方向へスワイプするジェスチャであると認識して、第７フレームのジェスチャ画像でのターゲットキーポイントに対する、第８フレームのジェスチャ画像でのターゲットハンドキーポイント位置の平均移動距離及び第２のプリセットの倍数に基づいて、第１の画面の第２の移動距離を得、第１の画面が第１の方向で第２の移動距離を移動するように制御する。
【0125】
これによって類推し、電子機器により、総計６０フレームのジェスチャ画像がキャプチャされた場合、第５５～第６０フレームのジェスチャ画像に基づいて、ジェスチャが、２本の指が第１の方向へスワイプするジェスチャであると認識するまで、第５９フレームのジェスチャ画像でのターゲットキーポイントに対する、第６０フレームのジェスチャ画像でのターゲットハンドキーポイント位置の平均移動距離に基づいて、第１の画面の第３の移動距離を得、第１の画面が第１の方向で第３の移動距離を移動するように制御する。
【0126】
該実施例に対応するインタフェースインタラクションの概略図は、図５に示したようなものであってもよい。図５を参照し、ハンドが実際にスクリーンの前方にあり、明瞭な図示のために、ハンドを携帯電話の右に描画した。２本の指で下にスワイプし、ハンドが図５での（ａ）図の位置から（ｂ）図の位置まで徐々にスワイプし、現在ディスプレイされた画面がそれに従って下にスワイプし、画面でディスプレイされた内容は、図５での（ａ）図にディスプレイされた内容から（ｂ）図にディスプレイされた内容に更新される。２本の指で引き続き下にスワイプし、ハンドが図５での（ｂ）図の位置から（ｃ）図の位置まで徐々にスワイプし、現在ディスプレイされた画面がそれに従って下にスワイプし、画面でディスプレイされた内容は、図５での（ｂ）図にディスプレイされた内容から（ｃ）図にディスプレイされた内容に更新される。
【0127】
（ｂ）及び（ｃ）図で太字された内容は、画面が下にスワイプするため、画面に新しくディスプレイされた内容であり、（ｂ）及び（ｃ）図で、画面に新しくディスプレイされた内容を太くすることは、画面が下にスワイプしてから新しくディスプレイされた内容を示すためで、実際のプロセスで、画面が下にスワイプしてから新しくディスプレイされた内容の具体的なディスプレイ形は、本実施例において、限定されないと理解することができる。
【0128】
本実施例において、２本の指スワイプの動的ジェスチャによって画面の移動を洗練的に制御する目的を実現する。
【0129】
続いて、動的ジェスチャは、手のひらが第１の方向へスワイプするジェスチャであるシーンに対応する電子機器の制御方法について説明する。
【0130】
ユーザは、現在手のひらが第１の方向へスワイプするジェスチャにより、電子機器内の第１の対象を制御するとき、第１の対象が現在ディスプレイされた第１の画面である。
【0131】
電子機器は、キャプチャされた最初の５フレームのジェスチャ画像に基づいて、ジェスチャは、手のひらが第１の方向へスワイプするジェスチャであると認識し、第４フレームのジェスチャ画像でのターゲットキーポイントに対する、第５フレームのジェスチャ画像でのターゲットハンドキーポイント位置の平均移動距離及び第３のプリセットの倍数に基づいて、第１の画面の第１の移動距離を得、第１の画面が第１の方向で第１の移動距離を移動するように制御する。第３のプリセットの倍数が第２のプリセットの倍数より大きい。
【0132】
電子機器は、キャプチャされた第６フレームのジェスチャ画像及び第２～４フレームのジェスチャ画像を連続する５フレームの画像に構成し、第２～第６フレームのジェスチャ画像に基づいて、ジェスチャは、手のひらが第１の方向へスワイプするジェスチャであると認識し、第５フレームのジェスチャ画像でのターゲットキーポイントに対する、第６フレームのジェスチャ画像でのターゲットハンドキーポイント位置の平均移動距離及び第３のプリセットの倍数に基づいて、第１の画面の第２の移動距離を得、第１の画面が第１の方向で第２の移動距離を移動するように制御する。
【0133】
電子機器は、キャプチャされた第７フレームのジェスチャ画像及び第３～第６フレームのジェスチャ画像を連続する５フレームの画像に構成し、第３～第７フレームのジェスチャ画像に基づいて、ジェスチャは、手のひらが第１の方向へスワイプするジェスチャであると認識し、第６フレームのジェスチャ画像でのターゲットキーポイントに対する、第７フレームのジェスチャ画像でのターゲットハンドキーポイント位置の平均移動距離及び第３のプリセットの倍数に基づいて、第１の画面の第３の移動距離を得、第１の画面が第１の方向で第３の移動距離を移動するように制御する。
【0134】
これによって類推し、電子機器により、総計５０フレームのジェスチャ画像がキャプチャされた場合、第４６～第５０フレームのジェスチャ画像に基づいて、ジェスチャは、手のひらが第１の方向へスワイプするジェスチャであると認識するまで、第４９フレームのジェスチャ画像でのターゲットキーポイントに対する、第５０フレームのジェスチャ画像でのターゲットハンドキーポイント位置の平均移動距離に基づいて、第１の画面の第４の移動距離を得、第１の画面が第１の方向で第４の移動距離を移動するように制御する。
【0135】
図２に示したような実施例における第１の対象の制御情報の取得方法により、第３のプリセットの倍数が第２のプリセットの倍数より大きいとき、２本の指スワイプと手のひらでスワイプとに対応する隣接する２フレームのジェスチャ画像でのターゲットキーポイントの移動距離が同様である場合、２本の指スワイプによって第１の画面を制御する移動速度は、手のひらスワイプによって第１の画面を制御する移動速度より遅れていることがわかる。よって、ユーザが画面を高速に移動させようとする場合、手のひらでスワイプするジェスチャを行い、ユーザが画面を低速に移動させようとする場合、２本の指スワイプのジェスチャを行うことができる。
【0136】
該実施例に対応するインタフェースインタラクションの概略図は、図６に示したようなものであってもよい。図６を参照し、ハンドが実際にスクリーンの前方にあり、明瞭な図示のために、ハンドを携帯電話の右に描画した。手のひらで下にスワイプし、ハンドが図６での（ａ）図の位置から（ｂ）図の位置まで徐々にスワイプし、現在ディスプレイされた画面がそれに従って下にスワイプし、画面でディスプレイされた内容は、図６での（ａ）図にディスプレイされた内容から（ｂ）図にディスプレイされた内容に更新される。手のひらで引き続き下にスワイプし、ハンドが図６での（ｂ）図の位置から（ｃ）図の位置まで徐々にスワイプし、現在ディスプレイされた画面がそれに従って下にスワイプし、画面でディスプレイされた内容は、図６での（ｂ）図にディスプレイされた内容から（ｃ）図にディスプレイされた内容に更新される。
【0137】
【0138】
本実施例において、手のひらでスワイプする動的ジェスチャにより、画面移動を洗練的に制御する目的を実現する。
【0139】
続いて、動的ジェスチャは、２本の指を徐々に広げるジェスチャであるシーンに対応する電子機器の制御方法について説明する。
【0140】
ユーザが、現在２本の指を徐々に広げるジェスチャにより、電子機器内の第１の対象を制御し、第１の対象が現在ディスプレイされた第１の写真であるとき、
電子機器は、キャプチャされた最初の４フレームのジェスチャ画像に基づいて、ジェスチャが２本の指を徐々に広げるジェスチャであると認識し、第１フレームのジェスチャ画像でのターゲットキーポイントに対する、第４フレームのジェスチャ画像でのターゲットハンドキーポイント位置の平均移動距離及び第４のプリセットの倍数に基づいて、第１の写真の第１のサイズ変動値を得、第１の写真の現在サイズを第１のサイズ変動値でズームインするように制御する。
電子機器は、キャプチャされた最初の４フレームのジェスチャ画像に基づいて、ジェスチャが２本の指を徐々に広げるジェスチャであると認識し、第１フレームのジェスチャ画像でのターゲットキーポイントに対する、第４フレームのジェスチャ画像でのターゲットハンドキーポイント位置の平均移動距離及び第４のプリセットの倍数に基づいて、第１の写真の第１のサイズ変動値を得、第１の写真の現在サイズを第１のサイズ変動値でズームインするように制御する。
【0141】
電子機器は、キャプチャされた第５フレームのジェスチャ画像及び第２～４フレームのジェスチャ画像を連続する４フレームの画像に構成し、第２～第５フレームのジェスチャ画像に基づいて、ジェスチャが２本の指を徐々に広げるジェスチャであると認識し、第４フレームのジェスチャ画像でのターゲットキーポイントに対する、第５フレームのジェスチャ画像でのターゲットハンドキーポイント位置の平均移動距離及び第４のプリセットの倍数に基づいて、第１の写真の第２のサイズ変動値を得、第１の写真の現在サイズを第２のサイズ変動値で引き続きズームインするように制御する。
【0142】
電子機器は、キャプチャされた第６フレームのジェスチャ画像及び第３～第５フレームのジェスチャ画像を連続する４フレームの画像に構成し、第３～第６フレームのジェスチャ画像に基づいて、ジェスチャが２本の指を徐々に広げるジェスチャであると認識し、第５フレームのジェスチャ画像でのターゲットキーポイントに対する、第６フレームのジェスチャ画像でのターゲットハンドキーポイント位置の平均移動距離及び第４のプリセットの倍数に基づいて、第１の写真の第３のサイズ変動値を得、第１の写真の現在サイズを第３のサイズ変動値で引き続きズームインするように制御する。
【0143】
これによって類推し、電子機器により、総計３０フレームのジェスチャ画像がキャプチャされた場合、第２７～第３０フレームのジェスチャ画像に基づいて、ジェスチャが２本の指を徐々に広げるジェスチャであると認識するまで、第２９フレームのジェスチャ画像でのターゲットキーポイントに対する、第３０フレームのジェスチャ画像でのターゲットハンドキーポイント位置の平均移動距離及び第４のプリセットの倍数に基づいて、第１の写真の第４のサイズ変動値を得、第１の写真の現在サイズを第４のサイズ変動値で引き続きズームインするように制御する。
【0144】
該実施例に対応するインタフェースインタラクションの概略図は、図７に示したようなものであってもよい。図７を参照し、ハンドが実際にスクリーンの前方にあり、明瞭な図示のために、ハンドを携帯電話の下に描画した。図７で（ａ）図のジェスチャが図７で（ｂ）図のジェスチャ、即ち、２本の指を徐々に広げるジェスチャに徐々に変化し、現在ディスプレイされた写真のサイズが図７で（ａ）図のサイズから図７で（ｂ）図のサイズに徐々に変化する。
【0145】
本実施例において、２本の指を徐々に広げるジェスチャの動的ジェスチャにより、写真ズームインを洗練的に制御する目的を実現する。
【0146】
続いて、動的ジェスチャが２本の指を徐々に近づけるシーンに対応する電子機器の制御方法について説明する。
【0147】
ユーザが、現在２本の指を徐々に近づけるジェスチャにより、電子機器内の第１の対象を制御し、第１の対象が現在ディスプレイされた第１の写真であるとき、
電子機器は、キャプチャされた最初の５フレームのジェスチャ画像に基づいて、ジェスチャが２本の指を徐々に近づけるジェスチャであると認識し、第４フレームのジェスチャ画像でのターゲットキーポイントに対する、第５フレームのジェスチャ画像でのターゲットハンドキーポイント位置の平均移動距離及び第５のプリセットの倍数に基づいて、第１の写真の第１のサイズ変動値を得、第１の写真の現在サイズを第１のサイズ変動値でズームアウトするように制御する。
電子機器は、キャプチャされた最初の５フレームのジェスチャ画像に基づいて、ジェスチャが２本の指を徐々に近づけるジェスチャであると認識し、第４フレームのジェスチャ画像でのターゲットキーポイントに対する、第５フレームのジェスチャ画像でのターゲットハンドキーポイント位置の平均移動距離及び第５のプリセットの倍数に基づいて、第１の写真の第１のサイズ変動値を得、第１の写真の現在サイズを第１のサイズ変動値でズームアウトするように制御する。
【0148】
電子機器は、キャプチャされた第６フレームのジェスチャ画像や、第７フレームのジェスチャ画像及び第３～第５フレームのジェスチャ画像を連続する５フレームの画像に構成し、第３～第７フレームのジェスチャ画像に基づいて、ジェスチャが２本の指を徐々に近づけるジェスチャであると認識し、第６フレームのジェスチャ画像でのターゲットキーポイントに対する、第７フレームのジェスチャ画像でのターゲットハンドキーポイント位置の平均移動距離及び第５のプリセットの倍数に基づいて、第１の写真の第２のサイズ変動値を得、第１の写真の現在サイズを第２のサイズ変動値で引き続きズームアウトするように制御する。
【0149】
電子機器は、キャプチャされた第８フレームのジェスチャ画像や、第９フレームのジェスチャ画像及び第５～第７フレームのジェスチャ画像を連続する５フレーム画像に構成し、第５～第９フレームのジェスチャ画像に基づいて、ジェスチャが２本の指を徐々に近づけるジェスチャであると認識し、第８フレームのジェスチャ画像でのターゲットキーポイントに対する、第９フレームのジェスチャ画像でのターゲットハンドキーポイント位置の平均移動距離及び第５のプリセットの倍数に基づいて、第１の写真の第３のサイズ変動値を得、第１の写真の現在サイズを第３のサイズ変動値で引き続きズームアウトするように制御する。
【0150】
これによって類推し、電子機器により、総計５０フレームのジェスチャ画像がキャプチャされた場合、第４６～第５０フレームのジェスチャ画像に基づいて、ジェスチャが２本の指を徐々に近づけるジェスチャであると認識するまで、第４９フレームのジェスチャ画像でのターゲットキーポイントに対する、第５０フレームのジェスチャ画像でのターゲットハンドキーポイント位置の平均移動距離及び第５のプリセットの倍数に基づいて、第１の写真の第４のサイズ変動値を得、第１の写真の現在サイズを第４のサイズ変動値で引き続きズームアウトするように制御する。
【0151】
該実施例に対応するインタフェースインタラクションの概略図は、図８に示したようなものであってもよい。図８を参照し、ハンドが実際にスクリーンの前方にあり、明瞭な図示のために、ハンドを携帯電話の下に描画した。図８で（ａ）図のジェスチャが図８で（ｂ）図のジェスチャ、即ち、２本の指を徐々に近づけるジェスチャに変化徐々にし、現在ディスプレイされた写真のサイズが図８で（ａ）図のサイズから図８で（ｂ）図のサイズに徐々に変化する。
【0152】
本実施例において、２本の指を徐々に近づける動的ジェスチャにより、写真ズームインを洗練的に制御する目的を実現する。
【0153】
以下、前の実施例における第１の機械学習モデルについて具体的な実施例を用いて説明する。
【0154】
図２に示したような実施例において、画像がジェスチャ画像であるかどうかを認識するための、ジェスチャ画像に対応するハンドキーポイント位置を得られる第１の機械学習モデルは、畳み込みニューラルネットワークモデル、双方向ニューラルネットワークモデルなどのニューラルネットワークモデルであってもよい。１種の解決手段において、第１の機械学習モデルの入力は、カメラによってキャプチャされた画像を処理して得た形が（２５６、２５６、３）である画像であってもよい。そのうち、（２５６、２５６、３）は、長さが２５６個のピクセルで、幅が２５６個のピクセルで、チャネル数がＲＧＢの３つのチャネルを表すカラー写真である。第１の機械モデルの出力は、（ａｎｃｈｏｒｓ、１+４+２１＊２）であってもよく、そのうち、ａｎｃｈｏｒｓは、ネットワークの出力アンカーボックスの数を代表し、１は、該アンカーボックスに手が含まれた確率の大きさを、４は、手の境界ボックスの座標を表し、具体的に、左上隅のｘ座標とｙ座標で、右下隅のｘ座標とｙ座標で、２１＊２は、２１個のハンドキーポイントの座標（ｘ、ｙ）を代表する。
【0155】
第１の機械学習モデルを訓練するとき、ポジティブサンプル写真及びネガティブサンプル写真を大量取得することができ、そのうち、ポジティブサンプル写真には、ハンドが含まれるが、ネガティブサンプル写真には、ハンドが含まれていない。人工によってサンプル写真ごとにラベル（ａｎｃｈｏｒｓ、１+４+２１＊２）をマークする。大量のポジティブサンプル写真や、ネガティブサンプル写真およびサンプル写真のそれぞれのラベルに基づいて、監視下で訓練し、最終的に、第１の機械学習モデルを得ることができる。第１の機械学習モデルの精度を確保するために、第１の機械学習モデルを得た後に、また、テスト写真を用いて第１の機械学習モデルの精度をテストし、精度がプリセットの精度を満たさない場合、精度がプリセットの精度を満たしたまで、監視下で引き続き訓練する。
【0156】
第１の機械学習モデルに対応するネットワーク構造は、現在のソリッドステートドライブ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ、ＳＳＤ）ネットワーク構造に基づいて改良されたものであってもよく、再設計されたものであってもよく、本実施例において、限定されない。
【0157】
本実施例において、得られた第１の機械学習モデルにより、ハンドキーポイント座標の取得効率および正確さを向上させ、ひいては、ユーザがジェスチャにより電子機器を制御する効率を向上させることができる。
【0158】
【0159】
取得モジュール９０１は、連続するＮフレームの第１のジェスチャ画像を取得するために使用されるものであり、Ｎが１より大きい整数である。制御モジュール９０２は、前記Ｎフレームの第１のジェスチャ画像に基づいて、スクリーンにディスプレイされた第１の対象を制御するために使用されるものである。取得モジュール９０１は、更に、少なくとも１フレームのジェスチャ画像を取得するために使用されるものであり、そのうち、前記少なくとも１フレームのジェスチャ画像、及び、前記Ｎフレームの第１のジェスチャ画像内の一部のジェスチャ画像により、連続するＮフレームの第２のジェスチャ画像を構成し、前記少なくとも１フレームのジェスチャ画像の取得時点が、前記Ｎフレームの第１のジェスチャ画像の取得時点より遅れている。制御モジュール９０２は、さらに、前記Ｎフレームの第２のジェスチャ画像に基づいて、前記スクリーンにディスプレイされた第１の対象を引き続き制御するために使用されるものである。
【0160】
選択的に、前記制御モジュール９０２は、具体的に、前記Ｎフレームの第１のジェスチャ画像に基づいて、ジェスチャを第１の動的ジェスチャとして認識すること、前記Ｎフレームの第１のジェスチャ画像内の一部のジェスチャ画像に基づいて、前記第１の対象の第１の制御情報を確定すること、前記第１の制御情報に基づいて、前記第１の動的ジェスチャに対応する第１の命令を実行して前記第１の対象を制御すること、のために使用されるものである。
【0161】
選択的に、前記制御モジュール９０２は、具体的に、第１のターゲットジェスチャ画像に対応するハンドキーポイント位置に対する、第２のターゲットジェスチャ画像に対応するハンドキーポイント位置の変動値に基づいて、前記第１の制御情報を確定するために使用されるものであり、そのうち、前記第２のターゲットジェスチャ画像が、前記Ｎフレームの第１のジェスチャ画像内に最後に取得されたジェスチャ画像であり、前記第１のターゲットジェスチャ画像が、前記第２のターゲットジェスチャ画像が取得された前に最近取得された１フレームのジェスチャ画像である。
【0162】
選択的に、前記制御モジュール９０２は、具体的に、前記第１のターゲットジェスチャ画像に対応するハンドキーポイント位置に対する、前記第２のターゲットジェスチャ画像に対応するハンドキーポイント位置の変動値、及び、前記第１の動的ジェスチャに基づいて、前記第１の制御情報を確定するために使用されるものである。
【0163】
選択的に、前記制御モジュール９０２は、第１のターゲットジェスチャ画像に対応するハンドキーポイント位置に対する、第２のターゲットジェスチャ画像に対応するハンドキーポイント位置の変動値に基づいて、前記第１の制御情報を確定する前に、前記取得モジュール９０１は、さらに、前記第１のジェスチャ画像を第１の機械学習モデルを用いて学習すること、及び前記第１の機械学習モデルの出力を取得し、前記出力が、前記第１のジェスチャ画像に対応するハンドキーポイント座標を含むこと、のために使用されるものである。
【0164】
選択的に、前記制御モジュール９０２は、具体的に、前記第１の制御情報及び第１の履歴制御情報に基づいて、前記第１の対象の新しい制御情報を得、前記第１の履歴制御情報が、現在、前記第１の対象を制御するプロセスで、前回前記第１の対象を制御するとき基になっている制御情報であること、前記新しい制御情報に基づいて、前記第１の命令を実行して前記第１の対象を制御すること、のために使用されるものである。
【0165】
選択的に、前記第１の制御情報は、第１の移動距離である。
【0166】
選択的に、前記第１の動的ジェスチャが、１本の指が第１の方向へスワイプするジェスチャであり、前記第１の命令が、前記第１の対象を前記第１の方向で移動させる命令であり、前記第１の対象が位置決めマークであり、前記制御モジュール９０２は、具体的に、前記位置決めマークが前記第１の方向で前記第１の移動距離を移動するように制御するために使用されるものである。
【0167】
選択的に、前記第１の動的ジェスチャが、２本の指が第１の方向へスワイプするジェスチャであり、前記第１の命令が、前記第１の方向で前記第１の対象を移動させる命令であり、前記第１の対象が第１の画面であり、前記制御モジュール９０２は、具体的に、前記第１の画面が前記第１の方向で前記第１の移動距離を移動するように制御するために使用されるものである。
【0168】
選択的に、前記第１の動的ジェスチャは、手のひらが第１の方向へスワイプするジェスチャであり、前記第１の命令が、前記第１の方向で前記第１の対象を移動させる命令であり、前記第１の対象が第１の画面であり、前記制御モジュール９０２は、具体的に、前記第１の画面が前記第１の方向で前記第１の移動距離を移動するように制御するために使用されるものである。
【0169】
選択的に、前記第１の制御情報は、サイズ変動値である。
【0170】
選択的に、前記第１の動的ジェスチャは、２本の指を徐々に広げるジェスチャであり、前記第１の命令が前記第１の対象をズームインする命令であり、前記制御モジュール９０２は、具体的に、前記第１の対象のサイズを前記サイズ変動値でズームインするために使用されるものである。
【0171】
選択的に、前記第１の動的ジェスチャが２本の指を近づけるジェスチャであり、前記第１の命令が前記第１の対象をズームアウトする命令であり、前記制御モジュール９０２は、具体的に、前記第１の対象のサイズを前記サイズ変動値でズームアウトするために使用されるものである。
【0172】
本実施例の装置は、上記の方法実施例の技術的解決手段を実行するために使用され、その実現原理や技術的効果が類似しているため、ここで繰り返して説明しないようにする。
【0173】
本願の実施例により、本願は、さらに、電子機器及び可読記憶媒体を提供する。
【0174】
図１０に示すように、図１０は、本願の実施例のジェスチャによる電子機器の制御方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、作業台、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及びその他の適切なコンピュータなどのような、様々な形のデジタルコンピュータを表すことを主旨とする。電子機器はまた、パーソナルデジタルアシスタント、セルラーテレフォン、スマートフォーン、ウェアラブルデバイス及びその他の類似するコンピューティングデバイスなどのような、様々な形のモバイル装置を表すこともできる。本明細書に示したコンポーネント、それらの連結や関係、及び、それらの機能は、あくまで例示的なものにすぎず、本明細書に記載の及び／又は本文が求める本願の実現を制限することを意図しない。
【0175】
図１０に示すように、該電子機器は、１つ又は複数のプロセッサ１００１、メモリ１００２、及び各コンポーネントを接続するためのインタフェースを含み、該インタフェースは、高速インタフェースと低速インタフェースとを含む。個々のコンポーネントは、異なるバスを使用して互いに接続され、パブリックメインボードにインストールされるか、又は、必要に応じて他の方式でインストールされることができる。プロセッサは、電子機器内で実行される命令を処理することができ、外部の入力／出力装置（インタフェースにカップリングされたディスプレイデバイスなど）でＧＵＩのグラフィクス情報がディスプレイされるための、メモリ内又はメモリ上に記憶されている命令が含まれている。他の実施形態において、必要に応じて、複数のプロセッサ及び／又は複数のバスを複数のメモリと一緒に使用してもよい。同様に、複数の電子機器に接続し、個々の機器により、必要な操作を一部提供（例えば、サーバアレイ、一揃いのブレードサーバ、または、マルチプロセッサシステムとする）してもよい。図１０には、１つのプロセッサ１００１を例としている。
【0176】
メモリ１００２は、本願に係る非一時的なコンピュータ可読記憶媒体である。そのうち、前記メモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記少なくとも１つのプロセッサが本願に係るジェスチャによる電子機器の制御方法を実行するようになる。本願の非一時的なコンピュータ可読記憶媒体は、コンピュータ命令を記憶しており、該コンピュータ命令は、コンピュータが本願に係るジェスチャによる電子機器の制御方法を実行するために使用されるものである。
【0177】
メモリ１００２は、非一時的なコンピュータ可読記憶媒体として、非一時的なソフトウェアプログラム、非一時的なコンピュータによる実行可能なプログラムおよびモジュール、例えば本願の実施例におけるジェスチャによる電子機器の制御方法に対応するプログラム命令／モジュール（図９に示した取得モジュール９０１及び制御モジュール９０２など）を記憶するために使用されるものであってもよい。プロセッサ１００１は、メモリ１００２に記憶された非一時的なソフトウェアプログラム、命令およびモジュールを実行に移すことにより、サーバの様々な機能アプリケーションおよびデータ処理を実行し、即ち、上記の方法の実施例におけるジェスチャによる電子機器の制御方法を実現するようになる。
【0178】
メモリ１００２は、プログラム記憶エリアとデータ記憶エリアとを含むことができ、そのうち、プログラム記憶エリアは、操作システム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶エリアは、ジェスチャによる電子機器の制御方法を実現する電子機器の使用によって新規されるデータなどを記憶することができる。また、メモリ１００２は、高速ランダムアクセスメモリを含むことができ、また、少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の非一時的なソリッドステートストレージデバイスなどの非一時的なメモリを含むこともできる。いくつかの実施例において、メモリ１００２は、プロセッサ１００１に対して遠隔に設置されているメモリを選択的に含むことができ、それらの遠隔メモリは、ネットワークを介し、ジェスチャによる電子機器の制御方法を実現するための電子機器に接続されることができる。上記のネットワークの実例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせを含むが、これらに限定されない。
【0179】
ジェスチャによる電子機器の制御方法を実現するための電子機器は、さらに、入力装置１００３及び出力装置１００４を含むことができる。プロセッサ１００１や、メモリ１００２、入力装置１００３及び出力装置１００４は、バス又はその他の方式によって接続されてもよく、図１０では、バスによって接続される方式を例としている。
【0180】
入力装置１００３は、入力された数字又はキャラクタ情報を受信し、ジェスチャによる電子機器の制御方法を実現するための電子機器のユーザ設定、および機能制御に関連する鍵信号の入力が発生することができ、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、インディケータロッド、１つ又は複数のマウスボタン、トラックボール、操縦ハンドルなどの入力装置が挙げられる。出力装置１００４は、ディスプレイデバイス、補助照明装置（ＬＥＤなど）や触感フィードバック装置（振動モータなど）などを含むことができる。該ディスプレイデバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイやプラズマディスプレイを含むことができるが、それらに限定されない。いくつかの実施形態では、ディスプレイデバイスはタッチスクリーンであってもよい。
【0181】
ここに記載のシステムや技術的様々な実施形態は、デジタル電子回路システム、集積回路システム、ＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現されてよい。それらの様々な実施形態は、１つ又は複数のコンピュータプログラムに実施される形態を含むことができ、該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び／又は解釈されることができ、該プログラマブルプロセッサは、特定用途向け、または、汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、や少なくとも１つの出力装置から、データや命令を受信し、そして、データや命令を該記憶システム、該少なくとも１つの入力装置や、該少なくとも１つの出力装置に伝送することができる。
【0182】
本願の実施例によれば、本願は、コンピュータプログラムを提供し、コンピュータプログラムは、コンピュータ可読記憶媒体に記憶され、電子機器の少なくとも１つのプロセッサは、コンピュータ可読記憶媒体からコンピュータプログラムを読み取ることができ、コンピュータプログラムが少なくとも１つのプロセッサで実行されると、電子機器が上記いずれかの実施例に記載の手段を実行する。
【0183】
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、または、コードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、これらのコンピュータプログラムをアドバンスプロセス及び／又はオブジェクト指向型プログラミング言語、及び／又はアセンブリ言語／機械言語を利用して実施することができる。例えば、本明細書に使用される用語「機械可読媒体」や「コンピュータ可読媒体」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、デバイス、及び／又は装置（磁気ディスク、光ディスク、メモリ、プログラマブルロジック装置（ＰＬＤ）など）のことを指し、機械可読信号としての機械命令を受信する機械可読媒体を含む。用語「機械可読信号」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号のことを指す。
【0184】
ユーザとのインタラクションを提供するために、ここに記載のシステムや技術をコンピュータで実施することができ、該コンピュータは、ユーザへ情報をディスプレイするためのディスプレイ装置（ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニターなど）、及びキーボードやポインティングデバイス（マウス又はトラックボールなど）があり、ユーザは、該キーボードや該ポインティングデバイスを通じ、入力をコンピュータに提供することができる。その他の種類の装置は、ユーザとのインタラクションを提供するために使用されることができ、例えば、ユーザに提供されるフィードバックは、任意の形の感覚フィードバック（視覚フィードバック、聴覚フィードバック、または触感フィードバックなど）であってもよく、ユーザからの入力を任意の形（音入力、音声入力又は触感入力を含む）で受信することができる。
【0185】
ここに記載のシステムや技術は、バックグランドコンポーネントを含むコンピュータシステム（データサーバとして作用するなど）に、または、ミドルウェアコンポーネントを含むコンピュータシステム（アプリケーションサーバなど）に、または、フロントエンドコンポーネントを含むコンピュータシステム（グラフィカルユーザインタフェース、またはネットワークブラウザを備えるユーザコンピュータなど、ユーザは、該グラフィカルユーザインタフェース、または該ネットワークブラウザを通じてここに記載のシステムや技術に係る実施形態とインタラクションをすることができる）に、またはこのようなバックグランドコンポーネント、ミドルウェアコンポーネント、またはフロントエンドコンポーネントの任意の組み合わせを含むコンピュータシステムに実施されてもよい。システムのコンポーネントは、任意の形、または媒体のデジタルデータ通信（通信ネットワークなど）を通じて相互に接続されることができる。通信ネットワークは、例示的に、ローカルエリアネットワーク（ＬＡＮ）や、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを含む。
【0186】
コンピュータシステムは、クライアント端末やサーバを含むことができる。クライアント端末やサーバは、一般的に、互いに遠く離れており、通信ネットワークを通じてインタラクションをしている。対応するコンピュータでの実行、および、互いにクライアント端末・サーバという関係を有するコンピュータプログラムにより、クライアント端末とサーバとの関係を築き上げる。
【0187】
本願では、現在、動的ジェスチャによって電子機器を制御するプロセスでは、少数のジェスチャ画像をキャプチャした後、第１の対象を１回制御し、第１の対象に対して行われた隣接する２回の制御の基になっているジェスチャ画像には、同様なジェスチャ画像があることにより、動的ジェスチャによって電子機器を洗練的に制御する目的を実現する。
【0188】
上記に示した様々な形のフローを使用し、ステップを改めて並べ替えたり、増加したり、又は削除したりすることができると理解すべきである。例えば、本願に記載の各ステップは、本願に開示された技術的解決手段による所望の結果さえ実現されば、並行して実行されてもよく、順次実行されてもよく、又は順番を乱して実行されてもよいから、本文では、ここで限定されない。
【0189】
上記の具体的な実施形態は、本願の保護範囲に対する制限を構成しない。当業者であれば、設計要件やその他の要素に基づいた様々な修正、組み合わせ、下位組み合わせや代替が可能であると理解するべきである。本願の精神や原則の範囲内に行われるすべての修正、等価置換や改善は、いずれも本願の保護範囲に含まれるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
