特許 7653716 操作体をガイドして非接触操作を行う方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-21

(45)【発行日】2025-03-31

(54)【発明の名称】操作体をガイドして非接触操作を行う方法及び装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20250324BHJP

   G06F 3/0482 20130101ALI20250324BHJP

【ＦＩ】

G06F3/01 570

G06F3/0482

【請求項の数】 13

(21)【出願番号】P 2022567841

(86)(22)【出願日】2022-01-29

(65)【公表番号】

(43)【公表日】2023-08-10

(86)【国際出願番号】 CN2022075031

(87)【国際公開番号】W WO2022262292

(87)【国際公開日】2022-12-22

【審査請求日】2022-11-08

【審判番号】

【審判請求日】2024-07-25

(31)【優先権主張番号】202110661817.3

(32)【優先日】2021-06-15

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】522375752

【氏名又は名称】深▲せん▼地平▲線▼机器人科技有限公司

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】ロン、ジーチョウ

(72)【発明者】

【氏名】モー、フェイロン

(72)【発明者】

【氏名】リー、シャオペン

(72)【発明者】

【氏名】シュ、リャン

(72)【発明者】

【氏名】スン、ジュンカイ

【合議体】

【審判長】山澤 宏

【審判官】篠塚 隆

【審判官】北元 健太

(56)【参考文献】

【文献】特開平０８－３１５１５４（ＪＰ，Ａ）

【文献】特開２００１－０７０２９３（ＪＰ，Ａ）

【文献】特表２０２０－５３７２０９（ＪＰ，Ａ）

【文献】特開平０９－１２８１４１（ＪＰ，Ａ）

【文献】特開２０１５－１０８８７０（ＪＰ，Ａ）

【文献】国際公開第２０１６／１８１４４４（ＷＯ，Ａ１）

【文献】特開２０１０－１２２９８５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06F3/01

G06F3/033-3/039

G06F3/048-3/04895

(57)【特許請求の範囲】

【請求項1】

スクリーン上に、第１の予め設定された形状のグラフィックメニューを表示し、操作体とマッピング関係にあり且第２の予め設定された形状を有するアイコンを表示するステップと、
前記スクリーンに対して前記操作体が空間内で行う非接触操作を検出するステップと、
前記非接触操作に応答して、前記アイコンの前記スクリーン上での移動物理量を検出するステップと、
前記移動物理量と、前記グラフィックメニューにおける、前記アイコンに対応する対象機能領域とに基づいて、前記対象機能領域に対応するメニュー機能をトリガーするステップと、を含み、
前記移動物理量と、前記グラフィックメニューにおける、前記アイコンに対応する対象機能領域とに基づいて、前記対象機能領域に対応するメニュー機能をトリガーする前記ステップは、前記対象機能領域内における前記アイコンの第２の移動軌跡が、第２の予め設定された軌跡とマッチングする場合、前記対象機能領域に対応するメニュー機能をトリガーするステップ、を含む、操作体をガイドして非接触操作を行う方法。

【請求項2】

前記スクリーンに対して前記操作体が行うメニューポップアップ操作を検出し、前記メニューポップアップ操作が検出された場合、前記スクリーン上に、第１の予め設定された形状のグラフィックメニューを表示し、前記操作体とマッピング関係にあり且第２の予め設定された形状を有するアイコンを表示する前記ステップを実行するステップ、又は、
ユーザが発声した音声を検出し、前記音声に予め設定されたウェイクアップワードが含まれていることが検出された場合、前記スクリーン上に、第１の予め設定された形状のグラフィックメニューを表示し、前記操作体とマッピング関係にあり且第２の予め設定された形状を有するアイコンを表示する前記ステップを実行するステップ、をさらに含む、請求項１に記載の方法。

【請求項3】

前記スクリーンに対して前記操作体が行うメニューポップアップ操作を検出する前記ステップは、
前記スクリーンに対して前記操作体が行う予め設定された動作を検出するステップと、
前記予め設定された動作の持続時間を決定するステップと、
前記持続時間が第１の予め設定された時間以上である場合、前記スクリーンに対して前記操作体が行う前記メニューポップアップ操作が検出されたと決定するステップと、を含む、請求項２に記載の方法。

【請求項4】

前記操作体がユーザの手であり、
前記スクリーンに対して前記操作体が行うメニューポップアップ操作を検出する前記ステップは、
前記ユーザの手に対してジェスチャ認識を実行して、ジェスチャ認識結果を取得するステップと、
前記ジェスチャ認識結果で表されるジェスチャが予め設定されたジェスチャであり、且前記ユーザの手が予め設定された空間範囲内にある場合、前記ユーザの手が前記スクリーンに対して前記メニューポップアップ操作を行ったと決定するステップと、を含む、請求項２に記載の方法。

【請求項5】

前記スクリーンに対して前記操作体が行うメニューポップアップ操作を検出する前記ステップは、
前記空間内における前記操作体の第１の移動軌跡を決定するステップと、
前記第１の移動軌跡が第１の予め設定された軌跡であり、且つ前記第１の移動軌跡が予め設定された空間範囲内にある場合、前記操作体が前記スクリーンに対して前記メニューポップアップ操作を行ったと決定するステップと、を含む、請求項２に記載の方法。

【請求項6】

前記スクリーン上に、第１の予め設定された形状のグラフィックメニューを表示し、操作体とマッピング関係にあり且第２の予め設定された形状を有するアイコンを表示する前記ステップは、
前記空間内における前記操作体の現在の三次元座標位置が前記スクリーン上にマッピングされる二次元座標位置を決定するステップと、
前記二次元座標位置に前記第２の予め設定された形状を有するアイコンを表示するステップと、
前記二次元座標位置に基づいて前記スクリーン上に前記第１の予め設定された形状のグラフィックメニューを表示する目標位置を決定するステップと、
前記目標位置に前記グラフィックメニューを表示するステップと、を含む、請求項１に記載の方法。

【請求項7】

前記スクリーン上に、第１の予め設定された形状のグラフィックメニューを表示し、操作体とマッピング関係にあり且第２の予め設定された形状を有するアイコンを表示する前記ステップは、
前記操作体が前記スクリーン上にマッピングされる予め設定された初期位置を決定するステップと、
前記予め設定された初期位置に前記第２の予め設定された形状のアイコンを表示するステップと、
前記予め設定された初期位置に基づいてメニュー表示位置を決定するステップと、
前記メニュー表示位置に前記第１の予め設定された形状のグラフィックメニューを表示するステップと、を含む、請求項１に記載の方法。

【請求項8】

前記非接触操作に応答して、前記アイコンの前記スクリーン上での移動物理量を検出する前記ステップは、
前記空間内における前記操作体の現在の三次元座標が前記スクリーン上にマッピングされる二次元座標を決定するステップと、
前記非接触操作中の前記三次元座標の変化量に基づいて、前記二次元座標の前記スクリーン上での変化量を決定するステップと、
前記二次元座標の変化量に基づいて、前記アイコンの前記スクリーン上での移動物理量を決定するステップと、を含む、請求項１に記載の方法。

【請求項9】

前記移動物理量と、前記グラフィックメニューにおける、前記アイコンに対応する対象機能領域とに基づいて、前記対象機能領域に対応するメニュー機能をトリガーする前記ステップは、
前記対象機能領域に基づいて、前記対象機能領域に、対応するサブメニューがあるか否かを決定し、サブメニューがない場合、前記移動物理量に基づいて前記対象機能領域に対応する機能の実行をトリガーするトリガーステップと、
サブメニューがある場合、前記移動物理量に基づいて前記スクリーン上に前記サブメニューをトリガーして表示するステップと、
前記アイコンの前記スクリーン上での移動物理量を再度検出し、前記サブメニュー内で前記アイコンに対応する対象機能領域を決定するステップと、
再度検出された移動物理量と、前記サブメニューにおける対象機能領域とに基づいて、前記トリガーステップを継続して実行するステップと、を含む、請求項１に記載の方法。

【請求項10】

前記対象機能領域に対応するメニュー機能をトリガーする前記ステップは、
前記対象機能領域に対応する機能が予め設定された連続調整機能である場合、前記スクリーン上に前記連続調整機能に対応する調整制御インタフェースを表示するステップと、
前記スクリーン上にマッピングされる前記操作体の現在の二次元座標位置の移動軌跡に基づいて、前記連続調整機能を実行し、前記調整制御インタフェースにおける制御点の移動を制御するステップと、を含む、請求項１に記載の方法。

【請求項11】

スクリーン上に、第１の予め設定された形状のグラフィックメニューを表示し、操作体とマッピング関係にあり且第２の予め設定された形状を有するアイコンを表示するための表示モジュールと、
前記スクリーンに対して前記操作体が空間内で行う非接触操作を検出するための第１の検出モジュールと、
前記非接触操作に応答して、前記アイコンの前記スクリーン上での移動物理量を検出するための第２の検出モジュールと、
前記移動物理量と、前記グラフィックメニューにおける、前記アイコンに対応する対象機能領域とに基づいて、前記対象機能領域に対応するメニュー機能をトリガーするためのトリガーモジュールと、を含み、
前記トリガーモジュールは、前記対象機能領域内における前記アイコンの第２の移動軌跡が、第２の予め設定された軌跡とマッチングすると決定する場合、前記対象機能領域に対応するメニュー機能をトリガーするための第３のトリガーユニット、を含む、操作体をガイドして非接触操作を行う装置。

【請求項12】

前記請求項１～１０のいずれか一項に記載の方法を実行するためのコンピュータプログラムが記憶される、コンピュータ可読記憶媒体。

【請求項13】

プロセッサと、
前記プロセッサの実行可能命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリから前記実行可能命令を読み取り、前記命令を実行して前記請求項１～１０のいずれか一項に記載の方法を実現する、電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータ技術分野に関し、特に、操作体をガイドして非接触操作を行う方法、装置、コンピュータ可読記憶媒体及び電子機器に関する。

【背景技術】

【0002】

人工知能技術の発展につれて、スクリーンに表示された画面に対して、非接触操作を行う応用分野がますます広がっている。非接触操作方法はＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実）／ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実）、スマートフォン、スマート家電等のシーンで適用でき、人々が直接手でコントロールパネルを操作することが不便な場合に、非接触操作を用いて機器を操作することにより、人類の生活が便利になる。

【0003】

従来のジェスチャ認識による非接触操作方法は、通常、カメラで手の画像を撮影してジェスチャ認識を行い、ジェスチャの種別や移動軌跡等に応じて、対応する操作を行う。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の実施例は、操作体をガイドして非接触操作を行う方法、装置、コンピュータ可読記憶媒体及び電子機器を提供する。

【課題を解決するための手段】

【0005】

本開示の実施例は、操作体をガイドして非接触操作を行う方法を提供し、この方法は、スクリーン上に、第１の予め設定された形状のグラフィックメニューを表示し、操作体とマッピング関係にあり且つ第２の予め設定された形状を有するアイコンを表示するステップと、スクリーンに対して操作体が空間内で行う非接触操作を検出するステップと、非接触操作に応答して、アイコンのスクリーン上での移動物理量を検出するステップと、移動物理量と、グラフィックメニューにおける、アイコンに対応する対象（目標）機能領域とに基づいて、対象機能領域に対応するメニュー機能をトリガーするステップと、を含む。

【0006】

本開示の実施例の別の態様によれば、操作体をガイドして非接触操作を行う装置を提供し、この装置は、スクリーン上に、第１の予め設定された形状のグラフィックメニューを表示し、操作体とマッピング関係にあり且つ第２の予め設定された形状を有するアイコンを表示するための表示モジュールと、スクリーンに対して操作体が空間内で行う非接触操作を検出するための第１の検出モジュールと、非接触操作に応答して、アイコンのスクリーン上での移動物理量を検出するための第２の検出モジュールと、移動物理量と、グラフィックメニューにおける、アイコンに対応する対象機能領域とに基づいて、対象機能領域に対応するメニュー機能をトリガーするためのトリガーモジュールと、を含む。

【0007】

本開示の実施例の別の態様によれば、コンピュータ可読記憶媒体を提供し、コンピュータ可読記憶媒体に上記操作体をガイドして非接触操作を行う方法を実行するためのコンピュータプログラムが記憶される。

【0008】

本開示の実施例の別の態様によれば、電子機器を提供し、電子機器は、プロセッサと、プロセッサの実行可能命令を記憶するためのメモリと、を含み、プロセッサは、メモリから実行可能命令を読み取り、命令を実行して前記操作体をガイドして非接触操作を行う方法を実現する。

【発明の効果】

【0009】

本開示の上記実施例に係る操作体をガイドして非接触操作を行う方法、装置、コンピュータ可読記憶媒体及び電子機器は、スクリーン上にグラフィックメニュー、及び操作体とマッピング関係にあるアイコンを表示し、次に、スクリーンに対して操作体が空間内で行う非接触操作を検出するとともに、アイコンのスクリーン上での移動物理量を検出し、最後に、移動物理量と、グラフィックメニューにおける、アイコンに対応する対象機能領域とに基づいて、対象機能領域に対応するメニュー機能をトリガーすることにより、ユーザが非接触操作を行う際に、スクリーン上に表示されたグラフィックメニューとアイコンを用いて、ユーザが操作体を用いて非接触操作を行うように直感的にガイドすることができ、ユーザがどのように操作体を用いて様々な機能をトリガーするかを明確にすることができ、ユーザが正確に非接触操作を行うのに有利であり、同時にグラフィックメニューに表示されたメニュー項目の数を調整することにより、さらに非接触操作によってトリガーされる機能の数を拡張することができ、それによりユーザがより便利に非接触操作を行うことができる。

【0010】

以下、添付図面と実施例により、本開示の技術的解決手段をさらに詳しく説明する。
本開示の上記及び他の目的、特徴や利点は、添付図面を参照して本開示の実施例をより詳細に説明することによってより明らかになるであろう。図面は本開示の実施例の更なる理解を提供するためのものであり、且つ明細書の一部を構成するものであり、本開示の実施例とともに本開示を解釈するために用いられ、本開示を限定するものではない。図面において、同一の参照番号は、一般的に同一の構成要素又はステップを表す。

【図面の簡単な説明】

【0011】

【図1A】本開示を適用したシステム図である。

【図1B】本開示を適用したシステムアーキテクチャに含まれるスクリーンの概略図である。

【図2】本開示の一例示的実施例に係る、操作体をガイドして非接触操作を行う方法のフローチャートである。

【図3】本開示の別の例示的実施例に係る、操作体をガイドして非接触操作を行う方法のフローチャートである。

【図4】本開示の別の例示的実施例に係る、操作体をガイドして非接触操作を行う方法のフローチャートである。

【図5】本開示の別の例示的実施例に係る、操作体をガイドして非接触操作を行う方法のフローチャートである。

【図6A】本開示の別の例示的実施例に係る、操作体をガイドして非接触操作を行う方法の、対象機能領域をトリガーする例を示す図である。

【図6B】本開示の別の例示的実施例に係る、操作体をガイドして非接触操作を行う方法の、対象機能領域をトリガーする例を示す図である。

【図6C】本開示の別の例示的実施例に係る、操作体をガイドして非接触操作を行う方法の、対象機能領域をトリガーする例を示す図である。

【図7】本開示の別の例示的実施例に係る、操作体をガイドして非接触操作を行う方法のフローチャートである。

【図8】本開示の別の例示的実施例に係る、操作体をガイドして非接触操作を行う方法の連続調整用の調整制御インタフェースの例を示す図である。

【図9】本開示の一例示的実施例に係る、操作体をガイドして非接触操作を行う装置の構造概略図である。

【図10】本開示の別の例示的実施例に係る、操作体をガイドして非接触操作を行う装置の構造概略図である。

【図11】本開示の一例示的実施例に係る、電子機器の構造図である。

【発明を実施するための形態】

【0012】

以下、添付された図面を参照して本開示の例示的な実施例を詳細に説明する。もちろん、説明された実施例は、本開示の一部の実施例に過ぎず、全ての実施例ではなく、本開示が本明細書に記載された実施例に限定されないことを理解されたい。

【0013】

留意すべきことは、具体的な説明がない限り、これらの実施例において説明する構成要素及びステップの相対的な配置、数字表現方法及び数値は本開示の範囲を制限するものではない、ということである。

【0014】

当業者であれば理解できるように、本開示の実施例における「第１の」、「第２の」等の用語は異なるステップ、装置又はモジュール等を区別するために用いられるだけであり、いかなる特定の技術的意味及び必然的な論理的順序をも表すものではない。

【0015】

また、本開示の実施例において、「複数」は２つ又は２つ以上を指し、「少なくとも１つ」は１つ、２つ又は２つ以上を指すことを理解されたい。

【0016】

また、本開示の実施例で言及される構成要素、データ又は構造のいずれかに関しては、明示的に定義されていないか、又は前後に逆の示唆が与えられていない場合には、１つ又は複数が一般的に理解されるべきであることを理解されたい。

【0017】

さらに、本開示において用語「及び／又は」は、関連オブジェクトの関連関係を記述するためのものに過ぎず、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢが同時に存在し、Ｂのみが存在するという３つの場合を示すことができる。さらに、本開示において文字「／」は、一般的には前後関連オブジェクトが「又は」の関係であることを示す。

【0018】

また、本開示の各実施例の説明は、主に各実施例間の相違点を強調するものであるが、その同一点又は類似点が相互参照できるので、簡潔にするために、一々詳しく説明しないことが理解されたい。

【0019】

同時に、自明なことであるが、説明の便宜上、図面に示す各部分の寸法は実際の比率関係で描画されているものではない。

【0020】

以下、少なくとも１つの例示的な実施例に対する記述は、実際には単に説明的なものに過ぎず、本開示及びその応用又は使用に対する如何なる制限とすることはない。

【0021】

当業者に知られている技術、方法及び装置は、詳細には説明されていないが、適切な場合には、前記技術、方法及び装置が本明細書の一部であると見なされるべきである。

【0022】

留意すべきことは、類似した符号及び文字は以下の図面で類似した項目を示すものであるため、ある項目が１つの図面で定義されたのであれば、その後の図面ではこれをさらに論ずる必要がない、ということである。

【0023】

本開示の実施例は、多くの他の汎用又は専用のコンピューティングシステム環境又は構成とともに動作し得る、端末装置、コンピュータシステム、サーバ等の電子機器に適用され得る。端末装置、コンピュータシステム、サーバ等の電子機器とともに使用するのに適した周知の端末装置、コンピューティングシステム、環境及び／又は構成の例としては、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルド又はラップトップデバイス、マイクロプロセッサ型システム、セットトップボックス、プログラマブル家電製品、ネットワークパーソナルコンピュータ、ミニコンピュータシステム、大型コンピュータシステム及び上記システムのいずれかを含む分散型クラウドコンピューティング技術環境等が挙げられるが、これらに限定されない。

【0024】

端末装置、コンピュータシステム、及びサーバ等の電子機器は、コンピュータシステムによって実行されるコンピュータシステム実行可能命令（例えば、プログラムモジュール）の一般的な文脈において記述されてもよい。通例では、プログラムモジュールは、特定のタスクを行ったり特定の抽象データ型を実現したりする、ルーチン、プログラム、目的プログラム、コンポーネント、ロジック及びデータ構造等を含んでいてもよい。コンピュータシステム／サーバは分散型クラウドコンピューティング環境で実現されてもよく、分散型クラウドコンピューティング環境では、タスクは、通信ネットワークを通じてリンクされているリモート処理装置によって実行され、プログラムモジュールは、記憶装置を含むローカル又はリモートコンピューティングシステム記憶媒体上に置かれていてもよい。

【0025】

（出願の概要）
従来の非接触操作方法は、マンマシンインタラクションの過程で、スクリーン上にどのように操作を行うかのプロンプトを提示せず、ユーザがどのようにジェスチャ操作を行うかについて不明であり、また、異なる操作方式（例えば、手のジェスチャー）がどの異なる機能に対応するかについても不明であり、ブラインド操作が成功した後にのみ操作成功のプロンプトを得て、適切なガイダンスに欠ける。また、現在の非接触操作方法は、操作体の速度、幅、及び手のジェスチャ等に大きな制限要求があり、ユーザは標準的な動作で操作しなければならない。最後に、現在の非接触操作方法では、１つの動作又は姿勢が１つの機能にしか対応することができず、非接触操作の拡張性が低い。

【0026】

（例示的なシステム）
図１Ａは、本開示の実施例を適用した、操作体をガイドして非接触操作を行う方法、又は操作体をガイドして非接触操作を行う装置の例示的なシステムアーキテクチャ１００を示し、図１Ｂは、端末装置１０１上のスクリーン１０１１の概略図を示す。

【0027】

図１Ａに示されるように、システムアーキテクチャ１００は、端末装置１０１、ネットワーク１０２、サーバ１０３及びデータ収集装置１０４を含み得る。ネットワーク１０２は、端末装置１０１とサーバ１０３との間の通信リンクを提供する媒体として使用される。ネットワーク１０２は、有線通信リンク、無線通信リンク、又は光ファイバケーブル等の様々な接続タイプを含み得る。

【0028】

ユーザは、端末装置１０１を用いて、ネットワーク１０２を介してサーバ１０３とインタラクションを行い、メッセージ等を受信又は送信してもよい。端末装置１０１には、音声映像再生アプリケーション、ナビゲーション系アプリケーション、ゲーム系アプリケーション、検索系アプリケーション、ウェブブラウザアプリケーション、又はインスタントメッセンジャー等の各種通信クライアントアプリケーションがインストールされている。

【0029】

端末装置１０１は、車載端末、携帯電話、ノートパソコン、デジタル放送受信機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、携帯情報端末）、ＰＡＤ（Ｐｏｒｔａｂｌｅ Ａｎｄｒｏｉｄ（登録商標） Ｄｅｖｉｃｅ、タブレットＰＣ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｅｄｉａ Ｐｌａｙｅｒ、ポータブルメディアプレーヤー）等のモバイル端末及びデジタルテレビ（ｔｅｌｅｖｉｓｉｏｎ、ＴＶ）、デスクトップパソコン等の固定端末を含んでいるが、これらに限定されない様々な電子機器であり得る。端末装置１０１は、一般に、図１Ｂに示される、グラフィックメニューと、操作体のリアルタイム位置に対応するアイコンとを表示することができるスクリーン１０１１を含む。ユーザは、スクリーン１０１１を介して端末装置１０１又はサーバ１０３とマンマシンインタラクションを行う。

【0030】

サーバ１０３は、端末装置１０１がリアルタイムにアップロードした操作体の姿勢及び位置等を分析するバックグラウンドサーバ等の、様々なサービスを提供するサーバであってもよい。バックグラウンドサーバは、ユーザの非接触操作に応答し、処理結果（例えば、メニュー機能をトリガーするように指示する命令）を取得し、処理結果を端末装置にフィードバックすることができる。

【0031】

データ収集装置１０４は、操作体の位置又は姿勢等のデータを収集するための様々な装置であってもよく、例えば、単眼カメラ、両眼ステレオカメラ、レーザーレーダ、又は三次元構造化光画像化装置等である。

【0032】

なお、本開示の実施例に係る操作体をガイドして非接触操作を行う方法は、サーバ１０３によって実行されてもよいし、端末装置１０１によって実行されてもよく、それに応じて、操作体をガイドして非接触操作を行う装置は、サーバ１０３に設けられてもよいし、端末装置１０１に設けられてもよい。

【0033】

図１Ａにおける端末装置、ネットワーク、及びサーバの数は、単なる例示であることが理解されるべきである。実現のニーズに応じて、端末装置、ネットワーク及びサーバは、任意の数だけ備えられてもよい。操作体の認識に必要なデータをリモートで取得する必要がない場合には、上記のシステムアーキテクチャは、ネットワークを含まず、サーバ又は端末装置のみを含んでもよい。

【0034】

（例示的な方法）
図２は、本開示の一例示的実施例に係る操作体をガイドして非接触操作を行う方法のフローチャートである。本実施例は、電子機器（図１Ａに示される端末装置１０１又はサーバ１０３）に適用することができ、図２に示されるように、この方法は、ステップ２０１～ステップ２０４を含む。

【0035】

ステップ２０１で、スクリーン上に、第１の予め設定された形状のグラフィックメニューを表示し、操作体とマッピング関係にあり且つ第２の予め設定された形状を有するアイコンを表示する。

【0036】

本実施例においては、電気機器は、図１Ｂに示されるスクリーン１０１１上に、第１の予め設定された形状のグラフィックメニューを表示し、操作体とマッピング関係にあり且つ第２の予め設定された形状を有するアイコンを表示することができる。ここで、前記スクリーンは、車両の中央制御スクリーン、屋内に配置されたスマートテレビ及びスマートフォン等の任意のタイプの電子機器のスクリーンであってもよい。

【0037】

グラフィックメニューの第１の予め設定された形状は、図１Ｂに示される円形メニュー１０１１１及び図１Ｂに示されていない矩形メニュー等の任意の形状であってもよい。グラフィックメニューは、少なくとも１つの機能領域を含み、各機能領域は、サブメニューのポップアップ、音量調整の実行、トラックの変更、及び特定の装置のスイッチの制御等、トリガーされると対応するメニュー機能を実行することができる。

【0038】

前記操作体は、制御される装置に対して非接触操作を行う各種ハードウェア実体、あるいはユーザの特定の身体部位であってもよく、例えば、操作体は、ユーザの手や頭部等の身体部位であってもよく、また、予め設定された形状を有し、前記電子機器にリアルタイムで位置情報を出力できるハンドル等のハードウェア実体であってもよく、例えば、予め設定された形状はＶ字形等であってもよく、また、特定の形状を有するその他の物体であってもよい。

【0039】

電子機器は、空間内での操作体の位置をリアルタイムで検出することができ、検出された位置をスクリーン上の対応する位置にマッピングし、スクリーン上の対応する位置に図１Ｂに示される第２の予め設定された形状のアイコン１０１１２を表示し、すなわち、操作体の移動に伴ってこのアイコンの位置が移動する効果を奏する。第２の予め設定された形状は、図１Ｂに示される尾を引く水滴状、及び図１Ｂに示されていない球状、点状、又は指針状等の様々な形状であってもよい。

【0040】

この場合、アイコンと操作体とのマッピング関係は、アイコンのスクリーン上での位置が、空間内での操作体の位置がスクリーン上にマッピングされる対応する位置であることを指す。それに応じて、操作体の移動中に、操作体の移動に伴ってアイコンのスクリーン上での位置が移動する。

【0041】

ステップ２０２で、スクリーンに対して操作体が空間内で行う非接触操作を検出する。

【0042】

本実施例においては、電子機器は、様々な方法に基づいて、スクリーンに対して操作体が空間内で行う非接触操作をリアルタイムで検出することができる。非接触操作は、スクリーンと非接触で、操作体を用いてユーザが、制御される装置（例えば、車載用音響装置、エアコン、及びテレビ等）とインタラクションを行う操作であってもよい。例として、非接触操作は、操作体の移動軌跡に基づく操作、操作体の移動方向に基づく操作、操作体の移動距離に基づく操作、及び操作体の姿勢（例えば、手のジェスチャ）に基づく操作等を含んでいるが、これらに限定されない。

【0043】

一般に、電子機器は、図１Ａに示されるデータ収集装置１０４によって操作体に対して収集された認識を要するデータを取得し、認識を要するデータを認識して、認識結果に基づいて操作体によって行われた非接触操作を決定することができる。例として、データ収集装置１０４は単眼カメラであってもよく、電子機器は、単眼カメラがリアルタイムで収集した画像フレームを認識し、操作体の画像フレームでの位置又は操作体の姿勢を決定することができる。また、例えば、データ収集装置１０４は両眼ステレオカメラであってもよく、電子機器は、両眼ステレオカメラがリアルタイムで収集した両眼画像を認識し、操作体の三次元空間での位置を決定することができる。

【0044】

ステップ２０３で、非接触操作に応答して、アイコンのスクリーン上での移動物理量を検出する。

【0045】

本実施例においては、電子機器は、非接触操作に応答して、アイコンのスクリーン上での移動物理量を検出することができる。ここで、移動物理量は、スクリーン上でアイコンが移動する特定の特徴を表す、アイコンの移動距離、移動速度、又は移動方向等の物理量であってもよい。

【0046】

ステップ２０４で、移動物理量と、グラフィックメニューにおけるアイコンに対応する対象機能領域とに基づいて、対象機能領域に対応するメニュー機能をトリガーする。

【0047】

本実施例においては、電子機器は、移動物理量と、グラフィックメニューにおけるアイコンに対応する対象機能領域とに基づいて、対象機能領域に対応するメニュー機能をトリガーすることができる。ここで、グラフィックメニューは、少なくとも１つの機能領域を含むことができ、各機能領域は、１つのメニュー機能に対応することができる。メニュー機能は事前設定でき、例えば、メニュー機能は、トリガーされた機能領域のサブメニューをポップアップするか、又は制御される装置が対応する機能（例えば、ビデオの再生、音量の調整、エアコン温度の調整又はウィンドウスイッチの制御等）を実行するように制御する機能であってもよい。メニュー機能のトリガー方法は、例えば、アイコンが対象機能領域に移動すると、メニュー機能がトリガーされるか、又はアイコンが対象機能領域内に滞在している時間が予め設定された時間に達すると、メニュー機能がトリガーされる等、複数種の方法を含んでもよい。図１Ｂに示されるように、アイコン１０１１２が音楽としてマークされた対象機能領域に滞在している時間が予め設定された時間に達すると、音楽機能のサブメニュー１０１１３をポップアップする。

【0048】

対象機能領域は、前記の少なくとも１つの機能領域のうちアイコンと対応する関係を有する機能領域であってもよく、例として、アイコンがある機能領域内に移動すると、アイコンがこの機能領域と対応する関係にあると決定する場合、この機能領域が対象機能領域であり、この場合、移動物理量に基づいて、アイコンがある機能領域に移動したと決定する場合、この機能領域が対象機能領域である。また例えば、アイコンの移動軌跡が、ある機能領域に対応する予め設定された移動軌跡に合致すると、アイコンがこの機能領域と対応する関係にあると決定する場合、この機能領域が対象機能領域であり、この場合、移動物理量に基づいて、アイコンの移動軌跡がある機能領域に対応する予め設定された移動軌跡に合致すると決定する場合、この機能領域が対象機能領域である。

【0049】

本開示の前記実施例に係る方法は、スクリーン上にグラフィックメニュー、及び操作体とマッピング関係にあるアイコンを表示し、次に、スクリーンに対して操作体が空間内で行う非接触操作を検出するとともに、アイコンのスクリーン上での移動物理量を検出し、最後に、移動物理量と、グラフィックメニューにおけるアイコンに対応する対象機能領域とに基づいて、対象機能領域に対応するメニュー機能をトリガーすることにより、ユーザが非接触操作を行う際に、スクリーン上に表示されたグラフィックメニューとアイコンを用いて、ユーザが操作体を用いて非接触操作を行うように直感的にガイドすることができ、ユーザがどのように操作体を用いて様々な機能をトリガーするかを明確にすることができ、ユーザが正確に非接触操作を行うのに有利であり、同時にグラフィックメニューに表示されたメニュー項目の数を調整することにより、さらに非接触操作によってトリガーされる機能の数を拡張することができ、それによりユーザがより便利に非接触操作を行うことができる。

【0050】

いくつかの選択可能な実施形態において、この方法はさらに、
スクリーンに対して操作体が行うメニューポップアップ操作を検出し、メニューポップアップ操作を検出すると、前記のステップ２０１を実行するステップ、又は、ユーザが発声した音声を検出し、音声に含まれている予め設定されたウェイクアップワード（例えば、「メニューポップアップ」又は「こんにちは」等のキーワード）を検出した場合、前記のステップ２０１を実行するステップを含んでもよい。

【0051】

ここで、メニューポップアップ操作は、操作体が特定方式の移動を行ったり特殊な姿勢を呈したりする等、グラフィックメニューのポップアップをトリガーする操作である。ユーザが発声した音声を検出する方法は、既存の音声認識方法であってもよい。例えば、ニューラルネットワークに基づく音声認識モデルを使用して、ユーザの音声信号をテキストに変換し、テキストから予め設定されたウェイクアップワードを決定することができる。

【0052】

本実施形態は、操作体が行うメニューポップアップ操作を検出すること、又はユーザの音声を検出することにより、グラフィックメニューのポップアップの多様化を実現することができ、ユーザが非接触操作を行う柔軟性を向上させ、非接触操作をより便利にする。

【0053】

いくつかの選択可能な実施形態において、図３に示されるように、電子機器は、ステップ３０１～ステップ３０３を実行してメニューポップアップ操作を検出することができる。

【0054】

ステップ３０１で、スクリーンに対して操作体が行う予め設定された動作を検出する。

【0055】

ここで、予め設定された動作は、静的動作（例えば、ある位置で１つの姿勢を維持する）であってもよいし、動的動作（例えば、ある軌跡での移動又は姿勢の変化）であってもよい。電子機器は、既存の動作検出方法（例えば、深層学習に基づく動作検出方法）に基づいて操作体の動作を検出することができる。

【0056】

ステップ３０２で、予め設定された動作の持続時間を決定する。

【0057】

例えば、前記操作体がユーザの手であると、手に対してジェスチャ認識を実行でき、ジェスチャが予め設定されたジェスチャであると、このジェスチャの持続時間を決定する。また例えば、操作体の移動軌跡が予め設定された軌跡であるか否かを決定し、予め設定された軌跡である場合、この移動軌跡の持続時間を決定する。

【0058】

ステップ３０３で、持続時間が第１の予め設定された時間以上である場合、スクリーンに対して操作体が行うメニューポップアップ操作が検出されたと決定する。

【0059】

例として、予め設定された手のジェスチャがＶ字形ジェスチャであると仮定して、ユーザの手がＶ字形ジェスチャを維持する時間が第１の予め設定された時間以上である場合、メニューポップアップ操作が行われたと決定され、次に、スクリーン上にグラフィックメニューがポップアップされる。

【0060】

本実施形態は、操作体が予め設定された動作を行う持続時間を検出することによって操作体がメニューポップアップ操作を行ったか否かを決定し、メニューポップアップ操作の複雑さを高め、ユーザの誤操作の発生確率を低減することができる。

【0061】

いくつかの選択可能な実施形態において、操作体がユーザの手である。これに基づき、電子機器は、以下のステップによって、操作体が行ったメニューポップアップ操作を検出することができる。

【0062】

最初に、ユーザの手に対してジェスチャ認識を実行して、ジェスチャ認識結果を取得する。ここで、ユーザに対してジェスチャ認識を実行する方法は従来技術を用いて実現されてもよく、ここでは説明を省略する。

【0063】

次に、ジェスチャ認識結果で表されるジェスチャが予め設定されたジェスチャであり、且つユーザの手が予め設定された空間範囲内にある場合、ユーザの手がスクリーンに対してメニューポップアップ操作を行ったと決定する。

【0064】

ここで、予め設定された空間範囲は、図１Ａに示されるデータ収集装置１０４の検出範囲であり得るか、又は予め設定された、スクリーンの表示範囲に対応する三次元空間内の範囲であり得る。予め設定されたジェスチャは、静的ジェスチャ（例えば、Ｖ字形ジェスチャ又は握りジェスチャ等）であってもよいし、動的ジェスチャ（例えば、特定のジェスチャで特定の軌跡に従って移動したり、いくつかの予め設定されたジェスチャを切り替えたりすること）であってもよい。

【0065】

本実施形態は、ジェスチャ認識により操作体がメニューポップアップ操作を行ったか否かを検出し、その実現方法とユーザの操作方法がより簡単で、グラフィックメニューを迅速にポップアップするのに有利である。

【0066】

いくつかの選択可能な実施形態において、電子機器は、以下のステップによって、操作体が行ったメニューポップアップ操作を検出することができる。

【0067】

最初に、空間内における操作体の第１の移動軌跡を決定する。ここで、操作体の移動軌跡を決定する方法は、従来技術に基づいて実施することができ、例えば、図１Ａに示されるデータ収集装置１０４はカメラであってもよく、電子機器は、カメラを使用して操作体に対して撮影した複数の画像フレームに対して軌跡認識を実行し、操作体が行った第１の移動軌跡を決定する。

【0068】

次に、第１の移動軌跡が第１の予め設定された軌跡であり、且つ第１の移動軌跡が予め設定された空間範囲内にある場合、操作体がスクリーンに対してメニューポップアップ操作を行ったと決定する。

【0069】

例として、第１の予め設定された軌跡は空間内の円形又は波線の軌跡等であってもよい。

【0070】

本実施形態は、操作体の移動軌跡を認識することにより、移動軌跡が第１の予め設定された軌跡である場合、グラフィックメニューがポップアップし、操作体の軌跡認識を行うだけで、操作体の姿勢認識を行う必要がなく、その実施形態はシンプルで認識精度が高く、メニューポップアップ操作を効率的に認識することに有利である。

【0071】

いくつかの選択可能な実施形態において、図４に示されるように、ステップ２０１は、ステップ２０１１～ステップ２０１４を含むことができる。

【0072】

ステップ２０１１で、空間内における操作体の現在の三次元座標位置がスクリーン上にマッピングされる二次元座標位置を決定する。

【0073】

電子機器は、既存の空間位置検出方法を用いて、操作体の三次元座標位置を決定することができ（例えば、深層画像認識法又はレーザーポイントクラウド認識方法によって三次元座標位置を決定する）、次に、予め設定された三次元座標位置とスクリーン上の二次元座標位置との対応関係に基づいて、操作体が現在スクリーンにマッピングしている二次元座標位置を決定する。

【0074】

ステップ２０１２で、二次元座標位置に第２の予め設定された形状を有するアイコンを表示する。

【0075】

ステップ２０１３で、二次元座標位置に基づいてスクリーン上に第１の予め設定された形状のグラフィックメニューを表示する目標位置を決定する。

【0076】

一般に、電子機器は、前記の二次元座標位置を基準位置とし、予め設定された、グラフィックメニューの位置と基準位置との間の対応関係を用いて、グラフィックメニューを表示する目標位置を決定することができる。例えば、前記の基準位置は、目標位置であってもよいか、又は基準位置が位置する予め分割されたグリッド領域に対応する固定位置が目標位置であってもよい。

【0077】

ステップ２０１４で、目標位置にグラフィックメニューを表示する。

【0078】

例として、第１の予め設定された形状が円形である場合、目標位置を円の中心として、円形のグラフィックメニューをスクリーン上に表示することができる。

【0079】

本実施形態は、最初にアイコンの二次元座標位置を決定し、次にアイコンの二次元座標位置に基づいてグラフィックメニューの位置を決定することにより、グラフィックメニューの位置を操作体のリアルタイムの空間位置に関連付け、ユーザがグラフィックメニューの表示位置を制御でき、これにより、ユーザの操作を容易にし、非接触操作の柔軟性を向上させる。

【0080】

いくつかの選択可能な実施形態において、図５に示されるように、ステップ２０１は、ステップ２０１５～ステップ２０１８を含むことができる。

【0081】

ステップ２０１５で、操作体がスクリーン上にマッピングされる予め設定された初期位置を決定する。

【0082】

ここで、予め設定された初期位置は、スクリーンの中央等の固定位置であってもよい。予め設定された初期位置は、この操作体をガイドして非接触操作を行う方法を開始する際に、最初に操作体の位置をスクリーン上にマッピングする位置であってもよい。

【0083】

ステップ２０１６で、予め設定された初期位置に第２の予め設定された形状のアイコンを表示する。

【0084】

ステップ２０１７で、予め設定された初期位置に基づいて、メニュー表示位置を決定する。

【0085】

一般に、電子機器は、予め設定された初期位置を基準位置とし、予め設定された、グラフィックメニューの位置と基準位置との間の対応関係を用いて、グラフィックメニューを表示するメニュー表示位置を決定し、すなわち、グラフィックメニューの位置と基準位置との間の対応関係を予め設定することができ、電子機器は、この対応関係に基づいてグラフィックメニューを表示するためのメニュー表示位置を決定する。例えば、前記の基準位置は、メニュー表示位置であってもよいか、又は基準位置が位置する予め分割されたグリッド領域に対応する固定位置がメニュー表示位置であってもよい。

【0086】

ステップ２０１８で、メニュー表示位置に第１の予め設定された形状のグラフィックメニューを表示する。

【0087】

なお、ステップ２０１５～ステップ２０１８は、前記選択可能な実施例で説明したメニューポップアップ操作と組み合わせることができ、すなわち、メニューポップアップ操作を検出すると、ステップ２０１５～ステップ２０１８を実行する。例えば、ユーザの手のジェスチャが予め設定されたジェスチャであることを検出すると、スクリーンの中央（すなわち、予め設定された初期位置）に前記アイコンを表示し、スクリーンの中央を円の中心として、円形のグラフィックメニューを表示する。

【0088】

本実施形態は、予め設定された初期位置に基づいてメニュー表示位置を決定することにより、グラフィックメニューをポップアップする方法を充実させると同時に、スクリーン上の固定位置にグラフィックメニューを表示することを実現でき、グラフィックメニューの表示位置が操作体の移動に従って変化せず、ユーザがスクリーン上でグラフィックメニューを探す必要がないため、ユーザによる非接触操作をより一層容易にする。

【0089】

いくつかの選択可能な実施形態において、ステップ２０３は、以下のように実行され得る。

【0090】

最初に、空間内における操作体の現在の三次元座標がスクリーン上にマッピングされる二次元座標を決定する。

【0091】

具体的には、電子機器は、予め設定された、操作体が位置する空間とスクリーンの表示範囲との間のマッピング関係に基づいて、操作体が現在スクリーン上にマッピングされる二次元座標をリアルタイムで決定することができる。

【0092】

次に、非接触操作中の三次元座標の変化量に基づいて、スクリーン上での二次元座標の変化量を決定する。

【0093】

一般に、操作体が位置する空間に対する三次元座標系のいずれかの座標軸（例えば、カメラの光軸に平行な座標軸）を無視でき、他の２つの座標軸上の座標変化量と前記マッピング関係により、二次元座標のスクリーン上での変化量を決定する。

【0094】

最後に、二次元座標の変化量に基づいて、アイコンのスクリーン上での移動物理量を決定する。

【0095】

二次元座標の変化量に応じて、アイコンの移動方向（直線移動軌跡と水平線とのなす角で移動方向を示すことができる）、移動速度又は移動軌跡等の物理量を移動物理量として決定することができる。

【0096】

本実施形態は、操作体の三次元座標変化量を利用して、スクリーン上にマッピングされる二次元座標変化量を決定して移動物理量を決定し、操作体の位置を正確に追跡することができ、それによりグラフィックメニュー中の対象機能領域を正確に決定し、ユーザが非接触操作をより正確に実行するのに寄与する。

【0097】

いくつかの選択可能な実施形態において、ステップ２０４では、電子機器は、以下の３つの方法のいずれかで、対象機能領域に対応するメニュー機能をトリガーすることができる。

【0098】

方法１：アイコンがグラフィックメニューにおける対象機能領域に移動し、対象機能領域におけるアイコンの連続滞在時間が第２の予め設定された時間以上である場合、対象機能領域に対応するメニュー機能をトリガーする。

【0099】

例として、図６Ａに示されるように、この操作体をガイドして非接触操作を行う方法は車両に適用され、中央制御スクリーンに表示されたグラフィックメニューは円盤状のメニューであり、音楽、シート、カスタマイズ及びエアコンとしてそれぞれマークされた４つの機能領域を含み、グラフィックメニューの中央領域は前記アイコンの初期位置であり、操作体の位置に対応するアイコンが水滴状アイコンである。アイコンが音楽とマークされた機能領域内に移動する場合、この機能領域が対象機能領域であり、同時に計時を開始し、アイコンが対象機能領域内に滞在する時間が第２の予め設定された時間に達する場合、図に示すような音量調整及び音楽変更のためのサブメニューのポップアップ等の対応するメニュー機能をトリガーする。

【0100】

方法２：アイコンが対象機能領域内の予め設定された位置にある場合、対象機能領域に対応するメニュー機能をトリガーする。

【0101】

例として、図６Ｂに示されるように、アイコンが円盤状のグラフィックメニューの外縁の円環領域に接触している場合、接触した円環領域に対応する機能領域を対象機能領域（すなわち、図に示されるような音楽とマークされた領域）として、図に示された音量調整及び音楽変更のためのサブメニューをポップアップする。

【0102】

方法３：対象機能領域におけるアイコンの第２の移動軌跡が、第２の予め設定された軌跡とマッチングする場合、対象機能領域に対応するメニュー機能をトリガーする。

【0103】

例として、図６Ｃに示されるように、対象機能領域（すなわち、図に示されるような音楽としてマークされた領域）におけるアイコンの移動軌跡が、図における矢印で示すように往復移動する場合、図に示されるような音量調整及び音楽変更のためのサブメニューをポップアップする。

【0104】

本実施形態は、対象機能領域のメニュー機能をトリガーする複数の手段を提供し、ユーザが非接触操作を行う柔軟性をより高めることができ、ユーザが自身の習慣に合ったトリガー方式を選択することを容易にする。

【0105】

いくつかの選択可能な実施形態において、図７に示されるように、ステップ２０４は、以下のように実行され得る。

【0106】

対象機能領域に基づいて、以下のトリガーステップ（ステップ２０４１～２０４４を含む）を実行する。

【0107】

ステップ２０４１で、対象機能領域に、対応するサブメニューがあるか否かを決定する。

【0108】

サブメニューがない場合、ステップ２０４２を実行し、サブメニューがある場合、ステップ２０４３を実行する。

【0109】

ステップ２０４２で、移動物理量に基づいて、対象機能領域に対応する機能の実行をトリガーする。

【0110】

ここで、対象機能領域の機能をトリガーする方法は、前記の選択可能な実施形態のうちの３つの方法のいずれかを含んでよいが、これらに限定されない。例として、対象機能領域に対応する機能がナビゲーション機能の起動である場合、移動物理量がトリガー条件に合致すると、ナビゲーション機能を起動する。

【0111】

ステップ２０４３で、移動物理量に基づいてスクリーン上にサブメニューをトリガーして表示し、ステップ２０４４を実行する。

【0112】

ここで、サブメニューをトリガーして表示する方法は、前記の選択可能な実施形態のうちの３つの方法のいずれかを含んでよいが、これらに限定されない。図６Ａ、図６Ｂ又は図６Ｃに示されるように、音楽とマークされた対象機能領域が対応するサブメニューを有する場合、このサブメニューをポップアップする。

【0113】

ステップ２０４４で、アイコンのスクリーン上での移動物理量を再度検出し、サブメニュー内でアイコンに対応する対象機能領域を決定する。

【0114】

ここで、移動物理量を検出する方法は前記ステップ２０３と同じであり、対象機能領域を決定する方法は、前記ステップ２０４に説明された対象機能領域を決定する方法と同じであり、ここではその説明を省略する。

【0115】

ステップ２０４５で、再度検出された移動物理量と、サブメニューにおける対象機能領域とに基づいて、トリガーステップを継続して実行する。

【0116】

複数回繰り返した後、現在の対象機能領域にサブメニューがなくなったことを検出する場合、繰り返しを終了する。本実施形態は、トリガーステップを繰り返し実行することにより、グラフィックメニューがマルチレベルサブメニューを含むように設定された非接触操作を実現し、非接触操作により実現される機能をより豊富にし、グラフィックメニューを拡張するのに有利である。

【0117】

いくつかの選択可能な実施形態において、上記ステップ２０４は、以下のサブステップをさらに含むことができる。

【0118】

最初に、対象機能領域に対応する機能が予め設定された連続調整機能である場合、スクリーン上に連続調整機能に対応する調整制御インタフェースを表示する。

【0119】

図８に示されるように、対象機能領域が音量を連続調整する機能である場合、スクリーン上に音量を調整するための条状の調整制御インタフェースを表示する。

【0120】

次に、スクリーン上にマッピングされる操作体の現在の二次元座標位置の移動軌跡に基づいて、連続調整機能を実行し、調整制御インタフェースにおける制御点の移動を制御する。

【0121】

具体的には、スクリーン上にマッピングされる操作体の二次元座標の変化量に基づいて、図８に示される制御点８０１を上下に移動することにより、音量を調整することができる。また例えば、調整制御インタフェースは、円形ノブの形状であってもよく、スクリーン上にマッピングされる操作体の移動軌跡が円形である場合、操作体の移動に合わせてノブを回転させて音量を調整することができる。

【0122】

本実施形態は特定の機能を連続調整する非接触操作方法を提供し、これにより特定の適用に対して正確な調整を実現し、非接触操作の方法を豊富にし、非接触操作の調整精度を高める。

【0123】

いくつかの選択可能な実施形態において、上記ステップ２０４では、電子機器はさらに、対象機能領域を強調表示することができる。所望により、対象機能領域をハイライト又は拡大する等の方法で、対象機能領域を強調表示する。対象機構領域を強調表示することで、ユーザは現在の対象機能領域の位置を直感的に見ることができ、非接触操作の精度を向上させるのに有利である。

【0124】

（例示的な装置）
図９は、本開示の一例示的実施例に係る操作体をガイドして非接触操作を行う装置の構造概略図である。本実施例は電子機器に適用でき、図９に示されるように、操作体をガイドして非接触操作を行う装置は、スクリーン上に、第１の予め設定された形状のグラフィックメニューを表示し、操作体とマッピング関係にあり且つ第２の予め設定された形状を有するアイコンを表示するための表示モジュール９０１と、スクリーンに対して操作体が空間内で行う非接触操作を検出するための第１の検出モジュール９０２と、非接触操作に応答して、アイコンのスクリーン上での移動物理量を検出するための第２の検出モジュール９０３と、移動物理量とグラフィックメニューにおけるアイコンに対応する対象機能領域とに基づいて、対象機能領域に対応するメニュー機能をトリガーするためのトリガーモジュール９０４と、を含む。

【0125】

本実施例においては、表示モジュール９０１は、スクリーン上に、第１の予め設定された形状のグラフィックメニューを表示し、操作体とマッピング関係にあり且つ第２の予め設定された形状を有するアイコンを表示することができる。ここで、前記スクリーンは、車両の中央制御スクリーン、屋内に配置されたスマートテレビ又はスマートフォン等の任意のタイプの電子機器のスクリーンであってもよい。

【0126】

グラフィックメニューの第１の予め設定された形状は、円形メニュー、矩形メニュー等の任意の形状であってもよい。グラフィックメニューは、少なくとも１つの機能領域を含み、各機能領域は、サブメニューのポップアップ、音量調整の実行、トラックの変更、又は特定の装置のスイッチの制御等の、対応するメニュー機能を実行するようにトリガーされることができる。

【0127】

前記操作体は、制御される装置に対して非接触操作を行う各種ハードウェア実体、又はユーザの特定の身体部位であってもよく、例えば、操作体は、ユーザの手や頭部等の身体部位であってもよく、また、前記装置に位置情報をリアルタイムで出力できるハンドル等のハードウェア実体であってもよく、また、特定の形状を有するその他の物体であってもよい。

【0128】

表示モジュール９０１は、操作体の空間内での位置をリアルタイムで検出することができ、検出された位置をスクリーン上の対応する位置にマッピングし、スクリーン上の対応する位置に第２の予め設定された形状のアイコンを表示し、すなわち、操作体の移動に伴ってこのアイコンの位置が移動する効果を奏する。第２の予め設定された形状は、球状、点状、又は指針状等の様々な形状であってもよい。

【0129】

本実施例においては、第１の検出モジュール９０２は、様々な方法に基づいて、スクリーンに対して操作体が空間内で行う非接触操作をリアルタイムで検出することができる。非接触操作は、スクリーンと非接触で操作体を用いてユーザが制御される装置（例えば、車載用音響装置、エアコン、及びテレビ等）とインタラクションを行う操作であってもよい。例として、非接触操作は、操作体の移動軌跡に基づく操作、操作体の移動方向に基づく操作、操作体の移動距離に基づく操作、及び操作体の姿勢（例えば、ジェスチャ）に基づく操作等を含んでいるが、これらに限定されない。

【0130】

一般に、第１の検出モジュール９０２は、図１Ａに示されるデータ収集装置１０４によって操作体に対して収集された認識を要するデータを取得し、認識を要するデータを認識し、操作体によって行われた非接触操作を検出することができる。例として、データ収集装置１０４は単眼カメラであってもよく、第１の検出モジュール９０２は、単眼カメラがリアルタイムで収集した画像フレームを認識し、操作体の、画像フレームでの位置又は操作体の姿勢を決定することができる。また例えば、データ収集装置１０４は両眼ステレオカメラであってもよく、第１の検出モジュール９０２は、両眼ステレオカメラがリアルタイムで収集した両眼画像を認識し、操作体の、三次元空間での位置を決定することができる。

【0131】

本実施例においては、第２の検出モジュール９０３は、非接触操作に応答して、アイコンのスクリーン上での移動物理量を検出することができる。ここで、移動物理量は、スクリーン上でアイコンが移動する特定の特徴を表す、アイコンの移動距離、移動速度、又は移動方向等の物理量であってもよい。

【0132】

本実施例においては、トリガーモジュール９０４は、移動物理量と、グラフィックメニューにおけるアイコンに対応する対象機能領域とに基づいて、対象機能領域に対応するメニュー機能をトリガーすることができる。ここで、グラフィックメニューは、少なくとも１つの機能領域を含むことができ、各機能領域は、１つのメニュー機能に対応することができる。メニュー機能は事前設定でき、例えば、メニュー機能は、トリガーされた機能領域のサブメニューをポップアップするか、又は制御される装置が対応する機能（例えば、ビデオの再生、音量の調整、エアコン温度の調整又は車両ウィンドウスイッチの制御等）を実行するように制御する機能であってもよい。メニュー機能のトリガー方法は、例えば、アイコンが対象機能領域に移動すると、メニュー機能がトリガーされるか、又はアイコンが対象機能領域内に滞在している時間が予め設定された時間に達すると、メニュー機能がトリガーされる等、複数種の方法を含んでもよい。

【0133】

対象機能領域は、前記の少なくとも１つの機能領域のうちアイコンと対応する関係を有する機能領域であってもよく、例として、アイコンがある機能領域内に移動すると、アイコンがこの機能領域と対応する関係にあると決定する場合、この機能領域が対象機能領域である。また例えば、アイコンの移動軌跡が、ある機能領域に対応する予め設定された移動軌跡に合致すると、アイコンがこの機能領域と対応する関係にあると決定する場合、この機能領域が対象機能領域である。

【0134】

図１０を参照すると、図１０は、本開示の別の例示的実施例に係る操作体をガイドして非接触操作を行う装置の構造概略図である。

【0135】

いくつかの選択可能な実施形態において、この装置は、スクリーンに対して操作体が行うメニューポップアップ操作を検出し、メニューポップアップ操作を検出した場合、スクリーン上に、第１の予め設定された形状のグラフィックメニューを表示し、操作体とマッピング関係にあり且つ第２の予め設定された形状を有するアイコンを表示するステップを実行するための第３の検出モジュール９０５、又は、ユーザが発声した音声を検出し、音声に予め設定されたウェイクアップワードが含まれていることが検出された場合、スクリーン上に、第１の予め設定された形状のグラフィックメニューを表示し、前記操作体とマッピング関係にあり且つ第２の予め設定された形状を有するアイコンを表示するステップを実行するための第４の検出モジュール９０６をさらに含む。

【0136】

いくつかの選択可能な実施形態において、第３の検出モジュール９０５は、スクリーンに対して操作体が行う予め設定された動作を検出するための第１の検出ユニット９０５１と、予め設定された動作の持続時間を決定するための第１の決定ユニット９０５２と、持続時間が第１の予め設定された時間以上である場合、スクリーンに対して操作体が行うメニューポップアップ操作が検出されたと決定するための第２の決定ユニット９０５３と、を含む。

【0137】

いくつかの選択可能な実施形態において、操作体がユーザの手であり、第３の検出モジュール９０５は、ユーザの手に対してジェスチャ認識を実行して、ジェスチャ認識結果を取得するための認識ユニット９０５４と、ジェスチャ認識結果で表されるジェスチャが予め設定されたジェスチャであり、ユーザの手が予め設定された空間範囲内にある場合、ユーザの手がスクリーンに対してメニューポップアップ操作を行ったと決定するための第３の決定ユニット９０５５と、を含む。

【0138】

いくつかの選択可能な実施形態において、第３の検出モジュール９０５は、空間内における操作体の第１の移動軌跡を決定するための第４の決定ユニット９０５６と、第１の移動軌跡が第１の予め設定された軌跡であり、且つ第１の移動軌跡が予め設定された空間範囲内にある場合、操作体がスクリーンに対してメニューポップアップ操作を行ったと決定するための第５の決定ユニット９０５７と、を含む。

【0139】

いくつかの選択可能な実施形態において、表示モジュール９０１は、空間内における操作体の現在の三次元座標位置がスクリーン上にマッピングされる二次元座標位置を決定するための第６の決定ユニット９０１１と、二次元座標位置に第２の予め設定された形状を有するアイコンを表示するための第１の表示ユニット９０１２と、二次元座標位置に基づいてスクリーン上に第１の予め設定された形状のグラフィックメニューを表示する目標位置を決定するための第７の決定ユニット９０１３と、目標位置にグラフィックメニューを表示するための第２の表示ユニット９０１４と、を含む。

【0140】

いくつかの選択可能な実施形態において、表示モジュール９０１は、操作体がスクリーン上にマッピングされる予め設定された初期位置を決定するための第８の決定ユニット９０１５と、予め設定された初期位置に第２の予め設定された形状のアイコンを表示するための第３の表示ユニット９０１６と、予め設定された初期位置に基づいてメニュー表示位置を決定するための第９の決定ユニット９０１７と、メニュー表示位置に第１の予め設定された形状のグラフィックメニューを表示するための第４の表示ユニット９０１８と、を含む。

【0141】

いくつかの選択可能な実施形態において、第２の検出モジュール９０３は、空間内における操作体の現在の三次元座標がスクリーン上にマッピングされる二次元座標を決定するための第１０の決定ユニット９０３１と、非接触操作中の三次元座標の変化量に基づいて、二次元座標のスクリーン上での変化量を決定するための第１１の決定ユニット９０３２と、二次元座標の変化量に基づいて、アイコンのスクリーン上での移動物理量を決定するための第１２の決定ユニット９０３３と、を含む。

【0142】

いくつかの選択可能な実施形態において、トリガーモジュール９０４は、アイコンがグラフィックメニューにおける対象機能領域に移動し、対象機能領域におけるアイコンの連続滞在時間が第２の予め設定された時間以上である場合、対象機能領域に対応するメニュー機能をトリガーするための第１のトリガーユニット９０４１、又は、アイコンが対象機能領域内の予め設定された位置にある場合、対象機能領域に対応するメニュー機能をトリガーするための第２のトリガーユニット９０４２、又は、対象機能領域におけるアイコンの第２の移動軌跡が、第２の予め設定された軌跡とマッチングすると決定する場合、対象機能領域に対応するメニュー機能をトリガーするための第３のトリガーユニット９０４３を含む。

【0143】

いくつかの選択可能な実施形態において、トリガーモジュール９０４は、対象機能領域に基づいて、対象機能領域に、対応するサブメニューがあるか否かを決定し、サブメニューがない場合、移動物理量に基づいて対象機能領域に対応する機能の実行をトリガーするトリガーステップを実行するための第４のトリガーユニット９０４４と、サブメニューがある場合、移動物理量に基づいてスクリーン上にサブメニューをトリガーして表示するための第５のトリガーユニット９０４５と、アイコンのスクリーン上での移動物理量を再度検出し、サブメニュー内でアイコンに対応する対象機能領域を決定するための第２の検出ユニット９０４６と、を含み、再度検出された移動物理量と、サブメニューにおける対象機能領域とに基づいて、トリガーステップを継続して実行する。

【0144】

いくつかの選択可能な実施形態において、トリガーモジュール９０４は、対象機能領域に対応する機能が予め設定された連続調整機能であると決定することに応答して、スクリーン上に連続調整機能に対応する調整制御インタフェースを表示するための第５の表示ユニット９０４７と、スクリーン上にマッピングされる操作体の現在の二次元座標位置の移動軌跡に基づいて、連続調整機能を実行し、調整制御インタフェースにおける制御点の移動を制御するための実行ユニット９０４８と、を含む。

【0145】

いくつかの選択可能な実施形態において、トリガーモジュールはさらに、対象機能領域を強調表示するために用いられる。

【0146】

本開示の前記実施例に係る操作体をガイドして非接触操作を行う装置は、スクリーン上にグラフィックメニュー、及び操作体とマッピング関係にあるアイコンを表示し、次に、スクリーンに対して操作体が空間内で行う非接触操作を検出するとともに、アイコンのスクリーン上での移動物理量を検出し、最後に、移動物理量と、グラフィックメニューにおけるアイコンに対応する対象機能領域とに基づいて、対象機能領域に対応するメニュー機能をトリガーすることにより、ユーザが非接触操作を行う際に、スクリーン上に表示されたグラフィックメニューとアイコンを用いて、ユーザが操作体を用いて非接触操作を行うように直感的にガイドすることができ、ユーザがどのように操作体を用いて様々な機能をトリガーするかを明確にすることができ、ユーザが正確に非接触操作を行うのに有利であり、同時にグラフィックメニューの支援下で、非接触操作によってトリガーされる機能の数を拡張することができ、それによりユーザがより便利に非接触操作を行うことができる。

【0147】

（例示的な電子機器）
以下、図１１を参照して本開示の実施例に係る電子機器を説明する。この電子機器は、図１Ａに示されるような端末装置１０１とサーバ１０３のいずれか一方又は両方、又はそれらから独立したスタンドアロン装置であってもよく、このスタンドアロン装置は端末装置１０１とサーバ１０３と通信して、そこから収集された入力信号を受信することができる。

【0148】

図１１は、本開示の実施例に係る電子機器のブロック図を示す。

【0149】

図１１に示されるように、電子機器１１００は１つ以上のプロセッサ１１０１とメモリ１１０２を含んでいる。

【0150】

プロセッサ１１０１は、中央演算処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、Ｃｐｕ）、又はデータ処理能力及び／又は命令実行能力を有する他の形式の処理装置であってもよく、且つ電子機器１１００内の他の構成要素を制御して所望の機能を行うことができる。

【0151】

メモリ１１０２は１つ以上のコンピュータプログラム製品を含んでいてもよく、コンピュータプログラム製品は、様々な形式のコンピュータ可読記憶媒体、例えば揮発性メモリ及び／又は不揮発性メモリを含んでいてもよい。揮発性メモリは例えば、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、Ｒａｍ）及び／又はキャッシュ（Ｃａｃｈｅ）等を含んでいてもよい。不揮発性メモリは例えば、読み出し専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、Ｒｏｍ）、ハードディスク、フラッシュメモリ等を含んでいてもよい。コンピュータ可読記憶媒体には、１つ以上のコンピュータプログラム命令を記憶してもよく、プロセッサ１１０１は、プログラム命令を実行して、上述の本開示の種々の実施例における操作体をガイドして非接触操作を行う方法及び／又はその他の所望の機能を実行可能である。画像、制御命令といった様々なコンテンツもまた、コンピュータ可読記憶媒体に記憶することができる。

【0152】

１つの例において、電子機器１１００はさらに、入力装置１１０３、出力装置１１０４を含んでもよく、これらの要素は、バスシステム及び／又は他の形式の接続機構（図示せず）を用いて相互接続している。

【0153】

例えば、この電子機器が端末装置１０１又はサーバ１０３である場合、この入力装置１１０３は画像、命令等の情報を入力するためのカメラ、レーザーレーダ、マウス、キーボード、マイクロホン等の機器であってもよい。この電子機器がスタンドアロン装置である場合、この入力装置１１０３は、端末装置１０１とサーバ１０３から入力された画像、命令等の情報を受信するための通信ネットワークコネクタであってもよい。

【0154】

この出力装置１１０４はグラフィックメニュー等の情報を含む様々なタイプの情報を外部に出力してもよい。この出力装置１１０４は例えば、ディスプレイ、スピーカー、プリンタ、通信ネットワーク、及びこれらに接続するリモート出力装置等を含んでいてもよい。

【0155】

当然のこととして、簡単にするために、この電子機器１１００の構成要素のうち、本開示に関連するいくつかのみを図１１に示しており、バスや入力／出力インタフェース等の要素は省略している。また、特定の用途の想定によっては、電子機器１１００はさらに他の任意の適切な構成要素を含んでいてもよい。

【0156】

（例示的なコンピュータプログラム製品及びコンピュータ可読記憶媒体）
前記の方法及び装置に加えて、本開示の実施例はまた、プロセッサによって実行されると、前記プロセッサが本明細書の前記「例示的な方法」部分に記載されている本開示の様々な実施例に係る操作体をガイドして非接触操作を行う方法におけるステップを実行することを可能にするコンピュータプログラム命令を含むコンピュータプログラム製品であってもよい。

【0157】

前記コンピュータプログラム製品は１つ以上のプログラミング言語の任意の組み合わせで本開示の実施例の動作を実行するためのプログラムコードを書くことができ、前記プログラミング言語は、例えばＪａｖａ（登録商標）、Ｃ＋＋といったオブジェクト指向のプログラミング言語を含み、さらには「Ｃ」言語や類似のプログラミング言語といった一般的な手続き型プログラミング言語を含む。プログラムコードは、完全にユーザの演算デバイス上で実行されても、一部がユーザのデバイス上で実行されても、別個のソフトウェアパッケージとして実行されても、一部がユーザの演算デバイスで実行されて一部がリモート演算デバイスで実行されても、あるいは完全にリモート演算デバイス又はサーバで実行されてもよい。

【0158】

さらに、本開示の実施例はまた、プロセッサによって実行されると、前記プロセッサが本明細書の前記「例示的な方法」部分に記載されている本開示の様々な実施例に係る操作体をガイドして非接触操作を行う方法におけるステップを実行することを可能にするコンピュータプログラム命令を記憶する、コンピュータ可読記憶媒体であってもよい。

【0159】

前記コンピュータ可読記憶媒体は、１つ以上の可読媒体の任意の組み合わせであってもよい。可読媒体は、可読信号媒体又は可読記憶媒体であってもよい。可読記憶媒体の例としては、電気式、磁気式、光学式、電磁式、赤外線式、又は半導体のシステム、装置、又はデバイス、もしくはこれらの任意の組み合わせを含んでいてもよいが、これらに限定されない。可読記憶媒体のより具体的な例（非網羅的リスト）としては、１本以上のワイヤによる電気的接続、携帯用ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、Ｅｐｒｏｍ）又はフラッシュメモリ）、光ファイバー、携帯用コンパクトディスク読み出し専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、Ｃｄ－Ｒｏｍ）、光学式メモリ、磁気式メモリ、又はこれらの任意の適切な組み合わせを含んでいてもよい。

【0160】

本開示の基本原理は、上記で具体的な実施例に関連して記載している。しかし、本開示で説明した利点、優位性、効果等は単に例示であって限定するものではなく、これらの利点、優位性、効果等は、本開示の各実施例に必須のものとして見なすことはできないということに注目すべきである。また、上記で開示した具体的な詳細は、単に例示であって、限定ではなくむしろ理解しやすくするためのものであり、上記で記載された詳細は、本開示が必ず上述の具体的な詳細を用いて実施されると限定するものではない。

【0161】

本明細書内の各実施例は順序的な方式で記載されており、各実施例では、他の実施例との違いに注目しており、各実施例の間で同一又は同様の部分に対しては互いに参照可能である。システムの実施例は基本的に方法の実施例に対応しており、よって、比較的簡素化されて記載されているので、関連する部分に対しては、方法の実施例の記載の部分を参照可能である。

【0162】

本開示に係るデバイス、装置、設備、及びシステムのブロック図は、単に説明のための例であり、ブロック図に示されるように接続、配列、及び構成を実施しなければならないことを要求したり暗示したりする意図はない。当業者であれば、これらのデバイス、装置、設備、及びシステムを任意の手法で接続、配列、及び構成してもよいことを認識するであろう。「含む」、「含有する」、及び「有している」等の用語はオープンワードであり、「含んでいるがそれに限定するものではない」ことを言及しており、よってそれと互換できる。本明細書で用いられている「又は」及び「及び」の用語は、「及び／又は」を指し、よって、別段の明記がされていない限り、それと互換できる。本明細書で用いられている「等」の用語は、「例であってそれに限定しない」という句を意味し、よってそれと互換できる。

【0163】

本開示の方法及び装置は、数多くの手法で実施してもよい。例えば、本開示の方法及び装置は、ソフトウェア、ハードウェア、ファームウェア、又はソフトウェア、ハードウェア、ファームウェアの任意の組み合わせを用いて実施してもよい。前記方法のステップ用の上述の順序は単に例示のためのものであり、本開示の方法のステップは、特に別段の明記がされていない限り、上記で具体的に記載された順序に限定されない。さらに、いくつかの実施例では、本開示はまた、記録媒体に記録されているプログラムとして実施されてもよく、これらのプログラムは、本開示に係る方法を実施するための機械可読命令を含む。したがって、本開示はまた、本開示に係る方法を実施するためのプログラムを記憶する記録媒体も網羅している。

【0164】

本開示の装置、設備、及び方法において、種々の構成要素や種々のステップは分解及び／又は再結合可能であることに注目すべきである。これらの分解及び／又は再結合は、本開示の等価の解決案として見なされるべきである。

【0165】

開示された各態様についての上記の記載は、あらゆる当業者が本開示を作成又は使用できるように提供されている。当業者には、これらの態様に対する様々な変更が明らかであり、本明細書で規定されている一般的原理を、本開示の範囲から逸脱することなく他の態様に適用可能である。したがって、本開示は、本明細書で示された各態様に限定されることを意図するものではなく、本明細書で開示されている原理や新規の特徴と一致する最広範な範囲に従っている。

【0166】

上記の記載は、例示及び説明のために与えられている。さらに、本記載は、本開示の実施例を、本明細書で開示されている形式に限定することを意図するものではない。上記では様々な例示的態様や実施例が説明されてきたが、当業者であればこれらについてのバリエーション、修正、変更、追加、及びサブコンビネーションを想定するであろう。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9】

【図10】

【図11】