特表 2023-523452 操作体に基づく動的表示方法、装置、記憶媒体及び電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-06-05

(54)【発明の名称】操作体に基づく動的表示方法、装置、記憶媒体及び電子機器

(51)【国際特許分類】

   G06F 3/04817 20220101AFI20230529BHJP

   G06F 3/01 20060101ALI20230529BHJP

   G06F 3/0346 20130101ALI20230529BHJP

   G06T 11/80 20060101ALI20230529BHJP

【ＦＩ】

G06F3/04817

G06F3/01 570

G06F3/0346 422

G06T11/80 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022565861

(86)(22)【出願日】2022-01-21

(85)【翻訳文提出日】2022-10-27

(86)【国際出願番号】 CN2022073218

(87)【国際公開番号】W WO2022166620

(87)【国際公開日】2022-08-11

(31)【優先権主張番号】202110141872.X

(32)【優先日】2021-02-02

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】522375899

【氏名又は名称】北京地平▲線▼机器人技▲術▼研▲発▼有限公司

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】ロン、ジーチョウ

(72)【発明者】

【氏名】リー、シャオペン

(72)【発明者】

【氏名】シュ、リャン

(72)【発明者】

【氏名】スン、ジュンカイ

【テーマコード（参考）】

5B050

5B087

5E555

【Ｆターム（参考）】

5B050BA06

5B050CA07

5B050CA08

5B050EA07

5B050EA12

5B050EA19

5B087AA07

5B087AA09

5B087AB09

5B087AB14

5B087BC01

5B087BC32

5B087DD03

5B087DE03

5E555AA08

5E555AA16

5E555AA76

5E555BA03

5E555BA04

5E555BA23

5E555BA38

5E555BB03

5E555BB04

5E555BB23

5E555BB38

5E555BC08

5E555BC17

5E555BE17

5E555CA42

5E555CB19

5E555CB66

5E555CC05

5E555DB18

5E555DC19

5E555DC25

5E555DC30

5E555DC84

5E555DD06

5E555FA00

(57)【要約】

【課題】本願は、操作体に基づく動的表示方法、装置、コンピュータ読取可能な記憶媒体及び電子機器を提供する。
【解決手段】当該方法は、操作体が空間において画面に対して行った遠隔操作に応じて、表示対象アイコンの画面における位置を決定することと、決定された位置にアイコンを表示することと、操作体の移動が検出されたことに応じて、操作体の第１の移動物理量を決定することと、第１の移動物理量に基づいて、アイコンの画面における第２の移動物理量を決定することと、第２の移動物理量に基づいて、アイコンが画面上でドラッグされるように制御することと、を含む。本願の技術的構成は、操作体が遠隔操作を行ったとき、画面上でアイコンをドラックして操作体の移動軌跡をリアルタイムにフィードバックすることで、ユーザはアイコンの移動軌跡を参照して遠隔操作が正確であるか否かをリアルタイムに把握することができ、ユーザの操作感を改善し、遠隔操作の正確率を高める。
【選択図】図２

【特許請求の範囲】

【請求項1】

ユーザの身体部位又は特定の形状を有する物体である操作体が空間において画面に対して行った遠隔操作に応じて、表示対象アイコンの前記画面における位置を決定するステップと、
決定された前記位置に前記アイコンを表示するステップと、
前記操作体の移動が検出されたことに応じて、前記操作体の第１の移動物理量を決定するステップと、
前記第１の移動物理量に基づいて、前記アイコンの前記画面における第２の移動物理量を決定するステップと、
前記第２の移動物理量に基づいて、前記アイコンが前記画面上でドラッグされるように制御するステップと、を含み、
前記第１の移動物理量は、空間における前記操作体の実際物理量、又は前記操作体が撮影画像にマッピングされた物理量である、ことを特徴とする操作体に基づく動的表示方法。

【請求項2】

操作体が空間において画面に対して行った遠隔操作に応じて、表示対象アイコンの前記画面における位置を決定するステップは、
マルチフレーム画像に操作体が存在することを検出したことに応じて、前記マルチフレーム画像に基づいて前記操作体が空間において画面に対して行った遠隔操作を決定するステップと、
前記マルチフレーム画像に基づいて、前記操作体の画像座標位置を決定するステップと、
前記画像座標位置に基づいて、表示対象アイコンの前記画面における位置を決定するステップと、を含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

前記操作体の移動が検出されたことに応じて、前記操作体の第１の移動物理量を決定するステップは、
前記操作体の第１のフレーム画像における第１の画像座標、及び前記操作体の第２のフレーム画像における第２の画像座標を決定するステップと、
前記第１の画像座標、前記第２の画像座標及び画像のプリセットフレームレートに基づいて、前記操作体の第１の移動物理量を決定するステップと、を含み、
前記第２のフレーム画像は、前記第１のフレーム画像とプリセットフレーム数を間隔する画像である、ことを特徴とする請求項２に記載の方法。

【請求項4】

前記第２の移動物理量は、第１の移動方向及び第１の移動速度を含み、
前記第２の移動物理量に基づいて、前記アイコンが前記画面上でドラッグされるように制御するステップは、
前記第１の移動方向及び前記第１の移動方向及び第１の移動速度、前記アイコンの前記画面におけるスミアの長さを決定するステップと、
前記スミアの長さに基づいて、前記アイコンのテール部の形状を調整するステップと、
前記アイコンが前記第１の移動速度で前記第１の移動方向に沿ってドラッグされるように制御するステップと、を含み、
前記スミアの長さは、前記第１の移動速度の大きさに従って変化する、ことを特徴とする請求項１に記載の方法。

【請求項5】

前記操作体の移動が検出されたことに応じて、前記操作体の第１の移動物理量を決定するステップは、
前記操作体の前記空間における第１の三次元座標を決定するステップと、
前記操作体の前記空間における第２の三次元座標を決定するステップと、
前記第１の三次元座標及び前記第２の三次元座標に基づいて、前記操作体の空間における第２の移動速度及び第２の移動方向を決定するステップと、
前記第２の移動速度及び前記第２の移動方向に基づいて、前記操作体の第１の移動物理量を決定するステップと、を含み、
前記第１の三次元座標は、前記操作体が移動するときに現在のデータフレームに対応する三次元座標、又は、前記操作体が移動するときに１前のデータフレームに対応する三次元座標であり、
前記第２の三次元座標は、前記操作体が移動するときに前記現在のデータフレーム又は１前のデータフレームに続くデータフレームに対応する三次元座標である、ことを特徴とする請求項１に記載の方法。

【請求項6】

前記第１の移動物理量に基づいて、前記アイコンの前記画面における第２の移動物理量を決定するステップは、
目標空間範囲と前記画面の表示範囲とのプリセットのマッピング関係に基づいて、前記画面において前記第２の移動速度及び前記第２の移動方向のそれぞれに対応する第３の移動速度及び第３の移動方向を決定するステップと、
前記第３の移動速度及び前記第３の移動方向に基づいて、前記アイコンの前記画面における第２の移動物理量を決定するステップと、を含み、
前記目標空間範囲は、前記操作体の三次元座標を検出するための機器の空間検出範囲である、ことを特徴とする請求項５に記載の方法。

【請求項7】

前記第２の移動物理量に基づいて、前記アイコンが前記画面上でドラッグされるように制御するステップは、
前記操作体と前記画面が位置する平面との間の垂直距離を決定するステップと、
前記アイコンのサイズを、プリセットされた前記垂直距離に対応するアイコンサイズに調整するステップと、
前記第３の移動方向及び前記第３の移動速度に基づいて、前記アイコンの前記画面におけるスミアの長さを決定するステップと、
前記スミアの長さに基づいて、前記アイコンのテール部の形状を調整するステップと、
前記アイコンが前記第３の移動速度で前記第３の移動方向に沿ってドラッグされるように制御するステップと、を含み、
前記スミアの長さは、前記第３の移動速度の大きさに従って変化する、ことを特徴とする請求項６に記載の方法。

【請求項8】

前記方法は、
前記操作体の遠隔操作を検出するための機器の検出限界から前記操作体が離れたことを検出した場合、前記アイコンが位置する前記画面における現在の表示位置に第１のプリセットアニメーションに従って前記アイコンの形状変化をプレゼンするステップをさらに含む、ことを特徴とする請求項１に記載の方法。

【請求項9】

前記第１の移動物理量は、第２の移動速度を含み、
前記方法は、
前記第２の移動速度が第１のプリセット速度以上である場合、前記アイコンが位置する現在の表示位置に第２のプリセットアニメーションに従って前記アイコンの形状変化をプレゼンするステップをさらに含む、ことを特徴とする請求項１に記載の方法。

【請求項10】

前記第２の移動物理量は、第１の移動速度を含み、
前記方法は、
前記第１の移動速度が第２のプリセット速度以下である場合、前記操作体から前記画面が位置する平面までの垂直距離に基づいて、前記画面における前記アイコンの本体の表示サイズを調整するステップをさらに含む、ことを特徴とする請求項１に記載の方法。

【請求項11】

前記方法は、
前記操作体の遠隔操作を検出するための機器が第１のカメラである場合、前記操作体と前記第１のカメラとの間の距離を決定するステップと、
距離と焦点距離とのプリセットの対応関係に基づいて、前記距離に対応する目標焦点距離を決定するステップと、
前記第１のカメラの焦点距離を前記目標焦点距離に調整するステップ、又は、前記目標焦点距離が前記第１のカメラの最大焦点距離を超える場合、前記第１のカメラを第２のカメラに切り替え、前記第２のカメラの焦点距離を前記目標焦点距離に調整するステップと、をさらに含み、
前記第２のカメラの焦点距離は、前記第１のカメラの焦点距離より大きい、ことを特徴とする請求項１に記載の方法。

【請求項12】

ユーザの身体部位又は特定の形状を有する物体である操作体が空間において画面に対して行った遠隔操作に応じて、表示対象アイコンの前記画面における位置を決定するための第１の決定モジュールと、
前記第１の決定モジュールによって決定された前記位置に前記アイコンを表示するための表示モジュールと、
前記操作体の移動が検出されたことに応じて前記操作体の第１の移動物理量を決定するための第２の決定モジュールと、
前記第２の決定モジュールによって決定された前記第１の移動物理量に基づいて、前記アイコンの前記画面における第２の移動物理量を決定するための第３の決定モジュールと、
前記第３の決定モジュールによって決定された前記第２の移動物理量に基づいて、前記アイコンが前記画面上でドラッグされるように制御するための制御モジュールと、を備え、
前記第１の移動物理量は、前記操作体の空間における実際物理量、又は前記操作体が撮影画像にマッピングされた物理量である、ことを特徴とする操作体に基づく動的表示装置。

【請求項13】

請求項１～１１のいずれか一項に記載の方法を実行するためのコンピュータプログラムが記憶されている、ことを特徴とするコンピュータ読み取り可能な記憶媒体。

【請求項14】

プロセッサと、
前記プロセッサによって実行可能なコマンドを記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリから前記実行可能なコマンドを読み出して、請求項１～１１のいずれか一項に記載の方法を実行する、ことを特徴とする電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、２０２１年０２月０２日に中国知識財産権局に提出された、出願番号が２０２１１０１４１８７２．Ｘであり、発明の名称が「操作体に基づく動的表示方法、装置、記憶媒体及び電子機器」である中国特許出願の優先権を主張し、その全ての内容が参照により本願に組み込まれる。

【0002】

本開示は、コンピュータ技術の分野に関し、特に操作体に基づく動的表示方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器に関する。

【背景技術】

【0003】

コンピュータのソフトウェアとハードウェア機能の向上、及び人々のヒューマンコンピュータインタラクションに対する需要の増加に伴い、遠隔操作認識が広く注目されている。遠隔操作方法は、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ、拡張現実）／ＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ、仮想現実）、スマートフォン、スマート家電などのシナリオに応用することができ、人々が手で制御パネルを直接操作することに不便な場合に遠隔操作を利用して機器を操作し、人々の生活に利便性をもたらす。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の実施例は、操作体に基づく動的表示方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器を提供する。

【課題を解決するための手段】

【0005】

本開示の実施例に係る操作体に基づく動的表示方法は、操作体が空間において画面に対して行った遠隔操作に応じて、表示対象アイコンの画面における位置を決定するステップと、決定された前記位置にアイコンを表示するステップと、操作体の移動が検出されたことに応じて、操作体の第１の移動物理量を決定するステップと、第１の移動物理量に基づいて、アイコンの画面における第２の移動物理量を決定するステップと、第２の移動物理量に基づいて、アイコンが画面上でドラッグされるように制御するステップと、を含む。

【0006】

ここで、前記操作体は、ユーザの身体部位又は特定の形状を有する物体であり、前記第１の移動物理量は、空間における前記操作体の実際物理量、又は前記操作体が撮影画像にマッピングされた物理量である。

【0007】

本開示の実施例の別の態様に係る操作体に基づく動的表示装置は、操作体が空間において画面に対して行った遠隔操作に応じて、表示対象アイコンの画面における位置を決定するための第１の決定モジュールと、前記第１の決定モジュールによって決定された前記位置にアイコンを表示するための表示モジュールと、操作体の移動が検出されたことに応じて、操作体の第１の移動物理量を決定するための第２の決定モジュールと、前記第２の決定モジュールによって決定された第１の移動物理量に基づいて、アイコンの画面における第２の移動物理量を決定するための第３の決定モジュールと、前記第３の決定モジュールによって決定された前記第２の移動物理量に基づいて、アイコンが画面上でドラッグされるように制御するための制御モジュールと、を備える。

【0008】

ここで、前記操作体は、ユーザの身体部位又は特定の形状を有する物体であり、前記第１の移動物理量は、前記操作体の空間における実際物理量であり、又は前記操作体が撮影画像にマッピングされた物理量である。

【0009】

本開示の実施例の別の態様に係るコンピュータ読み取り可能な記憶媒体は、上記の操作体に基づく動的表示方法を実行するためのコンピュータプログラムが記憶されている。

【0010】

本開示の実施例の別の態様に係る電子機器は、プロセッサと、プロセッサによって実行可能なコマンドを記憶するためのメモリと、を含み、プロセッサは、メモリから実行可能なコマンドを読み出して、上記の操作体に基づく動的表示方法を実行する。

【発明の効果】

【0011】

本開示の上記実施例に係る操作体に基づく動的表示方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器によれば、操作体が空間において遠隔操作を行ったときには、操作体が画面にマッピングされたアイコンの位置を決定し、操作体の移動を検出したときには、操作体の第１の移動物理量を決定し、第１の移動物理量に基づいてアイコンの画面における第２の移動物理量を決定し、最後、第２の移動物理量に基づいて、アイコンが画面上でドラッグされるように制御し、それにより、操作体が遠隔操作を行うとき、画面においてアイコンをドラックして操作体の移動軌跡をリアルタイムにフィードバックすることで、ユーザはアイコンの移動軌跡を参照して遠隔操作が正確であるか否かをリアルタイムに把握することができ、ユーザの操作感を改善し、遠隔操作の正確率を高めることができる。

【0012】

以下は、図面及び実施例に基づいて、本開示の技術的構成をより詳細に説明する。
以下、図面を参照して本開示の実施例を詳細に説明し、本開示の上記及び他の目的、特徴や利点が一層明瞭になる。図面は、本開示の実施例の更なる理解のためのものであり、明細書を構成する部分として、本開示の実施例と共に本開示の解釈に用いられ、本開示への限定を構成するものではない。図面では、同じ符号が一般に同じ部品又はステップを表す。

【図面の簡単な説明】

【0013】

【図1】本開示が適用されるシステム図である。

【図2】本開示の１つの例示的な実施例に係る操作体に基づく動的表示方法のフローチャートである。

【図3A】本開示の１つの例示的な実施例に係る操作体に基づく動的表示方法の１つの応用シナリオの例示的な概略図である。

【図3B】本開示のもう１つの例示的な実施例に係る操作体に基づく動的表示方法のもう１つの応用シナリオの例示的な概略図である。

【図3C】本開示のもう１つの例示的な実施例に係る操作体に基づく動的表示方法のもう１つの応用シナリオの例示的な概略図である。

【図3D】本開示のもう１つの例示的な実施例に係る操作体に基づく動的表示方法のもう１つの応用シナリオの例示的な概略図である。

【図4】本開示のもう１つの例示的な実施例に係る操作体に基づく動的表示方法のフローチャートである。

【図5】本開示のさらなる１つの例示的な実施例に係る操作体に基づく動的表示方法のフローチャートである。

【図6】本開示のさらなる１つの例示的な実施例に係る操作体に基づく動的表示方法のフローチャートである。

【図7】本開示のさらなる１つの例示的な実施例に係る操作体に基づく動的表示方法のフローチャートである。

【図8】本開示の１つの例示的な実施例に係る操作体に基づく動的表示装置の構造概略図である。

【図9】本開示のさらなる１つの例示的な実施例に係る操作体に基づく動的表示装置の構造概略図である。

【図10】本開示の１つの例示的な実施例に係る電子機器の構造図である。

【発明を実施するための形態】

【0014】

以下、本開示の例示的な実施例を、図面を参照して詳細に説明する。明らかに、説明される実施例は、本開示の実施例の一部に過ぎず、本開示のすべての実施例ではなく、本開示は、本明細書で説明される例示的な実施例に制限されない。

【0015】

これらの実施例に記載される部材及びステップの相対的なレイアウト、数式表現及び数値は、別の具体的に説明がない限り、本開示の範囲を制限しないことに留意されたい。

【0016】

本開示の実施例における「第１」、「第２」などの用語は、単に異なるステップ、機器、又はモジュールなどを区別し、いかなる特定の技術的意味も示すものではなく、それらの間の必然的で論理的な順序を示すものでもないことを当業者は理解し得る。

【0017】

本開示の実施例では、「複数」は、２つ又は２つ以上を指してよく、「少なくとも１つ」は、１つ、２つ、又は２つ以上を指してよいことをさらに理解されたい。

【0018】

本開示の実施例で言及されるいずれかの部材、データ、又は構造は、明示的に限定されないか、又は文脈からの逆の示唆が与えられない場合、一般的に１つ又は複数と理解され得ることをさらに理解されたい。

【0019】

また、本開示における「及び／又は」という用語は、単に関連対象を説明する関連関係であり、３つの関係が存在し得ることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在する場合、ＡとＢとの両方が存在する場合、Ｂのみが存在する場合という３つの場合を示すことができる。また、本開示において「／」という符号は、一般に前後の関連対象が「又は」の関係であることを示す。

【0020】

本開示の各実施例に対する説明は、各実施例の間の相違点に重点を置き、それらの同じ又は類似のものは、互いに参照することができ、簡潔化のために、一々説明しないことをさらに理解されたい。

【0021】

しかも、図面に示される各部分の寸法は、説明の便宜上、実際の比例関係で描かれるものではないことを理解されたい。

【0022】

以下、少なくとも１つの例示的な実施例についての説明は、実際に単なる説明的なものであり、本開示及びその利用、又は使用へのいかなる制限とするものではない。

【0023】

当業者が熟知している技術、方法、及び機器については、詳細に検討しないことがあるが、適切な場合に、前記技術、方法、及び機器は、本明細書の一部と見なされるべきである。

【0024】

以下の図面において、同様の番号及びアルファベットは、類似の項目を示し、したがって、ある項目が一度１つの図面において定義されると、それ以降の図面においてそれをさらに検討する必要がない。

【0025】

本開示の実施例は、多くの他の汎用又は専用のコンピューティングシステム環境又はデプロイとともに動作し得る、端末機器、コンピュータシステム、サーバなどの電子機器に適用され得る。なお、電子機器は、システムオンチップ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ、ＳＯＣ）を含み得、ＳＯＣは、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）、各種の他の類型のプロセッサ、各種のデータ処理パス、メモリなどを含み得、ＳＯＣではオペレーティングシステムが動作され得、本開示の実施例は、具体的に、ＳＯＣ内部に適用され得、例えば車載ＳＯＣ内部に適用され得る。端末機器、コンピュータシステム、サーバなどの電子機器とともに使用することに適した周知の端末機器、コンピューティングシステム、環境及び／又はデプロイの例としては、自動車チップを含む機器又はシステム、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルド又はラップトップ機器、マイクロプロセッサに基づくシステム、セットトップボックス、プログラム可能な家庭用電化製品、ウェブパーソナルコンピュータ、小型コンピュータシステム、大型コンピュータシステム、及び上記のいかなるシステムを含む分散クラウドコンピューティング技術環境などを含むが、こられに限定されない。

【0026】

ここで、端末機器、コンピュータシステム、サーバなどの電子機器は、コンピュータシステムにより実行可能な命令（例えば、プログラムモジュール）の一般的な文脈で説明され得る。通常、プログラムモジュールは、ルーチン、プログラム、オブジェクトプログラム、コンポーネント、論理、データ構造などを含み得、これらは、特定のタスクを実行するか、又は特定の抽象データ類型を実現する。コンピュータシステム／サーバは、分散クラウドコンピューティング環境において実施され得、分散クラウドコンピューティング環境において、タスクが通信ネットワークを介してリンクされたリモート処理機器により実行される。分散クラウドコンピューティング環境において、プログラムモジュールは、記憶機器を含むローカル又はリモートコンピューティングシステム記憶媒体上に位置し得る。

【0027】

（出願の概要）
従来の遠隔操作方法は、通常、操作体の操作が成功した後にのみ、システムが視覚的フィードバックを提供し、例えばインタフェースのポップアップ表示をフィードバックとし、操作が成功する前には常にいずれのフィードバックがないため、操作が成功する前に、ユーザは操作体の現在の遠隔操作が合格か否かを知らず、不合格であれば遠隔操作の実際効果と期待効果とが一致せず、それによりユーザの期待動作に対する制御感を低下させる。本実施例に係る技術的構成は、ユーザの遠隔操作の正確率を高めるためのものであり、それによりユーザの操作感を向上させる。

【0028】

（例示的なシステム）
図１は、本開示の実施例の操作体に基づく動的表示方法又は操作体に基づく動的表示装置を適用可能な例示的なシステムアーキテクチャ１００を示す。

【0029】

図１に示すように、システムアーキテクチャ１００は、端末機器１０１と、ネットワーク１０２と、サーバ１０３と、操作体位置収集機器１０４と、を含むことができる。ここで、ネットワーク１０２は、端末機器１０１とサーバ１０３との間に通信リンクを提供する媒体として用いられる。ネットワーク１０２は、有線や無線通信リンク、又は光ファイバケーブルなどのような、様々な接続タイプを含むことができる。

【0030】

ユーザは、端末機器１０１を用いてネットワーク１０２経由でサーバ１０３とインタラクティブを行って、情報を送受信することができる。端末機器１０１には、仮想現実アプリケーション、拡張現実アプリケーション、検索系アプリケーション、ウェブブラウザアプリケーション、インスタントコミュニケーションツールなどの様々な通信クライアントアプリケーションがインストールされることができる。

【0031】

端末機器１０１は、例えば、車載端末（例えば、車載器、車両用コンソールなど）、携帯電話、ノート型パーソナルコンピュータ、デジタル放送受信機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、パーソナルデジタルアシスタント）、ＰＡＤ（タブレットコンピュータ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｅｄｉａ Ｐｌａｙｅｒ、携帯マルチメディアプレーヤ）などのような携帯端末、デジタルＴＶ、デスクトップ型コンピュータなどのような固定端末を含む種々の電子機器であることができるが、これらに限定されるのではない。

【0032】

サーバ１０３は、端末機器１０１にアップロードされた操作体に対する認識対象データ（例えば、操作体を含む画像や、点群などのデータ）を認識するバックエンドサーバなどの様々なサービスを提供するサーバであることができる。バックグエンドサーバは、受信した認識対象データを処理して、処理結果（例えば、画面に表示されたアイコンに対応する移動物理量）を得ることができる。

【0033】

操作体位置収集機器１０４は、単眼カメラ、両眼ステレオカメラ、レーザレーダ、三次元構造の光画像撮像機器などの、操作体の位置を取得する様々な装置であることができる。

【0034】

なお、本開示の実施例に係る操作体に基づく動的表示方法は、サーバ１０３により実行されてもよく、端末機器１０１により実行されてもよく、対応的に、操作体に基づく動的表示装置は、１つの機能ブロック又は構成要素としてサーバ１０３に配置されてもよく、又は端末機器１０１に配置されてもよいため、本開示では特に限定しない。

【0035】

なお、図１に示す端末機器１０１、ネットワーク１０２、サーバ１０３、操作体位置収集機器１０４の台数は、１つでも複数でもよく、図１に示す各機器は、１つの技術的シナリオに過ぎず、他の技術的シナリオにおいて２つ以上の機器を含んでもよい。また、端末機器、ネットワーク、サーバ、操作体位置収集機器は、実現の需要に応じて任意の数を有してもよい。また、操作体の位置を認識するためのデータを遠隔から取得する必要がない場合には、上記システムアーキテクチャは、ネットワーク１０２を含まず、操作体位置収集機器１０４及び端末機器１０１のみ、又は操作体位置収集機器１０４及びサーバ１０３のみを含んでもよい。

【0036】

（例示的な方法）
図２は、本開示の１つの例示的な実施例に係る操作体に基づく動的表示方法のフローチャートである。本実施例は、電子機器（図１に示すような端末機器１０１又はサーバ１０３）に適用されることができ、図２に示すように、当該方法は、ステップ２０１～ステップ２０５を含む。

【0037】

ステップ２０１では、操作体が空間において画面に対して行った遠隔操作に応じて、表示対象アイコンの画面における位置を決定する。

【0038】

本実施例では、電子機器は、操作体が空間において画面に対して行った遠隔操作に応じて、表示対象アイコンの画面における位置を決定することができる。ここで、操作体は、制御対象機器に対して遠隔操作を行う各種ハードウェアの実体又はユーザの特定の身体部位であり、例えば、操作体は、ユーザの手、頭部などの身体部位、又はハンドルなどであってもよく、当該操作体は、リアルタイムに位置情報を上記電子機器に出力することができる。また、前記操作体は、その他の特定形状を有する物体やハードウェア実体などであってもよい。

【0039】

電子機器は、様々な方法に基づいて操作体の位置をリアルタイムに決定することができる。通常、電子機器は、図１に示すような操作体位置収集機器１０４が操作体に対して収集した認識対象データを取得し、認識対象データを認識して操作体の位置を決定することができる。例示として、操作体位置収集機器１０４は、単眼カメラであることができ、電子機器は、単眼カメラによってリアルタイムに収集された操作体の画像フレームを認識し、操作体の画像フレームにおける位置を決定することができる。また、例えば、操作体位置収集機器１０４は、両眼ステレオカメラであることができ、電子機器は、両眼ステレオカメラによってリアルタイムに収集された両眼画像を認識し、操作体の三次元空間における位置を決定することができる。

【0040】

電子機器は、決定された操作体の位置を表示対象アイコンの画面における位置として画面の対応する位置にマッピングすることができる。当該画面は、電子機器に含まれる画面であってもよく、電子機器に接続された機器に含まれる画面であってもよい。例えば、当該画面は、車両のコンソールの画面であることができる。通常、操作体の位置と画面における位置との対応関係をプリセットしておき、当該対応関係に基づいて操作体の位置を画面にマッピングすることができる。例示として、操作体位置収集機器１０４が単眼カメラである場合、電子機器は、単眼カメラによぅて撮影された画像内の画素点と画面の画素点とのプリセットの対応関係に基づいて、当該対応関係に基づいて操作体の対応する画面における位置を決定することができる。また、例えば、操作体位置収集機器１０４がレーザレーダである場合、電子機器は、レーザレーダの探知範囲における点と画面の画素点とのプリセットの対応関係に基づいて、操作体の対応する画面における位置を決定することもできる。

【0041】

本実施例では、電子機器は、操作体が空間において遠隔操作を行うか否かをリアルタイムに決定することができる。例えば、操作体が操作体位置収集機器１０４の探知範囲内に出現したこと又は操作体が操作体位置収集機器１０４の探知範囲内を移動していることを検出した場合、操作体が遠隔操作を行ったと決定する。

【0042】

ステップ２０２では、決定された位置にアイコンを表示する。

【0043】

本実施例では、電子機器は、表示対象アイコンの画面における位置に上記アイコンを表示することができる。ここで、アイコンは、様々な種類及び形状であってもよい。例えば、アイコンは、静的な図であってもよく、動的な図であってもよい。アイコンの形状は、固定形状であってもリアルタイムに変化する形状であってもよい。例示として、アイコンは、水滴状のアイコンであることができ、また、当該アイコンは、水滴の揺れの状態を示す動的な図形であることができる。

【0044】

ステップ２０３では、操作体の移動が検出されたことに応じて、操作体の第１の移動物理量を決定する。

【0045】

本実施例では、電子機器は、操作体の移動が検出されたことに応じて、操作体の第１の移動物理量を決定することができる。ここで、第１の移動物理量は、移動速度、移動方向、移動幅などのうちの少なくとも１つを含むが、これに限定されない。なお、第１の移動物理量は、操作体の空間における実際物理量であってもよく、移動物体を他の次元（例えば、二次元像平面や三次元仮想空間）にマッピングした物理量であってもよい。

【0046】

例示として、操作体位置収集機器１０４が単眼カメラである場合、第１の移動物理量は、操作体が単眼カメラによって撮影された画像にマッピングされた物理量であることができる。もう１つの例示として、操作体位置収集機器１０４がレーザレーダなどの三次元探知機器である場合、第１の移動物理量は、操作体の空間における実際物理量であることができる。

【0047】

ステップ２０４では、第１の移動物理量に基づいて、アイコンの画面における第２の移動物理量を決定する。

【0048】

本実施例では、電子機器は、第１の移動物理量に基づいて、アイコンの画面における第２の移動物理量を決定することができる。具体的には、電子機器は、プリセットされた第１の移動物理量が位置している次元と画面とのマッピング関係に基づいて、アイコンの画面における第２の移動物理量を決定することができる。第２の移動物理量は、移動速度、移動方向、移動幅（すなわち、アイコンの画面における移動距離）などのうちの少なくとも１つを含むが、これに限定されない。

【0049】

例示として、操作体位置収集機器１０４が単眼カメラである場合、電子機器は、当該単眼カメラによって撮影された画像内の画素点と画面の画素点とのプリセット対応関係に基づいて、アイコンの第２の画面における移動物理量を決定することができる。もう１つの例示として、操作体位置収集機器１０４がレーザレーダなどの三次元探知機器である場合、電子機器は、三次元探知機器の探知範囲における点と画面の画素点とのプリセットの対応関係に基づいて、アイコンの第２の画面における移動物理量を決定することができる。

【0050】

ステップ２０５では、第２の移動物理量に基づいて、アイコンが画面上でドラッグされるように制御する。

【0051】

本実施例では、電子機器は、第２の移動物理量に基づいて、アイコンが画面上でドラッグされるように制御することができる。ここで、ドラッグ中、アイコンの形状は変化しなくてもよく、スミア、変形などのプリセットの動的効果を生成してもよい。

【0052】

本開示の上記実施例に係る方法は、操作体が空間において遠隔操作を行ったときには、操作体が画面にマッピングされたアイコンの位置を決定し、操作体の移動を検出したときには、操作体の第１の移動物理量を決定し、第１の移動物理量に基づいてアイコンの画面における第２の移動物理量を決定し、最後、第２の移動物理量に基づいて、アイコンが画面上でドラッグされるように制御し、それにより、操作体が遠隔操作を行うとき、画面においてアイコンをドラックして操作体の移動軌跡をリアルタイムにフィードバックすることで、ユーザはアイコンの移動軌跡を参照して遠隔操作が正確であるか否かをリアルタイムに把握することができ、アイコンの画面における第２の移動物理量により操作体の遠隔操作の重量感を具現し、ユーザの操作感を大幅に改善し、遠隔操作の正確率を高めることができる。

【0053】

いくつかの好ましい実現形態では、ステップ２０５は、以下のステップの実行を含むことができる。

【0054】

まずは、第２の移動物理量に基づいて、アイコンの画面におけるスミアの長さ、第１の移動方向、及び第１の移動速度を決定する。

【0055】

通常、第２の移動物理量は、上記第１の移動方向及び第１の移動速度を含むことができる。スミアの長さは、第１の移動速度に対応することができる。例えば、第１の移動速度が速いほどスミアの長さが長くなる。例示として、スミアの長さは、移動中のアイコンが各位置での表示時間長により表現されることができ、例えば、アイコンが経過した各位置での表示時間長が同じである場合、第１の移動速度が速いほどアイコンが第１の時刻の位置から第２の時刻の位置まで移動する距離が長くなり、スミアの長さが長く表現され、逆に、第１の移動速度が遅いほどアイコンが第１の時刻の位置から第２の時刻の位置まで移動する距離が短くなり、スミアの長さが短く表現され、すなわち、前記スミアの長さは、第１の移動速度の大きさに従って変化する。

【0056】

次には、スミアの長さに基づいて、アイコンのテール部の形状を調整する。

【0057】

通常、アイコンは、移動するとき頭部とテール部とを含み、スミアの長さが長いほど、テール部の形状は、小さい幅で太から細へ変化し、スミアの長さが短いほど、テール部の形状は、大きい幅で太から細へ変化することができる。例示として、スミアの長さは、移動中のアイコンが各位置での表示時間長により表現されることができ、例えば、移動中のアイコンが経過した各位置での表示時間長が同じで、且つ表現されたサイズが大から小へ変化する場合、第１の移動速度が速いほど、アイコンが第１の時刻の位置から第２の時刻の位置まで移動する距離が長くなり、スミアの長さが長く且つテール部の太から細への変化幅が小さいことを示し、逆に、第１の移動速度が遅いほど、アイコンが第１の時刻の位置から第２の時刻の位置まで移動する距離が短くなり、スミアの長さが短く且つスミアの太から細への変化幅が大きいことを示す。

【0058】

最後に、アイコンが第１の移動速度で第１の移動方向に沿ってドラッグされるように制御する。

【0059】

図３Ａは、本開示の実施例の１つの応用シナリオの概略図を示す。当該応用シナリオでは、操作体は、ユーザの手であり、画面は、車両のセンターコンソールの画面である。画面上の符号Ａ～Ｆに対応するブロックは、ナビゲーションモジュール、ラジオモジュール、ブルートゥース（登録商標）音楽モジュールなどの各機能モジュールのトリガー領域を表すことができる。符号Ｇに対応する領域は、各種の情報、例えば現在時刻、車両の現在位置、車内温度などの情報を表示する領域であることができる。

【0060】

電子機器は、車両の上部にあるカメラによって撮影されたユーザの手の位置を認識し、本開示の実施例によって、手の位置を画面にリアルタイムにマッピングし、画面の対応する位置に水滴の形状のアイコンを表示する。電子機器は、アイコンの移動軌跡を認識することで、センターコンソールを制御して対応する機能を実行させて、ユーザによるセンターコンソールに対する遠隔操作を実現する。例えば、アイコンの左から右への移動は、次の音楽を再生することを表し、アイコンの画面における円周運動は、画面を閉じることを表すなどである。図３Ａに示すように、ユーザの手の動きが遅い場合、画面上のアイコンは、３０１に示すようにスミアの長さが短く、ユーザの手の動きが速い場合、画面上のアイコンは、３０２に示すようにスミアの長さが長くなる。

【0061】

本実現形態は、アイコンが移動するときに対応する長さのスミアを表示することにより、ユーザが現在の操作体の移動速度の遅速をより直感的に感じることができ、それにより、ユーザが操作体の移動速度をより効果的に調整することができ、遠隔操作の精度をさらに高めることができる。

【0062】

いくつかの好ましい実現形態では、電子機器は、以下のステップをさらに実行することができる。

【0063】

操作体の遠隔操作を検出するための機器の検出限界から操作体が離隔したことを検出したことに応じて、アイコンが位置する画面における現在の表示位置に第１のプリセットアニメーションに従ってアイコンの形状変化をプレゼンする。

【0064】

ここで、操作体の遠隔操作を行う機器は、図１に示すような操作体位置収集機器１０４であることができる。例示として、操作体位置収集機器１０４が単眼カメラである場合、上記検出限界は、撮像画像内に画定された限界であり、当該限界が画像の表示範囲の限界であることができ、画像内に設定された特定の大きさの範囲の限界であることもできる。もう１つの例示として、操作体位置収集機器１０４がレーザレーダなどの三次元探知機器である場合、上記検出限界は、三次元探知機器の探知範囲内に画定された限界であり、当該限界が上記探知範囲の実際の限界であることができ、探知範囲内に設定された特定の大きさの範囲の限界であることもできる。

【0065】

通常、上記検出限界は、画面の表示限界に対応し、操作体が機器の検出限界から離れたことを検出した場合、画面の表示限界において第１のプリセットアニメーションに従ってアイコンの形状変化をプレゼンすることができる。例示として、アイコンの形状は、水滴の形状であり、第１のプリセットアニメーションは、水滴が破砕されたことを示すアニメーションであり、前記機器は、前記操作体の遠隔操作を検出することに用いられることができる。

【0066】

図３Ｂは、本開示の実施例のもう１つの応用シナリオの概略図を示す。図３Ｂに示すように、ユーザの手（すなわち操作体）の移動幅が単眼カメラや三次元探知機器などの検出限界から離れすぎる場合、対応的に、水滴のアイコンが画面の表示限界へ移動し、画面の限界位置に第１のプリセットアニメーションを表示する。ここで、図３Ｂの符号３０３に示すように、第１のプリセットアニメーションは、水滴が分裂しているプロセスである。なお、水滴が分裂する速度及び水滴の分裂程度は、ジェスチャーの速度と正の関係となり、例えば、ジェスチャーの速度が速いほど、水滴がより速く分裂し且つ水滴が呈する零砕粒子が多くなる。

【0067】

本実現形態は、操作体が検出限界から離れるとき、画面に第１のプリセットアニメーションをプレゼンすることで、ユーザがタイムリーに操作体の位置を操作体位置収集機器の検出範囲内へ調整するように、現在操作体が操作体位置収集機器の検出限界に達したことをユーザに動的に提示し、それによりユーザが遠隔操作を行う精度を高め、ユーザの操作感を改善することができる。

【0068】

いくつかの好ましい実現形態では、電子機器は、以下のステップをさらに実行することができる。

【0069】

第１の移動物理量に基づいて、第１の移動物理量に含まれている第２の移動速度としての前記操作体の移動速度を決定し、当該第２の移動速度が第１のプリセット速度以上である場合、アイコンが位置する画面における現在の表示位置に第２のプリセットアニメーションに従ってアイコンの形状変化をプレゼンする。ここで、第１の移動物理量は、操作体の移動速度を含み、これにより、第１の移動物理量に基づいて、操作体の現在の移動速度を決定することができる。第２のプリセットアニメーションは、上記第１のプリセットアニメーションと同じであっても異なってもよい。例示として、アイコンの形状は、水滴の形状であり、第２のプリセットアニメーションは、水滴が分裂したことを示すアニメーションであることができる。

【0070】

図３Ｃは、本開示の実施例のもう１つの応用シナリオの概略図を示す。図３Ｃに示すように、ユーザの手（すなわち操作体）の移動速度が速すぎることを検出した場合、アイコンが移動されている現在位置に第２のプリセットアニメーションをプレゼンし、ここで、図３Ｃにおける符号３０４に示すように、第２のプリセットアニメーションは、水滴が分裂しているプロセスの一部のプレゼンテーションである。なお、水滴が分裂する速度及び水滴の分裂程度は、ジェスチャーの速度と正の関係になり、例えば、ジェスチャーの速度が速いほど、水滴がより速く分裂し且つ水滴が呈する零砕粒子が多くなる。

【0071】

本実現形態は、操作体の速度が速すぎるとき第２のプリセットアニメーションをプレゼンすることで、操作体の移動速度をプリセットされた正常速度範囲に調整するようにユーザを促し、それによりユーザが操作体の移動速度を適正範囲に調整し、ユーザによる遠隔操作の精度を高め、ユーザの操作感を改善することができる。

【0072】

なお、本開示内のアイコンは、本体部及びテール部を含み、図３Ａ～図３Ｃに示すように、アイコンを水滴の形状で列挙した場合、本体部３１及びテール部３２は、一体となった構造である。図３Ａに示すように、２つの破線枠３０１１及び３０１２は、それぞれ本体部及びテール部を表す。また、図３Ｄに示すように、本開示におけるアイコンは、本体部及びテール部がさらにスプリット構造となることもでき、図３Ｄのアイコン３０５のように、本体部３０５１及びテール部３０５２を含み、テール部３０５２は、離散的であるとともに面積が順次減少する水滴分布の形態であり、それによりユーザが遠隔操作を行う重量感を呈し、ユーザの操作感を改善することができる。

【0073】

いくつかの好ましい実現形態では、電子機器は、以下のステップをさらに実行することができる。

【0074】

第２の移動物理量に基づいて、上述した第１の移動速度としてのアイコンの移動速度を決定し、当該第１の移動速度が第２のプリセット速度以下である場合、操作体から画面が位置する平面までの垂直距離に基づいて、画面におけるアイコンの本体の表示サイズを調整する。

【0075】

ここで、第２の移動物理量は、アイコンの移動速度を含み、これにより、第２の移動物理量に基づいて、アイコンの現在の移動速度を決定することができる。アイコンの現在の移動速度が第２のプリセット速度以下である場合、現在のアイコンが略静止状態にあることを表し、すなわち、操作体が画面が位置する平面と平行な平面上に略静止状態にあり、このとき、ユーザは、操作体と画面が位置する平面との間の垂直距離を調整することができ、アイコンの大きさは、上記垂直距離の変化に従って変化する。通常、上記垂直距離が小さいほど、アイコンのサイズが大きくなり、それにより、操作体が画面を押圧する効果を模擬することができる。

【0076】

上記垂直距離は、従来の種々の距離測定方法によって得ることができる。例えば、レーザレーダ、赤外距離計、超音波距離計、両眼ステレオカメラなどの三次探知機器を用いて、操作体と画面が位置する平面との間の垂直距離を決定することができる。

【0077】

本実現形態では、操作体と画面が位置する平面との間の垂直距離に基づいてアイコンの表示サイズを調整することで、ユーザが遠隔操作を行う重量感を模擬することができ、ユーザの操作性をさらに改善することができる。

【0078】

いくつかの好ましい実現形態では、電子機器は、以下のステップをさらに実行することができる。

【0079】

まずは、操作体の遠隔操作を検出するための機器が第１のカメラである場合、操作体とカメラとの間の距離を決定する。当該距離は、正確な距離であってもよく、推定距離であってもよい。例えば、電子機器は、第１のカメラによって撮影された画像における操作体の大きさから、操作体とカメラとの間の距離を推定することができる。

【0080】

つぎは、操作体と第１のカメラとの間の距離に対応する目標焦点距離を決定する。ここで、距離と焦点距離との対応関係は、プリセットされることができ、電子機器は、当該対応関係に基づいて、現在操作体と第１のカメラとの間の距離に対応する焦点距離を目標焦点距離とすることができる。

【0081】

最後に、第１のカメラの焦点距離を目標焦点距離に調整して操作体の画像を収集し、又は、距離に対応する目標焦点距離が第１のカメラの最大焦点距離を超える場合、第１のカメラを第２のカメラに切り替え、前記第２のカメラの焦点距離を前記目標焦点距離に調整して当該第２のカメラを用いて操作体の画像を収集する。ここで、第２のカメラの焦点距離は、第１のカメラの焦点距離より大きい。

【0082】

通常、第２のカメラは、近距離の物体を撮影するための望遠カメラであり、第２のカメラは、第１のカメラの近傍に取り付けられることができる。本実現形態は、操作体と第１のカメラとの間の距離に基づいて第１のカメラの焦点距離を調整することによって、又は、第１のカメラの焦点距離が距離に対応するように調整できない場合には第２のカメラに切り替えて撮影することによって、撮影された操作体の画像を鮮明に保持することができ、それにより操作体を認識する精度を高め、遠隔操作の精度をさらに高めることができる。

【0083】

図４は、操作体に基づく動的表示方法のもう１つの例示的な実施例のフローチャートを示す。図４に示すように、上記図２に示す実施例に基づいて、ステップ２０１は、ステップ２０１１～ステップ２０２３を含むことができる。

【0084】

ステップ２０１１では、マルチフレーム画像に操作体が存在することを検出したことに応じて、マルチフレーム画像に基づいて操作体が空間において画面に対して行った遠隔操作を決定する。

【0085】

本実施例では、上記マルチフレーム画像は、単眼カメラによって撮影されたものであり、当該マルチフレーム画像に含まれる画像の数は、任意に設定されてもよく、例えば、当該マルチフレーム画像は、現在撮影されている１フレームの画像と、１フレーム前の画像と、を含むことができる。

【0086】

通常、上記マルチフレーム画像のいずれかフレームの画像に操作体が現れたことを検出した場合、操作体が遠隔操作を行ったことを決定することができる。

【0087】

ステップ２０１２では、マルチフレーム画像に基づいて、操作体の画像座標位置を決定する。

【0088】

本実施例では、電子機器は、マルチフレーム画像のそれぞれのフレーム画像に対して操作体認識を行い、操作体の各フレーム画像における画像座標位置を決定することができる。

【0089】

ステップ２０１３では、画像座標位置に基づいて、表示対象アイコンの画面における位置を決定する。

【0090】

本実施例では、電子機器は、単眼カメラによって撮影された画像内の画素点と画面の画素点とのプリセットの対応関係に基づいて、各フレーム画像における操作体の画像座標位置に対応する画面における位置を表示対象アイコンの位置として決定することができる。

【0091】

なお、当該対応関係を設定するとき、上記画像における各画素点が画面における画素点に対応するように設定してもよく、画像における一部の画素点が画面における画素点に対応するように設定してもよく、例えば、画像のある領域における各画素と画面における各画素との対応関係を設定する。

【0092】

上記図４に対応する実施例に係る方法は、カメラを用いて操作体を撮影し、画像を認識することで操作体に対応するアイコンの画面における位置を決定するのであり、それに必要な機器は、コストが低く、取り付けやすいため、空間における特定の位置にカメラを取り付けるだけで、カメラによって撮影された画像を利用することができ、画面におけるアイコンの位置をリアルタイムに決定することができ、それにより、遠隔操作システムのコストを削減し、遠隔操作の効率を高めることができる。

【0093】

いくつかの好ましい実現形態では、図５に示すように、ステップ２０１１～ステップ２０２３に基づいて、上記ステップ２０３は、ステップ２０３１１及びステップ２０３１２の実行を含むことができる。

【0094】

ステップ２０３１１では、操作体の第１のフレーム画像における第１の画像座標、及び操作体の第２のフレーム画像における第２の画像座標を決定する。

【0095】

ここで、第２のフレーム画像は、第１のフレーム画像とプリセットフレーム数を間隔する画像である。第１のフレーム画像及び第２のフレーム画像は、上記ステップ２０２１で説明したマルチフレーム画像のうちの少なくとも１フレームの画像であることができる。例示として、第２のフレーム画像は、現在撮影された１フレームの画像であり、第１のフレーム画像は、１フレーム前の画像であることができる。なお、操作体の画像における画像座標を決定する方法は、従来の目標検出方法、例えばニューラルネットワークに基づく目標検出モデルであってもよいため、ここで詳細な説明を省略する。

【0096】

ステップ２０３１２では、第１の画像座標、第２の画像座標及び画像のプリセットフレームレートに基づいて、操作体の第１の移動物理量を決定する。

【0097】

ここで、本ステップにおける第１の移動物理量は、画像における操作体の移動物理量であり、ここで、当該操作体の移動物理量は、画像における操作体の移動速度、移動方向、移動幅の少なくとも１つを含むが、これに限定されない。

【0098】

上記図５に対応する実施例に係る方法は、操作体の２つのフレーム画像における画像座標を決定し、画像座標に基づいて操作体の画像における第１の移動物理量を決定することで、第１の移動物理量を決定するプロセスが簡単かつ迅速であり、それにより遠隔操作の効率を効果的に向上させることができる。

【0099】

さらに、図６は、操作体に基づく動的表示方法のもう１つの実施例のフローチャートを示す。図６に示すように、上記図２に示す実施例に基づいて、ステップ２０３は、ステップ２０３２１～ステップ２０３２３を含むことができる。

【0100】

ステップ２０３２１では、操作体の移動が検出されたことに応じて、操作体の空間における第１の三次元座標を決定する。

【0101】

本実施例では、両眼ステレオカメラやレーザレーダなどの三次元探知機器を用いて対応する種類のデータフレームをリアルタイムに取得し、データフレームに基づいて操作体の三次元空間の座標位置をリアルタイムに検出することができる。ここで、データフレームに基づいて操作体の三次元空間の座標位置を決定する方法は、従来技術であるため、ここで詳細な説明を省略する。操作体の三次元座標の変化を検出した場合、操作体が移動したと決定することができ、操作体の移動が検出された時点での現在のフレームデータに対応する三次元座標を第１の三次元座標としてもよく、又は操作体の移動が検出された時点の１フレーム前のデータに対応する三次元座標を第１の三次元座標としてもよい。

【0102】

ステップ２０３２２では、操作体の空間における第１の三次元座標から第２の三次元座標への第２の移動速度及び第２の移動方向を決定する。

【0103】

本実施例では、第２の三次元座標は、第１の三次元座標に対応する現在のデータフレーム又は１前のデータフレームの後に位置するデータフレームに基づいて決定されることができる。さらに、第１の三次元座標及び第２の三次元座標に基づいて、操作体の空間における移動速度及び移動方向を、第２の移動速度及び第２の移動方向として決定することができる。

【0104】

例えば、第１の三次元座標を（Ｘ１，Ｙ１，Ｚ１）とし、第２の三次元座標を（Ｘ２，Ｙ２，Ｚ２）とすると、画像データを収集するフレームレートに基づいて（Ｘ１，Ｙ１，Ｚ１）から（Ｘ２，Ｙ２，Ｚ２）までの時間を求め、また（Ｘ１，Ｙ１，Ｚ１）と（Ｘ２，Ｙ２，Ｚ２）との空間幾何学的関係に基づいて、操作体の空間における移動速度及び移動方向を決定し、得られた移動速度及び移動方向に基づいて、第２の移動速度及び第２の移動方向を決定することができる。例えば、上記得られた移動速度及び移動方向を第２の移動速度及び第２の移動方向として決定することができる。

【0105】

ステップ２０３２３では、第２の移動速度及び第２の移動方向に基づいて、操作体の第１の移動物理量を決定する。

【0106】

本実施例では、第１の移動物理量は、上記第２の移動速度及び第２の移動方向を含んでもよく、他の物理量（例えば、移動幅など）を含んでもよい。

【0107】

上記図６に対応する実施例に係る方法は、操作体の空間における三次元座標を検出して空間における第１の移動物理量を決定することで、操作体の空間における移動状態を正確に反映することができ、それにより、第１の移動物理量に基づいて、画面における対応する位置にアイコンをより正確に表示することができ、それにより遠隔操作のプロセスを空間における実際の状況に接近させ、遠隔操作の精度を高め、ユーザの操作感をさらに改善することができる。

【0108】

いくつかの好ましい実現形態では、上記ステップ２０３２１～ステップ２０３２３に基づいて、上記ステップ２０４は、以下のサブステップをさらに含むことができる。

【0109】

まずは、目標空間範囲と画面の表示範囲とのプリセットのマッピング関係に基づいて、画面において第２の移動速度及び第２の移動方向のそれぞれに対応する第３の移動速度及び第３の移動方向を決定する。

【0110】

ここで、操作体の三次元座標を検出するための上記機器は、上記ステップ２０３２１で説明した三次元検出機器であることができる。目標空間範囲は、操作体の三次元座標を検出するための機器の空間検出範囲である。なお、目標空間範囲は、上記三次元探知機器の空間検出範囲全般であってもよく、プリセットされた空間検出範囲全般に含まれる一部の空間検出範囲であってもよい。

【0111】

本実施例では、電子機器は、目標空間範囲内の点と画面の画素点とのプリセットの対応関係に基づいて、第３の移動速度及び第３の移動方向を決定することができる。例えば、当該対応関係に基づいて、上記第１の三次元座標及び第２の三次元座標が画面にそれぞれマッピングされた第１の点及び第２の点を決定し、第１の点及び第２の点の座標、及び移動時間に基づいて、アイコンの画面における移動速度及び移動方向を第３の移動速度及び第３の移動方向として決定することができる。

【0112】

つぎは、第３の移動速度及び第３の移動方向に基づいて、アイコンの画面における第２の移動物理量を決定する。ここで、第２の移動物理量は、上記第３の移動速度及び第３の移動方向を含んでもよく、他の物理量（例えば、移動幅など）を含んでもよい。

【0113】

本実現形態は、目標空間範囲と画面の表示範囲とのプリセットのマッピング関係に基づいて、アイコンの画面における第３の移動速度及び第３の移動方向を決定することで、第２の移動物理量が操作体の三次元空間における移動状態を正確に反映することができ、それにより遠隔操作の精度を高めることができる。

【0114】

いくつかの好ましい実現形態では、図７に示すように、上記好ましい実現形態に基づいて、上記ステップ２０５は、以下のサブステップ２０５１～２０５５を含むことができる。

【0115】

ステップ２０５１では、操作体と画面が位置する平面との間の垂直距離を決定する。

【0116】

上記垂直距離は、従来の種々の距離測定方法によって得ることができる。例えば、上記三次元探知機器、赤外距離計、超音波距離計などの距離測定機器を用いて、操作体と画面が位置する平面との間の垂直距離を決定することができる。

【0117】

ステップ２０５２では、アイコンのサイズを、プリセットされた垂直距離に対応するアイコンサイズに調整する。

【0118】

ここで、アイコンサイズと垂直距離との対応関係は、プリセットされることができ、電子機器は、当該対応関係に基づいて、現在の垂直距離に対応するアイコンサイズを決定することができる。通常、上記垂直距離が小さいほど、アイコンのサイズが大きくなり、それにより、操作体が画面を押圧する効果を模擬することができる。

【0119】

ステップ２０５３では、第２の移動物理量に基づいて、アイコンの画面におけるスミアの長さを決定する。

【0120】

具体的には、前記第３の移動方向及び前記第３の移動速度に基づいて、アイコンの前記画面におけるスミアの長さを決定し、前記スミアの長さは、前記第３の移動速度の大きさに従って変化する。

【0121】

ここで、本ステップにおけるスミアの長さの概念は、上記図２に対応する実施例の好ましい実現形態で説明したスミアの長さの概念と同じであるため、ここで詳細な説明を省略する。

【0122】

ステップ２０５４では、スミアの長さに基づいて、アイコンのテール部の形状を調整する。

【0123】

ここで、本ステップにおけるテール部の形状の概念は、上記図２に対応する実施例の好ましい実現形態で説明したテール部の形状の概念と同じであるため、ここで詳細な説明を省略する。

【0124】

ステップ２０５５では、アイコンが第３の移動速度で第３の移動方向に沿ってドラッグされるように制御する。

【0125】

本実現形態は、アイコンが移動するときに対応する長さのスミアを表示すると同時に、操作体と画面との間の距離に基づいてアイコンのサイズを調整することにより、操作体は、移動プロセスにおいて操作体が画面を押圧する効果を模擬することができ、ユーザが視覚的に遠隔操作の重量感を感じることができ、ユーザの操作性をさらに改善することができる。

【0126】

なお、本開示で説明した操作体の方式に基づいてアイコンを動的に表示する方法のフローは、視覚的な側面により操作体の重量感を表現するものであり、理解すべきものとして、本開示はさらに、アイコン、音声、テキストなどの方式の任意の組み合わせに基づいて表現することもでき、例えば、アイコンが画面上でドラッグされるとき、また第２の移動物理量に基づいて操作体を指示するための音声効果を決定して当該音声効果を再生することができる。例えば、第２の移動物理量に含まれる移動速度が速いほど、音声効果が音量が大きくなるように表現し、操作体の操作性をさらに改善することができる。また例えば、アイコンが画面上でドラッグされるとき、また第２の移動物理量に基づいて操作体を指示するためのテキストメッセージを生成し、当該テキストメッセージを画面に表示することができる。

【0127】

（例示的な装置）
図８は、本開示の１つの例示的な実施例に係る操作体に基づく動的表示装置の構造概略図である。本実施例は、電子機器にさらに適用されることができ、図８に示すように、操作体に基づく動的表示装置は、ユーザの身体部位又は特定の形状を有する物体である操作体が空間において画面に対して行った遠隔操作に応じて、表示対象アイコンの画面における位置を決定するための第１の決定モジュール８０１と、第１の決定モジュール８０１によって決定された位置にアイコンを表示するための表示モジュール８０２と、操作体の移動が検出されたことに応じて操作体の第１の移動物理量を決定するための第２の決定モジュール８０３と、第２の決定モジュール８０３によって決定された第１の移動物理量に基づいて、アイコンの画面における第２の移動物理量を決定するための第３の決定モジュール８０４と、第３の決定モジュール８０４によって決定された第２の移動物理量に基づいて、アイコンが画面上でドラッグされるように制御するための制御モジュール８０５と、を備える。ここで、前記第１の移動物理量は、前記操作体の空間における実際物理量、又は前記操作体が撮影画像にマッピングされた物理量であることができる。

【0128】

本実施例では、第１の決定モジュール８０１は、操作体が空間において画面に対して行った遠隔操作に応じて、表示対象アイコンの画面における位置を決定することができる。ここで、操作体は、制御対象機器に対して遠隔操作を行う様々の物体であり、例えば、操作体は、ユーザの手、頭部などの身体部位であってもよく、又は体感型ハンドルなどのリアルタイムに上記装置に位置情報を出力することができる物体であってもよく、さらに特定の形状を有する他の物体であってもよい。

【0129】

第１の決定モジュール８０１は、様々な方法に基づいて操作体の位置をリアルタイムに決定することができる。通常、第１の決定モジュール８０１は、図１に示すような操作体位置収集機器１０４が操作体に対して収集した認識対象データを取得し、認識対象データを認識して操作体の位置を決定することができる。例示として、操作体位置収集機器１０４は、単眼カメラであることができ、第１の決定モジュール８０１は、単眼カメラによってリアルタイムに収集された画像フレームを認識し、操作体の画像フレームにおける位置を決定することができる。また、例えば、操作体位置収集機器１０４は、両眼ステレオカメラであることができ、第１の決定モジュール８０１は、両眼ステレオカメラによってリアルタイムに収集された両眼画像を認識し、操作体の三次元空間における位置を決定することができる。

【0130】

第１の決定モジュール８０１は、決定された操作体の位置を表示対象アイコンの画面における位置として画面の対応する位置にマッピングすることができる。当該画面は、当該装置に含まれる画面であってもよく、当該装置に接続された機器に含まれる画面であってもよい。例えば、当該画面は、車両のコンソールの画面であることができる。通常、操作体の位置と画面における位置との対応関係をプリセットしておき、当該対応関係に基づいて操作体の位置を画面にマッピングすることができる。

【0131】

本実施例では、第１の決定モジュール８０１は、操作体が空間において遠隔操作を行うか否かをリアルタイムに決定することができる。例えば、操作体が操作体位置収集機器１０４の探知範囲内に出現したこと又は操作体が操作体位置収集機器１０４の探知範囲内を移動していることを検出した場合、操作体が遠隔操作を行ったと決定する。

【0132】

本実施例では、表示モジュール８０２は、表示対象アイコンの画面における位置に上記アイコンを表示することができる。例えば、アイコンは、様々な種類及び形状であってもよい。例えば、アイコンは、静的な図であってもよく、動的な図であってもよい。アイコンの形状は、固定形状であってもリアルタイムに変化する形状であってもよい。例示として、アイコンは、水滴の形状のアイコンであることができ、水滴の揺れの状態を示す動的な図形であることができる。

【0133】

本実施例では、第２の決定モジュール８０３は、操作体の移動が検出されたことに応じて、操作体の第１の移動物理量を決定することができる。ここで、第１の移動物理量は、移動速度、移動方向、移動幅などのうちの少なくとも１つを含むが、これに限定されない。なお、第１の移動物理量は、操作体の空間における実際物理量であってもよく、移動物体を他の次元（例えば、二次元像平面や三次元仮想空間）にマッピングした物理量であってもよい。

【0134】

例示として、操作体位置収集機器１０４が単眼カメラである場合、第１の移動物理量は、操作体が単眼カメラによって撮影された画像にマッピングされた物理量であることができる。もう１つの例示として、操作体位置収集機器１０４がレーザレーダなどの三次元探知機器である場合、第１の移動物理量は、操作体の空間における実際物理量であることができる。

【0135】

本実施例では、第３の決定モジュール８０４は、第１の移動物理量に基づいて、アイコンの画面における第２の移動物理量を決定することができる。具体的には、第３の決定モジュール８０４は、プリセットされた第１の移動物理量が位置している次元と画面とのマッピング関係に基づいて、アイコンの画面における第２の移動物理量を決定することができる。ここで、第２の移動物理量は、移動速度、移動方向、移動幅などのうちの少なくとも１つを含むが、これに限定されない。

【0136】

本実施例では、制御モジュール８０５は、第２の移動物理量に基づいて、アイコンが画面上でドラッグされるように制御することができる。ここで、ドラッグ中、アイコンの形状は変化しなくてもよく、プリセットされた動的効果（スミア、変形など）を生成してもよい。

【0137】

図８は、本開示のさらなる１つの例示的な実施例に係る操作体に基づく動的表示装置の構造概略図である。

【0138】

いくつかの好ましい実現形態では、第１の決定モジュール８０１は、マルチフレーム画像に操作体が存在することを検出したことに応じて、マルチフレーム画像に基づいて操作体が空間において画面に対して行った遠隔操作を決定するための第１の決定ユニット８０１１と、マルチフレーム画像に基づいて操作体の画像座標位置を決定するための第２の決定ユニット８０１２と、画像座標位置に基づいて表示対象アイコンの画面における位置を決定するための第３の決定ユニット８０１３と、を備える。

【0139】

いくつかの好ましい実現形態では、第２の決定モジュール８０３は、第１のフレーム画像における操作体の第１の画像座標、及び第２のフレーム画像における操作体の第２の画像座標を決定するためのものであり、第２のフレーム画像が、第１のフレーム画像とプリセットフレーム数を間隔する画像である第４の決定ユニット８０３１と、第１の画像座標、第２の画像座標及び画像のプリセットフレームレートに基づいて、操作体の第１の移動物理量を決定するための第５の決定ユニット８０３２と、を備えることができる。

【0140】

いくつかの好ましい実現形態では、前記第２の移動物理量は、第１の移動方向及び第１の移動速度を含み、制御モジュール８０５は、第２の移動物理量に基づいて、画面におけるアイコンのスミアの長さ、第１の移動方向及び第１の移動速度を決定するためのものであり、前記スミアの長さが、前記第１の移動速度の大きさに従って変化する第６の決定ユニット８０５１と、スミアの長さに基づいてアイコンのテール部の形状を調整するための第１の調整ユニット８０５２と、アイコンが第１の移動速度で第１の移動方向に沿ってドラッグされるように制御するための第１の制御ユニット８０５３とを含んでもよい。

【0141】

いくつかの好ましい実現形態では、第２の決定モジュール８０３は、操作体の移動が検出されたことに応じて、空間における操作体の第１の三次元座標を決定するためのものであり、前記第１の三次元座標が、前記操作体が移動するときに現在のデータフレームに対応する三次元座標、又は、前記操作体が移動するときに１つ前のデータフレームに対応する三次元座標である第７の決定ユニット８０３３と、操作体の空間における第２の三次元座標を決定するためのものであり、前記第２の三次元座標が、前記操作体が移動するときに前記現在のデータフレーム又は１つ前のデータフレームに続くデータフレームに対応する三次元座標である第８の決定ユニット８０３４と、第１の三次元座標及び前記第２の三次元座標に基づいて、操作体の空間における第２の移動速度及び第２の移動方向を決定し、前記第２の移動速度及び前記第２の移動方向に基づいて操作体の第１の移動物理量を決定するための第９の決定ユニット８０３５と、を備えることができる。

【0142】

いくつかの好ましい実現形態では、第３の決定モジュール８０４は、第１０の決定ユニット８０４１であって、目標空間範囲と画面の表示範囲とのプリセットのマッピング関係に基づいて、画面において第２の移動速度及び第２の移動方向のそれぞれ対応する第３の移動速度及び第３の移動方向を決定するためのものであり、目標空間範囲が、操作体の三次元座標を検出するための機器の空間検出範囲である第１０の決定ユニット８０４１と、第３の移動速度及び第３の移動方向に基づいて、アイコンの画面における第２の移動物理量を決定するための第１１の決定ユニット８０４２と、を備えることができる。

【0143】

いくつかの好ましい実現形態では、制御モジュール８０５は、操作体と画面が位置する平面との間の垂直距離を決定するための第１２の決定ユニット８０５４と、アイコンのサイズを、プリセットされた垂直距離に対応するアイコンサイズに調整するための第２の調整ユニット８０５５と、第２の移動物理量における第３の移動方向及び第３の移動速度に基づいて、画面におけるアイコンのスミアの長さを決定するためのものであり、前記スミアの長さが、前記第３の移動速度の大きさに従って変化する第１３の決定ユニット８０５６と、スミアの長さに基づいてアイコンのテール部の形状を調整するための第３の調整ユニット８０５７と、アイコンが第３の移動速度で第３の移動方向に沿ってドラッグされるように制御するための第２の制御ユニット８０５８と、を備えることができる。

【0144】

いくつかの好ましい実現形態では、当該装置は、操作体の遠隔操作を検出するための機器の検出限界から操作体が離れたことを検出した場合、アイコンが位置する画面における現在の表示位置に第１のプリセットアニメーションに従ってアイコンの形状変化をプレゼンするための第１のプレゼンモジュール８０６をさらに備えることができる。前記機器は、前記操作体の遠隔操作を検出するためのものである。

【0145】

いくつかの好ましい実現形態では、当該装置は、第１の移動物理量に基づいて、操作体の移動速度を決定し、第２の移動速度が第１のプリセット速度以上である場合、第２のプリセットアニメーションに従って、アイコンが位置する画面における現在の表示位置にアイコンの形状変化をプレゼンするための第２のプレゼンモジュール８０７をさらに備えることができる。ここで、前記第１の移動物理量は、第２の移動速度を含む。

【0146】

いくつかの好ましい実現形態では、当該装置は、第２の移動物理量に基づいて、第１の移動速度としてのアイコンの移動速度を決定し、当該第１の移動速度が第２のプリセット速度以下である場合、操作体から画面が位置する平面までの垂直距離に基づいて、画面におけるアイコンの本体の表示サイズを調整するための第１の調整モジュール８０８をさらに備えることができる。前記第２の移動物理量は、第１の移動速度を含む。

【0147】

いくつかの好ましい実現形態では、当該装置は、操作体の遠隔操作を検出するための機器が第１のカメラである場合、操作体と第１のカメラとの間の距離を決定するための第４の決定モジュール８０９と、プリセットされた距離と焦点距離との対応関係に基づいて、前記距離に対応する目標焦点距離を決定するための第２の調整モジュール８１０と、をさらに備えることができる。第２の調整モジュール８１０は、第１のカメラの焦点距離を目標焦点距離に調整して操作体の画像を収集し、又は、前記目標焦点距離が第１のカメラの最大焦点距離を超える場合、第１のカメラを第２のカメラに切り替え、第２のカメラの焦点距離を前記目標焦点距離に調整して当該第２のカメラを用いて操作体の画像を収集する。ここで、第２のカメラの焦点距離は、第１のカメラの焦点距離より大きく、当該第２のカメラの焦点距離は、前記目標焦点距離以上である。

【0148】

本開示の上記実施例に係る操作体に基づく動的表示装置は、操作体が空間において遠隔操作を行ったとき、操作体が画面にマッピングされたアイコンの位置を決定し、操作体の移動が検出されると、操作体の第１の移動物理量を決定し、第１の移動物理量に基づいてアイコンの画面における第２の移動物理量を決定し、最後、第２の移動物理量に基づいて、アイコンが画面上でドラッグされるように制御する。それにより、操作体が遠隔操作を行うとき、画面上でアイコンをドラックさせて操作体の移動軌跡をリアルタイムにフィードバックすることで、ユーザは、アイコンの移動軌跡を参照して遠隔操作が正確であるか否かをリアルタイムに把握することができ、ユーザの操作感を改善し、遠隔操作の正確率を高めることができる。

【0149】

（例示的な電子機器）
以下、図１０を参照しながら本開示の実施例の電子機器について説明する。当該電子機器は、図１に示すような端末機器１０１及びサーバ１０３のいずれか一方若しくは両方、又はこれらとは個別のスタンドアロン機器であってもよく、当該スタンドアロン機器は、端末機器１０１及びサーバ１０３と通信して、それらから収集された入力信号を受信することができる。

【0150】

図１０は、本開示の実施例の電子機器のブロック図を示す。

【0151】

図１０に示すように、電子機器１０００は、１つ又は複数のプロセッサ１００１と、メモリ１００２と、を含む。

【0152】

プロセッサ１００１は、中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）、又はデータ処理能力及び／又はコマンド実行能力を有する他の形態の処理ユニットであってもよく、電子機器１０００内の他のコンポーネントを制御して所望の機能を実行することができる。

【0153】

メモリ１００２は、揮発性メモリ及び／又は不揮発性メモリなどの様々な形態のコンピュータ読み取り可能な記憶媒体を含む、１つ又は複数のコンピュータプログラム製品を含むことができる。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）及び／又はキャッシュメモリ（ｃａｃｈｅ）などを含むことができる。不揮発性メモリは、例えば、リードオンリメモリ（ＲＯＭ）、ハードディスク、フラッシュメモリなどを含むことができる。コンピュータ読み取り可能な記憶媒体には１つ又は複数のコンピュータプログラムコマンドが記憶されることができ、プロセッサ１００１は、プログラムコマンドを実行して、上述した本開示の各実施例における操作体に基づく動的表示方法及び／又はほかの所望の機能を実現することができる。また、コンピュータ読み取り可能な記憶媒体には、認識対象データ、移動物理量などの様々の内容が記憶されることができる。

【0154】

一例では、電子機器１０００は、バスシステム及び／又は他の形態の接続機構（図示せず）を介して相互に接続されている入力装置１００３及び出力装置１００４をさらに含むことができる。

【0155】

例えば、当該電子機器が端末機器１０１やサーバ１０３である場合、当該入力装置１００３は、操作体に対して収集した認識対象データを入力するためのカメラやレーザレーダなどの機器であってもよい。当該電子機器がスタンドアロン機器である場合、当該入力装置１００３は、入力された認識対象データを端末機器１０１又はサーバ１０３から受信するための通信ネットワークコネクタであってもよい。

【0156】

当該出力装置１００４は、第２の移動物理量などを含む各種情報を外部に出力することができる。当該出力装置１００４は、例えば、ディスプレイ、スピーカ、プリンタ、通信ネットワーク及びそれらが接続される遠隔出力機器などを含んでもよい。

【0157】

もちろん、簡略化のため、図１０では、当該電子機器１０００における、本開示に係るコンポーネントの一部のみを示し、バスや入力／出力インタフェースなどのコンポーネントは省略された。それ以外、具体的な応用状況に応じて、電子機器１０００は、任意の適切な他のコンポーネントをさらに含んでもよい。

【0158】

（例示的なコンピュータプログラム製品及びコンピュータ読み取り可能な記憶媒体）
上記の方法及び機器に加えて、本開示の実施例は、コンピュータプログラムコマンドを含むコンピュータプログラム製品であることもでき、前記コンピュータプログラムコマンドがプロセッサによって実行されると、本明細書の上記「例示的な方法」部分で説明された本開示の様々な実施例に係る操作体に基づく動的表示方法におけるステップを前記プロセッサに実行させる。

【0159】

前記コンピュータプログラム製品は、１つ又は複数のプログラミング言語の任意の組み合わせで本開示の実施例の動作を実行するためのプログラムコードを作成することができ、前記プログラミング言語は、例えば、Ｊａｖａ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語を含み、例えば、「Ｃ」言語又は類似のプログラミング言語などの一般的な手続き型プログラミング言語をさらに含む。プログラムコードは、下記のように実行されることができ、すなわち、ユーザコンピューティング機器上で全体的に実行される、ユーザ機器上で部分的に実行される、別個のソフトウェアパッケージとして実行される、一部はユーザコンピューティング機器上で実行され、別の一部はリモートコンピューティング機器上で実行される、又は、リモートコンピューティング機器又はサーバ上で全体的に実行される。

【0160】

また、本開示の実施例は、コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体であってもよく、前記コンピュータプログラムコマンドがプロセッサによって実行されると、本明細書の上記「例示的な方法」部分で説明された本開示の様々な実施例に係る操作体に基づく動的表示方法におけるステップを前記プロセッサに実行させる。

【0161】

前記コンピュータ読み取り可能な記憶媒体は、１つ又は複数の読み取り可能な媒体の任意の組み合わせを用いることができる。読み取り可能な記憶媒体は、読み取り可能な信号媒体又は読み取り可能な記憶媒体であってもよい。読み取り可能な記憶媒体は、例えば、電気、磁気、光学、電磁、赤外線、若しくは半導体のシステム、装置、又はデバイス、あるいはこれらの任意の組み合わせを含み得るが、これらに限定されない。読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）は、１つ又は複数の導線を有する電気的な接続、ポータブルディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組み合わせを含む。

【0162】

以上、具体的な実施例を参照すながら本開示の基本的原理を説明してきたが、本開示に言及される利点、優位性、効果などは、制限されず、例示されるものに過ぎず、これらの利点、優位性、効果などは、本開示の各実施例が必ず備えられるのではない。また、以上開示された具体的な細部は、制限されず、例示する役割及び理解を容易にする役割を果たすためのものに過ぎず、上記細部は、本開示を必ず上記具体的な詳細により実現されるように制限するものではない。

【0163】

本明細書における各実施例は、いずれも逐次的な形態で説明され、各実施例は、他の実施例との相違点を主に説明し、各実施例間の同じ又は同様の部分は、互いに参照すればよい。システムの実施例には、基本的に方法の実施例に対応するので、説明は比較的簡単であるが、関連内容は、方法の実施例の説明の一部を参照すればよい。

【0164】

本開示に係るデバイス、装置、機器、システムのブロック図は、単なる例示的な例に過ぎず、必ずブロック図に示される形態で接続、レイアウト、配置を行うことを要求又は暗示することを意図しない。当業者が理解できるように、これらのデバイス、装置、機器、システムを任意の形態で接続、レイアウト、配置することができる。例えば、「含む」、「備える」、「有する」などの単語は開放的語彙であり、「含むが限定されない」ことを指し、互いに置き換えて使用され得る。本明細書で使用される「又は」及び「及び」という用語は、「及び／又は」という用語を指し、そのようでないと明記しない限り、互いに置き換えて使用され得る。ここで使用される語彙「例えば」とは、「例えば、…であるが、これに限定されない」という連語を指し、互いに置き換えて使用され得る。

【0165】

本開示の方法及び装置は、多くの形態で実現され得る。例えば、本開示の方法及び装置は、ソフトウェア、ハードウェア、ファームウェア、又はソフトウェア、ハードウェア、ファームウェアのいかなる組み合わせで実現され得る。前記方法に使用されるステップの上記順序は、単なる説明のためのものであり、本開示の方法のステップは、特に他の形態で説明しない限り、以上具体的に説明された順序に限定されない。また、いくつかの実施例では、本開示は、記録媒体に記録されたプログラムとして実施されてもよく、これらのプログラムは、本開示に係る方法を実現するための機械読み取り可能な命令を含む。したがって、本開示に係る方法を実行するためのプログラムを記憶する記録媒体も本開示に含まれる。

【0166】

また、本開示の装置、機器、及び方法において、各部材又は各ステップは、分解及び／又は再度組み合わせされてもよいことに指摘されたい。これらの分解及び／又は再度組み合わせは、本開示の同等な形態とみなされるべきである。

【0167】

開示された態様の上記の説明は、当業者が本開示を作成又は使用することを可能にするために提供される。これらの態様に対する様々な修正は、当業者にとって非常に明らかであり、本明細書で定義された一般的な原理は、本開示の範囲から逸脱することなく他の態様に適用され得る。したがって、本開示は、本明細書に示された態様に制限されることを意図しておらず、本明細書に開示された原理及び新規な特徴と一致する最も広い範囲に従うものである。

【0168】

上記の説明は、例示及び説明のために提供される。さらに、この説明は、本開示の実施例を本明細書に開示された形態に制限することを意図しない。以上、複数の例示的な態様及び実施例を説明したが、当業者であれば、それらの特定の変形、修正、変更、追加、及びサブコンビネーションを認識できるであろう。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2022-10-27

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、２０２１年０２月０２日に中国知識財産権局に提出された、出願番号が２０２１１０１４１８７２．Ｘであり、発明の名称が「操作体に基づく動的表示方法、装置、記憶媒体及び電子機器」である中国特許出願の優先権を主張し、その全ての内容が参照により本願に組み込まれる。

【0002】

本開示は、コンピュータ技術の分野に関し、特に操作体に基づく動的表示方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器に関する。

【背景技術】

【0003】

コンピュータのソフトウェアとハードウェア機能の向上、及び人々のヒューマンコンピュータインタラクションに対する需要の増加に伴い、遠隔操作認識が広く注目されている。遠隔操作方法は、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ、拡張現実）／ＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ、仮想現実）、スマートフォン、スマート家電などのシナリオに応用することができ、人々が手で制御パネルを直接操作することに不便な場合に遠隔操作を利用して機器を操作し、人々の生活に利便性をもたらす。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の実施例は、操作体に基づく動的表示方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器を提供する。

【課題を解決するための手段】

【0005】

本開示の実施例に係る操作体に基づく動的表示方法は、操作体が空間において画面に対して行った遠隔操作に応じて、表示対象アイコンの画面における位置を決定するステップと、決定された前記位置にアイコンを表示するステップと、操作体の移動が検出されたことに応じて、操作体の第１の移動物理量を決定するステップと、第１の移動物理量に基づいて、アイコンの画面における第２の移動物理量を決定するステップと、第２の移動物理量に基づいて、アイコンが画面上でドラッグされるように制御するステップと、を含む。

【0006】

ここで、前記操作体は、ユーザの身体部位又は特定の形状を有する物体であり、前記第１の移動物理量は、空間における前記操作体の実際物理量、又は前記操作体が撮影画像にマッピングされた物理量である。

【0007】

本開示の実施例の別の態様に係る操作体に基づく動的表示装置は、操作体が空間において画面に対して行った遠隔操作に応じて、表示対象アイコンの画面における位置を決定するための第１の決定モジュールと、前記第１の決定モジュールによって決定された前記位置にアイコンを表示するための表示モジュールと、操作体の移動が検出されたことに応じて、操作体の第１の移動物理量を決定するための第２の決定モジュールと、前記第２の決定モジュールによって決定された第１の移動物理量に基づいて、アイコンの画面における第２の移動物理量を決定するための第３の決定モジュールと、前記第３の決定モジュールによって決定された前記第２の移動物理量に基づいて、アイコンが画面上でドラッグされるように制御するための制御モジュールと、を備える。

【0008】

ここで、前記操作体は、ユーザの身体部位又は特定の形状を有する物体であり、前記第１の移動物理量は、前記操作体の空間における実際物理量であり、又は前記操作体が撮影画像にマッピングされた物理量である。

【0009】

本開示の実施例の別の態様に係るコンピュータ読み取り可能な記憶媒体は、上記の操作体に基づく動的表示方法を実行するためのコンピュータプログラムが記憶されている。

【0010】

本開示の実施例の別の態様に係る電子機器は、プロセッサと、プロセッサによって実行可能なコマンドを記憶するためのメモリと、を含み、プロセッサは、メモリから実行可能なコマンドを読み出して、上記の操作体に基づく動的表示方法を実行する。

【発明の効果】

【0011】

本開示の上記実施例に係る操作体に基づく動的表示方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器によれば、操作体が空間において遠隔操作を行ったときには、操作体が画面にマッピングされたアイコンの位置を決定し、操作体の移動を検出したときには、操作体の第１の移動物理量を決定し、第１の移動物理量に基づいてアイコンの画面における第２の移動物理量を決定し、最後、第２の移動物理量に基づいて、アイコンが画面上でドラッグされるように制御し、それにより、操作体が遠隔操作を行うとき、画面においてアイコンをドラックして操作体の移動軌跡をリアルタイムにフィードバックすることで、ユーザはアイコンの移動軌跡を参照して遠隔操作が正確であるか否かをリアルタイムに把握することができ、ユーザの操作感を改善し、遠隔操作の正確率を高めることができる。

【0012】

以下は、図面及び実施例に基づいて、本開示の技術的構成をより詳細に説明する。
以下、図面を参照して本開示の実施例を詳細に説明し、本開示の上記及び他の目的、特徴や利点が一層明瞭になる。図面は、本開示の実施例の更なる理解のためのものであり、明細書を構成する部分として、本開示の実施例と共に本開示の解釈に用いられ、本開示への限定を構成するものではない。図面では、同じ符号が一般に同じ部品又はステップを表す。

【図面の簡単な説明】

【0013】

【図1】本開示が適用されるシステム図である。

【図2】本開示の１つの例示的な実施例に係る操作体に基づく動的表示方法のフローチャートである。

【図3A】本開示の１つの例示的な実施例に係る操作体に基づく動的表示方法の１つの応用シナリオの例示的な概略図である。

【図3B】本開示のもう１つの例示的な実施例に係る操作体に基づく動的表示方法のもう１つの応用シナリオの例示的な概略図である。

【図3C】本開示のもう１つの例示的な実施例に係る操作体に基づく動的表示方法のもう１つの応用シナリオの例示的な概略図である。

【図3D】本開示のもう１つの例示的な実施例に係る操作体に基づく動的表示方法のもう１つの応用シナリオの例示的な概略図である。

【図4】本開示のもう１つの例示的な実施例に係る操作体に基づく動的表示方法のフローチャートである。

【図5】本開示のさらなる１つの例示的な実施例に係る操作体に基づく動的表示方法のフローチャートである。

【図6】本開示のさらなる１つの例示的な実施例に係る操作体に基づく動的表示方法のフローチャートである。

【図7】本開示のさらなる１つの例示的な実施例に係る操作体に基づく動的表示方法のフローチャートである。

【図8】本開示の１つの例示的な実施例に係る操作体に基づく動的表示装置の構造概略図である。

【図9】本開示のさらなる１つの例示的な実施例に係る操作体に基づく動的表示装置の構造概略図である。

【図10】本開示の１つの例示的な実施例に係る電子機器の構造図である。

【発明を実施するための形態】

【0014】

以下、本開示の例示的な実施例を、図面を参照して詳細に説明する。明らかに、説明される実施例は、本開示の実施例の一部に過ぎず、本開示のすべての実施例ではなく、本開示は、本明細書で説明される例示的な実施例に制限されない。

【0015】

これらの実施例に記載される部材及びステップの相対的なレイアウト、数式表現及び数値は、別の具体的に説明がない限り、本開示の範囲を制限しないことに留意されたい。

【0016】

本開示の実施例における「第１」、「第２」などの用語は、単に異なるステップ、機器、又はモジュールなどを区別し、いかなる特定の技術的意味も示すものではなく、それらの間の必然的で論理的な順序を示すものでもないことを当業者は理解し得る。

【0017】

本開示の実施例では、「複数」は、２つ又は２つ以上を指してよく、「少なくとも１つ」は、１つ、２つ、又は２つ以上を指してよいことをさらに理解されたい。

【0018】

本開示の実施例で言及されるいずれかの部材、データ、又は構造は、明示的に限定されないか、又は文脈からの逆の示唆が与えられない場合、一般的に１つ又は複数と理解され得ることをさらに理解されたい。

【0019】

また、本開示における「及び／又は」という用語は、単に関連対象を説明する関連関係であり、３つの関係が存在し得ることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在する場合、ＡとＢとの両方が存在する場合、Ｂのみが存在する場合という３つの場合を示すことができる。また、本開示において「／」という符号は、一般に前後の関連対象が「又は」の関係であることを示す。

【0020】

本開示の各実施例に対する説明は、各実施例の間の相違点に重点を置き、それらの同じ又は類似のものは、互いに参照することができ、簡潔化のために、一々説明しないことをさらに理解されたい。

【0021】

しかも、図面に示される各部分の寸法は、説明の便宜上、実際の比例関係で描かれるものではないことを理解されたい。

【0022】

以下、少なくとも１つの例示的な実施例についての説明は、実際に単なる説明的なものであり、本開示及びその利用、又は使用へのいかなる制限とするものではない。

【0023】

当業者が熟知している技術、方法、及び機器については、詳細に検討しないことがあるが、適切な場合に、前記技術、方法、及び機器は、本明細書の一部と見なされるべきである。

【0024】

以下の図面において、同様の番号及びアルファベットは、類似の項目を示し、したがって、ある項目が一度１つの図面において定義されると、それ以降の図面においてそれをさらに検討する必要がない。

【0025】

本開示の実施例は、多くの他の汎用又は専用のコンピューティングシステム環境又はデプロイとともに動作し得る、端末機器、コンピュータシステム、サーバなどの電子機器に適用され得る。なお、電子機器は、システムオンチップ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ、ＳＯＣ）を含み得、ＳＯＣは、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）、各種の他の類型のプロセッサ、各種のデータ処理パス、メモリなどを含み得、ＳＯＣではオペレーティングシステムが動作され得、本開示の実施例は、具体的に、ＳＯＣ内部に適用され得、例えば車載ＳＯＣ内部に適用され得る。端末機器、コンピュータシステム、サーバなどの電子機器とともに使用することに適した周知の端末機器、コンピューティングシステム、環境及び／又はデプロイの例としては、自動車チップを含む機器又はシステム、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルド又はラップトップ機器、マイクロプロセッサに基づくシステム、セットトップボックス、プログラム可能な家庭用電化製品、ウェブパーソナルコンピュータ、小型コンピュータシステム、大型コンピュータシステム、及び上記のいかなるシステムを含む分散クラウドコンピューティング技術環境などを含むが、こられに限定されない。

【0026】

ここで、端末機器、コンピュータシステム、サーバなどの電子機器は、コンピュータシステムにより実行可能な命令（例えば、プログラムモジュール）の一般的な文脈で説明され得る。通常、プログラムモジュールは、ルーチン、プログラム、オブジェクトプログラム、コンポーネント、論理、データ構造などを含み得、これらは、特定のタスクを実行するか、又は特定の抽象データ類型を実現する。コンピュータシステム／サーバは、分散クラウドコンピューティング環境において実施され得、分散クラウドコンピューティング環境において、タスクが通信ネットワークを介してリンクされたリモート処理機器により実行される。分散クラウドコンピューティング環境において、プログラムモジュールは、記憶機器を含むローカル又はリモートコンピューティングシステム記憶媒体上に位置し得る。

【0027】

（出願の概要）
従来の遠隔操作方法は、通常、操作体の操作が成功した後にのみ、システムが視覚的フィードバックを提供し、例えばインタフェースのポップアップ表示をフィードバックとし、操作が成功する前には常にいずれのフィードバックがないため、操作が成功する前に、ユーザは操作体の現在の遠隔操作が合格か否かを知らず、不合格であれば遠隔操作の実際効果と期待効果とが一致せず、それによりユーザの期待動作に対する制御感を低下させる。本実施例に係る技術的構成は、ユーザの遠隔操作の正確率を高めるためのものであり、それによりユーザの操作感を向上させる。

【0028】

（例示的なシステム）
図１は、本開示の実施例の操作体に基づく動的表示方法又は操作体に基づく動的表示装置を適用可能な例示的なシステムアーキテクチャ１００を示す。

【0029】

図１に示すように、システムアーキテクチャ１００は、端末機器１０１と、ネットワーク１０２と、サーバ１０３と、操作体位置収集機器１０４と、を含むことができる。ここで、ネットワーク１０２は、端末機器１０１とサーバ１０３との間に通信リンクを提供する媒体として用いられる。ネットワーク１０２は、有線や無線通信リンク、又は光ファイバケーブルなどのような、様々な接続タイプを含むことができる。

【0030】

ユーザは、端末機器１０１を用いてネットワーク１０２経由でサーバ１０３とインタラクティブを行って、情報を送受信することができる。端末機器１０１には、仮想現実アプリケーション、拡張現実アプリケーション、検索系アプリケーション、ウェブブラウザアプリケーション、インスタントコミュニケーションツールなどの様々な通信クライアントアプリケーションがインストールされることができる。

【0031】

端末機器１０１は、例えば、車載端末（例えば、車載器、車両用コンソールなど）、携帯電話、ノート型パーソナルコンピュータ、デジタル放送受信機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、パーソナルデジタルアシスタント）、ＰＡＤ（タブレットコンピュータ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｅｄｉａ Ｐｌａｙｅｒ、携帯マルチメディアプレーヤ）などのような携帯端末、デジタルＴＶ、デスクトップ型コンピュータなどのような固定端末を含む種々の電子機器であることができるが、これらに限定されるのではない。

【0032】

サーバ１０３は、端末機器１０１にアップロードされた操作体に対する認識対象データ（例えば、操作体を含む画像や、点群などのデータ）を認識するバックエンドサーバなどの様々なサービスを提供するサーバであることができる。バックグエンドサーバは、受信した認識対象データを処理して、処理結果（例えば、画面に表示されたアイコンに対応する移動物理量）を得ることができる。

【0033】

操作体位置収集機器１０４は、単眼カメラ、両眼ステレオカメラ、レーザレーダ、三次元構造の光画像撮像機器などの、操作体の位置を取得する様々な装置であることができる。

【0034】

なお、本開示の実施例に係る操作体に基づく動的表示方法は、サーバ１０３により実行されてもよく、端末機器１０１により実行されてもよく、対応的に、操作体に基づく動的表示装置は、１つの機能ブロック又は構成要素としてサーバ１０３に配置されてもよく、又は端末機器１０１に配置されてもよいため、本開示では特に限定しない。

【0035】

なお、図１に示す端末機器１０１、ネットワーク１０２、サーバ１０３、操作体位置収集機器１０４の台数は、１つでも複数でもよく、図１に示す各機器は、１つの技術的シナリオに過ぎず、他の技術的シナリオにおいて２つ以上の機器を含んでもよい。また、端末機器、ネットワーク、サーバ、操作体位置収集機器は、実現の需要に応じて任意の数を有してもよい。また、操作体の位置を認識するためのデータを遠隔から取得する必要がない場合には、上記システムアーキテクチャは、ネットワーク１０２を含まず、操作体位置収集機器１０４及び端末機器１０１のみ、又は操作体位置収集機器１０４及びサーバ１０３のみを含んでもよい。

【0036】

（例示的な方法）
図２は、本開示の１つの例示的な実施例に係る操作体に基づく動的表示方法のフローチャートである。本実施例は、電子機器（図１に示すような端末機器１０１又はサーバ１０３）に適用されることができ、図２に示すように、当該方法は、ステップ２０１～ステップ２０５を含む。

【0037】

ステップ２０１では、操作体が空間において画面に対して行った遠隔操作に応じて、表示対象アイコンの画面における位置を決定する。

【0038】

本実施例では、電子機器は、操作体が空間において画面に対して行った遠隔操作に応じて、表示対象アイコンの画面における位置を決定することができる。ここで、操作体は、制御対象機器に対して遠隔操作を行う各種ハードウェアの実体又はユーザの特定の身体部位であり、例えば、操作体は、ユーザの手、頭部などの身体部位、又はハンドルなどであってもよく、当該操作体は、リアルタイムに位置情報を上記電子機器に出力することができる。また、前記操作体は、その他の特定形状を有する物体やハードウェア実体などであってもよい。

【0039】

電子機器は、様々な方法に基づいて操作体の位置をリアルタイムに決定することができる。通常、電子機器は、図１に示すような操作体位置収集機器１０４が操作体に対して収集した認識対象データを取得し、認識対象データを認識して操作体の位置を決定することができる。例示として、操作体位置収集機器１０４は、単眼カメラであることができ、電子機器は、単眼カメラによってリアルタイムに収集された操作体の画像フレームを認識し、操作体の画像フレームにおける位置を決定することができる。また、例えば、操作体位置収集機器１０４は、両眼ステレオカメラであることができ、電子機器は、両眼ステレオカメラによってリアルタイムに収集された両眼画像を認識し、操作体の三次元空間における位置を決定することができる。

【0040】

電子機器は、決定された操作体の位置を表示対象アイコンの画面における位置として画面の対応する位置にマッピングすることができる。当該画面は、電子機器に含まれる画面であってもよく、電子機器に接続された機器に含まれる画面であってもよい。例えば、当該画面は、車両のコンソールの画面であることができる。通常、操作体の位置と画面における位置との対応関係をプリセットしておき、当該対応関係に基づいて操作体の位置を画面にマッピングすることができる。例示として、操作体位置収集機器１０４が単眼カメラである場合、電子機器は、単眼カメラによぅて撮影された画像内の画素点と画面の画素点とのプリセットの対応関係に基づいて、操作体の対応する画面における位置を決定することができる。また、例えば、操作体位置収集機器１０４がレーザレーダである場合、電子機器は、レーザレーダの探知範囲における点と画面の画素点とのプリセットの対応関係に基づいて、操作体の対応する画面における位置を決定することもできる。

【0041】

本実施例では、電子機器は、操作体が空間において遠隔操作を行うか否かをリアルタイムに決定することができる。例えば、操作体が操作体位置収集機器１０４の探知範囲内に出現したこと又は操作体が操作体位置収集機器１０４の探知範囲内を移動していることを検出した場合、操作体が遠隔操作を行ったと決定する。

【0042】

ステップ２０２では、決定された位置にアイコンを表示する。

【0043】

本実施例では、電子機器は、表示対象アイコンの画面における位置に上記アイコンを表示することができる。ここで、アイコンは、様々な種類及び形状であってもよい。例えば、アイコンは、静的な図であってもよく、動的な図であってもよい。アイコンの形状は、固定形状であってもリアルタイムに変化する形状であってもよい。例示として、アイコンは、水滴状のアイコンであることができ、また、当該アイコンは、水滴の揺れの状態を示す動的な図形であることができる。

【0044】

ステップ２０３では、操作体の移動が検出されたことに応じて、操作体の第１の移動物理量を決定する。

【0045】

本実施例では、電子機器は、操作体の移動が検出されたことに応じて、操作体の第１の移動物理量を決定することができる。ここで、第１の移動物理量は、移動速度、移動方向、移動幅などのうちの少なくとも１つを含むが、これに限定されない。なお、第１の移動物理量は、操作体の空間における実際物理量であってもよく、移動物体を他の次元（例えば、二次元像平面や三次元仮想空間）にマッピングした物理量であってもよい。

【0046】

例示として、操作体位置収集機器１０４が単眼カメラである場合、第１の移動物理量は、操作体が単眼カメラによって撮影された画像にマッピングされた物理量であることができる。もう１つの例示として、操作体位置収集機器１０４がレーザレーダなどの三次元探知機器である場合、第１の移動物理量は、操作体の空間における実際物理量であることができる。

【0047】

ステップ２０４では、第１の移動物理量に基づいて、アイコンの画面における第２の移動物理量を決定する。

【0048】

本実施例では、電子機器は、第１の移動物理量に基づいて、アイコンの画面における第２の移動物理量を決定することができる。具体的には、電子機器は、プリセットされた第１の移動物理量が位置している次元と画面とのマッピング関係に基づいて、アイコンの画面における第２の移動物理量を決定することができる。第２の移動物理量は、移動速度、移動方向、移動幅（すなわち、アイコンの画面における移動距離）などのうちの少なくとも１つを含むが、これに限定されない。

【0049】

例示として、操作体位置収集機器１０４が単眼カメラである場合、電子機器は、当該単眼カメラによって撮影された画像内の画素点と画面の画素点とのプリセット対応関係に基づいて、アイコンの第２の画面における移動物理量を決定することができる。もう１つの例示として、操作体位置収集機器１０４がレーザレーダなどの三次元探知機器である場合、電子機器は、三次元探知機器の探知範囲における点と画面の画素点とのプリセットの対応関係に基づいて、アイコンの第２の画面における移動物理量を決定することができる。

【0050】

ステップ２０５では、第２の移動物理量に基づいて、アイコンが画面上でドラッグされるように制御する。

【0051】

本実施例では、電子機器は、第２の移動物理量に基づいて、アイコンが画面上でドラッグされるように制御することができる。ここで、ドラッグ中、アイコンの形状は変化しなくてもよく、スミア、変形などのプリセットの動的効果を生成してもよい。

【0052】

本開示の上記実施例に係る方法は、操作体が空間において遠隔操作を行ったときには、操作体が画面にマッピングされたアイコンの位置を決定し、操作体の移動を検出したときには、操作体の第１の移動物理量を決定し、第１の移動物理量に基づいてアイコンの画面における第２の移動物理量を決定し、最後、第２の移動物理量に基づいて、アイコンが画面上でドラッグされるように制御し、それにより、操作体が遠隔操作を行うとき、画面においてアイコンをドラックして操作体の移動軌跡をリアルタイムにフィードバックすることで、ユーザはアイコンの移動軌跡を参照して遠隔操作が正確であるか否かをリアルタイムに把握することができ、アイコンの画面における第２の移動物理量により操作体の遠隔操作の重量感を具現し、ユーザの操作感を大幅に改善し、遠隔操作の正確率を高めることができる。

【0053】

いくつかの好ましい実現形態では、ステップ２０５は、以下のステップの実行を含むことができる。

【0054】

まずは、第２の移動物理量に基づいて、アイコンの画面におけるスミアの長さ、第１の移動方向、及び第１の移動速度を決定する。

【0055】

通常、第２の移動物理量は、上記第１の移動方向及び第１の移動速度を含むことができる。スミアの長さは、第１の移動速度に対応することができる。例えば、第１の移動速度が速いほどスミアの長さが長くなる。例示として、スミアの長さは、移動中のアイコンが各位置での表示時間長により表現されることができ、例えば、アイコンが経過した各位置での表示時間長が同じである場合、第１の移動速度が速いほどアイコンが第１の時刻の位置から第２の時刻の位置まで移動する距離が長くなり、スミアの長さが長く表現され、逆に、第１の移動速度が遅いほどアイコンが第１の時刻の位置から第２の時刻の位置まで移動する距離が短くなり、スミアの長さが短く表現され、すなわち、前記スミアの長さは、第１の移動速度の大きさに従って変化する。

【0056】

次には、スミアの長さに基づいて、アイコンのテール部の形状を調整する。

【0057】

通常、アイコンは、移動するとき頭部とテール部とを含み、スミアの長さが長いほど、テール部の形状は、小さい幅で太から細へ変化し、スミアの長さが短いほど、テール部の形状は、大きい幅で太から細へ変化することができる。例示として、スミアの長さは、移動中のアイコンが各位置での表示時間長により表現されることができ、例えば、移動中のアイコンが経過した各位置での表示時間長が同じで、且つ表現されたサイズが大から小へ変化する場合、第１の移動速度が速いほど、アイコンが第１の時刻の位置から第２の時刻の位置まで移動する距離が長くなり、スミアの長さが長く且つテール部の太から細への変化幅が小さいことを示し、逆に、第１の移動速度が遅いほど、アイコンが第１の時刻の位置から第２の時刻の位置まで移動する距離が短くなり、スミアの長さが短く且つスミアの太から細への変化幅が大きいことを示す。

【0058】

最後に、アイコンが第１の移動速度で第１の移動方向に沿ってドラッグされるように制御する。

【0059】

図３Ａは、本開示の実施例の１つの応用シナリオの概略図を示す。当該応用シナリオでは、操作体は、ユーザの手であり、画面は、車両のセンターコンソールの画面である。画面上の符号Ａ～Ｆに対応するブロックは、ナビゲーションモジュール、ラジオモジュール、ブルートゥース（登録商標）音楽モジュールなどの各機能モジュールのトリガー領域を表すことができる。符号Ｇに対応する領域は、各種の情報、例えば現在時刻、車両の現在位置、車内温度などの情報を表示する領域であることができる。

【0060】

電子機器は、車両の上部にあるカメラによって撮影されたユーザの手の位置を認識し、本開示の実施例によって、手の位置を画面にリアルタイムにマッピングし、画面の対応する位置に水滴の形状のアイコンを表示する。電子機器は、アイコンの移動軌跡を認識することで、センターコンソールを制御して対応する機能を実行させて、ユーザによるセンターコンソールに対する遠隔操作を実現する。例えば、アイコンの左から右への移動は、次の音楽を再生することを表し、アイコンの画面における円周運動は、画面を閉じることを表すなどである。図３Ａに示すように、ユーザの手の動きが遅い場合、画面上のアイコンは、３０１に示すようにスミアの長さが短く、ユーザの手の動きが速い場合、画面上のアイコンは、３０２に示すようにスミアの長さが長くなる。

【0061】

本実現形態は、アイコンが移動するときに対応する長さのスミアを表示することにより、ユーザが現在の操作体の移動速度の遅速をより直感的に感じることができ、それにより、ユーザが操作体の移動速度をより効果的に調整することができ、遠隔操作の精度をさらに高めることができる。

【0062】

いくつかの好ましい実現形態では、電子機器は、以下のステップをさらに実行することができる。

【0063】

操作体の遠隔操作を検出するための機器の検出限界から操作体が離隔したことを検出したことに応じて、アイコンが位置する画面における現在の表示位置に第１のプリセットアニメーションに従ってアイコンの形状変化をプレゼンする。

【0064】

ここで、操作体の遠隔操作を行う機器は、図１に示すような操作体位置収集機器１０４であることができる。例示として、操作体位置収集機器１０４が単眼カメラである場合、上記検出限界は、撮像画像内に画定された限界であり、当該限界が画像の表示範囲の限界であることができ、画像内に設定された特定の大きさの範囲の限界であることもできる。もう１つの例示として、操作体位置収集機器１０４がレーザレーダなどの三次元探知機器である場合、上記検出限界は、三次元探知機器の探知範囲内に画定された限界であり、当該限界が上記探知範囲の実際の限界であることができ、探知範囲内に設定された特定の大きさの範囲の限界であることもできる。

【0065】

通常、上記検出限界は、画面の表示限界に対応し、操作体が機器の検出限界から離れたことを検出した場合、画面の表示限界において第１のプリセットアニメーションに従ってアイコンの形状変化をプレゼンすることができる。例示として、アイコンの形状は、水滴の形状であり、第１のプリセットアニメーションは、水滴が破砕されたことを示すアニメーションであり、前記機器は、前記操作体の遠隔操作を検出することに用いられることができる。

【0066】

図３Ｂは、本開示の実施例のもう１つの応用シナリオの概略図を示す。図３Ｂに示すように、ユーザの手（すなわち操作体）の移動幅が単眼カメラや三次元探知機器などの検出限界から離れすぎる場合、対応的に、水滴のアイコンが画面の表示限界へ移動し、画面の限界位置に第１のプリセットアニメーションを表示する。ここで、図３Ｂの符号３０３に示すように、第１のプリセットアニメーションは、水滴が分裂しているプロセスである。なお、水滴が分裂する速度及び水滴の分裂程度は、ジェスチャーの速度と正の関係となり、例えば、ジェスチャーの速度が速いほど、水滴がより速く分裂し且つ水滴が呈する零砕粒子が多くなる。

【0067】

本実現形態は、操作体が検出限界から離れるとき、画面に第１のプリセットアニメーションをプレゼンすることで、ユーザがタイムリーに操作体の位置を操作体位置収集機器の検出範囲内へ調整するように、現在操作体が操作体位置収集機器の検出限界に達したことをユーザに動的に提示し、それによりユーザが遠隔操作を行う精度を高め、ユーザの操作感を改善することができる。

【0068】

いくつかの好ましい実現形態では、電子機器は、以下のステップをさらに実行することができる。

【0069】

第１の移動物理量に基づいて、第１の移動物理量に含まれている第２の移動速度としての前記操作体の移動速度を決定し、当該第２の移動速度が第１のプリセット速度以上である場合、アイコンが位置する画面における現在の表示位置に第２のプリセットアニメーションに従ってアイコンの形状変化をプレゼンする。ここで、第１の移動物理量は、操作体の移動速度を含み、これにより、第１の移動物理量に基づいて、操作体の現在の移動速度を決定することができる。第２のプリセットアニメーションは、上記第１のプリセットアニメーションと同じであっても異なってもよい。例示として、アイコンの形状は、水滴の形状であり、第２のプリセットアニメーションは、水滴が分裂したことを示すアニメーションであることができる。

【0070】

図３Ｃは、本開示の実施例のもう１つの応用シナリオの概略図を示す。図３Ｃに示すように、ユーザの手（すなわち操作体）の移動速度が速すぎることを検出した場合、アイコンが移動されている現在位置に第２のプリセットアニメーションをプレゼンし、ここで、図３Ｃにおける符号３０４に示すように、第２のプリセットアニメーションは、水滴が分裂しているプロセスの一部のプレゼンテーションである。なお、水滴が分裂する速度及び水滴の分裂程度は、ジェスチャーの速度と正の関係になり、例えば、ジェスチャーの速度が速いほど、水滴がより速く分裂し且つ水滴が呈する零砕粒子が多くなる。

【0071】

本実現形態は、操作体の速度が速すぎるとき第２のプリセットアニメーションをプレゼンすることで、操作体の移動速度をプリセットされた正常速度範囲に調整するようにユーザを促し、それによりユーザが操作体の移動速度を適正範囲に調整し、ユーザによる遠隔操作の精度を高め、ユーザの操作感を改善することができる。

【0072】

なお、本開示内のアイコンは、本体部及びテール部を含み、図３Ａ～図３Ｃに示すように、アイコンを水滴の形状で列挙した場合、本体部及びテール部は、一体となった構造である。図３Ａに示すように、２つの破線枠３０１１及び３０１２は、それぞれ本体部及びテール部を表す。また、図３Ｄに示すように、本開示におけるアイコンは、本体部及びテール部がさらにスプリット構造となることもでき、図３Ｄのアイコン３０５のように、本体部３０５１及びテール部３０５２を含み、テール部３０５２は、離散的であるとともに面積が順次減少する水滴分布の形態であり、それによりユーザが遠隔操作を行う重量感を呈し、ユーザの操作感を改善することができる。

【0073】

いくつかの好ましい実現形態では、電子機器は、以下のステップをさらに実行することができる。

【0074】

第２の移動物理量に基づいて、上述した第１の移動速度としてのアイコンの移動速度を決定し、当該第１の移動速度が第２のプリセット速度以下である場合、操作体から画面が位置する平面までの垂直距離に基づいて、画面におけるアイコンの本体の表示サイズを調整する。

【0075】

ここで、第２の移動物理量は、アイコンの移動速度を含み、これにより、第２の移動物理量に基づいて、アイコンの現在の移動速度を決定することができる。アイコンの現在の移動速度が第２のプリセット速度以下である場合、現在のアイコンが略静止状態にあることを表し、すなわち、操作体が画面が位置する平面と平行な平面上に略静止状態にあり、このとき、ユーザは、操作体と画面が位置する平面との間の垂直距離を調整することができ、アイコンの大きさは、上記垂直距離の変化に従って変化する。通常、上記垂直距離が小さいほど、アイコンのサイズが大きくなり、それにより、操作体が画面を押圧する効果を模擬することができる。

【0076】

上記垂直距離は、従来の種々の距離測定方法によって得ることができる。例えば、レーザレーダ、赤外距離計、超音波距離計、両眼ステレオカメラなどの三次探知機器を用いて、操作体と画面が位置する平面との間の垂直距離を決定することができる。

【0077】

本実現形態では、操作体と画面が位置する平面との間の垂直距離に基づいてアイコンの表示サイズを調整することで、ユーザが遠隔操作を行う重量感を模擬することができ、ユーザの操作性をさらに改善することができる。

【0078】

いくつかの好ましい実現形態では、電子機器は、以下のステップをさらに実行することができる。

【0079】

まずは、操作体の遠隔操作を検出するための機器が第１のカメラである場合、操作体とカメラとの間の距離を決定する。当該距離は、正確な距離であってもよく、推定距離であってもよい。例えば、電子機器は、第１のカメラによって撮影された画像における操作体の大きさから、操作体とカメラとの間の距離を推定することができる。

【0080】

つぎは、操作体と第１のカメラとの間の距離に対応する目標焦点距離を決定する。ここで、距離と焦点距離との対応関係は、プリセットされることができ、電子機器は、当該対応関係に基づいて、現在操作体と第１のカメラとの間の距離に対応する焦点距離を目標焦点距離とすることができる。

【0081】

最後に、第１のカメラの焦点距離を目標焦点距離に調整して操作体の画像を収集し、又は、距離に対応する目標焦点距離が第１のカメラの最大焦点距離を超える場合、第１のカメラを第２のカメラに切り替え、前記第２のカメラの焦点距離を前記目標焦点距離に調整して当該第２のカメラを用いて操作体の画像を収集する。ここで、第２のカメラの焦点距離は、第１のカメラの焦点距離より大きい。

【0082】

通常、第２のカメラは、近距離の物体を撮影するための望遠カメラであり、第２のカメラは、第１のカメラの近傍に取り付けられることができる。本実現形態は、操作体と第１のカメラとの間の距離に基づいて第１のカメラの焦点距離を調整することによって、又は、第１のカメラの焦点距離が距離に対応するように調整できない場合には第２のカメラに切り替えて撮影することによって、撮影された操作体の画像を鮮明に保持することができ、それにより操作体を認識する精度を高め、遠隔操作の精度をさらに高めることができる。

【0083】

図４は、操作体に基づく動的表示方法のもう１つの例示的な実施例のフローチャートを示す。図４に示すように、上記図２に示す実施例に基づいて、ステップ２０１は、ステップ２０１１～ステップ２０２３を含むことができる。

【0084】

ステップ２０１１では、マルチフレーム画像に操作体が存在することを検出したことに応じて、マルチフレーム画像に基づいて操作体が空間において画面に対して行った遠隔操作を決定する。

【0085】

本実施例では、上記マルチフレーム画像は、単眼カメラによって撮影されたものであり、当該マルチフレーム画像に含まれる画像の数は、任意に設定されてもよく、例えば、当該マルチフレーム画像は、現在撮影されている１フレームの画像と、１フレーム前の画像と、を含むことができる。

【0086】

通常、上記マルチフレーム画像のいずれかフレームの画像に操作体が現れたことを検出した場合、操作体が遠隔操作を行ったことを決定することができる。

【0087】

ステップ２０１２では、マルチフレーム画像に基づいて、操作体の画像座標位置を決定する。

【0088】

本実施例では、電子機器は、マルチフレーム画像のそれぞれのフレーム画像に対して操作体認識を行い、操作体の各フレーム画像における画像座標位置を決定することができる。

【0089】

ステップ２０１３では、画像座標位置に基づいて、表示対象アイコンの画面における位置を決定する。

【0090】

本実施例では、電子機器は、単眼カメラによって撮影された画像内の画素点と画面の画素点とのプリセットの対応関係に基づいて、各フレーム画像における操作体の画像座標位置に対応する画面における位置を表示対象アイコンの位置として決定することができる。

【0091】

なお、当該対応関係を設定するとき、上記画像における各画素点が画面における画素点に対応するように設定してもよく、画像における一部の画素点が画面における画素点に対応するように設定してもよく、例えば、画像のある領域における各画素と画面における各画素との対応関係を設定する。

【0092】

上記図４に対応する実施例に係る方法は、カメラを用いて操作体を撮影し、画像を認識することで操作体に対応するアイコンの画面における位置を決定するのであり、それに必要な機器は、コストが低く、取り付けやすいため、空間における特定の位置にカメラを取り付けるだけで、カメラによって撮影された画像を利用することができ、画面におけるアイコンの位置をリアルタイムに決定することができ、それにより、遠隔操作システムのコストを削減し、遠隔操作の効率を高めることができる。

【0093】

いくつかの好ましい実現形態では、図５に示すように、ステップ２０１１～ステップ２０２３に基づいて、上記ステップ２０３は、ステップ２０３１１及びステップ２０３１２の実行を含むことができる。

【0094】

ステップ２０３１１では、操作体の第１のフレーム画像における第１の画像座標、及び操作体の第２のフレーム画像における第２の画像座標を決定する。

【0095】

ここで、第２のフレーム画像は、第１のフレーム画像とプリセットフレーム数を間隔する画像である。第１のフレーム画像及び第２のフレーム画像は、上記ステップ２０２１で説明したマルチフレーム画像のうちの少なくとも１フレームの画像であることができる。例示として、第２のフレーム画像は、現在撮影された１フレームの画像であり、第１のフレーム画像は、１フレーム前の画像であることができる。なお、操作体の画像における画像座標を決定する方法は、従来の目標検出方法、例えばニューラルネットワークに基づく目標検出モデルであってもよいため、ここで詳細な説明を省略する。

【0096】

ステップ２０３１２では、第１の画像座標、第２の画像座標及び画像のプリセットフレームレートに基づいて、操作体の第１の移動物理量を決定する。

【0097】

ここで、本ステップにおける第１の移動物理量は、画像における操作体の移動物理量であり、ここで、当該操作体の移動物理量は、画像における操作体の移動速度、移動方向、移動幅の少なくとも１つを含むが、これに限定されない。

【0098】

上記図５に対応する実施例に係る方法は、操作体の２つのフレーム画像における画像座標を決定し、画像座標に基づいて操作体の画像における第１の移動物理量を決定することで、第１の移動物理量を決定するプロセスが簡単かつ迅速であり、それにより遠隔操作の効率を効果的に向上させることができる。

【0099】

さらに、図６は、操作体に基づく動的表示方法のもう１つの実施例のフローチャートを示す。図６に示すように、上記図２に示す実施例に基づいて、ステップ２０３は、ステップ２０３２１～ステップ２０３２３を含むことができる。

【0100】

ステップ２０３２１では、操作体の移動が検出されたことに応じて、操作体の空間における第１の三次元座標を決定する。

【0101】

本実施例では、両眼ステレオカメラやレーザレーダなどの三次元探知機器を用いて対応する種類のデータフレームをリアルタイムに取得し、データフレームに基づいて操作体の三次元空間の座標位置をリアルタイムに検出することができる。ここで、データフレームに基づいて操作体の三次元空間の座標位置を決定する方法は、従来技術であるため、ここで詳細な説明を省略する。操作体の三次元座標の変化を検出した場合、操作体が移動したと決定することができ、操作体の移動が検出された時点での現在のデータフレームに対応する三次元座標を第１の三次元座標としてもよく、又は操作体の移動が検出された時点の１フレーム前のデータに対応する三次元座標を第１の三次元座標としてもよい。

【0102】

ステップ２０３２２では、操作体の空間における第１の三次元座標から第２の三次元座標への第２の移動速度及び第２の移動方向を決定する。

【0103】

本実施例では、第２の三次元座標は、第１の三次元座標に対応する現在のデータフレーム又は１前のデータフレームの後に位置するデータフレームに基づいて決定されることができる。さらに、第１の三次元座標及び第２の三次元座標に基づいて、操作体の空間における移動速度及び移動方向を、第２の移動速度及び第２の移動方向として決定することができる。

【0104】

例えば、第１の三次元座標を（Ｘ１，Ｙ１，Ｚ１）とし、第２の三次元座標を（Ｘ２，Ｙ２，Ｚ２）とすると、画像データを収集するフレームレートに基づいて（Ｘ１，Ｙ１，Ｚ１）から（Ｘ２，Ｙ２，Ｚ２）までの時間を求め、また（Ｘ１，Ｙ１，Ｚ１）と（Ｘ２，Ｙ２，Ｚ２）との空間幾何学的関係に基づいて、操作体の空間における移動速度及び移動方向を決定し、得られた移動速度及び移動方向に基づいて、第２の移動速度及び第２の移動方向を決定することができる。例えば、上記得られた移動速度及び移動方向を第２の移動速度及び第２の移動方向として決定することができる。

【0105】

ステップ２０３２３では、第２の移動速度及び第２の移動方向に基づいて、操作体の第１の移動物理量を決定する。

【0106】

本実施例では、第１の移動物理量は、上記第２の移動速度及び第２の移動方向を含んでもよく、他の物理量（例えば、移動幅など）を含んでもよい。

【0107】

上記図６に対応する実施例に係る方法は、操作体の空間における三次元座標を検出して空間における第１の移動物理量を決定することで、操作体の空間における移動状態を正確に反映することができ、それにより、第１の移動物理量に基づいて、画面における対応する位置にアイコンをより正確に表示することができ、それにより遠隔操作のプロセスを空間における実際の状況に接近させ、遠隔操作の精度を高め、ユーザの操作感をさらに改善することができる。

【0108】

いくつかの好ましい実現形態では、上記ステップ２０３２１～ステップ２０３２３に基づいて、上記ステップ２０４は、以下のサブステップをさらに含むことができる。

【0109】

まずは、目標空間範囲と画面の表示範囲とのプリセットのマッピング関係に基づいて、画面において第２の移動速度及び第２の移動方向のそれぞれに対応する第３の移動速度及び第３の移動方向を決定する。

【0110】

ここで、操作体の三次元座標を検出するための上記機器は、上記ステップ２０３２１で説明した三次元検出機器であることができる。目標空間範囲は、操作体の三次元座標を検出するための機器の空間検出範囲である。なお、目標空間範囲は、上記三次元探知機器の空間検出範囲全般であってもよく、プリセットされた空間検出範囲全般に含まれる一部の空間検出範囲であってもよい。

【0111】

本実施例では、電子機器は、目標空間範囲内の点と画面の画素点とのプリセットの対応関係に基づいて、第３の移動速度及び第３の移動方向を決定することができる。例えば、当該対応関係に基づいて、上記第１の三次元座標及び第２の三次元座標が画面にそれぞれマッピングされた第１の点及び第２の点を決定し、第１の点及び第２の点の座標、及び移動時間に基づいて、アイコンの画面における移動速度及び移動方向を第３の移動速度及び第３の移動方向として決定することができる。

【0112】

つぎは、第３の移動速度及び第３の移動方向に基づいて、アイコンの画面における第２の移動物理量を決定する。ここで、第２の移動物理量は、上記第３の移動速度及び第３の移動方向を含んでもよく、他の物理量（例えば、移動幅など）を含んでもよい。

【0113】

本実現形態は、目標空間範囲と画面の表示範囲とのプリセットのマッピング関係に基づいて、アイコンの画面における第３の移動速度及び第３の移動方向を決定することで、第２の移動物理量が操作体の三次元空間における移動状態を正確に反映することができ、それにより遠隔操作の精度を高めることができる。

【0114】

いくつかの好ましい実現形態では、図７に示すように、上記好ましい実現形態に基づいて、上記ステップ２０５は、以下のサブステップ２０５１～２０５５を含むことができる。

【0115】

ステップ２０５１では、操作体と画面が位置する平面との間の垂直距離を決定する。

【0116】

上記垂直距離は、従来の種々の距離測定方法によって得ることができる。例えば、上記三次元探知機器、赤外距離計、超音波距離計などの距離測定機器を用いて、操作体と画面が位置する平面との間の垂直距離を決定することができる。

【0117】

ステップ２０５２では、アイコンのサイズを、プリセットされた垂直距離に対応するアイコンサイズに調整する。

【0118】

ここで、アイコンサイズと垂直距離との対応関係は、プリセットされることができ、電子機器は、当該対応関係に基づいて、現在の垂直距離に対応するアイコンサイズを決定することができる。通常、上記垂直距離が小さいほど、アイコンのサイズが大きくなり、それにより、操作体が画面を押圧する効果を模擬することができる。

【0119】

ステップ２０５３では、第２の移動物理量に基づいて、アイコンの画面におけるスミアの長さを決定する。

【0120】

具体的には、前記第３の移動方向及び前記第３の移動速度に基づいて、アイコンの前記画面におけるスミアの長さを決定し、前記スミアの長さは、前記第３の移動速度の大きさに従って変化する。

【0121】

ここで、本ステップにおけるスミアの長さの概念は、上記図２に対応する実施例の好ましい実現形態で説明したスミアの長さの概念と同じであるため、ここで詳細な説明を省略する。

【0122】

ステップ２０５４では、スミアの長さに基づいて、アイコンのテール部の形状を調整する。

【0123】

ここで、本ステップにおけるテール部の形状の概念は、上記図２に対応する実施例の好ましい実現形態で説明したテール部の形状の概念と同じであるため、ここで詳細な説明を省略する。

【0124】

ステップ２０５５では、アイコンが第３の移動速度で第３の移動方向に沿ってドラッグされるように制御する。

【0125】

本実現形態は、アイコンが移動するときに対応する長さのスミアを表示すると同時に、操作体と画面との間の距離に基づいてアイコンのサイズを調整することにより、操作体は、移動プロセスにおいて操作体が画面を押圧する効果を模擬することができ、ユーザが視覚的に遠隔操作の重量感を感じることができ、ユーザの操作性をさらに改善することができる。

【0126】

なお、本開示で説明した操作体の方式に基づいてアイコンを動的に表示する方法のフローは、視覚的な側面により操作体の重量感を表現するものであり、理解すべきものとして、本開示はさらに、アイコン、音声、テキストなどの方式の任意の組み合わせに基づいて表現することもでき、例えば、アイコンが画面上でドラッグされるとき、また第２の移動物理量に基づいて操作体を指示するための音声効果を決定して当該音声効果を再生することができる。例えば、第２の移動物理量に含まれる移動速度が速いほど、音声効果が音量が大きくなるように表現し、操作体の操作性をさらに改善することができる。また例えば、アイコンが画面上でドラッグされるとき、また第２の移動物理量に基づいて操作体を指示するためのテキストメッセージを生成し、当該テキストメッセージを画面に表示することができる。

【0127】

（例示的な装置）
図８は、本開示の１つの例示的な実施例に係る操作体に基づく動的表示装置の構造概略図である。本実施例は、電子機器にさらに適用されることができ、図８に示すように、操作体に基づく動的表示装置は、ユーザの身体部位又は特定の形状を有する物体である操作体が空間において画面に対して行った遠隔操作に応じて、表示対象アイコンの画面における位置を決定するための第１の決定モジュール８０１と、第１の決定モジュール８０１によって決定された位置にアイコンを表示するための表示モジュール８０２と、操作体の移動が検出されたことに応じて操作体の第１の移動物理量を決定するための第２の決定モジュール８０３と、第２の決定モジュール８０３によって決定された第１の移動物理量に基づいて、アイコンの画面における第２の移動物理量を決定するための第３の決定モジュール８０４と、第３の決定モジュール８０４によって決定された第２の移動物理量に基づいて、アイコンが画面上でドラッグされるように制御するための制御モジュール８０５と、を備える。ここで、前記第１の移動物理量は、前記操作体の空間における実際物理量、又は前記操作体が撮影画像にマッピングされた物理量であることができる。

【0128】

本実施例では、第１の決定モジュール８０１は、操作体が空間において画面に対して行った遠隔操作に応じて、表示対象アイコンの画面における位置を決定することができる。ここで、操作体は、制御対象機器に対して遠隔操作を行う様々の物体であり、例えば、操作体は、ユーザの手、頭部などの身体部位であってもよく、又は体感型ハンドルなどのリアルタイムに上記装置に位置情報を出力することができる物体であってもよく、さらに特定の形状を有する他の物体であってもよい。

【0129】

第１の決定モジュール８０１は、様々な方法に基づいて操作体の位置をリアルタイムに決定することができる。通常、第１の決定モジュール８０１は、図１に示すような操作体位置収集機器１０４が操作体に対して収集した認識対象データを取得し、認識対象データを認識して操作体の位置を決定することができる。例示として、操作体位置収集機器１０４は、単眼カメラであることができ、第１の決定モジュール８０１は、単眼カメラによってリアルタイムに収集された画像フレームを認識し、操作体の画像フレームにおける位置を決定することができる。また、例えば、操作体位置収集機器１０４は、両眼ステレオカメラであることができ、第１の決定モジュール８０１は、両眼ステレオカメラによってリアルタイムに収集された両眼画像を認識し、操作体の三次元空間における位置を決定することができる。

【0130】

第１の決定モジュール８０１は、決定された操作体の位置を表示対象アイコンの画面における位置として画面の対応する位置にマッピングすることができる。当該画面は、当該装置に含まれる画面であってもよく、当該装置に接続された機器に含まれる画面であってもよい。例えば、当該画面は、車両のコンソールの画面であることができる。通常、操作体の位置と画面における位置との対応関係をプリセットしておき、当該対応関係に基づいて操作体の位置を画面にマッピングすることができる。

【0131】

本実施例では、第１の決定モジュール８０１は、操作体が空間において遠隔操作を行うか否かをリアルタイムに決定することができる。例えば、操作体が操作体位置収集機器１０４の探知範囲内に出現したこと又は操作体が操作体位置収集機器１０４の探知範囲内を移動していることを検出した場合、操作体が遠隔操作を行ったと決定する。

【0132】

本実施例では、表示モジュール８０２は、表示対象アイコンの画面における位置に上記アイコンを表示することができる。例えば、アイコンは、様々な種類及び形状であってもよい。例えば、アイコンは、静的な図であってもよく、動的な図であってもよい。アイコンの形状は、固定形状であってもリアルタイムに変化する形状であってもよい。例示として、アイコンは、水滴の形状のアイコンであることができ、水滴の揺れの状態を示す動的な図形であることができる。

【0133】

本実施例では、第２の決定モジュール８０３は、操作体の移動が検出されたことに応じて、操作体の第１の移動物理量を決定することができる。ここで、第１の移動物理量は、移動速度、移動方向、移動幅などのうちの少なくとも１つを含むが、これに限定されない。なお、第１の移動物理量は、操作体の空間における実際物理量であってもよく、移動物体を他の次元（例えば、二次元像平面や三次元仮想空間）にマッピングした物理量であってもよい。

【0134】

例示として、操作体位置収集機器１０４が単眼カメラである場合、第１の移動物理量は、操作体が単眼カメラによって撮影された画像にマッピングされた物理量であることができる。もう１つの例示として、操作体位置収集機器１０４がレーザレーダなどの三次元探知機器である場合、第１の移動物理量は、操作体の空間における実際物理量であることができる。

【0135】

本実施例では、第３の決定モジュール８０４は、第１の移動物理量に基づいて、アイコンの画面における第２の移動物理量を決定することができる。具体的には、第３の決定モジュール８０４は、プリセットされた第１の移動物理量が位置している次元と画面とのマッピング関係に基づいて、アイコンの画面における第２の移動物理量を決定することができる。ここで、第２の移動物理量は、移動速度、移動方向、移動幅などのうちの少なくとも１つを含むが、これに限定されない。

【0136】

本実施例では、制御モジュール８０５は、第２の移動物理量に基づいて、アイコンが画面上でドラッグされるように制御することができる。ここで、ドラッグ中、アイコンの形状は変化しなくてもよく、プリセットされた動的効果（スミア、変形など）を生成してもよい。

【0137】

図９は、本開示のさらなる１つの例示的な実施例に係る操作体に基づく動的表示装置の構造概略図である。

【0138】

いくつかの好ましい実現形態では、第１の決定モジュール８０１は、マルチフレーム画像に操作体が存在することを検出したことに応じて、マルチフレーム画像に基づいて操作体が空間において画面に対して行った遠隔操作を決定するための第１の決定ユニット８０１１と、マルチフレーム画像に基づいて操作体の画像座標位置を決定するための第２の決定ユニット８０１２と、画像座標位置に基づいて表示対象アイコンの画面における位置を決定するための第３の決定ユニット８０１３と、を備える。

【0139】

いくつかの好ましい実現形態では、第２の決定モジュール８０３は、第１のフレーム画像における操作体の第１の画像座標、及び第２のフレーム画像における操作体の第２の画像座標を決定するためのものであり、第２のフレーム画像が、第１のフレーム画像とプリセットフレーム数を間隔する画像である第４の決定ユニット８０３１と、第１の画像座標、第２の画像座標及び画像のプリセットフレームレートに基づいて、操作体の第１の移動物理量を決定するための第５の決定ユニット８０３２と、を備えることができる。

【0140】

いくつかの好ましい実現形態では、前記第２の移動物理量は、第１の移動方向及び第１の移動速度を含み、制御モジュール８０５は、第２の移動物理量に基づいて、画面におけるアイコンのスミアの長さ、第１の移動方向及び第１の移動速度を決定するためのものであり、前記スミアの長さが、前記第１の移動速度の大きさに従って変化する第６の決定ユニット８０５１と、スミアの長さに基づいてアイコンのテール部の形状を調整するための第１の調整ユニット８０５２と、アイコンが第１の移動速度で第１の移動方向に沿ってドラッグされるように制御するための第１の制御ユニット８０５３とを含んでもよい。

【0141】

いくつかの好ましい実現形態では、第２の決定モジュール８０３は、操作体の移動が検出されたことに応じて、空間における操作体の第１の三次元座標を決定するためのものであり、前記第１の三次元座標が、前記操作体が移動するときに現在のデータフレームに対応する三次元座標、又は、前記操作体が移動するときに１つ前のデータフレームに対応する三次元座標である第７の決定ユニット８０３３と、操作体の空間における第２の三次元座標を決定するためのものであり、前記第２の三次元座標が、前記操作体が移動するときに前記現在のデータフレーム又は１つ前のデータフレームに続くデータフレームに対応する三次元座標である第８の決定ユニット８０３４と、第１の三次元座標及び前記第２の三次元座標に基づいて、操作体の空間における第２の移動速度及び第２の移動方向を決定し、前記第２の移動速度及び前記第２の移動方向に基づいて操作体の第１の移動物理量を決定するための第９の決定ユニット８０３５と、を備えることができる。

【0142】

いくつかの好ましい実現形態では、第３の決定モジュール８０４は、第１０の決定ユニット８０４１であって、目標空間範囲と画面の表示範囲とのプリセットのマッピング関係に基づいて、画面において第２の移動速度及び第２の移動方向のそれぞれ対応する第３の移動速度及び第３の移動方向を決定するためのものであり、目標空間範囲が、操作体の三次元座標を検出するための機器の空間検出範囲である第１０の決定ユニット８０４１と、第３の移動速度及び第３の移動方向に基づいて、アイコンの画面における第２の移動物理量を決定するための第１１の決定ユニット８０４２と、を備えることができる。

【0143】

いくつかの好ましい実現形態では、制御モジュール８０５は、操作体と画面が位置する平面との間の垂直距離を決定するための第１２の決定ユニット８０５４と、アイコンのサイズを、プリセットされた垂直距離に対応するアイコンサイズに調整するための第２の調整ユニット８０５５と、第２の移動物理量における第３の移動方向及び第３の移動速度に基づいて、画面におけるアイコンのスミアの長さを決定するためのものであり、前記スミアの長さが、前記第３の移動速度の大きさに従って変化する第１３の決定ユニット８０５６と、スミアの長さに基づいてアイコンのテール部の形状を調整するための第３の調整ユニット８０５７と、アイコンが第３の移動速度で第３の移動方向に沿ってドラッグされるように制御するための第２の制御ユニット８０５８と、を備えることができる。

【0144】

いくつかの好ましい実現形態では、当該装置は、操作体の遠隔操作を検出するための機器の検出限界から操作体が離れたことを検出した場合、アイコンが位置する画面における現在の表示位置に第１のプリセットアニメーションに従ってアイコンの形状変化をプレゼンするための第１のプレゼンモジュール８０６をさらに備えることができる。前記機器は、前記操作体の遠隔操作を検出するためのものである。

【0145】

いくつかの好ましい実現形態では、当該装置は、第１の移動物理量に基づいて、第２の移動速度としての操作体の移動速度を決定し、第２の移動速度が第１のプリセット速度以上である場合、第２のプリセットアニメーションに従って、アイコンが位置する画面における現在の表示位置にアイコンの形状変化をプレゼンするための第２のプレゼンモジュール８０７をさらに備えることができる。ここで、前記第１の移動物理量は、第２の移動速度を含む。

【0146】

いくつかの好ましい実現形態では、当該装置は、第２の移動物理量に基づいて、第１の移動速度としてのアイコンの移動速度を決定し、当該第１の移動速度が第２のプリセット速度以下である場合、操作体から画面が位置する平面までの垂直距離に基づいて、画面におけるアイコンの本体の表示サイズを調整するための第１の調整モジュール８０８をさらに備えることができる。前記第２の移動物理量は、第１の移動速度を含む。

【0147】

いくつかの好ましい実現形態では、当該装置は、操作体の遠隔操作を検出するための機器が第１のカメラである場合、操作体と第１のカメラとの間の距離を決定するための第４の決定モジュール８０９と、プリセットされた距離と焦点距離との対応関係に基づいて、前記距離に対応する目標焦点距離を決定するための第２の調整モジュール８１０と、をさらに備えることができる。第２の調整モジュール８１０は、第１のカメラの焦点距離を目標焦点距離に調整して操作体の画像を収集し、又は、前記目標焦点距離が第１のカメラの最大焦点距離を超える場合、第１のカメラを第２のカメラに切り替え、第２のカメラの焦点距離を前記目標焦点距離に調整して当該第２のカメラを用いて操作体の画像を収集する。ここで、第２のカメラの焦点距離は、第１のカメラの焦点距離より大きく、当該第２のカメラの焦点距離は、前記目標焦点距離以上である。

【0148】

本開示の上記実施例に係る操作体に基づく動的表示装置は、操作体が空間において遠隔操作を行ったとき、操作体が画面にマッピングされたアイコンの位置を決定し、操作体の移動が検出されると、操作体の第１の移動物理量を決定し、第１の移動物理量に基づいてアイコンの画面における第２の移動物理量を決定し、最後、第２の移動物理量に基づいて、アイコンが画面上でドラッグされるように制御する。それにより、操作体が遠隔操作を行うとき、画面上でアイコンをドラックさせて操作体の移動軌跡をリアルタイムにフィードバックすることで、ユーザは、アイコンの移動軌跡を参照して遠隔操作が正確であるか否かをリアルタイムに把握することができ、ユーザの操作感を改善し、遠隔操作の正確率を高めることができる。

【0149】

（例示的な電子機器）
以下、図１０を参照しながら本開示の実施例の電子機器について説明する。当該電子機器は、図１に示すような端末機器１０１及びサーバ１０３のいずれか一方若しくは両方、又はこれらとは個別のスタンドアロン機器であってもよく、当該スタンドアロン機器は、端末機器１０１及びサーバ１０３と通信して、それらから収集された入力信号を受信することができる。

【0150】

図１０は、本開示の実施例の電子機器のブロック図を示す。

【0151】

図１０に示すように、電子機器１０００は、１つ又は複数のプロセッサ１００１と、メモリ１００２と、を含む。

【0152】

プロセッサ１００１は、中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）、又はデータ処理能力及び／又はコマンド実行能力を有する他の形態の処理ユニットであってもよく、電子機器１０００内の他のコンポーネントを制御して所望の機能を実行することができる。

【0153】

メモリ１００２は、揮発性メモリ及び／又は不揮発性メモリなどの様々な形態のコンピュータ読み取り可能な記憶媒体を含む、１つ又は複数のコンピュータプログラム製品を含むことができる。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）及び／又はキャッシュメモリ（ｃａｃｈｅ）などを含むことができる。不揮発性メモリは、例えば、リードオンリメモリ（ＲＯＭ）、ハードディスク、フラッシュメモリなどを含むことができる。コンピュータ読み取り可能な記憶媒体には１つ又は複数のコンピュータプログラムコマンドが記憶されることができ、プロセッサ１００１は、プログラムコマンドを実行して、上述した本開示の各実施例における操作体に基づく動的表示方法及び／又はほかの所望の機能を実現することができる。また、コンピュータ読み取り可能な記憶媒体には、認識対象データ、移動物理量などの様々の内容が記憶されることができる。

【0154】

一例では、電子機器１０００は、バスシステム及び／又は他の形態の接続機構（図示せず）を介して相互に接続されている入力装置１００３及び出力装置１００４をさらに含むことができる。

【0155】

例えば、当該電子機器が端末機器１０１やサーバ１０３である場合、当該入力装置１００３は、操作体に対して収集した認識対象データを入力するためのカメラやレーザレーダなどの機器であってもよい。当該電子機器がスタンドアロン機器である場合、当該入力装置１００３は、入力された認識対象データを端末機器１０１又はサーバ１０３から受信するための通信ネットワークコネクタであってもよい。

【0156】

当該出力装置１００４は、第２の移動物理量などを含む各種情報を外部に出力することができる。当該出力装置１００４は、例えば、ディスプレイ、スピーカ、プリンタ、通信ネットワーク及びそれらが接続される遠隔出力機器などを含んでもよい。

【0157】

もちろん、簡略化のため、図１０では、当該電子機器１０００における、本開示に係るコンポーネントの一部のみを示し、バスや入力／出力インタフェースなどのコンポーネントは省略された。それ以外、具体的な応用状況に応じて、電子機器１０００は、任意の適切な他のコンポーネントをさらに含んでもよい。

【0158】

（例示的なコンピュータプログラム製品及びコンピュータ読み取り可能な記憶媒体）
上記の方法及び機器に加えて、本開示の実施例は、コンピュータプログラムコマンドを含むコンピュータプログラム製品であることもでき、前記コンピュータプログラムコマンドがプロセッサによって実行されると、本明細書の上記「例示的な方法」部分で説明された本開示の様々な実施例に係る操作体に基づく動的表示方法におけるステップを前記プロセッサに実行させる。

【0159】

前記コンピュータプログラム製品は、１つ又は複数のプログラミング言語の任意の組み合わせで本開示の実施例の動作を実行するためのプログラムコードを作成することができ、前記プログラミング言語は、例えば、Ｊａｖａ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語を含み、例えば、「Ｃ」言語又は類似のプログラミング言語などの一般的な手続き型プログラミング言語をさらに含む。プログラムコードは、下記のように実行されることができ、すなわち、ユーザコンピューティング機器上で全体的に実行される、ユーザ機器上で部分的に実行される、別個のソフトウェアパッケージとして実行される、一部はユーザコンピューティング機器上で実行され、別の一部はリモートコンピューティング機器上で実行される、又は、リモートコンピューティング機器又はサーバ上で全体的に実行される。

【0160】

また、本開示の実施例は、コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体であってもよく、前記コンピュータプログラムコマンドがプロセッサによって実行されると、本明細書の上記「例示的な方法」部分で説明された本開示の様々な実施例に係る操作体に基づく動的表示方法におけるステップを前記プロセッサに実行させる。

【0161】

前記コンピュータ読み取り可能な記憶媒体は、１つ又は複数の読み取り可能な媒体の任意の組み合わせを用いることができる。読み取り可能な記憶媒体は、読み取り可能な信号媒体又は読み取り可能な記憶媒体であってもよい。読み取り可能な記憶媒体は、例えば、電気、磁気、光学、電磁、赤外線、若しくは半導体のシステム、装置、又はデバイス、あるいはこれらの任意の組み合わせを含み得るが、これらに限定されない。読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）は、１つ又は複数の導線を有する電気的な接続、ポータブルディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組み合わせを含む。

【0162】

以上、具体的な実施例を参照すながら本開示の基本的原理を説明してきたが、本開示に言及される利点、優位性、効果などは、制限されず、例示されるものに過ぎず、これらの利点、優位性、効果などは、本開示の各実施例が必ず備えられるのではない。また、以上開示された具体的な細部は、制限されず、例示する役割及び理解を容易にする役割を果たすためのものに過ぎず、上記細部は、本開示を必ず上記具体的な詳細により実現されるように制限するものではない。

【0163】

本明細書における各実施例は、いずれも逐次的な形態で説明され、各実施例は、他の実施例との相違点を主に説明し、各実施例間の同じ又は同様の部分は、互いに参照すればよい。システムの実施例には、基本的に方法の実施例に対応するので、説明は比較的簡単であるが、関連内容は、方法の実施例の説明の一部を参照すればよい。

【0164】

本開示に係るデバイス、装置、機器、システムのブロック図は、単なる例示的な例に過ぎず、必ずブロック図に示される形態で接続、レイアウト、配置を行うことを要求又は暗示することを意図しない。当業者が理解できるように、これらのデバイス、装置、機器、システムを任意の形態で接続、レイアウト、配置することができる。例えば、「含む」、「備える」、「有する」などの単語は開放的語彙であり、「含むが限定されない」ことを指し、互いに置き換えて使用され得る。本明細書で使用される「又は」及び「及び」という用語は、「及び／又は」という用語を指し、そのようでないと明記しない限り、互いに置き換えて使用され得る。ここで使用される語彙「例えば」とは、「例えば、…であるが、これに限定されない」という連語を指し、互いに置き換えて使用され得る。

【0165】

本開示の方法及び装置は、多くの形態で実現され得る。例えば、本開示の方法及び装置は、ソフトウェア、ハードウェア、ファームウェア、又はソフトウェア、ハードウェア、ファームウェアのいかなる組み合わせで実現され得る。前記方法に使用されるステップの上記順序は、単なる説明のためのものであり、本開示の方法のステップは、特に他の形態で説明しない限り、以上具体的に説明された順序に限定されない。また、いくつかの実施例では、本開示は、記録媒体に記録されたプログラムとして実施されてもよく、これらのプログラムは、本開示に係る方法を実現するための機械読み取り可能な命令を含む。したがって、本開示に係る方法を実行するためのプログラムを記憶する記録媒体も本開示に含まれる。

【0166】

また、本開示の装置、機器、及び方法において、各部材又は各ステップは、分解及び／又は再度組み合わせされてもよいことに指摘されたい。これらの分解及び／又は再度組み合わせは、本開示の同等な形態とみなされるべきである。

【0167】

開示された態様の上記の説明は、当業者が本開示を作成又は使用することを可能にするために提供される。これらの態様に対する様々な修正は、当業者にとって非常に明らかであり、本明細書で定義された一般的な原理は、本開示の範囲から逸脱することなく他の態様に適用され得る。したがって、本開示は、本明細書に示された態様に制限されることを意図しておらず、本明細書に開示された原理及び新規な特徴と一致する最も広い範囲に従うものである。

【0168】

上記の説明は、例示及び説明のために提供される。さらに、この説明は、本開示の実施例を本明細書に開示された形態に制限することを意図しない。以上、複数の例示的な態様及び実施例を説明したが、当業者であれば、それらの特定の変形、修正、変更、追加、及びサブコンビネーションを認識できるであろう。

【国際調査報告】