特表 2019-527435 空間システムに適用できる操作方法及び装置、記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2019-527435(P2019-527435A)

(43)【公表日】2019年9月26日

(54)【発明の名称】空間システムに適用できる操作方法及び装置、記憶媒体

(51)【国際特許分類】

   G06F 3/01 20060101AFI20190830BHJP

   G06F 3/0346 20130101ALI20190830BHJP

【ＦＩ】

   G06F3/01 570

   G06F3/0346 422

【審査請求】有

【予備審査請求】未請求

【全頁数】21

(21)【出願番号】特願2019-503449(P2019-503449)

(86)(22)【出願日】2017年9月1日

(85)【翻訳文提出日】2019年1月22日

(86)【国際出願番号】CN2017100230

(87)【国際公開番号】WO2018076927

(87)【国際公開日】20180503

(31)【優先権主張番号】201610939290.5

(32)【優先日】2016年10月24日

(33)【優先権主張国】CN

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｂｌｕ−ｒａｙ

(71)【出願人】

【識別番号】518389015

【氏名又は名称】中国移動通信有限公司研究院

【氏名又は名称原語表記】Ｃｈｉｎａ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｃｏ．， Ｌｔｄ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ

(71)【出願人】

【識別番号】507142144

【氏名又は名称】中国移▲動▼通信集▲団▼公司

【氏名又は名称原語表記】ＣＨＩＮＡ ＭＯＢＩＬＥ ＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100125874

【弁理士】

【氏名又は名称】川端 純市

(72)【発明者】

【氏名】劉 陽

【テーマコード（参考）】

5B087

5E555

【Ｆターム（参考）】

5B087AA07

5B087BC06

5B087BC26

5B087BC32

5E555AA01

5E555AA76

5E555BA02

5E555BA38

5E555BB02

5E555BB38

5E555BC04

5E555BC17

5E555BE17

5E555CA29

5E555CA42

5E555CB07

5E555CB19

5E555CB65

5E555CB66

5E555CC03

5E555CC26

5E555DC19

5E555FA00

(57)【要約】

本発明の実施例は空間システムに適用できる操作方法及び装置、記憶媒体を開示し、前記方法は、追跡部材によって操作オブジェクトを追跡し、前記操作オブジェクトの入力操作を検出するステップ（Ｓ１０１）と、前記入力操作の属性情報を決定するステップ（Ｓ１０２）と、前記入力操作の属性情報が所定条件を満たすか否かを判断するステップ（Ｓ１０３）と、前記入力操作の属性情報が前記所定条件を満たす場合、三次元座標で示される前記操作オブジェクトの現在位置を決定するステップ（Ｓ１０４）と、前記操作オブジェクトの現在位置に、三次元の輪郭点で示されるターゲットオブジェクトがある場合、前記入力操作の属性情報に基づき前記ターゲットオブジェクトを処理するステップ（Ｓ１０５）と、を含む。

【特許請求の範囲】

【請求項1】

空間システムに適用できる操作方法であって、
追跡部材によって操作オブジェクトを追跡し、前記操作オブジェクトの入力操作を検出するステップと、
前記入力操作の属性情報を決定するステップと、
前記入力操作の属性情報が所定条件を満たすか否かを判断するステップと、
前記入力操作の属性情報が前記所定条件を満たす場合、三次元座標で示される前記操作オブジェクトの現在位置を決定するステップと、
前記操作オブジェクトの現在位置に、三次元の輪郭点で示されるターゲットオブジェクトがある場合、前記入力操作の属性情報に基づき前記ターゲットオブジェクトを処理するステップと、を含む操作方法。

【請求項2】

前記入力操作の属性情報は前記入力操作に対応する操作オブジェクトの継続時間、前記入力操作の姿勢、操作距離、操作方向、前記操作オブジェクトの加速度ａまたは加速度の方向を含む請求項１に記載の操作方法。

【請求項3】

前記操作オブジェクトの現在位置に、三次元の輪郭点で示されるターゲットオブジェクトがない場合、追跡部材によって前記操作オブジェクトを追跡し、前記操作オブジェクトの入力操作を検出するステップをさらに含む請求項１に記載の操作方法。

【請求項4】

前記操作オブジェクトの現在位置に、三次元の輪郭点で示されるターゲットオブジェクトがある場合、前記入力操作の属性情報に基づき前記ターゲットオブジェクトを処理することは、
三次元輪郭点で現在のシーンでの対話オブジェクトを示すステップと、
前記操作オブジェクトの現在位置が前記対話オブジェクトの三次元輪郭点で示される範囲内にあるか否かを判断するステップと、
前記操作オブジェクトの現在位置が前記対話オブジェクトの三次元輪郭点で示される範囲内にある場合、前記対話オブジェクトをターゲットオブジェクトとして決定するステップと、
前記入力操作の属性情報に基づき前記ターゲットオブジェクトを処理するステップと、を含む請求項１〜３のいずれか一項に記載の操作方法。

【請求項5】

前記操作オブジェクトの現在位置が前記対話オブジェクトの三次元輪郭点で示される範囲内にない場合、前記操作オブジェクトの現在位置に三次元の輪郭点で示されるターゲットオブジェクトがないと決定するステップと、
追跡部材によって前記操作オブジェクトを追跡し、前記操作オブジェクトの入力操作を検出するステップと、をさらに含む請求項４に記載の操作方法。

【請求項6】

前記操作オブジェクトの現在位置を決定することは、
追跡部材によって、三次元座標で示される操作オブジェクトの初期位置を決定するステップと、
前記空間システムにおける操作カーソルを前記初期位置まで移動させるステップと、
前記追跡部材によって前記操作オブジェクトを追跡し、三次元座標で示される前記操作オブジェクトのターゲット位置を決定し、前記操作カーソルを前記ターゲット位置まで移動させるステップと、
前記操作オブジェクトの初期位置又はターゲット位置を前記操作オブジェクトの現在位置として決定するステップと、を含む請求項１〜３のいずれか一項に記載の操作方法。

【請求項7】

前記入力操作の属性情報に基づき前記ターゲットオブジェクトを処理することは、
前記追跡部材によって前記操作オブジェクトを追跡し、前記操作オブジェクトの加速度ａと加速度の方向を決定するステップと、
前記空間システムにおいて設定した減衰係数ｚを取得するステップと、
前記加速度ａ、加速度の方向及び減衰係数ｚに基づき、前記空間システムにおいて前記ターゲットオブジェクトまで移動させるステップと、を含む請求項１〜３のいずれか一項に記載の操作方法。

【請求項8】

前記入力操作の属性情報に基づき前記ターゲットオブジェクトを処理することは、
前記入力操作の操作面を前記ターゲットオブジェクトに投影するステップと、
前記入力操作の操作方向と操作距離を決定するステップと、
前記操作方向と操作距離に基づき前記ターゲットオブジェクトを移動させるステップと、を含む請求項１〜３のいずれか一項に記載の操作方法。

【請求項9】

前記操作オブジェクトは指、手、眼球を含む請求項１〜３のいずれか一項に記載の操作方法。

【請求項10】

空間システムに適用できる操作装置であって、検出ユニット、第１決定ユニット、判断ユニット、第２決定ユニット及び処理ユニットを備え、
前記検出ユニットは、追跡部材によって操作オブジェクトを追跡し、前記操作オブジェクトの入力操作を検出するように構成され、
前記第１決定ユニットは、前記入力操作の属性情報を決定するように構成され、
前記判断ユニットは、前記入力操作の属性情報が所定条件を満たすか否かを判断するように構成され、
前記第２決定ユニットは、前記入力操作の属性情報が前記所定条件を満たす場合、三次元座標で示される前記操作オブジェクトの現在位置を決定するように構成され、
前記処理ユニットは、前記操作オブジェクトの現在位置に、三次元の輪郭点で示されるターゲットオブジェクトがある場合、前記入力操作の属性情報に基づき前記ターゲットオブジェクトを処理するように構成される操作装置。

【請求項11】

コンピュータ記憶媒体であって、
請求項１〜９のいずれか一項に記載の空間システムに適用できる操作方法を実行するためのコンピュータ実行可能命令が記憶されるコンピュータ記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は電子技術に関し、特に空間システムに適用できる操作方法及び装置、記憶媒体に関する。

【0002】

関連出願の相互参照
本願は出願番号が２０１６１０９３９２９０．５、出願日が２０１６年１０月２４日の中国特許出願に基づき提案され、該中国特許出願の優先権を主張し、該中国特許出願の全内容がここで援用により本願に組み込まれている。

【背景技術】

【0003】

三次元技術の商用化、特にＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実）やＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実）等の技術の成熟化に伴って、ユーザーインタフェースはさらに三次元化へと拡張している。従来の携帯電話等の二次元インタフェースでいくつかの操作は、三次元操作に適用できるために、更に拡張する必要がある。三次元システムでは、ユーザーが自由に操作できるとともに、ユーザーの空間認識と使用習慣を満たす必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の解決手法として、主に二次元インタフェースに一般的に使用される操作オブジェクトを選択してドラッグする方式であり、二次元インタフェースにおけるジェスチャのドラッグ操作に依存し、このような単調な操作方式によって、ユーザーがインタフェース操作中に選択したり操作したりする楽しみを損なってしまう。また、二次元インタフェースにおけるユーザーの操作に比べて、三次元空間における操作はユーザーの操作経験をさらに満たす必要があり、例えば、三次元空間の３つの軸ｘ、ｙ及びｚの位置がともに変化するとともに、角速度の変化が随伴し、位置と角速度変化を三次元空間に如何に反映するかも三次元空間での対話に対するユーザーの要求の１つである。また、三次元空間でのジェスチャ操作の傾向が強まっているが、二次元インタフェースが相当長時間にわたって使用されるのは現状である。従って、三次元空間と二次元インタフェースを両立させるジェスチャ操作の対話方式を如何に提供するかは解決しなければならない問題となる。

【0005】

上記に鑑みて、本発明の実施例は、従来技術の少なくとも１つの問題を解決するために、空間システムに適用できる操作方法及び装置、記憶媒体を提供し、三次元空間におけるオブジェクト操作に同時に適用できる対話方式を提供できる。

【課題を解決するための手段】

【0006】

本発明の実施例の技術案は以下のように実現される。

【0007】

本発明の実施例は空間システムに適用できる操作方法を提供し、前記方法は、
追跡部材によって前記操作オブジェクトを追跡し、前記操作オブジェクトの入力操作を検出するステップと、
前記入力操作の属性情報を決定するステップと、
前記入力操作の属性情報が所定条件を満たすか否かを判断するステップと、
前記入力操作の属性情報が前記所定条件を満たす場合、三次元座標で示される前記操作オブジェクトの現在位置を決定するステップと、
前記操作オブジェクトの現在位置に、三次元の輪郭点で示されるターゲットオブジェクトがある場合、前記入力操作の属性情報に基づき前記ターゲットオブジェクトを処理するステップと、を含む。

【0008】

本発明の実施例は空間システムに適用できる操作装置を提供し、前記装置は、検出ユニット、第１決定ユニット、判断ユニット、第２決定ユニット及び処理ユニットを備え、
前記検出ユニットは、追跡部材によって前記操作オブジェクトを追跡し、前記操作オブジェクトの入力操作を検出するように構成され、
前記第１決定ユニットは、前記入力操作の属性情報を決定するように構成され、
前記判断ユニットは、前記入力操作の属性情報が所定条件を満たすか否かを判断するように構成され、
前記第２決定ユニットは、前記入力操作の属性情報が前記所定条件を満たす場合、三次元座標で示される前記操作オブジェクトの現在位置を決定するように構成され、
前記処理ユニットは、前記操作オブジェクトの現在位置に、三次元の輪郭点で示されるターゲットオブジェクトがある場合、前記入力操作の属性情報に基づき前記ターゲットオブジェクトを処理するように構成される。

【0009】

本発明の実施例はコンピュータ記憶媒体をさらに提供し、前記コンピュータ記憶媒体には本発明の実施例に係る空間システムに適用できる操作方法を実行するためのコンピュータ実行可能命令が記憶される。

【発明の効果】

【0010】

本発明の実施例は空間システムに適用できる操作方法及び装置、記憶媒体を提供し、ここで、追跡部材によって前記操作オブジェクトを追跡し、前記操作オブジェクトの入力操作を検出し、前記入力操作の属性情報を決定し、前記入力操作の属性情報が所定条件を満たすか否かを判断し、前記入力操作の属性情報が前記所定条件を満たす場合、三次元座標で示される前記操作オブジェクトの現在位置を決定し、前記操作オブジェクトの現在位置に、三次元の輪郭点で示されるターゲットオブジェクトがある場合、前記入力操作の属性情報に基づき前記ターゲットオブジェクトを処理し、それにより、三次元空間におけるオブジェクト操作に同時に適用できる対話方式を提供できる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施例に係る空間システム適用できる操作方法の実装フローチャートである。

【図2】本発明の実施例に係るコンピューティングデバイスの構造模式図である。

【図3】本発明の実施例に係る空間システムに適用できる操作装置の実装フローチャートである。

【図4】本発明の実施例に係るコンピューティングデバイスのハードウェアエンティティ模式図である。

【発明を実施するための形態】

【0012】

以下、図面及び具体的な実施例を参照して本発明の技術案を更に詳細に説明する。

【実施例1】

【0013】

本発明の実施例は空間システムに適用できる操作方法を提供し、該方法はコンピューティングデバイスに適用でき、該方法により実装される機能はコンピューティングデバイスのプロセッサがプログラムコードを呼び出すことで実装でき、勿論、プログラムコードはコンピュータ記憶媒体に保存でき、従って、該コンピューティングデバイスは少なくともプロセッサ及び記憶媒体を備える。ここで、前記コンピューティングデバイスは具体的な実施例では、情報処理能力を有する各種のタイプの電子機器であってもよく、例えば、前記電子機器は携帯電話、タブレットＰＣ、デスクトップコンピュータ、パーソナルデジタルアシスタント、ナビゲータ、デジタル電話、ビデオ電話、テレビ等を含んでもよい。

【0014】

図１は本発明の実施例に係る空間システムに適用できる操作方法の実装フローチャートであり、図１に示すように、該方法は、ステップＳ１０１〜ステップＳ１０５を含む。

【0015】

ステップＳ１０１では、追跡部材によって前記操作オブジェクトを追跡し、前記操作オブジェクトの入力操作を検出する。

【0016】

ここで、前記操作オブジェクトは指、手、眼球を含む。

【0017】

ここで、前記追跡部材はコンピューティングデバイスの部材であり、実装中、前記追跡部材はカメラであってもよい。

【0018】

ステップＳ１０２では、前記入力操作の属性情報を決定する。

【0019】

ステップＳ１０３では、前記入力操作の属性情報が所定条件を満たすか否かを判断する。

【0020】

ここで、前記入力操作の属性情報は前記入力操作に対応する操作オブジェクトの継続時間、前記入力操作の姿勢、操作距離、操作方向、前記操作オブジェクトの加速度ａまたは加速度の方向を含む。ステップＳ１０３では、主に前記入力操作に対応する操作オブジェクトの継続時間、前記入力操作の姿勢を利用し、それに対応して、前記所定条件は所定の時間閾値又は操作オブジェクトの姿勢を含む。例えば、前記入力操作の継続時間が所定の時間閾値より大きいか否かを判断し、所定の時間閾値より大きい場合、前記所定条件を満たし、所定の時間閾値より小さい場合、前記所定条件を満たさず、さらに、例えば、所定条件をダブルクリック等のジェスチャとする場合、入力操作の姿勢がダブルクリック等のジェスチャであるか否かを判断し、ＹＥＳである場合、所定の条件を満たし、ＮＯである場合、所定の条件を満たさない。

【0021】

ステップＳ１０４では、前記入力操作の属性情報が前記所定条件を満たす場合、三次元座標で示される前記操作オブジェクトの現在位置を決定する。

【0022】

ステップＳ１０５では、前記操作オブジェクトの現在位置に、三次元の輪郭点で示されるターゲットオブジェクトがある場合、前記入力操作の属性情報に基づき前記ターゲットオブジェクトを処理する。

【0023】

本発明のほかの実施例では、前記方法は、前記操作オブジェクトの現在位置に、三次元の輪郭点で示されるターゲットオブジェクトがない場合、追跡部材によって前記操作オブジェクトを追跡し、前記操作オブジェクトの入力操作を検出するステップＳ１０６をさらに含む。実装中、前記方法は、現在ターゲットオブジェクトを決定していないことを示すためのプロンプトメッセージを出力するステップをさらに含む。

【0024】

本発明のほかの実施例では、前記方法は、前記操作オブジェクトの現在位置に、三次元の輪郭点で示されるターゲットオブジェクトがあるか否かを判断し、前記操作オブジェクトの現在位置に、三次元の輪郭点で示されるターゲットオブジェクトがある場合、前記入力操作の属性情報に基づき前記ターゲットオブジェクトを処理するステップをさらに含む。前記前記操作オブジェクトの現在位置に、三次元の輪郭点で示されるターゲットオブジェクトがあるか否かを判断することは、ステップＳ１１１〜ステップＳ１１４を更に含む。

【0025】

ステップＳ１１１では、三次元輪郭点で現在のシーンでの対話オブジェクトを示す。

【0026】

ここで、前記シーンはコンピューティングデバイスに表示される任意のシーン、例えばゲームをプレイするシーンであってもよく、シーンごとに、ユーザーの入力操作と対話するオブジェクトが設定される。

【0027】

ステップＳ１１２では、前記操作オブジェクトの現在位置が前記対話オブジェクトの三次元輪郭点で示される範囲内にあるか否かを判断する。

【0028】

ステップＳ１１３では、前記操作オブジェクトの現在位置が前記対話オブジェクトの三次元輪郭点で示される範囲内にある場合、前記対話オブジェクトをターゲットオブジェクトとして決定する。

【0029】

ステップＳ１１４では、前記操作オブジェクトの現在位置が前記対話オブジェクトの三次元輪郭点で示される範囲内にない場合、前記操作オブジェクトの現在位置に三次元の輪郭点で示されるターゲットオブジェクトがないと決定する。

【0030】

実装中、前記方法は、前記操作オブジェクトの現在位置を決定するステップをさらに含み、前記操作オブジェクトの現在位置を決定することは、追跡部材によって、三次元座標で示される操作オブジェクトの初期位置を決定するステップと、前記空間システムにおける操作カーソルを前記初期位置まで移動させるステップと、前記追跡部材によって前記操作オブジェクトを追跡し、三次元座標で示される前記操作オブジェクトのターゲット位置を決定し、前記操作カーソルを前記ターゲット位置まで移動させるステップと、前記操作オブジェクトの初期位置又はターゲット位置を前記操作オブジェクトの現在位置として決定するステップと、を更に含む。

【0031】

本発明の実施例では、前記入力操作の属性情報に基づき前記ターゲットオブジェクトを処理することは、
前記追跡部材によって前記操作オブジェクトを追跡し、前記操作オブジェクトの加速度ａと加速度の方向を決定するステップＳ１４１Ａと、
前記空間システムにおいて設定した減衰係数ｚを取得するステップＳ１４２Ａと、
前記加速度ａ、加速度の方向及び減衰係数ｚに基づき、前記空間システムにおいて前記ターゲットオブジェクトまで移動させるステップＳ１４３Ａと、を含む。

【0032】

ここで、操作オブジェクトが手であれば、入力操作がジェスチャであり、まず、対話オブジェクトが一定の質量ｍを有すると仮定し、コンピューティングデバイスはユーザーの手の動きによって手の加速度ａを分析し、式ｆ＝ｋ＊ｍ＊ａ（ｋはある係数であり、変数であってもよい）に基づき、該加速度をモジュールに作用する「力」ｆに変換する。また、さらに空間が一定の減衰効果を有し、減衰係数をｚとすると仮定してもよい。この場合、対話オブジェクトの受ける力はＦ＝ｆ−ｍｚ＝ｋ＊ｍ＊ａ−ｍｚ＝ｍ（ｋａ−ｚ）となり、一般には、ｋを１に設定してもよい。

【0033】

本発明の実施例では、前記入力操作の属性情報に基づき前記ターゲットオブジェクトを処理することは、
前記入力操作の操作面を前記ターゲットオブジェクトに投影するステップＳ１４１Ｂと、
前記入力操作の操作方向と操作距離を決定するステップＳ１４２Ｂと、
前記操作方向と操作距離に基づき前記ターゲットオブジェクトを移動させるステップＳ１４３Ｂと、を含む。

【0034】

ここで、操作オブジェクトが手であれば、入力操作がジェスチャであり、対話オブジェクトが一定の質量ｍを有すると設定し、ユーザーはジェスチャによってモジュール上に１つの仮想作用面（この面は手の投影の断面であってもよい）を有し、この作用面によって、手はモジュールに仮想的に接触して、それぞれプッシュ、叩き、プル、回し等の効果を形成できる。ユーザーに正確なフィードバックを容易に提供できるように、モジュール上に該作用面を表示してもよい。なお、操作オブジェクトが眼球であると、操作オブジェクトが手の場合と類似する。

【0035】

本発明の実施例では、追跡部材によって前記操作オブジェクトを追跡し、前記操作オブジェクトの入力操作を検出し、前記入力操作の属性情報を決定し、前記入力操作の属性情報が所定条件を満たすか否かを判断し、前記入力操作の属性情報が前記所定条件を満たす場合、三次元座標で示される前記操作オブジェクトの現在位置を決定し、前記操作オブジェクトの現在位置に、三次元の輪郭点で示されるターゲットオブジェクトがある場合、前記入力操作の属性情報に基づき前記ターゲットオブジェクトを処理し、それにより、三次元空間におけるオブジェクト操作に同時に適用できる対話方式を提供できる。

【実施例2】

【0036】

本提案は空間システムに適用できる操作方法を提供し、該方法は三次元空間において自然ジェスチャと眼球追跡に基づくヒューマンマシン自然対話の方法であり、ステップＳ２０１〜ステップＳ２０８を含む。

【0037】

ステップＳ２０１では、ユーザーの所在する三次元インタフェースにおけるシステムを三次元座標化し、すなわち、ある空間点が特定のｘ、ｙ、ｚ座標数値を有し、重ならない点の数値が異なる。

【0038】

ここで、座標化の方法はユーザーを中心としてもよく、自ら１つの座標系を設定してもよい。

【0039】

ステップＳ２０２では、すべての操作オブジェクトの座標を数値化する（重心（ｘ１、ｙ１、ｚ１）及びオブジェクト全体の輪郭数値を設定する）。

【0040】

ステップＳ２０３では、ユーザーはいくつかの自然対話方式によって操作オブジェクトを選択し、これらの方式はジェスチャ、眼球追跡（ｅｙｅ ｔｒａｃｋｅｒ、すなわち眼球の集束点によって選択したオブジェクトを判断する）、指の屈曲度等を含むが、それらに限定されない。

【0041】

ここで、実装中、例１では、ユーザーの手の動きを追跡することで、三次元インタフェースにおける各対話オブジェクトにおいてカーソルを移動させ、手の左右揺動の場合、カーソルを左右に移動させ、手の前後揺動の場合、カーソルを前後に移動し、手の上下揺動の場合、カーソルを上下に移動させる。カーソルをターゲットオブジェクトまで移動させた後、ダブルクリック等のジェスチャ又は滞留時間によってオブジェクト選択済みを確認する。例２では、実施例２において、眼球追跡技術を用いてユーザーの眼球と瞳孔に対する追跡によって、ユーザーが選択する三次元空間中の対話オブジェクトを決定し、ダブルクリック等のジェスチャ又は滞留時間によってオブジェクト選択済みを確認する。例３では、手の位置によって三次元空間におけるカーソルのｘｙ方向の選択を行い、手又は指の屈曲度によってカーソルの前後（ｚ軸）方向の移動を判断し、ユーザーが選択する三次元空間中の対話オブジェクトを決定し、ダブルクリック等のジェスチャ又は滞留時間によって対話オブジェクトの選択済みを確認する。

【0042】

ステップＳ２０４では、ユーザーはジェスチャを作り、対話オブジェクトが一定の質量ｍ（この質量は対話オブジェクトの体積に関わってもよい）を有すると設定し、ユーザーの手の運動によって、その加速度ａを分析し、該加速度を対話オブジェクトに作用する「力」ｆ＝ｋ＊ｍ＊ａ（ｋはある係数であり、変数であってもよい）に変換し、また、さらに空間が一定の減衰効果を有し、減衰係数をｚとすると仮定してもよい。この場合、対話オブジェクトの受ける力はＦ＝ｆ−ｍｚ＝ｋ＊ｍ＊ａ−ｍｚ＝ｍ（ｋａ−ｚ）となり、一般には、ｋを１に設定してもよい。

【0043】

ステップＳ２０５では、ジェスチャに基づき、手の動きを対話オブジェクトに投影し、手の動き方向に基づき、手に対応して対話オブジェクト上に１つの作用面（この面は手の投影の断面であってもよい）を形成し、それぞれプッシュ、叩き、プル、回し等の効果を形成する。ユーザーに正確なフィードバックを容易に提供できるように、対話オブジェクト上に該作用面を表示してもよい。

【0044】

ステップＳ２０６では、作用面の位置に基づき、対話オブジェクトはフラットプッシュしてもよく、重心回りに回転しながら作用力の方向へ進行してもよく、力場中（重力がなくてもよい）の効果を満たす。その移動方向、速度、加速度及び回転方向、角速度、角加速度は作用面の位置、ｍ、ａ、対話オブジェクトの形状及び減衰係数ｚに関連する。

【0045】

ステップＳ２０７では、これらのルールに基づき、ユーザーはインタフェース空間における対話オブジェクトの動きを比較的自由に操作できる。

【0046】

ステップＳ２０８では、また、このシステムと方法は二次元インタフェースに適し、すなわち１つの次元の視野を減少させ、動き全体を１つの平面に投影する。

【0047】

図２は本発明の実施例に係るコンピューティングデバイスの構造模式図であり、図２に示すように、該コンピューティングデバイスは、空間三次元システムモジュール２０１、識別追跡システム２０２、実行モジュール２０３及び表示モジュール２０４を備える。

【0048】

空間三次元システムモジュール２０１は、ユーザーとすべてのインタフェース要素を構造化し、座標化し、人間と各モジュールの空間位置と相互関係を決定する。

【0049】

識別追跡システム２０２は、ユーザーの各種の自然対話の出力を追跡することで、空間インタフェースに対するユーザーの操作意図を分析し、これらの情報を実行モジュールに伝送する。

【0050】

実行モジュール２０３は、識別追跡システムに基づき移動コマンドを生成し、プロセスと結果を表示モジュールに伝送する。

【0051】

表示モジュール２０４は、これらの結果を空間三次元システム全体に表示する。

【0052】

実装中、識別追跡システムのハードウェア部分は追跡部材、例えばカメラによって実装でき、前記表示モジュールはコンピューティングデバイスのディスプレイスクリーンによって実装できる。空間三次元システムモジュール、識別追跡システムのソフトウェア部分及び実行モジュールはともに本発明の実施例３に係る装置を構成でき、すなわちコンピューティングデバイスのプロセッサによって実装する。以上の実施例からわかるように、ユーザーはジェスチャによって対話オブジェクト上に１つの仮想作用面（（この面は手の投影の断面であってもよい）を有し、この作用面によって、手はモジュールに仮想的に接触して、それぞれプッシュ、叩き、プル、回し等の効果を形成する。ユーザーに正確なフィードバックを容易に提供できるように、モジュール上に該作用面を表示してもよい。

【実施例3】

【0053】

上記実施例に基づき、本発明の実施例は空間システムに適用できる操作装置を提供し、前記装置に備えられる各ユニット及び各ユニットに備えられる各モジュールはともにコンピューティングデバイスのプロセッサによって実装でき、勿論、具体的な論理回路によって実装されてもよく、実施中、プロセッサは中央処理装置（ＣＰＵ）、マイクロプロセッサ（ＭＰＵ）、デジタル信号プロセッサ（ＤＳＰ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）等であってもよい。

【0054】

図３は本発明の実施例に係る空間システムに適用できる操作装置の構造模式図であり、図３に示すように、前記装置３００は検出ユニット３０１、第１決定ユニット３０２、判断ユニット３０３、第２決定ユニット３０４及び処理ユニット３０５を備える。

【0055】

前記検出ユニット３０１は、追跡部材によって前記操作オブジェクトを追跡し、前記操作オブジェクトの入力操作を検出するように構成される。

【0056】

前記第１決定ユニット３０２は、前記入力操作の属性情報を決定するように構成される。

【0057】

前記判断ユニット３０３は、前記入力操作の属性情報が所定条件を満たすか否かを判断するように構成される。

【0058】

前記第２決定ユニット３０４は、前記入力操作の属性情報が前記所定条件を満たす場合、三次元座標で示される前記操作オブジェクトの現在位置を決定するように構成される。

【0059】

前記処理ユニット３０５は、前記操作オブジェクトの現在位置に、三次元の輪郭点で示されるターゲットオブジェクトがある場合、前記入力操作の属性情報に基づき前記ターゲットオブジェクトを処理するように構成される。

【0060】

本発明のほかの実施例では、前記入力操作の属性情報は前記入力操作に対応する操作オブジェクトの継続時間、前記入力操作の姿勢、操作距離、操作方向、前記操作オブジェクトの加速度ａまたは加速度の方向を含む。

【0061】

本発明のほかの実施例では、前記処理ユニットは、前記操作オブジェクトの現在位置に、三次元の輪郭点で示されるターゲットオブジェクトがない場合、トリガー前記検出ユニット追跡部材によって前記操作オブジェクトを追跡し、前記操作オブジェクトの入力操作を検出するように構成される。

【0062】

本発明のほかの実施例では、前記処理ユニットは示しモジュール、判断モジュール、第１決定モジュール及び処理モジュールを備える。

【0063】

前記示しモジュールは、三次元輪郭点で現在のシーンでの対話オブジェクトを示すように構成される。

【0064】

前記判断モジュールは、前記操作オブジェクトの現在位置が前記対話オブジェクトの三次元輪郭点で示される範囲内にあるか否かを判断するように構成される。

【0065】

前記第１決定モジュールは、前記操作オブジェクトの現在位置が前記対話オブジェクトの三次元輪郭点で示される範囲内にある場合、前記対話オブジェクトをターゲットオブジェクトとして決定するように構成される。

【0066】

前記処理モジュールは、前記入力操作の属性情報に基づき前記ターゲットオブジェクトを処理するように構成される。

【0067】

本発明のほかの実施例では、前記装置は、前記操作オブジェクトの現在位置が前記対話オブジェクトの三次元輪郭点で示される範囲内にない場合、前記操作オブジェクトの現在位置に三次元の輪郭点で示されるターゲットオブジェクトがないと決定する第３決定ユニットをさらに備える。

【0068】

本発明のほかの実施例では、前記装置は第４決定ユニットをさらに備え、第４決定ユニットは第２決定モジュール、第１移動モジュール、第３決定モジュール及び第４決定モジュールを備える。

【0069】

前記第２決定モジュールは、追跡部材によって、三次元座標で示される操作オブジェクトの初期位置を決定するように構成される。

【0070】

前記第１移動モジュールは、前記空間システムにおける操作カーソルを前記初期位置まで移動させるように構成される。

【0071】

前記第３決定モジュールは、前記追跡部材によって前記操作オブジェクトを追跡し、三次元座標で示される前記操作オブジェクトのターゲット位置を決定し、前記操作カーソルを前記ターゲット位置まで移動させるように構成される。

【0072】

前記第４決定モジュールは、前記操作オブジェクトの初期位置又はターゲット位置を前記操作オブジェクトの現在位置として決定するように構成される。

【0073】

本発明のほかの実施例では、前記処理ユニットは第５決定モジュール、取得モジュール及び第２移動モジュールを備える。

【0074】

前記第５決定モジュールは、前記操作オブジェクトの現在位置に、三次元の輪郭点で示されるターゲットオブジェクトがある場合、前記追跡部材によって前記操作オブジェクトを追跡し、前記操作オブジェクトの加速度ａと加速度の方向を決定するように構成される。

【0075】

前記取得モジュールは、前記空間システムにおいて設定した減衰係数ｚを取得するように構成される。

【0076】

前記第２移動モジュールは、前記加速度ａ、加速度の方向及び減衰係数ｚに基づき、前記空間システムにおいて前記ターゲットオブジェクトまで移動させるように構成される。
本発明のほかの実施例では、前記処理ユニットは、投影モジュール、第６決定モジュール及び第３移動モジュールを備える。

【0077】

前記投影モジュールは、前記操作オブジェクトの現在位置に、三次元の輪郭点で示されるターゲットオブジェクトがある場合、前記入力操作の操作面を前記ターゲットオブジェクトに投影するように構成される。

【0078】

前記第６決定モジュールは、前記入力操作の操作方向と操作距離を決定するように構成される。

【0079】

前記第３移動モジュールは、前記操作方向と操作距離に基づき前記ターゲットオブジェクトを移動させるように構成される。

【0080】

本発明のほかの実施例では、前記操作オブジェクトは指、手、眼球を含む。

【0081】

なお、以上の装置の実施例についての説明は、上記方法の実施例についての説明と類似し、方法の実施例と類似する有益な効果を有する。本発明の装置の実施例に開示されていない技術詳細は、本発明の方法の実施例についての説明を参照して理解すればよい。

【0082】

本発明の実施例では、ソフトウェア機能モジュールの形態で上記空間システムに適用できる操作方法を実装し、且つ独立した製品として販売又は使用する場合、コンピュータリーダブル記憶媒体に記憶できる。このような理解に基づき、本発明の実施例の技術案は本質的に又は従来技術に貢献する部分はソフトウェア製品の形態で具体化でき、該コンピュータソフトウェア製品は記憶媒体に記憶され、１台のコンピュータ装置（パーソナルコンピュータ、サーバ、又はネットワーク装置等であってもよい）に本発明の各実施例に係る前記方法のすべて又は一部を実行させるための複数の命令を含む。上記記憶媒体は、Ｕディスク、モバイルディスク、読み出し専用メモリ（ＲＯＭ、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスクなどプロクラムコードを記憶可能な媒体を含む。このように、本発明の実施例は任意の特定のハードウェアとソフトウェアの組合せに限定されない。

【0083】

本発明の実施例はコンピュータ記憶媒体を提供し、該コンピュータ記憶媒体には本発明の実施例に係る空間システムに適用できる操作方法を実行するためのコンピュータ実行可能命令が記憶される。

【0084】

なお、広告エリアに広告主を割り当てる装置は例えば、コンピュータ、サーバ等のコンピューティングデバイスによって実装でき、図４は本発明の実施例に係るコンピューティングデバイスのハードウェアエンティティ模式図であり、図４に示すように、該コンピューティングデバイス４００のハードウェアエンティティはプロセッサ４０１、通信インタフェース４０２及びメモリ４０３を備える。

【0085】

プロセッサ４０１は通常、コンピューティングデバイス４００全体の操作を制御する。

【0086】

通信インタフェース４０２によって、コンピューティングデバイスがネットワークを介してほかの端末又はサーバと通信する。

【0087】

メモリ４０３はプロセッサ４０１に実行可能な命令及びアプリケーションを記憶し、さらにプロセッサ４０１及びコンピューティングデバイス４００中の各モジュールによる処理すべきデータ又は処理済みデータ（例えば、画像データ、音声データ、音声通信データ及びビデオ通信データ）をキャッシュし、フラッシュ（ＦＬＡＳＨ）又はランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）によって実装できる。

【0088】

なお、明細書に説明されるテーマの実施形態と操作はデジタル電子回路又はコンピュータソフトウェア、ファームウェア又はハードウェアによって実装でき、本明細書に開示されている構造及びその同等構造を含み、又はこれらの構造及びその同等構造のうちの１つ又は複数の組合せを採用する。明細書に説明されるテーマの実施形態は１つ又は複数のコンピュータプログラムとして実装でき、すなわち１つ又は複数のコンピュータプログラム命令モジュールが１つ又は複数のコンピュータ記憶媒体に符号化され、それによりデータ処理装置がデータ処理装置の操作を実行又は制御する。代替的又は追加的には、コンピュータ命令は人工で生成された伝播信号（例えば、機械により生成される電気信号、光信号又は電磁信号）に符号化でき、該信号は生成されて情報を符号化することに用いられ、適切な受信機装置に送信され、データ処理装置によって実行される。コンピュータ記憶媒体はコンピュータ可読記憶デバイス、コンピュータ可読記憶媒体、ランダム又はシーケンシャルアクセスストレージアレイ又はデバイス、又は上記のうちの１つ又は複数の組み合わせであってもよく、それらに含まれてもよい。また、コンピュータ記憶媒体は伝播信号ではないが、コンピュータ記憶媒体は人工で生成される伝播信号に符号化されたコンピュータプログラム命令のソース又はターゲットとすることが可能である。コンピュータ記憶媒体は１つ又は複数の独立したユニット又は媒体（例えば、複数のＣＤ、ディスク又はほかの記憶デバイス）であってもよく、それらに含まれてもよい。従って、コンピュータ記憶媒体は有形であり得る。

【0089】

明細書に説明される操作は、データ処理装置が１つ又は複数のコンピュータ可読記憶デバイスに記憶された又はほかのソースから受信したデータに対して実行する操作として実装できる。

【0090】

用語「クライアント」又は「サーバ」はデータを処理するためのすべてのタイプの装置、機器及び機械を含み、例えばプログラマブルプロセッサ、コンピュータ、システムオンチップ又は上記のうちの複数又はそれらの組合せを含む。装置は特定用途向け論理回路、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）を含んでもよい。ハードウェアを除き、装置は注目するコンピュータプログラム用の実行環境を作成するためのコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォーム実行環境、仮想マシン又はその１つ又は複数の組み合わせをさらに含んでもよい。装置と実行環境は各種の異なるコンピューティングモデルインフラストラクチャ、例えばネットワークサービス、分散コンピューティングとグリッドコンピューティングインフラストラクチャを実装できる。

【0091】

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト又はコードとも呼称される）は任意のプログラミング言語（アセンブリ言語又は解釈言語、記述言語又はプログラム言語を含む）で作成でき、且つ任意の形態（独立したプログラムとし、又はモジュール、ユニット、サブルーチン、オブジェクト又はコンピューティング環境に適用できるほかのユニットとする）で配置できる。コンピュータプログラムはファイルシステムのファイルに対応してもよいが、対応しなくてもよい。プログラムはファイルのほかのプログラム又はデータ（例えば、マークアップ言語ドキュメントに記憶される１つ又は複数のスクリプト）を保存する部分に記憶されてもよく、注目するプログラム専用の単一ファイルに記憶されてもよく、複数の共同ファイル（例えば、１つ又は複数のモジュール、サブモジュール又はコード部分を記憶するファイル）に記憶されてもよい。コンピュータプログラムは１つ又は複数のコンピュータ上で実行され、該１つ又は複数のコンピュータは１つのサイトに位置し、又は複数のサイトに分散し且つ通信ネットワークによって相互接続される。

【0092】

明細書に説明されるプロセスとロジックフローは１つ又は複数のプログラマブルプロセッサによって実行でき、該１つ又は複数のプログラマブルプロセッサは１つ又は複数のコンピュータプログラムを実行して、入力データの操作と出力の生成によって動作を実行する。上記プロセスとロジックフローはさらに特定用途向け論理回路によって実行でき、且つ装置はさらに特定用途向け論理回路、例えば、ＦＰＧＡ又はＡＳＩＣとして実装できる。

【0093】

コンピュータプログラムを実行するためのプロセッサは、例えば汎用マイクロプロセッサと専用マイクロプロセッサ、及び任意のデジタルコンピュータタイプの任意の１つ又は複数のプロセッサを含む。通常、プロセッサは読み出し専用メモリ又はランダムアクセスメモリ又は上記両方から命令とデータを受信する。コンピューティング用の主な素子は、命令に応じて動作を実行するためのプロセッサ、及び命令とデータを記憶するための１つ又は複数のメモリである。通常、コンピュータはデータを記憶するための１つ又は複数の大容量記憶デバイス（例えば、磁気ディスク、光磁気ディスク、又は光ディスク）を含み、又はそれに操作可能に結合され、それからデータを受信し又はそれにデータを送信し、又は両方の組合せとする。しかしながら、コンピュータはこのような装置が不要である。且つ、コンピュータは別の装置、例えば、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、モバイルオーディオプレーヤー又はモバイルビデオプレーヤー、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機又はモバイル記憶装置（例えば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ）であり、以上は例である。コンピュータプログラム命令とデータを記憶する装置はすべての形態の不揮発性メモリ、媒体及び記憶デバイスを含み、例えば半導体記憶デバイス（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュメモリ装置）、磁気ディスク（例えば、内蔵ハードドライブ又はモバイルハードドライブ）、光磁気ディスク、及びＣＤ−ＲＯＭとＤＶＤ−ＲＯＭを含む。プロセッサとメモリは特定用途向け論理回路により補充され又は特定用途向け論理回路に含まれる。

【0094】

ユーザーとの対話を提供するために、明細書に説明されるテーマの実施形態はコンピュータ上で実装でき、該コンピュータは表示装置、キーボード、ポインタ装置（例えば、マウス、トラックボール等、又はタッチパネル、タッチパッド等）を含む。表示装置は例えば陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）、薄膜トランジスタ（ＴＦＴ）、プラズマ、ほかのフレキシブル構成、又はユーザーに情報を表示するためのほかのモニターである。ユーザーはキーボードとポインタ装置によってコンピュータに入力を提供できる。ほかのタイプの装置もユーザーとの対話を提供でき、例えば、ユーザーに提供されるフィードバックは任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックであり、且つ、ユーザーからの入力は任意の形態で受信でき、音響入力、音声入力又はタッチ入力を含む。また、コンピュータはユーザーに使用される装置にドキュメントを送信し、及び該装置からドキュメントを受信することで、ユーザーと対話し、例えば、Ｗｅｂブラウザから受信した要求に応答して、ウェブページをユーザーのクライアントのＷｅｂブラウザに送信する。

【0095】

明細書に説明されるテーマの実施形態はコンピューティングシステムによって実装できる。該コンピューティングシステムはバックエンドユニット（例えば、データサーバ）を含み、又はミドルウェアユニット（例えば、アプリケーションサーバ）を含み、又はフロントエンドユニット（例えば、グラフィカルユーザーインタフェース又はＷｅｂブラウザのクライアントコンピュータを有し、ユーザーは該クライアントコンピュータによって本願に説明されるテーマの実施形態と対話できる）を含み、又は上記バックエンドユニット、ミドルウェアユニット又はフロントエンドユニットのうちの１つ又は複数の組み合わせを含む。システムのユニットは任意のデジタルデータ通信の形態又は媒体（例えば、通信ネットワーク）によって相互接続される。通信ネットワークの例はローカルエリアネットワーク（ＬＡＮ）と広域エリアネットワーク（ＷＡＮ）、相互接続ネットワーク（例えば、インターネット）及びエンドツーエンドネットワーク（例えば、アドホックエンドツーエンドネットワーク）を含む。

【0096】

本願に説明される特徴はスマートテレビモジュール上（又は接続テレビモジュール、ハイブリッドテレビモジュール等）で実装できる。スマートテレビモジュールは従来のテレビ番組ソース（例えば、ケーブル、衛星、無線又はほかの信号を介して受信される番組ソース）をインターネット接続的に統合するように配置される処理回路を含んでもよい。スマートテレビモジュールはテレビに物理的に集積されてもよく、独立した装置、例えば、セットトップボックス、Ｂｌｕ―ｒａｙ又はほかのデジタルメディアプレーヤー、ゲームコンソール、ホテルのテレビシステム及びほかのマッチング装置を含んでもよい。スマートテレビモジュールは視聴者がネットワーク、ローカルケーブルテレビチャンネル、衛星テレビチャンネル又はローカルハードディスクに記憶されるビデオ、映画、ピクチャ又はほかのコンテンツを検索できる。セットトップボックス（ＳＴＢ）又はセットトップボックスユニット（ＳＴＵ）は情報適用装置を含んでもよく、情報適用装置はチューナーを含み、且つテレビと外部信号ソースに接続され、それにより信号をチューニングしてテレビスクリーン又はほかの再生装置に表示する。スマートテレビモジュールは複数種の異なるアプリケーション（例えば、Ｗｅｂブラウザと複数のストリームメディアサービス、接続ケーブル又は衛星メディアソース、ほかのネットワーク「チャンネル」等）がホームスクリーン又はアイコンを含むトップスクリーンを提供するように配置されてもよい。スマートテレビモジュールはさらにユーザーに電子番組を提供するように配置されてもよい。スマートテレビモジュールの組合せアプリケーションはモバイルコンピューティングデバイスで実行されてユーザーに可用番組に関する付加情報を提供し、それによりユーザーはスマートテレビモジュール等を制御できる。代替実施例では、該特徴は携帯型コンピュータ又はほかのパーソナルコンピュータ（ＰＣ）、スマートフォン、ほかの携帯電話、手持ちコンピュータ、タブレットＰＣ又はほかのコンピューティングデバイスに実装できる。

【0097】

明細書は多くの具体的な実施詳細を含むが、これらの実施詳細は請求項の範囲を限定するものではなく、特定の実施形態専用の特徴を説明するものである。明細書では、独立した実施形態のコンテキストに説明される特定の特徴は同様に単一の実施形態の組合せで実装できる。一方、単一の実施形態のコンテキストに説明される各特徴は同様に、複数の実施形態において単独に実装でき、又は任意の適切なサブ組合せで実装できる。また、特徴は特定の組合せさらに最初に要求される作用として上述されたが、場合によっては要求される組合せ中の１つ又は複数の特徴は該組合せか除去してもよく、且つ要求される組合せはサブ組合せ又はサブ組合せの変形であってよい。

【0098】

同様に、図面において特定の順序で操作を説明したが、該操作を、図示した特定の順序で又は順次に実行したり、所望する結果を達するように図示したすべての操作を実行したりするのではない。特定の環境では、マルチタスク処理と並列処理のほうは有利である。また、上記実施形態では、各システムユニットの分離はすべての実施形態において該分離を実装するのではなく、説明されるプログラムユニットとシステムは通常、１つのソフトウェア製品に共同に集積され又は複数のソフトウェア製品としてパッケージされる。

【0099】

従って、テーマの特定の実施形態について説明した。ほかの実施形態は以下の請求項の範囲内に属する。場合によっては、請求項に限定される動作は異なる順序で実行でき、且つ所望する結果を達成できる。また、図面に示されるプロセスは所望する結果を達成するように、必ずしも示される特定の順序で又は順次に実行しない。特定の実施形態では、マルチタスク処理又は並列処理を採用できる。

【産業上の利用可能性】

【0100】

本発明の実施例では、追跡部材によって前記操作オブジェクトを追跡し、前記操作オブジェクトの入力操作を検出し、前記入力操作の属性情報を決定し、前記入力操作の属性情報が前記所定条件を満たす場合、三次元座標で示される前記操作オブジェクトの現在位置を決定し、前記操作オブジェクトの現在位置に、三次元の輪郭点で示されるターゲットオブジェクトがある場合、前記入力操作の属性情報に基づき前記ターゲットオブジェクトを処理し、それにより、三次元空間におけるオブジェクト操作に同時に適用できる対話方式を提供できる。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】