特表 2024-536942 制御可能オブジェクトの少なくとも１つの特性を制御するための方法、関係するシステム及び関係するデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-09

(54)【発明の名称】制御可能オブジェクトの少なくとも１つの特性を制御するための方法、関係するシステム及び関係するデバイス

(51)【国際特許分類】

   G06T 13/40 20110101AFI20241002BHJP

   G06F 3/0488 20220101ALN20241002BHJP

【ＦＩ】

G06T13/40

G06F3/0488

【審査請求】未請求

【予備審査請求】有

(21)【出願番号】P 2024517055

(86)(22)【出願日】2021-09-21

(85)【翻訳文提出日】2024-04-25

(86)【国際出願番号】 EP2021075968

(87)【国際公開番号】W WO2023046263

(87)【国際公開日】2023-03-30

(81)【指定国・地域】

(71)【出願人】

【識別番号】524101618

【氏名又は名称】インテリジェント インターネット マシーンズ ホールディング

(74)【代理人】

【識別番号】110000855

【氏名又は名称】弁理士法人浅村特許事務所

(72)【発明者】

【氏名】ベルベック、ルーディ

(72)【発明者】

【氏名】クロムベック、カレル

(72)【発明者】

【氏名】グーセンス、キム

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA10

5B050BA08

5B050CA07

5B050DA09

5B050EA24

5B050EA27

5B050FA02

5B050FA09

5E555AA27

5E555BA06

5E555BB06

5E555BC18

5E555BD01

5E555CA13

5E555CB10

5E555CB12

5E555DA21

5E555DB32

5E555DC19

5E555DC30

5E555DC85

5E555FA00

(57)【要約】

本発明は、制御可能オブジェクトの少なくとも１つの特性を制御するための方法、関係するシステム及び関係するデバイスに関し、前記方法は、前記制御デバイスによって、ユーザのジェスチャーをキャプチャするステップと、キャプチャされた前記ジェスチャーに基づいて少なくとも１つの曲線を生成するステップであって、前記少なくとも１つの曲線が、前記ジェスチャーの少なくとも１つのパラメータを表す、ステップと、処理手段によって、前記制御可能オブジェクトのいくつかの限定と組み合わせた前記少なくとも１つの曲線の前記少なくとも１つのパラメータに基づいて制御命令を生成するステップと、作動手段によって、前記制御命令に基づいて前記制御可能オブジェクトの前記少なくとも１つの特性を制御するステップとを含む。

【特許請求の範囲】

【請求項1】

制御デバイス（ＣＤ）によって制御可能オブジェクト（ＣＯ）の少なくとも１つの特性を制御するための方法であって、前記制御デバイス（ＣＤ）が、（通信リンクを介して）前記制御可能デバイス（ＣＯ）に結合され、前記方法が、
－ 前記制御デバイスによって、ユーザのジェスチャーをキャプチャするステップ
を含み、前記方法は、
－ 処理手段（ＰＭ）によって、キャプチャされた前記ジェスチャーに基づいて少なくとも１つの曲線を生成するステップであって、前記少なくとも１つの曲線が、前記ジェスチャーの少なくとも１つのパラメータを表す、ステップと、
－ 前記処理手段（ＰＭ）によって、前記制御可能オブジェクトのいくつかの限定と組み合わせた前記少なくとも１つの曲線の前記少なくとも１つのパラメータに基づいて制御命令を生成するステップと、
－ 作動手段によって、前記制御命令に基づいて前記制御可能オブジェクトの前記少なくとも１つの特性を制御するステップと
をさらに含むことを特徴とする、方法。

【請求項2】

請求項１に記載の制御可能オブジェクト（ＣＯ）の少なくとも１つの特性を制御するための方法であって、前記制御可能オブジェクト（ＣＯ）が、前記制御デバイス（ＣＤ）のディスプレイにおける提示のための仮想環境中の仮想オブジェクトであり、前記仮想オブジェクトの前記特性が、前記仮想オブジェクト又はそれの一部の位置、動き及び／又は変形であることを特徴とする、方法。

【請求項3】

請求項１に記載の制御可能オブジェクトの少なくとも１つの特性を制御するための方法であって、前記制御可能オブジェクトが、光源であり、前記光源の特性が、前記光源によって放出される光の特性であることを特徴とする、方法。

【請求項4】

請求項１に記載の制御可能オブジェクトの少なくとも１つの特性を制御するための方法であって、前記制御可能オブジェクトが、音源であり、前記音源の特性が、前記音源によって作り出される音の特性であることを特徴とする、方法。

【請求項5】

請求項１に記載の制御可能オブジェクトの少なくとも１つの特性を制御するための方法であって、前記制御可能オブジェクトが、ロボット・デバイスであり、前記ロボット・デバイスの特性が、前記ロボット・デバイス又はそれの一部の位置及び／又は動きであることを特徴とする、方法。

【請求項6】

制御可能オブジェクト（ＣＯ）の少なくとも１つの特性を制御するためのシステムであって、前記システムが、制御デバイス（ＣＤ）と前記制御可能オブジェクト（ＣＯ）とを備え、前記制御デバイス（ＣＤ）が、（通信リンクを介して）前記制御可能デバイス（ＣＯ）に結合され、前記制御デバイス（ＣＤ）が、ユーザのジェスチャーをキャプチャするように構成されたキャプチャ手段（ＣＡＭ）を備え、前記システムは、
－ キャプチャされた前記ジェスチャーに基づいて少なくとも１つの曲線を生成するように構成された処理手段（ＰＭ）であって、前記曲線が、前記ジェスチャーの少なくとも１つのパラメータを表す、処理手段（ＰＭ）
をさらに備え、
－ 前記処理手段（ＰＭ）が、前記制御可能オブジェクトのいくつかの限定と組み合わせた前記少なくとも１つの曲線の前記少なくとも１つのパラメータに基づいて制御アクション／命令を生成するようにさらに構成され、
－ 前記制御命令に基づいて前記制御可能オブジェクト（ＣＯ）の前記少なくとも１つの特性を制御するように構成された作動手段（ＡＭ）
を特徴とする、システム。

【請求項7】

請求項６に記載の制御可能オブジェクト（ＣＯ）の少なくとも１つの特性を制御するためのシステムであって、前記システムが、リモート・サーバ（ＲＳ）をさらに備え、前記リモート・サーバが、通信リンクを介して各々結合される前記制御デバイス（ＣＤ）と前記制御可能オブジェクト（ＣＯ）との間に結合されることを特徴とする、システム。

【請求項8】

請求項６又は請求項７に記載の制御可能オブジェクト（ＣＯ）の少なくとも１つの特性を制御するためのシステムであって、前記制御可能オブジェクト（ＣＯ）が、前記制御デバイス（ＣＤ）のディスプレイにおける提示のための仮想環境中の仮想オブジェクトであり、前記仮想オブジェクトの前記特性が、前記仮想オブジェクト又はそれの一部の位置、動き及び／又は変形であることを特徴とする、システム。

【請求項9】

請求項６に記載のシステムにおいて使用するための制御デバイス（ＣＤ）であって、前記制御デバイス（ＣＤ）が、前記制御デバイスのユーザのジェスチャーをキャプチャするように構成されたキャプチャ手段（ＣＡＭ）を備え、前記制御デバイスは、
－ キャプチャされた前記ジェスチャーに基づいて少なくとも１つの曲線を生成するように構成された処理手段（ＰＭ）であって、前記少なくとも１つの曲線が、前記ジェスチャーの少なくとも１つのパラメータを表す、処理手段（ＰＭ）
をさらに備え、
－ 前記処理手段（ＰＭ）が、前記制御可能オブジェクトのいくつかの限定と組み合わせた前記少なくとも１つの曲線の前記少なくとも１つのパラメータに基づいて制御命令を生成するようにさらに構成された
ことを特徴とする、制御デバイス（ＣＤ）。

【請求項10】

請求項９に記載の制御デバイス（ＣＤ）であって、前記制御デバイス（ＣＤ）が、
－ 前記制御命令に基づいて前記制御可能オブジェクト（ＣＯ）の前記少なくとも１つの特性を制御するように構成された作動手段（ＡＭ）
をさらに備えることを特徴とする、制御デバイス（ＣＤ）。

【請求項11】

請求項９に記載の制御可能オブジェクト（ＣＯ）の少なくとも１つの特性を制御するための制御デバイス（ＣＤ）であって、前記制御デバイス（ＣＤ）が、
－ 前記制御命令に基づいて前記制御可能オブジェクトの前記少なくとも１つの特性を制御するように構成された制御可能オブジェクト（ＣＯ）のほうへ前記制御命令を転送するように構成された通信手段（ＣＭ）
をさらに備えることを特徴とする、制御デバイス（ＣＤ）。

【請求項12】

請求項６又は請求項７に記載のシステムにおいて使用するための制御可能オブジェクト（ＣＯ）であって、前記制御可能オブジェクトが、
－ 前記制御命令に基づいて前記制御可能オブジェクト（ＣＯ）の前記少なくとも１つの特性を制御するための前記制御命令を受信するように構成された通信手段（ＣＭ）と、
－ 前記制御命令に基づいて前記制御可能オブジェクト（ＣＯ）の前記少なくとも１つの特性を制御するように構成された作動手段（ＡＭ）と
を備えることを特徴とする、制御可能オブジェクト（ＣＯ）。

【請求項13】

請求項７に記載のシステムにおいて使用するためのリモート・サーバ（ＲＳ）であって、前記リモート・サーバは、
－ 前記制御デバイスのユーザの前記ジェスチャーを受信するように構成された通信手段（ＣＭ１）と、
－ キャプチャされた前記ジェスチャーに基づいて少なくとも１つの曲線を生成するように構成された処理手段（ＰＭ）であって、前記少なくとも１つの曲線が、前記ジェスチャーの少なくとも１つのパラメータを表す、処理手段（ＰＭ）と
を備え、
－ 前記処理手段（ＰＭ）が、前記制御可能オブジェクトのいくつかの限定と組み合わせた前記少なくとも１つの曲線の前記少なくとも１つのパラメータに基づいて制御命令を生成するようにさらに構成された
ことを特徴とする、リモート・サーバ（ＲＳ）。

【請求項14】

請求項１３に記載のリモート・サーバ（ＲＳ）であって、前記リモート・サーバ（ＲＳ）が、
－ 前記制御命令に基づいて前記制御可能オブジェクト（ＣＯ）の前記少なくとも１つの特性を制御するように構成された作動手段（ＡＭ）
をさらに備えることを特徴とする、リモート・サーバ（ＲＳ）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オブジェクトの少なくとも１つの特性を制御するための方法、関係するシステム、関係する制御デバイス及び関係する制御可能オブジェクトに関する。

【背景技術】

【0002】

現在、オブジェクトを制御すること、特に、たとえば、そのようなオブジェクトの特性を制御することは、ロボット・デバイスの制御と、キャラクタ又はアバターなどのオブジェクトをアニメーション化することによるアニメーションの生成とを含み得、キャラクタ又はアバターであるそのようなオブジェクトの特性を制御することは、腕の動き、脚の動き、頭部の動きなどを制御することであり得る。代替的に、オブジェクトを制御すること、特に、そのようなオブジェクトの特性を制御することは、光源によって作り出される光、専用の音源又はあるロボット・デバイスの動きによって生成される音楽（又は音）などを制御することであり得る。

【0003】

従来通り、現在、アニメーションの制作は、現在の３Ｄアニメーション・ツールの場合でも、多くの時間及び労力を必要とする。キャラクタ・アニメーションにおける困難な部分のうちの１つは、特に、特定の移動の意図したタイミング及び強度を「プログラム」することである。たとえば、キャラクタは、悲しい、リラックスした、又は幸福な状態にあるとき、極めて異なって歩くことになる。アニメーション制作の現在知られているプログラミングでは、これは、時間がかかる技術及び技能である、キー・フレームを作成するプロセスによって達成される。アニメーション及び映画製作におけるそのようなキー・フレームは、任意の滑らかな遷移の開始点及び終了点を定義する描画又はショットである。これらは、それらの時間的な位置が、フィルムのストリップ上で又はデジタル・ビデオ編集タイムライン上でフレームで測定されるので、フレームと呼ばれる。キー・フレームのシーケンスは、閲覧者がどんな移動を見ることになるかを定義し、フィルム、ビデオ、又はアニメーション上のキー・フレームの位置は、移動のタイミングを定義する。１秒のスパンにわたる２つ又は３つのキー・フレームのみでは、移動の錯覚をもたらさないので、残りのフレームが、「中間物」で埋められる。

【0004】

そのような古典的なアニメーション技法は、キャラクタのポーズの作成を含む。アニメーション・ソフトウェアは、次いで、「キー・フレーム」の中間のポーズ又はユーザによってセットされたポーズを計算して、滑らかなアニメーションを作成することになる。これは、アニメーターが手足、体及びオブジェクトにポーズをとらせるために、多くの作業を必要とする。

【0005】

現在適用される、アニメーションを作成するための代替オプションは、手足又は体の厳密な移動を記録し、これをキャラクタに適用することであり得る。この技法は、「動きキャプチャ」と呼ばれる。欠点は、この技法が、所与の時間期間にわたる個別のフレームの記録の一対一の変換であることである。

【0006】

したがって、どのようにしても、アニメーションを制作するための知られている様式は、そのようなアニメーションを制作することが、極めて面倒であり、現在の３Ｄアニメーション・ツールを使用してさえ、多くの時間及び労力を必要とする、という点で不利である。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の目的は、上記の知られているタイプの制御可能オブジェクトの少なくとも１つの特性を制御するための方法、システム及び関係するデバイスを提供することであるが、そのようなオブジェクトの特性は、極めて容易で直観的な様式で制御される。

【0008】

特に、本発明の追加の目的は、上記の知られているタイプの制御可能オブジェクトの少なくとも１つの特性を制御するための方法及びデバイスを提供することであり得るが、オブジェクトは、アバター又はキャラクタなど、仮想オブジェクトであり、これは、極めて容易で直観的な様式でアニメーションを作成するような様式でそのようなアバターの特性を制御することを可能にする。

【課題を解決するための手段】

【0009】

本発明によれば、このオブジェクトは、それぞれの請求項１、２及び請求項６から１４までにおいて説明されるような、方法、システム、関係する制御デバイス、リモート・サーバ、制御可能オブジェクトによって達成される。

【0010】

実際、最初に、ユーザの意図（ｉｎｔｅｎｔｉｏｎ）を示す、制御デバイスのユーザのジェスチャーをキャプチャすることと、その後、前記ユーザの前記ジェスチャーに基づいて、２次元又は３次元曲線など、少なくとも１つの多次元曲線を生成することであって、前記曲線が、前記ユーザの前記ジェスチャーの少なくとも１つのパラメータを表す、生成することとによって、及びその後、前記オブジェクトのいくつかの限定（ｌｉｍｉｔａｔｉｏｎ）と組み合わせた前記少なくとも１つの曲線の前記少なくとも１つのパラメータに基づいて制御命令を生成することと、最終的に、生成された前記制御命令に基づいて前記オブジェクトの前記少なくとも１つの特性を制御することとによって。

【0011】

ユーザのそのようなジェスチャーは、そのようなジェスチャーの強度とともにユーザのそのようなジェスチャーをキャプチャするためのタッチ・スクリーン及び／又は少なくとも１つのカメラなど、キャプチャ手段ＣＡＭを使用してキャプチャされ得、タッチ・スクリーンの場合、スクリーン上でタッチする圧力が、強度の測度であり得る。

【0012】

代替又は追加として、キャプチャ手段としての少なくとも１つのカメラの場合、ユーザがジェスチャーを行う、ユーザの手又は顔と、カメラとの間の距離が、ジェスチャーの強度の測度であり得る。

【0013】

キャプチャ手段によってキャプチャされた、このジェスチャーに基づいて、２次元又は３次元曲線など、少なくとも１つの多次元曲線が生成され、この少なくとも１つの曲線は、前記ジェスチャーの少なくとも１つのパラメータを表す。ユーザのジェスチャーは、たとえば、移動、たとえば、所定の時間期間にわたるスワイプ、手又は顔ジェスチャーであり、移動は、図４に示されているように時間及び空間における点のセットとして記録される。
そのようなジェスチャーの移動は、これらの点を接続する曲線の始まり及び終了によって特徴づけられる。点は、ロケーション（ｘ，ｙ，ｚ）、速度、方向及びさらには強度に関する情報を保持し得る。

【0014】

そのようなジェスチャーは、ジェスチャーの各パラメータについて別個の曲線に分解され得る。たとえば、各パラメータ、ｘ，ｙ，ｚ、速度、方向及び／又は強度について別個の曲線が生成される。代替的に、そのようなジェスチャーは、少なくとも１つの曲線に分解され得、各曲線は、前記ジェスチャーのパラメータのサブセットを備える。たとえば、ｘ，ｙ，ｚパラメータについて別個の曲線が生成され、強度についてある曲線が生成される。

【0015】

その後、前記オブジェクトの随意の限定と組み合わせた前記少なくとも１つの曲線の前記少なくとも１つのパラメータに基づいて、制御命令が生成され、そのような制御アクション命令は、制御可能オブジェクトの意図された（ｍｅａｎｔ）特性を制御するために適用され得る。

【0016】

代替又は追加として、そのようなジェスチャーは、ジェスチャー全体の各後続の部分についてキャプチャ及び処理され得、ジェスチャーの各そのような部分について、この部分は、作動手段に、たとえば、部分制御命令に基づいて部分アニメーションを生成することを開始するように命令することが可能であるために、制御命令が生成され得る、少なくとも１つの曲線の対応する部分を決定するために、処理手段によってキャプチャの直後に処理される。したがって、最終アニメーションが、後続の部分アニメーションのシーケンスを備える。有利には、最終又は完全アニメーションは、減少されたレイテンシを伴って生成される。

【0017】

同じことが、もちろん、他のオブジェクトの制御について当てはまり、ジェスチャーは、同様に処理され、すなわち、ロボット・デバイス及び他の制御可能デバイスのようなさらなる制御可能デバイスについて部分制御命令を部分的に生じる。

【0018】

最終的に、作動手段ＡＭが、制御命令を実行することと、前記制御命令に基づいて前記制御可能オブジェクトの少なくとも１つの特性を適応させることによってこの対応する制御アクションを実施することとを行うように構成され、この特性は、アバター又はキャラクタなどの仮想オブジェクトの場合、オブジェクト又はそれの一部の位置、移動又は変形であり得る。制御命令に基づいて、作動手段は、オブジェクト又はそれの一部が、アニメーション化された仮想オブジェクトを取得するために、点Ａから点Ｂに仮想オブジェクトを移動させること、そのようなアバターの体部位を移動させること、すなわち、腕、脚、頭部を移動させること、それの顔表情を変更する、などのように、制御アクションによって定義されるように移動することを引き起こし得、前記アニメーション化された仮想オブジェクトは、ユーザ・コンピューティング・デバイスのディスプレイにおいて提示され得る。

【0019】

したがって、ユーザのそのようなジェスチャーを使用することは、キャラクタの移動を容易に制御するために適用され、記録速度において、アニメーション化されたムービーを迅速に生成し得る。

【0020】

アニメーションの場合、オブジェクトのそのような限定は、曲線が、たとえば、ジェスチャー入力から導出された曲線をたどって時間フレームにわたって腕を移動させることができることであり得、腕の移動は、腕の物理的制約によって、及び関連する肩によって限定される。

【0021】

作動手段ＡＭは、処理手段ＰＭによって生成された前述の制御命令にさらに基づいて事実に基づく（ｆａｃｔｕａｌ）アニメーションを生成するための順運動学及び／又は逆運動学アルゴリズムを実行するように構成されたアニメーション・エンジンをさらに備える。

【0022】

顔の表情のアニメーションの場合、モーフ・ターゲット（ｍｏｒｐｈ ｔａｒｇｅｔ）のライブラリが使用され、そのようなモーフ・ターゲットは、処理手段ＰＭによって生成された制御命令にさらに基づいて選択される。そのような「モーフ・ターゲット」は、ある形状の変形したバージョンであり得る。たとえば、人間の顔に適用されるとき、最初に、頭部が、ニュートラルな（ｎｅｕｔｒａｌ）表情を用いてモデル化され、次いで、各他の表情について「ターゲット変形」が作成される。顔がアニメーション化されているとき、アニメーターは、次いで、ベース形状と１つ又は複数のモーフ・ターゲットとの間で滑らかにモーフィングする（ｍｏｒｐｈ）（又は「ブレンド」する）ことができる。顔アニメーションにおいて使用されるモーフ・ターゲットの一般的な実例は、笑っている口、閉じた眼、及びつり上がった眉である。

【0023】

そのようなオブジェクトが、人型ロボット、ロボット・ホーム・サーバント、芝刈りデバイス又はドローンなど、ロボット・デバイスである場合、制御命令に基づいて、作動手段は、オブジェクト又はそれの一部が、点Ａから点Ｂにオブジェクトを移動させること、そのようなロボット・デバイスの体部位を移動させること、すなわち、そのようなロボット・デバイスの手足（脚又は腕）又はホイールなどの任意の種類のアクチュエータを移動させることのように、制御命令及び対応する制御アクションによって定義されるように移動することを引き起こし得、限定が、アクチュエータの種類とロボット・デバイスのタイプの自由度とに応じて決定される。

【0024】

光源の場合、そのような限定は、可視光の帯域幅への、光の周波数の限定であり得、これは、光源によって適用される光の周波数が、可視である、光の帯域幅の一部に限定されることを意味するにすぎない。

【0025】

音又はオーディオ源の場合、そのような限定は、可聴音の帯域幅への、音又はオーディオの周波数の限定であり得、これは、音又はオーディオ源によって適用される音又はオーディオの周波数が、人々によって又は代替的に動物のみによって可聴である、音の帯域幅の一部に限定されることを意味するにすぎない。

【0026】

代替的に、そのような作動手段ＡＭは、制御命令に基づいて、光源又は音源に、それぞれ光又は音の特性を変更すること、すなわち、色、輝度、光源の示されている画像を変更すること又は音を操作すること又は新しい音を作成することを行うように命令し得る。

【0027】

ジェスチャーは、タッチ・スクリーン上のスワイプ、（１つ又は複数のカメラなどの）キャプチャ・デバイスの前での手ジェスチャーさらには顔ジェスチャーであり得、そのようなジェスチャーは、一意の特性を有する２次元又は３次元移動である。
ユーザの対応するジェスチャーのこの移動は、（タッチ・スクリーン又はカメラなどの）キャプチャ手段によってキャプチャされる複数のパラメータによって特徴づけられ得る。ジェスチャーを特徴づけるためのこれらのパラメータは、図４に示されているように、一連のロケーション座標（ｘ，ｙ，ｚ）と、ジェスチャーの速度（ｖ）と、ジェスチャーの方向（Ｄ）と、さらにユーザのジェスチャーの強度（Ｉ）とを含み得る。

【0028】

ユーザのそのようなジェスチャーは、そのようなジェスチャーの強度とともにユーザのそのようなジェスチャーをキャプチャするためのタッチ・スクリーン及び／又は少なくとも１つのカメラなど、キャプチャ手段ＣＡＭを使用してキャプチャされ得、タッチ・スクリーンの場合、スクリーンにタッチする圧力が、強度の測度であり得る。 代替又は追加として、キャプチャ手段としての少なくとも１つのカメラの場合、ユーザがジェスチャーを行う、ユーザの手又は顔と、カメラとの間の距離が、ジェスチャーの強度の測度であり得る。

【0029】

そのようなジェスチャーに基づいて、処理手段ＰＭは、少なくとも１つの曲線を生成し、キャプチャされている各パラメータについて１つの曲線を生成する。ジェスチャー・ロケーション座標（ｘ，ｙ，ｚ）、速度、及び／又は強度など、キャプチャされている各パラメータが、別個の曲線によって記述され得る。したがって、複数の曲線が生成され、したがって、そのようなジェスチャーに基づいて、曲線のセットが生成され得る。

【0030】

本発明のさらなる実施例によれば、前記制御可能オブジェクトは、たとえば、ユーザ・デバイスである、制御デバイスのディスプレイにおける提示のための仮想環境における仮想オブジェクトであり、前記方法、及び前記仮想オブジェクトの特性は、前記仮想オブジェクト又はそれの一部の位置、動き及び／又は変形であり得る。

【0031】

代替又は追加として、そのようなジェスチャーは、ジェスチャー全体の各後続の部分についてキャプチャ及び処理され得、ジェスチャーの各そのような部分について、この部分は、作動手段に、部分制御命令に基づいて部分アニメーションを生成することを開始するように命令することが可能であるために、制御命令が生成され得る、少なくとも１つの曲線の対応する部分を決定するために、処理手段によってキャプチャの直後に処理される。したがって、最終アニメーションが、後続の部分アニメーションのシーケンスを備える。有利には、最終又は完全アニメーションは、減少されたレイテンシを伴って生成される。

【0032】

この実施例では、制御命令に基づいて、作動手段ＡＭは、仮想オブジェクト又はそれの一部が、移動を行うこと、及びこのようにして、仮想環境におけるそのような仮想オブジェクトのアニメーションを生成すること、たとえば、点Ａから点Ｂに仮想オブジェクトを移動すること、及び／又は同時にそのような仮想オブジェクトの腕を上下に移動すること、及び／又は点Ａから点Ｂに行くアバターのように、そのような仮想オブジェクトの顔表情を変更することを引き起こす。

【0033】

本発明の別の実施例によれば、前記オブジェクトは、仮想オブジェクトであり光源であり、前記光源の特性は、前記光源によって放出される光の特性である。この実施例では、制御アクションは、（仮想）光源であるオブジェクトが、光源によって放出される光を、色において、輝度又は方向及び／又は焦点において、適応させるか又は操作することを引き起こす。

【0034】

ユーザが所与の時間フレーム内の移動を作成するとき、多次元曲線が作成される。この曲線の速度、方向、及び強度を記録することによって、これを、手足、頭部、顔、体全体の移動、或いは仮想制御可能オブジェクト又は複数のキャラクタの移動に変換することができる。

【0035】

本発明の代替実施例では、前記制御可能オブジェクトは、音源であり、前記音源の特性が、前記音源によって作り出される音の特性である。

【0036】

本発明のさらなる代替実施例では、制御可能オブジェクトは、ロボット・デバイスであり、前記ロボット・デバイスの特性が、前記ロボット・デバイス又はそれの一部の位置及び／又は動きである。

【0037】

制御可能オブジェクトのさらなる例は、熱源、車両、煙生成器、光及び音を伴う歌う噴水、ロボットなどであり得る。

【0038】

本発明は、さらに、以下の説明及び添付の図によって解明される。

【図面の簡単な説明】

【0039】

【図1】制御デバイスＣＤを含む、本発明の実施例による制御可能オブジェクトの少なくとも１つの特性を制御するためのシステムを表す図である。

【図2a】分散機能性を伴う制御デバイスＣＤと分離したリモート・サーバＲＳと別個の制御可能オブジェクトＣＯとを含む、本発明の実施例による制御可能オブジェクトの少なくとも１つの特性を制御するためのシステムを表す図である。

【図2b】分散機能性を伴う制御デバイスＣＤと分離したリモート・サーバＲＳとを含む、本発明の実施例による仮想オブジェクトの少なくとも１つの特性を制御するためのシステムを表す図である。

【図3】制御デバイスＣＤと別個の制御可能デバイスＣＯとを含む、本発明の実施例による制御可能オブジェクトの少なくとも１つの特性を制御するためのシステムを表す図である。

【図4】移動が時間及び空間における点のセットとして記録されている、所定の時間期間にわたるユーザのジェスチャーを表す図である。

【図5】第１の実施例による、ユーザのキャプチャされたジェスチャーに基づいて生成された曲線を表す図である。

【図6】第２の実施例による、生成された曲線を表す図である。

【図7】第３の実施例による、生成された曲線を表す図である。

【図8】第４の実施例による、生成された曲線を表す図である。

【図9】第５の実施例による、生成された曲線を表す図である。

【発明を実施するための形態】

【0040】

本発明は、特定の実施例に関して及びいくつかの図面を参照しながら説明されるが、本発明は、それに限定されず、特許請求の範囲によってのみ限定される。説明される図面は、概略的であるにすぎず、非限定的である。図面において、要素のうちのいくつかのサイズが、説明の目的で、誇張され、一定の縮尺で描かれていないことがある。寸法及び相対寸法は、必ずしも、本発明の実施に対する実際の低減に対応するとは限らない。

【0041】

さらに、その説明及び特許請求の範囲における第１の、第２の、第３のなどという用語は、同様の要素を区別するために使用され、必ずしも、連続順又は発生順について説明するためのものであるとは限らない。それらの用語は、適切な状況下で交換可能であり、本発明の実施例は、本明細書で説明される又は示されるもの以外の他のシーケンスにおいて動作することができる。

【0042】

その上、その説明及び特許請求の範囲における上部の（ｔｏｐ）、下部の（ｂｏｔｔｏｍ）、上の（ｏｖｅｒ）、下の（ｕｎｄｅｒ）などという用語は、説明のために使用され、必ずしも、相対位置について説明するために使用されるとは限らない。そのように使用される用語は、適切な状況下で交換可能であり、本明細書で説明される本発明の実施例は、本明細書で説明される又は示されるもの以外の他の配向において動作することができる。

【0043】

特許請求の範囲において使用される「備える、含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、その後に記載される手段に制約されるものとして解釈されるべきでなく、それは、他の要素又はステップを除外しない。それは、参照される述べられた特徴、完全体、ステップ又は構成要素の存在を指定するものとして解釈される必要があるが、１つ又は複数の他の特徴、完全体、ステップ又は構成要素、或いはそれらのグループの存在又は追加を排除しない。したがって、「手段Ａと手段Ｂとを備えるデバイス」という表現の範囲は、構成要素Ａと構成要素Ｂとのみからなるデバイスに限定されるべきでない。それは、本発明に関して、デバイスの関連する構成要素がＡとＢとであるにすぎないことを意味する。

【0044】

同様に、特許請求の範囲においても使用される「結合される」という用語は、直接接続のみに制約されるものとして解釈されるべきでないことに留意されたい。したがって、「デバイスＢに結合されたデバイスＡ」という表現の範囲は、デバイスＡの出力がデバイスＢの入力に直接接続されるデバイス又はシステムに限定されるべきでない。それは、他のデバイス又は手段を含む経路であり得る、Ａの出力とＢの入力との間の経路が存在することを意味する。

【0045】

添付の図面とともに行われる実施例の以下の説明を参照することによって、本発明の上記及び他の目的及び特徴は、より明らかになり、本発明自体が、最も良く理解されよう。

【0046】

以下の段落では、図１における図面を参照して、システムの一実装形態が説明される。第２の段落では、前述の要素間のすべての接続が定義される。

【0047】

その後、図１において提示される、前述のシステムのすべての関連する機能的手段が説明され、その後に、すべての相互接続の説明が続く。後続の段落では、通信システムの実際の実行が説明される。

【0048】

仮想オブジェクトの少なくとも１つの特性を制御するためのシステムの第１の必須の要素は、制御デバイスＣＤである。

【0049】

本発明の一実施例による制御デバイスＣＤは、パーソナル・コンピュータ、スマートフォンのようなモバイル通信デバイス、タブレットなど、ユーザ・コンピューティング・デバイス、或いは代替的に、そのようなコンピューティング・デバイスのユーザのジェスチャーをキャプチャするために好適であるタッチ・スクリーン又はカメラを有する専用デバイスであり得る。

【0050】

そのようなユーザ・コンピューティング・デバイスは、その両方が、仮想オブジェクト・リポジトリ、又は仮想オブジェクトを取り出し、ユーザに提示することが可能な任意の他の通信デバイスへのアクセスを有するためのインターネット接続性を有する、或いは制御デバイスの記憶手段の一部を形成するか又は代替的に遠隔に位置するリモート・リポジトリにおいて記憶される仮想オブジェクト・リポジトリにメディア・アセットを記憶する、パーソナル・コンピュータ又はモバイル通信デバイスであり得る。

【0051】

制御デバイスは、ユーザのジェスチャーをキャプチャするように構成されたキャプチャ・デバイスＣＡＭを備える。ユーザのジェスチャーをキャプチャするように構成されたキャプチャ・デバイスＣＡＭは、ユーザ・デバイスのタッチ・スクリーン、或いは制御デバイスに組み込まれた又は結合された１つ又は複数のカメラであり得る。

【0052】

制御デバイスＣＤは、キャプチャされた前記ユーザの前記ジェスチャーに基づいて、２次元又は３次元曲線など、少なくとも１つの多次元曲線を生成するように構成された処理手段ＰＭをさらに備え、生成された曲線は、ユーザの前記ジェスチャーの少なくとも１つのパラメータを表す。処理手段ＰＭは、さらに、前記オブジェクトのいくつかの限定と組み合わせた前記少なくとも１つの曲線の前記少なくとも１つのパラメータに基づいて制御命令を生成するように構成される。処理手段ＰＭは、制御デバイスの機能性を実行するための命令と、処理ステップと中間結果とを記憶するための結合されたメモリをもつマイクロプロセッサであり得る。

【0053】

制御デバイスＣＤは、処理手段の機能性を実施するために処理手段によって実行されるべき命令を備えるプログラム・データ、及びさらに、キャプチャ手段によって生成されたデータ、及びキャプチャ手段によって生成されたデータから直接又は間接的に生じるすべての処理されたデータなど、データを記憶するための記憶手段ＳＭをさらに備える。記憶手段ＳＭは、さらに、制御されるべきオブジェクトに関する情報を備え得る。代替的に、仮想オブジェクト、又はロボット・デバイスのような現実の物理的制御可能オブジェクト、オーディオ源及び光源又はさらなる制御可能オブジェクトなど、制御されるべきオブジェクトに関する情報を記憶するためのリポジトリＲＥＰがあり得る。

【0054】

本発明のさらなる実施例では、本発明による制御可能オブジェクトＣＯの少なくとも１つの特性を制御するためのシステムの機能性は、図２ａに示されているように、処理手段ＰＭの機能性を実施し、制御可能オブジェクトＣＯ並びに／或いは記憶手段ＳＭ及び／又はリポジトリＲＥＰの機能性を制御するように構成されたサーバ・デバイスである、リモート・サーバＲＳ上で分散される。

【0055】

この実施例における制御デバイスは、ユーザのジェスチャーをキャプチャするように構成されたキャプチャ手段ＣＡＭと、キャプチャされたユーザのジェスチャーをリモート・サーバＲＳの通信手段ＣＭ１に通信するように構成された通信手段ＣＭとを備え、リモート・サーバＲＳの通信手段ＣＭ１は、前記制御デバイスのユーザの前記ジェスチャーを受信するように構成され、前記処理手段ＰＭは、最初に、キャプチャされた前記ジェスチャーに基づいて少なくとも１つの曲線を生成するように構成され、前記少なくとも１つの曲線は、前記ジェスチャーの少なくとも１つのパラメータを表し、処理手段ＰＭは、さらに、前記オブジェクトのいくつかの限定と組み合わせた前記少なくとも１つの曲線の前記少なくとも１つのパラメータに基づいて制御命令を生成するように構成され、前記通信手段ＣＭ１は、さらに、前記オブジェクトのいくつかの限定と組み合わせた前記少なくとも１つの曲線の前記少なくとも１つのパラメータに基づいて、前記命令を制御可能オブジェクトＣＯの通信手段ＣＭ２を介して制御可能デバイスＣＯの作動手段ＡＭに通信するように構成される。

【0056】

それぞれの通信手段は、セル・フォン・ネットワーク、ワイヤレス・ローカル・エリア・ネットワーク（ＷＬＡＮ：ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ワイヤレス・センサー・ネットワーク、衛星通信ネットワークを含むワイヤレス・ネットワーク、ワイヤレス又は固定インターネット・プロトコル・ネットワーク、或いは任意の代替の好適な通信ネットワークなど、ワイヤレス又は固定接続としての通信リンクを介して結合される。

【0057】

代替的に、たとえば、制御可能オブジェクトＣＯが仮想オブジェクトである場合、キャプチャされた前記ジェスチャーに基づいて生成された前記少なくとも１つの曲線は、リモート・サーバＲＳに組み込まれた作動手段によって処理され、作動手段ＡＭは、前記制御命令に基づいて前記制御可能オブジェクトＣＯの前記少なくとも１つの特性を制御し、実際に、アニメーションを生成し得、このリモート・サーバは、ウェブベース・アニメーションを生成したウェブ・サーバであり得る。このウェブベース・アニメーションは、図２ｂに示されているように、その後、リモート・サーバＲＳのそれぞれの通信手段ＣＭ１と制御デバイスＣＤの通信手段ＣＭとを介して取り出されるか又はプッシュされ、その後、制御デバイスＣＤのディスプレイ手段においてレンダリングされる。

【0058】

本発明のまたさらなる実施例では、本発明による制御可能オブジェクトＣＯの少なくとも１つの特性を制御するためのシステムの機能性は、図３に示されているように、制御デバイスＣＤ及び制御可能オブジェクトＣＯ上で分散される。

【0059】

さらに、制御可能オブジェクトＣＯの少なくとも１つの特性を制御するためのそのようなシステムは、制御アクションを定義する前記制御命令に基づいて前記オブジェクトの前記少なくとも１つの特性を制御するように構成された作動手段ＡＭを備え得る。作動手段ＡＭは、制御デバイスＣＤに組み込まれ得るが、代替的に、図２ａ又は図３に示されているような別個の制御可能オブジェクトＣＯに、又は、代替的にリモート・サーバＲＳに組み込まれ得る。

【0060】

作動手段ＡＭは、制御デバイスの機能性を実行するための命令と、処理ステップと中間結果とを記憶するための結合されたメモリをもつ同様の又は同じマイクロプロセッサによって実装され、或いは作動手段機能性に対応する必要とされる機能性を実行するための専用の別個のマイクロプロセッサであり得る。

【0061】

作動手段ＡＭは、処理手段ＰＭによって生成された前述の制御命令にさらに基づいて事実に基づくアニメーションを生成するための順運動学及び／又は逆運動学アルゴリズムを実行するように構成された、結合されたメモリをもつ前述のマイクロプロセッサによって又はその制御下で実行される、アニメーション・エンジンをさらに備える。

【0062】

顔の表情のアニメーションの場合、作動手段ＡＭが適用され、モーフ・ターゲットのライブラリが使用され、そのようなモーフ・ターゲットは、処理手段ＰＭによって生成された制御命令にさらに基づいて選択される。そのような「モーフ・ターゲット」は、ある形状の変形したバージョンであり得る。たとえば、人間の顔に適用されるとき、最初に、頭部が、ニュートラルな表情を用いてモデル化され、次いで、各他の表情について「ターゲット変形」が作成される。顔がアニメーション化されているとき、アニメーターは、次いで、ベース形状と１つ又は複数のモーフ・ターゲットとの間で滑らかにモーフィングする（又は「ブレンド」する）ことができる。顔アニメーションにおいて使用されるモーフ・ターゲットの一般的な実例は、笑っている口、閉じた眼、及びつり上がった眉である。

【0063】

制御デバイスＣＤは、仮想オブジェクトをレンダリング又は表示するためのディスプレイであるディスプレイ手段ＤＭをさらに備え得、ディスプレイ手段は、コンピューティング・デバイスのディスプレイ、たとえば、パーソナル・コンピュータ又はモバイル・コンピューティング・デバイスのスクリーンであり得る。

【0064】

キャプチャ・デバイスＣＡＭは、出力が処理手段ＰＭの入力に結合され、処理手段ＰＭは、出力Ｏ２が作動手段ＡＭの入力Ｉ２に結合される。記憶手段ＳＭは、入力／出力が処理手段ＰＭの入力／出力に結合される。キャプチャ手段ＣＡＭは、代替又は追加として、キャプチャ・デバイスＣＤによって生成されたデータを直接記憶するための記憶手段にも結合され得る（図に示されていない）。

【0065】

代替的に、処理手段ＰＭ及び／又は作動手段ＡＭの機能性は、図２ａ、図２ｂ及び図３に示されているように、分散様式で実装され得、その実施例では、処理手段ＰＭは、セル・フォン・ネットワーク、ワイヤレス・ローカル・エリア・ネットワーク（ＷＬＡＮ）、ワイヤレス・センサー・ネットワーク、衛星通信ネットワークを含むワイヤレス・ネットワーク、ワイヤレス又は固定インターネット・プロトコル・ネットワーク、或いは任意の代替の好適な通信ネットワークなど、ワイヤレス又は固定接続としての通信リンクを介して、制御デバイスに結合された及び制御可能デバイス結合されたリモート・サーバＲＳなど、中間ネットワーク要素において実装され得る。

【0066】

本発明について説明するために、ユーザの制御デバイスＣＤがスマートフォンであると仮定され、この実施例では、たとえば、人のアバター又はキャラクタなどの仮想オブジェクトである、あるオブジェクトが、図５に示されているように、制御デバイス、すなわち、スマートフォンのディスプレイにおいて表示される。

【0067】

さらに、ユーザが、示されているアバターである、前述の仮想オブジェクトのアニメーションを生成することを望むと仮定される。

【0068】

この場合、ユーザの意向（ｉｎｔｅｎｔ）は、図５に示されているように、点Ａから点Ｂへの経路に沿って歩く意図された仮想オブジェクトのアニメーションを作成することである。

【0069】

この意向は、ユーザがジェスチャーを行うより前に又はその後にのいずれかで設定され得、制御されるべき特性は、ユーザの選定において、ＡからＢへの示されたまっすぐな経路にわたる仮想オブジェクトの動きであると仮定される。

【0070】

その意向は、専用ユーザ入力Ｉ３上で受信される専用信号上で示され得る。

【0071】

ユーザが、図５に示されている、制御デバイスＣＤのタッチ・スクリーン上でのジェスチャーを行うとき、ジェスチャーは、最初は、タッチ・スクリーンＣＡＭによってキャプチャされる。

【0072】

その後、処理手段ＰＭは、ユーザの前記キャプチャされたジェスチャーに基づいて少なくとも１つの２次元（又は３次元）曲線を生成し、現在の設定における前記曲線は、この特定の実施例では、仮想オブジェクトのロケーション、すなわち、（ｘ，ｙ）座標及びユーザのジェスチャーから導出された仮想オブジェクトの移動の推論された速度である、前記ジェスチャーの少なくとも１つのパラメータを表す。

【0073】

この特定の実施例では、仮想オブジェクトのロケーション、すなわち、（ｘ，ｙ）座標及び仮想オブジェクトの移動の推論された速度である、この少なくとも１つのパラメータに基づいて、処理手段ＰＭは、その後、制御命令を生成し、その制御命令は、時間フレームにわたるジェスチャーの速度と相関させられた又はそれから転置された、まっすぐな経路に沿って点Ａから点Ｂに移動する仮想オブジェクトを移動させることを行うための命令を備え、キャラクタが、より速く歩き、走り、減速し、点Ｂにおいて再び停止するようにする。

【0074】

その後、制御命令は、作動手段ＡＭによって適用されて、したがって、まっすぐな経路に沿ってロケーションＡからロケーションＢに仮想オブジェクトを移動させ、仮想オブジェクトの移動の速度は、ジェスチャーの速度と相関して制御され、キャラクタが、より速く歩き、走り、減速し、点Ｂにおいて再び停止するようにする。

【0075】

意図された命令及び作動手段ＡＭによる作動による仮想オブジェクトのこの移動は、したがって、提示手段、すなわち、制御デバイス、すなわち、スマートフォンのディスプレイにおいてレンダリングされる。

【0076】

このアニメーションを生成する際に、作動手段ＡＭは、処理手段ＰＭによって生成された前述の制御命令にさらに基づいて事実に基づくアニメーションを生成するための順運動学及び／又は逆運動学アルゴリズムを実行する。

【0077】

本発明の第２の代替実施例では、ユーザの同じジェスチャーは、ユーザのキャプチャされたジェスチャーからの他のパラメータを適用し、その後、そのような仮想オブジェクトの代替特性を制御することによって、異なる代替様式においても適用され得る。

【0078】

ユーザが、図６にも示されている、制御デバイスのタッチ・スクリーン上でのジェスチャーを行うとき、このジェスチャーは、最初は、タッチ・スクリーンによってキャプチャされる。その後、処理手段ＰＭは、ユーザの前記キャプチャタッチ・スクリーンに基づいて少なくとも１つの２次元曲線を生成し、次に、現在のタッチ・スクリーン線は、この特定の実施例では、仮想オブジェクトのロケーション、すなわち、（ｘ，ｙ）座標、本発明のこの特定の実施例では、ユーザがタッチ・スクリーンを押す圧力である、ジェスチャーの強度とともに、ユーザのジェスチャーから導出された、仮想オブジェクトの移動の推論された速度である、前記ジェスチャーの少なくとも１つのパラメータを表す。

【0079】

この特定の実施例では、仮想オブジェクトのロケーション、すなわち、（ｘ，ｙ）座標及び仮想オブジェクトのジェスチャーの強度である、これらのパラメータに基づいて、処理手段ＰＭは、その後、示されているように、湾曲した経路上で点Ａから点Ｂに仮想オブジェクトを移動させるための命令を備える制御命令を生成し、スワイプの形状、すなわち、（ｘ，ｙ）座標は、仮想オブジェクトの経路と、速度についての指示としての時間にわたるジェスチャーのキャプチャされた強度とを決定するために使用されている。結果として、処理手段ＰＭは、たどられるべき仮想オブジェクトのロケーション及び経路を、ユーザのジェスチャーのキャプチャされた（ｘ，ｙ）座標に基づかせ、時間にわたるジェスチャーの速度は、ジェスチャーの強度と相関させられ、キャラクタのアニメーションが、より速く歩き、走り、減速し、点Ｂにおいて再び停止するようにする。

【0080】

その後、制御命令は、作動手段ＡＭによって適用されて、したがって、湾曲した経路に沿ってロケーションＡからロケーションＢに仮想オブジェクトを移動させ、仮想オブジェクトの移動の速度は、ジェスチャーの強度と相関して制御され、タッチ・スクリーン上でのジェスチャーを行う間にユーザによって実行される圧力に基づいて、キャラクタのアニメーションが、より速く歩き、走り、減速し、点Ｂにおいて再び停止するようにする。

【0081】

意図された命令及び作動手段による作動による仮想オブジェクトのこの移動は、したがって、ディスプレイ手段ＤＭ、すなわち、制御デバイス、すなわち、スマートフォンのディスプレイにおいてレンダリングされる。

【0082】

本発明の第３の代替実施例では、ユーザのジェスチャーはまた、ユーザのキャプチャされたジェスチャーからの他のパラメータを適用し、その後、そのような仮想オブジェクトの代替特性を制御することによって、さらなる異なる及び代替の様式で適用され得る。

【0083】

この場合も、制御デバイスＣＤのユーザが、示されているアバターである、前述の仮想オブジェクトのアニメーションを生成することを望むと仮定される。

【0084】

この場合、ユーザの意向は、図７に示されているように、点Ａから点Ｂへの経路に沿って歩く意図された仮想オブジェクトのアニメーションを作成することであり、曲線の形状が、キャラクタの速度を制御するために使用され得、同時に、曲線の強度が、歩いている間のキャラクタのムード（ｍｏｏｄ）を制御するために適用される。

【0085】

顔の表情のアニメーションの場合、作動手段ＡＭは、モーフ・ターゲットのライブラリを適用し、そのようなモーフ・ターゲットは、処理手段ＰＭによって生成された制御命令にさらに基づいて選択される。そのような「モーフ・ターゲット」は、ある形状の変形したバージョンであり得る。たとえば、人間の顔に適用されるとき、最初に、頭部が、ニュートラルな表情を用いてモデル化され、次いで、各他の表情について「ターゲット変形」が作成される。

【0086】

ユーザが、図７に示されているように、制御デバイスのタッチ・スクリーン上でのジェスチャーを行うとき、このジェスチャーは、最初は、タッチ・スクリーンによってキャプチャされる。

【0087】

その後、処理手段ＰＭは、ユーザの前記キャプチャされたジェスチャーに基づいて少なくとも１つの２次元曲線を生成し、次に、現在の設定における前記少なくとも１つの曲線は、この特定の実施例では、仮想オブジェクトの速度である、前記ジェスチャーの少なくとも１つのパラメータを表し、移動のこの速度は、タッチ・スクリーンにおけるユーザのジェスチャーの（ｘ，ｙ）座標、及び、さらに、本発明のこの特定の実施例では、ユーザがタッチ・スクリーン上で押す圧力である、ジェスチャーの強度から推論される。

【0088】

この特定の実施例では、仮想オブジェクトの速度及びユーザのジェスチャーの強度である、これらのキャプチャされたパラメータに基づいて、処理手段ＰＭは、その後、示されているように、経路上で点Ａから点Ｂに移動する仮想オブジェクトを移動させるための作動手段ＡＭ宛ての命令である、制御命令を生成し、ジェスチャーの形状、たとえば、スワイプ、すなわち、（ｘ，ｙ）座標から推論された速度は、仮想オブジェクトの速度を決定するために使用されており、ジェスチャーのキャプチャされた強度は、キャラクタのムードについての指示として適用される。

【0089】

結果として、処理手段ＰＭは、制御命令を生成する際に、仮想オブジェクトの速度を、タッチ・スクリーンにおけるユーザのジェスチャーのキャプチャされた（ｘ，ｙ）座標から推論された速度に基づかせ、時間にわたるジェスチャーの速度は、キャラクタのアニメーションの速度と相関させられ、キャラクタが、より速く歩き、走り、減速し、点Ｂにおいて再び停止することを引き起こす。

【0090】

さらに、処理手段ＰＭは、制御命令の第２の部分を生成する際に、仮想オブジェクトのムードを、ユーザのジェスチャーの強度に基づかせ、時間にわたるジェスチャーの強度は、キャラクタのムードと相関させられ、キャラクタのアニメーションが、悲しい顔、ニュートラルな顔、幸福な顔、ニュートラルな顔、及び再び幸福な顔をもつようにする。

【0091】

その後、制御命令は、作動手段ＡＭによって適用されて、したがって、仮想オブジェクトを経路に沿ってロケーションＡからロケーションＢに移動させ、仮想オブジェクトの移動の速度は、ジェスチャーの速度と相関して制御され、タッチ・スクリーン上でのジェスチャーを行う間、ユーザによって実行される圧力に基づいて、キャラクタのアニメーションが、より速く歩き、走り、減速し、点Ｂにおいて再び停止するようにし、キャラクタの移動と同時に、作動手段ＡＭ、したがって、仮想オブジェクトをロケーションＡからロケーションＢに移動させ、キャラクタのムードのアニメーションは、ユーザのジェスチャーの強度に基づき、時間にわたるジェスチャーの強度は、キャラクタのムードと相関させられ、キャラクタのアニメーションが、悲しい顔、ニュートラルな顔、幸福な顔、ニュートラルな顔、及び再び幸福な顔をもって、点Ａから点Ｂに歩くようにする。

【0092】

意図された命令及び作動手段による作動による仮想オブジェクトのこの移動は、したがって、ディスプレイ手段ＤＭ、すなわち、制御デバイス、すなわち、スマートフォンのディスプレイにおいてレンダリングされる。

【0093】

本発明の第４の代替実施例では、ユーザのジェスチャーはまた、ユーザのキャプチャされたジェスチャーからの他のパラメータを適用し、その後、そのような仮想オブジェクトの代替特性を制御することによって、またさらなる代替様式で適用され得る。

【0094】

この場合も、ユーザが、示されているキャラクタ又はアバターである、前述の仮想オブジェクトのアニメーションを生成することを望むと仮定される。

【0095】

この場合、ユーザの意向は、意図された仮想オブジェクトのアニメーションを作成することであり、ユーザのジェスチャーは、キャラクタの一部を制御するためにも使用され得、すなわち、曲線のセットは、ある所定の時間フレームにわたって変化するキャラクタの顔の表情を制御するために適用される。

【0096】

この場合、曲線の位置は、顔の表情に影響を及ぼすために使用され得る。より低い位置は、悲しいムードを意味し得、より高い位置は、より幸福なムードを意味し得る。

【0097】

もちろん、曲線の任意のパラメータが、表情を制御するために使用され得る。

【0098】

代替的に、またさらなる表情が使用され得、又はさらには、眼、眉、顎など、顔の一部が、曲線の形状と相関してアニメーション化され得る。

【0099】

再び、本発明のこの特定の実施例では、キャプチャ・デバイスＣＡＭは、ユーザのジェスチャーをキャプチャし、このジェスチャーは、図８に示されている。制御デバイス、すなわち、モバイル・デバイスのタッチ・スクリーンにおける曲線ジェスチャーのｘ，ｙ座標がキャプチャされる。

【0100】

この意向は、ユーザがジェスチャーを行うより前に又は後でのいずれかで設定され得、制御されるべき特性は、ユーザの選定において、キャラクタの顔の表情に影響を及ぼすために使用され得ると仮定される。制御入力Ｉ３が、ユーザのジェスチャーに基づいて制御されるべき特定の特性を選択するための選択信号を処理手段ＰＭに提供するために適用され得る。特定の特性は、前述の顔の表情であるが、代替的に、ユーザの選定において、曲線の形状と相関してアニメーション化され得る、眼、眉、顎など、顔の一部であり得る。

【0101】

その後、処理手段ＰＭは、キャプチャされた前記ジェスチャーに基づいて制御命令を生成し、前記曲線は、ｘ，ｙ座標を表し、ｙ座標は、顔の表情に影響を及ぼすために使用される測度である。より低い位置は、悲しいムードを意味し得、より高い位置は、より幸福なムードを意味し得る。生成された曲線に基づいて、処理手段ＰＭは、顔の表情に影響を及ぼすために作動手段によって使用するための命令である、制御命令をさらに生成する。

【0102】

最終的に、制御デバイスＣＤの作動手段ＡＭは、制御デバイス、すなわち、スマートフォンの処理手段ＰＭによって生成された前記制御命令に基づいて、キャラクタ、すなわち、オブジェクトのムードを制御する。

【0103】

意図された命令及び作動手段による作動による仮想オブジェクトのこの移動は、したがって、ディスプレイ手段ＤＭ、すなわち、制御デバイス、すなわち、スマートフォンのディスプレイにおいてレンダリングされる。

【0104】

本発明のまたさらなる代替実施例では、ユーザのジェスチャーはまた、ユーザのキャプチャされたジェスチャーからの他のパラメータを適用し、その後、そのような仮想オブジェクトの代替特性を制御することによって、またさらなる代替様式で適用され得る。

【0105】

タッチ・スクリーンにおいてユーザによって行われたジェスチャーに基づいて生成された、生成された曲線は、手足、足、指、足指、骨盤、首など、体部位の移動を制御するためにも使用され得る。

【0106】

この場合も、ユーザが、示されているキャラクタ又はアバターである、前述の仮想オブジェクトのアニメーションを生成することを望むと仮定され、この特定の実施例では、腕移動の一実例が開示され、それにより、腕の持続時間及び移動が、図９に示されている曲線を腕の関節に適用することによって制御されている。

【0107】

物理的ロケーションは、腕の回転、及びスワイプのタイミング、回転が行われる速度を決定するために使用され得る。

【0108】

前の実例において見たように、移動の異なる部分を制御するために曲線の異なるセットを使用することもできる。

【0109】

要約すると、ユーザのジェスチャーから導出されたパラメータの各セットが、曲線に変換され得、曲線の各々が、速度、ロケーション（経路）、ムード、又はそれ以外のいずれかにおいて、キャラクタの移動におけるパラメータを変更するために使用され得る。

【0110】

代替実施例は、作動手段ＡＭが、別個の専用制御可能オブジェクトＣＯであって、制御デバイスＣＤによって生成された制御命令に基づいて、前記制御可能オブジェクトＣＯに組み込まれた作動手段ＡＭによってこの制御命令を実行するように構成された、別個の専用制御可能オブジェクトＣＯに組み込まれることである。

【0111】

さらなる代替実施例は、仮想オブジェクトの代わりに、専用要素を備える現実の物理的制御可能オブジェクトが、いくつかの専用タスクを実行するためのいくつかのアクチュエータを有するロボット・デバイスのように仮想オブジェクトについて説明されたのと同様にして制御されることである。

【0112】

ロボット・デバイスのようなそのような制御可能オブジェクトは、ホイールを使用して移動することが可能である、及びツールアームなどの専用アクチュエータを使用して専用機能性を実施するためのアクチュエータを所有する、人間に見えるデバイスであり得るか、或いは代替的に、草刈りデバイス、ロボット清掃デバイス、又はドローンなどの飛行ロボット・デバイスであり得る。

【0113】

仮想オブジェクトに関係する実施例について説明されたように、これらの実施例は、同様に、関連するホイールによって移動することが可能である、又は及び専用タスクを実施するためのいくつかのアクチュエータによっていくつかのタスクを実施することが可能である、ロボット・デバイスのような物理的オブジェクトに適用され得る。そのような実施例では、同様に、ユーザのジェスチャーのいくつかの所定のパラメータが、そのようなロボット・デバイスの所定の機能を制御するために適用される。

【0114】

ロボット・デバイス、制御可能な光源又はオーディオ源など、そのような制御可能オブジェクトの状況では、これらのデバイスは、専用制御命令を受信するように構成され得、受信された制御命令を実行するように作動手段ＡＭとともに構成され得る。

【0115】

本発明について説明するために、ユーザの制御デバイスＣＤが、たとえば、専用制御アプリケーションをもつスマートフォンであるか、又はそのようなロボット・デバイスを制御するための専用制御デバイスであると仮定される。オブジェクトの少なくとも１つの特性を制御するための制御デバイスは、作動手段ＡＭを備え、作動手段ＡＭは、前記制御命令を、受信された制御命令に基づいて、前記オブジェクト、すなわち、ロボット・デバイス、光源又は音源の、前記少なくとも１つの特性を制御するように構成された専用作動デバイスＡＭ２のほうへ転送するように構成される。

【0116】

制御可能オブジェクトＣＯ、たとえば、ロボット・デバイスは、制御デバイスＣＤからの前記制御命令に基づいて前記制御可能オブジェクト（ＣＯ）の前記少なくとも１つの特性を制御するための前記制御命令を受信するように構成された通信手段ＣＭと、前記制御命令に基づいて前記制御可能オブジェクトＣＯの前記少なくとも１つの特性を制御するように構成された作動手段ＡＭとを備える。

【0117】

さらに、ユーザは、ロボット・ホーム・サーバントのような、そのようなロボット・デバイスを制御し、このロボット・デバイスに、ユーザのジェスチャーに基づいて決定されたように経路に沿って移動させることと、その上、瓶からふたを開けること、オブジェクトを移動することなどのような機能を実施するためにそのようなロボット・デバイスのさらなるアクチュエータを制御することとを望むと仮定される。

【0118】

この特定の実施例の場合、ユーザの意向は、図５又は図６に示されているような経路と同様に、点Ａから点Ｂに移動するようにロボット・デバイスを誘導することである。

【0119】

この意向は、ユーザがジェスチャーを行うより前に又は後でのいずれかで設定され得、制御されるべき特性は、ユーザの選定において、ＡからＢへの示されたまっすぐな経路にわたる仮想オブジェクトの動きであると仮定される。ユーザは、信号によって、指示、ジェスチャーがどのように解釈されるべきであるか、制御可能オブジェクトの特性がどのように変更されるべきであるか、を意味する、ジェスチャーの意図を示すことができる。

【0120】

ユーザが、図５に示されている、制御デバイスのタッチ・スクリーン上でのジェスチャーを行うとき、ジェスチャーは、最初は、タッチ・スクリーンによってキャプチャされる。

【0121】

その後、処理手段ＰＭは、ユーザの前記キャプチャされたジェスチャーに基づいて少なくとも１つの２次元（又は飛行ロボット・デバイスの場合、３次元）曲線を生成し、現在の設定における前記曲線は、この特定の実施例では、オブジェクトのロケーション、すなわち、（ｘ，ｙ）（又は飛行デバイスの場合、ｘ，ｙ，ｚ）座標及びユーザのジェスチャーから導出された仮想オブジェクトの移動の推論された速度である、前記ジェスチャーの少なくとも１つのパラメータを表す。

【0122】

この特定の実施例では、制御可能オブジェクトＣＯのロケーション、すなわち、（ｘ，ｙ）座標及び制御可能オブジェクトＣＯの移動の推論された速度である、この少なくとも１つのパラメータに基づいて、処理手段ＰＭは、その後、制御命令を生成し、その制御命令は、時間フレームにわたるジェスチャーの速度と相関させられた又はそれから転置された、まっすぐな経路上で点Ａから点Ｂに移動するオブジェクト、すなわち、ロボット・デバイスを移動させることを行うための命令であり、ロボット・デバイスが、より速く移動し、速度を上げ、減速し、点Ｂにおいて再び停止するようにする。

【0123】

その後、制御命令は、この実施例では、ロボット・デバイスＣＯによって実装される、制御可能オブジェクトＣＯの通信手段ＣＭのほうへ転送され、その後、制御命令は、作動手段ＡＭ２によって適用されて、したがって、まっすぐな経路に沿ってロケーションＡからロケーションＢにオブジェクトを移動させ、制御可能オブジェクトＣＯの移動の速度は、ジェスチャーの速度と相関して制御され、キャラクタが、より速く歩き、走り、減速し、点Ｂにおいて再び停止するようにする。

【0124】

代替又は追加として、キャプチャ手段としての少なくとも１つのカメラの場合、ユーザがジェスチャーを行う、ユーザの手又は顔と、カメラとの間の距離が、ジェスチャーの強度の測度であり得る。

【図1】

【図2a】

【図2b】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2023-05-02

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

制御デバイス（ＣＤ）によって制御可能オブジェクト（ＣＯ）の少なくとも１つの特性を制御するための方法であって、前記制御デバイス（ＣＤ）が、（通信リンクを介して）前記制御可能デバイス（ＣＯ）に結合され、前記方法が、
－ 前記制御デバイスによって、ユーザのジェスチャーをキャプチャするステップ
を含み、前記方法は、
－ 処理手段（ＰＭ）によって、キャプチャされた前記ジェスチャーに基づいて少なくとも１つの曲線を生成するステップであって、前記少なくとも１つの曲線が、前記ジェスチャーの少なくとも１つのパラメータを表し、前記ジェスチャーの前記パラメータは、キャプチャされた前記ジェスチャーのｘ座標、ｙ座標、ｚ座標、速度、方向及び／又は強度のうちの少なくとも１つを含む、ステップと、
－ 前記処理手段（ＰＭ）によって、前記制御可能オブジェクトのいくつかの限定と組み合わせた前記少なくとも１つの曲線によって表された前記少なくとも１つのパラメータに基づいて制御命令を生成するステップと、
－ 作動手段によって、前記制御命令に基づいて前記制御可能オブジェクトの前記少なくとも１つの特性を制御するステップと
をさらに含み、
前記制御可能オブジェクト（ＣＯ）が、前記制御デバイス（ＣＤ）のディスプレイにおける提示のための仮想環境中の仮想オブジェクトであり、前記仮想オブジェクトの前記特性が、前記仮想オブジェクト又はそれの一部の位置、動き及び／又は変形であることを特徴とする、方法。

【請求項2】

制御可能オブジェクト（ＣＯ）の少なくとも１つの特性を制御するためのシステムであって、前記システムが、制御デバイス（ＣＤ）と前記制御可能オブジェクト（ＣＯ）とを備え、前記制御デバイス（ＣＤ）が、（通信リンクを介して）前記制御可能デバイス（ＣＯ）に結合され、前記制御デバイス（ＣＤ）が、ユーザのジェスチャーをキャプチャするように構成されたキャプチャ手段（ＣＡＭ）を備え、前記システムは、
－ キャプチャされた前記ジェスチャーに基づいて少なくとも１つの曲線を生成するように構成された処理手段（ＰＭ）であって、前記曲線が、前記ジェスチャーの少なくとも１つのパラメータを表し、前記ジェスチャーの前記パラメータは、前記ジェスチャーの前記パラメータは、キャプチャされた前記ジェスチャーのｘ座標、ｙ座標、ｚ座標、速度、方向及び／又は強度のうちの少なくとも１つを含む、処理手段（ＰＭ）
をさらに備え、
－ 前記処理手段（ＰＭ）が、前記制御可能オブジェクトのいくつかの限定と組み合わせた前記少なくとも１つの曲線によって表された前記少なくとも１つのパラメータに基づいて制御アクション／命令を生成するようにさらに構成され、
－ 前記制御命令に基づいて前記制御可能オブジェクト（ＣＯ）の前記少なくとも１つの特性を制御するように構成された作動手段（ＡＭ）をさらに備え、
前記制御可能オブジェクト（ＣＯ）が、前記制御デバイス（ＣＤ）のディスプレイにおける提示のための仮想環境中の仮想オブジェクトであり、前記仮想オブジェクトの前記特性が、前記仮想オブジェクト又はそれの一部の位置、動き及び／又は変形であることを特徴とする、システム。

【請求項3】

請求項２に記載の制御可能オブジェクト（ＣＯ）の少なくとも１つの特性を制御するためのシステムであって、前記システムが、リモート・サーバ（ＲＳ）をさらに備え、前記リモート・サーバが、通信リンクを介して各々結合される前記制御デバイス（ＣＤ）と前記制御可能オブジェクト（ＣＯ）との間に結合されることを特徴とする、システム。

【請求項4】

請求項２に記載のシステムにおいて使用するための制御デバイス（ＣＤ）であって、前記制御デバイス（ＣＤ）が、前記制御デバイスのユーザのジェスチャーをキャプチャするように構成されたキャプチャ手段（ＣＡＭ）を備え、前記制御デバイスは、
－ キャプチャされた前記ジェスチャーに基づいて少なくとも１つの曲線を生成するように構成された処理手段（ＰＭ）であって、前記少なくとも１つの曲線が、前記ジェスチャーの少なくとも１つのパラメータを表す、処理手段（ＰＭ）
をさらに備え、
－ 前記処理手段（ＰＭ）が、前記制御可能オブジェクトのいくつかの限定と組み合わせた前記少なくとも１つの曲線の前記少なくとも１つのパラメータに基づいて制御命令を生成するようにさらに構成された
ことを特徴とする、制御デバイス（ＣＤ）。

【請求項5】

請求項４に記載の制御デバイス（ＣＤ）であって、前記制御デバイス（ＣＤ）が、
－ 前記制御命令に基づいて前記制御可能オブジェクト（ＣＯ）の前記少なくとも１つの特性を制御するように構成された作動手段（ＡＭ）
をさらに備えることを特徴とする、制御デバイス（ＣＤ）。

【請求項6】

請求項４に記載の制御可能オブジェクト（ＣＯ）の少なくとも１つの特性を制御するための制御デバイス（ＣＤ）であって、前記制御デバイス（ＣＤ）が、
－ 前記制御命令に基づいて前記制御可能オブジェクトの前記少なくとも１つの特性を制御するように構成された制御可能オブジェクト（ＣＯ）のほうへ前記制御命令を転送するように構成された通信手段（ＣＭ）
をさらに備えることを特徴とする、制御デバイス（ＣＤ）。

【請求項7】

請求項２又は請求項３に記載のシステムにおいて使用するための制御可能オブジェクト（ＣＯ）であって、前記制御可能オブジェクトが、
－ 前記制御命令に基づいて前記制御可能オブジェクト（ＣＯ）の前記少なくとも１つの特性を制御するための前記制御命令を受信するように構成された通信手段（ＣＭ）と、
－ 前記制御命令に基づいて前記制御可能オブジェクト（ＣＯ）の前記少なくとも１つの特性を制御するように構成された作動手段（ＡＭ）と
を備えることを特徴とする、制御可能オブジェクト（ＣＯ）。

【請求項8】

請求項３に記載のシステムにおいて使用するためのリモート・サーバ（ＲＳ）であって、前記リモート・サーバは、
－ 前記制御デバイスのユーザの前記ジェスチャーを受信するように構成された通信手段（ＣＭ１）と、
－ キャプチャされた前記ジェスチャーに基づいて少なくとも１つの曲線を生成するように構成された処理手段（ＰＭ）であって、前記少なくとも１つの曲線が、前記ジェスチャーの少なくとも１つのパラメータを表す、処理手段（ＰＭ）と
を備え、
－ 前記処理手段（ＰＭ）が、前記制御可能オブジェクトのいくつかの限定と組み合わせた前記少なくとも１つの曲線の前記少なくとも１つのパラメータに基づいて制御命令を生成するようにさらに構成された
ことを特徴とする、リモート・サーバ（ＲＳ）。

【請求項9】

請求項８に記載のリモート・サーバ（ＲＳ）であって、前記リモート・サーバ（ＲＳ）が、
－ 前記制御命令に基づいて前記制御可能オブジェクト（ＣＯ）の前記少なくとも１つの特性を制御するように構成された作動手段（ＡＭ）
をさらに備えることを特徴とする、リモート・サーバ（ＲＳ）。

【国際調査報告】