特許 7560217 物理領域内で顧客と相互作用するデジタルキャラクタ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-24

(45)【発行日】2024-10-02

(54)【発明の名称】物理領域内で顧客と相互作用するデジタルキャラクタ

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240925BHJP

   G06F 3/16 20060101ALN20240925BHJP

   G06T 13/40 20110101ALN20240925BHJP

   H04N 21/442 20110101ALN20240925BHJP

   H04N 21/472 20110101ALN20240925BHJP

【ＦＩ】

G06F3/01 570

G06F3/16 610

G06F3/16 620

G06T13/40

H04N21/442

H04N21/472

【請求項の数】 16

(21)【出願番号】P 2021572874

(86)(22)【出願日】2020-06-11

(65)【公表番号】

(43)【公表日】2022-08-24

(86)【国際出願番号】 US2020037314

(87)【国際公開番号】W WO2020252210

(87)【国際公開日】2020-12-17

【審査請求日】2023-05-16

(31)【優先権主張番号】62/860,188

(32)【優先日】2019-06-11

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】15/931,377

(32)【優先日】2020-05-13

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】511077292

【氏名又は名称】ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(72)【発明者】

【氏名】シアーリ サラ

(72)【発明者】

【氏名】ゴードン デミアン

【審査官】九鬼 一慶

(56)【参考文献】

【文献】特開２０１８－１５８０４６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０３０８９０５（ＵＳ，Ａ１）

【文献】特開２０１９－０８６８５８（ＪＰ，Ａ）

【文献】特許第６５１４３９７（ＪＰ，Ｂ１）

【文献】特開２０１０－２８７０６４（ＪＰ，Ａ）

【文献】国際公開第２０１８／０４７５４３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／１６

Ｇ０６Ｔ １３／４０

Ｈ０４Ｎ ２１／４４２

Ｈ０４Ｎ ２１／４７２

(57)【特許請求の範囲】

【請求項1】

ディスプレイデバイスが位置する物理的環境において、前記ディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスを制御する方法であって、
前記物理的環境内に位置する第１の人の存在の有無を決定するステップと、
前記第１の人が存在することを決定すると、第２の人と人工知能（ＡＩ）ゲームエンジンとの組み合わせによって、前記ディスプレイデバイスにて示された前記デジタルキャラクタのパフォーマンスの制御を容易にするステップと、を含み、
前記第１の人の前記存在の有無を決定するステップは、前記第１の人の外観の特徴、前記第１の人の感情状態、又は前記第１の人から生じるオーディオの特性のうちの少なくとも１つを自律的に決定するステップであり、
前記第２の人による前記デジタルキャラクタの前記パフォーマンスの制御を容易にするステップは、前記第１の人の前記決定された特徴、前記決定された感情状態、又は前記第１の人から生じるオーディオの特性に応じて前記第１の人に対処するように前記第１の人と前記デジタルキャラクタとが相互作用する場合において前記デジタルキャラクタを制御する、前記第２の人によって選択可能な少なくとも１つのオプションを提供するステップであり、前記方法は、
前記第１の人との前記相互作用中に、前記ディスプレイデバイスにて示された前記デジタルキャラクタによる行動に応答して、前記第１の人が位置する前記物理的環境内の変化を引き起こすステップを更に含み、前記物理的環境内の前記変化は、前記ディスプレイデバイスとは異なる物理的物体が前記第１の人による取り出しのために前記物理的環境内に送出されることに対応する、方法。

【請求項2】

前記第１の人の存在の有無の決定は、前記物理的環境内に位置する少なくともカメラ又はマイクロホンから受け取られたデータに基づいて実行される、請求項１に記載の方法。

【請求項3】

前記第２の人による前記デジタルキャラクタのパフォーマンスの制御を容易にするステップは、前記第２の人に対応するモーションキャプチャデータを受け取るステップを含む、請求項１に記載の方法。

【請求項4】

前記モーションキャプチャデータを受け取るステップは、
光学モーションキャプチャシステムからデータを受け取るステップと、
慣性モーションキャプチャシステムからデータを受け取るステップと、
を含む、請求項３に記載の方法。

【請求項5】

前記光学モーションキャプチャシステムから受け取られた前記データは、前記第２の人のウェスト領域に位置する１又は２以上の光学マーカーに対応するデータを含む、請求項４に記載の方法。

【請求項6】

前記光学モーションキャプチャシステムから受け取られた前記データは、前記慣性モーションキャプチャシステムから受け取られた前記データに基づいて決定される前記第２の人の位置のドリフト補正を実行するためのものである、請求項４に記載の方法。

【請求項7】

前記第２の人による前記デジタルキャラクタのパフォーマンスの前記制御は、前記デジタルキャラクタのパフォーマンスが前記第２の人及び前記ＡＩゲームエンジンの両方によって同時に駆動されるように容易にされる、請求項１に記載の方法。

【請求項8】

前記第１の人から要求を受け取るステップと、
前記第１の人が位置する前記物理的環境内の変化を引き起こすことによって前記要求を処理するステップと、
を更に含み、
前記要求を処理するステップは、前記第１の人による取り出しのために送出される物理的物体を提供するステップを含む、請求項１に記載の方法。

【請求項9】

ディスプレイデバイスが位置する物理的環境において、前記ディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスを制御する装置であって、
データを送受するように構成されたネットワーク通信ユニットと、
１又は２以上のコントローラと、
を備え、前記１又は２以上のコントローラは、
前記物理的環境内に位置する第１の人の存在の有無を決定し、
前記第１の人が存在することを決定すると、第２の人と人工知能（ＡＩ）ゲームエンジンとの組み合わせによって、前記ディスプレイデバイスにて示された前記デジタルキャラクタのパフォーマンスの制御を容易にする、ように構成され、
前記１又は２以上のコントローラは、前記第１の人の外観の特徴、前記第１の人の感情状態、又は前記第１の人から生じるオーディオの特性のうちの少なくとも１つを自律的に決定することによって、前記第１の人の前記存在の有無を決定するように更に構成され、
前記１又は２以上のコントローラは、前記第１の人の前記決定された特徴、前記決定された感情状態、又は前記第１の人から生じるオーディオの特性に応じて前記第１の人に対処するように前記第１の人と前記デジタルキャラクタとが相互作用する場合において前記デジタルキャラクタを制御する、前記第２の人によって選択可能な少なくとも１つのオプションを提供することによって、前記第２の人による前記デジタルキャラクタの前記パフォーマンスの制御を容易にするように更に構成され、前記１又は２以上のコントローラは、
前記第１の人との前記相互作用中に、前記ディスプレイデバイスにて示された前記デジタルキャラクタによる行動に応答して、前記第１の人が位置する前記物理的環境内の変化を引き起こすように更に構成され、前記物理的環境内の前記変化は、前記ディスプレイデバイスとは異なる物理的物体が前記第１の人による取り出しのために前記物理的環境内に送出されることに対応する、装置。

【請求項10】

前記第１の人の存在の有無の決定は、前記物理的環境内に位置する少なくともカメラ又はマイクロホンから受け取られたデータに基づいて実行される、請求項９に記載の装置。

【請求項11】

前記１又は２以上のコントローラは、前記第２の人に対応するモーションキャプチャデータを受け取ることにより、前記第２の人による前記デジタルキャラクタのパフォーマンスの制御を容易にするように構成される、請求項９に記載の装置。

【請求項12】

前記モーションキャプチャデータを受け取ることは、
光学モーションキャプチャシステムからデータを受け取ること、及び
慣性モーションキャプチャシステムからデータを受け取ること、
を含む、請求項１１に記載の装置。

【請求項13】

前記光学モーションキャプチャシステムから受け取られた前記データは、前記第２の人のウェスト領域に位置する１又は２以上の光学マーカーに対応するデータを含む、請求項１２に記載の装置。

【請求項14】

前記光学モーションキャプチャシステムから受け取られた前記データは、前記慣性モーションキャプチャシステムから受け取られた前記データに基づいて決定される前記第２の人の位置のドリフト補正を実行するためのものである、請求項１２に記載の装置。

【請求項15】

前記第２の人による前記デジタルキャラクタのパフォーマンスの前記制御は、前記デジタルキャラクタのパフォーマンスが前記第２の人及び前記ＡＩゲームエンジンの両方によって同時に駆動されるように容易にされる、請求項９に記載の装置。

【請求項16】

ディスプレイデバイスが位置する物理的環境において、前記ディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスを制御するための機械実行可能命令を格納する機械可読非一時的媒体であって、
前記命令は、
前記物理的環境内に位置する第１の人の存在の有無を決定することと、
前記第１の人が存在することを決定すると、第２の人と人工知能（ＡＩ）ゲームエンジンとの組み合わせによって、前記ディスプレイデバイスにて示された前記デジタルキャラクタのパフォーマンスの制御を容易にすることと、を含み、
前記第１の人の前記存在を決定することは、前記第１の人の外観の特徴、前記第１の人の感情状態、又は前記第１の人から生じるオーディオの特性のうちの少なくとも１つを自律的に決定することであり、
前記第２の人による前記デジタルキャラクタの前記パフォーマンスの制御を容易にすることは、前記第１の人の前記決定された特徴、前記決定された感情状態、又は前記第１の人から生じるオーディオの特性に応じて前記第１の人に対処するように前記第１の人と前記デジタルキャラクタとが相互作用する場合において前記デジタルキャラクタを制御する、前記第２の人によって選択可能な少なくとも１つのオプションを提供することであり、前記命令は、
前記第１の人との前記相互作用中に、前記ディスプレイデバイスにて示された前記デジタルキャラクタによる行動に応答して、前記第１の人が位置する前記物理的環境内の変化を引き起こすことを更に含み、前記物理的環境内の前記変化は、前記ディスプレイデバイスとは異なる物理的物体が前記第１の人による取り出しのために前記物理的環境内に送出されることに対応する、機械可読非一時的媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、２０２０年５月１３日出願の米国特許出願第１５／９３１,３７７号及び２０１９年６月１１日出願の米国特許仮出願第６２／８６０,１８８号の優先権を主張し、これらの全ての開示内容は、引用により全体が本明細書に組み込まれる。

【背景技術】

【0002】

遊園地は、来園者に固有の体験をもたらすために様々な特徴を含むことができる。例えば、遊園地は、来園者を楽しませる様々な乗物及びショーを有することができる。更に、遊園地は、来園者のために望ましい環境又は雰囲気を作り出すことができるショー効果及び小道具を有することができる。このような特徴は、来園者と相互作用することができるエンターテインメントフィギュア（例えば、アニメのキャラクタ、アニメのフィギュア）を含むことができる。例えば、エンターテインメントフィギュアは、話す、手を振る、歩くことができ、或いは、他の何れかの適切な動作を行うことができる。

【発明の概要】

【0003】

本明細書で開示される様々な実施形態に関して、デジタルアニメーションにて示されたデジタルキャラクタのパフォーマンスを制御する技術が提示される。様々な実施形態によれば、パフォーマンスは、デジタルキャラクタと実際の顧客との間の相互作用を容易にするように制御される。

【0004】

少なくとも１つの実施形態によれば、ディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスを制御する方法が開示される。本方法は、物理的環境内に位置する人の存在を決定するステップと、人の存在を決定したことに応答して、ヒューマンオペレータによって、又は人工知能（ＡＩ）ゲームエンジンによって、或いはこれらの組み合わせによってディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスの制御を容易にするステップとを含む。

【0005】

少なくとも１つの実施形態によれば、ディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスを制御する装置は、データを送受するように構成されたネットワーク通信ユニットと、１又は２以上のコントローラとを含む。１又は２以上のコントローラは、物理的環境内に位置する人の存在を決定し、人の存在を決定したことに応答して、ヒューマンオペレータによって、又は人工知能（ＡＩ）ゲームエンジンによって、或いはこれらの組み合わせによってディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスの制御を容易にするように構成される。

【0006】

少なくとも１つの実施形態によれば、機械可読非一時的媒体は、ディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスを制御する機械実行可能命令を格納する。命令は、物理的環境内に位置する人の存在を決定すること、及び人の存在を決定したことに応答して、ヒューマンオペレータによって、又は人工知能（ＡＩ）ゲームエンジンによって、或いはこれらの組み合わせによってディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスの制御を容易にすることを含む。

【0007】

本開示の上記及び他の態様並びに特徴は、添付図面を参照しながら、以下の実施形態に関する説明を考慮するとより明らかになるであろう。

【図面の簡単な説明】

【0008】

【図1】少なくとも１つの実施形態による、顧客と相互作用するようにデジタルキャラクタを制御するシステムを示す図である。

【図2A】デジタルキャラクタを制御するライブモーションキャプチャの実施例を示す図である。

【図2B】デジタルキャラクタを制御するライブモーションキャプチャの実施例を示す図である。

【図3】少なくとも１つの実施形態による、剛体の実施例を示す図である。

【図4】キャプチャ区域の３Ｄ図を示す図である。

【図5】顧客による取り出しのための物理的な品目の例示的な供給を示す図である。

【図6】少なくとも１つの実施形態による、ディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスを制御する方法のフローチャートを示す図である。

【図7】少なくとも１つの実施形態による、コンピューティング環境の例証図である。

【図8】少なくとも１つの実施形態による、デバイスのブロック図である。

【発明を実施するための形態】

【0009】

以下の詳細な説明において、その一部を形成し且つ例証として本発明の特定の実施形態を示す添付図面を参照する。他の実施形態を利用することができ、本発明の範囲から逸脱することなく構造的並びに手続き的変更を行うことができることは、当該技術分野における当業者には理解されたい。可能な限り、同じ要素又は同様の要素を示すために図面全体を通じて同じ参照符号が使用される。

【0010】

本明細書で開示される実施形態は、顧客と相互作用するようにデジタルキャラクタを制御するためのシステムに関する。例えば、相互作用は、顧客による取り出しに対する物理的生成物の供給を含むことができる。例示的な実施形態は、食品トラックに視覚的に類似し且つ顧客のために食品を出力するシステム、顧客に映画チケットを販売するシステム、及びデジタルキャラクタと顧客との間の綱引きのパフォーマンスを容易にするシステムを含む。

【0011】

例示的な実施形態について、図１を参照して説明する。

【0012】

図１は、少なくとも１つの実施形態による、顧客と相互作用するようにデジタルキャラクタを制御するシステム１０２を示す。システム１０２は、環境１００内に（少なくとも部分的に）位置する。また、環境１００内には、１又は２以上の顧客１１０が存在する。システム１０２は、ディスプレイデバイス１０４と、出力チャネル１０８とを含む。ディスプレイデバイス１０４は、顧客１１０が明確に見えるように位置決めされる。以下でより詳細に説明するように、１又は２以上の品目は、顧客１１０による取り出しのために出力チャネル１０８を介して供給することができる。

【0013】

更に、システム１０２は、少なくとも１つのビデオキャプチャデバイス（例えば、カメラ）と、少なくとも１つのオーディオキャプチャデバイス（例えば、マイクロホン）とを含む。ビデオ及びオーディオキャプチャデバイスは、環境１００内で発生する行動（又は非行動）、詳細には顧客１１０によって成された行動（又は非行動）をキャプチャするために位置決めすることができる。このような行動の実施例は、システム１０２に向けて又はシステム１０２から遠ざかる（ディスプレイ１０４に向けて又はディスプレイ１０４から遠ざかる）顧客１１０によって成された移動又は動き、顧客１１０によって成された動き又はジェスチャー、及び顧客１１０によって成された顔の表情及び反応を含む。以下で更に詳細に説明するように、キャプチャによって、環境１００内の顧客１１０の存在の検出、及び／又は顧客１１０との（例えば、ディスプレイデバイス１０４にて示された１又は２以上のデジタルキャラクタによる）相互作用が容易になる。

【0014】

上述のように、システム１０２のディスプレイデバイス１０４は、顧客１１０が明確に見えるように位置決めされる。ディスプレイデバイス１０４は、ビデオ（例えば、デジタルビデオ）を表示する。以下で更に詳細に説明するように、表示されるビデオは、相互作用要素及び／又は特徴を含むことができる。

【0015】

説明の目的で、ディスプレイデバイス１０４にて表示されるビデオにて発生しているように示される事象は、「デジタル領域内で」発生している事象と呼ぶことにする。これとは別に、他の事象（例えば、環境１００内で発生している事象）は、「物理領域内で」発生している事象と呼ぶことにする。顧客１１０の観点からすると、ディスプレイデバイス１０４は、システム１０２によって定められた物理空間への「窓」として知覚することができ、他方、デジタル領域内で発生している事象は、システム１０２の１又は２以上の要素によって定められた物理空間内で発生していると知覚される。

【0016】

引き続き図１を参照すると、デジタルキャラクタ１０６は、ディスプレイデバイス１０４にて表示されるビデオ内に示されている。一例として、デジタルキャラクタ１０６は、ヒューマンオペレータのライブモーションキャプチャを介して作成することができる。

【0017】

例えば、図２Ａを参照すると、デジタルキャラクタ１０６は、環境２００ａ内に位置するヒューマンオペレータ２０２のライブモーションキャプチャを介して作成される。環境２００ａは、環境１００の近傍に、又は環境１００から遠隔の場所に位置することができる。環境２００ａが環境１００の近くに位置する場合、環境２００ａは、ヒューマンオペレータが環境１００内に存在する顧客１１０の視野から隠されるように構成することができる。

【0018】

環境２００ａにおいて、ディスプレイデバイス２０４が設けられる。ディスプレイデバイス２０４は、システム１０２に関して上述したビデオ及びオーディオキャプチャデバイスによってキャプチャされたビデオ及びオーディオを出力する。従って、ヒューマンオペレータ２０２には、環境１００において発生する行動（又は非行動）をリアルタイムで知らせることができる。このようにして、ヒューマンオペレータ２０２は、デジタル領域にて示されたデジタルキャラクタ１０６を介して物理領域内に存在する顧客１１０と効果的に相互作用することができる。

【0019】

例えば、ヒューマンオペレータ２０２は、顧客１１０に「クッキーが欲しい人はいませんか？」と尋ねることができる。これに応じて、ライブモーションキャプチャを介して、デジタルキャラクタ１０６は、「クッキーが欲しい人はいませんか？」と尋ねるようにデジタル領域に示される。ディスプレイデバイス１０４にて表示されたデジタルビデオを見ている顧客１１０は、デジタル領域内で発生しているこのような行動を知覚する。

【0020】

顧客１１０は、これに応じて反応することができる。例えば、１人の顧客１１０は、手を上げることができる。別の例として、別の顧客１１０は、「はい！」と叫ぶことができる。

【0021】

ヒューマンオペレータ２０２は、ディスプレイデバイス２０４をモニタリングすることによって、顧客によって成されたこのような行動を観測することができる。例えば、カメラ画面をモニタリングし続けることによって、ヒューマンオペレータ２０２は、（１）デジタルキャラクタ１０６が顧客１１０の眼を直接に見るように注視を変更又はシフトし（例えば、顧客１１０が比較的静止したままである場合）、（２）顧客１１０に向かって手を伸ばす（例えば、顧客１１０が又はディスプレイデバイス１０４の特定の部分に手を伸ばすか又は指さししている場合）ことができる。同様に、デジタルキャラクタ１０６と顧客１１０との間の他の相互作用は、顧客との握手、顧客から押されることによって明らかに影響を受ける顧客１１０の抱擁、その他を含むことができる。

【0022】

少なくとも１つの実施形態において、デジタル領域と物理領域の橋渡しは、顧客１１０と握手するため又は顧客１１０に品目を渡すために手足を広げるようにデジタルキャラクタを構成することによって達成することができる。一例として、これは、顧客１１０の視野から隠された人間の人形使いによって物理領域内で操作される、物理的操作の人形の手足を制御することによって達成することができる。物理的に操作される人形の手足は、顧客１１０に向けて手を伸ばして物理領域内で顧客１１０と直接に相互作用するように制御することができる。この状況において、物理的に操作される人形の手足は、人形使いによってリアルタイム制御に基づいて現実的に動くアニマトロニックの腕及び手とすることができる。別の実施形態によれば、デジタル操作される人形の手足は、手を伸ばして顧客１１０と直接に相互作用するように制御することができる。例えば、デジタル操作される人形の手足は、キャラクタ体験を作成しているパフォーマー（例えば、ヒューマンオペレータ２０２）からのデジタル情報を介して制御することができる。この状況において、パフォーマーは、画面上のインターフェース、キーボードトリガー、ボタン又はジョイスティック入力を手動で操作することによって、リアルタイムで手足を伸張又は後退するように制御することができる。パフォーマーからのリアルタイムデータは、手の機構を操作して、腕が制御されたロボット的に合法的手法で動かすことになる。デジタル操作される人形の手足を含む別の実施形態によれば、パフォーマーは、単に腕をキャプチャ容量の既知の区域に伸ばすことによって、握手を引き起こすことができる。人形の手足の伸張及び後退並びに他の動きは、パフォーマーによって解決され、その結果は、制御されたロボット的に合法的手法でアニマトロンの人形の手足に目標を再設定される。

【0023】

顧客１１０によって成された反応を視聴及び／又は聴取することに応答して、ヒューマンオペレータ２０２は、あたかも自分が顧客１１０のためにクッキーの箱を取り出しているかのように環境２００ａ内で移動することができる。その後、図２Ｂを参照すると、ヒューマンオペレータ２０２は、あたかも自分が１又は２以上の待機中の顧客１１０に取り出した箱を供給しているかのように環境２００ｂ内で移動することができる。

【0024】

ヒューマンオペレータ２０２の移動は、デジタルキャラクタ１０６によってデジタル領域内で再現される。例えば、デジタル領域において、デジタルキャラクタ１０６は、クッキーの箱を取り出し、その後、出力チャネル１０８に向かう方向に移動する。

【0025】

上記において、ヒューマンオペレータ２０２の移動は、モーションキャプチャシステムを使用してモニタリングすることができる。次に、１又は２以上の実施形態によるモーションキャプチャシステムについて更に詳細に説明する。

【0026】

光学システム（又は光学モーションキャプチャシステム）は、イメージセンサーからキャプチャされたデータを利用して、重なり合う投影像を提供するように較正された２又は３以上のカメラ間で被検体の３Ｄ位置を三角測量する。データは、俳優（例えば、ヒューマンオペレータ２０２）に取り付けられたマーカーを使用してキャプチャすることができる。多くのパフォーマーの追跡又はキャプチャ区域の拡張は、複数のカメラを増加することによって達成することができる。

【0027】

光学システムに関して、オクルージョンは、モデルマーカー点が多数の点内に存在しないとき、例えば、観測点の数がモデルマーカー点の数よりも少ないいときに発生する。このような事象は、マーカーとカメラとの間の１又は２以上の不透明な物体の介入又はマーカーがカメラ視野（ＦＯＶ）から外れたときなど、様々な理由のうちの何れかに起因して発生する場合がある。

【0028】

少なくとも１つの実施形態によれば、ドリフト補正システムは、慣性モーションキャプチャシステムの１又は２以上の態様と共に、光学モーションキャプチャシステムの１又は２以上の態様を（例えば、ハイブリッド化して）含む。このようなシステムは、（環境２００ａなどの）キャプチャ区域内で位置的に正しい、及びある期間にわたってドリフトしないオクルージョンなしのモーションキャプチャを可能にすることができる。

【0029】

慣性モーションキャプチャシステムの態様は、当技術分野で既知の慣性ボディキャプチャスーツの使用を含む。慣性ボディキャプチャスーツは、図２Ａを参照して上述したように、ヒューマンオペレータ２０２のライブモーションキャプチャを容易にするタイプのものとすることができる。例えば、このような慣性ボディキャプチャスーツは、ヒューマンオペレータ２０２の関節角度を測定して、例えば、歩数を数えることによって初期開始点からのオペレータの位置を推定する。この点に関して、慣性モーションキャプチャシステムは、スーツに含まれる磁力計に基づいて近似的結果を生成するので、誤差が経時的に累積される可能性がある。例えば、慣性モーションキャプチャシステムは、真北の位置に近似する場合があるが、誤差は、磁力計の精度への自然磁気干渉の影響に起因して生じる可能性がある。

【0030】

磁気干渉によって引き起こされるもののような、オクルージョン及びアーチファクトなどの現象を補正を助けるために、システムは、慣性モーションキャプチャシステム及び光学システムの両方の態様を使用することができる。少なくとも１つの実施形態によれば、光学システムの態様は、典型的にフルボディモーションキャプチャに使用できる光学システムのものよりもより簡素なものであろう。例えば、光学システムを用いて、俳優のウェストに焦点を合わせることができる。少なくとも１つの実施形態によれば、光学システムは、ヒューマンオペレータ２０２によって着用可能な剛性装置（又は剛体）を使用することを含む。少なくとも１つの実施形態によれば、慣性モーションキャプチャシステムからのデータ及び光学システムからのデータが組み合わされ（又はともに融合され）て、デジタルキャラクタ（例えば、デジタルキャラクタ１０６）を駆動するのに使用される。

【0031】

一例として、回転及び地面からの高さ（図２ＡのＹ軸を参照されたい）に関するデータは、慣性モーションキャプチャシステムの慣性ボディキャプチャスーツから受け取ることができ、水平面（例えば、図２Ａのｘ軸及びＺ軸によって定められた平面を参照されたい）に関するデータは、光学システムから受け取ることができる。

【0032】

上述のように、光学モーションキャプチャシステムは、剛体を含むことができる。剛体は、ドリフト補正されているヒューマンオペレータ２０２に安定的に取り付けることができる。少なくとも１つの実施形態によれば、剛体は、そこに配置されたマーカーを含む。例えば、マーカーは、再帰反射型マーカーとすることができる。このようなマーカーは、剛体が光学モーションキャプチャシステムによって認識可能又は識別可能である一意のアイデンティティ（例えば、マーカーの構成又は配置）を有するように、固有パターンで剛体上に配置することができる。

【0033】

図３は、少なくとも１つの実施形態による、剛体５０２の実施例を示す。例示するように、剛体５０２は、ベルトの形態を取ることができる。ベルトは、人（例えば、ヒューマンオペレータ２０２）のウェストの周りに着用するように構成される。剛体５０２は、比較的嵩が小さく、剛体の着用者が移動する間、剛体は、着用者に対して独立して移動することなく着用者の腰部と共に移動するようになる。剛体５０２は、極めて剛性の材料で作ることができ、均一な幅（例えば、１又は２インチ）を有することができる。マーカー５０６は、剛体５０２の周囲に沿って位置決めすることができる。上述のように、マーカー５０６は、固有のパターンで剛体上に位置決めすることができる。例えば、図３に例示する実施例において、合計２５個のマーカー５０６は、固有のジグザクパターンで剛体５０２の周囲に沿って配置される。

【0034】

代替として、ベルト上に直接にマーカー５０６を位置決めする代わりに、マーカー５０６は、ベルト上に（直接に）位置決めされる１又は２以上の剛体を介してベルト上に（間接的に）位置決めすることができる。この代替の実施例において、マーカー５０６は、剛体上に直接に配置することができ、剛体は、ベルト上に配置される。例えば、５つのマーカー５０６は、合計５つの剛体の各々に配置することができ、剛体は、ベルト上に配置される。ベルト上の剛体の配置（並びに剛体上のマーカーの配置）は、固有のパターンとすることができる。

【0035】

許容可能なレベルのドリフト補正を達成するためには、わずか１つの光学マーカーで十分とすることができることは理解される。しかしながら、少なくとも１つの実施形態によれば、オクルージョンに対してより高いレベルの堅牢性を達成するために、２又は３以上の光学マーカーが利用される。

【0036】

光学システムに関して、ここで「外部」システムを参照しながら様々な実施形態を説明する。このような実施形態によれば、２又は３以上のカメラのアレイは、キャプチャ区域（例えば、部屋）の周辺付近に設置される。カメラは、剛体（ヒューマンオペレータによって着用された）がキャプチャ区域付近を動き回るときに、キャプチャ区域並びに１又は２以上のマーカー（例えば、剛体５０２上のマーカー５０６）のビューをキャプチャする。静止カメラは、移動するマーカーを観測し、従って、コンピュータアニメーションソフトウェアにおいて剛性物体（例えば、コンピュータによって生成された骨）に解決される移動するマーカーに関するデータ（例えば、正確な回転及び並進）を提供する。

【0037】

図４は、キャプチャ区域（部屋）４００の３Ｄビューを示す。少なくとも１つの実施形態において、１又は２以上のカメラが、キャプチャ区域４００内に配置される各タワー上に設置される。例えば、図４に例示するように、４つのタワー４０２は、キャプチャ区域４００に配置され、１つのタワー４０２が各コーナーに位置する。例示の目的で、各タワー４０２は、幅２フィートで厚さ１インチのアルミニウムプレートを含む、高さ８フィートのボックストラスとすることができる。タワー４０２の各々は、３つのカメラ４０６を設置することができる。１つのタワー４０２内に、カメラ４０６は、互いから―例えば、タワーの高さに沿って互いの間で約２フィート、互いに離間させることができる 。

【0038】

カメラ４０６は、ボックストラスに挿入される小さいアルミニウムプレート上に存在することができる。また、ギア付きの３方位置決めヘッドがプレート上に存在することができる。カメラ４０６は、位置決めヘッドに取り付けることができ、ヘッドは、正確な回転に設定され、頭部の照準が完了すると所定位置にロックされるようにギアで調整することができる。上述のように、タワー４０２は、キャプチャ区域４００のコーナーに位置決めされる。

【0039】

各タワー４０２は、固有のデータを生成する。カメラ４０６の較正中、静止物体（例えば、剛体５０２）は、キャプチャ区域４００の中央に配置することができる。カメラ４０６は、静止物体から三角測量するように光学システムを構成することによって、同時に較正することができる。これに伴って、部屋内の静止物体位置を決定することができる。上述のように、水平面（例えば、図２Ａのｘ軸及びＺ軸によって定められた平面を参照されたい）に関するデータは、光学システムから受け取ることができる。このようなデータは、回転及び地面からの高さ（例えば、図２ＡのＹ軸を参照されたい）に関するデータと組み合わせる（又は融合させる）ことができ、このデータは、慣性モーションキャプチャシステムの慣性ボディキャプチャスーツから受け取られる。データの組み合わせを使用して、デジタルキャラクタのアニメーションを生成することができる。例えば、慣性座標系から受け取られた回転データを使用して、デジタルキャラクタのスケルトンをアニメ化することができ、光学システムから受け取られたデータを使用して、デジタルキャラクタの腰部の位置を補正することができる。

【0040】

光学システムに関して、「外部」システムを参照しながら様々な実施形態を説明してきた。少なくとも別の実施形態によれば、「固有の」システムが利用される。このようなシステムにおいて、カメラは、固有のパターンに従ってキャプチャ区域内に（例えば、部屋の天井、床及び／又は壁にわたって）位置するマーカーをモニタリングするためにヒューマンオペレータによって着用される。ヒューマンオペレータが部屋を動き回るときに、カメラは、ヒューマンオペレータと共に移動し、静止マーカーをモニタリングして、部屋の壁部、床、又は天井にある固定マーカーに対する部屋内での固有の回転及び位置の正確な推定を生成することができるようになる。

【0041】

上述のように、剛体及び／又はベルト上に配置されたマーカーは、再帰反射型マーカーとすることができる。少なくとも１つの他の実施形態によれば、光学モーションキャプチャシステムによって検出可能な波長の光を放出する発光素子（ＬＥＤ）とすることができる。

【0042】

上述のように、ドリフト補正システムは、光学モーションキャプチャシステムの態様を慣性モーションキャプチャシステムの態様と組み合わせる（又は混成する）ことによって生成される。少なくとも１つの他の実施形態によれば、ドリフト補正システムは、磁気モーションキャプチャシステムの態様を慣性モーションキャプチャシステムの態様と組み合わせる（又は混成する）ことによって作成される。このような実施形態は、光学モーションキャプチャシステムを使用する実施形態に関して上述した方法と同様に動作することができる。例えば、磁気「マーカー」は、ヒューマンオペレータ上に配置することができる。部屋の両端には、磁気検出システムを配置することができる。磁気検出システムは、磁場を放射して磁気マーカーによって磁場に引き起こされた磁気干渉を検出することができる。検出された干渉を使用して、磁気マーカーの位置を決定することができる。

【0043】

少なくとも１つの実施形態において、Ｗｉ－Ｆｉ技術を使用する技術を利用することができる。このような実施形態は、磁気モーションキャプチャシステムを使用する実施形態に関して上述した方法と同様に動作することができる。例えば、１又は複数のＷｉ－Ｆｉアンテナは、部屋の周りに配置することができ、Ｗｉ－Ｆｉエミッターは、ヒューマンオペレータ上に配置することができる。ヒューマンオペレータが部屋内で移動すると、Ｗｉ－Ｆｉエミッターは、一方のアンテナ又はもう一方のアンテナに接近又は離れて移動することができる。アンテナにて受け取られた信号の特性を使用して、部屋内のエミッターの位置を決定することができる。

【0044】

少なくとも１つの実施形態において、音響技術を使用する技術を利用することができる。このような実施形態は、光学モーションキャプチャシステムを使用する実施形態に関して上述した方法と同様に動作することができる。この点に関して、少なくとも２つの構成のうちの一方を使用することができる。例えば、１つの構成において、マイクロホンは、ヒューマンオペレータ上に配置され、超音波エミッターは、部屋の周りに配置される。別の例として、別の構成において、エミッターは俳優上に配置され、マイクロホンは、部屋の周りに配置される。音響技術を使用する実施形態において、飛行時間（ＴｏＦ）を使用して、ヒューマンオペレータ（例えば、マイクロホン又はエミッター）上に配置される物体が何であれその位置を決定することができる。反響定位が機能するのと同様に、エミッターは、超音波ピング音を放出し、マイクロホン（又はマイクロホンアレイ）は、ピングを検出してエミッターからマイクロホンまでの遅延（飛行時間）に基づいてピング音が進む距離を算出する。

【0045】

少なくとも１つの実施形態において、１又は２以上の深度カメラを利用して、部屋内のヒューマンオペレータの位置を決定することができる。例えば、深度カメラは、赤外線（ＩＲ）グリッドを投影し、その後、どのようにヒューマンオペレータがそのグリッドを歪曲させているかを検出して、オペレータがどこにいるか及びオペレータによって成された移動を決定することができる。別の実施例として、ＩＲ ＬＥＤのアレイが順次的に点滅し、ＬＥＤからの光が点灯して、ヒューマンオペレータから反射した後、深度カメラに戻るときにＴｏＦ計算を行って深度計算を行うことができる。

【0046】

少なくとも１つの実施形態において、マーカーを使用する必要がない。例えば、より簡素なシステムにおいて、１又は２以上のビデオカメラを使用して、ヒューマンオペレータ又は剛体上の特定の特徴を追跡し、部屋内のヒューマンオペレータの位置を決定することができる。

【0047】

図５の環境３００を参照すると、物理的領域において、クッキーが入っている箱３０２は、出力チャネル１０８にて供給される。例えば、システム１０２は、（例えば、ヒューマンオペレータ２０２によって）制御されるときに、品目を供給するディスペンサを含むことができる。

【0048】

図１を参照して上述されたように、システム１０２は、少なくとも１つのビデオキャプチャデバイス（例えば、カメラ）及び少なくとも１つのオーディオキャプチャデバイス（例えば、マイクロホン）を含む。カメラ及びマイクロホンは、仮想世界内に存在することができ、仮想現実において顧客が体験できることは理解される。例えば、顧客は、ジョイスティック、マウス、又は仮想現実（ＶＲ）又はモーションキャプチャ入力など、入力デバイスを介してデジタル領域内に存在するデジタルアバターを制御することができる。相互作用は、物理領域内で依然として発生する品目（例えば、箱３０２）の販売/供給を除いて、デジタル領域内に発生する。例えば、顧客は、ゲームをプレイし、ゲームは、顧客に対応するゲームキャラクタと相互作用し、顧客と直接には相互作用しない。この状況において、顧客は、デジタルアバターとしてデジタル領域に入って体験し、デジタルアバターの動きは、物理領域内で提供された入力に基づいて顧客によって制御される。このため、アバターは、何らかの方法でデジタル領域内で移動する（例えば、歩行、ジャンプ、飛行、テレポート）ように制御することができる。デジタルアバターの存在がデジタル領域内で検出されたときには、デジタルアバターとの相互作用は、物理領域（例えば、環境１００）内で顧客の存在が検出されたときに顧客との相互作用が開始されるのと同様に開始される。顧客が物理領域内で発生する変化（例えば、品目の供給）をトリガーすると、変化は、物理領域内で実現される。

【0049】

また、図１、図２Ａ、図２Ｂ、図３、及び図４を参照して上述したように、デジタルキャラクタ（例えば、デジタルキャラクタ１０６）は、ヒューマンオペレータ（例えば、ヒューマンオペレータ２０２）のライブモーションキャプチャを介して作成することができる。ライブモーションキャプチャ駆動動作は、デジタルキャラクタ（又は図５の箱３０２などの物体）の特定の部分（又は態様）に適用することができ、又は適切であるときにはデジタルキャラクタ全体又は小道具を駆動することができる。１又は２以上の実施形態によれば、ヒューマンオペレータは、リアルタイム楽器用デジタルインターフェース（ＭＩＤＩ）入力及び／又はコントローラ、キーボード、ジョイスティック、マウス、フットペダル、マイクロホンなどなどのデバイスを使用するデジタル人形操りによりデジタルキャラクタのパフォーマンスを駆動する。このような実施形態において、ライブモーションキャプチャは、排他的に使用されない場合がある。例えば、モーションキャプチャを使用して、デジタルキャラクタの顔のパフォーマンスを駆動することができ、パフォーマンスの残りの態様は、トリガーされた入力デバイスを使用して駆動される。１又は２以上の他の実施形態によれば、デジタルキャラクタ１０６は、ヒューマンオペレータのライブモーションキャプチャを介して作成することができる。

【0050】

１又は２以上の他の実施形態によれば、デジタルキャラクタに関するパフォーマンス及び意思決定は、ゲームエンジンに常駐する人工知能（ＡＩ）キャラクタによって完全に作成される。

【0051】

１又は２以上の他の実施形態によれば、デジタルキャラクタに関するパフォーマンス及び意思決定は、ＡＩゲームエンジン駆動キャラクタ及びヒューマンモーションキャプチャの組み合わせを使用して達成することができる。一例として、特定の時間の間に、例えば、顧客が関わってくるのをシステムが待機している間、デジタルキャラクタは、ＡＩによって（例えば、環境動作又は他のキャラクタベースアニメーションのループを再生することによって）少なくとも部分的に駆動することができる。別の時間では、ＡＩによる駆動からモーションキャプチャによる駆動への移行が起こることができる。例えば、システムが顧客１１０の存在を検出すると、デジタルキャラクタのパフォーマンス（例えば、アニメーションコントロール）は、ヒューマンオペレータに移行させることができ、ヒューマンオペレータは、より親しみを感じるように顧客と相互作用することができる。このような移行に至ると、システム１０２は、デジタルキャラクタのパフォーマンスに対する少なくとも部分的な制御が与えられることになることをヒューマンオペレータに信号で伝えることができる。例えば、システム１０２は、デジタルキャラクタの声のパフォーマンス、デジタルキャラクタの顔のパフォーマンス、又はデジタルキャラクタのパフォーマンス全体に対する制御が与えられることになることをヒューマンオペレータに知らせるオーディオ及び／又は映像指標を提供することができる。

【0052】

同様に、モーションキャプチャによる駆動からＡＩゲームエンジン技術による駆動への移行が発生することができる。このようなＡＩ技術によって行われる決定は、システム１０２のビデオキャプチャデバイス（例えば、カメラ）及び／又はオーディオキャプチャデバイス（例えば、マイクロホン）によってキャプチャされたデータの分析に基づくことができる。例えば、カメラによってキャプチャされたデータの分析を使用して、0様々な顧客１１０の位置だけでなく、特定の顧客の特定の特性、例えば、１人の顧客１１０が着用している青色の衣料品（例えば、シャツ）又は別の顧客１１０のブロンド色の髪を識別することができる。このように、デジタルキャラクタのパフォーマンスがＡＩゲームエンジン技術によって（ヒューマンオペレータによってではなく）駆動されているときでも、デジタルキャラクタは、依然としてある程度まで顧客１１０と相互作用することができる。例えば、デジタルキャラクタの眼は、デジタルキャラクタの「注視」が顧客１１０によって行われた動きに追従しているように見えるよう駆動することができる。また、例えば、デジタルキャラクタは、特定の顧客１１０に手を振り、及び／又は青色の衣料品を着用している顧客１１０又はブロンドの髪の顧客１１０に多少なりともカスタマイズされた又は個人化された挨拶するように駆動することができる。

【0053】

同様に、マイクロホンによってキャプチャされたデータの分析を使用して、少なくともある程度まで顧客１１０と連動することができる。例えば、このような分析によって、特定の特性（例えば、特定の閾値オーディオレベルを超える音）を有するものとして音を検出すると、デジタルキャラクタのパフォーマンスは、（準備されていた）アニメーションの特定のクリップによって選択的に駆動することができる。このようなクリップにおいて、デジタルキャラクタの眼は、あたかも聞こえた音の発生源を探しているかのようにデジタルキャラクタの注視を上方及び外方にシフトするように見えるよう動かすことができる。別の例として、波形分析は、マイクロホンによってキャプチャされるスピーチオーディオに対して実行することができる。このような分析は、話していた顧客１１０の気分又は感情状態を識別する際に使用することができる。この状況において、デジタルキャラクタが顧客１１０に音声挨拶を送る気分は、波形分析によって識別される気分と一致又は反映するように選択することができる。例えば、顧客１１０の気分がハッピーであるか又は元気であると識別された場合、デジタルキャラクタは、ハッピー又は元気であるように顧客１１０に対処するよう制御することができる。

【0054】

従って、ＡＩゲーム－エンジン技術を使用して、特定の契機（例えば、特定の特性を有する音の検出）に応答して、決定ツリー内の特定のブランチを（例えば、アニメーションの選択したクリップを使用して、デジタルキャラクタのパフォーマンスを駆動する）効果的に実行することができる。これによって、デジタルキャラクタが生きているように見え、物理領域（例えば、環境１００の）内で発生する現実世界の事象に反応することができる可能性を高めることができる。これは、物理領域内で発生する事象に気がつかないように見えながら、キャラクタが単に特定の行動を繰り返すだけであるデジタルキャラクタのパフォーマンスよりも好ましいとすることができる。

【0055】

従って、デジタルキャラクタのパフォーマンスは、常にヒューマンオペレータによって駆動される必要がある訳ではない。例えば、デジタルキャラクタのパフォーマンスは、一部の（又はほとんどの）時間の間にＡＩゲーム－エンジン技術によって、及び選択された時間（例えば、１又は２以上の重要な時間）の間にヒューマンオペレータによって駆動することができる。別の実施例として、デジタルキャラクタのパフォーマンスは、１日の大部分（例えば、１日１２時間の動作で合計１１時間）の間にＡＩゲームエンジン技術によって駆動することができ、デジタルキャラクタの制御は、選択された期間（例えば、このような１日の動作中の選択された時間）の間にヒューマンオペレータに割り当てることができる。期間は、当該期間中に顧客１１０とのより個人化された相互作用を提供するようにするために選択することができる。このような期間の終りに、ヒューマンオペレータは、デジタルキャラクタのパフォーマンスの制御をＡＩゲームエンジン技術に戻すことができる。この戻りは、顧客１１０の観点から、より継ぎ目のない移行をもたらすように一度に発生するよう選ぶことができる。ヒューマンオペレータは、例えば、画面上のインターフェース、キーボードトリガー、ボタン、又はジョイスティック入力を手動で操作することによって当該の時間にてデジタルキャラクタのパフォーマンスの制御を戻すことができる。

【0056】

少なくとも１つの実施形態において、デジタルキャラクタのパフォーマンスは、ある時間では、ヒューマンオペレータによって並びにＡＩゲームエンジン技術によって同時に駆動することができる。例えば、デジタルキャラクタが、顧客１１０との相互作用においてＡＩによって少なくとも部分的に駆動される場合、ヒューマンオペレータは、デジタルキャラクタのパフォーマンスを高めることを望む場合がある。この状況において、ヒューマンオペレータは、１又は２以上の方法でＡＩ駆動されたパフォーマンスを制御することができる。例えば、ヒューマンオペレータが、単にハッピーであるか又は元気であるだけでなくて、特にハッピーであるか又は元気であると顧客１１０の気分を識別した場合、ヒューマンオペレータは、同様に強めた方法で顧客１１０に対処するようにデジタルキャラクタを制御することができる。このような制御は、例えば、画面上のインターフェース、キーボードトリガー、ボタン、又はジョイスティック入力を手動で操作することによって実行することができる。このようにして、デジタルキャラクタのパフォーマンスは、少なくとも部分的にヒューマンオペレータによって（一時的に）導くことができる。

【0057】

以下で更に詳細に説明する実施形態によれば、複数のデジタルキャラクタをディスプレイデバイス１０４で示すことができる。このようなキャラクタの各々は、上述のように、ＡＩゲームエンジン駆動キャラクタ及びヒューマンモーションキャプチャのそれぞれの様々な組み合わせを介して制御することができる。

【0058】

様々な実施形態を参照して上述したように、環境１００内に発生する行動（又は非行動）、特に顧客１１０によって行われる行動（又は非行動）は、例えば、カメラ及びマイクロホンによってキャプチャされる。環境１００（例えば、環境１００内の１又は２以上の特定の区域）内で顧客１１０の存在が検出されると、顧客との相互作用が開始される。検出は、付加的に及び／又は代替として、他のデバイスを使用して実行することができることは理解される。このような他のデバイスは、圧力パッド、深度カメラ、音波範囲検出デバイス、光ビームデバイス、及び／又は熱又は音検出デバイスを含む。

【0059】

デバイスは、顧客の存在だけでなく、また、顧客の頭部高さ及び体位置など他のパラメータを検出することができる。例えば、顧客は、顧客の体位置及び高さを決定するために、ビデオカメラ、深さセンサー、又は破断され光又は音波ビームを使用して検出することができる。（例えば、ディスプレイデバイス１０４の位置に関連する）このような情報の認識により、角度補正をデジタルキャラクタ１０６の頭部又は眼に対して行うことを可能にし、デジタルキャラクタの目線が顧客の１又は２以上の顧客の目線とより密接に整合することができるようになる。このようなデバイスは、顧客の頭部高さをより正確に検出することによって、デジタルキャラクタの目線を効果的に「調整する」ことができる。

【0060】

また、様々な実施形態を参照して上述したように、相互作用は、デジタル領域及び物理領域の両方に対するデジタルキャラクタと顧客との間の１又は２以上の相互作用を含む。例えば、デジタル領域において、デジタルキャラクタは、顧客のために品目（例えば、クッキーの箱３０２）を用意又は調達するステップを実行することができる。物理領域において、品目は、リアルタイムで顧客に与えられ（又は販売され）、品目が（例えば、出力チャネル１０８にて）顧客により取り出し又は収集することができるようになる。１又は２以上の更なる実施形態によれば、品目は、別の場所で（例えば、環境１００外のどこかで）顧客によって品目を取り出すことができるように提示される。１又は２以上の更なる実施形態によれば、品目は、後日又は後で（例えば、通常の郵便によって）顧客に供給される。

【0061】

１又は２以上の他の実施形態によれば、デジタルキャラクタと顧客との相互作用は、環境１００の物理領域における変化を引き起こす（又はもたらす）相互作用を含む。例えば、システム１０２は、デジタルキャラクタと顧客との綱引きゲームの実行を容易にするプーリーを含むことができる。

【0062】

一例として、デジタルキャラクタのパフォーマンスを制御しているヒューマンオペレータ２０２は、「私と綱引きゲームをプレイしたい人はいますか？」と尋ねる。従って、デジタル領域において、デジタルキャラクタ１０６が、「私と綱引きゲームをプレイしたい人はいますか？」と顧客１１０に尋ねる。物理領域内で、顧客１１０は、これに応じ反応することができる。例えば、１人の顧客１１０は、手を挙げることができる。別の例として、別の顧客１１０は、「はい！」と叫ぶことができる。

【0063】

顧客１１０によって成された反応を視聴及び／又は聴取することに応答して、ヒューマンオペレータ２０２は、あたかもヒューマンオペレータ２０２が、プレイされるゲームのロープを取り出しているかのように環境２００ａ内で移動することができる。その後、ヒューマンオペレータ２０２は、あたかもヒューマンオペレータ２０２が１又は２以上の待機中の顧客１１０に向けて取り出されたロープを移動させているかのように環境２００ｂ内で移動することができる。

【0064】

ヒューマンオペレータ２０２の行動は、デジタルキャラクタ１０６によってデジタル領域内で再現される。例えば、デジタル領域において、デジタルキャラクタ１０６は、ロープを取り出し、その後、出力チャネル１０８に向かう方向に移動する。

【0065】

物理領域内で、ロープの自由端は、出力チャネル１０８を介して外方に伸張される。ロープの他端は、顧客１１０の視野から隠されるプーリーシステムに結合することができる。顧客のうちの１人がロープを掴んだ後、綱引きのゲームが始まることができる。

【0066】

１又は２以上の更なる実施形態によれば、環境１００の物理領域の変化を引き起こす他の相互作用の実施例は、デジタル領域内のデジタルキャラクタによる行動（例えば、つまづき又は転倒）に応答して移動される（例えば、ひっくり返される）物理領域内の物体、デジタル領域内のデジタルキャラクタによる行動に応答して点灯／消灯するように制御される物理領域内の光、及びデジタル領域内でのデジタルキャラクタによる行動に応答して変化される物理領域内の何らかの他の態様を含む。

【0067】

同様に、システム１０２によって検出された物理領域内の顧客による行動により、デジタル領域内の変化が生じる可能性がある。例えば、顧客による顔の応答又は表情、顧客の体位、顧客によって成された他の動き、又は顧客によって成された音声反応又は音を検出し、関連する事象をデジタル領域内で発生させることができる。

【0068】

物理領域とデジタル領域との相互作用は、顧客及びデジタルキャラクタを含む相互作用に限定されない。例えば、検出される物理領域内の１又は２以上の特定の物体の存在は、結果的に、デジタル領域の変化をもたらす場合があり、その逆もまた同じである。例えば、変化は、デジタル領域における対応する又は関連する物体を含むことができる。一例として、意図的に又は偶発的に物理領域内で顧客によって移動される物体の後に、デジタル領域内でのデジタルキャラクタによる対応する又は関連する物体の移動が続くことができる。

【0069】

環境１００の物理領域内の変化を引き起こすことは、顧客がデジタル領域内の１又は２以上のデジタルキャラクタと関与することになる可能性を高めるように実行することができる。顧客の関与が検出されず、デジタルキャラクタのパフォーマンスがＡＩによって少なくとも部分的に作成される場合、システム１０２は、検出された関与について連続的（又は周期的）にモニタリングするループ状態に入ることができる。代替的に（又は付加的に）、システム１０２は、顧客にデジタルキャラクタと係合する動機を与えるために、追跡アニメーションを表示し始めることができる。代替的に（又は付加的に）、システム１０２は、顧客の存在が検出されるまで、特定のセットのアニメーションが表示される待機状態に戻ることができる。

【0070】

様々な実施形態を参照して上述したように、クッキーの箱などの物体は、顧客による取り出しのために（例えば、出力チャネル１０８を介して）供給することができる。この状況において、物体は、顧客による要求（例えば、顧客が「はい！」と言うこと）が検出された後の比較的直ぐに供給することができる。他の状況において、供給は、一定の遅延後に行うことができる。例えば、おもちゃの剣を顧客に供給することができる。物理領域において、予め作製されたおもちゃの剣は、出力チャネルの受け取り端部に配置するように取り出すことができる。しかしながら、デジタル領域において、デジタルキャラクタは、鍛冶屋でおもちゃの剣を（例えば、原材料から）作製することができる。このような状況において、アニメーションループ（又はシーケンス）は、ディスプレイデバイス（例えば、ディスプレイデバイス１０４）にて表示され、おもちゃの剣の作製を示すことができる。このようなループの表示は、おもちゃの剣の供給が発生することになることを示すフィードバックが物理領域内で受け取られるまで続くことができる。このようなフィードバックが受け取られると、ループの表示が終了し、デジタル領域において、おもちゃの剣の作製が完了する。このようなフィードバックの実施例について、以下で更に詳細に説明する。

【0071】

別の実施例によれば、物体は、物理領域内で何らかの準備時間を必要とする品目とすることができる。例えば、物体は、顧客によって要求される（又は注文される）食品（例えば、ボール１杯のスープ麺）とすることができる。

【0072】

要求が受け取られる前に、最初に顧客の存在を検出することができる。様々な実施形態を参照して上述したように、（例えば、環境１００における）１又は２以上の顧客の移動を検出することができる。１又は２以上の移動（例えば、ディスプレイデバイス１０４に向かう移動などの１又は２以上の特定の移動）が検出されると、顧客による関与を求める行動が実行される。例えば、システム１０２がキッチン又は食品トラックの外側に視覚的に類似するように設計されたときに、シーケンス（例えば、ゲームシーケンス）は、ディスプレイデバイス１０４が食物を準備している１又は２以上のデジタルキャラクタを表示するように開始される。例えば、デジタル領域において、デジタルキャラクタは、野菜を細かく切る、麺を料理する、その他を行う。

【0073】

料理用スプーン又はポットなど、デジタル領域における１又は２以上の品目の表現は、幾つかの方法で制御することができる。例えば、品目は、モーションキャプチャによって追跡することができる俳優（例えば、図２Ａのヒューマンオペレータ２０２）により携行されているスプーン（例えば、プラスチック又は発泡材で作製された）など、物理領域内に存在する対応物を有することができる。別の実施例として、品目の表現は、品目がビデオゲーム内の物体のようなゲームエンジン内に存在するときには、デジタル的に制御することができる。この状況において、俳優は、自分が品目を手に取りたいことをゲームエンジンにアラートするために、把持ジェスチャーを行って手を品目の近くに置くことによって、品目と相互作用することができる。俳優はまた、コントローラ又はボタン押しを介して把持するジェスチャーをトリガーすることができる。別の実施例において、俳優は、ボタンを押すことによって、又は特定の『ゾーン』に手を伸ばすことによって、品目が見えない所から俳優の手に出現するようにトリガーすることができる。

【0074】

図２Ｂを参照して上述したように、デジタル領域において、デジタルキャラクタ１０６は、１箱のクッキーを取り出す。俳優は、空中に手を伸ばして、デジタルキャラクタ１０６の手がディスプレイ（例えば、ディスプレイ１０４）に対してフレーム外（例えば、フレームの直ぐ外）に存在するデジタル領域内の目に見えない立方体に入るようにすることによって、ボックスのこの取り出しを達成することができる。デジタルキャラクタ１０６の手がこのゾーンに入ると、箱は、デジタル領域内で俳優の手の中に配置される。俳優が物理領域内で腕を下げると、箱は、デジタル領域内でデジタルキャラクタ１０６の手の中に現れ、あたかもデジタルキャラクタ１０６が画面外に手を伸ばして目に見えない棚から箱を引き出すように見える。

【0075】

別の実施例によれば、デジタル領域内の１又は２以上の品目と物理領域内の１又は２以上の品目との組み合わせが利用される。例えば、このような組み合わせ利用して、デジタルキャラクタによるデジタル領域におけるニンジンの細断を達成することができる。この組み合わせは、俳優によって保持され且つデジタル領域内のナイフに対応する物理領域内の対応物（例えば、物理的小道具）と、デジタル領域にのみ存在するニンジンとを含むことができる。物理的小道具の動きは、ナイフがデジタルキャラクタの手に表れて相応に動くように追跡される。ナイフの刃先がデジタル領域内でニンジンの近くに移動すると、ニンジンは、複数片にスライスされるように示される。ナイフの側面がニンジン片の近くに持ってこられると、ニンジン片は、まな板の縁部から離れてポットに移されるように示すことができる。ニンジン片のこの動きはまた、デジタルキャラクタの手によって直接に引き起こされるように示すことができる（例えば、ニンジン片をポット内に掃引するように身振りで示す俳優によって）。しかしながら、より高度の現実性を達成するために、ナイフ（デジタルキャラクタの手でなく）のみがニンジンを複数片にスライスできることは理解される。

【0076】

トリガーされた動作はまた、同様にして達成することができる。このような動きは、例えば、典型的な非熟練者が容易には実行できない格闘技の動きを含むことができる。これらの動きは、ライブの動きから１又は２以上の予め準備された動きに融合させるコントローラ上のボタン押しによってトリガーすることができ、或いは、システムによって認識されるときにトリガーされた動きを始動するジェスチャー（例えば、代替ジェスチャー）を俳優が行うことによってトリガーすることができる。例えば、俳優は、自分の足を蹴ることができ、システムは、このキックを特別なカンフージャンプキックシーケンスのトリガーとして認識することができる。更なる実施例によれば、トリガーされた動きは、デジタルキャラクタのパフォーマンスを完全には駆動しない。例えば、デジタルキャラクタの身体の１又は２以上の部分のみをトリガーされた動きによって駆動することができる。一例として、トリガーされた動きがデジタルキャラクタの胴体、腕及び／又は脚部によって実行される間、デジタルキャラクタの顔は、依然として俳優によって（例えば、モーションキャプチャを介して）制御することができる。

【0077】

顧客の存在の検出に戻ると、検出された顧客からの要求が受け取られる。要求の受け取りは、（口頭での要求を受け取って処理するために）自然言語処理を使用することを含む場合がある。代替的に（又は付加的に）、要求の受け取りは、顧客によって操作可能なインターフェースを使用することを含むことができる。例えば、顧客は、タッチスクリーン上のボタンを操作するか、又はマシンに挿入されて読み取られる命令カードに記入することができる。

【0078】

顧客が特定の品目を要求した後、品目の準備が物理領域内で始まる。例えば、環境１００の近傍に位置する食品調理者（例えば、コック）は、要求された項目を調理し始める。

【0079】

同時に、デジタル領域において、品目の調理を示す行動が発生する。このような行動は、顧客の要求に基づいてカスタマイズすることができる。例えば、スープ麺が追加のニンジンを含むという顧客の要求に基づいて、実行されるシーケンスは、デジタル領域のキッチン全体にわたって飛翔するニンジンの表示を含むことができる。

【0080】

ディスプレイデバイス１０４にて表示されるアニメーションは、物理領域における要求された品目の調理が進行中である間、連続的に制御することができる。例えば、要求された品目の調理の間、例えば、調理が終る前により多くの時間が必要であることを示すフィードバックが、食品調理者から受け取ることができる。このようなフィードバックにより、特定のシーケンスの更なるループを表示させることができる。ここで、ディスプレイデバイス１０４にて表示されるアニメーションは、特定のデジタルキャラクタのパフォーマンスを様々な実施形態を参照して上述したように制御できる方法と同様に、ＡＩゲームエンジン技術によって並びにヒューマンオペレータによって同時に制御することができることは理解される。

【0081】

加えて、要求された品目が完成に近づいているか又は完成したときに、アニメーションは制御し続けることができる。例えば、品目が出力の準備ができていることを示す、フィードバックを食品調理者から受け取ることができる。フィードバックは、決定された場所に物品（例えば、要求された品目）が置かれていることを感知する圧力センサーから生じることができる。従って、食品調理者は、品目が出力の準備ができたことを示すフィードバックを提供するために、要求された品目を圧力センサーの近くに又は圧力センサーに置くことができる。別の例として、システム１０２は、食品調理者によって操作可能であるインターフェースを含むことができる。従って、食品調理者は、タッチスクリーン上のボタンを操作して、品目が出力の準備ができたことを信号で伝えることができる。

【0082】

物理領域内で、品目は、顧客による取り出しに備えて出力チャネル１０８に配置することができる。

【0083】

記載される特徴に基づいて、デジタル領域内で発生する事象（例えば、表示されたアニメーションにて示されるようなデジタルキャラクタによる品目の作成）のタイミングは、物理領域内で発生する事象（例えば、食品調理者による品目の調理）のタイミングとより良好に整合させることができる。例えば、両方の領域内のタイミングがより良好に整合されて、スープ麺の器がデジタル領域内のビューから消えると、出力チャネル１０８の物理領域内で表れるようになる。１又は２以上の特定の実施形態によれば、出力チャネル１０８にて提示される品目は、デジタル領域内に示される品目と外観が一致するように選択される。

【0084】

図６は、少なくとも１つの実施形態による、ディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスを制御する方法６００のフローチャートを示す。

【0085】

ブロック６０２において、特定の実施形態によれば、デジタルキャラクタのパフォーマンスは、ＡＩゲームエンジン技術を使用して制御することができる。例えば、図１を参照すると、デジタルキャラクタ１０６のパフォーマンスは、ＡＩゲームエンジン技術を使用して制御される。

【0086】

ブロック６０４において、物理的環境内に位置する顧客の存在が検出される。例えば、引き続き図１に参照すると、物理的環境１００内に位置する顧客１１０の存在が検出される。

【0087】

更なる実施形態によれば、顧客の存在の検出は、物理的環境内に位置する少なくともカメラ又はマイクロホンから受け取られたデータに基づいて実行される。

【0088】

更なる実施形態によれば、顧客の存在を検出するステップは、顧客の外観の特徴又は顧客の感情状態を自律的に決定するステップを含むことができる。例えば、カメラから受け取られたデータは、顧客１１０が青色の衣料品を着用していると決定する際に使用することができる。別の例として、マイクロホンから受け取られたデータは、顧客１１０はハッピーであるか又は悲しいかを検出及び決定するのに使用することができる。

【0089】

ブロック６０６において、顧客の存在を検出することに応答して、ヒューマンオペレータ、ＡＩゲームエンジン、又はこれらの組み合わせによるデジタルキャラクタのパフォーマンス（又は少なくともその態様）の制御が容易にされる。例えば、図２Ａを参照すると、顧客１１０の存在を検出することに応答して、ヒューマンオペレータ２０２によるデジタルキャラクタ１０６のパフォーマンスの制御が容易にされる。

【0090】

更なる実施形態によれば、デジタルキャラクタのパフォーマンスの制御を容易にするステップは、ヒューマンオペレータによって選択可能な少なくとも１つのオプションを提供するステップを含むことができる。選択可能なオプションは、決定された特徴又は決定された感情状態に応じて顧客に対処するようにデジタルキャラクタを制御するためのものである。例えば、ヒューマンオペレータ２０２が顧客１１０の気分を特にハッピーであるか又は元気であると識別した場合、ヒューマンオペレータは、このような特にハッピー又は元気な方法で顧客１１０に対処するようにデジタルキャラクタ１０６を制御することができる。

【0091】

更なる実施形態によれば、デジタルキャラクタのパフォーマンスの制御を容易にするステップは、ヒューマンオペレータに対応するモーションキャプチャデータを受け取るステップを含むことができる。一例として、モーションキャプチャデータを受け取るステップは、データを光学モーションキャプチャシステム（例えば、図４のカメラ４０６を利用するシステム）から受け取るステップと、データを慣性モーションキャプチャシステム（例えば、ヒューマンオペレータ２０２によって着用される慣性ボディキャプチャスーツを利用するシステム）から受け取るステップとを含むことができる。

【0092】

更なる実施形態によれば、光学モーションキャプチャシステムから受け取られたデータは、ヒューマンオペレータのウェスト領域に位置する１又は２以上の光学マーカーに対応するデータを含むことができる。例えば、光学モーションキャプチャシステムから受け取られたデータは、ヒューマンオペレータのウェスト領域に位置するマーカー５０６に対応するデータを含むことができる。

【0093】

更なる実施形態において、ヒューマンオペレータによるデジタルキャラクタのパフォーマンスの少なくとも一部の制御は、デジタルキャラクタのパフォーマンスがヒューマンオペレータ及びＡＩゲームエンジン技術によって同時に駆動されるように容易にされる。

【0094】

ブロック６０８において、特定の実施形態によれば、顧客から要求が受け取られる。例えば、図１を参照すると、顧客１１０は、１箱のクッキーが提供されることを要求することができる。

【0095】

ブロック６１０にて、要求は、顧客が位置する物理的環境内の変化を引き起こすことによって処理することができる。一例として、要求は、顧客による取り出しのために送出される物理的物体を提供することによって処理することができる。例えば、図５を参照すると、クッキーを含む箱３０２が提供され、顧客１１０による取り出しのために送出される。

【0096】

選択された実施形態において、本明細書で記載される特徴及び態様は、図７に示すように、１又は２以上のコンピュータサーバー７０１を含むことができるコンピューティング環境７００内で実施することができる。サーバー７０１は、１又は２以上のデータストア７０２（例えば、データベース、インデックス、ファイル、又はその他のデータ構造）に動作可能に結合することができる。サーバー７０１は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）（例えば、インターネット）、電話機回路網、衛星又は無線通信ネットワーク、又はこれらもしくは同様のネットワークの何れかの組み合わせを含むデータ通信ネットワーク７０３に接続することができる。

【0097】

１又は２以上のクライアントデバイス７０４、７０５、７０６、７０７、７０８、７０９、７１０は、データ通信ネットワーク７０３を介してサーバー７０１及び対応するデータストア７０２と通信することができる。このようなクライアントデバイス７０４、７０５、７０６、７０７、７０８、７０９、７１０は、例えば、１又は２以上のラップトップコンピュータ７０７、デスクトップコンピュータ７０４、スマートフォン及び携帯電話７０５、タブレットコンピュータ７０６、テレビジョン７０８、モーションキャプチャセンサー７０９、カメラ７１０、又はこれらの組み合わせを含むことができる。動作中、このようなクライアントデバイス７０４、７０５、７０６、７０７、７０８、７０９、７１０は、ユーザー入力デバイス又は他の入力から受け取られたユーザー入力に応答して、データ又は命令をサーバー７０１に送信し、又はサーバー７０１から受信することができる。これに応答して、サーバー７０１は、データストア７０２からのデータの処理、データストア７０２内のデータの変更、データストア７０２へのデータの追加、又は同様のもの、或いはこれらの組み合わせを行うことができる。

【0098】

選択された実施形態において、サーバー７０１は、データ通信ネットワーク７０３を介して、データストア７０２からクライアントデバイス７０４、７０５、７０６、７０７、７０８、７０９、７１０のうちの１又は２以上にオーディオ及び／又はビデオコンテンツ、符号化データ、生成データ、及び／又はメタデータを含む１又は２以上のメディアファイルを送ることができる。デバイスは、ディスプレイ画面、プロジェクタ、又は他の表示出力デバイスを使用して、メディアファイルからオーディオ及び／又はビデオコンテンツを出力することができる。特定の実施形態において、本明細書で記載される特徴及び態様に従って構成されたシステム７００は、クラウドコンピューティング環境内で動作するか、又はクラウドコンピューティング環境をサポートするように構成することができる。例えば、データストア７０２及びサーバー７０１の一部又は全ては、クラウドサーバー内に常駐することができる。

【0099】

図８を参照すると、例示的なコンピュータ８００の例証が示される。システム７００のデバイス７０４、７０５、７０６、７０７、７０８のうちの１又は２以上は、このようなコンピュータ８００として構成することができ、又はこのようなコンピュータ８００を含むことができる。

【0100】

選択された実施形態において、コンピュータ８００は、バス８０３（又は多重バス）又は他の通信機構、プロセッサ８０１、メインメモリー８０４、読取り専用メモリー（ＲＯＭ）８０５、１又は２以上の更なるストレージデバイス８０６、及び／又は通信インターフェース８０２、又は同様のもの、或いはこれらの部分的組み合わせを含むことができる。本明細書で記載される実施形態は、１又は２以上の特定用途向け集積回路（ＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プロセッサ、コントローラ、マイクロホンロコントローラ、マイクロホンロプロセッサ、本明細書で記載される機能を実行するように設計された他の電子ユニット、或いはこれらの選択的な組み合わせ内で実行することができる。全ての実施形態において、本明細書で記載される様々な構成要素は、単一の構成要素として実施することができ、又は代替的に様々な別々の構成要素で実行することができる。

【0101】

バス８０３又は他の通信機構は、複数のこのようなバス又は機構を含み、コンピュータ８００内の情報の通信をサポートすることができる。プロセッサ８０１は、バス８０３に接続されて情報を処理することができる。選択された実施形態において、プロセッサ８０１は、特定のタスクを定める機械可読ソフトウェアコードを実行することによって、本明細書で記載される特徴及び態様による特定のタスクを実行するように構成された特定又は専用のマイクロホンプロセッサとすることができる。メインメモリー８０４（例えば、ランダムアクセスメモリー又はＲＡＭ又は他の動的ストレージデバイス）は、バス８０３に接続されて、プロセッサ８０１によって実行される情報及び命令を格納することができる。メインメモリー８０４はまた、このような命令の実行中に一時変数又は他の中間情報を格納することができる。

【0102】

ＲＯＭ８０５又は何らかの他の静的ストレージデバイスは、バス８０３に接続されて、プロセッサ８０１の静的情報及び命令を格納することができる。更なるストレージデバイス８０６（例えば、磁気ディスク、光ディスク、メモリーカードなど）は、バス８０３に接続することができる。メインメモリー８０４、ＲＯＭ８０５及び更なるストレージデバイス８０６は、情報、命令又はこれらの何らかの組み合わせ、例えば、プロセッサ８０１によって実行されたときにコンピュータ８００に本明細書で記載される方法の１又は２以上の動作を実行させる命令を保持する非一時的コンピュータ可読媒体を含むことができる。通信インターフェース８０２はまた、バス８０３に接続することができる。通信インターフェース８０２は、コンピュータ８００と１又は２以上の外部デバイス（例えば、コンピューティング環境内に収容された他のデバイス）との間の双方向データ通信を提供又はサポートすることができる。

【0103】

選択された実施形態において、コンピュータ８００は、ディスプレイ８０７に（例えば、バス８０３を介して）接続することができる。ディスプレイ８０７は、コンピュータ８００のユーザーに情報を伝達するために任意の適切な機構を使用することができる。例えば、ディスプレイ８０７は、情報をコンピュータ８００のユーザーに視覚表示で提示するために液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、プロジェクタ、又は他のディスプレイデバイスを含むか又は利用することができる。１又は２以上の入力デバイス８０８（例えば、英数字キーボード、マウス、マイクロホン）は、コンピュータ８００に情報及びコマンドを通信するためにバス８０３に接続することができる。選択された実施形態において、１つの入力デバイス８０８は、コンピュータ８００によって提供され、ディスプレイ８０７によって表示された様々なオブジェクト、ファイル、プログラムなどの選択及び実行を可能にするためにカーソルの位置決めの制御を提供又はサポートすることができる。

【0104】

コンピュータ８００は、１又は２以上のビデオファイルを送出、受信、復号、表示、その他などを行うのに使用することができる。選択された実施形態において、このような送信、受信、復号、及び表示は、メインメモリー８０４内に収容された１又は２以上の命令の１又は２以上のシーケンスを実行するプロセッサ８０１に応答したものとすることができる。このような命令は、別の非一時的コンピュータ可読媒体（例えば、ストレージデバイス）からメインメモリー８０４に読み込むことができる。

【0105】

メインメモリー８０４内に含まれる命令シーケンスの実行は、プロセッサ８０１に本明細書で記載される手順又はステップのうちの１又は２以上を実行させることができる。選択された実施形態において、マルチプロセッシング構成の１又は２以上のプロセッサはまた、メインメモリー８０４内に収容された命令のシーケンスを実行するのに使用することができる。代替的に又は付加的に、ファームウェアは、本明細書で記載される特徴及び態様に従って手順又はステップを実行するソフトウェア命令の代わりに又はソフトウェア命令に関連して使用することができる。従って、本明細書で記載される特徴及び態様による実施形態は、ハードウェア回路及びソフトウェアのいかなる特定のセットみ合わせにも限定されないようにすることができる。

【0106】

非一時的コンピュータ可読媒体は、プロセッサ８０１によって実行するための命令を保持するのに関与する、又はコンピュータによって処理するためのデータを格納する何れかの媒体を指すことができ、一時的伝播信号を除いて、全てのコンピュータ可読媒体を含むことができる。このような非一時的コンピュータ可読媒体としては、限定ではないが、不揮発性媒体、揮発性媒体、及び一時的記憶媒体（例えば、キャッシュメモリー）を挙げることができる。不揮発性媒体は、更なるストレージデバイスなど、光学又は磁気ディスクを含むことができる。揮発性媒体は、メインメモリーなど動的メモリーを含むことができる。非一時的コンピュータ可読媒体の一般的な形態は、例えば、ハードディスク、フロッピーディスク、磁気テープ、又は他の何れかの磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤ、Ｂｌｕ－ｒａｙ、又は光学媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、他の何れかのメモリーカード、チップ、又はカートリッジ、又はコンピュータが読み取ることができる他の何れかのメモリー媒体を含むことができる。

【0107】

選択された実施形態において、通信インターフェース８０２は、ネットワークリンクへの又はネットワークリンクを介した外部の双方向データ通信を供給又はサポートすることができる。例えば、通信インターフェース８０２は、データ通信ネットワーク接続を提供する無線ネットワークインターフェースコントローラ又はセルラー無線機とすることができる。代替として、通信インターフェース８０２は、互換ＬＡＮとのデータ通信接続を提供するＬＡＮカードを含むことができる。何れかのこのような実施形態において、通信インターフェース８０２は、情報を伝達する電気信号、電磁信号、又は光学信号を送受することができる。

【0108】

ネットワークリンクは、１又は２以上のネットワークを介して他のデータデバイス（例えば、コンピューティング環境７００に示されるようにクライアントデバイス）にデータ通信を行うことができる。例えば、ネットワークリンクは、ホストコンピュータのローカルネットワークを介して、又はインターネットサービスプロバイダー（ＩＳＰ）によって運用されるデータ設備への接続を提供することができる。ＩＳＰは、次に、インターネットを介したデータ通信サービスを提供することができる。従って、コンピュータ８００は、１又は２以上のネットワーク、ネットワークリンク及び通信インターフェース８０２を介して、プログラムコードを含むコマンド、データ、又はこれらの組み合わせを送受信することができる。このようにして、コンピュータ８００は、リモートサーバー（例えば、サーバー７０１）又はこの何らかの組み合わせとインターフェース接続又は他の方法で通信することができる。

【0109】

本明細書で記載される様々なデバイス、モジュール、端末及び同様のものは、上記で検討したように、コンピュータ可読媒体から読み取られた機械語命令を含むソフトウェアの実行によってコンピュータ上で実施することができる。特定の実施形態において、幾つかのハードウェアの態様は、単一のコンピュータを使用して実施することができ、他の実施形態では、複数のコンピュータ、入出力システム、及びハードウェアを使用して、システムを実施することができる。

【0110】

ソフトウェア実施構成については、本明細書で記載される特定の実施形態は、手順及び機能など別個のソフトウェアモジュールで実施することができ、これらの各々は、本明細書で記載される機能及び動作のうちの１又は２以上を実行する。ソフトウェアコードは、何れかの適切なプログラミング言語で記述されたソフトウェアアプリケーションで実施することができ、メモリー内に格納されてコントローラ又はプロセッサによって実行することができる。

【0111】

上記の説明した実施形態及び特徴は、単に例示的なものであり、本発明を限定するものと解釈するべきではない。本発明の教示は、他のタイプの装置及びプロセスに容易に適用することができる。このような実施形態の記載は、例証を意図しており、特許請求の範囲を限定するものではない。多くの代替形態、修正形態、及び変形形態が当業者に明らかであろう。

【符号の説明】

【0112】

６０２：人工知能（ＡＩ）ゲームエンジン技術を使用してデジタルキャラクタのパフォーマンスを制御する
６０４：物理環境内に位置する人の存在を検出する
６０６：ヒューマンオペレータ、ＡＩゲームエンジン、又はこれらの組み合わせによってデジタルキャラクタのパフォーマンスの制御を容易にする
６０８：要求を人から受け取る
６１０：物理環境内の変化を引き起こすことによって要求を処理する

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】