(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-08-24
(54)【発明の名称】物理領域内で顧客と相互作用するデジタルキャラクタ
(51)【国際特許分類】
G06F 3/01 20060101AFI20220817BHJP
G06F 3/16 20060101ALI20220817BHJP
G06T 13/40 20110101ALI20220817BHJP
H04N 21/442 20110101ALI20220817BHJP
H04N 21/472 20110101ALI20220817BHJP
【FI】
G06F3/01 570
G06F3/16 610
G06F3/16 620
G06T13/40
H04N21/442
H04N21/472
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021572874
(86)(22)【出願日】2020-06-11
(85)【翻訳文提出日】2021-12-08
(86)【国際出願番号】 US2020037314
(87)【国際公開番号】W WO2020252210
(87)【国際公開日】2020-12-17
(32)【優先日】2019-06-11
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2020-05-13
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】511077292
【氏名又は名称】ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー
(74)【代理人】
【識別番号】100094569
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100086771
【氏名又は名称】西島 孝喜
(74)【代理人】
【識別番号】100109335
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【氏名又は名称】那須 威夫
(72)【発明者】
【氏名】シアーリ サラ
(72)【発明者】
【氏名】ゴードン デミアン
【テーマコード(参考)】
5B050
5C164
5E555
【Fターム(参考)】
5B050BA08
5B050BA12
5B050CA07
5B050DA04
5B050FA05
5C164FA22
5C164MA03S
5C164UB41P
5C164UB81S
5C164UD41P
5C164YA11
5C164YA12
5E555AA46
5E555AA64
5E555AA76
5E555BA38
5E555BB38
5E555BC08
5E555CA42
5E555CA47
5E555CB64
5E555CB66
5E555CC22
5E555DA23
5E555DB32
5E555DC19
5E555DC21
5E555DD06
5E555EA22
5E555EA23
5E555FA00
(57)【要約】
ディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスを制御するシステム及び方法が開示される。少なくとも1つの実施形態によれば、ディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスを制御する方法は、物理的環境内に位置する人の存在を決定するステップと、人の存在を決定したことに応答して、ヒューマンオペレータによって、又は人工知能(AI)ゲームエンジンによって、或いはこれらの組み合わせによってディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスの制御を容易にするステップと、を含む。
【選択図】
図6
【特許請求の範囲】
【請求項1】
ディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスを制御する方法であって、
物理的環境内に位置する人の存在を決定するステップと、
前記人の存在を決定したことに応答して、ヒューマンオペレータによって、又は人工知能(AI)ゲームエンジンによって、或いはこれらの組み合わせによって、前記ディスプレイデバイスにて示された前記デジタルキャラクタのパフォーマンスの制御を容易にするステップと、
を含む、方法。
【請求項2】
前記人の存在の決定は、前記物理的環境内に位置する少なくともカメラ又はマイクロホンから受け取られたデータに基づいて実行される、請求項1に記載の方法。
【請求項3】
前記人の存在を決定するステップは、前記人の外観の特徴、前記人の感情状態、又は前記人から生じるオーディオのうちの少なくとも1つを自律的に決定するステップを含む、請求項1に記載の方法。
【請求項4】
前記ヒューマンオペレータによる前記デジタルキャラクタのパフォーマンスの制御を容易にするステップは、前記決定された特徴又は前記決定された感情状態に応じて前記人に対処するように前記デジタルキャラクタを制御する、前記ヒューマンオペレータによって選択可能な少なくとも1つのオプションを提供するステップを含む、請求項3に記載の方法。
【請求項5】
前記ヒューマンオペレータによる前記デジタルキャラクタのパフォーマンスの制御を容易にするステップは、前記ヒューマンオペレータに対応するモーションキャプチャデータを受け取るステップを含む、請求項1に記載の方法。
【請求項6】
前記モーションキャプチャデータを受け取るステップは、
光学モーションキャプチャシステムからデータを受け取るステップと、
慣性モーションキャプチャシステムからデータを受け取るステップと、
を含む、請求項5に記載の方法。
【請求項7】
前記光学モーションキャプチャシステムから受け取られた前記データは、前記ヒューマンオペレータのウェスト領域に位置する1又は2以上の光学マーカーに対応するデータを含む、請求項6に記載の方法。
【請求項8】
前記光学モーションキャプチャシステムから受け取られた前記データは、前記慣性モーションキャプチャシステムから受け取られた前記データに基づいて決定される前記ヒューマンオペレータの位置のドリフト補正を実行するためのものである、請求項6に記載の方法。
【請求項9】
前記ヒューマンオペレータによる前記デジタルキャラクタのパフォーマンスの前記制御は、前記デジタルキャラクタのパフォーマンスが前記ヒューマンオペレータ及び前記AIゲームエンジンの両方によって同時に駆動されるように容易にされる、請求項1に記載の方法。
【請求項10】
前記人から要求を受け取るステップと、
前記人が位置する前記物理的環境内の変化を引き起こすことによって前記要求を処理するステップと、
を更に含み、
前記要求を処理するステップは、前記人による取り出しのために送出される物理的物体を提供するステップを含む、請求項1に記載の方法。
【請求項11】
ディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスを制御する装置であって、
データを送受するように構成されたネットワーク通信ユニットと、
物理的環境内に位置する人の存在を決定し、前記人の存在を決定したことに応答して、ヒューマンオペレータによって、又は人工知能(AI)ゲームエンジンによって、或いはこれらの組み合わせによって前記ディスプレイデバイスにて示された前記デジタルキャラクタのパフォーマンスの制御を容易にするように構成された1又は2以上のコントローラと、
を備える、装置。
【請求項12】
前記人の存在の決定は、前記物理的環境内に位置する少なくともカメラ又はマイクロホンから受け取られたデータに基づいて実行される、請求項11に記載の装置。
【請求項13】
前記1又は2以上のコントローラは、前記人の外観の特徴、前記人の感情状態、又は前記人から生じるオーディオのうちの少なくとも1つを自律的に決定することによって前記人の存在を決定するように構成される、請求項11に記載の装置。
【請求項14】
前記1又は2以上のコントローラは、前記決定された特徴又は前記決定された感情状態に応じて前記人に対処するように前記デジタルキャラクタを制御する、前記ヒューマンオペレータによって選択可能な少なくとも1つのオプションを提供することにより、前記ヒューマンオペレータによる前記デジタルキャラクタのパフォーマンスの制御を容易にするように構成される、請求項13に記載の装置。
【請求項15】
前記1又は2以上のコントローラは、前記ヒューマンオペレータに対応するモーションキャプチャデータを受け取ることにより、前記ヒューマンオペレータによる前記デジタルキャラクタのパフォーマンスの制御を容易にするように構成される、請求項11に記載の装置。
【請求項16】
前記モーションキャプチャデータを受け取ることは、
光学モーションキャプチャシステムからデータを受け取ること、及び
慣性モーションキャプチャシステムからデータを受け取ること、
を含む、請求項15に記載の装置。
【請求項17】
前記光学モーションキャプチャシステムから受け取られた前記データは、前記ヒューマンオペレータのウェスト領域に位置する1又は2以上の光学マーカーに対応するデータを含む、請求項16に記載の装置。
【請求項18】
前記光学モーションキャプチャシステムから受け取られた前記データは、前記慣性モーションキャプチャシステムから受け取られた前記データに基づいて決定される前記ヒューマンオペレータの位置のドリフト補正を実行するためのものである、請求項16に記載の装置。
【請求項19】
前記ヒューマンオペレータによる前記デジタルキャラクタのパフォーマンスの前記制御は、前記デジタルキャラクタのパフォーマンスが前記ヒューマンオペレータ及び前記AIゲームエンジンの両方によって同時に駆動されるように容易にされる、請求項11に記載の装置。
【請求項20】
ディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスを制御するための機械実行可能命令を格納する機械可読非一時的媒体であって、
前記命令が、
物理的環境内に位置する人の存在を決定すること、及び
前記人の存在を決定したことに応答して、ヒューマンオペレータによって、又は人工知能(AI)ゲームエンジンによって、或いはこれらの組み合わせによって前記ディスプレイデバイスにて示された前記デジタルキャラクタのパフォーマンスの制御を容易にすること、
を含む、機械可読非一時的媒体。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本出願は、2020年5月13日出願の米国特許出願第15/931,377号及び2019年6月11日出願の米国特許仮出願第62/860,188号の優先権を主張し、これらの全ての開示内容は、引用により全体が本明細書に組み込まれる。
【背景技術】
【0002】
遊園地は、来園者に固有の体験をもたらすために様々な特徴を含むことができる。例えば、遊園地は、来園者を楽しませる様々な乗物及びショーを有することができる。更に、遊園地は、来園者のために望ましい環境又は雰囲気を作り出すことができるショー効果及び小道具を有することができる。このような特徴は、来園者と相互作用することができるエンターテインメントフィギュア(例えば、アニメのキャラクタ、アニメのフィギュア)を含むことができる。例えば、エンターテインメントフィギュアは、話す、手を振る、歩くことができ、或いは、他の何れかの適切な動作を行うことができる。
【発明の概要】
【0003】
本明細書で開示される様々な実施形態に関して、デジタルアニメーションにて示されたデジタルキャラクタのパフォーマンスを制御する技術が提示される。様々な実施形態によれば、パフォーマンスは、デジタルキャラクタと実際の顧客との間の相互作用を容易にするように制御される。
【0004】
少なくとも1つの実施形態によれば、ディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスを制御する方法が開示される。本方法は、物理的環境内に位置する人の存在を決定するステップと、人の存在を決定したことに応答して、ヒューマンオペレータによって、又は人工知能(AI)ゲームエンジンによって、或いはこれらの組み合わせによってディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスの制御を容易にするステップとを含む。
【0005】
少なくとも1つの実施形態によれば、ディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスを制御する装置は、データを送受するように構成されたネットワーク通信ユニットと、1又は2以上のコントローラとを含む。1又は2以上のコントローラは、物理的環境内に位置する人の存在を決定し、人の存在を決定したことに応答して、ヒューマンオペレータによって、又は人工知能(AI)ゲームエンジンによって、或いはこれらの組み合わせによってディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスの制御を容易にするように構成される。
【0006】
少なくとも1つの実施形態によれば、機械可読非一時的媒体は、ディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスを制御する機械実行可能命令を格納する。命令は、物理的環境内に位置する人の存在を決定すること、及び人の存在を決定したことに応答して、ヒューマンオペレータによって、又は人工知能(AI)ゲームエンジンによって、或いはこれらの組み合わせによってディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスの制御を容易にすることを含む。
【0007】
本開示の上記及び他の態様並びに特徴は、添付図面を参照しながら、以下の実施形態に関する説明を考慮するとより明らかになるであろう。
【図面の簡単な説明】
【0008】
【
図1】少なくとも1つの実施形態による、顧客と相互作用するようにデジタルキャラクタを制御するシステムを示す図である。
【
図2A】デジタルキャラクタを制御するライブモーションキャプチャの実施例を示す図である。
【
図2B】デジタルキャラクタを制御するライブモーションキャプチャの実施例を示す図である。
【
図3】少なくとも1つの実施形態による、剛体の実施例を示す図である。
【
図5】顧客による取り出しのための物理的な品目の例示的な供給を示す図である。
【
図6】少なくとも1つの実施形態による、ディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスを制御する方法のフローチャートを示す図である。
【
図7】少なくとも1つの実施形態による、コンピューティング環境の例証図である。
【
図8】少なくとも1つの実施形態による、デバイスのブロック図である。
【発明を実施するための形態】
【0009】
以下の詳細な説明において、その一部を形成し且つ例証として本発明の特定の実施形態を示す添付図面を参照する。他の実施形態を利用することができ、本発明の範囲から逸脱することなく構造的並びに手続き的変更を行うことができることは、当該技術分野における当業者には理解されたい。可能な限り、同じ要素又は同様の要素を示すために図面全体を通じて同じ参照符号が使用される。
【0010】
本明細書で開示される実施形態は、顧客と相互作用するようにデジタルキャラクタを制御するためのシステムに関する。例えば、相互作用は、顧客による取り出しに対する物理的生成物の供給を含むことができる。例示的な実施形態は、食品トラックに視覚的に類似し且つ顧客のために食品を出力するシステム、顧客に映画チケットを販売するシステム、及びデジタルキャラクタと顧客との間の綱引きのパフォーマンスを容易にするシステムを含む。
【0011】
例示的な実施形態について、
図1を参照して説明する。
【0012】
図1は、少なくとも1つの実施形態による、顧客と相互作用するようにデジタルキャラクタを制御するシステム102を示す。システム102は、環境100内に(少なくとも部分的に)位置する。また、環境100内には、1又は2以上の顧客110が存在する。システム102は、ディスプレイデバイス104と、出力チャネル108とを含む。ディスプレイデバイス104は、顧客110が明確に見えるように位置決めされる。以下でより詳細に説明するように、1又は2以上の品目は、顧客110による取り出しのために出力チャネル108を介して供給することができる。
【0013】
更に、システム102は、少なくとも1つのビデオキャプチャデバイス(例えば、カメラ)と、少なくとも1つのオーディオキャプチャデバイス(例えば、マイクロホン)とを含む。ビデオ及びオーディオキャプチャデバイスは、環境100内で発生する行動(又は非行動)、詳細には顧客110によって成された行動(又は非行動)をキャプチャするために位置決めすることができる。このような行動の実施例は、システム102に向けて又はシステム102から遠ざかる(ディスプレイ104に向けて又はディスプレイ104から遠ざかる)顧客110によって成された移動又は動き、顧客110によって成された動き又はジェスチャー、及び顧客110によって成された顔の表情及び反応を含む。以下で更に詳細に説明するように、キャプチャによって、環境100内の顧客110の存在の検出、及び/又は顧客110との(例えば、ディスプレイデバイス104にて示された1又は2以上のデジタルキャラクタによる)相互作用が容易になる。
【0014】
上述のように、システム102のディスプレイデバイス104は、顧客110が明確に見えるように位置決めされる。ディスプレイデバイス104は、ビデオ(例えば、デジタルビデオ)を表示する。以下で更に詳細に説明するように、表示されるビデオは、相互作用要素及び/又は特徴を含むことができる。
【0015】
説明の目的で、ディスプレイデバイス104にて表示されるビデオにて発生しているように示される事象は、「デジタル領域内で」発生している事象と呼ぶことにする。これとは別に、他の事象(例えば、環境100内で発生している事象)は、「物理領域内で」発生している事象と呼ぶことにする。顧客110の観点からすると、ディスプレイデバイス104は、システム102によって定められた物理空間への「窓」として知覚することができ、他方、デジタル領域内で発生している事象は、システム102の1又は2以上の要素によって定められた物理空間内で発生していると知覚される。
【0016】
引き続き
図1を参照すると、デジタルキャラクタ106は、ディスプレイデバイス104にて表示されるビデオ内に示されている。一例として、デジタルキャラクタ106は、ヒューマンオペレータのライブモーションキャプチャを介して作成することができる。
【0017】
例えば、
図2Aを参照すると、デジタルキャラクタ106は、環境200a内に位置するヒューマンオペレータ202のライブモーションキャプチャを介して作成される。環境200aは、環境100の近傍に、又は環境100から遠隔の場所に位置することができる。環境200aが環境100の近くに位置する場合、環境200aは、ヒューマンオペレータが環境100内に存在する顧客110の視野から隠されるように構成することができる。
【0018】
環境200aにおいて、ディスプレイデバイス204が設けられる。ディスプレイデバイス204は、システム102に関して上述したビデオ及びオーディオキャプチャデバイスによってキャプチャされたビデオ及びオーディオを出力する。従って、ヒューマンオペレータ202には、環境100において発生する行動(又は非行動)をリアルタイムで知らせることができる。このようにして、ヒューマンオペレータ202は、デジタル領域にて示されたデジタルキャラクタ106を介して物理領域内に存在する顧客110と効果的に相互作用することができる。
【0019】
例えば、ヒューマンオペレータ202は、顧客110に「クッキーが欲しい人はいませんか?」と尋ねることができる。これに応じて、ライブモーションキャプチャを介して、デジタルキャラクタ106は、「クッキーが欲しい人はいませんか?」と尋ねるようにデジタル領域に示される。ディスプレイデバイス104にて表示されたデジタルビデオを見ている顧客110は、デジタル領域内で発生しているこのような行動を知覚する。
【0020】
顧客110は、これに応じて反応することができる。例えば、1人の顧客110は、手を上げることができる。別の例として、別の顧客110は、「はい!」と叫ぶことができる。
【0021】
ヒューマンオペレータ202は、ディスプレイデバイス204をモニタリングすることによって、顧客によって成されたこのような行動を観測することができる。例えば、カメラ画面をモニタリングし続けることによって、ヒューマンオペレータ202は、(1)デジタルキャラクタ106が顧客110の眼を直接に見るように注視を変更又はシフトし(例えば、顧客110が比較的静止したままである場合)、(2)顧客110に向かって手を伸ばす(例えば、顧客110が又はディスプレイデバイス104の特定の部分に手を伸ばすか又は指さししている場合)ことができる。同様に、デジタルキャラクタ106と顧客110との間の他の相互作用は、顧客との握手、顧客から押されることによって明らかに影響を受ける顧客110の抱擁、その他を含むことができる。
【0022】
少なくとも1つの実施形態において、デジタル領域と物理領域の橋渡しは、顧客110と握手するため又は顧客110に品目を渡すために手足を広げるようにデジタルキャラクタを構成することによって達成することができる。一例として、これは、顧客110の視野から隠された人間の人形使いによって物理領域内で操作される、物理的操作の人形の手足を制御することによって達成することができる。物理的に操作される人形の手足は、顧客110に向けて手を伸ばして物理領域内で顧客110と直接に相互作用するように制御することができる。この状況において、物理的に操作される人形の手足は、人形使いによってリアルタイム制御に基づいて現実的に動くアニマトロニックの腕及び手とすることができる。別の実施形態によれば、デジタル操作される人形の手足は、手を伸ばして顧客110と直接に相互作用するように制御することができる。例えば、デジタル操作される人形の手足は、キャラクタ体験を作成しているパフォーマー(例えば、ヒューマンオペレータ202)からのデジタル情報を介して制御することができる。この状況において、パフォーマーは、画面上のインターフェース、キーボードトリガー、ボタン又はジョイスティック入力を手動で操作することによって、リアルタイムで手足を伸張又は後退するように制御することができる。パフォーマーからのリアルタイムデータは、手の機構を操作して、腕が制御されたロボット的に合法的手法で動かすことになる。デジタル操作される人形の手足を含む別の実施形態によれば、パフォーマーは、単に腕をキャプチャ容量の既知の区域に伸ばすことによって、握手を引き起こすことができる。人形の手足の伸張及び後退並びに他の動きは、パフォーマーによって解決され、その結果は、制御されたロボット的に合法的手法でアニマトロンの人形の手足に目標を再設定される。
【0023】
顧客110によって成された反応を視聴及び/又は聴取することに応答して、ヒューマンオペレータ202は、あたかも自分が顧客110のためにクッキーの箱を取り出しているかのように環境200a内で移動することができる。その後、
図2Bを参照すると、ヒューマンオペレータ202は、あたかも自分が1又は2以上の待機中の顧客110に取り出した箱を供給しているかのように環境200b内で移動することができる。
【0024】
ヒューマンオペレータ202の移動は、デジタルキャラクタ106によってデジタル領域内で再現される。例えば、デジタル領域において、デジタルキャラクタ106は、クッキーの箱を取り出し、その後、出力チャネル108に向かう方向に移動する。
【0025】
上記において、ヒューマンオペレータ202の移動は、モーションキャプチャシステムを使用してモニタリングすることができる。次に、1又は2以上の実施形態によるモーションキャプチャシステムについて更に詳細に説明する。
【0026】
光学システム(又は光学モーションキャプチャシステム)は、イメージセンサーからキャプチャされたデータを利用して、重なり合う投影像を提供するように較正された2又は3以上のカメラ間で被検体の3D位置を三角測量する。データは、俳優(例えば、ヒューマンオペレータ202)に取り付けられたマーカーを使用してキャプチャすることができる。多くのパフォーマーの追跡又はキャプチャ区域の拡張は、複数のカメラを増加することによって達成することができる。
【0027】
光学システムに関して、オクルージョンは、モデルマーカー点が多数の点内に存在しないとき、例えば、観測点の数がモデルマーカー点の数よりも少ないいときに発生する。このような事象は、マーカーとカメラとの間の1又は2以上の不透明な物体の介入又はマーカーがカメラ視野(FOV)から外れたときなど、様々な理由のうちの何れかに起因して発生する場合がある。
【0028】
少なくとも1つの実施形態によれば、ドリフト補正システムは、慣性モーションキャプチャシステムの1又は2以上の態様と共に、光学モーションキャプチャシステムの1又は2以上の態様を(例えば、ハイブリッド化して)含む。このようなシステムは、(環境200aなどの)キャプチャ区域内で位置的に正しい、及びある期間にわたってドリフトしないオクルージョンなしのモーションキャプチャを可能にすることができる。
【0029】
慣性モーションキャプチャシステムの態様は、当技術分野で既知の慣性ボディキャプチャスーツの使用を含む。慣性ボディキャプチャスーツは、
図2Aを参照して上述したように、ヒューマンオペレータ202のライブモーションキャプチャを容易にするタイプのものとすることができる。例えば、このような慣性ボディキャプチャスーツは、ヒューマンオペレータ202の関節角度を測定して、例えば、歩数を数えることによって初期開始点からのオペレータの位置を推定する。この点に関して、慣性モーションキャプチャシステムは、スーツに含まれる磁力計に基づいて近似的結果を生成するので、誤差が経時的に累積される可能性がある。例えば、慣性モーションキャプチャシステムは、真北の位置に近似する場合があるが、誤差は、磁力計の精度への自然磁気干渉の影響に起因して生じる可能性がある。
【0030】
磁気干渉によって引き起こされるもののような、オクルージョン及びアーチファクトなどの現象を補正を助けるために、システムは、慣性モーションキャプチャシステム及び光学システムの両方の態様を使用することができる。少なくとも1つの実施形態によれば、光学システムの態様は、典型的にフルボディモーションキャプチャに使用できる光学システムのものよりもより簡素なものであろう。例えば、光学システムを用いて、俳優のウェストに焦点を合わせることができる。少なくとも1つの実施形態によれば、光学システムは、ヒューマンオペレータ202によって着用可能な剛性装置(又は剛体)を使用することを含む。少なくとも1つの実施形態によれば、慣性モーションキャプチャシステムからのデータ及び光学システムからのデータが組み合わされ(又はともに融合され)て、デジタルキャラクタ(例えば、デジタルキャラクタ106)を駆動するのに使用される。
【0031】
一例として、回転及び地面からの高さ(
図2AのY軸を参照されたい)に関するデータは、慣性モーションキャプチャシステムの慣性ボディキャプチャスーツから受け取ることができ、水平面(例えば、
図2Aのx軸及びZ軸によって定められた平面を参照されたい)に関するデータは、光学システムから受け取ることができる。
【0032】
上述のように、光学モーションキャプチャシステムは、剛体を含むことができる。剛体は、ドリフト補正されているヒューマンオペレータ202に安定的に取り付けることができる。少なくとも1つの実施形態によれば、剛体は、そこに配置されたマーカーを含む。例えば、マーカーは、再帰反射型マーカーとすることができる。このようなマーカーは、剛体が光学モーションキャプチャシステムによって認識可能又は識別可能である一意のアイデンティティ(例えば、マーカーの構成又は配置)を有するように、固有パターンで剛体上に配置することができる。
【0033】
図3は、少なくとも1つの実施形態による、剛体502の実施例を示す。例示するように、剛体502は、ベルトの形態を取ることができる。ベルトは、人(例えば、ヒューマンオペレータ202)のウェストの周りに着用するように構成される。剛体502は、比較的嵩が小さく、剛体の着用者が移動する間、剛体は、着用者に対して独立して移動することなく着用者の腰部と共に移動するようになる。剛体502は、極めて剛性の材料で作ることができ、均一な幅(例えば、1又は2インチ)を有することができる。マーカー506は、剛体502の周囲に沿って位置決めすることができる。上述のように、マーカー506は、固有のパターンで剛体上に位置決めすることができる。例えば、
図3に例示する実施例において、合計25個のマーカー506は、固有のジグザクパターンで剛体502の周囲に沿って配置される。
【0034】
代替として、ベルト上に直接にマーカー506を位置決めする代わりに、マーカー506は、ベルト上に(直接に)位置決めされる1又は2以上の剛体を介してベルト上に(間接的に)位置決めすることができる。この代替の実施例において、マーカー506は、剛体上に直接に配置することができ、剛体は、ベルト上に配置される。例えば、5つのマーカー506は、合計5つの剛体の各々に配置することができ、剛体は、ベルト上に配置される。ベルト上の剛体の配置(並びに剛体上のマーカーの配置)は、固有のパターンとすることができる。
【0035】
許容可能なレベルのドリフト補正を達成するためには、わずか1つの光学マーカーで十分とすることができることは理解される。しかしながら、少なくとも1つの実施形態によれば、オクルージョンに対してより高いレベルの堅牢性を達成するために、2又は3以上の光学マーカーが利用される。
【0036】
光学システムに関して、ここで「外部」システムを参照しながら様々な実施形態を説明する。このような実施形態によれば、2又は3以上のカメラのアレイは、キャプチャ区域(例えば、部屋)の周辺付近に設置される。カメラは、剛体(ヒューマンオペレータによって着用された)がキャプチャ区域付近を動き回るときに、キャプチャ区域並びに1又は2以上のマーカー(例えば、剛体502上のマーカー506)のビューをキャプチャする。静止カメラは、移動するマーカーを観測し、従って、コンピュータアニメーションソフトウェアにおいて剛性物体(例えば、コンピュータによって生成された骨)に解決される移動するマーカーに関するデータ(例えば、正確な回転及び並進)を提供する。
【0037】
図4は、キャプチャ区域(部屋)400の3Dビューを示す。少なくとも1つの実施形態において、1又は2以上のカメラが、キャプチャ区域400内に配置される各タワー上に設置される。例えば、
図4に例示するように、4つのタワー402は、キャプチャ区域400に配置され、1つのタワー402が各コーナーに位置する。例示の目的で、各タワー402は、幅2フィートで厚さ1インチのアルミニウムプレートを含む、高さ8フィートのボックストラスとすることができる。タワー402の各々は、3つのカメラ406を設置することができる。1つのタワー402内に、カメラ406は、互いから―例えば、タワーの高さに沿って互いの間で約2フィート、互いに離間させることができる 。
【0038】
カメラ406は、ボックストラスに挿入される小さいアルミニウムプレート上に存在することができる。また、ギア付きの3方位置決めヘッドがプレート上に存在することができる。カメラ406は、位置決めヘッドに取り付けることができ、ヘッドは、正確な回転に設定され、頭部の照準が完了すると所定位置にロックされるようにギアで調整することができる。上述のように、タワー402は、キャプチャ区域400のコーナーに位置決めされる。
【0039】
各タワー402は、固有のデータを生成する。カメラ406の較正中、静止物体(例えば、剛体502)は、キャプチャ区域400の中央に配置することができる。カメラ406は、静止物体から三角測量するように光学システムを構成することによって、同時に較正することができる。これに伴って、部屋内の静止物体位置を決定することができる。上述のように、水平面(例えば、
図2Aのx軸及びZ軸によって定められた平面を参照されたい)に関するデータは、光学システムから受け取ることができる。このようなデータは、回転及び地面からの高さ(例えば、
図2AのY軸を参照されたい)に関するデータと組み合わせる(又は融合させる)ことができ、このデータは、慣性モーションキャプチャシステムの慣性ボディキャプチャスーツから受け取られる。データの組み合わせを使用して、デジタルキャラクタのアニメーションを生成することができる。例えば、慣性座標系から受け取られた回転データを使用して、デジタルキャラクタのスケルトンをアニメ化することができ、光学システムから受け取られたデータを使用して、デジタルキャラクタの腰部の位置を補正することができる。
【0040】
光学システムに関して、「外部」システムを参照しながら様々な実施形態を説明してきた。少なくとも別の実施形態によれば、「固有の」システムが利用される。このようなシステムにおいて、カメラは、固有のパターンに従ってキャプチャ区域内に(例えば、部屋の天井、床及び/又は壁にわたって)位置するマーカーをモニタリングするためにヒューマンオペレータによって着用される。ヒューマンオペレータが部屋を動き回るときに、カメラは、ヒューマンオペレータと共に移動し、静止マーカーをモニタリングして、部屋の壁部、床、又は天井にある固定マーカーに対する部屋内での固有の回転及び位置の正確な推定を生成することができるようになる。
【0041】
上述のように、剛体及び/又はベルト上に配置されたマーカーは、再帰反射型マーカーとすることができる。少なくとも1つの他の実施形態によれば、光学モーションキャプチャシステムによって検出可能な波長の光を放出する発光素子(LED)とすることができる。
【0042】
上述のように、ドリフト補正システムは、光学モーションキャプチャシステムの態様を慣性モーションキャプチャシステムの態様と組み合わせる(又は混成する)ことによって生成される。少なくとも1つの他の実施形態によれば、ドリフト補正システムは、磁気モーションキャプチャシステムの態様を慣性モーションキャプチャシステムの態様と組み合わせる(又は混成する)ことによって作成される。このような実施形態は、光学モーションキャプチャシステムを使用する実施形態に関して上述した方法と同様に動作することができる。例えば、磁気「マーカー」は、ヒューマンオペレータ上に配置することができる。部屋の両端には、磁気検出システムを配置することができる。磁気検出システムは、磁場を放射して磁気マーカーによって磁場に引き起こされた磁気干渉を検出することができる。検出された干渉を使用して、磁気マーカーの位置を決定することができる。
【0043】
少なくとも1つの実施形態において、Wi-Fi技術を使用する技術を利用することができる。このような実施形態は、磁気モーションキャプチャシステムを使用する実施形態に関して上述した方法と同様に動作することができる。例えば、1又は複数のWi-Fiアンテナは、部屋の周りに配置することができ、Wi-Fiエミッターは、ヒューマンオペレータ上に配置することができる。ヒューマンオペレータが部屋内で移動すると、Wi-Fiエミッターは、一方のアンテナ又はもう一方のアンテナに接近又は離れて移動することができる。アンテナにて受け取られた信号の特性を使用して、部屋内のエミッターの位置を決定することができる。
【0044】
少なくとも1つの実施形態において、音響技術を使用する技術を利用することができる。このような実施形態は、光学モーションキャプチャシステムを使用する実施形態に関して上述した方法と同様に動作することができる。この点に関して、少なくとも2つの構成のうちの一方を使用することができる。例えば、1つの構成において、マイクロホンは、ヒューマンオペレータ上に配置され、超音波エミッターは、部屋の周りに配置される。別の例として、別の構成において、エミッターは俳優上に配置され、マイクロホンは、部屋の周りに配置される。音響技術を使用する実施形態において、飛行時間(ToF)を使用して、ヒューマンオペレータ(例えば、マイクロホン又はエミッター)上に配置される物体が何であれその位置を決定することができる。反響定位が機能するのと同様に、エミッターは、超音波ピング音を放出し、マイクロホン(又はマイクロホンアレイ)は、ピングを検出してエミッターからマイクロホンまでの遅延(飛行時間)に基づいてピング音が進む距離を算出する。
【0045】
少なくとも1つの実施形態において、1又は2以上の深度カメラを利用して、部屋内のヒューマンオペレータの位置を決定することができる。例えば、深度カメラは、赤外線(IR)グリッドを投影し、その後、どのようにヒューマンオペレータがそのグリッドを歪曲させているかを検出して、オペレータがどこにいるか及びオペレータによって成された移動を決定することができる。別の実施例として、IR LEDのアレイが順次的に点滅し、LEDからの光が点灯して、ヒューマンオペレータから反射した後、深度カメラに戻るときにToF計算を行って深度計算を行うことができる。
【0046】
少なくとも1つの実施形態において、マーカーを使用する必要がない。例えば、より簡素なシステムにおいて、1又は2以上のビデオカメラを使用して、ヒューマンオペレータ又は剛体上の特定の特徴を追跡し、部屋内のヒューマンオペレータの位置を決定することができる。
【0047】
図5の環境300を参照すると、物理的領域において、クッキーが入っている箱302は、出力チャネル108にて供給される。例えば、システム102は、(例えば、ヒューマンオペレータ202によって)制御されるときに、品目を供給するディスペンサを含むことができる。
【0048】
図1を参照して上述されたように、システム102は、少なくとも1つのビデオキャプチャデバイス(例えば、カメラ)及び少なくとも1つのオーディオキャプチャデバイス(例えば、マイクロホン)を含む。カメラ及びマイクロホンは、仮想世界内に存在することができ、仮想現実において顧客が体験できることは理解される。例えば、顧客は、ジョイスティック、マウス、又は仮想現実(VR)又はモーションキャプチャ入力など、入力デバイスを介してデジタル領域内に存在するデジタルアバターを制御することができる。相互作用は、物理領域内で依然として発生する品目(例えば、箱302)の販売/供給を除いて、デジタル領域内に発生する。例えば、顧客は、ゲームをプレイし、ゲームは、顧客に対応するゲームキャラクタと相互作用し、顧客と直接には相互作用しない。この状況において、顧客は、デジタルアバターとしてデジタル領域に入って体験し、デジタルアバターの動きは、物理領域内で提供された入力に基づいて顧客によって制御される。このため、アバターは、何らかの方法でデジタル領域内で移動する(例えば、歩行、ジャンプ、飛行、テレポート)ように制御することができる。デジタルアバターの存在がデジタル領域内で検出されたときには、デジタルアバターとの相互作用は、物理領域(例えば、環境100)内で顧客の存在が検出されたときに顧客との相互作用が開始されるのと同様に開始される。顧客が物理領域内で発生する変化(例えば、品目の供給)をトリガーすると、変化は、物理領域内で実現される。
【0049】
また、
図1、
図2A、
図2B、
図3、及び
図4を参照して上述したように、デジタルキャラクタ(例えば、デジタルキャラクタ106)は、ヒューマンオペレータ(例えば、ヒューマンオペレータ202)のライブモーションキャプチャを介して作成することができる。ライブモーションキャプチャ駆動動作は、デジタルキャラクタ(又は
図5の箱302などの物体)の特定の部分(又は態様)に適用することができ、又は適切であるときにはデジタルキャラクタ全体又は小道具を駆動することができる。1又は2以上の実施形態によれば、ヒューマンオペレータは、リアルタイム楽器用デジタルインターフェース(MIDI)入力及び/又はコントローラ、キーボード、ジョイスティック、マウス、フットペダル、マイクロホンなどなどのデバイスを使用するデジタル人形操りによりデジタルキャラクタのパフォーマンスを駆動する。このような実施形態において、ライブモーションキャプチャは、排他的に使用されない場合がある。例えば、モーションキャプチャを使用して、デジタルキャラクタの顔のパフォーマンスを駆動することができ、パフォーマンスの残りの態様は、トリガーされた入力デバイスを使用して駆動される。1又は2以上の他の実施形態によれば、デジタルキャラクタ106は、ヒューマンオペレータのライブモーションキャプチャを介して作成することができる。
【0050】
1又は2以上の他の実施形態によれば、デジタルキャラクタに関するパフォーマンス及び意思決定は、ゲームエンジンに常駐する人工知能(AI)キャラクタによって完全に作成される。
【0051】
1又は2以上の他の実施形態によれば、デジタルキャラクタに関するパフォーマンス及び意思決定は、AIゲームエンジン駆動キャラクタ及びヒューマンモーションキャプチャの組み合わせを使用して達成することができる。一例として、特定の時間の間に、例えば、顧客が関わってくるのをシステムが待機している間、デジタルキャラクタは、AIによって(例えば、環境動作又は他のキャラクタベースアニメーションのループを再生することによって)少なくとも部分的に駆動することができる。別の時間では、AIによる駆動からモーションキャプチャによる駆動への移行が起こることができる。例えば、システムが顧客110の存在を検出すると、デジタルキャラクタのパフォーマンス(例えば、アニメーションコントロール)は、ヒューマンオペレータに移行させることができ、ヒューマンオペレータは、より親しみを感じるように顧客と相互作用することができる。このような移行に至ると、システム102は、デジタルキャラクタのパフォーマンスに対する少なくとも部分的な制御が与えられることになることをヒューマンオペレータに信号で伝えることができる。例えば、システム102は、デジタルキャラクタの声のパフォーマンス、デジタルキャラクタの顔のパフォーマンス、又はデジタルキャラクタのパフォーマンス全体に対する制御が与えられることになることをヒューマンオペレータに知らせるオーディオ及び/又は映像指標を提供することができる。
【0052】
同様に、モーションキャプチャによる駆動からAIゲームエンジン技術による駆動への移行が発生することができる。このようなAI技術によって行われる決定は、システム102のビデオキャプチャデバイス(例えば、カメラ)及び/又はオーディオキャプチャデバイス(例えば、マイクロホン)によってキャプチャされたデータの分析に基づくことができる。例えば、カメラによってキャプチャされたデータの分析を使用して、0様々な顧客110の位置だけでなく、特定の顧客の特定の特性、例えば、1人の顧客110が着用している青色の衣料品(例えば、シャツ)又は別の顧客110のブロンド色の髪を識別することができる。このように、デジタルキャラクタのパフォーマンスがAIゲームエンジン技術によって(ヒューマンオペレータによってではなく)駆動されているときでも、デジタルキャラクタは、依然としてある程度まで顧客110と相互作用することができる。例えば、デジタルキャラクタの眼は、デジタルキャラクタの「注視」が顧客110によって行われた動きに追従しているように見えるよう駆動することができる。また、例えば、デジタルキャラクタは、特定の顧客110に手を振り、及び/又は青色の衣料品を着用している顧客110又はブロンドの髪の顧客110に多少なりともカスタマイズされた又は個人化された挨拶するように駆動することができる。
【0053】
同様に、マイクロホンによってキャプチャされたデータの分析を使用して、少なくともある程度まで顧客110と連動することができる。例えば、このような分析によって、特定の特性(例えば、特定の閾値オーディオレベルを超える音)を有するものとして音を検出すると、デジタルキャラクタのパフォーマンスは、(準備されていた)アニメーションの特定のクリップによって選択的に駆動することができる。このようなクリップにおいて、デジタルキャラクタの眼は、あたかも聞こえた音の発生源を探しているかのようにデジタルキャラクタの注視を上方及び外方にシフトするように見えるよう動かすことができる。別の例として、波形分析は、マイクロホンによってキャプチャされるスピーチオーディオに対して実行することができる。このような分析は、話していた顧客110の気分又は感情状態を識別する際に使用することができる。この状況において、デジタルキャラクタが顧客110に音声挨拶を送る気分は、波形分析によって識別される気分と一致又は反映するように選択することができる。例えば、顧客110の気分がハッピーであるか又は元気であると識別された場合、デジタルキャラクタは、ハッピー又は元気であるように顧客110に対処するよう制御することができる。
【0054】
従って、AIゲーム-エンジン技術を使用して、特定の契機(例えば、特定の特性を有する音の検出)に応答して、決定ツリー内の特定のブランチを(例えば、アニメーションの選択したクリップを使用して、デジタルキャラクタのパフォーマンスを駆動する)効果的に実行することができる。これによって、デジタルキャラクタが生きているように見え、物理領域(例えば、環境100の)内で発生する現実世界の事象に反応することができる可能性を高めることができる。これは、物理領域内で発生する事象に気がつかないように見えながら、キャラクタが単に特定の行動を繰り返すだけであるデジタルキャラクタのパフォーマンスよりも好ましいとすることができる。
【0055】
従って、デジタルキャラクタのパフォーマンスは、常にヒューマンオペレータによって駆動される必要がある訳ではない。例えば、デジタルキャラクタのパフォーマンスは、一部の(又はほとんどの)時間の間にAIゲーム-エンジン技術によって、及び選択された時間(例えば、1又は2以上の重要な時間)の間にヒューマンオペレータによって駆動することができる。別の実施例として、デジタルキャラクタのパフォーマンスは、1日の大部分(例えば、1日12時間の動作で合計11時間)の間にAIゲームエンジン技術によって駆動することができ、デジタルキャラクタの制御は、選択された期間(例えば、このような1日の動作中の選択された時間)の間にヒューマンオペレータに割り当てることができる。期間は、当該期間中に顧客110とのより個人化された相互作用を提供するようにするために選択することができる。このような期間の終りに、ヒューマンオペレータは、デジタルキャラクタのパフォーマンスの制御をAIゲームエンジン技術に戻すことができる。この戻りは、顧客110の観点から、より継ぎ目のない移行をもたらすように一度に発生するよう選ぶことができる。ヒューマンオペレータは、例えば、画面上のインターフェース、キーボードトリガー、ボタン、又はジョイスティック入力を手動で操作することによって当該の時間にてデジタルキャラクタのパフォーマンスの制御を戻すことができる。
【0056】
少なくとも1つの実施形態において、デジタルキャラクタのパフォーマンスは、ある時間では、ヒューマンオペレータによって並びにAIゲームエンジン技術によって同時に駆動することができる。例えば、デジタルキャラクタが、顧客110との相互作用においてAIによって少なくとも部分的に駆動される場合、ヒューマンオペレータは、デジタルキャラクタのパフォーマンスを高めることを望む場合がある。この状況において、ヒューマンオペレータは、1又は2以上の方法でAI駆動されたパフォーマンスを制御することができる。例えば、ヒューマンオペレータが、単にハッピーであるか又は元気であるだけでなくて、特にハッピーであるか又は元気であると顧客110の気分を識別した場合、ヒューマンオペレータは、同様に強めた方法で顧客110に対処するようにデジタルキャラクタを制御することができる。このような制御は、例えば、画面上のインターフェース、キーボードトリガー、ボタン、又はジョイスティック入力を手動で操作することによって実行することができる。このようにして、デジタルキャラクタのパフォーマンスは、少なくとも部分的にヒューマンオペレータによって(一時的に)導くことができる。
【0057】
以下で更に詳細に説明する実施形態によれば、複数のデジタルキャラクタをディスプレイデバイス104で示すことができる。このようなキャラクタの各々は、上述のように、AIゲームエンジン駆動キャラクタ及びヒューマンモーションキャプチャのそれぞれの様々な組み合わせを介して制御することができる。
【0058】
様々な実施形態を参照して上述したように、環境100内に発生する行動(又は非行動)、特に顧客110によって行われる行動(又は非行動)は、例えば、カメラ及びマイクロホンによってキャプチャされる。環境100(例えば、環境100内の1又は2以上の特定の区域)内で顧客110の存在が検出されると、顧客との相互作用が開始される。検出は、付加的に及び/又は代替として、他のデバイスを使用して実行することができることは理解される。このような他のデバイスは、圧力パッド、深度カメラ、音波範囲検出デバイス、光ビームデバイス、及び/又は熱又は音検出デバイスを含む。
【0059】
デバイスは、顧客の存在だけでなく、また、顧客の頭部高さ及び体位置など他のパラメータを検出することができる。例えば、顧客は、顧客の体位置及び高さを決定するために、ビデオカメラ、深さセンサー、又は破断され光又は音波ビームを使用して検出することができる。(例えば、ディスプレイデバイス104の位置に関連する)このような情報の認識により、角度補正をデジタルキャラクタ106の頭部又は眼に対して行うことを可能にし、デジタルキャラクタの目線が顧客の1又は2以上の顧客の目線とより密接に整合することができるようになる。このようなデバイスは、顧客の頭部高さをより正確に検出することによって、デジタルキャラクタの目線を効果的に「調整する」ことができる。
【0060】
また、様々な実施形態を参照して上述したように、相互作用は、デジタル領域及び物理領域の両方に対するデジタルキャラクタと顧客との間の1又は2以上の相互作用を含む。例えば、デジタル領域において、デジタルキャラクタは、顧客のために品目(例えば、クッキーの箱302)を用意又は調達するステップを実行することができる。物理領域において、品目は、リアルタイムで顧客に与えられ(又は販売され)、品目が(例えば、出力チャネル108にて)顧客により取り出し又は収集することができるようになる。1又は2以上の更なる実施形態によれば、品目は、別の場所で(例えば、環境100外のどこかで)顧客によって品目を取り出すことができるように提示される。1又は2以上の更なる実施形態によれば、品目は、後日又は後で(例えば、通常の郵便によって)顧客に供給される。
【0061】
1又は2以上の他の実施形態によれば、デジタルキャラクタと顧客との相互作用は、環境100の物理領域における変化を引き起こす(又はもたらす)相互作用を含む。例えば、システム102は、デジタルキャラクタと顧客との綱引きゲームの実行を容易にするプーリーを含むことができる。
【0062】
一例として、デジタルキャラクタのパフォーマンスを制御しているヒューマンオペレータ202は、「私と綱引きゲームをプレイしたい人はいますか?」と尋ねる。従って、デジタル領域において、デジタルキャラクタ106が、「私と綱引きゲームをプレイしたい人はいますか?」と顧客110に尋ねる。物理領域内で、顧客110は、これに応じ反応することができる。例えば、1人の顧客110は、手を挙げることができる。別の例として、別の顧客110は、「はい!」と叫ぶことができる。
【0063】
顧客110によって成された反応を視聴及び/又は聴取することに応答して、ヒューマンオペレータ202は、あたかもヒューマンオペレータ202が、プレイされるゲームのロープを取り出しているかのように環境200a内で移動することができる。その後、ヒューマンオペレータ202は、あたかもヒューマンオペレータ202が1又は2以上の待機中の顧客110に向けて取り出されたロープを移動させているかのように環境200b内で移動することができる。
【0064】
ヒューマンオペレータ202の行動は、デジタルキャラクタ106によってデジタル領域内で再現される。例えば、デジタル領域において、デジタルキャラクタ106は、ロープを取り出し、その後、出力チャネル108に向かう方向に移動する。
【0065】
物理領域内で、ロープの自由端は、出力チャネル108を介して外方に伸張される。ロープの他端は、顧客110の視野から隠されるプーリーシステムに結合することができる。顧客のうちの1人がロープを掴んだ後、綱引きのゲームが始まることができる。
【0066】
1又は2以上の更なる実施形態によれば、環境100の物理領域の変化を引き起こす他の相互作用の実施例は、デジタル領域内のデジタルキャラクタによる行動(例えば、つまづき又は転倒)に応答して移動される(例えば、ひっくり返される)物理領域内の物体、デジタル領域内のデジタルキャラクタによる行動に応答して点灯/消灯するように制御される物理領域内の光、及びデジタル領域内でのデジタルキャラクタによる行動に応答して変化される物理領域内の何らかの他の態様を含む。
【0067】
同様に、システム102によって検出された物理領域内の顧客による行動により、デジタル領域内の変化が生じる可能性がある。例えば、顧客による顔の応答又は表情、顧客の体位、顧客によって成された他の動き、又は顧客によって成された音声反応又は音を検出し、関連する事象をデジタル領域内で発生させることができる。
【0068】
物理領域とデジタル領域との相互作用は、顧客及びデジタルキャラクタを含む相互作用に限定されない。例えば、検出される物理領域内の1又は2以上の特定の物体の存在は、結果的に、デジタル領域の変化をもたらす場合があり、その逆もまた同じである。例えば、変化は、デジタル領域における対応する又は関連する物体を含むことができる。一例として、意図的に又は偶発的に物理領域内で顧客によって移動される物体の後に、デジタル領域内でのデジタルキャラクタによる対応する又は関連する物体の移動が続くことができる。
【0069】
環境100の物理領域内の変化を引き起こすことは、顧客がデジタル領域内の1又は2以上のデジタルキャラクタと関与することになる可能性を高めるように実行することができる。顧客の関与が検出されず、デジタルキャラクタのパフォーマンスがAIによって少なくとも部分的に作成される場合、システム102は、検出された関与について連続的(又は周期的)にモニタリングするループ状態に入ることができる。代替的に(又は付加的に)、システム102は、顧客にデジタルキャラクタと係合する動機を与えるために、追跡アニメーションを表示し始めることができる。代替的に(又は付加的に)、システム102は、顧客の存在が検出されるまで、特定のセットのアニメーションが表示される待機状態に戻ることができる。
【0070】
様々な実施形態を参照して上述したように、クッキーの箱などの物体は、顧客による取り出しのために(例えば、出力チャネル108を介して)供給することができる。この状況において、物体は、顧客による要求(例えば、顧客が「はい!」と言うこと)が検出された後の比較的直ぐに供給することができる。他の状況において、供給は、一定の遅延後に行うことができる。例えば、おもちゃの剣を顧客に供給することができる。物理領域において、予め作製されたおもちゃの剣は、出力チャネルの受け取り端部に配置するように取り出すことができる。しかしながら、デジタル領域において、デジタルキャラクタは、鍛冶屋でおもちゃの剣を(例えば、原材料から)作製することができる。このような状況において、アニメーションループ(又はシーケンス)は、ディスプレイデバイス(例えば、ディスプレイデバイス104)にて表示され、おもちゃの剣の作製を示すことができる。このようなループの表示は、おもちゃの剣の供給が発生することになることを示すフィードバックが物理領域内で受け取られるまで続くことができる。このようなフィードバックが受け取られると、ループの表示が終了し、デジタル領域において、おもちゃの剣の作製が完了する。このようなフィードバックの実施例について、以下で更に詳細に説明する。
【0071】
別の実施例によれば、物体は、物理領域内で何らかの準備時間を必要とする品目とすることができる。例えば、物体は、顧客によって要求される(又は注文される)食品(例えば、ボール1杯のスープ麺)とすることができる。
【0072】
要求が受け取られる前に、最初に顧客の存在を検出することができる。様々な実施形態を参照して上述したように、(例えば、環境100における)1又は2以上の顧客の移動を検出することができる。1又は2以上の移動(例えば、ディスプレイデバイス104に向かう移動などの1又は2以上の特定の移動)が検出されると、顧客による関与を求める行動が実行される。例えば、システム102がキッチン又は食品トラックの外側に視覚的に類似するように設計されたときに、シーケンス(例えば、ゲームシーケンス)は、ディスプレイデバイス104が食物を準備している1又は2以上のデジタルキャラクタを表示するように開始される。例えば、デジタル領域において、デジタルキャラクタは、野菜を細かく切る、麺を料理する、その他を行う。
【0073】
料理用スプーン又はポットなど、デジタル領域における1又は2以上の品目の表現は、幾つかの方法で制御することができる。例えば、品目は、モーションキャプチャによって追跡することができる俳優(例えば、
図2Aのヒューマンオペレータ202)により携行されているスプーン(例えば、プラスチック又は発泡材で作製された)など、物理領域内に存在する対応物を有することができる。別の実施例として、品目の表現は、品目がビデオゲーム内の物体のようなゲームエンジン内に存在するときには、デジタル的に制御することができる。この状況において、俳優は、自分が品目を手に取りたいことをゲームエンジンにアラートするために、把持ジェスチャーを行って手を品目の近くに置くことによって、品目と相互作用することができる。俳優はまた、コントローラ又はボタン押しを介して把持するジェスチャーをトリガーすることができる。別の実施例において、俳優は、ボタンを押すことによって、又は特定の『ゾーン』に手を伸ばすことによって、品目が見えない所から俳優の手に出現するようにトリガーすることができる。
【0074】
図2Bを参照して上述したように、デジタル領域において、デジタルキャラクタ106は、1箱のクッキーを取り出す。俳優は、空中に手を伸ばして、デジタルキャラクタ106の手がディスプレイ(例えば、ディスプレイ104)に対してフレーム外(例えば、フレームの直ぐ外)に存在するデジタル領域内の目に見えない立方体に入るようにすることによって、ボックスのこの取り出しを達成することができる。デジタルキャラクタ106の手がこのゾーンに入ると、箱は、デジタル領域内で俳優の手の中に配置される。俳優が物理領域内で腕を下げると、箱は、デジタル領域内でデジタルキャラクタ106の手の中に現れ、あたかもデジタルキャラクタ106が画面外に手を伸ばして目に見えない棚から箱を引き出すように見える。
【0075】
別の実施例によれば、デジタル領域内の1又は2以上の品目と物理領域内の1又は2以上の品目との組み合わせが利用される。例えば、このような組み合わせ利用して、デジタルキャラクタによるデジタル領域におけるニンジンの細断を達成することができる。この組み合わせは、俳優によって保持され且つデジタル領域内のナイフに対応する物理領域内の対応物(例えば、物理的小道具)と、デジタル領域にのみ存在するニンジンとを含むことができる。物理的小道具の動きは、ナイフがデジタルキャラクタの手に表れて相応に動くように追跡される。ナイフの刃先がデジタル領域内でニンジンの近くに移動すると、ニンジンは、複数片にスライスされるように示される。ナイフの側面がニンジン片の近くに持ってこられると、ニンジン片は、まな板の縁部から離れてポットに移されるように示すことができる。ニンジン片のこの動きはまた、デジタルキャラクタの手によって直接に引き起こされるように示すことができる(例えば、ニンジン片をポット内に掃引するように身振りで示す俳優によって)。しかしながら、より高度の現実性を達成するために、ナイフ(デジタルキャラクタの手でなく)のみがニンジンを複数片にスライスできることは理解される。
【0076】
トリガーされた動作はまた、同様にして達成することができる。このような動きは、例えば、典型的な非熟練者が容易には実行できない格闘技の動きを含むことができる。これらの動きは、ライブの動きから1又は2以上の予め準備された動きに融合させるコントローラ上のボタン押しによってトリガーすることができ、或いは、システムによって認識されるときにトリガーされた動きを始動するジェスチャー(例えば、代替ジェスチャー)を俳優が行うことによってトリガーすることができる。例えば、俳優は、自分の足を蹴ることができ、システムは、このキックを特別なカンフージャンプキックシーケンスのトリガーとして認識することができる。更なる実施例によれば、トリガーされた動きは、デジタルキャラクタのパフォーマンスを完全には駆動しない。例えば、デジタルキャラクタの身体の1又は2以上の部分のみをトリガーされた動きによって駆動することができる。一例として、トリガーされた動きがデジタルキャラクタの胴体、腕及び/又は脚部によって実行される間、デジタルキャラクタの顔は、依然として俳優によって(例えば、モーションキャプチャを介して)制御することができる。
【0077】
顧客の存在の検出に戻ると、検出された顧客からの要求が受け取られる。要求の受け取りは、(口頭での要求を受け取って処理するために)自然言語処理を使用することを含む場合がある。代替的に(又は付加的に)、要求の受け取りは、顧客によって操作可能なインターフェースを使用することを含むことができる。例えば、顧客は、タッチスクリーン上のボタンを操作するか、又はマシンに挿入されて読み取られる命令カードに記入することができる。
【0078】
顧客が特定の品目を要求した後、品目の準備が物理領域内で始まる。例えば、環境100の近傍に位置する食品調理者(例えば、コック)は、要求された項目を調理し始める。
【0079】
同時に、デジタル領域において、品目の調理を示す行動が発生する。このような行動は、顧客の要求に基づいてカスタマイズすることができる。例えば、スープ麺が追加のニンジンを含むという顧客の要求に基づいて、実行されるシーケンスは、デジタル領域のキッチン全体にわたって飛翔するニンジンの表示を含むことができる。
【0080】
ディスプレイデバイス104にて表示されるアニメーションは、物理領域における要求された品目の調理が進行中である間、連続的に制御することができる。例えば、要求された品目の調理の間、例えば、調理が終る前により多くの時間が必要であることを示すフィードバックが、食品調理者から受け取ることができる。このようなフィードバックにより、特定のシーケンスの更なるループを表示させることができる。ここで、ディスプレイデバイス104にて表示されるアニメーションは、特定のデジタルキャラクタのパフォーマンスを様々な実施形態を参照して上述したように制御できる方法と同様に、AIゲームエンジン技術によって並びにヒューマンオペレータによって同時に制御することができることは理解される。
【0081】
加えて、要求された品目が完成に近づいているか又は完成したときに、アニメーションは制御し続けることができる。例えば、品目が出力の準備ができていることを示す、フィードバックを食品調理者から受け取ることができる。フィードバックは、決定された場所に物品(例えば、要求された品目)が置かれていることを感知する圧力センサーから生じることができる。従って、食品調理者は、品目が出力の準備ができたことを示すフィードバックを提供するために、要求された品目を圧力センサーの近くに又は圧力センサーに置くことができる。別の例として、システム102は、食品調理者によって操作可能であるインターフェースを含むことができる。従って、食品調理者は、タッチスクリーン上のボタンを操作して、品目が出力の準備ができたことを信号で伝えることができる。
【0082】
物理領域内で、品目は、顧客による取り出しに備えて出力チャネル108に配置することができる。
【0083】
記載される特徴に基づいて、デジタル領域内で発生する事象(例えば、表示されたアニメーションにて示されるようなデジタルキャラクタによる品目の作成)のタイミングは、物理領域内で発生する事象(例えば、食品調理者による品目の調理)のタイミングとより良好に整合させることができる。例えば、両方の領域内のタイミングがより良好に整合されて、スープ麺の器がデジタル領域内のビューから消えると、出力チャネル108の物理領域内で表れるようになる。1又は2以上の特定の実施形態によれば、出力チャネル108にて提示される品目は、デジタル領域内に示される品目と外観が一致するように選択される。
【0084】
図6は、少なくとも1つの実施形態による、ディスプレイデバイスにて示されたデジタルキャラクタのパフォーマンスを制御する方法600のフローチャートを示す。
【0085】
ブロック602において、特定の実施形態によれば、デジタルキャラクタのパフォーマンスは、AIゲームエンジン技術を使用して制御することができる。例えば、
図1を参照すると、デジタルキャラクタ106のパフォーマンスは、AIゲームエンジン技術を使用して制御される。
【0086】
ブロック604において、物理的環境内に位置する顧客の存在が検出される。例えば、引き続き
図1に参照すると、物理的環境100内に位置する顧客110の存在が検出される。
【0087】
更なる実施形態によれば、顧客の存在の検出は、物理的環境内に位置する少なくともカメラ又はマイクロホンから受け取られたデータに基づいて実行される。
【0088】
更なる実施形態によれば、顧客の存在を検出するステップは、顧客の外観の特徴又は顧客の感情状態を自律的に決定するステップを含むことができる。例えば、カメラから受け取られたデータは、顧客110が青色の衣料品を着用していると決定する際に使用することができる。別の例として、マイクロホンから受け取られたデータは、顧客110はハッピーであるか又は悲しいかを検出及び決定するのに使用することができる。
【0089】
ブロック606において、顧客の存在を検出することに応答して、ヒューマンオペレータ、AIゲームエンジン、又はこれらの組み合わせによるデジタルキャラクタのパフォーマンス(又は少なくともその態様)の制御が容易にされる。例えば、
図2Aを参照すると、顧客110の存在を検出することに応答して、ヒューマンオペレータ202によるデジタルキャラクタ106のパフォーマンスの制御が容易にされる。
【0090】
更なる実施形態によれば、デジタルキャラクタのパフォーマンスの制御を容易にするステップは、ヒューマンオペレータによって選択可能な少なくとも1つのオプションを提供するステップを含むことができる。選択可能なオプションは、決定された特徴又は決定された感情状態に応じて顧客に対処するようにデジタルキャラクタを制御するためのものである。例えば、ヒューマンオペレータ202が顧客110の気分を特にハッピーであるか又は元気であると識別した場合、ヒューマンオペレータは、このような特にハッピー又は元気な方法で顧客110に対処するようにデジタルキャラクタ106を制御することができる。
【0091】
更なる実施形態によれば、デジタルキャラクタのパフォーマンスの制御を容易にするステップは、ヒューマンオペレータに対応するモーションキャプチャデータを受け取るステップを含むことができる。一例として、モーションキャプチャデータを受け取るステップは、データを光学モーションキャプチャシステム(例えば、
図4のカメラ406を利用するシステム)から受け取るステップと、データを慣性モーションキャプチャシステム(例えば、ヒューマンオペレータ202によって着用される慣性ボディキャプチャスーツを利用するシステム)から受け取るステップとを含むことができる。
【0092】
更なる実施形態によれば、光学モーションキャプチャシステムから受け取られたデータは、ヒューマンオペレータのウェスト領域に位置する1又は2以上の光学マーカーに対応するデータを含むことができる。例えば、光学モーションキャプチャシステムから受け取られたデータは、ヒューマンオペレータのウェスト領域に位置するマーカー506に対応するデータを含むことができる。
【0093】
更なる実施形態において、ヒューマンオペレータによるデジタルキャラクタのパフォーマンスの少なくとも一部の制御は、デジタルキャラクタのパフォーマンスがヒューマンオペレータ及びAIゲームエンジン技術によって同時に駆動されるように容易にされる。
【0094】
ブロック608において、特定の実施形態によれば、顧客から要求が受け取られる。例えば、
図1を参照すると、顧客110は、1箱のクッキーが提供されることを要求することができる。
【0095】
ブロック610にて、要求は、顧客が位置する物理的環境内の変化を引き起こすことによって処理することができる。一例として、要求は、顧客による取り出しのために送出される物理的物体を提供することによって処理することができる。例えば、
図5を参照すると、クッキーを含む箱302が提供され、顧客110による取り出しのために送出される。
【0096】
選択された実施形態において、本明細書で記載される特徴及び態様は、
図7に示すように、1又は2以上のコンピュータサーバー701を含むことができるコンピューティング環境700内で実施することができる。サーバー701は、1又は2以上のデータストア702(例えば、データベース、インデックス、ファイル、又はその他のデータ構造)に動作可能に結合することができる。サーバー701は、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)(例えば、インターネット)、電話機回路網、衛星又は無線通信ネットワーク、又はこれらもしくは同様のネットワークの何れかの組み合わせを含むデータ通信ネットワーク703に接続することができる。
【0097】
1又は2以上のクライアントデバイス704、705、706、707、708、709、710は、データ通信ネットワーク703を介してサーバー701及び対応するデータストア702と通信することができる。このようなクライアントデバイス704、705、706、707、708、709、710は、例えば、1又は2以上のラップトップコンピュータ707、デスクトップコンピュータ704、スマートフォン及び携帯電話705、タブレットコンピュータ706、テレビジョン708、モーションキャプチャセンサー709、カメラ710、又はこれらの組み合わせを含むことができる。動作中、このようなクライアントデバイス704、705、706、707、708、709、710は、ユーザー入力デバイス又は他の入力から受け取られたユーザー入力に応答して、データ又は命令をサーバー701に送信し、又はサーバー701から受信することができる。これに応答して、サーバー701は、データストア702からのデータの処理、データストア702内のデータの変更、データストア702へのデータの追加、又は同様のもの、或いはこれらの組み合わせを行うことができる。
【0098】
選択された実施形態において、サーバー701は、データ通信ネットワーク703を介して、データストア702からクライアントデバイス704、705、706、707、708、709、710のうちの1又は2以上にオーディオ及び/又はビデオコンテンツ、符号化データ、生成データ、及び/又はメタデータを含む1又は2以上のメディアファイルを送ることができる。デバイスは、ディスプレイ画面、プロジェクタ、又は他の表示出力デバイスを使用して、メディアファイルからオーディオ及び/又はビデオコンテンツを出力することができる。特定の実施形態において、本明細書で記載される特徴及び態様に従って構成されたシステム700は、クラウドコンピューティング環境内で動作するか、又はクラウドコンピューティング環境をサポートするように構成することができる。例えば、データストア702及びサーバー701の一部又は全ては、クラウドサーバー内に常駐することができる。
【0099】
図8を参照すると、例示的なコンピュータ800の例証が示される。システム700のデバイス704、705、706、707、708のうちの1又は2以上は、このようなコンピュータ800として構成することができ、又はこのようなコンピュータ800を含むことができる。
【0100】
選択された実施形態において、コンピュータ800は、バス803(又は多重バス)又は他の通信機構、プロセッサ801、メインメモリー804、読取り専用メモリー(ROM)805、1又は2以上の更なるストレージデバイス806、及び/又は通信インターフェース802、又は同様のもの、或いはこれらの部分的組み合わせを含むことができる。本明細書で記載される実施形態は、1又は2以上の特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロホンロコントローラ、マイクロホンロプロセッサ、本明細書で記載される機能を実行するように設計された他の電子ユニット、或いはこれらの選択的な組み合わせ内で実行することができる。全ての実施形態において、本明細書で記載される様々な構成要素は、単一の構成要素として実施することができ、又は代替的に様々な別々の構成要素で実行することができる。
【0101】
バス803又は他の通信機構は、複数のこのようなバス又は機構を含み、コンピュータ800内の情報の通信をサポートすることができる。プロセッサ801は、バス803に接続されて情報を処理することができる。選択された実施形態において、プロセッサ801は、特定のタスクを定める機械可読ソフトウェアコードを実行することによって、本明細書で記載される特徴及び態様による特定のタスクを実行するように構成された特定又は専用のマイクロホンプロセッサとすることができる。メインメモリー804(例えば、ランダムアクセスメモリー又はRAM又は他の動的ストレージデバイス)は、バス803に接続されて、プロセッサ801によって実行される情報及び命令を格納することができる。メインメモリー804はまた、このような命令の実行中に一時変数又は他の中間情報を格納することができる。
【0102】
ROM805又は何らかの他の静的ストレージデバイスは、バス803に接続されて、プロセッサ801の静的情報及び命令を格納することができる。更なるストレージデバイス806(例えば、磁気ディスク、光ディスク、メモリーカードなど)は、バス803に接続することができる。メインメモリー804、ROM805及び更なるストレージデバイス806は、情報、命令又はこれらの何らかの組み合わせ、例えば、プロセッサ801によって実行されたときにコンピュータ800に本明細書で記載される方法の1又は2以上の動作を実行させる命令を保持する非一時的コンピュータ可読媒体を含むことができる。通信インターフェース802はまた、バス803に接続することができる。通信インターフェース802は、コンピュータ800と1又は2以上の外部デバイス(例えば、コンピューティング環境内に収容された他のデバイス)との間の双方向データ通信を提供又はサポートすることができる。
【0103】
選択された実施形態において、コンピュータ800は、ディスプレイ807に(例えば、バス803を介して)接続することができる。ディスプレイ807は、コンピュータ800のユーザーに情報を伝達するために任意の適切な機構を使用することができる。例えば、ディスプレイ807は、情報をコンピュータ800のユーザーに視覚表示で提示するために液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、プロジェクタ、又は他のディスプレイデバイスを含むか又は利用することができる。1又は2以上の入力デバイス808(例えば、英数字キーボード、マウス、マイクロホン)は、コンピュータ800に情報及びコマンドを通信するためにバス803に接続することができる。選択された実施形態において、1つの入力デバイス808は、コンピュータ800によって提供され、ディスプレイ807によって表示された様々なオブジェクト、ファイル、プログラムなどの選択及び実行を可能にするためにカーソルの位置決めの制御を提供又はサポートすることができる。
【0104】
コンピュータ800は、1又は2以上のビデオファイルを送出、受信、復号、表示、その他などを行うのに使用することができる。選択された実施形態において、このような送信、受信、復号、及び表示は、メインメモリー804内に収容された1又は2以上の命令の1又は2以上のシーケンスを実行するプロセッサ801に応答したものとすることができる。このような命令は、別の非一時的コンピュータ可読媒体(例えば、ストレージデバイス)からメインメモリー804に読み込むことができる。
【0105】
メインメモリー804内に含まれる命令シーケンスの実行は、プロセッサ801に本明細書で記載される手順又はステップのうちの1又は2以上を実行させることができる。選択された実施形態において、マルチプロセッシング構成の1又は2以上のプロセッサはまた、メインメモリー804内に収容された命令のシーケンスを実行するのに使用することができる。代替的に又は付加的に、ファームウェアは、本明細書で記載される特徴及び態様に従って手順又はステップを実行するソフトウェア命令の代わりに又はソフトウェア命令に関連して使用することができる。従って、本明細書で記載される特徴及び態様による実施形態は、ハードウェア回路及びソフトウェアのいかなる特定のセットみ合わせにも限定されないようにすることができる。
【0106】
非一時的コンピュータ可読媒体は、プロセッサ801によって実行するための命令を保持するのに関与する、又はコンピュータによって処理するためのデータを格納する何れかの媒体を指すことができ、一時的伝播信号を除いて、全てのコンピュータ可読媒体を含むことができる。このような非一時的コンピュータ可読媒体としては、限定ではないが、不揮発性媒体、揮発性媒体、及び一時的記憶媒体(例えば、キャッシュメモリー)を挙げることができる。不揮発性媒体は、更なるストレージデバイスなど、光学又は磁気ディスクを含むことができる。揮発性媒体は、メインメモリーなど動的メモリーを含むことができる。非一時的コンピュータ可読媒体の一般的な形態は、例えば、ハードディスク、フロッピーディスク、磁気テープ、又は他の何れかの磁気媒体、CD-ROM、DVD、Blu-ray、又は光学媒体、RAM、PROM、EPROM、フラッシュEPROM、他の何れかのメモリーカード、チップ、又はカートリッジ、又はコンピュータが読み取ることができる他の何れかのメモリー媒体を含むことができる。
【0107】
選択された実施形態において、通信インターフェース802は、ネットワークリンクへの又はネットワークリンクを介した外部の双方向データ通信を供給又はサポートすることができる。例えば、通信インターフェース802は、データ通信ネットワーク接続を提供する無線ネットワークインターフェースコントローラ又はセルラー無線機とすることができる。代替として、通信インターフェース802は、互換LANとのデータ通信接続を提供するLANカードを含むことができる。何れかのこのような実施形態において、通信インターフェース802は、情報を伝達する電気信号、電磁信号、又は光学信号を送受することができる。
【0108】
ネットワークリンクは、1又は2以上のネットワークを介して他のデータデバイス(例えば、コンピューティング環境700に示されるようにクライアントデバイス)にデータ通信を行うことができる。例えば、ネットワークリンクは、ホストコンピュータのローカルネットワークを介して、又はインターネットサービスプロバイダー(ISP)によって運用されるデータ設備への接続を提供することができる。ISPは、次に、インターネットを介したデータ通信サービスを提供することができる。従って、コンピュータ800は、1又は2以上のネットワーク、ネットワークリンク及び通信インターフェース802を介して、プログラムコードを含むコマンド、データ、又はこれらの組み合わせを送受信することができる。このようにして、コンピュータ800は、リモートサーバー(例えば、サーバー701)又はこの何らかの組み合わせとインターフェース接続又は他の方法で通信することができる。
【0109】
本明細書で記載される様々なデバイス、モジュール、端末及び同様のものは、上記で検討したように、コンピュータ可読媒体から読み取られた機械語命令を含むソフトウェアの実行によってコンピュータ上で実施することができる。特定の実施形態において、幾つかのハードウェアの態様は、単一のコンピュータを使用して実施することができ、他の実施形態では、複数のコンピュータ、入出力システム、及びハードウェアを使用して、システムを実施することができる。
【0110】
ソフトウェア実施構成については、本明細書で記載される特定の実施形態は、手順及び機能など別個のソフトウェアモジュールで実施することができ、これらの各々は、本明細書で記載される機能及び動作のうちの1又は2以上を実行する。ソフトウェアコードは、何れかの適切なプログラミング言語で記述されたソフトウェアアプリケーションで実施することができ、メモリー内に格納されてコントローラ又はプロセッサによって実行することができる。
【0111】
上記の説明した実施形態及び特徴は、単に例示的なものであり、本発明を限定するものと解釈するべきではない。本発明の教示は、他のタイプの装置及びプロセスに容易に適用することができる。このような実施形態の記載は、例証を意図しており、特許請求の範囲を限定するものではない。多くの代替形態、修正形態、及び変形形態が当業者に明らかであろう。
【符号の説明】
【0112】
602:人工知能(AI)ゲームエンジン技術を使用してデジタルキャラクタのパフォーマンスを制御する
604:物理環境内に位置する人の存在を検出する
606:ヒューマンオペレータ、AIゲームエンジン、又はこれらの組み合わせによってデジタルキャラクタのパフォーマンスの制御を容易にする
608:要求を人から受け取る
610:物理環境内の変化を引き起こすことによって要求を処理する
【国際調査報告】