特表 2023-503170 拡張現実を用いてプレイヤのインタラクションを向上させるシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-01-26

(54)【発明の名称】拡張現実を用いてプレイヤのインタラクションを向上させるシステム及び方法

(51)【国際特許分類】

   A63F 13/65 20140101AFI20230119BHJP

   A63F 13/52 20140101ALI20230119BHJP

   A63F 13/55 20140101ALI20230119BHJP

   G06F 3/04815 20220101ALI20230119BHJP

   G06T 19/00 20110101ALI20230119BHJP

【ＦＩ】

A63F13/65

A63F13/52

A63F13/55

G06F3/04815

G06T19/00 600

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022530760

(86)(22)【出願日】2020-11-25

(85)【翻訳文提出日】2022-07-22

(86)【国際出願番号】 CA2020051604

(87)【国際公開番号】W WO2021102566

(87)【国際公開日】2021-06-03

(31)【優先権主張番号】62/939,889

(32)【優先日】2019-11-25

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】517084612

【氏名又は名称】スクウェア エニックス、リミテッド

【氏名又は名称原語表記】ＳＱＵＡＲＥ ＥＮＩＸ，ＬＴＤ．，

(74)【代理人】

【識別番号】100209886

【弁理士】

【氏名又は名称】金森 寛

(72)【発明者】

【氏名】ジョービン エティエンヌ

(72)【発明者】

【氏名】フェルナンド ドミニク

(72)【発明者】

【氏名】ゴーティエ ナタリー

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050BA09

5B050BA13

5B050CA07

5B050CA08

5B050DA04

5B050EA19

5B050FA02

5E555AA76

5E555BA06

5E555BA20

5E555BB06

5E555BB20

5E555BC08

5E555BE17

5E555CA10

5E555CA42

5E555CB72

5E555CC05

5E555DA09

5E555DA23

5E555DA24

5E555DB32

5E555DB53

5E555DC13

5E555DC19

5E555DC63

5E555DD07

5E555EA07

5E555EA14

5E555EA22

5E555FA00

(57)【要約】

拡張現実（ＡＲ）アプリのためのコンピュータ実装方法、ゲーミングデバイス及びコンピュータ可読媒体。本方法は、ゲームセッションの間、ＡＲゲーム環境を維持することを含む。本方法は、１又は複数の実世界オブジェクトを含む実世界シーンを表す画像データを受信することも含む。本方法はまた、検出可能な実世界オブジェクトセットから少なくとも１の実世界オブジェクトを画像データにおいて検出することを含む。本方法は、さらに、前記画像データにおける前記少なくとも１の実世界オブジェクトの検出時に、該ＡＲゲーム環境において少なくとも１の仮想キャラクタを生成し、該少なくとも１の仮想キャラクタは、該少なくとも１の実世界オブジェクトとの関連付けを有することを含む。

【特許請求の範囲】

【請求項1】

コンピューティングシステムのプロセッサによって実行される方法であって、
ゲームセッション中に拡張現実（ＡＲ）ゲーム環境を維持することと、
１又は複数の実世界オブジェクトを含む実世界シーンを表す画像データを受信することと、
検出可能な実世界オブジェクトセットから少なくとも１の実世界オブジェクトを前記画像データから検出することと、
前記画像データにおいて前記少なくとも１の実世界オブジェクトが検出されると、前記ＡＲゲーム環境において少なくとも１の仮想キャラクタを生成し、前記少なくとも１の仮想キャラクタは前記少なくとも１の実世界オブジェクトと関連性を有する
ことを有する。

【請求項2】

請求項１に記載の方法であって、前記少なくとも１の仮想キャラクタと前記少なくとも１の実世界オブジェクトとの関連付けをメモリに記憶することをさらに有する。

【請求項3】

請求項１又は２のいずれか１に記載の方法であって、前記少なくとも１の仮想キャラクタと前記少なくとも１の実世界オブジェクトとをディスプレイ画面上に同時に表示することをさらに有する。

【請求項4】

請求項１から３のいずれか１に記載の方法であって、
前記少なくとも１の実世界オブジェクトが１の特定の実世界オブジェクトを含み、
前記少なくとも１の仮想キャラクタが１の特定の仮想キャラクタを含み、
前記少なくとも１の実世界オブジェクトとの関連性を有する前記少なくとも１の仮想キャラクタは、前記特定の実世界オブジェクトの実世界の視覚特性に対応する視覚特性を有する前記特定の仮想キャラクタを含む。

【請求項5】

請求項４に記載の方法であって、前記特定の仮想キャラクタの視覚特性を表示画面に表示すると同時に、前記特定の実世界オブジェクトを前記表示画面に表示することをさらに有する。

【請求項6】

請求項１から３のいずれか１に記載の方法であって、
前記少なくとも１の実世界オブジェクトが１の特定の実世界オブジェクトを含み、
前記少なくとも１の仮想キャラクタが１の特定の仮想キャラクタを含み、
前記少なくとも１の実世界オブジェクトとの関連を有する前記少なくとも１の仮想キャラクタは、前記特定の実世界オブジェクトの実世界の移動特性に対応する移動特性を有する前記特定の仮想キャラクタを含む。

【請求項7】

請求項６に記載の方法であって、前記特定の仮想キャラクタの移動特性を表示画面上に表示すると同時に、前記特定の実世界オブジェクトを前記表示画面上に表示することをさらに有する。

【請求項8】

請求項１から３のいずれか１に記載の方法であって、
前記少なくとも１の実世界オブジェクトが１の特定の実世界オブジェクトを含み、
前記少なくとも１の仮想キャラクタが１の特定の仮想キャラクタを含み、
前記少なくとも１の実世界オブジェクトとの関連を有する前記少なくとも１の仮想キャラクタは、前記特定の実世界オブジェクトの実世界の可聴特性に対応する可聴特性を有する前記特定の仮想キャラクタを含む。

【請求項9】

請求項１から３のいずれか１に記載の方法であって、
前記少なくとも１の実世界オブジェクトが特定の実世界オブジェクトを含み、
前記少なくとも１の仮想キャラクタが１の特定の仮想キャラクタを含み、
前記少なくとも１の実世界オブジェクトとの関連を有する前記少なくとも１の仮想キャラクタは、前記特定の実世界オブジェクトの実世界の触覚特性に対応する触覚特性を有する前記特定の仮想キャラクタを含む。

【請求項10】

請求項１から３のいずれか１に記載の方法であって、
前記少なくとも１の実世界オブジェクトが特定の実世界オブジェクトを含み、
前記少なくとも１の仮想キャラクタが１の特定の仮想キャラクタを含み、
前記少なくとも１の実世界オブジェクトとの関連を有する前記少なくとも１の仮想キャラクタは、前記特定の実世界オブジェクトの実世界の形状に対応する形状を有する前記特定の仮想キャラクタを含む。

【請求項11】

請求項１から３のいずれか１に記載の方法であって、
前記少なくとも１の実世界オブジェクトが特定の実世界オブジェクトを含み、
前記少なくとも１の仮想キャラクタが１の特定の仮想キャラクタを含み、
前記少なくとも１の実世界オブジェクトとの関連を有する前記少なくとも１の仮想キャラクタは、前記特定の実世界オブジェクトの実世界の色に対応する色を有する前記特定の仮想キャラクタを含む。

【請求項12】

請求項１から１１のいずれか１に記載の方法であって、前記少なくとも１の仮想キャラクタは１の単一仮想キャラクタを含む。

【請求項13】

請求項１から１１のいずれか１に記載の方法であって、前記少なくとも１の仮想キャラクタは複数の仮想キャラクタを含み、前記複数の仮想キャラクタは、前記少なくとも１の実世界オブジェクトとの関連性を有する。

【請求項14】

請求項１から１３のいずれか１に記載の方法であって、前記少なくとも１の実世界オブジェクトが少なくとも１の第一実世界オブジェクトを含み、前記少なくとも１の仮想キャラクタが少なくとも１の第一仮想キャラクタを含み、前記方法はさらに、
前記検出可能な実世界オブジェクトセットから少なくとも１の第二実世界オブジェクトを画像データから検出することと、
前記画像データから前記少なくとも１の第二実世界オブジェクトが検出されると、前記ＡＲゲーム環境において少なくとも１の第二仮想キャラクタを生成し、前記少なくとも１の第二仮想キャラクタは前記少なくとも１の第二実世界オブジェクトとの関連性を有することと
を有する。

【請求項15】

請求項１４に記載の方法であって、前記少なくとも１の第一実世界オブジェクトと前記少なくとも１の第二実世界オブジェクトとは、前記実世界シーンにおいて互いに視覚的に関連している。

【請求項16】

請求項１４に記載の方法であって、前記少なくとも１の第一実世界オブジェクトと前記少なくとも１の第二実世界オブジェクトは物理的に接続されている。

【請求項17】

請求項１に記載の方法であって、前記方法はさらに、前記少なくとも１の実世界オブジェクトのしるしと、前記少なくとも１の実世界オブジェクトの検出したときに前記ＡＲゲーム環境において生成される前記少なくとも１の仮想キャラクタのしるしとをメモリに記憶することを有する。

【請求項18】

請求項１から１７のいずれか１に記載の方法であって、前記方法はさらに、前記ＡＲゲーム環境において前記少なくとも１の仮想キャラクタが生成された時間の表示をメモリに記憶することを有する。

【請求項19】

請求項１から１８のいずれか１に記載の方法であって、前記少なくとも１の実世界オブジェクトが無生物を含む。

【請求項20】

請求項１から１８のいずれか１に記載の方法であって、前記少なくとも１の実世界オブジェクトが生命体を含む。

【請求項21】

請求項１から２０のいずれか１に記載の方法であって、前記検出可能な実世界オブジェクトセットからの各実世界オブジェクトは、少なくとも１のオブジェクトファミリに割り当てられる。

【請求項22】

請求項２１に記載の方法であって、前記検出可能な実世界オブジェクトセット内の所定の１の実世界オブジェクトが割り当てられる前記少なくとも１のオブジェクトファミリは、前記所定の実世界オブジェクトの予想される物理的な位置に基づいている。

【請求項23】

請求項１から２０のいずれか１に記載の方法であって、前記ＡＲゲーム環境において、前記少なくとも１の仮想キャラクタを生成することが、
前記検出可能な実世界オブジェクトセットから前記少なくとも１の実世界オブジェクトに関連する少なくとも１のオブジェクトファミリを決定し、前記少なくとも１のオブジェクトファミリは仮想キャラクタセットとメモリ内で関連付けられていることと、
前記少なくとも１のオブジェクトファミリに関連付けられた前記仮想キャラクタセットから、前記少なくとも１の仮想キャラクタを選択することと
を有する。

【請求項24】

請求項１から２３のいずれか１に記載の方法であって、前記検出可能な実世界オブジェクトセットからの各実世界オブジェクトは、少なくとも１のオブジェクトラベルを割り当てられる。

【請求項25】

請求項１から２４のいずれか１に記載の方法であって、さらに、
前記少なくとも１の実世界オブジェクトが前記検索可能な実世界オブジェクトセットに含まれる信頼度を決定することを有し、
前記少なくとも１の実世界オブジェクトを検出することはさらに、前記信頼度が信頼度の閾値を超えたことを判定することを有する。

【請求項26】

請求項２５に記載の方法であって、前記信頼度が前記信頼度の閾値を超えていることに応答して、前記ＡＲゲーム環境において前記仮想キャラクタを生成する。

【請求項27】

請求項１から２６のいずれか１に記載の方法であって、前記検出可能な実世界オブジェクトセットの構成が、時間により変化する。

【請求項28】

請求項１から２７のいずれか１に記載の方法であって、前記方法がさらに、前記ＡＲゲーム環境において前記少なくとも１の仮想キャラクタが生成された後に、前記検出可能な実世界オブジェクトセットから前記少なくとも１の実世界オブジェクトを削除するステップを有する。

【請求項29】

請求項１から２８のいずれか１に記載の方法であって、前記方法がさらに、前記画像データから実世界オブジェクトの所定の組み合わせを検出した場合に、前記検出可能な実世界オブジェクトセットのサイズを変更することを有する。

【請求項30】

請求項２９に記載の方法であって、前記検出可能な実世界オブジェクトセットのサイズを変更することは、前記検出可能な実世界オブジェクトセットのサイズを大きくすることを含む。

【請求項31】

請求項１から３０のいずれか１に記載の方法であって、前記ＡＲゲーム環境において、前記少なくとも１の仮想キャラクタを生成することがさらに、前記少なくとも１の実世界オブジェクトの位置に関連して、前記少なくとも１の仮想キャラクタを前記少なくとも１の現実世界のオブジェクトに固定するアンカーを確立することを有する。

【請求項32】

請求項１から３１のいずれか１に記載の方法であって、前記方法はさらに、前記少なくとも１の仮想キャラクタの生成時における前記少なくとも１の実世界オブジェクトの空間座標の数値をメモリに記憶することを有する。

【請求項33】

請求項１から３２のいずれか１に記載の方法であって、前記方法はさらに、前記少なくとも１の実世界オブジェクトの現在の空間座標の数値と、前記少なくとも１の仮想キャラクタの現在の空間座標の数値とをメモリに記憶することを有する。

【請求項34】

請求項３３に記載の方法であって、前記少なくとも１の実世界オブジェクトの現在の空間座標の数値と、前記少なくとも１の仮想キャラクタの現在の空間座標の数値とが等しい。

【請求項35】

請求項３３に記載の方法であって、前記少なくとも１の実世界オブジェクトの現在の空間座標の数値と、前記少なくとも１の仮想キャラクタの現在の空間座標の数値とが異なる。

【請求項36】

請求項１に記載の方法であって、前記少なくとも１の実世界オブジェクトは空間座標に関連付けられており、前記方法はさらに、前記少なくとも１の実世界オブジェクトの空間座標と一致する空間座標を前記少なくとも１の仮想キャラクタに割り当てることを有する。

【請求項37】

請求項１から１３及び３６のいずれか１に記載の方法であって、前記少なくとも１の実世界オブジェクトが１の第一実世界オブジェクトを含み、前記ＡＲゲーム環境において前記少なくとも１の仮想キャラクタを生成することがさらに、
前記画像データから、前記検索可能な実世界オブジェクトセットから他の実世界オブジェクトを検出することと、
前記実世界シーンの画像データから、他の実世界オブジェクトの濃度が所定の濃度の閾値以下である少なくとも１の領域を検出することと、
前記少なくとも１の仮想キャラクタのアンカーを、前記実世界シーンの画像データから他の実世界オブジェクトの濃度が所定の濃度の閾値以下である少なくとも１の領域の位置と関連付けて確立することと
を有する。

【請求項38】

請求項３７に記載の方法であって、前記少なくとも１の領域は複数の領域であり、前記方法はさらに、前記第一実世界オブジェクトに最も近い領域の位置に関連付けてアンカーを確立することを有する。

【請求項39】

請求項１から１３、１７及び３６のいずれか１に記載の方法であって、前記少なくとも１の仮想キャラクタは１の第一仮想キャラクタを含み、前記方法はさらに、
前記画像内の前記少なくとも１の実世界オブジェクトを２回目に検出することと、
前記少なくとも１の実世界オブジェクトを２回目に検出したことに応答して、前記少なくとも１の実世界オブジェクトとの関連付けを有する１の新たな仮想キャラクタを生成することなく、前記少なくとも１の仮想キャラクタが有する前記少なくとも１の実世界オブジェクトとの間の関連性を保持することと
を有する。

【請求項40】

請求項１から１３、１７及び３６のいずれか１に記載の方法であって、前記少なくとも１の仮想キャラクタは１の第一仮想キャラクタを含み、前記方法はさらに、
前記画像内の前記少なくとも１の実世界オブジェクトを２回目に検出することと、
前記少なくとも１の実世界オブジェクトを２回目に検出することに応答して、前記少なくとも１の仮想キャラクタが有する前記少なくとも１の実世界オブジェクトとの間の関連性を保持し、かつ、前記少なくとも１の実世界オブジェクトとの関連性を有する１の追加の仮想キャラクタを生成することと
をさらに有する。

【請求項41】

請求項１から４０のいずれか１に記載の方法であって、前記少なくとも１の実世界オブジェクトが、検索可能な実世界オブジェクトセットからの複数の実世界オブジェクトを含み、かつ、前記少なくとも１の仮想キャラクタが、複数の仮想キャラクタそれぞれが複数の実世界オブジェクトそれぞれと関連性を有する。

【請求項42】

請求項１から４０のいずれか１に記載の方法であって、前記少なくとも１の実世界オブジェクトが、検索可能な実世界オブジェクトセットからの複数の実世界オブジェクトを含み、前記方法がさらに、前記複数の実世界オブジェクトから第一実世界オブジェクトを選択することと、前記選択に加えて、前記ＡＲゲーム環境において前記少なくとも１の仮想キャラクタを生成することとを有する。

【請求項43】

請求項４２に記載の方法であって、前記第一実世界オブジェクトの選択が、前記複数の実世界オブジェクトそれぞれのランキングに基づいて行われる。

【請求項44】

請求項４２に記載の方法であって、前記第一実世界オブジェクトの選択が、プレイヤからの入力を検出することに応じて実行される。

【請求項45】

請求項１から１３、１７及び３６のいずれか１に記載の方法であって、前記少なくとも１の実世界オブジェクトは、１の第一実世界オブジェクトを含み、前記少なくとも１の仮想キャラクタは、１の第一仮想キャラクタを含み、前記方法はさらに、
前記検出可能な実世界セット内の前記実世界オブジェクトそれぞれに、少なくとも１のオブジェクトラベルを割り当てることと、
前記ＡＲゲーム環境において１の追加の仮想キャラクタが生成されることなく、前記検出可能な実世界オブジェクトセットから第二実世界オブジェクトを検出することと
を有し、
前記第一実世界オブジェクトの前記少なくとも１のオブジェクトラベルは、前記第二実世界オブジェクトの前記少なくとも１のオブジェクトラベルと同じである。

【請求項46】

請求項１から４５のいずれか１に記載の方法であって、前記方法がさらに、
前記ゲームセッション中に検出された実世界オブジェクトの第一記録を維持することと、
前記第一記録のコンテンツの表現をプレイヤに提供することと
を有する。

【請求項47】

請求項４６に記載の方法であって、前記方法がさらに、
前記ゲームセッション中に未検出の、前記検出可能な実世界オブジェクトセット内の実世界オブジェクトの第二記録を維持することと
前記第二記録のコンテンツの表現をプレイヤに提供すること
を有する。

【請求項48】

請求項１から４７のいずれか１に記載の方法であって、前記方法がさらに、
前記ゲームセッション中に生成される仮想キャラクタの第一記録を維持することと、
前記第一記録のコンテンツの表現をプレイヤに提供することと
を有する。

【請求項49】

請求項４８に記載の方法であって、前記方法がさらに、
前記ゲームセッション中に未検出の前記検出可能な実世界オブジェクトセット内の前記実世界オブジェクトに関連付けられた前記仮想キャラクタの第二記録を維持することと、
前記第二記録のコンテンツの表現をプレイヤに提供することと
を有する。

【請求項50】

少なくとも１のプロセッサと、前記プロセッサによる実行のための命令を記憶するメモリと、ユーザから入力を受け付けるよう構成された少なくとも１の入力デバイスと、ユーザに出力を提供するように構成された少なくとも１の出力デバイスとを備え、
前記少なくとも１のプロセッサは、前記受け付けた入力に応答して前記出力を生成する対話型コンピュータプログラムを実装するために前記メモリ内の命令を実行するように構成され、前記対話型コンピュータプログラムは、
ゲームセッション中、拡張現実（ＡＲ）ゲーム環境を維持することと、
１又は複数の実世界オブジェクトを含む実世界シーンを表す画像データを受信することと、
検出可能な実世界オブジェクトセットから少なくとも１の実世界オブジェクトを前記画像データから検出することと、
前記画像データにおいて前記少なくとも１の実世界オブジェクトが検出されると、前記ＡＲゲーム環境において少なくとも１の仮想キャラクタを生成することと
の少なくとも１のプロセスを含み、
前記少なくとも１の仮想キャラクタは前記少なくとも１の実世界オブジェクトと関連性を有する、ゲーミングデバイス。

【請求項51】

ゲーミングデバイスの少なくとも１のプロセッサによって読み取られて実行されると、ゲーミングデバイスに対話型コンピュータプログラムに含まれる方法を実行させるコンピュータ可読命令を書き込んだコンピュータ可読記憶媒体であって、
該方法が、
ゲームセッション中、拡張現実（ＡＲ）ゲーム環境を維持することと、
１又は複数の実世界オブジェクトを含む実世界シーンを表す画像データを受信することと、
検出可能な実世界オブジェクトセットから少なくとも１の実世界オブジェクトを前記画像データから検出することと、
前記画像データにおいて前記少なくとも１の実世界オブジェクトが検出されると、前記ＡＲゲーム環境において少なくとも１の仮想キャラクタを生成することと
を有し、
前記少なくとも１の仮想キャラクタは前記少なくとも１の実世界オブジェクトとの関連性を有する、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０１９年１１月２５日に出願された、「拡張現実を用いてプレイヤのインタラクションを向上させるシステム及び方法」という発明の名称の米国仮特許出願第62/939,889号の利益を主張し、参照により本明細書に組み込まれる。

【0002】

本願発明は、一般にコンピュータゲームに関し、特に、拡張現実を利用した対話型コンピュータゲームに関する。

【背景技術】

【0003】

コンピュータゲームの主な目的の一つは、高いプレイヤの関与と興味によって特徴付けられる、やりがいのあるゲーム体験を提供することである。

【0004】

拡張現実（ＡＲ）とは、カメラで撮影した実世界の映像に、コンピュータで生成した仮想オブジェクトの映像を重ねる技術のことである。例えば、実世界オブジェクトの画像にＡＲを適用し、ＣＧで装飾を施すといった用途がある。Instagram（登録商標）やSnapchat（登録商標）のアプリケーションで提供されているＡＲフィルタがその一例である。

【0005】

測位システム（GPS、全地球測位システム）、デジタルコンパス、及び加速度センサを搭載した携帯端末の普及により、モバイルゲームにおけるＡＲの利用が拡大している。特に、ゲームにおけるＡＲの利用は、仮想世界（コンピュータによって生成された仮想オブジェクトの画像を含む）と実世界（実世界オブジェクトの撮影画像を含む）とを並置して見ることをプレイヤに可能にしている。モバイルゲームにおけるＡＲの利用は、位置情報に基づいて仮想のキャラクタを出現させ、プレイヤはそのキャラクタとゲームの戦略やプロットの一部として相互作用するように発展してきた。これにより、エンターテインメント性の高いモバイルゲームが誕生し、ゲーム業界のエコシステムに大きな収益をもたらすようになった。

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、現在のＡＲを用いたモバイルゲームでは、一般的に、プレイヤは測位システムにより解決可能な、予め定められた位置に移動する必要がある。このため、特に狭い環境では、ゲームのプレイが不便になるおそれがある。また、ゲームの結果は、画像のビジュアルコンテンツよりも、デバイスが予め定められた位置にあり、一定の方向性を持つことに依存する。このため、予測可能性が高くなり、時間が経つにつれて、ゲームの面白さが損なわれる可能性がある。

【0007】

そのため、ゲーム業界では、周辺環境のビジュアルコンテンツの機能として、プレイヤが経験できる幅を広げるＡＲベースのモバイルゲームを提供することに関心が持たれている。

【課題を解決するための手段】

【0008】

様々な態様によれば、本開示は、演算システムのプロセッサによって実行される方法に関する。本方法は、ゲームセッション中に拡張現実（ＡＲ）ゲーム環境を維持すること、及び、１又は複数の実世界オブジェクトを含む実世界シーンを表す画像データを受信することを有する。本方法はまた、検出可能な実世界オブジェクトセットから少なくとも１の実世界オブジェクトを画像データから検出すること、及び、該画像データにおいて前記少なくとも１の実世界オブジェクトが検出されると、前記ＡＲゲーム環境において少なくとも１の仮想キャラクタを生成し、該少なくとも１の仮想キャラクタは該少なくとも１の実世界オブジェクトとの関連性を有する。

【0009】

さらに別の態様によれば、本開示はゲーミングデバイスに関し、ゲーミングデバイスは少なくとも１のプロセッサと、前記プロセッサによる実行のための命令を記憶するメモリと、ユーザから入力を受け付けるよう構成された少なくとも１の入力デバイスと、ユーザに出力を提供するように構成された少なくとも１の出力デバイスとを備え、前記少なくとも１のプロセッサは、前記受け付けた入力に応答して前記出力を生成する対話型コンピュータプログラムを実装するために前記メモリ内の命令を実行するように構成され、前記対話型コンピュータプログラムは、ゲームセッション中、拡張現実（ＡＲ）ゲーム環境を維持すること、及び１又は複数の実世界オブジェクトを含む実世界シーンを表す画像データを受信する少なくとも１のプロセスを含む。該プロセスはまた、検出可能な実世界オブジェクトセットから少なくとも１の実世界オブジェクトを前記画像データから検出することも含む。このプロセスは、さらに、該画像データにおける該少なくとも１の実世界オブジェクトの検出時に、ＡＲゲーム環境において少なくとも１の仮想キャラクタを生成することを含み、該少なくとも１の仮想キャラクタは、該少なくとも１の実世界オブジェクトとの関連を有している。

【0010】

さらに別の態様によれば、本開示はコンピュータ可読記憶媒体に関し、該コンピュータ可読記憶媒体は、ゲーミングデバイスの少なくとも１のプロセッサによって読み取られて実行されると、ゲーミングデバイスに対話型コンピュータプログラムに含まれる方法を実行させるコンピュータ可読命令を含み、該方法は、ゲームセッション中、拡張現実（ＡＲ）ゲーム環境を維持することと、１又は複数の実世界オブジェクトを含む実世界シーンを表す画像データを受信することとを有する。前記方法はまた、検出可能な実世界オブジェクトセットから少なくとも１の実世界オブジェクトを前記画像データから検出することと、前記画像データにおいて前記少なくとも１の実世界オブジェクトが検出されると、前記ＡＲゲーム環境において少なくとも１の仮想キャラクタを生成することとを有し、前記少なくとも１の仮想キャラクタは前記少なくとも１の実世界オブジェクトとの関連性を有する。

【0011】

本開示のこれら及び他の態様は、添付の図面と併せて実施形態の記載を検討することにより、当業者にとって今や明白となるであろう。

【図面の簡単な説明】

【0012】

本開示のより完全な理解のために、ここで、添付の図面に関連する以下の説明を参照されたい。

【0013】

【図1A】図１Ａは、非限定的な実施形態によるＡＲアプリによって提示される第１シーンの画像を示している。

【図1B】図１Ｂは、非限定的な実施形態によるＡＲアプリによって提示される第１シーンの画像を示している。

【図1C】図１Ｃは、非限定的な実施形態によるＡＲアプリによって提示される第１シーンの画像を示している。

【図1D】図１Ｄは、非限定的な実施形態によるＡＲアプリによって提示される第１シーンの画像を示している。

【図2A】図２Ａは、非限定的な実施形態によるＡＲアプリによって提示される第２シーンの画像を示している。

【図2B】図２Ｂは、非限定的な実施形態によるＡＲアプリによって提示される第２シーンの画像を示している。

【図3A】図３Ａは、非限定的な実施形態によるＡＲアプリによって提示される第３シーンの画像を示している。

【図3B】図３Ｂは、非限定的な実施形態によるＡＲアプリによって提示される第３シーンの画像を示している。

【図3C】図３Ｃは、非限定的な実施形態によるＡＲアプリによって提示される第３シーンの画像を示している。

【図3D】図３Ｄは、非限定的な実施形態によるＡＲアプリによって提示される第３シーンの画像を示している。

【図3E】図３Ｅは、ＡＲアプリによって生成される仮想キャラクタのコレクション画面の非限定的な例のコンテンツを示す図である。

【図4A】図４Ａは、非限定的な実施形態による、ＡＲアプリによって提示される第４シーンの画像を示す図である。

【図4B】図４Ｂは、非限定的な実施形態による、ＡＲアプリによって提示される第４シーンの画像を示す図である。

【図4C】図４Ｃは、非限定的な実施形態による、ＡＲアプリによって提示される第４シーンの画像を示す図である。

【図5】図５は、ＡＲアプリによって生成される仮想キャラクタのコレクション画面の他の非限定的な例示的なコンテンツを示す図である。

【図6】図６は、非限定的な実施形態による、ＡＲアプリによって実行される方法のステップを示すフローチャートである。

【図7】図７は、非限定的な実施形態による、ＡＲアプリを実行するための携帯端末の構造を示すブロック図である。

【図8】図８は、非限定的な実施形態による、ＡＲアプリのコンポーネントを概念的に示すブロック図である。

【図9】図９は、非限定的な実施形態による、携帯端末のメモリと図６に示すプロセス間の関係を示すブロック図である。

【図10A】図１０Ａは、非限定的な実施形態による、実世界オブジェクトデータの例を概念的に示すブロック図である。

【図10B】図１０Ｂは、非限定的な実施形態による、ゲームデータの例を概念的に示すブロック図である。

【図10C】図１０Ｃは、非限定的な実施形態による、実世界オブジェクトライブラリの例を概念的に示す図である。

【図10D】図１０Ｄは、非限定的な実施形態による、仮想キャラクタライブラリの例を概念的に示す図である。

【図10E】図１０Ｅは、非限定的な実施形態による、キャラクタデータの例を概念的に示す図である。

【図11】図１１は、非限定的な実施形態による、検出可能な実世界オブジェクトセットに関する情報を格納したテーブルである。

【図12】図１２は、非限定的な実施形態による、仮想キャラクタに関する情報を格納したテーブルである。

【図13】図１３は、非限定的な実施形態による、実世界オブジェクトと仮想キャラクタと間の関連性に関する情報を格納したテーブルである。

【図14】図１４は、非限定的な実施形態による、実世界オブジェクト選択アルゴリズムのステップを示すフローチャートである。

【図15】図１５は、非限定的な実施形態による、測位アルゴリズムのステップを示すフローチャートである。

【図16】図１６は、非限定的な実施形態による、ＡＲアプリによって実行される方法のステップを示すフローチャートである。

【図17A】図１７Ａは、非限定的な実施形態による、ＡＲアプリによって提示される第５シーンの画像を示す図である。

【図17B】図１７Ｂは、非限定的な実施形態による、ＡＲアプリによって提示される第５シーンの画像を示す図である。

【図17C】図１７Ｃは、非限定的な実施形態による、ＡＲアプリによって提示される第５シーンの画像を示す図である。

【図18A】図１８Ａは、非限定的な実施形態による、ＡＲアプリによって提示される第６シーンの画像を示す図である。

【図18B】図１８Ｂは、非限定的な実施形態による、ＡＲアプリによって提示される第６シーンの画像を示す図である。

【図18C】図１８Ｃは、非限定的な実施形態による、ＡＲアプリによって提示される第６シーンの画像を示す図である。

【図19】図１９は、非限定的な実施形態による、選択／マッチングアルゴリズムのステップを示すフローチャートである。

【図20A】図２０Ａは、非限定的な実施形態による、ＡＲアプリによって提示される第７シーンの画像を示す図である。

【図20B】図２０Ｂは、非限定的な実施形態による、ＡＲアプリによって提示される第７シーンの画像を示す図である。

【図20C】図２０Ｃは、非限定的な実施形態による、ＡＲアプリによって提示される第７シーンの画像を示す図である。

【図20D】図２０Ｄは、非限定的な実施形態による、ＡＲアプリによって提示される第７シーンの画像を示す図である。

【図20E】図２０Ｅは、非限定的な実施形態による、ＡＲアプリによって提示される第７シーンの画像を示す図である。

【図21】図２１は、非限定的な実施形態による、第１プレイヤ及び第２プレイヤ間の共有ＡＲ体験を示す図である。

【図22】図２２は、非限定的な実施形態による、仮想キャラクタの選択アルゴリズムのステップを示すフローチャートである。

【発明を実施するための形態】

【0014】

本明細書及び図面は、特定の実施形態を例示するためのものであり、理解の助けとなるものであることを明確に理解すべきである。これらは、限定することを意図したものではなく、また、限定されるべきものでもない。

【0015】

図７に関して、携帯端末１０が示されている。様々な実施形態において、携帯端末１０は、いくつかの非限定的な可能性により、スマートフォン、タブレット、ゲーム機、ヘッドセット、又はいわゆる「スマート」グラスもしくは「スマート」コンタクトレンズであってもよい。

【0016】

携帯端末１０は、メモリ１４、及び少なくとも１のプロセッサ１２を備える。少なくとも１のプロセッサ１２は、１又は複数の中央処理装置（ＣＰＵ）及び／又は１又は複数のグラフィックス処理装置（ＧＰＵ）を含むことができる。携帯端末１０は、Android（登録商標）又はiOS（登録商標）又は任意の他のモバイルオペレーティングシステムのようなオペレーティングシステムを実行することができる。バス１８は、該少なくとも１のプロセッサ１２とメモリ１４の間の通信を可能にしてもよい。また、携帯端末１０は、ディスプレイ１１（例えば、タッチスクリーン１６）、及びカメラ２６、及びマイク２４、及びスピーカ２０を備えている。

【0017】

携帯端末１０は、ネットワーク入出力インターフェース２５を介して、データネットワーク３０に接続されてもよい。実施態様によっては、データネットワーク３０は、インターネット、ローカルエリアネットワーク、無線ネットワーク、そのようなネットワークの組み合わせ、又はさらに他の形態のデータネットワークであってもよい。

【0018】

プレイヤ１は、少なくとも１の入力デバイス２８（例えば、ジョイスティック、タッチスクリーン１６、キーボード、コントローラ、マイク２４、カメラ２６及び／又はジェスチャセンサのうちの１又は複数を含む）を介してプレイヤ入力を提供する。ディスプレイ１１（例えばタッチスクリーン１６）、カメラ２６、マイク２４及びスピーカ２０は、入出力インターフェース（Ｉ／Ｏ）２１及びバス１８を介して少なくとも１のプロセッサ１２に接続されてもよい。

【0019】

モバイルＡＲアプリは、メモリ１４に記憶され、少なくとも１のプロセッサ１２によって読み取られ実行されるコンピュータ可読命令３２によって定義される対話型コンピュータプログラムとして見ることができる。実施形態の中には、モバイルＡＲアプリは、モバイルＡＲゲームと称されることがある。

【0020】

非限定的な実施形態により、図８は、複数の相互接続されたモジュールから構成されると見ることができるモバイルＡＲアプリ１０００のブロック図である。モバイルＡＲアプリ１０００は、オブジェクト検出モジュール（ＯＤＭ）１０１０、コンピュータビジョンプラグイン（ＣＶＰ）１０３０、及びＡＲアプリプログラムインターフェース（ＡＲ ＡＰＩ）１０２０から構成され得る。いくつかの実施形態では、ＯＤＭ１０１０は、ＣＶＰ１０３０及びＡＲ ＡＰＩ１０２０と共に、図６の方法を実施するソフトウェア処理ブロックである。

【0021】

ＣＶＰ１０３０は、ＯＤＭ１０１０にコンピュータビジョン機械学習などのコンピュータビジョン機能を追加する任意のソフトウェア・コンポーネントとすることができる。コンピュータビジョン機能の例としては、Android（登録商標）オペレーティングシステムのTensorFlow（登録商標）Lite及びiOS（登録商標）オペレーティングシステムのCoreML（登録商標）によって提供されるものが挙げられる。

【0022】

ＡＲ ＡＰＩ１０２０は、ポイントクラウドデータなどの拡張現実機能をＯＤＭ１０１０に提供する、又はその他の方法でアクセスを可能にする任意のソフトウェア・コンポーネントとすることができる。拡張現実機能の例には、Android（登録商標）オペレーティングシステムのARCore（登録商標）及びiOS（登録商標）オペレーティングシステムのARKit（登録商標）によって提供されるものが含まれる。

【0023】

ＡＲゲーム環境１００５のシーンの画像は、モバイルＡＲアプリ１０００によってキャプチャされてもよい。具体的には、ＯＤＭ１０１０は、携帯端末１０のカメラフィード（すなわち、ビデオフレーム）から画像を取り込む。該シーンは、該シーンの画像に現れる実世界オブジェクトから構成されてもよい。一部の実施形態では、実世界オブジェクトの１又は複数は、無生物オブジェクト（例えば、テーブル、リモコン、ホースなど）であってよい。他の実施形態では、実世界オブジェクトの１又は複数は、生命体のオブジェクト（例えば、人、動物など）であってもよい。一般に、所定のシーンに存在し得る実世界オブジェクトの数には特に制限はない。

【0024】

例えば、図１Ａは、モバイルＡＲアプリ１０００によって携帯端末１０のディスプレイ１１上にキャプチャされ提示され得る第１シーンの画像１００Ａを示す。画像１００Ａは、２つの実世界オブジェクト、すなわち実世界のテーブル１０１及び実世界のリモコン１０２を含むように示されている。

【0025】

図１Ｂから図１Ｄは、モバイルＡＲアプリ１０００が携帯端末１０のディスプレイ１１に提示するシーンの後続の画像１００Ｂから１００Ｄを示す図である。画像の進行に伴い、仮想キャラクタ１０４が実世界リモコン１０２から放出される／によって生成されるように見える。

【0026】

前記仮想キャラクタの生成及びそれら実世界オブジェクトとの関連付けは、次に図６でさらに詳細に説明するモバイルＡＲアプリ１０００によって実装される方法６００の結果である。

【0027】

ステップ６１０
モバイルＡＲアプリ１０００は、携帯端末１０のカメラ２６によって撮影された画像を取得または受信するように構成される。前述したように、ＯＤＭ１０１０は、携帯端末１０のカメラフィード（すなわち、ビデオフレーム）から画像を取り込む。一般的に言えば、取得されたカメラ画像（又は、より一般的には「カメラデータ」）は、モバイルＡＲアプリ１０００に関連付けられた検出可能な実世界オブジェクトセット５８における機械認識可能な実世界オブジェクトを含んでいてもいなくてもよい。

【0028】

検出可能な実世界オブジェクトセット５８は、モバイルＡＲアプリ１０００に関連付けられた実世界オブジェクトライブラリ３００に記憶された実世界オブジェクトセットのサブセットであってもよい。実世界オブジェクトライブラリ３００は、メモリ１４に記憶されたゲームデータ３５にエンコードされてもよい。実世界オブジェクトライブラリ３００内の各実世界オブジェクト（検出可能な実世界オブジェクトセット５８内の各実世界オブジェクトを含む）は、識別情報を含んでもよい。例えば、実世界オブジェクトライブラリ３００内の各実世界オブジェクトにオブジェクト名５０ｘが割り当てられてもよい。

【0029】

一部の実施形態では、モバイルＡＲアプリ１０００は、実世界オブジェクトライブラリ３００内の各実世界オブジェクト（検出可能な実世界オブジェクトセット５８内の各実世界オブジェクトを含む）をオブジェクトファミリ５０１ｘ（「オブジェクトファミリ」）に分類するように構成されてもよい。一部の実施形態では、オブジェクトファミリ５０１ｘは、実世界の物理的な場所に関連していてもよい。一部の実施形態では、オブジェクトファミリ５０１ｘは、プレイヤ１がそのようなオブジェクトを見つける可能性が高い、実世界における予想される物理的な場所に関連していてもよい。例えば、オブジェクトファミリ５０１ｘは、キッチンオブジェクト、リビングルームオブジェクト、バックヤードオブジェクト、及び／又はスーパーマーケットオブジェクトを含んでもよい。実世界オブジェクトライブラリ３００における実世界オブジェクトのオブジェクトファミリ５０１ｘへの分類は、ゲームデザイン時にゲームデザイナによってゲームデータ３５にエンコードされてもよい。

【0030】

図示された例示的な実施形態では、前記カメラ画像は、実世界テーブル１０１及び実世界リモコン１０２を含む。本事例では、実世界オブジェクトライブラリ３００は、「テーブル」のオブジェクト名５０ｘで識別される実世界オブジェクト及び、「リモコン」のオブジェクト名５０ｘで識別される実世界オブジェクトを含むと仮定するが、「リモコン」のオブジェクト名５０ｘで識別される実世界オブジェクトのみが検出可能な実世界オブジェクトセット５８にあると仮定される。
次はステップ６２０である。

【0031】

ステップ６２０
モバイルＡＲアプリ１０００は、ステップ６１０で取得又は受信したカメラ画像を処理するように構成される。具体的には、検出可能な実世界オブジェクトセット５８内の１又は複数の実世界オブジェクトを、画像内で検出する試みがなされる。

【0032】

一部の実施形態では、受信した画像における実世界オブジェクトの検出の試みは、適切に学習したコンピュータビジョンモデル（ＣＶＭ）を用いて実行することができる。例えば、ＯＤＭ１０１０は、事前に学習したＣＶＭ１０４０を使用して受信した画像を処理するようにＣＶＰ１０３０に要求を送信する。具体的には、ＣＶＭ１０４０は、１又は複数の視点から受信した画像内の形状、色、及び／又はテクスチャ（パターン）を調べることによって、既知のオブジェクトを識別しようとする。本実施形態の実装の一例では、前記既知のオブジェクトは、実世界オブジェクトライブラリ３００内の実世界オブジェクトを含んでもよい。

【0033】

ステップ６３０
ＣＶＭ１０４０の出力は、実世界オブジェクトが検出されたか否かを示す。ステップ６３０において、ＣＶＭ１０４０の出力が評価される。

【0034】

ＣＶＭ１０４０の出力がポジティブであれば、これは撮影した画像に実世界オブジェクトが検出されたことを示しており、次のステップはステップ６４０である。ネガティブな場合、モバイルＡＲアプリ１０００は、ステップ６３０がポジティブな結果をもたらすまで、ステップ６１０及び６２０を繰り返す。

【0035】

特定の実世界オブジェクトがシーン内で検出された場合、ＣＶＭ１０４０は、オブジェクトラベル６０ｘを該特定の実世界オブジェクトに割り当てるように構成されてもよい。オブジェクトラベル６０ｘは、前記実世界オブジェクトに関連する識別情報としても機能し得る。前記特定の実世界オブジェクトのオブジェクトラベル６０ｘは、メモリ１４に記憶されてもよい。

【0036】

図示された例示的な実施形態では、実世界リモコン１０２が最終的に検出され、ステップ６３０のポジティブな結果を導くことが想定されている。本事例では、モバイルＡＲアプリ１０００は、オブジェクトラベル６０ｘ「リモコン」を実世界リモコン１０２に割り当てるように構成される。

【0037】

検出された各実世界オブジェクトは、メモリ１４に記憶された実世界オブジェクトデータ６２のセットを有してもよい。各実世界オブジェクトの実世界オブジェクトデータ６２は、オブジェクトラベル６０ｘを含む。

【0038】

ステップ６３０のポジティブな結果（すなわち、特定の実世界オブジェクトがシーン内で検出されたこと）に鑑みて、次のステップはステップ６４０である。

【0039】

ステップ６４０
ステップ６４０において、モバイルＡＲアプリ１０００のＡＲ ＡＰＩ１０２０は、最終的な仮想キャラクタ１０４のアンカー４６を提供するように構成される 。

【0040】

図示された実施形態では、アンカー４６は、最終的な仮想キャラクタ１０４のためのアンカーを提供するために、実世界リモコン１０２の位置と関連して確立されてもよい。このように、実世界リモコン１０２の空間座標（ＸＹＺ）_ＲＷと、最終的な仮想キャラクタ１０４の空間座標（ＸＹＺ）_ＶＣは、略同一であってもよいし、同一であってもよい。

【0041】

アンカー４６が前記特定の実世界オブジェクトの位置に大まかに設置されると、本実施形態では、モバイルＡＲアプリ１０００は、ディスプレイ１１上の該特定の実世界オブジェクトの存在を示す情報をプレイヤ１に伝えるように構成される。このため、モバイルＡＲアプリ１０００は、前記特定の実世界オブジェクトが検出されたことに応答して、プレイヤ１に対してフィードバックを提供してもよい。例えば、前記フィードバックは、携帯端末１０が発する聴覚信号、視覚信号、又は触覚信号であってもよい。

【0042】

実装の一例では、モバイルＡＲアプリ１０００のグラフィカル・ユーザ・インターフェース（ＧＵＩ）４８は、前記特定の実世界オブジェクトの存在をプレイヤ１に知らせるために、ディスプレイ１１に視覚インジケータ３４を表示するように構成されてもよい。視覚インジケータ３４は、グラフィカルインジケータ３６（例えば、前記特定の実世界オブジェクトを境界付ける形状）及び／又はテキストインジケータ３８（例えば、該特定の実世界オブジェクトの存在を示すプレイヤ１へのテキストベースのメッセージ）であってもよい。他の実施形態では、アンカー４６が設置されると、モバイルＡＲアプリ１０００は、ディスプレイ１１上の前記特定の実世界オブジェクトの存在を示す情報をプレイヤ１に伝達しない。

【0043】

一部の実施形態では、前記特定の実世界オブジェクトがＣＶＭ１０４０によって検出されると、モバイルＡＲアプリ１０００が、該特定の実世界オブジェクトに関連する入力を提供する機会をプレイヤ１に提供するように構成されてもよい。例えば、モバイルＡＲアプリ１０００は、前記特定の実世界オブジェクトが表示されているディスプレイ１１／タッチスクリーン１６の一部にプレイヤ１が触れることに応答してもよい。他の例では、モバイルＡＲアプリ１０００は、プレイヤ１がディスプレイ１１／タッチスクリーン１６の他の部分に触れることによって、又は他の任意の適切なメカニズムを介して入力を提供することに応答してもよい。非限定的な一例では、モバイルＡＲアプリ１０００は、携帯端末１０のマイク２４を介して送信される可聴コマンドを提供する機会をプレイヤ１に提供するように構成されてもよい。
次のステップは、ステップ６５０である。

【0044】

ステップ６５０
モバイルＡＲアプリ１０００は、前記特定の実世界オブジェクト及び仮想キャラクタ（以下、「関連仮想キャラクタ」と称する）間に関連性を持たせる。この関連付けは、（上述したように）プレイヤ入力が提供された結果としてトリガーされてもよいし、プレイヤ入力とは無関係にトリガーされてもよい。したがって、モバイルＡＲアプリ１０００は、前記特定の実世界オブジェクトと関連仮想キャラクタとの関連付けをメモリ１４に記憶するように構成される。一部の実施形態では、モバイルＡＲアプリ１０００は、特定の実世界オブジェクトと関連付けられた仮想キャラクタをディスプレイ１１に同時に表示するように構成されている。

【0045】

一部の実施形態では、モバイルＡＲアプリ１０００は、携帯端末１０のメモリ１４に記憶された仮想キャラクタライブラリ４００から関連仮想キャラクタを選択するように構成されてもよい。仮想キャラクタライブラリ４００は、該特定の実世界オブジェクトなどの実世界オブジェクトとの関連付けのために選択され得る１又は複数の仮想キャラクタを含んでもよい。仮想キャラクタライブラリ４００は、メモリ１４に記憶されたゲームデータ３５にエンコードされてもよい。

【0046】

仮想キャラクタライブラリ４００内の各仮想キャラクタは、該仮想キャラクタの２次元又は３次元表現などの表現８８を含んでもよい。仮想キャラクタライブラリ４００内の各仮想キャラクタは、非図形的表現（例えば、数値的、幾何学的又は数学的表現）などの他の表現８８を有してもよい。ゲームデータ３５は、仮想キャラクタライブラリ４００の各仮想キャラクタに関連するキャラクタデータ３７を含んでもよい。キャラクタデータ３７は、ゲーム画像フレームにおけるグラフィカルな表現、又は数値的、幾何学的、又は数学的表現など、前記仮想キャラクタの現在の表現に関連するデータを記憶する。キャラクタデータ３７は、形状データ４４、色データ５２、画像データ、位置データ（例えば、該仮想キャラクタの空間座標（ＸＹＺ）_ＶＣ）、材料／テクスチャデータ、物理状態データ、視界データ、照明データ（例えば、方向、位置、色及び／又は強度）、音データ、動作データ、衝突データ、環境データ、タイマーデータ及び／又は該仮想キャラクタに関連する他のデータなどの属性９０を記憶してもよい。

【0047】

ここで、実世界オブジェクトライブラリ３００内の実世界オブジェクトが分類された所定のオブジェクトファミリ５０１ｘに関連仮想キャラクタファミリ７００ｘから関連仮想キャラクタを選択するアルゴリズムにおけるステップを示す、図２２のフローチャートを参照する。ここで、仮想キャラクタ選択アルゴリズム２２００のステップを、図２２に関してさらに詳細に説明する。

【0048】

ステップ２２１０で、モバイルＡＲアプリ１０００は、（上述したように）ステップ６３０においてＣＶＭ１０４０によって検出された結果、前記特定の実世界オブジェクトに割り当てられたオブジェクトラベル６０ｘを識別するように構成される。このように、ステップ２２１０では、モバイルＡＲアプリ１０００は、メモリ１４にアクセスし、ステップ６３０において該特定の実世界オブジェクトに割り当てられたオブジェクトラベル６０ｘを識別する。

【0049】

上記ステップ６３０で提供された例では、モバイルＡＲアプリ１０００は、オブジェクトラベル６０ｘ「リモコン」を実世界リモコン１０２に割り当てた。したがって、ステップ２２１０により、モバイルＡＲアプリ１０００は、メモリ１４にアクセスし、実世界リモコン１０２に割り当てられたオブジェクトラベル６０ｘ「リモコン」を識別する。次は、ステップ２２２０である。

【0050】

ステップ２２２０で、モバイルＡＲアプリ１０００は、実世界オブジェクトライブラリ３００にアクセスし、前記特定の実世界オブジェクトに割り当てられたオブジェクトラベル６０ｘを、実世界オブジェクトライブラリ３００に記憶されている実世界オブジェクトのオブジェクト名５０ｘと一致するように構成される。

【0051】

例えば、ステップ２２２０で、モバイルＡＲアプリ１０００は、実世界リモコン１０２に割り当てられたオブジェクトラベル６０ｘ、すなわち「リモコン」を、実世界オブジェクトライブラリ３００に記憶されている実世界オブジェクトのオブジェクト名５０ｘと一致するよう構成される。

【0052】

上述したように、実世界オブジェクトライブラリ３００は、「リモコン」オブジェクト名５０ｘで識別される実世界オブジェクトを含むと仮定される。したがって、ステップ２２２０の出力は、実世界リモコン１０２に割り当てられたオブジェクトラベル６０ｘ「リモコン」及び、実世界オブジェクトライブラリ３００に記憶されている実世界オブジェクトのオブジェクト名５０ｘ「リモコン」の間で一致する。

【0053】

ステップ２２３０で、モバイルＡＲアプリ１０００は、実世界オブジェクトライブラリ３００に記憶された前記実世界オブジェクトが分類されたオブジェクトファミリ５０１ｘを決定するように構成され、該実世界オブジェクトのオブジェクト名５０ｘは、ステップ２２２０で該特定の実世界オブジェクトに割り当てられたオブジェクトラベル６０ｘと一致している。このように、モバイルＡＲアプリ１０００は、該特定の実世界オブジェクト及びオブジェクトファミリ５０１ｘとの間の関連性を決定するように構成される。

【0054】

本例では、オブジェクト名５０ｘ「リモコン」に関連付けられた実世界オブジェクトライブラリ３００の実世界オブジェクトは、「リビングルームオブジェクト」オブジェクトファミリ５０１ｘに分類されているものとする。したがって、ステップ２２３０で、本例において、モバイルＡＲアプリ１０００は、実世界リモコン１０２が「リビングルーム」オブジェクトファミリ５０１ｘに関連付けられると決定する。

【0055】

本実施形態では、各オブジェクトファミリ５０１ｘは、関連仮想キャラクタファミリ７００ｘ（「仮想キャラクタファミリ」）を有していてもよい。仮想キャラクタ７００ｘの関連するファミリは、仮想キャラクタライブラリ４００からの仮想キャラクタのサブセットであってもよい。図５の非限定的な実施形態では、モバイルＡＲアプリ１０００は、各仮想キャラクタ／オブジェクトファミリ７００ｘ、５０１ｘに関連付けられた少なくとも２つの固有の仮想キャラクタを含むように構成される。例えば、仮想キャラクタコレクション画面５００は、オブジェクトファミリ５０１_１、５０１_２、５０１_３、及び５０１_４及び、仮想キャラクタ７００_１、７００_２、７００_３、７００_４及び７００_５のファミリ及び、各仮想キャラクタ／オブジェクトファミリ７００ｘ、５０１ｘ（例えば、仮想キャラクタファミリ７０１_１／オブジェクトファミリ５０１_１に関連付けられた７１１、７１２、７１３、７１４）に関連付けられた複数の固有の仮想キャラクタからなる仮想キャラクタのコレクション９００を示す。

【0056】

ステップ２２４０で、モバイルＡＲアプリ１０００は、該特定の実世界オブジェクトが関連付けられているオブジェクトファミリ５０１ｘに関連付けられた仮想キャラクタファミリ７００ｘから１の仮想キャラクタを選択することによって、関連仮想キャラクタを選択するように構成される。

【0057】

一部の実施形態では、モバイルＡＲアプリ１０００は、仮想キャラクタファミリ７００ｘから、該特定の実世界オブジェクトとの関連性を有する仮想キャラクタをランダムに選択するように構成されてもよい。

【0058】

他の実施形態では、モバイルＡＲアプリケーション１０００は、選択／マッチングアルゴリズム１９００（以下でさらに詳細に説明する）を実装することによって、該特定の実世界オブジェクトとの関連性を有するように仮想キャラクタファミリ７００ｘから１の仮想キャラクタを選択するように構成される。さらに他の実施形態では、モバイルＡＲアプリ１０００は、上述した仮想キャラクタ選択アルゴリズム２２００を実装することなく、該選択／マッチングアルゴリズム１９００を実装するように構成される。

【0059】

ここで、携帯端末１０の少なくとも１のプロセッサ１２によって実行される選択／マッチングアルゴリズム１９００のステップを示す、図１９のフローチャートを参照する。一部の実施形態では、モバイルＡＲアプリ１０００は、該特定の実世界オブジェクトとの関連付けのために仮想キャラクタライブラリ４００から１の仮想キャラクタを選択するために選択／マッチングアルゴリズム１９００を実行するように構成されてもよい。他の実施形態では、モバイルＡＲアプリ１０００は、仮想キャラクタライブラリ４００のサブセットから、すなわち仮想キャラクタファミリ７００ｘから１の仮想キャラクタを選択するように選択／マッチングアルゴリズム１９００を実行するように構成されてもよい。本明細書の目的のために、選択／マッチングアルゴリズム１９００は、仮想キャラクタライブラリ４００から１の仮想キャラクタを選択することに関して以下のように説明される。

【0060】

ステップ１９１０で、モバイルＡＲアプリ１０００は、特定の実世界オブジェクトに関連するマッチングパラメータを識別するように構成され、ステップ１９２０で、モバイルＡＲアプリ１０００は、仮想キャラクタライブラリ４００内の仮想キャラクタに関連する対応するマッチングパラメータを識別するように構成される。これらのマッチングパラメータに関する詳細は、以下に提供される。ステップ１９３０で、モバイルＡＲアプリ１０００は、該特定の実世界オブジェクトに関連するパラメータの値と、仮想キャラクタライブラリ４００内の所定の１の仮想キャラクタに関連する対応するパラメータの値と比較し、一致させるように構成される。ステップ１９４０で、モバイルＡＲアプリ１０００は、ステップ１９３０で決定された一致度に基づいて、仮想キャラクタライブラリ４００内の所定の１の仮想キャラクタを選択し、該所定の１の仮想キャラクタは、該特定の実世界オブジェクトと関連付けるために選択されるように構成されている。

【0061】

次に、選択／マッチングアルゴリズム１９００の実装例について、さらに詳細に説明する。

【0062】

上述したように、ステップ１９１０で、モバイルＡＲアプリ１０００は、該特定の実世界オブジェクトに関連するマッチングパラメータを特定するように構成される。一例では、該マッチングパラメータは、（上述したように）ステップ６３０でＣＶＭ１０４０によって検出された結果として該特定の実世界オブジェクトに割り当てられたオブジェクトラベル６０ｘであってもよい。ゲームデザイン中、ゲームデザイナは、ＯＤＭ１０１０によってキャプチャされた画像において検出された実世界オブジェクトのマッチングパラメータとして、オブジェクトラベル６０ｘの指定をエンコードしてもよい。この指定は、メモリ１４に記憶されるゲームデータ３５にエンコードされてもよい。

【0063】

このように、ステップ１９１０で、モバイルＡＲアプリ１０００は、メモリ１４にアクセスし、該特定の実世界オブジェクトに割り当てられたオブジェクトラベル６０ｘを、該特定の実世界オブジェクトに関連するマッチングパラメータとして識別する。

【0064】

ステップ１９２０で、モバイルＡＲアプリ１０００は、仮想キャラクタライブラリ４００内の複数の仮想キャラクタに関連する対応するマッチングパラメータを識別するように構成される。本例では、該マッチングパラメータは、候補実世界オブジェクトラベル４２ｘである。

【0065】

ゲームデザインの初期段階で、ゲームデザイナは、仮想キャラクタライブラリ４００内の各仮想キャラクタに対して１又は複数の候補実世界オブジェクトを指定することができる。仮想キャラクタライブラリ４００内の所定の仮想キャラクタについて、１又は複数の候補実世界オブジェクトは、ＯＤＭ１０１０によってキャプチャされた画像においてＣＶＭ１０４０によって検出され得る実世界オブジェクトに対応し、該所定の仮想キャラクタと関連付けるために考慮され得る。

【0066】

ゲームデザイン時に、ゲームデザイナは、仮想キャラクタライブラリ４００にアクセスし、実世界オブジェクトライブラリ３００から１又は複数の実世界オブジェクトを、仮想キャラクタライブラリ４００内の各仮想キャラクタに対する１又は複数の候補実世界オブジェクトとしてエンコードしてもよい。この指定は、メモリ１４に記憶されたゲームデータ３５にエンコードされてもよい。このように、１又は複数の候補実世界オブジェクトは、ゲームのデザイナ／プロデューサーによって予め設定（セット）されていてもよい。

【0067】

なお、１又は複数の候補実世界オブジェクトのそれぞれは、候補実世界オブジェクトラベル４２ｘなどの識別情報を含んでいてもよい。仮想キャラクタライブラリ４００の各仮想キャラクタについて、該１又は複数の候補実世界オブジェクトの候補実世界オブジェクトラベル４２ｘは、メモリ１４に記憶されたキャラクタデータ３７として、ゲームデータ３５に記憶されてもよい。

【0068】

さらに、ゲームデザイン中に、ゲームデザイナは、仮想キャラクタライブラリ４００内の複数の該仮想キャラクタに対するマッチングパラメータとして、候補実世界オブジェクトラベル４２ｘの指定をエンコードすることができる。また、ゲームデザイナは、該特定の実世界オブジェクトのオブジェクトラベル６０ｘに対する該対応するマッチングパラメータとして、候補実世界オブジェクトラベル４２ｘの指定をエンコードしてもよい。この指定は、メモリ１４に記憶されたゲームデータ３５にエンコードされてもよい。

【0069】

ここで選択／マッチングアルゴリズム１９００に戻ると、ステップ１９２０で、モバイルＡＲアプリ１０００は、メモリ１４にアクセスし、候補実世界オブジェクトラベル４２ｘを、該特定の実世界オブジェクトのオブジェクトラベル６０ｘについて該対応するマッチングパラメータとして識別する。

【0070】

ステップ１９３０において、モバイルＡＲアプリ１０００は、該特定の実世界オブジェクトに関連するパラメータの値を、仮想キャラクタライブラリ４００内の複数の仮想キャラクタの所定の１に関連する該対応するパラメータの値と比較し、一致させるように構成される。この例では、モバイルＡＲアプリ１０００は、（ｉ）仮想キャラクタライブラリ４００内の所定の仮想キャラクタに対する候補実世界オブジェクトラベル４２ｘの１の値と、（ｉｉ）ＣＶＭ１０４０によって該特定の実世界オブジェクトに割り当てられたオブジェクトラベル６０ｘの値とを一致させるように構成されている。

【0071】

例えば、モバイルＡＲアプリ１０００は、オブジェクトラベル６０ｘに関連するメモリ１４に記憶されたテキスト文字列を、候補実世界オブジェクトラベル４２ｘに関連するメモリ１４に記憶されたテキスト文字列と比較し、該テキスト文字列間の類似数を識別することにより、前述の複数のラベルを比較するように構成されていてもよい。モバイルＡＲアプリ１０００は、該テキスト文字列間の一致度を定義するために、閾値の類似数を必要とするように構成されてもよい。該閾値の類似数以上の類似数を検出した際、モバイルＡＲアプリ１０００は、候補実世界オブジェクトラベル４２ｘを、該特定の実世界オブジェクトに割り当てられたオブジェクトラベル６０ｘと一致するとみなしてもよい。閾値の類似数は、ゲームデザイナによるゲームデザイン時に設定され、ゲームデータ３５に記憶されてもよい。

【0072】

ステップ１９４０で、該特定の実世界オブジェクトのオブジェクトラベル６０ｘ及び、仮想キャラクタライブラリ４００内の所定の仮想キャラクタの候補実世界オブジェクトラベル４２ｘを一致させるときに、モバイルＡＲアプリ１０００は、該特定の実世界オブジェクトとの関連性を有するように該所定の仮想キャラクタを選択するよう構成される。

【0073】

選択／マッチングアルゴリズム１９００は、オブジェクトラベル６０ｘ及び候補実世界オブジェクトラベル４２ｘに基づいて、実世界リモコン１０２と関連付けるための仮想キャラクタ１０４を選択するための非限定的な例によって説明されるであろう。

【0074】

ステップ１９１０で、モバイルＡＲアプリ１０００は、実世界リモコン１０２に関連するマッチングパラメータを識別するように構成される。このように、モバイルＡＲアプリ１０００は、メモリ１４にアクセスし、実世界リモコン１０２に割り当てられたオブジェクトラベル６０ｘを、実世界リモコン１０２に関連するマッチングパラメータとして識別する。この場合、ＣＶＭ１０４０による検出により、実世界リモコン１０２には、オブジェクトラベル６０ｘ「リモコン」が割り当てられる。従って、ステップ１９１０では、実世界リモコン１０２に関するマッチングパラメータが、オブジェクトラベル６０ｘ「リモコン」として識別される。

【0075】

ステップ１９２０で、モバイルＡＲアプリ１０００は、仮想キャラクタライブラリ４００内の複数の仮想キャラクタに関連する対応するマッチングパラメータを識別するように構成される。モバイルＡＲアプリ１０００は、メモリ１４にアクセスし、候補実世界オブジェクトラベル４２ｘを、仮想キャラクタライブラリ４００内の複数の仮想キャラクタに関するマッチングパラメータであり、実世界リモコン１０２に割り当てられたオブジェクトラベル６０ｘに関する対応するマッチングパラメータであると識別する。

【0076】

ステップ１９３０で、モバイルＡＲアプリ１０００は、実世界リモコン１０２に割り当てられたオブジェクトラベル６０ｘの１の値を、仮想キャラクタライブラリ４００内の複数の仮想キャラクタの所定の１に対する候補実世界オブジェクトラベル４２ｘの値と比較し、一致させるように構成される。この例では、モバイルＡＲアプリ１０００は、実世界リモコン１０２のオブジェクトラベル６０ｘに関連付けられてメモリ１４に記憶された該テキスト文字列「リモコン」及び、仮想キャラクタライブラリ４００内の複数の仮想キャラクタのそれぞれについての候補実世界オブジェクトラベル４２ｘに関連付けられてメモリ１４に記憶されたテキスト文字列を比較して、該テキスト文字列間の類似性を識別する。

【0077】

本例では、仮想キャラクタ１０４の候補の関連実世界オブジェクトラベル４２ｘに関連付けられたメモリに記憶されたテキスト文字列は、「リモコン（複数）」である。モバイルＡＲアプリ１０００は、オブジェクトラベル６０ｘに関連付けられたテキスト文字列「リモコン」及び、仮想キャラクタ１０４の候補実世界オブジェクトラベル４２ｘに関連付けられたテキスト文字列「リモコン（複数）」との類似性を検出する。本例では、ＡＲアプリ１０００によって検出された類似数は、複数のテキスト文字列間の一致度を分類するために必要な閾値の類似数以上であると仮定する。このように、モバイルＡＲアプリ１０００は、仮想キャラクタ１０４に関連付けられた候補実世界オブジェクトラベル４２ｘ「リモコン（複数）」が、実世界リモコン１０２に割り当てられたオブジェクトラベル６０ｘ「リモコン」と一致するとみなす。

【0078】

ステップ１９４０で、実世界リモコン１０２のオブジェクトラベル６０ｘ及び仮想キャラクタ１０４の候補実世界オブジェクトラベル４２ｘを一致させると、モバイルＡＲアプリ１０００は、実世界リモコン１０２との関連性を有する仮想キャラクタライブラリ４００から、仮想キャラクタ１０４を選択する。

【0079】

一部の実施形態では、該関連仮想キャラクタは、該特定の実世界オブジェクトとの視覚的な関連性を有するように選択されてもよい。言い換えれば、該関連仮想キャラクタは、該特定の実世界オブジェクトの実世界の視覚特性に対応する視覚特性を有していてもよい。

【0080】

該視覚特性は、該特定の実世界オブジェクトの形状、該特定の実世界オブジェクトの色、又は該特定の実世界オブジェクトの他の視覚特性を含んでもよいが、これらに限定されることはない。モバイルＡＲアプリ１０００は、該特定の実世界オブジェクトをディスプレイ１１に表示すると同時に、該関連仮想キャラクタの視覚特性をディスプレイ１１に表示するように構成される。

【0081】

図示の例では、仮想キャラクタ１０４は、実世界リモコン１０２と視覚的な関連性を有するように選択され、この場合、仮想キャラクタ１０４の形状は、実世界リモコン１０２の実世界の形状に対応する。図１Ｃ及び図１Ｄに示すように、モバイルＡＲアプリ１０００は、実世界リモコン１０２の形状をディスプレイ１１に表示すると同時に、仮想キャラクタ１０４の形状をディスプレイ１１に表示するよう構成される。

【0082】

本例では、仮想キャラクタ１０４は、上述のように少なくとも１のプロセッサ１２によって実行される選択／マッチングアルゴリズム１９００にさらに実世界リモコン１０２との視覚的関連付けのために選択される。ゲームデザイン中、ゲームデザイナは、仮想キャラクタ１０４の形状及び実世界リモコンの形状間に認められる類似性に基づいて、仮想キャラクタ１０４のために指定された１又は複数の候補実世界オブジェクトラベル４２ｘのうちの所定の１つとして「リモコン（複数）」を指定していてもよい。

【0083】

本実施形態の他の実施例では、該関連仮想キャラクタは、オブジェクトラベル６０ｘ及び候補実世界オブジェクトラベル４２ｘとは異なるマッチングパラメータに基づいて、選択／マッチングアルゴリズム１９００が少なくとも１のプロセッサ１２によって実行されるのに加えて、特定の実世界オブジェクトと視覚的に関連付けるために選択されていてもよい。

【0084】

この例において、ＣＶＭ１０４０は、該特定の実世界オブジェクトの形状を検出するように適して訓練されてもよい。例えば、ＣＶＭ１０４０は、方法６００のステップ６１０において取得されたカメラデータから該特定の実世界オブジェクトに関連する形状データ６４を抽出するように構成されてもよい。形状データ６４は、実世界オブジェクトデータセット６２の一部としてメモリ１４に記憶されてもよい。形状データ６４は、前記特定の実世界オブジェクトの境界データ、輪郭データ、エッジデータ、点群データ、及び／又は曲率データを含んでもよいが、これらに限定されるものではない。ゲームデザイン中、ゲームデザイナは、ＯＤＭ１０１０によってキャプチャされた画像において検出され得る実世界オブジェクトに対するマッチングパラメータとして、形状データ６４の指定をエンコードしてもよい。この指定は、メモリ１４に記憶されるゲームデータ３５にエンコードされてもよい。

【0085】

前述したように、仮想キャラクタファミリ４００の各仮想キャラクタの形状データ４４は、携帯端末１０のメモリ１４に記憶されたゲームデータ３５に含まれる。仮想キャラクタファミリ４００の各仮想キャラクタの形状データ４４は、該仮想キャラクタの境界データ、輪郭データ、エッジデータ、点群データ、及び／又は曲率データを含むことができるが、これらに限定されるものではない。

【0086】

ゲームデザイン中、ゲームデザイナは、仮想キャラクタライブラリ４００における複数の仮想キャラクタのマッチングパラメータとして、形状データ４４の指定をエンコードしてもよい。また、ゲームデザイナは、該仮想キャラクタの形状データ４４の指定を、該特定の実世界オブジェクトの形状データ６４に対応するマッチングパラメータとしてエンコードしてもよい。本指定は、メモリ１４に記憶されたゲームデータ３５にエンコードされてもよい。

【0087】

一例において、該関連仮想キャラクタの形状は、（ｉ）特定の実世界オブジェクトの形状データ６４及び（ｉｉ）仮想キャラクタライブラリ４００内の所定の仮想キャラクタの形状データ４４との値の一致に基づいて、該特定の実世界オブジェクトの形状に対応し得る。

【0088】

本例において、ステップ１９１０で、モバイルＡＲアプリ１０００は、該特定の実世界オブジェクトに関連するマッチングパラメータを特定するように構成される。このように、モバイルＡＲアプリ１０００は、メモリ１４にアクセスし、形状データ６４を該特定の実世界オブジェクトに関連するマッチングパラメータとして識別する。

【0089】

ステップ１９２０で、モバイルＡＲアプリ１０００は、仮想キャラクタライブラリ４００内の該仮想キャラクタに関連する対応するマッチングパラメータを識別するように構成される。このように、モバイルＡＲアプリ１０００は、メモリ１４にアクセスし、形状データ４４を、該特定の実世界オブジェクトの形状データ６４に対応するマッチングパラメータとして識別する。

【0090】

ステップ１９３０で、本例において、モバイルＡＲアプリ１０００は、該特定の実世界オブジェクトの形状データ６４の値及び、仮想キャラクタライブラリ４００内の仮想キャラクタの形状データ４４の値を比較し、一致させるように構成される。モバイルＡＲアプリ１０００は、該実世界オブジェクトに関連付けられた形状データ６４に関連付けられたデータ点群及び、仮想キャラクタライブラリ４００内の仮想キャラクタのそれぞれの形状データ４４に関連付けられた対応するデータ点群を比較して、これらのデータ点間の類似性を識別することによって、形状データ４４、６４を一致させるように構成されてもよい。閾値の類似数以上の類似数を検出すると、モバイルＡＲアプリ１０００は、該実世界オブジェクトの形状データ６４が、仮想キャラクタライブラリ４００内の複数の仮想キャラクタの所定の１の形状データ４４に一致するとみなしてもよい。なお、閾値の類似数は、ゲームデザイナがゲームデザイン時に設定し、ゲームデータ３５に記憶しておいてもよい。

【0091】

ステップ１９４０で、該特定の実世界オブジェクトの形状データ６４及び、仮想キャラクタライブラリ４００内の所定の仮想キャラクタの形状データ４４を一致させる際、モバイルＡＲアプリ１０００は、仮想キャラクタライブラリ４００から所定の仮想キャラクタを選択し、該特定の実世界オブジェクトとの視覚的関連性を有するよう構成される。

【0092】

選択／マッチングアルゴリズム１９００は、形状データ６４、４４に基づいて、実世界リモコン１０２と視覚的に関連付けるための仮想キャラクタ１０４を選択するためのものとして、非限定的な例によって説明される。

【0093】

ステップ１９１０で、モバイルＡＲアプリ１０００は、実世界リモコン１０２に関連するマッチングパラメータを識別するように構成される。このように、モバイルＡＲアプリ１０００は、メモリ１４にアクセスし、実世界リモコン１０２に関連する形状データ６４を、実世界リモコン１０２に関連するマッチングパラメータとして識別する。この場合、ＣＶＭ１０４０は、方法６００のステップ６１０において取得されたカメラデータからリモコン１０２の形状データ６４を抽出するように構成される。

【0094】

ステップ１９２０で、モバイルＡＲアプリ１０００は、仮想キャラクタライブラリ４００内の仮想キャラクタに関連する対応するマッチングパラメータを識別するように構成される。モバイルＡＲアプリ１０００は、メモリ１４にアクセスし、該複数の仮想キャラクタの形状データ４４を、仮想キャラクタライブラリ４００内の複数の仮想キャラクタのマッチングパラメータであるとともに、実世界リモコン１０２に関連する形状データ６４の対応するマッチングパラメータであると識別する。

【0095】

ステップ１９３０で、モバイルＡＲアプリ１０００は、実世界リモコン１０２に関連付けられた形状データ６４の値を、仮想キャラクタライブラリ４００内の複数の仮想キャラクタの所定の１についての形状データ４４の値と比較し一致させるように構成される。本例では、モバイルＡＲアプリ１０００は、実世界リモコン１０２に関連付けられた形状データ６４に関連付けられたデータ点群及び、仮想キャラクタライブラリ４００内の複数の仮想キャラクタのそれぞれに関連付けられた対応するデータ点群を比較し、これらのデータ点間の類似性を検出する。

【0096】

なお、本例では、ＡＲアプリ１０００が検出した類似数は、形状データ６４、４４間の一致を分類するために必要な閾値の類似数以上であるとする。このように、モバイルＡＲアプリ１０００は、仮想キャラクタ１０４に関連付けられた形状データ４４を、実世界リモコン１０２に関連付けられた形状データ６４と一致するものみなす。

【0097】

ステップ１９４０で、実世界リモコン１０２に関連付けられた形状データ６４と、仮想キャラクタ１０４に関連付けられた形状データ４４とを一致させると、モバイルＡＲアプリ１０００は、実世界リモコン１０２と視覚的に関連付けられるように、仮想キャラクタ１０４を選択する。

【0098】

したがって、仮想キャラクタ１０４は、仮想キャラクタ１０４が実世界リモコン１０２の実世界の視覚特性に対応する視覚特性を有するように、実世界リモコン１０２との視覚的関連性を有するように選択される。本例では、図１Ｃ及び１Ｄに示すように、仮想キャラクタ１０４の形状は、実世界リモコン１０２の実世界の形状に対応し、モバイルＡＲアプリ１０００は、実世界リモコン１０２の形状をディスプレイ１１に表示するのと同時に仮想キャラクタ１０４の形状をディスプレイ１１に表示するように構成される。

【0099】

一部の実施形態では、該関連仮想キャラクタは、該関連仮想キャラクタの１の色が該特定の実世界のオブジェクトの実世界の１の色に対応するように、該特定の実世界オブジェクトとの１の視覚的関連付けを有するように選択される。

【0100】

本実施形態の実装の一例において、ＣＶＭ１０４０は、ステップ６１０においてＯＤＭ１０１０によって取得されたカメラデータから該特定の実世界オブジェクトに関連する色データ６６を抽出するために検出するように適切に訓練されてもよい。色データ６６は、実世界オブジェクトデータセット６２の一部としてメモリ１４に記憶されたものを含んでもよい。色データ６６は、例えばPantone（登録商標） Matching System、シアン／マゼンタ／イエロー／ブラック（ＣＭＹＫ）値、レッド／グリーン／ブルー（ＲＧＢ）値又は１６進コード（ＨＥＸ）値どおりに表されるように、該技術分野で既知の色規則どおりの該特定の実世界オブジェクトの色を含んでいてもよい。また、色データ６６は、彩度データ及び／又は明度データなどの他の情報を含んでもよい。

【0101】

ゲームデザイン中、ゲームデザイナは、ＯＤＭ１０１０によってキャプチャされる画像において検出され得る実世界オブジェクトに対するマッチングパラメータとして、色データ６６の指定をエンコードしてもよい。この指定は、メモリ１４に記憶されるゲームデータ３５にエンコードされてもよい。

【0102】

前述したように、仮想キャラクタファミリ４００の各仮想キャラクタの色データ５２は、携帯端末１０のメモリ１４に記憶されたゲームデータ３５に含まれる。仮想キャラクタファミリ４００の各仮想キャラクタの色データ５２は、該技術分野で知られている色規則どおりに表される該特定の実世界オブジェクトの色を含んでもよいが、これに限定されない。また、色データ５２は、彩度データ及び／又は明度データのような他の情報を含んでもよい。

【0103】

ゲームデザイン中、ゲームデザイナは、仮想キャラクタライブラリ４００における仮想キャラクタのマッチングパラメータとして、色５２の指定をエンコードすることができる。また、ゲームデザイナは、該仮想キャラクタの色データ５２の指定を、該特定の実世界オブジェクトの色データ６６に対応するマッチングパラメータとしてエンコードしてもよい。この指定は、メモリ１４に記憶されたゲームデータ３５でエンコードされてもよい。

【0104】

一例では、該関連仮想キャラクタの色は、（ｉ）該特定の実世界オブジェクトの色データ６６及び（ｉｉ）仮想キャラクタライブラリ４００内の所定の仮想キャラクタの色データ５２との値の一致に基づいて、該特定の実世界オブジェクトの色に対応してもよい。

【0105】

本例では、ステップ１９１０で、モバイルＡＲアプリ１０００は、該特定の実世界オブジェクトに関連するマッチングパラメータを識別するように構成される。このように、モバイルＡＲアプリ１０００は、メモリ１４にアクセスし、色データ６６を該特定の実世界オブジェクトに関連するマッチングパラメータとして識別する。

【0106】

ステップ１９２０で、モバイルＡＲアプリケーション１０００は、仮想キャラクタライブラリ４００内の仮想キャラクタに関連する対応するマッチングパラメータを識別するように構成される。このように、モバイルＡＲアプリ１０００は、メモリ１４にアクセスし、該特定の実世界オブジェクトの色データ６６に対応するマッチングパラメータとして、色データ５２を識別する。

【0107】

ステップ１９３０で、本例では、モバイルＡＲアプリ１０００は、該特定の実世界オブジェクトの色データ６６の１の値及び、仮想キャラクタライブラリ４００内の仮想キャラクタの色データ５２の１の値を比較し、一致させるように構成される。モバイルＡＲアプリ１０００は、該実世界オブジェクトに関連付けられた色データ６６に関連付けられた１のデータ点群及び、仮想キャラクタライブラリ４００内の複数の仮想キャラクタのそれぞれに関連付けられた対応するデータ点群を比較して、これらのデータ点間の類似性を識別することによって、色データ５２、６４を一致させるように構成されてもよい。閾値の類似数以上の類似数を検出すると、モバイルＡＲアプリ１０００は、該実世界オブジェクトの色データ６６が、仮想キャラクタライブラリ４００内の複数の仮想キャラクタの所定の１の色データ５２に一致するとみなしてもよい。なお、閾値の類似数は、ゲームデザイナがゲームデザイン時に設定し、ゲームデータ３５に記憶しておいてもよい。

【0108】

ステップ１９４０で、該特定の実世界オブジェクトの色データ６６及び、仮想キャラクタライブラリ４００内の所定の仮想キャラクタの色データ５２を一致させると、モバイルＡＲアプリ１０００は、仮想キャラクタライブラリ４００から該所定の仮想キャラクタを選択するように構成され、該仮想キャラクタの所定の１は、該特定の実世界オブジェクトとの１の視覚的関連性を有するよう選択される。

【0109】

該選択／マッチングアルゴリズム１９００は、色データ６６、５２に基づいて、実世界リモコン１０２と視覚的に関連付けるための仮想キャラクタ１０４を選択するためのものとして、非限定的な例によって説明される。

【0110】

ステップ１９１０で、モバイルＡＲアプリ１０００は、実世界リモコン１０２に関連する１のマッチングパラメータを識別するように構成される。このように、モバイルＡＲアプリ１０００は、メモリ１４にアクセスし、実世界リモコン１０２に関連する色データ６６を、実世界リモコン１０２に関連するマッチングパラメータとして識別する。この場合、ＣＶＭ１０４０は、方法６００のステップ６１０において、ＯＤＭ１０１０によって取得されたカメラデータからリモコン１０２の色データ６６を抽出するよう構成される。

【0111】

ステップ１９２０で、モバイルＡＲアプリ１０００は、仮想キャラクタライブラリ４００内の仮想キャラクタに関連する対応するマッチングパラメータを識別するように構成される。モバイルＡＲアプリ１０００は、メモリ１４にアクセスし、該仮想キャラクタの色データ５２を、仮想キャラクタライブラリ４００内の複数の仮想キャラクタに関するマッチングパラメータであり、実世界リモコン１０２に関連する色データ６６に関する対応するマッチングパラメータであると識別する。

【0112】

ステップ１９３０で、モバイルＡＲアプリ１０００は、実世界リモコン１０２に関連付けられた色データ６６の１の値を、仮想キャラクタライブラリ４００内の複数の仮想キャラクタの所定の１についての色データ５２の１の値と比較し、一致させるように構成される。本例では、モバイルＡＲアプリ１０００は、実世界リモコン１０２に関連付けられた色データ６６に関連付けられたデータ点群及び、仮想キャラクタライブラリ４００内の複数の仮想キャラクタのそれぞれに関連付けられた対応するデータ点群を比較し、これらのデータ点の間の類似性を検出する。

【0113】

なお、本例では、ＡＲアプリ１０００が検出した類似数は、色データ６６、５２間の一致を分類するために必要な閾値の類似数以上であると仮定する。このように、モバイルＡＲアプリ１０００は、仮想キャラクタ１０４に関連付けられた色データ５２を、実世界リモコン１０２に関連付けられた色データ６６と一致するとみなす。

【0114】

ステップ１９４０で、実世界リモコン１０２に関連付けられた色データ６６及び、仮想キャラクタ１０４に関連付けられた色データ５２を一致させると、モバイルＡＲアプリ１０００は、実世界リモコン１０２との視覚的関連付けのために仮想キャラクタ１０４を選択する。

【0115】

したがって、仮想キャラクタ１０４は、実世界リモコン１０２の実世界の視覚特性に対応する視覚特性を有するように、実世界リモコン１０２との視覚的関連付けを有するように選択される。本例では、モバイルＡＲアプリ１０００は、ディスプレイ１１に実世界リモコン１０２の色を表示すると同時に、ディスプレイ１１に仮想キャラクタ１０４の色を表示するように構成される。

【0116】

上述の視覚特性に加えて、又は選択的に、一部の実施形態では、該関連仮想キャラクタは、該特定の実世界オブジェクトに関連する他の特性、例えば他の視覚特性、移動特性、可聴特性及び／又は触覚特性を有するものとして表されることができる。これらの特性に関する例は、以下でさらに詳細に説明される。

【0117】

一部の実施形態では、該関連仮想キャラクタは、該特定の実世界オブジェクトに関連する他の視覚特性を有してもよい。非限定的な一例では、該特定の実世界オブジェクトが光源（例えば、ランプ、電球、ろうそく、懐中電灯など）である場合、該関連仮想キャラクタは、光る効果で表現されてもよい。

【0118】

一部の実施形態では、該関連仮想キャラクタは、ＡＲゲーム環境１００５において動きを有し、当該動きが、該特定の実世界オブジェクトの予想される動き（例えば、何らかの物理的な力の下で作動するような動き）に実質的に類似するものとして表現されてもよい。このように、該関連仮想キャラクタは、該特定の実世界オブジェクトの実世界の移動特性に対応する移動特性を有していてもよい。モバイルＡＲアプリ１０００は、該特定の実世界オブジェクトをディスプレイ１１に表示するのと同時に、該関連仮想キャラクタの移動特性をディスプレイ１１に表示するように構成される。

【0119】

非限定的な一例として、該特定の実世界オブジェクトが１の振り子である場合、生成される関連仮想キャラクタは、固定点を中心に揺れるような外観を有するように表現されてもよい。該関連仮想キャラクタがＡＲゲーム環境１００５について移動するように見えるように、該関連仮想キャラクタの他の移動が可能であってもよい。該関連仮想キャラクタ及びＡＲゲーム環境１００５内の他の複数の実世界オブジェクトとの間の相互作用を支配するために、適切な衝突検出モデルが実装されてもよい。

【0120】

一部の実施形態では、該関連仮想キャラクタは、該特定の実世界オブジェクトと可聴関連性を有していてもよい。このように、該関連仮想キャラクタは、該特定の実世界オブジェクトの実世界の可聴特性に対応する可聴特性を有していてもよい。

【0121】

非限定的な一例では、該特定の実世界オブジェクトが１の風船である場合、関連仮想キャラクタは、ヘリウムガスの影響下での声の効果を模倣する声を有するように表現されてもよい。該声の音は、携帯端末１０によって（例えば、スピーカ２０を介して）発せられてもよい。

【0122】

一部の実施形態では、該関連仮想キャラクタは、該特定の実世界オブジェクトと触覚的な関連性を有していてもよい。このように、該関連仮想キャラクタは、該特定の実世界オブジェクトの実世界の触覚特性に対応する触覚特性を有していてもよい。モバイルＡＲアプリ１０００は、該特定の実世界オブジェクトをディスプレイ１１に表示するのと同時に、該関連仮想キャラクタの触覚特性をディスプレイ１１に表示するように構成される。

【0123】

例えば、該関連仮想キャラクタは、該特定の実世界オブジェクトの特性を表す触覚フィードバックによって表現されてもよく、該触覚フィードバックは、携帯端末１０によって（例えば、触覚フィードバックモジュール５４及び／又は携帯端末１０のディスプレイ１１／タッチスクリーン１６を介して）放出される。例えば、携帯端末１０は、プレイヤ１及び携帯端末１０のディスプレイ１１／タッチスクリーン１６との間の相互作用を通じて、質感を表す信号を伝えるように構成されてもよい。非限定的な一例によれば、該特定の実世界オブジェクトがとげのあるテクスチャを有する場合（例えば、実世界のサボテン）、該関連仮想キャラクタは、それが「とがった」ものとして知覚されるように視覚的に表現されてよく、プレイヤ１は、携帯端末１０のディスプレイ１１／タッチスクリーン１６に触れると刺状感覚を体験することができる。

【0124】

該関連仮想キャラクタ１０４は、上述のように、選択／マッチングアルゴリズム１９００が少なくとも１のプロセッサ１２によって実行されることによって、該特定の実世界オブジェクトと視覚的、動的、可聴的、及び／又は触覚的に関連付けられるように選択されていてもよい。ゲームデザイン中、仮想キャラクタライブラリ４００内の複数の仮想キャラクタのそれぞれに１又は複数の候補実世界オブジェクトを指定することに加えて、ゲームデザイナは、仮想キャラクタライブラリ４００内の複数の仮想キャラクタのそれぞれに指定された１又は複数の候補実世界オブジェクトの知覚された視覚特性、移動特性、聴覚特性、及び／又は触覚特性に基づき、仮想キャラクタライブラリ４００内の複数の仮想キャラクタの１又は複数の視覚特性、移動特性、聴覚特性及び／又は触覚特性をさらにエンコードしていてもよい。これらの特性は、ゲームデザイナによってゲームデータ３５でエンコードされた１又は複数の候補特性５６から構成されてもよい。

【0125】

選択／マッチングアルゴリズム１９００の結果として該特定の実世界オブジェクトと関連付けるための該仮想キャラクタを選択すると、モバイルＡＲアプリケーション１０００は、１又は複数の候補特性５６の１又は複数の視覚、移動、聴覚、触覚特性を選択し、該関連仮想キャラクタに関する特性を実装するようにさらに構成されてもよい。このように、該関連仮想キャラクタの視覚、移動、可聴、触覚特性は、ディスプレイ１１に該特定の実世界オブジェクトを表示すると同時に、ディスプレイ１１に表示され／スピーカ２０によって発せられ／触覚フィードバックモジュール５４によって実装されてもよい。

【0126】

他の実施形態では、モバイルＡＲアプリ１０００は、携帯端末１０のディスプレイ１１を介して１又は複数の候補特性５６の表示をプレイヤ１に提示するように構成されてもよく、モバイルＡＲアプリ１０００は、該関連仮想キャラクタに対して実装する候補特性５６の１又は複数を選択するためにプレイヤ入力を提供する機会をプレイヤ１に与えるように構成されてもよい。モバイルＡＲアプリ１０００は、ＧＵＩ４８を介して入力する機会を提供してもよい。

【0127】

他の実施形態では、仮想キャラクタライブラリ４００から該特定の実世界オブジェクトとの視覚的関連性を有するように仮想キャラクタを選択するために選択／マッチングアルゴリズム１９００を実装するのではなく、モバイルＡＲアプリ１０００は、仮想キャラクタライブラリ４００から該特定の実世界オブジェクトとの関連性を有するように仮想キャラクタをランダムに選択するように構成され得る。

【0128】

さらに他の実施形態では、モバイルＡＲアプリ１０００は、該特定の実世界オブジェクトと関連付けるために選択された仮想キャラクタライブラリ４００から、（ランダムに、又は選択／マッチングアルゴリズム１９００の実装を通して）仮想キャラクタのキャラクタデータ３７を修正するように構成されてもよい。

【0129】

例えば、モバイルＡＲアプリ１０００は、該グラフィック表現、該数値表現、該幾何学的表現、又は該数学的表現など、該仮想キャラクタの表現８８の１又は複数を修正するように構成されてもよい。加えて又は選択的に、モバイルＡＲアプリ１０００は、仮想キャラクタの属性９０、例えば、形状データ４４、色データ５２、画像データ、位置データ、材料／テクスチャデータ、物理状態データ、視界データ、照明データ（例えば、方向、位置、色及び／又は強度）、音データ、動作データ、衝突データ、環境データ、タイマーデータ及び／又は該仮想キャラクタに関連する他のデータを修正するよう構成されてもよい。

【0130】

なお、一実施例では、モバイルＡＲアプリ１０００によって選択された仮想キャラクタライブラリ４００から所定の仮想キャラクタのキャラクタデータ３７を修正するのではなく、キャラクタデータ３７の複製を作成してメモリ１４に記憶させ、キャラクタデータ３７の複製を修正してもよい。

【0131】

本実施形態の別の実施例では、仮想キャラクタライブラリ４００の複数の仮想キャラクタのうちの所定の１又は複数の該キャラクタデータ３７は、所定の１つが該特定の実世界オブジェクトの実世界の視覚特性に対応する視覚特性を有するように、修正されてもよい。従って、該複数の仮想キャラクタの所定の１のキャラクタデータ３７は、該複数の仮想キャラクタの所定の１が該特定の実世界オブジェクトとの視覚的関連性を有するように、修正されてもよい。

【0132】

例えば、仮想キャラクタライブラリ４００内の複数の仮想キャラクタの所定の１のキャラクタデータ３７は、仮想キャラクタライブラリ４００内の複数の仮想キャラクタの所定の１の形状データ４４及び／又は色データ５２がそれぞれ、該特定の実世界オブジェクトの形状データ６４及び／又は色データ６６に対応するように修正されてもよい。

【0133】

次に、本実施形態の一実施例について、さらに詳細に説明する。本実施形態は、形状データ４４の修正に関して説明されるが、本実施形態は、仮想キャラクタライブラリ４００内の複数の仮想キャラクタの所定の１の色データ５２の修正を追加的又は選択的に含むことができることを理解されたい。

【0134】

本例では、ＣＶＭ１０４０は、該特定の実世界の形状を検出するように適切に訓練されてもよい。例えば、ＣＶＭ１０４０は、方法６００のステップ６１０において取得されたカメラデータから該特定の実世界オブジェクトに関連付けられた形状データ６４を抽出するように構成されてもよい。

【0135】

モバイルＡＲアプリ１０００は、該特定の実世界オブジェクトと関連付けるために、仮想キャラクタライブラリ４００内の複数の仮想キャラクタの所定の１を選択するようにさらに構成されてもよい。本例では、該選択はランダムであると仮定される。他の例では、該選択は、上述した選択／マッチングアルゴリズム１９００を実装することによって行われるものであってもよい。

【0136】

モバイルＡＲアプリ１０００は、仮想キャラクタライブラリ４００内の複数の仮想キャラクタの所定の１と関連付けられてメモリ１４に記憶された形状データ４４にアクセスするように構成される。本例では、モバイルＡＲアプリ１０００は、形状データ４４が該特定の実世界オブジェクトに関連付けられた形状データ６４と同一であるように、仮想キャラクタライブラリ４００内の複数の仮想キャラクタの所定の１に関連付けられたメモリ１４に記憶されている形状データ４４を修正するように構成される。

【0137】

したがって、仮想キャラクタライブラリ４００内の複数の仮想キャラクタから所定の１が選択され、該複数の仮想キャラクタの所定の１が該特定の実世界オブジェクトと視覚的に関連付けられるように、該複数の仮想キャラクタの所定の１に関連付けられたキャラクタデータ３７が修正されている。

【0138】

他の実施形態では、モバイルＡＲアプリ１０００は、仮想キャラクタライブラリ４００から選択するのではなく、該関連仮想キャラクタを「作成」するように構成されてもよい。

【0139】

一例では、該関連仮想キャラクタは、キャラクタ属性データベース６８からキャラクタ属性を選択することによって「作成」されてもよい。本例では、ゲームデザイン中に、ゲームデザイナは、キャラクタ属性データベース６８のキャラクタ属性をゲームデータ３５にエンコードしてもよい。該キャラクタ属性は、１の仮想キャラクタのキャラクタデータ３７に対応してもよい。このように、キャラクタ属性データベース６８は、該仮想キャラクタのグラフィック表現又は数値的、幾何学的もしくは数学的表現を含む複数の表現８８から構成されてもよい。キャラクタ属性データベース６８は、該仮想キャラクタに関連する形状データ４４、色データ５２、画像データ、位置データ、材料／テクスチャデータ、物理状態データ、視界データ、照明データ（例えば、方向、位置、色及び／又は強度）、音データ、動作データ、衝突データ、環境データ、タイマーデータ及び／又はその他のデータなどの複数の属性９０を記憶することもできる。

【0140】

本例では、モバイルＡＲアプリ１０００は、該特定の実世界オブジェクトと関連付けるために「作成」される該仮想キャラクタに関連付けられたメモリ１４内のキャラクタデータ３７として記憶するために、キャラクタ属性データベース６８から１又は複数の属性を選択するように構成される。本例では、モバイルＡＲアプリ１０００は、キャラクタ属性データベース６８から１又は複数の属性をランダムに選択する。

【0141】

モバイルＡＲアプリ１０００が、キャラクタ属性データベース６８から１又は複数の属性を選択してキャラクタデータ３７として記憶すると、１の関連仮想キャラクタが該特定の実世界オブジェクトと視覚的に関連付けるために「作成」されたこととなる。

【0142】

一部の実施形態では、該関連仮想キャラクタは、該特定の実世界オブジェクトと視覚的な関連性を持つように「作成」される場合がある。言い換えれば、該関連仮想キャラクタは、該特定の実世界オブジェクトの実世界の視覚特性に対応する視覚特性を有してもよい。

【0143】

例えば、該関連仮想キャラクタの形状データ４４及び／又は色データ５２がそれぞれ該特定の実世界オブジェクトの形状データ６４及び／又は色データ６６に対応するように、モバイルＡＲアプリ１０００によって該関連仮想キャラクタのキャラクタデータ３７が選択されてもよい。

【0144】

次に、本実施形態の一実施例について、さらに詳細に説明する。本実装は、モバイルＡＲアプリ１０００によって「作成された」該関連仮想キャラクタの形状データ４４の決定に関して説明されるが、本実装は、モバイルＡＲアプリ１０００によって「作成された」該関連仮想キャラクタの色データ５２の決定を追加的又は選択的に含むことができることを理解されたい。

【0145】

本例では、ＣＶＭ１０４０は、該特定の実世界オブジェクトの１の形状を検出するように適切に訓練されてもよい。例えば、ＣＶＭ１０４０は、方法６００のステップ６１０において取得されたカメラデータから該特定の実世界オブジェクトに関連付けられた形状データ６４を抽出するように構成されてもよい。該特定の実世界オブジェクトの形状データ６４は、メモリ１４に記憶されてもよい。

【0146】

モバイルＡＲアプリ１０００は、メモリ１４に記憶された該特定の実世界オブジェクトの形状データ６４にアクセスするように構成され、該関連仮想キャラクタの形状データ４４を、形状データ４４が該特定の実世界オブジェクトに関連付けられた形状データ６４と同一であるように生成するように構成される。該関連仮想キャラクタの形状データ４４は、メモリ１４に記憶される。

【0147】

モバイルＡＲアプリ１０００がキャラクタデータ３７を生成すると、該特定の実世界オブジェクトと視覚的に関連付けるための１の関連仮想キャラクタが「作成」されたこととなる。

【0148】

また、モバイルＡＲアプリ１０００は、該特定の実世界オブジェクト及び該関連仮想キャラクタの記録をメモリ１４に保持するように構成されてもよい。したがって、図１１から１３によると、メモリ１４に記憶された様々なテーブルは、検出可能な実世界オブジェクトセット５８、該関連仮想キャラクタ、及び該特定の実世界オブジェクトと関連する該仮想キャラクタとの間の関係に関する情報を含んでもよい。

【0149】

具体的には、図１１によれば、メモリ１４に記憶されたテーブル１１００は、検出可能な該実世界オブジェクトセット５８内の各実世界オブジェクトに関する情報を含む実世界オブジェクトライブラリ３００に関する情報を含んでもよい。テーブル１１００内の実世界オブジェクトのそれぞれは、列１１０１に示されるように、オブジェクト名５０ｘによって識別されてもよい。さらに、ＯＤＭ１０１０によって検出された検出可能な実世界オブジェクトセット５８内の実世界オブジェクトは、オブジェクトＩＤ１１１１によって識別されてもよい。

【0150】

テーブル１１００は、該実世界オブジェクトのそれぞれが属するオブジェクトファミリ５０１ｘを示す列１１０５を含んでもよい。また、ＣＶＭ１０４０が該実世界オブジェクトに割り当てたオブジェクトラベル６０ｘは、表１１００の列（例えば、図１１の列１１０７）に含まれてもよい。オブジェクトラベル６０ｘは、該所定の実世界オブジェクトが検出された結果、ＣＶＭ１０４０によって割り当てられてもよい。例えば、実世界リモコン１０２は、「リビングルーム」オブジェクトファミリ５０１ｘの一部であってよく、「リモコン」オブジェクトラベル６０ｘが割り当てられてもよい。該実世界オブジェクトの分類の他の適切な形態が実施されてもよい。

【0151】

以下でさらに説明するように、ＣＶＭ１０４０の出力は、ＣＶＭ１０４０が該実世界オブジェクトを正しく識別した確実性のレベルを示す信頼度８００を含むように構成されてもよい。信頼度８００は、メモリ１４に記憶されてもよく、この情報は、テーブル１１００の列１１１３に含まれてもよい。

【0152】

また、後述するように、検出可能な実世界オブジェクトセット５８の構成は、時間の経過とともに変化することがある。したがって、テーブル１１００は、実世界オブジェクトが現在検出可能な実世界オブジェクトセット５８の一部であるか否かの表示を含んでもよい。例えば、本情報は、テーブル１１００の列１１０３に記憶されてもよい。

【0153】

テーブル１１００は、実世界オブジェクトライブラリ３００内の１の実世界オブジェクトが検出されたか否か、及び／又は該関連仮想キャラクタが該実世界オブジェクトから放出されたか否か／によって生成されたか否かについての表示も含むことができる。さらに、実世界オブジェクトライブラリ３００内の複数の実世界オブジェクトのそれぞれの状態（例えば、検出されたか否か、検出されていないか否か、検出可能な実世界オブジェクトセット５８の一部ではないので検出不可能であるか否か）に関する情報が、テーブル１１００に含まれてもよい。

【0154】

図１２に関して、メモリ１４に記憶されたテーブル１２００は、仮想キャラクタライブラリ４００の各仮想キャラクタに関する情報を含んでもよい。テーブル１２００内の複数の仮想キャラクタのそれぞれは、１の名前／１のオブジェクトＩＤ１２０１によって識別されてもよい。

【0155】

上述したとおり、一部の実施形態において、モバイルＡＲアプリ１０００は、各仮想キャラクタを仮想キャラクタファミリ７００ｘ（「仮想キャラクタファミリ」）に分類するように構成されてもよい。テーブル１２００は、各仮想キャラクタが属する仮想キャラクタファミリ７００ｘを示してもよい。本情報は、テーブル１２００に、例えば、列１２０３に含まれてもよい。

【0156】

また、該テーブル１２００には、上述した候補実世界オブジェクトラベル４２ｘ、キャラクタデータ３７、及び候補特性５８に関連する情報が含まれていてもよい。本情報は、テーブル１２００の列１２０５、１２０７、１２０９にそれぞれ含まれてもよい。

【0157】

テーブル１２００は、例えば、該仮想キャラクタが該特定の実世界オブジェクトから生成された／によって生成された場合、又はモバイルＡＲアプリ１０００によってロックされているとみなされ、そのため特定の実世界オブジェクトから生成できない／生成されない場合（図１２のテーブル１２００の列１２０７に示すように）、該仮想キャラクタそれぞれの状態の表示も含むことができる。

【0158】

図１３によると、メモリ１４に記憶されたテーブル１３００は、該特定の実世界オブジェクトと該関連仮想キャラクタとの間の接続又は関連に関する情報を含んでもよい。テーブル１３００は、該特定の実世界オブジェクト及び、該特定の実世界オブジェクトから生成された／によって生成された該関連仮想キャラクタとの表示を含んでもよい。例えば、テーブル１３００は、該実世界オブジェクト及び該仮想オブジェクトのオブジェクトＩＤを関連付けてもよい（図１３のテーブル１３００の列１３０１及び１３０３に示されるとおり）。また、テーブル１３００には、該実世界オブジェクトのオブジェクトラベル６０ｘや、該実世界オブジェクトが属するオブジェクトファミリ５０１ｘなどの追加情報が含まれてもよい（図１３のテーブル１３００の列１３０５及び１３０７に示されるとおり）。

【0159】

以下でさらに説明するように、モバイルＡＲアプリ１０００は、該特定の実世界オブジェクト及び／又は該関連仮想キャラクタにポイント値を属性付けさせるように構成されてもよい。該点数値に関する情報は、テーブル１３００に（例えば、列１３１１に）記憶されてもよい。

【0160】

また、テーブル１３００は、該実世界オブジェクトを検出したプレイヤの表示（列１３１３）及び、該関連仮想キャラクタがＡＲゲーム環境１００５で生成された時間（列１３１５）を含んでもよい。

【0161】

また、テーブル１３００は、該特定の実世界オブジェクトの空間座標（ＸＹＺ）_ＲＷ及び、該関連仮想キャラクタの生成時ｔ＝ｔ_ｇｅｎにおけるプレイヤの空間座標（ＸＹＺ）_１との表示を含んでもよい。該特定の実世界オブジェクトの空間座標（ＸＹＺ）_ＲＷは、実世界オブジェクトデータ６２の一部として、メモリ１４に記憶されてもよい。また、テーブル１３００は、該実世界オブジェクトの検出時ｔ＝ｔ_ｄｅｔにおけるプレイヤ１及び該特定の実世界オブジェクトとの間の距離の表示を含んでもよい。

【0162】

また、テーブル１３００は、該特定の実世界オブジェクトの現在の空間座標（ＸＹＺ)_ＲＷの表示及び、該特定の実世界オブジェクトから放出された／によって生成された該関連仮想キャラクタの現在の空間座標（ＸＹＺ）_ＶＣの表示も含んでもよい。

【0163】

モバイルＡＲアプリ１０００は、該関連仮想キャラクタが該特定の実世界オブジェクトから放出された／によって生成されたことに対応する視覚効果を生成するようにも構成され得る。視覚効果の非限定的な例は、該関連仮想キャラクタが該特定の実世界オブジェクトから放出されようとしている／によって生成されようとしていることを示す、「仮想フラリッシュ」からなる。そのような仮想フラリッシュは、該特定の実世界オブジェクトの近傍でディスプレイ１１上に表示される１のコンピュータ生成画像（ＣＧＩ）要素、携帯端末１０上で生成される聴覚信号及び／又は触覚信号、又は該関連仮想キャラクタが該特定の実世界オブジェクトから放出されようとしている／によって生成されようとしていることをプレイヤ１に示すために適した他の信号を含み得るが、これらに限定されるものではない。

【0164】

モバイルＡＲアプリ１０００は、該関連仮想キャラクタが該特定の実世界オブジェクトから放出されている／によって生成されていることをプレイヤ１に示すことを目的とする効果を提供するために、モーションラインとともに現れる１のＣＧＩ要素によって該関連仮想キャラクタを表すように構成されてもよい。該関連仮想キャラクタは、ステップ６４０で作成されたアンカー４６から解き放たれてもよい。一部の実施形態では、この効果は、該関連仮想キャラクタと該特定の実世界オブジェクトとの間の距離が増すにつれて関連仮想キャラクタのサイズを大きくさせる効果によってさらに強化され得る。一部の実施形態では、他の効果も追加することができ、これには、ニヤニヤする、目を開く又は閉じるなど、関連仮想キャラクタの「顔の表情」を変更することが含まれるが、これらに限定されない。

【0165】

図示された例示的な実施形態では、図１Ｂに示されるように、モバイルＡＲアプリ１０００は、仮想キャラクタ１０４が実世界リモコン１０２から放出されようとしていることを示す１の仮想フラリッシュ１０３（例えば、「きらめき」）を生成するように構成されてもよい。図１Ｃに示すように、仮想キャラクタ１０４は、モーションライン１０５とともに出現し、仮想キャラクタ１０４が実世界リモコン１０２「から生成」されていることをプレイヤ１に示すことを目的とした効果を提供する。また、図１Ｃ及び図１Ｄとの間では、仮想キャラクタ１０４と実世界リモコン１０２との間の距離が増すにつれて、仮想キャラクタ１０４のサイズが大きくなっている。さらに、仮想キャラクタ１０４は、図１Ｃ及び図１Ｄの画像１００Ｃと１００Ｄの間で、閉じた状態から開いた状態に変化するように示される「目」を有して描かれる。最後に、図１Ｄは、仮想キャラクタ１０４が実世界リモコン１０２から完全に放出された状態を示している。

【0166】

また、該特定の実世界オブジェクト及び該関連仮想キャラクタに関して後述する他の実施形態において、他の効果を付加することもできる。

【0167】

例えば、該関連仮想キャラクタが該特定の実世界オブジェクトから放出される／によって生成される様子を伝える効果が追加されてもよい。例えば、モバイルＡＲアプリ１０００は、該関連仮想キャラクタが該特定の実世界オブジェクトの開口部から「抜ける」ように見えることによって、効果を作成するように構成されてもよい。さらに別の例では、該関連仮想キャラクタを該特定の実世界オブジェクトから「引っ張る」ためにプレイヤ入力が要求され得るような抵抗の効果が作成されてもよい。他の実施形態では、前述の効果のいずれか、又はそれらの組み合わせは、該関連仮想キャラクタが該特定の実世界オブジェクトから徐々に「引き出される」ときに引き伸ばされ、その後に通常の形状を取り戻すという効果によって、さらに強化することができる。追加の効果として、該特定の実世界オブジェクトが該関連仮想キャラクタに変換される様子があってもよい。例えば、該特定の実世界オブジェクトは、該関連仮想キャラクタに折り畳まれたり、展開されたりするように出現してもよい。

【0168】

他の実施形態では、モバイルＡＲアプリ１０００は、該関連仮想キャラクタが生成されているとき、又は該特定の実世界オブジェクトから放出された／生成された後に、該携帯端末１０のディスプレイ１１上に該関連する情報を表示するように構成されてもよい。そのような情報は、該関連仮想キャラクタの名前、該関連仮想キャラクタのポイント値、又は仮想キャラクタが属する「仮想キャラクタコレクション」の名前（以下でより詳細に説明する）を含んでもよいが、これらに限定されるものではない。

【0169】

上述した効果の出現を強調するために、モバイルＡＲアプリ１０００は、該関連仮想キャラクタが該特定の実世界オブジェクトから放出されている／によって生成されている間、ディスプレイ１１上に提示される画像をピンぼけ又は暗くなって見えるように変更するように構成されてもよい。

【0170】

該関連仮想キャラクタが該特定の実世界オブジェクトから放出され／によって生成されると、該特定の実世界オブジェクトの位置に大まかに配置されたアンカー４６が取り除かれてもよい。
次はステップ６６０である。

【0171】

ステップ６６０
一部の実施形態では、モバイルＡＲアプリ１０００は、該関連仮想キャラクタが該特定の実世界オブジェクトから放出される／によって生成されてさらにプレイヤのゲームプレイを進めるように構成されてもよい。

【0172】

例えば、該関連仮想キャラクタは「収集された」とみなされてもよく、モバイルＡＲアプリ１０００はプレイヤのスコアを増加させてもよく、又は該関連仮想キャラクタをプレイヤ１に関連する「仮想キャラクタコレクション」に追加してもよい。図５によると、仮想キャラクタコレクション９００は、ゲームプレイの様々な側面が記録され、例えば「仮想キャラクタコレクション画面」５００上でプレイヤ１に提示されてもよいデータコンテナであってもよい。

【0173】

一部の実施形態では、モバイルＡＲアプリ１０００は、仮想キャラクタコレクション画面５００にアクセスするための入力を提供する機会をプレイヤ１に提供するように構成されてもよい。例えば、仮想キャラクタコレクション画面５００にアクセスするための入力は、ＧＵＩ４８を介してプレイヤ１によって提供されてもよい。プレイヤの入力に応答して、モバイルＡＲアプリ１０００は、携帯端末１０のディスプレイ１１に、モバイルＡＲアプリ１０００によってキャプチャされて提示されているシーンの画像の表示を停止し、仮想キャラクタコレクション画面５００の表示を開始するように構成されてもよい。同様に、仮想キャラクタコレクション画面５００が携帯端末１０のディスプレイ１１に表示されているとき、仮想キャラクタコレクション画面５００の表示を停止し、モバイルＡＲアプリ１０００が撮像して提示しているシーンの画像をディスプレイ１１に表示し始めるように、プレイヤ１によってＧＵＩ４８を介してプレイヤ入力が行われてもよい。

【0174】

収集した仮想キャラクタは、何らかの方法で強調表示してもよいし、太字で表示してもよい（例えば、図５に示すとおり）。特定の仮想キャラクタが収集されたことをプレイヤ１に伝えるその他の方法を用いてもよい。

【0175】

ゲームセッション中、モバイルＡＲアプリ１０００は、仮想キャラクタとの関連性を有するすべての実世界オブジェクトの記録を維持するようにも構成され得る。モバイルＡＲアプリ１０００は、検出可能な実世界オブジェクトセット５８のうち、ゲームセッション中に未検出の実世界オブジェクトの記録を維持するようにも構成され得る。モバイルＡＲアプリ１０００は、ゲームセッション中に未検出の検出可能な実世界オブジェクトセット５８内の該実世界オブジェクトに関連付けられ得る複数の仮想キャラクタの記録を保持するようにも構成され得る。同様の情報の任意の組み合わせが、仮想キャラクタコレクション画面５００に表示され、プレイヤ１に提示されてもよい。

【0176】

モバイルＡＲアプリ１０００は、さらに、仮想キャラクタコレクション画面５００を通じて、各仮想キャラクタファミリ７００ｘをプレイヤ１に提示するように構成されてもよい。特に、仮想キャラクタコレクション画面５００は、プレイヤの仮想キャラクタコレクション９００に関連する情報を提示してもよく、上述したように、実世界の物理的位置に関連してもよいオブジェクトファミリ５０１ｘの仮想キャラクタ７１ｘ、７２ｘ、７３ｘ、７４ｘ、７５ｘ（例えば、オブジェクトファミリ５０１_１の仮想キャラクタ７１ｘ、及びオブジェクトファミリ７２ｘの仮想キャラクタ７２ｘ）をさらに提示してよい。

【0177】

一部の実施形態では、ゲームプレイは、追加仮想キャラクタファミリ７００ｘのロックを解除することによってさらに進めることができる。例えば、追加仮想キャラクタファミリ７００ｘのロックを解除することは、プレイヤ１が所定の数の仮想キャラクタを収集したこと、及び／又はプレイヤ１が所定の仮想キャラクタファミリ７００ｘ内の全ての仮想キャラクタを収集したことの結果であってよい。別の例では、追加仮想キャラクタファミリ７００ｘのロックを解除することはまた、実世界オブジェクトの特定の組み合わせを検出した結果であってもよい。例えば、該実世界オブジェクトの特定の組み合わせは、（実世界オブジェクトに割り当てられた）オブジェクトラベル６０ｘの特定の組み合わせとして識別されてもよく、又は１又は複数のオブジェクトファミリ５０１ｘの一部の実世界オブジェクトの閾値が進行に必要であってもよい。

【0178】

ここで、該関連仮想キャラクタが該特定の実世界オブジェクトから放出された／によって生成された状況（ステップ６５０参照）に戻ると、該関連仮想キャラクタは仮想キャラクタコレクション９００に追加されてもよい。これは、モバイルＡＲアプリ１０００によって、プレイヤの入力なしに、例えば、その放出／生成に続いて直ちに又は所定の時間遅延の後に、自律的に行われてもよい。他の実施形態では、該関連仮想キャラクタが仮想キャラクタコレクション９００に追加されるために、プレイヤ１からの入力が要求されてもよい。例えば、プレイヤ１は、ディスプレイ１１／タッチスクリーン１６上の該関連仮想キャラクタに触れること、又は該関連仮想キャラクタに関連する該特定の実世界オブジェクトに触れること（これはカメラによって検出されるであろう）、又はディスプレイ１１／タッチスクリーン１６の他の部分に触れることを要求されてもよい。

【0179】

一部の実施形態では、実世界オブジェクトは、仮想キャラクタコレクション９００の実世界表現として指定されてもよい。例えば、「収納」に分類されるオブジェクトファミリ５０１ｘからの実世界オブジェクト（例えば、引き出し、キャビネット、箱など）が、仮想キャラクタコレクション９００と関連付けられてもよい。このように、仮想キャラクタコレクション９００を構成する仮想キャラクタコレクション画面５００は、該実世界オブジェクトから放出された／によって生成されたように見えてもよい。さらに、モバイルＡＲアプリ１０００は、仮想キャラクタを収集すると、当該収集した仮想キャラクタを仮想キャラクタコレクション９００に追加する際に、該実世界オブジェクトに向かって、及び／又は、その中に移動するように表現する効果をもたらすように構成されていてもよい。

【0180】

他の実施形態では、ポイントベース・システムを用いてプレイヤのゲームプレイをさらに進めることができる。例えば、プレイヤ１は、ポイントの閾値が満たされると、さらなる仮想キャラクタファミリ７００ｘのロックを解除するためのポイントを蓄積することを要求されてもよい。

【0181】

ここで、前記関連仮想キャラクタが該特定の実世界オブジェクトから放出された／によって生成された状況に戻り（ステップ６５０参照）、モバイルＡＲアプリ１０００は、該特定の実世界オブジェクト及び／又は該関連仮想キャラクタにポイント値を属性付けするように構成され得る。一部の実施形態では、ポイント値は、該シーン内の実世界オブジェクトの密集度に基づいて属性付けされてもよい。例えば、該特定の実世界オブジェクトが、検出可能な実世界オブジェクトの密集度がより高い領域に位置する場合（単位面積当たり又は単位体積当たりの検出可能な実世界オブジェクトの数が所定の閾値を超えるという観点から）、該属するポイント値は、該特定の実世界オブジェクトが検出可能な実世界オブジェクトの密集度がより低い領域に位置する場合よりも低くてもよい。

【0182】

他の実施形態では、該ポイント値は、該シーン内の他の検出可能な実世界オブジェクトに対する、プレイヤ１と該特定の実世界オブジェクトとの間の物理的距離に依存し得る。例えば、プレイヤからの物理的距離が異なる２の検出可能な実世界オブジェクトが与えられると、該２の検出可能な実世界オブジェクトのうち近い方から放出／によって生成される１の関連仮想キャラクタに低いポイント値が属性付けされることになる。これにより、プレイヤ１は、より高いスコアを得るために物理的に（実世界で）移動してもよいことを意味する。

【0183】

他の実施形態では、該特定の実世界オブジェクトから放出された／によって生成された関連仮想キャラクタに属するポイント値は、時間の関数として変化してよい。例えば、該ポイント値は、プレイヤ１が該特定の実世界オブジェクトを見つける／検出するために必要な時間の関数として減少してもよい。時間の持続時間は、モバイルＡＲアプリ１０００の起動時間から計算されてもよいし、ゲームプレイ時間の設定量から計算されてもよい。

【0184】

別の例では、該カメラ画像において検出された複数の検出可能な実世界オブジェクトがある場合、該実世界オブジェクトのそれぞれから放出される／によって生成される仮想キャラクタのポイント値は、該複数の実世界オブジェクトのそれぞれに割り当てられた１の特定のオブジェクトラベル６０ｘのカウントに基づいてもよい。例えば、１のオブジェクトラベル６０１が割り当てられた３つの検出可能な実世界オブジェクト及び、１のオブジェクトラベル６０２が割り当てられた１の検出可能な実世界オブジェクトが与えられた場合、オブジェクトラベル６０２が割り当てられた検出可能な実世界オブジェクトに関連するポイント値は、オブジェクトラベル６０１が割り当てられた検出可能な実世界オブジェクトに関連するポイント値より高くてもよい。

【0185】

上述した１の仮想キャラクタ１０４の生成方法及び仮想キャラクタに関して説明した効果（すなわち、ステップ６１０から６６０）は、図２Ａから２Ｂ、３Ａから３Ｅ及び４Ａから４Ｃの仮想キャラクタ２０４、３０４、４０４に適用できることは、当業者には理解されよう。図１Ａから図１Ｄ、２Ａから２Ｂ、３Ａから３Ｅ、及び４Ａから４Ｃに示すように、各仮想キャラクタ（又は仮想キャラクタ）１０４、２０４、３０４、４０４はそれぞれ異なる実世界のオブジェクト１０２、２０２、３０２、４０２から放出され／に関連付けられることが可能である。

【0186】

例えば、図２Ａは、モバイルＡＲアプリ１０００によって携帯端末１０のディスプレイ１１上にキャプチャされ提示され得るシーンの画像２００Ａを示す。画像２００Ａは、実世界のキャビネット２０１と実世界フライ返し２０２とを含むように示されている。

【0187】

図示された例示的な実施形態では、該カメラ画像は、実世界キャビネット２０１及び実世界フライ返し２０２を含む。本例のために、実世界リモートフライ返し２０２のみが、検出可能な実世界オブジェクトセット５８に含まれると仮定する。

【0188】

ステップ６１０で、ＯＤＭ１０１０は、携帯端末１０のカメラフィード（すなわち、ビデオフレーム）から画像をキャプチャする。ステップ６２０で、モバイルＡＲアプリ１０００は、受信したカメラ画像を処理するように構成され、最終的にステップ６３０で、ＣＶＭ１０４０の正の出力の結果として実世界フライ返し２０２がシーン内に検出される。ステップ６４０で、モバイルＡＲアプリ１０００のＡＲ ＡＰＩ １０２０は、実世界フライ返し２０２の位置に大まかに確立されるアンカー４６を提供し、実世界フライ返し２０２に関連付けられる最終的な仮想キャラクタ２０４のためのアンカーを提供するように構成される。

【0189】

ステップ６５０において、モバイルＡＲアプリ１０００は、実世界フライ返し２０２及び仮想キャラクタ２０４の間の関連付けを作成する。この例では、関連付けられた仮想キャラクタ２０４は、仮想キャラクタ２０４の形状が実世界フライ返し２０２に対する形状に対応するように、実世界フライ返し２０２との視覚的関連付けを有するように選択される。仮想キャラクタ２０４は、少なくとも１のプロセッサ１２によって実行される選択／マッチングアルゴリズム１９００によって仮想キャラクタライブラリ４００から選択されてもよいし、上述したようにモバイルＡＲアプリ１０００によって「作成」されたものであってもよい。

【0190】

仮想キャラクタ２０４が実世界フライ返し２０２から放出される／によって生成されることに対応する視覚効果、すなわち仮想フラリッシュ２０３が、図２Ａに示されている。仮想キャラクタ２０４は、仮想キャラクタ２０４が実世界フライ返し２０２から「生成」されていることをプレイヤ１に示すことを目的とした効果を提供するために、モーションライン２０５とともに表示される。

【0191】

図２Ｂに提示された例示的な実施形態に示されるように、仮想キャラクタ２０４に関連する属性は、それが実世界フライ返し２０２から放出された／によって生成された後に携帯端末１０のディスプレイ１１に表示される。この実施形態では、モバイルＡＲアプリ１０００は、仮想キャラクタ２０４の名前／識別子（すなわち、図２Ｂの「スパッチ」）、仮想キャラクタ２０４のポイント値（すなわち、図２Ｂに示すように「５００ｐｔ」）、仮想キャラクタ２０４が属する「仮想キャラクタコレクション」の名前（すなわち、図２Ｂに示すように「キッチン」）を表示するように構成される。

【0192】

仮想キャラクタ２０４が実世界フライ返し２０２から放出され／によって生成されると、仮想キャラクタ２０４は仮想キャラクタコレクション９００に追加されてもよい。

【0193】

別の例では、図３Ａは、モバイルＡＲアプリ１０００によって携帯端末１０のディスプレイ１１上にキャプチャされ提示され得る別のシーンの画像３００Ａを示す。画像３００Ａは、実世界キャビネット３０１及び実世界ステープラ３０２を含むように示されている。

【0194】

図示された例示的な実施形態では、該カメラ画像は、実世界キャビネット３０１及び実世界ステープラ３０２を含む。本例のために、実世界ステープラ３０２及び実世界キャビネット３０１の両方が、検出可能な実世界オブジェクトセット５８に含まれるものと仮定される。

【0195】

ステップ６１０で、ＯＤＭ１０１０は、携帯端末１０のカメラフィード（すなわち、ビデオフレーム）から画像をキャプチャする。ステップ６２０で、モバイルＡＲアプリ１０００は、受信したカメラ画像を処理するように構成され、最終的にステップ６３０で、ＣＶＭ１０４０の正の出力の結果として、実世界ステープラ３０２がシーン内で検出される。ステップ６４０で、モバイルＡＲアプリ１０００のＡＲ ＡＰＩ１０２０は、実世界ステープラ３０２の位置に大まかに確立されるアンカー４６を提供し、実世界ステープラ３０２と関連付けられる最終的な仮想キャラクタ３０４のためのアンカーを提供するように構成される。

【0196】

ステップ６５０において、モバイルＡＲアプリ１０００は、実世界ステープラ３０２及び仮想キャラクタ３０４の間の関連付けを作成する。この例では、関連仮想キャラクタ３０４は、仮想キャラクタ３０４の形状が実世界ステープラ３０２に対する形状に対応するように、実世界ステープラ３０２との視覚的関連性を有するように選択される。仮想キャラクタ３０４は、少なくとも１のプロセッサ１２によって実行される選択／マッチングアルゴリズム１９００によって仮想キャラクタライブラリ４００から選択されてもよいし、上述のように、モバイルＡＲアプリ１０００によって「作成」されてもよい。

【0197】

仮想キャラクタ３０４が実世界ステープラ３０２から放出される／によって生成されることに対応する視覚効果、すなわち仮想フラリッシュ３０３が図３Ａに示されている。仮想キャラクタ３０４は、仮想キャラクタ３０４が実世界ステープラ３０２から「生成」されていることをプレイヤ１に示すことを目的とした効果を提供するために、モーションライン３０５とともに表示される。

【0198】

さらに、本実施形態では、仮想フラリッシュ３０３及びモーションライン３０５の見え方を強調するために、モバイルＡＲアプリ１０００は、仮想キャラクタ３０４が実世界ステープラ３０２から放出される／によって生成されている間、ディスプレイ１１に提示される画像を暗くして見えるように変更するように構成される。

【0199】

仮想キャラクタ３０４が実世界ステープラ３０２から放出され／によって生成されると、仮想キャラクタ３０４は、仮想キャラクタコレクション９００に追加されてもよい。図３Ｅは、仮想キャラクタコレクション９００が表示された仮想キャラクタコレクション画面５００を示す図である。仮想キャラクタコレクション画面５００には、オブジェクトファミリ５０１_５の一部である仮想キャラクタ３０４が表示されている。仮想キャラクタ３０４は、仮想キャラクタファミリ７００_５の一部である仮想キャラクタ３０４である。

【0200】

図３Ｂの図示の実施形態では、１の実世界オブジェクトは、仮想キャラクタコレクション９００を表す１の仮想オブジェクトと関連性を有するものとなっている。このように、本実施形態では、実世界キャビネット３０１は、仮想キャラクタコレクション９００を表す１の仮想オブジェクトとの関連付けを有するように構成されている。そのため、図３Ｃに示すように、仮想キャラクタコレクション９００を構成する仮想キャラクタコレクション画面５００は、後述するように、実世界キャビネット３０１から放出／によって生成されたように表示される。

【0201】

したがって、ステップ６１０で、ＯＤＭ１０１０は、携帯端末１０のカメラフィード（すなわち、ビデオフレーム）から画像をキャプチャする。ステップ６２０において、モバイルＡＲアプリ１０００は、受信したカメラ画像を処理するように構成され、最終的にステップ６３０において、ＣＶＭ１０４０の正の出力の結果として実世界キャビネット３０１がシーン内で検出される。ステップ６４０に進む前に、モバイルＡＲアプリ１０００は、実世界キャビネット３０１に割り当てられたオブジェクトラベル６０ｘが、候補オブジェクトファミリとして分類された検出可能実世界オブジェクトセット５８の実世界オブジェクト部分（例えば、「ストレージ」として分類されたオブジェクトファミリ５０１ｘ）に割り当てられたオブジェクトラベル６０ｘに対応するかどうかを判断するよう構成されてもよい。肯定的な場合、方法はステップ６４０に進み、モバイルＡＲアプリ１０００のＡＲ ＡＰＩ１０２０が、仮想キャラクタコレクション９００を表す最終的な仮想オブジェクト８０４のためのアンカーを提供するために、該実世界キャビネット３０１の位置で大まかに確立されるアンカー４６を提供するように構成される。

【0202】

ステップ６５０において、モバイルＡＲアプリ１０００は、図３Ｃに示すように、実世界キャビネット３０１及び仮想キャラクタコレクション９００を表す仮想オブジェクト８０４を関連付ける記録をメモリ１４に作成する。

【0203】

仮想オブジェクト８０４が実世界キャビネット３０１から放出される／によって生成されることに対応する視覚効果、すなわち仮想フラリッシュ８０３が、図３Ａに示されている。仮想キャラクタ８０３は、仮想オブジェクト８０４が実世界キャビネット３０１から「生成」されていることをプレイヤ１に示すことを目的とした効果を提供するために、モーションライン８０５と共に表示される。

【0204】

モバイルＡＲアプリ１０００は、仮想キャラクタコレクション画面５００をプレイヤ１に表示させ、仮想キャラクタコレクション９００を表示させるために、仮想オブジェクト８０４を介してプレイヤ１に起動入力を行う機会を提供するように構成されてもよい。例えば、プレイヤ１は、図３Ｄに示すように、仮想オブジェクト８０４に触れることによって起動入力を行うことができる。プレイヤ１からの起動入力を検出すると、モバイルＡＲアプリ１０００は、図３Ｅに示すように、仮想キャラクタコレクション画面５００を表示して、プレイヤ１に仮想キャラクタコレクション９００を提示するように構成されてもよい。

【0205】

さらに別の例では、図４Ａは、モバイルＡＲアプリ１０００によって携帯端末１０のディスプレイ１１上にキャプチャされ提示され得るシーンの画像４００Ａを示す。画像４００Ａは、実世界キャビネット４０１及び実世界歯ブラシ４０２を含むように示されている。

【0206】

図示された例示的な実施形態において、該カメラ画像は、実世界キャビネット４０１及び実世界歯ブラシ４０２を含む。本例のために、実世界歯ブラシ４０２のみが、検出可能な実世界オブジェクトセット５８に含まれるものとする。

【0207】

ステップ６１０で、ＯＤＭ１０１０は、携帯端末１０のカメラフィード（すなわち、ビデオフレーム）から画像をキャプチャする。ステップ６２０で、モバイルＡＲアプリ１０００は、受信したカメラ画像を処理するように構成され、最終的にステップ６３０で、ＣＶＭ１０４０の正の出力の結果として、実世界歯ブラシ４０２がシーン内で検出される。ステップ６４０で、モバイルＡＲアプリ１０００のＡＲ ＡＰＩ１０２０は、実世界歯ブラシ４０２の位置に大まかに確立されるアンカー４６を提供して、実世界歯ブラシ４０２に関連付けられる最終的な仮想キャラクタ４０４のためのアンカーを提供するよう構成される。

【0208】

ステップ６５０で、モバイルＡＲアプリ１０００は、実世界歯ブラシ４０２及び仮想キャラクタ４０４の間の関連付けを作成する。この例では、関連仮想キャラクタ４０４は、仮想キャラクタ４０４の形状が実世界歯ブラシ４０２に対する形状に対応するように、実世界歯ブラシ４０２との視覚的関連性を有するように選択される。仮想キャラクタ４０４は、少なくとも１のプロセッサ１２によって実行される選択／マッチングアルゴリズム１９００によって仮想キャラクタライブラリ４００から選択されてもよいし、上述したようにモバイルＡＲアプリ１０００によって「作成」されたものであってもよい。

【0209】

仮想キャラクタ４０４が実世界歯ブラシ４０２から放出される／によって生成されることに対応する視覚効果、すなわち仮想フラリッシュ４０３が、図４Ａに示されている。仮想キャラクタ４０４は、仮想キャラクタ４０４が実世界歯ブラシ４０２から「生成」されていることをプレイヤ１に示すことを目的とした効果を提供するために、モーションライン４０５とともに表示される。

【0210】

図４Ｃに示すように、実世界歯ブラシ４０２がカメラ２６の視野に入らなくなり、その結果ディスプレイ１１に提示されなくなった場合にも、仮想キャラクタ４０４はディスプレイ１１に提示される場面の画像に残っていてもよい。このような場合、実世界歯ブラシ４０２の空間座標（ＸＹＺ）_ＲＷ及び仮想キャラクタ４０４の空間座標（ＸＹＺ）_ＶＣは、異なっていてもよい。仮想キャラクタ４０４が実世界歯ブラシ４０２から放出され／によって生成されると、仮想キャラクタ４０４は仮想キャラクタコレクション９００に追加されてもよい。

【0211】

一部の実施形態では、第１仮想キャラクタが第１実世界オブジェクトから放出される／によって生成されることに加えて、第２実世界オブジェクトが、モバイルＡＲアプリ１０００のＣＶＭ１０４０によって検出されてもよい。第２実世界オブジェクトが検出されると、第２仮想キャラクタは、第２実世界オブジェクトから放出される／によって生成される場合がある。このように、モバイルＡＲアプリ１０００は、第１実世界オブジェクト及び第１仮想キャラクタの間に関連付けを作成し、また、第２実世界オブジェクト及び第２仮想キャラクタの間に別の関連付けを作成する。また、第１仮想キャラクタが第１実世界のオブジェクトから放出され／によって生成される前に第２実世界オブジェクトが検出され、２の同時生成操作が生じることも可能である。

【0212】

関連実世界オブジェクト及び関連仮想キャラクタ
他の実施形態では、方法６００のステップ６３０で、複数の関連実世界オブジェクトがＣＶＭ１０４０によって検出されてもよい。該複数の関連実世界オブジェクトは、実世界における可視的な関係によって関連してもよい。例えば、該複数の実世界オブジェクトは、実世界において物理的に接触していてもよい（例えば、物理的に接続されていてもよい）。例えば、該複数の実世界オブジェクトは、実世界において可視的に関連していてもよい。このような実施形態では、モバイルＡＲアプリ１０００は、該複数の関連実世界オブジェクト及び複数の関連仮想キャラクタとの間に関連性を作成するように構成されてもよく、各仮想キャラクタはそれぞれの実世界オブジェクトと関連付けられている。

【0213】

本実施形態の実装の一例において、図１７Ａは、モバイルＡＲアプリ１０００によって携帯端末１０のディスプレイ１１上にキャプチャされ提示され得るシーンの画像１７００Ａを示す。画像１７００Ａは、実世界コップ１７０２内に位置する実世界ストロー９０２及び、テーブル１８０１を含むように示されている。本実施例のために、実世界ストロー９０２及び実世界コップ１７０２のみが検出可能な実世界オブジェクトセット５８に含まれると仮定する。

【0214】

ステップ６１０で、ＯＤＭ１０１０は、携帯端末１０のカメラフィード（すなわち、ビデオフレーム）から画像をキャプチャする。ステップ６２０で、モバイルＡＲアプリ１０００は、受信したカメラ画像を処理するように構成され、最終的にステップ６３０で、ＣＶＭ１０４０の正の出力の結果として、実世界ストロー９０２がシーン内で検出される。

【0215】

依然としてステップ６３０を実行し続けている間、ＣＶＭ１０４０は、同様に、第２実世界オブジェクト、すなわち実世界コップ１７０２を検出する。このように、ステップ６３０は、複数の実世界オブジェクトの検出を含んでもよい。

【0216】

本例では、実世界コップ１７０２の検出時に、ステップ６４０で、モバイルＡＲアプリ１０００のＡＲ ＡＰＩ１０２０は、実世界ストロー９０２に関連付けられる最終的な仮想キャラクタ９０４のためのアンカーを提供するアンカー４６_１及び、実世界コップ１７０２に関連付けられる最終的な仮想キャラクタ１７０４のためのアンカーを提供するアンカー４６_２を設けるように構成される。

【0217】

ステップ６５０で、モバイルＡＲアプリ１０００は、実世界ストロー９０２及び仮想キャラクタ９０４の間の関連付け及び、実世界コップ１７０２及び仮想キャラクタ１７０４の間の関連付けを作成する。図１７Ｂに示すように、仮想キャラクタ９０４の形状は、実世界ストロー９０２に対する形状に対応し、仮想キャラクタ１７０４の形状は、実世界コップ１７０２の形状に対応する。すなわち、仮想キャラクタ９０４はストロー状であり、仮想キャラクタ１７０４はコップ状である。仮想キャラクタ９０４、１７０４は、少なくとも１のプロセッサ１２によって実行される選択／マッチングアルゴリズム１９００によって仮想キャラクタライブラリ４００から選択されてもよいし、上述のように、モバイルＡＲアプリ１０００によって「作成」されてもよい。

【0218】

図示された例示的な実施形態では、図１７Ｂに示されるように、モバイルＡＲアプリ１０００は、仮想キャラクタ９０４が実世界ストロー９０２から放出されようとしていることを示す仮想フラリッシュ９０３（例えば、「きらめき」）及び仮想キャラクタ１００４が実世界コップ１７０２から放出されようとしていることを示す仮想フラリッシュ１７０３を生成するように構成されてもよい。図１７Ｂに示すように、仮想キャラクタ９０４、１１０４のそれぞれは、モーションライン９０５、１７０５とともに登場し、仮想キャラクタ９０４、１７０４が実世界リモートストロー９０２及び実世界コップ１７０２から「生成」されていることをプレイヤ１に示すことを目的とした演出を行うことが可能である。最後に、図１７Ｃは、仮想キャラクタ９０４、１７０４が実世界のリモートストロー９０２及び実世界コップ１７０２から完全に放出されたことを示す。

【0219】

関連仮想キャラクタ９０４、１７０４が特定の実世界オブジェクト９０２、１７０２から放出され／によって生成されると、関連仮想キャラクタ９０４、１７０４は仮想キャラクタコレクション９００に追加されてもよい。

【0220】

単一の実世界オブジェクト及び複数の仮想キャラクタ
一部の実施形態では、モバイルＡＲアプリ１０００は、単一の実世界オブジェクト及び単一の仮想キャラクタの間の関連付けを作成するように構成されてもよいが、他の実施形態では、モバイルＡＲアプリ１０００は、単一の実世界オブジェクト及び複数の仮想キャラクタの間の関連付けを作成するように構成されてもよい。

【0221】

非限定的な一例では、図１８Ａは、モバイルＡＲアプリ１０００によって携帯端末１０のディスプレイ１１上にキャプチャされ提示され得るシーンの画像１８００Ａを示す。画像１８００Ａは、実世界ブドウの房１８０２及びテーブル１７０１を含むように示されている。本実施例のために、実世界のブドウの房１８０２のみが、検出可能な実世界オブジェクトセット５８に含まれるものと仮定する。

【0222】

ステップ６１０で、ＯＤＭ１０１０は、携帯端末１０のカメラフィード（すなわち、ビデオフレーム）から画像をキャプチャする。ステップ６２０で、モバイルＡＲアプリ１０００は、受信したカメラ画像を処理するように構成され、最終的にステップ６３０で、ＣＶＭ１０４０の正の出力の結果として、実世界ブドウの房１８０２がシーン内に検出される。本実施形態では、適切に訓練されたＣＶＭ１０４０は、実世界ブドウの房１８０２が個々の実世界ブドウ１９０２からなることを検出してもよい。

【0223】

ステップ６４０で、モバイルＡＲアプリ１０００のＡＲ ＡＰＩ１０２０は、実世界ブドウの房１８０２の位置に大まかに設けられる複数のアンカー４６ｘを提供し、実世界ブドウの房１８０２に関連付けられる最終的に複数の仮想キャラクタ１８０４ｘにアンカーを提供するように構成される。

【0224】

ステップ６５０で、モバイルＡＲアプリ１０００は、実世界ブドウの房１８０２及び、複数の仮想キャラクタ１８０４ｘの間の関連付けを作成する。モバイルＡＲアプリ１０００はまた、個々の実世界ブドウ１９０２及び複数の仮想キャラクタ１８０４ｘのそれぞれのものとの間の関連付けを作成する。仮想キャラクタ１８０４ｘは、少なくとも１のプロセッサ１２によって実行される選択／マッチングアルゴリズム１９００によって仮想キャラクタライブラリ４００選択されてもよいし、上述のように、モバイルＡＲアプリ１０００によって「作成」されてもよい。

【0225】

図示された例示的な実施形態では、図１７Ｂに示されるように、モバイルＡＲアプリ１０００は、仮想キャラクタ１８０４ｘが実世界ブドウの房１８０２／個々のブドウ１９０２から放出されようとしていることを示す仮想フラリッシュ１８０３（例えば、「きらめき」）を生成するように構成されてもよい。また、図１８Ｂに示すように、仮想キャラクタ１８０４ｘのそれぞれは、モーションライン１８０５とともに登場し、仮想キャラクタ１８０４ｘが実世界ブドウの房１８０２／個々のブドウ１９０２から「生成」されていることをプレイヤ１に示すことを目的とした演出を提供する。最後に、図１８Ｃは、仮想キャラクタ１８０４ｘが実世界ブドウの房１８０２／個々のブドウ１９０２から完全に放出された状態を示している。

【0226】

一旦、関連仮想キャラクタ１８０４ｘが実世界ブドウの房１８０２／個々のブドウ１９０２から放出され／によって生成されると、関連仮想キャラクタ１８０４ｘは仮想キャラクタコレクション９００に追加されてもよい。

【0227】

検出可能な実世界オブジェクト群
検出可能な実世界オブジェクトセット５８の大きさは、ゲームセッション中の所定の時間における検出可能な実世界オブジェクトセット５８内の該実世界オブジェクトの総数として定量化されてもよい。一部の実施形態では、検出可能な実世界オブジェクトセット５８のサイズは、ゲームセッションの経過とともに変化（例えば、増加、減少）し得る。例えば、該画像データにおける実世界オブジェクトの特定の組み合わせの検出時に、検出可能な実世界オブジェクトセット５８の大きさが変化してもよい。該実世界オブジェクトの組み合わせは、ＣＶＭ１０４０によって該実世界オブジェクトに割り当てられたオブジェクトラベル６０ｘの特定の組み合わせとして特徴付けられることがある。例えば、モバイルＡＲアプリ１０００は、特定のオブジェクトファミリ５０１ｘ内の実世界オブジェクトの閾値の検出時に、検出可能な実世界オブジェクトセット５８のサイズを増加させるように構成されてもよい。本実施形態の非限定的な例によれば、特定のオブジェクトファミリ５０１ｘ（例えば、キッチンオブジェクトファミリ５０１_１）内の実世界オブジェクトの数が、ゲームデータ３５にエンコードされた実世界オブジェクトの閾値を満たす、又は超えることが検出されると、検出可能な実世界オブジェクトセット５８のサイズは増加してもよい。

【0228】

一部の実施形態では、検出可能な実世界オブジェクトセット５８の構成は、時間と共に変化してもよい（すなわち、検出可能な実世界オブジェクトセット５８内の該特定の実世界オブジェクトは、時間と共に変化してもよい）。

【0229】

一部の実施形態では、該実世界オブジェクトは、限られた期間だけ検出可能であってよい。例えば、該実世界オブジェクトは、限られた期間の間、検出可能な実世界オブジェクトセット５８の一部であってもよい。したがって、モバイルＡＲアプリ１０００は、各実世界オブジェクトのタイマに基づいて、検出可能な実世界オブジェクトセット５８内のメンバーシップを維持するように構成されてもよい。このように、モバイルＡＲアプリ１０００は、各実世界オブジェクトに有効期限を割り当て、有効期限を監視し、有効期限に到達するか又はそれを超えると、検出可能な実世界オブジェクトセット５８から該実世界オブジェクトを除去するように構成されてもよい。同様に、モバイルＡＲアプリ１０００は、１の仮想キャラクタを放出したら／生成したら、検出可能な実世界オブジェクトセット５８から１の実世界オブジェクトを削除するように構成される。

【0230】

一部の実施形態では、実世界オブジェクトに割り当てられた有効期限は、ゲームセッション中に変化することもある。例えば、実世界オブジェクトの有効期限は、該実世界オブジェクトに割り当てられたオブジェクトラベル６０ｘ及び、検出され、この同じオブジェクトラベル６０ｘに割り当てられた該実世界オブジェクトの総数の関数として増加又は減少してもよい。例えば、検出され、特定のオブジェクトラベル６０ｘを割り当てられたオブジェクトの数を追跡するために、変数がメモリ１４に記憶されてもよい。モバイルＡＲアプリ１０００は、該変数の値に基づいて、この特定のオブジェクトラベル６０ｘを割り当てられた実世界のオブジェクトに割り当てられた有効期限を変更するように構成されてもよい。例えば、特定のオブジェクトラベル６０ｘを割り当てられた実世界オブジェクトの閾値を満たすか、又はそれを超えると、モバイルＡＲアプリ１０００は、この特定のオブジェクトラベル６０ｘを割り当てられた実世界オブジェクトに割り当てられた有効期限を短縮するように構成されてもよい。したがって、特定のオブジェクトラベル６０ｘを割り当てられた１のオブジェクトが検出可能な実世界オブジェクトセット５８の一部であり得る期間は、ゲームセッション中に変更可能であってもよい。

【0231】

したがって、モバイルＡＲアプリ１０００は、ステップ６３０における実世界オブジェクトの検出時に、該実世界オブジェクトに割り当てられたオブジェクトラベル６０ｘに基づいて、検出可能実世界オブジェクトセット５８内の実世界オブジェクトの有効期限を変更するよう構成されてもよい。

【0232】

一部の実施形態では、仮想キャラクタは、該オブジェクト検出ステップ（方法６００のステップ６３０）において信頼度の閾値８００ｘが満たされるか、又はそれを超えない限り、該実世界オブジェクトから放出されない／によって生成されないことがある。上述したように、信頼度８００は、ＣＶＭ１０４０が該オブジェクトを識別した確実性のレベルを表す。具体的には、信頼度８００は、ＣＶＭ１０４０によって割り当てられたオブジェクトラベル６０ｘが、検出された該特定の実世界オブジェクトと実際に対応する確実性のレベルを表す。各実世界オブジェクトの実世界オブジェクトデータ６２は、オブジェクトラベル６０ｘ（例えば、「リモコン」、「フライ返し」）及び信頼度８００（例えば、０－１００％）を含む。

【0233】

本例では、ＡＲゲーム環境１００５における仮想キャラクタの生成は、信頼度の閾値８００ｘが満たされるか、又はそれを超えると発生する。したがって、モバイルＡＲアプリ１０００は、ＣＶＭ１０４０で画像データを処理することによって、キャプチャされた画像内の実世界オブジェクトを識別するように構成される。モバイルＡＲアプリ１０００は、所定の実世界オブジェクトに属する信頼度８００が所定の閾値８００ｘ（例えば６５％）を超えるか否かを判断するように構成される。所定の実世界オブジェクトの信頼度８００が信頼度の閾値８００ｘを下回る場合、方法はステップ６４０に進まず、該仮想キャラクタは生成されない。しかしながら、特定の実世界オブジェクトの信頼度８００が所定の信頼度の閾値８００ｘを上回ると判定された場合、仮想キャラクタは生成され得る。

【0234】

検出イベント
一部の実施形態では、関連仮想キャラクタが特定の実世界オブジェクトから放出された／によって生成された後、該特定の実世界オブジェクトは、その後、携帯端末１０のカメラフィード（すなわちビデオフレーム）からの画像に含まれてよく、そのように該特定の実世界のオブジェクトが２回目にＣＶＭ１０４０によって検出されることがある。

【0235】

本実施形態の一実装例では、２回目に該画像内の特定の実世界オブジェクトを検出すると、モバイルＡＲアプリ１０００は、該特定の実世界オブジェクトとの関連付けを有する新たな仮想キャラクタを生成せずに、該関連仮想キャラクタ及び該特定の実世界オブジェクトの間の関連付けを保持するように構成されている。このように、該特定の実世界オブジェクトとの関連性を有する第２仮想キャラクタは生成されず、モバイルＡＲアプリ１０００は、該関連仮想キャラクタがディスプレイ１１に表示され続ける限り（又は、該関連仮想キャラクタがディスプレイ１１に表示されなくなったとしても）、該関連仮想キャラクタ及び該特定の実世界オブジェクトの間の関連性を保持するように構成される。

【0236】

したがって、ステップ６４０に進む前に、該方法は、関連仮想キャラクタがステップ６３０で検出された該実世界オブジェクトから放出されたか／によって生成されたかを判断する観点から、メモリ１４に記憶されている記録にアクセスするステップを追加的に含んでもよい。肯定的な場合、本実施形態において、該方法はステップ６４０に進まない。否定的な場合、該方法はステップ６４０に進んでもよい。

【0237】

本実施形態の別の実施例では、該画像内の特定の実世界オブジェクトを２回目に検出すると（場合によっては閾値の時間が経過した後に）、モバイルＡＲアプリ１０００は、該特定の実世界オブジェクト及び第２仮想キャラクタの間の関連付けを作成するように構成されてもよい。したがって、該特定の実世界オブジェクト及び第１関連仮想キャラクタとの第１関連付けに関する情報、並びに該特定の実世界オブジェクト及び第２関連仮想キャラクタとの第２関連付けに関する情報は、携帯端末１０のメモリ１４に記憶されたテーブル１３００に含まれることになる。

【0238】

一部の実施形態では、モバイルＡＲアプリ１０００は、該第１関連仮想キャラクタ及び該特定の実世界オブジェクトとの間の関連付けを保持し、該第１関連仮想キャラクタがディスプレイ１１上に表示され続けるにつれて第２関連仮想キャラクタを生成するように構成される。他の実施形態では、モバイルＡＲアプリ１０００は、該第１関連仮想キャラクタ及び該特定の実世界オブジェクトとの間の関連付けを保持し、該第１関連仮想キャラクタがディスプレイ１１上に表示されなくなると、該第２関連仮想キャラクタを生成するように構成される。

【0239】

一部の実施形態では、該第２関連仮想キャラクタは、該第１関連仮想キャラクタと同じポイント値を有してもよい。他の実施形態では、該第２関連仮想キャラクタは、該第１関連仮想キャラクタと異なるポイント値を有していてもよい。

【0240】

一部の実施形態では、１の関連仮想キャラクタが、ＣＶＭ１０４０によって１の特定のオブジェクトラベル６０ｘを割り当てられた１の第１実世界オブジェクトから放出された／によって生成された後、１の第２実世界オブジェクトが該携帯端末１０のカメラフィード（すなわちビデオフレーム）からの１の画像に現れ、該第１実世界オブジェクトに割り当てられたのと同じ特定のオブジェクトラベル６０ｘが割り当てられてもよい。

【0241】

例えば、ＣＶＭ１０４０によって検出され、１の特定のオブジェクトラベル６０１が割り当てられた１の第１実世界オブジェクト及び１の第２実世界オブジェクトを考慮し、モバイルＡＲアプリ１０００は、１の新たな仮想キャラクタ及び該第２実世界オブジェクトとの間に関連性を作成しないように構成されてもよい。このように、モバイルＡＲアプリ１０００は、該第２実世界オブジェクトとの関連付けを有する１の新たな仮想キャラクタを生成することなく、該関連仮想キャラクタ及び該第１実世界オブジェクトとの間の関連付けを保持するように構成される。この関連付けは、該関連仮想キャラクタがディスプレイ１１に表示され続ける場合、又は、該関連仮想キャラクタがディスプレイ１１に表示されなくなった場合であっても保持される。

【0242】

したがって、ステップ６４０に進む前に、該方法は、１の関連仮想キャラクタが、該第２実世界オブジェクトに割り当てられたオブジェクトラベル６０１を割り当てられた実世界オブジェクトから放出されたか／によって生成されたかを判断する観点から、さらに、メモリ１４に記憶された記録にアクセスするステップを含んでもよい。肯定的な場合は、該方法はステップ６４０に進まない。否定的な場合は、該方法はステップ６４０に進む。

【0243】

本実施形態の他の実施例では、モバイルＡＲアプリ１０００は、１の新しい仮想キャラクタ及び、オブジェクトラベル６０１が割り当てられた該第２実世界オブジェクトとの間の関連付けを作成するように構成されてもよい。

【0244】

このように、モバイルＡＲアプリ１０００は、該関連仮想キャラクタ及び該第１実世界オブジェクトとの間の関連付けを保持し、該第２実世界オブジェクトとの関連付けを有する１の新たな仮想キャラクタを生成するように構成される。この関連付けは、該関連仮想キャラクタがディスプレイ１１に表示され続ける場合、又は、該関連仮想キャラクタがディスプレイ１１に表示されない場合であっても保持される。

【0245】

一部の実施形態では、該新たな仮想キャラクタは、該第１関連仮想キャラクタと同じポイント値を有してもよい。他の実施形態では、該新しい仮想キャラクタは、該第１関連仮想キャラクタと異なるポイント値を有してもよい。

【0246】

一部の実施形態では、モバイルＡＲアプリ１０００は、該特定の実世界オブジェクトが検出され得る回数を制限するように構成されてもよい。他の実施形態では、モバイルＡＲアプリ１０００は、１の特定の実世界オブジェクトに関連付けられる仮想キャラクタの数を制限するように構成されてもよい。さらに他の実施形態では、モバイルＡＲアプリ１０００は、１の特定のオブジェクトラベル６０ｘを割り当てられた実世界オブジェクトに関連する仮想キャラクタの数を制限するように構成されてもよい。

【0247】

したがって、モバイルＡＲアプリ１０００は、これらの値を追跡するために、メモリ１４内に変数を記憶するように構成されてもよい。一例では、モバイルＡＲアプリ１０００は、１の特定の実世界オブジェクトが検出された回数を追跡するために、メモリ１４に変数を記憶してもよい。別の例では、モバイルＡＲアプリ１０００は、１の特定の実世界オブジェクトに関連付けられた仮想キャラクタの数を追跡するために、メモリ１４に変数を記憶してもよい。さらに別の例では、モバイルＡＲアプリ１０００は、１の特定のオブジェクトラベル６０ｘが関連付けられた実世界オブジェクトの数を追跡するために、メモリ１４内に変数を記憶してもよい。モバイルＡＲアプリ１０００は、ゲームセッション中に、実世界オブジェクトが検出され、及び／又は実世界のオブジェクト及び仮想キャラクタとの間に関連付けが作成されると、これらの変数を増加させるように構成されてもよい。

【0248】

ステップ６４０に進む前に、該方法は、該変数の現在値に基づいて、閾値制限を満たしたか、又は超えたかを判断するステップを含んでもよい。該閾値制限を満たしているか、又は超えている場合、該方法はステップ６４０に進まなくてもよい。該閾値制限を満たしていない場合、該方法はステップ６４０に進んでもよい。

【0249】

一部の実施形態では、ＯＤＭ１０１０は、検出可能な実世界オブジェクトセット５８からの複数の実世界オブジェクトが同時に存在し得る携帯端末１０のカメラフィードから１の画像をキャプチャしてもよい。このように、該カメラ画像を処理する際に、モバイルＡＲアプリ１０００は、最終的に複数の実世界オブジェクトを検出することができる。

【0250】

一例では、複数の実世界オブジェクトの検出時に、モバイルＡＲアプリ１０００は、１の仮想キャラクタが放出／生成される実世界オブジェクトであるように該複数の実世界オブジェクトのうちの特定の１を選択する機会をプレイヤ１に提供するように構成されてもよい。例えば、プレイヤ１は、該特定の（すなわち、選択されるべき）実世界オブジェクトを表示するディスプレイ１１／タッチスクリーン１６の一部にタッチすることによって選択を実行してもよい。他の例では、プレイヤ１は、ディスプレイ１１／タッチスクリーン１６の他の部分に触れることによって、又は他の適切な機構を介して、選択を実行することができる。

【0251】

別の例では、該複数の実世界オブジェクトを検出すると、モバイルＡＲアプリ１０００は、１の仮想キャラクタが放出される／生成されるオブジェクトであるとして該複数の実世界オブジェクトのうちの特定の１をランダムに選択するように構成されてもよい。

【0252】

さらに別の例では、複数の実世界オブジェクトを検出すると、モバイルＡＲアプリ１０００は、１の実世界オブジェクト選択アルゴリズム１４００を実行して、仮想キャラクタが放出される／生成される実世界オブジェクトであるとして、複数の実世界オブジェクトのうちの特定の１を選択するように構成されてもよい。

【0253】

ここで、モバイルＡＲアプリ１０００によって実行される実世界オブジェクト選択アルゴリズム１４００のステップを示す図１４のフローチャートが参照される。ステップ１４１０で、該複数の実世界オブジェクトのそれぞれは、１又は複数の基準に基づいてランク付けされる。

【0254】

・特定のオブジェクトラベル６０ｘの出現回数のカウント
モバイルＡＲアプリ１０００は、ゲームセッション中に１の実世界オブジェクトに割り当てられた特定のオブジェクトラベル６０ｘの発生回数をメモリ１４に記憶するように構成されてもよい。モバイルＡＲアプリ１０００は、メモリ１４にアクセスして、特定のオブジェクトラベル６０ｘ、例えばオブジェクトラベル６０_１の発生のカウントを決定し、さらに、特定のオブジェクトラベル６０ｘのカウントに基づいて、シーン内で検出された該複数の実世界オブジェクトのそれぞれにランキングを割り当てるように構成されてもよい。カウントが少ないほど、高いランキングに関連付けられてもよい。

【0255】

・特定の実世界オブジェクトに関連する信頼度８００の度合い
前述のように、モバイルＡＲアプリ１０００は、該ＣＶＭ１０４０による検出時に１の実世界オブジェクトに属する信頼度８００をメモリ１４に記憶するように構成される。モバイルＡＲアプリ１０００は、メモリ１４にアクセスして、シーン内で検出された該実世界オブジェクトのそれぞれに対する信頼度８００を決定するように構成されてもよく、さらに、信頼度８００に基づいてシーン内で検出された該複数の実世界オブジェクトのそれぞれにランキングを割り当てるように構成されてもよい。信頼度８００が高いほど、より高いランキングに関連付けられてもよい。

【0256】

・所定の実世界オブジェクト及び他の実世界オブジェクトとの近接
モバイルＡＲアプリ１０００は、シーン内で検出された該実世界オブジェクトのそれぞれの間の距離を決定するように構成されてもよい。他の実世界オブジェクトからより遠い距離にある実世界オブジェクトは、互いにより近い距離にある実世界オブジェクトよりも高い評価を得てもよい。

【0257】

複数の実世界オブジェクトを評価する際に、他の基準が考慮されてもよい。

【0258】

一部の実施形態において、モバイルＡＲアプリ１０００は、該基準のそれぞれに１の重みＷを割り当てるように構成されてもよい。一部の実施態様では、該基準のそれぞれの重みＷは同じであってもよい。他の実施態様では、該基準のそれぞれの重みは、異なっていてもよい。

【0259】

このように、ステップ１４２０で、モバイルＡＲアプリ１０００は、該複数の実世界オブジェクトのそれぞれについて、重み付けされたランキングの合計を決定するように構成されてもよい。

【0260】

ステップ１４３０で、該複数の実世界オブジェクトのうち、最も高い評価を受けた実世界オブジェクトが決定され、ステップ１４４０で、この実世界オブジェクトが１の仮想キャラクタとの関連付けのために選択される。

【0261】

バーチャルキャラクタの生成条件
上記に示したように、一部の実施形態では、モバイルＡＲアプリ１０００によって該特定の実世界オブジェクトが検出されると、モバイルＡＲアプリ１０００は、該特定の実世界オブジェクトに関連する入力を提供する機会をプレイヤ１に提供するように構成されてもよい。

【0262】

例えば、一部の実施形態では、方法６００がステップ６４０に進むために、ＣＶＭ１０４０によって検出され得るように、該カメラフィードからキャプチャされた該画像データにおいて該特定の実世界オブジェクトと同時にプレイヤ１の顔３が存在する必要がある場合がある。

【0263】

例えば、図２０Ａは、モバイルＡＲアプリ１０００によって携帯端末１０のディスプレイ１１上にキャプチャされ提示され得るシーンの画像２０００Ａを示す。画像２０００Ａは、実世界テーブル２００１及び実世界リモコン１０２を含むように示されている。図示された例示的な実施形態において、該カメラ画像は、実世界キャビネット２０１及び実世界リモコン１０２を含む。本例のために、実世界リモコン１０２のみが検出可能な実世界オブジェクトセット５８に含まれると仮定する。

【0264】

ステップ６１０で、ＯＤＭ１０１０は、携帯端末１０のカメラフィード（すなわち、ビデオフレーム）から画像をキャプチャする。ステップ６２０で、モバイルＡＲアプリ１０００は、受信したカメラ画像を処理するように構成され、最終的にステップ６３０において、ＣＶＭ１０４０の正の出力の結果として実世界リモコン１０２がシーン内に検出される。

【0265】

本実施形態では、モバイルＡＲアプリ１０００は、プレイヤが自身の顔３をキャプチャ画像に含めることを要求するように構成されている。モバイルＡＲアプリ１０００は、携帯端末のディスプレイ１１に表示されるメッセージ、及び／又は携帯端末１０のスピーカ２０によって発せられる可聴キュー、及び／又は触覚フィードバックモジュール５４によって発せられる触覚フィードバックによって、この要求を発することができる。

【0266】

図２０Ｂは、モバイルＡＲアプリ１０００によって携帯端末１０のディスプレイ１１上にキャプチャされ、提示され得るシーンの画像２０００Ｂであり、プレイヤの顔３及び実世界リモコン１０２の両方が含まれる。

【0267】

モバイルＡＲアプリ１０００は、該受信したカメラ画像を処理するように構成され、最終的には、ＣＶＭ１０４０の正の出力の結果として、ステップ６３０で、プレイヤ１の該顔３及び実世界リモコン１０２が両方ともシーン内に検出される。ステップ６４０で、モバイルＡＲアプリ１０００のＡＲ ＡＰＩ１０２０は、実世界リモコン１０２に関連付けられる１の最終的な仮想キャラクタ１０４のためのアンカーを提供するために、実世界リモコン１０２の位置で大まかに確立されるようにアンカー４６を提供するように構成される。

【0268】

ステップ６４０で、モバイルＡＲアプリ１０００のＡＲ ＡＰＩ１０２０は、実世界リモコン１０２に関連付けられる最終的な仮想キャラクタ２０４のためのアンカーを提供するために、実世界フライ返し２０２の位置で大まかに確立されるアンカー４６を提供するように構成される。仮想キャラクタ２０４が実世界リモコン１０２から放出される／によって生成されることに対応する視覚効果、すなわち仮想フラリッシュ１０３が、図２０Ｄに示されている。仮想キャラクタ１０４は、仮想キャラクタ１０４が実世界リモコン１０２「から生成」されていることをプレイヤ１に示すことを目的とした効果を提供するために、モーションライン１０５とともに表示される。

【0269】

ステップ６５０で、モバイルＡＲアプリ１０００は、実世界リモコン１０２及び仮想キャラクタ１０４との間に関連付けを作成する。

【0270】

他の実施形態では、該特定の実世界オブジェクトが検出されると、モバイルＡＲアプリ１０００は、該特定の実世界オブジェクト及び該仮想キャラクタとの間に関連付けが作成されるのを防ぐために入力を提供する機会をプレイヤ１に提供してもよい。例えば、プレイヤ１は、該特定の実世界オブジェクトが表示されているディスプレイ１１／タッチスクリーン１６の一部をタッチしてもよい。他の例では、プレイヤ１は、ディスプレイ１１／タッチスクリーン１６の他の部分に触れることによって、又は他の適切な機序を介して入力を提供することができる。

【0271】

このように、ステップ６４０に進む前に、方法６００は、該実世界オブジェクト及び１の仮想キャラクタとの間の関連付けの作成を防止するよう要求するプレイヤ入力を検出するステップを含んでもよい。そのような入力が検出された場合、該方法はステップ６４０に進まない。そのような入力がない場合、該方法はステップ６４０に進む。

【0272】

一部の実施形態では、ステップ６４０で、モバイルＡＲアプリ１０００は、該関連仮想キャラクタが該実世界のシーンに現れる他の検出可能な実世界オブジェクトを隠す又は妨害する該関連下層キャラクタの出現を最小化するように、アンカー４６の位置を選択するように構成されてもよい。

【0273】

図１５は、アンカー４６を位置決めするために携帯端末１０の少なくとも１のプロセッサ１２によって実施され得るアルゴリズム１５００のステップを示すフローチャートである。

【0274】

ステップ１５１０で、モバイルＡＲアプリ１０００は、該画像データにおいて、検出可能な実世界オブジェクトセット５８から他の実世界オブジェクトを検出するように構成される。ステップ１５２０で、モバイルＡＲアプリ１０００は、該他の実世界オブジェクトの低密度を有する該実世界シーンの画像データ内の少なくとも１の領域（「低密度領域」）を検出するよう構成される。ステップ１５３０で、モバイルＡＲアプリ１０００は、該低密度領域に関連する位置に該関連仮想キャラクタのためのアンカー４６を確立する。

【0275】

ＡＲゲーム環境内でのインタラクション
一部の実施形態では、モバイルＡＲアプリ１０００は、１の関連仮想キャラクタを操作するための入力（すなわち、キャラクタ操作入力）を提供する機会をプレイヤ１に提供するように構成されてもよい。例えば、プレイヤ１は、該関連仮想キャラクタが表示されているディスプレイ１１／該タッチスクリーン１６の一部をタッチしてもよい。他の例では、プレイヤ１は、ディスプレイ１１／該タッチスクリーン１６の他の部分に触れることによって、又は他の適切な機序を介して入力を提供してもよい。

【0276】

該関連仮想キャラクタは、該関連仮想キャラクタの位置を変更したり、該関連仮想キャラクタを修正したり（例えば、色、形状、サイズ、スケール、方向／向きなどのうちの１又は複数を修正する）、様々な異なる方法で操作されてもよい。

【0277】

本実施形態の実装の一例では、プレイヤ１からの該キャラクタ操作入力を検出することに応答して、モバイルＡＲアプリ１０００は、該関連仮想キャラクタが該キャラクタ操作入力に応答していることをプレイヤ１に示すことを目的とする効果で該関連仮想キャラクタを表現するように構成されてもよい。一部の実施形態では、該エフェクトは、該関連仮想キャラクタの「表情」、例えば、にやにやする、目を開く又は閉じるなどの変化、又は該関連仮想キャラクタの姿勢の変化などを含んでもよいが、これらに限定されるものではない。

【0278】

一部の実施形態では、プレイヤ１及び該関連仮想キャラクタは、「相互作用」してもよい。例えば、該関連仮想キャラクタは、実世界においてプレイヤ１を「追従」している印象をプレイヤ１に与えてもよい。例えば、プレイヤ１が実世界で移動すると、モバイルＡＲアプリ１０００は、該関連仮想キャラクタ及びプレイヤ１との間の所定の距離を維持するように構成されてもよい。例えば、プレイヤ１の空間座標（ＸＹＺ）_１がメモリ１４に記録されてもよい。また、前述したように、該関連仮想キャラクタの空間座標（ＸＹＺ）_ＶＣがメモリ１４に記録されていてもよい。プレイヤ１の該空間座標（ＸＹＺ）_１及び該関連仮想キャラクタの該空間座標（ＸＹＺ）_ＶＣとの間に所定の距離を維持することにより、プレイヤ１及び該関連仮想キャラクタとの間の距離が維持されてもよい。

【0279】

一部の実施形態では、２以上のデバイスが該同じ物理空間でモバイルＡＲアプリ１０００を実行し、これらのデバイスを操作する２人以上のプレイヤが異なる視点から実質的に同一の仮想世界をリアルタイムで経験するように、共有ＡＲ体験が確立されてもよい。

【0280】

例えば、第１プレイヤであるプレイヤ１は、モバイルＡＲアプリ１０００を実行する該携帯端末１０を操作し、第２プレイヤであるプレイヤ２は、モバイルＡＲアプリ１０００を実行する１の携帯端末８２を操作してもよい。本例では、プレイヤ１及びプレイヤ２は、該同じ物理空間に存在し、共有されたＡＲ体験が確立されている。本実施形態では、プレイヤ１の携帯端末１０が特定の該実世界オブジェクトを検出した可能性があるが、該関連仮想キャラクタは両方の携帯端末１０、８２に表示される。

【0281】

本実施形態の実装の一例では、プレイヤ２が携帯端末８２の１のディスプレイ８４／１のタッチスクリーン８６を介して、該関連仮想キャラクタを操作するキャラクタ操作入力を行った場合、モバイルＡＲアプリ１０００は、そのようなキャラクタ操作の実装を回避するように構成されてもよい。

【0282】

本実施形態では、該関連仮想キャラクタは、実世界においてプレイヤ２から「逃げる」印象をプレイヤ２に与えてもよい。例えば、プレイヤ２が実世界で移動すると、モバイルＡＲアプリ１０００は、該関連仮想キャラクタ及びプレイヤ２との間に所定の距離を維持するように構成されてもよい。例えば、プレイヤ１の空間座標（ＸＹＺ）_２がメモリ１４に記録されてもよい。プレイヤ２の該空間座標（ＸＹＺ）_２及び該関連仮想キャラクタの該空間座標（ＸＹＺ）_ＶＣとの間の所定の距離を維持することにより、プレイヤ２及び該関連仮想キャラクタとの間の距離が維持されてもよい。さらに、該関連仮想キャラクタの向きは、該関連仮想キャラクタがプレイヤ２から「顔をそむける」ように見えるものであってもよい。

【0283】

一部の実施形態では、モバイルＡＲアプリ１０００は、複数の関連仮想キャラクタが携帯端末１０のディスプレイ１１上に一緒に表示され得るように構成されてもよい。そのような実施形態では、モバイルＡＲアプリ１０００は、該関連仮想キャラクタが互いに相互作用するように表現するように構成されてもよい。例えば、該複数の関連仮想キャラクタは、互いに「戦闘」していてもよい。本相互作用は、プレイヤ入力が提供された結果として、又はプレイヤ入力とは無関係に、トリガーとなる及び／又は制御されてもよい。

【0284】

したがって、図１６によると、少なくとも１のプロセッサによる実行のための方法１６００が提供されていることが理解されるであろう。ステップ１６１０で、該方法は、ゲームセッション中、１の拡張現実（ＡＲ）ゲーム環境を維持することを含む。ステップ１６２０で、該方法は、１又は複数の実世界オブジェクトを含む実世界シーンを表す画像データを受信することを含む。ステップ１６３０で、該方法は、検出可能な実世界オブジェクト群から少なくとも１の実世界オブジェクトを該画像データにおいて検出することを含む。ステップ１６４０で、該方法は、該画像データにおける該少なくとも１の実世界オブジェクトの検出時に、該ＡＲゲーム環境において該少なくとも１の仮想キャラクタを生成し、該少なくとも１の仮想キャラクタは、該少なくとも１の実世界オブジェクトとの関連性を有することを含む。

【0285】

上述した方法、システム、及びアプリケーションの結果、モバイルＡＲアプリ１０００は、該ゲーム環境における該複数の仮想キャラクタの生成を誘発する複数の実世界オブジェクトを見つけるために、プレイヤに彼らの携帯端末を物理的に動かすよう強制することによって、実世界において具体的かつ実体的な効果を有する。さらに、地理的位置はゲームプレイ又は進展のための要件ではないため、該ゲームは、脆弱なモバイルネットワーク条件下、又は森の中のコテージや航空機の中など、オフラインであってもプレイすることが可能である。

【0286】

本明細書及び図面は、単に本発明の原理を説明するものである。したがって、当業者であれば、本明細書に明示的に記載又は示されていないが、本発明の原理を具現化し、添付の請求項に定義されているようにその範囲に含まれる様々な配置を具現化可能であることが理解されよう。

【0287】

さらに、本明細書に記載されたすべての例は、主として、読者が本発明の原理を理解するのを助けることを意図しており、そのような具体的に記載された例及び条件に限定されないと解釈されるものである。例えば、本開示は、様々なデスクトップオブジェクトの分析に関連して、本発明の実施形態を説明する。しかしながら、本発明は、他の環境における他のタイプ及び形態のオブジェクトを検索するためにも有利に使用できることが、当業者には理解されよう。

【0288】

さらに、本発明の原理、態様、及び実施形態、ならびにその具体例を説明する本明細書の全ての記述は、それらの等価物を包含することを意図している。例えば、「モジュール」、「プラグイン」又は「アプリケーション・プログラム・インターフェース」としてラベル付けされた任意の機能ブロックを含む該図に示す該様々な要素の関数は、専用のハードウェアだけでなく、適切なソフトウェアと関連してソフトウェアを実行できるハードウェアの使用を通じて提供され得る。

【0289】

さらに、前述の明細書は携帯端末に言及しているが、当業者であれば、様々な上述の方法のステップが、ビデオカメラ、デジタルカメラ、赤外線カメラ、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、スマートフォン、スマートウォッチ又は他のウェアラブルなどの任意の数のコンピュータデバイスによって実行できることを容易に認識することができる。ここで、一部の実施形態は、プログラム記憶装置、例えば、機械又はコンピュータ可読であり、機械実行可能又はコンピュータ実行可能な命令プログラムをエンコードするデジタルデータ記憶媒体を対象とすることも意図しており、前記命令は、上述した方法のステップの一部又は全部を実行するものである。また、本実施形態は、上述した方法の該ステップを実行するようにプログラムされたコンピュータを対象とすることも意図している。

【0290】

当業者は、プロセッサがアクション又はプロセスを実行するように「構成されている」と説明されるとき、これは、プロセッサが、これらのコンピュータ可読命令が記憶されているデバイスメモリから読み取られるコンピュータ可読命令を実行することによってアクション又はプロセスを実行することを意味し得ることを理解するであろう。

【0291】

当業者は、本明細書に開示された任意の実施形態の任意の特徴は、一部の実施例において、本明細書に開示された他の任意の実施形態の任意の特徴と組み合わせて（例えば、代わりに又は追加して）使用され得ることを理解する必要がある。 一部の実施形態のオペレーションに必要とされ得る特定の追加要素は、当業者の通常の範囲内にあると想定されるため、説明又は図示していない。さらに、ある実施形態は、本明細書に具体的に開示されていないいかなる要素も含まないか、欠落しているか、又は機能しない可能性がある。

【0292】

様々な実施形態及び例を示したが、これは説明のためであって、限定されるべきものではない。様々な修正及び拡張は、当業者にとって明らかになるであろう。

【図1A】

【図1B】

【図1C】

【図1D】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図10C】

【図10D】

【図10E】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17A】

【図17B】

【図17C】

【図18A】

【図18B】

【図18C】

【図19】

【図20A】

【図20B】

【図20C】

【図20D】

【図20E】

【図21】

【図22】

【手続補正書】

【提出日】2022-08-07

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピューティングシステムのプロセッサによって実行される方法であって、
ゲームセッション中に拡張現実（ＡＲ）ゲーム環境を維持することと、
１又は複数の実世界オブジェクトを含む実世界シーンを表す画像データを受信することと、
検出可能な実世界オブジェクトセットから少なくとも１の実世界オブジェクトを前記画像データから検出することと、
前記画像データにおいて前記少なくとも１の実世界オブジェクトが検出されると、前記ＡＲゲーム環境において少なくとも１の仮想キャラクタを生成し、前記少なくとも１の仮想キャラクタは前記少なくとも１の実世界オブジェクトと関連性を有する
ことを有する。

【請求項2】

請求項１に記載の方法であって、前記少なくとも１の仮想キャラクタと前記少なくとも１の実世界オブジェクトとの関連付けをメモリに記憶することをさらに有する。

【請求項3】

請求項１に記載の方法であって、前記少なくとも１の仮想キャラクタと前記少なくとも１の実世界オブジェクトとをディスプレイ画面上に同時に表示することをさらに有する。

【請求項4】

請求項１に記載の方法であって、
前記少なくとも１の実世界オブジェクトが１の特定の実世界オブジェクトを含み、
前記少なくとも１の仮想キャラクタが１の特定の仮想キャラクタを含み、
前記少なくとも１の実世界オブジェクトとの関連性を有する前記少なくとも１の仮想キャラクタは、前記特定の実世界オブジェクトの実世界の視覚特性に対応する視覚特性を有する前記特定の仮想キャラクタを含む。

【請求項5】

請求項４に記載の方法であって、前記特定の仮想キャラクタの視覚特性を表示画面に表示すると同時に、前記特定の実世界オブジェクトを前記表示画面に表示することをさらに有する。

【請求項6】

請求項１に記載の方法であって、
前記少なくとも１の実世界オブジェクトが１の特定の実世界オブジェクトを含み、
前記少なくとも１の仮想キャラクタが１の特定の仮想キャラクタを含み、
前記少なくとも１の実世界オブジェクトとの関連を有する前記少なくとも１の仮想キャラクタは、前記特定の実世界オブジェクトの実世界の移動特性に対応する移動特性を有する前記特定の仮想キャラクタを含む。

【請求項7】

請求項６に記載の方法であって、前記特定の仮想キャラクタの移動特性を表示画面上に表示すると同時に、前記特定の実世界オブジェクトを前記表示画面上に表示することをさらに有する。

【請求項8】

請求項１に記載の方法であって、
前記少なくとも１の実世界オブジェクトが１の特定の実世界オブジェクトを含み、
前記少なくとも１の仮想キャラクタが１の特定の仮想キャラクタを含み、
前記少なくとも１の実世界オブジェクトとの関連を有する前記少なくとも１の仮想キャラクタは、前記特定の実世界オブジェクトの実世界の可聴特性に対応する可聴特性を有する前記特定の仮想キャラクタを含む。

【請求項9】

請求項１に記載の方法であって、前記少なくとも１の仮想キャラクタは１の単一仮想キャラクタを含む。

【請求項10】

請求項１に記載の方法であって、前記少なくとも１の仮想キャラクタは複数の仮想キャラクタを含み、前記複数の仮想キャラクタは、前記少なくとも１の実世界オブジェクトとの関連性を有する。

【請求項11】

請求項１に記載の方法であって、前記少なくとも１の実世界オブジェクトが少なくとも１の第一実世界オブジェクトを含み、前記少なくとも１の仮想キャラクタが少なくとも１の第一仮想キャラクタを含み、前記方法はさらに、
前記検出可能な実世界オブジェクトセットから少なくとも１の第二実世界オブジェクトを画像データから検出することと、
前記画像データから前記少なくとも１の第二実世界オブジェクトが検出されると、前記ＡＲゲーム環境において少なくとも１の第二仮想キャラクタを生成し、前記少なくとも１の第二仮想キャラクタは前記少なくとも１の第二実世界オブジェクトとの関連性を有することと
を有する。

【請求項12】

請求項１に記載の方法であって、前記方法はさらに、前記少なくとも１の実世界オブジェクトのしるしと、前記少なくとも１の実世界オブジェクトの検出したときに前記ＡＲゲーム環境において生成される前記少なくとも１の仮想キャラクタのしるしとをメモリに記憶することを有する。

【請求項13】

請求項１に記載の方法であって、前記検出可能な実世界オブジェクトセットからの各実世界オブジェクトは、少なくとも１のオブジェクトファミリに割り当てられる。

【請求項14】

請求項１３に記載の方法であって、前記検出可能な実世界オブジェクトセット内の所定の１の実世界オブジェクトが割り当てられる前記少なくとも１のオブジェクトファミリは、前記所定の実世界オブジェクトの予想される物理的な位置に基づいている。

【請求項15】

請求項１に記載の方法であって、前記ＡＲゲーム環境において、前記少なくとも１の仮想キャラクタを生成することが、
前記検出可能な実世界オブジェクトセットから前記少なくとも１の実世界オブジェクトに関連する少なくとも１のオブジェクトファミリを決定し、前記少なくとも１のオブジェクトファミリは仮想キャラクタセットとメモリ内で関連付けられていることと、
前記少なくとも１のオブジェクトファミリに関連付けられた前記仮想キャラクタセットから、前記少なくとも１の仮想キャラクタを選択することと
を有する。

【請求項16】

請求項１に記載の方法であって、前記検出可能な実世界オブジェクトセットからの各実世界オブジェクトは、少なくとも１のオブジェクトラベルを割り当てられる。

【請求項17】

請求項１に記載の方法であって、前記ＡＲゲーム環境において、前記少なくとも１の仮想キャラクタを生成することがさらに、前記少なくとも１の実世界オブジェクトの位置に関連して、前記少なくとも１の仮想キャラクタを前記少なくとも１の現実世界のオブジェクトに固定するアンカーを確立することを有する。

【請求項18】

請求項１に記載の方法であって、前記少なくとも１の仮想キャラクタは１の第一仮想キャラクタを含み、前記方法はさらに、
前記画像内の前記少なくとも１の実世界オブジェクトを２回目に検出することと、
前記少なくとも１の実世界オブジェクトを２回目に検出したことに応答して、前記少なくとも１の実世界オブジェクトとの関連付けを有する１の新たな仮想キャラクタを生成することなく、前記少なくとも１の仮想キャラクタが有する前記少なくとも１の実世界オブジェクトとの間の関連性を保持することと
を有する。

【請求項19】

請求項１に記載の方法であって、前記少なくとも１の仮想キャラクタは１の第一仮想キャラクタを含み、前記方法はさらに、
前記画像内の前記少なくとも１の実世界オブジェクトを２回目に検出することと、
前記少なくとも１の実世界オブジェクトを２回目に検出することに応答して、前記少なくとも１の仮想キャラクタが有する前記少なくとも１の実世界オブジェクトとの間の関連性を保持し、かつ、前記少なくとも１の実世界オブジェクトとの関連性を有する１の追加の仮想キャラクタを生成することと
をさらに有する。

【請求項20】

請求項１に記載の方法であって、前記少なくとも１の実世界オブジェクトは、１の第一実世界オブジェクトを含み、前記少なくとも１の仮想キャラクタは、１の第一仮想キャラクタを含み、前記方法はさらに、
前記検出可能な実世界セット内の前記実世界オブジェクトそれぞれに、少なくとも１のオブジェクトラベルを割り当てることと、
前記ＡＲゲーム環境において１の追加の仮想キャラクタが生成されることなく、前記検出可能な実世界オブジェクトセットから第二実世界オブジェクトを検出することと
を有し、
前記第一実世界オブジェクトの前記少なくとも１のオブジェクトラベルは、前記第二実世界オブジェクトの前記少なくとも１のオブジェクトラベルと同じである。

【請求項21】

請求項１に記載の方法であって、前記方法がさらに、
前記ゲームセッション中に検出された実世界オブジェクトの第一記録を維持することと、
前記第一記録のコンテンツの表現をプレイヤに提供することと
を有する。

【請求項22】

請求項２１に記載の方法であって、前記方法がさらに、
前記ゲームセッション中に未検出の、前記検出可能な実世界オブジェクトセット内の実世界オブジェクトの第二記録を維持することと
前記第二記録のコンテンツの表現をプレイヤに提供すること
を有する。

【請求項23】

請求項１に記載の方法であって、前記方法がさらに、
前記ゲームセッション中に生成される仮想キャラクタの第一記録を維持することと、
前記第一記録のコンテンツの表現をプレイヤに提供することと
を有する。

【請求項24】

請求項２３に記載の方法であって、前記方法がさらに、
前記ゲームセッション中に未検出の前記検出可能な実世界オブジェクトセット内の前記実世界オブジェクトに関連付けられた前記仮想キャラクタの第二記録を維持することと、
前記第二記録のコンテンツの表現をプレイヤに提供することと
を有する。

【請求項25】

少なくとも１のプロセッサと、前記プロセッサによる実行のための命令を記憶するメモリと、ユーザから入力を受け付けるよう構成された少なくとも１の入力デバイスと、ユーザに出力を提供するように構成された少なくとも１の出力デバイスとを備え、
前記少なくとも１のプロセッサは、前記受け付けた入力に応答して前記出力を生成する対話型コンピュータプログラムを実装するために前記メモリ内の命令を実行するように構成され、前記対話型コンピュータプログラムは、
ゲームセッション中、拡張現実（ＡＲ）ゲーム環境を維持することと、
１又は複数の実世界オブジェクトを含む実世界シーンを表す画像データを受信することと、
検出可能な実世界オブジェクトセットから少なくとも１の実世界オブジェクトを前記画像データから検出することと、
前記画像データにおいて前記少なくとも１の実世界オブジェクトが検出されると、前記ＡＲゲーム環境において少なくとも１の仮想キャラクタを生成することと
の少なくとも１のプロセスを含み、
前記少なくとも１の仮想キャラクタは前記少なくとも１の実世界オブジェクトと関連性を有する、ゲーミングデバイス。

【請求項26】

ゲーミングデバイスの少なくとも１のプロセッサによって読み取られて実行されると、ゲーミングデバイスに対話型コンピュータプログラムに含まれる方法を実行させるコンピュータ可読命令を書き込んだコンピュータ可読記憶媒体であって、
該方法が、
ゲームセッション中、拡張現実（ＡＲ）ゲーム環境を維持することと、
１又は複数の実世界オブジェクトを含む実世界シーンを表す画像データを受信することと、
検出可能な実世界オブジェクトセットから少なくとも１の実世界オブジェクトを前記画像データから検出することと、
前記画像データにおいて前記少なくとも１の実世界オブジェクトが検出されると、前記ＡＲゲーム環境において少なくとも１の仮想キャラクタを生成することと
を有し、
前記少なくとも１の仮想キャラクタは前記少なくとも１の実世界オブジェクトとの関連性を有する、コンピュータ可読記憶媒体。

【国際調査報告】