特開 2024-14861 様式化されたアバターへの表情の転送

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024014861

(43)【公開日】2024-02-01

(54)【発明の名称】様式化されたアバターへの表情の転送

(51)【国際特許分類】

   G06T 13/40 20110101AFI20240125BHJP

   G06F 3/01 20060101ALN20240125BHJP

【ＦＩ】

G06T13/40

G06F3/01 510

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023119676

(22)【出願日】2023-07-24

(31)【優先権主張番号】63/391,645

(32)【優先日】2022-07-22

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/056,986

(32)【優先日】2022-11-18

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＪＡＶＡ

３．ＰＹＴＨＯＮ

(71)【出願人】

【識別番号】515046968

【氏名又は名称】メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー

【氏名又は名称原語表記】ＭＥＴＡ ＰＬＡＴＦＯＲＭＳ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ

(74)【代理人】

【識別番号】110002974

【氏名又は名称】弁理士法人Ｗｏｒｌｄ ＩＰ

(72)【発明者】

【氏名】オカンポ， クリストファー ジョン

(72)【発明者】

【氏名】カドガン， ミルトン

(72)【発明者】

【氏名】クオ， ペイホン

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050BA12

5B050CA07

5B050CA08

5B050DA04

5B050EA09

5B050EA13

5B050EA19

5B050EA27

5E555AA27

5E555AA48

5E555BA01

5E555BA04

5E555BA08

5E555BA87

5E555BB01

5E555BB04

5E555BB08

5E555BD07

5E555BE17

5E555CA42

5E555CB67

5E555DA08

5E555DA09

5E555DB32

5E555DC85

5E555EA04

5E555EA14

5E555EA22

5E555EA25

5E555FA00

(57)【要約】      （修正有）

【課題】強化現実アプリケーションのために様式化されたアバターをパーソナライズするコンピュータ実装方法及びシステムを提供する。
【解決手段】ネットワークアーキテクチャにおいて方法は、第１の対象の顔面表情の画像をキャプチャすることと、画像において、第１の対象の個人的特性を示す１つ以上の特徴を識別することと、人物モデルにおける標準的な表情のセットから、第１の対象の顔面表情に基づいて選択された表情を識別することと、第１の対象の個人的特性を示す１つ以上の特徴を、人物モデルにおける選択された表情に転送することと、クライアントデバイス上に表示するために没入型現実アプリケーションに人物モデルを提供することと、を含む。該方法は、命令を記憶するメモリ、プロセッサ及び命令を実行する際にプロセッサを含むシステムにより実施される。
【選択図】図９

【特許請求の範囲】

【請求項1】

第１の対象の顔面表情の画像をキャプチャすることと、
前記画像において、前記第１の対象の個人的特性を示す１つ以上の特徴を識別することと、
人物モデルにおける標準的な表情のセットから、前記第１の対象の前記顔面表情に基づいて選択された表情を識別することと、
前記第１の対象の前記個人的特性を示す前記１つ以上の特徴を、前記人物モデルにおける前記選択された表情に転送することと、
クライアントデバイス上に表示するために没入型現実アプリケーションに前記人物モデルを提供することと
を含む、コンピュータ実装方法。

【請求項2】

前記第１の対象が、強化現実ヘッドセットのユーザであり、前記第１の対象の前記顔面表情の前記画像をキャプチャすることが、前記強化現実ヘッドセットに装着されたカメラを用いて前記画像をキャプチャすることを含む、請求項１に記載のコンピュータ実装方法。

【請求項3】

前記第１の対象の個人的特性を示す前記１つ以上の特徴を識別することが、前記第１の対象の前記顔面表情の前記画像に重畳されたメッシュから、選択された閾値よりも大きい量だけ移動した頂点のグループを選択することを含む、請求項１に記載のコンピュータ実装方法。

【請求項4】

前記第１の対象の個人的特性を示す１つ以上の特徴を識別することが、前記第１の対象の前記顔面表情の前記画像に対するメッシュの運動に関連する微分テンソル内の１つ以上の臨界点を見つけることを含む、請求項１に記載のコンピュータ実装方法。

【請求項5】

前記第１の対象の個人的特性を示す前記１つ以上の特徴を識別することが、前記第１の対象の前記画像に関連する三次元メッシュ内の１つ以上のキーポイントの変位を識別することを含む、請求項１に記載のコンピュータ実装方法。

【請求項6】

前記第１の対象の前記顔面表情に基づいて選択された表情を識別することが、前記第１の対象の前記顔面表情に関連するメッシュ内の複数の頂点と、前記選択された表情を有する前記人物モデルに関連するメッシュ内の複数の頂点との間の距離の尺度を見つけることを含む、請求項１に記載のコンピュータ実装方法。

【請求項7】

前記人物モデルを前記人物モデルの様式化されたアバターとして選択することをさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項8】

前記第１の対象の個人的特性を示す前記１つ以上の特徴を前記人物モデルの前記選択された表情に転送することが、前記第１の対象に関するメッシュ内の頂点のグループの動きを、前記人物モデルに関するメッシュ内の対応する頂点のグループにコピーすることを含む、請求項１に記載のコンピュータ実装方法。

【請求項9】

前記クライアントデバイスが、ユーザと共にあり、前記ユーザの顔面表情で修正された第２の様式化された人物モデルを、前記第１の対象と共にある第２のクライアントデバイス上に表示するために前記没入型現実アプリケーションに提供することをさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項10】

前記没入型現実アプリケーションが、前記第１の対象と第２の対象との間で共有され、前記第２の対象の顔面表情で修正された第２の様式化された人物モデルを、前記クライアントデバイス上のディスプレイに提供することをさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項11】

複数の命令を記憶するメモリと、
動作を実施させるために前記命令を実行するように構成された１つ以上のプロセッサと、
を備える、システムであって、前記動作が、
第１の対象の顔面表情の画像をキャプチャすることと、
前記画像において、前記第１の対象の個人的特性を示す１つ以上の特徴を識別することと、
人物モデルにおける標準的な表情のセットから、前記第１の対象の前記顔面表情に基づいて選択された表情を識別することと、
前記第１の対象の前記個人的特性を示す前記１つ以上の特徴を、前記人物モデルにおける前記選択された表情に転送することと、
クライアントデバイス上に表示するために没入型現実アプリケーションに前記人物モデルを提供することと
を含む、
システム。

【請求項12】

前記第１の対象は強化現実ヘッドセットのユーザであり、前記第１の対象の前記顔面表情の前記画像をキャプチャするために、前記１つ以上のプロセッサが、前記強化現実ヘッドセットに装着されたカメラを用いて前記画像をキャプチャする命令を実行する、請求項１１に記載のシステム。

【請求項13】

前記第１の対象の個人的特性を示す前記１つ以上の特徴を識別するために、前記１つ以上のプロセッサが、前記第１の対象の前記顔面表情の前記画像に重畳されたメッシュから、選択された閾値よりも大きい量だけ移動した頂点のグループを選択する命令を実行する、請求項１１に記載のシステム。

【請求項14】

前記第１の対象の個人的特性を示す１つ以上の特徴を識別するために、前記１つ以上のプロセッサが、前記第１の対象の前記顔面表情の前記画像に対するメッシュの運動に関連する微分テンソル内の１つ以上の臨界点を見つける命令を実行する、請求項１１に記載のシステム。

【請求項15】

前記第１の対象の個人的特性を示す前記１つ以上の特徴を識別するために、前記１つ以上のプロセッサが、前記第１の対象の前記画像に関連する三次元メッシュ内の１つ以上のキーポイントの変位を識別する命令を実行する、請求項１１に記載のシステム。

【請求項16】

前記第１の対象の前記顔面表情に基づいて選択された表情を識別するために、前記１つ以上のプロセッサが、前記第１の対象の前記顔面表情に関連するメッシュ内の複数の頂点と、前記選択された表情を有する前記人物モデルに関連するメッシュ内の複数の頂点との間の距離の尺度を見つける命令を実行する、請求項１１に記載のシステム。

【請求項17】

前記１つ以上のプロセッサが、前記人物モデルを、前記人物モデルの様式化されたアバターとして選択する命令をさらに実行する、請求項１１に記載のシステム。

【請求項18】

前記第１の対象の個人的特性を示す前記１つ以上の特徴を、前記人物モデルにおける前記選択された表情に転送するために、前記１つ以上のプロセッサが、前記第１の対象に関するメッシュにおける頂点のグループの動きを、前記人物モデルに関するメッシュにおける対応する頂点のグループにコピーする命令を実行する、請求項１１に記載のシステム。

【請求項19】

前記クライアントデバイスがユーザと共にあり、前記１つ以上のプロセッサが、前記ユーザの顔面表情で修正された第２の様式化された人物モデルを、前記第１の対象と共にある第２のクライアントデバイス上に表示するために前記没入型現実アプリケーションに提供する命令をさらに実行する、請求項１１に記載のシステム。

【請求項20】

前記没入型現実アプリケーションが、前記第１の対象と第２の対象との間で共有され、前記１つ以上のプロセッサが、前記クライアントデバイス上の前記ディスプレイに、前記第２の対象の顔面表情で修正された第２の様式化された人物モデルを提供する命令をさらに実行する、請求項１１に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本開示は、２０２２年７月２２日に出願されたＣｈｒｉｓｔｏｐｈｅｒ Ｊ．ＯＣＡＭＰＯらによるＥＸＰＲＥＳＳＩＯＮ ＴＲＡＮＳＦＥＲ ＴＯ ＳＴＹＬＩＺＥＤ ＡＶＡＴＡＲＳと題された米国特許出願公開第６３／３９１，６４５号に関し、米国特許法第１１９条（ｅ）に基づいたその優先権を主張し、その内容はあらゆる目的のために、その全体が参照により本明細書に組み込まれる。

【0002】

分野
本開示は、強化現実アプリケーションのための様式化されたアバターのパーソナライズに関する。より具体的には、本開示は、対象のパーソナライズされたモデルを作成するための、対象から様式化されたアバターへのパーソナライズされた顔ジェスチャの転送に関する。

【背景技術】

【0003】

関連技術
様式化されたアバターおよびその標準化された顔ジェスチャは、強化現実環境を再現するために一般的に使用される。これにより、アプリケーションの計算コストが大幅に削減され、現在の技術を使用したその広範な使用および適応が可能になる。様式化されたアバターは、周知の漫画キャラクタを使用して没入型アプリケーションで対象を表現することができる三次元人物モデルにも使用される。しかしながら、結果は、特定の対象のすべての個人的特性が様式化されたモデルでは失われるので、かなり単純である。したがって、没入型アプリケーションに真の臨場感と表情を提供し、ユーザと関連付けられたアバターとの間の親和性を高めるために、異なる対象のより現実的な表現が望ましい。

【発明の概要】

【0004】

第１の実施形態では、コンピュータ実装方法は、第１の対象の顔面表情の画像をキャプチャすることと、画像において、第１の対象の個人的特性を示す１つ以上の特徴を識別することと、人物モデルにおける標準的な表情のセットから、第１の対象の顔面表情に基づいて選択された表情を識別することと、第１の対象の個人的特性を示す１つ以上の特徴を、人物モデルにおける選択された表情に転送することと、クライアントデバイス上に表示するために没入型現実アプリケーションに人物モデルを提供することとを含む。

【0005】

第２の実施形態では、システムは、複数の命令を記憶するメモリと、命令を実行して動作を実施させるように構成された１つ以上のプロセッサとを含む。動作は、第１の対象の顔面表情の画像をキャプチャすることと、画像において、第１の対象の個人的特性を示す１つ以上の特徴を識別することと、人物モデルにおける標準的な表情のセットから、第１の対象の顔面表情に基づいて選択された表情を識別することと、第１の対象の個人的特性を示す１つ以上の特徴を、人物モデルにおける選択された表情に転送することと、クライアントデバイス上に表示するために没入型現実アプリケーションに人物モデルを提供することとを含む。

【0006】

他の実施形態では、非一時的コンピュータ可読媒体は、プロセッサによって実行されるとコンピュータに方法を実施させる命令を記憶する。方法は、第１の対象の顔面表情の画像をキャプチャすることと、画像において、第１の対象の個人的特性を示す１つ以上の特徴を識別することと、人物モデルにおける標準的な表情のセットから、第１の対象の顔面表情に基づいて選択された表情を識別することと、第１の対象の個人的特性を示す１つ以上の特徴を、人物モデルにおける選択された表情に転送することと、クライアントデバイス上に表示するために没入型現実アプリケーションに人物モデルを提供することとを含む。

【0007】

さらに他の実施形態では、システムは、命令を記憶する第１の手段と、システムに方法を実施させるために命令を実行する第２の手段とを含む。方法は、第１の対象の顔面表情の画像をキャプチャすることと、画像において、第１の対象の個人的特性を示す１つ以上の特徴を識別することと、人物モデルにおける標準的な表情のセットから、第１の対象の顔面表情に基づいて選択された表情を識別することと、第１の対象の個人的特性を示す１つ以上の特徴を、人物モデルにおける選択された表情に転送することと、クライアントデバイス上に表示するために没入型現実アプリケーションに人物モデルを提供することとを含む。

【0008】

これらおよび他の実施形態は、以下の開示を考慮することで当業者には明らかになるであろう。

【図面の簡単な説明】

【0009】

【図1】いくつかの実施形態による、パーソナライズされた表情を様式化されたアバターに転送するように構成されたネットワークアーキテクチャを示す図である。

【図2】いくつかの実施形態による、図１のアーキテクチャで使用するためのクライアントデバイスおよびサーバを示すブロック図である。

【図3】いくつかの実施形態による、様式化されたアバターにおける複数の標準的な表情を示す図である。

【図4】いくつかの実施形態による、対象の顔のビデオキャプチャにおけるパーソナライズされた表情の追跡を示す図である。

【図5】図４の対象に従って成形された、パーソナライズおよび様式化されたアバターの出力セットを示す図である。

【図6】いくつかの実施形態による、対象の個人的な特徴または表情が、異なる人物モデルに基づいて様式化されたアバターに統合されるブレンドステップを示す図である。

【図7】いくつかの実施形態による、合成されたアバターにおける、対象からモデルへのパーソナライズされた表情の転送の比較を示す図である。

【図8A】いくつかの実施形態による、パーソナライズされたモデルを作成するために、対象の表情を様式化されたアバターモデルに転送するためのより例示的な実施形態を含む図である。

【図8B】いくつかの実施形態による、パーソナライズされたモデルを作成するために、対象の表情を様式化されたアバターモデルに転送するためのより例示的な実施形態を含む図である。

【図9】いくつかの実施形態による、パーソナライズされた表情を様式化されたアバターに転送するための方法におけるステップを示すフローチャートである。

【図10】いくつかの実施形態による、本明細書に開示する方法を実施するためのコンピュータシステム内の構成要素を示すブロック図である。

【発明を実施するための形態】

【0010】

図面では、特に明記しない限り、同じまたは類似の参照番号は、同じまたは類似の特徴または属性に関連付けられている。

【0011】

以下の詳細な説明では、本開示の完全な理解を提供するために、多数の具体的な詳細が記載される。しかしながら、当業者には、本開示の実施形態がこれらの具体的な詳細の一部なしで実践され得ることが明らかであろう。他の例では、本開示を不明瞭にしないように、周知の構造および技術は詳細に示されていない。

【0012】

全体的な注意
いくつかの実施形態では、ＶＲ／ＡＲアプリケーションに使用されるアバターおよび他のモデルは、人間の頭部の写実的モデルの高解像度レンダリングのために計算集約的すぎる可能性がある。しかしながら、リアルタイムで使用されるそのようなモデル化の制約は、計算能力および関連する電力要件ならびに時間遅延およびオフセットの点でコストがかかる。一方、人間の顔の三次元（３Ｄ）描出のための様式化されたアバターまたはモデルの使用は、大幅に簡単である。ここでの欠点は、様式化されたモデルが、表現される任意の対象について同じである表情の所与のセットを有することである（場合により、１つの関連する区別である性別の合致は伴っている）。この問題は、２人の異なる人物が同じ様式化されたアバターによってレンダリングされているときに非常に関連性が高くなる可能性がある。次に、２人の個人を区別するパーソナライズ方式が含まれない限り、紛らわしいシーンが無意識に再現される可能性がある。

【0013】

上記の問題を解決するために、本開示は、特定の対象を識別する、様式化されたアバターを単一の様式で修正するための所与の対象の表情フィッティングを含む。

【0014】

いくつかの構成では、対象からパーソナライズされた特徴を有する様式化されたアバターは、スタイル上または審美的な理由から望ましい場合がある。例えば、１人以上の対象が、周知のスーパーヒーローまたはキャラクタを用いて、ロールプレイング、漫画的なバージョンまたはシーンに関与することを望む場合がある。したがって、異なるキャラクタのための様式化されたアバターが、イベントの異なる参加者に割り当てられ、それに応じてパーソナライズされる場合がある。これにより、ユーザとそのアバターとの間のより強いつながり感が作成され、したがって、没入型現実体験が向上し、より独特かつ特徴的になる。上記の機能を提供する没入型現実体験は、幅広いユーザコミュニティに強くアピールする。

【0015】

例示的なシステムアーキテクチャ
図１は、いくつかの実施形態による、アバターエンジンにアクセスするのに適した例示的なアーキテクチャ１００を示す。アーキテクチャ１００は、ネットワーク１５０を介してクライアントデバイス１１０および少なくとも１つのデータベース１５２と通信可能に結合されたサーバ１３０を含む。複数のサーバ１３０のうちの１つは、プロセッサによって実行されると、サーバ１３０に本明細書で開示される方法のステップの少なくともいくつかを実施させる命令を含むメモリをホストするように構成される。いくつかの実施形態では、プロセッサは、ソーシャルネットワークアプリケーションを用いてアバターエンジンにアクセスするクライアントデバイス１１０のうちの１つのユーザのためのグラフィカルユーザインターフェース（ＧＵＩ）を制御するように構成される。したがって、プロセッサは、ＧＵＩを介してユーザに構成要素およびグラフィック結果を表示するように構成されたダッシュボードツールを含むことができる。負荷分散の目的のために、複数のサーバ１３０は、１つ以上のプロセッサへの命令を含むメモリをホストすることができ、複数のサーバ１３０は、履歴ログと、アバターエンジンに使用される複数の訓練アーカイブを含むデータベース１５２とをホストすることができる。さらに、いくつかの実施形態では、クライアントデバイス１１０の複数のユーザは、ソーシャルネットワーク内で１つ以上の検索を行うために同じアバターエンジンにアクセスすることができる。いくつかの実施形態では、単一のクライアントデバイス１１０を有する単一のユーザは、画像およびデータを提供して、１つ以上のサーバ１３０で並列に行われる１つ以上の機械学習モデルを訓練することができる。したがって、クライアントデバイス１１０およびサーバ１３０は、ネットワーク１５０、およびデータベース１５２内のデータなどのネットワーク１５０の中に位置するリソースを介して互いに通信することができる。

【0016】

サーバ１３０は、関連する複数のツールを含むアバターエンジンをホストするための適切なプロセッサ、メモリ、および通信機能を有する任意のデバイスを含むことができる。アバターエンジンは、ネットワーク１５０を介して様々なクライアント１１０によってアクセス可能であってもよい。クライアントデバイス１１０は、例えば、デスクトップコンピュータ、モバイルコンピュータ、タブレットコンピュータ（例えば、電子書籍リーダを含む）、モバイルデバイス（例えば、スマートフォンまたはＰＤＡ）、またはサーバ１３０のうちの１つ以上のアバターエンジンにアクセスするための適切なプロセッサ、メモリ、および通信機能を有する任意の他のデバイスとすることができる。いくつかの実施形態では、クライアントデバイス１１０は、サーバ１３０のうちの１つ以上によってサポートされる没入型現実アプリケーションを起動するように構成されたＶＲ／ＡＲヘッドセットを含むことができる。ネットワーク１５０は、例えば、ローカルエリアツール（ＬＡＮ）、ワイドエリアツール（ＷＡＮ）、インターネットなどのいずれか１つ以上を含むことができる。さらに、ネットワーク１５０は、これらに限定されないが、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スターバスネットワーク、ツリーまたは階層ネットワークなどを含むツールトポロジのいずれか１つ以上を含むことができる。

【0017】

図２は、本開示の特定の態様による、アーキテクチャ１００からの例示的なサーバ１３０、クライアントデバイス１１０、およびデータベース１５２を示すブロック図２００である。クライアントデバイス１１０およびサーバ１３０は、それぞれの通信モジュール２１８－１および２１８－２（以下、「通信モジュール２１８」と総称する）を介して、ネットワーク１５０を介して通信可能に結合される。通信モジュール２１８は、ネットワーク１５０を介して他のデバイスにデータ、要求、応答、およびコマンドなどの情報を送信および受信するためにネットワーク１５０とインターフェースするように構成される。通信モジュール２１８は、例えば、モデムまたはイーサネットカードとすることができ、（例えば、無線周波数（ＲＦ）、近距離無線通信（ＮＦＣ）、Ｗｉ－Ｆｉ、およびＢｌｕｅｔｏｏｔｈ無線技術などの電磁照射を介した）無線通信のための無線ハードウェアおよびソフトウェアを含むことができる。ユーザは、入力デバイス２１４および出力デバイス２１６を介してクライアントデバイス１１０と対話することができる。入力デバイス２１４は、マウス、キーボード、ポインタ、タッチスクリーン、マイクロフォン、ジョイスティック、仮想ジョイスティックなどを含むことができる。いくつかの実施形態では、入力デバイス２１４は、カメラ、マイクロフォン、ならびにセンサ、例えば、タッチセンサ、音響センサ、慣性運動ユニット（ＩＭＵ）、およびＶＲ／ＡＲヘッドセットに入力データを提供するように構成された他のセンサを含むことができる。例えば、いくつかの実施形態では、入力デバイス２１４は、ＶＲ／ＡＲヘッドセット内のユーザの瞳孔の位置を検出するための視線追跡デバイスを含むことができる。出力デバイス２１６は、画面ディスプレイ、タッチスクリーン、スピーカなどであってもよい。クライアントデバイス１１０は、メモリ２２０－１と、プロセッサ２１２－１とを含むことができる。メモリ２２０－１は、クライアントデバイス１１０内で行われ、入力デバイス２１４および出力デバイス２１６と結合するように構成されたアプリケーション２２２およびＧＵＩ２２５を含むことができる。アプリケーション２２２は、ユーザによってサーバ１３０からダウンロードされてもよく、サーバ１３０によってホストされてもよい。いくつかの実施形態では、クライアントデバイス１１０はＶＲ／ＡＲヘッドセットであり、アプリケーション２２２は没入型現実アプリケーションである。いくつかの実施形態では、クライアントデバイス１１０は、ビデオまたは画像収集アプリケーション２２２を使用してビデオまたは画像を収集し、かつサーバ１３０にアップロードして、訓練データベース１５２に記憶するために使用される携帯電話である。

【0018】

サーバ１３０は、メモリ２２０－２と、プロセッサ２１２－２と、通信モジュール２１８－２とを含む。以下、プロセッサ２１２－１および２１２－２、ならびにメモリ２２０－１および２２０－２をそれぞれ、「プロセッサ２１２」、「メモリ２２０」と総称する。プロセッサ２１２は、メモリ２２０に記憶された命令を実行するように構成される。いくつかの実施形態では、メモリ２２０－２は、アバターエンジン２３２を含む。アバターエンジン２３２は、スタイル設定、パーソナライズ、およびアニメーションに関連する複数のツール、またはアバターエンジン２３２で検索されたアバターを使用する設計アプリケーション（例えば、アプリケーション２２２）を含む、特徴およびリソースをＧＵＩ２２５に共有または提供することができる。ユーザは、クライアントデバイス１１０のメモリ２２０－１にインストールされたアプリケーション２２２を介して、アバターエンジン２３２にアクセスすることができる。したがって、ＧＵＩ２２５を含むアプリケーション２２２は、サーバ１３０によってインストールされ、複数のツールのいずれか１つを介してサーバ１３０によって提供されるスクリプトおよび他のルーチンを実施することができる。アプリケーション２２２の実行は、プロセッサ２１２－１によって制御されてもよい。

【0019】

アバターエンジン２３２は、メッシュツール２４０と、スタイルツール２４２と、表情エンコーダツール２４４と、識別情報エンコーダツール２４６と、ニューラルネットワークツール２４８とを含むことができる。メッシュツール２４０は、対象のキャプチャ画像または様式的表現に基づいて対象のソリッドモデル（例えば、アバター）を形成する三次元（３Ｄ）メッシュを生成する。様式的表現は、異なる方向からの対象の異なるビューの手書きの図またはコンピュータ生成図面であってもよい。スタイルツール２４２は、所与の対象がアバターで表現されるスタイルを判定または分類する。表情エンコーダツール２４４は、アバターに顔面表情を組み込む。いくつかの実施形態では、データベース１５２に記憶された、処理可能な選択された数の表情がある。識別情報エンコーダツール２４６は、モデルに固有の識別情報を提供するアバターの識別特徴を判定する。例えば、識別情報エンコーダツール２４６は、特定の対象が一般的な笑いの表情のために顔のいくつかの領域を広げることを識別することができる。ニューラルネットワークツール２４８は、アバターエンジン２３２内のメッシュツール２４０、スタイルツール２４２、表情エンコーダツール２４４、および識別情報エンコーダツール２４６を訓練して、ＶＲ／ＡＲアプリケーション２２２のためのパーソナライズおよび様式化されたアバターを提供する。

【0020】

いくつかの実施形態では、ニューラルネットワークツール２４８は、データベース２５２に記憶された１つ以上の機械学習モデルの一部であってもよい。データベース２５２は、アプリケーション２２２を介したユーザの入力に従って、機械学習モデルの訓練においてアバターエンジン２３２によって使用され得る訓練アーカイブおよび他のデータファイルを含む。さらに、いくつかの実施形態では、少なくとも１つ以上の訓練アーカイブまたは機械学習モデルをメモリ２２０のいずれか１つに記憶することができ、ユーザはアプリケーション２２２を介してそれらにアクセスすることができる。

【0021】

ニューラルネットワークツール２４８は、そこに含まれるエンジンおよびツールの特定の目的のために訓練されたアルゴリズムを含むことができる。アルゴリズムは、ニューラルネットワークアルゴリズムまたは多変量回帰アルゴリズムなどの任意の線形または非線形アルゴリズムを利用する機械学習または人工知能アルゴリズムを含むことができる。いくつかの実施形態では、機械学習モデルは、ニューラルネットワーク（ＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、敵対的生成ニューラルネットワーク（ＧＡＮ）、深層強化学習（ＤＲＬ）アルゴリズム、深層リカレントニューラルネットワーク（ＤＲＮＮ）、古典的な機械学習アルゴリズム、例えば、ランダムフォレスト、ｋ近傍法（ＫＮＮ）アルゴリズム、ｋ平均クラスタリングアルゴリズム、またはそれらの任意の組み合わせを含むことができる。より一般的には、機械学習モデルは、訓練ステップおよび最適化ステップを伴う任意の機械学習モデルを含むことができる。いくつかの実施形態では、訓練データベース２５２は、機械学習モデルの所望の結果に従って係数を修正するための訓練アーカイブを含むことができる。したがって、いくつかの実施形態では、アバターエンジン２３２は、機械学習モデルの入力として文書およびアーカイブを検索するために訓練データベース２５２にアクセスするように構成される。いくつかの実施形態では、アバターエンジン２３２、それに含まれるツール、および訓練データベース２５２の少なくとも一部は、サーバ１３０またはクライアントデバイス１１０によってアクセス可能な異なるサーバでホストすることができる。

【0022】

図３は、いくつかの実施形態による、様式化されたアバター３０２における複数の標準表情３４４を有するパネル３００を示す。いくつかの実施形態では、ＶＲ／ＡＲアプリケーションは、人間の頭部の異なる顔面筋の周知の運動または収縮によって生成される、とりわけ最大７２個（７２以上）の顔面表情３４４－１、３４４－２、および３４４－３（以下、「表情３４４」と総称する）を含んでもよい。表情３４４の各々は、人間のキャラクタの特定の気分、ジェスチャ、または反応を示す、顔の筋肉の活性化の周知の組み合わせを示す。例えば、驚きの表情３４４－１は、目を大きく開いた状態の顎を落とす特徴を含むことができる。他の表情３４４は、「疑問のある」表情３４４－２またはニヤニヤ笑い（ｓｍｉｒｋ）３４４－３を含んでもよい。各表情３４４のスタイルおよび特定の態様は一般的であってもよいが（例えば、表情を表す異なる対象とは無関係に）、多くが同じ一般的な表情３４４を実施しても、各個人に固有のパーソナライズされた特徴がある。

【0023】

対象の顔のリアルタイムキャプチャでは、システムは、一般的なアバターの表情３４４内の最も近い一致を見つける（例えば、表情エンコーダ２４４を使用する）。次いで、システムは、対象のパーソナライズされた特徴の少なくとも１つ以上との最も近い一致を修正し（例えば、識別情報エンコーダ２４６を使用する）、修正された最も近い一致を没入型現実アプリケーションのモデルとしてレンダリングする。したがって、対象の様式化された描出は、パーソナライズされており、対象に固有であり、対象が非常に望ましいまたは魅力的であると感じることができる合理化された表現を提供する。

【0024】

図４は、いくつかの実施形態による、対象の顔の画像４０１－１および４０１－２のビデオキャプチャにおけるパーソナライズされた表情４４１－１および４４１－２（以下、「表情４４１」と総称する）の追跡４００を示す（以下、（「ソース画像４０１」と総称する）。様式化されたアバター４０２－１および４０２－２（以下、「アバター４０２」と総称する）上のメッシュ内の注目点４１１の数は、位置決めおよび動きに関して追跡される。点４１１は、変位量または変位速度によって選択されてもよく、変位量または変位速度は、対象に関連するパーソナライズされた特徴を示すことができる。

【0025】

図５は、対象（例えば、アバター４０２）に従って成形されたパーソナライズおよび様式化されたアバター５０２ａの出力セット５００を示す。これは、ユーザ固有のブレンド形状セットを表すために組み合わされたユーザの「表情フィッティング」（表情エンコーダ２４４を参照）および「識別情報フィッティング」（識別エンコーダ４４６を参照）の出力セットである。とりわけ、表情５４６－１、５４６－２、および５４６－３（以下、「パーソナライズされた表情５４６」と総称する）は、スタイルツール（スタイルツール２４２を参照）によって判定されるアバター５０２ａのスタイルに従ってパーソナライズされることを除いて、表情３４４と同じである。また、図には、パーソナライズおよび様式化されたアバター５０２ｂ上の本明細書に開示されるツール（メッシュツール２４０を参照）によって提供される表面メッシュ５４０が示されている。メッシュ５４０は、その位置および動きが、対象のパーソナライズされたジェスチャ、ティック（ｔｉｃｋｓ）、および他の顔特性を示すことができる点を含む。

【0026】

図６は、いくつかの実施形態による、対象の個人的な特徴または表情６４６が、異なる人物モデルまたはアバター６０２ａに基づいた様式化されたアバター６０２ｂに統合されるブレンドステップを示す。パーソナライズされた特徴のいくつかは、パーソナライズされた表情６４６に変換されるモデル６０２ａの眉毛の動き６４４を含むことができる。したがって、眉毛の動き６４４は、アバター６０２ｂの眉を寄せた様子を示すジェスチャ６４６でパーソナライズすることができる。ジェスチャは同じであるが、アバター６０２ｂは、アバター６０２ｂが基づく個人に特有の眉毛のスタイルを示し、したがってアバター６０２ａのジェスチャ６４４とは異なる。他の表情は、額の特定の筋肉の膨らみを含むことができ、口および／または鼻孔を用いた顔ジェスチャは、第１のモデル６０２ａについてキャプチャされ、様式化されたアバター６０２ｂの人物モデルに統合されることができる。

【0027】

図７は、いくつかの実施形態による、対象アバター７０１（例えば、ＶＲ／ＡＲヘッドセットのユーザ）からターゲットアバター７０２におけるパーソナライズされた表情７４６－１、７４６－２、および７４６－３（以下、「パーソナライズされた表情７４６」と総称する）への表情７４４－１、７４４－２、および７４４－３（以下、「表情７４４」と総称する）の転送を示す。見て分かるように、ターゲットアバター７０２のパーソナライズされた表情７４６に転送された各表情７４４は、ターゲットアバター７０２のパーソナライズされた表情のニュアンスおよび詳細を含む。

【0028】

図８Ａ～図８Ｂは、いくつかの実施形態による、表情８４４を対象アバター８０１からターゲットアバター８０２－１および８０２－２（以下、「ターゲットアバター８０２」と総称する）に転送して、パーソナライズされた表情８４６－１および８４６－２（以下、「パーソナライズされた表情８４６」と総称する）を作成するための、より例示的なパネル８００Ａ－１、８００Ａ－２、８００Ａ－３、８００Ａ－４、８００Ｂ－１、８００Ｂ－２および８００Ｂ－３（以下、「パネル８００」と総称する）を含む。

【0029】

対象アバター８０１は、第１の識別情報（例えば、ＶＲ／ＡＲヘッドセットの第１のユーザ）に属し、ターゲットアバター８０２は、第２の識別情報（例えば、第２のＶＲ／ＡＲヘッドセットの第２のユーザ）に属する。アバター８０２－１の場合、表情８４４の転送は包括的であり、第２の識別情報の個人的なニュアンスの多くは、転送された表情８４６－１ではキャプチャされない。一方、アバター８０２－１の場合、表情８４４の転送は、パーソナライズされた表情８４６－２がより一層ニュアンスがあり、第２の識別情報を反映するようにパーソナライズされる。

【0030】

第２の識別情報における顔面表情からの多くのニュアンスは、様式化されたモデル８０２－２に転送され、次いで、パーソナライズされた表情８４６－２にキャプチャされる。いくつかの実施形態では、パーソナライズされたモデルは、対象とモデルアバターとの間の「平均化された」形状を使用するので、より一般的な表情を含む。したがって、パーソナライズされたモデルは、モデル特徴のいくつかを依然としてキャプチャしながら、第２の識別情報に基づくよりパーソナライズされた表情８４６－２、例えば、パネル８００Ａ－１の顎の圧縮、パネル８００Ａ－４、８００Ｂ－１、および８００Ｂ－２の溝、パネル８００Ｂ－３の唇の緊張、アバター８０２－１の欠落などを含む。

【0031】

図９は、いくつかの実施形態による、没入型現実アプリケーションのためのパーソナライズおよび様式化されたアバターを作成するための方法９００のステップを含むフローチャートである。いくつかの実施形態では、方法９００の１つ以上のステップは、本明細書で開示されるように、ネットワークを介して通信可能に結合されたコンピュータ、クライアントデバイス、サーバ、またはデータベース内のメモリ回路に記憶された命令を実行するプロセッサ回路によって実施されてもよい（プロセッサ２１２、メモリ２２０、クライアントデバイス１１０、サーバ１３０、データベース１５２、およびネットワーク１５０を参照）。いくつかの実施形態では、メモリ回路は、本明細書で開示されるように、メッシュツール、スタイルツール、表情エンコーダツール、識別情報エンコーダツール、およびニューラルネットワークツールを有するアバターエンジンを含むことができる（アバターエンジン２３２、メッシュツール２４０、スタイルツール２４２、表情エンコーダツール２４４、識別情報エンコーダツール２４６、およびニューラルネットワークツール２４８を参照）。方法９００のステップは、コンピュータのメモリ回路に記憶された命令を実行する、コンピュータ内のプロセッサ回路によって実施されてもよい。いくつかの実施形態では、本開示と一致する方法は、異なる順序で、同時に、準同時に、または時間的に重複して実施される、方法９００のステップの少なくとも１つ以上を含むことができる。

【0032】

ステップ９０２は、第１の対象の顔面表情の画像をキャプチャすることを含む。いくつかの実施形態では、第１の対象は強化現実ヘッドセットのユーザであり、ステップ９０２は強化現実ヘッドセットに装着されたカメラを用いて画像をキャプチャすることを含む。

【0033】

ステップ９０４は、画像内で、第１の対象の個人的特性を示す１つ以上の特徴を識別することを含む。いくつかの実施形態では、ステップ９０４は、第１の対象の顔面表情の画像に重畳されたメッシュから、選択された閾値よりも大きい量だけ移動した頂点のグループを選択することを含む。いくつかの実施形態では、ステップ９０４は、第１の対象の顔面表情の画像に対するメッシュの運動に関連する微分テンソル内の１つ以上の臨界点を見つけることを含む。いくつかの実施形態では、ステップ９０４は、第１の対象の画像に関連する三次元メッシュ内の１つ以上のキーポイントの変位を識別することを含む。

【0034】

ステップ９０６は、人物モデルにおける標準的な表情のセットから、第１の対象の顔面表情に基づいて選択された表情を識別することを含む。いくつかの実施形態では、ステップ９０６は、第１の対象の顔面表情に関連するメッシュ内の複数の頂点と、選択された表情を有する人物モデルに関連するメッシュ内の複数の頂点との間の距離の尺度を見つけることを含む。いくつかの実施形態では、ステップ９０６は、人物モデルを人物モデルの様式化されたアバターとして選択することを含む。

【0035】

ステップ９０８は、第１の対象の個人的特性を示す１つ以上の特徴を、人物モデルにおける選択された表情に転送することを含む。いくつかの実施形態では、ステップ９０８は、第１の対象のメッシュ内の頂点のグループの動きを、人物モデルのメッシュ内の対応する頂点のグループにコピーすることを含む。

【0036】

ステップ９１０は、クライアントデバイス上に表示するために人物モデルを没入型現実アプリケーションに提供することを含む。いくつかの実施形態では、クライアントデバイスはユーザを伴い、ステップ９１０は、第１の対象と共にある第２のクライアントデバイスに表示するために、ユーザの顔面表情で修正された第２の様式化された人物モデルを没入型現実アプリケーションに提供することをさらに含む。いくつかの実施形態では、没入型現実アプリケーションは、第１の対象と第２の対象との間で共有され、ステップ９１０は、第２の対象の顔面表情で修正された第２の様式化された人物モデルを、クライアントデバイス上のディスプレイに提供することをさらに含む。

【0037】

ハードウェアの概要
図１０は、ヘッドセットおよび他のクライアントデバイス１１０、ならびに方法９００を実装することができる例示的なコンピュータシステム１０００を示すブロック図である。特定の態様では、コンピュータシステム１０００は、専用のサーバにあるか、または別のエンティティに統合されているか、または複数のエンティティに分散されているかのいずれかで、ハードウェア、またはソフトウェアとハードウェアの組み合わせを用いて実装されてもよい。コンピュータシステム１０００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、ファブレット、スマートフォン、フィーチャーフォン、サーバコンピュータなどを含むことができる。サーバコンピュータは、データセンタ内に遠隔に位置してもよく、またはローカルに記憶されてもよい。

【0038】

コンピュータシステム１０００は、情報を通信するためのバス１００８または他の通信機構と、情報を処理するためにバス１００８に結合されたプロセッサ１００２（例えば、プロセッサ２１２）とを含む。例として、コンピュータシステム１０００は、１つ以上のプロセッサ１００２を用いて実装されてもよい。プロセッサ１００２は、汎用マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックデバイス（ＰＬＤ）、コントローラ、ステートマシン、ゲーテッドロジック、個別のハードウェア構成要素、または情報の計算もしくは他の操作を実施することができる任意の他の適切なエンティティであってもよい。

【0039】

コンピュータシステム１０００は、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコールスタック、データベース管理システム、オペレーティングシステムを構成するコード、または含まれるメモリ１００４（例えば、メモリ２２０）、例えば、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ、またはプロセッサ１００２によって実行されるべき情報および命令を記憶するためにバス１００８に結合された任意の他の適切な記憶デバイスに記憶されたコードのうちの１つ以上の組み合わせを含むことができる。プロセッサ１００２およびメモリ１００４は、専用論理回路によって補完されても、または専用論理回路に組み込まれてもよい。

【0040】

命令は、メモリ１００４に記憶され、１つ以上のコンピュータプログラム製品、例えば、コンピュータシステム１０００による実行のための、またはコンピュータシステム１０００の動作を制御するためのコンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールで、これらに限定されないが、データ指向言語（例えば、ＳＱＬ、ｄＢａｓｅ）、システム言語（例えば、Ｃ、Ｏｂｊｅｃｔｉｖｅ－Ｃ、Ｃ＋＋、Ａｓｓｅｍｂｌｙ）、アーキテクチャ言語（例えば、Ｊａｖａ、．ＮＥＴ）、およびアプリケーション言語（例えば、ＰＨＰ、Ｒｕｂｙ、Ｐｅｒｌ、Ｐｙｔｈｏｎ）などのコンピュータ言語を含む、当業者に周知の任意の方法に従って実装されてもよい。命令はまた、コンピュータ言語、例えば、アレイ言語、アスペクト指向言語、アセンブリ言語、オーサリング言語、コマンドラインインターフェース言語、コンパイル言語、並列言語、カーリーブラケット原語、データフロー言語、データ構造化言語、宣言型言語、難解言語、拡張言語、第４世代言語、機能言語、対話型モード言語、解釈型言語、反復言語、リストベース言語、小言語、論理ベース言語、機械言語、マクロ言語、メタプログラミング言語、マルチパラダイム言語、数値解析、非英語ベース言語、オブジェクト指向クラスベース言語、オブジェクト指向プロトタイプベース言語、オフサイドルール言語、手続き型言語、反射型言語、ルールベース言語、スクリプト言語、スタックベース言語、同期言語、構文処理言語、視覚型言語、ヴィルト（ｗｉｒｔｈ）言語、およびＸＭＬベース言語で実装されてもよい。メモリ１００４はまた、プロセッサ１００２によって実行される命令の実行中に一時変数または他の中間情報を記憶するために使用されてもよい。

【0041】

本明細書で説明されるコンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータ（例えば、マークアップ言語文書に記憶された１つ以上のスクリプト）を保持するファイルの一部、問題のプログラム専用の単一のファイル、複数の協調ファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を記憶するファイル）に記憶することができる。コンピュータプログラムは、１つのコンピュータ上で、または１つのサイトに位置する、もしくは複数のサイトに分散されて通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。本明細書で説明されるプロセスおよび論理フローは、入力データを操作して出力を生成することによって機能を実施する１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって実施することができる。

【0042】

コンピュータシステム１０００は、情報および命令を記憶するためのバス１００８に結合された、磁気ディスクまたは光ディスクなどのデータ記憶デバイス１００６をさらに含む。コンピュータシステム１０００は、入力／出力モジュール１０１０を介して様々なデバイスに結合されてもよい。入力／出力モジュール１０１０は、任意の入力／出力モジュールとすることができる。例示的な入力／出力モジュール１０１０は、ＵＳＢポートなどのデータポートを含む。入力／出力モジュール１０１０は、通信モジュール１０１２に接続するように構成される。例示的な通信モジュール１０１２は、イーサネットカードおよびモデムなどのネットワーキングインターフェースカードを含む。特定の態様では、入力／出力モジュール１０１０は、入力デバイス１０１４および／または出力デバイス１０１６などの複数のデバイスに接続するように構成される。例示的な入力デバイス１０１４は、消費者がコンピュータシステム１０００に入力を提供することができるキーボードおよびポインティングデバイス、例えばマウスまたはトラックボールを含む。触覚入力デバイス、視覚入力デバイス、音声入力デバイス、または脳コンピュータインターフェースデバイスなどの他の種類の入力デバイス１０１４も、消費者との対話を提供するために使用することができる。例えば、消費者に提供されるフィードバックは、任意の形態の感覚フィードバック、例えば視覚フィードバック、聴覚フィードバック、または触覚フィードバックとすることができ、消費者からの入力は、音響入力、音声入力、触覚入力、または脳波入力を含む任意の形態で受け取ることができる。例示的な出力デバイス１０１６は、消費者に情報を表示するためのＬＣＤ（液晶ディスプレイ）モニタなどの表示デバイスを含む。

【0043】

本開示の一態様によれば、ヘッドセットおよびクライアントデバイス１１０は、少なくとも部分的に、メモリ１００４に含まれる１つ以上の命令の１つ以上のシーケンスを実行するプロセッサ１００２に応答して、コンピュータシステム１０００を使用して実装することができる。そのような命令は、データ記憶デバイス１００６などの別の機械可読媒体からメモリ１００４に読み込まれてもよい。メインメモリ１００４に含まれる命令シーケンスの実行は、プロセッサ１００２に本明細書に記載のプロセスステップを実施させる。メモリ１００４に含まれる命令のシーケンスを実行するために、マルチ処理構成の１つ以上のプロセッサを採用することもできる。代替的な態様では、本開示の様々な態様を実装するために、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤード回路を使用することができる。したがって、本開示の態様は、ハードウェア回路とソフトウェアとの特定の組み合わせに限定されない。

【0044】

本明細書に記載の主題の様々な態様は、バックエンド構成要素、例えばデータサーバを含む、もしくはミドルウェア構成要素、例えばアプリケーションサーバを含む、もしくはフロントエンド構成要素、例えば、消費者が本明細書に記載の主題の実装と対話し得るグラフィカル消費者インターフェースもしくはウェブブラウザを有するクライアントコンピュータを含むコンピューティングシステム、または１つ以上のそのようなバックエンド、ミドルウェア、もしくはフロントエンド構成要素の任意の組み合わせで実装することができる。システムの構成要素は、任意の形態または媒体のデジタルデータ通信、例えば通信ネットワークによって相互接続することができる。通信ネットワークは、例えば、ＬＡＮ、ＷＡＮ、インターネットなどのいずれか１つ以上を含むことができる。さらに、通信ネットワークは、これらに限定されないが、例えば、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スターバスネットワーク、ツリーまたは階層ネットワークなどを含むネットワークトポロジのいずれか１つ以上を含むことができる。通信モジュールは、例えば、モデムまたはイーサネットカードとすることができる。

【0045】

コンピュータシステム１０００は、クライアントおよびサーバを含むことができる。クライアントおよびサーバは、一般に、互いに遠隔にあり、通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で行われ、互いにクライアント－サーバ関係を有するコンピュータプログラムによって生じる。コンピュータシステム１０００は、例えば、これらに限定されないが、デスクトップコンピュータ、ラップトップコンピュータ、またはタブレットコンピュータとすることができる。コンピュータシステム１０００はまた、例えば、これらに限定されないが、携帯電話、ＰＤＡ、モバイルオーディオプレーヤ、全地球測位システム（ＧＰＳ）受信機、ビデオゲームコンソール、および／またはテレビセットトップボックスなどの別のデバイスに埋め込むこともできる。

【0046】

本明細書で使用される「機械可読記憶媒体」または「コンピュータ可読媒体」という用語は、実行のためにプロセッサ１００２に命令を提供することに関与する任意の媒体を指す。そのような媒体は、不揮発性媒体、揮発性媒体、および伝送媒体を含むがこれらに限定されない多くの形態をとることができる。不揮発性媒体は、例えば、データ記憶デバイス１００６などの光ディスクまたは磁気ディスクを含む。揮発性媒体は、メモリ１００４などのダイナミックメモリを含む。伝送媒体は、バス１００８を形成するワイヤを含む、同軸ケーブル、銅線、および光ファイバを含む。機械可読媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤ、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ ＥＰＲＯＭ、任意の他のメモリチップもしくはカートリッジ、またはコンピュータが読み取ることができる任意の他の媒体を含む。機械可読記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号に影響を及ぼす物質の組成物、またはそれらの１つ以上の組み合わせであってもよい。

【0047】

一態様では、方法は、動作、命令、または機能であってもよく、その逆であってもよい。一態様では、請求項は、１つ以上の請求項、１つ以上の単語、１つ以上の文、１つ以上の句、１つ以上の段落、および／または１つ以上の請求項のいずれかに列挙された単語（例えば、命令、操作、機能、または構成要素）の一部またはすべてを含むように補正することができる。

【0048】

ハードウェアとソフトウェアとの互換性を説明するために、様々な例示的なブロック、モジュール、構成要素、方法、動作、命令、およびアルゴリズムなどの項目は、それらの機能性に関して一般的に説明されている。そのような機能性がハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組み合わせとして実装されるかどうかは、特定の用途およびシステム全体に課される設計制約に依存する。当業者は、特定の用途ごとに様々な方法で、説明された機能性を実装することができる。

【0049】

本明細書で使用される場合、一連の項目の後の「のうちの少なくとも１つ」という語句（ｔｈｅ ｐｈｒａｓｅ “ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ” ｐｒｅｃｅｄｉｎｇ ａ ｓｅｒｉｅｓ ｏｆ ｉｔｅｍｓ）は、項目のいずれかを分離するための「および」または「または」という用語と共に、リストの各メンバ（例えば、各項目）ではなく、リスト全体を修飾する。「のうちの少なくとも１つ」という語句は、少なくとも１つの項目の選択を必要とせず、むしろ、語句は、項目のいずれか１つの少なくとも１つ、および／または項目の任意の組み合わせの少なくとも１つ、および／または項目の各々の少なくとも１つを含む意味を可能にする。例として、「Ａ、Ｂ、およびＣの少なくとも１つ」または「Ａ、Ｂ、またはＣの少なくとも１つ」という語句はそれぞれ、Ａのみ、Ｂのみ、もしくはＣのみ、Ａ、Ｂ、およびＣの任意の組み合わせ、ならびに／またはＡ、ＢおよびＣの各々の少なくとも１つを指す。

【0050】

「例示的」という用語は、本明細書では「例、事例、または例示としての役割を果たす」ことを意味するために使用される。本明細書で「例示的」として説明される任意の実施形態は、必ずしも他の実施形態よりも好ましいまたは有利であると解釈されるべきではない。１つの態様（ａｎ ａｓｐｅｃｔ）、その態様（ｔｈｅ ａｓｐｅｃｔ）、別の態様、いくつかの態様、１つ以上の態様、１つの実装形態（ａｎ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ）、その実装形態（ｔｈｅ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ）、別の実装形態、いくつかの実装形態、１つ以上の実装形態、１つの実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）、その実施形態（ｔｈｅ ｅｍｂｏｄｉｍｅｎｔ）、別の実施形態、いくつかの実施形態、１つ以上の実施形態、１つの構成（ａ ｃｏｎｆｉｇｕｒａｔｉｏｎ）、その構成（ｔｈｅ ｃｏｎｆｉｇｕｒａｔｉｏｎ）、別の構成、いくつかの構成、１つ以上の構成、ユーザ技術、本開示（ｔｈｅ ｄｉｓｃｌｏｓｕｒｅ）、本開示（ｔｈｅ ｐｒｅｓｅｎｔ ｄｉｓｃｌｏｓｕｒｅ）、それらの他の変形などの語句は、便宜上のものにすぎず、そのような語句に関する開示がユーザ技術に不可欠であることも、そのような開示がユーザ技術のすべての構成に適用されることも意味しない。そのような語句に関する開示は、すべての構成または１つ以上の構成に適用することができる。そのような語句に関する開示は、１つ以上の例を提供することができる。１つの態様またはいくつかの態様などの語句は、１つ以上の態様を指すことができ、その逆も同様であり、これは他の前述の語句にも同様に適用される。

【0051】

単数形の要素への言及は、特に明記しない限り、「１つかつ１つのみ」を意味するものではなく、むしろ「１つ以上」を意味するものである。男性の頭字語（例えば、彼の）には、女性および中性の性別（例えば、彼女の、およびその）が含まれ、逆もまた同様である。「いくつか」という用語は、１つ以上を指す。下線および／または斜体の見出しおよび小見出しは、便宜上のみ使用され、ユーザ技術を限定するものではなく、ユーザ技術の説明の解釈に関連して参照されるものではない。第１および第２などの関係用語は、あるエンティティまたは動作を別のエンティティまたは動作から区別するために使用することができ、そのようなエンティティまたは動作間の実際のそのような関係または順序を必ずしも必要とせず、暗示もしない。当業者に公知の、または後に当業者に知られるようになる、本開示を通して説明される様々な構成の要素に対するすべての構造的および機能的同等物は、参照により本明細書に明示的に組み込まれ、ユーザ技術に包含されることが意図される。さらに、本明細書に開示されたものは、そのような開示が上述の説明に明示的に記載されているかどうかにかかわらず、公衆に供されることを意図していない。請求項のいかなる要素も、要素が「のための手段（ｍｅａｎｓ ｆｏｒ）」という語句を使用して明示的に列挙されるか、または方法請求項の場合、要素が「のためのステップ（ｓｔｅｐ ｆｏｒ）」という語句を使用して列挙されていない限り、米国特許法第１１２条の第６段落の規定の下で解釈されるべきではない。

【0052】

本明細書は多くの詳細を含んでいるが、これらは記載され得るものの範囲に対する限定として解釈されるべきではなく、むしろユーザ事項の特定の実装形態の説明として解釈されるべきである。別個の実施形態の文脈で本明細書に記載されている特定の特徴は、単一の実施形態において組み合わせて実装することもできる。逆に、単一の実施形態の文脈で説明される様々な特徴は、複数の実施形態において別々に、または任意の適切な部分的組み合わせで実装することもできる。さらに、特徴は、特定の組み合わせで作用するものとして上述され、最初にそのように記載されてもよいが、記載された組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから切り取られてもよく、記載された組み合わせは、部分的組み合わせまたは部分的組み合わせの変形に向けられてもよい。

【0053】

本明細書のユーザ事項は、特定の態様に関して説明されてきたが、他の態様も実装することができ、上記の特許請求の範囲内にある。例えば、動作は特定の順序で図面に示されているが、これは、望ましい結果を達成するために、そのような動作が示された特定の順序で、もしくは連続した順序で実施されること、または示されたすべての動作が実施されることを必要とすると理解されるべきではない。特許請求の範囲に記載の動作は、異なる順序で実施することができ、それでもなお望ましい結果を達成することができる。一例として、添付の図面に示されているプロセスは、望ましい結果を達成するために、示されている特定の順序、または連続する順序を必ずしも必要としない。特定の状況では、マルチタスク処理および並列処理が有利である可能性がある。さらに、上記の態様における様々なシステム構成要素の分離は、すべての態様においてそのような分離を必要とすると理解されるべきではなく、記載されたプログラム構成要素およびシステムは、一般に、単一のソフトウェア製品に一緒に統合されるか、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。

【0054】

表題、背景、図面およびそれらの説明は、本明細書によって本開示に組み込まれ、限定的な説明としてではなく、本開示の例示的な例として提供される。特許請求の範囲または意味を限定するために使用されないことを理解するものとして提出される。さらに、詳細な説明では、説明は例示的な例を提供し、様々な特徴は、本開示を簡素化する目的で様々な実装形態で一緒にグループ化されることが分かる。本開示の方法は、記載されたユーザ事項が各請求項に明示的に記載されているよりも多くの特徴を必要とするという意図を反映すると解釈されるべきではない。むしろ、特許請求の範囲が反映するように、本発明のユーザ事項は、単一の開示された構成または動作のすべての特徴よりも少ないものにある。特許請求の範囲は、本明細書により詳細な説明に組み込まれ、各請求項は、別個に記載されたユーザ事項として独立している。

【0055】

特許請求の範囲は、本明細書に記載された態様に限定されることを意図するものではなく、特許請求の範囲の文言と一致する全範囲が与えられ、すべての法的均等物を包含するものである。それにもかかわらず、特許請求の範囲のいずれも、適用される特許法の要件を満たさないユーザ事項を包含することを意図しておらず、そのように解釈されるべきでもない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【外国語明細書】