(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023076633
(43)【公開日】2023-06-01
(54)【発明の名称】仮想アバタのコンテキストベースのレンダリング
(51)【国際特許分類】
G06T 19/00 20110101AFI20230525BHJP
G06F 3/04815 20220101ALI20230525BHJP
G06F 3/01 20060101ALI20230525BHJP
【ＦＩ】
G06T19/00 A
G06F3/04815
G06F3/01 510
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023061323
(22)【出願日】2023-04-05
(62)【分割の表示】P 2020531695の分割
【原出願日】2018-12-03
(31)【優先権主張番号】62/598,905
(32)【優先日】2017-12-14
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】トーマス マーシャル ミラー ザ フォース
(72)【発明者】
【氏名】ビクター ング－ソウ－ヒン
(72)【発明者】
【氏名】ジョシュ アノン
(72)【発明者】
【氏名】フランク アレクサンダー ハミルトン ザ フォース
(72)【発明者】
【氏名】コール パーカー ハイナー
(72)【発明者】
【氏名】ロドリゴ カノ
(72)【発明者】
【氏名】カレン ストールゼンバーグ
(72)【発明者】
【氏名】ロレーナ パズミノ
(72)【発明者】
【氏名】グレゴリー ミン トラン
(72)【発明者】
【氏名】ステファン アントワン ジョセフ インバート
(72)【発明者】
【氏名】アンソニー マリネロ
(57)【要約】
【課題】好適な仮想アバタのコンテキストベースのレンダリングを提供すること。
【解決手段】アバタを複合現実環境内にレンダリングするためのシステムおよび方法の実施例が、開示される。本システムおよび方法は、決定されたユーザの意図、関心誘引誘発要因、環境刺激、またはユーザサッカード点に基づいて、自動的に、アバタをスケーリングする、またはアバタをレンダリングするように構成されてもよい。開示されるシステムおよび方法は、アバタをレンダリングするとき、違和感曲線を適用してもよい。開示されるシステムおよび方法は、ヒトユーザとアバタとの間のより現実的な相互作用を提供し得る。
【選択図】図３９
【解決手段】アバタを複合現実環境内にレンダリングするためのシステムおよび方法の実施例が、開示される。本システムおよび方法は、決定されたユーザの意図、関心誘引誘発要因、環境刺激、またはユーザサッカード点に基づいて、自動的に、アバタをスケーリングする、またはアバタをレンダリングするように構成されてもよい。開示されるシステムおよび方法は、アバタをレンダリングするとき、違和感曲線を適用してもよい。開示されるシステムおよび方法は、ヒトユーザとアバタとの間のより現実的な相互作用を提供し得る。
【選択図】図３９
【特許請求の範囲】
【請求項1】
本明細書に記載の発明。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、参照することによってその全体として本明細書に組み込まれる、２０１７年１２月１４日に出願され、「ＣＯＮＴＥＸＴＵＡＬ－ＢＡＳＥＤ ＲＥＮＤＥＲＩＮＧ ＯＦ ＶＩＲＴＵＡＬ ＡＶＡＴＡＲＳ」と題された、米国仮特許出願第６２／５９８，９０５号の優先権の利益を主張する。
本願は、参照することによってその全体として本明細書に組み込まれる、２０１７年１２月１４日に出願され、「ＣＯＮＴＥＸＴＵＡＬ－ＢＡＳＥＤ ＲＥＮＤＥＲＩＮＧ ＯＦ ＶＩＲＴＵＡＬ ＡＶＡＴＡＲＳ」と題された、米国仮特許出願第６２／５９８，９０５号の優先権の利益を主張する。
【0002】
本開示は、仮想現実および拡張現実結像および可視化システムに関し、より具体的には、コンテキスト情報に基づいて、仮想アバタを動的に調節およびレンダリングすることに関する。
【背景技術】
【0003】
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実または「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術の生産は、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。
【発明の概要】
【課題を解決するための手段】
【0004】
コンテキスト情報に基づいて、仮想アバタを調節およびレンダリングするための複合現実システムの種々の実施例が、開示される。
【0005】
アバタを複合現実環境内にレンダリングするためのシステムおよび方法の実施例が、開示される。本システムおよび方法は、決定されたユーザの意図、関心誘引誘発要因、環境刺激、またはユーザサッカード点に基づいて、自動的に、アバタをスケーリングする、またはアバタをレンダリングするように構成されてもよい。開示されるシステムおよび方法は、アバタをレンダリングするとき、違和感曲線を適用してもよい。開示されるシステムおよび方法は、ヒトユーザとアバタとの間のより現実的な相互作用を提供し得る。
本明細書は、例えば、以下の項目も提供する。
（項目１）
違和感曲線を使用して、仮想アバタの動画を駆動するためのシステムであって、前記システムは、
非一過性コンピュータ可読媒体であって、
仮想アバタの隣接する第２の身体部分に対する仮想アバタの第１の身体部分の配向と、
少なくとも１つの違和感曲線であって、前記少なくとも１つの違和感曲線は、前記仮想アバタの隣接する第２の身体部分に対する前記第１の身体部分の運動を統制する、少なくとも１つの違和感曲線と
を記憶するように構成される、非一過性コンピュータ可読媒体と、
ハードウェアプロセッサであって、
前記仮想アバタの隣接する第２の身体部分に対する仮想アバタの第１の身体部分の配向を決定することと、
前記隣接する第２の身体部分に対する前記第１の身体部分の運動を統制する前記少なくとも１つの違和感曲線にアクセスすることと、
少なくとも部分的に、前記少なくとも１つの違和感曲線に従って、前記仮想アバタの隣接する第２の身体部分に対する前記第１の身体部分の動画を駆動することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
（項目２）
前記動画を駆動するために、前記ハードウェアプロセッサは、前記違和感曲線から返される値を低減または最小限にするようにプログラムされる、項目１に記載のシステム。
（項目３）
前記動画を駆動するために、前記ハードウェアプロセッサは、前記違和感曲線から返される値を閾値を下回って保つようにプログラムされる、項目１に記載のシステム。
（項目４）
前記ハードウェアプロセッサは、
前記隣接する第２の身体部分に対する前記第１の身体部分の配向を水平角度成分または鉛直角度成分に分解することと、
少なくとも部分的に、前記水平角度成分または前記鉛直角度成分のうちの少なくとも１つに基づいて、前記隣接する第２の身体部分に対する前記動画を駆動することと
を行うようにプログラムされる、項目１に記載のシステム。
（項目５）
前記動画を駆動するために、前記ハードウェアプロセッサはさらに、
前記第１の身体部分が前記第２の身体部分に対する配向にあるように、前記第１の身体部分または前記第２の身体部分を方向転換させることと、
少なくとも部分的に、前記違和感曲線に基づいて、ある持続時間後、違和感レベルを決定することと、
前記違和感レベルが閾値を超えることの決定に応答して、前記第１の身体部分が、低減された違和感レベルを有する前記第２の身体部分に対する別の配向にあるように、前記第１の身体部分または前記第２の身体部分のいずれかを方向転換させることと
を行うようにプログラムされる、項目１に記載のシステム。
（項目６）
前記隣接する第２の身体部分に対する前記第１の身体部分の配向を追跡するように構成される固有受容感覚システムをさらに備える、項目１に記載のシステム。
（項目７）
違和感曲線は、前記第１の身体部分と前記第２の身体部分との間の角度に対する違和感レベルを説明する、項目１に記載のシステム。
（項目８）
前記違和感曲線は、姿勢データの深層学習または回帰分析を使用して、自動的に生成される、項目１に記載のシステム。
（項目９）
前記隣接する第２の身体部分に対する前記第１の身体部分の動画は、移動が前記違和感曲線に関する違和感閾値を超える場合、禁止される、項目１に記載のシステム。
（項目１０）
前記ハードウェアプロセッサはさらに、前記仮想アバタがレンダリングされた環境または前記仮想アバタの相互作用の変化に基づいて、前記仮想アバタの気分またはモードの変化を検出するようにプログラムされる、項目１に記載のシステム。
（項目１１）
前記違和感曲線は、前記仮想アバタの現在の気分またはモードに基づいて修正される、項目１０に記載のシステム。
（項目１２）
前記仮想アバタのモードまたは気分の変化の検出は、前記隣接する第２の身体部分に対する前記第１の身体部分の移動を統制する新しい違和感曲線のアクセスを生じさせる、項目１０に記載のシステム。
（項目１３）
前記仮想アバタのモードの変化は、環境内の前記仮想アバタの移動を含む、項目１０に記載のシステム。
（項目１４）
前記ハードウェアプロセッサはさらに、
前記少なくとも１つの違和感曲線の値が閾値に達することを決定することと、
前記決定に応答して、付加的アバタ挙動の実施を生じさせることと
を行うようにプログラムされる、項目１に記載のシステム。
（項目１５）
前記付加的アバタ挙動は、音を発するかまたはジェスチャを行うことを含む、項目１４に記載のシステム。
（項目１６）
前記隣接する第２の身体部分に対する前記第１の身体部分の動画を駆動するために、前記ハードウェアプロセッサは、
前記少なくとも１つの違和感曲線の第１の違和感閾値に到達するまで、前記第１の身体部分を移動させることと、
前記第２の身体部分を移動させ、前記少なくとも１つの違和感曲線の値を前記第１の違和感閾値を下回って低減させることと
を行うようにプログラムされる、項目１に記載のシステム。
（項目１７）
前記ハードウェアプロセッサはさらに、
前記仮想アバタの第３の身体部分を移動させ、前記少なくとも１つの違和感曲線の値を第２の違和感閾値を下回って低減させる
ようにプログラムされる、項目１６に記載のシステム。
（項目１８）
違和感曲線を使用して、仮想アバタの動画を駆動する方法であって、前記方法は、
前記仮想アバタの隣接する第２の身体部分に対する仮想アバタの第１の身体部分の配向を決定することと、
前記隣接する第２の身体部分に対する前記第１の身体部分の運動を統制する少なくとも１つの違和感曲線にアクセスすることと、
少なくとも部分的に、前記少なくとも１つの違和感曲線に従って、前記隣接する第２の身体部分に対する前記第１の身体部分の動画を駆動することと
を含む、方法。
（項目１９）
前記隣接する第２の身体部分に対する前記第１の身体部分の配向を水平角度成分または鉛直角度成分に分解することと、
少なくとも部分的に、前記水平角度成分または前記鉛直角度成分のうちの少なくとも１つに基づいて、前記隣接する第２の身体部分に対する動画を駆動することと
をさらに含む、項目１８に記載の方法。
（項目２０）
前記仮想アバタを動画化することは、前記違和感曲線から返される値を低減または最小限にするように駆動される、項目１８に記載の方法。
（項目２１）
前記配向は、少なくとも部分的に、固有受容感覚システム内のデータに基づいて決定される、項目１８に記載の方法。
（項目２２）
前記固有受容感覚システムはさらに、身体部分間の回転に関する違和感曲線および式を記憶する、項目２１に記載の方法。
（項目２３）
前記違和感曲線は、隣接する身体部分に対する身体部分の角度に対する違和感レベルを説明する、項目１８に記載の方法。
（項目２４）
前記違和感曲線は、アバタが前記第１の身体部分または前記第２の身体部分をある姿勢に維持するための労力のレベルを説明する、項目１８に記載の方法。
（項目２５）
前記違和感曲線は、姿勢データの深層学習または回帰分析を使用して自動的に生成される、項目１８に記載の方法。
（項目２６）
前記隣接する第２の身体部分に対する前記第１の身体部分を動画化することは、前記移動が前記違和感曲線に関する違和感閾値を超える場合、禁止される、項目１８に記載の方法。
（項目２７）
前記違和感曲線は、前記仮想アバタの現在の気分またはモードに基づいて修正される、項目１８に記載の方法。
（項目２８）
前記隣接する第２の身体に対する前記第１の身体部分の動画を駆動することは、少なくとも部分的に、前記少なくとも１つの違和感曲線の値に基づいて、前記第２の身体部分の運動と前記第１の身体部分の運動を連鎖させることを含む、項目１８に記載の方法。
（項目２９）
前記第２の身体部分の運動は、前記少なくとも１つの違和感曲線の値が閾値に達するまで、生じない、項目２８に記載の方法。
（項目３０）
仮想アバタを自動的にスケーリングするためのウェアラブルシステムであって、前記ウェアラブルシステムは、
ユーザの環境を結像するように構成されるデバイスセンサと、
前記ユーザの姿勢を測定するように構成される姿勢センサと、
仮想コンテンツを複合現実環境内に表示するように構成されるディスプレイと、
ハードウェアプロセッサであって、
姿勢データを前記姿勢センサから受信することと、
少なくとも部分的に、前記姿勢データに基づいて、世界フレームを基準とするユーザの頭部位置を計算することであって、前記世界フレームは、前記ユーザの環境と関連付けられた基準フレームを含む、ことと、
前記ユーザの環境内の前記世界フレームを基準とする主要な水平平面を決定することと、
前記主要な水平平面および前記ユーザの頭部位置に基づいて、前記ユーザの高さを計算することと、
少なくとも部分的に、前記ユーザの高さに基づいて、アバタの標的高さを計算することと、
前記標的高さに基づいて、前記アバタを自動的にスケーリングすることと、
前記ディスプレイに、前記アバタを前記標的高さに自動的にレンダリングさせることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルシステム。
（項目３１）
仮想アバタを自動的にスケーリングするための方法であって、前記方法は、
ユーザの姿勢データを受信することと、
少なくとも部分的に、前記姿勢データに基づいて、前記ユーザの頭部位置を計算することと、
前記ユーザの環境内の主要な水平平面を決定することと、
前記主要な水平平面および前記ユーザの頭部位置に基づいて、ユーザの高さを計算することと、
少なくとも部分的に、前記ユーザの高さに基づいて、アバタの標的高さを計算することと、
前記標的高さに基づいて、前記アバタのサイズを調節するためのスケールを決定することと
を含む、方法。
（項目３２）
ユーザ相互作用の意図を決定するためのウェアラブルデバイスであって、前記ウェアラブルデバイスは、
前記ユーザの環境とのユーザの相互作用データを入手するように構成されるデバイスセンサと、
ハードウェアプロセッサであって、
前記デバイスセンサから入手された前記相互作用データに基づいて、ユーザ相互作用を識別することと、
前記ユーザ相互作用を世界成分またはローカル成分のうちの少なくとも１つに分解することであって、前記世界成分は、前記ユーザの環境の世界フレームを基準とするアクションを含み、ローカル成分は、前記ユーザの身体のローカルフレームを基準とするアクションを含む、ことと、
コンテキスト情報に基づいて、前記ユーザの相互作用と関連付けられた意図を決定することと、
前記意図、前記世界成分と関連付けられた情報、または前記ローカル成分と関連付けられた情報のうちの少なくとも１つを、別のウェアラブルデバイスに通信し、他のウェアラブルデバイスに、前記意図に基づいて、前記ユーザ相互作用を前記他のウェアラブルデバイスによってレンダリングされたユーザのアバタにマッピングさせることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルデバイス。
（項目３３）
遠隔ユーザ相互作用のために仮想アバタをレンダリングするための方法であって、前記方法は、
第２のユーザのアバタがレンダリングされる第１のユーザの環境と関連付けられたコンテキスト情報を決定することと、
前記第２のユーザの環境内に生じた前記第２のユーザのユーザ相互作用と関連付けられる第２のユーザの意図を決定することと、
コンテキスト情報および前記第２のユーザの意図に基づいて、前記第１のユーザの世界フレームに対する前記第２のユーザのアバタの世界アクションを決定することと、
前記第２のユーザの環境内で生じた前記第２のユーザのユーザ相互作用のローカル成分に基づいて、前記第２のユーザのアバタのローカルフレームに対する前記第２のユーザのアバタのローカルアクションを動画化することと、
ディスプレイに、前記世界アクションおよび前記ローカルアクションを含む前記アバタを複合現実環境内にレンダリングさせることと
を含む、方法。
（項目３４）
第１の環境内の第１のユーザの意図に基づいて、仮想アバタをレンダリングするシステムであって、前記システムは、
ハードウェアプロセッサであって、
前記第１の環境の環境情報を複数のセンサから抽出することと、
少なくとも部分的に、受信された環境情報に基づいて、複数の潜在的関心オブジェクトを識別することと、
少なくとも部分的に、受信された環境情報に基づいて、関心オブジェクトを決定することであって、前記決定は、
ユーザから各潜在的関心オブジェクトに向かうベクトルおよびユーザから延在する通視線ベクトルを前記第１のユーザの真正面において外向きに延在させることと、
関心加重値を各潜在的関心オブジェクトに割り当てることであって、潜在的関心オブジェクトの関心加重は、動的に変化し、前記環境情報の変化を反映させる、ことと、
潜在的関心オブジェクト毎に、全体的関心値を計算することであって、潜在的関心オブジェクトに関する関心値は、少なくとも部分的に、前記潜在的関心オブジェクトに関する関心加重値に基づく、ことと
を含む、ことと、
関心オブジェクト情報を遠隔コンピューティングデバイスに通信することであって、関心オブジェクト情報は、少なくとも、前記関心オブジェクトを表す識別子を含む、ことと、
通信される関心オブジェクト情報を遠隔コンピューティングデバイスから受信することと、
少なくとも部分的に、前記遠隔コンピューティングデバイスから受信された関心オブジェクト情報に基づいて、前記仮想アバタの位置または配向のうちの少なくとも１つを調節することと
を行うようにプログラムされる、ハードウェアプロセッサと、
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、少なくとも部分的に、受信された関心オブジェクト情報に基づいて、仮想アバタをレンダリングするプロセスを実行するための命令を記憶するように構成される、非一過性コンピュータ可読媒体と
を備える、システム。
（項目３５）
第１の環境内の第１のユーザの意図に基づいて、仮想アバタをレンダリングする方法であって、前記方法は、
第１のユーザの姿勢データにアクセスすることであって、姿勢データは、少なくとも、眼姿勢または頭部姿勢を含む、ことと、
少なくとも部分的に、前記第１のユーザの姿勢データに基づいて、前記第１のユーザの環境内の複数の潜在的関心オブジェクトを識別することと、
少なくとも部分的に、前記第１のユーザの姿勢データに基づいて、前記第１のユーザの環境内の前記複数の潜在的関心オブジェクトから前記第１のユーザの関心オブジェクトを決定することと、
関心オブジェクト情報を第２のユーザに通信することであって、関心オブジェクト情報は、少なくとも、前記関心オブジェクトを表す識別子を含む、ことと、
関心オブジェクト情報を前記第１のユーザから受信することと、
第２の環境内の仮想アバタに対する第２の環境内の前記関心オブジェクトの場所を識別することと、
少なくとも部分的に前記第２の環境内の仮想アバタに対する前記第２の環境内の前記関心オブジェクトの場所に基づいて、第２の環境内の前記仮想アバタの位置または配向のうちの少なくとも１つを調節することと
を含む、方法。
（項目３６）
コンテキスト情報に基づいて、アバタの相互作用を調節するためのウェアラブルシステムであって、前記ウェアラブルシステムは、
仮想アバタを視認者の環境内にレンダリングするための複合現実ディスプレイと、
ハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記環境内の複数の関心誘引誘発要因を決定することと、
前記複数の関心誘引誘発要因と関連付けられた関心誘引度値を計算することと、
少なくとも部分的に、前記複数の関心誘引誘発要因と関連付けられた関心誘引度値に基づいて、標的関心誘引誘発要因を決定することと、
前記複合現実ディスプレイに、前記アバタの動画をレンダリングさせ、前記標的関心誘引誘発要因に応答させることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルシステム。
（項目３７）
サッカード眼球運動を用いて、アバタを動画化する方法であって、前記方法は、
アバタの環境内の関心誘引オブジェクトを識別することと、
サッカード点を保持するために、前記関心誘引オブジェクト上の複数のポリゴンを決定することと、
前記複数のポリゴンの各ポリゴン上に到達するサッカード点と関連付けられた確率を計算することと、
前記ポリゴンと関連付けられた確率に基づいて、ポリゴンを選択することと、
前記ポリゴンの表面上の点を前記サッカード点としてランダムに選択することと、
前記アバタの眼姿勢を調節し、所与の時間に前記サッカード点上に合焦させることと
を含む、方法。
（項目３８）
アバタの眼移動を動画化するために、ソーシャルトライアングルを識別するための方法であって、
顔と関連付けられたソーシャルトライアングルのパラメータにアクセスすることであって、前記ソーシャルトライアングルは、前記アバタが前記顔を見ているときのアバタの眼移動を動画化するために使用される前記顔の領域を含む、ことと、
少なくとも部分的に、前記パラメータに基づいて、顔と関連付けられた第１の特徴および第２の特徴を識別することであって、前記第１の特徴または前記第２の特徴のうちの少なくとも１つは、複数のサブ特徴を含む、ことと、
少なくとも部分的に、前記第１および第２の特徴に基づいて、第１の頂点、第２の頂点、および第３の頂点を決定することと、
前記第１、第２、および第３の頂点によって形成される境界されたエリアを決定することと、
前記境界されたエリアを前記ソーシャルトライアングルとして割り当てることと
を含む、方法。
本明細書は、例えば、以下の項目も提供する。
（項目１）
違和感曲線を使用して、仮想アバタの動画を駆動するためのシステムであって、前記システムは、
非一過性コンピュータ可読媒体であって、
仮想アバタの隣接する第２の身体部分に対する仮想アバタの第１の身体部分の配向と、
少なくとも１つの違和感曲線であって、前記少なくとも１つの違和感曲線は、前記仮想アバタの隣接する第２の身体部分に対する前記第１の身体部分の運動を統制する、少なくとも１つの違和感曲線と
を記憶するように構成される、非一過性コンピュータ可読媒体と、
ハードウェアプロセッサであって、
前記仮想アバタの隣接する第２の身体部分に対する仮想アバタの第１の身体部分の配向を決定することと、
前記隣接する第２の身体部分に対する前記第１の身体部分の運動を統制する前記少なくとも１つの違和感曲線にアクセスすることと、
少なくとも部分的に、前記少なくとも１つの違和感曲線に従って、前記仮想アバタの隣接する第２の身体部分に対する前記第１の身体部分の動画を駆動することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
（項目２）
前記動画を駆動するために、前記ハードウェアプロセッサは、前記違和感曲線から返される値を低減または最小限にするようにプログラムされる、項目１に記載のシステム。
（項目３）
前記動画を駆動するために、前記ハードウェアプロセッサは、前記違和感曲線から返される値を閾値を下回って保つようにプログラムされる、項目１に記載のシステム。
（項目４）
前記ハードウェアプロセッサは、
前記隣接する第２の身体部分に対する前記第１の身体部分の配向を水平角度成分または鉛直角度成分に分解することと、
少なくとも部分的に、前記水平角度成分または前記鉛直角度成分のうちの少なくとも１つに基づいて、前記隣接する第２の身体部分に対する前記動画を駆動することと
を行うようにプログラムされる、項目１に記載のシステム。
（項目５）
前記動画を駆動するために、前記ハードウェアプロセッサはさらに、
前記第１の身体部分が前記第２の身体部分に対する配向にあるように、前記第１の身体部分または前記第２の身体部分を方向転換させることと、
少なくとも部分的に、前記違和感曲線に基づいて、ある持続時間後、違和感レベルを決定することと、
前記違和感レベルが閾値を超えることの決定に応答して、前記第１の身体部分が、低減された違和感レベルを有する前記第２の身体部分に対する別の配向にあるように、前記第１の身体部分または前記第２の身体部分のいずれかを方向転換させることと
を行うようにプログラムされる、項目１に記載のシステム。
（項目６）
前記隣接する第２の身体部分に対する前記第１の身体部分の配向を追跡するように構成される固有受容感覚システムをさらに備える、項目１に記載のシステム。
（項目７）
違和感曲線は、前記第１の身体部分と前記第２の身体部分との間の角度に対する違和感レベルを説明する、項目１に記載のシステム。
（項目８）
前記違和感曲線は、姿勢データの深層学習または回帰分析を使用して、自動的に生成される、項目１に記載のシステム。
（項目９）
前記隣接する第２の身体部分に対する前記第１の身体部分の動画は、移動が前記違和感曲線に関する違和感閾値を超える場合、禁止される、項目１に記載のシステム。
（項目１０）
前記ハードウェアプロセッサはさらに、前記仮想アバタがレンダリングされた環境または前記仮想アバタの相互作用の変化に基づいて、前記仮想アバタの気分またはモードの変化を検出するようにプログラムされる、項目１に記載のシステム。
（項目１１）
前記違和感曲線は、前記仮想アバタの現在の気分またはモードに基づいて修正される、項目１０に記載のシステム。
（項目１２）
前記仮想アバタのモードまたは気分の変化の検出は、前記隣接する第２の身体部分に対する前記第１の身体部分の移動を統制する新しい違和感曲線のアクセスを生じさせる、項目１０に記載のシステム。
（項目１３）
前記仮想アバタのモードの変化は、環境内の前記仮想アバタの移動を含む、項目１０に記載のシステム。
（項目１４）
前記ハードウェアプロセッサはさらに、
前記少なくとも１つの違和感曲線の値が閾値に達することを決定することと、
前記決定に応答して、付加的アバタ挙動の実施を生じさせることと
を行うようにプログラムされる、項目１に記載のシステム。
（項目１５）
前記付加的アバタ挙動は、音を発するかまたはジェスチャを行うことを含む、項目１４に記載のシステム。
（項目１６）
前記隣接する第２の身体部分に対する前記第１の身体部分の動画を駆動するために、前記ハードウェアプロセッサは、
前記少なくとも１つの違和感曲線の第１の違和感閾値に到達するまで、前記第１の身体部分を移動させることと、
前記第２の身体部分を移動させ、前記少なくとも１つの違和感曲線の値を前記第１の違和感閾値を下回って低減させることと
を行うようにプログラムされる、項目１に記載のシステム。
（項目１７）
前記ハードウェアプロセッサはさらに、
前記仮想アバタの第３の身体部分を移動させ、前記少なくとも１つの違和感曲線の値を第２の違和感閾値を下回って低減させる
ようにプログラムされる、項目１６に記載のシステム。
（項目１８）
違和感曲線を使用して、仮想アバタの動画を駆動する方法であって、前記方法は、
前記仮想アバタの隣接する第２の身体部分に対する仮想アバタの第１の身体部分の配向を決定することと、
前記隣接する第２の身体部分に対する前記第１の身体部分の運動を統制する少なくとも１つの違和感曲線にアクセスすることと、
少なくとも部分的に、前記少なくとも１つの違和感曲線に従って、前記隣接する第２の身体部分に対する前記第１の身体部分の動画を駆動することと
を含む、方法。
（項目１９）
前記隣接する第２の身体部分に対する前記第１の身体部分の配向を水平角度成分または鉛直角度成分に分解することと、
少なくとも部分的に、前記水平角度成分または前記鉛直角度成分のうちの少なくとも１つに基づいて、前記隣接する第２の身体部分に対する動画を駆動することと
をさらに含む、項目１８に記載の方法。
（項目２０）
前記仮想アバタを動画化することは、前記違和感曲線から返される値を低減または最小限にするように駆動される、項目１８に記載の方法。
（項目２１）
前記配向は、少なくとも部分的に、固有受容感覚システム内のデータに基づいて決定される、項目１８に記載の方法。
（項目２２）
前記固有受容感覚システムはさらに、身体部分間の回転に関する違和感曲線および式を記憶する、項目２１に記載の方法。
（項目２３）
前記違和感曲線は、隣接する身体部分に対する身体部分の角度に対する違和感レベルを説明する、項目１８に記載の方法。
（項目２４）
前記違和感曲線は、アバタが前記第１の身体部分または前記第２の身体部分をある姿勢に維持するための労力のレベルを説明する、項目１８に記載の方法。
（項目２５）
前記違和感曲線は、姿勢データの深層学習または回帰分析を使用して自動的に生成される、項目１８に記載の方法。
（項目２６）
前記隣接する第２の身体部分に対する前記第１の身体部分を動画化することは、前記移動が前記違和感曲線に関する違和感閾値を超える場合、禁止される、項目１８に記載の方法。
（項目２７）
前記違和感曲線は、前記仮想アバタの現在の気分またはモードに基づいて修正される、項目１８に記載の方法。
（項目２８）
前記隣接する第２の身体に対する前記第１の身体部分の動画を駆動することは、少なくとも部分的に、前記少なくとも１つの違和感曲線の値に基づいて、前記第２の身体部分の運動と前記第１の身体部分の運動を連鎖させることを含む、項目１８に記載の方法。
（項目２９）
前記第２の身体部分の運動は、前記少なくとも１つの違和感曲線の値が閾値に達するまで、生じない、項目２８に記載の方法。
（項目３０）
仮想アバタを自動的にスケーリングするためのウェアラブルシステムであって、前記ウェアラブルシステムは、
ユーザの環境を結像するように構成されるデバイスセンサと、
前記ユーザの姿勢を測定するように構成される姿勢センサと、
仮想コンテンツを複合現実環境内に表示するように構成されるディスプレイと、
ハードウェアプロセッサであって、
姿勢データを前記姿勢センサから受信することと、
少なくとも部分的に、前記姿勢データに基づいて、世界フレームを基準とするユーザの頭部位置を計算することであって、前記世界フレームは、前記ユーザの環境と関連付けられた基準フレームを含む、ことと、
前記ユーザの環境内の前記世界フレームを基準とする主要な水平平面を決定することと、
前記主要な水平平面および前記ユーザの頭部位置に基づいて、前記ユーザの高さを計算することと、
少なくとも部分的に、前記ユーザの高さに基づいて、アバタの標的高さを計算することと、
前記標的高さに基づいて、前記アバタを自動的にスケーリングすることと、
前記ディスプレイに、前記アバタを前記標的高さに自動的にレンダリングさせることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルシステム。
（項目３１）
仮想アバタを自動的にスケーリングするための方法であって、前記方法は、
ユーザの姿勢データを受信することと、
少なくとも部分的に、前記姿勢データに基づいて、前記ユーザの頭部位置を計算することと、
前記ユーザの環境内の主要な水平平面を決定することと、
前記主要な水平平面および前記ユーザの頭部位置に基づいて、ユーザの高さを計算することと、
少なくとも部分的に、前記ユーザの高さに基づいて、アバタの標的高さを計算することと、
前記標的高さに基づいて、前記アバタのサイズを調節するためのスケールを決定することと
を含む、方法。
（項目３２）
ユーザ相互作用の意図を決定するためのウェアラブルデバイスであって、前記ウェアラブルデバイスは、
前記ユーザの環境とのユーザの相互作用データを入手するように構成されるデバイスセンサと、
ハードウェアプロセッサであって、
前記デバイスセンサから入手された前記相互作用データに基づいて、ユーザ相互作用を識別することと、
前記ユーザ相互作用を世界成分またはローカル成分のうちの少なくとも１つに分解することであって、前記世界成分は、前記ユーザの環境の世界フレームを基準とするアクションを含み、ローカル成分は、前記ユーザの身体のローカルフレームを基準とするアクションを含む、ことと、
コンテキスト情報に基づいて、前記ユーザの相互作用と関連付けられた意図を決定することと、
前記意図、前記世界成分と関連付けられた情報、または前記ローカル成分と関連付けられた情報のうちの少なくとも１つを、別のウェアラブルデバイスに通信し、他のウェアラブルデバイスに、前記意図に基づいて、前記ユーザ相互作用を前記他のウェアラブルデバイスによってレンダリングされたユーザのアバタにマッピングさせることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルデバイス。
（項目３３）
遠隔ユーザ相互作用のために仮想アバタをレンダリングするための方法であって、前記方法は、
第２のユーザのアバタがレンダリングされる第１のユーザの環境と関連付けられたコンテキスト情報を決定することと、
前記第２のユーザの環境内に生じた前記第２のユーザのユーザ相互作用と関連付けられる第２のユーザの意図を決定することと、
コンテキスト情報および前記第２のユーザの意図に基づいて、前記第１のユーザの世界フレームに対する前記第２のユーザのアバタの世界アクションを決定することと、
前記第２のユーザの環境内で生じた前記第２のユーザのユーザ相互作用のローカル成分に基づいて、前記第２のユーザのアバタのローカルフレームに対する前記第２のユーザのアバタのローカルアクションを動画化することと、
ディスプレイに、前記世界アクションおよび前記ローカルアクションを含む前記アバタを複合現実環境内にレンダリングさせることと
を含む、方法。
（項目３４）
第１の環境内の第１のユーザの意図に基づいて、仮想アバタをレンダリングするシステムであって、前記システムは、
ハードウェアプロセッサであって、
前記第１の環境の環境情報を複数のセンサから抽出することと、
少なくとも部分的に、受信された環境情報に基づいて、複数の潜在的関心オブジェクトを識別することと、
少なくとも部分的に、受信された環境情報に基づいて、関心オブジェクトを決定することであって、前記決定は、
ユーザから各潜在的関心オブジェクトに向かうベクトルおよびユーザから延在する通視線ベクトルを前記第１のユーザの真正面において外向きに延在させることと、
関心加重値を各潜在的関心オブジェクトに割り当てることであって、潜在的関心オブジェクトの関心加重は、動的に変化し、前記環境情報の変化を反映させる、ことと、
潜在的関心オブジェクト毎に、全体的関心値を計算することであって、潜在的関心オブジェクトに関する関心値は、少なくとも部分的に、前記潜在的関心オブジェクトに関する関心加重値に基づく、ことと
を含む、ことと、
関心オブジェクト情報を遠隔コンピューティングデバイスに通信することであって、関心オブジェクト情報は、少なくとも、前記関心オブジェクトを表す識別子を含む、ことと、
通信される関心オブジェクト情報を遠隔コンピューティングデバイスから受信することと、
少なくとも部分的に、前記遠隔コンピューティングデバイスから受信された関心オブジェクト情報に基づいて、前記仮想アバタの位置または配向のうちの少なくとも１つを調節することと
を行うようにプログラムされる、ハードウェアプロセッサと、
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、少なくとも部分的に、受信された関心オブジェクト情報に基づいて、仮想アバタをレンダリングするプロセスを実行するための命令を記憶するように構成される、非一過性コンピュータ可読媒体と
を備える、システム。
（項目３５）
第１の環境内の第１のユーザの意図に基づいて、仮想アバタをレンダリングする方法であって、前記方法は、
第１のユーザの姿勢データにアクセスすることであって、姿勢データは、少なくとも、眼姿勢または頭部姿勢を含む、ことと、
少なくとも部分的に、前記第１のユーザの姿勢データに基づいて、前記第１のユーザの環境内の複数の潜在的関心オブジェクトを識別することと、
少なくとも部分的に、前記第１のユーザの姿勢データに基づいて、前記第１のユーザの環境内の前記複数の潜在的関心オブジェクトから前記第１のユーザの関心オブジェクトを決定することと、
関心オブジェクト情報を第２のユーザに通信することであって、関心オブジェクト情報は、少なくとも、前記関心オブジェクトを表す識別子を含む、ことと、
関心オブジェクト情報を前記第１のユーザから受信することと、
第２の環境内の仮想アバタに対する第２の環境内の前記関心オブジェクトの場所を識別することと、
少なくとも部分的に前記第２の環境内の仮想アバタに対する前記第２の環境内の前記関心オブジェクトの場所に基づいて、第２の環境内の前記仮想アバタの位置または配向のうちの少なくとも１つを調節することと
を含む、方法。
（項目３６）
コンテキスト情報に基づいて、アバタの相互作用を調節するためのウェアラブルシステムであって、前記ウェアラブルシステムは、
仮想アバタを視認者の環境内にレンダリングするための複合現実ディスプレイと、
ハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記環境内の複数の関心誘引誘発要因を決定することと、
前記複数の関心誘引誘発要因と関連付けられた関心誘引度値を計算することと、
少なくとも部分的に、前記複数の関心誘引誘発要因と関連付けられた関心誘引度値に基づいて、標的関心誘引誘発要因を決定することと、
前記複合現実ディスプレイに、前記アバタの動画をレンダリングさせ、前記標的関心誘引誘発要因に応答させることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルシステム。
（項目３７）
サッカード眼球運動を用いて、アバタを動画化する方法であって、前記方法は、
アバタの環境内の関心誘引オブジェクトを識別することと、
サッカード点を保持するために、前記関心誘引オブジェクト上の複数のポリゴンを決定することと、
前記複数のポリゴンの各ポリゴン上に到達するサッカード点と関連付けられた確率を計算することと、
前記ポリゴンと関連付けられた確率に基づいて、ポリゴンを選択することと、
前記ポリゴンの表面上の点を前記サッカード点としてランダムに選択することと、
前記アバタの眼姿勢を調節し、所与の時間に前記サッカード点上に合焦させることと
を含む、方法。
（項目３８）
アバタの眼移動を動画化するために、ソーシャルトライアングルを識別するための方法であって、
顔と関連付けられたソーシャルトライアングルのパラメータにアクセスすることであって、前記ソーシャルトライアングルは、前記アバタが前記顔を見ているときのアバタの眼移動を動画化するために使用される前記顔の領域を含む、ことと、
少なくとも部分的に、前記パラメータに基づいて、顔と関連付けられた第１の特徴および第２の特徴を識別することであって、前記第１の特徴または前記第２の特徴のうちの少なくとも１つは、複数のサブ特徴を含む、ことと、
少なくとも部分的に、前記第１および第２の特徴に基づいて、第１の頂点、第２の頂点、および第３の頂点を決定することと、
前記第１、第２、および第３の頂点によって形成される境界されたエリアを決定することと、
前記境界されたエリアを前記ソーシャルトライアングルとして割り当てることと
を含む、方法。
【0006】
本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の詳細な説明のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
【図面の簡単な説明】
【0007】
【0008】
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【0038】
【0039】
【0040】
【0041】
【0042】
【0043】
【0044】
【0045】
【0046】
【0047】
【0048】
【0049】
【0050】
【0051】
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。
【発明を実施するための形態】
【0052】
（概要）
仮想アバタは、ＡＲ／ＶＲ／ＭＲ環境内の実際または架空の人物（または創造物または擬人化されたオブジェクト）の仮想表現であってもよい。例えば、その中で２人のＡＲ／ＶＲ／ＭＲユーザが相互に相互作用する、テレプレゼンスセッションの間、視認者は、別のユーザのアバタを視認者の環境内で知覚し、それによって、他のユーザの存在の有形感覚を視認者の環境内に作成することができる。アバタはまた、共有仮想環境内において、ユーザが、相互に相互作用し、ともに物事を行うための方法を提供することができる。例えば、オンラインクラスに出席する生徒は、他の生徒または教師のアバタを仮想教室内で知覚することができ、他の生徒または教師のアバタと相互作用することができる。
仮想アバタは、ＡＲ／ＶＲ／ＭＲ環境内の実際または架空の人物（または創造物または擬人化されたオブジェクト）の仮想表現であってもよい。例えば、その中で２人のＡＲ／ＶＲ／ＭＲユーザが相互に相互作用する、テレプレゼンスセッションの間、視認者は、別のユーザのアバタを視認者の環境内で知覚し、それによって、他のユーザの存在の有形感覚を視認者の環境内に作成することができる。アバタはまた、共有仮想環境内において、ユーザが、相互に相互作用し、ともに物事を行うための方法を提供することができる。例えば、オンラインクラスに出席する生徒は、他の生徒または教師のアバタを仮想教室内で知覚することができ、他の生徒または教師のアバタと相互作用することができる。
【0053】
アバタをＡＲ／ＶＲ／ＭＲ環境のためのユーザの物理的環境内に設置するとき、アバタのサイズが、決定される必要がある。３次元（３Ｄ）空間内にスポーンする（アバタの初期レンダリング）とき、アバタは、実際は、任意のサイズ（例えば、極小、ヒトサイズ、または巨大）であり得る。アバタは、そのヒト対応者に対して１：１サイズを維持し得るが、しかし、これは、ある環境内では、意味を成さない場合がある（例えば、空間の欠如、プライバシ懸念等に起因して）。不適切に定寸されたアバタは、ぎこちないソーシャル相互作用をもたらす、またはアバタと相互作用するとき、ユーザ疲労をもたらし得る。例えば、アバタが、視認者に対してあまりに大きいまたはあまりに小さい場合、視認者は、アバタとの目と目を合わせた会話に従事するために、その頭部または身体を不快な位置に位置付ける必要があり得る。さらに、不適切に定寸されたアバタは、アバタのヒト対応者と視認者との間の含意される優越感（例えば、アバタがユーザより大きいとき）または劣等感（例えば、アバタがユーザより小さいとき）等の誤ったソーシャルメッセージを伝達し得る。不適切に定寸されたアバタによって生じる問題に関連する付加的実施例はさらに、図１１Ａを参照して説明され、本問題に対するソリューションの実施例は、図１２Ａ－１８Ｂを参照して説明される。
【0054】
有利には、いくつかの実施形態では、本明細書に説明されるウェアラブルシステムは、スポーン時、アバタのための適切なサイズを自動的に決定することができ、相互作用に関するコンテキスト情報に基づいて、他のユーザ（またはアバタ）との相互作用の一部または全部の全体を通して、アバタを再スケーリングすることができる。いくつかの例示的コンテキスト情報は、ユーザの位置、他のユーザの環境内のアバタのレンダリング場所、ユーザとアバタとの間の相対的高低差、レンダリング環境内のオブジェクトの存在（例えば、アバタが着座するための椅子が存在するかどうか、またはアバタの移動がアバタをテーブル等の固体オブジェクトを通して通過させるであろうかどうか）等を含むことができる。ウェアラブルシステムは、コンテキスト情報に基づいて、直接アイコンタクトを増加させるかまたは最大限にし、したがって、アバタ－ヒト通信を促進するように、アバタを自動的にスケーリングすることができる。コンテキスト情報に基づいてアバタをスケーリングするための詳細はさらに、図１２Ａ－１８Ｂに説明される。
【0055】
アバタは、そのヒト対応者に基づいて、動画化されることができ、ヒトの相互作用は、そのアバタにマッピングされる。ユーザとアバタとの間の１対１のマッピングは、アバタのアクションがユーザのアクションの直接マッピングであるように、ＡＲ／ＶＲ／ＭＲ環境内で採用されることができる。例えば、ユーザが、左を見る場合、そのアバタもまた、左を見る。ユーザが、起立する場合、そのアバタも、起立する。ユーザが、ある方向に歩行する場合、そのアバタも、その方向に歩行する。本１対１のマッピングは、ＶＲ環境の参加者（ユーザの仮想アバタを含む）に同一共有仮想コンテンツが見えているため、ＶＲ環境内で機能し得る。しかしながら、ＡＲ／ＭＲ環境では、各ユーザの物理的環境および他のユーザのアバタがその中に現れる方法は、２人（以上の）ユーザが非常に異なる環境内に存在し得るため、異なり得る。例えば、Ｂｏｂは、自宅の居間内に存在し得、Ａｌｉｃｅは、オフィス建物の部屋内に存在し得る。Ｂｏｂには、Ｂｏｂの環境（居間）内においてＢｏｂの向かいにＡｌｉｃｅのアバタが見え得る一方、Ａｌｉｃｅには、Ａｌｉｃｅの環境（オフィス部屋）内においてＡｌｉｃｅの左に位置するＢｏｂのアバタが見える。別の実施例として、アバタは、仮想オブジェクトであって、サイズ変更可能であり得るため、Ｂｏｂは、Ａｌｉｃｅのアバタのサイズを縮小し、それをその居間内のテーブル上に設置し得る一方、Ａｌｉｃｅは、広いオフィス部屋内に存在し得、Ｂｏｂのアバタを角に立たせ、原寸大となるように選定し得る。
【0056】
そのような定寸は、ＢｏｂがＡｌｉｃｅのアバタに話しかけているとき、ＢｏｂがＡｌｉｃｅのアバタを見下ろす結果をもたらし得る。１対１のマッピングが、Ｂｏｂのアクションに基づいて、Ｂｏｂのアバタに適用される場合、Ａｌｉｃｅのオフィス内にレンダリングされたＢｏｂのアバタは、Ｂｏｂのアバタが、Ａｌｉｃｅに話しかけている間、床を見ているであろうため（実際のＢｏｂがＡｌｉｃｅのアバタを見下ろしているため）、Ａｌｉｃｅにとって異常に見え得る。他方では、ユーザのある側面が保存され、別のユーザの環境内のアバタにマッピングされることが、望ましくあり得る。例えば、ユーザが、同意の際、その頭部を点頭させること、または不同意の際、その頭部を揺動させることが、そのような運動をアバタにマッピングすることによって、他のユーザに伝達されることができる。１対１のマッピングにおける問題を説明する付加的実施例はさらに、図１１Ｂ－１１Ｄを参照して提供される。そのような問題に対するソリューションの実施例は、図１９Ａ－３０Ｂを参照して説明される。
【0057】
有利には、いくつかの実施形態では、ウェアラブルシステムは、ユーザの相互作用を分析し、相互作用を世界成分およびローカル成分に分解することができる。世界成分は、環境と相互作用する、相互作用の部分を含むことができる。例えば、世界運動は、点Ａから点Ｂまで歩行すること、梯子を登ること、着座または起立すること、ある方向に向くこと、環境内の（仮想または物理的）オブジェクトと相互作用することを含んでもよい。本明細書にさらに説明されるように、世界成分は、環境と関連付けられる、世界基準フレームに関して説明されることができる。ローカル成分は、ユーザに対するアクションを含むことができる（身体固定基準フレームに関して説明されることができる）。例えば、Ａｌｉｃｅが、その頭部を点頭させる、またはその頭部を揺動させる場合、その運動は、その胴体（または身体）に対するその頭部の角度に基づいて、意味を有する。別の実施例として、Ａｌｉｃｅは、１８０度方向転換し、その頭部を点頭させ得る。これらの２つの運動は、それらがその胴体に対して位置特定され、環境との相互作用を要求し得ないため、ローカルと見なされ得る。さらに別の実施例として、手を振ることは、ユーザの身体に対して定義され得るため、ローカル運動であることができる。いくつかの移動は、ローカル部分および世界部分を有してもよい。例えば、ユーザが、指を差すことによって、ジェスチャを行い得、これは、ユーザがユーザの環境内のオブジェクトを指している場合、ユーザの身体に対するローカル属性と、世界側面とを有する。例えば、Ａｌｉｃｅが、Ａｌｉｃｅの環境内のＢｏｂのアバタを指している場合、Ａｌｉｃｅの手のジェスチャから決定された意図は、ＡｌｉｃｅがＢｏｂを指しているということである。Ｂｏｂの環境では、Ａｌｉｃｅは、Ｂｏｂに対して異なる相対的場所または配向に現れ得、その手のジェスチャが１対１の対応においてレンダリングされる場合、Ａｌｉｃｅのアバタは、Ｂｏｂを指し得ず、したがって、Ａｌｉｃｅの意図を反映させ得ない。Ｂｏｂのウェアラブルデバイスは、ＡｌｉｃｅのアバタがＢｏｂを指しているようにレンダリングされるように、Ａｌｉｃｅの意図をＢｏｂの環境にマッピングすることができる。
【0058】
ウェアラブルシステムは、ユーザの環境、ユーザの移動、ユーザの意図等と関連付けられたコンテキスト情報に基づいて、ユーザの相互作用の意図を抽出することができる。ウェアラブルシステムは、故に、アバタの環境に基づいて、ユーザの相互作用の世界運動をアバタのアクションにマッピングし、ユーザの相互作用のローカルアクションを直接アバタにマッピングすることができる。世界運動のマッピングは、その中にアバタがレンダリングされる物理的環境と互換性があるように（単に、直接１対１の方式において特性をマッピングするのではなく）、例えば、移動、位置、配向、サイズ、顔の表情、姿勢、眼視線等のアバタの１つ以上の特性を調節することを含むことができる。
【0059】
例えば、Ａｌｉｃｅが、椅子まで歩いて行き、椅子の上に着座すると、ウェアラブルシステムは、Ｂｏｂの環境の世界マップからの情報にアクセスし、Ａｌｉｃｅを椅子の上に着座しているようにレンダリングすることによって、Ｂｏｂの環境内の椅子（または椅子が存在しない場合、別の着座可能表面）を自動的に見出すことができる。別の実施例として、ウェアラブルシステムは、Ａｌｉｃｅがその環境内の関心オブジェクト（例えば、木または仮想書籍）と相互作用することを意図することを決定してもよい。ウェアラブルシステムは、Ａｌｉｃｅのアバタを自動的に再配向し、関心オブジェクトの場所がＡｌｉｃｅの環境内のものと同一ではあり得ない、Ｂｏｂの環境内の関心オブジェクトと相互作用させることができる。例えば、仮想書籍の直接１対１のマッピングが、それをＢｏｂの環境内のテーブルの内側または下にレンダリングされるよう生じさせるであろう場合、Ｂｏｂのウェアラブルシステムは、代わりに、テーブルの上にあるように仮想書籍をレンダリングしてもよく、これは、Ｂｏｂに、Ａｌｉｃｅおよび仮想書籍とのより自然な相互作用を提供するであろう。
【0060】
ウェアラブルシステムが、世界運動を再マッピングし得る間、ウェアラブルシステムは、ユーザの相互作用の点頭、手の傾斜または揺動（混乱、同意、または拒絶を示すことができる）等のローカル運動を保存することができる。例えば、Ａｌｉｃｅは、その頭部を揺動させ、椅子に向かって歩いて行き得る。本相互作用は、椅子に向かった歩行等の世界運動と、その頭部の揺動等のローカル運動とを含む。ウェアラブルシステムは、Ｂｏｂの環境内の椅子の場所に基づいて、Ａｌｉｃｅのアバタの歩行方向を調節するが、その一方で、その頭部を揺動させるようにＡｌｉｃｅのアバタをレンダリングすることができる。アバタの意図ベースのレンダリングに関連するさらなる説明は、図１９－３１を参照して説明される。
【0061】
ある実装では、ウェアラブルシステムはまた、意図に基づいて、ローカル成分をアバタにマッピングすることができる。例えば、Ａｌｉｃｅが、サムズアップサインを与える場合、ウェアラブルシステムは、これを表象的ジェスチャ（例えば、意識的に使用され、意識的に理解され、単語の代用品として使用され、日常の身体言語より手話に近い、ジェスチャ）として解釈し、より表現力のあるサムズアップ動画をＢｏｂの環境内のＡｌｉｃｅのアバタにマッピングし、同一意図を伝達することができる。これは、例えば、掌を開いたジェスチャで手を振る、またはＯＫジェスチャでＯＫサインを与える等の他の共通する象徴的または表象的ジェスチャにも適用することができる。
【0062】
そのヒト対応者の相互作用に基づいて、仮想アバタを動画化することに加えて、またはその代替として、有利には、いくつかの実施形態では、ウェアラブルシステムはまた、アバタがその中にレンダリングされる環境に基づいて、アバタを動画化することができる。ウェアラブルシステムは、仮想アバタが、環境との相互作用に基づいて、その決定を行うことが可能であるように現れ得るように、仮想アバタをレンダリングすることができる（例えば、ウェアラブルシステムは、環境内に存在する椅子が存在する場合、着座しているようにアバタを表示するが、椅子が存在しない場合、起立しているようにアバタを表示してもよい）。
【0063】
ウェアラブルシステムは、関心オブジェクト、関心エリア、音、または関心オブジェクトの成分等の視認者の環境内の関心誘引誘発要因を発見し、アバタに、関心誘引誘発要因に自動的に応答させることができる（例えば、関心誘引誘発要因を見るように方向転換する等）。一実施例として、視認者のウェアラブルシステムは、突然の大きな雑音を検出し得、視認者のウェアラブルシステムは、大きな雑音が発せられた方向を見るようにアバタを自動的に再配向することができる。
【0064】
ウェアラブルシステムは、視認者がアバタのヒト対応者とのテレプレゼンスセッション中であるかどうかにかかわらず、誘発要因に基づいて、アバタを動画化することができる。視認者がテレプレゼンスセッション中である状況では、アバタは、そのような関心誘引誘発要因がヒト対応者の環境内に現れない場合でも、視認者の環境内の関心誘引誘発要因に応答することができる。例えば、ＡｌｉｃｅおよびＢｏｂが、テレプレゼンスセッション中であり得る。Ａｌｉｃｅのアバタは、最初に、Ｂｏｂが話しているため、Ｂｏｂに向き得る。Ｂｏｂのウェアラブルシステムが、Ｂｏｂの環境内の大きな雑音を検出すると、Ａｌｉｃｅのアバタは、その注意をＢｏｂから大きな雑音の方向に切り替え得る（したがって、Ｂｏｂから視線を逸らし得る）。視認者の環境に基づいてアバタを動画化することに関連するさらなる説明は、図３１Ａ－３７を参照して説明される。
【0065】
ある実装では、ウェアラブルシステムは、ヒト対応者ユーザが（遠隔または同一環境のいずれかに）存在する場合とそうではない場合がある場合でも、１人以上のユーザ（例えば、アバタのヒト対応者を含む）の挙動を学習し、そのような学習に基づいて、アバタの動画を駆動することができる。例えば、ウェアラブルシステムは、発話音声またはユーザの環境内のオブジェクトに関連したユーザの眼視線方向およびアイコンタクトの頻度から、ユーザが他者と相互作用する方法を学習することができる（例えば、デバイスセンサからのデータに基づいて）。ウェアラブルシステムは、故に、ユーザの学習された挙動に基づいて、アバタの動画を駆動することができる。実施例として、ユーザが、カントリーミュージックに応答しない（例えば、カントリーミュージックを再生している音源を見ない）場合、ユーザと関連付けられたアバタもまた、アバタがカントリーミュージックに応答しないようにレンダリングされてもよい。
【0066】
本開示における実施例は、ヒト形状のアバタを動画化することを説明するが、類似技法はまた、動物、架空の生物、オブジェクト（例えば、上記に説明される仮想書籍）等にも適用されることができる。例えば、Ａｌｉｃｅのシステムは、その環境内で動き回るイヌを検出し得る。Ｂｏｂのウェアラブルシステムは、仮想イヌの移動をＢｏｂの環境内に提示することができる。Ｂｏｂのウェアラブルシステムは、Ｂｏｂの環境内の障害物に基づいて、仮想イヌの移動をＢｏｂの環境内に表示してもよい（例えば、仮想イヌを物理的オブジェクトを通して通過させない軌道上で仮想イヌを移動させることによって）。
【0067】
故に、開示されるシステムおよび方法の実施形態は、ウェアラブルシステムのユーザとユーザの環境内のアバタとの間のはるかにより現実的な相互作用を提供し得る。
（ウェアラブルシステムの３Ｄディスプレイの実施例）
（ウェアラブルシステムの３Ｄディスプレイの実施例）
【0068】
ウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２Ｄまたは３Ｄ仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、ＡＲデバイス（ＡＲＤ）と同義的に使用されることができる。さらに、本開示の目的のために、用語「ＡＲ」は、用語「ＭＲ」と同義的に使用される。
【0069】
図１は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図１では、ＭＲ場面１００が、描写され、ＭＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
【0070】
３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
【0071】
ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）に基づいて、または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
【0072】
図２は、ウェアラブルシステム２００の実施例を図示し、これは、ＡＲ／ＶＲ／ＭＲ場面を提供するように構成されることができる。ウェアラブルシステム２００はまた、ＡＲシステム２００と称され得る。ウェアラブルシステム２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ２２０は、ユーザ、装着者、または視認者２１０によって装着可能である、フレーム２３０に結合されてもよい。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ＡＲ／ＶＲ／ＭＲコンテンツをユーザに提示するができる。ディスプレイ２２０は、ユーザの頭部上に装着される、頭部搭載型ディスプレイ（ＨＭＤ）を備えることができる。
【0073】
いくつかの実施形態では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音響制御を提供する）。ディスプレイ２２０は、環境からオーディオストリームを検出し、周囲音を捕捉するために、オーディオセンサ（例えば、マイクロホン）２３２を含むことができる。いくつかの実施形態では、示されない１つ以上の他のオーディオセンサが、ステレオ音受信を提供するために位置付けられる。ステレオ音受信は、音源の場所を決定するために使用されることができる。ウェアラブルシステム２００は、音声または発話認識をオーディオストリームに実施することができる。
【0074】
ウェアラブルシステム２００は、ユーザの周囲の環境内の世界を観察する、外向きに面した結像システム４６４（図４に示される）を含むことができる。ウェアラブルシステム２００はまた、ユーザの眼移動を追跡し得る、内向きに面した結像システム４６２（図４に示される）を含むことができる。内向きに面した結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに面した結像システム４６２は、フレーム２３０に取り付けられてもよく、内向きに面した結像システムによって入手された画像情報を処理し、例えば、ユーザ２１０の眼の瞳孔直径または配向、眼の移動、または眼姿勢を決定し得る、処理モジュール２６０または２７０と電気通信してもよい。内向きに面した結像システム４６２は、１つ以上のカメラを含んでもよい。例えば、少なくとも１つのカメラは、各眼を結像するために使用されてもよい。カメラによって入手された画像は、眼毎に、別個に、瞳孔サイズまたは眼姿勢を決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために使用されてもよい。
【0075】
実施例として、ウェアラブルシステム２００は、外向きに面した結像システム４６４または内向きに面した結像システム４６２を使用して、ユーザの姿勢の画像を入手することができる。画像は、静止画像、ビデオのフレーム、またはビデオであってもよい。
【0076】
ディスプレイ２２０は、有線導線または無線接続等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載され得る、ローカルデータ処理モジュール２６０に動作可能に結合されることができる（２５０）。
【0077】
ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、ａ）画像捕捉デバイス（例えば、内向きに面した結像システムまたは外向きに面した結像システム内のカメラ）、オーディオセンサ（例えば、マイクロホン）、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、またはジャイロスコープ等の（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）センサから捕捉されるデータ、または、ｂ）場合によっては処理または読出後にディスプレイ２２０への通過のために、遠隔処理モジュール２７０または遠隔データリポジトリ２８０を使用して入手または処理されるデータを含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク２６２または２６４によって遠隔処理モジュール２７０または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２８０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。
【0078】
いくつかの実施形態では、遠隔処理モジュール２７０は、データまたは画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備え得、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
（ウェアラブルシステムの例示的コンポーネント）
（ウェアラブルシステムの例示的コンポーネント）
【0079】
図３は、ウェアラブルシステムの例示的コンポーネントを図式的に図示する。図３は、ウェアラブルシステム２００を示し、これは、ディスプレイ２２０と、フレーム２３０とを含むことができる。引き伸ばし図２０２は、ウェアラブルシステム２００の種々のコンポーネントを図式的に図示する。ある実装では、図３に図示されるコンポーネントのうちの１つ以上のものは、ディスプレイ２２０の一部であることができる。種々のコンポーネントは、単独で、または組み合わせて、ウェアラブルシステム２００のユーザまたはユーザの環境と関連付けられた種々のデータ（例えば、聴覚的または視覚的データ等）を収集することができる。他の実施形態は、ウェアラブルシステムが使用される用途に応じて、付加的またはより少ないコンポーネントを有してもよいことを理解されたい。なお、図３は、種々のコンポーネントのうちのいくつかと、ウェアラブルシステムを通して収集、分析、および記憶され得る、データのタイプの基本概念とを提供する。
【0080】
図３は、例示的ウェアラブルシステム２００を示し、これは、ディスプレイ２２０を含むことができる。ディスプレイ２２０は、ユーザの頭部、またはフレーム２３０に対応する、筐体またはフレーム２３０に搭載され得る、ディスプレイレンズ２２６を備えることができる。ディスプレイレンズ２３０は、筐体２３０によって、ユーザの眼３０２、３０４の正面に位置付けられる、１つ以上の透明ミラーを備えてもよく、投影された光ビーム３３８を眼３０２、３０４の中にバウンスさせ、ビーム成形を促進しながら、また、ローカル環境からの少なくとも一部の光の透過を可能にするように構成されてもよい。投影された光ビーム３３８の波面は、投影された光の所望の焦点距離と一致するように屈曲または集束されてもよい。図示されるように、２つの広視野マシンビジョンカメラ３１６（世界カメラとも称される）が、筐体２３０に結合され、ユーザの周囲の環境を結像することができる。これらのカメラ３１６は、二重捕捉式可視光／非可視（例えば、赤外線）光カメラであることができる。カメラ３１６は、図４に示される外向きに面した結像システム４６４の一部であってもよい。世界カメラ３１６によって入手された画像は、姿勢プロセッサ３３６によって処理されることができる。例えば、姿勢プロセッサ３３６は、１つ以上のオブジェクト認識装置７０８（例えば、図７に示される）を実装し、ユーザまたはユーザの環境内の別の人物の姿勢を識別する、またはユーザの環境内の物理的オブジェクトを識別することができる。
【0081】
図３を継続して参照すると、光３３８を眼３０２、３０４の中に投影するように構成される、ディスプレイミラーおよび光学系を伴う、一対の走査式レーザ成形波面（例えば、深度のために）光プロジェクタモジュールが、示される。描写される図はまた、ユーザの眼３０２、３０４を追跡し、レンダリングおよびユーザ入力をサポート可能であるように構成される、赤外線光（発光ダイオード「ＬＥＤ」等）とペアリングされる、２つの小型赤外線カメラ３２４を示す。カメラ３２４は、図４に示される、内向きに面した結像システム４６２の一部であってもよい。ウェアラブルシステム２００はさらに、センサアセンブリ３３９を特徴とすることができ、これは、Ｘ、Ｙ、およびＺ軸加速度計能力および磁気コンパスおよびＸ、Ｙ、およびＺ軸ジャイロスコープ能力を備え、好ましくは、２００Ｈｚ等の比較的に高周波数でデータを提供し得る。センサアセンブリ３３９は、図２Ａを参照して説明される、ＩＭＵの一部であってもよい。描写されるシステム２００はまた、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、またはＡＲＭプロセッサ（高度縮小命令セット機械）等の頭部姿勢プロセッサ３３６を備えることができ、これは、リアルタイムまたは近リアルタイムユーザ頭部姿勢を捕捉デバイス３１６から出力された広視野画像情報から計算するように構成されてもよい。頭部姿勢プロセッサ３３６は、ハードウェアプロセッサであることができ、図２Ａに示されるローカル処理およびデータモジュール２６０の一部として実装されることができる。
【0082】
ウェアラブルシステムはまた、１つ以上の深度センサ２３４を含むことができる。深度センサ２３４は、環境内のオブジェクトとウェアラブルデバイスとの間の距離を測定するように構成されることができる。深度センサ２３４は、レーザスキャナ（例えば、ＬＩＤＡＲ）、超音波深度センサ、または深度感知カメラを含んでもよい。カメラ３１６が深度感知能力を有する、ある実装では、カメラ３１６はまた、深度センサ２３４と見なされ得る。
【0083】
また、示されるのは、デジタルまたはアナログ処理を実行し、姿勢をセンサアセンブリ３３９からのジャイロスコープ、コンパス、または加速度計データから導出するように構成される、プロセッサ３３２である。プロセッサ３３２は、図２に示される、ローカル処理およびデータモジュール２６０の一部であってもよい。ウェアラブルシステム２００はまた、図３に示されるように、例えば、ＧＰＳ３３７（全地球測位システム）等の測位システムを含み、姿勢および測位分析を補助することができる。加えて、ＧＰＳはさらに、ユーザの環境についての遠隔ベース（例えば、クラウドベース）の情報を提供してもよい。本情報は、ユーザの環境内のオブジェクトまたは情報を認識するために使用されてもよい。
【0084】
ウェアラブルシステムは、ＧＰＳ３３７および遠隔コンピューティングシステム（例えば、遠隔処理モジュール２７０、別のユーザのＡＲＤ等）によって入手されたデータを組み合わせてもよく、これは、ユーザの環境についてのより多くの情報を提供することができる。一実施例として、ウェアラブルシステムは、ＧＰＳデータに基づいて、ユーザの場所を決定し、ユーザの場所と関連付けられた仮想オブジェクトを含む、世界マップを読み出すことができる（例えば、遠隔処理モジュール２７０と通信することによって）。別の実施例として、ウェアラブルシステム２００は、世界カメラ３１６（図４に示される外向きに面した結像システム４６４の一部であってもよい）を使用して、環境を監視することができる。世界カメラ３１６によって入手された画像に基づいて、ウェアラブルシステム２００は、環境内のオブジェクトを検出することができる（例えば、図７に示される１つ以上のオブジェクト認識装置７０８を使用することによって）。ウェアラブルシステムはさらに、ＧＰＳ３３７によって入手されたデータを使用して、表意文字を解釈することができる。
【0085】
ウェアラブルシステム２００はまた、レンダリングエンジン３３４を備えてもよく、これは、世界のユーザのビューのために、ユーザにローカルなレンダリング情報を提供し、スキャナの動作およびユーザの眼の中への結像を促進するように構成されることができる。レンダリングエンジン３３４は、ハードウェアプロセッサ（例えば、中央処理ユニットまたはグラフィック処理ユニット等）によって実装されてもよい。いくつかの実施形態では、レンダリングエンジンは、ローカル処理およびデータモジュール２６０の一部である。レンダリングエンジン３３４は、ウェアラブルシステム２００の他のコンポーネントに通信可能に結合されることができる（例えば、有線または無線リンクを介して）。例えば、レンダリングエンジン３３４は、通信リンク２７４を介して、眼カメラ３２４に結合され、通信リンク２７２を介して、投影サブシステム３１８（網膜走査ディスプレイに類似する様式において、走査レーザ配列を介して、光をユーザの眼３０２、３０４の中に投影することができる）に結合されることができる。レンダリングエンジン３３４はまた、それぞれ、リンク２７６および２９４を介して、例えば、センサ姿勢プロセッサ３３２および画像姿勢プロセッサ３３６等の他の処理ユニットと通信することができる。
【0086】
カメラ３２４（例えば、小型赤外線カメラ）は、眼姿勢を追跡し、レンダリングおよびユーザ入力をサポートするために利用されてもよい。いくつかの例示的眼姿勢は、ユーザが見ている場所または合焦させている深度（眼の輻輳・開散運動（ｖｅｒｇｅｎｃｅ）を用いて推定されてもよい）を含んでもよい。ＧＰＳ３３７、ジャイロスコープ、コンパス、および加速度計３３９は、大まかなまたは高速の姿勢推定を提供するために利用されてもよい。カメラ３１６のうちの１つ以上のものは、画像および姿勢を入手することができ、これは、関連付けられたクラウドコンピューティングリソースからのデータと併せて、ローカル環境をマッピングし、ユーザビューを他者と共有するために利用されてもよい。
【0087】
図３に描写される例示的コンポーネントは、例証目的のためだけのものである。複数のセンサおよび他の機能モジュールが、例証および説明の容易性のために、ともに示される。いくつかの実施形態は、これらのセンサまたはモジュールの１つのみまたはサブセットを含んでもよい。さらに、これらのコンポーネントの場所は、図３に描写される位置に限定されない。いくつかのコンポーネントは、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、またはヘルメットコンポーネント等、他のコンポーネント内に搭載または格納されてもよい。一実施例として、画像姿勢プロセッサ３３６、センサ姿勢プロセッサ３３２、およびレンダリングエンジン３３４は、ベルトパック内に位置付けられ、超広帯域、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信を介して、または有線通信を介して、ウェアラブルシステムの他のコンポーネントと通信するように構成されてもよい。描写される筐体２３０は、好ましくは、ユーザによって頭部搭載可能かつ装着可能である。しかしながら、ウェアラブルシステム２００のいくつかのコンポーネントは、ユーザの身体の他の部分に装着されてもよい。例えば、スピーカ２４０が、ユーザの耳の中に挿入され、音をユーザに提供してもよい。
【0088】
ユーザの眼３０２、３０４の中への光３３８の投影に関して、いくつかの実施形態では、カメラ３２４は、一般に、眼の焦点の位置または「焦点深度」と一致する、ユーザの眼の中心が幾何学的に輻輳される場所を測定するために利用されてもよい。眼が輻輳する全ての点の３次元表面は、「単視軌跡」と称され得る。焦点距離は、有限数の深度をとり得る、または無限に変動し得る。輻輳・開散運動距離から投影された光は、対象の眼３０２、３０４に集束されるように現れる一方、輻輳・開散運動距離の正面または背後の光は、ぼかされる。本開示のウェアラブルデバイスおよび他のディスプレイシステムの実施例はまた、米国特許公開第２０１６／０２７０６５６号（参照することによってその全体として本明細書に組み込まれる）に説明される。
【0089】
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。オブジェクトの視認者は、輻輳・開散運動移動と遠近調節の組み合わせに起因して、オブジェクトを３次元として知覚し得る。相互に対する２つの眼の輻輳・開散運動移動（例えば、瞳孔が、相互に向かって、またはそこから離れるように移動し、眼の視線を収束させ、オブジェクトを固視するような瞳孔の回転）は、眼の水晶体の合焦（または「遠近調節」）と緊密に関連付けられる。通常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼のレンズの焦点の変化または眼の遠近調節は、「遠近調節－輻輳・開散運動反射」として知られる関係下、輻輳・開散運動の整合変化を自動的に同一距離に生じさせるであろう。同様に、輻輳・開散運動の変化は、通常条件下、遠近調節の整合変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な整合を提供するディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。
【0090】
さらに、約０．７ミリメートル未満のビーム直径を伴う、空間的にコヒーレントな光は、眼が合焦している場所にかかわらず、ヒトの眼によって正しく解決されることができる。したがって、適切な焦点深度の錯覚を作成するために、眼の輻輳・開散運動が、カメラ３２４を用いて追跡されてもよく、レンダリングエンジン３３４および投影サブシステム３１８は、単視軌跡上またはそれに近接する全てのオブジェクトを合焦させてレンダリングし、全ての他のオブジェクトを可変程度に焦点をずらしてレンダリングするために利用されてもよい（例えば、意図的に作成されたぼけを使用して）。好ましくは、システム２２０は、ユーザに、約６０フレーム／秒以上のフレームレートでレンダリングする。上記に説明されるように、好ましくは、カメラ３２４は、眼追跡のために利用されてもよく、ソフトウェアは、輻輳・開散運動幾何学形状だけではなく、また、ユーザ入力としての役割を果たすための焦点場所キューも取り上げるように構成されてもよい。好ましくは、そのようなディスプレイシステムは、昼間または夜間の使用のために好適な明度およびコントラストを用いて構成される。
【0091】
いくつかの実施形態では、ディスプレイシステムは、好ましくは、視覚的オブジェクト整合のために約２０ミリ秒未満の待ち時間、約０．１度未満の角度整合、および約１弧分（ａｒｃ ｍｉｎｕｔｅ）の分解能を有し、これは、理論によって限定されるわけではないが、ヒトの眼のほぼ限界であると考えられる。ディスプレイシステム２２０は、位置特定システムと統合されてもよく、これは、ＧＰＳ要素、光学追跡、コンパス、加速度計、または他のデータソースを伴い、位置および姿勢決定を補助し得る。位置特定情報は、関連世界のユーザのビュー内における正確なレンダリングを促進するために利用されてもよい（例えば、そのような情報は、眼鏡が実世界に対する場所を把握することを促進するであろう）。
【0092】
いくつかの実施形態では、ウェアラブルシステム２００は、ユーザの眼の遠近調節に基づいて、１つ以上の仮想画像を表示するように構成される。ユーザに画像が投影されている場所に合焦させるように強制する、従来の３Ｄディスプレイアプローチと異なり、いくつかの実施形態では、ウェアラブルシステムは、投影された仮想コンテンツの焦点を自動的に変動させ、ユーザに提示される１つ以上の画像のより快適な視認を可能にするように構成される。例えば、ユーザの眼が、１ｍの現在の焦点を有する場合、画像は、ユーザの焦点と一致するように投影されてもよい。ユーザが、焦点を３ｍに偏移させる場合、画像は、新しい焦点と一致するように投影される。したがって、ユーザに所定の焦点を強制するのではなく、いくつかの実施形態のウェアラブルシステム２００は、ユーザの眼がより自然な様式において機能することを可能にする。
【0093】
そのようなウェアラブルシステム２００は、仮想現実デバイスに対して典型的に観察される、眼精疲労、頭痛、および他の生理学的症状の発生率を排除または低減させ得る。これを達成するために、ウェアラブルシステム２００の種々の実施形態は、１つ以上の可変焦点要素（ＶＦＥ）を通して、仮想画像を可変焦点距離に投影するように構成される。１つ以上の実施形態では、３Ｄ知覚は、画像をユーザから固定された焦点面に投影する、多平面焦点システムを通して達成されてもよい。他の実施形態は、可変平面焦点を採用し、焦点面は、ユーザの焦点の現在の状態と一致するように、ｚ－方向に往復して移動される。
【0094】
多平面焦点システムおよび可変平面焦点システムの両方において、ウェアラブルシステム２００は、眼追跡を採用し、ユーザの眼の輻輳・開散運動を決定し、ユーザの現在の焦点を決定し、仮想画像を決定された焦点に投影してもよい。他の実施形態では、ウェアラブルシステム２００は、ファイバスキャナまたは他の光生成源を通して、網膜を横断して、可変焦点の光ビームをラスタパターンで可変に投影する、光変調器を備える。したがって、画像を可変焦点距離に投影するウェアラブルシステム２００のディスプレイの能力は、ユーザがオブジェクトを３Ｄにおいて視認するための遠近調節を容易にするだけではなく、また、米国特許公開第２０１６／０２７０６５６号（参照することによってその全体として本明細書に組み込まれる）にさらに説明されるように、ユーザの眼球異常を補償するために使用されてもよい。いくつかの他の実施形態では、空間光変調器は、種々の光学コンポーネントを通して、画像をユーザに投影してもよい。例えば、以下にさらに説明されるように、空間光変調器は、画像を１つ以上の導波管上に投影してもよく、これは、次いで、画像をユーザに伝送する。
導波管スタックアセンブリ
導波管スタックアセンブリ
【0095】
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４００ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。いくつかの実施形態では、ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応してもよく、図４は、そのウェアラブルシステム２００のいくつかの部分をより詳細に概略的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されてもよい。
【0096】
図４を継続して参照すると、導波管アセンブリ４８０はまた、複数の特徴４５８、４５６、４５４、４５２を導波管間に含んでもよい。いくつかの実施形態では、特徴４５８、４５６、４５４、４５２は、レンズであってもよい。他の実施形態では、特徴４５８、４５６、４５４、４５２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層または構造）。
【0097】
導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂまたは複数のレンズ４５８、４５６、４５４、４５２は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、眼４１０に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４２０、４２２、４２４、４２６、４２８の出力表面から出射し、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられた深度平面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。
【0098】
いくつかの実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、それぞれの対応する導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中への投入のための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、例えば、画像情報を１つ以上の光学導管（光ファイバケーブル等）を介して、画像投入デバイス４２０、４２２、４２４、４２６、４２８のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。
【0099】
コントローラ４６０が、スタックされた導波管アセンブリ４８０および画像投入デバイス４２０、４２２、４２４、４２６、４２８の動作を制御する。コントローラ４６０は、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ４６０は、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ４６０は、いくつかの実施形態では、処理モジュール２６０または２７０（図２に図示される）の一部であってもよい。
【0100】
導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、主要上部表面および主要底部表面およびそれらの主要上部表面と主要底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から画像情報を眼４１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光抽出光学要素（４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａ）は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確性にするために、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、上部主要表面または底部主要表面に配置されてもよい、または導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、透明基板に取り付けられ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、モノリシック材料部品であってもよく、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、その材料部品の表面上および／または内部に形成されてもよい。
【0101】
図４を継続して参照すると、本明細書に議論されるように、各導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管４３２ｂは、そのような導波管４３２ｂの中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管４３４ｂは、眼４１０に到達し得る前に、第１のレンズ４５２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４５２は、眼／脳が、その次の上方の導波管４３４ｂから生じる光を光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管４３６ｂは、眼４１０に到達する前に、その出力光を第１のレンズ４５２および第２のレンズ４５４の両方を通して通過させる。第１および第２のレンズ４５２および４５４の組み合わせられた屈折力は、眼／脳が、第３の導波管４３６ｂから生じる光が次の上方の導波管４３４ｂからの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
【0102】
他の導波管層（例えば、導波管４３８ｂ、４４０ｂ）およびレンズ（例えば、レンズ４５６、４５８）も同様に構成され、スタック内の最高導波管４４０ｂを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ４８０の他側の世界４７０から生じる光を視認／解釈するとき、レンズ４５８、４５６、４５４、４５２のスタックを補償するために、補償レンズ層４３０が、スタックの上部に配置され、下方のレンズスタック４５８、４５６、４５４、４５２の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的ではないまたは電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
【0103】
図４を継続して参照すると、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、光を具体的角度で出力するように構成され得る、立体特徴または表面特徴であってもよい。例えば、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、体積ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明される。
【0104】
いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、回折パターンを形成する回折特徴または「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交差部で眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かって非常に均一なパターンの出射放出となることができる。
【0105】
いくつかの実施形態では、１つ以上のＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられることができる（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折させる）。
【0106】
いくつかの実施形態では、深度平面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第１の深度平面および第２の深度平面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。
【0107】
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズまたは配向の決定に基づいて、または特定の瞳孔サイズまたは配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられた２つの深度平面間を区別不能である場合、コントローラ４６０（ローカル処理およびデータモジュール２６０の実施形態であり得る）は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされることができる。有利には、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
【0108】
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
【0109】
ウェアラブルシステム４００は、世界４７０の一部を結像する、外向きに面した結像システム４６４（例えば、デジタルカメラ）を含むことができる。世界４７０の本部分は、世界カメラの視野（ＦＯＶ）と称され得、結像システム４６４は、時として、ＦＯＶカメラとも称される。世界カメラのＦＯＶは、視認者２１０のＦＯＶと同一である場合とそうではない場合があり、これは、視認者２１０が所与の時間に知覚する、世界４７０の一部を包含する。例えば、いくつかの状況では、世界カメラのＦＯＶは、ウェアラブルシステム４００の視認者２１０の視野より大きくあり得る。視認者による視認または結像のために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚することができるため、ウェアラブルシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。他のコンテキストでは、装着者の移動は、より抑制されてもよく、それに応じて、装着者のＦＯＲは、より小さい立体角に接し得る。外向きに面した結像システム４６４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界４７０内のオブジェクトを検出する等のために、使用されることができる。
【0110】
ウェアラブルシステム４００は、オーディオセンサ２３２、例えば、マイクロホンを含み、周囲音を捕捉することができる。上記に説明されるように、いくつかの実施形態では、１つ以上の他のオーディオセンサが、発話源の場所の決定に有用なステレオ音受信を提供するために位置付けられることができる。オーディオセンサ２３２は、別の実施例として、指向性マイクロホンを備えることができ、これはまた、オーディオ源が位置する場所に関するそのような有用な指向性情報を提供することができる。ウェアラブルシステム４００は、発話源を位置特定する際、または特定の瞬間におけるアクティブ話者を決定するために等、外向きに面した結像システム４６４およびオーディオセンサ２３０の両方からの情報を使用することができる。例えば、ウェアラブルシステム４００は、単独で、または話者の反射された画像（例えば、鏡に見られるように）と組み合わせて、音声認識を使用して、話者の識別を決定することができる。別の実施例として、ウェアラブルシステム４００は、指向性マイクロホンから入手された音に基づいて、環境内の話者の位置を決定することができる。ウェアラブルシステム４００は、発話認識アルゴリズムを用いて、話者の位置から生じる音を解析し、発話のコンテンツを決定し、音声認識技法を使用して、話者の識別（例えば、名前または他の人口統計情報）を決定することができる。
【0111】
ウェアラブルシステム４００はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに面した結像システム４６６（例えば、デジタルカメラ）を含むことができる。内向きに面した結像システム４６６は、眼４１０の画像を捕捉し、眼３０４の瞳孔のサイズおよび／または配向を決定するために使用されてもよい。内向きに面した結像システム４６６は、ユーザが見ている方向（例えば、眼姿勢）を決定する際に使用するため、またはユーザのバイオメトリック識別のため（例えば、虹彩識別を介して）、画像を得るために使用されることができる。いくつかの実施形態では、少なくとも１つのカメラが、眼毎に、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、単一眼４１０のみの瞳孔直径または配向（例えば、対の眼あたり単一カメラのみを使用して）が、決定され、ユーザの両眼に関して類似すると仮定される。内向きに面した結像システム４６６によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム４００によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。ウェアラブルシステム４００はまた、姿勢センサ、例えば、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を決定してもよい。
【0112】
ウェアラブルシステム４００は、ユーザが、コマンドをコントローラ４６０に入力し、ウェアラブルシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。マルチＤＯＦコントローラは、コントローラの一部または全部の可能性として考えられる平行移動（例えば、左／右、前方／後方、または上／下）または回転（例えば、ヨー、ピッチ、またはロール）におけるユーザ入力を感知することができる。平行移動をサポートする、マルチＤＯＦコントローラは、３ＤＯＦと称され得る一方、平行移動および回転をサポートする、マルチＤＯＦコントローラは、６ＤＯＦと称され得る。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム４００に提供してもよい（例えば、ユーザ入力をウェアラブルシステム４００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス４６６は、ウェアラブルシステム４００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００と有線または無線通信することができる。
ウェアラブルシステムの他のコンポーネント
ウェアラブルシステムの他のコンポーネント
【0113】
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つ以上の触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
【0114】
ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、１つ以上の物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、例えば、金属またはプラスチック片、壁、テーブルの表面等、無生物オブジェクトの形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの１つ以上の表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの１つ以上の表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たし得る、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、任意の物理的キーまたはトラックパッドまたはセンサを有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス４６６（図４に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムまたは他のユーザと相互作用してもよい。
【0115】
本開示のウェアラブルデバイス、ＨＭＤ、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明される。
（ウェアラブルシステムとのユーザ相互作用の例示的プロセス）
（ウェアラブルシステムとのユーザ相互作用の例示的プロセス）
【0116】
図５は、仮想ユーザインターフェースと相互作用するための方法５００の実施例のプロセスフロー図である。方法５００は、本明細書に説明されるウェアラブルシステムによって実施されてもよい。方法５００の実施形態は、ウェアラブルシステムによって使用され、ウェアラブルシステムのＦＯＶ内の人物またはドキュメントを検出することができる。
【0117】
ブロック５１０では、ウェアラブルシステムは、特定のＵＩを識別してもよい。ＵＩのタイプは、ユーザによって事前決定されてもよい。ウェアラブルシステムは、ユーザ入力（例えば、ジェスチャ、視覚的データ、オーディオデータ、感覚データ、直接コマンド等）に基づいて、特定のＵＩが取り込まれる必要があることを識別してもよい。ＵＩは、システムの装着者がドキュメントを装着者に提示するユーザを観察している（例えば、旅行者検問所において）、セキュリティシナリオに特有であることができる。ブロック５２０では、ウェアラブルシステムは、仮想ＵＩのためのデータを生成してもよい。例えば、範囲、一般的構造、ＵＩの形状等と関連付けられたデータが、生成されてもよい。加えて、ウェアラブルシステムは、ウェアラブルシステムがＵＩをユーザの物理的場所に関連して表示し得るように、ユーザの物理的場所のマップ座標を決定してもよい。例えば、ＵＩが、身体中心である場合、ウェアラブルシステムは、リングＵＩがユーザの周囲に表示され得る、または平面ＵＩが壁上またはユーザの正面に表示され得るように、ユーザの物理的立ち位置の座標、頭部姿勢、または眼姿勢を決定してもよい。本明細書に説明されるセキュリティコンテキストでは、ＵＩは、装着者が、旅行者および旅行者のドキュメントを見ながら、ＵＩを容易に視認し得るように、ＵＩがドキュメントをシステムの装着者に提示している旅行者を囲繞しているかのように表示されてもよい。ＵＩが、手中心である場合、ユーザの手のマップ座標が、決定されてもよい。これらのマップ点は、ＦＯＶカメラ、感覚入力を通して受信されたデータ、または任意の他のタイプの収集されたデータを通して、導出されてもよい。
【0118】
ブロック５３０では、ウェアラブルシステムは、データをクラウドからディスプレイに送信してもよい、またはデータは、ローカルデータベースからディスプレイコンポーネントに送信されてもよい。ブロック５４０では、ＵＩは、送信されたデータに基づいて、ユーザに表示される。例えば、ライトフィールドディスプレイは、仮想ＵＩをユーザの眼の一方または両方の中に投影することができる。いったん仮想ＵＩが作成されると、ウェアラブルシステムは、単に、ブロック５５０において、より多くの仮想コンテンツを仮想ＵＩ上に生成するためのユーザからのコマンドを待機してもよい。例えば、ＵＩは、ユーザの身体またはユーザの環境内の人物（例えば、旅行者）の身体の周囲の身体中心リングであってもよい。ウェアラブルシステムは、次いで、コマンド（ジェスチャ、頭部または眼移動、音声コマンド、ユーザ入力デバイスからの入力等）を待機してもよく、それが認識される場合（ブロック５６０）、コマンドと関連付けられた仮想コンテンツは、ユーザに表示されてもよい（ブロック５７０）。
（複合現実におけるアバタレンダリングの実施例）
（複合現実におけるアバタレンダリングの実施例）
【0119】
ウェアラブルシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたＦＯＶ画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点（２Ｄ点または３Ｄ点等）のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第１のユーザの世界モデルは、第２のユーザが第１のユーザを囲繞する世界を体験し得るように、（例えば、クラウドネットワーク等のネットワークを経由して）第２のユーザに通信されることができる。
【0120】
図６Ａは、ウェアラブルシステムの別の実施例のブロック図であって、これは、複合現実環境内のアバタ処理およびレンダリングシステム６９０を備えることができる。ウェアラブルシステム６００は、図２に示されるウェアラブルシステム２００の一部であってもよい。本実施例では、ウェアラブルシステム６００は、マップ６２０を備えることができ、これは、マップデータベース７１０（図７に示される）内のデータの少なくとも一部を含んでもよい。マップは、部分的に、ウェアラブルシステム上にローカルで常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所（例えば、クラウドシステム内）に常駐してもよい。姿勢プロセス６１０は、ウェアラブルコンピューティングアーキテクチャ（例えば、処理モジュール２６０またはコントローラ４６０）上で実行され、マップ６２０からのデータを利用して、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を決定してもよい。姿勢データは、ユーザが、システムを体験し、世界内で動作するにつれてオンザフライで収集されたデータから、算出されてもよい。データは、画像、センサ（慣性測定ユニット等、これは、概して、加速度計と、ジャイロスコープコンポーネントとを備える）からのデータ、および実または仮想環境内のオブジェクトと関連する表面情報を含んでもよい。
【0121】
疎点表現は、同時位置特定およびマッピング（例えば、入力が画像／視覚専用である構成を指す、ＳＬＡＭまたはｖＳＬＡＭ）プロセスの出力であってもよい。本システムは、種々のコンポーネントが存在する世界内の場所だけではなく、世界が成る内容も見出すように構成されることができる。姿勢は、マップの取込およびマップからのデータの使用を含む、多くの目標を達成する、構築ブロックであり得る。
【0122】
一実施形態では、疎点位置は、それだけでは完全に適正ではあり得ず、さらなる情報が、多焦点ＡＲ、ＶＲ、またはＭＲ体験を生産するために必要とされ得る。概して、深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、ステレオ６４０と称される、プロセスから算出されてもよく、深度情報は、三角測量または飛行時間感知等の技法を使用して決定される。画像情報およびアクティブパターン（アクティブプロジェクタを使用して作成された赤外線パターン等）、画像カメラから入手された画像、または手のジェスチャ／トーテム６５０が、ステレオプロセス６４０への入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合され得、そのうちの一部は、表面表現とともに要約され得る。例えば、数学的に定義可能な表面は、効率的（例えば、大点群と比較して）であって、ゲームエンジンのような他の処理デバイスへの理解しやすい入力であり得る。したがって、ステレオプロセス（例えば、深度マップ）６４０の出力は、融合プロセス６３０において組み合わせられてもよい。姿勢６１０は、同様に、本融合プロセス６３０への入力であってもよく、融合６３０の出力は、マップ取込プロセス６２０への入力となる。サブ表面は、トポグラフィマッピングにおけるように、相互に接続し、より大きい表面を形成し得、マップは、点および表面の大規模ハイブリッドとなる。
【0123】
複合現実プロセス６６０における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図６Ａに描写される実施形態では、ゲームパラメータが、入力され、システムのユーザが、種々の場所における１匹以上のモンスター、種々の条件下で死にかけている、または逃げているモンスター（ユーザがモンスターを射撃する場合等）、種々の場所における壁または他のオブジェクト、および同等物を伴った状態で、モンスターバトルゲームをプレーしていることを決定し得る。世界マップは、オブジェクトの場所に関する情報またはオブジェクトの意味論情報（例えば、オブジェクトが、平坦であるかまたは丸いか、水平であるかまたは鉛直であるか、テーブルであるかまたはランプであるか等の分類）を含んでもよく、世界マップは、複合現実への別の有益な入力であり得る。世界に対する姿勢は、同様に、入力となり、ほぼあらゆる双方向システムに対して重要な役割を担う。
【0124】
ユーザからの制御または入力は、ウェアラブルシステム６００への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力等を含むことができる。動き回る、またはゲームをプレーするために、例えば、ユーザは、自らが所望する内容に関して、ウェアラブルシステム６００に命令する必要があり得る。単に、自らを空間内で移動させる以外にも利用され得る、種々の形態のユーザ制御が存在する。一実施形態では、トーテム（例えば、ユーザ入力デバイス）または玩具銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。本システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう（例えば、トーテムまたはオブジェクトが、銃である場合、本システムは、場所および配向と、ユーザが、トリガまたは他の感知されるボタンまたは要素（アクティビティがカメラのいずれかの視野内にないときでも、生じている内容を決定することを補助し得る、ＩＭＵ等のセンサを装備し得る）をクリックしているかどうかとを理解するように構成されてもよい）。
【0125】
手のジェスチャの追跡または認識もまた、入力情報を提供し得る。ウェアラブルシステム６００は、ボタン押下、左または右、停止、握持、保持のジェスチャ等に関して、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、１つの構成では、ユーザは、非ゲーム用環境において電子メールまたはカレンダをフリップする、または「フィストバンプ」を別の人物またはプレーヤと行うことを所望し得る。ウェアラブルシステム６００は、動的である場合とそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止のために手を開く、ＯＫのためのサムズアップ、非ＯＫのためのサムズダウン、または指向性コマンドのための右または左または上／下への手のフリップのような単純静的ジェスチャであってもよい。
【0126】
眼追跡は、別の入力である（例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲にレンダリングする）。一実施形態では、眼の輻輳・開散運動が、三角測量を使用して、決定されてもよく、次いで、その特定の人物に関して開発された輻輳・開散運動／遠近調節モデルを使用して、遠近調節が、決定されてもよい。眼追跡は、眼カメラによって実施され、眼視線（例えば、片眼または両眼の方向または配向）を決定することができる。他の技法は、例えば、眼の近傍に設置された電極による電位の測定（例えば、電気眼球図記録）等の眼追跡のために使用されることができる。
【0127】
発話追跡は、単独で、または他の入力（例えば、トーテム追跡、眼追跡、ジェスチャ追跡等）と組み合わせて使用され得る、別の入力であり得る。発話追跡は、単独で、または組み合わせて、発話認識、音声認識を含んでもよい。システム６００は、オーディオストリームを環境から受信する、オーディオセンサ（例えば、マイクロホン）を含むことができる。システム６００は、発話している人物（例えば、発話が、ＡＲＤの装着者または別の人物または音声（例えば、環境内のラウドスピーカによって伝送される記録された音声）からのものであるかどうか）を決定するための音声認識技術と、話されている内容を決定するための発話認識技術とを組み込むことができる。ローカルデータおよび処理モジュール２６０または遠隔処理モジュール２７０は、例えば、隠れマルコフモデル、動的時間伸縮法（ＤＴＷ）ベースの発話認識、ニューラルネットワーク、ディープフィードフォワードおよび再帰ニューラルネットワーク等の深層学習アルゴリズム、エンドツーエンド自動発話認識、機械学習アルゴリズム（図７を参照して説明される）、または音響モデル化または言語モデル化を使用する、他のアルゴリズム等の種々の発話認識アルゴリズムを適用することによって、マイクロホンからのオーディオデータ（または、例えば、ユーザによって鑑賞されているビデオストリーム等の別のストリーム内のオーディオデータ）を処理し、発話のコンテンツを識別することができる。
【0128】
ローカルデータおよび処理モジュール２６０または遠隔処理モジュール２７０はまた、音声認識アルゴリズムを適用することができ、これは、話者が、ウェアラブルシステム６００のユーザ２１０またはユーザが会話している別の人物であるかどうか等、話者の識別を識別することができる。いくつかの例示的音声認識アルゴリズムは、周波数推定、隠れマルコフモデル、ガウス混合物モデル、パターンマッチングアルゴリズム、ニューラルネットワーク、行列表現、ベクトル量子化、話者ダイアライゼーション、決定ツリー、および動的時間伸縮法（ＤＴＷ）技法を含むことができる。音声認識技法はまた、コホートモデルおよび世界モデル等のアンチ話者技法を含むことができる。スペクトル特徴が、話者特性を表す際に使用されてもよい。ローカルデータおよび処理モジュールまたは遠隔データ処理モジュール２７０は、図７を参照して説明される、種々の機械学習アルゴリズムを使用して、音声認識を実施することができる。
【0129】
ウェアラブルシステムの実装は、ＵＩを介したこれらのユーザ制御または入力を使用することができる。ＵＩ要素（例えば、制御、ポップアップウィンドウ、吹き出し、データエントリフィールド等）は、例えば、情報、例えば、オブジェクトのグラフィックまたは意味論情報のディスプレイを閉じるために使用されることができる。
【0130】
カメラシステムに関して、図６Ａに示される例示的ウェアラブルシステム６００は、３つの対のカメラ、すなわち、ユーザの顔の側面に配列される、一対の相対的広ＦＯＶまたは受動ＳＬＡＭカメラと、ステレオ結像プロセス６４０をハンドリングし、また、ユーザの顔の正面における手のジェスチャおよびトーテム／オブジェクト追跡を捕捉するために、ユーザの正面に配向される、異なる対のカメラとを含むことができる。ＦＯＶカメラおよびステレオプロセス６４０のための対のカメラは、外向きに面した結像システム４６４（図４に示される）の一部であってもよい。ウェアラブルシステム６００は、眼ベクトルおよび他の情報を三角測量するために、ユーザの眼に向かって配向される、眼追跡カメラ（図４に示される内向きに面した結像システム４６２の一部であってもよい）を含むことができる。ウェアラブルシステム６００はまた、１つ以上のテクスチャ加工された光プロジェクタ（赤外線（ＩＲ）プロジェクタ等）を備え、テクスチャを場面の中に投入してもよい。
【0131】
ウェアラブルシステム６００は、アバタ処理およびレンダリングシステム６９０を備えることができる。アバタ処理およびレンダリングシステム６９０は、コンテキスト情報に基づいて、アバタを生成、更新、動画化、およびレンダリングするように構成されることができる。アバタ処理およびレンダリングシステム６９０の一部または全部は、単独で、または組み合わせて、ローカル処理およびデータモジュール２６０または遠隔処理モジュール２６２、２６４の一部として実装されることができる。種々の実施形態では、複数のアバタ処理およびレンダリングシステム６９０（例えば、異なるウェアラブルデバイス上に実装されるように）が、仮想アバタ６７０をレンダリングするために使用されることができる。例えば、第１のユーザのウェアラブルデバイスは、第１のユーザの意図を決定するために使用されてもよい一方、第２のユーザのウェアラブルデバイスは、アバタの特性を決定し、第１のユーザのウェアラブルデバイスから受信された意図に基づいて、第１のユーザのアバタをレンダリングすることができる。第１のユーザのウェアラブルデバイスおよび第２のユーザのウェアラブルデバイス（または他のそのようなウェアラブルデバイス）は、例えば、図９Ａおよび９Ｂを参照して説明されるであろうように、ネットワークを介して、通信することができる。
【0132】
図６Ｂは、例示的アバタ処理およびレンダリングシステム６９０を図示する。例示的アバタ処理およびレンダリングシステム６９０は、単独で、または組み合わせて、３Ｄモデル処理システム６８０と、コンテキスト情報分析システム６８８と、アバタ自動スケーラ６９２と、意図マッピングシステム６９４と、解剖学的構造調節システム６９８と、刺激応答システム６９６とを備えることができる。システム６９０は、アバタ処理およびレンダリングのための機能性を図示するように意図され、限定することを意図するものではない。例えば、ある実装では、これらのシステムのうちの１つ以上のものは、別のシステムの一部であってもよい。例えば、コンテキスト情報分析システム６８８の一部は、個々に、または組み合わせて、アバタ自動スケーラ６９２、意図マッピングシステム６９４、刺激応答システム６９６、または解剖学的構造調節システム６９８の一部であってもよい。
【0133】
コンテキスト情報分析システム６８８は、図２および３を参照して説明される、１つ以上のデバイスセンサに基づいて、環境およびオブジェクト情報を決定するように構成されることができる。例えば、コンテキスト情報分析システム６８８は、ユーザまたはユーザのアバタの視認者の外向きに面した結像システム４６４によって入手された画像を使用して、環境およびユーザの環境のオブジェクト（物理的または仮想オブジェクトを含む）またはその中にユーザのアバタがレンダリングされる環境を分析することができる。コンテキスト情報分析システム６８８は、単独で、または場所データまたは世界マップ（例えば、マップ６２０、７１０、９１０）から入手されたデータと組み合わせて、そのような画像を分析し、環境内のオブジェクトの場所およびレイアウトを決定することができる。コンテキスト情報分析システム６８８はまた、仮想アバタ６７０を現実的に動画化するために、ユーザまたはヒト全般の生物学的特徴にアクセスすることができる。例えば、コンテキスト情報分析システム６８８は、違和感曲線を生成することができ、これは、ユーザのアバタの身体の一部（例えば、頭部）がユーザの身体の他の部分に対して違和感のある（または非現実的）位置にないように（例えば、アバタの頭部は、２７０度方向転換されない）、アバタに適用されることができる。ある実装では、１つ以上のオブジェクト認識装置７０８（図７に示される）は、コンテキスト情報分析システム６８８の一部として実装されてもよい。
【0134】
アバタ自動スケーラ６９２、意図マッピングシステム６９４、および刺激応答システム６９６、および解剖学的構造調節システム６９８は、コンテキスト情報に基づいて、アバタの特性を決定するように構成されることができる。アバタのいくつかの例示的特性は、サイズ、外観、位置、配向、移動、姿勢、表現等を含むことができる。アバタ自動スケーラ６９２は、ユーザがアバタを不快な姿勢で見る必要がないように、アバタを自動的にスケーリングするように構成されることができる。例えば、アバタ自動スケーラ６９２は、ユーザが、それぞれ、アバタを見下ろす、またはアバタを見上げる必要がないように、アバタのサイズを増加または減少させ、アバタをユーザの眼の高さに持って来ることができる。意図マッピングシステム６９４は、アバタがその中にレンダリングされる環境に基づいて、ユーザの相互作用の意図を決定し、（正確なユーザ相互作用ではなく）意図をアバタにマッピングすることができる。例えば、第１のユーザの意図は、テレプレゼンスセッションにおいて第２のユーザと通信することであり得る（例えば、図９Ｂ参照）。典型的には、２人が、通信するとき、相互に向かい合う。第１のユーザのウェアラブルシステムの意図マッピングシステム６９４は、テレプレゼンスセッションの間に存在するそのような対面意図を決定することができ、第１のユーザのウェアラブルシステムに、第２のユーザのアバタを第１のユーザに向かってレンダリングさせることができる。第２のユーザが、物理的に方向転換しようとする場合、第２のユーザのアバタを方向転換された位置にレンダリングする代わりに（第２のユーザのアバタの背面を第１のユーザに対してレンダリングさせるであろう）、第１のユーザの意図マッピングシステム６９４は、第２のアバタの顔を第１のユーザに対してレンダリングし続けることができ、これは、テレプレゼンスセッションの推測される意図（例えば、本実施例では、対面意図）である。
【0135】
刺激応答システム６９６は、環境内の関心オブジェクトを識別し、関心オブジェクトに対するアバタの応答を決定することができる。例えば、刺激応答システム６９６は、アバタの環境内の音源を識別し、音源を見るようにアバタを自動的に方向転換させることができる。刺激応答システム６９６はまた、閾値終了条件を決定することができる。例えば、刺激応答システム６９６は、音源が消失した後またはある時間周期が経過した後、アバタをそのオリジナル姿勢に戻させることができる。
【0136】
解剖学的構造調節システム６９８は、生物学的特徴に基づいて、ユーザの姿勢を調節するように構成されることができる。例えば、解剖学的構造調節システム６９８は、違和感曲線（例えば、図３８Ａ－３９を参照する説明参照）に基づいて、ユーザの頭部とユーザの胴体との間またはユーザの上半身と下半身との間の相対的位置を調節するように構成されることができる。
【0137】
３Ｄモデル処理システム６８０は、仮想アバタ６７０を動画化し、ディスプレイ２２０にレンダリングさせるように構成されることができる。３Ｄモデル処理システム６８０は、仮想キャラクタ処理システム６８２と、移動処理システム６８４とを含むことができる。仮想キャラクタ処理システム６８２は、ユーザの３Ｄモデルを生成および更新するように構成されることができる（仮想アバタを作成および動画化するため）。移動処理システム６８４は、例えば、アバタの姿勢を変化させることによって、アバタをユーザの環境内で移動させることによって、またはアバタの顔の表情を動画化することによって等、アバタを動画化するように構成されることができる。図１０を参照してさらに説明されるであろうように、仮想アバタは、リギング技法（例えば、骨格系またはブレンドシェイプ動画技法）を使用して、動画化されることができ、アバタは、２つの部分、すなわち、仮想アバタの外向き外観をレンダリングするために使用される表面表現（例えば、変形可能メッシュ）と、メッシュを動画化するために相互接続された関節の階層セット（例えば、骨格）とにおいて表される。いくつかの実装では、仮想キャラクタ処理システム６８２は、表面表現を編集または生成するように構成されることができる一方、移動処理システム６８４は、アバタを移動させる、メッシュを変形させる等によって、アバタを動画化するために使用されることができる。
（ユーザの環境をマッピングする実施例）
（ユーザの環境をマッピングする実施例）
【0138】
図７は、ＭＲ環境７００の実施例のブロック図である。ＭＲ環境７００は、入力（例えば、ユーザのウェアラブルシステムからの視覚的入力７０２、室内カメラ等の定常入力７０４、種々のセンサからの感覚入力７０６、ユーザ入力デバイス４６６からのジェスチャ、トーテム、眼追跡、ユーザ入力等）を１つ以上のユーザウェアラブルシステム（例えば、ウェアラブルシステム２００またはディスプレイシステム２２０）または定常室内システム（例えば、室内カメラ等）から受信するように構成されてもよい。ウェアラブルシステムは、種々のセンサ（例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、ＧＰＳセンサ、内向きに面した結像システム、外向きに面した結像システム等）を使用して、ユーザの環境の場所および種々の他の属性を決定することができる。本情報はさらに、異なる視点からの画像または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ（室内カメラおよび／または外向きに面した結像システムのカメラ等）によって入手された画像データは、マッピング点のセットに低減されてもよい。
【0139】
１つ以上のオブジェクト認識装置７０８が、受信されたデータ（例えば、点の集合）を通してクローリングし、点を認識またはマッピングし、画像をタグ付けし、マップデータベース７１０を用いて、意味論情報をオブジェクトに結び付けることができる。マップデータベース７１０は、経時的に収集された種々の点およびその対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク（例えば、ＬＡＮ、ＷＡＮ等）を通して相互に接続され、クラウドにアクセスすることができる。
【0140】
本情報およびマップデータベース内の点集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、環境内のオブジェクトを認識してもよい。例えば、オブジェクト認識装置は、顔、人物、窓、壁、ユーザ入力デバイス、テレビ、ドキュメント（例えば、本明細書におけるセキュリティ実施例において説明されるような旅券、運転免許証、パスポート）、ユーザの環境内の他のオブジェクト等を認識することができる。１つ以上のオブジェクト認識装置が、ある特性を伴うオブジェクトのために特殊化されてもよい。例えば、オブジェクト認識装置７０８ａは、顔を認識するために使用されてもよい一方、別のオブジェクト認識装置は、ドキュメントを認識するために使用されてもよい。
【0141】
オブジェクト認識は、種々のコンピュータビジョン技法を使用して実施されてもよい。例えば、ウェアラブルシステムは、外向きに面した結像システム４６４（図４に示される）によって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識（例えば、人物またはドキュメント）、オブジェクト姿勢推定、顔認識（例えば、環境内の人物またはドキュメント上の画像から）、学習、インデックス化、運動推定、または画像分析（例えば、写真、署名、識別情報、旅行情報等のドキュメント内の印を識別する）等を実施することができる。１つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。
【0142】
オブジェクト認識は、加えて、または代替として、種々の機械学習アルゴリズムによって実施されることができる。いったん訓練されると、機械学習アルゴリズムは、ＨＭＤによって記憶されることができる。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、ＤｅｅｐＢｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、ＳｔａｃｋｅｄＧｎｅｒａｌｉｚａｔｉｏｎ等）、または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶することができる。ベースモデルは、開始点として使用され、データタイプ（例えば、テレプレゼンスセッション内の特定のユーザ）、データセット（例えば、テレプレゼンスセッション内のユーザの取得される付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ウェアラブルＨＭＤは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
【0143】
マップデータベース内の本情報および点の集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、オブジェクトを認識し、オブジェクトを意味論情報で補完し、生命をオブジェクトに与えてもよい。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、システムは、いくつかの意味論情報を結び付けてもよい（例えば、ドアは、ヒンジを有し、ヒンジを中心として９０度移動を有する）。オブジェクト認識装置が、点のセットが鏡であることを認識する場合、システムは、鏡が、部屋内のオブジェクトの画像を反射させ得る、反射表面を有するという意味論情報を結び付けてもよい。意味論情報は、本明細書に説明されるように、オブジェクトのアフォーダンスを含むことができる。例えば、意味論情報は、オブジェクトの法線を含んでもよい。システムは、ベクトルを割り当てることができ、その方向は、オブジェクトの法線を示す。経時的に、マップデータベースは、システム（ローカルに常駐し得る、または無線ネットワークを通してアクセス可能であり得る）がより多くのデータを世界から蓄積するにつれて成長する。いったんオブジェクトが認識されると、情報は、１つ以上のウェアラブルシステムに伝送されてもよい。例えば、ＭＲ環境７００は、Ｃａｌｉｆｏｒｎｉａで発生している場面についての情報を含んでもよい。環境７００は、Ｎｅｗ Ｙｏｒｋにおける１人以上のユーザに伝送されてもよい。ＦＯＶカメラおよび他の入力から受信されたデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第２のユーザに正確に「パス」され得るように、種々の画像から収集された点をマッピングし、オブジェクトを認識すること等ができる。環境７００はまた、位置特定目的のために、トポロジマップを使用してもよい。
【0144】
図８は、認識されたオブジェクトに関連して仮想コンテンツをレンダリングする方法８００の実施例のプロセスフロー図である。方法８００は、仮想場面がウェアラブルシステムのユーザに提示され得る方法を説明する。ユーザは、その場面から地理的に遠隔に存在してもよい。例えば、ユーザは、Ｎｅｗ Ｙｏｒｋに存在し得るが、Ｃａｌｉｆｏｒｎｉａで現在起こっている場面を視認することを所望し得る、またはＣａｌｉｆｏｒｎｉａに存在する友人と散歩に行くことを所望し得る。
【0145】
ブロック８１０では、ウェアラブルシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成されてもよい。ユーザのＦＯＶカメラ、センサ、ＧＰＳ、眼追跡等が、ブロック８１０において、情報をシステムに伝達する。システムは、ブロック８２０において、本情報に基づいて、疎点を決定してもよい。疎点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示および理解する際に使用され得る、姿勢データ（例えば、頭部姿勢、眼姿勢、身体姿勢、または手のジェスチャ）を決定する際に使用されてもよい。オブジェクト認識装置７０８ａ－７０８ｎは、ブロック８３０において、これらの収集された点を通してクローリングし、マップデータベースを使用して、１つ以上のオブジェクトを認識してもよい。本情報は、次いで、ブロック８４０において、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、ブロック８５０において、適宜、ユーザに表示されてもよい。例えば、所望の仮想場面（例えば、ＣＡにおけるユーザ）が、Ｎｅｗ Ｙｏｒｋにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。
（複数のウェアラブルシステム間の例示的通信）
（複数のウェアラブルシステム間の例示的通信）
【0146】
図９Ａは、相互に相互作用する複数のユーザデバイスを描写する、全体的システム図を図式的に図示する。コンピューティング環境９００は、ユーザデバイス９３０ａ、９３０ｂ、９３０ｃを含む。ユーザデバイス９３０ａ、９３０ｂ、および９３０ｃは、ネットワーク９９０を通して、相互に通信することができる。ユーザデバイス９３０ａ－９３０ｃはそれぞれ、ネットワークインターフェースを含み、ネットワーク９９０を介して、遠隔コンピューティングシステム９２０（また、ネットワークインターフェース９７１を含んでもよい）と通信することができる。ネットワーク９９０は、ＬＡＮ、ＷＡＮ、ピアツーピアネットワーク、無線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または任意の他のネットワークであってもよい。コンピューティング環境９００はまた、１つ以上の遠隔コンピューティングシステム９２０を含むことができる。遠隔コンピューティングシステム９２０は、クラスタ化され、異なる地理的場所に位置する、サーバコンピュータシステムを含んでもよい。ユーザデバイス９３０ａ、９３０ｂ、および９３０ｃは、ネットワーク９９０を介して、遠隔コンピューティングシステム９２０と通信してもよい。
【0147】
遠隔コンピューティングシステム９２０は、遠隔データリポジトリ９８０を含んでもよく、これは、具体的ユーザの物理および／または仮想世界についての情報を維持することができる。データ記憶装置９８０は、ユーザ、ユーザの環境（例えば、ユーザの環境の世界マップ）、またはユーザのアバタの構成に関連する情報を記憶することができる。遠隔データリポジトリは、図２に示される遠隔データリポジトリ２８０の実施形態であってもよい。遠隔コンピューティングシステム９２０はまた、遠隔処理モジュール９７０を含んでもよい。遠隔処理モジュール９７０は、図２に示される遠隔処理モジュール２７０の実施形態であってもよい。遠隔処理モジュール９７０は、１つ以上のプロセッサを含んでもよく、これは、ユーザデバイス（９３０ａ、９３０ｂ、９３０ｃ）および遠隔データリポジトリ９８０と通信することができる。プロセッサは、ユーザデバイスおよび他の源から取得される情報を処理することができる。いくつかの実装では、処理または記憶の少なくとも一部は、ローカル処理およびデータモジュール２６０（図２に示されるように）によって提供されることができる。遠隔コンピューティングシステム９２０は、所与のユーザが、具体的ユーザ自身の物理的および／または仮想世界についての情報を別のユーザと共有することを可能にしてもよい。
【0148】
ユーザデバイスは、単独で、または組み合わせて、ウェアラブルデバイス（ＨＭＤまたはＡＲＤ等）、コンピュータ、モバイルデバイス、または任意の他のデバイスであってもよい。例えば、ユーザデバイス９３０ｂおよび９３０ｃは、図２に示されるウェアラブルシステム２００（または図４に示されるウェアラブルシステム４００）の実施形態であってもよく、これは、ＡＲ／ＶＲ／ＭＲコンテンツを提示するように構成されることができる。
【0149】
ユーザデバイスのうちの１つ以上のものは、図４に示されるユーザ入力デバイス４６６と併用されることができる。ユーザデバイスは、ユーザおよびユーザの環境についての情報を取得することができる（例えば、図４に示される外向きに面した結像システム４６４を使用して）。ユーザデバイスおよび／または遠隔コンピューティングシステム１２２０は、ユーザデバイスから取得される情報を使用して、画像、点、および他の情報の集合を構築、更新、および建造することができる。例えば、ユーザデバイスは、入手された未加工情報を処理し、さらなる処理のために、処理された情報を遠隔コンピューティングシステム１２２０に送信してもよい。ユーザデバイスはまた、処理のために、未加工情報を遠隔コンピューティングシステム１２２０に送信してもよい。ユーザデバイスは、処理された情報を遠隔コンピューティングシステム１２２０から受信し、ユーザに投影させる前に、最終処理を提供してもよい。ユーザデバイスはまた、取得された情報を処理し、処理された情報を他のユーザデバイスに渡してもよい。ユーザデバイスは、入手された情報を処理しながら、遠隔データリポジトリ１２８０と通信してもよい。複数のユーザデバイスおよび／または複数のサーバコンピュータシステムが、入手された画像の構築および／または処理に関与してもよい。
【0150】
物理的世界に関する情報は、経時的に展開されてもよく、異なるユーザデバイスによって収集される情報に基づいてもよい。仮想世界のモデルはまた、経時的に展開され、異なるユーザの入力に基づいてもよい。そのような情報およびモデルは、時として、本明細書では、世界マップまたは世界モデルと称され得る。図６および７を参照して説明されるように、ユーザデバイスによって入手された情報は、世界マップ９１０を構築するために使用されてもよい。世界マップ９１０は、図６Ａに説明されるマップ６２０の少なくとも一部を含んでもよい。種々のオブジェクト認識装置（例えば、７０８ａ、７０８ｂ、７０８ｃ…７０８ｎ）が、オブジェクトおよびタグ画像を認識するため、および意味論情報をオブジェクトに付加するために使用されてもよい。これらのオブジェクト認識装置はまた、図７に説明される。
【0151】
遠隔データリポジトリ９８０は、データを記憶し、世界マップ９１０の構築を促進するために使用されることができる。ユーザデバイスは、ユーザの環境についての情報を常に更新し、世界マップ９１０についての情報を受信することができる。世界マップ９１０は、ユーザまたは別の人物によって作成されてもよい。本明細書に議論されるように、ユーザデバイス（例えば、９３０ａ、９３０ｂ、９３０ｃ）および遠隔コンピューティングシステム９２０は、単独で、または組み合わせて、世界マップ９１０を構築および／または更新してもよい。例えば、ユーザデバイスは、遠隔処理モジュール９７０および遠隔データリポジトリ９８０と通信してもよい。ユーザデバイスは、ユーザおよびユーザの環境についての情報を入手および／または処理してもよい。遠隔処理モジュール９７０は、遠隔データリポジトリ９８０およびユーザデバイス（例えば、９３０ａ、９３０ｂ、９３０ｃ）と通信し、ユーザおよびユーザの環境についての情報を処理してもよい。遠隔コンピューティングシステム９２０は、例えば、ユーザの画像を選択的にクロッピングする、ユーザの背景を修正する、仮想オブジェクトをユーザの環境に追加する、ユーザの発話に補助情報で注釈を付ける等、ユーザデバイス（例えば、９３０ａ、９３０ｂ、９３０ｃ）によって入手された情報を修正することができる。遠隔コンピューティングシステム９２０は、処理された情報を同一または異なるユーザデバイスに送信することができる。
（テレプレゼンスセッションの実施例）
（テレプレゼンスセッションの実施例）
【0152】
図９Ｂは、個別のウェアラブルシステムの２人のユーザがテレプレゼンスセッションを行っている、実施例を描写する。２人のユーザ（本実施例では、Ａｌｉｃｅ９１２およびＢｏｂ９１４と命名される）が、本図に示される。２人のユーザは、その個別のウェアラブルデバイス９０２および９０４を装着しており、これは、テレプレゼンスセッションにおいて他のユーザの仮想アバタを表すために、図２を参照して説明される、ＨＭＤ（例えば、システム２００のディスプレイデバイス２２０）を含むことができる。２人のユーザは、ウェアラブルデバイスを使用して、テレプレゼンスセッションを行うことができる。２人のユーザを分離する、図９Ｂにおける鉛直線は、ＡｌｉｃｅおよびＢｏｂが、テレプレゼンスを介して彼らが通信する間、２つの異なる場所に存在し得る（但し、その必要はない）（例えば、Ａｌｉｃｅは、Ａｔｌａｎｔａにおけるそのオフィス内に存在し得る一方、Ｂｏｂは、Ｂｏｓｔｏｎの屋外に存在する）ことを図示するように意図されることに留意されたい。
【0153】
図９Ａを参照して説明されるように、ウェアラブルデバイス９０２および９０４は、相互または他のユーザデバイスおよびコンピュータシステムと通信してもよい。例えば、Ａｌｉｃｅのウェアラブルデバイス９０２は、例えば、ネットワーク９９０（図９Ａに示される）を介して、Ｂｏｂのウェアラブルデバイス９０４と通信してもよい。ウェアラブルデバイス９０２および９０４は、ユーザの環境および環境内の移動（例えば、個別の外向きに面した結像システム４６４または１つ以上の場所センサを介して）および発話（例えば、個別のオーディオセンサ２３２を介して）を追跡することができる。ウェアラブルデバイス９０２および９０４はまた、内向きに面した結像システム４６２によって入手されたデータに基づいて、ユーザの眼移動または視線を追跡することができる。いくつかの状況では、ウェアラブルデバイスはまた、ユーザが反射性表面の近傍に存在する場合、ユーザの顔の表情または他の身体移動（例えば、腕または脚部移動）を捕捉または追跡することができ、外向きに面した結像システム４６４は、ユーザの反射された画像を取得し、ユーザの顔の表情または他の身体移動を観察することができる。
【0154】
ウェアラブルデバイスは、第１のユーザおよび環境の入手された情報を使用して、第２のユーザのウェアラブルデバイスによってレンダリングされ、第２のユーザの環境内における第１のユーザの存在の有形感覚を作成するであろう、仮想アバタを動画化することができる。例えば、ウェアラブルデバイス９０２および９０４および遠隔コンピューティングシステム９２０は、単独で、または組み合わせて、Ｂｏｂのウェアラブルデバイス９０４による提示のために、Ａｌｉｃｅの画像または移動を処理してもよい、またはＡｌｉｃｅのウェアラブルデバイス９０２による提示のために、Ｂｏｂの画像または移動を処理してもよい。本明細書にさらに説明されるように、アバタは、例えば、ユーザの意図、ユーザの環境またはその中にアバタがレンダリングされる環境、またはヒトの他の生物学的特徴等のコンテキスト情報に基づいて、レンダリングされることができる。
【0155】
実施例は、２人のみのユーザを参照するが、本明細書に説明される技法は、２人のユーザに限定されるべきではない。ウェアラブルデバイス（または他のテレプレゼンスデバイス）を使用する、複数のユーザ（例えば、２人、３人、４人、５人、６人、またはそれよりも多く）が、テレプレゼンスセッションに参加してもよい。特定のユーザのウェアラブルデバイスは、テレプレゼンスセッションの間、その特定のユーザに、他のユーザのアバタを提示することができる。さらに、本図における実施例は、環境内に立っているユーザを示すが、ユーザは、立っているように要求されない。ユーザのいずれかは、テレプレゼンスセッションの間、立っていてもよい、座っていてもよい、膝をついていてもよい、横になっていてもよい、歩いていてもよい、または走っていてもよい、または任意の位置または移動状態にあってもよい。ユーザはまた、本明細書の実施例に説明される以外の物理的環境内に存在してもよい。ユーザは、テレプレゼンスセッションを行っている間、別個の環境内に存在してもよい、または同一環境内に存在してもよい。全てのユーザが、テレプレゼンスセッションにおいて、その個別のＨＭＤを装着することが要求されるわけではない。例えば、Ａｌｉｃｅは、ウェブカメラおよびコンピュータ画面等の他の画像入手およびディスプレイデバイスを使用してもよい一方、Ｂｏｂは、ウェアラブルデバイス９０４を装着する。
（仮想アバタの実施例）
（仮想アバタの実施例）
【0156】
図１０は、ウェアラブルシステムのユーザによって知覚されるようなアバタの実施例を図示する。図１０に示される例示的アバタ１０００は、部屋内の物理的植物の背後に立っている、Ａｌｉｃｅ（図９Ｂに示される）のアバタであることができる。アバタは、例えば、サイズ、外観（例えば、皮膚色、顔色、髪型、衣類、顔特徴（例えば、しわ、ほくろ、しみ、にきび、えくぼ等））、位置、配向、移動、姿勢、表現等の種々の特性を含むことができる。これらの特性は、アバタと関連付けられたユーザに基づいてもよい（例えば、Ａｌｉｃｅのアバタ１０００は、実際の人物Ａｌｉｃｅの一部または全部の特性を有してもよい）。本明細書にさらに説明されるように、アバタ１０００は、コンテキスト情報に基づいて、動画化されることができ、これは、アバタ１０００の特性のうちの１つ以上のものに対する調節を含むことができる。概して、人物（例えば、Ａｌｉｃｅ）の物理的外観を表すように本明細書に説明されるが、これは、限定ではなく、例証のためのものである。Ａｌｉｃｅのアバタは、Ａｌｉｃｅ以外の別の実際または架空のヒト、擬人化されたオブジェクト、創造物、または任意の他の実際または架空の表現を表し得る。さらに、図１０における植物は、物理的である必要はなく、ウェアラブルシステムによってユーザに提示される植物の仮想表現であり得る。また、図１０に示されるものの付加的または異なる仮想コンテンツも、ユーザに提示され得る。
（アバタを動画化するための例示的制御システム）
（アバタを動画化するための例示的制御システム）
【0157】
図６Ｂを参照して説明されるように、アバタは、リギング技法を使用して、ウェアラブルシステムによって、動画化されることができる。リギングの目標は、単純なヒトによって理解可能な制御に基づいて、アバタの魅力的で高忠実性の変形を提供することである。概して、最も人を引き付ける変形は、少なくとも部分的に、実世界サンプル（例えば、身体移動、関節運動、顔のゆがみ、表現等を実施する、実際のヒトの写真測量走査）または芸術指向的展開（実世界サンプリングに基づいてもよい）に基づく。複合現実環境におけるアバタのリアルタイム制御は、図６Ｂを参照して説明される、アバタ処理およびレンダリングシステム６９０の実施形態によって提供されることができる。
【0158】
リギングは、アバタの身体の変形（例えば、顔のゆがみ）についての情報をメッシュ上に転写するための技法を含む。メッシュは、３Ｄ点（例えば、頂点）の集合であって、これらの頂点を共有する、ポリゴンのセットを伴うことができる。図１０は、アバタ１０００の眼の周囲のメッシュ１０１０の実施例を示す。メッシュを動画化することは、頂点の一部または全部を３Ｄ空間内の新しい位置に移動させることによって、メッシュを変形させることを含む。これらの位置は、リグ（下記に説明される）の下層骨の位置または配向によって、または顔の表情等の動画のための時間または他の状態情報によってパラメータ化されたユーザ制御を通して、影響されることができる。メッシュのこれらの変形のための制御システムは、多くの場合、リグと称される。図６Ｂの例示的アバタ処理およびレンダリングシステム６９０は、３Ｄモデル処理システム６８０を含み、これは、リグを実装することができる。
【0159】
独立して、各頂点を移動させ、所望の変形を達成することは、非常に時間がかかり、労力集約的であり得るため、リグは、典型的には、メッシュを制御することをより容易にする、コンピュータ化されたコマンドとして、一般的な望ましい変形を提供する映画等の最高仕様視覚効果生産に関しては、リグが、大量の数学的算出を実施し、高度に現実的な動画効果を達成するための十分な生産時間が存在し得る。しかし、リアルタイムアプリケーション（複合現実において等）に関しては、変形の速さは、非常に有利であり得、異なるリギング技法が、使用されてもよい。リグは、多くの場合、骨格系および／またはブレンドシェイプに依拠する、変形を利用する。
（例示的骨格系）
（例示的骨格系）
【0160】
骨格系は、階層内の関節の集合としての変形を表す。関節（骨とも呼ばれる）は、主に、平行移動、回転、およびスケールの変化を含む、空間内の変換を表す。関節の半径および長さも、表され得る。骨格系は、関節間の親－子関係を表す、階層であって、例えば、肘関節は、肩の子であって、手首は、肘関節の子である。子関節は、子関節が親の変換を継承するように、その親の関節に対して変換することができる。例えば、肩を移動させることは、指の先端までの全ての関節を移動させる結果をもたらす。その名称にもかかわらず、骨格は、実世界の骨格を表す必要はなく、メッシュの変形を制御するためにリグ内で使用される階層を説明することができる。例えば、髪は、系統内の一連の関節として表されることができ、アバタの顔のゆがみに起因する皮膚運動（例えば、笑顔になる、眉を顰める、笑う、発話する、瞬目等のアバタの表現を表す）は、顔リグによって制御される一連の顔関節によって表されることができ、筋肉変形は、関節によってモデル化されることができ、衣類の運動は、関節のグリッドによって表されることができる。
【0161】
骨格系は、アバタの生物学的骨格に類似し得る、低レベル（いくつかの状況では、低次とも称される）コア骨格を含むことができる。本コア骨格は、解剖学的に正しい骨の実際のセットに正確にマッピングされ得ないが、少なくとも類似配向および場所における骨のサブセットを有することによって、骨の実際のセットに類似することができる。例えば、鎖骨は、接地面と略平行であって、大まかには、頸部と肩との間に位置し得、正確に同一の長さまたは位置ではなくてもよい。筋肉、衣類、髪等を表す、より高次の関節構造は、低レベル骨格の上に層化されることができる。リグは、コア骨格のみを動画化してもよく、より高次の関節構造は、例えば、スキニング技法（例えば、線形ブレンドスキニング（ＬＢＳ）等の頂点加重方法）を使用して、コア骨格の動画に基づいて、リギング論理によって、アルゴリズム的に駆動されることができる。リアルタイムリギングシステム（アバタ処理およびレンダリングシステム６９０等）は、３Ｄモデル処理システム６８０による効率的リアルタイム処理を提供するために、所与の頂点に割り当てられ得る関節の数（例えば、８つまたはより少ない）に関して限界を課してもよい。
（ブレンドシェイプ）
（ブレンドシェイプ）
【0162】
ブレンドシェイプは、一部または全部の頂点が、加重に基づいて、所望の量だけ３Ｄ空間内で移動される、メッシュの変形を含む。各頂点は、具体的ブレンドシェイプ標的のためのその独自のカスタム運動を有し得、頂点を同時に移動させることは、所望の形状を生成するであろう。ブレンドシェイプの程度は、ブレンドシェイプ加重を使用することによって、適用されることができる。リグは、組み合わせて、ブレンドシェイプを適用し、所望の変形を達成してもよい。例えば、笑顔を生産するために、リグは、口角を引っ張り、上唇を上昇させ、下唇を低下させ、眼、眉、鼻、およびえくぼを移動させるため、ブレンドシェイプを適用してもよい。
（例示的リギング技法）
（例示的リギング技法）
【0163】
リグは、多くの場合、層内に構築され、より下層のより単純である層は、より高次の層を駆動し、これは、より現実的なメッシュ変形を生産する。リグは、リギング制御論理によって駆動される、骨格系およびブレンドシェイプの両方を実装することができる。制御論理は、関節間の制約（例えば、具体的移動または親－子関節制約を提供するための照準、配向、および位置制約）、動態（例えば、髪および衣類のため）、姿勢ベースの変形（骨格の姿勢が、定義された姿勢からの距離に基づいて、変形を駆動するために使用される、ＰＳＤ）、所望のより高いレベルの出力（例えば、顔の表情）が（骨格系またはブレンドシェイプの）より低いレベルの入力のセットから学習される、機械学習技法（例えば、図７を参照して説明されるもの）等を含むことができる。いくつかの機械学習技法は、放射基底関数（ＲＢＦ）を利用することができる。
【0164】
いくつかの実施形態では、３Ｄモデル処理システム６８０は、アバタを複合現実環境内にリアルタイムで動画化し、（ＭＲシステムのユーザと）双方向にさせ、適切なコンテキストアバタ挙動（例えば、意図ベースの挙動）をユーザの環境内に提供する。システム６８０は、アバタのより高いレベルの変形（例えば、ブレンドシェイプ、補正）を制御し、アバタの所望の移動および表現を生産する、表現、制約、変換（例えば、平行移動、回転、スケーリング、剪断等の３Ｄ空間内の頂点の移動）等のシステムをさらに駆動する、コア骨格階層を備える、層化アバタ制御システムを駆動してもよい。
（仮想アバタを環境内に現実的かつ動的にレンダリングすることの例示的問題）
（仮想アバタを環境内に現実的かつ動的にレンダリングすることの例示的問題）
【0165】
図１１Ａ－１１Ｄは、仮想アバタが、不自然な外観を有する、または非現実的相互作用を生じさせ得る、種々の環境内のアバタの例示的場面を図示する。アバタ１１００は、Ｂｏｂのアバタであってもよい。図９Ｂを参照して説明されるように、アバタ１１００は、例えば、意図、姿勢、移動、表現、またはアクションを含む、Ｂｏｂの特性に基づいて、動画化されてもよい。
【0166】
図１１Ａは、３人のユーザ１１１２、１１１４、および１１１６が、テレプレゼンスセッションの間、アバタ１１００と相互作用する、例示的場面１１０２を図示する。しかしながら、示されるように、本実施例では、Ｂｏｂのアバタ１１００は、３人のユーザ１１１２、１１１４、および１１１６と比較して、比較的に小さく、これは、ヒトが、多くの場合、アイコンタクトおよび近似眼の高さを相互に維持しながら、相互に通信することが最も快適であると感じるため、ぎこちない相互作用につながり得る。したがって、アバタと３人のユーザとの間の通視線における差異に起因して、３人のユーザは、アバタ１１００を見る、または会話におけるソーシャル動態を維持（または改変）するために、自らを不快な位置において姿勢をとる必要があり得る。例えば、ユーザ１１１２は、アバタの眼を見るために、膝をついており、ユーザ１１１４は、アバタを見下ろしており、ユーザ１１１６は、その身体を前方に屈曲させ、アバタ１１００との会話に従事している。不適切に定寸されたアバタによって生じる、ユーザの物理的疲労を低減させるために、有利には、いくつかの実装では、ウェアラブルシステムは、例えば、他のユーザの眼の高さレベル等のコンテキスト情報に基づいて、アバタを自動的にスケーリングし、アバタのサイズを増加または減少させることができる。そのような調節は、アバタと他者との間の直接アイコンタクトを増加させるかまたは最大限にする様式において実装され、したがって、アバタ－ヒト通信を促進することができる。例えば、アバタは、ウェアラブルデバイスが、アバタの頭部を視認者の眼レベルにレンダリングし得、したがって、ユーザが、アバタと相互作用する間、物理的疲労を体験する必要がなくなり得るように、スケーリングされることができる。コンテキスト情報に基づいてアバタを動的にスケーリングする詳細な説明および実施例はさらに、図１２Ａ－１８Ｂを参照して説明される。
【0167】
図６Ｂおよび１０を参照して説明されるように、ユーザのアバタは、ユーザの特性に基づいて、動画化されることができる。しかしながら、アバタの特性の中へのユーザの特性の１対１のマッピングは、不自然なユーザ相互作用をもたらす、またはユーザの誤ったメッセージまたは意図を視認者に伝達し得るため、問題となり得る。図１１Ｂ－１１Ｄは、１対１のマッピング（ユーザとアバタとの間の動画化）が問題をもたらし得る、いくつかの例示的シナリオを図示する。
【0168】
図１１Ｂは、テレプレゼンスセッションの間、ＢｏｂがＣｈａｒｌｉｅに話しかけている、場面を図示する。本図における場面は、２つの環境１１２０ａおよび１１２０ｂを含む。環境１１２０ａは、Ｂｏｂが常駐する、場所である。環境１１２０ｂは、Ｃｈａｒｌｉｅ１１１８が常駐し、物理的テーブル１１２２を含み、Ｃｈａｒｌｉｅがテーブル１１２２の隣の椅子に着座している、場所である。Ｃｈａｒｌｉｅは、例えば、ディスプレイ２２０を介して、Ｂｏｂのアバタ１１００を知覚することができる。環境１１２０ａ内では、Ｂｏｂは、西に向いている（座標１１２８によって示されるように）。Ｂｏｂのアバタ１１００を動画化するために、図１１Ｂでは、Ｂｏｂの特性が、Ｂｏｂのアバタ１１００に１対１であるようにマッピングされる。しかしながら、本マッピングは、Ｃｈａｒｌｉｅの環境を考慮せず、アバタ１１００との不自然または違和感のあるユーザ相互作用体験もたらすため、問題となる。例えば、Ｂｏｂのアバタは、Ｃｈａｒｌｉｅが椅子に着座しているため、Ｃｈａｒｌｉｅより背が高く、Ｃｈａｒｌｉｅは、Ｂｏｂのアバタ１１００との通信を維持するために、その頸部を歪ませる必要があり得る。別の実施例として、Ｂｏｂのアバタ１１００は、Ｂｏｂが西に向いているため、西に向いている。しかしながら、Ｃｈａｒｌｉｅは、Ｂｏｂのアバタ１１００の東に存在する。したがって、Ｃｈａｒｌｉｅは、Ｂｏｂのアバタの背面を知覚し、Ｂｏｂのアバタ１１００によって反映されるようなＢｏｂの顔の表情を観察することができない。Ｃｈａｒｌｉｅに対する本Ｂｏｂのアバタ１１００の配向はまた、ＢｏｂがＣｈａｒｌｉｅとフレンドリーに会話することを意図している場合でも、不正確なソーシャルメッセージ（例えば、ＢｏｂがＣｈａｒｌｉｅと関わることを所望していない、またはＢｏｂがＣｈａｒｌｉｅに怒っている）を伝達し得る。
【0169】
図１１Ｃは、Ｂｏｂのアバタ１１００がＣｈａｒｌｉｅの環境内の物理的オブジェクトを考慮せずにレンダリングされる、場面を図示する。本場面は、２つの環境１１３０ａおよび１１３０ｂを図示する。Ｂｏｂは、環境１１３０ａ内に位置し、Ｃｈａｒｌｉｅは、環境１１３０ｂ内に存在する。図示されるように、Ｂｏｂは、環境１１３０ａ内の椅子１１２４に着座している。本実施例に図示される、Ｂｏｂの姿勢とＢｏｂのアバタの姿勢の１対１のマッピングに起因して、Ｂｏｂのアバタ１１００もまた、Ｃｈａｒｌｉｅの環境１１３０ｂ内において着座姿勢でレンダリングされる。しかしながら、Ｃｈａｒｌｉｅの環境には、椅子が存在しない。その結果、Ｂｏｂのアバタ１１００は、空中に着座しているようにレンダリングされ、これは、Ｂｏｂのアバタ１１００の不自然な外観をもたらし得る。
【0170】
図１１Ｄは、１対１のマッピングが仮想アバタの非現実的移動を生じさせる、例示的場面を図示する。図１１Ｄにおける場面は、２つの環境１１４０ａおよび１１４０ｂを図示する。Ｂｏｂは、その環境１１４０ａ内において東に向かって移動している。Ｂｏｂの移動１１４２をＢｏｂのアバタ１１００がレンダリングされる環境１１４０ｂにマッピングするために、Ｂｏｂのアバタ１１００もまた、東に向かって移動する（例えば、位置１１４２ａから位置１１４２ｂに）。しかしながら、環境１１４０ｂは、テーブル１１２６を有する。Ｂｏｂの移動１１４２をＢｏｂのアバタ１１００の移動に直接マッピングすることによって、Ｂｏｂのアバタ１１００は、テーブルの中に直線に移動し、テーブル１１２６に捕らえられるように現れ、これは、Ｂｏｂのアバタ１１００の不自然かつ非現実的移動および外観をもたらす。
【0171】
有利には、いくつかの実装では、ウェアラブルシステム２００は、アバタが表示される環境に関連するコンテキスト情報に基づいて、アバタをレンダリングする、またはユーザの意図を伝達するように構成されることができ（直接の１対１のマッピングではなく）、したがって、アバタによる不自然なまたは非現実的外観または相互作用を回避し得る。例えば、ウェアラブルシステム２００は、コンテキスト情報およびＢｏｂのアクションを分析し、Ｂｏｂのアクションの意図を決定することができる。ウェアラブルシステム２００は、Ｂｏｂのアクションおよびその中にＢｏｂのアバタがレンダリングされるべき環境についてのコンテキスト情報に照らして、Ｂｏｂのアバタの特性を調節し、Ｂｏｂの意図を反映させることができる。
【0172】
例えば、図１１Ｂを参照すると、西向きに向くようにアバタ１１００をレンダリングするのではなく、ウェアラブルシステム２００は、Ｂｏｂが、通常、対面で生じる、フレンドリーな様式において、Ｃｈａｒｌｉｅと会話することを意図するため、Ｃｈａｒｌｉｅ１１１８に向くようにアバタを方向転換させることができる。しかしながら、Ｂｏｂが、Ｃｈａｒｌｉｅに怒っている（例えば、Ｂｏｂのシステム上のマイクロホンによって検出されるようなＢｏｂの発話のトーン、内容、音量、またはＢｏｂの顔の表情によって決定されるように）場合、ウェアラブルシステム２００は、ＢｏｂがＣｈａｒｌｉｅから外方を向くように、Ｂｏｂの配向を保つことができる。
【0173】
別の実施例として、Ｂｏｂのアバタ１１００を空中に着座しているようにレンダリングする（図１１Ｃに示されるように）のではなく、ウェアラブルシステム２００は、Ｃｈａｒｌｉｅの環境内に着座するために好適な水平表面を伴うオブジェクト（例えば、ベッドまたはソファ）を自動的に識別することができ、識別された表面上に（空中ではなく）着座しているようにＢｏｂのアバタ１１００をレンダリングすることができる。Ｃｈａｒｌｉｅの環境１１３０ｂ内に、Ｂｏｂのアバタ１１００が着座し得る場所が存在しない場合（例えば、全ての椅子が、ヒトまたは他のアバタのいずれかによって占有されている、または着座可能表面が存在しない）、ウェアラブルシステムは、代わりに、Ｂｏｂのアバタを立っているようにレンダリングする、または仮想アバタが着座するための仮想椅子をレンダリングしてもよい。
【0174】
さらに別の実施例として、図１１Ｄを参照すると、テーブルの中に、またはそれを通して歩行するようにＢｏｂのアバタをレンダリングするのではなく、ウェアラブルシステムは、環境１１４０ｂ内のＢｏｂのアバタのルート上の障害物として、テーブル１１２６の存在を検出することができる（例えば、環境１１４０ｂの世界マップ９１０に基づいて、または環境１１４０ｂ内の視認者のウェアラブルデバイスの外向きに面した結像システム４６４によって入手された画像に基づいて）。ウェアラブルシステム２００は、故に、テーブル１１２６を迂回する、またはテーブルに先立って、停止するように、アバタ１１００のルートを変更することができる。意図ベースのレンダリングに関連するさらなる詳細は、図１９Ａ－２２を参照して説明される。
（コンテキスト情報に基づいて仮想アバタをスケーリングする実施例）
（コンテキスト情報に基づいて仮想アバタをスケーリングする実施例）
【0175】
図１１Ａを参照して説明されるように、不適切にスケーリングされたアバタは、アバタの視認者にとって、物理的疲労をもたらし得、アバタとユーザとの間の不適切なソーシャル相互作用の尤度を増加させ得る。例えば、アバタを不適切にスケーリングすることは、ユーザに対して不快感または痛み（例えば、頸部痛）を引き起こし得る（例えば、ユーザが、アバタを見上げる、または見下ろす必要があるため）。そのような不適切なスケーリングはまた、ユーザにとって、ぎこちないソーシャル動態を提供し得る。実施例として、不適切に定寸されたアバタ（例えば、視認者より背が低いアバタ）は、視認者の身体の不適切なまたは不適当な領域を見ているようにレンダリングされ得る。別の実施例として、ユーザとアバタとの間の異なる通視線または眼レベルは、ソーシャル劣等感または優越感を不適切に含意し得る。
【0176】
例えば、フレンドリーな会話では、ユーザの眼は、典型的には、他のユーザの顔のソーシャルトライアングルと呼ばれる領域に向かって指向される。ソーシャルトライアングルは、ユーザの眼とユーザの口の頂点との間の線上の第１の辺を用いて形成される。ソーシャルトライアングル内のアイコンタクトは、フレンドリーかつ中立であると見なされる一方、ソーシャルトライアングル外に指向される眼視線は、力の不平衡（例えば、他方の人物の前額に向かって、ソーシャルトライアングルの上方に指向される眼視線）、怒り、または会話が深刻であることを伝達し得る。したがって、視認者より背が高くレンダリングされたアバタは、視認者のソーシャルトライアングルの上方の領域を見ていると見なされる傾向にあり得、これは、視認者にとって、アバタが視認者より優れているという心理学的効果をもたらし得る。したがって、アバタの正しくない定寸は、会話の実際のヒト参加者間に意図されていない、ヒトとアバタとの間のぎこちないまたは不快な敵対心につながり得る。
【0177】
いくつかのウェアラブルデバイスでは、ユーザは、アバタのサイズが快適な高さであるように、アバタを手動でスケーリングすることができる。しかしながら、そのような手動制御は、完了するまでにより多くの時間がかかり、ユーザが精緻化された調節をアバタに行うことを要求し得、これは、ユーザの筋肉疲労を生じさせ、ユーザからより専門的制御を要求し得る。他のウェアラブルデバイスは、１：１スケールをアバタとユーザとの間に維持することを模索する、スケーリング方法を使用し得る（例えば、アバタは、ユーザと同一高さに自動的にスケーリングされる）。しかしながら、本技法は、アバタが、その上にユーザが座っているかまたは立っている表面より高い表面上に立っている（例えば、アバタがユーザの頭部を越えて見る）場合、不適切な通視線を生産し得る。
【0178】
有利には、いくつかの実施形態では、ウェアラブルシステム２００は、環境内のアバタのレンダリング位置および環境内のユーザの位置または眼の高さに関するコンテキスト情報に基づいて、仮想アバタを自動的にスケーリングすることができる。ウェアラブルシステム２００は、例えば、単独で、または組み合わせて、アバタのレンダリング場所、ユーザの位置、ユーザの高さ、ユーザとアバタとの間の相対的位置、アバタがその上にレンダリングされるであろう表面の高さ、ユーザがその上に立っているかまたは座っている表面の高さ等のコンテキスト要因に基づいて、仮想アバタのサイズを計算することができる。ウェアラブルシステム２００は、アバタが、少なくとも部分的に、そのようなコンテキスト要因に基づいて、適切な高さを伴ってレンダリングされるように、アバタの初期レンダリング（スポーンと呼ばれる）を行うことができる。ウェアラブルシステム２００はまた、例えば、アバタまたはユーザが環境内で動き回るにつれて等、コンテキスト情報の変化に応答して、仮想アバタのサイズを動的にスケーリングすることができる。
【0179】
例えば、アバタをスポーンすることに先立って、またはその時点で、ウェアラブルシステムは、ユーザの頭部の高さ（したがって、眼が、典型的には、頭部の上部と底部との間のほぼ途中または頭部の上部の約４～６インチ下方にあるため、眼の高さ）を決定し、アバタのベース表面（例えば、アバタがその上にスポーンされるであろう表面）からユーザの眼の高さまでの距離を算出することができる。本距離は、その結果として生じる頭部および通視線がユーザと同一高さであるように、アバタをスケーリングするために使用されることができる。ウェアラブルシステムは、環境表面（例えば、ユーザがその上に存在する表面、またはアバタがその上にスポーンされるであろう表面）を識別し、これらの表面またはユーザとアバタ表面との間の相対的高低差に基づいて、アバタ高さを調節することができる。例えば、ウェアラブルシステムは、床を走査し、床平面に対する頭部の高さを測定することができる。ウェアラブルシステムは、ユーザの頭部姿勢を決定し（例えば、ＩＭＵからのデータを介して）、ユーザの頭部姿勢または環境および頭部姿勢の両方によって共有される共通座標系に対する環境表面を算出することができる。本情報に基づいて、ウェアラブルシステムは、アバタのサイズを計算し、ディスプレイ２２０に、アバタを環境上に重畳されるように表示させるように命令することができる。
【0180】
ある実装では、ユーザが、環境内で動き回る（またはアバタが動き回る）につれて、ウェアラブルシステムは、ユーザの頭部姿勢および環境表面を持続的に追跡し、アバタが元々スポーンされたときと類似方式において、これらのコンテキスト要因に基づいて、アバタのサイズを動的に調節することができる。いくつかの実施形態では、（スポーン時またはアバタが移動するにつれてリアルタイムでのいずれかにおいて）アバタを自動的にスケーリングするためのこれらの技法は、有利には、アバタをユーザのローカル環境内に設置するとき、頸部疲労を最小限にし、ユーザ－アバタ通信を促進し、ユーザが行う必要がある手動調節の量を最小限にしながら、直接アイコンタクトが行われることを可能にし、それによって、両参加者（例えば、アバタおよびその視認者）が、目と目を合わせて通信し、快適な双方向相互作用をもたらすことを可能にすることができる。
【0181】
いくつかの実装では、ウェアラブルシステム２００は、ユーザがアバタの自動の動的再スケーリングをオフにする（一時的または恒久的に）ことを可能にすることができる。例えば、ユーザが、テレプレゼンスセッションの間、頻繁に、起立および着座する場合、ユーザは、アバタが対応して再スケーリングされないことを所望し得、これは、ヒトが、会話の間、サイズを動的に変更しないため、不快な相互作用につながり得るためである。ウェアラブルシステムは、アバタスケーリングオプションの異なるモード間で切り替えるように構成されることができる。例えば、ウェアラブルシステムは、３つのスケーリングオプション、すなわち、（１）コンテキスト情報に基づく自動調節、（２）手動制御、および（３）１：１スケーリング（アバタが視認者またはそのヒト対応者と同一サイズにレンダリングされる）を提供してもよい。ウェアラブルシステムは、コンテキスト情報に基づいて自動的に調節可能であるように、デフォルト設定することができる。ユーザは、ユーザ入力（例えば、ユーザ入力デバイス４６６、姿勢、または手のジェスチャ等を介して等）に基づいて、本デフォルトオプションを他のオプションに切り替えることができる。他の実装では、ウェアラブルシステムは、アバタが、サイズを急激に変化させるのではなく、短時間周期（例えば、数秒～数十秒）にわたってサイズを平滑に変化させるようにレンダリングされたように、サイズ変化間で平滑に補間してもよい。
（スケーリングされたアバタをスポーンする実施例）
（スケーリングされたアバタをスポーンする実施例）
【0182】
ウェアラブルシステムは、コンテキスト情報に基づいて、アバタを自動的にスケーリングし、アバタと視認者との間の目と目を合わせた通信を可能にすることができる。アバタの高さの計算は、視認者の環境の中へのアバタの初期スポーンに応じて実施されることができる。ウェアラブルシステムは、スポーン地点におけるアバタのレンダリング場所を識別することができる。アバタのレンダリング場所は、例えば、接地面、テーブル、椅子の着座表面等の水平支持プラットフォーム（または表面）であることができる。いくつかの状況では、支持プラットフォームは、水平ではなく、傾角または鉛直であってもよい（ユーザが、例えば、横たわっている場合）。
【0183】
ウェアラブルシステムは、ユーザの現在の頭部位置（ユーザが、立っている、または座っているかどうかにかかわらず）およびアバタのためのスポーン地点における水平支持プラットフォームの場所に基づいて、アバタの高さを計算することができる。ウェアラブルシステムは、アバタのサイズを調節するためのスケール係数を算出するために、本プラットフォームの上方の眼の推定される高さ（プラットフォームに対して垂直および鉛直の距離であり得る）を算出することができる。プラットフォームの上方の眼の推定される高さは、眼とプラットフォームとの間の距離に基づくことができる。いくつかの実装では、ウェアラブルシステムは、眼レベルを算出することができ、これは、眼が真っ直ぐ見ているレベルの１Ｄ、２Ｄ、３Ｄ、または他の数学的表現であってもよい。アバタの推定される高さは、眼レベルとプラットフォームのレベルとの間の差異に基づいて、計算されることができる。
【0184】
図１２Ａおよび１２Ｂは、アバタが視認者と同一表面上にスポーンされる、アバタをスケーリングする２つの場面を図示する。図１２Ａにおける場面１２００ａは、不適切にスケーリングされたアバタを示す一方、図１２Ｂにおける場面１２００ｂは、視認者とほぼ同一の眼の高さを維持する、スケーリングされたアバタを示す。これらの２つの図では、例示的仮想アバタ１０００は、Ａｌｉｃｅのアバタであることができる一方、ユーザ９１４は、図９Ｂにおいて識別されるようなＢｏｂであってもよい。ＡｌｉｃｅおよびＢｏｂは両方とも、図２を参照して説明されるように、ウェアラブルデバイスを装着していてもよい。これらの実施例では、Ｂｏｂは、接地面（接地面平面１２１４によって表されるように）上に立っている一方、Ａｌｉｃｅのアバタ９１２もまた、本実施例では、接地面上にスポーンされるであろう。
【0185】
図１２Ａは、Ａｌｉｃｅのアバタ１０００が、視認者（Ｂｏｂ）がＡｌｉｃｅのアバタ１０００と相互作用するとき、見下ろす必要があるほど小さい、実施例を図示する。Ａｌｉｃｅのアバタ１００およびＢｏｂの高さは、接地面平面１２１４の一部であり得る、共通接地面位置線１２１０から測定されることができる。接地面位置線１２１０は、接地面平面１２１４に沿って、ユーザ９１４の位置および仮想アバタ１０００の位置を接続し得る。
【0186】
図１２Ａはまた、Ｂｏｂ９１４の眼レベル（ユーザの眼線１２０６によって図示されるように）と、Ｂｏｂの眼レベル１２０６の下方にある、アバタの眼レベル（アバタ眼線１２２８によって図示されるように）とを示す。アバタ眼線１２２８およびユーザの眼線１２０６は、接地面位置線１２１０と平行であって、それぞれ、仮想アバタ１０００およびユーザ９１４の眼と交差するように示されるが、通視線を図示する、他のタイプの眼線または表現もまた、種々の実装では、可能性として考えられる。ユーザの眼線１２０６およびアバタ眼線１２２８はそれぞれ、対応する眼線を包含し、接地面平面１２１４と平行である、個別の平面（図示せず）に対応してもよい。ユーザの眼線１２０６およびアバタ眼線１２２８の一方または両方は、接地面平面１２１４と平行であってもよい。
【0187】
アバタのサイズを決定するために、ウェアラブルシステム（例えば、アバタ処理およびレンダリングシステム６９０内のアバタ自動スケーラ６９２等）は、視認者９１４の高さ１２０２およびアバタ１０００の高さ１２２４を計算することができる。アバタの高さおよび視認者の高さは、アバタおよびユーザの個別の眼線から、その上にアバタがレンダリングされ、その上に視認者が立っている、接地面表面１２１４に対して鉛直に測定されることができる。図１２Ａに図示されるように、アバタの眼の高さ１２２４は、アバタ眼線１２２８と接地面位置線１２１０との間で決定されてもよい。同様に、ユーザの眼の高さ１２０２は、ユーザの眼線１２０６と接地面位置線１２１０との間で決定されてもよい。ユーザの眼の高さ１２０２は、図１２Ａに図示されるように、ユーザ９１４の眼と交差するが、しかしながら、他の実装では、ユーザ（またはアバタ）の高さは、ユーザ（またはアバタ）の頭部の上部またはある他の便宜的基準位置を基準とされてもよい。
【0188】
ある実装では、本システムは、ユーザ９１４と仮想アバタ１０００のレンダリング位置との間の距離１２４２を決定するように構成されてもよい。距離１２４２は、仮想アバタ１０００をユーザ９１４のためのより快適な位置または見掛け深度に表示するために使用されてもよい。例えば、ウェアラブルシステムは、視認者がアバタのより良好なビューを有し得るように、アバタが視認者から比較的に離れている場合、アバタのサイズを増加させてもよい。
【0189】
図１２Ａに示される実施例では、アバタ１０００は、アバタの眼線１２２８がユーザの眼線１２０６より低いことから、ユーザの眼線１２０６がアバタの眼線１２２８と共線形に整合されないため、適切に定寸されていない。これは、アバタ１０００が、小さすぎ、Ａｌｉｃｅのアバタと相互作用するために、Ｂｏｂにその頭部を下向きに傾斜させることを示唆する。これは、アバタが視認者より背が低いことを示すが、アバタサイズはまた、アバタが視認者より背が高い場合も不適切であり得、これは、Ａｌｉｃｅのアバタと相互作用するために、Ｂｏｂにその頭部を上向きに傾斜させるであろう。
【0190】
図１２Ｂは、その個別の眼の高さが匹敵するという意味において、そのサイズがＢｏｂに対して適切にレンダリングされている、仮想アバタ１０００を示す。本実施例では、仮想アバタ１０００は、視認者９１４の眼の高さに基づいてスケーリングされる。仮想アバタ１０００をスケーリングすることは、アバタ眼の高さ１２２４およびユーザの眼の高さ１２０２を合致させることを含んでもよい。視認者の高さおよびアバタの標的高さを計算する方法に関するアルゴリズムに関連する詳細は、図１６Ａ－１８Ｂを参照して説明される。
【0191】
いくつかの状況では、ユーザ９１４またはアバタ１０００（または両方）は、接地面平面１２１４と異なる表面上に存在してもよい（例えば、ユーザ９１４またはアバタ１０００は、椅子に着座している）。図１３Ａおよび１３Ｂは、アバタが視認者と同一表面上にレンダリングされない、コンテキスト情報に基づいてアバタを自動的にスケーリングする実施例を図示する。
【0192】
場面１３００ａは、Ｂｏｂがテーブル１３２４の正面の椅子１３２２に着座していることを示す。Ｂｏｂは、テレプレゼンスセッションをＡｌｉｃｅと開始することができ、これは、Ａｌｉｃｅのアバタ１０００をテーブル１３２４上にレンダリングさせるであろう。Ａｌｉｃｅのアバタ１０００をＢｏｂが相互作用するために快適な高さにスポーンするために、ウェアラブルシステムは、ユーザの眼レベルと、Ａｌｉｃｅのアバタ１０００がその上にレンダリングされるであろう、プラットフォームとの間の高低差を計算することができる。本実施例では、高低差１３０２は、Ｂｏｂの眼レベル１３０６からテーブル１３２４の表面まで測定される。本高低差１３０２は、次いで、アバタ１０００をスケーリングするために適用されることができる。本実施例では、テーブル１３２４は、高さ１３３２（接地面から測定されるように）を有するが、本高さ１３３２は、アバタが、接地面上ではなく、テーブルの表面上にレンダリングされるであろうため、アバタのサイズを計算するために要求されない。
【0193】
図１３Ｂにおける場面１３００ｂは、Ａｌｉｃｅのアバタ１０００が、スケーリングされ、テーブル１３２４の上部にレンダリングされる、場面を示す。本実施例では、Ａｌｉｃｅのアバタ１０００のスケールは、高さ１３０２（ユーザの眼レベルからテーブルの上部まで測定される）に基づく。例えば、Ａｌｉｃｅのアバタの眼の高さ（アバタ１０００の眼からテーブルの上部まで測定されるように）は、高さ１３０２と等しくあることができる。
（アバタを動的にサイズ変更する実施例）
（アバタを動的にサイズ変更する実施例）
【0194】
いくつかの状況では、アバタまたはアバタの視認者は、環境内を動き回ることができ、一方または両方は、その上にユーザが位置付けられ、その上にアバタがレンダリングされる、水平平面間の相対的高低差が存在する位置に移動し得る。ウェアラブルシステム２００は、視認者またはアバタが移動するにつれて更新された相対的高さ情報に基づいて、アバタを動的にサイズ変更することができる。例えば、Ａｌｉｃｅのアバタが移動する（例えば、Ａｌｉｃｅが移動するため）か、またはＢｏｂが移動するかのいずれかにつれて、ＡｌｉｃｅのアバタとＢｏｂとの間の高低差が、変更され得る。図１４および１５は、アバタを動的にスケーリングし、水平アイコンタクトを維持する実施例を図示する。
【0195】
図１４は、ユーザがアバタの接地面平面の上方に存在する、ユーザの移動に応答してアバタを動的にスケーリングする実施例を図示する。Ｂｏｂは、最初に、図１２Ｂに示される位置に存在し、Ａｌｉｃｅのアバタ１０００との水平アイコンタクトに従事し得る。図１４に示される場面１４００では、Ｂｏｂは、ここでは、アバタの接地面平面１２１４の上方にある、オブジェクト（例えば、腰掛１４３８）の上に立っている。Ａｌｉｃｅのアバタ１０００が、動的に再スケーリングされていない場合、Ｂｏｂは、Ｂｏｂが腰掛１４３８の高さ１４２２によって上昇されているため、アバタ１０００を見下ろすことになるであろう。ウェアラブルシステム２００は、破線矢印１４３４によって表される値までアバタの高さを増加させる（図１２Ｂに示される高さ１２０２と比較して）ことによって、Ａｌｉｃｅのアバタの高さを調節し、Ｂｏｂの本付加的高さ１４２２を考慮することができる。
【0196】
図１５は、図１４と比較したアバタのさらなる移動（例えば、Ａｌｉｃｅの移動）に応答してアバタを動的にスケーリングするさらなる実施例を図示する。場面１５００に示されるように、Ａｌｉｃｅは、接地面からプラットフォーム１５４８（高さ１５５８を有する）まで上方に移動した一方、Ｂｏｂは、依然として、図１４に説明されるように、プラットフォーム１４３８上に立っている。ＡｌｉｃｅのアバタおよびＢｏｂのための接地面平面は、ここでは、ともにより近づいているため、Ａｌｉｃｅのアバタの高さ１５２４は、ＢｏｂおよびＡｌｉｃｅのアバタがアイコンタクトを維持するように、図１４に示されるアバタの高さ１４３４と比較して低減されている（プラットフォーム１５４８の高さ１５５８によって）。
【0197】
図１７Ａおよび１７Ｂを参照して下記にさらに説明されるように、ウェアラブルシステム２００は、プラットフォーム１５４８を、アバタがその上に立っているようにレンダリングされることになる、新しい表面として検出することができる。したがって、ウェアラブルシステムは、プラットフォーム１５４８に対する（接地面１２１４ではなく）アバタ１０００の眼の高さおよびプラットフォーム１４３８に対する（接地面平面１２１４ではなく）Ｂｏｂの眼の高さを計算することができる。ウェアラブルシステムは、次いで、Ｂｏｂの高さおよびその上にそれぞれが立っている水平平面間の相対的差異に基づいて、アバタの高さを計算することができる。
【0198】
式（１）は、図１２Ａ－１５を参照して図示される概念に基づいてアバタの標的高さを計算するための例示的式を説明する。
式中、ＡｖａｔａｒＨは、ユーザのウェアラブルシステムによってレンダリングされるべきアバタの標的高さを表し、ＵｓｅｒＨは、ユーザの支持平面から測定されるようなユーザの高さを表し、ＵｓｅｒＳｕｐｐｏｒｔＰｌａｎｅＨは、その上にユーザが位置する支持平面の高さを表し、ＡｖａｔａｒＳｕｐｐｏｒｔＰｌａｎｅＨは、その上にアバタがレンダリングされることになる平面の高さを表す。本式を図１５における実施例に適用すると、Ａｌｉｃｅのアバタの標的高さ１５２４＝Ｂｏｂの高さ１２０２＋Ｂｏｂのプラットフォームの高さ１４２２－Ａｌｉｃｅのアバタのプラットフォームの高さ１５５８となる。数式
は、本数式が、ユーザの高さを修正し、アバタのレンダリングされた高さを決定するため、高さ軟化子と称され得る。
【化1】
式中、ＡｖａｔａｒＨは、ユーザのウェアラブルシステムによってレンダリングされるべきアバタの標的高さを表し、ＵｓｅｒＨは、ユーザの支持平面から測定されるようなユーザの高さを表し、ＵｓｅｒＳｕｐｐｏｒｔＰｌａｎｅＨは、その上にユーザが位置する支持平面の高さを表し、ＡｖａｔａｒＳｕｐｐｏｒｔＰｌａｎｅＨは、その上にアバタがレンダリングされることになる平面の高さを表す。本式を図１５における実施例に適用すると、Ａｌｉｃｅのアバタの標的高さ１５２４＝Ｂｏｂの高さ１２０２＋Ｂｏｂのプラットフォームの高さ１４２２－Ａｌｉｃｅのアバタのプラットフォームの高さ１５５８となる。数式
【化2】
は、本数式が、ユーザの高さを修正し、アバタのレンダリングされた高さを決定するため、高さ軟化子と称され得る。
【0199】
式（２）は、アバタの標的高さを計算するための別の例示的式を説明する。
式中、ＡｖａｔａｒＨは、アバタの標的高さを表し、ＵｓｅｒＴｏＡｖａｔａｒＳｕｐｐｏｒｔＰｌａｎｅＨは、その上にアバタが立っている、支持表面から測定されるようなユーザの高さを表す。ウェアラブルシステムは、レイキャスティングおよび図１６Ａ－１７Ｂに説明される技法を使用して、支持表面を検出することができ、ユーザの眼の高さとアバタの支持表面との間の角度およびユーザからアバタ支持表面までの距離を測定することによって、三角法技法を使用して、式（２）の右辺を決定することができる。
【化3】
式中、ＡｖａｔａｒＨは、アバタの標的高さを表し、ＵｓｅｒＴｏＡｖａｔａｒＳｕｐｐｏｒｔＰｌａｎｅＨは、その上にアバタが立っている、支持表面から測定されるようなユーザの高さを表す。ウェアラブルシステムは、レイキャスティングおよび図１６Ａ－１７Ｂに説明される技法を使用して、支持表面を検出することができ、ユーザの眼の高さとアバタの支持表面との間の角度およびユーザからアバタ支持表面までの距離を測定することによって、三角法技法を使用して、式（２）の右辺を決定することができる。
【0200】
図１４および１５における実施例は、アバタの高さを増加させることを図示するが、類似技法はまた、アバタの高さを減少させることにも適用されることができる。例えば、高さ軟化子は、アバタ１０００が、その上にユーザ９１４が立っている表面より高い、表面に立っている場合、負であってもよい。さらに、類似技法はまた、ユーザまたはアバタが着座等の他の姿勢にあるときにも、適用されることができる。例えば、ユーザは、立っている一方、アバタは、椅子まで歩いて行き、椅子に着座してもよい。ウェアラブルシステムは、水平アイコンタクトが維持され得るように、アバタのサイズを自動的に増加させることができる。別の実施例として、ユーザは、椅子を見つけ、着座し得る一方、アバタは、立っている。ウェアラブルシステムは、ユーザの眼の高さが減少した（着座に起因して）ことを検出することができ、ウェアラブルシステムは、アバタのサイズを自動的に低減させ、アバタをユーザの眼に高さに持って来ることができる。
（アバタを自動的にスケーリングするためのコンテキスト要因を分析する実施例）
（アバタを自動的にスケーリングするためのコンテキスト要因を分析する実施例）
【0201】
本明細書に説明されるように、ウェアラブルシステム２００は、仮想アバタをスポーンするため、または仮想アバタのサイズをリアルタイムで動的に調節するために、コンテキスト要因を自動的に識別し、仮想アバタのための標的高さを計算するように構成されることができる。
【0202】
図１６Ａ－１－１６Ｂは、コンテキスト要因に基づいて、アバタを自動的にスケーリングするための例示的データフロー図を図示する。いくつかの例示的コンテキスト要因は、ユーザの頭部の位置、アバタのレンダリング場所、ユーザの身体位置（例えば、ユーザの足の位置）、ユーザおよびアバタがその上に位置付けられる表面の高さ（またはそれらの間の相対的高低差）等を含むことができる。例示的データフロー図１６００は、本明細書に説明されるウェアラブルシステム２００によって、例えば、図６Ｂのアバタ処理およびレンダリングシステム６９０のアバタ自動スケーラ６９２によって、実装されることができる。
【0203】
ウェアラブルシステムは、図２および３を参照して説明されるもの等の１つ以上のデバイスセンサ１６７４を含むことができる。デバイスセンサ１６７４から入手されたデータは、ユーザの環境を決定し（例えば、ユーザの環境内のオブジェクトを識別する、またはユーザの環境内の表面を検出するため等）、環境に対するユーザの位置を決定するために使用されることができる。
【0204】
例えば、ＩＭＵは、例えば、ユーザの頭部姿勢または身体移動等のユーザデータを入手することができる。外向きに面した結像システム４６４は、ユーザの環境の画像を入手することができる。ＩＭＵおよび外向きに面した結像システム４６４からのデータは、頭部位置を決定するための入力であり得る。ウェアラブルシステムは、ユーザの環境と関連付けられた基準フレーム（世界フレームとも称される）に対する頭部の位置、配向、または移動を検出することができる。基準フレームは、マップ点のセットであってもよく、それに基づいて、ウェアラブルシステムは、ユーザの移動をアクションまたはコマンドに変換することができる。いくつかの実装では、カメラ較正１６８８が、世界フレーム内の頭部位置特定１６８２を決定するために実施されてもよい。カメラ較正１６８８は、ＩＭＵ（またはウェアラブルデバイスの他のハードウェアセンサ）から決定されるようなユーザの頭部の姿勢の世界フレーム内の頭部場所へのマッピングをもたらし得る。図６Ｂにおけるアバタ自動スケーラ６９２（および図１６Ｂを参照して説明される、サブプロセス１６５０）を参照してさらに説明されるように、世界フレーム内のそのような頭部位置特定１６８２は、アバタ自動スケーラ６９２の中にフィードされることができ、アバタを自動的にスケーリングするためのユーザの頭部位置１６０４を決定するための入力として利用されることができる。
【0205】
デバイスセンサは、１つ以上の深度センサ２３４（例えば、ＬＩＤＡＲ、飛行時間センサ、または超音波センサ）または世界カメラ（外向きに面した結像システム４６４の一部であってもよい）を含むことができ、世界カメラは、深度感知能力を有する（例えば、ＲＧＢ－Ｄカメラまたは立体視カメラ）。例えば、深度センサは、例えば、ユーザからのオブジェクトの距離等、環境内のオブジェクトの深度データを入手することができる。深度データは、環境点群１６７８を作成するために使用されることができ、これは、ユーザの環境の３Ｄ数学的表現（ユーザの環境内のオブジェクトを考慮し得る）を含むことができる。本環境点群１６７８は、図７に示されるマップデータベース７１０内に記憶（またはそこからアクセス）されてもよい。
【0206】
図１７Ａおよび１７Ｂを参照してさらに説明されるであろうように、ウェアラブルシステムは、環境点群１６７８に基づいて、主要な水平平面（等例えば、テーブルの表面、接地面、壁、椅子表面、プラットフォーム等）を識別することができる。主要な水平平面は、その上にユーザまたはアバタが位置付けられ得る、環境表面を含むことができる。
【0207】
ウェアラブルシステムは、点群を、例えば、ポリゴン（例えば、三角形）メッシュ等のメッシュ状環境に変換し、主要な水平平面をメッシュから抽出することができる。ある実装では、ウェアラブルシステムは、点群をメッシュに変換せずに、直接、点群から平面を推定することができる。直接点群から平面を推定する実施例として、ウェアラブルシステムは、単独で、または深度センサと組み合わせて、外向きに面した結像システムによって入手された画像に基づいて、１つ以上の深度点を決定することができる。深度点は、本システムによって、世界基準フレーム上にマッピングされてもよい（ユーザの環境を表すため）。深度点は、ユーザの環境内の１つ以上の点に対応してもよい。ウェアラブルシステムは、１つ以上の表面を１つ以上の深度点から抽出するように構成されてもよい。深度点から抽出された１つ以上の表面は、１つ以上の三角形を含んでもよい。１つ以上の三角形のそれぞれの頂点は、近傍深度点を含んでもよい。
【0208】
図１６Ａ－１に示されるように、深度カメラ較正１６８８を用いることで、ウェアラブルシステムは、ブロック１６８０に示されるように、本点群１６７８を世界基準フレーム（ブロック１６８２における頭部位置特定のために使用され得る）内のメッシュ状環境に変換することができる。深度カメラ較正は、深度カメラから取得される点群の位置をウェアラブルシステムの基準フレームまたは環境の基準フレームの位置に関連させる方法に関する情報を含むことができる。深度カメラ較正は、ウェアラブルシステムがそれらの点が作業座標系内に位置する場所を把握するように、環境およびカメラフレームと同一基準フレーム内の点を位置特定することを可能にし得るため、有利であり得る。
【0209】
メッシュ状環境は、３Ｄメッシュ状環境であってもよい。メッシュ状環境は、１つ以上の表面三角形を含んでもよい。各表面三角形は、隣接する深度点に対応する頂点を含んでもよい。ウェアラブルシステムは、符号付き距離場関数を点群から構築し、例えば、マーチングキューブアルゴリズム等の三角測量アルゴリズムを使用して、点群をポリゴン（例えば、三角形）メッシュ等の三角形の表面表現に変換するように構成されることができる。いくつかの実施形態では、表面表現は、メッシュ状環境からではなく、直接、点群から決定されることができる。
【0210】
ブロック１６８４では、ウェアラブルシステムは、世界基準フレーム内の平面環境に近似することができ、これは、メッシュからの平面抽出を含んでもよい。平面抽出は、三角形を類似配向のエリアにグループ化することができる。さらなる処理が、これらのメッシュ状エリア（平面抽出から識別されるように）に行われ、環境内の平坦エリアを表す純平面領域を抽出することができる。
【0211】
ブロック１６８６では、ウェアラブルシステムは、さらなる処理を実施し、主要な水平平面を環境から抽出することができる。ウェアラブルシステムは、ブロック１６８４から識別された領域からの表面の配向、サイズ、または形状に基づいて、主要な水平平面を決定するように構成されてもよい。例えば、ウェアラブルシステムは、ユーザまたはアバタがその上に立つことを可能にするために十分に大きい、水平表面を、主要な水平平面として識別することができる。いくつかの実装では、交点におけるその法線が重力ベクトル（ウェアラブルシステム上のＩＭＵによって決定されることができる）に近整合される、光線と物理的水平表面の第１の交点を見出すことによって、ウェアラブルシステムは、主要な水平平面を識別することができる。メッシュ状環境からの場面内の主要な水平平面を識別する付加的実施例はさらに、図１７Ａ－１７Ｃを参照して説明される。
【0212】
図１６Ａ－２は、主要な水平平面を場面から抽出するための別の例示的データフロー図を図示する。プロセス１６４０は、データを深度カメラ１６４２、ＩＭＵ１６４４、および／またはカメラ１６４６（眼カメラまたは世界カメラ、ＲＧＢ、ＲＧＢ－Ｄ、赤外線、またはグレースケールカメラであってもよい）から入手するステップから開始する。ＩＭＵ１６４４、カメラ１６４６、および／または深度カメラ１６４２から入手されたデータは、ユーザの頭部姿勢１６４８を決定するために使用されることができる。深度カメラ１６４２が、頭部姿勢決定１６４８に入力する場合、カメラは、必要とされなくてもよい（図１６Ａ－２では、Ａｌｔ１として示される）。ブロック１６８２を参照して説明されるように、頭部姿勢の位置は、ユーザの環境の世界フレームを基準として決定されてもよい。
【0213】
ブロック１６５２では、ウェアラブルシステムは、深度カメラ１６４２によって入手された画像に基づいて、世界再構成を実施することができる。カメラ１６４６からの出力は、随意に、世界再構成のために使用されることができる（図１６Ａ－２では、Ａｌｔ２として示される）。世界再構成は、ユーザの環境（例えば、ユーザの部屋）のために、カメラ１６４２および／またはカメラ１６４６によって入手された全ての画像をともにスティッチングするステップを伴うことができ、実世界場所対応のために、頭部姿勢１６４８を利用して、環境を表すメッシュ内の環境の画像を変換することができる。図１６Ａ－１を参照して説明されるように、世界再構成は、深度カメラ１６４２によって入手された画像に基づいて生成された３Ｄ点群に基づいてもよい。世界再構成は、時間「ｉ」（図１６Ａ－２では、＠時間ｉとして示される）からのデータに基づくことができ、さらなるデータがシステムによって受信されるにつれて（例えば、時間ｉ＋１、ｉ＋２等において）、更新されることができる。
【0214】
ブロック１６５４では、ウェアラブルシステムは、メッシュに基づいて、平面抽出を実施することができる。ウェアラブルシステムは、図１６Ａ－１におけるブロック１６８４を参照して説明される技法を使用して、そのような抽出を実施することができる。例えば、ウェアラブルシステムは、メッシュ内の近傍三角形に基づいて、平面を決定することができる。
【0215】
ブロック１６５６では、ウェアラブルシステムは、主要な水平平面を場面から抽出することができる。ウェアラブルシステムは、図１６Ａ－１におけるブロック１６８６を参照して説明される技法を使用して、そのような抽出を実施することができる。主要な水平平面は、その上にアバタがレンダリングされるであろう、またはユーザが立っている、平面を含んでもよい。
【0216】
代替実施形態では、ウェアラブルシステムは、直接、平面抽出を深度カメラ１６４２およびＩＭＵ１６４４から実施することができる。深度カメラは、オブジェクトの点場所を提供し、ＩＭＵは、重力からの指向性を提供する。本技法は、平面に、上方向（例えば、ＩＭＵによって示される局所重力方向と反対の方向）を示すベクトルを提供することができる。ウェアラブルシステムは、次いで、新しいアバタを、世界再構成１６５２の必要なく、検出された第１の水平（または第１の好適な水平）表面上にスポーンすることができる。
【0217】
世界フレーム内の主要な水平平面および頭部場所に関する情報は、プロセス１６００、１６４０のいずれかによって、アバタを自動的にスケーリングするためのアバタ自動スケーラ６９２にパスされてもよい。図１６Ｂは、例示的サブプロセス１６５０を図示し、これは、ウェアラブルシステム２００の一部として、アバタ自動スケーラ６９２（図６Ｂに示される）によって実装されることができる。
【0218】
頭部場所情報の受信に応じて、アバタ自動スケーラは、ブロック１６０４において、ウェアラブルデバイスを装着しているユーザの頭部位置を決定することができる。本アクションは、頭部追跡（ユーザが、例えば、環境に向かって外向きに面した１つ以上のカメラを伴うデバイスを装着しているため、表裏逆頭部追跡とも称され得る）の一部であってもよい。
【0219】
場面からの主要な水平平面情報の受信に応じて、ブロック１６１６では、アバタ自動スケーラは、ユーザを支持する、水平接地面平面を決定することができる。水平接地面平面は、頭部の下方にある、第１の大水平接地面平面であることができる（例えば、ユーザが接地面上に立っている状況において）。図１６Ａ－１および１６Ａ－２を参照して説明されるように、本接地面平面は、３Ｄ環境点群から抽出されることができる（直接または最初に３Ｄ環境点群をメッシュに変換することによってのいずれかにおいて）。
【0220】
３Ｄ頭部位置（ブロック１６０４から決定されるように）を前提として、ウェアラブルシステムは、ブロック１６０８では、頭部位置を頭部の下の第１の大水平平面に投影することができる。これは、光線を頭部から下方に投射し、その光線と交差する、最大水平平面領域を識別することによって実施されることができる。本アクションは、ユーザが立っている場所と関連付けられた床レベル（変数「ｕｓｅｒ＿ｆｅｅｔ」と称され、これは、ユーザの足が現れる場所を示す）を識別するために適用されることができる。ユーザが接地面上に立っていない状況では、第１の大水平平面は、水平接地面平面と同一ではなくてもよい。
【0221】
ブロック１６２０では、アバタ自動スケーラ６９２は、ユーザの眼の高さを水平支持平面から推定することができる。アバタ自動スケーラ６９２は、次いで、頭部とｕｓｅｒ＿ｆｅｅｔとの間の鉛直距離を求め、ユーザの高さを推定することができる。式（１）および（２）を参照すると、ＵｓｅｒＨ＝ｕｓｅｒ＿ｈｅａｄ－ｕｓｅｒ＿ｆｅｅｔであって、式中、ｕｓｅｒ＿ｈｅａｄは、ブロック１６０４から決定されるような頭部の位置（ある実装では、ユーザの眼レベルに対応してもよい）を表す。
【0222】
ブロック１６１２では、ウェアラブルシステムは、場面内のアバタのレンダリング場所を識別することができる。本明細書にさらに説明されるであろうように、アバタのレンダリング場所は、アバタ処理およびレンダリングシステム６９０によって決定されることができる。例えば、アバタ自動スケーラ６９２は、意図マッピングシステム６９４からの出力に基づいて、アバタのレンダリング場所を受信する、またはそこにアクセスすることができる。
【0223】
アバタのレンダリング場所を用いることで、ブロック１６４２では、アバタ自動スケーラ６９２は、アバタが存在すべき高さを算出し、アバタおよびユーザが類似する眼の高さレベルを有することを確実にすることができる。
【0224】
ブロック１６２６では、アバタ自動スケーラ６２９は、アバタの標的高さを計算することができる。下記の式（３）は、アバタの標的高さを計算する実施例を図示する。
ＡｖａｔａｒＨ＝ＵｓｅｒＨ－ＡｖａｔａｒＢａｓｅＨであって、式中、ＡｖａｔａｒＢａｓｅＨは、ＵｓｅｒＨに対するアバタの足の底までの高さである。アバタの足が、ユーザの足より高い場所上に立っている状況では、ＡｖａｔａｒＢａｓｅＨは、正の数であって、アバタの高さは、ユーザの高さ未満である。しかし、ユーザが、アバタのレンダリング場所より高い水平支持平面上に立っている場合、ＡｖａｔａｒＢａｓｅＨは、負の数であり得、これは、ユーザとのアイコンタクトを維持するために、アバタの高さを増加させる。アバタおよびユーザが、等しい高さを伴う表面上に立っている場合、ＡｖａｔａｒＢａｓｅＨは、０と等しい。
【化4】
ＡｖａｔａｒＨ＝ＵｓｅｒＨ－ＡｖａｔａｒＢａｓｅＨであって、式中、ＡｖａｔａｒＢａｓｅＨは、ＵｓｅｒＨに対するアバタの足の底までの高さである。アバタの足が、ユーザの足より高い場所上に立っている状況では、ＡｖａｔａｒＢａｓｅＨは、正の数であって、アバタの高さは、ユーザの高さ未満である。しかし、ユーザが、アバタのレンダリング場所より高い水平支持平面上に立っている場合、ＡｖａｔａｒＢａｓｅＨは、負の数であり得、これは、ユーザとのアイコンタクトを維持するために、アバタの高さを増加させる。アバタおよびユーザが、等しい高さを伴う表面上に立っている場合、ＡｖａｔａｒＢａｓｅＨは、０と等しい。
【0225】
ブロック１６３２では、アバタは、その高さが標的高さに合致するように、スケーリングされることができる。ある実装では、アバタを変形させることを回避するために、アバタをスケーリングするステップは、アバタの高さを標的高さに合致させるとき、アバタの高さ、幅、および長さを比例するようにサイズ変更するステップを含むことができる。
【0226】
ある実装では、アバタ自動スケーラ６９２は、ユーザがその眼の高さを動的に変化させる場合、新しいＡｖａｔａｒＨが、動的にスケーリングされ、ユーザの眼の高さをアバタのものと維持し得るように、ウェアラブルシステムが使用されているとき、起動されたままにされることができる（例えば、背景プロセスまたはエージェントとして）。例えば、ユーザの頭部の高さが、例えば、腰掛上に上がる等のあるアクションのために変化する場合、本システムは、新しいＡｖａｔａｒＨを迅速に算出し、視認者とアバタとの間のアイコンタクトを維持することができる。同様に、アバタが、その立っている場所を異なる表面に変化させる場合、アバタのスケールは、適宜、調節され、水平アイコンタクトを維持することができる。
（物理的環境内の表面を識別する実施例）
（物理的環境内の表面を識別する実施例）
【0227】
図１６Ａ－１６Ｂを参照して説明されるように、ウェアラブルシステムは、ユーザの環境内の平面表面を識別することができる。これらの平面表面は、水平接地面平面（環境の接地面に対応することができる）、その上にユーザが立つ、水平支持表面、およびその上にアバタがレンダリングされる、表面を含んでもよい。図１７Ａ－１７Ｂは、平面表面をメッシュ状環境から識別する実施例を図示する。
【0228】
図１７Ａ－１７Ｂは、複数の平面表面を含み得る、表面環境１７５０（図１７Ｂ）に変換される、メッシュ環境１７４０（図１７Ａ）を図示する。メッシュ環境１７４０は、図１６Ａ－１を参照して説明されるように、３Ｄ点群から再構築されることができる。再構築されたメッシュ環境１７４０は、例えば、鉛直メッシュ状表面１７４２または水平メッシュ状表面１７４４等の１つ以上の表面を含んでもよい。メッシュ状表面は、環境内のオブジェクト１７４８の一部を表してもよい（例えば、テーブルの表面は、水平メッシュ状表面として表され得る）。ユーザまたはアバタは、１つ以上の再構築されたメッシュ表面上またはその近傍に位置付けられてもよく、ユーザまたはアバタが移動するにつれて、その上にユーザまたはアバタが位置付けられる、表面の高さは、変化し得る。
【0229】
ウェアラブルシステムは、再構築されたメッシュ環境１７４０を、メッシュから抽出された複数の平面表面を含む、表面環境１７５０に変換するように構成されてもよい。図１７Ｂは、再構築されたメッシュ環境１７４０の抽出された表面を図示する。いくつかの例示的な抽出された表面は、鉛直表面１７５２と、水平表面１７５８と、接地面１７５６とを含むことができる。平面抽出は、メッシュ環境１７４０の三角形を類似配向のエリアにグループ化するステップを含むことができ、これは、三角形のグループ化が共通表面の一部であることを示す傾向にある。例えば、図１７Ｂに示される三角形１７０４ａおよび１７０４ｂは、平坦水平表面を表すように、ともにグループ化されることができ、三角形１７０２ａおよび１７０２ｂは、平坦鉛直表面を表すように、ともにグループ化されることができる。さらなる処理が、これらのメッシュエリアに行われ、純平面領域を抽出し、環境内の平坦エリアを表すことができる。本平面抽出技法に基づいて、ウェアラブルシステムは、場面内の主要な水平平面を抽出することができ、その上に、ユーザ、アバタ、またはオブジェクトが、位置し得る。
（アバタを自動的にスケーリングする例示的プロセス）
（アバタを自動的にスケーリングする例示的プロセス）
【0230】
図１８Ａおよび１８Ｂは、アバタを自動的にスケーリングする例示的プロセスを図示する。図１８Ａおよび１８Ｂにおけるプロセス１８００ａおよび１８００ｂは、それぞれ、ウェアラブルシステム２００によって実施されることができる。例えば、これらの２つのプロセスにおける１つ以上のブロックは、図６Ｂを参照して説明される、アバタ自動スケーラ６９２によって実施されてもよい。さらに、本明細書に説明される位置および高さは、世界基準フレームに対して計算されてもよい。
【0231】
プロセス１８００ａは、アバタのための標的高さを計算するステップと、標的高さに基づいて、アバタをレンダリングするステップとを説明する。本プロセス１８００ａは、アバタがスポーンされる時間に先立って、適用されてもよい。
【0232】
ブロック１８１２では、ウェアラブルシステムは、ユーザ１８１２の頭部位置を決定する。頭部位置は、ＩＭＵまたは世界カメラ等のデバイスセンサから入手されたデータに基づいて決定されてもよい。頭部位置は、ユーザの環境（例えば、世界フレームによって表されるように）に対して決定されてもよい。
【0233】
ブロック１８１４では、ウェアラブルシステムは、ユーザ１８１４の環境内の表面を決定することができる。表面は、接地面、ユーザがその上に立っている表面、またはアバタがその上にレンダリングされるであろうまたはレンダリングされている表面であってもよい。図１６Ａ－１７Ｃを参照して説明されるように、表面は、３Ｄ点のセット（例えば、３Ｄ環境点群）から抽出されることができる、または環境のメッシュ（３Ｄ環境点群から生成されてもよい）から抽出されることができる。
【0234】
ブロック１８１６では、ウェアラブルシステムは、表面およびユーザの頭部位置に基づいて、ユーザの高さを計算することができる。例えば、ウェアラブルシステムは、ユーザの頭部位置と表面との間の高低差を算出することによって、ユーザの高さを計算することができる。ある実装では、ユーザの高さは、ユーザの眼レベルと、表面上に位置する、アバタの足との間の差異として測定されてもよい。
【0235】
ブロック１８１８では、ウェアラブルシステムは、少なくとも部分的に、ユーザの高さに基づいて、アバタの標的高さを計算することができる。ウェアラブルシステムは、本明細書に説明される式（１）－（３）のうちの任意の１つを使用して、標的高さを計算することができる。
【0236】
ブロック１８２０では、ウェアラブルシステムは、標的高さに基づいて、アバタを自動的にスケーリングすることができる。例えば、ウェアラブルシステムは、アバタの高さが標的高さに合致するように、アバタのサイズを変化させることができる（単独で、または組み合わせて、高さ、幅、または長さを変化させるステップを含んでもよい）。
【0237】
ブロック１８２２では、ウェアラブルシステムは、ディスプレイに、アバタを複合現実環境内の標的高さにレンダリングさせることができる。例えば、ウェアラブルは、ディスプレイ２２０に、接地面またはプラットフォーム上に立っているようにアバタをレンダリングさせることができる。ウェアラブルシステムは、世界フレームを基準として現れるように仮想アバタを表示するように構成されることができる。世界フレームは、ユーザの環境内の実オブジェクトおよび／またはその特徴上にオーバーレイされてもよい。
【0238】
本プロセス１８００ｂは、アバタをスケーリングする別の実施例を図示する。本プロセス１８００ｂは、アバタがスポーンされた後、適用されてもよい。
【0239】
ブロック１８３２では、ウェアラブルシステムは、環境内のユーザの位置およびアバタの位置を監視することができる。例えば、ウェアラブルシステムは、テレプレゼンスセッションの間、ユーザまたはアバタの移動を監視することができる。ウェアラブルシステムは、デバイスセンサから入手されたデータに基づいて、ユーザのアクションを監視することができる。ウェアラブルシステムは、単独で、またはアバタ処理およびレンダリングシステム６９０の１つ以上のコンポーネントの出力（例えば、意図ベースのレンダリングが有効にされるかどうか等）と組み合わせて、アバタと関連付けられたユーザの移動に基づいて、アバタの移動を監視することができる。
【0240】
ブロック１８３４では、ウェアラブルシステムは、ユーザとアバタとの間の相対的高さの変化を検出することができる。例えば、ウェアラブルシステムは、ユーザまたはアバタの位置または移動に基づいて、ユーザまたはアバタが、椅子に着座した、プラットフォームに上がった、またはそこから降りたこと等を検出することができる。
【0241】
ブロック１８３６では、ウェアラブルシステムは、相対的高さの変化の検出に応答して、プロセス１８００ａ内のブロック１８１２－１８１８を実施することができる。標的高さ（ブロック１８１８によって生成された）に基づいて、ウェアラブルシステムは、標的高さに基づいて、アバタのサイズを動的に調節することができる。例えば、ウェアラブルシステムは、アバタの足がユーザの足より（それぞれ）低い位置にあるかまたはより高い位置にあるかに基づいて、アバタのサイズを増加または減少させることができる。
（仮想アバタの意図ベースのレンダリングの実施例）
（仮想アバタの意図ベースのレンダリングの実施例）
【0242】
図１１Ｂ－１１Ｄを参照して説明されるように、ユーザ相互作用（例えば、頭部または身体姿勢、ジェスチャ、移動、眼視線等）のアバタアクションへの１対１のマッピングは、アバタがレンダリングされる環境内で意味を成さない、ぎこちないまたは異常な結果をもたらし得るため、問題となり得る。有利には、いくつかの実施形態では、ウェアラブルシステム２００は、相互作用のどの部分が、遠隔環境内では異なり得る、世界成分（例えば、移動または関心オブジェクトとの相互作用）であって、相互作用のどの部分が、環境との相互作用を要求しない、ローカル成分（例えば、点頭による「はい」または「いいえ」等）であるかを決定することができる。ウェアラブルシステム２００（例えば、アバタ処理およびレンダリングシステム６９０または意図マッピングシステム６９４等）は、ユーザ相互作用を２つの部分、すなわち、世界成分と、ローカル成分とに分解することができる。世界成分は、世界成分の意図が、保存されるが、意図を行うためのアバタのアクションが、他のユーザの環境内で修正され得る（例えば、異なるルート上を歩行する、異なるオブジェクト上に着座する、異なる方向に向くこと等によって）ように、ユーザの意図に基づいて、他のユーザの環境内にレンダリングされることができる（アバタのために）。ローカル成分は、ローカル運動が保存されるように、バックチャネル通信としてレンダリングされることができる。
【0243】
実施例として、Ａｌｉｃｅは、その環境内で能動的に動き回り得、ウェアラブルシステムは、その平行移動運動の一部をＢｏｂの環境（その中にＡｌｉｃｅのアバタがレンダリングされる）に伝達してもよい。ウェアラブルシステムは、Ａｌｉｃｅの移動をＡｌｉｃｅの世界フレーム内で再解釈し、ユーザの意図によって提案されるように、Ｂｏｂの世界フレーム内の運動に合致させることができる。例えば、Ａｌｉｃｅは、Ａｌｉｃｅの環境内のＢｏｂのアバタに向かって前方に歩行し得る。ＡｌｉｃｅおよびＢｏｂの頭部姿勢からの意図を分解することは、ウェアラブルシステムが、ＡｌｉｃｅおよびＢｏｂの環境のそれぞれ内の「前方」である方向を決定することを可能にすることができる。別の実施例として、Ａｌｉｃｅが、椅子まで歩いて行き、着座する場合、Ｂｏｂの環境内に椅子が存在せず、Ａｌｉｃｅのアバタが、突然、空中に着座する場合、異常に見えるであろう。ウェアラブルシステムは、物理的場所、すなわち、Ｂｏｂの環境内の着座可能表面の高さが、Ａｌｉｃｅが着座するものと異なる場合でも、Ａｌｉｃｅの運動（着座）の意図に焦点を当て、Ｂｏｂの環境内の「着座可能」表面（椅子、ソファ等であってもよい）を識別し、Ａｌｉｃｅのアバタを着座可能表面に移動させ、着座可能表面上に着座するようにアバタをレンダリングするように構成されることができる。別の実施例として、Ａｌｉｃｅは、Ｂｏｂのアバタを見下ろしている場合がある一方、遠隔環境内では、Ｂｏｂは、Ａｌｉｃｅのアバタを見上げている場合がある。
【0244】
ある実装では、そのような意図の再マッピングは、リアルタイムで生じ得る（例えば、２人のユーザが、アバタのヒト対応者が相互作用を実施する、テレプレゼンスセッションを行っているとき）。他の状況では、再マッピングは、リアルタイムで生じなくてもよい。例えば、アバタは、メッセンジャとしての役割を果たし、メッセージをユーザに送達し得る。本状況では、アバタの再マッピングは、メッセージが作成または送信されるのと同時に生じる必要はなくなり得る。むしろ、アバタの再マッピングは、アバタがメッセージを送達するとき（例えば、ユーザがウェアラブルデバイスをオンにするとき等）、生じ得る。再マッピングは、メッセージを送達するとき、アバタにユーザ（空間内のランダム場所ではなく）を見るようにさせてもよい。意図に基づいて、世界運動をレンダリングすることによって、ウェアラブルシステムは、有利には、不自然なヒト－アバタ相互作用の尤度を低減させることができる。
（ユーザ相互作用を分解する実施例）
（ユーザ相互作用を分解する実施例）
【0245】
図１９Ａは、ユーザ相互作用を分解するためのシステムの実施例を説明する。本実施例では、Ａｌｉｃｅは、環境Ａ１９０２ａ内に存在することができる。Ａｌｉｃｅは、ウェアラブルシステム２００のユーザであることができ、それを通して、Ａｌｉｃｅは、その環境Ａ１９０２ａとの複合現実体験を有することができる。Ａｌｉｃｅは、種々の相互作用１９１２ａを実施することができ、これは、遠隔環境内でアバタにマッピングされてもよい。Ａｌｉｃｅの相互作用１９１２ａは、単独で、または組み合わせて、移動、姿勢（例えば、頭部姿勢、身体姿勢、または手のジェスチャ等）、眼視線等を含むことができる。いくつかの状況では、これらの相互作用１９１２ａのうちの１つ以上のものは、相互作用イベントとも称され得る。
【0246】
ウェアラブルシステムは、図２および３を参照して説明される、１つ以上のデバイスセンサを使用して、データを入手することができる。デバイスセンサによって入手されたデータは、ユーザの相互作用を決定するために使用されることができる。データに基づいて、ウェアラブルシステムは、例えば、ユーザが、相互作用するかまたは関心があるオブジェクト、相互作用のタイプ（例えば、ユーザが、歩いている、座っている、立っているかどうか等）等であり得る、関心オブジェクト（関心アイテムまたは略してＩＯＩとも称される）等の相互作用１９１２ａの特性を決定することができる。単独で、またはデバイスセンサから入手されたデータと組み合わせて、相互作用１９１２ａの特性に基づいて、ウェアラブルシステムは、相互作用１９１２ａが世界成分および／またはローカル成分を含み得るかどうかを決定することができる。
【0247】
図１９Ａに図示されるように、移動１９２０ａは、ローカル運動１９２２ａおよび／または世界運動１９２４ａに分解されることができる。ローカル運動１９２２ａは、固定身体基準フレームに対する運動を含むことができ、環境Ａ１９０２ａと相互作用し得ない。世界運動１９２４ａは、環境Ａ１９０２ａとの相互作用を伴う、運動を含むことができる。そのような世界運動１９２４ａは、世界フレームに関して説明されることができる。例えば、Ａｌｉｃｅは、その環境内で走っている場合がある。その腕の移動は、ローカル運動１９２２ａと見なされ得る一方、脚部の移動（例えば、環境内のある方向に向かって前方に移動している）は、世界運動１９２４ａと見なされ得る。別の実施例として、Ａｌｉｃｅは、その脚部を交差した状態で椅子に着座している場合がある。脚部を交差した状態で着座する姿勢は、ローカル成分と見なされる一方、椅子に着座する相互作用は、世界成分と見なされる。Ａｌｉｃｅのアバタの視認者のウェアラブルシステムは、脚部を交差した状態でベッド上に着座しているＡｌｉｃｅのアバタをレンダリングすることができる（遠隔環境が椅子を有していない場合）。
【0248】
相互作用１９１２ａは、時として、また、例えば、環境内の物理的オブジェクト（例えば、椅子、テーブル、ベッド、鏡等）または仮想オブジェクト（例えば、別のユーザのアバタ、仮想エンターテインメントコンテンツ、または他の仮想アプリケーション）等の関心オブジェクトと相互作用することを伴うことができる。デバイスセンサから入手されたデータに基づいて、ウェアラブルシステムは、ユーザＡｌｉｃｅの相互作用と関連付けられた関心オブジェクト１９５０ａを識別することができる。例えば、関心オブジェクト１９５０ａは、個々に、または組み合わせて、Ａｌｉｃｅの移動１９２０ａ、姿勢１９３０ａ、眼視線１９４０ａから識別されることができる。
【0249】
本明細書にさらに説明されるように、ある実装では、関心オブジェクト１９５０ａは、ユーザの注意を誘引する、成分を含んでもよい。上記に説明されるように、ユーザの眼は、典型的には、フレンドリーな中立会話の間、他のユーザの顔のソーシャルトライアングルと呼ばれる領域に向かって指向される。ソーシャルトライアングルは、ユーザの眼とユーザの口における頂点との間の線上の第１の辺を用いて形成される。関心オブジェクト１９５０ａは、ソーシャルトライアングルを含んでもよい。例えば、Ａｌｉｃｅは、ヒトが、対面会話の間、別の人物のソーシャルトライアングルを自然と見る傾向にあるため、Ｂｏｂの顔上のソーシャルトライアングルを見る場合がある。関心オブジェクトとの相互作用は、それらが環境内の仮想または物理的オブジェクトと相互作用することを伴うため、世界成分と見なされ得る。
【0250】
ウェアラブルシステムは、直接マッピング１９６２を使用して、相互作用１９１２ａのローカル成分を仮想アバタ１９７０にマッピングすることができる。例えば、ウェアラブルシステムは、ローカル運動１９２２ａ、姿勢１９３０ａ、または眼視線１９４０ａを、直接マッピング１９６２を使用して、アバタ１９７０のアクションの中にマッピングすることができる。その結果、アバタの１９７０アクションは、Ａｌｉｃｅによって実施される相互作用１９１２ａの対応するローカル成分を反映させることができる（例えば、Ａｌｉｃｅがその頭部を点頭すると、アバタもその頭部を点頭する）。
【0251】
ウェアラブルシステムは、意図ベースのマッピング１９６４を使用して、相互作用１９１２ａの世界成分をマッピングすることができる。意図ベースのマッピング１９６４の結果、アバタ１９７０のアクションは、アバタ１９７０のアクションがＡｌｉｃｅのものと正確に同一ではあり得ない場合でも、Ａｌｉｃｅによって実施される対応する相互作用１９１２ａと同一目的を達成する。例えば、ウェアラブルシステムは、その中にアバタ１９７０がレンダリングされる、環境内の環境特徴（例えば、障害物、オブジェクトのレイアウト等）に基づいて、世界運動１９２４ａをアバタ１９７０にマッピングすることができる。別の実施例として、ウェアラブルシステムは、仮想アバタ１９７０が遠隔環境内の類似関心オブジェクト１９５０と相互作用するように、遠隔環境内の仮想アバタ１９７０を移動または再配向することができる。
【0252】
ある実装では、ユーザ相互作用を世界成分およびローカル成分に分解することによって、本明細書に提供される技法は、より高速の処理を有効にし、記憶要件を低減させ、待ち時間を改良することによって、改良されたウェアラブルデバイスを提供することができる。例えば、本技法は、動画化されたアバタの幾何学形状全体またはユーザの運動全体が環境Ｂ１９０２内のＢｏｂのウェアラブルデバイスに横断して送信されることを要求しない。Ａｌｉｃｅのウェアラブルデバイスは、Ｂｏｂのウェアラブルデバイスにおいてアバタをローカルで動画化するために使用され得る、センサデータのサブセットを送信することができ、したがって、Ａｌｉｃｅのデバイスは、アバタ全体のための幾何学形状および動画更新を送信し続ける必要はない。Ａｌｉｃｅのウェアラブルデバイスによって送信されるデータは、粗雑であり得るため、Ｂｏｂのウェアラブルデバイスは、より頻繁に更新し、より応答性のアバタ動画を得ることができる。
ユーザ相互作用を遠隔環境にマッピングする実施例
ユーザ相互作用を遠隔環境にマッピングする実施例
【0253】
図１９Ｂは、ユーザの相互作用を遠隔環境内のアバタにマッピングするためのシステムの実施例を説明する。仮想アバタ１９７０は、Ａｌｉｃｅのアバタであることができる。図１９Ｂは、仮想アバタが、サイズ１９７２（図１２Ａ－１８Ｂを参照して説明される実施例参照）、移動１９２０ｂ、姿勢、１９３０ｂ、および視線１９４０ｂ等の種々の特性を有することを示す。本明細書に説明されるように、仮想アバタ１９７０はまた、例えば、顔の表情または見た目等の本図に示されない他の特性を含むことができる。Ａｌｉｃｅのアバタは、ウェアラブルデバイス９０４によって、Ｂｏｂの環境（環境Ｂ１９０２ｂとして示される）内にレンダリングされることができる。
【0254】
仮想アバタ１９７０は、例えば、環境Ｂ１９０２ｂ（その中に仮想アバタがレンダリングされる）内のオブジェクト、関心エリア１９６２、ユーザＢｏｂのコンテキスト情報１９６４（例えば、ユーザＢｏｂの位置、配向、相互作用等）、および環境Ｂ１９６６のコンテキスト情報（例えば、環境Ｂ１９６６内のオブジェクトのレイアウト等）等の環境Ｂ１９０２ｂ内の種々のコンテキスト要因に基づいて、レンダリングされることができる。環境Ｂ１９０２ｂ内のコンテキスト要因に加え、またはその代替として、仮想アバタ１９７０はまた、Ａｌｉｃｅの相互作用１９１２ａに基づいて、レンダリングされることができる。図１９Ａに説明されるように、Ａｌｉｃｅの相互作用１９１２ａの世界成分は、意図に基づいて、仮想アバタ１９７０にマッピングされることができる一方、Ａｌｉｃｅの相互作用１９１２ａのローカル成分は、直接マッピング１９６２を介して、仮想アバタ１９７０にマッピングされることができる。
【0255】
実施例として、Ａｌｉｃｅは、Ａｌｉｃｅの環境内の関心オブジェクト１９５０ａと相互作用することができる。ウェアラブルシステムは、関心オブジェクト１９５０ａに対応する、環境Ｂ１９０２ｂ内の関心オブジェクト１９５０ｂを決定することができる。例えば、Ａｌｉｃｅが、環境Ａ１９０２ａ内の椅子に着座する場合、対応する関心オブジェクト１９５０ｂは、環境Ｂ１９０２ｂ内の椅子または別の着座可能表面であってもよい。別の実施例として、Ａｌｉｃｅは、環境Ａ１９０２ａ内のＢｏｂのアバタと対面会話をしている。ウェアラブルシステムは、Ｂｏｂが、Ａｌｉｃｅのアバタとの対面会話に従事するように、環境Ａ１９０２ａ内のＡｌｉｃｅの相互作用をＢｏｂの環境Ｂ１９０２ｂにマッピングすることができる（例えば、Ｂｏｂのウェアラブルデバイスは、ＡｌｉｃｅのアバタをＢｏｂに向かって配向することができる）。関心オブジェクトに基づいて仮想アバタをレンダリングすることに関連する詳細はさらに、図２４－３０を参照して説明される。ある実装では、意図ベースのマッピング１９６４はまた、関心エリア１９６２にも適用されることができる。例えば、Ａｌｉｃｅは、その環境１９０２ａ内の人々の群集を見るが、群集内の特定の人物を見ていない場合がある。Ａｌｉｃｅの相互作用は、環境Ｂ１９０２ｂにマッピングされてもよく、Ａｌｉｃｅの仮想アバタ１９７０は、環境Ｂ１９０２ｂ内のあるグループの仮想アバタまたは人々のグループを見るように配向されてもよい。本明細書にさらに説明されるであろうように、ある実装では、関心エリア１９６２はまた、Ａｌｉｃｅの相互作用の意図ベースのマッピングを伴わずに、環境Ｂ１９０２ｂに基づいて決定されてもよい。例えば、ウェアラブルシステムは、類似音源が環境Ａ１９０２ａ内に存在しない場合でも、環境Ｂ１９０２ｂ内の音源の方向を見るようにアバタ１９７０を配向することができる。
【0256】
別の実施例として、Ａｌｉｃｅの眼視線１９４０ａが、環境Ａ内の固視点に対して追跡されることができる。しかしながら、本固視点は、Ａｌｉｃｅのローカル環境に基づくため、直接、環境Ｂにマッピングされると、コンテキストから外れたものになり得る。いくつかの実装では、ウェアラブルシステムは、ウェアラブルシステムが、オブジェクトまたは関心エリアに基づいて、固視点を算出し得るように、環境Ｂ内のオブジェクトまたは関心エリアを自動的に識別することができ、これは、仮想アバタのためのより現実的眼視線を提供し得る。遠隔環境内のオブジェクトまたは刺激に基づいて仮想アバタをレンダリングすることに関連する詳細はさらに、別の節において本明細書に説明される。
【0257】
世界成分をマッピングすることに加え、またはその代替として、相互作用１９１２ａのローカル成分はまた、意図に基づいて、遠隔環境にマッピングされることができる。例えば、ユーザの相互作用１９１２ａは、片手を振ることを含み得、これは、ユーザが質問に否定したことを示し得る。本否定の意図は、環境Ｂ１９０２内のＢｏｂのウェアラブルデバイスに通信されることができる。本意図は、仮想アバタ１９７０にマッピングされることができ、Ｂｏｂのウェアラブルデバイスは、両手を振る仮想アバタ１９７０を示すことができる。別の実施例として、１つのタイプのユーザ相互作用は、異なるタイプのユーザ相互作用にマッピングされ、同一意図を伝達してもよい。例えば、質問を否定する（その手を振ることを介して）Ａｌｉｃｅの意図をマッピングするために、Ｂｏｂのウェアラブルシステムは、本意図を発話された音「いいえ」にマッピングし、Ｂｏｂのウェアラブルデバイス上のスピーカ２４０を介して、この音をＢｏｂに発することができる。
【0258】
有利には、いくつかの実施形態では、アバタがレンダリングされる、環境内のユーザの意図を再マッピングすることによって、ウェアラブルシステムは、視認者のローカル物理的周囲に適合させるように相互作用および通信することができる。例えば、Ａｌｉｃｅは、その机に向かって着座し、テーブル上のＢｏｂのアバタ１１００に話しかけることができる一方、Ｂｏｂは、彼の正面に立っているように現れるＡｌｉｃｅのアバタ１０００とともに、広い空の部屋内に存在する。ＢｏｂおよびＡｌｉｃｅはそれぞれ、非常に異なる環境を有するが、依然として、正常に通信することができる。他方では、ＶＲ環境内において、ＡｌｉｃｅのアバタおよびＢｏｂのアバタは両方とも、同一仮想空間にトランスポートされ、したがって、アバタは、ユーザのローカルの物理的環境に適合させる必要はない。
（仮想アバタの意図ベースのレンダリングの例示的プロセス）
（仮想アバタの意図ベースのレンダリングの例示的プロセス）
【0259】
図２０は、仮想アバタの意図ベースのレンダリングの例示的プロセスを図示する。例示的プロセス２０００は、２つのサブプロセス２０１０および２０２０を含むことができる。サブプロセス２０１０は、ユーザの相互作用を世界成分と、ローカル成分とに分解し、世界成分と関連付けられた意図を決定するために適用されることができる。サブプロセス２０２０は、ユーザの相互作用および遠隔環境の環境情報に基づいて、遠隔環境内の仮想アバタをレンダリングするために適用されることができる。サブプロセス２０１０は、Ａｌｉｃｅのウェアラブルデバイス（図２０－２１Ｃでは、ウェアラブルデバイスＡと称される）によって実施されることができ、サブプロセス２０２０は、Ｂｏｂのウェアラブルデバイス（図２０－２１Ｃでは、ウェアラブルデバイスＢと称される）によって実施されることができる。サブプロセス２０１０および２０２０の１つ以上の部分は、それぞれ、ウェアラブルデバイスＡおよびウェアラブルデバイスＢ上に実装されるような意図マッピングシステム６９４（図６Ｂ）によって実施されることができる。
【0260】
サブプロセス２０１０を参照すると、ブロック２０１２では、ウェアラブルデバイスＡは、ユーザ相互作用を識別することができる。ウェアラブルデバイスＡは、デバイスセンサから入手されたデータを分析し、ユーザの相互作用を決定することができる。そのような例示的相互作用は、図１９Ａに示される相互作用１９１２ａを参照して説明される。
【0261】
ブロック２０１４では、ウェアラブルデバイスＡは、ユーザ相互作用を世界成分と、ローカル成分とに分解することができる。実施例として、関心オブジェクトを指し、注視することは、世界成分と見なされ得る。別の実施例として、Ａｌｉｃｅの環境内での移動または姿勢変化（例えば、座るまたは横たわる）は、世界空間に対する成分を有し得る（例えば、場所１から場所２への移動、または座るまたは横たわるために物理的オブジェクトと相互作用する）。さらに別の実施例として、頭部位置変化（例えば、点頭）は、ローカル空間内のデータを含む。
【0262】
ブロック２０１６では、ウェアラブルデバイスＡは、世界成分と関連付けられた意図を決定することができる。意図は、Ａｌｉｃｅが、相互作用している、または相互作用することに関心がある、関心オブジェクトを含んでもよい。ウェアラブルデバイスＡは、Ａｌｉｃｅが参照している世界空間内の対象を決定することができる。例えば、ウェアラブルデバイスＡは、別のアバタ、共有デジタルコンテンツ、または中立／曖昧点（眼視線のため）を、関心オブジェクトとして決定することができる。いくつかの状況では、Ａｌｉｃｅが参照し得る、複数の可能性として考えられるものが存在し得る。ウェアラブルデバイスＡは、ユーザＡｌｉｃｅまたはＡｌｉｃｅの環境と関連付けられたコンテキスト情報を活用し、関心オブジェクトを決定することができる。実施例として、Ａｌｉｃｅの手のジェスチャは、椅子の方向およびＡｌｉｃｅがテレプレゼンスセッションにおいて他の参加者と共有している仮想コンテンツを指し得る。ウェアラブルデバイスＡは、テレプレゼンスセッションにおける会話により関連するため、仮想コンテンツが関心オブジェクトである可能性が高いことを決定することができる。
【0263】
コンテキスト情報の別の実施例は、ユーザの過去または最近のアクティビティであることができ、例えば、オブジェクトは、最近使用または参照されたオブジェクトである場合、関心オブジェクトであることのより高い尤度を有し得る。ある実装では、複数のユーザ入力が、組み合わせられ、関心オブジェクトを決定することができる。例えば、ウェアラブルデバイスは、眼視線方向およびユーザの手のジェスチャ（例えば、ユーザの環境内のある場所を指している）を組み合わせ、関心オブジェクトを決定することができる。図２４－３０は、加重要因を使用して、関心オブジェクトを決定する付加的実施例を説明する。
【0264】
いくつかの状況では、ウェアラブルデバイスＡは、ウェアラブルデバイスＡの環境内の関心オブジェクトを見出す必要なく、意図を決定してもよい。ウェアラブルデバイスＡは、Ａｌｉｃｅの相互作用の本質に基づいて、そのような意図の決定を行うことができる。例えば、Ａｌｉｃｅが、メッセージを記録している場合、受信者（例えば、Ｂｏｂのデバイス）が、Ａｌｉｃｅの空間内に存在しない（およびウェアラブルデバイスＡが、関心オブジェクトを識別するためのレイキャスティングを使用することができない）場合でも、ウェアラブルデバイスは、（Ａｌｉｃｅのアバタ上に実装するための）意図が、再生時、メッセージを受信する人物に向かって配向し、その人物を見ることであることを自動的に決定することができる。したがって、ウェアラブルデバイスＡは、意図が、本実施例では、本記録されたメッセージを再生するとき、アバタの環境内の他のライブユーザに向かって眼視線を位置付け、身体姿勢を配向することであることを自動的に規定することができる。
【0265】
ブロック２０１８ａでは、ウェアラブルデバイスＡは、意図をウェアラブルデバイスＢに通信することができ、ブロック２０１８ｂでは、ウェアラブルデバイスＢは、ローカル成分と関連付けられた情報をウェアラブルデバイスＢに通信することができる。意図に関連するデータおよびローカル成分と関連付けられた情報に関連するデータは、ローカル空間内の動画が世界空間動画または姿勢データから分離されるように、別個に伝送されてもよい。ローカル成分に関する情報は、そのような情報（例えば、ローカル動画データ）が、少なくとも、ローカルフレーム内のＡｌｉｃｅのアクションに基づき、ウェアラブルデバイスＢに送信される（アバタのローカルフレームにマッピングされることができる）ため、別個に伝送されてもよい。世界空間情報は、異なる座標系内にある（例えば、世界空間情報は、ＡｌｉｃｅまたはＡｌｉｃｅのアバタのローカルフレームではなく、世界フレームを基準とする）ため、ローカル成分と異なるようにハンドリングされる必要があり得る。各データまたはメッセージタイプが区別される（例えば、世界空間と関連付けられたデータのためのラベルおよびローカル成分と関連付けられたデータのための別のラベルを提供することによって）限り、同一データチャネルを使用して、両方を送信することが可能であり得る。
【0266】
サブプロセス２０２０を参照すると、ブロック２０２２では、ウェアラブルデバイスＢは、ウェアラブルデバイスＢと関連付けられたコンテキスト情報を決定することができる。そのようなコンテキスト情報は、ウェアラブルデバイスＢの環境とのＡｌｉｃｅのアバタの相互作用を決定するために使用されることができる。例えば、ウェアラブルデバイスＢは、ウェアラブルデバイスＢの環境内の対応する関心オブジェクトを決定することができる。実施例として、ウェアラブルＡの環境内の関心オブジェクトは、ウェアラブルデバイスＡとウェアラブルデバイスＢとの間で共有される、仮想オブジェクトである場合、ウェアラブルデバイスＢの環境内の対応する関心オブジェクトが、本共有仮想オブジェクトであることができる。いくつかの状況では、意図は、意味論意図を含んでもよく、これは、ウェアラブルデバイスＢに、対応する関心オブジェクトと類似した分類または機能を有するオブジェクトを見出させる、またはウェアラブルデバイスＢの環境内の類似したユーザ相互作用をサポートさせることができる。例えば、ウェアラブルデバイスＡの環境内の関心オブジェクトは、オフィス用の椅子を含むことができる。ウェアラブルデバイスＢの環境内の対応する関心オブジェクトは、着座可能表面を伴うオブジェクト（ベッドまたはベンチ等）であってもよい。
【0267】
ウェアラブルシステムはまた、各世界－空間アイテムがウェアラブルデバイスＢの環境内のＡｌｉｃｅのアバタに対して位置する場所を決定することができる。環境のレイアウトに基づいてアバタを配向する実施例はさらに、図２２－３０Ｂを参照して説明される。
【0268】
ブロック２０２６では、ウェアラブルデバイスＢは、ウェアラブルデバイスＡから受信されたローカル成分と関連付けられた情報に基づいて、アバタのローカルアクションを決定することができる。例えば、ウェアラブルデバイスＢは、適切な世界空間コンテンツを見るまたは指し得るように、アバタのための位置および配向を含む、身体姿勢を決定することができる。ある実装では、ローカルフレーム内のアバタのアクションは、衝突チェックおよび世界空間内の環境障壁を条件とすることができる。例えば、ローカル運動は、アバタの腕を上昇させることを含んでもよい。しかしながら、アバタは、壁に近接して立っている場合があり、腕は、アバタが腕を上昇させる場合、壁を通して貫通するように現れるであろう。ウェアラブルデバイスＢは、本アクションを動画化しないように構成されてもよい、または腕を上昇させる動画をレンダリングする前に、世界フレームに対してアクションを行うように構成されてもよい（例えば、最初に、アバタを壁から離れるように移動させることによって（例えば、後退させることによって））。
【0269】
ブロック２０２８では、ウェアラブルデバイスＢは、ディスプレイに、それぞれ、ブロック２０２４および２０２６から決定されるような世界空間に対するアクションおよびローカル空間に対するアクションに基づいて、仮想アバタをレンダリングさせることができる。ウェアラブルシステムは、ローカルフレーム内のアバタのアクションのための動画を環境の世界フレーム内のアバタのアクションの上にマッピングすることができる。例えば、ウェアラブルシステムは、手のジェスチャ（関心オブジェクトを指す）を関心オブジェクトに向かって面した身体配向（意図に基づいて、配向を調節することに応じて）上にマッピングすることができる。
【0270】
いくつかの実装では、ウェアラブルデバイスＢは、環境（例えば、図１７Ａおよび１７Ｂを参照して説明される環境メッシュおよび平面等）を走査し、環境Ｂ内の世界空間情報を取得することができる。本情報を用いることで、ウェアラブルデバイスＢは、Ａｌｉｃｅのアバタの位置およびＡｌｉｃｅの環境内の環境目印（関心オブジェクトになり得る）に対する移動を決定することができる。ウェアラブルシステムは、例えば、歩行運動、着座、およびオブジェクトに手を伸ばすこと等のアクションを世界成分として取り扱うことができる。ある実装では、ウェアラブルデバイスＢまたはＡは、世界フレームに対して自動的にモデル化されるであろう、事前にプログラムされたアクションのセットを有することができる。ウェアラブルデバイスＢはまた、例えば、初期開始姿勢（アバタをスポーンすることに応じて設定され得る）に対する頭部姿勢変化等のローカル空間内の運動のセットを決定することができる。ウェアラブルデバイスＢは、開始配向に対する相対的歩行運動を算出し、付加的に、歩行運動変化がスポーン点に対するように、その運動をアバタの初期配向に適用することができる。
【0271】
本実施例では、サブプロセス２０１０内のブロックは、ウェアラブルデバイスＡによって実施される一方、サブプロセス２０２０内のブロックは、ウェアラブルデバイスＢによって実施されるように説明されるが、これは、ブロックが図２０に示されるデバイスによって実施されなければならないかどうかに関する限定ではない。例えば、ウェアラブルデバイスＡは、Ａｌｉｃｅの相互作用データを捕捉し、そのようなデータをサーバまたはウェアラブルデバイスＢにパスし、世界成分、意図、およびローカル成分を抽出することができる。
頭部姿勢および眼視線追跡に基づく仮想オブジェクトとの相互作用のための意図（ベースのレンダリングの例示的プロセス）
頭部姿勢および眼視線追跡に基づく仮想オブジェクトとの相互作用のための意図（ベースのレンダリングの例示的プロセス）
【0272】
図２１Ａは、頭部姿勢追跡および眼視線追跡に基づいて意図を決定するための例示的プロセスを図示する。図２１Ａに示されるプロセス２１３０は、Ａｌｉｃｅの環境（図２０－２１Ｃでは、環境Ａとも称される）内のＡｌｉｃｅの相互作用をＢｏｂの環境（図２０－２１Ｃでは、環境Ｂとも称される）内にレンダリングされたＡｌｉｃｅのアバタにマッピングすることによって、Ａｌｉｃｅの意図を決定するために適用されることができる。プロセス２１３０は、個々に、または組み合わせて、Ａｌｉｃｅのウェアラブルデバイス９０２、遠隔コンピューティングシステム９２０によって実施されることができる。プロセス２１３０はまた、図６Ｂに示される、意図マッピングシステム６９４の一部として実装されることができる。
【0273】
プロセス２１３０は、２１３２において、Ａｌｉｃｅの頭部移動データを追跡し得る、頭部姿勢追跡２１３４ａから開始する。種々の技法が、頭部姿勢を追跡するために使用されてもよい。例えば、Ａｌｉｃｅのウェアラブルデバイス９０２は、ＩＭＵおよびカメラ（例えば、外向きに面した結像システム４６４または内向きに面した結像システム４６２内のカメラ）の組み合わせを採用し、Ａｌｉｃｅの回転および平行移動運動を記録することができる。ウェアラブルデバイス９０２によって記録される移動データは、環境Ａと関連付けられた世界フレームに対する頭部姿勢を推定するための環境Ａ内の特徴を抽出するために使用されることができる（データブロック２１３６ａとして示される）。
【0274】
ウェアラブルデバイス９０２はまた、眼追跡２１３４ｂを実施し、頭部フレーム内のＡｌｉｃｅの視野内の眼の固視点（焦点）（頭部フレームが、Ａｌｉｃｅに対してローカルの座標系と関連付けられる、データブロック２１３６ｂに示されるように）を取得することができる。
【0275】
ブロック２１３８では、眼視線標的点は、固視点および頭部姿勢の組み合わせに基づいて、計算されることができる。ブロック２１３８における算出から取得される結果は、世界フレームに対する視線固視点および世界フレーム内の光線方向（データブロック２１４０ａに示される）を含むことができる。
【0276】
頭部姿勢および眼視線に基づいて、世界フレーム２１４０ｂ内の静的仮想場面モデル（環境Ａ内の静的仮想オブジェクトを説明し得る）、および場面２１４０ｃ（環境Ａ内の所与の位置または配向に固定される、仮想オブジェクトを含んでもよい）内の動的仮想オブジェクト（アバタを含んでもよい）が、ブロック２１４２において、ローカル空間内の視線固視点と交差する場面内の仮想オブジェクトを決定するために使用されることができる。例えば、ウェアラブルデバイス９０２は、光線ベクトルを眼から本固視点に投射することによって、レイキャスティングを実施することができる。本光線ベクトルは、ウェアラブルデバイス９０２を通して知覚されるようなＡｌｉｃｅがその視野内で見ている対象を決定するために使用されることができる。
【0277】
Ａｌｉｃｅが見ている可能性があるものに関して、３つの基本可能性が存在し得る。１つ目は、Ａｌｉｃｅが、例えば、椅子またはランプ等のその環境内の物理的オブジェクトを見ている可能性である。２つ目は、Ａｌｉｃｅが、そのウェアラブルデバイス９０２のディスプレイ２２０によって、そのＡＲ／ＭＲ環境内にレンダリングされた仮想オブジェクトを見ている可能性である。３つ目は、Ａｌｉｃｅが、例えば、思案に暮れる、または何らかのものについて考え込んでいるとき等、特に何も見ていない可能性である。
【0278】
ブロック２１４４では、ウェアラブルシステムは、視線が仮想オブジェクトと交差するかどうかを決定することができ、該当する場合、オブジェクトがＡｌｉｃｅのアバタの目線と異なる相対的位置（Ａｌｉｃｅの目線と比較して）にある場合は、Ａｌｉｃｅのアバタのための異なる頭部姿勢が、算出される必要があり得る。該当しない場合、プロセス２１３０は、開始ブロック２１３２に戻る。ある実装では、ブロック２１４４から決定されるような仮想オブジェクトは、関心オブジェクトであることができる。
【0279】
ブロック２１４６では、ウェアラブルシステムは、あるオブジェクトと相互作用する等の意味論意図指示を抽出することができる。例えば、ウェアラブルシステムは、例えば、オブジェクトを移動させる、オブジェクトを注視する、オブジェクトを修正する、Ｂｏｂの仮想アバタに話しかける等、ユーザによって意図されるようなオブジェクトとの相互作用を決定することができる。
【0280】
オブジェクト（またはそのアバタと相互作用することから決定されるような人物）と相互作用する意図および頭部姿勢は、Ｂｏｂのウェアラブルデバイスに通信されることができ、これは、意図に基づいて、Ａｌｉｃｅの頭部姿勢をＡｌｉｃｅのアバタに（Ｂｏｂのウェアラブルデバイスによってレンダリングされるように）マッピングすることができる。
【0281】
下記のアルゴリズム（ｉ）は、図２１Ａにおけるプロセス２１３０の例示的擬似コード実装を説明する。
アルゴリズム（ｉ）
世界座標フレームＷ内の頭部姿勢Ｈ＿Ｗと、
頭部フレームＨ内の眼固視点Ｆ＿Ｈとを前提とする。
Ｐをユーザの近辺内の実際の物理的オブジェクトのセットとし、
Ｓをウェアラブルディスプレイを介して場面内にレンダリングされた３－Ｄ静的仮想オブジェクトのセットとする。
Ｄを他のアバタまたは移動するオブジェクト等の動的３Ｄ仮想オブジェクトのセットとする。
Ｈ＿Ｗおよびｆ＿Ｈから、
ｆ＿Ｗ＝ｆ＿ＨＨ＿Ｗは、
世界フレームＷに対する３－Ｄ固視点Ｆ＿Ｗを表すものとし、
Ｈ＿Ｗは、座標フレームを表す、４×４変換行列である。
ｅ＿Ｈは、頭部フレームＨ内の頭部の眼間の基準点を表すものとする。
ｅ＿Ｗ＝ｅ＿ＨＨ＿Ｗを世界フレームＷ内に表される点ｅ＿Ｈとする。
ｇ＿Ｗ＝ｆ＿Ｗ－ｅ＿Ｗを、固視点ｆ＿Ｗに向かって見ており、ｅ＿Ｗから生じる、頭部の通視線の方向を指している、視線方向光線とする。
光線は、ｇ＿Ｗ（ｔ）＝ｅ＿Ｗ＋ｔ（ｆ＿Ｗ－ｅ＿Ｗ）としてパラメータ化されることができ、ｔは、［０，無限遠］内にあって、無限光線を表し、ｔ＝０は、点ｅ＿Ｗに対応し、ｔ＝１は、本光線上の固視点ｆ＿Ｗを表す。
ｇ＿Ｗに関して、Ｐ、Ｓ、およびＤに対する本光線の交点を試験する。ｔの最小値において交差する、Ｐ、Ｓ、Ｄの和集合内のオブジェクトＯを選択する。これは、光線ｇ＿Ｗ（ｔ）と交差する、Ｐ、Ｓ、Ｄ間の最も近いオブジェクトと一致する。
Ｉ＿ａｖａｔａｒをアバタを制御するための遠隔デバイスに送信するための意図のセットとする。
Ｈ＿ａｖａｔａｒをアバタを制御するための遠隔デバイスに送信するための現在の頭部姿勢とする。
Ｏが、Ｓ（静的仮想オブジェクト）の要素である場合、意図ｌｏｏｋａｔ（Ｓ）をＩ＿ａｖａｔａｒに追加する。
Ｏが、Ｄ（動的仮想オブジェクト）の要素である場合、意図ｌｏｏｋａｔ（Ｄ）をＩ＿ａｖａｔａｒに追加する。
Ｈ＿ａｖａｔａｒ＝Ｈ＿Ｗを設定する。
出力は、Ｉ＿ａｖａｔａｒおよびＨ＿ａｖａｔａｒのセットである。
出力Ｉ＿ａｖａｔａｒおよびＨ＿ａｖａｔａｒは、ブロック２１５０に示されるように、意図に基づいてＡｌｉｃｅのアバタをレンダリングするために、Ｂｏｂのウェアラブルデバイスに通信されることができる。
アルゴリズム（ｉ）
世界座標フレームＷ内の頭部姿勢Ｈ＿Ｗと、
頭部フレームＨ内の眼固視点Ｆ＿Ｈとを前提とする。
Ｐをユーザの近辺内の実際の物理的オブジェクトのセットとし、
Ｓをウェアラブルディスプレイを介して場面内にレンダリングされた３－Ｄ静的仮想オブジェクトのセットとする。
Ｄを他のアバタまたは移動するオブジェクト等の動的３Ｄ仮想オブジェクトのセットとする。
Ｈ＿Ｗおよびｆ＿Ｈから、
ｆ＿Ｗ＝ｆ＿ＨＨ＿Ｗは、
世界フレームＷに対する３－Ｄ固視点Ｆ＿Ｗを表すものとし、
Ｈ＿Ｗは、座標フレームを表す、４×４変換行列である。
ｅ＿Ｈは、頭部フレームＨ内の頭部の眼間の基準点を表すものとする。
ｅ＿Ｗ＝ｅ＿ＨＨ＿Ｗを世界フレームＷ内に表される点ｅ＿Ｈとする。
ｇ＿Ｗ＝ｆ＿Ｗ－ｅ＿Ｗを、固視点ｆ＿Ｗに向かって見ており、ｅ＿Ｗから生じる、頭部の通視線の方向を指している、視線方向光線とする。
光線は、ｇ＿Ｗ（ｔ）＝ｅ＿Ｗ＋ｔ（ｆ＿Ｗ－ｅ＿Ｗ）としてパラメータ化されることができ、ｔは、［０，無限遠］内にあって、無限光線を表し、ｔ＝０は、点ｅ＿Ｗに対応し、ｔ＝１は、本光線上の固視点ｆ＿Ｗを表す。
ｇ＿Ｗに関して、Ｐ、Ｓ、およびＤに対する本光線の交点を試験する。ｔの最小値において交差する、Ｐ、Ｓ、Ｄの和集合内のオブジェクトＯを選択する。これは、光線ｇ＿Ｗ（ｔ）と交差する、Ｐ、Ｓ、Ｄ間の最も近いオブジェクトと一致する。
Ｉ＿ａｖａｔａｒをアバタを制御するための遠隔デバイスに送信するための意図のセットとする。
Ｈ＿ａｖａｔａｒをアバタを制御するための遠隔デバイスに送信するための現在の頭部姿勢とする。
Ｏが、Ｓ（静的仮想オブジェクト）の要素である場合、意図ｌｏｏｋａｔ（Ｓ）をＩ＿ａｖａｔａｒに追加する。
Ｏが、Ｄ（動的仮想オブジェクト）の要素である場合、意図ｌｏｏｋａｔ（Ｄ）をＩ＿ａｖａｔａｒに追加する。
Ｈ＿ａｖａｔａｒ＝Ｈ＿Ｗを設定する。
出力は、Ｉ＿ａｖａｔａｒおよびＨ＿ａｖａｔａｒのセットである。
出力Ｉ＿ａｖａｔａｒおよびＨ＿ａｖａｔａｒは、ブロック２１５０に示されるように、意図に基づいてＡｌｉｃｅのアバタをレンダリングするために、Ｂｏｂのウェアラブルデバイスに通信されることができる。
【0282】
アバタ制御セッションの間（例えば、テレプレゼンスセッションの間または視認者とアバタとの間の相互作用の間等）、ウェアラブルデバイスＡは、現在の頭部姿勢を、規則的、周期的、または不規則的時間間隔において、ウェアラブルデバイスＢに送信することによって、Ａｌｉｃｅのアバタを更新することができる。アルゴリズム（ｉ）から、ウェアラブルデバイスＡは、意図（Ｉ＿ａｖａｔａｒ）およびＡｌｉｃｅの現在の頭部姿勢（Ｈ＿ａｖａｔａｒ）のセットをウェアラブルデバイスＢにパスすることができる。ウェアラブルデバイスＢによってＡｌｉｃｅのアバタを動画化する際に使用されるためのベースライン頭部姿勢（Ｈ＿ｂａｓｅｌｉｎｅ）を決定するために、ウェアラブルデバイスは、本段落の直下の段落における計算を実施する。
【0283】
第１の時間サンプルに関して、ベースライン頭部姿勢は、Ｈ＿ｂａｓｅｌｉｎｅ＝Ｈ＿ａｖａｔａｒとして定義される。Ｉ＿ａｖａｔａｒが、設定される場合、Ｈ＿ｂａｓｅｌｉｎｅは、姿勢であるように算出され、これは、アバタの頭部をＢｏｂのローカル空間内の意図（ｌｏｏｋａｔ（Ｓ））のためのオブジェクトＳに向かって向ける。Ａｌｉｃｅのローカル空間内のＳの場所は、Ｂｏｂのローカル空間内のＳの場所と同一ではない場合があることに留意されたい。しかしながら、意図Ｉ＿ａｖａｔａｒ＝ｌｏｏｋａｔ（Ｓ）を送信することによって、ウェアラブルデバイスＢは、頭部姿勢を算出し、頭部をアバタの遠隔環境内のＳに向かって指向する本意図を維持することができる。ウェアラブルデバイスＡによって入手された画像のフレーム毎に、ウェアラブルデバイスＢは、最初に、それをＨ＿ｂａｓｅｌｉｎｅに設定し、Ｈ＿ｂａｓｅｌｉｎｅとＨ＿ａｖａｔａｒとの間の相対的姿勢（Ｈ＿ｒｅｌａｔｉｖｅ）上に追加することによって、最終のアバタの頭部姿勢Ｈ＿ｆｉｎａｌを算出することができる。結果は、意図（ｌｏｏｋａｔ（Ｏ））が、その環境内のローカルユーザとアバタの遠隔環境内の同一オブジェクトまたはアバタＯを見ている遠隔アバタとの間に保存されることになる。
【0284】
仮想関心オブジェクトと相互作用するための意図ベースのレンダリングのための付加的ユーザ体験はさらに、図２４－３０を参照して説明される。
（環境との相互作用のための意図ベースのレンダリングの例示的プロセス）
（環境との相互作用のための意図ベースのレンダリングの例示的プロセス）
【0285】
意図に基づいて、Ａｌｉｃｅの頭部姿勢および眼視線をマッピングすることに加えて、またはその代替として、環境とのＡｌｉｃｅの相互作用もまた、意図に基づいて、そのアバタにマッピングされることができる。環境との相互作用は、環境内の物理的関心オブジェクトと相互作用することを含んでもよい。例えば、Ａｌｉｃｅのアバタが、Ｂｏｂの環境内に現れる場合、Ａｌｉｃｅの正確な運動を模倣するのではなく、Ｂｏｂのウェアラブルデバイスは、Ｂｏｂの環境を分析し、例えば、家具の周囲を歩き回る、空の椅子に着座する、またはＡｌｉｃｅのアバタがＢｏｂの環境内に立っている場所に近いテーブルまたは棚に寄りかかる等、適宜、Ａｌｉｃｅのアバタの挙動を調節することができる。
【0286】
図２１Ｂは、環境との相互作用を別の環境とのアバタの相互作用にマッピングするための例示的プロセスを図示する。図２１Ｂに示されるプロセス２１６０は、Ａｌｉｃｅの環境とのＡｌｉｃｅの相互作用をＢｏｂの環境内にレンダリングされたＡｌｉｃｅのアバタにマッピングするためのＡｌｉｃｅの意図を決定するために適用されることができる。プロセス２１６０はまた、図６Ｂに示される意図マッピングシステム６９４の一部として実装されることができる。プロセス２１６０は、Ｂｏｂのウェアラブルデバイスの目線から説明されるが、プロセス２１６０は、個々に、または組み合わせて、Ａｌｉｃｅのウェアラブルデバイス９０２、Ｂｏｂのウェアラブルデバイス９０４、遠隔コンピューティングシステム９２０によって実施されることができる。
【0287】
ブロック２１６２ａでは、ウェアラブルデバイスＢは、参加者センサデータ２１６０ａを読み出すことができる。例えば、参加者センサデータ２１６０ａは、単独で、または組み合わせて、Ａｌｉｃｅのウェアラブルデバイスのデバイスセンサによって入手されたＡｌｉｃｅの運動データ、Ａｌｉｃｅの運動データから決定されるようなＡｌｉｃｅの意図、その環境とのＡｌｉｃｅの相互作用の世界成分、Ａｌｉｃｅの相互作用のローカル成分等を含んでもよい。
【0288】
ブロック２１６２ｂでは、ウェアラブルデバイスＢは、その中にＡｌｉｃｅのアバタがレンダリングされる、環境Ｂ内のアバタの新しい相対的運動および位置を決定することができる。新しい相対的運動および位置は、環境Ｂのコンテキスト情報（例えば、環境Ｂ内のオブジェクトのレイアウト、環境Ｂ内のオブジェクト等）またはＡｌｉｃｅの意図に基づいて、決定されることができる。
【0289】
ブロック２１６６では、ウェアラブルデバイスＢは、ブロック２１６２ｂから決定された結果が環境内のオブジェクトとの衝突をもたらすであろうかどうかを決定することができる。ウェアラブルデバイスＢは、図２１Ｃに示される環境再構成および分析サブプロセス２１６４からの１つ以上の出力を使用して、そのような衝突チェックを実施する。
【0290】
衝突が、検出される場合、プロセス２１６０は、ブロック２１６２ｂに戻ることができ、アバタの新しい相対的運動および位置が、決定される。例えば、アバタの新しい位置が、環境内の既存のオブジェクトとの衝突または干渉をもたらす場合、ウェアラブルシステムは、運動計画アルゴリズムを適用し、新しい無衝突位置を決定することができる。運動計画アルゴリズムの一実施例は、衝突がもはや生じなくなるまで、新しい位置から前の位置に向かってステップを逆戻りすることである。ある場合には、新しい方向は、衝突を回避するように全体的に計算されることができる。
【0291】
衝突が、検出されない場合、ブロック２１６８では、ウェアラブルデバイスは、メッシュオブジェクトが、ユーザ相互作用をサポートする、意味論カテゴリを有するものであるかどうかを決定することができる。図７を参照して説明されるように、オブジェクト認識装置７０８は、環境内のオブジェクトを認識し（オブジェクト認識装置７０８は、環境再構成および分析サブプロセス２１６４を実装してもよい）、意味論情報をオブジェクトに結び付けることができる。意味論情報は、オブジェクトが人物によって相互作用可能である、カテゴリを含んでもよい。例えば、オブジェクト認識装置７０８は、例えば、椅子、テーブル、または壁、または他の一点の家具等、メッシュであるオブジェクトのタイプを認識することができる。
【0292】
オブジェクトが、相互作用可能カテゴリではない場合、プロセス２１６０は、ブロック２１７８において終了する。オブジェクトが、相互作用可能である場合、ブロック２１７０では、ウェアラブルシステムは、意味論カテゴリに基づいて、相互作用タイプを決定することができ、いくつかの例示的相互作用可能カテゴリは、椅子、壁、テーブル等を含むことができる。各相互作用可能カテゴリ内において、ウェアラブルデバイスＢは、ブロック２１７２ａ、２１７２ｂ、および２１７２ｃに示されるように、アフォーダンスを識別することができる。オブジェクトのアフォーダンスは、オブジェクトとオブジェクトの環境との間の関係を含み、これは、アクションまたは使用がオブジェクトと関連付けられる機会を与える。アフォーダンスはオブジェクトの特性（意味論情報の一部として記録されることができる）に基づいて、決定されてもよい。いくつかの例示的オブジェクトの特性は、オブジェクトの機能、配向、タイプ、場所、形状、またはサイズを含むことができる。実施例として、水平テーブルのアフォーダンスは、オブジェクトが、テーブル上に設定されることができるというものであって、鉛直壁のアフォーダンスは、オブジェクトが、壁から吊架される、またはその上に投影され得ることである。アフォーダンスはまた、その中にオブジェクトが位置する、環境に基づいてもよい（例えば、オフィス内のテーブルは、書斎テーブルとして使用されることができる一方、食堂内のテーブルは、食事目的のためのものである）。
【0293】
いったんカテゴリが、識別されると、ウェアラブルシステムは、ブロック２１７４ａ、２１７４ｂ、および２１７４ｃにおいて、カテゴリ特有の領域を探すことができる。椅子の場合、これは、椅子の座面と、バックレストと、おそらく、アームレストとを識別するであろう。オブジェクトのこれらのサブ部分は、アバタがそれと相互作用し得る、種々の方法を含意することができる。例えば、アバタが着座すると、その背面端は、椅子の座面上に静置されることができ、その背面は、腕がアームレスト上に設置された状態で、バックレストにもたれることができる（ブロック２１７６ｃ参照）。
【0294】
アバタの身体の一部をオブジェクト上に位置付けるための１つの方法は、アバタの身体の一部を特定の位置および配向に制約することであって、これは、逆運動学と呼ばれる。複数の身体標的が、複数の逆運動学標的を使用して、同時に、制約され、位置付けられることができる。
【0295】
図２１Ｃは、環境再構成および分析サブプロセス２１６４の実施例を図示する。例示的サブプロセス２１６４は、図７に示されるオブジェクト認識装置７０８の一部として、または図６Ｂに示されるコンテキスト情報分析システム６８８の一部として、実装されることができる。例示的サブプロセス２１６４は、平面を認識するためのサブプロセス２１８０と、環境内のオブジェクトを識別する（例えば、メッシュセグメントを分析することによって）ためのサブプロセス２１９０とを含むことができる。
【0296】
サブプロセス２１８０を参照すると、ブロック２１８２では、プロセスは、環境内の主要な平面を抽出することができる。主要な平面は、図１６Ａおよび１７Ａ－１７Ｂを参照して説明される、技法を使用して、抽出されてもよい。例えば、ウェアラブルシステムは、外向きに面した結像システム４６４（深度感知能力を有してもよい）によって入手されたデータに基づいて、３Ｄ点群を生成することができる。平面は、直接、３Ｄ点群から抽出される、または３Ｄ点群から決定されたメッシュから抽出されることができる。ここでは、３Ｄ点群が、実施例として使用されるが、平面は、環境の他の３Ｄモデルから抽出されることもできる。例えば、平面は、環境を３Ｄ点群として表す場合とそうではない場合がある、世界マップ９１０から抽出されてもよい。
【0297】
ブロック２１８４では、プロセスは、平面を、例えば、床、壁、テーブルの表面等の意味論カテゴリにカテゴリ化することができる。本ブロックは、図１７Ａおよび１７Ｂを参照して説明される、技法を使用して、実施されることができる。例えば、平面は、環境の画像分析から決定されたメッシュの近傍三角形から識別されてもよい。
【0298】
サブプロセス２１９０を参照すると、ブロック２１９２では、非平面領域が、環境メッシュから抽出されてもよい。ブロック２１９４では、非平面領域は、メッシュセグメントに分離され、１つ以上のメッシュセグメントは、物理的環境内の物理的オブジェクトに対応し得る。ブロック２１９６ｂでは、プロセスは、セグメント毎に、境界された体積を算出し、物理的オブジェクトの境界を決定することができる。ブロック２１９６ａでは、メッシュセグメントは、オブジェクトのタイプに対応し得る、意味論カテゴリにカテゴリ化されることができる。
環境との相互作用のための意図ベースのレンダリングのための例示的ユーザ体験
環境との相互作用のための意図ベースのレンダリングのための例示的ユーザ体験
【0299】
図２２および２３は、２人のユーザ相互作用体験を図示し、ある環境とのユーザの相互作用は、意図に基づいて、別の環境内のユーザのアバタにマッピングされる。
【0300】
図２２におけるシナリオは、４つの場面２２０２ａ、２２０２ｂ、２２０４ａ、および２２０４ｂを有する。場面２２０２ａは、時間ｔ１におけるＡｌｉｃｅの環境を説明し、場面２２０２ｂは、時間ｔ１におけるＢｏｂの環境を説明し、場面２２０４ａは、時間ｔ２におけるＡｌｉｃｅの環境を説明し、場面２２０４ｂは、時間ｔ２におけるＢｏｂの環境を説明する。これらの２つの図に示されるように、Ａｌｉｃｅの環境は、居間環境であって、これは、ソファ２２２２を含むことができる一方、Ｂｏｂの環境は、寝室環境であって、これは、机２２２４と、ベッド２２２６とを含むことができる。Ａｌｉｃｅの環境では、Ａｌｉｃｅは、東に向いている一方、Ａｌｉｃｅが、Ｂｏｂのアバタ１１００に向くように、Ｂｏｂのアバタ１１００は、西に向いている（座標系２２５０によって示されるように）。Ｂｏｂの環境内では、Ａｌｉｃｅのアバタ１０００およびＢｏｂもまた、相互に向いている。しかしながら、Ａｌｉｃｅのアバタ１０００は、南に向いている一方、Ｂｏｂは、北に向いている。
【0301】
場面２２０２ａおよび２２０４ａを参照すると、Ａｌｉｃｅは、Ｂｏｂ１１００に向かって東向きに歩いている２２１２。Ａｌｉｃｅのウェアラブルデバイスは、Ａｌｉｃｅの運動およびＡｌｉｃｅの環境（Ｂｏｂのアバタ１１００を含む）内のオブジェクトを分析し、Ａｌｉｃｅの運動の意図を決定することができる。本実施例では、意図は、Ｂｏｂに向かって歩いていくことである（Ｂｏｂのアバタ１１００が、Ａｌｉｃｅの環境内のＢｏｂの仮想存在としての役割を果たし得るため）。Ａｌｉｃｅのウェアラブルデバイスは、Ａｌｉｃｅの運動をＢｏｂの環境にマッピングするために、本意図をＢｏｂのウェアラブルデバイスに通信することができる。
【0302】
場面２２０２ｂおよび２２０４ｂを参照すると、Ａｌｉｃｅのアバタ１０００およびＢｏｂの環境内のＢｏｂの配向は、Ａｌｉｃｅの配向９１２およびＡｌｉｃｅの環境内のＢｏｂのアバタ１１００の配向と異なるため、Ｂｏｂに向かって歩くというＡｌｉｃｅの意図をマッピングするために、Ｂｏｂのウェアラブルデバイスは、Ｂｏｂに向かって南向きに移動する２２１４ように、Ａｌｉｃｅのアバタの運動をレンダリングする。本シナリオでは、Ａｌｉｃｅの運動が、Ｂｏｂの環境にマッピングされるが、意図がマッピングされない場合、Ａｌｉｃｅのアバタ１０００は、ベッド２２２６の中に東向きに歩いて行くことになり、これは、不自然なユーザ体験をもたらす。
【0303】
図２３におけるシナリオは、４つの場面２２０２ａ、２２０２ｂ、２３０２ａ、および２３０２ｂを有する。場面２２０２ａおよび２２０２ｂは、図２２に説明されるものと同一である。場面２３０２ａは、時間ｔ３におけるＡｌｉｃｅの環境を説明し、場面２３０２ｂは、時間ｔ３におけるＢｏｂの環境を説明する。
【0304】
場面２２０２ａおよび２３０２ａを参照すると、Ａｌｉｃｅは、移動する（その環境内のソファ２２２２上に着座するための軌道２３１２ａによって図示されるように）。場面２３０２ａに図示されるように、Ｂｏｂのアバタ１１００は、Ａｌｉｃｅの本移動に応答し得る（Ａｌｉｃｅは、Ｂｏｂのアバタにとって関心オブジェクトと見なされる）。その結果、Ｂｏｂのアバタ１１００は、Ｂｏｂのアバタ１１００がＡｌｉｃｅと対面してやりとりするままであるように、自らを自動的に再配向することができる（矢印２２１４ａによって図示されるように）。図１２Ａ－１８Ｂを参照して説明されるように、いくつかの実装では、Ｂｏｂのアバタ１１００はまた、（彼女がソファ２２２２上に着座後の）Ａｌｉｃｅと（環境内で立っているような）Ｂｏｂのアバタ１１００との間の高低差に基づいて、自動的にサイズ変更されることができる。例えば、Ｂｏｂのアバタ１１００は、Ａｌｉｃｅとの目と目を合わせたやりとりを維持するために、動的にスケールダウンされることができる。
【0305】
その環境とのＡｌｉｃｅの相互作用は、その相互作用の意図に基づいて、Ｂｏｂの環境にマッピングされることができる。しかしながら、Ｂｏｂの環境は、ソファを有していない。Ａｌｉｃｅの相互作用の意図は、着座可能表面上に着座することであり得る。Ｂｏｂのウェアラブルデバイスは、着座可能表面を自動的に検出し（例えば、図２１Ｂおよび２１Ｃを参照して説明される、技法を使用して）、着座可能表面上に着座するようにＡｌｉｃｅのアバタ１０００をレンダリングすることができる。場面２３０２ｂに示されるように、Ｂｏｂは、そのウェアラブルデバイスを介して、Ａｌｉｃｅのアバタが、軌道２３１２ｂに沿って移動し、ベッド２２２６上に着座することを知覚することができる。しかしながら、テーブル２２２４のアフォーダンスが着座可能表面を含まない（例えば、人物は、典型的相互作用では、テーブル上に着座しないであろう）ため、Ａｌｉｃｅのアバタ１０００は、テーブル２２２４上に着座しない。
（仮想関心オブジェクトとの相互作用のための意図ベースのレンダリングの実施例）
（仮想関心オブジェクトとの相互作用のための意図ベースのレンダリングの実施例）
【0306】
本明細書に説明されるように、複合現実環境内の各ユーザは、異なる物理的環境を有する（または同一物理的環境の異なる位置に存在し得る）が、それでもなお、仮想体験の少なくとも一部を別のユーザと共有し得る（例えば、仮想環境内の同一オブジェクトと相互作用することによって）。しかしながら、ユーザは、完全に異なる物理的環境内に存在し得るため、共有仮想オブジェクトおよび遠隔アバタの位置および配向は、特定のユーザに一意であり得る。共通環境レイアウトの欠如は、その独自の仮想環境内の他のユーザに論理的意味を成すように、その独自のローカル環境内のユーザの焦点または通信キューを遠隔アバタにマッピングすることを困難にする。例えば、ユーザが、右を見ると、その独自のローカル環境内の共有仮想オブジェクトが見える場合、その遠隔アバタにもまた右を見させることは、共有仮想オブジェクトが実際には遠隔仮想環境内のアバタの左にある場合、意味を成し得ない。
【0307】
別の実施例として、そのウェアラブルシステムによって彼女に表示されるＡｌｉｃｅの仮想体験では、Ｂｏｂのアバタが、Ａｌｉｃｅの正面に立っていて、木がその右にあって、巨石がその左にあり得る。Ｂｏｂの仮想体験では、Ｂｏｂは、Ａｌｉｃｅのアバタの左に立っていて、巨石および木の両方がその右にあり得る。Ｂｏｂの１対１の頭部および手移動を伝送する単純なアプローチは、Ｂｏｂが、見ている、または相互作用しているオブジェクトがＡｌｉｃｅに明確になり得ない。単に、Ｂｏｂのアバタの配向を具体的オブジェクトに強制的にスナップさせることは、Ｂｏｂの意図および性格を伝える、わずかな頭部および手移動を取り除き得る。故に、図１９Ａ－２３を参照して説明されるように、本明細書に説明されるウェアラブルシステムは、Ｂｏｂが、Ｂｏｂの環境内の木の上部を見ている場合、木がＡｌｉｃｅの仮想環境内の異なる相対的場所にある場合でも、Ａｌｉｃｅには、その仮想環境内の木の上部を見ているＢｏｂのアバタが見えるであろうように、Ｂｏｂの関心点および移動をＢｏｂの仮想環境からＡｌｉｃｅの仮想環境に再マッピングすることができる。
【0308】
図１９Ａ－２３を参照して説明されるように、したがって、直接、ユーザの移動をアバタの移動の中にマッピングする、１対１のマッピングを使用するのではなく、意図ベースのレンダリングを使用して、環境内のオブジェクトとのユーザの相互作用をその遠隔アバタ上にマッピングすることが、有利であり得る。仮想アバタの意図ベースのレンダリングでは、ウェアラブルシステムは、環境内の関心アイテムに関連するユーザの配向に基づいて、遠隔仮想アバタの相互作用をマッピングしてもよい。遠隔アバタは、したがって、アバタに関心アイテムとの相互作用を失わせ得る、ユーザの移動を厳密に模倣する（１：１マッピングにおけるように）のではなく、ユーザが合焦しているオブジェクトに向かって方向転換または対面し得る。例えば、ユーザが、方向転換し、その右の仮想オブジェクトを調べる場合、ユーザの遠隔アバタは、その同一仮想オブジェクトを遠隔アバタの左において識別し、左に方向転換させてもよい。遠隔アバタは、したがって、ユーザの移動を厳密に模倣せず、依然として、ユーザの意図を捕捉し、仮想オブジェクトに向かって向いている。いったん関心オブジェクトが、識別されると、ユーザのウェアラブルシステムは、アバタの意図を行うようにアバタを操作することができる。
【0309】
図２４は、関心オブジェクトに基づく意図ベースの仮想アバタレンダリングの概要のブロック図を示す。仮想アバタの意図ベースのレンダリングは、仮想環境内のユーザの姿勢に依存し得る。ブロック図は、図６Ｂを参照して説明される、意図マッピングシステム６８４によって実装されてもよい。いくつかの実施形態では、ユーザの姿勢は、図４に示されるウェアラブルシステムに類似する、外向きに面したシステムまたは内向きに面した結像システム（例えば、眼視線のため）またはＩＭＵを伴う、ウェアラブルシステムを使用することによって、決定されてもよい。ユーザの姿勢データは、それぞれ、ブロック２４５０および２４６０において、身体姿勢および眼視線の成分にさらに分割されてもよい。ブロック２４７０では、ユーザの身体姿勢および眼視線データは、仮想環境内でユーザが相互作用し得る、関心オブジェクトを識別するために使用されてもよい。ユーザの仮想アバタは、次いで、ブロック２４８０において、識別された関心オブジェクトとのユーザの相互作用イベントを反映させるようにレンダリングされてもよい。
【0310】
意図ベースのレンダリングの具体的実装は、ユーザの焦点または関心アイテムを決定するステップに依拠し得る。図２５Ａ－２５Ｄは、関心アイテムが２人のユーザ間で共有される、関心アイテムを決定するための実施例を図示する。図２５Ａは、仮想オブジェクトおよびアバタが仮想環境内に設置され得る方法を図示することから開始する。ユーザＡ２５１０およびユーザＢ２５６０は、その独自のローカル仮想環境２５００および２５５０内に設置される。ユーザＡ２５１０には、ローカル仮想環境２５００内において、仮想三角形２５２０、仮想正方形２５３０、およびユーザ２５６０の遠隔アバタＢ２５４０が見え得る。ユーザＢ２５６０にもまた、ローカル仮想環境２５５０内において、仮想三角形２５２０、仮想正方形２５３０、およびユーザＡ２５１０の遠隔アバタＡ２５７０が見え得る。しかしながら、仮想オブジェクトおよび遠隔アバタの位置および配向は、各ユーザに一意であり得る。実施例として、図２５Ａでは、仮想三角形２５２０および仮想正方形２５３０は、ローカル環境２５００内のユーザＡ２５１０の左に現れる。一方、仮想正方形２５３０は、ローカル仮想環境２５５０内のユーザＢ２５６０の右にあるが、仮想三角形２５２０は、ユーザＢ２５６０の正面にある。加えて、遠隔アバタ２５４０は、仮想環境２５００では、ユーザ２５１０に向かって向いているが、ユーザＡの遠隔アバタ２５７０は、ローカル仮想環境２５５０では、ユーザＢ２５６０から外方を向いている。
【0311】
図２５Ｂは、いったん仮想オブジェクトまたは仮想アバタが仮想環境全体を通して設置されると関心アイテムが識別され得る方法の実施例を図示する。仮想環境内のオブジェクトは、潜在的関心アイテムとしてマークされることができる。いくつかの実施形態では、ベクトルが、ユーザから各潜在的関心アイテムに向かって投影されてもよい。図２５Ｂでは、仮想三角形２５２０、仮想正方形２５３０、および遠隔アバタ２５４０は全て、潜在的関心アイテムと識別され得る。仮想三角形２５２０、仮想正方形２５３０、および遠隔アバタ２５４０は全て、それぞれ、対応するベクトル２５０２、２５０４、および２５０８によって表され得る。各対応するベクトルは、次いで、直接、ユーザ２５１０からユーザ２５１０が向いている方向に向かって投影される、ユーザの現在の通視線ベクトル２５０６と比較されてもよい。図２５Ｂにおける対応するベクトル２５０２、２５０４、および２５０８は、ユーザ２５１０から各対応する仮想オブジェクトに向かって延在するが、異なるベクトルまたは方法が、他の実施形態では、使用されてもよい。例えば、ベクトルは、そのローカル原点であり得る、仮想環境内のオブジェクトの位置を指すことができる。その原点がレンダリングモデルに関連して指す場所は、仮想オブジェクトがレンダリングモデル内に定義される方法に応じて変動し得る。いくつかのオブジェクトに関して、ベクトルは、ユーザまたはオブジェクトの幾何学的中心に最も近い点に向かって指す。大オブジェクト（例えば、３フィート、６フィート、８フィート、またはそれを上回る等の閾値よりも大きいサイズを伴うもの）に関して、それぞれ、その独自のローカル関心点とタグ付けされる、サブアセンブリを作成することが可能である。
【0312】
図２５Ｃおよび２５Ｄは、複数の潜在的関心アイテムの中から関心アイテムを決定する実施例を図示する。関心アイテムは、仮想場面内の全ての潜在的関心アイテムに関して関心値を計算することによって決定されてもよい。オブジェクトの関心値は、ユーザがオブジェクト上に合焦している強度を表す数であってもよい。具体的に図２５Ｃおよび２５Ｄでは、潜在的関心アイテムに関する関心値は、ユーザの通視線（Ｖ）を表すベクトルと関心アイテムへの方向を表すベクトル（図２５Ｃでは、ベクトルＢと称される）との間のドット積を算出することによって計算される。結果として生じるスカラー値は、関心アイテムに関する関心加重Ｗによって乗算されることができる。したがって、関心値は、加重されたドット積であって、これらの実施例では、関心値＝（Ｖ・Ｂ）＊Ｗである。ドット積は、ドット積が、２つのベクトルが同一方向に向いている（ユーザがオブジェクトを見ている）ことを示す、２つのベクトルが平行である（それらの間にゼロ角度）とき、正の大きさにおいて最大であるため、有用である。ドット積は、ユーザがオブジェクトに向かって見ていないことを示す、２つのベクトルが相互に垂直である（それらの間に９０度の角度）とき、ゼロである。したがって、ドット積は、ユーザの通視線上またはその近傍の関心アイテムを選択する傾向にある。ユーザの背後のオブジェクトに関して、ドット積は、負であって、したがって、加重されたドット積は、ユーザの正面の関心アイテムを選択する傾向にあるであろう。
【0313】
オブジェクトの関心加重Ｗは、ユーザがオブジェクト上に合焦することを所望するであろう可能性を表す数であってもよい。関心加重が大きいほど、オブジェクトにより大きい関心を示し、関心加重が小さいほど、オブジェクトにより少ない関心を示す。図２５Ｃでは、仮想三角形２５２０、仮想正方形２５３０、および遠隔アバタ２５４０は、潜在的関心アイテムである。仮想三角形２５２０の関心値は、ユーザの通視線ベクトル２５０６とベクトル２５０２との間のドット積を算出することによって、計算されてもよい。類似計算は、仮想正方形２５３０および遠隔アバタ２５４０に関しても行われてもよい。図２５Ｃにおける潜在的関心アイテムの関心加重は、等しい（本実施例では、Ｗ＝１．０）ため、最高関心値を伴う潜在的関心アイテムは、ユーザの通視線ベクトル２５０６に最も近いものである。したがって、図２５Ｃに示される特定の実施例では、仮想正方形２５３０は、仮想正方形の関心値（０．９０）が仮想三角形（０．４５）または遠隔アバタ（０．６５）に関する関心値より大きいため、関心アイテムである。ある実施形態では、直接、ユーザの通視線ベクトル内にあるオブジェクトは、デフォルトによって、関心アイテムであってもよい。
【0314】
図２５Ｃにおける実施例に示されるオブジェクトは、等しい関心加重を有するが、他の実施形態は、異なる関心加重を伴うオブジェクトを有してもよい。図２５Ｄは、潜在的関心アイテムが異なる関心加重を有し得る、関心アイテムを決定する実施例を図示する。図２５Ｄにおける場面は、図２５Ｃにおける場面と同一であるが、遠隔アバタ２５４０は、仮想三角形２５２０および仮想正方形２５３０（それぞれ、Ｗ＝１．０を有する）より高い関心加重（Ｗ＝１．５）を有する。より高い関心加重を伴うオブジェクトは、他のオブジェクトより通視線ベクトル２５０６から離れている場合でも、関心アイテムとなり得る。また、（そのドット積が全てほぼ等しいような）ユーザから共通方向に沿ってあるオブジェクトに関して、最大関心加重を伴うオブジェクトは、関心アイテムとして選択されるであろう。図２５Ｄでは、遠隔アバタ２５４０は、より高い関心加重および全体的なより高い関心値（０．９７５）を有し、したがって、仮想正方形２５３０が、通視線ベクトル２５０６により近い場合でも、より低い関心値（０．９０）を伴うため、関心アイテムとなる。
【0315】
潜在的関心アイテムの関心加重は、仮想場面内のイベントに応答して、動的に増加または減少してもよい。例えば、図２５Ｄにおける遠隔アバタ２５４０の関心加重は、遠隔アバタ２５４０が発話しているとき、増加し得、遠隔アバタ２５４０が発話を停止すると、減少し、ユーザが現在発話しているアバタにより関心がある可能性が高いことを反映させ得る。数人のユーザまたはアバタが一度に発話している場合、彼らはそれぞれ、等しく加重され得、関心アイテムは、ユーザのビューベクトルの最近傍のユーザまたはアバタであり得る。
【0316】
ユーザによって操作されているオブジェクトは、より多くの加重を得る場合がある。例えば、ユーザが、仮想チェスのゲームをプレーしており、そのアバタ対戦者が、ユーザのクイーンを取り上げる場合、クイーンが、現在、チェスゲームにおいて着目されているため、クイーンは、より重く加重され、より関心を誘引する状態となり得る。同様に、指し示されているが、ユーザまたはアバタによって直接操作されていない、オブジェクトは、より重い加重を得てもよい。仮想バードウォッチング体験のある実施例では、ユーザおよびアバタは、特定の仮想鳥、例えば、アカアシミツユビカモメを見ている場合があり、これは、現在の関心アイテムである。アバタが、仮想環境内の別の仮想鳥、例えば、ナキハチクイモドキを指し示す場合、ナキハチクイモドキの関心加重は、関心アイテムがアカアシミツユビカモメからハチクイモドキに変化するように、十分に増加されることができる（例えば、アカアシミツユビカモメの関心値と比較して）。図２６Ａ－２６Ｆは、各オブジェクトが等しい関心加重を有すると仮定して、仮想環境内のオブジェクト毎に関心値を計算し、関心アイテムを決定する実施例を示す。図２６Ａ－２６Ｆによって図示される具体的実施例は、ベクトルのドット積乗算および等しい関心加重を使用するが、他の実施形態は、異なる方法（例えば、異なるオブジェクトに関する不等関心加重）を使用してもよい。
【0317】
図２６Ａは、実施例の初期場面を提示する。図２６Ａでは、ローカルユーザ２６２０、遠隔アバタ２６４０、大ドラゴン２６６０、および小ドラゴン２６８０は全て、３次元空間内の一意の位置を占有する。オブジェクトの位置は、デカルト座標値（ｘ、ｙ、ｚ）によって表されるが、他の座標系も、他の実装では、使用されることができる。例えば、ローカルユーザの位置は、（０、２、０）にあって、遠隔ユーザＢ２６４０の位置は、（４、２、６）にある等となる。
【0318】
図２６Ｂは、図２６Ａに提示される場面を複製する。しかしながら、図２６Ｂはまた、図２６Ａからの各オブジェクトがユーザ２６２０から各オブジェクトまで延在するベクトルと関連付けられ得ることを示す。例えば、ユーザからオブジェクトＢ２６４０までのベクトルは、ベクトルＡＢであって、デカルト座標値（０．５５５、０、０．８３２）を有する。本実施例では、ベクトルは全て、長さ１．０を有するように正規化される（例えば、それらは、単位ベクトルである）。図２６Ｂにおける順方向ベクトルＡＦ２６１０は、ユーザの通視線を表す。本実施例では、順方向ベクトルＡＦは、座標（０、０、１）を有する。
【0319】
図２６Ｃ－２６Ｅは、仮想場面内の３つのオブジェクトの関心値を計算する実施例を図示する。周知のように、座標値、それぞれ、（Ｖ１ｘ、Ｖ１ｙ、Ｖ１ｚ）および（Ｖ２ｘ、Ｖ２ｙ、Ｖ２ｚ）を有する、２つのベクトルＶ１およびＶ２のドット積は、Ｖ１・Ｖ２＝（Ｖ１ｘ＊Ｖ２ｘ）＋（Ｖ１ｙ＊Ｖ２ｙ）＋（Ｖ１ｚ＊Ｖ２ｚ）である。図２６Ｃは、遠隔アバタ２６４０の関心値を計算する実施例を示す。図２６Ｃでは、遠隔アバタ２６４０の関心値は、順方向ベクトルＡＦ２６１０と、ユーザ２６２０から遠隔アバタ２６４０に向いている、ベクトルＡＢ２６３０のドット積である。ドット積式を適用すると、ユーザに対する遠隔アバタ２６４０の関心値は、ＡＦ・ＡＢ＝（０＊０．５５５）＋（０＊０）＋（１＊０．８３２）＝０．８３２となる。１．０と等しくない関心加重Ｗが、遠隔アバタのために使用される場合、ドット積の本値は、Ｗによって乗算され、関心値に達するであろう。
【0320】
図２６Ｄおよび２６Ｅは、図２６Ｃに図示される同一方法を使用して、大ドラゴン２６６０および小ドラゴン２６８０に関する関心値を計算する実施例を示す。図２６Ｄに示されるように、大ドラゴン２６６０の関心値は、順方向ベクトルＡＦ２６１０およびベクトルＡＣ２６５０のドット積であって、これは、０．９１１と等しい。同様に、図２６Ｅに示されるように、小ドラゴン２６８０の関心値は、順方向ベクトルＡＦ２６１０およびベクトルＡＤ２６７０のドット積であって、これは、０．４０８と等しい。図２６Ｆは、図２６Ｃ、２６Ｄ、および２６Ｆにおいて計算される関心値を比較することによって、関心アイテムを決定する実施例を示す。大ドラゴン２６６０は、最高関心値（０．９１１）を有するため、ユーザ２６２０にとって関心アイテムとなる。大ドラゴン２６６０は、ユーザの通視線ＡＦに最も近いオブジェクトであって、故に、本実施例では、関心アイテムとして選択されることに留意されたい（関心加重が全て等しい場合）。オブジェクトが、仮想環境内で移動するにつれて、その座標値は、変化し、ユーザの順方向ベクトルとオブジェクトまでのベクトルとの間の対応するドット積も、変化する。したがって、仮想環境内の異なるオブジェクトが、経時的に、関心アイテムとなり得る。上記に説明されるように、関心加重を動的に変動させることは、関心アイテムが別のオブジェクトよりユーザの通視線から遠いオブジェクトであり得るように、オブジェクト毎に使用されることができる。
【0321】
いくつかの実施形態では、オブジェクトに関する関心加重Ｗは、少なくとも部分的に、ユーザとオブジェクトとの間の距離に依存し得る。例えば、関心加重は、オブジェクトまでの距離がより短い場合、より大きく、それによって、ユーザの近傍のオブジェクトがユーザにとってより関心を誘引する傾向にあるであろうことを示してもよい。関心値はまた、環境内のコンテキスト要因を表してもよい。例えば、仮想ゲームでは、危険なゲーム要素（例えば、大ドラゴン）または貴重なアイテム（例えば、金の王冠）は、ユーザが、中立／受動的ゲーム要素と相互作用するより、危険なゲーム要素と戦う、または貴重なアイテムを見出すことに関心がある可能性が高いであろうため、より中立的または受動的ゲーム要素（例えば、岩または非威嚇的プレーヤ）より高い関心値を割り当てられてもよい。
【0322】
図２７は、意図ベースのレンダリングの間、他のウェアラブルデバイスによって、１つのウェアラブルデバイスから別のウェアラブルデバイスに通信され得る、情報の実施例を示す。図２７では、仮想正方形２７１０は、関心アイテムであると決定され、仮想正方形の対応するベクトル２７２０およびユーザ２７００の現在の通視線ベクトル２７４０は、角度θ２７３０だけオフセットされる。仮想正方形およびオフセット角度（および随意に、関心加重）を表す、識別子２７５０が、アバタの関心アイテム情報として遠隔ウェアラブルシステムに通信されてもよい。関心アイテム情報が、遠隔システム２７６０によって受信されると、システム２７６０は、遠隔仮想環境内の関心アイテムに面するように遠隔アバタの配向を調節してもよく、本システムは、伝送されるオフセット角度θ２７３０だけ遠隔アバタの頭部を回転させてもよい。一方、図２７におけるオフセット角度は、２次元平面における角度θを表すが、オフセット角度は、特定の値または２次元平面に限定されない。他の実施例は、３次元空間内の複数の可能性として考えられる角度、例えば、ロール、ピッチ、およびヨー等のオイラー角を伴ってもよい。第１のウェアラブルシステムから別のウェアラブルシステムへの関心情報の通信は、図９Ａを参照して説明される、ネットワーク９９０を経由して生じ得る。関心情報の通信は、持続的に生じることができ、関心アイテムの決定は、アバタ挙動が自然かつシームレスに現れるように、リアルタイムで実施されることができる。したがって、異なるユーザの仮想環境が、非常に異なり得る場合でも、その個別のウェアラブルシステムによってユーザに表示されるアバタは、自然に現れ、各ユーザは、相互作用されているオブジェクト、アバタの注意、およびアバタの意図される移動を容易に決定することができる。
【0323】
図２８Ａおよび２８Ｂは、関心オブジェクトに基づいて仮想アバタをレンダリングする実施例を図示する。図２８Ａは、２つの仮想環境の初期設定の実施例を図示する。ユーザＡの仮想環境２８００では、ユーザＡ２８１０は、仮想三角形２８２０および仮想正方形２８３０をその左に、遠隔仮想アバタ２８４０（ユーザＢのもの）をその右に視認し得る。遠隔アバタ２８４０は、最初に、ユーザ２８１０に向かって向いている場合がある。ユーザＢの仮想環境２８０２では、ユーザＢ２８５０は、遠隔アバタ２８６０（ユーザＡのもの）を目の前に、仮想三角形２８２０、仮想菱形２８７０、および仮想正方形２８３０をその右に視認し得る。遠隔アバタ２８６０は、最初に、ユーザ２８５０から外方を向いている場合がある。
【0324】
図２８Ｂでは、ユーザ２８１０の関心アイテムおよびオフセット角度１８１５に関連する関心情報２８０４が、レンダリングするために、ユーザＢ２８５０のウェアラブルシステムに通信されてもよい。図２８Ｂに提示される実施例では、仮想正方形２８３０は、関心アイテムであって、通視線ベクトル２８２５からオフセット角度２８１５だけオフセットされる。関心情報２８０４が、ユーザＡのウェアラブルシステムによって通信され、ユーザＢのウェアラブルシステムによって処理されると、遠隔アバタ２８６０は、関心アイテムの位置に面するように配向されてもよく、遠隔アバタ２８６０の頭部は、関心アイテム（正方形２８３０）に対する頭部の配向が環境２８００と２８０２との間で同一のままであるように、伝送されたオフセット角度２８１５だけ回転されてもよい（例えば、ユーザの頭部は、環境２８００内の関心アイテムに向いている場合、ユーザの仮想アバタもまた、関心アイテムから目を背けるのではなく、関心アイテムに向き得る）。
【0325】
図２９Ａ、２９Ｂ、および２９Ｃは、関心アイテムを再計算する実施例を図示する。例証目的のために、図２９Ａ、２９Ｂ、および２９Ｃは、２つの列に分裂され、一方は、ビデオ会議の間のユーザ２９３０の仮想環境を表し、他方は、ユーザ２９６０の仮想環境を表す。２つの列は、本実施例全体を通して仮想環境内で生じるアクションの順序を表す、場面のシーケンスを含む。以下の実施例は、関心アイテムおよびオフセット角度を識別することに依拠するが、他の実施形態は、他の方法を使用して、関心アイテムを再計算してもよい。
【0326】
実施例は、場面２９００および２９０２から開始する。ユーザ２９３０およびユーザ２９６０はそれぞれ、その独自のローカル仮想環境内に存在する。これらの図では、破線輪郭を伴うオブジェクトは、２人のユーザの環境間の共有仮想コンテンツである。仮想三角形２９５０および仮想正方形２９４０は、両ローカル環境に見出され得る、共有仮想オブジェクトである。場面２９０４および２９０６では、ビデオ会議が、開始し、遠隔アバタ２９７０および２９８０が、特定のローカル環境内で論理的意味を成す場所にスポーンされる。場面２９０４および２９０６では、仮想アバタ２９７０および２９８０は、オブジェクトが環境内にすでに存在するエリアにおけるスポーンを回避し、デフォルトによって、それぞれ、ユーザ２９３０および２９６０に向かって向くようにスポーンされる。
【0327】
場面２９０８および２９１０では、潜在的関心アイテムが、仮想環境内で識別されてもよく、関心アイテムは、ユーザ毎に決定されてもよい。ある実施形態では、遠隔アバタは、場面２９０８および２９１０に示されるように、デフォルトによって、最も関心を誘引する関心アイテムとして設定されてもよい。
【0328】
次に、図２９Ｂの場面２９１２では、ユーザ２９３０は、仮想正方形２９４０に向くように方向転換する。ユーザ２９３０のウェアラブルシステムは、ユーザ２９３０にとって最高関心値を伴う関心アイテムを再計算してもよい。例証目的のために、仮想正方形２９４０は、本特定の実施例では、ユーザＡにとって最高関心値を伴う新しい関心アイテムであると決定された。場面２９１４は、ユーザ２９３０が仮想正方形２９４０に向かって方向転換する間であるが、ユーザＡの関心情報がユーザＢのウェアラブルシステムに伝送される前の、ユーザ２９６０のローカル環境を示す。ユーザ２９３０の関心アイテムに関する情報は、場面２９１４内でまだ受信されていないため、遠隔アバタ２９８０は、まだ位置を変化させていない。しかしながら、伝送される情報の受信に応じて、ユーザＢのウェアラブルシステムは、移動し、ユーザ２９３０の意図に合致するように遠隔アバタ２９８０をレンダリングしてもよい。仮想正方形２９４０は、場面２９１２内のユーザ２９３０の関心アイテムと識別されたため、遠隔アバタ２９８０は、仮想正方形２９４０に向かって方向転換し、場面２９１８内のユーザ２９３０の意図に合致させてもよい。
【0329】
図２９Ｃでは、遠隔アバタ２９８０が、ユーザ２９３０の意図に合致するように移動した後、ユーザ２９３０は、場面２９２０内での移動を停止し、ユーザ２９６０は、場面２９２２内の遠隔アバタ２９８０から離れるように方向転換する。ウェアラブルシステムは、ユーザ２９６０にとって最高関心値を伴う関心アイテムを再計算してもよい。場面２９２２内のユーザ２９６０は、直接、仮想三角形２９５０を見ていないが、仮想三角形２９５０は、例証的目的のために、場面２９２２内のユーザ２９６０の関心アイテムであると決定される。ユーザＢのウェアラブルシステムは、ユーザ２９６０の関心アイテムおよびオフセット角度に関する関心情報をユーザＡのウェアラブルシステムに通信し、これは、移動し、ユーザ２９６０の意図に合致するように遠隔アバタ２９７０をレンダリングする。具体的には、場面２９２４では、遠隔アバタ２９７０は、仮想三角形２９５０に向かって方向転換し、次いで、伝送されたオフセット角度だけ回転し、場面２９２２からのユーザ２９６０の意図、すなわち、ユーザＢが仮想三角形２９５０に関心があるということに合致させてもよい。
【0330】
アバタをレンダリングする付加的実施例が、ここで説明される。一実施例では、アバタは、開けたスポットにスポーンし、初期場面に関する最高関心アイテムに向き、デフォルト選好では、他のアバタに向く。１つのみの他のアバタが存在する場合、これは、他のアバタに向いていることを意味するであろう。複数のアバタが存在し、そのうちの１つが発話している（例えば、より高い関心加重を有する）場合、アバタは、話者に向くようにスポーンされる。複数のアバタが存在し、それらが全て（または大部分が）同一関心アイテムを有する場合、ウェアラブルシステムは、共有関心アイテムを新しくスポーンされたアバタの関心アイテムにすることができる。複数のアバタが存在し、共通関心アイテムが存在しない場合、ウェアラブルシステムは、新しくスポーンされたアバタの関心アイテムを最も近いユーザにすることができる。
【0331】
別の実施例として、ユーザが、そのローカル環境内で移動すると、ユーザのアバタも同様に、他のユーザの仮想環境内で移動する。移動は、以下のルールによって統制されることができる。頭部姿勢ベクトルが、描かれる。ベクトルは、ユーザの頭部から各潜在的関心アイテムまで描かれる。関心値は、潜在的関心アイテム毎に、計算されることができる（例えば、加重されたドット積を使用して）。アバタは、実ユーザと最高関心アイテムからの同一角度オフセットに移動される。
（アバタをレンダリングするための例示的プロセス）
（アバタをレンダリングするための例示的プロセス）
【0332】
図３０Ａは、関心オブジェクトに基づいてアバタをレンダリングするための例示的プロセスのフロー図である。プロセスは、図６Ｂを参照して説明される、意図マッピングシステム６９４によって実施されてもよい。図４に説明されるウェアラブルシステムおよび図２４に説明されるプロセスと同様に、ウェアラブルシステムは、ブロック３０００において、外向きに面した結像システム、内向きに面した結像システム（例えば、眼視線のため）、またはＩＭＵを使用して、ユーザの姿勢データにアクセスしてもよく、ユーザの姿勢データは、身体姿勢または眼視線成分を含んでもよい。ウェアラブルシステムは、次いで、ブロック３０１０において、ユーザの環境内の複数の仮想オブジェクトを識別してもよい。ユーザの環境内の複数の仮想オブジェクトを識別後、ウェアラブルシステムは、ブロック３０２０において、仮想オブジェクト毎に、加重値を決定し、割り当ててもよい。仮想オブジェクトに関する加重値は、少なくとも部分的に、仮想オブジェクトのコンテキスト情報および意味論情報に基づいてもよい。例えば、仮想アバタが、ユーザに話しかけている場合、仮想アバタは、より高い加重値を割り当てられてもよい。
【0333】
仮想アイテム毎に加重値を決定後、ウェアラブルシステムは、仮想オブジェクト毎に関心値を計算することによって、ブロック３０３０に継続してもよい。仮想オブジェクト毎の関心値は、少なくとも部分的に、ユーザの姿勢データおよび仮想オブジェクトの加重値に基づいて、例えば、関心加重によって加重されたドット積として、計算されてもよい。仮想オブジェクト毎に関心値を計算後、プロセスは、少なくとも部分的に、仮想オブジェクトの関心値に基づいて、仮想オブジェクトを選択することによって、ブロック３０４０に継続する。例えば、プロセスは、ある実施形態では、全ての仮想オブジェクトの中から最高関心値を伴う仮想オブジェクトを選択してもよい。仮想関心オブジェクトを選択後、選択は、ブロック３０５０において、第２のユーザのウェアラブルデバイスに通信され、ブロック３０６０において、第２のユーザのウェアラブルデバイスによって受信されてもよい。
【0334】
本特定の例示的プロセスは、仮想オブジェクトの選択を通信することに焦点を当てるが、第２のユーザのウェアラブルデバイスに通信される情報は、選択された仮想オブジェクトの識別に限定されない。ある実装では、通信される情報は、選択されたオブジェクトの識別、オフセット角度、およびおそらく、それ以上のものを含んでもよい。ブロック３０６０において、通信された情報を受信後、第２のユーザのウェアラブルシステムは、ブロック３０７０において、第１のユーザの仮想アバタに対する選択された仮想関心オブジェクトの場所を識別してもよい。いったん仮想関心オブジェクトが、第１のユーザの仮想アバタに対して識別されると、第２のユーザのウェアラブルシステムは、ブロック３０８０において、仮想関心オブジェクトの場所に基づいて、第１のユーザの仮想アバタの位置または配向を調節してもよい。
【0335】
図３０Ｂは、条件の変化が存在するときの関心オブジェクトに基づいてアバタをレンダリングするための例示的プロセスのプロセスフロー図である。プロセスは、図６Ｂを参照して説明される、意図マッピングシステム６９４によって実施されてもよい。条件の変化が、ブロック３００５において、第１のユーザのウェアラブルシステムによって検出される場合、ウェアラブルシステムは、ブロック３０１５において、検出された条件の変化に基づいて、仮想オブジェクト毎に関心値を再計算してもよい。実施例の目的のために、条件の変化は、ある実施形態では、ユーザの姿勢の変化、仮想関心アイテムの移動、または他の可能性を含んでもよい。
【0336】
関心値を再計算後、プロセスは、最高関心値を伴う仮想関心オブジェクトを決定することによって、ブロック３０２５に継続してもよい。ある実施形態では、識別された仮想オブジェクトと、条件の変化が生じる前に最高関心値を有していた仮想オブジェクトとは、異なり得る。そのような実施例では、第１のユーザのウェアラブルシステムは、ブロック３０３５において、仮想関心オブジェクトを識別された仮想オブジェクトに更新してもよい。いったん第１のユーザのウェアラブルシステムが、識別および選択されると、ウェアラブルシステムは、ブロック３０４５において、選択を第２のユーザのウェアラブルデバイスに通信してもよい。いくつかの実施形態では、通信される情報は、選択された仮想関心オブジェクトの識別子およびオフセット角度を含んでもよい。しかしながら、付加的または異なる情報は、他の実施例では、通信されてもよい。
【0337】
第２のユーザのウェアラブルシステムが、ブロック３０５５において、通信された選択を受信すると、ウェアラブルシステムは、ブロック３０６５において、第１のユーザの仮想アバタの位置に関連して更新された仮想関心オブジェクトの場所を識別してもよい。いったんウェアラブルシステムが、更新された仮想関心オブジェクトの場所を識別すると、ウェアラブルシステムは、３０７５において、仮想アバタの位置または配向を調節してもよい。例えば、仮想アバタは、ある実施形態では、直接、更新された仮想関心オブジェクトの場所に向かって向くように調節されてもよい。
（環境刺激に基づくアバタレンダリングの実施例）
（環境刺激に基づくアバタレンダリングの実施例）
【0338】
本明細書に開示されるシステムおよび方法は、アバタがより現実的かつ生きているように複合現実システムのユーザに現れるように、アバタをレンダリングすることができる。ユーザの環境内のオブジェクトは、現実または仮想としてカテゴリ化されることができ、ウェアラブルシステムは、アバタがその複合現実環境内で相互作用および決定を行うように構成されることができる。アバタは、アバタが、エージェンシー、存在性、または自然性の外観をユーザに与えるように、レンダリングされることができる。エージェンシーは、仮想アバタの属性であってもよい。エージェンシーが、仮想アバタのために有効にされると、仮想アバタは、独自に行動するように現れることができる（例えば、アバタは、関心誘引を見出す対象についてその独自の決定を行うように現れてもよい）。ウェアラブルシステムは、仮想アバタのためのエージェンシーの外観を作成することができる（例えば、仮想アバタの画像または動画によって）。例えば、エージェンシーの外観を提供するために、ウェアラブルシステムは、アバタがヒトであるかのように、アバタに、視認者の環境内のイベントまたは刺激に自動的に応答させ、特定の効果または結果を生産させることができる。エージェンシーは、例えば、仮想アバタの環境、環境内の視認者の相互作用、および環境内のオブジェクト等の１つ以上のコンテキスト要因によって決定されることができる。ある実装では、コンテキスト要因はまた、例えば、アバタの信念、所望、および意図等のアバタの特性を含むことができる。アバタをより自然かつ生きているようにレンダリングすることによって、ウェアラブルシステムのユーザは、アバタと相互作用するとき、異様な、不気味な、または不快な感覚を体験する可能性が低くなるであろう。例えば、アバタは、その相互作用において、ほぼヒトであるが、完全ではない、アバタに対するヒトの感情応答における急降下を表す、いわゆる、不気味の谷に陥る尤度を低減させるように、レンダリングされることができる。
【0339】
２人のユーザ間で共有される仮想オブジェクトに基づいて、仮想アバタを動画化することに加えて、またはその代替として、ウェアラブルシステムはまた、アバタがその中にレンダリングされる、環境に基づいて、アバタを動画化することができる。ウェアラブルシステムは、仮想アバタが、自然かつヒトのような決定を行い、その中にそれがレンダリングされる複合現実環境に反応することを可能にすることによって、仮想アバタを生きているように現れさせることができ、これは、仮想アバタにエージェンシーおよび存在性の外観を与えることができる。例えば、ウェアラブルシステム（例えば、刺激応答システム６９６を介して）は、これに対してアバタが反応し得る、あるカテゴリの環境オブジェクトまたは環境刺激（本明細書では、関心誘引誘発要因と称される）を自動的に識別し、視認者の環境内の関心誘引誘発要因に基づいて、アバタの視認者の環境との相互作用を自動的に調節することができる。関心誘引誘発要因は、環境内の視覚的または聴覚的刺激（例えば、移動、外観、または音）であってもよく、これは、アバタの注意を誘引することができる。図３１Ａ－３７を参照してさらに説明されるように、関心誘引誘発要因は、関心オブジェクト、関心エリア、音、関心オブジェクトの成分、または視認者環境の他のコンテキスト要因と関連付けられてもよい。関心誘引誘発要因は、仮想または物理的オブジェクトおよびその中に仮想アバタがレンダリングされる仮想または物理的環境と関連付けられてもよい。
【0340】
ウェアラブルシステムは、仮想アバタの自然性を維持するように、関心誘引誘発要因と相互作用するためのアバタの決定を実行することができる。例えば、視認者の環境内に爆発音が存在するとき、ウェアラブルシステムは、爆発源から離れるように走るように仮想アバタをレンダリングすることができる（仮想アバタがヒトであるかのように）。別の実施例として、仮想アバタは、ある人物に話しかけている間、そのユーザまたは人物の顔のソーシャルトライアングル内のアバタの眼視線ベクトル（視線点および視線方向を含むことができる）を偏移させてもよく、これは、その人物とアバタとの間のより自然かつ非威嚇的なヒトのような相互作用を促す。さらに別の実施例として、仮想アバタは、長時間にわたってオブジェクトを見た後、関心を失い得る。したがって、仮想アバタは、別の関心誘引誘発要因を識別し、その注意を前のオブジェクトから他の関心誘引誘発要因に移してもよく、これは、再び、自然なヒトのような挙動により典型的である。
（環境内の関心誘引誘発要因の実施例）
（環境内の関心誘引誘発要因の実施例）
【0341】
ウェアラブルシステム２００（例えば、刺激応答システム６９６）は、視認者の環境をモデル化し、オブジェクト（例えば、実または仮想オブジェクト）をカテゴリ化し、関心誘引誘発要因を識別することができる。関心誘引誘発要因は、その本来の関心誘引度を表すための値を有することができ、これは、時間経過、オブジェクトまたは環境の変化（関心誘引誘発要因と識別されたオブジェクトまたは環境の一部の変化を含んでもよい）、またはアバタと関連付けられたヒト対応者の相互作用等のコンテキスト要因に基づいて、減衰または増幅し得る。関心誘引度値は、トリガイベントに応答して、持続的にまたは突然、変化し得る。
【0342】
関心誘引度値がトリガイベントに起因して突然変化する実施例として、関心オブジェクトが書籍であると仮定すると、関心誘引度値は、ページ変化に応答して、増加するであろう。関心誘引度値が持続的に変化する実施例として、関心誘引誘発要因は、話者の手として表され得、手が形状を変化させるにつれて（例えば、話者が主張している点を強調するために）、関心誘引度値は、持続的に増加し得る。関心誘引度値の変化は、関心誘引度値の調節の速さまたは加速の変化を含むことができる。例えば、関心オブジェクト上のトリガイベントに応答して、関心誘引度値の成長と関連付けられた加速または速さは、突然、増加し得る。いくつかの実装では、関心誘引度値の調節の速さまたは加速は、一定のままであり得る。例えば、関心誘引度値は、時間の経過に伴って一定の速さで減衰し得る。図３１Ａ－３１Ｃは、視認者の環境内の関心誘引誘発要因のタイプのカテゴリ化の実施例を図示する。図３１Ａでは、視認者の環境は、種々の関心誘引誘発要因３１１０を含むことができる。関心誘引誘発要因３１１０は、聴覚的または視覚的刺激であってもよい。例えば、関心誘引誘発要因３１１０は、環境３１００内の視認者の移動または雑音であってもよい。
【0343】
図３１Ａに図示されるように、関心誘引誘発要因３１１０は、関心誘引オブジェクト３１２０または関心エリア３１３０を含むことができる。関心誘引オブジェクトは、図１９Ａ－３０Ｂを参照して説明される、関心オブジェクトの実施例であってもよい。ある実装では、関心誘引オブジェクトは、それに向かってアバタが見ている、関心オブジェクトの一部であることができる。下記にさらに説明されるであろうように、関心誘引オブジェクトは、サッカード点（同一方向における２つ以上の固視相間の両眼の迅速かつ同時移動である、サッカード眼球運動の間の関心点と関連付けられることができる）を保持するための多角形構造として説明されることができる。例示的関心誘引オブジェクト３１２０は、ソーシャルトライアングル３１２２であることができ、これは、人物（またはアバタ）が、会話の間、合焦する、顔の領域を説明し得る。下記に説明される図３１Ｂは、例示的ソーシャルトライアングルを図示する。
【0344】
別の例示的関心誘引オブジェクト３１２０は、視線ボックス３１１４（また、図３１Ｂに示される）であってもよく、これは、環境または関心オブジェクトとの相互作用の間、ある人物（またはアバタ）が合焦している（例えば、注視している）、オブジェクトまたは別の人物の領域と関連付けられることができる。
【0345】
図３１Ｂは、例示的ソーシャルトライアングル３１１２を図示する。図３１Ｂに示されるソーシャルトライアングル３１１２は、人々が、会話中、合焦する傾向にある、ヒトの顔の一部を図式的に図示する。図３１Ｂにおける実施例では、ソーシャルトライアングル３１１２は、ある人物の眉毛の若干上から眼を覆って、口まで延びる、三角形である。
【0346】
ソーシャルトライアングル３１１２は、例えば、サイズ、形状、境界、エリア等の種々のパラメータを有することができる。ソーシャルトライアングルの境界は、所与の時間におけるサッカード点が第１の人物のソーシャルトライアングルの境界外に到達しないように、第２の人物（またはアバタ）のサッカード眼球運動の間のサッカード点を制約することができる。したがって、ソーシャルトライアングル３１１２を有する人物を見ている、アバタの眼のサッカード点は、ソーシャルトライアングル３１１２内に集中される傾向にあり、ソーシャルトライアングル外にならない傾向にある。サッカード点は、ウェアラブルシステムによって、所与の時間におけるアバタの眼視線ベクトルを決定するために使用されてもよい。本明細書に説明されるように、サッカード運動は、ランダムに設置されたサッカード点を伴い得、これは、アバタの眼視線ベクトルをソーシャルトライアングル３１１２内でランダムに偏移させ得る。眼視線ベクトルはまた、アバタの眼視線を動画化するとき、ソーシャルトライアングル３１１２内の軌道に沿って移動することができる。例えば、眼視線ベクトルは、最初に、鼻のある点に到達し、次いで、点を左眼上に移動させ、さらに、点を右眼上に移動させる等となり得る。
【0347】
ある実装では、可能性として考えられるサッカード点は、例えば、ユーザの環境内の仮想または物理的オブジェクトの存在から構築されたクエリ可能データベース等のデータ構造内に保たれ得る。可能性として考えられるサッカード点は、関心誘引オブジェクトの可視空間の和（例えば、ソーシャルトライアングルまたは視線ボックス内のサッカード点）を含んでもよい。クエリ可能データベースは、図７に示されるマップデータベース７１０の一部であってもよい。クエリ可能データベースはまた、ウェアラブルシステムが、情報を使用して、仮想アバタの眼視線を決定し得るように、例えば、関心誘引オブジェクトに関連する情報（例えば、ソーシャルトライアングルまたは視線ボックス）、関心誘引誘発要因等の他の情報も記憶することができる。ウェアラブルシステムは、クエリ可能データベースにクエリすることによって、関心誘引オブジェクトのサッカード点を自動的に選択することができる（例えば、ランダムに、または定義されたシーケンスに従ってのいずれかにおいて）。ある実装では、サッカード点の選択の頻度は、標的関心誘引オブジェクトの関心誘引度値と関連付けられることができる。例えば、関心誘引度値が高いほど、選択の頻度を増加させ得、関心誘引度値が低いほど、選択の頻度を減少させ得る。
【0348】
サッカード点をランダムに選択するために、ウェアラブルシステムは、種々の確率論的モデルを利用することができる。例えば、ウェアラブルシステムは、別のサッカード点を関心誘引オブジェクト内の現在のサッカード点の周囲の正規分布から選択することができる（例えば、アバタの眼視線ベクトルが現在設置されている、サッカード点）。別の実施例として、ウェアラブルシステムは、テクスチャチャネルに規定され、テクスチャマップとして関心誘引オブジェクトに適用される、分布関数を使用することができる。例えば、仮想アバタが絵画を見ている場合、絵画は、他の部分よりヒトの眼にとって関心を誘引する、いくつかの部分を有し得る。テクスチャマップが、いくつかの部分がオブジェクト上のその他より関心を誘引することを反映させるように作成されることができる。テクスチャマップは、ヒートマップに類似する属性を有してもよく、テクスチャマップのより明るい部分（例えば、より高い関心誘引度値を伴う部分）は、より関心を誘引する部分を表し、より暗い部分は、あまり関心を誘引しない部分（例えば、より低い関心誘引度値を伴う部分）を表す。これらのマップは、例えば、関心領域を手動で入力する、または示すことによって、プログラマまたはユーザによって定義されてもよい。これらのマップは、例えば、内向きに面した結像システム４６６内のカメラによって入手されたデータに基づいて等、眼追跡システムから作成されることができる。例えば、ウェアラブルシステムは、オブジェクトのある場所における視認者の眼視線ベクトルの持続時間および位置を追跡することができる。ウェアラブルシステムは、領域が眼視線ベクトルと関連付けられた点のより高い密度を有するため、または眼視線ベクトルがより長い持続時間にわたってその領域（または点）に留まるとき、より関心を誘引する領域を識別することができ、その逆も同様である。代替として、ユーザの性格、気質、プロファイル、または他の属性が、少なくとも部分的に、テクスチャマップを定義し得る。例えば、ユーザが、イヌ好きであると特性評価され、絵画内にイヌが存在する場合、絵画のその部分は、その関心誘引度値を増加させるであろう。
【0349】
ソーシャルトライアングルのパラメータのうちの１つ以上のものは、構成可能であってもよい。ソーシャルトライアングルのパラメータは、アバタの視認者によって構成されてもよい、またはウェアラブルシステムの中に事前にプログラムされてもよい。例えば、種々の実施形態では、ソーシャルトライアングルの境界は、ウェアラブルシステムによって、図３１Ｂに示されるソーシャルトライアングル３１１２より少ないまたはより多いエリアを含むように構成されてもよい。別の実施例として、ウェアラブルシステムの視認者は、ソーシャルトライアングルのサイズを規定することができ、ウェアラブルシステムは、規定されたサイズを満たす顔の領域をソーシャルトライアングルとして決定することができる（例えば、眼、鼻、または口が、その中に適合するように、三角形を顔上に設置すること等によって）。ある実装では、ソーシャルトライアングルのパラメータは、顔の配向または位置に基づいて変化してもよい。例えば、ソーシャルトライアングル３２１２ａ（図３２Ａに示される）は、アバタ（図３２Ａには図示せず）が、人物３２１０ａの顔の側面（より少ない顔特徴を有する）を知覚するが、人物３２１２ｄの顔の正面（より多くの顔特徴を有する）も知覚し得るため、ソーシャルトライアングル３２１２ｄ（また、図３２Ａに示される）より小さいエリアを有する。さらに、用語「ソーシャルトライアングル」が、本開示では使用されるが（本用語は、従来的使用であるため）、ソーシャルトライアングルによって表される領域の形状は、厳密には、三角形である必要はなく、任意のタイプのポリゴン（例えば、四辺形、五角形、六角形等）、凸面平面形状（例えば、円形、楕円形、または卵形）、または３Ｄ形状であることができる。
【0350】
いくつかの状況では、顔の一部は、人物またはアバタが、直接、顔のその部分を観察することが不可能であり得るように、オクルードされ得る。例えば、視認者は、本明細書に説明されるウェアラブルデバイスを装着している場合、頭部搭載型ディスプレイは、視認者の眼および視認者の鼻の一部をオクルードし得る。その結果、視認者のソーシャルトライアングルと関連付けられたサッカード点は、視認者の眼領域上ではなく、頭部搭載型ディスプレイの表面の一部上に到達し得る。
【0351】
図３１Ｂはまた、人物がオブジェクトを見ている間のサッカード点を捕捉し得る、３Ｄ空間を含み得る、視線ボックス３１１４の実施例を図示する。本実施例では、視線ボックス３１１４は、サッカード点と関連付けられた６辺の直方体視線表面によって表される。これは、幅（「Ｗ」によって表される）と、高さ（「Ｈ」によって表される）と、深度（「Ｄ」によって表される）とを有する。種々の実装では、視線ボックス３１１４は、図３１Ｂに図示される立方体以外の他の２Ｄまたは３Ｄ形状を有することができる（例えば、ボックスは、多角形であってもよい）。視線ボックス３１１４はまた、ソーシャルトライアングルと類似パラメータを含むことができる。ソーシャルトライアングルを参照して本明細書に説明されるように、視線ボックス３１１４のパラメータもまた、視認者によって、またはウェアラブルシステムによって自動的に、構成可能であることができる。例えば、視線ボックスの境界または視線ボックスのサイズは、オブジェクトのタイプに基づいて構成されてもよい。例えば、図３２Ａに示されるように、リュックと関連付けられた視線ボックス３２１６は、カップと関連付けられた視線ボックス３２１４ａより大きい。
【0352】
図３１Ａ－３７を参照してさらに説明されるであろうように、ウェアラブルシステムは、関心誘引オブジェクトに基づいて、アバタの人物またはオブジェクトとの相互作用をシミュレートすることができる。例えば、ウェアラブルシステムは、ソーシャルトライアングルまたは視線ボックス内のサッカード眼球運動を用いて、アバタの眼球運動を動画化することができる。したがって、アバタの眼を人物またはオブジェクト上の特定の点に合焦させるのではなく、ウェアラブルシステムは、関心誘引オブジェクト内の１つの関心点から別の関心点への高速眼移動をシミュレートし、ヒトの眼移動に類似するアバタの眼移動をレンダリングすることができる。アバタの眼のそのようなサッカード運動は、容易に明白ではない場合があるが、実際のヒトの眼移動をシミュレートするため、アバタサッカード眼球運動をレンダリングすることは、アバタと相互作用するとき、自然な感覚につながり得、これは、また、相互作用を不気味の谷から抜け出させることになる。
【0353】
図３１Ａを参照して説明されるように、関心誘引誘発要因はまた、関心エリアを含むことができる。関心エリアは、アバタが視認者の空間内で見ている、一般的方向であることができる。これは、２Ｄエリアとして表され得る。しかしながら、これは、空間次元を有していなくてもよく、むしろ、アバタの視点からの関心誘引誘発要因の指向性であることができる。本タイプの関心誘引誘発要因は、一般的エリアまたは方向におけるイベントを表すために有用であり得る。例えば、光の点滅が、検出される（例えば、視認者のウェアラブルデバイスによって）場合、視認者のウェアラブルデバイスは、光の一般的方向を関心エリアとして表すことができる。有利には、いくつかの実施形態では、これは、正確な位置または潜在的サッカード点のセットに頼らずに、仮想アバタが光の方向を見ることを可能にするであろう。
【0354】
関心エリアの別の実施例は、音または雑音の一般的方向であることができる。図３１Ｃは、視認者の環境内の音に基づくアバタレンダリングの実施例を図示する。図３１Ｃは、２つの複合現実（ＭＲ）場面３１５０ａおよび３１５０ｂを図示する。２つのＭＲ場面は、Ａｌｉｃｅの環境と関連付けられてもよく、Ａｌｉｃｅは、Ａｌｉｃｅのウェアラブルデバイス９０２を介して、Ｂｏｂのアバタ１１００を知覚することができる、ヒト（図示せず）である。Ａｌｉｃｅのウェアラブルデバイス９０２は、最初に、場面３１５０ａ内において、西（座標系３１５４によって示されるように）に向き、その足を見ているように、Ｂｏｂのアバタ１１００をレンダリングしてもよい。Ａｌｉｃｅのウェアラブルデバイス９０２は、Ａｌｉｃｅの環境内の大きな雑音３１５２（例えば、オーディオセンサ２３２によって入手されたデータを介して）を検出し得る。雑音３１５２の原点を正確に示す必要なく、Ａｌｉｃｅのウェアラブルデバイス９０２は、雑音が一般的方向３１５６から生じたことを決定することができる。ウェアラブルデバイス９０２は、故に、雑音に反応するようにアバタの配向および頭部姿勢を変化させることができる。場面３１５０ｂに示されるように、ウェアラブルデバイス９０２は、アバタの１１００配向を西向きから東向きに変化させ、アバタ１１００の頭部姿勢または眼視線方向を雑音３１５２に向かって方向３１５６を見るように変化させることができる。
【0355】
関心エリアは、視認者の環境内に固定位置を有し得ないため、関心誘引エリアは、アバタが応答可能であるために仮想アバタの視錐内にあるように要求されない（例えば、コーンまたはレイキャスティングが仮想アバタの目線から実施されるとき）。故に、図３１Ｃに示されるように、アバタは、アバタの背後から生じる音源に応答することができる。アバタは、その視野内の音源に応答することに限定されない。
【0356】
音または光の一般的方向に加えて、またはその代替として、関心エリアはまた、アバタが、環境内の領域を周期的にチェックし、以前の刺激が存在するかどうかを決定し得るように、以前の刺激のメモリと関連付けられることができる。例えば、図３１Ｃでは、いったん音３１５２が、フェーディングすると、アバタ１１００は、場面３１５０ａに示されるように、その以前の姿勢および配向に戻り得る。関心誘引誘発要因の時間減衰は、下記にさらに説明される。しかしながら、ウェアラブルシステムは、その特定の時間において、その方向における音３１５２が存在しない場合でも、音源の方向を見るために、その姿勢または配向を場面３１５０ｂに示されるものに周期的に変化させるように、アバタ１１００をレンダリングしてもよい。別の実施例として、アバタ１１００は、最初に、環境内の関心アイテム（例えば、仮想イヌ等）を見ている場合がある。関心アイテムは、環境から退出し得る（例えば、仮想イヌが別の部屋に移動したため）。しかしながら、アバタ１１００は、関心アイテムが最後に現れた場所に時々目を向け、関心アイテムが環境内に再度現れるかどうかをチェックしてもよい。故に、いったん関心アイテムまたは関心誘引誘発要因が、環境内で識別されると、アイテムまたは誘発要因への関心低下を表すある時間減衰後、アバタは、アイテムまたは誘発要因に周期的に（または時々）戻ってチェックするかのようにレンダリングされてもよい。
【0357】
仮想アバタはまた、関心誘引オブジェクト３１１２または関心エリア３１１４以外のコンテキスト要因にも応答することができる。仮想アバタの挙動は、アバタがその中に存在する、環境の特性に基づいて、変化してもよい。例えば、仮想アバタが、会議部屋環境内にレンダリングされる場合、視認者のシステムは、仮想アバタが過去の刺激と関連付けられた関心エリアに関してチェックする、尤度または頻度を低減させ得る（例えば、頻繁なチェックは、仕事または事業環境において不適切であり得る）。しかしながら、アバタが、自宅環境に存在するとき、仮想アバタは、過去の刺激と関連付けられた関心エリアに関してより頻繁にチェックしてもよい。別の実施例として、仮想アバタは、仮想アバタがその中に存在する、環境に基づいて、あるタイプの刺激に応答しないように構成されてもよい。上記の同一実施例を継続すると、仮想アバタが、会議環境内に存在する場合、視認者のウェアラブルシステムは、仮想アバタが、電子メッセージの到着を示す、ウェアラブルデバイスからまたは別のコンピューティングデバイスからのリングトーンに応答しないように構成されてもよい。故に、チェックするための頻度は、環境的に依存してもよく、例えば、数秒～数十秒毎から数分毎、最大で１時間に数回までの範囲内であってもよい。
（環境内の関心誘引誘発要因を生成する実施例）
（環境内の関心誘引誘発要因を生成する実施例）
【0358】
視認者のウェアラブルシステムは、アバタがウェアラブルシステムによってレンダリングされる、ランタイム時、関心誘引オブジェクト３１１２の存在を検出する、または関心エリア３１１４を決定することができる。ウェアラブルシステムはまた、関心誘引オブジェクト３１１２または関心エリア３１１４の存在に基づいて、ランタイム時、関心誘引誘発要因を生成することができる。生成された関心誘引誘発要因は、例えば、その姿勢、配向、眼視線方向、移動を変化させることによって、発話することによって、発話を中止することによって等、アバタを関心誘引誘発要因に応答させ得る。
【0359】
関心誘引誘発要因は、視認者の環境内の仮想または物理的刺激に結び付けられることができる。仮想刺激は、仮想コンテンツを環境内にレンダリングする、コンテンツエンジンから生成されたオブジェクトに明示的に結び付けられることができる。実施例として、関心誘引誘発要因は、視認者が仮想書籍のページをフリップすることに応答して、生成されることができる。別の実施例として、関心誘引誘発要因は、顔の表情（例えば、笑顔）または同一環境内にレンダリングされた別の仮想アバタの移動に基づくことができる。
【0360】
実世界刺激は、デバイスセンサ（例えば、図３に示されるもの等）によって入手されたデータに基づいて、生成されることができる。ウェアラブルシステム２００（例えば、刺激応答システム６９６）は、デバイスセンサから入手されたデータを分析し、検出および分類アルゴリズム（図７におけるオブジェクト認識装置７０８を参照して説明されるもの等）を介して、データを処理し、イベントのタイプ（例えば、あるオブジェクト、音、または光の存在）を決定することができる。ウェアラブルシステム２００は、単独で、または遠隔処理モジュール２７０（または遠隔コンピューティングシステム９２０）と組み合わせて、ローカル処理およびデータモジュール２６０を使用して、そのようなイベント検出を実施することができる。検出および分類アルゴリズムの結果は、次いで、ウェアラブルシステム２００によって処理され、関心誘引誘発要因を作成することができる。ある実装では、関心誘引誘発要因は、ウェアラブルシステム２００によって記憶されてもよく、仮想アバタの知識ベースの一部であることができる。
【0361】
図３２Ａは、実世界刺激に基づいて関心誘引誘発要因を生成する実施例を図示する。本図では、視認者は、ウェアラブルシステムを介して、場面３２００内の人々のグループ（人物３２１０ａ－３２１０ｅ）を知覚することができる。本場面３２００からの関心誘引誘発要因の実施例は、個別の人物３２１０ａ－３２１０ｄと関連付けられたソーシャルトライアングル３２１２ａ－３２１２ｄである。ウェアラブルシステム（例えば、刺激応答システム）は、例えば、１つ以上のオブジェクト認識装置７０８に基づいて、環境内の人物３２１０ａ－３２１０ｅの存在を検出することができる。１つ以上のオブジェクト認識装置７０８は、環境内の人物３２１０ａ－３２１０ｄの顔の存在を検出するために、種々の顔検出アルゴリズムまたは骨格推定アルゴリズムを採用することができる。いったん検出されると、ソーシャルトライアングル３２１２ａ－３２１２ｄは、ウェアラブルシステムが本データに効率的にアクセスし得るように、仮想アバタの知識ベースの中に挿入されてもよい。有利には、いくつかの実施形態では、ウェアラブルシステムは、複合現実環境内の他のヒト（および視認者）と注意を共有するようにアバタをレンダリングすることによって、仮想アバタの存在を向上させ、視認者と仮想アバタとの間の双方向体験を改良する。
【0362】
図３２Ａには図示されないが、視認者のソーシャルトライアングルもまた、関心誘引誘発要因であることができ、例えば、アバタは、直接、視認者（例えば、ウェアラブルディスプレイデバイスの装着者）と相互作用することを所望し得る。ウェアラブルシステムは、視認者の頭部位置に基づいて（例えば、外向きに面した結像システム４６４、ＩＭＵ等から入手されたデータに基づいて）、視認者のソーシャルトライアングルの位置および配向を取得することができる。ウェアラブルシステムは、ユーザの環境の世界フレームに対する頭部姿勢を計算することができる。ウェアラブルシステムはまた、視認者が環境内で動き回るにつれて、視認者のソーシャルトライアングルの位置および配向を追跡および更新することができる。視認者のソーシャルトライアングルはまた、仮想アバタによる相互作用のために、仮想アバタの知識ベースの中に挿入されることができる。
【0363】
ある実装では、ソーシャルトライアングルの関心誘引度は、顔の表情の検出された変化に関して変調されることができる。ウェアラブルシステムは、人物の顔の表情に基づいて、人物のソーシャルトライアングルと関連付けられた関心誘引度値を修正することができる。例えば、実世界のヒトの顔上の表情が、笑顔からしかめっ面に変化するにつれて、関連付けられたソーシャルトライアングルの関心誘引度値は、上昇し得る（顔の表情の本変化に起因して）。
【0364】
ウェアラブルシステムはまた、オーディオデータ（例えば、オーディオセンサ２３２によって入手されたデータ）に基づいて、新しいソーシャルトライアングルを識別することができる。これは、仮想アバタが、発話している個人（環境内の非話者より大きい関心誘引度値を有し得る）を見ることを可能にすることができ、これは、仮想キャラクタの存在を増加させるであろう。例えば、ウェアラブルシステムは、オーディオセンサ２３２を介して、発話を捕捉し、視認者の環境内の話者の位置を検出することができる。話者の位置に基づいて、ウェアラブルシステムは、以前に検出されていないソーシャルトライアングルを検出し、話者と関連付けられた新しいソーシャルトライアングルを作成することができる。例えば、図３２では、ウェアラブルシステムは、人物３２１０ｅに関するソーシャルトライアングルを検出しなかった（例えば、人物３２１０ｅは、ウェアラブルシステムがその世界マップを更新する前に、場面に進入している場合がある）。しかしながら、ウェアラブルシステムは、人物３２１０ｅによる発話を捕捉し得る。本発話データは、ウェアラブルシステムに、人物３２１０ｅと関連付けられた画像の領域を再分析させ得、故に、場面３２００内の新しいソーシャルトライアングル（人物３２１０ｅと関連付けられた）を識別し得る。ウェアラブルシステムは、その世界マップを更新し、人物３２１０ｅの存在および本人物と関連付けられたソーシャルトライアングルを反映させることができる。さらに、ウェアラブルシステムは、ヒトが、環境に進入してきた新しい人々に関心を持つ傾向にあり、その方向を見る傾向にあるため、人物３２１０ｅ（またはそのソーシャルトライアングル）と関連付けられた関心誘引度値を増加させ得る。
【0365】
ウェアラブルシステムはまた、オーディオデータに基づいて、関心誘引度値を増加させることができる。例えば、ウェアラブルシステムは、ウェアラブルシステムが、ソーシャルトライアングルと関連付けられた人物が発話していることを検出する場合、ソーシャルトライアングルの関心誘引度値を増加させることができる。代替として、ウェアラブルシステムは、ウェアラブルシステムが、ソーシャルトライアングルと関連付けられた人物が発話していない、またはある時間周期にわたって発話しなかったことを検出する場合、ソーシャルトライアングルの関心誘引度値を減少させることができる。有利には、いくつかの実施形態では、オーディオデータに基づいて、ソーシャルトライアングルの関心誘引度値を増加（または減少）させることによって、ウェアラブルシステムは、有利には、仮想アバタが発話している個人の方を見ることを可能にし、仮想アバタにその注意をより高い関心誘引度値を伴う別のオブジェクトに逸させ得る、関心誘引度値減衰を回避することができる。
【0366】
図３２Ａはまた、複数の視線ボックス３２１４ａ、３２１４ｃ、３２１４ｄ、および３２１６を示す。視線ボックスは、物理的オブジェクト（それぞれ視線ボックス３２１６および３２１４ａに対応する、リュックおよびカップ等）または物理的オブジェクトの一部（それぞれ、視線ボックス３２１４ｃおよび３２１４ｄに対応する、足または手等）のために生成されることができる。ウェアラブルシステムは、オブジェクト認識装置７０８を使用して、物理的オブジェクト（またはその一部）を識別することができる。例えば、オブジェクト認識装置７０８は、画像分類子を含むことができ、これは、視線ボックスに変換され得る、オブジェクトの３Ｄ位置および境界を提供することができる。視線ボックスはまた、仮想アバタの知識ベースの中に挿入されることができ、これは、後に、仮想アバタの注意を決定するために使用されることができる。
【0367】
生成された視線ボックスの関心誘引度は、オブジェクトタイプ（例えば、オブジェクトと関連付けられた意味論情報として、オブジェクト認識装置７０８によって決定されることができる）および仮想キャラクタの性格（または気質）を使用して、変調されることができる。例えば、視線ボックスは、ソーダ缶と関連付けられてもよく、仮想アバタは、喉渇特徴を有する。ソーダ缶の生成された視線ボックスと関連付けられた関心誘引度値は、増加され得る。しかしながら、ヒト対応者が水を飲んだばかりであるため、またはアバタが水を飲んだばかりであるため（その仮想環境内で動画化されるように）、アバタが、現時点で喉が渇いていない場合、ソーダ缶の視線ボックスと関連付けられた関心誘引度値は、減少し得る。別の実施例として、関心オブジェクトが、イヌであって、仮想アバタが、イヌに恐怖心を有する場合、イヌ（またはイヌの視線ボックス）と関連付けられた関心誘引度値は、増加し得る。いくつかの実装では、イヌが、仮想アバタのより近くに移動するにつれて、関心誘引度値の増加量は、より高速となり、増加された恐怖心を表し得る。高関心誘引度値は、仮想アバタに、イヌとの自然なヒトの相互作用を反映させる挙動を実施させる、例えば、イヌを見る、またはイヌから離れるように移動させてもよい。本実施例を継続すると、アバタとイヌとの間の距離が増加するにつれて、イヌと関連付けられた関心誘引度値は、減少し得、関心誘引度値が、閾値を下回って低下すると（イヌがもはやアバタにとって脅威ではないことを表し得る）、アバタは、イヌから離れるように移動することを停止するようにレンダリングされてもよい。したがって、環境内のオブジェクトと関連付けられた関心誘引度値を増加および減少させることは、ウェアラブルシステムが、自然かつ現実的なアバタ挙動をレンダリングすることを可能にする。
【0368】
関心誘引オブジェクト（例えば、視線ボックスまたはソーシャルトライアングル）の関心誘引度値はまた、視認者の注意に基づいて、変調されることができる。例えば、視認者が、視線ボックスまたはソーシャルトライアングルを見ている場合、視線ボックスまたはソーシャルトライアングルと関連付けられた関心誘引度値もまた、視認者の環境内の仮想アバタに関して増加し、それによって、アバタもまた視線ボックスまたはソーシャルトライアングルを見るようにレンダリングされるであろう、尤度を増加させ得る。
【0369】
図３２Ｂは、関心誘引誘発要因と関連付けられたパラメータを構成し、関心誘引誘発要因を追跡する例示的プロセスを図示する。例示的プロセス３２５０は、仮想アバタを視認者の環境内にレンダリングするように構成され得る、視認者のウェアラブルシステムによって実施されることができる。
【0370】
ブロック３２５２では、ウェアラブルシステムは、例えば、ソーシャルトライアングルまたは視線ボックスの境界または形状等の関心誘引オブジェクトと関連付けられたパラメータを決定することができる。ウェアラブルシステムは、システムの中に事前にプログラムされるパラメータにアクセスすることができる。ウェアラブルシステムはまた、ソーシャルトライアングルまたは視線ボックスと関連付けられたオブジェクトに基づいて、パラメータを動的に決定することができる。例えば、顔に関するソーシャルトライアングルのサイズまたは形状は、顔のサイズまたは顔特徴の特性に応じて変動し得る（例えば、伸長顔は、より長いが、より狭いソーシャルトライアングルを有し得る一方、丸顔は、より広いソーシャルトライアングルを有し得る）。
【0371】
ブロック３２５４では、ウェアラブルシステムは、視認者の環境内の関心誘引オブジェクトを識別することができる。ある実装では、本ブロック３２５４は、ブロック３２５２の前に実施されることができる。ウェアラブルシステムは、図７におけるオブジェクト認識装置７０８を参照して説明される、種々の顔認識技法を利用して、視認者の環境内の顔特徴を識別することができ、識別された顔特徴に基づいて、ソーシャルトライアングルを環境内の人物の顔に適合させることができる（例えば、ソーシャルトライアングルは、人物の眼、鼻、および顔の少なくとも一部を含んでもよい）。ウェアラブルシステムはまた、視線ボックスの場所を決定するために、オブジェクト認識装置７０８を使用して、環境内の物理的オブジェクトを識別することができる。
【0372】
ソーシャルトライアングルが、アバタと関連付けられる場合、ウェアラブルシステムは、アバタの顔データにアクセスすることによって、ソーシャルトライアングルのための領域を決定することができる。例えば、ウェアラブルシステムは、アバタの３Ｄモデルと関連付けられた顔パラメータにアクセスし、ソーシャルトライアングルのパラメータに基づいて、アバタの顔の領域の輪郭を描くことができる。ソーシャルトライアングルが、視認者上にある場合、ウェアラブルシステムは、視認者の顔モデルにアクセスし、顔モデルに基づいて、ソーシャルトライアングルを決定することができる。そのような顔モデルは、視認者が、ウェアラブルデバイスを着けている間に生成されてもよい（例えば、外向きに面した結像システム４６４を使用して、視認者の顔の画像を入手することによって）。顔モデルはまた、視認者の環境内のカメラを用いて視認者の顔を走査することによって入手されてもよい。
【0373】
ブロック３２５６では、ウェアラブルシステムは、視認者の環境内の関心誘引オブジェクトを追跡することができる。例えば、ウェアラブルシステムは、それと関心誘引オブジェクトが関連付けられる、人物またはオブジェクトの移動を追跡することができる。ウェアラブルシステムはまた、視認者、別の人物、またはアバタの頭部姿勢を追跡することができ、これは、関心誘引オブジェクトのパラメータの変化（例えば、場所またはサイズの変化）を生じさせ得る。
【0374】
ブロック３２５８では、ウェアラブルシステムは、関心誘引オブジェクトのパラメータを動的に更新することができる。例えば、視認者が、動き回るにつれて、ウェアラブルシステムは、視認者の移動に従って、ソーシャルトライアングルの移動を追跡してもよい。別の実施例として、人物が、その頭部を傾斜させるにつれて、ソーシャルトライアングルのサイズまたはソーシャルトライアングルの位置もまた、頭部姿勢に基づいて、変化し得る。
（標的関心誘引誘発要因を識別する実施例）
（標的関心誘引誘発要因を識別する実施例）
【0375】
ウェアラブルシステムは、関心誘引誘発要因の知識ベースを通して周期的に走査し、最も関心を誘引する誘発要因を標的関心誘引誘発要因として選択することができる。いったん標的関心誘引誘発要因が、選択されると、ウェアラブルシステムは、例えば、アバタがその注意を標的関心誘引誘発要因上に集中させているかのようにアバタを配向することによって等、標的関心誘引誘発要因と相互作用するように、アバタをレンダリングすることができる。
【0376】
図３３は、標的関心誘引誘発要因を識別する実施例を図示する。図３３における環境３３００は、その中にＡｌｉｃｅのアバタ１０００がレンダリングされる、複合現実環境であってもよい。本複合現実環境は、Ｂｏｂのウェアラブルデバイス９０４によってレンダリングされることができる。環境３３００は、物理的関心誘引オブジェクト３３２４および３３２２を含むことができ、これは、環境内の物理的オブジェクトの一部であってもよい。例えば、物理的関心誘引オブジェクト３３２４および３３２２は、視線ボックスと関連付けられてもよい。環境３３００はまた、仮想関心誘引オブジェクト３３１２および３３１４を含むことができる。仮想関心誘引オブジェクト３３１２および３３１４は、複合現実環境３３００内でＡｌｉｃｅのアバタ１０００およびＢｏｂによって共有され得る、仮想オブジェクトであってもよい。環境３３３４はまた、ソーシャルトライアングル３３３４を含むことができ、これは、Ｂｏｂ（Ａｌｉｃｅのアバタ１０００の視認者であり得る）のソーシャルトライアングルであってもよい。環境３３００はまた、関心誘引エリア３３３６を含むことができる。物理的関心誘引オブジェクト３３２４、３３２２、仮想関心誘引オブジェクト３３１２、３３１４、ソーシャルトライアングル３３３４、および関心誘引エリア３３３６（例えば、関心誘引エリアの場所、方向、または境界）は、仮想アバタの１０００の知識ベースの一部であることができる。
【0377】
本実施例では、Ｂｏｂのウェアラブルデバイス９０４は、デフォルトによって、Ａｌｉｃｅのアバタが関心誘引エリア３３３６を見るようにレンダリングすることができる（アバタ１０００の眼移動の領域を示す、サッカード錐３３１０によって示されるように）。しかしながら、環境３３００内の関心誘引オブジェクトは、アバタ１０００のために実施されるコーンキャスティングの一部であり得る、視錐３３２０に対して分析されることができる。いくつかの状況では、サッカード錐または視錐は、それぞれ、サッカード錐台または視覚的錐台とも称され得る。
【0378】
標的関心誘引誘発要因を決定するとき、Ｂｏｂのウェアラブルデバイス９０４は、仮想アバタ１０００の頭部姿勢および眼視線に基づいて、コーンキャスティングを実施することができる。例えば、コーンのパラメータは、アバタ１０００の現在の眼方向、仮想アバタの１０００頭部の水平角度または鉛直角度、頭部の速さ、または眼の速さに基づいて、生成されることができる。例えば、コーンキャスティングの間、仮想コーンが、仮想アバタ１０００から複合現実環境の中に投射されてもよい（視錐３３２０によって示されるように）。仮想アバタが、その頭部または眼視線方向を移動させるにつれて、方向または移動（例えば、移動速さ）が、アバタの頭部または眼の移動および方向に従って調節されてもよい。ある実装では、コーンの水平角度または鉛直角度は、仮想アバタの性格および気質によって変調される一方、頭部の速さおよび現在の眼方向は、キャラクタの動画から決定されることができる。例えば、アバタ１０００が、考え込みモードにある場合、アバタ１０００は、環境３３００の床を見下ろしていてもよい。別の実施例として、アバタが、積極的性格を有する場合、仮想アバタは、その頭部を頻繁に移動させ得る。
【0379】
図３３に示される実施例では、視錐３３２０は、物理的関心誘引オブジェクト３３２４、関心誘引エリア３３３６、ソーシャルトライアングル３３３４、および仮想関心誘引オブジェクト３３１４を捕捉することができる。ウェアラブルシステムは、これらの関心誘引オブジェクトおよび関心誘引エリアと関連付けられた関心誘引度値（例えば、図３０Ａおよび３０Ｂを参照して説明される）を計算し、標的関心誘引誘発要因を決定することができる。例えば、ウェアラブルシステムは、その関心誘引誘発要因が最高関心誘引度値を有するとき、関心誘引誘発要因を標的関心誘引誘発要因として選択することができる。
【0380】
ある実装では、ウェアラブルシステムは、アバタの視野（視錐３３２０によって決定され、表され得る）内のオブジェクトおよびエリアに関する関心誘引誘発要因のリストを維持する。関心誘引誘発要因が、アバタの視野内にない場合、関心誘引誘発要因は、リストから選抜されてもよい。例えば、仮想アバタが、その右を見るとき、物理的関心誘引オブジェクト３３２４は、視錐３３２０外に外れ得る一方、物理的関心誘引オブジェクト３３２２は、視錐３３２０の内側に移動し得る。その結果、物理的関心誘引オブジェクト３３２４の情報は、関心誘引誘発要因のリストから除去される一方、物理的関心誘引オブジェクト３３２２（アバタの視野外にあった）と関連付けられた情報は、関心誘引誘発要因のリストに追加されてもよい。物理的関心誘引オブジェクト３３２４は、物理的関心誘引オブジェクト３３２４が仮想アバタ１０００の視野内にない場合でも、アバタの知識ベース内に留まってもよい。加えて、または代替として、オブジェクトが、アバタの視野外に出るにつれて、オブジェクトと関連付けられた関心誘引度値は、減少され、アバタがオブジェクトと相互作用するであろう減少された尤度を反映させてもよい。逆に言えば、オブジェクトが、アバタの視野の中に入るにつれて、オブジェクトと関連付けられた関心誘引度値は、増加され、アバタがオブジェクトと相互作用するであろう増加された尤度を反映させてもよい。
【0381】
関心誘引誘発要因のリストは、環境３３００内または視錐３３２０内のオブジェクト（実または仮想）の関心誘引度値に基づいて、ソートされてもよい。関心誘引度値は、オブジェクトの本来の関心誘引度－関心誘引度減衰に基づいて、計算されることができる。オブジェクトの本来の関心誘引度は、例えば、環境情報、関心誘引誘発要因と関連付けられた相互作用またはトリガイベント、オブジェクトの特性（例えば、移動するオブジェクトは、静的オブジェクトより高い関心誘引度値を有し得る）、アバタ（またはそのヒト対応者）の性格、視認者の特性または相互作用等のコンテキスト要因に基づいてもよい。例えば、関心誘引オブジェクトは、アバタ１０００または視認者が、関心誘引オブジェクトと相互作用する場合、その関心誘引度値を上昇させ得る。別の実施例として、視認者が、発話している場合、視認者と関連付けられたソーシャルトライアングル３３３４は、増加された関心誘引度値を有し得る。ある実装では、本来の関心誘引度を増加または減少させるのではなく、これらのコンテキスト要因のうちの１つ以上のものはまた、本明細書に説明されるように、関心誘引度減衰を調節するためにも使用されることができる。
【0382】
関心誘引度減衰は、関心誘引度値と関連付けられた減衰または増幅率と関連付けられることができる。関心誘引度減衰は、時間またはトリガイベントに基づくことができる。例えば、仮想書籍のページをフリップすることは、仮想書籍と関連付けられた関心誘引度減衰の減少を生じさせる（関心誘引度値の増加に匹敵する）、または関心誘引度減衰を減速させ得る。別の実施例として、環境内の爆発音は、爆発を有するエリアと関連付けられた関心誘引度値の急増を生じさせるであろう（本来の関心誘引度に加え）。
【0383】
図３４は、時間に基づく関心誘引度減衰の実施例を図示する。本図では、関心誘引度曲線３４１０は、軸３４０２（オブジェクト内の関心の量を表す）および軸３４０４（時間の経過を表す）に対してプロットされる。所与の時間における関心誘引度減衰率は、所与の時間における曲線３４１０の接線（例えば、曲線の傾き）であることができる。本関心誘引曲線３４１０は、異なるオブジェクト（またはエリア）に関して構成またはカスタマイズされてもよい。例えば、視認者と関連付けられたソーシャルトライアングルに関する関心誘引度曲線は、オブジェクトに関する関心誘引度曲線と異なり得、例えば、オブジェクトに関する減衰は、ソーシャルトライアングルに関する減衰より高速であって、ヒト（および仮想アバタ）が非ヒトオブジェクトよりも他のヒト（または他のアバタ）に関心を留める可能性がより高いという事実を反映させ得る。
【0384】
図３４に示されるように、オブジェクトの関心誘引度値は、経時的に低下する傾向にある。その結果、オブジェクトは、時間が経過するにつれて、仮想アバタの注意を誘引する可能性が低いであろう。いくつかの実施形態では、曲線３４１０は、関心誘引度値が０を下回らないであろうように構成されてもよい。
【0385】
関心誘引度曲線３４１０の実施例は、経時的に減衰するが、いくつかの実装では、関心誘引度曲線３４１０はまた、経時的に増幅し得る。例えば、関心誘引誘発要因が、標的関心誘引誘発要因である場合、関心誘引度は、経時的に増幅し得る。例えば、ある人物が、アバタの視錐３３２０に進入し、人物と関連付けられた関心誘引度値の増加を生じさせ得る。人物は、次いで、発話を開始し得、これは、関心誘引度値を増加させる。人物は、発話しながらジェスチャを行い、関心誘引度値をさらに増加させ得る。いったん人物が、発話およびジェスチャを停止すると、関心誘引度値は、減少し始め得る。したがって、オブジェクト、ヒト、またはアバタに関する関心誘引度値は、経時的に、またはイベントの発生（例えば、発話の開始、笑顔等）に起因して、増加または減少し得る。関心誘引度曲線３４１０は、単独で、または組み合わせて、指数関数的、多項式、線形、べき乗、正弦波等の種々の数学的関数に基づいて、生成および調節されることができる。例えば、関心誘引度曲線の一部は、ある時間周期にわたって水平（例えば、傾き０である）であり得る。関心誘引度曲線の本部分は、非ゼロ傾きを伴う曲線の別の部分が先行する、またはそれが後に続く（例えば、正の傾きは、時間に伴う関心誘引度増加を示す、または負の傾きは、時間に伴う関心誘引度減少を示す）。
【0386】
ある実装では、標的関心誘引誘発要因は、いったん決定されると、関心誘引度値に対するインクリメントを割り当てられ、ヒステリシスを追加することができ、これは、有利には、２つの関心誘引誘発要因間の急転換を低減または防止することができ（例えば、２つの関心誘引誘発要因が、類似関心誘引度値を有するとき）、仮想アバタを標的関心誘引誘発要因上に合焦させることができる。
（標的関心誘引誘発要因に基づくアバタ動画の実施例）
（標的関心誘引誘発要因に基づくアバタ動画の実施例）
【0387】
いったん関心誘引誘発要因が、標的関心誘引誘発要因として選択されると、関心誘引誘発要因の特性（例えば、関心誘引誘発要因のタイプ、関心誘引誘発要因と関連付けられた反応のタイプ等）は、潜在的動画および台詞等の大きな挙動から、感情応答、眼の注意、およびサッカード運動等のより小さな挙動まで、アバタの相互作用を決定することができる。例えば、標的関心誘引誘発要因が、音であるとき、視認者のウェアラブルシステムは、「何があったの？」と発する台詞をアバタの近傍に提示し、および／またはアバタを音の方向に向かって見ているように動画化することができる。別の実施例として、標的関心誘引誘発要因が、別の顔のソーシャルトライアングルである場合、ウェアラブルシステムは、アバタの眼移動をソーシャルトライアングル内のサッカード運動としてレンダリングすることによって、アバタの注意をソーシャルトライアングルに指向することができる。
【0388】
サッカード運動は、サッカード率を通して調整されることができ、これは、アバタの眼視線があるサッカード点から別のサッカード点に切り替えられる頻度を制御することができる。アバタのサッカード眼球運動が切り替えられる時間および場所を決定するために、サンプルサッカード点が、サッカードタイミングのランダム化されたウィンドウから選択されることができ、いったんその時間が経過すると、新しいサッカード点が、選定されることができる。サッカード率は、例えば、仮想アバタの気質および感情等の仮想アバタの特性によって、変調されることができる。例えば、興奮している、または怒っていると、サッカード率を増加させ得る一方、退屈または無気力であると、サッカード率を減少させ得る。アバタに関するサッカード率は、ヒトに関するサッカード率を表し得る。例えば、サッカードは、約２０ｍｓ～約２００ｍｓ持続し得、約１０度／秒～数百度／秒等の角速度を有し得る。
【0389】
図３５は、標的関心誘引誘発要因として選択されたオブジェクトと関連付けられたサッカード点を決定する実施例を図示する。本図は、関心誘引オブジェクト３５００を示し、これは、標的関心誘引誘発要因であると決定されている。本実施例では、関心誘引オブジェクト３５００は、最も関心を誘引するオブジェクトとも称され得る。
【0390】
最も関心を誘引するオブジェクトは、サッカード点を保持するための多角形構造を含むことができる。最も関心を誘引するオブジェクトは、分析され、その上にサッカード点が存在し得る、ポリゴンのリストを識別することができる。本ポリゴンのリストは、仮想アバタおよびオブジェクトの位置および配向に基づいて決定されることができる。図３５における実施例では、最も関心を誘引するオブジェクト３５００は、サッカード点を保持するための６つの多角形構造（図３５では三角形として示される、表面ポリゴンＡ－Ｆ）を含む。本実施例では、これらの多角形構造は、ヒトがオブジェクトの近傍の知覚可能表面を見る傾向にあるため、オブジェクト３５００を視認するユーザに最近傍の表面上にある。しかしながら、ユーザが、関心誘引オブジェクト３５００の他側に歩いて行く場合、仮想アバタのサッカード点と関連付けられたポリゴンのリストは、表面ポリゴンのうちの１つ以上のものが、もはや知覚可能ではなくなり得るため、異なり得る。
【0391】
本ポリゴンのリストは、サッカード錐台（例えば、図３３に示されるサッカード錐３３１０参照）にクリッピングされることができる。サッカード錐台は、複合現実環境内の視覚的錐台（例えば、図３３に示される視錐３３２０参照）の空間のサブセットであることができる。サッカード錐台は、低減された水平または鉛直角度（例えば、視覚的錐台３３２０と比較して）を有することができ、アバタの眼視線方向上に心合されることができる。ある実装では、サッカード錐台と関連付けられたパラメータ（例えば、所与の時間におけるサッカード錐台の場所）は、本明細書に説明されるサッカード率変調と類似様式において変調されることができる。
【0392】
いったん図３５におけるポリゴンＡ－Ｆによって示されるように、クリッピングおよび三角測量されると、ポリゴンＡ－Ｆは、２次元の中に投影されることができる（図３５に示される３Ｄビューから）。ポリゴンＡ－Ｆのうちのポリゴンは、ポリゴンの２Ｄエリアを使用して、ランダムに選択され、ランダム選択に加重することができる。例えば、ポリゴンＡを選択する確率は、下記の式（４）に従って決定されることができる。
式中、エリアＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆは、それぞれ、（２次元の中に投影されるような）ポリゴンＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆのエリアを表す。ある実装では、各エリアは、加重と関連付けられることができ、これは、関心誘引オブジェクトの領域が、関心誘引オブジェクト上の他の領域と比較して、より多いまたはより少ない関心を誘引する状態となり得るように構成されることを可能にすることができる。
【化5】
式中、エリアＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆは、それぞれ、（２次元の中に投影されるような）ポリゴンＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆのエリアを表す。ある実装では、各エリアは、加重と関連付けられることができ、これは、関心誘引オブジェクトの領域が、関心誘引オブジェクト上の他の領域と比較して、より多いまたはより少ない関心を誘引する状態となり得るように構成されることを可能にすることができる。
【0393】
いったんポリゴンが、選択されると、そのポリゴンの表面上の点（例えば、世界フレームを基準とする点等）は、ランダムに選択され、サッカード点として返されることができる。本明細書に説明されるように、ウェアラブルシステムは、サッカード率（例えば、約１０度／秒～数百度／秒）に従って、アバタの眼視線をあるサッカード点から別のサッカード点に移動させることによって、アバタの眼のサッカード運動を動画化することができる。サッカード点間の角度分離は、０．１度～３０度等の範囲内であることができる。
【0394】
ウェアラブルシステムは、選択されたサッカード点を使用して、点上に合焦するように、仮想アバタの眼姿勢を急速に調節することができる（例えば、眼の配向を調節することによって）。眼移動はまた、眼球間収束計算に基づいてもよく、これは、仮想アバタの動画を制御する、リグによってハンドリングされてもよい。
【0395】
図３６は、サッカード点に基づいてアバタを動画化するための眼姿勢および顔変換の実施例を図示する。図３６は、眼３６１０および顔３６００を示す。眼３６１０は、眼座標３６１２と関連付けられることができ、顔３６００は、顔座標３６０２と関連付けられることができる。
【0396】
ウェアラブルシステムは、顔に対する結果として生じる眼姿勢（例えば、選択されたサッカード点に基づいて決定されるように）を固有受容感覚システム内に記録することができる。固有受容感覚システムは、例えば、ユーザがアバタを見る必要なく、アバタの腕が上昇されるときの把握等、アバタの身体の任意の種類の知識を維持することができる。固有受容感覚システムはまた、例えば、頭部と胴体との間または頭部と眼との間の相対的回転等、異なる身体部分に対する回転のための式を保持することができ、これは、図３８Ａ－３９を参照して説明される違和感曲線の一部であってもよい。固有受容感覚システムは、アバタの身体部分の相対的位置を維持するために、アバタのローカルフレームを基準としてもよい。固有受容感覚システムは、アバタ処理およびレンダリングシステム６９０のコンポーネントとして、例えば、解剖学的構造調節システム６９８の一部として実装されることができる。
【0397】
図３６に戻って参照すると、顔に対する結果として生じる眼姿勢は、眼／顔デルタとして計算されることができる。眼／顔デルタは、２つの角度、すなわち、水平角度と、鉛直角度とに分解されることができ、水平角度は、座標３６１２および３６０２に示されるｘ－軸およびｚ－軸に対する角度であることができ、鉛直角度は、座標３６１２および３６０２に示されるｘ－軸およびｙ－軸に対する角度であることができる。顔座標３６０２内の水平角度は、左から右（または右から左）へのアバタの頭部の方向転換の動画を駆動するために使用されることができる一方、顔座標３６０２内の鉛直角度は、見下げることから見上げること（または見上げることから見下げること）の頭部ピッチの動画を駆動するために使用されることができる。眼座標３６０２内の水平および鉛直角度は、眼３６１０を左または右を見ることまたは上または下に転動させることの動画を駆動するために使用されることができる。
【0398】
図３８Ａ－３９を参照してさらに説明されるように、眼姿勢および頭部姿勢の動画は、少なくとも部分的に、違和感曲線に基づいて、決定されることができ、これは、頭部と眼との間の相対的位置に起因して、生物学的違和感を表す値を低減または最小限にすることができる（アバタがヒトであるかのように）。例えば、アバタは、眼の位置が眼窩の縁に近すぎる場合、頭部を若干方向転換させ得る。
（環境刺激に基づくアバタレンダリングの例示的プロセス）
（環境刺激に基づくアバタレンダリングの例示的プロセス）
【0399】
図３７は、環境刺激に基づいてアバタをレンダリングする例示的プロセスを図示する。例示的プロセス３７００は、仮想アバタの視認者のウェアラブルシステム２００によって、例えば、図６Ｂを参照して説明される、アバタ処理およびレンダリングシステム６９０によって、実施されることができる。
【0400】
ブロック３７１０では、ウェアラブルシステムは、環境内の複数の関心誘引誘発要因を決定することができる。ウェアラブルシステムは、アバタの頭部姿勢および眼視線方向に基づいて、そのような決定を行うことができる。例えば、ウェアラブルシステムは、視認者の環境内のオブジェクト、領域、音、光等を決定し、これらのうちの１つ以上のものが関心誘引オブジェクトまたは関心エリアであるかどうかを決定することができる。
【0401】
関心誘引誘発要因は、個別の関心誘引度値と関連付けられることができる。ブロック３７２０では、ウェアラブルシステムは、複数の関心誘引誘発要因と関連付けられた関心誘引度値を計算（または調節）することができる。例えば、関心誘引オブジェクトまたは関心エリアと関連付けられたトリガイベントは、対応する関心誘引度値を上昇または減少させ得る。アバタの感情および気質もまた、ウェアラブルシステムに、別の関心誘引誘発要因より高い関心誘引度値を有するための関心誘引誘発要因を見出させ得る。さらに別の実施例として、オブジェクトまたは視認者の特性（またはそれとの相互作用）もまた、他の関心誘引誘発要因より高い関心誘引度値を有するためのいくつかの関心誘引誘発要因を生じさせ得る。例えば、視認者が発話している間、そのソーシャルトライアングルは、より高い関心誘引度値を有し得る、これは、アバタに、視認者のソーシャルトライアングルに目を向けさせることができる。ウェアラブルシステムは、アバタが視認者のソーシャルトライアングルを見ているとき、ソーシャルトライアングル内のサッカード眼球運動を動画化することができる。例えば、アバタのサッカード運動は、ソーシャルトライアングル内でランダムまたは準ランダムであり得る、または軌道を辿り得る（例えば、左眼から、右眼に向かって、鼻に向かって、次いで、左眼に戻る）。連続アバタサッカード眼球運動間のジャンプは、制約され得る。例えば、アバタの視線ベクトルが、人物の顎に向かって指向される場合、次の許容される眼視線ベクトルは、ソーシャルトライアングルのサイズのある割合（１未満）である、ソーシャルトライアングル内の位置に向かって指向され得る。前のジャンプと略平行な方向におけるサッカードジャンプは、より大きい変位を利用し得る一方、前のジャンプと略垂直な方向におけるサッカードジャンプは、より小さい変位を利用し得る。いくつかの実施形態では、サッカード周波数、ジャンプの角振幅の関数としてのサッカード眼球運動の角速度、および他のサッカードパラメータは、ヒトサッカード眼球運動の挙動に関してモデル化されることができる。
【0402】
ブロック３７３０では、ウェアラブルシステムは、標的関心誘引誘発要因を決定することができる。ウェアラブルシステムは、環境内の複数の関心誘引誘発要因の中の関心誘引誘発要因を標的関心誘引誘発要因として選択することができる。ウェアラブルシステムは、個別の関心誘引誘発要因と関連付けられた関心誘引値に基づいて、選択を行うことができる。例えば、ウェアラブルシステムは、標的関心誘引誘発要因と最高関心誘引度値を有する関心誘引誘発要因を関連付けてもよい。
【0403】
随意のブロック３７３２では、ウェアラブルシステムは、値の上昇を標的関心誘引誘発要因と関連付けられた関心誘引度値に提供することができる。これは、いくつかの実施形態では、アバタが、視認者にとって視覚的に破壊的な体験を生じさせ得るその相互作用を類似関心誘引度値を有する２つの関心誘引誘発要因間で切り替えることを防止するために生じ得る。
【0404】
ブロック３７４０では、ウェアラブルシステムは、標的関心誘引誘発要因に応答するように、仮想アバタを動画化することができる。例えば、ウェアラブルシステムは、標的関心誘引誘発要因を見るまたはそれと相互作用するように、アバタの身体姿勢または眼視線を変化させることができる。ウェアラブルシステムはまた、標的関心誘引誘発要因のより近くにまたはそこからより離れるようにアバタを移動させることができる。
【0405】
ブロック３７５０では、ウェアラブルシステムは、複数の関心誘引誘発要因の関心誘引度値の変化を監視することができる。関心誘引度値は、経時的に減衰し得る。関心誘引度値はまた、環境、オブジェクト、またはアバタまたは視認者の相互作用の変化に応答して、増加し得る。例えば、アバタは、最初に、視認者とアバタのヒト対応者との間のテレプレゼンスセッションの間、視認者を見ている場合がある。視認者は、その環境内で音楽の再生を開始してもよい。その結果、音楽源と関連付けられた関心誘引度値は、増加し得る。
【0406】
ブロック３７６０では、ウェアラブルシステムは、新しい標的関心誘引誘発要因が存在するかどうかを決定することができる。該当しない場合、プロセス３７００は、ブロック３７５０に戻り、ウェアラブルシステムは、関心誘引度値の変化を監視し続ける。標的関心誘引誘発要因の変化が存在する場合、プロセスは、ブロック３７４０に戻ることができ、仮想アバタは、新しい標的関心誘引誘発要因に応答することができる。ある実装では、ブロック３７４０に戻るのではなく、プロセス３７００はまた、随意のブロック３７３２に戻ることができる。
（違和感曲線の実施例）
（違和感曲線の実施例）
【0407】
仮想アバタの現実的かつ生きているような動画を提供するために、ウェアラブルシステムは、アバタの姿勢を生きているように動画化することができる。例えば、ウェアラブルシステムは、アバタの背後の関心オブジェクトを見るように、アバタの頭部およびその身体を方向転換させ、アバタが、関心オブジェクトを見るように、単に、その頭部を１８０度方向転換させる（その身体を方向転換させずに）、非現実的状況を回避することができる。下記にさらに説明されるように、違和感曲線は、その身体の一部が隣接する身体部分に対して特定の身体姿勢へと回旋される場合にヒトが体験するであろう違和感を示す、値を生成するために使用されることができる。例えば、ヒトは、実質的違和感を伴わずに、約６０～９０度の範囲内でその頭部を方向転換させることができる。ヒトが、その頭部を、例えば、１２０度方向転換させようとする場合、そのような移動は、著しい違和感につながるであろう（生体力学的にとにかく可能であったとしても）。単に、頭部をあまりに大きく方向転換させようとする代わりに、ヒトは、眼視線方向の大角度変化を要求するオブジェクトを見るために、自然に、その頭部と併せて、その身体を方向転換させる。故に、本自然なヒト移動を模倣するために、潜在的アバタ移動に関する違和感レベル（例えば、違和感曲線から測定される）が、閾値に達する（例えば、単純頭部方向転換が大きすぎる）場合、アバタは、アバタの頭部と併せて、付加的アバタ身体部分（例えば、アバタの胴体）を移動させ、不自然な見た目の身体移動（例えば、１８０度の頭部方向転換等、実際のヒトにおける違和感を生じさせるであろうもの）を回避し得る。
【0408】
ボーンフェザリング、非線形分画、または指数関数的分画は、アバタの姿勢または移動を実際の人物の自然な移動に模させるために適用され得る、技法の実施例である。しかしながら、これらの技法では、接地面に対する頭部の回転は、典型的には、身体の残りが頭部の移動のある割合を伴って移動するため、身体の残りの同時運動を決定する。例えば、アバタの頭部が、４５度方向転換する必要がある場合、アバタの頭部は、接地面に対して４５度方向転換することができ、身体は、４５度の一部を方向転換させ得る。方向転換は、これらの技法における数式を使用して遂行されるため、アバタのシミュレートされた移動は、必ずしも、実際のヒト身体の微妙な非同時移動を反映させるとは限らない。加えて、これらの技法では、身体全体の移動は、単一数字（例えば、上記の実施例では、４５度方向転換）からの単純計算であるため、同時である。
【0409】
改良された技法を提供し、アバタのより現実的動画を提供するために、ウェアラブルシステム（例えば、解剖学的構造調節システム６９８）は、違和感曲線に従って、２つの隣接する身体部分のアバタの動画を調節することができる。違和感曲線は、例えば、２つの隣接する身体部分（例えば、アバタ胴体に対するアバタ頭部）間の相対的角度等、２つの隣接する身体部分間の動画のための境界を表すことができる。実施例として、仮想アバタの眼と頭部との間の相対的位置を統制する、１つの違和感曲線と、頭部と胴体との間の相対的位置を統制する、別個の違和感曲線等とが存在してもよい。本実施例では、胴体に関連して頭部を統制する、違和感曲線は、頭部の回転を胴体に対して最大９０度に制限してもよい。９０度境界を確立することによって、違和感曲線は、アバタの頭部を１３５度右に回転させる等の非現実的移動を低減または防止することができる。
【0410】
有利には、いくつかの実施形態では、違和感曲線の使用は、２つの隣接する身体部分間の非同時移動を現実的に模倣し、アバタの自然な移動につながり、不気味の谷を表す、移動を回避することができる。２つの身体部分間の同時移動よりもむしろ、身体の第１の部分の姿勢に起因する違和感が、身体の第２の部分の後続移動を生じさせ得る（例えば、眼姿勢における違和感は、頭部姿勢の変化を生じさせ得る、または頭部姿勢における違和感は、胴体姿勢の変化を生じさせ得る）。その結果、第２の身体部分に対する第１の身体部分に関する別個の計算を考慮するために構築される自然な時間遅延が存在し、アバタの第１および第２の身体部分の非同時移動をもたらし得る。異なるタイプの違和感（例えば、極端に前方にもたれること対極端に後方にもたれること）は、異なる移動をもたらし得るため、別個の計算が、１つ以上の隣接する身体部分に対する身体部分のためにウェアラブルデバイスによって実施されてもよい。
【0411】
図３８Ａおよび３８Ｂは、頭部に関連した胴体の違和感曲線の実施例を図示する。図３８Ａにおける違和感曲線３８００ａは、仮想アバタが起立しているときの違和感曲線を図示する一方、図３８Ｂにおける違和感曲線３８００ｂは、仮想アバタが歩行しているときの違和感曲線を図示する。
【0412】
図３８Ａおよび３８Ｂに示されるグラフのｘ－軸３８２０は、胴体／頭部デルタ角度を表す。本デルタ角度は、アバタの頭部と胴体との間の相対的角度を表すことができる。グラフのｙ－軸３８１０は、０～１の違和感のレベルを示し、違和感は、アバタが位置を維持するために必要とされるエネルギーの量を表すことができる。違和感の他の値も、使用されることができ、例えば、０～１００、離散レベル（例えば、Ａ～Ｆの段階的なスケールであって、Ａは、殆どまたは全く違和感を表さず、Ｆは、極限違和感を表す）等である。図３８Ａおよび３８Ｂでは、０の違和感レベルは、エネルギーが特定の位置を維持するために要求されない（例えば、違和感または位置を維持するための物理的応力が全く存在しないであろう）一方、より高い違和感レベルは、維持するためにより多くのエネルギーを要求する（例えば、より多くの違和感が存在するであろう、またはより多くの物理的応力が位置を維持するために被られるであろう）ことを意味する。０の違和感レベルは、静置または中立位置における身体の自然な姿勢を反映させ得る。実施例として、ヒトの手は、安静時、若干曲げられ、これは、０の違和感レベルに対応し得る。
【0413】
それぞれ、図３８Ａおよび図３８Ｂの違和感曲線３８００ａおよび３８００ｂは、頭部に関連した胴体のデルタ角度と関連付けられた違和感レベルをマッピングする。デルタ角度が、０から増加または減少するにつれて、違和感レベルは、適宜、上昇する。違和感曲線は、ばねベースの動画システムの中にフィードされることができ、違和感の大きさは、それらを継合するばねが存在するかのように、隣接する身体部分の移動を決定することができる。例えば、違和感の大きさが、ある胴体／頭部デルタ角度に起因して、閾値レベルに到達すると、ウェアラブルシステムは、胴体または頭部を自動的に移動させ、胴体と頭部との間の角度を低減させる（したがって、違和感を低減させる）ことができる。さらに、高違和感レベルは、違和感のレベルを低減させるために、胴体または頭部のより大きいまたはより高速の移動を生じさせ得る。
【0414】
隣接する身体部分の移動間の時間遅延の実施例として、レンダリングシステムの目標が、その眼が１００度右に向くように、アバタを移動させることである場合、レンダリングシステムは、単に、アバタの頭部を右に向かって移動させ始め得る。胴体／頭部デルタ角度は、増加し始め、（曲線３８００ａ、３８００ｂからの）違和感レベルもまた、増加し始めるであろう。いったん違和感レベルが、閾値に達する（例えば、０．５）と、レンダリングシステムは、アバタの胴体を同様に右に回転させ始め、これは、胴体／頭部デルタ角度の増加を低減させ、違和感レベルを閾値を下回って維持するであろう。視認者には、アバタの頭部が、最初に、右に方向転換し始め、その後、アバタの胴体が、アバタが標的を見ているようにレンダリングされるまで、右に向かって回転するように見える。したがって、本実施例では、レンダリングシステムは、自然かつヒトのようなアバタの移動を生成する。別の実施例として、アバタは、最初に、関心誘引誘発要因を見るためにその頭部を方向転換させ得る。しかしながら、関心誘引誘発要因の関心誘引度は、増加し得る（例えば、関心誘引誘発要因の変化または視認者との相互作用に起因して）。時間が経過するにつれて、アバタの頭部姿勢（例えば、関心誘引誘発要因を見るための頭部の方向転換）と関連付けられた違和感レベルは、増加し得、これは、違和感レベルを低減させながら、関心誘引誘発要因を見続けるように、アバタにその身体を方向転換させ得る。極限違和感につながり得る、相対的身体移動に関して、違和感閾値は、第１の身体部分の移動が、比較的急速に、第２の隣接する身体部分の移動につながるであろうように、より低い値に設定されることができる。相対的身体運動が、違和感なく、ヒトによって容易に実施される場合、違和感閾値は、１つのみの身体部分の移動が運動を遂行するために十分であり得るため、より高い値に設定されることができる。個々の違和感閾値は、レンダリングシステムによって使用される違和感曲線毎に設定されることができ、これらの違和感曲線（または閾値）は、下記にさらに説明されるように、調節可能、修正可能、または動的に変更可能であることができる。
【0415】
違和感曲線は、仮想アバタの現在の気分またはモードに基づいて、交換または修正されることができる。図３８Ａおよび３８Ｂに示されるように、違和感曲線は、仮想アバタの現在の相互作用に基づいて、異なり得る。図３８Ａにおける違和感レベルは、０の最小値を有し、デルタ角度が、０度からさらに離れるように増加または減少するにつれて、ゆっくりと上昇する。図３８Ａにおける違和感レベルは、アバタが起立している間、頭部に関連した胴体のデルタ角度が３６度に到達すると、１の最大値に到達する。しかしながら、図３８Ｂに示されるように、違和感レベルは、仮想アバタが歩行しているとき、より迅速に上昇する。図３８Ｂに提示される実施例では、違和感レベルは、頭部に関連した胴体のデルタ角度が２２度に到達すると、１の最大レベルに到達する。ある実装では、頭部に関連した胴体の違和感曲線は、したがって、仮想アバタがモードを起立から歩行に変化させるにつれて変化する。例えば、仮想アバタは、最初に、起立している場合があり、したがって、解剖学的構造調節システム６９８（図６に示される）は、違和感曲線３８００ａを適用し、仮想アバタの動画を調節することができる。しかしながら、仮想アバタは、歩行し始め得る。仮想アバタの挙動の本変化に基づいて、解剖学的構造調節システム６９８は、仮想アバタの頭部－胴体回転を動画化するために、違和感曲線３８００ｂに切り替えることができる。
【0416】
別の実施例として、違和感曲線に対する接線（例えば、傾き）は、仮想アバタが動揺しているとき、仮想アバタが平穏であるときより大きくあり得る。その結果、仮想アバタは、仮想アバタが動揺しているとき、平穏であるときより高速で閾値違和感レベルに到達し得る。
【0417】
違和感曲線は、解剖学的構造調節システム６９８によって、数学的パラメータ化によって表されてもよい（例えば、数式、スプライン、ルックアップテーブル等）。違和感曲線（または違和感閾値）は、解剖学的構造調節システム６９８が、違和感がアバタ移動に存在するかどうかを容易に決定し、適宜、隣接するアバタ身体部分を調節し得る（または調節しない）ように、アバタ挙動（例えば、起立対歩行）、気分（例えば、動揺対平穏）等を反映させるために調節され得る、パラメータを含んでもよい。
【0418】
違和感曲線に基づいてアバタの身体部分を動画化する例示的用途として、ウェアラブルシステムは、１つの鉛直角度調節動画（例えば、頭部の傾斜移動を動画化する）と、３つの水平角度調節動画とを利用することができる。３つの水平角度調節動画は、身体の一部の変化が、身体の別の部分の変化を生じさせ得、これが、ひいては、身体の第３の部分の変化を生じさせ得るように、ともに連鎖されることができる。本連鎖反応は、２つ以上の身体部分間の違和感レベルに基づくことができる（身体の一部の変化が、閾値を上回って違和感レベルを増加させる場合、近傍部分が、適宜、移動し、違和感レベルを低減させ得、違和感レベルのさらなる増加（例えば、別の閾値を上回る）が、第３の身体部分の移動をもたらし得るように）。
【0419】
実施例として、水平調節角度連鎖では、眼移動は、頭部の左－右回転動画を駆動させることができ、これは、ひいては、胴体の左－右動画を駆動することができ、これは、ひいては、腰部の左－右動画回転を駆動することができる。本段落における実施例は、１つの鉛直角度調節動画と、３つの水平角度調節動画とを説明するが、任意の数の他の水平（または鉛直）動画が、本連鎖の中に挿入され得る（および任意の数の関連付けられた違和感曲線が、使用されることができる）。本明細書に説明される技法は、これらの数の水平または鉛直角度調節動画に限定されない。例えば、いくつかの実施形態は、１つのみの水平および１つの鉛直角度変化を含み、単純頭部方向転換を動画化してもよい一方、他の実施形態は、頭部方向転換を表すための水平回転および鉛直偏移と胴体の移動を表するための付加的水平回転とを含んでもよい。
【0420】
ある実施形態では、挙動応答もまた、曲線に沿った点に挿入されることができる。例えば、違和感が高すぎる場合、アバタからの台詞が、トリガされることができる。例えば、アバタ移動が、十分に大きい違和感レベルにつながるであろう場合、アバタは、「痛い！」と発するようにレンダリングされてもよい。別の実施例として、別の標的関心誘引誘発要因を選定するためのアバタ挙動もまた、違和感が高すぎる場合、トリガされることができる。例えば、大頭部および身体回転を要求する、標的オブジェクトを見るように移動させるのではなく、アバタは、途中まで移動し、次いで、手を用いて、標的オブジェクトに対してジェスチャを行ってもよい。そのような組み合わせられた運動は、違和感レベルを適切な閾値を下回って保つことができ、有利には、実際のヒト挙動を模倣することができる。
（違和感曲線を用いたアバタ動画の例示的プロセス）
（違和感曲線を用いたアバタ動画の例示的プロセス）
【0421】
図３９は、違和感曲線を用いて仮想アバタを動画化する例示的プロセスを図示する。例示的プロセス３９００は、ウェアラブルシステム２００（アバタの視認者のウェアラブルシステム等）またはウェアラブルシステム２００の解剖学的構造調節システム６９８によって実施されることができる。
【0422】
プロセスは、ブロック３９１０において、アバタの隣接する第２の身体部分に対する第１の身体部分の配向を決定することによって開始する。ある実装では、アバタの２つの身体部分の相対的位置を決定するために、ウェアラブルシステムは、固有受容感覚システムと通信することができ、これは、例えば、胴体に対する頭部の回転等、相互に対して身体の種々の部分の回転を追跡することができる。ある実装では、隣接する第２の身体部分に対する第１の身体部分の配向は、水平角度成分と、鉛直角度成分とに分解されてもよい。例えば、頭部方向転換は、胴体に関連して、右に向かって３０度の水平角度と、上向きに１５度の鉛直角度とに分解されてもよい。
【0423】
ブロック３９２０では、ウェアラブルシステムは、アバタの環境または相互作用と関連付けられた違和感曲線にアクセスすることができる。例えば、違和感曲線は、図３８Ａおよび３８Ｂを参照して説明されるように、仮想アバタの気分またはモードに応じて、自動的に選択されることができる。違和感曲線は、第１の身体部分と第２の身体部分との間の角度と、対応する角度に関する違和感レベルとを説明することができる。違和感曲線は、運動追跡に基づくデータの深層学習または回帰分析を使用して、自動的に生成される、またはヒト直感または特定の芸術スタイルに基づいて（例えば、漫画家によって）、手動で作成されることができる。
【0424】
ブロック３９３０では、ウェアラブルシステムは、配向に基づいて、違和感レベルを決定することができる。例えば、ウェアラブルシステムは、第１の身体部分と第２の身体との間の角度を違和感曲線の中に入力し、角度と関連付けられた違和感レベルを計算することができる。
【0425】
ブロック３９４０では、ウェアラブルシステムは、違和感レベルが閾値条件に達するかどうかを決定することができる。閾値条件は、アバタにその姿勢を変化させ得る。違和感レベルが、閾値条件を超えない場合、プロセス３９００は、ブロック３９６０に移動し、ウェアラブルシステムは、アバタの環境または相互作用を監視する。違和感レベルが、閾値条件を超える場合、プロセス３９００は、ブロック３９５０に移動する。
【0426】
ブロック３９５０では、ウェアラブルシステムは、第１の身体部分または第２の身体部分の姿勢を調節することができる。図３８Ａおよび３８Ｂを参照して説明されるように、ウェアラブルシステムは、閾値条件からの逸脱が大きいほど、アバタに、より高速で、またはより大きな程度で、その姿勢を変化させ得るように、ばねベースのアバタ動画システムを採用することができる。ある実装では、ウェアラブルシステムは、水平および鉛直角度成分を使用して、違和感曲線に従って、第２の身体部分に関連して第１の身体部分の動画を駆動することができる。例えば、水平角度は、違和感曲線に対応してもよい一方、鉛直角度は、別の違和感曲線に対応してもよい。アバタの最終姿勢または移動は、第１または第２の身体部分の水平および鉛直の両方における移動の組み合わせであってもよい。
【0427】
身体部分の動画は、より自然かつ生きているような動画を生産するように、違和感曲線によって規定された限界によって境界されてもよい。例えば、頭部に関連して胴体の動画を統制する、違和感曲線は、頭部が胴体に関連して６０度を上回って水平に回転することを禁止し得る。
【0428】
ブロック３９６０では、ウェアラブルシステムは、アバタの環境または相互作用を監視する。例えば、ウェアラブルシステムは、関心誘引誘発要因の変化または視認者の姿勢を監視することができる。ウェアラブルシステムはまた、例えば、アバタの相互作用または気分の変化等の環境に対するアバタの応答を監視することができ、これは、環境または視認者の相互作用の変化に起因し得る。
【0429】
ブロック３９７０では、ウェアラブルシステムが、環境または相互作用の変化を検出しない場合、プロセス３９００は、ブロック３９６０にループバックする。そうでなければ、プロセス３９００は、ブロック３９２０に移動し、ウェアラブルシステムは、アバタのモードまたは気分に適切な違和感曲線を決定することができる。例えば、新しい違和感曲線は、仮想アバタが椅子に着座した状態から部屋を横断して走っている状態に遷移するにつれて、アバタの頭部および胴体の動画を統制するために適用されてもよい。着座に関する違和感曲線は、頭部が胴体に関連して左および右に４５度回転することを許可し得るが、新しい違和感曲線は、頭部が胴体に関連して２０度を上回って回転しないように制限し、実際のヒトが、走っている間、真っ直ぐ前を見ている傾向にあるという事実を反映してもよい。
【0430】
図３９に示される例示的プロセスは、複数の身体部分を伴う移動のために適用されてもよい（例えば、脚部移動は、腰部移動を駆動することができ、これは、胴体移動を駆動することができる等となる）。
（付加的側面）
（付加的側面）
【0431】
第１の側面では、仮想アバタを自動的にスケーリングするためのウェアラブルシステムであって、ユーザの環境を結像するように構成される、デバイスセンサと、ユーザの姿勢を測定するように構成される、姿勢センサと、仮想コンテンツを複合現実環境内に表示するように構成される、ディスプレイと、姿勢データを姿勢センサから受信し、少なくとも部分的に、姿勢データに基づいて、世界フレームを基準とする、ユーザの頭部位置を計算し、世界フレームは、ユーザの環境と関連付けられた基準フレームを含み、ユーザの環境内の世界フレームを基準とする主要な水平平面を決定し、主要な水平平面およびユーザの頭部位置に基づいて、ユーザの高さを計算し、少なくとも部分的に、ユーザの高さに基づいて、アバタの標的高さを計算し、標的高さに基づいて、アバタを自動的にスケーリングするし、ディスプレイに、アバタを標的高さに自動的にレンダリングさせるようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルシステム。
【0432】
第２の側面では、ユーザの高さを計算するために、ハードウェアプロセッサは、頭部位置と主要な水平平面との間でレイキャスティングを実施し、頭部位置と主要な水平平面との間の鉛直高低差に基づいて、ユーザの高さを計算するようにプログラムされる、側面１に記載のウェアラブルシステム。
【0433】
第３の側面では、水平主要な平面は、その上にアバタがレンダリングされる、平面と関連付けられ、アバタの標的高さは、頭部位置と主要な水平平面との間の鉛直高低差である、側面２に記載のウェアラブルシステム。
【0434】
第４の側面では、水平主要な平面は、その上にユーザが立っている、平面と関連付けられ、アバタの標的高さは、下記の式、すなわち、
に基づいて計算され、式中、ＡｖａｔａｒＨは、アバタの標的高さであって、ＵｓｅｒＨは、ユーザの高さであって、ＵｓｅｒＳｕｐｐｏｒｔＰｌａｎｅＨは、その上にユーザが位置する、主要な水平平面の高さを表し、ＡｖａｔａｒＳｕｐｐｏｒｔＰｌａｎｅＨは、その上にアバタがレンダリングされるべき平面の高さを表す、側面２または３に記載のウェアラブルシステム。
【化6】
に基づいて計算され、式中、ＡｖａｔａｒＨは、アバタの標的高さであって、ＵｓｅｒＨは、ユーザの高さであって、ＵｓｅｒＳｕｐｐｏｒｔＰｌａｎｅＨは、その上にユーザが位置する、主要な水平平面の高さを表し、ＡｖａｔａｒＳｕｐｐｏｒｔＰｌａｎｅＨは、その上にアバタがレンダリングされるべき平面の高さを表す、側面２または３に記載のウェアラブルシステム。
【0435】
第５の側面では、主要な水平平面の高さと、その上にアバタがレンダリングされるべき平面の高さとは、主要な水平平面と、その上にアバタがレンダリングされるべき平面の高さとの下方にある、接地面平面を基準として測定される、側面４に記載のウェアラブルシステム。
【0436】
第６の側面では、主要な水平平面を決定するために、ハードウェアプロセッサは、深度感知カメラによって入手された環境画像データに基づいて、３次元（３Ｄ）点群を生成し、メッシュアルゴリズムを適用し、表面をメッシュ群から抽出し、表面をユーザの環境を説明する３Ｄ多角形メッシュに変換し、３Ｄ多角形メッシュに基づいて、主要な水平平面を推定するようにプログラムされる、側面１－５のいずれか１項に記載のウェアラブルシステム。
【0437】
第７の側面では、主要な平面を推定するために、ハードウェアプロセッサは、類似配向を伴う接続されたポリゴンのグループを検出するようにプログラムされる、側面６に記載のウェアラブルシステム。
【0438】
第８の側面では、主要な水平平面を決定するために、ハードウェアプロセッサは、直接、デバイスセンサによって入手された環境画像に基づいて生成された３Ｄ点群から、水平配向における平面を抽出するようにプログラムされる、側面１－７のいずれか１項に記載のウェアラブルシステム。
【0439】
第９の側面では、ハードウェアプロセッサはさらに、ユーザとアバタとの間の相対的高さの変化を検出し、変化に応答して、少なくとも部分的に、更新された標的高さに基づいて、アバタを動的にスケーリングするようにプログラムされる、側面１－８のいずれか１項に記載のウェアラブルシステム。
【0440】
側面１－９のいずれかでは、デバイスセンサは、深度感知カメラを備えることができる、または姿勢センサは、慣性測定ユニットを備えることができる。
【0441】
第１０の側面では、仮想アバタを自動的にスケーリングするための方法であって、ユーザの姿勢データを受信するステップと、少なくとも部分的に、姿勢データに基づいて、ユーザの頭部位置を計算するステップと、ユーザの環境内の主要な水平平面を決定するステップと、主要な水平平面およびユーザの頭部位置に基づいて、ユーザの高さを計算するステップと、少なくとも部分的に、ユーザの高さに基づいて、アバタの標的高さを計算するステップと、標的高さに基づいて、アバタのサイズを調節するためのスケールを決定するステップとを含む、方法。
【0442】
第１１の側面では、ディスプレイに、仮想アバタを複合現実環境内の標的高さに自動的にレンダリングさせるステップをさらに含む、側面１０に記載の方法。
【0443】
第１２の側面では、ユーザの高さを計算するステップは、ユーザの頭部位置からレイキャスティングを実施するステップと、頭部位置と主要な水平平面との間の鉛直高低差に基づいて、ユーザの高さを計算するステップとを含む、側面１０または１１に記載の方法。
【0444】
第１３の側面では、主要な水平平面は、その上にアバタがレンダリングされる、平面と関連付けられ、アバタの標的高さは、頭部位置と主要な水平平面との間の鉛直高低差である、側面１２に記載の方法。
【0445】
第１４の側面では、主要な水平平面は、その上にユーザが立っている、平面と関連付けられ、アバタの標的高さは、下記の式、すなわち、
に基づいて計算され、式中、ＡｖａｔａｒＨは、アバタの標的高さであって、ＵｓｅｒＨは、ユーザの高さであって、ＵｓｅｒＳｕｐｐｏｒｔＰｌａｎｅＨは、その上にユーザが位置する、主要な水平平面の高さを表し、ＡｖａｔａｒＳｕｐｐｏｒｔＰｌａｎｅＨは、その上にアバタがレンダリングされるべき平面の高さを表す、側面１２または１３に記載の方法。
【化7】
に基づいて計算され、式中、ＡｖａｔａｒＨは、アバタの標的高さであって、ＵｓｅｒＨは、ユーザの高さであって、ＵｓｅｒＳｕｐｐｏｒｔＰｌａｎｅＨは、その上にユーザが位置する、主要な水平平面の高さを表し、ＡｖａｔａｒＳｕｐｐｏｒｔＰｌａｎｅＨは、その上にアバタがレンダリングされるべき平面の高さを表す、側面１２または１３に記載の方法。
【0446】
第１５の側面では、主要な水平平面の高さと、その上にアバタがレンダリングされるべき平面の高さとは、主要な水平平面と、その上にアバタがレンダリングされるべき平面の高さとの下方にある、接地面平面を基準として測定される、側面１４に記載の方法。
【0447】
第１６の側面では、主要な水平平面を決定するステップは、深度感知カメラによって入手された環境画像データに基づいて、３次元（３Ｄ）点群を生成するステップと、メッシュアルゴリズムを適用し、メッシュ群を形成する表面を抽出するステップと、表面をユーザの環境を説明する３Ｄ多角形メッシュに変換するステップと、３Ｄ多角形メッシュに基づいて、主要な水平平面を推定するステップとを含む、側面１０－１５のいずれか１項に記載の方法。
【0448】
第１７の側面では、主要な平面を推定するステップは、類似配向を伴う接続されたポリゴンのグループを検出するステップを含む、側面１６に記載の方法。
【0449】
第１８の側面では、主要な水平平面を決定するステップは、直接、環境画像に基づいて生成された環境の３Ｄモデルから、水平配向における平面を抽出するステップを含む、側面１０－１７のいずれか１項に記載の方法。
【0450】
第１９の側面では、ユーザとアバタとの間の相対的高さの変化を検出するステップと、変化に応答して、少なくとも部分的に、更新されたスケールに基づいて、アバタを動的にサイズ変更するステップをさらに含む、側面１０－１８のいずれか１項に記載の方法。
【0451】
第２０の側面では、頭部位置および主要な水平平面は、世界フレームを基準として決定される、側面１０－１９のいずれか１項に記載の方法。
【0452】
第２１の側面では、ユーザ相互作用の意図を決定するためのウェアラブルデバイスであって、ユーザの環境とのユーザの相互作用データを入手するように構成される、デバイスセンサと、デバイスセンサから入手された相互作用データに基づいて、ユーザ相互作用を識別し、ユーザ相互作用を世界成分またはローカル成分のうちの少なくとも１つに分解し、世界成分は、ユーザの環境の世界フレームを基準とするアクションを含み、ローカル成分は、ユーザの身体のローカルフレームを基準とするアクションを含み、コンテキスト情報に基づいて、ユーザの相互作用と関連付けられた意図を決定し、意図、世界成分と関連付けられた情報、またはローカル成分と関連付けられた情報のうちの少なくとも１つを、別のウェアラブルデバイスに通信し、他のウェアラブルデバイスに、意図に基づいて、ユーザ相互作用を他のウェアラブルデバイスによってレンダリングされたユーザのアバタにマッピングさせるようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルデバイス。
【0453】
第２２の側面では、ユーザ相互作用は、ユーザの環境またはユーザの環境内の関心オブジェクトとの相互作用のうちの少なくとも１つを含む、側面２１に記載のウェアラブルデバイス。
【0454】
第２３の側面では、関心オブジェクトは、環境内の物理的オブジェクトまたは仮想オブジェクトを含む、側面２２に記載のウェアラブルデバイス。
【0455】
第２４の側面では、関心オブジェクトは、別のユーザの仮想アバタである、側面２３に記載のウェアラブルデバイス。
【0456】
第２５の側面では、ユーザ相互作用は、頭部姿勢、眼視線、または身体姿勢、またはユーザの環境内の移動のうちの少なくとも１つを介して実施される、側面２１－２４のいずれか１項に記載のウェアラブルデバイス。
【0457】
第２６の側面では、デバイスセンサは、慣性測定ユニット（ＩＭＵ）、外向きに面したカメラ、または眼追跡カメラのうちの少なくとも１つを含む、側面２１－２５のいずれか１項に記載のウェアラブルデバイス。
【0458】
第２７の側面では、コンテキスト情報は、ユーザの環境内のオブジェクトのレイアウト、環境内のオブジェクトの場所、ユーザの位置、またはユーザの配向のうちの少なくとも１つを含む、側面２１－２６のいずれか１項に記載のウェアラブルデバイス。
【0459】
第２８の側面では、意図は、ユーザ相互作用の世界成分と関連付けられる、側面２１－２７のいずれか１項に記載のウェアラブルデバイス。
【0460】
第２９の側面では、ローカル成分と関連付けられた情報は、ユーザ相互作用のローカル成分の動画を含む、側面２１－２８のいずれか１項に記載のウェアラブルデバイス。
【0461】
第３０の側面では、遠隔ユーザ相互作用のために仮想アバタをレンダリングするための方法であって、第２のユーザのアバタがレンダリングされる、第１のユーザの環境と関連付けられたコンテキスト情報を決定するステップと、第２のユーザの環境内に生じた第２のユーザのユーザ相互作用と関連付けられる、第２のユーザの意図を決定するステップと、コンテキスト情報および第２のユーザの意図に基づいて、第１のユーザの世界フレームに対する第２のユーザのアバタの世界アクションを決定するステップと、第２のユーザの環境内で生じた第２のユーザのユーザ相互作用のローカル成分に基づいて、第２のユーザのアバタのローカルフレームに対する第２のユーザのアバタのローカルアクションを動画化するステップと、ディスプレイに、世界アクションおよびローカルアクションを含むアバタを、複合現実環境内にレンダリングさせるステップとを含む、方法。
【0462】
第３１の側面では、第２のユーザの意図を決定するステップは、意図データを第２のユーザのウェアラブルデバイスから受信するステップ、または第２のユーザの意図を第２のユーザのユーザ相互作用の相互作用データから決定するステップのうちの少なくとも１つを含む、側面３０に記載の方法。
【0463】
第３２の側面では、第２のユーザの意図は、関心オブジェクトと相互作用する意図を含む、側面３０または３１に記載の方法。
【0464】
第３３の側面では、第２のユーザの意図は、第１のユーザに通信する、またはそれと相互作用する意図を含む、側面３０－３２のいずれか１項に記載の方法。
【0465】
第３４の側面では、ローカルアクションはさらに、ローカルアクションと関連付けられた第２のユーザの意図に基づいて動画化される、側面３０－３３のいずれか１項に記載の方法。
【0466】
第３５の側面では、ローカルアクションを動画化するステップは、ローカルアクションおよび第１のユーザの環境内のオブジェクトの結果としてのアバタの衝突検出を実施するステップを含む、側面３０－３４のいずれか１項に記載の方法。
【0467】
第３６の側面では、世界アクションは、少なくとも、第１のユーザの環境内の第２のユーザのアバタの移動または第２のユーザのアバタによる第１のユーザの環境内のオブジェクトとの相互作用を含む、側面３０－３５のいずれか１項に記載の方法。
【0468】
第３７の側面では、第１の環境内の第１のユーザの意図に基づいて、仮想アバタをレンダリングするシステムであって、第１の環境の環境情報を複数のセンサから抽出し、少なくとも部分的に、受信された環境情報に基づいて、複数の潜在的関心オブジェクトを識別し、少なくとも部分的に、受信された環境情報に基づいて、関心オブジェクトを決定し、決定は、ユーザから各潜在的関心オブジェクトに向かうベクトルおよびユーザから延在する通視線ベクトルを第１のユーザの真正面において外向きに延在させるステップと、関心加重値を各潜在的関心オブジェクトに割り当てるステップであって、潜在的関心オブジェクトの関心加重は、動的に変化し、環境情報の変化を反映させる、ステップと、潜在的関心オブジェクト毎に、全体的関心値を計算するステップであって、潜在的関心オブジェクトに関する関心値は、少なくとも部分的に、潜在的関心オブジェクトに関する関心加重値に基づく、ステップとを含み、関心オブジェクト情報を遠隔コンピューティングデバイスに通信し、関心オブジェクト情報は、少なくとも、関心オブジェクトを表す識別子を含み、通信される関心オブジェクト情報を遠隔コンピューティングデバイスから受信し、少なくとも部分的に、遠隔コンピューティングデバイスから受信された関心オブジェクト情報に基づいて、仮想アバタの位置または配向のうちの少なくとも１つを調節するようにプログラムされる、ハードウェアプロセッサと、少なくとも部分的に、受信された関心オブジェクト情報に基づいて、仮想アバタをレンダリングするプロセスを実行するための命令を記憶するように構成される、非一過性コンピュータ可読媒体とを備える、システム。
【0469】
第３８の側面では、環境情報は、ユーザの頭部姿勢または眼姿勢または複数の仮想オブジェクトの存在を含む、側面３７に記載のシステム。
【0470】
第３９の側面では、複数のセンサは、ユーザの周囲の環境内の世界を観察する、外向きに面した結像システムと、ユーザの眼の移動を追跡し得る、内向きに面した結像システムとを含む、側面３７または３８に記載のシステム。
【0471】
第４０の側面では、関心オブジェクトの決定はさらに、潜在的関心オブジェクトと関連付けられたベクトルとユーザの通視線ベクトルとの間のドット積を計算するステップを含む、側面３７－３９のいずれか１項に記載のシステム。
【0472】
第４１の側面では、関心オブジェクトの決定は、ユーザの周囲の環境内の条件の変化が検出される度に生じ、条件の変化は、ユーザの姿勢の変化、環境内のユーザの位置の変化、潜在的関心オブジェクトの位置の変化を含む、側面３７－４０のいずれか１項に記載のシステム。
【0473】
第４２の側面では、関心オブジェクトの決定は、少なくとも部分的に、第１のユーザの頭部姿勢およびユーザの意味論的関心に基づく、側面３７－４１のいずれか１項に記載のシステム。
【0474】
第４３の側面では、関心オブジェクトの決定は、さらに、ユーザからユーザの通視線ベクトルの方向に向かってレイキャスティングを実施するステップを含む、側面４２に記載のシステム。
【0475】
第４４の側面では、関心オブジェクト情報はさらに、潜在的関心オブジェクトと関連付けられたベクトルとユーザの通視線ベクトルとの間のオフセット角度を含む、側面３７－４３のいずれか１項に記載のシステム。
【0476】
第４５の側面では、仮想アバタの位置または配向のうちの少なくとも１つの調節は、関心オブジェクトの場所に面するように、潜在的関心オブジェクトと関連付けられたベクトルとユーザの通視線ベクトルとの間のオフセット角度だけ、仮想アバタの少なくとも一部を回転させるステップを含む、側面３７－４４のいずれか１項に記載のシステム。
【0477】
第４６の側面では、第１の環境内の第１のユーザの意図に基づいて、仮想アバタをレンダリングする方法であって、第１のユーザの姿勢データにアクセスするステップであって、姿勢データは、少なくとも、眼姿勢または頭部姿勢を含む、ステップと、少なくとも部分的に、第１のユーザの姿勢データに基づいて、第１のユーザの環境内の複数の潜在的関心オブジェクトを識別するステップと、少なくとも部分的に、第１のユーザの姿勢データに基づいて、第１のユーザの環境内の複数の潜在的関心オブジェクトから第１のユーザの関心オブジェクトを決定するステップと、関心オブジェクト情報を第２のユーザに通信するステップであって、関心オブジェクト情報は、少なくとも、関心オブジェクトを表す識別子を含む、ステップと、関心オブジェクト情報を第１のユーザから受信するステップと、第２の環境内の仮想アバタに対する第２の環境内の関心オブジェクトの場所を識別するステップと、少なくとも部分的に第２の環境内の仮想アバタに対する第２の環境内の関心オブジェクトの場所に基づいて、第２の環境内の仮想アバタの位置または配向のうちの少なくとも１つを調節するステップとを含む、方法。
【0478】
第４７の側面では、第１のユーザの姿勢データにアクセスするステップは、第１のユーザの周囲の環境内の世界を観察する、外向きに面した結像システムと、第１のユーザの眼の移動を追跡する、内向きに面した結像システムとによって行われる、側面４６に記載の方法。
【0479】
第４８の側面では、関心オブジェクトを決定するステップは、ユーザから各潜在的関心オブジェクトに向かうベクトルおよびユーザから延在する通視線ベクトルをユーザの真正面において外向きに延在させるステップと、関心加重値を各潜在的関心オブジェクトに割り当てるステップであって、潜在的関心オブジェクトの関心加重は、動的に変化し、環境の変化を反映させるステップと、潜在的関心オブジェクト毎に、全体的関心値を計算するステップであって、潜在的関心オブジェクトに関する関心値は、少なくとも部分的に、潜在的関心オブジェクトに関する関心加重値に基づく、ステップとを含む、側面４６または４７に記載の方法。
【0480】
第４９の側面では、関心オブジェクトを決定するステップはさらに、潜在的関心オブジェクトと関連付けられたベクトルとユーザの通視線ベクトルとの間のドット積を計算するステップを含む、側面４６－４８のいずれか１項に記載の方法。
【0481】
第５０の側面では、関心オブジェクトを決定するステップは、ユーザの周囲の環境内の条件の変化が検出される度に生じ、条件の変化は、ユーザの姿勢の変化、環境内のユーザの位置の変化、潜在的関心オブジェクトの位置の変化を含む、側面４６－４９のいずれか１項に記載の方法。
【0482】
第５１の側面では、関心オブジェクトを決定するステップは、少なくとも部分的に、第１のユーザの頭部姿勢およびユーザの意味論的関心に基づく、側面４６－５０のいずれか１項に記載の方法。
【0483】
第５２の側面では、関心オブジェクトを決定するステップはさらに、ユーザからユーザの通視線ベクトルの方向に向かってレイキャスティングを実施するステップを含む、側面５１に記載の方法。
【0484】
第５３の側面では、関心オブジェクト情報はさらに、潜在的関心オブジェクトと関連付けられたベクトルとユーザの通視線ベクトルとの間のオフセット角度を含む、側面４６－５２のいずれか１項に記載の方法。
【0485】
第５４の側面では、仮想アバタの位置または配向のうちの少なくとも１つを調節するステップは、関心オブジェクトの場所に面するように、潜在的関心オブジェクトと関連付けられたベクトルとユーザの通視線ベクトルとの間のオフセット角度だけ、仮想アバタを回転させるステップを含む、側面４６－５３のいずれか１項に記載の方法。
【0486】
第５５の側面では、コンテキスト情報に基づいて、アバタの相互作用を調節するためのウェアラブルシステムであって、仮想アバタを視認者の環境内にレンダリングするための複合現実ディスプレイと、環境内の複数の関心誘引誘発要因を決定し、複数の関心誘引誘発要因と関連付けられた関心誘引度値を計算し、少なくとも部分的に、複数の関心誘引誘発要因と関連付けられた関心誘引度値に基づいて、標的関心誘引誘発要因を決定し、複合現実ディスプレイに、アバタの動画をレンダリングさせ、標的関心誘引誘発要因に応答させるようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルシステム。
【0487】
第５６の側面では、複数の関心誘引誘発要因は、関心誘引オブジェクトまたは関心エリアのうちの１つ以上のものを含む、側面５５に記載のウェアラブルシステム。
【0488】
第５７の側面では、関心誘引オブジェクトは、ソーシャルトライアングルまたは視線ボックスを含む、側面５６に記載のウェアラブルシステム。
【0489】
第５８の側面では、複数の関心誘引誘発要因と関連付けられた関心誘引度値のうちの少なくとも１つは、複数の関心誘引誘発要因のうちの少なくとも１つと関連付けられた本来の関心誘引度と、持続時間、環境内のトリガイベント、または視認者の相互作用のうちの少なくとも１つを含む、１つ以上の調節要因とに基づいて計算される、側面５５－５７のいずれか１項に記載のウェアラブルシステム。
【0490】
第５９の側面では、ハードウェアプロセッサはさらに、少なくとも部分的に、調節要因と関連付けられた値の更新に基づいて、複数の関心誘引誘発要因の関心誘引度値の変化を監視し、関心誘引誘発要因の関心誘引度値の変化が閾値条件に達することの決定に応答して、標的関心誘引誘発要因を別の関心誘引誘発要因に更新するようにプログラムされる、側面５５－５８のいずれか１項に記載のウェアラブルシステム。
【0491】
第６０の側面では、標的関心誘引誘発要因を決定するために、ハードウェアプロセッサは、複数の関心誘引誘発要因からの関心誘引誘発要因を標的関心誘引誘発要因として選択するようにプログラムされ、関心誘引誘発要因は、最高関心誘引度値を有する、側面５５－５９のいずれか１項に記載のウェアラブルシステム。
【0492】
第６１の側面では、ハードウェアプロセッサはさらに、関心誘引誘発要因が標的関心誘引誘発要因であることの決定に応じて、値の上昇を関心誘引誘発要因と関連付けられた関心誘引度値に提供するようにプログラムされる、側面５５－６０のいずれか１項に記載のウェアラブルシステム。
【0493】
第６２の側面では、標的関心誘引誘発要因は、関心誘引オブジェクトであって、標的関心誘引誘発要因に応答するようにアバタの動画をレンダリングするために、ハードウェアプロセッサは、少なくとも部分的に、関心誘引オブジェクトと関連付けられたサッカード点に基づいて、アバタに関するサッカード眼球運動を動画化するようにプログラムされる、側面５５－６１のいずれか１項に記載のウェアラブルシステム。
【0494】
第６３の側面では、所与の時間においてサッカード眼球運動を動画化するために、ハードウェアプロセッサは、サッカード点を保持するための関心誘引オブジェクト上の複数のポリゴンを決定し、複数のポリゴンの各ポリゴン上に到達するサッカード点と関連付けられた確率を計算し、ポリゴンと関連付けられた確率に基づいて、ポリゴンを選択し、ポリゴンの表面上の点をサッカード点としてランダムに選択し、サッカード点に合焦するようにアバタの眼姿勢を調節するようにプログラムされる、側面６２に記載のウェアラブルシステム。
【0495】
第６４の側面では、確率は、複数のポリゴンの各ポリゴンと関連付けられた個別のエリアに基づいて計算される、側面６３に記載のウェアラブルシステム。
【0496】
第６５の側面では、サッカード眼球運動を用いて、アバタを動画化する方法であって、アバタの環境内の関心誘引オブジェクトを識別するステップと、サッカード点を保持するために、関心誘引オブジェクト上の複数のポリゴンを決定するステップと、複数のポリゴンの各ポリゴン上に到達するサッカード点と関連付けられた確率を計算するステップと、ポリゴンと関連付けられた確率に基づいて、ポリゴンを選択するステップと、ポリゴンの表面上の点をサッカード点としてランダムに選択するステップと、アバタの眼姿勢を調節し、所与の時間にサッカード点上に合焦させるステップとを含む、方法。
【0497】
第６６の側面では、関心誘引オブジェクトは、ソーシャルトライアングルまたは視線ボックスを含む、側面６５に記載の方法。
【0498】
第６７の側面では、関心誘引オブジェクトは、アバタの視野内のオブジェクトと関連付けられた関心誘引度値を計算することによって決定される、側面６５または６６に記載の方法。
【0499】
第６８の側面では、関心誘引度値は、時間の経過に伴って減衰する、側面６７に記載の方法。
【0500】
第６９の側面では、サッカードタイミングのランダム化されたウィンドウが経過後、サッカード時間を再計算するステップをさらに含む、側面６５－６８のいずれか１項に記載の方法。
【0501】
第７０の側面では、複数のポリゴンは、アバタのサッカード錐台に基づいて決定される、側面６５－６９のいずれか１項に記載の方法。
【0502】
第７１の側面では、アバタの眼移動を動画化するために、ソーシャルトライアングルを識別するための方法であって、顔と関連付けられたソーシャルトライアングルのパラメータにアクセスするステップであって、ソーシャルトライアングルは、アバタが顔を見ているときのアバタの眼移動を動画化するために使用される、顔の領域を含む、ステップと、少なくとも部分的に、パラメータに基づいて、顔と関連付けられた第１の特徴および第２の特徴を識別するステップであって、第１の特徴または第２の特徴のうちの少なくとも１つは、複数のサブ特徴を含む、ステップと、少なくとも部分的に、第１および第２の特徴に基づいて、第１の頂点、第２の頂点、および第３の頂点を決定するステップと、第１、第２、および第３の頂点によって形成される、境界されたエリアを決定するステップと、境界されたエリアをソーシャルトライアングルとして割り当てるステップとを含む、方法。
【0503】
第７２の側面では、アバタの眼移動は、境界されたエリア内の点に限定される、側面７１に記載の方法。
【0504】
第７３の側面では、第１の特徴は、第１の眼の一部の第１のサブ特徴と、第２の眼の一部の第２のサブ特徴とを含む、側面７１または７２に記載の方法。
【0505】
第７４の側面では、第２の特徴は、顎の一部または口の一部のうちの少なくとも１つを含む、側面７１－７３のいずれか１項に記載の方法。
【0506】
第７５の側面では、第１の特徴は、アバタをレンダリングするための頭部搭載型ディスプレイの少なくとも一部を含み、第１の頂点は、頭部搭載型ディスプレイの第１の端部を含み、第２の頂点は、頭部搭載型ディスプレイの第２の端部を含む、側面７１－７４のいずれか１項に記載の方法。
【0507】
第７６の側面では、重力ベクトルを計算するステップをさらに含み、第２の頂点は、第２の頂点を重力ベクトルから第１の頂点の直交距離に基づく場所に位置付けることによって抽出され、重力ベクトルは、第３の頂点と交差する、側面７１－７５のいずれか１項に記載の方法。
【0508】
第７７の側面では、違和感曲線を使用して、仮想アバタの動画を駆動するためのシステムであって、仮想アバタの隣接する第２の身体部分に対する仮想アバタの第１の身体部分の配向と、仮想アバタの隣接する第２の身体部分に対する第１の身体部分の運動を統制する、少なくとも１つの違和感曲線とを記憶するように構成される、非一過性コンピュータ可読媒体と、仮想アバタの隣接する第２の身体部分に対する仮想アバタの第１の身体部分の配向を決定し、隣接する第２の身体部分に対する第１の身体部分の運動を統制する、少なくとも１つの違和感曲線にアクセスし、少なくとも部分的に、少なくとも１つの違和感曲線に従って、仮想アバタの隣接する第２の身体部分に対する第１の身体部分の動画を駆動するようにプログラムされる、ハードウェアプロセッサとを備える、システム。第７７の側面のいくつかの実施形態では、ハードウェアプロセッサは、動画を駆動するために、仮想エージェントを実行することができる。第７７の側面のいくつかの実施形態では、動画を駆動するために、ハードウェアプロセッサは、違和感曲線から返される値を低減または最小限にするようにプログラムされる。第７７の側面のいくつかの実施形態では、動画を駆動するために、ハードウェアプロセッサは、違和感曲線から返される値を閾値を下回って保つようにプログラムされる。
【0509】
第７８の側面では、ハードウェアプロセッサは、隣接する第２の身体部分に対する第１の身体部分の配向を水平角度成分または鉛直角度成分に分解し、水平角度成分または鉛直角度成分のうちの少なくとも１つに基づいて、隣接する第２の身体部分に対する動画を駆動するようにプログラムされる、側面７７に記載のシステム。
【0510】
第７９の側面では、動画を駆動するために、ハードウェアプロセッサはさらに、第１の身体部分が第２の身体部分に対する配向にあるように、第１の身体部分または第２の身体部分を方向転換させ、少なくとも部分的に、違和感曲線に基づいて、ある持続時間後、違和感レベルを決定し、違和感レベルが閾値を超えることの決定に応答して、第１の身体部分が、低減された違和感レベルを有する、第２の身体部分に対する別の配向にあるように、第１の身体部分または第２の身体部分のいずれかを方向転換させるようにプログラムされる、側面７７または７８に記載のシステム。
【0511】
第８０の側面では、仮想アバタの動画は、違和感曲線から返される値を低減または最小限にするように駆動される、側面７７－７９のいずれか１項に記載のシステム。
【0512】
第８１の側面では、隣接する第２の身体部分に対する第１の身体部分の配向を追跡するように構成される、固有受容感覚システムをさらに備える、側面７７－８０のいずれか１項に記載のシステム。
【0513】
第８２の側面では、違和感曲線は、第１の身体部分と第２の身体部分との間の角度に対する違和感レベルを説明する、側面７７－８１のいずれか１項に記載のシステム。
【0514】
第８３の側面では、違和感曲線は、姿勢データの深層学習または回帰分析を使用して、自動的に生成される、側面７７－８２のいずれか１項に記載のシステム。
【0515】
第８４の側面では、隣接する第２の身体部分に対する第１の身体部分の動画は、移動が違和感曲線に関する違和感閾値を超える場合、禁止される、側面７７－８３のいずれか１項に記載のシステム。
【0516】
第８５の側面では、ハードウェアプロセッサはさらに、仮想アバタがレンダリングされた環境または仮想アバタの相互作用の変化に基づいて、仮想アバタの気分またはモードの変化を検出するようにプログラムされる、側面７７－８４のいずれか１項に記載のシステム。
【0517】
第８６の側面では、違和感曲線は、仮想アバタの現在の気分またはモードに基づいて修正される、側面８５に記載のシステム。
【0518】
第８７の側面では、仮想アバタのモードまたは気分の変化の検出は、隣接する第２の身体部分に対する第１の身体部分の移動を統制する、新しい違和感曲線のアクセスを生じさせる、側面８５または８６に記載のシステム。
【0519】
第８８の側面では、仮想アバタのモードの変化は、環境内の仮想アバタの移動を含む、側面７７－８７のいずれか１項に記載のシステム。
【0520】
第８９の側面では、ハードウェアプロセッサはさらに、少なくとも１つの違和感曲線の値が閾値に達することを決定し、決定に応答して、付加的アバタ挙動の実施を生じさせるようにプログラムされる、側面７７－８８のいずれか１項に記載のシステム。
【0521】
第９０の側面では、付加的アバタ挙動は、音を発する、またはジェスチャを行うことを含む、側面８９に記載のシステム。
【0522】
第９１の側面では、隣接する第２の身体部分に対する第１の身体部分の動画を駆動するために、ハードウェアプロセッサは、少なくとも１つの違和感曲線の第１の違和感閾値に到達するまで、第１の身体部分を移動させ、かつ第２の身体部分を移動させ、少なくとも１つの違和感曲線の値を第１の違和感閾値を下回って低減させるようにプログラムされる、側面７７－９０のいずれか１項に記載のシステム。
【0523】
第９２の側面では、ハードウェアプロセッサはさらに、仮想アバタの第３の身体部分を移動させ、少なくとも１つの違和感曲線の値を第２の違和感閾値を下回って低減させるようにプログラムされる、側面９１に記載のシステム。
【0524】
第９３の側面では、違和感曲線を使用して、仮想アバタの動画を駆動する方法であって、仮想アバタの第２の身体部分に対する仮想アバタの第１の身体部分の配向を決定するステップと、第２の身体部分に対する第１の身体部分の運動を統制する、少なくとも１つの違和感曲線にアクセスするステップと、少なくとも部分的に、少なくとも１つの違和感曲線に従って、第２の身体部分に対する第１の身体部分の動画を駆動するステップとを含む、方法。仮想アバタの第２の身体部分は、仮想アバタの第１の身体部分に隣接し得る。
【0525】
第９４の側面では、隣接する第２の身体部分に対する第１の身体部分の配向を水平角度成分または鉛直角度成分に分解するステップと、少なくとも部分的に、水平角度成分または鉛直角度成分のうちの少なくとも１つに基づいて、隣接する第２の身体部分に対する動画を駆動するステップとをさらに含む、側面９３に記載の方法。
【0526】
第９５の側面では、仮想アバタを動画化するステップは、違和感曲線から返される値を低減または最小限にするように駆動される、側面９３または９４に記載の方法。
【0527】
第９６の側面では、配向は、少なくとも部分的に、固有受容感覚システム内のデータに基づいて決定される、側面９３－９５のいずれか１項に記載の方法。
【0528】
第９７の側面では、固有受容感覚システムは、身体部分間の回転に関する違和感曲線および式をさらに記憶する、側面９６に記載の方法。
【0529】
第９８の側面では、違和感曲線は、隣接する身体部分に対する身体部分の角度に対する違和感レベルを説明する、側面９３－９７のいずれか１項に記載の方法。
【0530】
第９９の側面では、違和感曲線は、アバタが第１の身体部分または第２の身体部分をある姿勢に維持するための労力のレベルを説明する、側面９３－９８のいずれか１項に記載の方法。
【0531】
第１００の側面では、違和感曲線は、姿勢データの深層学習または回帰分析を使用して自動的に生成される、側面９３－９９のいずれか１項に記載の方法。
【0532】
第１０１の側面では、隣接する第２の身体部分に対する第１の身体部分を動画化するステップは、移動が違和感曲線に関する違和感閾値を超える場合、禁止される、側面９３－１００のいずれか１項に記載の方法。
【0533】
第１０２の側面では、違和感曲線は、仮想アバタの現在の気分またはモードに基づいて修正される、側面９３－１０１のいずれか１項に記載の方法。
【0534】
第１０３の側面では、隣接する第２の身体に対する第１の身体部分の動画を駆動するステップは、少なくとも部分的に、少なくとも１つの違和感曲線の値に基づいて、第２の身体部分の運動と第１の身体部分の運動を連鎖させるステップを含む、側面９３－１０２のいずれか１項に記載の方法。
【0535】
第１０４の側面では、第２の身体部分の運動は、少なくとも１つの違和感曲線の値が閾値に達するまで、生じない、側面１０３に記載の方法。
（他の考慮点）
（他の考慮点）
【0536】
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
【0537】
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、動画またはビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
【0538】
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップまたはアクションの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
【0539】
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
【0540】
本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
【0541】
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
【0542】
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
【0543】
とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つまたはそれを上回る実施形態に対していかようにも要求されること、または１つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「～を備える」、「～を含む」、「～を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。
【0544】
本明細書で使用されるように、項目のリスト「～のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。
【0545】
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図11A】
【図11B】
【図11C】
【図11D】
【図12A】
【図12B】
【図13A】
【図13B】
【図14】
【図15】
【図16A-1】
【図16A-2】
【図16B】
【図17A】
【図17B】
【図18A】
【図18B】
【図19A】
【図19B】
【図20】
【図21A】
【図21B】
【図21C】
【図22】
【図23】
【図24】
【図25A】
【図25B】
【図25C】
【図25D】
【図26A】
【図26B】
【図26C】
【図26D】
【図26E】
【図26F】
【図27】
【図28A】
【図28B】
【図29A】
【図29B】
【図29C】
【図30A】
【図30B】
【図31A】
【図31B】
【図31C】
【図32A】
【図32B】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38A】
【図38B】
【図39】
【外国語明細書】