特許 7623487 自動立体テレプレゼンスシステムのための３次元（３Ｄ）顔特徴追跡

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-20

(45)【発行日】2025-01-28

(54)【発明の名称】自動立体テレプレゼンスシステムのための３次元（３Ｄ）顔特徴追跡

(51)【国際特許分類】

   G06T 19/00 20110101AFI20250121BHJP

   H04N 7/18 20060101ALI20250121BHJP

【ＦＩ】

G06T19/00 A

H04N7/18 U

【請求項の数】 12

(21)【出願番号】P 2023532766

(86)(22)【出願日】2020-11-30

(65)【公表番号】

(43)【公表日】2023-12-13

(86)【国際出願番号】 US2020070831

(87)【国際公開番号】W WO2022115119

(87)【国際公開日】2022-06-02

【審査請求日】2023-09-13

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】エーベリング，サッシャ

(72)【発明者】

【氏名】ローレンス，ジェイソン

【審査官】鈴木 肇

(56)【参考文献】

【文献】国際公開第２０１４／１９０２２１（ＷＯ，Ａ１）

【文献】特表２０１５－５１３８３３（ＪＰ，Ａ）

【文献】米国特許第１０１７１７３８（ＵＳ，Ｂ１）

【文献】米国特許第０８８８４９４９（ＵＳ，Ｂ１）

【文献】特開２０１２－０２９２０９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０２７２８０６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０２２８５５６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １１／６０－１３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００－１９／２０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

複数のカメラを用いて少なくとも１つの画像を取込むことと、
前記少なくとも１つの画像に関連付けられた複数の顔特徴を識別することと、
前記複数の顔特徴のうちの少なくとも１つの顔特徴の位置を、前記少なくとも１つの顔特徴に関連付けられた少なくとも２つのランドマークに基づいて、安定化させることと、
前記少なくとも１つの顔特徴の前記位置を３次元（３Ｄ）位置に変換することと、
前記少なくとも１つの顔特徴の将来の位置を予測することと、
前記少なくとも２つのランドマークに基づき、前記少なくとも１つの顔特徴の前記将来の位置を用いて、フラットパネルディスプレイ上で３Ｄ画像をレンダリングすることとを備える、方法。

【請求項2】

前記少なくとも１つの画像は２つ以上の画像を含み、
前記２つ以上の画像は、同じカメラによって順次、および２つ以上のカメラによって同時に、のうちの少なくとも一方で取込まれる、請求項１に記載の方法。

【請求項3】

前記複数の顔特徴を識別することは、
前記少なくとも１つの画像に関連付けられた顔を識別することと、
前記顔の上の前記複数の顔特徴に対応する複数のランドマークを生成することと、
位置を前記複数のランドマークの各々に関連付けることとを含む、請求項１または請求項２に記載の方法。

【請求項4】

前記複数の顔特徴を識別することは、
前記少なくとも１つの画像に関連付けられた第１の顔を識別することと、
前記少なくとも１つの画像に関連付けられた第２の顔を識別することと、
前記第１の顔の上の前記複数の顔特徴に対応する第１の複数のランドマークを生成することと、
前記第２の顔の上の前記複数の顔特徴に対応する第２の複数のランドマークを生成することと、
第１の位置を前記第１の複数のランドマークの各々に関連付けることと、
第２の位置を前記第２の複数のランドマークの各々に関連付けることとを含む、請求項１～請求項３のいずれか１項に記載の方法。

【請求項5】

前記少なくとも１つの顔特徴の位置を安定化させることは、
前記少なくとも１つの画像のうちの少なくとも２つから顔特徴を選択することと、
前記顔特徴に関連付けられた前記少なくとも２つのランドマークを選択することと、
前記少なくとも２つのランドマークの位置を平均化することとを含む、請求項１～請求項４のいずれか１項に記載の方法。

【請求項6】

前記少なくとも１つの顔特徴の位置を安定化させることは、
前記複数の顔特徴に対応する複数のランドマークを生成することと、
前記複数のランドマークのサブセットを選択することと、
前記複数のランドマークの前記サブセットの各ランドマークの位置に関連付けられた速度に基づいて、顔の動きを決定することとを含み、
前記少なくとも１つの顔特徴の位置を安定化させることは、前記顔の前記動きに基づく、請求項１～請求項５のいずれか１項に記載の方法。

【請求項7】

前記少なくとも１つの顔特徴の前記位置を３Ｄ位置に変換することは、
前記複数のカメラのうちの３つ以上によって取込まれた画像を用いて生成された位置データに基づいて、前記少なくとも１つの顔特徴の前記位置を三角測量することを含む、請求項１～請求項６のいずれか１項に記載の方法。

【請求項8】

前記少なくとも１つの顔特徴の前記３Ｄ位置に二重指数フィルタを適用して、前記少なくとも１つの顔特徴の前記３Ｄ位置に関連付けられたノイズを低減することをさらに備える、請求項７に記載の方法。

【請求項9】

前記少なくとも１つの顔特徴の将来の位置を予測することは、
前記少なくとも１つの顔特徴の前記３Ｄ位置のシーケンスに二重指数フィルタを適用することと、
時間ゼロ（０）の前の前記二重指数フィルタでフィルタリングされた前記３Ｄ位置のシーケンスに基づく、ゼロ（０）よりも大きい時間における値を選択することとを含む、請求項７または請求項８に記載の方法。

【請求項10】

音声位置を決定することと、
前記少なくとも１つの顔特徴の前記将来の位置および前記音声位置を用いて音声を生成することとをさらに備える、請求項１～請求項９のいずれか１項に記載の方法。

【請求項11】

３次元（３Ｄ）コンテンツシステムであって、
複数のコンピュータ命令を表すコードセグメントを含むメモリと、
前記コードセグメントを実行するように構成された１以上のプロセッサとを備え、前記コンピュータ命令は、前記１以上のプロセッサによって実行されることにより、前記３Ｄコンテンツシステムに、請求項１～請求項１０のいずれか１項に記載の方法を実施させる、３Ｄコンテンツシステム。

【請求項12】

システムの１以上のプロセッサによって、前記システムに、請求項１～請求項１０のいずれか１項に記載の方法を実施させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

分野
実施形態は、概して、ディスプレイに表示するコンテンツを生成する際に使用される方法、デバイス、およびアルゴリズムに関する。

【背景技術】

【0002】

背景
３次元（３Ｄ）テレプレゼンスシステムは、映像を表示する場所および音声を投影する場所を決定するために、ユーザの頭の３Ｄポーズ情報に依拠し得る。３Ｄポーズ情報は正確でなければならない。たとえば、いくつかのシステムは、正確であり得るが、ユーザが３Ｄマーカボールを装着する必要がある。さらに、これらのシステムは非常に高価であり、ハードウェアの設置面積が大きい。他のシステムは、たとえばゲームに使用することができる小型の消費者向けデバイスを使用することができる。しかしながら、これらのシステムの精度および速度は、３Ｄテレプレゼンスシステムの要件を満たしていない。ウェアラブル（たとえば、３Ｄマーカボール、ヘッドマウントディスプレイなど）デバイスを必要とせずに３Ｄテレプレゼンスシステムで使用することができる、所望の精度および速度性能を有する３Ｄポーズ情報システムが必要とされている。

【発明の概要】

【0003】

概要
全般的な態様において、デバイス、システム、（コンピュータシステム上で実行することができるコンピュータ実行可能プログラムコードを格納した）非一時的なコンピュータ読取可能媒体、および／または方法は、複数のカメラを用いて少なくとも１つの画像を取込むことと、上記少なくとも１つの画像に関連付けられた複数の顔特徴を識別することと、上記複数の顔特徴のうちの少なくとも１つの顔特徴の位置を安定化させることと、上記少なくとも１つの顔特徴の上記位置を３次元（３Ｄ）位置に変換することと、上記少なくとも１つの顔特徴の将来の位置を予測することと、上記少なくとも１つの顔特徴の上記将来の位置を用いて、フラットパネルディスプレイ上で３Ｄ画像をレンダリングすることとを含む方法を用いて、プロセスを実行することができる。

【0004】

実装形態は、以下の特徴のうちの１つ以上を含み得る。たとえば、上記少なくとも１つの画像は２つ以上の画像を含み得るものであり、上記２つ以上の画像は、同じカメラによって順次、および２つ以上のカメラによって同時に、のうちの少なくとも一方で取込まれ得る。上記複数の顔特徴を識別することは、上記少なくとも１つの画像に関連付けられた顔を識別することと、上記顔の上の上記複数の顔特徴に対応する複数のランドマークを生成することと、位置を上記複数のランドマークの各々に関連付けることとを含み得る。上記複数の顔特徴を識別することは、上記少なくとも１つの画像に関連付けられた第１の顔を識別することと、上記少なくとも１つの画像に関連付けられた第２の顔を識別することと、上記第１の顔の上の上記複数の顔特徴に対応する第１の複数のランドマークを生成することと、上記第２の顔の上の上記複数の顔特徴に対応する第２の複数のランドマークを生成することと、第１の位置を上記第１の複数のランドマークの各々に関連付けることと、第２の位置を上記第２の複数のランドマークの各々に関連付けることとを含み得る。

【0005】

上記少なくとも１つの顔特徴の位置を安定化させることは、上記少なくとも１つの画像のうちの少なくとも２つから顔特徴を選択することと、上記顔特徴に関連付けられた少なくとも２つのランドマークを選択することと、上記少なくとも２つのランドマークの位置を平均化することとを含み得る。上記少なくとも１つの顔特徴の位置を安定化させることは、上記複数の顔特徴に対応する複数のランドマークを生成することと、上記複数のランドマークのサブセットを選択することと、上記複数のランドマークの上記サブセットの各ランドマークの位置に関連付けられた速度に基づいて、顔の動きを決定することとを含み得るものであり、上記少なくとも１つの顔特徴の位置を安定化させることは、上記顔の上記動きに基づく。上記少なくとも１つの顔特徴の上記位置を３Ｄ位置に変換することは、上記複数のカメラのうちの３つ以上によって取込まれた画像を用いて生成された位置データに基づいて、上記少なくとも１つの顔特徴の上記位置を三角測量することを含み得る。

【0006】

上記方法はさらに、上記少なくとも１つの顔特徴の上記３Ｄ位置に二重指数フィルタを適用して、上記少なくとも１つの顔特徴の上記３Ｄ位置に関連付けられたノイズを低減することを含み得る。上記少なくとも１つの顔特徴の将来の位置を予測することは、上記少なくとも１つの顔特徴の上記３Ｄ位置のシーケンスに二重指数フィルタを適用することと、時間ゼロ（０）の前の上記二重指数フィルタでフィルタリングされた上記３Ｄ位置のシーケンスに基づく、ゼロ（０）よりも大きい時間における値を選択することとを含み得る。上記方法はさらに、上記少なくとも１つの顔特徴の上記将来の位置を用いて音声を生成することを含み得る。

【0007】

全般的な態様において、デバイス、システム、（コンピュータシステム上で実行することができるコンピュータ実行可能プログラムコードを格納した）非一時的なコンピュータ読取可能媒体、および／または方法は、複数のコンピュータ命令を表すコードセグメントを含むメモリと、上記コードセグメントを実行するように構成されたプロセッサとを含むデバイスを用いてプロセスを実行することができ、上記コンピュータ命令は、複数のカメラを用いて少なくとも１つの画像を取込むことと、上記少なくとも１つの画像に関連付けられた複数の顔特徴を識別することと、上記複数の顔特徴のうちの少なくとも１つの顔特徴の位置を安定化させることと、上記少なくとも１つの顔特徴の上記位置を３次元（３Ｄ）位置に変換することと、上記少なくとも１つの顔特徴の将来の位置を予測することと、上記少なくとも１つの顔特徴の上記将来の位置を用いて、フラットパネルディスプレイ上で３Ｄ画像をレンダリングすることとを含む。

【0008】

実装形態は、以下の特徴のうちの１つ以上を含み得る。たとえば、上記少なくとも１つの画像は２つ以上の画像を含み得るものであり、上記２つ以上の画像は、同じカメラによって順次、および２つ以上のカメラによって同時に、のうちの少なくとも一方で取込まれ得る。上記複数の顔特徴を識別することは、上記少なくとも１つの画像に関連付けられた顔を識別することと、上記顔の上の上記複数の顔特徴に対応する複数のランドマークを生成することと、位置を上記複数のランドマークの各々に関連付けることとを含み得る。上記複数の顔特徴を識別することは、上記少なくとも１つの画像に関連付けられた第１の顔を識別することと、上記少なくとも１つの画像に関連付けられた第２の顔を識別することと、上記第１の顔の上の上記複数の顔特徴に対応する第１の複数のランドマークを生成することと、上記第２の顔の上の上記複数の顔特徴に対応する第２の複数のランドマークを生成することと、第１の位置を上記第１の複数のランドマークの各々に関連付けることと、第２の位置を上記第２の複数のランドマークの各々に関連付けることとを含み得る。

【0009】

上記少なくとも１つの顔特徴の位置を安定化させることは、上記少なくとも１つの画像のうちの少なくとも２つから顔特徴を選択することと、上記顔特徴に関連付けられた少なくとも２つのランドマークを選択することと、上記少なくとも２つのランドマークの位置を平均化することとを含み得る。上記少なくとも１つの顔特徴の位置を安定化させることは、上記複数の顔特徴に対応する複数のランドマークを生成することと、上記複数のランドマークのサブセットを選択することと、上記複数のランドマークの上記サブセットの各ランドマークの位置に関連付けられた速度に基づいて、顔の動きを決定することとを含み得るものであり、上記少なくとも１つの顔特徴の位置を安定化させることは、上記顔の上記動きに基づく。上記少なくとも１つの顔特徴の上記位置を３Ｄ位置に変換することは、上記複数のカメラのうちの３つ以上によって取込まれた画像を用いて生成された位置データに基づいて、上記少なくとも１つの顔特徴の上記位置を三角測量することを含み得る。

【0010】

上記コンピュータ命令はさらに、上記少なくとも１つの顔特徴の上記３Ｄ位置に二重指数フィルタを適用して、上記少なくとも１つの顔特徴の上記３Ｄ位置に関連付けられたノイズを低減することを含み得る。上記少なくとも１つの顔特徴の将来の位置を予測することは、上記少なくとも１つの顔特徴の上記３Ｄ位置のシーケンスに二重指数フィルタを適用することと、時間ゼロ（０）の前の上記二重指数フィルタでフィルタリングされた上記３Ｄ位置のシーケンスに基づく、ゼロ（０）よりも大きい時間における値を選択することとを含み得る。上記コンピュータ命令はさらに、上記少なくとも１つの顔特徴の上記将来の位置を用いて音声を生成することを含み得る。

【0011】

例示的な実施形態は、本明細書の以下の詳細な説明および添付の図面からさらに十分に理解されるであろう。添付の図面では、同様の要素は同様の参照番号によって表している。これらの要素は例として与えられているに過ぎず、したがって例示的な実施形態を限定するものではない。

【図面の簡単な説明】

【0012】

【図1】少なくとも１つの例示的な実装形態に係る、コンテンツをディスプレイデバイスに表示するための例示的な３Ｄコンテンツシステムを示すブロック図である。

【図2】少なくとも１つの例示的な実装形態に係る、ディスプレイデバイスにおけるレンダリングのためのコンテンツをモデル化するための例示的なシステムのブロック図である。

【図3】少なくとも１つの例示的な実施形態に係る、顔特徴を追跡し、顔特徴に基づいて位置（複数可）を位置決定するためのシステムのブロック図である。

【図4】少なくとも１つの例示的な実施形態に係る、顔特徴位置を絵で示す図である。

【図5】少なくとも１つの例示的な実施形態に係る、顔特徴を追跡し、顔特徴に基づいて位置（複数可）を位置決定する方法のブロック図である。

【図6】少なくとも１つの例示的な実施形態に係る、コンピュータデバイスおよびモバイルコンピュータデバイスの一例を示す図である。

【発明を実施するための形態】

【0013】

実施形態の詳細な説明
なお、これらの図面は、いくつかの例示的な実施形態において利用される方法、構造および／または材料の一般的特徴を示すこと、ならびに以下に提供される記述を補足することを意図している。しかしながら、これらの図面は、一定の縮尺ではなく、任意の実施形態の正確な構造特性または性能特性を正確に反映していない場合があり、例示的な実施形態によって包含される値の範囲または性質を規定または限定するものと解釈されるべきではない。たとえば、分子、層、領域および／または構造要素の相対的な厚みおよび位置は、明確にするために縮小または強調されることがある。さまざまな図面における同様または同一の参照番号の使用は、同様または同一の要素または特徴の存在を示すことを意図している。

【0014】

ウェアラブルデバイス（たとえば、ヘッドマウントディスプレイ（ＨＭＤ））を使用しない拡張現実および仮想現実（ＡＲ／ＶＲ）システム、たとえば、据置型３Ｄディスプレイを使用する自動立体／眼鏡なしテレプレゼンスシステムは、ユーザの顔特徴（たとえば、目および耳）の正確な最新の３Ｄポーズを有することに依拠し得る。たとえば、これらのシステム（たとえば、３Ｄテレプレゼンスシステム）では、正確な目の追跡を使用して、仮想カメラを位置決めするとともに別々の左ステレオ画像および右ステレオ画像を左目および右目にそれぞれ投影することによって、表示されるシーンを修正することができる。また、そのようなシステムは、耳の追跡を使用して音声出力および入力を正確に処理して、ヘッドフォンなしで空間オーディオを実現することができる。代わりに、これらのシステムは、たとえば据置型スピーカペアを使用することができる。

【0015】

３Ｄテレプレゼンスシステムにおいて、顔特徴追跡システムは、少なくとも、高速、低レイテンシ、低ノイズおよびジッタ、マーカレスなどであるべきである。一例として、高速追跡システムは、１２０Ｈｚのディスプレイシステム上で８．３３ｍｓごとに更新可能であるべきである。低レイテンシ追跡システムは、画面上の更新されたレンダリングが現在のユーザ位置と一致するように、ユーザの位置を報告すべきである。そうしなければ、レイテンシが高すぎる場合、ユーザはめまいがして深刻な視覚アーティファクトを経験する可能性がある。低ノイズおよびジッタ追跡システムは、視覚的な不快感の原因となり得るシーンの揺れを最小限に抑えるべきである。マーカレス追跡システムは、ユーザが、ユーザに取付けられたデバイスの不快感を感じることなく(たとえば、望ましくないユーザ体験をすることなく)テレプレゼンスシステムに参加できるようにすべきである。

【0016】

例示的な実装形態は、ウェアラブルデバイス（たとえば、ＨＭＤ、マーカ、および／またはその他）を使用せずにユーザ（たとえば、３Ｄテレプレゼンスシステムのユーザ）の顔特徴を正確かつコスト効率よく追跡するためのシステムを含み得る。この顔特徴追跡システムは、少なくとも１つのカメラ（たとえば、モノクロカメラ、赤外線カメラ、および／またはその他）を使用して、一定の間隔で画像を取込むことができる。一定の間隔は短くすることができる（たとえば、６ｍｓ未満、８ｍｓ未満、１０ｍｓ未満など）。これらの画像を用いて、顔および顔特徴の位置を特定し、仮想カメラ位置、表示位置、音声位置および／またはその他を生成することができる。この追跡システムの利点は、ユーザが顔特徴追跡のためのデバイスを装着する必要がなく（ユーザ体験の向上）、追跡システムが迅速に特徴を取得することができ、追跡システムが正確な（たとえば、最小ノイズの）位置情報を生成するためのソフトウェアを含むことである。

【0017】

図１は、本開示全体にわたって記載されている実装形態に係る、立体ディスプレイデバイスにおいてコンテンツを取込んで表示するための例示的な３Ｄコンテンツシステム１００を示すブロック図である。３Ｄコンテンツシステム１００は、たとえば３Ｄでのテレビ会議通信（たとえば、テレプレゼンスセッション）を行うために複数のユーザが使用することができる。一般に、図１のシステムは、テレビ会議中にユーザの映像および／または画像を取込み、本明細書に記載されているシステムおよび技術を用いて仮想カメラ、表示位置、および音声位置を生成するために使用され得る。システム１００は、本明細書に記載されている位置生成システムおよび技術の使用から恩恵を受けることができる。なぜなら、そのような技術を用いて、テレビ会議を改善するように映像および音声コンテンツを投影することができるからである。たとえば、視聴者の位置に基づいて３Ｄ映像をレンダリングし、テレビ会議の参加者の位置に基づいて音声を投影するように、映像を投影することができる。

【0018】

図１に示すように、３Ｄコンテンツシステム１００は、第１のユーザ１０２および第２のユーザ１０４によって使用されている。たとえば、ユーザ１０２および１０４は、３Ｄコンテンツシステム１００を使用して３Ｄテレプレゼンスセッションに参加している。そのような例では、３Ｄコンテンツシステム１００は、ユーザ１０２および１０４の各々が、互いの非常にリアルで視覚的に矛盾のない表現を見ることを可能にすることができ、それによって、ユーザが互いに物理的に存在するのと同様の態様で対話することを容易にすることができる。

【0019】

各ユーザ１０２，１０４は、対応する３Ｄシステムを有し得る。ここでは、ユーザ１０２は３Ｄシステム１０６を有し、ユーザ１０４は３Ｄシステム１０８を有している。３Ｄシステム１０６，１０８は、３Ｄ表示のための画像の取込み、画像情報の処理および表示、ならびに音声情報の処理および表示を含むがこれらに限定されない、３Ｄコンテンツに関連する機能を提供することができる。３Ｄシステム１０６および／または３Ｄシステム１０８は、１つのユニットとして一体化されたセンシングデバイスの集合体を構成し得る。３Ｄシステム１０６および／または３Ｄシステム１０８は、図３を参照して説明する一部のまたはすべてのコンポーネントを含み得る。

【0020】

３Ｄシステム１０６，１０８は、３Ｄ情報の取込み、処理、送信、位置決めもしくは受信、および／または３Ｄコンテンツの表示に関連する複数のコンポーネントを含み得る。３Ｄシステム１０６，１０８は、３Ｄ表示に含まれる画像の画像コンテンツを取込むための、ならびに／または、顔および顔特徴を取込むための、１つまたは複数のカメラを含み得る。ここでは、３Ｄシステム１０６はカメラ１１６および１１８を含む。たとえば、カメラ１１６および／またはカメラ１１８は、それぞれのカメラ１１６および／または１１８の対物レンズまたはレンズがハウジングの１つまたは複数の開口によって画像コンテンツを取込むように、実質的に３Ｄシステム１０６のハウジング内に配置され得る。いくつかの実装形態では、カメラ１１６および／または１１８は、（たとえば、３Ｄシステム１０６との有線および／または無線接続を有する）スタンドアロンデバイスの形態など、ハウジングから分離可能である。図１に示すように、少なくとも1つのカメラ１１４，１１４′および／または１１４″が、（たとえば、有線および／または無線接続を用いて）３Ｄシステム１０６に通信可能に結合することができるスタンドアロンデバイスとして、ハウジングから分離しているものとして示されている。

【0021】

例示的な実装形態では、複数のカメラを用いて少なくとも１つの画像を取込むことができる。複数のカメラを用いて２つ以上の画像を取込むことができる。たとえば、２つ以上の画像を、（たとえば、追跡のために）同じカメラによって順次取込むことができる。２つ以上の画像を、（たとえば、三角測量に使用される）２つ以上のカメラによって同時に取込むことができる。

【0022】

カメラ１１４，１１４′，１１４″，１１６および１１８は、ユーザ（たとえば、ユーザ１０２）の十分に描写的なビューを取込むように位置決めするおよび／または方向付けることができる。カメラ１１４，１１４′，１１４″，１１６および１１８は、一般的にはユーザ１０２のための３Ｄディスプレイ１１０のビューを不明瞭にすることはないが、カメラ１１４，１１４′，１１４″，１１６および１１８の配置は任意に選択することができる。たとえば、カメラ１１６，１１８の一方をユーザ１０２の顔よりも上のどこかに位置決めすることができ、他方を顔よりも下のどこかに位置決めすることができる。カメラ１１４，１１４′および／または１１４″を３Ｄシステム１０６の左側、右側、および／または３Ｄシステム１０６よりも上に配置することができる。たとえば、カメラ１１６，１１８の一方をユーザ１０２の顔の右側のどこかに位置決めすることができ、他方を顔の左側のどこかに位置決めすることができる。３Ｄシステム１０８も同様に、たとえばカメラ１２０，１２２，１３４，１３４′および／または１３４″を含み得る。追加のカメラが可能である。たとえば、第３のカメラがディスプレイ１１０の近くまたは後ろに配置されてもよい。

【0023】

３Ｄコンテンツシステム１００は、１つもしくは複数の２Ｄまたは３Ｄディスプレイを含み得る。ここでは、３Ｄシステム１０６のために３Ｄディスプレイ１１０が設けられ、３Ｄシステム１０８のために３Ｄディスプレイ１１２が設けられている。３Ｄディスプレイ１１０，１１２は、複数のタイプの３Ｄディスプレイ技術のうちのいずれかを用いて、それぞれの視聴者（ここでは、たとえばユーザ１０２またはユーザ１０４）に自動立体視を提供することができる。いくつかの実装形態では、３Ｄディスプレイ１１０，１１２はスタンドアロンユニット（たとえば、自立しているかまたは壁に吊り下げられている）であってもよい。いくつかの実装形態では、３Ｄディスプレイ１１０，１１２は、ウェアラブル技術（たとえば、コントローラ、ヘッドマウントディスプレイなど）を含み得るか、またはそのようなウェアラブル技術へのアクセスを有し得る。

【0024】

一般に、ディスプレイ１１０，１１２などの３Ｄディスプレイは、ヘッドマウントディスプレイ（ＨＭＤ）デバイスを使用せずに、実世界における物理オブジェクトの３Ｄ光学特性を近似する画像を提供することができる。一般に、本明細書に記載されているディスプレイは、フラットパネルディスプレイ、レンチキュラーレンズ（たとえば、マイクロレンズアレイ）、および／または、ディスプレイに関連付けられた多数の異なる視聴領域に画像をリダイレクトするための視差バリアを含む。

【0025】

いくつかの実装形態では、ディスプレイ１１０，１１２は、高解像度でメガネ不要のレンチキュラー３次元（３Ｄ）ディスプレイを含むフラットパネルディスプレイであり得る。たとえば、ディスプレイ１１０，１１２は、ディスプレイのマイクロレンズにガラススペーサが結合（たとえば、接着）された複数のレンズ（たとえば、マイクロレンズ）を含むマイクロレンズアレイ（図示せず）を含み得る。マイクロレンズは、選択された視聴位置から、ディスプレイのユーザの左目が画素の第１のセットを見ることができ、ユーザの右目が画素の第２のセット（たとえば、画素の第２のセットは画素の第１のセットと相互に排他的である）を見ることができるように設計されてもよい。

【0026】

いくつかの例示的な３Ｄディスプレイには、そのようなディスプレイによって提供される画像コンテンツ（たとえば、ユーザ、オブジェクトなど）の３Ｄビューを提供する１つの場所が存在し得る。ユーザは、この１つの場所に座って、適切な視差、最小限の歪み、およびリアルな３Ｄ画像を体験することができる。ユーザが異なる物理的な場所に移動する（または、頭の位置もしくは視線の位置を変える）と、画像コンテンツ（たとえば、ユーザ、ユーザが装着しているオブジェクト、および/または他のオブジェクト）は、リアルさが損なわれて、２Ｄで、および／または、歪んで見え始める可能性がある。したがって、本明細書に記載されている技術は、リアルな３Ｄの生成を可能にするためにユーザ位置（たとえば、ユーザの目）を正確に決定することを可能にすることができる。本明細書に記載されているシステムおよび技術は、ユーザが動き回るが、依然として適切な視差、低い歪み率、およびリアルな３Ｄ画像をリアルタイムで確実に体験できるように、ディスプレイから投影された画像コンテンツを再構成することができる。したがって、本明細書に記載されているシステムおよび技術は、ユーザが３Ｄディスプレイを見ている間に生じるユーザの動きに関係なく、ユーザに表示するための３Ｄ画像コンテンツおよびオブジェクトを維持して提供するという利点を提供する。

【0027】

図１に示すように、３Ｄコンテンツシステム１００は、１つまたは複数のネットワークに接続することができる。ここでは、ネットワーク１３２が３Ｄシステム１０６および３Ｄシステム１０８に接続されている。ネットワーク１３２は、ほんの２例を挙げると、一般提供されているネットワーク（たとえば、インターネット）またはプライベートネットワークであり得る。ネットワーク１３２は、有線、または無線、またはこれら２つの組合わせであり得る。ネットワーク１３２は、１つまたは複数のサーバ（図示せず）を含むがこれらに限定されない１つまたは複数の他のデバイスまたはシステムを含み得るか、またはそのようなデバイスまたはシステムを使用し得る。

【0028】

３Ｄシステム１０６，１０８は、顔ファインダ／認識ツールを含み得る。３Ｄシステム１０６，１０８は、顔特徴抽出ツールを含み得る。たとえば、３Ｄシステム１０６，１０８は、画像内の顔を識別し、顔特徴および顔特徴の位置（またはｘ、ｙ、ｚ位置）を抽出するように構成された機械学習（ＭＬ）ツール（たとえば、ソフトウェア）を含み得る。画像（複数可）は、（３Ｄシステム１０６のための）カメラ１１４，１１４′，１１４″，１１６および／または１１８を用いて、かつ、（３Ｄシステム１０８のための）カメラ１２０，１２２，１３４，１３４′および／または１３４″を用いて、取込むことができる。

【0029】

３Ｄシステム１０６，１０８は、３Ｄ表示に使用される深度データを取込むための１つまたは複数の深度センサを含み得る。そのような深度センサは、シーンを３Ｄディスプレイに正確に表すために、３Ｄシステム１０６および／または１０８によって取込まれたシーンを特徴付けるために使用される、３Ｄコンテンツシステム１００内の深度取込みコンポーネントの一部とみなすことができる。さらに、システムは、３Ｄ表示が視聴者の現在の視点に対応する外観でレンダリングされ得るように、視聴者の頭の位置および向きを追跡することができる。ここでは、３Ｄシステム１０６は深度センサ１２４を含む。同様に、３Ｄシステム１０８は深度センサ１２６を含み得る。深度データを生成するために、複数のタイプの深度センシングまたは深度取込みのうちのいずれかを使用することができる。

【0030】

いくつかの実装形態では、支援型ステレオ深度取込みが実行される。光のドットを用いてシーンを照明することができ、ステレオマッチングは、たとえば２つのそれぞれのカメラ間で実行することができる。この照明は、選択された波長または波長範囲の波を用いて行うことができる。たとえば、赤外（ＩＲ）光を使用することができる。いくつかの実装形態では、たとえば２Ｄデバイス上でビューを生成する際に深度センサは利用されなくてもよい。深度データは、深度センサ（たとえば、深度センサ１２４）とシーン内のオブジェクトとの間の距離を反映する、シーンに関する任意の情報を含み得るか、またはそのような任意の情報に基づき得る。深度データは、シーン内のオブジェクトに対応する画像内のコンテンツについて、オブジェクトまでの距離（または深度）を反映する。たとえば、カメラ（複数可）と深度センサとの空間的関係を知ることができ、カメラ（複数可）からの画像と深度センサからの信号とを相関させて画像の深度データを生成するために使用することができる。

【0031】

３Ｄコンテンツシステム１００によって取込まれた画像は、処理され、その後、３Ｄ表示として表示され得る。図１の例に示されるように、オブジェクト（眼鏡１０４″）を有する３Ｄ画像１０４′が３Ｄディスプレイ１１０に表示される。このように、ユーザ１０２は、３Ｄ画像１０４′および眼鏡１０４″を、ユーザ１０２から遠隔に位置し得るユーザ１０４の３Ｄ表現として知覚することができる。３Ｄ画像１０２′が３Ｄディスプレイ１１２に表示される。このように、ユーザ１０４は、３Ｄ画像１０２′をユーザ１０２の３Ｄ表現として知覚することができる。

【0032】

３Ｄコンテンツシステム１００は、参加者（たとえば、ユーザ１０２，１０４）が互いにおよび／または他者との音声通信に参加することを可能にすることができる。いくつかの実装形態では、３Ｄシステム１０６はスピーカおよびマイク（図示せず）を含む。たとえば、３Ｄシステム１０８も同様にスピーカおよびマイクを含み得る。このように、３Ｄコンテンツシステム１００は、ユーザ１０２および１０４が互いにおよび／または他者との３Ｄテレプレゼンスセッションに参加することを可能にすることができる。

【0033】

図２は、本開示全体にわたって記載されている実装形態に係る、３Ｄディスプレイデバイスにおけるレンダリングのためのコンテンツをモデル化するための例示的なシステム２００のブロック図である。システム２００は、本明細書に記載されている１つもしくは複数の実装形態として機能することができ、もしくはそのような実装形態に含まれることができ、および／または、本明細書に記載されている３Ｄ処理、モデル化、もしくは表示の１つもしくは複数の例の動作（複数可）を実行するために使用することができる。システム２００全体および／またはその個々のコンポーネントのうちの１つ以上は、本明細書に記載されている１つまたは複数の例に従って実現することができる。

【0034】

システム２００は、１つまたは複数の３Ｄシステム２０２を含む。示される例では、３Ｄシステム２０２Ａ，２０２Ｂ～２０２Ｎが示されており、添字Ｎは任意の数字を示す。３Ｄシステム２０２は、３Ｄ表示のための視覚および音声情報の取込みを提供し、３Ｄ情報を処理のために転送することができる。そのような３Ｄ情報は、シーンの画像、シーンについての深度データ、およびシーンからの音声を含み得る。たとえば、３Ｄシステム２０２は、３Ｄシステム１０６および３Ｄディスプレイ１１０（図１）として機能することができ、または、３Ｄシステム１０６および３Ｄディスプレイ１１０内に含まれることができる。

【0035】

システム２００は、カメラ２０４によって示されるように、複数のカメラを含み得る。一般的なデジタルカメラ、モノクロカメラ、および／または赤外線カメラに使用されるタイプの画像センサなどの任意のタイプの光センシング技術を画像の取込みに使用することができる。カメラ２０４は、同じタイプであっても異なるタイプであってもよい。カメラ位置は、たとえば、３Ｄシステム１０６などの３Ｄシステム上の(またはその外部の）任意の位置内に配置されてもよい。

【0036】

システム２０２Ａは、深度センサ２０６を含む。いくつかの実装形態では、深度センサ２０６は、ＩＲ信号をシーン上に伝搬させて応答信号を検出することによって動作する。たとえば、深度センサ２０６は、ビーム１２８Ａ～Ｂおよび／または１３０Ａ～Ｂを生成および／または検出することができる。

【0037】

システム２０２Ａは、少なくとも１つのマイク２０８およびスピーカ２１０も含む。たとえば、これらは、ユーザが装着するヘッドマウントディスプレイに統合され得る。いくつかの実装形態では、マイク２０８およびスピーカ２１０は、３Ｄシステム１０６の一部であってもよく、ヘッドマウントディスプレイの一部でなくてもよい。

【0038】

システム２０２はさらに、３Ｄ画像を立体的に表示することができる３Ｄディスプレイ２１２を含む。いくつかの実装形態では、３Ｄディスプレイ２１２はスタンドアロンディスプレイとすることができ、いくつかの他の実装形態では、３Ｄディスプレイ２１２は、３Ｄ表示を体験するためにユーザによって装着されるように構成されたヘッドマウントディスプレイユニットに含まれ得る。いくつかの実装形態では、３Ｄディスプレイ２１２は、視差バリア技術を用いて動作する。たとえば、視差バリアは、画面と視聴者の間に配置された実質的に非透明な材料（たとえば、不透明フィルム）の平行な垂直ストライプを含み得る。視聴者のそれぞれの目の間の視差のために、画面の異なる部分（たとえば、異なる画素）は、それぞれ左目および右目によって見られる。いくつかの実装形態では、３Ｄディスプレイ２１２はレンチキュラーレンズを用いて動作する。たとえば、レンズの交互の列を画面の前に配置することができ、これらの列は、画面からの光をそれぞれ視聴者の左目および右目に向ける。

【0039】

システム２０２Ａは、追跡および位置２１４ブロックを含む。追跡および位置２１４ブロックは、部屋の中のユーザの位置を追跡するように構成され得る。いくつかの実装形態では、追跡および位置２１４ブロックは、ユーザの目の位置を追跡してもよい。いくつかの実装形態では、追跡および位置２１４ブロックは、ユーザの頭の位置を追跡してもよい。追跡および位置２１４ブロックは、システム２０２内のユーザ、マイク、カメラなどの位置を決定するように構成され得る。いくつかの実装形態では、追跡および位置２１４ブロックは、ユーザの顔および／または顔特徴に基づいて仮想位置を生成するように構成されてもよい。たとえば、追跡および位置ブロック２１４は、ユーザの顔および／または顔特徴に基づいて仮想カメラの位置を生成するように構成されてもよい。いくつかの実装形態では、追跡および位置２１４ブロックは、（３Ｄシステム１０６のための）カメラ１１４，１１４′，１１４″，１１６および／または１１８を用いて、かつ、（３Ｄシステム１０８のための）カメラ１２０，１２２，１３４，１３４′および／または１３４″を用いて、実現することができる。追跡および位置２１４ブロックは、３Ｄシステム（複数可）２０２内で本開示に記載されている方法および技術を実現するように構成されてもよい。

【0040】

システム２００は、データ処理、データモデル化、データ連携、および／またはデータ送信の特定のタスクを実行することができるサーバ２１６を含み得る。サーバ２１６および／またはそのコンポーネントは、図６を参照して説明する一部のまたはすべてのコンポーネントを含み得る。

【0041】

サーバ２１６は、１つまたは複数の方法で３Ｄ情報をレンダリングする役割を果たすことができる３Ｄコンテンツ生成器２１８を含む。これは、（たとえば、３Ｄシステム２０２Ａから）３Ｄコンテンツを受信すること、３Ｄコンテンツを処理すること、および／または、（処理された）３Ｄコンテンツを別の参加者に（たとえば、別の３Ｄシステム２０２に）転送することを含み得る。

【0042】

３Ｄコンテンツ生成器２１８によって実行される機能のいくつかの態様は、シェーダ２１８による実行のために実現され得る。シェーダ２１８は、画像の特定の部分に関してシェーディングを適用する役割を果たすことができ、また、シェーディングが提供されたかまたは提供される予定の画像に関連する他のサービスを実行する役割を果たすことができる。たとえば、シェーダ２１８を利用して、そうでなければ３Ｄシステム（複数可）２０２によって生成され得るいくつかのアーティファクトを打ち消すかまたは隠すことができる。

【0043】

シェーディングとは、画像内のオブジェクト、表面、および／またはポリゴンの色を含むがこれらに限定されない画像コンテンツの外観を定義する１つまたは複数のパラメータを指す。いくつかの実装形態では、シェーディングを、画像コンテンツの１つまたは複数の部分に適用して、またはそのような部分について調整して、それらの画像コンテンツ部分（複数可）が視聴者にどのように見えるかを変更することができる。たとえば、画像コンテンツ部分（複数可）をより暗くする、より明るくする、透明にする、などのためにシェーディングを適用／調整することができる。

【0044】

３Ｄコンテンツ生成器２１８は、深度処理コンポーネント２２０を含み得る。いくつかの実装形態では、深度処理コンポーネント２２０は、画像コンテンツに関連付けられた１つまたは複数の深度値に基づいて、かつ、１つまたは複数の受信入力（たとえば、コンテンツモデル入力）に基づいて、そのコンテンツにシェーディング（たとえば、より暗い、より明るい、透明など）を適用することができる。

【0045】

３Ｄコンテンツ生成器２１８は、角度処理コンポーネント２２２を含み得る。いくつかの実装形態では、角度処理コンポーネント２２２は、画像コンテンツを取込むカメラに対する画像コンテンツの向き（たとえば、角度）に基づいて、そのコンテンツにシェーディングを適用することができる。たとえば、シェーディングは、予め定められた閾値角度を超える角度でカメラ角度から離れる方向を向くコンテンツに適用することができる。これにより、角度処理コンポーネント２２２は、ほんの１例を挙げると、表面がカメラから離れるにつれて輝度を低下させフェードアウトさせることができる。

【0046】

３Ｄコンテンツ生成器２１８は、レンダラモジュール２２４を含む。レンダラモジュール２２４は、１つまたは複数の３Ｄシステム（複数可）２０２にコンテンツをレンダリングしてもよい。たとえばレンダラモジュール２２４は、たとえばシステム２０２において表示され得る出力／合成画像をレンダリングしてもよい。

【0047】

図２に示すように、サーバ２１６は、１つまたは複数の方法で３Ｄ情報をモデル化する役割を果たすことができる３Ｄコンテンツモデラ２３０も含む。これは、（たとえば、３Ｄシステム２０２Ａから）３Ｄコンテンツを受信すること、３Ｄコンテンツを処理すること、および／または、（処理された）３Ｄコンテンツを別の参加者に（たとえば、別の３Ｄシステム２０２に）転送することを含み得る。３Ｄコンテンツモデラ２３０は、以下にさらに詳細に説明するように、アーキテクチャ４００を利用してオブジェクトをモデル化してもよい。

【0048】

ポーズ２３２は、取込まれたコンテンツ（たとえば、オブジェクト、シーンなど）に関連付けられたポーズを表し得る。いくつかの実装形態では、ポーズ２３２は、システム１００および／または２００に関連付けられた追跡システムによって検出および／またはその他の方法で決定されてもよい（たとえば、（３Ｄシステム１０６のための）カメラ１１４，１１４′，１１４″，１１６および／または１１８を用いて、かつ、（３Ｄシステム１０８のための）カメラ１２０，１２２，１３４，１３４′および／または１３４″を用いて、実現されてもよい）。そのような追跡システムは、ユーザのすべてまたは一部の位置を追跡するためのセンサ、カメラ、検出器、および／またはマーカを含み得る。いくつかの実装形態では、追跡システムは、部屋の中のユーザの位置を追跡してもよい。いくつかの実装形態では、追跡システムは、ユーザの目の位置を追跡してもよい。いくつかの実装形態では、追跡システムは、ユーザの頭の位置を追跡してもよい。

【0049】

いくつかの実装形態では、追跡システムは、適切な深度および視差を有する画像を表示するために、たとえばディスプレイデバイス２１２に対するユーザの位置（またはユーザの目もしくは頭の位置）を追跡してもよい。いくつかの実装形態では、ユーザに関連付けられた頭の位置が検出され、たとえばマイクロレンズ（図示せず）を介してディスプレイデバイス２１２のユーザに画像を同時に投影するための方向として使用されてもよい。

【0050】

カテゴリ２３４は、特定のオブジェクト２３６の分類を表し得る。たとえば、カテゴリ２３４は眼鏡であってもよく、オブジェクトは青色眼鏡、クリア眼鏡、丸眼鏡などであってもよい。任意のカテゴリおよびオブジェクトが、本明細書に記載されているモデルによって表され得る。カテゴリ２３４は、オブジェクト２３６上の生成モデルを訓練するための基礎として使用されてもよい。いくつかの実装形態では、カテゴリ２３４は、同じカテゴリの複数のオブジェクトについてのグラウンドトゥルースポーズ、色空間画像、およびマスクのセットへのアクセスを与える異なる視点の下で３Ｄオブジェクトカテゴリを合成的にレンダリングするために使用することができるデータセットを表し得る。

【0051】

３次元（３Ｄ）プロキシジオメトリ２３８は、オブジェクトのセットの（粗い）ジオメトリ近似と、それぞれのオブジェクトジオメトリにマッピングされたオブジェクトのうちの１つ以上の潜在テクスチャ２３９との両方を表す。粗いジオメトリおよびマッピングされた潜在テクスチャ２３９は、オブジェクトのカテゴリ内の１つまたは複数のオブジェクトの画像を生成するために使用され得る。たとえば、本明細書に記載されているシステムおよび技術は、潜在テクスチャ２３９を目標視点の上にレンダリングし、ニューラルレンダリングネットワーク（たとえば、差分遅延レンダリングニューラルネットワーク）にアクセスしてディスプレイ上に目標画像を生成することによって、３Ｄテレプレゼンス表示用のオブジェクトを生成することができる。そのような潜在テクスチャ２３９を学習するために、本明細書に記載されているシステムは、ニューラルテクスチャの低次元潜在空間と共有遅延ニューラルレンダリングネットワークとを学習することができる。潜在空間は、オブジェクトのクラスのすべてのインスタンスを包含し、オブジェクトのインスタンスの補間を可能にし、これにより、少数の視点からオブジェクトのインスタンスを再構成することが可能になり得る。

【0052】

ニューラルテクスチャ２４４は、画像取込みプロセスの一部として訓練される、学習された特徴マップ２４０を表す。たとえば、オブジェクトが取込まれると、そのオブジェクトについての特徴マップ２４０および３Ｄプロキシジオメトリ２３８を用いてニューラルテクスチャ２４４が生成されてもよい。動作時、システム２００は、特定のオブジェクト（またはシーン）についてのニューラルテクスチャ２４４を生成し、そのオブジェクトについての３Ｄプロキシジオメトリ２３８の上にマップとして格納してもよい。たとえば、ニューラルテクスチャは、識別されたカテゴリの各インスタンスに関連付けられた潜在コードと、ポーズに関連付けられたビューとに基づいて生成されてもよい。

【0053】

幾何学的近似２４６は、オブジェクトジオメトリのための形状ベースのプロキシを表し得る。幾何学的近似２４６は、メッシュベース、形状ベース（たとえば、三角形、菱形、正方形など）、オブジェクトの自由形式バージョンであってもよい。

【0054】

ニューラルレンダラ２５０は、たとえばニューラルネットワークを利用してレンダリングする、オブジェクトおよび／またはシーンの中間表現を生成してもよい。ニューラルテクスチャ２４４は、ニューラルレンダラ２５０とともに動作するニューラルネットワーク２４２などの５層Ｕ－Ｎｅｔとともにテクスチャマップ（たとえば、特徴マップ２４０）上の特徴を共同で学習するために使用され得る。ニューラルレンダラ２５０は、たとえば、オブジェクト固有の畳み込みネットワークを用いて真の外観（たとえば、グランドトゥルース）と拡散再投影との差をモデル化することによって、ビュー依存効果を組込んでもよい。そのような効果は、シーン知識に基づいて予測するのが困難な場合があり、そのため、ＧＡＮベースの損失関数を用いてリアルな出力をレンダリングしてもよい。

【0055】

ＲＧＢカラーチャネル２５２（たとえば、カラー画像）は、３つの出力チャネルを表す。たとえば、３つの出力チャネルは、カラー画像を表す赤色カラーチャネル、緑色カラーチャネル、および青色カラーチャネル（たとえば、ＲＧＢ）を含み得る。いくつかの実装形態では、カラーチャネル２５２は、特定の画像についてどの色をレンダリングすべきかを示すＹＵＶマップであってもよい。いくつかの実装形態では、カラーチャネル２５２はＣＩＥマップであってもよい。いくつかの実装形態では、カラーチャネル２５２はＩＴＰマップであってもよい。

【0056】

アルファ（α）２５４は、オブジェクト内の任意の数の画素について、重ね合わせたときに特定の画素色が他の画素とどのように併合されるかを表す出力チャネル（たとえば、マスク）を表す。いくつかの実装形態では、アルファ２５４は、オブジェクトの透明レベル（たとえば、半透明度、不透明度など）を定義するマスクを表す。

【0057】

上記の例示的なコンポーネントは、ここでは、ネットワーク２６０（図１のネットワーク１３２と同様または同一であり得る）によって３Ｄシステム２０２のうちの１つ以上と通信可能なサーバ２１６において実現されるものとして説明されている。いくつかの実装形態では、３Ｄコンテンツ生成器２１６および／またはそのコンポーネントは、この代わりにまたはこれに加えて、３Ｄシステム２０２の一部またはすべてにおいて実現することができる。たとえば、上述のモデル化および／または処理は、３Ｄ情報を１つまたは複数の受信システムに転送する前に３Ｄ情報を発生させるシステムによって実行することができる。別の例として、発生させるシステムは、画像、モデル化データ、深度データ、および／または対応する情報を、上述の処理を実行することができる１つまたは複数の受信システムに転送することができる。これらのアプローチの組合わせを使用することができる。

【0058】

このように、システム２００は、カメラ（たとえば、カメラ２０４）と、深度センサ（たとえば、深度センサ２０６）と、メモリに格納された命令を実行するプロセッサを有する３Ｄコンテンツ生成器（たとえば、３Ｄコンテンツ生成器２１８）とを含むシステムの一例である。そのような命令は、３Ｄ情報に含まれる深度データを用いて（たとえば、深度処理コンポーネント２２０によって）、３Ｄ情報に含まれるシーンの画像内の画像コンテンツをプロセッサに識別させることができる。画像コンテンツは、判定基準を満たす深度値に関連付けられているものとして識別され得る。プロセッサは、たとえば、合成画像２５６を適切に描写するために３Ｄコンテンツ生成器２１８に提供され得る、３Ｄコンテンツモデラ２３０によって生成されたモデルを適用することによって、修正された３Ｄ情報を生成することができる。

【0059】

合成画像２５６は、ユーザの頭の追跡された位置に少なくとも部分的に基づく、ディスプレイ（たとえば、ディスプレイ２１２）にアクセスするユーザに関連付けられた両目のための適切な視差およびビューイング構成を有する特定のオブジェクト２３６の３Ｄ立体画像を表す。合成画像２５６の少なくとも一部は、たとえば、ユーザがディスプレイを見ながら頭の位置を動かすたびにシステム２００を用いて、３Ｄコンテンツモデラ２３０からの出力に基づいて決定されてもよい。いくつかの実装形態では、合成画像２５６は、オブジェクト２３６と、オブジェクト２３６を取込むビュー内の他のオブジェクト、ユーザ、または画像コンテンツとを表す。

【0060】

いくつかの実装形態では、システム２０２および２１６のプロセッサ（図示せず）は、グラフィックス処理ユニット（ＧＰＵ）を含み得る（またはそれと通信し得る）。動作時、プロセッサは、メモリ、ストレージ、および他のプロセッサ（たとえば、ＣＰＵ）を含み得る（またはそれらへのアクセスを有し得る）。グラフィックスおよび画像生成を容易にするために、プロセッサは、ＧＰＵと通信してディスプレイデバイス（たとえば、ディスプレイデバイス２１２）に画像を表示してもよい。ＣＰＵおよびＧＰＵは、ＰＣＩ、ＡＧＰまたはＰＣＩ－Ｅｘｐｒｅｓｓなどの高速バスを介して接続されてもよい。ＧＰＵは、ＨＤＭＩ（登録商標）、ＤＶＩまたはＤｉｓｐｌａｙ Ｐｏｒｔなどの別の高速インターフェイスを介してディスプレイに接続されてもよい。一般に、ＧＰＵは、画素形式で画像コンテンツをレンダリングし得る。ディスプレイデバイス２１２は、ＧＰＵから画像コンテンツを受信してもよく、この画像コンテンツをディスプレイ画面に表示してもよい。

【0061】

図３は、少なくとも１つの例示的な実施形態に係る、顔特徴を追跡し、顔特徴に基づいて位置（複数可）を位置決定するためのシステムのブロック図を示す。図３に示すように、システム３００は、特徴トラッカ３０５ブロックと、３Ｄ特徴三角測量３２５ブロックと、予測付き二重指数フィルタ３３０ブロックと、仮想カメラ位置３３５ブロックと、表示位置３４０ブロックと、音声位置３４５ブロックとを含む。特徴トラッカ３０５ブロックは、カメラ３１０ブロックと、２Ｄ顔特徴抽出３１５ブロックと、２Ｄ特徴スタビライザ３２０ブロックとを含む。例示的な実装形態は、複数の特徴トラッカ（特徴トラッカ３０５－１ブロック、特徴トラッカ３０５－２ブロック、特徴トラッカ３０５－３ブロック、特徴トラッカ３０５－４ブロック、…、および特徴トラッカ３０５－ｎブロックとして示す）を含み得る。例示的な実装形態は、少なくとも２つ（２）の特徴トラッカ３０５を使用することを含み得る。たとえば、実装形態は、４つ（４）未満の特徴トラッカ３０５を使用するシステムと比較して、精度を最適化し（たとえば、向上させ）、ノイズを最適化し（たとえば、低減し）、取込み体積を最適化する（たとえば、拡張する）ために、４つ（４）の特徴トラッカ３０５を使用することができる。

【0062】

カメラ３１０は、毎秒１２０フレームで動作するモノクロカメラとすることができる。２つ以上のカメラを用いる場合、カメラ３１０をハードウェアトリガに接続して、カメラ３１０が同時に作動することを確実にすることができる。結果として得られる画像フレームはフレームセットと呼ばれることがあり、フレームセット内の各フレームは同じ瞬間に撮影される。カメラ３１０は、モノクロカメラと同様の動作特性を有する赤外線カメラとすることもできる。カメラ３１０は、モノクロカメラと赤外線カメラとの組合わせとすることができる。カメラ３１０は、３Ｄコンテンツシステム内の固定カメラ（たとえば、カメラ１１６，１１８，１２０，１２２）とすることができる。カメラ３１０は、３Ｄコンテンツシステムに結合された自立型カメラ（たとえば、カメラ１１４，１１４′，１１４″，１３４，１３４′，１３４″）とすることができる。カメラ３１０は、固定カメラと自立型カメとラの組合わせとすることができる。複数のカメラは、複数の特徴トラッカ３０５において実現することができる。

【0063】

２Ｄ顔特徴抽出３１５は、カメラ３１０を用いて取込まれた画像から顔特徴を抽出するように構成され得る。したがって、２Ｄ顔特徴抽出３１５は、ユーザ（たとえば、３Ｄテレプレゼンス通信の参加者）の顔を識別し、識別された顔の顔特徴を抽出するように構成され得る。顔検出器（顔ファインダ、顔ロケータ、および／またはその他）が、画像内の顔を識別するように構成され得る。顔検出器は、ソフトウェアアプリケーションにおける関数呼び出しとして実現することができる。関数呼び出しは、顔の位置の直交座標を返すことができる。顔検出器は、画像内に２人以上のユーザがいる場合、１つの顔を取出すように構成され得る。

【0064】

識別された顔から、顔特徴を抽出することができる。顔特徴は、２Ｄ ＭＬアルゴリズムまたはモデルを用いて抽出することができる。顔特徴抽出器は、ソフトウェアアプリケーションにおける関数呼び出しとして実現することができる。関数呼び出しは、顔の顔ランドマーク（またはキーポイント）の位置を返すことができる。顔ランドマークは、目、口、耳、および／またはその他を含み得る。顔認識および顔特徴抽出は、顔ランドマークを返す単一の関数呼び出しとして実現することができる。

【0065】

図４は、顔特徴位置を絵で示す。言い換えれば、図４は、ランドマークに数字を使用して絵で示している。たとえば、数字０および１は、それぞれ左目および右目の瞳孔とすることができる。顔特徴抽出器は、ランドマーク番号および画素番号を含む２つの変数を出力することができる。画素番号は、画像の解像度（たとえば、画素数）に基づき得る。たとえば、画像は、２０４８×１５３６の解像度を有することができる（たとえば、３メガピクセルカメラ）。したがって、画像は３，１４５，７２８画素を有することができ、最初の画素は画像の左上隅にあり、最後の画素は画像の右下隅にある。

【0066】

例示的な２変数ランドマーク出力は、ランドマークを１２３４５６番目の画素である右目の瞳孔として識別することができる（１，１２３４５６）であり得る。画素位置（たとえば、１２３４５６）は、必要に応じて（たとえば、何らかの計算に使用するために）、ｘ位置およびｙ位置にマッピングすることができる。顔特徴抽出器は、２Ｄ座標系を用いて、画像（たとえば、２０４８×１５２６画像）内のランドマーク番号と、ｘ位置と、ｙ位置とを含むトリプルを出力することができる。たとえば、トリプル（１，２３，２１８）は、ランドマークを、ｘ位置が２３でｙ位置が２１８の右目の瞳孔として識別することができる。これらは、顔ランドマークの位置を特定するための２つの可能な例に過ぎない。

【0067】

少なくとも１つの例示的な実装形態では、ユーザ（たとえば、３Ｄテレプレゼンス通信の参加者）の目を、対象のランドマークとすることができる。目はユーザの頭のポーズを示すことができるので、目を対象のランドマークとすることができる。ユーザがどこを見ているかは、対象ではない場合がある。したがって、瞳孔（たとえば、ランドマーク０およびランドマーク１）は、ユーザの頭のポーズを示すために使用されない場合がある。しかしながら、ユーザの頭のポーズを示すためにユーザの眼窩を使用することができる。たとえば、ランドマーク４０２，４１４，４０６および４１０は左目の位置を示すことができ、ランドマーク４０４，４１６，４０８および４１２は右目の位置を示すことができる。ランドマーク（たとえば、４０２，４１４，４０６および４１０）の各々は、位置を有する。複数の位置を用いて、平均化された位置（たとえば、目の中心）を作成することができる。しかしながら、ランドマーク位置の他の数学的な組合わせが可能である。たとえば、ランドマーク位置は、重み付けされてもよく、正規であってもよく、平均であってもよく、補間されてもよく（たとえば、中点であるかもしくは中点ではない補間）、および／またはその他であってもよい。

【0068】

少なくとも１つの例示的な実装形態では、ユーザの耳を、対象のランドマークとすることができる。したがって、ランドマーク４１８およびランドマーク４２０を、それぞれ左耳および右耳の位置を示すための対象のランドマークとすることができる。

【0069】

図３に戻って、２Ｄ特徴スタビライザ３２０は、ランドマークに関連付けられたノイズを低減するように構成され得る。たとえば、２Ｄ特徴を安定化させるために、２Ｄ特徴位置（たとえば、ランドマーク位置）にフィルタを適用することができる。例示的な実装形態では、フィルタを適用して、目の位置（たとえば、ランドマーク４０２，４１４，４０６，４１０およびランドマーク４０４，４１６，４０８，４１２）に関連付けられたノイズを低減することができる。少なくとも１つの例示的な実装形態では、特徴安定化のために少なくとも２つの画像が使用される。

【0070】

例示的な実装形態では、（たとえば、２Ｄ特徴の位置としての）目を安定化させることは、各目の周りのランドマークの位置を平均化することによって各目の中心を決定することを含み得る。２つ以上のランドマークに関連付けられたノイズは相関していない場合があるため、目の周りのランドマークを平均化することで、これらのランドマークに関連付けられたノイズを低減することができる。

【0071】

顔特徴（たとえば、目）の位置を安定化させることは、顔の動きに基づき得る。顔の動き（たとえば、速度）を用いて、ノイズをさらに低減することができる。すべての顔ランドマークのセットを生成することができ（図４参照）、実質的に安定している顔ランドマークのサブセットが決定される。たとえば、特にノイズの多いランドマークを除外することができる。たとえば、耳および頬は、高レベルのノイズおよび不正確さを示すことがある。したがって、顔ランドマークの実質的に安定したサブセットを生成するために、耳（たとえば、ランドマーク４１８およびランドマーク４２０）と頬（たとえば、ランドマーク４３６およびランドマーク４３８）とに関連付けられたランドマークを除外することができる。顔の平均的な動きを決定することは、顔ランドマークのサブセットの平均２Ｄ速度を計算することを含み得る。眼窩は顔の残りの部分に対して固定されていることを考慮すると、顔の平均速度は眼窩の平均速度に近いはずである。したがって、平均化された目の中心の速度と、顔ランドマークのサブセットの平均速度とを合算することができる。平均化された目の中心と、顔ランドマークのサブセットの平均速度とは、予め選択された重みのセットで合算することができる。たとえば、顔の速度は９０％で重み付けすることができ、目の中心の速度は１０％で重み付けすることができる。安定化した目の特徴は、目の元の位置（たとえば、ランドマーク４０２，４１４，４０６，４１０およびランドマーク４０４，４１６，４０８，４１２）と、計算された平均速度とに基づき得る。

【0072】

３Ｄ特徴三角測量３２５は、ランドマークの３Ｄ位置を取得するように構成され得る。言い換えれば、顔特徴の２Ｄ場所（または位置）を３次元（３Ｄ）場所（または位置）に変換することができる。例示的な実装形態では、カメラ（たとえば、カメラ１１４，１１４′，１１４″，１１６，１１８）および３Ｄディスプレイ（たとえば、ディスプレイ１１０，１１２）の（別のカメラおよび／またはディスプレイに対する）位置および向きは、（たとえば、３Ｄテレプレゼンスシステムをセットアップする際の較正を使用して）既知である。顔特徴（たとえば、ランドマーク）を含む画像を取込むために使用される各カメラの２Ｄ画像空間におけるＸおよびＹ座標を決定することができる。カメラランドマークのペアごとに光線を生成することができる。たとえば、ランドマーク（たとえば、目）の画素位置を起点として各カメラに向かう光線を、（たとえば、ソフトウェアにおける関数呼び出しを用いて）描画することができる。カメラが４台ある場合、４本の光線を生成することができる。ランドマークの３Ｄ位置は、これらの光線（たとえば、４本の光線）に基づいて決定することができる。たとえば、光線が交差する（または光線が交点に近づく）位置は、ランドマーク（たとえば、左目）の３Ｄ位置を示し得る。

【0073】

予測付き二重指数フィルタ３３０は、３Ｄランドマークに関連付けられたノイズを低減するように構成され得る。予測付き二重指数フィルタ３３０また、３Ｄランドマークの将来の位置を予測するように構成され（または予測するために使用され）得る。ランドマークノイズは２Ｄ特徴スタビライザ３２０を用いて低減されたが、３Ｄランドマーク場所（または位置）に関連付けられた残留ノイズが存在することがある。残留ノイズは、たとえば、環境条件またはユーザの態様（たとえば、眼鏡、顔の毛、および／またはその他）によって増幅され得る。予測付き二重指数フィルタ３３０は、この残留ノイズを低減するように構成され得る。

【0074】

例示的な実装形態では、変更帯域フィルタが、ｎ０からｎ１までの各軸（ｘ，ｙおよびｚ）の帯域を定義することができ、したがってｎ１～ｎ０の幅を有する。新しい値がｎ０よりも小さい場合、ｎ０を新しい値に設定することができ、ｎ１をｎ０＋幅に設定することができる。そうではなく、新しい値がｎ１を超える場合、ｎ１を新しい値に設定することができ、ｎ０をｎ１－幅に設定する。新しい値がｎ０とｎ１の間である場合は、何も変化しない。報告される実際の値は、帯域の中心、すなわち（ｎ０＋ｎ１）／２であり得る。この変更帯域フィルタは、ジッタを除去し得る。しかしながら、帯域が広いほど、信号の応答性が悪くなる可能性があり、潜在的な誤差が大きくなる可能性がある。したがって、帯域はできるだけ狭くすべきである。

【0075】

３Ｄテレプレゼンスシステムにおいて、追跡－表示システムは、固有のレイテンシを有し得る。このレイテンシは、ユーザの新しい位置を取込む光子が頭部追跡カメラによって受信される時間から、新しく計算された位置がレンダラに送信され、ディスプレイの画素が行ごとに変化するディスプレイに最終的に送信される時間までであり得る。場合によっては、遅延は約６０ミリ秒になることもある。したがって、ユーザの動きを用いて、正しい位置を予測することによってシーンをレンダリングし、自動ステレオディスプレイを通してユーザの目にステレオ画像を正確に投影することができる。予測付き二重指数フィルタ３３０は、将来を予測する（たとえば、ランドマークの将来の位置を予測する）ために使用される傾向信号を含み得る。

【0076】

変更帯域フィルタの出力は、信号をさらなるノイズからさらに平滑化するとともに将来の信号を予測する二重指数フィルタへの入力であり得る。二重指数フィルタは、指数フィルタの２回の再帰的適用であり得る。二重指数平滑化は、入力データ（たとえば、一連のデータ）の傾向を説明する項を使用することができる。この項は、指数平滑化の結果として更新され得る勾配成分であり得る。

【0077】

【数1】

【0078】

指数平滑化（たとえば、線形指数平滑化）に、他のアルゴリズムを使用することができる。例示的な実装形態では、ランドマーク（たとえば、顔特徴）の位置の現在値はｘ_ｔとすることができ、ランドマークの将来の位置の値はＦ_ｔ＋ｍとして予測することができる。言い換えれば、顔特徴（たとえば、ランドマーク）の将来の位置を予測することは、時間ゼロ（０）の前の二重指数フィルタリングされた３Ｄ位置のシーケンスに基づく（たとえば、時間ｔまでのデータに基づく）、ゼロ（０）よりも大きい時間における（たとえば、時間ｍ＞０における）値（たとえば、Ｆ_ｔ＋ｍ）を選択することを含み得る。

【0079】

仮想カメラ位置３３５、表示位置３４０、および音声位置３４５は、ランドマークの位置の現在値および／または将来の位置の値を、ディスプレイを駆動するために使用可能なバイナリとして、仮想シーンを表示するための（たとえば、左目のシーンおよび右目のシーンの位置を決定するための）レンダラへの入力として、かつ、音声を投影するために（たとえば、左耳と右耳との間のステレオバランスを決定するために）使用可能なバイナリとして、追跡プロセスのためのデータとして使用することができる。

【0080】

図３の上記説明は、１つの顔の位置を識別し決定するためのものである。しかしながら、例示的な実装形態は、通信における１人の参加者の位置を識別し決定することに限定されない。言い換えれば、２人以上の参加者を識別し、位置を特定することができる。したがって、例示的な実装形態は、３Ｄディスプレイおよび３Ｄレンダリングシステムを駆動する目的で、ならびに／または音声システムを駆動する目的で、２つ以上の顔の位置を各顔の目、耳、および／または口とともに識別し決定することを含み得る。

【0081】

３Ｄレンダリングは、３Ｄ画像レンダリングシステムを使用して所望の視点（ＰＯＶ）（たとえば、顔の位置として決定される）から３Ｄシーンをレンダリングすることを含み得る。たとえば、本明細書に記載されている頭部追跡技術を用いて、ディスプレイを見ている各ユーザの２つのＰＯＶ（左目および右目に１つずつ）を決定することができる。これらの視点は次に、シーンをレンダリングするための３Ｄレンダリングシステムへの入力となり得る。さらに、自動ステレオディスプレイでは、各ユーザの左目用および右目用の画像を取込み、それらを個々のスクリーン画素にマッピングする必要があり得る。ＬＣＤパネル上で（たとえば、レンチキュラーパネルの下に）にレンダリングされる、結果として得られる画像は、あたかも多くの画像が交互配置されているように見えることがある。マッピングは、レンズの光学的特性（たとえば、画素が、それに沿って可視である空間内の光線にどのようにマッピングするか）によって決定することができる。自動ステレオディスプレイは、視聴者の左目および右目に別々の画像を表示することができる任意の自動ステレオディスプレイを含み得る。１つのそのようなタイプのディスプレイは、レンチキュラーレンズアレイをＬＣＤパネルの前にわずかな距離だけオフセットして配置することによって実現することができる。

【0082】

図５は、少なくとも１つの例示的な実施形態に係る方法のブロック図を示す。図５に関して説明するステップは、（たとえば、図１および図２に示すような）装置に関連付けられたメモリに格納され、この装置に関連付けられた少なくとも１つのプロセッサ（たとえば、少なくとも１つのプロセッサ）によって実行されるソフトウェアコードの実行により行われてもよい。しかしながら、専用プロセッサとして具体化されるシステムなど、代替の実施形態が考えられる。以下に説明するステップは、プロセッサによって実行されるものとして説明されるが、これらのステップは必ずしも同じプロセッサによって実行されるとは限らない。言い換えれば、少なくとも１つのプロセッサが、図５に関して以下に説明するステップを実行することができる。

【0083】

図５は、少なくとも１つの例示的な実施形態に係る、顔特徴を追跡し、顔特徴に基づいて位置（複数可）を位置決定する方法のブロック図を示す。顔特徴を追跡し、顔特徴に基づいて位置（複数可）を位置決定するこの方法は、（たとえば、３Ｄテレプレゼンスシステムにおいて）３Ｄテレプレゼンス通信を実行しながら繰り返しトリガされ得る。図５に示すように、ステップＳ５０５において、２次元（２Ｄ）画像（複数可）を取込む。たとえば、３Ｄテレプレゼンスシステムにおいて複数のカメラを使用することができる。図１を参照して、画像（複数可）は、（３Ｄシステム１０６のための）カメラ１１４，１１４′，１１４″，１１６および／または１１８を用いて、かつ、（３Ｄシステム１０８のための）カメラ１２０，１２２，１３４，１３４′および／または１３４″を用いて、取込むことができる。

【0084】

ステップＳ５１０において、顔（複数可）を検出する。たとえば、取込まれた画像を、顔検出アルゴリズムへの入力として使用することができる。顔検出器（顔ファインダ、顔ロケータ、および／またはその他）アルゴリズムが、画像内の顔を識別するように構成され得る。顔検出器アルゴリズムは、ソフトウェアアプリケーションにおける関数呼び出しとして実現することができる。関数呼び出しは、顔の位置の直交座標を返すことができる。顔検出器アルゴリズムは、機械学習アルゴリズムまたはモデルであり得る。顔検出器アルゴリズムは、画像内に２人以上のユーザがいる場合、１つの顔を取出すように構成され得る。顔は、３Ｄテレプレゼンスシステムを使用して通信している参加者に関連付けることができる。

【0085】

ステップＳ５１５において、顔特徴を識別する。たとえば、検出された顔（複数可）に関連付けられた特徴を識別することができる。顔特徴は、２Ｄ ＭＬアルゴリズムまたはモデルを用いて抽出することができる。顔特徴抽出器は、ソフトウェアアプリケーションにおける関数呼び出しとして実現することができる。関数呼び出しは、顔の顔ランドマーク（またはキーポイント）の位置を返すことができる。顔ランドマークは、目、口、耳、および／またはその他を含み得る。顔認識および顔特徴抽出は、顔ランドマークを返す単一の関数呼び出しとして実現することができる。顔特徴を識別することは、図４に関して上記でより詳細に説明している。

【0086】

ステップＳ５２０において、顔特徴を安定化させる。たとえば、顔特徴を安定化させることで、顔特徴を表すランドマークに関連付けられたノイズを低減することができる。たとえば、２Ｄ特徴を安定化させるために、２Ｄ特徴位置（たとえば、ランドマーク位置）にフィルタを適用することができる。例示的な実装形態では、フィルタを適用して、目の位置（たとえば、ランドマーク４０２，４１４，４０６，４１０およびランドマーク４０４，４１６，４０８，４１２）に関連付けられたノイズを低減することができる。少なくとも１つの例示的な実装形態では、特徴安定化のために少なくとも２つの画像が使用される。

【0087】

例示的な実装形態では、（たとえば、２Ｄ特徴としての）目を安定化させることは、各目の周りのランドマークの位置を平均化することによって各目の中心を決定することを含み得る。２つ以上のランドマークに関連付けられたノイズは相関していない場合があるため、目の周りのランドマークを平均化することで、これらのランドマークに関連付けられたノイズを低減することができる。

【0088】

顔の動き（たとえば、速度）を用いて、ノイズをさらに低減することができる。顔の動きを決定することは、顔ランドマークのサブセットの平均２Ｄ速度を計算することを含み得る。眼窩は顔の残りの部分に対して固定されていることを考慮すると、顔の動きは眼窩の動きに近いはずである。したがって、平均化された目の中心の速度と、顔ランドマークのサブセットの平均速度とを合算することができる。平均化された目の中心と、顔ランドマークのサブセットの平均速度とは、予め選択された重みのセットで合算することができる。たとえば、顔の速度は９０％で重み付けすることができ、目の中心の速度は１０％で重み付けすることができる。安定化した目の特徴は、目の元の位置（たとえば、ランドマーク４０２，４１４，４０６，４１０およびランドマーク４０４，４１６，４０８，４１２）と、計算された平均速度とに基づき得る。

【0089】

ステップＳ５２５において、２Ｄ特徴を３Ｄ特徴に変換する。たとえば、三角測量技術を用いて２Ｄ顔特徴位置を３Ｄ顔特徴位置に変換することができる。例示的な実装形態では、カメラ（たとえば、カメラ１１４，１１４′，１１４″，１１６，１１８）および３Ｄディスプレイ（たとえば、ディスプレイ１１０，１１２）の（別のカメラおよび／またはディスプレイに対する）位置および向きは、（たとえば、３Ｄテレプレゼンスシステムをセットアップする際の較正を使用して）既知である。顔特徴（たとえば、ランドマーク）を含む画像を取込むために使用される各カメラの２Ｄ画像空間におけるＸおよびＹ座標を決定することができる。カメラランドマークのペアごとに光線を生成することができる。たとえば、ランドマーク（たとえば、目）の画素位置を起点として各カメラに向かう光線を、（たとえば、ソフトウェアにおける関数呼び出しを用いて）描画することができる。カメラが４台ある場合、４本の光線を生成することができる。ランドマークの３Ｄ位置は、これらの光線（たとえば、４本の光線）に基づいて決定することができる。たとえば、光線が交差する（または光線が交点に近づく）位置は、ランドマーク（たとえば、左目）の３Ｄ位置を示し得る。

【0090】

ステップＳ５３０において、３Ｄ特徴をフィルタリングする。たとえば、上記でより詳細に説明したように、二重指数フィルタを用いて、３Ｄランドマークに関連付けられたノイズを低減することができる。また、予測付き二重指数フィルタ３３０は、３Ｄランドマークの将来の位置を予測するように構成され（または予測するために使用され）得る。ランドマークノイズは２Ｄ特徴スタビライザ３２０を用いて低減されたが、３Ｄランドマーク場所（または位置）に関連付けられた残留ノイズが存在することがある。残留ノイズは、たとえば、環境条件またはユーザの態様（たとえば、眼鏡、顔の毛、および／またはその他）によって増幅され得る。予測付き二重指数フィルタ３３０は、この残留ノイズを低減し、３Ｄランドマークの将来の位置を予測するように構成され得る。

【0091】

カメラ位置、表示位置、および音声位置は、ランドマーク（たとえば、目の位置、耳の位置、および／またはその他）の位置の現在値および／または将来の位置の値を、ディスプレイを駆動するために使用可能なバイナリとして、仮想シーンを表示するための（たとえば、左目のシーンおよび右目のシーンの位置を決定するための）レンダラへの入力として、かつ、音声を投影するために（たとえば、左耳と右耳との間のステレオバランスを決定するために）使用可能なバイナリとして、追跡プロセスのためのデータとして使用することができる。

【0092】

したがって、ステップＳ５３５において、目に関連付けられたランドマークの位置に基づく追跡プロセスを使用して、仮想カメラ位置を決定する。この追跡プロセスは、目の予測位置に基づき得る。ステップＳ５４０において、目に関連付けられたランドマークの位置に基づく追跡プロセスを使用して、表示位置を決定する。この追跡プロセスは、目の予測位置に基づき得る。ステップＳ５４５において、耳に関連付けられたランドマークの位置に基づく追跡プロセスを使用して、音声位置を決定する。この追跡プロセスは、耳の予測位置に基づき得る。ランドマーク位置は、二重指数フィルタリングされ、将来のランドマーク位置を予測するために使用される３Ｄランドマーク位置であり得る。

【0093】

全般的な態様において、デバイス、システム、（コンピュータシステム上で実行することができるコンピュータ実行可能プログラムコードを格納した）非一時的なコンピュータ読取可能媒体、および／または方法は、複数のカメラを用いて少なくとも１つの画像を取込むことと、上記少なくとも１つの画像に関連付けられた複数の顔特徴を識別することと、上記複数の顔特徴のうちの少なくとも１つの顔特徴の位置を安定化させることと、上記少なくとも１つの顔特徴の上記位置を３次元（３Ｄ）位置に変換することと、上記少なくとも１つの顔特徴の将来の位置を予測することと、上記少なくとも１つの顔特徴の上記将来の位置を用いて、フラットパネルディスプレイ上で３Ｄ画像をレンダリングすることとを含む方法を用いて、プロセスを実行することができる。

【0094】

実装形態は、以下の特徴のうちの１つ以上を含み得る。たとえば、上記少なくとも１つの画像は２つ以上の画像を含み得るものであり、上記２つ以上の画像は、同じカメラによって順次、および２つ以上のカメラによって同時に、のうちの少なくとも一方で取込まれ得る。上記複数の顔特徴を識別することは、上記少なくとも１つの画像に関連付けられた顔を識別することと、上記顔の上の上記複数の顔特徴に対応する複数のランドマークを生成することと、位置を上記複数のランドマークの各々に関連付けることとを含み得る。上記複数の顔特徴を識別することは、上記少なくとも１つの画像に関連付けられた第１の顔を識別することと、上記少なくとも１つの画像に関連付けられた第２の顔を識別することと、上記第１の顔の上の上記複数の顔特徴に対応する第１の複数のランドマークを生成することと、上記第２の顔の上の上記複数の顔特徴に対応する第２の複数のランドマークを生成することと、第１の位置を上記第１の複数のランドマークの各々に関連付けることと、第２の位置を上記第２の複数のランドマークの各々に関連付けることとを含み得る。

【0095】

上記少なくとも１つの顔特徴の位置を安定化させることは、上記少なくとも１つの画像のうちの少なくとも２つから顔特徴を選択することと、上記顔特徴に関連付けられた少なくとも２つのランドマークを選択することと、上記少なくとも２つのランドマークの位置を平均化することとを含み得る。上記少なくとも１つの顔特徴の位置を安定化させることは、上記複数の顔特徴に対応する複数のランドマークを生成することと、上記複数のランドマークのサブセットを選択することと、上記複数のランドマークの上記サブセットの各ランドマークの位置に関連付けられた速度に基づいて、顔の動きを決定することとを含み得るものであり、上記少なくとも１つの顔特徴の位置を安定化させることは、上記顔の上記動きに基づく。上記少なくとも１つの顔特徴の上記位置を３Ｄ位置に変換することは、上記複数のカメラのうちの３つ以上によって取込まれた画像を用いて生成された位置データに基づいて、上記少なくとも１つの顔特徴の上記位置を三角測量することを含み得る。

【0096】

上記方法はさらに、上記少なくとも１つの顔特徴の上記３Ｄ位置に二重指数フィルタを適用して、上記少なくとも１つの顔特徴の上記３Ｄ位置に関連付けられたノイズを低減することを含み得る。上記少なくとも１つの顔特徴の将来の位置を予測することは、上記少なくとも１つの顔特徴の上記３Ｄ位置のシーケンスに二重指数フィルタを適用することと、時間ゼロ（０）の前の上記二重指数フィルタでフィルタリングされた上記３Ｄ位置のシーケンスに基づく、ゼロ（０）よりも大きい時間における値を選択することとを含み得る。上記方法はさらに、上記少なくとも１つの顔特徴の上記将来の位置を用いて音声を生成することを含み得る。

【0097】

全般的な態様において、デバイス、システム、（コンピュータシステム上で実行することができるコンピュータ実行可能プログラムコードを格納した）非一時的なコンピュータ読取可能媒体、および／または方法は、複数のコンピュータ命令を表すコードセグメントを含むメモリと、上記コードセグメントを実行するように構成されたプロセッサとを含むデバイスを用いてプロセスを実行することができ、上記コンピュータ命令は、複数のカメラを用いて少なくとも１つの画像を取込むことと、上記少なくとも１つの画像に関連付けられた複数の顔特徴を識別することと、上記複数の顔特徴のうちの少なくとも１つの顔特徴の位置を安定化させることと、上記少なくとも１つの顔特徴の上記位置を３次元（３Ｄ）位置に変換することと、上記少なくとも１つの顔特徴の将来の位置を予測することと、上記少なくとも１つの顔特徴の上記将来の位置を用いて、フラットパネルディスプレイ上で３Ｄ画像をレンダリングすることとを含む。

【0098】

実装形態は、以下の特徴のうちの１つ以上を含み得る。たとえば、上記少なくとも１つの画像は２つ以上の画像を含み得るものであり、上記２つ以上の画像は、同じカメラによって順次、および２つ以上のカメラによって同時に、のうちの少なくとも一方で取込まれ得る。上記複数の顔特徴を識別することは、上記少なくとも１つの画像に関連付けられた顔を識別することと、上記顔の上の上記複数の顔特徴に対応する複数のランドマークを生成することと、位置を上記複数のランドマークの各々に関連付けることとを含み得る。上記複数の顔特徴を識別することは、上記少なくとも１つの画像に関連付けられた第１の顔を識別することと、上記少なくとも１つの画像に関連付けられた第２の顔を識別することと、上記第１の顔の上の上記複数の顔特徴に対応する第１の複数のランドマークを生成することと、上記第２の顔の上の上記複数の顔特徴に対応する第２の複数のランドマークを生成することと、第１の位置を上記第１の複数のランドマークの各々に関連付けることと、第２の位置を上記第２の複数のランドマークの各々に関連付けることとを含み得る。

【0099】

上記少なくとも１つの顔特徴の位置を安定化させることは、上記少なくとも１つの画像のうちの少なくとも２つから顔特徴を選択することと、上記顔特徴に関連付けられた少なくとも２つのランドマークを選択することと、上記少なくとも２つのランドマークの位置を平均化することとを含み得る。上記少なくとも１つの顔特徴の位置を安定化させることは、上記複数の顔特徴に対応する複数のランドマークを生成することと、上記複数のランドマークのサブセットを選択することと、上記複数のランドマークの上記サブセットの各ランドマークの位置に関連付けられた速度に基づいて、顔の動きを決定することとを含み得るものであり、上記少なくとも１つの顔特徴の位置を安定化させることは、上記顔の上記動きに基づく。上記少なくとも１つの顔特徴の上記位置を３Ｄ位置に変換することは、上記複数のカメラのうちの３つ以上によって取込まれた画像を用いて生成された位置データに基づいて、上記少なくとも１つの顔特徴の上記位置を三角測量することを含み得る。

【0100】

上記コンピュータ命令はさらに、上記少なくとも１つの顔特徴の上記３Ｄ位置に二重指数フィルタを適用して、上記少なくとも１つの顔特徴の上記３Ｄ位置に関連付けられたノイズを低減することを含み得る。上記少なくとも１つの顔特徴の将来の位置を予測することは、上記少なくとも１つの顔特徴の上記３Ｄ位置のシーケンスに二重指数フィルタを適用することと、時間ゼロ（０）の前の上記二重指数フィルタでフィルタリングされた上記３Ｄ位置のシーケンスに基づく、ゼロ（０）よりも大きい時間における値を選択することとを含み得る。上記コンピュータ命令はさらに、上記少なくとも１つの顔特徴の上記将来の位置を用いて音声を生成することを含み得る。

【0101】

図６は、本明細書に記載されている技術とともに使用することができるコンピュータデバイス６００およびモバイルコンピュータデバイス６５０の一例を示す。コンピューティングデバイス６００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなどのさまざまな形態のデジタルコンピュータを表すよう意図されている。コンピューティングデバイス６５０は、携帯情報端末、携帯電話、スマートフォン、および他の同様のコンピューティングデバイスなどのさまざまな形態のモバイルデバイスを表すよう意図されている。ここに示されているコンポーネント、それらの接続および関係、ならびにそれらの機能は、単に例示的であるよう意図されており、本文書に記載されているおよび／またはクレームされている発明の実装形態を限定することを意図したものではない。

【0102】

コンピューティングデバイス６００は、プロセッサ６０２と、メモリ６０４と、ストレージデバイス６０６と、メモリ６０４および高速拡張ポート６１０に接続する高速インターフェイス６０８と、低速バス６１４およびストレージデバイス６０６に接続する低速インターフェイス６１２とを含む。コンポーネント６０２，６０４，６０６，６０８，６１０および６１２の各々は、さまざまなバスを用いて相互接続され、共通のマザーボード上にまたは適宜他の態様で搭載されてもよい。プロセッサ６０２は、コンピューティングデバイス６００内で実行される命令を処理し得るものであり、当該命令は、高速インターフェイス６０８に結合されたディスプレイ６１６などの外部入出力デバイス上にＧＵＩのためのグラフィック情報を表示するための、メモリ６０４内またはストレージデバイス６０６上に格納された命令を含む。いくつかの実装形態において、複数のメモリおよび複数タイプのメモリとともに、複数のプロセッサおよび／または複数のバスが適宜使用されてもよい。また、複数のコンピューティングデバイス６００が接続され、各デバイスは、（たとえば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）必要な動作の一部を提供してもよい。

【0103】

メモリ６０４は、コンピューティングデバイス６００内に情報を格納する。一実装形態において、メモリ６０４は、１つまたは複数の揮発性メモリユニットである。別の実装形態において、メモリ６０４は、１つまたは複数の不揮発性メモリユニットである。また、メモリ６０４は、磁気ディスクまたは光ディスクなどの、別の形式のコンピュータ読取可能媒体であってもよい。

【0104】

ストレージデバイス６０６は、コンピューティングデバイス６００に大容量ストレージを提供することができる。一実装形態において、ストレージデバイス６０６は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリもしくは他の同様のソリッドステートメモリデバイス、または、ストレージエリアネットワークもしくは他の構成内のデバイスを含むデバイスのアレイなどのコンピュータ読取可能媒体であってもよく、またはそのようなコンピュータ読取可能媒体を含んでもよい。コンピュータプログラム製品を、情報担体において有形に具体化してもよい。コンピュータプログラム製品は、実行されると上述のような１つ以上の方法を実行する命令も含み得る。情報担体は、メモリ６０４、ストレージデバイス６０６、またはプロセッサ６０２上のメモリなどのコンピュータ読取可能媒体または機械読取可能媒体である。

【0105】

高速コントローラ６０８は、コンピューティングデバイス６００のための帯域幅を多く使用する動作を管理するのに対して、低速コントローラ６１２は、帯域幅をそれほど使用しない動作を管理する。そのような機能の割り当ては例示に過ぎない。一実装形態において、高速コントローラ６０８は、メモリ６０４、ディスプレイ６１６に（たとえば、グラフィックスプロセッサまたはアクセラレータを介して）結合されるとともに、さまざまな拡張カード（図示せず）を受け付け得る高速拡張ポート６１０に結合される。この実装形態において、低速コントローラ６１２は、ストレージデバイス６０６および低速拡張ポート６１４に結合される。さまざまな通信ポート（たとえば、ＵＳＢ、ブルートゥース（登録商標）、イーサネット（登録商標）、無線イーサネット）を含み得る低速拡張ポートは、キーボード、ポインティングデバイス、スキャナなどの１つ以上の入出力デバイス、またはスイッチもしくはルータなどのネットワーキングデバイスに、たとえばネットワークアダプタを介して結合されてもよい。

【0106】

コンピューティングデバイス６００は、図に示されるように多くの異なる形態で実現されてもよい。たとえば、標準的なサーバ６２０として、またはそのようなサーバのグループで複数回実現されてもよい。また、ラックサーバシステム６２４の一部として実現されてもよい。加えて、ラップトップコンピュータ６２２などのパーソナルコンピュータとして実現されてもよい。あるいは、コンピューティングデバイス６００からのコンポーネントが、デバイス６５０などのモバイルデバイス（図示せず）内の他のコンポーネントと組み合わされてもよい。そのようなデバイスの各々は、コンピューティングデバイス６００，６５０のうちの１つ以上を含んでもよく、システム全体が、互いに通信する複数のコンピューティングデバイス６００，６５０で構成されてもよい。

【0107】

コンピューティングデバイス６５０は、いくつかあるコンポーネントの中で特に、プロセッサ６５２と、メモリ６６４と、ディスプレイ６５４などの入出力デバイスと、通信インターフェイス６６６と、トランシーバ６６８とを含む。デバイス６５０には、さらなるストレージを提供するために、マイクロドライブまたは他のデバイスなどの記憶装置が設けられてもよい。コンポーネント６５０，６５２，６６４，６５４，６６６および６６８の各々は、さまざまなバスを用いて相互接続され、これらのコンポーネントのうちのいくつかは、共通のマザーボード上にまたは適宜他の態様で搭載されてもよい。

【0108】

プロセッサ６５２は、メモリ６６４に格納された命令を含む、コンピューティングデバイス６５０内の命令を実行することができる。プロセッサは、別々の複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実現されてもよい。プロセッサは、たとえば、ユーザインターフェイスの制御、デバイス６５０によって実行されるアプリケーション、およびデバイス６５０による無線通信など、デバイス６５０の他のコンポーネントの連携を提供してもよい。

【0109】

プロセッサ６５２は、ディスプレイ６５４に結合された制御インターフェイス６５８およびディスプレイインターフェイス６５６を通してユーザと通信してもよい。ディスプレイ６５４は、たとえば、ＴＦＴ ＬＣＤ（薄膜トランジスタ液晶ディスプレイ）もしくはＯＬＥＤ（有機発光ダイオード）ディスプレイ、または他の適切なディスプレイ技術であってもよい。ディスプレイインターフェイス６５６は、ディスプレイ６５４を駆動してグラフィック情報および他の情報をユーザに表示するための適切な回路を含んでもよい。制御インターフェイス６５８は、ユーザからコマンドを受信し、これらのコマンドを変換してプロセッサ６５２に送信してもよい。加えて、デバイス６５０と他のデバイスとの近接エリア通信を可能にするために、外部インターフェイス６６２がプロセッサ６５２と通信するように設けられてもよい。外部インターフェイス６６２は、たとえば、ある実装形態では有線通信を提供してもよく、他の実装形態では無線通信を提供してもよく、複数のインターフェイスが使用されてもよい。

【0110】

メモリ６６４は、コンピューティングデバイス６５０内に情報を格納する。メモリ６６４は、１つもしくは複数のコンピュータ読取可能媒体、１つもしくは複数の揮発性メモリユニット、または１つもしくは複数の不揮発性メモリユニットのうちの１つ以上として実現されてもよい。また、拡張メモリ６７４が設けられて、拡張インターフェイス６７２を介してデバイス６５０に接続されてもよく、拡張インターフェイス６７２は、たとえばＳＩＭＭ（シングル・インライン・メモリ・モジュール）カードインターフェイスを含み得る。そのような拡張メモリ６７４は、デバイス６５０のための追加の記憶空間を提供してもよく、またはデバイス６５０のためのアプリケーションもしくは他の情報を格納してもよい。具体的には、拡張メモリ６７４は、上記のプロセスを実行または補完するための命令を含んでもよく、セキュアな情報も含んでもよい。このため、拡張メモリ６７４はたとえば、デバイス６５０のためのセキュリティモジュールとして設けられてもよく、デバイス６５０のセキュアな使用を可能にする命令を用いてプログラムされてもよい。加えて、ハッキングできない態様でＳＩＭＭカードに識別情報を載せるなどして、セキュアなアプリケーションが追加情報とともにＳＩＭＭカードを介して提供されてもよい。

【0111】

メモリは、以下に記載するように、たとえばフラッシュメモリおよび／またはＮＶＲＡＭメモリを含んでもよい。一実装形態において、コンピュータプログラム製品が情報担体において有形に具体化される。コンピュータプログラム製品は、実行されると上述のような１つ以上の方法を実行する命令を含む。情報担体は、たとえばトランシーバ６６８または外部インターフェイス６６２を介して受信され得る、メモリ６６４、拡張メモリ６７４、またはプロセッサ６５２上のメモリといった、コンピュータ読取可能媒体または機械読取可能媒体である。

【0112】

デバイス６５０は、必要に応じてデジタル信号処理回路を含み得る通信インターフェイス６６６を介して無線通信してもよい。通信インターフェイス６６６は、とりわけ、ＧＳＭ（登録商標）音声電話、ＳＭＳ、ＥＭＳもしくはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳといった、さまざまなモードまたはプロトコル下で通信を提供してもよい。そのような通信は、たとえば無線周波数トランシーバ６６８を介して行われてもよい。加えて、ブルートゥース、Ｗｉ－Ｆｉ、または他のそのようなトランシーバ（図示せず）を用いるなどして、短距離通信が行われてもよい。加えて、ＧＰＳ（全地球測位システム）受信機モジュール６７０が、ナビゲーションおよび位置に関連する追加の無線データをデバイス６５０に提供してもよく、当該データは、デバイス６５０上で実行されるアプリケーションによって適宜使用されてもよい。

【0113】

また、デバイス６５０は、ユーザから発話の情報を受信してそれを使用可能なデジタル情報に変換し得る音声コーデック６６０を用いて、可聴式に通信してもよい。音声コーデック６６０は同様に、たとえばデバイス６５０のハンドセットにおいて、スピーカを介するなどしてユーザのために可聴音を生成してもよい。そのような音は、音声電話からの音を含んでもよく、録音された音（たとえば、音声メッセージ、音楽ファイルなど）を含んでもよく、さらに、デバイス６５０上で動作するアプリケーションによって生成された音を含んでもよい。

【0114】

コンピューティングデバイス６５０は、図に示されるように多くの異なる形態で実現されてもよい。たとえば、携帯電話６８０として実現されてもよい。また、スマートフォン６８２、携帯情報端末、または他の同様のモバイルデバイスの一部として実現されてもよい。

【0115】

例示的な実施形態はさまざまな修正例および代替的な形態を含み得るが、その実施形態は、図面に一例として示されており、本明細書において詳細に説明される。しかしながら、開示されている特定の形態に例示的な実施形態を限定することは意図されておらず、むしろ、例示的な実施形態は、請求項の範囲内にあるすべての修正例、均等物、および代替例をカバーすることが理解されるべきである。図面の説明全体にわたって同様の数字は同様の要素を指す。

【0116】

本明細書に記載されているシステムおよび技術のさまざまな実装形態は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはこれらの組合わせで実現されてもよい。これらのさまざまな実装形態は、プログラム可能なシステム上で実行可能および／または解釈可能である１つ以上のコンピュータプログラムでの実装形態を含み得るものであり、当該プログラム可能なシステムは、少なくとも１つのプログラム可能なプロセッサと、少なくとも１つの入力デバイスと、少なくとも１つの出力デバイスとを含み、当該少なくとも１つのプログラム可能なプロセッサは、ストレージシステムとデータおよび命令を送受信するように結合された専用または汎用プロセッサであってもよい。本明細書に記載されているシステムおよび技術のさまざまな実装形態は、ソフトウェアおよびハードウェアの局面を組合わせることができる回路、モジュール、ブロック、もしくはシステムとして、実現され得る、および／または本明細書において一般的に言及され得る。たとえば、モジュールは、プロセッサ（たとえば、シリコン基板、ＧａＡｓ基板などの上に形成されたプロセッサ）またはその他のプログラム可能なデータ処理装置上で実行される機能／行為／コンピュータプログラム命令を含み得る。

【0117】

上記の例示的な実施形態のうちのいくつかは、フローチャートとして示されるプロセスまたは方法として説明されている。フローチャートは動作を逐次プロセスとして説明しているが、動作のうちの多くは、並列に、同時に、または並行して行なわれ得る。さらに、動作の順序を並べ替えてもよい。プロセスは、その動作が完了すると終了し得るが、図面には含まれていない追加のステップを有する可能性がある。プロセスは、方法、関数、手順、サブルーチン、サブプログラム等に対応し得る。

【0118】

いくつかがフローチャートによって示されている上述の方法は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはその任意の組合わせによって実現され得る。ソフトウェア、ファームウェア、ミドルウェアまたはマイクロコードとして実現された場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、記憶媒体のような機械またはコンピュータ読取可能媒体に格納され得る。プロセッサ（複数可）が必要なタスクを実行し得る。

【0119】

本明細書に開示されている具体的な構造的および機能的詳細は、例示的な実施形態を説明するための代表的なものに過ぎない。しかしながら、例示的な実施形態は、多くの代替的な形態で具体化され、本明細書に記載されている実施形態のみに限定されると解釈されるべきではない。

【0120】

「第１」、「第２」などの用語は、本明細書ではさまざまな要素を説明するために使用される場合があるが、これらの要素はこれらの用語によって限定されるべきではないことが理解されるであろう。これらの用語は、１つの要素を別の要素から区別するために使用されているに過ぎない。たとえば、例示的な実施形態の範囲から逸脱することなく、第１の要素を第２の要素と呼ぶことができ、同様に、第２の要素を第１の要素と呼ぶことができる。本明細書において使用する「および／または」という用語は、関連する列挙された項目のうちの１つ以上の任意のおよびすべての組合わせを含む。

【0121】

ある要素が別の要素に接続または結合されると称される場合、ある要素はこの他の要素に直接的に接続もしくは結合され得るか、または介在要素が存在し得ることが理解されるであろう。対照的に、ある要素が別の要素に直接的に接続または直接的に結合されると称される場合、介在要素は存在しない。要素同士の関係を説明するために使用する他の単語は同様に（たとえば、「間に」と「直接的に間に」、「隣接して」と「直接的に隣接して」など）解釈されるべきである。

【0122】

本明細書において使用する専門用語は、特定の実施形態を説明するためのものに過ぎず、例示的な実施形態を限定することを意図するものではない。本明細書において使用する単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈上明白に他の意味が記載されている場合を除いて、複数形も含むことを意図している。本明細書において使用する場合、「備える（comprises, comprising）」および／または「含む（includes, including）」という用語は、記載された特徴、整数、ステップ、動作、要素、および／または構成要素の存在を特定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらのグループの存在または追加を排除しないことが、さらに理解されるであろう。

【0123】

また、いくつかの代替的な実装形態では、言及された機能／行為が、図に示される順番とは異なって行われてもよい。たとえば、連続して示される２つの図は実際には、関連する機能／行為に応じて、同時に実行されてもよく、または場合によっては逆の順序で実行されてもよい。

【0124】

特に定義しない限り、本明細書において使用するすべての用語（技術用語および科学用語を含む）は、例示的な実施形態が属する技術の当業者によって一般に理解されるのと同じ意味を有する。さらに、たとえば、一般に用いられている辞書で定義されている用語などの用語は、関連技術の文脈におけるそれらの意味と一致する意味を有すると解釈されるべきであり、本明細書において明白に定義されていない限り、理想化されたまたは過度に形式的な意味で解釈されないことが、理解されるであろう。

【0125】

ソフトウェアまたはアルゴリズム、および、コンピュータメモリ内でのデータビットに対する動作の記号的表現に関して、上記の例示的な実施形態および対応する詳細な説明の部分が提示されている。これらの説明および表現は、当業者が他の当業者に自身の成果の実体を効果的に伝えるようにするための説明および表現である。ここで使用される場合および一般的に使用される場合のアルゴリズムという用語は、所望の結果に至るステップの首尾一貫したシーケンスであると考えられる。ステップは、物理量の物理的な操作を必要とするステップである。必ずしもそうであるとは限らないが、通常は、これらの量は、格納、転送、組合わせ、比較、およびその他の態様で操作されることが可能な光信号、電気信号、または磁気信号の形態を取る。これらの信号をビット、値、要素、記号、文字、項、または数字などと称することは、主に一般的な使用の理由により、時には簡便であることが認められている。

【0126】

上記の説明のための実施形態において、プログラムモジュールまたは機能プロセスとして実現され得る（たとえばフローチャートの形態の）行為および動作の記号的表現の参照は、特定のタスクを実行するまたは特定の抽象データタイプを実現するとともに既存の構造要素において既存のハードウェアを使用して記述および／または実現され得るルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。そのような既存のハードウェアは、１つ以上の中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）コンピュータなどを含み得る。

【0127】

しかしながら、これらのおよび同様の用語はすべて、適切な物理量に関連付けられるべきであり、これらの量に適用される簡便なラベルに過ぎないことを、念頭に置くべきである。特に明記しない限り、または記述から明らかなように、表示の処理またはコンピューティングまたは計算または決定といった用語は、コンピュータシステムのレジスタおよびメモリ内で物理的な電子量として表わされるデータを操作し、当該データを、コンピュータシステムメモリ、またはレジスタ、または、他のそのような情報記憶デバイス、送信デバイスもしくは表示デバイス内の物理量として同様に表わされる他のデータに変換するコンピュータシステム、または同様の電子コンピューティングデバイスのアクションおよびプロセスを指す。

【0128】

また、例示的な実施形態のソフトウェアとして実現される局面は典型的に、何らかの形態の非一時的なプログラム記憶媒体上で符号化されるか、または、何らかの種類の伝送媒体上で実現される。プログラム記憶媒体は、磁気的（たとえば、フロッピーディスクもしくはハードドライブ）であってもよく、または光学的（たとえば、コンパクトディスク読取り専用メモリもしくはＣＤ ＲＯＭ）であってもよく、読取り専用またはランダムアクセスであってもよい。同様に、伝送媒体は、当該技術について公知であるツイストペア線、同軸ケーブル、光ファイバ、または何らかの他の好適な伝送媒体であってもよい。例示的な実施形態は、所与の実装形態のこれらの局面によって限定されない。

【0129】

最後に、添付の請求項は、本明細書に記載されている特徴の特定の組合わせを記載しているが、本開示の範囲は、以下にクレームされている特定の組合わせに限定されるものではなく、代わりに、特定の組合わせが今回、添付の請求項において具体的に列挙されているかどうかに関係なく、本明細書に開示されている特徴または実施形態の任意の組合わせを包含するよう拡張される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】