特許 7434668 テレプレゼンス会議用マイクロフォンアレイの自動較正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-09

(45)【発行日】2024-02-20

(54)【発明の名称】テレプレゼンス会議用マイクロフォンアレイの自動較正

(51)【国際特許分類】

   H04S 7/00 20060101AFI20240213BHJP

   H04R 3/00 20060101ALI20240213BHJP

   H04R 3/04 20060101ALI20240213BHJP

   H04R 1/40 20060101ALI20240213BHJP

   G10K 15/00 20060101ALI20240213BHJP

【ＦＩ】

H04S7/00 350

H04R3/00 320

H04R3/00 310

H04R3/04

H04R1/40

G10K15/00 L

【請求項の数】 15

(21)【出願番号】P 2023526352

(86)(22)【出願日】2020-10-30

(65)【公表番号】

(43)【公表日】2023-11-01

(86)【国際出願番号】 US2020070723

(87)【国際公開番号】W WO2022093295

(87)【国際公開日】2022-05-05

【審査請求日】2023-09-21

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】デスロジ，ジョセフ

【審査官】大石 剛

(56)【参考文献】

【文献】米国特許出願公開第２０１３／１７０６６６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／１２７２０６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｓ ７／００

Ｈ０４Ｒ ３／００

Ｈ０４Ｒ ３／０４

Ｈ０４Ｒ １／４０

Ｇ１０Ｋ １５／００

(57)【特許請求の範囲】

【請求項1】

マイクロフォンアレイの各マイクロフォンを介して、スピーカーアレイの各スピーカーが生成した音声信号に基づいて反響音場を受信することと、
前記マイクロフォンアレイのマイクロフォンごとおよび前記スピーカーアレイのスピーカーごとに、そのスピーカーが生成してそのマイクロフォンが受信した前記各反響音場に基づいてそのマイクロフォンおよびそのスピーカーの各パワースペクトル密度を生成することと、
前記マイクロフォンアレイのマイクロフォンごとに、前記スピーカーアレイおよび前記マイクロフォンアレイについて平均化された前記パワースペクトル密度と前記スピーカーアレイについて平均化された当該マイクロフォンにとってのパワースペクトル密度との割合として、各較正フィルターを生成することと、
前記マイクロフォンアレイのマイクロフォンごとに生成された前記各較正フィルターを使用する前記マイクロフォンアレイによってユーザからの音響信号を記録することとを含み、前記各較正フィルターを使用する前記マイクロフォンアレイの各マイクロフォンは、前記音響信号の本質的に同じスペクトルを記録する、方法。

【請求項2】

前記マイクロフォンアレイのマイクロフォンごとおよび前記スピーカーアレイのスピーカーごとに前記各パワースペクトル密度を生成することは、
そのスピーカーが生成してそのマイクロフォンが受信した前記各反響音場に基づいてそのマイクロフォンおよびスピーカーの各インパルス応答関数を生成することを含む、請求項１に記載の方法。

【請求項3】

前記マイクロフォンアレイのマイクロフォンごとおよび前記スピーカーアレイのスピーカーごとに前記各パワースペクトル密度を生成することは、
そのマイクロフォンおよびスピーカーの前記各インパルス応答関数の自己相関を実行して自己相関インパルス応答関数を生成することと、
前記自己相関インパルス応答関数に対して周波数空間への変換を実行してそのマイクロフォンおよびスピーカーの前記パワースペクトル密度を生成することとをさらに含む、請求項２に記載の方法。

【請求項4】

前記自己相関インパルス応答関数に対して前記周波数空間への変換を実行することは、
指定された時間間隔内で定数に等しく、前記指定された時間間隔外で０に等しい窓関数を生成することと、
前記窓関数と前記自己相関インパルス応答関数との積に対するフーリエ変換操作を実行することとを含む、請求項３に記載の方法。

【請求項5】

前記各インパルス応答関数を生成する前に、
第１周波数と第２周波数との間の周波数を有するスイープサインチャープ信号を前記音声信号としてそのスピーカーにおいて生成することをさらに含み、前記スイープサインチャープ信号は、そのマイクロフォンにおいて受信される、請求項２～４のいずれか１項に記載の方法。

【請求項6】

前記各インパルス応答関数を生成することは、
前記マイクロフォンアレイのマイクロフォンごとおよび前記スピーカーアレイのスピーカーごとに、
そのマイクロフォンとそのスピーカーとに対応するＲＡＷインパルス応答関数を計測することと、
そのＲＡＷインパルス応答関数に関連する、時間依存エネルギー計量を生成することと、
前記マイクロフォンアレイおよび前記スピーカーアレイについての、前記マイクロフォンアレイの各マイクロフォンと前記スピーカーアレイの各スピーカーとに関連する前記各時間依存エネルギー計量の平均に基づく正規化係数を生成することと、
前記マイクロフォンアレイの各マイクロフォンと前記スピーカーアレイの各スピーカーとに対応する前記ＲＡＷインパルス応答関数を前記正規化係数で除算して、そのマイクロフォンとそのスピーカーとに対応する減衰正規化インパルス応答関数を生成することとを含む、請求項２～５のいずれか１項に記載の方法。

【請求項7】

前記マイクロフォンアレイの各マイクロフォンと前記スピーカーアレイの各スピーカーとに対応する前記各ＲＡＷインパルス応答関数に関連する前記時間依存エネルギー計量を生成することは、
そのマイクロフォンとそのスピーカーとに対応する前記各ＲＡＷインパルス応答関数の絶対値の第１のべき乗を生成することと、
前記各ＲＡＷインパルス応答関数の前記絶対値の前記第１のべき乗に対して平滑化操作を実行して、そのマイクロフォンとそのスピーカーとに対応する前記各ＲＡＷインパルス応答関数に関連する前記時間依存エネルギー計量を生成することとを含む、請求項６に記載の方法。

【請求項8】

前記平滑化操作を実行することは、
指定された期間中の前記各ＲＡＷインパルス応答関数の前記絶対値の前記第１のべき乗の移動平均を生成することを含む、請求項７に記載の方法。

【請求項9】

前記正規化係数を生成することは、
前記マイクロフォンアレイの各マイクロフォンと前記スピーカーアレイの各スピーカーとに対応する前記各ＲＡＷインパルス応答関数に関連する前記時間依存エネルギー計量の第２のべき乗を生成することを含み、前記第２のべき乗は、前記第１のべき乗の逆数である、請求項７または８に記載の方法。

【請求項10】

前記各インパルス応答関数を生成することは、
そのマイクロフォンとそのスピーカーとに対応する前記減衰正規化インパルス応答関数のサブセグメントを前記マイクロフォンアレイの各マイクロフォンと前記スピーカーアレイの各スピーカーとに対応する前記各インパルス応答関数として取得することを含み、前記サブセグメントは、第１の時間に開始し、第２の時間に終了する、請求項６～９のいずれか１項に記載の方法。

【請求項11】

前記第１の時間は、前記反響音場の反響波が伝わる最短距離に基づく、請求項１０に記載の方法。

【請求項12】

前記第２の時間は、前記各ＲＡＷインパルス応答関数の前記計測に関連するノイズフロアまで前記各ＲＡＷインパルス応答関数が減衰するのにかかる時間の長さの推定値に基づく、請求項１０または１１に記載の方法。

【請求項13】

マイクロフォンアレイの各マイクロフォンを介して、スピーカーアレイの各スピーカーが生成した音声信号に基づいて反響音場を受信することと、
前記マイクロフォンアレイのマイクロフォンごとおよび前記スピーカーアレイのスピーカーごとに、そのスピーカーが生成してそのマイクロフォンが受信した前記各反響音場に基づいてそのマイクロフォンおよびそのスピーカーの各パワースペクトル密度を生成することと、
前記スピーカーアレイのスピーカーごとに、前記スピーカーアレイおよび前記マイクロフォンアレイについて平均化された前記パワースペクトル密度と前記マイクロフォンアレイについて平均化された当該スピーカーにとってのパワースペクトル密度との割合として、各較正フィルターを生成することと、
前記スピーカーアレイのスピーカーごとに生成された前記各較正フィルターを使用する前記スピーカーアレイによって音響信号を生成することとを含み、前記各較正フィルターを使用する前記スピーカーアレイの各スピーカーは、前記音響信号の本質的に同じスペクトルを同じ出力刺激に応答して生成する、方法。

【請求項14】

コンピュータプログラムであって、前記コンピュータプログラムは、コードを含み、前記コードは、コンピューティングデバイスの処理回路によって実行されると、前記処理回路に請求項１～１３のいずれか１項に記載の方法を実行させる、コンピュータプログラム。

【請求項15】

請求項１４に記載のコンピュータプログラムを格納するメモリと、
前記メモリに連結された制御回路とを備える、電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、テレプレゼンス会議などの用途において使われるマイクロフォンおよびスピーカーの較正に関する。

【背景技術】

【0002】

背景
テレプレゼンス会議システムは、ユーザからの指向性音声信号を検出するための大量のマイクロフォンと、指向性音声信号をユーザに提供するための複数のスピーカーとを備えることができる。

【発明の概要】

【課題を解決するための手段】

【0003】

概要
ある全体的な態様では、方法は、マイクロフォンアレイの各マイクロフォンを介して、スピーカーアレイの各スピーカーが生成した音声信号に基づいて反響音場を受信することを含み得る。また、この方法はマイクロフォンアレイのマイクロフォンごとおよびスピーカーアレイのスピーカーごとに、そのスピーカーが生成してそのマイクロフォンが受信した各反響音場に基づいてそのマイクロフォンおよびそのスピーカーの各パワースペクトル密度を生成することを含み得る。方法は、スピーカーアレイおよびマイクロフォンアレイについて平均化されたパワースペクトル密度とスピーカーアレイについて平均化されたパワースペクトル密度との割合として、各較正フィルターをマイクロフォンアレイのマイクロフォンごとに生成することをさらに含み得る。方法は、マイクロフォンアレイごとに生成された各較正フィルターを使用するマイクロフォンアレイによってユーザからの音響信号を記録することをさらに含み得、各較正フィルターを使用するマイクロフォンアレイの各々は、音響信号の本質的に同じスペクトルを記録する。

【0004】

別の全体的な態様では、非一時的な記憶媒体を備えるコンピュータプログラムプロダクトであって、コンピュータプログラムプロダクトは、コードを含み、コードは、コンピューティングデバイスの処理回路によって実行されると、処理回路に方法を実行させる。この方法は、マイクロフォンアレイの各マイクロフォンを介して、スピーカーアレイの各スピーカーが生成した音声信号に基づいて反響音場を受信することを含み得る。また、方法は、マイクロフォンアレイのマイクロフォンごとおよびスピーカーアレイのスピーカーごとに、そのスピーカーが生成してそのマイクロフォンが受信した各反響音場に基づいてそのマイクロフォンおよびそのスピーカーの各パワースペクトル密度を生成することを含み得る。方法は、スピーカーアレイおよびマイクロフォンアレイについて平均化されたパワースペクトル密度とスピーカーアレイについて平均化されたパワースペクトル密度との割合として、各較正フィルターをマイクロフォンアレイのマイクロフォンごとに生成することをさらに含み得る。方法は、マイクロフォンアレイごとに生成された各較正フィルターを使用するマイクロフォンアレイによってユーザからの音響信号を記録することをさらに含み得、各較正フィルターを使用するマイクロフォンアレイの各々は、音響信号の本的に同じスペクトルを記録する。

【0005】

別の全体的な態様では、電子機器は、メモリと、メモリに連結された制御回路とを備える。この制御回路は、マイクロフォンアレイの各マイクロフォンを介して、スピーカーアレイの各スピーカーが生成した音声信号に基づいて反響音場を受信するように構成され得る。また、制御回路は、マイクロフォンアレイのマイクロフォンごとおよびスピーカーアレイのスピーカーごとに、そのスピーカーが生成してそのマイクロフォンが受信した各反響音場に基づいてそのマイクロフォンおよびそのスピーカーの各パワースペクトル密度を生成するように構成され得る。制御回路は、スピーカーアレイおよびマイクロフォンアレイについて平均化されたパワースペクトル密度とスピーカーアレイについて平均化されたパワースペクトル密度との割合として、各較正フィルターをマイクロフォンアレイのマイクロフォンごとに生成するようにさらに構成され得る。マイクロフォンアレイごとに生成された各較正フィルターを使用するマイクロフォンアレイによってユーザからの音響信号を記録するようにさらに構成され得、各較正フィルターを使用するマイクロフォンアレイの各々は、音響信号の本質的に同じスペクトルを記録する。

【0006】

別の全体的な態様では、方法は、マイクロフォンアレイの各マイクロフォンを介して、スピーカーアレイの各スピーカーが生成した音声信号に基づいて反響音場を受信することを含み得る。また、この方法は、マイクロフォンアレイのマイクロフォンごとおよびスピーカーアレイのスピーカーごとに、そのスピーカーが生成してそのマイクロフォンが受信した各反響音場に基づいてそのマイクロフォンおよびそのスピーカーの各パワースペクトル密度を生成することを含み得る。方法は、マイクロフォンアレイおよびスピーカーアレイについて平均化されたパワースペクトル密度とスピーカーアレイについて平均化されたパワースペクトル密度との割合として、各較正フィルターをマイクロフォンアレイのマイクロフォンごとに生成することをさらに含み得る。方法は、スピーカーアレイのスピーカーごとに生成された各較正フィルターを使用するスピーカーアレイによって音響信号を生成することをさらに含み得、各較正フィルターを使用するスピーカーアレイの各々は、音響信号の本質的に同じスペクトルを同じ出力刺激に応答して生成する。

【0007】

１つ以上の実施態様の詳細を、添付の図面および以下の説明において記載する。その他の特徴についても、本明細書および図面、ならびにクレームから明らかになるであろう。

【図面の簡単な説明】

【0008】

【図1A】本明細書において説明する技術的解決策を実現するための例示的な電子環境を示す図である。

【図1B】図１Ａに示す電子環境内にあるマイクロフォンおよびスピーカーの例示的な構成を示す図である。

【図1C】テレプレゼンスシステム内のマイクロフォンおよびスピーカーの例示的な構成を示す図である。

【図2】図１Ａに示す電子環境内で技術的解決策を実行する例示的な方法を説明するフローチャートである。

【図3】技術的解決策に係る、マイクロフォンアレイのマイクロフォンを較正するための例示的な処理を説明するフローチャートである。

【図4A】図１Ａに示す電子環境内で２つのスピーカーから４つのマイクロフォンへの例示的なＲＡＷインパルス応答関数を示すプロットである。

【図4B】図４ＡのＲＡＷインパルス応答関数に対応付けられた、例示的な時間依存エネルギー計量を示すプロットである。

【図4C】すべてのスピーカーおよびマイクロフォンについて平均化された図４Ｂの例示的な時間依存エネルギー計量を示すプロットである。

【図4D】４つのマイクロフォンと２つのスピーカーのＲＡＷインパルス応答関数とに対応する例示的な減衰正規化インパルス応答関数を示すプロットである。

【図4E】図４Ｄに示す減衰正規化インパルス応答関数の例示的なサブセグメントを示すプロットである。

【図4F】図４Ｅに示す減衰正規化インパルス応答関数のサブセグメントから導出された例示的なマルチチャネルホワイトノイズの自己相関関数を示すプロットである。

【図4G】図４Ｆに示すマルチチャネルホワイトノイズの自己相関関数に対応する例示的なパワースペクトル密度を示すプロットである。

【図4H】スピーカーについて平均化された図４Ｇの例示的なパワースペクトル密度を示すプロットである。

【図4I】図４Ｈのスピーカーについて平均化されたパワースペクトル密度から導出された例示的なマイクロフォン較正フィルターを示すプロットである。

【図4J】マイクロフォンについて平均化された図４Ｇの例示的なパワースペクトル密度を示すプロットである。

【図4K】図４Ｊのマイクロフォンについて平均化されたパワースペクトル密度から導出された例示的なスピーカー較正フィルターを示すプロットである。

【図5】本明細書において説明する回路とともに用いることができるコンピュータデバイスおよびモバイルコンピュータデバイスの例を示す。

【発明を実施するための形態】

【0009】

詳細な説明
高品質かつ指向性感度が高い音声信号を生成するために用いることができるマイクロフォンからの信号を正確にキャプチャするために、アレイの各マイクロフォン（たとえば、マイクロフォンの利得）をその他のマイクロフォンと比べて較正する場合がある。また、テレプレゼンスシステムにおいてリアルに空間化された出力を正確にレンダリングするために、各スピーカー（たとえば、スピーカーの利得）もその他のスピーカーと比べて較正しなければならない。このような較正を実行するための従来の手法は、外付けハードウェア、たとえば、音源と、テレプレゼンス会議システムにおけるユーザ／話者の想定位置に設置されたマイクロフォンの利用が必要である。

【0010】

しかしながら、このようなテレプレゼンスシステムの場合、マイクロフォンおよびスピーカーを較正する上述した従来の手法の技術的課題は、機材を使用および格納することが面倒であり、セットアップや解体に人手が必要であり、かつ、システムの実際のユーザの位置に対してハードウェアが正確に配置されていない場合にエラーが起きやすいことである。また、機材は、音量つまみまたはイコライザ調整部などのハードウェアが正確に構成されていない場合にもエラーを起こしやすいであろう。

【0011】

上述した技術的課題を解決するための従来の手法とは対照的に、上述した技術的課題に対するある技術的解決策は、各スピーカーが生成した信号に応答して各マイクロフォンにおけるパワースペクトル密度を導出することによって、マイクロフォンおよび／またはスピーカーの較正フィルターを生成することを含む。たとえば、改良されたテレプレゼンスシステム内のコンピュータは、各チャネル、すなわち、各スピーカー／マイクロフォンのペアに対応するＲＡＷインパルス応答関数を計測できる。いくつかの実施態様では、コンピュータは、反響音場エネルギーへの、様々に反響する反射の寄与に基づいて、ＲＡＷインパルス応答関数を正規化する。その後、コンピュータは、スピーカーによって信号が生成された時間よりも後の開始時間と終了時間との間の各インパルス応答関数のサブセグメントを抽出する。その後、コンピュータは、サブセグメントに基づいて、チャネルごとのホワイトノイズパワースペクトル密度を生成する。その場合、マイクロフォンの較正関数は、スピーカーについて平均化されたパワースペクトル密度の逆数に基づく。その場合、スピーカーの較正関数は、マイクロフォンについて平均化されたパワースペクトル密度の逆数に基づく。

【0012】

上述した技術的解決策の技術的利点は、この技術的解決策が部屋の構成に影響されず、人間が関わることなく自動的に実行できることである。また、この技術的解決策は、ハードウェア構成、たとえば、マイクロフォンおよびスピーカーのお互いに対する位置に影響されない。さらには、技術的解決策は、テレプレゼンスシステムにおいて既に存在しているハードウェア以上の外付けハードウェアを必要としない。基本的に、ユーザは、スイッチを入れるだけで較正フィルターを生成させることができる。

【0013】

いくつかの実施態様では、コンピュータは、スピーカーおよびマイクロフォンについて平均化されたインパルス応答エネルギーを用いて、すべてのチャネルのＲＡＷインパルス応答関数を正規化する。いくつかの実施態様では、開始時間は、反響音場において反響波が伝わった距離に基づく。いくつかの実施態様では、終了時間は、計測処理に関連するノイズフロアに基づく。いくつかの実施態様では、チャネルのホワイトノイズパワースペクトル密度は、そのチャネルのサブセグメントのホワイトノイズ自己相関のフーリエ変換に基づく。いくつかの実施態様では、フーリエ変換が、ウインドウをかけたバージョンのホワイトノイズ自己相関関数に取って代わる。

【0014】

図１Ａは、上述した改良技術が実装され得る例示的な電子環境１００を示す図である。図１Ａに示すように、例示的な電子環境１００は、コンピュータ１２０を含む。

【0015】

コンピュータ１２０は、ネットワークインタフェース１２２と、１つ以上の処理部１２４と、メモリ１２６とを備える。たとえば、ネットワークインタフェース１２２は、ネットワークから受信した電気信号および／または光信号をコンピュータ１２０が使用するための電子的形式に変換するためのＥｔｈｅｒｎｅｔ（登録商標）アダプターなどを含む。一連の処理装置１２４は、１つ以上の処理チップおよび／またはアセンブリを含む。メモリ１２６は、揮発性メモリ（たとえば、ＲＡＭ）、および、１つ以上のＲＯＭ、ディスクドライブ、ソリッドステートドライブなどの不揮発性メモリの両方を含む。一連の処理装置１２４と、メモリ１２６とをあわせると、制御回路が形成される。制御回路は、本明細書において説明する様々な方法および機能を実行するように構成および配置されている。

【0016】

いくつかの実施の形態では、コンピュータ１２０の構成要素のうち１つ以上が、メモリ１２６に格納された命令を処理するように構成されたプロセッサ（たとえば、処理部１２４）を備え得る。図１に図示されているようなこのような命令として、反響音場マネージャ１３０、インパルス応答マネージャ１４０、パワースペクトル密度マネージャ１５０、および較正フィルターマネージャ１６０などが挙げられる。さらには、図１に示すように、メモリ１２６は、様々なデータを格納するように構成される。当該データについては、このようなデータを使用するそれぞれのマネージャで説明する。

【0017】

反響音場マネージャ１３０は、反響音場データ１３２を生成するように構成される。反響音場データ１３２は、スピーカーによって生成されてマイクロフォンにおいてインパルス応答を計測するために用いられる反響音場を表す。音場は、反響する。なぜならば、スピーカーにおいて音声信号に変換されると、コンピュータ１２０、スピーカー、およびマイクロフォンが収められている部屋において、音声信号は、近くの壁、天井、床、および物体によって反射され得るためである。

【0018】

【数1】

【0019】

【数2】

【0020】

【数3】

【0021】

【数4】

【0022】

【数5】

【0023】

【数6】

【0024】

【数7】

【0025】

【数8】

【0026】

【数9】

【0027】

これらの較正フィルターを用いて、同じ入力刺激に応答して同じスペクトルを記録するようにマイクロフォンを較正し、同じ入力刺激に応答して同じスペクトルを生成するようにスピーカーを較正する。

【0028】

図１Ｂは、マイクロフォン１７２およびスピーカー１７４の例示的な構成１７０と、マイクロフォン１７２およびスピーカー１７４の較正を実行できるコンピュータ１２０とを示す図である。図１Ｂに示す構成１７０では、１６個のマイクロフォンと、２つのスピーカーがある。構成１７０において用いられ得るマイクロフォン１７２として、Ｉｎｖｅｎｓｅｎｓｅ ＩＣＳ－５２０００ ＴＤＭマイクロフォンなどが挙げられる。構成１７０において用いられ得るスピーカー１７４として、Ｔｙｍｐｈａｎｙ ＴＣ５ＦＣ０７－０４などが挙げられる。なお、任意の数のマイクロフォンおよびスピーカーが考えられてもよい。

【0029】

図１Ｃは、テレプレゼンスシステム内のマイクロフォンおよびスピーカーの例示的な構成１８０を示す図である。テレプレゼンスシステム１８０は、たとえば、３Ｄでビデオ会議通信（たとえば、テレプレゼンスのセッション）を行うために複数のユーザによって利用することができる。一般に、図１Ｃに示すシステム１８０を用いて、２Ｄまたは３Ｄビデオ会議中のユーザの映像および／または画像が撮影されるであろう。

【0030】

図１Ｃに示すように、テレプレゼンスシステム１８０は、第１ユーザ１８２および第２ユーザ１８２’によって使用中である。たとえば、ユーザ１８２および１８２’は、テレプレゼンスシステム１８０を利用して３Ｄテレプレゼンスのセッションに参加中である。このような例では、テレプレゼンスシステム１８０によって、ユーザ１８２および１８２’の各人が、非常にリアルで視覚的に一致した相手の写像を見えるようになるので、お互いが物理的に存在している場合と同様の方法でユーザが対話することを容易にする。

【0031】

テレプレゼンスシステム１８０は、１つ以上の２Ｄディスプレイまたは３Ｄディスプレイを備えることができる。ここでは、ユーザ１８２には３Ｄディスプレイ１９０が提供され、ユーザ１８２’には３Ｄディスプレイ１９２が提供されている。３Ｄディスプレイ１９０、１９２は、任意の複数種類の３Ｄディスプレイ技術を利用して、各視聴者（ここでは、ユーザ１０２またはユーザ１０４など）のために裸眼立体視ビューを提供できる。いくつかの実施態様では、３Ｄディスプレイ１９０、１９２は、（たとえば、自立型または壁に吊された）独立型ユニットであってもよい。いくつかの実施態様では、ディスプレイ１９０、１９２は、２Ｄディスプレイであってもよい。

【0032】

一般に、ディスプレイ１９０、１９２などのディスプレイは、ＨＭＤ（ヘッドマウントディスプレイ）デバイスを用いることとなく、実世界の実際の物体の３Ｄ光学特性に近似したイメージを提供できる。一般に、本明細書において説明するディスプレイは、フラットパネルディスプレイ、レンチキュラーレンズ（たとえば、マイクロレンズアレイ）、および／または視差バリアを備え、ディスプレイに関連する複数の異なる視聴領域に画像をリダイレクトする。

【0033】

いくつかの例示的なディスプレイでは、このようなディスプレイが提供する画像コンテンツ（たとえば、ユーザ、物体など）の３Ｄビューを提供する場所が１つしかない場合がある。ユーザは、この１つの場所に座って視差が正しく歪みが最小であるリアルな３Ｄ画像を体験できる。ユーザが異なる物理的位置に移動した（または、頭部の位置もしくは眼の視線位置を変えた）場合、画像コンテンツ（たとえば、ユーザ、ユーザが装着している物体、および／またはその他の物体）は、リアルさが劣った２Ｄおよび／または歪んだコンテンツに見え始めるであろう。本明細書において説明するシステムおよび技術は、ディスプレイから投影された画像コンテンツを再構成し、ユーザが、移動はできるが視差が正しい歪み率が低いリアルな３Ｄ画像を引き続きリアルタイムで体験できることを約束できる。よって、本明細書において説明するシステムおよび技術には、ユーザが３Ｄディスプレイを見ている間に生じるユーザの動きに関係なく、表示用の３Ｄ画像コンテンツおよび物体を維持およびユーザに提供するという利点がある。

【0034】

図１に示すように、テレプレゼンスシステム１８０は、１つ以上のネットワークを備え得る。ネットワーク１９８は、２つの例を挙げると、公共で利用可能なネットワーク（たとえば、インターネット）、またはプライベートネットワークであり得る。ネットワーク１９８は、有線であってもよく、ワイヤレスであってもよく、これら２つの組合せであってもよい。ネットワーク１９８は、１つ以上のその他のデバイスまたはシステムを備えるまたは利用し得る。当該１つ以上のその他のデバイスまたはシステムは、１つ以上のサーバ（図示せず）を含むが、これに限定されない。

【0035】

テレプレゼンスシステム１８０は、ユーザ１８２のためのマイクロフォンアレイ１７２およびスピーカーアレイ１７４、ならびにユーザ１８２’のための類似のマイクロフォンアレイ１７２’およびスピーカーアレイ１７４’をさらに備える。これらの構成要素は、ユーザ１８２および１８２’にとって最もリアルなオーディオ体験を提供するために正常に動作できる状態に準備されている。スピーカーアレイ１７４および１７４’は、３Ｄ音声信号をローカルに提供できる。マイクロフォンアレイ１７２および１７２’は、ユーザからの３Ｄ音声信号を検出するために用いられ得る。音声信号は、その後、エンコードされ、テレプレゼンスシステム１８０におけるサウンドを表す３Ｄ音場のレンダリングのためにリモートユーザに送られ得る。

【0036】

図２は、マイクロフォンおよびスピーカーを較正する例示的な方法２００を示すフローチャートである。方法２００は、ユーザのデバイスコンピュータ１２０のメモリ１２６に存在し、かつ一連の処理部１２４によって実行される図１に関して説明したソフトウェア構成体によって実行されてもよい。または、方法２００は、ユーザのデバイスコンピュータ１２０とは異なる（たとえば、遠隔にある）コンピューティングデバイスのメモリに存在するソフトウェア構成体によって実行されてもよい。

【0037】

【数10】

【0038】

２０４では、パワースペクトル密度マネージャ１５０は、マイクロフォンアレイのマイクロフォンごとおよびスピーカーアレイのスピーカーごとに、そのスピーカーが生成してそのマイクロフォンが受信した各反響音場に基づく、そのマイクロフォンおよびそのスピーカーの各パワースペクトル密度（たとえば、パワースペクトル密度データ１５４）を生成する。パワースペクトル密度の生成については、図３で詳細を説明する。

【0039】

２０６では、較正フィルターマネージャ１６０は、マイクロフォンアレイのマイクロフォンごとに、スピーカーアレイおよびマイクロフォンアレイについて平均化されたパワースペクトル密度（式（７））と、スピーカーアレイについて平均化されたパワースペクトル密度（式（５））との比率に基づく各較正フィルター（たとえば、マイクロフォン較正データ１６２）を生成する。

【0040】

これらの較正フィルターを用いて、同じ入力刺激に応答して同じスペクトルを記録するようにマイクロフォンを較正し、同じ入力刺激に応答して同じスペクトルを生成するようにスピーカーを較正する。また、較正フィルターは直接音場ではなく反響音場に基づいているので、較正係数は、スピーカーおよびマイクロフォンが配置されている環境の外形にも、直接音信号にあるいずれのノードにも大きく影響されることがなく、較正フィルターは、高品質かつ指向性感度が高い音声信号をマイクロフォンに生成させる。

【0041】

２０８では、コンピュータ１２０は、マイクロフォンアレイのマイクロフォンごとに生成したそれぞれの較正フィルターを使用するマイクロフォンアレイによって、ユーザからの音響信号を記録する。マイクロフォンアレイの各マイクロフォンは、音響信号の本質的に同じスペクトルを記録する。較正されたマイクロフォンから記録した信号を処理してマイクロフォンアレイの環境における音（たとえば、マイクロフォンアレイを備えるテレプレゼンスシステムを用いて１人以上の話者が発した発言）を表す空間音声信号を生成でき、生成された空間音声信号を、レンダリングのためにサウンドレンダリングシステム（たとえば、遠隔にあるテレプレゼンスシステム）に送信できる。

【0042】

図３は、マイクロフォンアレイのマイクロフォンを較正するための例示的な処理３００を説明するフローチャートである。処理３００は、ユーザのデバイスコンピュータ１２０のメモリ１２６に存在し、かつ一連の処理部１２４によって実行される図１に関して説明したソフトウェア構成体によって実行されてもよい。または、処理３００は、ユーザのデバイスコンピュータ１２０とは異なる（たとえば、遠隔にある）コンピューティングデバイスのメモリに存在するソフトウェア構成体によって実行されてもよい。

【0043】

３０１では、インパルス応答マネージャ１４０は、各チャネル、すなわち、各マイクロフォン／スピーカーのペアからの反響（ＲＡＷ）インパルス応答を計測する。前述したように、インパルス応答は、壁、天井、床、または反響音場マネージャ１３０が生成したスイープサインチャープから発生するマイクロフォンにおいて受信された物体からの反射から導出され得る。信号の実際の記録は、開始時間に起こる。開始時間は、マイクロフォンにおいて直音声信号が受信された後、十分な時間が経過してから生じる。したがって、マイクロフォンにおいて計測された反響音場は、境界および障害物を反射した信号のみを含む。

【0044】

２つのスピーカーおよび４つのマイクロフォンの例示的なＲＡＷインパルス応答関数が図４Ａに示されており、８個のＲＡＷインパルス応答関数になっている。いくつかの実施態様では、ＲＡＷインパルス応答関数の各々は、１つのスピーカーからの反響音場に基づいて計測される。いくつかの実施態様では、各スピーカーは、別々の時間にスイープサインチャープを生成する。いくつかの実施態様では、これらのＲＡＷインパルス応答関数は、マイクロフォンアレイにおいて一度に計測される。いくつかの実施態様では、ＲＡＷインパルス応答関数は、マイクロフォンアレイにおいて一度に１つずつ計測される。

【0045】

３０２では、減衰正規化マネージャ１４１は、チャネルごとの時間の関数としてインパルス応答エネルギーを推定する。図４Ｂは、図４ＡのＲＡＷインパルス応答関数に関連する例示的な時間依存エネルギー計量（ｍｅｔｒｉｃ）を示す。なお、図４ＢのプロットのＹ軸座標の値は、エネルギーの平方根である。

【0046】

３０３では、減衰正規化マネージャ１４１は、式（３）に従って、マイクロフォンおよびスピーカー全体のインパルス応答エネルギーを平均化して平均インパルス応答エネルギーを生成する。図４Ｃは、すべてのスピーカーおよびマイクロフォンについて平均化された図４Ｂの例示的な時間依存エネルギー計量を示す。

【0047】

３０４では、減衰正規化マネージャ１４１は、平均インパルス応答エネルギーを用いてチャネルごとにＲＡＷインパルス応答を正規化し、減衰正規化インパルス応答関数を生成する。図４Ｄは、４つのマイクロフォンと２つのスピーカーとのＲＡＷインパルス応答関数に対応する減衰正規化インパルス応答関数の例を示す。

【0048】

３０５では、サブセグメントマネージャ１４２は、減衰正規化インパルス応答関数のサブセグメントを一定の時間間隔（すなわち、第１の時間～第２の時間）にわたって抽出し、時間ベースのサブセグメントを生成する。図４Ｅは、図４Ｄに示す減衰正規化インパルス応答関数の例示的なサブセグメントを示す。

【0049】

３０６では、コンボリューションマネージャ１５１は、個々のサブセグメントからホワイトノイズ自己相関関数を生成する。図４Ｆは、図４Ｅに示す減衰正規化インパルス応答関数のサブセグメントから導出された例示的なマルチチャネルホワイトノイズの自己相関関数を示す。

【0050】

３０７では、変換マネージャ１５２は、短い時間ウインドウにわたってホワイトノイズ自己相関関数に対してフーリエ変換を実行し、式（４）に従ってチャネルごとのパワースペクトル密度を生成する。図４Ｇは、図４Ｆに示すマルチチャネルホワイトノイズの自己相関関数に対応する例示的なパワースペクトル密度を示す。

【0051】

３０８では、較正フィルターマネージャ１６０は、スピーカーについてのパワースペクトル密度の平均を生成してスピーカーについて平均化されたパワースペクトル密度を生成する。図４Ｈは、スピーカーについて平均化された図４Ｇの例示的なパワースペクトル密度を示す。

【0052】

３０９では、較正フィルターマネージャ１６０は、スピーカーについて平均化されたパワースペクトル密度に対する、マイクロフォンおよびスピーカーについて平均化されたパワースペクトル密度の割合としてマイクロフォン較正フィルターを生成する。図４Ｉは、図４Ｈのスピーカーについて平均化されたパワースペクトル密度から導出された例示的なマイクロフォン較正フィルターを示す。

【0053】

なお、スピーカー較正フィルターの生成にも３０８および３０９を適用できる。図４Ｊは、マイクロフォンについて平均化された図４Ｇの例示的なパワースペクトル密度を示す。図４Ｋは、図４Ｊのマイクロフォンについて平均化されたパワースペクトル密度から導出された例示的なスピーカー較正フィルターを示す。

【0054】

図５は、本明細書に記載の技術とともに使用され得る一般的なコンピュータデバイス５００および一般的なモバイルコンピュータデバイス５５０の例を示す図である。

【0055】

図５に示すように、コンピューティングデバイス５００は、ラップトップ、デスクトップ、ワークステーション、ＰＤＡ（携帯情報端末）、サーバ、ブレードサーバ、メインフレーム、およびその他の適切なコンピュータなど、様々な形態のデジタルコンピュータを表すよう意図される。コンピューティングデバイス５５０は、ＰＤＡ、携帯電話、スマートフォン、およびその他同様のコンピューティングデバイスなど、様々な形態のモバイル機器を表すよう意図される。本明細書に示す構成要素、それらの接続および関係、ならびにそれらの機能は、例示に過ぎず、本明細書において説明および／またはクレームされた発明の実施態様を限定するものではない。

【0056】

コンピューティングデバイス５００は、プロセッサ５０２と、メモリ５０４と、記憶装置５０６と、メモリ５０４および高速拡張ポート５１０に接続された高速インタフェース５０８と、低速バス５１４および記憶装置５０６に接続された低速インタフェース５１２とを備える。構成要素５０２、５０４、５０６、５０８、５１０、および５１２の各々は、様々なバスを用いて互いに接続されており、共通のマザーボード上に実装され得、またはその他の方法で適宜実装され得る。プロセッサ５０２は、コンピューティングデバイス５００内で実行するための命令を処理できる。当該命令は、高速インタフェース５０８に連結されたディスプレイ５１６など、外付けの入出力装置上のＧＵＩのためのグラフィック情報を表示するための、メモリ５０４に格納されたまたは記憶装置５０６上に格納された命令を含む。その他の実施態様では、複数のプロセッサおよび／または複数のバスが複数のメモリおよび複数種類のメモリとともに適宜利用され得る。また、（たとえば、サーババンク、ブレードサーバ群、または多重プロセッサシステムなどとしての）必要な動作の一部を各々が提供する複数のコンピューティングデバイス５００が接続され得る。

【0057】

メモリ５０４は、コンピューティングデバイス５００内の情報を格納する。一実施態様では、メモリ５０４は、１つまたは複数の揮発性記憶装置である。別の実施態様では、メモリ５０４は、１つまたは複数の不揮発性記憶装置である。また、メモリ５０４は、磁気ディスクまたは光ディスクなど、別の形態のコンピュータ読み取り可能な媒体であってもよい。

【0058】

記憶装置５０６は、コンピューティングデバイス５００用の大容量ストレージを提供できる。一実施態様では、記憶装置５０６は、フロッピー（登録商標）ディスク装置、ハードディスク装置、光ディスク装置、もしくはテープ装置、フラッシュメモリもしくは他の同様の固体メモリ装置、または、ストレージエリアネットワークもしくはその他の構成に含まれるデバイスを含むデバイスのアレイなど、コンピュータ読み取り可能な媒体であってもよく、または、コンピュータ読み取り可能な媒体を含んでもよい。コンピュータプログラムプロダクトが情報担体に有形に含まれ得る。また、このコンピュータプログラムプロダクトも命令を含み得る。当該命令は、実行されると、上述した方法など、１つ以上の方法を実行する。情報担体は、メモリ５０４、記憶装置５０６、もしくはプロセッサ５０２上のメモリなど、コンピュータ読み取り可能な媒体または機械読み取り可能な媒体である。

【0059】

高速コントローラ５０８は、コンピューティングデバイス５００のための多くの帯域幅を必要とする動作を管理し、低速コントローラ５１２は、より低い帯域幅の多くを必要とする動作を管理する。このような機能の割振りは、例示に過ぎない。一実施態様では、高速コントローラ５０８は、メモリ５０４（たとえば、グラフィックスプロセッサまたはアクセラレータを通じて）ディスプレイ５１６、および高速拡張ポート５１０に連結される。高速拡張ポート５１０は、様々な拡張カード（図示せず）を受け付け得る。この実施態様では、低速コントローラ５１２は、記憶装置５０６および低速拡張ポート５１４に連結される。様々な通信ポート（たとえば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｅｔｈｅｒｎｅｔ、無線Ｅｔｈｅｒｎｅｔ）を含み得る低速拡張ポートは、キーボード、ポインティングデバイス、スキャナなどの１つ以上の入出力装置、または、スイッチもしくはルーターなどのネットワーク装置に、たとえばネットワークアダプタを通じて連結され得る。

【0060】

コンピューティングデバイス５００は、図に示すような複数の異なる形態で実現されてもよい。たとえば、標準サーバ５２０として実現されてもよく、このようなサーバ群で複数回実現されてもよい。また、ラックサーバシステム５２４の一部として実現されてもよい。これに加えて、ラップトップコンピュータ５２２など、パーソナルコンピュータで実現されてもよい。これに代えて、コンピューティングデバイス５００の構成要素を、デバイス５５０など、モバイル機器（図示せず）が備えるその他の構成要素と組み合わせてもよい。このようなデバイスの各々は、コンピューティングデバイス５００、５５０のうちの１つ以上を含み得、システム全体が、互いに通信する複数のコンピューティングデバイス５００、５５０から構成され得る。

【0061】

コンピューティングデバイス５５０は、特に、プロセッサ５５２と、メモリ５６４と、ディスプレイ５５４などの入出力装置と、通信インタフェース５６６と、送受信器５６８とを備える。マイクロドライブまたはその他の装置など、記憶装置がデバイス５５０に設けられて、追加ストレージを提供してもよい。構成要素５５０、５５２、５６４、５５４、５６６、および５６８の各々は、様々なバスを用いて互いに接続されており、これらの構成要素のうちの一部が共通のマザーボード上に実装されてもよく、その他の方法で適宜実装されてもよい。

【0062】

プロセッサ５５２は、命令（メモリ５６４に格納された命令を含む）をコンピューティングデバイス４５０内で実行できる。プロセッサは、別個の複数のアナログプロセッサおよびデジタルプロセッサを含むチップのチップセットとして実現されてもよい。プロセッサは、たとえば、ユーザーインターフェースの制御、デバイス５５０が実行するアプリケーションの制御、およびデバイス５５０による無線通信の制御など、デバイス５５０のその他の構成要素が協調できるようにする。

【0063】

プロセッサ５５２は、ディスプレイ５５４に連結された制御インタフェース５５８および表示インタフェース５５６を通じてユーザと通信し得る。ディスプレイ５５４は、たとえば、ＴＦＴ ＬＣＤ（薄膜トランジスタ液晶ディスプレイ）もしくはＯＬＥＤ（有機発光ダイオード）ディスプレイ、またはその他の適切なディスプレイ技術であってもよい。表示インタフェース５５６は、ディスプレイ５５４を駆動してグラフィック情報およびその他の情報をユーザに提示するための適切な回路を備えてもよい。制御インタフェース５５８は、ユーザからコマンドを受信し、プロセッサ５５２に実行を依頼するために変換し得る。これに加えて、デバイス５５０がその他のデバイスと近距離通信できるよう、プロセッサ５５２と通信する外部インタフェース５６２が設けられてもよい。たとえば、外部インタフェース５６２によって、いくつかの実施態様では有線通信が可能になってもよく、その他の実施態様では無線通信が可能になってもよく、また、複数のインタフェースが用いられてもよい。

【0064】

メモリ５６４は、コンピューティングデバイス５５０内の情報を格納する。メモリ５６４は、１つまたは複数のコンピュータ読み取り可能な媒体、１つまたは複数の揮発性記憶装置、または、１つもしくは複数の不揮発性記憶装置、のうちの１つ以上として実現され得る。また、拡張インタフェース５７２を通してデバイス５５０に拡張メモリ５７４が提供および接続され得る。拡張インタフェース５７２は、たとえば、ＳＩＭＭ（Ｓｉｎｇｌｅ Ｉｎ Ｌｉｎｅ Ｍｅｍｏｒｙ Ｍｏｄｕｌｅ）カードインタフェースを含み得る。このような拡張メモリ５７４は、デバイス５５０のための追加の記憶空間を提供し得、または、デバイス５５０のためのアプリケーションまたはその他の情報も格納し得る。具体的には、拡張メモリ５７４は、上述した工程を遂行または補助するための命令を含み得、セキュリティ保護された情報も含み得る。よって、たとえば、拡張メモリ５７４がデバイス５５０のためのセキュリティモジュールとして提供され得、または、セキュリティ保護されたデバイス５５０の使用を可能にする命令が拡張メモリ５７４にプログラムされ得る。これに加えて、ハッキングできない方法でＳＩＭＭカード上に識別情報を置くなど、セキュリティ保護されたアプリケーションがＳＩＭＭカードを介して追加情報とともに提供されてもよい。

【0065】

メモリは、たとえば、後述するフラッシュメモリおよび／またはＮＶＲＡＭメモリを含み得る。一実施態様では、情報担体にコンピュータプログラムプロダクトが有形に含まれる。このコンピュータプログラムプロダクトは、命令を含む。当該命令は、実行されると、上述した方法など、１つ以上の方法を実行する。情報担体は、メモリ５６４、拡張メモリ５７４、またはプロセッサ５５２上のメモリなど、コンピュータ読み取り可能な媒体または機械読み取り可能な媒体であり、たとえば、送受信器５６８または外部インタフェース５６２を介して受信され得る。

【0066】

デバイス５５０は、通信インタフェース５６６を通して無線通信を行い得る。通信インタフェースは、必要であれば、デジタル信号処理回路を備え得る。通信インタフェースは、とくに、ＧＳＭ（登録商標）音声通話、ＳＭＳ、ＥＭＳ、もしくはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳなど、様々なモードまたはプロトコル下の通信を可能にし得る。このような通信は、たとえば、高周波送受信器５６８を通して生じ得る。これに加えて、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、またはその他のこのような送受信器（図示せず）を用いるなどして近距離通信が行われ得る。これに加えて、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機モジュール５７０は、追加のナビゲーション関係または位置関係の無線データをデバイス５５０に提供し得る。追加のナビゲーション関係または位置関係の無線データは、デバイス５５０上で実行するアプリケーションによって適宜利用され得る。

【0067】

また、デバイス５５０は、オーディオコーデック５６０を用いて、音声による通信を行い得る。オーディオコーデック５６０は、ユーザから音声情報を受け付け、使用可能なデジタル情報に変換し得る。同様に、オーディオコーデック５６０は、たとえば、デバイス５５０のハンドセットにおいて、スピーカーを通してなど、ユーザのために音を生成し得る。このような音は、音声電話通話からの音声を含んでもよく、録音音声（たとえば、音声メッセージ、音楽ファイルなど）を含み得、デバイス５５０上で動作するアプリケーションによって生成された音も含み得る。

【0068】

コンピューティングデバイス５５０は、図示したような複数の異なる形態で実現され得る。たとえば、携帯電話５８０として実現され得る。また、スマートフォン５８２、携帯情報端末、または他の同様のモバイル機器の一部として実現され得る。

【0069】

本明細書において説明したシステムおよび技術の様々な実施態様は、デジタル電子回路、集積回路、専用に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組合せで実現できる。これらの様々な実施態様は、プログラム可能なシステム上で実行可能および／または解釈可能な１つ以上のコンピュータプログラムでの実装を含み得る。プログラム可能なシステムは、ストレージシステム、少なくとも１つの入力装置、および少なくとも１つの出力装置に連結されてデータおよび命令を送受信する特定用途プロセッサまたは汎用プロセッサであり得る、少なくとも１つのプログラム可能なプロセッサを含む。

【0070】

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる）は、プログラム可能なプロセッサ用の機械命令を含み、上位の手続き形言語および／もしくはオブジェクト指向プログラミング言語で、ならびに／またはアセンブリ言語／機械言語で実現できる。本明細書において使用するとき、「機械読み取り可能な媒体」、「コンピュータ読み取り可能な媒体」という用語は、プログラム可能なプロセッサに機械命令および／またはデータを提供するために用いられる任意のコンピュータプログラムプロダクト、装置、および／またはデバイス（たとえば、磁気ディスク、光学ディスク、メモリ、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ））を指し、機械読み取り可能な信号として機械命令を受け付ける機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、プログラム可能なプロセッサに機械命令および／またはデータを提供するために用いられる任意の信号を指す。

【0071】

ユーザとのやり取りを可能にするために、本明細書に記載のシステムおよび技術は、ユーザに情報を表示するための表示装置（たとえば、ＣＲＴ（ブラウン管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがコンピュータに入力を行えるキーボードおよびポインティングデバイス（たとえば、マウスまたはトラックボール）とを備えたコンピュータ上に実装され得る。その他の種類のデバイスを使ってユーザとのやり取りを可能にすることもでき、たとえば、ユーザに提供されるフィードバックは、任意の形式の感覚フィードバック（たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であり得、ユーザからの入力は、音響入力、音声入力、触覚入力など、任意の形式で受け付けられ得る。

【0072】

本明細書に記載のシステムおよび技術は、バックエンドコンポーネント（たとえば、データサーバ）を備えるコンピュータシステム、ミドルウェアコンポーネント（たとえば、アプリケーションサーバ）を備えるコンピュータシステム、フロントエンドコンポーネント（たとえば、本明細書に記載のシステムならびに技術の実施態様とユーザがやり取りできるグラフィカルユーザーインターフェースもしくはウェブブラウザを有するクライアントコンピュータ）を備えるコンピュータシステム、またはこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、フロントエンドコンポーネントの任意の組合せを備えるコンピュータシステムで実現され得る。システムのこれらのコンポーネントは、デジタルデータ通信（たとえば、通信ネットワーク）の任意の形式または媒体によって互いに接続され得る。通信ネットワークとして、ＬＡＮ（ローカルエリアネットワーク）、ＷＡＮ（ワイドエリアネットワーク）、およびインターネットなどが挙げられる。

【0073】

コンピュータシステムは、クライアントとサーバとを備え得る。クライアントとサーバとは、一般に、互いから離れた場所にあり、通常、通信ネットワークを通じてやり取りを行う。クライアントとサーバとの関係は、コンピュータプログラムがそれぞれのコンピュータ上で動作し、かつ、クライアントとサーバとの関係にあることによって成り立つ。

【0074】

図１に戻ると、いくつかの実施態様では、メモリ１２６は、ＲＡＭ、ディスクドライブメモリ、フラッシュメモリなど、任意の種類のメモリであり得る。いくつかの実施態様では、圧縮コンピュータ１２０の構成要素に関連する２つ以上のメモリコンポーネント（たとえば、２つ以上のＲＡＭコンポーネントまたはディスクドライブメモリ）としてメモリ１２６を実現できる。いくつかの実施態様では、メモリ１２６は、データベースメモリであり得る。いくつかの実施態様では、メモリ１２６は、非ローカルメモリであり得、または当該非ローカルメモリを含み得る。たとえば、メモリ１２６は、複数のデバイス（図示せず）によって共有されるメモリであり得、または、当該メモリを含み得る。いくつかの実施態様では、メモリ１２６は、ネットワーク内のサーバ装置（図示せず）に関連付けられ、圧縮コンピュータ１２０の構成要素を提供するように構成され得る。

【0075】

圧縮コンピュータ１２０の構成要素（たとえば、モジュール、処理装置１２４）は、１つ以上の種類のハードウェア、ソフトウェア、ファームウェア、オペレーティングシステム、ランタイムライブラリなどを含み得る１つ以上のプラットフォーム（たとえば、１つ以上の同様または異なるプラットフォーム）に基づいて動作するように構成され得る。いくつかの実施態様では、圧縮コンピュータ１２０の構成要素は、デバイスの集まり（たとえば、サーバファーム）内で動作するように構成され得る。このような実施態様では、圧縮コンピュータ１２０の構成要素の機能および処理は、デバイスの集まりに含まれるいくつかのデバイスに分散され得る。

【0076】

コンピュータ１２０の構成要素は、属性を処理するように構成された任意の種類のハードウェアおよび／もしくはソフトウェアであり得、または、当該ハードウェアおよび／もしくはソフトウェアを含み得る。いくつかの実施態様では、図１のコンピュータ１２０の構成要素に示される構成要素のうちの１つ以上の部分は、ハードウェアベースのモジュール（たとえば、ＤＳＰ（デジタル信号プロセッサ）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、メモリ）、ファームウェアモジュール、および／もしくはソフトウェアベースのモジュール（たとえば、コンピュータコードのモジュール、コンピュータにおいて実行され得る一連のコンピュータ読み取り可能な命令）であり得、または当該ハードウェアベースのモジュールを含み得る。たとえば、いくつかの実施態様では、コンピュータ１２０の構成要素のうちの１つ以上の部分は、少なくとも１つのプロセッサ（図示せず）によって実行されるように構成されたソフトウェアモジュールであり得、または、当該ソフトウェアモジュールを含み得る。いくつかの実施態様では、構成要素の機能は、図１に示すモジュールおよび／または構成要素とは異なるモジュールおよび／または構成要素に含まれ得る。

【0077】

図示しないが、いくつかの実施態様では、コンピュータ１２０の構成要素（または、その一部）は、たとえば、データセンター（たとえば、クラウドコンピューティング環境）、コンピュータシステム、１つ以上のサーバ装置／ホスト装置内などで動作するように構成され得る。いくつかの実施態様では、コンピュータ１２０の構成要素（または、その一部）は、ネットワーク内で動作するように構成され得る。よって、コンピュータ１２０の構成要素（もしくはその一部）は、１つ以上の装置および／または１つ以上のサーバ装置を含み得る様々な種類のネットワーク環境内で機能するように構成され得る。たとえば、ネットワークは、ＬＡＮ（ローカルエリアネットワーク）、ＷＡＮ（ワイドエリアネットワーク）などであり得、または、当該ＬＡＮおよびＷＡＮを含み得る。ネットワークは、たとえばゲートウェイ装置、ブリッジ、スイッチなどを用いて実現される無線ネットワークおよび／もしくは有線ネットワークであり得、または当該無線ネットワークおよび／もしくは有線ネットワークを含み得る。ネットワークは、１つ以上のセグメントを含み得、ならびに／または、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）および／もしくはプロプライエタリプロトコルなど、様々なプロトコルに基づいてセグメントの一部を有し得る。ネットワークは、少なくともインターネットの一部を含み得る。

【0078】

いくつかの実施形態では、コンピュータ１２０の構成要素のうちの１つ以上は、メモリに格納された命令を処理するように構成されたプロセッサであり得、または当該プロセッサを含み得る。たとえば、デプス画像マネージャ１３０（および／またはその一部）、視点マネージャ１４０（および／またはその一部）、レイキャスティングマネージャ１５０（および／またはその一部）、ＳＤＶマネージャ１６０（および／またはその一部）、アグリゲーションマネージャ１７０（および／またはその一部）、ルートファインディングマネージャ１８０（および／またはその一部）、ならびにデプス画像生成マネージャ１９０（および／またはその一部）は、１つ以上の機能を実現するための処理に関連する命令を実行するように構成されたプロセッサとメモリとの組合せであり得る。

【0079】

いくつかの実施形態を説明したが、本明細書の趣旨および範囲から逸脱することなく、様々な変更がなされてもよいことが理解されるであろう。

【0080】

ある要素が別の要素の上に設けられる、別の要素に接続される、電気的に接続される、連結される、または電気的に連結されると称される場合、当該要素は、当該別の要素の上に直接設けられ得、接続もしくは連結されえ、または、１つ以上の中間要素が存在し得る、と理解されるであろう。対照的に、ある要素が別の要素の上に直接設けられる、別の要素に直接接続される、または直接連結されると称される場合、中間要素は存在しない。～の上に直接設けられる、～に直接接続される、または、～に直接連結される、という用語は、詳細な説明を通して用いられていないかもしれないが、～の上に直接設けられる、～に直接接続される、または、～に直接連結される状態で図示された要素は、そのように称され得る。本願の特許請求の範囲を補正して、明細書において説明されたまたは図示された関係の例を記載してもよい。

【0081】

本明細書に記載したように、上述の実施態様の特定の特徴を例示したが、今では、当業者であれば、多くの変形例、代替例、変更例、および均等物に想到するであろう。そのため、当然ながら、特許請求の範囲は、このような変形例および変更例のすべてを実施態様の範囲に包含するものとする。これらはほんの一例として提示されたに過ぎず、限定ではなく、形式および詳細に様々な変更がなされ得ることを理解されたい。本明細書に記載の装置および／または方法のいずれの部分も、相互に排他的な組み合わせを除くあらゆる組合せに組み合わされ得る。本明細書に記載の実施態様は、記載の異なる実施態様の機能、構成要素、および／または特徴の様々な組み合わせならびに／もしくは部分的な組み合わせを含み得る。

【0082】

これに加えて、図示した論理フローは、所望の結果を実現するために、図示した特定の順序であったり、順番通りであったりする必要はない。これに加えて、説明したフローにその他のステップが設けられたり、ステップが排除されたりしてもよく、説明したシステムにその他の構成要素が追加されたり、削除されたりしてもよい。したがって、その他の実施形態も添付の特許請求の範囲に含まれる。

【図1A】

【図1B】

【図1C】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図4F】

【図4G】

【図4H】

【図4I】

【図4J】

【図4K】

【図5】