知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5955862
(24)【登録日】2016年6月24日
(45)【発行日】2016年7月20日
(54)【発明の名称】没入型オーディオ・レンダリング・システム
(51)【国際特許分類】
H04S 1/00 20060101AFI20160707BHJP
H04S 5/02 20060101ALI20160707BHJP
【ＦＩ】
H04S1/00 B
H04S5/02 A
H04S1/00 K
【請求項の数】16
【全頁数】36
(21)【出願番号】特願2013-548464(P2013-548464)
(86)(22)【出願日】2012年1月3日
(65)【公表番号】特表2014-505427(P2014-505427A)
(43)【公表日】2014年2月27日
(86)【国際出願番号】US2012020099
(87)【国際公開番号】WO2012094335
(87)【国際公開日】20120712
【審査請求日】2014年12月25日
(31)【優先権主張番号】61/429,600
(32)【優先日】2011年1月4日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】512293312
【氏名又は名称】ディーティーエス・エルエルシー
【氏名又は名称原語表記】ＤＴＳ ＬＬＣ
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100109830
【弁理士】
【氏名又は名称】福原 淑弘
(74)【代理人】
【識別番号】100088683
【弁理士】
【氏名又は名称】中村 誠
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100075672
【弁理士】
【氏名又は名称】峰 隆司
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100140176
【弁理士】
【氏名又は名称】砂川 克
(74)【代理人】
【識別番号】100158805
【弁理士】
【氏名又は名称】井関 守三
(74)【代理人】
【識別番号】100124394
【弁理士】
【氏名又は名称】佐藤 立志
(74)【代理人】
【識別番号】100112807
【弁理士】
【氏名又は名称】岡田 貴志
(74)【代理人】
【識別番号】100111073
【弁理士】
【氏名又は名称】堀内 美保子
(72)【発明者】
【氏名】クレーマー、アラン・ディー．
(72)【発明者】
【氏名】トレーシー、ジェームズ
(72)【発明者】
【氏名】カトシアノス、ゼミス
【審査官】
菊池 充
(56)【参考文献】
【文献】
特表２００１−５０３９４２（ＪＰ，Ａ）
【文献】
特開平０６−３１９１９９（ＪＰ，Ａ）
【文献】
特開平０７−００７７９８（ＪＰ，Ａ）
【文献】
特表平１１−５０４４７８（ＪＰ，Ａ）
【文献】
特開平１０−２９５０００（ＪＰ，Ａ）
【文献】
特開２００２−１９１０９９（ＪＰ，Ａ）
【文献】
特開２００８−０４８３２４（ＪＰ，Ａ）
【文献】
特開昭５７−０６０８００（ＪＰ，Ａ）
【文献】
特開２００８−２８１３５５（ＪＰ，Ａ）
【文献】
米国特許第０５９１２９７６（ＵＳ，Ａ）
【文献】
欧州特許出願公開第００４７８０９６（ＥＰ，Ａ１）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｓ １／００− ７／００
(57)【特許請求の範囲】
【請求項1】
オーディオ信号に適用される遠近感拡張を変調する方法であって、
前記方法は、
リスナを基準にして音源の空間的位置に関する情報をそれぞれ備える左および右のオーディオ信号を受信することと、
前記左および右のオーディオ信号の差情報を計算することと、
左および右の出力信号をもたらすように、前記左および右のオーディオ信号の差情報に少なくとも１つの遠近感フィルタを適用することと、
前記左および右の出力信号に、前記計算された情報に少なくとも一部は基づくゲインの値を適用することと、
を備え、
前記ゲインを少なくとも前記適用することは、１つまたは複数のプロセッサにより実施される方法。
前記方法は、
リスナを基準にして音源の空間的位置に関する情報をそれぞれ備える左および右のオーディオ信号を受信することと、
前記左および右のオーディオ信号の差情報を計算することと、
左および右の出力信号をもたらすように、前記左および右のオーディオ信号の差情報に少なくとも１つの遠近感フィルタを適用することと、
前記左および右の出力信号に、前記計算された情報に少なくとも一部は基づくゲインの値を適用することと、
を備え、
前記ゲインを少なくとも前記適用することは、１つまたは複数のプロセッサにより実施される方法。
【請求項2】
前記差情報の包絡線を検出することおよび前記差情報を平滑化することのうち１つまたは複数を実施することをさらに備える、請求項１に記載の方法。
【請求項3】
前記変調することは、前記差情報の前記包絡線および前記平滑化された差情報のうちの一方または両方に少なくとも一部は基づき、前記少なくとも１つの遠近感フィルタの前記適用を変調することを備える、請求項２に記載の方法。
【請求項4】
前記左および右のオーディオ信号の複数の信号レベルに少なくとも一部は基づき、前記差情報を正規化することをさらに備える、請求項１、２、または３に記載の方法。
【請求項5】
前記変調することは、前記正規化された差情報に少なくとも一部は基づき、前記少なくとも１つの遠近感フィルタの前記適用を変調することを備える、請求項４に記載の方法。
【請求項6】
前記正規化することは、前記左および右のオーディオ信号の幾何平均を計算することと、前記計算された幾何平均で前記差情報を除算することと、を備える、請求項４または５に記載の方法。
【請求項7】
前記左および右の出力信号にクロストークキャンセルを適用して、バックウェーブクロストークを低減することをさらに備える、請求項１から６のいずれかに記載の方法。
【請求項8】
前記少なくとも１つの遠近感フィルタを適用することの前に、前記差情報に少なくとも一部は基づき、前記左および右のオーディオ信号に深度レンダリング拡張を適用することをさらに備え、そして選択的に、前記左および右のオーディオ信号に前記深度レンダリング拡張を前記適用することは、前記左および右のオーディオ信号を脱相関することを備える、請求項１から７のいずれかに記載の方法。
【請求項9】
オーディオ信号に適用される遠近感拡張を変調するシステムであって、
前記システムは、
リスナを基準にして音源の空間的位置に関する情報をそれぞれ備える左および右のオーディオ信号を受信すること、および
前記左および右のオーディオ信号から差信号を得ること
に少なくともより、複数のオーディオ信号を解析するように構成された信号解析構成要素と、
少なくとも１つの遠近感フィルタを前記差信号に適用して、左および右の出力信号をもたらすように構成された、１つまたは複数の物理的プロセッサを備えるサラウンドプロセッサと、
を備え、前記少なくとも１つの遠近感フィルタの出力が、前記計算された差信号に少なくとも一部は基づき変調されるシステム。
前記システムは、
リスナを基準にして音源の空間的位置に関する情報をそれぞれ備える左および右のオーディオ信号を受信すること、および
前記左および右のオーディオ信号から差信号を得ること
に少なくともより、複数のオーディオ信号を解析するように構成された信号解析構成要素と、
少なくとも１つの遠近感フィルタを前記差信号に適用して、左および右の出力信号をもたらすように構成された、１つまたは複数の物理的プロセッサを備えるサラウンドプロセッサと、
を備え、前記少なくとも１つの遠近感フィルタの出力が、前記計算された差信号に少なくとも一部は基づき変調されるシステム。
【請求項10】
前記信号解析構成要素は、前記差信号の包絡線を検出することおよび前記差信号を平滑化することのうち１つまたは複数を少なくとも実施するようにさらに構成される、請求項９に記載のシステム。
【請求項11】
前記サラウンドプロセッサは、前記差信号の前記包絡線および前記平滑化された差信号のうちの一方または両方に少なくとも一部は基づき、前記変調を実施するように構成される、請求項１０に記載のシステム。
【請求項12】
前記信号解析構成要素は、前記左および右のオーディオ信号の複数の信号レベルに少なくとも一部は基づき、前記差信号を正規化するようにさらに構成される、請求項９、１０、または１１に記載のシステム。
【請求項13】
前記サラウンドプロセッサは、前記正規化された差信号に少なくとも一部は基づき、前記変調を実施するようにさらに構成される、請求項１２に記載のシステム。
【請求項14】
前記信号解析構成要素は、少なくとも、前記左および右のオーディオ信号の幾何平均を少なくとも計算すること、および前記計算された幾何平均で前記差信号を除算することにより、前記差信号を正規化するようにさらに構成される、請求項１２または１３に記載のシステム。
【請求項15】
前記左および右の出力信号にクロストークキャンセルを適用するように構成されたクロストークキャンセラをさらに備える、請求項９から１４のいずれか一項に記載のシステム。
【請求項16】
前記少なくとも１つの遠近感フィルタを適用する前に、前記差信号に少なくとも一部は基づき、前記左および右のオーディオ信号に深度をレンダリングするように構成された深度レンダリング構成要素をさらに備え、そして選択的に、前記深度レンダリング構成要素は、前記左および右のオーディオ信号を少なくとも脱相関することにより、前記深度をレンダリングするようにさらに構成される、請求項９から１５のいずれか一項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願本出願は、米国特許法第１１９条（ｅ）の下で、「没入型オーディオ・レンダリング・システム（Immersive Audio Rendering System）」と題する、２０１１年１月４日に出願された米国特許仮出願第６１／４２９，６００号明細書の優先権を主張し、この出願の開示は、全体が参照により本明細書に組み入れられる。
【背景技術】
【0002】
技術的能力およびユーザの好みの増大が、広範なオーディオ録音および再生システムをまねいた。オーディオシステムは、別個の左および右の録音／再生チャンネルを有する、より簡単なステレオシステムを越えて、通例サラウンド・サウンド・システムと呼ばれるものに発展した。サラウンド・サウンド・システムは、一般に、リスナの周囲に配置された、一般にリスナの背後に位置する複数の音源を含む、複数の空間的場所から発生する、または発生するように思われる複数の音源を提供することにより、リスナに対してより臨場感のある再生体験を提供するように設計される。
【0003】
サラウンド・サウンド・システムは、しばしば、一般にリスナの前にサウンドを生成するように適合されたセンターチャンネル、少なくとも１つの左チャンネル、および少なくとも１つの右チャンネルを含む。サラウンド・サウンド・システムはまた、一般にリスナの背後にあるサウンドの生成のために適合された少なくとも１つの左サラウンド音源および少なくとも１つの右サラウンド音源を一般に含む。サラウンド・サウンド・システムはまた、低周波サウンドの再生を改善するために、ときどきサブウーファチャンネルと呼ばれる低域効果音（ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｅｆｆｅｃｔ、ＬＦＥ）チャンネルを含むことができる。特定の一例として、センターチャンネル、左フロントチャンネル、右フロントチャンネル、左サラウンドチャンネル、右サラウンドチャンネル、およびＬＦＥチャンネルを有するサラウンド・サウンド・システムを、５．１サラウンドシステムと呼ぶことができる。ピリオドの前の数字５は、存在するバス以外のスピーカ数を示し、ピリオドの後の数字１は、サブウーファの存在を示す。
【発明の概要】
【0004】
開示を要約するために、本発明のある種の態様、利点、および新規の特徴が本明細書で説明された。本明細書で開示される本発明の任意の特定の実施形態に従ってこのような利点すべてを必ずしも達成することができるわけではないことを理解されたい。したがって、本明細書で教示または示唆することができるような他の利点を必ずしも達成することなく、本明細書で教示されるような１つの利点または利点のグループを達成する、または最適化するやり方で、本明細書で開示される本発明を具体化する、または遂行することができる。
【0005】
ある種の実施形態では、オーディオ出力信号に深度をレンダリングする方法が、複数のオーディオ信号を受信することと、第１の時間に複数のオーディオ信号から第１の深度ステアリング情報を識別することと、第２の時間に複数のオーディオ信号から次の深度ステアリング情報を識別することとを含む。さらに、方法は第１の深度ステアリング情報に、少なくとも部分的に依存する第１の量により複数のオーディオ信号を、１つまたは複数のプロセッサにより脱相関（decorrelate）して、第１の脱相関された複数のオーディオ信号を作り出すことを含むことができる。方法は、第１の脱相関された複数のオーディオ信号を、再生のためにリスナに出力することをさらに含んでもよい。さらに、方法は、前記出力することの次に、第１の量と異なる第２の量により複数のオーディオ信号を脱相関することを含むことができ、第２の量は、第２の脱相関された複数のオーディオ信号を作り出すために、次の深度ステアリング情報に少なくとも部分的に依存することができる。さらに、方法は、第２の脱相関された複数のオーディオ信号を、再生のためにリスナに出力することを含むことができる。
【0006】
他の実施形態では、オーディオ出力信号に深度をレンダリングする方法が、複数のオーディオ信号を受信することと、時間とともに変化する深度ステアリング情報を識別することと、深度ステアリング情報に少なくとも部分的に基づき、複数のオーディオ信号を時間とともに動的に脱相関して、複数の脱導相関された信号を作り出すことと、複数の脱相関されたオーディオ信号を再生のためにリスナに出力することとを含むことができる。少なくとも前記脱相関、または本方法の任意の他のサブセットを、電子回路ハードウェアにより実現することができる。
【0007】
オーディオ出力信号に深度をレンダリングするシステムが、いくつかの実施形態では、２つ以上のオーディオ信号を受信することができ、かつ２つ以上のオーディオ信号に関連する深度情報を識別することができる深度推定器と、１つまたは複数のプロセッサを備える深度レンダラとを含むことができる。深度レンダラは、深度情報に少なくとも部分的に基づき、２つ以上のオーディオ信号を時間とともに動的に脱相関して、複数の脱相関されたオーディオ信号を作り出し、かつ複数の脱相関されたオーディオ信号を出力することができる（たとえば、再生のためにリスナに、および／または他のオーディオ処理構成要素へ出力するため）。
【0008】
オーディオ出力信号に深度をレンダリングする方法のさまざまな実施形態が、２つ以上のオーディオ信号を有する入力オーディオを受信することと、時間とともに変化してもよい、入力オーディオに関連する深度情報を推定することと、１つまたは複数のプロセッサにより、推定された深度情報に基づきオーディオを動的に拡張することとを含む。この拡張することは、時間とともに起こる深度情報の変動に基づき動的に変わることができる。さらに、方法は、拡張されたオーディオを出力することを含むことができる。
【0009】
オーディオ出力信号に深度をレンダリングするシステムが、いくつかの実施形態では、２つ以上のオーディオ信号を有する入力オーディオを受信することができ、かつ入力オーディオに関連する深度情報を推定することができる深度推定器と、１つまたは複数のプロセッサを有する拡張構成要素とを含むことができる。拡張構成要素は、推定された深度情報に基づき、オーディオを動的に拡張することができる。この拡張は、時間とともに起こる深度情報の変動に基づき動的に変わることができる。
【0010】
ある種の実施形態では、オーディオ信号に適用された遠近感拡張を変調する方法が、リスナを基準にして音源の空間的位置に関する情報をそれぞれ有する左および右のオーディオ信号を受信することを含む。方法はまた、左および右のオーディオ信号の差情報を計算することと、左および右のオーディオ信号の差情報に少なくとも１つの遠近感フィルタを適用して、左および右の出力信号をもたらすこと、および左および右の出力信号にゲインを適用することと含みことができる。このゲインの値は、計算された差情報に少なくとも一部は基づくことができる。ゲインを少なくとも前記適用すること（または方法全体または方法のサブセット）は、１つまたは複数のプロセッサにより実施される。
【0011】
いくつかの実施形態では、オーディオ信号に適用される遠近感拡張を変調するシステムが、少なくとも、リスナを基準にして音源の空間的位置に関する情報をそれぞれ有する左および右のオーディオ信号を受信し、左および右のオーディオ信号から差信号を得ることにより、複数のオーディオ信号を解析することができる信号解析構成要素を含む。システムはまた、１つまたは複数の物理的プロセッサを有するサラウンドプロセッサを含むことができる。サラウンドプロセッサは、少なくとも１つの遠近感フィルタを差信号に適用して、左および右の出力信号をもたらすことができ、計算された差分情報に少なくとも一部は基づき、少なくとも１つの遠近感フィルタの出力を変調することができる。
【0012】
ある種の実施形態では、中に記憶された複数の命令を有する非一時的な物理的コンピュータ記憶装置が、オーディオ信号に適用された遠近感拡張を変調するための複数の動作を１つまたは複数のプロセッサで実現することができる。これらの動作は、リスナを基準にして音源の空間的位置に関する情報をそれぞれ有する左および右のオーディオ信号を受信することと、左および右のオーディオ信号の差情報を計算することと、左および右のオーディオ信号の各々に少なくとも１つの遠近感フィルタを適用して、左および右の出力信号をもたらすことと、計算された差情報に少なくとも一部は基づき、少なくとも１つの遠近感フィルタの前記適用を変調することとを含むことができる。
【0013】
オーディオ信号に適用された遠近感拡張を変調するシステムが、いくつかの実施形態では、リスナを基準にして音源の空間的位置に関する情報をそれぞれ有する左および右のオーディオ信号を受信するための手段と、左および右のオーディオ信号の差情報を計算するための手段と、左および右のオーディオ信号の各々に少なくとも１つの遠近感フィルタを適用して、左および右の出力信号をもたらすための手段と、計算された差情報に少なくとも一部は基づき、少なくとも１つの遠近感フィルタの前記適用を変調するための手段とを含む。
【0014】
図面全体を通して、参照される要素間の対応を示すために、参照番号を再利用することができる。図面は、本発明の範囲を限定するためではなく、本明細書で説明される本発明の実施形態を例示するために提供される。
【図面の簡単な説明】
【0015】
【発明を実施するための形態】
【0016】
Ｉ．序文サラウンド・サウンド・システムは、リスナの周囲に位置する複数のスピーカからサウンドを投射することにより没入型オーディオ環境を生み出そうとする。サラウンド・サウンド・システムは、典型的には、ステレオシステムなどの、より少ないスピーカを有するシステムよりも、オーディオファンに、より好まれる。しかしながら、ステレオシステムはしばしば、より少ないスピーカを有するためにより安価であり、したがって、ステレオスピーカを使ってサラウンドサウンド効果を近似するために、多くの取り組みが行われた。このような取り組みにもかかわらず、３つ以上のスピーカを有するサラウンドサウンド効果は、ステレオシステムよりしばしば没入できる。
【0017】
この開示は、ステレオスピーカを利用して、多分他のスピーカ構成の間の没入型効果を達成する深度処理システムについて説明する。深度処理システムは、有利には、位相および／振幅の情報を操作して、リスナの正中面に沿ってオーディをレンダリングすることができ、それにより、リスナに対して変わる深度でオーディオをレンダリングする。一実施形態では、深度処理システムは、左および右のステレオ入力信号を解析して、時間とともに変化してもよい深度を推測する。深度処理システムは、次いで、複数のオーディオ信号間の位相および／または振幅の脱相関を時間とともに変えることができ、それにより、没入型深度効果を生み出す。
【0018】
電子デバイス、たとえば電話機、テレビ、ラップトップ、他のコンピュータ、携帯型メディアプレーヤ、カー・ステレオ・システムなどで、本明細書で説明するオーディオシステムの特徴を実現して、２つ以上のスピーカを使用する没入型オーディオ効果を生み出すことができる。
【0019】
ＩＩ．オーディオ深度推定およびレンダリングの実施形態図１Ａは、没入型オーディオ環境１００の一実施形態を示す。図示する没入型オーディオ環境１００は、２（または３つ以上）チャンネルオーディオ入力を受信し、かつ左および右のスピーカ１１２、１１４への２チャンネルオーディオ出力を、サブウーファ１１６への任意選択の第３の出力とともに作り出す深度処理システム１１０を含む。有利には、ある種の実施形態では、深度処理システム１１０は、２チャンネルオーディオ入力信号を解析して、これらの信号に関する深度情報を推定または推測する。この深度情報を使用して、深度処理システム１１０は、複数のオーディオ入力信号を調節して、左および右のステレオスピーカ１１２、１１４に提供される複数のオーディ出力信号に深度の感覚を生み出すことができる。その結果、左および右のスピーカは、リスナ１０２に対して没入型音場（曲線で示す）を出力することができる。この没入型音場は、リスナ１０２に対して深度の感覚を生み出すことができる。
【0020】
深度処理システム１１０により提供される没入型音場効果は、サラウンド・サウンド・スピーカの没入型効果より効果的に機能することができる。したがって、サラウンドシステムの近似と考えるのではなく、深度処理システム１１０は、既存のサラウンドシステムに対して利益を提供することができる。ある種の実施形態で提供される１つの利点が、没入型音場効果は、スイートスポットとは比較的に無関係とすることができ、リスニング空間全体に没入型効果を提供することである。しかしながら、いくつかの実施形態では、スピーカ間にほぼ等距離に、および２つのスピーカとともに実質的に正三角形を形成する角度で（破線１０４で示す）リスナ２を配置することにより、強められた没入型効果を達成することができる。
【0021】
図１Ｂは、深度レンダリングの実施形態に関係のあるリスニング環境１５０の態様を示す。リスナ１０２に関連する２つの幾何学的平面１６０、１７０の関連においてリスナ１０２を示す。これらの平面は、正中（median）面または矢状（saggital）面１６０、および額（frontal）面または冠状（coronal）面１７０を含む。有益には、いくつかの実施形態では、リスナ１０２の正中面に沿ってオーディオをレンダリングすることにより、３次元オーディオ効果を得ることができる。
【0022】
参考に、リスナ１０２の隣に一例の座標系１８０を示す。この座標系１８０では、正中面１６０はｙ−ｚ平面内にあり、冠状面１７０はｘ−ｙ平面内にある。ｘ−ｙ平面はまた、リスナ１０２に向く２つのステレオスピーカ間に形成されてもよい平面に対応する。座標系１８０のｚ軸は、このような平面に対する法線とすることができる。いくつかの実施形態では、正中面１６０に沿ってオーディオをレンダリングすることは、座標系１８０のｚ軸に沿ってオーディオをレンダリングすることであると考えることができる。したがって、たとえば、正中面に沿って深度処理システム１１０により深度効果をレンダリングすることができ、その結果、一部のサウンドが、正中面１６０に沿ってリスナにより近く聞こえ、一部のサウンドが正中面１６０に沿ってリスナ１０２から遠く聞こえる。
【0023】
深度処理システム１１０はまた、正中面１６０と冠状面１７０の両方に沿ってサウンドをレンダリングすることができる。いくつかの実施形態では、３次元でレンダリングする能力が、オーディオシーンでリスナ１０２の没入感覚を増大させることができ、同じく、一緒に体験したときに、３次元ビデオの錯覚を強めることができる。
【0024】
図２Ａおよび図２Ｂに描く例示的音源シナリオ２００によりリスナの深度知覚を可視化することができる。図２Ａでは、音源２５２がリスナ２０２から離れて位置決めされるが、一方、音源２５２は、図２Ｂでは、リスナ２０２に比較的より近い。典型的には、音源が両耳で知覚され、音源２５２により近い耳が、もう一方の耳より早くサウンドを聴く。一方の耳から他方の耳までのサウンド知覚の遅延を、両耳間時間遅延（ｉｎｔｅｒａｕｒａｌ ｔｉｍｅ ｄｅｌａｙ、ＩＴＤ）と考えることができる。さらに、より近い耳について音源の強度がより大きい可能性があり、両耳間強度差（ｉｎｔｅｒａｕｒａｌ ｉｎｔｅｎｓｉｔｙ ｄｉｆｆｅｒｅｎｃｅ、ＩＩＤ）をもたらす。
【0025】
図２Ａおよび図２Ｂで、音源２５２からリスナ２０２の各耳まで引かれた線２７２、２７４が、夾角を形成する。この角度は、図２Ａおよび図２Ｂに示すように、離れるとより小さくなり、音源２５２がより近いときにより大きい。音源２５２がリスナ２０２から遠く離れるほど、それだけ音源２５２が０°の夾角を有する点音源に近づく。したがって、離れた音源２５２を表す左および右のオーディオ信号は、比較的位相が合っている場合があり、より近い音源２５２を表すこれらの信号は、比較的位相がずれている場合がある（リスナ１０２を基準にして非ゼロの到来方位角を仮定しており、その結果、音源２５２はリスナの直接前に存在しない）。したがって、離れた音源２５２のＩＴＤおよびＩＩＤが、より近い音源２５２のＩＴＤおよびＩＩＤより比較的小さい場合がある。
【0026】
ステレオ録音は、２つのスピーカを有しているために、リスナ１０２を基準にして音源２５２の深度を推測するために解析することができる情報を含むことができる。たとえば、左と右のステレオチャンネル間のＩＴＤおよびＩＩＤの情報を、２チャンネル間の位相および／または振幅の脱相関として表すことができる。２チャンネルが脱相関されるほど、それだけ音場が広々とする場合があり、逆も成り立つ。深度処理システム１１０は、有利には、この位相および／または振幅の脱相関を操作して、リスナ１０２の正中面１６０に沿ってオーディオをレンダリングすることができ、それにより、変わる深度に沿ってオーディオをレンダリングする。一実施形態では、深度処理システム１１０は、左および右のステレオ入力信号を解析して、時間とともに変化することがある深度を推測する。深度処理システム１１０は、次いで、複数の入力信号間の位相および／または振幅の脱相関を時間とともに変えて、この深度の感覚を生み出すことができる。【0027】
図３Ａ〜図３Ｄは、深度処理システム３１０のより詳細な実施形態を示す。詳細には、図３Ａは、ステレオおよび／またはビデオの入力に基づき深度効果をレンダリングする深度処理システム３１０Ａを示す。図３Ｂは、サラウンドサウンドおよび／またはビデオの入力に基づき深度効果を生み出す深度処理システム３１０Ｂを示す。図３Ｃでは、深度処理システム３１０Ｃは、オーディオオブジェクト情報を使用して深度効果を生み出す。図３Ｄは、追加のクロストークキャンセル構成要素が提供されることを除き、図３Ａに類似する。これらの深度処理システム３１０の各々は、上述の深度処理システム１１０の特徴を実現することができる。さらに、図示する構成要素の各々を、ハードウェアおよび／またはソフトウェアで実現することができる。
【0028】
具体的に図３Ａを参照すると、深度処理システム３１０Ａは、深度推定器３２０ａに提供される左および右の入力信号を受信する。深度推定器３２０ａは、２つの信号を解析して、２つの信号により表されるオーディオの深度を推定することができる信号解析構成要素の一例である。深度推定器３２０ａは、この深度推定値に基づき複数の深度制御信号を生成することができ、深度レンダラ３３０ａが、この深度推定値を使用して、２チャンネル間の位相および／または振幅の脱相関（たとえばＩＴＤおよびＩＩＤの差）を強調することができる。描かれた実施形態では、深度レンダリングされた複数の出力信号が、任意選択のサラウンド処理モジュール３４０ａに提供され、サラウンド処理モジュール３４０ａは、任意選択で、サウンドステージを広げ、それにより深度の感覚を増大させることができる。
【0029】
ある種の実施形態では、深度推定器３２０ａは、たとえばＬ−Ｒ信号を計算することにより、左および右の入力信号の差情報を解析する。Ｌ−Ｒ信号の大きさが、２つの入力信号の深度情報を反映することができる。図２Ａおよび図２Ｂに関連して上述したように、ＬおよびＲの信号は、サウンドがリスナにより近く動くときに、より位相がはずれるようになる可能性がある。したがって、より大きなＬ−Ｒ信号の大きさが、より小さなＬ−Ｒ信号の大きさより、より近い信号を反映する。
【0030】
深度推定器３２０ａはまた、左および右の信号を別個に解析して、２つの信号のうちどちらが優勢であるかを判定することができる。一方の信号の優勢が、ＩＴＤおよび／またはＩＩＤの差を調節して、優勢なチャンネルを強調し、それにより、深度をどう強調したらいいかに関する手がかりを提供することができる。したがって、いくつかの実施形態では、深度推定器３２０ａは、制御信号Ｌ−Ｒ、Ｌ、Ｒ、および同じく任意選択でＬ＋Ｒのうちいくつかまたはすべてを生み出す。深度推定器３２０ａは、これらの制御信号を使用して、深度レンダラ３３０ａにより適用されるフィルタ特性を調節することができる（以下で説明する）。
【0031】
いくつかの実施形態では、深度推定器３２０ａはまた、上述のオーディオに基づく深度解析の代わりに、またはこれに加えて、ビデオ情報に基づき深度情報を判定することができる。深度推定器３２０ａは、３次元ビデオから深度情報を解析することができる、または２次元ビデオから震度マップを生成することができる。このような深度情報から、深度推定器３２０ａは、上述の複数の制御信号に類似する複数の制御信号を生成することができる。図１０Ａ〜図１２に関連して、ビデオに基づく深度推定値について以下でより詳細に説明する。
【0032】
深度推定器３２０ａは、複数のサンプルブロックに対して、またはサンプルごとに動作してもよい。便宜上、本明細書の残りの部分は、ブロックに基づく実装形態に言及するが、類似の実装形態がサンプルごとに基づき実施されてもよいことを理解されたい。一実施形態では、深度推定器３２０ａにより生成される複数の制御信号は、複数のサンプルのブロック、たとえば、Ｌ−Ｒの複数のサンプルのブロック、Ｌ、Ｒ、および／またはＬ＋Ｒの複数のサンプルのブロックなどを含む。さらに、深度推定器３２０ａは、Ｌ−Ｒ、Ｌ、Ｒ、またはＬ＋Ｒの信号を平滑化してもよい、および／またはこれらの信号の包絡線を検出してもよい。したがって、深度推定器３２０ａにより生成される複数の制御信号は、さまざまな信号の平滑化されたバージョンおよび／またはこれらの信号の包絡線を表す複数のサンプルの１つまたは複数のブロックを含んでもよい。
【0033】
これらの制御信号を使用して、深度推定器３２０ａは、深度レンダラ３３０ａにより実現された１つまたは複数の深度レンダリングフィルタのフィルタ特性を操作することができる。深度レンダラ３３０ａは、深度推定器３２０ａから左および右の入力信号を受信し、１つまたは複数の深度レンダリングフィルタを複数の入力オーディオ信号に適用することができる。深度レンダラ３３０ａの深度レンダリングフィルタ（複数）は、左および右の入力信号を選択的に相関および脱相関することにより、深度の感覚を生み出すことができる。深度レンダリングモジュールは、深度推定器３２０ａ出力に基づき、チャンネル間の位相および／またはゲインの差を操作することにより、この相関および脱相関を実施することができる。この脱相関は、複数の出力信号の部分的な脱相関であっても、完全な脱相関であってもよい。
【0034】
有利には、ある種の実施形態では、複数の入力信号から得られる制御情報またはステアリング情報に基づき、深度レンダラ３３０ａにより実施させる動的脱相関が、単なるステレオの広大さではない深度の印象を生み出す。したがって、音源がスピーカから飛び出て、リスナに向かって、またはリスナから離れて動的に動くと、リスナが知覚する場合がある。ビデオと結びつけられたとき、ビデオ内の複数のオブジェクトにより表された複数の音源がビデオ内で複数のオブジェクトとともに動くように思えることができ、３次元オーディオ効果をもたらす。
【0035】
描かれた実施形態では、深度レンダラ３３０ａは、深度レンダリングされた左および右の出力をサラウンドプロセッサ３４０ａに提供する。サラウンドプロセッサ３４０ａは、サウンドステージを広げることができ、それにより、深度レンダリング効果のスイートスポットを広くする。一実施形態では、サラウンドプロセッサ３４０ａは、代理人整理番号ＳＲＳＬＡＢＳ．１００Ｃ２の米国特許第７，４９２，９０７号明細書で説明される１つまたは複数の頭部伝達関数または遠近感曲線を使用してサウンドステージを広げ、この特許の開示は、全体が参照により本明細書に組み入れられる。一実施形態では、サラウンドプロセッサ３４０ａは、深度推定器３２０ａにより生成される制御信号またはステアリング信号の１つまたは複数に基づきこのサウンドステージ広がり効果を変調する。その結果、有利には、検出された深度の量に従って、サウンドステージを広げることができ、それにより、深度効果を拡張する。サラウンドプロセッサ３４０ａは、再生のために（または、さらに処理するために、たとえば、図３Ｄを参照のこと）リスナに左および右の出力信号を出力することができる。しかしながら、サラウンドプロセッサ３４０ａは任意選択であり、いくつかの実施形態では、省略されてもよい。
【0036】
図３Ａの深度処理システム３１０Ａを、３つ以上のオーディオ入力を処理するように適合させることができる。たとえば、図３Ｂは、５．１サラウンド・サウンド・チャンネル入力を処理する深度処理システムの一実施形態３１０Ｂを描く。これらの入力は、左フロント（Ｌ）、右フロント（Ｒ）、センター（Ｃ）、左サラウンド（ＬＳ）、右サラウンド（ＲＳ）、およびサブウーファ（Ｓ）の入力を含む。
【0037】
深度推定器３２０ｂ、深度レンダラ３２０ｂ、およびサラウンドプロセッサ３４０ｂは、それぞれ深度推定器３２０ａおよび深度レンダラ３２０ａと同一の、または実質的に同一の機能を実施することができる。深度推定器３２０ｂおよび深度レンダラ３２０ｂは、ＬＳおよびＬＲの信号を別個のＬおよびＲの信号として扱うことができる。したがって、深度推定器３２０ｂは、ＬおよびＲの信号に基づき第１の深度推定値／複数の制御信号を、およびＬＳおよびＬＲの信号に基づき第２の深度推定値／複数の制御信号を生成することができる。深度処理システム３１０Ｂは、深度処理されたＬおよびＲの信号、ならびに別個の深度処理されたＬＳおよびＬＲの信号を出力することができる。ＣおよびＳの信号を複数の出力に通過させることができる、またはこれらの信号に同様に拡張を適用することができる。
【0038】
サラウンド・サウンド・プロセッサ３４０ｂは、深度レンダリングされたＬ、Ｒ、ＬＳ、およびＲＳの信号（ならびに任意選択でＣおよび／またはＳの信号）を２つのＬおよびＲの出力にダウンミックスしてもよい。あるいは、サラウンド・サウンド・プロセッサ３４０ｂは、完全なＬ、Ｒ、Ｃ、ＬＳ、ＲＳ、およびＳの出力を、またはこれらの出力のいくつかの他のサブセットを出力することができる。
【0039】
図３Ｃを参照すると、深度処理システムの他の実施形態３１０Ｃが示されている。別個の複数のオーディオチャンネルを受信するのではなく、描かれた実施形態では、深度処理システム３１０Ｃは、複数のオーディオオブジェクトを受信する。これらのオーディオブジェクトは、オーディオ本体（たとえばサウンド）およびオブジェクトメタデータを含む。複数のオーディオオブジェクトの例が、ビデオ内のオブジェクト（たとえば人、機械、動物、環境効果など）に対応する複数の音源または複数のオブジェクトを含むことができる。オブジェクトメタデータは、複数のオーディオオブジェクトの位置に関する位置情報を含むことができる。したがって、一実施形態では、リスナを基準にしたオブジェクトの深度がオーディオブジェクト内に明示的に符号化されるので、深度推定は必要ない。深度推定モジュールの代わりに、オブジェクトの位置情報に基づき、適切な複数の深度レンダリング・フィルタ・パラメータ（たとえば、複数の係数および／または複数の遅延）を生成することができるフィルタ変換モジュール３２０ｃが提供される。この場合、深度レンダラ３３０ｃは、計算された複数のフィルタパラメータに基づき、続けて動的脱相関を実施することができる。また、上述のように、任意選択のサラウンドプロセッサ３４０ｃが提供される。
【0040】
オブジェクトメタデータ内の位置情報は、３次元空間内の座標の形式、たとえばｘ、ｙ、ｚ座標、球座標などであってもよい。フィルタ変換モジュール３２０ｃは、メタデータ内に反映された、複数のオブジェクトの変化する複数の位置に基づき、変化する位相およびゲインの複数の関係を生み出す複数のフィルタパラメータを判定する。一実施形態では、フィルタ変換モジュール３２０ｃは、オブジェクトメタデータからデュアルオブジェクトを生み出す。このデュアルオブジェクトは、ステレオの左および右の入力信号に類似する２音源オブジェクトとすることができる。フィルタ変換モジュール３２０ｃは、モノラルオーディオ本体音源およびオブジェクトメタデータ、またはオブジェクトメタデータを有するステレオオーディオ本体音源から、このデュアルオブジェクトを生み出すことができる。フィルタ変換モジュール３２０ｃは、複数のデュアルオブジェクトのメタデータに指定された複数の位置、複数のデュアルオブジェクトの複数の速度、複数の加速度などに基づき、複数のフィルタパラメータを判定することができる。３次元空間内の複数の位置は、リスナを取り囲む音場内の内側にある複数の地点であってもよい。したがって、フィルタ変換モジュール３２０ｃは、これらの内側の地点を、深度レンダラ３３０ｃの複数のフィルタパラメータを調節するために使用することができる深度情報を指定すると解釈することができる。フィルタ変換モジュール３２０ｃは、一実施形態では、深度レンダラ３２０ｃに深度レンダリング効果の一部としてオーディオを分散させるまたは拡散させることができる。
【0041】
オーディオオブジェクト信号にはオブジェクトがいくつか存在することがあるので、フィルタ変換モジュール３２０ｃは、全体の位置推定値を合成するのではなく、オーディオ内の１つまたは複数の優勢なオブジェクトの位置（複数）に基づき、複数のフィルタパラメータを生成することができる。オブジェクトメタデータは、どのオブジェクトが優勢であるかを示す具体的なメタデータを含んでもよい、またはフィルタ変換モジュール３２０ｃは、メタデータの解析結果に基づき、優勢を推測してもよい。たとえば、複数のオブジェクトが他の複数のオブジェクトより音が大きくレンダリングされるべきであることを示すメタデータを有する複数のオブジェクトが、優勢であると考えることができる、またはリスナにより近い複数のオブジェクトが優勢であるとすることができるなど。
【0042】
深度処理システム３１０Ｃは、ＭＰＥＧ符号化された複数のオブジェクト、または２０１０年８月１３日に出願された、「オブジェクト指向オーディオ・ストリーミング・システム（Ｏｂｊｅｃｔ−Ｏｒｉｅｎｔｅｄ Ａｕｄｉｏ Ｓｔｒｅａｍｉｎｇ Ｓｙｓｔｅｍ）」と題する、代理人整理番号ＳＲＳＬＡＢＳ．５０１Ａ１の米国特許出願公開第１２／８５６，４４２号明細書で説明される複数のオーディオオブジェクトを含む、任意のタイプのオーディオオブジェクトを処理することができ、この特許出願の開示は、全体が参照により本明細書に組み入れられる。いくつかの実施形態では、複数のオーディオオブジェクトは、２０１１年３月９日に出願された、「複数のオーディオオブジェクトを動的に作り出しレンダリングするためのシステム（Ｓｙｓｔｅｍ ｆｏｒ Ｄｙｎａｍｉｃａｌｌｙ Ｃｒｅａｔｉｎｇ ａｎｄ Ｒｅｎｄｅｒｉｎｇ Ａｕｄｉｏ Ｏｂｊｅｃｔｓ）」と題する、米国特許仮出願第６１／４５１，０８５号明細書で説明されるような、複数のベース・チャンネル・オブジェクトおよび複数の拡張オブジェクトを含んでもよく、この仮出願の開示は、全体が参照により本明細書に組み入れられる。したがって、一実施形態では、深度処理システム３１０Ｃは、複数のベース・チャンネル・オブジェクトから（たとえば、深度推定器３２０を使用して）深度推定を実施してもよく、同じく、拡張オブジェクトおよびこれらのそれぞれのメタデータに基づきフィルタ変換変調（ブロック３２０ｃ）を実施してもよい。換言すれば、オーディオ・オブジェクト・メタデータは、深度を判定するために、チャンネルデータに加えて、またはチャンネルデータの代わりに使用されてもよい。
【0043】
図３Ｄでは、深度処理システムの他の実施形態３１０Ｄが示されている。この深度処理システム３１０Ｄは、図３Ａの深度処理システム３１０Ａに類似しており、クロストークキャンセラ３５０Ａが追加されている。クロストークキャンセラ３５０Ａが図３Ａの処理システム３１０Ａの特徴と一緒に示されているが、実際には、前述の深度処理システムのいずれにもクロストークキャンセラ３５０Ａを含むことができる。クロストークキャンセラ３５０Ａは、有利には、いくつかのスピーカ配置について深度レンダリング効果の質を改善することができる。
【0044】
クロストークは、２つのステレオスピーカとリスナの両耳との間の空間で発生する可能性があり、その結果、各スピーカからのサウンドが、一方の耳に局所化されるのではなく両方の耳に到達する。このような状況では、ステレオ効果が劣化する。余裕のない空間、たとえばテレビの下に合うように設計された、いくつかのスピーカキャビネット内で、他のタイプのクロストークが発生する可能性がある。これらの下方を向くステレオスピーカは、しばしば個々の筐体を有しない。その結果、これらのスピーカの背面から出てくるバックウェーブサウンド（フロントから出てくるサウンドの反転バージョンである可能性がある）が、バックウェーブミキシングにより互いに、ある形のクロストークを生み出す可能性がある。このバックウェーブ・ミキシング・クロストークは、本明細書で説明する深度レンダリング効果を減少させる、または完全に相殺する可能性がある。
【0045】
これらの効果を抑制するために、クロストークキャンセラ３５０ａは、２つのスピーカ間のクロストークを相殺する、または他の方法で低減することができる。テレビスピーカについて、よりよい深度レンダリングを容易にするのに加えて、クロストークキャンセラ３５０ａは、携帯電話、タブレット、および他の携帯型電子デバイス上の背面を向くスピーカを含む他のスピーカについて、よりよい深度レンダリングを容易にすることができる。クロストークキャンセラの一例３５０が図３Ｅに、より詳細に示されている。このクロストークキャンセラ３５０ｂは、図３Ｄのクロストークキャンセラ３５０ａの多くの可能な実装形態の１つを表す。
【0046】
クロストークキャンセラ３５０ｂは、２つの信号を、すなわち、上述のように深度効果で処理された左および右の信号を受信する。各信号がインバータ３５２、３６２により反転させられる。各インバータ３５２、３６２の出力が、遅延ブロック３５４、３６４により遅延させられる。遅延ブロックの出力が、加算器３５６、３６６で入力信号と加算される。したがって、各信号が、出力信号を作り出すために、反転させられ、遅延させられ、反対側の入力信号と加算される。遅延が正しく選ばれた場合、反転させられ、遅延させられた信号は、バックウェーブミキシングによるクロストーク（または他のクロストーク）を相殺する、または少なくとも部分的に低減するはずである。
【0047】
遅延ブロック３５４、３６４の遅延は、両耳間の音波移動時間の差を表すことができ、リスナから複数のスピーカまでの距離に依存することができる。デバイスの大部分のユーザに対して、期待される遅延と整合するように、デバイスの製造業者が深度処理システム１１０、３１０を組み込むことにより遅延を設定することができる。ユーザがデバイス（ラップトップなど）の近くに座るデバイスが、ユーザがデバイス（たとえばテレビ）から離れて座るデバイスより短い遅延を有する可能性が高い。したがって、使用されるデバイスのタイプに基づき、複数の遅延設定をカスタマイズすることができる。これらの遅延設定は、ユーザ（たとえば、デバイスの製造業者、デバイス上のソフトウェアの工事担当者、またはエンドユーザなど）が選択するために、ユーザインタフェースの形で公開することができる。あるいは、遅延を事前設定することができる。他の実施形態では、遅延は、複数のスピーカを基準にしたリスナの位置に関して得られる位置情報に基づき、動的に変更することができる。この位置情報は、カメラまたは光学センサ、たとえばマイクロソフト（Ｍｉｃｒｏｓｏｆｔ（商標） Ｃｏｒｐｏｒａｔｉｏｎ）から入手できるＸｂｏｘ（商標） Ｋｉｎｅｃｔ（商標）から得ることができる。
【0048】
同じく、複数の頭部伝達関数（ＨＲＴＦ）フィルタなどを含んでもよい他の複数の形の複数のクロストークキャンセラが使用されてもよい。ＨＲＴＦから派生した複数のフィルタをすでに含んでいる場合があるサラウンドプロセッサ３４０がシステムから除去された場合、クロストークキャンセラ３５０に複数のＨＲＴＦフィルタを追加することで、より大きなスイートスポット、および広大さの感覚が提供される場合がある。いくつかの実施形態では、サラウンドプロセッサ３４０もクロストークキャンセラ３５０も、複数のＨＲＴＦフィルタを含むことができる。
【0049】
図４は、本明細書で説明する深度処理システム１１０、３１０のいずれによっても、または本明細書で説明しない他のシステムにより、実現することができる深度レンダリング処理４００の一実施形態を示す。深度レンダリング処理４００は、深度をレンダリングして、没入型オーディオリスニング体験を生み出すための一例の手法を示す。
【0050】
ブロック４０２で、１つまたは複数のオーディオ信号を含む入力オーディオを受信する。２つ以上のオーディオ信号は、左および右のステレオ信号、上述のような５．１サラウンド信号、他の複数のサラウンド構成（たとえば、６．１、７．１など）、複数のオーディオオブジェクト、または深度処理システムが深度レンダリングの前にステレオに変換することができるモノラルオーディオさえ含むことができる。ブロック４０４で、ある期間にわたり入力信号に関連する深度情報を推定する。深度情報は、上述のようにオーディオ自体の解析から（図５も参照のこと）、ビデオ情報から、オブジェクトメタデータから、またはこれらの任意の組合せから、直接推定してもよい。
【0051】
ブロック４０６で、推定された深度情報に依存する量により、１つまたは複数のオーディオ信号を動的に脱相関する。ブロック４０８で、脱相関されたオーディオを出力する。この脱相関は、推定された深度に基づき動的にオーディオの２チャンネル間で位相および／またはゲインの複数の遅延を調節することを伴うことができる。したがって、推定された深度は、生み出された脱相関の量を駆動するステアリング信号の役割を果たすことができる。入力オーディオ内の複数の音源が一方のスピーカからもう一方へ動的に動くとき、脱相関は、対応するやり方で動的に変化することができる。たとえば、ステレオ設定では、サウンドが左スピーカから右スピーカに動く場合、左スピーカ出力が最初に強調され、続いて、音源が右スピーカに動いたとき、右スピーカが強調されてもよい。一実施形態では、脱相関は、効果的に２チャンネル間の差を増大させることになり、より大きなＬ−ＲまたはＬＳ−ＲＳの値を作り出す。
【0052】
図５は、深度推定器５２０のより詳細な一実施形態を示す。深度推定器５２０は、上述の深度推定器３２０の特徴のいずれも実現することができる。描かれる実施形態では、深度推定器５２０は、左および右の入力信号に基づき深度を推定し、出力を深度レンダラ５３０に提供する。深度推定器５２０はまた、左および右のサラウンド入力信号から深度を推定するために使用することができる。さらに、深度推定器５２０の実施形態は、本明細書で説明するビデオ深度推定器またはオブジェクトフィルタ変換モジュールとともに使用することができる。
【0053】
左および右の信号は、和ブロック５０２および差ブロック５０４に提供される。一実施形態では、深度推定器５２０は、左および右のサンプルのブロックを一度に受信する。したがって、深度推定器５２０の残りの部分が、複数のサンプルのブロックを操作することができる。和ブロック５０２はＬ＋Ｒ出力を作り出すが、差ブロック５０４はＬ−Ｒ出力を作り出す。これらの出力の各々が、元の入力と一緒に、包絡線検出器５１０に提供される。
【0054】
包絡線検出器５１０は、さまざまな技法のいずれかを使用して、Ｌ＋Ｒ、Ｌ−Ｒ、Ｌ、およびＲの信号（またはこれらの信号のサブセット）の包絡線を検出することができる。１つの包絡線検出技法が、信号の２乗平均平方根（ＲＭＳ）値を得ることである。したがって、包絡線検出器５１０の包絡線信号出力が、ＲＭＳ（Ｌ−Ｒ）、ＲＭＳ（Ｌ）、ＲＭＳ（Ｒ）、およびＲＭＳ（Ｌ＋Ｒ）と示される。これらのＲＭＳ出力は、平滑器５１２に提供され、平滑器５１２は、複数のＲＭＳ出力に平滑化フィルタを適用する。包絡線を得て、複数のオーディオ信号を平滑化することにより、複数のオーディオ信号内の（ピークなどの）変動を取り除くことができ、それにより、深度処理でその後の急激なまたは耳障りな変化を避ける、または低減する。一実施形態では、平滑器５１２は、立ち上がりが速く立ち下がりが緩やかな（ｆａｓｔ−ａｔｔａｃｋ、ｓｌｏｗ−ｄｅｃａｙ、ＦＡＳＤ）平滑器である。他の実施形態では、平滑器５１２を省略することができる。
【0055】
平滑器５１２の複数の出力は、図５ではＲＭＳ（）’と示される。ＲＭＳ（Ｌ＋Ｒ）’信号が深度計算機５２４に提供される。上述のように、Ｌ−Ｒ信号の大きさが、２つの入力信号の深度情報を反映することができる。したがって、ＲＭＳおよび平滑化されたＬ−Ｒ信号の大きさが、同じく深度情報を反映することができる。たとえば、ＲＭＳ（Ｌ−Ｒ）’信号のより大きな大きさが、ＲＭＳ（Ｌ−Ｒ）’信号のより小さな大きさより近い信号を反映することができる。前記他の方法、すなわちＬ−ＲまたはＲＭＳ（Ｌ−Ｒ）’の信号の値が、Ｌ−Ｒの複数の信号間の相関の程度を反映する。詳細には、Ｌ−ＲまたはＲＭＳ（Ｌ−Ｒ）’（またはＲＭＳ（Ｌ−Ｒ））信号が、左信号と右信号の間の両耳間相互相関係数（ｉｎｔｅｒａｕｒａｌ ｃｒｏｓｓ−ｃｏｒｒｅｌａｔｉｏｎ ｃｏｅｆｆｉｃｉｅｎｔ、ＩＡＣＣ）の逆指標とすることができる（たとえば、ＬおよびＲの信号に強い相関がある場合、これらの信号のＬ−Ｒ値は０に近くなるが、これらの信号のＩＡＣＣ値は１に近くなり、弱い相関がある場合、逆も成り立つ）。
【0056】
ＲＭＳ（Ｌ−Ｒ）’信号は、ＬおよびＲの信号間の逆相関を反映させることができるので、ＬおよびＲの出力信号の間にどれだけの脱相関を適用すべきかを判定するために、ＲＭＳ（Ｌ−Ｒ）’信号を使用することができる。深度計算機５２４は、ＲＭＳ（Ｌ−Ｒ）’信号をさらに処理して、深度推定値を提供することができ、深度推定値は、ＬおよびＲの信号に脱相関を適用するために使用することができる。一実施形態では、深度計算機５２４は、ＲＭＳ（Ｌ−Ｒ）’信号を正規化する。たとえば、包絡線信号を正規化するために、ＬおよびＲの信号の幾何平均（または他の平均または統計的尺度）でＲＭＳ値を除算することができる（たとえば、（ＲＭＳ（Ｌ）’＊ＲＭＳ（Ｒ）’）∧（１／２））。正規化は、信号レベルまたはボリュームのゆらぎが、深度のゆらぎとして誤って解釈されないことを保証するのに役立つことができる。したがって、図５に示すように、ＲＭＳ（Ｌ）’およびＲＭＳ（Ｒ）’の値は、乗算ブロック５３８で一緒に操作され、深度計算機５２４に提供され、深度計算機５２４は正規化処理を完了することができる。
【0057】
ＲＭＳ（Ｌ−Ｒ）’信号を正規化することに加えて、深度計算機５２４はまた、追加処理を適用することができる。たとえば、深度計算機５２４は、非線形処理をＲＭＳ（Ｌ−Ｒ）’信号に適用してもよい。この非線形処理は、ＲＭＳ（Ｌ−Ｒ）’信号の大きさを強めて、それにより、ＲＭＳ（Ｌ−Ｒ）’信号内の既存の脱相関を非線形に強調することができる。したがって、Ｌ−Ｒ信号内の速い変化を、Ｌ−Ｒ信号に対する遅い変化よりさらに大きく強調することができる。非線形処理は、一実施形態では、冪関数もしくは指数関数的である、または他の実施形態では、線形増加より大きい。たとえば、深度計算機５２４は、ｘ∧ａなどの指数関数を使用することができ、ここで、ｘ＝ＲＭＳ（Ｌ−Ｒ）’であり、ａ＞１である。非線形処理のために、異なる複数の形の複数の指数関数を含む他の複数の関数を選んでもよい。
【0058】
深度計算機５２４は、正規化され、非線形処理された信号を深度推定値として係数計算ブロック５３４およびサラウンド・スケール・ブロック５３６に提供する。係数計算ブロック５３４は、深度推定値の大きさに基づき、深度レンダリングフィルタの複数の係数を計算する。図６Ａおよび図６Ｂに関連して、深度レンダリングフィルタについて以下でより詳細に説明する。しかしながら、一般に、計算ブロック５３４により生成される複数の係数は、左および右のオーディオ信号に適用される位相遅延および／またはゲイン調節の量に影響を及ぼす可能性があることに留意されたい。したがって、たとえば、計算ブロック５３４は、より大きな値の複数の深度推定値に対してより大きな位相遅延を作り出す複数の係数を生成することができ、逆も成り立つ。一実施形態では、計算ブロック５３４により生成される位相遅延と、深度推定値との間の関係が、冪関数または同種のものなどの非線形である。この冪関数は、深度推定器５２０が実現されるタイプのデバイスにより判定されてもよい、リスナから複数のスピーカまでの近さに基づき任意選択で調整可能なパラメータである冪を有する。テレビは、たとえば、予想されるリスナの距離が携帯電話より大きい場合があり、したがって、計算ブロック５３４は、テレビまたは他のタイプのデバイスに対して冪関数を異なるように調整することができる。計算ブロック５３４により適用される冪関数は、深度推定の効果を拡大することができ、誇張された位相／および振幅の遅延をもたらす、深度レンダリングフィルタの複数の係数をもたらす。他の実施形態では、位相遅延と深度推定値の間の関係は、非線形ではなく線形（または両方の組合せ）である。
【0059】
サラウンド・スケール・モジュール５３６は、任意選択のサラウンドプロセッサ３４０により適用されるサラウンド処理の量を調節する信号を出力することができる。したがって、深度推定値により計算されるようなＬ−Ｒコンテンツの脱相関または広大さの量が、適用されるサラウンド処理の量を変調することができる。サラウンド・スケール・モジュール５３６は、より大きな深度推定値に対してより大きな値を、およびより小さな深度推定値に対してより小さな値を有するスケール値を出力することができる。一実施形態では、サラウンド・スケール・モジュール５３６は、冪関数または同種のものなどの非線形処理を深度推定値に適用して、スケール値を作り出す。たとえば、スケール値は、深度推定値の冪の何らかの関数とすることができる。他の実施形態では、スケール値および深度推定値は、非線形ではなく線形（または両方の組合せ）の関係を有する。スケール値により適用される処理について図１３〜図１７に関連して以下でより詳細に説明する。
【0060】
また、別個に、ＲＭＳ（Ｌ）’およびＲＭＳ（Ｒ）’の信号が、遅延および振幅計算ブロック５４０に提供される。計算ブロック５４０は、たとえば可変遅延線ポインタを更新することより、深度レンダリングフィルタ（図６Ａおよび図６Ｂ）に適用される遅延の量を計算することができる。一実施形態では、計算ブロック５４０は、ＬおよびＲの信号（またはこれらのＲＭＳ（）’均等物）のどちらが優勢であるか、またはレベルがより高いかを判定する。計算ブロック５４０は、ＲＭＳ（Ｌ）’／ＲＭＳ（Ｒ）’として２つの信号の比を得ることにより、この優勢を判定することができ、１より大きな値が左の優勢を示し、１未満の値が右の優勢を示す（分子および分母が逆である場合、逆が成り立つ）。あるいは、計算ブロック５４０は、２つの信号の単純な差を実施して、より大きな大きさを有する信号を判定する。
【0061】
左信号が優勢である場合、計算ブロック５４０は、深度レンダリングフィルタの左部分（図６Ａ）を調節して、左信号に適用される位相遅延を低減することができる。右信号が優勢である場合、計算ブロック５４０は、右信号に適用されるフィルタ（図６Ｂ）に対して同じことを実施することができる。信号の優勢は変化するので、計算ブロック５４０は、深度レンダリングフィルタに対する遅延線の値を変更することができ、左および右のチャンネル間で時間とともに位相遅延にプッシュプル変化を引き起こす。位相遅延のこのプッシュプル変化は、（たとえば優勢が変化する時間の間）選択的にチャンネル間で脱相関を増大させる、およびチャンネル間で相関を増大させる役割を少なくとも一部は果たすことができる。計算ブロック５４０は、左および右の信号優勢の変化に応答して、左と右の間で遅延優勢をフェードして、耳障りな変化または信号アーチファクトを出力するのを避けることができる。
【0062】
さらに、計算ブロック５４０は、左および右の信号（またはこれらの信号の処理された値、たとえばＲＭＳ値）の比に基づき、左および右のチャンネルに適用される全体ゲインを計算することができる。計算ブロック５４０は、これらのゲインを、位相遅延のプッシュプル変化に類似するプッシュプルのやり方で変更することができる。たとえば、左信号が優勢である場合、計算ブロック５４０は、左信号を増幅し、右信号を減衰させることができる。右信号が優勢になったとき、計算ブロック５４０は、右信号を増幅し、左信号を減衰させることができるなど。計算ブロック５４０はまた、チャンネル間でゲインをクロスフェードして、耳障りなゲイン移行または信号アーチファクトを避けることができる。
【0063】
したがって、ある種の実施形態では、遅延および振幅計算機は、深度レンダラ５３０に位相遅延および／またはゲインを脱相関させる複数のパラメータを計算する。事実上、遅延および振幅計算機５４０は、深度レンダラ５３０に、左および右の信号間の既存の位相および／またはゲインの脱相関を増幅する拡大鏡または増幅器の役割を果たさせることができる。任意の所与の実施形態で、単に位相遅延脱相関またはゲイン脱相関が実施されてもよい。
【0064】
深度計算機５２４、係数計算機ブロック５３４、および計算ブロック５４０は、一緒に作動して、深度レンダラ５３０の深度レンダリング効果を制御することができる。したがって、一実施形態では、脱相関によりもたらされる深度レンダリングの量は、多分、複数の要因に、たとえば優勢なチャンネルおよび（任意選択で、処理された）差情報（たとえば、Ｌ−Ｒなど）に依存することができる。図６Ａおよび図６Ｂに関連して以下でより詳細に説明するように、異なる情報に基づく、ブロック５３４からの係数計算結果は、深度レンダラ５３０により提供される移動遅延効果をオンまたはオフすることができる。したがって、一実施形態では、差情報は、チャンネル優勢情報が位相遅延の量を制御する間に位相遅延が実施される、および／またはゲイン脱相関が実施されるかどうかを効果的に制御する。他の実施形態では、差情報はまた、実施される位相脱相関および／またはゲイン脱相関の量に影響を及ぼす。
【0065】
図示する実施形態以外の実施形態では、単に位相および／またはゲインの脱相関の量を制御するために、深度計算機５２４の出力を使用することができるが、係数計算を制御するために、計算ブロック５４０の出力を使用することができる（たとえば、計算ブロック５３４に提供することができる）。他の実施形態では、深度計算機５２４の出力を計算ブロック５４０に提供し、差情報と優勢情報の両方に基づき、計算ブロック５４０の位相および振幅の脱相関パラメータ出力を制御する。同様に、係数計算ブロック５３４は、計算ブロック５４０から追加の複数の入力を得て、差情報および優勢情報の両方に基づき、複数の係数を計算することができる。
【0066】
ＲＭＳ（Ｌ＋Ｒ）’信号はまた、描かれた実施形態では、非線形処理（ＮＬＰ）ブロック５２２に提供される。ＮＬＰブロック５２２は、たとえば、ＲＭＳ（Ｌ＋Ｒ）’信号に指数関数を適用することにより、深度計算機５２４により適用されたのと類似するＮＬＰ処理をＲＭＳ（Ｌ＋Ｒ）’に実施することができる。多くのオーディオ信号では、Ｌ＋Ｒ情報は対話を含み、しばしばセンターチャンネルの代替物として使用される。非線形処理によりＬ＋Ｒブロックの値を拡張することは、Ｌ＋ＲまたはＣの信号にどれだけのダイナミックレンジ圧縮を適用すべきかを判定する際に有用となることができる。より大きな値の圧縮が、より大きな音の、したがってより明瞭な対話をもたらすことができる。しかしながら、Ｌ＋Ｒ信号の値が非常に小さい場合、対話が存在しない場合があり、したがって、適用される圧縮の量を低減することができる。したがって、Ｌ＋ＲまたはＣの信号に適用される圧縮の量を調節するために、圧縮スケールブロック５５０によりＮＬＰブロック５２２の出力を処理することができる。
【0067】
異なる実施形態では、深度推定器５２０の多くの態様を修正または省略することができることに留意されたい。たとえば、包絡線検出器５１０または平滑器５１２は省略されてもよい。したがって、Ｌ−Ｒ信号に直接基づき深度推定を行うことができ、信号優勢はＬおよびＲの信号に直接基づくことができる。この場合、入力信号を平滑化する代わりに、深度推定値および優勢の計算結果（ならびＬ＋Ｒに基づく圧縮スケール計算結果）を平滑化することができる。さらに、他の実施形態では、計算ブロック５４０で遅延線ポインタ計算結果を調節するために、Ｌ−Ｒ信号（またはこの信号の平滑化された／包絡線バージョン）または深度計算機５２４からの深度推定値を使用することができる。同様に、ブロック５３４で複数の係数計算結果を操作するために、（たとえば、比または差により計算された）ＬとＲの信号間の優勢を使用することができる。同様に、圧縮スケールブロック５５０またはサラウンド・スケール・ブロック５３６が省略されてもよい。以下でより詳細に説明するビデオ深度推定などの、多くの他の追加態様が、同じく深度推定器５２０に含まれてもよい。
【0068】
図６Ａおよび図６Ｂは、深度レンダラ６３０Ａ、６３０Ｂの実施形態を示し、上述の深度レンダラ３３０、５３０のより詳細な実施形態を表す。図６Ａの深度レンダラ６３０Ａは、左チャンネルに対して深度レンダリングフィルタを適用するが、一方、図６Ｂの深度レンダラ６３０Ｂは、右チャンネルに対して深度レンダリングフィルタを適用する。したがって、各図で示す構成要素が同一である（そうはいっても、いくつかの実施形態では、２つのフィルタ間に違いが提供されてもよい）。したがって、便宜上、単一の深度レンダラ６３０として深度レンダラ６３０Ａ、６３０Ｂについて一般的な形で説明する。
【0069】
上述の（および図６Ａのおよび図６Ｂで再現された）深度推定器５２０は、深度レンダラ６３０にいくつかの入力を提供することができる。これらの入力は、可変遅延線６１０、６２２に提供される１つまたは複数の遅延線ポインタ、乗算器６０２に適用される複数のフィードフォワード係数、乗算器６１６に適用される複数のフィードバック係数、および乗算器６２４に提供される（たとえば、図５のブロック５４０から得られる）全体ゲイン値を含む。
【0070】
深度レンダラ６３０は、ある種の実施形態では、入力信号の位相を調節することができる全域通過フィルタである。描かれた実施形態では、深度レンダラ６３０は、フィードフォワード構成要素６３２およびフィードバック構成要素６３４を有する無限インパルス応答（ＩＩＲ）フィルタである。一実施形態では、実質的に類似の位相遅延効果を得るために、フィードバック構成要素６３４を省略することができる。しかしながら、フィードバック構成要素６３４がなければ、潜在的に、いくつかのオーディオ周波数がゼロにされる、または他の方法で減衰させられる櫛形フィルタ効果が発生する可能性がある。したがって、フィードバック構成要素６３４は、有利には、この櫛形フィルタ効果を低減する、または取り除くことができる。フィードフォワード構成要素６３２はフィルタ６３０Ａのゼロ点を表すが、フィードバック構成要素６３４はフィルタ６３０Ａの極を表す（図７および図８を参照のこと）。
【0071】
フィードフォワード構成要素６３２は、可変遅延線６１０、乗算器６０２、および結合器６１２を含む。可変遅延線６１０は、入力として入力信号（たとえば図６Ａでは左信号）を得て、深度推定器５２０により判定される量に従って信号を遅延させ、遅延した信号を結合器６１２に提供する。入力信号はまた、乗算器６０２に提供され、乗算器６０２は、信号を基準化し、基準化された信号を結合器６１２に提供する。乗算器６０２は、図５の係数計算ブロック５３４により計算されたフィードフォワード係数を表す。
【0072】
結合器６１２の出力が、可変遅延線６２２、乗算器６１６、および結合器６１４を含むフィードバック構成要素６３４に提供される。フィードフォワード構成要素６３２の出力が、結合器６１４に提供され、結合器６１４は、出力を可変遅延線６２２に提供する。可変遅延線６２２は、可変遅延線６１０の遅延に対応する遅延を有し、深度推定器５２０（図５を参照のこと）による出力に依存する。遅延線６２２の出力が、乗算器ブロック６１６に提供される、遅延した信号である。乗算器６１６は、係数計算ブロック５３４（図５を参照のこと）により計算されたフィードバック係数を適用する。このブロック６１６の出力が、結合器６１４に提供され、結合器６１４はまた、出力を乗算器６２４に提供する。この乗算器６２４は、（以下で説明する）全体ゲインを深度レンダリングフィルタ６３０に提供する。
【0073】
フィードフォワード構成要素６３２の乗算器６０２は、入力信号＋遅延した信号のウェット／ドライミックスを制御することができる。乗算器６０２に適用されるより多くのゲインが、遅延した信号（ウェット、またはより反響する信号）に対して入力信号（ドライまたはより反響しない信号）の量を増大させることができ、逆も成り立つ。より少ないゲインを入力信号に適用することにより、入力信号の位相遅延したバージョンを優勢にすることができ、深度効果を強調し、逆も成り立つ。乗算器６０２により適用された余分なゲインを補償するために、このゲインの反転されたバージョン（図示せず）が可変遅延ブロック６１０に含まれてもよい。櫛形フィルタを適切にゼロに相殺するために、乗算器６１６のゲインをゲイン６０２に一致するように選ぶことができる。したがって、ある種の実施形態では、乗算器６０２のゲインは、時間で変化するウェット−ドライミックスを変調することができる。
【0074】
動作については、左および右の入力信号（またはＬＳおよびＲＳの信号）を選択的に相関および脱相関するために、深度推定器５２０により２つの深度レンダリングフィルタ６３０Ａ、６３０Ｂを制御することができる。両耳間時間遅延、およびしたがって左（より大きな深度が左から検出されたと仮定する）から得られる深度の感覚を生み出すために、左の遅延線６１０（図６Ａ）を一方の方向に調節することができ、一方、右の遅延線６１０（図６Ｂ）を反対方向に調節する。２チャンネル間で反対のやり方で遅延を調節することにより、チャンネル間に位相差を生み出し、それにより、チャンネルを脱相関することができる。同様に、左ゲイン（図６Ａの乗算器ブロック６２４）を一方の方向に調節し、一方、右ゲイン（図６Ｂの乗算器ブロック６２４）を他方の方向に調節することにより、両耳間強度差を生み出すことができる。したがって、オーディオ信号の深度が左と右のチャンネル間でシフトするとき、深度推定器５２０は、チャンネル間の遅延およびゲインをプッシュプルのやり方で調節することができる。あるいは、左および右の遅延および／またはゲインの一方だけを任意の所与の時間に調節することができる。
【0075】
一実施形態では、深度推定器５２０は、（遅延線６１０の）遅延またはゲイン６２４をランダムに変えて、２チャンネル間のＩＴＤおよびＩＩＤの差をランダムに変える。このランダムな変動は、小さく、または大きくすることができるが、いくつかの実施形態では、微妙なランダムな変動が、より自然なサウンドの、没入できる環境をもたらすことができる。さらに、音源が入力オーディオ信号内でリスナから遠く離れて、またはより近く移動するとき、深度レンダリングモジュールは、深度レンダリングフィルタ６３０の出力に線形のフェーディングおよび／または平滑化（図示せず）を適用して、２チャンネルの深度調節間の滑らかな移行を提供することができる。
【0076】
ある種の実施形態では、乗算器６０２に適用されるステアリング信号が比較的大きい（たとえば、＞１）とき、深度レンダリングフィルタ６３０は、すべてのゼロ点が単位円の外側にある最大位相フィルタになり、位相遅延が導入される。この最大位相効果の一例が図７Ａに示され、図７Ａは、ゼロ点を単位円の外側に有する極−ゼロ点プロット７１０を示す。対応する位相プロット７３０を図７Ｂに示し、図７Ｂは、比較的大きな値の乗算器６０２係数に対応する、約３２サンプルの一例の遅延を示す。乗算器６０２係数の値を調節することにより他の遅延値を設定することができる。
【0077】
乗算器６０２に適用されるステアリング信号が比較的小さい（たとえば、＜１）とき、深度レンダリングフィルタ６３０は、このゼロ点が単位円の内側にある最小位相フィルタになる。その結果、位相遅延はゼロに（またはゼロに近く）なる。この最小位相効果の一例が図８Ａに示され、図８Ａは、すべてのゼロ点を単位円の内側に有する極−ゼロ点プロット８１０を示す。対応する位相プロット８３０を図８Ｂに示し、図８Ｂは０サンプルの遅延を示す。
【0078】
図９は、一例の周波数領域の深度推定処理９００を示す。周波数領域処理９００は、上述のシステム１１０、３１０のいずれかにより実現することができ、図６Ａ〜図８Ｂに関連して上記で説明した時間領域フィルタの代わりに使用されてもよい。したがって、時間領域または周波数領域（または両方）で深度レンダリングを実施することができる。
【0079】
一般に、深度を強調するために、さまざまな周波数領域の技法を使用して、左および右の信号をレンダリングすることができる。たとえば、各入力信号に対して、高速フーリエ変換（ＦＦＴ）を計算することができる。次いで、各ＦＦＴ信号の位相を調節して、信号間の位相差を生み出すことができる。同様に、２つのＦＦＴ信号に、強度差を適用することができる。逆ＦＦＴを各信号に適用して、時間領域の、レンダリングされた出力信号を作り出すことができる。
【0080】
具体的に図９を参照すると、ブロック９０２で、複数のサンプルのステレオブロックを受信する。複数のサンプルのステレオブロックは、左および右のオーディオ信号を含むことができる。ブロック９０４で、複数のサンプルのブロックに窓関数９０４を適用する。ハミング窓またはハニング窓などの任意の適切な窓関数を選択することができる。ブロック９０６で、各チャンネルに対して高速フーリエ変換（ＦＦＴ）を計算して、周波数領域の信号を作り出し、ブロック９０８で、各チャンネルの周波数領域信号から大きさおよび位相の情報を抽出する。
【0081】
周波数領域信号の位相角を変更することにより、ＩＴＤ効果のための位相遅延を周波数領域で成し遂げることができる。同様に、２チャンネル間でパンすることにより、２チャンネル間のＩＩＤ効果のための大きさ変更を成し遂げることができる。したがって、ブロック９１０および９１２で、周波数に依存する複数の角度およびパニングを計算する。これらの角度およびパニングゲインを、深度推定器３２０または５２０により出力される複数の制御信号に少なくとも一部は基づき計算することができる。たとえば、左チャンネルが優勢であることを示す、深度推定器５２０からの優勢制御信号が、周波数に依存するパニングに、左チャンネルにパンする一連のサンプルにわたりゲインを計算させることができる。同様に、ＲＭＳ（Ｌ−Ｒ）’信号または同種のものを使用して、変化する複数の位相角に反映される複数の位相変化を計算することができる。
【0082】
ブロック９１４で、回転変換を使用して、たとえば極の複数の複素位相シフトを使用して、複数の位相角および複数のパニング変化を複数の周波数領域信号に適用する。ブロック９１６で、各信号における大きさおよび位相の情報を更新する。次いで、ブロック９１８で、大きさおよび位相の情報を極複素形式からデカルト複素形式に逆変換して、逆ＦＦＴ処理を可能にする。ＦＦＴアルゴリズムの選択に応じて、いくつかの実施形態では、この逆変換ステップを省略することができる。
【0083】
ブロック９２０で、各周波数領域信号に対して逆ＦＦＴを計算して、複数の時間領域信号を作り出す。次いで、ブロック９２２で、重畳加算合成（ｏｖｅｒｌａｐ−ａｄｄ ｓｙｎｔｈｅｓｉｓ）を使用して、ステレオ・サンプル・ブロックを直前のステレオ・サンプル・ブロックと結合し、次いで、ブロック９２４で出力する。
【0084】
ＩＩＩ．ビデオ深度推定実施形態図１０Ａおよび図１０Ｂは、深度を推定するために使用することができるビデオフレーム１０００の例を示す。図１０Ａでは、ビデオフレーム１０００Ａが、ビデオからのカラーシーンを描く。深度マッピングをより好都合に示すために、簡略化されたシーンが選択されたが、図示する特定のビデオフレーム１０００Ａでは、複数のオブジェクトのいずれからもオーディオを発する可能性がない。カラー・ビデオ・フレーム１０００Ａに基づき、図１０Ｂのグレースケールのフレーム１０００Ｂで示すように、現在利用可能な技法を使用して、グレースケール深度マップが生み出されてもよい。グレースケール画像内の画素の輝度が、画像内の画素の深度を反映し、より暗い画素がより大きな深度を反映し、より明るい画素がより小さな深度を反映する（これらの表記法を逆にすることができる）。
【0085】
任意の所与のビデオについて、深度推定器（たとえば３２０）が、ビデオ内の１つまたは複数のフレームに対するグレースケール深度マップを得ることができ、フレーム内の深度の推定値を深度レンダラ（たとえば３３０）に提供することができる。深度レンダラは、深度情報が得られた特定のフレームが示されるビデオ内の時間に対応するオーディオ信号で深度効果をレンダリングすることができる（図１１参照のこと）。
【0086】
図１１は、ビデオデータから深度を推定するために使用することができる深度推定およびレンダリングアルゴリズム１１００の一実施形態を示す。アルゴリズム１１００は、ビデオフレームのグレースケール深度マップ１１０２、およびスペクトル・パン・オーディオ深度マップ１１０４を受信する。ビデオフレームが再生される時間に対応する、オーディオ深度マップ１１０４内の時間の瞬間を選択することができる。相関器１１１０が、グレースケール深度マップ１１０２から得られる深度情報を、スペクトル・パン・オーディオ・マップ（またはＬ−Ｒ、Ｌ、および／またはＲの信号）から得られた深度情報と結合することができる。この相関器１１１０の出力を、深度レンダラ１１３０（または３３０または６３０）によりレンダリングされる深度を制御する１つまたは複数の深度ステアリング信号とすることができる。
【0087】
ある種の実施形態では、深度推定器（図示せず）は、グレースケール深度マップを領域に、たとえば４分の１、２分の１または同種のものに分割することができる。次いで、深度推定器は、領域内の画素深度を解析して、どの領域が優勢であるかを判定することができる。たとえば左の領域が優勢である場合、深度推定器は、深度レンダラ１１３０に左信号を強調させるステアリング信号を生成することができる。深度推定器は、このステアリング信号を、上述のように（図５を参照のこと）オーディオステアリング信号（複数）と組み合わせて、またはオーディオ信号を使用することなく独立して、生成することができる。
【0088】
図１２は、ビデオデータに基づく、深度の一例の解析プロット１２００を示す。プロット１２００では、ピークが、図１１のビデオとオーディオのマップ間の相関を反映している。これらのピークの場所が時間とともに変化するにつれ、深度推定器は、それに従ってオーディオ信号を脱相関して、ビデオおよびオーディオの信号内の深度を強調することができる。
【0089】
ＩＶ．サラウンド処理実施形態図３Ａに関連して上述したように、深度レンダリングされた左および右の信号が、任意選択のサラウンド処理モジュール３４０ａに提供される。上述のように、サラウンドプロセッサ３４０ａは、上記で組み込まれた米国特許第７，４９２，９０７号明細書で説明される１つまたは複数の遠近感曲線または同種のものを使用して、サウンドステージを広げ、それにより、スイートスポットを広くして、深度の感覚を増大させることができる。
【0090】
一実施形態では、制御信号の１つ、すなわちＬ−Ｒ信号（またはこの信号の正規化された包絡線）を使用して、サラウンド処理モジュール（図５を参照のこと）により適用されるサラウンド処理を変調することができる。Ｌ−Ｒ信号のより大きな大きさが、より大きな深度を反映することができるので、Ｌ−Ｒが比較的より大きいときに、より大きなサラウンド処理を適用することができ、Ｌ−Ｒが比較的より小さいときに、より小さなサラウンド処理を適用することができる。遠近感曲線（複数）に適用されるゲイン値を調節することにより、サラウンド処理を調節することができる。適用されるサラウンド処理の量を調節することにより、オーディオ信号内にわずかな深度が存在するときに、サラウンド処理をあまりにも多く適用しすぎる、潜在的な逆効果を低減することができる。
【0091】
図１３〜図１６は、サラウンドプロセッサの実施形態を示す。図１７および図１８は、仮想サラウンド効果を生み出すために複数のサラウンドプロセッサにより使用することができる、複数の遠近感曲線の実施形態を示す。
【0092】
図１３に戻ると、サラウンドプロセッサ１３４０の一実施形態が示されている。サラウンドプロセッサ１３４０は、上述のサラウンドプロセッサ３４０のより詳細な一実施形態である。サラウンドプロセッサ１３４０は、パッシブ・マトリックス・デコーダ、サークル・サラウンド・デコーダ（「５−２−５マトリックスシステム（５−２−５ Ｍａｔｒｉｘ Ｓｙｓｔｅｍ）」と題する米国特許第５，７７１，２９５明細書を参照のこと、この特許の開示は全体が参照により本明細書に組み入れられる）、または同種のものであってもよいデコーダ１３８０を含む。デコーダ１３８０は、（たとえば深度レンダラ３３０ａから受信された）左および右の入力信号を、遠近感曲線フィルタ（複数）１３９０でサラウンド処理することができる複数の信号に復号することができる。一実施形態では、デコーダ１３８０の出力は、左、右、センター、およびサラウンドの信号を含む。サラウンド信号は、左および右のサラウンドの両方を、または単に単一のサラウンド信号を含んでもよい。一実施形態では、デコーダ１３８０は、ＬおよびＲの信号を加算することにより（Ｌ＋Ｒ）センター信号を合成し、ＬからＲを減算することにより（Ｌ−Ｒ）リアサラウンド信号を合成する。
【0093】
１つまたは複数の遠近感曲線フィルタ（複数）１３９０は、上述のように、深度レンダリングの目的でスイートスポットを広くすることができるデコーダ１３８０により出力される複数の信号に対して広大さ拡張を提供することができる。図示するように、Ｌ−Ｒ差情報に基づき、これらのフィルタ（複数）１３９０により提供される広大さまたは遠近感の効果を変調または調節することができる。このＬ−Ｒ差情報は、図５に関連して上記で説明した包絡線、平滑化、および／または正規化の効果に従って処理されたＬ−Ｒ差情報であってもよい。
【0094】
いくつかの実施形態では、サラウンドプロセッサ１３４０により提供されるサラウンド効果を、深度レンダリングとは無関係に使用することができる。左および右の信号の差情報によりこのサラウンド効果を変調することにより、深度レンダリングとは無関係にサウンド効果の質を拡張することができる。
【0095】
本明細書で説明するシステムおよび方法とともに実現することができる複数の遠近感曲線および複数のサラウンドプロセッサに関する情報が、「録音および再生で使用するための複数チャンネルのオーディオ拡張、ならびにこれを提供する方法（Multi-Channel Audio Enhancement System For Use In Recording And Playback And Methods For Providing Same）」と題する米国特許第７，４９２，９０７号明細書、「複数チャンネルオーディオ拡張システム（Multi-Channel Audio Enhancement System）」と題する米国特許第８，０５０，４３４号明細書、および「サラウンドサウンド環境で使用するためのオーディオ拡張システム（Audio Enhancement System for Use in a Surround Sound System Environment）」と題する米国特許第５，９７０，１５２号明細書にさらに説明されており、これらの特許の各々の開示は、全体が参照により本明細書に組み入れられる。
【0096】
図１４は、サラウンドプロセッサ１４００のより詳細な一実施形態を示す。サラウンドプロセッサ１４００を使用して、上述のサラウンドプロセッサ、たとえばサラウンドプロセッサ１３４０の特徴のいずれも実現することができる。図示しやすくするために、デコーダを示していない。代わりに、オーディオ入力ＭＬ（左フロント）、ＭＲ（右フロント）、センター（ＣＩＮ）、任意選択のサブウーファ（Ｂ）、左サラウンド（ＳＬ）、および右サラウンド（ＳＲ）がサラウンドプロセッサ１４００に提供され、サラウンドプロセッサ１４００は、遠近感曲線フィルタ１４７０、１４０６、および１４２０を複数のオーディオ入力のさまざまなミキシングに適用する。
【0097】
信号ＭＬおよびＭＲは、音量調節信号Ｍ音量により制御される、対応するゲイン調整乗算器１４５２および１４５４に供給される。センター信号Ｃのゲインは、信号Ｍ音量により制御される第１の乗算器１４５６、およびセンター調節信号Ｃ音量により制御される第２の乗算器１４５８により調整されてもよい。同様に、サラウンド信号ＳＬおよびＳＲは、音量調節信号Ｓ音量により制御されるそれぞれの乗算器１４６０および１４６２にまず供給される。
【0098】
主要なフロント左信号ＭＬおよびフロント右信号ＭＲは、それぞれ加算接続点１４６４および１４６６に供給される。加算接続点１４６４は、ＭＲを受信する反転入力、およびＭＬを受信する非反転入力を有し、これらの入力は結合して、出力経路１４６８に沿ってＭＬ−ＭＲを作り出す。信号ＭＬ−ＭＲは、伝達関数Ｐ１により特徴づけられる遠近感曲線フィルタ１４７０に供給される。処理された差信号（ＭＬ−ＭＲ）ｐが、遠近感曲線フィルタ１４７０の出力で、ゲイン調節乗算器１４７２に引き渡される。ゲイン調節乗算器１４７２は、図５に関連して上記で説明したサラウンドスケール５３６設定を適用することができる。その結果、遠近感曲線フィルタ１４７０の出力を、Ｌ−Ｒ信号内の差情報に基づき変調することができる。
【0099】
乗算器１４７２の出力が、直接左ミキサ１４８０に、およびインバータ１４８２に供給される。反転された差信号（ＭＲ−ＭＬ）ｐが、インバータ１４８２から右ミキサ１４８４に送信される。和信号ＭＬ＋ＭＲが接続点１４６６を出て、ゲイン調節乗算器１４８６に供給される。ゲイン調節乗算器１４８６はまた、図５に関連して上記で説明したサラウンドスケール５３６設定または何らかの他のゲイン設定を適用してもよい。
【0100】
乗算器１４８６の出力が加算接続点に供給され、加算接続点は、センターチャンネル信号Ｃを信号ＭＬ＋ＭＲと加算する。結合された信号ＭＬ＋ＭＲ＋Ｃが接続点１４９０を出て、左ミキサ１４８０と右ミキサ１４８４の両方に向けられる。最後に、元の信号ＭＬおよびＭＲが、ミキサ１４８０および１４８４に送信される前に、まず固定されたゲイン調節構成要素、たとえばそれぞれ増幅器１４９０および１４９２を通して供給される。
【0101】
サラウンド左信号ＳＬおよびサラウンド右信号ＳＲが、それぞれ乗算器１４６０および１４６２を出て、それぞれ加算接続点１４００および１４０２に供給される。加算接続点１４０１は、ＳＲを受信する反転入力、およびＳＬを受信する非反転入力を有し、これらの入力は、結合して出力経路１４０４に沿ってＳＬ−ＳＲを作り出す。加算接続点１４６４、１４６６、１４００、および１４０２のすべては、和信号が生成されるか、差信号が生成されるかどうかに応じて、反転増幅器または非反転増幅器として構成されてもよい。反転増幅器も非反転増幅器も、当業者には一般的な原理に従って、通常の演算増幅器から構築されてもよい。信号ＳＬ−ＳＲは、伝達関数Ｐ２により特徴づけられる遠近感曲線フィルタ１４０６に供給される。
【0102】
処理された差信号（ＳＬ−ＳＲ）ｐが、遠近感曲線フィルタ１４０６の出力で、ゲイン調節乗算器１４０８に引き渡される。ゲイン調節乗算器１４０８は、図５に関連して上記で説明したサラウンドスケール５３６設定を適用することができる。このサラウンドスケール５３６設定は、乗算器１４７２により適用されるものと同一でも、異なっていてもよい。他の実施形態では、乗算器１４０８は省略される、またはサラウンドスケール５３６設定以外の設定に依存する。
【0103】
乗算器１４０８の出力が、直接左ミキサ１４８０に、およびインバータ１４１０に供給される。反転された差信号（ＳＲ−ＳＬ）ｐが、インバータ１４１０から右ミキサ１４８４に送信される。和信号ＳＬ＋ＳＲが接続点１４０２を出て、伝達関数Ｐ３により特徴づけられる別個の遠近感曲線フィルタ１４２０に供給される。処理された和信号（ＳＬ＋ＳＲ）ｐが、遠近感曲線フィルタ１４２０の出力で、ゲイン調節乗算器１４３２に引き渡される。ゲイン調節乗算器１４３２は、図５に関連して上記で説明したサラウンドスケール５３６設定を適用することができる。このサラウンドスケール５３６設定は、乗算器１４７２、１４０８により適用されたものと同一でも、異なっていてもよい。他の実施形態では、乗算器１４３２は省略される、またはサラウンドスケール５３６設定以外の設定に依存する。
【0104】
和および差の信号が参照されているが、実際に和および差の信号を使用するのは代表的でしかないことに留意されたい。１対の信号の、周囲の構成要素およびモノラルの構成要素が、どのように分離されるかにかかわらず、同一処理を達成することができる。乗算器１４３２の出力が、左ミキサ１４８０および右ミキサ１４８４に直接供給される。また、元の信号ＳＬおよびＳＲは、ミキサ１４８０および１４８４に送信される前にまず、それぞれ、固定されたゲインの増幅器１４３０および１４３４を通して供給される。最後に、低周波効果チャンネルＢが、出力低周波効果信号ＢＯＵＴを生み出すために、増幅器１４３６を通して供給される。任意選択で、低周波チャンネルＢは、サブウーファが利用可能ではない場合、出力信号ＬＯＵＴおよびＲＯＵＴの一部としてミックスされてもよい。
【0105】
さらに、遠近感曲線フィルタ１４７０だけでなく遠近感曲線フィルタ１４０６および１４２０も、さまざまなオーディオ拡張技法を利用してもよい。たとえば、遠近感曲線フィルタ１４７０、１４０６、および１４２０は、時間遅延技法、位相シフト技法、信号等価、またはこれらの技法すべての組合せを使用して、所望のオーディオ効果を達成してもよい。
【0106】
一実施形態では、サラウンドプロセッサ１４００は、１組の複数チャンネル信号を固有に所要の状態にして、２つの出力信号ＬＯＵＴおよびＲＯＵＴの再生によりサラウンドサウンド体験を提供する。具体的には、信号ＭＬおよびＭＲは、これらの信号に存在する周囲情報を分離することにより、集合的に処理される。周囲信号構成要素は、１対のオーディオ信号の差を表す。したがって、１対のオーディオ信号から得られる周囲信号構成要素が、しばしば「差」信号構成要素と呼ばれる。遠近感曲線フィルタ１４７０、１４０６、および１４２０は、和および差の信号を生成するとして示され、説明されるが、遠近感曲線フィルタ１４７０、１４０６、および１４２０の他の実施形態が、和および差の信号を明瞭に生成しなくてもよい。
【0107】
５．１サラウンドオーディオ信号源の処理に加えて、サラウンドプロセッサ１４００は、より少ない別個のオーディオチャンネルを有する信号源を自動的に処理することができる。たとえば、ＳＬ＝ＳＲであるドルビー・プロ・ロジック（Ｄｏｌｂｙ Ｐｒｏ−Ｌｏｇｉｃ）信号またはパッシブマトリックス復号信号（図１３を参照のこと）がサラウンドプロセッサ１４００によりたとえば入力された場合、一実施形態では、接続点１４００で周囲構成要素が生成されないので、遠近感曲線フィルタ１４２０だけが動作して、リアチャンネル信号を修正してもよい。同様に、２チャンネルのステレオ信号ＭＬおよびＭＲだけが存在する場合、サラウンドプロセッサ１４００は、遠近感曲線フィルタ１４７０の動作により、空間的に拡張されたリスニング体験を２チャンネルだけから生み出すように動作する。
【0108】
図１５は、本明細書で説明する複数のサラウンドプロセッサのいずれかにより実現することができる複数の例示的遠近感曲線１５００を示す。これらの遠近感曲線１５００は、一実施形態では、図１４の遠近感曲線フィルタ１４７０により実現することができる複数のフロント遠近感曲線である。図１５は、入力１５０２、すなわち−１５ｄＢＦＳ対数スイープを描き、同じく、表示された周波数範囲にわたり遠近感曲線フィルタの例示的な大きさの応答を示すトレース１５０４、１５０６、および１５０８を描く。
【0109】
図１５で複数のトレースにより示される応答は、２０Ｈｚ〜２０ｋＨｚの周波数範囲全体にわたり示されているが、これらの応答は、ある種の実施形態では、可聴範囲全体にわたり提供される必要がない。たとえば、ある種の実施形態では、機能をほとんどまたはまったく失うことなく、周波数応答のうちのいくらかを、たとえば４０Ｈｚ〜１０ｋＨｚの範囲に切り捨てることができる。また、周波数応答として他の範囲が提供されてもよい。
【0110】
ある種の実施形態では、トレース１５０４、１５０６、および１５０８は、上述の遠近感フィルタの１つまたは複数の、たとえばフロントまたは（任意選択で）リアの遠近感フィルタの例示的周波数応答を示す。これらのトレース１５０４、１５０６、および１５０８は、図５のサラウンドスケール５３６設定に基づく、異なるレベルの遠近感曲線フィルタを表す。より大きな大きさのサラウンドスケール５３６設定が、より大きな大きさの曲線（たとえば、曲線１４０４）をもたらすことができるが、より小さな大きさのサラウンドスケール５３６設定が、より小さな大きさの曲線（たとえば、１４０６または１４０８）をもたらすことができる。図示する実際の大きさは単に例でしかなく、変えることができる。さらに、ある種の実施形態では、サラウンドスケール値５３６に基づき、４つ以上の異なる大きさを選択することができる。
【0111】
より詳細には、トレース１５０４は、約２０Ｈｚで−１６ｄＢＦＳから始まり、約１００Ｈｚで約−１１ｄＢＦＳに増大する。その後、トレース１５０４は、約２ｋＨｚで約−１７．５ｄＢＦＳまで低減し、その後、約１５ｋＨｚで約−１２．５ｄＢＦＳまで増大する。トレース１５０６は、約２０Ｈｚで約−１４ｄＢＦＳから始まり、約１００Ｈｚで約−１０ｄＢＦＳまで増大し、約２ｋＨｚで約−１６ｄＢＦＳまで低減し、約１５ｋＨｚで約−１１ｄＢＦＳまで増大する。トレース１５０８は、約２０Ｈｚで約−１２．５ｄＢＦＳから始まり、約１００Ｈｚで約−９ｄＢＦＳまで増大し、約２ｋＨｚで約−１４．５ｄＢＦＳまで低減し、約１５ｋＨｚで約−１０．２ｄＢＦＳまで増大する。
【0112】
トレース１５０４、１５０６、および１５０８の描かれた実施形態に示すように、約２ｋＨｚ範囲の周波数が遠近感フィルタによりあまり強調されず、約１００Ｈｚおよび約１５ｋＨｚの周波数が、複数の遠近感フィルタにより強調される。これらの周波数は、ある種の実施形態では、変えられてもよい。
【0113】
図１６は、本明細書で説明する複数のサラウンドプロセッサのいずれかにより実現することができる複数の例示的遠近感曲線１６００を示す。これらの遠近感曲線１６００は、一実施形態では、図１４の遠近感曲線フィルタ１４０６または１４２０により実現することができる複数のリア遠近感曲線である。図１５のように、入力対数周波数スイープ１６１０を示し、２つの異なる遠近感曲線フィルタの出力トレース１６２０、１６３０をもたらす。
【0114】
一実施形態では、遠近感曲線１６２０は、サラウンド差信号に適用された遠近感曲線フィルタに対応する。たとえば、遠近感曲線フィルタ１４０６により遠近感曲線１６２０を実現することができる。遠近感曲線１６２０は、ある種の実施形態では、サラウンド和信号に適用された遠近感曲線フィルタに対応する。たとえば、遠近感曲線フィルタ１４２０により遠近感曲線１６３０を実現することができる。曲線１６２０、１６３０の実効的な大きさは、上述のサラウンドスケール５３６設定に基づき変わることができる。
【0115】
より詳細には、図示する例示的実施形態では、曲線１６２０は、約−１０ｄＢＦＳのほぼ平坦なゲインを有し、このゲインは、約２ｋＨｚと約４ｋＨｚの間に発生する、またはほぼ２．５ｋＨｚと３ｋＨｚの間にある谷まで減衰する。この谷から、曲線１６２０は、ピークが発生する約１１ｋＨｚまで、または約１０ｋＨｚと１２ｋＨｚの間で振幅が増大する。このピークの後、曲線１６２０は再度、約２０ｋＨｚ以下まで減衰する。曲線１６３０は、類似の構造を有するが、それほど顕著ではないピークおよび谷を有し、約３ｋＨｚ（または約２ｋＨｚと４ｋＨｚの間）にある谷まで平坦な曲線であり、ピークが約１１ｋＨｚ（または約１０ｋＨｚと１２ｋＨｚの間）にあり、約２０ｋＨｚ以下まで減衰する。
【0116】
図示する曲線は単なる例であり、異なる実施形態では変えることができる。たとえば、複数の曲線と高域フィルタを組み合わせて、平坦な低周波応答を、減衰する低周波応答に変更することができる。
【0117】
Ｖ．用語本明細書で説明する以外の多くの変形形態がこの開示から明らかであろう。たとえば、実施形態に応じて、本明細書で説明する複数のアルゴリズムのいずれかのある種の複数の活動、複数のイベント、または複数の機能を、異なる順序で実施することができる、追加する、統合する、または同時に省くことができる（たとえば複数のアルゴリズムの実施のために、説明するすべての活動またはイベントが必要であるわけではない）。さらに、ある種の実施形態では、複数の活動または複数のイベントは、順次にではなく、同時に、たとえば、マルチスレッド処理、割込処理、または複数のプロセッサもしくは複数のプロセッサコアにより、または他の複数の並列アーキテクチャで実施することができる。さらに、一緒に機能することができる、異なる複数の機械および／または複数のコンピューティングシステムにより、異なる複数のタスクまたは複数の処理を実施することができる。
【0118】
本明細書で開示する実施形態に関連して説明する、さまざまな複数の例示的論理ブロック、複数のモジュール、および複数のアルゴリズムステップを、電子回路ハードウェア、コンピュータソフトウェア、または両方の組合せとして実現することができる。ハードウェアおよびソフトウェアのこの互換性を明確に示すために、さまざまな例示的構成要素、ブロック、モジュール、およびステップについて、一般にこれらの機能に関して上記で説明した。このような機能がハードウェアまたはソフトウェアとして実現されるかどうかは、システム全体に課された特定の用途および設計の複数の制約に依存する。説明する機能を、それぞれの特定の用途についてさまざまな方法で実現することができるが、このような実現の複数の決定が、本開示の範囲からの逸脱を引き起こすと解釈されるべきではない。
【0119】
本明細書で開示する実施形態に関連して説明するさまざまな例示的論理ブロックおよびモジュールを、機械により、たとえば、汎用プロセッサ、デジタル・シグナル・プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）もしくは他のプログラム可能論理デバイス、ディスクリートのゲートもしくはトランジスタ論理回路、ディスクリートの複数のハードウェア構成要素、または本明細書で説明する複数の機能を実施するように設計されたこれらの任意の組合せにより実現または実施することができる。汎用プロセッサをマイクロプロセッサとすることができるが、代替形態では、プロセッサを、コントローラ、マイクロコントローラ、もしくは状態機械、これらの組合せ、または同種のものとすることができる。また、プロセッサを、複数のコンピューティングデバイスの組合せとして、たとえば、ＤＳＰとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと１つまたは複数のマイクロプロセッサとの併用、または任意の他のこのような構成として実現することができる。デジタル技術に関して本明細書で主に説明するが、プロセッサが、同じく主にアナログ構成要素を含んでもよい。たとえば、本明細書で説明する複数の信号処理アルゴリズムのいずれも、アナログ回路で実現されてもよい。コンピューティング環境が、少し例を挙げると、マイクロプロセッサに基づくコンピュータシステム、メインフレームコンピュータ、デジタル・シグナル・プロセッサ、携帯型コンピューティングデバイス、パーソナルオーガナイザ、デバイスコントローラ、および設備内部の計算エンジンを含むがこれらに限定されない、任意のタイプのコンピュータシステムを含むことができる。
【0120】
本明細書で開示する実施形態に関連して説明する、方法、処理、またはアルゴリズムの複数のステップを、ハードウェアで、プロセッサにより実行されるソフトウェアモジュールで、または両方の組合せで直接具体化することができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、取り外し可能ディスク、ＣＤ−ＲＯＭ、または任意の他の形態の非一時的コンピュータ可読媒体、メディア、もしくは当技術分野で公知の物理的コンピュータ記憶装置に常駐することができる。プロセッサが記憶媒体から情報を読み出し、記憶装置に情報を書き込むことができるように、例示的記憶媒体をプロセッサに結合することができる。代替形態では、記憶媒体をプロセッサに一体化することができる。プロセッサおよび記憶媒体は、ＡＳＩＣに常駐することができる。ＡＳＩＣはユーザ端末に常駐することができる。代替形態では、プロセッサおよび記憶媒体は、ユーザ端末に別個の構成要素として常駐することができる。
【0121】
本明細書で使用する、条件を表す言葉、たとえば、とりわけ「ｃａｎ」、「ｍｉｇｈｔ」、「ｍａｙ」、「ｅ．ｇ．」などは、具体的に他の方法で明言されない場合、または使用されるときに文脈の中で他の方法で理解されない場合、一般に、ある種の複数の特徴、複数の要素、および／または複数の状態を、ある種の実施形態が含むが、他の実施形態が含まないことを伝えることが意図される。したがって、このような条件を表す言葉は、一般に、複数の特徴、複数の要素、および／または複数の状態が、１つまたは複数の実施形態で、任意の方法で必要とされること、またはこれらの特徴、要素、および／または状態が含まれるにせよ、任意の特定の実施形態で実現されるはずであるにせよ、いずれにしても、１つまたは複数の実施形態が、作成者の入力または催促ありまたはなしで、決定を下すための論理回路を必ず含むことを意味することが意図されない。用語「ｃｏｍｐｒｉｓｉｎｇ」、「ｉｎｃｌｕｄｉｎｇ」、「ｈａｖｉｎｇ」などは、同義語であり、非限定的なやり方で包括的に使用され、追加の複数の要素、複数の特徴、複数の活動、複数の動作などを排除しない。また、用語「ｏｒ」は、（排他的な意味ではなく）包括的な意味で使用され、その結果、たとえば複数の要素のリストを連結するために使用されたときに、用語「ｏｒ」は、リスト内の複数の要素のうち１つ、いくつか、またはすべてを意味する。
【0122】
上記の詳細な説明が、さまざまな実施形態に適用されるような新規な複数の特徴を示し、説明し、指摘したが、本開示の精神を逸脱することなく、示される複数のデバイスまたは複数のアルゴリズムの形態および詳細に、さまざまな省略、置換、および変更を行うことができることを理解されよう。理解されるように、いくつかの特徴が他とは別個に使用または実施することができるので、本明細書で示す複数の特徴および複数の利益のすべてを提供するわけではない形態の範囲内で、本明細書で説明する本発明のある種の実施形態を具体化することができる。以下に、本願出願時の特許請求の範囲に記載された発明を付記する。
[１] オーディオ信号に適用される遠近感拡張を変調する方法であって、
前記方法は、
リスナを基準にして音源の空間的位置に関する情報をそれぞれ備える左および右のオーディオ信号を受信することと、
前記左および右のオーディオ信号の差情報を計算することと、
左および右の出力信号をもたらすように、前記左および右のオーディオ信号の差情報に少なくとも１つの遠近感フィルタを適用することと、
前記左および右の出力信号に、前記計算された情報に少なくとも一部は基づくゲインの値を適用することと、
を備え、
前記ゲインを少なくとも前記適用することは、１つまたは複数のプロセッサにより実施される方法。
[２] 前記差情報の包絡線を検出することおよび前記差信号を平滑化することのうち１つまたは複数を実施することをさらに備える、前記[１]に記載の方法。
[３] 前記変調することは、前記差情報の前記包絡線および前記平滑化された差情報のうちの一方または両方に少なくとも一部は基づき、前記少なくとも１つの遠近感フィルタの前記適用を変調することを備える、前記[２]に記載の方法。
[４] 前記左および右のオーディオ信号の複数の信号レベルに少なくとも一部は基づき、前記差情報を正規化することをさらに備える、前記[１]、[２]、または[３]に記載の方法。
[５] 前記変調することは、前記正規化された差情報に少なくとも一部は基づき、前記少なくとも１つの遠近感フィルタの前記適用を変調することを備える、前記[４]に記載の方法。
[６] 前記正規化することは、前記左および右のオーディオ信号の幾何平均を計算することと、前記計算された幾何平均で前記差情報を除算することと、を備える、前記[４]または[５]に記載の方法。
[７] 前記左および右の出力信号にクロストークキャンセルを適用して、バックウェーブクロストークを低減することをさらに備える、前記[１]から[６]のいずれかに記載の方法。
[８] 前記少なくとも１つの遠近感フィルタを適用することの前に、前記差情報に少なくとも一部は基づき、前記左および右のオーディオ信号に深度レンダリング拡張を適用することをさらに備える、前記[１]から[７]のいずれかに記載の方法。
[９] 前記左および右のオーディオ信号に前記深度レンダリング拡張を前記適用することは、前記左および右のオーディオ信号を脱相関することを備える、前記[８]に記載の方法。
[１０] オーディオ信号に適用される遠近感拡張を変調するシステムであって、
前記システムは、
リスナを基準にして音源の空間的位置に関する情報をそれぞれ備える左および右のオーディオ信号を受信すること、および
前記左および右のオーディオ信号から差信号を得ること
に少なくともより、複数のオーディオ信号を解析するように構成された信号解析構成要素と、
少なくとも１つの遠近感フィルタを前記差信号に適用して、左および右の出力信号をもたらすように構成された、１つまたは複数の物理的プロセッサを備えるサラウンドプロセッサと、
を備え、前記少なくとも１つの遠近感フィルタの出力が、前記計算された差情報に少なくとも一部は基づき変調されるシステム。
[１１] 前記信号解析器は、前記差信号の包絡線を検出することおよび前記差信号を平滑化することのうち１つまたは複数を少なくとも実施するようにさらに構成される、前記[１０]に記載のシステム。
[１２] 前記サラウンドプロセッサは、前記差信号の前記包絡線および前記平滑化された差信号のうちの一方または両方に少なくとも一部は基づき、前記変調を実施するように構成される、前記[１１]に記載のシステム。
[１３] 前記信号解析器は、前記左および右のオーディオ信号の複数の信号レベルに少なくとも一部は基づき、前記差信号を正規化するようにさらに構成される、前記[１０]、[１１]、または[１２]に記載のシステム。
[１４] 前記サラウンドプロセッサは、前記正規化された差信号に少なくとも一部は基づき、前記変調を実施するようにさらに構成される、前記[１３]に記載のシステム。
[１５] 前記信号解析器は、少なくとも、前記左および右のオーディオ信号の幾何平均を少なくとも計算すること、および前記計算された幾何平均で前記差信号を除算することにより、前記差信号を正規化するようにさらに構成される、前記[１３]または[１４]に記載のシステム。
[１６] 前記左および右の出力信号にクロストークキャンセルを適用するように構成されたクロストークキャンセラをさらに備える、前記[１０]から[１５]のいずれか一項に記載のシステム。
[１７] 前記少なくとも１つの遠近感フィルタを適用する前に、前記差信号に少なくとも一部は基づき、前記左および右のオーディオ信号に深度をレンダリングするように構成された深度レンダリング構成要素をさらに備える、前記[１０]から[１６]のいずれか一項に記載のシステム。
[１８] 前記深度レンダリング構成要素は、前記左および右のオーディオ信号を少なくとも脱相関することにより、前記深度をレンダリングするようにさらに構成される、前記[１７]に記載のシステム。
[１９] １つまたは複数のプロセッサ内で、オーディオ信号に適用される遠近感拡張を変調するための複数の動作を実施するように構成された、中に記憶された複数の命令を備える非一時的な物理的コンピュータ記憶装置であって、前記複数の動作は、
リスナを基準にして音源の空間的位置に関する情報をそれぞれ備える左および右のオーディオ信号を受信することと、
前記左および右のオーディオ信号の差情報を計算することと、
左および右の出力信号をもたらすように、記左および右のオーディオ信号の各々に少なくとも１つの遠近感フィルタを適用することと、
前記計算された差情報に少なくとも一部は基づき、前記少なくとも１つの遠近感フィルタの前記適用を変調することと、
を備える非一時的な物理的コンピュータ記憶装置。
[２０] オーディオ信号に適用される遠近感拡張を変調するシステムであって、
前記システムは、
リスナを基準にして音源の空間的位置に関する情報をそれぞれ備える左および右のオーディオ信号を受信するための手段と、
前記左および右のオーディオ信号の差情報を計算するための手段と、
左および右の出力信号をもたらすように、前記左および右のオーディオ信号の各々に少なくとも１つの遠近感フィルタを適用するための手段と、
前記計算された差情報に少なくとも一部は基づき、前記少なくとも１つの遠近感フィルタの前記適用を変調するための手段と、
を備えるシステム。