(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-25
(45)【発行日】2023-06-02
(54)【発明の名称】フォービエイテッドオーディオレンダリング
(51)【国際特許分類】
H04S 7/00 20060101AFI20230526BHJP
【ＦＩ】
H04S7/00 300
【請求項の数】
23
(21)【出願番号】P 2021570183
(86)(22)【出願日】2019-06-10
(65)【公表番号】
(43)【公表日】2022-08-15
(86)【国際出願番号】 US2019036315
(87)【国際公開番号】W WO2020242506
(87)【国際公開日】2020-12-03
【審査請求日】2022-04-01
(31)【優先権主張番号】62/855,225
(32)【優先日】2019-05-31
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】503206684
【氏名又は名称】ディーティーエス・インコーポレイテッド
【氏名又は名称原語表記】ＤＴＳ，Ｉｎｃ．
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100086771
【弁理士】
【氏名又は名称】西島 孝喜
(74)【代理人】
【識別番号】100109335
【弁理士】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(72)【発明者】
【氏名】ウォルシュ マーティン
(72)【発明者】
【氏名】シュタイン エドワード
【審査官】冨澤 直樹
(56)【参考文献】
【文献】特表２０１１－５３０９１３（ＪＰ，Ａ）
【文献】特開２００１－２１８２９３（ＪＰ，Ａ）
【文献】特開２０１３－２２３０９８（ＪＰ，Ａ）
【文献】特表２０１１－５０５１０６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｓ １／００－７／００
(57)【特許請求の範囲】
【請求項1】
サウンドレンダリングシステムであって、１又は２以上のプロセッサと、
命令を含む記憶装置と、
を備え、
前記命令が、前記１又は２以上のプロセッサによって実行されたときに、
第１のレンダリング品質を用いて第１のサウンド信号をレンダリングし、前記第１のサウンド信号が中央視覚領域内の第１の音源に関連付けられ、前記第１のレンダリング品質が、個別化された頭部伝達関数（ＨＲＴＦ）の複素周波数領域補間を含み、
第２のレンダリング品質を用いて第２のサウンド信号をレンダリングし、前記第２のサウンド信号が周辺視覚領域内の第２の音源に関連付けられ、前記第２のレンダリング品質は、音源ごとに計算された両耳間時間差（ＩＴＤ）を用いた線形時間領域ＨＲＴＦ補間を含み、前記第１のレンダリング品質が前記第２のレンダリング品質を上回る、
ように前記１又は２以上のプロセッサを構成する、
ことを特徴とするサウンドレンダリングシステム。
【請求項2】
前記中央視覚領域は、中央視力と関連付けられ、前記周辺視覚領域は、周辺視力と関連付けられ、
前記中央視力は、前記周辺視力を上回る、
請求項１に記載のシステム。
【請求項3】
前記中央視覚領域は、ユーザ注視方向に中央円錐領域を含み、前記周辺視覚領域は、ユーザ視野内にあり前記中央円錐領域の外にある周辺円錐領域を含む、
請求項２に記載のシステム。
【請求項4】
前記命令は更に、遷移レンダリング品質を用いて遷移サウンド信号をレンダリングするように前記１又は２以上のプロセッサを構成し、前記遷移サウンド信号は、遷移境界領域内の遷移音源に関連付けられ、前記遷移境界領域は、前記中央円錐領域の周囲に沿って前記中央円錐領域及び前記周辺円錐領域によって共有され、前記遷移レンダリング品質は、前記第１のレンダリング品質と前記第２のレンダリング品質との間でシームレスなオーディオ品質遷移を提供する、請求項２に記載のシステム。
【請求項5】
前記遷移境界領域は、ＨＲＴＦサンプリング位置を含むように選択される、請求項４に記載のシステム。
【請求項6】
前記遷移境界領域にて共通ＩＴＤが適用される、請求項５に記載のシステム。
【請求項7】
前記命令は更に、第３のレンダリング品質を用いて第３のサウンド信号をレンダリングするように前記１又は２以上のプロセッサを構成し、前記第３のサウンド信号は、前記周辺視覚領域の外の非可視領域内の第３の音源に関連付けられ、前記第２のレンダリング品質は、前記第３のレンダリング品質を上回る、請求項１に記載のシステム。
【請求項8】
前記第３のレンダリング品質は、仮想ラウドスピーカーのレンダリングを含む、請求項７に記載のシステム。
【請求項9】
前記命令は更に、前記第１のサウンド信号及び前記第２のサウンド信号に基づいてミックス出力信号を生成し、
前記ミックス出力信号を可聴サウンド再生装置に出力する、
ように前記１又は２以上のプロセッサを構成する、
請求項１に記載のシステム。
【請求項10】
前記可聴サウンド再生装置は、バイノーラルサウンド再生装置を含み、前記第１のレンダリング品質を用いて前記第１のサウンド信号をレンダリングすることは、第１の頭部伝達関数（ＨＲＴＦ）を用いて前記第１のサウンド信号を第１のバイノーラルオーディオ信号にレンダリングすることを含み、
前記第２のレンダリング品質を用いて前記第２のサウンド信号をレンダリングすることは、第２のＨＲＴＦを用いて第２のサウンド信号を第２のバイノーラルオーディオ信号にレンダリングすることを含む、
請求項９に記載のシステム。
【請求項11】
サウンドレンダリング方法であって、第１のレンダリング品質を用いて第１のサウンド信号をレンダリングするステップであって、前記第１のサウンド信号は中央視覚領域内の第１の音源に関連付けられ、前記第１のレンダリング品質は、個別化された頭部伝達関数（ＨＲＴＦ）の複素周波数領域補間を含む、ステップと、
第２のレンダリング品質を用いて第２のサウンド信号をレンダリングするステップであって、前記第２のサウンド信号は、周辺視覚領域内の第２の音源に関連付けられ、前記第２のレンダリング品質は、音源ごとに計算された両耳間時間差（ＩＴＤ）を用いた線形時間領域ＨＲＴＦ補間を含み、前記第１のレンダリング品質は前記第２のレンダリング品質を上回る、ステップと、
を含む、サウンドレンダリング方法。
【請求項12】
前記中央視覚領域は、中央視力と関連付けられ、前記周辺視覚領域は、周辺視力と関連付けられ、
前記中央視力は、前記周辺視力を上回る、
請求項１１に記載の方法。
【請求項13】
前記中央視覚領域は、ユーザ注視方向に中央円錐領域を含み、前記周辺視覚領域は、ユーザ視野内にあり前記中央円錐領域の外にある周辺円錐領域を含む、
請求項１２に記載の方法
【請求項14】
遷移レンダリング品質を用いて遷移サウンド信号をレンダリングするステップを更に含み、前記遷移サウンド信号は、遷移境界領域内の遷移音源に関連付けられ、前記遷移境界領域は、前記中央円錐領域の周囲に沿って前記中央円錐領域及び前記周辺円錐領域によって共有され、前記遷移レンダリング品質は、前記第１のレンダリング品質と前記第２のレンダリング品質との間でシームレスなオーディオ品質遷移を提供する、請求項１２に記載の方法。
【請求項15】
前記遷移境界領域は、ＨＲＴＦサンプリング位置を含むように選択される、請求項１４に記載の方法。
【請求項16】
前記遷移境界領域にて共通ＩＴＤが適用される、請求項１４に記載の方法。
【請求項17】
第３のレンダリング品質を用いて第３のサウンド信号をレンダリングするステップを更に含み、前記第３のサウンド信号は、前記周辺視覚領域の外の非可視領域内の第３の音源に関連付けられ、前記第２のレンダリング品質は、前記第３のレンダリング品質を上回る、請求項１１に記載の方法。
【請求項18】
前記第３のレンダリング品質は、仮想ラウドスピーカーのレンダリングを含む、請求項１７に記載の方法。
【請求項19】
前記第１のサウンド信号及び前記第２のサウンド信号に基づいてミックス出力信号を生成するステップと、前記ミックス出力信号を可聴サウンド再生装置に出力するステップと、
を更に含む、請求項１１に記載の方法。
【請求項20】
前記可聴サウンド再生装置は、バイノーラルサウンド再生装置を含み、前記第１のレンダリング品質を用いて前記第１のサウンド信号をレンダリングするステップは、第１の頭部伝達関数（ＨＲＴＦ）を用いて前記第１のサウンド信号を第１のバイノーラルオーディオ信号にレンダリングするステップを含み、
前記第２のレンダリング品質を用いて前記第２のサウンド信号をレンダリングするステップは、第２のＨＲＴＦを用いて前記第２のサウンド信号を第２のバイノーラルオーディオ信号にレンダリングするステップを含む、
請求項１９に記載の方法。
【請求項21】
デバイスのプロセッサによって実行されたときに前記デバイスに対して動作を実行させる複数の命令を含む機械可読ストレージ媒体であって、前記動作が、
第１のレンダリング品質を用いて第１のサウンド信号をレンダリングするステップであって、前記第１のサウンド信号が中央視覚領域内の第１の音源に関連付けられ、前記第１のレンダリング品質は、個別化された頭部伝達関数（ＨＲＴＦ）の複素周波数領域補間を含む、ステップと、
第２のレンダリング品質を用いて第２のサウンド信号をレンダリングするステップであって、前記第２のサウンド信号が周辺視覚領域内の第２の音源に関連付けられ、前記第２のレンダリング品質は、音源ごとに計算された両耳間時間差（ＩＴＤ）を用いた線形時間領域ＨＲＴＦ補間を含み、前記第１のレンダリング品質が前記第２のレンダリング品質を上回る、ステップと、
を含む、機械可読ストレージ媒体。
【請求項22】
前記命令が更に、第３のレンダリング品質を用いて第３のサウンド信号をレンダリングするように前記デバイスに行わせ、第３のサウンド信号は、周辺視覚領域の外の非可視領域内の第３の音源に関連付けられ、第２のレンダリング品質は、第３のレンダリング品質を上回る、請求項２１に記載の機械読取可能なストレージ媒体。
【請求項23】
前記命令が更に、前記デバイスに、前記第１のサウンド信号及び前記第２のサウンド信号に基づいてミックス出力信号を生成し、
前記ミックス出力信号を可聴サウンド再生装置に出力する、
ように行わせる、請求項２１に記載の機械読取可能なストレージ媒体。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願及び優先権主張）
本出願は、２０１９年５月３１日に出願され、名称が「フォービエイテッドオーディオレンダリング（Ｆｏｖｅａｔｅｄ Ａｕｄｉｏ Ｒｅｎｄｅｒｉｎｇ）」である米国仮出願第６２／８５５，２２５号に関連し、優先権を主張するものであり、その全体が引用により本明細書に組み込まれる。
本出願は、２０１９年５月３１日に出願され、名称が「フォービエイテッドオーディオレンダリング（Ｆｏｖｅａｔｅｄ Ａｕｄｉｏ Ｒｅｎｄｅｒｉｎｇ）」である米国仮出願第６２／８５５，２２５号に関連し、優先権を主張するものであり、その全体が引用により本明細書に組み込まれる。
【0002】
（技術分野）
本明細書に記載される技術は、空間的オーディオレンダリングのためのシステム及び方法に関する。
本明細書に記載される技術は、空間的オーディオレンダリングのためのシステム及び方法に関する。
【背景技術】
【0003】
個々のオーディオ信号が様々な位置から生じている（例えば、３Ｄ空間に定位される）という認識を生成するのに、オーディオバーチャライザーを使用することができる。オーディオバーチャライザーは、複数のスピーカー又はヘッドフォンを用いてオーディオを再生する際に用いることができる。音源を仮想化する技術は、リスナーに対する音源の位置に基づいて、当該音源をレンダリングすることを含む。しかしながら、特に複数の音源については、リスナーとの相対的な音源位置をレンダリングすることは、技術的に複雑で計算コストが高くなる可能性がある。改善されたオーディオバーチャライザーが必要とされている。
【先行技術文献】
【特許文献】
【0004】
【文献】米国特許第５，９７４，３８０号明細書
【文献】米国特許第５，９７８，７６２号明細書
【文献】米国特許第６，４８７，５３５号明細書
【図面の簡単な説明】
【0005】
【図1】一実施形態による、ユーザの視野の概略図である。
【図2】一実施形態による、オーディオ品質レンダリング決定エンジンの概略図である。
【図3】一実施形態による、ユーザ音響スフィアの概略図である。
【図4】一実施形態による、サウンドレンダリングシステムの方法の概略図である。
【図5】例示的な一実施形態による、仮想サラウンドシステムの概略図である。
【発明を実施するための形態】
【0006】
本発明の主題は、オーディオ仮想化が直面する技術的問題に対する技術的解決策を提供する。オーディオ仮想化が直面する技術的な複雑さ及び計算強度を低減するために、技術的解決策は、異なる品質レベルでオーディオオブジェクトをバイノーラルにレンダリングすることを含み、各音源の品質レベルは、ユーザの視野に対する相対的な位置に基づいて選択することができる。一例として、この技術的解決策は、ユーザの中心視野の外側にある音源のオーディオ品質を低下させることにより、技術的複雑さ及び計算強度を低減する。また、この解決策は、オブジェクトオーディオがどこから生じているのかユーザが分からない場合に、オーディオレンダリングの精度を検証するユーザの能力が低いことを利用している。一般的、人間は、注視方向を中心とした約６０度の円弧に通常は限定された強い視力を有する。この強い中央視力を担う目の部分が中心窩（フォービエ）であり、本明細書で使用する場合、この強い中央視力領域に対するオーディオオブジェクトの位置に基づいてオーディオオブジェクトをレンダリングすることを、「フォービエイテッドオーディオレンダリング」と呼ぶ。一例として、この強い中央視力領域内のサウンドオブジェクトに対して、高品質のオーディオレンダリングを適用することができる。逆に、より複雑度の低いアルゴリズムを、レンダリングされるオブジェクトが見えない他の領域に適用することができるが、ユーザは、複雑度の低いアルゴリズムに関連する定位エラーに気づく可能性が低いか、又は気づくことができなくなるであろう。これらの技術的解決策は、より複雑なシステムの処理を軽減し、低い技術的コスト及び計算コストで遙かに高品質なレンダリングを提供する可能性がある。
【0007】
添付図面に関して以下に記載される詳細な説明は、本発明の主題の現在好ましい実施形態の説明として意図するものであり、本発明の主題を構築又は利用できる唯一の形態を表すことを意図するものではない。本説明は、例証する実施形態に関して本発明の主題を構築し動作させる機能及びステップシーケンスを示す。同じ又は同等の機能及びシーケンスは、本発明の主題の範囲内に包含されるものとする様々な実施形態によって達成できる点を理解されたい。更に、関係を示す用語（例えば、第１、第２）の使用は、単に１つの構成要素を別の構成要素から区別するためだけに用いられ、何れかの実際のこのような関係又はこのような構成要素間の順序を必ずしも必要とするか又は示唆するものではない点を理解されたい。
【0008】
図１は、一実施形態による、ユーザ視野１００の概略図である。ユーザ１１０は、関連する全視野１２０を有することができる。全視野１２０は、複数の領域に細分化することができる。焦点領域１３０は、ユーザの真正面にあることができ、焦点領域１３０は、ユーザの全視野１２０の中央部分の約３０度を含むことができる。３Ｄ視野１４０は、焦点領域１３０を超えてユーザの全視野１２０の中央部分の約６０度を含むように拡張することができる。一例では、ユーザ１１０は、３Ｄ視野１４０内で３Ｄでオブジェクトを見ることができる。周辺視野１５０は、３Ｄ視野１４０を超えてユーザの全視野１２０の中央部分の約１２０度を含むように拡張することができる。３Ｄ視野１４０に加えて、周辺視野１５０は、左周辺領域１６０及び右周辺領域１６５を含むことができる。両眼では左周辺領域１６０及び右周辺領域１６５にてオブジェクトを観察することができるが、これらの領域では視力が低下しているため、これらのオブジェクトは２Ｄで見られることになる。また、視野１２０は、右目が見えない左のみの領域１７０を含むことができ、左目が見えない右のみの領域１７５を含むこともできる。
【0009】
１又は２以上の音源１８０は、ユーザの視野１２０内に配置することができる。音源１８０からのオーディオは、ユーザ１１０の各鼓膜に別個の音響経路を進むことができる。音源１８０から各鼓膜への別個の経路は、固有の音源鼓膜周波数応答及び両耳間時間差（ＩＴＤ）を生成する。この周波数特性とＩＴＤを組み合わせて、バイノーラル頭部伝達関数（ＨＲＴＦ）などの音響モデルを形成することができる。音源１８０からユーザ１１０の各鼓膜までの各音響経路は、対応するＨＲＴＦの固有のペアを有することができる。各ユーザ１１０は、僅かに異なる頭部形状又は耳形状を有する場合があるので、頭部形状又は耳形状に応じて対応する僅かに異なるＨＲＴＦを有することができる。特定の音源１８０の位置から音を正確に再現するために、各ユーザ１１０についてＨＲＴＦ値を測定し、そのＨＲＴＦを音源１８０で畳み込み、音源１８０の位置からのオーディオをレンダリングすることができる。ＨＲＴＦは、特定の場所からの音源１８０の正確な再現を特定のユーザ１１０に対して提供するが、全てのユーザの全ての場所から全てのタイプの音を測定して、全ての実施可能なＨＲＴＦを生成することは実用的ではない。ＨＲＴＦ測定値の数を低減するために、ＨＲＴＦペアを特定の場所でサンプリングし、サンプリングされる位置の間の位置について、ＨＲＴＦを補間することができる。このＨＲＴＦ補間を用いて再現されるオーディオ品質は、サンプル位置の数を増加することにより、又はＨＲＴＦ補間を改善することにより向上させることができる。
【0010】
ＨＲＴＦ補間は、様々な方法論を用いて実施することができる。一実施形態では、ＨＲＴＦ補間は、マルチチャネルスピーカーミックスの生成（例えば、ベクトルベースの振幅パンニング、Ａｍｂｉｓｏｎｉｃｓ）、及び汎用ＨＲＴＦを使用したスピーカーの仮想化を含むことができる。この解決策は、効率的であるが、ＩＴＤ及びＨＲＴＦが不正確で正面のイメージングが減少することになる場合など、品質が低下する可能性がある。この解決策は、マルチチャネルゲーム、マルチチャネル映画、又はインタラクティブ３Ｄオーディオ（Ｉ３ＤＡ）に利用することができる。一実施形態では、ＨＲＴＦ補間は、各音源の最小位相ＨＲＴＦとＩＴＤの線形結合を含むことができる。これにより、ＩＴＤの精度が改善されることを通じて、低周波精度の改善をもたらすことができる。しかしながら、これはまた、ＨＲＴＦの高密度データベース（例えば、少なくとも１００個のＨＲＴＦ）がないと、ＨＲＴＦ補間の性能を低下させる可能性があり、実装するための計算コストがより高くなる可能性がある。一実施形態では、ＨＲＴＦ補間は、各音源の周波数領域補間とパーソナライズされたＨＲＴＦの組み合わせを含むことができる。これは、補間されたＨＲＴＦの音源位置をより正確に再現することに焦点を当て、正面定位及び外在化の性能改善を提供することができるが、実装するには計算コストが高い可能性がある。
【0011】
音源１８０の位置に基づくＨＲＴＦ位置と補間の組み合わせを選択することで、改善されたＨＲＴＦオーディオレンダリング性能を提供することができる。計算強度を低減しながら、ＨＲＴＦレンダリングの性能を向上させるために、最高品質のＨＲＴＦレンダリングを焦点領域１３０内のオーディオオブジェクトに適用することができ、視野１２０内の焦点領域１３０から次第に遠ざかる領域に対しては、ＨＲＴＦレンダリング品質を低下させることができる。視野１２０内の細分化された領域に基づくＨＲＴＦのこの選択を用いて、低減されたオーディオ品質のレンダリングがユーザに認識されない特定の領域において、この低減されたオーディオ品質のレンダリングを選択することができる。更に、視野１２０内の細分化された領域の遷移にてシームレスな遷移を用いて、ユーザ１１０が領域間の遷移を検出する能力を低減又は排除することができる。視野１２０内の領域及び視野外の領域を用いて、以下の図２に関して説明されるなど、各音源に適用されるレンダリング品質を決定することができる。
【0012】
図２は、一実施形態による、オーディオ品質レンダリング決定エンジン２００の概略図である。決定エンジン２００は、音源位置を決定すること（２１０）から始めることができる。１又は２以上の音源位置が視野２２０内にあるときには、音源は、個別化ＨＲＴＦ２２５の複雑な周波数領域補間に基づいてレンダリングすることができる。１又は２以上の音源位置が視野２２０の外で周辺領域２３０内にある場合、音源は、ソースごとのＩＴＤ２３５を用いた線形時間領域ＨＲＴＦ補間に基づいてレンダリングすることができる。１又は２以上の音源位置が、視野２２０の外で且つ周辺領域２３０の外であるが、サラウンド領域２４０内にある場合、音源は、仮想スピーカー２４５に基づいてレンダリングすることができる。
【0013】
２つの領域間の境界上又は境界付近の音源は、利用可能なＨＲＴＦ測定値、視覚領域境界、又は視覚領域の許容範囲の組み合わせに基づいて補間することができる。一実施形態では、視野２２０、周辺領域２３０、及びサラウンド領域２４０間の各遷移において、ＨＲＴＦ測定を行うことができる。領域間の遷移でＨＲＴＦ測定を行うことにより、オーディオ品質レンダリング決定エンジン２００は、隣接する領域間の１又は２以上のレンダリング品質の間のシームレスな遷移を提供することができ、このような遷移はユーザにとって聴覚的に透明であるようになる。遷移は、ユーザの正面を中心とした６０度の円錐セクションの円錐面のような遷移角度を含むことができる。遷移は、ユーザの正面を中心とした６０度の円錐セクションの円錐面の両側に５度ずつのような遷移領域を含むことができる。一実施形態では、遷移又は遷移領域の位置は、近隣のＨＲＴＦ測定値の位置に基づいて決定される。例えば、視野２２０と周辺領域２３０との間の遷移点は、ユーザの正面を中心とした約６０度の円弧に最も近いＨＲＴＦ測定位置に基づいて決定することができる。遷移点の決定は、隣接する２つのレンダリング品質の結果を、シームレスな聴覚的連続性を実現するために十分に類似した結果を提供するように調整することを含むことができる。一例として、シームレスな遷移は、境界で測定されたＨＲＴＦを使用することを含み、ソースごとのＩＴＤは、共通のＩＴＤが適用されることを保証しながら、測定されたＨＲＴＦをベースラインレンダリングとして使用することができる。
【0014】
視覚領域の許容範囲は、利用可能なＨＲＴＦ測定値と組み合わせて使用して、視覚領域境界を決定することができる。例えば、ＨＲＴＦが、視野２２０の外にあるが、視野２２０の視覚領域の許容範囲内にある場合、ＨＲＴＦの位置は、視野２２０と周辺領域２３０との間の境界として使用することができる。ＨＲＴＦを使用した音源のレンダリングは、領域遷移時にＨＲＴＦ測定を行うことによって、又はＨＲＴＦ測定の数を低減することによって、又はユーザの音響スフィア全体にわたってＨＲＴＦレンダリングモデルを実装する必要性を回避することによってなど、利用可能なＨＲＴＦ測定に基づいて領域を変化させることによって簡素化される。
【0015】
１又は２以上の遷移又は遷移領域を使用することで、本明細書に記載されたシステム及び方法の可検出性を提供することができる。例えば、ＨＲＴＦ遷移の実装は、遷移領域のうちの１又は２以上にてオーディオ遷移を検出することによって検出することができる。更に、ＩＴＤを正確に測定し、領域間のクロスフェージングと比較することができる。同様に、周波数領域ＨＲＴＦ補間を観察して、正面領域の線形補間と比較することができる。
【0016】
図３は、一実施形態による、ユーザ音響スフィア３００の概略図である。音響スフィア３００は、視野領域３１０を含むことができ、この視野領域は、視野２２０を６０度の視円錐に拡張することができる。一例では、視野領域３１０内の音源は、周波数領域ＨＲＴＦ補間に基づいてレンダリングすることができ、決定されたＩＴＤに基づく補償を含むことができる。特に、ＨＲＴＦ補間を実行して、隣接する測定されたＨＲＴＦから１又は２以上の中間ＨＲＴＦフィルタを導出することができ、ＩＴＤは、測定又は式に基づいて決定することができ、また、オーディオオブジェクトは、補間されたＨＲＴＦ及び関連するＩＴＤに基づいてフィルタリングすることができる。音響スフィア３００は、視野領域３１０の周辺を含むことができ、これは、周辺領域２３０を１２０度の視円錐まで拡張することができる。一例では、周辺領域２３０内の音源は、時間領域頭部インパルス応答（ＨＲＩＲ）補間に基づいてレンダリングすることができ、決定されたＩＴＤに基づく補償を含むことができる。特に、時間領域ＨＲＩＲ補間を実行して、１又は２以上の測定されたＨＲＴＦから中間ＨＲＴＦフィルタを導出することができ、ＩＴＤは、測定又は式に基づいて導出することができ、オーディオオブジェクトは、補間されたＨＲＴＦ及び関連するＩＴＤを用いてフィルタリングすることができる。一例として、ＨＲＩＲサンプリングは、均一なサンプリングを含まない場合がある。サラウンドオーディオレンダリングは、サラウンド領域３３０に適用することができ、ここでサラウンド領域３３０は、周辺領域３２０と視野領域３１０の両方の外側にあることができる。一例では、サラウンド領域３３０内の音源は、１又は２以上のラウドスピーカー位置にて測定されたＨＲＩＲを使用するなど、ラウドスピーカーアレイ全体のベクトルベースの振幅パンニングに基づいてレンダリングすることができる。図３に関して３つのゾーンが図示され検討されているが、追加のゾーンを識別又は使用して、１又は２以上の音源をレンダリングすることができる。
【0017】
音響スフィア３００は、１又は２以上の仮想現実又は複合現実アプリケーションにおいてオーディオをレンダリングする際に特に有用とすることができる。仮想現実アプリケーションの場合、ユーザは、主として注視方向の１又は２以上のオブジェクトに集中している。音響スフィア３００と本明細書に記載されたオーディオレンダリングを使用することにより、仮想現実における高品質のレンダリングは、仮想現実ユーザの周りの大きな空間で起こっているように知覚することができる。複合現実感アプリケーション（例えば、拡張現実アプリケーション）では、ＨＲＴＦレンダリング及び補間を改善するために、現実音源と仮想音源とをミックスすることができる。仮想現実又は複合現実アプリケーションでは、注視方向内の音発生オブジェクトについて、オーディオ及び視覚品質の両方を向上させることができる。
【0018】
図４は、一実施形態による、サウンドレンダリングシステムの方法４００の概略図である。方法４００は、ユーザビュー方向４１０を決定することを含むことができる。ユーザビュー方向４１０は、ユーザ位置の正面にあるように決定することができ、又はインタラクティブ方向入力（例えば、ビデオゲームコントローラ）、視線追跡デバイス、又は他の入力に基づいて、ユーザビュー方向４１０を含むように修正することができる。方法４００は、ユーザの焦点場４２０を有する１又は２以上のオーディオオブジェクトを識別することができる。方法４００は、ユーザの焦点場内のオブジェクトをより高品質のレンダリング４３０でレンダリングすることを含むことができ、ユーザの焦点場の外のオブジェクトをより低品質のレンダリング４３５でレンダリングすることを含むことができる。上述したような、ユーザの焦点の追加領域及び追加のレンダリング品質を使用することができる。方法４００は、１又は２以上のレンダリングされたオーディオオブジェクトを組み合わせて、ユーザに出力することを含むことができる。一実施形態では、方法４００は、方法４００へのアクセスを可能にするために、ソフトウェア内又はソフトウェア開発キット（ＳＤＫ）内に実装することができる。これらの様々な使用焦点領域を用いて、このジグザグのオーディオ実装の複雑さを提供することができるが、図５に関して図示され説明されたような、シミュレートされた物理的スピーカー位置を使用することができる。
【0019】
図５は、例示的な実施形態による、仮想サラウンドシステム５００の概略図である。仮想サラウンドシステム５００は、上述したジグザグオーディオ実装の複雑さを、仮想サラウンド音源のセットに適用できる例示的なシステムである。仮想サラウンドシステム５００は、バイノーラルヘッドフォン５２０などを介して、ユーザ５１０にシミュレートされたサラウンドサウンドを提供することができる。ユーザは、スクリーン５３０上のビデオを見ている間、ヘッドフォン５２０を使用することができる。仮想サラウンドシステム５００を用いて、シミュレートされた５．１サラウンドサウンドを提供することができるなど、複数のシミュレートされたサラウンドチャネルを提供することができる。システム５００は、スクリーン５３０の近くに配置されるようにシミュレートすることができる仮想センターチャネル５４０を含むことができる。システム５００は、仮想左フロント・スピーカー５５０、仮想右フロント・スピーカー５５５、仮想左リア・スピーカー５６０、仮想右リア・スピーカー５６５、及び仮想サブウーファ５７０を含む、仮想左及び右スピーカーのペアを含むことができる。仮想サラウンドシステム５００は、シミュレートされた５．１サラウンドサウンドを提供するよう示されているが、システム５００は、７．１、１１．１、２２．２、又は他のサラウンドサウンド構成をシミュレートするのに使用することができる。
【0020】
上述のジグザグのオーディオ実装の複雑さは、仮想サラウンドシステム５００における仮想サラウンド音源のセットに適用することができる。音源は、関連する５．１オーディオチャネルのセットを有することができ、仮想サラウンドシステム５００は、５．１仮想スピーカーの各々の仮想位置を中心とした領域において、最適シミュレートされたオーディオレンダリングを提供するのに使用することができる。一例として、個別化ＨＲＴＦの複素周波数領域補間を各仮想スピーカーの位置にて用いることができ、音源ごとのＩＴＤでの線形時間領域ＨＲＴＦ補間を仮想スピーカーの何れかの間で用いることができる。仮想スピーカーの位置を焦点領域と組み合わせて用いて、シミュレートされたオーディオレンダリングを決定することができる。一例として、フロント仮想スピーカー５４０、５５０、５５５の位置では、個別化ＨＲＴＦの複素周波数領域補間を使用することができ、ユーザの全視野内のフロント仮想スピーカー５４０、５５０、５５５の間では、音源ごとのＩＴＤを用いた線形時間領域ＨＲＴＦ補間を使用することができ、リア仮想スピーカー５６０、５６５及びサブウーファ５７０では、仮想ラウドスピーカーが使用することができる。
【0021】
本開示は、その例示的な実施形態を参照して詳細に説明してきたが、様々な変更及び修正を本実施形態の範囲から逸脱することなく行うことができることは、当業者には明らかであろう。従って、本開示は、添付の特許請求の範囲及びその均等物の範囲内にあることを条件として、本開示の修正及び変形を保護することを意図している。
【0022】
本発明の主題は、オーディオ信号（すなわち、物理的サウンドを表す信号）を処理することに関する。これらのオーディオ信号は、デジタル電子信号により表される。本実施形態の記載において、概念を例示するためにアナログ波形を図示し又は検討する場合がある。しかしながら、本発明の主題の典型的な実施形態は、デジタルバイト又はワードの時系列の関連にて動作し、これらのバイト又はワードは、アナログ信号又は最終的には物理的サウンドの離散的近似値を形成することを理解されたい。この離散的なデジタル信号は、周期的にサンプリングされたオーディオ波形のデジタル表現に対応している。均一なサンプリングのためには、波形は、対象の周波数に対してナイキストのサンプリング定理を満たすのに十分な速度以上で又はそれを超えてサンプリングする必要がある。典型的な実施形態において、約４４，１００サンプル／秒（例えば、４４．１ｋＨｚ）の均一なサンプリングレートを使用できるが、代替として、より高いサンプリングレート（例えば、９６ｋＨｚ、１２８ｋＨｚ）を使用することもできる。量子化方式及びビット分解能は、標準的なデジタル信号処理技術に従って、特定のアプリケーションの要件を満たすように選択する必要がある。本発明の主題の技術及び装置は、典型的には、複数のチャネルにおいて相互に依存して適用されることになる。例えば、「サラウンド」オーディオシステム（例えば、２以上のチャネルを有する）の関連で使用することができる。
【0023】
本明細書で使用される場合、「デジタルオーディオ信号」又は「オーディオ信号」は、単なる数学的抽象化を記述したものではなく、機械又は装置によって検出可能な物理媒体において具現化された又は物理媒体によって伝えられる情報を示している。これらの用語は、記録された信号又は送信された信号を含み、パルスコード変調（ＰＣＭ）又は他の符号化を含む、あらゆる形態の符号化による伝達を含むと理解すべきである。出力、入力、又は中間のオーディオ信号は、ＭＰＥＧ、ＡＴＲＡＣ、ＡＣ３、又は米国特許第５，９７４，３８０号、第５，９７８，７６２号、及び第６，４８７，５３５号に記載されているような、ＤＴＳ社の独占的所有権のある方法を含む、様々な既知の方法の何れかで符号化又は圧縮することができる。当業者であれば理解されるように、特定の圧縮・符号化方式に対応するためには、計算を幾らか変更する必要がある。
【0024】
ソフトウェアでは、オーディオ「コーデック」は、所定のオーディオファイルフォーマット又はストリーミングオーディオフォーマットに従ってデジタルオーディオデータをフォーマットするコンピュータプログラムを含む。ほとんどのコーデックは、ＱｕｉｃｋＴｉｍｅ Ｐｌａｙｅｒ、ＸＭＭＳ、Ｗｉｎａｍｐ、Ｗｉｎｄｏｗｓ（登録商標） Ｍｅｄｉａ Ｐｌａｙｅｒ、Ｐｒｏ Ｌｏｇｉｃ、又は他のコーデックなどの１又は２以上のマルチメディアプレーヤーにインターフェースするライブラリとして実装されている。ハードウェアにおいて、オーディオコーデックとは、アナログオーディオをデジタル信号としてエンコードして、デジタルをアナログにデコードする単一又は複数のデバイスを指す。換言すると、オーディオコーデックは、共通のクロックで動作するアナログ・デジタル・コンバータ（ＡＤＣ）とデジタル・アナログ・コンバータ（ＤＡＣ）の両方を含む。
【0025】
オーディオコーデックは、ＤＶＤプレーヤー、Ｂｌｕ－Ｒａｙプレーヤー、ＴＶチューナー、ＣＤプレーヤー、ハンドヘルドプレーヤー、インターネットオーディオ／ビデオデバイス、ゲームコンソール、携帯電話、又は他の電子デバイスなどの家庭用電子デバイスに実装することができる。家庭用電子デバイスは、ＩＢＭ ＰｏｗｅｒＰＣ、Ｉｎｔｅｌ Ｐｅｎｔｉｕｍ （ｘ８６）プロセッサ、又は他のプロセッサなど、このような１又は２以上の従来型のプロセッサを表すことができる中央処理装置（ＣＰＵ）を含む。ランダム・アクセス・メモリ（ＲＡＭ）は、ＣＰＵによって実行されたデータ処理動作の結果を一時的に格納し、専用のメモリチャネルを介して相互接続される。家庭用電子デバイスはまた、ハードドライブなどの永久記憶装置を含むことができ、これらもまたＩ／Ｏバスを介してＣＰＵと通信する。また、テープドライブ、光ディスクドライブ、又は他の記憶装置などの他のタイプの記憶装置を接続することができる。グラフィックスカードはまた、ビデオバスを介してＣＰＵに接続することができ、ここでグラフィックスカードは、表示データを表す信号をディスプレイモニターに送信する。キーボード又はマウスなどの外部周辺データ入力デバイスは、ＵＳＢポートを介してオーディオ再生システムに接続することができる。ＵＳＢコントローラは、ＵＳＢポートに接続された外部周辺機器のデータ及び命令をＣＰＵとの間で変換する。プリンター、マイクロフォン、スピーカー、又は他のデバイスなどの追加デバイスを家庭用電子デバイスに接続することができる。
【0026】
家庭用電子デバイスは、ワシントン州レドモンドのマイクロソフト社のＷＩＮＤＯＷＳ（登録商標）、カリフォルニア州クパチーノのアップル社のＭＡＣ ＯＳ、アンドロイド（登録商標）などのモバイル・オペレーティング・システム用に設計されたモバイルＧＵＩの様々なバージョン、又は他のオペレーティングシステムなど、グラフィカル・ユーザ・インターフェース（ＧＵＩ）を有するオペレーティングシステムを使用することができる。家庭用電子デバイスは、１又は２以上のコンピュータプログラムを実行することができる。一般的に、オペレーティングシステム及びコンピュータプログラムは、コンピュータ可読媒体において有形的に具現化され、ここでコンピュータ可読媒体は、ハードドライブを含む固定又はリムーバブルデータストレージのうちの１又は２以上を含む。オペレーティングシステム及びコンピュータプログラムの両方が、ＣＰＵによる実行のために、前述のデータ記憶装置からＲＡＭにロードすることができる。コンピュータプログラムは、ＣＰＵによって読み取られて実行されたときに、ＣＰＵに本発明の主題のステップ又は特徴を実行するステップを実行させる命令を含むことができる。
【0027】
オーディオコーデックは、様々な構成又はアーキテクチャを含むことができる。本発明の主題の範囲を逸脱することなく、このような何れかの構成又はアーキテクチャを容易に置き換えることができる。当業者であれば、上述のシーケンスがコンピュータ可読媒体において最も一般的に使用されているが、本発明の主題の範囲から逸脱することなく置き換えることができる他の既存のシーケンスが存在することを認識するであろう。
【0028】
オーディオコーデックの一実施形態の要素は、ハードウェア、ファームウェア、ソフトウェア、又はこれらの任意の組み合わせによって実装することができる。ハードウェアとして実装される場合、オーディオコーデックは、単一のオーディオ信号プロセッサに利用することができ、又は様々な処理構成要素に分散することができる。ソフトウェアにて実装される場合、本発明の主題の実施形態の要素は、必要なタスクを実行するためのコードセグメントを含むことができる。ソフトウェアは、本発明の主題の一実施形態に記載されている動作を実行するための実際のコードを含むか、又は動作をエミュレート又はシミュレートするコードを含むことが好ましい。プログラム又はコードセグメントは、プロセッサ又はマシンアクセス可能な媒体に格納されるか、又は伝送媒体を介して搬送波（例えば、搬送波によって変調された信号）で具現化されたコンピュータデータ信号によって伝送することができる。「プロセッサ可読又はアクセス可能な媒体」又は「機械可読又はアクセス可能媒体」は、情報を格納、送信、又は転送することができる任意の媒体を含むことができる。
【0029】
プロセッサ可読媒体の実施例は、電子回路、半導体記憶素子、リードオンリーメモリ（ＲＯＭ）、フラッシュ・メモリ、消去可能ＲＯＭ（ＥＰＲＯＭ）、フロッピー・ディスケット、コンパクトディスク（ＣＤ）ＲＯＭ、光ディスク、ハードディスク、光ファイバー媒体、無線周波数（ＲＦ）リンク、又は他の媒体を含む。コンピュータデータ信号は、電子ネットワークチャネル、光ファイバー、空気、電磁、ＲＦリンク、又は他の伝送媒体などの伝送媒体にわたって伝搬することができるあらゆる信号を含むことができる。コードセグメントは、インターネット、イントラネット、別のネットワークなどのコンピュータネットワークを介してダウンロードすることができる。機械アクセス可能媒体は、製造物品で具現化することができる。機械アクセス可能媒体は、機械によってアクセスされたときに、以下に記載される動作を機械に実行させるデータを含むことができる。ここで用語「データ」とは、機械読み取り可能な目的でエンコードされたあらゆるタイプの情報を指し、プログラム、コード、データ、ファイル、又は他の情報を含むことができる。
【0030】
本発明の主題の実施形態は、ソフトウェアによって実装することができる。ソフトウェアは、互いに結合された複数のモジュールを含むことができる。ソフトウェアモジュールは、変数、パラメータ、引数、ポインター、結果、更新された変数、ポインター、又は他の入力又は出力を生成、送信、受信、又は処理するために、別のモジュールに結合される。ソフトウェアモジュールはまた、プラットフォーム上で実行されているオペレーティングシステムと対話するためのソフトウェアドライバ又はインターフェースとすることができる。ソフトウェアモジュールはまた、ハードウェアデバイスとの間でデータを構成、設定、初期化、送信、又は受信するためのハードウェアドライバとすることができる。
【0031】
本発明の主題の実施形態は、通常、フローチャート、フローダイアグラム、構造ダイアグラム、又はブロックダイアグラムとして描かれたプロセスとして説明することができる。ブロック図では、逐次処理として動作を記述することができるが、多くの処理は並行して又は同時に実行することができる。加えて、動作の順序は再配列することができる。プロセスは、その動作が完了した時点で終了することができる。プロセスは、方法、プログラム、手順、又は他のステップのグループに対応することができる。
【0032】
本明細書は、特にラウドスピーカー又はヘッドフォン（例えば、ヘッドセット）アプリケーションにおいて、オーディオ信号を合成するための方法及び装置を含む。本開示の態様は、ラウドスピーカー又はヘッドセットを含む例示的なシステムの関連で提示されているが、記載された方法及び装置は、このようなシステムに限定されず、また、本明細書の教示は、オーディオ信号の合成を含む他の方法及び装置に適用可能であることを理解されたい。実施形態の説明において使用される場合、オーディオオブジェクトは、３Ｄ位置データを含む。このため、オーディオオブジェクトは、３Ｄ位置データを有する音源の特定の組み合わせ表現を含むことが理解されるべきであり、これは典型的には動的位置である。対照的に、「音源」とは、最終的ミックス又はレンダリングにおいて再生又は再現するためのオーディオ信号であり、意図された静的又は動的なレンダリング方法又は目的を有する。例えば、音源は「フロントレフト」という信号とすることができ、又は、低周波効果（「ＬＦＥ」）チャネルに再生されるか、或いは右に９０度パンすることができる。
【0033】
本明細書で開示された方法及び装置をより良好に例証するために、ここでは実施形態の非限定的なリストが提供される。
【0034】
実施例１は、サウンドレンダリングシステムであって、１又は２以上のプロセッサと、命令を含む記憶装置と、を備え、上記命令が、１又は２以上のプロセッサによって実行されたときに、第１のレンダリング品質を用いて第１のサウンド信号をレンダリングし、第１のサウンド信号が中央視覚領域内の第１の音源に関連付けられ、第２のレンダリング品質を用いて第２のサウンド信号をレンダリングし、第２のサウンド信号が周辺視覚領域内の第２の音源に関連付けられ、第１のレンダリング品質が第２のレンダリング品質を上回る、ように１又は２以上のプロセッサを構成する。
【0035】
実施例２では、実施例１の主題は、任意選択的に、第１のレンダリング品質が、個別化された頭部伝達関数（ＨＲＴＦ）の複素周波数領域補間を含み、第２のレンダリング品質が、音源ごとの聴覚間時間差（ＩＴＤ）を有する線形時間領域ＨＲＴＦ補間を含む、ことを含む。
【0036】
実施例３では、実施例１～２のうちの何れか１又は２以上の実施例の主題は、任意選択的に、中央視覚領域は、中央視覚視力と関連付けられ、周辺視覚領域は、周辺視覚視力と関連付けられ、中央視覚視力は、周辺視覚視力を上回る、ことを含む。
【0037】
実施例４では、実施例３の主題は、任意選択的に、中央視覚領域は、ユーザ注視方向に中央円錐領域を含み、周辺視覚領域は、ユーザの視野内にあり及び中央円錐領域の外にある周辺円錐領域を含む、ことを含む。
【0038】
実施例５では、実施例３～４の何れか１又は２以上の実施例の主題は、任意選択的に、上記命令は更に、遷移レンダリング品質を用いて遷移サウンド信号をレンダリングするように１又は２以上のプロセッサを構成し、遷移サウンド信号は、遷移境界領域内の遷移音源に関連付けられ、遷移境界領域は、中央円錐領域の周囲に沿って中央円錐領域及び周辺円錐領域によって共有され、遷移レンダリング品質は、第１のレンダリング品質と第２のレンダリング品質との間でシームレスなオーディオ品質遷移を提供することを含む。
【0039】
実施例６では、実施例５の主題は、任意選択的に、遷移境界領域が、ＨＲＴＦサンプリング位置を含むように選択されることを含む。
【0040】
実施例７では、実施例６の主題は、任意選択的に、遷移境界領域にて共通ＩＴＤが適用されることを含む。
【0041】
実施例８では、実施例１～７のうちの何れか１又は２以上の実施例の主題は、任意選択的に、上記命令は更に、第３のレンダリング品質を用いて第３のサウンド信号をレンダリングするように１又は２以上のプロセッサを構成し、第３のサウンド信号は、周辺視覚領域の外の非可視領域内の第３の音源に関連付けられ、第２のレンダリング品質は第３のレンダリング品質を上回る、ことを含む。
【0042】
実施例９では、実施例８の主題は、任意選択的に、第３のレンダリング品質が仮想ラウドスピーカーのレンダリングを含むことを含む。
【0043】
実施例１０では、例１～９のうちの何れか１又は２以上の実施例の主題は、任意選択的に、上記命令が更に、第１のサウンド信号及び第２のサウンド信号に基づいてミックス出力信号を生成し、ミックス出力信号を可聴サウンド再生装置に出力する、ように１又は２以上のプロセッサを構成することを含む。
【0044】
実施例１１では、実施例１０の主題は、任意選択的に、可聴サウンド再生装置がバイノーラルサウンド再生装置を含み、第１のレンダリング品質を用いて第１のサウンド信号をレンダリングすることは、第１の頭部伝達関数（ＨＲＴＦ）を用いて第１のサウンド信号を第１のバイノーラルオーディオ信号にレンダリングすることを含み、第２のレンダリング品質を用いて第２のサウンド信号をレンダリングすることは、第２のＨＲＴＦを用いて第２のサウンド信号を第２のバイノーラルオーディオ信号にレンダリングすることを含む、ことを含む。
【0045】
実施例１２は、サウンドレンダリング方法であって、第１のレンダリング品質を用いて第１のサウンド信号をレンダリングするステップであって、第１のサウンド信号は、中央視覚領域内の第１の音源に関連付けられているステップと、第２のレンダリング品質を用いて第２のサウンド信号をレンダリングするステップであって、第２のサウンド信号は、周辺視覚領域内の第２の音源に関連付けられ、第１のレンダリング品質は第２のレンダリング品質を上回る、ステップと、を含むサウンドレンダリング方法。
【0046】
実施例１３では、実施例１２の主題は、任意選択的に、第１のレンダリング品質が、個別化された頭部伝達関数（ＨＲＴＦ）の複素周波数領域補間を含み、第２のレンダリング品質が、音源ごとの聴覚間時間差（ＩＴＤ）を有する線形時間領域ＨＲＴＦ補間を含む、ことを含む。
【0047】
実施例１４では、実施例１２～１３のうちの何れか１又は２以上の実施例の主題は、任意選択的に、中央視覚領域は、中央視覚視力と関連付けられ、周辺視覚領域は、周辺視覚視力と関連付けられ、中央視覚視力は、周辺視覚視力を上回る、ことを含む。
【0048】
実施例１５では、実施例１４の主題は、任意選択的に、中央視覚領域は、ユーザ注視方向に中央円錐領域を含み、周辺視覚領域は、ユーザの視野内にあり中央円錐領域の外にある周辺円錐領域を含む、ことを含む。
【0049】
実施例１６では、実施例１４～１５のうちの何れか１又は２以上の実施例の主題は、任意選択的に、遷移レンダリング品質を用いて遷移サウンド信号をレンダリングするステップを含み、遷移サウンド信号は、遷移境界領域内の遷移音源に関連付けられ、遷移境界領域は、中央円錐領域の周囲に沿って中央円錐領域及び周辺円錐領域によって共有され、遷移レンダリング品質は、第１のレンダリング品質と第２のレンダリング品質との間のシームレスなオーディオ品質遷移を提供する、ことを含む。
【0050】
実施例１７では、実施例１６の主題は、任意選択的に、遷移境界領域がＨＲＴＦサンプリング位置を含むように選択されることを含む。
【0051】
実施例１８では、実施例１６～１７のうちの何れか１又は２以上の実施例の主題は、任意選択的に、共通ＩＴＤが遷移境界領域で適用されることを含む。
【0052】
実施例１９では、実施例１２～１８のうちの何れか１又は２以上の実施例の主題は、任意選択的に、第３のレンダリング品質を用いて第３のサウンド信号をレンダリングするステップを含み、第３のサウンド信号は、周辺視覚領域の外の非可視領域内の第３の音源に関連付けられ、第２のレンダリング品質は第３のレンダリング品質を上回る、ことを含む。
【0053】
実施例２０では、実施例１９の主題は、任意選択的に、第３のレンダリング品質が仮想ラウドスピーカーレンダリングを含むことを含む。
【0054】
実施例２１では、実施例１２～２０のうちの何れか１又は２以上の実施例の主題は、第１のサウンド信号及び第２のサウンド信号に基づいてミックス出力信号を生成するステップと、ミックス出力信号を可聴サウンド再生装置に出力するステップとを含む。
【0055】
実施例２２では、実施例２１の主題は、任意選択的に、可聴サウンド再生装置がバイノーラルサウンド再生装置を含み、第１のレンダリング品質を用いて第１のサウンド信号をレンダリングするステップが、第１の頭部伝達関数（ＨＲＴＦ）を用いて第１のサウンド信号を第１のバイノーラルオーディオ信号にレンダリングするステップを含み、第２のレンダリング品質を用いて第２のサウンド信号のレンダリングするステップが、第２のＨＲＴＦを用いて第２のサウンド信号を第２のバイノーラルオーディオ信号にレンダリングするステップを含む、ことを含む。
【0056】
実施例２３は、命令を含む１又は２以上の機械読取可能な媒体であり、この命令は、コンピューティングシステムによって実行されたときに、コンピューティングシステムに実施例１２～２２の方法の何れかを実行させる。
【0057】
実施例２４は、実施例１２～２２の方法の何れかを実行するための手段を含む装置である。
【0058】
実施例２５は、複数の命令を含む機械読取可能なストレージ媒体であって、デバイスのプロセッサによって実行されたときに、デバイスに、第１のレンダリング品質を用いて第１のサウンド信号をレンダリングし、第１のサウンド信号が中央視覚領域内の第１の音源に関連付けられ、第２のレンダリング品質を用いて第２のサウンド信号をレンダリングし、第２のサウンド信号が周辺視覚領域内の第２の音源に関連付けられ、第１のレンダリング品質が第２のレンダリング品質を上回る、ようにさせる。
【0059】
実施例２６では、実施例２５の主題は、任意選択的に、第１のレンダリング品質が、個別化された頭部伝達関数（ＨＲＴＦ）の複素周波数領域補間を含み、第２のレンダリング品質が、音源ごとの聴覚間時間差（ＩＴＤ）を有する線形時間領域ＨＲＴＦ補間を含む、ことを含む。
【0060】
実施例２７では、実施例２５～２６のうちの何れか１又は２以上の実施例の主題は、任意選択的に、中央視覚領域が中央視覚視力と関連付けられ、周辺視覚領域が周辺視覚視力と関連付けられ、中央視覚視力は周辺視覚視力を上回る、ことを含む。
【0061】
実施例２８では、実施例２７の主題は、任意選択的に、中央視覚領域がユーザ注視方向に中央円錐領域を含み、周辺視覚領域が、ユーザの視野内で中央円錐領域の外の周辺円錐領域を含む、ことを含む。
【0062】
実施例２９では、実施例２７～２８のうちの何れか１又は２以上の実施例の主題は、任意選択的に、更にデバイスに、遷移レンダリング品質を用いて遷移サウンド信号をレンダリングさせ、遷移サウンド信号が、遷移境界領域内の遷移音源に関連付けられ、遷移境界領域が、中央円錐領域の周囲に沿って中央円錐領域と周辺円錐領域とによって共有され、遷移レンダリング品質は、第１のレンダリング品質と第２のレンダリング品質との間のシームレスなオーディオ品質遷移を提供する、ようにさせる命令を含む。
【0063】
実施例３０では、実施例２９の主題は、任意選択的に、遷移境界領域が、ＨＲＴＦサンプリング位置を含むように選択されることを含む。
【0064】
実施例３１では、実施例２９～３０のうちの何れか１又は２以上の実施例の主題は、任意選択的に、共通ＩＴＤが遷移境界領域で適用されることを含む。
【0065】
実施例３２では、実施例２５～３１のうちの何れか１又は２以上の実施例の主題は、任意選択的に、更にデバイスに、第３のレンダリング品質を用いて第３のサウンド信号をレンダリングさせ、第３のサウンド信号は、周辺視覚領域の外の非可視領域内の第３の音源に関連付けられ、第２のレンダリング品質は、第３のレンダリング品質を上回る、ようにさせる命令を含む。
【0066】
実施例３３では、実施例３２の主題は、任意選択的に、第３のレンダリング品質が仮想ラウドスピーカーレンダリングを含むことを含む。
【0067】
実施例３４では、実施例２５～３３のうちの何れか１又は２以上の実施例の主題は、任意選択的に、更にデバイスに、第１のサウンド信号及び第２のサウンド信号に基づいてミックス出力信号を生成させ、ミックス出力信号を可聴サウンド再生デバイスに出力する、ようにさせる命令を含む。
【0068】
実施例３５では、実施例３４の主題は、任意選択的に、可聴サウンド再生装置がバイノーラルサウンド再生装置を含み、第１のレンダリング品質を使用する第１のサウンド信号のレンダリングが、第１の頭部伝達関数（ＨＲＴＦ）を用いて第１のバイノーラルオーディオ信号に第１のサウンド信号をレンダリングすることを含み、第２のレンダリング品質を使用する第２のサウンド信号のレンダリングは、第２のＨＲＴＦを用いて第２のバイノーラルオーディオ信号に第２のサウンド信号をレンダリングすることを含む、ことを含む。
【0069】
実施例３６は、第１のレンダリング品質を用いて第１のサウンド信号をレンダリングするステップであって、第１のサウンド信号は、中央視覚領域内の第１の音源に関連付けられているステップと、第２のレンダリング品質を用いて第２のサウンド信号をレンダリングするステップであって、第２のサウンド信号は、周辺視覚領域内の第２の音源に関連付けられているステップと、第１のレンダリング品質は、第２のレンダリング品質を上回る、ことを含むサウンドレンダリング装置を含む。
【0070】
実施例３７では、例３６の主題は、任意選択的に、第１のレンダリング品質が、個別化された頭部伝達関数（ＨＲＴＦ）の複素周波数領域補間を含み、第２のレンダリング品質が、音源ごとの聴覚間時間差（ＩＴＤ）を有する線形時間領域ＨＲＴＦ補間を含む、ことを含む。
【0071】
実施例３８では、実施例３６～３７のうちの何れか１又は２以上の実施例の主題は、任意選択的に、中央視覚領域は、中央視覚視力と関連付けられ、周辺視覚領域は、周辺視覚視力と関連付けられ、中央視覚視力は、周辺視覚視力を上回る、ことを含む。
【0072】
実施例３９では、実施例３８の主題は、任意選択的に、中央視覚領域は、ユーザ注視方向に中央円錐領域を含み、周辺視覚領域は、ユーザの視野内で中央円錐領域の外の周辺円錐領域を含む、ことを含む。
【0073】
実施例４０では、実施例３８～３９のうちの何れか１又は２以上の実施例の主題は、任意選択的に、遷移レンダリング品質を用いて遷移サウンド信号をレンダリングすることを含み、遷移サウンド信号は、遷移境界領域内の遷移音源に関連付けられ、遷移境界領域は、中央円錐領域の周囲に沿って中央円錐領域と周辺円錐領域とによって共有され、遷移レンダリング品質は、第１のレンダリング品質と第２のレンダリング品質との間のシームレスなオーディオ品質遷移を提供する、ことを含む。
【0074】
実施例４１では、実施例４０の主題は、任意選択的に、遷移境界領域がＨＲＴＦサンプリング位置を含むように選択される、ことを含む。
【0075】
実施例４２では、実施例４０～４１のうちの何れか１又は２以上の実施例の主題は、任意選択的に、共通ＩＴＤが遷移境界領域にて適用される、ことを含む。
【0076】
実施例４３では、実施例３９～４２のうちの何れか１又は２以上の実施例の主題は、任意選択的に、第３のレンダリング品質を用いて第３のサウンド信号をレンダリングすることを含み、第３のサウンド信号は、周辺視覚領域の外の非可視領域内の第３の音源に関連付けられ、第２のレンダリング品質は、第３のレンダリング品質を上回る、ことを含む。
【0077】
実施例４４では、実施例４３の主題は、任意選択的に、第３のレンダリング品質が仮想ラウドスピーカーレンダリングを含む、ことを含む。
【0078】
実施例４５では、実施例３６～４４のうちの何れか１又は２以上の実施例の主題は、任意選択的に、第１のサウンド信号及び第２のサウンド信号に基づいてミックス出力信号を生成すること、及びミックス出力信号を可聴サウンド再生装置に出力することを含む。
【0079】
実施例４６では、実施例４５の主題は、任意選択的に、可聴サウンド再生装置がバイノーラルサウンド再生装置を含み、第１のレンダリング品質を用いた第１のサウンド信号のレンダリングが、第１の頭部伝達関数（ＨＲＴＦ）を用いて第１のバイノーラルオーディオ信号に第１のサウンド信号をレンダリングすることを含み、第２のレンダリング品質を用いた第２のサウンド信号のレンダリングが、第２のＨＲＴＦを用いて第２のバイノーラルオーディオ信号に第２のサウンド信号をレンダリングすることを含む、ことを含む。
【0080】
実施例４７は、機械によって実行されたときに、機械に実施例１～４６の何れかの操作を実行させる命令を含む１又は２以上の機械読取可能な媒体である。
【0081】
実施例４８は、実施例１～４６の何れかの動作を実行するための手段を含む装置である。
【0082】
実施例４９は、実施例１～４６の何れかの動作を実行するシステムである。
【0083】
実施例５０は、実施例１～４６の何れかの動作を実行するための方法である。
【0084】
上記の詳細な説明は、この詳細な説明の一部を形成する添付図面の参照を含む。図面は、例証として特定の実施形態を示す。これらの実施形態はまた、「実施例」として本明細書で参照される。このような実施例は、図示又は説明されたものに加えて要素を含むことができる。更に、本発明の主題は、特定の実施例（又はこの１又は２以上の態様）に関して、又は本明細書で図示又は説明された他の実施例（又はこの１又は２以上の態様）に関しての何れかにおいて、図示又は説明された要素（又はこの１又は２以上の態様）の何れかの組み合わせ又は置換を含むことができる。
【0085】
本明細書において、用語「ａ」又は「ａｎ」は、特許文書で共通するように、「少なくとも１つ」又は「１又は２以上」の他の何れかの事例又は使用に関係なく１又は１よりも多いものを含むのに使用される。本明細書において、用語「ｏｒ（又は）」は、非排他的であることを指すのに使用され、すなわち、別途指示がない限り、「Ａ又はＢ」が「ＢではなくＡ」、「ＡではなくＢ」、及び「Ａ及びＢ」を含むものとする。本明細書において、「ｉｎｃｌｕｄｉｎｇ」及び「ｉｎ ｗｈｉｃｈ」は、それぞれの用語「ｃｏｍｐｒｉｓｉｎｇ」及び「ｗｈｅｒｅｉｎ」の一般的意味の等価物として使用される。また、以下の請求項において、用語「ｉｎｃｌｕｄｉｎｇ」及び「ｃｏｍｐｒｉｓｉｎｇ」は、非制限的なものであり、すなわち、請求項におけるこのような用語の後に列挙された用語に加えて要素を含むシステム、デバイス、製品、組成物、配合物、又はプロセスは、当該請求項の範囲内にあるものと見なされる。更に、以下の請求項において、「第１」、「第２」、及び「第３」などの用語語は、単に標識として用いられ、これらの対象に対して数値的要件を課すものではない。
【0086】
上記の説明は例証であり限定ではないものとする。例えば、上述の実施例（又はこの１又は２以上の態様）は、互いに組み合わせて用いることができる。上記の説明を読むと、当業者によってなど、他の実施形態を用いることができる。要約は、読んだ人が技術的開示の本質を迅速に確認できるようにするために提供される。この要約は、請求項の範囲又は意味を解釈又は限定するのに用いられないという条件の下で提示される。上記の詳細な説明では、様々な特徴を共にグループ化して、本開示を簡素化することができる。これは、特許請求されていない開示された特徴が何れかの請求項に必須であるという意図として解釈すべきではない。むしろ、本発明の主題は、特定の開示された実施形態の全てではない特徴によって成立することができる。従って、以下の請求項は、本明細書で詳細な説明に組み入れられ、各請求項は、別個の実施形態として単独で成立しており、このような実施形態が様々な組み合わせ又は置換で互いに組み合わせ得ることが企図される。本発明の範囲は、このような請求項が与えられる均等物の全範囲と共に添付の請求項を参照して決定すべきである。
【符号の説明】
【0087】
１００ ユーザ視野
１１０ ユーザ
１２０ 全視野
１３０ 焦点領域
１４０ ３Ｄ視野
１５０ 周辺視野
１６０ 左周辺領域
１６５ 右周辺領域
１７０ 左のみの領域
１７５ 右のみの領域
１８０ 音源
１１０ ユーザ
１２０ 全視野
１３０ 焦点領域
１４０ ３Ｄ視野
１５０ 周辺視野
１６０ 左周辺領域
１６５ 右周辺領域
１７０ 左のみの領域
１７５ 右のみの領域
１８０ 音源
【図1】
【図2】
【図3】
【図4】
【図5】