(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-05
(45)【発行日】2022-07-13
(54)【発明の名称】自由視点レンダリングにおけるオーディオオブジェクトの修正
(51)【国際特許分類】
H04S 7/00 20060101AFI20220706BHJP
【ＦＩ】
H04S7/00 340
【請求項の数】
23
(21)【出願番号】P 2019519985
(86)(22)【出願日】2017-10-06
(65)【公表番号】
(43)【公表日】2019-12-05
(86)【国際出願番号】 FI2017050705
(87)【国際公開番号】W WO2018069573
(87)【国際公開日】2018-04-19
【審査請求日】2019-05-23
【審判番号】
【審判請求日】2021-05-06
(31)【優先権主張番号】15/293,607
(32)【優先日】2016-10-14
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】315002955
【氏名又は名称】ノキア テクノロジーズ オーユー
(74)【代理人】
【識別番号】100127188
【弁理士】
【氏名又は名称】川守田 光紀
(72)【発明者】
【氏名】ラークソネン ラッセ
【合議体】
【審判長】畑中 高行
【審判官】新井 寛
【審判官】樫本 剛
(56)【参考文献】
【文献】Ｏｈａｎ Ｏｄａ，ｅｔ ａｌ．，Ｉｎｔｅｒｆｅｒｅｎｃｅ Ａｖｏｉｄａｎｃｅ ｉｎ Ｍｕｌｔｉ－Ｕｓｅｒ Ｈａｎｄ－Ｈｅｌｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ，ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ ２００９ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ Ｐｒｏｃｅｅｄｉｎｇｓ，ＩＥＥＥ，２００９年１０月１９日，ｐｐ．１３－２２
【文献】Ａｄｒｉａｎ Ｄａｖｉｄ Ｃｈｅｏｋ，ｅｔ ａｌ．，Ｔｏｕｃｈ－Ｓｐａｃｅ： Ｍｉｘｅｄ Ｒｅａｌｉｔｙ Ｇａｍｅ Ｓｐａｃｅ Ｂａｓｅｄ ｏｎ Ｕｂｉｑｕｉｔｏｕｓ， Ｔａｎｇｉｂｌｅ， ａｎｄ Ｓｏｃｉａｌ Ｃｏｍｐｕｔｉｎｇ，Ｐｅｒｓｏｎａｌ ａｎｄ Ｕｂｉｑｕｉｔｏｕｓ Ｃｏｍｐｕｔｉｎｇ，Ｓｐｒｉｎｇｅｒ－Ｖｅｒｌａｇ，２００２年，Ｖｏｌ．６，Ｎｏ．５－６，ｐｐ．４３０－４４２
【文献】Ｃａｒｌ Ｓｃｈｉｓｓｌｅｒ， ｅｔ ａｌ．，Ｅｆｆｉｃｉｅｎｔ ＨＲＴＦ－Ｂａｓｅｄ Ｓｐａｔｉａｌ Ａｕｄｉｏ ｆｏｒ Ａｒｅａ ａｎｄ Ｖｏｌｕｍｅｔｒｉｃ Ｓｏｕｒｃｅｓ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ，ＩＥＥＥ，２０１６年４月，Ｖｏｌ．２２，Ｎｏ．４，ｐｐ．１３５６－１３６６
(58)【調査した分野】(Int.Cl.，ＤＢ名)
H04S 7/00
(57)【特許請求の範囲】
【請求項1】
方法であって、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記ユーザの位置と前記自由視点レンダリングにおける前記オーディオオブジェクトとの間の相対的移動の間、前記自由視点レンダリングにおける前記オーディオオブジェクトと前記ユーザの位置との間の位置的な衝突異常を検出することを含み、
前記自由視点レンダリングは、前記オーディオオブジェクトに対する前記ユーザの移動を可能にするように構成されるリアリティコンテンツ消費空間において行われ、前記オーディオオブジェクトは、前記リアリティコンテンツ消費空間内の音源であり、
前記位置的な衝突異常に基づいて、前記ユーザと前記オーディオオブジェクトとの間のオーディオオブジェクト干渉に適用される、オーディオオブジェクト修正が構成可能であり、
さらに前記方法は、
前記位置的な衝突異常の検出に応じて、前記オーディオオブジェクト修正を適用すべく、少なくとも１つの所定の異常修正パラメータに基づいて、前記オーディオオブジェクトのレンダリングを変更することと、
を含む方法。
【請求項2】
前記変更することは、前記オーディオオブジェクトの位置、拡縮、回転、および増幅の内の少なくとも１つに関し、
前記位置は、前記オーディオオブジェクトの位置を前記ユーザから離すことを含み、
前記拡縮は、前記オーディオオブジェクトのサイズを前記ユーザを取り囲むように拡大することを含み、
前記回転は、前記オーディオオブジェクトが前記ユーザの周囲を回転するようにレンダリングすることを含み、
前記増幅は、前記オーディオオブジェクトを無音とすることを含む、
請求項１に記載の方法。
【請求項3】
前記変更することは、等化、指向性、タイムシフト、追いかけ、およびオーディオオブジェクト乗算の内の少なくとも１つに関する、請求項１または２に記載の方法。
【請求項4】
前記自由視点レンダリングは第２のオーディオオブジェクトのレンダリングを含み、前記方法は、
前記自由視点レンダリングにおける前記第２のオーディオオブジェクトと前記自由視点レンダリングにおける前記ユーザの位置との間の第２の位置的な衝突異常を検出することと、
前記第２の位置的な衝突異常の検出に応じて、少なくとも１つの異なる所定の異常修正パラメータに基づいて、前記第２のオーディオオブジェクトのレンダリングを変更することと、
をさらに含む、請求項１から３のいずれかに記載の方法。
【請求項5】
前記少なくとも１つの所定の異常修正パラメータは、少なくとも２つの前記所定の異常修正パラメータを含む、請求項１から４のいずれかに記載の方法。
【請求項6】
前記オーディオオブジェクトに基づいて、修正調整によって前記オーディオオブジェクトのレンダリングの前記変更に対する、前記少なくとも１つの所定の異常修正パラメータによる影響を変えることをさらに含む、請求項１から５のいずれかに記載の方法。
【請求項7】
前記修正調整は、時間間隔および／または拡縮の変更を前記少なくとも１つの所定の異常修正パラメータに適用する、請求項６に記載の方法。
【請求項8】
前記修正調整は、前記自由視点レンダリングにおける前記オーディオオブジェクトと前記自由視点レンダリングにおける前記ユーザの位置との間の距離に関する有効距離修正調整である、請求項６に記載の方法。
【請求項9】
検出された前記位置的な衝突異常の種類に基づいて、前記少なくとも１つの所定の異常修正パラメータを選択することをさらに含む、請求項１から８のいずれかに記載の方法。
【請求項10】
検出された前記位置的な衝突異常の特徴に基づいて、前記選択された少なくとも１つの所定の異常修正パラメータに対する値を選択することをさらに含む、請求項９に記載の方法。
【請求項11】
前記位置的な衝突異常を検出することは、レンダリング位置追跡を使用することを含む、請求項１から１０のいずれかに記載の方法。
【請求項12】
前記位置的な衝突異常を検出することは、前記ユーザの頭部の頭部追跡を使用することをさらに含む、請求項１１に記載の方法。
【請求項13】
前記相対的移動は、前記自由視点レンダリングにおける前記ユーザの第１の位置を、前記自由視点レンダリングにおける前記ユーザの第２の異なる位置へと変更することを含み、ここで前記位置的な衝突異常は、前記自由視点レンダリングにおける前記オーディオオブジェクトと前記ユーザの前記第２の位置との間に生じる、請求項１から１２のいずれかに記載の方法。
【請求項14】
装置であって、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記ユーザの位置と前記自由視点レンダリングにおける前記オーディオオブジェクトとの間の相対的移動の間、前記自由視点レンダリングにおける前記オーディオオブジェクトと前記ユーザの位置との間の位置的な衝突異常を検出する手段を備え、
前記自由視点レンダリングは、前記オーディオオブジェクトに対する前記ユーザの移動を可能にするように構成されるリアリティコンテンツ消費空間において行われ、前記オーディオオブジェクトは、前記リアリティコンテンツ消費空間内の音源であり、
前記位置的な衝突異常に基づいて、前記ユーザと前記オーディオオブジェクトとの間のオーディオオブジェクト干渉に適用される、オーディオオブジェクト修正が構成可能であり、
さらに前記装置は、
前記位置的な衝突異常の検出に応じて、前記オーディオオブジェクト修正を適用すべく、少なくとも１つの所定の異常修正パラメータに基づいて、前記オーディオオブジェクトのレンダリングを変更する手段を備える、
装置。
【請求項15】
前記変更することは、前記オーディオオブジェクトの位置、拡縮、回転、および増幅の内の少なくとも１つに関し、
前記位置は、前記オーディオオブジェクトの位置を前記ユーザから離すことを含み、
前記拡縮は、前記オーディオオブジェクトのサイズを前記ユーザを取り囲むように拡大することを含み、
前記回転は、前記オーディオオブジェクトが前記ユーザの周囲を回転するようにレンダリングすることを含み、
前記増幅は、前記オーディオオブジェクトを無音とすることを含む、
請求項１４に記載の装置。
【請求項16】
前記変更することは、等化、指向性、タイムシフト、追いかけ、およびオーディオオブジェクト乗算の内の少なくとも１つに関する、請求項１４または１５に記載の装置。
【請求項17】
前記自由視点レンダリングは第２のオーディオオブジェクトのレンダリングを含み、前記自由視点レンダリングにおける前記第２のオーディオオブジェクトと、前記自由視点レンダリングにおける前記第２のオーディオオブジェクトに対する前記ユーザの位置との間の第２の位置的な衝突異常を検出する手段と、
前記第２の位置的な衝突異常の検出に応じて、少なくとも１つの異なる所定の異常修正パラメータに基づいて、前記第２のオーディオオブジェクトのレンダリングを変更する手段と、
を更に備える、請求項１４から１６のいずれかに記載の装置。
【請求項18】
前記少なくとも１つの所定の異常修正パラメータは、少なくとも２つの前記所定の異常修正パラメータを含む、請求項１４から１７のいずれかに記載の装置。
【請求項19】
前記オーディオオブジェクトに基づいて、修正調整によって前記オーディオオブジェクトのレンダリングの前記変更に対する、前記少なくとも１つの所定の異常修正パラメータによる影響を変える手段を更に備える、請求項１４から１８のいずれかに記載の装置。
【請求項20】
前記修正調整は、時間間隔および／または拡縮の変更を前記少なくとも１つの所定の異常修正パラメータに適用するように構成された、請求項１９に記載の装置。
【請求項21】
前記修正調整は、前記自由視点レンダリングにおける前記オーディオオブジェクトと、前記自由視点レンダリングにおける前記オーディオオブジェクトに対する前記ユーザの位置との間の距離に関する有効距離修正調整である、請求項１９に記載の装置。
【請求項22】
処理手段及び記憶手段を備える装置であって、前記記憶手段はプログラム命令を格納し、前記プログラム命令は、前記処理手段に実行されると、前記装置に、請求項１から１３のいずれかに記載の方法を遂行させるように構成される、装置。
【請求項23】
装置の処理手段に実行されると、前記装置に、請求項１から１３のいずれかに記載の方法を遂行させるように構成されるプログラム命令を備える、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
例示的および非限定的な実施形態は、概してオーディオオブジェクトに関し、特にオーディオオブジェクトの修正に関する。
【背景】
【0002】
オーディオビジュアル消費における自由視点とは、ユーザがコンテンツ消費空間内で動くことができることを指す。非自由視点仮想現実体験では、視点の方向の変更（回転）に限定される一方、自由視点レンダリングによると、視点の方向の変更（回転）に加えて、移動を介したレンダリング点の変更（並進）も可能である。自由視点レンダリングにおいてオーディオオブジェクトを設けることが知られている。したがって、自由視点レンダリングでは、幾何学的変換は三次元回転、および二次元または三次元並進が含まれる。
【摘要】
【0003】
以下の要約はあくまで例示を目的としており、請求の範囲を限定する意図はない。
【0004】
ある態様において、例示的方法は、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記ユーザの位置と前記オーディオオブジェクトとの間の相対的移動の間、前記オーディオオブジェクトと前記ユーザの位置との間の位置的な衝突異常を検出することと、前記位置的な衝突異常の検出に応じて、少なくとも１つの所定の異常修正パラメータに基づいて、前記オーディオオブジェクトのレンダリングを変更することと、を含む。
【0005】
別の態様において、例示的装置は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つの非一時的メモリと、を備え、前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記装置に、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記ユーザの位置と前記オーディオオブジェクトとの間の相対的移動の間、前記オーディオオブジェクトと前記ユーザの位置との間の位置的な衝突異常を検出することと、前記位置的な衝突異常の検出に応じて、少なくとも１つの所定の異常修正パラメータに基づいて、前記オーディオオブジェクトのレンダリングを変更することと、を実行させるように構成されている。
【0006】
別の態様において、例示的装置は、機械によって可読な非一時的プログラム記憶装置であって、動作を実行するために前記機械によって実行可能な命令のプログラムを具体的に実施するプログラム記憶装置を備え、前記動作は、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記ユーザの位置と前記オーディオオブジェクトとの間の相対的移動の間、前記オーディオオブジェクトと前記ユーザの位置との間の位置的な衝突異常を検出することと、前記位置的な衝突異常の検出に応じて、少なくとも１つの所定の異常修正パラメータに基づいて、前記オーディオオブジェクトのレンダリングを変更することと、を含む。
【図面の簡単な説明】
【0007】
上述の態様やその他の特徴が、以下の図を参照して、下記において説明される。
【実施例の詳細説明】
【0008】
図１は、例示的実施形態の特徴を含むリアリティシステム１０を示す図である。リアリティシステム１０は、例えば、ユーザによって、拡張現実（Augmented Reality：ＡＲ）、仮想現実（Virtual Reality：ＶＲ）、またはプレゼンスキャプチャ（Presence-Captured：ＰＣ）体験とコンテンツ消費に利用されうる。図示の例示的実施形態を参照に特徴を説明するが、多数の別態様の実施形態で特徴が実現できることが理解されよう。
【0009】
システム１０は、ユーザに自由視点レンダリングを提供するように構成される。システム１０は概して、ビジュアルシステム１２と、オーディオシステム１４と、相対位置システム１６とを備える。ビジュアルシステム１２は、ユーザに視覚的画像を提供するように構成される。ビジュアルシステム１２は、例えば、仮想現実（ＶＲ）ヘッドセット、ゴーグル、またはメガネを備えてもよい。オーディオシステム１４は、例えば、１つまたは複数のスピーカ、ＶＲヘッドセット、またはイヤフォンによって、ユーザにオーディオ音声を提供するように構成される。相対位置システム１６は、例えば、ユーザの頭部のような、ユーザの位置を検出し、リアリティコンテンツ消費空間での領域内のユーザの位置を判定するように構成される。リアリティコンテンツ消費空間内での動きは、実際のユーザの動き、ユーザ制御の動き、および／またはその他の外部制御された動きや所定の動き、あるいはこれらの任意の組合せに基づいていてもよい。ユーザは、自由視点のコンテンツ消費空間内で移動可能である。相対位置システム１６は、現実世界でのユーザの動きに応じて、ユーザが見聞きするものを変更可能であってもよい。すなわち、当該現実世界での動きによって、自由視点レンダリングでユーザが見聞きするものを変化させるのである。
【0010】
図２も参照すると、リアリティシステム１０は概して、１つまたは複数のコントローラ１８と、１つまたは複数の入力部２０と、１つまたは複数の出力部２２とを備える。入力部２０の例としては、相対位置システム１６からの位置センサ、別のデバイスから、例えばインターネットを介して送られたリアリティ情報、またはシステム１０に情報を入力するためのその他任意の適切なデバイスが挙げられる。出力部２２の例としては、ビジュアルシステム１２のＶＲヘッドセットに設けられたディスプレイ、オーディオシステム１４のスピーカ、別のデバイスへ情報を通信する通信出力部が挙げられる。コントローラ１８は、１つまたは複数のプロセッサ２４と、ソフトウェア２８を有する１つまたは複数のメモリ２６とを備える。
【0011】
図３も参照すると、自由視点媒介現実体験のスナップショットが示されている。この例では、体験には、複数の木３２と、複数羽の鳥３４と、蜂の巣３８が付いた枝３６と、複数匹の蜂４０とが含まれる。図３は、自由視点のビデオおよびオーディオを体験しているユーザを示す。同図では、ヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）とヘッドフォンの組合せを装着した現実世界のユーザが、媒介現実体験の中にいる。言い換えると、図３は、ユーザと、このユーザが体験している媒介現実空間とが組み合わされた三人称視点を示す。体験中のユーザの位置は、符号３０で示す。この媒介現実空間は、オーディオオブジェクト音源３２、３４、３８、４０が現実空間に設けられたビデオ表現である。この例では、ユーザは自然の一場面を体験しており、その周りを鳥がさえずり、ユーザ前方では蜂が巣の周りをブンブンと音を立てているのを見聞きしている。
【0012】
さらに図４を参照すると、媒介現実体験内で、ユーザが図３の位置から新たな位置へと移動したところが示されている。ただし、この図４に示す新たな位置では、ユーザは、オーディオオブジェクトまたは音源内へと、またはそれを通り抜けて移動している。具体的には、ユーザ３０の頭部３１が蜂の巣３８内に示されている。これは、自由視点レンダリングにおける、オーディオオブジェクト３８とユーザの位置との間の位置的な衝突異常を示す。現実世界では、人の頭部は、蜂の巣を破壊しない限り、蜂の巣内に存在しえない。図示されている蜂の巣内の頭部は、位置的な衝突異常の一例に過ぎない。別の例としては、例えば、現実では人が生存可能な温度を超えた熱を発する炉の近くにユーザが存在することが挙げられる。この位置的な衝突異常に基づいて、炉の音のオーディオオブジェクトを、１つまたは複数のパラメータに応じて修正できる。オーディオオブジェクトの修正は、いかなるオーディオオブジェクトの干渉にも当てはまりうる。これは現実世界では起こりえない、危険である、または気持ちが悪いことに必ずしも限られない。
【0013】
本明細書に記載の複数の特徴は、新規のオーディオオブジェクトの干渉の検出、および改良された自由視点オーディオのユーザ体験の定義に利用されてもよい。これらの特徴を、例えば、拡張現実（ＡＲ）、仮想現実（ＶＲ）、およびプレゼンスキャプチャ（ＰＣ）体験とコンテンツ消費に供することができる。特に、これらの特徴は、オブジェクトに基づくオーディオ等の空間的オーディオと、ユーザの干渉およびユーザインターフェースと共に利用されてもよい。
【0014】
オーディオビジュアル消費における自由視点では、ユーザは、例えば撮影地点（ＮＯＫＩＡ ＯＺＯデバイスの位置等）の周辺領域で、連続的にまたは断続的に移動、あるいは例えば少なくとも２つの撮影点間で移動可能である。ユーザは、移動可能領域での各方向、各位置で、自然な形でオーディオビジュアルシーンを知覚できる。例えば、コンピュータが生成した追加効果や取得されたオーディオビジュアル情報の修正等により、少なくとも一部がシミュレーションされるような体験は、包括的に「媒介現実体験」と称されうる。コンテンツは、撮影されてもよいし（その場合、知覚された現実に対応する）、コンピュータにより生成されてもよいし、これらの組合せであってもよい。事前に記録または生成されたものであってもよいし、例えばライブ映像であってもよい。取得されたコンテンツおよびデータの例としては、例えば、空間的オーディオとビデオ、点群（point clouds）、および例えば無線周波数（Radio-Frequency：ＲＦ）追跡によって取得されうる地理的位置データが挙げられる。ＲＦ追跡は、例えば高精度屋内測位（High-Accuracy Indoor Positioning：ＨＡＩＰ）技術に基づいてもよい。オーディオオブジェクトは、取得されたものであっても、生成されたものであってもよい。
【0015】
図３および図４を参照して上述したように、自由視点媒介現実体験のユーザは、ヘッドマウントディスプレイ（ＨＭＤ）を使用してビデオコンテンツを消費し、ヘッドフォンを使用して対応するオーディオコンテンツを消費してもよい。このシステムの少なくとも１つの構成要素が、ユーザの頭部の動きを追跡してもよい。これにより、ビデオの「適正部分」を適切な視点からユーザに提示できる。さらに同様に、消費空間内のユーザの位置および向きに対して適切な位置に、オーディオオブジェクトや音源を出現させることができる。ユーザは、当該ユーザの動きが、媒介現実空間において知覚された動きに直接的または間接的に対応するようにして、現実空間内を移動してもよい。一方、ユーザはこの空間中の自身の動きを、ユーザインターフェースを介して制御してもよい。場合によっては、動きが事前にプログラムされてもよいし、第三者（制御担当者またはサービス等）によって制御されてもよい。場合によっては、現実空間における撮影デバイスの実際の動きによって、同様の効果が実現されてもよい。
【0016】
図４に示すように、自由視点レンダリングにより、撮影位置または初期レンダリング位置にあるオーディオ音源に対して、ユーザが「直接つながる」ことが可能となる。「初期」というのは、時間によって変わる位置の内、所与の時点において意図した位置であるとも捉えられる。このオーディオ干渉の開始、期間、さらに反応は、これまで概して特定されていなかった。この接続または干渉に対するあらゆる初期反応は、オーディオオブジェクトや使用状況の一部に限られることが好ましいようである。自由視点レンダリングにおけるオーディオオブジェクトの干渉についての共通の枠組みが、これまで欠けていたのである。本明細書で解決しようとする問題としては、自由視点オーディオにおけるオーディオオブジェクトとの干渉とは何か、その干渉をどのように検出するのか、干渉はいつどこで始まり、いつどこで終わるのか、すなわち、どれ程の期間なのか、が挙げられる。
【0017】
さらに図５Ａを参照する。同図は、ユーザ３０が「レンダリング」において位置Ｋから位置Ｌに移動する際に、オーディオオブジェクト３８に接触することを示す。ユーザが見るものにさらに対応する、自然なオーディオ反応もありうる。ユーザ（頭部にヘッドフォンを装着）は、オーディオオブジェクト３８の初期位置へと移動しているように示されている。したがって、ユーザがレンダリングされた位置がオーディオオブジェクト３８に重なると、この位置的な衝突異常に対して、オーディオオブジェクトがユーザにどのように提示されるという問題が生じる。これに対して、いくつかの初期反応が考えられる。
【0018】
本明細書に記載の特徴により、高品質の自由視点オーディオ体験について、位置的な衝突異常による干渉と、当該干渉に対する反応とが定義されうる。ここで、コンテンツ作成者の視点も考慮に入れてもよい。柔軟性を与えることによって、多様な使用状況を網羅する、多数の異なるレンダリングのオプションが選択可能であってもよい。さらに、所与のオーディオオブジェクトについて、最適な、または所望のレンダリングのオプションがどのようなものであるかについての情報が提供可能であってもよい。言い換えると、これらを考慮した作成ツールが考えられるのである。このような手法は従来のシステムには欠けており、本明細書に記載の特徴を利用して、共通の枠組みが定義されうる。
【0019】
本明細書に記載の特徴は、自由視点媒介現実体験についてパラメータ化されたオブジェクトとオーディオの干渉に対して利用されてもよい。干渉は、自由視点オーディオにおいて、レンダリング位置に基づいて、あるオーディオオブジェクトをレンダリングすることと定義されてもよい。これは例えば、オーディオオブジェクトメタデータとして記憶、送信可能なパラメータ組を定義することで実現できる。あるいは、当該メタデータは、チャネル、トラック、または例えば方向オーディオサブバンド要素またはパラメータの組であってもよい。
【0020】
システム全体として、オーディオオブジェクト、チャネル、トラック等に対して、パラメータまたはそのサブセットを設定するインターフェースをさらに備えてもよい。このインターフェースは、空間的オーディオ作成ソフトウェアの一部であってもよい。さらに、システムは、拡張空間レンダラ、または空間レンダラ前段の修正ブロックを有してもよい。後者は、ユーザと、１つまたは複数のオーディオオブジェクトとの干渉の検出に応じて、当該オーディオオブジェクトを修正するものである。図６は、例示的実施形態のいくつかの特徴を示すブロック図である。
【0021】
ユーザの干渉および当該干渉の検出は、少なくとも現在の「レンダリング位置」に基づいてもよい。これは、例えばオーディオオブジェクトの位置に対するＫまたはＬ等を含むものであってもよい。これはまた、例えば前の「レンダリング位置」または「レンダリング位置」の変化のように、動きベクトルＶを考慮したものであってもよい。さらなるいくつかの実施形態では、次の「レンダリング位置」の予想も使用してもよい。二次パラメータを通じて、この行動が反映されてもよい。ここで、「レンダリング位置」は、媒介現実におけるユーザの視点を指す。この位置／視点は、例えば上述のような自由視点媒介現実体験において変動しうる。
【0022】
さらなる実施形態では、ユーザからオーディオオブジェクトへの干渉の概念は、媒介現実空間における、ユーザの位置または視点を逸脱したユーザの移動または行動についての分析を含みうる。例えば、ユーザは、その手やアプリケーションコントローラ組によってオーディオオブジェクトを操作することで、当該オーディオオブジェクトに干渉しうる。ＶＲについて、様々なオブジェクト操作技術が知られている。これらはユーザ入力手段に該当する。反応は、本明細書に記載の特徴を有する技術により特定される。反応は、次の２つの分類に分けられる。第１の分類は「干渉検出および修正パラメータ調整」に関し、第２の分類は「オーディオオブジェクトの空間的修正」に関する。
【0023】
いくつかの高度な実施形態では、ユーザの干渉に基づくオーディオオブジェクトの共通レンダリングが利用されてもよい。高度な実施形態とは、複数のユーザのコンテンツ消費に対応したもの等である。言い換えると、少なくとも２人のユーザが、同一の媒介現実体験を同時に消費しうる。典型的には、各ユーザに対するオーディオレンダリングが、その他のユーザ（複数可）に対してレンダリングされたものとは独立しているのである。共通レンダリングを利用する場合、１人のユーザのレンダリングに対する修正が、第２のユーザの対応するレンダリングに反映されてもよい。これにより、面白みのあるゲームのような、新たな種類のオーディオオブジェクトのレンダリングおよび体験が実現可能となりうる。
【0024】
オブジェクトがいかにレンダリングされるかに関するオーディオオブジェクトの特性または特徴の最小単位を、オーディオトラックおよび「レンダリングされた」空間のオブジェクトの位置としてもよい。典型的には、サイズの特性が使用される。これを利用して、例えば、スピーカ設定におけるいくつのスピーカが、オーディオオブジェクトの現在位置に基づいて、当該オーディオオブジェクトをレンダリングするのかを示すことができる。例えば、ヘリコプターに対応するオーディオオブジェクトを、ユーザの上空所定距離で飛んだ後に、ユーザの右前方に飛んでいくようにミキシングしてもよい。実際、ヘリコプターに対応するオーディオトラックは、レンダリング中に、最適なスピーカ（あるいはユーザにより任意に設定されたもの）によって適宜パンニングされる。図６を参照すると、この工程は、右側のボックス４４に示される、空間的レンダリングエンジンによって実行されてもよい。図７は、ＤＯＬＢＹ ＡＴＭＯＳを例として、ミキシングを例示的に視覚化したものを示す。このミキシングの視覚化は、異常修正パラメータと修正調整パラメータ（例えば、後述の有効距離と可逆性）のプログラミングに適用されてもよい。コンテンツ消費空間２９内の例えば３８ａ～３８ｄで示す個別のオーディオ音源は、互いに異なりうる個別化された反応に対して、別々の修正パラメータを有するようにプログラムされてもよい。これは一例に過ぎず、限定的に捉えるべきではない。いくつかの例では、インターフェースにより、例えば３８ａおよび３８ｂ等の２つ以上のオーディオ音源に、同時に共通修正パラメータを設定できる。例えば、共通のオーディオオブジェクトの「種類」分類に基づくもの等であってもよい。これによって、インターフェースでのパラメータ設定が迅速にできる。
【0025】
オーディオオブジェクトのオーディオトラックは、モノラルトラック、ステレオトラック、またはマルチチャネルトラックであってもよい。さらに、オーディオトラックは、空間的再生のためのさらなるメタデータを含んでもよい。高品質レンダリングに対して好ましい、いくつかの形態の空間的トラックが存在する。ただし、モノオーディオトラックが活用されてもよい。より高度の実施形態では、本明細書でさらに考慮される追加的な特性が含まれてもよい。そのような追加的特性の例としては、オーディオ音源の方向と指向性が挙げられる。
【0026】
図６において、「レンダリング位置追跡」４６は、ユーザの位置または視点を追跡することを指す。これは、頭部追跡４８の機能に組み合わされてもよい。追跡４６、４８には、従前の追跡システム（複数可）を利用してもよい。干渉検出により、オーディオオブジェクトのレンダリングを修正すべき時が定義される。さらに、どの程度の修正を行うべきかも定義されてもよい。干渉は、レンダリング位置と、オーディオオブジェクトの位置と、「有効距離」パラメータと称する包括的パラメータに基づいて検出されてもよい。この「有効距離」パラメータについては、より詳細に後述する。さらに、干渉検出において、オーディオオブジェクトのサイズが考慮されてもよい。ただし、実施の形態によっては、この情報が「有効距離」パラメータで考慮されてもよい。さらに、レンダリング位置のサイズについての入力が利用されてもよい。ただし、この情報が省略されて、想定される人の頭部の大きさが利用されてもよい。例えば、頭部の向き情報のような頭部追跡入力が利用されてもよい。
【0027】
上述のように、本明細書に記載の特徴は、自由視点媒介現実体験に関する干渉検出および干渉パラメータ修正と共に利用されてもよい。システムが全体として、いつユーザがオーディオオブジェクトに干渉するか、オーディオオブジェクトに干渉するユーザがどのようにオーディオオブジェクトの状態とレンダリングとに影響するかを定義するパラメータ組からなってもよい。これらのパラメータは、とりわけ既存のより低性能なレンダラとの逆相互運用性を可能とするメタデータとして実現されてもよい。ここでの相互運用性とは、従来のシステムが、その当時利用できなかった本明細書に記載の新規のシステムにより提供される新たな特徴を追加しても、障害なく初期動作可能であるということである。したがって、本明細書に記載の特徴は、自由視点オーディオにおける、オーディオオブジェクトとの干渉の検出と、この干渉に関するオーディオオブジェクト特性の修正に影響を及ぼすパラメータ選択に関する問題を解決するものである。
【0028】
図６に示すように、頭部追跡４８およびレンダリング位置追跡４６によって得られた結果を、ブロック５０で示すように干渉検出および修正パラメータ調整に利用できる。干渉検出および修正パラメータ調整５０と、頭部追跡４８からの出力を、オーディオオブジェクト空間的修正エンジン５２への入力としてもよい。少なくとも１つのプロセッサと、コンピュータコードを有する少なくとも１つのメモリとを備えるこのエンジン５２が、空間的レンダリングエンジン４４（少なくとも１つのプロセッサと、コンピュータコードを有する少なくとも１つのメモリとを備える）に使用される出力を生成してもよい。復号空間的オーディオ５６は、空間的レンダリングエンジン４４に対する入力としても利用されてもよい。
【0029】
考えられる４つの基本修正パラメータとして、位置、拡縮、回転、増幅が挙げられる。そのいくつかの例を示す図８を参照する。位置パラメータは、オーディオオブジェクト３８に対する位置修正（Ｘ－Ｙ－Ｚ内）を定義してもよい。例えば、これを利用して、オーディオオブジェクトをユーザ／レンダリング位置から離すように動かしてもよい。拡縮パラメータは、オーディオオブジェクト３８に対するサイズ修正（Ｘ－Ｙ－Ｚ内）を定義してもよい。したがって、拡縮によって、オーディオオブジェクトの形状変化も生じうる。例えば、拡縮は、オーディオオブジェクトでユーザ（またはユーザの頭部３１）を取り囲むようにオーディオオブジェクトを拡大するために利用されてもよい。回転パラメータは、オーディオオブジェクト３８に対する回転修正（Ｘ－Ｙ－Ｚを中心に）を定義してもよい。これは例えば、オーディオオブジェクトが指向性または空間的オーディオトラックを有する場合に有効でありうる。増幅パラメータは、元の音量に対する、オーディオオブジェクト３８の音量を定義してもよい。これは典型的には、時間と共に変化しうる。例えば、特定の時間での干渉によって、オーディオオブジェクトが無音となり、別の時間での干渉は音量に無影響であってもよい。
【0030】
図８は、図４に示す位置的な衝突異常の、干渉の３つの修正と、それによるオーディオオブジェクト３８のレンダリングを示す。矢印Ａで示すように、元のオーディオオブジェクト３８のサイズを修正して、３８'で示すようにオーディオオブジェクトがユーザの頭部３１の外側となるようにしてもよい（例えばサイズは、どのスピーカが音声再生または音量に寄与するかに影響しうる）。矢印Ｂで示すように、位置を修正することで、３８''で示すように、オーディオオブジェクトをレンダリング点から離してもよい（位置によって、音が再生される方向が影響を受ける）。矢印Ｃで示すように、サイズと回転の両方を修正してもよい。これにより、３８'''で示すように、オーディオオブジェクトがユーザの外側に置かれ、ユーザの周囲を回転するようになる（回転は、少なくともステレオトラックまたは何らかの人工的空間処理を前提とする）。
【0031】
追加的パラメータにより、体験設計の自由度をさらに増すように、より高度な反応を定義されうる。その例としては、等化、指向性、タイムシフトが挙げられる。等化パラメータは、オーディオオブジェクトのオーディオトラック再生レベルの周波数依存修正を定義してもよい。オーディオオブジェクトは、指向性特性を有してもよく、オーディオオブジェクトの指向性は、指向性パラメータに応じてさらに修正されてもよい。この指向性パラメータは、例えばオーディオオブジェクトのオーディオトラックの再生に関して、区域形状、サイズ、および方向を定義してもよく、周波数依存性であってもよい。指向性は、等化パラメータの二次パラメータであってもよい。タイムシフトパラメータは、オーディオオブジェクトのオーディオトラックの再生時間コードに対する修正を定義してもよい。これは例えば、相対的または絶対的タイムシフトであってもよい。したがって、ユーザの干渉は、例えば、オーディオトラックを開始させるか「巻き戻す」ものであってもよい。例えば、さらに高度なパラメータにより、オーディオオブジェクトが接触したユーザを追うようにしてもよいし（「追いかけ」パラメータ）、オーディオオブジェクトまたはそのオーディオトラックを倍加させるようにしてもよい（「オブジェクト乗算」パラメータ）。これらの高度なパラメータによって、特に、多数のユーザの干渉や、（新規）自由視点媒介現実体験における新たな楽しい体験が実現されてもよい。さらに、特定の反応を示すパラメータが存在してもよい（外部化向上のための脱相関フィルタの使用等）。
【0032】
空間的オーディオレンダリングエンジン４４（図６参照）は、オーディオオブジェクトと、基本的なミキシング（いわゆる基礎オーディオと適宜呼ばれるものある）を受信し、レンダリング点で空間的オーディオをレンダリングする。さらに図９も参照する。ここで、空間的オーディオレンダリングエンジン４４が、少なくとも１つの修正オーディオオブジェクトインスタンスを受信することが想定される。この修正は、検出された干渉５６と、オーディオオブジェクトに対して定義されたパラメータ組に基づく。後述のように、少なくとも１つのパラメータが、「いつ」オーディオオブジェクトが干渉に反応するかを定義してもよい。上述のように、少なくとも１つのパラメータが、オーディオオブジェクトが「どのように」干渉に反応するか定義してもよい。図９は、オーディオオブジェクト空間的修正エンジンで、オーディオオブジェクトを修正する処理を示す。いくつかの実施形態では、この処理は空間的レンダリングエンジン４４の一部であってもよい。５８で示すように、オーディオオブジェクトの干渉情報が得られ、６０で示すように、オーディオオブジェクトに対して、対応する修正パラメータの調整が実行される。例えば、位置的な衝突異常のようなオーディオオブジェクトの干渉が検出されると、ブロック６２に示すように、修正パラメータの少なくとも１つが適用されてもよい。その後、空間的レンダリングエンジン４４は、修正されたオーディオオブジェクトのレンダリングを実行してもよい。
【0033】
オーディオオブジェクトに適用される修正は、例えばオーディオトラックの種類のような、オーディオオブジェクト特性に依存してもよい。例えば、モノトラックを適宜、脱相関部で処理して、信号の外化（モノからステレオにアップミキシング）を向上してもよい。空間的レンダリングエンジン４４は、修正されたオーディオオブジェクトインスタンスをその他の任意のオーディオオブジェクトと同じく扱ってもよい。体験が設計およびミキシングされた際に慎重にパラメータが選択されたと仮定すると、オーディオオブジェクトの干渉下でのレンダリングが向上する。
【0034】
さらに図５Ｂから図５Ｄを参照する。これらの図は、図４の場合の問題に対して、レンダラが独自に実行できるさらなる反応の例を示す。図５Ｂに示すように、オーディオ音源３８は、ユーザ３０がそこに入ると無音化されてもよい。この手法により、その他の手法で生じうる不快な効果が防止されるが、使用状況全体であまり現実的ではないか、好ましくない可能性がある。図５Ｃに示すように、オーディオ音源３８は何事もなかったかのようにレンダリングされてもよい。すなわち、ユーザの頭部にオーディオ音源が現れ続けてもよい。これは不快または非現実的となり、（ユーザおよび／またはオーディオオブジェクト等による）小さな動きの場合はかなり酷い状況となりうる。すなわち、オーディオオブジェクトのようなレンダリングされたオーディオ音声がユーザの頭部を前後に往復してしまうのである。図５Ｄに示すように、オーディオ音源３８はユーザを避けてもよい。すなわち、ユーザとオーディオ音源との間に一定の距離（ある位置に対して相対的距離、または絶対距離等）が維持されてもよい。この手法は、使用状況によっては非現実的で不適切かもしれないが、オーディオオブジェクトが背景をなし、どの視覚的オブジェクトにも対応していない場合に、特に自然になりうる。
【0035】
図５Ｂの場合、蜂の巣または個々の蜂の音が止む。明らかにこれはユーザ体験として違和感を生じさせると考えられる。しかし、ユーザが見るものに相当しうるのである。図５Ｂのレンダリングの場合、実際のオーディオオブジェクトに応じてそのレンダリングは現実的となりうる。個別の蜂型オブジェクトが存在するか、オブジェクトが複数の部位から形成される場合、レンダリングはユーザの周りでブンブン鳴く蜂に対応しうる。一方、オーディオオブジェクトが１つの蜂の巣である場合、ブンブン音はユーザの頭の中に生じることになり、これは不快になりうる。図５Ｂのレンダリングは、正確な実施の形態の詳細とは独立して実行されてもよい。ただし、これもかなり非現実的かつ不快なものとなりうる。この場合も、視覚体験に対応しないと考えられる。このような図５Ｂから図５Ｄの例とは異なり、上述のパラメータ化された修正は、より自然な反応または無理のない反応を実現しうる。図８に示すようなパラメータ化された干渉を使用して、図５に示す各反応を制御された形で容易に実現するようにしてもよい。
【0036】
柔軟性をさらに高められるようにする必要があり、より重要な点としてコンテンツ作成者の視点を考慮に入れる必要がある。これによって、ユーザの干渉下におけるオーディオオブジェクトのレンダリングに関してできるだけ良好なユーザ体験を実現する。柔軟性を実現するために、できるだけ多くの使用状況を網羅できるような、多数の異なるレンダリングのオプションが選択可能であってもよい。さらに、所与のオーディオオブジェクトについて、最適な、または所望のレンダリングのオプションがどのようなものであるかについての情報が提供可能であってもよい。言い換えると、関連するオーディオオブジェクトの種類を考慮して作成ツールが提供されてもよく、これにより異なる種類のオーディオオブジェクトに対する異なる修正パラメータが提供される。
【0037】
本明細書に記載の特徴によって、自由視点オーディオにおける自然な反応が可能になる。本明細書に記載の特徴によって、複数のユーザのいる状況におけるゲームのようなインタラクションといった、自由視点オーディオにおける新たな刺激的なユーザ体験が提供される。本明細書に記載の特徴によって、予期できる出力を伴う様々な異なるオーディオオブジェクトとの直感的なユーザの干渉が可能になる。本明細書に記載の特徴によって、コンテンツ作成における新規なツールと機会を実現し、これによって、上述の効果やコンテンツの差別化をもたらす。これはメタデータとして実施されてもよく、さらにこのメタデータによって、下位「互換性」（すなわち、従前のレンダラはメタデータを考慮に入れず、単純にこの新しい機能性が提供されない）を可能にしつつ、市場において他にないレンダラを実現する可能性がある。さらに、このシステムの態様は、例えば、自由視点オーディオに対応するＭＰＥＧまたは３ＧＰＰ標準において活用されてもよい。
【0038】
上述のように、追加のパラメータを使用して、修正パラメータを調整してもよい。これらの追加のパラメータは、修正調整パラメータとされてもよい。干渉の検出は、２つの主要な構成要素のＸ－Ｙ－Ｚ座標（レンダリングの位置およびオーディオオブジェクトの位置）が既知である場合、距離の算出に基づいてもよい。これらのサイズ情報から導かれた閾値により、空間においてユーザがオーディオオブジェクトに交差する場所が定義されてもよい。さらに、「有効距離」パラメータによって、実際の交差地点とは異なる距離で干渉が始まる場所が定義されてもよい。
【0039】
高度の実施形態では、ユーザの形状（またはレンダリングの点）は、オーディオオブジェクトと同様に、既知であり、上述の算出に使用されてもよい。しかし、実際には、ユーザの実際の形状を考慮に入れることは、レンダリングにおいて何らかの実質的な変更や改善がなければ、計算が高度に複雑になるおそれがある。一部のユーザにとっては、頭部伝達関数（Head-Related Transfer Function：ＨＲＴＦ）に関するフィルタリングの暗黙の変更が知覚的には重大になるおそれがある。オーディオオブジェクトの形状に対するパラメータ組も、考慮される場合がある。ユーザの形状／レンダリングの点に対して個別の定義が必要となりうる。
有効距離
有効距離
【0040】
有効距離パラメータは、修正調整パラメータを考慮したものであっても、ユーザが現在のオーディオオブジェクトに対して干渉すると考えられる距離を定義するコアパラメータであってもよい。有効距離の一例が図１０に示されている。有効距離パラメータは、１つまたは複数の他のパラメータの効果が考慮されうる距離を定義する。言い換えると、このパラメータは、オーディオオブジェクト特性に対するユーザの干渉および周囲１００を発端とするパラメータの「力場」強度を定義する。異なる修正パラメータは、異なる有効距離パラメータを有してもよいし、共通有効距離パラメータに対して異なる反応を示してもよい。この距離は、レンダリングされた空間においてオーディオオブジェクトの位置に相対的である。これは、方向について定義されてもよい。例えば、有効距離は、ユーザの干渉の方向によって異なってもよい。このように、有効距離に対するＸ－Ｙ－Ｚ要素が示されてもよい。局所座標は、好ましくはオーディオオブジェクトのサイズおよび回転特性に基づいている。ある実施形態では、有効距離パラメータに対してより複雑な形状を定義することが望ましい。
【0041】
図１０Ａに示すように、効果曲線１０２の形状は、上述の距離の関数として定義されてもよい。このように、効果は例えば、干渉が始まると穏やかに増加し、ユーザが有効領域深く移動するにつれて強くなり、ユーザがオーディオオブジェクトの原点から遠ざかるにつれて最大効果に対して穏やかに減少する。有効距離は干渉を検出し標示するために求められるが、異なる修正パラメータに対して異なる有効距離が設けられていることも有用である。したがって、有効距離パラメータの修正要素は、パラメータごとに定義されていてもよい。図１０Ａは、オーディオオブジェクトからの一方向のみについての修正パラメータに対する有効距離パラメータの効果を例示している。図１０Ｂは、オーディオオブジェクトからの異なる第２の方向についての修正パラメータに対する有効距離パラメータの効果曲線１０２'を示す。上述の説明は、１つの修正パラメータの効果に影響を及ぼす修正調整パラメータ（本例では有効距離パラメータ）に対するものである。ただし、この効果は、オーディオオブジェクト自体に関するものであってもよく、修正パラメータに直接関するものではない。言い換えると、このオーディオオブジェクトに対する効果は、パラメータ化された算出によって必ずしも策定されるものではない。
可逆性
可逆性
【0042】
可逆性修正パラメータは、修正調整パラメータを考慮したものであっても、コアパラメータとも考えられてもよく、干渉反応の可逆性を定義してもよい。ユーザの干渉によってオーディオオブジェクトのレンダリングが修正された後、当該ユーザの干渉は取り除かれてもよい（すなわち、レンダリング位置が再び変化する）。オーディオオブジェクトは、新しい修正状態を維持してもよいし、元の「意図された」状態に戻ってもよい。可逆性パラメータは、この受動的な修正が行われるというオーディオオブジェクトの傾向を規定している。
【0043】
ある実施形態では、可逆性は別のパラメータの二次的パラメータであってもよい（または有効距離パラメータについて上述したように、さらにサブ修正要素が用いられてもよい）。例えば、ユーザの干渉によってオーディオオブジェクトのサイズと空間における位置とが修正された場合、当該ユーザの干渉を除去することによって、前の修正された特性（例えば、パラメータ値０）を維持しつつ、後の修正された特性は元の状態に変更される（例えば、正のパラメータ値）。したがって、このパラメータはヒステリシスのように、この変更の速度を規定している。
【0044】
上記で元の状態と呼んでいるものは、そこから修正が生じている状態ではない場合もある。これは、例えば時間に基づいてオーディオオブジェクトの根本的な状態が変化しうるためである。したがって、ユーザの干渉を除去することによって、第２のユーザの干渉と同じオーディオオブジェクトの修正が発生する場合がある。これは、レンダリングを円滑に修正するために、有効距離および可逆性に基づいて、干渉検出によって制御されうる。
【0045】
上述のパラメータを使用して、「オーディオオブジェクト空間的修正エンジン」によって活用されるような修正パラメータを調整してもよい。図１１は、その全体のプロセスを示している。干渉７０の検出に応じて、ブロック７２に示すように、干渉にどのような変更が加えられたかに関する判定が行われる。干渉は、ブロック７４に示すように、有効距離に基づく調整を適用する等して増強されてもよい。干渉は、ブロック７６に示すように、可逆性に基づく調整を適用する等して抑制されてもよい。ブロック７８に示すように、ここで修正情報がオーディオオブジェクト空間的レンダリングエンジンに送信されてもよい。少なくともある実施形態では、新たな調整が前の調整と提案された新たな調整の内のより意義のある方であってもよい。例えば、新たな調整は、ブロック７２に示すように、ブロック７４からの出力とブロック７６からの出力の内のより意義のある方であってもよい。
【0046】
本明細書に記載の特徴によって、自由視点オーディオにおける自然な反応を実現するシステムが作り出されてもよい。本明細書に記載の特徴によって、様々な異なるオーディオオブジェクトとの、ユーザの直感的な干渉が可能となってもよい。本明細書に記載の特徴によって、コンテンツ作成における新規なツールと機会を実現し、これによって、上述の効果やコンテンツおよび製品の差別化をもたらしてもよい。
【0047】
さらに図１２を参照し、ある例示的方法によると、方法は、ブロック８０に示すように、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記オーディオオブジェクトに対する前記ユーザの位置の相対的移動の間、前記オーディオオブジェクトと前記ユーザの位置との間の位置的な衝突異常を検出することと、ブロック８２に示すように、前記位置的な衝突異常の検出に応じて、少なくとも１つの所定の異常修正パラメータに基づいて、前記オーディオオブジェクトのレンダリングを変更することと、を含む。
【0048】
前記変更することは、前記オーディオオブジェクトのサイズ、位置、拡縮、回転、および増幅の内の少なくとも１つに関するものであってもよい。前記変更することは、等化、指向性、タイムシフト、追いかけ、およびオーディオオブジェクト乗算の内の少なくとも１つに関するものであってもよい。前記自由視点レンダリングは第２のオーディオオブジェクトのレンダリングを含み、前記方法は、前記自由視点レンダリングにおける前記第２のオーディオオブジェクトと、前記自由視点レンダリングにおける前記第２のオーディオオブジェクトに対する前記ユーザの位置との間の第２の位置的な衝突異常を検出することと、前記第２の位置的な衝突異常の検出に応じて、少なくとも１つの異なる所定の異常修正パラメータに基づいて、前記第２のオーディオオブジェクトのレンダリングを変更することと、をさらに含んでもよい。前記少なくとも１つの所定の異常修正パラメータは、少なくとも２つの前記所定の異常修正パラメータを含んでもよい。前記方法は、前記オーディオオブジェクトに基づいて、修正調整によって前記オーディオオブジェクトのレンダリングの前記変更に対する、前記少なくとも１つの所定の異常修正パラメータによる影響を変えることをさらに含んでもよい。前記修正調整は、時間間隔および／または拡縮の変更を前記少なくとも１つの所定の異常修正パラメータに適用するものであってもよい。前記修正調整は、前記自由視点レンダリングにおける前記オーディオオブジェクトと、前記自由視点レンダリングにおける前記オーディオオブジェクトに対する前記ユーザの位置との間の距離に関する有効距離修正調整であってもよい。前記修正調整は、前記位置的な衝突異常の少なくとも部分的な除去を後で検出したことに応じた可逆性修正調整であってもよい。前記方法は、検出された前記位置的な衝突異常の種類に基づいて、少なくとも１つの所定の異常修正パラメータを選択することをさらに含んでもよい。前記方法は、検出された前記位置的な衝突異常の特徴に基づいて、前記選択された少なくとも１つの所定の異常修正パラメータに対する値を選択することをさらに含んでもよい。前記位置的な衝突異常を検出することは、レンダリング位置追跡を使用することを含んでもよい。前記位置的な衝突異常を検出することは、前記ユーザの頭部の頭部追跡を使用することをさらに含んでもよい。前記相対的移動は、前記自由視点レンダリングにおける前記ユーザの第１の位置を、前記自由視点レンダリングにおける前記ユーザの第２の異なる位置へと変更することを含んでもよく、ここで前記位置的な衝突異常は、前記自由視点レンダリングにおける前記オーディオオブジェクトと前記ユーザの前記第２の位置との間に生じる。一例においては、前記自由視点レンダリングにおける前記ユーザの位置を変更しなくてもよい。これは、前記自由視点レンダリングにおける前記ユーザの位置が実質的に不変である一方、変化される前記オーディオオブジェクトの位置でありうる。例えば、図４に示す蜂の一匹がユーザの頭部へと（おそらくユーザの口へと、またはユーザの口を通らず）飛び込んで来る可能性があるが、これを除いてはユーザの頭部はレンダリングにおいて固定されている。レンダリング中で発生したことを鑑みてユーザが移動すべきレンダリングにおいて、当該レンダリングにおけるユーザの位置は変化していない。これにより、レンダリングにおけるオーディオオブジェクトの動きは、当該レンダリングにおけるユーザに予期される動きがなければ、位置的な衝突異常を生じる。例えば、レンダリング中で溶岩が流れ、ユーザが溶岩を避ける動きをしない場合（または、実際に予期されるであろう程度に迅速に動かない場合）、レンダリング中のユーザの位置に対する溶岩の動きによって位置的な衝突異常が生じる。本明細書に記載の特徴によると、自由視点レンダリングにおけるユーザの位置とオーディオオブジェクトの位置との間に起こりうる位置的な衝突異常は、正常に定義された動きや相対位置を外れた出来事を体験するために、ユーザにとってより意味があり有用な形で調整されてもよい。
【0049】
ある例示的実施形態によると、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つの非一時的メモリと、を備える装置が提供されてもよく、前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記装置に、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記オーディオオブジェクトに対する前記ユーザの位置の相対的移動の間、前記オーディオオブジェクトと前記ユーザの位置との間の位置的な衝突異常を検出することと、前記位置的な衝突異常の検出に応じて、少なくとも１つの所定の異常修正パラメータに基づいて、前記オーディオオブジェクトのレンダリングを変更することと、を実行させるように構成されている。
【0050】
前記変更することは、前記オーディオオブジェクトのサイズ、位置、拡縮、回転、および増幅の内の少なくとも１つに関するものであってもよい。前記変更することは、等化、指向性、タイムシフト、追いかけ、およびオーディオオブジェクト乗算の内の少なくとも１つに関するものであってもよい。前記自由視点レンダリングは第２のオーディオオブジェクトのレンダリングを含んでもよく、前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記装置に、前記自由視点レンダリングにおける前記第２のオーディオオブジェクトと、前記自由視点レンダリングにおける前記第２のオーディオオブジェクトに対する前記ユーザの位置との間の第２の位置的な衝突異常を検出することと、前記第２の位置的な衝突異常の検出に応じて、少なくとも１つの異なる所定の異常修正パラメータに基づいて、前記第２のオーディオオブジェクトのレンダリングを変更することと、を実行させるように構成されてもよい。前記少なくとも１つの所定の異常修正パラメータは、少なくとも２つの前記所定の異常修正パラメータを含んでもよい。前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記装置に、前記オーディオオブジェクトに基づいて、修正調整によって前記オーディオオブジェクトのレンダリングの前記変更に対する、前記少なくとも１つの所定の異常修正パラメータによる影響を変えることを実行させるように構成されてもよい。前記修正調整は、時間間隔および／または拡縮の変更を前記少なくとも１つの所定の異常修正パラメータに適用するように構成されてもよい。前記修正調整は、前記自由視点レンダリングにおける前記オーディオオブジェクトと、前記自由視点レンダリングにおける前記オーディオオブジェクトに対する前記ユーザの位置との間の距離に関する有効距離修正調整であってもよい。前記修正調整は、前記位置的な衝突異常の少なくとも部分的な除去を後で検出したことに応じた可逆性修正調整であってもよい。
【0051】
ある例示的実施形態によると、機械によって可読な非一時的プログラム記憶装置が提供されてもよく、動作を実行するために前記機械によって実行可能な命令のプログラムを具体的に実施するものであり、前記動作は、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記オーディオオブジェクトに対する前記ユーザの位置の相対的移動の間、前記オーディオオブジェクトと前記ユーザの位置との間の位置的な衝突異常を検出することと、前記位置的な衝突異常の検出に応じて、少なくとも１つの所定の異常修正パラメータに基づいて、前記オーディオオブジェクトのレンダリングを変更することと、を含む。
【0052】
１つまたは複数のコンピュータ可読媒体の任意の組合せが、メモリとして使用されてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体や非一時的コンピュータ可読記憶媒体であってもよい。非一時的コンピュータ可読記憶媒体は、伝搬信号を含まず、例えば、電子的、磁気的、光学的、電磁気的、赤外線、もしくは半導体システム、装置、もしくはデバイス、またはこれらの任意の適切な組合せが挙げられるが、これらに限定されない。コンピュータ可読記憶媒体のさらに特定の（非限定的）例としては、１つまたは複数の配線を有する電気的接続部、可搬コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラム可能リードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、可搬性コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学的記憶装置、磁気的記憶装置、またはこれらの任意の適切な組合せが挙げられる。
【0053】
ある例示的実施形態によると、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記オーディオオブジェクトに対する前記ユーザの位置の相対的移動の間、前記オーディオオブジェクトと前記ユーザの位置との間の位置的な衝突異常を検出する手段と、前記位置的な衝突異常の検出に応じて、少なくとも１つの所定の異常修正パラメータに基づいて、前記オーディオオブジェクトのレンダリングを変更する手段と、を備える装置が提供されてもよい。
【0054】
さらに図１３を参照し、ある例示的方法によると、ブロック８４に示すように、自由視点媒体のあるオーディオオブジェクトに対して、このオーディオオブジェクトのオブジェクト分類型を識別することと、ブロック８６に示すように、前記オーディオオブジェクトの識別された前記分類型に基づいて、前記オーディオオブジェクトと共に少なくとも１つの所定の異常修正パラメータを保存することと、を含む方法が提供されてもよい。
【0055】
別の例によると、例示的装置は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つの非一時的メモリと、を備えてもよく、前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記装置に、自由視点媒体のあるオーディオオブジェクトに対して、このオーディオオブジェクトに対するオブジェクト分類型の識別をさせることと、前記オーディオオブジェクトの識別された前記分類型に基づいて、前記オーディオオブジェクトと共に少なくとも１つの所定の異常修正パラメータを保存することと、を実行させるように構成されている。
【0056】
別の例によると、例示的装置は、機械によって可読な非一時的プログラム記憶装置であって、動作を実行するために前記機械によって実行可能な命令のプログラムを具体的に実施するプログラム記憶装置を備えてもよく、前記動作は、自由視点媒体のあるオーディオオブジェクトに対して、このオーディオオブジェクトのオブジェクト分類型を識別することと、前記オーディオオブジェクトの識別された前記分類型に基づいて、前記オーディオオブジェクトと共に少なくとも１つの所定の異常修正パラメータを保存することと、を含む。
【0057】
さらに図１４を参照し、ある例示的方法によると、ブロック８８に示すように、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記オーディオオブジェクトと、前記オーディオオブジェクトに対する前記ユーザの位置との間の位置的な衝突異常を検出することと、ブロック９０に示すように、前記位置的な衝突異常の検出に応じて、前記オーディオオブジェクトのオブジェクト型分類に少なくとも部分的に基づいて、前記オーディオオブジェクトのレンダリングを変更することと、を含む方法が提供されてもよい。
【0058】
別の例によると、例示的装置は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つの非一時的メモリと、を備えてもよく、前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記装置に、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記オーディオオブジェクトと、前記オーディオオブジェクトに対する前記ユーザの位置との間の位置的な衝突異常を検出することと、前記位置的な衝突異常の検出に応じて、前記オーディオオブジェクトのオブジェクト型分類に少なくとも部分的に基づいて、前記オーディオオブジェクトのレンダリングを変更することと、を実行させるように構成されている。
【0059】
別の例によると、例示的装置は、機械によって可読な非一時的プログラム記憶装置であって、動作を実行するために前記機械によって実行可能な命令のプログラムを具体的に実施するプログラム記憶装置を備えてもよく、前記動作は、ユーザに対する、オーディオオブジェクトのレンダリングを含む自由視点レンダリングの間、および前記自由視点レンダリングにおける前記オーディオオブジェクトと、前記オーディオオブジェクトに対する前記ユーザの位置との間の位置的な衝突異常を検出することと、前記位置的な衝突異常の検出に応じて、前記オーディオオブジェクトのオブジェクト型分類に少なくとも部分的に基づいて、前記オーディオオブジェクトのレンダリングを変更することと、を含む。
【0060】
さらに図１５を参照し、別の例示的方法によると、ブロック９２に示すように、自由視点媒体のあるオーディオオブジェクトに対して、このオーディオオブジェクトのオブジェクト分類型を識別することと、ブロック９４に示すように、前記オーディオオブジェクトの識別された前記オブジェクト分類型に基づいて、少なくとも１つの所定の異常修正パラメータを、再生される際の前記オーディオオブジェクトに関連付けることと、を含む方法が提供されてもよい。
【0061】
別の例によると、例示的装置は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つの非一時的メモリと、を備えてもよく、前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記装置に、自由視点媒体のあるオーディオオブジェクトに対して、このオーディオオブジェクトのオブジェクト分類型を識別することと、前記オーディオオブジェクトの識別された前記オブジェクト分類型に基づいて、少なくとも１つの所定の異常修正パラメータを、再生される際の前記オーディオオブジェクトに関連付けることと、を実行させるように構成されている。
【0062】
別の例によると、例示的装置は、機械によって可読な非一時的プログラム記憶装置であって、動作を実行するために前記機械によって実行可能な命令のプログラムを具体的に実施するプログラム記憶装置を備えてもよく、前記動作は、自由視点媒体のあるオーディオオブジェクトに対して、このオーディオオブジェクトのオブジェクト分類型を識別することと、前記オーディオオブジェクトの識別された前記オブジェクト分類型に基づいて、少なくとも１つの所定の異常修正パラメータを、再生される際の前記オーディオオブジェクトに関連付けることと、を含む。
【0063】
本明細書に記載の第１の特徴は、自由視点オーディオオブジェクトにおける干渉の定義および検出に関する。さらに、当該特徴は、干渉に基づいたパラメータ修正の程度を定義することに関する。本明細書に記載の第２の特徴は、実際のパラメータ修正と、その修正がオーディオオブジェクトのレンダリングにいかに影響を及ぼすかに関する。第１の特徴は、位置異常に関する問題を解決するための実現技術として使用されてもよい。これらの特徴は、ユーザがオーディオオブジェクトにいかに干渉するか、それによりどのようなレンダリングが実現可能であるかに対して、コンテンツ制作者に制御させる徹底した解決策を提供するシステムを作り出すために使用されてもよい。本明細書に記載の特徴によって、ユーザがオーディオオブジェクトに接触した際に何かが発生する必要があるという要望が満たされてもよく、これにより、真実味のある体験が作り出される。これは基本的に、間接的、すなわち意図されていない干渉である。これによる結果は、概して「自然」かつ「真実味のある」ものとなる。これは、地理的位置に対応付けられたオーディオ効果を単にカスタマイズするものではない。本明細書に記載の特徴は、完全な自由視点オーディオと共に、「単一の」オーディオオブジェクトの修正のために使用されるものであってもよく、単に複数のオーディオオブジェクトを組み合わせるものではない。
【0064】
上述の説明は単に例示的なものであると理解されよう。当業者であれば、様々な変更や修正に想達できる。例えば、各従属請求項に記載された特徴は、任意の組合せ（複数可）で互いに組み合わされてもよい。さらに、上述の異なる実施形態の特徴は、選択的に新たな実施形態に組み合わせることができる。したがって、上述の説明は、添付の請求の範囲に該当するそのような変更、修正、変形のすべてを包含することが意図されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図10A-B】
【図11】
【図12】
【図13】
【図14】
【図15】