知財求人 - 知財ポータルサイト「IP Force」
▶ テレフオンアクチーボラゲット エル エム エリクソン（パブル）の特許一覧
特開2024-102071仮想現実のための効率的な空間的にヘテロジーニアスなオーディオ要素
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024102071
(43)【公開日】2024-07-30
(54)【発明の名称】仮想現実のための効率的な空間的にヘテロジーニアスなオーディオ要素
(51)【国際特許分類】
H04S 7/00 20060101AFI20240723BHJP
H04R 3/00 20060101ALI20240723BHJP
【ＦＩ】
H04S7/00 300
H04R3/00 320
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024062252
(22)【出願日】2024-04-08
(62)【分割の表示】P 2021538732の分割
【原出願日】2019-12-20
(31)【優先権主張番号】62/789,617
(32)【優先日】2019-01-08
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】598036300
【氏名又は名称】テレフオンアクチーボラゲット エルエム エリクソン（パブル）
(74)【代理人】
【識別番号】100109726
【弁理士】
【氏名又は名称】園田 吉隆
(74)【代理人】
【識別番号】100150670
【弁理士】
【氏名又は名称】小梶 晴美
(74)【代理人】
【識別番号】100199705
【弁理士】
【氏名又は名称】仙波 和之
(74)【代理人】
【識別番号】100194294
【弁理士】
【氏名又は名称】石岡 利康
(72)【発明者】
【氏名】ファルク， トミ
(72)【発明者】
【氏名】カールソン， エルレンドゥル
(72)【発明者】
【氏名】チャン， メンチウ
(72)【発明者】
【氏名】ヤンソン トフゴード， トマス
(72)【発明者】
【氏名】デ ブルーイン， ウェルネル
(57)【要約】 （修正有）
【課題】空間的にヘテロジーニアスなオーディオ要素をレンダリングするための方法及び装置を提供する。
【解決手段】システム４００において、左オーディオ信号４５１および右オーディオ信号４５２は、デフォルトの位置およびデフォルトの向きにおける空間的にヘテロジーニアスなオーディオ要素を表す。コントローラ４０１は、１つまたは複数のパラメータを受信し、修正器４０２および４０３をトリガして、受信したパラメータに基づいて左右のオーディオ信号４５１および４５２に対して修正を実行する。受信するパラメータは、空間的にヘテロジーニアスなオーディオ要素のリスナの位置および／または向きに関する情報４５３と、（２）空間的にヘテロジーニアスなオーディオ要素のメタデータ４５４と、を含む。
【選択図】図４
【解決手段】システム４００において、左オーディオ信号４５１および右オーディオ信号４５２は、デフォルトの位置およびデフォルトの向きにおける空間的にヘテロジーニアスなオーディオ要素を表す。コントローラ４０１は、１つまたは複数のパラメータを受信し、修正器４０２および４０３をトリガして、受信したパラメータに基づいて左右のオーディオ信号４５１および４５２に対して修正を実行する。受信するパラメータは、空間的にヘテロジーニアスなオーディオ要素のリスナの位置および／または向きに関する情報４５３と、（２）空間的にヘテロジーニアスなオーディオ要素のメタデータ４５４と、を含む。
【選択図】図４
【特許請求の範囲】
【請求項1】
ユーザのために空間的にヘテロジーニアスなオーディオ要素をレンダリングするための方法（１１００）であって、
前記空間的にヘテロジーニアスなオーディオ要素を表す２つ以上のオーディオ信号を取得する（ｓ１１０２）ことであって、前記オーディオ信号の組合せが前記空間的にヘテロジーニアスなオーディオ要素の空間像を提供する、２つ以上のオーディオ信号を取得する（ｓ１１０２）ことと、
前記空間的にヘテロジーニアスなオーディオ要素に関連付けられたメタデータを取得する（ｓ１１０４）ことであって、当該メタデータが前記空間的にヘテロジーニアスなオーディオ要素の空間的広がりを示す空間的広がり情報を含む、メタデータを取得する（ｓ１１０４）ことと、
ｉ）前記空間的広がり情報と、ｉｉ）前記空間的にヘテロジーニアスなオーディオ要素に対するユーザの位置および／または向きを示す位置情報と、を使用して前記空間的にヘテロジーニアスなオーディオ要素をレンダリングする（ｓ１１０６）ことと、
を含む、方法（１１００）。
前記空間的にヘテロジーニアスなオーディオ要素を表す２つ以上のオーディオ信号を取得する（ｓ１１０２）ことであって、前記オーディオ信号の組合せが前記空間的にヘテロジーニアスなオーディオ要素の空間像を提供する、２つ以上のオーディオ信号を取得する（ｓ１１０２）ことと、
前記空間的にヘテロジーニアスなオーディオ要素に関連付けられたメタデータを取得する（ｓ１１０４）ことであって、当該メタデータが前記空間的にヘテロジーニアスなオーディオ要素の空間的広がりを示す空間的広がり情報を含む、メタデータを取得する（ｓ１１０４）ことと、
ｉ）前記空間的広がり情報と、ｉｉ）前記空間的にヘテロジーニアスなオーディオ要素に対するユーザの位置および／または向きを示す位置情報と、を使用して前記空間的にヘテロジーニアスなオーディオ要素をレンダリングする（ｓ１１０６）ことと、
を含む、方法（１１００）。
【請求項2】
前記空間的にヘテロジーニアスなオーディオ要素の前記空間的広がりが、前記空間的にヘテロジーニアスなオーディオ要素に対する第１の仮想位置または第１の仮想向きにおいて知覚される１つまたは複数の次元における前記空間的にヘテロジーニアスなオーディオ要素のサイズに対応する、請求項１に記載の方法。
【請求項3】
前記空間的広がり情報が、前記空間的にヘテロジーニアスなオーディオ要素の物理的サイズまたは知覚されるサイズを指定する、請求項１または２に記載の方法。
【請求項4】
前記空間的にヘテロジーニアスなオーディオ要素をレンダリングすることが、前記空間的にヘテロジーニアスなオーディオ要素に対する前記ユーザの前記位置、および／または前記空間的にヘテロジーニアスなオーディオ要素の方向ベクトルに対する前記ユーザの前記向きに基づいて、前記２つ以上のオーディオ信号のうちの少なくとも１つを修正することを含む、請求項３に記載の方法。
【請求項5】
前記メタデータが、
ｉ）マイクロフォン間の間隔、デフォルト軸に対する前記マイクロフォンの向き、および／または前記マイクロフォンのタイプを示すマイクロフォンセットアップ情報、
ｉｉ）前記マイクロフォンと前記空間的にヘテロジーニアスなオーディオ要素との間の距離、および／または前記空間的にヘテロジーニアスなオーディオ要素の軸に対する仮想マイクロフォンの向きを示す第１の関係情報、ならびに／あるいは
ｉｉｉ）前記空間的にヘテロジーニアスなオーディオ要素に対するデフォルトの位置、および／または前記デフォルトの位置と前記空間的にヘテロジーニアスなオーディオ要素との間の距離を示す第２の関係情報、
をさらに含む、請求項１から４のいずれか一項に記載の方法。
ｉ）マイクロフォン間の間隔、デフォルト軸に対する前記マイクロフォンの向き、および／または前記マイクロフォンのタイプを示すマイクロフォンセットアップ情報、
ｉｉ）前記マイクロフォンと前記空間的にヘテロジーニアスなオーディオ要素との間の距離、および／または前記空間的にヘテロジーニアスなオーディオ要素の軸に対する仮想マイクロフォンの向きを示す第１の関係情報、ならびに／あるいは
ｉｉｉ）前記空間的にヘテロジーニアスなオーディオ要素に対するデフォルトの位置、および／または前記デフォルトの位置と前記空間的にヘテロジーニアスなオーディオ要素との間の距離を示す第２の関係情報、
をさらに含む、請求項１から４のいずれか一項に記載の方法。
【請求項6】
前記空間的にヘテロジーニアスなオーディオ要素をレンダリングすることが、修正されたオーディオ信号を生成することを含み、
前記２つ以上のオーディオ信号が、前記空間的にヘテロジーニアスなオーディオ要素に対する第１の仮想位置および／または第１の仮想向きで知覚される前記空間的にヘテロジーニアスなオーディオ要素を表し、
前記修正されたオーディオ信号が、前記空間的にヘテロジーニアスなオーディオ要素に対する第２の仮想位置および／または第２の仮想向きで知覚される前記空間的にヘテロジーニアスなオーディオ要素を表すために使用され、
前記ユーザの前記位置が前記第２の仮想位置に対応し、および／または前記ユーザの前記向きが前記第２の仮想向きに対応する、
請求項１から５のいずれか一項に記載の方法。
前記２つ以上のオーディオ信号が、前記空間的にヘテロジーニアスなオーディオ要素に対する第１の仮想位置および／または第１の仮想向きで知覚される前記空間的にヘテロジーニアスなオーディオ要素を表し、
前記修正されたオーディオ信号が、前記空間的にヘテロジーニアスなオーディオ要素に対する第２の仮想位置および／または第２の仮想向きで知覚される前記空間的にヘテロジーニアスなオーディオ要素を表すために使用され、
前記ユーザの前記位置が前記第２の仮想位置に対応し、および／または前記ユーザの前記向きが前記第２の仮想向きに対応する、
請求項１から５のいずれか一項に記載の方法。
【請求項7】
前記２つ以上のオーディオ信号が左オーディオ信号（Ｌ）および右オーディオ信号（Ｒ）を含み、
前記空間的にヘテロジーニアスなオーディオ要素をレンダリングすることが、修正された左信号（Ｌ’）および修正された右信号（Ｒ’）を生成することを含み、
［Ｌ’Ｒ’］＾Ｔ＝Ｈ×［ＬＲ］＾Ｔであり、ここで、Ｈは変換行列であり、
前記変換行列が、前記取得したメタデータおよび前記位置情報に基づいて決定される、
請求項１から６のいずれか一項に記載の方法。
前記空間的にヘテロジーニアスなオーディオ要素をレンダリングすることが、修正された左信号（Ｌ’）および修正された右信号（Ｒ’）を生成することを含み、
［Ｌ’Ｒ’］＾Ｔ＝Ｈ×［ＬＲ］＾Ｔであり、ここで、Ｈは変換行列であり、
前記変換行列が、前記取得したメタデータおよび前記位置情報に基づいて決定される、
請求項１から６のいずれか一項に記載の方法。
【請求項8】
前記空間的にヘテロジーニアスなオーディオ要素をレンダリングすることが、
第１の出力信号（ＥＬ）および第２の出力信号（ＥＲ）を生成することを含み、ここで、
ＥＬ＝Ｌ’＊ＨＲＴＦＬであり、ＨＲＴＦＬが左耳の頭部伝達関数（または対応するインパルス応答）であり、
ＥＲ＝Ｒ’＊ＨＲＴＦＲであり、ＨＲＴＦＲが右耳の頭部伝達関数（または対応するインパルス応答）である、
請求項７に記載の方法。
第１の出力信号（ＥＬ）および第２の出力信号（ＥＲ）を生成することを含み、ここで、
ＥＬ＝Ｌ’＊ＨＲＴＦＬであり、ＨＲＴＦＬが左耳の頭部伝達関数（または対応するインパルス応答）であり、
ＥＲ＝Ｒ’＊ＨＲＴＦＲであり、ＨＲＴＦＲが右耳の頭部伝達関数（または対応するインパルス応答）である、
請求項７に記載の方法。
【請求項9】
前記２つ以上のオーディオ信号を取得することが、
複数のオーディオ信号を取得することと、
前記複数のオーディオ信号をアンビソニックスフォーマットに変換することと、
変換された前記複数のオーディオ信号に基づいて前記２つ以上のオーディオ信号を生成することと、
をさらに含む、請求項１から８のいずれか一項に記載の方法。
複数のオーディオ信号を取得することと、
前記複数のオーディオ信号をアンビソニックスフォーマットに変換することと、
変換された前記複数のオーディオ信号に基づいて前記２つ以上のオーディオ信号を生成することと、
をさらに含む、請求項１から８のいずれか一項に記載の方法。
【請求項10】
前記空間的にヘテロジーニアスなオーディオ要素に関連付けられた前記メタデータが、
前記空間的にヘテロジーニアスなオーディオ要素の概念的な空間中心、および／または
前記空間的にヘテロジーニアスなオーディオ要素の方向ベクトル、
を指定する、請求項１から９のいずれか一項に記載の方法。
前記空間的にヘテロジーニアスなオーディオ要素の概念的な空間中心、および／または
前記空間的にヘテロジーニアスなオーディオ要素の方向ベクトル、
を指定する、請求項１から９のいずれか一項に記載の方法。
【請求項11】
前記空間的にヘテロジーニアスなオーディオ要素をレンダリングするステップが、
１つまたは複数の修正されたオーディオ信号を生成することと、
前記修正されたオーディオ信号を含む前記オーディオ信号のバイノーラルレンダリングを行うことと、
を含む、請求項１から１０のいずれか一項に記載の方法。
１つまたは複数の修正されたオーディオ信号を生成することと、
前記修正されたオーディオ信号を含む前記オーディオ信号のバイノーラルレンダリングを行うことと、
を含む、請求項１から１０のいずれか一項に記載の方法。
【請求項12】
前記空間的にヘテロジーニアスなオーディオ要素をレンダリングするステップが、
１つまたは複数の修正されたオーディオ信号を生成することと、
前記修正されたオーディオ信号を含む前記オーディオ信号を物理的なラウドスピーカ上にレンダリングすることと、
を含む、請求項１から１０のいずれか一項に記載の方法。
１つまたは複数の修正されたオーディオ信号を生成することと、
前記修正されたオーディオ信号を含む前記オーディオ信号を物理的なラウドスピーカ上にレンダリングすることと、
を含む、請求項１から１０のいずれか一項に記載の方法。
【請求項13】
前記修正されたオーディオ信号を含む前記オーディオ信号が仮想スピーカとしてレンダリングされる、
請求項１１または１２に記載の方法。
請求項１１または１２に記載の方法。
【請求項14】
命令（１２４４）を含むコンピュータプログラム（１２４３）であって、前記命令（１２４４）は、処理回路（１２０２）によって実行されると、前記処理回路（１２０２）に、請求項１から１３のいずれか一項に記載の方法を実行させる、コンピュータプログラム（１２４３）。
【請求項15】
請求項１４に記載のコンピュータプログラムを含むキャリアであって、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体（１２４２）のうちの１つである、キャリア。
【請求項16】
ユーザのために空間的にヘテロジーニアスなオーディオ要素をレンダリングするための装置（１２００）であって、
前記空間的にヘテロジーニアスなオーディオ要素を表す２つ以上のオーディオ信号を取得することであって、前記オーディオ信号の組合せが前記空間的にヘテロジーニアスなオーディオ要素の空間像を提供する、２つ以上のオーディオ信号を取得することと、
前記空間的にヘテロジーニアスなオーディオ要素に関連付けられたメタデータを取得することであって、当該メタデータが前記オーディオ要素の空間的広がりを示す空間的広がり情報を含む、メタデータを取得することと、
ｉ）前記空間的広がり情報と、ｉｉ）前記空間的にヘテロジーニアスなオーディオ要素に対する前記ユーザの位置（例えば、仮想位置）および／または向きを示す位置情報と、を使用して、前記空間的にヘテロジーニアスなオーディオ要素をレンダリングすることと、
を行うように設定されている、装置（１２００）。
前記空間的にヘテロジーニアスなオーディオ要素を表す２つ以上のオーディオ信号を取得することであって、前記オーディオ信号の組合せが前記空間的にヘテロジーニアスなオーディオ要素の空間像を提供する、２つ以上のオーディオ信号を取得することと、
前記空間的にヘテロジーニアスなオーディオ要素に関連付けられたメタデータを取得することであって、当該メタデータが前記オーディオ要素の空間的広がりを示す空間的広がり情報を含む、メタデータを取得することと、
ｉ）前記空間的広がり情報と、ｉｉ）前記空間的にヘテロジーニアスなオーディオ要素に対する前記ユーザの位置（例えば、仮想位置）および／または向きを示す位置情報と、を使用して、前記空間的にヘテロジーニアスなオーディオ要素をレンダリングすることと、
を行うように設定されている、装置（１２００）。
【請求項17】
請求項２から１３のいずれか一項に記載の方法を実行するように設定されている、請求項１６に記載の装置。
【請求項18】
ユーザのために空間的にヘテロジーニアスなオーディオ要素をレンダリングするための装置（１２００）であって、
コンピュータ可読記憶媒体（１２４２）と、
前記コンピュータ可読記憶媒体に結合された処理回路（１２０２）であって、前記装置に、
前記空間的にヘテロジーニアスなオーディオ要素を表す２つ以上のオーディオ信号を取得することであって、前記オーディオ信号の組合せが前記空間的にヘテロジーニアスなオーディオ要素の空間像を提供する、２つ以上のオーディオ信号を取得することと、
前記空間的にヘテロジーニアスなオーディオ要素に関連付けられたメタデータを取得することであって、当該メタデータが前記オーディオ要素の空間的広がりを示す空間的広がり情報を含む、メタデータを取得することと、
ｉ）前記空間的広がり情報と、ｉｉ）前記空間的にヘテロジーニアスなオーディオ要素に対する前記ユーザの位置（例えば、仮想位置）および／または向きを示す位置情報と、を使用して、前記空間的にヘテロジーニアスなオーディオ要素をレンダリングすることと、
を行わせるように設定されている処理回路（１２０２）と、
を備える、装置（１２００）。
コンピュータ可読記憶媒体（１２４２）と、
前記コンピュータ可読記憶媒体に結合された処理回路（１２０２）であって、前記装置に、
前記空間的にヘテロジーニアスなオーディオ要素を表す２つ以上のオーディオ信号を取得することであって、前記オーディオ信号の組合せが前記空間的にヘテロジーニアスなオーディオ要素の空間像を提供する、２つ以上のオーディオ信号を取得することと、
前記空間的にヘテロジーニアスなオーディオ要素に関連付けられたメタデータを取得することであって、当該メタデータが前記オーディオ要素の空間的広がりを示す空間的広がり情報を含む、メタデータを取得することと、
ｉ）前記空間的広がり情報と、ｉｉ）前記空間的にヘテロジーニアスなオーディオ要素に対する前記ユーザの位置（例えば、仮想位置）および／または向きを示す位置情報と、を使用して、前記空間的にヘテロジーニアスなオーディオ要素をレンダリングすることと、
を行わせるように設定されている処理回路（１２０２）と、
を備える、装置（１２００）。
【発明の詳細な説明】
【技術分野】
【0001】
空間的にヘテロジーニアスなオーディオ要素のレンダリングに関する実施形態が開示される。
【背景技術】
【0002】
人々は、しばしば、ある特定の表面上にまたはある特定の体積／面積内に位置する様々な音源から生成された音波の和である音を知覚する。このような表面または体積／面積は、概念的には、空間的にヘテロジーニアスな性質を有する単一のオーディオ要素（すなわち、空間的広がり内に、ある特定の量の空間的な音源変動を有するオーディオ要素）と考えることができる。
【0003】
以下は、空間的にヘテロジーニアスなオーディオ要素の例のリストである。
【0004】
群衆の音：規定された体積の空間内で互いに近接して立っている多くの個人によって生成され、リスナの両耳に届く音声の和。
【0005】
川の音：川の表面から生成され、リスナの両耳に届く水跳ね音の和。
【0006】
ビーチの音：ビーチの海岸線に当たる海の波によって生成され、リスナの両耳に届く音の和。
【0007】
噴水音：噴水の表面に当たる水流によって生成され、リスナの両耳に届く音の和。
【0008】
混雑した高速道路の音：多くの車によって生成され、リスナの両耳に届く音の和。
【0009】
これらの空間的にヘテロジーニアスなオーディオ要素の中には、３次元（３Ｄ）空間のある特定の経路に沿ってあまり変化しない、知覚される空間的にヘテロジーニアスな性質のものがある。例えば、川のそばを歩いているリスナが知覚する川の音の性質は、リスナが川のそばを歩いても大きくは変化しない。同様に、ビーチフロントに沿って歩いているリスナによって知覚されるビーチの音の性質、または群衆の周りを歩いているリスナによって知覚される群衆の音の性質は、リスナがビーチフロントに沿って歩いても、または群衆の周りを歩いてもあまり変化しない。
【0010】
ある特定の空間的広がりを有するオーディオ要素を表現する既存の方法が存在するが、結果として得られる表現は、オーディオ要素の空間的にヘテロジーニアスな性質を維持するものではない。そのような既存の方法の１つは、モノラルオーディオオブジェクトの周囲の位置にモノラルオーディオオブジェクトの複数の複製を作成することである。モノラルオーディオオブジェクトの周囲にモノラルオーディオオブジェクトの複数の複製があると、特定のサイズを有する空間的に均質なオーディオオブジェクトの知覚が作成される。この概念は、ＭＰＥＧ－Ｈ ３Ｄオーディオ規格の「オブジェクト拡散」および「オブジェクト発散」機能、ならびにＥＢＵオーディオ定義モデル（ＡＤＭ）規格の「オブジェクト発散」機能において使用されている。
【0011】
モノラルオーディオオブジェクトを使用して空間的広がりを有するオーディオ要素を表現する別のやり方は、オーディオ要素の空間的にヘテロジーニアスな性質を維持するわけではないが、２０１６年１月に発行された「Ｅｆｆｉｃｉｅｎｔ ＨＲＴＦ－ｂａｓｅｄ Ｓｐａｔｉａｌ Ａｕｄｉｏ ｆｏｒ Ａｒｅａ ａｎｄ Ｖｏｌｕｍｅｔｒｉｃ Ｓｏｕｒｃｅｓ」と題されたＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ２２（４）：１－１に記載されており、その全体が参照により本明細書に組み込まれる。具体的には、モノラルオーディオオブジェクトを使用して、リスナの周りの球体上にサウンドオブジェクトの面積－体積状の幾何学的形状を投影し、一対の頭部関連（ＨＲ）フィルタを用いて、球体上のサウンドオブジェクトの幾何学的投影をカバーするすべてのＨＲフィルタの積分として評価される音をリスナにレンダリングすることによって、空間的広がりを有するオーディオ要素を表現することができる。球体体積音源の場合、この積分は、解析解を有するが、任意の面積－体積状音源の幾何学的形状の場合、積分は、いわゆるモンテカルロ光線サンプリングを使用して、球体上に投影された音源表面をサンプリングすることによって評価される。
【0012】
既存の方法の別の１つは、モノラルオーディオ信号に加えて空間的に拡散した成分をレンダリングして、空間的に拡散した成分とモノラルオーディオ信号との組合せが幾分拡散したオブジェクトの知覚を作成するようにすることである。単一のモノラルオーディオオブジェクトとは対照的に、拡散オブジェクトには明確なピンポイントの位置はない。この概念は、ＭＰＥＧ－Ｈ ３Ｄオーディオ規格の「オブジェクト拡散性」機能およびＥＢＵ ＡＤＭの「オブジェクト拡散性」機能において使用されている。
【0013】
既存の方法の組合せも知られている。例えば、ＥＢＵ ＡＤＭの「オブジェクト広がり」機能は、モノラルオーディオオブジェクトのコピーを複数作成するという概念と、拡散成分を追加するという概念と、を組み合わせている。
【発明の概要】
【0014】
上述したように、オーディオ要素を表現するための様々な技法が知られている。しかしながら、これらの既知の技法の大部分は、空間的に均質な性質（すなわち、オーディオ要素内に空間的な変化がない）または空間的に拡散した性質のいずれかを有するオーディオ要素しかレンダリングするができず、これは、説得力のあるやり方で上記の例のいくつかをレンダリングするには限界が多すぎる。言い換えれば、これらの既知の技法では、明確な空間的にヘテロジーニアスな性質を有するオーディオ要素をレンダリングすることはできない。
【0015】
空間的にヘテロジーニアスなオーディオ要素の概念を作成する１つのやり方は、複数の個々のモノラルオーディオオブジェクト（基本的には個々のオーディオソース）の空間的に分散されたクラスタを作成し、複数の個々のモノラルオーディオオブジェクトを何らかのより高いレベルで（例えば、シーングラフまたはその他のグループ化メカニズムを使用して）一緒にリンクすることによるものである。しかしながら、これは、多くの場合、特に高度にヘテロジーニアスなオーディオ要素（すなわち、上記の例などの、多くの個々の音源を含むオーディオ要素）については、効率的なソリューションではない。さらに、レンダリングされるべきオーディオ要素がライブキャプチャされたコンテンツである場合、オーディオ要素を形成する複数のオーディオソースのそれぞれを別々に録音することは実現不可能または非現実的である場合もある。
【0016】
したがって、空間的にヘテロジーニアスなオーディオ要素の効率的な表現、および空間的にヘテロジーニアスなオーディオ要素の効率的な動的な６自由度（６ＤｏＦ）レンダリングを提供するための改善された方法が必要とされている。特に、リスナによって知覚されるオーディオ要素のサイズ（例えば、幅または高さ）を、異なる聴取位置および／または向きに対応させること、および知覚される空間的性質を知覚されるサイズ内に維持することが望ましい。
【0017】
本開示の実施形態は、空間的にヘテロジーニアスなオーディオ要素の効率的な表現、および効率的かつ動的な６ＤｏＦレンダリングを可能にし、オーディオ要素のリスナに、リスナがいる仮想環境と空間的および概念的に一致した現実に近いサウンド体感を提供する。
【0018】
空間的にヘテロジーニアスなオーディオ要素のこの効率的かつ動的な表現および／またはレンダリングは、コンテンツ作成者にとって非常に有用であり、コンテンツ作成者は、仮想現実（ＶＲ）、拡張現実（ＡＲ）、または複合現実（ＭＲ）アプリケーションのために非常に効率的なやり方で空間的に豊富なオーディオ要素を６ＤｏＦシナリオに組み込むことができるであろう。
【0019】
本開示の一部の実施形態では、空間的にヘテロジーニアスなオーディオ要素は、組み合わされてオーディオ要素の空間像を提供する少数（例えば、２以上であるが一般に６以下）のオーディオ信号のグループとして表される。例えば、空間的にヘテロジーニアスなオーディオ要素は、関連付けられたメタデータを有するステレオ音響信号として表現されてもよい。
【0020】
さらに、本開示の一部の実施形態では、レンダリングメカニズムは、空間的にヘテロジーニアスなオーディオ要素のヘテロジーニアスな空間的特性を保持しながら、空間的にヘテロジーニアスなオーディオ要素のリスナの位置および／または向きが変化するにつれ、オーディオ要素の知覚される空間的広がりが制御されたやり方で修正されるように、空間的にヘテロジーニアスなオーディオ要素の動的な６ＤｏＦレンダリングを可能にすることができる。空間的広がりのこの修正は、空間的にヘテロジーニアスなオーディオ要素のメタデータと、空間的にヘテロジーニアスなオーディオ要素に対するリスナの位置および／または向きと、に依存してもよい。
【0021】
一態様では、ユーザのために空間的にヘテロジーニアスなオーディオ要素をレンダリングするための方法が存在する。一部の実施形態では、本方法は、空間的にヘテロジーニアスなオーディオ要素を表す２つ以上のオーディオ信号を取得することを含み、オーディオ信号の組合せが、空間的にヘテロジーニアスなオーディオ要素の空間像を提供する。本方法はまた、空間的にヘテロジーニアスなオーディオ要素に関連付けられたメタデータを取得することを含む。メタデータは、空間的にヘテロジーニアスなオーディオ要素の空間的広がりを指定する空間的広がり情報を含むことができる。本方法は、ｉ）空間的広がり情報と、ｉｉ）空間的にヘテロジーニアスなオーディオ要素に対するユーザの位置（例えば、仮想位置）および／または向きを示す位置情報と、を使用してオーディオ要素をレンダリングすることをさらに含む。
【0022】
別の態様では、コンピュータプログラムが提供される。コンピュータプログラムは、処理回路によって実行されると、処理回路に上述した方法を実行させる命令を含む。別の態様では、キャリアが提供され、このキャリアには、コンピュータプログラムが含まれている。キャリアは、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体のうちの１つである。
【0023】
別の態様では、ユーザのために空間的にヘテロジーニアスなオーディオ要素をレンダリングするための装置が提供される。装置は、空間的にヘテロジーニアスなオーディオ要素を表す２つ以上のオーディオ信号を取得することであって、オーディオ信号の組合せが空間的にヘテロジーニアスなオーディオ要素の空間像を提供する、オーディオ信号を取得することと、空間的にヘテロジーニアスなオーディオ要素に関連付けられたメタデータであって、空間的にヘテロジーニアスなオーディオ要素の空間的広がりを示す空間的広がり情報を含む、メタデータを取得することと、ｉ）空間的広がり情報と、ｉｉ）空間的にヘテロジーニアスなオーディオ要素に対するユーザの位置（例えば、仮想位置）および／または向きを示す位置情報と、を使用して、空間的にヘテロジーニアスなオーディオ要素をレンダリングすることと、を行うように設定されている。
【0024】
一部の実施形態では、装置は、コンピュータ可読記憶媒体と、コンピュータ可読記憶媒体に結合された処理回路であって、装置に本明細書に記載された方法を実行させるように設定された、処理回路と、を備える。
【0025】
本開示の実施形態は、少なくとも以下の２つの利点を提供する。
【0026】
関連付けられた「サイズ」、「拡散」、または「拡散性」パラメータを使用してモノラルオーディオオブジェクトの「サイズ」を拡張して、結果として空間的に均質なオーディオ要素をもたらす既知のソリューションと比較して、本開示の実施形態は、明確な空間的にヘテロジーニアスな性質を有するオーディオ要素の表現および６ＤｏＦレンダリングを可能にする。
【0027】
空間的にヘテロジーニアスなオーディオ要素を個々のモノラルオーディオオブジェクトのクラスタとして表現する既知のソリューションと比較して、本開示の実施形態に基づく空間的にヘテロジーニアスなオーディオ要素の表現は、表現、トランスポート、およびレンダリングの複雑さに関してより効率的である。
【0028】
本明細書に組み込まれ、本明細書の一部を形成する添付の図面は、様々な実施形態を示す。
【図面の簡単な説明】
【0029】
【図1】一部の実施形態による、空間的にヘテロジーニアスなオーディオ要素の表現を示す図である。
【図2】一部の実施形態による、空間的にヘテロジーニアスなオーディオ要素の表現の修正を示す図である。
【図3A-C】一部の実施形態による、空間的にヘテロジーニアスなオーディオ要素の空間的広がりを修正する方法を示す図である。
【図4】一部の実施形態による、空間的にヘテロジーニアスなオーディオ要素をレンダリングするためのシステムを示す図である。
【図5A-B】一部の実施形態による仮想現実（ＶＲ）システムを示す図である。
【図6A-B】一部の実施形態による、リスナの向きを決定する方法を示す図である。
【図7A-B】仮想スピーカの配置を修正する方法を示す図である。
【図8】仮想スピーカの配置を修正する方法を示す図である。
【図9】頭部伝達関数（ＨＲＴＦ）フィルタのパラメータを示す図である。
【図10】空間的にヘテロジーニアスなオーディオ要素をレンダリングするプロセスの概要を示す図である。
【図11】一部の実施形態によるプロセスを示す流れ図である。
【図12】一部の実施形態による装置のブロック図である。
【発明を実施するための形態】
【0030】
図１は、空間的にヘテロジーニアスなオーディオ要素１０１の表現を示す。一実施形態では、空間的にヘテロジーニアスなオーディオ要素は、ステレオオブジェクトとして表すことができる。ステレオオブジェクトは、２チャンネルステレオ（例えば、左右の）信号および関連付けられたメタデータを含むことができる。ステレオ信号は、ステレオ音響マイクのセットアップを使用した現実のオーディオ要素（例えば、群衆、混雑した高速道路、ビーチ）の実際のステレオ録音から、または個々の（録音または生成された）オーディオ信号をミキシング（例えば、ステレオパニング）することによって人工的に作成したものから取得することができる。
【0031】
関連付けられたメタデータは、空間的にヘテロジーニアスなオーディオ要素１０１およびその表現に関する情報を提供することができる。図１に示すように、メタデータは、以下の情報のうちの少なくとも１つまたは複数を含むことができる。すなわち、
【0032】
（１）空間的にヘテロジーニアスなオーディオ要素の概念的な空間中心の位置Ｐ１と、
【0033】
（２）空間的にヘテロジーニアスなオーディオ要素の空間的広がり（例えば、空間幅Ｗ）と、
【0034】
（３）空間的にヘテロジーニアスなオーディオ要素を録音するために使用されるマイクロフォン１０２および１０３（仮想マイクロフォンまたは実マイクロフォンのいずれか）のセットアップ（例えば、間隔Ｓおよび向きα）と、
【0035】
（４）マイクロフォン１０２および１０３のタイプ（例えば、オムニ、カーディオイド、８の字）と、
【0036】
（５）マイクロフォン１０２および１０３と空間的にヘテロジーニアスなオーディオ要素１０１との間の関係、例えば、オーディオ要素１０１の表記上の中心の位置Ｐ１とマイクロフォン１０２および１０３の位置Ｐ２との間の距離ｄ、ならびに空間的にヘテロジーニアスなオーディオ要素１０１の基準軸（例えば、Ｙ軸）に対するマイクロフォン１０２および１０３の向き（例えば、向きα）と、
【0037】
（６）デフォルトの聴取位置（例えば、位置Ｐ２）と、
【0038】
（７）Ｐ１とＰ２の関係（例えば、距離ｄ）と、である。
【0039】
空間的にヘテロジーニアスなオーディオ要素１０１の空間的広がりは、絶対サイズ（例えば、メートル単位）として、または相対サイズ（例えば、キャプチャ位置またはデフォルトの観察位置などの参照位置に対する角度幅）として提供されてもよい。また、空間的広がりは、（例えば、単一の次元で空間的広がりを指定するか、またはすべての次元に対して使用される空間的広がりを指定する）単一の値として、あるいは（例えば、異なる次元に対して別々の空間的広がりを指定する）複数の値として指定されてもよい。
【0040】
一部の実施形態では、空間的広がりは、空間的にヘテロジーニアスなオーディオ要素１０１（例えば、噴水）の実際の物理的サイズ／寸法であってもよい。他の実施形態では、空間的広がりは、リスナによって知覚される空間的広がりを表してもよい。例えば、オーディオ要素が海または川である場合、リスナは、海または川の全体的な幅／寸法を知覚することができず、リスナに近い海または川の一部のみを知覚することができる。このような場合、リスナは、海または川のある特定の空間部分のみから音を聞くことになるため、オーディオ要素は、リスナが知覚する空間幅として表現されてもよい。
【0041】
図２は、リスナ１０４の位置の動的変化に基づく、空間的にヘテロジーニアスなオーディオ要素１０１の表現の修正を示す。図２では、リスナ１０４は、最初は仮想位置Ａおよび最初の仮想向き（例えば、リスナ１０４から空間的にヘテロジーニアスなオーディオ要素１０１への垂直方向）に位置している。位置Ａは、空間的にヘテロジーニアスなオーディオ要素１０１に対してメタデータで指定されたデフォルトの位置であってもよい（同様に、リスナ１０４の初期の向きは、メタデータで指定されたデフォルトの向きと等しくてもよい）。リスナの初期位置および向きがデフォルトと一致すると仮定すると、空間的にヘテロジーニアスなオーディオ要素１０１を表すステレオ信号は、いかなる修正もなしにリスナ１０４に提供され得て、したがって、リスナ１０４は、空間的にヘテロジーニアスなオーディオ要素１０１のデフォルトの空間的オーディオ表現を体感することになる。
【0042】
リスナ１０４が仮想位置Ａから空間的にヘテロジーニアスなオーディオ要素１０１に近い仮想位置Ｂに移動した場合、リスナ１０４の位置の変化に基づいて、リスナ１０４によって知覚されるオーディオ体感を変化させることが望ましい。したがって、位置Ｂにおいてリスナ１０４によって知覚される空間的にヘテロジーニアスなオーディオ要素１０１の空間幅ＷＢを、仮想位置Ａにおいてリスナ１０４によって知覚されるオーディオ要素１０１の空間幅ＷＡよりも広くなるように指定することが望ましい。同様に、位置Ｃにおいてリスナ１０４によって知覚されるオーディオ要素１０１の空間幅ＷＣを、空間幅ＷＡよりも狭くなるように指定することが望ましい。
【0043】
したがって、一部の実施形態では、リスナによって知覚される空間的にヘテロジーニアスなオーディオ要素の空間的広がりは、空間的にヘテロジーニアスなオーディオ要素に対するリスナの位置および／または向き、ならびに空間的にヘテロジーニアスなオーディオ要素のメタデータ（例えば、空間的にヘテロジーニアスなオーディオ要素に対するデフォルトの位置および／または向きを示す情報）に基づいて更新される。上で説明したように、空間的にヘテロジーニアスなオーディオ要素のメタデータは、空間的にヘテロジーニアスなオーディオ要素のデフォルトの空間的広がりに関する空間的広がり情報、空間的にヘテロジーニアスなオーディオ要素の概念的な中心の位置、ならびにデフォルトの位置および／または向きを含むことができる。修正された空間的広がりは、デフォルトの位置およびデフォルトの向きに対するリスナの位置および向きの変化の検出に基づいて、デフォルトの空間的広がりを修正することによって取得することができる。
【0044】
他の実施形態では、空間的にヘテロジーニアスな広がりのあるオーディオ要素（例えば、川、海）の表現は、空間的にヘテロジーニアスな広がりのあるオーディオ要素の知覚可能な部分のみを表す。そのような実施形態では、デフォルトの空間的広がりは、図３Ａ～図３Ｃに示すように、異なるやり方で修正されてもよい。図３Ａおよび図３Ｂに示すように、リスナ１０４が空間的にヘテロジーニアスな広がりのあるオーディオ要素３０１と一緒に移動するにつれ、空間的にヘテロジーニアスな広がりのあるオーディオ要素３０１の表現は、リスナ１０４と共に移動することができる。したがって、リスナ１０４にレンダリングされるオーディオは、基本的に、特定の軸（例えば、図３Ａの水平軸）に対するリスナ１０４の位置とは無関係である。この場合、図３Ｃに示すように、リスナ１０４によって知覚される空間的広がりは、リスナ１０４と空間的にヘテロジーニアスな広がりのあるオーディオ要素３０１との間の垂直距離ｄと、リスナ１０４と空間的にヘテロジーニアスな広がりのあるオーディオ要素３０１との間の基準垂直距離Ｄとの比較にのみ基づいて修正されてもよい。基準垂直距離Ｄは、空間的にヘテロジーニアスな広がりのあるオーディオ要素３０１のメタデータから取得することができる。
【0045】
例えば、図３Ｃを参照すると、リスナ１０４によって知覚される修正された空間的広がりは、ＳＥ＝ＲＥ＊ｆ（ｄ，Ｄ）の関数に従って決定することができ、ここで、ＳＥは修正された空間的広がりであり、ＲＥは空間的にヘテロジーニアスな広がりのあるオーディオ要素３０１のメタデータから得られるデフォルト（または基準）の空間的広がりであり、ｄは空間的にヘテロジーニアスな広がりのあるオーディオ要素３０１とリスナ１０４の現在の位置との間の垂直距離であり、Ｄは空間的にヘテロジーニアスな広がりのあるオーディオ要素３０１とメタデータで指定されたデフォルトの位置との間の垂直距離であり、ｆはｄおよびＤをパラメータとして有する曲線を規定する関数である。関数ｆは、線形関係または非線形曲線などの多くの形状をとることができる。曲線の例を図３Ａに示す。
【0046】
曲線は、空間的にヘテロジーニアスな広がりのあるオーディオ要素３０１の空間的広がりが、空間的にヘテロジーニアスな広がりのあるオーディオ要素３０１から非常に遠い距離ではゼロに近く、ゼロに近い距離では１８０度に近いことを示すことができる。図３Ａに示すように、空間的にヘテロジーニアスな広がりのあるオーディオ要素３０１が海などの非常に大きな現実の要素を表す場合、曲線は、リスナが海に近づくにつれ空間的広がりが徐々に増加する（リスナが海岸に到着したときに１８０度に達する）ようなものであってもよい。空間的にヘテロジーニアスな広がりのあるオーディオ要素３０１が噴水などのより小さな現実の要素を表す場合、曲線は、空間的にヘテロジーニアスな広がりのあるオーディオ要素３０１から遠い距離では空間的広がりが非常に狭くなるが、空間的にヘテロジーニアスな広がりのあるオーディオ要素３０１の近くでは非常に急速に広くなるように、強く非線形であってもよい。
【0047】
関数ｆはまた、特に空間的にヘテロジーニアスな広がりのあるオーディオ要素３０１が小さい場合、オーディオ要素のリスナの観察角度に依存してもよい。
【0048】
曲線は、空間的にヘテロジーニアスな広がりのあるオーディオ要素３０１のメタデータの一部として提供されてもよく、またはオーディオレンダラに記憶または提供されてもよい。空間的にヘテロジーニアスな広がりのあるオーディオ要素３０１の空間的広がりの修正を実施することを望むコンテンツ作成者は、空間的にヘテロジーニアスな広がりのあるオーディオ要素３０１の所望のレンダリングに基づいて、曲線の様々な形状間の選択が与えられ得る。
【0049】
図４は、一部の実施形態による、空間的にヘテロジーニアスなオーディオ要素をレンダリングするためのシステム４００を示す。システム４００は、コントローラ４０１と、左オーディオ信号４５１用の信号修正器４０２と、右オーディオ信号４５２用の信号修正器４０３と、左オーディオ信号４５１用のスピーカ４０４と、右オーディオ信号４５２用のスピーカ４０５と、を含む。左オーディオ信号４５１および右オーディオ信号４５２は、デフォルトの位置およびデフォルトの向きにおける空間的にヘテロジーニアスなオーディオ要素を表す。図４には、２つのオーディオ信号、２つの修正器、および２つのスピーカのみが示されているが、これは、例示のみを目的としており、本開示の実施形態を決して限定するものではない。さらに、図４は、システム４００が左オーディオ信号４５１および右オーディオ信号４５２を別々に受信および修正することを示しているものの、システム４００は、左オーディオ信号４５１および右オーディオ信号４５２の内容を含む単一のステレオ信号を受信し、左オーディオ信号４５１および右オーディオ信号４５２を別々に修正することなく、ステレオ信号を修正することができる。
【0050】
コントローラ４０１は、１つまたは複数のパラメータを受信し、修正器４０２および４０３をトリガして、受信したパラメータに基づいて左右のオーディオ信号４５１および４５２に対して修正を実行するように設定されていてもよい。図４に示す実施形態では、受信されるパラメータは、（１）空間的にヘテロジーニアスなオーディオ要素のリスナの位置および／または向きに関する情報４５３と、（２）空間的にヘテロジーニアスなオーディオ要素のメタデータ４５４と、である。
【0051】
本開示の一部の実施形態では、情報４５３は、図５Ａに示す仮想現実（ＶＲ）システム５００に含まれる１つまたは複数のセンサから提供されてもよい。図５Ａに示すように、ＶＲシステム５００は、ユーザによって着用されるように設定されている。図５Ｂに示すように、ＶＲシステム５００は、向き検知ユニット５０１と、位置検知ユニット５０２と、システム４００のコントローラ４０１に結合された処理ユニット５０３と、を備えることができる。向き検知ユニット５０１は、リスナの向きの変化を検出するように設定され、検出された変化に関する情報を処理ユニット５０３に提供する。一部の実施形態では、処理ユニット５０３は、向き検知ユニット５０１によって検出された向きの検出された変化が与えられると、（何らかの座標系に対する）絶対向きを決定する。向きおよび位置を決定するための異なるシステム、例えば灯台トラッカ（ライダ）を使用するＨＴＣ Ｖｉｖｅシステムも存在し得る。一実施形態では、向き検知ユニット５０１は、検出された向きの変化が与えられると、（何らかの座標系に対する）絶対向きを決定することができる。この場合、処理ユニット５０３は、向き検知ユニット５０１からの絶対向きデータと、位置検知ユニット５０２からの絶対位置データとを単純に多重化することができる。一部の実施形態では、向き検知ユニット５０１は、１つまたは複数の加速度計および／または１つまたは複数のジャイロスコープを備えることができる。
【0052】
【0053】
図６Ａでは、リスナ１０４のデフォルトの向きは、Ｘ軸の方向である。リスナ１０４がＸ－Ｙ平面に対して頭を持ち上げると、向き検知ユニット５０１は、Ｘ－Ｙ平面に対する角度θを検出する。向き検知ユニット５０１はまた、異なる軸に対するリスナ１０４の向きの変化を検出することができる。例えば、図６Ｂにおいて、リスナ１０４がＸ軸に対して頭を回転させると、向き検知ユニット５０１は、Ｘ軸に対する角度φを検出する。同様に、リスナがＸ軸の周りに頭を回転させたときに得られるＹ－Ｚ平面に対する角度ψが、向き検知ユニット５０１によって検出され得る。向き検知ユニット５０１によって検出されたこれらの角度θ、φ、およびψは、リスナ１０４の向きを表す。
【0054】
図５Ｂに戻ると、向き検知ユニット５０１に加えて、ＶＲシステム５００は、位置検知ユニット５０２をさらに備えることができる。位置検知ユニット５０２は、図２に示すようにリスナ１０４の位置を決定する。例えば、位置検知ユニット５０２は、リスナ１０４の位置を検出することができ、検出された位置を示す位置情報は、リスナ１０４が位置Ａから位置Ｂに移動した場合に、空間的にヘテロジーニアスなオーディオ要素１０１の中心とリスナ１０４との間の距離がコントローラ４０１によって決定され得るように、位置検知ユニット５０２を介してコントローラ４０１に提供することができる。
【0055】
それに応じて、向き検知ユニット５０１によって検出された角度θ、φ、およびψ、ならびに位置検知ユニット５０２によって検出されたリスナ１０４の位置がＶＲシステム５００の処理ユニット５０３に提供されてもよい。処理ユニット５０３は、検出された角度および検出された位置に関する情報をシステム４００のコントローラ４０１に提供することができる。１）空間的にヘテロジーニアスなオーディオ要素１０１の絶対位置および向きと、２）空間的にヘテロジーニアスなオーディオ要素１０１の空間的広がりと、３）リスナ１０４の絶対位置と、が与えられると、リスナ１０４から空間的にヘテロジーニアスなオーディオ要素１０１までの距離ならびにリスナ１０４によって知覚される空間幅を評価することができる。
【0056】
図４に戻ると、メタデータ４５４は、様々な情報を含むことができる。メタデータ４５４に含まれる情報の例は、上で提供されている。情報４５３およびメタデータ４５４を受信すると、コントローラ４０１は、修正器４０２および４０３をトリガして、左オーディオ信号４５１および右オーディオ信号４５２を修正する。修正器４０２および４０３は、コントローラ４０１から提供される情報に基づいて左オーディオ信号４５１および右オーディオ信号４５２を修正し、リスナが空間的にヘテロジーニアスなオーディオ要素の修正された空間的広がりを知覚するように、修正されたオーディオ信号をスピーカ４０４および４０５に出力する。
【0057】
空間的にヘテロジーニアスなオーディオ要素のレンダリング
【0058】
空間的にヘテロジーニアスなオーディオ要素をレンダリングする多くのやり方が存在する。空間的にヘテロジーニアスなオーディオ要素をレンダリングする１つのやり方は、オーディオチャネルのそれぞれを仮想スピーカとして表現し、仮想スピーカをバイノーラルでリスナにレンダリングするか、またはパニング技法などを使用して物理的ラウドスピーカ上にレンダリングすることである。例えば、空間的にヘテロジーニアスなオーディオ要素を表す２つのオーディオ信号は、それらが、固定位置にある２つの仮想ラウドスピーカから出力されるかのように生成することができる。しかしながら、このような設定では、２つの固定ラウドスピーカからリスナへの音響伝達時間は、リスナが移動するにつれ変化する。２つの固定ラウドスピーカから出力される２つのオーディオ信号間の相関関係および時間的関係のために、このような音響伝達時間の変化は、空間的にヘテロジーニアスなオーディオ要素の空間像の深刻な色付けおよび／または歪みをもたらす。
【0059】
したがって、図７Ａに示す実施形態では、リスナ１０４が位置Ａから位置Ｂに移動するにつれ、仮想ラウドスピーカ７０１および７０２をリスナ１０４から等距離に維持しながら、仮想ラウドスピーカ７０１および７０２を動的に更新する。この概念は、仮想ラウドラウドスピーカ７０１および７０２によってレンダリングされたオーディオが、リスナ１０４の視点から見て空間的にヘテロジーニアスなオーディオ要素１０１の位置および空間的広がりに一致するように、リスナ１０４によって知覚されることを可能にする。図７Ａに示すように、仮想ラウドラウドスピーカ７０１と７０２との間の角度は、リスナ１０４の視点から見て空間的にヘテロジーニアスなオーディオ要素１０１の空間的広がり（例えば、空間幅）に常に対応するように制御することができる。言い換えれば、位置Ｂでの仮想ラウドスピーカ７０１および７０２とリスナ１０４との間の距離が、位置Ａでの仮想ラウドスピーカ７０１および７０２とリスナ１０４との間の距離と同じであったとしても、リスナが位置Ａから位置Ｂに移動するにつれ、仮想ラウドスピーカ７０１と７０２との間の角度は、θＡからθＢに変化する。この角度の変化がリスナ１０４によって知覚される空間幅の減少に対応する。
【0060】
仮想ラウドラウドスピーカ７０１および７０２の位置ならびに向きはまた、リスナ１０４の頭の姿勢に基づいて制御されてもよい。図８は、仮想ラウドラウドスピーカ７０１および７０２が、リスナ１０４の頭の姿勢に基づいてどのように制御され得るかの一例を示す。図８に示す実施形態では、リスナ１０４が頭を傾けると、仮想ラウドラウドスピーカ７０１および７０２の位置は、ステレオ信号のステレオ幅が空間的にヘテロジーニアスなオーディオ要素１０１の高さまたは幅に対応し得るように制御される。
【0061】
本開示の他の実施形態では、仮想ラウドスピーカ７０１と７０２との間の角度は、特定の角度（例えば、＋または－３０度の標準ステレオ角度）に固定されている場合があり、リスナ１０４によって知覚される空間的にヘテロジーニアスなオーディオ要素１０１の空間幅は、仮想ラウドスピーカ７０１および７０２から放出される信号を修正することによって変化してもよい。例えば、図７Ｂにおいて、リスナ１０４が位置Ａから位置Ｂに移動した場合であっても、仮想ラウドスピーカ７０１と７０２との間の角度は同じままである。したがって、仮想ラウドスピーカ７０１と７０２との間の角度は、リスナ１０４の修正された視点から見た空間的にヘテロジーニアスなオーディオ要素１０１の空間的広がりにはもはや対応しない。しかしながら、仮想ラウドスピーカ７０１および７０２から放出されるオーディオ信号が修正されるため、空間的にヘテロジーニアスなオーディオ要素１０１の空間的広がりは、位置Ｂにおいてリスナ１０４によって異なって知覚されることになる。本方法は、リスナの位置の変化に起因して空間的にヘテロジーニアスなオーディオ要素１０１の知覚される空間的広がりが変化するときに（例えば、空間的にヘテロジーニアスなオーディオ要素１０１に近づくかまたは遠ざかるときに、あるいはメタデータが異なる観察角度に対して空間的にヘテロジーニアスなオーディオ要素に対して異なる空間的広がりを指定するときに）、望ましくないアーチファクトが生じないという利点を有する。
【0062】
図７Ｂに示す実施形態では、リスナ１０４によって知覚される空間的にヘテロジーニアスなオーディオ要素１０１の空間的広がりは、オーディオ要素１０１の左右のオーディオ信号にリミックス操作を施すことによって制御されてもよい。例えば、修正された左右のオーディオ信号は、以下のように表すことができる。
Ｌ’＝ＨＬＬＬ＋ＨＬＲＲおよびＲ’＝ＨＲＬＬ＋ＨＲＲＲ、または
行列表記では（Ｌ’ Ｒ’）Ｔ＝Ｈ＊（Ｌ Ｒ）Ｔ
ここで、ＬおよびＲは、デフォルト表現におけるオーディオ要素１０１についてのデフォルトの左および右のオーディオ信号であり、Ｌ’およびＲ’は、リスナ１０４の修正された位置および／または向きにおいて知覚されるオーディオ要素１０１に対する修正された左および右のオーディオ信号である。Ｈは、デフォルトの左右のオーディオ信号を修正された左右のオーディオ信号に変換するための変換行列である。
Ｌ’＝ＨＬＬＬ＋ＨＬＲＲおよびＲ’＝ＨＲＬＬ＋ＨＲＲＲ、または
行列表記では（Ｌ’ Ｒ’）Ｔ＝Ｈ＊（Ｌ Ｒ）Ｔ
ここで、ＬおよびＲは、デフォルト表現におけるオーディオ要素１０１についてのデフォルトの左および右のオーディオ信号であり、Ｌ’およびＲ’は、リスナ１０４の修正された位置および／または向きにおいて知覚されるオーディオ要素１０１に対する修正された左および右のオーディオ信号である。Ｈは、デフォルトの左右のオーディオ信号を修正された左右のオーディオ信号に変換するための変換行列である。
【0063】
変換行列Ｈは、空間的にヘテロジーニアスなオーディオ要素１０１に対するリスナ１０４の位置および／または向きに依存してもよい。さらに、変換行列Ｈはまた、空間的にヘテロジーニアスなオーディオ要素１０１のメタデータに含まれる情報（例えば、オーディオ信号を録音するために使用されるマイクロフォンのセットアップに関する情報）に基づいて決定されてもよい。
【0064】
変換行列Ｈを実施するために、多くの異なる混合アルゴリズムおよびそれらの組合せを使用することができる。一部の実施形態では、変換行列Ｈは、ステレオ信号のステレオ像を広げるおよび／または狭めるために既知のアルゴリズムのうちの１つまたは複数によって実施されてもよい。アルゴリズムは、空間的にヘテロジーニアスなオーディオ要素のリスナが空間的にヘテロジーニアスなオーディオ要素に近づくか、または遠ざかるときに、空間的にヘテロジーニアスなオーディオ要素の知覚されるステレオ幅を修正するのに適している可能性がある。
【0065】
このようなアルゴリズムの一例は、ステレオ信号を和信号と差信号（「ミッド」信号と「サイド」信号とも呼ばれる）に分解し、これら２つの信号のバランスを変化させて、オーディオ要素のステレオ像の制御可能な幅を達成することである。一部の実施形態では、空間的にヘテロジーニアスなオーディオ要素の元のステレオ表現は、すでに和差（またはミッド－サイド）フォーマットである場合があり、その場合は、上述した分解ステップは、必要でない場合がある。
【0066】
例えば、図２を参照すると、参照位置Ａにおいて、和信号と差信号を等しい割合で混合することができ（左右の信号において差信号の極性を逆にして）、結果としてデフォルトの左および右の信号が得られる。しかしながら、位置Ａよりも空間的にヘテロジーニアスなオーディオ要素１０１に近い位置Ｂでは、和信号よりも差信号により多くの重みを与えることで、結果として、デフォルトのものよりも広い空間像が得られる。一方、位置Ａよりも空間的にヘテロジーニアスなオーディオ要素１０１から離れている位置Ｃでは、差信号よりも和信号により多くの重みを与えることで、結果として、より狭い空間像が得られる。したがって、知覚される空間幅は、和信号と差信号との間のバランスを制御することによって、リスナ１０４と空間的にヘテロジーニアスなオーディオ要素１０１との間の距離の変化に応じて制御することができる。
【0067】
前述した技法はまた、リスナと空間的にヘテロジーニアスなオーディオ要素との間の相対角度が変化したときに、すなわち、リスナの観察角度が変化したときに、空間的にヘテロジーニアスなオーディオ要素の空間幅を修正するために使用されてもよい。図２は、空間的にヘテロジーニアスなオーディオ要素１０１から参照位置Ａと同じ距離にあるが、異なる角度にあるユーザ１０４の位置Ｄを示す。図２に示すように、位置Ｄでは、位置Ａよりも狭い空間像が予想され得る。この異なる空間像は、和信号と差信号の相対的な比率を変化させることによってレンダリングすることができる。具体的には、位置Ｄに対してより少ない差信号が使用されて、結果としてより狭い像が得られる。
【0068】
本開示の一部の実施形態では、その全体が参照により本明細書に組み込まれる米国特許第７，４４０，５７５号、米国特許出願公開第２０１０／００４０２４３Ａ１号、およびＷＩＰＯ特許公開第２００９１０２７５０Ａ１号に記載されているように、非相関技法を使用して、ステレオ信号の空間幅を増大させることができる。
【0069】
本開示の他の実施形態では、その全体が参照により本明細書に組み込まれる米国特許第８，６６０，２７１号、米国特許出願公開第２０１１／０１９４７１２号、米国特許第６，９２８，１６８号、米国特許第５，８９２，８３０号、米国特許出願公開第２００９／０１３６０６６号、米国特許第９，３９８，３９１Ｂ２号、米国特許第７，４４０，５７５号、および独国特許公開第３８４０７６６Ａ１号に記載されているように、ステレオ像を広げるおよび／または狭める異なる技法を使用することができる。
【0070】
リミックス処理（上述した例示的なアルゴリズムを含む）にはフィルタリング操作が含まれる場合があるため、一般に変換行列Ｈは、複雑で、周波数に依存することに留意されたい。変換は、変換領域信号に対して、潜在的なフィルタリング操作（畳み込み）を含む時間領域において適用されてもよく、あるいは同様の形態で、変換領域、例えば離散フーリエ変換（ＤＦＴ）または変形離散コサイン変換（ＭＤＣＴ）領域において適用されてもよい。
【0071】
一部の実施形態では、空間的にヘテロジーニアスなオーディオ要素は、単一の頭部伝達関数（ＨＲＴＦ）フィルタ対を使用してレンダリングされてもよい。図９は、ＨＲＴＦフィルタの方位角（φ）および仰角（θ）パラメータを示す。上述したように、空間的にヘテロジーニアスなオーディオ要素が左信号Ｌおよび右信号Ｒによって表される場合、リスナの向きおよび／または位置の変化に基づいて修正された左および右の信号は、修正された左信号Ｌ’および修正された右信号Ｒ’として表すことができ、ここで、（Ｌ’ Ｒ’）Ｔ＝Ｈ＊（Ｌ Ｒ）Ｔであり、Ｈは変換行列である。これらの実施形態では、ＨＲＴＦフィルタリングは、左耳オーディオ信号ＥＬおよび右耳オーディオ信号ＥＲがリスナに出力され得るように、修正された左信号Ｌ’および修正された右信号Ｒ’に適用される。ＥＬおよびＥＲは、以下のように表すことができる。
【0072】
ＥＬ（φ，θ，ｘ，ｙ，ｚ）＝Ｌ’（ｘ，ｙ，ｚ）＊ＨＲＴＦＬ（φＬ，θＬ）
【0073】
ＥＲ（φ，θ，ｘ，ｙ，ｚ）＝Ｒ’（ｘ，ｙ，ｚ）＊ＨＲＴＦＲ（φＲ，θＲ）
【0074】
ＨＲＴＦＬは、オーディオソースのリスナに対して特定の方位角（φＬ）および特定の仰角（θＬ）に位置する仮想点オーディオソースに対応した左耳ＨＲＴＦフィルタである。同様に、ＨＲＴＦＲは、オーディオソースのリスナに対して特定の方位角（φＲ）および特定の仰角（θＲ）に位置する仮想点オーディオソースに対応する右耳ＨＲＴＦフィルタである。ｘ、ｙ、ｚは、デフォルトの位置（別名「デフォルト観察位置」）に対するリスナの位置を表す。特定の一実施形態では、修正された左信号Ｌ’および修正された右信号Ｒ’は、同じ位置でレンダリングされ、すなわち、φＲ＝φＬおよびθＲ＝θＬである。
【0075】
一部の実施形態では、アンビソニックスフォーマットが、特定の仮想ラウドスピーカセットアップのためのバイノーラルレンダリングまたはマルチチャネルフォーマットへの変換の前に、あるいはその一部として、中間フォーマットとして使用されてもよい。例えば、上述した実施形態では、修正された左および右のオーディオ信号Ｌ’およびＲ’は、アンビソニックス領域に変換され、次いでバイノーラルにまたはラウドスピーカ用にレンダリングされてもよい。空間的にヘテロジーニアスなオーディオ要素は、様々なやり方でアンビソニックス領域に変換されてもよい。例えば、空間的にヘテロジーニアスなオーディオ要素は、それぞれが点音源として扱われる仮想ラウドスピーカを使用してレンダリングすることができる。このような場合、仮想ラウドスピーカのそれぞれは、既知の方法を使用してアンビソニックス領域に変換され得る。
【0076】
一部の実施形態では、２０１６年１月に発行された「Ｅｆｆｉｃｉｅｎｔ ＨＲＴＦ－ｂａｓｅｄ Ｓｐａｔｉａｌ Ａｕｄｉｏ ｆｏｒ Ａｒｅａ ａｎｄ Ｖｏｌｕｍｅｔｒｉｃ Ｓｏｕｒｃｅｓ」と題されたＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ２２（４）：１－１に記載されているように、より高度な技法を使用してＨＲＴＦを計算することができる。
【0077】
本開示の一部の実施形態では、空間的にヘテロジーニアスなオーディオ要素は、環境要素（例えば、海もしくは川）、またはシーン内のある領域を占有する複数の物理的なエンティティから構成された概念的なエンティティ（例えば、群衆）の代わりに、複数の音源を備える単一の物理的なエンティティ（例えば、エンジン音源および排気音源を有する車）を表してもよい。上述した空間的にヘテロジーニアスなオーディオ要素をレンダリングする方法は、複数の音源を含み、明確な空間的レイアウトを有するそのような単一の物理的なエンティティにも適用可能であってもよい。例えば、リスナが車両の運転席側で車両に向かって立っていて、車両が、リスナの左側で第１の音（例えば、車両の前側からのエンジン音）およびリスナの右側で第２の音（例えば、車両の後側からの排気音）を生成した場合、リスナは、第１および第２の音に基づいて、車両の明確な空間的オーディオレイアウトを知覚することができる。このような場合に、リスナが車両の周りを移動して、車両の反対側（例えば、車両の助手席側）から観察した場合でも、リスナが明確な空間的レイアウトを知覚できるようにすることが望ましい。したがって、本開示の一部の実施形態では、リスナが一方の側（例えば、車両の運転席側）から反対側（例えば、車両の助手席側）に移動すると、左オーディオチャネルと右オーディオチャネルが入れ替わる。言い換えれば、リスナが一方の側から反対側に移動するにつれ、空間的にヘテロジーニアスなオーディオ要素の空間的表現が車両の軸の周りにミラーリングされる。
【0078】
しかしながら、リスナが一方の側から反対側に移動する瞬間に左右のチャネルが瞬時に入れ替わる場合、リスナは、空間的にヘテロジーニアスなオーディオ要素の空間像の不連続性を知覚する可能性がある。したがって、一部の実施形態では、リスナが２つの側の間の小さな遷移領域にいる間に、少量の非相関信号が修正されたステレオミックスに追加されてもよい。
【0079】
本開示の一部の実施形態では、空間的にヘテロジーニアスなオーディオ要素のレンダリングがモノラルに崩れてしまうのを防止する追加の機能が提供される。例えば、図２を参照すると、空間的にヘテロジーニアスなオーディオ要素１０１が、単一の方向（例えば、図２の水平方向）にのみ空間的広がりを有する１次元オーディオ要素である場合、空間的にヘテロジーニアスなオーディオ要素１０１のレンダリングは、リスナ１０４が位置Ｅに移動すると、位置Ｅには空間的にヘテロジーニアスなオーディオ要素１０１の知覚される空間的広がりがないため、モノラルに崩れてしまう。これは、モノラルがリスナ１０４にとって不自然に聞こえる可能性があるため、望ましくない可能性がある。この崩壊を防止するために、本開示の実施形態では、規定された小さな領域内での空間的広がりの修正が防止されるように、位置Ｅの周りの空間幅または規定された小さな領域に下限を設けている。代替的または追加的に、この崩壊は、小さな遷移領域において、レンダリングされたオーディオ信号に少量の非相関信号を追加することによって防止することができる。これにより、モノラルへの不自然な崩壊が確実に生じなくなる。
【0080】
本開示の一部の実施形態では、空間的にヘテロジーニアスなオーディオ要素のメタデータはまた、リスナの位置および／または向きが変化したときに、ステレオ像の異なるタイプの修正を適用すべきかどうかを示す情報を含むことができる。具体的には、特定のタイプの空間的にヘテロジーニアスなオーディオ要素については、リスナの位置および／または向きの変化に基づいて空間的にヘテロジーニアスなオーディオ要素の空間幅を変化させること、あるいはリスナが空間的にヘテロジーニアスなオーディオ要素の一方の側から空間的にヘテロジーニアスなオーディオ要素の反対側に移動するときに左右のチャネルを入れ替えることは望ましくない場合がある。また、特定のタイプのオーディオ要素については、空間的にヘテロジーニアスなオーディオ要素の空間的広がりを１つの次元だけに沿って修正することが望ましい場合がある。
【0081】
例えば、群集は、直線に沿って並ぶのではなく、通常は２Ｄ空間を占有する。したがって、空間的広がりが１次元でしか指定されていない場合、ユーザが群集の周りを移動するときに、群集の空間的にヘテロジーニアスなオーディオ要素のステレオ幅が著しく狭められるとすれば、極めて不自然になる。また、群集から来る空間的および時間的情報は、典型的にはランダムであり、あまり向き特有ではないため、群集の単一のステレオ録音は、任意の相対的なユーザ角度で群集を表現するのに完全に適している可能性がある。したがって、群集の空間的にヘテロジーニアスなオーディオ要素のためのメタデータには、群集の空間的にヘテロジーニアスなオーディオ要素のリスナの相対位置に変化があっても、群集の空間的にヘテロジーニアスなオーディオ要素のステレオ幅の修正を無効にすべきであることを示す情報が含まれていてもよい。代替的または追加的に、メタデータにはまた、リスナの相対位置に変化があった場合に、ステレオ幅の特定の修正を適用すべきであることを示す情報が含まれていてもよい。前述の情報はまた、高速道路、海、川などの巨大な現実の要素の知覚可能な部分のみを表す空間的にヘテロジーニアスなオーディオ要素のメタデータに含まれていてもよい。
【0082】
本開示の他の実施形態では、特定のタイプの空間的にヘテロジーニアスなオーディオ要素のメタデータには、空間的にヘテロジーニアスなオーディオ要素の空間的広がりを指定する位置依存、方向依存、または距離依存の情報が含まれていてもよい。例えば、群衆の音を表す空間的にヘテロジーニアスなオーディオ要素については、空間的にヘテロジーニアスなオーディオ要素のメタデータは、空間的にヘテロジーニアスなオーディオ要素のリスナが第１の基準点に位置するときの空間的にヘテロジーニアスなオーディオ要素の第１の特定の空間幅と、空間的にヘテロジーニアスなオーディオ要素のリスナが第１の基準点とは異なる第２の基準点に位置するときの空間的にヘテロジーニアスなオーディオ要素の第２の特定の空間幅と、を指定する情報を含むことができる。このようにして、観察角度特有の聴覚イベントはないが、観察角度特有の幅を有する空間的にヘテロジーニアスなオーディオ要素を効率的に表現することができる。
【0083】
前の段落で説明した本開示の実施形態は、１次元または２次元に沿って空間的にヘテロジーニアスな特性を有する空間的にヘテロジーニアスなオーディオ要素を使用して説明されているが、本開示の実施形態は、追加の次元のための対応するステレオ信号およびメタデータを追加することによって、３つ以上の次元に沿って空間的にヘテロジーニアスな特性を有する空間的にヘテロジーニアスなオーディオ要素に等しく適用可能である。言い換えれば、本開示の実施形態は、マルチチャネルステレオ音響信号、すなわち、ステレオ音響パニング技法を使用するマルチチャネル信号（したがって、ステレオ、５．１、７．ｘ、２２．２、ＶＢＡＰなどを含む全スペクトル）によって表される空間的にヘテロジーニアスなオーディオ要素に適用可能である。追加的または代替的に、空間的にヘテロジーニアスなオーディオ要素は、１次アンビソニックスＢフォーマット表現で表されてもよい。
【0084】
本開示のさらなる実施形態では、空間的にヘテロジーニアスなオーディオ要素を表すステレオ音響信号は、信号の冗長性が、例えば、ジョイントステレオ符号化技法を使用することによって利用されるように符号化される。この機能は、空間的にヘテロジーニアスなオーディオ要素を複数の個々のオブジェクトのクラスタとして符号化する場合と比較して、さらなる利点を提供する。
【0085】
本開示の実施形態では、表現されるべき空間的にヘテロジーニアスなオーディオ要素は、空間的に豊富であるが、空間的にヘテロジーニアスなオーディオ要素内の様々なオーディオソースの正確な位置決めは重要ではない。しかしながら、本開示の実施形態は、１つまたは複数の重要なオーディオソースを含む空間的にヘテロジーニアスなオーディオ要素を表現するために使用することもできる。そのような場合、重要なオーディオソースは、空間的にヘテロジーニアスなオーディオ要素のレンダリングにおいて、空間的にヘテロジーニアスなオーディオ要素に重ね合わされた個々のオブジェクトとして明示的に表現されてもよい。そのような場合の例は、ある声または音が一貫して目立つ群衆（例えば、誰かがメガホンで話している）あるいは犬が吠えているビーチのシーンである。
【0086】
図１０は、一部の実施形態による、空間的にヘテロジーニアスなオーディオ要素をレンダリングするプロセス１０００を示す。ステップｓ１００２は、ユーザの現在の位置および／または現在の向きを取得することを含む。ステップｓ１００４は、空間的にヘテロジーニアスなオーディオ要素の空間的な特性付けに関する情報を取得することを含む。ステップｓ１００６は、ユーザの現在の位置および／または現在の向きにおいて、以下の情報、すなわち、空間的にヘテロジーニアスなオーディオ要素への方向および距離、空間的にヘテロジーニアスなオーディオ要素の知覚される空間的広がり、ならびに／あるいはユーザに対する仮想オーディオソースの位置を評価することを含む。ステップｓ１００８は、仮想オーディオソースのレンダリングパラメータを評価することを含む。レンダリングパラメータは、ヘッドホンに配信するときの仮想オーディオソースのそれぞれについてのＨＲフィルタの設定情報、およびラウドスピーカ設定を介して配信するときの仮想オーディオソースのそれぞれについてのラウドスピーカパニング係数を含むことができる。ステップｓ１０１０は、マルチチャネルオーディオ信号を取得することを含む。ステップｓ１０１２は、マルチチャネルオーディオ信号およびレンダリングパラメータに基づいて仮想オーディオソースをレンダリングすること、およびヘッドホンまたはラウドスピーカ信号を出力することを含む。
【0087】
図１１は、一実施形態によるプロセス１１００を示す流れ図である。プロセス１１００は、ステップｓ１１０２で開始することができる。
【0088】
ステップｓ１１０２は、空間的にヘテロジーニアスなオーディオ要素を表す２つ以上のオーディオ信号を取得することを含み、オーディオ信号の組合せが空間的にヘテロジーニアスなオーディオ要素の空間像を提供する。ステップｓ１１０４は、空間的にヘテロジーニアスなオーディオ要素に関連付けられたメタデータを取得することを含み、メタデータは、空間的にヘテロジーニアスなオーディオ要素の空間的広がりを示す空間的広がり情報を含む。ステップｓ１１０６は、ｉ）空間的広がり情報と、ｉｉ）空間的にヘテロジーニアスなオーディオ要素に対するユーザの位置（例えば、仮想位置）および／または向きを示す位置情報と、を使用して空間的にヘテロジーニアスなオーディオ要素をレンダリングすることを含む。
【0089】
一部の実施形態では、空間的にヘテロジーニアスなオーディオ要素の空間的広がりは、空間的にヘテロジーニアスなオーディオに対して第１の仮想位置または第１の仮想向きで知覚される、１つまたは複数の次元における空間的にヘテロジーニアスなオーディオ要素のサイズに対応する。
【0090】
一部の実施形態では、空間的広がり情報は、空間的にヘテロジーニアスなオーディオ要素の物理的サイズまたは知覚されるサイズを指定する。
【0091】
一部の実施形態では、空間的にヘテロジーニアスなオーディオ要素をレンダリングすることは、空間的にヘテロジーニアスなオーディオ要素に対する（例えば、空間的にヘテロジーニアスなオーディオ要素の概念的な空間中心に対する）ユーザの位置および／または空間的にヘテロジーニアスなオーディオ要素の方向ベクトルに対するユーザの向きに基づいて、２つ以上のオーディオ信号のうちの少なくとも１つを修正することを含む。
【0092】
一部の実施形態では、メタデータは、ｉ）マイクロフォン（例えば、仮想マイクロフォン）間の間隔、デフォルトの軸に対するマイクロフォンの向き、および／またはマイクロフォンのタイプを示すマイクロフォンセットアップ情報、ｉｉ）マイクロフォンと空間的にヘテロジーニアスなオーディオ要素との間の距離（例えば、マイクロフォンと空間的にヘテロジーニアスなオーディオ要素の概念的な空間中心との間の距離）および／または空間的にヘテロジーニアスなオーディオ要素の軸に対する仮想マイクロフォンの向きを示す第１の関係情報、ならびに／あるいはｉｉｉ）空間的にヘテロジーニアスなオーディオ要素に対する（例えば、空間的にヘテロジーニアスなオーディオ要素の概念的な空間中心に対する）デフォルトの位置および／またはデフォルトの位置と空間的にヘテロジーニアスなオーディオ要素との間の距離を示す第２の関係情報をさらに含む。
【0093】
一部の実施形態では、空間的にヘテロジーニアスなオーディオ要素をレンダリングすることは、修正されたオーディオ信号を生成することを含み、２つ以上のオーディオ信号は、オーディオ要素に対する第１の仮想位置および／または第１の仮想向きにおいて知覚される空間的にヘテロジーニアスなオーディオ要素を表し、修正されたオーディオ信号は、空間的にヘテロジーニアスなオーディオ要素に対する第２の仮想位置および／または第２の仮想向きにおいて知覚される空間的にヘテロジーニアスなオーディオ要素を表すために使用され、ユーザの位置が第２の仮想位置に対応し、および／またはユーザの向きが第２の仮想向きに対応する。
【0094】
一部の実施形態では、２つ以上のオーディオ信号は、左オーディオ信号（Ｌ）および右オーディオ信号（Ｒ）を含み、オーディオ要素をレンダリングすることは、修正された左信号（Ｌ’）および修正された右信号（Ｒ’）を生成することを含み、［Ｌ’Ｒ’］＾Ｔ＝Ｈ×［ＬＲ］＾Ｔであり、ここで、Ｈは変換行列であり、変換行列は、取得したメタデータおよび位置情報に基づいて決定される。
【0095】
一部の実施形態では、空間的にヘテロジーニアスなオーディオ要素をレンダリングするステップは、１つまたは複数の修正されたオーディオ信号を生成することと、修正されたオーディオ信号のうちの少なくとも１つを含むオーディオ信号のバイノーラルレンダリングと、を含む。
【0096】
一部の実施形態では、空間的にヘテロジーニアスなオーディオ要素をレンダリングすることは、第１の出力信号（ＥＬ）および第２の出力信号（ＥＲ）を生成することを含み、ここで、ＥＬ＝Ｌ’＊ＨＲＴＦＬであり、ＨＲＴＦＬは、左耳に対する頭部伝達関数（または対応するインパルス応答）であり、ＥＲ＝Ｒ’＊ＨＲＴＦＲであり、ＨＲＴＦＲは、右耳に対する頭部伝達関数（または対応するインパルス応答）である。２つの出力信号の生成は、インパルス応答を使用したフィルタリング演算（畳み込み）による時間領域で、またはＨＲＴＦの適用による離散フーリエ変換（ＤＦＴ）領域などの任意の変換領域で行うことができる。
【0097】
一部の実施形態では、２つ以上のオーディオ信号を取得することは、複数のオーディオ信号を取得することと、複数のオーディオ信号をアンビソニックスフォーマットに変換することと、変換された複数のオーディオ信号に基づいて２つ以上のオーディオ信号を生成することと、をさらに含む。
【0098】
一部の実施形態では、空間的にヘテロジーニアスなオーディオ要素に関連付けられたメタデータは、空間的にヘテロジーニアスなオーディオ要素の概念的な空間中心、および／または空間的にヘテロジーニアスなオーディオ要素の方向ベクトルを指定する。
【0099】
一部の実施形態では、空間的にヘテロジーニアスなオーディオ要素をレンダリングするステップは、１つまたは複数の修正されたオーディオ信号を生成することと、修正されたオーディオ信号のうちの少なくとも１つを含むオーディオ信号を物理的なラウドスピーカ上にレンダリングすることと、を含む。
【0100】
一部の実施形態では、少なくとも１つの修正されたオーディオ信号を含むオーディオ信号は、仮想スピーカとしてレンダリングされる。
【0101】
図１２は、一部の実施形態による、図４に示すシステム４００を実装するための装置１２００のブロック図である。図１２に示すように、装置１２００は、１つまたは複数のプロセッサ（Ｐ）１２５５（例えば、汎用マイクロプロセッサ、および／または特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの１つもしくは複数の他のプロセッサ）を含むことができる処理回路（ＰＣ）１２０２であって、これらのプロセッサが、単一のハウジング内または単一のデータセンタ内で同じ場所に位置してもよく、あるいは地理的に分散されていてもよい、処理回路（ＰＣ）１２０２と、装置１２００が、ネットワークインターフェース１２４８が接続されたネットワーク１１０（例えば、インターネットプロトコル（ＩＰ）ネットワーク）に接続された他のノードとの間でデータを送受信することを可能にするための送信機（Ｔｘ）１２４５および受信機（Ｒｘ）１２４７を備えるネットワークインターフェース１２４８と、１つもしくは複数の不揮発性記憶デバイスおよび／または１つもしくは複数の揮発性記憶デバイスを含むことができるローカル記憶ユニット（別名「データ記憶システム」）１２０８と、を備えることができる。ＰＣ１２０２がプログラム可能なプロセッサを含む実施形態では、コンピュータプログラム製品（ＣＰＰ）１２４１が提供されてもよい。ＣＰＰ１２４１は、コンピュータ可読命令（ＣＲＩ）１２４４を含むコンピュータプログラム（ＣＰ）１２４３を記憶するコンピュータ可読媒体（ＣＲＭ）１２４２を含む。ＣＲＭ１２４２は、磁気媒体（例えば、ハードディスク）、光媒体、メモリデバイス（例えば、ランダムアクセスメモリ、フラッシュメモリ）などの非一時的なコンピュータ可読媒体であってもよい。一部の実施形態では、コンピュータプログラム１２４３のＣＲＩ１２４４は、ＰＣ１２０２によって実行されると、ＣＲＩが装置１２００に本明細書に記載されたステップ（例えば、流れ図を参照して本明細書に記載されたステップ）を実行させるように設定されている。他の実施形態では、装置１２００は、コードを必要とせずに、本明細書に記載されたステップを実行するように設定されてもよい。すなわち、例えば、ＰＣ１２０２は、１つまたは複数のＡＳＩＣのみで構成されてもよい。したがって、本明細書に記載された実施形態の特徴は、ハードウェアおよび／またはソフトウェアで実施することができる。
【0102】
実施形態の概要
【0103】
Ａ１．ユーザのために空間的にヘテロジーニアスなオーディオ要素をレンダリングするための方法であって、空間的にヘテロジーニアスなオーディオ要素を表す２つ以上のオーディオ信号を取得することであって、オーディオ信号の組合せが空間的にヘテロジーニアスなオーディオ要素の空間像を提供する、２つ以上のオーディオ信号を取得することと、空間的にヘテロジーニアスなオーディオ要素に関連付けられたメタデータを取得することであって、メタデータが空間的にヘテロジーニアスなオーディオ要素の空間的広がりを示す空間的広がり情報を含む、メタデータを取得することと、ｉ）空間的広がり情報と、ｉｉ）空間的にヘテロジーニアスなオーディオ要素に対するユーザの位置（例えば、仮想位置）および／または向きを示す位置情報と、を使用してオーディオ信号のうちの少なくとも１つを修正し、それによって少なくとも１つの修正されたオーディオ信号を生成することと、修正されたオーディオ信号を使用して、空間的にヘテロジーニアスなオーディオ要素をレンダリングすることと、を含む、方法。
【0104】
Ａ２．空間的にヘテロジーニアスなオーディオ要素の空間的広がりが、空間的にヘテロジーニアスなオーディオ要素に対する第１の仮想位置または第１の仮想向きにおいて知覚される１つまたは複数の次元における空間的にヘテロジーニアスなオーディオ要素のサイズに対応する、実施形態Ａ１に記載の方法。
【0105】
Ａ３．空間的広がり情報が、空間的にヘテロジーニアスなオーディオ要素の物理的サイズまたは知覚されるサイズを指定する、実施形態Ａ１またはＡ２に記載の方法。
【0106】
Ａ４．オーディオ信号のうちの少なくとも１つを修正することが、空間的にヘテロジーニアスなオーディオ要素に対する（例えば、空間的にヘテロジーニアスなオーディオ要素の概念的な空間中心に対する）ユーザの位置および／または空間的にヘテロジーニアスなオーディオ要素の方向ベクトルに対するユーザの向きに基づいて、オーディオ信号のうちの少なくとも１つを修正することを含む、実施形態Ａ３に記載の方法。
【0107】
Ａ５．メタデータが、ｉ）マイクロフォン（例えば、仮想マイクロフォン）間の間隔、デフォルトの軸に対するマイクロフォンの向き、および／またはマイクロフォンのタイプを示すマイクロフォン設定情報、ｉｉ）マイクロフォンと空間的にヘテロジーニアスなオーディオ要素との間の距離（例えば、マイクロフォンと空間的にヘテロジーニアスなオーディオ要素の概念的な空間中心との間の距離）および／または空間的にヘテロジーニアスなオーディオ要素の軸に対する仮想マイクロフォンの向きを示す第１の関係情報、ならびに／あるいはｉｉｉ）空間的にヘテロジーニアスなオーディオ要素に対する（例えば、空間的にヘテロジーニアスなオーディオ要素の概念的な空間中心に対する）デフォルトの位置、および／またはデフォルトの位置と空間的にヘテロジーニアスなオーディオ要素との間の距離を示す第２の関係情報をさらに含む、実施形態Ａ１からＡ４のいずれか一項に記載の方法。
【0108】
Ａ６．２つ以上のオーディオ信号が、空間的にヘテロジーニアスなオーディオ要素に対する第１の仮想位置および／または第１の仮想向きにおいて知覚される空間的にヘテロジーニアスなオーディオ要素を表し、修正されたオーディオ信号が、空間的にヘテロジーニアスなオーディオ要素に対する第２の仮想位置および／または第２の仮想向きにおいて知覚される空間的にヘテロジーニアスなオーディオ要素を表すために使用され、ユーザの位置が第２の仮想位置に対応し、および／またはユーザの向きが第２の仮想向きに対応する、実施形態Ａ１からＡ５のいずれか一項に記載の方法。
【0109】
Ａ７．２つ以上のオーディオ信号が左オーディオ信号（Ｌ）および右オーディオ信号（Ｒ）を含み、修正されたオーディオ信号が修正された左信号（Ｌ’）および修正された右信号（Ｒ’）を含み、［Ｌ’ Ｒ’］Ｔ＝Ｈ×［Ｌ Ｒ］Ｔであり、ここでＨは変換行列であり、変換行列が、取得したメタデータおよび位置情報に基づいて決定される、実施形態Ａ１からＡ６のいずれか一項に記載の方法。
【0110】
Ａ８．空間的にヘテロジーニアスなオーディオ要素をレンダリングすることが、第１の出力信号（ＥＬ）および第２の出力信号（ＥＲ）を生成することを含み、ここで、ＥＬ＝Ｌ’＊ＨＲＴＦＬであり、ＨＲＴＦＬは左耳の頭部伝達関数（または対応するインパルス応答）であり、ＥＲ＝Ｒ’＊ＨＲＴＦＲであり、ＨＲＴＦＲは右耳の頭部伝達関数（または対応するインパルス応答）である、実施形態Ａ７に記載の方法。
【0111】
Ａ９．２つ以上のオーディオ信号を取得することが、複数のオーディオ信号を取得することと、複数のオーディオ信号をアンビソニックスフォーマットに変換することと、変換された複数のオーディオ信号に基づいて２つ以上のオーディオ信号を生成することと、をさらに含む、実施形態Ａ１からＡ８のいずれか一項に記載の方法。
【0112】
Ａ１０．空間的にヘテロジーニアスなオーディオ要素に関連付けられたメタデータが、オーディオ要素の概念的な空間中心および／または空間的にヘテロジーニアスなオーディオ要素の方向ベクトルを指定する、実施形態Ａ１からＡ９のいずれか一項に記載の方法。
【0113】
Ａ１１．空間的にヘテロジーニアスなオーディオ要素をレンダリングするステップが、少なくとも１つの修正されたオーディオ信号を含むオーディオ信号のバイノーラルレンダリングを含む、実施形態Ａ１からＡ１０のいずれか一項に記載の方法。
【0114】
Ａ１２．空間的にヘテロジーニアスなオーディオ要素をレンダリングするステップが、少なくとも１つの修正されたオーディオ信号を含むオーディオ信号を物理的なラウドスピーカ上にレンダリングすることを含む、実施形態Ａ１からＡ１０のいずれか一項に記載の方法。
【0115】
Ａ１３．少なくとも１つの修正されたオーディオ信号を含むオーディオ信号が仮想スピーカとしてレンダリングされる、実施形態Ａ１１またはＡ１２に記載の方法。
【0116】
本開示の様々な実施形態が本明細書に記載されているが（付録がある場合はそれも含む）、それらは限定ではなく、単なる例として提示されていることを理解されたい。したがって、本開示の広さおよび範囲は、上述した例示的な実施形態のいずれによっても限定されるべきではない。さらに、本明細書で別段の指示がない限り、さもなければ文脈によって明らかに矛盾しない限り、上述した要素のすべての可能な変形形態における任意の組合せは、本開示によって包含される。
【0117】
さらに、上述され、図面に示されたプロセスは、一連のステップとして示されているが、これは単に説明のために行われたものである。したがって、いくつかのステップが追加されてもよく、いくつかのステップが省略されてもよく、ステップの順序が並び替えられてもよく、いくつかのステップが並行して実行されてもよいことが企図される。
【図1】
【図2】
【図3A-C】
【図4】
【図5A-B】
【図6A】
【図6B】
【図7A-B】
【図8】
【図9】
【図10】
【図11】
【図12】
【手続補正書】
【提出日】2024-04-26
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
明細書に記載された一発明。
【外国語明細書】