(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022126849
(43)【公開日】2022-08-30
(54)【発明の名称】メタデータを利用するオーディオ信号処理方法及び装置
(51)【国際特許分類】
G10L 19/008 20130101AFI20220823BHJP
H04S 7/00 20060101ALI20220823BHJP
【FI】
G10L19/008 100
G10L19/008 200
H04S7/00 310
【審査請求】有
【請求項の数】19
【出願形態】OL
(21)【出願番号】P 2022104743
(22)【出願日】2022-06-29
(62)【分割の表示】P 2020554183の分割
【原出願日】2019-04-10
(31)【優先権主張番号】10-2018-0041394
(32)【優先日】2018-04-10
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2018-0078449
(32)【優先日】2018-07-05
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2018-0079649
(32)【優先日】2018-07-09
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2018-0080911
(32)【優先日】2018-07-12
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2018-0083819
(32)【優先日】2018-07-19
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】518449353
【氏名又は名称】ガウディオ・ラボ・インコーポレイテッド
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ヒュンジョ・チュン
(72)【発明者】
【氏名】サンペ・チョン
(57)【要約】
【課題】オーディオ信号をレンダリングするオーディオ信号処理装置を提供する。
【解決手段】前記オーディオ信号処理装置はプロセッサを含む。前記プロセッサは、前記オーディオ信号と第1エレメント基準距離情報を含むメタデータを受信し、前記第1エレメント基準距離情報は前記エレメント信号の基準距離を指示し、前記第1エレメント基準距離情報に基づいて前記第1エレメント信号をレンダリングする。前記オーディオ信号は前記第1エレメント信号と同時にレンダリングされる第2エレメント信号を含み、前記メタデータは前記第2エレメント信号の距離を指示する第2エレメント距離情報を含む。前記第1エレメント基準距離情報を示すために必要なビット数は、前記第2エレメント距離情報を示すために必要なビット数より少ない。
【選択図】
図14
【特許請求の範囲】
【請求項1】
第1エレメント信号を含むオーディオ信号をレンダリングするオーディオ信号処理装置において、
前記オーディオ信号と第1エレメント基準距離情報を含むメタデータを獲得し、前記第1エレメント基準距離情報は前記第1エレメント信号の基準距離を指示し、前記第1エレメント基準距離情報に基づいて前記第1エレメント信号をレンダリングするプロセッサを含み、
前記オーディオ信号は、前記第1エレメント信号と同時にレンダリングされる第2エレメント信号を含み、
前記メタデータは、前記第2エレメント信号の距離を指示する第2エレメント距離情報を含み、
前記第1エレメント基準距離情報を示すために必要なビット数は、前記第2エレメント距離情報を示すために必要なビット数より少なく、
前記第1エレメント基準距離情報が示す基準距離のセット(set)は、前記第2エレメント距離情報が示す距離のセット(set)のサブセット(subset)である
オーディオ信号処理装置。
【請求項2】
前記第1エレメント基準距離情報は、指数関数を使用して前記第1エレメント信号の基準距離を指示する
請求項1に記載のオーディオ信号処理装置。
【請求項3】
前記第1エレメント基準距離情報は、前記指数関数の指数の値を決定する
請求項2に記載のオーディオ信号処理装置。
【請求項4】
前記第1エレメント基準距離情報を示すために使用されるビット数は7ビットであり、
前記第2エレメント距離情報を示すために使用されるビット数は9ビットである
請求項3に記載のオーディオ信号処理装置。
【請求項5】
前記プロセッサは、
下記数式を使用して前記第1エレメント基準距離情報から前記第1エレメント信号の基準距離を獲得し、
Reference distance = 0.01 * 2^(0.0472188798661443 *(bs_Reference_Distance + 119))
前記Reference distanceは前記第1エレメント信号の基準距離であり、前記第1エレメント信号の基準距離の単位はメートル(m)であり、
前記bs_Reference_Distanceは前記第1エレメント基準距離情報であり、
前記第1エレメント基準距離情報の値は0から127までの整数である
請求項4に記載のオーディオ信号処理装置。
【請求項6】
前記第2エレメント基準距離情報が示し得る値は0から511までの整数であり、
前記プロセッサは、
前記第2エレメント距離情報の値が0であれば、前記第2エレメント信号の距離が0であると判断し、
前記第2エレメント距離情報の値が1から511であれば、下記数式を使用して前記第2エレメント距離情報から前記第2エレメント信号の距離を獲得し、
Distance = 0.01 * 2^(0.0472188798661443 *(Position_Distance - 1))
前記Distanceは前記第2エレメント信号の距離であり、前記第2エレメント信号の距離の単位はメートル(m)であり、
前記Position_Distanceは第2エレメント距離情報である
請求項5に記載のオーディオ信号処理装置。
【請求項7】
前記プロセッサは、
前記第1エレメント基準距離情報が定義されていなければ、前記第1エレメント基準距離情報が第1エレメントデフォルト基準距離を指示するとみなし、
前記第2エレメント距離情報が定義されていなければ、前記第2エレメント距離情報が第2エレメントデフォルト距離を指示するとみなし、
前記第1エレメントデフォルト基準距離と前記第2エレメントデフォルト距離は同じ値である
請求項1に記載のオーディオ信号処理装置。
【請求項8】
前記第1エレメント基準距離情報が指示し得る最小基準距離は、0より大きい予め指定された正の数である
請求項1に記載のオーディオ信号処理装置。
【請求項9】
前記第1エレメント信号を含むオーディオ信号は前記第2エレメント信号を含み、
前記プロセッサは、
前記第1エレメント信号と前記第2エレメント信号を同時にレンダリングする
請求項1に記載のオーディオ信号処理装置。
【請求項10】
前記プロセッサは、
前記第1エレメント基準距離情報に基づいて前記第1エレメント信号がレンダリングされた音響出力のラウドネスを調整し、前記第2エレメント距離情報に基づいて前記第2エレメント信号がレンダリングされた音響出力のラウドネスを調整する
請求項9に記載のオーディオ信号処理装置。
【請求項11】
前記プロセッサは、
前記第1エレメント基準距離情報に基づいて前記第1エレメント信号にディレイを適用し、前記第2エレメント距離情報に基づいて前記第2エレメント信号にディレイを適用する
請求項9に記載のオーディオ信号処理装置。
【請求項12】
前記第1エレメント信号はチャネル信号であり、前記第2エレメント信号はオブジェクト信号である
請求項1に記載のオーディオ信号処理装置。
【請求項13】
前記第1エレメント信号はアンビソニック信号であり、前記第2エレメント信号はオブジェクト信号である
請求項1に記載のオーディオ信号処理装置。
【請求項14】
前記第1エレメント信号はチャネル信号であり、
前記オーディオ信号はアンビソニック信号を更に含み、
前記プロセッサは、
前記第1エレメント信号の基準距離に基づいて前記チャネル信号と前記アンビソニック信号をレンダリングする
請求項1に記載のオーディオ信号処理装置。
【請求項15】
前記第1エレメント信号はチャネル信号であり、
前記オーディオ信号はアンビソニック信号を更に含み、
前記メタデータは、前記チャネル信号の基準距離を指示するチャネル基準距離情報と前記アンビソニック信号の基準距離を指示するアンビソニック基準距離情報を含み、
前記プロセッサは、
前記チャネル基準距離情報に基づいて前記チャネル信号をレンダリングし、前記アンビソニック基準距離情報に基づいて前記アンビソニック信号をレンダリングする
請求項1に記載のオーディオ信号処理装置。
【請求項16】
前記プロセッサは、
前記第1エレメント基準距離情報に基づいて前記第2エレメント信号をレンダリングする
請求項1に記載のオーディオ信号処理装置。
【請求項17】
第1エレメント信号を含むオーディオ信号をエンコーディングするオーディオ信号処理装置において、
前記第1エレメント信号の基準距離を指示する第1エレメント基準距離情報を設定し、前記第1エレメント基準距離情報を含むメタデータを生成するプロセッサを含み、
前記オーディオ信号は第2エレメント信号を含み、
前記メタデータは前記第2エレメント信号の距離を指示する第2エレメント距離情報を含み、
前記第1エレメント基準距離情報の指示に使用されるビット数は、第2エレメント距離情報の指示に使用されるビット数より少なく、
前記第1エレメント基準距離情報が示す基準距離のセット(set)は、前記第2エレメント距離情報が示す距離のセット(set)のサブセット(subset)である
オーディオ信号処理装置。
【請求項18】
前記第1エレメント基準距離情報は、指数関数を使用して前記第1エレメント信号の基準距離を指示する
請求項17に記載のオーディオ信号処理装置。
【請求項19】
前記第1エレメント基準距離情報は、前記指数関数の指数の値を決定する
請求項18に記載のオーディオ信号処理装置。
【請求項20】
前記第1エレメント基準距離情報を示すために使用必要なビット数は7ビットであり、前記第2エレメント距離情報を示すために必要なビット数は9ビットである
請求項19に記載のオーディオ信号処理装置。
【請求項21】
前記プロセッサは、
前記第1エレメント基準距離情報が以下の数式によって前記第1エレメント信号の基準距離を指示するよう、前記第1エレメント基準距離情報の値を設定し、
Reference distance = 0.01 * 2^(0.0472188798661443 *(bs_Reference_Distance + 119))
前記Reference distanceは前記第1エレメント信号の基準距離であり、前記第1エレメント信号の基準距離の単位はメートル(m)であり、
前記bs_Reference_Distanceは前記第1エレメント基準距離情報であり、
前記第1エレメント基準距離情報の値は0から127までの整数である
請求項20に記載のオーディオ信号処理装置。
【請求項22】
前記第2エレメント基準距離情報が示し得る値は0から511までの整数であり、
前記プロセッサは、
前記第2エレメント信号の距離が0であれば前記第2エレメント距離情報の値を0に設定し、
前記第2エレメント信号の距離が0ではなければ、前記第2エレメント距離情報が以下の数式によって前記第2エレメント信号の距離を指示するように前記第2エレメント距離情報の値を設定し、
Distance = 0.01 * 2^(0.0472188798661443 *(Position_Distance - 1))
前記Distanceは前記第2エレメント信号の基準距離であり、前記第2エレメント信号の距離の単位はメートル(m)であり、
前記Position_Distanceは前記第2エレメント距離情報であり、
前記第2エレメント距離情報の値は1から511までの整数である
請求項21に記載のオーディオ信号処理装置。
【請求項23】
前記第1エレメント基準距離情報が定義されていなければ、前記第1エレメント基準距離情報は第1エレメントデフォルト基準距離を指示するとみなされ、
前記第2エレメント距離情報が定義されていなければ、前記第2エレメント距離情報は第2エレメントデフォルト距離を指示するとみなされ、
前記第1エレメントデフォルト基準距離と前記第2エレメントデフォルト距離は同じ値である
請求項17に記載のオーディオ信号処理装置。
【請求項24】
前記第1エレメント基準距離情報が指示し得る最小基準距離は、0より大きい予め指定された正の数である
請求項17に記載のオーディオ信号処理装置。
【請求項25】
前記第1エレメント信号はチャネル信号であり、前記第2エレメント信号はオブジェクト信号である
請求項17に記載のオーディオ信号処理装置。
【請求項26】
前記第1エレメント信号はアンビソニック信号であり、前記第2エレメント信号はオブジェクト信号である
請求項17に記載のオーディオ信号処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オーディオ信号処理方法及び装置に関する。詳しくは、本発明はメタデータを利用するオーディオ信号処理方法及び装置に関する。
【背景技術】
【0002】
3Dオーディオとは、従来のサラウンドオーディオから提供する水平面(2D)上のサウンドシーンに高さ方向に当たる他の軸を提供することで、3次元空間上において臨場感のあるサウンドを提供するための一連の信号処理、伝送、符号化、及び再生技術などを通称する。特に、3Dオーディオを提供するためには、従来より多数のスピーカを使用するか、或いは少数のスピーカを使用してもスピーカが存在しない仮想の位置において音像が結ばれるようにするレンダリング技術が要求される。
【0003】
3Dオーディオは超高解像度TV(UHDTV)に対応するオーディオソリューションになると予想されるが、高品質インフォーテインメント空間と進化しつつある車両におけるサウンドをはじめ、その他に劇場サウンド、個人用3DTV、タブレット、無線通信端末、及びクラウドゲームなど、多様な分野で応用されると予想される。
【0004】
一方、3Dオーディオに提供される音源の形態としては、チャネル基盤の信号とオブジェクト基盤の信号が存在する。これだけでなく、チャネル基盤の信号とオブジェクト基盤の信号が混合された形態の音源が存在してもよく、これを介してユーザに新たな形態のコンテンツ経験を提供することができる。
【0005】
バイノーラルレンダリングは、このような3Dオーディオを人の両耳に伝達される信号にモデリングすることである。ユーザは、ヘッドホンやイヤホンなどを介したバイノーラルレンダリングされた2チャネルオーディオ出力信号を介しても立体感を感じることができる。バイノーラルレンダリングの具体的な原理は以下のようである。人は常に両耳を介して音を聞き、音を介して音源の位置と方向を認識する。よって、3Dオーディオを人の両耳に伝達されるオーディオ信号の形態にモデリングすることができれば、多数のスピーカがなくても、2チャネルオーディオ出力を介しても3Dオーディオの立体感を再現することができる。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の一実施例は、メタデータを利用するオーディオ信号処理方法及び装置を提供することを目的とする。
詳しくは、本発明の一実施例は、メタデータを利用してオブジェクト信号、チャネル信号、またはアンビソニック信号をレンダリングするオーディオ信号処理方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の実施例によって第1エレメント信号を含むオーディオ信号をレンダリングするオーディオ信号処理装置は、前記オーディオ信号と第1エレメント基準距離情報を含むメタデータを獲得し、前記第1エレメント基準距離情報は前記第1エレメント信号の基準距離を指示し、前記第1エレメント基準距離情報に基づいて前記第1エレメント信号をレンダリングするプロセッサを含む。前記オーディオ信号は、前記第1エレメント信号と同時にレンダリングされる第2エレメント信号を含む。前記メタデータは、前記第2エレメント信号の距離を指示する第2エレメント距離情報を含む。前記第1エレメント基準距離情報を示すために必要なビット数は、前記第2エレメント距離情報を示すために必要なビット数より少ない。前記第1エレメント基準距離情報が示す基準距離のセット(set)は、前記第2エレメント距離情報が示す距離のセット(set)のサブセット(subset)である。
【0008】
前記第1エレメント基準距離情報は、指数関数を使用して前記第1エレメント信号の基準距離を指示する。
【0009】
前記第1エレメント基準距離情報は、前記指数関数の指数の値を決定する。
【0010】
前記第1エレメント基準距離情報を示すために使用されるビット数は7ビットであり、前記第2エレメント距離情報を示すために使用されるビット数は9ビットである。
【0011】
前記プロセッサは、下記数式を使用して前記第1エレメント基準距離情報から前記第1エレメント信号の基準距離を獲得する。
【0012】
Reference distance = 0.01 * 2^(0.0472188798661443 *(bs_Reference_Distance + 119))
【0013】
前記Reference distanceは前記第1エレメント信号の基準距離であり、前記第1エレメント信号の基準距離の単位はメートル(m)であり、
前記bs_Reference_Distanceは前記第1エレメント基準距離情報であり、
前記第1エレメント基準距離情報の値は0から127までの整数である。
【0014】
前記第2エレメント基準距離情報が示し得る値は0から511までの整数である。前記プロセッサは、前記第2エレメント距離情報の値が0であれば前記第2エレメント信号の距離が0であると判断し、前記第2エレメント距離情報の値が1から511であれば、下記数式を使用して前記第2エレメント距離情報から前記第2エレメント信号の距離を獲得する。
【0015】
Distance = 0.01 * 2^(0.0472188798661443 *(Position_Distance - 1))
【0016】
前記Distanceは前記第2エレメント信号の距離であり、前記第2エレメント信号の距離の単位はメートル(m)であり、前記Position_Distanceは第2エレメント距離情報である。
【0017】
前記プロセッサは、前記第1エレメント基準距離情報が定義されていなければ、前記第1エレメント基準距離情報が第1エレメントデフォルト基準距離を指示するとみなし、前記第2エレメント距離情報が定義されていなければ、前記第2エレメント距離情報が第2エレメントデフォルト距離を指示するとみなす。前記第1エレメントデフォルト基準距離と前記第2エレメントデフォルト距離は同じ値である。
【0018】
前記第1エレメント基準距離情報が指示し得る最小基準距離は、0より大きい予め指定された正の数である。
【0019】
前記第1エレメント信号を含むオーディオ信号は前記第2エレメント信号を含み、前記プロセッサは前記第1エレメント信号と前記第2エレメント信号を同時にレンダリングする。この際、前記プロセッサは、前記第1エレメント基準距離情報に基づいて前記第1エレメント信号がレンダリングされた音響出力のラウドネスを調整し、前記第2エレメント距離情報に基づいて前記第2エレメント信号がレンダリングされた音響出力のラウドネスを調整する。また、前記プロセッサは、前記第1エレメント基準距離情報に基づいて前記第1エレメント信号にディレイを適用し、前記第2エレメント距離情報に基づいて前記第2エレメント信号にディレイを適用する。
【0020】
前記第1エレメント信号はチャネル信号であり、前記第2エレメント信号はオブジェクト信号である。
【0021】
前記第1エレメント信号はアンビソニック信号であり、前記第2エレメント信号はオブジェクト信号である。
【0022】
前記第1エレメント信号はチャネル信号であり、前記オーディオ信号はアンビソニック信号を更に含む。前記プロセッサは、前記第1エレメント信号の基準距離に基づいて前記アンビソニック信号をレンダリングする。
【0023】
前記第1エレメント信号はチャネル信号であり、前記オーディオ信号はアンビソニック信号を更に含む。前記第1エレメント基準距離情報はチャネル基準距離情報であり、前記メタデータはアンビソニック信号の基準距離を指示するアンビソニック基準距離情報を含む。前記プロセッサはチャネル基準距離情報に基づいて前記チャネル信号をレンダリングし、アンビソニック基準距離情報に基づいて前記アンビソニック信号をレンダリングする。
【0024】
前記プロセッサは、前記第1エレメント基準距離情報に基づいて前記第2エレメント信号をレンダリングする。
【0025】
本発明の一実施例による第1エレメント信号を含むオーディオ信号をエンコーディングするオーディオ信号処理装置は、前記第1エレメント信号の基準距離を指示する第1エレメント基準距離情報を設定し、前記第1エレメント基準距離情報を含むメタデータを生成するプロセッサを含む。
【0026】
前記オーディオ信号は前記第2エレメント信号を含み、前記メタデータは前記第2エレメント信号の距離を指示する第2エレメント距離情報を含む。
【0027】
前記第1エレメント基準距離情報の指示に使用されるビット数は、第2エレメント距離情報の指示に使用されるビット数より少ない。前記第1エレメント基準距離情報が示す基準距離のセット(set)は、前記第2エレメント距離情報が示す距離のセット(set)のサブセット(subset)である。
【0028】
前記第1エレメント基準距離情報は、指数関数を使用して前記第1エレメント信号の基準距離を指示する。
【0029】
前記第1エレメント基準距離情報は、前記指数関数の指数の値を決定する。
【0030】
前記第1エレメント基準距離情報を示すために必要なビット数は7ビットであり、前記第2エレメント距離情報を示すために必要なビット数は9ビットである。
【0031】
前記プロセッサは、前記第1エレメント基準距離情報が以下の数式によって前記第1エレメント信号の基準距離を指示するよう、前記第1エレメント基準距離情報の値を設定する。
【0032】
Reference distance = 0.01 * 2^(0.0472188798661443 *(bs_Reference_Distance + 119))
【0033】
前記Reference distanceは前記第1エレメント信号の基準距離であり、前記第1エレメント信号の基準距離の単位はメートル(m)であり、前記bs_Reference_Distanceは前記第1エレメント基準距離情報であり、前記第1エレメント基準距離情報の値は0から127までの整数である。
【0034】
前記第2エレメント基準距離情報が示し得る値は0から511までの整数である。前記プロセッサは、前記第2エレメント信号の距離が0であれば前記第2エレメント距離情報の値を0に設定し、前記第2エレメント信号の距離が0ではなければ、前記第2エレメント距離情報が以下の数式によって前記第2エレメント信号の距離を指示するように前記第2エレメント距離情報の値を設定する。
【0035】
Distance = 0.01 * 2^(0.0472188798661443 *(Position_Distance - 1))
【0036】
前記Distanceは前記第2エレメント信号の基準距離であり、前記第2エレメント信号の距離の単位はメートル(m)であり、前記Position_Distanceは前記第2エレメント距離情報であり、前記第2エレメント距離情報の値は1から511までの整数である。
【0037】
前記第1エレメント基準距離情報が定義されていなければ、前記第1エレメント基準距離情報は第1エレメントデフォルト基準距離を指示するとみなされ、前記第2エレメント距離情報が定義されていなければ、前記第2エレメント距離情報は第2エレメントデフォルト距離を指示するとみなされる。前記第1エレメントデフォルト基準距離と前記第2エレメントデフォルト距離は同じ値である。
【0038】
前記第1エレメント基準距離情報が指示し得る最小基準距離は、0より大きい予め指定された正の数である。
【0039】
前記第1エレメント信号はチャネル信号であり、前記第2エレメント信号はオブジェクト信号である。
【0040】
前記第1エレメント信号はアンビソニック信号であり、前記第2エレメント信号はオブジェクト信号である。
【発明の効果】
【0041】
本発明の一実施例は、メタデータを利用するオーディオ信号処理方法及び装置を提供する。
詳しくは、本発明の一実施例は、メタデータを利用してオブジェクト信号、チャネル信号、またはアンビソニック信号をレンダリングするオーディオ信号処理方法及び装置を提供する。
【図面の簡単な説明】
【0042】
【
図1】本発明の一実施例によってオーディオ信号をエンコーディングするオーディオ信号処理装置を示すブロック図である。
【
図2】本発明の一実施例によるオーディオ信号をデコーディングするオーディオ信号処理装置を示すブロック図である。
【
図3】本発明の一実施例によるレンダラが使用するメタデータを示す図である。
【
図4】本発明の他の実施例によるレンダラが使用するメタデータコンフィグレーションのシンタックスを示す図である。
【
図5】本発明の実施例によるイントラコーディングメタデータフレーム(intracodedProdMetadataFrame)のシンタックスを示す図である。
【
図6】本発明の実施例によるダイナミックメタデータフレーム(dynamicProdMetadataFrame)とシングルダイナミックメタデータフレーム(singleDynamicProdMetadataFrame)のシンタックスを示す図である。
【
図7】本発明の一実施例によってMPEG-H 3D Audio標準に従って定義されていない外部レンダラが使用するオブジェクト信号のメタデータであるGOAメタデータ、チャネル信号のメタデータであるGCAメタデータ、及びアンビソニック信号のメタデータであるGHAメタデータを示す図である。
【
図8】本発明の実施例によるメタデータのチャネル基準距離情報の値、オブジェクト距離情報の値、及びチャネル信号の基準距離の間の関係を示す図である。
【
図9】本発明の他の実施例によってメタデータ関連設定を指示するメタデータコンフィグレーション(configuration)のシンタックスを示す図である。
【
図10】本発明の他の実施例によるイントラコーディングメタデータフレーム(intracodedProdMetadataFrame)のシンタックスを示す図である。
【
図11】本発明の実施例によるシングルダイナミックメタデータフレーム(singleDynamicProdMetadataFrame)のシンタックスを示す図である。
【
図12】本発明の他の実施例によってMPEG-H 3D Audio標準に従って定義されていない外部レンダラが使用するオブジェクト信号のメタデータであるGOAメタデータ、チャネル信号のメタデータであるGCAメタデータ、及びアンビソニック信号のメタデータであるGHAメタデータを示す図である。
【
図13】本発明の実施例によって第1エレメント信号を含むオーディオ信号をエンコーディングするオーディオ信号処理装置がメタデータを生成する動作を示す図である。
【
図14】本発明の実施例によって第1エレメント信号を含むオーディオ信号をレンダリングするオーディオ信号処理装置が第1エレメント信号をレンダリングする動作を示す図である。
【発明を実施するための形態】
【0043】
以下、添付した図面を参照し本発明の実施例について本発明が属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本発明は様々な異なる形態に具現されてもよく、ここで説明する実施例に限らない。そして、図面において、本発明を明確に説明するために説明とは関係のない部分は省略しており、明細書全体にわたって類似した部分に対しては類似した図面符号をつけている。
【0044】
また、ある部分がある構成要素を「含む」という際、これは特に反対する記載がない限り、他の構成要素を除くのではなく、他の構成要素を更に含むことを意味する。
【0045】
図1は、本発明の一実施例によるオーディオ信号をエンコーディングするオーディオ信号処理装置を示すブロック図である。
【0046】
本発明の一実施例によってオーディオ信号をエンコーディングするオーディオ信号処理装置は、チャネル、アンビソニックス(HOA)、及びオブジェクト信号のうち少なくとも一つをエンコーディングする。プレレンダラ/ミキサ10は、チャネル信号、アンビソニック信号、及びオブジェクト信号のうち少なくもいずれか一つを受信してミキシングする。プレレンダリングが必要であれば、プレレンダラ/ミキサ10は、チャネル信号、アンビソニック信号、及びオブジェクト信号のうち少なくもいずれか一つをプレレンダリングする。
【0047】
HOA空間エンコーダ30は、アンビソニック信号とプレレンダリングされたオブジェクト信号を合成し、プレレンダリングされたオブジェクト信号を伝送するためのアンビソニックスチャネル信号と、アンビソニックスチャネル信号に関するメタデータに変換する。
【0048】
SAOC 3Dエンコーダ40は、個別オブジェクト信号を伝送するためのSAOCチャネルの形態とSAOCチャネルに関するメタデータに変換する。
【0049】
オーディオ信号を制作する際に使用された再生システムがスピーカレイアウトで構成されるか、またはオーディオ信号が再生される再生システムが仮想のスピーカレイアウトを介したバイノーラルレンダリングで再生される2チャネル再生システムであれば、オーディオ信号処理装置は該当スピーカレイアウトの位置情報を再生レイアウト(Reproduction Layout)で受信する。スピーカレイアウトの位置のうち、スピーカレイアウトのスイートスポットの聴取者からスピーカまでの距離は、該当レイアウトの基準距離(Reference Distance)にエンコーディングされる。OAMエンコーダ20は、ビットストリームのメタデータに基準距離をエンコーディングする。また、オブジェクトからスイートスポットの聴取者までの距離はオブジェクト距離と入力される。SAOC 3Dエンコーダ40は、オブジェクト距離をメタデータでエンコーディングする。他の実施例において、オブジェクト距離(Object Distance)は個別にエンコーダ80に伝達され、エンコーダ80はオブジェクト距離をビットストリームのメタデータでエンコーディングする。
【0050】
図2は、本発明の一実施例によるオーディオ信号をデコーディングするオーディオ信号処理装置を示すブロック図である。
【0051】
本発明の一実施例によるオーディオ信号デコーダは、コアデコーダ110、ミキサ130、及びポストプロセッサ140を含む。コアデコーダ110は、スピーカ(loudspeaker)チャネル信号、個別(discrete)オブジェクト信号、オブジェクトダウンミックス信号、及び予め-レンダリングされた(prerendered)信号のうち少なくとも一つをデコーディングする。コアデコーダ110は、USAC(Unified Speech and Audio Coding)基盤のコーデックを使用する。コアデコーダ110は、コアデコーダ110が受信しビットストリームをデコードし、デコードされた信号をデコードされた信号のタイプに応じてフォーマットコンバータ122、オブジェクトレンダラ124、OAMデコーダ125、SAOCデコーダ126、及びHOAデコーダ128のうち少なくともいずれも一つに伝達する。
【0052】
フォーマットコンバータ122は、伝送されたチャネル信号を出力スピーカチャネル信号に変換する。フォーマットコンバータ122は、伝送されたチャネル構成(configuration)を再生されるスピーカチャネル構成に変換する。出力スピーカチャネルの個数(例えば、5.1チャネル)が伝送されたチャネルの個数(例えば、22.2チャネル)より少ないか伝送されたチャネル構成と再生されるチャネル構成が異なれば、フォーマットコンバータ122は伝送されたチャネル信号に対するダウンミックスを行う。デコーダは入力チャネル信号と出力スピーカチャネル信号との間の組み合わせを利用して最適のダウンミックスマトリックスを生成し、生成されたマトリックスを利用してダウンミックスを行う。フォーマットコンバータ122が処理するチャネル信号は、予め-レンダリングされたオブジェクト信号を含む。オーディオ信号をエンコーディングする前に、少なくとも一つのオブジェクト信号が予め-レンダリングされてチャネル信号のミックス(mix)される。フォーマットコンバータ122は、このようにミックスされたオブジェクト信号をチャネル信号と共に出力スピーカチャネル信号に変換する。
【0053】
オブジェクトレンダラ124及びSAOCデコーダ126は、オブジェクト信号をレンダリングする。オブジェクト信号は、個別オブジェクトウェーブフォームとパラメトリックオブジェクトウェーブフォームを含む。オブジェクト信号がオブジェクトウェーブフォームを含めば、エンコーダはモノフォニック(monophonic)ウェーブフォーム形態のオブジェクト信号を受信する。この際、エンコーダは単一チャネルエレメント(Single Channel Elements、SCEs)を利用してオブジェクト信号を伝送する。オブジェクト信号がパラメトリックオブジェクトウェーブフォームを含めば、複数のオブジェクト信号は少なくとも一つチャネル信号にダウンミックスされる。この際、各オブジェクトの特徴とオブジェクト間の関係がSAOC(Single Audio Object Coding)パラメータで表現される。オブジェクト信号はダウンミックスされてコアコーデックでエンコーディングされ、エンコーダはエンコーディングの際に共に生成されるパラメトリック情報をデコーダに伝送する。
【0054】
オブジェクト信号がデコーダに伝送される際、オブジェクト信号に対応する圧縮されたオブジェクトメタデータが共に伝送される。オブジェクトメタデータは、オブジェクト属性を時間と空間単位に量子化し、3次元空間における各オブジェクトの位置及びゲイン値を指示する。OAMデコーダ125は圧縮されたオブジェクトメタデータを受信し、圧縮されたオブジェクトメタデータをデコードしてオブジェクトレンダラ124及びSAOCデコーダ126のうち少なくともいずれか一つに伝達する。
【0055】
オブジェクトレンダラ124は、オブジェクトメタデータを利用して各オブジェクト信号を与えられた再生フォーマットに応じてレンダリングする。この際、オブジェクトレンダラ124は、オブジェクトメタデータに基づいてオブジェクト信号を特定出力チャネルにレンダリングする。SAOCデコーダ126は、デコードされたSAOC伝送チャネルとパラメトリック情報からオブジェクト信号及びチャネル信号のうち少なくともいずれか一つを復元する。SAOCデコーダ126は、再生レイアウト情報とオブジェクトメタデータに基づいて出力オーディオ信号を生成する。このように、オブジェクトレンダラ124及びSAOCデコーダ126は、オブジェクト信号をチャネル信号にレンダリングする。
【0056】
HOAデコーダ128はHOA(Higher Order Ambisonics)信号及びHOA付加情報を受信し、HOA信号及びHOA付加情報をデコードする。HOAデコーダ128は、チャネル信号やオブジェクト信号を別途の数式にモデリングシテサウンドシーン(sound scene)を生成する。生成されたサウンドシーンでスピーカがある空間上の位置を選択すると、スピーカチャネル信号でレンダリングが行われる。
【0057】
図2には示していないが、コアデコーダ110から出力された信号に対し、前処理過程としてダイナミックレンジ制御(Dynamic Range Control、DRC)が行われる。DRCは再生されるオーディオ信号のダイナミックレンジを一定レベルに制限することであって、DRCが適用された信号は予め設定された範囲より小さい音はより大きく、予め設定された範囲より大きい音はより小さく調整される。
【0058】
フォーマットコンバータ122、オブジェクトレンダラ124、OAMデコーダ125、SAOCデコーダ126、及びHOAデコーダ128から出力されたオーディオ信号はミキサ130に伝達される。ミキサ130はチャネル基盤のウェーブフォームとレンダリングされたオブジェクトウェーブフォームのディレイ(delay)を調整し、チャネル基板のウェーブフォームとレンダリングされたオブジェクトウェーブフォームをサンプル単位で合算する。ミキサ130によって合算されたオーディオ信号は、ポストプロセッシングユニット140に伝達される。
【0059】
ポストプロセッシングユニット140はレンダラ150を含む。レンダラ150は、スピーカレンダラ151とバイノーラルレンダラ153のうち少なくともいずれか一つを含む。スピーカレンダラ151は、ミキサ130から伝達されたマルチチャネル及びマルチオブジェクトオーディオ信号のうち少なくともいずれか一つを出力するためのポストプロセッシングを伝達する。このようなポストプロセッシングは、ダイナミックレンジ制御(DRC)、ラウドネス正規化(Loudness Normalization、LN)、及びピーク制限(Peak Limiter、PL)のうち少なくともいずれか一つを含む。
【0060】
バイノーラルレンダラ153は、マルチチャネル及びマルチオブジェクトオーディオ信号のうち少なくともいずれか一つのバイノーラルダウンミックス信号を生成する。バイノーラルダウンミックス信号は、各入力チャネル信号及びオブジェクト信号が3次元上に位置する仮想の音源によって表現されるようにする2チャネルのオーディオ信号である。バイノーラルレンダラ153は、スピーカレンダラ151に供給されるオーディオ信号を入力信号として受信する。バイノーラルレンダリングはBRIR(Binaural Room Impulse Response)フィルタに基づいて行われ、時間ドメインまたはQMFドメイン上で行われる。ポストプロセッサ140は、バイノーラルレンダリングのポストプロセッシングとして上述したダイナミックレンジ制御(DRC)、ラウドネス正規化(LN)、及びピーク制限(PL)のうち少なくともいずれか一つを更に行う。
【0061】
チャネル信号、オブジェクト信号、及びアンビソニック信号を含むコンテンツがレンダリングされれば、レンダラは各エレメント間のラウドネス(loudness)及び距離に対する相対的なバランスを維持しながらレンダリングする必要がある。特に、エレメントメタデータは、再生レイアウトの基準距離(reference distance)を指示する情報を含む。オーディオ信号の各エレメント信号の基準距離は、オーディオ信号が表現する仮想空間で聴者がスイートスポットに位置する際に各エレメント信号をレンダリングするために必要な仮想スピーカレイアウトの円周と聴者との間の距離、つまり、半径を示す。オブジェクト信号の距離、つまり、オブジェクト距離は、オブジェクト信号を含むオーディオ信号が表現する仮想空間で聴者がスイートスポットに位置する際の聴者の頭の中心からシミュレーションされて再生されるオブジェクトまでの距離を示す。また、チャネル信号の基準距離は、聴者の頭の中心からチャネル信号を含むオーディオ信号を制作する際に使用されたスピーカレイアウトまでの距離で示される。また、アンビソニック信号の基準距離は、アンビソニック信号を含むオーディオ信号が表現する仮想空間で聴者がスイートスポットに位置する際、聴者の頭の中心からアンビソニック信号を再生するためにデコーディングされた実際または仮想のスピーカレイアウトまでの距離を示す。説明の便宜上、オブジェクト信号の距離、つまり、オブジェクト距離(object distance)を指示する情報をオブジェクト距離情報と称する。レンダラがオブジェクト距離情報を使用しても、チャネル信号またはアンビソニック信号をレンダリングする際に使用される基準距離を決定する方法が定義されていなければ、以下のような問題が発生する恐れがある。例えば、オブジェクトをバイノーラルレンダリングするに当たって、オブジェクト信号を仮想のスピーカチャネル信号でレンダリングした後、チャネル信号バイノーラル信号に更にレンダリングして最終バイノーラル信号を再生する場合、最終再生システムで使用される仮想のスピーカレイアウトの変化によって創作者の意図通りオブジェクト信号とノン-ダイエジェティック(non-diegetic)チャネル信号との間のボリュームバランスが維持されなくなる可能性がある。この際、ノン-ダイエジェティックオーディオ信号は、聴取者を基準に固定されたオーディオシーン(audio scene)を構成する信号である。仮想の空間で聴取者の動きとは関係なくノン-ダイエジェティックオーディオ信号に対応して出力される音響の方向性は変化しない可能性がある。また、聴取者が認知するチャネル信号またはアンビソニック信号がシミュレーションする音相とオブジェクトの相対的な距離が創作者の意図とは異なる可能性がある。また、レンダラが距離基盤(dependent)アンビソニックレンダリングを行う際、レンダラは創作者が意図した距離に比べアンビソニック信号を不足に補償(undercompensate)するか過度に補償(overcompensate)する可能性がある。
【0062】
よって、チャネル信号及びアンビソニック信号それぞれの基準距離に対する情報が提供される必要がある。また、レンダラはチャネル信号の基準距離に対する情報に基づいてチャネル信号をレンダリングする必要がある。また、レンダラはアンビソニック信号の基準距離に対する情報に基づいてアンビソニック信号をレンダリングする必要がある。詳しくは、レンダラは、エレメント信号の基準距離に対する情報に基づいてエレメント信号がレンダリングされた音響出力のラウドネスを調整する必要がある。また、レンダラがエレメント信号をレンダリングする際、レンダラはエレメント信号の基準距離に対する情報に基づいてディレイを適用する必要がある。説明の便宜上、チャネル信号の基準距離に対する情報をチャネル基準距離情報と称する。また、アンビソニック信号の基準距離に対する情報をアンビソニック基準距離情報と称する。チャネル基準距離情報及びアンビソニック基準距離情報を設定し使用する方法については、
図3乃至
図14を介して説明する。また、本明細書ではISO/IECのMPEG-H 3D Audio標準を例に挙げて本発明の実施例を説明する。但し、本発明の実施例はISO/IECのMPEG-H 3D Audio標準に限らない。
【0063】
まず、基準距離に対する情報を含むメタデータのシンタックスに対する実施例を説明する。
【0064】
図3は、本発明の一実施例によるレンダラが使用するメタデータを示す図である。詳しくは、
図3(a)は本発明の一実施例によってメタデータ関連設定を指示するメタデータコンフィグレーション(configuration)のシンタックスを示す。
図3(b)は、本発明の一実施例によってメタデータ関連設定によってフレームごとにメタデータを指示するメタデータフレームのシンタックスを示す。
図3(c)は、一実施例によってMPEG-H 3D Audio標準によって定義されていない外部レンダラにオブジェクト信号のメタデータを伝達するインタフェースとして定義されたGOAメタデータを示す。
【0065】
レンダラは、チャネル基準距離情報が定義されていないチャネル信号にチャネル信号の基準距離のデフォルト値を適用する。説明の便宜上、チャネル信号の基準距離のデフォルト値をチャネルデフォルト基準距離と称する。ビットストリームがチャネル信号の基準距離を定義しなければ、レンダラはチャネルデフォルト基準距離をチャネル信号の基準距離とみなす。メタデータコンフィグレーションは、メタデータフレームでチャネル基準距離情報(reference_distance)がチャネルデフォルト基準距離以外に他の値を有するのかを示す基準距離フラッグ(has_reference_distance)を含む。基準距離フラッグが活性化されなければ、チャネル基準距離情報(bs_reference_distance)の値を予め指定された値に設定する。これについては後に再度説明する。
【0066】
レンダラは、オブジェクト距離情報が定義されていないオブジェクト信号、例えば、方向(azimuth)と高さ(elevation)のみを有するオブジェクト信号にデフォルト距離値を適用する。説明の便宜上、オブジェクト信号のデフォルト距離値はのオブジェクトデフォルト距離と称する。オブジェクト信号がエンコーディングされたビットストリームがオブジェクト信号の距離を定義しなければ、レンダラはオブジェクトデフォルト距離をオブジェクト信号の距離とみなす。メタデータコンフィグレーションは、メタデータフレームでオブジェクト距離情報(object_distance)がオブジェクトデフォルト距離ではない値を指示するのかを示すオブジェクト距離フラッグ(has_object_distance)を含む。オブジェクト距離フラッグは、オブジェクト信号グループごとにオブジェクト距離情報がオブジェクトデフォルト距離以外に他の値を指示するのかを指示する。また、メタデータコンフィグレーションは、バイノーラルレンダリングが行われれば、該当チャネル信号グループが直接(directly)ヘットフォンに出力されるのかを指示するフラッグ(directHeadphone)を含む。
【0067】
メタデータフレームは、チャネル基準距離情報(reference_distance)を含む。詳しくは、基準距離フラッグ(has_reference_distance)が活性化されていれば、メタデータフレームのチャネル基準距離情報(reference_distance)はチャネルデフォルト基準距離以外の値を指示する。チャネル基準距離情報(reference_distance)は6ビットで指示される。また、オブジェクト距離フラッグ(has_object_distance)が活性化されていれば、メタデータフレームは現在フレームがイントラコーディングされた(intracoded)データを含むのかを示すイントラコーディングフラッグ(has_intracoded_data)を含む。メタデータフレームに当たるフレームがイントラコーディングされているのかによって、メタデータフレームはイントラコーディングメタデータフレーム(intracodedMetadataFrame)またはダイナミックメタデータフレーム(dynamicProdMetadataFrame)を含む。
【0068】
GOAメタデータは、GOAメタデータのチャネル基準距離情報(goa_bsReferenceDistance)がチャネルデフォルト基準距離以外に他の値を指示するのかを示すGOA基準距離フラッグ(goa_hasReferenceDistance)を含む。GOA基準距離フラッグが活性化されていれば、GOAメタデータのチャネル基準距離情報はチャネルデフォルト基準距離以外の値を指示する。チャネル基準距離情報は6ビットで指示される。GOAメタデータは、GOAメタデータのオブジェクト距離情報(goa_bsObjectDistance)がオブジェクトデフォルト基準距離以外に他の値を指示するのかを示すオブジェクト距離フラッグ(goa_hasObjectDistance)を含む。この際、GOAメタデータはオブジェクト信号グループごとにGOAメタデータがオブジェクト距離情報(goa_bsObjectDistance)がオブジェクトデフォルト距離のデフォルト値以外に他の値を指示するのかを示す。GOAオブジェクト距離フラッグ(goa_has_ObjectDistance)が活性化されていれば、GOAメタデータのオブジェクト距離情報(goa_bsObjectDistance)はオブジェクトデフォルト距離以外に他の値を指示する。この際、オブジェクト距離情報(goa_bsObjectDistance)は8ビットで指示される。
【0069】
上述したシンタックスでのように、メタデータで基準距離に関する情報を指示するために割り当てられるビット数は制限的である。制限されたビット数が使用されるため、基準距離に対する情報の量子化レベル間の差が過度に大きければ、レンダラは距離の変化がレンダリングに及ぼす影響をうまく反映できない恐れがある。また、基準距離に関する情報の量子化レベル間の差が過度に小さければ、基準距離に対する情報を指示するフィールドの伝送及び格納の負担が大きくなる恐れがある。よって、基準距離に対する情報を示すための適切な量子化方法が必要である。
【0070】
メタデータは指数関数を使用してチャネル基準距離を指示する。詳しくは、チャネル基準距離情報は該当指数関数の指数の値を決定する。このような実施例において、チャネル基準距離情報の値が大きくなるにつれ、チャネル基準距離情報が示す距離も指数関数に応じて増加する。よって、レンダラは距離に応じて減殺される音の大きさを均等にレンダリングすることができる。
【0071】
上述したメタデータでのように、チャネル基準距離情報を指示するフィールドのビット数はオブジェクト距離情報を指示するフィールドのビット数より少ない。スピーカの位置をシミュレーションするチャネル信号よりリアルタイムで変化し得るオブジェクトの位置をシミュレーションするオブジェクト信号の距離表現が精密な必要があるためである。チャネル基準距離情報が示す基準距離値のセット(set)は、オブジェクト距離情報が示すオブジェクト距離値のセット(set)のサブセット(subset)である。これを介し、チャネル信号とオブジェクト信号が共にレンダリング可能な場合、レンダラはチャネル信号とオブジェクト信号のうち少なくともいずれか一つを効率的にレンダリングする。
【0072】
チャネル基準距離情報が指示し得る最小距離は、0より大きい予め指定された正の数である。この際、最小距離は450mmである。基準距離が一定大きさ以下であれば、基準距離の変化がレンダリングに及ぼす影響が微々たるものであるためである。このような実施例を介し、チャネル基準情報が示すために必要なビット数を減らすことができる。
【0073】
また、レンダラは、チャネル基準距離情報が定義されていないチャネル信号にチャネルデフォルト基準距離を適用する。チャネル信号がエンコーディングされたビットストリームがチャネル信号の基準距離を定義しなければ、レンダラはチャネルデフォルト基準距離をチャネル信号の基準距離とみなす。この際、チャネルデフォルト基準距離は予め指定された値である。予め指定された値は1008mmである。
【0074】
具体的な実施例において、チャネル基準距離情報は下記数式によってチャネル信号の基準距離を指示する。
【0075】
Reference distance = distanceOffset + [10^(0.03225380 * (reference_distance + 82)) -1]
【0076】
この際、Reference distanceはチャネル信号の基準距離であり、基準距離の単位はミリメートル(mm)である。また、distanceOffsetはチャネル信号の基準距離のオフセット値を示す。詳しくは、distanceOffsetの値は10mmである。また、reference_distanceはチャネル基準距離情報の値を示す。チャネル基準距離情報は、最小450mmから最大47521mmに当たる距離を指示する。
【0077】
詳しくは、上述したメタデータフレームのチャネル基準情報(bs_reference_distance)は以下の表によってチャネル信号の基準距離を指示する。
【0078】
【0079】
また、上述したGOAメタデータのチャネル基準情報(goa_bsReferenceDistance)は以下の表によってチャネル信号の基準距離を指示する。
【0080】
【0081】
図4は、本発明の他の実施例によるレンダラが使用するメタデータコンフィグレーションのシンタックスを示す図である。また、
図5は本発明の実施例によるイントラコーディングメタデータフレーム(intracodedProdMetadataFrame)のシンタックスを示す図である。
図6は、本発明の実施例によるダイナミックメタデータフレーム(dynamicProdMetadataFrame)とシングルダイナミックメタデータフレーム(singleDynamicProdMetadataFrame)のシンタックスを示す図である。
【0082】
チャネルデフォルト基準距離は、チャネル信号と共に再生されるエレメント信号の基準距離のデフォルト値と同じ値に設定される。詳しくは、チャネルデフォルト基準距離はオブジェクトデフォルト距離と同じ値に設定される。詳しくは、チャネルデフォルト基準距離はアンビソニック信号の基準距離のデフォルト値と同じく設定される。また、チャネル基準距離情報の値が特定値であれば、チャネル基準距離情報はチャネル信号の基準距離のデフォルト値を指示する。チャネル基準距離情報がチャネルデフォルト基準距離を指示すれば、チャネル基準距離情報は、チャネル基準距離を指示するために使用する指数関数を使用せずに予め指定された値を指示する。詳しくは、チャネル基準距離情報はチャネル基準距離情報の値が0から62までであれば、以下の数式を利用してチャネル信号の基準距離を指示する。
【0083】
Reference distance = distanceOffset + [10^(0.03225380 * (bs_reference_distance + 83)) -1]
【0084】
この際、Reference distanceはチャネル信号の基準距離であり、基準距離の単位はミリメートル(mm)である。また、distanceOffsetはチャネル信号の基準距離のオフセット値を示す。詳しくは、distanceOffsetの値は10mmである。また、bs_reference_distanceはチャネル基準距離情報の値を示す。チャネル基準距離情報は、最小484mmから最大51184mmに当たる距離を指示する。
【0085】
また、チャネル基準距離情報の値が63であれば、チャネル基準距離情報はチャネル信号の基準距離のデフォルト基準値であることを示す。チャネルデフォルト基準値は2^(5/3)m(つまり、3714.8mm)であることを指示する。
メタデータフレームのチャネル基準情報(bs_reference_distance)は以下の表によってチャネル信号の基準距離を指示する。
【0086】
【0087】
図4の実施例において、基準距離フラッグ(has_reference_distance)が活性化されていなければ、基準距離情報(bs_reference_distance)の値はデフォルト基準距離を指示する予め指定された値に設定される。この際、予め指定された値は63である。
図4のメタデータコンフィグレーションのシンタックスのうち残りは
図3で説明した通りである。
【0088】
上述したように、メタデータフレームに当たるフレームがイントラコーディングされれば、メタデータフレームはイントラコーディングメタデータフレーム(intracodedProdMetadataFrame)を含む。
図5は、具体的な実施例によるイントラコーディングメタデータフレーム(intracodedProdMetadataFrame)のシンタックスを示す。
【0089】
イントラコーディングメタデータフレーム(intracodedProdMetadataFrame)は、全てのオブジェクト信号の距離が固定された値であるかを指示する固定距離フラッグ(fixed_distance)を含む。また、イントラコーディングメタデータフレーム(intracodedProdMetadataFrame)は、全てのオブジェクトに共通のオブジェクト距離が使用されるのかを指示する共通距離(common_distance)フラッグを含む。固定距離フラッグまたは共通距離フラッグが活性化されていれば、レンダラはオブジェクト信号の距離のデフォルト値を使用して全てのオブジェクト信号をレンダリングする。固定距離フラッグまたは共通距離フラッグが活性化されていなければ、レンダラは各オブジェクト信号の距離(position_distance)に基づいて各オブジェクト信号をレンダリングする。
【0090】
また、ダイナミックメタデータフレーム(dynamicProdMetadataFrame)は、シングルダイナミックメタデータフレーム(singleDynamicProdMetadataFrame)を介してオブジェクト信号の基準距離を指示する。
図6(a)は、具体的な実施例によるダイナミックメタデータフレーム(dynamicProdMetadataFrame)のシンタックスを示す。
図6(b)は、具体的な実施例によるシングルダイナミックメタデータフレーム(singleDynamicProdMetadataFrame)のシンタックスを示す。
【0091】
シングルダイナミックメタデータフレームにおいて、オブジェクト信号の距離(position_distance)は絶対値で伝送されるか差等的に伝送される。シングルダイナミックメタデータフレームは、オブジェクト距離が絶対値で伝送されるのか差等的に伝送されるのかを指示する絶対距離フラッグ(flag_dist_absolute)を含む。絶対距離フラッグ(flag_dist_absolute)が活性化されていれば、シングルダイナミックメタデータフレームはオブジェクト信号の距離を絶対値で指示する。詳しくは、シングルダイナミックメタデータフレームが含むオブジェクト距離情報(position_distance)はオブジェクト信号の距離を指示する。オブジェクト信号の距離は、スイートスポットにある聴取者の頭の中央からオブジェクトまでの距離である。この際、シングルダイナミックメタデータフレームが含むオブジェクト距離情報(position_distance)は以下の表によってオブジェクト信号の距離を指示する。
【0092】
【0093】
また、絶対距離フラッグ(flag_dist_absolute)が活性化されていなければ、シングルダイナミックメタデータフレームはオブジェクト信号の以前のオブジェクト距離の値と現在のオブジェクト距離の値との差を指示する。詳しくは、シングルダイナミックメタデータフレームが含むオブジェクト距離情報(position_distance)はオブジェクト信号の以前のオブジェクト距離の値と現在のオブジェクト距離の値との差を指示する。シングルダイナミックメタデータフレームは、イントラフレーム期間(intra-frame period)の間にオブジェクト信号の距離が変更されるのかを指示する距離フラッグ(distance_flag)を含む。距離フラッグ(distance_flag)が活性化されていれば、シングルダイナミックメタデータフレームは線形的にインターポレーションされた値とオブジェクト信号の実際の(actual)オブジェクト距離の値との間の距離差(position_distance_difference)を指示する。また、距離フラッグ(distance_flag)が活性化されていれば、シングルダイナミックメタデータフレームはオブジェクト距離の差を指示するために必要なビット数(nBitsDistance)も指示する。上述したチャネル基準距離情報に関する実施例は、アンビソニック基準距離情報にも同じく適用される。それについては、
図7を介して詳しく説明する。
【0094】
図7は、本発明の一実施例によってMPEG-H 3D Audio標準に従って定義されていない外部レンダラが使用するオブジェクト信号のメタデータであるGOAメタデータ、チャネル信号のメタデータであるGCAメタデータ、及びアンビソニック信号のメタデータであるGHAメタデータを示す図である。
【0095】
メタデータは指数関数を使用してアンビソニック基準距離を指示する。詳しくは、アンビソニック基準距離情報は該当指数関数の指数の値を決定する。このような実施例において、アンビソニック基準距離情報の値が大きくなるにつれ、アンビソニック基準距離情報が示す距離も指数関数に応じて増加する。よって、レンダラは距離に応じて減殺される音の大きさを均等にレンダリングすることができる。
【0096】
上述したメタデータでのように、アンビソニック基準距離情報を指示するフィールドのビット数はオブジェクト距離情報を指示するフィールドのビット数より少ない。アンビソニック基準距離情報が示す基準距離値のセットは、オブジェクト距離情報が示すオブジェクト距離値のセットのサブセットである。これを介し、アンビソニック信号とオブジェクト信号が共にレンダリング可能な際、レンダラはアンビソニック信号とオブジェクト信号のうち少なくともいずれか一つを効率的にレンダリングすることができる。
【0097】
アンビソニック基準距離情報が指示し得る最小距離は、0より大きい予め指定された正の数である。この際、最小距離は484mmである。基準距離が一定大きさ以下であれば、基準距離の変化がレンダリングに及ぼす影響が微々たるものであるためである。
【0098】
レンダラは、アンビソニック基準距離情報が定義されていないアンビソニック信号にアンビソニック信号の基準距離のデフォルト値を適用する。説明の便宜上、アンビソニック信号の基準距離の値のデフォルト値をアンビソニックデフォルト基準距離と称する。アンビソニック信号がエンコーディングされたビットストリームがアンビソニック信号の基準距離を定義しなければ、レンダラはアンビソニックデフォルト基準距離をアンビソニック信号の基準距離とみなす。アンビソニックデフォルト基準距離の値は、アンビソニック信号と共に再生し得るエレメント信号の基準距離のデフォルト値と同じく設定される。詳しくは、アンビソニックデフォルト基準距離はオブジェクト信号またはチャネル信号の基準距離のデフォルト値と同じく設定される。また、アンビソニック基準距離情報の値が特定値であれば、アンビソニック基準距離情報はアンビソニックデフォルト基準距離を指示する。アンビソニック基準距離情報がアンビソニックデフォルト基準距離を指示すれば、アンビソニック基準距離情報は、基準距離を指示するために使用する指数関数を使用せずに予め指定された値を指示する。詳しくは、アンビソニック基準距離情報はアンビソニック基準距離情報の値が0から62までであれば、以下の数式を利用してアンビソニック信号の基準距離を指示する。
【0099】
Reference distance = distanceOffset + [10^(0.03225380 * (bs_reference_distance + 83)) -1]
【0100】
この際、Reference distanceはアンビソニック信号の基準距離であり、基準距離の単位はミリメートル(mm)である。また、distanceOffsetはアンビソニック信号の基準距離のオフセット値を示す。詳しくは、distanceOffsetの値は10mmである。また、reference_distanceはアンビソニック基準距離情報の値を示す。アンビソニック基準距離情報は、最小484mmから最大51184mmに当たる距離を指示する。
【0101】
また、アンビソニック基準距離情報の値が63であれば、アンビソニック基準距離情報はアンビソニックデフォルト基準距離を指示する。アンビソニックデフォルト基準距離は2^(5/3)m(つまり、3714.8mm)である。また、ビットストリームがアンビソニック信号の基準距離を定義しなければ、レンダラはアンビソニックデフォルト基準距離をアンビソニック信号の基準距離とみなす。
【0102】
図7(a)は、GOAメタデータを示す。GOAメタデータは、GOAメタデータのオブジェクト距離情報(goa_bsObjectDistance)がオブジェクトデフォルト距離以外の値を指示するのかを示すGOAオブジェクト距離フラッグ(goa_hasObjectDistance)を含む。この際、GOAメタデータはオブジェクト信号グループごとにGOAメタデータのオブジェクト距離情報がオブジェクトデフォルト距離以外の値を指示するのか指示する。GOAオブジェクト距離フラッグ(goa_has_ObjectDistance)が活性化されていれば、GOAメタデータのオブジェクト距離情報(goa_bsObjectDistance)はオブジェクトデフォルト距離以外の値を指示する。オブジェクト距離情報(goa_bsObjectDistance)は8ビットで指示される。GOAメタデータが含むオブジェクト距離情報(goa_bsObjectDistance)は以下の表によってオブジェクト信号の距離を指示する。この際、オブジェクト距離情報(goa_bsObjectDistance)は、最小0から最大167Kmに当たる距離を指示する。
【0103】
【0104】
図7(b)は、GCAメタデータを示す。GCAメタデータは、GCAメタデータのチャネル基準距離情報(gca_bsReferenceDistance)がデフォルト距離以外の値を指示するのかを示すGCAチャネル距離フラッグ(gca_hasReferenceDistance)を含む。この際、GCAメタデータはチャネル信号グループごとにGCAメタデータのチャネル基準距離情報(gca_bsReferenceDistance)がチャネルデフォルト基準距離以外の値を指示するのか指示する。GCAチャネル距離フラッグ(gca_hasReferenceDistance)が活性化されていれば、GCAメタデータのチャネル基準距離情報(gca_bsReferenceDistance)はチャネルデフォルト基準距離以外の値を指示する。チャネル基準距離情報(gca_bsReferenceDistance)は6ビットで指示される。また、GCAメタデータはバイノーラルレンダリングが行われれば、該当チャネル信号グループが直接(directly)ヘットフォンに出力されるのかを指示するフラッグ(gca_directHeadphone)を含む。GCAメタデータが含むチャネル基準距離情報(gca_bsReferenceDistance)は以下の表によってチャネル信号の基準距離を指示する。
【0105】
【0106】
図7(c)は、GHAメタデータを示す。GHAメタデータは、GHAメタデータのアンビソニック基準距離情報(gha_bsReferenceDistance)がアンビソニックデフォルト基準距離以外の値を指示するのかを示すGHAアンビソニック距離フラッグ(gha_hasReferenceDistance)を含む。この際、GHAメタデータはアンビソニック信号グループごとにGHAメタデータのアンビソニック基準距離情報(gha_bsReferenceDistance)がアンビソニックデフォルト基準距離以外の値を指示するのか指示する。GHAアンビソニック距離フラッグ(gha_hasReferenceDistance)が活性化されていれば、GHAメタデータのアンビソニック基準距離情報(gha_bsReferenceDistance)はアンビソニックデフォルト基準距離以外の値を指示する。アンビソニック基準距離情報は6ビットで指示される。GHAメタデータが含むアンビソニック基準距離情報(gha_bsReferenceDistance)は以下の表によってアンビソニック信号の基準距離を指示する。
【0107】
【0108】
上述したように、チャネルデフォルト基準距離は、チャネル信号と共に再生し得るエレメント信号の基準距離のデフォルト値と同じく設定される。また、チャネル基準距離情報の値が特定値であれば、チャネル基準距離情報はチャネル信号の基準距離のデフォルト値を指示する。そのために、チャネル基準距離情報は特定値でチャネルデフォルト基準距離に当たる指数関数を使用してチャネル信号の基準距離を指示する。後述する実施例において、上述した実施例と配置する説明がはければ、後述する実施例と上述した実施例が共に適用される。
【0109】
詳しくは、チャネル基準距離情報は下記数式によってチャネル信号の基準距離を指示する。
【0110】
Reference distance = distanceOffset + 2^[(bs_reference_distance + 99)/11]
【0111】
この際、Reference distanceはチャネル信号の基準距離であり、基準距離の単位はミリメートル(mm)である。また、distanceOffsetはチャネル信号の基準距離のオフセット値を示す。詳しくは、distanceOffsetの値は2^(5/3)*1000-2^(128/11)≒-8.6220mmである。また、bs_reference_distanceはチャネル基準距離情報の値を示す。チャネル基準距離情報は、最小503mmから最大27115mmに当たる距離を指示する。また、チャネル基準距離情報の値が29であれば、チャネル基準距離情報はチャネルデフォルト基準距離を指示する。
【0112】
メタデータフレームのチャネル基準情報(bs_reference_distance)は以下の表によってチャネル信号の基準距離を指示する。
【0113】
【0114】
また、チャネル基準距離情報が指示するチャネル信号の基準距離が異なるにつれ、オブジェクト距離情報がオブジェクト信号の距離を指示する方法も異なり得る。シングルダイナミックメタデータフレームが含むオブジェクト距離情報(position_distance)は以下の表によってオブジェクト信号の距離を指示する。この際、オブジェクト距離情報(position_distance)は、最小0から最大167Kmに当たる距離を指示する。
【0115】
【0116】
GOAメタデータが含むオブジェクト距離情報(goa_bsObjectDistance)は以下の表によってオブジェクト信号の距離を指示する。オブジェクト距離情報(goa_bsObjectDistance)は、最小0から最大167Kmに当たる距離を指示する。
【0117】
【0118】
GCAメタデータが含むチャネル基準距離情報(gca_bsReferenceDistance)は以下の表によってチャネル信号の基準距離を指示する。チャネル基準距離情報(gca_bsReferenceDistance)は、最小503mmから最大27115mmに当たる距離を指示する。また、チャネル基準距離情報(gca_bsReferenceDistance)の値が29であれば、チャネル基準距離情報はチャネルデフォルト基準距離を指示する。
【0119】
【0120】
また、チャネル基準距離情報が指示するチャネル信号の基準距離が異なるにつれ、アンビソニック基準距離情報がアンビソニック信号の基準距離を指示する方法も異なり得る。GHAメタデータが含むアンビソニック基準距離情報(gha_bsReferenceDistance)は以下の表によってアンビソニック信号の基準距離を指示する。アンビソニック基準距離情報(gha_bsReferenceDistance)は、最小503mmから最大27115mmに当たる距離を指示する。また、アンビソニック基準距離情報(gca_bsReferenceDistance)の値が29であれば、アンビソニック基準距離情報はアンビソニックデフォルト基準距離を指示する。
【0121】
【0122】
他の具体的な実施例において、メタデータは、予め指定された距離と同じであるか小さいチャネル信号の基準距離は、線形化された間隔でチャネル信号の基準距離を指示する。この際、メタデータは、予め指定された距離より大きいチャネル信号の基準距離は指数関数を使用して指示する。予め指定された距離は3.1mである。このような実施例において、チャネル信号の基準距離が相対的に近ければ、チャネル基準距離情報は細密な量子化間隔を使用してチャネル信号の基準距離を指示する。チャネル信号の基準距離が相対的に遠ければ、チャネル基準距離情報は細密ではない量子化間隔を使用してチャネル信号の基準距離を指示する。後述する実施例において、上述した実施例と配置する説明がはければ、後述する実施例と上述した実施例が適用される。
【0123】
詳しくは、チャネル基準距離情報の値が0から38であれば、チャネル基準距離情報は下記数式によってチャネル信号の基準距離を指示する。
【0124】
Reference_distance = (4 * bs_reference_distance + 4) / 160 * default_reference_distance
【0125】
詳しくは、チャネル基準距離情報の値が39から63であれば、チャネル基準距離情報は下記数式によってチャネル信号の基準距離を指示する。
【0126】
Reference_distance = 10^(1/20 * (bs_reference_distance - 39)) * default_reference_distance
【0127】
この際、Reference distanceはチャネル信号の基準距離であり、基準距離の単位はメートル(m)である。また、default_reference_distanceはチャネルデフォルト基準距離を示す。default_reference_distanceの値は2^(5/3)(つまり、3.7148m)である。また、bs_reference_distanceはチャネル基準距離情報の値を示す。チャネル基準距離情報は、最小0.0794mから最大50.317mに当たる距離を指示する。また、チャネル基準距離情報の値が39であれば、チャネル基準距離情報はチャネルデフォルト基準距離を指示する。
【0128】
メタデータフレームのチャネル基準情報(bs_reference_distance)は以下の表によってチャネル信号の基準距離を指示する。
【0129】
【0130】
また、オブジェクト距離情報が指示するチャネル信号の基準距離が異なるにつれ、オブジェクト距離情報がオブジェクト信号の距離を指示する方法も異なり得る。シングルダイナミックメタデータフレームが含むオブジェクト距離情報(position_distance)は以下の表によってオブジェクト信号の距離を指示する。この際、オブジェクト距離情報(position_distance)は、最小0から最大167Kmに当たる距離を指示する。
【0131】
【0132】
GOAメタデータが含むオブジェクト距離情報(goa_bsObjectDistance)は以下の表によってオブジェクト信号の距離を指示する。オブジェクト距離情報(goa_bsObjectDistance)は、最小0から最大167Kmに当たる距離を指示する。
【0133】
【0134】
GCAメタデータが含むチャネル基準距離情報(gca_bsReferenceDistance)は以下の表によってチャネル信号の基準距離を指示する。チャネル基準距離情報(gca_bsReferenceDistance)は、最小0.0794mから最大50.317mに当たる距離を指示する。また、チャネル基準距離情報(gca_bsReferenceDistance)の値が39であれば、チャネル基準距離情報はチャネルデフォルト基準距離を指示する。
【0135】
【0136】
また、チャネル基準距離情報が指示するチャネル信号の基準距離が異なるにつれ、アンビソニック基準距離情報がアンビソニック信号の基準距離を指示する方法も異なり得る。GHAメタデータが含むアンビソニック基準距離情報(gha_bsReferenceDistance)は以下の表によってアンビソニック信号の基準距離を指示する。アンビソニック基準距離情報(gha_bsReferenceDistance)は、最小0.0794mから最大50.317mに当たる距離を指示する。また、アンビソニック基準距離情報(gca_bsReferenceDistance)の値が39であれば、アンビソニック基準距離情報はアンビソニックデフォルト基準距離を指示する。
【0137】
【0138】
他の具体的な実施例において、メタデータは指数関数を使用してチャネル信号の基準距離を指示する。後述する実施例において、上述した実施例と配置する説明がはければ、後述する実施例と上述した実施例が共に適用される。
【0139】
詳しくは、チャネル基準距離情報の値が0から38であれば、チャネル基準距離情報は下記数式によってチャネル信号の基準距離を指示する。
【0140】
Reference distance = A*[2^(C*bs_reference_distance)] + B;
【0141】
この際、A=2^9、B=2^(5/3)*100-2^(128/11)≒-8.6220mm、及びC=1/11である。
【0142】
この際、Reference distanceはチャネル信号の基準距離であり、基準距離の単位はミリメートル(mm)である。また、bs_reference_distanceはチャネル基準距離情報の値を示す。チャネル基準距離情報は、最小503mmから最大27115mmに当たる距離を指示する。また、チャネル基準距離情報の値が29であれば、チャネル基準距離情報はチャネルデフォルト基準距離を指示する。
【0143】
メタデータフレームのチャネル基準情報(bs_reference_distance)は以下の表によってチャネル信号の基準距離を指示する。
【0144】
【0145】
また、オブジェクト距離情報が指示するチャネル信号の基準距離が異なるにつれ、オブジェクト距離情報がオブジェクト信号の距離を指示する方法も異なり得る。シングルダイナミックメタデータフレームが含むオブジェクト距離情報(position_distance)は以下の表によってオブジェクト信号の距離を指示する。この際、オブジェクト距離情報(position_distance)は、最小0から最大167Kmに当たる距離を指示する。
【0146】
【0147】
GOAメタデータが含むオブジェクト距離情報(goa_bsObjectDistance)は以下の表によってオブジェクト信号の距離を指示する。オブジェクト距離情報(goa_bsObjectDistance)は、最小0から最大167Kmに当たる距離を指示する。
【0148】
【0149】
GCAメタデータが含むチャネル基準距離情報(gca_bsReferenceDistance)は以下の表によってチャネル信号の基準距離を指示する。チャネル基準距離情報(gca_bsReferenceDistance)は、最小503mmから最大27115mmに当たる距離を指示する。また、チャネル基準距離情報(gca_bsReferenceDistance)の値が29であれば、チャネル基準距離情報はチャネルデフォルト基準距離を指示する。
【0150】
【0151】
また、チャネル基準距離情報が指示するチャネル信号の基準距離が異なるにつれ、アンビソニック基準距離情報がアンビソニック信号の基準距離を指示する方法も異なり得る。GHAメタデータが含むアンビソニック基準距離情報(gha_bsReferenceDistance)は以下の表によってアンビソニック信号の基準距離を指示する。アンビソニック基準距離情報(gha_bsReferenceDistance)は、最小503mmから最大27115mmに当たる距離を指示する。また、アンビソニック基準距離情報(gca_bsReferenceDistance)の値が29であれば、アンビソニック基準距離情報はアンビソニックデフォルト基準距離を指示する。
【0152】
【0153】
但し、このような実施例によると、チャネル基準距離情報は比較的短い距離で過度に細密な量子化間隔を使用してチャネル信号の基準距離を指示するようになる。他の具体的な実施例において、メタデータは指数関数を使用してチャネル信号の基準距離を指示し、チャネル信号の基準距離によって指数関数の量子化間隔に応じて調整される。後述する実施例において、上述した実施例と配置する説明がはければ、上述した実施例が適用される。
詳しくは、メタデータは以下の数式を使用してチャネル信号の基準距離を指示する。
【0154】
reference_distance = A*2^(C*bs_reference_distance) + B;
【0155】
この際、Reference distanceはチャネル信号の基準距離である。また、bs_reference_distanceはチャネル基準距離情報の値を示す。チャネル基準距離情報の値が0から37であれば、A=2^(-13/12)、B=0、及びC=1/12である。また、チャネル基準距離情報の値が38から55であれば、A=2^(-28/9)、B=0、及びC=1/9である。更に、チャネル基準距離情報の値が56から63であれば、A=2^(-31/6)、B=0、及びC=1/6である。チャネル基準距離情報は、最小472mmから最大40318mmに当たる距離を指示する。また、チャネル基準距離情報の値が33であれば、チャネル基準距離情報はチャネルデフォルト基準距離を指示する。
【0156】
メタデータフレームのチャネル基準情報(bs_reference_distance)は以下の表によってチャネル信号の基準距離を指示する。
【0157】
【0158】
また、チャネル基準距離情報が指示するチャネル信号の基準距離が異なるにつれ、オブジェクト距離情報がオブジェクト信号の距離を指示する方法も異なり得る。シングルダイナミックメタデータフレームが含むオブジェクト距離情報(position_distance)は以下の表によってオブジェクト信号の距離を指示する。この際、オブジェクト距離情報(position_distance)は、最小0から最大167Kmに当たる距離を指示する。
【0159】
【0160】
GOAメタデータが含むオブジェクト距離情報(goa_bsObjectDistance)は以下の表によってオブジェクト信号の距離を指示する。オブジェクト距離情報(goa_bsObjectDistance)は、最小0から最大167Kmに当たる距離を指示する。
【0161】
【0162】
GCAメタデータが含むチャネル基準距離情報(gca_bsReferenceDistance)は以下の表によってチャネル信号の基準距離を指示する。チャネル基準距離情報(gca_bsReferenceDistance)は、最小472mmから最大40318mmに当たる距離を指示する。また、チャネル基準距離情報(gca_bsReferenceDistance)の値が33であれば、チャネル基準距離情報はチャネルデフォルト基準距離を指示する。
【0163】
【0164】
また、チャネル基準距離情報が指示するチャネル信号の基準距離が異なるにつれ、アンビソニック基準距離情報がアンビソニック信号の基準距離を指示する方法も異なり得る。GHAメタデータが含むアンビソニック基準距離情報(gha_bsReferenceDistance)は以下の表によってアンビソニック信号の基準距離を指示する。アンビソニック基準距離情報(gha_bsReferenceDistance)は、最小472mmから最大40318mmに当たる距離を指示する。また、アンビソニック基準距離情報(gca_bsReferenceDistance)の値が33であれば、アンビソニック基準距離情報はアンビソニックデフォルト基準距離を指示する。
【0165】
【0166】
本発明の他の実施例として、メタデータは線形関数と指数関数が組み合わせられた数式を使用してチャネル信号の基準距離を指示する。この際、線形関数と指数関数が組み合わせられた数式は、相対的に短い距離では線形関数の特性が指数関数の特性より更に反映され、相対的に遠い距離では指数関数の特性が線形関数の特性より更に多く反映される。詳しくは、チャネル基準距離情報は下記数式を使用してチャネル信号の基準距離を指示する。
【0167】
y = alpha*b/Bref*Dref + (1-alpha)*10.^(h*(b-Bref))*Dref;
【0168】
h = log10(1/(1-alpha)*(Dmax/Dref - alpha*Bmax/Bref))/(Bmax-Bref);
【0169】
この際、yはチャネル信号の基準距離であり、基準距離の単位はミリメートル(mm)である。また、Dref、Dmax、及びBmaxの値は以下のようである。
【0170】
Dref=2^(5/3)、Dmax=167000、Bmax=255
【0171】
更に、前記数式において、alphaが0から1の間の値に設定されることで、指数関数の特性と線形関数の特性の割合が調製される。具体的な実施例において、alphaは0.65である。
【0172】
上述したように、チャネル基準距離情報が示す基準距離のセットは、オブジェクト距離情報が示す距離値のセットのサブセットである。よって、他の具体的な実施例において、メタデータはオブジェクト距離情報が示し得る距離のセットをサンプリングした値を使用してチャネル信号の基準距離を指示する。それについては
図8を介して説明する。
【0173】
図8は、本発明の実施例によるメタデータのチャネル基準距離情報の値、オブジェクト距離情報の値、及びチャネル信号の基準距離の間の関係を示す図である。
【0174】
メタデータのチャネル基準距離情報が指示する基準距離の間の間隔はJND(Just-noticable Difference)を考慮して設定される。後述する実施例において、上述した実施例と配置する説明がはければ、後述する実施例と上述した実施例が共に適用される。詳しくは、メタデータのチャネル基準距離情報が指示する基準距離の間の間隔は、音減殺によって2地点で音の大きさがJNDだけ差が発生し得る距離以上に設定される。このような実施例において、チャネル信号の基準距離セットは以下のコードによってオブジェクト信号の距離のセットからサンプリングされる。
【0175】
【0176】
また、このような実施例において、オブジェクト距離情報は指数関数と線形関数が組み合わせられた関数を使用してオブジェクト信号の距離を指示する。また、チャネル基準距離情報が指示する基準距離の間の間隔は、音減殺によって2地点で音の大きさの差が0.7dB以上発生するように設定される。
図8は、それによって設定されたメタデータにおいて、チャネル基準距離情報の値(Bit)、オブジェクト距離情報の値(Obj_Distance_Index)、及びチャネル信号の基準距離(Ch_Reference_Distance)間の関係を示す。
【0177】
メタデータフレームのチャネル基準情報(bs_reference_distance)は以下の表によってチャネル信号の基準距離(reference distance)を指示する。チャネル基準距離情報(bs_reference_distance)は、最小0.5mから最大36.1mに当たる距離を指示する。また、チャネル基準距離情報(bs_reference_distance)の値が26であれば、チャネル基準距離情報はチャネルデフォルト基準距離である3.175mを指示する。
【0178】
【0179】
また、オブジェクト距離情報が指示するチャネル信号の基準距離が異なるにつれ、オブジェクト距離情報がオブジェクト信号の距離を指示する方法も異なり得る。シングルダイナミックメタデータフレームが含むオブジェクト距離情報(position_distance)は以下の表によってオブジェクト信号の距離を指示する。この際、オブジェクト距離情報(position_distance)は、最小0から最大167Kmに当たる距離を指示する。
【0180】
【0181】
GOAメタデータが含むオブジェクト距離情報(goa_bsObjectDistance)は以下の表によってオブジェクト信号の距離を指示する。オブジェクト距離情報(goa_bsObjectDistance)は、最小0から最大167Kmに当たる距離を指示する。
【0182】
【0183】
GCAメタデータが含むチャネル基準距離情報(gca_bsReferenceDistance)は以下の表によってチャネル信号の基準距離を指示する。チャネル基準距離情報(gca_bsReferenceDistance)は、最小0.5mから最大36.1mに当たる距離を指示する。また、チャネル基準距離情報(gca_bsReferenceDistance)の値が26であれば、チャネル基準距離情報はチャネルデフォルト基準距離である3.175mを指示する。
【0184】
【0185】
この際、distance(x)は、オブジェクト距離情報の値がxである場合のオブジェクト距離情報が指示する基準距離である。
【0186】
また、チャネル基準距離情報が指示するチャネル信号の基準距離が異なるにつれ、アンビソニック基準距離情報がアンビソニック信号の基準距離を指示する方法も異なり得る。GHAメタデータが含むアンビソニック基準距離情報(gha_bsReferenceDistance)は以下の表によってアンビソニック信号の基準距離を指示する。アンビソニック基準距離情報(gha_bsReferenceDistance)は、最小0.5mから最大36.1mに当たる距離を指示する。また、アンビソニック基準距離情報(gca_bsReferenceDistance)の値が26であれば、アンビソニック基準距離情報はアンビソニックデフォルト基準距離である3.175mを指示する。
【0187】
【0188】
この際、distance(x)は、オブジェクト距離情報の値がxである場合のオブジェクト距離情報が指示する基準距離である。
【0189】
上述した実施例において、チャネル基準距離情報及びアンビソニック基準距離情報は6ビットで表現されており、オブジェクト距離情報は8ビットで表現されている。具体的な実施例において、チャネル基準距離情報及びアンビソニック基準距離情報は7ビットで表現され、オブジェクト距離情報は9ビットで表現される。
【0190】
メタデータのチャネル基準距離情報が8ビットで表現される場合も、上述した実施例が適用される。詳しくは、メタデータは指数関数を使用してチャネル基準距離を指示する。詳しくは、チャネル基準距離情報は該当指数関数の指数の値を決定する。
【0191】
チャネル信号の基準距離値のセットは、オブジェクト信号の基準距離値のセットのサブセットである。チャネル基準距離情報が指示し得る最小距離は、0より大きい予め指定された正の数である。この際、最小距離は0.5mである。また、レンダラは、チャネル基準距離情報が定義されていないチャネル信号にチャネルデフォルト基準距離を適用する。この際、チャネルデフォルト基準距離は予め指定された値である。予め指定された値はオブジェクトデフォルト距離と同じである。詳しくは、予め指定された値は3.1748mである。
【0192】
具体的な実施例において、チャネル基準距離情報は下記数式を利用してチャネル信号の基準距離を指示する。
【0193】
Reference distance = 0.01 * 2^(0.0472188798661443 *(bs_Reference_Distance + 119))
【0194】
この際、Reference distanceはチャネル信号の基準距離であり、基準距離の単位はメートル(m)である。bs_Reference_Distanceはチャネル基準距離情報の値である。
【0195】
このようなチャネル基準距離情報に関する実施例は、アンビソニック基準距離情報にも適用される。このような実施例に適用されるメタデータのシンタックスについては、
図9乃至
図12を介して説明する。以降の説明で特に配置される言及がなければ、上述した実施例が共に適用される。
【0196】
図9は、本発明の他の実施例によってメタデータ関連設定を指示するメタデータコンフィグレーション(configuration)のシンタックスを示す図である。
【0197】
上述したように、チャネル基準距離情報は7ビットで表現される。よって、メタデータコンフィグレーション(configuration)のチャネル基準距離情報(bs_reference_distance)は7ビットを介して指示される。また、チャネルデフォルト基準距離を指示するチャネル基準距離情報(bs_reference_distance)は57である。これについては後に再度説明する。チャネル基準距離情報(bs_reference_distance)は以下の表によってチャネル信号の基準距離(Reference distance)を指示する。
【0198】
【0199】
上述していないメタデータコンフィグレーション(configuration)のシンタックスに関する部分は、
図4を介して説明した実施例が適用される。
【0200】
図10は、本発明の他の実施例によるイントラコーディングメタデータフレーム(intracodedProdMetadataFrame)のシンタックスを示す図である。
【0201】
上述したように、オブジェクト距離情報は9ビットで表現される。よって、イントラコーディングメタデータフレーム(intracodedProdMetadataFrame)のオブジェクト距離情報(position_distance)は9ビットを介して指示される。また、オブジェクトデフォルト距離(default_distance)も同じく9ビットを介して指示される。
【0202】
オブジェクト距離情報(position_distance)は以下の表によってオブジェクト信号の距離(distance)を指示する。
【0203】
【0204】
上述していないイントラコーディングメタデータフレーム(intracodedProdMetadataFrame)のシンタックスに関する部分は、
図5を介して説明した実施例が適用される。
【0205】
図11は、本発明の実施例によるシングルダイナミックメタデータフレーム(singleDynamicProdMetadataFrame)のシンタックスを示す図である。
【0206】
シングルダイナミックメタデータフレーム(singleDynamicProdMetadataFrame)のオブジェクト距離情報(position_distance)は同じく9ビットを介して指示される。上述していないシングルダイナミックメタデータフレームは(singleDynamicProdMetadataFrame)のシンタックスに関する部分は、
図6を介して説明した実施例が適用される。
【0207】
図12は、本発明の他の実施例によってMPEG-H 3D Audio標準に従って定義されていない外部レンダラが使用するオブジェクト信号のメタデータであるGOAメタデータ、チャネル信号のメタデータであるGCAメタデータ、及びアンビソニック信号のメタデータであるGHAメタデータを示す図である。
【0208】
図12(a)は、GOAメタデータを示す。オブジェクト距離情報(goa_bsObjectDistance)は9ビットで指示される。GOAメタデータが含むオブジェクト距離情報(goa_bsObjectDistance)は以下の表によってオブジェクト信号の距離を指示する。この際、オブジェクト距離情報(goa_bsObjectDistance)は、最小0から最大167Kmに当たる距離を指示する。
【0209】
【0210】
図12(b)は、GCAメタデータを示す。GCAメタデータのチャネル基準距離情報(gca_bsReferenceDistance)はチャネルデフォルト基準距離以外の値を指示する。チャネル基準距離情報(gca_bsReferenceDistance)は7ビットで指示される。GCAメタデータが含むチャネル基準距離情報(gca_bsReferenceDistance)は以下の表によってチャネル信号の基準距離を指示する。
【0211】
【0212】
図12(c)は、GHAメタデータを示す。GHAメタデータのアンビソニック基準距離情報(gha_bsReferenceDistance)は7ビットで指示される。GHAメタデータが含むアンビソニック基準距離情報(gha_bsReferenceDistance)は以下の表によってアンビソニック信号の基準距離を指示する。
【0213】
【0214】
図13は、本発明の実施例によって第1エレメント信号を含むオーディオ信号をエンコーディングするオーディオ信号処理装置がメタデータを生成する動作を示す図である。
オーディオ信号処理装置は、第1エレメント信号の基準距離を指示する第1エレメント基準距離情報を設定するS1301。オーディオ信号処理装置は、第1エレメント基準距離情報を含むメタデータを生成するS1303。この際、オーディオ信号は第2エレメント信号を含むことができる(capable of include)。また、メタデータは、第2エレメント信号の距離を指示する第2エレメント距離情報を含むことができる(capable of include)。この際、第1エレメント基準距離情報の指示に使用されるビット数は、第2エレメント距離情報の指示に使用されるビット数より少ない。詳しくは、第1エレメント基準距離情報を示すために必要なビット数は7ビットであり、前記第2エレメント距離情報を示すために必要なビット数は9ビットである。また、第1エレメント信号はチャネル信号であり、第2エレメント信号はオブジェクト信号である。また、第1エレメント信号はアンビソニック信号であり、第2エレメント信号はオブジェクト信号である。
【0215】
第1エレメント基準距離情報が示す基準距離のセット(set)は、第2エレメント距離情報が示す距離のセット(set)のサブセット(subset)である。これを介し、レンダラが第1エレメント信号と第2エレメント信号のレンダリングを支援するために考慮すべき基準距離と距離の個数を減らすことができる。よって、このような実施例を介してレンダリング効率を上げることができる。
【0216】
第1エレメント基準距離情報を指示する方法に、
図3乃至
図12を介して説明したチャネル信号の基準距離指示方法に関する実施例、またはアンビソニック信号の基準距離指示方法に関する実施例が適用される。また、第2エレメント距離情報を指示するための方法に、
図3乃至
図12を介して説明したオブジェクト信号の基準距離指示方法に関する実施例が適用される。
【0217】
詳しくは、第1エレメント基準距離情報は、指数関数を使用して第1エレメント信号の基準距離を指示する。詳しくは、第1エレメント基準距離情報は、前記指数関数の指数の値を決定する。具体的な実施例において、第1エレメント基準距離情報は、以下の数式を使用して第1エレメント信号の基準距離を指示する。オーディオ信号処理装置は、前記第1エレメント基準距離情報が以下の数式を使用して前記第1エレメント信号の基準距離を指示するよう、前記第1エレメント基準距離情報の値を設定する。
【0218】
Reference distance = 0.01 * 2^(0.0472188798661443 *(bs_Reference_Distance + 119))
【0219】
この際、Reference distanceは前記第1エレメント信号の基準距離であり、第1エレメント信号の基準距離の単位はメートル(m)である。また、bs_Reference_Distanceは第1エレメント基準距離情報であり、第1エレメント基準距離情報の値は0から127までの整数である。
【0220】
第2エレメント基準距離情報が示し得る値は0から511までの整数である。第2エレメント距離情報の値が0であれば、前記第2エレメント距離情報は前記第2エレメント信号の距離が0であることを指示する。第2エレメント信号の距離が0であれば、オーディオ信号処理装置は第2エレメント距離情報の値を0に設定する。第2エレメント距離情報の値が1から511であれば、第2エレメント基準距離情報は以下の数式を使用して前記第2エレメント信号の距離を指示する。第2エレメント信号の距離が0ではなければ、オーディオ信号処理装置は、第2エレメント信号の距離情報が以下の数式によって第2エレメント信号の距離を指示するよう、第2エレメント距離情報の値を設定する。
【0221】
Distance = 0.01 * 2^(0.0472188798661443 *(Position_Distance - 1))
【0222】
Distanceは第2エレメント信号の距離であり、第2エレメント信号の距離の単位はメートル(m)である。また、Position_Distanceは第2エレメント距離情報であり、第2エレメント距離情報の値は1から511までの整数である。
第1エレメント基準距離情報が定義されていなければ、オーディオ信号処理装置は、第1エレメント基準距離情報が第1エレメントデフォルト基準距離を指示するとみなす。また、第2エレメント距離情報が定義されていなければ、オーディオ信号処理装置は、第2エレメント距離情報が第2エレメントデフォルト距離を指示するとみなす。第1エレメントデフォルト基準距離と前記第2エレメントデフォルト距離の値は同じ値である。
【0223】
第1エレメント基準距離情報が指示し得る最小基準距離は、0より大きい予め指定された正の数である。この際、第2エレメント距離情報が指示し得る最小距離は0である。これを介し、基準距離の影響が微々たる予め指定された距離以下の距離は一つの値に指示して、第1エレメント基準距離情報を示すために必要なビット数を減らすことができる。
【0224】
図14は、本発明の実施例によって第1エレメント信号を含むオーディオ信号をレンダリングするオーディオ信号処理装置が第1エレメント信号をレンダリングする動作を示す図である。
【0225】
オーディオ信号処理装置は、オーディオ信号と第1エレメント信号の基準距離を指示する第1エレメント基準距離情報を含むメタデータを獲得するS1401。この際、オーディオ信号は第2エレメント信号を含むことができる(capable of include)。また、メタデータは、第2エレメント信号の距離を指示する第2エレメント距離情報を含むことができる(capable of include)。この際、第1エレメント基準距離情報の指示に使用されるビット数は、第2エレメントの距離に関する情報の指示に使用されるビット数より少ない。詳しくは、第1エレメント基準距離情報を示すために必要なビット数は7ビットであり、前記第2エレメント距離情報を示すために必要なビット数は9ビットである。また、第1エレメント信号はチャネル信号であり、第2エレメント信号はオブジェクト信号である。また、第1エレメント信号はアンビソニック信号であり、第2エレメント信号はオブジェクト信号である。
【0226】
第1エレメント基準距離情報が示す基準距離のセット(set)は、第2エレメントの距離に関する情報が示す基準距離のセット(set)のサブセット(subset)である。これを介し、第1エレメント信号と第2エレメント信号のレンダリングを支援するために考慮すべき基準距離の個数を減らすことができる。よって、このような実施例を介してレンダリング効率を上げることができる。
【0227】
第1エレメント基準距離情報を指示する方法に、
図3乃至
図12を介して説明したチャネル信号の基準距離指示方法に関する実施例、またはアンビソニック信号の基準距離指示方法に関する実施例が適用される。また、第2エレメント距離情報を指示するための方法に、
図3乃至
図12を介して説明したオブジェクト信号の基準距離指示方法に関する実施例が適用される。
【0228】
詳しくは、第1エレメント基準距離情報は、指数関数を使用して第1エレメント信号の基準距離を指示する。詳しくは、第1エレメント基準距離情報は、指数関数の指数の値を決定する。具体的な実施例において、第1エレメント基準距離情報は、以下の数式を使用して第1エレメント信号の基準距離を指示する。オーディオ信号処理装置は、以下の数式によって第1エレメント信号の基準距離を獲得する。
【0229】
Reference distance = 0.01 * 2^(0.0472188798661443 *(bs_Reference_Distance + 119))
【0230】
この際、Reference distanceは前記第1エレメント信号の基準距離であり、第1エレメント信号の基準距離の単位はメートル(m)である。また、bs_Reference_Distanceは第1エレメント基準距離情報であり、第1エレメント基準距離情報の値は0から127までの整数である。
【0231】
第2エレメント距離情報が示し得る値は0から511までの整数である。第2エレメント距離情報の値が0であれば、第2エレメント基準距離情報は第2エレメント信号の距離が0であることを指示する。第2エレメント距離情報の値が0であれば、オーディオ信号処理装置は第2エレメント信号の距離を0と判断する。この際、第2エレメント距離情報の値が1から511であれば、第2エレメント基準距離情報は以下の数式を使用して第2エレメント信号の距離を指示する。第2エレメント距離情報の値が1から511の間の整数であれば、オーディオ信号処理装置は以下の数式によって第2エレメント信号の距離を獲得する。
【0232】
Distance = 0.01 * 2^(0.0472188798661443 *(Position_Distance - 1))
【0233】
Distanceは第2エレメント信号の距離であり、第2エレメント信号の距離の単位はメートル(m)である。また、Position_Distanceは第2エレメント距離情報である。第2エレメント距離情報の値は0から511までの整数である。
第1エレメント基準距離情報が定義されていなければ、オーディオ信号処理装置は、第1エレメント基準距離情報が第1エレメントデフォルト基準距離を指示するとみなす。また、第2エレメント距離情報が定義されていなければ、オーディオ信号処理装置は、第2エレメント距離情報が第2エレメントデフォルト距離を指示するとみなす。第1エレメントデフォルト基準距離と第2エレメントデフォルト距離は同じ値である。
【0234】
第1エレメント基準距離情報が指示し得る最小基準距離は、0より大きい予め指定された正の数である。この際、第2エレメント距離情報が指示し得る最小距離は0である。これを介し、基準距離の影響が微々たる予め指定された距離以下の距離は一つの値に指示して、第1エレメント基準距離情報を示すための必要なビット数を減らすことができる。
オーディオ信号処理装置は、第1エレメント基準距離情報に基づいて第1エレメント信号をレンダリングするS1403。詳しくは、オーディオ信号処理装置は、第1エレメント基準距離情報に基づいて第1エレメント信号がレンダリングされた音響のラウドネスを調整する。オーディオ信号処理装置は、第1エレメント信号と第2エレメント信号を同時にレンダリングする。オーディオ信号処理装置は、第1エレメント信号からレンダリングされた音響と第2エレメント信号からレンダリングされた音響を同時に出力する。オーディオ信号処理装置は、第1エレメント基準距離情報及び第2エレメント距離情報に基づいて、第1エレメント信号がレンダリングされた音響出力のラウドネスと第2エレメント信号がレンダリングされた音響出力のラウドネスそれぞれを調整する。これを介し、オーディオ信号処理装置は、第1エレメント信号がレンダリングされた音響出力のラウドネスと第2エレメント信号がレンダリングされた音響出力のラウドネスとの間のバランスを取ることができる。
【0235】
また、オーディオ信号処理装置は、第1エレメント基準距離情報に基づいて第1エレメント信号にディレイを適用する。オーディオ信号処理装置は、第1エレメント信号と第2エレメント信号を同時にレンダリングする。この際、オーディオ信号処理装置は、第1エレメント基準距離情報及び第2エレメント距離情報に基づいて、第1エレメント信号と第2エレメント信号それぞれにディレイを適用して音響遅延時間を合わせる。第1エレメント信号の基準距離及び第2エレメント信号の距離によって聴取者が感じるべき距離感が異なるためである。
【0236】
また、オーディオ信号はアンビソニック信号とチャネル信号をいずれも含む。この際、オーディオ信号処理装置は、一つの基準距離情報を使用してアンビソニック信号とチャネル信号を同時にレンダリングする。詳しくは、オーディオ信号処理装置は、同じ基準距離を使用してアンビソニック信号とチャネル信号を同時にレンダリングする。他の具体的な実施例において、オーディオ信号処理装置は、アンビソニック信号とチャネル信号に互いに異なる基準距離を適用してレンダリングする。この場合、基準距離の差による音場補正及びラウドネス補正が行われる。また、基準距離の差によって互いに異なるディレイを適用して音響遅延時間を合わせる。他の具体的な実施例において、オーディオ信号処理装置は、チャネル基準距離情報に基づいてチャネル信号をレンダリングし、アンビソニック基準距離情報に基づいてアンビソニック信号をレンダリングする。また、オーディオ信号処理装置は、第1エレメント基準距離情報に基づいて第2エレメント信号をレンダリングする。
【0237】
これまで本発明を具体的な実施例を介して説明したが、当業者であれば本発明の趣旨及び範囲を逸脱せずに修正、変更し得るはずである。つまり、本発明はマルチオーディオ信号に対するプロセシングの実施例について説明したが、本発明はオーディオ信号のみならず、ビデオ信号を含む多様なマルチメディア信号にも同じく適用及び拡張することができる。よって、本発明の詳細な説明及び実施例から本発明の属する技術分野に属する人が容易に類推し得るものは、本発明の権利範囲に属すると解釈される。
【符号の説明】
【0238】
10、プレレンダラ/ミキサ
20、OAMエンコーダ
30、HOA空間エンコーダ
40、Dエンコーダ
80、エンコーダ
110、コアデコーダ
122、フォーマットコンバータ
124、オブジェクトレンダラ
125、OAMデコーダ
126、SAOCデコーダ
128、HOAデコーダ
130、ミキサ
140、ポストプロセッサ
150、レンダラ
151、スピーカレンダラ
153、バイノーラルレンダラ
【手続補正書】
【提出日】2022-06-29
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
第1エレメント信号を含むオーディオ信号をレンダリングするオーディオ信号処理装置において、
前記オーディオ信号と第1エレメント基準距離情報を含むメタデータを獲得し、前記第1エレメント基準距離情報は前記第1エレメント信号の基準距離を指示し、前記第1エレメント基準距離情報に基づいて前記第1エレメント信号をレンダリングするプロセッサを含み、
前記オーディオ信号は、前記第1エレメント信号と同時にレンダリングされる第2エレメント信号を含み、
前記メタデータは、前記第2エレメント信号の距離を指示する第2エレメント距離情報を含み、
前記第1エレメント基準距離情報を示すために必要なビット数は、前記第2エレメント距離情報を示すために必要なビット数より少なく、
前記第1エレメント基準距離情報が示す基準距離のセット(set)は、前記第2エレメント距離情報が示す距離のセット(set)のサブセット(subset)である
オーディオ信号処理装置。
【請求項2】
前記第1エレメント基準距離情報は、指数関数を使用して前記第1エレメント信号の基準距離を指示する
請求項1に記載のオーディオ信号処理装置。
【請求項3】
前記第1エレメント基準距離情報は、前記指数関数の指数の値を決定する
請求項2に記載のオーディオ信号処理装置。
【請求項4】
前記第1エレメント基準距離情報を示すために使用されるビット数は7ビットであり、
前記第2エレメント距離情報を示すために使用されるビット数は9ビットである
請求項3に記載のオーディオ信号処理装置。
【請求項5】
前記プロセッサは、
下記数式を使用して前記第1エレメント基準距離情報から前記第1エレメント信号の基準距離を獲得し、
Reference distance = 0.01 * 2^(0.0472188798661443 *(bs_Reference_Distance + 119))
前記Reference distanceは前記第1エレメント信号の基準距離であり、前記第1エレメント信号の基準距離の単位はメートル(m)であり、
前記bs_Reference_Distanceは前記第1エレメント基準距離情報であり、
前記第1エレメント基準距離情報の値は0から127までの整数である
請求項4に記載のオーディオ信号処理装置。
【請求項6】
前記第2エレメント基準距離情報が示し得る値は0から511までの整数であり、
前記プロセッサは、
前記第2エレメント距離情報の値が0であれば、前記第2エレメント信号の距離が0であると判断し、
前記第2エレメント距離情報の値が1から511であれば、下記数式を使用して前記第2エレメント距離情報から前記第2エレメント信号の距離を獲得し、
Distance = 0.01 * 2^(0.0472188798661443 *(Position_Distance - 1))
前記Distanceは前記第2エレメント信号の距離であり、前記第2エレメント信号の距離の単位はメートル(m)であり、
前記Position_Distanceは第2エレメント距離情報である
請求項5に記載のオーディオ信号処理装置。
【請求項7】
前記プロセッサは、
前記第1エレメント基準距離情報が定義されていなければ、前記第1エレメント基準距離情報が第1エレメントデフォルト基準距離を指示するとみなし、
前記第2エレメント距離情報が定義されていなければ、前記第2エレメント距離情報が第2エレメントデフォルト距離を指示するとみなし、
前記第1エレメントデフォルト基準距離と前記第2エレメントデフォルト距離は同じ値である
請求項1に記載のオーディオ信号処理装置。
【請求項8】
前記第1エレメント基準距離情報が指示し得る最小基準距離は、0より大きい予め指定された正の数である
請求項1に記載のオーディオ信号処理装置。
【請求項9】
前記第1エレメント信号を含むオーディオ信号は前記第2エレメント信号を含み、
前記プロセッサは、
前記第1エレメント信号と前記第2エレメント信号を同時にレンダリングする
請求項1に記載のオーディオ信号処理装置。
【請求項10】
前記プロセッサは、
前記第1エレメント基準距離情報に基づいて前記第1エレメント信号がレンダリングされた音響出力のラウドネスを調整し、前記第2エレメント距離情報に基づいて前記第2エレメント信号がレンダリングされた音響出力のラウドネスを調整する
請求項9に記載のオーディオ信号処理装置。
【請求項11】
前記プロセッサは、
前記第1エレメント基準距離情報に基づいて前記第1エレメント信号にディレイを適用し、前記第2エレメント距離情報に基づいて前記第2エレメント信号にディレイを適用する
請求項9に記載のオーディオ信号処理装置。
【請求項12】
前記第1エレメント信号はチャネル信号であり、前記第2エレメント信号はオブジェクト信号である
請求項1に記載のオーディオ信号処理装置。
【請求項13】
前記第1エレメント信号はアンビソニック信号であり、前記第2エレメント信号はオブジェクト信号である
請求項1に記載のオーディオ信号処理装置。
【請求項14】
前記第1エレメント信号はチャネル信号であり、
前記オーディオ信号はアンビソニック信号を更に含み、
前記プロセッサは、
前記第1エレメント信号の基準距離に基づいて前記チャネル信号と前記アンビソニック信号をレンダリングする
請求項1に記載のオーディオ信号処理装置。
【請求項15】
前記第1エレメント信号はチャネル信号であり、
前記オーディオ信号はアンビソニック信号を更に含み、
前記メタデータは、前記チャネル信号の基準距離を指示するチャネル基準距離情報と前記アンビソニック信号の基準距離を指示するアンビソニック基準距離情報を含み、
前記プロセッサは、
前記チャネル基準距離情報に基づいて前記チャネル信号をレンダリングし、前記アンビソニック基準距離情報に基づいて前記アンビソニック信号をレンダリングする
請求項1に記載のオーディオ信号処理装置。
【請求項16】
前記プロセッサは、
前記第1エレメント基準距離情報に基づいて前記第2エレメント信号をレンダリングする
請求項1に記載のオーディオ信号処理装置。
【請求項17】
第1エレメント信号を含むオーディオ信号をエンコーディングするオーディオ信号処理装置において、
前記第1エレメント信号の基準距離を指示する第1エレメント基準距離情報を設定し、前記第1エレメント基準距離情報を含むメタデータを生成するプロセッサを含み、
前記オーディオ信号は第2エレメント信号を含み、
前記メタデータは前記第2エレメント信号の距離を指示する第2エレメント距離情報を含み、
前記第1エレメント基準距離情報の指示に使用されるビット数は、第2エレメント距離情報の指示に使用されるビット数より少なく、
前記第1エレメント基準距離情報が示す基準距離のセット(set)は、前記第2エレメント距離情報が示す距離のセット(set)のサブセット(subset)である
オーディオ信号処理装置。
【請求項18】
前記第1エレメント基準距離情報は、指数関数を使用して前記第1エレメント信号の基準距離を指示する
請求項17に記載のオーディオ信号処理装置。
【請求項19】
前記第1エレメント基準距離情報は、前記指数関数の指数の値を決定する
請求項18に記載のオーディオ信号処理装置。
【手続補正書】
【提出日】2022-07-08
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
第1エレメント信号を含むオーディオ信号をレンダリングするオーディオ信号処理装置において、
前記オーディオ信号と第1エレメント基準距離情報を含むメタデータを獲得し、前記第1エレメント基準距離情報は前記第1エレメント信号の基準距離を指示し、前記第1エレメント基準距離情報に基づいて前記第1エレメント信号をレンダリングするプロセッサを含み、
前記オーディオ信号は、前記第1エレメント信号と同時にレンダリングされる第2エレメント信号を含み、
前記メタデータは、前記第2エレメント信号の距離を指示する第2エレメント距離情報を含み、
前記第1エレメント基準距離情報を示すために必要なビット数は、前記第2エレメント距離情報を示すために必要なビット数より少なく、
前記第1エレメント基準距離情報が示す基準距離のセット(set)は、前記第2エレメント距離情報が示す距離のセット(set)のサブセット(subset)であり、
前記第1エレメント信号は、チャネル信号又はアンビソニック信号であり、前記第2エレメント信号は、オブジェクト信号であり、
前記第1エレメント信号の基準距離は、前記オーディオ信号が表現する仮想空間で聴者がスイートスポットに位置する際に前記第1エレメント信号を再生するために必要なスピーカレイアウトの円周と前記聴者との間の距離を示し、
前記第1エレメント基準距離情報が指示し得る最小基準距離は、0より大きい予め指定された正の数である、
オーディオ信号処理装置。
【請求項2】
前記第1エレメント基準距離情報は、指数関数を使用して前記第1エレメント信号の基準距離を指示する
請求項1に記載のオーディオ信号処理装置。
【請求項3】
前記第1エレメント基準距離情報は、前記指数関数の指数の値を決定する
請求項2に記載のオーディオ信号処理装置。
【請求項4】
前記第1エレメント基準距離情報を示すために使用されるビット数は7ビットであり、
前記第2エレメント距離情報を示すために使用されるビット数は9ビットである
請求項3に記載のオーディオ信号処理装置。
【請求項5】
前記プロセッサは、
下記数式を使用して前記第1エレメント基準距離情報から前記第1エレメント信号の基準距離を獲得し、
Reference distance = 0.01 * 2^(0.0472188798661443 *(bs_Reference_Distance + 119))
前記Reference distanceは前記第1エレメント信号の基準距離であり、前記第1エレメント信号の基準距離の単位はメートル(m)であり、
前記bs_Reference_Distanceは前記第1エレメント基準距離情報であり、
前記第1エレメント基準距離情報の値は0から127までの整数である
請求項4に記載のオーディオ信号処理装置。
【請求項6】
前記第2エレメント距離情報が示し得る値は0から511までの整数であり、
前記プロセッサは、
前記第2エレメント距離情報の値が0であれば、前記第2エレメント信号の距離が0であると判断し、
前記第2エレメント距離情報の値が1から511であれば、下記数式を使用して前記第2エレメント距離情報から前記第2エレメント信号の距離を獲得し、
Distance = 0.01 * 2^(0.0472188798661443 *(Position_Distance - 1))
前記Distanceは前記第2エレメント信号の距離であり、前記第2エレメント信号の距離の単位はメートル(m)であり、
前記Position_Distanceは第2エレメント距離情報である
請求項5に記載のオーディオ信号処理装置。
【請求項7】
前記プロセッサは、
前記第1エレメント基準距離情報が定義されていなければ、前記第1エレメント基準距離情報が第1エレメントデフォルト基準距離を指示するとみなし、
前記第2エレメント距離情報が定義されていなければ、前記第2エレメント距離情報が第2エレメントデフォルト距離を指示するとみなし、
前記第1エレメントデフォルト基準距離と前記第2エレメントデフォルト距離は同じ値である
請求項1に記載のオーディオ信号処理装置。
【請求項8】
前記プロセッサは、
前記第1エレメント基準距離情報に基づいて前記第1エレメント信号がレンダリングされた音響出力のラウドネスを調整し、前記第2エレメント距離情報に基づいて前記第2エレメント信号がレンダリングされた音響出力のラウドネスを調整する
請求項1に記載のオーディオ信号処理装置。
【請求項9】
前記プロセッサは、
前記第1エレメント基準距離情報に基づいて前記第1エレメント信号にディレイを適用し、前記第2エレメント距離情報に基づいて前記第2エレメント信号にディレイを適用する
請求項1に記載のオーディオ信号処理装置。
【請求項10】
前記第1エレメント信号はチャネル信号であり、
前記オーディオ信号はアンビソニック信号を更に含み、
前記プロセッサは、
前記第1エレメント信号の基準距離に基づいて前記チャネル信号と前記アンビソニック信号をレンダリングする
請求項1に記載のオーディオ信号処理装置。
【請求項11】
前記第1エレメント信号はチャネル信号であり、
前記オーディオ信号はアンビソニック信号を更に含み、
前記メタデータは、前記チャネル信号の基準距離を指示するチャネル基準距離情報と前記アンビソニック信号の基準距離を指示するアンビソニック基準距離情報を含み、
前記プロセッサは、
前記チャネル基準距離情報に基づいて前記チャネル信号をレンダリングし、前記アンビソニック基準距離情報に基づいて前記アンビソニック信号をレンダリングする
請求項1に記載のオーディオ信号処理装置。
【請求項12】
前記プロセッサは、
前記第1エレメント基準距離情報に基づいて前記第2エレメント信号をレンダリングする
請求項1に記載のオーディオ信号処理装置。
【請求項13】
第1エレメント信号を含むオーディオ信号をエンコーディングするオーディオ信号処理装置において、
前記第1エレメント信号の基準距離を指示する第1エレメント基準距離情報を設定し、前記第1エレメント基準距離情報を含むメタデータを生成するプロセッサを含み、
前記オーディオ信号は第2エレメント信号を含み、
前記メタデータは前記第2エレメント信号の距離を指示する第2エレメント距離情報を含み、
前記第1エレメント基準距離情報の指示に使用されるビット数は、第2エレメント距離情報の指示に使用されるビット数より少なく、
前記第1エレメント基準距離情報が示す基準距離のセット(set)は、前記第2エレメント距離情報が示す距離のセット(set)のサブセット(subset)であり、
前記第1エレメント信号は、チャネル信号又はアンビソニック信号であり、前記第2エレメント信号は、オブジェクト信号であり、
前記第1エレメント信号の基準距離は、前記オーディオ信号が表現する仮想空間で聴者がスイートスポットに位置する際に前記第1エレメント信号を再生するために必要なスピーカレイアウトの円周と前記聴者との間の距離を示し、
前記第1エレメント基準距離情報が指示し得る最小基準距離は、0より大きい予め指定された正の数である、
オーディオ信号処理装置。
【請求項14】
前記第1エレメント基準距離情報は、指数関数を使用して前記第1エレメント信号の基準距離を指示する
請求項13に記載のオーディオ信号処理装置。
【請求項15】
前記第1エレメント基準距離情報は、前記指数関数の指数の値を決定する
請求項14に記載のオーディオ信号処理装置。
【請求項16】
前記第1エレメント基準距離情報を示すために使用必要なビット数は7ビットであり、前記第2エレメント距離情報を示すために必要なビット数は9ビットである
請求項15に記載のオーディオ信号処理装置。
【請求項17】
前記プロセッサは、
前記第1エレメント基準距離情報が以下の数式によって前記第1エレメント信号の基準距離を指示するよう、前記第1エレメント基準距離情報の値を設定し、
Reference distance = 0.01 * 2^(0.0472188798661443 *(bs_Reference_Distance + 119))
前記Reference distanceは前記第1エレメント信号の基準距離であり、前記第1エレメント信号の基準距離の単位はメートル(m)であり、
前記bs_Reference_Distanceは前記第1エレメント基準距離情報であり、
前記第1エレメント基準距離情報の値は0から127までの整数である
請求項16に記載のオーディオ信号処理装置。
【請求項18】
前記第2エレメント距離情報が示し得る値は0から511までの整数であり、
前記プロセッサは、
前記第2エレメント信号の距離が0であれば前記第2エレメント距離情報の値を0に設定し、
前記第2エレメント信号の距離が0ではなければ、前記第2エレメント距離情報が以下の数式によって前記第2エレメント信号の距離を指示するように前記第2エレメント距離情報の値を設定し、
Distance = 0.01 * 2^(0.0472188798661443 *(Position_Distance - 1))
前記Distanceは前記第2エレメント信号の基準距離であり、前記第2エレメント信号の距離の単位はメートル(m)であり、
前記Position_Distanceは前記第2エレメント距離情報であり、
前記第2エレメント距離情報の値は1から511までの整数である
請求項17に記載のオーディオ信号処理装置。
【請求項19】
前記第1エレメント基準距離情報が定義されていなければ、前記第1エレメント基準距離情報は第1エレメントデフォルト基準距離を指示するとみなされ、
前記第2エレメント距離情報が定義されていなければ、前記第2エレメント距離情報は第2エレメントデフォルト距離を指示するとみなされ、
前記第1エレメントデフォルト基準距離と前記第2エレメントデフォルト距離は同じ値である
請求項13に記載のオーディオ信号処理装置。