▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧 ▶ ドルビー・インターナショナル・アーベーの特許一覧
特表2022-553111チャネルベースオーディオからオブジェクトベースオーディオへの変換のためのシステム、方法、及び機器
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-21
(54)【発明の名称】チャネルベースオーディオからオブジェクトベースオーディオへの変換のためのシステム、方法、及び機器
(51)【国際特許分類】
H04S 3/00 20060101AFI20221214BHJP
H04R 3/00 20060101ALI20221214BHJP
G10K 15/02 20060101ALI20221214BHJP
G10L 19/008 20130101ALI20221214BHJP
H04S 7/00 20060101ALI20221214BHJP
【ＦＩ】
H04S3/00 800
H04R3/00 310
G10K15/02
G10L19/008 100
G10L19/008 200
H04S7/00 310
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022532868
(86)(22)【出願日】2020-12-02
(11)【特許番号】
(45)【特許公報発行日】2022-12-02
(85)【翻訳文提出日】2022-07-27
(86)【国際出願番号】 US2020062873
(87)【国際公開番号】W WO2021113350
(87)【国際公開日】2021-06-10
(31)【優先権主張番号】19212906.2
(32)【優先日】2019-12-02
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】62/942,322
(32)【優先日】2019-12-02
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(71)【出願人】
【識別番号】510185767
【氏名又は名称】ドルビー・インターナショナル・アーベー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ウォード，マイケル シー．
(72)【発明者】
【氏名】サンチェス，フレディー
(72)【発明者】
【氏名】フェルシュ，クリストフ
【テーマコード（参考）】
5D162
5D208
5D220
【Ｆターム（参考）】
5D162AA02
5D162BA09
5D162BA10
5D162CA04
5D162CB16
5D162CD13
5D208BF02
5D220AA11
5D220AA50
(57)【要約】
チャネルベースオーディオ（CBA）（例えば、２２.２chオーディオ）からオブジェクトベースオーディオ（OBA）への変換のための実施形態が開示される。変換は、CBAメタデータをオブジェクトオーディオメタデータ（OAMD）に変換すること、及びOAMDのチャネル順序制約に従い導出されるチャネルシャッフル情報に基づき、CBAチャネルを並べ替えることを含む。並べ替えたチャネルを有するOBAは、OAMDを用いて、再生装置で、又はセットトップボックス若しくはオーディオ／ビデオレコーダのようなソース装置でレンダリングされる、実施形態では、CBAメタデータは、メタデータの変換において使用されるべき特定のOAMD表現を示すシグナリングを含む。実施形態では、予め計算されたOAMDは、ソース装置におけるレンダリングのため又は（例えばHDMI（登録商標）を介する）送信のためにネイティブオーディオビットストリーム（例えば、AAC）の中で送信される。実施形態では、予め計算されたOAMDは、トランスポート層ビットストリーム（例えば、ISO BMFF、MPEG４オーディオビットストリーム）の中で再生装置又はソース装置へ送信される。
【特許請求の範囲】
【請求項1】
方法であって、オーディオ処理機器の１つ以上のプロセッサにより、チャネルベースオーディオと関連するチャネルベースオーディオメタデータとを含むビットストリームを受信するステップ、を含み、
前記１つ以上のプロセッサは、
前記チャネルベースオーディオメタデータからシグナリングパラメータをパースし、前記シグナリングパラメータは、複数の異なるオブジェクトオーディオメタデータ（OAMD）表現のうちの１つを示し、前記OAMD表現のうちの各OAMD表現は、前記チャネルベースオーディオの１つ以上のオーディオチャネルを１つ以上のオーディオオブジェクトにマッピングし、
前記シグナリングパラメータにより示されるOAMD表現を用いて、前記チャネルベースオーディオメタデータを前記１つ以上のオーディオオブジェクトに関連付けられたOAMDに変換し、
前記OAMDのチャネル順序制約に基づき、チャネルシャッフル情報を生成し、
前記チャネルシャッフル情報に基づき前記チャネルベースオーディオの１つ以上のオーディオチャネルを並べ替えて、並べ替えチャネルベースオーディオを生成し、
前記OAMDを用いて、前記並べ替えチャネルベースオーディオをレンダリングオーディオにレンダリングするか、又は、
前記並べ替えチャネルベースオーディオ及び前記OAMDをオブジェクトベースオーディオビットストリームに符号化し、前記オブジェクトベースオーディオビットストリームを再生装置又はソース装置へ送信する、
よう構成される、方法。
【請求項2】
前記ビットストリームは、ネイティブオーディオビットストリームであり、前記方法は、前記ネイティブオーディオビットストリームを復号して、前記チャネルベースオーディオ及びメタデータを決定するステップ、を更に含む請求項１に記載の方法。
【請求項3】
前記ネイティブオーディオビットストリームは、高度オーディオコーディング（AAC）ビットストリームである、請求項２に記載の方法。
【請求項4】
前記チャネルベースオーディオ及び前記関連するチャネルベースオーディオメタデータは、各々N.Mチャネルベースオーディオ及び前記N.Mチャネルベースオーディオに関連付けられたチャネルベースオーディオメタデータであり、Nは９より大きい正の整数であり、Mは０以上の正の整数である、請求項１～３のいずれかに記載の方法。
【請求項5】
前記チャネルベースオーディオは２２.２である、請求項４に記載の方法。
【請求項6】
前記ソース装置は、テレビセットトップボックス、又はオーディオ／ビデオ受信機である、請求項１～５のいずれかに記載の方法。
【請求項7】
OAMDベッドチャネルにより表現できるチャネルベースオーディオの第１チャネルセットを決定するステップと、前記第１チャネルセットにOAMDベッドチャネルラベルを割り当てるステップと、
OAMDベッドチャネルにより表現できないチャネルベースオーディオの第２チャネルセットを決定するステップと、
前記第２チャネルセットに静的OAMD位置座標を割り当てるステップと、
を更に含む請求項１～６のいずれかに記載の方法。
【請求項8】
前記OAMDは、前記レンダリングオーディオの中の１つ以上のスクリーン外オーディオオブジェクトの音量レベルを下げる次元トリミングデータを含む、請求項１～７のいずれかに記載の方法。
【請求項9】
前記OAMDは、前記チャネルベースオーディオのダウンミキシング値の間の差の補償、及び前記チャネルベースオーディオのOAMD表現のレンダリングを可能にするオブジェクト利得を含む、請求項１～８のいずれかに記載の方法。
【請求項10】
方法であって、オーディオ処理機器の１つ以上のプロセッサにより、チャネルベースオーディオと関連するチャネルベースオーディオメタデータとを含むビットストリームを受信するステップ、を含み、
前記１つ以上のプロセッサは、
前記チャネルベースオーディオをネイティブオーディオビットストリームに符号化し、
前記チャネルベースオーディオメタデータからシグナリングパラメータをパースし、前記シグナリングパラメータは、複数の異なるオブジェクトオーディオメタデータ（OAMD）表現のうちの１つを示し、前記OAMD表現のうちの各OAMD表現は、前記チャネルベースオーディオの１つ以上のオーディオチャネルを１つ以上のオーディオオブジェクトにマッピングし、
前記シグナリングパラメータにより示されるOAMD表現を用いて、前記チャネルベースメタデータを前記１つ以上のオーディオオブジェクトに関連付けられたOAMDに変換し、
前記OAMDのチャネル順序制約に基づき、チャネルシャッフル情報を生成し、
前記ネイティブオーディオビットストリーム、前記チャネルシャッフル情報、及び前記OAMDを含むビットストリームパッケージを生成し、前記チャネルシャッフル情報は、再生装置又はソース装置において、前記チャネルシャッフル情報に基づき前記チャネルベースオーディオの１つ以上のオーディオチャネルを並べ替えて、並べ替えチャネルベースオーディオを生成することを可能にし、
前記ビットストリームパッケージをトランスポート層ビットストリームに多重化し、
前記トランスポート層ビットストリームを前記再生装置又は前記ソース装置へ送信する、
よう構成される、方法。
【請求項11】
前記ネイティブオーディオビットストリームは、高度オーディオコーディング（AAC）ビットストリームである、請求項１０に記載の方法。
【請求項12】
前記チャネルベースオーディオ及び前記関連するチャネルベースオーディオメタデータは、各々N.Mチャネルベースオーディオ及び前記N.Mチャネルベースオーディオに関連付けられたチャネルベースオーディオメタデータであり、Nは７より大きい正の整数であり、Mは０以上の正の整数である、請求項１０又は１１に記載の方法。
【請求項13】
前記チャネルベースオーディオは２２.２である、請求項１２に記載の方法。
【請求項14】
前記ソース装置は、テレビセットトップボックス、又はオーディオ／ビデオ受信機である、請求項１０～１３のいずれかに記載の方法。
【請求項15】
OAMDベッドチャネルラベルにより表現できるチャネルベースオーディオの中のチャネルは、前記OAMDベッドチャネルラベルを使用し、OAMDベッドチャネルラベルにより表現できないチャネルベースオーディオの中のチャネルは、静的オブジェクト位置を使用し、各静的オブジェクト位置は、OAMD位置座標で記述される、請求項１０～１４のいずれかに記載の方法。
【請求項16】
前記OAMDは、レンダリングされるオーディオの中の１つ以上のスクリーン外オーディオオブジェクトの音量レベルを下げる次元トリミングデータを含む、請求項１０～１５のいずれかに記載の方法。
【請求項17】
前記OAMDは、前記チャネルベースオーディオのダウンミキシング値の間の差の補償、及び前記チャネルベースオーディオのOAMD表現のレンダリングを可能にするオブジェクト利得を含む、請求項１０～１６のいずれかに記載の方法。
【請求項18】
前記トランスポート層ビットストリームは、動画専門家グループ（MPEG）オーディオビットストリームの拡張フィールドの中のOAMDの存在を示す信号を含むMPEGオーディオビットストリームである請求項１０～１７のいずれかに記載の方法。
【請求項19】
前記MPEGオーディオビットストリームの中のOAMDの存在を示す前記信号は、サラウンド音声モードをシグナリングするための前記MPEGオーディオビットストリームの中の予約メタデータフィールドに含まれる、請求項１８に記載の方法。
【請求項20】
方法であって、オーディオ処理機器の１つ以上のプロセッサにより、ビットストリームパッケージを含むトランスポート層ビットストリームを受信するステップであって、前記ビットストリームパッケージは、符号化されたチャネルベースオーディオ、チャネルシャッフル情報、及びオブジェクトオーディオメタデータ（OAMD）を含むネイティブオーディオビットストリームを含む、ステップを含み、
前記１つ以上のプロセッサは、
前記トランスポート層ビットストリームを逆多重化して、前記ビットストリームパッケージを決定し、
前記ビットストリームパッケージを復号して、前記チャネルベースオーディオ、前記チャネルシャッフル情報、及び前記オブジェクトオーディオメタデータ（OAMD）を決定し、
前記チャネルシャッフル情報に基づき前記チャネルベースオーディオのオーディオチャネルを並べ替えて、並べ替えチャネルベースオーディオを生成し、
前記OAMDを用いて、前記並べ替えチャネルベースオーディオをレンダリングオーディオにレンダリングするか、又は、
前記並べ替えチャネルベースオーディオ及び前記OAMDをオブジェクトベースオーディオビットストリームに符号化し、前記オブジェクトベースオーディオビットストリームをソース装置へ送信する、
よう構成される、方法。
【請求項21】
前記ネイティブオーディオビットストリームは、高度オーディオコーディング（AAC）ビットストリームである、請求項２０に記載の方法。
【請求項22】
前記チャネルベースオーディオは、N.Mチャネルベースオーディオであり、Nは７より大きい正の整数であり、Mは０以上の正の整数である、請求項２０又は２１に記載の方法。
【請求項23】
前記チャネルベースオーディオは２２.２である、請求項２２に記載の方法。
【請求項24】
OAMDベッドチャネルにより表現できるチャネルベースオーディオの第１チャネルセットを決定するステップと、前記第１チャネルセットにOAMDベッドチャネルラベルを割り当てるステップと、
OAMDベッドチャネルにより表現できないチャネルベースオーディオの第２チャネルセットを決定するステップと、
前記第２チャネルセットに静的OAMD位置座標を割り当てるステップと、
を更に含む請求項２０～２３のいずれかに記載の方法。
【請求項25】
前記OAMDは、前記レンダリングオーディオの中の１つ以上のスクリーン外オブジェクトの音量レベルを下げる次元トリミングデータを含む、請求項２０～２４のいずれかに記載の方法。
【請求項26】
前記OAMDは、前記チャネルベースオーディオのダウンミキシング値の間の差の補償、及び前記チャネルベースオーディオのOAMD表現のレンダリングを可能にするオブジェクト利得を含む、請求項２０～２５のいずれかに記載の方法。
【請求項27】
前記トランスポート層ビットストリームは、動画専門家グループ（MPEG）オーディオビットストリームの拡張フィールドの中のOAMDの存在を示す信号を含むMPEGオーディオビットストリームである請求項２０～２６のいずれかに記載の方法。
【請求項28】
前記MPEGオーディオビットストリームの中のOAMDの存在を示す前記信号は、サラウンド音声モードをシグナリングするための前記MPEGオーディオビットストリームのメタデータの中のデータ構造の予約フィールドに含まれる、請求項２０～２７のいずれかに記載の方法。
【請求項29】
機器であって、１つ以上のプロセッサと、
命令を格納している非一時的コンピュータ可読記憶媒体であって、前記命令は、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、請求項１～２８のいずれかに記載の方法を実行させる、非一時的コンピュータ可読記憶媒体と、
を含む機器。
【請求項30】
命令を格納している非一時的コンピュータ可読記憶媒体であって、前記命令は、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、請求項１～２８のいずれかに記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願の相互参照］
本願は、米国仮特許出願番号第６２/９４２,３２２号、２０１９年１２月２日出願、及び欧州特許出願番号第１９２１２９０６.２号、２０１９年１２月２日出願の優先権を主張する。両出願は、参照によりその全体がここに組み込まれる。
本願は、米国仮特許出願番号第６２/９４２,３２２号、２０１９年１２月２日出願、及び欧州特許出願番号第１９２１２９０６.２号、２０１９年１２月２日出願の優先権を主張する。両出願は、参照によりその全体がここに組み込まれる。
【0002】
［技術分野］
本開示は、概して、チャネルベースオーディオからオブジェクトベースオーディオへの変換を含むオーディオ信号処理に関する。
本開示は、概して、チャネルベースオーディオからオブジェクトベースオーディオへの変換を含むオーディオ信号処理に関する。
【背景技術】
【0003】
チャネルベースオーディオ（channel-based audio （CBA））コーディングでは、トラックのセットをチャネル構成に関連付けることにより、トラックのセットは、暗示的に特定のラウドスピーカに割り当てられる。再生スピーカ構成がコーディングチャネル構成と異なる場合、ダウンミキシング又はアップミキシング仕様は、利用可能スピーカにオーディオを再分配することを要求する。この枠組みは、よく知られており、復号端におけるチャネル構成が予め決定できるか、妥当な確実性で２.０、５.X、又は７.Xであると想定できるとき、機能する。しかしながら、新しいスピーカ編成（setup）の人気に伴い、再生のために使用されるスピーカ編成に関して想定を行うことができない。従って、CBAは、ソーススピーカレイアウトが復号端におけるスピーカレイアウトと一致しない場合に、表現を適応するための十分な方法を提供しない。これは、著作者のコンテンツをスピーカ構成と独立に良好に再生しようとするとき、問題を生じる。
【0004】
オブジェクトベースオーディオ（object-based audio （OBA））コーディングでは、個別に割り当てられたオブジェクト特性を含むメタデータと関連して、オブジェクトオーディオ要素を含むオブジェクトに、レンダリングが適用される。特性（例えば、x、y、z位置、又はチャネル位置）は、コンテンツ制作者がオーディオコンテンツがどのようにレンダリングされることを意図しているかをより明示的に指定する（つまり、それらは、要素をスピーカにどのようにレンダリングするかに制約を課す）。個々の音声要素は遙かに豊かなメタデータのセットに関連付けることができ、要素に意味を与えるので、オーディオを再生するスピーカ構成への適応の方法は、より少数のスピーカへどのようにレンダリングするかに関するより良好な情報を提供できる。
【0005】
ETSI TS １０２ ３６６[１]に定義された拡張AC-３（E-AC-３）のような、CBAコンテンツの送信のための幾つかの標準化フォーマットがある。既存の装置との互換性を保証するために、標準化CBAフォーマットと関連して、OBAをトランスポートするために、共同オブジェクトコーディング（joint object coding （JOC））が使用できる。JOCは、低ビットレートで没入型オーディオを提供する。これは、デコーダにおいてダウンミックスからのオーディオオブジェクトの再構成を可能にするパラメータサイド情報と一緒に、知覚オーディオコーディングアルゴリズムを用いて、没入型コンテンツのマルチチャネルダウンミックスを伝達することにより達成される。テレビ放送のような幾つかの適用では、コンテンツがOBA再生装置のインストールベースと互換性があるように、CBAコンテンツをOBAコンテンツとして表現することが望ましい。しかしながら、CBA及びOBAの標準化ビットストリームフォーマットは、全体的に互換性がない。
【発明の概要】
【0006】
CBAコンテンツをOBAコンテンツに変換する実施形態が開示される。特定の実施形態では、OBA互換再生装置で再生するために、２２.２チャネルコンテンツをOBAコンテンツに変換する。
【0007】
実施形態では方法は、
オーディオ処理機器の１つ以上のプロセッサにより、チャネルベースオーディオと関連するチャネルベースオーディオメタデータとを含むビットストリームを受信するステップ、を含み、
前記１つ以上のプロセッサは、
前記チャネルベースオーディオメタデータからシグナリングパラメータをパースし、前記シグナリングパラメータは、複数の異なるオブジェクトオーディオメタデータ（OAMD）表現のうちの１つを示し、前記OAMD表現のうちの各OAMD表現は、前記チャネルベースオーディオの１つ以上のオーディオチャネルを１つ以上のオーディオオブジェクトにマッピングし、
前記シグナリングパラメータにより示されるOAMD表現を用いて、前記チャネルベースオーディオメタデータを前記１つ以上のオーディオオブジェクトに関連付けられたOAMDに変換し、
前記OAMDのチャネル順序制約に基づき、チャネルシャッフル情報を生成し、
前記チャネルシャッフル情報に基づき前記チャネルベースオーディオの１つ以上のオーディオチャネルを並べ替えて、並べ替えチャネルベースオーディオを生成し、
前記OAMDを用いて、前記並べ替えチャネルベースオーディオをレンダリングオーディオにレンダリングするか、又は、
前記並べ替えチャネルベースオーディオ及び前記OAMDをオブジェクトベースオーディオビットストリームに符号化し、前記オブジェクトベースオーディオビットストリームを再生装置又はソース装置へ送信する、
よう構成される。
オーディオ処理機器の１つ以上のプロセッサにより、チャネルベースオーディオと関連するチャネルベースオーディオメタデータとを含むビットストリームを受信するステップ、を含み、
前記１つ以上のプロセッサは、
前記チャネルベースオーディオメタデータからシグナリングパラメータをパースし、前記シグナリングパラメータは、複数の異なるオブジェクトオーディオメタデータ（OAMD）表現のうちの１つを示し、前記OAMD表現のうちの各OAMD表現は、前記チャネルベースオーディオの１つ以上のオーディオチャネルを１つ以上のオーディオオブジェクトにマッピングし、
前記シグナリングパラメータにより示されるOAMD表現を用いて、前記チャネルベースオーディオメタデータを前記１つ以上のオーディオオブジェクトに関連付けられたOAMDに変換し、
前記OAMDのチャネル順序制約に基づき、チャネルシャッフル情報を生成し、
前記チャネルシャッフル情報に基づき前記チャネルベースオーディオの１つ以上のオーディオチャネルを並べ替えて、並べ替えチャネルベースオーディオを生成し、
前記OAMDを用いて、前記並べ替えチャネルベースオーディオをレンダリングオーディオにレンダリングするか、又は、
前記並べ替えチャネルベースオーディオ及び前記OAMDをオブジェクトベースオーディオビットストリームに符号化し、前記オブジェクトベースオーディオビットストリームを再生装置又はソース装置へ送信する、
よう構成される。
【0008】
実施形態では、前記チャネルベースオーディオ及びメタデータはネイティブオーディオビットストリームに含まれ、前記方法は、前記ネイティブオーディオビットストリームを復号して、前記チャネルベースオーディオ及びメタデータを復元する（つまり、決定する、又は抽出する）ステップ、を更に含む。
【0009】
実施形態では、前記チャネルベースオーディオ及びメタデータは、N.Mチャネルベースオーディオ及びメタデータであり、Nは９より大きい正の整数であり、Mは０以上の正の整数である。
【0010】
実施形態では、前記方法は、OAMDベッドチャネルにより表現できるチャネルベースオーディオの第１チャネルセットを決定するステップと、
前記第１チャネルセットにOAMDベッドチャネルラベルを割り当てるステップと、
OAMDベッドチャネルにより表現できないチャネルベースオーディオの第２チャネルセットを決定するステップと、
前記第２チャネルセットに静的OAMD位置座標を割り当てるステップと、
を更に含む。
前記第１チャネルセットにOAMDベッドチャネルラベルを割り当てるステップと、
OAMDベッドチャネルにより表現できないチャネルベースオーディオの第２チャネルセットを決定するステップと、
前記第２チャネルセットに静的OAMD位置座標を割り当てるステップと、
を更に含む。
【0011】
実施形態では、方法は、
オーディオ処理機器の１つ以上のプロセッサにより、チャネルベースオーディオとメタデータとを含むビットストリームを受信するステップを含み、
前記１つ以上のプロセッサは、
前記チャネルベースオーディオをネイティブオーディオビットストリームに符号化し、
前記メタデータからシグナリングパラメータをパースし、前記シグナリングパラメータは複数の異なるオブジェクトオーディオメタデータ（OAMD）表現のうちの１つを示し、
前記シグナリングパラメータにより示されるOAMD表現を用いて、前記チャネルベースメタデータをOAMDに変換し、
前記OAMDのチャネル順序制約に基づき、チャネルシャッフル情報を生成し、
前記ネイティブオーディオビットストリーム、前記チャネルシャッフル情報、及び前記OAMDを含むビットストリームパッケージを生成し、
前記パッケージをトランスポート層ビットストリームに多重化し、
前記トランスポート層ビットストリームを再生装置又はソース装置に送信する、よう構成される。
オーディオ処理機器の１つ以上のプロセッサにより、チャネルベースオーディオとメタデータとを含むビットストリームを受信するステップを含み、
前記１つ以上のプロセッサは、
前記チャネルベースオーディオをネイティブオーディオビットストリームに符号化し、
前記メタデータからシグナリングパラメータをパースし、前記シグナリングパラメータは複数の異なるオブジェクトオーディオメタデータ（OAMD）表現のうちの１つを示し、
前記シグナリングパラメータにより示されるOAMD表現を用いて、前記チャネルベースメタデータをOAMDに変換し、
前記OAMDのチャネル順序制約に基づき、チャネルシャッフル情報を生成し、
前記ネイティブオーディオビットストリーム、前記チャネルシャッフル情報、及び前記OAMDを含むビットストリームパッケージを生成し、
前記パッケージをトランスポート層ビットストリームに多重化し、
前記トランスポート層ビットストリームを再生装置又はソース装置に送信する、よう構成される。
【0012】
実施形態では、前記チャネルベースオーディオ及びメタデータは、N.Mチャネルベースオーディオ及びメタデータであり、Nは７より大きい正の整数であり、Mは０以上の正の整数である。
【0013】
実施形態では、OAMDベッドチャネルラベルにより表現できるチャネルベースオーディオの中のチャネルは、前記OAMDベッドチャネルラベルを使用し、OAMDベッドチャネルラベルにより表現できないチャネルベースオーディオの中のチャネルは、静的オブジェクト位置を使用し、各静的オブジェクト位置は、OAMD位置座標で記述される。
【0014】
実施形態では、前記トランスポートビットストリームは、動画専門家グループ（MPEG）オーディオビットストリームの拡張フィールドの中のOAMDの存在を示す信号を含むMPEGオーディオビットストリームである。
【0015】
実施形態では、前記MPEGオーディオビットストリームの中のOAMDの存在を示す前記信号は、サラウンド音声モードをシグナリングための前記MPEGオーディオビットストリームの中の予約メタデータフィールドに含まれる。
【0016】
実施形態では、方法は、
オーディオ処理機器の１つ以上のプロセッサにより、パッケージを含むトランスポート層ビットストリームを受信するステップを含み、
前記１つ以上のプロセッサは、
前記トランスポート層ビットストリームを逆多重化して、前記パッケージを復元し（つまり、決定し、又は抽出し）、
前記パッケージを復号して、ネイティブオーディオビットストリーム、チャネルシャッフル情報、及びオブジェクトオーディオメタデータ（OAMD）を復元し（つまり、決定し、又は抽出し）、
前記ネイティブオーディオビットストリームを復号して、チャネルベースオーディオ及びメタデータを復元し、
前記チャネルシャッフル情報に基づき、前記チャネルベースオーディオのチャネルを並べ替え、
前記OAMDを用いて、前記並べ替えチャネルベースオーディオをレンダリングオーディオにレンダリングするか、又は、
前記チャネルベースオーディオ及びOAMDをオブジェクトベースオーディオビットストリームに符号化し、前記オブジェクトベースオーディオビットストリームをソース装置へ送信する、よう構成される。
オーディオ処理機器の１つ以上のプロセッサにより、パッケージを含むトランスポート層ビットストリームを受信するステップを含み、
前記１つ以上のプロセッサは、
前記トランスポート層ビットストリームを逆多重化して、前記パッケージを復元し（つまり、決定し、又は抽出し）、
前記パッケージを復号して、ネイティブオーディオビットストリーム、チャネルシャッフル情報、及びオブジェクトオーディオメタデータ（OAMD）を復元し（つまり、決定し、又は抽出し）、
前記ネイティブオーディオビットストリームを復号して、チャネルベースオーディオ及びメタデータを復元し、
前記チャネルシャッフル情報に基づき、前記チャネルベースオーディオのチャネルを並べ替え、
前記OAMDを用いて、前記並べ替えチャネルベースオーディオをレンダリングオーディオにレンダリングするか、又は、
前記チャネルベースオーディオ及びOAMDをオブジェクトベースオーディオビットストリームに符号化し、前記オブジェクトベースオーディオビットストリームをソース装置へ送信する、よう構成される。
【0017】
実施形態では、前記チャネルベースオーディオ及びメタデータは、N.Mチャネルベースオーディオ及びメタデータであり、Nは７より大きい正の整数であり、Mは０以上の正の整数である。
【0018】
実施形態では、方法は、OAMDベッドチャネルにより表現できるチャネルベースオーディオの第１チャネルセットを決定するステップと、
前記第１チャネルセットにOAMDベッドチャネルラベルを割り当てるステップと、
OAMDベッドチャネルにより表現できないチャネルベースオーディオの第２チャネルセットを決定するステップと、
前記第２チャネルセットに静的OAMD位置座標を割り当てるステップと、
を更に含む。
前記第１チャネルセットにOAMDベッドチャネルラベルを割り当てるステップと、
OAMDベッドチャネルにより表現できないチャネルベースオーディオの第２チャネルセットを決定するステップと、
前記第２チャネルセットに静的OAMD位置座標を割り当てるステップと、
を更に含む。
【0019】
実施形態では、前記トランスポートビットストリームは、動画専門家グループ（MPEG）オーディオビットストリームの拡張フィールドの中のOAMDの存在を示す信号を含むMPEGオーディオビットストリームである。
【0020】
実施形態では、前記MPEGオーディオビットストリームの中のOAMDの存在を示す前記信号は、サラウンド音声モードをシグナリングための前記MPEGオーディオビットストリームのメタデータの中のデータ構造の予約メタデータフィールドに含まれる。
【0021】
実施形態では、機器は、
１つ以上のプロセッサと、
命令を格納している非一時的コンピュータ可読記憶媒体であって、前記命令は、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、本願明細書に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体と、
を含む。
１つ以上のプロセッサと、
命令を格納している非一時的コンピュータ可読記憶媒体であって、前記命令は、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、本願明細書に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体と、
を含む。
【0022】
本願明細書に開示される他の実施形態は、システム、機器、及びコンピュータ可読媒体を対象とする。開示される実装の詳細は、添付の図面及び以下の説明において説明される。他の特徴、目的、及び利点は、説明、図面、及び請求項から明らかになる。
【0023】
本願明細書に開示される特定の実施形態は、以下の利点のうちの１つ以上を提供する。OBA互換再生装置の既存のインストールされたベースは、再生装置のハードウェアコンポーネントを置き換えることなく、既存の規格に基づくネイティブオーディオ及びトランスポートビットストリームフォーマットを用いて、CBAコンテンツをOBAコンテンツに変換できる。
【図面の簡単な説明】
【0024】
以下で参照される添付の図面において、種々の実施形態は、ブロック図、フローチャート、及び他の図で示される。フローチャート又はブロック内の各ブロックは、指定された論理機能を実行するための１つ以上の実行可能命令を含むモジュール、プログラム、又はコードの部分を表してよい。これらのブロックは方法のステップを実行するために特定の順序で示されるが、それらは、必ずしも、図示された順序に厳密に従い実行される必要はない。例えば、それらは、各々の動作の特性に依存して、逆の順序で又は同時に実行されるかもしれない。留意すべき子ｔに、ブロック図及び／又はフローチャートの中の各ブロック、及びそれらの組合せは、指定された機能／動作を実行する専用ソフトウェアベース又はハードウェアベースシステムにより、又は専用ハードウェア及びコンピュータ命令の組合せにより、実施されてよい。
【0025】
【図1A】実施形態による、２つの異なるオブジェクトオーディオメタデータ（OAMD）表現のベッドチャネル及びオブジェクト位置を示す表である。
【0026】
【図1B】実施形態による、２つの異なるOAMD表現のベッドチャネル割り当て及びチャネル順序を示す表である。
【0027】
【図2A】実施形態による、次元トリミングメタデータを示す表である。
【0028】
【図2B】実施形態による、トリミング／バランス制御を示す表である。
【0029】
【図3】実施形態による、ビットストリーム符号化を用いずに、２２.２チャネルオーディオビットストリームをオーディオオブジェクト及びOAMDに変換するシステムのブロック図である。
【0030】
【図4】実施形態による、ビットストリーム符号化を用いて、２２.２チャネルオーディオビットストリームをオーディオオブジェクト及びOAMDに変換するシステムのブロック図である。
【0031】
【図5】実施形態による、ソース装置におけるレンダリングのために、２２.２チャネルオーディオビットストリームをオーディオオブジェクト及びOAMDに変換するシステムのブロック図である。
【0032】
【図6A】実施形態による、外部レンダリングのために、高精細度マルチメディアインタフェース（HDMI（登録商標））を介して送信するために、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換するシステムのブロック図である。
【図6B】実施形態による、外部レンダリングのために、高精細度マルチメディアインタフェース（HDMI）を介して送信するために、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換するシステムのブロック図である。
【0033】
【図7A】実施形態による、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換するシステムのブロック図であり、チャネルシャッフル情報及びOAMDがネイティブオーディオビットストリーム内にパッケージされる。
【図7B】実施形態による、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換するシステムのブロック図であり、チャネルシャッフル情報及びOAMDがネイティブオーディオビットストリーム内にパッケージされる。
【図7C】実施形態による、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換するシステムのブロック図であり、チャネルシャッフル情報及びOAMDがネイティブオーディオビットストリーム内にパッケージされる。
【0034】
【図8A】実施形態による、ソース装置におけるレンダリングのために、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換するシステムのブロック図であり、ソース装置におけるレンダリングのために、チャネルシャッフル情報及びOAMDがネイティブオーディオビットストリーム内にパッケージされる。
【図8B】実施形態による、ソース装置におけるレンダリングのために、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換するシステムのブロック図であり、ソース装置におけるレンダリングのために、チャネルシャッフル情報及びOAMDがネイティブオーディオビットストリーム内にパッケージされる。
【0035】
【図9A】実施形態による、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換するシステムのブロック図であり、ソース装置に供給するために、チャネルシャッフル情報及びOAMDがトランスポート層に埋め込まれ、次にHDMIを介して送信するために、ネイティブオーディオビットストリーム内にパッケージされる。
【図9B】実施形態による、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換するシステムのブロック図であり、ソース装置に供給するために、チャネルシャッフル情報及びOAMDがトランスポート層に埋め込まれ、次にHDMIを介して送信するために、ネイティブオーディオビットストリーム内にパッケージされる。
【図9C】実施形態による、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換するシステムのブロック図であり、ソース装置に供給するために、チャネルシャッフル情報及びOAMDがトランスポート層に埋め込まれ、次にHDMIを介して送信するために、ネイティブオーディオビットストリーム内にパッケージされる。
【0036】
【図10A】実施形態による、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換するシステムのブロック図であり、ソース装置におけるレンダリングのために、チャネルシャッフル情報及びOAMDが、トランスポート層に埋め込まれる。
【図10B】実施形態による、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換するシステムのブロック図であり、ソース装置におけるレンダリングのために、チャネルシャッフル情報及びOAMDが、トランスポート層に埋め込まれる。
【0037】
【図11】実施形態による、CBAからOBAへの変換処理のフロー図である。
【0038】
【図12】実施形態による、代替のCBAからOBAへの変換処理のフロー図である。
【0039】
【図13】実施形態による、代替のCBAからOBAへの変換処理のフロー図である。
【0040】
【図14】実施形態による、代替のCBAからOBAへの変換処理のフロー図である。
【0041】
【図15】実施形態による、代替のCBAからOBAへの変換処理のフロー図である。
【0042】
【図16】実施形態による、代替のCBAからOBAへの変換処理のフロー図である。
【0043】
【図17】実施形態による、チャネルオーディオからオブジェクトオーディオへの変換を含む例示的なオーディオシステムアーキテクチャのブロック図である。
【0044】
種々の図面で使用される同じ参照符号は同様の要素を示す。
【発明を実施するための形態】
【0045】
＜＜概要＞＞
オブジェクトオーディオメタデータ（Object Audio Metadata （OAMD））は、例えばETSI TS １０３ ４２０ v１.２.１（２０１８-１０）に記載されたメタデータのような、OBA処理のためのメタデータのコーディングビットストリーム表現である。OAMDビットストリームは、例えばETSI TS １０２ ３６６[１]に指定されたような拡張可能メタデータ配信フォーマット（Extensible Metadata Delivery Format （EMDF））コンテナの中で運ばれてよい。OAMDは、オーディオオブジェクトをレンダリングするために使用される。レンダリング情報は、動的に変化してよい（例えば、利得及び位置）。OAMDビットストリーム要素は、コンテンツ記述メタデータ、オブジェクト特性メタデータ、特性更新メタデータ、及び他のメタデータを含んでよい。
オブジェクトオーディオメタデータ（Object Audio Metadata （OAMD））は、例えばETSI TS １０３ ４２０ v１.２.１（２０１８-１０）に記載されたメタデータのような、OBA処理のためのメタデータのコーディングビットストリーム表現である。OAMDビットストリームは、例えばETSI TS １０２ ３６６[１]に指定されたような拡張可能メタデータ配信フォーマット（Extensible Metadata Delivery Format （EMDF））コンテナの中で運ばれてよい。OAMDは、オーディオオブジェクトをレンダリングするために使用される。レンダリング情報は、動的に変化してよい（例えば、利得及び位置）。OAMDビットストリーム要素は、コンテンツ記述メタデータ、オブジェクト特性メタデータ、特性更新メタデータ、及び他のメタデータを含んでよい。
【0046】
実施形態では、コンテンツ記述メタデータは、OAMDペイロードシンタックスのバージョン、合計オブジェクト数、オブジェクトタイプ、及びプログラム構成物を含む。オブジェクト特性メタデータは、部屋にアンカーされた（anchored）、画面にアンカーされた、又はスピーカにアンカーされた座標のオブジェクト位置、オブジェクトサイズ（幅、深さ、高さ）、優先度（オブジェクトに重要度による順序を課し、オブジェクトについて優先度が高いほど重要度が高い）、利得（オブジェクトにカスタム利得値を適用するために使用される）、チャネルロック（オブジェクトのレンダリングを単一のスピーカに制約するために使用され、オーディオの非拡散、音色ニュートラルな再生を提供する）、ゾーン制約（オブジェクトが除外される又は含まれる聴取環境のゾーン又はサブボリュームを指定する）、オブジェクト多様化（オブジェクトを２個のオブジェクトに変換するために使用され、エネルギがX軸に沿って広がる）、及びオブジェクトトリム（ミックス内で示されるスクリーン外要素のレベルを低下させるために使用される）を含む。
【0047】
実施形態では、特性更新メタデータは、全部の送信されたオブジェクトの更新に適用可能なタイミングデータをシグナリングする。送信された特性更新のタイミングデータは、先行する更新又は後続の更新及び連続する更新の間の補間処理のための時間期間を有する更新コンテキストと一緒に、更新の開始時間を指定する。OAMDビットストリームシンタックスは、各コーデックフレームにおいて、オブジェクト当たり最大８個の特性更新をサポートする。シグナリングされた更新の数、又は各特性更新の開始及び停止時間は、全部のオブジェクトについて同一である。メタデータは、前の特性更新のシグナリングされたオブジェクト特性値から現在の更新の値への補間のためのオーディオサンプル単位の時間期間を指定するOAMD内のランプ期間値の値を示す。
【0048】
実施形態では、タイミングデータは、開始サンプル値オフセット及びフレームオフセットを計算するためにデコーダにより使用されるサンプルオフセット値及びブロックオフセット値も含む。サンプルオフセットは、例えばETSI TS １０２ ３６６[１]、第H.２.２.３.１及びH.２.２.３.２節に指定されたような、OAMDペイロード内のデータが適用される最初のパルスコード変調（pulse code modulated （PCM））オーディオサンプルまでの、サンプル単位の時間オフセットである。ブロックオフセット値は、全部の特性更新に共通のサンプルオフセットからのオフセットとして、サンプル単位の時間期間を示す。
【0049】
実施形態では、デコーダは、対応するオブジェクト特性のオブジェクトオーディオ要素オーディオデータ及びタイムスタンプ付きメタデータ更新を含むOBAのためのインタフェースを提供する。インタフェースにおいて、デコーダは、タイムスタンプ付き更新の中で、復号されたオブジェクト毎のメタデータを提供する。各更新について、デコーダは、メタデータ更新構造の中で指定されたデータを提供する。
【0050】
＜＜例示的なCBAからOBAへの変換＞＞
以下の開示では、OAMDを用いて、CBAコンテンツをOBAに変換する技術が開示される。例示的な実施形態では、２２.２チャネル（「２２.２ch」）コンテンツは、OAMDを用いてOBAに変換される。本実施形態では、２２.２chコンテンツは、チャネルが位置付けられ、従ってダウンミキシング／レンダリングされる２つの定義された方法を有する。方法の選択は、２２.２chビットストリームに埋め込まれたdmix_pos_adj_idxパラメータのようなパラメータの値に依存してよい。２２.２ch位置をOAMD表現に変換するフォーマット変換器は、このパラメータの値に基づき、２つのOAMD表現のうちの１つを選択する。選択された表現は、再生装置（例えば、Dolby（登録商標）Atmos（登録商標）再生装置）に入力されるOBAビットストリーム（例えば、Dolby（登録商標）MATビットストリーム）内で運ばれる。例示的な２２.２chシステムは、Hamasaki２２.２である。Hamasaki２２.２は、NHK放送技術研究所により開発されたテレビジョン規格であるスーパーハイビジョンのサラウンド音声コンポーネントであり、３層に配置された（２個のサブウーハを含む）２４個のスピーカを使用する。
以下の開示では、OAMDを用いて、CBAコンテンツをOBAに変換する技術が開示される。例示的な実施形態では、２２.２チャネル（「２２.２ch」）コンテンツは、OAMDを用いてOBAに変換される。本実施形態では、２２.２chコンテンツは、チャネルが位置付けられ、従ってダウンミキシング／レンダリングされる２つの定義された方法を有する。方法の選択は、２２.２chビットストリームに埋め込まれたdmix_pos_adj_idxパラメータのようなパラメータの値に依存してよい。２２.２ch位置をOAMD表現に変換するフォーマット変換器は、このパラメータの値に基づき、２つのOAMD表現のうちの１つを選択する。選択された表現は、再生装置（例えば、Dolby（登録商標）Atmos（登録商標）再生装置）に入力されるOBAビットストリーム（例えば、Dolby（登録商標）MATビットストリーム）内で運ばれる。例示的な２２.２chシステムは、Hamasaki２２.２である。Hamasaki２２.２は、NHK放送技術研究所により開発されたテレビジョン規格であるスーパーハイビジョンのサラウンド音声コンポーネントであり、３層に配置された（２個のサブウーハを含む）２４個のスピーカを使用する。
【0051】
以下の開示は２２.２chコンテンツがOAMDを用いてOBAコンテンツに変換される実施形態を対象としているが、開示の実施形態は、標準化された又は独自のビットストリームフォーマットを含む任意のCBA又はOBAビットストリームフォーマット、及び任意の再生装置又はシステムに適用可能である。更に、以下の開示は、２２.２chからOBAへの変換に限定されず、任意のN.Mチャネルベースオーディオの変換にも適用可能である。ここで、Nは７より大きい正の整数であり、Mは０以上の正の整数である。
【0052】
本願明細書で使用されるとき、用語「含む」及びその変形は、「含む（include）が、それに限定されない」を意味する広義の用語として解釈される。用語「又は」は、文脈上明確に示されない限り、「及び／又は」として解釈される。用語「に基づく」は、「少なくとも部分的に基づく」として解釈される。用語「１つの例示的な実施形態」及び「例示的な実施形態」は、「少なくとも１つの例示的な実施形態」として解釈されるべきである。用語「別の実施形態」は、「少なくとも１つの他の実施形態」として解釈されるべきである。更に、以下の説明及び請求の範囲では、特に断りのない限り、本願明細書で使用される全ての技術的及び科学的用語は、本開示が属する分野の当業者により一般的に理解されるものと同じ意味を有する。
【0053】
＜プログラム割り当て及びオブジェクト位置＞
本願では、２２.２chコンテンツ３０５（例えば、ファイル又はライブストリーム）は、フォーマット変換器３０１により受信される。コンテンツ３０５は、オーディオ及び関連付けられたメタデータを含む。メタデータは、dmix_pos_adj_idxパラメータを含む。該パラメータは、該パラメータの値に基づき、２つのOAMD表現のうちの１つを選択するためのものである。OAMDベッド（bed）チャネルラベルにより表現できるチャネルは、OAMDベッドチャネルラベルを使用する。OAMDベッドチャネルラベルにより表現できないチャネルは、静的オブジェクト位置を使用する。ここで、各静的オブジェクト位置は、例えばETSI TS １０３ ４２０ v１.２.１（２０１８-１０）に記載されるようなOAMD[x,y,z]位置座標で記述される。本願明細書で使用されるとき、「ベッド（bed）チャネル」は、複数のベッド（bed）オブジェクトのグループであり、「ベッドオブジェクト」は、再生システムのラウドスピーカへの割り当てにより空間的位置が固定される静的オブジェクトである。
本願では、２２.２chコンテンツ３０５（例えば、ファイル又はライブストリーム）は、フォーマット変換器３０１により受信される。コンテンツ３０５は、オーディオ及び関連付けられたメタデータを含む。メタデータは、dmix_pos_adj_idxパラメータを含む。該パラメータは、該パラメータの値に基づき、２つのOAMD表現のうちの１つを選択するためのものである。OAMDベッド（bed）チャネルラベルにより表現できるチャネルは、OAMDベッドチャネルラベルを使用する。OAMDベッドチャネルラベルにより表現できないチャネルは、静的オブジェクト位置を使用する。ここで、各静的オブジェクト位置は、例えばETSI TS １０３ ４２０ v１.２.１（２０１８-１０）に記載されるようなOAMD[x,y,z]位置座標で記述される。本願明細書で使用されるとき、「ベッド（bed）チャネル」は、複数のベッド（bed）オブジェクトのグループであり、「ベッドオブジェクト」は、再生システムのラウドスピーカへの割り当てにより空間的位置が固定される静的オブジェクトである。
【0054】
図１Aは、実施形態による、２つの異なるOAMD表現のベッドチャネル及びオブジェクト位置を示す表である。表の一番上の行は２４個の２２.２chラベルを含み、表の真ん中の行は、dmix_pos_adj_idx=０によりシグナリングされる第１OAMD表現のベッドチャネルラベル及びオブジェクト位置を含み、表の一番下の行はdmix_pos_adj_idx=１によりシグナリングされる第２OAMD表現のベッドチャネルラベル及びオブジェクト位置を含む。dmix_pos_adj_idx信号は、例示的な信号であり、ブールフラグ及び１つ以上のビットにより符号化される信号を含むがこれに限定されない任意の種類のシグナリングが使用できることに留意する。
【0055】
図１Aの表を参照すると、２２.２chラベルの幾つかの例は、FL（front-left）、FR（front-right）、FC（Front-center ）、LFE１（low-frequency effects １）、BL（back-left）、BR（back-right）、FLc（front-left-center）、FRc（front-right-center）、BC（back-center）、LFE２（low-frequency effects ２）、SIL（left-side）、SIR（right-side）、TpFL（top-front-left）、TpFR（top-front-right）、TpFC（top-front-center）、TpC（top-center）、TpBL（top-back-left）、TpBR（top-back-right）、TpSIL（top-side-left）、TpSIR（top-side-right）、TpBC（top-back-center）、BtFL（between-front-left）、BtFR（between-front-right）、及びBtFC（between-front-center）を含む。これらのラベルは、OAMDベッドチャネルラベル又は静的オブジェクト位置[x,y,z]のいずれかにマッピングされることに留意する。例えば、第１OAMD表現（dmix_pos_adj_idx=０）では、２２.２chラベルFLは静的オブジェクト位置[０,０.２５,０]にマッピングし、２２.２chラベルFRは静的オブジェクト位置[１,０.２５,０]にマッピングし、２２.２chラベルFCはOAMDベッドチャネルラベルCにマッピングする、等である。OAMD表現は、シグナリングパラメータ（例えばその値）に基づき、１つ以上のオーディオチャネルを１つ以上のオーディオオブジェクトにマッピングする。１つ以上のオーディオオブジェクトは、動的又は静的オーディオオブジェクトであってよい。上述のように、静的オーディオオブジェクトは、固定された空間的位置を有するオーディオオブジェクトである。動的オーディオオブジェクトは、空間的位置が時間に渡り変化され得るオーディオオブジェクトである。上述の例では、OAMD表現は、チャネルラベル、ベッドチャネルラベル、及び静的オブジェクト位置を含む。OAMD表現は、シグナリングパラメータ（例えばその値）に基づき、チャネルラベルを、ベッドチャネルラベル又は静的オブジェクト位置のいずれかにマッピングする。
【0056】
＜プログラム割り当て及びオブジェクト位置＞
OAMDは、ベッドオブジェクトが動的オブジェクトより先行すると想定する。更に、ベッドオブジェクトは特定の順序で現れる。これらの理由から、２２.２chコンテンツのオーディオは、OAMD順序制約を満たすために、オーディオチャネルシャッフラ３０３により並べ替えられる。オーディオチャネルシャッフラ３０３は、メタデータ生成器３０４からチャネルシャッフル情報を受信し、チャネルシャッフル情報を用いて、２２.２チャネルを並べ替える。
OAMDは、ベッドオブジェクトが動的オブジェクトより先行すると想定する。更に、ベッドオブジェクトは特定の順序で現れる。これらの理由から、２２.２chコンテンツのオーディオは、OAMD順序制約を満たすために、オーディオチャネルシャッフラ３０３により並べ替えられる。オーディオチャネルシャッフラ３０３は、メタデータ生成器３０４からチャネルシャッフル情報を受信し、チャネルシャッフル情報を用いて、２２.２チャネルを並べ替える。
【0057】
図１Bは、実施形態による、２つの異なるOAMD表現のベッドチャネル割り当て及びチャネル順序を示す表である。表の一番上の行は、２２.２chコンテンツ（Hamasaki２２.２）について想定されるチャネル順序（０～２３チャネル）及びチャネルラベルを示す。表の真ん中の行は、第１OAMD表現のベッド割り当てラベルを示す。表の一番下の行は、第２OAMD表現のベッド割り当てラベルを示す。変換されたオーディオ及びOAMDメタデータは、図３を参照すると、フォーマット変換器３０１により、レンダリングオーディオを生成するオブジェクトオーディオレンダラ３０２へと出力される。
【0058】
図１Bの表を参照すると、２２.２chコンテンツの最初の２個のチャネル（０，１）はFL及びFRである。第１OAMD表現（dmix_pos_adj_idx=０）では、最初の２個のチャネル（０，１）は、OAMDチャネル１５及びチャネル１６に各々並べ替えられる（「シャッフルされる」）。第２OAMD表現（dmix_pos_adj_idx=１）では、最初の２個のチャネル（０，１）は、OAMDチャネルL及びRに各々並べ替えられる。本例では、第１OAMD表現（dmix_pos_adj_idx=０）では、インデックス０を有する第１出力チャネルについて、第１OAMD表現をそれに関連付けるために、入力（例えば、Hamasaki ２２.２）のインデックス６は、インデックスチャネル０になるように並べ替えられ／シャッフルされる。言い換えると、本例では、左チャネルLが入力ベッドチャネルの中に存在する場合、第１OAMD表現の中のこの左チャネルは、強制的に（インデックスチャネル０を有する）第１チャネルにされる。ベッドチャネルの全部は、存在する場合には、OAMDで表現されるとき、特定の順序で現れる。ベッドチャネルが並べ替えられると、ベッドチャネルの並べ替えの結果として、動的オブジェクトが並べ替えられる。特定のOAMD表現順序制約を満たす並べ替え。制約は、OBA再生装置／システムにより使用されるOAMD使用に依存する。例えば、Dolby Atmosと互換性のあるOBA再生装置／システムでは、Dolby Atmosコンテンツを含むシステム及びコーデックにおいて送信されるOAMDは、Dolby Atmos OAMD仕様により指定される。これらの仕様／制約は、OAMDベッドチャネルの順序を決定する。例えば図１Aに示されるように及び以下のようになり、括弧内は対応するチャネルラベルである：Left（L）、right（R）、Center（C）、Low-Frequency Effects（LFE）、Left Surround（Ls）、Right Surround（Rs）、Left Rear Surround（Lrs）、Right Rear Surround（Rrs）、Left Front High（Lfh）、Right Front High（Rfh）、Left Top Middle（Ltm）、Right Top Middle（Rtm）、Left Rear High（Lrh）、Right Rear High（Rrh）、及びLow-Frequency Effects ２（LFE２）である。
【0059】
＜次元トリミングメタデータ＞
図２Aは、実施形態による、次元トリミングメタデータを示す表である。２２.２chコンテンツのOBAコンテンツへの並べ替えが２２.２ch仕様により指定されるダウンミックスと厳密に一致するようになることを保証するために、OBAレンダリング装置に配信される２２.２chコンテンツを伴うOAMDに次元トリミングメタデータが含まれる。オブジェクトtirmは、ミックスに含まれるスクリーン外要素のレベルを低下させるために使用される。これは、没入型ミックスが幾つかのラウドスピーカを有するレイアウトで再生されるとき、望ましい。
図２Aは、実施形態による、次元トリミングメタデータを示す表である。２２.２chコンテンツのOBAコンテンツへの並べ替えが２２.２ch仕様により指定されるダウンミックスと厳密に一致するようになることを保証するために、OBAレンダリング装置に配信される２２.２chコンテンツを伴うOAMDに次元トリミングメタデータが含まれる。オブジェクトtirmは、ミックスに含まれるスクリーン外要素のレベルを低下させるために使用される。これは、没入型ミックスが幾つかのラウドスピーカを有するレイアウトで再生されるとき、望ましい。
【0060】
実施形態では、第１メタデータフィールドは、パラメータwarp_modeを含む。該パラメータは、値「０」に設定された場合、５.１X出力構成におけるオブジェクトの通常レンダリング（つまり、ワーピング無し）を示す。warp_modeが値「１」に設定された場合、５.１X出力構成において、オブジェクトにワーピングが適用される。ワープは、レンダラが聴取環境（例えば、部屋）の中央点と背後との間でパニングされるコンテンツをどのように扱うかを表す。ワープにより、コンテンツは、聴取環境の背後と中央点との間でサラウンドスピーカにおいて一定レベルで提示され、聴取環境の前半分になるまで、ファントムイメージングの必要を回避する。
【0061】
次元トリミングメタデータの表の中の第２メタデータフィールドは、図２Bに示されるような８個のスピーカ構成（例えば、２.０、５.１.０、７.１.０、２.１.２、５.１.２、７.１.２、２.１.４、５.１.４、７.１.４）の場合の、構成毎のトリム／バランス制御を含む。自動トリミング（auto_trim）、中央トリミング（center_trim）、サラウンドトリミング（surround_trim）、高さトリミング（height_trim）、及び前／後バランストリミング（fb_balance_ohfl、fb_balance_surr）のためのメタデータフィールドが存在する。
【0062】
図２Aを参照すると、第３メタデータフィールドは、パラメータobject_trim_bypassを含む。このパラメータは、２２.２chチャネルコンテンツの中の全部のベッド及び動的オブジェクトに適用される値を有する。object_trim_bypassが「１」の値に設定される場合、ベッド及び動的オブジェクトにトリミングが適用されない。
【0063】
＜オブジェクト利得＞
OAMDは、各オブジェクトが個々のオブジェクト利得を有することを許容する。この利得は、オブジェクトオーディオレンダラ３０２により適用される。オブジェクト利得は、２２.２chコンテンツのダウンミックス値の間の差の補償、及び２２.２chコンテンツのOAMD表現のレンダリングを可能にする。実施形態では、オブジェクト利得は、LFE１又はLFE２のベッドチャネル割り当てを有するオブジェクトについて-３dBに、全部の他のオブジェクトについて０dBに設定される。オブジェクト利得の他の値は、適用に依存して使用できる。
OAMDは、各オブジェクトが個々のオブジェクト利得を有することを許容する。この利得は、オブジェクトオーディオレンダラ３０２により適用される。オブジェクト利得は、２２.２chコンテンツのダウンミックス値の間の差の補償、及び２２.２chコンテンツのOAMD表現のレンダリングを可能にする。実施形態では、オブジェクト利得は、LFE１又はLFE２のベッドチャネル割り当てを有するオブジェクトについて-３dBに、全部の他のオブジェクトについて０dBに設定される。オブジェクト利得の他の値は、適用に依存して使用できる。
【0064】
＜＜例示的な適用＞＞
＜OBAとしての２２.２chコンテンツの聴取＞
図３は、実施形態による、ビットストリーム符号化を用いずに、２２.２チャネルオーディオビットストリームをオーディオ及びOAMDに変換する例示的なシステム３００のブロック図である。システム３００は、２２.２chコンテンツがOBA再生システム（Dolby（登録商標）Atmos（登録商標））でOBAコンテンツとして聴取される適用で使用される。
＜OBAとしての２２.２chコンテンツの聴取＞
図３は、実施形態による、ビットストリーム符号化を用いずに、２２.２チャネルオーディオビットストリームをオーディオ及びOAMDに変換する例示的なシステム３００のブロック図である。システム３００は、２２.２chコンテンツがOBA再生システム（Dolby（登録商標）Atmos（登録商標））でOBAコンテンツとして聴取される適用で使用される。
【0065】
システム３００は、フォーマット変換器３０１及びオブジェクトオーディオレンダラ３０２を含む。フォーマット変換器３０１は、オーディオチャネルシャッフラ３０３及びOAMDメタデータ生成器３０４を更に含む。OAMDメタデータの幾つかの例は、限定ではないが、コンテンツ記述メタデータ、特性更新メタデータ、及びトリミングデータを含む。２２.２chコンテンツ３０５（例えば、ファイル又はライブストリーム）は、フォーマット変換器３０１に入力される２２.２chオーディオ及びメタデータを含む。OAMDメタデータ生成器３０４は、例えば図１Aを参照して説明した原理に従うように２２.２chメタデータをOAMDにマッピングし、チャネルシャッフル情報を生成する。チャネルシャッフル情報は、例えば図１Bを参照して説明した原理に従いオーディオチャネルシャッフラ３０３により適用される２２.２chコンテンツのチャネル並べ替えを記述する。オーディオチャネルシャッフラ３０３の出力は並べ替えられたオーディオチャネルである。フォーマット変換器３０１の出力は、オブジェクトオーディオレンダラ３０２に入力される、オーディオの並べ替えれたチャネル、及びOAMDである。オブジェクトオーディオレンダラ３０２は、OAMDを用いてオーディオを処理し、それを特定のラウドスピーカレイアウトに適応する。
【0066】
＜OBAとしての２２.２コンテンツの送信＞
図４は、実施形態による、ビットストリーム符号化を用いて、２２.２チャネルオーディオビットストリームをオーディオオブジェクト及びOAMDに変換する例示的なシステム４００のブロック図である。本願では、２２.２chコンテンツを送信するのではなく、２２.２chコンテンツは、フォーマット変換され、OBAコーデックを用いてOBAとして送信される。
図４は、実施形態による、ビットストリーム符号化を用いて、２２.２チャネルオーディオビットストリームをオーディオオブジェクト及びOAMDに変換する例示的なシステム４００のブロック図である。本願では、２２.２chコンテンツを送信するのではなく、２２.２chコンテンツは、フォーマット変換され、OBAコーデックを用いてOBAとして送信される。
【0067】
システム４００は、フォーマット変換器４０１及びOBAエンコーダ４０２を含む。フォーマット変換器４０１は、OAMDメタデータ生成器４０４及びオーディオチャネルシャッフラ４０３を更に含む。OAMDメタデータの幾つかの例は、限定ではないが、コンテンツ記述メタデータ、特性更新メタデータ、及びトリミングデータを含む。２２.２chコンテンツ４０５（例えば、ファイル又はライブストリーム）は、フォーマット変換器４０１に入力される２２.２chオーディオ及びメタデータを含む。OAMDメタデータ生成器４０４は、例えば図１Aを参照して説明した原理に従うように２２.２chメタデータをOAMDにマッピングし、チャネルシャッフル情報を生成する。チャネルシャッフル情報は、例えば図１Bを参照して説明した原理に従いオーディオチャネルシャッフラ４０３により適用される２２.２chコンテンツのチャネル並べ替えを記述する。オーディオチャネルシャッフラ４０３の出力は並べ替えられたオーディオチャネルである。
【0068】
フォーマット変換器４０１の出力は、エンコーダ４０２に入力される、オーディオの並べ替えれたチャネル、及びOAMDである。OBAエンコーダ４０２は、OAMDを用いて（例えば、JOCを用いて）オーディオを符号化して、OBAビットストリーム４０６を生成する。OBAビットストリーム４０６は、下流のOBA再生装置へ送信でき、そこで、オーディオを処理して特定のラウドスピーカレイアウトに適応するオブジェクトオーディオレンダラによりレンダリングされる。
【0069】
＜ソース装置でレンダリングするために、送信された２２.２コンテンツのOBAへの変換＞
図５は、実施形態による、ソース装置におけるレンダリングのために、２２.２チャネルオーディオビットストリームをオーディオオブジェクト及びOAMDに変換する例示的なシステムのブロック図である。本願では、セットトップボックス（STB）又はオーディオ／ビデオレコーダ（AVR）のようなソース装置は、２２.２chコンテンツをネイティブオーディオビットストリームから受信し、フォーマット変換器によるフォーマット変換の後に、コンテンツはオブジェクトオーディオレンダラを用いてレンダリングされる。例示的なネイティブオーディオビットストリームフォーマットは、高度オーディオコーディング（advanced audio coding （AAC））標準ビットストリームフォーマットである。
図５は、実施形態による、ソース装置におけるレンダリングのために、２２.２チャネルオーディオビットストリームをオーディオオブジェクト及びOAMDに変換する例示的なシステムのブロック図である。本願では、セットトップボックス（STB）又はオーディオ／ビデオレコーダ（AVR）のようなソース装置は、２２.２chコンテンツをネイティブオーディオビットストリームから受信し、フォーマット変換器によるフォーマット変換の後に、コンテンツはオブジェクトオーディオレンダラを用いてレンダリングされる。例示的なネイティブオーディオビットストリームフォーマットは、高度オーディオコーディング（advanced audio coding （AAC））標準ビットストリームフォーマットである。
【0070】
システム５００は、フォーマット変換器５０１及びオブジェクトオーディオレンダラ５０２及びデコーダ５０６を含む。フォーマット変換器５０１は、OAMDメタデータ生成器５０４及びオーディオチャネルシャッフラ５０３を更に含む。OAMDメタデータの幾つかの例は、限定ではないが、コンテンツ記述メタデータ、特性更新メタデータ、及びトリミングデータを含む。オーディオビットストリーム５０５（例えば、AAC/MP４）は、デコーダ５０６（例えば、AAC/MP４デコーダ）に入力される２２.２chオーディオ及びメタデータを含む。デコーダ５０６の出力は、フォーマット変換器５０１に入力される、２２.２chオーディオ及びメタデータである。OAMDメタデータ生成器５０４は、例えば図１Aを参照して説明した原理に従うように２２.２chメタデータをOAMDにマッピングし、チャネルシャッフル情報を生成する。チャネルシャッフル情報は、例えば図１Bを参照して説明した原理に従いオーディオチャネルシャッフラ５０３により適用される２２.２chコンテンツのチャネル並べ替えを記述する。オーディオチャネルシャッフラ５０３の出力は並べ替えられたオーディオチャネルである。フォーマット変換器５０１の出力は、オブジェクトオーディオレンダラ５０２に入力される、オーディオの並べ替えれたチャネル、及びOAMDである。オブジェクトオーディオレンダラ５０２は、OAMDを用いてオーディオを処理し、それを特定のラウドスピーカレイアウトに適応する。
【0071】
＜外部レンダリング（STBA/VR/SB）のためにHDMIを介して送信するための、送信された２２.２コンテンツのOBAへの変換＞
図６A及び６Bは、実施形態による、外部レンダリングのために、高精細度マルチメディアインタフェース（high definition multimedia interface （HDMI））を介して送信するために、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換する例示的なシステムのブロック図である。本願では、チャネルシャッフル情報は、OAMDと共に、エンコーダにおいて生成され、送信されるためにネイティブオーディオビットストリーム（例えば、AAV）内にパッケージされる。この構成では、生じるフォーマット変換は、オーディオシャッフラに簡略化される。OAMDと一緒にシャッフルされたオーディオは、HDMIを介してビットストリーム内で送信するために、OBAエンコーダへ送信される。受信機側で、ビットストリームは、復号され、オブジェクトオーディオレンダラによりレンダリングされる。
図６A及び６Bは、実施形態による、外部レンダリングのために、高精細度マルチメディアインタフェース（high definition multimedia interface （HDMI））を介して送信するために、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換する例示的なシステムのブロック図である。本願では、チャネルシャッフル情報は、OAMDと共に、エンコーダにおいて生成され、送信されるためにネイティブオーディオビットストリーム（例えば、AAV）内にパッケージされる。この構成では、生じるフォーマット変換は、オーディオシャッフラに簡略化される。OAMDと一緒にシャッフルされたオーディオは、HDMIを介してビットストリーム内で送信するために、OBAエンコーダへ送信される。受信機側で、ビットストリームは、復号され、オブジェクトオーディオレンダラによりレンダリングされる。
【0072】
図６Aを参照すると、符号化システム６００Aは、フォーマット変換器６０１、OBAエンコーダ６０２、及びデコーダ６０６を含む。フォーマット変換器６０１は、OAMDメタデータ生成器６０４及びオーディオチャネルシャッフラ６０３を更に含む。OAMDメタデータの幾つかの例は、限定ではないが、コンテンツ記述メタデータ、特性更新メタデータ、及びトリミングデータを含む。ネイティブオーディオビットストリーム６０５（例えば、AAC/MP４）は、デコーダ６０６（例えば、AAC/MP４デコーダ）に入力される２２.２chオーディオ及びメタデータを含む。デコーダ６０６の出力は、フォーマット変換器６０１に入力される、２２.２chオーディオ及びメタデータである。OAMDメタデータ生成器６０４は、例えば図１Aを参照して説明した原理に従うように２２.２chメタデータをOAMDにマッピングし、チャネルシャッフル情報を生成する。チャネルシャッフル情報は、例えば図１Bを参照して説明した原理に従いオーディオチャネルシャッフラ６０３により適用される２２.２chコンテンツのチャネル並べ替えを記述する。オーディオチャネルシャッフラ６０３の出力は並べ替えられたオーディオチャネルである。フォーマット変換器６０１の出力は、エンコーダ６０２に入力される、オーディオの並べ替えれたチャネル、及びOAMDである。OABエンコーダ６０２は、オーディオ及びOAMDを符号化し、オーディオとOAMDとを含むOBAビットストリームを出力する。
【0073】
図６Bを参照すると、復号システム６００Bは、OBAデコーダ６０７及びオブジェクトオーディオレンダラ６０８を含む。OBAビットストリームは、オブジェクトオーディオレンダラ６０８に入力されるオーディオ及びOAMDを出力するOBAデコーダ６０７へ入力される。オブジェクトオーディオレンダラ６０８は、OAMDを用いてオーディオを処理し、それを特定のラウドスピーカレイアウトに適応する。
【0074】
＜HDMIを介して送信するために、ネイティブビットストリームを介して２２.２の予め計算されたOAMDを送信する＞
図７A～７Cは、実施形態による、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換する例示的なシステムのブロック図であり、チャネルシャッフル情報及びOAMDがネイティブオーディオビットストリーム内にパッケージされる。前の例示的な適用では、OAMDは、デコーダ（例えば、AACデコーダ）の後に生成される。しかしながら、代替の実施形態として、チャネルシャッフル情報及びOAMDを送信フォーマット）（ネイティブオーディオビットストリーム又はトランスポート層のいずれか）に埋め込むことが可能である。本願では、チャネルシャッフル情報は、OAMDと共に、エンコーダにおいて生成され、送信されるためにネイティブオーディオビットストリーム（例えば、AACビットストリーム）内にパッケージされる。この構成では、生じるフォーマット変換は、オーディオシャッフラに簡略化される。OAMDと一緒にシャッフルされたオーディオは、HDMIを介して送信するために、OBAエンコーダへ送信される。受信側で、OBAビットストリームは、復号され、オブジェクトオーディオレンダラによりレンダリングされる。
図７A～７Cは、実施形態による、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換する例示的なシステムのブロック図であり、チャネルシャッフル情報及びOAMDがネイティブオーディオビットストリーム内にパッケージされる。前の例示的な適用では、OAMDは、デコーダ（例えば、AACデコーダ）の後に生成される。しかしながら、代替の実施形態として、チャネルシャッフル情報及びOAMDを送信フォーマット）（ネイティブオーディオビットストリーム又はトランスポート層のいずれか）に埋め込むことが可能である。本願では、チャネルシャッフル情報は、OAMDと共に、エンコーダにおいて生成され、送信されるためにネイティブオーディオビットストリーム（例えば、AACビットストリーム）内にパッケージされる。この構成では、生じるフォーマット変換は、オーディオシャッフラに簡略化される。OAMDと一緒にシャッフルされたオーディオは、HDMIを介して送信するために、OBAエンコーダへ送信される。受信側で、OBAビットストリームは、復号され、オブジェクトオーディオレンダラによりレンダリングされる。
【0075】
図７Aを参照すると、符号化システム７００Aは、エンコーダ７０１（例えば、AACエンコーダ）、及びトランスポート層多重化器７０６を含む。エンコーダ７０１は、コアエンコーダ７０２、フォーマット変換器７０３、及びビットストリームパッケージャ７０５を更に含む。フォーマット変換器７０３は、例えばDolby ATMOSメタデータ生成器であってよいOAMDメタデータ生成器７０４を更に含む。OAMDメタデータの幾つかの例は、限定ではないが、コンテンツ記述メタデータ、特性更新メタデータ、及びトリミングデータを含む。
【0076】
ネイティブオーディオビットストリーム７０７（例えば、AAC/MP４）は、２２.２chオーディオ及びメタデータを含む。オーディオは、オーディオをネイティブオーディオフォーマットに符号化し符号化オーディオをビットストリームパッケージ７０５に出力するエンコーダ７０１のコアエンコーダ７０２に入力される。OAMDメタデータ生成器７０４は、例えば図１Aを参照して説明した原理に従うように２２.２chメタデータをOAMDにマッピングし、チャネルシャッフル情報を生成する。チャネルシャッフル情報は、例えば図１Bを参照して説明した原理に従い２２.２chコンテンツのチャネル並べ替えを記述する。チャネルシャッフル情報は、OAMDと一緒にビットストリームパッケージャ７０５に入力される。ビットストリームパッケージャ７０５の出力は、チャネルシャッフル情報及びOAMDを含むネイティブオーディオビットストリームである。ネイティブオーディオビットストリームは、ネイティブオーディオビットストリームを含むトランスポートストリームを出力するトランスポート層多重化器７０６に入力される。
【0077】
図７Bを参照すると、復号／符号化システム７００Bは、トランスポート層逆多重化器７０８、デコーダ７０９、オーディオチャネルシャッフラ７１０、及びOBAエンコーダ７１１を含む。トランスポート層逆多重化器７０８は、オーディオ及びOAMDをトランスポートビットストリームから逆多重化し、オーディオ及びOAMDをデコーダ７０９に入力する。デコーダ７０９は、オーディオ及びOAMDをネイティブオーディオビットストリームから復号する。復号されたオーディオ及びOAMDは、次にOBAエンコーダ７１１へ入力される。OBAエンコーダ７１１は、オーディオ及びOAMDをOBAビットストリームに符号化する。
【0078】
図７Cを参照すると、復号システム７００Cは、OBAデコーダ７１２及びオブジェクトオーディオレンダラ７１３を含む。OBAビットストリームは、オブジェクトオーディオレンダラ７１３に入力されるオーディオ及びOAMDを出力するOBAデコーダ７１２へ入力される。オブジェクトオーディオレンダラ７１３は、OAMDを用いてオーディオを処理し、それを特定のラウドスピーカレイアウトに適応する。
【0079】
＜ソース装置におけるレンダリングのために、予め計算されたOAMDを送信する＞
図８A及び８Bは、実施形態による、ソース装置におけるレンダリングのために、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換する例示的なシステムのブロック図であり、ソース装置におけるレンダリングのために、チャネルシャッフル情報及びOAMDがネイティブオーディオビットストリーム内にパッケージされる。本願では、チャネルシャッフル情報は、OAMDと共に、エンコーダにおいて生成され、トランスポート層を介して送信されるためにネイティブオーディオビットストリーム（例えば、AACビットストリーム）内にパッケージされる。この構成では、生じるフォーマット変換は、オーディオシャッフラに簡略化される。OAMDと一緒にシャッフルされたオーディオは、レンダリングするために、オブジェクトオーディオレンダラへ送信される。
図８A及び８Bは、実施形態による、ソース装置におけるレンダリングのために、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換する例示的なシステムのブロック図であり、ソース装置におけるレンダリングのために、チャネルシャッフル情報及びOAMDがネイティブオーディオビットストリーム内にパッケージされる。本願では、チャネルシャッフル情報は、OAMDと共に、エンコーダにおいて生成され、トランスポート層を介して送信されるためにネイティブオーディオビットストリーム（例えば、AACビットストリーム）内にパッケージされる。この構成では、生じるフォーマット変換は、オーディオシャッフラに簡略化される。OAMDと一緒にシャッフルされたオーディオは、レンダリングするために、オブジェクトオーディオレンダラへ送信される。
【0080】
図８Aを参照すると、符号化システム８００Aは、エンコーダ８０１（例えば、AACエンコーダ）、及びトランスポート層多重化器８０７を含む。エンコーダ８０１は、コアエンコーダ８０３、フォーマット変換器８０２、及びビットストリームパッケージャ８０５を更に含む。フォーマット変換器８０２は、例えばDolby ATMOSメタデータ生成器であってよいOAMDメタデータ生成器８０４を更に含む。OAMDメタデータの幾つかの例は、限定ではないが、コンテンツ記述メタデータ、特性更新メタデータ、及びトリミングデータを含む。
【0081】
ネイティブオーディオビットストリーム８０６（例えば、AAC/MP４）は、２２.２chオーディオ及びメタデータを含む。オーディオは、オーディオをネイティブオーディオフォーマットに符号化し符号化オーディオをビットストリームパッケージ８０５に出力するエンコーダ８０１のコアエンコーダ８０３に入力される。OAMDメタデータ生成器８０４は、例えば図１Aを参照して説明した原理に従うように２２.２chメタデータをOAMDにマッピングし、チャネルシャッフル情報を生成する。チャネルシャッフル情報は、例えば図１Bを参照して説明した原理に従い２２.２chコンテンツのチャネル並べ替えを記述する。チャネルシャッフル情報は、OAMDと一緒にビットストリームパッケージャ８０５に入力される。ビットストリームパッケージャ８０５の出力は、チャネルシャッフル情報及びOAMDを含むネイティブオーディオビットストリームである。ネイティブオーディオビットストリームは、ネイティブオーディオビットストリームを含むトランスポートストリームを出力するトランスポート層多重化器８０７に入力される。
【0082】
図８Bを参照すると、復号システム８００Bは、トランスポート層逆多重化器８０８、デコーダ８０９、オーディオチャネルシャッフラ８１０、及びオブジェクトオーディオレンダラ８１１を含む。トランスポート層逆多重化器８０８は、オーディオ及びOAMDをトランスポートビットストリームから逆多重化し、オーディオ及びOAMDをデコーダ８０９に入力する。デコーダ８０９は、オーディオ及びOAMDをネイティブオーディオビットストリームから復号する。復号されたオーディオ及びOAMDは、次に、オブジェクトオーディオレンダラ８１１に入力される。オブジェクトオーディオレンダラ８１１は、OAMDを用いてオーディオを処理し、それを特定のラウドスピーカレイアウトに適応する。
【0083】
＜HDMIを介して送信するために、し、トランスポート層を介して予め計算されたOAMDを送信する＞
図９A～９Cは、実施形態による、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換する例示的なシステムのブロック図であり、ソース装置に供給するために、チャネルシャッフル情報及びOAMDがトランスポート層に埋め込まれ、次にHDMIを介して送信するために、ネイティブオーディオビットストリーム内にパッケージされる。
図９A～９Cは、実施形態による、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換する例示的なシステムのブロック図であり、ソース装置に供給するために、チャネルシャッフル情報及びOAMDがトランスポート層に埋め込まれ、次にHDMIを介して送信するために、ネイティブオーディオビットストリーム内にパッケージされる。
【0084】
２２.２chコンテンツを表現するために使用されるOAMDは、プログラムの間、静的である。この理由から、オーディオビットストリームの中でデータレートの増大を回避するために、OAMDを頻繁に送信することを回避することが望ましい。これは、静的OAMD及びチャネルシャッフル情報を、トランスポート層内で送信し及びトランスポート層で送信されることにより達成できる。受信されると、OAMD及びチャネルシャッフル情報は、HDMIを介する後の送信のために、OBAエンコーダにより使用される。例示的なトランスポート層は、ビデオ及びオーディオのような時間に基づくマルチメディアファイルの一般的構造を定義するISO/IEC１４４９６-１２-MPEG-４ Part１２に記載されるベースメディアファイルフォーマット（base media file format （BMFF））である。MPEG-DASHを使用する実施形態では、OAMDはマニフェストに含まれる。
【0085】
図９Aを参照すると、符号化システム９００Aは、エンコーダ９０２（例えば、AACエンコーダ）、フォーマット変換器９０５、及びトランスポート層多重化器９０３を含む。フォーマット変換器９０５は、OAMDメタデータ生成器９０４を更に含む。OAMDメタデータの幾つかの例は、限定ではないが、コンテンツ記述メタデータ、特性更新メタデータ、及びトリミングデータを含む。
【0086】
ネイティブオーディオビットストリーム９０１（例えば、AAC/MP４）は、２２.２chオーディオ及びメタデータを含む。オーディオは、オーディオをネイティブオーディオフォーマットに符号化し符号化オーディオをトランスポート層多重化器９０３に出力するエンコーダ９０２に入力される。OAMDメタデータ生成器９０４は、例えば図１Aを参照して説明した原理に従うように２２.２chメタデータをOAMDにマッピングし、チャネルシャッフル情報を生成する。チャネルシャッフル情報は、例えば図１Bを参照して説明した原理に従い２２.２chコンテンツのチャネル並べ替えを記述する。チャネルシャッフル情報は、OAMDと一緒にビットし、トランスポート層多重化器９０３に入力される。トランスポート層多重化器９０３の出力は、ネイティブオーディオビットストリームを含む、トランスポートビットストリーム（例えば、MPEG－２トランスポートストリーム）又はパッケージファイル（例えば、ISO BMFFファイル）又はメディアプレゼンテーション記述（例えば、MPEG-DASHマニフェスト）である。
【0087】
図９Bを参照すると、復号システム９００Bは、トランスポート層逆多重化器９０６、デコーダ９０７、オーディオチャネルシャッフラ９０８、及びOBAエンコーダ９０９を含む。トランスポート層逆多重化器９０６は、トランスポートビットストリームから、オーディオ、チャネルシャッフル情報、及びOAMDを逆多重化する。復号されたオーディオは、デコーダ９０７（例えば、AACデコーダ）へのオーディオビットストリームに入力され、デコーダ９０７は、オーディオを復号して、ネイティブオーディオビットストリームを復元する（つまり、決定し又は抽出する）。ネイティブオーディオビットストリームは、次に、トランスポート層逆多重化器９０６により出力されるチャネルシャッフル情報と一緒に、オーディオチャネルシャッフラ９０８に入力される。レンダリングされるチャネルを有するオーディオは、オーディオチャネルシャッフラ９０８から出力され、OAMDと一緒にOBAエンコーダ９０９に入力される。OBAエンコーダの出力は、OBAビットストリームである。
【0088】
図９Cを参照すると、復号システム９００Cは、OBAデコーダ９１０及びオブジェクトオーディオレンダラ９１１を含む。OBAビットストリームは、オブジェクトオーディオレンダラ９１１に入力されるオーディオ及びOAMDを出力するOBAデコーダ９１０へ入力される。オブジェクトオーディオレンダラ９１１は、OAMDを用いてオーディオを処理し、それを特定のラウドスピーカレイアウトに適応する。
【0089】
＜ソース装置におけるレンダリングのために、トランスポート層を介して、予め計算されたOAMDを送信する＞
図１０A及び１０Bは、実施形態による、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換する例示的なシステムのブロック図であり、ソース装置（例えば、STB、AVR）におけるレンダリングのために、チャネルシャッフル情報及びOAMDが、トランスポート層に埋め込まれる。２２.２chコンテンツを表現するために使用されるOAMDは、プログラムの間、静的である。この理由から、オーディオビットストリームの中でデータレートの増大を回避するために、OAMDを頻繁に送信することを回避することが望ましい。これは、静的OAMD及びチャネルシャッフル情報を、トランスポート層内で送信し及びトランスポート層で送信されることにより達成できる。受信されると、OAMD及びチャネルシャッフル情報は、コンテンツをレンダリングするためにオブジェクトオーディオレンダラにより使用される。例示的なトランスポート層は、ビデオ及びオーディオのような時間に基づくマルチメディアファイルの一般的構造を定義するISO/IEC１４４９６-１２-MPEG-４ Part１２に記載されるベースメディアファイルフォーマット（base media file format （BMFF））である。実施形態では、OAMDは、MPEG-DASHマニフェストに含まれる。
図１０A及び１０Bは、実施形態による、２２.２chオーディオビットストリームをオーディオオブジェクト及びOAMDに変換する例示的なシステムのブロック図であり、ソース装置（例えば、STB、AVR）におけるレンダリングのために、チャネルシャッフル情報及びOAMDが、トランスポート層に埋め込まれる。２２.２chコンテンツを表現するために使用されるOAMDは、プログラムの間、静的である。この理由から、オーディオビットストリームの中でデータレートの増大を回避するために、OAMDを頻繁に送信することを回避することが望ましい。これは、静的OAMD及びチャネルシャッフル情報を、トランスポート層内で送信し及びトランスポート層で送信されることにより達成できる。受信されると、OAMD及びチャネルシャッフル情報は、コンテンツをレンダリングするためにオブジェクトオーディオレンダラにより使用される。例示的なトランスポート層は、ビデオ及びオーディオのような時間に基づくマルチメディアファイルの一般的構造を定義するISO/IEC１４４９６-１２-MPEG-４ Part１２に記載されるベースメディアファイルフォーマット（base media file format （BMFF））である。実施形態では、OAMDは、MPEG-DASHマニフェストに含まれる。
【0090】
図１０Aを参照すると、符号化システム１０００Aは、エンコーダ１００１（例えば、AACエンコーダ）、フォーマット変換器１００２、及びトランスポート層多重化器１００４を含む。フォーマット変換器１００２は、OAMDメタデータ生成器１００３を更に含む。OAMDメタデータの幾つかの例は、限定ではないが、コンテンツ記述メタデータ、特性更新メタデータ、及びトリミングデータを含む。
【0091】
ネイティブオーディオビットストリーム１００５（例えば、AAC/MP４）は、２２.２chオーディオ及びメタデータを含む。オーディオは、オーディオをネイティブオーディオフォーマットに符号化し符号化オーディオをトランスポート層多重化器１００４に出力するエンコーダ１００１に入力される。OAMDメタデータ生成器１００３は、例えば図１Aを参照して説明した原理に従うように２２.２chメタデータをOAMDにマッピングし、チャネルシャッフル情報を生成する。チャネルシャッフル情報は、例えば図１Bを参照して説明した原理に従い２２.２chコンテンツのチャネル並べ替えを記述する。チャネルシャッフル情報は、OAMDと一緒にビットし、トランスポート層多重化器１００４に入力される。トランスポート層多重化器１００４の出力は、ネイティブオーディオビットストリームを含むトランスポートストリームである。
【0092】
図１０Bを参照すると、復号システム１０００Bは、トランスポート層逆多重化器１００６、デコーダ１００７、オーディオチャネルシャッフラ１００８、及びオブジェクトオーディオレンダラ１００９を含む。トランスポート層逆多重化器１００６は、オーディオ及びOAMDをトランスポートビットストリームから逆多重化し、オーディオ及びOAMDをデコーダ１００７に入力する。デコーダ８０９は、オーディオ及びOAMDをネイティブオーディオビットストリームから復号する。復号されたオーディオ及びOAMDは、次に、オブジェクトオーディオレンダラ１００９に入力される。オブジェクトオーディオレンダラ１００９は、OAMDを用いてオーディオを処理し、それを特定のラウドスピーカレイアウトに適応する。
【0093】
＜＜例示的な処理＞＞
図１１は、CBAからOBAへの変換処理１１００のフロー図である。処理１１００は、図３に示すオーディオシステムアーキテクチャを用いて実施できる。処理１１００は、チャネルベースオーディオとメタデータとを含むビットストリームを受信するステップと（１１０１）、ビットストリームからOAMD表現を示すシグナリングパラメータをパースするステップと（１１０２）、シグナリングされたOAMD表現に基づき、チャネルベースメタデータをOAMDに変換するステップと（１１０３）、OAMDの順序制約に基づき、チャネルシャッフル情報を生成するステップと（１１０４）、チャネルシャッフル情報に基づき、チャネルベースオーディオのチャネルを並べ替えるステップと（１１０５）、OAMDを用いて並べ替えチャネルベースオーディオをレンダリングするステップと（１１０６）、を含む。上述のステップ１１０３及び１１０４は、例えば、OAMD表現及び各々図１A及び１Bに示されるベッドチャネル割り当て／順序、並びに図３に示されるオーディオシステムアーキテクチャを用いて実行できる。OAMDメタデータの幾つかの例は、限定ではないが、コンテンツ記述メタデータ、特性更新メタデータ、及びトリミングデータを含む。
図１１は、CBAからOBAへの変換処理１１００のフロー図である。処理１１００は、図３に示すオーディオシステムアーキテクチャを用いて実施できる。処理１１００は、チャネルベースオーディオとメタデータとを含むビットストリームを受信するステップと（１１０１）、ビットストリームからOAMD表現を示すシグナリングパラメータをパースするステップと（１１０２）、シグナリングされたOAMD表現に基づき、チャネルベースメタデータをOAMDに変換するステップと（１１０３）、OAMDの順序制約に基づき、チャネルシャッフル情報を生成するステップと（１１０４）、チャネルシャッフル情報に基づき、チャネルベースオーディオのチャネルを並べ替えるステップと（１１０５）、OAMDを用いて並べ替えチャネルベースオーディオをレンダリングするステップと（１１０６）、を含む。上述のステップ１１０３及び１１０４は、例えば、OAMD表現及び各々図１A及び１Bに示されるベッドチャネル割り当て／順序、並びに図３に示されるオーディオシステムアーキテクチャを用いて実行できる。OAMDメタデータの幾つかの例は、限定ではないが、コンテンツ記述メタデータ、特性更新メタデータ、及びトリミングデータを含む。
【0094】
図１２は、CBAからOBAへの変換処理１２００のフロー図である。処理１２００は、図４に示すオーディオシステムアーキテクチャを用いて実施できる。処理１２００は、チャネルベースオーディオとメタデータとを含むビットストリームを受信するステップと（１２０１）、ビットストリームからOAMD表現を示すシグナリングパラメータをパースするステップと（１２０２）、シグナリングされたOAMD表現に基づき、チャネルベースメタデータをOAMDに変換するステップと（１２０３）、OAMDの順序制約に基づき、チャネルシャッフル情報を生成するステップと（１２０４）、チャネルシャッフル情報に基づき、チャネルベースオーディオのチャネルを並べ替えるステップと（１２０５）、オーディオがOAMDを用いてオブジェクトオーディオレンダラによりレンダリングされる再生装置へ送信するために、並べ替えチャネルベースオーディオ及びOAMDをOBAビットストリームに符号化するステップと（１２０６）、を含む。上述のステップ１２０３及び１２０５は、例えば、OAMD表現及び各々図１A及び１Bに示されるベッドチャネル割り当て／順序、並びに図４に示されるオーディオシステムアーキテクチャを用いて実行できる。OAMDメタデータの幾つかの例は、限定ではないが、コンテンツ記述メタデータ、特性更新メタデータ、及びトリミングデータを含む。
【0095】
図１３は、CBAからOBAへの変換処理１３００のフロー図である。処理１３００は、図５に示すオーディオシステムアーキテクチャを用いて実施できる。処理１３００は、ネイティブオーディオフォーマットのチャネルベースオーディオとメタデータとを含むネイティブオーディオビットストリームを受信するステップと（１３０１）、ネイティブオーディオビットストリームを復号して、チャネルベースオーディオ及びメタデータを復元するステップと（１３０２）、ビットストリームからOAMD表現を示すシグナリングパラメータをパースするステップと（１３０３）、シグナリングされたOAMD表現に基づき、チャネルベースメタデータをOAMDに変換するステップと（１３０４）、OAMDの順序制約に基づき、チャネルシャッフル情報を生成するステップと（１３０５）、チャネルシャッフル情報に基づき、チャネルベースオーディオのチャネルを並べ替えるステップと（１３０６）、OAMDを用いて並べ替えチャネルベースオーディオをレンダリングするステップと（１３０７）、を含む。ステップ１３０４及び１３０５は、例えば、OAMD表現及び各々図１A及び１Bに示されるベッドチャネル割り当て／順序、並びに図５に示されるオーディオシステムアーキテクチャを用いて実行できる。
【0096】
図１４は、CBAからOBAへの変換処理１４００のフロー図である。処理１４００は、図６A及び６Bに示すオーディオシステムアーキテクチャを用いて実施できる。処理１４００は、ネイティブビットストリームフォーマットのチャネルベースオーディオとメタデータとを含むネイティブオーディオビットストリームを受信するステップと（１４０２）、ネイティブオーディオビットストリームを復号して、チャネルベースオーディオ及びメタデータを復元する、つまり決定する又は抽出するステップと（１４０２）、ビットストリームからOAMD表現を示すシグナリングパラメータをパースするステップと（１４０３）、シグナリングされたOAMD表現に基づき、チャネルベースメタデータをOAMDに変換するステップと（１４０４）、OAMDの順序制約に基づき、チャネルシャッフル情報を生成するステップと（１４０５）、チャネルシャッフル情報に基づき、チャネルベースオーディオのチャネルを並べ替えるステップと（１４０６）、オーディオがOAMDを用いてオブジェクトオーディオレンダラによりレンダリングされる再生装置へそうしんすために、並べ替えチャネルベースオーディオ及びOAMDをOBAビットストリームに符号化するステップと（１４０７）、を含む。ステップ１４０４及び１４０５は、例えば、OAMD表現及び各々図１A及び１Bに示されるベッドチャネル割り当て／順序、並びに図６A及び６Bに示されるオーディオシステムアーキテクチャを用いて実行できる。
【0097】
図１５は、CBAからOBAへの変換処理１５００のフロー図である。処理１５００は、図７A～７Cに示すオーディオシステムアーキテクチャを用いて実施できる。処理１５００は、チャネルベースオーディオとメタデータとを含むチャネルベースオーディオビットストリームを受信するステップにより開始し（１５０１）、チャネルベースオーディオをネイティブオーディオビットストリームに符号化し（１５０２）、チャネルベースメタデータからOAMD表現を示すシグナリングパラメータをパースし（１５０３）、シグナリングされたOAMD表現に基づき、チャネルベースオーディオメタデータをOAMD表現に変換し（１５０４）、OAMDの順序制約に基づき、チャネルシャッフル情報を生成し（１５０５）、ネイティブオーディオビットストリーム、チャネルシャッフル情報、及びOAMDを、結合オーディオビットストリームに結合し（１５０６）、レンダリングするために再生装置へ又はレンダリングするためにソース装置（例えば、STB、AVR）へ送信するために、結合オーディオビットストリームをトランスポート層ビットストリームに含める（１５０７）。上述のステップの詳細は、図１A、１B、７A、７C、８A、８B、９A～９C、１０A及び１０Bを参照して説明された。
【0098】
図１６は、CBAからOBAへの変換処理１６００のフロー図である。処理１６００は、図８A、８B、９A～９C、１０A及び１０Bに示すオーディオシステムアーキテクチャを用いて実施できる。処理１６００は、ネイティブオーディオビットストリームとメタデータとを含むトランスポート層ビットストリームを受信するステップにより開始し（１６０１）、ネイティブオーディオビットストリーム及びメタデータ、チャネルシャッフル情報、及びOAMDをトランスポートビットストリームから抽出し（１６０２）、ネイティブオーディオビットストリームを復号して、チャネルベースオーディオを復元し、つまり決定し又は抽出し（１６０３）、チャネルシャッフル情報を用いてチャネルベースオーディオのチャネルを並べ替え（１６０４）、任意的に、並べ替えチャネルベースオーディオ及びOAMDをOBAビットストリームに符号化して、再生装置又はソース装置へ送信するか（１６０５）、又は任意的に、OBAビットストリームを復号して、並べ替えチャネルベースオーディオ及びOAMDを復元し（１６０６）、OAMDを用いて並べ替えチャネルベースオーディオをレンダリングし（１６０７）、再生装置へ送信する。上述のステップの詳細は、図８A、８B、９A～９C、１０A及び１０Bを参照して説明された。
【0099】
＜MPEG-４オーディオ又はMPEG-Dオーディオビットストリーム内で予め計算されたOAMDを送信する＞
実施形態では、２２.２コンテンツを表現するOAMDは、MPEG-４オーディオ（ISO/IEC１４４９６-３）ビットストリームのようなネイティブオーディオビットストリームの中で運ばれる。３つの実施形態の例示的なシンタックスが以下に提供される。
実施形態では、２２.２コンテンツを表現するOAMDは、MPEG-４オーディオ（ISO/IEC１４４９６-３）ビットストリームのようなネイティブオーディオビットストリームの中で運ばれる。３つの実施形態の例示的なシンタックスが以下に提供される。
【表1】
【表2】
【表3】
【0100】
上述の例示的なシンタックスでは、要素element_instance_tagは、データストリーム要素を識別するための数値であり、要素extension_payload（int）は、fill_element（ID_FIL）の中に含まれてよい。上述の３つのシンタックスの実施形態の各々は、追加データの意味を示すために「tag」又は「extension_type」を説明する。実施形態では、信号がビットストリーム内に挿入されることができ、追加OAMD及びチャネルシャッフル情報がビットストリームの３つの拡張領域のうちの１つに存在することをシグナリングして、デコーダにビットストリームのそれらの領域をチェックさせることを回避する。例えば、MPEG４_ancillary_dataフィールドは、以下のセマンティクスを有するdolby_surround_modeフィールドを含む。OAMDがビットストリーム内に存在することをデコーダに示すために、同様のシグナリングシンタックスが使用できる。
【表4】
【0101】
実施形態では、上述の表の中の予約フィールドは、予め計算されたOAMDペイロードがビットストリームの拡張データの中のどこかに埋め込まれていることを示すために使用される。（dolby_surround_mode=“１１”）の予約された値は、拡張データフィールドが及び２２.２をOBA（例えば、Dolby（登録商標）Atmos（登録商標））に変換するために必要とされる必要なOAMD及びチャネル情報を含むことを、デコーダに示すために使用される。代替として、予約されたフィールドは、コンテンツがOBA互換（例えば、Dolby（登録商標）Atmos（登録商標）互換）であり、２２.２chコンテンツのOBAへの変換が可能であることを示す。従って、dolby_surround_mode信号が予約された値「１１」に設定される場合、デコーダは、コンテンツがOBA互換であることを知り、更なる符号化及び／又はレンダリングのために２２.２chコンテンツをOBAに変換する。
【0102】
実施形態では、２２.２コンテンツを表現するOAMDは、MPEG-D USAC（ISO/IEC２３００３-３）オーディオビットストリームのようなネイティブオーディオビットストリームの中で運ばれる。そのような実施形態の例示的なシンタックスが以下に提供される。
【表5】
【0103】
＜＜例示的なオーディオシステムアーキテクチャ＞＞
図１７は、実施形態による、チャネルオーディオからオブジェクトオーディオへの変換を含む例示的なオーディオシステムアーキテクチャのブロック図である。本例では、アーキテクチャはSTB又はAVRのためである。STB/AVR１７００は、入力１７０１、アナログ－デジタル変換器（ADC）１７０２、復調器１７０３、同期化器／デコーダ１７０４、MEPG逆多重化器１７０７、MEPGデコーダ１７０６、メモリ１７０９、制御プロセッサ１７１０、オーディオチャネルシャッフラ１７０５、OBAエンコーダ１７１１、及びビデオエンコーダ１７１２を含む。本例では、STB/AVR１７００は、図９A～９C、及び１０A、１０Bで説明した適用を実施する。ここで、予め計算されたOAMDはMPEG-４オーディオビットストリームの中で運ばれる。
図１７は、実施形態による、チャネルオーディオからオブジェクトオーディオへの変換を含む例示的なオーディオシステムアーキテクチャのブロック図である。本例では、アーキテクチャはSTB又はAVRのためである。STB/AVR１７００は、入力１７０１、アナログ－デジタル変換器（ADC）１７０２、復調器１７０３、同期化器／デコーダ１７０４、MEPG逆多重化器１７０７、MEPGデコーダ１７０６、メモリ１７０９、制御プロセッサ１７１０、オーディオチャネルシャッフラ１７０５、OBAエンコーダ１７１１、及びビデオエンコーダ１７１２を含む。本例では、STB/AVR１７００は、図９A～９C、及び１０A、１０Bで説明した適用を実施する。ここで、予め計算されたOAMDはMPEG-４オーディオビットストリームの中で運ばれる。
【0104】
実施形態では、低雑音ブロックは、衛星テレビ受信用アンテナから無線波を集め、それらをアナログ信号に変換し、アナログ信号は同軸ケーブルを通じてSTB/AVR１７００の入力ポート１７０１へ送信される。アナログ信号は、ADC１７０２によりデジタル信号に変換される。デジタル信号は、復調器１７０３（例えば、QPSK復調器）により復調され、同期化器／デコーダ１７０４（例えば、同期化器及びビタビ（Viterbi）デコーダ）により同期化及び復号されて、MPEGトランスポートビットストリームを復元する。MPEGトランスポートビットストリームは、MPEG逆多重化器１７０７により逆多重化され、MPEGデコーダ１７０６により復号されて、チャネルベースオーディオ及びビデオオーディオビットストリーム、及びチャネルシャッフル情報とOAMDとを含むメタデータを復元する。オーディオチャネルシャッフラ１７０５は、例えば図１Bを参照して説明した原理に従うようなチャネルシャッフル情報に従い、オーディオチャネルを並べ替える。OBAエンコーダ１７１１は、再生装置内のオブジェクトオーディオレンダラによりレンダリングされるために再生装置（例えば、Dolby（登録商標）Atmos（登録商標）装置）へ送信されるOBAオーディオビットストリーム（例えば、Dolby（登録商標）MAT）に、並べ替えられたチャネルを有するオーディオを符号化する。ビデオエンコーダ１７１２は、ビデオを、再生装置によりサポートされるビデオフォーマットに符号化する。
【0105】
図１７を参照して説明されるアーキテクチャは、単なる例示的なアーキテクチャであることに留意する。CBAからOBAへの変換は、１つ以上のプロセッサ、メモリ、適切な入力／出力インタフェース、及び本願明細書に記載されたフォーマット変換及びチャネル並べ替えを実行するためのソフトウェアモジュール及び／又はハードウェア（例えば、ASIC）を含む任意の装置により実行できる。
【0106】
本願明細書は多数の特定の実装の詳細を含むが、これらは、請求され得るものの範囲に対する限定としてではなく、むしろ、特定の実装の特定の実装に固有の特徴の説明として考えられるべきである。別個の実施形態の文脈で本願明細書に記載された特定の特徴は、単一の実装形態において結合されて実装されてもよい。反対に、単一の実施形態の文脈で記載された種々の特徴は、複数の実施形態で別個に又は任意の適切な部分的組み合わせで実装されてもよい。更に、特徴は特定の組み合わせで動作するよう上述され、そのように初めに請求され得るが、請求される組み合わせからの１つ以上の特徴は、幾つかの場合には、組み合わせから切り離すことができ、請求される組み合わせは、部分的組み合わせ又は部分的組み合わせの変形に向けられてよい。図面に示された論理的フローは、望ましい結果を達成するために示された特定の順序又はシーケンシャルな順序を必要としない。更に、他のステップが設けられてよく、又はステップは記載されたフローから除去されてよく、記載されたシステムに他のコンポーネントが追加されてよく又は除去されてよい。したがって、他の実装は以下の特許請求の範囲の範囲内にある。
【0107】
本発明の種々の態様は、以下に列挙する例示的な実施形態（enumerated example embodiment：EEE）から明らかであり得る。
（EEE１）方法であって、
オーディオ処理機器の１つ以上のプロセッサにより、チャネルベースオーディオとメタデータとを含むビットストリームを受信するステップ、を含み、
前記１つ以上のプロセッサは、
前記メタデータからシグナリングパラメータをパースし、前記シグナリングパラメータは、複数の異なるオブジェクトオーディオメタデータ（OAMD）表現のうちの１つを示し、
前記シグナリングパラメータにより示されるOAMD表現を用いて、前記チャネルベースメタデータをOAMDに変換し、
前記OAMDのチャネル順序制約に基づき、チャネルシャッフル情報を生成し、
前記チャネルシャッフル情報に基づき前記チャネルベースオーディオのチャネルを並べ替え、
前記OAMDを用いて、前記並べ替えチャネルベースオーディオをレンダリングオーディオにレンダリングするか、又は、
チャネルベースオーディオ及びOAMDをオブジェクトベースオーディオビットストリームに符号化し、前記オブジェクトベースオーディオビットストリームを再生装置又はソース装置へ送信する、
よう構成される。
（EEE２）前記チャネルベースオーディオ及びメタデータは、ネイティブオーディオビットストリームに含まれ、前記方法は、前記ネイティブオーディオビットストリームを復号して、前記チャネルベースオーディオ及びメタデータを復元するステップ、を更に含むEEE１に記載の方法。
（EEE３）前記ネイティブオーディオビットストリームは、高度オーディオコーディング（AAC）ビットストリームである、EEE２に記載の方法。
（EEE４）前記チャネルベースオーディオ及びメタデータは、N.Mチャネルベースオーディオ及びメタデータであり、Nは９より大きい正の整数であり、Mは０以上の正の整数である、EEE１～３のいずれかに記載の方法。
（EEE５）前記ソース装置は、テレビセットトップボックス、又はオーディオ／ビデオ受信機である、EEE１～４のいずれかに記載の方法。
（EEE６）OAMDベッドチャネルにより表現できるチャネルベースオーディオの第１チャネルセットを決定するステップと、
前記第１チャネルセットにOAMDベッドチャネルラベルを割り当てるステップと、
OAMDベッドチャネルにより表現できないチャネルベースオーディオの第２チャネルセットを決定するステップと、
前記第２チャネルセットに静的OAMD位置座標を割り当てるステップと、
を更に含むEEE１～５のいずれかに記載の方法。
（EEE７）前記OAMDは、前記レンダリングオーディオの中の１つ以上のスクリーン外オーディオオブジェクトの音量レベルを下げる次元トリミングデータを含む、EEE１～６のいずれかに記載の方法。
（EEE８）前記OAMDは、前記チャネルベースオーディオのダウンミキシング値の間の差を補償するため、及び前記チャネルベースオーディオのOAMD表現のレンダリングのために使用されるオブジェクト利得を含む、EEE１～７のいずれかに記載の方法。
（EEE９）方法であって、
オーディオ処理機器の１つ以上のプロセッサにより、チャネルベースオーディオとメタデータとを含むビットストリームを受信するステップを含み、
前記１つ以上のプロセッサは、
前記チャネルベースオーディオをネイティブオーディオビットストリームに符号化し、
前記メタデータからシグナリングパラメータをパースし、前記シグナリングパラメータは複数の異なるオブジェクトオーディオメタデータ（OAMD）表現のうちの１つを示し、
前記シグナリングパラメータにより示されるOAMD表現を用いて、前記チャネルベースメタデータをOAMDに変換し、
前記OAMDのチャネル順序制約に基づき、チャネルシャッフル情報を生成し、
前記ネイティブオーディオビットストリーム、前記チャネルシャッフル情報、及び前記OAMDを含むビットストリームパッケージを生成し、
前記パッケージをトランスポート層ビットストリームに多重化し、
前記トランスポート層ビットストリームを再生装置又はソース装置に送信する、よう構成される、方法。
（EEE１０）前記ネイティブオーディオビットストリームは、高度オーディオコーディング（AAC）ビットストリームである、EEE９に記載の方法。
（EEE１１）前記チャネルベースオーディオ及びメタデータは、N.Mチャネルベースオーディオ及びメタデータであり、Nは７より大きい正の整数であり、Mは０以上の正の整数である、EEE９又は１０に記載の方法。
（EEE１２）前記ソース装置は、テレビセットトップボックス、又はオーディオ／ビデオ受信機である、EEE９～１１のいずれかに記載の方法。
（EEE１３）OAMDベッドチャネルラベルにより表現できるチャネルベースオーディオの中のチャネルは、前記OAMDベッドチャネルラベルを使用し、OAMDベッドチャネルラベルにより表現できないチャネルベースオーディオの中のチャネルは、静的オブジェクト位置を使用し、各静的オブジェクト位置は、OAMD位置座標で記述される、EEE９～１２のいずれかに記載の方法。
（EEE１４）前記OAMDは、前記レンダリングオーディオの中の９つ以上のスクリーン外オーディオオブジェクトの音量レベルを下げる次元トリミングデータを含む、EEE９～１３のいずれかに記載の方法。
（EEE１５）前記OAMDは、前記チャネルベースオーディオのダウンミキシング値の間の差を補償するため、及び前記チャネルベースオーディオのOAMD表現のレンダリングのために使用されるオブジェクト利得を含む、EEE９～１４のいずれかに記載の方法。
（EEE１６）前記トランスポートビットストリームは、動画専門家グループ（MPEG）オーディオビットストリームの拡張フィールドの中のOAMDの存在を示す信号を含むMPEGオーディオビットストリームであるEEE９～１５のいずれかに記載の方法。
（EEE１７）前記MPEGオーディオビットストリームの中のOAMDの存在を示す前記信号は、サラウンド音声モードをシグナリングするための前記MPEGオーディオビットストリームの中の予約メタデータフィールドに含まれる、EEE１６に記載の方法。
（EEE１８）方法であって、
オーディオ処理機器の１つ以上のプロセッサにより、パッケージを含むトランスポート層ビットストリームを受信するステップを含み、
前記１つ以上のプロセッサは、
前記トランスポート層ビットストリームを逆多重化して、前記パッケージを復元し、
前記パッケージを復号して、ネイティブオーディオビットストリーム、チャネルシャッフル情報、及びオブジェクトオーディオメタデータ（OAMD）を復元し、
前記ネイティブオーディオビットストリームを復号して、チャネルベースオーディオ及びメタデータを復元し、
前記チャネルシャッフル情報に基づき、前記チャネルベースオーディオのチャネルを並べ替え、
前記OAMDを用いて、前記並べ替えチャネルベースオーディオをレンダリングオーディオにレンダリングするか、又は、
前記チャネルベースオーディオ及びOAMDをオブジェクトベースオーディオビットストリームに符号化し、前記オブジェクトベースオーディオビットストリームをソース装置へ送信する、よう構成される、方法。
（EEE１９）前記ネイティブオーディオビットストリームは、高度オーディオコーディング（AAC）ビットストリームである、EEE１８に記載の方法。
（EEE２０）前記チャネルベースオーディオ及びメタデータは、N.Mチャネルベースオーディオ及びメタデータであり、Nは７より大きい正の整数であり、Mは０以上の正の整数である、EEE１８又は１９に記載の方法。
（EEE２１）OAMDベッドチャネルにより表現できるチャネルベースオーディオの第１チャネルセットを決定するステップと、
前記第１チャネルセットにOAMDベッドチャネルラベルを割り当てるステップと、
OAMDベッドチャネルにより表現できないチャネルベースオーディオの第２チャネルセットを決定するステップと、
前記第２チャネルセットに静的OAMD位置座標を割り当てるステップと、
を更に含むEEE１８～２０のいずれかに記載の方法。
（EEE２２）前記OAMDは、前記レンダリングオーディオの中の１つ以上のスクリーン外オーディオオブジェクトの音量レベルを下げる次元トリミングデータを含む、EEE１８～２１のいずれかに記載の方法。
（EEE２３）前記OAMDは、前記チャネルベースオーディオのダウンミキシング値の間の差を補償するため、及び前記チャネルベースオーディオのOAMD表現のレンダリングのために使用されるオブジェクト利得を含む、EEE１８～２２のいずれかに記載の方法。
（EEE２４）前記トランスポートビットストリームは、動画専門家グループ（MPEG）オーディオビットストリームの拡張フィールドの中のOAMDの存在を示す信号を含むMPEGオーディオビットストリームであるEEE１８～２３のいずれかに記載の方法。
（EEE２５）前記MPEGオーディオビットストリームの中のOAMDの存在を示す前記信号は、サラウンド音声モードをシグナリングするための前記MPEGオーディオビットストリームのメタデータの中のデータ構造の予約フィールドに含まれる、EEE１８～２４のいずれかに記載の方法。
（EEE２６）機器であって、
１つ以上のプロセッサと、
命令を格納している非一時的コンピュータ可読記憶媒体であって、前記命令は、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、EEE１～２５のいずれかに記載の方法を実行させる、非一時的コンピュータ可読記憶媒体と、
を含む機器。
（EEE２７）命令を格納している非一時的コンピュータ可読記憶媒体であって、前記命令は、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、EEE１～２５のいずれかに記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
（EEE１）方法であって、
オーディオ処理機器の１つ以上のプロセッサにより、チャネルベースオーディオとメタデータとを含むビットストリームを受信するステップ、を含み、
前記１つ以上のプロセッサは、
前記メタデータからシグナリングパラメータをパースし、前記シグナリングパラメータは、複数の異なるオブジェクトオーディオメタデータ（OAMD）表現のうちの１つを示し、
前記シグナリングパラメータにより示されるOAMD表現を用いて、前記チャネルベースメタデータをOAMDに変換し、
前記OAMDのチャネル順序制約に基づき、チャネルシャッフル情報を生成し、
前記チャネルシャッフル情報に基づき前記チャネルベースオーディオのチャネルを並べ替え、
前記OAMDを用いて、前記並べ替えチャネルベースオーディオをレンダリングオーディオにレンダリングするか、又は、
チャネルベースオーディオ及びOAMDをオブジェクトベースオーディオビットストリームに符号化し、前記オブジェクトベースオーディオビットストリームを再生装置又はソース装置へ送信する、
よう構成される。
（EEE２）前記チャネルベースオーディオ及びメタデータは、ネイティブオーディオビットストリームに含まれ、前記方法は、前記ネイティブオーディオビットストリームを復号して、前記チャネルベースオーディオ及びメタデータを復元するステップ、を更に含むEEE１に記載の方法。
（EEE３）前記ネイティブオーディオビットストリームは、高度オーディオコーディング（AAC）ビットストリームである、EEE２に記載の方法。
（EEE４）前記チャネルベースオーディオ及びメタデータは、N.Mチャネルベースオーディオ及びメタデータであり、Nは９より大きい正の整数であり、Mは０以上の正の整数である、EEE１～３のいずれかに記載の方法。
（EEE５）前記ソース装置は、テレビセットトップボックス、又はオーディオ／ビデオ受信機である、EEE１～４のいずれかに記載の方法。
（EEE６）OAMDベッドチャネルにより表現できるチャネルベースオーディオの第１チャネルセットを決定するステップと、
前記第１チャネルセットにOAMDベッドチャネルラベルを割り当てるステップと、
OAMDベッドチャネルにより表現できないチャネルベースオーディオの第２チャネルセットを決定するステップと、
前記第２チャネルセットに静的OAMD位置座標を割り当てるステップと、
を更に含むEEE１～５のいずれかに記載の方法。
（EEE７）前記OAMDは、前記レンダリングオーディオの中の１つ以上のスクリーン外オーディオオブジェクトの音量レベルを下げる次元トリミングデータを含む、EEE１～６のいずれかに記載の方法。
（EEE８）前記OAMDは、前記チャネルベースオーディオのダウンミキシング値の間の差を補償するため、及び前記チャネルベースオーディオのOAMD表現のレンダリングのために使用されるオブジェクト利得を含む、EEE１～７のいずれかに記載の方法。
（EEE９）方法であって、
オーディオ処理機器の１つ以上のプロセッサにより、チャネルベースオーディオとメタデータとを含むビットストリームを受信するステップを含み、
前記１つ以上のプロセッサは、
前記チャネルベースオーディオをネイティブオーディオビットストリームに符号化し、
前記メタデータからシグナリングパラメータをパースし、前記シグナリングパラメータは複数の異なるオブジェクトオーディオメタデータ（OAMD）表現のうちの１つを示し、
前記シグナリングパラメータにより示されるOAMD表現を用いて、前記チャネルベースメタデータをOAMDに変換し、
前記OAMDのチャネル順序制約に基づき、チャネルシャッフル情報を生成し、
前記ネイティブオーディオビットストリーム、前記チャネルシャッフル情報、及び前記OAMDを含むビットストリームパッケージを生成し、
前記パッケージをトランスポート層ビットストリームに多重化し、
前記トランスポート層ビットストリームを再生装置又はソース装置に送信する、よう構成される、方法。
（EEE１０）前記ネイティブオーディオビットストリームは、高度オーディオコーディング（AAC）ビットストリームである、EEE９に記載の方法。
（EEE１１）前記チャネルベースオーディオ及びメタデータは、N.Mチャネルベースオーディオ及びメタデータであり、Nは７より大きい正の整数であり、Mは０以上の正の整数である、EEE９又は１０に記載の方法。
（EEE１２）前記ソース装置は、テレビセットトップボックス、又はオーディオ／ビデオ受信機である、EEE９～１１のいずれかに記載の方法。
（EEE１３）OAMDベッドチャネルラベルにより表現できるチャネルベースオーディオの中のチャネルは、前記OAMDベッドチャネルラベルを使用し、OAMDベッドチャネルラベルにより表現できないチャネルベースオーディオの中のチャネルは、静的オブジェクト位置を使用し、各静的オブジェクト位置は、OAMD位置座標で記述される、EEE９～１２のいずれかに記載の方法。
（EEE１４）前記OAMDは、前記レンダリングオーディオの中の９つ以上のスクリーン外オーディオオブジェクトの音量レベルを下げる次元トリミングデータを含む、EEE９～１３のいずれかに記載の方法。
（EEE１５）前記OAMDは、前記チャネルベースオーディオのダウンミキシング値の間の差を補償するため、及び前記チャネルベースオーディオのOAMD表現のレンダリングのために使用されるオブジェクト利得を含む、EEE９～１４のいずれかに記載の方法。
（EEE１６）前記トランスポートビットストリームは、動画専門家グループ（MPEG）オーディオビットストリームの拡張フィールドの中のOAMDの存在を示す信号を含むMPEGオーディオビットストリームであるEEE９～１５のいずれかに記載の方法。
（EEE１７）前記MPEGオーディオビットストリームの中のOAMDの存在を示す前記信号は、サラウンド音声モードをシグナリングするための前記MPEGオーディオビットストリームの中の予約メタデータフィールドに含まれる、EEE１６に記載の方法。
（EEE１８）方法であって、
オーディオ処理機器の１つ以上のプロセッサにより、パッケージを含むトランスポート層ビットストリームを受信するステップを含み、
前記１つ以上のプロセッサは、
前記トランスポート層ビットストリームを逆多重化して、前記パッケージを復元し、
前記パッケージを復号して、ネイティブオーディオビットストリーム、チャネルシャッフル情報、及びオブジェクトオーディオメタデータ（OAMD）を復元し、
前記ネイティブオーディオビットストリームを復号して、チャネルベースオーディオ及びメタデータを復元し、
前記チャネルシャッフル情報に基づき、前記チャネルベースオーディオのチャネルを並べ替え、
前記OAMDを用いて、前記並べ替えチャネルベースオーディオをレンダリングオーディオにレンダリングするか、又は、
前記チャネルベースオーディオ及びOAMDをオブジェクトベースオーディオビットストリームに符号化し、前記オブジェクトベースオーディオビットストリームをソース装置へ送信する、よう構成される、方法。
（EEE１９）前記ネイティブオーディオビットストリームは、高度オーディオコーディング（AAC）ビットストリームである、EEE１８に記載の方法。
（EEE２０）前記チャネルベースオーディオ及びメタデータは、N.Mチャネルベースオーディオ及びメタデータであり、Nは７より大きい正の整数であり、Mは０以上の正の整数である、EEE１８又は１９に記載の方法。
（EEE２１）OAMDベッドチャネルにより表現できるチャネルベースオーディオの第１チャネルセットを決定するステップと、
前記第１チャネルセットにOAMDベッドチャネルラベルを割り当てるステップと、
OAMDベッドチャネルにより表現できないチャネルベースオーディオの第２チャネルセットを決定するステップと、
前記第２チャネルセットに静的OAMD位置座標を割り当てるステップと、
を更に含むEEE１８～２０のいずれかに記載の方法。
（EEE２２）前記OAMDは、前記レンダリングオーディオの中の１つ以上のスクリーン外オーディオオブジェクトの音量レベルを下げる次元トリミングデータを含む、EEE１８～２１のいずれかに記載の方法。
（EEE２３）前記OAMDは、前記チャネルベースオーディオのダウンミキシング値の間の差を補償するため、及び前記チャネルベースオーディオのOAMD表現のレンダリングのために使用されるオブジェクト利得を含む、EEE１８～２２のいずれかに記載の方法。
（EEE２４）前記トランスポートビットストリームは、動画専門家グループ（MPEG）オーディオビットストリームの拡張フィールドの中のOAMDの存在を示す信号を含むMPEGオーディオビットストリームであるEEE１８～２３のいずれかに記載の方法。
（EEE２５）前記MPEGオーディオビットストリームの中のOAMDの存在を示す前記信号は、サラウンド音声モードをシグナリングするための前記MPEGオーディオビットストリームのメタデータの中のデータ構造の予約フィールドに含まれる、EEE１８～２４のいずれかに記載の方法。
（EEE２６）機器であって、
１つ以上のプロセッサと、
命令を格納している非一時的コンピュータ可読記憶媒体であって、前記命令は、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、EEE１～２５のいずれかに記載の方法を実行させる、非一時的コンピュータ可読記憶媒体と、
を含む機器。
（EEE２７）命令を格納している非一時的コンピュータ可読記憶媒体であって、前記命令は、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、EEE１～２５のいずれかに記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
【図1A】
【図1B】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7A】
【図7B】
【図7C】
【図8A】
【図8B】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【手続補正書】
【提出日】2022-07-27
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
方法であって、オーディオ処理機器の１つ以上のプロセッサにより、チャネルベースオーディオと関連するチャネルベースオーディオメタデータとを含むビットストリームを受信するステップ、を含み、
前記１つ以上のプロセッサは、
前記チャネルベースオーディオメタデータからシグナリングパラメータをパースし、前記シグナリングパラメータは、複数の異なるオブジェクトオーディオメタデータ（OAMD）表現のうちの１つを示し、前記OAMD表現のうちの各OAMD表現は、前記チャネルベースオーディオの１つ以上のオーディオチャネルを１つ以上のオーディオオブジェクトにマッピングし、
前記シグナリングパラメータにより示されるOAMD表現を用いて、前記チャネルベースオーディオメタデータを前記１つ以上のオーディオオブジェクトに関連付けられたOAMDに変換し、
前記OAMDのチャネル順序制約に基づき、チャネルシャッフル情報を生成し、
前記チャネルシャッフル情報に基づき前記チャネルベースオーディオの１つ以上のオーディオチャネルを並べ替えて、並べ替えチャネルベースオーディオを生成し、
前記OAMDを用いて、前記並べ替えチャネルベースオーディオをレンダリングオーディオにレンダリングするか、又は、
前記並べ替えチャネルベースオーディオ及び前記OAMDをオブジェクトベースオーディオビットストリームに符号化し、前記オブジェクトベースオーディオビットストリームを再生装置又はソース装置へ送信する、
よう構成される、方法。
【請求項2】
前記ビットストリームは、ネイティブオーディオビットストリームであり、前記方法は、前記ネイティブオーディオビットストリームを復号して、前記チャネルベースオーディオ及びメタデータを決定するステップ、を更に含む請求項１に記載の方法。
【請求項3】
前記ネイティブオーディオビットストリームは、高度オーディオコーディング（AAC）ビットストリームである、請求項２に記載の方法。
【請求項4】
前記チャネルベースオーディオ及び前記関連するチャネルベースオーディオメタデータは、各々N.Mチャネルベースオーディオ及び前記N.Mチャネルベースオーディオに関連付けられたチャネルベースオーディオメタデータであり、Nは９より大きい正の整数であり、Mは０以上の正の整数である、請求項１～３のいずれかに記載の方法。
【請求項5】
前記チャネルベースオーディオは２２.２である、請求項４に記載の方法。
【請求項6】
方法であって、オーディオ処理機器の１つ以上のプロセッサにより、チャネルベースオーディオと関連するチャネルベースオーディオメタデータとを含むビットストリームを受信するステップ、を含み、
前記１つ以上のプロセッサは、
前記チャネルベースオーディオをネイティブオーディオビットストリームに符号化し、
前記チャネルベースオーディオメタデータからシグナリングパラメータをパースし、前記シグナリングパラメータは、複数の異なるオブジェクトオーディオメタデータ（OAMD）表現のうちの１つを示し、前記OAMD表現のうちの各OAMD表現は、前記チャネルベースオーディオの１つ以上のオーディオチャネルを１つ以上のオーディオオブジェクトにマッピングし、
前記シグナリングパラメータにより示されるOAMD表現を用いて、前記チャネルベースメタデータを前記１つ以上のオーディオオブジェクトに関連付けられたOAMDに変換し、
前記OAMDのチャネル順序制約に基づき、チャネルシャッフル情報を生成し、
前記ネイティブオーディオビットストリーム、前記チャネルシャッフル情報、及び前記OAMDを含むビットストリームパッケージを生成し、前記チャネルシャッフル情報は、再生装置又はソース装置において、前記チャネルシャッフル情報に基づき前記チャネルベースオーディオの１つ以上のオーディオチャネルを並べ替えて、並べ替えチャネルベースオーディオを生成することを可能にし、
前記ビットストリームパッケージをトランスポート層ビットストリームに多重化し、
前記トランスポート層ビットストリームを前記再生装置又は前記ソース装置へ送信する、
よう構成される、方法。
【請求項7】
前記ネイティブオーディオビットストリームは、高度オーディオコーディング（AAC）ビットストリームである、請求項６に記載の方法。
【請求項8】
前記チャネルベースオーディオ及び前記関連するチャネルベースオーディオメタデータは、各々N.Mチャネルベースオーディオ及び前記N.Mチャネルベースオーディオに関連付けられたチャネルベースオーディオメタデータであり、Nは７より大きい正の整数であり、Mは０以上の正の整数である、請求項６又は７に記載の方法。
【請求項9】
前記チャネルベースオーディオは２２.２である、請求項８に記載の方法。
【請求項10】
方法であって、オーディオ処理機器の１つ以上のプロセッサにより、ビットストリームパッケージを含むトランスポート層ビットストリームを受信するステップであって、前記ビットストリームパッケージは、符号化されたチャネルベースオーディオ、チャネルシャッフル情報、及びオブジェクトオーディオメタデータ（OAMD）を含むネイティブオーディオビットストリームを含む、ステップを含み、
前記１つ以上のプロセッサは、
前記トランスポート層ビットストリームを逆多重化して、前記ビットストリームパッケージを決定し、
前記ビットストリームパッケージを復号して、前記チャネルベースオーディオ、前記チャネルシャッフル情報、及び前記オブジェクトオーディオメタデータ（OAMD）を決定し、
前記チャネルシャッフル情報に基づき前記チャネルベースオーディオのオーディオチャネルを並べ替えて、並べ替えチャネルベースオーディオを生成し、
前記OAMDを用いて、前記並べ替えチャネルベースオーディオをレンダリングオーディオにレンダリングするか、又は、
前記並べ替えチャネルベースオーディオ及び前記OAMDをオブジェクトベースオーディオビットストリームに符号化し、前記オブジェクトベースオーディオビットストリームをソース装置へ送信する、
よう構成される、方法。
【請求項11】
前記ネイティブオーディオビットストリームは、高度オーディオコーディング（AAC）ビットストリームである、請求項１０に記載の方法。
【請求項12】
前記チャネルベースオーディオは、N.Mチャネルベースオーディオであり、Nは７より大きい正の整数であり、Mは０以上の正の整数である、請求項１０又は１１に記載の方法。
【請求項13】
前記チャネルベースオーディオは２２.２である、請求項１２に記載の方法。
【請求項14】
機器であって、１つ以上のプロセッサと、
命令を格納している非一時的コンピュータ可読記憶媒体であって、前記命令は、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、請求項１～１３のいずれかに記載の方法を実行させる、非一時的コンピュータ可読記憶媒体と、
を含む機器。
【請求項15】
命令を格納している非一時的コンピュータ可読記憶媒体であって、前記命令は、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、請求項１～１３のいずれかに記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０１０７
【補正方法】削除
【補正の内容】
【国際調査報告】