特開2024-159963パケット化メディアストリームのサイドロード処理のための方法、機器、およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024159963
(43)【公開日】2024-11-08
(54)【発明の名称】パケット化メディアストリームのサイドロード処理のための方法、機器、およびシステム
(51)【国際特許分類】
H04N 21/44 20110101AFI20241031BHJP
H04N 21/439 20110101ALI20241031BHJP
【ＦＩ】
H04N21/44
H04N21/439
【審査請求】有
【請求項の数】14
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024150451
(22)【出願日】2024-09-02
(62)【分割の表示】P 2023075386の分割
【原出願日】2019-02-22
(31)【優先権主張番号】62/634,136
(32)【優先日】2018-02-22
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/641,098
(32)【優先日】2018-03-09
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】18166319.6
(32)【優先日】2018-04-09
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】62/697,536
(32)【優先日】2018-07-13
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】510185767
【氏名又は名称】ドルビー・インターナショナル・アーベー
(74)【代理人】
【識別番号】110004381
【氏名又は名称】弁理士法人ＩＴＯＨ
(72)【発明者】
【氏名】シュライナー，シュテファン
(72)【発明者】
【氏名】フェルシュ，クリストフ
(57)【要約】
【課題】 本開示は、パケット化メディアストリームのサイドロード処理のための方法、機器、およびシステムに関する。
【解決手段】 一実施形態では、機器は、ビットストリームを受信する受信機と、ビットストリーム内のパケットタイプを識別しおよびビットストリーム内のパケットタイプの値の識別に基づきメインストリームと補助ストリームとに分離するスプリッタと、を含む。
【選択図】 図２
【解決手段】 一実施形態では、機器は、ビットストリームを受信する受信機と、ビットストリーム内のパケットタイプを識別しおよびビットストリーム内のパケットタイプの値の識別に基づきメインストリームと補助ストリームとに分離するスプリッタと、を含む。
【選択図】 図２
【特許請求の範囲】
【請求項1】
マージされたパケット化されたメディアビットストリームを処理する方法であって、前記方法は、
前記マージされたパケット化されたメディアビットストリームから、MHASフォーマットでカプセル化されたMPEG-H ３Dオーディオデータを含むメインストリームを抽出するステップと、
前記マージされたパケット化されたメディアビットストリームから、前記MHASフォーマットのパケットとしてカプセル化された追加オーディオデータを含む補助ストリームを抽出するステップであって、前記パケットは、新しいMHASパケットタイプを有し、前記パケットのパケットペイロードのフォーマットは、前記MPEG-H ３DオーディオデータのMPEG-H ３Dフォーマットと異なり、前記新しいMHASパケットタイプは内部フォーマットを示す、ステップと、
前記メインストリームに対する前記補助ストリームの時間オフセットが存在することを示す時間オフセットシグナリングを識別するステップであって、前記時間オフセットシグナリングは、前記メインストリームと揃えられてミキサに到着するように、補助ストリーム信号がオフセットされる必要があることを示す、ステップと、
前記時間オフセットシグナリングに基づき、前記追加オーディオデータを前記MPEG-H ３Dオーディオデータと時間的に揃えるステップと、
前記MPEG-H ３Dフォーマットに基づき、前記メインストリームを復号するステップと、
を含む方法。
前記マージされたパケット化されたメディアビットストリームから、MHASフォーマットでカプセル化されたMPEG-H ３Dオーディオデータを含むメインストリームを抽出するステップと、
前記マージされたパケット化されたメディアビットストリームから、前記MHASフォーマットのパケットとしてカプセル化された追加オーディオデータを含む補助ストリームを抽出するステップであって、前記パケットは、新しいMHASパケットタイプを有し、前記パケットのパケットペイロードのフォーマットは、前記MPEG-H ３DオーディオデータのMPEG-H ３Dフォーマットと異なり、前記新しいMHASパケットタイプは内部フォーマットを示す、ステップと、
前記メインストリームに対する前記補助ストリームの時間オフセットが存在することを示す時間オフセットシグナリングを識別するステップであって、前記時間オフセットシグナリングは、前記メインストリームと揃えられてミキサに到着するように、補助ストリーム信号がオフセットされる必要があることを示す、ステップと、
前記時間オフセットシグナリングに基づき、前記追加オーディオデータを前記MPEG-H ３Dオーディオデータと時間的に揃えるステップと、
前記MPEG-H ３Dフォーマットに基づき、前記メインストリームを復号するステップと、
を含む方法。
【請求項2】
前記MHASフォーマットはISO/IEC２３００８-３規格と互換性がある、請求項１に記載の方法。
【請求項3】
命令を格納している非一時的コンピュータ可読記憶媒体であって、前記命令は１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、請求項１に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
【請求項4】
マージされたパケット化されたメディアビットストリームを処理するオーディオ復号機器であって、
前記マージされたパケット化されたメディアビットストリームからメインストリームと補助ストリームを抽出するよう構成されたスプリッタであって、前記メインストリームはMHASフォーマットでカプセル化されたMPEG-H ３Dオーディオデータを含み、前記補助ストリームは、前記MHASフォーマットのパケットとしてカプセル化された追加オーディオデータを含み、前記パケットは、新しいMHASパケットタイプを有し、前記パケットのパケットペイロードのフォーマットは、前記MPEG-H ３DオーディオデータのMPEG-H ３Dフォーマットと異なり、前記新しいMHASパケットタイプは内部フォーマットを示す、スプリッタと、
前記メインストリームに対する前記補助ストリームの時間オフセットが存在することを示す時間オフセットシグナリングを識別するよう構成された識別ユニットであって、前記時間オフセットシグナリングは、前記メインストリームと揃えられてミキサに到着するように、補助ストリーム信号がオフセットされる必要があることを示す、識別ユニットと、
前記時間オフセットシグナリングに基づき、前記追加オーディオデータを前記MPEG-H ３Dオーディオデータと時間的に揃える時間整合ユニットと、
前記MPEG-H ３Dフォーマットに基づき、前記メインストリームを復号するオーディオデコーダと、
を含む機器。
前記マージされたパケット化されたメディアビットストリームからメインストリームと補助ストリームを抽出するよう構成されたスプリッタであって、前記メインストリームはMHASフォーマットでカプセル化されたMPEG-H ３Dオーディオデータを含み、前記補助ストリームは、前記MHASフォーマットのパケットとしてカプセル化された追加オーディオデータを含み、前記パケットは、新しいMHASパケットタイプを有し、前記パケットのパケットペイロードのフォーマットは、前記MPEG-H ３DオーディオデータのMPEG-H ３Dフォーマットと異なり、前記新しいMHASパケットタイプは内部フォーマットを示す、スプリッタと、
前記メインストリームに対する前記補助ストリームの時間オフセットが存在することを示す時間オフセットシグナリングを識別するよう構成された識別ユニットであって、前記時間オフセットシグナリングは、前記メインストリームと揃えられてミキサに到着するように、補助ストリーム信号がオフセットされる必要があることを示す、識別ユニットと、
前記時間オフセットシグナリングに基づき、前記追加オーディオデータを前記MPEG-H ３Dオーディオデータと時間的に揃える時間整合ユニットと、
前記MPEG-H ３Dフォーマットに基づき、前記メインストリームを復号するオーディオデコーダと、
を含む機器。
【請求項5】
方法であって、
マージされたパケット化されたメディアビットストリームをMPEG-H ３D Audioデコーダにおいて受信するステップであって、前記マージされたパケット化されたメディアビットストリームは、メインストリームと関連付けられたMHASフォーマットのパケットと、補助ストリームに関連付けられた新しいMHASフォーマットのパケットと、を含む、ステップと、
MPEG-H ３D Audio Coreデコーダにより、前記メインストリームに関連付けられたパケットに基づき、オーディオデータを生成するステップと、
前記補助ストリームに関連付けられた前記新しいMHASフォーマットのパケットに基づき、追加オーディオデータを識別するステップであって、前記識別は、前記新しいMHASフォーマットのパケットのパケットタイプに基づく、ステップと、
を含む方法。
マージされたパケット化されたメディアビットストリームをMPEG-H ３D Audioデコーダにおいて受信するステップであって、前記マージされたパケット化されたメディアビットストリームは、メインストリームと関連付けられたMHASフォーマットのパケットと、補助ストリームに関連付けられた新しいMHASフォーマットのパケットと、を含む、ステップと、
MPEG-H ３D Audio Coreデコーダにより、前記メインストリームに関連付けられたパケットに基づき、オーディオデータを生成するステップと、
前記補助ストリームに関連付けられた前記新しいMHASフォーマットのパケットに基づき、追加オーディオデータを識別するステップであって、前記識別は、前記新しいMHASフォーマットのパケットのパケットタイプに基づく、ステップと、
を含む方法。
【請求項6】
変更デコーダにより、前記追加オーディオデータのフォーマット変換を実行するステップ、をさらに含む請求項５に記載の方法。
【請求項7】
前記変更デコーダにより、前記追加オーディオデータのサンプルレートを変換するステップ、をさらに含む請求項６に記載の方法。
【請求項8】
サンプルレートを取得し、取得した前記サンプルレートに基づき、前記追加オーディオデータのサンプルレートを変換するステップ、をさらに含む請求項６に記載の方法。
【請求項9】
前記変更デコーダにより生成されたオーディオデータを、標準化されたMPEG-H ３D Audio Coreデコーダにより生成されたオーディオデータとミキシングするステップ、をさらに含む請求項７に記載の方法。
【請求項10】
MPEG-H ３DA互換デコーダにおいて、メインストリームに関連付けられたMHASフォーマットのパケットと、補助ストリームに関連付けられた前記MHASフォーマットのパケットと、を含むマージされたパケット化されたメディアビットストリームを受信するステップと、
MPEG-H ３D Audio Core互換デコーダにより、前記メインストリームに関連付けられたパケットに基づき、オーディオデータを生成するステップと、
変更デコーダにより、パケットのヘッダにカプセル化されたパケットタイプを識別するステップであって、前記パケットタイプは新しいMHASパケットタイプである、ステップと、
追加オーディオデータを変換および／または復号するステップであって、前記追加オーディオデータは前記パケットタイプに基づき決定され、前記復号することは、MPEG-H ３D Audioにおいて標準化されていない、ステップと、
前記変更デコーダにより、前記追加オーディオデータに対してフォーマット変換を実行するステップと、
前記変更デコーダにより、前記追加オーディオデータのサンプルレートを変換するステップと、
を含む方法。
MPEG-H ３D Audio Core互換デコーダにより、前記メインストリームに関連付けられたパケットに基づき、オーディオデータを生成するステップと、
変更デコーダにより、パケットのヘッダにカプセル化されたパケットタイプを識別するステップであって、前記パケットタイプは新しいMHASパケットタイプである、ステップと、
追加オーディオデータを変換および／または復号するステップであって、前記追加オーディオデータは前記パケットタイプに基づき決定され、前記復号することは、MPEG-H ３D Audioにおいて標準化されていない、ステップと、
前記変更デコーダにより、前記追加オーディオデータに対してフォーマット変換を実行するステップと、
前記変更デコーダにより、前記追加オーディオデータのサンプルレートを変換するステップと、
を含む方法。
【請求項11】
前記変更デコーダにより生成されたオーディオデータを、前記標準化されたMPEG-H ３D Audio Coreデコーダにより生成されたオーディオデータとミキシングするステップ、をさらに含む請求項９に記載の方法。
【請求項12】
MHASフォーマットのパケットとしてカプセル化されたメインMPEG-H ３Dオーディオデータを有するマージされたパケット化されたメディアビットストリームのメインストリームに関連付けられたパケットに基づき、オーディオデータを生成するよう構成されるMPEG-H ３D Audio Coreデコーダと、
変更デコーダと、
を含み、前記変更デコーダは、
前記マージされたパケット化されたメディアビットストリームの補助ストリームに関連付けられたパケットとしてカプセル化された追加オーディオデータを、パケットのヘッダにカプセル化されたパケットタイプの識別に基づき、変換および／または復号する手段を含む追加デコーダであって、前記パケットタイプは標準化されたMPEG-H ３D Audio Coreデコーダにより復号できない新しいMHASタイプである、追加デコーダと、
前記パケットにカプセル化された追加オーディオデータに対してフォーマット変換を実行するよう構成されるフォーマット変換ユニットと、
前記パケットにカプセル化された前記追加オーディオデータのサンプルレートを変換するよう構成されるサンプルレート変換器と、
を含む、機器。
変更デコーダと、
を含み、前記変更デコーダは、
前記マージされたパケット化されたメディアビットストリームの補助ストリームに関連付けられたパケットとしてカプセル化された追加オーディオデータを、パケットのヘッダにカプセル化されたパケットタイプの識別に基づき、変換および／または復号する手段を含む追加デコーダであって、前記パケットタイプは標準化されたMPEG-H ３D Audio Coreデコーダにより復号できない新しいMHASタイプである、追加デコーダと、
前記パケットにカプセル化された追加オーディオデータに対してフォーマット変換を実行するよう構成されるフォーマット変換ユニットと、
前記パケットにカプセル化された前記追加オーディオデータのサンプルレートを変換するよう構成されるサンプルレート変換器と、
を含む、機器。
【請求項13】
方法であって、
MPEG-H ３D Audio互換デコーダにより、マージされたパケット化されたメディアビットストリームを受信するステップであって、前記メディアビットストリームは、メインストリームに関連付けられたパケットと補助ストリームに関連付けられたパケットとを含む、ステップと、
前記MPEG-H ３D Audio互換デコーダにより、前記マージされたパケット化されたメディアビットストリームの中のパケットのヘッダ内にカプセル化されたパケットタイプを識別するステップと、
前記パケットタイプの識別に基づき、前記マージされたパケット化されたメディアビットストリームを前記メインストリームと前記補助ストリームとに分けるステップと、
を含む方法。
MPEG-H ３D Audio互換デコーダにより、マージされたパケット化されたメディアビットストリームを受信するステップであって、前記メディアビットストリームは、メインストリームに関連付けられたパケットと補助ストリームに関連付けられたパケットとを含む、ステップと、
前記MPEG-H ３D Audio互換デコーダにより、前記マージされたパケット化されたメディアビットストリームの中のパケットのヘッダ内にカプセル化されたパケットタイプを識別するステップと、
前記パケットタイプの識別に基づき、前記マージされたパケット化されたメディアビットストリームを前記メインストリームと前記補助ストリームとに分けるステップと、
を含む方法。
【請求項14】
機器であって、
MPEG-H ３D Audio互換デコーダにより、メインストリームに関連付けられたパケットと補助ストリームに関連付けられたパケットとを含むマージされたパケット化されたメディアビットストリームを受信する受信機と、
前記MPEG-H ３D Audio互換デコーダにより、前記マージされたパケット化されたメディアビットストリームの中のパケットのヘッダにカプセル化されたパケットタイプを識別するプロセッサと、
前記パケットタイプの識別に基づき、前記マージされたパケット化されたメディアビットストリームを前記メインストリームと前記補助ストリームとに分けるスプリッタと、
を含む機器。
MPEG-H ３D Audio互換デコーダにより、メインストリームに関連付けられたパケットと補助ストリームに関連付けられたパケットとを含むマージされたパケット化されたメディアビットストリームを受信する受信機と、
前記MPEG-H ３D Audio互換デコーダにより、前記マージされたパケット化されたメディアビットストリームの中のパケットのヘッダにカプセル化されたパケットタイプを識別するプロセッサと、
前記パケットタイプの識別に基づき、前記マージされたパケット化されたメディアビットストリームを前記メインストリームと前記補助ストリームとに分けるスプリッタと、
を含む機器。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願］
本願は、以下の先願：US仮出願番号第62/634,136号（参照番号：D18027USP1）、2018年2月22日出願、US仮出願番号第62/641,098（参照番号：D18027USP2）、2018年3月9日出願、EP出願第18166319.6号（参照番号：D18027EP）、2018年4月9日出願、およびUS仮出願番号第62/697,536号（参照番号：D18027USP3）、2018年7月13日出願、の優先権を主張する。これらの出願は、参照によりここに組み込まれる。
本願は、以下の先願：US仮出願番号第62/634,136号（参照番号：D18027USP1）、2018年2月22日出願、US仮出願番号第62/641,098（参照番号：D18027USP2）、2018年3月9日出願、EP出願第18166319.6号（参照番号：D18027EP）、2018年4月9日出願、およびUS仮出願番号第62/697,536号（参照番号：D18027USP3）、2018年7月13日出願、の優先権を主張する。これらの出願は、参照によりここに組み込まれる。
【0002】
［技術分野］
本開示は、パケット化メディア処理のための機器、システム、および方法を提供することに関する。
本開示は、パケット化メディア処理のための機器、システム、および方法を提供することに関する。
【図面の簡単な説明】
【0003】
【図1】例示的な装置＃1および例示的な装置＃2を示す。
【図2】本発明による例示的なMPEG－H 3Dオーディオパケットストリームを示す。
【図3】例示的な装置＃1および例示的な装置＃3を示す。
【図4A】本発明に従う一次デコーダ／レンダラの別の例を概略的に示す。
【図4B】本発明に従う一次デコーダ／レンダラの別の例を概略的に示す。
【図5A】本発明に従う一次デコーダ／レンダラのさらに別の例を概略的に示す。
【図5B】本発明に従う一次デコーダ／レンダラのさらに別の例を概略的に示す。
【図6】MHASに基づき本発明の手段を達成するための例示的なパケットタイプを示す。
【発明を実施するための形態】
【0004】
家庭向け消費者電子機器（Consumer Electronics(CE)）のインストールでは、機能が幾つかの装置（例えば、セットトップボックス、TVセット、AVR受信機）に渡り広がり得る。ここで、このような装置は標準化されたインタフェース（例えば、HDMI（登録商標））により接続される。
【0005】
第1装置は、ブロードキャストおよび／または広帯域接続からメディアストリームを受信できる。この第1装置は、高度な知能をさらに有し得る（例えば、「スマートスピーカ」機能）。第2装置は、メディア復号、レンダリング、及びユーザへの提示に専用であり得る。
【0006】
標準的に、メディアプログラムは、装置＃1により受信され、再生のために装置＃2へ送信される。このメディアプログラムは、「メインプログラム」として知られ得る。時折、または追加で、異なる送信チャネルから受信された異なるメディアプログラム（広告のような）または装置＃1内の「スマートデバイス」能力により生成されたメディアは、両方とも、通常、異なるメディアフォーマットで提示され、メインメディアプログラムに挿入されまたはオーバレイされるべきである。
【0007】
これは、メインプログラムおよび補助プログラムの両方を、一般化された標準的に非圧縮の表現に復号し、ストリームを切り替え、または両者を結合された表現にミキシング／レンダリングし、生成したメディアストリームを符号化送信フォーマットに再符号化することにより達成できる。この方法は、装置＃1において全て実行されるような、任意の装置において実行できる。しかしながら、高い計算パワーが必要となることがあり、レンダリング段階および中間表現は、装置＃2における実際の再生システムの最適な適合を提供しないことがある。
【0008】
図1は、例示的な装置＃1および例示的な装置＃2を示す。装置＃1は、一次受信機101、二次受信機／ローカルエンジン103、およびパケット化ストリーム統合部102を含んでよい。パケット化ストリーム統合部102は、一次受信機101から受信したデータストリーム（例えば、メインストリーム）と、二次受信機／ローカルエンジン103から受信したデータストリーム（例えば、補助データストリーム）とを統合してよい。装置＃2は、ストリームスプリッタ201、一次デコーダ／レンダラ202、および二次デコーダ／レンダラ203を含んでよい。ストリームスプリッタ201は、メインストリーム（これは次に一次デコーダ／レンダラ202に提供されてよい）および補助ストリーム（これは次に二次デコーダ／レンダラ203に提供されてよい）のようなストリームを分離してよい。両方のデコーダ出力信号は、視聴者に同時に提示されてよい。
【0009】
上述の制限を克服するために、装置＃1は、入力するメインメディアストリームを装置＃2に直接送信できる。装置＃1のこのモードは、「通過（passーthrough）」モードと呼ばれる。しかしながら、このアプローチの下流では、ビデオおよびオーディオのために1つの単一データストリームを伝達するために、標準化インタフェースが指定されるだけである。したがって、第2メディアストリームは、本来、インタフェースを介して再生のために装置＃2へ送信できない。
【0010】
本発明は、パケット化メディアデータを受信する一次受信機と、追加メディアストリームを受信する二次受信機と、パケット化メディアデータを送信する送信機インタフェースと、のための方法および機器を提供する。
【0011】
本発明は、以下の手段により、第2補助メディアストリームを、パケット化メインメディアストリームに統合することを提案する。
【0012】
パケット化ストリームとして表現されるメディアストリームは、標準的に、全体のメディアストリームと共に、複数のサブストリームを差別化するためにパケットタイプ識別子を使用する。メインメディアストリームと関連しない追加（メディア）データを伝達するために、第1装置＃1は、メインメディアストリームに従いフォーマットされパケットヘッダ内の専用タグによりラベル付けされたパケットに、追加データをカプセル化できる。この専用タグは、追加メディアストリームを運ぶパケットを取り除くよう、受信側装置＃2をトリガする。任意で、装置＃2は、次に、追加メディアストリームを二次デコーダ／レンダラ203インスタンスに提供してよい。同時に、メインストリームは、一次デコーダ／レンダラ202により受信される。
【0013】
一例では、追加カプセル化メディアストリームのための、パケットヘッダ内のこの新しいタグを認識しないレガシー受信側装置は、既にこれらのパケットを無視することが期待される。
【0014】
タグは、任意の符号化オーディオデータストリーム環境、例えばMPEG－H、AC－4、Dolby Digital+、等で提供されてよい。
【0015】
追加で挿入されたデータストリームが、元のメディアストリームと比べて実質的なデータレートを超える場合、受信側装置は、入力パケット化ストリームをフィルタリングし、任意で、追加データパケットを取り除いて、下流の接続された（レガシー）メディアデコーダの受信機バッファモデルを維持しなければならない。
【0016】
さらに、図3は、装置＃1は、一次受信機101、二次受信機／ローカルエンジン103、およびパケット化ストリーム統合部102を含んでよい。パケット化ストリーム統合部102は、一次受信機101から受信したデータストリーム（例えば、メインストリーム）と、二次受信機／ローカルエンジン103から受信したデータストリーム（例えば、補助データストリーム）とを統合してよい。装置＃3は、一次デコーダ／レンダラ301のみを含み、ストリームスプリッタを含まなくてよい。一例では、補助ストリームを二次デコーダ／レンダラに提供することが可能でなくてよい。本例では、変更された一次デコーダは、内部でメインストリームと共に補助ストリームを復号／変換／ミキシングしてよい。
【0017】
＜MPEG－Hエコシステム＞
ISO/IEC23008－3に従うMPEG－H 3d Audioは、MHASフォーマットにカプセル化される。このフォーマットは、パケット化されたフォーマットを利用する。ここで、各パケットは、パケットヘッダおよびパケットペイロードで構成される。ペイロードは任意のバイナリデータであり、ヘッダはペイロードのタイプおよび長さを指定する。（追加で利用可能なラベルは、複数のインスタンスを区別するために使用できるが、ここでは利用されない）。
ISO/IEC23008－3に従うMPEG－H 3d Audioは、MHASフォーマットにカプセル化される。このフォーマットは、パケット化されたフォーマットを利用する。ここで、各パケットは、パケットヘッダおよびパケットペイロードで構成される。ペイロードは任意のバイナリデータであり、ヘッダはペイロードのタイプおよび長さを指定する。（追加で利用可能なラベルは、複数のインスタンスを区別するために使用できるが、ここでは利用されない）。
【0018】
二次メディアストリーム（例示的にPACTYP_MEDIAと呼ばれる）の新しいMHASパケットタイプを割り当てることにより、任意的にはさらにRIFF/WAVフォーマットを用いて指定される非圧縮PCMデータ、または、ISO/IEC14496－3に従うMPEG－4オーディオのような圧縮オーディオデータとして表現される追加オーディオデータ、または（例えば、ATSCA/52若しくはETSI TS 103 190に従う）任意の他の符号化表現は、MHASパケットにカプセル化でき、したがって、メインMPEG－H 3D Audioストリームに統合できる。カプセル化されるべき異なるフォーマットは、異なるパケットタイプ（例えば、PACTYP_PCM, PACTYP_MPEG4AUDIO, ．．．）により、または以下の例に示すように、MHASパケットのサブヘッダを形成する追加指示子により、区別できる。
【0019】
（メディア）データは構成データを要求し得るが、自己充足ストリームとして表現されないので、このデータは、コンテナMHASパケットのヘッダにカプセル化されてよく、または追加MHASパケット（例えば、PACTYP_MEDIA_CONFIG、またはPACTYP_PCMCONFIGのような構成を示す別のタイプのMHASパケット名）が割り当てられてよく、ここでさらに、追加データのタイプで情報を運んでもよい。MHASパケットタイプは、構成情報をデコーダに供給するために、PCMペイロードデータの構成情報を運んでよい。例えば、構成情報のためのMHASパケットタイプ（例えば、PACTYP_MEDIA_CONFIGまたはPACTYP_PCMCONFIG）が、ビットストリーム内に（例えばPACTYP_MEDIA_CONFIGの後に）存在する場合、データ構造の形式のPCTデータ構成情報（例えば、pcmDataConfig()）は、デコーダに供給されてよい。
【0020】
通常、MHASパケットタイプ（例えば、PACTYP_PCMDATA）は、構成構造に定義されたPCM信号に対応するPCMペイロードを埋め込むために、およびPCMデータペイロード構造の形式のPCMデータをデコーダに供給するために、使用されてよい。MHASパケットタイプ（例えばPACTYP_PCMDATA）がビットストリーム内に存在する場合、PCMデータペイロード構造（例えばpcmDataPayload()）は、復号中に使用されてよい。
【0021】
図2は、本発明による例示的なMPEG－H 3Dオーディオパケットストリームを示す。
【0022】
一例では、本発明は、以下のシンタックス変更に基づく識別情報に基づいてよい：
1)表220－MHASPacketPayload()のシンタックスを以下により変更する。
2)表223のPACTYP_MEDIAに適切なMHASPacketTypeを割り当てる。代替として、MHASPacketTypeの値は、変化してよく、またはプリセット値、例えば最終的な標準化文書において標準化組織により公開された値に依存してよい。
1)表220－MHASPacketPayload()のシンタックスを以下により変更する。
【表1】
【0023】
3)以下のメディアタイプは、mhasMediaDataType一覧を用いて指定されるべきである。
図2は、3Dオーディオデータと共にMPEG－H 3Dオーディオに従う例示的なパケットを含むパケット化メインストリームを例示的に示す（例示的に、構成データ、例えばPACTYP_MPEGH3DACFGをメタデータとして、および符号化オーディオデータ、例えばPACTYP_MPEGH3DAFRAMEを含む）。
【表2】
【0024】
さらに、図2は、例示的に圧縮フォーマット、例えばMPEG4Audioの追加オーディオデータ（補助オーディオデータ／二次オーディオデータ）を含む上述の例示的な追加パケットタイプPACTYP_MEDIAを参照するヘッダ情報により示されている、本発明に従う例示的なパケットを含むパケット化二次ストリーム（補助ストリーム）を例示的に示す。
【0025】
代替または追加で、追加オーディオデータは、ここでは例示的にMPEG－H 3Dオーディオである、上述のようなカプセル化された異なるフォーマットを示すサブヘッダを含むパケット化メインストリームのフォーマットに従い、ヘッダを有するパケットにパケット化できる。
【0026】
本発明の例示的な態様によると、メインストリームおよび補助（二次）ストリームは、ストリーム統合部により、例えばパケット化ストリーム統合部102により、統合できる。
【0027】
出力ストリーム（統合ストリーム）は、メインストリームの符号化オーディオデータに関連するパケットと、補助ストリームのオーディオデータに関連するパケットと、を同じフォーマット（例えば、図2の例示的なMPEG－H 3Dオーディオ）の単一のパケット化ビットストリーム内に含む。
【0028】
非変更（レガシー）MPEG－H 3Dオーディオデコーダは、新たに追加されたパケットタイプ（例えばPACTYP_MEDIA）を理解しなくてよく、このような非変更（レガシー）MPEG－H 3Dオーディオデコーダは、ヘッダ内に示された新たに追加されたパケットタイプ（例えばPACTYP_MEDIA）を有するパケットを無視またはダンプしてよいことに留意する。このような非変更（レガシー）MPEG－H 3Dオーディオデコーダは、メインストリームに関連するオーディオデータを依然として復号できるが追加の補助／二次オーディオデータを処理しないだろう。
【0029】
メインストリームおよび補助ストリームを有する統合ストリームを復号および処理するために、デコーダ装置は、補助オーディオデータに関連するパケットをフィルタリングし、復号／処理することの可能な変更デコーダを含むよう変更され得る。
【0030】
図4は、本発明に従う一次デコーダ／レンダラの別の例を概略的に示す。
【0031】
図4は、これがMPEG－H 3D Audioデコーダにおいてどのように達成されるかを示す。ここで、メディアフォーマットはPCMデータである。例示的に、一次デコーダ／レンダラ301は、MPEG－H 3D Audio Core Decoder M1、およびオブジェクトレンダラM2、例えばMPEG－H 3Dオーディオ（ISO/IEC23008－3）標準に従い定められるような関連するレンダリングユニットを含むよう実現される。
【0032】
変更デコーダ301は、追加で、新たな追加パケットタイプ（例えばPACTYP_MEDIA）を示すヘッダを有するMHASパケットをフィルタリングし取り除き、補助オーディオデータを有するパケットをフォーマット変換ユニット301cに、次にサンプルレート変換器に入力してよい（例示的に、サンプルレート変換器M3は、MPEG－H 3Dオーディオ（ISO/IEC23008－3）標準に従い定められるように、MPEG－H 3D Audio Core Decoder M1の下流のデコーダアーキテクチャの中に存在する）。
【0033】
したがって、変更デコーダ301は、メディアサンプリングレートとチャネルレイアウトを出力サンプルレートとデコーダのチャネル構成に適合させるために、（例えば、サンプルレート変換器M3により）サンプルレート変換を、および（例えば、フォーマット変換ユニット301c1により）フォーマット変換を、入力メディアデータ（MHASPacketType==PACTYP_MEDIA）に対して実行してよい。さらに、変更デコーダは、ミキサにおいて、入力メディアデータまたはサンプリングレート変換された入力メディアデータを、MPEG－H 3D Audio Core Decoder M1により生成されたオーディオメディアデータとミキシングしてよい（例えば、例示的に、ミキサユニットM4は、MPEG－H 3Dオーディオ（ISO/IEC23008－3）標準に従い定義されたようなMPEG－H 3D Audio Core Decoder M1の下流にあるデコーダアーキテクチャの中に存在する）。
【0034】
図4の上述の例は、例示的に、PCMデータ等のような非圧縮メディアデータを含む補助メディアデータに関連する。留意すべきことに、PCMデータ等のような非圧縮メディアデータが、例えば3Dオーディオ機器の位置情報をさらに含む、または対応する位置メタデータに関連する場合、補助データは、MPEG－H 3Dオーディオ（ISO/IEC23008－3）標準に従い定められたMPEG－H 3D Audio CoreDecoder M1の下流にあるデコーダアーキテクチャの中に存在するオブジェクトレンダラM2のような位置データ処理オブジェクトレンダラによりさらに処理できる。
【0035】
図5は、本発明に従う一次デコーダ／レンダラのさらに別の例を概略的に示す。例示的に、一次デコーダ／レンダラ301は、MPEG－H 3D Audio Core Decoder M1、およびオブジェクトレンダラM2、例えばMPEG－H 3Dオーディオ（ISO/IEC23008－3）標準に従い定められるような関連するレンダリングユニットを含むよう実現される。
【0036】
図5は、上述のものがMPEG－H 3D Audioデコーダにおいてどのように達成されるかを示す。ここで、メディアフォーマットは符号化データ（例えば、MPEG－4Audio）である。変更デコーダ301は、入力メディアデータ（MHASPacketType==PACTYP_MEDIA）を、必ずしもISO/IEC23008－3の中で指定されていない追加デコーダ301c2（補助メディアデータを変換および／または復号するよう構成される変換器および／またはデコーダ）を用いて復号してよい。さらに、変更されたデコーダは、これらの復号メディアデータを、MPEG－H 3D audio(ISO/IEC23008－3)標準に従い定められるようなMPEG－H 3D Audio Core Decoder M1により生成されたオーディオメディアデータとミキシングしてよい。
【0037】
＜異なるソースから生じる複数のMHASサブストリームの時間整合（time-alignment）＞
本発明による例示的な態様では、追加時間整合ユニットは、補助ストリームのパケットの時間整合のために、例えば異なるソースから生じる複数のMHASサブストリームの時間整合を提供するために、設けられてよい。
本発明による例示的な態様では、追加時間整合ユニットは、補助ストリームのパケットの時間整合のために、例えば異なるソースから生じる複数のMHASサブストリームの時間整合を提供するために、設けられてよい。
【0038】
ISO/IEC23008－3のsection 14.6によると、「サブストリームは、同じエンコーダにより生成され、（およびしたがって）種々の入力ストリームが［．．．］完全に揃えられ、位相オフセットを有しないと仮定する」。この場合、フレームの整合は、MHASPacketLabel番号を用いて達成されてよい。本発明の提案された方法によると、上述の制約は、もはや当然のものではない。異なるコーデックの異なるフレーム期間またはサンプリングレートにより、MHASメインストリームと統合された二次ストリームの連続するMHASパケットの時間オフセットは、時間とともに変化する。各々の特定のタイムスロットで、二次ストリームのメインストリームに対する時間オフセットは、シグナリングされる必要がある。例えば、図6に示すような補助ストリームのパケットのペイロードに含まれるメディアデータに関連付けられたメタデータに関連するパケットタイプを示す補助ストリームの関連付けられたパケットの中で。
【0039】
図6は、MHASに基づき本発明の手段を達成するための例示的なパケットタイプを示す。例えば、ここで、別のMHASパケットタイプが、適切な時間オフセットシグナリングを運ぶために定められる。このシグナリングを対応するストリームにリンクするために、時間オフセットパケットは、それが参照するタイプPACTYP_MEDIAのMHASPacketとして割り当てられた同じMHASPacketLabel番号を有する必要がある。図6から、各ストリームの1つの特定のタイムスロットに対応するストリームデータの直接的な1対1関係が保証されないが、1つのストリームからの2つ以上のタイムスロットが適時的方法で他のストリームからの1つのタイムスロットに対応してよいことが明らかである。
【0040】
時間オフセットをシグナリングする別のオプションは、この時間オフセットをタイプPACTYP_MEDIAのMHASパケット自体に追加することである。
【0041】
以上に鑑み、本発明に従う幾つかの例示的な態様では、図4および／または5の例の変更一次デコーダ／レンダラ301の変換および／または復号ユニットは、補助ストリームデータのメインストリームデータとの時間整合のための時間整合ユニットを、例えば、図4および5の例のミキサユニットM4のようなミキサの上流、または図4および5の例のサンプラ（例えば、サンプルレート変換器M3）の上流、または図1の例の二次デコーダ／レンダラ203の一部としても、含んでよい。
【0042】
＜メインオーディオストリームおよび二次オーディオストリームのミキシング制御＞
二次（補助）オーディオストリームのメインオーディオストリームとのミキシングを制御する追加データが必要である。特に、このデータは、二次オーディオストリームが再生されるときメインストリームを処理するために、例示的にISO/IEC23003－4DynamicRangeControlデータとして形成される静的利得または動的利得シーケンスを含んでよい。これらのデータは、標準的に装置＃1により生成され、別個のMHASパケット（例えば、識別子PACTYP_MPEGH_MEDIA_CFGを有する）によりストリームに組み込まれて、二次ストリームヘッダに、または任意の他の種類のストリームカプセル化によりさらに追加されてよい。
二次（補助）オーディオストリームのメインオーディオストリームとのミキシングを制御する追加データが必要である。特に、このデータは、二次オーディオストリームが再生されるときメインストリームを処理するために、例示的にISO/IEC23003－4DynamicRangeControlデータとして形成される静的利得または動的利得シーケンスを含んでよい。これらのデータは、標準的に装置＃1により生成され、別個のMHASパケット（例えば、識別子PACTYP_MPEGH_MEDIA_CFGを有する）によりストリームに組み込まれて、二次ストリームヘッダに、または任意の他の種類のストリームカプセル化によりさらに追加されてよい。
【0043】
以上に鑑み、本発明に従う幾つかの例示的な態様では、図4および／または5の例の変更デコーダ301の変換および／または復号ユニットは、（例えば音量調整のための）静的および／または動的利得を適用する利得調整ユニットを、例えば、図4および5の例のミキサユニットM4のようなミキサの上流、または図4および5の例のサンプラ（例えば、サンプルレート変換器M3）の上流、または図1の例の二次デコーダ／レンダラ203の一部としても、含んでよい。
【0044】
＜Dolbyエコシステム＞
さらに、Dolby AC－4（ETSI TS103 190）およびDolby DigitalおよびDolby Digital Plus（ETSI TS102 366）は、MEDFペイロードの中で任意のバイナリデータを運ぶ可能性を提供する。これは、以上に定められたもの（MPEG－H Ecosystem）と同じまたは同様のデータを運ぶために使用できる。
さらに、Dolby AC－4（ETSI TS103 190）およびDolby DigitalおよびDolby Digital Plus（ETSI TS102 366）は、MEDFペイロードの中で任意のバイナリデータを運ぶ可能性を提供する。これは、以上に定められたもの（MPEG－H Ecosystem）と同じまたは同様のデータを運ぶために使用できる。
【0045】
このような目的のために、ETSI TS103 190で定められたシンタックス要素emdf_info()、またはETSI TS102 366,Annex Hで定められたシンタックス要素emdf_container()、およびそれらの基礎にある要素が使用されてよい。これを行うために、1つ以上のemdf_payload_id定義を単に定めることができる。これは、PACTYP_MEDIAおよび／またはPACTYP_MPEGH_MEDIA_CFGの下で上述したものと同じまたは同様のフォーマットを有するバイナリデータを識別するために使用できる。
【0046】
非圧縮／非符号化データを含むメディアストリームのシステムサウンドミキシングは、図4および図5に示すようなDolby AC－4またはDolby Digital/Dolby Digital Plusと同様に達成されてよい。ここで、相違点は、どの信号パスを使用すべきかの区別が、MHASPacketTypeではなく、emdf_payload_id値に基づき考慮されることである。
【0047】
本発明により解決されるメディアストリーム、メインストリームおよびサイドデータストリームの両者は、以下のタイプであってよい：
・オーディオストリーム、圧縮および非圧縮の両方、
・ビデオストリーム、
・サブタイトル。
・オーディオストリーム、圧縮および非圧縮の両方、
・ビデオストリーム、
・サブタイトル。
【0048】
本発明は、オーバレイピクチャ、ビデオ、またはテキストが標準化インタフェース接続を介してメイン（標準的に圧縮ビデオストリーム）に尽かして送信されるべきビデオ提示装置（モニタ）にも適用されてよい。
【0049】
参考文献
・US20170223429A1,EP3149955A1
・ISO/IEC23008－3:(MPEG－H 3d Audio, 2nd Edition)
本開示の列挙される例示的実施形態（Enumerated exemplary embodiments：EEE）は以下に関連する。
・US20170223429A1,EP3149955A1
・ISO/IEC23008－3:(MPEG－H 3d Audio, 2nd Edition)
本開示の列挙される例示的実施形態（Enumerated exemplary embodiments：EEE）は以下に関連する。
【0050】
EEE1. オーディオ信号処理の方法であって、
メインオーディオ情報を示すメインストリームに関連付けられたパケットと、補助オーディオ情報を示すサイドデータストリームに関連付けられたパケットと、を含む統合パケット化メディアビットストリームを受信するステップと、
前記統合パケット化メディアビットストリームのパケットのヘッダ情報内のパケットタイプの値を識別するステップと、
前記統合パケット化メディアビットストリームを、前記統合パケット化メディアビットストリームのパケットのヘッダ情報内のパケットタイプの値の識別に基づき、メインオーディオ情報を示すメインストリームと補助オーディオ情報を示すサイドデータストリームとに分離するステップと、を含む方法。
メインオーディオ情報を示すメインストリームに関連付けられたパケットと、補助オーディオ情報を示すサイドデータストリームに関連付けられたパケットと、を含む統合パケット化メディアビットストリームを受信するステップと、
前記統合パケット化メディアビットストリームのパケットのヘッダ情報内のパケットタイプの値を識別するステップと、
前記統合パケット化メディアビットストリームを、前記統合パケット化メディアビットストリームのパケットのヘッダ情報内のパケットタイプの値の識別に基づき、メインオーディオ情報を示すメインストリームと補助オーディオ情報を示すサイドデータストリームとに分離するステップと、を含む方法。
【0051】
EEE2. 前記メインストリームの前記メインオーディオ情報から取得した出力信号と前記サイドデータストリームの前記補助オーディオ情報から取得した出力信号とに基づき、オーディオ出力信号をミキシングするステップ、をさらに含むEEE1に記載の方法。
【0052】
EEE3.前記メインおよび補助オーディオ情報からの出力信号は、視聴者に同時に出力される、EEE2に記載の方法。
【0053】
EEE4. 一次デコーダによりメインストリームを復号するステップをさらに含むEEE1に記載の方法。
【0054】
EEE5. 前記サイドデータストリームが圧縮補助オーディオ情報に関連するとき、二次デコーダにより前記サイドデータストリームを復号するステップ、をさらに含むEEE1に記載の方法。
【0055】
EEE6. 前記サイドデータストリームが圧縮補助オーディオ情報に関連するとき、変換器により前記サイドデータストリームのパケットに含まれるメディアデータを変換するステップ、をさらに含むEEE1に記載の方法。
【0056】
EEE7. 前記圧縮補助オーディオ情報は、MPEG－4オーディオデータを含む、EEE5またはEEE6に記載の方法。
【0057】
EEE8. 前記サイドデータストリームは、非圧縮補助オーディオ情報に関連する、EEE1に記載の方法。
【0058】
EEE9. 前記非圧縮補助オーディオ情報は、PCMデータを含む、EEE8に記載の方法。
【0059】
EEE10. 前記パケットタイプは、内部生フォーマット、特にデコーダ内部生フォーマットを示す、EEE1に記載の方法。
【0060】
EEE11. 前記サイドデータストリームに対して信号処理を実行するステップ、をさらに含むEEE1に記載の方法。
【0061】
EEE12.前記サイドデータストリームに対して信号処理を実行するステップは、前記メインストリームの前記メインオーディオ情報から取得した出力信号と前記サイドデータストリームの前記補助オーディオ情報から取得した出力信号とに基づき、オーディオ出力信号をミキシングするステップの前に実行される、EEE11に記載の方法。
【0062】
EEE13. 前記サイドデータストリームに対して信号処理を実行するステップは、利得調整を実行するステップを含む、EEE11に記載の方法。
【0063】
EEE14. 利得調整は、性的利得または動的利得に基づき実行される、EEE13に記載の方法。
【0064】
EEE15. 前記静的利得または動的利得のうちの少なくとも一方に関連するミキシング情報を受信するステップ、をさらに含むEEE13に記載の方法。
【0065】
EEE16. 利得調整は、音量調整のために実行される、EEE13に記載の方法。
【0066】
EEE17. 前記サイドデータストリームに対して信号処理を実行するステップは、時間整合を実行するステップを含む、EEE11に記載の方法。
【0067】
EEE18. 時間整合を実行するステップは、前記サイドデータビットストリームの前記補助オーディオ情報を前記メインビットストリームの前記メインオーディオ情報と時間整合するために実行される、EEE17に記載の方法。
【0068】
EEE19. 前記サイドデータビットストリームの前記補助オーディオ情報の前記メインビットストリームの前記メインオーディオ情報との時間整合に関する時間整合情報を受信するステップ、をさらに含むEEE17またはEEE18に記載の方法。
【0069】
EEE20. 前記パケットタイプは、特に時間整合のために、時間オフセットシグナリングを運ぶために定められる、EEE1に記載の方法。
【0070】
EEE21. 前記メインストリームに対する前記サイドデータストリームの時間オフセットの指示を受信するステップ、をさらに含むEEE1に記載の方法。
【0071】
EEE22. 前記サイドデータストリームに対して信号処理を実行するステップは、前記補助オーディオ情報が位置情報に関連するとき、オブジェクトレンダリングを含む、EEE1に記載の方法。
【0072】
EEE23. オブジェクトレンダリングは、前記メインおよびサイドデータストリームのオブジェクトレンダリングを実行するオブジェクトレンダラにより実行される、EEE22に記載の方法。
【0073】
EEE24. 前記サイドデータストリームに対して信号処理を実行するステップは、フォーマット変換を含む、EEE11に記載の方法。
【0074】
EEE25. 標準化MPEG－H 3Dオーディオデコーダにより、前記メインストリームを復号するステップをさらに含むEEE1に記載の方法。
【0075】
EEE26. 前記サイドデータストリームのパケットに含まれるメディアデータを、前記標準化MPEG－H 3Dオーディオデコーダにより生成されたメディアデータとミキシングするステップ、をさらに含むEEE25に記載の方法。
【0076】
EEE27. 前記サイドデータストリームのパケットに含まれる前記メディアデータは、非圧縮データ、特にPCMデータ、または圧縮データ、特にMPEG4オーディオデータである、EEE26に記載の方法。
【0077】
EEE28. 前記サイドデータストリームのパケットに含まれるメディアデータは、MPEG－H 3Dオーディオで標準化されていないデコーダにより復号される、EEE26に記載の方法。
【0078】
EEE29. 前記統合パケット化メディアビットストリームは、HMASパケットを含む、EEE1に記載の方法。
【0079】
EEE30. オーディオ信号処理の方法であって、
メインオーディオ情報を示すメインストリームを受信するステップと、
補助オーディオ情報を示すサイドデータストリームを受信するステップまたは補助オーディオ情報に基づきサイドデータストリームを生成するステップと、
前記メインストリームと前記サイドデータストリームとを統合して、メインオーディオ情報を示すメインストリームに関連するパケットと補助オーディオ情報を示すサイドデータストリームに関連するパケットとを含む統合パケット化メディアビットストリームを生成するステップと、を含む方法。
メインオーディオ情報を示すメインストリームを受信するステップと、
補助オーディオ情報を示すサイドデータストリームを受信するステップまたは補助オーディオ情報に基づきサイドデータストリームを生成するステップと、
前記メインストリームと前記サイドデータストリームとを統合して、メインオーディオ情報を示すメインストリームに関連するパケットと補助オーディオ情報を示すサイドデータストリームに関連するパケットとを含む統合パケット化メディアビットストリームを生成するステップと、を含む方法。
【0080】
EEE31. 前記補助オーディオ情報を示すメディアデータを、前記統合パケット化メディアビットストリームのフォーマットのパケットにパケット化するステップをさらに含むEEE30に記載の方法。
【0081】
EEE32. 前記サイドデータストリームは、圧縮補助オーディオ情報に関連する、EEE30に記載の方法。
【0082】
EEE33. 前記圧縮補助オーディオ情報は、MPEG－4オーディオデータを含む、EEE32に記載の方法。
【0083】
EEE34. 前記サイドデータストリームは、非圧縮補助オーディオ情報に関連する、EEE30に記載の方法。
【0084】
EEE35. 前記非圧縮補助オーディオ情報は、PCMデータを含む、EEE34に記載の方法。
【0085】
EEE36. 前記統合パケット化メディアビットストリームのパケットのヘッダ情報は、パケットタイプを示す、EEE30に記載の方法。
【0086】
EEE37. 補助オーディオ情報を示す前記サイドデータストリームに関連するパケットのパケットタイプの値は、前記補助オーディオ情報に関連するメディアデータを示す、EEE36に記載の方法。
【0087】
EEE38. 前記統合パケット化メディアビットストリームは、HMASパケットを含む、EEE30に記載の方法。
【0088】
EEE39. オーディオ信号処理の機器であって、
メインオーディオ情報を示すメインストリームに関連付けられたパケットと、補助オーディオ情報を示すサイドデータストリームに関連付けられたパケットと、を含む統合パケット化メディアビットストリームを受信するよう構成される受信機と、
前記統合パケット化メディアビットストリームを、前記統合パケット化メディアビットストリームのパケットのヘッダ情報内のパケットタイプの値の識別に基づき、メインオーディオ情報を示すメインストリームと補助オーディオ情報を示すサイドデータストリームとに分離するよう構成されるスプリッタと、を含む機器。
メインオーディオ情報を示すメインストリームに関連付けられたパケットと、補助オーディオ情報を示すサイドデータストリームに関連付けられたパケットと、を含む統合パケット化メディアビットストリームを受信するよう構成される受信機と、
前記統合パケット化メディアビットストリームを、前記統合パケット化メディアビットストリームのパケットのヘッダ情報内のパケットタイプの値の識別に基づき、メインオーディオ情報を示すメインストリームと補助オーディオ情報を示すサイドデータストリームとに分離するよう構成されるスプリッタと、を含む機器。
【0089】
EEE40. 前記メインストリームの前記メインオーディオ情報から取得した出力信号と前記サイドデータストリームの前記補助オーディオ情報から取得した出力信号とに基づき、オーディオ出力信号をミキシングするよう構成されるミキサ、をさらに含むEEE39に記載の機器。
【0090】
EEE41. 前記メインストリームを復号するよう構成される一次デコーダをさらに含むEEE39に記載の機器。
【0091】
EEE42. 前記サイドデータストリームが圧縮補助オーディオ情報に関連するとき、前記サイドデータストリームを復号するよう構成される二次デコーダ、をさらに含むEEE39に記載の機器。
【0092】
EEE43. 前記サイドデータストリームが圧縮補助オーディオ情報に関連するとき、前記サイドデータストリームのパケットに含まれるメディアデータを変換するよう構成される変換器、をさらに含むEEE39に記載の機器。
【0093】
EEE44. 前記圧縮補助オーディオ情報は、MPEG－4オーディオデータを含む、EEE42またはEEE43に記載の機器。
【0094】
EEE45. 前記サイドデータストリームは、非圧縮補助オーディオ情報に関連する、EEE39に記載の機器。
【0095】
EEE46. 前記非圧縮補助オーディオ情報は、PCMデータを含む、EEE45に記載の機器。
【0096】
EEE47. 前記パケットタイプは、内部生フォーマット、特にデコーダ内部生フォーマットを示す、EEE39に記載の機器。
【0097】
EEE48. 前記サイドデータストリームに適用される利得調整を実行するよう構成される利得調整ユニット、をさらに含むEEE39に記載の機器。
【0098】
EEE49. 前記サイドデータストリームに適用される時間整合を実行するよう構成される時間整合ユニット、をさらに含むEEE39に記載の機器。
【0099】
EEE50. 前記サイドデータストリームに適用されるオブジェクトレンダリングを実行するよう構成されるオブジェクトレンダラ、をさらに含むEEE39に記載の機器。
【0100】
EEE51. 前記オブジェクトレンダラは、一次デコーダに含まれる、EEE50に記載の機器。
【0101】
EEE52. 前記サイドデータストリームに適用されるフォーマット変換を実行するよう構成されるフォーマット変換ユニット、をさらに含むEEE39に記載の機器。
【0102】
EEE53. 前記メインストリームを復号する標準化MPEG－H 3Dオーディオデコーダ、をさらに含むEEE39に記載の機器。
【0103】
EEE54. 前記統合パケット化メディアビットストリームは、HMASパケットを含む、EEE39に記載の機器。
【0104】
EEE55. オーディオ信号処理の機器であって、
メインオーディオ情報を示すメインストリームを受信するよう構成される受信機と、
補助オーディオ情報に基づき、前記補助オーディオ情報を示すサイドデータストリームを生成するよう構成されるローカルエンジン、および／または、前記サイドデータストリームを受信するよう構成される受信機と、
前記メインストリームと前記サイドデータストリームとを統合して、メインオーディオ情報を示すメインストリームに関連するパケットと補助オーディオ情報を示すサイドデータストリームに関連するパケットとを含む統合パケット化メディアビットストリームを生成するよう構成される統合部と、を含む機器。
メインオーディオ情報を示すメインストリームを受信するよう構成される受信機と、
補助オーディオ情報に基づき、前記補助オーディオ情報を示すサイドデータストリームを生成するよう構成されるローカルエンジン、および／または、前記サイドデータストリームを受信するよう構成される受信機と、
前記メインストリームと前記サイドデータストリームとを統合して、メインオーディオ情報を示すメインストリームに関連するパケットと補助オーディオ情報を示すサイドデータストリームに関連するパケットとを含む統合パケット化メディアビットストリームを生成するよう構成される統合部と、を含む機器。
【0105】
EEE56. 前記補助オーディオ情報を示すメディアデータを、前記統合パケット化メディアビットストリームのフォーマットのパケットにパケット化するよう構成されるパケット化部、をさらに含むEEE55に記載の機器。
【0106】
EEE57. EEE55に記載の機器と、EEE39に記載の機器と、を含むシステム。
【符号の説明】
【0107】
１０１ 一次受信機
１０２ パケット化ストリーム統合部
１０３ 二次受信機／ローカルエンジン
２０１ ストリームスプリッタ
２０２ 一次デコーダ／レンダラ
２０３ 二次デコーダ／レンダラ
１０２ パケット化ストリーム統合部
１０３ 二次受信機／ローカルエンジン
２０１ ストリームスプリッタ
２０２ 一次デコーダ／レンダラ
２０３ 二次デコーダ／レンダラ
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6】
【外国語明細書】