特表 2022-544671 変更されたビットストリームを生成および処理する方法およびデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-10-20

(54)【発明の名称】変更されたビットストリームを生成および処理する方法およびデバイス

(51)【国際特許分類】

   G10L 19/00 20130101AFI20221013BHJP

【ＦＩ】

G10L19/00 330B

【審査請求】未請求

【予備審査請求】有

(21)【出願番号】P 2022509575

(86)(22)【出願日】2020-08-13

(85)【翻訳文提出日】2022-04-14

(86)【国際出願番号】 US2020046235

(87)【国際公開番号】W WO2021030625

(87)【国際公開日】2021-02-18

(31)【優先権主張番号】19191919.0

(32)【優先日】2019-08-15

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】62/887,111

(32)【優先日】2019-08-15

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(71)【出願人】

【識別番号】510185767

【氏名又は名称】ドルビー・インターナショナル・アーベー

(74)【代理人】

【識別番号】100101683

【弁理士】

【氏名又は名称】奥田 誠司

(74)【代理人】

【識別番号】100155000

【弁理士】

【氏名又は名称】喜多 修市

(74)【代理人】

【識別番号】100188813

【弁理士】

【氏名又は名称】川喜田 徹

(74)【代理人】

【識別番号】100202197

【弁理士】

【氏名又は名称】村瀬 成康

(72)【発明者】

【氏名】ファーシュ，クリストフ

(72)【発明者】

【氏名】フィッシャー，ダニエル

(72)【発明者】

【氏名】テレンティブ，レオン

(72)【発明者】

【氏名】マクギャリー，グレゴリー ジョン

(57)【要約】

本願は、変更されたビットストリームをソースデバイス上で生成する方法であって、ａ）受信器によって、符号化メディアデータを含むビットストリームを受信するステップと、ｂ）埋め込み器によって、付加メディアデータのペイロードを生成し、ペイロードをビットストリーム中に埋め込むことによって、埋め込み器からの出力として、符号化メディアデータおよび付加メディアデータのペイロードを含む、変更されたビットストリームを取得するステップと、ｄ）変更されたビットストリームをシンクデバイスに出力するステップと、を含む方法を記載する。さらに、当該変更されたビットストリームをシンクデバイス上で処理する方法を記載する。さらに、それぞれのソースデバイスおよびシンクデバイス、ならびにソースデバイスおよびシンクデバイスのシステムおよびそれぞれのコンピュータプログラム製品を記載する。

【特許請求の範囲】

【請求項1】

受信器および埋め込み器を備えるソースデバイスによって、変更されたビットストリームを生成する方法であって、
ａ）前記受信器によって、符号化メディアデータを含むビットストリームを受信するステップと、
ｂ）前記埋め込み器によって、付加メディアデータのペイロードを生成し、前記ペイロードを前記ビットストリーム中に埋め込むことによって、前記埋め込み器からの出力として、前記符号化メディアデータおよび前記付加メディアデータの前記ペイロードを含む、変更されたビットストリームを取得するステップと、
ｃ）前記変更されたビットストリームをシンクデバイスに出力するステップと、
を含む方法。

【請求項2】

ステップｂ）は、前記付加メディアデータについての情報を生成し、前記情報を前記ビットストリーム中に埋め込むことをさらに含む、請求項１に記載の方法。

【請求項3】

生成される前記情報は、前記付加メディアデータの構成についての情報、前記付加メディアデータが前記変更されたビットストリーム中に存在することについての情報、デフォルトのラウドネス値についての情報、遅延アラインメントのための値についての情報、遅延適合化についての情報、パニングについての情報、および前記付加メディアデータのタイプについての情報のうちの１つ以上を含む、請求項２に記載の方法。

【請求項4】

ステップｂ）は、前記符号化メディアデータと前記付加メディアデータとの間の相対ゲインに関する情報を生成し、前記相対ゲインに関する情報を前記ビットストリーム中に埋め込むことをさらに含む、請求項１から３のいずれかに記載の方法。

【請求項5】

前記変更されたビットストリームは、ＭＰＥＧ－Ｄ ＵＳＡＣベースのビットストリームである、請求項１から４のいずれかに記載の方法。

【請求項6】

生成された前記ペイロードは、前記ペイロードを前記ビットストリーム中でＵＳＡＣ型ビットストリーム拡張機構を介して搬送することによって、前記ビットストリーム中に埋め込まれる、請求項５に記載の方法。

【請求項7】

生成された前記情報および／または生成された前記相対ゲインに関する情報は、生成された前記情報および／または生成された前記相対ゲインに関する情報を前記ビットストリーム中で前記ＵＳＡＣ型ビットストリーム拡張機構を介して搬送することによって、前記ビットストリーム中に埋め込まれる、請求項５または６に記載の方法。

【請求項8】

前記ＵＳＡＣ型ビットストリーム拡張機構は、一意の識別子を含む新たなＵＳＡＣ型ビットストリーム拡張要素、または配列拡張要素である、請求項６または７に記載の方法。

【請求項9】

ステップｃ）において、前記変更されたビットストリームは、Ｂｌｕｅｔｏｏｔｈ接続を介して前記シンクデバイスに出力される、請求項１から８のいずれかに記載の方法。

【請求項10】

前記付加メディアデータは、圧縮メディアデータまたは非圧縮メディアデータである、請求項１から９のいずれかに記載の方法。

【請求項11】

前記非圧縮メディアデータは、前記ソースデバイスにおいて生成されたＰＣＭデータである、請求項１０に記載の方法。

【請求項12】

前記ＰＣＭデータの生成は、ユーザ入力に基づく、請求項１１に記載の方法。

【請求項13】

前記ＰＣＭデータは、イアコンデータおよびシステム音データのうちの１つ以上を含む、請求項１１または１２に記載の方法。

【請求項14】

前記圧縮データは、ＳＢＣフォーマットまたはａｐｔＸベースのフォーマットのデータである、請求項１０に記載の方法。

【請求項15】

受信器と、ビットストリームパーサと、コアデコーダと、ミキサとを備えるシンクデバイスによって、変更されたビットストリームを処理する方法であって、
ａ）前記受信器によって、符号化メディアデータおよび付加メディアデータのペイロードを含む、変更されたビットストリームを受信するステップと、
ｂ）前記ビットストリームパーサによって、前記変更されたビットストリームを解析して前記符号化メディアデータおよび前記付加メディアデータの前記ペイロードを得るステップと、
ｃ）前記コアデコーダによって、前記符号化メディアデータをコア復号して、コア復号されたメディアデータを取得するステップと、
ｄ）前記ミキサによって、前記コア復号されたメディアデータおよび前記付加メディアデータをミキシングして、出力信号を取得するステップと、
ｅ）前記出力信号を出力するステップと、
を含む方法。

【請求項16】

前記変更されたビットストリームは、前記付加メディアデータについての情報をさらに含み、前記方法は、ステップａ）の後かつステップｂ）の前に、前記情報に基づいて、前記変更されたビットストリームを処理するステップをさらに含む、請求項１５に記載の方法。

【請求項17】

前記情報は、前記付加メディアデータの構成についての情報、前記付加メディアデータが前記変更されたビットストリーム中に存在することについての情報、デフォルトのラウドネス値についての情報、遅延アラインメントのための値についての情報、遅延適合化についての情報、パニングについての情報、および前記付加メディアデータのタイプについての情報のうちの１つ以上を含む、請求項１６に記載の方法。

【請求項18】

前記変更されたビットストリームは、前記符号化メディアデータと前記付加メディアデータとの間の相対ゲインに関する情報をさらに含み、ステップｄ）における前記コア復号されたメディアデータおよび前記付加メディアデータのミキシングは、前記相対ゲインに関する情報に基づく、請求項１５から１７のいずれかに記載の方法。

【請求項19】

前記方法は、前記コア復号されたメディアデータおよび前記付加メディアデータをミキシングする前に、処理ユニットによって、前記付加メディアデータを処理するステップをさらに含む、請求項１５から１８のいずれかに記載の方法。

【請求項20】

前記付加メディアデータを処理するステップは、再サンプリング、遅延適合化、およびラウドネス処理のうちの１つ以上を含む、請求項１９に記載の方法

【請求項21】

前記付加メディアデータは、圧縮メディアデータであり、かつ、前記方法は、デコーダによって、前記圧縮メディアデータを復号して、復号された付加メディアデータを取得するステップをさらに含み、かつ、ステップｄ）において、前記復号された付加メディアデータは、前記コア復号されたメディアデータとミキシングされる、請求項１５から２０のいずれかに記載の方法。

【請求項22】

前記圧縮メディアデータは、ＳＢＣフォーマットまたはａｐｔＸベースのフォーマットのデータである、請求項２１に記載の方法。

【請求項23】

前記付加メディアデータは、非圧縮メディアデータであり、かつ、ステップｄ）において、前記非圧縮付加メディアデータは、前記コア復号されたメディアデータとミキシングされる、請求項１５から２０のいずれかに記載の方法。

【請求項24】

前記変更されたビットストリームは、ＭＰＥＧ－Ｄ ＵＳＡＣベースのビットストリームである、請求項１５から２３のいずれかに記載の方法。

【請求項25】

前記変更されたビットストリームは、ＵＳＡＣ型ビットストリーム拡張機構を含み、かつ、ステップｂ）における解析は、前記変更されたビットストリーム中の前記ＵＳＡＣ型ビットストリーム拡張機構を特定することにさらに基づく、請求項２４に記載の方法。

【請求項26】

前記ＵＳＡＣ型ビットストリーム拡張機構は、一意の識別子を含む新たなＵＳＡＣ型ビットストリーム拡張要素である、請求項２５に記載の方法。

【請求項27】

変更されたビットストリームを生成するソースデバイスであって、
ａ）符号化メディアデータを含むビットストリームを受信するように構成された受信器と、
ｂ）付加メディアデータのペイロードを生成し、生成された前記ペイロードを前記ビットストリーム中に埋め込んで、前記符号化メディアデータおよび前記付加メディアデータの前記ペイロードを含む、変更されたビットストリームを取得するように構成された埋め込み器と、
ｃ）前記変更されたビットストリームをシンクデバイスに出力する制御ユニットと、
を含むデバイス。

【請求項28】

前記埋め込み器は、前記付加メディアデータについての情報を生成し、前記情報を前記ビットストリーム中に埋め込むようにさらに構成されている、請求項２７に記載のデバイス。

【請求項29】

前記埋め込み器は、前記符号化メディアデータと前記付加メディアデータとの間の相対ゲインに関する情報を生成し、前記相対ゲインに関する情報を前記ビットストリーム中に埋め込むようにさらに構成されている、請求項２７または２８に記載のデバイス。

【請求項30】

前記変更されたビットストリームは、ＭＰＥＧ－Ｄ ＵＳＡＣベースのビットストリームである、請求項２７から２９のいずれかに記載のデバイス。

【請求項31】

前記付加メディアデータは、圧縮メディアデータまたは非圧縮メディアデータである、請求項２７から３０のいずれかに記載のデバイス。

【請求項32】

前記非圧縮メディアデータは、前記ソースデバイスにおいて生成されたＰＣＭデータである、請求項３１に記載のデバイス。

【請求項33】

前記ＰＣＭデータの生成は、ユーザ入力に基づく、請求項３２に記載のデバイス。

【請求項34】

前記ＰＣＭデータは、イアコンデータおよびシステム音データのうちの１つ以上を含む、請求項３２または３３に記載のデバイス。

【請求項35】

前記圧縮メディアデータは、ＳＢＣフォーマットまたはａｐｔＸベースのフォーマットのデータである、請求項３１に記載のデバイス。

【請求項36】

変更されたビットストリームを処理するシンクデバイスであって、
ａ）符号化メディアデータおよび付加メディアデータのペイロードを含む、変更されたビットストリームを受信するように構成された受信器と、
ｂ）前記変更されたビットストリームを解析して前記符号化メディアデータおよび前記付加メディアデータの前記ペイロードを得るように構成されたビットストリームパーサと、
ｃ）前記符号化メディアデータをコア復号して、コア復号されたメディアデータを取得するように構成されたコアデコーダと、
ｄ）前記コア復号されたメディアデータおよび前記付加メディアデータをミキシングして、出力信号を取得するように構成されたミキサと、
ｅ）前記出力信号を出力するように構成された制御ユニットと、
を含むデバイス。

【請求項37】

前記デバイスは、前記コア復号されたメディアデータおよび前記付加メディアデータをミキシングする前に、前記付加メディアデータを処理するように構成された処理ユニットをさらに含む、請求項３６に記載のデバイス。

【請求項38】

前記付加メディアデータは、非圧縮メディアデータであり、かつ、前記ミキサは、前記コア復号されたメディアデータおよび前記非圧縮付加メディアデータをミキシングするように構成されている、請求項３６または３７に記載のデバイス。

【請求項39】

前記付加メディアデータは、圧縮メディアデータであり、かつ、前記デバイスは、前記圧縮メディアデータを復号して、復号された付加メディアデータを取得するデコーダをさらに含み、かつ、前記ミキサは、前記コア復号されたメディアデータおよび前記復号された付加メディアデータをミキシングするように構成されている、請求項３６または３７に記載のデバイス。

【請求項40】

前記変更されたビットストリームは、前記付加メディアデータについての情報をさらに含み、前記シンクデバイスは、前記情報に基づいて、前記変更されたビットストリームを処理するように構成されている、請求項３６から３９のいずれかに記載のデバイス。

【請求項41】

前記変更されたビットストリームは、前記符号化メディアデータと前記付加メディアデータとの間の相対ゲインに関する情報をさらに含み、かつ、前記ミキサは、前記相対ゲインに関する情報に基づいて、前記コア復号されたメディアデータおよび前記付加メディアデータをミキシングするようにさらに構成されている、請求項３６から４０のいずれかに記載のデバイス。

【請求項42】

前記コアデコーダは、ＭＰＥＧ－Ｄ ＵＳＡＣベースのデコーダである、請求項３６から４１のいずれかに記載のデバイス。

【請求項43】

変更されたビットストリームを生成するソースデバイスと、変更されたビットストリームを処理するシンクデバイスとのシステムであって、前記ソースデバイスは、請求項１から１４のいずれかに記載の方法を行うように構成された１つ以上のプロセッサを含み、前記シンクデバイスは、請求項３６から４２のいずれかに記載の方法を行うように構成された１つ以上のプロセッサを含む、システム。

【請求項44】

処理能力を有するデバイスによって実行されたときに、前記デバイスに、請求項１から２６のいずれかに記載の方法を実行させるように構成された命令を有するコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。

【請求項45】

処理能力を有するデバイスによって実行されたときに、前記デバイスに、請求項１から１１のいずれかに記載の方法を実行させるように構成された命令を有するコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は、２０１９年８月１５日付け出願の米国仮特許出願第６２／８８７，１１１号、および２０１９年８月１５日付け出願の欧州特許出願第１９１９１９１９．０号に基づく優先権を主張するものであり、各出願の開示内容を全て本願に援用する。

【0002】

本開示は、概括的には、変更された（modified）ビットストリームを生成する方法およびソースデバイスに関し、より詳細には、付加されるメディアデータのペイロードを、符号化されたメディアデータを含むビットストリームの中に埋め込むことによって、変更されたビットストリームを生成することに関する。本開示はまた、当該変更されたビットストリームを処理する方法およびシンクデバイスに関する。

【0003】

いくつかの実施形態が本明細書において特にその開示を参照して説明されるが、本開示がそのような使用分野に限定されず、より広い状況において適用可能であることが理解される。

【背景技術】

【0004】

本開示全体における背景技術のいずれの記載も、そのような技術が広く知られているとか、あるいは当該分野において一般常識の一部をなしていると認めるものであるとは、決して考えられるべきでない。

【0005】

近年、ＡＡＣファミリーベースのコーデックをＢｌｕｅｔｏｏｔｈ（ＢＴ）エコシステムの一部として確立することが検討されてきた。この状況において、Ｂｌｕｅｔｏｏｔｈ ＳＩＧは、例えば、移動型デバイス（ＢＴソース（source））上で受信されたビットストリームを、接続されたスピーカシステム（ＢＴシンク（sink））にパススルー（pass-through）することを要求するような使用事例を定義し得る。ＢＴエンドポイント全体においてサービスから使用されるデータフォーマットは符号化されたオーディオであり得るので、イアコン（earcon）および／またはシステム音を移動型デバイスからＢＴスピーカに伝える簡単な方法はない。そのようなイアコンには、着信音、メール通知音、打鍵（key-press）音などが含まれ得る。

【0006】

現在利用されているシステムにおいて、サービスから受信したオーディオは、通常、デバイス内で非圧縮ドメイン（ＰＣＭ）に復号される。非圧縮ドメインにおいて、オーディオは、変更および／またはミキシングすることができる。パススルー動作モードが有効である場合、ＢＴソースデバイス上で、ＢＴソースからＢＴシンクに転送されるエクスペリエンス（experience）にシステム音を有効化および／またはミキシングすることが容易にはできない場合がある。

【0007】

なおもパススルーを有効にすることによってこの制約を克服する１つの可能性は、両方のデバイス間にさらなるリンクを開設することであろう。しかし、このセットアップは、機能するためにＢｌｕｅｔｏｏｔｈコーデックのさらなるリンクおよびエンコーダ－デコーダ対が必要であるという短所を有する。これは、不必要なさらなるシステム複雑性を伴い、かつ、ＢＴソースおよびシンクデバイスの両方にさらなる計算複雑性を負担させ、バッテリにも負担をかけ得る。

【発明の概要】

【発明が解決しようとする課題】

【0008】

したがって、ビットストリームを介して、特にＭＰＥＧ－Ｄ ＵＳＡＣベースのビットストリームを介して、メディアコンテンツに並列して、イアコンおよび／またはシステム音を同時に生成および処理することが従来から必要とされている。

【課題を解決するための手段】

【0009】

本開示の第１の側面によると、変更されたビットストリームをソースデバイスによって生成する方法が提供される。ソースデバイスは、受信器と、埋め込み器とを備え得る。当該方法は、ａ）受信器によって、符号化メディアデータを含むビットストリームを受信するステップを含み得る。当該方法は、ｂ）埋め込み器によって、付加メディアデータのペイロードを生成し、当該ペイロードをビットストリーム中に埋め込むことによって、埋め込み器からの出力として、符号化メディアデータおよび付加メディアデータのペイロードを含む、変更されたビットストリームを取得するステップをさらに含み得る。さらに、当該方法は、ｃ）変更されたビットストリームをシンクデバイスに出力するステップを含み得る。

【0010】

提案のように構成されることで、本方法は、符号化メディアデータを含み、かつ、ソースデバイス（例えば、移動型電話などのＢｌｕｅｔｏｏｔｈソースデバイス）によって、シンクデバイス（例えば、ＢｌｕｅｔｏｏｔｈラウドスピーカなどのＢｌｕｅｔｏｏｔｈシンクデバイス）に対してパススルーされるビットストリームの中に、システム音またはイアコンを挿入することを可能にする。これにより、ソースデバイスおよびシンクデバイスとの間にさらなる接続を確立する必要なく、かつ、符号化メディアデータを復号および再符号化する必要なく、システム音／イアコンをシンクデバイスに渡すことが可能になる。さらに、本方法は、システム音／イアコンおよび符号化メディアデータを同時に処理することを可能にする。

【0011】

いくつかの実施形態において、付加メディアデータは、シンクデバイスによって再生され得る。

【0012】

いくつかの実施形態において、付加メディアデータは、ソースデバイスによって再生され得る。

【0013】

いくつかの実施形態において、受信されたビットストリーム中の符号化メディアデータは、ソースデバイスからシンクデバイスへ、変更されたビットストリームを介して、パススルーされ得る。

【0014】

いくつかの実施形態において、ステップｂ）は、付加メディアデータについての情報を生成し、当該情報をビットストリーム中に埋め込むことをさらに含み得る。

【0015】

いくつかの実施形態において、生成された情報は、付加メディアデータの構成についての情報、付加メディアデータが変更されたビットストリーム中に存在することについての情報、デフォルトのラウドネス値についての情報、遅延アラインメントのための値についての情報、遅延適合化についての情報、パニングについての情報、および付加メディアデータのタイプについての情報のうちの１つ以上を含み得る。

【0016】

いくつかの実施形態において、ステップｂ）は、符号化メディアデータと付加メディアデータとの間の相対ゲインに関する情報を生成し、相対ゲインに関する情報をビットストリーム中に埋め込むことをさらに含み得る。

【0017】

いくつかの実施形態において、変更されたビットストリームは、ＭＰＥＧ－Ｄ ＵＳＡＣベースのビットストリームであり得る。したがって、システム音／イアコンは、ソースデバイスがＭＰＥＧ－４オーディオフォーマットで符号化されたメディアデータに対してパススルーモードである場合に、メディアデータを復号および再符号化する必要なく、符号化ビットストリームの一部としてシンクデバイスに送信できる。

【0018】

いくつかの実施形態において、生成されたペイロードは、ペイロードを（変更された）ビットストリーム中でＵＳＡＣ型ビットストリーム拡張機構を介して搬送することによって、ビットストリーム中に埋め込まれ得る。

【0019】

いくつかの実施形態において、生成された情報および／または生成された相対ゲインに関する情報は、生成された情報および／または生成された相対ゲインに関する情報を（変更された）ビットストリーム中でＵＳＡＣ型ビットストリーム拡張機構を介して搬送することによって、ビットストリーム中に埋め込まれ得る。

【0020】

いくつかの実施形態において、ＵＳＡＣ型ビットストリーム拡張機構は、一意の識別子を含む新たなＵＳＡＣ型ビットストリーム拡張要素であり得る。

【0021】

いくつかの実施形態において、ステップｃ）において、変更されたビットストリームは、Ｂｌｕｅｔｏｏｔｈ接続を介してシンクデバイスに出力され得る。

【0022】

いくつかの実施形態において、付加メディアデータは、圧縮メディアデータまたは非圧縮メディアデータであり得る。

【0023】

いくつかの実施形態において、非圧縮メディアデータは、ソースデバイスにおいて生成されたＰＣＭデータであり得る。

【0024】

いくつかの実施形態において、ＰＣＭデータの生成は、ユーザ入力に基づき得る。

【0025】

いくつかの実施形態において、ＰＣＭデータは、イアコンデータおよびシステム音データのうちの１つ以上を含み得る。

【0026】

いくつかの実施形態において、圧縮データは、ＳＢＣフォーマットまたはａｐｔＸベースのフォーマットのデータであり得る。

【0027】

本開示の第２の側面によると、変更されたビットストリームをシンクデバイスによって処理する方法が提供される。シンクデバイスは、受信器と、ビットストリームパーサとを含み得る。当該方法は、ａ）受信器によって、符号化メディアデータおよび付加メディアデータのペイロードを含む、変更されたビットストリームを受信するステップを含み得る。当該方法は、ｂ）ビットストリームパーサによって、変更されたビットストリームを解析（parse）して符号化メディアデータおよび付加メディアデータのペイロードを得るステップをさらに含み得る。当該方法は、ｃ）コアデコーダによって、符号化メディアデータをコア復号して、コア復号されたメディアデータを取得するステップをさらに含み得る。当該方法は、ｄ）ミキサによって、コア復号されたメディアデータおよび付加メディアデータをミキシングして、出力信号を取得するステップを含み得る。さらに、当該方法は、ｅ）出力信号を出力するステップを含み得る。

【0028】

いくつかの実施形態において、変更されたビットストリームは、付加メディアデータについての情報をさらに含み、かつ、当該方法は、ステップａ）の後かつステップｂ）の前に、当該情報に基づいて、変更されたビットストリームを処理するステップをさらに含み得る。

【0029】

いくつかの実施形態において、当該情報は、付加メディアデータの構成についての情報、付加メディアデータが変更されたビットストリーム中に存在することについての情報、デフォルトのラウドネス値についての情報、遅延アラインメントのための値についての情報、遅延適合化についての情報、パニングについての情報、および付加メディアデータのタイプについての情報のうちの１つ以上を含み得る。

【0030】

いくつかの実施形態において、変更されたビットストリームは、符号化メディアデータと付加メディアデータとの間の相対ゲインに関する情報をさらに含んでいてもよく、ステップｄ）におけるコア復号されたメディアデータおよび付加メディアデータのミキシングは、当該相対ゲインに関する情報に基づいていてもよい。

【0031】

いくつかの実施形態において、当該方法は、コア復号されたメディアデータおよび付加メディアデータをミキシングする前に、処理部によって、付加メディアデータを処理するステップをさらに含み得る。

【0032】

いくつかの実施形態において、付加メディアデータを処理することは、再サンプリング、遅延適合化、およびラウドネス処理のうちの１つ以上を含み得る。

【0033】

いくつかの実施形態において、付加メディアデータは、圧縮メディアデータでってもよく、当該方法は、デコーダによって、圧縮メディアデータを復号して、復号された付加メディアデータを取得するステップをさらに含んでいてもよく、ステップｄ）において、復号された付加メディアデータは、コア復号されたメディアデータとミキシングされてもよい。

【0034】

いくつかの実施形態において、圧縮メディアデータは、ＳＢＣフォーマットまたはａｐｔＸベースのフォーマットのデータであってもよい。

【0035】

いくつかの実施形態において、付加メディアデータは、非圧縮メディアデータであってもよく、ステップｄ）において、当該非圧縮付加メディアデータは、コア復号されたメディアデータとミキシングされてもよい。

【0036】

いくつかの実施形態において、変更されたビットストリームは、ＭＰＥＧ－Ｄ ＵＳＡＣベースのビットストリームであり得る。

【0037】

いくつかの実施形態において、変更されたビットストリームは、ＵＳＡＣ型ビットストリーム拡張機構を含んでいてもよく、ステップｂ）における解析は、変更されたビットストリーム中のＵＳＡＣ型ビットストリーム拡張機構を特定することにさらに基づいていてもよい。

【0038】

いくつかの実施形態において、ＵＳＡＣ型ビットストリーム拡張機構は、一意の識別子を含む新たなＵＳＡＣ型ビットストリーム拡張要素であり得る。

【0039】

本開示の第３の側面によると、変更されたビットストリームを生成するソースデバイスが提供される。当該デバイスは、ａ）符号化メディアデータを含むビットストリームを受信するように構成された受信器を含み得る。当該デバイスは、ｂ）付加メディアデータのペイロードを生成し、生成したペイロードをビットストリーム中に埋め込んで、符号化メディアデータおよび付加メディアデータのペイロードを含む、変更されたビットストリームを取得するように構成された埋め込み器をさらに含み得る。さらに、当該デバイスは、ｃ）変更されたビットストリームをシンクデバイスに出力する制御ユニットを含み得る。

【0040】

いくつかの実施形態において、埋め込み器は、付加メディアデータについての情報を生成し、当該情報をビットストリーム中に埋め込むようにさらに構成され得る。

【0041】

いくつかの実施形態において、埋め込み器は、符号化メディアデータと付加メディアデータとの間の相対ゲインに関する情報を生成し、当該相対ゲインに関する情報をビットストリーム中に埋め込むようにさらに構成され得る。

【0042】

いくつかの実施形態において、変更されたビットストリームは、ＭＰＥＧ－Ｄ ＵＳＡＣベースのビットストリームであり得る。

【0043】

いくつかの実施形態において、付加メディアデータは、圧縮メディアデータまたは非圧縮メディアデータであり得る。

【0044】

いくつかの実施形態において、非圧縮メディアデータは、ソースデバイスにおいて生成されたＰＣＭデータであり得る。

【0045】

いくつかの実施形態において、ＰＣＭデータの生成は、ユーザ入力に基づき得る。

【0046】

いくつかの実施形態において、ＰＣＭデータは、イアコンデータおよびシステム音データのうちの１つ以上を含み得る。

【0047】

いくつかの実施形態において、圧縮メディアデータは、ＳＢＣフォーマットまたはａｐｔＸベースのフォーマットのデータであり得る。

【0048】

本開示の第４の側面によると、変更されたビットストリームを処理するシンクデバイスが提供される。当該デバイスは、ａ）符号化メディアデータおよび付加メディアデータのペイロードを含む、変更されたビットストリームを受信するように構成された受信器を含み得る。当該デバイスは、ｂ）変更されたビットストリームを解析して符号化メディアデータおよび付加メディアデータのペイロードを得るように構成されたビットストリームパーサをさらに含み得る。当該デバイスは、ｃ）符号化メディアデータをコア復号して、コア復号されたメディアデータを取得するように構成されたコアデコーダをさらに含み得る。当該デバイスは、ｄ）コア復号されたメディアデータおよび付加メディアデータをミキシングして、出力信号を取得するように構成されたミキサをさらに含み得る。さらに、当該デバイスは、ｅ）出力信号を出力するように構成された制御ユニットを備え得る。

【0049】

いくつかの実施形態において、当該デバイスは、コア復号されたメディアデータおよび付加メディアデータをミキシングする前に、付加メディアデータを処理するように構成された処理ユニットをさらに含み得る。

【0050】

いくつかの実施形態において、付加メディアデータは、非圧縮メディアデータであり、かつ、ミキサは、コア復号されたメディアデータおよび非圧縮付加メディアデータをミキシングするように構成され得る。

【0051】

いくつかの実施形態において、付加メディアデータは、圧縮メディアデータであり、かつ、デバイスは、圧縮メディアデータを復号して、復号された付加メディアデータを取得するデコーダをさらに含んでいてもよく、ミキサは、コア復号されたメディアデータおよび復号された付加メディアデータをミキシングするように構成されてもよい。

【0052】

いくつかの実施形態において、変更されたビットストリームは、付加メディアデータについての情報をさらに含んでいてもよく、シンクデバイスは、当該情報に基づいて、変更されたビットストリームを処理するように構成され得る。

【0053】

いくつかの実施形態において、変更されたビットストリームは、符号化メディアデータと付加メディアデータとの間の相対ゲインに関する情報をさらに含み得、かつ、ミキサは、相対ゲインに関する情報に基づいて、コア復号されたメディアデータおよび付加メディアデータをミキシングするようにさらに構成されてもよい。

【0054】

いくつかの実施形態において、コアデコーダは、ＭＰＥＧ－Ｄ ＵＳＡＣベースのデコーダであり得る。

【0055】

本開示の第５の側面によると、変更されたビットストリームを生成するソースデバイスと、変更されたビットストリームを処理するシンクデバイスとのシステムが提供される。ソースデバイスは、当該ソースデバイス上で、変更されたビットストリームを生成する方法を行うように構成された１つ以上のプロセッサを含む。シンクデバイスは、当該シンクデバイス上で、変更されたビットストリームを処理する方法を行うように構成された１つ以上のプロセッサを含む。

【0056】

本開示の第６の側面によると、処理能力を有するデバイスによって実行された際に、デバイスに、変更されたビットストリームをソースデバイス上で生成する方法を実行させるように構成された命令を有するコンピュータ可読記憶媒体を備えるコンピュータプログラム製品が提供される。

【0057】

本開示の第７の側面によると、処理能力を有するデバイスによって実行された際に、デバイスに、変更されたビットストリームをシンクデバイス上で処理する方法を実行させるように構成された命令を有するコンピュータ可読記憶媒体を備えるコンピュータプログラム製品が提供される。

【図面の簡単な説明】

【0058】

以下に、添付の図面を参照し、本開示の実施形態例を例として説明する。

【0059】

【図1】図１は、変更されたビットストリームをソースデバイス上で生成する方法の例のフロー図を例示する。

【図2】図２は、変更されたビットストリームをソースデバイス上で生成する方法のさらなる例のフロー図を例示する。

【図3】図３は、変更されたビットストリームをシンクデバイス上で処理する方法の例のフロー図を例示する。

【図4】図４は、変更されたビットストリームをシンクデバイス上で処理する方法のさらなる例のフロー図を例示する。

【図5】図５は、変更されたビットストリームをシンクデバイス上で処理する方法の別のさらなる例のフロー図を例示する。

【図6】図６は、変更されたビットストリームをシンクデバイス上で処理する方法の別のさらなる例のフロー図を例示する。

【図7】図７は、変更されたビットストリームを生成するソースデバイスの例を例示する。

【図8】図８は、変更されたビットストリームを生成するソースデバイスのさらなる例を例示する。

【図9】図９は、変更されたビットストリームを処理するシンクデバイスの例を例示する。

【図10】図１０は、変更されたビットストリームを処理するシンクデバイスのさらなる例を例示する。

【図11】図１１は、変更されたビットストリームを処理するシンクデバイスの別のさらなる例を例示する。

【図12】図１２は、変更されたビットストリームを処理するシンクデバイスの別のさらなる例を例示する。

【図13】図１３は、１つ以上のプロセッサを有するデバイスの例を例示する。

【発明を実施するための形態】

【0060】

ＭＰＥＧ－Ｄ ＵＳＡＣベースの変更されたビットストリームの生成および処理
以下に、ＭＰＥＧ－Ｄ ＵＳＡＣベースの変更されたビットストリームを生成および処理する方法およびデバイスを説明する。本明細書において、ＭＰＥＧ－Ｄ ＵＳＡＣベースのビットストリームは、ISO/IEC23003-3 MPEG audio technologies - Part 3: Unified speech and audio coding（以下、「ＭＰＥＧ－Ｄ ＵＳＡＣ」）ならびにそのすべての将来のエディション、バージョンおよび訂正に記載の規格に対応したビットストリームを指し得る。以下、ＭＰＥＧ－Ｄ ＵＳＡＣベースのビットストリームへの参照は、ＭＰＥＧ－Ｄ ＵＳＡＣ規格に記載された１つ以上の要件に適合するビットストリームを意味する。上記の方法およびデバイスによって、メディアコンテンツを配信する符号化メディアデータとともに、非圧縮または圧縮メディアデータである付加メディアデータが搬送および処理され得る。これにより、ソースおよびシンクデバイスの両方においてシステム複雑性および計算複雑性のさらなる負担なしに、イアコンデータおよび／またはシステム音を送信および処理することが可能になり得る。

【0061】

さらに、ソースデバイスおよびシンクデバイスの両方について、同じ機構およびビットストリーム変量を使用して、すべての設定（例えば、システム音のレベル、ＤＲＣなど）を制御することが可能であり得る。これは、ソースデバイスの埋め込み器（embedder）によって使用される相対ゲイン（または、ミキシングゲイン）がシンクデバイスのミキサによって使用される制御パラメータとちょうど同じであり得ることを意味する。

【0062】

変更されたビットストリームをソースデバイス上で生成すること
図１の例を参照し、変更されたビットストリームをソースデバイス上で生成する方法の例を例示する。ステップＳ１００において、符号化メディアデータ（後述のように、シンクデバイスによってコア復号されることになる）を含むビットストリームは、ソースデバイスの受信器によって受信され得る。符号化メディアデータを含むビットストリームは、例えば、１つ以上のメディアサーバから受信され得る。符号化メディアデータは、符号化された音声（speech）およびオーディオデータを含み得る。符号化された音声およびオーディオデータは、上記のＭＰＥＧ－Ｄ ＵＳＡＣ規格に準拠し得る。ビットストリームは、例えば、ソースデバイスに接続されたシンクデバイスによって再生されるべきオーディオコンテンツを配信し得る。ソースデバイスは、限定されない。例えば、ソースデバイスは、移動型電話、スマートウォッチ、コンバーチブルを含むラップトップおよびタブレットｐｃのうちの１つ以上を含む移動型デバイスであり得る。

【0063】

図１の例を再度参照する。ステップＳ１０１において、付加メディアデータのペイロード（すなわち、符号化されたメディアデータとは別に追加されるメディアデータ、例えば、付加的なオーディオデータ）が生成され、埋め込み器によってビットストリーム中に埋め込まれ得る。

【0064】

ステップＳ１０１において生成された付加メディアデータは、シンクデバイスによって（シンクデバイスの側で）メディアデータとミキシングされることになる。有利なことに、これにより、シンクデバイス側で、付加メディアデータをメディアデータとミキシングすることが可能になる。

【0065】

符号化メディアデータおよび付加メディアデータは、異なる（例えば、異なるタイプの）メディアデータである。例えば、後述のように、符号化メディアデータおよび付加メディアデータは、異なるフォーマットを有し得る。符号化メディアデータおよび付加メディアデータは、異なるタイプのメディアコンテンツを含む。符号化メディアデータは、主要なオーディオコンテンツ、例えば、音楽、オーディオなどを含み得る。付加メディアデータは、副次的なオーディオコンテンツ、例えば、イアコン、システム音、打鍵音、電子メール通知音などを含み得る。主要なオーディオコンテンツおよび副次的なオーディオコンテンツは、シンクデバイスによって再生され得る。

【0066】

代替として、または、付加として、主要なオーディオコンテンツおよび副次的なオーディオコンテンツは、ソースデバイスによって再生され得る。

【0067】

一実施形態において、符号化メディアデータは、ソースデバイス、シンクデバイス、またはソースデバイスおよびシンクデバイスの両方によって再生され得る。

【0068】

一実施形態において、付加メディアデータは、ソースデバイス、シンクデバイス、またはソースデバイスおよびシンクデバイスの両方によって再生され得る。

【0069】

一実施形態において、付加メディアデータは、圧縮メディアデータ（後述のように、シンクデバイスによって復号され、復号された付加メディアデータを取得することになる）、または非圧縮メディアデータであり得る。非圧縮メディアデータは、限定されないが、一実施形態において、ソースデバイスにおいて生成されたＰＣＭデータであり得る。ＰＣＭデータの生成はまた、限定されないが、一実施形態において、ユーザ入力に基づき得る。ユーザ入力は、例えば、打鍵であり得る。代替として、または、付加として、ＰＣＭデータの生成は、ソースデバイスにおいてユーザ入力から独立して、例えば、電子メール通知に基づいて容易化され得る。一実施形態において、ＰＣＭデータは、イアコンデータおよびシステム音データのうちの１つ以上を含み得る。また、圧縮メディアデータのフォーマットは、限定されないが、Ｂｌｕｅｔｏｏｔｈエコシステムに属し得る。一実施形態において、圧縮メディアデータは、ＳＢＣフォーマットまたはａｐｔＸベースのフォーマットのデータであり得る。

【0070】

図１の例を再度参照する。ステップＳ１０２において、埋め込み器からの出力として、符号化メディアデータおよび付加メディアデータのペイロードを含む、変更されたビットストリームが取得され得る。次に、ステップＳ１０３において、変更されたビットストリームは、シンクデバイスに出力され得る。

【0071】

受信されたビットストリーム中の符号化メディアデータは、ソースデバイスからシンクデバイスへ、変更されたビットストリームを介して、パススルーされる。ソースデバイスから受信された符号化メディアデータは、変更されたビットストリームに埋め込まれ、シンクデバイスに出力される。

【0072】

有利なことに、変更されたビットストリームを（ソースデバイスにおいて）生成し、シンクデバイスに出力することは、シンクデバイス側でメディアデータを付加メディアデータとミキシングすることを省力化する（streamline）。メディアデータおよび付加メディアデータを埋め込み、それらをシンクデバイスに転送するために、単一のビットストリームがソースデバイスによって使用される。それにより、ソースとシンクデバイスとの間で単一チャネル／接続を使用できる。さらに、ソースデバイスにおいて、（例えば、符号化メディアデータを復号および再符号化するための）さらなるデコーダおよび／またはエンコーダは存在しない。ソースデバイスにおいて、（例えば、復号された符号化メディアデータを付加メディアデータとミキシングするための）さらなるミキサは使用されない。

【0073】

一実施形態において、変更されたビットストリームは、Ｂｌｕｅｔｏｏｔｈ接続を介してシンクデバイスに出力され得る。換言すれば、ソースデバイスは、Ｂｌｕｅｔｏｏｔｈ接続を介してシンクデバイスに接続され得る。例えば、移動型電話にＢｌｕｅｔｏｏｔｈを介して接続されたイヤホンがある。

【0074】

一般に、本開示全体に記載の、本提案の技術および実装例ならびにそれらの例は、変更されたビットストリームを生成し、シンクデバイスに出力することを含み、例えば、ソースデバイスがパススルー動作モードである場合に、付加メディアデータのペイロード（例えば、システム音／イアコン）をシンクデバイスに送信することを容易にする。換言すれば、例えば、符号化メディアデータが復号および再符号化されることなく、付加メディアデータのペイロードは、生成され、符号化メディアデータを含む受信されたビットストリーム中に埋め込まれて、変更されたビットストリームが生成される。同様に、付加メディアデータは、ソースデバイスとシンクデバイスとの間にさらなる接続を確立する必要なく、シンクデバイスに渡すことができる。さらなる利点として、本提案の技術は、付加メディアデータおよび符号化メディアデータの同時処理を可能にする。

【0075】

ここで、図２の例を参照し、変更されたビットストリームをソースデバイス上で生成する方法のさらなる例を例示する。図２の例は、上で詳述した図１の例とは、ステップＳ１０１において、付加メディアデータについてのさらなる情報が（例えば、メタデータの一部として）生成され、ビットストリーム中に埋め込まれ得る（破線によって示される）点で異なる。一実施形態において、生成された情報は、付加メディアデータの構成についての情報、変更されたビットストリーム中に付加メディアデータが存在することについての情報、デフォルトのラウドネス値についての情報、遅延アラインメントのための値についての情報、遅延適合化についての情報、パニングについての情報、および付加メディアデータのタイプについての情報のうちの１つ以上を含み得る。生成された情報は、以下に詳述するように、受信された変更されたビットストリームを処理するために、シンクデバイスによって利用され得る。付加メディアデータの構成についての情報は、例えば、ミキシングの前に付加メディアデータを再サンプリングする必要があり得るかどうかについてシンクデバイス側で決定することを可能にし得るサンプリングレートについての情報を含み得る。代替として、または、付加として、付加メディアデータの構成についての情報は、例えば、ミキシングの前に付加メディアデータをダウンミキシング／アップミキシングする必要があり得るかどうかをシンクデバイス側で決定することを可能にするチャネルモードについての情報をさらに含み得る。デフォルトのラウドネス値についての情報は、例えば、ITU-R BS.1770-4に記載の方法のうちの１つにしたがって測定されたラウドネスを含み得る。測定されたラウドネスは、どのレベルで付加メディアデータがコア復号されたメディアデータとミキシングされ得るかをシンクデバイス側で決定することを可能にし得る。さらに、付加メディアデータのタイプについての情報は、付加メディアデータを復号する必要があり得るかどうか、例えば、付加メディアデータが非圧縮または圧縮メディアデータであり得るかどうかについてをシンクデバイス側で示し得る。

【0076】

代替として、または、付加として、ステップＳ１０１は、符号化メディアデータと付加メディアデータ（例えば、メタデータの一部としての付加メディアデータ）との間の相対ゲインに関する情報を生成し、相対ゲインに関する情報をビットストリーム中に埋め込む（破線によって示される）ことをさらに含み得る。符号化メディアデータと付加メディアデータとの間の相対ゲインは、以下に詳述するように、受信された変更されたビットストリームに基づいて出力信号を生成するために、シンクデバイスによって使用され得る。ここで、ソースデバイスおよびシンクデバイスは、同じ相対ゲイン値を使用し得る。例えば、ソースデバイスが移動型電話である場合、最適なシステム音ミキシング設定は、システム音および符号化されたメディアデータコンテンツの推定されたラウドネス比に基づいて自動に決定され得る。例えば、相対ゲイン値は、シンクデバイスのミキサによって使用され得るミキシングゲイン値および／または減衰ゲイン値を含み得る。この情報をビットストリーム中に含めることによって、復号後に、適切なやり方で、付加メディアデータを符号化メディアデータとミキシングでき、かつ、付加メディアデータが符号化メディアデータと比較して不適切な音レベルでレンダリングされる場合を回避できることを確実にすることができる。一般に、付加メディアデータについての情報をビットストリーム中に含めることによって、ソースデバイスは、シンクデバイスでの付加メディアデータの処理（例えば、レンダリングを含む）に対する制御が与えられる。これは、シンクデバイスでの付加メディアデータの適切なレンダリングを確実にする。

【0077】

変更されたビットストリームのフォーマットは、限定されないが、一実施形態において、変更されたビットストリームは、ＭＰＥＧ－Ｄ ＵＳＡＣベースのビットストリーム（すなわち、ＭＰＥＧ－Ｄ ＵＳＡＣ規格に準拠したビットストリーム）であり得る。図１の例を参照すると、一実施形態において、生成されたペイロードは、ＵＳＡＣ型ビットストリーム拡張機構を介して、変更されたビットストリーム中で搬送され得る。図２を参照すると、一実施形態において、生成された情報および／または生成された相対ゲインに関する情報は、ＵＳＡＣ型ビットストリーム拡張機構を介して、変更されたビットストリーム中で搬送され得る。

【0078】

一例として、生成された付加メディアデータのペイロード、生成された付加メディアデータについての情報および／または生成された相対ゲインに関する情報をＭＰＥＧ－Ｄ ＵＳＡＣベースの変更されたビットストリーム中に埋め込むために、以下のシンタックスが使用され得る。

【0079】

system_sound_info()のシンタックス
生成された付加メディアデータのペイロード、生成された情報（付加メディアデータについての情報）および／または生成された相対ゲインに関する情報を伝えるトップレベルシンタックス要素。

【0080】

【0081】

system_sound_info()のセマンティクス

【0082】

system_sound_config()のシンタックス

【0083】

system_sound_config()のセマンティクス

【0084】

system_sound_payload()のシンタックス

【0085】

system_sound_payload()のセマンティクス

【0086】

pcm_data_config()のシンタックス

【0087】

pcm_data_config()のセマンティクス

【0088】

pcm_data_payload()のシンタックス

ＮＯＴＥ１：「pcm_frame_size」は、「pcm_frame_size_index」から得られるか、または「pcm_data_config」において直接設定されるかのいずれでもよい
ＮＯＴＥ２：ビット数／サンプル（ｂｐｓ）は、「pcm_data_format_index」から得ることができる

【0089】

pcm_data_payload()のセマンティクス

【0090】

一実施形態において、ＵＳＡＣ型ビットストリーム拡張機構は、一意の識別子を含む新たなＵＳＡＣ型ビットストリーム拡張要素であり得る。ＵＳＡＣ型ビットストリーム中で、システム音情報（system sound info）は、ISO/IEC23003-3に定義されたＵＳＡＣ型拡張要素によって搬送され得る。新たなusacExtElementTypeは、ID_EXT_ELE_ SYS_SOUND_INFOと名付けられ得る。

【0091】

構成部のみを搬送するために、表１７におけるシンタックス、「UsacExtElementConfig()のシンタックス」は、以下のように訂正され得る。

【0092】

この場合、system_sound_info()は、構成データを搬送するのみであり得る。すなわち、フィールドsystem_sound_config_presentは１に設定され、フィールドsystem_sound_payload_presentは０に設定され得る。

【0093】

生成されたＰＣＭデータペイロードは、ISO/IEC23003-3の表２５「Syntax of UsacExtElement()」にしたがってフレーム単位で送信され得る。

【0094】

一実施形態において、生成された付加メディアデータのペイロードは、ＵＳＡＣ型ビットストリームの配列拡張要素中に埋め込まれ得る。上記において定義された構造system_sound_infoは、表２５の配列である「usacExtElementSegmentData」中に埋め込まれ得、生成された情報（付加メディアデータについての情報、例えば、構成）または生成されたペイロードのいずれを含んでもよい、またはその両方を含んでもよい。

【0095】

ＵＳＡＣ型ビットストリームの配列拡張要素（例えば、配列要素「usacExtElementSegmentData」）は、通常、符号化メディアデータおよび／またはメタデータを含む。本発明の実施形態において、配列拡張要素は、符号化されていない／生のデータである付加メディアデータ（例えば、ＰＣＭデータなどの非圧縮付加メディアデータ）の生成されたペイロードを担う（含む）。したがって、本発明のこの実施形態において、符号化オーディオデータおよび／またはメタデータを通常担うＵＳＡＣ型ビットストリームの既存の配列要素は、その代わりに、符号化されていない／生のメディアデータを担うために使用される。

【0096】

上記技術を使用して、付加メディアデータおよび付加メディアデータについての情報は、ソースデバイスによってパススルーされる既存のＭＰＥＧ－Ｄ ＵＳＡＣベースのビットストリーム中に容易に埋め込むことができる。

【0097】

変更されたビットストリームをシンクデバイス上で処理する
ここで、図３の例を参照し、変更されたビットストリームをシンクデバイス上で処理する方法の例を例示する。ステップＳ２００において、符号化メディアデータ（例えば、ソースデバイスによって受信される）および付加メディアデータのペイロードを含む変更されたビットストリームは、シンクデバイスの受信器によって受信され得る。

【0098】

ステップＳ２０１において、受信された変更されたビットストリームは、ビットストリームパーサ（parser）によって解析（parse）され、符号化メディアデータおよび付加メディアデータのペイロードに変換され得る。変更されたビットストリームのフォーマットは、限定されないが、変更されたビットストリームは、ＭＰＥＧ－Ｄ ＵＳＡＣベースのビットストリーム（すなわち、ＭＰＥＧ－Ｄ ＵＳＡＣ規格に準拠したビットストリーム）であり得る。図４の例を参照すると、一実施形態において、変更されたビットストリームは、ＵＳＡＣ型ビットストリーム拡張機構を含み得、かつ、ステップＳ２０１における解析は、さらに、変更されたビットストリーム中のＵＳＡＣ型ビットストリーム拡張機構を特定することに基づき得る。一実施形態において、ＵＳＡＣ型ビットストリーム拡張機構は、一意の識別子を含む新たなＵＳＡＣ型ビットストリーム拡張要素であり得る。

【0099】

図３または４の例を参照すると、ステップＳ２０２において、符号化メディアデータは、コアデコーダによってコア復号され得る。

【0100】

ステップＳ２０３において、コア復号されたメディアデータは、ミキサによって、付加メディアデータとミキシングされて、出力信号が取得され得る。

【0101】

次に、ステップ２０４において、取得された出力信号は、制御ユニットによって出力され得る。

【0102】

ここで、図５の例を参照し、変更されたビットストリームをシンクデバイス上で処理する方法のさらなる例を例示する。図５の例において、一実施形態において、変更されたビットストリームは、付加メディアデータについての情報をさらに含んでいてもよく、変更されたビットストリームをシンクデバイスによって処理することは、当該情報に基づいていてもよい。一実施形態において、当該情報は、付加メディアデータの構成についての情報、付加メディアデータが変更されたビットストリーム中に存在することについての情報、デフォルトのラウドネス値についての情報、遅延アラインメントのための値についての情報、遅延適合化についての情報、パニングについての情報、および付加メディアデータのタイプについての情報のうちの１つ以上を含み得る。

【0103】

図５の例において、当該方法は、コア復号されたメディアデータおよび付加メディアデータのミキシングの前に、付加メディアデータを処理ユニットによって処理するステップＳ２０２ａをさらに含み得る。次に、ステップＳ２０３において、コア復号されたメディアデータは、処理された付加メディアデータとミキシングされる。一実施形態において、付加メディアデータを処理することは、再サンプリング、遅延適合化およびラウドネス処理のうちの１つ以上を含み得る。付加メディアデータを処理することは、変更されたビットストリーム中に含まれ、かつ、ステップＳ２０１においてビットストリームパーサによって与えられた、生成された情報によって（基づいて）ガイドされ得る（破線によって示される）。例えば、再サンプリングは、付加メディアデータの構成についての情報に含まれ得る付加メディアデータのサンプリングレートについての情報によってガイドされ得る。代替として、または、付加として、付加メディアデータを処理することは、付加メディアデータの構成についての情報に含まれ得るチャネルモードについての情報によってガイドされ得る、付加メディアデータのダウンミキシング／アップミキシングを含み得る。ラウドネス処理は、ITU-R BS.1770-4に記載の方法のうちの１つにしたがって測定されたラウドネスを含み得るデフォルトのラウドネス値についての情報によってガイドされ得る。

【0104】

代替として、または、付加として、一実施形態において、変更されたビットストリームは、符号化メディアデータと付加メディアデータとの間の相対ゲインに関する情報をさらに含み得、かつ、必要に応じてミキシングの前に処理され、処理された付加メディアデータが取得されていてもよい（点線によって示される）コア復号されたメディアデータおよび付加メディアデータをステップＳ２０３においてミキシングすることは、相対ゲインに関する情報に基づき得る。ここで、シンクデバイスは、ソースデバイスで生成された相対ゲイン値を使用し得る。換言すれば、ソースデバイスおよびシンクデバイスの両方は、同じ相対ゲイン値を使用し得る。相対ゲイン値はまた、ミキシングステップＳ２０３においてユーザ入力を介してさらに変更され得る。相対ゲイン値は、ミキシングゲインおよび／または減衰ゲイン値を含み得る。相対ゲインに関する情報は、破線によって示されるように、ステップＳ２０１において、ビットストリームパーサによって与えられ得る。付加メディアデータについての情報および、代替として、または、付加として、相対ゲインに関する情報値は、上記のように、変更されたビットストリーム中で、system_sound_configトップレベルシンタックス要素中に埋め込まれ得る。

【0105】

一実施形態において、付加メディアデータは、圧縮メディアデータまたは非圧縮メディアデータであり得る。

【0106】

ここで、図６の例を参照する。一実施形態において、付加メディアデータは、圧縮メディアデータであり得、かつ、方法は、デコーダによって、圧縮メディアデータを復号して、復号された付加メディアデータを取得するステップＳ２０５をさらに含んでいてもよく、ステップＳ２０３において、復号された付加メディアデータは、コア復号されたメディアデータとミキシングされ得る。付加メディアデータが圧縮メディアデータである場合に付加メディアデータを処理するステップＳ２０２ａを当該方法がさらに含む場合、復号された付加メディアデータには、必要に応じて、コア復号されたメディアデータとミキシングされる前に、上述した、点線によって示されたステップＳ２０２ａにおける処理が施され得る。圧縮メディアデータのフォーマットは、限定されないが、Ｂｌｕｅｔｏｏｔｈエコシステムに属し得る。一実施形態において、圧縮メディアデータは、ＳＢＣフォーマットまたはａｐｔＸベースのフォーマットのデータであり得る。また、圧縮メディアデータである場合、ステップＳ２０２ａにおける処理は、破線によって示されるように、変更されたビットストリームに含まれ、かつステップＳ２０１において与えられた、生成された付加メディアデータについての情報によって（基づき）ガイドされ得る。

【0107】

代替として、または、付加として、必要に応じてミキシングの前に処理されていてもよい、コア復号されたメディアデータおよび復号された付加メディアデータをステップＳ２０３においてミキシングすることはまた、上述の相対ゲインに関する情報に基づき得る。相対ゲインに関する情報はまた、破線によって示されるようにステップＳ２０１において与えられ得る。

【0108】

あるいは、一実施形態において、付加メディアデータは、非圧縮メディアデータであり得、かつ、ステップＳ２０３において、非圧縮付加メディアデータは、図３または図４に例示された例にしたがって、コア復号されたメディアデータとミキシングされ得る。図５の例によると、非圧縮メディアデータにはまた、コア復号されたメディアデータとミキシングされる前に、上述のように、必要に応じて、ステップＳ２０２ａにおける処理が施される。一実施形態において、非圧縮メディアデータは、ソースデバイスにおいて生成されたＰＣＭデータであり得る。一実施形態において、ＰＣＭデータは、イアコンデータおよびシステム音データのうちの１つ以上を含み得る。

【0109】

ソースデバイス
ここで、図７の例を参照し、変更されたビットストリームを生成するソースデバイスの例を例示する。ソースデバイス１００は、符号化メディアデータ１０１を含むビットストリームを受信するように構成された受信器１０２を含み得る。ビットストリームは、例えば、１つ以上のメディアサーバから受信され得る。ビットストリームは、例えば、ソースデバイス１００に接続されたシンクデバイスによって再生されるべきオーディオコンテンツを配信し得る。ソースデバイス１００は、限定されない。例えば、ソースデバイス１００は、移動型電話、スマートウォッチ、コンバーチブルを含むラップトップおよびタブレットｐｃのうちの１つ以上を含む移動型デバイスであり得る。

【0110】

一実施形態において、符号化メディアデータは、ソースデバイス、シンクデバイス、またはソースデバイスおよびシンクデバイスの両方によって再生され得る。一実施形態において、付加メディアデータは、ソースデバイス、シンクデバイス、またはソースデバイスおよびシンクデバイスの両方によって再生され得る。ソースデバイス１００は、付加メディアデータ１０３のペイロードを生成し、生成されたペイロードをビットストリーム中に埋め込んで、符号化メディアデータ１０１および付加メディアデータ１０３のペイロードを含む、変更されたビットストリームを取得するように構成された埋め込み器１０４をさらに含み得る。ここで、変更されたビットストリームはまた、ソースデバイスがパススルーモードで動作する場合でさえ、生成され得る。ソースデバイス１００は、符号化メディアデータをシンクデバイスに、変更されたビットストリームを介して、パススルーするように構成され得る。ソースデバイスから受信された符号化メディアデータは、変更されたビットストリームに埋め込まれ、シンクデバイスに出力される。

【0111】

有利なことに、変更されたビットストリームを生成し（ソースデバイスにおいて）、シンクデバイスに出力することは、シンクデバイス側でメディアデータを付加メディアデータシンクとミキシングすることを効率化する。メディアデータおよび付加メディアデータを埋め込み、それらをシンクデバイスに搬送するために、単一のビットストリームがソースデバイスによって使用される。それにより、ソースとシンクデバイスとの間で単一チャネル／接続を使用できる。さらに、ソースデバイスにおいて、（例えば、符号化メディアデータを復号および再符号化するための）さらなるデコーダおよび／またはエンコーダは存在しない。ソースデバイスにおいて、（例えば、復号された符号化メディアデータを付加メディアデータとミキシングするための）さらなるミキサは使用されない。

【0112】

変更されたビットストリームのフォーマットは、限定されないが、一実施形態において、変更されたビットストリームは、ＭＰＥＧ－Ｄ ＵＳＡＣベースのビットストリーム（すなわち、ＭＰＥＧ－Ｄ ＵＳＡＣ規格に準拠したビットストリーム）であり得る。一実施形態において、埋め込み器１０４は、上述のように、変更されたビットストリーム中で、生成されたペイロードをＵＳＡＣ型ビットストリーム拡張機構を介して搬送するように構成され得る。

【0113】

一実施形態において、付加メディアデータ１０３は、圧縮メディアデータまたは非圧縮メディアデータであり得る。非圧縮メディアデータは、限定されないが、一実施形態において、ソースデバイス１００において生成されたＰＣＭデータであり得る。ＰＣＭデータの生成は、限定されないが、一実施形態において、ユーザ入力に基づき得る。ユーザ入力は、例えば、打鍵であり得る。この場合、ソースデバイス１００は、ユーザインタフェースを含み得る。ユーザインタフェースは、例えば、タッチディスプレイであり得る。代替として、または、付加として、ソースデバイス１００は、少なくともキーボードをさらに含み得る。しかし、ＰＣＭデータの生成はまた、ソースデバイス１００において、ユーザ入力から独立して、例えば、電子メール通知に基づいて容易化され得る。一実施形態において、ＰＣＭデータは、イアコンデータおよびシステム音データのうちの１つ以上を含み得る。ＰＣＭデータは、ソースデバイス１００において格納され得る。

【0114】

圧縮メディアデータは、限定されないが、圧縮メディアデータのフォーマットは、Ｂｌｕｅｔｏｏｔｈエコシステムに属し得る。一実施形態において、圧縮メディアデータは、ＳＢＣフォーマットまたはａｐｔＸベースのフォーマットのデータであり得る。圧縮メディアデータは、ソースデバイス１００において生成され得る。圧縮メディアデータは、ソースデバイス１００内に格納され得る。代替として、または、付加として、圧縮メディアデータは、受信器１０２を介して受信され得る。

【0115】

ここで、図８の例を参照すると、一実施形態において、埋め込み器１０４は、付加メディアデータ１０３についての情報１０６を生成し、生成された情報１０６をビットストリーム中に埋め込むようにさらに構成され得る（破線によって示される）。代替として、または、付加として、一実施形態において、埋め込み器１０４は、符号化メディアデータ１０１と付加メディアデータ１０３との間の相対ゲインに関する情報１０６を生成し、相対ゲインに関する情報１０６をビットストリーム中に埋め込むようにさらに構成され得る（また、破線で示される）。一実施形態において、埋め込み器１０４は、上述のように、生成された情報１０６および／または生成された相対ゲインに関する情報１０６を、ＵＳＡＣ型ビットストリーム拡張機構を介して、変更されたビットストリーム中で搬送するようにさらに構成され得る。

【0116】

ソースデバイス１００は、変更されたビットストリームをシンクデバイスに出力するように構成された制御ユニット１０５をさらに含み得る。

【0117】

シンクデバイス
ここで、図９の例を参照し、変更されたビットストリームを処理するシンクデバイスの例を例示する。シンクデバイス２００は、符号化メディアデータおよび付加メディアデータのペイロードを含む、変更されたビットストリームを受信するように構成された受信器２０１を含み得る。シンクデバイス２００は、限定されない。シンクデバイス２００は、例えば、イヤホンなどの、ソースデバイスの周辺デバイスであり得る。シンクデバイス２００およびソースデバイスは、Ｂｌｕｅｔｏｏｔｈを介して接続され得る。シンクデバイス２００は、変更されたビットストリーム中に含まれたオーディオコンテンツを再生するように構成され得る。例えば、シンクデバイス２００は、符号化メディアデータもしくは付加メディアデータ、または符号化メディアデータおよび付加メディアデータの両方を再生するように構成され得る。

【0118】

シンクデバイス２００は、変更されたビットストリームを解析して符号化メディアデータおよび付加メディアデータのペイロードを得るように構成されたビットストリームパーサ２０２をさらに含み得る。変更されたビットストリームのフォーマットは、限定されないが、変更されたビットストリームは、ＭＰＥＧ－Ｄ ＵＳＡＣベースのビットストリーム（すなわち、ＭＰＥＧ－Ｄ ＵＳＡＣ規格に準拠したビットストリーム）であり得る。既に上述したように、一実施形態において、ビットストリームパーサ２０２は、変更されたビットストリーム中のＵＳＡＣ型ビットストリーム拡張機構を特定することに基づいて、ビットストリームを解析するように構成され得る。

【0119】

シンクデバイス２００は、符号化メディアデータをコア復号して、コア復号されたメディアデータを取得するように構成されたコアデコーダ２０３をさらに含み得る。一実施形態において、コアデコーダ２０３は、ＭＰＥＧ－Ｄ ＵＳＡＣベースのデコーダ（上述のＭＰＥＧ－Ｄ ＵＳＡＣ規格に準拠する）であり得る。

【0120】

シンクデバイス２００は、コア復号されたメディアデータおよび付加メディアデータをミキシングして、出力信号を取得するように構成されたミキサ２０４をさらに含み得る。一実施形態において、付加メディアデータは、圧縮メディアデータまたは非圧縮メディアデータであり得る。一実施形態において、付加メディアデータは、非圧縮メディアデータであり得、かつ、ミキサ２０４は、コア復号されたメディアデータおよび非圧縮付加メディアデータをミキシングするように構成され得る。

【0121】

ここで、図１０の例を参照すると、変更されたビットストリームは、付加メディアデータについての情報をさらに含み得、かつ、シンクデバイス２００は、当該情報に基づいて、変更されたビットストリームを処理するように構成され得る。一実施形態において、シンクデバイス２００は、ミキサ２０４においてコア復号されたメディアデータおよび付加メディアデータをミキシングする前に付加メディアデータを処理するように構成された処理ユニット２０６をさらに含み得る。一実施形態において、処理ユニット２０６によって付加メディアデータを処理することは、再サンプリング、遅延適合化およびラウドネス処理のうちの１つ以上を含み得る。処理ユニット２０６によって付加メディアデータを処理することは、上述の付加メディアデータについての情報によって（基づいて）ガイドされ得る。付加メディアデータについての情報は、破線によって示されるように、ビットストリームパーサ２０２によって処理ユニット２０６に与えられ得る。付加メディアデータが非圧縮メディアデータである場合、非圧縮メディアデータは、変更されたビットストリームがビットストリームパーサ２０２内で解析された後、かつ、ミキサ２０４に入る前に、直接に処理され得る。

【0122】

代替として、または、付加として、一実施形態において、変更されたビットストリームは、符号化メディアデータと付加メディアデータとの間の相対ゲインに関する情報をさらに含み得、かつ、ミキサ２０４は、必要に応じてミキシングの前に処理されていてもよい（点線によって示す）コア復号されたメディアデータおよび付加メディアデータを、上記の相対ゲインに関する情報に基づいて、ミキシングするようにさらに構成され得る。相対ゲインに関する情報は、破線によって示されるように、ビットストリームパーサ２０２によってミキサ２０４に与えられ得る。

【0123】

一実施形態において、付加メディアデータは、圧縮メディアデータであり得る。ここで、図１１の例を参照すると、シンクデバイス２００は、圧縮メディアデータを復号して、復号された付加メディアデータを取得するように構成されたデコーダ２０７をさらに含み得、かつ、ミキサ２０４は、コア復号されたメディアデータおよび復号された付加メディアデータをミキシングするように構成され得る。代替として、または、付加として、変更されたビットストリームは、符号化メディアデータと付加メディアデータとの間の相対ゲインに関する情報をさらに含み得、かつ、ミキサ２０４は、上記の相対ゲインに関する情報に基づいて、コア復号されたメディアデータおよび復号された付加メディアデータをミキシングするさようにらに構成され得る。相対ゲインに関する情報は、破線によって示されるように、ビットストリームパーサ２０２によってミキサ２０４に与えられ得る。

【0124】

図１２の例をさらに参照すると、復号された付加メディアデータは、ミキサ２０４においてコア復号されたメディアデータとミキシングされる前に、さらに必要に応じて、処理ユニット２０６によって処理され得る（点線によって示す）。復号された付加メディアデータを処理ユニット２０６によって処理することは、上述の変更されたビットストリーム中に含まれ得る付加メディアデータについての情報によって（基づいて）ガイドされ得る。付加メディアデータについての情報は、破線によって示されるように、ビットストリームパーサ２０２によって処理ユニット２０６に与えられ得る。

【0125】

図９～１２の例を参照すると、シンクデバイス２００は、出力信号を出力するように構成された制御ユニット２０５をさらに含み得る。例えば、出力信号は、イヤホンを介してシンクデバイス２００のユーザに出力され得る。

【0126】

上記の方法は、上記のデバイス上で個別に実装され得る。上記の方法を行うことができる上記のデバイスはまた、それぞれのシステムを形成し得る。本明細書で参照されるデバイス３００は、図１３において例として例示するように、１つ以上のプロセッサ３０１、３０２を含み得る。代替として、または、付加として、上記の方法はまた、デバイス３００に、処理能力３０１、３０２を有するデバイス３００上で実行された際に当該方法を実行させるように構成された命令を有するコンピュータ可読記憶媒体を備えるコンピュータプログラム製品として実装され得る。

【0127】

解釈
特に断らない限り、以下の記載から明らかなように、開示された記載全体を通して、「処理する」、「計算する」、「算出する」、「決定する」、「解析する」などの用語を利用することは、電子量などの物理量として表されるデータを、物理量として同様に表される他のデータに操作および／または変換する、コンピュータもしくはコンピューティングシステム、または同様の電子コンピューティングデバイスの動作および／またはプロセスを指すことが理解される。

【0128】

同様に、「プロセッサ」という用語は、例えばレジスタおよび／またはメモリからの電子データを、例えばレジスタおよび／またはメモリに格納され得る他の電子データに変換するために、当該電子データを処理する任意のデバイスまたはデバイスの任意の部分を指し得る。「コンピュータ」または「コンピューティングマシン」または「コンピューティングプラットフォーム」は、１つ以上のプロセッサを含み得る。

【0129】

本明細書に記載の方法論は、一実施形態例において、１つ以上のプロセッサであって、当該プロセッサのうちの１つ以上によって実行された際に本明細書に記載の方法のうちの少なくとも１つを実施する１セットの命令を含むコンピュータ可読（または、マシン可読と呼ぶ）コードを受け取るプロセッサによって実行可能である。対象となる動作を指定する１セットの命令（シーケンシャルまたはその他）を実行可能な任意のプロセッサが含まれる。したがって、一例は、１つ以上のプロセッサを含む典型的な処理システムである。各プロセッサは、ＣＰＵ、グラフィックス処理ユニット、およびプログラマブルＤＳＰユニットのうちの１つ以上を含み得る。処理システムは、メインＲＡＭおよび／もしくはスタティックＲＡＭ、ならびに／またはＲＯＭを含むメモリサブシステムをさらに含み得る。これらのコンポーネント間の通信のために、バスサブシステムが含まれ得る。さらに、処理システムは、ネットワークによって結合されたプロセッサを有する分散型処理システムであり得る。処理システムがディスプレイを必要とする場合、例えば、液晶ディスプレイ（ＬＣＤ）またはブラウン管ディスプレイ（ＣＲＴ）である、そのようなディスプレイが含まれ得る。手動データ入力が必要な場合、処理システムはまた、キーボードなどの英数字入力ユニット、マウスなどのポインティング制御デバイスなどのうちの１つ以上などの入力デバイスを含む。処理システムはまた、ディスクドライブユニットなどのストレージシステムを含み得る。いくつかの構成において、処理システムは、サウンド出力デバイス、およびネットワークインタフェースデバイスを含み得る。したがって、メモリサブシステムは、１つ以上のプロセッサによって実行された際に本明細書に記載の方法のうちの１つ以上を行わせる１セットの命令を含むコンピュータ可読コード（例えば、ソフトウェア）を搬送するコンピュータ可読キャリア媒体を含む。なお、方法がいくつかの要素、例えばいくつかのステップを含む場合、特に断らない限り、そのような要素の順序付けは、含意されない。ソフトウェアは、ハードディスク内に存在し得るか、あるいは、コンピュータシステムによる実行中に、ＲＡＭ内および／またはプロセッサ内に、完全にまたは少なくとも部分的に、存在し得る。したがって、メモリおよびプロセッサはまた、コンピュータ可読コードを搬送するコンピュータ可読キャリア媒体を構成する。さらに、コンピュータ可読キャリア媒体は、コンピュータプログラム製品を形成し得るか、またはコンピュータプログラム製品に含まれ得る。

【0130】

代替の実施形態例において、１つ以上のプロセッサは、スタンドアロンデバイスとして動作するか、または、ネットワーク構成において、他のプロセッサに接続、例えば、ネットワーク接続され得、１つ以上のプロセッサは、サーバ－ユーザネットワーク環境において、サーバまたはユーザマシンの能力で、または、ピアツーピアもしくは分散ネットワーク環境において、ピアマシンとして、動作し得る。１つ以上のプロセッサは、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、携帯情報端末（ＰＤＡ）、携帯電話、ウェブアプライアンス、ネットワークルータ、スイッチもしくはブリッジ、またはそのマシンによって対象となる動作を指定する（シーケンシャルまたはその他の方式）１セットの命令を実行可能な任意のマシンを形成し得る。

【0131】

なお、「マシン」という用語はまた、本明細書に記載の方法論のいずれか１つ以上を行うための１セット（または、複数セット）の命令を個別にまたは共同で実行するマシンの任意の集団を含むと解釈される。

【0132】

したがって、本明細書に記載の方法のそれぞれの一実施形態例は、１セットの命令、例えば、１つ以上のプロセッサ、例えば、ウェブサーバ構成の一部である１つ以上のプロセッサ上で実行するためのコンピュータプログラムを搬送するコンピュータ可読キャリア媒体の形態である。したがって、当業者によって理解されるように、本開示の実施形態例は、方法、専用装置などの装置、データ処理システムなどの装置、またはコンピュータ可読キャリア媒体、例えばコンピュータプログラム製品として実現され得る。コンピュータ可読キャリア媒体は、１つ以上のプロセッサ上で実行された際にプロセッサに方法を実装させる１セットの命令を含むコンピュータ可読コードを搬送する。したがって、本開示の態様は、方法、完全にハードウェアの実施形態例、完全にソフトウェアの実施形態例、またはソフトウェアおよびハードウェアの態様を組み合わせた実施形態例の形態をとり得る。さらに、本開示は、キャリア媒体（例えば、コンピュータ可読記憶媒体上のコンピュータプログラム製品）であって、媒体内に実現されたコンピュータ可読プログラムコードを搬送する媒体の形態をとり得る。

【0133】

ソフトウェアは、さらに、ネットワークインターフェースデバイスを介して、ネットワークにわたって送受信され得る。キャリア媒体は、実施形態例において、単一の媒体であるが、「キャリア媒体」という用語は、１つ以上のセットの命令を格納する単一の媒体または複数の媒体（例えば、集中型もしくは分散型データベース、ならびに／または関連するキャッシュおよびサーバ）を含むと解釈されるべきである。「キャリア媒体」という用語は、プロセッサのうちの１つ以上によって実行するための１セットの命令であって、当該１つ以上のプロセッサに本開示の方法のうちの任意の１つ以上を行わせる１セットの命令を格納、符号化または搬送することができる任意の媒体も含むと解釈されるべきである。キャリア媒体は、不揮発性媒体、揮発性媒体、および伝送媒体を含むが、これらに限定されない多くの形態をとり得る。不揮発性媒体は、例えば、光ディスク、磁気ディスク、光磁気ディスクを含む。揮発性媒体は、メインメモリなどのダイナミックメモリを含む。伝送媒体は、バスサブシステムを構成するワイヤを含む、同軸ケーブル、銅線および光ファイバを含む。伝送媒体はまた、電波および赤外線データ通信中に生成されるような音波または光波の形態をとり得る。したがって、例えば、「キャリア媒体」という用語は、ソリッドステートメモリ、光媒体および磁気媒体において実現されるコンピュータ製品、少なくとも１つのプロセッサまたは１つ以上のプロセッサによって検出可能であり、実行された際に方法を実装する１セットの命令を表す伝搬信号を搬送する媒体、および１つ以上のプロセッサのうちの少なくとも１つのプロセッサによって検出可能であり、１セットの命令を表す伝搬信号を搬送するネットワーク内の伝送媒体を含むが、これらに限定されないと解釈される。

【0134】

上記方法のステップは、一実施形態例において、ストレージに格納された命令（例えば、コンピュータ可読コード）を実行する処理（例えば、コンピュータ）システムのの適切なプロセッサによって行われることが理解される。また、本開示は、任意の特定の実装またはプログラミング技法に限定されず、かつ、本開示は、本明細書に記載の機能を実装するための任意の適切な技法を使用して実装され得ることが理解される。本開示は、いずれの特定のプログラミング言語またはオペレーティングシステムにも限定されない。

【0135】

本開示全体を通して「１つの実施形態例」、「いくつかの実施形態例」または「実施形態例」と言及することは、当該実施形態例に関連して記載された特定の特徴、構造または性質が本開示の少なくとも１つの実施形態例に含まれることを意味する。したがって、本開示全体を通して様々な場所において現れる「１つの実施形態例において」、「いくつかの実施形態例において」または「実施形態例において」という語句は、必ずしもすべて同じ実施形態例を指すわけではない。さらに、特定の特徴、構造または性質は、１つ以上の実施形態例において、本開示から当業者には明らかであるように、任意の適切なやり方で組み合わせられ得る。

【0136】

本明細書で使用されるように、特に断らない限り、共通のオブジェクトを記述するための「第１」、「第２」、「第３」などの序数詞の使用は、同様のオブジェクトの異なる例が参照されていることを単に示し、かつ、そのように記述されたオブジェクトが、時間的、空間的、ランキング順で、または任意の他のやり方で、所与の並びでなければならないことを含意することを意図しない。

【0137】

以下の特許請求の範囲および本明細書の記載において、「備える」または「包含する」という用語のいずれも、その用語に続く要素／特徴を少なくとも含むが、他の要素／特徴を除外しないことを意味するオープンな用語である。したがって、「備える」という用語は、特許請求の範囲で使用された場合、その後に列挙される手段または要素またはステップ（ステップ）に限定されると解釈されるべきでない。例えば、ＡとＢとを備えるデバイスという表現の範囲は、要素ＡおよびＢのみからなるデバイスに限定されるべきでない。本明細書で使用されるような、「含む」という用語はまた、その用語に続く要素／特徴を少なくとも含むが、他の要素／特徴を除外しないことを意味するオープンな用語である。したがって、「含む」は、「備える」と同義であり、それを意味する。

【0138】

本開示の実施形態例の上記の記載において、本開示を簡素化し、様々な発明態様のうちの１つ以上の理解を助けるために、本開示の様々な特徴が単一の実施形態例、図、またはその説明にまとめられることがあることを理解されたい。しかし、本開示の方法は、特許請求の範囲が各請求項に明示的に記載されているよりも多くの特徴を必要とするという意図を反映するものとして解釈されるべきでない。むしろ、以下の特許請求の範囲が反映するように、発明態様は、上述の開示された単一の実施形態例のすべての特徴よりも少ない特徴に存在する。したがって、本明細書に続く特許請求の範囲は、本明細書に明示的に組み込まれ、各請求項は、それ自体が本開示の別個の実施形態例として存在する。

【0139】

さらに、本明細書に記載のいくつかの実施形態例は、他の実施形態例に含まれたいくつかの特徴を含み、他の特徴を含まないが、異なる実施形態例の特徴の組合せは、当業者によって理解されるように、本開示の範囲内にあることを意味し、かつ、異なる実施形態例を形成する。例えば、以下の特許請求の範囲では、請求された実施形態のいずれも、任意の組み合わせで使用できる。

【0140】

本明細書で提供された記載において、多数の具体的な詳細が記載される。しかし、本開示の実施形態例は、これらの具体的な詳細なしに実施され得ることが理解される。他の例では、この記載の理解を不明瞭にしないために、周知の方法、構造および技法は、詳細には示していない。

【0141】

したがって、本開示の最良の形態であると考えられるものを記載したが、当業者は、本開示の趣旨から逸脱することなく、他のおよびさらなる変更がそれに対してなされ得ることを認識し、かつ、すべてのそのような変形および変更が本開示の範囲内にあると請求することが意図される。例えば、上記のいずれの式も、使用され得る手順を単に代表するだけである。ブロック図に対して機能が追加または削除され得る、かつ、機能ブロック間で動作が相互に交換され得る。ステップは、本開示の範囲内に記載の方法に対して追加または削除され得る。

【0142】

本開示の列挙実施形態例（enumerated example embodiment（ＥＥＥ））を以下に列挙する。

【0143】

Ａ－ＥＥＥ１． 変更されたビットストリームをソースデバイス上で生成する方法であって、
ａ）受信器によって、符号化メディアデータを含むビットストリームを受信するステップと、
ｂ）埋め込み器によって、付加メディアデータのペイロードを生成し、前記ペイロードを前記ビットストリーム中に埋め込むことによって、前記埋め込み器からの出力として、前記符号化メディアデータおよび前記付加メディアデータの前記ペイロードを含む、変更されたビットストリームを取得するステップと、
ｃ）前記変更されたビットストリームをシンクデバイスに出力するステップと、
を含む方法。

【0144】

Ａ－ＥＥＥ２． ステップｂ）は、前記付加メディアデータについての情報を生成し、前記情報を前記ビットストリーム中に埋め込むことをさらに含む、Ａ－ＥＥＥ１に記載の方法。

【0145】

Ａ－ＥＥＥ３． 生成された前記情報は、前記付加メディアデータの構成についての情報、前記付加メディアデータが前記変更されたビットストリーム中に存在することについての情報、デフォルトのラウドネス値についての情報、遅延アラインメントのための値についての情報、遅延適合化についての情報、パニングについての情報、および前記付加メディアデータのタイプについての情報のうちの１つ以上を含む、Ａ－ＥＥＥ２に記載の方法。

【0146】

Ａ－ＥＥＥ４． ステップｂ）は、前記符号化メディアデータと前記付加メディアデータとの間の相対ゲインに関する情報を生成し、前記相対ゲインに関する情報を前記ビットストリーム中に埋め込むことをさらに含む、Ａ－ＥＥＥ１～３のいずれかに記載の方法。

【0147】

Ａ－ＥＥＥ５． 前記変更されたビットストリームは、ＭＰＥＧ－Ｄ ＵＳＡＣベースのビットストリームである、Ａ－ＥＥＥ１～４のいずれかに記載の方法。

【0148】

Ａ－ＥＥＥ６． 生成された前記ペイロードは、前記ペイロードを前記ビットストリーム中でＵＳＡＣ型ビットストリーム拡張機構を介して搬送することによって、前記ビットストリーム中に埋め込まれる、Ａ－ＥＥＥ５に記載の方法。

【0149】

Ａ－ＥＥＥ７． 生成された前記情報および／または前記生成された相対ゲインに関する情報は、生成された前記情報および／または前記生成された相対ゲインに関する情報を前記ビットストリーム中で前記ＵＳＡＣ型ビットストリーム拡張機構を介して搬送することによって、前記ビットストリーム中に埋め込まれる、Ａ－ＥＥＥ５または６に記載の方法。

【0150】

Ａ－ＥＥＥ８． 前記ＵＳＡＣ型ビットストリーム拡張機構は、一意の識別子を含む新たなＵＳＡＣ型ビットストリーム拡張要素である、Ａ－ＥＥＥ６または７に記載の方法。

【0151】

Ａ－ＥＥＥ９． ステップｃ）において、前記変更されたビットストリームは、Ｂｌｕｅｔｏｏｔｈ接続を介して前記シンクデバイスに出力される、Ａ－ＥＥＥ１～８のいずれかに記載の方法。

【0152】

Ａ－ＥＥＥ１０． 前記付加メディアデータは、圧縮メディアデータまたは非圧縮メディアデータである、Ａ－ＥＥＥ１～９のいずれかに記載の方法。

【0153】

Ａ－ＥＥＥ１１． 前記非圧縮メディアデータは、前記ソースデバイスにおいて生成されたＰＣＭデータである、Ａ－ＥＥＥ１０に記載の方法。

【0154】

Ａ－ＥＥＥ１２． 前記ＰＣＭデータの生成は、ユーザ入力に基づく、Ａ－ＥＥＥ１１に記載の方法。

【0155】

Ａ－ＥＥＥ１３． 前記ＰＣＭデータは、イアコンデータおよびシステム音データのうちの１つ以上を含む、Ａ－ＥＥＥ１１または１２に記載の方法。

【0156】

Ａ－ＥＥＥ１４． 前記圧縮データは、ＳＢＣフォーマットまたはａｐｔＸベースのフォーマットのデータである、Ａ－ＥＥＥ１０に記載の方法。

【0157】

Ａ－ＥＥＥ１５． 変更されたビットストリームをシンクデバイス上で処理する方法であって、
ａ）受信器によって、符号化メディアデータおよび付加メディアデータのペイロードを含む、変更されたビットストリームを受信するステップと、
ｂ）ビットストリームパーサによって、前記変更されたビットストリームを解析して前記符号化メディアデータおよび前記付加メディアデータの前記ペイロードを得るステップと、
ｃ）コアデコーダによって、前記符号化メディアデータをコア復号して、コア復号されたメディアデータを取得するステップと、
ｄ）ミキサによって、前記コア復号されたメディアデータおよび前記付加メディアデータをミキシングして、出力信号を取得するステップと、
ｅ）前記出力信号を出力するステップと、
を含む方法。

【0158】

Ａ－ＥＥＥ１６． 前記変更されたビットストリームは、前記付加メディアデータについての情報をさらに含み、かつ、前記方法は、ステップａ）の後かつステップｂ）の前に、前記情報に基づいて、前記変更されたビットストリームを処理するステップをさらに含む、Ａ－ＥＥＥ１５に記載の方法。

【0159】

Ａ－ＥＥＥ１７． 前記情報は、前記付加メディアデータの構成についての情報、前記付加メディアデータが前記変更されたビットストリーム中に存在することについての情報、デフォルトのラウドネス値についての情報、遅延アラインメントのための値についての情報、遅延適合化についての情報、パニングについての情報、および前記付加メディアデータのタイプについての情報のうちの１つ以上を含む、Ａ－ＥＥＥ１６に記載の方法。

【0160】

Ａ－ＥＥＥ１８． 前記変更されたビットストリームは、前記符号化メディアデータと前記付加メディアデータとの間の相対ゲインに関する情報をさらに含み、かつ、ステップｄ）における前記コア復号されたメディアデータおよび前記付加メディアデータのミキシングは、前記相対ゲインに関する情報に基づく、Ａ－ＥＥＥ１５～１７のいずれかに記載の方法。

【0161】

Ａ－ＥＥＥ１９． 前記方法は、前記コア復号されたメディアデータおよび前記付加メディアデータをミキシングする前に、処理ユニットによって、前記付加メディアデータを処理するステップをさらに含む、Ａ－ＥＥＥ１５～１８のいずれかに記載の方法。

【0162】

Ａ－ＥＥＥ２０． 前記付加メディアデータを処理するステップは、再サンプリング、遅延適合化およびラウドネス処理のうちの１つ以上を含む、Ａ－ＥＥＥ１９に記載の方法。

【0163】

Ａ－ＥＥＥ２１． 前記付加メディアデータは、圧縮メディアデータであり、かつ、前記方法は、デコーダによって、前記圧縮メディアデータを復号して、復号された付加メディアデータを取得するステップをさらに含み、かつ、ステップｄ）において、前記復号された付加メディアデータは、前記コア復号されたメディアデータとミキシングされる、Ａ－ＥＥＥ１５～２０のいずれかに記載の方法。

【0164】

Ａ－ＥＥＥ２２． 前記圧縮メディアデータは、ＳＢＣフォーマットまたはａｐｔＸベースのフォーマットのデータである、Ａ－ＥＥＥ２１に記載の方法。

【0165】

Ａ－ＥＥＥ２３． 前記付加メディアデータは、非圧縮メディアデータであり、かつ、ステップｄ）において、前記非圧縮付加メディアデータは、前記コア復号されたメディアデータとミキシングされる、Ａ－ＥＥＥ１５～２０のいずれかに記載の方法。

【0166】

Ａ－ＥＥＥ２４． 前記変更されたビットストリームは、ＭＰＥＧ－Ｄ ＵＳＡＣベースのビットストリームである、Ａ－ＥＥＥ１５～２３のいずれかに記載の方法。

【0167】

Ａ－ＥＥＥ２５． 前記変更されたビットストリームは、ＵＳＡＣ型ビットストリーム拡張機構を含み、かつ、ステップｂ）における解析は、前記変更されたビットストリーム中の前記ＵＳＡＣ型ビットストリーム拡張機構を特定することにさらに基づく、Ａ－ＥＥＥ２４に記載の方法。

【0168】

Ａ－ＥＥＥ２６． 前記ＵＳＡＣ型ビットストリーム拡張機構は、一意の識別子を含む新たなＵＳＡＣ型ビットストリーム拡張要素である、Ａ－ＥＥＥ２５に記載の方法。

【0169】

Ａ－ＥＥＥ２７． 変更されたビットストリームを生成するソースデバイスであって、
ａ）符号化メディアデータを含むビットストリームを受信するように構成された受信器と、
ｂ）付加メディアデータのペイロードを生成し、生成された前記ペイロードを前記ビットストリーム中に埋め込んで、前記符号化メディアデータおよび前記付加メディアデータの前記ペイロードを含む、変更されたビットストリームを取得するように構成された埋め込み器と、
ｃ）前記変更されたビットストリームをシンクデバイスに出力する制御ユニットと、
を含むデバイス。

【0170】

Ａ－ＥＥＥ２８． 前記埋め込み器は、前記付加メディアデータについての情報を生成し、前記情報を前記ビットストリーム中に埋め込むようにさらに構成されている、Ａ－ＥＥＥ２７に記載のデバイス。

【0171】

Ａ－ＥＥＥ２９． 前記埋め込み器は、前記符号化メディアデータと前記付加メディアデータとの間の相対ゲインに関する情報を生成し、前記相対ゲインに関する情報を前記ビットストリーム中に埋め込むようにさらに構成されている、Ａ－ＥＥＥ２７または２８に記載のデバイス。

【0172】

Ａ－ＥＥＥ３０． 前記変更されたビットストリームは、ＭＰＥＧ－Ｄ ＵＳＡＣベースのビットストリームである、Ａ－ＥＥＥ２７～２９のいずれかに記載のデバイス。

【0173】

Ａ－ＥＥＥ３１． 前記付加メディアデータは、圧縮メディアデータまたは非圧縮メディアデータである、Ａ－ＥＥＥ２７～３０のいずれかに記載のデバイス。

【0174】

Ａ－ＥＥＥ３２． 前記非圧縮メディアデータは、前記ソースデバイスにおいて生成されたＰＣＭデータである、Ａ－ＥＥＥ３１に記載のデバイス。

【0175】

Ａ－ＥＥＥ３３． 前記ＰＣＭデータの生成は、ユーザ入力に基づく、Ａ－ＥＥＥ３２に記載のデバイス。

【0176】

Ａ－ＥＥＥ３４． 前記ＰＣＭデータは、イアコンデータおよびシステム音データのうちの１つ以上を含む、Ａ－ＥＥＥ３２または３３に記載のデバイス。

【0177】

Ａ－ＥＥＥ３５． 前記圧縮メディアデータは、ＳＢＣフォーマットまたはａｐｔＸベースのフォーマットのデータである、Ａ－ＥＥＥ３１に記載のデバイス。

【0178】

Ａ－ＥＥＥ３６． 変更されたビットストリームを処理するシンクデバイスであって、
ａ）符号化メディアデータおよび付加メディアデータのペイロードを含む、変更されたビットストリームを受信するように構成された受信器と、
ｂ）前記変更されたビットストリームを解析して前記符号化メディアデータおよび前記付加メディアデータの前記ペイロードを得るように構成されたビットストリームパーサと、
ｃ）前記符号化メディアデータをコア復号して、コア復号されたメディアデータを取得するように構成されたコアデコーダと、
ｄ）前記コア復号されたメディアデータおよび前記付加メディアデータをミキシングして、出力信号を取得するように構成されたミキサと、
ｅ）前記出力信号を出力するように構成された制御ユニットと、
を含むデバイス。

【0179】

Ａ－ＥＥＥ３７． 前記デバイスは、前記コア復号されたメディアデータおよび前記付加メディアデータをミキシングする前に、前記付加メディアデータを処理するように構成された処理ユニットをさらに含む、Ａ－ＥＥＥ３６に記載のデバイス。

【0180】

Ａ－ＥＥＥ３８． 前記付加メディアデータは、非圧縮メディアデータであり、かつ、前記ミキサは、前記コア復号されたメディアデータおよび前記非圧縮付加メディアデータをミキシングするように構成されている、Ａ－ＥＥＥ３６または３７に記載のデバイス。

【0181】

Ａ－ＥＥＥ３９． 前記付加メディアデータは、圧縮メディアデータであり、かつ、前記デバイスは、前記圧縮メディアデータを復号して、復号された付加メディアデータを取得するデコーダをさらに含み、かつ、前記ミキサは、前記コア復号されたメディアデータおよび前記復号された付加メディアデータをミキシングするように構成されている、Ａ－ＥＥＥ３６または３７に記載のデバイス。

【0182】

Ａ－ＥＥＥ４０． 前記変更されたビットストリームは、前記付加メディアデータについての情報をさらに含み、かつ、前記シンクデバイスは、前記情報に基づいて、前記変更されたビットストリームを処理するように構成されている、Ａ－ＥＥＥ３６～３９のいずれかに記載のデバイス。

【0183】

Ａ－ＥＥＥ４１． 前記変更されたビットストリームは、前記符号化メディアデータと前記付加メディアデータとの間の相対ゲインに関する情報をさらに含み、かつ、前記ミキサは、前記相対ゲインに関する情報に基づいて、前記コア復号されたメディアデータおよび前記付加メディアデータをミキシングするようにさらに構成されている、Ａ－ＥＥＥ３６～４０のいずれかに記載のデバイス。

【0184】

Ａ－ＥＥＥ４２． 前記コアデコーダは、ＭＰＥＧ－Ｄ ＵＳＡＣベースのデコーダである、Ａ－ＥＥＥ３６～４１のいずれかに記載のデバイス。

【0185】

Ａ－ＥＥＥ４３． 変更されたビットストリームを生成するソースデバイスと、変更されたビットストリームを処理するシンクデバイスとのシステムであって、前記ソースデバイスは、Ａ－ＥＥＥ１～１４に記載の方法を行うように構成された１つ以上のプロセッサを含み、前記シンクデバイスは、Ａ－ＥＥＥ１５～２６に記載の方法を行うように構成された１つ以上のプロセッサを含む、システム。

【0186】

Ａ－ＥＥＥ４４． 処理能力を有するデバイスによって実行された際に、前記デバイスに、Ａ－ＥＥＥ１～１４のいずれか１つに記載の方法を実行させるように構成された命令を有するコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。

【0187】

Ａ－ＥＥＥ４５． 処理能力を有するデバイスによって実行された際に、前記デバイスに、Ａ－ＥＥＥ１５～２６のいずれか１つに記載の方法を実行させるように構成された命令を有するコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。

【0188】

Ｂ－ＥＥＥ１． 変更されたビットストリームをソースデバイス上で生成する方法であって、
ａ）受信器によって、符号化メディアデータを含むビットストリームを受信するステップと、
ｂ）埋め込み器によって、付加メディアデータのペイロードを生成し、前記ペイロードを前記ビットストリーム中に埋め込むことによって、前記埋め込み器からの出力として、前記符号化メディアデータおよび前記付加メディアデータの前記ペイロードを含む、変更されたビットストリームを取得するステップと、
ｃ）前記変更されたビットストリームをシンクデバイスに出力するステップと、
を含む方法。

【0189】

Ｂ－ＥＥＥ２． ステップｂ）は、前記付加メディアデータについての情報を生成し、前記情報を前記ビットストリーム中に埋め込むことをさらに含み、かつ必要に応じて、
生成された前記情報は、前記付加メディアデータの構成についての情報、前記付加メディアデータが前記変更されたビットストリーム中に存在することについての情報、デフォルトのラウドネス値についての情報、遅延アラインメントのための値についての情報、遅延適合化についての情報、パニングについての情報、および前記付加メディアデータのタイプについての情報のうちの１つ以上を含む、Ｂ－ＥＥＥ１に記載の方法。

【0190】

Ｂ－ＥＥＥ３． ステップｂ）は、前記符号化メディアデータと前記付加メディアデータとの間の相対ゲインに関する情報を生成し、前記相対ゲインに関する情報を前記ビットストリーム中に埋め込むことをさらに含む、Ｂ－ＥＥＥ１に記載の方法。

【0191】

Ｂ－ＥＥＥ４． 前記変更されたビットストリームは、ＭＰＥＧ－Ｄ ＵＳＡＣベースのビットストリームであり、かつ
生成された前記ペイロードは、前記ペイロードを前記ビットストリーム中でＵＳＡＣ型ビットストリーム拡張機構を介して搬送することによって、前記ビットストリーム中に埋め込まれる、Ｂ－ＥＥＥ１に記載の方法。

【0192】

Ｂ－ＥＥＥ５． 前記変更されたビットストリームは、ＭＰＥＧ－Ｄ ＵＳＡＣベースのビットストリームであり、かつ
生成された前記情報および／または前記生成された相対ゲインに関する情報は、生成された前記情報および／または前記生成された相対ゲインに関する情報を前記ビットストリーム中で前記ＵＳＡＣ型ビットストリーム拡張機構を介して搬送することによって、前記ビットストリーム中に埋め込まれる、Ｂ－ＥＥＥ３に記載の方法。

【0193】

Ｂ－ＥＥＥ６． 前記ＵＳＡＣ型ビットストリーム拡張機構は、一意の識別子を含む新たなＵＳＡＣ型ビットストリーム拡張要素である、Ｂ－ＥＥＥ４に記載の方法。

【0194】

Ｂ－ＥＥＥ７． ステップｃ）において、前記変更されたビットストリームは、Ｂｌｕｅｔｏｏｔｈ接続を介して前記シンクデバイスに出力される、Ｂ－ＥＥＥ１に記載の方法。

【0195】

Ｂ－ＥＥＥ８． 前記付加メディアデータは、前記ソースデバイスにおいて生成されたＰＣＭデータである、Ｂ－ＥＥＥ１に記載の方法。

【0196】

Ｂ－ＥＥＥ９． 前記ＰＣＭデータは、イアコンデータおよびシステム音データのうちの１つ以上を含む、Ｂ－ＥＥＥ８に記載の方法。

【0197】

Ｂ－ＥＥＥ１０． 前記付加メディアデータは、ＳＢＣフォーマットまたはａｐｔＸベースのフォーマットの圧縮データである、Ｂ－ＥＥＥ１に記載の方法。

【0198】

Ｂ－ＥＥＥ１１． 変更されたビットストリームをシンクデバイス上で処理する方法であって、
ａ）受信器によって、符号化メディアデータおよび付加メディアデータのペイロードを含む、変更されたビットストリームを受信するステップと、
ｂ）ビットストリームパーサによって、前記変更されたビットストリームを解析して前記符号化メディアデータおよび前記付加メディアデータの前記ペイロードを得るステップと、
ｃ）コアデコーダによって、前記符号化メディアデータをコア復号して、コア復号されたメディアデータを取得するステップと、
ｄ）ミキサによって、前記コア復号されたメディアデータおよび前記付加メディアデータをミキシングして、出力信号を取得するステップと、
ｅ）前記出力信号を出力するステップと、
を含む方法。

【0199】

Ｂ－ＥＥＥ１２． 前記変更されたビットストリームは、前記符号化メディアデータと前記付加メディアデータとの間の相対ゲインに関する情報をさらに含み、かつ、ステップｄ）における前記コア復号されたメディアデータおよび前記付加メディアデータのミキシングは、前記相対ゲインに関する情報に基づく、Ｂ－ＥＥＥ１１に記載の方法。

【0200】

Ｂ－ＥＥＥ１３． 前記方法は、前記コア復号されたメディアデータおよび前記付加メディアデータをミキシングする前に、処理ユニットによって、前記付加メディアデータを処理するステップさらに含み、かつ必要に応じて、
前記付加メディアデータを処理するステップは、再サンプリング、遅延適合化およびラウドネス処理のうちの１つ以上を含む、Ｂ－ＥＥＥ１１に記載の方法。

【0201】

Ｂ－ＥＥＥ１４． 前記変更されたビットストリームは、ＭＰＥＧ－Ｄ ＵＳＡＣベースのビットストリームであり、かつ、
前記変更されたビットストリームは、ＵＳＡＣ型ビットストリーム拡張機構を含み、かつ、ステップｂ）における解析は、前記変更されたビットストリーム中の前記ＵＳＡＣ型ビットストリーム拡張機構を特定することにさらに基づく、Ｂ－ＥＥＥ１１に記載の方法。

【0202】

Ｂ－ＥＥＥ１５． 前記ＵＳＡＣ型ビットストリーム拡張機構は、一意の識別子を含む新たなＵＳＡＣ型ビットストリーム拡張要素である、Ｂ－ＥＥＥ１１に記載の方法。

【0203】

Ｂ－ＥＥＥ１６． 変更されたビットストリームを生成するソースデバイスであって、
ａ）符号化メディアデータを含むビットストリームを受信するように構成された受信器と、
ｂ）付加メディアデータのペイロードを生成し、生成された前記ペイロードを前記ビットストリーム中に埋め込んで、前記符号化メディアデータおよび前記付加メディアデータの前記ペイロードを含む、変更されたビットストリームを取得するように構成された埋め込み器と、
ｃ）前記変更されたビットストリームをシンクデバイスに出力する制御ユニットと、
を含むデバイス。

【0204】

Ｂ－ＥＥＥ１７． 変更されたビットストリームを処理するシンクデバイスであって、
ａ）符号化メディアデータおよび付加メディアデータのペイロードを含む、変更されたビットストリームを受信するように構成された受信器と、
ｂ）前記変更されたビットストリームを解析して前記符号化メディアデータおよび前記付加メディアデータの前記ペイロードを得るように構成されたビットストリームパーサと、
ｃ）前記符号化メディアデータをコア復号して、コア復号されたメディアデータを取得するように構成されたコアデコーダと、
ｄ）前記コア復号されたメディアデータおよび前記付加メディアデータをミキシングして、出力信号を取得するように構成されたミキサと、
ｅ）前記出力信号を出力するように構成された制御ユニットと、
を含むデバイス。

【0205】

Ｂ－ＥＥＥ１８． 変更されたビットストリームを生成するソースデバイスと、変更されたビットストリームを処理するシンクデバイスとのシステムであって、前記ソースデバイスは、Ｂ－ＥＥＥ１に記載の方法を行うように構成された１つ以上のプロセッサを含み、前記シンクデバイスは、Ｂ－ＥＥＥ１１に記載の方法を行うように構成された１つ以上のプロセッサを含む、システム。

【0206】

Ｂ－ＥＥＥ１９． 処理能力を有するデバイスによって実行された際に、前記デバイスに、Ｂ－ＥＥＥ１に記載の方法を実行させるように構成された命令を有するコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。

【0207】

Ｂ－ＥＥＥ２０． 処理能力を有するデバイスによって実行された際に、前記デバイスに、Ｂ－ＥＥＥ１１に記載の方法を実行させるように構成された命令を有するコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【手続補正書】

【提出日】2022-04-18

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

受信器および埋め込み器を備えるソースデバイスによって、ＭＰＥＧ－Ｄ ＵＳＡＣベースの変更されたビットストリームを生成する方法であって、
ａ）前記受信器によって、符号化メディアデータを含むビットストリームを受信するステップと、
ｂ）前記埋め込み器によって、付加オーディオデータのペイロードを生成し、前記ペイロードを前記ビットストリーム中に埋め込むことによって、前記埋め込み器からの出力として、前記符号化メディアデータおよび前記付加オーディオデータの前記ペイロードを含む、変更されたビットストリームを取得するステップであって、生成された前記ペイロードは、前記ペイロードを前記ビットストリーム中でＵＳＡＣ型ビットストリーム拡張機構を介して搬送することによって前記ビットストリーム中に埋め込まれ、前記ＵＳＡＣ型ビットストリーム拡張機構は、一意の識別子を含むＵＳＡＣ型ビットストリーム拡張要素、または配列拡張要素であり、前記付加オーディオデータは、前記ソースデバイスにおいて生成され、イアコンデータおよびシステム音データのうちの１つ以上を含む非圧縮ＰＣＭオーディオデータである、ステップと、
ｃ）前記変更されたビットストリームをシンクデバイスに出力するステップと、
を含む方法。

【請求項2】

ステップｂ）は、前記付加オーディオデータについての情報を生成し、前記情報を前記ビットストリーム中に埋め込むことをさらに含む、請求項１に記載の方法。

【請求項3】

生成される前記情報は、前記付加オーディオデータの構成についての情報、前記付加オーディオデータが前記変更されたビットストリーム中に存在することについての情報、デフォルトのラウドネス値についての情報、遅延アラインメントのための値についての情報、遅延適合化についての情報、パニングについての情報、および前記付加オーディオデータのタイプについての情報のうちの１つ以上を含む、請求項２に記載の方法。

【請求項4】

ステップｂ）は、前記符号化メディアデータと前記付加オーディオデータとの間の相対ゲインに関する情報を生成し、前記相対ゲインに関する情報を前記ビットストリーム中に埋め込むことをさらに含む、請求項１から３のいずれかに記載の方法。

【請求項5】

生成された前記情報および／または生成された前記相対ゲインに関する情報は、生成された前記情報および／または生成された前記相対ゲインに関する情報を前記ビットストリーム中で前記ＵＳＡＣ型ビットストリーム拡張機構を介して搬送することによって、前記ビットストリーム中に埋め込まれる、請求項４に記載の方法。

【請求項6】

ステップｃ）において、前記変更されたビットストリームは、Ｂｌｕｅｔｏｏｔｈ接続を介して前記シンクデバイスに出力される、請求項１から５のいずれかに記載の方法。

【請求項7】

前記ＰＣＭオーディオデータの生成は、ユーザ入力に基づく、請求項１から６のいずれかに記載の方法。

【請求項8】

受信器と、ビットストリームパーサと、コアデコーダと、ミキサとを備えるシンクデバイスによって、ＭＰＥＧ－Ｄ ＵＳＡＣベースの変更されたビットストリームを処理する方法であって、
ａ）前記受信器によって、符号化メディアデータ、付加オーディオデータのペイロード、およびＵＳＡ－Ｃ型ビットストリーム拡張機構を含む、変更されたビットストリームを受信するステップであって、前記ＵＳＡＣ型ビットストリーム拡張機構は、一意の識別子を含むＵＳＡＣ型ビットストリーム拡張要素、または配列拡張要素であり、かつ、前記付加オーディオデータは、イアコンデータおよびシステム音データのうちの１つ以上を含むＰＣＭ非圧縮オーディオデータである、ステップと、
ｂ）前記ビットストリームパーサによって、前記変更されたビットストリームを解析して前記符号化メディアデータおよび前記付加オーディオデータの前記ペイロードを得るステップであって、前記解析は、前記変更されたビットストリーム中の前記ＵＳＡＣ型ビットストリーム拡張機構を特定することに基づく、ステップと、
ｃ）前記コアデコーダによって、前記符号化メディアデータをコア復号して、コア復号されたメディアデータを取得するステップと、
ｄ）前記ミキサによって、前記コア復号されたメディアデータおよび前記非圧縮付加オーディオデータをミキシングして、出力信号を取得するステップと、
ｅ）前記出力信号を出力するステップと、
を含む方法。

【請求項9】

前記変更されたビットストリームは、前記付加オーディオデータについての情報をさらに含み、前記方法は、ステップａ）の後かつステップｂ）の前に、前記情報に基づいて、前記変更されたビットストリームを処理するステップをさらに含む、請求項８に記載の方法。

【請求項10】

前記情報は、前記付加オーディオデータの構成についての情報、前記付加オーディオデータが前記変更されたビットストリーム中に存在することについての情報、デフォルトのラウドネス値についての情報、遅延アラインメントのための値についての情報、遅延適合化についての情報、パニングについての情報、および前記付加オーディオデータのタイプについての情報のうちの１つ以上を含む、請求項９に記載の方法。

【請求項11】

前記変更されたビットストリームは、前記符号化メディアデータと前記付加オーディオデータとの間の相対ゲインに関する情報をさらに含み、ステップｄ）における前記コア復号されたメディアデータおよび前記付加オーディオデータのミキシングは、前記相対ゲインに関する情報に基づく、請求項８から１０のいずれかに記載の方法。

【請求項12】

前記方法は、前記コア復号されたメディアデータおよび前記付加オーディオデータをミキシングする前に、処理ユニットによって、前記付加オーディオデータを処理するステップをさらに含む、請求項８から１１のいずれかに記載の方法。

【請求項13】

前記付加オーディオデータを処理するステップは、再サンプリング、遅延適合化、およびラウドネス処理のうちの１つ以上を含む、請求項１２に記載の方法

【請求項14】

ＭＰＥＧ－Ｄ ＵＳＡＣベースの変更されたビットストリームを生成するソースデバイスであって、
ａ）符号化メディアデータを含むビットストリームを受信するように構成された受信器と、
ｂ）付加オーディオデータのペイロードを生成し、前記ペイロードを前記ビットストリーム中でＵＳＡＣ型ビットストリーム拡張機構を介して搬送することによって、生成された前記ペイロードを前記ビットストリーム中に埋め込んで、前記符号化メディアデータおよび前記付加オーディオデータの前記ペイロードを含む、変更されたビットストリームを取得するように構成された埋め込み器であって、前記ＵＳＡＣ型ビットストリーム拡張機構は、一意の識別子を含むＵＳＡＣ型ビットストリーム拡張要素または配列拡張要素であり、前記付加オーディオデータは、前記ソースデバイスにおいて生成され、イアコンデータおよびシステム音データのうちの１つ以上を含む非圧縮ＰＣＭオーディオデータである、埋め込み器と、
ｃ）前記変更されたビットストリームをシンクデバイスに出力する制御ユニットと、
を含むデバイス。

【請求項15】

前記埋め込み器は、前記付加オーディオデータについての情報を生成し、前記情報を前記ビットストリーム中に埋め込むようにさらに構成されている、請求項１４に記載のデバイス。

【請求項16】

前記埋め込み器は、前記符号化メディアデータと前記付加オーディオデータとの間の相対ゲインに関する情報を生成し、前記相対ゲインに関する情報を前記ビットストリーム中に埋め込むようにさらに構成されている、請求項１４または１５に記載のデバイス。

【請求項17】

前記ＰＣＭデータの生成は、ユーザ入力に基づく、請求項１４から１６のいずれかに記載のデバイス。

【請求項18】

ＭＰＥＧ－Ｄ ＵＳＡＣベースの変更されたビットストリームを処理するシンクデバイスであって、
ａ）符号化メディアデータ、付加オーディオデータのペイロード、およびＵＳＡ－Ｃ型ビットストリーム拡張機構を含む、変更されたビットストリームを受信するように構成された受信器であって、前記ＵＳＡＣ型ビットストリーム拡張機構は、一意の識別子を含む新たなＵＳＡＣ型ビットストリーム拡張要素、または配列拡張要素であり、かつ、前記付加オーディオデータは、イアコンデータおよびシステム音データのうちの１つ以上を含む非圧縮ＰＣＭオーディオデータである、受信器と、
ｂ）前記変更されたビットストリーム中の前記ＵＳＡＣ型ビットストリーム拡張機構を特定することに基づいて、前記変更されたビットストリームを解析して前記符号化メディアデータおよび前記付加オーディオデータの前記ペイロードを得るように構成されたビットストリームパーサと、
ｃ）前記符号化メディアデータをコア復号して、コア復号されたメディアデータを取得するように構成されたＭＰＥＧ－Ｄ ＵＳＡＣベースのコアデコーダと、
ｄ）前記コア復号されたメディアデータおよび前記非圧縮ＰＣＭ付加オーディオデータをミキシングして、出力信号を取得するように構成されたミキサと、
ｅ）前記出力信号を出力するように構成された制御ユニットと、
を含むデバイス。

【請求項19】

前記デバイスは、前記コア復号されたメディアデータおよび前記付加メディアデータをミキシングする前に、前記付加オーディオデータを処理するように構成された処理ユニットをさらに含む、請求項１８に記載のデバイス。

【請求項20】

前記変更されたビットストリームは、前記付加オーディオデータについての情報をさらに含み、前記シンクデバイスは、前記情報に基づいて、前記変更されたビットストリームを処理するように構成されている、請求項１８から１９のいずれかに記載のデバイス。

【請求項21】

前記変更されたビットストリームは、前記符号化メディアデータと前記付加オーディオデータとの間の相対ゲインに関する情報をさらに含み、かつ、前記ミキサは、前記相対ゲインに関する情報に基づいて、前記コア復号されたメディアデータおよび前記付加オーディオデータをミキシングするようにさらに構成されている、請求項１８から２０のいずれかに記載のデバイス。

【請求項22】

ＭＰＥＧ－Ｄ ＵＳＡＣベースの変更されたビットストリームを生成するソースデバイスと、ＭＰＥＧ－Ｄ ＵＳＡＣベースの変更されたビットストリームを処理するシンクデバイスとのシステムであって、前記ソースデバイスは、請求項１から７のいずれかに記載の方法を行うように構成された１つ以上のプロセッサを含み、前記シンクデバイスは、請求項８から１３のいずれかに記載の方法を行うように構成された１つ以上のプロセッサを含む、システム。

【請求項23】

処理能力を有するデバイスによって実行されたときに、前記デバイスに、請求項１から１３のいずれかに記載の方法を実行させるように構成された命令を有するコンピュータプログラム。

【請求項24】

処理能力を有するデバイスによって実行されたときに、前記デバイスに、請求項１から１３のいずれかに記載の方法を実行させるように構成された命令を有するコンピュータプログラム。

【国際調査報告】