IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ドルビー・インターナショナル・アーベーの特許一覧 ▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧

特表2022-546923変更オーディオビットストリームの生成及び処理のための方法及び装置
<>
  • 特表-変更オーディオビットストリームの生成及び処理のための方法及び装置 図1
  • 特表-変更オーディオビットストリームの生成及び処理のための方法及び装置 図2
  • 特表-変更オーディオビットストリームの生成及び処理のための方法及び装置 図3
  • 特表-変更オーディオビットストリームの生成及び処理のための方法及び装置 図4
  • 特表-変更オーディオビットストリームの生成及び処理のための方法及び装置 図5
  • 特表-変更オーディオビットストリームの生成及び処理のための方法及び装置 図6
  • 特表-変更オーディオビットストリームの生成及び処理のための方法及び装置 図7
  • 特表-変更オーディオビットストリームの生成及び処理のための方法及び装置 図8
  • 特表-変更オーディオビットストリームの生成及び処理のための方法及び装置 図9
  • 特表-変更オーディオビットストリームの生成及び処理のための方法及び装置 図10
  • 特表-変更オーディオビットストリームの生成及び処理のための方法及び装置 図11
  • 特表-変更オーディオビットストリームの生成及び処理のための方法及び装置 図12
  • 特表-変更オーディオビットストリームの生成及び処理のための方法及び装置 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-10
(54)【発明の名称】変更オーディオビットストリームの生成及び処理のための方法及び装置
(51)【国際特許分類】
   G10L 19/00 20130101AFI20221102BHJP
【FI】
G10L19/00 330A
【審査請求】有
【予備審査請求】有
(21)【出願番号】P 2022505628
(86)(22)【出願日】2020-08-13
(85)【翻訳文提出日】2022-01-27
(86)【国際出願番号】 US2020046042
(87)【国際公開番号】W WO2021030515
(87)【国際公開日】2021-02-18
(31)【優先権主張番号】19191920.8
(32)【優先日】2019-08-15
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】62/887,098
(32)【優先日】2019-08-15
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
(71)【出願人】
【識別番号】510185767
【氏名又は名称】ドルビー・インターナショナル・アーベー
(71)【出願人】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】フェルシュ,クリストフ
(72)【発明者】
【氏名】フィッシャー,ダニエル
(72)【発明者】
【氏名】テレンティフ,レオン
(72)【発明者】
【氏名】マクゲアリー,グレゴリー ジョン
(57)【要約】
本願明細書は、ソース装置において変更ビットストリームを生成する方法を記載し、前記方法は、a)受信機により、符号化メディアデータを含むビットストリームを受信するステップと、b)埋め込み器により、追加メディアデータのペイロードを生成し、前記埋め込み器からの出力として前記符号化メディアデータと前記追加メディアデータの前記ペイロードとを含む変更ビットストリームを取得するために、前記ペイロードをビットストリームに埋め込むステップと、c)前記変更ビットストリームをシンク装置へ出力するステップと、を含む。更に、シンク装置において前記変更ビットストリームを処理する方法が記載される。更に、それぞれのソース装置及びシンク装置、シソース装置とシンク装置とのステム、並びにそれぞれのコンピュータプログラムプロダクトが、記載される。
【特許請求の範囲】
【請求項1】
ソース装置により変更ビットストリームを生成する方法であって、前記ソース装置は受信機と埋め込み器とを含み、前記方法は、
a)前記受信機により、符号化メディアデータを含むビットストリームを受信するステップと、
b)前記埋め込み器により、追加メディアデータのペイロードを生成し、前記埋め込み器からの出力として前記符号化メディアデータと前記追加メディアデータの前記ペイロードとを含む変更ビットストリームを取得するために、前記ペイロードをビットストリームに埋め込むステップと、
c)前記変更ビットストリームをシンク装置へ出力するステップと、
を含む方法。
【請求項2】
ステップb)は、前記追加メディアデータに関する情報を生成し、該情報を前記ビットストリームに埋め込むステップを更に含む、請求項1に記載の方法。
【請求項3】
前記生成した情報は、前記追加メディアデータの構成、前記変更ビットストリーム内の前記追加メディアデータの存在に関する情報、デフォルト音量値に関する情報、遅延整合のための値に関する情報、遅延適応に関する情報、パニングに関する情報、及び前記追加メディアデータのタイプに関する情報、のうちの1つ以上を含む、請求項2に記載の方法。
【請求項4】
ステップb)は、前記符号化メディアデータと前記追加メディアデータとの間の相対ゲインに関する情報を生成し、前記相対ゲインに関する情報を前記ビットストリームに埋め込むステップを更に含む、請求項1~3のいずれかに記載の方法。
【請求項5】
前記変更ビットストリームはMPEG-4オーディオフォーマットである、請求項1~4のいずれかに記載の方法。
【請求項6】
前記生成されたペイロードは、MPEG-4オーディオビットストリーム拡張メカニズムにより、前記変更ビットストリーム内のペイロードをトランスポートすることにより、前記ビットストリームに埋め込まれる、請求項5に記載の方法。
【請求項7】
前記生成された情報及び/又は前記相対ゲインに関する生成された情報は、MPEG-4オーディオビットストリーム拡張メカニズムにより前記変更ビットストリーム内の前記生成された情報及び/又は前記相対ゲインに関する生成された情報をトランスポートすることにより、前記ビットストリームに埋め込まれる、請求項6に記載の方法。
【請求項8】
前記MPEG-4オーディオビットストリーム拡張メカニズムは、データストリームエレメント(DSE)である、請求項6又は7に記載の方法。
【請求項9】
前記データストリームエレメントは、前記変更ビットストリーム内の所定の位置に位置付けられ、及び/又は特定のインスタンスタグを含む、請求項8に記載の方法。
【請求項10】
前記MPEG-4オーディオビットストリーム拡張メカニズムは、Fill Element(ID_FIL)である、請求項6又は7に記載の方法。
【請求項11】
前記生成されたペイロードは、前記Fill Element内の汎用拡張ペイロードエレメントによりトランスポートされる、請求項10に記載の方法。
【請求項12】
前記生成された情報及び/又は前記相対ゲインに関する生成された情報は、前記Fill Element内の前記汎用拡張ペイロードエレメントによりトランスポートされる、請求項11に記載の方法。
【請求項13】
前記生成されたペイロードは、前記Fill Element内の新拡張ペイロードエレメントによりトランスポートされる、請求項10に記載の方法。
【請求項14】
前記生成された情報及び/又は前記相対ゲインに関する生成された情報は、前記Fill Element内の前記新拡張ペイロードエレメントによりトランスポートされる、請求項13に記載の方法。
【請求項15】
前記新拡張ペイロードエレメントは、ユニークな識別子を含む、請求項13又は14に記載の方法。
【請求項16】
ステップc)は、Bluetooth接続により、前記シンク装置へ出力される、請求項1~15のいずれかに記載の方法。
【請求項17】
前記追加メディアデータは、圧縮メディアデータ又は非圧縮メディアデータである、請求項1~16のいずれかに記載の方法。
【請求項18】
前記非圧縮メディアデータは、前記ソース装置において生成されたPCMデータである、請求項17に記載の方法。
【請求項19】
前記PCMデータの生成はユーザ入力に基づく、請求項18に記載の方法。
【請求項20】
前記PCMデータは、イアコンデータ及びシステム音声データのうちの1つ以上を含む請求項18又は19に記載の方法。
【請求項21】
前記圧縮データは、SBCフォーマット又はaptXに基づくフォーマットである、請求項17に記載の方法。
【請求項22】
シンク装置により変更ビットストリームを処理する方法であって、前記シンク装置は受信機とビットストリームパーサとコアデコーダとミキサとを含み、前記方法は、
a)前記受信機により、符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを受信するステップと、
b)前記ビットストリームパーサにより、前記変更ビットストリームを前記符号化メディアデータ及び追加メディアデータのペイロードへとパースするステップと、
c)前記コアデコーダにより、前記符号化メディアデータをコア復号して、コア復号メディアデータを取得するステップと、
d)前記ミキサにより、前記コア復号メディアデータ及び前記追加メディアデータをミキシングして、出力信号を取得するステップと、
e)前記出力信号を出力するステップと、
を含む方法。
【請求項23】
前記変更ビットストリームは、前記追加メディアデータに関する情報を更に含み、前記方法は、ステップa)の後、ステップb)の前に、前記情報に基づき前記変更ビットストリームを処理するステップを更に含む、請求項22に記載の方法。
【請求項24】
前記情報は、前記追加メディアデータの構成、前記変更ビットストリーム内の前記追加メディアデータの存在に関する情報、デフォルト音量値に関する情報、遅延整合のための値に関する情報、遅延適応に関する情報、パニングに関する情報、及び前記追加メディアデータのタイプに関する情報、のうちの1つ以上を含む、請求項23に記載の方法。
【請求項25】
前記変更ビットストリームは、前記符号化メディアデータと前記追加メディアデータとの間の相対ゲインに関する情報を更に含み、ステップd)における前記コア復号メディアデータ及び前記追加メディアデータのミキシングは、前記相対ゲインに関する前記情報に基づく、請求項22~24のいずれかに記載の方法。
【請求項26】
前記方法は、処理ユニットにより、前記コア復号メディアデータ及び前記追加メディアデータをミキシングする前に、前記追加メディアデータを処理するステップを更に含む請求項22~25のいずれかに記載の方法。
【請求項27】
前記追加メディアデータは、再サンプリング、遅延適応、及び音量処理、のうちの1つ以上を含む、請求項26に記載の方法。
【請求項28】
前記追加メディアデータは圧縮メディアデータであり、前記方法は、デコーダにより、前記圧縮メディアデータを復号して、復号追加メディアデータを取得するステップを更に含み、ステップd)において、前記復号追加メディアデータは前記コア復号メディアデータとミキシングされる、請求項22~27のいずれかに記載の方法。
【請求項29】
前記圧縮メディアデータは、SBCフォーマット又はaptXに基づくフォーマットである、請求項28に記載の方法。
【請求項30】
前記追加メディアデータは非圧縮メディアデータであり、ステップd)において、前記非圧縮メディアデータは、前記コア復号メディアデータとミキシングされる、請求項22~27のいずれかに記載の方法。
【請求項31】
前記変更ビットストリームはMPEG-4オーディオフォーマットである、請求項22~30のいずれかに記載の方法。
【請求項32】
前記変更ビットストリームは、MPEG-4オーディオビットストリーム拡張メカニズムを含み、ステップb)におけるパースは、前記変更ビットストリーム内の前記MPEG-4オーディオビットストリーム拡張メカニズムを識別することに更に基づく、請求項31に記載の方法。
【請求項33】
前記MPEG-4オーディオビットストリーム拡張メカニズムは、データストリームエレメント(DSE)であり、ステップb)におけるパースは、前記変更ビットストリーム内のデータストリームエレメントの位置を識別すること、及び/又は前記データストリームエレメントの特定のインスタンスタグを識別することに更に基づく、請求項32に記載の方法。
【請求項34】
前記MPEG-4オーディオビットストリーム拡張メカニズムは、Fill Element(ID_FIL)であり、ステップb)におけるパースは、前記Fill Element内の拡張ペイロードエレメントを識別することに更に基づく、請求項32に記載の方法。
【請求項35】
変更ビットストリームを生成するソース装置であって、前記装置は、
a)符号化メディアデータを含むビットストリームを受信するよう構成される受信機と、
b)追加メディアデータのペイロードを生成し、前記生成したペイロードを前記ビットストリームに埋め込んで、前記符号化メディアデータと前記追加メディアデータのペイロードとを含む変更ビットストリームを取得するよう構成される埋め込み器と、
c)シンク装置へ前記変更ビットストリームを出力するよう構成される制御ユニットと、
を含む装置。
【請求項36】
前記埋め込み器は、前記追加メディアデータに関する情報を生成し、該情報を前記ビットストリームに埋め込むよう更に構成される、請求項35に記載の装置。
【請求項37】
前記埋め込み器は、前記符号化メディアデータと前記追加メディアデータとの間の相対ゲインに関する情報を生成し、前記相対ゲインに関する情報を前記ビットストリームに埋め込むよう更に構成される、請求項35又は36に記載の装置。
【請求項38】
前記変更ビットストリームはMPEG-4オーディオフォーマットである、請求項35~37のいずれかに記載の装置。
【請求項39】
前記追加メディアデータは、圧縮メディアデータ又は非圧縮メディアデータである、請求項35~38のいずれか記載の装置。
【請求項40】
前記非圧縮メディアデータは、前記ソース装置において生成されたPCMデータである、請求項39に記載の装置。
【請求項41】
前記PCMデータの生成はユーザ入力に基づく、請求項40に記載の装置。
【請求項42】
前記PCMデータは、イアコンデータ及びシステム音声データのうちの1つ以上を含む請求項40又は41に記載の装置。
【請求項43】
前記圧縮メディアデータは、SBCフォーマット又はaptXに基づくフォーマットである、請求項39に記載の装置。
【請求項44】
変更ビットストリームを処理するシンク装置であって、前記装置は、
a)符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを受信するよう構成される受信機と、
b)前記変更ビットストリームを前記符号化メディアデータ及び追加メディアデータのペイロードへとパースするよう構成されるビットストリームパーサと、
c)前記符号化メディアデータをコア復号して、コア復号メディアデータを取得するよう構成されるコアデコーダと、
d)前記コア復号メディアデータ及び前記追加メディアデータをミキシングして、出力信号を取得するよう構成されるミキサと、
e)前記出力信号を出力するよう構成される制御ユニットと、
を含む装置。
【請求項45】
前記装置は、前記コア復号メディアデータ及び前記追加メディアデータをミキシングする前に、前記追加メディアデータを処理するよう構成される処理ユニットを更に含む請求項44に記載の装置。
【請求項46】
前記追加メディアデータは、非圧縮メディアデータであり、前記ミキサは、前記コア復号メディアデータ及び前記非圧縮追加メディアデータをミキシングするよう構成される、請求項44又は45に記載の装置。
【請求項47】
前記追加メディアデータは圧縮メディアデータであり、前記装置は、前記圧縮メディアデータを復号して、復号追加メディアデータを取得するデコーダを更に含み、前記ミキサは、前記コア復号メディアデータ及び前記復号追加メディアデータをミキシングするよう構成される、請求項44又は45に記載の装置。
【請求項48】
前記変更ビットストリームは、前記追加メディアデータに関する情報を更に含み、前記シンク装置は、前記情報に基づき前記変更ビットストリームを処理するよう構成される、請求項44~47のいずれかに記載の装置。
【請求項49】
前記変更ビットストリームは、前記符号化メディアデータと前記追加メディアデータとの間の相対ゲインに関する情報を更に含み、前記ミキサは、前記相対ゲインに関する前記情報に基づき、前記コア復号メディアデータ及び前記追加メディアデータをミキシングするよう更に構成される、請求項44~48のいずれかに記載の装置。
【請求項50】
前記コアデコーダはMPEG-4オーディオデコーダである、請求項44~49のいずれかに記載の装置。
【請求項51】
変更ビットストリームを生成するソース装置であって、前記ソース装置は、請求項1~21のいずれかに記載の方法を実行するよう構成される1つ以上のプロセッサを含む、ソース装置と、
変更ビットストリームを処理するシンク装置であって、前記シンク装置は、請求項22~34のいずれかに記載の方法を実行するよう構成される1つ以上のプロセッサを含む、シンク装置と、
のシステム。
【請求項52】
命令を有するコンピュータ可読記憶媒体を含むコンピュータプログラムプロダクトであって、前記命令は、処理能力を有する装置により実行されると、装置に、請求項1~34のいずれか一項に記載の方法を実行させるよう適応される、コンピュータプログラムプロダクト。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願]
本願は、米国仮特許出願番号第62/887,098号、2019年8月15日出願、及び欧州特許出願番号第19191920.8号、2019年8月15日出願の優先権を主張する。両出願は、参照によりその全体がここに組み込まれる。
【0002】
[技術分野]
本開示は、概して、変更ビットストリームを生成する方法及びソース装置に関し、より具体的には、追加メディアデータのペイロードを、符号化メディアデータを含むビットストリームに埋め込むことにより、変更ビットストリームを生成することに関する。本開示は、前記変更ビットストリームを処理する方法及びシンク装置にも関する。
【0003】
幾つかの実施形態はその開示を特に参照して本願明細書に記載されるが、理解されるべきことに、本開示はそのような利用分野に限定されず、より広い状況において適用可能である。
【背景技術】
【0004】
本開示を通じて背景技術のいかなる議論も、そのような技術が広く知られていること又は当分野における共通の一般知識を形成することの自認として考えられるべきではない。
【0005】
近年、Bluetooth(BT)エコシステムの部分として、AACファミリに基づくコーデックを確立する努力がなされてきた。この状況では、Bluetooth SIGは、受信したビットストリームを、例えばスピーカシステム(BTシンク)に接続されたモバイル装置(BTソース)に渡すことが必要な使用例を定義し得る。サービスかBTエンドポイントの間ずっと使用されるデータフォーマットは符号化オーディオであってよいので、モバイル装置からBTスピーカへイアコン及び/又はシステム音声を伝達する簡単な方法がない。そのようなイアコンは、リングトーン、メール通知音、キー押下音、等を含んでよい。
【0006】
現在展開されているシステムでは、サービスから受信したオーディオは、通常、装置内で、非圧縮ドメイン(uncompressed domain (PCM))へと復号される。ここで、それは、変更され及び/又はミキシングできる。lパススルー動作モードが有効である場合、BT-ソース装置上で、BTソースからBTシンクへトランスポートされる経験を有効にし及び/又はそれへとシステム音声をミキシングするための簡単な可能性が存在しない。
【0007】
パススルーを有効にしたままこの制限を克服する1つの可能性は、両方の装置の間で追加リンクを開くことであり得る。しかしながら、このステップは、動作するためにBluetoothコーデックの追加リンク及びエンコーダ-デコーダペアを必要とするという欠点を有する。これは、望ましくない更なるシステムの複雑さに直面し、及びBTソース及びシンク装置の両方に、追加の計算上の複雑さを課す。これは、バッテリのコストも高く付く。
【0008】
従って、特にMPEG-4オーディオフォーマットで、ビットストリームによるメディアコンテンツと並列に、イアコン及び/又はシステム音声を同時に生成し及び処理することが必要とされる。
【発明の概要】
【0009】
本開示の第1の態様によると、ソース装置により変更ビットストリームを生成する方法が提供される。ソース装置は、受信機と、埋め込み器とを含んでよい。方法は、a)受信機により、符号化メディアデータを含むビットストリームを受信するステップを含んでよい。方法は、b)埋め込み器により、追加メディアデータのペイロードを生成し、埋め込み器からの種tルヨ句として、符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを取得するために、該ペイロードをビットストリームに埋め込むステップを更に含んでよい。方法は、c)符号化ビットストリームをシンク装置へ出力するステップを含んでよい。
【0010】
提案されるように構成されると、方法は、システム音声又はイアコン(Earcons)を、符号化メディアデータを含みソース装置(例えば、携帯電話機のようなBluetoothソース装置)によりシンク装置(例えば、BluetoothラウドスピーカのようなBluetoothシンク装置)へ向けてパススルー(passed through、通過)されるビットストリームに挿入することができる。これは、ソース装置とシンク装置との間の追加接続を確立することなく、及び符号化メディアデータを復号し再符号化させることなく、システム音声/イアコンをシンク装置へ渡すことを可能にする。更に、方法は、システム音声/イアコン及び符号化メディアデータの同時処理を可能にする。
【0011】
幾つかの実施形態では、追加メディアデータは、シンク装置により再生されてよい。
【0012】
幾つかの実施形態では、追加メディアデータは、ソース装置により再生されてよい。
【0013】
幾つかの実施形態では、受信ビットストリーム内の符号化メディアデータは、ソース装置から変更ビットストリームを介してシンク装置へパススルーされてよい。
【0014】
幾つかの実施形態では、ステップb)は、追加メディアデータに関する情報を生成し、該情報をビットストリームに埋め込むステップを更に含んでよい。
【0015】
幾つかの実施形態では、生成された情報は、追加メディアデータの構成、変更ビットストリーム内の追加メディアデータの存在に関する情報、デフォルト音量値に関する情報、遅延整合のための値に関する情報、遅延適応に関する情報、パニングに関する情報、及び追加メディアデータのタイプに関する情報、のうちの1つ以上を含んでよい。
【0016】
幾つかの実施形態では、ステップb)は、符号化メディアデータと追加メディアデータとの間の相対ゲインに関する情報を生成し、相対ゲインに関する情報をビットストリームに埋め込むステップを更に含んでよい。
【0017】
幾つかの実施形態では、変更ビットストリームはMPEG-4オーディオフォーマットであってよい。従って、システム音声/イアコンは、ソース装置が、MPEG-4オーディオフォーマットで符号化されたメディアデータに対してパススルーモードであるとき、メディアデータを復号し再符号化する必要無しに、符号化ビットストリームの部分として、シンク装置へ送信できる。
【0018】
幾つかの実施形態では、生成されたペイロードは、MPEG-4オーディオビットストリーム拡張メカニズムにより、変更ビットストリーム内のペイロードをトランスポートことにより、ビットストリームに埋め込まれてよい。
【0019】
幾つかの実施形態では、生成された情報及び/又は相対ゲインに関する生成された情報は、MPEG-4オーディオビットストリーム拡張メカニズムにより(変更)ビットストリーム内の相対ゲインに関する生成されたトランスポートすることにより、ビットストリームに埋め込まれてよい。
【0020】
幾つかの実施形態では、MPEG-4オーディオビットストリーム拡張メカニズムは、データストリームエレメント(data stream element (DSE))であってよい。
【0021】
幾つかの実施形態では、データストリームエレメントは、変更ビットストリーム内の所定の位置に位置付けられてよく、及び/又は特定のインスタンスタグを含んでよい。
【0022】
幾つかの実施形態では、MPEG-4オーディオビットストリーム拡張メカニズムは、Fill Element (ID_FIL)であってよい。
【0023】
幾つかの実施形態では、生成されたペイロードは、Fill Element内の汎用拡張ペイロードエレメントによりトランスポートされてよい。
【0024】
幾つかの実施形態では、生成された情報及び/又は相対ゲインに関する生成された情報は、Fill Element内の汎用拡張ペイロードエレメントによりトランスポートされてよい。
【0025】
幾つかの実施形態では、生成されたペイロードは、Fill Element内の新拡張ペイロードエレメントによりトランスポートされてよい。
【0026】
幾つかの実施形態では、生成された情報及び/又は相対ゲインに関する生成された情報は、Fill Element内の新拡張ペイロードエレメントによりトランスポートされてよい。
【0027】
幾つかの実施形態では、新拡張ペイロードエレメントは、ユニークな識別子を含んでよい。
【0028】
幾つかの実施形態では、ステップc)で、変更ビットストリームは、Bluetooth接続を介して、シンク装置へ出力されてよい。
【0029】
幾つかの実施形態では、追加メディアデータは、圧縮メディアデータ又は非圧縮メディアデータであってよい。
【0030】
幾つかの実施形態では、非圧縮メディアデータはソース装置において生成されたPCMデータであってよい。
【0031】
幾つかの実施形態では、PCMデータの生成は、ユーザ入力に基づいてよい。
【0032】
幾つかの実施形態では、PCMデータは、イアコンデータ及びシステム音声データのうちの1つ以上を含んでよい。
【0033】
幾つかの実施形態では、圧縮データは、SBCフォーマット又はaptXに基づくフォーマットであってよい。
【0034】
本開示の第2の態様によると、シンク装置により変更ビットストリームを処理する方法が提供される。シンク装置は、受信機と、ビットストリームパーサと、コアデコーダと、ミキサとを含んでよい。方法は、a)受信機により、符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを受信するステップを含んでよい。方法は、b)ビットストリームパーサにより、変更ビットストリームを符号化メディアデータ及び追加メディアデータのペイロードへとパースするステップを含んでよい。方法は、c)コアデコーダにより、符号化オーディオデータをコア復号して、コア復号生メディアデータを取得するステップを更に含んでよい。方法は、d)ミキサにより、コア復号メディアデータ及び追加メディアデータをミキシングして、出力信号を取得するステップを更に含んでよい。並びに、方法は、e)出力信号を出力するステップを更に含んでよい。
【0035】
幾つかの実施形態では、変更ビットストリームは、追加メディアデータに関する情報を更に含み、方法は、ステップa)の後、ステップb)の前に、情報に基づき変更ビットストリームを処理ステップを更に含んでよい。
【0036】
幾つかの実施形態では、情報は、追加メディアデータの構成、変更ビットストリーム内の追加メディアデータの存在に関する情報、デフォルト音量値に関する情報、遅延整合のための値に関する情報、遅延適応に関する情報、パニングに関する情報、及び追加メディアデータのタイプに関する情報、のうちの1つ以上含んでよい。
【0037】
幾つかの実施形態では、変更ビットストリームは、符号化メディアデータと追加メディアデータとの間の相対ゲインに関する情報を更に含み、ステップd)におけるコア復号メディアデータ及び追加メディアデータのミキシングは、相対ゲインに関する情報に基づいてよい。
【0038】
幾つかの実施形態では、方法は、処理ユニットにより、コア復号メディアデータ及び追加メディアデータをミキシングする前に、追加メディアデータを処理するステップを更に含んでよい。
【0039】
幾つかの実施形態では、追加メディアデータは、再サンプリング、遅延適応、及び音量処理、のうちの1つ以上を含んでよい。
【0040】
幾つかの実施形態では、追加メディアデータは圧縮メディアデータであり、方法は、デコーダにより、圧縮メディアデータを復号して、復号追加メディアデータを取得ステップを更に含み、ステップd)において、復号追加メディアデータはコア復号メディアデータとミキシングされてよい。
【0041】
幾つかの実施形態では、圧縮メディアデータは、SBCフォーマット又はaptXに基づくフォーマットであってよい。
【0042】
幾つかの実施形態では、追加メディアデータは、非圧縮メディアデータであってよく、ステップd)で、非圧縮追加メディアデータはコア復号メディアデータとミキシングされてよい。
【0043】
幾つかの実施形態では、変更ビットストリームはMPEG-4オーディオフォーマットであってよい。
【0044】
幾つかの実施形態では、変更ビットストリームは、MPEG-4オーディオビットストリーム拡張メカニズムを含んでよく、ステップb)におけるパースは、変更ビットストリーム内のMPEG-4オーディオビットストリーム拡張メカニズムを識別することに更に基づいてよい。
【0045】
幾つかの実施形態では、MPEG-4オーディオビットストリーム拡張メカニズムは、データストリームエレメント(DSE)であってよく、ステップb)におけるパースは、変更ビットストリーム内のデータストリームエレメントの位置を識別すること、及び/又はデータストリームエレメントの特定のインスタンスタグを識別することに更に基づいてよい。
【0046】
幾つかの実施形態では、MPEG-4オーディオビットストリーム拡張メカニズムは、Fill Element(ID_FIL)であってよく、ステップb)におけるパースは、前記Fill Element内の拡張ペイロードエレメントを識別することに更に基づいてよい。
【0047】
本開示の第3の態様によると、変更ビットストリームを生成するソース装置が提供される。装置は、a)符号化メディアデータを含むビットストリームを受信するよう構成される受信機を含んでよい。装置は、b)追加メディアデータのペイロードを生成し、生成したペイロードをビットストリームに埋め込んで、符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを取得するよう構成される埋め込み器を更に含んでよい。並びに、装置は、c)変更ビットストリームをシンク装置へ出力するよう構成される制御ユニットを含んでよい。
【0048】
幾つかの実施形態では、埋め込み器は、追加メディアデータに関する情報を生成し、該情報をビットストリームに埋め込むよう更に構成されてよい。
【0049】
幾つかの実施形態では、埋め込み器は、符号化メディアデータと追加メディアデータとの間の相対ゲインに関する情報を生成し、相対ゲインに関する情報をビットストリームに埋め込むよう更に構成されてよい。
【0050】
幾つかの実施形態では、変更ビットストリームはMPEG-4オーディオフォーマットであってよい。
【0051】
幾つかの実施形態では、追加メディアデータは、圧縮メディアデータ又は非圧縮メディアデータであってよい。
【0052】
幾つかの実施形態では、非圧縮メディアデータはソース装置において生成されたPCMデータであってよい。
【0053】
幾つかの実施形態では、PCMデータの生成は、ユーザ入力に基づいてよい。
【0054】
幾つかの実施形態では、PCMデータは、イアコンデータ及びシステム音声データのうちの1つ以上を含んでよい。
【0055】
幾つかの実施形態では、圧縮メディアデータは、SBCフォーマット又はaptXに基づくフォーマットであってよい。
【0056】
本開示の第4の態様によると、変更ビットストリームを処理するシンク装置が提供される。装置は、a)符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを受信するよう構成される受信機を含んでよい。装置は、b)変更ビットストリームを符号化メディアデータ及び追加メディアデータのペイロードへとパースするよう構成されるビットストリームパーサを更に含んでよい。装置は、c)符号化オーディオデータをコア復号して、コア復号生メディアデータを取得するよう構成されるコアデコーダを更に含んでよい。装置は、d)コア復号メディアデータ及び追加メディアデータをミキシングして、出力信号を取得するよう構成されるミキサを更に含んでよい。並びに、装置は、e)出力信号を出力するよう構成される制御ユニットを含んでよい。
【0057】
幾つかの実施形態では、装置は、コア復号メディアデータ及び追加メディアデータをミキシングする前に、追加メディアデータを処理するよう構成される処理ユニットを更に含んでよい。
【0058】
幾つかの実施形態では、追加メディアデータは、非圧縮メディアデータであってよく、ミキサは、コア復号メディアデータ及び非圧縮追加メディアデータをミキシングよう構成されてよい。
【0059】
幾つかの実施形態では、追加メディアデータは圧縮メディアデータであってよく、装置は、圧縮メディアデータを復号して、復号追加メディアデータを取得するデコーダを更に含んでよく、ミキサは、コア復号メディアデータ及び復号追加メディアデータをミキシングするよう構成されてよい。
【0060】
幾つかの実施形態では、変更ビットストリームは、追加メディアデータに関する情報を更に含んでよく、シンク装置は、情報に基づき変更ビットストリームを処理してよい。
【0061】
幾つかの実施形態では、変更ビットストリームは、符号化メディアデータと追加メディアデータとの間の相対ゲインに関する情報を更に含んでよく、ミキサは、コア復号メディアデータ及び追加メディアデータを相対ゲインに関する情報に基づきミキシングするよう構成されてよい。
【0062】
幾つかの実施形態では、コアデコーダはMPEG-4オーディオデコーダであってよい。
【0063】
本開示の第5の態様によると、変更ビットストリームを生成するソース装置であって、ソース装置は、該ソース装置において変更ビットストリームを生成する方法を実行するよう構成される1つ以上のプロセッサを含む、ソース装置と、変更ビットストリームを処理するシンク装置であって、シンク装置は、該シンク装置において変更ビットストリームを処理するよう構成される1つ以上のプロセッサを含む、シンク装置と、のシステムが提供される。
【0064】
本開示の第6の態様によると、命令を有するコンピュータ可読記憶媒体を含むコンピュータプログラムプロダクトであって、該命令は、処理能力を有する装置により実行されると、ソース装置において装置に変更ビットストリームを生成する方法を実行させるよう適応される、コンピュータプログラムプロダクトが提供される。
【0065】
本開示の第7の態様によると、命令を有するコンピュータ可読記憶媒体を含むコンピュータプログラムプロダクトであって、該命令は、処理能力を有する装置により実行されると、シンク装置において装置に変更ビットストリームを処理する方法を実行させるよう適応される、コンピュータプログラムプロダクトが提供される。
【図面の簡単な説明】
【0066】
本開示の例示的な実施形態は、単なる例を用いて、添付の図面を参照して以下に説明される。
図1】ソース装置において変更ビットストリームを生成する方法の例のフロー図を示す。
図2】ソース装置において変更ビットストリームを生成する方法の更なる例のフロー図を示す。
図3】シンク装置において変更ビットストリームを処理する方法の例のフロー図を示す。
図4】シンク装置において変更ビットストリームを処理する方法の更なる例のフロー図を示す。
図5】シンク装置において変更ビットストリームを処理する方法のまた更なる例のフロー図を示す。
図6】シンク装置において変更ビットストリームを処理する方法のまた更なる例のフロー図を示す。
図7】変更ビットストリームを生成するソース装置の例を示す。
図8】変更ビットストリームを生成するソース装置の更なる例を示す。
図9】変更ビットストリームを処理するシンク装置の例を示す。
図10】変更ビットストリームを処理するシンク装置の更なる例を示す。
図11】変更ビットストリームを処理するシンク装置のまた更なる例を示す。
図12】変更ビットストリームを処理するシンク装置のまた更なる例を示す。
図13】1つ以上のプロセッサを有する装置の例を示す。
【発明を実施するための形態】
【0067】
<MPEG-4オーディオ変更ビットストリームの生成及び処理>
以下では、変更MPEG-4オーディオビットストリームの生成及び処理のための方法及び装置が説明される。本願明細書では、MPEG-4オーディオビットストリームは、ISO/IEC14496-3, Coding of audio-visual objects-Part3: Audio及びその全ての将来のエディション、リビジョン、及びアメンドメントに定められた標準(以後、MPEG-4オーディオ)に準拠するビットストリームを表してよい。記載される方法及び装置により、非圧縮又は圧縮メディアデータである追加メディアデータは、メディアコンテンツを配信する符号化メディアデータと一緒にトランスポートされ処理されてよい。これは、ソース及びシンク装置の両方においてシステムの追加の負荷及び計算上の複雑さを有することなく、イアコン及び/又はシステム音声を送信し及び処理することを可能にできる。
【0068】
更に、同じメカニズムおよびビットストリーム変数を用いて、ソース装置及びシンク装置の両方において、全部の設定(例えば、システム音声のレベル、DRC、等)を制御することが可能であってよい。これは、ソース装置の埋め込み器により使用される相対ゲイン(又はミキシングゲイン)が、シンク装置のミキサにより使用される制御パラメータと正確に同じであり得ることを意味する。
【0069】
<ソース装置における変更ビットストリームの生成>
図1の例を参照すると、ソース装置において変更ビットストリームを生成する方法の例のフロー図が示される。ステップS100で、(後述するようにシンク装置によりコア復号されるべき)符号化メディアデータを含むビットストリームが、ソース装置の受信機により受信されてよい。符号化メディアデータを含むビットストリームは、例えば、1つ以上のメディアサーバから受信されてよい。符号化メディアデータは、符号化オーディオデータを含んでよい。符号化オーディオデータは、MPEG-4オーディオ標準に準拠してよい。ビットストリームは、例えば、ソース装置に接続されたシンク装置により再生されるべきオーディオコンテンツを配信してよい。ソース装置は限定されない。例えば、ソース装置は、携帯電話機、スマートウォッチ、転換式(convertibles)を含むラップトップ及びタブレットPC、のうちの1つ以上を含むモバイル装置であってよい。図1の例を再び参照すると、ステップS101で、追加メディアデータのペイロード(つまり、符号化メディアデータ以外の、それに加えて、例えば追加オーディオデータ)が、生成され、埋め込み器によりビットストリームに埋め込まれてよい。
【0070】
ステップS101で生成された追加メディアデータは、シンク装置により(シンク装置の側で)メディアデータとミキシングされる。有利なことに、これは、シンク装置側で、メディアデータとの追加メディアデータのミキシングを可能にする。
【0071】
符号化メディアデータ及び追加メディアデータは、異なる(種類の)メディアデータである。例えば、以下に説明するように、符号化メディアデータ及び追加メディアデータは、異なるフォーマットを有してよい。符号化メディアデータ及び追加メディアデータは、異なる種類のメディアコンテンツを含む。符号化メディアデータは、主オーディオコンテンツ、例えば、音楽、オーディオ、等を含んでよい。追加メディアデータは、副オーディオコンテンツ、例えば、イアコン、システム音声、キー押下音、電子メール通知音、等を含んでよい。主オーディオコンテンツ及び副オーディオコンテンツは、シンク装置により再生されてよい。
【0072】
代替又は追加で、主オーディオコンテンツ及び副オーディオコンテンツは、ソース装置により再生されてよい。
【0073】
実施形態では、符号化メディアデータは、ソース装置、シンク装置、又はソース装置とシンク装置の両方により再生されてよい。
【0074】
実施形態では、追加メディアデータは、ソース装置、シンク装置、又はソース装置とシンク装置の両方により再生されてよい。
【0075】
実施形態では、追加メディアデータは、(後述するように、復号追加メディアデータを取得するためにシンク装置により復号されるべき)圧縮メディアデータ、又は非圧縮メディアデータであってよい。非圧縮メディアデータは限定されないが、実施形態では、非圧縮メディアデータは、ソース装置において生成されたPCMデータであってよい。PCMデータの生成も限定されないが、実施形態では、PCMデータの生成はユーザ入力に基づいてよい。ユーザ入力は、例えば、キー押下であってよい。代替として又は追加で、PCMデータの生成は、ユーザ入力と独立して、例えば電子メール通知に基づき、ソース装置において実施されてよい。実施形態では、PCMデータは、イアコンデータ及びシステム音声データのうちの1つ以上を含んでよい。また、圧縮メディアデータのフォーマットは限定されないが、フォーマットは、Bluetoothエコシステムに属してよい。実施形態では、圧縮メディアデータは、SBCフォーマット又はaptXに基づくフォーマットであってよい。
【0076】
図1の例を再び参照すると、ステップS102で、埋め込み器からの出力として、符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームが取得されてよい。ステップS103で、変更ビットストリームは、次にシンク装置へ出力されてよい。
【0077】
受信ビットストリーム内の符号化メディアデータは、ソース装置から変更ビットストリームを介してシンク装置へパススルーされる。ソース装置から受信された符号化メディアデータは、変更ビットストリームに埋め込まれ、シンク装置へ出力される。
【0078】
有利なことに、変更ビットストリームの(ソース装置における)生成、及びシンク装置への出力は、シンク装置の側における追加メディアデータとのメディアデータのミキシングを能率化する。メディアデータ及び追加メディアデータを埋め込みシンク装置へトランスポートするために、ソース装置により単一のビットストリームが使用される。それにより、単一のチャネル/接続が、ソース装置及びシンク装置の間で使用できる。更に、例えば、符号化メディアデータを復号し及び再符号化するために、ソース装置内に追加のデコーダ及び/又はエンコーダが存在しない。例えば、復号した符号化メディアデータを追加メディアデータとミキシングするために、ソース装置内で追加のミキサが使用されない。
【0079】
実施形態では、変更ビットストリームは、Bluetooth接続を介して、シンク装置へ出力されてよい。言い換えると、ソース装置は、Bluetooth接続を介して、シンク装置に接続されてよい。例えば、イヤホンは、Bluetoothを介して携帯電話機に接続される。
【0080】
通常、提案される技術及び本開示全体に記載されるそれらの実装及び例は、例えば、ソース装置がパススルー動作モードであるとき、変更ビットストリームの生成、及びシンク装置への出力が、追加メディアデータ(例えば、システム音声/イアコン)のペイロードの、シンク装置への送信を実現することを含む。言い換えると、追加メディアデータのペイロードは、生成され、符号化メディアデータを含む受信ビットストリームへと埋め込まれて、変更ビットストリームを生成してよく、例えば符号化メディアデータの復号及び再符号化を伴わない。同様に、追加メディアデータは、シンク装置に渡されることができ、ソース装置とシンク装置との間に追加接続を確立する必要がない。更なる利点として、提案される技術は、追加メディアデータ及び符号化メディアデータの同時処理を可能にする。
【0081】
図2の例を参照すると、ソース装置において変更ビットストリームを生成する方法の更なる例のフロー図が示される。図2の例は、上述の図1の例と異なり、S101で、追加メディアデータに関する更なる情報が(メタデータの部分として)生成され、ビットストリームに埋め込まれてよい(破線により示される)。実施形態では、生成された情報は、追加メディアデータの構成、変更ビットストリーム内の追加メディアデータの存在に関する情報、デフォルト音量値に関する情報、遅延整合のための値に関する情報、遅延適応に関する情報、パニングに関する情報、及び追加メディアデータのタイプに関する情報、のうちの1つ以上を含んでよい。生成された情報は、後述するように、受信した変更ビットストリームを処理するために、シンク装置により利用されてよい。追加メディアデータの構成に関する情報は、例えば、シンク装置の側において、追加メディアデータがミキシングの前に再サンプリングされる必要があるかどうかを決定できるようにするために、サンプリングレートに関する情報を含んでよい。代替として又は追加で、追加メディアデータの構成に関する情報は、例えば、シンク装置の側において、追加メディアデータがミキシングの前にダウンミキシング/アップミキシングされる必要があるかどうかを決定できるようにし得る、チャネルモードに関する情報を更に含んでよい。デフォルト音量値に関する情報は、例えば、ITU-R BS.1770-4に指定された方法のうちの1つに従い、測定音量を含んでよい。測定音量は、シンク装置の側で、どのレベルで、追加メディアデータがコア復号メディアデータとミキシングされ得るかを決定できるようにしてよい。更に、追加メディアデータのタイプに関する情報は、シンク装置の側で、例えば追加メディアデータが復号される必要があるかどうか、例えば、追加メディアデータが非圧縮又は圧縮メディアデータかを決定するために、示されてよい。
【0082】
代替として又は追加で、ステップS101は、符号化メディアデータと追加メディアデータとの間の相対ゲインに関する情報を(例えばメタデータの部分として)生成するステップと、相対ゲインに関する情報をビットストリームに埋め込むステップ(破線により示されるように)と、を更に含んでよい。符号化メディアデータと追加メディアデータとの間の相対ゲインは、後述するように受信した変更ビットストリームに基づき出力信号を生成するために、シンク装置により使用されてよい。ここで、ソース装置及びシンク装置は、同じ相対ゲイン値を使用してよい。例えば、ソース装置が携帯電話機である場合、最適なシステム音声ミキシング設定は、システム音声及び符号化メディアデータコンテンスの推定音量比に基づき自動的に決定されてよい。例えば、相対ゲイン値は、シンク装置のミキサにより使用され得るミキシングゲイン値及び/又は減衰ゲイン値を含んでよい。この情報をビットストリームに含めることにより、適切な方法で追加メディアデータが符号化メディアデータとミキシングでき、追加メディアデータが符号化メディアデータと比べて不適切な音声レベルでレンダリングされる場合を回避できることが保証される。通常、追加メディアデータに関する情報をビットストリームに含めることにより、ソース装置は、シンク装置における追加メディアデータの処理(例えばレンダリングを含む)に対する制御を与えられる。これは、シンク装置における追加メディアデータの適切なレンダリングを保証する。
【0083】
変更ビットストリームのフォーマットは限定されないが、実施形態では、変更ビットストリームは、MPEG-4オーディオフォーマット(つまり、MPEG-4オーディオ標準に準拠したビットストリーム)であってよい。図1の例を参照すると、実施形態では、生成されたペイロードは、MPEG-4オーディオビットストリーム拡張メカニズムにより、変更ビットストリーム内でトランスポートされてよい。図2の例を参照すると、更に、実施形態では、生成された情報及び/又は相対ゲインに関連する生成された情報は、MPEG-4オーディオビットストリーム拡張メカニズムにより、変更ビットストリーム内でトランスポートされてよい。
【0084】
例として、以下のシンタックスは、追加メディアデータの生成されたペイロード、追加メディアデータに関する生成された情報、及び/又は相対ゲインに関する生成された情報を、MPEG-4オーディオフォーマットの変更ビットストリームに埋め込むために使用されてよい。
【0085】
<system_sound_info()のシンタックス>
追加メディアデータの生成されたペイロード(追加メディアデータに関する情報)、及び/又は相対ゲインに関する生成された情報を伝達するための最上位レベルのシンタックス要素である。
【0086】
【数1】
【0087】
<system_sound_info()のセマンティクス>
【表1】
【0088】
<ystem_sound_config()のシンタックス>
【数2-1】
【数2-2】
【0089】
<system_sound_config()のセマンティクス>
表1<system_sound_config()のセマンティクス>
【表2】
【0090】
<system_sound_payload()のシンタックス>
【数3】
【0091】
<system_sound_payload()のセマンティクス>
【表3】
【0092】
<pcm_data_config()のシンタックス>
【数4】
【0093】
<pcm_data_config()のセマンティクス>
表2<pcm_data_config()のセマンティクス>
【表4】
【0094】
<pcm_data_payload()のシンタックス>
【数5】
【0095】
注1:「pcm_frame_size」は、「pcm_frame_size_index」から導出されるか、又は「pcm_data_config」内に直接設定される。
【0096】
注2:サンプル毎のビット数(Bits per sample (bps)は、「pcm_data_format_index」から導出できる。
【0097】
<pcm_data_payload()のセマンティクス>
表3<pcm_data_payload()のセマンティクス>
【表5】
【0098】
MPEG-4オーディオ標準により提供される少なくとも2つの独立した拡張メカニズムがある。データストリームエレメント(ID_DSE)又はextension_payload(int)のいずれかが、追加メディアデータの生成されたペイロード、生成された情報、及び/又は相対ゲインに関する生成された情報をトランスポートするために使用されてよい。実施形態では、MPEG-4オーディオビットストリーム拡張メカニズムは、データストリームエレメント(data stream element (DSE))であってよい。MPEG-4オーディオ標準におけるデータストリームエレメントは、通常、メタデータを伝送するために使用され、メタデータのペイロード(オーディオコンテンツ)をトランスポートするために使用されない。実施形態では、MPEG-4オーディオビットストリーム内のデータストリームエレメント(DSE)は、追加メディアデータの生成されたペイロードをトランスポートするために使用される。従ってMPEG-4オーディオビットストリーム内の、既存のデータストリームエレメントは、メタデータの代わりに及び/又はそれに加えて、メタデータのペイロード(例えば、イアコン)をトランスポートするために使用される。例示的なシンタックスが以下に示される。
【0099】
【数6】
【0100】
【表6】
【0101】
実施形態では、データストリームエレメントは、変更ビットストリーム内の所定の位置に位置付けられてよく、及び/又は特定のインスタンスタグを含んでよい。
【0102】
代替として、実施形態では、MPEG-4オーディオビットストリーム拡張メカニズムは、Fill Element (ID_FIL)であってよい。MPEG-4オーディオは、最上位レベルのシンタックス要素extension_payload(int)により別の拡張メカニズムを定義する。障害許容力のない(non-resilience)ペイロードのために、extension_payload(int)がFill Element(ID_FIL)に含まれてよい。
【0103】
【数7】
実施形態では、生成されたペイロードは、Fill Element内の汎用拡張ペイロードエレメントによりトランスポートされてよい。更に、実施形態では、生成された情報(追加メディアデータに関する情報)及び/又は相対ゲインに関する生成された情報は、Fill Element内の汎用拡張ペイロードエレメントにより伝送されてよい。例えば、汎用データのために、extension_type EXT_DATA_ELEMENTが使用されてよい。
【0104】
代替として、実施形態では、生成されたペイロードは、Fill Element内の新拡張ペイロードエレメントによりトランスポートされてよい。更に、実施形態では、生成された情報(追加メディアデータに関する情報)及び/又は相対ゲインに関する生成された情報は、Fill Element内の新拡張ペイロードエレメントによりトランスポートされてよい。
【0105】
MPEG-4オーディオ標準におけるFillエレメントは、通常、メタデータを伝送するために使用され、メディアデータのペイロード(オーディオコンテンツ)をトランスポートするために使用されない。実施形態では、MPEG-4オーディオビットストリーム内のデータストリームエレメント(DSE)は、追加メディアデータの生成されたペイロードを(例えば、上述のように、汎用拡張ペイロードエレメント内で、又はFill Element内の新拡張ペイロードエレメント内で)トランスポートするために使用される。従って、MPEG-4ビットストリーム内の、既存のFillElementは、メタデータの代替として及び/又はそれに加えて、メディアデータのペイロード(例えば、イアコン)をトランスポートするために使用される。
【0106】
シンタックスエレメントsystem_sound_info()のための新拡張ペイロードタイプ(extension_type)が定義されてよい。14496-3のシンタックス、Table 4.59:「Syntax of extension_payload」が以下のように拡張されてよい。
【0107】
【表7】
【0108】
実施形態では、新拡張ペイロードエレメントは、ユニークな識別子を含んでよい。ユニークな識別子は、例えば、EXT_SYS_SOUND_INFOであってよい。
【0109】
上述の技術を用いて、追加メディアデータ及び追加メディアデータに関する情報は、ソース装置によりパススルーされる既存のMPEG-4準拠のビットストリームに直ちに埋め込むことができる。
【0110】
<シンク装置における変更ビットストリームの処理>
図3の例を参照すると、シンク装置において変更ビットストリームを処理する方法の例のフロー図が示される。ステップS200で、(例えば、ソース装置により受信されるような)符号化メディアデータ及び追加メディアデータのペイロードを含む変更ビットストリームは、シンク装置の受信機により受信されてよい。
【0111】
ステップS201で、受信された変更ビットストリームは、ビットストリームパーサにより、パースされて、符号化メディアデータ及び追加メディアデータのペイロードになる。変更ビットストリームのフォーマットは限定されないが、変更ビットストリームは、MPEG-4オーディオフォーマット(つまり、MPEG-4オーディオ標準に準拠したビットストリーム)であってよい。図4の例を参照すると、実施形態では、変更ビットストリームは、MPEG-4オーディオビットストリーム拡張メカニズムを含んでよく、ステップS201におけるパースは、変更ビットストリーム内のMPEG-4オーディオビットストリーム拡張メカニズムを識別することに更に基づいてよい。実施形態では、MPEG-4オーディオビットストリーム拡張メカニズムは、データストリームエレメント(DSE)であってよく、ステップS201におけるパースは、変更ビットストリーム内のデータストリームエレメントの位置を識別すること、及び/又はデータストリームエレメントの特定のインスタンスタグを識別することに更に基づいてよい。代替として、実施形態では、MPEG-4オーディオビットストリーム拡張メカニズムは、Fill Element(ID_FIL)であってよく、ステップS201におけるパースは、前記Fill Element内の拡張ペイロードエレメントを識別することに更に基づいてよい。
【0112】
図3又は4の例を参照すると、ステップS202で、符号化メディアデータは、コアデコーダによりコア復号されてよい。
【0113】
ステップS203で、コア復号メディアデータは、出力信号を取得するために、ミキサにより追加メディアデータとミキシングされてよい。
【0114】
ステップ204で、取得された出力信号は次に制御ユニットにより出力されてよい。
【0115】
図5の例を参照すると、シンク装置において変更ビットストリームを処理する方法の更なる例のフロー図が示される。図5の例で、実施形態では、変更ビットストリームは、追加メディアデータに関する情報を更に含んでよく、シンク装置により変更ビットストリームを処理するステップは、該情報に基づいてよい。実施形態では、情報は、追加メディアデータの構成、変更ビットストリーム内の追加メディアデータの存在に関する情報、デフォルト音量値に関する情報、遅延整合のための値に関する情報、遅延適応に関する情報、パニングに関する情報、及び追加メディアデータのタイプに関する情報、のうちの1つ以上含んでよい。
【0116】
図5の例では、方法は、処理ユニットにより、コア復号メディアデータ及び追加メディアデータをミキシングする前に、追加メディアデータを処理するステップS202aを更に含んでよい。ステップS203で、コア復号メディアデータは、次に、処理済みの追加メディアデータとミキシングされる。実施形態では、追加メディアデータは、再サンプリング、遅延適応、及び音量処理、のうちの1つ以上を含んでよい。追加メディアデータの処理は、変更ビットストリームに含まれステップS201でビットストリームパーサにより提供された生成された情報により(それに基づき)ガイドされてよい(破線により示される)。例えば、再サンプリングは、追加メディアデータの構成に関する情報に含まれてよい、追加メディアデータのサンプリングレートに関する情報によりガイドされてよい。代替として又は追加で、追加メディアデータの処理は、追加メディアデータのダウンミキシング/アップミキシングを含んでよく、これらは、追加メディアデータの構成に関する情報に含まれてよいチャネルモードに関する情報によりガイドされてよい。音量処理は、例えば、ITU-R BS.1770-4に指定された方法のうちの1つに従うような、測定音量を含んでよいデフォルト音量値に関する情報によりガイドされてよい。
【0117】
代替又は追加で、幾つかの実施形態では、変更ビットストリームは、符号化メディアデータと追加メディアデータとの間の相対ゲインに関する情報を更に含み、任意的に処理済み追加メディアデータを取得するためのミキシングの前に処理されている(点線により示される)、ステップS203におけるコア復号メディアデータ及び追加メディアデータのミキシングは、相対ゲインに関する情報に基づいてよい。ここで、シンク装置は、ソース装置において生成された相対ゲイン値を使用してよい。言い換えると、ソース装置及びシンク装置の両方、同じ相対ゲイン値を使用してよい。相対ゲイン値は、ミキシングステップS203におけるユーザ入力により更に変更されてもよい。相対ゲイン値は、ミキシングゲイン及び/又は減衰ゲイン値を含んでよい。相対ゲインに関する情報は、破線により示されるように、ビットストリームパーサにより、ステップS201で提供されてよい。追加メディアデータに関する情報、及び代替として又は追加で相対ゲイン値に関する情報は、上述のようにsystem_sound_configの最上位レベルのシンタックス要素で、変更ビットストリーム内に埋め込まれてよい。
【0118】
実施形態では、追加メディアデータは、圧縮メディアデータ又は非圧縮メディアデータであってよい。
【0119】
図6の例を参照すると、実施形態では、追加メディアデータは圧縮メディアデータであり、方法は、デコーダにより、圧縮メディアデータを復号して、復号追加メディアデータを取得ステップS205を更に含み、ステップS203において、復号追加メディアデータはコア復号メディアデータとミキシングされてよい。方法が、追加メディアデータを処理するステップS202aを更に含む場合、圧縮メディアデータの場合には、復号された追加メディアデータは、任意的に、上述のように点線で示されるように、コア復号メディアデータとミキシングされる前に、ステップS202aにおいて処理されてよい。圧縮メディアデータのフォーマットは限定されないが、フォーマットは、Bluetoothエコシステムに属してよい。実施形態では、圧縮メディアデータは、SBCフォーマット又はaptXに基づくフォーマットであってよい。また、圧縮メディアデータの場合には、ステップS202aにおける処理は、破線により示されるようにステップS201において提供される、変更ビットストリームに含まれる追加メディアデータに関する生成された情報により(それに基づき)ガイドされてよい。
【0120】
代替として又は追加で、ステップS203における、任意的にミキシングの前に処理されてよいコア復号メディアデータと復号追加メディアデータとのミキシングは、上述のように相対ゲインに関する情報に基づいてもよい。相対ゲインに関する情報は、破線により示されるように、ステップS201で提供されてもよい。
【0121】
代替として、実施形態では、追加メディアデータは、非圧縮メディアデータであってよく、ステップS203で、非圧縮追加メディアデータは、図3又は図4で説明した例に従いコア復号メディアデータとミキシングされてよい。図5の例に従い、非圧縮メディアデータも、任意的に、上述のように、コア復号メディアデータとミキシングされる前に、ステップS202aにおいて処理されてよい。実施形態では、非圧縮メディアデータはソース装置において生成されたPCMデータであってよい。実施形態では、PCMデータは、イアコンデータ及びシステム音声データのうちの1つ以上を含んでよい。
【0122】
<ソース装置>
図7の例を参照すると、変更ビットストリームを生成するソース装置の例が示される。ソース装置100は、符号化メディアデータ101を含むビットストリームを受信するよう構成される受信機102を含んでよい。ビットストリームは、例えば、1つ以上のメディアサーバから受信されてよい。ビットストリームは、例えば、ソース装置100に接続されたシンク装置により再生されるべきオーディオコンテンツを配信してよい。ソース装置100は限定されない。例えば、ソース装置100は、携帯電話機、スマートウォッチ、転換式(convertibles)を含むラップトップ及びタブレットPC、のうちの1つ以上を含むモバイル装置であってよい。
【0123】
実施形態では、符号化メディアデータは、ソース装置、シンク装置、又はソース装置とシンク装置の両方により再生されてよい。実施形態では、追加メディアデータは、ソース装置、シンク装置、又はソース装置とシンク装置の両方により再生されてよい。
【0124】
ソース装置100は、追加メディアデータ103のペイロードを生成し、生成したペイロードをビットストリームに埋め込んで、符号化メディアデータ101と追加メディアデータ103のペイロードとを含む変更ビットストリームを取得するよう構成される埋め込み器104を更に含んでよい。ここで、変更ビットストリームは、ソース装置がパススルーモードで動作する場合でも、生成されてよい。ソース装置100は、変更ビットストリームを介して符号化メディアデータをシンク装置へパススルーするよう構成されてよい。ソース装置から受信された符号化メディアデータは、変更ビットストリームに埋め込まれ、シンク装置へ出力される。
【0125】
有利なことに、変更ビットストリームの(ソース装置における)生成、及びシンク装置への出力は、シンク装置の側における追加メディアデータとのメディアデータのミキシングを能率化する。メディアデータ及び追加メディアデータを埋め込みシンク装置へトランスポートするために、ソース装置により単一のビットストリームが使用される。それにより、単一のチャネル/接続が、ソース装置及びシンク装置の間で使用できる。更に、例えば、符号化メディアデータを復号し及び再符号化するために、ソース装置内に追加のデコーダ及び/又はエンコーダが存在しない。例えば、復号した符号化メディアデータを追加メディアデータとミキシングするために、ソース装置内で追加のミキサが使用されない。
【0126】
変更ビットストリームのフォーマットは限定されないが、実施形態では、変更ビットストリームは、MPEG-4オーディオフォーマット(つまり、MPEG-4オーディオ標準に準拠したビットストリーム)であってよい。実施形態では、埋め込み器は、上述のように変更ビットストリームにおけるMPEG-4オーディオビットストリーム拡張メカニズムを介して、生成されたペイロードを伝送するよう構成されてよい。
【0127】
実施形態では、追加メディアデータ103は、圧縮メディアデータ又は非圧縮メディアデータであってよい。非圧縮メディアデータは限定されないが、実施形態では、非圧縮メディアデータは、ソース装置100において生成されたPCMデータであってよい。PCMデータの生成は限定されないが、実施形態では、PCMデータの生成はユーザ入力に基づいてよい。ユーザ入力は、例えば、キー押下であってよい。ソース装置100は、従って、例えばタッチディスプレイであってよいユーザインタフェースを含んでよい。代替として又は追加で、ソース装置100は、少なくともキーボードを更に含んでよい。しかしながら、PCMデータの生成は、ユーザ入力と独立して、例えば電子メール通知に基づき、ソース装置において実施されてもよい。実施形態では、PCMデータは、イアコンデータ及びシステム音声データのうちの1つ以上を含んでよい。PCMデータは、ソース装置100に格納されてよい。
【0128】
圧縮メディアデータは限定されないが、圧縮メディアデータのフォーマットは、Bluetoothエコシステムに属してよい。実施形態では、圧縮メディアデータは、SBCフォーマット又はaptXに基づくフォーマットであってよい。圧縮メディアデータは、ソース装置100において生成されてよい。圧縮メディアデータは、ソース装置100に格納されてよい。代替として又は追加で、圧縮メディアデータは、受信機102により受信されてよい。
【0129】
図8の例を参照すると、実施形態では、埋め込み器104は、追加メディアデータ103に関する情報106を生成し、生成した情報106をビットストリームに埋め込むよう更に構成されてよい(破線により示される)。代替又は追加で、幾つかの実施形態では、埋め込み器1404は、符号化メディアデータ101と追加メディアデータ103との間の相対ゲインに関する情報106を生成し、相対ゲインに関する情報106をビットストリームに埋め込むよう更に構成されてよい(これも、破線により示される)。実施形態では、埋め込み器は、上述のように、変更ビットストリームにおけるMPEG-4オーディオビットストリーム拡張メカニズムを介して、生成された情報及び/又は相対ゲインに関する生成された情報を伝送するよう更に構成されてよい。
【0130】
ソース装置100は、変更ビットストリームをシンク装置へ出力するよう構成される制御ユニット105を更に含んでよい。
【0131】
<シンク装置>
図9の例を参照すると、変更ビットストリームを処理するシンク装置の例が示される。シンク装置200は、符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを受信するよう構成される受信機201を含んでよい。シンク装置200は限定されない。シンク装置200は、ソース装置の周辺装置、例えばイヤホンであってよい。シンク装置200及びソース装置は、Bluetoothにyほり接続されてよい。シンク装置200は、変更ビットストリームに含まれるオーディオコンテンツを再生するよう構成されてよい。例えば、シンク装置200は、符号化メディアデータ、又は追加メディアデータ、又は符号化メディアデータと追加メディアデータの両方を再生するよう構成されてよい。
【0132】
シンク装置200は、変更ビットストリームを符号化メディアデータ及び追加メディアデータのペイロードへとパースするよう構成されるビットストリームパーサ202を更に含んでよい。変更ビットストリームのフォーマットは限定されないが、変更ビットストリームは、MPEG-4オーディオフォーマット(つまり、MPEG-4オーディオ標準に準拠したビットストリーム)であってよい。以上に詳細に説明したように、実施形態では、ビットストリームパーサ202は、変更ビットストリームにおけるMPEG-4オーディオビットストリーム拡張メカニズムを識別することに基づき、ビットストリームwpパースするよう構成されてよい。
【0133】
シンク装置200は、符号化オーディオデータをコア復号して、コア復号メディアデータを取得するよう構成されるコアデコーダを更に含んでよい。実施形態では、コアデコーダ203は、MPEG-4オーディオデコーダ(上述のようにMPEG-4オーディオ標準に準拠する~であってよい。
【0134】
シンク装置200は、コア復号メディアデータ及び追加メディアデータをミキシングして、出力信号を取得するよう構成されるミキサ204を更に含んでよい。実施形態では、追加メディアデータは、圧縮メディアデータ又は非圧縮メディアデータであってよい。実施形態では、追加メディアデータは、非圧縮メディアデータであってよく、ミキサ204は、コア復号メディアデータ及び非圧縮追加メディアデータをミキシングよう構成されてよい。
【0135】
図10の例を参照すると、変更ビットストリームは、追加メディアデータに関する情報を更に含んでよく、シンク装置200は、情報に基づき変更ビットストリームを処理するよう構成されてよい。実施形態では、シンク装置200は、ミキサ204においてコア復号メディアデータ及び追加メディアデータをミキシングする前に、追加メディアデータを処理するよう構成される処理ユニット206を更に含んでよい。実施形態では、追加メディアデータの処理は、再サンプリング、遅延適応、及び音量処理、のうちの1つ以上を含んでよい。処理ユニット206による追加メディアデータの処理は、上述のように追加メディアデータに関する情報により(それに基づき)ガイドされてよい。追加メディアデータに関する情報は、破線により示されるように、ビットストリームパーサ202により処理ユニット206に提供されてよい。追加メディアデータが非圧縮メディアデータである場合には、非圧縮メディアデータは、変更ビットストリームがビットストリームパーサ202においてパースされた後に、ミキサ204に入る前に、直接処理されてよい。
【0136】
代替又は追加で、実施形態では、変更ビットストリームは、符号化メディアデータと追加メディアデータとの間の相対ゲインに関する情報を更に含み、ミキサ204は、任意的にミキシングの前に処理されてよい(点線により示される)コア復号メディアデータ及び追加メディアデータを、上述のような相対ゲインに関する情報に基づいてミキシングするよう構成されてよい。相対ゲインに関する情報は、破線により示されるように、ビットストリームパーサ202により、ミキサ204に提供されてよい。
【0137】
実施形態では、追加メディアデータは非圧縮メディアデータであってよい。図11の例を参照すると、シンク装置200は、圧縮メディアデータを復号して、復号追加メディアデータを取得するデコーダ207を更に含んでよく、ミキサ204は、コア復号メディアデータ及び復号追加メディアデータをミキシングするよう構成されてよい。代替として又は追加で、変更ビットストリームは、符号化メディアデータと追加メディアデータとの間の相対ゲインに関する情報を復号更に含んでよく、ミキサ204は、上述のように、コア復号メディアデータ及び復号追加メディアデータを相対ゲインに関する情報に基づきミキシングするよう構成されてよい。相対ゲインに関する情報は、破線により示されるように、ビットストリームパーサ202により、ミキサ204に提供されてよい。
【0138】
図12の例を更に参照すると、復号追加メディアデータは、任意的に、ミキサ204においてコア復号メディアデータとミキシングされる前に、処理ユニット206により更に処理されてよい(点線により示される)。処理ユニット206による復号追加メディアデータの処理は、上述のように、変更ビットストリームに含まれてよい追加メディアデータに関する情報により(それに基づき)ガイドされてよい。追加メディアデータに関する情報は、破線により示されるように、ビットストリームパーサ202により処理ユニット206に提供されてよい。
【0139】
図9~12の例を参照すると、シンク装置200は、出力信号を出力するよう構成され得制御ユニット205を更に含んでよい。例えば、出力信号は、シンク装置200のユーザへ、イヤホンを介して出力されてよい。
【0140】
上述の方法は、上述の装置に個々に実装されてよい。上述の方法を実行可能な上述の装置は、それぞれのシステムを形成してもよい。ここで参照される装置300は、図13の例により示されるように1つ以上のプロセッサ301、302を含んでよい。代替として又は追加で、上述の方法は、処理能力301、302を有する装置300で実行されると装置300に上述の方法を実行させるよう適応される命令を備えるコンピュータ可読記憶媒体を含むそれぞれのコンピュータプログラムプロダクトとして実施されてもよい。
【0141】
<解釈>
特に断りのない限り、以下の議論から明らかなように、本開示を通じて、「処理する(processing)」、「計算する(computing、calculating)」、「決定する(determining)」、「分析する(analyzing)」等のような用語を用いる議論は、コンピュータ又はコンピューティングシステム、又は物理的、例えば電子的な量として提示されるデータを操作し及び/又は物理的量として同様に提示される他のデータに変換する同様の電子コンピューティング装置の動作及び/又は処理を表す。
【0142】
同様に、用語「プロセッサ」は、例えばレジスタ及び/又はメモリからの電子データを処理して、該電子データを例えばレジスタ及び/又はメモリに格納され得る他の電子データに変換する、任意の装置又は装置の部分を表してよい。「コンピュータ」又は「コンピューティング装置」若しくは「コンピューティングプラットフォーム」は、1つ以上のプロセッサを含んでよい。
【0143】
本願明細書に記載した方法は、例示的な一実施形態では、プロセッサのうちの1つ以上により実行されると本願明細書に記載した方法のうちの少なくとも1つを実行する命令セットを含むコンピュータ可読(機械可読とも呼ばれる)コードを受け付ける1つ以上のプロセッサにより実行可能である。行われるべき動作を指定する(シーケンシャル又はその他の)命令セットを実行可能な任意のプロセッサが含まれる。従って、一例は、1つ以上のプロセッサを含む標準的な処理システムである。各プロセッサは、CPU、画像処理ユニット、及びプログラマブルDSPユニット、のうちの1つ以上を含んでよい。処理システムは、メインRAM及び/又は静的RAM及び/又はROMを含むメモリサブシステムを更に含んでよい。バスサブシステムは、コンポーネント間の通信のために含まれてよい。処理システムは、更に、ネットワークにより接続されたプロセッサを有する分散型処理システムであってよい。処理システムがディスプレイを必要とする場合、このようなディスプレイ、例えば液晶ディスプレイ(LCD)又は陰極線管(CRT)ディスプレイが含まれてよい。手動データ入力が必要とされる場合、処理システムは、キーボードのような英数字入力ユニット、マウスのようなポインティング制御装置、等のうちの1つ以上のような入力装置も含む。処理システムは、ディスクドライブユニットのような記憶システムも含んでよい。幾つかの構成における処理システムは、音声出力装置、及びネットワークインタフェース装置を含んでよい。メモリサブシステムは、従って、1つ以上のプロセッサにより実行されると本願明細書に記載の方法のうちの1つ以上を実行させる命令セットを含むコンピュータ可読コード(例えばソフトウェア)を運ぶコンピュータ可読担持媒体を含む。方法が幾つかの要素、例えば幾つかのステップを含むとき、特に断りのない限り、これらの要素の順序は示唆されないことに留意する。ソフトウェアは、ハードディスク内に存在してよく、又はlコンピュータシステムによる実行中に完全に又は部分的にRAM内に及び/又はプロセッサ内に存在してもよい。従って、メモリ及びプロセッサは、コンピュータ可読コードを運ぶコンピュータ可読媒体も構成する。更に、コンピュータ可読担持媒体は、コンピュータプログラムプロダクトを形成し又はそれに含まれてよい。
【0144】
代替的な例示的な実施形態では、1つ以上のプロセッサは、独立型装置として動作し、又は接続され、例えばネットワーク接続された展開では他のプロセッサにネットワーク接続されてよく、1つ以上のプロセッサは、サーバ-ユーザネットワーク環境でサーバ又はユーザ装置の能力で、又はピアツーピア若しくは分散型ネットワーク環境でピア装置として動作してよい。1つ以上のプロセッサは、PC(personal computer)、タブレットPC、PDA(Personal Digital Assistant)、携帯電話機、ウェブ機器、ネットワークルータ、スイッチ若しくはブリッジ、又は機械により取られるべき動作を指定する(シーケンシャル又はその他の)命令セットを実行可能な任意の機械を形成してよい。
【0145】
用語「機械」は、本願明細書に記載の方法のうちの任意の1つ以上を実行するための命令セット(又は複数のセット)を個別に又は共同で実行する機械の任意の集合を含むと考えられるべきである。
【0146】
従って、本願明細書に記載の方法の各々の例示的な実施形態は、命令セット、例えば1つ以上のプロセッサ、例えばウェブサーバ構成の部分である1つ以上のプロセッサ上での実行のためであるコンピュータプログラムを運ぶコンピュータ可読担持媒体の形式である。従って、当業者により理解されるように、本開示の例示的な実施形態は、方法、専用機器のような機器、データ処理システムのような機器、又はコンピュータ可読担持媒体、例えばコンピュータプログラムプロダクト、として具現化されてよい。コンピュータ可読担持媒体は、1つ以上のプロセッサ上で実行されると該プロセッサ又は複数のプロセッサに方法を実施させる命令セットを含むコンピュータ可読コードを運ぶ。従って、本開示の態様は、方法、完全にハードウェアの例示的な実施形態、完全にソフトウェアの例示的な実施形態、又はソフトウェア及びハードウェアの態様を組み合わせた例示的な実施形態の形式を取り得る。更に、本開示は、媒体内に付言化されるコンピュータ可読プログラムコードを運ぶ担持媒体(例えば、コンピュータ可読記憶媒体上のコンピュータプログラムプロダクト)の形式を取ってよい。
【0147】
ソフトウェアは、更に、ネットワークインタフェース装置により、ネットワークを介して送信され又は受信されてよい。担持媒体は、例示的な実施形態において信号媒体であるが、用語「担持媒体」は、1つ以上の命令セット格納するう信号媒体又は複数の媒体(例えば、中央又は分散型データベース、及び/又は関連するキャッシュ及びサーバ)を含むと解釈されるべきである。用語「担持媒体」は、プロセッサのうちの1つ以上による実行のために命令セットを格納し、符号化し、又は運ぶ能力のある、及び1つ以上のプロセッサに本開示の方法のうちの任意の1つ以上を実行させる任意の媒体も含むと解釈されるべきである。担持媒体は、限定ではないが、不揮発性媒体、揮発性媒体、及び伝送媒体を含む多くの形式を取ってよい。不揮発性媒体は、例えば、光、磁気ディスク、又は光磁気ディスクを含む。揮発性媒体は、メインメモリのような動的メモリを含む。伝送媒体は、バスサブシステムを含むワイヤを含む、同軸ケーブル、銅線、光ファイバを含む。伝送媒体は、無線波及び赤外線データ通信の間に生成されるような、音響又は光波の形式も取りうる。例えば、用語「担持媒体」は、従って、限定ではないが、固体メモリ、光及び磁気媒体内に具現化されるコンピュータプロダクト、少なくとも1つのプロセッサ又は1つ以上のプロセッサにより検出可能であり実行されると方法を実施する命令セットを表す伝搬信号を運ぶ媒体、及び1つ以上のプロセッサのうちの少なくとも1つのプロセッサにより検出可能な伝搬信号を運び命令セットを表すネットワーク内の伝送媒体を含むと解釈されるべきである。
【0148】
議論した方法のステップは、ストレージに格納された命令(コンピュータ可読コード)を実行する処理(例えば、コンピュータ)システムの適切なプロセッサ(又は複数のプロセッサ)により例示的な一実施形態において実行されることが理解される。また、本開示は任意の特定の実装又はプログラミング技術に限定されないこと、及び本開示は、本願明細書に記載の機能を実施するために任意の適切な技術を使用して実施されてよいことが理解される。本開示は、任意の特定のプログラミング言語又はオペレーティングシステムに限定されない。
【0149】
本開示を通じて「一実施形態」、「幾つかの実施形態」又は「例示的な実施形態」への言及は、例示的な実施形態に関連して記載される特定の特徴、構造、又は特性が本開示の少なくとも1つの例示的な実施形態に含まれることを意味する。従って、本開示を通じて様々な場所における「例示的な一実施形態では」、「例示的な幾つかの実施形態では」又は「例示的な実施形態では」という語句の出現は、必ずしも全部が同じ例示的な実施形態を参照しない。更に、特定の特徴、構造、又は特性は、1つ以上の例示的な実施形態において、本開示から当業者に明らかなように、任意の適切な方法で組み合わされてよい。
【0150】
本願明細書で使用されるとき、特に断りのない限り、共通のオブジェクトを説明するための序数「第1」、「第2」、「第3」などの使用は、単に、同様のオブジェクトの異なるインスタンスが言及されていることを示すものであり、説明されているオブジェクトが時間的に、空間的に、ランク付けにおいて、又は任意の他の方法で所与のシーケンスでなければならないことを意味しない。
【0151】
以下の請求の範囲及び本願明細書に記載の説明では、用語:含む、有する、構成される、又は構成するのうちの任意の1つは、広義であり、それに続く要素/特徴を服無くとも含むが他を排除しないことを意味する。従って、用語:含むは、請求項中で使用されるとき、その後に列挙される手段又は要素又はステップに限定されると解釈されてはならない。例えば、装置はA及びBを含むという表現の範囲は、装置が要素A及びBのみで構成されることに限定されるべきではない。用語:有するも、本願明細書で使用されるとき、広義であり、該用語に続く要素/特徴を少なくとも含むが他を排除しないことを意味する。従って、有するは、含むと同義語であり、含むを意味する。
【0152】
理解されるべきことに、本開示の例示的な実施形態の上述の説明では、本開示の種々の特徴は、本開示を効率化する及び種々の本発明の態様のうちの1つ以上の理解を支援する目的で、時に単一の例示的な実施形態、図、又はその説明に一緒にグループ分けされる。しかしながら、本開示のこの方法は、請求の範囲が各請求項に明示的に記載されたよりも多くの特徴を必要とするという意図を反映していると解釈されてはならない。むしろ、以下の請求項が反映するように、本発明の態様は、単一の前述の開示された例示的な実施形態の全部の特徴よりも少数にある従って、説明に続く請求の範囲は、この説明に明示的に組み込まれ、各請求項は、本開示の個別の例示的な実施形態としてそれ自体独立である。
【0153】
更に、本願明細書に記載した幾つかの例示的な実施形態は、他の例示的な実施形態に含まれる他の特徴ではなく幾つかの特徴を含むが、当業者により理解されるように、異なる例示的な実施形態の特徴の組合せは、本開示の範囲内にあることを意味し、異なる例示的な実施形態を形成する。例えば、以下の請求の範囲では、請求される例示的な実施形態のうちの何れかが、任意の組合せで使用できる。
【0154】
本願明細書で提供される説明では、多数の特定の詳細事項が説明された。しかしながら、本開示の例示的な実施形態は、これらの特定の詳細事項を有しないで実施されてよいことが理解される。他の例では、よく知られた方法、構造、及び技術は、本発明の説明の理解を不明瞭にしないために、示されなかった。
【0155】
従って、本開示のベストモードとして信じられるものが記載されたが、当業者は、他の及び更なる変更が、本開示の精神から逸脱することなく行われてよいこと、及び全てのそのような変化及び変更が本開示の範囲内にあると意図されることを理解するだろう。例えば、上述の任意の数式は、単に使用され得る手順の表現である。機能がブロック図に追加され又は削除されてよく、動作が機能ブロックの間で交互交換されてよい。ステップは本開示の範囲内に記載された方法に追加され又は削除されてよい。
【0156】
本開示の列挙される例示的な実施形態(Enumerated example embodiments (EEEs))が以下に列挙される。
(A-EEE1)ソース装置において変更ビットストリームを生成する方法であって、前記方法は、a)受信機により、符号化メディアデータを含むビットストリームを受信するステップと、b)埋め込み器により、追加メディアデータのペイロードを生成し、前記埋め込み器からの出力として前記符号化メディアデータと前記追加メディアデータの前記ペイロードとを含む変更ビットストリームを取得するために、前記ペイロードをビットストリームに埋め込むステップと、c)前記変更ビットストリームをシンク装置へ出力するステップと、を含む方法。
(A-EEE2)ステップb)は、前記追加メディアデータに関する情報を生成し、該情報を前記ビットストリームに埋め込むステップを更に含む、A-EEE1に記載の方法。
(A-EEE3)前記生成した情報は、前記追加メディアデータの構成、前記変更ビットストリーム内の前記追加メディアデータの存在に関する情報、デフォルト音量値に関する情報、遅延整合のための値に関する情報、遅延適応に関する情報、パニングに関する情報、及び前記追加メディアデータのタイプに関する情報、のうちの1つ以上を含む、A-EEE2に記載の方法。
(A-EEE4)ステップb)は、前記符号化メディアデータと前記追加メディアデータとの間の相対ゲインに関する情報を生成し、前記相対ゲインに関する情報を前記ビットストリームに埋め込むステップを更に含む、A-EEE1~3のいずれかに記載の方法。
(A-EEE5)前記変更ビットストリームはMPEG-4オーディオフォーマットである、A-EEE1~4のいずれかに記載の方法。
(A-EEE6)前記生成されたペイロードは、MPEG-4オーディオビットストリーム拡張メカニズムにより、前記変更ビットストリーム内のペイロードをトランスポートすることにより、前記ビットストリームに埋め込まれる、A-EEE5に記載の方法。
(A-EEE7)前記生成された情報及び/又は前記相対ゲインに関する生成された情報は、MPEG-4オーディオビットストリーム拡張メカニズムにより前記変更ビットストリーム内の前記生成された情報及び/又は前記相対ゲインに関する生成された情報をトランスポートすることにより、前記ビットストリームに埋め込まれる、A-EEE6に記載の方法。
(A-EEE8)前記MPEG-4オーディオビットストリーム拡張メカニズムは、データストリームエレメント(DSE)である、A-EEE6又は7に記載の方法。
(A-EEE9)前記データストリームエレメントは、前記変更ビットストリーム内の所定の位置に位置付けられ、及び/又は特定のインスタンスタグを含む、A-EEE8に記載の方法。
(A-EEE10)前記MPEG-4オーディオビットストリーム拡張メカニズムは、Fill Element(ID_FIL)である、A-EEE6又は7に記載の方法。
(A-EEE11)前記生成されたペイロードは、前記Fill Element内の汎用拡張ペイロードエレメントによりトランスポートされる、A-EEE10に記載の方法。
(A-EEE12)前記生成された情報及び/又は前記相対ゲインに関する生成された情報は、前記Fill Element内の前記汎用拡張ペイロードエレメントによりトランスポートされる、A-EEE11に記載の方法。
(A-EEE13)前記生成されたペイロードは、前記Fill Element内の新拡張ペイロードエレメントによりトランスポートされる、A-EEE10に記載の方法。
(A-EEE14)前記生成された情報及び/又は前記相対ゲインに関する生成された情報は、前記Fill Element内の前記新拡張ペイロードエレメントによりトランスポートされる、A-EEE13に記載の方法。
(A-EEE15)前記新拡張ペイロードエレメントは、ユニークな識別子を含む、A-EEE13又は14に記載の方法。
(A-EEE16)ステップc)は、Bluetooth接続により、前記シンク装置へ出力される、A-EEE1~15のいずれかに記載の方法。
(A-EEE17)前記追加メディアデータは、圧縮メディアデータ又は非圧縮メディアデータである、A-EEE1~16のいずれかに記載の方法。
(A-EEE18)前記非圧縮メディアデータは、前記ソース装置において生成されたPCMデータである、A-EEE17に記載の方法。
(A-EEE19)前記PCMデータの生成はユーザ入力に基づく、A-EEE18に記載の方法。
(A-EEE20)前記PCMデータは、イアコンデータ及びシステム音声データのうちの1つ以上を含むA-EEE18又は19に記載の方法。
(A-EEE21)前記圧縮データは、SBCフォーマット又はaptXに基づくフォーマットである、A-EEE17に記載の方法。
(A-EEE22)シンク装置において変更ビットストリームを処理する方法であって、前記方法は、
a)受信機により、符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを受信するステップと、
b)ビットストリームパーサにより、前記変更ビットストリームを前記符号化メディアデータ及び追加メディアデータのペイロードへとパースするステップと、
c)コアデコーダにより、前記符号化メディアデータをコア復号して、コア復号メディアデータを取得するステップと、
d)前記ミキサにより、前記コア復号メディアデータ及び前記追加メディアデータをミキシングして、出力信号を取得するステップと、
e)前記出力信号を出力するステップと、
を含む方法。
(A-EEE23)前記変更ビットストリームは、前記追加メディアデータに関する情報を更に含み、前記方法は、ステップa)の後、ステップb)の前に、前記情報に基づき前記変更ビットストリームを処理するステップを更に含む、A-EEE22に記載の方法。
(A-EEE24)前記情報は、前記追加メディアデータの構成、前記変更ビットストリーム内の前記追加メディアデータの存在に関する情報、デフォルト音量値に関する情報、遅延整合のための値に関する情報、遅延適応に関する情報、パニングに関する情報、及び前記追加メディアデータのタイプに関する情報、のうちの1つ以上を含む、A-EEE23に記載の方法。
(A-EEE25)前記変更ビットストリームは、前記符号化メディアデータと前記追加メディアデータとの間の相対ゲインに関する情報を更に含み、ステップd)における前記コア復号メディアデータ及び前記追加メディアデータのミキシングは、前記相対ゲインに関する前記情報に基づく、A-EEE22~24のいずれかに記載の方法。
(A-EEE26)前記方法は、処理ユニットにより、前記コア復号メディアデータ及び前記追加メディアデータをミキシングする前に、前記追加メディアデータを処理するステップを更に含むA-EEE22~25のいずれかに記載の方法。
(A-EEE27)前記追加メディアデータは、再サンプリング、遅延適応、及び音量処理、のうちの1つ以上を含む、A-EEE26に記載の方法。
(A-EEE28)前記追加メディアデータは圧縮メディアデータであり、前記方法は、デコーダにより、前記圧縮メディアデータを復号して、復号追加メディアデータを取得するステップを更に含み、ステップd)において、前記復号追加メディアデータは前記コア復号メディアデータとミキシングされる、A-EEE22~27のいずれかに記載の方法。
(A-EEE29)前記圧縮メディアデータは、SBCフォーマット又はaptXに基づくフォーマットである、A-EEE28に記載の方法。
(A-EEE30)前記追加メディアデータは非圧縮メディアデータであり、ステップd)において、前記非圧縮メディアデータは、前記コア復号メディアデータとミキシングされる、A-EEE22~27のいずれかに記載の方法。
(A-EEE31)前記変更ビットストリームはMPEG-4オーディオフォーマットである、A-EEE20~30のいずれかに記載の方法。
(A-EEE32)前記変更ビットストリームは、MPEG-4オーディオビットストリーム拡張メカニズムを含み、ステップb)におけるパースは、前記変更ビットストリーム内の前記MPEG-4オーディオビットストリーム拡張メカニズムを識別することに更に基づく、A-EEE31に記載の方法。
(A-EEE33)前記MPEG-4オーディオビットストリーム拡張メカニズムは、データストリームエレメント(DSE)であり、ステップb)におけるパースは、前記変更ビットストリーム内のデータストリームエレメントの位置を識別すること、及び/又は前記データストリームエレメントの特定のインスタンスタグを識別することに更に基づく、A-EEE32に記載の方法。
(A-EEE34)前記MPEG-4オーディオビットストリーム拡張メカニズムは、Fill Element(ID_FIL)であり、ステップb)におけるパースは、前記Fill Element内の拡張ペイロードエレメントを識別することに更に基づく、A-EEE32に記載の方法。
(A-EEE35)変更ビットストリームを生成するソース装置であって、前記装置は、
a)符号化メディアデータを含むビットストリームを受信するよう構成される受信機と、
b)追加メディアデータのペイロードを生成し、前記生成したペイロードを前記ビットストリームに埋め込んで、前記符号化メディアデータと前記追加メディアデータのペイロードとを含む変更ビットストリームを取得するよう構成される埋め込み器と、
c)シンク装置へ前記変更ビットストリームを出力するよう構成される制御ユニットと、
を含む装置。
(A-EEE36)前記埋め込み器は、前記追加メディアデータに関する情報を生成し、該情報を前記ビットストリームに埋め込むよう更に構成される、A-EEE35に記載の装置。
(A-EEE37)前記埋め込み器は、前記符号化メディアデータと前記追加メディアデータとの間の相対ゲインに関する情報を生成し、前記相対ゲインに関する情報を前記ビットストリームに埋め込むよう更に構成される、A-EEE35又は36に記載の装置。
(A-EEE38)前記変更ビットストリームはMPEG-4オーディオフォーマットである、A-EEE35~37のいずれかに記載の装置。
(A-EEE39)前記追加メディアデータは、圧縮メディアデータ又は非圧縮メディアデータである、A-EEE35~38のいずれか記載の装置。
(A-EEE40)前記非圧縮メディアデータは、前記ソース装置において生成されたPCMデータである、A-EEE39に記載の装置。
(A-EEE41)前記PCMデータの生成はユーザ入力に基づく、A-EEE40に記載の装置。
(A-EEE42)前記PCMデータは、イアコンデータ及びシステム音声データのうちの1つ以上を含むA-EEE0又は41に記載の装置。
(A-EEE43)前記圧縮メディアデータは、SBCフォーマット又はaptXに基づくフォーマットである、A-EEE39に記載の装置。
(A-EEE44)変更ビットストリームを処理するシンク装置であって、前記装置は、
a)符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを受信するよう構成される受信機と、
b)前記変更ビットストリームを前記符号化メディアデータ及び追加メディアデータのペイロードへとパースするよう構成されるビットストリームパーサと、
c)前記符号化メディアデータをコア復号して、コア復号メディアデータを取得するよう構成されるコアデコーダと、
d)前記コア復号メディアデータ及び前記追加メディアデータをミキシングして、出力信号を取得するよう構成されるミキサと、
e)前記出力信号を出力するよう構成される制御ユニットと、
を含む装置。
(A-EEE45)前記装置は、前記コア復号メディアデータ及び前記追加メディアデータをミキシングする前に、前記追加メディアデータを処理するよう構成される処理ユニットを更に含むA-EEE44に記載の装置。
(A-EEE46)前記追加メディアデータは、非圧縮メディアデータであり、前記ミキサは、前記コア復号メディアデータ及び前記非圧縮追加メディアデータをミキシングするよう構成される、A-EEE44又は45に記載の装置。
(A-EEE47)前記追加メディアデータは圧縮メディアデータであり、前記装置は、前記圧縮メディアデータを復号して、復号追加メディアデータを取得するデコーダを更に含み、前記ミキサは、前記コア復号メディアデータ及び前記復号追加メディアデータをミキシングするよう構成される、A-EEE44又は45に記載の装置。
(A-EEE48)前記変更ビットストリームは、前記追加メディアデータに関する情報を更に含み、前記シンク装置は、前記情報に基づき前記変更ビットストリームを処理するよう構成される、A-EEE44~47のいずれかに記載の装置。
(A-EEE49)前記変更ビットストリームは、前記符号化メディアデータと前記追加メディアデータとの間の相対ゲインに関する情報を更に含み、前記ミキサは、前記相対ゲインに関する前記情報に基づき、前記コア復号メディアデータ及び前記追加メディアデータをミキシングするよう更に構成される、A-EEE44~48のいずれかに記載の装置。
(A-EEE50)前記コアデコーダはMPEG-4オーディオデコーダである、A-EEE44~49のいずれかに記載の装置。
(A-EEE51)変更ビットストリームを生成するソース装置であって、前記ソース装置は、A-EEE1~21のいずれかに記載の方法を実行するよう構成される1つ以上のプロセッサを含む、ソース装置と、
変更ビットストリームを処理するシンク装置であって、前記シンク装置は、A-EEE22~34のいずれかに記載の方法を実行するよう構成される1つ以上のプロセッサを含む、シンク装置と、
のシステム。
(A-EEE52)命令を有するコンピュータ可読記憶媒体を含むコンピュータプログラムプロダクトであって、前記命令は、処理能力を有する装置により実行されると、装置に、A-EEE1~34に記載の方法を実行させるよう適応される、コンピュータプログラムプロダクト。
(A-EEE53)命令を有するコンピュータ可読記憶媒体を含むコンピュータプログラムプロダクトであって、前記命令は、処理能力を有する装置により実行されると、装置に、A-EEE22に記載の方法を実行させるよう適応される、コンピュータプログラムプロダクト。
(B-EEE1)ソース装置において変更ビットストリームを生成する方法であって、前記方法は、a)受信機により、符号化メディアデータを含むビットストリームを受信するステップと、b)埋め込み器により、追加メディアデータのペイロードを生成し、前記埋め込み器からの出力として前記符号化メディアデータと前記追加メディアデータの前記ペイロードとを含む変更ビットストリームを取得するために、前記ペイロードをビットストリームに埋め込むステップと、c)前記変更ビットストリームをシンク装置へ出力するステップと、を含む方法。
(B-EEE2)ステップb)は、前記追加メディアデータに関する情報を生成し、前記情報をビットストリームに埋め込むステップを更に含み、
任意的に、前記生成された情報は、前記追加メディアデータの構成、前記変更ビットストリーム内の前記追加メディアデータの存在に関する情報、デフォルト音量値に関する情報、遅延整合のための値に関する情報、遅延適応に関する情報、パニングに関する情報、及び前記追加メディアデータのタイプに関する情報、のうちの1つ以上を含む、B-EEE2に記載の方法。
(B-EEE3)ステップb)は、前記符号化メディアデータと前記追加メディアデータとの間の相対ゲインに関する情報を生成し、前記相対ゲインに関する情報を前記ビットストリームに埋め込むステップを更に含む、B-EEE1に記載の方法。
(B-EEE4)前記変更ビットストリームはMPEG-4オーディオフォーマットであり、
前記生成されたペイロードは、MPEG-4オーディオビットストリーム拡張メカニズムにより、前記ビットストリーム内のペイロードをトランスポートすることにより、前記ビットストリームに埋め込まれる、B-EEE1に記載の方法。
(B-EEE5)前記変更ビットストリームは、MPEG-4オーディオフォーマットであり、
前記生成された情報及び/又は前記相対ゲインに関する生成された情報は、MPEG-4オーディオビットストリーム拡張メカニズムにより前記ビットストリーム内の前記生成された情報及び/又は前記相対ゲインに関する生成された情報をトランスポートすることにより、前記ビットストリームに埋め込まれる、B-EEE3に記載の方法。
(B-EEE6)前記MPEG-4オーディオビットストリーム拡張メカニズムは、データストリームエレメント(DSE)であるか、又は、
前記MPEG-4オーディオビットストリーム拡張メカニズムは、Fill Element(ID_FIL)であり、
任意的に、前記生成されたペイロードは、汎用拡張ペイロードエレメント又はFill Element内の新拡張ペイロードエレメントを介してトランスポートされる、B-EEE4に記載の方法。
(B-EEE7)ステップc)は、Bluetooth接続により、前記シンク装置へ出力される、B-EEE1に記載の方法。
(B-EEE8)前記追加メディアデータは、前記ソース装置において生成されたPCMデータである、B-EEE1に記載の方法。
(B-EEE9)前記PCMデータは、イアコンデータ及びシステム音声データのうちの1つ以上を含む、B-EEE8に記載の方法。
(B-EEE10)前記追加メディアデータは、SBCフォーマット又はaptXに基づくフォーマットの圧縮データである、B-EEE1に記載の方法。
(B-EEE11)シンク装置において変更ビットストリームを処理する方法であって、前記方法は、
a)受信機により、符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを受信するステップと、
b)ビットストリームパーサにより、前記変更ビットストリームを前記符号化メディアデータ及び追加メディアデータのペイロードへとパースするステップと、
c)コアデコーダにより、前記符号化メディアデータをコア復号して、コア復号メディアデータを取得するステップと、
d)前記ミキサにより、前記コア復号メディアデータ及び前記追加メディアデータをミキシングして、出力信号を取得するステップと、
e)前記出力信号を出力するステップと、
を含む方法。
(B-EEE12)前記変更ビットストリームは、前記符号化メディアデータと前記追加メディアデータとの間の相対ゲインに関する情報を更に含み、ステップd)における前記コア復号メディアデータ及び前記追加メディアデータのミキシングは、前記相対ゲインに関する前記情報に基づく、B-EEE11に記載の方法。
(B-EEE13)前記方法は、前記コア復号メディアデータ及び前記追加メディアデータをミキシングする前に、処理ユニットにより、前記追加メディアデータを処理するステップを更に含み、
任意的に、前記追加メディアデータの処理は、再サンプリング、遅延適応、及び音量処理、のうちの1つ以上を含む、B-EEE11に記載の方法。
(B-EEE14)前記変更ビットストリームはMPEG-4オーディオフォーマットであり、
前記変更ビットストリームは、MPEG-4オーディオビットストリーム拡張メカニズムを含み、ステップb)におけるパースは、前記変更ビットストリーム内の前記MPEG-4オーディオビットストリーム拡張メカニズムを識別することに更に基づく、B-EEE11に記載の方法。
(B-EEE15)前記MPEG-4オーディオビットストリーム拡張メカニズムは、データストリームエレメント(DSE)であり、ステップb)におけるパースは、前記変更ビットストリーム内のデータストリームエレメントの位置を識別すること、及び/又は前記データストリームエレメントの特定のインスタンスタグを識別することに更に基づくか、又は、
前記MPEG-4オーディオビットストリーム拡張メカニズムは、Fill Element(ID_FIL)であり、ステップb)におけるパースは、Fill Element内の拡張ペイロードエレメントを識別することに更に基づく、B-EEE14に記載の方法。
(B-EEE16)変更ビットストリームを生成するソース装置であって、前記装置は、
a)符号化メディアデータを含むビットストリームを受信するよう構成される受信機と、
b)追加メディアデータのペイロードを生成し、前記生成したペイロードを前記ビットストリームに埋め込んで、前記符号化メディアデータと前記追加メディアデータのペイロードとを含む変更ビットストリームを取得するよう構成される埋め込み器と、
c)シンク装置へ前記変更ビットストリームを出力するよう構成される制御ユニットと、
を含む装置。
(B-EEE17)変更ビットストリームを処理するシンク装置であって、前記装置は、
a)符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを受信するよう構成される受信機と、
b)前記変更ビットストリームを前記符号化メディアデータ及び追加メディアデータのペイロードへとパースするよう構成されるビットストリームパーサと、
c)前記符号化メディアデータをコア復号して、コア復号メディアデータを取得するよう構成されるコアデコーダと、
d)前記コア復号メディアデータ及び前記追加メディアデータをミキシングして、出力信号を取得するよう構成されるミキサと、
e)前記出力信号を出力するよう構成される制御ユニットと、
を含む装置。
(B-EEE18)変更ビットストリームを生成するソース装置であって、前記ソース装置は、B-EEE1に記載の方法を実行するよう構成される1つ以上のプロセッサを含む、ソース装置と、
変更ビットストリームを処理するシンク装置であって、前記シンク装置は、B-EEE11に記載の方法を実行するよう構成される1つ以上のプロセッサを含む、シンク装置と、
のシステム。
(B-EEE19)命令を有するコンピュータ可読記憶媒体を含むコンピュータプログラムプロダクトであって、前記命令は、処理能力を有する装置により実行されると、装置に、B-EEE1に記載の方法を実行させるよう適応される、コンピュータプログラムプロダクト。
(B-EEE20)命令を有するコンピュータ可読記憶媒体を含むコンピュータプログラムプロダクトであって、前記命令は、処理能力を有する装置により実行されると、装置に、B-EEE11に記載の方法を実行させるよう適応される、コンピュータプログラムプロダクト。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
【手続補正書】
【提出日】2021-09-14
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ソース装置により変更ビットストリームを生成する方法であって、前記ソース装置は受信機と埋め込み器とを含み、前記方法は、
a)前記受信機により、符号化メディアデータを含むビットストリームを受信するステップと、
b)前記埋め込み器により、追加非圧縮PCMオーディオデータのペイロードを生成し、前記埋め込み器からの出力として前記符号化メディアデータと前記追加非圧縮PCMオーディオデータの前記ペイロードとを含む変更ビットストリームを取得するために、前記ペイロードをビットストリームに埋め込むステップであって、前記生成されたペイロードは、MPEG-4オーディオビットストリーム拡張メカニズムにより前記変更ビットストリーム内のペイロードをトランスポートすることにより、前記ビットストリームに埋め込まれ、前記MPEG-4オーディオビットストリーム拡張メカニズムは、データストリームエレメント(DSE)である、ステップと、
c)前記変更ビットストリームをシンク装置へ出力するステップと、
を含む方法。
【請求項2】
ステップb)は、前記追加非圧縮PCMオーディオデータに関する情報を生成し、該情報を前記ビットストリームに埋め込むステップを更に含む、請求項1に記載の方法。
【請求項3】
前記生成した情報は、前記追加非圧縮PCMオーディオデータの構成、前記変更ビットストリーム内の前記追加非圧縮PCMオーディオデータの存在に関する情報、デフォルト音量値に関する情報、遅延整合のための値に関する情報、遅延適応に関する情報、パニングに関する情報、及び前記追加非圧縮PCMオーディオデータのタイプに関する情報、のうちの1つ以上を含む、請求項2に記載の方法。
【請求項4】
ステップb)は、前記符号化メディアデータと前記追加非圧縮PCMオーディオデータとの間の相対ゲインに関する情報を生成し、前記相対ゲインに関する情報を前記ビットストリームに埋め込むステップを更に含む、請求項1~3のいずれかに記載の方法。
【請求項5】
前記生成された情報及び/又は前記相対ゲインに関する生成された情報は、MPEG-4オーディオビットストリーム拡張メカニズムにより前記変更ビットストリーム内の前記生成された情報及び/又は前記相対ゲインに関する生成された情報をトランスポートすることにより、前記ビットストリームに埋め込まれる、請求項2~4のいずれか一項に記載の方法。
【請求項6】
前記MPEG-4オーディオビットストリーム拡張メカニズムは、データストリームエレメント(DSE)であり、前記データストリームエレメント(DSE)は前記変更ビットストリーム内の所定の位置に位置付けられ、及び/又は特定のインスタンスタグを含む、請求項1~5のいずれか一項に記載の方法。
【請求項7】
ステップc)において前記変更ビットストリームは、Bluetooth接続により、前記シンク装置へ出力される、請求項1~のいずれかに記載の方法。
【請求項8】
前記PCMオーディオデータの生成はユーザ入力に基づく、請求項1~7のいずれか一項に記載の方法。
【請求項9】
前記PCMオーディオデータは、イアコンデータ及びシステム音声データのうちの1つ以上を含む請求項1~8のいずれか一項に記載の方法。
【請求項10】
シンク装置により変更ビットストリームを処理する方法であって、前記シンク装置は受信機とビットストリームパーサとコアデコーダとミキサとを含み、前記方法は、
a)前記受信機により、符号化メディアデータと追加非圧縮PCMオーディオデータのペイロードとMPEG-4オーディオビットストリーム拡張メカニズムとを含む変更ビットストリームを受信するステップであって、前記MPEG-4オーディオビットストリーム拡張メカニズムは、データストリームエレメント(DSE)である、ステップと、
b)前記ビットストリームパーサにより、前記変更ビットストリームを前記符号化メディアデータ及び追加非圧縮PCMオーディオデータのペイロードへとパースするステップであって、前記パースは、前記変更ビットストリーム内の前記MPEG-4オーディオビットストリーム拡張メカニズムを識別することに基づく、ステップと、
c)前記コアデコーダにより、前記符号化メディアデータをコア復号して、コア復号メディアデータを取得するステップと、
d)前記ミキサにより、前記コア復号メディアデータ及び前記追加非圧縮PCMオーディオデータをミキシングして、出力信号を取得するステップと、
e)前記出力信号を出力するステップと、
を含む方法。
【請求項11】
前記変更ビットストリームは、前記追加非圧縮PCMオーディオデータに関する情報を更に含み、前記方法は、ステップa)の後、ステップb)の前に、前記情報に基づき前記変更ビットストリームを処理するステップを更に含む、請求項10に記載の方法。
【請求項12】
前記情報は、前記追加非圧縮PCMオーディオデータの構成、前記変更ビットストリーム内の前記追加非圧縮PCMオーディオデータの存在に関する情報、デフォルト音量値に関する情報、遅延整合のための値に関する情報、遅延適応に関する情報、パニングに関する情報、及び前記追加非圧縮PCMオーディオデータのタイプに関する情報、のうちの1つ以上を含む、請求項11に記載の方法。
【請求項13】
前記変更ビットストリームは、前記符号化メディアデータと前記追加非圧縮PCMオーディオデータとの間の相対ゲインに関する情報を更に含み、ステップd)における前記コア復号メディアデータ及び前記追加非圧縮PCMオーディオデータのミキシングは、前記相対ゲインに関する前記情報に基づく、請求項1012のいずれかに記載の方法。
【請求項14】
前記方法は、処理ユニットにより、前記コア復号メディアデータ及び前記追加非圧縮PCMオーディオデータをミキシングする前に、前記追加非圧縮PCMオーディオデータを処理するステップを更に含む請求項1013のいずれかに記載の方法。
【請求項15】
前記追加非圧縮PCMオーディオデータは、再サンプリング、遅延適応、及び音量処理、のうちの1つ以上を含む、請求項14に記載の方法。
【請求項16】
ステップb)におけるパースは、前記変更ビットストリーム内のデータストリームエレメントの位置を識別すること、及び/又は前記データストリームエレメントの特定のインスタンスタグを識別することに更に基づく、請求項10~15のいずれか一項に記載の方法。
【請求項17】
MPEG-4オーディオフォーマットの変更ビットストリームを生成するソース装置であって、前記装置は、
a)符号化メディアデータを含むビットストリームを受信するよう構成される受信機と、
b)追加非圧縮PCMオーディオデータのペイロードを生成し、前記生成したペイロードを前記ビットストリームに埋め込んで、前記符号化メディアデータと前記追加非圧縮PCMオーディオデータのペイロードとを含む変更ビットストリームを取得するよう構成される埋め込み器であって、前記埋め込み器は、MPEG-4オーディオビットストリーム拡張メカニズムにより前記変更ビットストリーム内のペイロードをトランスポートすることにより、前記ビットストリームに前記生成したペイロードを埋め込むよう更に構成され、前記MPEG-4オーディオビットストリーム拡張メカニズムはデータストリームエレメント(DSE)である、埋め込み器と、
c)シンク装置へ前記変更ビットストリームを出力するよう構成される制御ユニットと、
を含む装置。
【請求項18】
前記埋め込み器は、前記追加非圧縮PCMオーディオデータに関する情報を生成し、該情報を前記ビットストリームに埋め込むよう更に構成される、請求項17に記載の装置。
【請求項19】
前記埋め込み器は、前記符号化メディアデータと前記追加非圧縮PCMオーディオデータとの間の相対ゲインに関する情報を生成し、前記相対ゲインに関する情報を前記ビットストリームに埋め込むよう更に構成される、請求項17又は18に記載の装置。
【請求項20】
前記非圧縮PCMオーディオデータの生成はユーザ入力に基づく、請求項17~19のいずれか一項に記載の装置。
【請求項21】
前記非圧縮PCMオーディオデータは、イアコンデータ及びシステム音声データのうちの1つ以上を含む請求項17~20のいずれか一項に記載の装置。
【請求項22】
変更ビットストリームを処理するシンク装置であって、前記装置は、
a)符号化メディアデータと追加非圧縮PCMオーディオデータのペイロードとMPEG-4オーディオビットストリーム拡張メカニズムとを含む変更ビットストリームを受信するよう構成される受信機であって、前記MPEG-4オーディオビットストリーム拡張メカニズムはデータストリームエレメント(DSE)である、受信機と、
b)前記変更ビットストリームを前記符号化メディアデータ及び追加非圧縮PCMオーディオデータのペイロードへとパースするよう構成されるビットストリームパーサであって、前記ビットストリームパーサは、前記変更ビットストリーム内の前記MPEG-4オーディオビットストリーム拡張メカニズムを識別することに基づき、前記変更ビットストリームをパースするよう更に構成される、ビットストリームパーサと、
c)前記符号化メディアデータをコア復号して、コア復号メディアデータを取得するよう構成されるコアデコーダと、
d)前記コア復号メディアデータ及び前記追加非圧縮PCMオーディオデータをミキシングして、出力信号を取得するよう構成されるミキサと、
e)前記出力信号を出力するよう構成される制御ユニットと、
を含む装置。
【請求項23】
前記装置は、前記コア復号メディアデータ及び前記追加非圧縮PCMオーディオデータをミキシングする前に、前記追加非圧縮PCMオーディオデータを処理するよう構成される処理ユニットを更に含む請求項22に記載の装置。
【請求項24】
前記変更ビットストリームは、前記追加非圧縮PCMオーディオデータに関する情報を更に含み、前記シンク装置は、前記情報に基づき前記変更ビットストリームを処理するよう構成される、請求項22~23のいずれかに記載の装置。
【請求項25】
前記変更ビットストリームは、前記符号化メディアデータと前記追加非圧縮PCMオーディオデータとの間の相対ゲインに関する情報を更に含み、前記ミキサは、前記相対ゲインに関する前記情報に基づき、前記コア復号メディアデータ及び前記追加非圧縮PCMオーディオデータをミキシングするよう更に構成される、請求項22~24のいずれかに記載の装置。
【請求項26】
前記コアデコーダはMPEG-4オーディオデコーダである、請求項22~25のいずれかに記載の装置。
【請求項27】
MPEG-4オーディオフォーマットの変更ビットストリームを生成するソース装置であって、前記ソース装置は、請求項1~のいずれかに記載の方法を実行するよう構成される1つ以上のプロセッサを含む、ソース装置と、
変更ビットストリームを処理するシンク装置であって、前記シンク装置は、請求項10~16のいずれかに記載の方法を実行するよう構成される1つ以上のプロセッサを含む、シンク装置と、
のシステム。
【請求項28】
命令を有するコンピュータ可読記憶媒体を含むコンピュータプログラムプロダクトであって、前記命令は、処理能力を有する装置により実行されると、装置に、請求項1~16のいずれか一項に記載の方法を実行させるよう適応される、コンピュータプログラムプロダクト。
【国際調査報告】