IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧 ▶ ドルビー・インターナショナル・アーベーの特許一覧

特表2024-531963オーディオデータのメタデータベースダイナミック処理の方法及び装置
<>
  • 特表-オーディオデータのメタデータベースダイナミック処理の方法及び装置 図1
  • 特表-オーディオデータのメタデータベースダイナミック処理の方法及び装置 図2
  • 特表-オーディオデータのメタデータベースダイナミック処理の方法及び装置 図3
  • 特表-オーディオデータのメタデータベースダイナミック処理の方法及び装置 図4
  • 特表-オーディオデータのメタデータベースダイナミック処理の方法及び装置 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-03
(54)【発明の名称】オーディオデータのメタデータベースダイナミック処理の方法及び装置
(51)【国際特許分類】
   G10L 19/02 20130101AFI20240827BHJP
   G10L 19/00 20130101ALI20240827BHJP
   G10L 19/008 20130101ALI20240827BHJP
   G10L 21/0364 20130101ALI20240827BHJP
   H03G 3/20 20060101ALI20240827BHJP
   H03G 7/00 20060101ALN20240827BHJP
【FI】
G10L19/02 170Z
G10L19/00 330B
G10L19/008 100
G10L21/0364
H03G3/20 Z
H03G7/00 002
【審査請求】未請求
【予備審査請求】有
(21)【出願番号】P 2024509353
(86)(22)【出願日】2022-08-24
(85)【翻訳文提出日】2024-02-16
(86)【国際出願番号】 US2022041388
(87)【国際公開番号】W WO2023028154
(87)【国際公開日】2023-03-02
(31)【優先権主張番号】21193209.0
(32)【優先日】2021-08-26
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】63/237,231
(32)【優先日】2021-08-26
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/251,307
(32)【優先日】2021-10-01
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(71)【出願人】
【識別番号】510185767
【氏名又は名称】ドルビー・インターナショナル・アーベー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100229448
【弁理士】
【氏名又は名称】中槇 利明
(72)【発明者】
【氏名】フェルシュ,クリストフ
(72)【発明者】
【氏名】ノークロス,スコット グレゴリー
【テーマコード(参考)】
5J030
5J100
【Fターム(参考)】
5J030BA04
5J100JA05
(57)【要約】
本願には、再生のためのオーディオデータのメタデータベースダイナミック処理の方法であって、デコーダによって、オーディオデータ及びダイナミックラウドネス調整のためのメタデータを含むビットストリームを受信することと、復号されたオーディオデータ及びメタデータを得るようオーディオデータ及びメタデータを復号することと、メータデータから、再生条件に基づきダイナミックラウドネス調整のための1つ以上の処理パラメータを決定することと、処理されたオーディオデータを得るよう、決定された1つ以上の処理パラメータを復号されたオーディオデータに適用することと、処理されたオーディオデータを再生のために出力することとを含む方法が記載されている。更に、オーディオデータ及びダイナミックラウドネス調整のためのメタデータをビットストリームに符号化する方法が記載されている。更には、各々のデータ及びエンコーダ、各々のシステム及びコンピュータプログラム製品が記載されている。
【特許請求の範囲】
【請求項1】
再生のためのオーディオデータのメタデータベースダイナミック処理の方法であって、
デコーダによって、オーディオデータ及びダイナミックラウドネス調整のためのメタデータを含むビットストリームを受信することであり、前記ダイナミックラウドネス調整のためのメタデータは複数組のメタデータを含み、メタデータの各組が各々の再生条件に対応する、前記受信することと、
前記デコーダによって、復号されたオーディオデータ及び前記メタデータを得るよう前記オーディオデータ及び前記メタデータを復号することと、
前記デコーダへ供給された再生条件情報に応答して、特定の再生条件に対応するメタデータの組を選択し、該選択されたメタデータの組から、ダイナミックラウドネス調整のための1つ以上の処理パラメータを取り出すことと、
処理されたオーディオデータを得るよう前記取り出された1つ以上の処理パラメータを前記復号されたオーディオデータに適用することと、
前記処理されたオーディオデータを再生のために出力することと
を有する方法。
【請求項2】
前記1つ以上の処理パラメータを取り出すことは、ダイナミックレンジ圧縮(DRC)のための1つ以上の処理パラメータを取り出すことを更に含む、
請求項1に記載の方法。
【請求項3】
前記再生条件情報は、特定のラウドスピーカセットアップを示す、
請求項1又は2に記載の方法。
【請求項4】
前記選択されたメタデータの組は、DRCシーケンスの組(DRCSet)を含む、
請求項1乃至3のうちいずれか一項に記載の方法。
【請求項5】
前記メタデータの組を選択することは、特定のダウンミックスに対応するメタデータの組を特定することを含む、
請求項1乃至4のうちいずれか一項に記載の方法。
【請求項6】
前記複数組のメタデータは夫々が、平均ラウドネス値に関する1つ以上の処理パラメータ、及び任意に、ダイナミックレンジ圧縮特性に関する1つ以上の処理パラメータを含む、
請求項1乃至5のうちいずれか一項に記載の方法。
【請求項7】
前記ビットストリームは、前記復号されたオーディオデータに適用されるスタティックラウドネス調整のための追加メタデータを更に含む、
請求項1乃至6のうちいずれか一項に記載の方法。
【請求項8】
前記ビットストリームはMPEG-D DRCビットストリームであり、前記メタデータの存在は、MPEG-D DRCビットストリームシンタックスに基づきシグナリングされる、
請求項1乃至7のうちいずれか一項に記載の方法。
【請求項9】
loudnessInfoSetExtension()要素が、ペイロードとして前記メタデータを運ぶために使用される、
請求項8に記載の方法。
【請求項10】
前記メタデータは1つ以上のメタデータペイロードを含み、各メタデータペイロードは複数組のパラメータと識別子を含み、各組が、各々のダウンミックス識別子(downmixId)を、当該組内のダウンミックス識別子に関する1つ以上の処理パラメータと組み合わせて含む、
請求項1乃至9のうちいずれか一項に記載の方法。
【請求項11】
再生のためのオーディオデータのメタデータベースダイナミック処理のためのデコーダであって、1つ以上のプロセッサ及び非一時的なメモリを含む前記デコーダにおいて、
前記1つ以上のプロセッサは、
デコーダによって、オーディオデータ及びダイナミックラウドネス調整のためのメタデータを含むビットストリームを受信することであり、前記ダイナミックラウドネス調整のためのメタデータは複数組のメタデータを含み、メタデータの各組が各々の再生条件に対応する、前記受信することと、
前記デコーダによって、復号されたオーディオデータ及び前記メタデータを得るよう前記オーディオデータ及び前記メタデータを復号することと、
前記デコーダへ供給された再生条件情報に応答して、特定の再生条件に対応するメタデータの組を選択し、該選択されたメタデータの組から、ダイナミックラウドネス調整のための1つ以上の処理パラメータを取り出すことと、
処理されたオーディオデータを得るよう前記取り出された1つ以上の処理パラメータを前記復号されたオーディオデータに適用することと、
前記処理されたオーディオデータを再生のために出力することと
を有する方法を実行するよう構成される、
デコーダ。
【請求項12】
オーディオデータ及びダイナミックラウドネス調整のためのメタデータをビットストリームに符号化する方法であって、
ラウドネス処理されたオーディオデータをラウドネスレベラからの出力として得るようオリジナルオーディオデータをラウドネス処理のために前記ラウドネスレベラに入力することと、
前記ラウドネス処理されたオーディオデータ及び前記オリジナルオーディオデータに基づき前記ダイナミックラウドネス調整のためのメタデータを生成することと、
前記オリジナルオーディオデータ及び前記メタデータを前記ビットストリームに符号化することと
を有する方法。
【請求項13】
デコーダによって使用されるスタティックラウドネス調整のための追加メタデータを生成することを更に有する、
請求項12に記載の方法。
【請求項14】
前記メタデータを生成することは、前記ラウドネス処理されたオーディオデータを前記オリジナルオーディオデータと比較することを含み、前記メタデータは、前記比較の結果に基づき生成される、
請求項12又は13に記載の方法。
【請求項15】
前記メタデータを生成することは、1つ以上の事前定義された期間にわたってラウドネスを測定することを更に含み、前記メタデータは、前記測定されたラウドネスに更に基づき生成される、
請求項14に記載の方法。
【請求項16】
前記測定することは、前記オーディオデータの全体的なラウドネスを測定することを有する、
請求項15に記載の方法。
【請求項17】
前記測定することは、前記オーディオデータにおけるダイアログのラウドネスを測定することを有する、
請求項15に記載の方法。
【請求項18】
前記ビットストリームはMPEG-D DRCビットストリームであり、前記メタデータの存在は、MPEG-D DRCビットストリームシンタックスに基づきシグナリングされる、
請求項12乃至17のうちいずれか一項に記載の方法。
【請求項19】
loudnessInfoSetExtension()要素が、ペイロードとして前記メタデータを運ぶために使用される、
請求項18に記載の方法。
【請求項20】
前記メタデータは複数組のパラメータを含み、メタデータの各組が各々の再生条件に対応する、
請求項12乃至19のうちいずれか一項に記載の方法。
【請求項21】
前記メタデータは1つ以上のメタデータペイロードを含み、各メタデータペイロードは複数組のパラメータと識別子を含み、各組が、各々のダウンミックス識別子(downmixId)を、当該組内のダウンミックス識別子に関する1つ以上の処理パラメータと組み合わせて含み、該1つ以上の処理パラメータは、デコーダによるダイナミックラウドネス調整のためのパラメータである、
請求項12乃至20のうちいずれか一項に記載の方法。
【請求項22】
オリジナルオーディオデータ及びダイナミックラウドネス調整のためのメタデータをビットストリームに符号化するエンコーダであって、1つ以上のプロセッサ及び非一時的なメモリを含む前記エンコーダにおいて、
前記1つ以上のプロセッサは、
ラウドネス処理されたオーディオデータをラウドネスレベラからの出力として得るようオリジナルオーディオデータをラウドネス処理のために前記ラウドネスレベラに入力することと、
前記ラウドネス処理されたオーディオデータ及び前記オリジナルオーディオデータに基づき前記ダイナミックラウドネス調整のためのメタデータを生成することと、
前記オリジナルオーディオデータ及び前記メタデータを前記ビットストリームに符号化することと
を有する方法を実行するよう構成される、
エンコーダ。
【請求項23】
請求項22に記載の、オリジナルオーディオデータ及びダイナミックラウドネス調整のためのメタデータをビットストリームに符号化するエンコーダと、
請求項11に記載の、再生のためのオーディオデータのメタデータベースダイナミック処理のためのデコーダと
を有するシステム。
【請求項24】
プロセッシング能力を備えているデバイスによって実行される場合に、前記デバイスに、請求項1乃至10又は12乃至21のうちいずれか一項に記載の方法を実行させるよう適応されている命令を有するコンピュータプログラム。
【請求項25】
請求項24に記載のコンピュータプログラムを記憶しているコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、再生のためのオーディオデータのメタデータベースダイナミック処理の方法に概して関係があり、具体的には、ダイナミックラウドネス調整及び/又はダイナミックレンジ圧縮のために1つ以上の処理パラメータを決定しオーディオデータに適用することに関係がある。本開示は、オーディオデータとダイナミックラウドネス調整及び/又はダイナミックレンジ圧縮のためのメタデータとをビットストリームに符号化する方法に更に関係がある。本開示はまた、各々のデータ及びエンコーダ並びに各々のシステム及びコンピュータプログラム製品に更に関係がある。
【0002】
いくつかの実施形態がその開示の具体的な参照により本明細書で記載されている一方で、本開示はそのような使用の分野に制限されず、より広い意味で適用可能であることが理解されるであろう。
【背景技術】
【0003】
本開示わたる背景技術の如何なる議論も、そのような技術が広く知られていたり又は当該分野における共通の一般知識の部分を形成したりするという承認として決して見なされない。
【0004】
オーディオコンテンツの再生において、ラウドネスは音圧の個人的な経験である。映画又はテレビコンテンツでは、プログラム内のダイアログ(対話や対談)のラウドネスが、聞く者によるプログラムラウドネスの認知を決定する最も重大なパラメータであることが分かっている。
【0005】
プログラム全体又はダイアログのみのいずれかのプログラムの平均ラウドネスを決定するために、プログラム全体の解析が実行される必要がある。平均ラウドネスは、通常は、ラウドネスコンプライアンス(例えば、米国のCALM法)のために必要であり、ダイナミックレンジ制御(DRC)パラメータを調整するためにも使用される。プログラムのダイナミックレンジは、その最も静かなサウンドとその最も大きいサウンドとの間の差である。プログラムのダイナミックレンジはそのコンテンツに依存し、例えば、アクション映画はドキュメンタリーとは異なる、より広いダイナミックレンジを有する場合があり、作成者の意図を反映している。しかし、元のダイナミックレンジでオーディオコンテンツを再生するデバイスの能力は大きく異なっている。ラウドネス測定に加えて、ダイナミックレンジ制御は、このようにして、最適な聴取経験の提供における更なる重要な因子である。
【0006】
ラウドネス管理及びダイナミックレンジ制御を行うために、オーディオプログラム全体又はオーディオプログラムセグメントが解析されるべきであり、結果として得られるラウドネス及びDRCパラメータは、デコーダ又は再生デバイスで適用されるオーディオデータ又は符号化されたオーディオデータとともに供給され得る。
【0007】
符号化前のオーディオプログラム全体又はオーディオプログラムセグメントの解析が利用可能でないとき、例えば、リアルタイム(ダイナミック)符号化において、ラウドネスの処理又はレベリングが、ラウドネスのコンプライアンスを確保するために使用され、該当する場合は、再生要件に応じて潜在的なダイナミックレンジの制限が適用される。このアプローチは、単一の再生環境にとって“最適”である処理されたオーディオを供給する。
【0008】
よって、再生デバイスがデバイス制約又はユーザ要求に応じて動的にオーディオを変更するためにメタデータを使用できるように、付随するメタデータとともに“オリジナル”の未処理オーディオを供給するメタデータベース処理に対するニーズが存在する。
【発明の概要】
【0009】
本開示の第1の側面に従って、再生のためのオーディオデータのメタデータベースダイナミック処理の方法が提供される。方法は、デコーダによって、オーディオデータ及びダイナミックラウドネス調整のためのメタデータを含むビットストリームを受信することを含み得る。方法は、デコーダによって、復号されたオーディオデータ及びメタデータを得るようオーディオデータ及びメタデータを復号することを更に含み得る。方法は、デコーダによって、メタデータから、再生条件に基づきダイナミックラウドネス調整のための1つ以上の処理パラメータを決定することを更に含み得る。方法は、処理されたオーディオデータを得るよう、決定された1つ以上の処理パラメータを復号されたオーディオデータに適用することを更に含み得る。また、方法は、処理されたオーディオデータを再生のために出力することを含み得る。
【0010】
ダイナミックラウドネス調整のためのメタデータは複数組のメタデータを含んでもよく、各組が各々の(例えば、異なった)再生条件に対応する。その場合に、(特定の)再生条件に基づきメタデータからダイナミックラウドネス調整のための1つ以上の処理パラメータを決定することは、デコーダへ供給された再生条件情報に応答して、(特定の)再生条件に対応するメタデータの組を選択し、選択されたメタデータの組から、ダイナミックラウドネス調整のための1つ以上の処理パラメータを取り出すことを含み得る。その中で、再生条件情報は、(特定の)再生条件又はそれから導出された情報を示し得る。
【0011】
いくつかの実施形態で、メタデータは、複数の再生条件についてダイナミックラウドネス調整のための処理パラメータを示し得る。
【0012】
いくつかの実施形態で、1つ以上の処理パラメータを決定することは、再生条件に基づきダイナミックレンジ圧縮(Dynamic Range Compression,DRC)のための1つ以上の処理パラメータを決定することを更に含んでもよい。
【0013】
いくつかの実施形態で、再生条件情報は、特定のラウドスピーカセットアップを示し得る。一般に、再生条件は、デコーダのデバイスタイプ、再生デバイスの特性、ラウドスピーカの特性、ラウドスピーカセットアップ、背景ノイズの特性、周囲ノイズの特性、及び音響環境の特性のうちの1つ以上を含んでもよい。
【0014】
いくつかの実施形態で、選択されたメタデータの組は、DRCシーケンスの組(DRCSet)を含んでもよい。更に、複数組のメタデータの夫々は、DRCシーケンスの各々の組(DRCSet)を含んでもよい。一般に、1つ以上の処理パラメータを決定することは、デコーダによって、再生条件に対応する、DRCシーケンスの組(DRCSet)、イコライザパラメータの組(EQSet)、及びダウンミックスのうちの少なくとも1つを選択することを更に含むと言われてもよい。
【0015】
いくつかの実施形態で、1つ以上の処理パラメータを決定することは、メタデータから1つ以上の処理パラメータを決定するために、少なくとも1つの選択されたDRCSet、EQSet、及びダウンミックスを示すメタデータ識別子を特定することを更に含んでもよい。具体的に、メタデータの組を選択することは、特定のダウンミックスに対応するメタデータの組を特定することを含んでもよい。特定のダウンミックスはラウドスピーカセットアップに基づき決定され得る。
【0016】
いくつかの実施形態で、メタデータは、平均ラウドネス値に関する1つ以上の処理パラメータ、及び任意に、ダイナミックレンジ圧縮特性に関する1つ以上の処理パラメータを含んでもよい。具体的に、メタデータの各組は、平均ラウドネス値に関するそのような1つ以上の処理パラメータ、及び任意に、ダイナミックレンジ圧縮特性に関する1つ以上の処理パラメータを含み得る。
【0017】
いくつかの実施形態で、ビットストリームは、復号されたオーディオデータに適用されるスタティックラウドネス調整のための追加メタデータを更に含んでもよい。
【0018】
いくつかの実施形態で、ビットストリームは、MPEG-D DRCビットストリームであってよく、メタデータの存在は、MPEG-D DRCビットストリームシンタックスに基づきシグナリングされてもよい。
【0019】
いくつかの実施形態で、loudnessInfoSetExtension()要素が、ペイロードとして前記メタデータを運ぶために使用されてもよい。
【0020】
いくつかの実施形態で、メタデータは1つ以上のメタデータペイロードを含んでもよく、各メタデータペイロードは複数組のパラメータと識別子を含んでもよく、各組が、DRCSet識別子(drcSetId)、EQSet識別子(eqSetId)、及びダウンミックス識別子(downmixId)のうちの少なくとも1つを、当該組内のそれらの識別子に関する1つ以上の処理パラメータと組み合わせて含む。
【0021】
いくつかの実施形態で、1つ以上の処理パラメータを決定することは、デコーダによって選択された少なくとも1つのDRCSet、EQSet、及びダウンミックスに基づきペイロード内の複数組の中からある組を選択することを含んでもよく、デコーダによって決定された1つ以上の処理パラメータは、選択された組内の識別子に関する1つ以上の処理パラメータであってよい。
【0022】
本開示の第2の側面に従って、再生のためのオーディオデータのメタデータベースダイナミック処理のためのデコーダが提供される。デコーダは、1つ以上のプロセッサ及び非一時的なメモリを含み、デコーダによって、オーディオデータ及びダイナミックラウドネス調整のためのメタデータを含むビットストリームを受信することと、デコーダによって、復号されたオーディオデータ及びメタデータを得るようオーディオデータ及びメタデータを復号することと、デコーダによって、メタデータから、再生条件に基づきダイナミックラウドネス調整のための1つ以上の処理パラメータを決定することと、処理されたオーディオデータを得るよう、決定された1つ以上の処理パラメータを復号されたオーディオデータに適用することと、処理されたオーディオデータを再生のために出力することとを含む方法を実行するよう構成され得る。
【0023】
ダイナミックラウドネス調整のためのメタデータは複数組のメタデータを含んでもよく、各組が各々の(例えば、異なった)再生条件に対応する。その場合に、(特定の)再生条件に基づきメタデータからダイナミックラウドネス調整のための1つ以上の処理パラメータを決定することは、デコーダへ供給された再生条件情報に応答して、(特定の)再生条件に対応するメタデータの組を選択し、選択されたメタデータの組から、ダイナミックラウドネス調整のための1つ以上の処理パラメータを取り出すことを含み得る。その中で、再生条件情報は、(特定の)再生条件又はそれから導出された情報を示し得る。
【0024】
本開示の第3の側面に従って、オーディオデータ及びダイナミックラウドネス調整のためのメタデータをビットストリームに符号化する方法が提供される。方法は、ラウドネス処理されたオーディオデータをラウドネスレベラからの出力として得るようオリジナルオーディオデータをラウドネス処理のために前記ラウドネスレベラに入力することを含み得る。方法は、ラウドネス処理されたオーディオデータ及びオリジナルオーディオデータに基づきダイナミックラウドネス調整のためのメタデータを生成することを更に含み得る。また、方法は、オリジナルオーディオデータ及びメタデータをビットストリームに符号化することを含んでもよい。
【0025】
いくつかの実施形態では、メタデータは複数組のメタデータを含んでもよい。メタデータの各組は、各々の(例えば、異なった)再生条件に対応し得る。
【0026】
いくつかの実施形態で、方法は、デコーダによって使用されるスタティックラウドネス調整のための追加メタデータを生成することを更に含み得る。
【0027】
いくつかの実施形態で、メタデータを生成することは、ラウドネス処理されたオーディオデータをオリジナルオーディオデータと比較することを含んでもよく、メタデータは、その比較の結果に基づき生成され得る。
【0028】
いくつかの実施形態で、メタデータを生成することは、1つ以上の事前定義された期間にわたってラウドネスを測定することを更に含んでもよく、メタデータは、測定されたラウドネスに更に基づき生成され得る。
【0029】
いくつかの実施形態で、測定することは、オーディオデータの全体的なラウドネスを測定することを有してもよい。
【0030】
いくつかの実施形態で、測定することは、オーディオデータにおけるダイアログのラウドネスを測定することを有してもよい。
【0031】
いくつかの実施形態で、ビットストリームはMPEG-D DRCビットストリームであってよく、メタデータの存在は、MPEG-D DRCビットストリームシンタックスに基づきシグナリングされてもよい。
【0032】
いくつかの実施形態で、loudnessInfoSetExtension()要素が、ペイロードとしてメタデータを運ぶために使用されてもよい。
【0033】
いくつかの実施形態で、メタデータは1つ以上のメタデータペイロードを含んでもよく、各メタデータペイロードは複数組のパラメータと識別子を含んでもよく、各組が、DRCSet識別子(drcSetId)、EQSet識別子(eqSetId)、及びダウンミックス識別子(downmixId)のうちの少なくとも1つを、当該組内のそれらの識別子に関する1つ以上の処理パラメータと組み合わせて含み、1つ以上の処理パラメータは、デコーダによるダイナミックラウドネス調整のためのパラメータであってよい。
【0034】
いくつかの実施形態で、drcSetId、eqSetId、及びdownmixIdのうちの少なくとも1つは、デコーダによって選択されるDRCシーケンスの組(DRCSet)、イコライザパラメータの組(EQSet)、及びダウンミックスのうちの少なくとも1つに関係することができる。
【0035】
本開示の第4の側面に従って、オリジナルオーディオデータ及びダイナミックラウドネス調整のためのメタデータをビットストリームに符号化するエンコーダが提供される。エンコーダは、1つ以上のプロセッサ及び非一時的なメモリを含み、ラウドネス処理されたオーディオデータをラウドネスレベラからの出力として得るようオリジナルオーディオデータをラウドネス処理のために前記ラウドネスレベラに入力することと、ラウドネス処理されたオーディオデータ及びオリジナルオーディオデータに基づきダイナミックラウドネス調整のためのメタデータを生成することと、オリジナルオーディオデータ及びメタデータをビットストリームに符号化することを含む方法を実行するよう構成され得る。
【0036】
本開示の第5の側面に従って、オリジナルオーディオデータ及びダイナミックラウドネス調整のためのメタデータをビットストリームに符号化するエンコーダと、再生のためのオーディオデータのメタデータベースダイナミック処理のためのデコーダとを有するシステムが提供される。
【0037】
本開示の第6の側面に従って、プロセッシング能力を備えているデバイスによって実行される場合に、デバイスに、再生のためのオーディオデータのメタデータベースダイナミック処理の方法、又はオーディオデータ及びダイナミックラウドネス調整のためのメタデータをビットストリームに符号化する方法を実行させるよう適応されている命令を含むコンピュータ可読記憶媒体を有するコンピュータプログラム製品が提供される。
【0038】
本開示の第7の態様に従って、本明細書で記載されるコンピュータプログラム製品を記憶しているコンピュータ可読記憶媒体が提供される。
【0039】
これより、本開示の例示的な実施形態が、単なる例として、添付の図面を参照して説明される。
【図面の簡単な説明】
【0040】
図1】再生のためのオーディオデータのメタデータベースダイナミック処理のためのデコーダの例を表す。
図2】再生のためのオーディオデータのメタデータベースダイナミック処理の方法の例を表す。
図3】オリジナルオーディオデータ及びダイナミックラウドネス調整のためのメタデータをビットストリームに符号化するエンコーダの例を表す。
図4】オーディオデータ及びダイナミックラウドネス調整のためのメタデータをビットストリームに符号化する方法の例を表す。
図5】1つ以上のプロセッサ及び非一時的なメモリを有し、本明細書で記載される方法を実行するよう構成されているデバイスの例を表す。
【発明を実施するための形態】
【0041】
[概要]
プログラム又はダイアログの平均ラウドネスは、ブロードキャスト又はストリーミングプログラムのラウドネスコンプライアンスに使用される主要なパラメータ又は値である。平均ラウドネスは、通常、-24又は-23LKFSにセットされる。ラウドネスメタデータをサポートするオーディオコーデックによれば、プログラム全体のラウドネスを表すこの単一のラウドネス値は、ビットストリームにおいて運ばれる。復号化プロセスでこの値を使用すると、予測可能な再生レベルをもたらす利得調整が可能であり、それにより、プログラムは既知の一貫したレベルで再生される。従って、このラウドネス値が適切に且つ正確にセットされることは重要である。平均ラウドネスは符号化前のプログラム全体の測定に依存するので、未知のラウドネス及びダイナミックレンジ変動を伴った動的な符号化などの実時間状況の場合、これは、しかしながら、不可能である。
【0042】
符号化前にファイル全体のラウドネスを測定することができない場合、ダイナミックラウドネスレベラが、符号化前にオーディオデータを、それが必要なラウドネスを満たすように変更又は輪郭調整するためにしばしば使用される。このようなラウドネス管理は、オーディオコンテンツダイナミックレンジ相関をしばしば変更し、このようにして創造的な意図を変更する可能性があるために、しばしば、コンプライアンスを満足するには劣った方法と見なされる。これは、メタデータ駆動コーデック及び配信システムの利点の1つである、全ての再生デバイスに1つのオーディオアセットを分配することが望ましい場合に、特に当てはまる。
【0043】
いくつかのアプローチでは、オーディオコンテンツは、必要とされるターゲットラウドネスと混合され、対応するラウドネスメタデータは、その値にセットされる。ラウドネスレベラは、オーディオコンテンツをターゲットラウドネスに導くのを助けるために使用されるために、これらの状況でも引き続き使用される可能性がある、それはそれほど“積極的”ではなく、オーディオコンテンツが必要とされるターゲットラウドネスから外れ始める場合にのみ使用される。
【0044】
以上を鑑み、本明細書で記載される方法及び装置は、ダイナミック処理状況とも呼ばれる実時間処理状況をメタデータ駆動型にもすることを目的とする。メタデータは、実時間状況でのダイナミックラウドネス調整及びダイナミックレンジ圧縮を可能にする。記載されている方法及び装置は、有利なことに:
●MPEG-D DRCシンタックスでの実時間ラウドネス調整及びDRCの使用;
●downmixIdと組み合わせた実時間ラウドネス調整及びDRCの使用;
●drcSetIdと組み合わせた実時間ラウドネス調整及びDRCの使用;
●eqSetIdと組み合わせた実時間ラウドネス調整及びDRCの使用
を可能にする。
【0045】
すなわち、デコーダ設定(例えば、DRCSet、EQSet、及びダウンミックス)に応じて、デコーダは、上記の設定を識別子と照合することによって、シンタックスに基づいて、適切なパラメータと識別子の組について所与のペイロードを探すことができる。識別子が設定と最もよく一致している組に含まれているパラメータが、その場合に、補正のために受信されたオリジナルオーディオデータに適用されるべきダイナミックラウドネス調整のための処理パラメータとして選択され得る。
【0046】
更に、ダイナミック処理のための複数組のパラメータ(dynLoudCompValueの複数のインスタンス)が伝送され得る。
【0047】
メタデータ駆動のダイナミックラウドネス補償は、全体的なラウドネスを補正することに加えて、DRC利得の計算及び適用を“中心に置く”ためにも使用され得る。この中心に置くことは、ダイナミックラウドネス補償によるコンテンツのラウドネスの補正と、DRCが通常計算及び適用される方法との結果であることができる。この意味で、ダイナミックラウドネス補償のためのメタデータは、DRCパラメータを調整するために使用されると言うことができる。
【0048】
[オーディオデータのメタデータベースダイナミック処理]
図1の例を参照すると、再生のためのオーディオデータのメタデータベースダイナミック処理のためのデコーダ100が記載されている。デコーダ100は、1つ以上のプロセッサ及び非一時的なメモリを有し、ステップS101~S105によって図2の例で表されているプロセスを含む方法を実行するよう構成され得る。
【0049】
デコーダ100は、オーディオデータ及びメタデータを含むビットストリームを受信してよく、要件に応じて、未処理の(オリジナル)オーディオデータ、メタデータから決定されたダイナミック処理パラメータの適用後の処理されたオーディオデータ、及び/又はメタデータ自体を出力することが可能であり得る。
【0050】
図2の例を参照すると、ステップS101で、デコーダ100は、オーディオデータ及びダイナミックラウドネス調整、任意にダイナミックレンジ圧縮(DRC)のためのメタデータを含むビットストリームを受信し得る。オーディオデータは符号化されたオーディオデータであってよく、オーディオデータは更に未処理であってもよい。すなわち、オーディオデータはオリジナルオーディオデータであると言える。メタデータは複数組のパラメータを含んでもよい。例えば、メタデータの各ペイロードがそのような複数組のメタデータを含んでもよい。メタデータのこれらの異なる組は各々の再生条件に(例えば、異なる再生条件に)関係があることができる。
【0051】
ビットストリームのフォーマットは制限されないが、実施形態において、ビットストリームはMPEG-D DRCビットストリームであってもよい。オーディオデータのダイナミック処理のためのメタデータの存在は、その場合、MPEG-D DRCビットストリームシンタックスに基づきシグナリングされ得る。実施形態において、loudnessInfoSetExtension()要素が、以下で更に詳述されるように、ペイロードとしてメタデータを運ぶために使用されてもよい。
【0052】
ステップS102で、オーディオデータ及びメタデータは、次いで、復号されたオーディオデータ及びメタデータを得るよう、デコーダによって復号され得る。実施形態において、メタデータは、平均ラウドネス値に関する1つ以上の処理パラメータ、及び任意に、ダイナミックレンジ圧縮特性に関する1つ以上の処理パラメータを含んでもよい。メタデータの各組が各々の処理パラメータを含み得ることが理解される。
【0053】
メタデータは、動的な又は実時間の補正を適用することを可能にする。例えば、ライブの実時間再生のための符号化及び復号化の場合、“実時間”の又は動的なラウドネスメタデータの適用は、ライブ再生オーディオが適切にラウドネス管理されることを確かにするために望まれている。
【0054】
ステップS103で、デコーダは、次いで、メタデータから、再生条件に基づきダイナミックラウドネス調整のための1つ以上の処理パラメータを決定する。これは、複数組のメタデータの中からメタデータの適切な組を特定するために、再生条件又は再生条件から導出された情報(例えば、再生条件情報)を使用することによって行われ得る。
【0055】
実施形態において、再生条件は、デコーダのデバイスタイプ、再生デバイスの特性、ラウドスピーカの特性、ラウドスピーカセットアップ、背景ノイズの特性、周囲ノイズの特性、及び音響環境の特性のうちの1つ以上を含み得る。望ましくは、再生条件情報は特定のラウドスピーカセットアップを示し得る。再生条件を考慮することで、デコーダはデバイスや環境の制約に応じてダイナミックラウドネス調整のための処理パラメータを的を絞って選択できるようになる。
【0056】
実施形態において、ステップS130で1つ以上の処理パラメータを決定するプロセスは、デコーダによって、再生条件に対応する、DRCシーケンスの組(DRCSet)、イコライザパラメータの組(EQSet)、及びダウンミックスのうちの少なくとも1つを選択することを更に含んでもよい。よって、DRCSet、EQSet、及びダウンミックスのうちの少なくとも1つは、再生条件による個々のデバイス及び環境の制約と相関するか、又はそのような制約を示す。
【0057】
望ましくは、ステップS103は、DRCシーケンスの組(DRCSet)を選択することを含む。言い換えれば、選択されたメタデータの組は、そのようなDRCシーケンスの組を含み得る。
【0058】
実施形態において、ステップS103で決定するプロセスは、メタデータから1つ以上の処理パラメータを決定するために、少なくとも1つの選択されたDRCSet、EQSet、及びDownmixSetを示すメタデータ識別子を特定することを更に含んでもよい。メタデータ識別子は、このように、メタデータを対応する選択されたDRCSet、EQSet、及び/又はダウンミックスと、よって各々の再生条件と結び付けることを可能にする。
【0059】
実施形態において、特定のラウドスピーカセットアップが、ダウンミックスを決定するために使用されてもよく、それは次いで、複数組のメタデータの中から適切な1つを特定し選択するために使用され得る。かような場合に、特定のラウドスピーカセットアップ及び/又はダウンミックスは、上記の再生条件情報によって示されてもよい。
【0060】
実施形態において、メタデータは、1つ以上のメタデータペイロード(例えば、以下表5で示されるようなdynLoudComp()ペイロード)を含んでもよく、各メタデータペイロードは複数組のパラメータ(例えば、パラメータdynLoudCompValue)と識別子を含んでもよく、各組が、DRCSet識別子(drcSetId)、EQSet識別子(eqSetId)、及びダウンミックス識別子(downmixId)のうちの少なくとも1つを、その組内の識別子に関する1つ以上の処理パラメータと組み合わせて含む。すなわち、各ペイロードはエントリのアレイを有してよく、各エントリが処理パラメータ及び識別子(例えば、drcSetId、eqSetId、downmixId)を含む。エントリのアレイは、上記の複数組のメタデータに対応し得る。望ましくは、各エントリはダウンミックス識別子を有してもよい。
【0061】
更なる実施形態では、ステップS103で決定することは、このようにして、デコーダによって選択されたダウンミックスに基づいて(又は、代替的に、少なくとも1つのDRCSet、EQSet、及びダウンミックスに基づいて)ペイロード内の複数組の中からある組を選択することを含んでもよく、ステップS103で決定された1つ以上の処理パラメータは、選択された組内の識別子に関係がある1つ以上の処理パラメータであることができる。すなわち、デコーダに存在する設定(例えば、DRCSet、EQSet、及びダウンミックス)に応じて、デコーダは、上記の設定を識別子と照合することによって、適切なパラメータと識別子の組についての所与のペイロードを探すことができる。識別子が設定と最もよく一致している組に含まれているパラメータが、その場合に、補正のために受信されたオリジナルオーディオデータに適用されるべきダイナミックラウドネス調整のための処理パラメータとして選択され得る。
【0062】
ステップS104で、決定された1つ以上の処理パラメータは、次いで、デコーダによって、処理されたオーディオデータを得るよう、復号されたオーディオデータに適用されてもよい。処理されたオーディオデータ、例えば、ライブの実時間オーディオデータは、このようにして適切にラウドネス管理される。
【0063】
ステップS105で、処理されたオーディオデータは次いで、再生のために出力され得る。
【0064】
実施形態において、ビットストリームは、復号されたオーディオデータに適用されるスタティックラウドネス調整のための追加メタデータを更に含んでもよい。スタティックラウドネス調整は、実時間状況のためのダイナミック処理と対照的に、一般的なラウドネスノーマライゼーションのために実行される処理を指す。
【0065】
ダイナミック処理のためのメタデータを、一般的なラウドネスノーマライゼーションのための追加メタデータとは別に運ぶことで、“実時間”の補正を適用しなくても済む。
【0066】
例えば、ライブの実時間再生のための符号化及び復号化の場合、ダイナミック処理の適用は、ライブ再生オーディオが適切にラウドネス管理されることを確かにするために望まれている。しかし、非実時間再生、又はダイナミック補正が望まれていないか又は不要であるトランスコーディングの場合、メタデータから決定されたダイナミック処理パラメータは適用される必要がない。
【0067】
ダイナミック処理のための(動的な/実時間の)メタデータを追加メタデータとは別に保持することにより、必要に応じて、元の未処理のコンテンツを保持することができる。オリジナルのオーディオはメタデータとともに符号化される。これにより、再生デバイスがダイナミック処理を選択的に適用できるようになり、更には、オリジナルのオーディオを再生できるハイエンドデバイスでオリジナルのオーディオコンテンツを再生できるようになる。
【0068】
上述されたように、contentLoudness(ISO/IEC 23003-4における)などの長期ラウドネス測定/情報とは別に、ダイナミックラウドネスメタデータを保持することには、いくつかの利点がある。組み合わされる場合に、コンテンツのラウドネス(又はダイナミックラウドネスメタデータが適用された後にあるべきもの)は、利用可能なメタデータが複合値(composite value)になるということで、コンテンツの実際のラウドネスを示さないものとなる。コンテンツラウドネス(又はプログラム若しくはアンカーラウドネス)がどのようなものであるかというこの曖昧さを取り除くことに加えて、これが特に有益となるいくつかの場合がある。
【0069】
ダイナミック処理のためのメタデータを分離しておくことで、デコーダ又は再生デバイスがダイナミック処理の適用をオフして、代わりに、実装された実時間ラウドネスレベラを適用して、カスケーディングレベリングを回避できるようになる。この状況は,例えば、デバイス自体の実時間レベリングソリューションがオーディオコーデックで使用されるものよりも優れている場合、又は例えば、デバイス自体の実時間レベリングソリューションが無効にすることができないために常にアクティブである場合に、起こる可能性があり、更なる処理で分解能が低下して、再生エクスペリエンスが損なわれる。
【0070】
ダイナミック処理のためのメタデータを分離しておくことで、ダイナミックラウドネス処理をサポートしないコーデックへのトランスコーディングが更に可能になり、再符号化の前に独自のラウドネス処理を適用することができる。
【0071】
更なる例として、ライブフィードのための単一の符号化を伴ったライブ放送がある。ダイナミック処理メタデータは、アーカイブ又はオンデマンドサービスのために使用又は記憶されてもよい。従って、アーカイブ又はオンデマンドサービスの場合、より正確な、又は準拠したラウドネス測定を、プログラム全体に基づいて、実行でき、適切なメタデータをリセットできる。
【0072】
固定ターゲットラウドネスがワークフロー全体を通して使用される使用ケースの場合、例えば、-23LKFSが推奨されているR128準拠状況では、これも有益である。このシナリオでは、ダイナミック処理メタデータの追加は“安全”対策であり、コンテンツが想定され、必要なターゲットに近いものであり、動的処理メタデータの追加は二次的なチェックである。従って、それをオフにする機能があることが望ましい。コンテンツは想定され、必要なターゲットに近く、ダイナミック処理メタデータの追加は二次的なチェックである。よって、それをオフする能力を備えることが望ましい。
【0073】
[オーディオデータ及びダイナミックラウドネス調整のためのメタデータの符号化]
図3及び図4の例を参照すると、オリジナルオーディオデータ及びダイナミックラウドネス調整、及び任意に、ダイナミックレンジ圧縮(DRC)のためのメタデータをビットストリームに符号化するエンコーダが記載されており、エンコーダは、1つ以上のプロセッサ及び非一時的なメモリを有し、図4の例のステップで表されているプロセスを含む方法を実行するよう構成され得る。
【0074】
ステップS201で、オリジナルオーディオデータが、ラウドネス処理されたオーディオデータをラウドネスレベラ201からの出力として得るよう、ラウドネスレベラ201にラウドネス処理のために入力され得る。
【0075】
ステップS202で、ダイナミックラウドネス調整のためのメタデータが次いで、ラウドネス処理されたオーディオデータ及びオリジナルオーディオデータに基づき生成され得る。適切な平滑化及び時間フレームがアーチファクトを低減するために使用されてもよい。
【0076】
実施形態において、ステップS202は、アナライザ202によって、ラウドネス処理されたオーディオデータをオリジナルオーディオデータと比較することを含んでもよい。このようにして生成されたメタデータは、デコーダサイトでのレベラの効果をエミュレートすることができる。メタデータは:
●元のオーディオに適用される場合に再生のためにラウドネス準拠オーディオを生成するような利得(ワイドバンド及び/又はマルチバンド)処理パラメータ;
●オーディオのダイナミクスを示す処理パラメータ、例えば
○ピーク-サンプル及び真のピーク
○短期ラウドネス値
○短期ラウドネス値の変化
を含んでもよい。
【0077】
実施形態において、ステップS202は、アナライザ202によって、1つ以上に事前定義された期間にわたるラウドネスを測定することを更に含んでもよく、メタデータは、測定されたラウドネスに更に基づいて生成され得る。実施形態において、測定は、オーディオデータの全体的なラウドネスを測定することを有してもよい。代替的に、又は追加的に、実施形態において、測定は、オーディオデータ内のダイアログのラウドネスを測定することを有してもよい。
【0078】
ステップS203で、オリジナルオーディオデータ及びメタデータは、次いで、ビットストリーム内に符号化され得る。ビットストリームのフォーマットは制限されないが、実施形態において、ビットストリームはMPEG-D DRCビットストリームであってもよく、メタデータの存在は、その場合、MPEG-D DRCビットストリームシンタックスに基づきシグナリングされ得る。この場合に、実施形態において、loudnessInfoSetExtension()要素が、以下で更に詳述されるように、ペイロードとしてメタデータを運ぶために使用されてもよい。
【0079】
実施形態において、メタデータは1つ以上のメタデータペイロードを含んでもよく、各メタデータペイロードは複数組のパラメータと識別子を含んでもよく、各組が、DRCSet識別子(drcSetId)、EQSet識別子(eqSetId)、及びダウンミックス識別子(downmixId)のうちの少なくとも1つを、その組内の識別子に関する1つ以上の処理パラメータと組み合わせて含み、1つ以上の処理パラメータは、デコーダによるダイナミックラウドネス調整のためのパラメータであってよい。この場合に、実施形態において、drcSetId、eqSetId、及びdownmixIdのうちの少なくとも1つは、デコーダによって選択される、DRCシーケンスの組(DRCSet)、イコライザパラメータの組(EQSet)、及びダウンミックスのうちの少なくとも1つに関係があり得る。一般に、メタデータは複数組のメタデータを含むと言え、各組が各々の再生条件に(例えば、異なる再生条件に)対応する。
【0080】
実施形態において、方法は、デコーダによって使用されるスタティックラウドネス調整のための追加メタデータを生成することを更に含んでもよい。ダイナミックラウドネス処理のためのメタデータと追加メタデータとをビットストリーム内で分離し、更にオリジナルオーディオデータをビットストリーム内に符号化することには、上で詳述されたようないくつかの利点がある。
【0081】
本明細書で記載される方法は、デコーダ又はエンコーダによって夫々実施されてよく、デコーダ及びエンコーダは、1つ以上のプロセッサ及び非一時的なメモリを有し、上記の方法を実行するよう構成され得る。そのようなプロセッシング能力を備えているデバイスの例は、2つのプロセッサ301及び非一時的なメモリ302を含む当該デバイス300を示す図5の例に表されている。
【0082】
なお、本明細書で記載される方法は、本明細書で記載されるような、オリジナルオーディオデータ及びダイナミックラウドネス調整、及び任意に、ダイナミックレンジ圧縮(DRC)のためのメタデータをビットストリームに符号化するエンコーダと、再生のためのオーディオデータのメタデータベースダイナミック処理のためのデコーダとを有するシステムで更に実行され得る。
【0083】
方法は、プロセッシング能力を備えているデバイスによって実行される場合に、デバイスに、上記の方法を実行させるよう適応されている命令を含むコンピュータ可読記憶媒体を有するコンピュータプログラム製品として更に実装されてもよい。コンピュータプログラム製品はコンピュータ可読記憶媒体に記憶されてもよい。
【0084】
[MPEG-D DRC変更ビットストリームシンタックス]
以下では、ISO/IEC 23003-4に記載されているMPEG-D DRCビットストリームシンタックスが、本明細書で記載される実施形態に従ってどのように変更され得るかが記載される。
【0085】
MPEG-D DRCシンタックスは、フレームベースのdynLoudCompアップデートとしてダイナミック処理メタデータも運ぶために、以下の表2に示されるloudnessInfoSetExtension()要素のように、拡張され得る。
【0086】
例えば、別のスイッチケースUNIDRCLOUDEXT_DYNLOUDCOMPが、表1に示されるように、loudnessInfoSetExtension()要素に加えられてもよい。スイッチケースUNIDRCLOUDEXT_DYNLOUDCOMPは、表5に示されるように新しい要素dynLoudComp()を特定するために使用されてもよい。loudnessInfoSetExtension()要素は、表2に示されるようにloudnessInfoSet()要素の拡張であってもよい。更に、loudnessInfoSet()要素は、表3に示されるようにuniDRC()要素の部分であってもよい。
【表1】
【表2】
【表3】
【表4】
新しいdynLoudComp():
【表5】
●drcSetIdは、dynLoudComp(メタデータに関する)がDRCセットごとに適用されることを可能にする。
●eqSetIdは、dynLoudCompがイコライゼーションツールの種々の設定と組み合わせて適用されることを可能にする。
●downmixIdは、dynLoudCompがDownmixIdごとに適用されることを可能にする。
【0087】
いくつかの場合に、上記のパラメータに加えて、dynLoudComp()要素には、ダイナミックプログラムラウドネスメタデータ(例えば、アンカーラウドネス、プログラムラウドネス、短期パラメータ、もーめんたりラウドネス、など)を導出するために使用されるラウドネス測定方法を指定するmethodDefinitionパラメータ(例えば4ビットによって指定される。)及び/又はダイナミックプログラムラウドネスメタデータ(例えば、EBU R.128、前処理の有無によらないITU-R BS-1770、ITU-R BS-1771、など)を測定するために使用されるラウドネス測定システムを指定するmeasurementSystemパラメータ(例えば4ビットによって指定される。)も含めることが有益である場合がある。このようなパラメータは、例えば、dynLoudComp()要素内でdownmixIdパラメータとdynLoudCompValueパラメータとの間に含められてもよい。
【0088】
[代替のシンタックス1]
【表6】
【表7】
【表8】
いくつかの場合に、dynLoudCompPresentパラメータ及び(dynLoudCompPresent==1の場合に)dynLoudCompValueパラメータが、loudnessInfoV2()のmeasurementCountループ外にあるのではなく、measurementCountループ内のreliabilityパラメータに続くように、表8において上に示されているシンタックスを変更することが有益である場合がある。更に、dynLoudCompPresentが0である場合に、dynLoudCompValueを0に等しくセットすることも有益である場合がある。
【0089】
[代替のシンタックス2]
代替的に、dynLoudComp()要素は、uniDrcGainExtension()に置かれてもよい。
【表9】
【表10】
【表11】
セマンティクス
dynLoudCompValue:このフィールドはdynLoudCompDbの値を含む。値は、以下の表に従って符号化される。デフォルト値は0dBである。
【表12】
[アップデートされたMPEG-D DRCラウドネスノーマライゼーション処理]
【表13】
[dynLoudCompの選択及び処理のための擬似コード]
【数1-1】
【数1-2】
【数1-3】
【数2】
いくつかの場合に、上記の擬似コードで示されている選択プロセス(例えば、dynLoudCompValueパラメータを選択するためにdrcSetId、eqSetId及びdownmixIdを考慮に入れること)に加えて、選択プロセスにとって、dynLoudCompValueパラメータを選択するためにmethodDefinitionパラメータ及び/又はmeasurementSystemパラメータも考慮に入れることも有益である場合がある。
【0090】
[代替のアップデートされたMPEG-D DRCラウドネスノーマライゼーション処理]
【表14】
上記の表14の代替のラウドネスノーマライゼーション処理が使用される場合に、上述されたラウドネスノーマライゼーション処理擬似コードは、次の代替のラウドネスノーマライゼーション処理擬似コードによって置換され得る。なお、dynLoudCompDbのデフォルト値、例えば、0dBは、ダイナミックラウドネス処理メタデータがビットストリームに存在しない場合にさえ、dynLoudCompDbの値が定義されることを確かにするために想定され得る。
【数3】
[代替のシンタックス3]
いくつかの場合に、ダイナミックラウドネス処理値の伝送の柔軟性を高めることができるように、次の表に示されるように、表1~表5において上述されたシンタックスを、表6~表8において上述された代替のシンタックス1と組み合わせることが有益である場合がある。
【表15】
【表16】
【表17】
dynLoudComp()の代替のシンタックス3:
【表18】
[インターフェース拡張シンタックス]
いくつかの場合に、ダイナミックラウドネス処理情報が受信されたビットストリームに存在する場合でさえ、ダイナミックラウドネス処理が実行されるか否かの、例えばエンドユーザによる、制御を許すことが有益である場合がある。かような制御は、次の表1に示されるような修正されたラウドネスノーマライゼーション制御インターフェースペイロード(例えば、loudnessNormalizationControlInterfaceV1())を含む追加のインターフェース拡張(例えば、UNIDRCINTERFACEEXT_DYNLOUD)を含むようMPEG-D DRCインターフェースシンタックスをアップデートすることによって提供され得る。
【表19】
【表20】
【表21】
[インターフェース拡張セマンティクス]
loudnessNormalizationOn:このフラグは、ラウドネスノーマライゼーション処理がオン又はオフされるかどうかを通知する。デフォルト値は0である。loudnessNormalizationOn==0の場合、loudnessNormalizationGainDbは0dBにセットされるべきである。
【0091】
targetLoudness:このフィールドは所望の出力ラウドネスを含む。値は、次の表に従って符号化される。
【表22】
dynLoudnessNormalizationOn:このフラグは、ダイナミックラウドネスノーマライゼーション処理がオン又はオフされるかどうかを通知する。デフォルト値は0である。dynLoudnessNormalizationOn==0の場合、dynloudnessNormalizationGainDbは0dBにセットされるべきである。
【0092】
[解釈]
特段別なふうに述べられない限り、以下の議論から明らかなように、本開示の全体を通して、「処理する」(processing)、「計算する」(computing)、「決定する」(determining)、「解析する」(analyzing)、などの用語を用いた議論は、電子などの物理的な量として表されているデータを、同様に物理的な量として表されている他のデータに操作及び/又は変換するコンピュータ若しくはコンピューティングシステム、又は同様の電子コンピューティングデバイスの動作及び/又は処理を指すことが理解されるであろう。
【0093】
同様にして、「プロセッサ」という用語は、例えばレジスタ及び/又はメモリからの電子データを処理して、その電子データを、例えばレジスタ及び/又はメモリに記憶され得る他の電子データに変換する任意のデバイス又はデバイスの部分を指し得る。「コンピュータ」又は「コンピューティングマシン」又は「コンピューティングプラットフォーム」は1つ以上のプロセッサを含んでもよい。
【0094】
本明細書で記載されるメソッドロジは、一例である実施形態で、プロセッサの1つ以上によって実行される場合に、本明細書で記載される方法の少なくとも1つを実行する命令の組を含むコンピュータ可読(マシン可読とも呼ばれる。)コードを受け入れる1つ以上のプロセッサによって実行可能である。行われるべき動作を特定する命令(シーケンシャル又は他)の組を実行する能力がある任意のプロセッサが含まれる。よって、一例は、1つ以上のプロセッサを含む典型的なプロセッシングシステムである。各プロセッサは、CPU、グラフィクス・プロセッシング・ユニット、及びプログラマブルDSPユニットのうちの1つ以上を含んでもよい。プロセッシングシステムは、メインRAM及び/又はスタティックRAM、及び/又はROMを含むメモリサブシステムを更に含んでもよい。バスサブシステムが、コンポーネント間の通信のために含まれてもよい。プロセッシングシステムは更に、ネットワークによって結合されているプロセッサを含む分散型プロセッシングシステムであってもよい。プロセッシングシステムがディスプレイを必要とする場合、そのようなディスプレイには、例えば液晶ディスプレイ(LCD)又は陰極線管(CRT)ディスプレイが含まれてもよい。手動によるデータ入力が必要とされる場合、プロセッシングシステムは、キーボードなどの英数字入力ユニット、マウスなどの指示制御デバイス、などのうちの1つ以上のような入力デバイスも含む。プロセッシングシステムは、ディスクドライブユニットなどの記憶システムも含んでもよい。いくつかの構成におけるプロセッシングシステムは、音響出力デバイス及びネットワークインターフェースデバイスを含んでもよい。よって、メモリサブシステムは、1つ以上のプロセッサによって実行される場合に、本明細書で記載される方法の1つ以上の実行を引き起こす命令の組を含むコンピュータ可読コード(例えば、ソフトウェア)を運ぶコンピュータ可読キャリア媒体を含む。なお、方法がいくつかの要素、例えばいくつかのステップを含む場合に、そのような要素の順序は、特に述べられない限りは、暗示されるものではない。ソフトウェアは、ハードディスクに存在してよく、あるいは、完全に又は少なくとも部分的に、RAM内に、及び/又はコンピュータシステムによるその実行中にプロセッサ内に存在してもよい。よって、メモリ及びプロセッサはまた、コンピュータ可読コードを運ぶコンピュータ可読キャリア媒体を構成する。更に、コンピュータ可読キャリア媒体は、コンピュータプログラム製品を形成しても、又はそれに含まれてもよい。
【0095】
代替の、例示的な実施形態では、1つ上のプロセッサはスタンドアロンデバイスとして動作するか、あるいは、他のプロセッサへ接続され、例えばネットワーク化されてもよく、ネットワーク化された配置では、1つ以上のプロセッサが、サーバ-ユーザネットワーク環境内のサーバ若しくはユーザマシンという資格で、又はピア・ツー・ピア若しくは分散ネットワーク環境ではピアマシンとして動作することができる。1つ以上のプロセッサはパーソナルコンピュータ(PC)、タブレットPC、パーソーナルデジタルアシスタント(PDA)、セルラー電話、ウェブアプライアンス、ネットワークルータ、スイッチ若しくはブリッジ、又は当該マシンによって行われるべき動作を指定する命令の組(シーケンシャル又は他)の組を実行する能力がある任意のマシンを形成し得る。
【0096】
なお、「マシン」という用語は、本明細書で議論されているメソッドロジのいずれか1つ以上を実行するよう個別的に又はまとまって命令の組(又は複数の組)を実行するマシンの任意の集合を含むものとしても解釈されるべきである。
【0097】
よって、本明細書で記載される方法の夫々の一例となる実施形態は、命令の組、例えば、1つ以上のプロセッサ、例えば、ウェブサーバ配置の部分である1つ以上のプロセッサで実行されるコンピュータプログラムを運ぶコンピュータ可読キャリア媒体の形をとる。よって、当業者によって理解されるだろうように、本開示の例示的な実施形態は、方法、特別目的の装置などの装置、データ処理システムなどの装置、又はコンピュータ可読キャリア媒体、例えばコンピュータプログラム製品として具現化されてもよい。コンピュータ可読キャリア媒体は、1つ以上のプロセッサで実行される場合に1つ以上のプロセッサに方法を実施させる命令の組を含むコンピュータ可読コードを運ぶ。然るに、本開示の態様は、方法、全体としてハードウェアの例示的な実施形態、全体としてソフトウェアの例示的な実施形態、又はソフトウェア及びハードウェアの態様を組み合わせている例示的な実施形態の形をとり得る。更に、本開示は、媒体において具現化されているコンピュータ可読プログラムコードを運ぶキャリア媒体(例えば、コンピュータ可読記憶媒体上のコンピュータプログラム製品)の形をとり得る。
【0098】
ソフトウェアは更に、ネットワークインターフェースデバイスを介してネットワーク上で送信又は受信されてもよい。キャリア媒体は、例示的な実施形態で、単一の媒体である一方で、「キャリア媒体」という用語は、ひと組以上の命令を記憶する単一の媒体又は複数の媒体(例えば、中央集権型若しくは分散型データベース、及び/又は関連するキャッシュ及びサーバ)を含むものとして解釈されるべきである。「キャリア媒体」という用語はまた、プロセッサの1つ以上によって実行される命令の組を記憶、符号化、又は搬送する能力があり、1つ以上のプロセッサに本開示のメソッドロジのいずれか1つ以上を実行させる任意の媒体を含むものとしても解釈されるべきである。キャリア媒体は、不揮発性媒体、揮発性媒体、及び伝送媒体を含むがこれらに限られない多数の形態をとり得る。不揮発性媒体には、例えば、光ディスク、磁気ディスク、光学磁気ディスクが含まれる。揮発性媒体には、メインメモリなどのダイナミックメモリが含まれる。伝送媒体には、バスサブシステムを有する配線を含め、同軸ケーブル、銅配線及び光ファイバが含まれる。伝送媒体はまた、電波及び赤外線データ通信の間に生成されるような音波又は光波の形をとることもできる。例えば、「キャリア媒体」という用語は、ソリッドステートメモリ、光学媒体及び磁気媒体で具現化されているコンピュータ製品、少なくとも1つのプロセッサ又は1つ以上のプロセッサによって検出可能であって、実行される場合に方法を実施する命令の組を表す伝播信号を運ぶ媒体、並びに1つ以上のプロセッサのうちの少なくとも1つのプロセッサによって検出可能であって、命令の組を表す伝播信号を運ぶネットワーク内の伝送媒体を含むがこれらに限られない者として然るべく理解されるべきである。
【0099】
議論されている方法のステップは、一例となる実施形態では、ストレージに記憶されている命令(コンピュータ可読コード)を実行するプロセッシング(例えば、コンピュータ)システムの適切なプロセッサ(複数であってもよい。)によって実行されることが理解されるであろう。また、本開示は、如何なる特定の実施又はプログラミング技術にも制限されず、本開示は、本明細書で記載される機能を実装するための如何なる適切な技術を用いても実施されてよいことが理解されるであろう。本開示は、如何なる特定のプログラミング言語又はオペレーティングシステムにも制限されない。
【0100】
「一実施形態」、「いくつかの実施形態」、又は「例示的な実施形態」への本開示の全体にわたる言及は、実施形態に関連して記載される特定の特徴、構造又は特性が本開示の少なくとも1つの実施形態に含まれることを意味する。よって、本開示の全体にわたる様々な箇所での「一実施形態で」、「いくつかの実施形態で」、又は「例示的な実施形態で」という言い回しの出現は、必ずしも全てが同じ例示的な実施形態に言及しているわけではない。更に、特定の特徴、構造又は特性は、1つ以上の例示的な実施形態で、本開示から当業者によって明らかなように、如何なる適切な方法でも組み合わされてよい。
【0101】
本明細書で使用されるように、別なふうに特定されない限りは、共通の対象について記載するための「第1」、「第2」、「第3」などの序数形容詞の使用は、単に、同じ対象の異なるインスタンスが参照されていることを示すものであり、そのように記載されている対象が時間的に、空間的に、順位付けにおいて、又はその他の方法で所与の順序になければならないことを暗示するよう意図されたものではない。
【0102】
以下の特許請求の範囲及び本明細書中の説明において、「有する」(comprising)、「から成る」(comprised of)、又は「~を有する・・・」(which comprises)という用語のうちのいずれか1つは、少なくとも続く要素/特徴を含むが他を除かないことを意味する非限定的な用語(open term)である。よって、「有する」という用語は、特許請求の範囲で使用される場合に、以降に挙げられている手段又は要素又はステップに限定するものとして解釈されるべきでない。例えば、「A及びBを有するデバイス」(a device comprising A and B)という表現の範囲は、要素A及びBのみから成るデバイスに制限されるべきではない。本明細書で使用されている「含む」(including)又は「~を含む・・・」(which includes若しくはthat includes)という用語のいずれか1つも、少なくとも当該用語に続く要素/特徴を含むが他を除かないことを意味する非限定的な用語である。よって、「含む」は「有する」と同義であってそれを意味する。
【0103】
本開示の例示的な実施形態の上記の説明では、本開示の様々な特徴が、本開示を簡素化しかつ様々な発明の側面のうちの1つ以上の理解に役立つために、単一の例示的な実施形態、図又はその説明においてときどきまとめられていることが理解されるべきである。なお、本開示のこの方法は、特許請求の範囲が各請求項で明示的に記載されているよりも多い特徴を必要とするという意図を反映しているものとして解釈されるべきでない。むしろ、続く特許請求の範囲が反映しているように、発明の側面は、単一の上記の開示されている例示的な実施形態の全てに満たない特徴にある。よって、明細書に続く特許請求の範囲は、これによって本明細書に組み込まれており、各請求項は、本開示の別々の例示的な実施形態として独立している。
【0104】
更に、本明細書で記載されているいくつかの例示的な実施形態は、他の例示的な実施形態に含まれるいくつかの特徴を含むが他を含まない一方で、異なる例示的な実施形態の特徴の組み合わせは、本開示の範囲内にあるよう意図され、当業者によって理解されるだろうように、異なる例示的な実施形態を形成する。例えば、続く特許請求の範囲で、請求されている例示的な実施形態のいずれもが任意の組み合わせで使用できる。
【0105】
本明細書で与えられている説明では、多数の具体的な詳細が記載されている。しかし、本開示の例示的な実施形態は、これらの具体的な詳細によらずに実施されてもよいことが理解される。他の事例では、よく知られている方法、構造及び技術は、本明細書の理解を不明りょうにしないように詳細には示されていない。
【0106】
よって、本開示のベストモードであると信じられているものが記載されている一方で、当業者は、他の変更及び更なる変更が本開示の精神から逸脱せずにそれに行われてもよいことを認識し、全てのそのような変更及び変形を本開示の範囲内にあるものとして請求することが意図される。例えば、上で与えられている如何なる公式も、使用される可能性があるプロシージャを表すものにすぎない。機能は、ブロック図から追加又は削除されてもよく、動作は、機能ブロックの間で交換されてもよい。ステップは、本開示の範囲内で記載されている方法に追加又は削除されてもよい。
【0107】
以下、列挙されて例示的な実施形態(enumerate example embodiments)(EEE)は、本明細書で開示されている例示的な実施携帯のいくつかの側面のいくつかの構造、特徴、及び機能について記載する。
【0108】
EEE1.
再生のためのオーディオデータのメタデータベースダイナミック処理の方法であって、
(a)デコーダによって、オーディオデータ及びダイナミックラウドネス調整のためのメタデータを含むビットストリームを受信することと、
(b)前記デコーダによって、復号されたオーディオデータ及び前記メタデータを得るよう前記オーディオデータ及び前記メタデータを復号することと、
(c)前記デコーダによって、再生条件情報に基づいてダイナミックラウドネス調整のための1つ以上の処理パラメータを決定することと、
(d)処理されたオーディオデータを得るよう前記決定された1つ以上の処理パラメータを前記復号されたオーディオデータに適用することと、
(e)前記処理されたオーディオデータを再生のために出力することと
を有する方法。
【0109】
EEE2.
前記メタデータは、複数の再生条件についてのダイナミックラウドネス調整のための処理パラメータを示す、
EEE1に記載の方法。
【0110】
EEE3.
前記1つ以上の処理パラメータを決定することは、前記再生条件に基づいて、ダイナミックレンジ圧縮(DRC)のための1つ以上の処理パラメータ決定することを更に含む、
EEE1又はEEE2に記載の方法。
【0111】
EEE4.
前記再生条件は、前記デコーダのデバイスタイプ、再生デバイスの特性、ラウドスピーカの特性、ラウドスピーカセットアップ、背景ノイズの特性、周囲ノイズの特性、及び音響環境の特性のうちの1つ以上を含む、
EEE1乃至EEE3のうちいずれか1つに記載の方法。
【0112】
EEE5.
プロセス(c)は、前記デコーダによって、前記再生条件に対応する、DRCシーケンスの組(DRCSet)、イコライザパラメータの組(EQSet)、及びダウンミックスのうちのいずれか1つを選択することを更に含む、
EEE1乃至EEE4のうちいずれか1つに記載の方法。
【0113】
EEE6.
プロセス(c)は、前記メタデータから前記1つ以上の処理パラメータを決定するために前記少なくとも1つの選択されたDRCSet、EQSet、及びダウンミックスを示すメタデータ識別子を特定することを更に含む、
EEE5に記載の方法。
【0114】
EEE7.
前記メタデータは、平均ラウドネス値に関する1つ以上の処理パラメータ、及び任意に、ダイナミックレンジ圧縮特性に関する1つ以上の処理パラメータを含む、
EEE1乃至EEE6のうちいずれか1つに記載の方法。
【0115】
EEE8.
前記ビットストリームは、前記復号されたオーディオデータに適用されるスタティックラウドネス調整のための追加メタデータを更に含む、
EEE1乃至EEE7のうちいずれか1つに記載の方法。
【0116】
EEE9.
前記ビットストリームはMPEG-D DRCビットストリームであり、前記メタデータの存在は、MPEG-D DRCビットストリームシンタックスに基づきシグナリングされる、
EEE1乃至EEE8のうちいずれか1つに記載の方法。
【0117】
EEE10.
loudnessInfoSetExtension()要素が、ペイロードとして前記メタデータを運ぶために使用される、
EEE9に記載の方法。
【0118】
EEE11.
前記メタデータは1つ以上のメタデータペイロードを含み、各メタデータペイロードは複数組のパラメータと識別子を含み、各組が、DRCSet識別子(drcSetId)、EQSet識別子(eqSetId)、及びダウンミックス識別子(downmixId)のうちの少なくとも1つを、当該組内の識別子に関する1つ以上の処理パラメータと組み合わせて含む、
EEE1乃至EEE10のうちいずれか一項に記載の方法。
【0119】
EEE12.
プロセス(c)は、前記デコーダによって選択された少なくとも1つのDRCSet、EQSet、及びダウンミックスに基づき前記ペイロード内の複数組の中から組を選択することを含み、
プロセス(c)で決定される前記1つ以上の処理パラメータは、前記選択された組内の識別子に関係がある1つ以上の処理パラメータである、
EEE5に従属するEEE11に記載の方法。
【0120】
EEE13.
再生のためのオーディオデータのメタデータベースダイナミック処理のためのデコーダであって、1つ以上のプロセッサ及び非一時的なメモリを含む前記デコーダにおいて、
(a)デコーダによって、オーディオデータ及びダイナミックラウドネス調整のためのメタデータを含むビットストリームを受信することと、
(b)前記デコーダによって、復号されたオーディオデータ及び前記メタデータを得るよう前記オーディオデータ及び前記メタデータを復号することと、
(c)前記デコーダによって、再生条件情報に基づいてダイナミックラウドネス調整のための1つ以上の処理パラメータを決定することと、
(d)処理されたオーディオデータを得るよう前記決定された1つ以上の処理パラメータを前記復号されたオーディオデータに適用することと、
(e)前記処理されたオーディオデータを再生のために出力することと
を有する方法を実行するよう構成されるデコーダ。
【0121】
EEE14.
オーディオデータ及びダイナミックラウドネス調整のためのメタデータをビットストリームに符号化する方法であって、
(a)ラウドネス処理されたオーディオデータをラウドネスレベラからの出力として得るようオリジナルオーディオデータをラウドネス処理のために前記ラウドネスレベラに入力することと、
(b)前記ラウドネス処理されたオーディオデータ及び前記オリジナルオーディオデータに基づき前記ダイナミックラウドネス調整のためのメタデータを生成することと、
(c)前記オリジナルオーディオデータ及び前記メタデータを前記ビットストリームに符号化することと
を有する方法。
【0122】
EEE15.
デコーダによって使用されるスタティックラウドネス調整のための追加メタデータを生成することを更に有する、
EEE14に記載の方法。
【0123】
EEE16.
プロセス(b)は、前記ラウドネス処理されたオーディオデータを前記オリジナルオーディオデータと比較することを含み、前記メタデータは、前記比較の結果に基づき生成される、
EEE14又はEEE15に記載の方法。
【0124】
EEE17.
プロセス(b)は、1つ以上の事前定義された期間にわたってラウドネスを測定することを更に含み、前記メタデータは、前記測定されたラウドネスに更に基づき生成される、
EEE16に記載の方法。
【0125】
EEE18.
前記測定することは、前記オーディオデータの全体的なラウドネスを測定することを有する、
EEE17に記載の方法。
【0126】
EEE19.
前記測定することは、前記オーディオデータにおけるダイアログのラウドネスを測定することを有する、
EEE17に記載の方法。
【0127】
EEE20.
前記ビットストリームはMPEG-D DRCビットストリームであり、前記メタデータの存在は、MPEG-D DRCビットストリームシンタックスに基づきシグナリングされる、
EEE14乃至EEE19のうちいずれか1つに記載の方法。
【0128】
EEE21.
loudnessInfoSetExtension()要素が、ペイロードとして前記メタデータを運ぶために使用される、
EEE20に記載の方法。
【0129】
EEE22.
前記メタデータは1つ以上のメタデータペイロードを含み、各メタデータペイロードは複数組のパラメータと識別子を含み、各組が、DRCSet識別子(drcSetId)、EQSet識別子(eqSetId)、及びダウンミックス識別子(downmixId)のうちの少なくとも1つを、当該組内の識別子に関する1つ以上の処理パラメータと組み合わせて含み、前記1つ以上の処理パラメータは、デコーダによるダイナミックラウドネス調整のためのパラメータである、
EEE14乃至EEE21のうちいずれか一項に記載の方法。
【0130】
EEE23.
drcSetId、eqSetId、及びdownmixIdのうちの少なくとも1つは、前記デコーダによって選択される、DRCシーケンスの組(DRCSet)、イコライザパラメータの組(EQSet)、及びダウンミックスのうちの少なくとも1つに関係がある、
EEE22に記載の方法。
【0131】
EEE24.
オリジナルオーディオデータ及びダイナミックラウドネス調整のためのメタデータをビットストリームに符号化するエンコーダであって、1つ以上のプロセッサ及び非一時的なメモリを含む前記エンコーダにおいて、
(a)ラウドネス処理されたオーディオデータをラウドネスレベラからの出力として得るようオリジナルオーディオデータをラウドネス処理のために前記ラウドネスレベラに入力することと、
(b)前記ラウドネス処理されたオーディオデータ及び前記オリジナルオーディオデータに基づき前記ダイナミックラウドネス調整のためのメタデータを生成することと、
(c)前記オリジナルオーディオデータ及び前記メタデータを前記ビットストリームに符号化することと
を有する方法を実行するよう構成されるエンコーダ。
【0132】
EEE25.
請求項24に記載の、オリジナルオーディオデータ並びにダイナミックラウドネス調整及びダイナミックレンジ圧縮(DRC)のためのメタデータをビットストリームに符号化するエンコーダと、
EEE13に記載の、再生のためのオーディオデータのメタデータベースダイナミック処理のためのデコーダと
を有するシステム。
【0133】
EEE26.
プロセッシング能力を備えているデバイスによって実行される場合に、前記デバイスに、EEE1乃至EEE12又はEEE14乃至EEE23のうちいずれか1つに記載の方法を実行させるよう適応されている命令を含むコンピュータ可読媒体を有するコンピュータプログラム製品。
【0134】
EEE27.
EEE26に記載のコンピュータプログラム製品を記憶しているコンピュータ可読記憶媒体。
【0135】
EEE28.
前記デコーダによって、インターフェースを介して、再生のためのオーディオデータの前記メタデータベースダイナミック処理を実行すべきかどうかの指示を受信することと、
前記デコーダが、再生のためのオーディオデータの前記メタデータベースダイナミック処理を実行しないとの指示を受信する場合に、少なくとも前記決定された1つ以上の処理パラメータを前記復号されたオーディオデータに適用するステップをバイパスすることと
を更に有する、EEE1乃至EEE12のうちいずれか1つに記載の方法。
【0136】
EEE29.
前記デコーダが、前記インターフェースを介して、再生のためのオーディオデータの前記メタデータベースダイナミック処理を実行すべきかどうかの前記指示を受信するまで、前記デコーダは、少なくとも前記決定された1つ以上の処理パラメータを前記復号されたオーディオデータに適用するステップをバイパスする、
EEE28に記載の方法。
【0137】
EEE30.
前記メタデータは、複数の再生条件についてのダイナミックラウドネス調整のための処理パラメータについてのダイナミックラウドネス調整のための複数の処理パラメータを示し、
前記メタデータは、前記複数の処理パラメータの中の処理パラメータを導出するために使用されるラウドネス測定方法を指定するパラメータを更に含む、
EEE1乃至EEE12、EEE28、又はEEE29のうちいずれか1つに記載の方法。
【0138】
EEE31.
前記メタデータは、複数の再生条件についてのダイナミックラウドネス調整のための処理パラメータについてのダイナミックラウドネス調整のための複数の処理パラメータを示し、
前記メタデータは、前記複数の処理パラメータの中の処理パラメータを測定するために使用されるラウドネス測定システムを指定するパラメータを更に含む、
EEE1乃至EEE12又はEEE28乃至EEE30のうちいずれか1つに記載の方法。
【0139】
[関連出願への相互参照]
本願は、2021年8月26日に出願された欧州特許出願第21193209.0号と、2021年8月26日に出願された米国特許仮出願第63/237231号と、2021年10月1日に出願された米国特許仮出願第63/251307号とに対する優先権を主張するものである。これらの出願の全部が、それらの全文を参照により本願に援用される。
図1
図2
図3
図4
図5
【手続補正書】
【提出日】2023-09-05
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
再生のためのオーディオデータのメタデータベースダイナミック処理の方法であって、
デコーダによって、オーディオデータ及びダイナミックラウドネス調整のためのメタデータを含むビットストリームを受信することであり、前記ダイナミックラウドネス調整のためのメタデータは複数組のメタデータを含み、メタデータの各組が各々の再生条件に対応する、前記受信することと、
前記デコーダによって、復号されたオーディオデータ及び前記メタデータを得るよう前記オーディオデータ及び前記メタデータを復号することと、
前記デコーダへ供給された再生条件情報に応答して、特定の再生条件に対応するメタデータの組を選択し、該選択されたメタデータの組から、ダイナミックラウドネス調整のための1つ以上の処理パラメータを取り出すことと、
処理されたオーディオデータを得るよう前記取り出された1つ以上の処理パラメータを前記復号されたオーディオデータに適用することと、
前記処理されたオーディオデータを再生のために出力することと
を有し、
前記選択されたメタデータの組は、ダイナミックレンジ圧縮(DRC)シーケンスの組(DRCSet)を含み、
前記ビットストリームはMPEG-D DRCビットストリームであり、前記メタデータの存在は、MPEG-D DRCビットストリームシンタックスに基づきシグナリングされ、
前記メタデータは1つ以上のメタデータペイロードを含み、各メタデータペイロードは複数組のパラメータと識別子を含み、各組が、各々のダウンミックス識別子(downmixId)を、当該組内のダウンミックス識別子に関する1つ以上の処理パラメータと組み合わせて含む、
方法。
【請求項2】
前記1つ以上の処理パラメータを取り出すことは、DRCのための1つ以上の処理パラメータを取り出すことを更に含む、
請求項1に記載の方法。
【請求項3】
前記再生条件情報は、特定のラウドスピーカセットアップを示す、
請求項に記載の方法。
【請求項4】
前記メタデータの組を選択することは、特定のダウンミックスに対応するメタデータの組を特定することを含む、
請求項に記載の方法。
【請求項5】
前記複数組のメタデータは夫々が、平均ラウドネス値に関する1つ以上の処理パラメータ、及び任意に、ダイナミックレンジ圧縮特性に関する1つ以上の処理パラメータを含む、
請求項に記載の方法。
【請求項6】
前記ビットストリームは、前記復号されたオーディオデータに適用されるスタティックラウドネス調整のための追加メタデータを更に含む、
請求項に記載の方法。
【請求項7】
loudnessInfoSetExtension()要素が、ペイロードとして前記メタデータを運ぶために使用される、
請求項に記載の方法。
【請求項8】
再生のためのオーディオデータのメタデータベースダイナミック処理のためのデコーダであって、1つ以上のプロセッサ及び非一時的なメモリを含む前記デコーダにおいて、
前記1つ以上のプロセッサは、
デコーダによって、オーディオデータ及びダイナミックラウドネス調整のためのメタデータを含むビットストリームを受信することであり、前記ダイナミックラウドネス調整のためのメタデータは複数組のメタデータを含み、メタデータの各組が各々の再生条件に対応する、前記受信することと、
前記デコーダによって、復号されたオーディオデータ及び前記メタデータを得るよう前記オーディオデータ及び前記メタデータを復号することと、
前記デコーダへ供給された再生条件情報に応答して、特定の再生条件に対応するメタデータの組を選択し、該選択されたメタデータの組から、ダイナミックラウドネス調整のための1つ以上の処理パラメータを取り出すことと、
処理されたオーディオデータを得るよう前記取り出された1つ以上の処理パラメータを前記復号されたオーディオデータに適用することと、
前記処理されたオーディオデータを再生のために出力することと
を有する方法を実行するよう構成され
前記選択されたメタデータの組は、ダイナミックレンジ圧縮(DRC)シーケンスの組(DRCSet)を含み、
前記ビットストリームはMPEG-D DRCビットストリームであり、前記メタデータの存在は、MPEG-D DRCビットストリームシンタックスに基づきシグナリングされ、
前記メタデータは1つ以上のメタデータペイロードを含み、各メタデータペイロードは複数組のパラメータと識別子を含み、各組が、各々のダウンミックス識別子(downmixId)を、当該組内のダウンミックス識別子に関する1つ以上の処理パラメータと組み合わせて含む
デコーダ。
【請求項9】
オーディオデータ及びダイナミックラウドネス調整のためのメタデータをビットストリームに符号化する方法であって、
ラウドネス処理されたオーディオデータをラウドネスレベラからの出力として得るようオリジナルオーディオデータをラウドネス処理のために前記ラウドネスレベラに入力することと、
前記ラウドネス処理されたオーディオデータ及び前記オリジナルオーディオデータに基づき前記ダイナミックラウドネス調整のためのメタデータを生成することと、
前記オリジナルオーディオデータ及び前記メタデータを前記ビットストリームに符号化することと
を有し、
前記メタデータは複数組のメタデータを含み、メタデータの各組が各々の再生条件に対応し、
前記ビットストリームはMPEG-D DRCビットストリームであり、前記メタデータの存在は、MPEG-D DRCビットストリームシンタックスに基づきシグナリングされ、
前記メタデータは1つ以上のメタデータペイロードを含み、各メタデータペイロードは複数組のパラメータと識別子を含み、各組が、各々のダウンミックス識別子(downmixId)を、当該組内のダウンミックス識別子に関する1つ以上の処理パラメータと組み合わせて含み、前記1つ以上の処理パラメータは、デコーダによるダイナミックラウドネス調整のためのパラメータである、
方法。
【請求項10】
デコーダによって使用されるスタティックラウドネス調整のための追加メタデータを生成することを更に有する、
請求項に記載の方法。
【請求項11】
前記メタデータを生成することは、前記ラウドネス処理されたオーディオデータを前記オリジナルオーディオデータと比較することを含み、前記メタデータは、前記比較の結果に基づき生成される、
請求項に記載の方法。
【請求項12】
前記メタデータを生成することは、1つ以上の事前定義された期間にわたってラウドネスを測定することを更に含み、前記メタデータは、前記測定されたラウドネスに更に基づき生成される、
請求項11に記載の方法。
【請求項13】
前記測定することは、前記オーディオデータの全体的なラウドネスを測定することを有する、
請求項12に記載の方法。
【請求項14】
前記測定することは、前記オーディオデータにおけるダイアログのラウドネスを測定することを有する、
請求項12に記載の方法。
【請求項15】
loudnessInfoSetExtension()要素が、ペイロードとして前記メタデータを運ぶために使用される、
請求項に記載の方法。
【請求項16】
オリジナルオーディオデータ及びダイナミックラウドネス調整のためのメタデータをビットストリームに符号化するエンコーダであって、1つ以上のプロセッサ及び非一時的なメモリを含む前記エンコーダにおいて、
前記1つ以上のプロセッサは、
ラウドネス処理されたオーディオデータをラウドネスレベラからの出力として得るようオリジナルオーディオデータをラウドネス処理のために前記ラウドネスレベラに入力することと、
前記ラウドネス処理されたオーディオデータ及び前記オリジナルオーディオデータに基づき前記ダイナミックラウドネス調整のためのメタデータを生成することと、
前記オリジナルオーディオデータ及び前記メタデータを前記ビットストリームに符号化することと
を有する方法を実行するよう構成され
前記メタデータは複数組のメタデータを含み、メタデータの各組が各々の再生条件に対応し、
前記ビットストリームはMPEG-D DRCビットストリームであり、前記メタデータの存在は、MPEG-D DRCビットストリームシンタックスに基づきシグナリングされ、
前記メタデータは1つ以上のメタデータペイロードを含み、各メタデータペイロードは複数組のパラメータと識別子を含み、各組が、各々のダウンミックス識別子(downmixId)を、当該組内のダウンミックス識別子に関する1つ以上の処理パラメータと組み合わせて含み、前記1つ以上の処理パラメータは、デコーダによるダイナミックラウドネス調整のためのパラメータである
エンコーダ。
【請求項17】
請求項16に記載の、オリジナルオーディオデータ及びダイナミックラウドネス調整のためのメタデータをビットストリームに符号化するエンコーダと、
請求項に記載の、再生のためのオーディオデータのメタデータベースダイナミック処理のためのデコーダと
を有するシステム。
【請求項18】
プロセッシング能力を備えているデバイスによって実行される場合に、前記デバイスに、請求項1乃至又は乃至15のうちいずれか一項に記載の方法を実行させるよう適応されている命令を有するコンピュータプログラム。
【請求項19】
請求項18に記載のコンピュータプログラムを記憶しているコンピュータ可読記憶媒体。
【国際調査報告】