IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 華為技術有限公司の特許一覧

特許7481457オーディオ符号化方法およびデバイスならびにオーディオ復号方法およびデバイス
<>
  • 特許-オーディオ符号化方法およびデバイスならびにオーディオ復号方法およびデバイス 図1
  • 特許-オーディオ符号化方法およびデバイスならびにオーディオ復号方法およびデバイス 図2
  • 特許-オーディオ符号化方法およびデバイスならびにオーディオ復号方法およびデバイス 図3
  • 特許-オーディオ符号化方法およびデバイスならびにオーディオ復号方法およびデバイス 図4
  • 特許-オーディオ符号化方法およびデバイスならびにオーディオ復号方法およびデバイス 図5
  • 特許-オーディオ符号化方法およびデバイスならびにオーディオ復号方法およびデバイス 図6
  • 特許-オーディオ符号化方法およびデバイスならびにオーディオ復号方法およびデバイス 図7a
  • 特許-オーディオ符号化方法およびデバイスならびにオーディオ復号方法およびデバイス 図7b
  • 特許-オーディオ符号化方法およびデバイスならびにオーディオ復号方法およびデバイス 図7c
  • 特許-オーディオ符号化方法およびデバイスならびにオーディオ復号方法およびデバイス 図7d
  • 特許-オーディオ符号化方法およびデバイスならびにオーディオ復号方法およびデバイス 図8
  • 特許-オーディオ符号化方法およびデバイスならびにオーディオ復号方法およびデバイス 図9
  • 特許-オーディオ符号化方法およびデバイスならびにオーディオ復号方法およびデバイス 図10
  • 特許-オーディオ符号化方法およびデバイスならびにオーディオ復号方法およびデバイス 図11
  • 特許-オーディオ符号化方法およびデバイスならびにオーディオ復号方法およびデバイス 図12
  • 特許-オーディオ符号化方法およびデバイスならびにオーディオ復号方法およびデバイス 図13
  • 特許-オーディオ符号化方法およびデバイスならびにオーディオ復号方法およびデバイス 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-30
(45)【発行日】2024-05-10
(54)【発明の名称】オーディオ符号化方法およびデバイスならびにオーディオ復号方法およびデバイス
(51)【国際特許分類】
   G10L 19/032 20130101AFI20240501BHJP
   G10L 21/0388 20130101ALI20240501BHJP
【FI】
G10L19/032
G10L21/0388 100
【請求項の数】 25
(21)【出願番号】P 2022542238
(86)(22)【出願日】2021-01-08
(65)【公表番号】
(43)【公表日】2023-03-08
(86)【国際出願番号】 CN2021070831
(87)【国際公開番号】W WO2021139757
(87)【国際公開日】2021-07-15
【審査請求日】2022-08-01
(31)【優先権主張番号】202010028452.6
(32)【優先日】2020-01-10
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】503433420
【氏名又は名称】華為技術有限公司
【氏名又は名称原語表記】HUAWEI TECHNOLOGIES CO.,LTD.
【住所又は居所原語表記】Huawei Administration Building, Bantian, Longgang District, Shenzhen, Guangdong 518129, P.R. China
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ワーン,ビン
(72)【発明者】
【氏名】シア,ビーンイン
(72)【発明者】
【氏名】ワーン,ジョーァ
(72)【発明者】
【氏名】ジョウ,ジエントーン
【審査官】山下 剛史
(56)【参考文献】
【文献】特開2006-293375(JP,A)
【文献】国際公開第2019/148112(WO,A1)
【文献】国際公開第2018/175347(WO,A1)
【文献】特表2014-532904(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G10L 19/00-25/93
(57)【特許請求の範囲】
【請求項1】
オーディオ符号化方法であって、
オーディオ信号の現在のフレームを取得することと、ここで、前記現在のフレームは、高周波数帯域信号および低周波数帯域信号を含み、
前記高周波数帯域信号と前記低周波数帯域信号とに基づいて、前記現在のフレームの互換レイヤ符号化パラメータを取得することと、
前記高周波数帯域信号に基づいて前記現在のフレームのエンハンスメントレイヤ符号化パラメータを取得することと、
前記互換レイヤ符号化パラメータおよび前記エンハンスメントレイヤ符号化パラメータに対してビットストリーム多重化を実行して、符号化ビットストリームを取得することと
を含み、
前記高周波数帯域信号に基づいて前記現在のフレームのエンハンスメントレイヤ符号化パラメータを取得することは、
前記現在のフレームの前記高周波数帯域信号の信号タイプ情報を取得することと、
前記現在のフレームの前記高周波数帯域信号の前記信号タイプ情報がプリセット信号タイプを示すとき、前記現在のフレームの前記高周波数帯域信号を符号化して、前記現在のフレームの前記エンハンスメントレイヤ符号化パラメータを取得することと
を含む、方法。
【請求項2】
前記プリセット信号タイプは、高調波信号タイプ、トーナル信号タイプ、ホワイトノイズ様信号タイプ、過渡信号タイプ、または摩擦音信号タイプのうちの少なくとも1つを含む、請求項に記載の方法。
【請求項3】
前記現在のフレームの前記エンハンスメントレイヤ符号化パラメータは、前記現在のフレームの前記高周波数帯域信号の前記信号タイプ情報をさらに含む、請求項またはに記載の方法。
【請求項4】
オーディオ符号化方法であって、
オーディオ信号の現在のフレームを取得することと、ここで、前記現在のフレームは、高周波数帯域信号および低周波数帯域信号を含み、
前記高周波数帯域信号と前記低周波数帯域信号とに基づいて、前記現在のフレームの互換レイヤ符号化パラメータを取得することと、
前記高周波数帯域信号に基づいて前記現在のフレームのエンハンスメントレイヤ符号化パラメータを取得することと、
前記互換レイヤ符号化パラメータおよび前記エンハンスメントレイヤ符号化パラメータに対してビットストリーム多重化を実行して、符号化ビットストリームを取得することと
を含み、
前記高周波数帯域信号に基づいて前記現在のフレームのエンハンスメントレイヤ符号化パラメータを取得することは、
互換レイヤ符号化周波数帯域情報を取得することと、
前記互換レイヤ符号化周波数帯域情報に基づいて、前記現在のフレームの前記高周波数帯域信号内の符号化対象周波数帯域信号を決定することと、
前記符号化対象周波数帯域信号を符号化して前記エンハンスメントレイヤ符号化パラメータを取得することと
を含む、方法。
【請求項5】
オーディオ復号方法であって、
符号化ビットストリームを取得することと、
前記符号化ビットストリームに対してビットストリーム逆多重化を実行してオーディオ信号の現在のフレームの互換レイヤ符号化パラメータおよび前記現在のフレームのエンハンスメントレイヤ符号化パラメータを取得することと、
前記互換レイヤ符号化パラメータに基づいて、前記現在のフレームの互換レイヤ信号を取得することと、ここで、前記互換レイヤ信号は、前記現在のフレームの第1の高周波数帯域信号および前記現在のフレームの第1の低周波数帯域信号を含み、
前記エンハンスメントレイヤ符号化パラメータに基づいて前記現在のフレームのエンハンスメントレイヤ信号を取得することと、
前記現在のフレームの前記エンハンスメントレイヤ符号化パラメータまたは前記エンハンスメントレイヤ信号に基づいて前記現在のフレームの前記第1の高周波数帯域信号を適応させて、前記現在のフレームの第2の高周波数帯域信号を取得することと、
前記現在のフレームの前記エンハンスメントレイヤ信号と、前記現在のフレームの前記第2の高周波数帯域信号と、前記現在のフレームの前記第1の低周波数帯域信号とに基づいて、前記現在のフレームのオーディオ出力信号を取得することと
を含む方法。
【請求項6】
前記エンハンスメントレイヤ符号化パラメータに基づいて前記現在のフレームのエンハンスメントレイヤ信号を取得することは、
前記現在のフレームの前記エンハンスメントレイヤ符号化パラメータに基づいて信号タイプ情報を取得することと、
前記信号タイプ情報によって示されるプリセット信号タイプに基づいて、前記現在のフレームの前記エンハンスメントレイヤ符号化パラメータを復号して、前記現在のフレームの前記エンハンスメントレイヤ信号を取得することと
を含む、請求項に記載の方法。
【請求項7】
前記現在のフレームの前記エンハンスメントレイヤ符号化パラメータまたは前記エンハンスメントレイヤ信号に基づいて前記現在のフレームの前記第1の高周波数帯域信号を適応させて、前記現在のフレームの第2の高周波数帯域信号を取得することは、
前記現在のフレームの前記エンハンスメントレイヤ符号化パラメータまたは前記エンハンスメントレイヤ信号と、前記現在のフレームの前記第1の高周波数帯域信号とに基づいて、互換レイヤ高周波数帯域調整パラメータを取得することと、
前記互換レイヤ高周波数帯域調整パラメータを使用することによって前記現在のフレームの前記第1の高周波数帯域信号を適応させて、前記現在のフレームの前記第2の高周波数帯域信号を取得することと
を含む、請求項またはに記載の方法。
【請求項8】
前記現在のフレームの前記エンハンスメントレイヤ符号化パラメータまたは前記エンハンスメントレイヤ信号と、前記現在のフレームの前記第1の高周波数帯域信号とに基づいて、互換レイヤ高周波数帯域調整パラメータを取得することは、
前記現在のフレームの前記エンハンスメントレイヤ符号化パラメータまたは前記エンハンスメントレイヤ信号に対応するエンベロープ情報を取得し、前記現在のフレームの前記第1の高周波数帯域信号のエンベロープ情報を取得することと、
前記エンハンスメントレイヤ符号化パラメータまたは前記エンハンスメントレイヤ信号に対応する前記エンベロープ情報と、前記第1の高周波数帯域信号の前記エンベロープ情報とに基づいて、前記互換レイヤ高周波数帯域調整パラメータを取得することと
を含む、請求項に記載の方法。
【請求項9】
前記現在のフレームの前記エンハンスメントレイヤ符号化パラメータまたは前記エンハンスメントレイヤ信号に基づいて前記現在のフレームの前記第1の高周波数帯域信号を適応させて、前記現在のフレームの第2の高周波数帯域信号を取得することは、
事前設定された高周波数帯域スペクトル選択規則にしたがって、前記現在のフレームの前記エンハンスメントレイヤ信号から前記現在のフレームのエンハンスメントレイヤ高周波数帯域スペクトル信号を選択することと、
前記エンハンスメントレイヤ高周波数帯域スペクトル信号と前記現在のフレームの前記第1の高周波数帯域信号と組み合わせて、前記現在のフレームの前記第2の高周波数帯域信号を取得することと
を含む、請求項またはに記載の方法。
【請求項10】
事前設定された高周波数帯域スペクトル選択規則にしたがって、前記現在のフレームの前記エンハンスメントレイヤ信号から前記現在のフレームのエンハンスメントレイヤ高周波数帯域スペクトル信号を選択することは、
前記現在のフレームの前記第1の高周波数帯域信号に含まれる互換レイヤ復号信号および互換レイヤ帯域幅拡張信号を取得することと、
前記現在のフレームの前記エンハンスメントレイヤ信号内にあり、前記互換レイヤ帯域幅拡張信号に対応する信号を、前記現在のフレームの前記エンハンスメントレイヤ高周波数帯域スペクトル信号として決定することと
を含む、請求項に記載の方法。
【請求項11】
前記現在のフレームの前記エンハンスメントレイヤ符号化パラメータまたは前記エンハンスメントレイヤ信号に基づいて前記現在のフレームの前記第1の高周波数帯域信号を適応させて、前記現在のフレームの第2の高周波数帯域信号を取得することは、
前記現在のフレームの前記第1の高周波数帯域信号を前記現在のフレームの前記エンハンスメントレイヤ信号に置き換えて、前記現在のフレームの前記第2の高周波数帯域信号を取得すること
を含む、請求項またはに記載の方法。
【請求項12】
前記現在のフレームの前記第1の高周波数帯域信号を前記現在のフレームの前記エンハンスメントレイヤ信号に置き換えて、前記現在のフレームの前記第2の高周波数帯域信号を取得することは、
前記現在のフレームの前記エンハンスメントレイヤ符号化パラメータまたは前記エンハンスメントレイヤ信号と、前記現在のフレームの前記第1の高周波数帯域信号とに基づいて、エンハンスメントレイヤ高周波数帯域調整パラメータを取得することと、
前記エンハンスメントレイヤ高周波数帯域調整パラメータを使用することによって前記現在のフレームの前記エンハンスメントレイヤ信号を適応させて、適応されたエンハンスメントレイヤ信号を取得することと、
前記現在のフレームの前記第1の高周波数帯域信号を前記適応されたエンハンスメントレイヤ信号に置き換えて、前記現在のフレームの前記第2の高周波数帯域信号を取得することと
を含む、請求項11に記載の方法。
【請求項13】
前記現在のフレームの前記第1の高周波数帯域信号を前記現在のフレームの前記エンハンスメントレイヤ信号に置き換えて、前記現在のフレームの前記第2の高周波数帯域信号を取得することは、
前記現在のフレームの前記エンハンスメントレイヤ符号化パラメータまたは前記エンハンスメントレイヤ信号と、前記現在のフレームの前記第1の高周波数帯域信号とに基づいて、エンハンスメントレイヤ高周波数帯域調整パラメータを取得することと、
前記現在のフレームの前記第1の高周波数帯域信号を前記現在のフレームの前記エンハンスメントレイヤ信号に置き換えて、前記置き換えの後に生成された第1の高周波数帯域信号を取得することと、
前記エンハンスメントレイヤ高周波数帯域調整パラメータを使用することによって、前記置き換えの後に生成された前記第1の高周波数帯域信号を適応させて、前記現在のフレームの前記第2の高周波数帯域信号を取得することと
を含む、請求項11に記載の方法。
【請求項14】
前記現在のフレームの前記第1の高周波数帯域信号を前記現在のフレームの前記エンハンスメントレイヤ信号に置き換えて、前記現在のフレームの前記第2の高周波数帯域信号を取得することは、
前記現在のフレームの前記エンハンスメントレイヤ信号および前記現在のフレームの前記第1の高周波数帯域信号に対してスペクトル成分比較選択を実行して、前記現在のフレームの前記エンハンスメントレイヤ信号から第1のエンハンスメントレイヤサブ信号を選択することと、
前記現在のフレームの前記第1の高周波数帯域信号内にあり、前記第1のエンハンスメントレイヤサブ信号と同じスペクトルを有する信号を、前記第1のエンハンスメントレイヤサブ信号に置き換えて、前記現在のフレームの前記第2の高周波数帯域信号を取得することと
を含む、請求項11に記載の方法。
【請求項15】
前記エンハンスメントレイヤ符号化パラメータに基づいて前記現在のフレームのエンハンスメントレイヤ信号を取得することは、
前記エンハンスメントレイヤ符号化パラメータと前記互換レイヤ符号化パラメータとに基づいて、前記エンハンスメントレイヤ符号化パラメータ内の復号対象エンハンスメントレイヤ高周波数帯域信号を決定することと、
前記エンハンスメントレイヤ符号化パラメータ内の前記復号対象エンハンスメントレイヤ高周波数帯域信号を復号して、前記現在のフレームの前記エンハンスメントレイヤ信号を取得することと
を含む、請求項に記載の方法。
【請求項16】
前記現在のフレームの前記エンハンスメントレイヤ符号化パラメータまたは前記エンハンスメントレイヤ信号に基づいて前記現在のフレームの前記第1の高周波数帯域信号を適応させて、前記現在のフレームの第2の高周波数帯域信号を取得することは、
前記現在のフレームの前記互換レイヤ信号内の互換レイヤ復号信号および互換レイヤ帯域幅拡張信号を取得することと、
前記互換レイヤ帯域幅拡張信号と前記現在のフレームの前記エンハンスメントレイヤ信号とを組み合わせて、前記現在のフレームの前記第2の高周波数帯域信号を取得することと
を含む、請求項またはに記載の方法。
【請求項17】
前記互換レイヤ信号のスペクトル範囲は[0,FL]であり、前記互換レイヤ復号信号のスペクトル範囲は[0,FT]であり、前記互換レイヤ帯域幅拡張信号のスペクトル範囲は[FT,FL]であり、前記エンハンスメントレイヤ信号のスペクトル範囲は[FX,FY]であり、前記オーディオ出力信号のスペクトル範囲は[0,FY]であり、および、
FL=FY,FX≦FTであり、前記オーディオ出力信号は、以下の方式で決定される:前記オーディオ出力信号においてスペクトル範囲が[0,FT]である信号が、前記互換レイヤ信号を使用することによって取得され、前記オーディオ出力信号においてスペクトル範囲が[FT,FL]である信号が、前記互換レイヤ信号および前記エンハンスメントレイヤ信号を使用することによって取得される、または
FL=FY,FX>FTであり、前記オーディオ出力信号は、以下の方式で決定される:前記オーディオ出力信号においてスペクトル範囲が[0,FX]である信号が、前記互換レイヤ信号を使用することによって取得され、前記オーディオ出力信号においてスペクトル範囲が[FX,FL]である信号が、前記互換レイヤ信号および前記エンハンスメントレイヤ信号を使用することによって取得される、または
FL<FY,FX≦FTであり、前記オーディオ出力信号は、以下の方式で決定される:前記オーディオ出力信号においてスペクトル範囲が[0,FT]である信号が、前記互換レイヤ信号を使用することによって取得され、前記オーディオ出力信号においてスペクトル範囲が[FT,FL]である信号が、前記互換レイヤ信号および前記エンハンスメントレイヤ信号を使用することによって取得される、または
FL<FY,FX>FTであり、前記オーディオ出力信号は、以下の方式で決定される:前記オーディオ出力信号においてスペクトル範囲が[0,FX]である信号が、前記互換レイヤ信号を使用することによって取得され、前記オーディオ出力信号においてスペクトル範囲が[FX,FL]である信号が、前記互換レイヤ信号および前記エンハンスメントレイヤ信号を使用することによって取得される、
請求項16に記載の方法。
【請求項18】
前記現在のフレームの前記エンハンスメントレイヤ信号と、前記現在のフレームの前記第2の高周波数帯域信号と、前記現在のフレームの前記第1の低周波数帯域信号とに基づいて、前記現在のフレームのオーディオ出力信号を取得した後に、前記方法は、
前記現在のフレームの前記オーディオ出力信号を後処理すること
をさらに含む、請求項から17のいずれか一項に記載の方法。
【請求項19】
前記現在のフレームの前記エンハンスメントレイヤ信号と、前記現在のフレームの前記第2の高周波数帯域信号と、前記現在のフレームの前記第1の低周波数帯域信号とに基づいて、前記現在のフレームのオーディオ出力信号を取得する前に、前記方法は、
前記互換レイヤ信号に基づいて後処理パラメータを取得することと、
前記後処理パラメータを使用することによって前記エンハンスメントレイヤ信号を後処理して、後処理されたエンハンスメントレイヤ信号を取得することと
をさらに含む、請求項から17のいずれか一項に記載の方法。
【請求項20】
オーディオ符号化デバイスであって、前記オーディオ符号化デバイスは少なくとも1つのプロセッサを備え、前記少なくとも1つのプロセッサは、メモリに結合され、前記メモリ内の命令を読み出して実行して、請求項1からのいずれか一項に記載の方法を実施するように構成される、オーディオ符号化デバイス。
【請求項21】
オーディオ復号デバイスであって、前記オーディオ復号デバイスは少なくとも1つのプロセッサを備え、前記少なくとも1つのプロセッサは、メモリに結合され、前記メモリ内の命令を読み出して実行して、請求項から19のいずれか一項に記載の方法を実施するように構成される、オーディオ復号デバイス。
【請求項22】
オーディオ符号化デバイスであって、前記オーディオ符号化デバイスは、互換レイヤエンコーダと、エンハンスメントレイヤエンコーダと、ビットストリームマルチプレクサとを備え、
前記互換レイヤエンコーダは、オーディオ信号の現在のフレームを取得することと、ここで、前記現在のフレームは、高周波数帯域信号および低周波数帯域信号を含み、前記高周波数帯域信号と前記低周波数帯域信号とに基づいて、前記現在のフレームの互換レイヤ符号化パラメータを取得することとを行うように構成され、
前記エンハンスメントレイヤエンコーダは、前記オーディオ信号の前記現在のフレームを取得することと、ここで、前記現在のフレームは、前記高周波数帯域信号および前記低周波数帯域信号を含み、前記高周波数帯域信号に基づいて前記現在のフレームのエンハンスメントレイヤ符号化パラメータを取得することとを行うように構成され、
前記ビットストリームマルチプレクサは、前記互換レイヤ符号化パラメータおよび前記エンハンスメントレイヤ符号化パラメータに対してビットストリーム多重化を実行して、符号化ビットストリームを取得するように構成され、
前記高周波数帯域信号に基づいて前記現在のフレームのエンハンスメントレイヤ符号化パラメータを取得することは、
前記現在のフレームの前記高周波数帯域信号の信号タイプ情報を取得することと、
前記現在のフレームの前記高周波数帯域信号の前記信号タイプ情報がプリセット信号タイプを示すとき、前記現在のフレームの前記高周波数帯域信号を符号化して、前記現在のフレームの前記エンハンスメントレイヤ符号化パラメータを取得することと
を含む、
オーディオ符号化デバイス。
【請求項23】
オーディオ復号デバイスであって、前記オーディオ復号デバイスは、ビットストリームデマルチプレクサと、互換レイヤデコーダと、エンハンスメントレイヤデコーダと、適応プロセッサと、コンバイナとを備え、
前記ビットストリームデマルチプレクサは、符号化ビットストリームを取得することと、前記符号化ビットストリームに対してビットストリーム逆多重化を実行してオーディオ信号の現在のフレームの互換レイヤ符号化パラメータおよび前記現在のフレームのエンハンスメントレイヤ符号化パラメータを取得することとを行うように構成され、
前記互換レイヤデコーダは、前記互換レイヤ符号化パラメータに基づいて、前記現在のフレームの互換レイヤ信号を取得するように構成され、ここで、前記互換レイヤ信号は、前記現在のフレームの第1の高周波数帯域信号および前記現在のフレームの第1の低周波数帯域信号を含み、
前記エンハンスメントレイヤデコーダは、前記エンハンスメントレイヤ符号化パラメータに基づいて前記現在のフレームのエンハンスメントレイヤ信号を取得するように構成され、
前記適応プロセッサは、前記現在のフレームの前記エンハンスメントレイヤ符号化パラメータまたは前記エンハンスメントレイヤ信号に基づいて前記現在のフレームの前記第1の高周波数帯域信号を適応させて、前記現在のフレームの第2の高周波数帯域信号を取得するように構成され、
前記コンバイナは、前記現在のフレームの前記エンハンスメントレイヤ信号と、前記現在のフレームの前記第2の高周波数帯域信号と、前記現在のフレームの前記第1の低周波数帯域信号とに基づいて、前記現在のフレームのオーディオ出力信号を取得するように構成される、
オーディオ復号デバイス。
【請求項24】
プログラムが記録されているコンピュータ可読記憶媒体であって、前記プログラムは、コンピュータに、請求項1から19のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
【請求項25】
コンピュータに、請求項1から19のいずれか一項に記載の方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、2020年1月10日に中国国家知識産権局に出願された、「AUDIO ENCODING METHOD AND DEVICE AND AUDIO DECODING METHOD AND DEVICE」と題する中国特許出願第202010028452.6号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
【0002】
本出願は、オーディオ信号符号化および復号技術の分野に関し、特に、オーディオ符号化方法およびデバイス、ならびにオーディオ復号方法およびデバイスに関する。
【背景技術】
【0003】
オーディオサービスに対するユーザ要件はますます高くなっているので、オーディオ符号化/復号デバイスは絶えず更新される必要がある。新しいオーディオサービスに対するユーザ要件が満たされるときには、古いオーディオ符号化/復号デバイスが依然としてオーディオサービスを提供することができるように、古いオーディオ符号化/復号デバイスが完全に互換性を持つことを確実にすることも必要である。この場合の重要なステップは、新しいオーディオ符号化/復号デバイスが古いオーディオ符号化/復号デバイスと互換性を持つことができることである。
【0004】
新しい符号化/復号デバイスが古いオーディオ符号化/復号デバイスと互換性を持つことができるようにするためには、現在のところ、トランスコーディングモジュールを古いオーディオ符号化/復号デバイスに配備する必要がある。古いオーディオ符号化/復号デバイスと新しいオーディオ符号化/復号デバイスとの間のインターワーキングは、トランスコーディングモジュールを使用することによって実装され得る。しかしながら、トランスコーディングモジュールを古いオーディオ符号化/復号デバイスに追加すると、古いオーディオ符号化/復号デバイスを再構成するコストが増加し、符号化/復号デバイスのデバイス複雑度およびエネルギー消費が増加し、オーディオ信号符号化/復号効率が低下する。
【発明の概要】
【0005】
本出願の実施形態は、オーディオ符号化方法およびデバイスならびにオーディオ復号方法およびデバイスを提供して、新しい符号化/復号デバイスと古い符号化/復号デバイスとの間の互換性を実現し、オーディオ信号の符号化/復号効率を向上させる。
【0006】
前述の問題を解決するために、本出願の実施形態は、以下の技術的解決策を提供する。
【0007】
第1の態様によれば、本出願の実施形態は、オーディオ符号化方法を提供する。方法は、オーディオ信号の現在のフレームを取得することと、ここで、現在のフレームは、高周波数帯域信号および低周波数帯域信号を含み、高周波数帯域信号と低周波数帯域信号とに基づいて、現在のフレームの互換レイヤ符号化パラメータを取得することと、高周波数帯域信号に基づいて現在のフレームのエンハンスメントレイヤ符号化パラメータを取得することと、互換レイヤ符号化パラメータおよびエンハンスメントレイヤ符号化パラメータに対してビットストリーム多重化を実行して、符号化ビットストリームを取得することとを含む。本出願のこの実施形態では、オーディオ信号を符号化するためのすべての周波数領域範囲が互換レイヤに含まれ得るが、オーディオ信号を符号化するための高周波数領域範囲のみがエンハンスメントレイヤに含まれる。古いオーディオ符号化デバイスを使用することによって互換レイヤが実装され得、新しいオーディオ符号化デバイスを使用することによってエンハンスメントレイヤおよび互換レイヤが実装され得る。したがって、本出願のこの実施形態では、新しいオーディオ符号化デバイスは、古いオーディオ符号化デバイスと互換性がある。オーディオ符号化デバイスのデバイスタイプによって、符号化は、互換レイヤのみで行われ得るか、または互換レイヤおよびエンハンスメントレイヤの両方で行われ得る。本出願のこの実施形態では、新しいトランスコーディングモジュールを古いオーディオ符号化デバイスに追加する必要はない。したがって、オーディオ符号化デバイスのアップグレードコストが削減され、オーディオ信号符号化効率が向上し得る。
【0008】
可能な実装形態では、高周波数帯域信号に基づいて現在のフレームのエンハンスメントレイヤ符号化パラメータを取得することは、現在のフレームの高周波数帯域信号の信号タイプ情報を取得することと、現在のフレームの高周波数帯域信号の信号タイプ情報がプリセット信号タイプを示すとき、現在のフレームの高周波数帯域信号を符号化して、現在のフレームのエンハンスメントレイヤ符号化パラメータを取得することとを含む。この解決策では、現在のフレームの高周波数帯域信号の信号タイプ情報が取得され、信号タイプ情報は、分類を通して取得された信号タイプに基づく複数のタイプの信号分類結果を含み得る。現在のフレームの高周波数帯域信号の信号タイプ情報がプリセット信号タイプを示すとき、現在のフレームの高周波数帯域信号が符号化されて、現在のフレームのエンハンスメントレイヤ符号化パラメータが取得される。例えば、オーディオ信号は、N個のプリセット信号タイプに分類され得、N個の符号化モードがエンハンスメントレイヤにおいて設定され得る。プリセット信号タイプごとに、1つの対応するエンハンスメントレイヤ符号化モードが実行され得る。したがって、信号タイプによって、対応するエンハンスメントレイヤ符号化モードが使用される。これにより、オーディオ信号の符号化効率が向上する。
【0009】
可能な実装形態では、プリセット信号タイプは、高調波信号タイプ、トーナル信号タイプ、ホワイトノイズ様信号タイプ、過渡信号タイプ、または摩擦音信号タイプのうちの少なくとも1つを含む。この解決策では、現在のフレームの高周波数帯域信号は、複数のプリセット信号タイプを有し得る。例えば、現在のフレームの高周波数帯域信号の信号タイプが高調波信号タイプである場合、すなわち、現在のフレームの高周波数帯域信号が高調波信号である場合、エンハンスメントレイヤで高調波信号を符号化するためにエンハンスメントレイヤ符号化モード1が使用され得る。現在のフレームの高周波数帯域信号の信号タイプがトーナル信号タイプである場合、すなわち、現在のフレームの高周波数帯域信号がトーン成分を含む場合、エンハンスメントレイヤでトーナル信号を符号化するために、エンハンスメントレイヤ符号化モード2が使用され得る。現在のフレームの高周波数帯域信号の信号タイプがホワイトノイズ様信号タイプである場合、すなわち、現在のフレームの高周波数帯域信号がホワイトノイズ様信号を含む場合、エンハンスメントレイヤでホワイトノイズ様信号を符号化するために、エンハンスメントレイヤ符号化モード3が使用され得る。現在のフレームの高周波数帯域信号の信号タイプが過渡信号タイプである場合、すなわち、現在のフレームの高周波数帯域信号が過渡信号を含む場合、エンハンスメントレイヤで過渡信号を符号化するために、エンハンスメントレイヤ符号化モード4が使用され得る。現在のフレームの高周波数帯域信号の信号タイプが摩擦音信号タイプである場合、すなわち、現在のフレームの高周波数帯域信号が摩擦音信号を含む場合、エンハンスメントレイヤで摩擦音信号を符号化するために、エンハンスメントレイヤ符号化モード5が使用され得る。本出願のこの実施形態では、プリセット信号タイプごとに、1つの対応するエンハンスメントレイヤ符号化モードが実行され得る。したがって、信号タイプによって、対応するエンハンスメントレイヤ符号化モードが使用される。これにより、オーディオ信号の符号化効率が向上する。
【0010】
可能な実装形態では、現在のフレームのエンハンスメントレイヤ符号化パラメータは、現在のフレームの高周波数帯域信号の信号タイプ情報をさらに含む。この解決策では、現在のフレームの高周波数帯域信号がエンハンスメントレイヤにおいて符号化された後に生成されるエンハンスメントレイヤ符号化パラメータは、現在のフレームの高周波数帯域信号の信号タイプ情報をさらに含む。したがって、ビットストリーム多重化中に、生成された符号化ビットストリームは、現在のフレームの高周波数帯域信号の信号タイプ情報を搬送し得、それにより、復号構成要素も信号タイプ情報を使用して、異なるプリセット信号タイプに基づいてエンハンスメントレイヤにおいて復号を実行し得る。したがって、エンハンスメントレイヤ信号を使用して、互換レイヤにおいて処理されたスペクトルの一部を処理し、最終的な出力信号の性能を向上させ得る。
【0011】
可能な実装形態では、高周波数帯域信号に基づいて現在のフレームのエンハンスメントレイヤ符号化パラメータを取得することは、互換レイヤ符号化周波数帯域情報を取得することと、互換レイヤ符号化周波数帯域情報に基づいて、現在のフレームの高周波数帯域信号内の符号化対象周波数帯域信号を決定することと、符号化対象周波数帯域信号を符号化してエンハンスメントレイヤ符号化パラメータを取得することとを含む。この解決策では、互換レイヤ符号化周波数帯域情報は、互換レイヤにおいて符号化されたオーディオ信号の周波数帯域情報を示し、すなわち、互換レイヤ符号化周波数帯域情報に基づいて、互換レイヤにおいて互換レイヤ符号化が実行される1つまたは複数の特定の周波数帯域が決定され得る。現在のフレームの高周波数帯域信号内の符号化対象周波数帯域信号は、互換レイヤ符号化周波数帯域情報に基づいて決定される。エンハンスメントレイヤにおいて符号化される必要がある高周波数帯域信号は、互換レイヤ符号化周波数帯域情報に基づいて決定され得る。最後に、エンハンスメントレイヤにおいて符号化される必要がある符号化対象周波数帯域信号が符号化されて、エンハンスメントレイヤ符号化パラメータが取得される。本出願のこの実施形態では、互換レイヤにおいて出力される互換レイヤ符号化周波数帯域情報は、エンハンスメントレイヤにおける符号化と互換レイヤにおける符号化とが相補的になり得るように、エンコーダ側でエンハンスメントレイヤにおける符号化をガイドするために使用され得る。これにより、エンハンスメントレイヤにおけるオーディオ信号の符号化効率が向上する。
【0012】
第2の態様によれば、本出願の実施形態は、オーディオ復号方法を提供する。方法は、符号化ビットストリームを取得することと、符号化ビットストリームに対してビットストリーム逆多重化を実行してオーディオ信号の現在のフレームの互換レイヤ符号化パラメータおよび現在のフレームのエンハンスメントレイヤ符号化パラメータを取得することと、互換レイヤ符号化パラメータに基づいて、現在のフレームの互換レイヤ信号を取得することと、ここで、互換レイヤ信号は、現在のフレームの第1の高周波数帯域信号および現在のフレームの第1の低周波数帯域信号を含み、エンハンスメントレイヤ符号化パラメータに基づいて現在のフレームのエンハンスメントレイヤ信号を取得することと、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に基づいて現在のフレームの第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得することと、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第2の高周波数帯域信号と、現在のフレームの第1の低周波数帯域信号とに基づいて、現在のフレームのオーディオ出力信号を取得することとを含む。本出願のこの実施形態では、オーディオ信号を復号するためのすべての周波数領域範囲が互換レイヤに含まれ得るが、オーディオ信号を復号するための高周波数領域範囲のみがエンハンスメントレイヤに含まれる。古いオーディオ復号デバイスを使用することによって互換レイヤが実装され得、新しいオーディオ復号デバイスを使用することによってエンハンスメントレイヤおよび互換レイヤが実装される。したがって、本出願のこの実施形態では、新しいオーディオ復号デバイスは、古いオーディオ復号デバイスと互換性がある。オーディオ復号デバイスのデバイスタイプによって、復号は、互換レイヤのみで行われ得るか、または互換レイヤおよびエンハンスメントレイヤの両方で行われ得る。本出願のこの実施形態では、新しいトランスコーディングモジュールを古いオーディオ復号デバイスに追加する必要はない。したがって、オーディオ復号デバイスのアップグレードコストが削減され、オーディオ信号復号効率が向上し得る。
【0013】
可能な実装形態では、エンハンスメントレイヤ符号化パラメータに基づいて現在のフレームのエンハンスメントレイヤ信号を取得することは、現在のフレームのエンハンスメントレイヤ符号化パラメータに基づいて信号タイプ情報を取得することと、信号タイプ情報によって示されるプリセット信号タイプに基づいて、現在のフレームのエンハンスメントレイヤ符号化パラメータを復号して、現在のフレームのエンハンスメントレイヤ信号を取得することとを含む。この解決策では、符号化ビットストリームは、オーディオ信号の信号タイプ情報を搬送し得、符号化ビットストリームに対してビットストリーム逆多重化を実行した後、復号構成要素は、現在のフレームのエンハンスメントレイヤ符号化パラメータの信号タイプ情報を取得することができる。現在のフレームのエンハンスメントレイヤ符号化パラメータは、信号タイプ情報によって示されるプリセット信号タイプに基づいて復号されて、現在のフレームのエンハンスメントレイヤ信号が取得される。例えば、オーディオ信号は、N個のプリセット信号タイプに分類され得、N個の復号モードは、エンハンスメントレイヤにおいて設定され得る。プリセット信号タイプごとに、1つの対応するエンハンスメントレイヤ復号モードが実行され得る。したがって、信号タイプによって、対応するエンハンスメントレイヤ復号モードが使用される。これにより、オーディオ信号の復号効率が向上する。本出願のこの実施形態では、復号構成要素は、信号タイプ情報に基づいて、処理のために適切なエンハンスメントレイヤ復号を選択する。したがって、エンハンスメントレイヤ信号を使用して、互換レイヤにおいて処理されたスペクトルの一部を処理し、最終的な出力信号の性能を向上させ得る。
【0014】
可能な実装形態では、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に基づいて現在のフレームの第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得することは、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて、互換レイヤ高周波数帯域調整パラメータを取得することと、互換レイヤ高周波数帯域調整パラメータを使用することによって現在のフレームの第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得することとを含む。この解決策では、互換レイヤ高周波数帯域調整パラメータは、エンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号と、互換レイヤにおける第1の高周波数帯域信号とに基づいて取得され得る。互換レイヤ高周波数帯域調整パラメータ(以下の実施形態では略して調整パラメータと呼ばれ得る)は、互換レイヤ信号の高周波部分を調整するために使用される調整パラメータである。例えば、互換レイヤ高周波数帯域調整パラメータは、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて取得され得る。現在のフレームのエンハンスメントレイヤ信号および現在のフレームの第1の高周波数帯域信号の両方は、高周波数帯域オーディオ信号である。調整パラメータは、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて計算され得、現在のフレームの第1の高周波数帯域信号は、調整パラメータを使用することによって適応されて、現在のフレームの第2の高周波数帯域信号が取得される。調整パラメータを使用することによって第1の高周波数帯域信号を適応させることで、より良好な互換レイヤ高周波数帯域信号を取得することができ、その結果、より良好なオーディオ出力信号が出力され、オーディオ出力信号の性能が向上する。
【0015】
可能な実装形態では、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて、互換レイヤ高周波数帯域調整パラメータを取得することは、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に対応するエンベロープ情報を取得し、現在のフレームの第1の高周波数帯域信号のエンベロープ情報を取得することと、エンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に対応するエンベロープ情報と、第1の高周波数帯域信号のエンベロープ情報とに基づいて、互換レイヤ高周波数帯域調整パラメータを取得することとを含む。この解決策では、互換レイヤから構文解析を通して互換レイヤ出力情報が直接取得され得、出力情報およびエンハンスメントレイヤ信号は、互換レイヤ信号の高周波数帯域スペクトル調整パラメータを取得するために共同計算に使用され、互換レイヤ信号の高周波数帯域信号は、調整パラメータを使用することによって調整され、エンハンスメントレイヤ出力信号と組み合わされて最終的な出力信号が取得される。調整パラメータは、複数の実装形態において計算され得る。調整パラメータは、エンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に対応するエンベロープ情報と、第1の高周波数帯域信号のエンベロープ情報とに基づいて計算され得る。エンハンスメントレイヤ符号化パラメータに対応するエンベロープ情報は、高周波数帯域信号のものであり、かつ、エンハンスメントレイヤ符号化パラメータに基づいて計算されるエンベロープ情報であり得、またはエンハンスメントレイヤ信号に対応するエンベロープ情報は、エンハンスメントレイヤ信号の振幅であり得、第1の高周波数帯域信号のエンベロープ情報は、互換レイヤ信号内の高周波数帯域信号の振幅であり得る。互換レイヤ高周波数帯域調整パラメータは、エンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に対応するエンベロープ情報と、第1の高周波数帯域信号のエンベロープ情報とに基づいて計算され得る。
【0016】
可能な実装形態では、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に基づいて現在のフレームの第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得することは、事前設定された高周波数帯域スペクトル選択規則にしたがって、現在のフレームのエンハンスメントレイヤ信号から現在のフレームのエンハンスメントレイヤ高周波数帯域スペクトル信号を選択することと、エンハンスメントレイヤ高周波数帯域スペクトル信号と現在のフレームの第1の高周波数帯域信号と組み合わせて、現在のフレームの第2の高周波数帯域信号を取得することとを含む。この解決策では、高周波数帯域スペクトル選択規則は、事前設定され得る。高周波数帯域スペクトル選択規則は、エンハンスメントレイヤ信号から高周波数帯域スペクトル信号を選択することを示すために使用され得る。例えば、高周波数帯域スペクトル選択規則は、1つまたは複数の選択された周波数帯域を指定するか、または高周波数帯域スペクトル選択規則は、エンハンスメントレイヤ信号から選択される必要がある周波数帯域を示す。現在のフレームのエンハンスメントレイヤ高周波数帯域スペクトル信号は、事前設定された高周波数帯域スペクトル選択規則にしたがって現在のフレームのエンハンスメントレイヤ信号から選択される。エンハンスメントレイヤ高周波数帯域スペクトル信号は、エンハンスメントレイヤ信号内の選択された高周波数帯域スペクトル信号である。エンハンスメントレイヤ高周波数帯域スペクトル信号は、現在のフレームの第1の高周波数帯域信号と組み合わされて、現在のフレームの第2の高周波数帯域信号が取得される。本出願のこの実施形態では、高周波数帯域スペクトル選択規則は、いくつかの高周波数帯域信号が、エンハンスメントレイヤ信号から選択され、互換レイヤにおける第1の高周波数帯域信号と組み合わされて、互換レイヤにおける第2の高周波数帯域信号を生成し得るように設定される。したがって、本出願のこの実施形態では、より良好な互換レイヤ高周波数帯域信号を取得することができ、その結果、より良好なオーディオ出力信号が出力され、オーディオ出力信号の性能が向上する。
【0017】
可能な実装形態では、事前設定された高周波数帯域スペクトル選択規則にしたがって、現在のフレームのエンハンスメントレイヤ信号から現在のフレームのエンハンスメントレイヤ高周波数帯域スペクトル信号を選択することは、現在のフレームの第1の高周波数帯域信号に含まれる互換レイヤ復号信号および互換レイヤ帯域幅拡張信号を取得することと、現在のフレームのエンハンスメントレイヤ信号内にあり、互換レイヤ帯域幅拡張信号に対応する信号を、現在のフレームのエンハンスメントレイヤ高周波数帯域スペクトル信号として決定することとを含む。この解決策では、第1の高周波数帯域信号に含まれる互換レイヤ復号信号および互換レイヤ帯域幅拡張信号が決定され得る。互換レイヤ復号信号は、互換レイヤにおける互換レイヤ符号化パラメータを復号することによって復号構成要素によって取得される信号であり、互換レイヤ帯域幅拡張信号は、互換レイヤにおける帯域幅拡張を通して復号構成要素によって取得される信号である。例えば、低周波数帯域信号が高周波数帯域に拡張されて、互換レイヤ帯域幅拡張信号が取得される。本出願のこの実施形態では、復号構成要素は、互換レイヤ帯域幅拡張信号に基づいて、現在のフレームのエンハンスメントレイヤ信号から現在のフレームのエンハンスメントレイヤ高周波数帯域スペクトル信号を選択し得る。言い換えれば、エンハンスメントレイヤ信号内にあり、互換レイヤにおける互換レイヤ復号信号に対応する信号は選択されない。このように、エンハンスメントレイヤ高周波数帯域ペクトル信号は、エンハンスメントレイヤ信号から選択されたスペクトル信号であり、エンハンスメントレイヤ高周波数帯域スペクトル信号を使用することによって互換レイヤ信号が調整され、調整された信号がエンハンスメントレイヤ出力と組み合わされた後に、最終的な出力信号が取得される。より良好な互換レイヤ高周波数帯域信号を取得することができ、その結果、より良好なオーディオ出力信号が出力され、オーディオ出力信号の性能が向上する。
【0018】
可能な実装形態では、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に基づいて現在のフレームの第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得することは、現在のフレームの第1の高周波数帯域信号を現在のフレームのエンハンスメントレイヤ信号に置き換えて、現在のフレームの第2の高周波数帯域信号を取得することを含む。この解決策では、適応実装形態は、直接の置き換えであり得る。復号構成要素は、現在のフレームの第1の高周波数帯域信号を現在のフレームのエンハンスメントレイヤ信号に置き換え得る。言い換えれば、互換レイヤにおける第1の低周波数帯域信号は変化しないままであり、互換レイヤにおける第1の高周波数帯域信号は、現在のフレームのエンハンスメントレイヤ信号に置き換えられ得、現在のフレームのエンハンスメントレイヤ信号は、適応された第2の高周波数帯域信号として使用され得る。したがって、本出願のこの実施形態では、より良好な互換レイヤ高周波数帯域信号を取得することができ、その結果、より良好なオーディオ出力信号が出力され、オーディオ出力信号の性能が向上する。
【0019】
可能な実装形態では、現在のフレームの第1の高周波数帯域信号を現在のフレームのエンハンスメントレイヤ信号に置き換えて、現在のフレームの第2の高周波数帯域信号を取得することは、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて、エンハンスメントレイヤ高周波数帯域調整パラメータを取得することと、エンハンスメントレイヤ高周波数帯域調整パラメータを使用することによって現在のフレームのエンハンスメントレイヤ信号を適応させて、適応されたエンハンスメントレイヤ信号を取得することと、現在のフレームの第1の高周波数帯域信号を適応されたエンハンスメントレイヤ信号に置き換えて、現在のフレームの第2の高周波数帯域信号を取得することとを含む。この解決策では、エンハンスメントレイヤ高周波数帯域調整パラメータは、エンハンスメントレイヤ信号と互換レイヤにおける第1の高周波数帯域信号とに基づいて取得され得る。エンハンスメントレイヤ高周波数帯域調整パラメータ(以下の実施形態では略して調整パラメータと呼ばれ得る)は、エンハンスメントレイヤ信号を調整するために使用される調整パラメータである。エンハンスメントレイヤ高周波数帯域調整パラメータは、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて取得され得る。現在のフレームのエンハンスメントレイヤ信号および現在のフレームの第1の高周波数帯域信号の両方は、高周波数帯域オーディオ信号である。調整パラメータは、現在のフレームのエンハンスメントレイヤ信号および現在のフレームの第1の高周波数帯域信号を使用することによって計算され得、現在のフレームのエンハンスメントレイヤ信号は、調整パラメータを使用することによって適応されて、適応されたエンハンスメントレイヤ信号が取得される。現在のフレームのエンハンスメントレイヤ信号は、調整パラメータを使用することによって適応され、次いで、現在のフレームの第1の高周波数帯域信号が、適応されたエンハンスメントレイヤ信号に置き換えられる。このようにして、より良好な互換レイヤ高周波数帯域信号を取得することができ、その結果、より良好なオーディオ出力信号が出力され、オーディオ出力信号の性能が向上する。
【0020】
可能な実装形態では、現在のフレームの第1の高周波数帯域信号を現在のフレームのエンハンスメントレイヤ信号に置き換えて、現在のフレームの第2の高周波数帯域信号を取得することは、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて、エンハンスメントレイヤ高周波数帯域調整パラメータを取得することと、現在のフレームの第1の高周波数帯域信号を現在のフレームのエンハンスメントレイヤ信号に置き換えて、置き換えの後に生成された第1の高周波数帯域信号を取得することと、エンハンスメントレイヤ高周波数帯域調整パラメータを使用することによって、置き換えの後に生成された第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得することとを含む。この解決策では、エンハンスメントレイヤ高周波数帯域調整パラメータは、エンハンスメントレイヤ信号と互換レイヤにおける第1の高周波数帯域信号とに基づいて取得され得る。エンハンスメントレイヤ高周波数帯域調整パラメータ(以下の実施形態では略して調整パラメータと呼ばれ得る)は、エンハンスメントレイヤ信号を調整するために使用される調整パラメータである。エンハンスメントレイヤ高周波数帯域調整パラメータは、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて取得され得る。現在のフレームのエンハンスメントレイヤ信号および現在のフレームの第1の高周波数帯域信号の両方は、高周波数帯域オーディオ信号である。調整パラメータは、現在のフレームのエンハンスメントレイヤ信号および現在のフレームの第1の高周波数帯域信号を使用することによって計算され得、置き換えの後に生成された第1の高周波数帯域信号が取得された後、置き換えの後に生成された第1の高周波数帯域信号が調整パラメータを使用することによって適応されて、現在のフレームの第2の高周波数帯域信号が取得される。調整パラメータを使用することによって、置き換えの後に生成された第1の高周波数帯域信号を適応させることで、より良好な互換レイヤ高周波数帯域信号を取得することができ、その結果、より良好なオーディオ出力信号が出力され、オーディオ出力信号の性能が向上する。
【0021】
可能な実装形態では、現在のフレームの第1の高周波数帯域信号を現在のフレームのエンハンスメントレイヤ信号に置き換えて、現在のフレームの第2の高周波数帯域信号を取得することは、現在のフレームのエンハンスメントレイヤ信号および現在のフレームの第1の高周波数帯域信号に対してスペクトル成分比較選択を実行して、現在のフレームのエンハンスメントレイヤ信号から第1のエンハンスメントレイヤサブ信号を選択することと、現在のフレームの第1の高周波数帯域信号内にあり、第1のエンハンスメントレイヤサブ信号と同じスペクトルを有する信号を、第1のエンハンスメントレイヤサブ信号に置き換えて、現在のフレームの第2の高周波数帯域信号を取得することとを含む。この解決策では、エンハンスメントレイヤ信号に対応するスペクトル成分は、互換レイヤ信号内の第1の高周波数帯域信号に対応するスペクトル成分と比較され得る。スペクトル成分の比較が完了した後、現在のフレームのエンハンスメントレイヤ信号から第1のエンハンスメントレイヤサブ信号が選択される。最後に、現在のフレームの第1の高周波数帯域信号内にあり、第1のエンハンスメントレイヤサブ信号と同じスペクトルを有する信号が、選択された第1のエンハンスメントレイヤサブ信号に置き換えられて、現在のフレームの第2の高周波数帯域信号が取得される。例えば、復号構成要素は、前述のスペクトル成分比較選択を実行する。比較結果にしたがって、エンハンスメントレイヤ信号内のいくつかのスペクトル成分を使用して、互換レイヤ信号内の対応するスペクトル成分を置き換えて、最終的な出力信号内のスペクトル成分を取得する。加えて、エンハンスメントレイヤ信号内の他のスペクトル成分が破棄され、互換レイヤ信号内の置き換えの後に取得されたスペクトル成分を互換レイヤ信号内の他のスペクトル成分と組み合わせることによって、最終的な出力信号のすべてのスペクトル成分が取得される。
【0022】
可能な実装形態では、エンハンスメントレイヤ符号化パラメータに基づいて現在のフレームのエンハンスメントレイヤ信号を取得することは、エンハンスメントレイヤ符号化パラメータと互換レイヤ符号化パラメータとに基づいて、エンハンスメントレイヤ符号化パラメータ内の復号対象エンハンスメントレイヤ高周波数帯域信号を決定することと、エンハンスメントレイヤ符号化パラメータ内の復号対象エンハンスメントレイヤ高周波数帯域信号を復号して、現在のフレームのエンハンスメントレイヤ信号を取得することとを含む。この解決策では、エンハンスメントレイヤ符号化パラメータおよび互換レイヤ符号化パラメータが取得され得る。復号構成要素は、エンハンスメントレイヤ符号化パラメータと互換レイヤ符号化パラメータとに基づいて、エンハンスメントレイヤ符号化パラメータ内のエンハンスメントレイヤにおいて復号される必要がある高周波数帯域信号(すなわち、復号対象エンハンスメントレイヤ高周波数帯域信号)を決定し、次いで、エンハンスメントレイヤにおいて復号される必要がある高周波数帯域信号を復号する。エンハンスメントレイヤ符号化パラメータ内にあり、復号されるべき信号として決定されない高周波数帯域信号は、廃棄され得る。したがって、復号対象エンハンスメントレイヤ高周波数帯域信号のみが復号される必要があり、エンハンスメントレイヤ符号化パラメータのすべてが復号される必要はない。これにより、エンハンスメントレイヤにおけるオーディオ信号復号効率が向上する。
【0023】
可能な実装形態では、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に基づいて現在のフレームの第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得することは、現在のフレームの互換レイヤ信号内の互換レイヤ復号信号および互換レイヤ帯域幅拡張信号を取得することと、互換レイヤ帯域幅拡張信号と現在のフレームのエンハンスメントレイヤ信号とを組み合わせて、現在のフレームの第2の高周波数帯域信号を取得することとを含む。この解決策では、互換レイヤ信号に含まれる互換レイヤ復号信号および互換レイヤ帯域幅拡張信号が決定され得る。互換レイヤ復号信号は、互換レイヤにおける互換レイヤ符号化パラメータを復号することによって復号構成要素によって取得される信号であり、互換レイヤ帯域幅拡張信号は、互換レイヤにおける帯域幅拡張を通して復号構成要素によって取得される信号である。例えば、低周波数帯域信号が高周波数帯域に拡張されて、互換レイヤ帯域幅拡張信号が取得される。本出願のこの実施形態では、復号構成要素は、互換レイヤ帯域幅拡張信号と現在のフレームのエンハンスメントレイヤ信号とを組み合わせ得る。言い換えれば、第1の高周波数帯域信号内の互換レイヤ復号信号は、エンハンスメントレイヤ信号と組み合わされず、復号構成要素は、互換レイヤ帯域幅拡張信号のみを現在のフレームのエンハンスメントレイヤ信号と組み合わせる。現在のフレームの第2の高周波数帯域信号が取得され、第2の高周波数帯域信号、エンハンスメントレイヤ信号、および第1の低周波数帯域信号が組み合わされた後、最終的な出力信号が取得される。より良好な互換レイヤ高周波数帯域信号を取得することができ、その結果、より良好なオーディオ出力信号が出力され、オーディオ出力信号の性能が向上する。
【0024】
可能な実装形態では、互換レイヤ信号のスペクトル範囲は[0,FL]であり、互換レイヤ復号信号のスペクトル範囲は[0,FT]であり、互換レイヤ帯域幅拡張信号のスペクトル範囲は[FT,FL]であり、エンハンスメントレイヤ信号のスペクトル範囲は[FX,FY]であり、オーディオ出力信号のスペクトル範囲は[0,FY]であり、および、FL=FY,FX≦FTであり、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FT]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FT,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される;または、FL=FY,FX>FTであり、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FX]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FX,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される;または、FL<FY,FX≦FTであり、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FT]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FT,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される;または、FL<FY,FX>FTであり、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FX]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FX,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される。この解決策では、この実施形態では、復号構成要素は、互換レイヤ信号内のどのスペクトルが符号化および復号を通して取得され、互換レイヤ信号内のどのスペクトルが帯域幅拡張を通して取得されるかを学習し得る。最終的な出力信号は、互換レイヤ信号内の符号化および復号部分のスペクトルを含み、帯域幅拡張部分のスペクトルは、エンハンスメントレイヤ信号および互換レイヤ信号内の対応するスペクトル成分を組み合わせることによって取得され得る。
【0025】
可能な実装形態では、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第2の高周波数帯域信号と、現在のフレームの第1の低周波数帯域信号とに基づいて、現在のフレームのオーディオ出力信号を取得した後、方法は、現在のフレームのオーディオ出力信号を後処理することをさらに含む。この解決策では、現在のフレームのオーディオ出力信号が取得された後に、オーディオ出力信号は、後処理利得が達成され得るように、さらに後処理され得る。
【0026】
可能な実装形態では、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第2の高周波数帯域信号と、現在のフレームの第1の低周波数帯域信号とに基づいて、現在のフレームのオーディオ出力信号を取得する前に、方法は、互換レイヤ信号に基づいて後処理パラメータを取得することと、後処理パラメータを使用することによってエンハンスメントレイヤ信号を後処理して、後処理されたエンハンスメントレイヤ信号を取得することとをさらに含む。この解決策では、現在のフレームのオーディオ出力信号が取得される前に、互換レイヤ信号に基づいて後処理パラメータがさらに取得され得る。後処理パラメータは、後処理に必要なパラメータである。異なるタイプの後処理に基づいて、対応する後処理パラメータが取得される必要がある。エンハンスメントレイヤ信号は、後処理パラメータを使用することによって後処理され、後処理が完了した後、後処理されたエンハンスメントレイヤ信号、現在のフレームの第2の高周波数帯域信号、および現在のフレームの第1の低周波数帯域信号が組み合わされてオーディオ出力信号が取得され得る。本出願のこの実施形態では、エンハンスメントレイヤ信号は、後処理利得が達成され得るように、後処理され得る。
【0027】
第3の態様によれば、本出願の実施形態は、オーディオ符号化デバイスをさらに提供する。オーディオ符号化デバイスは、少なくとも1つのプロセッサを含み、少なくとも1つのプロセッサは、メモリに結合され、メモリ内の命令を読み出して実行して、第1の態様の可能な実装形態のうちのいずれか1つによる方法を実施するように構成される。
【0028】
可能な実装形態では、オーディオ符号化デバイスはメモリをさらに含む。
【0029】
第4の態様によれば、本出願の実施形態は、オーディオ復号デバイスをさらに提供する。オーディオ復号デバイスは、少なくとも1つのプロセッサを含み、少なくとも1つのプロセッサは、メモリに結合され、メモリ内の命令を読み出して実行して、第2の態様の可能な実装形態のうちのいずれか1つによる方法を実施するように構成される。
【0030】
可能な実装形態では、オーディオ復号デバイスはメモリをさらに含む。
【0031】
第5の態様によれば、本出願の実施形態は、オーディオ符号化デバイスをさらに提供する。オーディオ符号化デバイスは、互換レイヤエンコーダと、エンハンスメントレイヤエンコーダと、ビットストリームマルチプレクサとを含む。互換レイヤエンコーダは、オーディオ信号の現在のフレームを取得することと、ここで、現在のフレームは、高周波数帯域信号および低周波数帯域信号を含み、高周波数帯域信号と低周波数帯域信号とに基づいて、現在のフレームの互換レイヤ符号化パラメータを取得することとを行うように構成される。エンハンスメントレイヤエンコーダは、オーディオ信号の現在のフレームを取得することと、ここで、現在のフレームは、高周波数帯域信号および低周波数帯域信号を含み、高周波数帯域信号に基づいて現在のフレームのエンハンスメントレイヤ符号化パラメータを取得することとを行うように構成される。ビットストリームマルチプレクサは、互換レイヤ符号化パラメータおよびエンハンスメントレイヤ符号化パラメータに対してビットストリーム多重化を実行して、符号化ビットストリームを取得するように構成される。
【0032】
本出願のいくつかの実施形態では、エンハンスメントレイヤエンコーダは、現在のフレームの高周波数帯域信号の信号タイプ情報を取得することと、現在のフレームの高周波数帯域信号の信号タイプ情報がプリセット信号タイプを示すとき、現在のフレームの高周波数帯域信号を符号化して、現在のフレームのエンハンスメントレイヤ符号化パラメータを取得することとを行うように構成される。
【0033】
本出願のいくつかの実施形態では、プリセット信号タイプは、高調波信号タイプ、トーナル信号タイプ、ホワイトノイズ様信号タイプ、過渡信号タイプ、または摩擦音信号タイプのうちの少なくとも1つを含む。
【0034】
本出願のいくつかの実施形態では、現在のフレームのエンハンスメントレイヤ符号化パラメータは、現在のフレームの高周波数帯域信号の信号タイプ情報をさらに含む。
【0035】
本出願のいくつかの実施形態では、エンハンスメントレイヤエンコーダは、互換レイヤ符号化周波数帯域情報を取得することと、互換レイヤ符号化周波数帯域情報に基づいて、現在のフレームの高周波数帯域信号内の符号化対象周波数帯域信号を決定することと、符号化対象周波数帯域信号を符号化してエンハンスメントレイヤ符号化パラメータを取得することとを行うように構成される。
【0036】
本出願の第5の態様では、オーディオ符号化デバイスの構成要素は、第1の態様および可能な実装形態で説明したステップをさらに実行し得る。詳細については、第1の態様および可能な実装形態における前述の説明を参照されたい。
【0037】
第6の態様によれば、本出願の実施形態は、オーディオ復号デバイスをさらに提供する。オーディオ復号デバイスは、ビットストリームデマルチプレクサと、互換レイヤデコーダと、エンハンスメントレイヤデコーダと、適応プロセッサと、コンバイナとを含む。ビットストリームデマルチプレクサは、符号化ビットストリームを取得することと、符号化ビットストリームに対してビットストリーム逆多重化を実行してオーディオ信号の現在のフレームの互換レイヤ符号化パラメータおよび現在のフレームのエンハンスメントレイヤ符号化パラメータを取得することとを行うように構成される。互換レイヤデコーダは、互換レイヤ符号化パラメータに基づいて、現在のフレームの互換レイヤ信号を取得するように構成され、ここで、互換レイヤ信号は、現在のフレームの第1の高周波数帯域信号および現在のフレームの第1の低周波数帯域信号を含む。エンハンスメントレイヤデコーダは、エンハンスメントレイヤ符号化パラメータに基づいて現在のフレームのエンハンスメントレイヤ信号を取得するように構成される。適応プロセッサは、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に基づいて現在のフレームの第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得するように構成される。コンバイナは、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第2の高周波数帯域信号と、現在のフレームの第1の低周波数帯域信号とに基づいて、現在のフレームのオーディオ出力信号を取得するように構成される。
【0038】
本出願のいくつかの実施形態では、エンハンスメントレイヤデコーダは、現在のフレームのエンハンスメントレイヤ符号化パラメータに基づいて信号タイプ情報を取得することと、信号タイプ情報によって示されるプリセット信号タイプに基づいて、現在のフレームのエンハンスメントレイヤ符号化パラメータを復号して、現在のフレームのエンハンスメントレイヤ信号を取得することとを行うように構成される。
【0039】
本出願のいくつかの実施形態では、適応プロセッサは、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて、互換レイヤ高周波数帯域調整パラメータを取得することと、互換レイヤ高周波数帯域調整パラメータを使用することによって現在のフレームの第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得することとを行うように構成される。
【0040】
本出願のいくつかの実施形態では、適応プロセッサは、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に対応するエンベロープ情報を取得し、現在のフレームの第1の高周波数帯域信号のエンベロープ情報を取得することと、エンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に対応するエンベロープ情報と、第1の高周波数帯域信号のエンベロープ情報とに基づいて、互換レイヤ高周波数帯域調整パラメータを取得することとを行うように構成される。
【0041】
本出願のいくつかの実施形態では、適応プロセッサは、事前設定された高周波数帯域スペクトル選択規則にしたがって、現在のフレームのエンハンスメントレイヤ信号から現在のフレームのエンハンスメントレイヤ高周波数帯域スペクトル信号を選択することと、エンハンスメントレイヤ高周波数帯域スペクトル信号と現在のフレームの第1の高周波数帯域信号と組み合わせて、現在のフレームの第2の高周波数帯域信号を取得することとを行うように構成される。
【0042】
本出願のいくつかの実施形態では、適応プロセッサは、現在のフレームの第1の高周波数帯域信号に含まれる互換レイヤ復号信号および互換レイヤ帯域幅拡張信号を取得することと、現在のフレームのエンハンスメントレイヤ信号内にあり、互換レイヤ帯域幅拡張信号に対応する信号を、現在のフレームのエンハンスメントレイヤ高周波数帯域スペクトル信号として決定することとを行うように構成される。
【0043】
本出願のいくつかの実施形態では、適応プロセッサは、現在のフレームの第1の高周波数帯域信号を現在のフレームのエンハンスメントレイヤ信号に置き換えて、現在のフレームの第2の高周波数帯域信号を取得するように構成される。
【0044】
本出願のいくつかの実施形態では、適応プロセッサは、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて、エンハンスメントレイヤ高周波数帯域調整パラメータを取得することと、エンハンスメントレイヤ高周波数帯域調整パラメータを使用することによって現在のフレームのエンハンスメントレイヤ信号を適応させて、適応されたエンハンスメントレイヤ信号を取得することと、現在のフレームの第1の高周波数帯域信号を適応されたエンハンスメントレイヤ信号に置き換えて、現在のフレームの第2の高周波数帯域信号を取得することとを行うように構成される。
【0045】
本出願のいくつかの実施形態では、適応プロセッサは、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて、エンハンスメントレイヤ高周波数帯域調整パラメータを取得することと、現在のフレームの第1の高周波数帯域信号を現在のフレームのエンハンスメントレイヤ信号に置き換えて、置き換えの後に生成された第1の高周波数帯域信号を取得することと、エンハンスメントレイヤ高周波数帯域調整パラメータを使用することによって、置き換えの後に生成された第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得することとを行うように構成される。
【0046】
本出願のいくつかの実施形態では、適応プロセッサは、現在のフレームのエンハンスメントレイヤ信号および現在のフレームの第1の高周波数帯域信号に対してスペクトル成分比較選択を実行して、現在のフレームのエンハンスメントレイヤ信号から第1のエンハンスメントレイヤサブ信号を選択することと、現在のフレームの第1の高周波数帯域信号内にあり、第1のエンハンスメントレイヤサブ信号と同じスペクトルを有する信号を、第1のエンハンスメントレイヤサブ信号に置き換えて、現在のフレームの第2の高周波数帯域信号を取得することとを行うように構成される。
【0047】
本出願のいくつかの実施形態では、エンハンスメントレイヤデコーダは、エンハンスメントレイヤ符号化パラメータと互換レイヤ符号化パラメータとに基づいて、エンハンスメントレイヤ符号化パラメータ内の復号対象エンハンスメントレイヤ高周波数帯域信号を決定することと、エンハンスメントレイヤ符号化パラメータ内の復号対象エンハンスメントレイヤ高周波数帯域信号を復号して、現在のフレームのエンハンスメントレイヤ信号を取得することとを行うように構成される。
【0048】
本出願のいくつかの実施形態では、適応プロセッサは、現在のフレームの互換レイヤ信号内の互換レイヤ復号信号および互換レイヤ帯域幅拡張信号を取得することと、互換レイヤ帯域幅拡張信号と現在のフレームのエンハンスメントレイヤ信号とを組み合わせて、現在のフレームの第2の高周波数帯域信号を取得することとを行うように構成される。
【0049】
本出願のいくつかの実施形態では、互換レイヤ信号のスペクトル範囲は[0,FL]であり、互換レイヤ復号信号のスペクトル範囲は[0,FT]であり、互換レイヤ帯域幅拡張信号のスペクトル範囲は[FT,FL]であり、エンハンスメントレイヤ信号のスペクトル範囲は[FX,FY]であり、オーディオ出力信号のスペクトル範囲は[0,FY]である。
【0050】
FL=FY,FX≦FTであり、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FT]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FT,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される。
【0051】
代替的に、FL=FY,FX>FTであり、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FX]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FX,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される。
【0052】
代替的に、FL<FY,FX≦FTであり、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FT]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FT,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される。
【0053】
代替的に、FL<FY,FX>FTであり、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FX]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FX,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される。
【0054】
本出願のいくつかの実施形態では、適応プロセッサは、コンバイナが、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第2の高周波数帯域信号と、現在のフレームの第1の低周波数帯域信号とに基づいて、現在のフレームのオーディオ出力信号を取得した後に、現在のフレームのオーディオ出力信号を後処理するようにさらに構成される。
【0055】
本出願のいくつかの実施形態では、適応プロセッサは、コンバイナが、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第2の高周波数帯域信号と、現在のフレームの第1の低周波数帯域信号とに基づいて、現在のフレームのオーディオ出力信号を取得する前に、互換レイヤ信号に基づいて後処理パラメータを取得することと、後処理パラメータを使用することによってエンハンスメントレイヤ信号を後処理して、後処理されたエンハンスメントレイヤ信号を取得することとを行うようにさらに構成される。
【0056】
本出願の第6の態様では、オーディオ復号デバイスの構成要素は、第2の態様および可能な実装形態で説明したステップをさらに実行し得る。詳細については、第2の態様および可能な実装形態における前述の説明を参照されたい。
【0057】
第7の態様によれば、本出願の実施形態は、オーディオ符号化デバイスをさらに提供する。オーディオ符号化デバイスは、オーディオ信号の現在のフレームを取得するように構成された取得モジュールと、ここで、現在のフレームは、高周波数帯域信号および低周波数帯域信号を含み、高周波数帯域信号と低周波数帯域信号とに基づいて、現在のフレームの互換レイヤ符号化パラメータを取得するように構成された互換レイヤ符号化モジュールと、高周波数帯域信号に基づいて現在のフレームのエンハンスメントレイヤ符号化パラメータを取得するように構成されたエンハンスメントレイヤ符号化モジュールと、互換レイヤ符号化パラメータおよびエンハンスメントレイヤ符号化パラメータに対してビットストリーム多重化を実行して、符号化ビットストリームを取得するように構成された多重化モジュールとを含み得る。
【0058】
本出願のいくつかの実施形態では、エンハンスメントレイヤ符号化モジュールは、現在のフレームの高周波数帯域信号の信号タイプ情報を取得することと、現在のフレームの高周波数帯域信号の信号タイプ情報がプリセット信号タイプを示すとき、現在のフレームの高周波数帯域信号を符号化して、現在のフレームのエンハンスメントレイヤ符号化パラメータを取得することとを行うように構成される。
【0059】
本出願のいくつかの実施形態では、プリセット信号タイプは、高調波信号タイプ、トーナル信号タイプ、ホワイトノイズ様信号タイプ、過渡信号タイプ、または摩擦音信号タイプのうちの少なくとも1つを含む。
【0060】
本出願のいくつかの実施形態では、現在のフレームのエンハンスメントレイヤ符号化パラメータは、現在のフレームの高周波数帯域信号の信号タイプ情報をさらに含む。
【0061】
本出願のいくつかの実施形態では、エンハンスメントレイヤ符号化モジュールは、互換レイヤ符号化周波数帯域情報を取得することと、互換レイヤ符号化周波数帯域情報に基づいて、現在のフレームの高周波数帯域信号内の符号化対象周波数帯域信号を決定することと、符号化対象周波数帯域信号を符号化してエンハンスメントレイヤ符号化パラメータを取得することとを行うように構成される。
【0062】
第8の態様によれば、本出願の実施形態は、オーディオ復号デバイスをさらに提供する。オーディオ復号デバイスは、符号化ビットストリームを取得するように構成された取得モジュールと、符号化ビットストリームに対してビットストリーム逆多重化を実行してオーディオ信号の現在のフレームの互換レイヤ符号化パラメータおよび現在のフレームのエンハンスメントレイヤ符号化パラメータを取得するように構成された逆多重化モジュールと、互換レイヤ符号化パラメータに基づいて、現在のフレームの互換レイヤ信号を取得するように構成された互換レイヤ復号モジュールと、ここで、互換レイヤ信号は、現在のフレームの第1の高周波数帯域信号および現在のフレームの第1の低周波数帯域信号を含み、エンハンスメントレイヤ符号化パラメータに基づいて現在のフレームのエンハンスメントレイヤ信号を取得するように構成されたエンハンスメントレイヤ復号モジュールと、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に基づいて現在のフレームの第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得するように構成された適応モジュールと、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第2の高周波数帯域信号と、現在のフレームの第1の低周波数帯域信号とに基づいて、現在のフレームのオーディオ出力信号を取得するように構成された組合せモジュールとを含み得る。
【0063】
本出願のいくつかの実施形態では、エンハンスメントレイヤ復号モジュールは、現在のフレームのエンハンスメントレイヤ符号化パラメータに基づいて信号タイプ情報を取得することと、信号タイプ情報によって示されるプリセット信号タイプに基づいて、現在のフレームのエンハンスメントレイヤ符号化パラメータを復号して、現在のフレームのエンハンスメントレイヤ信号を取得することとを行うように構成される。
【0064】
本出願のいくつかの実施形態では、適応モジュールは、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて、互換レイヤ高周波数帯域調整パラメータを取得することと、互換レイヤ高周波数帯域調整パラメータを使用することによって現在のフレームの第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得することとを行うように構成される。
【0065】
本出願のいくつかの実施形態では、適応モジュールは、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に対応するエンベロープ情報を取得し、現在のフレームの第1の高周波数帯域信号のエンベロープ情報を取得することと、エンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に対応するエンベロープ情報と、第1の高周波数帯域信号のエンベロープ情報とに基づいて、互換レイヤ高周波数帯域調整パラメータを取得することとを行うように構成される。
【0066】
本出願のいくつかの実施形態では、適応モジュールは、事前設定された高周波数帯域スペクトル選択規則にしたがって、現在のフレームのエンハンスメントレイヤ信号から現在のフレームのエンハンスメントレイヤ高周波数帯域スペクトル信号を選択することと、エンハンスメントレイヤ高周波数帯域スペクトル信号と現在のフレームの第1の高周波数帯域信号と組み合わせて、現在のフレームの第2の高周波数帯域信号を取得することとを行うように構成される。
【0067】
本出願のいくつかの実施形態では、適応モジュールは、現在のフレームの第1の高周波数帯域信号に含まれる互換レイヤ復号信号および互換レイヤ帯域幅拡張信号を取得することと、現在のフレームのエンハンスメントレイヤ信号内にあり、互換レイヤ帯域幅拡張信号に対応する信号を、現在のフレームのエンハンスメントレイヤ高周波数帯域スペクトル信号として決定することとを行うように構成される。
【0068】
本出願のいくつかの実施形態では、適応モジュールは、現在のフレームの第1の高周波数帯域信号を現在のフレームのエンハンスメントレイヤ信号に置き換えて、現在のフレームの第2の高周波数帯域信号を取得するように構成される。
【0069】
本出願のいくつかの実施形態では、適応モジュールは、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて、エンハンスメントレイヤ高周波数帯域調整パラメータを取得することと、エンハンスメントレイヤ高周波数帯域調整パラメータを使用することによって現在のフレームのエンハンスメントレイヤ信号を適応させて、適応されたエンハンスメントレイヤ信号を取得することと、現在のフレームの第1の高周波数帯域信号を適応されたエンハンスメントレイヤ信号に置き換えて、現在のフレームの第2の高周波数帯域信号を取得することとを行うように構成される。
【0070】
本出願のいくつかの実施形態では、適応モジュールは、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて、エンハンスメントレイヤ高周波数帯域調整パラメータを取得することと、現在のフレームの第1の高周波数帯域信号を現在のフレームのエンハンスメントレイヤ信号に置き換えて、置き換えの後に生成された第1の高周波数帯域信号を取得することと、エンハンスメントレイヤ高周波数帯域調整パラメータを使用することによって、置き換えの後に生成された第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得することとを行うように構成される。
【0071】
本出願のいくつかの実施形態では、適応モジュールは、現在のフレームのエンハンスメントレイヤ信号および現在のフレームの第1の高周波数帯域信号に対してスペクトル成分比較選択を実行して、現在のフレームのエンハンスメントレイヤ信号から第1のエンハンスメントレイヤサブ信号を選択することと、現在のフレームの第1の高周波数帯域信号内にあり、第1のエンハンスメントレイヤサブ信号と同じスペクトルを有する信号を、第1のエンハンスメントレイヤサブ信号に置き換えて、現在のフレームの第2の高周波数帯域信号を取得することとを行うように構成される。
【0072】
本出願のいくつかの実施形態では、エンハンスメントレイヤ復号モジュールは、エンハンスメントレイヤ符号化パラメータと互換レイヤ符号化パラメータとに基づいて、エンハンスメントレイヤ符号化パラメータ内の復号対象エンハンスメントレイヤ高周波数帯域信号を決定することと、エンハンスメントレイヤ符号化パラメータ内の復号対象エンハンスメントレイヤ高周波数帯域信号を復号して、現在のフレームのエンハンスメントレイヤ信号を取得することとを行うように構成される。
【0073】
本出願のいくつかの実施形態では、適応モジュールは、現在のフレームの互換レイヤ信号内の互換レイヤ復号信号および互換レイヤ帯域幅拡張信号を取得することと、互換レイヤ帯域幅拡張信号と現在のフレームのエンハンスメントレイヤ信号とを組み合わせて、現在のフレームの第2の高周波数帯域信号を取得することとを行うように構成される。
【0074】
本出願のいくつかの実施形態では、互換レイヤ信号のスペクトル範囲は[0,FL]であり、互換レイヤ復号信号のスペクトル範囲は[0,FT]であり、互換レイヤ帯域幅拡張信号のスペクトル範囲は[FT,FL]であり、エンハンスメントレイヤ信号のスペクトル範囲は[FX,FY]であり、オーディオ出力信号のスペクトル範囲は[0,FY]である。
【0075】
FL=FY,FX≦FTであり、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FT]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FT,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される。
【0076】
代替的に、FL=FY,FX>FTであり、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FX]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FX,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される。
【0077】
代替的に、FL<FY,FX≦FTであり、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FT]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FT,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される。
【0078】
代替的に、FL<FY,FX>FTであり、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FX]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FX,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される。
【0079】
本出願のいくつかの実施形態では、オーディオ復号デバイスは、組合せモジュールが、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第2の高周波数帯域信号と、現在のフレームの第1の低周波数帯域信号とに基づいて、現在のフレームのオーディオ出力信号を取得した後に、現在のフレームのオーディオ出力信号を後処理するように構成された後処理モジュールをさらに含み得る。
【0080】
本出願のいくつかの実施形態では、オーディオ復号デバイスは、組合せモジュールが、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第2の高周波数帯域信号と、現在のフレームの第1の低周波数帯域信号とに基づいて、現在のフレームのオーディオ出力信号を取得する前に、互換レイヤ信号に基づいて後処理パラメータを取得することと、後処理パラメータを使用することによってエンハンスメントレイヤ信号を後処理して、後処理されたエンハンスメントレイヤ信号を取得することとを行うように構成された後処理モジュールをさらに含み得る。
【0081】
第9の態様によれば、本出願の実施形態は、コンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体は命令を記憶し、命令がコンピュータ上で実行されると、コンピュータが、第1の態様または第2の態様による方法を実行することが可能となる。
【0082】
第10の態様によれば、本出願の実施形態は、命令を含むコンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータ上で実行されると、コンピュータが、第1の態様または第2の態様による方法を実行することが可能となる。
【0083】
第11の態様によれば、本出願の実施形態は、通信装置を提供する。通信装置は、オーディオ符号化/復号デバイスまたはチップなどのエンティティを含み得る。通信装置は、プロセッサを含み、オプションで、メモリをさらに含む。メモリは、命令を記憶するように構成される。プロセッサは、通信装置が、第1の態様または第2の態様のいずれか1つによる方法を実行することができるように、メモリ内の命令を実行するように構成される。
【0084】
第12の態様によれば、本出願はチップシステムを提供する。チップシステムは、前述の態様における機能を実装する際に、例えば、前述の方法においてデータおよび/または情報を送信または処理する際に、オーディオ符号化/復号デバイスをサポートするように構成されたプロセッサを含む。可能な設計では、チップシステムはメモリをさらに含む。メモリは、オーディオ符号化/復号デバイスに必要なプログラム命令およびデータを記憶するように構成される。チップシステムは、チップを含み得るか、またはチップおよび別の個別構成要素を含み得る。
【図面の簡単な説明】
【0085】
図1】本出願の一実施形態によるオーディオ符号化および復号システムの構造の概略図である。
図2】本出願の一実施形態によるオーディオ符号化方法の概略フローチャートである。
図3】本出願の一実施形態によるオーディオ復号方法の概略フローチャートである。
図4】本出願の一実施形態によるモバイル端末の概略図である。
図5】本出願の一実施形態によるネットワーク要素の概略図である。
図6】本出願の一実施形態によるオーディオ符号化方法の概略フローチャートである。
図7a】本出願の一実施形態による元の信号のスペクトルの概略図である。
図7b】本出願の一実施形態による、互換レイヤ符号化信号のスペクトルの概略図である。
図7c】本出願の一実施形態による、エンハンスメントレイヤ符号化信号のスペクトルの概略図である。
図7d】本出願の一実施形態によるオーディオ出力信号のスペクトルの概略図である。
図8】本出願の一実施形態による、エンハンスメントレイヤ符号化パラメータと互換レイヤ符号化パラメータとが組み合わされた後に取得される出力スペクトルの概略図である。
図9】本出願の一実施形態によるオーディオ符号化デバイスの構成構造の概略図である。
図10】本出願の一実施形態によるオーディオ復号デバイスの構成構造の概略図である。
図11】本出願の一実施形態による別のオーディオ符号化デバイスの構成構造の概略図である。
図12】本出願の一実施形態による別のオーディオ復号デバイスの構成構造の概略図である。
図13】本出願の一実施形態による別のオーディオ符号化デバイスの構成構造の概略図である。
図14】本出願の一実施形態による別のオーディオ復号デバイスの構成構造の概略図である。
【発明を実施するための形態】
【0086】
本出願の実施形態は、オーディオ符号化方法およびデバイスならびにオーディオ復号方法およびデバイスを提供して、新しい符号化/復号デバイスと古い符号化/復号デバイスとの間の互換性を実現し、オーディオ信号の符号化/復号効率を向上させる。
【0087】
以下では、添付の図面を参照して本出願の実施形態について説明する。
【0088】
本出願の明細書、特許請求の範囲、および添付の図面において、「第1の」、「第2の」などの用語は、同様のオブジェクトを区別することを意図しており、必ずしも特定の順序またはシーケンスを示すものではない。そのように使用される用語は、適切な状況において交換可能であり、これは、同じ属性を有するオブジェクトが本出願の実施形態において説明されるときに使用される区別方法にすぎないことを理解されたい。加えて、「含む(include)」、「有する(have)」という用語およびそれらの任意の他の変形は、一連のユニットを含むプロセス、方法、システム、製品、またはデバイスがそれらのユニットに限定されず、明示的に列挙されていない他のユニット、またはそのようなプロセス、方法、製品、もしくはデバイスに固有の他のユニットを含み得るように、非排他的な包含をカバーすることが意図される。
【0089】
本出願の実施形態におけるオーディオ信号は、オーディオ符号化デバイスにおける入力信号であり、オーディオ信号は複数のフレームを含み得る。例えば、現在のフレームは、オーディオ信号内の特定のフレームであり得る。本出願の実施形態では、オーディオ信号の現在のフレームの符号化/復号が、説明のための例として使用される。オーディオ信号内の現在のフレームの前のフレームまたは次のフレームは、オーディオ信号の現在のフレームを符号化/復号する方式で、対応して符号化/復号され得る。オーディオ信号内の現在のフレームの前のフレームまたは次のフレームを符号化/復号するプロセスについては、1つずつ説明することはしない。加えて、本出願の実施形態におけるオーディオ信号は、モノオーディオ信号であり得るか、またはステレオ信号であり得る。ステレオ信号は、元のステレオ信号であり得るか、マルチチャネル信号に含まれる2つの信号(左チャネル信号および右チャネル信号)を含むステレオ信号であり得るか、またはマルチチャネル信号に含まれる少なくとも3つの信号から生成された2つの信号を含むステレオ信号であり得る。本出願の実施形態においては、これに限定されない。
【0090】
図1は、本出願の例示的な実施形態によるオーディオ符号化および復号システムの構造の概略図である。オーディオ符号化および復号システムは、符号化構成要素110と復号構成要素120とを含む。
【0091】
本出願のこの実施形態では、オーディオ符号化および復号システムは、互換レイヤとエンハンスメントレイヤとを含み得る。例えば、オーディオ符号化および復号システムにおいて、互換レイヤに対して符号化構成要素および復号構成要素が配置され、エンハンスメントレイヤに対して符号化構成要素および復号構成要素が配置され得る。互換レイヤおよびエンハンスメントレイヤは、オーディオ信号を処理するためのスペクトル範囲に基づいて分類される2つのレイヤである。具体的には、オーディオ信号を処理するためのすべての周波数領域範囲が互換レイヤに含まれ得、オーディオ信号を処理するための高周波数領域範囲のみがエンハンスメントレイヤに含まれる。古い符号化/復号構成要素を使用することによって互換レイヤが実装され得、新しい符号化/復号構成要素を使用することによってエンハンスメントレイヤおよび互換レイヤが実装され得る。したがって、本出願のこの実施形態において提供されるオーディオ符号化および復号システムでは、新しい符号化/復号構成要素は、古い符号化/復号構成要素と互換性がある。符号化/復号構成要素のデバイスタイプによって、符号化/復号は、互換レイヤのみで行われ得るか、または互換レイヤおよびエンハンスメントレイヤの両方で行われ得る。本明細書においては、これに限定されない。
【0092】
例えば、本出願のこの実施形態では、新しい符号化/復号構成要素は、古い符号化/復号構成要素と完全に後方互換性がある必要があり、すなわち、オーディオ符号化/復号された互換レイヤ信号は、入力信号のすべてのスペクトル成分を含む。本出願のこの実施形態において提供されるオーディオ符号化および復号システムは、1つの互換レイヤと1つのエンハンスメントレイヤとを含む。互換レイヤは、オーディオ符号化および復号機能を完全に実装することができ、生成されたビットストリームは、古い符号化および復号システムと完全に互換性がある。互換レイヤの入力は、オーディオ符号化および復号システムへの元のオーディオ信号入力である。互換レイヤは、入力信号のすべてのスペクトル成分を符号化/復号する。エンハンスメントレイヤは、入力オーディオ信号の一部のスペクトル(例えば、高周波数領域範囲)を符号化/復号することができる。デコーダ側は、エンハンスメントレイヤに関する情報に基づいて、互換レイヤによって出力される復号されたオーディオ信号を最終的な復号された出力信号として使用するか、または最初にエンハンスメントレイヤの復号された出力信号と互換レイヤの復号された出力信号とを組み合わせてから、組み合わされた信号を最終的な復号された出力信号として使用するかを決定する。
【0093】
符号化構成要素110は、周波数領域または時間領域において現在のフレーム(オーディオ信号)を符号化するように構成される。オプションで、符号化構成要素110は、ソフトウェアによって実装され得るか、ハードウェアによって実装され得るか、またはソフトウェアとハードウェアとの組合せの形態で実装され得る。本出願の実施形態においては、これに限定されない。
【0094】
符号化構成要素110が周波数領域または時間領域において現在のフレームを符号化するとき、可能な実装形態では、図2に示されているステップが含まれ得る。
【0095】
201.オーディオ信号の現在のフレームを取得する、ここで、現在のフレームは、高周波数帯域信号および低周波数帯域信号を含む。
【0096】
現在のフレームは、オーディオ信号内の任意のフレームであり得、現在のフレームは、高周波数帯域信号と低周波数帯域信号とを含み得る。高周波数帯域信号および低周波数帯域信号への分割は、周波数帯域しきい値に基づいて決定され得る。周波数帯域が周波数帯域しきい値より高い信号が高周波数帯域信号であり、周波数帯域が周波数帯域しきい値より低い信号が低周波数帯域信号である。周波数帯域しきい値は、送信帯域幅と、符号化構成要素110および復号構成要素120のデータ処理能力とに基づいて決定され得る。本明細書においては、これに限定されない。
【0097】
202.高周波数帯域信号と低周波数帯域信号とに基づいて、現在のフレームの互換レイヤ符号化パラメータを取得する。
【0098】
本出願のこの実施形態では、高周波数帯域信号および低周波数帯域信号は、互換レイヤにおいて符号化され得る。現在のフレームの高周波数帯域信号および低周波数帯域信号の符号化が例として使用され、現在のフレームの互換レイヤ符号化パラメータが取得され得る。互換レイヤ符号化パラメータは、互換レイヤにおいてオーディオ信号のすべての周波数帯域信号を符号化することによって取得される符号化パラメータである。
【0099】
203.高周波数帯域信号に基づいて現在のフレームのエンハンスメントレイヤ符号化パラメータを取得する。
【0100】
本出願のこの実施形態では、高周波数帯域信号は、エンハンスメントレイヤにおいて符号化され得る。現在のフレームの高周波数帯域信号の符号化が例として使用され、現在のフレームのエンハンスメントレイヤ符号化パラメータが取得され得る。エンハンスメントレイヤ符号化パラメータは、エンハンスメントレイヤにおいてオーディオ信号の高周波数帯域信号を符号化することによって取得される符号化パラメータである。
【0101】
本出願のいくつかの実施形態では、高周波数帯域信号に基づいて現在のフレームのエンハンスメントレイヤ符号化パラメータを取得するステップ203は、以下を含む:
現在のフレームの高周波数帯域信号の信号タイプ情報を取得すること、および
現在のフレームの高周波数帯域信号の信号タイプ情報がプリセット信号タイプを示すとき、現在のフレームの高周波数帯域信号を符号化して、現在のフレームのエンハンスメントレイヤ符号化パラメータを取得すること。
【0102】
信号分類器が符号化構成要素110中に配置され得、信号分類器は、符号化構成要素110に入力されたオーディオ信号を分類することができる。最初に、現在のフレームの高周波数帯域信号の信号タイプ情報が取得される。信号タイプ情報は、分類を通して取得された信号タイプに基づく複数のタイプの信号分類結果を含み得る。現在のフレームの高周波数帯域信号の信号タイプ情報がプリセット信号タイプを示すとき、現在のフレームの高周波数帯域信号が符号化されて、現在のフレームのエンハンスメントレイヤ符号化パラメータが取得される。例えば、オーディオ信号は、N個のプリセット信号タイプに分類され得、N個の符号化モードがエンハンスメントレイヤにおいて設定され得る。プリセット信号タイプごとに、1つの対応するエンハンスメントレイヤ符号化モードが実行され得る。したがって、信号タイプによって、対応するエンハンスメントレイヤ符号化モードが使用される。これにより、オーディオ信号の符号化効率が向上する。
【0103】
例えば、本出願のこの実施形態では、信号分類器が符号化構成要素内に配置され、信号分類器は、特定のタイプのオーディオ信号を検出するように構成され得る。このタイプの信号が検出されるとき、高周波数帯域信号は、エンハンスメントレイヤにおいて符号化される。このタイプの信号が検出されないとき、符号化は実行されない。エンハンスメントレイヤにおける符号化の後、信号分類結果は、ステップ204において、ビットストリーム多重化に使用される。加えて、特定のタイプのオーディオ信号が検出される場合、ステップ204において、高周波数帯域信号符号化パラメータもビットストリーム多重化に使用され、または特定のタイプのオーディオ信号が検出されない場合、ビットストリーム多重化は実行されない。本出願のこの実施形態では、符号化構成要素は、信号分類結果を使用することによって、処理のために適切なエンハンスメントレイヤ符号化を選択するので、デコーダ側も、信号分類結果を使用して、異なるプリセット信号タイプに基づいてエンハンスメントレイヤにおいて復号を実行することができる。したがって、エンハンスメントレイヤ信号を使用して、互換レイヤにおいて処理されたスペクトルの一部を処理し、最終的な出力信号の性能を向上させ得る。
【0104】
本出願のいくつかの実施形態では、プリセット信号タイプは、高調波信号タイプ、トーナル信号タイプ、ホワイトノイズ様信号タイプ、過渡信号タイプ、または摩擦音信号タイプのうちの少なくとも1つを含む。
【0105】
現在のフレームの高周波数帯域信号は、複数のプリセット信号タイプを有し得る。例えば、現在のフレームの高周波数帯域信号の信号タイプが高調波信号タイプである場合、すなわち、現在のフレームの高周波数帯域信号が高調波信号である場合、エンハンスメントレイヤで高調波信号を符号化するためにエンハンスメントレイヤ符号化モード1が使用され得る。現在のフレームの高周波数帯域信号の信号タイプがトーナル信号タイプである場合、すなわち、現在のフレームの高周波数帯域信号がトーン成分を含む場合、エンハンスメントレイヤでトーナル信号を符号化するために、エンハンスメントレイヤ符号化モード2が使用され得る。現在のフレームの高周波数帯域信号の信号タイプがホワイトノイズ様信号タイプである場合、すなわち、現在のフレームの高周波数帯域信号がホワイトノイズ様信号を含む場合、エンハンスメントレイヤでホワイトノイズ様信号を符号化するために、エンハンスメントレイヤ符号化モード3が使用され得る。現在のフレームの高周波数帯域信号の信号タイプが過渡信号タイプである場合、すなわち、現在のフレームの高周波数帯域信号が過渡信号を含む場合、エンハンスメントレイヤで過渡信号を符号化するために、エンハンスメントレイヤ符号化モード4が使用され得る。現在のフレームの高周波数帯域信号の信号タイプが摩擦音信号タイプである場合、すなわち、現在のフレームの高周波数帯域信号が摩擦音信号を含む場合、エンハンスメントレイヤで摩擦音信号を符号化するために、エンハンスメントレイヤ符号化モード5が使用され得る。本出願のこの実施形態では、プリセット信号タイプごとに、1つの対応するエンハンスメントレイヤ符号化モードが実行され得る。したがって、信号タイプによって、対応するエンハンスメントレイヤ符号化モードが使用される。これにより、オーディオ信号の符号化効率が向上する。
【0106】
本出願のこの実施形態では、現在のフレームの高周波数帯域信号が前述のプリセット信号タイプでない場合、高周波数帯域信号は、本明細書ではエンハンスメントレイヤにおいて符号化されなくてもよいことが理解され得る。
【0107】
本出願のいくつかの実施形態では、現在のフレームのエンハンスメントレイヤ符号化パラメータは、現在のフレームの高周波数帯域信号の信号タイプ情報をさらに含む。
【0108】
符号化構成要素110は、プリセット信号タイプに基づいてオーディオ信号のための現在のフレームの高周波数帯域信号を識別し得、符号化構成要素110は、現在のフレームの高周波数帯域信号の信号タイプ情報を生成し得る。現在のフレームの高周波数帯域信号がエンハンスメントレイヤにおいて符号化された後に生成されるエンハンスメントレイヤ符号化パラメータは、現在のフレームの高周波数帯域信号の信号タイプ情報をさらに含む。したがって、ビットストリーム多重化中に、生成された符号化ビットストリームは、現在のフレームの高周波数帯域信号の信号タイプ情報を搬送し得、それにより、復号構成要素も信号タイプ情報を使用して、異なるプリセット信号タイプに基づいてエンハンスメントレイヤにおいて復号を実行し得る。したがって、エンハンスメントレイヤ信号を使用して、互換レイヤにおいて処理されたスペクトルの一部を処理し、最終的な出力信号の性能を向上させ得る。
【0109】
本出願のいくつかの実施形態では、高周波数帯域信号に基づいて現在のフレームのエンハンスメントレイヤ符号化パラメータを取得するステップ203は、以下を含む:
互換レイヤ符号化周波数帯域情報を取得すること、
互換レイヤ符号化周波数帯域情報に基づいて、現在のフレームの高周波数帯域信号内の符号化対象周波数帯域信号を決定すること、および
符号化対象周波数帯域信号を符号化してエンハンスメントレイヤ符号化パラメータを取得すること。
【0110】
符号化構成要素110は、互換レイヤ符号化周波数帯域情報をさらに取得し得る。互換レイヤ符号化周波数帯域情報は、互換レイヤにおいて符号化されたオーディオ信号の周波数帯域情報を示し、すなわち、互換レイヤ符号化周波数帯域情報に基づいて、互換レイヤにおいて互換レイヤ符号化が実行される1つまたは複数の特定の周波数帯域が決定され得る。現在のフレームの高周波数帯域信号内の符号化対象周波数帯域信号は、互換レイヤ符号化周波数帯域情報に基づいて決定される。エンハンスメントレイヤにおいて符号化される必要がある高周波数帯域信号は、互換レイヤ符号化周波数帯域情報に基づいて決定され得る。最後に、エンハンスメントレイヤにおいて符号化される必要がある符号化対象周波数帯域信号が符号化されて、エンハンスメントレイヤ符号化パラメータが取得される。本出願のこの実施形態では、互換レイヤにおいて出力される互換レイヤ符号化周波数帯域情報は、エンハンスメントレイヤにおける符号化と互換レイヤにおける符号化とが相補的になり得るように、エンコーダ側でエンハンスメントレイヤにおける符号化をガイドするために使用され得る。これにより、エンハンスメントレイヤにおけるオーディオ信号の符号化効率が向上する。
【0111】
例えば、エンハンスメントレイヤにおいて、エンハンスメントレイヤ符号化が実行されるべき特定の高周波数帯域スペクトル成分は、エンハンスメントレイヤ信号分類情報と互換レイヤ符号化周波数帯域情報とに基づいて決定される。例えば、信号分類情報は、エンハンスメントレイヤ符号化が現在のフレームの4つの周波数領域サブバンドに対して実行される必要があることを示す。しかしながら、互換レイヤによって出力される符号化周波数帯域情報は、4つの周波数領域サブバンドのうちの1つが互換レイヤ符号化を通して符号化されるべきであることを示す。したがって、エンハンスメントレイヤ符号化は、エンハンスメントレイヤにおいて残りの3つの周波数領域サブバンドに対して実行され得、エンハンスメントレイヤ周波数領域符号化は、互換レイヤにおいて符号化された1つの周波数領域サブバンドに対して実行されない。これにより、エンハンスメントレイヤにおいて符号化される必要がある周波数領域サブバンドの量が低減し、エンハンスメントレイヤにおけるオーディオ信号符号化効率が向上する。
【0112】
204.互換レイヤ符号化パラメータおよびエンハンスメントレイヤ符号化パラメータに対してビットストリーム多重化を実行して、符号化ビットストリームを取得する。
【0113】
本出願のこの実施形態では、互換レイヤ符号化パラメータおよびエンハンスメントレイヤ符号化パラメータが1つの符号化ビットストリームに多重化され得るように、すなわち、符号化ビットストリームは、互換レイヤ符号化パラメータおよびエンハンスメントレイヤ符号化パラメータを含み得るように、互換レイヤ符号化およびエンハンスメントレイヤ符号化が完了した後に、ビットストリーム多重化が実行され得る。
【0114】
205.符号化ビットストリームを復号構成要素に送信する。
【0115】
本出願のこの実施形態では、符号化を完了した後に、符号化構成要素110は、符号化ビットストリームを生成し得、符号化構成要素110は、符号化ビットストリームを復号構成要素120に送信し、したがって、復号構成要素120は、符号化ビットストリームを受信し得、次いで復号構成要素120は、符号化ビットストリームからオーディオ出力信号を取得する。
【0116】
図2に示される符号化方法は、限定ではなく単なる例であり、図2におけるステップの実行順序は、本出願のこの実施形態において限定されないことに留意されたい。図2に示される符号化方法は、代替的に、より多くのまたはより少ないステップを含み得る。本出願の本実施形態においては、これに限定されない。
【0117】
前述の実施形態における本出願の符号化方法の例示的な説明から、オーディオ信号の現在のフレームが取得され、ここで、現在のフレームは、高周波数帯域信号および低周波数帯域信号を含むこと、現在のフレームの互換レイヤ符号化パラメータが高周波数帯域信号と低周波数帯域信号とに基づいて取得されること、現在のフレームのエンハンスメントレイヤ符号化パラメータが高周波数帯域信号に基づいて取得されること、ビットストリーム多重化が互換レイヤ符号化パラメータおよびエンハンスメントレイヤ符号化パラメータに対して実行されて符号化ビットストリームが取得されることが分かる。本出願のこの実施形態では、オーディオ信号を符号化するためのすべての周波数領域範囲が互換レイヤに含まれ得るが、オーディオ信号を符号化するための高周波数領域範囲のみがエンハンスメントレイヤに含まれる。古いオーディオ符号化デバイスを使用することによって互換レイヤが実装され得、新しいオーディオ符号化デバイスを使用することによってエンハンスメントレイヤおよび互換レイヤが実装され得る。したがって、本出願のこの実施形態では、新しいオーディオ符号化デバイスは、古いオーディオ符号化デバイスと互換性がある。オーディオ符号化デバイスのデバイスタイプによって、符号化は、互換レイヤのみで行われ得るか、または互換レイヤおよびエンハンスメントレイヤの両方で行われ得る。本出願のこの実施形態では、新しいトランスコーディングモジュールを古いオーディオ符号化デバイスに追加する必要はない。したがって、オーディオ符号化デバイスのアップグレードコストが削減され、オーディオ信号符号化効率が向上し得る。
【0118】
オプションで、符号化構成要素110および復号構成要素120は、ワイヤードまたはワイヤレス方式で接続され得、復号構成要素120は、復号構成要素120と符号化構成要素110との間の接続を通して、符号化構成要素110によって生成された符号化ビットストリームを取得し得る。代替的に、符号化構成要素110は、生成された符号化ビットストリームをメモリに記憶してもよく、復号構成要素120は、メモリ内の符号化ビットストリームを読み出す。
【0119】
オプションで、復号構成要素120は、ソフトウェアによって実装され得るか、ハードウェアによって実装され得るか、またはソフトウェアとハードウェアとの組合せの形態で実装され得る。本出願の実施形態においては、これに限定されない。
【0120】
復号構成要素120が周波数領域または時間領域において現在のフレーム(オーディオ信号)を復号するとき、可能な実装形態では、図3に示すステップが含まれ得る。
【0121】
301.符号化ビットストリームを取得する。
【0122】
符号化ビットストリームは、符号化構成要素110によって復号構成要素120に送信される。符号化ビットストリームは、互換レイヤ符号化パラメータとエンハンスメントレイヤ符号化パラメータとを含み得る。
【0123】
302.符号化ビットストリームに対してビットストリーム逆多重化を実行して、オーディオ信号の現在のフレームの互換レイヤ符号化パラメータおよび現在のフレームのエンハンスメントレイヤ符号化パラメータを取得する。
【0124】
本出願のこの実施形態では、符号化ビットストリームを取得した後、復号構成要素120は、符号化ビットストリーム内のオーディオ信号の現在のフレームに対してビットストリーム逆多重化を実行して、現在のフレームの互換レイヤ符号化パラメータおよび現在のフレームのエンハンスメントレイヤ符号化パラメータを取得する。
【0125】
303.互換レイヤ符号化パラメータに基づいて、現在のフレームの互換レイヤ信号を取得し、ここで、互換レイヤ信号は、現在のフレームの第1の高周波数帯域信号および現在のフレームの第1の低周波数帯域信号を含む。
【0126】
本出願のこの実施形態では、現在のフレームの互換レイヤ信号を取得するために、互換レイヤ符号化パラメータが互換レイヤにおいて復号され得る。互換レイヤの前述の説明を参照すると、復号は、互換レイヤにおいてオーディオ信号のすべての周波数領域範囲において実行される。したがって、取得された互換レイヤ信号は、現在のフレームの第1の高周波数帯域信号と現在のフレームの第1の低周波数帯域信号とを含み、すなわち、第1の高周波数帯域信号および第1の低周波数帯域信号は、互換レイヤにおける復号を通して取得される。
【0127】
304.エンハンスメントレイヤ符号化パラメータに基づいて現在のフレームのエンハンスメントレイヤ信号を取得する。
【0128】
本出願のこの実施形態では、エンハンスメントレイヤ符号化パラメータは、エンハンスメントレイヤにおいて復号されて、現在のフレームのエンハンスメントレイヤ信号が取得される。エンハンスメントレイヤの前述の説明を参照すると、オーディオ信号の高周波数範囲は、エンハンスメントレイヤにおいて復号される。したがって、取得されたエンハンスメントレイヤ信号は、現在のフレームの高周波数帯域信号を含み、すなわち、高周波数帯域信号は、エンハンスメントレイヤにおける復号を通して取得される。
【0129】
復号構成要素120が古い復号構成要素である場合、オーディオ信号のすべての周波数領域信号は、ステップ303のみを実行することによって取得され得ることに留意されたい。復号構成要素120が新しい復号構成要素である場合、互換レイヤ信号およびエンハンスメントレイヤ信号を別々に取得するために、ステップ303およびステップ304は実行される必要がある。
【0130】
本出願のいくつかの実施形態では、エンハンスメントレイヤ符号化パラメータに基づいて現在のフレームのエンハンスメントレイヤ信号を取得することは、以下を含む:
現在のフレームのエンハンスメントレイヤ符号化パラメータに基づいて信号タイプ情報を取得すること、および
信号タイプ情報によって示されるプリセット信号タイプに基づいて、現在のフレームのエンハンスメントレイヤ符号化パラメータを復号して、現在のフレームのエンハンスメントレイヤ信号を取得すること。
【0131】
符号化ビットストリームは、オーディオ信号の信号タイプ情報を搬送し得、符号化ビットストリームに対してビットストリーム逆多重化を実行した後、復号構成要素は、現在のフレームのエンハンスメントレイヤ符号化パラメータの信号タイプ情報を取得することができる。現在のフレームのエンハンスメントレイヤ符号化パラメータは、信号タイプ情報によって示されるプリセット信号タイプに基づいて復号されて、現在のフレームのエンハンスメントレイヤ信号が取得される。例えば、オーディオ信号は、N個のプリセット信号タイプに分類され得、N個の復号モードは、エンハンスメントレイヤにおいて設定され得る。プリセット信号タイプごとに、1つの対応するエンハンスメントレイヤ復号モードが実行され得る。したがって、信号タイプによって、対応するエンハンスメントレイヤ復号モードが使用される。これにより、オーディオ信号の復号効率が向上する。本出願のこの実施形態では、復号構成要素は、信号タイプ情報に基づいて、処理のために適切なエンハンスメントレイヤ復号を選択する。したがって、エンハンスメントレイヤ信号を使用して、互換レイヤにおいて処理されたスペクトルの一部を処理し、最終的な出力信号の性能を向上させ得る。
【0132】
本出願のいくつかの実施形態では、エンハンスメントレイヤ符号化パラメータに基づいて現在のフレームのエンハンスメントレイヤ信号を取得するステップ304は、以下を含む:
エンハンスメントレイヤ符号化パラメータと互換レイヤ符号化パラメータとに基づいて、エンハンスメントレイヤ符号化パラメータ内の復号対象エンハンスメントレイヤ高周波数帯域信号を決定すること、および
エンハンスメントレイヤ符号化パラメータ内の復号対象エンハンスメントレイヤ高周波数帯域信号を復号して、現在のフレームのエンハンスメントレイヤ信号を取得すること。
【0133】
復号構成要素は、エンハンスメントレイヤ符号化パラメータと互換レイヤ符号化パラメータとを取得し得る。復号構成要素は、エンハンスメントレイヤ符号化パラメータと互換レイヤ符号化パラメータとに基づいて、エンハンスメントレイヤ符号化パラメータ内のエンハンスメントレイヤにおいて復号される必要がある高周波数帯域信号(すなわち、復号対象エンハンスメントレイヤ高周波数帯域信号)を決定し、次いで、エンハンスメントレイヤにおいて復号される必要がある高周波数帯域信号を復号する。エンハンスメントレイヤ符号化パラメータ内にあり、復号されるべき信号として決定されない高周波数帯域信号は、廃棄され得る。したがって、復号対象エンハンスメントレイヤ高周波数帯域信号のみが復号される必要があり、エンハンスメントレイヤ符号化パラメータのすべてが復号される必要はない。これにより、エンハンスメントレイヤにおけるオーディオ信号復号効率が向上する。
【0134】
本出願のこの実施形態では、エンハンスメントレイヤ復号がエンハンスメントレイヤにおいて実行されるべき1つまたは複数の特定の周波数帯域は、エンハンスメントレイヤ符号化パラメータと互換レイヤ符号化パラメータとに基づいて決定され得る。本出願のこの実施形態では、エンハンスメントレイヤ符号化パラメータおよび互換レイヤ符号化パラメータは、エンハンスメントレイヤにおける復号および互換レイヤにおける復号が相補的となり得るように、デコーダ側でエンハンスメントレイヤにおける復号をガイドするために使用され得る。これにより、エンハンスメントレイヤにおけるオーディオ信号復号効率が向上する。
【0135】
例えば、エンハンスメントレイヤにおいて、エンハンスメントレイヤ符号化パラメータ中の復号対象エンハンスメントレイヤ高周波数帯域信号は、エンハンスメントレイヤ符号化パラメータと互換レイヤ符号化パラメータとに基づいて決定され、すなわち、エンハンスメントレイヤ復号が実行されるべき特定の高周波数帯域スペクトル成分が決定され得る。前述のエンハンスメントレイヤ符号化プロセスの例示的な説明を参照すると、信号分類情報は、エンハンスメントレイヤ符号化が現在のフレームの4つの周波数領域サブバンドに対して実行される必要があることを示すことが分かる。しかしながら、互換レイヤによって出力される符号化周波数帯域情報は、4つの周波数領域サブバンドのうちの1つが互換レイヤ符号化を通して符号化されるべきであることを示す。したがって、エンハンスメントレイヤ符号化は、エンハンスメントレイヤにおいて残りの3つの周波数領域サブバンドに対して実行され得、エンハンスメントレイヤ周波数領域符号化は、互換レイヤにおいて符号化された1つの周波数領域サブバンドに対して実行されない。デコーダ側の処理プロセスは以下の通りである:3つの周波数領域サブバンド信号がエンハンスメントレイヤ復号を通して出力され、互換レイヤ復号を通して出力される信号内の3つの対応する周波数領域サブバンド信号およびエンハンスメントレイヤ信号内の3つの周波数領域サブバンド信号が、最終的な出力信号の3つの周波数領域サブバンドスペクトル成分に組み合わせられ、最終的な出力信号を取得するために3つの周波数領域サブバンドスペクトル成分が他のすべてのサブバンド信号と一緒に使用される。本出願のこの実施形態では、エンハンスメントレイヤにおいて復号される必要がある周波数領域サブバンドの量を低減することができ、エンハンスメントレイヤにおけるオーディオ信号復号効率が向上する。
【0136】
305.現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に基づいて現在のフレームの第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得する。
【0137】
本出願のこの実施形態では、互換レイヤにおける第1の高周波数帯域信号は、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に基づいて適応され得る。したがって、互換レイヤにおける第1の高周波数帯域信号が適応され、互換レイヤにおける現在のフレームの第2の高周波数帯域信号が取得される。本出願のこの実施形態では、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号を使用して、互換レイヤにおける第1の高周波数帯域信号を適応させて、最終的なオーディオ出力信号の性能を向上させ得る。
【0138】
本出願のこの実施形態では、現在のフレームの第1の高周波数帯域信号は、現在のフレームのエンハンスメントレイヤ信号に基づいて適応され得る。適応は、互換レイヤ復号を通して出力される高周波数帯域信号の性能を向上させるために、互換レイヤにおける第1の高周波数帯域信号を調整することを指す。本出願のこの実施形態において適応方式は複数存在する。以下では、例を使用することによって適応について詳細に説明する。
【0139】
適応方式1:
【0140】
本出願のいくつかの実施形態では、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に基づいて現在のフレームの第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得するステップ305は、以下を含む:
現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて、互換レイヤ高周波数帯域調整パラメータを取得すること、および
互換レイヤ高周波数帯域調整パラメータを使用することによって現在のフレームの第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得すること。
【0141】
復号構成要素120は、エンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号と、互換レイヤにおける第1の高周波数帯域信号とに基づいて、互換レイヤ高周波数帯域調整パラメータを取得し得る。互換レイヤ高周波数帯域調整パラメータ(以下の実施形態では略して調整パラメータと呼ばれ得る)は、互換レイヤ信号の高周波部分を調整するために使用される調整パラメータである。例えば、互換レイヤ高周波数帯域調整パラメータは、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて取得され得る。現在のフレームのエンハンスメントレイヤ信号および現在のフレームの第1の高周波数帯域信号の両方は、高周波数帯域オーディオ信号である。調整パラメータは、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて計算され得、現在のフレームの第1の高周波数帯域信号は、調整パラメータを使用することによって適応されて、現在のフレームの第2の高周波数帯域信号が取得される。調整パラメータを使用することによって第1の高周波数帯域信号を適応させることで、より良好な互換レイヤ高周波数帯域信号を取得することができ、その結果、より良好なオーディオ出力信号が出力され、オーディオ出力信号の性能が向上する。
【0142】
例えば、調整パラメータは、現在のフレームのエンハンスメントレイヤ信号と現在のフレームの第1の高周波数帯域信号とに基づいて取得され得、互換レイヤ信号の高周波数帯域スペクトル成分は、調整パラメータを使用することによって適応され、最終的な出力信号は、エンハンスメントレイヤ信号が、適応された互換レイヤ信号と組み合わされた後に取得され得る。
【0143】
本出願のいくつかの実施形態では、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて、互換レイヤ高周波数帯域調整パラメータを取得することは、以下を含む:
現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に対応するエンベロープ情報を取得し、現在のフレームの第1の高周波数帯域信号のエンベロープ情報を取得すること、および
エンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に対応するエンベロープ情報と、第1の高周波数帯域信号のエンベロープ情報とに基づいて、互換レイヤ高周波数帯域調整パラメータを取得すること。
【0144】
復号構成要素は、互換レイヤから構文解析を通して互換レイヤ出力情報を直接取得し得、出力情報およびエンハンスメントレイヤ信号は、互換レイヤ信号の高周波数帯域スペクトル調整パラメータを取得するために共同計算に使用され、互換レイヤ信号の高周波数帯域信号は、調整パラメータを使用することによって調整され、エンハンスメントレイヤ出力信号と組み合わされて最終的な出力信号が取得される。調整パラメータは、複数の実装形態において計算され得る。調整パラメータは、エンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に対応するエンベロープ情報と、第1の高周波数帯域信号のエンベロープ情報とに基づいて計算され得る。エンハンスメントレイヤ符号化パラメータに対応するエンベロープ情報は、高周波数帯域信号のものであり、かつ、エンハンスメントレイヤ符号化パラメータに基づいて計算されるエンベロープ情報であり得、またはエンハンスメントレイヤ信号に対応するエンベロープ情報は、エンハンスメントレイヤ信号の振幅であり得、第1の高周波数帯域信号のエンベロープ情報は、互換レイヤ信号内の高周波数帯域信号の振幅であり得る。互換レイヤ高周波数帯域調整パラメータは、エンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に対応するエンベロープ情報と、第1の高周波数帯域信号のエンベロープ情報とに基づいて計算され得る。互換レイヤ高周波数帯域調整パラメータを計算するための方式は複数存在し得る。
【0145】
例えば、互換レイヤにおいてデコーダによって出力される高周波数帯域信号のエンベロープ情報がEnvelopeであり、エンハンスメントレイヤによって出力されるトーン成分のエンベロープ情報がEnvTonalである場合、最初に調整パラメータpara=(Envelope-EnvTonal)/Envelopeが計算され、互換レイヤ信号の高周波数帯域部分に調整パラメータparaを乗算して、調整された互換レイヤ信号を取得し、エンハンスメントレイヤ信号と調整された互換レイヤ信号とが組み合わされた後に最終的な出力信号が取得される。
【0146】
この実施形態では、互換レイヤ高周波数帯域調整パラメータが互換レイヤから直接取得され得るので、互換レイヤ信号が互換レイヤ高周波数帯域調整パラメータを使用することによって調整され、エンハンスメントレイヤ出力と組み合わされた後に、最終的な出力信号が取得される。より良好な互換レイヤ高周波数帯域信号を取得することができ、その結果、より良好なオーディオ出力信号が出力され、オーディオ出力信号の性能が向上する。
【0147】
適応方式2:
【0148】
本出願のいくつかの実施形態では、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に基づいて現在のフレームの第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得するステップ305は、以下を含む:
事前設定された高周波数帯域スペクトル選択規則にしたがって、現在のフレームのエンハンスメントレイヤ信号から現在のフレームのエンハンスメントレイヤ高周波数帯域スペクトル信号を選択すること、および
エンハンスメントレイヤ高周波数帯域スペクトル信号と現在のフレームの第1の高周波数帯域信号と組み合わせて、現在のフレームの第2の高周波数帯域信号を取得すること。
【0149】
高周波数帯域スペクトル選択規則は、復号構成要素において事前設定され得る。高周波数帯域スペクトル選択規則は、エンハンスメントレイヤ信号から高周波数帯域スペクトル信号を選択することを示すために使用され得る。例えば、高周波数帯域スペクトル選択規則は、1つまたは複数の選択された周波数帯域を指定するか、または高周波数帯域スペクトル選択規則は、エンハンスメントレイヤ信号から選択される必要がある周波数帯域を示す。現在のフレームのエンハンスメントレイヤ高周波数帯域スペクトル信号は、事前設定された高周波数帯域スペクトル選択規則にしたがって現在のフレームのエンハンスメントレイヤ信号から選択される。エンハンスメントレイヤ高周波数帯域スペクトル信号は、エンハンスメントレイヤ信号内の選択された高周波数帯域スペクトル信号である。エンハンスメントレイヤ高周波数帯域スペクトル信号は、現在のフレームの第1の高周波数帯域信号と組み合わされて、現在のフレームの第2の高周波数帯域信号が取得される。本出願のこの実施形態では、高周波数帯域スペクトル選択規則は、いくつかの高周波数帯域信号が、エンハンスメントレイヤ信号から選択され、互換レイヤにおける第1の高周波数帯域信号と組み合わされて、互換レイヤにおける第2の高周波数帯域信号を生成し得るように設定される。したがって、本出願のこの実施形態では、より良好な互換レイヤ高周波数帯域信号を取得することができ、その結果、より良好なオーディオ出力信号が出力され、オーディオ出力信号の性能が向上する。
【0150】
本出願のいくつかの実施形態では、事前設定された高周波数帯域スペクトル選択規則にしたがって、現在のフレームのエンハンスメントレイヤ信号から現在のフレームのエンハンスメントレイヤ高周波数帯域スペクトル信号を選択することは、以下を含む:
現在のフレームの第1の高周波数帯域信号に含まれる互換レイヤ復号信号および互換レイヤ帯域幅拡張信号を取得すること、および
現在のフレームのエンハンスメントレイヤ信号内にあり、互換レイヤ帯域幅拡張信号に対応する信号を、現在のフレームのエンハンスメントレイヤ高周波数帯域スペクトル信号として決定すること。
【0151】
復号構成要素は、第1の高周波数帯域信号に含まれる互換レイヤ復号信号と互換レイヤ帯域幅拡張信号とを決定し得る。互換レイヤ復号信号は、互換レイヤにおける互換レイヤ符号化パラメータを復号することによって復号構成要素によって取得される信号であり、互換レイヤ帯域幅拡張信号は、互換レイヤにおける帯域幅拡張を通して復号構成要素によって取得される信号である。例えば、低周波数帯域信号が高周波数帯域に拡張されて、互換レイヤ帯域幅拡張信号が取得される。本出願のこの実施形態では、復号構成要素は、互換レイヤ帯域幅拡張信号に基づいて、現在のフレームのエンハンスメントレイヤ信号から現在のフレームのエンハンスメントレイヤ高周波数帯域スペクトル信号を選択し得る。言い換えれば、エンハンスメントレイヤ信号内にあり、互換レイヤにおける互換レイヤ復号信号に対応する信号は選択されない。このように、エンハンスメントレイヤ高周波数帯域ペクトル信号は、エンハンスメントレイヤ信号から選択されたスペクトル信号であり、エンハンスメントレイヤ高周波数帯域スペクトル信号を使用することによって互換レイヤ信号が調整され、調整された信号がエンハンスメントレイヤ出力と組み合わされた後に、最終的な出力信号が取得される。より良好な互換レイヤ高周波数帯域信号を取得することができ、その結果、より良好なオーディオ出力信号が出力され、オーディオ出力信号の性能が向上する。
【0152】
例えば、本出願のこの実施形態では、互換レイヤ出力信号を分析することによってエンハンスメントレイヤ信号に対して選択が実行された後で、選択された信号が互換レイヤ信号と組み合わされた後に最終的な出力信号が取得される。選択原理は、以下を含み得る:互換レイヤ信号は、符号化/復号部分と帯域幅拡張部分とを含む。最終的な出力信号の高周波数帯域部分を取得するためには、エンハンスメントレイヤ信号が互換レイヤ信号の帯域幅拡張部分と組み合わされる必要がある。互換レイヤ信号内の対応するスペクトル成分およびエンハンスメントレイヤ信号内の対応するスペクトル成分が符号化/復号を通して取得される場合、エンハンスメントレイヤ信号内のスペクトル成分の当該部分は、最終的な出力信号の高周波数帯域部分のために選択されない。それ以外の場合、最終的な出力信号内のスペクトル成分の当該部分を取得するために、エンハンスメントレイヤ信号内のスペクトル成分の当該部分が、互換レイヤ信号内のスペクトル成分の当該部分との組合せのために選択される。
【0153】
適応方式2と適応方式1との間の違いは、最終的な出力信号を取得するために、エンハンスメントレイヤ信号の成分の一部が互換レイヤ信号との組合せのために選択される必要があり、エンハンスメントレイヤ信号のスペクトル成分の一部が破棄されることにある。例えば、エンハンスメントレイヤ信号には、ある周波数のトーン成分が存在し、互換レイヤ信号には、その周波数付近に等しいエネルギーを有するトーン成分も存在する。この場合、互換レイヤ信号内のトーン成分は、符号化/復号を通して直接取得されると決定され得る。したがって、この場合、エンハンスメントレイヤにおいてその周波数で出力されるトーン成分は破棄され、互換レイヤにおけるその周波数でのトーン成分が、最終的な出力信号内のその周波数のスペクトル出力として直接使用される。
【0154】
前述の例示的な説明から、この実施形態では、エンハンスメントレイヤ信号内のスペクトル成分と、互換レイヤ信号内の対応するスペクトル成分とが分析を通して比較されることが分かる。結論は、エンハンスメントレイヤ信号内のスペクトル成分の一部が廃棄され、スペクトル成分の他の部分が互換レイヤ信号と組み合わされて最終的な出力信号になるということである。言い換えれば、エンハンスメントレイヤ信号と互換レイヤ信号とに基づいて、より良好な出力信号が取得され得る。
【0155】
本出願のいくつかの実施形態では、エンハンスメントレイヤ信号は周波数領域信号であり得、互換レイヤ信号は時間領域信号であり得る。組合せ手順において、互換レイヤ信号は、最初に周波数領域信号に変換され得、エンハンスメントレイヤ信号の周波数領域係数および互換レイヤ信号の周波数領域係数に対して適応および組合せが実行された後、周波数領域信号が時間領域信号に変換されて、最終的な出力信号が取得される。
【0156】
適応方式3:
【0157】
本出願のいくつかの実施形態では、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に基づいて現在のフレームの第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得するステップ305は、以下を含む。 現在のフレームの第1の高周波数帯域信号を現在のフレームのエンハンスメントレイヤ信号に置き換えて、現在のフレームの第2の高周波数帯域信号を取得すること。
【0158】
適応実装形態は、直接の置き換えであり得る。復号構成要素は、現在のフレームの第1の高周波数帯域信号を現在のフレームのエンハンスメントレイヤ信号に置き換え得る。言い換えれば、互換レイヤにおける第1の低周波数帯域信号は変化しないままであり、互換レイヤにおける第1の高周波数帯域信号は、現在のフレームのエンハンスメントレイヤ信号に置き換えられ得、現在のフレームのエンハンスメントレイヤ信号は、適応された第2の高周波数帯域信号として使用され得る。したがって、本出願のこの実施形態では、より良好な互換レイヤ高周波数帯域信号を取得することができ、その結果、より良好なオーディオ出力信号が出力され、オーディオ出力信号の性能が向上する。
【0159】
以下では、例を使用することによって適応方式3について説明する。復号構成要素が互換レイヤ信号のスペクトル成分の一部をエンハンスメントレイヤ信号に置き換えた後、最終的な出力信号が取得される。
【0160】
適応方式3と適応方式1または2との間の違いは、適応方式3では、互換レイヤ信号のスペクトル成分の一部がエンハンスメントレイヤ信号に置き換えられることにある。例えば、互換レイヤ信号はYlc(n)であり、エンハンスメントレイヤ信号はYel(n)である。互換レイヤ信号Ylc(n)中の高周波数帯域スペクトルHFが除去され、Yel(n)で表される信号HFeとYlc(n)中の低周波数帯域スペクトルLFとが組み合わされて最終的な出力信号Y(n)となる。
【0161】
例えば、互換レイヤ信号は時間領域信号Ylc(t)であり、エンハンスメントレイヤ信号は時間領域信号Yel(t)である。この場合、最初に時間領域信号Ylc(t)に対してローパスフィルタリングが実行され、時間領域信号Ylc(t)が時間領域信号Yel(t)に重畳された後、最終的な出力信号が取得され、すなわち、出力信号Y(t)は、以下の式にしたがって取得される:Y(t)=LowFilter(Ylc(t))+Yel(t)。例えば、互換レイヤ信号は周波数領域信号Ylc(k)であり、エンハンスメントレイヤ信号は周波数領域信号Yel(k)である。互換レイヤ周波数領域係数Ylc(k)がエンハンスメントレイヤ周波数領域係数Yel(k)に直接置き換えられた後、最終的なスペクトル係数が取得され、スペクトル係数は最終的な出力信号として時間領域信号に変換され、すなわち、出力信号Y(t)は、以下の式にしたがって取得される:
Y(k)=Ylc(k)、ここで、k=0,1,2,…,またはM-Vである;
Y(k)=Yel(k-M+V-1)、ここで、k=M-V+1,M-V+2,…,またはMである。
【0162】
最後に、Y(k)は、最終的な出力信号として時間領域信号Y(t)に変換される。
【0163】
互換レイヤ信号内のスペクトル成分の一部が、エンハンスメントレイヤにおいて出力されるスペクトル成分に置き換えられ、その結果、符号化/復号性能が互換レイヤ信号の符号化/復号性能よりも優れている出力信号が取得される。例えば、この実施形態における互換レイヤは、古いコーデックと完全に後方互換性がある。この実施形態では、エンハンスメントレイヤは、信号分類情報に基づいていくつかのタイプの信号を符号化/復号し、デコーダ側が、信号分類情報に基づいて、互換レイヤにおける出力信号内のスペクトル成分の一部をエンハンスメントレイヤにおける出力信号内のスペクトル成分に置き換えた後に、最終的な出力信号が取得される。
【0164】
さらに、本出願のいくつかの実施形態では、現在のフレームの第1の高周波数帯域信号を現在のフレームのエンハンスメントレイヤ信号に置き換えて、現在のフレームの第2の高周波数帯域信号を取得することは、以下を含む:
現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて、エンハンスメントレイヤ高周波数帯域調整パラメータを取得すること、
エンハンスメントレイヤ高周波数帯域調整パラメータを使用することによって現在のフレームのエンハンスメントレイヤ信号を適応させて、適応されたエンハンスメントレイヤ信号を取得すること、および
現在のフレームの第1の高周波数帯域信号を適応されたエンハンスメントレイヤ信号に置き換えて、現在のフレームの第2の高周波数帯域信号を取得すること。
【0165】
復号構成要素120は、エンハンスメントレイヤ信号と互換レイヤにおける第1の高周波数帯域信号とに基づいてエンハンスメントレイヤ高周波数帯域調整パラメータを取得し得る。エンハンスメントレイヤ高周波数帯域調整パラメータ(以下の実施形態では略して調整パラメータと呼ばれ得る)は、エンハンスメントレイヤ信号を調整するために使用される調整パラメータである。エンハンスメントレイヤ高周波数帯域調整パラメータは、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて取得され得る。現在のフレームのエンハンスメントレイヤ信号および現在のフレームの第1の高周波数帯域信号の両方は、高周波数帯域オーディオ信号である。調整パラメータは、現在のフレームのエンハンスメントレイヤ信号および現在のフレームの第1の高周波数帯域信号を使用することによって計算され得、現在のフレームのエンハンスメントレイヤ信号は、調整パラメータを使用することによって適応されて、適応されたエンハンスメントレイヤ信号が取得される。現在のフレームのエンハンスメントレイヤ信号は、調整パラメータを使用することによって適応され、次いで、現在のフレームの第1の高周波数帯域信号が、適応されたエンハンスメントレイヤ信号に置き換えられる。このようにして、より良好な互換レイヤ高周波数帯域信号を取得することができ、その結果、より良好なオーディオ出力信号が出力され、オーディオ出力信号の性能が向上する。
【0166】
本出願のいくつかの他の実施形態では、現在のフレームの第1の高周波数帯域信号を現在のフレームのエンハンスメントレイヤ信号に置き換えて、現在のフレームの第2の高周波数帯域信号を取得することは、以下を含む:
現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて、エンハンスメントレイヤ高周波数帯域調整パラメータを取得すること、
現在のフレームの第1の高周波数帯域信号を現在のフレームのエンハンスメントレイヤ信号に置き換えて、置き換えの後に生成された第1の高周波数帯域信号を取得すること、および
エンハンスメントレイヤ高周波数帯域調整パラメータを使用することによって、置き換えの後に生成された第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得すること。
【0167】
復号構成要素120は、エンハンスメントレイヤ信号と互換レイヤにおける第1の高周波数帯域信号とに基づいてエンハンスメントレイヤ高周波数帯域調整パラメータを取得し得る。エンハンスメントレイヤ高周波数帯域調整パラメータ(以下の実施形態では略して調整パラメータと呼ばれ得る)は、エンハンスメントレイヤ信号を調整するために使用される調整パラメータである。エンハンスメントレイヤ高周波数帯域調整パラメータは、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて取得され得る。現在のフレームのエンハンスメントレイヤ信号および現在のフレームの第1の高周波数帯域信号の両方は、高周波数帯域オーディオ信号である。調整パラメータは、現在のフレームのエンハンスメントレイヤ信号および現在のフレームの第1の高周波数帯域信号を使用することによって計算され得、置き換えの後に生成された第1の高周波数帯域信号が取得された後、置き換えの後に生成された第1の高周波数帯域信号が調整パラメータを使用することによって適応されて、現在のフレームの第2の高周波数帯域信号が取得される。調整パラメータを使用することによって、置き換えの後に生成された第1の高周波数帯域信号を適応させることで、より良好な互換レイヤ高周波数帯域信号を取得することができ、その結果、より良好なオーディオ出力信号が出力され、オーディオ出力信号の性能が向上する。
【0168】
例えば、エンハンスメントレイヤ信号が互換レイヤ信号のスペクトル成分の一部を置き換えるように適合された後、および互換レイヤにおける別のスペクトル成分との組合せの後に、最終的な出力信号が取得される。代替的に、互換レイヤ信号のスペクトル成分の一部をエンハンスメントレイヤ信号に置き換えた後、適応が実行され、互換レイヤにおける別のスペクトル成分との組合せの後に、最終的な出力信号が取得される。
【0169】
この実施形態では、エンハンスメントレイヤ信号のスペクトル成分は、互換レイヤに対応するスペクトル成分が置換される前または後に適応される必要がある。詳細は以下の通りである。
【0170】
互換レイヤ信号が時間領域信号Ylc(t)であり、エンハンスメントレイヤ信号が時間領域信号Yel(t)である場合、最初にローパスフィルタリングおよび適応が時間領域信号Ylc(t)に対して実行され、時間領域信号Ylc(t)が時間領域信号Yel(t)に重畳された後、最終的な出力信号が取得され、すなわち、出力信号Y(t)が以下の式にしたがって取得される:
Y(t)=LowFilter(Ylc(t))+Preprocessing(Yel(t))
【0171】
具体的には、適応(前処理)は、複数の処理アルゴリズムを含み得る。例えば、エンハンスメントレイヤ信号Yel(t)の総エネルギーがEnerELであり、互換レイヤ信号に対応する高周波数帯域スペクトル成分エネルギーがEnerLCであると仮定すると、調整パラメータは以下のように計算される:para=sqrt(EnerLC/EnerEL)。次いで、調整パラメータparaがエンハンスメントレイヤ信号Yel(t)と乗算されて、適応されたエンハンスメントレイヤ信号が取得され、適応されたエンハンスメントレイヤ信号とローパスフィルタリング後に取得された互換レイヤ信号とに基づいて最終的な出力信号が取得され得る。
【0172】
別の例では、互換レイヤ信号は周波数領域信号Ylc(k)であり、互換レイヤ信号に対応する高周波数帯域スペクトル成分エネルギーはEnerLCであり、エンハンスメントレイヤ信号は周波数領域信号Yel(k)であり、エンハンスメントレイヤ信号のエネルギーはEnerELであり、調整パラメータは以下のように計算される:para=sqrt(EnerLC/EnerEL)。次いで、調整パラメータparaがエンハンスメントレイヤ信号Yel(k)と乗算された後、適応されたエンハンスメントレイヤ周波数領域係数が取得され、適応されたエンハンスメントレイヤ周波数領域係数が互換レイヤ低周波数帯域周波数領域係数と組み合わされて、出力信号の周波数領域係数が取得される。具体的には、出力信号Y(t)は次式にしたがって取得される:
para=sqrt(EnerLC/EnerEL);
Y(k)=Ylc(k)、ここで、k=0,1,2,…,またはM-Vである;
Y(k)=para*Yel(k-M+V-1)、ここで、k=M-V+1,M-V+2,…,またはMである。
【0173】
最後に、最終的な出力信号として時間領域信号Y(t)を取得するために、Y(k)に対して周波数-時間変換が実行される。
【0174】
この実施形態では、互換レイヤ信号に対応するスペクトル成分が、適応されたエンハンスメントレイヤ信号に置き換えられる方法で、最終的な出力信号の符号化/復号性能を向上させる。
【0175】
本出願のいくつかの他の実施形態では、現在のフレームの第1の高周波数帯域信号を現在のフレームのエンハンスメントレイヤ信号に置き換えて、現在のフレームの第2の高周波数帯域信号を取得することは、以下を含む:
現在のフレームのエンハンスメントレイヤ信号および現在のフレームの第1の高周波数帯域信号に対してスペクトル成分比較選択を実行して、現在のフレームのエンハンスメントレイヤ信号から第1のエンハンスメントレイヤサブ信号を選択すること、および
現在のフレームの第1の高周波数帯域信号内にあり、第1のエンハンスメントレイヤサブ信号と同じスペクトルを有する信号を、第1のエンハンスメントレイヤサブ信号に置き換えて、現在のフレームの第2の高周波数帯域信号を取得すること。
【0176】
復号構成要素は、エンハンスメントレイヤ信号に対応するスペクトル成分を、互換レイヤ信号内の第1の高周波数帯域信号に対応するスペクトル成分と比較し得る。スペクトル成分の比較が完了した後、現在のフレームのエンハンスメントレイヤ信号から第1のエンハンスメントレイヤサブ信号が選択される。最後に、現在のフレームの第1の高周波数帯域信号内にあり、第1のエンハンスメントレイヤサブ信号と同じスペクトルを有する信号が、選択された第1のエンハンスメントレイヤサブ信号に置き換えられて、現在のフレームの第2の高周波数帯域信号が取得される。例えば、復号構成要素は、前述のスペクトル成分比較選択を実行する。比較結果にしたがって、エンハンスメントレイヤ信号内のいくつかのスペクトル成分を使用して、互換レイヤ信号内の対応するスペクトル成分を置き換えて、最終的な出力信号内のスペクトル成分を取得する。加えて、エンハンスメントレイヤ信号内の他のスペクトル成分が破棄され、互換レイヤ信号内の置き換えの後に取得されたスペクトル成分を互換レイヤ信号内の他のスペクトル成分と組み合わせることによって、最終的な出力信号のすべてのスペクトル成分が取得される。
【0177】
例えば、エンハンスメントレイヤ信号と互換レイヤ信号とが組み合わされる前に、復号構成要素は最初に、スペクトル成分比較選択動作を実行する。比較選択の処理プロセスは以下の通りである:エンハンスメントレイヤ信号がスペクトル成分Wkを有し、互換レイヤ信号がWk付近に等しいエネルギーを有するスペクトル成分Zkを有する場合、スペクトル成分Zkが互換レイヤ符号化/復号を通して取得されると決定される。Zkは、Wkよりも元の信号内の対応するスペクトル成分に近い。したがって、Zkが最終的な出力信号のスペクトル成分として選択される。しかしながら、エンハンスメントレイヤ信号内のWk付近に互換レイヤ信号内に対応するスペクトル成分が存在しない場合、Wkが、最終的な出力信号のスペクトル成分を取得するための適応の基礎として選択され、次いで、最終的な出力信号のすべてのスペクトル成分が、互換レイヤ信号内の別のスペクトル成分との組合せの後に取得される。
【0178】
この実施形態では、復号構成要素は、エンハンスメントレイヤ信号および互換レイヤ信号に基づいて、最終的な出力信号のスペクトル成分であって、エンハンスメントレイヤ信号に対応する最適なスペクトル成分を選択する。この実施形態では、互換レイヤ信号の高周波数帯域が高品質の符号化/復号スペクトル成分を含むとき、互換レイヤによって出力される新しいスペクトル成分が、最終的な出力信号のスペクトル成分として選択される。全体的な符号化/復号性能を向上させるためにエンハンスメントレイヤ符号化/復号を導入する原理では、互換レイヤ信号が高性能符号化/復号スペクトル成分を含む特別な場合が考慮され、最終的に最適な符号化/復号出力信号が取得される。
【0179】
適応方式4:
【0180】
本出願のいくつかの実施形態では、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に基づいて現在のフレームの第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得するステップ305は、以下を含む:
現在のフレームの互換レイヤ信号内の互換レイヤ復号信号および互換レイヤ帯域幅拡張信号を取得すること、ならびに
互換レイヤ帯域幅拡張信号と現在のフレームのエンハンスメントレイヤ信号とを組み合わせて、現在のフレームの第2の高周波数帯域信号を取得すること。
【0181】
復号構成要素は、互換レイヤ信号中に含まれる互換レイヤ復号信号と互換レイヤ帯域幅拡張信号とを決定し得る。互換レイヤ復号信号は、互換レイヤにおける互換レイヤ符号化パラメータを復号することによって復号構成要素によって取得される信号であり、互換レイヤ帯域幅拡張信号は、互換レイヤにおける帯域幅拡張を通して復号構成要素によって取得される信号である。例えば、低周波数帯域信号が高周波数帯域に拡張されて、互換レイヤ帯域幅拡張信号が取得される。本出願のこの実施形態では、復号構成要素は、互換レイヤ帯域幅拡張信号と現在のフレームのエンハンスメントレイヤ信号とを組み合わせ得る。言い換えれば、第1の高周波数帯域信号内の互換レイヤ復号信号は、エンハンスメントレイヤ信号と組み合わされず、復号構成要素は、互換レイヤ帯域幅拡張信号のみを現在のフレームのエンハンスメントレイヤ信号と組み合わせる。現在のフレームの第2の高周波数帯域信号が取得され、第2の高周波数帯域信号、エンハンスメントレイヤ信号、および第1の低周波数帯域信号が組み合わされた後、最終的な出力信号が取得される。より良好な互換レイヤ高周波数帯域信号を取得することができ、その結果、より良好なオーディオ出力信号が出力され、オーディオ出力信号の性能が向上する。
【0182】
さらに、本出願のいくつかの実施形態では、互換レイヤ信号のスペクトル範囲は[0,FL]であり、互換レイヤ復号信号のスペクトル範囲は[0,FT]であり、互換レイヤ帯域幅拡張信号のスペクトル範囲は[FT,FL]であり、エンハンスメントレイヤ信号のスペクトル範囲は[FX,FY]であり、オーディオ出力信号のスペクトル範囲は[0,FY]である。
【0183】
FL=FY,FX≦FTであり、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FT]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FT,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される。
【0184】
代替的に、FL=FY,FX>FTであり、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FX]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FX,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される。
【0185】
代替的に、FL<FY,FX≦FTであり、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FT]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FT,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される。
【0186】
代替的に、FL<FY,FX>FTであり、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FX]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FX,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される。
【0187】
具体的には、互換レイヤ信号は、互換レイヤ復号信号と互換レイヤ帯域幅拡張信号とを含み得る。復号構成要素は、互換レイヤ復号信号のスペクトル範囲が[0,FT]であり、互換レイヤ帯域幅拡張信号のスペクトル範囲が[FT,FL]であると決定され得るように、互換レイヤ信号内の互換レイヤ復号信号と互換レイヤ帯域幅拡張信号との境界を決定し得る。例えば、この実施形態では、復号構成要素は、互換レイヤ信号内のどのスペクトルが符号化および復号を通して取得され、互換レイヤ信号内のどのスペクトルが帯域幅拡張を通して取得されるかを学習し得る。最終的な出力信号は、互換レイヤ信号内の符号化および復号部分のスペクトルを含み、帯域幅拡張部分のスペクトルは、エンハンスメントレイヤ信号および互換レイヤ信号内の対応するスペクトル成分を組み合わせることによって取得され得る。
【0188】
例えば、オーディオコーデックの元の入力信号サンプリング周波数がFSであり、スペクトル範囲が0~FS/2であり、互換レイヤ信号のスペクトル範囲が0~FLであり、ここで、範囲0~FTは符号化/復号を通して直接取得され、範囲FT~FLは帯域幅拡張を通して取得される、と仮定する。エンハンスメントレイヤ信号のスペクトル範囲はFX~FYであり、最終的な出力信号はYである。この場合、前述の処理方式は、スペクトル範囲の境界値の値関係に基づいて取得され得る。例えば、FL=FY=FS/2およびFX≦FTであり、すなわち、エンハンスメントレイヤ信号の最小スペクトル範囲FXは、互換レイヤ復号信号の最大スペクトル範囲よりも小さい。この場合、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FT]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FT,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される。別の例では、FL=FYおよびFX>FTであり、すなわち、エンハンスメントレイヤ信号の最小スペクトル範囲FXは、互換レイヤ復号信号の最大スペクトル範囲よりも大きい。この場合、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FX]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FX,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される。別の例では、FL<FYおよびFX≦FTであり、すなわち、エンハンスメントレイヤ信号の最大スペクトル範囲FYは、互換レイヤ帯域幅拡張信号のスペクトル範囲よりも大きく、エンハンスメントレイヤ信号の最小スペクトル範囲FXは、互換レイヤ復号信号の最大スペクトル範囲よりも小さい。この場合、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FT]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FT,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される。別の例では、FL<FYおよびFX>FTであり、すなわち、エンハンスメントレイヤ信号の最大スペクトル範囲FYは、互換レイヤ帯域幅拡張信号のスペクトル範囲よりも大きく、エンハンスメントレイヤ信号の最小スペクトル範囲FXは、互換レイヤ復号信号の最大スペクトル範囲よりも大きい。この場合、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FX]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FX,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される。
【0189】
この実施形態では、互換レイヤは、古い符号化/復号構成要素と完全に後方互換性がある。適応型の出力組合せ方式では、高性能の最終的な出力信号が、互換レイヤ出力信号と、符号化/復号スペクトル範囲と、エンハンスメントレイヤ信号とに基づいた計算を通して生成される。互換レイヤが古い符号化構成要素と完全に後方互換であることを確実にすることに基づいて、組合せのスペクトル範囲の上限は、エンハンスメントレイヤ符号化/復号のスペクトル範囲の上限、すなわち元の信号のカットオフ周波数であり、組合せのスペクトル範囲の下限は、互換レイヤ符号化のスペクトル範囲の上限およびエンハンスメントレイヤ信号のスペクトル範囲の下限のうちの大きい方の値である。これは、最終的な出力信号のスペクトル範囲が入力信号のスペクトル範囲全体を含むことを確実にする。この場合、出力信号は、互換レイヤ信号およびエンハンスメントレイヤ信号の両方の利点を有する。
【0190】
306.現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第2の高周波数帯域信号と、現在のフレームの第1の低周波数帯域信号とに基づいて、現在のフレームのオーディオ出力信号を取得する。
【0191】
本出願のこの実施形態では、ステップ305の前述の説明から、第1の高周波数帯域信号は互換レイヤにおいて適応されて、互換レイヤにおける第2の高周波数帯域信号が取得され得ることが分かる。最後に、互換レイヤにおける復号を通して出力される第1の低周波数帯域信号と、エンハンスメントレイヤにおけるエンハンスメントレイヤ信号と、互換レイヤにおける第2の高周波数帯域信号とが組み合わされて、現在のフレームのオーディオ出力信号が取得される。現在のフレームのオーディオ出力信号は、オーディオ再生成分のオーディオ再生に使用され得る。
【0192】
図3に示す復号方法は、限定ではなく単なる例であり、本出願のこの実施形態において図3におけるステップの実行順序が限定されないことに留意されたい。図3に示す復号方法は、代替的に、より多くのまたはより少ないステップを含んでもよい。本出願の本実施形態においては、これに限定されない。
【0193】
本出願のいくつかの実施形態では、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第2の高周波数帯域信号と、現在のフレームの第1の低周波数帯域信号とに基づいて、現在のフレームのオーディオ出力信号を取得するステップ306の後に、本出願の本実施形態において提供される復号方法は、以下を含む:
現在のフレームのオーディオ出力信号を後処理すること。
【0194】
現在のフレームのオーディオ出力信号が取得された後、復号構成要素は、後処理利得が達成され得るように、オーディオ出力信号をさらに後処理し得る。
【0195】
本出願のいくつかの実施形態では、後処理は、ダイナミックレンジ制御、レンダリング、およびオーディオミキシングのうちの少なくとも1つを含む。
【0196】
例えば、復号構成要素は、ポストプロセッサを含み得る。ポストプロセッサの機能は、高周波数帯域信号を後処理することである。例えば、エンハンスメントレイヤ信号、現在のフレームの第2の高周波数帯域信号、および現在のフレームの第1の低周波数帯域信号が組み合わされた後にオーディオ出力信号が取得される場合、オーディオ出力信号は後処理される。ポストプロセッサの機能には、ダイナミックレンジ制御(dynamic range control、DRC)、レンダリング、オーディオミキシングなどが含まれ得る。実際のアプリケーションシナリオで使用される後処理方式は限定されない。
【0197】
本出願のいくつかの実施形態では、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第2の高周波数帯域信号と、現在のフレームの第1の低周波数帯域信号とに基づいて、現在のフレームのオーディオ出力信号を取得するステップ306の前に、本出願の本実施形態で提供される復号方法は、以下をさらに含む:
互換レイヤ信号に基づいて後処理パラメータを取得すること、および
後処理パラメータを使用することによってエンハンスメントレイヤ信号を後処理して、後処理されたエンハンスメントレイヤ信号を取得すること。
【0198】
現在のフレームのオーディオ出力信号を取得する前に、復号構成要素はさらに、互換レイヤ信号に基づいて後処理パラメータを取得し得る。後処理パラメータは、後処理に必要なパラメータである。異なるタイプの後処理に基づいて、対応する後処理パラメータが取得される必要がある。エンハンスメントレイヤ信号は、後処理パラメータを使用することによって後処理され、後処理が完了した後、後処理されたエンハンスメントレイヤ信号、現在のフレームの第2の高周波数帯域信号、および現在のフレームの第1の低周波数帯域信号が組み合わされてオーディオ出力信号が取得され得る。本出願のこの実施形態では、エンハンスメントレイヤ信号は、後処理利得が達成され得るように、後処理され得る。
【0199】
例えば、最終的な出力信号を取得するために、エンハンスメントレイヤ信号が、後処理された互換レイヤ信号と組み合わされる。本実施形態と前述の実施形態との違いは、互換レイヤにおけるものと同じ後処理がエンハンスメントレイヤに追加されていることにある。互換レイヤ信号が決定された後、ダイナミックレンジ制御、レンダリング、およびオーディオミキシングなどの後処理が実行され、次いで、組合せが実行される。例えば、互換レイヤにおいて直接復号された後に生成された信号を取得することができる場合、エンハンスメントレイヤ信号は、最初に、互換レイヤ信号と組み合わされ、次いで前述の後処理が実行される。別の例では、互換レイヤにおける直接復号の後に生成された信号を取得することができない場合、最初に前述の後処理がエンハンスメントレイヤ信号に対して実行され、次いで、後処理されたエンハンスメントレイヤ信号が互換レイヤ信号と組み合わされる。
【0200】
具体的には、エンハンスメントレイヤ信号を後処理するための方式は複数存在する。例えば、後処理パラメータは、互換レイヤ信号から直接取得され得、次いで、後処理パラメータを使用して、エンハンスメントレイヤ信号を後処理する。別の例では、後処理を通して、組合せの前と後のスペクトル成分が、サブバンドの観点からイントラサブバンド間で類似のエネルギー関係を有することを確実にして、組合せを通して最終的なオーディオ出力信号を取得することができることを確実にすることができる。
【0201】
本出願のこの実施形態では、互換レイヤは、古い符号化/復号構成要素と完全に互換性があり、組み合せられた信号は、古い符号化/復号構成要素がオーディオ信号の全帯域範囲において符号化/復号を実装することができるように、互換レイヤにおいて出力中に実行される後処理動作を含む。
【0202】
前述の実施形態における本出願の復号方法の例示的な説明から、符号化ビットストリームが取得されること、符号化ビットストリームに対してビットストリーム逆多重化が実行されて、オーディオ信号の現在のフレームの互換レイヤ符号化パラメータおよび現在のフレームのエンハンスメントレイヤ符号化パラメータが取得されること、現在のフレームの互換レイヤ信号が、互換レイヤ符号化パラメータに基づいて取得され、ここで、互換レイヤ信号が、現在のフレームの第1の高周波数帯域信号と現在のフレームの第1の低周波数帯域信号とを含むこと、現在のフレームのエンハンスメントレイヤ信号が、エンハンスメントレイヤ符号化パラメータに基づいて取得されること、現在のフレームの第1の高周波数帯域信号が、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に基づいて適応されて、現在のフレームの第2の高周波数帯域信号が取得されること、ならびに現在のフレームのオーディオ出力信号が、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第2の高周波数帯域信号と、現在のフレームの第1の低周波数帯域信号とに基づいて取得されることが分かる。本出願のこの実施形態では、オーディオ信号を復号するためのすべての周波数領域範囲が互換レイヤに含まれ得るが、オーディオ信号を復号するための高周波数領域範囲のみがエンハンスメントレイヤに含まれる。古いオーディオ復号デバイスを使用することによって互換レイヤが実装され得、新しいオーディオ復号デバイスを使用することによってエンハンスメントレイヤおよび互換レイヤが実装される。したがって、本出願のこの実施形態では、新しいオーディオ復号デバイスは、古いオーディオ復号デバイスと互換性がある。オーディオ復号デバイスのデバイスタイプによって、復号は、互換レイヤのみで行われ得るか、または互換レイヤおよびエンハンスメントレイヤの両方で行われ得る。本出願のこの実施形態では、新しいトランスコーディングモジュールを古いオーディオ復号デバイスに追加する必要はない。したがって、オーディオ復号デバイスのアップグレードコストが削減され、オーディオ信号復号効率が向上し得る。
【0203】
オプションで、符号化構成要素110および復号構成要素120は、同じデバイス中に配置され得るか、または異なるデバイスに配置され得る。デバイスは、携帯電話、タブレットコンピュータ、ラップトップポータブルコンピュータ、デスクトップコンピュータ、Bluetooth(登録商標)スピーカ、記録ペン、またはウェアラブルデバイスなどの、オーディオ信号処理機能を有する端末であり得る。代替的に、デバイスは、コアネットワークまたはワイヤレスネットワークにおけるオーディオ信号処理能力を有するネットワーク要素であってもよい。本実施形態においては、これに限定されない。
【0204】
例えば、図4に示すように、以下の例が、この実施形態における説明のために使用される。符号化構成要素110はモバイル端末130に配置され、復号構成要素120はモバイル端末140に配置される。モバイル端末130およびモバイル端末140は、オーディオ信号処理能力を有する互いに独立した電子デバイスである。例えば、モバイル端末130およびモバイル端末140は、携帯電話、ウェアラブルデバイス、仮想現実(virtual reality、VR)デバイス、拡張現実(augmented reality、AR)デバイスなどであり得る。加えて、モバイル端末130およびモバイル端末140は、ワイヤレスまたはワイヤードネットワークを使用することによって接続される。
【0205】
オプションで、モバイル端末130は、収集構成要素131と、符号化構成要素110と、チャネル符号化構成要素132とを含み得る。収集構成要素131は、符号化構成要素110に接続され、符号化構成要素110は、チャネル符号化構成要素132に接続される。
【0206】
オプションで、モバイル端末140は、オーディオ再生構成要素141と、復号構成要素120と、チャネル復号構成要素142とを含み得る。オーディオ再生構成要素141は、復号構成要素120に接続され、復号構成要素120は、チャネル復号構成要素142に接続される。
【0207】
収集構成要素131を使用することによってオーディオ信号を収集した後に、モバイル端末130は、符号化構成要素110を使用することによってオーディオ信号を符号化して符号化ビットストリームを取得し、次いで、チャネル符号化構成要素132を使用することによって符号化ビットストリームを符号化して送信信号を取得する。
【0208】
モバイル端末130は、ワイヤレスまたはワイヤードネットワークを通してモバイル端末140に送信信号を送信する。
【0209】
送信信号を受信した後、モバイル端末140は、チャネル復号構成要素142を使用することによって送信信号を復号して符号化ビットストリームを取得し、復号構成要素120を使用することによって符号化ビットストリームを復号してオーディオ信号を取得し、オーディオ再生構成要素を使用することによってオーディオ信号を再生する。モバイル端末130は、代替的に、モバイル端末140に含まれる構成要素を含んでもよく、モバイル端末140は、代替的に、モバイル端末130に含まれる構成要素を含んでもよいことが理解され得る。
【0210】
例えば、図5に示すように、以下の例が説明のために使用される。符号化構成要素110および復号構成要素120は、コアネットワークまたはワイヤレスネットワークにおけるオーディオ信号処理能力を有する1つのネットワーク要素150内に配置される。
【0211】
オプションで、ネットワーク要素150は、チャネル復号構成要素151と、復号構成要素120と、符号化構成要素110と、チャネル符号化構成要素152とを含む。チャネル復号構成要素151は、復号構成要素120に接続され、復号構成要素120は、符号化構成要素110に接続され、符号化構成要素110は、チャネル符号化構成要素152に接続される。
【0212】
別のデバイスによって送信された送信信号を受信した後に、チャネル復号構成要素151は、送信信号を復号して第1の符号化ビットストリームを取得する。復号構成要素120は、符号化ビットストリームを復号してオーディオ信号を取得する。符号化構成要素110は、オーディオ信号を符号化して第2の符号化ビットストリームを取得する。チャネル符号化構成要素152は、第2の符号化ビットストリームを符号化して送信信号を取得する。
【0213】
別のデバイスは、オーディオ信号処理能力を有するモバイル端末であり得るか、またはオーディオ信号処理能力を有する別のネットワーク要素であり得る。本実施形態においては、これに限定されない。
【0214】
オプションで、ネットワーク要素内の符号化構成要素110および復号構成要素120は、モバイル端末によって送信された符号化ビットストリームをトランスコーディングし得る。
【0215】
オプションで、本出願のこの実施形態では、符号化構成要素110がインストールされたデバイスは、オーディオ符号化デバイスと呼ばれ得る。実際の実装形態では、オーディオ符号化デバイスは、オーディオ復号機能も有し得る。本出願の本実施形態においては、これに限定されない。
【0216】
オプションで、本出願のこの実施形態では、復号構成要素120がインストールされたデバイスは、オーディオ復号デバイスと呼ばれ得る。実際の実装形態では、オーディオ復号デバイスは、オーディオ符号化機能も有し得る。本出願においては、これに限定されない。
【0217】
本出願の実施形態における前述の解決策をより良く理解し実装するために、以下では、特定の説明のための例として対応するアプリケーションシナリオを使用する。
【0218】
図6は、本出願の一実施形態によるオーディオ符号化および復号手順の概略図である。図6において、破線の左側がエンコーダ側であり、破線の右側がデコーダ側である。入力信号は、エンハンスメントレイヤおよび互換レイヤにおいて別々に符号化され、コーデックの最終出力は、エンハンスメントレイヤ信号および互換レイヤ信号が組み合わされた後に取得される。
【0219】
図7aは、本出願の一実施形態による元の信号スペクトルの概略図である。図7aに示す曲線は、すべての周波数帯域上の元の信号のスペクトルである。エンコーダ側では、最初に、入力信号に対して互換レイヤ符号化を実行することによって、互換レイヤ信号が取得される。図7bは、本出願の一実施形態による互換レイヤ符号化信号スペクトルの概略図である。互換レイヤ符号化信号スペクトルは、高周波数帯域信号と低周波数帯域信号とを含む。図7bでは、縦線の左側が低周波数帯域信号であり、縦線の右側が高周波数帯域信号である。エンコーダ側は、入力信号に対して信号分類をさらに実行し得る。信号分類中に信号タイプパラメータが生成され、信号タイプパラメータに基づいてエンハンスメントレイヤ符号化が実行されて、エンハンスメントレイヤ信号が取得される。図7cは、本出願の一実施形態によるエンハンスメントレイヤ符号化信号スペクトルの概略図である。図7cに示す破線は、高周波数帯域上のエンハンスメントレイヤ符号化信号のスペクトルである。ビットストリーム多重化が、互換レイヤ信号、エンハンスメントレイヤ信号、および信号タイプパラメータに対して実行されて、符号化ビットストリームが取得される。図7dは、本出願の一実施形態によるオーディオ出力信号スペクトルの概略図である。ビットストリーム多重化が、互換レイヤ信号、エンハンスメントレイヤ信号、および信号タイプパラメータに対して実行され、すなわち、図7bに示す互換レイヤ符号化信号スペクトルおよび図7cに示すエンハンスメントレイヤ符号化信号スペクトルが組み合わせられて、符号化ビットストリームが生成され得る。
【0220】
例えば、入力信号は最初に互換レイヤエンコーダに入力され、互換レイヤエンコーダによって符号化された互換レイヤ符号化パラメータがビットストリームマルチプレクサに入力される。入力信号は、信号分類器にさらに入力され得、信号タイプパラメータが、ビットストリームマルチプレクサに入力される。入力信号のいくつかのスペクトル成分を符号化するために、対応するエンハンスメントレイヤモード1~Nが信号タイプパラメータに基づいて選択される。エンハンスメントレイヤエンコーダによって符号化されたエンハンスメントレイヤ符号化パラメータがビットストリームマルチプレクサに入力され、ビットストリームマルチプレクサによって出力された符号化ビットストリームがデコーダ側に送信される。
【0221】
本出願のいくつかの実施形態では、図6に示すように、エンハンスメントレイヤエンコーダが、エンハンスメントレイヤにおいて符号化が実行されるべき特定の周波数帯域を、互換レイヤ符号化周波数帯域情報に基づいて決定することができるように、互換レイヤ符号化周波数帯域情報がエンハンスメントレイヤエンコーダにさらに送信され得る。詳細については、前述の実施形態における説明を参照されたい。ここでは詳細を改めて説明しない。
【0222】
デコーダ側は、最初に、符号化ビットストリームに対してビットストリーム逆多重化を実行し、信号タイプパラメータを使用することによって復号を通して信号タイプパラメータを取得し、エンハンスメントレイヤ復号を通してエンハンスメントレイヤ信号を取得し、互換レイヤ復号を通して互換レイヤ信号を取得し、信号タイプパラメータおよびエンハンスメントレイヤ信号を使用することによって互換レイヤ信号を適応させ、次いで、適応された互換レイヤ信号、信号タイプパラメータ、およびエンハンスメントレイヤ信号を組み合わせて、最終的に出力信号を取得する。
【0223】
例えば、デコーダ側は、ビットストリームデマルチプレクサを使用することによって、互換レイヤ符号化パラメータを互換レイヤデコーダに入力して、互換レイヤ信号を取得する。信号タイプパラメータデコーダは、復号を通して信号タイプパラメータを取得し、エンハンスメントレイヤモード1~Nのためのデコーダは、入力された対応するビットストリームと信号タイプパラメータとに基づいて復号を通してエンハンスメントレイヤ信号を取得する。アダプタは、エンハンスメントレイヤ信号を使用することによって互換レイヤ信号を適応させる。最後に、適応された互換レイヤ信号、エンハンスメントレイヤ信号、および信号タイプパラメータ情報がコンバイナに入力されて、コンバイナからデコーダの最終的な出力信号が取得される。
【0224】
本出願のこの実施形態における互換レイヤコーデックは、任意のコーデックであり得る。例えば、互換レイヤコーデックは、MPEG-H 3Dオーディオコーデックであり得る。コーデックは、時間領域符号化および復号モードと、変換領域符号化および復号モードとを含み、マルチチャネル入力信号の符号化および復号をサポートする。互換レイヤコーデックの符号化および復号プロセスについては詳細に説明しない。
【0225】
本出願のいくつかの実施形態では、図6に示すように、エンハンスメントレイヤデコーダが、エンハンスメントレイヤにおいて復号が実行されるべき特定の周波数帯域を、互換レイヤ信号に基づいて決定することができるように、互換レイヤ信号がエンハンスメントレイヤデコーダにさらに送信され得る。詳細については、前述の実施形態における説明を参照されたい。ここでは詳細を改めて説明しない。
【0226】
以下では、例を使用してエンハンスメントレイヤ符号化および復号方式について説明する。
【0227】
処理方式は以下を含む:信号分類器は、高周波数帯域信号を、高調波信号、独立したトーン成分を含む信号、および別の信号という3つのプリセット信号タイプに分類する。前述の3つのタイプの信号に対して異なる処理動作が実行される。例えば、高調波信号の場合、エンコーダ側は、高調波信号の符号化基本周波数、高調波量、振幅、およびベースエネルギーを符号化して、エンハンスメントレイヤ符号化パラメータを取得し得る。デコーダ側は、基本周波数、高調波量、振幅、およびベースエネルギーに基づいて、対応する位置において、エネルギーが元の信号のエネルギーと等しい高調波信号を再構成する。別の例として、独立したトーン成分を含む信号の場合、エンコーダ側は、正弦トラック曲線に基づいてトーン成分を処理し、エンハンスメントレイヤ符号化パラメータが、振幅、位相、ならびにトラック曲線の開始点および終了点が符号化された後に取得され得る。エンハンスメントレイヤ符号化パラメータは、デコーダ側に送信される。デコーダ側は、復号を通して取得された振幅、位相、ならびにトラック曲線の開始点および終了点に基づいて、トーン成分を含む信号を再構成する。高調波信号および独立したトーン成分を含む信号以外の信号の場合、エンコーダ側は、エンハンスメントレイヤ符号化を実行せず、互換レイヤ信号を最終的な出力信号として直接使用する。
【0228】
別の処理方式は以下を含む:信号分類器は、高周波数帯域信号を、高調波信号、独立したトーン成分を含む信号、ホワイトノイズ様信号、および別の信号という4つのタイプの信号に分類する。高調波信号、独立したトーン成分を含む信号、または別の信号の処理方式は、前の処理方式と同じである。ホワイトノイズ様信号の場合、エンコーダ側は、元の高周波数帯域信号との計算のための励起信号としてホワイトノイズを使用して、エンハンスメントレイヤエンベロープ情報を取得し、エンハンスメントレイヤエンベロープ情報は、エンハンスメントレイヤ符号化パラメータとしてデコーダ側に送信される。デコーダ側は、ホワイトノイズを励起信号として使用することによって、受信されたエンベロープ情報に基づいてエンハンスメントレイヤ信号を再構成する。
【0229】
無制限に、信号分類器は、高周波数帯域信号をより多くのタイプの信号にさらに分類し、分類を通してN個の信号タイプを生成し得る。この場合、エンハンスメントレイヤエンコーダは、N個の符号化モードを有し、各符号化モードは、1つのタイプの信号を処理するために使用される。例えば、信号分類器は、高周波数帯域信号を、高調波信号、独立したトーン成分を含む信号、ホワイトノイズ様信号、過渡信号、摩擦音信号、および別の信号という6つのタイプの信号に分類する。高調波信号、独立したトーン成分を含む信号、ホワイトノイズ様信号、または別の信号の処理方式は、前の処理方式と同じである。過渡信号の場合、エンハンスメントレイヤは、過渡信号に含まれるサブフレームの時間領域エンベロープ間の割り当て差がより明確になるように、時間領域エンベロープをより細かく符号化する。摩擦音信号の場合、エンハンスメントレイヤは、デコーダ側で復元される信号のスペクトル包絡線が元の信号により近くなるように、信号のスペクトル包絡線に対して細かい符号化を実行する。これにより、符号化性能が向上する。
【0230】
図8は、本出願の一実施形態による、エンハンスメントレイヤ符号化パラメータと互換レイヤ符号化パラメータとが組み合わされた後に取得される出力スペクトルの概略図である。例えば、Ylc(n)は互換レイヤ符号化パラメータを表し、Ylc(n)は高周波数帯域信号HFと低周波数帯域信号LFとを含み、Yel(n)はエンハンスメントレイヤ符号化パラメータを表し、Yel(n)は高周波数帯域信号HFeを含み、エンハンスメントレイヤ符号化パラメータおよび互換レイヤ符号化パラメータが組み合わされた後に取得される最終的な出力信号はY(n)であり、Y(n)は高周波数帯域信号HFnewと低周波数帯域信号LFとを含む。高周波数帯域信号HFnewは、エンハンスメントレイヤ信号および互換レイヤ信号が適応された後に取得される高周波数帯域信号であり得る。
【0231】
例えば、高調波信号のための特定の処理手順は以下を含む:エンコーダの入力信号はx(n)であり、ここでn=0,1,2,3…である。x(n)のサンプリング周波数はFsであり、帯域幅はFs/2である。信号x(n)が互換レイヤにおいて符号化された後、帯域幅がFs/2であるYlc(n)が出力され、ここで、n=0,1,2,3…である。信号x(n)は、信号分類器によって処理され、生成された信号分類パラメータが符号化ビットストリームに入れられる。現在のフレームが高調波信号を含むことを信号分類パラメータが示す場合、現在のフレームは、エンハンスメントレイヤにおいて符号化される。符号化された信号が復号された後、周波数帯域がHFeである信号Yel(n)が出力され、ここで、n=0,1,2,3…である。
【0232】
前述のYlc(n)およびYel(n)が組み合わされた後、出力信号Y(n)が取得され、出力信号Y(n)の信号帯域幅は、LFおよびHFnewという2つの部分周波数帯域を含む。Y(n)の符号化/復号性能は、Ylc(n)の符号化/復号性能よりも優れている。
【0233】
以下では、エンハンスメントレイヤ信号と互換レイヤ信号とを組み合わせる処理について説明する。信号Ylc(n)の周波数領域表現はYlc(k)であり、ここで、k=0,1,2,3,…,またはMである。信号Yel(n)の周波数領域表現はYel(k)であり、ここで、k=0,1,2,3,…,またはVである。この場合、信号Y(n)の周波数領域表現は、Y(k)であり、ここで、k=0,1,2,3,…,またはMである:
Y(k)=Ylc(k)、ここで、k=0,1,2,…,またはM-Vであり、および
Y(k)=Ylc(k)*H1(k-M+V-1)+Yel(k-M+V-1)*H2(k-M+V-1)、ここで、k=M-V+1,M-V+2,…,またはMである。
【0234】
H1(.)およびH2(.)は、それぞれ、互換レイヤ信号の適応関数およびエンハンスメントレイヤ信号の適応関数である。
【0235】
高調波信号の復号が一例として使用される。デコーダ側は、基本周波数と、高調波量と、振幅とに基づいて、対応する高調波成分Yel(k)を再構成する。エンハンスメントレイヤベースエネルギーがEnerNFであり、互換レイヤによって出力されるエンベロープエネルギーがEnerENVである場合、前述の2つの適応関数は以下の通りである:H1(k)=EnerNF/EnerENV、およびH2(k)=1。
【0236】
出力信号Y(k)は、以下のとおりである:
Y(k)=Ylc(k)、ここで、k=0,1,2,…,またはM-Vであり、および
Y(k)=Ylc(k)*EnerNF/EnerENV+Yel(k-M+V-1)、ここで、k=M-V+1,M-V+2,…,またはMである。
【0237】
最後に、Y(k)は、最終的な出力信号として時間領域信号Y(t)に変換される。
【0238】
本出願の実施形態において提供される前述のオーディオ符号化および復号手順では、1つのオーディオ符号化および復号システムは、1つの互換レイヤと1つのエンハンスメントレイヤとを含む。互換レイヤは、オーディオ符号化および復号機能を完全に実装することができ、生成されたビットストリームは、古い符号化および復号システムと完全に互換性がある。この実施形態における互換レイヤは、古いコーデックと完全に後方互換性がある。この実施形態では、エンハンスメントレイヤは、信号分類パラメータに基づいてプリセット信号タイプの信号を符号化/復号し、デコーダ側が信号分類パラメータに基づいてエンハンスメントレイヤ信号と互換レイヤ信号とを組み合わせた後に、最終的な出力信号が取得される。エンハンスメントレイヤは、入力オーディオ信号のいくつかのスペクトルを符号化/復号することができる。デコーダ側は、エンハンスメントレイヤに関する情報に基づいて、互換レイヤによって出力される復号されたオーディオ信号を最終的な復号された出力信号として使用するか、または最初にエンハンスメントレイヤの復号された出力と互換レイヤの復号された出力とを組み合わせてから、組み合わされた信号を最終的な復号された出力信号として使用するかを決定する。互換レイヤおよびオーディオ符号化および復号システムは同じ入力信号を有し、互換レイヤは、入力信号のすべてのスペクトル成分を符号化/復号する。
【0239】
この実施形態では、信号分類器は、エンハンスメントレイヤを使用することによって、プリセット信号タイプの信号に対して拡張符号化を実行する。デコーダの全体的な出力信号は、エンハンスメントレイヤ信号と互換レイヤ信号とを組み合わせることによって取得される。デコーダの全体的な出力信号の符号化/復号性能は、互換レイヤ符号化/復号を通して直接出力される信号の符号化/復号性能より優れている。
【0240】
簡潔な説明のために、前述の方法の実施形態は一連のアクションとして表されることに留意されたい。しかしながら、本出願によれば、いくつかのステップが他の順序でまたは同時に実行され得るので、本出願はアクションの説明された順序に限定されないことを当業者は認識するべきである。加えて、本明細書で説明される実施形態はすべて例示的な実施形態に属し、関与するアクションおよびモジュールは必ずしも本出願によって必要とされるものではないことが当業者によってさらに認識されるべきである。
【0241】
本出願の実施形態において前述の解決策をより良く実装するために、以下は、前述の解決策を実装するための関連装置をさらに提供する。
【0242】
図9に示すように、本出願の一実施形態において提供されるオーディオ符号化デバイス900は、取得モジュール901と、互換レイヤ符号化モジュール902と、エンハンスメントレイヤ符号化モジュール903と、多重化モジュール904とを含み得る。
【0243】
取得モジュールは、オーディオ信号の現在のフレームを取得するように構成され、ここで、現在のフレームは、高周波数帯域信号および低周波数帯域信号を含む。
【0244】
互換レイヤ符号化モジュールは、高周波数帯域信号と低周波数帯域信号とに基づいて、現在のフレームの互換レイヤ符号化パラメータを取得するように構成される。
【0245】
エンハンスメントレイヤ符号化モジュールは、高周波数帯域信号に基づいて現在のフレームのエンハンスメントレイヤ符号化パラメータを取得するように構成される。
【0246】
多重化モジュールは、互換レイヤ符号化パラメータおよびエンハンスメントレイヤ符号化パラメータに対してビットストリーム多重化を実行して、符号化ビットストリームを取得するように構成される。
【0247】
本出願のいくつかの実施形態では、エンハンスメントレイヤ符号化モジュールは、現在のフレームの高周波数帯域信号の信号タイプ情報を取得することと、現在のフレームの高周波数帯域信号の信号タイプ情報がプリセット信号タイプを示すとき、現在のフレームの高周波数帯域信号を符号化して、現在のフレームのエンハンスメントレイヤ符号化パラメータを取得することとを行うように構成される。
【0248】
本出願のいくつかの実施形態では、プリセット信号タイプは、高調波信号タイプ、トーナル信号タイプ、ホワイトノイズ様信号タイプ、過渡信号タイプ、または摩擦音信号タイプのうちの少なくとも1つを含む。
【0249】
本出願のいくつかの実施形態では、現在のフレームのエンハンスメントレイヤ符号化パラメータは、現在のフレームの高周波数帯域信号の信号タイプ情報をさらに含む。
【0250】
本出願のいくつかの実施形態では、エンハンスメントレイヤ符号化モジュールは、互換レイヤ符号化周波数帯域情報を取得することと、互換レイヤ符号化周波数帯域情報に基づいて、現在のフレームの高周波数帯域信号内の符号化対象周波数帯域信号を決定することと、符号化対象周波数帯域信号を符号化してエンハンスメントレイヤ符号化パラメータを取得することとを行うように構成される。
【0251】
前述の実施形態における本出願の符号化方法の例示的な説明から、オーディオ信号の現在のフレームが取得され、ここで、現在のフレームは、高周波数帯域信号および低周波数帯域信号を含むこと、高周波数帯域信号と低周波数帯域信号とに基づいて現在のフレームの互換レイヤ符号化パラメータが取得されること、高周波数帯域信号に基づいて現在のフレームのエンハンスメントレイヤ符号化パラメータが取得されること、ならびに互換レイヤ符号化パラメータおよびエンハンスメントレイヤ符号化パラメータに対してビットストリーム多重化が実行されて、符号化ビットストリームが取得されることが分かる。本出願のこの実施形態では、オーディオ信号を符号化するためのすべての周波数領域範囲が互換レイヤに含まれ得るが、オーディオ信号を符号化するための高周波数領域範囲のみがエンハンスメントレイヤに含まれる。古いオーディオ符号化デバイスを使用することによって互換レイヤが実装され得、新しいオーディオ符号化デバイスを使用することによってエンハンスメントレイヤおよび互換レイヤが実装され得る。したがって、本出願のこの実施形態では、新しいオーディオ符号化デバイスは、古いオーディオ符号化デバイスと互換性がある。オーディオ符号化デバイスのデバイスタイプによって、符号化は、互換レイヤのみで行われ得るか、または互換レイヤおよびエンハンスメントレイヤの両方で行われ得る。本出願のこの実施形態では、新しいトランスコーディングモジュールを古いオーディオ符号化デバイスに追加する必要はない。したがって、オーディオ符号化デバイスのアップグレードコストが削減され、オーディオ信号符号化効率が向上し得る。
【0252】
図10に示すように、本出願の一実施形態において提供されるオーディオ復号デバイス1000は、取得モジュール1001と、逆多重化モジュール1002と、互換レイヤ復号モジュール1003と、エンハンスメントレイヤ復号モジュール1004と、適応モジュール1005と、組合せモジュール1006とを含み得る。
【0253】
取得モジュールは、符号化ビットストリームを取得するように構成される。
【0254】
逆多重化モジュールは、符号化ビットストリームに対してビットストリーム逆多重化を実行してオーディオ信号の現在のフレームの互換レイヤ符号化パラメータおよび現在のフレームのエンハンスメントレイヤ符号化パラメータを取得するように構成される。
【0255】
互換レイヤ復号モジュールは、互換レイヤ符号化パラメータに基づいて、現在のフレームの互換レイヤ信号を取得するように構成され、ここで、互換レイヤ信号は、現在のフレームの第1の高周波数帯域信号および現在のフレームの第1の低周波数帯域信号を含む。
【0256】
エンハンスメントレイヤ復号モジュールは、エンハンスメントレイヤ符号化パラメータに基づいて現在のフレームのエンハンスメントレイヤ信号を取得するように構成される。
【0257】
適応モジュールは、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に基づいて現在のフレームの第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得するように構成される。
【0258】
組合せモジュールは、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第2の高周波数帯域信号と、現在のフレームの第1の低周波数帯域信号とに基づいて、現在のフレームのオーディオ出力信号を取得するように構成される。
【0259】
本出願のいくつかの実施形態では、エンハンスメントレイヤ復号モジュールは、現在のフレームのエンハンスメントレイヤ符号化パラメータに基づいて信号タイプ情報を取得することと、信号タイプ情報によって示されるプリセット信号タイプに基づいて、現在のフレームのエンハンスメントレイヤ符号化パラメータを復号して、現在のフレームのエンハンスメントレイヤ信号を取得することとを行うように構成される。
【0260】
本出願のいくつかの実施形態では、適応モジュールは、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて、互換レイヤ高周波数帯域調整パラメータを取得することと、互換レイヤ高周波数帯域調整パラメータを使用することによって現在のフレームの第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得することとを行うように構成される。
【0261】
本出願のいくつかの実施形態では、適応モジュールは、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に対応するエンベロープ情報を取得し、現在のフレームの第1の高周波数帯域信号のエンベロープ情報を取得することと、エンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に対応するエンベロープ情報と、第1の高周波数帯域信号のエンベロープ情報とに基づいて、互換レイヤ高周波数帯域調整パラメータを取得することとを行うように構成される。
【0262】
本出願のいくつかの実施形態では、適応モジュールは、事前設定された高周波数帯域スペクトル選択規則にしたがって、現在のフレームのエンハンスメントレイヤ信号から現在のフレームのエンハンスメントレイヤ高周波数帯域スペクトル信号を選択することと、エンハンスメントレイヤ高周波数帯域スペクトル信号と現在のフレームの第1の高周波数帯域信号と組み合わせて、現在のフレームの第2の高周波数帯域信号を取得することとを行うように構成される。
【0263】
本出願のいくつかの実施形態では、適応モジュールは、現在のフレームの第1の高周波数帯域信号に含まれる互換レイヤ復号信号および互換レイヤ帯域幅拡張信号を取得することと、現在のフレームのエンハンスメントレイヤ信号内にあり、互換レイヤ帯域幅拡張信号に対応する信号を、現在のフレームのエンハンスメントレイヤ高周波数帯域スペクトル信号として決定することとを行うように構成される。
【0264】
本出願のいくつかの実施形態では、適応モジュールは、現在のフレームの第1の高周波数帯域信号を現在のフレームのエンハンスメントレイヤ信号に置き換えて、現在のフレームの第2の高周波数帯域信号を取得するように構成される。
【0265】
本出願のいくつかの実施形態では、適応モジュールは、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて、エンハンスメントレイヤ高周波数帯域調整パラメータを取得することと、エンハンスメントレイヤ高周波数帯域調整パラメータを使用することによって現在のフレームのエンハンスメントレイヤ信号を適応させて、適応されたエンハンスメントレイヤ信号を取得することと、現在のフレームの第1の高周波数帯域信号を適応されたエンハンスメントレイヤ信号に置き換えて、現在のフレームの第2の高周波数帯域信号を取得することとを行うように構成される。
【0266】
本出願のいくつかの実施形態では、適応モジュールは、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号と、現在のフレームの第1の高周波数帯域信号とに基づいて、エンハンスメントレイヤ高周波数帯域調整パラメータを取得することと、現在のフレームの第1の高周波数帯域信号を現在のフレームのエンハンスメントレイヤ信号に置き換えて、置き換えの後に生成された第1の高周波数帯域信号を取得することと、エンハンスメントレイヤ高周波数帯域調整パラメータを使用することによって、置き換えの後に生成された第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得することとを行うように構成される。
【0267】
本出願のいくつかの実施形態では、適応モジュールは、現在のフレームのエンハンスメントレイヤ信号および現在のフレームの第1の高周波数帯域信号に対してスペクトル成分比較選択を実行して、現在のフレームのエンハンスメントレイヤ信号から第1のエンハンスメントレイヤサブ信号を選択することと、現在のフレームの第1の高周波数帯域信号内にあり、第1のエンハンスメントレイヤサブ信号と同じスペクトルを有する信号を、第1のエンハンスメントレイヤサブ信号に置き換えて、現在のフレームの第2の高周波数帯域信号を取得することとを行うように構成される。
【0268】
本出願のいくつかの実施形態では、エンハンスメントレイヤ復号モジュールは、エンハンスメントレイヤ符号化パラメータと互換レイヤ符号化パラメータとに基づいて、エンハンスメントレイヤ符号化パラメータ内の復号対象エンハンスメントレイヤ高周波数帯域信号を決定することと、エンハンスメントレイヤ符号化パラメータ内の復号対象エンハンスメントレイヤ高周波数帯域信号を復号して、現在のフレームのエンハンスメントレイヤ信号を取得することとを行うように構成される。
【0269】
本出願のいくつかの実施形態では、適応モジュールは、現在のフレームの互換レイヤ信号内の互換レイヤ復号信号および互換レイヤ帯域幅拡張信号を取得することと、互換レイヤ帯域幅拡張信号と現在のフレームのエンハンスメントレイヤ信号とを組み合わせて、現在のフレームの第2の高周波数帯域信号を取得することとを行うように構成される。
【0270】
本出願のいくつかの実施形態では、互換レイヤ信号のスペクトル範囲は[0,FL]であり、互換レイヤ復号信号のスペクトル範囲は[0,FT]であり、互換レイヤ帯域幅拡張信号のスペクトル範囲は[FT,FL]であり、エンハンスメントレイヤ信号のスペクトル範囲は[FX,FY]であり、オーディオ出力信号のスペクトル範囲は[0,FY]である。
【0271】
FL=FY,FX≦FTであり、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FT]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FT,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される。
【0272】
代替的に、FL=FY,FX>FTであり、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FX]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FX,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される。
【0273】
代替的に、FL<FY,FX≦FTであり、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FT]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FT,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される。
【0274】
代替的に、FL<FY,FX>FTであり、オーディオ出力信号は、以下の方式で決定される:オーディオ出力信号においてスペクトル範囲が[0,FX]である信号が、互換レイヤ信号を使用することによって取得され、オーディオ出力信号においてスペクトル範囲が[FX,FL]である信号が、互換レイヤ信号およびエンハンスメントレイヤ信号を使用することによって取得される。
【0275】
本出願のいくつかの実施形態では、オーディオ復号デバイス1000は、組合せモジュールが、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第2の高周波数帯域信号と、現在のフレームの第1の低周波数帯域信号とに基づいて、現在のフレームのオーディオ出力信号を取得した後に、現在のフレームのオーディオ出力信号を後処理するように構成された後処理モジュールをさらに含み得る。
【0276】
本出願のいくつかの実施形態では、オーディオ復号デバイス1000は、組合せモジュールが、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第2の高周波数帯域信号と、現在のフレームの第1の低周波数帯域信号とに基づいて、現在のフレームのオーディオ出力信号を取得する前に、互換レイヤ信号に基づいて後処理パラメータを取得することと、後処理パラメータを使用することによってエンハンスメントレイヤ信号を後処理して、後処理されたエンハンスメントレイヤ信号を取得することとを行うように構成された後処理モジュールをさらに含み得る。
【0277】
前述の実施形態における本出願の復号方法の例示的な説明から、符号化ビットストリームが取得されること、符号化ビットストリームに対してビットストリーム逆多重化が実行されて、オーディオ信号の現在のフレームの互換レイヤ符号化パラメータおよび現在のフレームのエンハンスメントレイヤ符号化パラメータが取得されること、互換レイヤ符号化パラメータに基づいて、現在のフレームの互換レイヤ信号が取得され、ここで、互換レイヤ信号は、現在のフレームの第1の高周波数帯域信号および現在のフレームの第1の低周波数帯域信号を含むこと、エンハンスメントレイヤ符号化パラメータに基づいて、現在のフレームのエンハンスメントレイヤ信号が取得されること、エンハンスメントレイヤ符号化パラメータまたは現在のフレームのエンハンスメントレイヤ信号に基づいて、現在のフレームの第1の高周波数帯域信号が適応されて、現在のフレームの第2の高周波数帯域信号が取得されること、ならびに、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第2の高周波数帯域信号と、現在のフレームの第1の低周波数帯域信号とに基づいて、現在のフレームのオーディオ出力信号が取得されることが分かる。本出願のこの実施形態では、オーディオ信号を復号するためのすべての周波数領域範囲が互換レイヤに含まれ得るが、オーディオ信号を復号するための高周波数領域範囲のみがエンハンスメントレイヤに含まれる。古いオーディオ復号デバイスを使用することによって互換レイヤが実装され得、新しいオーディオ復号デバイスを使用することによってエンハンスメントレイヤおよび互換レイヤが実装される。したがって、本出願のこの実施形態では、新しいオーディオ復号デバイスは、古いオーディオ復号デバイスと互換性がある。オーディオ復号デバイスのデバイスタイプによって、復号は、互換レイヤのみで行われ得るか、または互換レイヤおよびエンハンスメントレイヤの両方で行われ得る。本出願のこの実施形態では、新しいトランスコーディングモジュールを古いオーディオ復号デバイスに追加する必要はない。したがって、オーディオ復号デバイスのアップグレードコストが削減され、オーディオ信号復号効率が向上し得る。
【0278】
図11に示すように、本出願の一実施形態は、オーディオ符号化デバイスをさらに提供し、オーディオ符号化デバイス1100は、互換レイヤエンコーダ1101と、エンハンスメントレイヤエンコーダ1102と、ビットストリームマルチプレクサ1103とを含む。
【0279】
互換レイヤエンコーダは、オーディオ信号の現在のフレームを取得することと、ここで、現在のフレームは、高周波数帯域信号および低周波数帯域信号を含み、高周波数帯域信号と低周波数帯域信号とに基づいて、現在のフレームの互換レイヤ符号化パラメータを取得することとを行うように構成される。
【0280】
エンハンスメントレイヤエンコーダは、オーディオ信号の現在のフレームを取得することと、ここで、現在のフレームは、高周波数帯域信号および低周波数帯域信号を含み、高周波数帯域信号に基づいて現在のフレームのエンハンスメントレイヤ符号化パラメータを取得することとを行うように構成される。
【0281】
ビットストリームマルチプレクサは、互換レイヤ符号化パラメータおよびエンハンスメントレイヤ符号化パラメータに対してビットストリーム多重化を実行して、符号化ビットストリームを取得するように構成される。
【0282】
具体的には、オーディオ符号化デバイスは、図2に示す前述のオーディオ符号化方法を実行し得る。詳細については、前述の実施形態におけるオーディオ符号化方法の例示的な説明を参照されたい。ここでは詳細を改めて説明しない。
【0283】
図12に示すように、本出願の一実施形態は、オーディオ復号デバイスをさらに提供し、オーディオ復号デバイス1200は、ビットストリームデマルチプレクサ1201と、互換レイヤデコーダ1202と、エンハンスメントレイヤデコーダ1203と、適応プロセッサ1204と、コンバイナ1205とを含む。
【0284】
ビットストリームデマルチプレクサは、符号化ビットストリームを取得することと、符号化ビットストリームに対してビットストリーム逆多重化を実行してオーディオ信号の現在のフレームの互換レイヤ符号化パラメータおよび現在のフレームのエンハンスメントレイヤ符号化パラメータを取得することとを行うように構成される。
【0285】
互換レイヤデコーダは、互換レイヤ符号化パラメータに基づいて、現在のフレームの互換レイヤ信号を取得するように構成され、ここで、互換レイヤ信号は、現在のフレームの第1の高周波数帯域信号および現在のフレームの第1の低周波数帯域信号を含む。
【0286】
エンハンスメントレイヤデコーダは、エンハンスメントレイヤ符号化パラメータに基づいて現在のフレームのエンハンスメントレイヤ信号を取得するように構成される。
【0287】
適応プロセッサは、現在のフレームのエンハンスメントレイヤ符号化パラメータまたはエンハンスメントレイヤ信号に基づいて現在のフレームの第1の高周波数帯域信号を適応させて、現在のフレームの第2の高周波数帯域信号を取得するように構成される。
【0288】
コンバイナは、現在のフレームのエンハンスメントレイヤ信号と、現在のフレームの第2の高周波数帯域信号と、現在のフレームの第1の低周波数帯域信号とに基づいて、現在のフレームのオーディオ出力信号を取得するように構成される。
【0289】
具体的には、オーディオ復号デバイスは、図3に示す前述のオーディオ復号方法を実行し得る。詳細については、前述の実施形態におけるオーディオ復号方法の例示的な説明を参照されたい。ここでは詳細を改めて説明しない。
【0290】
装置のモジュール/ユニットとその実行プロセスとの間の情報交換などの内容は、本出願の方法の実施形態と同じ概念に基づいており、本出願の方法の実施形態と同じ技術的効果を達成することに留意されたい。具体的な内容については、本出願の方法の実施形態における前述の説明を参照されたい。ここでは詳細を改めて説明しない。
【0291】
本出願の実施形態は、コンピュータ記憶媒体をさらに提供する。コンピュータ記憶媒体は、プログラムを記憶する。プログラムは、方法の実施形態に記録されたステップのいくつかまたはすべてを実行するように実行される。
【0292】
以下では、本出願の実施形態において提供される別のオーディオ符号化デバイスについて説明する。図13に示すように、オーディオ符号化デバイス1300は、以下を含む:
受信機1301、送信機1302、プロセッサ1303、およびメモリ1304(ここで、オーディオ符号化デバイス1300中に1つまたは複数のプロセッサ1303が存在し得、図13では1つのプロセッサが例として使用される)。本出願のいくつかの実施形態では、受信機1301、送信機1302、プロセッサ1303、およびメモリ1304は、バスを通して、または別の方式で接続され得る。図13では、バスによる接続が一例として使用される。
【0293】
メモリ1304は、読出し専用メモリとランダムアクセスメモリとを含み、プロセッサ1303に命令およびデータを提供し得る。メモリ1304の一部は、不揮発性ランダムアクセスメモリ(non-volatile random access memory、NVRAM)をさらに含み得る。メモリ1304は、オペレーティングシステムおよび動作命令、実行可能モジュールもしくはデータ構造、それらのサブセット、またはそれらの拡張セットを記憶する。動作命令は、様々な動作を実施するための様々な動作命令を含み得る。オペレーティングシステムは、様々な基本サービスを実装し、ハードウェアベースのタスクを処理するために、様々なシステムプログラムを含み得る。
【0294】
プロセッサ1303は、オーディオ符号化デバイスの動作を制御し、プロセッサ1303はさらに、中央処理装置(central processing unit、CPU)と呼ばれ得る。特定の適用例では、オーディオ符号化デバイスの構成要素は、バスシステムを介して互いに結合される。データバスに加えて、バスシステムは、電力バス、制御バス、ステータス信号バスなどをさらに含み得る。しかしながら、明確な説明のために、図中の様々なタイプのバスは、バスシステムとしてマークされている。
【0295】
本出願の前述の実施形態において開示される方法は、プロセッサ1303に適用され得るか、またはプロセッサ1303によって実装され得る。プロセッサ1303は、集積回路チップであり得、信号処理能力を有する。実装プロセスでは、前述の方法におけるステップは、プロセッサ1303内のハードウェア集積論理回路を使用することによって、またはソフトウェアの形態の命令を使用することによって実装され得る。プロセッサ1303は、汎用プロセッサ、デジタルシグナルプロセッサ(digital signal processor、DSP)、特定用途向け集積回路(application-specific integrated circuit、ASIC)、フィールドプログラマブルゲートアレイ(field-programmable gate array、FPGA)もしくは別のプログラマブル論理デバイス、ディスクリートゲートもしくはトランジスタ論理デバイス、またはディスクリートハードウェア構成要素であり得る。プロセッサは、本出願の実施形態において開示される方法、ステップ、および論理ブロック図を実装または実行し得る。汎用プロセッサはマイクロプロセッサであり得るか、またはプロセッサは任意の従来のプロセッサなどであり得る。本出願の実施形態を参照して開示された方法のステップは、ハードウェア復号プロセッサによって直接実行および完了され得るか、または復号プロセッサ内のハードウェアモジュールとソフトウェアモジュールとの組合せを使用することによって実行および完了され得る。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読出し専用メモリ、プログラマブル読出し専用メモリ、電気的消去可能プログラマブルメモリ、またはレジスタなど、当技術分野における成熟した記憶媒体内に位置し得る。記憶媒体はメモリ1304内に位置しており、プロセッサ1303はメモリ1304内の情報を読み出し、プロセッサのハードウェアと組み合わせて前述の方法におけるステップを完了する。
【0296】
受信機1301は、入力されたデジタルまたは文字情報を受信し、オーディオ符号化デバイスの関連する設定および機能制御に関係する信号入力を生成するように構成され得る。送信機1302は、ディスプレイのようなディスプレイデバイスを含み得、送信機1302は、外部インターフェースを通してデジタルまたは文字情報を出力するように構成され得る。
【0297】
本出願のこの実施形態では、プロセッサ1303は、図2に示すオーディオ符号化方法を実行するように構成される。
【0298】
以下では、本出願の一実施形態において提供される別のオーディオ復号デバイスについて説明する。図14に示すように、オーディオ復号デバイス1400は、以下を含む:
受信機1401、送信機1402、プロセッサ1403、およびメモリ1404(ここで、オーディオ復号デバイス1400中に1つまたは複数のプロセッサ1403が存在し得、図14では1つのプロセッサが例として使用される)。本出願のいくつかの実施形態では、受信機1401、送信機1402、プロセッサ1403、およびメモリ1404は、バスを通して、または別の方式で接続され得、バスによる接続が図14では例として使用される。
【0299】
メモリ1404は、読出し専用メモリとランダムアクセスメモリとを含み、プロセッサ1403に命令とデータとを提供し得る。メモリ1404の一部は、NVRAMをさらに含み得る。メモリ1404は、オペレーティングシステムおよび動作命令、実行可能モジュールもしくはデータ構造、それらのサブセット、またはそれらの拡張セットを記憶する。動作命令は、様々な動作を実施するための様々な動作命令を含み得る。オペレーティングシステムは、様々な基本サービスを実装し、ハードウェアベースのタスクを処理するために、様々なシステムプログラムを含み得る。
【0300】
プロセッサ1403は、オーディオ復号デバイスの動作を制御し、プロセッサ1403はさらに、CPUと呼ばれ得る。特定の適用例では、オーディオ復号デバイスの構成要素は、バスシステムを介して互いに結合される。データバスに加えて、バスシステムは、電力バス、制御バス、ステータス信号バスなどをさらに含み得る。しかしながら、明確な説明のために、図中の様々なタイプのバスは、バスシステムとしてマークされている。
【0301】
本出願の実施形態において開示される方法は、プロセッサ1403に適用され得るか、またはプロセッサ1403によって実装され得る。プロセッサ1403は、集積回路チップであり得、信号処理能力を有する。実装プロセスでは、前述の方法におけるステップは、プロセッサ1403内のハードウェア集積論理回路を使用することによって、またはソフトウェアの形態の命令を使用することによって実装され得る。前述のプロセッサ1403は、汎用プロセッサ、DSP、ASIC、FPGAもしくは別のプログラマブル論理デバイス、ディスクリートゲートもしくはトランジスタ論理デバイス、またはディスクリートハードウェア構成要素であり得る。プロセッサは、本出願の実施形態において開示される方法、ステップ、および論理ブロック図を実装または実行し得る。汎用プロセッサはマイクロプロセッサであり得るか、またはプロセッサは任意の従来のプロセッサなどであり得る。本出願の実施形態を参照して開示された方法のステップは、ハードウェア復号プロセッサによって直接実行および完了され得るか、または復号プロセッサ内のハードウェアモジュールとソフトウェアモジュールとの組合せを使用することによって実行および完了され得る。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読出し専用メモリ、プログラマブル読出し専用メモリ、電気的消去可能プログラマブルメモリ、またはレジスタなど、当技術分野における成熟した記憶媒体内に位置し得る。記憶媒体はメモリ1404内に位置しており、プロセッサ1403はメモリ1404内の情報を読み出し、プロセッサ1403のハードウェアと組み合わせて前述の方法におけるステップを完了する。
【0302】
本出願のこの実施形態では、プロセッサ1403は、図3に示すオーディオ復号方法を実行するように構成される。
【0303】
別の可能な設計では、オーディオ符号化デバイスまたはオーディオ復号デバイスが端末内のチップであるとき、チップは、処理ユニットと通信ユニットとを含む。処理ユニットは、例えば、プロセッサであり得、通信ユニットは、例えば、入力/出力インターフェース、ピン、または回路であり得る。処理ユニットは、端末内のチップが第1の態様の可能な実装形態のうちのいずれか1つによる方法を実行することを可能にするために、記憶ユニットに記憶されたコンピュータ実行可能命令を実行し得る。オプションで、記憶ユニットは、チップ内の記憶ユニット、例えば、レジスタまたはキャッシュである。代替的に、記憶ユニットは、端末内にあり、チップの外部に位置する記憶ユニット、例えば、読出し専用メモリ(read-only memory、ROM)、または静的情報および命令を記憶し得る別のタイプの静的記憶デバイス、例えば、ランダムアクセスメモリ(random access memory、RAM)であってもよい。
【0304】
上記のいずれかで言及されたプロセッサは、汎用の中央処理装置、マイクロプロセッサ、ASIC、または第1の態様による方法のプログラム実行を制御するように構成された1つもしくは複数の集積回路であり得る。
【0305】
加えて、説明した装置の実施形態は単なる例であることに留意されたい。別個の部分として説明されるユニットは、物理的に別個であってもなくてもよく、ユニットとして表示される部分は、物理的ユニットであってもなくてもよく、1つの位置に位置していてもよいし、複数のネットワークユニット上に分散されていてもよい。いくつかまたはすべてのモジュールは、実施形態の解決策の目的を達成するための実際の必要性にしたがって選択され得る。加えて、本出願において提供される装置の実施形態の添付図面では、モジュール間の接続関係は、これらのモジュールが互いに通信接続を有することを示し、これは、具体的には、1つまたは複数の通信バスまたは信号ケーブルとして実装され得る。
【0306】
前述の実装形態の説明に基づいて、当業者は、本出願が、必要な汎用ハードウェアに加えてソフトウェアによって実装され得ること、または、確かに、特定用途向け集積回路、専用CPU、専用メモリ、専用構成要素などを含む専用ハードウェアによって実装され得ることを明確に理解し得る。一般に、コンピュータプログラムによって実行可能な任意の機能は、対応するハードウェアを使用することによって容易に実装することができ、同じ機能を達成するために使用される特定のハードウェア構造は、様々な形態、例えば、アナログ回路、デジタル回路、または専用回路の形態であり得る。しかしながら、このアプリケーションでは、ほとんどの場合、ソフトウェアプログラム実装がより良好な実装である。そのような理解に基づいて、本出願の技術的解決策は本質的に、または従来技術に寄与する部分は、ソフトウェア製品の形態で実装され得る。コンピュータソフトウェア製品は、可読記憶媒体、例えば、コンピュータのフロッピー(登録商標)ディスク、USBフラッシュドライブ、リムーバブルハードディスク、ROM、RAM、磁気ディスク、またはコンパクトディスクに記憶され、コンピュータデバイス(パーソナルコンピュータ、サーバ、ネットワークデバイスなどであり得る)に、本出願の実施形態で説明された方法を実行するように命令するためのいくつかの命令を含む。
【0307】
前述の実施形態のすべてまたはいくつかは、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せを使用することによって実装され得る。ソフトウェアが実施形態を実装するために使用されるとき、実施形態のすべてまたはいくつかは、コンピュータプログラム製品の形態で実装され得る。
【0308】
コンピュータプログラム製品は、1つまたは複数のコンピュータ命令を含む。コンピュータプログラム命令がコンピュータにロードされて実行されると、本出願の実施形態による手順または機能のすべてまたはいくつかが生成される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、または別のプログラマブル装置であり得る。コンピュータ命令は、コンピュータ可読記憶媒体に記憶され得るか、またはコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に送信され得る。例えば、コンピュータ命令は、ワイヤード(例えば、同軸ケーブル、光ファイバ、またはデジタル加入者回線(DSL))方式またはワイヤレス(例えば、赤外線、無線、またはマイクロ波)方式で、ウェブサイト、コンピュータ、サーバ、またはデータセンタから別のウェブサイト、コンピュータ、サーバ、またはデータセンタに送信され得る。コンピュータ可読記憶媒体は、コンピュータによってアクセス可能な任意の使用可能媒体、または1つまたは複数の使用可能な媒体を統合するサーバもしくはデータセンタなどのデータ記憶デバイスであり得る。使用可能な媒体は、磁気媒体(例えば、フロッピーディスク、ハードディスク、または磁気テープ)、光媒体(例えば、DVD)、半導体媒体(例えば、ソリッドステートディスク(Solid State Disk、SSD))などであり得る。
図1
図2
図3
図4
図5
図6
図7a
図7b
図7c
図7d
図8
図9
図10
図11
図12
図13
図14