特表2024-542976オーディオ符号化方法、装置、電子機器、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-19
(54)【発明の名称】オーディオ符号化方法、装置、電子機器、及びプログラム
(51)【国際特許分類】
G10L 19/00 20130101AFI20241112BHJP
G10L 25/30 20130101ALI20241112BHJP
H03M 7/30 20060101ALI20241112BHJP
【ＦＩ】
G10L19/00 250
G10L25/30
H03M7/30 Z
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024524723
(86)(22)【出願日】2023-04-13
(85)【翻訳文提出日】2024-04-24
(86)【国際出願番号】 CN2023088014
(87)【国際公開番号】W WO2023241193
(87)【国際公開日】2023-12-21
(31)【優先権主張番号】202210677636.4
(32)【優先日】2022-06-15
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．３ＧＰＰ
(71)【出願人】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司
【氏名又は名称原語表記】ＴＥＮＣＥＮＴ ＴＥＣＨＮＯＬＯＧＹ （ＳＨＥＮＺＨＥＮ） ＣＯＭＰＡＮＹ ＬＩＭＩＴＥＤ
【住所又は居所原語表記】３５／Ｆ，Ｔｅｎｃｅｎｔ Ｂｕｉｌｄｉｎｇ，Ｋｅｊｉｚｈｏｎｇｙｉ Ｒｏａｄ，Ｍｉｄｗｅｓｔ Ｄｉｓｔｒｉｃｔ ｏｆ Ｈｉ－ｔｅｃｈ Ｐａｒｋ，Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７，ＣＨＩＮＡ
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】康 ▲迂▼勇
(72)【発明者】
【氏名】王 蒙
(72)【発明者】
【氏名】黄 ▲慶▼博
(72)【発明者】
【氏名】史 裕▲鵬▼
(72)【発明者】
【氏名】肖 ▲ウェイ▼
【テーマコード（参考）】
5J064
【Ｆターム（参考）】
5J064BA09
5J064BA10
5J064BC11
5J064BC15
5J064BC18
(57)【要約】
本願は、オーディオ符号化方法、装置、機器、記憶媒体、及びコンピュータプログラム製品を提供し、方法は、オーディオ信号に対して第１レベルの特徴抽出を行い、第１レベルの信号特徴を得るステップと、Ｎ個のレベルのうちの第ｉレベルに対して、オーディオ信号と第（ｉ－１）レベルの信号特徴とを継ぎ合わせ、継ぎ合わせ特徴を得て、且つ継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、第ｉレベルの信号特徴を得るステップであって、Ｎとｉは、１よりも大きい整数であり、ｉは、Ｎ以下である、ステップと、ｉをトラバースし、Ｎ個のレベルのうちの個々のレベルの信号特徴を得るステップであって、該信号特徴のデータ次元は、オーディオ信号のデータ次元よりも小さい、ステップと、第１レベルの信号特徴、及びＮ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおけるオーディオ信号のストリームを得るステップと、を含む。
【特許請求の範囲】
【請求項1】
電子機器によって実行される、オーディオ符号化方法であって、前記方法は、オーディオ信号に対して第１レベルの特徴抽出を行い、前記第１レベルの信号特徴を得るステップと、
Ｎ個のレベルのうちの第ｉレベルに対して、前記オーディオ信号と第（ｉ－１）レベルの信号特徴とを継ぎ合わせ、継ぎ合わせ特徴を得て、且つ前記継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、前記第ｉレベルの信号特徴を得るステップであって、前記Ｎと前記ｉは、１よりも大きい整数であり、前記ｉは、前記Ｎ以下である、ステップと、
前記ｉをトラバースし、前記Ｎ個のレベルのうちの個々のレベルの信号特徴を得るステップであって、前記信号特徴のデータ次元は、前記オーディオ信号のデータ次元よりも小さい、ステップと、
前記第１レベルの信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおける前記オーディオ信号のストリームを得るステップと、を含むオーディオ符号化方法。
【請求項2】
オーディオ信号に対して第１レベルの特徴抽出を行い、前記第１レベルの信号特徴を得る前記ステップは、前記オーディオ信号に対してサブバンド分解を行い、前記オーディオ信号の低周波サブバンド信号と高周波サブバンド信号を得るステップと、
前記低周波サブバンド信号に対して第１レベルの特徴抽出を行い、前記第１レベルの低周波信号特徴を得て、前記高周波サブバンド信号に対して第１レベルの特徴抽出を行い、前記第１レベルの高周波信号特徴を得るステップと、
前記低周波信号特徴と前記高周波信号特徴とを前記第１レベルの信号特徴として決定するステップと、を含む、請求項１に記載の方法。
【請求項3】
前記オーディオ信号に対してサブバンド分解を行い、前記オーディオ信号の低周波サブバンド信号と高周波サブバンド信号を得る前記ステップは、第１サンプリング周波数に従って前記オーディオ信号をサンプリングし、サンプリングされた信号を得るステップと、
前記サンプリングされた信号をローパスフィルタリングし、ローパスフィルタリングされた信号を得て、且つ前記ローパスフィルタリングされた信号をダウンサンプリングし、第２サンプリング周波数の前記低周波サブバンド信号を得るステップと、
前記サンプリングされた信号をハイパスフィルタリングし、ハイパスフィルタリングされた信号を得て、且つ前記ハイパスフィルタリングされた信号をダウンサンプリングし、第２サンプリング周波数の前記高周波サブバンド信号を得るステップと、を含み、
前記第２サンプリング周波数は、前記第１サンプリング周波数よりも小さい、請求項２に記載の方法。
【請求項4】
前記オーディオ信号と第（ｉ－１）レベルの信号特徴とを継ぎ合わせ、継ぎ合わせ特徴を得て、且つ前記継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、前記第ｉレベルの信号特徴を得る前記ステップは、前記オーディオ信号の低周波サブバンド信号と第（ｉ－１）レベルの低周波信号特徴とを継ぎ合わせ、第１継ぎ合わせ特徴を得て、且つ前記第１継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、前記第ｉレベルの低周波信号特徴を得るステップと、
前記オーディオ信号の高周波サブバンド信号と第（ｉ－１）レベルの高周波信号特徴とを継ぎ合わせ、第２継ぎ合わせ特徴を得て、且つ前記第２継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、前記第ｉレベルの高周波信号特徴を得るステップと、
前記第ｉレベルの低周波信号特徴と前記第ｉレベルの高周波信号特徴とを前記第ｉレベルの信号特徴として決定するステップと、を含む、請求項２に記載の方法。
【請求項5】
オーディオ信号に対して第１レベルの特徴抽出を行い、前記第１レベルの信号特徴を得る前記ステップは、前記オーディオ信号に対して第１畳み込み処理を行い、前記第１レベルの畳み込み特徴を得るステップと、
前記畳み込み特徴に対して第１プーリング処理を行い、前記第１レベルのプーリング特徴を得るステップと、
前記プーリング特徴に対して第１ダウンサンプリングを行い、前記第１レベルのダウンサンプリング特徴を得るステップと、
前記ダウンサンプリング特徴に対して第２畳み込み処理を行い、前記第１レベルの信号特徴を得るステップと、を含む、請求項１に記載の方法。
【請求項6】
前記第１ダウンサンプリングは、Ｍ個のカスケードされた符号化層によって実現され、前記プーリング特徴に対して第１ダウンサンプリングを行い、前記第１レベルのダウンサンプリング特徴を得る前記ステップは、前記Ｍ個のカスケードされた符号化層のうちの第１個目の符号化層によって、前記プーリング特徴に対して第１ダウンサンプリングを行い、前記第１個目の符号化層のダウンサンプリング結果を得るステップと、
前記Ｍ個のカスケードされた符号化層のうちの第ｊ個目の符号化層によって、第（ｊ－１）個の符号化層のダウンサンプリング結果に対して第１ダウンサンプリングを行い、前記第ｊ個目の符号化層のダウンサンプリング結果を得るステップであって、前記Ｍと前記ｊは、１よりも大きい整数であり、前記ｊは、前記Ｍ以下である、ステップと、
前記ｊをトラバースし、第Ｍ個目の符号化層のダウンサンプリング結果を得て、且つ前記第Ｍ個目の符号化層のダウンサンプリング結果を前記第１レベルのダウンサンプリング特徴として決定するステップと、を含む、請求項５に記載の方法。
【請求項7】
前記継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、前記第ｉレベルの信号特徴を得ることは、前記継ぎ合わせ特徴に対して第３畳み込み処理を行い、前記第ｉレベルの畳み込み特徴を得るステップと、
前記畳み込み特徴に対して第２プーリング処理を行い、前記第ｉレベルのプーリング特徴を得るステップと、
前記プーリング特徴に対して第２ダウンサンプリングを行い、前記第ｉレベルのダウンサンプリング特徴を得るステップと、
前記ダウンサンプリング特徴に対して第４畳み込み処理を行い、前記第ｉレベルの信号特徴を得るステップと、を含む、請求項１に記載の方法。
【請求項8】
前記第１レベルの信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおける前記オーディオ信号のストリームを得る前記ステップは、前記第１レベルの信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの信号特徴に対してそれぞれ量子化処理を行い、各レベルの信号特徴の量子化結果を得るステップと、
前記各レベルの信号特徴の量子化結果に対してエントロピー符号化を行い、各レベルにおける前記オーディオ信号のストリームを得るステップと、を含む、請求項１に記載の方法。
【請求項9】
前記信号特徴は、低周波信号特徴と高周波信号特徴とを含み、前記第１レベルの信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおける前記オーディオ信号のストリームを得る前記ステップは、前記第１レベルの低周波信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの低周波信号特徴をそれぞれ符号化し、各レベルにおける前記オーディオ信号の低周波ストリームを得るステップと、
前記第１レベルの高周波信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの高周波信号特徴をそれぞれ符号化し、各レベルにおける前記オーディオ信号の高周波ストリームを得るステップと、
各レベルにおける前記オーディオ信号の低周波ストリーム、及び高周波ストリームを相応なレベルにおける前記オーディオ信号のストリームとして決定するステップと、を含む、請求項１に記載の方法。
【請求項10】
前記信号特徴は、低周波信号特徴と高周波信号特徴とを含み、前記第１レベルの信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおける前記オーディオ信号のストリームを得る前記ステップは、第１符号化ビットレートに従って、前記第１レベルの低周波信号特徴を符号化し、第１レベルの第１ストリームを得て、且つ第２符号化ビットレートに従って、前記第１レベルの高周波信号特徴を符号化し、第１レベルの第２ストリームを得るステップと、
前記Ｎ個のレベルのうちの個々のレベルの信号特徴に対して、前記レベルの第３符号化ビットレートに従って、前記レベルの信号特徴をそれぞれ符号化し、各前記レベルの第２ストリームを得る、という処理をそれぞれ実行する、ステップと、
前記第１レベルの第２ストリーム、及び前記Ｎ個のレベルのうちの個々のレベルの第２ストリームを各レベルにおける前記オーディオ信号のストリームとして決定するステップと、を含み、
前記第１符号化ビットレートは、前記第２符号化ビットレートよりも大きく、前記第２符号化ビットレートは、前記Ｎ個のレベルのうちの任意の１つのレベルの第３符号化ビットレートよりも大きく、前記レベルの符号化ビットレートと相応なレベルのストリームの復号品質指標とに正の相関がある、請求項１に記載の方法。
【請求項11】
前記第１レベルの信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおける前記オーディオ信号のストリームを得る前記ステップの後に、前記方法は、各前記レベルに対して、
前記レベルにおける前記オーディオ信号のストリームに対して相応なレベル伝送優先度を設定する、という処理をそれぞれ実行する、ステップをさらに含み、
前記レベル伝送優先度と前記レベルのレベル数とに負の相関があり、前記レベル伝送優先度と相応なレベルのストリームの復号品質指標とに正の相関がある、請求項１に記載の方法。
【請求項12】
前記信号特徴は、低周波信号特徴と高周波信号特徴とを含み、各レベルにおける前記オーディオ信号のストリームは、前記低周波信号特徴に基づき符号化して得られた低周波ストリーム、及び前記高周波信号特徴に基づき符号化して得られた高周波ストリームを含み、前記方法は、各前記レベルに対して、前記レベルの低周波ストリームに第１伝送優先度を設定し、且つ前記レベルの高周波ストリームに第２伝送優先度を設定する、という処理をそれぞれ実行するステップをさらに含み、
前記第１伝送優先度は、前記第２伝送優先度よりも高く、第（ｉ－１）レベルの前記第２伝送優先度は、第ｉレベルの前記第１伝送優先度よりも低く、前記ストリームの伝送優先度と相応なストリームの復号品質指標とに正の相関がある、請求項１に記載の方法。
【請求項13】
電子機器によって実行される、オーディオ復号方法であって、前記方法は、オーディオ信号を符号化して得られた複数のレベルのそれぞれに対応するストリームを受信するステップと、
各前記レベルのストリームをそれぞれ復号し、各前記レベルの信号特徴を得るステップであって、前記信号特徴のデータ次元は、前記オーディオ信号のデータ次元よりも小さい、ステップと、
各前記レベルの信号特徴に対してそれぞれ特徴再構築を行い、各前記レベルのレベルオーディオ信号を得るステップと、
複数の前記レベルのレベルオーディオ信号に対してオーディオ合成を行い、前記オーディオ信号を得るステップと、を含む、オーディオ復号方法。
【請求項14】
前記ストリームは、低周波ストリームと高周波ストリームとを含み、各前記レベルのストリームをそれぞれ復号し、各前記レベルの信号特徴を得る前記ステップは、各前記レベルの低周波ストリームをそれぞれ復号し、各前記レベルの低周波信号特徴を得て、且つ各前記レベルの高周波ストリームをそれぞれ復号し、各前記レベルの高周波信号特徴を得るステップを含み、
各前記レベルの信号特徴に対してそれぞれ特徴再構築を行い、各前記レベルのレベルオーディオ信号を得る前記ステップは、
各前記レベルの低周波信号特徴に対してそれぞれ特徴再構築を行い、各前記レベルのレベル低周波サブバンド信号を得て、且つ各前記レベルの高周波信号特徴に対してそれぞれ特徴再構築を行い、各前記レベルのレベル高周波サブバンド信号を得るステップと、
前記レベル低周波サブバンド信号と前記レベル高周波サブバンド信号を前記レベルのレベルオーディオ信号とするステップと、を含み、
複数の前記レベルのレベルオーディオ信号に対してオーディオ合成を行い、前記オーディオ信号を得る前記ステップは、
複数の前記レベルのレベル低周波サブバンド信号を加算し、低周波サブバンド信号を得て、且つ複数の前記レベルのレベル高周波サブバンド信号を加算し、高周波サブバンド信号を得るステップと、
前記低周波サブバンド信号と前記高周波サブバンド信号とを合成し、前記オーディオ信号を得るステップと、を含む、請求項１３に記載の方法。
【請求項15】
前記低周波サブバンド信号と前記高周波サブバンド信号とを合成し、前記オーディオ信号を得る前記ステップは、前記低周波サブバンド信号をアップサンプリングし、ローパスフィルタリングされた信号を得るステップと、
前記高周波サブバンド信号をアップサンプリングし、高周波フィルタリングされた信号を得るステップと、
前記ローパスフィルタリングされた信号と前記高周波フィルタリングされた信号とに対してフィルタリング合成を行い、前記オーディオ信号を得るステップと、を含む、請求項１４に記載の方法。
【請求項16】
各前記レベルの信号特徴に対してそれぞれ特徴再構築を行い、各前記レベルのレベルオーディオ信号を得る前記ステップは、各前記レベルの信号特徴に対して、
前記信号特徴に対して第１畳み込み処理を行い、前記レベルの畳み込み特徴を得る処理と、
前記畳み込み特徴をアップサンプリングし、前記レベルのアップサンプリング特徴を得る処理と、
前記アップサンプリング特徴に対してプーリング処理を行い、前記レベルのプーリング特徴を得る処理と、
前記プーリング特徴に対して第２畳み込み処理を行い、前記レベルのレベルオーディオ信号を得る処理と、をそれぞれ実行すること、を含む、請求項１３に記載の方法。
【請求項17】
前記アップサンプリングは、Ｌ個のカスケードされた復号層によって実現され、前記畳み込み特徴をアップサンプリングし、前記レベルのアップサンプリング特徴を得る処理は、前記Ｌ個のカスケードされた復号層のうちの第１個目の復号層によって、前記プーリング特徴をアップサンプリングし、前記第１個目の復号層のアップサンプリング結果を得るステップと、
前記Ｌ個のカスケードされた復号層のうちの第ｋ個目の復号層によって、第（ｋ－１）個目の復号層の第１アップサンプリング結果をアップサンプリングし、前記第ｋ個目の復号層のアップサンプリング結果を得るステップであって、
前記Ｌと前記ｋは、１よりも大きい整数であり、前記ｋは、前記Ｌ以下である、ステップと、
前記ｋをトラバースし、第Ｌ個目の復号層のアップサンプリング結果を得て、且つ前記第Ｌ個目の復号層のアップサンプリング結果を前記レベルのアップサンプリング特徴とするステップと、を含む、請求項１６に記載の方法。
【請求項18】
各前記レベルのストリームをそれぞれ復号し、各前記レベルの信号特徴を得る前記ステップは、各前記レベルに対して、
前記レベルのストリームに対してエントロピー復号を行い、前記ストリームの量子化値を得る処理と、
前記ストリームの量子化値に対して逆量子化処理を行い、前記レベルの信号特徴を得る処理と、をそれぞれ実行すること、を含む、請求項１３に記載の方法。
【請求項19】
オーディオ符号化装置であって、前記装置は、オーディオ信号に対して第１レベルの特徴抽出を行い、前記第１レベルの信号特徴を得るように構成される第１特徴抽出モジュールと、
Ｎ個のレベルのうちの第ｉレベルに対して、前記オーディオ信号と第（ｉ－１）レベルの信号特徴とを継ぎ合わせ、継ぎ合わせ特徴を得て、且つ前記継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、前記第ｉレベルの信号特徴を得るように構成される第２特徴抽出モジュールであって、前記Ｎと前記ｉは、１よりも大きい整数であり、前記ｉは、前記Ｎ以下である、第２特徴抽出モジュールと、
前記ｉをトラバースし、前記Ｎ個のレベルのうちの個々のレベルの信号特徴を得るように構成されるトラバースモジュールであって、前記信号特徴のデータ次元は、前記オーディオ信号のデータ次元よりも小さい、トラバースモジュールと、
前記第１レベルの信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおける前記オーディオ信号のストリームを得るように構成される符号化モジュールと、を含む、オーディオ符号化装置。
【請求項20】
オーディオ復号装置であって、前記装置は、オーディオ信号を符号化して得られた複数のレベルのそれぞれに対応するストリームを受信するように構成される受信モジュールと、
各前記レベルのストリームをそれぞれ復号し、各前記レベルの信号特徴を得るように構成される復号モジュールであって、前記信号特徴のデータ次元は、前記オーディオ信号のデータ次元よりも小さい、復号モジュールと、
各前記レベルの信号特徴に対してそれぞれ特徴再構築を行い、各前記レベルのレベルオーディオ信号を得るように構成される特徴再構築モジュールと、
複数の前記レベルのレベルオーディオ信号に対してオーディオ合成を行い、前記オーディオ信号を得るように構成されるオーディオ合成モジュールと、を含む、オーディオ復号装置。
【請求項21】
電子機器であって、前記電子機器は、実行可能な命令を記憶するように構成されるメモリと、
前記メモリにおいて記憶される実行可能な命令を実行するとき、請求項１～１８のいずれか１項に記載の方法を実現するように構成されるプロセッサと、を含む、電子機器。
【請求項22】
コンピュータ可読記憶媒体であって、実行可能な命令が記憶されており、前記実行可能な命令がプロセッサに実行されるとき、請求項１～１８のいずれか１項に記載の方法を実現する、コンピュータ可読記憶媒体。
【請求項23】
コンピュータプログラム製品であって、コンピュータプログラム、又は、命令を含み、前記コンピュータプログラム、又は、命令がプロセッサに実行されるときに、請求項１～１８のいずれか１項に記載の方法を実現する、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、オーディオ処理の技術分野に関し、特にオーディオ符号化方法、オーディオ復号方法、装置、電子機器、記憶媒体、及びコンピュータプログラム製品に関する。
【0002】
本願は、出願番号が第２０２２１０６７７６３６．４号であり、出願日が２０２２年６月１５日である中国特許出願に基づき提案され、該中国特許出願の優先権を主張し、該中国特許出願の全部の内容は、ここで参考として本願に組み込まれている。
【背景技術】
【0003】
オーディオ符号化・復号技術は、遠隔オーディオ・ビデオ通話を含む通信サービスに応用される１つのコア技術である。オーディオ符号化技術は、比較的少ないネットワーク帯域幅リソースを使用してできるだけ多くの音声情報を伝達するものとして理解することができる。オーディオ符号化は、信号ソース符号化の一種であり、信号ソース符号化の目的は、符号化側でユーザーが伝達したい情報のデータ量を可能な限り圧縮し、冗長な情報を除去し、同時に復号側で更にロスレス（又はほぼロスレス）に復元できることである。
【0004】
しかしながら、関連技術では、オーディオ符号化の品質を確保する場合、オーディオ符号化の効率が低い。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願の実施例は、オーディオ符号化方法、装置、電子機器、コンピュータ可読記憶媒体、及びコンピュータプログラム製品を提供し、オーディオ符号化の効率を向上させ、且つオーディオ符号化の品質を確保することができる。
【課題を解決するための手段】
【0006】
本願の実施例の技術的手段は、以下のように実現される。
【0007】
本願の実施例は、オーディオ符号化方法を提供し、
オーディオ信号に対して第１レベルの特徴抽出を行い、前記第１レベルの信号特徴を得るステップと、
Ｎ個のレベルのうちの第ｉレベルに対して、前記オーディオ信号と第（ｉ－１）レベルの信号特徴とを継ぎ合わせ、継ぎ合わせ特徴を得て、且つ前記継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、前記第ｉレベルの信号特徴を得るステップであって、前記Ｎと前記ｉは、１よりも大きい整数であり、前記ｉは、前記Ｎ以下である、ステップと、
前記ｉをトラバースし、前記Ｎ個のレベルのうちの個々のレベルの信号特徴を得るステップであって、前記信号特徴のデータ次元は、前記オーディオ信号のデータ次元よりも小さい、ステップと、
前記第１レベルの信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおける前記オーディオ信号のストリームを得るステップと、を含む。
オーディオ信号に対して第１レベルの特徴抽出を行い、前記第１レベルの信号特徴を得るステップと、
Ｎ個のレベルのうちの第ｉレベルに対して、前記オーディオ信号と第（ｉ－１）レベルの信号特徴とを継ぎ合わせ、継ぎ合わせ特徴を得て、且つ前記継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、前記第ｉレベルの信号特徴を得るステップであって、前記Ｎと前記ｉは、１よりも大きい整数であり、前記ｉは、前記Ｎ以下である、ステップと、
前記ｉをトラバースし、前記Ｎ個のレベルのうちの個々のレベルの信号特徴を得るステップであって、前記信号特徴のデータ次元は、前記オーディオ信号のデータ次元よりも小さい、ステップと、
前記第１レベルの信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおける前記オーディオ信号のストリームを得るステップと、を含む。
【0008】
本願の実施例は、オーディオ復号方法をさらに提供し、
オーディオ信号を符号化して得られた複数のレベルのそれぞれに対応するストリームを受信するステップと、
各前記レベルのストリームをそれぞれ復号し、各前記レベルの信号特徴を得るステップであって、前記信号特徴のデータ次元は、前記オーディオ信号のデータ次元よりも小さい、ステップと、
各前記レベルの信号特徴に対してそれぞれ特徴再構築を行い、各前記レベルのレベルオーディオ信号を得るステップと、
複数の前記レベルのレベルオーディオ信号に対してオーディオ合成を行い、前記オーディオ信号を得るステップと、を含む。
オーディオ信号を符号化して得られた複数のレベルのそれぞれに対応するストリームを受信するステップと、
各前記レベルのストリームをそれぞれ復号し、各前記レベルの信号特徴を得るステップであって、前記信号特徴のデータ次元は、前記オーディオ信号のデータ次元よりも小さい、ステップと、
各前記レベルの信号特徴に対してそれぞれ特徴再構築を行い、各前記レベルのレベルオーディオ信号を得るステップと、
複数の前記レベルのレベルオーディオ信号に対してオーディオ合成を行い、前記オーディオ信号を得るステップと、を含む。
【0009】
本願の実施例は、オーディオ符号化装置をさらに提供し、
オーディオ信号に対して第１レベルの特徴抽出を行い、前記第１レベルの信号特徴を得るように構成される第１特徴抽出モジュールと、
Ｎ個のレベルのうちの第ｉレベルに対して、前記オーディオ信号と第（ｉ－１）レベルの信号特徴とを継ぎ合わせ、継ぎ合わせ特徴を得て、且つ前記継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、前記第ｉレベルの信号特徴を得るように構成される第２特徴抽出モジュールであって、前記Ｎと前記ｉは、１よりも大きい整数であり、前記ｉは、前記Ｎ以下である、第２特徴抽出モジュールと、
前記ｉをトラバースし、前記Ｎ個のレベルのうちの個々のレベルの信号特徴を得るように構成されるトラバースモジュールであって、前記信号特徴のデータ次元は、前記オーディオ信号のデータ次元よりも小さい、トラバースモジュールと、
前記第１レベルの信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおける前記オーディオ信号のストリームを得るように構成される符号化モジュールと、を含む。
オーディオ信号に対して第１レベルの特徴抽出を行い、前記第１レベルの信号特徴を得るように構成される第１特徴抽出モジュールと、
Ｎ個のレベルのうちの第ｉレベルに対して、前記オーディオ信号と第（ｉ－１）レベルの信号特徴とを継ぎ合わせ、継ぎ合わせ特徴を得て、且つ前記継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、前記第ｉレベルの信号特徴を得るように構成される第２特徴抽出モジュールであって、前記Ｎと前記ｉは、１よりも大きい整数であり、前記ｉは、前記Ｎ以下である、第２特徴抽出モジュールと、
前記ｉをトラバースし、前記Ｎ個のレベルのうちの個々のレベルの信号特徴を得るように構成されるトラバースモジュールであって、前記信号特徴のデータ次元は、前記オーディオ信号のデータ次元よりも小さい、トラバースモジュールと、
前記第１レベルの信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおける前記オーディオ信号のストリームを得るように構成される符号化モジュールと、を含む。
【0010】
本願の実施例は、オーディオ復号装置をさらに提供し、
オーディオ信号を符号化して得られた複数のレベルのそれぞれに対応するストリームを受信するように構成される受信モジュールと、
各前記レベルのストリームをそれぞれ復号し、各前記レベルの信号特徴を得るように構成される復号モジュールであって、前記信号特徴のデータ次元は、前記オーディオ信号のデータ次元よりも小さい、復号モジュールと、
各前記レベルの信号特徴に対してそれぞれ特徴再構築を行い、各前記レベルのレベルオーディオ信号を得るように構成される特徴再構築モジュールと、
複数の前記レベルのレベルオーディオ信号に対してオーディオ合成を行い、前記オーディオ信号を得るように構成されるオーディオ合成モジュールと、を含む。
オーディオ信号を符号化して得られた複数のレベルのそれぞれに対応するストリームを受信するように構成される受信モジュールと、
各前記レベルのストリームをそれぞれ復号し、各前記レベルの信号特徴を得るように構成される復号モジュールであって、前記信号特徴のデータ次元は、前記オーディオ信号のデータ次元よりも小さい、復号モジュールと、
各前記レベルの信号特徴に対してそれぞれ特徴再構築を行い、各前記レベルのレベルオーディオ信号を得るように構成される特徴再構築モジュールと、
複数の前記レベルのレベルオーディオ信号に対してオーディオ合成を行い、前記オーディオ信号を得るように構成されるオーディオ合成モジュールと、を含む。
【0011】
本願の実施例は、電子機器をさらに提供し、
実行可能な命令を記憶するように構成されるメモリと、
前記メモリにおいて記憶される実行可能な命令を実行するとき、本願の実施例が提供する方法を実現するように構成されるプロセッサと、を含む。
実行可能な命令を記憶するように構成されるメモリと、
前記メモリにおいて記憶される実行可能な命令を実行するとき、本願の実施例が提供する方法を実現するように構成されるプロセッサと、を含む。
【0012】
本願の実施例は、コンピュータ可読記憶媒体をさらに提供し、実行可能な命令が記憶されており、前記実行可能な命令がプロセッサに実行されるとき、本願の実施例が提供する方法を実現する。
【0013】
本願の実施例は、コンピュータプログラム製品をさらに提供し、コンピュータプログラム、又は、命令を含み、前記コンピュータプログラム、又は、命令がプロセッサに実行されるとき、本願の実施例が提供する方法を実現する。
【発明の効果】
【0014】
本願の実施例は、以下の有益な効果を有する。
【0015】
オーディオ信号をレベルごとに符号化することによって各レベルの信号特徴が得られ、各レベルの信号特徴のデータ次元がオーディオ信号のデータ次元よりも小さいので、オーディオ符号化過程において処理されるデータのデータ次元が削減され、オーディオ信号の符号化効率が向上する。オーディオ信号の信号特徴をレベルごとに抽出するとき、個々のレベルの出力は、いずれも次のレベルの入力として使用されることにより、個々のレベルは、いずれも前のレベルの抽出された信号特徴と組み合わせられて、オーディオ信号に対してより正確な特徴抽出を行い、レベルの数の増加に伴って、特徴抽出過程におけるオーディオ信号の情報損失を最小限に抑えることができる。このように、該方式で抽出された信号特徴を符号化することによって得られた複数のストリームについて、それに含まれるオーディオ信号の情報は元のオーディオ信号により近く、符号化過程におけるオーディオ信号の情報損失が低減し、オーディオ符号化の符号化品質が確保される。
【図面の簡単な説明】
【0016】
【図1】本願の実施例が提供するオーディオ符号化システム１００のアーキテクチャ模式図である。
【図2】本願の実施例が提供するオーディオ符号化方法を実施する電子機器５００の構造模式図である。
【図3】本願の実施例が提供するオーディオ符号化方法のフローチャートである。
【図4】本願の実施例が提供するオーディオ符号化方法のフローチャートである。
【図5】本願の実施例が提供するオーディオ符号化方法のフローチャートである。
【図6】本願の実施例が提供するオーディオ符号化方法のフローチャートである。
【図7】本願の実施例が提供するオーディオ符号化方法のフローチャートである。
【図8】本願の実施例が提供するオーディオ符号化方法のフローチャートである。
【図9】本願の実施例が提供するオーディオ符号化方法のフローチャートである。
【図10】本願の実施例が提供するオーディオ復号方法のフローチャートである。
【図11】本願の実施例が提供するオーディオ復号方法のフローチャートである。
【図12】本願の実施例が提供する異なるビットレートでのスペクトル比較の模式図である。
【図13】本願の実施例が提供するオーディオ符号化とオーディオ復号のフローチャートである。
【図14】本願の実施例が提供する音声通信リンクの模式図である。
【図15】本願の実施例が提供するフィルターバンクの模式図である。
【図16A】本願の実施例が提供する通常の畳み込みネットワークの模式図である。
【図16B】本願の実施例が提供する膨張畳み込みネットワークの模式図である。
【図17】本願の実施例が提供する第１層の低周波分析ニューラルネットワークモデルの構造模式図である。
【図18】本願の実施例が提供する第２層の低周波分析ニューラルネットワークモデルの構造模式図である。
【図19】本願の実施例が提供する第１層の低周波合成ニューラルネットワークモデルのモデル模式図である。
【図20】本願の実施例が提供する第２層の低周波合成ニューラルネットワークモデルの構造模式図である。
【発明を実施するための形態】
【0017】
本願の目的、技術的手段、及び利点をより明瞭にするために、以下、図面と組み合わせて本願を詳細に記述することになるが、記述された実施例は、本願に対する制限として見なされるべきではなく、当業者が創造的な労働をしない前提で取得したすべての他の実施例は、いずれも本願の保護範囲に属する。
【0018】
以下の記述では、「いくつかの実施例」に関し、それはすべての可能な実施例のサブセットを記述するが、「いくつかの実施例」は、すべての可能な実施例の同じサブセット、又は、異なるサブセットであってもよく、且つ矛盾しない場合には、相互に組み合わせることができることを理解されたい。
【0019】
以下の記述では、関連する用語「第１＼第２＼第３」は、単に類似するオブジェクトを区別するためのものであり、オブジェクトに対する特定の順序を表すものではない。理解できるように、「第１＼第２＼第３」は、許容される場合には、特定の順序、又は、前後の順番を交換することができることにより、ここで記述される本願の実施例は、ここで図示され、又は、記述される以外の順序で実施できる。
【0020】
別途定義がない限り、本明細書に使用されるすべての技術用語と科学用語は、当業者によって一般的に理解される意味と同じ意味を有する。本明細書において使用される用語は、本願の実施例の目的を説明するためのものに過ぎず、本願を制限することを意図しない。
【0021】
本願の実施例を詳細に説明する前に、本願の実施例に関連する名詞と用語を説明する。本願の実施例に関連する名詞と用語は、以下の解釈に適用できる。
【0022】
１）クライアントは、端末において動作する各種のサービスを提供することに用いられるアプリケーションプログラム、例えば、インスタントメッセージングクライアント、オーディオ再生クライアントである。
【0023】
２）オーディオ符号化（Ａｕｄｉｏ Ｃｏｄｉｎｇ）は、音声を含むデジタルオーディオ信号に対してデータ圧縮を行う一種のアプリケーションである。
【0024】
３）直交ミラーフィルターバンク（Ｑｕａｄｒａｔｕｒｅ Ｍｉｒｒｏｒ Ｆｉｌｔｅｒｓ、ＱＭＦ）について、ＱＭＦフィルターバンクは、サブバンド信号を複数の信号に分解し、それにより、信号帯域幅を削減することに用いられ、分解後の各信号は、各自のチャネルによってフィルタリングされる。
【0025】
４）量子化とは、信号の取り得る連続値（又は、大量の可能な取り得る離散値）を限られた複数の（又は、比較的少ない）離散値に近似させる過程を指し、ベクトル量子化、スカラー量子化等を含む。
【0026】
５）ベクトル量子化について、幾つかのスカラーデータを１つのベクトルに構成し、ベクトル空間を幾つかの小領域に分割し、個々の小領域で１つの代表的なベクトルを見つけ、量子化する際に小領域に入るベクトルは、対応する代表的なベクトルを使用して置き換えられる、即ち、該代表的なベクトルに量子化される。
【0027】
６）スカラー量子化について、ダイナミックレンジ全体を幾つかの小さな区間に分け、個々の小さな区間は１つの代表値を有し、量子化する際に小さな区間に入る信号値は、対応する代表値を使用して置き換えられる、即ち、信号値が該代表値に量子化される。
【0028】
７）エントロピー符号化は、即ち、符号化過程において、エントロピー原理に従っていかなる情報も失わない符号化である。一般的な情報エントロピーは、信号ソースの平均情報量であり、通常のエントロピー符号化は、シャノン（Ｓｈａｎｎｏｎ）符号化、ハフマン（Ｈｕｆｆｍａｎ）符号化、及び算術符号化（ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）を有する。
【0029】
８）ニューラルネットワーク（ＮＮ、Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）は、動物のニューラルネットワークの行動特徴を模倣しており、分散型並行情報処理を行うアルゴリズム数学モデルである。このようなネットワークは、システムの複雑さに依存し、内部の大量のノード間の相互接続関係を調整することによって、情報処理の目的を達成する。
【0030】
９）深層学習（ＤＬ、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）は、機械学習（ＭＬ、Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）分野における１つの新たな研究方向である。深層学習は、サンプルデータの固有の法則と表現レベルを学習することであり、これらの学習過程において取得された情報は、例えば、テキスト、画像、及び音等のデータの解釈に対して非常に大きく役立つ。その最終的な目標は、機械が人間のように分析学習能力を有し、テキスト、画像、及び音等のデータを認識できるようにすることである。
【0031】
本願の実施例は、オーディオ符号化方法、オーディオ復号方法、装置、電子機器、コンピュータ可読記憶媒体、及びコンピュータプログラム製品を提供し、オーディオ符号化の効率を向上させ、且つオーディオ符号化の品質を確保することができる。
【0032】
以下では、本願の実施例が提供するオーディオ符号化方法の実施シーンを説明する。図１に参照されるように、図１は、本願の実施例が提供するオーディオ符号化システム１００のアーキテクチャ模式図であり、１つの例示的な応用のサポートを実現するために、端末（端末４００－１と端末４００－２が例示的に示される）は、ネットワーク３００によってサーバ２００に接続されている。ネットワーク３００は、ワイドエリアネットワーク、又は、ローカルエリアネットワークであってもよく、また、又は、両者の組み合わせであってもよく、無線、又は、有線リンクを使用してデータの伝送を実現する。ここで、端末４００－１は、オーディオ信号の送信側であり、端末４００－２は、オーディオ信号の受信側である。
【0033】
端末４００－１が端末４００－２にオーディオ信号を送信する過程において（例えば、端末４００－１と端末４００－２は、設定されたクライアントに基づき遠隔通話を行う過程において）、端末４００－１は、オーディオ信号に対して第１レベルの特徴抽出を行い、第１レベルの信号特徴を得て、Ｎ個のレベルのうちの第ｉレベルに対して、オーディオ信号と第（ｉ－１）レベルの信号特徴とを継ぎ合わせ、継ぎ合わせ特徴を得る。また、継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、第ｉレベルの信号特徴を得る。Ｎとｉは、１よりも大きい整数であり、ｉは、Ｎ以下である。ｉをトラバースし、Ｎ個のレベルのうちの個々のレベルの信号特徴を得る。信号特徴のデータ次元は、オーディオ信号のデータ次元よりも小さく、第１レベルの信号特徴、及びＮ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおけるオーディオ信号のストリームを得て、各レベルにおけるオーディオ信号のストリームをサーバ２００に送信するように構成される。
【0034】
サーバ２００は、端末４００－１がオーディオ信号を符号化して得られた複数のレベルのそれぞれに対応するストリームを受信し、複数のレベルのそれぞれに対応するストリームを端末４００－２に送信するように構成される。
【0035】
端末４００－２は、サーバ２００が送信した、オーディオ信号を符号化して得られた複数のレベルのそれぞれに対応するストリームを受信し、各レベルのストリームをそれぞれ復号し、各レベルの信号特徴を得る。信号特徴のデータ次元はオーディオ信号のデータ次元よりも小さく、各レベルの信号特徴に対してそれぞれ特徴再構築を行い、各レベルのレベルオーディオ信号を得て、複数のレベルのレベルオーディオ信号に対してオーディオ合成を行い、オーディオ信号を得るように構成される。
【0036】
いくつかの実施例において、本願の実施例が提供するオーディオ符号化方法は、各種の電子機器によって実施でき、例えば、端末が単独で実施してもよく、サーバが単独で実施してもよく、端末とサーバが協働して実施してもよい。例えば、端末は、独立して本願の実施例が提供するオーディオ符号化方法を実行する、又は、端末は、サーバにオーディオ信号に対する符号化要求を送信する。サーバは、受信した符号化要求に応じて、本願の実施例が提供するオーディオ符号化方法を実行する。本願の実施例は、各種のシーンに応用でき、クラウド技術、人工知能、スマート交通、運転支援等を含むが、これらに限定されない。
【0037】
いくつかの実施例において、本願の実施例が提供するオーディオ符号化を実施する電子機器は、各種のタイプの端末機器、又は、サーバであってもよい。ここで、サーバ（例えば、サーバ２００）は、独立した物理サーバであってもよく、複数の物理サーバで構成されるサーバクラスター、又は、分散システムであってもよい。端末（例えば、端末４００）は、スマートフォン、タブレット、ノートパソコン、デスクトップコンピュータ、インテリジェント音声対話機器（例えば、スマートスピーカー）、スマート家電（例えば、スマートテレビ）、スマートウォッチ、及び車載端末等であってもよいが、これらに限定されない。端末、及びサーバは、有線、又は、無線の通信方式によって直接、又は、間接的に接続でき、本願の実施例は、これに対して制限を行わない。
【0038】
いくつかの実施例において、本願の実施例が提供するオーディオ符号化方法は、クラウド技術（Ｃｌｏｕｄ Ｔｅｃｈｎｏｌｏｇｙ）の助けを借りて実現できる。クラウド技術とは、ワイドエリアネットワーク、又は、ローカルエリアネットワークにおいて、ハードウェア、ソフトウェア、及びネットワーク等の一連のリソースを統一し、データの計算、記憶、処理、及び共有を実現する一種のホスティング技術を指す。クラウド技術は、クラウドコンピューティングのビジネスモードのアプリケーションに基づくネットワーク技術、情報技術、統合技術、管理プラットフォーム技術、及びアプリケーション技術等の総称であり、リソースプールを形成し、ニーズに応じて使用することができ、柔軟で便利である。クラウドコンピューティング技術は、重要なサポートとなることになる。技術的なネットワークシステムのバックグラウンドサービスには、大量の計算、記憶リソースが必要である。例として、上記サーバ（例えば、サーバ２００）は、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウド記憶、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメイン名サービス、セキュリティサービス、コンテンツ配信ネットワーク（Ｃｏｎｔｅｎｔ Ｄｅｌｉｖｅｒｙ Ｎｅｔｗｏｒｋ、ＣＤＮ）、及びビッグデータと人工知能プラットフォーム等の基本的なクラウドコンピューティングサービスを提供するクラウドサーバであってもよい。
【0039】
いくつかの実施例において、端末、又は、サーバは、コンピュータプログラムを動作させることによって本願の実施例が提供するオーディオ符号化方法を実現することができ、例を挙げると、コンピュータプログラムは、オペレーティングシステムにおけるネイティブプログラム、又は、ソフトウェアモジュールであってもよく、ネイティブ（Ｎａｔｉｖｅ）アプリケーションプログラム（ＡＰＰ、Ａｐｐｌｉｃａｔｉｏｎ）、即ち、動作させるためにオペレーティングシステムにインストールする必要があるプログラムであってもよく、アプレット、即ち、ブラウザ環境にダウンロードするだけで動作するプログラムであってもよく、さらに、任意のＡＰＰに組み込むことができるアプレットであってもよい。要約すると、上記コンピュータプログラムは、任意の形式のアプリケーションプログラム、モジュール、又は、プラグインであってもよい。
【0040】
いくつかの実施例において、複数のサーバは、１つのブロックチェーンを形成することができ、サーバはブロックチェーンにおけるノードであり、ブロックチェーンにおける個々のノード間に情報接続が存在することができ、ノード間は上記情報接続によって情報を伝送することができる。ここで、本願の実施例が提供するオーディオ符号化方法に関連するデータ（例えば、各レベルにおけるオーディオ信号のストリーム、特徴抽出を行うことに用いられるニューラルネットワークモデル）は、ブロックチェーンに保存できる。
【0041】
以下では、本願の実施例が提供するオーディオ符号化方法を実施する電子機器を説明する。図２に参照されるように、図２は、本願の実施例が提供するオーディオ符号化方法を実施する電子機器５００の構造模式図である。電子機器５００が図１に示される端末（例えば、端末４００－１）であることを例とすると、本願の実施例が提供するオーディオ符号化方法を実施する電子機器５００は、少なくとも１つのプロセッサ５１０、メモリ５５０、少なくとも１つのネットワークインタフェース５２０、及びユーザーインタフェース５３０を含む。電子機器５００における各々のコンポーネントは、バスシステム５４０によって一体に結合される。理解できるように、バスシステム５４０は、これらのコンポーネント間の接続通信を実現することに用いられる。バスシステム５４０は、データバスを含むことに加えて、電源バス、制御バス、及び状態信号バスをさらに含む。しかしながら、明確に説明するために、図２において、各種のバスが全てバスシステム５４０としてマークされている。
【0042】
プロセッサ５１０は、一種の集積回路チップであってもよく、信号の処理能力を有し、例えば、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、又は、他のプログラマブル論理デバイス、ディスクリートゲート、又は、トランジスタ論理デバイス、ディスクリートハードウェアコンポーネント等であってもよい。ここで、汎用プロセッサは、マイクロプロセッサー、又は、任意の通常のプロセッサ等であってもよい。
【0043】
メモリ５５０は、取り外し可能なものであってもよく、取り外し不可能なものであってもよく、又は、その組み合わせであってもよい。メモリ５５０は、選択可能に、プロセッサ５１０から物理的に離れる１つ、又は、複数の記憶機器を含む。メモリ５５０は、揮発性メモリ、又は、不揮発性メモリを含み、揮発性メモリと不揮発性メモリの両方を含んでもよい。ここで、不揮発性メモリは、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）であってもよく、揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であってもよい。本願の実施例に記述されるメモリ５５０は、任意の適切なタイプのメモリを含むことを意図する。
【0044】
いくつかの実施例において、メモリ５５０は、データを記憶して各種の操作をサポートすることができる。これらのデータの例は、プログラム、モジュール、及びデータ構造、或いは、そのサブセット、又は、スーパーセットを含み、以下、例示的に説明する。
【0045】
オペレーティングシステム５５１は、各種の基本的なシステムサービスを処理し、ハードウェア関連タスクを実行するように構成されるシステムプログラムを含み、例えば、フレームワーク層、コアライブラリ層、ドライバー層等であり、各種の基本的なサービスを実現し、またハードウェアに基づくタスクを処理することに用いられる。
【0046】
ネットワーク通信モジュール５５２は、１つ、又は、複数の（有線、又は、無線）ネットワークインタフェース５２０を介して他のコンピューティング機器に到達するように構成され、例示的なネットワークインタフェース５２０は、ブルートゥース（登録商標）、ワイヤレスフィディリティー（ＷｉＦｉ）、及び汎用シリアルバス（ＵＳＢ、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等を含む。
【0047】
いくつかの実施例において、本願の実施例が提供するオーディオ符号化装置は、ソフトウェアの方式を採用して実現されてもよい。図２は、メモリ５５０に記憶されるオーディオ符号化装置５５３を示しており、それはプログラムとプラグイン等の形式のソフトウェアであってもよく、第１特徴抽出モジュール５５３１、第２特徴抽出モジュール５５３２、トラバースモジュール５５３３、及び符号化モジュール５５３４というソフトウェアモジュールを含む。これらのモジュールは、論理的なものであり、従って、実現される機能に応じて任意の組み合わせ、又は、分割を行うことができる。以下で、各々のモジュールの機能を説明することになる。
【0048】
以下では、本願の実施例が提供するオーディオ符号化方法を説明する。いくつかの実施例において、本願の実施例が提供するオーディオ符号化方法は、各種の電子機器によって実施でき、例えば、端末が単独で実施してもよく、サーバが単独で実施してもよく、端末とサーバが協働して実施してもよい。端末が実施することを例とすると、図３に参照されるように、図３は、本願の実施例が提供するオーディオ符号化方法のフローチャートであり、本願の実施例が提供するオーディオ符号化方法は、ステップ１０１～ステップ１０４を含む。
【0049】
ステップ１０１：端末は、オーディオ信号に対して第１レベルの特徴抽出を行い、第１レベルの信号特徴を得る。
【0050】
実際の応用において、該オーディオ信号は、通話（例えば、ネットワーク通話、電話）過程における音声信号、音声メッセージ（例えば、インスタントメッセージングクライアントにおいて送信された音声メッセージ）、再生される音楽、オーディオ等であってもよい。オーディオ信号は、伝送の際に、オーディオ信号を符号化する必要があり、それにより、オーディオ信号の送信側は、符号化して得られるストリームを伝送することができ、ストリームの受信側は、受信されたストリームを復号して該オーディオ信号を得ることができる。続いて、オーディオ信号の符号化過程を説明する。本願の実施例において、レベルごとに符号化する方式を採用してオーディオ信号を符号化し、該レベルごとに符号化する方式は、オーディオ信号に対して複数のレベルの符号化を行うことによって実現される。以下、個々のレベルの符号化過程を説明する。まず、第１レベルに対して、端末は、オーディオ信号に対して第１レベルの特徴抽出を行い、第１レベルによって抽出されたオーディオ信号の信号特徴、即ち第１レベルの信号特徴を得ることができる。
【0051】
いくつかの実施例において、オーディオ信号は、低周波サブバンド信号と高周波サブバンド信号とを含み、オーディオ信号を処理する（例えば、特徴抽出、符号化）ときに、オーディオ信号に含まれる低周波サブバンド信号と高周波サブバンド信号をそれぞれ処理することができる。これに基づき、図４に参照されるように、図４は、本願の実施例が提供するオーディオ符号化方法のフローチャートであり、図４は、図３のステップ１０１がステップ２０１～ステップ２０３によって実現できることを示す。ステップ２０１：オーディオ信号に対してサブバンド分解を行い、オーディオ信号の低周波サブバンド信号と高周波サブバンド信号を得る。ステップ２０２：低周波サブバンド信号に対して第１レベルの特徴抽出を行い、第１レベルの低周波信号特徴を得て、且つ高周波サブバンド信号に対して第１レベルの特徴抽出を行い、第１レベルの高周波信号特徴を得る。ステップ２０３：低周波信号特徴と高周波信号特徴を第１レベルの信号特徴とする。
【0052】
説明する必要があるものとして、ステップ２０１では、第１レベルによってオーディオ信号に対して特徴抽出を行う過程において、端末は、まずオーディオ信号に対してサブバンド分解を行い、オーディオ信号の低周波サブバンド信号と高周波サブバンド信号を得ることにより、それぞれ低周波サブバンド信号と高周波サブバンド信号に対して特徴抽出行うことができる。いくつかの実施例において、図５に参照されるように、図５は、本願の実施例が提供するオーディオ符号化方法のフローチャートであり、図５は、図４のステップ２０１がステップ２０１１～ステップ２０１３によって実現できることを示す。ステップ２０１１：第１サンプリング周波数に従ってオーディオ信号をサンプリングし、サンプリングされた信号を得る。ステップ２０１２：サンプリングされた信号をローパスフィルタリングし、ローパスフィルタリングされた信号を得て、且つローパスフィルタリングされた信号をダウンサンプリングし、第２サンプリング周波数の低周波サブバンド信号を得る。ステップ２０１３：サンプリングされた信号をハイパスフィルタリングし、ハイパスフィルタリングされた信号を得て、且つハイパスフィルタリングされた信号をダウンサンプリングし、第２サンプリング周波数の高周波サブバンド信号を得る。ここで、第２サンプリング周波数は、第１サンプリング周波数よりも小さい。
【0053】
ステップ２０１１では、第１サンプリング周波数に従ってオーディオ信号をサンプリングし、サンプリングされた信号を得ることができ、該第１サンプリング周波数は、予め設定されてもよい。実際の応用において、オーディオ信号は、連続的なアナログ信号であり、第１サンプリング周波数を採用してオーディオ信号をサンプリングすることにより、離散的なデジタル信号、即ち、サンプリングされた信号が得られ、該サンプリングされた信号は、オーディオ信号からサンプリングして得られた複数のサンプルポイント（即ち、サンプリング値）を含む。
【0054】
ステップ２０１２では、サンプリング信号をローパスフィルタリングし、ローパスフィルタリングされた信号を得て、且つローパスフィルタリングされた信号をダウンサンプリングし、第２サンプリング周波数の低周波サブバンド信号を得る。ステップ２０１３では、サンプリングされた信号をハイパスフィルタリングし、ハイパスフィルタリングされた信号を得て、且つハイパスフィルタリングされた信号をダウンサンプリングし、第２サンプリング周波数の高周波サブバンド信号を得る。ステップ２０２とステップ２０３では、該ローパスフィルタリングとハイパスフィルタリングは、ＱＭＦ分析フィルターによって実現できる。実際に実施するとき、該第２サンプリング周波数は、第１サンプリング周波数の二分の一であってもよく、このようにして同じ周波数の低周波サブバンド信号と高周波サブバンド信号を得ることができる。
【0055】
ステップ２０２では、オーディオ信号の低周波サブバンド信号と高周波サブバンド信号を得た後に、オーディオ信号の低周波サブバンド信号に対して第１レベルの特徴抽出を行い、第１レベルの低周波信号特徴を得て、且つ高周波サブバンド信号に対して第１レベルの特徴抽出を行い、第１レベルの高周波信号特徴を得る。ステップ２０３では、低周波信号特徴と高周波信号特徴を第１レベルの信号特徴とする。
【0056】
いくつかの実施例において、図６に参照されるように、図６は、本願の実施例が提供するオーディオ符号化方法のフローチャートであり、図６は、図３のステップ１０１がさらにステップ３０１～ステップ３０４によって実現できることを示す。ステップ３０１：オーディオ信号に対して第１畳み込み処理を行い、第１レベルの畳み込み特徴を得る。ステップ３０２：畳み込み特徴に対して第１プーリング処理を行い、第１レベルのプーリング特徴を得る。ステップ３０３：プーリング特徴に対して第１ダウンサンプリングを行い、第１レベルのダウンサンプリング特徴を得る。ステップ３０４：ダウンサンプリング特徴に対して第２畳み込み処理を行い、第１レベルの信号特徴を得る。
【0057】
説明する必要があるものとして、ステップ３０１では、オーディオ信号に対して第１畳み込み処理を行うことができる。実際の応用において、該第１畳み込み処理は、チャネル数（例えば、２４チャネル）が予め設定された因果畳み込みを呼び出すことによって処理することにより、第１レベルの畳み込み特徴を得ることができる。
【0058】
ステップ３０２では、ステップ３０１で得られた畳み込み特徴に対して第１プーリング処理を行う。実際の応用において、該第１プーリング処理は、プーリングファクター（例えば２）を予め設定し、更に該プーリングファクターに基づき畳み込み特徴に対して第１プーリング処理を行い、第１レベルのプーリング特徴を得ることができる。
【0059】
ステップ３０３では、ステップ３０２で得られたプーリング特徴に対して第１ダウンサンプリングを行う。実際の応用において、ダウンサンプリングファクターを予め設定することができ、それにより該ダウンサンプリングファクターに基づきダウンサンプリングを行う。該第１ダウンサンプリングは、１つの符号化層によって実現されてもよく、複数の符号化層によって実現されてもよい。いくつかの実施例において、第１ダウンサンプリングは、Ｍ個のカスケードされた符号化層によって実現される。相応に、図７に参照されるように、図７は、本願の実施例が提供するオーディオ符号化方法のフローチャートであり、図７は、図６のステップ３０３がさらにステップ３０３１～ステップ３０３３によって実現できることを示す。ステップ３０３１：Ｍ個のカスケードされた符号化層のうちの第１個目の符号化層によって、プーリング特徴に対して第１ダウンサンプリングを行い、第１個目の符号化層のダウンサンプリング結果を得る。ステップ３０３２：Ｍ個のカスケードされた符号化層のうちの第ｊ個目の符号化層によって、第（ｊ－１）個の符号化層のダウンサンプリング結果に対して第１ダウンサンプリングを行い、第ｊ個目の符号化層のダウンサンプリング結果を得る。ここで、Ｍとｊは、１よりも大きい整数であり、ｊは、Ｍ以下である。ステップ３０３３：ｊをトラバースし、第Ｍ個目の符号化層のダウンサンプリング結果を得て、且つ第Ｍ個目の符号化層のダウンサンプリング結果を第１レベルのダウンサンプリング特徴とする。
【0060】
説明する必要があるものとして、ステップ３０３１～ステップ３０３３では、個々の符号化層のダウンサンプリングファクターは、同じであってもよく、異なってもよい。実際の応用において、ダウンサンプリングファクターは、プーリングファクターに相当し、下降サンプリングの作用を果たす。
【0061】
ステップ３０４では、ダウンサンプリング特徴に対して第２畳み込み処理を行うことができる。実際の応用において、該第２畳み込み処理は、チャネル数が予め設定された因果畳み込みを呼び出すことによって処理し、それにより第１レベルの信号特徴を得ることができる。
【0062】
実際の応用において、図６に示されるステップ３０１～ステップ３０４は、第１ニューラルネットワークモデルを呼び出すことによって実現することができ、第１ニューラルネットワークモデルは、第１畳み込み層、プーリング層、ダウンサンプリング層、及び第２畳み込み層を含む。このように、第１畳み込み層を呼び出すことによってオーディオ信号に対して第１畳み込み処理を行い、第１レベルの畳み込み特徴を得て、プーリング層を呼び出して畳み込み特徴に対して第１プーリング処理を行い、第１レベルのプーリング特徴を得て、ダウンサンプリング層を呼び出してプーリング特徴に対して第１ダウンサンプリングを行い、第１レベルのダウンサンプリング特徴を得て、第２畳み込み層を呼び出してダウンサンプリング特徴に対して第２畳み込み処理を行い、第１レベルの信号特徴を得ることができる。
【0063】
説明する必要があるものとして、オーディオ信号に対して第１レベルの特徴抽出を行うとき、図６に示されるステップ３０１～ステップ３０４によって、オーディオ信号の低周波サブバンド信号と高周波サブバンド信号のそれぞれに対して第１レベルの特徴抽出を行うこともできる（即ち、図４に示されるステップ２０２）。即ち、オーディオ信号の低周波サブバンド信号に対して第１畳み込み処理を行い、第１レベルの第１畳み込み特徴を得て、第１畳み込み特徴に対して第１プーリング処理を行い、第１レベルの第１プーリング特徴を得て、第１プーリング特徴に対して第１ダウンサンプリングを行い、第１レベルの第１ダウンサンプリング特徴を得て、第１ダウンサンプリング特徴に対して第２畳み込み処理を行い、第１レベルの低周波信号特徴を得る。オーディオ信号の高周波サブバンド信号に対して第１畳み込み処理を行い、第１レベルの第２畳み込み特徴を得て、第２畳み込み特徴に対して第１プーリング処理を行い、第１レベルの第２プーリング特徴を得て、第２プーリング特徴に対して第１ダウンサンプリングを行い、第１レベルの第２ダウンサンプリング特徴を得て、第２ダウンサンプリング特徴に対して第２畳み込み処理を行い、第１レベルの高周波信号特徴を得る。
【0064】
ステップ１０２：Ｎ個のレベルのうちの第ｉレベルに対して、オーディオ信号と第（ｉ－１）レベルの信号特徴とを継ぎ合わせ、継ぎ合わせ特徴を得て、且つ継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、第ｉレベルの信号特徴を得る。
【0065】
ここで、Ｎとｉは、１よりも大きい整数であり、ｉは、Ｎ以下である。
【0066】
オーディオ信号に対して、第１レベルの特徴抽出を行った後に、さらに、オーディオ信号に対して残りのレベルの特徴抽出を行うことができる。本願の実施例において、該残りのレベルは、Ｎ個のレベルを含み、Ｎ個のレベルのうちの第ｉレベルに対して、オーディオ信号と第（ｉ－１）レベルの信号特徴とを継ぎ合わせ、継ぎ合わせ特徴を得て、且つ継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、第ｉレベルの信号特徴を得る。例えば、第２レベルに対して、オーディオ信号と第１レベルの信号特徴とを継ぎ合わせ、継ぎ合わせ特徴を得て、且つ継ぎ合わせ特徴に対して第２レベルの特徴抽出を行い、第２レベルの信号特徴を得て、第３レベルに対して、オーディオ信号と第２レベルの信号特徴とを継ぎ合わせ、継ぎ合わせ特徴を得て、且つ継ぎ合わせ特徴に対して第３レベルの特徴抽出を行い、第３レベルの信号特徴を得て、第４レベルに対して、オーディオ信号と第３レベルの信号特徴とを継ぎ合わせ、継ぎ合わせ特徴を得て、且つ継ぎ合わせ特徴に対して第４レベルの特徴抽出を行い、第４レベルの信号特徴を得る。
【0067】
いくつかの実施例において、オーディオ信号は、低周波サブバンド信号と高周波サブバンド信号とを含み、オーディオ信号を処理する（例えば、特徴抽出、符号化）ときに、オーディオ信号に含まれる低周波サブバンド信号と高周波サブバンド信号をそれぞれ処理することができる。これに基づき、Ｎ個のレベルのうちの第ｉレベルに対して、さらに、オーディオ信号に対してサブバンド分解を行い、オーディオ信号の低周波サブバンド信号と高周波サブバンド信号を得ることができる。サブバンド分解の過程は、上記ステップ２０１１～ステップ２０１３を参照できる。このように、Ｎ個のレベルのうちの第ｉレベルに対して、それが特徴抽出を実行することで出力されたデータは、第ｉレベルの低周波信号特徴、及び第ｉレベルの高周波信号特徴を含む。
【0068】
相応に、図８に参照されるように、図８は、本願の実施例が提供するオーディオ符号化方法のフローチャートであり、図８は、図３のステップ１０２がステップ４０１～ステップ４０３によって実現できることを示す。ステップ４０１：オーディオ信号の低周波サブバンド信号と第（ｉ－１）レベルの低周波信号特徴とを継ぎ合わせ、第１継ぎ合わせ特徴を得て、且つ第１継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、第ｉレベルの低周波信号特徴を得る。ステップ４０２：オーディオ信号の高周波サブバンド信号と第（ｉ－１）レベルの高周波信号特徴とを継ぎ合わせ、第２継ぎ合わせ特徴を得て、且つ第２継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、第ｉレベルの高周波信号特徴を得る。ステップ４０３：第ｉレベルの低周波信号特徴と第ｉレベルの高周波信号特徴を第ｉレベルの信号特徴とする。
【0069】
説明する必要があるものとして、ステップ４０１では、オーディオ信号の低周波サブバンド信号と高周波サブバンド信号を得た後に、オーディオ信号の低周波サブバンド信号と、第（ｉ－１）レベルに対して抽出して得られた低周波信号特徴とを継ぎ合わせ、第１継ぎ合わせ特徴を得て、次に、第１継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、第ｉレベルの低周波信号特徴を得る。同様に、ステップ４０２では、オーディオ信号の高周波サブバンド信号と、第（ｉ－１）レベルに対して抽出して得られた高周波信号特徴とを継ぎ合わせ、第２継ぎ合わせ特徴を得て、次に、第２継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、第ｉレベルの高周波信号特徴を得る。このように、ステップ４０３では、第ｉレベルの低周波信号特徴と第ｉレベルの高周波信号特徴を第ｉレベルの信号特徴とする。
【0070】
いくつかの実施例において、図９に参照されるように、図９は、本願の実施例が提供するオーディオ符号化方法のフローチャートであり、図９は、図３のステップ１０２がさらにステップ５０１～ステップ５０４によって実現できることを示す。ステップ５０１：継ぎ合わせ特徴に対して第３畳み込み処理を行い、第ｉレベルの畳み込み特徴を得る。ステップ５０２：畳み込み特徴に対して第２プーリング処理を行い、第ｉレベルのプーリング特徴を得る。ステップ５０３：プーリング特徴に対して第２ダウンサンプリングを行い、第ｉレベルのダウンサンプリング特徴を得る。ステップ５０４：ダウンサンプリング特徴に対して第４畳み込み処理を行い、第ｉレベルの信号特徴を得る。
【0071】
説明する必要があるものとして、ステップ５０１では、継ぎ合わせ特徴（オーディオ信号と第（ｉ－１）レベルの信号特徴とを継ぎ合わせることで得られるもの）に対して第３畳み込み処理を行うことができる。実際の応用において、該第３畳み込み処理は、チャネル数が予め設定された因果畳み込みを呼び出すことによって処理し、それにより第ｉレベルの畳み込み特徴を得ることができる。
【0072】
ステップ５０２では、ステップ５０１で得られた畳み込み特徴に対して第２プーリング処理を行う。実際の応用において、該第２プーリング処理は、プーリングファクターを予め設定し、更に該プーリングファクターに基づき畳み込み特徴に対して第２プーリング処理を行い、第ｉレベルのプーリング特徴を得ることができる。
【0073】
ステップ５０３では、ステップ５０２で得られたプーリング特徴に対して第２ダウンサンプリングを行う。実際の応用において、ダウンサンプリングファクターを予め設定することができ、それにより、該ダウンサンプリングファクターに基づきダウンサンプリングを行う。該第２ダウンサンプリングは、１つの符号化層によって実現されてもよく、複数の符号化層によって実現されてもよい。いくつかの実施例において、第２ダウンサンプリングは、Ｘ個のカスケードされた符号化層によって実現できる。相応に、図９のステップ５０３は、さらに、ステップ５０３１～ステップ５０３３によって実現することができる。ステップ５０３１：Ｘ個のカスケードされた符号化層のうちの第１個目の符号化層によって、プーリング特徴に対して第２ダウンサンプリングを行い、第１個目の符号化層のダウンサンプリング結果を得る。ステップ５０３２：Ｘ個のカスケードされた符号化層のうちの第ｇ個の符号化層によって、第（ｇ－１）個の符号化層のダウンサンプリング結果に対して第２ダウンサンプリングを行い、第ｇ個の符号化層のダウンサンプリング結果を得る。ここで、Ｘとｇは、１よりも大きい整数であり、ｇは、Ｘ以下である。ステップ５０３３：ｇをトラバースし、第Ｘ個の符号化層のダウンサンプリング結果を得て、且つ第Ｘ個の符号化層のダウンサンプリング結果を第ｉレベルのダウンサンプリング特徴とする。
【0074】
説明する必要があるものとして、ステップ５０３１～ステップ５０３３では、個々の符号化層のダウンサンプリングファクターは、同じであってもよく、異なってもよい。実際の応用において、ダウンサンプリングファクターは、プーリングファクターに相当し、下降サンプリングの作用を果たす。
【0075】
ステップ５０４では、ダウンサンプリング特徴に対して第４畳み込み処理を行うことができる。実際の応用において、該第４畳み込み処理は、チャネル数が予め設定された因果畳み込みを呼び出すことによって処理し、それにより第ｉレベルの信号特徴を得ることができる。
【0076】
実際の応用において、図９に示されるステップ５０１～ステップ５０４は、第２ニューラルネットワークモデルを呼び出すことによって実現でき、第２ニューラルネットワークモデルは、第３畳み込み層、プーリング層、ダウンサンプリング層、及び第４畳み込み層を含む。このように、第３畳み込み層を呼び出すことによって継ぎ合わせ特徴に対して第３畳み込み処理を行い、第ｉレベルの畳み込み特徴を得て、プーリング層を呼び出して畳み込み特徴に対して第２プーリング処理を行い、第ｉレベルのプーリング特徴を得て、ダウンサンプリング層を呼び出してプーリング特徴に対して第２ダウンサンプリングを行い、第ｉレベルのダウンサンプリング特徴を得て、第４畳み込み層を呼び出してダウンサンプリング特徴に対して第４畳み込み処理を行い、第ｉレベルの信号特徴を得ることができる。実際に実施するときには、第２ニューラルネットワークが出力した信号特徴の特徴次元は、第１ニューラルネットワークが入力した信号特徴の特徴次元よりも小さくてもよい。
【0077】
説明する必要があるものとして、第ｉレベルの特徴抽出を行うとき、図９に示されるステップ５０１～ステップ５０４によって、オーディオ信号の低周波サブバンド信号と高周波サブバンド信号のそれぞれに対して第ｉレベルの特徴抽出を行うこともできる。即ち、第ｉレベルに対して、低周波継ぎ合わせ特徴（低周波サブバンド信号と第（ｉ－１）レベルの低周波信号特徴とを継ぎ合わせることで得られるもの）に対して第３畳み込み処理を行い、第ｉレベルの畳み込み特徴を得て、畳み込み特徴に対して第２プーリング処理を行い、第ｉレベルのプーリング特徴を得て、プーリング特徴に対して第２ダウンサンプリングを行い、第ｉレベルのダウンサンプリング特徴を得て、ダウンサンプリング特徴に対して第４畳み込み処理を行い、第ｉレベルの低周波信号特徴を得ることができる。第ｉレベルに対して、高周波継ぎ合わせ特徴（高周波サブバンド信号と第（ｉ－１）レベルの高周波信号特徴とを継ぎ合わせることで得られるもの）に対して第３畳み込み処理を行い、第ｉレベルの畳み込み特徴を得て、畳み込み特徴に対して第２プーリング処理を行い、第ｉレベルのプーリング特徴を得て、プーリング特徴に対して第２ダウンサンプリングを行い、第ｉレベルのダウンサンプリング特徴を得て、ダウンサンプリング特徴に対して第４畳み込み処理を行い、第ｉレベルの高周波信号特徴を得ることができる。
【0078】
ステップ１０３：ｉをトラバースし、Ｎ個のレベルのうちの個々のレベルの信号特徴を得る。
【0079】
ここで、信号特徴のデータ次元は、オーディオ信号のデータ次元よりも小さい。
【0080】
ステップ１０２において、第ｉレベルに対する特徴抽出の過程が説明されており、実際の応用において、Ｎ個のレベルのうちの個々のレベルの信号特徴を得るために、ｉをトラバースする必要がある。本願の実施例において、個々のレベルが出力した信号特徴のデータ次元は、オーディオ信号のデータ次元よりも小さい。このようにしてオーディオ符号化過程に関連するデータのデータ次元を削減し、オーディオ符号化の符号化効率を向上させることができる。
【0081】
ステップ１０４：第１レベルの信号特徴、及びＮ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおけるオーディオ信号のストリームを得る。
【0082】
実際の応用において、第１レベルの信号特徴、及びＮ個のレベルのうちの個々のレベルの信号特徴を得た後に、第１レベルの信号特徴、及びＮ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、それにより各レベルにおけるオーディオ信号のストリームを得ることができる。該ストリームは、オーディオ信号の受信側に伝送することができることにより、受信側が復号側としてオーディオ信号を復号する。
【0083】
説明する必要があるものとして、該Ｎ個のレベルのうちの第ｉレベルが出力した信号特徴は、第（ｉ－１）レベルが出力した信号特徴と元のオーディオ信号との間の残差信号特徴として理解できる。このように、抽出されたオーディオ信号の信号特徴は、第１レベルの抽出されたオーディオ信号の信号特徴を含むだけでなく、該Ｎ個のレベルのうちの個々のレベルの抽出された残差信号特徴をさらに含む。これにより、抽出されたオーディオ信号の信号特徴は、より包括的で正確になり、特徴抽出過程におけるオーディオ信号の情報損失が低減することにより、第１レベルの信号特徴、及びＮ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化するときに、符号化して得られたストリームの品質がより高くなり、含まれるオーディオ信号の情報が元のオーディオ信号により近く、オーディオ符号化の符号化品質が向上する。
【0084】
いくつかの実施例において、図３に示されるステップ１０４は、ステップ１０４ａ１～ステップ１０４ａ２によって実現することができる。ステップ１０４ａ１：第１レベルの信号特徴、及びＮ個のレベルのうちの個々のレベルの信号特徴に対してそれぞれ量子化処理を行い、各レベルの信号特徴の量子化結果を得る。ステップ１０４ａ２：各レベルの信号特徴の量子化結果に対してエントロピー符号化を行い、各レベルにおけるオーディオ信号のストリームを得る。
【0085】
説明する必要があるものとして、ステップ１０４ａ１では、量子化テーブルを予め設定することができ、該量子化テーブルは、信号特徴と量子化値との間の対応関係を含む。量子化処理を行うとき、予め設定された量子化テーブルを問い合わせることによって、第１レベルの信号特徴、及びＮ個のレベルのうちの個々のレベルの信号特徴に対して、それぞれ相応な量子化値を問い合わせて得ることができることにより、問い合わせて得られた量子化値を量子化結果とする。ステップ１０４ａ２では、各レベルの信号特徴の量子化結果に対してそれぞれエントロピー符号化を行い、各レベルにおけるオーディオ信号のストリームを得る。
【0086】
実際の応用において、オーディオ信号は、低周波サブバンド信号と高周波サブバンド信号とを含み、この場合、相応に、個々のレベルが出力した信号特徴は、低周波信号特徴と高周波信号特徴とを含む。これに基づき、信号特徴が低周波信号特徴と高周波信号特徴とを含むとき、いくつかの実施例において、図３に示されるステップ１０４は、さらにステップ１０４ｂ１～ステップ１０４ｂ３によって実現することができる。ステップ１０４ｂ１：第１レベルの低周波信号特徴、及びＮ個のレベルのうちの個々のレベルの低周波信号特徴をそれぞれ符号化し、各レベルにおけるオーディオ信号の低周波ストリームを得る。ステップ１０４ｂ２：第１レベルの高周波信号特徴、及びＮ個のレベルのうちの個々のレベルの高周波信号特徴をそれぞれ符号化し、各レベルにおけるオーディオ信号の高周波ストリームを得る。ステップ１０４ｂ３：各レベルにおけるオーディオ信号の低周波ストリーム、及び高周波ストリームを相応なレベルにおけるオーディオ信号のストリームとする。
【0087】
説明する必要があるものとして、ステップ１０４ｂ１における低周波信号特徴の符号化過程は、ステップ１０４ａ１～ステップ１０４ａ２と類似するステップを採用して実現されてもよい。即ち、第１レベルの低周波信号特徴、及びＮ個のレベルのうちの個々のレベルの低周波信号特徴に対してそれぞれ量子化処理を行い、各レベルの低周波信号特徴の量子化結果を得て、各レベルの低周波信号特徴の量子化結果に対してエントロピー符号化を行い、各レベルにおけるオーディオ信号の低周波ストリームを得る。ステップ１０４ｂ２における高周波信号特徴の符号化過程は、ステップ１０４ａ１～ステップ１０４ａ２と類似するステップを採用して実現されてもよい。即ち、第１レベルの高周波信号特徴、及びＮ個のレベルのうちの個々のレベルの高周波信号特徴に対してそれぞれ量子化処理を行い、各レベルの高周波信号特徴の量子化結果を得て、各レベルの高周波信号特徴の量子化結果に対してエントロピー符号化を行い、各レベルにおけるオーディオ信号の高周波ストリームを得る。
【0088】
実際の応用において、オーディオ信号は、低周波サブバンド信号と高周波サブバンド信号とを含み、この場合、相応に、個々のレベルが出力した信号特徴は、低周波信号特徴と高周波信号特徴とを含む。これに基づき、信号特徴が低周波信号特徴と高周波信号特徴とを含むとき、いくつかの実施例において、図３に示されるステップ１０４は、さらにステップ１０４ｃ１～ステップ１０４ｃ３によって実現することができる。ステップ１０４ｃ１：第１符号化ビットレートに従って、第１レベルの低周波信号特徴を符号化し、第１レベルの第１ストリームを得て、且つ第２符号化ビットレートに従って、第１レベルの高周波信号特徴を符号化し、第１レベルの第２ストリームを得る。ステップ１０４ｃ２：Ｎ個のレベルのうちの個々のレベルの信号特徴に対して、それぞれ以下の処理を実行する。レベルの第３符号化ビットレートに従って、レベルの信号特徴をそれぞれ符号化し、各レベルの第２ストリームを得る。ステップ１０４ｃ３：第１レベルの第２ストリーム、及びＮ個のレベルのうちの個々のレベルの第２ストリームを各レベルにおけるオーディオ信号のストリームとする。
【0089】
説明する必要があるものとして、第１符号化ビットレートは、第２符号化ビットレートよりも大きく、第２符号化ビットレートは、Ｎ個のレベルのうちの任意の１つのレベルの第３符号化ビットレートよりも大きく、レベルの符号化ビットレートと相応なレベルのストリームの復号品質指標とに正の相関がある。ステップ１０４ｃ２では、Ｎ個のレベルのうちの個々のレベルに対して、それぞれ相応な第３符号化ビットレートを設定することができる。該Ｎ個のレベルのうちの個々のレベルの第３符号化ビットレートは、同じであってもよく、一部が同じで一部が異なってもよく、さらに完全に異なってもよい。ここで、レベルの符号化ビットレートと相応なレベルのストリームの復号品質指標とに正の相関の関係がある。即ち、符号化ビットレートが高いほど、その得られたストリームの復号品質指標（の値）が高くなり、第１レベルの低周波信号特徴に含まれるオーディオ信号の特徴が最も多く、従って、第１レベルの低周波信号特徴が採用する第１符号化ビットレートは、最も大きくなることにより、オーディオ信号の符号化効果を確保する。それと同時に、第１レベルの高周波信号特徴に対して、第１符号化ビットレートよりも小さい第２符号化ビットレートを採用して符号化し、及びＮ個のレベルのうちの個々のレベルの信号特徴に対して、第２符号化ビットレートよりも低い第３符号化ビットレートを採用して符号化し、オーディオ信号のより多くの特徴（高周波信号特徴、残差信号特徴を含む）を増加させると同時に、個々のレベルの符号化ビットレートを合理的に割り当てることによって、オーディオ信号の符号化効率が向上する。
【0090】
いくつかの実施例において、端末が各レベルにおけるオーディオ信号のストリームを得た後に、さらに、各レベルに対して、それぞれ以下の処理を実行することができる。レベルにおけるオーディオ信号のストリームに対して相応なレベル伝送優先度を設定する。ここで、レベル伝送優先度とレベルのレベル数とに負の相関があり、レベル伝送優先度と相応なレベルのストリームの復号品質指標とに正の相関がある。
【0091】
説明する必要があるものとして、該レベルのレベル伝送優先度は、該レベルのストリームの伝送優先度を特徴付けることに用いられる。レベル伝送優先度とレベルのレベル数とに負の相関があり、即ち、レベル数が大きいほど、それに対応するレベル伝送優先度は、低くなる。例えば、第１レベル（レベル数が１である）のレベル伝送優先度が第２レベル（レベル数が２である）のレベル伝送優先度よりも高い。これに基づき、各レベルのストリームを復号側に伝送するとき、設定されたレベル伝送優先度に従って、相応なレベルのストリームを伝送することができる。実際の応用において、複数のレベルにおけるオーディオ信号のストリームを復号側に伝送するとき、一部のレベルのストリームを伝送してもよく、全部のレベルのストリームを伝送してもよく、一部のレベルのストリームを伝送するときには設定されたレベル伝送優先度に従って、相応なレベルのストリームを伝送することができる。
【0092】
いくつかの実施例において、信号特徴は、低周波信号特徴と高周波信号特徴とを含み、各レベルにおけるオーディオ信号のストリームは、低周波信号特徴に基づき符号化して得られた低周波ストリームと、高周波信号特徴に基づき符号化して得られた高周波ストリームとを含み、端末は、各レベルにおけるオーディオ信号のストリームを得た後に、さらに、各レベルに対して、それぞれ以下の処理を実行することができる。レベルの低周波ストリームに第１伝送優先度を設定し、且つレベルの高周波ストリームに第２伝送優先度を設定し、ここで、第１伝送優先度は、第２伝送優先度よりも高く、第（ｉ－１）レベルの第２伝送優先度は、第ｉレベルの第１伝送優先度よりも低く、ストリームの伝送優先度と相応なストリームの復号品質指標とに正の相関がある。
【0093】
説明する必要があるものとして、ストリームの伝送優先度と相応なストリームの復号品質指標とに正の相関があり、高周波ストリームのデータ次元が低周波ストリームのデータ次元よりも小さい。従って、個々のレベルの低周波ストリームに含まれるオーディオ信号の元の情報は、高周波ストリームに含まれるオーディオ信号の元の情報よりも多い。つまり、高周波ストリームの復号品質に比べて低周波ストリームの復号品質指標を確保するために、個々のレベルに対して、レベルの低周波ストリームに第１伝送優先度を設定し、且つレベルの高周波ストリームに第２伝送優先度を設定することができる。該第１伝送優先度は、第２伝送優先度よりも高い。同時に、さらに、第（ｉ－１）レベルの第２伝送優先度が第ｉレベルの第１伝送優先度よりも低くなるように設定することができる。つまり、個々のレベルに対して、低周波ストリームの伝送優先度は、高周波ストリームの伝送優先度よりも高い。このようにして個々のレベルの低周波ストリームが優先的に伝送できることを確保し、複数のレベルに対して、第ｉレベルの低周波ストリームの伝送優先度は、第（ｉ－１）レベルの高周波ストリームの伝送優先度よりも高い。このようにして複数のレベルのすべての低周波ストリームが優先的に伝送できることを確保する。
【0094】
本願の上記実施例を応用すると、オーディオ信号に対するレベルごとの符号化が実現される。まず、オーディオ信号に対して第１レベルの特徴抽出を行い、第１レベルの信号特徴を得て、次に、Ｎ（Ｎは、１よりも大きい整数である）個のレベルのうちの第ｉ（ｉは、１よりも大きい整数であり、ｉは、Ｎ以下である）レベルに対して、オーディオ信号と第（ｉ－１）レベルの信号特徴とを継ぎ合わせ、継ぎ合わせ特徴を得て、且つ継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、第ｉレベルの信号特徴を得て、その後、ｉをトラバースすることによって、Ｎ個のレベルのうちの個々のレベルの信号特徴を得て、最後に、第１レベルの信号特徴、及びＮ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおけるオーディオ信号のストリームを得る。
【0095】
オーディオ信号をレベルごとに符号化することによって各レベルの信号特徴が得られ、各レベルの信号特徴のデータ次元は、オーディオ信号のデータ次元よりも小さいので。このように、オーディオ符号化過程において処理されるデータのデータ次元が削減され、オーディオ信号の符号化効率が向上する。
【0096】
オーディオ信号の信号特徴をレベルごとに抽出するとき、個々のレベルの出力は、いずれも次のレベルの入力として使用されることにより、個々のレベルは、いずれも前のレベルの抽出された信号特徴と組み合わされて、オーディオ信号に対してより正確な特徴抽出を行い、レベルの数の増加に伴って、特徴抽出過程におけるオーディオ信号の情報損失を最小限に抑えることができる。このように、該方式で抽出された信号特徴を符号化することによって得られた複数のストリームについては、それに含まれるオーディオ信号の情報は、元のオーディオ信号により近く、符号化過程におけるオーディオ信号の情報損失が低減し、オーディオ符号化の符号化品質が確保される。
【0097】
以下では、本願の実施例が提供するオーディオ復号方法を説明する。いくつかの実施例において、本願の実施例が提供するオーディオ復号方法は、各種の電子機器によって実施でき、例えば、端末が単独で実施してもよく、サーバが単独で実施してもよく、端末とサーバが協働して実施してもよい。端末が実施することを例とすると、図１０に参照されるように、図１０は、本願の実施例が提供するオーディオ復号方法のフローチャートであり、本願の実施例が提供するオーディオ復号方法は、以下のステップ６０１～ステップ６０４を含む。
【0098】
ステップ６０１：端末は、オーディオ信号を符号化して得られた複数のレベルのそれぞれに対応するストリームを受信する。
【0099】
ここでは、端末は、復号側として、オーディオ信号を符号化して得られた複数のレベルのそれぞれに対応するストリームを受信する。
【0100】
ステップ６０２：各レベルのストリームをそれぞれ復号し、各レベルの信号特徴を得る。
【0101】
ここで、信号特徴のデータ次元は、オーディオ信号のデータ次元よりも小さい。
【0102】
いくつかの実施例において、端末は、以下の方式で各レベルのストリームをそれぞれ復号し、各レベルの信号特徴を得ることができる。各レベルに対して、それぞれ以下の処理を実行する。レベルのストリームに対してエントロピー復号を行い、ストリームの量子化値を得て、ストリームの量子化値に対して逆量子化処理を行い、レベルの信号特徴を得る。
【0103】
実際の応用において、各レベルのストリームに対して、それぞれ以下の処理を実行することができる。該レベルのストリームに対してエントロピー復号を行い、ストリームの量子化値を得て、次に、オーディオ信号を符号化して該ストリームを得る過程で採用される量子化テーブルに基づき、ストリームの量子化値に対して逆量子化処理を行う、即ち、量子化テーブルによって、ストリームの量子化値と対応する信号特徴を問い合わせ、それにより該レベルの信号特徴を得る。
【0104】
実際の応用において、該受信された各レベルのストリームは、低周波ストリームと高周波ストリームとを含んでもよく、ここで、低周波ストリームは、オーディオ信号の低周波信号特徴に基づき符号化して得られ、高周波ストリームは、オーディオ信号の高周波信号特徴に基づき符号化して得られる。このように、各レベルのストリームを復号するとき、各レベルの低周波ストリームと高周波ストリームをそれぞれ復号してもよい。ここで、高周波ストリームと低周波ストリームの復号過程は、ストリームの復号過程と類似している。即ち、各レベルの低周波ストリームに対して、それぞれ以下の処理を実行する。該レベルの低周波ストリームに対してエントロピー復号を行い、低周波ストリームの量子化値を得て、低周波ストリームの量子化値に対して逆量子化処理を行い、該レベルの低周波信号特徴を得る。各レベルの高周波ストリームに対して、それぞれ以下の処理を実行する。該レベルの高周波ストリームに対してエントロピー復号を行い、高周波ストリームの量子化値を得て、高周波ストリームの量子化値に対して逆量子化処理を行い、該レベルの高周波信号特徴を得る。
【0105】
ステップ６０３：各レベルの信号特徴に対してそれぞれ特徴再構築を行い、各レベルのレベルオーディオ信号を得る。
【0106】
実際の応用において、復号して各レベルの信号特徴を得た後、各レベルの信号特徴に対してそれぞれ特徴再構築を行い、各レベルのレベルオーディオ信号を得る。いくつかの実施例において、端末は、以下の方式で各レベルの信号特徴に対してそれぞれ特徴再構築を行い、各レベルのレベルオーディオ信号を得ることができる。各レベルの信号特徴に対して、それぞれ以下の処理を実行する。信号特徴に対して第１畳み込み処理を行い、レベルの畳み込み特徴を得て、畳み込み特徴をアップサンプリングし、レベルのアップサンプリング特徴を得て、アップサンプリング特徴に対してプーリング処理を行い、レベルのプーリング特徴を得て、プーリング特徴に対して第２畳み込み処理を行い、レベルのレベルオーディオ信号を得る。
【0107】
実際の応用において、各レベルの信号特徴に対して、それぞれ以下の処理を実行する。まず、信号特徴に対して第１畳み込み処理を行い、該第１畳み込み処理は、チャネル数が予め設定された因果畳み込みを呼び出すことによって処理し、それにより該レベルの畳み込み特徴を得ることができる。次に、畳み込み特徴をアップサンプリングし、アップサンプリングファクターを予め設定し、それにより該アップサンプリングファクターに基づきアップサンプリングを行い、該レベルのアップサンプリング特徴を得ることができる。その後、アップサンプリング特徴に対してプーリング処理を行い、該プーリング処理は、プーリングファクターを予め設定し、更に該プーリングファクターに基づきアップサンプリング特徴に対してプーリング処理を行い、該レベルのプーリング特徴を得ることができる。最後に、プーリング特徴に対して第２畳み込み処理を行い、該第２畳み込み処理は、チャネル数が予め設定された因果畳み込みを呼び出すことによって処理し、それにより該レベルのレベルオーディオ信号を得ることができる。
【0108】
該アップサンプリングは、１つの復号層によって実現されてもよく、複数の復号層によって実現されてもよい。アップサンプリングがＬ（Ｌ＞１）個のカスケードされた復号層によって実現できるとき、端末は、以下の方式で畳み込み特徴をアップサンプリングし、レベルのアップサンプリング特徴を得ることができる。Ｌ個のカスケードされた復号層のうちの第１個目の復号層によって、プーリング特徴をアップサンプリングし、第１個目の復号層のアップサンプリング結果を得て、Ｌ個のカスケードされた復号層のうちの第ｋ個目の復号層によって、第（ｋ－１）個目の復号層の第１アップサンプリング結果をアップサンプリングし、第ｋ個目の復号層のアップサンプリング結果を得る。ここで、Ｌとｋは、１よりも大きい整数であり、ｋは、Ｌ以下である。ｋをトラバースし、第Ｌ個目の復号層のアップサンプリング結果を得て、且つ第Ｌ個目の復号層のアップサンプリング結果をレベルのアップサンプリング特徴とする。
【0109】
説明する必要があるものとして、個々の復号層のアップサンプリングファクターは、同じであってもよく、異なってもよい。
【0110】
ステップ６０４：複数のレベルのレベルオーディオ信号に対してオーディオ合成を行い、オーディオ信号を得る。
【0111】
実際の応用において、各レベルのレベルオーディオ信号を得た後に、複数のレベルのレベルオーディオ信号に対してオーディオ合成を行い、オーディオ信号を得る。
【0112】
いくつかの実施例において、ストリームは、低周波ストリームと高周波ストリームとを含み、図１０に示されるステップ６０２は、以下のステップによって実現することができる。各レベルの低周波ストリームをそれぞれ復号し、各レベルの低周波信号特徴を得て、且つ各レベルの高周波ストリームをそれぞれ復号し、各レベルの高周波信号特徴を得る。相応に、図１０に示されるステップ６０３は、以下のステップによって実現することができる。ステップ６０３１：各レベルの低周波信号特徴に対してそれぞれ特徴再構築を行い、各レベルのレベル低周波サブバンド信号を得て、且つ各レベルの高周波信号特徴に対してそれぞれ特徴再構築を行い、各レベルのレベル高周波サブバンド信号を得る。ステップ６０３２：レベル低周波サブバンド信号とレベル高周波サブバンド信号をレベルのレベルオーディオ信号とする。相応に、図１０に示されるステップ６０４は、以下のステップによって実現することができる。ステップ６０４１：複数のレベルのレベル低周波サブバンド信号を加算し、低周波サブバンド信号を得て、且つ複数のレベルのレベル高周波サブバンド信号を加算し、高周波サブバンド信号を得る。ステップ６０４２：低周波サブバンド信号と高周波サブバンド信号とを合成し、オーディオ信号を得る。
【0113】
いくつかの実施例において、ステップ６０４２は、以下のステップによって実現することができる。ステップ６０４２１：低周波サブバンド信号をアップサンプリングし、ローパスフィルタリングされた信号を得る。ステップ６０４２２：高周波サブバンド信号をアップサンプリングし、高周波フィルタリングされた信号を得る。ステップ６０４２３：ローパスフィルタリングされた信号と高周波フィルタリングされた信号に対してフィルタリング合成を行い、オーディオ信号を得る。説明する必要があるものとして、ステップ６０４２３では、ＱＭＦ合成フィルターによって合成処理を行い、オーディオ信号を得ることができる。
【0114】
これに基づき、ストリームが低周波ストリームと高周波ストリームとを含むときについて、図１１に参照されるように、図１１は本願の実施例が提供するオーディオ復号方法のフローチャートである。本願の実施例が提供するオーディオ復号方法は、オーディオ信号を符号化して得られた複数のレベルのそれぞれに対応する低周波ストリームと高周波ストリームを受信するステップ７０１と、各レベルの低周波ストリームをそれぞれ復号し、各レベルの低周波信号特徴を得るステップ７０２ａと、各レベルの高周波ストリームをそれぞれ復号し、各レベルの高周波信号特徴を得るステップ７０２ｂと、各レベルの低周波信号特徴に対してそれぞれ特徴再構築を行い、各レベルのレベル低周波サブバンド信号を得るステップ７０３ａと、各レベルの高周波信号特徴に対してそれぞれ特徴再構築を行い、各レベルのレベル高周波サブバンド信号を得るステップ７０３ｂと、複数のレベルのレベル低周波サブバンド信号を加算し、低周波サブバンド信号を得るステップ７０４ａと、複数のレベルのレベル高周波サブバンド信号を加算し、高周波サブバンド信号を得るステップ７０４ｂと、低周波サブバンド信号をアップサンプリングし、ローパスフィルタリングされた信号を得るステップ７０５ａと、高周波サブバンド信号をアップサンプリングし、高周波フィルタリングされた信号を得るステップ７０５ｂと、ローパスフィルタリングされた信号と高周波フィルタリングされた信号に対してフィルタリング合成を行い、オーディオ信号を得るステップ７０６と、を含む。
【0115】
説明する必要があるものとして、高周波信号特徴、及び低周波信号特徴の特徴再構築過程は、ステップ６０３における信号特徴の特徴再構築過程を参照することができる。即ち、各レベルの高周波信号特徴に対して、それぞれ以下の処理を実行する。高周波信号特徴に対して第１畳み込み処理を行い、レベルの高周波の畳み込み特徴を得て、高周波の畳み込み特徴をアップサンプリングし、レベルの高周波のアップサンプリング特徴を得て、高周波のアップサンプリング特徴に対してプーリング処理を行い、レベルの高周波のプーリング特徴を得て、高周波のプーリング特徴に対して第２畳み込み処理を行い、レベルの高周波のレベルオーディオ信号を得る。各レベルの低周波信号特徴に対して、それぞれ以下の処理を実行する。低周波信号特徴に対して第１畳み込み処理を行い、レベルの低周波の畳み込み特徴を得て、低周波の畳み込み特徴をアップサンプリングし、レベルの低周波アップサンプリング特徴を得て、低周波のアップサンプリング特徴に対してプーリング処理を行い、レベルの低周波のプーリング特徴を得て、低周波のプーリング特徴に対して第２畳み込み処理を行い、レベルの低周波のレベルオーディオ信号を得る。
【0116】
本願の上記実施例を応用すると、複数のレベルのストリームをそれぞれ復号し、各レベルの信号特徴を得て、且つ各レベルの信号特徴に対してそれぞれ特徴再構築を行い、各レベルのレベルオーディオ信号を得て、複数のレベルのレベルオーディオ信号に対してオーディオ合成を行い、オーディオ信号を得る。ストリームにおける信号特徴のデータ次元は、オーディオ信号のデータ次元よりも小さいので、関連技術において元のオーディオ信号を直接符号化して得られたストリームのデータ次元に比べてより小さくなり、オーディオ復号過程において処理されるデータのデータ次元が削減され、オーディオ信号の復号効率が向上する。
【0117】
以下では、１つの実際の応用シーンにおける本願の実施例の例示的な応用を説明することになる。
【0118】
オーディオ符号化・復号技術は、比較的少ないネットワーク帯域幅リソースを使用してできるだけ多くの音声情報を伝達するものである。オーディオコーデックの圧縮率は、１０倍以上に達することができ、つまり、元の１０ＭＢの音声データは、エンコーダの圧縮によって１ＭＢだけで伝送でき、情報の伝達に消費する必要がある帯域幅リソースが大幅に低減される。通信システムにおいて、通信の順調さを確保するために、業界内で標準的な音声符号化・復号プロトコルが配備されており、例えば、国際電気通信連合電気通信標準化部門（ＩＴＵ－Ｔ ｆｏｒ ＩＴＵ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ）、第３世代パートナーシッププロジェクト（３ＧＰＰ、３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）、インターネットエンジニアリングタスクフォース（ＩＥＴＦ、Ｔｈｅ Ｉｎｔｅｒｎｅｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔａｓｋ Ｆｏｒｃｅ）、オーディオ・ビデオ符号化標準（ＡＶＳ、Ａｕｄｉｏ Ｖｉｄｅｏ ｃｏｄｉｎｇ Ｓｔａｎｄａｒｄ）、中国通信標準協会（ＣＣＳＡ、Ｃｈｉｎａ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ）等の国際、及び国内の標準団体の標準、Ｇ．７１１、Ｇ．７２２、ＡＭＲシリーズ、ＥＶＳ、ＯＰＵＳ等の標準である。図１２は、異なるビットレートでのスペクトル比較の模式図の１つを示して、圧縮ビットレートと品質との関係を例示する。曲線１２０１は、元の音声のスペクトル曲線であり、即ち圧縮されていない信号である。曲線１２０２は、ＯＰＵＳエンコーダの２０ｋｂｐｓビットレートでのスペクトル曲線であり、曲線１２０３は、ＯＰＵＳエンコーダの６ｋｂｐｓビットレートでのスペクトル曲線である。図１２から明らかなように、符号化ビットレートの向上に伴って、圧縮された後の信号は、元の信号により近い。
【0119】
従来のオーディオ符号化は、時間領域符号化と周波数領域符号化との２種類に分けることができ、いずれも信号処理に基づく圧縮方法である。ここで、１）時間領域符号化、例えば波形符号化（ｗａｖｅｆｏｒｍ ｓｐｅｅｃｈ ｃｏｄｉｎｇ）は、音声信号の波形を直接符号化する。この種類の符号化方式の利点は、符号化された音声の品質が高いが、符号化効率が高くない。特に、音声信号であれば、パラメータを使用して符号化することができ、符号化側が行う必要があることは伝達しようとする音声信号の対応するパラメータを抽出することである。しかしながら、パラメータ符号化の利点は、符号化効率が極めて高いが、復元された音声の品質が非常に低い。２）周波数領域符号化は、オーディオ信号を周波数領域に変換し、周波数領域係数を抽出し、次に、周波数領域係数を符号化することであり、しかし、符号化効率も好ましくない。このように、信号処理に基づく圧縮方法は、符号化品質を確保すると同時に符号化効率を向上させることができない。
【0120】
これに基づき、本願の実施例は、オーディオ符号化方法、及びオーディオ復号方法を提供し、これにより、符号化効率を向上させると同時に符号化品質を確保する。本願の実施例において、ビットレートが低い区間であっても、符号化の内容、ネットワークの帯域幅の状況に応じて、異なる符号化方式の自由度を選択することができ、且つ複雑さと符号化品質が許容できる場合には、符号化効率を向上させることができる。図１３に参照されるように、図１３は、本願の実施例が提供するオーディオ符号化とオーディオ復号のフローチャートである。ここでは、レベルの数が２層であることを例としており（本願は、第３層、又は、より高いレベルの反復操作を制限しない）、本願の実施例が提供するオーディオ符号化方法は、以下を含む。
【0121】
（１）オーディオ信号に対してサブバンド分解を行い、低周波サブバンド信号と高周波サブバンド信号を得る。実際に実施するとき、第１サンプリング周波数に従ってオーディオ信号をサンプリングし、サンプリングされた信号を得て、次にサンプリングされた信号に対してサブバンド分解を行い、第１サンプリング周波数よりも低い周波数を有するサブバンド信号を得て、低周波サブバンド信号と高周波サブバンド信号とを含む。例えば、第ｎフレームのオーディオ信号［数１］に対して、分析フィルター（例えば、ＱＭＦフィルター）を使用して、低周波サブバンド信号［数２］と高周波サブバンド信号［数３］に分解する。
【0122】
【数1】
【数2】
【数3】
【0123】
（２）第１層の低周波分析ニューラルネットワークに基づき低周波サブバンド信号を分析し、第１層の低周波信号特徴を得る。例えば、低周波サブバンド信号［数４］に対して、第１層の低周波分析ニューラルネットワークを呼び出し、低次元の第１層の低周波信号特徴［数５］を取得する。説明する必要があるものとして、信号特徴の次元は、低周波サブバンド信号の次元よりも小さく（これにより、データ量を低減する）、ニューラルネットワークは、Ｄｉｌａｔｅｄ ＣＮＮ、Ａｕｔｏｅｎｃｏｄｅｒ、Ｆｕｌｌ－ｃｏｎｎｅｃｔｉｏｎ、ＬＳＴＭ、ＣＮＮ＋ＬＳＴＭ等を含むがこれらに限定されない。
【0124】
【数4】
【数5】
【0125】
（３）第１層の高周波分析ニューラルネットワークに基づき高周波サブバンド信号を分析し、第１層の高周波信号特徴を得る。例えば、高周波サブバンド信号［数６］に対して、第１層の高周波分析ニューラルネットワークを呼び出し、低次元の第１層の高周波信号特徴［数７］を取得する。
【0126】
【数6】
【数7】
【0127】
（４）第２層の低周波分析ニューラルネットワークに基づき低周波サブバンド信号と第１層の低周波信号特徴を分析し、第２層の低周波信号特徴（即ち、第２層の低周波残差信号特徴）を得る。例えば、［数８］と［数９］を併せて、第２層の低周波分析ニューラルネットワークを呼び出し、低次元の第２層の低周波信号特徴［数１０］を取得する。
【0128】
【数8】
【数9】
【数10】
【0129】
（５）第２層の高周波分析ニューラルネットワークに基づき高周波サブバンド信号と第１層の高周波信号特徴を分析し、第２層の高周波信号特徴（即ち、第２層の高周波残差信号特徴）を得る。例えば、［数１１］と［数１２］を併せて、第２層の高周波分析ニューラルネットワークを呼び出し、低次元の第２層の高周波信号特徴［数１３］を取得する。
【0130】
【数11】
【数12】
【数13】
【0131】
（６）量子化符号化部分によって、２層の信号特徴（第１層の低周波信号特徴、第１層の高周波信号特徴、第２層の低周波信号特徴、及び第２層の高周波信号特徴を含む）を量子化、及び符号化し、各層におけるオーディオ信号のストリームを得て、且つ各層のストリームに相応な伝送優先度を設定する。例えば、第１層は、より高い優先度で伝送され、第２層はそれに次ぎ、というように類推することができる。
【0132】
実際の応用において、復号側は、１層のストリームのみを受信する可能性があり、図１３に示すように、「１層復号」の方式を採用して復号することができる。これに基づき、本願の実施例が提供するオーディオ復号方法は、以下を含む。（１）受信した１層のストリームを復号し、該層の低周波信号特徴、及び高周波信号特徴を得る。（２）第１層の低周波合成ニューラルネットワークに基づき、低周波信号特徴を分析し、低周波サブバンド信号の推定値を得る。例えば、低周波信号特徴の量子化値［数１４］に基づき第１層の低周波合成ニューラルネットワークを呼び出し、低周波サブバンド信号の推定値［数１５］を生成する。（３）第１層の高周波合成ニューラルネットワークに基づき高周波信号特徴を分析し、高周波サブバンド信号の推定値を得る。例えば、高周波信号特徴の量子化値［数１６］に基づき第１層の高周波合成ニューラルネットワークを呼び出し、高周波サブバンド信号の推定値［数１７］を生成する。（４）低周波サブバンド信号の推定値［数１８］と高周波サブバンド信号の推定値［数１９］に基づき、合成フィルターによって合成フィルタリングを行い、最終的に再構築された、元のサンプリング周波数でのオーディオ信号［数２０］を得て、これにより復号過程を完了する。
【0133】
【数14】
【数15】
【数16】
【数17】
【数18】
【数19】
【数20】
【0134】
実際の応用において、復号側は、２層のストリームに対して、いずれも受信する可能性があり、図１３に示すように、「２層復号」の方式を採用して復号することができる。これに基づき、本願の実施例が提供するオーディオ復号方法は、以下を含む。
【0135】
（１）受信した各層のストリームを復号し、各層の低周波信号特徴、及び高周波信号特徴を得る。
【0136】
（２）第１層の低周波合成ニューラルネットワークに基づき第１層の低周波信号特徴を分析し、第１層の低周波サブバンド信号の推定値を得る。例えば、第１層の低周波信号特徴の量子化値［数２１］に基づき第１層の低周波合成ニューラルネットワークを呼び出し、第１層の低周波サブバンド信号の推定値［数２２］を生成する。
【0137】
【数21】
【数22】
【0138】
（３）第１層の高周波合成ニューラルネットワークに基づき第１層の高周波信号特徴を分析し、第１層の高周波サブバンド信号の推定値を得る。例えば、第１層の高周波信号特徴の量子化値［数２３］に基づき第１層の高周波合成ニューラルネットワークを呼び出し、第１層の高周波サブバンド信号の推定値［数２４］を生成する。
【0139】
【数23】
【数24】
【0140】
（４）第２層の低周波合成ニューラルネットワークに基づき第２層の低周波信号特徴を分析し、第２層の低周波サブバンド残差信号の推定値を得る。例えば、第２層の低周波信号特徴の量子化値［数２５］に基づき第２層の低周波合成ニューラルネットワークを呼び出し、低周波サブバンド残差信号の推定値［数２６］を生成する。
【0141】
【数25】
【数26】
【0142】
（５）第２層の高周波合成ニューラルネットワークに基づき第２層の高周波信号特徴を分析し、第２層の高周波サブバンド残差信号の推定値を得る。例えば、第２層の高周波信号特徴の量子化値［数２７］に基づき第２層の高周波合成ニューラルネットワークを呼び出し、高周波サブバンド残差信号の推定値［数２８］を生成する。
【0143】
【数27】
【数28】
【0144】
（６）低周波部分によって、第１層の低周波サブバンド信号の推定値と低周波サブバンド残差信号の推定値との和を求め、低周波サブバンド信号の推定値を得る。例えば、［数２９］と［数３０］との和を求め、低周波サブバンド信号の推定値を取得する。
【0145】
【数29】
【数30】
【0146】
（７）高周波部分によって、第１層の高周波サブバンド信号の推定値と高周波サブバンド残差信号の推定値との和を求め、高周波サブバンド信号の推定値を得る。例えば、［数３１］と［数３２］との和を求め、高品質高周波サブバンド信号の推定値を取得する。
【0147】
【数31】
【数32】
【0148】
（８）低周波サブバンド信号の推定値と高周波サブバンド信号の推定値に基づき、合成フィルターによって合成フィルタリングを行い、最終的に再構築された、元のサンプリング周波数でのオーディオ信号［数３３］を得て、これにより、復号過程を完了する。
【0149】
【数33】
【0150】
本願の実施例は、各種のオーディオシーン、例えば、遠隔音声通信に応用できる。遠隔音声通信を例とすると、図１４に参照されるように、図１４は、本願の実施例が提供する音声通信リンクの模式図である。ここでは、ボイスオーバーインターネットプロトコルに基づく音声伝送（ＶｏＩＰ、Ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）会議システムを例としており、本願の実施例に係る音声符号化・復号技術を符号化と復号部分に配備することにより、音声圧縮の基本的な機能を解決する。エンコーダは、アップリンククライアント１４０１に配備され、デコーダは、ダウンリンククライアント１４０２に配備され、アップリンククライアントによって音声を収集し、且つ前処理の強化、符号化等の処理を行い、符号化して得られたストリームをネットワークによってダウンリンククライアント１４０２に伝送し、ダウンリンククライアント１４０２によって復号、強化等の処理を行い、これにより、ダウンリンククライアント１４０２で復号された音声を再生する。
【0151】
上位互換性（即ち、新たなエンコーダと既存のエンコーダは、互換性がある）を考慮すると、システムのバックグラウンド（即ち、サーバ）にトランスコーダを配備する必要があることにより、新たなエンコーダと既存のエンコーダの相互接続・相互通信の問題を解決する。例えば、送信側（アップリンククライアント）が新たなＮＮエンコーダであれば、受信側（ダウンリンククライアント）は公衆交換電話網（ＰＳＴＮ、Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ）のデコーダ（例えば、Ｇ．７２２デコーダ）である。従って、サーバは、送信側が送信したストリームを受信した後に、受信側が正確に復号できるようにするには、まずＮＮデコーダを実行して音声信号を生成し、次にＧ．７２２エンコーダを呼び出して特定のストリームを生成する必要がある。同様のトランスコードのシーンについては、これ以上は説明されない。
【0152】
以下において、本願の実施例が提供するオーディオ符号化方法、及びオーディオ復号方法を詳細に紹介する前に、まず、ＱＭＦフィルターバンク、及び膨張畳み込みネットワークを紹介する。
【0153】
ＱＭＦフィルターバンクは、分析－合成を含む１つのフィルターペアである。ＱＭＦ分析フィルターに対して、サンプリングレートがＦｓである入力した信号をサンプリングレートがＦｓ／２である２つの信号に分解することができ、それぞれはＱＭＦローパス信号とＱＭＦハイパス信号を表している。図１５に示されるＱＭＦフィルターのローパス部分［数３４］とハイパス部分［数３５］のスペクトル応答の通りである。ＱＭＦ分析フィルターバンクの関連する理論的知識に基づき、上記ローパスフィルタリングとハイパスフィルタリングの係数間の相関性を容易に記述することができ、これは式（１）に示される。
［数３６］
［数３６］
【0154】
【数34】
【数35】
【数36】
【0155】
ここで、［数３７］は、ローパスフィルタリングの係数を表し、［数３８］は、ハイパスフィルタリングの係数を表す。
【0156】
【数37】
【数38】
【0157】
同様に、ＱＭＦ関連理論に従って、ＱＭＦ分析フィルターバンク［数３９］と［数４０］に基づき、ＱＭＦ合成フィルターバンクを記述することができ、式（２）［数４１］に示される。
【0158】
【数39】
【数40】
【数41】
【0159】
ここで、［数４２］は、復元されたローパス信号を表し、［数４３］は、復元されたハイパス信号を表す。
【0160】
【数42】
【数43】
【0161】
復号側が復元したローパスとハイパス信号は、ＱＭＦ合成フィルターバンクによって合成処理されると、入力信号に対応するサンプリングレートＦｓの再構築信号を復元することができる。
【0162】
図１６Ａと図１６Ｂに参照されるように、図１６Ａは、本願の実施例が提供する通常の畳み込みネットワークの模式図であり、図１６Ｂは、本願の実施例が提供する膨張畳み込みネットワークの模式図である。通常の畳み込みネットワークと比較すると、膨張畳み込みは、受容野を増加させると同時に、特徴マップの寸法が変化しないように維持することができ、さらに、アップサンプリング、ダウンサンプリングによる誤差を回避することができる。図１６Ａと図１６Ｂに示される畳み込みカーネルのサイズ（Ｋｅｒｎｅｌ Ｓｉｚｅ）がいずれも３×３であるが、図１６Ａに示される通常の畳み込みの受容野９０１が３のみであり、図１６Ｂに示される膨張畳み込みの受容野９０２が５に達する。つまり、寸法が３×３の畳み込みカーネルに対して、図１６Ａに示される通常の畳み込みの受容野が３であり、拡張率（Ｄｉｌａｔｉｏｎ Ｒａｔｅ）（畳み込みカーネルにおける点の間隔数）が１であり、図１６Ｂに示される膨張畳み込みの受容野が５であり、拡張率が２である。
【0163】
畳み込みカーネルは、さらに、図１６Ａ、又は図１６Ｂと類似する平面上を移動することができ、ここでは、シフトレート（Ｓｔｒｉｄｅ Ｒａｔｅ）（ステップサイズ）の概念に関する。例えば、畳み込みカーネルが１格子移動するごとに、対応するシフトレートが１になる。この他、さらに、畳み込みチャネル数の概念もあり、つまり、いくらの畳み込みカーネルに対応するパラメータを用いて畳み込み分析を行うかというものである。理論的に、チャネル数が多いほど、信号に対する分析はより包括的になり、精度が高くなるが、チャネルが高いほど、複雑さも高まる。例えば、１つの１×３２０のテンソルの場合、２４チャネルの畳み込み演算を使用することができ、出力が２４×３２０のテンソルである。説明する必要があるものとして、実際の応用のニーズに応じて、膨張畳み込みカーネルのサイズ（例えば、音声信号に対して、畳み込みカーネルのサイズが１×３に設定できる）、拡張率、シフトレート、及びチャネル数を自ら定義することができるが、本願の実施例はこれについて限定しない。
【0164】
以下では、Ｆｓ＝３２０００Ｈｚのオーディオ信号を例としており（本願の実施例は、他のサンプリング周波数のシーンにも適用でき、８０００Ｈｚ、１６０００Ｈｚ、４８０００Ｈｚ等を含むがこれらに限定されない）、ここでフレーム長は、２０ｍｓに設定され、Ｆｓ＝３２０００Ｈｚの場合、１フレームあたりに６４０個のサンプルポイントが含まれることに相当する。
【0165】
続いて、図１３に継続的に参照されるように、本願の実施例が提供するオーディオ符号化方法とオーディオ復号方法をそれぞれ詳細に説明する。ここで、本願の実施例が提供するオーディオ符号化方法は、以下を含む。第１ステップ：入力信号の生成。
【0166】
ここでは、第ｎフレームの６４０個のサンプルポイントを［数４４］と記す。
【0167】
【数44】
【0168】
第２ステップ：ＱＭＦサブバンド信号の分解。
【0169】
ここでは、ＱＭＦ分析フィルター（例えば、２チャネルのＱＭＦフィルター）を呼び出してフィルタリング処理を行い、且つフィルタリングして得られたフィルタリング信号をダウンサンプリングし、２部分のサブバンド信号、即ち、低周波サブバンド信号［数４５］と高周波サブバンド信号［数４６］を取得する。ここで、低周波サブバンド信号［数４７］の有効帯域幅が０～８ｋＨｚであり、高周波サブバンド信号［数４８］の有効帯域幅が８～１６ｋＨｚであり、１フレームあたりのサンプルポイント数が３２０である。
【0170】
【数45】
【数46】
【数47】
【数48】
【0171】
第３ステップ：第１層の低周波分析。
【0172】
ここでは、第１層の低周波分析ニューラルネットワークを呼び出す目的は、低周波サブバンド信号［数４９］に基づき、次元がより低い第１層の低周波信号特徴［数５０］を生成することである。本例では、［数５１］のデータ次元が３２０であり、［数５２］のデータ次元が６４であり、データ量から見ると、第１層の低周波分析ニューラルネットワークを経た後、「次元削減」の作用が果たされることが明らかであり、データ圧縮として理解できる。例として、図１７に参照されるように、図１７は、本願の実施例が提供する第１層の低周波分析ニューラルネットワークの構造模式図であり、低周波サブバンド信号［数５３］に対する処理プロセスは、以下を含む。
【0173】
【数49】
【数50】
【数51】
【数52】
【数53】
【0174】
（１）１つの２４チャネルの因果畳み込みを呼び出し、入力したテンソル（即ち、［数５４］）を、２４＊３２０のテンソルに拡張する。
【0175】
【数54】
【0176】
（２）２４＊３２０のテンソルに対して前処理を行う。実際の応用において、プーリングファクターが２であるプーリング（Ｐｏｏｌｉｎｇ）操作を行うことができ、且つ活性化関数がＲｅＬＵであってもよく、これにより、２４＊１６０のテンソルを生成する。
【0177】
（３）３つの異なる下降サンプリングファクター（Ｄｏｗｎ＿ｆａｃｔｏｒ）の符号化ブロックをカスケードする。符号化ブロック（Ｄｏｗｎ＿ｆａｃｔｏｒ＝４）を例とすると、まず、１つ又は複数の膨張畳み込みを実行することができ、個々の畳み込みカーネルのサイズは、いずれも１＊３に固定され、シフトレート（Ｓｔｒｉｄｅ ｒａｔｅ）は、いずれも１である。この他、該１つ又は複数の膨張畳み込みの拡張率（Ｄｉｌａｔｉｏｎ ｒａｔｅ）は、ニーズに応じて自ら設定でき、例えば３であるが、勿論、本願の実施例は異なる膨張畳み込みに異なる拡張率を設定することを制限しない。次に、３つの符号化ブロックのＤｏｗｎ＿ｆａｃｔｏｒをそれぞれ４、５、８に設定し、サイズが異なるプーリングファクターが設定されることと等価となり、下降サンプリングの作用が果たされる。最後に、３つの符号化ブロックのチャネル数をそれぞれ４８、９６、１９２に設定する。従って、３つのカスケードされた符号化ブロックによって、順に２４＊１６０のテンソルをそれぞれ４８＊４０、９６＊８、及び１９２＊１のテンソルに変換する。
【0178】
（４）１９２＊１のテンソルに対して、前処理と類似する因果畳み込みによって、１つの６４次元の特徴ベクトル、即ち、第１層の低周波信号特徴［数５５］を出力する。
【0179】
【数55】
【0180】
第４ステップ：第１層の高周波分析。
【0181】
ここでは、第１層の高周波分析ニューラルネットワークを呼び出す目的は、高周波サブバンド信号［数５６］に基づき、次元がより低い第１層の高周波信号特徴［数５７］を生成することである。本例では、第１層の高周波分析ニューラルネットワークの構造は、第１層の低周波分析ニューラルネットワークと一致することができる。即ち、入力した（即ち、［数５８］）データ次元が３２０次元であり、出力した（即ち、［数５９］）データ次元が６４次元である。低周波サブバンド信号よりも高周波サブバンド信号の重要性が比較的低いことを考慮すると、出力次元を適切に削減することができる。このようにして第１層の高周波分析ニューラルネットワークの複雑さを低減することができるが、本例では、制限しない。
【0182】
【数56】
【数57】
【数58】
【数59】
【0183】
第５ステップ：第２層の低周波分析。
【0184】
ここでは、第２層の低周波分析ニューラルネットワークを呼び出す目的は、低周波サブバンド信号［数６０］と第１層の低周波信号特徴［数６１］に基づき、次元がより低い第２層の低周波信号特徴［数６２］を得ることである。第２層の低周波信号特徴は、第１層の低周波分析ニューラルネットワークの出力によって復号側で再構築されたオーディオ信号の、元のオーディオ信号に対する残差を反映する。従って、復号側で、［数６３］に応じて低周波サブバンド信号の残差信号を予測し、且つ第１層の低周波分析ニューラルネットワークの出力によって予測された低周波サブバンド信号の推定値との和を求め、精度のより高い低周波サブバンド信号の推定値を取得することができる。
【0185】
【数60】
【数61】
【数62】
【数63】
【0186】
第２層の低周波分析ニューラルネットワークは、第１層の低周波分析ニューラルネットワークのタイプと類似する構造を採用する。図１８に参照されるように、図１８は、本願の実施例が提供する第２層の低周波分析ニューラルネットワークの構造模式図である。ここでは、第１層の低周波分析ニューラルネットワークのタイプとの主な相違点は、以下を含む。（１）第２層の低周波分析ニューラルネットワークの入力は、低周波サブバンド信号［数６４］を含む以外、第１層の低周波分析ニューラルネットワークの出力［数６５］をさらに含み、［数６６］と［数６７］の２つの変数は、３８４次元の継ぎ合わせ特徴に継ぎ合わせることができる。（２）第２層の低周波分析が残差信号を処理することを考慮して、第２層の低周波分析ニューラルネットワークの出力［数６８］の次元が２８に設定される。
【0187】
【数64】
【数65】
【数66】
【数67】
【数68】
【0188】
第６ステップ：第２層の高周波分析。
【0189】
ここでは、第２層の高周波分析ニューラルネットワークを呼び出す目的は、高周波サブバンド信号［数６９］と第１層の高周波信号特徴［数７０］に基づき、次元がより低い第２層の高周波信号特徴［数７１］を得ることである。第２層の高周波分析ニューラルネットワークの構造は、第２層の低周波分析ニューラルネットワークの構造と同じであってもよい。即ち、入力した（［数７２］と［数７３］の継ぎ合わせ特徴）データ次元が３８４次元であり、出力した（［数７４］）データ次元が２８次元である。
【0190】
【数69】
【数70】
【数71】
【数72】
【数73】
【数74】
【0191】
第７ステップ：量子化符号化。
【0192】
予め設定された量子化テーブルを問い合わせることによって、２層の出力した信号特徴に対して量子化処理を行い、且つ量子化して得られた量子化結果を符号化する。ここで、量子化は、スカラー量子化（各成分を単独で量子化する）の方式を採用することができ、符号化は、エントロピー符号化の方式を採用することができる。また、本願の実施例は、ベクトル量子化（隣接する複数の成分が１つのベクトルに組み合わせられ、共同で量子化される）とエントロピー符号化の技術的な組み合わせも制限しない。
【0193】
実際に実施するとき、第１層の低周波信号特徴［数７５］は、６４次元の特徴であり、８ｋｂｐｓを使用して符号化を完了することができ、１フレームあたりに１つのパラメータを量子化する平均ビットレートが２．５ｂｉｔであり、第１層の高周波信号特徴［数７６］は、６４次元の特徴であり、６ｋｂｐｓを使用して符号化を完了することができ、１フレームあたりに１つのパラメータを量子化する平均ビットレートが１．８７５ｂｉｔである。従って、第１層の符号化は、合計１４ｋｂｐｓである。
【0194】
【数75】
【数76】
【0195】
実際に実施するとき、第２層の低周波信号特徴［数７７］は、２８次元の特徴であり、３．５ｋｂｐｓを使用して符号化を完了することができ、１フレームあたりに１つのパラメータを量子化する平均ビットレートが２．５ｂｉｔであり、第２層の高周波信号特徴［数７８］は、２８次元の特徴であり、３．５ｋｂｐｓを使用して符号化を完了することができ、１フレームあたりに１つのパラメータを量子化する平均ビットレートが２．５ｂｉｔである。従って、第２層の符号化は、合計７ｋｂｐｓである。
【0196】
【数77】
【数78】
【0197】
これに基づき、レベルごとに符号化する方式によって、異なる特徴ベクトルを漸進的に符号化することができる。異なる応用シーンに応じて、本願の実施例は、他の方式のビットレート分布を制限せず、例えば、さらに第３層又はより高い層の符号化を反復して導入することができる。量子化符号化の後に、ストリームを生成することができ、異なる層のストリームに対して、異なる伝送戦略を採用し、異なる優先度での伝送を確保することができ、例えば、前方誤り訂正機能（Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ、ＦＥＣ）を採用して、冗長伝送によって伝送の品質を向上させることができ、異なる層の冗長倍数が同じではなく、例えば、第１層の冗長倍数は、やや高く設定できる。
【0198】
すべての層のストリームがいずれも復号側に受信され、且つ正確に復号されることを例とすると、本願の実施例が提供するオーディオ符号化方法は、以下を含む。
【0199】
第１ステップ：復号。
【0200】
ここでは、復号は、符号化の逆の過程である。受信したストリームを解析し、且つ量子化テーブルをルックアップすることによって、低周波信号特徴の推定値と高周波信号特徴の推定値を取得する。例示的に、第１層の場合、低周波サブバンド信号の６４次元の信号特徴の量子化値［数７９］、及び高周波サブバンド信号の６４次元の信号特徴の量子化値［数８０］を取得し、第２層の場合、低周波サブバンド信号の２８次元の信号特徴の量子化値［数８１］、及び高周波サブバンド信号の２８次元の信号特徴の量子化値［数８２］を取得する。
【0201】
【数79】
【数80】
【数81】
【数82】
【0202】
第２ステップ：第１層の低周波合成。
【0203】
ここでは、第１層の低周波合成ニューラルネットワークを呼び出す目的は、低周波特徴ベクトルの量子化値［数８３］に基づき、第１層の低周波サブバンド信号の推定値［数８４］を生成することである。例として、図１９に参照されるように、図１９は、本願の実施例が提供する第１層の低周波合成ニューラルネットワークのモデルの模式図である。ここでは、第１層の低周波合成ニューラルネットワークの処理プロセスは、第１層の低周波分析ニューラルネットワークの処理プロセスと類似しており、例えば、因果畳み込みである。第１層の低周波合成ニューラルネットワークの後処理の構造は、第１層の低周波分析ニューラルネットワークの前処理の構造と類似しており、復号ブロックの構造と符号化ブロックの構造とは対称的である。符号化側の符号化ブロックの場合、まず、膨張畳み込みを行い、次にプーリングして下降サンプリングを完了する。復号側の復号ブロックの場合、まず、プーリングを行って上昇サンプリングを完了し、次に膨張畳み込みを行う。
【0204】
【数83】
【数84】
【0205】
第３ステップ：第１層の高周波合成。
【0206】
ここでは、第１層の高周波合成ニューラルネットワークの構造は、第１層の低周波合成ニューラルネットワークの構造と同じであり、第１層の低周波信号特徴の量子化値［数８５］応じて、第１高周波サブバンド信号の推定値［数８６］取得することができる。
【0207】
【数85】
【数86】
【0208】
第４ステップ：第２層の低周波合成。
【0209】
ここでは、第２層の低周波合成ニューラルネットワークを呼び出す目的は、第２層の低周波信号特徴の量子化値［数８７］に基づき、低周波サブバンド残差信号の推定値［数８８］生成することである。図２０に参照されるように、図２０は、本願の実施例が提供する第２層の低周波合成ニューラルネットワークの構造模式図であり、該第２層の低周波合成ニューラルネットワークの構造は、第１層の低周波合成ニューラルネットワークの構造と類似しており、相違点は、入力したデータ次元が２８次元であることにある。
【0210】
【数87】
【数88】
【0211】
第５ステップ：第２層の高周波合成。
【0212】
ここでは、第２層の低周波合成ニューラルネットワークの構造は、第２層の低周波合成ニューラルネットワークの構造と同じであり、第２層の低周波信号特徴の量子化値［数８９］に基づき、高周波サブバンド残差信号の推定値［数９０］を生成することができる。
【0213】
【数89】
【数90】
【0214】
第６ステップ：合成フィルタリング。
【0215】
前のステップに基づき、復号側は、低周波サブバンド信号の推定値［数９１］と高周波サブバンド信号［数９２］、及び低周波サブバンド残差信号の推定値［数９３］と高周波サブバンド残差信号の推定値［数９４］を取得する。［数９５］と［数９６］とを加算し、精度の高い低周波サブバンド信号の推定値を生成し、［数９７］と［数９８］とを加算し、精度の高い高周波サブバンド信号の推定値を生成する。最後に、低周波サブバンド信号の推定値、及び高周波サブバンド信号の推定値に対してアップサンプリングを行い、且つＱＭＦ合成フィルターを呼び出して、アップサンプリング結果に対して合成フィルタリングを行う。この場合、６４０ポイントの再構築されたオーディオ信号［数９９］を生成する。
【0216】
【数91】
【数92】
【数93】
【数94】
【数95】
【数96】
【数97】
【数98】
【数99】
【0217】
本願の実施例において、データを収集することによって、符号化側と復号側の関連するニューラルネットワークを共同でトレーニングし、最適なパラメータを取得し、それにより、トレーニング済みのネットワークモデルを使用に投入することができる。本願の実施例において、一種の特定のネットワーク入力、ネットワーク構造、及びネットワーク出力の実施例のみが開示されているが、当業者は、ニーズに応じて上記構成を変更することができる。
【0218】
本願の上記実施例を応用すると、信号処理と深層学習ネットワークに基づくビットレートが低いオーディオ符号化・復号の技術的手段を完了することができる。信号分解、及び関連する信号処理技術と深層ニューラルネットワークとの有機的な結合によって、符号化効率は、関連技術に比べて顕著に向上し、複雑さが許容できる場合には、符号化品質も向上する。異なる符号化の内容と帯域幅の状況に応じて、符号化側は、異なるレベルごとに伝送する戦略を選択してストリームを伝送し、復号側は、下位層のストリームを受信し、許容可能な品質のオーディオ信号を出力し、他の上位層のストリームも受信すれば、高品質のオーディオを出力することができる。
【0219】
理解できるように、本願の実施例において、ユーザー情報（例えば、ユーザーが送信したオーディオ信号）等の関連データに関して、本願の実施例が製品、又は、技術に用いられるときには、ユーザーの許可、又は、同意を取得する必要があり、且つ関連データの収集、使用、及び処理は、関連する国と地域の関連する法律、法規、及び標準に準拠する必要がある。
【0220】
以下では、本願の実施例が提供するオーディオ符号化装置５５３がソフトウェアモジュールとして実施される例示的な構造を継続的に説明する。いくつかの実施例において、図２に示すように、メモリ５５０に記憶されるオーディオ符号化装置５５３におけるソフトウェアモジュールは、第１特徴抽出モジュール５５３１と、第２特徴抽出モジュール５５３２と、トラバースモジュール５５３３と、符号化モジュール５５３４とを含んでもよい。
【0221】
第１特徴抽出モジュール５５３１は、オーディオ信号に対して第１レベルの特徴抽出を行い、上記第１レベルの信号特徴を得るように構成され、第２特徴抽出モジュール５５３２は、Ｎ個のレベルのうちの第ｉレベルに対して、上記オーディオ信号と第（ｉ－１）レベルの信号特徴とを継ぎ合わせ、継ぎ合わせ特徴を得て、且つ上記継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、上記第ｉレベルの信号特徴を得るように構成されている。上記Ｎと上記ｉは、１よりも大きい整数であり、上記ｉは、上記Ｎ以下であり、トラバースモジュール５５３３は、上記ｉをトラバースし、上記Ｎ個のレベルのうちの個々のレベルの信号特徴を得るように構成されている。上記信号特徴のデータ次元は、上記オーディオ信号のデータ次元よりも小さく、符号化モジュール５５３４は、上記第１レベルの信号特徴、及び上記Ｎ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおける上記オーディオ信号のストリームを得るように構成される。
【0222】
いくつかの実施例において、上記第１特徴抽出モジュール５５３１は、さらに、上記オーディオ信号に対してサブバンド分解を行い、上記オーディオ信号の低周波サブバンド信号と高周波サブバンド信号を得て、上記低周波サブバンド信号に対して第１レベルの特徴抽出を行い、上記第１レベルの低周波信号特徴を得て、且つ上記高周波サブバンド信号に対して第１レベルの特徴抽出を行い、上記第１レベルの高周波信号特徴を得て、上記低周波信号特徴と上記高周波信号特徴を上記第１レベルの信号特徴とするように構成される。
【0223】
いくつかの実施例において、上記第１特徴抽出モジュール５５３１は、さらに、第１サンプリング周波数に従って上記オーディオ信号をサンプリングし、サンプリングされた信号を得て、上記サンプリングされた信号をローパスフィルタリングし、ローパスフィルタリングされた信号を得て、且つ上記ローパスフィルタリングされた信号をダウンサンプリングし、第２サンプリング周波数の上記低周波サブバンド信号を得て、上記サンプリングされた信号をハイパスフィルタリングし、ハイパスフィルタリングされた信号を得て、且つ上記ハイパスフィルタリングされた信号をダウンサンプリングし、第２サンプリング周波数の上記高周波サブバンド信号を得るように構成される。ここで、上記第２サンプリング周波数は、上記第１サンプリング周波数よりも小さい。
【0224】
いくつかの実施例において、上記第２特徴抽出モジュール５５３２は、さらに、上記オーディオ信号の低周波サブバンド信号と第（ｉ－１）レベルの低周波信号特徴とを継ぎ合わせて、第１継ぎ合わせ特徴を得る。また上記第１継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、上記第ｉレベルの低周波信号特徴を得て、上記オーディオ信号の高周波サブバンド信号と第（ｉ－１）レベルの高周波信号特徴とを継ぎ合わせ、第２継ぎ合わせ特徴を得る。また上記第２継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、上記第ｉレベルの高周波信号特徴を得て、上記第ｉレベルの低周波信号特徴と上記第ｉレベルの高周波信号特徴を上記第ｉレベルの信号特徴とするように構成される。
【0225】
いくつかの実施例において、上記第１特徴抽出モジュール５５３１は、さらに、上記オーディオ信号に対して第１畳み込み処理を行い、上記第１レベルの畳み込み特徴を得て、上記畳み込み特徴に対して第１プーリング処理を行い、上記第１レベルのプーリング特徴を得て、上記プーリング特徴に対して第１ダウンサンプリングを行い、上記第１レベルのダウンサンプリング特徴を得て、上記ダウンサンプリング特徴に対して第２畳み込み処理を行い、上記第１レベルの信号特徴を得るように構成される。
【0226】
いくつかの実施例において、上記第１ダウンサンプリングは、Ｍ個のカスケードされた符号化層によって実現される。上記第１特徴抽出モジュール５５３１は、さらに、上記Ｍ個のカスケードされた符号化層のうちの第１個目の符号化層によって、上記プーリング特徴に対して第１ダウンサンプリングを行い、上記第１個目の符号化層のダウンサンプリング結果を得ることと、上記Ｍ個のカスケードされた符号化層のうちの第ｊ個目の符号化層によって、第（ｊ－１）個の符号化層のダウンサンプリング結果に対して第１ダウンサンプリングを行い、上記第ｊ個目の符号化層のダウンサンプリング結果を得ることと、ここで、上記Ｍと上記ｊは、１よりも大きい整数であり、上記ｊは、上記Ｍ以下である、ことと、上記ｊをトラバースし、第Ｍ個目の符号化層のダウンサンプリング結果を得て、且つ上記第Ｍ個目の符号化層のダウンサンプリング結果を上記第１レベルのダウンサンプリング特徴とすることと、を行うように構成される。
【0227】
いくつかの実施例において、上記第２特徴抽出モジュール５５３２は、さらに、上記継ぎ合わせ特徴に対して第３畳み込み処理を行い、上記第ｉレベルの畳み込み特徴を得て、上記畳み込み特徴に対して第２プーリング処理を行い、上記第ｉレベルのプーリング特徴を得て、上記プーリング特徴に対して第２ダウンサンプリングを行い、上記第ｉレベルのダウンサンプリング特徴を得て、上記ダウンサンプリング特徴に対して第４畳み込み処理を行い、上記第ｉレベルの信号特徴を得るように構成される。
【0228】
いくつかの実施例において、上記符号化モジュール５５３４は、さらに、上記第１レベルの信号特徴、及び上記Ｎ個のレベルのうちの個々のレベルの信号特徴に対してそれぞれ量子化処理を行い、各レベルの信号特徴の量子化結果を得て、上記各レベルの信号特徴の量子化結果に対してエントロピー符号化を行い、各レベルにおける上記オーディオ信号のストリームを得るように構成される。
【0229】
いくつかの実施例において、上記信号特徴は、低周波信号特徴と高周波信号特徴とを含む。上記符号化モジュール５５３４は、さらに、上記第１レベルの低周波信号特徴、及び上記Ｎ個のレベルのうちの個々のレベルの低周波信号特徴をそれぞれ符号化し、各レベルにおける上記オーディオ信号の低周波ストリームを得て、上記第１レベルの高周波信号特徴、及び上記Ｎ個のレベルのうちの個々のレベルの高周波信号特徴をそれぞれ符号化し、各レベルにおける上記オーディオ信号の高周波ストリームを得て、各レベルにおける上記オーディオ信号の低周波ストリーム、及び高周波ストリームを相応なレベルにおける上記オーディオ信号のストリームとするように構成される。
【0230】
いくつかの実施例において、上記信号特徴は、低周波信号特徴と高周波信号特徴とを含む。上記符号化モジュール５５３４は、さらに、第１符号化ビットレートに従って、上記第１レベルの低周波信号特徴を符号化し、第１レベルの第１ストリームを得て、且つ第２符号化ビットレートに従って、上記第１レベルの高周波信号特徴を符号化し、第１レベルの第２ストリームを得て、上記Ｎ個のレベルのうちの個々のレベルの信号特徴に対して、それぞれ以下の処理を実行するように構成されている。上記レベルの第３符号化ビットレートに従って、上記レベルの信号特徴をそれぞれ符号化し、各上記レベルの第２ストリームを得て、上記第１レベルの第２ストリーム、及び上記Ｎ個のレベルのうちの個々のレベルの第２ストリームを各レベルにおける上記オーディオ信号のストリームとする。ここで、上記第１符号化ビットレートは、上記第２符号化ビットレートよりも大きく、上記第２符号化ビットレートは、上記Ｎ個のレベルのうちの任意の１つのレベルの第３符号化ビットレートよりも大きく、上記レベルの符号化ビットレートと相応なレベルのストリームの復号品質指標とに正の相関がある。
【0231】
いくつかの実施例において、上記符号化モジュール５５３４は、さらに、各上記レベルに対して、それぞれ以下の処理を実行するように構成されている。上記レベルにおける上記オーディオ信号のストリームに対して相応なレベル伝送優先度を設定する。ここで、上記レベル伝送優先度と上記レベルのレベル数とに負の相関があり、上記レベル伝送優先度と相応なレベルのストリームの復号品質指標とに正の相関がある。
【0232】
いくつかの実施例において、上記信号特徴は、低周波信号特徴と高周波信号特徴とを含み、各レベルにおける上記オーディオ信号のストリームは、上記低周波信号特徴に基づき符号化して得られた低周波ストリーム、及び上記高周波信号特徴に基づき符号化して得られた高周波ストリームを含む。上記符号化モジュール５５３４は、さらに、各上記レベルに対して、それぞれ以下の処理を実行するように構成される。上記レベルの低周波ストリームに第１伝送優先度を設定し、且つ上記レベルの高周波ストリームに第２伝送優先度を設定するように構成される。ここで、上記第１伝送優先度は、上記第２伝送優先度よりも高く、第（ｉ－１）レベルの上記第２伝送優先度は、第ｉレベルの上記第１伝送優先度よりも低く、上記ストリームの伝送優先度と相応なストリームの復号品質指標とに正の相関がある。
【0233】
本願の上記実施例を応用すると、オーディオ信号に対するレベルごとの符号化が実現される。まず、オーディオ信号に対して第１レベルの特徴抽出を行い、第１レベルの信号特徴を得て、次に、Ｎ（Ｎは、１よりも大きい整数である）個のレベルのうちの第ｉ（ｉは、１よりも大きい整数であり、ｉは、Ｎ以下である）レベルに対して、オーディオ信号と第（ｉ－１）レベルの信号特徴とを継ぎ合わせて、継ぎ合わせ特徴を得て、且つ継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、第ｉレベルの信号特徴を得て、その後、ｉをトラバースすることによって、Ｎ個のレベルのうちの個々のレベルの信号特徴を得て、最後に、第１レベルの信号特徴、及びＮ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおけるオーディオ信号のストリームを得る。
【0234】
第１に、抽出された信号特徴のデータ次元は、オーディオ信号のデータ次元よりも小さい。このように、オーディオ符号化過程において処理されるデータのデータ次元が削減され、オーディオ信号の符号化効率が向上する。
【0235】
第２に、オーディオ信号の信号特徴をレベルごとに抽出するとき、個々のレベルの出力は、いずれも次のレベルの入力として使用される。これにより、個々のレベルは、いずれも前のレベルの抽出された信号特徴と組み合わせて、オーディオ信号に対してより正確な特徴抽出を行い、レベルの数の増加に伴って、特徴抽出過程におけるオーディオ信号の情報損失を最小限に抑えることができる。このように、該方式で抽出された信号特徴を符号化することによって得られた複数のストリームについては、それに含まれるオーディオ信号の情報は、元のオーディオ信号により近く、符号化過程におけるオーディオ信号の情報損失が低減し、オーディオ符号化の符号化品質が確保される。
【0236】
以下では、本願の実施例が提供するオーディオ復号装置を説明する。本願の実施例が提供するオーディオ復号装置は、オーディオ信号を符号化して得られた複数のレベルのそれぞれに対応するストリームを受信するように構成される受信モジュールと、各上記レベルのストリームをそれぞれ復号し、各上記レベルの信号特徴を得るように構成される復号モジュールであって、上記信号特徴のデータ次元は、上記オーディオ信号のデータ次元よりも小さい、復号モジュールと、各上記レベルの信号特徴に対してそれぞれ特徴再構築を行い、各上記レベルのレベルオーディオ信号を得るように構成される特徴再構築モジュールと、複数の上記レベルのレベルオーディオ信号に対してオーディオ合成を行い、上記オーディオ信号を得るように構成されるオーディオ合成モジュールと、を含む。
【0237】
いくつかの実施例において、上記ストリームは、低周波ストリームと高周波ストリームとを含む。上記復号モジュールは、さらに、各上記レベルの低周波ストリームをそれぞれ復号し、各上記レベルの低周波信号特徴を得て、且つ各上記レベルの高周波ストリームをそれぞれ復号し、各上記レベルの高周波信号特徴を得るように構成される。相応に、上記特徴再構築モジュールは、さらに、各上記レベルの低周波信号特徴に対してそれぞれ特徴再構築を行い、各上記レベルのレベル低周波サブバンド信号を得て、且つ各上記レベルの高周波信号特徴に対してそれぞれ特徴再構築を行い、各上記レベルのレベル高周波サブバンド信号を得て、上記レベル低周波サブバンド信号と上記レベル高周波サブバンド信号を上記レベルのレベルオーディオ信号とするように構成される。相応に、上記オーディオ合成モジュールは、さらに、複数の上記レベルのレベル低周波サブバンド信号を加算し、低周波サブバンド信号を得て、且つ複数の上記レベルのレベル高周波サブバンド信号を加算し、高周波サブバンド信号を得て、上記低周波サブバンド信号と上記高周波サブバンド信号とを合成し、上記オーディオ信号を得るように構成される。
【0238】
いくつかの実施例において、上記オーディオ合成モジュールは、さらに、上記低周波サブバンド信号をアップサンプリングし、ローパスフィルタリングされた信号を得て、上記高周波サブバンド信号をアップサンプリングし、高周波フィルタリングされた信号を得て、上記ローパスフィルタリングされた信号と上記高周波フィルタリングされた信号に対してフィルタリング合成を行い、上記オーディオ信号を得るように構成される。
【0239】
いくつかの実施例において、上記特徴再構築モジュールは、さらに、各上記レベルの信号特徴に対して、それぞれ以下の処理を実行するように構成される。上記信号特徴に対して第１畳み込み処理を行い、上記レベルの畳み込み特徴を得て、上記畳み込み特徴をアップサンプリングし、上記レベルのアップサンプリング特徴を得て、上記アップサンプリング特徴に対してプーリング処理を行い、上記レベルのプーリング特徴を得て、上記プーリング特徴に対して第２畳み込み処理を行い、上記レベルのレベルオーディオ信号を得る。
【0240】
いくつかの実施例において、上記アップサンプリングは、Ｌ個のカスケードされた復号層によって実現される。上記特徴再構築モジュールは、さらに、上記Ｌ個のカスケードされた復号層のうちの第１個目の復号層によって、上記プーリング特徴をアップサンプリングし、上記第１個目の復号層のアップサンプリング結果を得ることと、上記Ｌ個のカスケードされた復号層のうちの第ｋ個目の復号層によって、第（ｋ－１）個目の復号層の第１アップサンプリング結果をアップサンプリングし、上記第ｋ個目の復号層のアップサンプリング結果を得ることであって、ここで、上記Ｌと上記ｋは、１よりも大きい整数であり、上記ｋは、上記Ｌ以下である、ことと、上記ｋをトラバースし、第Ｌ個目の復号層のアップサンプリング結果を得て、且つ上記第Ｌ個目の復号層のアップサンプリング結果を上記レベルのアップサンプリング特徴とすることと、を行うように構成される。
【0241】
いくつかの実施例において、上記復号モジュールは、さらに、各上記レベルに対して、それぞれ以下の処理を実行するように構成される。上記レベルのストリームに対してエントロピー復号を行い、上記ストリームの量子化値を得て、上記ストリームの量子化値に対して逆量子化処理を行い、上記レベルの信号特徴を得る。
【0242】
本願の上記実施例を応用すると、複数のレベルのストリームをそれぞれ復号し、各レベルの信号特徴を得て、且つ各レベルの信号特徴に対してそれぞれ特徴再構築を行い、各レベルのレベルオーディオ信号を得て、複数のレベルのレベルオーディオ信号に対してオーディオ合成を行い、オーディオ信号を得る。信号特徴のデータ次元は、オーディオ信号のデータ次元よりも小さいので、オーディオ復号過程において処理されるデータのデータ次元が削減され、オーディオ信号の復号効率が向上する。
【0243】
本願の実施例は、コンピュータプログラム製品、又は、コンピュータプログラムをさらに提供し、該コンピュータプログラム製品、又は、コンピュータプログラムは、コンピュータ命令を含み、該コンピュータ命令は、コンピュータ可読記憶媒体に記憶される。コンピュータ機器のプロセッサは、コンピュータ可読記憶媒体から該コンピュータ命令を読み取り、プロセッサは、該コンピュータ命令を実行して、該コンピュータ機器に本願の実施例が提供する方法を実行させる。
【0244】
本願の実施例は、コンピュータ可読記憶媒体をさらに提供し、その中に、実行可能な命令が記憶されており、実行可能な命令がプロセッサに実行されるとき、プロセッサが本願の実施例が提供する方法を実行することが引き起こされることになる。
【0245】
いくつかの実施例において、コンピュータ可読記憶媒体は、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、消去可能プログラマブル読み取り専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＥＰＲＯＭ）、フラッシュメモリ、磁気表面メモリ、光ディスク、又は、ＣＤ－ＲＯＭ等のメモリであってもよく、上記メモリの１つ、又は、任意の組み合わせを含む各種の機器であってもよい。
【0246】
いくつかの実施例において、実行可能な命令は、プログラム、ソフトウェア、ソフトウェアモジュール、スクリプト、又は、コードの形式を採用して、任意の形式のプログラミング言語（コンパイル、又は、インタープリタ言語、或いは、宣言型、又は、手続き型言語を含む）に従って書くことができ、且つそれは、任意の形式に従って配備することができ、独立したプログラムとして配備されること、或いは、モジュール、コンポーネント、サブルーチン、又は、コンピューティング環境における使用に適する他のユニットとして配備されることを含む。
【0247】
例として、実行可能な命令は、ファイルシステムにおけるファイルに対応し得るが、必ず対応するわけではなく、他のプログラム、又は、データを保存するファイルの一部に記憶されてもよい。例えば、ハイパーテキストマークアップ言語（ＨＴＭＬ、Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）ドキュメントにおける１つ、又は、複数のスクリプトに記憶され、検討されるプログラム専用の単一のファイルに記憶され、又は、複数の共同ファイル（例えば、１つ、又は、複数のモジュール、サブプログラム、又は、コード部分を記憶するファイル）に記憶される。
【0248】
例として、実行可能な命令は、１つのコンピューティング機器において実行されるか、又は、１つの場所に位置する複数のコンピューティング機器において実行されるか、また、又は、複数の場所に分布し、且つ通信ネットワークによって相互接続される複数のコンピューティング機器において実行されるように配備されてもよい。
【0249】
以上の内容は、本願の実施例に過ぎず、本願の保護範囲を限定することに用いられるものではない。本願の精神と範囲内に行ったすべての修正、均等な構成への置換、及び改良等は、いずれも本願の保護範囲内に含まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図17】
【図18】
【図19】
【図20】
【手続補正書】
【提出日】2024-04-24
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
電子機器によって実行される、オーディオ符号化方法であって、前記方法は、オーディオ信号に対して第１レベルの特徴抽出を行い、前記第１レベルの信号特徴を得るステップと、
Ｎ個のレベルのうちの第ｉレベルに対して、前記オーディオ信号と第（ｉ－１）レベルの信号特徴とを継ぎ合わせ、継ぎ合わせ特徴を得て、且つ前記継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、前記第ｉレベルの信号特徴を得るステップであって、前記Ｎと前記ｉは、１よりも大きい整数であり、前記ｉは、前記Ｎ以下である、ステップと、
前記ｉをトラバースし、前記Ｎ個のレベルのうちの個々のレベルの信号特徴を得るステップであって、前記信号特徴のデータ次元は、前記オーディオ信号のデータ次元よりも小さい、ステップと、
前記第１レベルの信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおける前記オーディオ信号のストリームを得るステップと、を含むオーディオ符号化方法。
【請求項2】
オーディオ信号に対して第１レベルの特徴抽出を行い、前記第１レベルの信号特徴を得るステップは、前記オーディオ信号に対してサブバンド分解を行い、前記オーディオ信号の低周波サブバンド信号と高周波サブバンド信号を得るステップと、
前記低周波サブバンド信号に対して第１レベルの特徴抽出を行い、前記第１レベルの低周波信号特徴を得て、前記高周波サブバンド信号に対して第１レベルの特徴抽出を行い、前記第１レベルの高周波信号特徴を得るステップと、
前記低周波信号特徴と前記高周波信号特徴とを前記第１レベルの信号特徴として決定するステップと、を含む、請求項１に記載の方法。
【請求項3】
前記オーディオ信号に対してサブバンド分解を行い、前記オーディオ信号の低周波サブバンド信号と高周波サブバンド信号を得るステップは、第１サンプリング周波数に従って前記オーディオ信号をサンプリングし、サンプリングされた信号を得るステップと、
前記サンプリングされた信号をローパスフィルタリングし、ローパスフィルタリングされた信号を得て、且つ前記ローパスフィルタリングされた信号をダウンサンプリングし、第２サンプリング周波数の前記低周波サブバンド信号を得るステップと、
前記サンプリングされた信号をハイパスフィルタリングし、ハイパスフィルタリングされた信号を得て、且つ前記ハイパスフィルタリングされた信号をダウンサンプリングし、第２サンプリング周波数の前記高周波サブバンド信号を得るステップと、を含み、
前記第２サンプリング周波数は、前記第１サンプリング周波数よりも小さい、請求項２に記載の方法。
【請求項4】
Ｎ個のレベルのうちの第ｉレベルに対して、前記オーディオ信号と第（ｉ－１）レベルの信号特徴とを継ぎ合わせ、継ぎ合わせ特徴を得て、且つ前記継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、前記第ｉレベルの信号特徴を得るステップは、前記オーディオ信号の低周波サブバンド信号と第（ｉ－１）レベルの低周波信号特徴とを継ぎ合わせ、第１継ぎ合わせ特徴を得て、且つ前記第１継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、前記第ｉレベルの低周波信号特徴を得るステップと、
前記オーディオ信号の高周波サブバンド信号と第（ｉ－１）レベルの高周波信号特徴とを継ぎ合わせ、第２継ぎ合わせ特徴を得て、且つ前記第２継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、前記第ｉレベルの高周波信号特徴を得るステップと、
前記第ｉレベルの低周波信号特徴と前記第ｉレベルの高周波信号特徴とを前記第ｉレベルの信号特徴として決定するステップと、を含む、請求項２に記載の方法。
【請求項5】
オーディオ信号に対して第１レベルの特徴抽出を行い、前記第１レベルの信号特徴を得るステップは、前記オーディオ信号に対して第１畳み込み処理を行い、前記第１レベルの畳み込み特徴を得るステップと、
前記畳み込み特徴に対して第１プーリング処理を行い、前記第１レベルのプーリング特徴を得るステップと、
前記プーリング特徴に対して第１ダウンサンプリングを行い、前記第１レベルのダウンサンプリング特徴を得るステップと、
前記ダウンサンプリング特徴に対して第２畳み込み処理を行い、前記第１レベルの信号特徴を得るステップと、を含む、請求項１に記載の方法。
【請求項6】
前記第１ダウンサンプリングは、Ｍ個のカスケードされた符号化層によって実現され、前記プーリング特徴に対して第１ダウンサンプリングを行い、前記第１レベルのダウンサンプリング特徴を得るステップは、
前記Ｍ個のカスケードされた符号化層のうちの第１個目の符号化層によって、前記プーリング特徴に対して第１ダウンサンプリングを行い、前記第１個目の符号化層のダウンサンプリング結果を得るステップと、
前記Ｍ個のカスケードされた符号化層のうちの第ｊ個目の符号化層によって、第（ｊ－１）個の符号化層のダウンサンプリング結果に対して第１ダウンサンプリングを行い、前記第ｊ個目の符号化層のダウンサンプリング結果を得るステップであって、前記Ｍと前記ｊは、１よりも大きい整数であり、前記ｊは、前記Ｍ以下である、ステップと、
前記ｊをトラバースし、第Ｍ個目の符号化層のダウンサンプリング結果を得て、且つ前記第Ｍ個目の符号化層のダウンサンプリング結果を前記第１レベルのダウンサンプリング特徴として決定するステップと、を含む、請求項５に記載の方法。
【請求項7】
前記継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、前記第ｉレベルの信号特徴を得ることは、前記継ぎ合わせ特徴に対して第３畳み込み処理を行い、前記第ｉレベルの畳み込み特徴を得るステップと、
前記畳み込み特徴に対して第２プーリング処理を行い、前記第ｉレベルのプーリング特徴を得るステップと、
前記プーリング特徴に対して第２ダウンサンプリングを行い、前記第ｉレベルのダウンサンプリング特徴を得るステップと、
前記ダウンサンプリング特徴に対して第４畳み込み処理を行い、前記第ｉレベルの信号特徴を得るステップと、を含む、請求項１に記載の方法。
【請求項8】
前記第１レベルの信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおける前記オーディオ信号のストリームを得るステップは、前記第１レベルの信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの信号特徴に対してそれぞれ量子化処理を行い、各レベルの信号特徴の量子化結果を得るステップと、
前記各レベルの信号特徴の量子化結果に対してエントロピー符号化を行い、各レベルにおける前記オーディオ信号のストリームを得るステップと、を含む、請求項１に記載の方法。
【請求項9】
前記信号特徴は、低周波信号特徴と高周波信号特徴とを含み、前記第１レベルの信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおける前記オーディオ信号のストリームを得る前記ステップは、
前記第１レベルの低周波信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの低周波信号特徴をそれぞれ符号化し、各レベルにおける前記オーディオ信号の低周波ストリームを得るステップと、
前記第１レベルの高周波信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの高周波信号特徴をそれぞれ符号化し、各レベルにおける前記オーディオ信号の高周波ストリームを得るステップと、
各レベルにおける前記オーディオ信号の低周波ストリーム、及び高周波ストリームを相応なレベルにおける前記オーディオ信号のストリームとして決定するステップと、を含む、請求項１に記載の方法。
【請求項10】
前記信号特徴は、低周波信号特徴と高周波信号特徴とを含み、前記第１レベルの信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおける前記オーディオ信号のストリームを得るステップは、
第１符号化ビットレートに従って、前記第１レベルの低周波信号特徴を符号化し、第１レベルの第１ストリームを得て、且つ第２符号化ビットレートに従って、前記第１レベルの高周波信号特徴を符号化し、第１レベルの第２ストリームを得るステップと、
前記Ｎ個のレベルのうちの個々のレベルの信号特徴に対して、前記レベルの第３符号化ビットレートに従って、前記レベルの信号特徴をそれぞれ符号化し、各前記レベルの第２ストリームを得る、という処理をそれぞれ実行する、ステップと、
前記第１レベルの第２ストリーム、及び前記Ｎ個のレベルのうちの個々のレベルの第２ストリームを各レベルにおける前記オーディオ信号のストリームとして決定するステップと、を含み、
前記第１符号化ビットレートは、前記第２符号化ビットレートよりも大きく、前記第２符号化ビットレートは、前記Ｎ個のレベルのうちの任意の１つのレベルの第３符号化ビットレートよりも大きく、前記レベルの符号化ビットレートと相応なレベルのストリームの復号品質指標とに正の相関がある、請求項１に記載の方法。
【請求項11】
前記第１レベルの信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおける前記オーディオ信号のストリームを得るステップの後に、前記方法は、各前記レベルに対して、
前記レベルにおける前記オーディオ信号のストリームに対して相応なレベル伝送優先度を設定する、という処理をそれぞれ実行する、ステップをさらに含み、
前記レベル伝送優先度と前記レベルのレベル数とに負の相関があり、前記レベル伝送優先度と相応なレベルのストリームの復号品質指標とに正の相関がある、請求項１に記載の方法。
【請求項12】
前記信号特徴は、低周波信号特徴と高周波信号特徴とを含み、各レベルにおける前記オーディオ信号のストリームは、前記低周波信号特徴に基づき符号化して得られた低周波ストリーム、及び前記高周波信号特徴に基づき符号化して得られた高周波ストリームを含み、前記方法は、各前記レベルに対して、前記レベルの低周波ストリームに第１伝送優先度を設定し、且つ前記レベルの高周波ストリームに第２伝送優先度を設定する、という処理をそれぞれ実行するステップをさらに含み、
前記第１伝送優先度は、前記第２伝送優先度よりも高く、第（ｉ－１）レベルの前記第２伝送優先度は、第ｉレベルの前記第１伝送優先度よりも低く、前記ストリームの伝送優先度と相応なストリームの復号品質指標とに正の相関がある、請求項１に記載の方法。
【請求項13】
電子機器によって実行される、オーディオ復号方法であって、前記方法は、オーディオ信号を符号化して得られた複数のレベルのそれぞれに対応するストリームを受信するステップと、
各前記レベルのストリームをそれぞれ復号し、各前記レベルの信号特徴を得るステップであって、前記信号特徴のデータ次元は、前記オーディオ信号のデータ次元よりも小さい、ステップと、
各前記レベルの信号特徴に対してそれぞれ特徴再構築を行い、各前記レベルのレベルオーディオ信号を得るステップと、
複数の前記レベルのレベルオーディオ信号に対してオーディオ合成を行い、前記オーディオ信号を得るステップと、を含む、オーディオ復号方法。
【請求項14】
前記ストリームは、低周波ストリームと高周波ストリームとを含み、各前記レベルのストリームをそれぞれ復号し、各前記レベルの信号特徴を得るステップは、
各前記レベルの低周波ストリームをそれぞれ復号し、各前記レベルの低周波信号特徴を得て、且つ各前記レベルの高周波ストリームをそれぞれ復号し、各前記レベルの高周波信号特徴を得るステップを含み、
各前記レベルの信号特徴に対してそれぞれ特徴再構築を行い、各前記レベルのレベルオーディオ信号を得る前記ステップは、
各前記レベルの低周波信号特徴に対してそれぞれ特徴再構築を行い、各前記レベルのレベル低周波サブバンド信号を得て、且つ各前記レベルの高周波信号特徴に対してそれぞれ特徴再構築を行い、各前記レベルのレベル高周波サブバンド信号を得るステップと、
前記レベル低周波サブバンド信号と前記レベル高周波サブバンド信号を前記レベルのレベルオーディオ信号とするステップと、を含み、
複数の前記レベルのレベルオーディオ信号に対してオーディオ合成を行い、前記オーディオ信号を得るステップは、
複数の前記レベルのレベル低周波サブバンド信号を加算し、低周波サブバンド信号を得て、且つ複数の前記レベルのレベル高周波サブバンド信号を加算し、高周波サブバンド信号を得るステップと、
前記低周波サブバンド信号と前記高周波サブバンド信号とを合成し、前記オーディオ信号を得るステップと、を含む、請求項１３に記載の方法。
【請求項15】
前記低周波サブバンド信号と前記高周波サブバンド信号とを合成し、前記オーディオ信号を得るステップは、前記低周波サブバンド信号をアップサンプリングし、ローパスフィルタリングされた信号を得るステップと、
前記高周波サブバンド信号をアップサンプリングし、高周波フィルタリングされた信号を得るステップと、
前記ローパスフィルタリングされた信号と前記高周波フィルタリングされた信号とに対してフィルタリング合成を行い、前記オーディオ信号を得るステップと、を含む、請求項１４に記載の方法。
【請求項16】
各前記レベルの信号特徴に対してそれぞれ特徴再構築を行い、各前記レベルのレベルオーディオ信号を得るステップは、各前記レベルの信号特徴に対して、
前記信号特徴に対して第１畳み込み処理を行い、前記レベルの畳み込み特徴を得る処理と、
前記畳み込み特徴をアップサンプリングし、前記レベルのアップサンプリング特徴を得る処理と、
前記アップサンプリング特徴に対してプーリング処理を行い、前記レベルのプーリング特徴を得る処理と、
前記プーリング特徴に対して第２畳み込み処理を行い、前記レベルのレベルオーディオ信号を得る処理と、をそれぞれ実行すること、を含む、請求項１３に記載の方法。
【請求項17】
前記アップサンプリングは、Ｌ個のカスケードされた復号層によって実現され、前記畳み込み特徴をアップサンプリングし、前記レベルのアップサンプリング特徴を得る処理は、
前記Ｌ個のカスケードされた復号層のうちの第１個目の復号層によって、前記プーリング特徴をアップサンプリングし、前記第１個目の復号層のアップサンプリング結果を得るステップと、
前記Ｌ個のカスケードされた復号層のうちの第ｋ個目の復号層によって、第（ｋ－１）個目の復号層の第１アップサンプリング結果をアップサンプリングし、前記第ｋ個目の復号層のアップサンプリング結果を得るステップであって、
前記Ｌと前記ｋは、１よりも大きい整数であり、前記ｋは、前記Ｌ以下である、ステップと、
前記ｋをトラバースし、第Ｌ個目の復号層のアップサンプリング結果を得て、且つ前記第Ｌ個目の復号層のアップサンプリング結果を前記レベルのアップサンプリング特徴とするステップと、を含む、請求項１６に記載の方法。
【請求項18】
各前記レベルのストリームをそれぞれ復号し、各前記レベルの信号特徴を得るステップは、各前記レベルに対して、
前記レベルのストリームに対してエントロピー復号を行い、前記ストリームの量子化値を得る処理と、
前記ストリームの量子化値に対して逆量子化処理を行い、前記レベルの信号特徴を得る処理と、をそれぞれ実行すること、を含む、請求項１３に記載の方法。
【請求項19】
オーディオ符号化装置であって、前記装置は、オーディオ信号に対して第１レベルの特徴抽出を行い、前記第１レベルの信号特徴を得るように構成される第１特徴抽出モジュールと、
Ｎ個のレベルのうちの第ｉレベルに対して、前記オーディオ信号と第（ｉ－１）レベルの信号特徴とを継ぎ合わせ、継ぎ合わせ特徴を得て、且つ前記継ぎ合わせ特徴に対して第ｉレベルの特徴抽出を行い、前記第ｉレベルの信号特徴を得るように構成される第２特徴抽出モジュールであって、前記Ｎと前記ｉは、１よりも大きい整数であり、前記ｉは、前記Ｎ以下である、第２特徴抽出モジュールと、
前記ｉをトラバースし、前記Ｎ個のレベルのうちの個々のレベルの信号特徴を得るように構成されるトラバースモジュールであって、前記信号特徴のデータ次元は、前記オーディオ信号のデータ次元よりも小さい、トラバースモジュールと、
前記第１レベルの信号特徴、及び前記Ｎ個のレベルのうちの個々のレベルの信号特徴をそれぞれ符号化し、各レベルにおける前記オーディオ信号のストリームを得るように構成される符号化モジュールと、を含む、オーディオ符号化装置。
【請求項20】
オーディオ復号装置であって、前記装置は、オーディオ信号を符号化して得られた複数のレベルのそれぞれに対応するストリームを受信するように構成される受信モジュールと、
各前記レベルのストリームをそれぞれ復号し、各前記レベルの信号特徴を得るように構成される復号モジュールであって、前記信号特徴のデータ次元は、前記オーディオ信号のデータ次元よりも小さい、復号モジュールと、
各前記レベルの信号特徴に対してそれぞれ特徴再構築を行い、各前記レベルのレベルオーディオ信号を得るように構成される特徴再構築モジュールと、
複数の前記レベルのレベルオーディオ信号に対してオーディオ合成を行い、前記オーディオ信号を得るように構成されるオーディオ合成モジュールと、を含む、オーディオ復号装置。
【請求項21】
電子機器であって、前記電子機器は、実行可能な命令を記憶するように構成されるメモリと、
前記メモリにおいて記憶される実行可能な命令を実行するとき、請求項１～１８のいずれか１項に記載の方法を実現するように構成されるプロセッサと、を含む、電子機器。
【請求項22】
コンピュータプログラムであって、前記コンピュータプログラムがプロセッサに実行されるときに、請求項１～１８のいずれか１項に記載の方法を実現させる、コンピュータプログラム。
【国際調査報告】