特許 6768886 冗長フレーム情報を通信するシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6768886

(24)【登録日】2020年9月25日

(45)【発行日】2020年10月14日

(54)【発明の名称】冗長フレーム情報を通信するシステムおよび方法

(51)【国際特許分類】

   G10L 19/005 20130101AFI20201005BHJP

   G10L 19/00 20130101ALI20201005BHJP

【ＦＩ】

   G10L19/005

   G10L19/00 330C

【請求項の数】13

【全頁数】36

(21)【出願番号】特願2019-124469(P2019-124469)

(22)【出願日】2019年7月3日

(62)【分割の表示】特願2016-521592(P2016-521592)の分割

【原出願日】2014年10月9日

(65)【公開番号】特開2019-215545(P2019-215545A)

(43)【公開日】2019年12月19日

【審査請求日】2019年7月31日

(31)【優先権主張番号】61/890,092

(32)【優先日】2013年10月11日

(33)【優先権主張国】US

(31)【優先権主張番号】14/509,817

(32)【優先日】2014年10月8日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100112807

【弁理士】

【氏名又は名称】岡田 貴志

(72)【発明者】

【氏名】ベンカトラマン・エス．・アッティ

(72)【発明者】

【氏名】ビベク・ラジェンドラン

(72)【発明者】

【氏名】ベンカテシュ・クリシュナン

【審査官】 菊池 智紀

(56)【参考文献】

【文献】 米国特許出願公開第２０１３／０１８５０６２（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１３／０１９１１２１（ＵＳ，Ａ１）

【文献】 特表２００３−５３３９１６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／００５４２７９（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１２／０２６５５２３（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １９／００−１９／２６

Ｈ０４Ｌ １／００

(57)【特許請求の範囲】

【請求項1】

第１のコンピューティングデバイスの符号器でオーディオ信号の第１のオーディオフレームを符号化することと、前記第１のオーディオフレームは、有声音声フレーム、無声フレーム、オーディオ遷移フレーム、および適応コードブック情報と固定コードブック情報との両方を含む混合モードフレーム、を含む複数の分類のうちの１つに前記第１のオーディオフレームを分類するフレームタイプを有し、
前記第１のオーディオフレームを前記第１のコンピューティングデバイスから第２のコンピューティングデバイスに送信することと、
前記第１のオーディオフレームの前記フレームタイプが前記第１のオーディオフレームを前記複数の分類のうちのいずれに分類するかに基づいて、第２のオーディオフレームに関連する主コーディング情報に割り振るための前記第２のオーディオフレームのビットの第１の個数と、前記第１のオーディオフレームに関連する冗長コーディング情報に割り振るための前記第２のオーディオフレームのビットの第２の個数とを決定することと、ここにおいて、前記第２のオーディオフレームは、前記オーディオ信号内で前記第１のオーディオフレームに続く、
前記第２のオーディオフレームを符号化することと、ここにおいて、前記第２のオーディオフレームは、主コーディング情報のビットの前記第１の個数と、冗長コーディング情報のビットの前記第２の個数と、前記第１のオーディオフレームの前記フレームタイプのインジケータとを含む、
前記第２のオーディオフレームを前記第１のコンピューティングデバイスから前記第２のコンピューティングデバイスに送信することと
を備える、フレームを符号化する方法。

【請求項2】

前記第１のオーディオフレームのフレームタイプの前記インジケータは、前記第２のオーディオフレームの最後の３ビットに含まれる、請求項１に記載の方法。

【請求項3】

前記冗長コーディング情報は、前記第１のオーディオフレームの高帯域利得形状に関連する利得形状インジケータを含み、前記方法は、
ｉ）前記第１のオーディオフレームの高帯域部分と前記第２のオーディオフレームの高帯域部分との間の相関と、
ｉｉ）前記第１のオーディオフレームの前記高帯域利得形状に関連する第１のコードブックインデックスと前記第２のオーディオフレームの高帯域利得形状に関連する第２のコードブックインデックスとの間の距離と
のうちの１つまたは複数に基づいて前記利得形状インジケータの値をセットすることをさらに備える、請求項１または請求項２に記載の方法。

【請求項4】

前記冗長コーディング情報は、前記第１のオーディオフレームの高帯域利得フレームに関連する高帯域利得フレームインジケータを含む、請求項１〜３のうちのいずれかに記載の方法。

【請求項5】

ｉ）前記第１のオーディオフレームが無声フレームである時に、前記高帯域利得フレームインジケータをコードブックインデックスにセットすることと、
ｉｉ）前記第１のオーディオフレームが無声フレームではない時に、前記第１のオーディオフレームの前記高帯域利得フレームが、大きいコードブックインデックスに対応するコードブックの第１の部分内または小さいコードブックインデックスに対応する前記コードブックの第２の部分内のどちらのコードブックインデックスに対応するのかを示す値に前記高帯域利得フレームインジケータをセットすることと
のうちの少なくとも１つをさらに備える、請求項４に記載の方法。

【請求項6】

前記冗長コーディング情報は、前記第１のオーディオフレームの高帯域線スペクトル対（ＬＳＰ）に関連する高帯域ＬＳＰインジケータを含み、前記方法は、
前記第１のオーディオフレームと前記第２のオーディオフレームとの間のスペクトルひずみと、
前記第１のオーディオフレームの前記高帯域ＬＳＰに関連する第１のコードブックインデックスと前記第２のオーディオフレームの高帯域ＬＳＰに関連する第２のコードブックインデックスとの間の距離と
のうちの１つまたは複数に基づいて前記高帯域ＬＳＰインジケータの値をセットすることをさらに備える、請求項１〜５のうちのいずれかに記載の方法。

【請求項7】

前記冗長コーディング情報は、前記第１のオーディオフレームの高帯域線スペクトル対（ＬＳＰ）に関連する高帯域ＬＳＰインジケータを含み、前記方法は、
前記第１のオーディオフレームの前記高帯域ＬＳＰと前記第２のオーディオフレームの高帯域ＬＳＰとの間の差を決定することと、
前記差に基づいて前記高帯域ＬＳＰインジケータの値をセットすることと
をさらに備える、請求項１〜５のうちのいずれかに記載の方法。

【請求項8】

オーディオ信号の第１のオーディオフレームを符号化し、前記第１のオーディオフレームは、有声音声フレーム、無声フレーム、オーディオ遷移フレーム、および適応コードブック情報と固定コードブック情報との両方を含む混合モードフレーム、を含む複数の分類のうちの１つに前記第１のオーディオフレームを分類するフレームタイプを有し、
前記第１のオーディオフレームの前記フレームタイプが前記第１のオーディオフレームを分類する前記複数の分類のうちの特定の分類に基づいて、第２のオーディオフレームに関連する主コーディング情報に割り振るための前記第２のオーディオフレームのビットの第１の個数と、前記第１のオーディオフレームに関連する冗長コーディング情報に割り振るための前記第２のオーディオフレームのビットの第２の個数とを決定し、ここにおいて、前記第２のオーディオフレームは、前記オーディオ信号内で前記第１のオーディオフレームに続く、
前記第２のオーディオフレームを符号化し、ここにおいて、前記第２のオーディオフレームは、主コーディング情報のビットの前記第１の個数と、冗長コーディング情報のビットの前記第２の個数と、前記第１のオーディオフレームの前記フレームタイプのインジケータとを含む、
ように構成された符号器と、
前記第１のオーディオフレームと前記第２のオーディオフレームとを宛先デバイスに送信するように構成された送信器と
を備える装置。

【請求項9】

前記符号器は、並列に動作する２つの符号化経路を備え、前記２つの符号化経路は、主符号化経路と冗長符号化経路とを含み、
主コーディング情報のビットの前記第１の個数は、前記主符号化経路によって生成され、
冗長コーディング情報のビットの前記第２の個数は、前記冗長符号化経路によって生成される、
請求項８に記載の装置。

【請求項10】

前記第１のオーディオフレームのフレームタイプの前記インジケータは、前記第２のオーディオフレームの最後の３ビットに含まれる、請求項８〜９のうちのいずれかに記載の装置。

【請求項11】

前記冗長コーディング情報は、前記第１のオーディオフレームの高帯域利得形状に関連する利得形状インジケータを含み、前記装置は、
ｉ）前記第１のオーディオフレームの高帯域部分と前記第２のオーディオフレームの高帯域部分との間の相関と、
ｉｉ）前記第１のオーディオフレームの前記高帯域利得形状に関連する第１のコードブックインデックスと前記第２のオーディオフレームの高帯域利得形状に関連する第２のコードブックインデックスとの間の距離と
のうちの１つまたは複数に基づいて前記利得形状インジケータの値をセットするようにさらに構成された、請求項８〜１０のうちのいずれかに記載の装置。

【請求項12】

前記冗長コーディング情報は、前記第１のオーディオフレームの高帯域利得フレームに関連する高帯域利得フレームインジケータを含む、請求項８〜１１のうちのいずれかに記載の装置。

【請求項13】

命令を記憶するコンピュータ可読記憶媒体であって、前記命令がコンピュータによって実行された時に、前記コンピュータに、請求項１〜７のうちのいずれかに記載の方法を実行させる、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
[0001]本願は、その内容全体が参照によって組み込まれている、２０１３年１０月１１日に出願した米国特許仮出願第６１／８９００９２号、名称「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＯＦ ＣＯＭＭＵＮＩＣＡＴＩＮＧ ＲＥＤＵＮＤＡＮＴ ＦＲＡＭＥ ＩＮＦＯＲＭＡＴＩＯＮ」と、２０１４年１０月８日に出願した米国特許非仮出願第１４／５０９８１７号、名称「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＯＦ ＣＯＭＭＵＮＩＣＡＴＩＮＧ ＲＥＤＵＮＤＡＮＴ ＦＲＡＭＥ ＩＮＦＯＲＭＡＴＩＯＮ」とからの優先権を主張するものである。

【0002】

[0002]本開示は、全般的に冗長フレーム情報を通信することに関する。

【背景技術】

【0003】

[0003]技術の進歩は、より小さくより強力なコンピューティングデバイスをもたらした。たとえば、現在、小さく軽く、ユーザによって簡単に持ち運ばれるポータブルワイヤレス電話機、携帯情報端末（ＰＤＡ）、およびページングデバイスなどのワイヤレスコンピューティングデバイスを含む様々なポータブルパーソナルコンピューティングデバイスが存在する。より具体的には、セルラー電話機およびインターネットプロトコル（ＩＰ）電話機などのポータブルワイヤレス電話機は、ワイヤレスネットワークを介して音声パケットとデータパケットとを通信することができる。さらに、多くのそのようなワイヤレス電話機は、その中に組み込まれる他のタイプのデバイスを含む。たとえば、ワイヤレス電話機は、デジタルスチルカメラと、デジタルビデオカメラと、デジタルレコーダと、オーディオファイルプレーヤとを含むこともできる。

【0004】

[0004]ワイヤレス電話機などの電子デバイスは、ネットワークを介してデータを送り、受信することができる。たとえば、オーディオデータが、回線交換ネットワーク（たとえば、公衆交換電話網（ＰＳＴＮ）、ｇｌｏｂａｌ ｓｙｓｔｅｍ ｆｏｒ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ（登録商標））ネットワークなど）またはパケット交換ネットワーク（たとえば、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）ネットワーク、ボイスオーバーロングタームエボリューション（ＶｏＬＴＥ）ネットワークなど）を介して、送られ、受信され得る。パケット交換ネットワークでは、オーディオパケットは、ソースデバイスから宛先デバイスへ個別にルーティングされ得る。ネットワーク条件に起因して、オーディオパケットが、順序はずれで到着する場合がある。宛先デバイスは、受信されたパケットをデジッタバッファ内に記憶することができ、必要な場合には、受信されたパケットを再配置することができる。

【0005】

[0005]様々な符号化方式が、オーディオデータを通信する時に使用され得る。たとえば、オーディオフレームタイプに依存して、ｃｏｄｅ−ｅｘｃｉｔｅｄ ｌｉｎｅａｒ ｐｒｅｄｉｃｔｉｏｎ（ＣＥＬＰ）手法または周波数領域ベースの修正離散コサイン変換（ＭＤＣＴ：modified discrete cosine transform）が、音声とオーディオとをコンパクトに表現するのに使用され得る。低ビットレート（たとえば、１３．２キロビット毎秒（ｋｂｐｓ）、２４．４ｋｂｐｓなど）でのコーディング効率を改善するために、より広い帯域幅、たとえば８キロヘルツ（ｋＨｚ）ワイドバンド（ＷＢ）、１６ｋＨｚスーパーワイドバンド（ＳＷＢ）、または２０ｋＨｚフルバンドまでを符号化する時に、より下の帯域コア（たとえば、６．４ｋＨｚまでまたは８ｋＨｚまで）は、通常、ＣＥＬＰまたはＭＤＣＴなどの波形照合（waveform-matching）コーディング技法を使用して符号化される。高帯域（たとえば、＞６．４ｋＨｚまたは＞８ｋＨｚ）をモデル化し、「サイド情報（side information）」（たとえば、高帯域パラメータに関連する）を符号化する、帯域幅拡張（ＢＷＥ：bandwidth extension）が実行される。高帯域サイド情報は、微細な時間的進化と粗な時間的進化との両方をモデル化する線形予測（ＬＰ）フィルタ係数および利得パラメータを含むことができる。符号器またはソースデバイスは、宛先デバイスが、宛先デバイスが高品質再構成のために宛先デバイスでオーディオフレームの高周波数部分を合成できるようにするために、宛先デバイスに、低周波数部分と一緒にサイド情報を送ることができる。

【発明の概要】

【0006】

[0006]パケット交換ネットワーク内のパケットは、順序はずれで到着する可能性があるので、特定のパケット（たとえば、オーディオフレームＮに対応する）が破壊されるか失われる場合であっても、後続パケット（たとえば、オーディオフレームＮ＋２に対応する）が、エラーフリーであり、デジッタバッファ内で使用可能になり得ることが可能である。したがって、後続フレーム（たとえば、フレームＮ＋２）内に、前のフレーム（たとえば、フレームＮ）を再構成するのに使用され得る冗長コーディング情報（たとえば、誤り訂正情報）を含めることが、有用である可能性がある。

【0007】

[0007]本開示は、冗長フレーム情報を通信するシステムと方法とを説明するものである。説明される技法によれば、帯域幅拡張（ＢＷＥ）方式が使用中である時に、オーディオフレームは、４タイプのデータすなわち、符号化された低帯域コアと、高帯域サイド情報と、以前のフレームの低帯域部分に関連する冗長コーディング情報と、以前のフレームの高帯域パラメータに関連する冗長コーディング情報とを含むことができる。現在のフレームの低帯域コアおよび高帯域サイド情報は、集合的に、「主」コーディングと呼ばれ得る。以前のフレームに関する低帯域および高帯域の冗長コーディング情報は、集合的に、「部分的コピー」と呼ばれ得る。したがって、１つのフレームは、それ自体の低帯域と高帯域との主コーディングビットを含むことができ、そのフレームは、以前のフレームの低帯域および高帯域の部分的コピービットをも含むことができる。

【0008】

[0008]フレーム消去条件が発生する（たとえば、以前のフレームが、受信されないか、ネットワークエラーに起因して破壊される）時に、冗長コーディング情報は、以前のフレームを再構成するために受信器によって使用され得る。さらに、４タイプのデータすなわち低帯域コアと、高帯域サイド情報と、低帯域コアの以前のフレームの部分的コピーと、高帯域の以前のフレームの部分的コピーとの各々に割り振られるビットの数は、送信されるオーディオ信号のプロパティに基づいて動的に調整され得る。以前のフレームが成功して受信される（たとえば、クリーンチャネル条件において）時においても、復号器は、主コーディングビットを復号する前に、部分的コピービットから主コーディングビットを分離することができる。

【0009】

[0009]特定の態様では、フレームを復号する方法は、コンピューティングデバイスの復号器で第２のオーディオフレームを受信することを含み、第２のオーディオフレームは、オーディオ信号内で第１のオーディオフレームに続く。第２のオーディオフレームは、第２のオーディオフレームに関連する主コーディング情報（たとえば、符号化された低帯域コアと高帯域パラメータと）に割り振られるビットの第１の個数を含む。第２のオーディオフレームは、第１のオーディオフレームに関連する冗長（たとえば、部分的コピー）コーディング情報に割り振られるビットの第２の個数をも含む。第２のオーディオフレームは、第１のオーディオフレームのフレームタイプ（たとえば、部分的コピーフレームタイプ）のインジケータをさらに含む。この方法は、第１のオーディオフレームに関連するフレーム消去条件に応答して、インジケータに基づいて、第１のオーディオフレームに関連する冗長コーディング情報に割り振られる第２のオーディオフレームのビットの第２の個数を決定することを含む。この方法は、冗長コーディング情報に基づいて第１のオーディオフレームを復号することをさらに含む。

【0010】

[0010]別の特定の態様では、フレームを復号する方法は、コンピューティングデバイスの復号器で第１のオーディオフレームと第２のオーディオフレームとを受信することを含む。第２のオーディオフレームは、オーディオ信号内で第１のオーディオフレームに続く。第２のオーディオフレームは、第２のオーディオフレームに関連する主コーディング情報に割り振られるビットの第１の個数と、第１のオーディオフレームに関連する冗長コーディング情報に割り振られるビットの第２の個数と、第１のオーディオフレームのフレームタイプのインジケータとを含む。この方法は、第１のオーディオフレームを復号することをも含む。この方法は、インジケータに基づいて、第２のオーディオフレームに関連する主コーディング情報に割り振られる第２のオーディオフレームのビットの第１の個数を決定することをさらに含む。この方法は、主コーディング情報に基づいて第２のオーディオフレームを復号することを含む。特定の実施形態では、この方法は、ビットの総数（たとえば、第２のオーディオフレームを表すのに使用される）から第１のオーディオフレームの部分的コピーに割り振られたビットの第２の個数を減算することによって、第２のオーディオフレームに関連する主コーディング情報に割り振られたビットの第１の個数を決定することを含む。

【0011】

[0011]別の特定の態様では、フレームを符号化する方法は、第１のコンピューティングデバイスの符号器でオーディオ信号の第１のオーディオフレームを符号化することと、第１のオーディオフレームを第１のコンピューティングデバイスから第２のコンピューティングデバイスに送信することとを含む。この方法は、第１のオーディオフレームのフレームタイプに基づいて、第２のオーディオフレームに関連する主コーディング情報に割り振られる第２のオーディオフレームのビットの第１の個数と、第１のオーディオフレームに関連する冗長コーディング情報に割り振られる第２のオーディオフレームのビットの第２の個数とを決定することをも含む。第２のオーディオフレームは、オーディオ信号内で第１のオーディオフレームに続く。この方法は、第２のオーディオフレームを符号化することと、第２のオーディオフレームを第１のコンピューティングデバイスから第２のコンピューティングデバイスに送信することとをも含む。第２のオーディオフレームは、主コーディング情報のビットの第１の個数と、冗長コーディング情報のビットの第２の個数と、第１のオーディオフレームのフレームタイプのインジケータとを含む。

【0012】

[0012]別の特定の態様では、装置は、第２のオーディオフレームを受信するように構成された受信器を含む。第２のオーディオフレームは、オーディオ信号内で第１のオーディオフレームに続く。第２のオーディオフレームは、第２のオーディオフレームに関連する主コーディング情報に割り振られるビットの第１の個数を含む。第２のオーディオフレームは、第１のオーディオフレームに関連する冗長コーディング情報に割り振られるビットの第２の個数をも含む。第２のオーディオフレームは、第１のオーディオフレームのフレームタイプのインジケータをさらに含む。この装置は、第１のオーディオフレームに関連するフレーム消去条件に応答して、インジケータに基づいて、第１のオーディオフレームに関連する冗長コーディング情報に割り振られる第２のオーディオフレームのビットの第２の個数を決定するように構成された復号器をも含む。復号器は、冗長コーディング情報に基づいて第１のオーディオフレームを復号するように構成される。

【0013】

[0013]別の特定の態様では、装置は、第１のオーディオフレームとオーディオ信号内で第１のオーディオフレームに続く第２のオーディオフレームとを受信するように構成された受信器を含む。第２のオーディオフレームは、第２のオーディオフレームに関連する主コーディング情報に割り振られるビットの第１の個数を含む。第２のオーディオフレームは、第１のオーディオフレームに関連する冗長コーディング情報に割り振られるビットの第２の個数をも含む。第２のオーディオフレームは、第１のオーディオフレームのフレームタイプのインジケータをさらに含む。この装置は、第１のオーディオフレームを復号し、インジケータに基づいて、第２のオーディオフレームに関連する主コーディング情報に割り振られる第２のオーディオフレームのビットの第１の個数を決定するように構成された復号器をも含む。復号器は、主コーディング情報に基づいて第２のオーディオフレームを復号するように構成される。

【0014】

[0014]別の特定の態様では、装置は、オーディオ信号の第１のオーディオフレームを符号化するように構成された符号器を含む。符号器は、第１のオーディオフレームのフレームタイプに基づいて、第２のオーディオフレームに関連する主コーディング情報に割り振られる第２のオーディオフレームのビットの第１の個数と、第１のオーディオフレームに関連する冗長コーディング情報に割り振られる第２のオーディオフレームのビットの第２の個数とを決定するようにも構成される。符号器は、第２のオーディオフレームを符号化するようにさらに構成される。第２のオーディオフレームは、オーディオ信号内で第１のオーディオフレームに続く。第２のオーディオフレームは、主コーディング情報のビットの第１の個数と、冗長コーディング情報のビットの第２の個数と、第１のオーディオフレームのフレームタイプのインジケータとを含む。この装置は、第１のオーディオフレームと第２のオーディオフレームとを宛先デバイスに送信するように構成された送信器をも含む。

【0015】

[0015]開示される実施形態のうちの少なくとも１つによって提供される特定の利点には、オーディオストリームのより後のフレーム内でオーディオストリームのより前のフレームに関する冗長コーディング情報を提供する能力がある。より後のフレーム内に含まれる冗長コーディング情報は、より前のフレームがネットワークエラーに起因して破壊されるか失われる時などに、より前のフレームの再構成を可能にすることができる。本開示の他の特徴、利点、および特徴は、以下のセクションすなわち図面の簡単な説明と、発明を実施するための形態と、特許請求の範囲とを含む本願全体の再検討の後に明白になる。

【図面の簡単な説明】

【0016】

【図1】[0016]冗長フレーム情報を通信するように動作可能なシステムの特定の実施形態を示す図。

【図2】[0017]別のオーディオフレームに関する冗長コーディング情報を含むオーディオフレームの特定の実施形態を示す図。

【図3】[0018]別のオーディオフレームに関する冗長コーディング情報を含むオーディオフレームの別の特定の実施形態を示す図。

【図4】[0019]高帯域利得フレームコードブックの特定の実施形態を示す図。

【図5】[0020]冗長フレーム情報を符号化するように構成された並列経路符号器の特定の実施形態を示す図。

【図6】[0021]冗長フレーム情報を復号するように構成された単一経路復号器の特定の実施形態を示す図。

【図7】[0022]後続フレーム内に含まれる冗長コーディング情報に基づいてフレームを復号する方法の特定の実施形態を図８と合わせて示すフローチャート。

【図8】後続フレーム内に含まれる冗長コーディング情報に基づいてフレームを復号する方法の特定の実施形態を図７と合わせて示すフローチャート。

【図9】[0023]後続フレーム内にフレームの冗長コーディング情報を符号化する特定の実施形態を示すフローチャート。

【図10】[0024]図１〜図９のシステムおよび方法に従って動作を実行するように動作可能なワイヤレスデバイスを示すブロック図。

【発明を実施するための形態】

【0017】

[0025]本開示の特定の実施形態が、図面を参照しながら以下で説明される。この説明および図面では、共通の特徴が、図示され説明される実施形態の明瞭さのために、共通の符号によって指定される。

【0018】

[0026]図１を参照すると、冗長フレーム情報を通信するように動作可能なシステムの特定の実施形態が、示され、全体的に１００と指定されている。システム１００は、第１のコンピューティングデバイス１１０と第２のコンピューティングデバイス１２０とを含む。第１のコンピューティングデバイス１１０および第２のコンピューティングデバイス１２０は、パケット交換ネットワークを介して、オーディオフレームなどのデータを通信するように構成され得る。たとえば、パケット交換ネットワークは、ＶｏＩＰネットワーク、ＶｏＬＴＥネットワーク、または別のパケット交換ネットワークを含むことができる。例示的な実施形態では、第１のコンピューティングデバイス１１０および第２のコンピューティングデバイス１２０は、それぞれ、携帯電話機、コンピューティングデバイス（たとえば、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、サーバコンピュータなど）、メディアプレーヤ、ゲーミングデバイス、セットトップボックスデバイス、ナビゲーションデバイス、パケット交換ネットワークの構成要素、オーディオデータを通信するように構成された別のデバイス、またはその任意の組合せを含む。

【0019】

[0027]第１のコンピューティングデバイス１１０は、プロセッサ１１２（たとえば、中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）など）とメモリ１１４とを含むことができる。特定の実施形態では、メモリ１１４は、本明細書で説明される様々な動作を実行するためにプロセッサ１１２によって実行可能な命令を記憶する。第１のコンピューティングデバイス１１０は、符号器１１６と送信器１１８とをも含むことができる。符号器１１６は、送信器１１８によって送信される（たとえば、パケット交換ネットワークを介して）オーディオフレームを符号化することができる。代替実施形態では、第１のコンピューティングデバイス１１０は、送信器１１８に加えて受信器を含むことができ、あるいは、データを送信し、受信するように構成されたトランシーバを含むことができる。符号器１１６は、例示的なオーディオフレーム１３１と、１３２と、１３３と、１３４とを含むオーディオフレームのシーケンスを符号化することができる。図１では、オーディオフレーム１３１と、１３２と、１３３と、１３４とは、オーディオ信号の４つの連続するフレームであり、それぞれ第（Ｎ−１）のフレーム、第Ｎのフレーム、第（Ｎ＋１）のフレーム、第（Ｎ＋２）のフレームと呼ばれる。可読性のために、これらのフレームは、本明細書で、それぞれフレーム_N-1、フレーム_N、フレーム_N+1、フレーム_N+2と呼ばれる。オーディオフレーム１３１〜１３４が、図１では左から右の順で示されているが、これが、オーディオフレーム１３１〜１３４が第２のコンピューティングデバイス１２０によってそのような順序で受信されることを暗示すると解釈してはならないことに留意されたい。本明細書でさらに説明されるように、オーディオフレームは、ネットワークエラーに起因して、順序はずれで宛先デバイスに到着する可能性があり、あるいは失われる可能性がある。

【0020】

[0028]オーディオフレーム１３１〜１３４の各々は、符号化された低帯域信号（「ＬＢコア」）と高帯域パラメータ（「ＨＢパラメータ」）とを含むことができる。あるフレームのＬＢコアおよびＨＢパラメータは、集合的に、そのフレームの主コーディングと呼ばれ得る。特定の実施形態では、オーディオフレーム１３１〜１３４の各々は、固定されたサイズを有し、符号化された低帯域コアと高帯域パラメータとに割り振られる帯域幅の量（たとえば、フレームのビット数）は、本明細書でさらに説明されるように、フレームごとに動的に調整され得る。ネットワークエラーの存在の下でオーディオ復号性能を改善するために、オーディオフレーム１３１〜１３４のうちの１つまたは複数が、以前のフレームの冗長コーディング情報を含むことができる。冗長コーディング情報は、低帯域冗長コーディング情報および／または高帯域パラメータ冗長コーディング情報を含むことができる。以前のフレームの低帯域および高帯域の冗長コーディング情報は、集合的に、以前のフレームの「部分的コピー」と呼ばれ得る。特定の実施形態では、低帯域冗長コーディング情報と高帯域冗長コーディング情報とに割り振られる帯域幅の量（たとえば、フレームのビット数）は、本明細書でさらに説明されるように、フレームごとに動的に調整され得る。

【0021】

[0029]たとえば、符号器１１６は、後続フレーム_N+OFFSET内でフレーム_N１３２の冗長コーディング情報を符号化することができ、ＯＦＦＳＥＴは、１以上の整数である。フレームが、パケット交換ネットワークを介して通信される時に、そのようなフレームは、宛先デバイスに個別にルーティングされる可能性があり、フレームが、順序はずれで到着する場合がある。したがって、フレーム_N１３２（またはその一部）が、破壊される可能性があるか、第２のコンピューティングデバイス１２０に到着しない可能性がある場合（本明細書では、集合的に、フレーム_N１３２に関する「フレーム消去」条件と称する）であっても、フレーム_N+OFFSETが、無傷で第２のコンピューティングデバイス１２０に到着する可能性がある（または、すでに到着済みである可能性がある）。フレーム_N+OFFSET内の冗長コーディング情報は、フレーム_N１３２（またはその一部）を再構成するか、深刻なアーティファクトを誘導する誤り伝搬を阻止するのに、第２のコンピューティングデバイス１２０によって使用され得る。

【0022】

[0030]図１の例では、ＯＦＦＳＥＴは２と等しい。したがって、フレーム_N-1フレーム１３１の冗長コーディング情報が、フレーム_N+1１３３に追加され、フレーム_N１３２の冗長コーディング情報が、フレーム_N+2１３４に追加されるなどである。代替実施形態では、ＯＦＦＳＥＴパラメータは、２以外の値を有することができる。ＯＦＦＳＥＴパラメータの値は、産業標準（たとえば、ｅｎｈａｎｃｅｄ ｖｏｉｃｅ ｓｅｒｖｉｃｅｓ（ＥＶＳ）標準規格）によって決定され得、コンピューティングデバイス１１０と１２０とによってネゴシエートされ得、および／または測定されたもしくは推定されたネットワークエラーに基づいて決定され得る。例示的実施形態では、第１のコンピューティングデバイス１１０は、冗長コーディング情報を送るべきか否かを決定するように構成される。たとえば、第１のコンピューティングデバイス１１０は、フレーム_N１３２に関連する「クリティカリティ」パラメータに基づいて、フレーム_N+2１３４内でフレーム_N１３２の冗長フレーム情報を送るべきか否かを決定することができ、クリティカリティパラメータは、フレーム_N１３２が送信中に失われる場合の、オーディオ信号内のアーティファクトの低減または最小化におけるフレーム_N１３２の相対的な重要性を示す。したがって、冗長フレーム情報の通信は、フレームごとの基礎で、ソースによって制御されるパラメータに依存して、ならびにネットワーク条件またはチャネル条件に基づいて、実行され得る。

【0023】

[0031]特定の実施形態では、フレーム内のＬＢコアと、ＨＢパラメータと、ＨＢ冗長コーディング情報と、ＬＢ冗長コーディング情報とによって占められる空間の量（たとえば、ビット数）は、符号器１１６によって動的に調整される。たとえば、図１に示されているように、ＬＢ冗長コーディング情報に対するＨＢ冗長コーディング情報の比は、フレーム_N+2１３３内でフレーム_N+2１３４内より低い。特定の実施形態では、ＬＢ冗長コーディング情報に対するＨＢ冗長コーディング情報［２５％，７５％］分割と［５％，９５％］分割との間で変化する。別の例として、図１に示されているように、ＬＢコアに対するＨＢパラメータの比は、フレーム_N+1１３３内よりフレーム_N-1１３１内で低く、ＬＢコアに対するＨＢパラメータの比は、フレーム_N+1１３３内でフレーム_N１３２およびフレーム_N+2１３４内より低い。

【0024】

[0032]一例として、オーディオフレームの公称符号化ビットレートは、冗長コーディング情報がオーディオフレーム内に含まれない時に、１３．２ｋｂｐｓとされ得る。冗長コーディング情報に対処するために、オーディオフレームのＬＢコアおよびＨＢパラメータのコーディングレートは、９．６ｋｂｐｓに低下され得る。残りの３．６ｋｂｐｓ帯域幅は、以前のフレームのＨＢ冗長コーディング情報とＬＢ冗長コーディング情報とを符号化するのに使用され得、ＨＢ冗長コーディング情報とＬＢ冗長コーディング情報との分割は、［２５％，７５％］分割と［５％，９５％］分割との間でフレームごとに動的に変化することができる。説明されるビットレートおよび分割が例のためのみのものであることに留意されたい。代替実施形態では、説明される技法が、異なるビットレートと異なる分割と共に使用され得る。別の特定の実施形態では、冗長フレームと主フレームとの間で分配されるビットの比が、適応的とされ得る。たとえば、主フレームは、１１．６ｋｂｐｓを使用することができるが、冗長フレームは、合計１３．２ｋｂｐｓのうちの１．６ｋｂｐｓを使用することができる。別の例では、主フレームは、１２．６ｋｂｐｓを使用することができるが、冗長フレームは、合計１３．２ｋｂｐｓのうちの０．６ｋｂｐｓを使用することができる。「クリティカリティ」パラメータに基づいて、この動的なビット割振りは、達成され得、いくつかのビットが冗長フレームコーディングに使用される時に、ネットワークエラーが存在しない場合またはクリーンチャネル条件において、主フレーム品質の劣化を制限することができる。

【0025】

[0033]特定のフレーム（たとえば、フレーム_N+2１３４）内でＨＢ冗長コーディング情報とＬＢ冗長コーディング情報とにどれほどの空間を割り振るべきかを決定する時に、符号器１１６は、使用されるパケット交換ネットワークの特性、特定のフレーム、および／またはその冗長コーディング情報が送信されつつある以前のフレーム（たとえば、フレーム_N１３２）を考慮に入れることができる。冗長コーディング情報の例と、オーディオフレーム内でそのような冗長コーディング情報にどれほどの空間が割り振られるのかの動的な調整の例とが、図２〜図９を参照してさらに説明される。

【0026】

[0034]第２のコンピューティングデバイス１２０は、プロセッサ１２２とメモリ１２４とを含むことができる。特定の実施形態では、メモリ１２４は、本明細書で説明される様々な動作を実行するためにプロセッサ１２２によって実行可能な命令を記憶する。第２のコンピューティングデバイス１２０は、復号器１２６と受信器１２８とをも含むことができる。復号器１２６は、オーディオフレーム１３１、１３２、１３３、および／または１３４など、受信器１２８によって受信される（たとえば、パケット交換ネットワークを介して）オーディオフレームを復号することができる。代替実施形態では、第２のコンピューティングデバイス１２０は、受信器１２８に加えて送信器を含むことができ、あるいは、データを送信し、受信するように構成されたトランシーバを含むことができる。

【0027】

[0035]特定の実施形態では、第２のコンピューティングデバイス１２０は、図１ではデジッタバッファ１２９として示されたバッファを含む。受信器１２８は、受信されたパケット（たとえば、オーディオフレーム）をデジッタバッファ１２９内に記憶することができる。パケット交換ネットワークを介して送信されるパケットは、順序はずれで到着する可能性があるので、デジッタバッファ１２９は、たとえばパケットタイムスタンプに基づいて、受信されたパケットを記憶し、並べ直すのに使用され得る。ネットワークエラーの存在下で、復号器１２６は、パケット（またはその一部）が破壊されるか失われる（たとえば、受信されない）可能性があるので、１つまたは複数のパケットのすべてまたは一部を復号できない場合がある。たとえば、オーディオフレーム１３１〜１３４の送信中に、フレーム_N１３２が失われる場合がある。復号器１２６は、フレーム_N+2１３４内の冗長コーディング情報から、失われたフレーム_N１３２を再構成することができる。冗長コーディング情報の例と失われたオーディオフレームの再構成の例とは、図２〜図９を参照してさらに説明される。

【0028】

[0036]動作中に、第１のコンピューティングデバイス１１０は、オーディオフレーム１３１〜１３４を符号化し、パケット交換ネットワークを介して第２のコンピューティングデバイス１２０に送信することができる。第２のコンピューティングデバイス１２０は、受信されたオーディオフレームをデジッタバッファ１２９内にバッファリングすることができる。復号器１２６は、デジッタバッファ１２９から記憶されたオーディオフレームを取り出し、そのオーディオフレームを復号することができる。復号器１２６が、特定のオーディオフレーム（またはその一部）を復号することができない（たとえば、フレームまたはその一部が破壊されているか受信されないので）と決定する時に、復号器１２６、破壊された／失われたフレームの冗長コーディング情報を含むフレーム（たとえば、オーディオストリーム内でその破壊された／失われたフレームに続く「将来の」フレーム）の可用性についてデジッタバッファ１２９をチェックすることができる。そのような将来のフレームが使用可能である場合には、復号器１２６は、特定のオーディオフレーム（またはその一部）を再構成し、復号するのに、将来のフレームからの冗長コーディング情報を使用することができる。したがって、図１のシステム１００は、悪いネットワーク条件の存在下でオーディオ復号性能を改善するのに使用され得る冗長フレーム情報の通信を使用可能にすることができる。

【0029】

[0037]上の説明で、図１のシステム１００によって実行される様々な機能が、ある種の構成要素またはモジュールによって実行されるものとして説明されることに留意されたい。しかし、構成要素およびモジュールのこの分割は、例示のみのためのものである。代替実施形態では、代わりに、特定の構成要素またはモジュールによって実行される機能は、複数の構成要素またはモジュールに分割され得る。その上、代替実施形態では、図１の２つ以上の構成要素またはモジュールが、単一の構成要素またはモジュールに統合され得る。図１に示された各構成要素またはモジュールは、ハードウェア（たとえば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）デバイス、特定用途向け集積回路（ＡＳＩＣ）、ＤＳＰ、コントローラなど）、ソフトウェア（たとえば、プロセッサによって実行可能な命令）、またはその任意の組合せを使用して実施され得る。

【0030】

[0038]図２と図３とを参照すると、オーディオフレーム１３４の例示的実施形態が示されている。オーディオフレーム１３４は、「ＬＢコア」と指定される、符号化されたＬＢ部分を含むことができる。符号化されたＬＢ部分は、ＬＢ線形予測フィルタと励起情報とを含むことができる。たとえば、符号化された低帯域部分は、ＬＢ線スペクトル対（ＬＳＰ）インデックスおよびＬＢ励起２０１を含むことができる。代替実施形態では、オーディオフレームのＬＢコアは、異なる情報を含むことができる。オーディオフレーム１３４は、「ＨＢパラメータ」と指定される、ＨＢパラメータを含むこともできる。ＨＢパラメータは、符号化されたＬＢコアより少ない空間を占め、オーディオフレームのＨＢ部分を再構成するのに、オーディオ信号コーディングモデルに従って復号器によって使用され得るパラメータのセットを含む。図２の例では、ＨＢパラメータは、変換されたＬＢ励起２０２と、ＨＢ利得形状２０３と、ＨＢ利得フレーム２０４と、ＨＢ ＬＳＰインデックス２０５とを含むことができる。代替実施形態では、オーディオフレームは、異なるＨＢパラメータを含むことができる。

【0031】

[0039]特定の実施形態では、ＬＢ ＬＳＰインデックスおよびＬＢ励起２０１、変換されたＬＢ励起２０２、ＨＢ利得形状２０３、ＨＢ利得フレーム２０４、ならびにＨＢ ＬＳＰインデックス２０５は、符号器（たとえば、図１の符号器１１６または図５を参照して説明される符号器５００）でのオーディオ分析中に生成される。たとえば、オーディオ信号は、オーディオ信号をＬＢ信号とＨＢ信号とに分離する分析フィルタバンクに通され得る。ＬＢ信号およびＨＢ信号は、オーバーラップしてもしなくてもよい。ＬＢ信号は、ＬＰ係数（ＬＰＣ）のセットとしてＬＢ信号のスペクトルエンベロープを符号化するＬＰ分析モジュールに入力され得る。変換モジュールは、ＬＰＣをＬＳＰに変換することができ、このＬＳＰは、その代わりに、線スペクトル対（ＬＳＰ）と呼ばれる場合がある。量子化器は、ＬＳＰに「最も近い」ＬＢ ＬＳＰコードブックのエントリを識別することによって、ＬＳＰを量子化することができる。量子化器は、２０１に示されたＬＢ ＬＳＰインデックスとしてコードブック内のエントリのインデックスを出力することができる。ＬＢ分析モジュールは、２０１に示されたＬＢ励起と変換されたＬＢ励起２０２とを生成することもできる。たとえば、ＬＢ励起は、ＬＰ分析モジュールによって実行されるＬＰ処理中に生成されるＬＰ残差信号を量子化することによって生成される符号化された信号とされ得る。ＬＰ残差信号は、予測誤差を表すことができる。

【0032】

[0040]ＨＢ分析モジュールは、分析フィルタバンクからＨＢ信号を、ＬＢ分析モジュールから低帯域励起信号を受信することができる。ＨＢ分析モジュールは、ＬＢ ＬＳＰインデックスおよびＬＢ励起２０１を生成するための説明されたプロセスに類似するＬＰＣコーディングと変換と量子化とのプロセスを使用して、ＨＢ ＬＳＰインデックス２０５を生成することができる。ＨＢ ＬＳＰインデックス２０５は、ＬＢ ＬＳＰインデックスより少ないビットを占めることができる。ＨＢ分析モジュールは、ＨＢ利得形状２０３とＨＢ利得フレーム２０４とを生成することもできる。ＨＢ利得形状２０３およびＨＢ利得フレーム２０４は、復号器（たとえば、図１の復号器１２６または図６を参照して説明される復号器）が、ＨＢ信号をより正確に再生するためにＨＢ利得形状とフレーム利得とを調整することを可能にすることができる。

【0033】

[0041]冗長フレームコーディング情報の通信が使用可能にされる時には、オーディオフレーム１３４は、別のオーディオフレームのＬＢ冗長コーディング情報２１４とＨＢ冗長コーディング情報２１０とをさらに含む。オーディオフレーム１３４は、フレームタイプインジケータ２１５をも含むことができる。図５〜図６を参照してさらに説明されるように、例示的実施形態では、フレームタイプインジケータ２１５は、他のオーディオフレームのフレームタイプを示し、オーディオフレーム１３４の何ビットがＬＢ冗長コーディング情報２１４とＨＢ冗長コーディング情報２１０とに割り振られるのかを示す、３ビットインジケータである。特定の実施形態では、ＬＢ冗長コーディング情報２１４またはＨＢ冗長コーディング情報２１０は、オプションとされ得る。ＨＢ冗長コーディング情報２１０は、図２に示されているように、ＨＢ利得形状インジケータ２１１と、ＨＢ利得フレームインジケータ２１２と、ＨＢ ＬＳＰインジケータ２１３とを含むことができる。代替実施形態では、ＨＢコーディング情報２１０は、異なるインジケータまたはインジケータの組合せを含むことができる。たとえば、ＨＢ ＬＳＰインジケータ２１３は、超高帯域通信のためにＨＢ冗長コーディング情報２１０内に含められ得るが、高帯域通信に関しては省略され得る。別の例として、ＨＢ利得形状インジケータ２１１および／またはＨＢ利得フレームインジケータ２１２は、ある種のタイプのフレームに関して省略され得る。

【0034】

[0042]特定の実施形態では、ＨＢ利得形状インジケータ２１１は、以前のオーディオフレーム（たとえば、フレーム_N１３２）のＨＢ利得形状に関連する単一ビットインジケータとされ得る。符号器は、フレーム_N１３２のＨＢ部分とフレーム_N+2１３４のＨＢ部分との間の相関に基づいて、ＨＢ利得形状インジケータ２１１の値をセットすることができる。たとえば、フレーム_N１３２とフレーム_N+2１３４との間のフレーム間正規化ＨＢ相関は、次式に基づいて推定され得る。

【0035】

【数1】

【0036】

[0043]ここで、Ｘ_N（ｋ）は、第Ｎのフレームの第ｋの利得形状値である。一例では、１つまたは複数のサブフレームのローリングウィンドウが、フレームあたり４つの利得形状値（たとえば、ｋが１から４まで変化する）を決定するのに使用され得る。相関値が、しきい値（たとえば、０．７５）より大きい場合に、符号器は、ＨＢ利得形状インジケータ２１１の値に第１の値（たとえば、ＧＳ＿ｂｉｔ＝１）をセットする。ＨＢ利得形状インジケータ２１１が第１の値を有する時に、復号器は、フレーム_N１３２の冗長フレーム復号／再構成中にフレーム_N１３２の推定されたＨＢ利得形状としてフレーム_N+2１３４のＨＢ利得形状２０３を再利用することができる。相関値が、しきい値より小さい場合には、復号器は、ＨＢ利得形状インジケータ２１１の値に第２の値（たとえば、ＧＳ＿ｂｉｔ＝０）をセットする。ＨＢ利得形状インジケータ２１１が第２の値を有する時に、復号器は、推定された利得形状として定数利得形状を使用することができ、あるいは、フレーム_N１３２の利得形状を推定するために何らかの他の予測方法を実行することができる。

【0037】

[0044]特定の実施形態では、符号器は、ＨＢ利得形状相関の代わりにまたはこれに加えて、コードブックインデックス距離に基づいてＨＢ利得形状インジケータ２１１の値を決定することができる。たとえば、符号器は、ＨＢ利得形状情報２０３を量子化するのに使用されるＨＢ利得形状コードブックを維持し、またはこれへのアクセスを有することができる。符号器は、フレーム_N１３２のＨＢ利得形状に関連する第１のコードブックインデックスと、フレーム_N+2１３４のＨＢ利得形状に関連する第２のコードブックインデックスとを決定することができる。符号器は、コードブックインデックスの間の距離（たとえば、リーストミーンズスクエアエラー距離）に基づいて、ＨＢ利得形状インジケータ２１１の値（たとえば、ＧＳ＿ｂｉｔ＝１またはＧＳ＿ｂｉｔ＝０）をセットすることができる。

【0038】

[0045]ＨＢ利得フレームインジケータ２１２は、単一ビットインジケータまたは複数ビットインジケータとされ得る。特定の実施形態では、ＨＢ利得フレームインジケータ２１２のサイズは、符号器によって動的に調整される。たとえば、パケット交換ネットワークが、有声オーディオフレーム、包括的なオーディオフレーム、遷移オーディオフレーム、および無声オーディオフレームを含む様々なタイプのオーディオフレームを送信するのに使用され得る。無声フレームの利得フレーム量子化に関して、有声／包括的／遷移フレームに関するより広いダイナミックレンジを使用することが有用である場合がある。より粗な利得フレーム量子化が、有声／包括的／遷移フレームに関してＨＢ対ＬＢ利得比を効率的に表すのに十分である場合がある。したがって、フレーム_N１３２が、無声フレームである場合に、符号器は、ＨＢ利得フレームインジケータ２１２に第１のより多い個数のビット（たとえば、３〜６ビット）を割り振ることができる。フレーム_N１３２が、無声フレームではない場合に、符号器は、ＨＢ利得フレームインジケータ２１２に第２のより少ない個数のビット（たとえば、１〜２ビット）を割り振ることができる。

【0039】

[0046]図２に示された例では、ＨＢ利得フレームインジケータ２１２は、より多い個数のビット（たとえば、３〜６ビット）を割り振られる。対照的に、図３は、ＨＢ利得フレームインジケータ３１２が、図２のＨＢ利得フレームインジケータ２１２より少ない個数のビット（たとえば、１〜２ビット）を割り振られる例を示す。ＨＢ利得フレームインジケータ３１２は、より少数のビットを割り振られるので、余分のビットが、図２のＬＢ冗長コーディング情報２１４より長いＬＢ冗長コーディング情報３１４を表す際の使用のために使用可能とされ得る。その代わりに、余分なビットは、フレーム_N+2１３４のＬＢコアまたはＨＢパラメータに割り振られ得る。図２〜図３では、ビット割振りのこの柔軟性が、３つの分割線２５０と２６０と２７０とを使用して示されている。第１の分割線２５０は、主コーディング情報を冗長コーディング情報から分離し、符号器が冗長コーディングビットに対する主コーディングビットの比を動的に調整する際に、左右に調整され得る。第２の分割線２６０は、主コーディング情報内でＬＢコアとＨＢパラメータとを分離し、符号器が主コーディング情報内でＨＢパラメータビットに対するＬＢコアビットの比を動的に調整する際に、上下に調整され得る。第３の分割線２７０は、ＬＢ冗長コーディング情報とＨＢ冗長コーディング情報とを分離し、符号器がＬＢ冗長ビットのそれに対するＨＢ冗長ビットの比を動的に調整する際に、上下に調整され得る。

【0040】

[0047]特定の実施形態では、符号器は、フレーム_N１３２および／またはフレーム_N+2１３４の「クリティカリティ」および／またはフレームタイプに基づいて、フレームの４つの部分の各々に割り振られるビット数を動的に調整する（たとえば、分割線２５０、２６０、および／または２７０を動的に「移動する」）ことができる。例示のために、フレームの４つの部分の間のビット割振りは、以前のフレーム（それに関する冗長コーディング情報がそのフレームに含まれる）のクリティカリティと、そのフレームのより少数のビットをそのフレームの主コーディング情報を表すのに使用可能にすることから生じるオーディオ劣化とのバランスをとることに基づくものとされ得る。ある種のタイプのフレームを復号できないことが、別のタイプのフレームを復号できないことより、リスナにとってより顕著である場合がある。したがって、オーディオ信号のある種のフレームは、他のフレームより「クリティカル」であると考えられ得る。たとえば、オーディオストリームの第１のフレームは、第１のフレームの誤りのある復号が第２のフレームの誤りのある復号より顕著な復号アーティファクトを引き起こす可能性がより高い時に、オーディオストリームの第２のフレームより高い「クリティカリティ」を有することができる。非クリティカルフレームの冗長コーディング情報に割り振られるものより多数のビットが、クリティカルフレームの冗長コーディング情報に割り振られ得る。その代わりにまたはそれに加えて、クリティカルフレームの、非クリティカルフレーム内で割り振られるより少数のビットが、冗長コーディング情報に割り振られ得る。

【0041】

[0048]たとえば、音声フレームは、「全予測」、「雑音励起線形予測（ＮＥＬＰ：noise-excited linear prediction）」、「包括的」、および「非予測」フレームタイプに分類され得る。全予測フレームは、話された音声に対応することができ、音声ベースの通信に対応するオーディオ信号内のアクティブフレームの５０％以上を構成する可能性がある。ＮＥＬＰフレームは、無声データに対応することができ、フレームの１０％〜２０％を構成する可能性がある。フレームの残りの３０％〜４０％は、包括的フレームまたは非予測フレームであり得る。包括的フレームは、コードブックインデックスなどの適応コードブック（ＡＣＢ）情報と固定コードブック（ＦＣＢ）情報との両方を含む混合モードフレームとされ得る。非予測フレームは、オーディオ遷移に対応することができ、ＦＣＢ情報を含むことができる。包括的フレームおよび非予測フレームは、全予測フレームおよびＮＥＬＰフレームより「自己完結的」とされ得る。したがって、包括的フレームまたは非予測フレームが、破壊されるか受信されない場合に、復号器は、そのフレームを再生成するために他のフレームに頼ることがより少なくできる可能性がある。その結果、包括的フレームおよび非予測フレームは、よりクリティカルと考えられ得るが、全予測フレームおよびＮＥＬＰフレームは、その特定のフレームに関してより非クリティカルと考えられ得る（全予測フレームおよびＮＥＬＰフレームの影響は、将来のフレームに関して異なる可能性がある）。

【0042】

[0049]図２の例では、フレーム_N+2１３４は、フレーム_N１３２の冗長コーディング情報を含む。フレーム_N１３２がクリティカルと考えられる場合には、追加のビットが、冗長コーディング情報に割り振られ得る（たとえば、第１の分割線２５０が、左に調整され得る）。フレーム_N+2１３４がクリティカルと考えられる場合には、フレーム_N+2１３４の品質の劣化を低減できるようにするために、より少数のビットが、冗長コーディング情報に割り振られ得る（たとえば、第１の分割線２５０が、右に調整され得る）。したがって、フレーム_N+2１３４がクリティカルと考えられ、フレーム_N１３２がクリティカルとは考えられない実施形態では、より少数または０個のビットが、冗長コーディング情報に割り振られ得る。逆に、フレーム_N+2１３４がクリティカルとは考えられず、フレーム_N１３２がクリティカルと考えられる実施形態では、より多数のビットが、冗長コーディング情報に割り振られ得る。したがって、ＨＢパラメータ、ＬＢコア、ＬＢ冗長コーディング情報、および／またはＨＢ冗長コーディング情報に割り振られるビット数は、フレーム_N１３２のフレームタイプおよび／またはフレーム_N+2１３４のフレームタイプに基づいて決定され得る。

【0043】

[0050]特定の実施形態では、ＨＢ利得フレームインジケータ２１２が、第１の個数のビット（たとえば、３〜６ビット）を割り振られる時に、第１の個数のビットは、コードブックインデックスを表すのに使用される。ＨＢ利得フレームインジケータ２１２が、第２の個数のビット（たとえば、１ビット）を割り振られる時に、第２の個数のビットは、コードブックのどちらの半分がフレーム_N１３２のＨＢ利得フレームに対応するのかを示すのに使用される。

【0044】

[0051]一例として図４を参照すると、オーディオフレーム１３１〜１３４は、それぞれＨＢ利得フレーム値１．６と３．６と１．６と１．０とを有することができ、ＨＢ利得フレームコードブックは、８つのインデックスを含むことができる。フレーム_N１３２が、無声フレームである場合に、ＨＢ利得フレームインジケータ２１２は、値「１００」をセットされたすなわち、３．６のＨＢ利得フレーム値に対応するコードブックインデックス４の２進表現である、３ビットを割り振られる。そうではない場合には、ＨＢ利得フレームインジケータ２１２は、３．６のＨＢ利得フレーム値がコードブックの第１の位置（たとえば、インデックス４〜７に対応する上半分）にあることを示す「１」をセットされた１ビットを割り振られる。この値は、ＨＢ利得フレーム値がコードブックの第２の位置（たとえば、インデックス０〜３に対応する下半分）にある場合には、「０」がセットされるはずである。復号器は、フレーム_NのＨＢ利得フレーム値を推定するために、フレーム_NのＨＢ利得フレーム値が上半分にあるという情報と一緒に、以前のフレーム（たとえば、フレーム_N-1）のＨＢ利得フレーム値を使用することができる。

【0045】

[0052]したがって、特定の実施形態では、ＨＢ利得フレームインジケータ２１２は、以下のＣスタイルの擬似コードに従って、符号器によって割り振られ、セットされ得る。

【0046】

【数2】

【0047】

[0053]ＨＢ ＬＳＰインジケータ２１３は、フレーム_N１３２のＨＢ ＬＳＰをどのように導出すべきかを受信器に知らせる単一ビットインジケータとされ得る。ＨＢ ＬＳＰインジケータ２１３の値を決定するために、符号器は、フレーム_N１３２とフレーム_N+2１３４との間のスペクトルひずみメトリックを使用して、フレーム間ＨＢ ＬＳＰ変動を推定することができる。その代わりにまたはそれに加えて、オーディオフレームのＨＢ ＬＳＰインデックスの間のコードブックインデックス距離が、使用され得る。フレーム_Nとフレーム_N+2との間のスペクトル変動が、特定のしきい値（たとえば、２デシベル（ｄＢ））未満である時には、符号器は、ＨＢ ＬＳＰインジケータ２１３に第１の値（たとえば、ＨＢＬＳＰ＿ｂｉｔ＝０）をセットすることができる。ＨＢ ＬＳＰインジケータ２１３が第１の値を有する時に、復号器は、フレーム_Nの推定されたＨＢ ＬＳＰインデックスとして、フレーム_N+2のＨＢ ＬＳＰインデックス２０５を使用することができる。スペクトル変動が、特定のしきい値（たとえば、２ｄＢ）以上である時には、符号器は、ＨＢ ＬＳＰインジケータ２１３に第２の値（たとえば、ＨＢＬＳＰ＿ｂｉｔ＝１）をセットすることができる。ＨＢ ＬＳＰインジケータ２１３が第２の値を有する時に、復号器は、補間または外挿によってフレーム_NのＨＢ ＬＳＰインデックスを導出することができる。たとえば、スペクトル変動が、しきい範囲以内である（たとえば、２ｄＢ＜変動＜４ｄＢ）場合には、復号器は、フレーム_N-1からフレーム_N+2までのＨＢ ＬＳＰを補間することによってフレーム_NのＨＢ ＬＳＰインデックスを導出することができる。スペクトル変動が、しきい範囲の外である（たとえば、＞＝４ｄＢ）場合には、復号器は、以前のフレーム（たとえば、フレーム_N-1およびフレーム_N-2）から外挿することによって、フレーム_NのＨＢ ＬＳＰインデックスを導出することができる。

【0048】

[0054]代替実施形態では、ＨＢ ＬＳＰインジケータ２１３の値をセットするために、符号器は、フレーム_NのＨＢ ＬＳＰとフレーム_N+2のＨＢ ＬＳＰとの間の差（たとえば、デルタ）を決定することができる。符号器は、差に基づいてＨＢ ＬＳＰインジケータ２１３の値をセットすることができ、復号器は、フレーム_N+2のＨＢ ＬＳＰからフレーム_NのＨＢ ＬＳＰを導出するのにＨＢ ＬＳＰインジケータ２１３の値を使用することができる。代替実施形態では、ＨＢ ＬＳＰインジケータ１２３は、冗長コーディング情報内に含まれない。

【0049】

[0055]したがって、図２〜図４を参照して説明されるように、符号器は、どれほどの空間がＨＢ冗長コーディング情報２１０によって占められるのかを動的に調整することができ、復号器が失われたフレーム（またはその一部）を再構成することを可能にするために、ＨＢ冗長コーディング情報２１０の値をセットすることができる。

【0050】

[0056]図５を参照すると、符号器５００の特定の実施形態が示されている。例示的実施形態では、符号器５００は、図１の符号器１１６に対応する。符号器５００は、並列に動作する２つの符号化経路すなわち、主符号化経路５１０と冗長（その代わりに「部分的コピー」と呼ばれる）符号化経路５２０とを含む。符号化経路５１０および５２０は、フレーマ（またはビットマルチプレクサ）５４０に結合される。図５では、符号化経路５１０および５２０は、共有メモリ５３０を介して通信するように構成される。共有メモリ５３０は、キャッシュベースのメモリ、抵抗ベースのメモリ、またはプロセッサ（たとえば、ＤＳＰ）の他のメモリに対応することができる。代替実施形態では、符号化経路５１０および５２０は、別の機構を使用して通信することができる。

【0051】

[0057]動作中に、符号化されるべき各オーディオフレームのフレームデータは、主符号化経路５１０と冗長符号化経路５２０との両方に提供され得る。たとえば、図５は、それぞれフレーム_N-2５５１、フレーム_N１３２、フレーム_N+2１３４、およびフレーム_N+4５５４のフレームデータ５０１、５０２、５０３、および５０４が、両方の符号化経路５１０と５２０とに提供されることを示す。介在するフレームに関するフレームデータ（たとえば、フレーム_N-1１３１、フレーム_N+1１３３、およびフレーム_N+3）は、図示を簡単にするために図示されていない。主符号化経路５１０は、オーディオフレームの主コーディング情報を生成することができ、冗長符号化経路５２０は、オーディオフレームの冗長情報を生成することができる。ビットマルチプレクサまたはフレーマ５４０は、符号化されたオーディオフレームを生成するために、符号化経路５１０と５２０とから受信されるビットを連結することができる。図５の例では、フレーマ５４０は、各々が宛先デバイスへの通信のためにパケット化およびトランスポートシステムに供給される、フレーム_N-2５５１と、フレーム_N１３２と、フレーム_N+2１３４と、フレーム_N+4５５４とを生成する。

【0052】

[0058]主符号化経路５１０によって実行される符号化動作は、冗長符号化経路５２０によって実行される符号化動作に依存することができ、逆も同様である。例示のために、符号器５００は、１３．２ｋｂｐｓのビットレートでオーディオフレームを符号化することができ、各フレームは、２６４ビットを含むことができる（代替実施形態では、異なるビットレートおよび異なるビット数を使用することができる）。主符号化経路５１０は、冗長符号化経路５２０が以前のフレームの冗長コーディング情報を符号化するのに何ビットを使用したのかに基づいて、２６４ビットのうちのどれほどが、フレームの主コーディング情報（たとえば、ＬＢコアおよびＨＢパラメータ）を符号化するのに使用可能であるのかを決定することができる。冗長符号化経路５２０は、フレームの主符号化中に主符号化経路５１０によって決定されるパラメータに基づいて、そのフレームの冗長コーディング情報を符号化することができる。したがって、図５の共有メモリ５３０を使用して示されるように、主符号化経路５１０は、ＬＢ／ＨＢパラメータを冗長符号化経路５２０に通信することができ、冗長符号化経路５２０は、フレームの冗長符号化を実行するのに使用されるビット数を主符号化経路５１０に通信することができる。

【0053】

[0059]主符号化経路５１０が、フレーム_N-2５５１のフレームデータ５０１を受信する時に、主符号化経路５１０は、冗長符号化経路５２０がフレーム_N-4（図示せず）の冗長符号化を実行するのに何ビットを使用したのかを決定することができる。図５の例では、冗長符号化は、フレーム_N-4に関して実行されなかった。したがって、主符号化経路５１０は、フレームデータ５０１から生成される主コーディング情報にすべての使用可能な２６４ビットを割り振ることができ、フレーム_N-2５５１は、主符号化経路５１０から受信される２６４個の符号化されたビットを含むことができる。例示のために、図２〜図３に関して説明されたように、２６４ビットは、他の代替物の中でも、ＬＳＰインデックス、ＡＣＢ情報、ＦＣＢ情報、励起情報、変換された励起情報、利得形状方法、および／または利得フレーム情報を含むことができる。フレームデータ５０１に関して主符号化経路５１０によって実行される動作と並列に、冗長符号化経路５２０は、フレーム_N-2５５１の冗長符号化に何ビットを使用すべきかを決定することができる。図５の例では、フレーム_N-2５５１の冗長符号化は、実行されない（たとえば、フレーム_N-2５５１が、「非クリティカル」であると決定される）。例示的実施形態では、冗長符号化経路５２０は、フレームのフレームタイプに基づいて、フレームの冗長符号化に何ビットを使用すべきかを決定する。たとえば、４１ビットが、ＮＥＬＰフレームの冗長符号化に使用され得、５８ビットが、全予測フレームの冗長符号化に使用され得、７２ビットが、包括的フレームの冗長符号化に使用され得る（代替実施形態では、異なるビット数が、様々なフレームタイプに関して使用され得る）。４１ビットが使用される時、５８ビットが使用される時、７２ビットが使用される時などに表される特定のＬＢ／ＨＢ冗長フレーム情報は、産業標準規格（たとえば、３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ（３ＧＰＰ（登録商標））ＥＶＳ標準規格）で指定され得る。

【0054】

[0060]主符号化経路５１０が、フレーム_N１３２のフレームデータ５０２を受信する時に、主符号化経路５１０は、冗長符号化経路５２０がフレームフレームＮ−２５５１の冗長符号化を実行するのに何ビットを使用したのかを決定することができる。冗長コーディングが、フレーム_N-2５５１に関して実行されなかったので、主符号化経路５１０は、フレームデータ５０２から導出されるＬＢコアとＨＢパラメータとを表すのにすべての２６４個の使用可能なビットを使用することができ、フレーマ５４０によって出力されるフレーム_N１３２は、主符号化経路５１０から受信された２６４個の符号化されたビットを含むことができる。冗長符号化経路５２０は、フレーム_N１３２の冗長符号化を実行するのに４１ビットを使用することができる（たとえば、フレーム_N１３２が、ＮＥＬＰフレームである場合がある）。具体的には、４１ビットは、フレーム_N１３２の主符号化中に主符号化経路５１０によって決定されるある種の「クリティカル」ＬＢ／ＨＢパラメータを表すのに使用され得る。例示のために、図２〜図３を参照して説明されたように、冗長コーディング情報は、他の代替物の中でも、利得形状情報、利得フレーム情報、および／またはＬＳＰ情報を含むことができる。フレーム_N１３２の４１ビット冗長コーディングは、後続使用のために記憶され得る（たとえば、共有メモリ５３０内に）。

【0055】

[0061]主符号化経路５１０が、フレーム_N+2１３４のフレームデータ５０３を受信する時に、主符号化経路５１０は、４１ビットがフレーム_N１３２の冗長符号化のために使用されたと決定することができる（たとえば、共有メモリ５３０に記憶されたデータに基づいて）。したがって、主符号化経路５１０は、フレーム_N+2１３４のＬＢコア情報とＨＰパラメータ情報とを符号化するのに、２６４−４１＝２２３ビットを使用することができる。冗長符号化経路５２０は、フレーム_N+2１３４の冗長符号化を実行するのに７２ビットを使用すると決定することができる（たとえば、フレーム_N+2１３４が、包括的フレームである場合がある）。主符号化経路５１０によって決定されるフレーム_N+2１３４の選択されたパラメータを表すことができる、フレーム_N+2１３４の７２ビット冗長コーディングは、後続使用のために記憶され得る。フレーマ５４０は、図示されているように、フレーム_N+2１３４を生成するために、主符号化経路５１０から受信された２２３ビット主符号化を、フレーム_N１３２の以前に記憶された４１ビット冗長コーディングと連結することができる。

【0056】

[0062]主符号化経路５１０が、フレーム_N+4５５４のフレームデータ５０４を受信する時に、主符号化経路５１０は、７２ビットがフレーム_N+2１３４の冗長符号化に使用されたと決定することができる。したがって、主符号化経路５１０は、フレーム_N+4５５４のＬＢコア情報とＨＰパラメータ情報とを符号化するのに２６４−７２＝１９２ビットを使用することができる。並列に、冗長符号化経路５２０は、フレーム_N+4５５４の冗長符号化を実行することができる。フレーマ５４０は、図示されているように、フレーム_N+4５５４を生成するために、主符号化経路５１０から受信された１９２ビット主符号化を、フレーム_N+2１３４の以前に記憶された７２ビット冗長コーディングと連結することができる。

【0057】

[0063]特定の実施形態では、符号化されたフレームの最後の３ビットは、そのフレームに含まれる冗長コーディングデータのフレームタイプインジケータを表す。たとえば、フレーム_N-2５５１および符号化されたフレーム_N１３２は、別のフレームの冗長コーディング情報を全く含まないので、フレーム_N-2５５１およびフレーム_N１３２の最後の３ビットは、第１の値（たとえば、０００）を有することができる。フレーム_N+2１３４は、４１ビットの冗長コーディング情報を含み、フレーム_NはＮＥＬＰフレームなので、フレーム_N+2１３４の最後の３ビットは、第２の値（たとえば、００１または別の一意の３ビット値）を有することができる。フレーム_N+4５５４は、７２ビットの冗長コーディング情報を含み、フレーム_N+2１３４は包括的フレームなので、フレーム_N+4５５４の最後の３ビットは、第３の値（たとえば、０１０または別の一意の３ビット値）を有することができる。３ビットフレームタイプインジケータの追加の値は、他のフレームタイプを示し、他の情報（たとえば、周波数領域部分的コピー）をシグナリングするのに使用され得る。したがって、説明される例では、各フレームの最後の３ビットは、以前のフレームのフレームタイプと、以前のフレームの冗長コーディング情報のうちの何ビットがそのフレームに含まれるのかとを示す。したがって、２６４ビットのうちの２６１ビットが、主符号化経路５１０と冗長符号化経路５２０との間で共有され得、残りの３ビットは、冗長フレームタイプインジケータのために予約され得る。

【0058】

[0064]符号化されたオーディオフレームは、受信されたオーディオフレームを復号することのできる宛先デバイス（たとえば、図１の第２のコンピューティングデバイス１２０）へ、ソースデバイス（たとえば、図１の第１のコンピューティングデバイス１１０）によって送信され得る。たとえば、図６は、受信されたオーディオフレームを復号するように動作可能な復号器６００の特定の実施形態を示す。復号器６００は、図１の復号器１２６に対応することができる。復号器６００は、デジッタバッファ６１０（たとえば、図１のデジッタバッファ１２９に対応する）を含む。符号器５００は、並列の符号化経路５１０〜５２０を含むが、復号器６００は、単一の復号経路６２０を含む。

【0059】

[0065]オーディオフレームが受信器によって受信される時に、それらのオーディオフレームは、デジッタバッファ６１０に記憶され得る。図１を参照して説明されたように、ネットワーク条件に起因して、ソースデバイスによって宛先デバイスに送られたフレームは、順序はずれで到着する場合があり、破壊される場合があり、あるいは全く到着しない場合がある。復号経路６２０は、フレームシーケンスに従って（たとえば、フレームシーケンス番号またはオーディオフレームに含まれる他のシーケンシング情報に基づいて）デジッタバッファ６１０からフレームを取り出すことができる。たとえば、復号経路６２０は、フレーム_N１３２の前にフレーム_N-2５５１を、フレーム_N+2１３４の前にフレーム_N１３２を、フレーム_N+4５５４の前にフレーム_N+2１３４を、取り出し、復号することを試みることができる。例示の簡単さのために、介在するフレームの復号（たとえば、フレーム_N-1１３１、フレーム_N+1１３３、およびフレーム_N+3）は、図６には図示されていない。

【0060】

[0066]フレーム_N-2５５１の復号を開始するために、復号経路６２０は、フレーム_N-2５５１がデジッタバッファ６１０内で使用可能であるかどうかをチェックすることができる。図６の例では、フレーム_N-2５５１は、デジッタバッファ６１０内で使用可能である。復号経路６２０は、フレーム_N-2５５１のうちの何ビットが、別のフレームの冗長コーディング情報に使用されつつあるのかを決定することができる。たとえば、フレーム_N-2１３４の最後の３ビットが値０００を有する（図５を参照して説明されたように）ことに基づいて、復号経路６２０は、フレーム_N-2１３４のどのビットも冗長フレーム情報を表さないと決定することができる。したがって、復号経路６２０は、６５１に示されているようにフレーム_N-2５５１の２６１ビットのすべてを取り出すことができ、復号されたデータ６０１を生成することができる。復号されたデータ６０１は、再生のために出力デバイス（たとえば、スピーカ）に供給され得る。符号器５００で実行される符号化の品質と復号器６００で実行される復号の品質とに依存して、データ６０１が、図５のデータ５０１と同一またはその近似である可能性があることを了解されたい。２６１個の主ビットに基づくフレーム_N-2５５１の復号中に、特定の復号パラメータの値が、後続フレームの復号中の使用のために主復号メモリ６２２に記憶され得る。

【0061】

[0067]図６の例では、フレーム_N１３２は、デジッタバッファ６１０内で使用可能ではない。代替案では、復号経路６２０は、フレーム_N１３２がデジッタバッファ６１０内で使用可能であると決定することができるが、エラーが、フレーム_N１３２の主ビットの復号中に発生する場合がある。どちらの場合でも、復号経路６２０は、フレーム_N１３２の冗長フレーム情報がデジッタバッファ６１０内で使用可能であるかどうかをチェックすることができる。たとえば、主コーディング情報と冗長コーディング情報との間の２フレームの既知のオフセット（他の実施形態では、他のオフセット、たとえば３、５、または７が使用され得る）に基づいて、復号経路６２０は、フレーム_N+2１３４がデジッタバッファ６１０内で使用可能であるかどうかをチェックすることができる。フレーム_N+2１３４も使用不能である場合には、復号経路６２０は、フレーム_N１３２の復号されたデータ６０２を生成するために、誤り隠蔽手順を開始することができる。しかし、図６の例では、フレーム_N+2１３４が、デジッタバッファ６１０内で使用可能である。フレーム_N+2１３４の最後の３ビットが値００１を有する（図５を参照して説明されたように）ことに基づいて、復号経路６２０は、フレーム_N+2１３４の４１ビットが、フレーム_N１３２の冗長コーディング情報を表すと決定することができる。復号経路６２０は、６５２に示されているように、フレーム_N１３２の４１個の冗長コーディングビットを取り出すことができ、データ６０２を生成することができる。したがって、復号経路６２０は、何個の冗長コーディングビットが使用可能であるのかを決定し、決定された個数に基づいて冗長コーディングビットを取り出すことができる（たとえば、Ｘ個の冗長コーディングビットが使用可能である時に、復号経路６２０は、ＯＦＦＳＥＴによって決定されるパケットシーケンス番号に関連する、デジッタバッファ６１０内に記憶されたフレームまたはパケットの最後のＸビットを取り出すことができる）。図６では、冗長フレーム情報から生成された復号されたデータ（たとえば、データ６０２）は、斜線パターンを使用して示される。４１ビットの冗長コーディング情報に基づくフレーム_N１３２の復号中に、ある種のパラメータの値が、後続使用のために冗長復号メモリ６２４に記憶され得る。代替実施形態では、冗長復号メモリ６２４および主復号メモリ６２２は、オーバーラップすることができ、あるいは、同一とされ得る。

【0062】

[0068]したがって、復号経路６２０は、主ビットに基づく復号と冗長ビットに基づく復号とに関して別々のメモリを維持することができる。特定の実施形態では、主復号メモリ６２２内のデータは、他の主ビットの復号中に使用され得るが、冗長ビットの復号中には使用され得ない。同様に、冗長復号メモリ６２４からのデータは、冗長ビットの復号中に使用され得るが、主ビットの復号中には使用され得ない。代替実施形態では、主復号メモリ６２２からのデータが、冗長ビットの復号中に使用され得、および／または冗長復号メモリ６２４からのデータが、主ビットの復号中に使用され得る。たとえば、複数の以前に復号されたフレームからのパラメータが、「現在の」フレームのパラメータの補間中および／または予測中に使用され得る。

【0063】

[0069]復号経路６２０は、フレーム_N-2５５１について説明されたように、デジッタバッファ６１０内で使用可能であるフレーム_N+2１３４とフレーム_N+4５５４とを復号することができる。フレーム_N+2１３４の最後の３ビットが値００１を有する（図５を参照して説明されたように）ことに基づいて、復号経路６２０は、復号されたデータ６０３を生成するために、６５３に示されているように、フレーム_N+2１３４の２６４−４１＝２２３個の主ビットを取り出すことができる。フレーム_N+4５５４の最後の３ビットが値０１０を有する（図５を参照して説明されたように）ことに基づいて、復号経路６２０は、復号されたデータ６０４を生成するために、６５３に示されているように、フレーム_N+4１３４の２６４−７２＝１９２個の主ビットを取り出すことができる。

【0064】

[0070]復号器６００が、「クリーンチャネル」条件で復号を実行する時に、部分的コピーフレームタイプインジケータをも使用することができることに留意されたい。たとえば、フレーム_N１３２がデジッタバッファ６１０で受信される時に、フレーム消去条件が、フレーム_N１３２に関して存在しない場合がある。それでも、復号器６００は、フレーム_N+2１３４のうちの何ビットが主コーディングビットであり、フレーム_N+2１３４のうちの何ビットがフレーム_N１３２の部分的コピービットであるのかを決定するために、フレームタイプインジケータを評価することができる。復号経路６２０は、主コーディングビットに基づいてフレーム_N+2１３４を復号することができる。フレーム_N１３２の部分的コピービットは、フレーム_N１３２がフレーム_N+2１３４の復号の前に成功して受信され復号され得たので、破棄され得る。したがって、冗長フレーム情報は、雑音のあるチャネル条件（その間にフレームが捨てられ、再構成される可能性がある）ならびにクリーンチャネル条件において、復号器６００によって処理され得る。

【0065】

[0071]説明の簡単さのために、図５の符号化経路５１０、５２０および図６の復号経路６２０が、ブロック構成要素として図示されていることに留意されたい。しかし、主符号化経路５１０、冗長符号化経路５２０、および／または復号経路６２０が、図１〜図４を参照して説明された符号化動作および／または復号動作を実行するように動作可能な副構成要素を含むことができることを理解されたい。たとえば、経路５１０、５２０、または６２０のうちの１つまたは複数が、分析フィルタバンク、ＬＰ分析モジュール、変換モジュール、量子化器、ＨＢ分析モジュール、ＡＣＢ、ＦＣＢなどを含むことができる。特定の実施形態では、符号化経路５１０〜５２０のうちの一方または両方が、復号経路６２０内にも含まれる復号構成要素を含むことができる（たとえば、符号器５００の「局所復号器」として）。

【0066】

[0072]したがって、図５〜図６は、冗長フレーム情報を符号化し、復号するのに使用され得る符号器５００と復号器６００との例を示す。あるフレームの冗長コーディングビットの、後続フレームでの通信は、悪いネットワーク条件の存在の下で宛先デバイスでのオーディオ再構成（たとえば、合成）を改善することができる。たとえば、冗長符号化ビットは、フレームが宛先デバイスで受信されない時に、そのフレームを再構成するのに使用され得る。別の例として、あるフレームの主ビットを復号している間にエラーが発生する時に、そのフレームの冗長符号化ビットが、別のフレームから取り出され得、主ビットの代わりにまたはこれに関連して使用され得る。

【0067】

[0073]図７〜図８を参照すると、後続フレーム内に含まれる冗長コーディング情報に基づいてフレームを復号する方法の特定の実施形態のフローチャートが、示されており、全体的に７００と指定されている。図示の実施形態では、方法７００は、宛先デバイス（たとえば、図１の第２のコンピューティングデバイス１２０）および／または復号器（たとえば、図６の復号器６００）で実行され得る。

【0068】

[0074]方法７００は、７０２で、復号器で第２のオーディオフレームを受信する（たとえば、パケット交換ネットワークを介して）ことを含む。第２のオーディオフレームは、オーディオ信号内で第１のオーディオフレームに続く。第２のオーディオフレームは、第２のオーディオフレームに関連する主コーディング情報に割り振られるビットの第１の個数と、第１のオーディオフレームに関連する冗長コーディング情報に割り振られるビットの第２の個数と、第１のオーディオフレームのフレームタイプのインジケータとを含む。たとえば、図６では、復号器６００は、オーディオ信号内でフレーム_N１３２に続くフレーム_N+2１３４を受信することができる。

【0069】

[0075]方法７００は、７０４で、第２のオーディオフレームをデジッタバッファに記憶することをも含む。たとえば、図６では、フレーム_N+2１３４が、デジッタバッファ６１０に記憶され得る。方法７００は、７０６で、フレーム消去条件が第１のオーディオフレームに関連するかどうかを決定することを含む。フレーム消去条件が第１のオーディオフレームに関連する（たとえば、第１のオーディオフレームが、悪いチャネル条件に起因して捨てられまたは破壊された）ことの決定に応答して、インジケータに基づいて、方法７００は、７０８で、第１のオーディオフレームに関連する冗長コーディング情報に割り振られる第２のオーディオフレームのビットの第２の個数を決定することをさらに含む。たとえば、図６では、復号経路６２０が、フレーム_N１３２がデジッタバッファ６１０内で使用可能ではないと決定することができ、フレーム_N+2１３４内のフレームタイプインジケータに基づいて、フレーム_N+2１３４のうちの４１ビットがフレーム_N１３２の冗長コーディング情報を表すと決定することができる。

【0070】

[0076]方法７００は、７１０で、冗長コーディング情報に基づいて第１のオーディオフレームを復号することを含む。たとえば、図６では、復号経路６２０が、フレーム_N+2１３４に含まれる４１ビットの冗長コーディング情報に基づいて、欠けているフレーム_N１３２またはその近似を復号することができる。

【0071】

[0077]フレーム消去条件が第１のオーディオフレームに関連しない時には、方法７００は、７１２で、第１のオーディオフレーム内の主コーディング情報に基づいて第１のオーディオフレームを復号することを含む。たとえば、クリーンチャネル条件において、フレーム_N１３２フレームは、以前に受信され、デジッタバッファ６１０内に記憶されている可能性があり、復号経路６２０は、フレーム_N１３２の主コーディングビットに基づいてフレーム_N１３２を復号することができる。

【0072】

[0078]第１のオーディオフレームが、冗長コーディング情報または主コーディング情報のどちらを使用して復号されるのかにかかわりなく、方法７００は、７１４で、インジケータに基づいて、第２のオーディオフレームに関連する主コーディング情報に割り振られた第２のオーディオフレームのビットの第１の個数を決定することを含むことができる。方法７００は、７１６で、主コーディング情報に基づいて第２のオーディオフレームを復号することをも含むことができる。

【0073】

[0079]第２のオーディオフレーム（たとえば、フレーム_N+2１３４）に含まれる冗長コーディング情報に基づいて第１のオーディオフレーム（たとえば、フレーム_N１３２）の復号中に実行され得る１つまたは複数の動作の特定の例が、図８を参照してさらに説明される。したがって、図８に示された１つまたは複数の動作は、図７の動作７１０の一部として実行され得る。いくつかの実施形態では、図８に示された１つまたは複数の動作が、省略され得る。図８が、冗長フレーム情報に基づくＨＢ復号を示すことに留意されたい。図８には示されていないが、冗長フレーム情報に基づくＬＢ復号も、図７の動作７１０中に復号器で実行され得る。

【0074】

[0080]復号器は、８１０で、冗長コーディング情報に含まれる利得形状インジケータの値を決定することができる。８１２で、利得形状インジケータが第１の値を有する時に、復号器は、第１のオーディオフレームの推定された利得形状として第２のオーディオフレームの高帯域利得形状を使用することができる。たとえば、図２〜図３を参照すると、復号器は、ＨＢ利得形状２０３を使用することができる。８１４で、利得形状インジケータが第２の値を有する時に、復号器は、推定された利得形状として定数利得形状を使用するか、第１のオーディオフレームの利得形状を推定する何らかの他の予測方法を使用することができる。

【0075】

[0081]復号器は、８２０で、何ビットが冗長コーディング情報内でＨＢ利得フレームインジケータに割り振られるのかを決定することもできる。第１の（たとえば、より大きい）ビット数が割り振られる時に、復号器は、８２２で、コードブックインデックスとしてＨＢ利得フレームインジケータを使用することによって、第１のオーディオフレームのＨＢ利得フレームを決定することができる。単一ビットなど、第２の（たとえば、より小さい）ビット数が割り振られる時に、復号器は、８２４で、コードブックの示された部分（たとえば、上半分または下半分）にアクセスすることによって、第１のオーディオフレームのＨＢ利得フレームを決定することができる。

【0076】

[0082]復号器は、さらに、８３０で、ＨＢ ＬＳＰインジケータの値を決定することができる。８３２で、ＨＢ ＬＳＰインジケータが第１の値を有する時に、復号器は、第１のオーディオフレームの推定されたＨＢ ＬＳＰインデックス（またはＨＢ ＬＳＰ）として第２のオーディオフレームのＨＢ ＬＳＰインデックス（またはＨＢ ＬＳＰ）を使用することができる。ＨＢ ＬＳＰインジケータが第２の値を有する時に、復号器は、８３４で、第１のオーディオフレームと第２のオーディオフレームとの間のスペクトルひずみがしきい範囲内にあるかどうかを決定することができる。スペクトルひずみがしきい範囲内にある時に、符号器は、８３６で、補間（たとえば、フレーム_N-1１３１とフレーム_N+2１３４との間で補間すること）を介して第１のオーディオフレームのＨＢ ＬＳＰインデックス（またはＨＢ ＬＳＰ）を決定することができる。スペクトルひずみがしきい範囲の外にある時に、符号器は、８３８で、外挿（たとえば、フレーム_N-2５５１およびフレーム_N-1１３１から外挿すること）を介して第１のオーディオフレームのＨＢ ＬＳＰインデックス（またはＨＢ ＬＳＰ）を決定することができる。

【0077】

[0083]特定の実施形態では、図７〜図８の方法７００は、ＣＰＵ、ＤＳＰ、またはコントローラなどの処理ユニットのハードウェア（たとえば、ＦＰＧＡデバイス、ＡＳＩＣなど）を介して、ファームウェアデバイスを介して、またはその任意の組合せで実施され得る。例として、図７〜図８の方法７００は、図１０に関して説明されるように、命令を実行するプロセッサによって実行され得る。

【0078】

[0084]図９を参照すると、後続フレーム内にフレームの冗長コーディング情報を符号化する方法の特定の実施形態のフローチャートが示され、全体的に９００と指定されている。例示的実施形態では、方法９００は、ソースデバイス（たとえば、図１の第１のコンピューティングデバイス１１０）および／または符号器（たとえば、図５の符号器５００）で実行され得る。

【0079】

[0085]方法９００は、９０２で、オーディオ信号の第１のオーディオフレームを符号化し、送信することを含む。たとえば、図５では、符号器５００が、フレーム_N１３２を符号化し、送信することができる。方法９００は、９０４で、第１のオーディオフレームのフレームタイプに基づいて、第２のオーディオフレームに関連する主コーディング情報に割り振られる第２のオーディオフレームのビットの第１の個数を決定することをも含む。第２のオーディオフレームは、オーディオ信号内で第１のオーディオフレームに続く。第１のオーディオフレームに関連する冗長コーディング情報に割り振られる第２のオーディオフレームのビットの第２の個数も、決定される。たとえば、図５に示すように、符号器が、フレーム_N１３２のフレームタイプに基づいて、フレーム_N+2１３４のうちの４１ビットが、フレームフレーム_N１３２の冗長コーディング情報に割り振られなければならず、フレーム_N+2１３４のうちの２２３ビットが、フレーム_N+2１３４の主コーディング情報に割り振られなければならないと決定することができる。

【0080】

[0086]方法９００は、９０６で、第２のオーディオフレームを符号化することを含む。第２のオーディオフレームは、主コーディング情報のビットの第１の個数と、冗長コーディング情報のビットの第２の個数と、第１のオーディオフレームのフレームタイプのインジケータとを含む。

【0081】

[0087]たとえば、符号器は、９０８で、単一ビット利得形状インジケータの値をセットすることができる。値は、第１のオーディオフレームと第２のオーディオフレームとのＨＢ部分の間の相関、および／または第１のオーディオフレームと第２のオーディオフレームとのＨＢ利得形状に関連するコードブックインデックスの間の距離に基づいてセットされ得る。

【0082】

[0088]符号器は、９１０で、特定のビット数をＨＢ利得フレームインジケータに割り振ることができる。特定のビット数は、第１のオーディオフレームが無声フレームであるかどうかに基づいて決定され得る。符号器は、コードブック（たとえば、図４に示されたＨＢ利得フレームコードブック）に基づいて、割り振られたビットに特定の値をセットすることもできる。

【0083】

[0089]符号器は、９１２で、第１のオーディオフレームと第２のオーディオフレームとの間のスペクトルひずみ、および／または、第１のオーディオフレームと第２のオーディオフレームとのＨＢ ＬＳＰに関連するコードブックインデックスの間の距離に基づいて単一ビットＨＢ ＬＳＰインジケータの値をセットすることができる。代替案では、符号器は、９１４で、第１のオーディオフレームと第２のオーディオフレームとの高帯域ＬＳＰの間の差（たとえば、デルタ）を決定し、差に基づいてＨＢ ＬＳＰインジケータの値をセットすることができる。代替実施形態では、異なる冗長コーディング情報が、符号器によって決定され得る。さらに、単一ビットまたは複数ビットであるある種のタイプのインジケータの前述の例は、例のためのみのものであり、限定的と考えられてはならないことに留意されたい。代替実施形態では、異なるタイプの主コーディング情報および／または冗長コーディング情報が、異なるビット数を使用して表され得る。

【0084】

[0090]方法９００は、９１６で、第２のオーディオフレームを送信することをさらに含む。たとえば、図１では、送信器１１８が、フレーム_N+2１３４を受信器１２８に送信することができ、フレーム_N+2１３４は、フレーム_N１３２の冗長コーディング情報を含む。

【0085】

[0091]特定の実施形態では、図９の方法９００は、ＣＰＵ、ＤＳＰ、またはコントローラなどの処理ユニットのハードウェア（たとえば、ＦＰＧＡデバイス、ＡＳＩＣなど）を介して、ファームウェアデバイスを介して、またはその任意の組合せで実施され得る。例として、図９の方法９００は、図１０に関して説明されるように、命令を実行するプロセッサによって実行され得る。

【0086】

[0092]図７〜図９に示された動作の順序が、例示のためのみのものであり、限定的と考えられてはならないことに留意されたい。代替実施形態では、ある種の動作が、異なる順序で実行され得、および／またはお互いと同時に（または少なくとも部分的に同時に）実行され得る。

【0087】

[0093]図１０を参照すると、ワイヤレス通信デバイスの特定の例示的実施形態のブロック図が、示され、全体的に１０００と指定されている。デバイス１０００は、メモリ１０３２（たとえば、コンピュータ可読記憶デバイス）に結合された第１のプロセッサ１０１０（たとえば、ＣＰＵ）を含む。デバイス１０００は、第２のプロセッサ１０８０（たとえば、ＤＳＰ）をも含む。メモリ１０３２は、図７〜図９の方法など、本明細書で開示される方法とプロセスとを実行するために第１のプロセッサ１０１０および／または第２のプロセッサ１０８０によって実行可能な命令１０６０を含むことができる。

【0088】

[0094]第２のプロセッサ１０８０は、音声符号器１０８７と、音声復号器１０８８と、１つまたは複数のコードブック１０８６（たとえば、ＬＢ ＬＳＰコードブック、ＨＢ ＬＳＰコードブック、ＨＢ利得形状コードブック、ＨＢ利得フレームコードブックなど）を記憶するメモリ１０８５とを含むことができる。１つまたは複数のコードブック１０８６は、ＡＣＢ、ＦＣＢ、またはその両方を含むことができる。代替実施形態では、音声符号器１０８７は、図１の符号器１１６および／または図５の符号器５００であり、音声復号器１０８８は、図１の復号器１２６および／または図６の復号器６００であり、メモリ１０８５は、図１のデジッタバッファ１２９、図６の共有メモリ５３０、および／または図６のデジッタバッファ６１０を含む。代替実施形態では、音声符号器１０８７および／または音声復号器１０８８は、第２のプロセッサ１０８８の外部とされ得る（たとえば、第１のプロセッサ１０１０内または異なるプロセッサもしくはハードウェアブロック内に含まれ得る）。音声符号器１０８７および音声復号器１０８８は、専用ハードウェア（たとえば、回路網）を介して、１つまたは複数のタスクを実行するために命令を実行するプロセッサによって、またはその組合せで実施され得る。一例として、メモリ１０３２またはメモリ１０８５は、ランダムアクセスメモリ（ＲＡＭ）、磁気抵抗ランダムアクセスメモリ（ＭＲＡＭ）、スピントルク注入ＭＲＡＭ（ＳＴＴ−ＭＲＡＭ）、フラッシュメモリ、読取専用メモリ（ＲＯＭ）、プログラマブル読取専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ（登録商標））、レジスタ、ハードディスク、リムーバブルディスク、または光ディスクメモリ（たとえば、コンパクトディスク読取専用メモリ（ＣＤ−ＲＯＭ）、デジタルビデオディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスクなど）などのメモリデバイスとされ得る。メモリデバイスは、コンピュータ（たとえば、第１のプロセッサ１０１０および／または第２のプロセッサ１０８０）によって実行された時に、そのコンピュータに、本明細書に記載された様々な動作を実行させる命令（たとえば、命令１０６０）を含むことができる。

【0089】

[0095]図１０は、第１のプロセッサ１０１０とディスプレイ１０２８とに結合されたディスプレイコントローラ１０２６をも示す。コーダ／デコーダ（コーデック）１０３４は、図示のように、第１のプロセッサ１０１０と第２のプロセッサ１０８０に結合され得る。スピーカ１０３６およびマイクロホン１０３８は、コーデック１０３４に結合され得る。特定の実施形態では、コーデック１０３４は、アナログオーディオ処理フロントエンド構成要素である。たとえば、コーデック１０３４は、マイクロホン１０３８から受信される信号とスピーカ１０３６に送信される信号とに関するアナログ利得調整とパラメータセッティングとを実行することができる。コーデック１０３４は、アナログ−デジタル（Ａ／Ｄ）変換器とデジタル−アナログ（Ｄ／Ａ）変換器とを含むこともできる。特定の例では、コーデック１０３４は、１つまたは複数の変調器と信号処理フィルタとをも含む。選択された実施形態では、コーデック１０３４は、マイクロホン１０３８から受信された入力データをバッファリングし、スピーカ１０３６に供給される出力データをバッファリングする、メモリを含む。

【0090】

[0096]図１０は、ワイヤレスコントローラ１０４０が第１のプロセッサ１０１０とアンテナ１０４２に結合され得ることをも示す。特定の実施形態では、第１のプロセッサ１０１０、第２のプロセッサ１０８０、ディスプレイコントローラ１０２６、メモリ１０３２、コーデック１０３４、およびワイヤレスコントローラ１０４０は、システムインパッケージまたはシステムオンチップデバイス（たとえば、ｍｏｂｉｌｅ ｓｔａｔｉｏｎ ｍｏｄｅｍ（ＭＳＭ））１０２２内に含まれる。特定の実施形態では、タッチスクリーンおよび／またはキーパッドなどの入力デバイス１０３０および電源１０４４は、システムオンチップデバイス１０２２に結合される。さらに、特定の実施形態では、図１０に示されているように、ディスプレイ１０２８、入力デバイス１０３０、スピーカ１０３６、マイクロホン１０３８、アンテナ１０４２、および電源１０４４は、システムオンチップデバイス１０２２の外部である。しかしながら、ディスプレイ１０２８、入力デバイス１０３０、スピーカ１０３６、マイクロホン１０３８、アンテナ１０４２、および電源１０４４の各々は、インターフェースまたはコントローラなど、システムオンチップデバイス１０２２の構成要素に結合され得る。

【0091】

[0097]説明された実施形態に関連して、第２のオーディオフレームを受信するための手段を含む装置が開示され、第２のオーディオフレームは、オーディオ信号内で第１のオーディオフレームに続く。第２のオーディオフレームは、第２のオーディオフレームに関連する主コーディング情報に割り振られるビットの第１の個数と、第１のオーディオフレームに関連する冗長コーディング情報に割り振られるビットの第２の個数と、第１のオーディオフレームのフレームタイプのインジケータとを含む。たとえば、受信するための手段は、図１の受信器１２８、図１０のアンテナ１０４２、図１０のワイヤレスコントローラ１０４０、オーディオフレームを受信するように構成された１つまたは複数のデバイス、またはその任意の組合せを含むことができる。この装置は、インジケータに基づいて、第１のオーディオフレームに関連する冗長コーディング情報に割り振られる第２のオーディオフレームのビットの第２の個数を決定するための手段をも含むことができる。たとえば、決定するための手段は、図１のプロセッサ１２２、図１の復号器１２６、図６の復号器６００、図１０の第１のプロセッサ１０１０、図１０の第２のプロセッサ１０８０、図１０の音声復号器１０８８、冗長コーディング情報に割り振られたビット数を決定するように構成された１つまたは複数のデバイス、またはその任意の組合せを含むことができる。この装置は、冗長コーディング情報に基づいて第１のオーディオフレームを復号するための手段をも含むことができる。たとえば、復号するための手段は、図１の復号器１２６、図６の復号器６００、図１０の第１のプロセッサ１０１０、図１０の第２のプロセッサ１０８０、図１０の音声復号器１０８８、冗長コーディング情報に基づいてオーディオフレームを復号するように構成された１つまたは複数のデバイス、またはその任意の組合せを含むことができる。

【0092】

[0098]オーディオ信号の第１のオーディオフレームとオーディオ信号の第２のオーディオフレームとを符号化するための手段を含む第２の装置が、開示され、第２のオーディオフレームは、オーディオ信号内で第１のオーディオフレームに続く。たとえば、符号化するための手段は、図１の符号器１１６、図５の符号器５００、図１０の第１のプロセッサ１０１０、図１０の第２のプロセッサ１０８０、図１０の音声符号器１０８７、オーディオフレームを符号化するように構成された１つまたは複数のデバイス、またはその任意の組合せを含むことができる。この装置は、第１のオーディオフレームのフレームタイプに基づいて、第２のオーディオフレームに関連する主コーディング情報に割り振られる第２のオーディオフレームのビットの第１の個数と、第１のオーディオフレームに関連する冗長コーディング情報に割り振られる第２のオーディオフレームのビットの第２の個数とを決定するための手段をも含むことができる。たとえば、決定するための手段は、図１のプロセッサ１１２、図１の符号器１１６、図１の符号器５００、図１０の第１のプロセッサ１０１０、図１０の第２のプロセッサ１０８０、図１０の音声符号器１０８７、主コーディング情報と冗長コーディング情報とに割り振られるビットを決定するように構成された１つまたは複数のデバイス、またはその任意の組合せを含むことができる。この装置は、第１のオーディオフレームと第２のオーディオフレームとを宛先デバイスに送信するための手段をも含むことができる。第２のオーディオフレームは、主コーディング情報のビットの第１の個数と、冗長コーディング情報のビットの第２の個数と、第１のオーディオフレームのフレームタイプのインジケータとを含む。たとえば、送信するための手段は、図１の送信器１１８、図１０のアンテナ１０４２、図１０のワイヤレスコントローラ１０４０、オーディオフレームを送信するように構成された１つまたは複数のデバイス、またはその任意の組合せを含むことができる。

【0093】

[0099]当業者は、本明細書で開示される実施形態に関連して説明された様々な例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムのステップが、電子ハードウェア、ハードウェアプロセッサなどの処理デバイスによって実行されるコンピュータソフトウェア、または両方の組合せとして実施され得ることをさらに了解する。様々な例示的な構成要素、ブロック、構成、モジュール、回路、およびステップは、上記で機能に関して一般的に説明されてきた。そのような機能がハードウェアまたは実行可能ソフトウェアのどちらとして実装されるのかは、特定の応用例と全体的なシステムに課される設計制約とに依存する。当業者は、説明された機能性を各特定の応用例のために様々な形で実施することができるが、そのような実施決定は、本開示の範囲からの逸脱を引き起こすものと解釈されてはならない。

【0094】

[00100]本明細書で開示される実施形態に関して説明された方法またはアルゴリズムのステップは、ハードウェアで直接に、プロセッサによって実行されるソフトウェアモジュール内で、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、ＲＡＭ、ＭＲＡＭ、ＳＴＴ−ＭＲＡＭ、フラッシュメモリ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、レジスタ、ハードディスク、リムーバブルディスク、または光ディスクメモリなどのメモリデバイス（たとえば、コンピュータ可読またはプロセッサ可読のストレージデバイス）内に存在することができる。例示的なメモリデバイスは、プロセッサがメモリデバイスから情報を読み取り、メモリデバイスに情報を書き込むことができるように、プロセッサに結合される。代替案では、メモリデバイスは、プロセッサと一体とされ得る。プロセッサおよび記憶媒体は、ＡＳＩＣ内に存在することができる。ＡＳＩＣは、コンピューティングデバイスまたはユーザ端末内に存在することができる。代替案では、プロセッサおよび記憶媒体は、コンピューティングデバイスまたはユーザ端末内に別個の構成要素として存在することができる。コンピュータ可読またはプロセッサ可読のストレージデバイスは、信号ではない。

【0095】

[00101]開示される実施形態の前の説明は、当業者が開示される実施形態を作りまたは使用することを可能にするために提供されるものである。これらの実施形態に対する様々な修正は、当業者には容易に明らかになり、本明細書で定義される原理は、本開示の範囲から逸脱することなく、他の実施形態に適用され得る。したがって、本開示は、本明細書に示されている実施形態に限定されることを意図されておらず、以下の特許請求の範囲によって定義される原理および新規な特徴と一致する可能な最も広い範囲を与えられるべきである。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[Ｃ１] コンピューティングデバイスの復号器で第２のオーディオフレームを受信することと、ここにおいて、前記第２のオーディオフレームは、オーディオ信号内で第１のオーディオフレームに続く、ここにおいて、前記第２のオーディオフレームは、前記第２のオーディオフレームに関連する主コーディング情報に割り振られるビットの第１の個数と、前記第１のオーディオフレームに関連する冗長コーディング情報に割り振られるビットの第２の個数と、前記第１のオーディオフレームのフレームタイプのインジケータとを含む、
前記第１のオーディオフレームに関連するフレーム消去条件に応答して、前記インジケータに基づいて、前記第１のオーディオフレームに関連する前記冗長コーディング情報に割り振られる前記第２のオーディオフレームのビットの前記第２の個数を決定することと、
前記冗長コーディング情報に基づいて前記第１のオーディオフレームを復号することと を備える、フレームを復号する方法。
[Ｃ２] 前記主コーディング情報に基づいて前記第２のオーディオフレームを復号することをさらに備え、ここにおいて、前記冗長コーディング情報に基づいて前記第１のオーディオフレームを復号することおよび前記主コーディング情報に基づいて前記第２のオーディオフレームを復号することは、前記復号器の単一の復号経路で実行される、Ｃ１に記載の方法。
[Ｃ３] ビットの前記決定された第２の個数に基づいて、前記第２のオーディオフレームから前記冗長コーディング情報を取り出すことをさらに備える、Ｃ１に記載の方法。
[Ｃ４] 前記フレーム消去条件は、前記復号器が前記第１のオーディオフレームの少なくとも一部を復号できないことまたは前記コンピューティングデバイスが前記第１のオーディオフレームの前記一部を受信しなかったことの決定に対応し、前記方法は、前記冗長コーディング情報に基づいて前記コンピューティングデバイスで前記第１のオーディオフレームの前記一部を再生成することをさらに備える、Ｃ１に記載の方法。
[Ｃ５] 前記主コーディング情報は、前記第２のオーディオフレームの符号化された低帯域コアと前記第２のオーディオフレームの高帯域パラメータとを含み、
前記冗長コーディング情報は、前記第１のオーディオフレームの符号化された低帯域コアと前記第１のオーディオフレームの高帯域パラメータに関連する
Ｃ１に記載の方法。
[Ｃ６] 前記冗長コーディング情報は、前記第１のオーディオフレームの高帯域利得形状に関連する利得形状インジケータを含む、Ｃ１に記載の方法。
[Ｃ７] 前記利得形状インジケータが第１の値を有することの決定に応答して、前記第１のオーディオフレームの推定された高帯域利得形状として前記第２のオーディオフレームの高帯域利得形状を使用することをさらに備える、Ｃ６に記載の方法。
[Ｃ８] 前記利得形状インジケータが第２の値を有することの決定に応答して、前記第１のオーディオフレームの推定された高帯域利得形状として定数利得形状を使用することをさらに備える、Ｃ６に記載の方法。
[Ｃ９] 前記冗長コーディング情報は、前記第１のオーディオフレームの高帯域利得フレームに関連する高帯域利得フレームインジケータを含む、Ｃ１に記載の方法。
[Ｃ１０] 前記高帯域利得フレームインジケータは、コードブックインデックスを表す、Ｃ９に記載の方法。
[Ｃ１１] 前記高帯域利得フレームインジケータは、前記第１のオーディオフレームの前記高帯域利得フレームが、大きいコードブックインデックスに対応するコードブックの第１の部分内または小さいコードブックインデックスに対応する前記コードブックの第２の部分内のどちらのコードブックインデックスに対応するのかを示す、Ｃ９に記載の方法。
[Ｃ１２] 前記冗長コーディング情報は、前記第１のオーディオフレームの高帯域線スペクトル対（ＬＳＰ）に関連する高帯域ＬＳＰインジケータを含む、Ｃ１に記載の方法。
[Ｃ１３] 前記高帯域ＬＳＰインジケータが第１の値を有することの決定に応答して、前記第１のオーディオフレームの推定された高帯域ＬＳＰとして前記第２のオーディオフレームの高帯域ＬＳＰを使用することをさらに備える、Ｃ１２に記載の方法。
[Ｃ１４] 前記高帯域ＬＳＰインジケータが第２の値を有することの決定に応答して、
前記第２のオーディオフレームの前記高帯域ＬＳＰと前記第１のオーディオフレームに先行する少なくとも１つのオーディオフレームの高帯域ＬＳＰとの補間、または、
前記第１のオーディオフレームに先行する複数のオーディオフレームの高帯域ＬＳＰの外挿
に基づいて前記第１のオーディオフレームの推定された高帯域ＬＳＰを決定することをさらに備える、Ｃ１２に記載の方法。
[Ｃ１５] 前記高帯域ＬＳＰインジケータは、前記第１のオーディオフレームの前記高帯域ＬＳＰと前記第２のオーディオフレームの高帯域ＬＳＰとの間の差を示す、Ｃ１２に記載の方法。
[Ｃ１６] コンピューティングデバイスの復号器で第１のオーディオフレームと第２のオーディオフレームとを受信することと、ここにおいて、前記第２のオーディオフレームは、オーディオ信号内で前記第１のオーディオフレームに続く、ここにおいて、前記第２のオーディオフレームは、前記第２のオーディオフレームに関連する主コーディング情報に割り振られるビットの第１の個数と、前記第１のオーディオフレームに関連する冗長コーディング情報に割り振られるビットの第２の個数と、前記第１のオーディオフレームのフレームタイプのインジケータとを含む、
前記第１のオーディオフレームを復号することと、
前記インジケータに基づいて、前記第２のオーディオフレームに関連する前記主コーディング情報に割り振られる前記第２のオーディオフレームのビットの前記第１の個数を決定することと、
前記主コーディング情報に基づいて前記第２のオーディオフレームを復号することと を備える、フレームを復号する方法。
[Ｃ１７] 前記主コーディング情報は、前記第２のオーディオフレームの符号化された低帯域コアと前記第２のオーディオフレームの高帯域パラメータとを含み、
前記冗長コーディング情報は、前記第１のオーディオフレームの符号化された低帯域コアと前記第１のオーディオフレームの高帯域パラメータに関連する
Ｃ１６に記載の方法。
[Ｃ１８] 前記第１のオーディオフレームを復号することおよび前記第２のオーディオフレームを復号することは、前記復号器の単一の復号経路で実行される、Ｃ１６に記載の方法。
[Ｃ１９] 第１のコンピューティングデバイスの符号器でオーディオ信号の第１のオーディオフレームを符号化することと、
前記第１のオーディオフレームを前記第１のコンピューティングデバイスから第２のコンピューティングデバイスに送信することと、
前記第１のオーディオフレームのフレームタイプに基づいて、第２のオーディオフレームに関連する主コーディング情報に割り振られる前記第２のオーディオフレームのビットの第１の個数と、前記第１のオーディオフレームに関連する冗長コーディング情報に割り振られる前記第２のオーディオフレームのビットの第２の個数とを決定することと、ここにおいて、前記第２のオーディオフレームは、前記オーディオ信号内で前記第１のオーディオフレームに続く、
前記第２のオーディオフレームを符号化することと、ここにおいて、前記第２のオーディオフレームは、主コーディング情報のビットの前記第１の個数と、冗長コーディング情報のビットの前記第２の個数と、前記第１のオーディオフレームの前記フレームタイプのインジケータとを含む、
前記第２のオーディオフレームを前記第１のコンピューティングデバイスから前記第２のコンピューティングデバイスに送信することと
を備える、フレームを符号化する方法。
[Ｃ２０] 前記主コーディング情報は、前記符号器の第１の符号化経路で符号化される、ここにおいて、前記冗長コーディング情報は、前記符号器の第２の符号化経路で符号化される、Ｃ１９に記載の方法。
[Ｃ２１] 前記冗長コーディング情報は、前記第１のオーディオフレームの高帯域利得形状に関連する利得形状インジケータを含み、前記方法は、
前記第１のオーディオフレームの高帯域部分と前記第２のオーディオフレームの高帯域部分との間の相関、または、
前記第１のオーディオフレームの前記高帯域利得形状に関連する第１のコードブックインデックスと前記第２のオーディオフレームの高帯域利得形状に関連する第２のコードブックインデックスとの間の距離
のうちの１つまたは複数に基づいて前記利得形状インジケータの値をセットすることをさらに備える、Ｃ１９に記載の方法。
[Ｃ２２] 前記冗長コーディング情報は、前記第１のオーディオフレームの高帯域利得フレームに関連する高帯域利得フレームインジケータを含む、Ｃ１９に記載の方法。
[Ｃ２３] 前記第１のオーディオフレームが無声フレームである時に、前記高帯域利得フレームインジケータにコードブックインデックスをセットすることをさらに備える、Ｃ２２に記載の方法。
[Ｃ２４] 前記第１のオーディオフレームが無声フレームではない時に、前記第１のオーディオフレームの前記高帯域利得フレームが、大きいコードブックインデックスに対応するコードブックの第１の部分内または小さいコードブックインデックスに対応する前記コードブックの第２の部分内のどちらのコードブックインデックスに対応するのかを示す値を前記高帯域利得フレームインジケータにセットすることをさらに備える、Ｃ２２に記載の方法。
[Ｃ２５] 前記冗長コーディング情報は、前記第１のオーディオフレームの高帯域線スペクトル対（ＬＳＰ）に関連する高帯域ＬＳＰインジケータを含み、前記方法は、
前記第１のオーディオフレームと前記第２のオーディオフレームとの間のスペクトルひずみ、または、
前記第１のオーディオフレームの前記高帯域ＬＳＰに関連する第１のコードブックインデックスと前記第２のオーディオフレームの高帯域ＬＳＰに関連する第２のコードブックインデックスとの間の距離
のうちの１つまたは複数に基づいて前記高帯域ＬＳＰインジケータの値をセットすることをさらに備える、Ｃ１９に記載の方法。
[Ｃ２６] 前記冗長コーディング情報は、前記第１のオーディオフレームの高帯域線スペクトル対（ＬＳＰ）に関連する高帯域ＬＳＰインジケータを含み、前記方法は、
前記第１のオーディオフレームの前記高帯域ＬＳＰと前記第２のオーディオフレームの高帯域ＬＳＰとの間の差を決定することと、
前記差に基づいて前記高帯域ＬＳＰインジケータの値をセットすることと
をさらに備える、Ｃ１９に記載の方法。
[Ｃ２７] オーディオ信号内で第１のオーディオフレームに続く第２のオーディオフレームを受信するように構成された受信器と、ここにおいて、前記第２のオーディオフレームは、前記第２のオーディオフレームに関連する主コーディング情報に割り振られるビットの第１の個数と、前記第１のオーディオフレームに関連する冗長コーディング情報に割り振られるビットの第２の個数と、前記第１のオーディオフレームのフレームタイプのインジケータとを含む、
前記第１のオーディオフレームに関連するフレーム消去条件に応答して、前記インジケータに基づいて、前記第１のオーディオフレームに関連する前記冗長コーディング情報に割り振られる前記第２のオーディオフレームのビットの前記第２の個数を決定し、
前記冗長コーディング情報に基づいて前記第１のオーディオフレームを復号する
ように構成された復号器と
を備える装置。
[Ｃ２８] 前記復号器は、前記第２のオーディオフレームに関連する前記主コーディング情報と前記第１のオーディオフレームに関連する前記冗長コーディング情報とを復号するように構成された単一の復号経路を備える、Ｃ２７に記載の装置。
[Ｃ２９] 前記受信器によって受信されたオーディオフレームを記憶するように構成されたデジッタバッファをさらに備える、Ｃ２７に記載の装置。
[Ｃ３０] 第１のオーディオフレームとオーディオ信号内で前記第１のオーディオフレームに続く第２のオーディオフレームとを受信するように構成された受信器と、ここにおいて、前記第２のオーディオフレームは、前記第２のオーディオフレームに関連する主コーディング情報に割り振られるビットの第１の個数と、前記第１のオーディオフレームに関連する冗長コーディング情報に割り振られるビットの第２の個数と、前記第１のオーディオフレームのフレームタイプのインジケータとを含む、
前記第１のオーディオフレームを復号し、
前記インジケータに基づいて、前記第２のオーディオフレームに関連する前記主コーディング情報に割り振られる前記第２のオーディオフレームのビットの前記第１の個数を決定し、
前記主コーディング情報に基づいて前記第２のオーディオフレームを復号する
ように構成された復号器と
を備える装置。
[Ｃ３１] 前記復号器は、前記第１のオーディオフレームと前記第２のオーディオフレームとを復号するように構成された単一の復号経路を備える、Ｃ３０に記載の装置。
[Ｃ３２] 前記受信器によって受信されたオーディオフレームを記憶するように構成されたデジッタバッファをさらに備える、Ｃ３０に記載の装置。
[Ｃ３３] オーディオ信号の第１のオーディオフレームを符号化し、
前記第１のオーディオフレームのフレームタイプに基づいて、第２のオーディオフレームに関連する主コーディング情報に割り振られる前記第２のオーディオフレームのビットの第１の個数と、前記第１のオーディオフレームに関連する冗長コーディング情報に割り振られる前記第２のオーディオフレームのビットの第２の個数とを決定し、ここにおいて、前記第２のオーディオフレームは、前記オーディオ信号内で前記第１のオーディオフレームに続く、
前記第２のオーディオフレームを符号化し、ここにおいて、前記第２のオーディオフレームは、主コーディング情報のビットの前記第１の個数と、冗長コーディング情報のビットの前記第２の個数と、前記第１のオーディオフレームの前記フレームタイプのインジケータとを含む、
ように構成された符号器と、
前記第１のオーディオフレームと前記第２のオーディオフレームとを宛先デバイスに送信するように構成された送信器と
を備える装置。
[Ｃ３４] 前記符号器は、主符号化経路を備える、Ｃ３３に記載の装置。
[Ｃ３５] 主コーディング情報のビットの前記第１の個数は、前記主符号化経路によって生成される、Ｃ３４に記載の装置。
[Ｃ３６] 前記符号器は、前記主符号化経路と並列に動作する冗長符号化経路をさらに備える、ここにおいて、冗長コーディング情報のビットの前記第２の個数は、前記冗長符号化経路によって生成される、Ｃ３４に記載の装置。
[Ｃ３７] オーディオ信号内で第１のオーディオフレームに続く第２のオーディオフレームを受信するための手段と、ここにおいて、前記第２のオーディオフレームは、前記第２のオーディオフレームに関連する主コーディング情報に割り振られるビットの第１の個数と、前記第１のオーディオフレームに関連する冗長コーディング情報に割り振られるビットの第２の個数と、前記第１のオーディオフレームのフレームタイプのインジケータとを含む、 前記インジケータに基づいて、前記第１のオーディオフレームに関連する前記冗長コーディング情報に割り振られる前記第２のオーディオフレームのビットの前記第２の個数を決定するための手段と、
前記冗長コーディング情報に基づいて前記第１のオーディオフレームを復号するための手段と
を備える装置。
[Ｃ３８] オーディオ信号の第１のオーディオフレームと前記オーディオ信号の第２のオーディオフレームとを符号化するための手段と、ここにおいて、前記第２のオーディオフレームは、前記オーディオ信号内で前記第１のオーディオフレームに続く、
前記第１のオーディオフレームのフレームタイプに基づいて、前記第２のオーディオフレームに関連する主コーディング情報に割り振られる前記第２のオーディオフレームのビットの第１の個数と、前記第１のオーディオフレームに関連する冗長コーディング情報に割り振られる前記第２のオーディオフレームのビットの第２の個数とを決定するための手段と、
前記第１のオーディオフレームと前記第２のオーディオフレームとを宛先デバイスに送信するための手段と、ここにおいて、前記第２のオーディオフレームは、主コーディング情報のビットの前記第１の個数と、冗長コーディング情報のビットの前記第２の個数と、前記第１のオーディオフレームの前記フレームタイプのインジケータとを含む
を備える装置。
[Ｃ３９] コンピュータに、
コンピューティングデバイスの復号器で第２のオーディオフレームを受信させ、ここにおいて、前記第２のオーディオフレームは、オーディオ信号内で第１のオーディオフレームに続く、ここにおいて、前記第２のオーディオフレームは、前記第２のオーディオフレームに関連する主コーディング情報に割り振られるビットの第１の個数と、前記第１のオーディオフレームに関連する冗長コーディング情報に割り振られるビットの第２の個数と、前記第１のオーディオフレームのフレームタイプのインジケータとを含む、
前記第１のオーディオフレームに関連するフレーム消去条件に応答して、前記インジケータに基づいて、前記第１のオーディオフレームに関連する前記冗長コーディング情報に割り振られる前記第２のオーディオフレームのビットの前記第２の個数を決定させ、
前記冗長コーディング情報に基づいて前記第１のオーディオフレームを復号させる
ために実行可能である、フレームを復号するための命令を備えるコンピュータ可読ストレージデバイス。
[Ｃ４０] コンピュータに、
第１のコンピューティングデバイスの符号器でオーディオ信号の第１のオーディオフレームを符号化させ、
前記第１のオーディオフレームを前記第１のコンピューティングデバイスから第２のコンピューティングデバイスに送信させ、
前記第１のオーディオフレームのフレームタイプに基づいて、第２のオーディオフレームに関連する主コーディング情報に割り振られる前記第２のオーディオフレームのビットの第１の個数と、前記第１のオーディオフレームに関連する冗長コーディング情報に割り振られる前記第２のオーディオフレームのビットの第２の個数とを決定させ、ここにおいて、前記第２のオーディオフレームは、前記オーディオ信号内で前記第１のオーディオフレームに続く、
前記第２のオーディオフレームを符号化させ、ここにおいて、前記第２のオーディオフレームは、主コーディング情報のビットの前記第１の個数と、冗長コーディング情報のビットの前記第２の個数と、前記第１のオーディオフレームの前記フレームタイプのインジケータとを含む、
前記第２のオーディオフレームを前記第１のコンピューティングデバイスから前記第２のコンピューティングデバイスに送信させる
ために実行可能である、フレームを符号化するための命令を備えるコンピュータ可読ストレージデバイス。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】