特許 7634529 デコーダ入力におけるパケット複製を介したオーディオパケット損失隠蔽

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-13

(45)【発行日】2025-02-21

(54)【発明の名称】デコーダ入力におけるパケット複製を介したオーディオパケット損失隠蔽

(51)【国際特許分類】

   G10L 19/005 20130101AFI20250214BHJP

【ＦＩ】

G10L19/005

【請求項の数】 13

(21)【出願番号】P 2022520308

(86)(22)【出願日】2020-12-07

(65)【公表番号】

(43)【公表日】2023-04-12

(86)【国際出願番号】 US2020063618

(87)【国際公開番号】W WO2021201926

(87)【国際公開日】2021-10-07

【審査請求日】2022-08-25

(31)【優先権主張番号】63/003,370

(32)【優先日】2020-04-01

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ライ，チョン・チン

【審査官】菊池 智紀

(56)【参考文献】

【文献】特開平０５－３１６０５４（ＪＰ，Ａ）

【文献】特開２００７－０１０８５５（ＪＰ，Ａ）

【文献】特開２０１３－１７８５５４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／００２０３４２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １９／００５

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

ネットワークを介してオーディオパケットのストリームを受信するように構成されたネットワークインターフェースと、
前記ストリームのオーディオパケットのサブセットを一時的にバッファリングするように構成されたバッファと、
前記バッファからオーディオパケットを受信するための入力と、復号されたオーディオデータストリームの対応するセグメントを提供するための出力とを有するオーディオデコーダと、
前記バッファ内の前記サブセットの第１オーディオパケットに続く、損失または遅延した第２オーディオパケットの復号の代わりに、前記オーディオデコーダによって復号された前記第１オーディオパケットを、反復復号のために前記オーディオデコーダの前記入力に再び提供するように構成されるストリーム監視モジュールとを備え、
前記ストリーム監視モジュールは、
前記第１オーディオパケットが連続して復号された回数が指定された閾値を超えていないとの判定に応答して、前記オーディオデコーダによって以前に復号された前記第１オーディオパケットを、反復復号のために前記オーディオデコーダの前記入力に再び提供するように構成され、
前記第１オーディオパケットが連続して復号された前記回数が前記指定された閾値を超えたことに応答して、前記第１オーディオパケットの復号とは異なる処理として、異常をトリガするための処理、または損失もしくは遅延した前記第２オーディオパケットを補償するための代替パケット損失隠蔽処理を実行するように構成される、電子装置。

【請求項2】

前記ストリーム監視モジュールは、
前記電子装置においてタイムリーに受信された前記第１オーディオパケットについて、第１タイムスロットに対して復号されたオーディオ信号の対応する第１セグメントに復号するために、前記第１オーディオパケットを前記オーディオデコーダに提供し、
遅延または損失した前記第２オーディオパケットについて、第２タイムスロットに対して前記復号されたオーディオ信号の対応する第２セグメントに復号するために、前記第１オーディオパケットを前記オーディオデコーダに提供するように構成される、請求項１に記載の電子装置。

【請求項3】

前記オーディオデコーダは、前記第１セグメントと前記第２セグメントとの間の連続性を提供するように構成される、請求項２に記載の電子装置。

【請求項4】

前記ストリーム監視モジュールは、遅延または損失した第３オーディオパケットについて、第３タイムスロットに対して前記復号されたオーディオ信号の対応する第３セグメントに復号するために、前記第１オーディオパケットを前記オーディオデコーダに提供するようにさらに構成される、請求項２または請求項３に記載の電子装置。

【請求項5】

前記オーディオデコーダは、前記第２セグメントと前記第３セグメントとの間の連続性を提供するように構成される、請求項４に記載の電子装置。

【請求項6】

前記オーディオパケットのストリームは、前記ネットワークを介して前記電子装置に接続されたサーバで実行されるビデオゲームアプリケーションによって生成されたオーディオコンテンツから生成される、請求項１から請求項５のいずれかに記載の電子装置。

【請求項7】

前記オーディオパケットのストリームを生成するサーバと、請求項１から請求項６のいずれかに記載の電子装置とを備える、システム。

【請求項8】

ネットワークからオーディオパケットのストリームを受信するステップと、
前記オーディオパケットのサブセットを一時的にバッファリングするステップと、
オーディオデコーダにおいて、前記サブセットの第１オーディオパケットを復号して、復号されたオーディオデータストリームの第１セグメントを生成するステップと、
前記ストリーム内の前記第１オーディオパケットに続く第２オーディオパケットが損失または遅延したことを検出したことおよび前記第１オーディオパケットが連続して復号された回数が指定された閾値を超えていないとの判定に応答して、前記オーディオデコーダにおいて、前記第１オーディオパケットを再度復号して、前記復号されたオーディオ信号中の前記第１セグメントに続く、前記復号されたオーディオ信号の第２セグメントを生成するステップと、
前記第１オーディオパケットが連続して復号された前記回数が前記指定された閾値を超えたことに応答して、前記第１オーディオパケットの復号とは異なる処理として、異常をトリガするための処理、または損失もしくは遅延した前記第２オーディオパケットを補償するための代替パケット損失隠蔽処理を実行するステップとを含む、コンピュータ実装の方法。

【請求項9】

前記ストリーム内の前記第２オーディオパケットに続く第３オーディオパケットが損失または遅延したことを検出したことに応答して、前記オーディオデコーダにおいて、前記第１オーディオパケットを３回目に復号して、前記復号されたオーディオ信号中の前記第２セグメントに続く、前記復号されたオーディオ信号の第３セグメントを生成するステップをさらに含む、請求項８に記載の方法。

【請求項10】

前記オーディオデコーダは、前記第１セグメントと連続性を有するように前記第２セグメントを生成する、請求項８または請求項９に記載の方法。

【請求項11】

前記オーディオパケットのストリームは、サーバで実行されるビデオゲームアプリケーションによって生成されたオーディオコンテンツから生成される、請求項８から請求項１０のいずれかに記載の方法。

【請求項12】

オーディオパケットをバッファリングするバッファと、
オーディオパケットを復号するデコーダとを備え、
請求項８から請求項１１のいずれかに記載の方法を実行するように構成される、電子装置。

【請求項13】

コンピュータプログラムであって、前記コンピュータプログラムは、プロセッサに実行されることによって、前記プロセッサに、
ネットワークを介して受信されたストリームのオーディオパケットの一時的にバッファリングされたサブセットの第１オーディオパケットを復号して、復号されたオーディオ信号の第１セグメントを生成する処理をさせ、
前記ストリーム内の前記第１オーディオパケットに続く第２オーディオパケットが損失または遅延したことを検出したことおよび前記第１オーディオパケットが連続して復号された回数が指定された閾値を超えていないとの判定に応答して、前記第１オーディオパケットを再度復号して、前記復号されたオーディオ信号中の前記第１セグメントに続き、前記第１セグメントと連続性を有する、前記復号されたオーディオ信号の第２セグメントを生成する処理をさせ、
前記第１オーディオパケットが連続して復号された前記回数が前記指定された閾値を超えたことに応答して、前記第１オーディオパケットの復号とは異なる処理として、異常をトリガするための処理、または損失もしくは遅延した前記第２オーディオパケットを補償するための代替パケット損失隠蔽処理を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【背景技術】

【0001】

リアルタイムメディアストリーミングサービスは、しばしば、ネットワーク問題（たとえばパケットの損失かさもなければパケットの遅延など）の影響を受けやすい。オーディオストリームの場合、受信クライアント装置のオーディオデコーダは、通常、オーディオ再生の一時停止がオーディオ品質を低下させ、サービスの品質に影響を与えるであろうことから、オーディオ再生を単純に一時停止することができないので、オーディオパケットの損失または遅延が問題となり得る。遅れた／損失したオーディオパケットの影響を軽減するために、多くのシステムは、前方誤り訂正（ＦＥＣ：Forward Error Correction）、無音挿入、補間分析、またはポストデコーディングセグメント複製などの従来のパケット損失隠蔽（ＰＬＣ：Packet Loss Concealment）技術を採用する。

【発明の概要】

【発明が解決しようとする課題】

【0002】

一般に、ＦＥＣベースのＰＬＣ技術は、少なくとも部分的に冗長なパケットの送信数を増加させることに依存しており、この冗長性は、損失したオーディオパケットまたは遅れたオーディオパケットをクライアント装置が再構築することを可能にする。しかしながら、この冗長性は、余分な帯域幅を消費するため、オーディオストリームの全体的なビットレートを低下させることがよくある。さらに、このアプローチは、ＦＥＣ機能を内蔵しているクライアント装置のみに限定される。無音挿入技術は、事実上、損失した／遅れたオーディオパケットに対応するタイムスロットに対して、ゼロ出力またはデフォルトで定義された出力のいずれかを提供する。実装は比較的簡単であるが、このデフォルトの挿入は、しばしば知覚可能なオーディオアーチファクトを引き起こす。これに対して、補間分析ベースの技術は、先行するオーディオ信号を分析し、信号推定を通じて損失した／遅れたオーディオパケットのコンテンツを再構成することを試みるものであり、オーディオ信号の複製を改善し、知覚可能なオーディオアーチファクトを少なくすることができる。ポストデコーディング複製技術は、オーディオデコーダのオーディオ出力のスライスの複製に依存して、遅れた／損失したオーディオパケットを補償し、さらに、再構成されたオーディオ信号を分析し、オーディオアーチファクトを低減する方法で効果的に、再構成されたオーディオ信号をともに「ステッチ（stitch）」する追加の処理を行なう。しかしながら、ポストデコーディング複製技術および補間分析技術は改善された信号の忠実度を提供することができるが、これらの技術は、多くのクライアント装置にとって実行不可能な複雑および計算リソース能力を必要とすることが多い。

【課題を解決するための手段】

【0003】

実施形態の概要
第１の実施の形態では、電子装置は、ネットワークを介してオーディオパケットのストリームを受信するように構成されたネットワークインターフェースと、ストリームのオーディオパケットのサブセットを一時的にバッファリングするように構成されたバッファと、バッファからオーディオパケットを受信するための入力および復号されたオーディオデータストリームの対応するセグメント（すなわち、復号されたオーディオデータがバッファからのオーディオパケットにそれぞれ対応するセグメント）を提供するための出力を有するオーディオデコーダとを含む。電子装置は、デコーダによって以前に復号された、バッファ内のサブセットのオーディオパケットを、損失したまたは遅れたオーディオパケットの復号の代わりに、反復復号するために再びデコーダの入力に提供するように構成されたストリーム監視モジュールをさらに含む。ストリーム監視モジュールは、オーディオパケットが連続して復号された回数が指定された閾値を越えていないと判断することにさらに応答して、デコーダによって以前に復号されたオーディオパケットを、再びデコーダの入力に提供して反復復号することによるパケット損失隠蔽（ＰＬＣ）処理を提供するように構成することができ、さらに、オーディオパケットが連続して復号された回数が指定された閾値を越えたことに応答して異常をトリガするように構成してもよい。ストリーム監視モジュールは、また、オーディオパケットが連続して復号された回数が指定された閾値を越えたことに応答して、損失したまたは遅れたオーディオパケットを補償するための代替のパケット損失隠蔽（ＰＬＣ）処理を実装するようにさらに構成することができる。

【0004】

異常をトリガすることは、異常信号、たとえば、オーディオストリーム（および、例示的な実施形態では、対応するビデオストリームがあればビデオストリーム）の再生の停止および／またはシステム性能チェックの開始をもたらす異常信号の生成をトリガすることを含んでもよい。

【0005】

したがって、提案される電子装置は、ネットワークからオーディオストリームを受信するネットワークインターフェースと、電子装置で受信されるオーディオパケットのサブセットを一時的にバッファリングするバッファたとえばジッタバッファと、バッファからのオーディオパケットを復号して、復号されたオーディオ信号の対応するセグメントを生成するためのオーディオデコーダとを含んでもよい。復号されたオーディオ信号は、その後、他のオーディオソースと混合され、再パケット化され、さらに送信され、または他の方法でさらに処理されて、１つ以上の対応するスピーカを駆動するのに用いられる１つ以上のアナログオーディオ信号を最終的に生成することができる。少なくとも１つの実施形態において、電子装置は、ネットワークによって損失されたまたは過度に遅延された（すなわち「遅れた」）１つ以上の後続のオーディオパケットを補償するために、以前に受信されたオーディオパケットの１つ以上の反復復号に基づく提案されたパケット損失隠蔽（ＰＬＣ）技術を採用してもよい。この目的のために、電子装置は、ストリーム監視モジュールを採用して、受信されたオーディオストリームを監視し、ストリームのオーディオパケットが遅れているまたは損失していることを検出することができる。このような遅れたまたは損失したオーディオパケットを検出することに応答して、ストリーム監視モジュールは、前のタイムスロットのためにデコーダによって以前に復号されたバッファ内のサブセットのオーディオパケットを、現在のタイムスロットを対象とする損失されたまたは遅れたオーディオパケットの復号の代わりに、現在のタイムスロットに対する反復復号のために再びデコーダの入力に提供する。遅れた／損失したパケットによって生じるギャップを埋めるために以前に復号されたオーディオパケットの復号を繰り返すことによって、このＰＬＣ技術では、デコーダのオーディオ合成を活用して（通常の復号処理パスに従うことにより）、パケット復号複製中に復号されたオーディオ信号の連続性を促進し、この連続性がない場合に発生し得る歪みまたはアーチファクトを低減または排除する。

【0006】

例示的な実施形態では、ストリーム監視モジュールは、電子装置でタイムリーに受信された第１オーディオパケットについて、第１タイムスロットに対して復号されたオーディオ信号の対応する第１セグメントに復号させるために、第１オーディオパケットをオーディオデコーダに提供し、遅れたまたは損失した第２オーディオパケットについて、第２タイムスロットに対して復号されたオーディオ信号の対応する第２セグメントに復号させるために、第１オーディオパケットをオーディオデコーダに提供し、第２セグメントが第１セグメントと連続性を有するように構成することができる。ストリーム監視モジュールは、また、遅れたまたは損失した第３オーディオパケットについて、第３タイムスロットに対して復号されたオーディオ信号の対応する第３セグメントに復号させるために、第１オーディオパケットをオーディオデコーダに提供し、第３セグメントが第２セグメントと連続性を有するようにさらに構成することができる。

【0007】

上記のいずれの例においても、オーディオパケットのストリームは、ネットワークを介して電子装置に接続されたサーバで実行されるビデオゲームアプリケーションによって生成されるオーディオコンテンツから生成することができる。

【0008】

他の実施形態は、上述した例のいずれかの電子装置を動作させる方法、ならびに、オーディオパケットのストリームを生成するサーバと、上述した例のいずれかの電子装置とを含むシステムを含んでもよい。

【0009】

別の実施形態では、提案されるコンピュータ実装方法は、ネットワークからオーディオパケットのストリームを受信するステップと、オーディオパケットのサブセットを一時的にバッファリングするステップと、オーディオデコーダにおいて、サブセットの第１オーディオパケットを復号して、復号されたオーディオデータストリームの第１セグメントを生成するステップと、ストリーム内の第１オーディオパケットに続く第２オーディオパケットの損失または遅れを検出したことに応答して、オーディオデコーダにおいて、第１オーディオパケットを再度復号して、復号されたオーディオ信号の第１セグメントに続く、復号されたオーディオ信号の第２セグメントを生成するステップとを含む。この方法は、また、ストリーム内の第２オーディオパケットに続く第３オーディオパケットの損失または遅れを検出したことに応答して、オーディオデコーダにおいて、第１オーディオパケットを３回目に復号して、復号されたオーディオ信号中の第２セグメントに続く、復号されたオーディオ信号の第３セグメントを生成するステップを含むことができる。第１オーディオパケットを再度復号することは、第１オーディオパケットが連続して復号された回数が指定された閾値を超えていないとの判定にさらに応答させることができる。この方法は、第１オーディオパケットが連続して復号された回数が指定された閾値を超えたことに応答して、異常をトリガするステップをさらに含むことができる。この方法は、また、第１オーディオパケットが連続して復号された回数が指定された閾値を超えたことに応答して、第２オーディオパケットが損失または遅れることを補償するための代替パケット損失隠蔽処理を実行するステップをさらに含むことができる。上記の例のいずれにおいても、オーディオデコーダは、第１セグメントと連続性を有するように第２セグメントを生成することができる。同様に、上述の例のいずれにおいても、オーディオパケットのストリームは、サーバで実行されるビデオゲームアプリケーションによって生成されたオーディオコンテンツから生成することができる。

【0010】

他の実施形態は、オーディオパケットをバッファリングするためのバッファと、オーディオパケットを復号するためのデコーダとを備える電子装置を含むことができ、電子装置は、例示的な方法を実行するように構成される。

【0011】

別の実施形態は、ネットワークを介して受信されたストリームのオーディオパケットの一時的にバッファリングされたサブセットの第１オーディオパケットを復号して、復号されたオーディオ信号の第１セグメントを生成し、ストリーム内の第１オーディオパケットに続く第２オーディオパケットが損失または遅れたことを検出したことに応答して、オーディオデコーダにおいて、第１オーディオパケットを再度復号して、復号されたオーディオ信号の第１セグメントに続き、第１セグメントと連続性を有する、復号されたオーディオ信号の第２セグメントを生成するようにプロセッサを操作するように構成された、実行可能命令のセットを記憶する非一時的なコンピュータ記録媒体を含む。

【0012】

図面の簡単な説明
本開示は、添付の図面を参照することによって、よりよく理解され得、その多数の特徴および利点が当業者に明らかになる。異なる図面における同じ参照符号の使用は、類似または同一の項目を示す。

【図面の簡単な説明】

【0013】

【図1】いくつかの実施形態による、プリデコーダパケット複製に基づくパケット損失隠蔽（ＰＬＣ）を採用するリアルタイムメディアストリーミングシステムを示すブロック図である。

【図2】いくつかの実施形態による、プリデコーダパケット複製を用いたＰＬＣのための方法を示すフロー図である。

【図3】図２の方法の例示的な実装形態を示す図である。

【発明を実施するための形態】

【0014】

詳細な説明
図１～３は、１つ以上のネットワークを介してサーバからユーザの電子装置（すなわち、「クライアント装置」）に送信されるリアルタイムオーディオストリームにおけるパケット損失またはパケット遅延の影響を軽減するための様々なシステムおよび技術を示す。クライアント装置は、ネットワークからオーディオストリームを受信するネットワークインターフェースと、クライアント装置で受信されるオーディオパケットのサブセットを一時的にバッファリングするジッタバッファと、ジッタバッファからのオーディオパケットを復号して、復号されたオーディオ信号の対応するセグメントを生成するオーディオデコーダとを含む。たとえば、復号されたオーディオ信号は、その後、他のオーディオソースと混合され、再パケット化され、さらに送信され、または他の方法でさらに処理されて、１つ以上の対応するスピーカを駆動するのに用いられる１つ以上のアナログオーディオ信号を最終的に生成することができる。少なくとも１つの実施形態において、クライアント装置は、ネットワークによって損失されたまたは過度に遅延された（すなわち「遅れた」）１つ以上の後続のオーディオパケットを補償するために、以前に受信されたオーディオパケットの１つ以上の反復復号に基づくパケット損失隠蔽（ＰＬＣ）技術を採用する。この目的のために、クライアント装置は、ストリーム監視モジュールを採用して、受信されたオーディオストリームを監視し、ストリームのオーディオパケットの遅れまたは損失を検出する。このような遅れたまたは損失したオーディオパケットを検出することに応答して、ストリーム監視モジュールは、前のタイムスロットのためにデコーダによって以前に復号されたバッファ内のサブセットのオーディオパケットを、現在のタイムスロットを対象とする損失されたまたは遅れたオーディオパケットの復号の代わりに、現在のタイムスロットに対する反復復号のために再度デコーダの入力に提供する。遅れた／損失したパケットによって生じるギャップを埋めるために以前に復号されたオーディオパケットの復号を繰り返すことによって、このＰＬＣ技術では、デコーダのオーディオ合成を活用して（通常の復号処理パスに従うことにより）、パケット復号複製中に復号されたオーディオ信号の連続性を促進し、この連続性がない場合に発生し得る歪みまたはアーチファクトを低減または排除する。

【0015】

図１は、いくつかの実施形態による、プリデコーダパケット複製を用いたＰＬＣ技術を採用するリアルタイムメディアストリーミングシステム１００を示す図である。システム１００は、１つ以上のネットワーク１０６を介してユーザの電子装置１０４（以下、「クライアント装置１０４」）に結合されたサーバ１０２を含む。１つ以上のネットワーク１０６は、たとえば、インターネットもしくは他の公衆アクセスネットワーク、有線もしくは無線ワイドエリアネットワーク（ＷＡＮ）、有線もしくは無線ローカルエリアネットワーク（ＬＡＮ）、有線もしくは無線パーソナルエリアネットワーク（ＰＡＮ）、またはそれらの組合せを含むことができる。

【0016】

サーバ１０２は、ネットワーク１０６に結合されたネットワークインターフェース１０８と、リアルタイムメディアソース１１０と、オーディオエンコーダ１１２とを含む。リアルタイムメディアソース１１０は、クライアント装置１０４に送信するためのリアルタイムメディアコンテンツを生成するか、または他の方法で提供する。例示すると、リアルタイムメディアソース１１０は、たとえば、ネットワーク１０６を介してクライアント装置１０４から受信されたプレーヤ入力に基づいてサーバ１０２で実行されているクラウドベースのビデオゲームを含むことができ、ビデオゲームは、クライアントに送信するための、ビデオフレームのストリームと、付随するオーディオフレームのストリームとの両方を生成する。別の例として、リアルタイムメディアソース１１０は、様々な参加者のクライアント装置間でビデオおよびオーディオストリームを配信するビデオ会議アプリケーションを含むことができる。さらに別の例として、リアルタイムメディアソース１１０は、モバイルセルラーシステムにおけるＶｏＩＰ（Voice-over-Internet Protocol）または他のパケットベースの音声通話の音声コンテンツの転送送信を含むことができる。オーディオエンコーダ１１２は、リアルタイムメディアソース１１０からのオーディオコンテンツストリームを符号化し、結果として生じる符号化されたオーディオストリームをネットワークインターフェース１０８に提供するように動作し、ネットワークインターフェース１０８はそれに応じて、符号化されたオーディオストリームをパケット化し、結果として生じるオーディオパケットを、パケット化されたオーディオストリーム１１４の一部として、ネットワーク１０６を介してクライアント装置１０４に送信する。

【0017】

クライアント装置１０４は、オーディオストリーム１１４のオーディオコンテンツを再生するために、またはさらに別の電子装置による再生のためにオーディオコンテンツを復号および転送するために利用される様々な電子装置のいずれかを表す。クライアント装置１０４の例は、携帯電話、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ゲーム機、「スマート」テレビ、「スマート」ウォッチ、自動車情報/エンターテイメントシステムなどを含む。クライアント装置１０４は、オーディオストリーム１１４のオーディオパケットを受信するネットワークインターフェース１１６と、最近受信されたオーディオパケットのスライディングサブセットを一時的にバッファリングするためのジッタバッファ１１８（たとえば、サーキュラーバッファ）と、ジッタバッファ１１８からのオーディオパケットを指定された順序（たとえば、受信された順序、タイムスタンプに基づく順番など）で順次復号して出力復号オーディオ信号１２２（たとえば、パルスコード変調（ＰＣＭ：Pulse-Code-Modulation）デジタル信号）を生成するよう動作するオーディオデコーダ１２０とを含み、出力復号オーディオ信号は、少なくとも１つのスピーカ１２４（たとえば、デジタル－アナログ変換器またはＤＡＣを介して）を駆動するために使用される１つ以上のアナログオーディオ信号に直接変換され得るか、または、少なくとも１つのスピーカ１２４を駆動するための１つ以上のアナログスピーカ信号に変換される前に、デジタル増幅器／ミキサ１２７などによってさらに処理され得る出力復号オーディオ信号１２２（たとえば、パルスコード変調（ＰＣＭ：Pulse-Code-Modulation）デジタル信号）を生成するよう動作するオーディオデコーダ１２０とを含む。一実施形態では、オーディオデコーダ１２０は、システムメモリ１３０または他の非一時的なコンピュータ可読媒体に記憶されたオーディオ復号ソフトウェア１２８を実行する１つ以上のプロセッサ１２６として実装される。例示すると、オーディオ復号ソフトウェア１２８は、たとえば、Ｏｐｕｓ Ｉｎｔｅｒａｃｔｉｖｅ Ａｕｄｉｏ Ｃｏｄｅｃまたは他のよく知られたまたは独自のソフトウェアベースのコーデックとして実装することができる。他の実施形態では、オーディオデコーダ１２０は、本明細書で説明する機能を実行するように構成された特定用途向け集積回路（ＡＳＩＣ：Application-Specific Integrated Circuit）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ：Field-Programmable Gate Array）などのハードコードまたはプログラマブルロジックとして実装することが可能である。さらに他の実施形態では、オーディオデコーダ１２０は、ソフトウェアを実行するプロセッサと特定のハードコード/プログラマブルロジックとの組み合わせとして実装することが可能である。

【0018】

少なくとも１つの実施形態では、ネットワーク１０６は、１つ以上のパケット交換ネットワークの組み合せであり、したがって、オーディオストリーム１１４のオーディオパケットの１つ以上が損失される（すなわち、クライアント装置１０４によって決して受信されない）または遅れる（すなわち、クライアント装置１０４によって、その対応する復号タイムスロットにおける再生のために処理されるべき時間内に受信されない）結果となり得る輻輳、ルーティングエラー、バッファオーバーフローおよび他のネットワーク問題の影響を受ける。遅いオーディオパケットは、どちらも対応するタイムスロットで表されたオーディオコンテンツの再生を提供するために使用することができないという点で、損失したオーディオパケットと同じ結果を有し、したがって、事実上「損失」であり、特に断らない限り、本明細書における「損失されたオーディオパケット」への言及は、ネットワーク１０６で損失されたオーディオパケットまたはクライアント装置１０４にあまりにも遅く到着したオーディオパケットのいずれかを含むことが意図されている。補償メカニズムなしでは、損失されたオーディオパケットは、オーディオデコーダ１２０が、対応するタイムスロットについての復号されたオーディオ信号１２２の対応するセグメントを生成するために復号すべき意図されたオーディオコンテンツを有さず、したがって、結果として生じる復号されたオーディオ信号１２２に、リスナーの体験を損なう著しい不連続性をもたらすことを意味する。ＦＥＣ、無音挿入、補間分析、および復号信号セグメントの反復などの従来のＰＬＣ技術は、損失したオーディオパケットの影響を軽減しようと試みるが、これらの従来の技術は、過度に複雑でリソースを大量に消費するか、または結果として得られる復号されたオーディオ信号における不連続性を充分に排除しないかのいずれかである。

【0019】

したがって、少なくとも１つの実施形態では、クライアント装置１０４は、プリデコーダパケット複製（すなわち、デコーダの入力におけるオーディオパケットコンテンツの複製）に基づくＰＬＣ技術を採用する。この目的のために、クライアント装置１０４は、ネットワークインターフェース１１６およびジッタバッファ１１８に結合され、さらに、ジッタバッファ１１８にバッファリングされたオーディオパケットを選択してオーディオデコーダ１２０の入力１３６に提供するように動作するパケットセレクタ１３４に結合されたストリーム監視モジュール１３２をさらに含む。いくつかの実施形態では、ストリーム監視モジュール１３２およびパケットセレクタ１３４の一方または両方は、システムメモリ１３０または他の非一時的コンピュータ可読媒体に記憶されたソフトウェア１３８を実行する１つ以上のプロセッサ１２６として少なくとも部分的に実装される。他の実施形態では、ストリーム監視モジュール１３２およびパケットセレクタ１３４の一方または両方は、少なくとも部分的に、ハードコードされた論理もしくはプログラム可能な論理、またはプロセッサ実行ソフトウェアとプログラム可能な／ハードコードされた論理との組み合わせとして実装される。

【0020】

一般的な動作概要として、ストリーム監視モジュール１３２は、ネットワークインターフェース１１６またはジッタバッファ１１８を介して受信されたオーディオストリーム１１４を監視して、損失されたオーディオパケットを検出する。対応する復号タイムスロットのためのオーディオパケットが時間内に受信されている間、ストリーム監視モジュール１３２は、パケットセレクタ１３４を制御して、ジッタバッファ１１８から受信されたオーディオパケットにアクセスし、そのオーディオコンテンツの復号のためにアクセスしたオーディオパケットをオーディオデコーダ１２０に提供して、対応するタイムスロットのための復号されたオーディオ信号１２２のセグメントを生成する。これに対し、損失したオーディオパケットの検出に応答して、損失したパケットの復号タイムスロットが近づいているとき、ストリーム監視モジュール１３２は、パケットセレクタ１３４を制御して、前の復号タイムスロットのためにオーディオデコーダ１２０によって復号されたオーディオパケットにアクセスし、この同じオーディオパケットを反復復号のためにオーディオデコーダ１２０の入力１３６に提供し、その結果として得られる復号されたセグメントが、損失したオーディオパケットに対して損失されなかった場合にオーディオデコーダ１２０が生成したであろう、復号されたセグメントの置き換えとして、復号オーディオ信号１２２で使用される。

【0021】

例として説明するために、サーバ１０２が、オーディオストリーム１１４のオーディオパケット１４０，１４１，１４２を、この順序でネットワーク１０６を介して送信すると仮定する。この例では、オーディオパケット１４０，１４２は、クライアント装置１０４に正常に受信され、時間通りにバッファリングされるが、オーディオパケット１４１は、ネットワーク１０６で損失される。したがって、オーディオパケット１４０が適時に受信され、バッファリングされた状態で、パケットセレクタ１３４は、対応するタイムスロットＸにおいて、ジッタバッファ１１８からオーディオデコーダ１２０の入力１３６にオーディオパケット１４０を供給し、それに応じてオーディオデコーダ１２０は、オーディオパケット１４０のオーディオコンテンツを復号して、復号されたオーディオ信号１２２のセグメントＹを生成する。次のタイムスロットＸ＋１について、次のオーディオパケットであるオーディオパケット１４１が「損失」されたと判定することに応答して、ストリーム監視モジュール１３２は、パケットセレクタ１３４を制御して、以前に復号されたオーディオパケット、すなわちオーディオパケット１４０をオーディオデコーダ１２０の入力１３６に再度提供し、そこで再度復号されて、復号されたオーディオ信号１２２の対応するセグメントＹ＋１を生成する。オーディオデコーダ１２０によって示される典型的なオーディオ合成特性は、同じオーディオコンテンツからオーディオデコーダ１２０によって以前に生成されたセグメントＹとシームレスにステッチするために、セグメントＹ＋１がオーディオデコーダ１２０によって生成され、したがって、両方のセグメントが同じ入力パケット（オーディオパケット１４０）から生成されたとしても、セグメントＹとセグメントＹ＋１との間で復号されたオーディオ信号１２２の連続性を保証する結果となることに注意されたい。続いて、オーディオパケット１４２が適時受信されると、タイムスロットＸ＋２について、パケットセレクタ１３４は、オーディオパケット１４２をオーディオデコーダ１２０の入力１３６に提供し、それに応じてオーディオデコーダ１２０は、オーディオパケット１４２を復号して、復号されたオーディオ信号１２２のためのセグメントＹ＋２を生成し、これもまた、オーディオデコーダ１２０によって採用される標準的なオーディオ合成手順により、オーディオデコーダ１２０によってセグメントＹ＋２とシームレスにステッチされる。

【0022】

図２は、いくつかの実施形態による、図１のシステム１００のクライアント装置１０４によって採用されるプリデコーダパケット反復ＰＬＣ技術を表す方法２００をより詳細に示す図である。ブロック２０２によって表されるように、オーディオストリーム１１４を処理するためのクライアント装置１０４の初期化中に、ストリーム監視モジュール１３２は、いくつかのパラメータを設定する。そのようなパラメータの初期化の１つは、繰り返されるパケットの数の進行中のカウントを表す変数ＲＥＰ＿ＰＡＣＫＥＴ＿ＣＯＵＮＴをゼロまたは何らかの他の初期化値に設定することを含む。別のパラメータ初期化は、実装形態に応じて、異常をトリガするかまたは異なるＰＬＣプロセスに切り替えるかのいずれかの前に、オーディオパケットが連続して復号のために複製され得る最大回数（または複製された復号が実行される回数）を表わす指定された数に変数ＴＨＲＥＳＨＯＬＤを設定することを含む。このように、ＴＨＲＥＳＨＯＬＤは、パケット損失の観点からのロバスト性とオーディオ品質との間でバランスをとるために使用され得るチューニングパラメータである。したがって、ＴＨＲＥＳＨＯＬＤの値は、ユーザ、オーディオストリーム１１４のプロバイダ、クライアント装置１０４のプロバイダなどによって設定され得る。

【0023】

ブロック２０４において、クライアント装置１０４は、ネットワークインターフェース１１６を介してサーバ１０２からオーディオストリーム１１４のオーディオパケットの受信を開始し、オーディオパケットのスライディングサブセットをジッタバッファ１１８にバッファリングする（ここで、現在のバッファリングされたサブセットの最大サイズは、ジッタバッファ１１８のエントリ数に基づく）。オーディオパケットが受信され、バッファリングされると、ブロック２０６において、ストリーム監視モジュール１３２は、入力オーディオパケットを監視して、オーディオパケットが損失されたかどうかを判定する。損失されたパケットが検出されない場合、ブロック２０８において、ストリーム監視モジュール１３２は、変数ＲＥＰ＿ＰＡＣＫＥＴ＿ＣＯＵＮＴをゼロに設定するか、さもなければ維持し、次の復号タイムスロットについて、パケットセレクタ１３４は、ジッタバッファ１１８からのその復号タイムスロットに対応するバッファリングされたオーディオパケットにアクセスし、ブロック２１０において、アクセスされたオーディオパケットを入力オーディオパケットとしてオーディオデコーダ１２０の入力１３６に提供する。

【0024】

例示すると、いくつかの実装形態では、各オーディオパケットには、サーバ１０２での符号化処理中の意図された再生シーケンスにおける、対応するオーディオパケットの位置を特定するシーケンス番号が割り当てられる。その結果、ストリーム監視モジュール１３２がジッタバッファ１１８からの次のオーディオパケットにアクセスするとき、ストリーム監視モジュール１３２は、アクセスされたオーディオパケットのシーケンス番号を予期されるシーケンス番号と比較する。これらの番号が一致する場合、ストリーム監視モジュール１３２は、対応する復号タイムスロットに対するオーディオパケットが適時であると判定する。逆に、アクセスされたオーディオパケットの実際のシーケンス番号が期待されるシーケンス番号と一致しない場合、ストリーム監視モジュール１３２は、対応する復号タイムスロットに対するオーディオパケットを損失として識別する。

【0025】

ブロック２０６に戻り、損失されたオーディオパケットが検出された場合、ブロック２１２において、ストリーム監視モジュール１３２は、変数ＲＥＰ＿ＰＡＣＫＥＴ ＣＯＵＮＴをＴＨＲＥＳＨＯＬＤと比較することによって、同じオーディオパケットに対する連続したパケット復号の複製の最大数が実行されたか否かを判定する。そうである場合（すなわち、ＲＥＰ＿ＰＡＣＫＥＴ＿ＣＯＵＮＴ＝ＴＨＲＥＳＨＯＬＤ）、損失されたパケットの中断されたシーケンスに対するさらなるパケット復号の反復は許可されず、したがって、ブロック２１４において、ストリーム監視モジュール１３２は、異常をトリガして、オーディオストリーム（および、もしあれば、対応するビデオストリーム）の再生を停止し、システム性能チェックを開始する。代替として、異常をトリガするのではなく、クライアント装置１０４は、無音挿入、補間分析などの異なるＰＬＣ技術の使用に切り替えることができる。しかしながら、連続したパケット復号の反復最大回数よりも少ない回数が実行された場合（すなわち、ＲＥＰ＿ＰＡＣＫＥＴ＿ＣＯＵＮＴ＜ＴＨＲＥＳＨＯＬＤ）、次いで、ブロック２１６において、ストリーム監視モジュール１３２は、パケットセレクタ１３４に、ジッタバッファ１１８から最新のタイムスロットについて以前に復号されたオーディオパケットにアクセスし、このアクセスされたオーディオパケットを、次の復号タイムスロットために、入力オーディオパケットとしてオーディオデコーダの入力１３６に提供するように指示する。また、ストリーム監視モジュール１３２は、ＲＥＰ＿ＰＡＣＫＥＴ＿ＣＯＵＮＴをインクリメントして、このオーディオパケットのパケット復号複製が実行されたことを反映する。

【0026】

ブロック２１８において、オーディオデコーダ１２０は、ブロック２０６～２１６によって表されるプロセスを介して選択された入力オーディオパケット、すなわち、現在の復号タイムスロットに関連付けられたオーディオパケット（このパケットが損失されなかった場合）、または前のタイムスロットについて以前に復号されたオーディオパケット（このタイムスロットを対象とするオーディオパケットが損失された場合）のいずれかを復号する。オーディオデコーダ１２０は、入力オーディオパケットの符号化されたオーディオコンテンツから復号されたオーディオ信号１２２の対応するセグメントを生成する。上記で説明したように、オーディオデコーダ１２０によって典型的に採用されるオーディオ合成技術は、各生成されたセグメントの次のセグメントとのシームレスなスティッチングをもたらし、したがって、１つ以上のパケットが連続して損失された場合であっても実質的な不連続性のない復号されたオーディオ信号１２２を提供する。復号されたオーディオ信号１２２の対応するセグメントを生成するためのオーディオパケットの復号と同時に、ブロック２２０において、復号されたオーディオ信号１２２はさらに処理され（たとえば、他のオーディオ信号と混合することによって）、次いで、オーディオストリーム１１４によって表されるオーディオコンテンツの再生に影響を与えるために１つ以上のスピーカ１２４を駆動するために使用される１つ以上のアナログ信号に変換され得る。

【0027】

図３は、図２の方法２００によって表されるプリデコーダパケット反復ＰＬＣ処理の例示的な動作を示すチャート３００を示す。チャート３００の７つの縦列は、クライアント装置１０４のオーディオデコーダの７つの復号タイムスロットを表し、タイムスロットＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇとして識別され、タイムスロットＡは最も早いタイムスロットであり、タイムスロットＧは最も遅いタイムスロットである。行３１０は、対応するタイムスロットＡ～Ｇ毎のオーディオパケットを生成する際のサーバ１０２の動作を表し、行３１２は、対応するタイムスロット毎のサーバ１０２からオーディオパケットを受信する際のクライアント装置１０４の動作を表し、行３１４は、オーディオパケットを復号し、結果として得られる復号されたオーディオ信号セグメントの再生を提供する際のクライアント装置の動作を表す。

【0028】

行３１０によって図示されるように、サーバは、タイムスロットＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇに対して、それぞれ、オーディオパケット３０１，３０２，３０３，３０４，３０５，３０６，３０７を生成し、送信する。行３１２および行３１４によって表されるように、クライアント装置側では、タイムスロットＡについて、オーディオパケット３０１が（損失または遅れを伴わずに）受信され、バッファリングされ、復号され、復号されたオーディオ信号の結果として生じるセグメントが通常動作に従って再生される。同様に、タイムスロットＢについて、オーディオパケット３０２が（損失または遅れを伴わずに）受信され、バッファリングされ、復号され、復号されたオーディオ信号の結果として生じるセグメントが通常動作に従って再生される。しかしながら、タイムスロットＣについては、関連するオーディオパケット３０３は、ネットワーク１０６によって損失される。したがって、ストリーム監視モジュール１３２は、オーディオパケット３０３の損失された状態に気付き、したがって、前のタイムスロットＢについて復号されたオーディオパケット、すなわちオーディオパケット３０２にアクセスし、このオーディオパケット３０２をオーディオデコーダ１２０に提供して、タイムスロットＣについて復号されたオーディオ信号の対応するセグメントに再び復号するようにパケットセレクタ１３４に指示する。このように、オーディオパケット３０２のオーディオコンテンツは、結果として得られる復号されたオーディオ信号の２つの連続するセグメントを生成するために２回復号され、１回はその関連するタイムスロットＢについて、次に、次のタイムスロットＣについて損失されたオーディオパケット３０３を埋めるために再び、タイムスロットＢおよびＣに対応するセグメントに対するオーディオ信号を再構成するために復号される。

【0029】

その後、タイムスロットＤについて、関連付けられたオーディオパケット３０４は、時間通りに受信され、したがって、オーディオデコーダ１２０による復号のために、復号されたオーディオ信号の対応するセグメントに提供される。続く２つのタイムスロットＥおよびＦについて、関連付けられたオーディオパケット３０５および３０６は、それらのそれぞれのタイムスロットにおいて復号のために時間通りに受信されず、代わりに、後続のタイムスロットＧの間に遅れて受信される。したがって、タイムスロットＥについて、クライアント装置１０４は、復号されたオーディオ信号の対応するセグメントを復号するためにオーディオパケット３０４のオーディオコンテンツを再利用し、オーディオパケット３０４は、タイムスロットＦについての復号されたオーディオ信号の別のセグメントを生成するための３回目の復号のために再び選択される。そして、３つのオーディオパケット３０５，３０６，３０７のすべてがタイムスロットＧの時間内に受信されているが、オーディオパケット３０５，３０６は、より早いタイムスロットに関連付けられているので、ジッタバッファ１１８から破棄され、オーディオデコーダ１２０は、オーディオパケット３０７を復号して、タイムスロットＧに対応する復号されたオーディオ信号のセグメントを生成する。

【0030】

いくつかの実施形態では、上述した技術のいくつかの態様は、ソフトウェアを実行する処理システムの１つ以上のプロセッサによって実装され得る。ソフトウェアは、非一時的コンピュータ可読記憶媒体に記憶された、またはそうでなければ有形に具現化された１つ以上の実行可能命令のセットを備える。ソフトウェアは、１つ以上のプロセッサによって実行されると、上述の技術の１つ以上の態様を実行するように１つ以上のプロセッサを操作する命令と特定のデータとを含むことができる。非一時的コンピュータ可読記憶媒体は、たとえば、磁気または光ディスク記憶装置、フラッシュメモリなどのソリッドステート記憶装置、キャッシュ、ＲＡＭ（Random Access Memory）または他の不揮発性記憶装置などを含むことができる。非一時的コンピュータ可読記憶媒体上に記憶された実行可能命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または１つ以上のプロセッサによって解釈されるか、あるいは実行可能である他の命令フォーマットであってよい。

【0031】

コンピュータ可読記憶媒体は、命令および/またはデータをコンピュータシステムに提供するために、使用中にコンピュータシステムによってアクセス可能な任意の記憶媒体または記憶媒体の組合せを含んでもよい。そのような記憶媒体は、光学媒体（たとえば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク）、磁気媒体（たとえば、フロッピーディスク、磁気テープ、または磁気ハードドライブ）、揮発性メモリ（たとえば、ＲＡＭ（Random Access Memory）、またはキャッシュ）、不揮発性メモリ（たとえば、ＲＯＭ（Read-Only Memory）、またはフラッシュメモリ）、またはＭＥＭＳ（Microelectromechanical Systems）ベースの記憶媒体を含むことができるが、これらに限定されるものではない。コンピュータ可読記憶媒体は、コンピューティングシステム（たとえば、システムＲＡＭまたはＲＯＭ）に組み込まれてもよいし、コンピューティングシステム（たとえば、磁気ハードドライブ）に固定的に取り付けられてもよいし、コンピューティングシステム（たとえば、光ディスクまたはＵＳＢ（Universal Serial Bus）ベースのフラッシュメモリ）に取り外し可能に取り付けられてもよいし、または有線もしくは無線ネットワーク（たとえば、ＮＡＳ（Network Accessible Storage）を介してコンピュータシステムに結合されてもよい。

【0032】

全般的な説明において上述された活動または要素のすべてが必要とされるわけではなく、特定の活動または装置の一部は必要とされないことがあり、説明されたものに加えて、１つ以上のさらなる活動が実行されたり、または要素が含まれたりすることがあることに留意されたい。さらに、活性が列挙されている順序は、必ずしもそれらが実行される順序ではない。また、概念は、特定の実施形態を参照して説明されている。しかしながら、当業者であれば、以下の特許請求の範囲に記載される本開示の範囲から逸脱することなく、様々な改良および変更を行うことができることを理解することができる。したがって、明細書および図面は、限定的な意味ではなく例示的な意味で見なされるべきであり、すべてのそのような改良は、本開示の範囲内に含まれることが意図される。

【0033】

利益、他の利点、および問題に対する解決策は、特定の実施形態に関して上述されている。しかしながら、利益、利点、問題に対する解決策、および任意の利益、利点、または解決策を生じさせ得るか、またはより顕著にさせ得る任意の特徴は、いずれかのまたはすべての請求項の重要な、必要な、または本質的な特徴として解釈されるべきではない。さらに、開示された主題は、本明細書の教示の利益を有する当業者に明白である、異なるが同等の様式で改良および実施され得るため、上記に開示された特定の実施形態は例示に過ぎない。以下の特許請求の範囲に記載されるものを除き、本明細書に示される構造または設計の詳細への限定は意図されない。したがって、上記で開示された特定の実施形態は、変更または改良され得ることが明らかであり、すべてのそのような変形は、開示された主題の範囲内であるとみなされる。したがって、本明細書で求められる保護は、以下の特許請求の範囲に記載されるとおりである。

【図1】

【図2】

【図3】