特許 6386376 マルチレート・スピーチ／オーディオ・コーデックのためのフレーム損失隠匿

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6386376

(24)【登録日】2018年8月17日

(45)【発行日】2018年9月5日

(54)【発明の名称】マルチレート・スピーチ／オーディオ・コーデックのためのフレーム損失隠匿

(51)【国際特許分類】

   G10L 19/005 20130101AFI20180827BHJP

   G10L 19/00 20130101ALI20180827BHJP

   H04L 1/00 20060101ALI20180827BHJP

【ＦＩ】

   G10L19/005

   G10L19/00 330C

   H04L1/00 B

   H04L1/00 E

【請求項の数】12

【全頁数】38

(21)【出願番号】特願2014-505075(P2014-505075)

(86)(22)【出願日】2012年4月11日

(65)【公表番号】特表2014-512575(P2014-512575A)

(43)【公表日】2014年5月22日

(86)【国際出願番号】KR2012002738

(87)【国際公開番号】WO2012141486

(87)【国際公開日】20121018

【審査請求日】2013年11月18日

【審判番号】不服2016-18608(P2016-18608/J1)

【審判請求日】2016年12月9日

(31)【優先権主張番号】10-2012-0037625

(32)【優先日】2012年4月11日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ソン，ホ−サン

(72)【発明者】

【氏名】グリアー，スティーヴン クレイグ

【合議体】

【審判長】 井上 信一

【審判官】 國分 直樹

【審判官】 関谷 隆一

(56)【参考文献】

【文献】 米国特許出願公開第２００５／０２２８６５１（ＵＳ，Ａ１）

【文献】 特開２００２−１４１８１０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００１／００４１９８１（ＵＳ，Ａ１）

【文献】 Ｊｏｈａｎｓｓｏｎ ｅｔ ａｌ．，Ｂａｎｄｗｉｄｔｈ ｅｆｆｉｃｉｅｎｔ ＡＭＲ ｏｐｅｒａｔｉｏｎ ｆｏｒ ＶｏＩＰ，ＩＥＥＥ Ｗｏｒｋｓｈｏｐ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｎ Ｓｐｅｅｃｈ Ｃｏｄｉｎｇ ２００２，ＩＥＥＥ，２００２年１０月６日，ｐｐ．１５０−１５２

(58)【調査した分野】（Int.Cl.，ＤＢ名）

G10L19/005

H04L1/00

(57)【特許請求の範囲】

【請求項1】

コーデックの動作モードを設定し、前記動作モードがハイフレームエラーの比率の状態を考慮したモードである場合、複数のコーディングモードから選択されたコーディングモードによって、現在フレームの部分的なリダンダントデータ(partial redundant data)を少なくとも１つの隣接フレームに付加するプロセッサを含み、
前記ハイフレームエラーの比率の状態は、フレームエラーの比率が基準値より高い場合に対応し、
前記部分的なリダンダントデータのサイズは、信号特性に基づいて決定され、
前記ハイフレームエラーの比率の状態を考慮したモードでは、全体パケットのサイズを変更することなく、前記部分的なリダンダントデータが付加されるように減少したビットレートで符号化を実行する、
ことを特徴とする端末機。

【請求項2】

前記プロセッサは、
入力オーディオデータの複数のフレームそれぞれのために、複数の動作モードから前記動作モードを設定する、
ことを特徴とする請求項１に記載の端末機。

【請求項3】

前記ハイフレームエラーの比率の状態を考慮した動作モードは、
３ＧＰＰ標準のＥＶＳコーデックのための動作モードであり、
前記コーデックは、ＥＶＳコーデックであり、
前記ＥＶＳコーデックは、少なくとも１つの隣接フレームからエンコーディングされたオーディオを、結合されたＥＶＳソースビットとして、現在フレームのためのパケットで、現在フレームのエンコーディング結果に追加し、
前記隣接フレームは、一つ以上の以前フレーム及び／または一つ以上の以後フレームそれぞれのエンコーディングされたオーディオを含み、
前記結合されたＥＶＳソースビットは、現在パケットで、ＲＴＰペイロード部分と区分されて表現され、
前記ＥＶＳコーデックは、エンコーディングされたオーディオである少なくとも１つの隣接フレームそれぞれから、個別的にオーディオをエンコーディングし、現在パケットから分離されたパケットに、少なくとも１つの隣接フレームそれぞれからエンコーディングされたオーディオを追加させる、
ことを特徴とする請求項２に記載の端末機。

【請求項4】

前記コーデックは、さらに、
現在フレームに係わる設定された動作モードに、前記ハイフレームエラーの比率の状態を考慮した動作モードフラグを追加する、
ことを特徴とする請求項３に記載の端末機。

【請求項5】

前記ハイフレームエラーの比率の状態を考慮した動作モードのフラグは、
現在パケットのＲＴＰペイロード部分で、１つのビットとして、現在パケットに表現される、
ことを特徴とする請求項４に記載の端末機。

【請求項6】

前記コーデックは、さらに、
現在フレームについて選択された複数のコーディングモードを識別するコーディングモードのフラグを、現在フレームのためのパケットに追加する、
ことを特徴とする請求項３に記載の端末機。

【請求項7】

前記コーディングモードのフラグは、
既設定の個数のビットで、現在パケットで表現される、
ことを特徴とする請求項６に記載の端末機。

【請求項8】

前記コーデックは、
現在フレームに係わるコーディングモードのフラグを、他のフレームのパケットに、リダンダンシを用いて追加する、
ことを特徴とする請求項７に記載の端末機。

【請求項9】

前記プロセッサは、
端末機外部で決定された伝送品質のうち少なくとも一つ以上、伝送の際に現在フレームがフレーム損失にさらに敏感であるとの決定、および、前記現在フレームの決定に基づいて、複数の動作モードの他の動作モードと比較して、異なるリダンダンシ、増加されたリダンダンシ、及び／または多様なリダンダンシで、動作モードを前記ハイフレームエラーの比率の状態を考慮した動作モードに設定する、ように構成されている、
ことを特徴とする請求項１に記載の端末機。

【請求項10】

前記プロセッサは、
複数の使用可能なコーディング・タイプから、現在フレーム及び隣接フレームのうち少なくとも一つの決定されたコーディング・タイプに基づいて、または、複数の使用可能なフレーム分類から、現在フレーム及び隣接フレームの決定されたフレーム分類のうち少なくとも一つの決定されたフレーム分類に基づいて、一つまたはそれ以上のコーディングモードのうち一つのコーディングモードに動作モードを設定する、ように構成されている、
ことを特徴とする請求項１に記載の端末機。

【請求項11】

前記複数の使用可能なコーディング・タイプは、
アンボイスされたスピーチフレームのためのアンボイスされたワイドバンド・タイプ、ボイスされたスピーチフレームのためのボイスされたワイドバンド・タイプ、ノンステーショナリ・スピーチフレームのための一般ワイドバンド・タイプ、及び向上されたフレーム除去パフォーマンスのために使用されたトランジション・ワイドバンド・タイプを含む、
ことを特徴とする請求項１０に記載の端末機。

【請求項12】

前記複数の使用可能なフレーム分類は、
アンボイス、サイレンス、ノイズ、ボイスされたオフセットのためのアンボイスされたフレーム分類；アンボイスされたコンポーネントからボイスされたコンポーネントへのトランジションのためのアンボイスされたトランジション分類；ボイスされたコンポーネントからアンボイスされたコンポーネントへのトランジションのためのボイスされたトランジション分類；ボイスされたフレーム及びすでにボイスされたり、あるいはオンセット・フレームに分類された以前フレームのためのボイスされた分類；及びデコーディング器によってボイス隠匿に従うように十分に良好に設計されたボイスされたオンセットのためのオンセット分類；を含む、
ことを特徴とする請求項１０に記載の端末機。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オーディオ・エンコーディング／デコーディングのための技術、技法と係わる一つ以上の実施形態に係り、さらに具体的には、マルチレートスピーチと、オーディオ・コーデックとを利用して、向上されたフレームエラー損失技法で、オーディオをエンコーディング並びにデコーディングする方法及び装置に関する。

【背景技術】

【0002】

エンコーディングされたスピーチまたはオーディオのフレームが伝送される間、時折損失されると予想される環境で遂行されるコーディングされたスピーチとオーディオとのための伝送システムまたはデコーディング・システムは、フレーム損失を何パーセントかに制限するために考案された。

【0003】

かようなフレーム損失を制限するため、またはフレーム損失を補償するために、フレーム損失隠匿（ＦＥＣ：frame erasure concealment）アルゴリズムは、デコーディング・システムで、スピーチやオーディオをエンコーディングしたりデコーディングするときに使用されるスピーチ・コーデックと独立して具現される。多くのコーデックは、フレーム損失による劣化（degradation）を低下させるために、デコーダシステムで専用的に使用される専用アルゴリズムを使用する。

【0004】

かようなフレーム損失隠匿アルゴリズムは、最近、特定標準（standard）や規格（specification）によって作動するセルラ通信ネットワークまたは環境で活用された。ここで、標準または規格は、連結及び通信のために使用されなければならない通信プロトコル及び／またはパラメータを定義することができる。例えば、前記標準または規格は、通信プロトコル及びモバイル通信のためのＧＳＭ（global system for mobile communications）、ＧＳＭ／enhanced data rates for ＧＳＭ evolution、ＡＭＰＳ（American mobile phone system）、ＷＣＤＭＡ（登録商標（wideband code division multiple access））、３Ｇ（generation） ＵＭＴＳ（universal mobile telecommunications system）、ＩＭＴ２０００（international mobile telecommunications ２０００）などを含む。

【0005】

ここで、スピーチ・コーディングは、以前に可変レート（variable rate）または固定レート（fixed rate）のうちいずれか一つで遂行された。可変レートでエンコーディングするとき、ソースは、スピーチを異なる比率に分類するアルゴリズムを使用し、分類されたスピーチを既設定のビットレートそれぞれに対応してエンコーディングすることができる。代案として、探知されたボイススピーチ・オーディオが固定されたビットレートによってコーディングされなければならない場合、スピーチ・コーディングは、固定されたビットレートを利用して遂行された。

【0006】

例えば、かような固定レートでコーディングするコーデックは、ＡＭＲ（adaptive multi-rate）及びＡＭＲ−ＷＢ（adaptive multi-rate wideband）のようなＧＳＭ／ＥＤＧＥとＷＣＤＭＡとの通信ネットワークのために、３ＧＰＰ（3rd generation partnership project）によって開発されたマルチレート・スピーチ・コーデックを含んでもよい。かようなコーデックは、探知されたボイス情報によってスピーチをコーディングし、さらに無線インターフェースのネットワーク容量（networkcapacity）及び無線チャンネル条件（radio channel condition）のようなファクタに基づいて、スピーチをコーディングすることができる。ここで、マルチレートは、コーデックの動作モードに依存して使用される固定レートを意味する。

【0007】

例えば、ＡＭＲコーデックは、スピーチのために、４．７ｋｂｉｔ／ｓから１２．２ｋｂｉｔ／ｓまで８個の使用可能なビットレートを含む。一方、ＡＭＲ−ＷＢは、スピーチのために、６．６ｋｂｉｔ／ｓから２３．８５ｋｂｉｔ／ｓまで９個の使用可能なビットレートを含む。ＡＭＲコーデック及びＡＭＲ−ＷＢコーデックの規格は、それぞれ３ＧＰＰ無線システムの３世代に対する技術規格である３ＧＰＰＴＳ２６．０９０と３ＧＰＰＴＳ２６．１９０で使用可能である。そして、ＡＭＲ−ＷＢコーデックのスピーチ感知部分は３ＧＰＰ無線システムの３世代に係わる技術規格である３ＧＰＰ ＴＳ２６．１９４技術規格で求めることができる。

【0008】

例えば、かようなセルラ環境で、損失（losses）は、セルラ無線リンク内での干渉、またはＩＰ（internet protocol）ネットワーク内でのルータオーバーフローによって発生する。ＬＴＥ（long term evolution）と呼ばれるＥＰＳ（enhanced packet services）のための主要無線インターフェースで、ＥＰＳと知られた３ＧＰＰ無線システムの４世代技術は、現在開発中にある。例えば、図１は、スピーチメディア・コンポーネント１２を有したＥＰＳ １０を図示している。ここで、ボイスデータは、ＡＭＲ−ＷＢ（wideband）とＡＭＲ−ＮＢ（narrowband）によってコーディングされる。

【0009】

例えば、３ＧＰＰリリース８，９で、ＥＰＳ １０は、ＵＭＴＳとＬＴＥとのボイス・コーデックによる。３ＧＰＰリリース８，９で、ＬＴＥスピーチ・コーデックを含むＵＭＴＳは、ＥＰＳによって、ＩＭＳ（ＩＰ multimedia core network subsystem）のためのマルチメディア・テレフォニ・サービスと呼ばれる。ＵＭＴＳは、４世代３ＧＰＰ無線システムのために最初にリリースされた。ＩＭＳは、ＩＰマルチメディア・サービスのための構造的なフレームワークである。

【0010】

たとえＬＴＥが潜在的な伝送干渉の観点で開発され、セルラ・ネットワークまたは無線ネットワークに失敗したとしても、３ＧＰＰセルラ・ネットワークで伝送されるスピーチフレームは、伝送される間、一部フレーム及び／またはパケットが除去（erasure）されやすい。除去は、デコーダ側面で、パケットの情報が損失されたり、あるいは使用されたりするということを仮定するための分類（classification）である。例えば、ＥＰＳネットワークの場合、フレーム除去が予想される。除去されたフレームを、処理（address）するために、デコーダは、損失されたフレームに対応する衝撃を緩和するためのフレーム損失隠匿（ＦＥＣ）アルゴリズムを遂行することができる。

【0011】

いくつかのＦＥＣアルゴリズムは、ただ損失されたフレームのように除去されたフレームの隠匿をデコーダで処理するために使用されるのみである。例えば、デコーダは、フレーム除去が発生したということを認知したり認識することができ、除去されたフレームの直前または直後にデコーダに達する良好な状態のフレームから除去されたフレームのコンテンツを推正することができる。

【0012】

いくつかの３ＧＰＰセルラ・ネットワークのフレーム除去が発生された受信端（receving station）を識別して通知することができる能力を有している。従って、スピーチ・デコーダは、受信されたスピーチフレームが良好な状態のフレームであるか否か、または除去されたフレームと見なされるか否かということが分かる。かようなスピーチ及びオーディオの本質的特性のために、適切なフレーム損失の緩和または隠匿の技法が遂行されるのであるならば、低比率のフレーム損失は容認されるであろう。いくつかのＦＥＣアルゴリズムは、フレーム損失があまり目立たないように損失されたパケット、サイレンス、いくつかのタイプのフェーディングアウト／フェーディングイン、またはいくつかのタイプの補間（interpolation）をノイズに代替する。

【0013】

代替的なＦＥＣアルゴリズムのアプローチ方式は、リダンダント方式（redundant fashion）で規格情報を伝送するエンコーダを含む。例えば、参照によって含まれたＩＴＵ−ＴＧ．７１８標準は、向上レイヤ（enhancement layer）で、コアエンコーダ出力と係わるリダンダント情報を伝送することを推薦する。向上レイヤは、コアレイヤと異なるパケットを伝送することができる。

【発明の概要】

【課題を解決するための手段】

【0014】

本発明の一実施形態による端末機は、コーデックを利用して入力オーディオデータをコーディングするために、複数の動作モードから１つの動作モードを設定するコーディング・モード設定部と、前記動作モードがハイフレーム除去レートモード（high ＦＥＲ：frame erasure rate）であるとき、複数のフレーム損失隠匿（ＦＥＣ：frame erasure concealment）モードのうちいずれか一つによって、入力オーディオデータの現在フレームをコーディングすることにより、前記入力オーディオデータをコーディングするコーデックと、を含み、前記動作モードをhigh ＦＥＲ動作モードに設定するやいなや、前記コーディング・モード設定部は、high ＦＥＲ動作モードに係わる既設定のＦＥＣモードから、いずれか１つのＦＥＣモードを選択し、入力オーディオデータをコーディングするとき、リダンダンシ（redundancy）を導入したり、あるいは設定された１つのＦＥＣモードによってコーディングされた入力オーディオデータから分類されたリダンダンシ情報に基づいて、入力オーディオデータをコーディングするようにコーデックを制御することができる。

【0015】

前記端末機の前記コーディング・モード設定部は、前記入力オーディオデータを構成する複数のフレームそれぞれのために、複数のＦＥＣモードから１つのＦＥＣモードを選択することができる。

【0016】

前記high ＦＥＲ動作モードは、３ＧＰＰ標準のＥＶＳ（enhanced voice services）コーデックのための動作モードであり、前記コーデックは、ＥＶＳコーデックであり、前記ＥＶＳコーデックが現在フレームのオーディオをエンコーディングするとき、前記ＥＶＳコーデックは、少なくとも１つの隣接フレームでエンコーディングされたオーディオを、結合されたＥＶＳソースビットとして、現在フレームのためのパケットで、現在フレームのエンコーディング結果に追加し、前記隣接フレームは、一つ以上の以前フレーム及び／または一つ以上の以後フレームそれぞれのエンコーディングされたオーディオを含み、前記結合されたＥＶＳソースビットは、現在パケットでＲＴＰペイロード部分と区分されて表現され、前記ＥＶＳコーデックは、エンコーディングされたオーディオである少なくとも１つの隣接フレームそれぞれから、個別的にオーディオをエンコーディングし、現在パケットから分離されたパケットに、少なくとも１つの隣接フレームそれぞれからエンコーディングされたオーディオを追加させることができる。

【0017】

前記複数のＦＥＣモードのうち一つ以上は、選択的に異なる固定ビットレート及び／または異なるパケットサイズによって、現在フレームと隣接フレームとをコーディングするようにコーデックを制御することができる。

【0018】

前記複数のＦＥＣモードのうち一つ以上は、同一の固定ビットレートによって、現在フレームと隣接フレームとをコーディングするようにコーデックを制御することができる。

【0019】

前記複数のＦＥＣモードのうち一つ以上は、同一のパケットサイズによって、現在フレームと隣接フレームとをエンコーディングするように制御することができる。

【0020】

前記複数のＦＥＣモードのうち一つ以上は、現在フレームをサーブフレームに分割し、同一の固定ビットレートより低いビットレートでコーディングされたサーブフレームそれぞれのコードブック・ビットの数を計算し、サーブフレームのビットに係わるコードワードを定義するために使用されるそれぞれのコードブック・ビットの数と同一の固定ビットレートを利用して、サーブフレームをエンコーディングするように、コーデックを制御することができる。

【0021】

前記ＥＶＳコーデックは、現在フレームのビットを、少なくとも最初のサブフレームと２番目のサブフレームとを含むサブフレームに分類したところに基づいて、現在フレームのビットのための差等的なリダンダンシ（unequal redundancy）を提供し、最初のサブフレームに分類された現在フレームのエンコーディングビットを、隣接パケットでは、２番目のサブフレームに分類して加えるように、それぞれの一つまたはそれ以上の隣接パケットに、異なる方式で追加することができる。

【0022】

前記ＥＶＳコーデックは、現在フレームのビットを、少なくとも最初のサブフレームと２番目のサブフレームとを含むサブフレームに分類したところに基づいて、線形予測パラメータのための差等的なリダンダンシを提供し、最初のサブフレームに分類された現在フレームの線形予測パラメータのエンコーディングビットを、隣接パケットでは、２番目のサブフレームに分類して加えるように、それぞれの一つまたはそれ以上の隣接パケットに、異なる方式で追加することができる。

【0023】

前記現在フレームのためのパケットは、以前フレーム及び／または以後フレームからリダンダンシ情報に含まれたＦＥＣビットと直接に連結された区分された部分を含まなくともよい。

【0024】

前記コーデックは、現在フレームに係わる設定された動作モードを、high ＦＥＲ動作モードとして識別するために、現在フレームのためのパケットに、high ＦＥＲ動作モードフラグを追加することができる。

【0025】

前記high ＦＥＲ動作モードフラグは、現在パケットのＲＴＰペイロード部分で、１つのビットとして、現在パケットに表現されもする。

【0026】

前記コーデックは、現在フレームについて選択された複数のＦＥＣモードを識別するＦＥＣモードフラグを、現在フレームのためのパケットに追加することができる。前記ＦＥＣモードフラグは、既設定の個数のビットで、現在パケットで表現されもする。代替的な一実施形態で、既設定の個数は２個でもある。前記コーデックは、現在フレームに係わるＦＥＣモードフラグを、異なるフレームのパケットで、リダンダンシでもってエンコーディングすることができる。

【0027】

前記high ＦＥＲ動作モードは、３ＧＰＰ標準のＥＶＳ（enhanced voice services）コーデックのための動作モードであり、前記コーデックは、ＥＶＳコーデックであり、前記ＥＶＳコーデックは、high ＦＥＲ動作モードのフラグを探知するやいなや、high ＦＥＲ動作モードとして、現在フレームに係わる動作モードを識別するために、少なくとも１つの現在パケットで、high ＦＥＲ動作モードフラグをデコーディングし、現在パケットから現在フレームのために選択された複数のＦＥＣモードを識別する現在フレームのためのＦＥＣモードフラグをデコーディングし、前記入力オーディオデータのコーディングは、選択されたＦＥＣモードによって、入力オーディオデータをデコーディングし、前記ＥＶＳコーデックが入力オーディオデータをデコーディングするとき、現在パケットで少なくとも１つの隣接フレームからエンコーディングされたリダンダント・オーディオ（redundant audio）をパージングし、一つ以上の以前フレーム及び／または一つ以上の以後フレームそれぞれのエンコーディングされたオーディオを現在フレームに含め、現在パケットでパージングされたエンコーディングされたリダンダント・オーディオそれぞれに基づいて、一つ以上の以前フレーム及び／または一つ以上の以後フレームそれぞれで損失フレーム（lost frame）をデコーディングすることができる。

【0028】

前記ＥＶＳコーデックは、入力オーディオデータ内部で、現在フレームのためのビットまたはパラメータに係わる差等的なリダンダンシに基づいて、現在フレームをデコーディングし、前記差等的なリダンダンシは、現在フレームのビットまたはパラメータを、第１カテゴリー及び第２カテゴリーに以前に分類したところに基づいて、第１カテゴリーに分類された現在フレームのビットまたはパラメータのエンコーディングビットを、隣接パケットでは、第２カテゴリーに分類してそれぞれのリダンダント情報に加えるように、それぞれの一つまたはそれ以上の隣接パケットに、異なる方式で追加するところに基づいて、前記現在フレームのコーディングは、現在フレームが損失されたとき、一つ以上の隣接パケットからデコーディングされた現在フレームのオーディオに基づいて、現在フレームをデコーディングすることを含んでもよい。

【0029】

前記high ＦＥＲ動作モードは、３ＧＰＰ標準のＥＶＳコーデックのための動作モードであり、前記コーデックは、ＥＶＳコーデックであり、前記ＥＶＳコーデックは、high ＦＥＲ動作モードとして、現在フレームに係わる動作モードを識別するために、少なくとも１つの現在パケットで、high ＦＥＲ動作モードのフラグをデコーディングし、high ＦＥＲ動作モードのフラグを探知するやいなや、現在パケットから現在フレームのために選択された複数のＦＥＣモードを識別する現在フレームのためのＦＥＣモードフラグをデコーディングし、前記入力オーディオデータのコーディングは、選択されたＦＥＣモードによって、入力オーディオデータをデコーディングし、前記ＥＶＳコーデックは、入力オーディオデータ内部で、現在フレームのためのビットまたはパラメータに係わる差等的なリダンダンシに基づいて、現在フレームをデコーディングし、前記差等的なリダンダンシは、現在フレームのビットまたはパラメータを、第１カテゴリー及び第２カテゴリーに以前に分類したところに基づいて、第１カテゴリーに分類された現在フレームのビットまたはパラメータのエンコーディングビットを、隣接パケットでは、第２カテゴリーに分類してそれぞれのリダンダント情報に加えるように、それぞれの一つまたはそれ以上の隣接パケットに、異なる方式で追加し、前記現在フレームのコーディングは、現在フレームが損失されたとき、一つ以上の隣接パケットからデコーディングされた現在フレームのオーディオに基づいて、現在フレームをデコーディングすることができる。

【0030】

前記ＥＶＳコーデックは、現在フレームのビットを第１カテゴリー及び第２カテゴリーに分類することにより、現在フレームのビットに係わる差等的なリダンダンシを提供し、第１カテゴリーに分類された現在フレームのビットのエンコーディングビットを、隣接パケットでは、第２カテゴリーに分類して加えるように、それぞれの一つまたはそれ以上の隣接パケットに、異なる方式で追加することができる。

【0031】

前記ＥＶＳコーデックは、現在フレームのビットを、少なくとも第１カテゴリー及び第２カテゴリーに分類することにより、現在フレームの線形予測パラメータのための差等的なリダンダンシを提供し、第１カテゴリーに分類された現在フレームのビットの線形予測パラメータのエンコーディングビットを、隣接パケットでは、第２カテゴリーに分類して加えるように、それぞれの一つまたはそれ以上の隣接パケットに、異なる方式で追加することができる。

【0032】

前記ＥＶＳコーデックが現在フレームのオーディオをエンコーディングするとき、前記ＥＶＳコーデックは、少なくとも１つの隣接フレームでエンコーディングされたオーディオを、現在フレームのエンコーディング結果を含むエンコーディングされたソースビット部分と区別される現在フレームのためのパケットのＦＥＣ部分に追加し、前記隣接フレームは、一つ以上の以前フレーム及び／または一つ以上の以後フレームそれぞれのエンコーディングされたオーディオを含み、前記現在パケットのエンコーディングされたソースビット部分と、現在パケットのＦＥＣ部分は、現在パケットで、ＲＴＰペイロード部分と区分されて表現され、前記ＥＶＳコーデックは、少なくとも１つの隣接フレームそれぞれに対して個別的にオーディオをエンコーディングし、少なくとも１つの隣接フレームそれぞれについてエンコーディングされたオーディオを、現在パケットから分離されたパケットに追加させることができる。

【0033】

前記コーデックは、少なくとも１つの隣接フレームのビットのエンコーディング結果を、現在パケットの分離されたＦＥＣ部分に追加することにより、少なくとも１つの隣接フレームのビットに係わるリダンダンシを提供することができる。前記分離されたパケット（separate packers）は、隣接しない。

【0034】

前記複数のＦＥＣモードのうち一つ以上は、選択的に異なる固定ビットレート及び／または異なるパケットサイズによって、現在フレームと隣接フレームとをコーディングするように、コーデックを制御することができる。

【0035】

前記複数のＦＥＣモードのうち一つ以上は、選択的に同一の固定ビットレートによって、現在フレームと隣接フレームとをコーディングするように、コーデックを制御することができる。
前記複数のＦＥＣモードのうち一つ以上は、同一のパケットサイズによって、現在フレームと隣接フレームとをコーディングするように、制御することができる。

【0036】

前記複数のＦＥＣモードのうち一つ以上は、現在フレームをサブフレームに分割し、同一の固定ビットレートより低いビットレートでコーディングされたサブフレームそれぞれのコードブック・ビットの数を計算し、サブフレームのビットに係わるコードワードを定義するために使用されるそれぞれのコードブック・ビットの数と同一の固定ビットレートを利用して、サブフレームをエンコーディングするようにコーデックを制御することができる。

【0037】

前記ＥＶＳコーデックは、現在フレームのビットを、少なくとも最初のサブフレームと２番目のサブフレームとを含むサブフレームに分類したところに基づいて、現在フレームのビットのための差等的なリダンダンシを提供し、最初のサブフレームに分類された現在フレームのエンコーディングビットを、隣接パケットでは、２番目のサブフレームに分類して加えるように、それぞれの一つまたはそれ以上の隣接パケットに、異なる方式で追加することができる。

【0038】

前記ＥＶＳコーデックは、現在フレームのビットを、少なくとも最初のサブフレームと２番目のサブフレームとを含むサブフレームに分類したところに基づいて、線形予測パラメータのための差等的なリダンダンシを提供し、最初のサブフレームに分類された現在フレームの線形予測パラメータのエンコーディングビットを、隣接パケットでは、２番目のサブフレームに分類して加えるように、それぞれの一つまたはそれ以上の隣接パケットに、異なる方式で追加することができる。

【0039】

前記コーディング・モード設定部は、端末機外部の伝送品質のうち一つ以上、及び／または伝送過程でフレーム損失にさらに敏感であるか、あるいは入力オーディオデータの他のフレームよりさらに重要性が高い入力オーディオデータの現在フレームの決定に基づいて、端末機で活用可能なフィードバック情報の分析に基づいて、一般動作モードのための複数の動作モードのうち残っているモードを比較した他の（different）、増加した（increased）、かつ／または多様な（varied）リダンダンシで、動作モードをhigh ＦＥＲ動作モードに設定することができる。

【0040】

前記フィードバック情報は、物理的階層で伝送されたハイブリッド自動反復要請（ＨＡＲＱ：hybrid automatic repeat request ）フィードバックであるファースト・フィードバック（ＦＦＢ：ＦａｓｔＦｅｅｄｂａｃｋ ）情報；物理的階層よりさらに高い階層で伝送されたネットワーク・シグナリングからフィードバックされたスロー・フィードバック（ＳＦＢ：slow feedback：ＳＦＢ）情報；終端（far end）でコーデックからインバンド・シグナリングされたフィードバック（ＩＳＢ：in-band feedback：ＩＳＢ）情報；及びリダンダント方式（redundant fashion）で伝送される特定クリティカル・フレーム（specific critical frame）のコーデックによる選択であるハイセンシティビティフレーム（ＨＳＦ：high sensitivity frame）情報のうち少なくとも一つを含んでもよい。

【0041】

前記端末機は、ＦＦＢ情報、ＨＡＲＱフィードバック、ＳＦＢ情報、ＩＳＢ情報のうち少なくとも一つを受信し、端末外部からの伝送と係わる一つ以上の品質を決定するために、受信されたフィードバック情報を分析することができる。

【0042】

前記端末機は、パケットに受信されたフラグに基づいて、以前に遂行されるＦＦＢ情報、ＨＡＲＱフィードバック、ＳＦＢ情報、ＩＳＢ情報のうち少なくとも１つの分析結果を示す情報を受信し、前記フラグは、high ＦＥＲ動作モードによってエンコーディングされた現在パケットの現在フレーム、またはhigh ＦＥＲ動作モードでコーデックによって遂行されなければならない現在パケットのコーディングを示すことができる。

【0043】

前記コーディング・モード設定部は、複数の使用可能なコーディング・タイプで、現在フレーム及び／または隣接フレームの決定されたコーディング・タイプ、または複数の使用可能なフレーム分類で、現在フレーム及び／または隣接フレームの決定されたフレーム分類のうち一つに基づいて、複数のＦＥＣモードのうち一つに動作モードを設定することができる。

【0044】

前記複数の使用可能なコーディング・タイプは、アンボイスされたスピーチフレーム（unvoiced speech frames）のためのアンボイスされたワイドバンド・タイプ（unvoiced wideband type）、ボイスされたスピーチフレーム（voiced speech frames）のためのボイスされたワイドバンド・タイプ（voiced wideband type）、ノンステーショナリ・スピーチフレーム（non-stationary speech frame）のための一般ワイドバンド・タイプ（generic wideband type）、及び向上されたフレーム除去パフォーマンス（enhanced frame erasure performance）のために使用されたトランジション・ワイドバンド・タイプ（transition wideband type）を含んでもよい。

【0045】

前記複数の使用可能なフレーム分類は、アンボイス、サイレンス、ノイズ、ボイスされたオフセット（voiced offset）のためのアンボイスされたフレーム分類（unvoiced frame classification）、アンボイスされたコンポーネントからボイスされたコンポーネントへのトランジションのためのアンボイスされたトランジション分類（unvoiced transition classification）、ボイスされたコンポーネントからアンボイスされたコンポーネントへのトランジションのためのボイスされたトランジション分類（voiced transition classification）、ボイスされたフレーム及びすでにボイスされたか、あるいはオンセッフレーム（onset frame）に分類された以前フレームのためのボイスされた分類（voiced classification）、及びデコーディング器によってボイス隠匿（voice concealment）に従うように十分に良好に設計されたボイスされたオンセットのためのオンセット分類を含んでもよい。

【0046】

本発明の一実施形態によるコーディング方法は、コーデックを利用して入力オーディオデータをコーディングするために、複数の動作モードから１つの動作モードを設定する段階と、前記動作モードがハイフレーム除去レートモード（high ＦＥＲ：frame erasure rate）であるとき、複数のフレーム損失隠匿（ＦＥＣ：frame erasure concealment）モードのうちいずれか一つによって、入力オーディオデータの現在フレームをコーディングすることにより、前記入力オーディオデータをコーディングする段階と、を含み、前記動作モードをhigh ＦＥＲ動作モードに設定するやいなや、前記入力オーディオデータをコーディングする段階は、high ＦＥＲ動作モードに係わる既設定のＦＥＣモードから、いずれか１つのＦＥＣモードを選択し、入力オーディオデータをコーディングするとき、リダンダンシを導入したり、あるいは設定された１つのＦＥＣモードによってコーディングされた入力オーディオデータに分類されたリダンダンシ情報に基づいて、入力オーディオデータをコーディングすることができる。

【発明の効果】

【0047】

本発明の一実施形態によれば、フレーム伝送過程で除去されたフレームに対して、効率的にフレーム損失隠匿を遂行したりまたは復元することができる。

【図面の簡単な説明】

【0048】

【図1】本発明の一実施形態による、ＥＶＳ（enhanced voice service）を含むＥＰＳ（evolved packet system）を図示した図面である。

【図2A】本発明の一実施形態による、エンコーディング端末、一つ以上のネットワーク及びデコーディング端末を図示した図面である。

【図2B】本発明の一実施形態による、ＥＶＳコーデックを含む端末を図示した図面である。

【図3】本発明の一実施形態による、代替パケットに提供される１つのフレームに係わるリダンダント・ビット（redundant bit）の例示を図示した図面である。

【図4】本発明の一実施形態による、２個の代替パケットに提供される１つのフレームに係わるリダンダント・ビットの例示を図示した図面である。

【図5】本発明の一実施形態による、フレームのパケット前後に位置した代替パケットに提供される１つのフレームに係わるリダンダント・ビットの例示を図示した図面である。

【図6】本発明の一実施形態による、ソースビットの異なる分類に基づいて、代替パケットでソースビットの差等的なリダンダンシを図示した図面である。

【図7】本発明の一実施形態による、差等的なリダンダンシを有するＦＥＣ動作モードの一例を図示した図面である。

【図8】本発明の一実施形態による、同じ伝送ブロックサイズを有するhigh ＦＥＲ動作モードに係わる異なるＦＥＣ動作モードを図示した図面である。

【図9】本発明の一実施形態による、Ｃクラスビットの個数と同じＡクラスビットの個数に基づいて、差等的なリダンダンシ伝送のために使用可能なパケットの４種サブタイプを図示した図面である。

【図10】本発明の一実施形態による、オンセット・フレームに、向上されたプロテクション（enhanced protection）を提供する多様なパケット・サブタイプを図示した図面である。

【図11】本発明の一実施形態による、high ＦＥＲ動作モードで、異なるＦＥＣ動作モードを利用して、オーディオデータをコーディングする方法を図示した図面である。

【図12】本発明の一実施形態による、すべてのＦＥＣ動作モードについて、同じビットレートまたはパケットサイズが維持されるか否かということに基づいたＦＥＣフレームワークを図示した図面である。

【図13】本発明の一実施形態による、３個のＦＥＣ動作モードの例示を図示した図面である。

【図14】本発明の一実施形態による、high ＦＥＲ動作モードで、異なるＦＥＣ動作モードを利用して、オーディオデータをデコーディングする方法を図示した図面である。

【発明を実施するための形態】

【0049】

以下、図示された図面によって、本発明の一実施形態について具体的に説明する。そして、同じ参照図面は、同じ構成要素を示す。本発明の一実施形態は、他の形態によって構成され、特定の構成要素に限定解釈されるものではなく、システムの多様な変更、修正、同一性の範囲まで包括しなければならない。そして、説明される装置及び／または方法は、従来技術に基づいて理解されもする。従って、本発明の一実施形態は、図面によって、以下で具体的に説明する。

【0050】

本発明の一実施形態は、スピーチ・コーディング及びオーディオ・コーディングの技術領域と係わるものであり、エンコーディングされたスピーチまたはオーディオのフレームは、伝送過程で時折損失されもする。セルラ無線リンク（cellular radio link）での妨害（interference）、またはＩＰ（internet protocol）ネットワークでのルータ・オーバーフロー（router overflow）のような理由で、スピーチフレームまたはオーディオフレームの損失が発生することがある。

【0051】

本発明の一実施形態は、３ＧＰＰ（3rd generation partnership project）無線システム構造の４世代方式に採択されるＥＶＳ（enhanced voice service）コーデックと係わるものであるが、本発明の一実施形態は、必ずしもＥＶＳに制限されるものではない。

【0052】

３ＧＰＰは、将来の無線携帯電話または無線システムのための新たなスピーチ・コーデック及びオーディオ・コーデックを標準化する過程である。ＥＶＳコーデックとして周知のこのコーデックは、ＥＰＳ（enhanced packet services）として周知の３ＧＰＰの４世代ネットワークのためのエンコーディングされたビットレートの広い範囲で、スピーチ及びオーディオを効率的に圧縮するように設計された。ＥＰＳの特徴のうち一つは、ＬＴＥ（long term evolution）として知られたＥＰＳ無線インターフェース（air interface）を介して、スピーチ及びオーディオの圧縮結果を含む全てのサービスのために、パケット基盤の伝送で使用されるものである。ＥＶＳコーデックは、パケット基盤環境で、効率的に動作するように設計される。

【0053】

ＥＶＳコーデックは、狭帯域（narrowband）から全帯域（full-band）に至るまでの帯域幅で、オーディオを圧縮することができ、ステレオ能力もあり、存在する３ＧＰＰコーデックのための窮極的な代替と見られる。３ＧＰＰで、新たなコーデックの動機（motivation）は、さらに高いオーディオ帯域幅及びステレオを要求する新たなアプリケーションを除いたスピーチ・コーディング及びオーディオ・コーディング・アルゴリズムの発展（advancement）、並びにサーキットスイッチされた環境で、パケットスイッチされた環境でスピーチ及びオーディオのマイグレーション（migration）を含む。

【0054】

以前の３ＧＰＰ基盤ネットワークの場合のように、ＥＶＳコーデックが動作する環境の主な様相（aspect）は、送信機（sender）から受信機（receiver）へのスピーチ／オーディオフレームが伝送されるときの損失である。これは、セルラ・ネットワークでの伝送時に予想される結果であり、かような環境で動作するように設計されたスピーチ及びオーディオの設計過程とすることができる。ＥＶＳコーデックは、スピーチのフレーム損失と、フレーム除去の衝撃とを最小化するためのアルゴリズムを含んでもよい。ＥＰＳだけではなく、レガシー３ＧＰＰセルラ・ネットワークも、一般的な条件の間、ほとんどのユーザに係わる合理的なフレーム除去の比率を維持するように設計される。

【0055】

図１のＥＶＳコーデック２６は、パケットが損失される環境である３ＧＰＰアプリケーションだけでなく、その後の３ＧＰＰでも使用されもする。さらに、何人のユーザは、所望のＥＶＳより、フレーム除去の一般的な比率よりさらに高い比率を経験することができる。かような観点で、本発明は、ＥＶＳコーデックのためのhigh ＦＥＲ（high frame erasure rate）動作モードを提案する。high ＦＥＲ動作モードは、特定環境で、追加的なフレーム損失軽減（mitigation）を提供するために、追加的なリソース（追加的なビットレート及び／またはディレイ）を使用することができる。

【0056】

例えば、high ＦＥＲ動作モードは、ＬＴＥで、極限的な動作環境でのフレーム除去の比率を意味する。high ＦＥＲ動作モードで、１０％またはそれ以上の程度でのフレーム除去の比率で、さらに優れた性能を発揮するためには、追加的なリソース（ビットレート、ディレイ）が要求されるトレードオフ（trade off）が存在する。

【0057】

本発明の一実施形態によれば、ＥＶＳコーデック２６のhigh ＦＥＲ動作モードのために、ＦＥＣ（frame erasure concealment）と直接に連結される。本発明の一実施形態は、特定パラメータの重要性に基づいて、スピーチフレームの多様なエンコーディングされたパラメータが、多様なリダンダンシ（redundancy）と共に伝送されるリダンダンシ方式を提案する。さらに、エンコーディングされたスピーチ部分ではない、エンコーダで生成されるＦＥＣビットは、優先化（prioritized）され、多様なリダンダンシと共に伝送される。リダンダンシは、多重パケットで、同じビットまたは全てのビットの反復を介して導出され、フレーム間またはフレーム内部で、差等的な（unequal）方式で遂行されもする。

【0058】

図１はスピーチメディア・コンポーネント２２の内部で、４世代３ＧＰＰ方式のために、ＥＶＳ（enhanced voice service）コーデック２６及びボイスサービス・コーデック２４を含むＥＰＳ（evolved packet system）２０を図示している。ＥＶＳコーデック２６は、ＬＴＥ無線インターフェースを介して、効率的に動作する。かような効率的な設計によって、多様なコーデック・フレームサイズとＲＴＰペイロードは、ＬＴＥですでに定義された伝送ブロックサイズとマッチングされる。ＥＶＳコーデック２６は、無線インターフェース及びＶＯＩＰネットワークでフレーム損失が発生したり発生しうる環境で動作するマルチレート及びマルチ帯域幅コーデックである。従って、本発明の一実施形態によれば、ＥＶＳコーデック２６は、フレーム損失の衝撃を低減させるためのＦＥＣ（frame erasure concealment）アルゴリズムを含む。

【0059】

オーディオ・コーディングでＦＥＣを利用するのは、スピーチまたはオーディオをエンコーディングしたり、あるいはエンコーディングするために使用されたスピーチ・コーデックと独立したデコーディング・システムによって遂行された。しかし、潜在的に、さらに効果的な利用のために、ＥＶＳコーデック２６のデコーダ側面の開発段階で、ＥＶＳコーデック２６で、ＦＥＣアルゴリズムを設計するのである。

【0060】

エンコーダ側面で、エンコーダは、オーディオデータのスピーチをエンコーディングするために遂行されるコーデックと独立して、データに提供されたリダンダンシを有することができる。そのために、たとえ以前コーデックは、フレーム損失による品質悪化（degradation）を減らすために、ただデコーダと係わるアルゴリズムを利用したが、本発明の一実施形態によれば、たとえシステム帯域幅の追加コストや潜在的なディレイが必要であるとしても、ＥＶＳコーデック２６のデコーダ側面の開発段階で、ＥＶＳコーデック２６のエンコーダに、ＦＥＣアルゴリズムを採択することができる。

【0061】

本発明の一実施形態によれば、エンコーダに適用されるＦＥＣアルゴリズムだけでなくエラーまたはパケットの損失を隠匿するために、デコーダにも適切なＦＥＣアルゴリズムを適用することができる。そして、追加的なフレームエラー隠匿アルゴリズムの組み合わせが使用されもする。また、デコーダは、デコーディングされたオーディオデータの適切なタイミングを維持するために、エラーが発生したビットまたは損失されたパケットを再構成することができる。従って、ＥＶＳコーデック２６は、前述のフレーム損失隠匿だけでなく、ＦＥＣフレームと係わる事項を遂行することができる。

【0062】

従って、本発明の一実施形態によれば、４世代３ＧＰＰ無線システム方式のように、エンコーダ基盤のＦＥＣアルゴリズムを採択することができる。そして、他の実施形態によれば、本発明は、エンコーディング動作とデコーディング動作とをそれぞれ遂行することができるエンコーダとデコーダとを含んでもよい。

【0063】

図２Ａによれば、エンコーディング端末１００、一つ以上のネットワーク１４０及びデコーディング端末１５０が図示されている。本発明の一実施形態によれば、一つ以上のネットワーク１４０は、ＥＶＳコーデック２６を含み、エンコーディング、デコーディングまたは変形（transformation）を遂行することができる一つ以上の中間端末（intermediary terminals）を含んでもよい。エンコーディング端末１００は、エンコーダ側コーデック１２０、ユーザ・インターフェース１３０を含み、デコーディング端末１５０は、同様にデコーダ側コーデック１６０及びユーザ・インターフェース１３０を含んでもよい。

【0064】

図２Ｂは、本発明の一実施形態による、図２Ａのエンコーディング端末１００及びデコーディング端末１５０を一つまたは二ともいずれもだけではなく、一つ以上のネットワーク１４０内部の中間端末を代表する端末２００を図示する。端末２００は、マイク２６０のようなオーディオ入力装置と連結されたエンコーディング部２０５、スピーカ２７０のように、オーディオ出力装置と連結されたデコーディング部２５０、潜在的なディスプレイ２３０、入出力インターフェース２３５、中央処理装置（ＣＰＵ）２１０のようなプロセッサを含んでもよい。

【0065】

ＣＰＵ ２１０は、エンコーディング部２０５及びデコーディング部２５０と連結される。ＣＰＵ ２１０は、エンコーディング部２０５とデコーディング部２５０との動作を制御するだけではなく、端末２００の他の構成要素を、エンコーディング部２０５とデコーディング部２５０との相互作用で制御することができる。本発明の一実施形態によれば、端末２００は、モバイルフォン、スマートフォン、タブレットＰＣ（personal computer）またはＰＤＡ（personal digital assistant）のようなモバイル装置でもある。そして、ＣＰＵ ２１０は、端末の他の特徴を利用することができ、モバイルフォン、スマートフォン、タブレットＰＣまたはＰＤＡでの一般的な機能のために、端末の能力（capability）を利用することができる。

【0066】

例えば、本発明の一実施形態によれば、エンコーディング部２０５は、ＦＥＣアルゴリズムまたはフレームワークに基づいて、デジタル的に入力オーディオをエンコーディングすることができる。保存されたコードブックは、適用されたＦＥＣアルゴリズムに基づいて、選択的に使用されもする。コードブックは、エンコーディング部２０５及びデコーディング部２５０のメモリに保存される。エンコーディングされたデジタルオーディオは、キャリア信号に変調されたパケットを介して伝送され、アンテナ２４０によって伝送されもする。また、エンコーディング・オーディオデータは、その後の再生のために、不揮発性メモリまたは揮発性メモリのようなメモリ２１５に保存されもする。

【0067】

他の一例として、本発明の一実施形態によれば、デコーディング部２５０は、ＦＥＣアルゴリズムに基づいて、入力オーディオをデコーディングすることができる。デコーディング部２５０によってデコーディングされたオーディオは、アンテナ２４０から提供されたり、あるいは以前にエンコーディングされたオーディオが保存されたメモリ２１５から獲得されもする。さらに、保存されたコードブックは、エンコーディング部２０５、デコーディング部２５０またはメモリ２１５に保存され、ＦＥＣアルゴリズムに基づいて、選択的に使用されもする。

【0068】

前述のように、本発明の一実施形態によれば、エンコーディング部２０５及びデコーディング部２５０は、それぞれ適切なコードブック、及び適切なコーデック・アルゴリズムまたはＦＥＣアルゴリズムを保存するためのメモリを含んでもよい。エンコーディング部２０５及びデコーディング部２５０は、オーディオデータをエンコーディングしたり、あるいはデコーディングするために使用されるコーデックと共に、プロセシング装置に含まれ、同一に使用される単一ユニット（single unit）でもある。本発明の一実施形態によれば、プロセシング装置は、入力オーディオ、または他のオーディオ・ストリームの他の部分のために、並列的にエンコーディング・プロセシング及び／またはデコーディング・プロセシングを遂行することができる。

【0069】

端末２００は、エンコーディング部２０５及び／またはデコーディング部２５０で遂行される複数の動作モードを選択するコーデックモード設定部２５５を含んでもよい。それぞれのコーデックモード設定部２５５それぞれは、エンコーディング部２０５及びデコーディング部２５０いずれものための１つのコーデックモード設定部２５５でもある。ＥＶＳコーデックは、同一の動作モードで、スピーチーオーディオ及びノンスピーチ・オーディオである音楽（music）をエンコーディングすることができる。もし入力オーディオがノンスピーチ・オーディオである場合、エンコーディング部２０５またはデコーディング部２５０は、音楽、またはさらに良質のオーディオのために設計されたコーデックのように、広帯域コーデック（wideband codec）によって、ノンスピーチ・オーディオをそれぞれエンコーディングしたり、あるいはデコーディングすることができる。

【0070】

もし入力オーディオがスピーチ・オーディオであると決定されれば、コーデックモード設定部２５５は、エンコーディング部２０５またはデコーディング部２５０それぞれが、オーディオデータをエンコーディングまたはデコーディングすることができるように、複数の動作モードを決定することができる。

【0071】

もしコーデックモード設定部２５５が、high ＦＥＲ動作モードが決定されたということを感知した場合、コーデックモード設定部２５５は、high ＦＥＲ動作モードで動作するために、ＦＥＣモードのうち一つを選択するができる。たとえ動作モードが、high ＦＥＲ動作モードに設定されたために、スピーチ・コーディングのために活用可能な他の動作モードが利用されないとしても、ＦＥＣモードは、ＦＥＣフレームワークで、他のスピーチ・コーディング・モードと共に使用されもする。

【0072】

コーデックモード設定部２５５は、エンコーディングされた入力パケットをパージングし、受信されたエンコーディングされたオーディオがスピーチであるか否かを識別する情報、high ＦＥＲ動作モードが設定されているか否かを示すノンスピーチ・オーディオのための動作モード、ＦＥＲモードのために、いかなる潜在的なＦＥＣ動作モードも抽出することができる。また、コーデックモード設定部２５５は、パージングされた情報を、エンコーディングされた出力パケットに追加することができる。そして、かような情報は、窮極的な（ultimate）エンコーディングが遂行されるように、エンコーディング部２０５によって追加されもする。

【0073】

本発明の一実施形態によれば、ＥＶＳコーデック２６は、スピーチ・オーディオのための複数の動作モードを含んでもよい。動作モードそれぞれは、関連したエンコーディングされたビットレートを有することができる。特定モードでのビットレートに従属し、動作モードは、オーディオ帯域幅の選択を伝送たり、あるいはレガシーＡＭＲ−ＷＢコーデックでエンコーディングされたスピーチを伝送するために多様に使用されもする。スピーチ・オーディオに係わる動作モードの例示は、以下の表１に図示されている。

【0074】

ＬＴＥ無線インターフェースは、多様なサイズを有する伝送パケットで使用することができる固定された個数の伝送ブロックサイズに設計されもする。３ＧＰＰ無線システムでは、存在する３ＧＰＰコーデックのために、伝送ブロックサイズよりさらに小さく設計されもする。そして、伝送ブロックサイズは、コーデックが動作するビットレートの厳格な選択を介して、ＥＶＳコーデック２６によって再使用されもする。本発明の一実施形態において、ＥＶＳコーデック２６は、エンドツーエンド・ディレイ（end-to-end delay）を最小化するために、スピーチを２０ｍｓフレームにエンコーディングすることができ、１つのフレームは、パケットごとに伝送される。しかし、本発明は、かような実施形態に限定されるものではない。

【0075】

以下で図示された表１は、ビットレート範囲の低い部分でのスピーチＥＶＳコーデック・ビットレートの例示と、ビットレート・モードと結合して使用される伝送ブロックサイズを図示している。表１で例示されたＲＴＰペイロードのサイズは、ＡＭＲ−ＷＢコーデックで存在するＲＴＰペイロードサイズに基づく。しかし、本発明の一実施形態は、表１のＲＴＰペイロードサイズに限定されるものではない。

【0076】

【表1】

前述のところは、固定レートコーデック、や固定レートでスピーチフレームをエンコーディングするコーデックに係わる。パケット・スイッチされた環境で動作するように、スピーチ発話（utterances）間のサイレンスまたは中止（pause）がエンコーディングされ、不連続的な方式で非常に低いレートで伝送されもする。

【0077】

前述のように、ネットワークと、３ＧＰＰセルラ・ネットワークとで伝送されたスピーチフレームは、伝送過程で伝送されたデータの小さい比率ほど除去される。

【0078】

フレーム損失隠匿（ＦＥＣ）アルゴリズムは、一般的に、２個のカテゴリーに分類される。一つは、コーデック独立的ＦＥＣアルゴリズムと、コーデック従属的ＦＥＣアルゴリズムとである。コーデック独立的ＦＥＣアルゴリズムは、特定コーディング・アルゴリズムの知識なしにも十分に適用され、コーデック従属的ＦＥＣアルゴリズムほど、その結果が効率的である。コーデック従属的ＦＥＣアルゴリズムは、開発過程で、コーデックと結合されるように設計され、一般的に、さらに効果的である。本発明の一実施形態によれば、少なくとも１つのコーデック従属的ＦＥＣアルゴリズムを含んでもよく、コーデック従属的ＦＥＣアルゴリズムと、コーデック独立的ＦＥＣアルゴリズムとを含んでもよい。

【0079】

フレーム損失隠匿（ＦＥＣ）アルゴリズムは、２個のセットに分類される。フレーム損失隠匿（ＦＥＣ）アルゴリズムは、受信機基盤のＦＥＣアルゴリズム、及び送信機基盤のＦＥＣアルゴリズムに分類される。受信機基盤のＦＥＣアルゴリズムは、スピーチ・デコーダ、及び／またはデコーディング部２５０のジッタバッファに単独で位置することができる。そして、受信機基盤のＦＥＣアルゴリズムは、デコーダのために受信機で生成されたフレーム除去フラグによって、触発になる。デコーディング部２５０のエラー隠匿（errorcon cealment）は、サイレンス利用、ホワイトノイズ、波形置換（waveform substitution）、サンプル補間（sample interpolation）、ピッチ波形置換（pitch waveform replacement）、タイムスケール修正（time scale modification）、知識または隣接オーディオ特徴に基づいた再生成（regeneration）、及び／またはモデルへのエラーまたは損失のうちいずれか１つのスピーチ特徴にマッチングされた復旧（recover）に基づいたモデルを含むデータ隠匿を含んでもよい。

【0080】

ユーザがパケット損失を認知することを最小化することができるように簡単なアルゴリズムは、除去されたフレーム、または以前良好なフレームの反復のために復元されたオーディオ（restored audio）に、サイレンスまたはノイズ代替（noise substitution）を含んでもよい。フレーム除去の連続したストリング（continuing string）のために、デコーダは、デコーディングされたスピーチボリュームを音消去することができる。さらに向上されたアルゴリズムは、以前に受信された状態が良好なスピーチフレームの特徴を考慮し、以前に受信された状態が良好なパラメータを補間することができる。もしジッタバッファが採択されれば、補間目的のために除去されたフレームの両側面で、状態が良好なスピーチフレームを使用する機会がある。

【0081】

送信機基盤のＦＥＣアルゴリズムは、さらにリソースを消費するが、受信機基盤のＦＥＣアルゴリズムよりさらに強力である。送信機基盤のＦＥＣアルゴリズムは、一般的に、フレーム除去が発生した場合、損失されたフレームの再構成のために使用するリダンダント情報を、サイドチャンネルを介して伝送することができる。送信機基盤のＦＥＣアルゴリズムの性能は、プライマリー・チャネルからの付加情報伝送と相関関係がない。セルラ・ネットワークで、リアルタイムスピーチ・コーディング・アプリケーションのために、部分的に相関関係を除去することは、一つ以上のフレームにリダンダント情報を伝送することをディレイすることによって行われる。それは、典型的には、ディレイが制限されたシステムの伝送経路でディレイをもたらし、ディレイは、受信機にジッタバッファによって部分的に軽減される。ジッタバッファは、デコーディング部２５０に含まれる。

【0082】

本発明の一実施形態によれば、受信機に提供される付加（side）情報またはリダンダンシ情報は、本来スピーチフレーム（全体リダンダンシ）の完璧な複写本（copy）、またはフレームの臨界的（critical）サブセット（部分リダンダンシ）を含んでもよい。選択的なリダンダンシは、スピーチフレームの選択されたサブセットが、付加情報と共に伝送される技術を意味する。全体スピーチフレームまたはフレームのサブセットは、選択的な方式で伝送される。

【0083】

他のアプローチ方式は、スピーチを、２つの異なるコーデックでエンコーディングするのである。一つは、一般的なコーディングのために、所望のコーデックでエンコーディングするものであり、他の一つは、低いレート、低い正確度のコーデックでエンコーディングするのである。本発明の一実施形態によれば、多様なレンダリングが適用される。付加チャネルの考慮された低いレートバージョンでエンコーディングされたスピーチが、デコーダに伝送される。

【0084】

さらに、本発明の一実施形態によれば、差等的なエラー保護（unequal error protection）が行われる。フレームの符号化されたビットは、クラスに分類される。クラスＡ，Ｂ，Ｃは、除去されるビットまたはパラメータの敏感度に基づいて決定される。クラスＡに属するビットまたはパラメータの除去（erasure）は、クラスＣに属するビットまたはパラメータが損失されるときより、ボイス品質にさらに大きい影響を及ぼす。符号化されたビットまたはパラメータをクラスに分類することは、フレームをサブフレームに分割することと参照される。サブフレームという用語の使用は、分類されたエンコーディングされたビットが、サブフレームそれぞれが連続的になることを要求しないということを意味する。

【0085】

送信機基盤のＦＥＣシステムで、受信機は、フレーム除去を認識し、除去されたフレームのためのリダンダント付加情報が受信されているか否かを判断することができる。もし付加情報も損失された状況は、受信機基盤のＦＥＣシステムで、付加情報が損失されることと同一である。それにより、受信機基盤のＦＥＣアルゴリズムが適用される。もしリダンダント付加情報が存在する場合、付加情報は、受信機が隠匿目的に使用することができる他の関連情報と、損失されたフレームとを隠匿するために使用される。

【0086】

前述のように、ＥＶＳコーデック２６は、他の動作モードと区分されるhigh ＦＥＲ動作モードを含んでもよい。ＥＶＳコーデック２６のhigh ＦＥＲ動作モードは、プライマリー動作モードではなく、ユーザが、フレーム損失が発生する一般的な状況よりさらによく経験する場合に選択される。

【0087】

このメカニズムの成功と失敗は、フレームが無線インターフェースを介して首尾よく伝送された否かということのように、迅速なフィードバックを提供するのである。全体伝送経路を伴うリンク品質のフィードバックは、一般的に遅い。そして、フィードバックは、さらに高い階層通信、またはモバイルとモバイルとの通話のような場合、ＥＶＳコーデック２６間に専念するバンド信号のうちいずれか一つを伴う。

【0088】

本発明の一実施形態によれば、ＥＶＳコーデック２６のhigh ＦＥＲ動作モードのために、ＦＥＣフレームワークが提供される。このフレームワークは、ＥＶＳコーデック２６の固定レートモード及び帯域幅に有効である。一実施形態で、このＦＥＣフレームワークは、ＥＶＳコーデック２６の全体固定レートモード及び帯域幅に有効である。従って、本発明の一実施形態によれば、フレームワークは、固定レートでエンコーディングされたフレームの部分的または全体的なリダンダンシの伝送方法を含んでもよい。

【0089】

本発明の一実施形態によれば、部分的及び全体的なリダンダンシは、high ＦＥＲ動作モードの間、固定されたサイズの伝送ブロックを伝送することができる。一般的な動作モードで、high ＦＥＲ動作モードへの転移は、伝送ブロックサイズの変化を引き起こす。本発明の一実施形態によれば、（１）固定されたか、あるいは多様なビットレートと、固定されたサイズとの伝送ブロックと共に、部分的（partial）、差等的（unequal）または全体的（full）なリダンダンシを使用したり、あるいは（２）固定されたり、あるいは多様なビットレートと多様なサイズとの伝送ブロックと共に、部分的、差等的または全体的なリダンダンシを使用することができる。

【0090】

本発明の一実施形態によれば、図１で、ＥＶＳコーデック２６のhigh ＦＥＲ動作モードは、選択的なリダンダンシの例示を示している。

【0091】

以下で説明するように、ＥＰＳ環境で、ＥＶＳコーデック２６と相互作用する２種の例示がある。ここで、相互作用というのは、エンコーディング部１００がhigh ＦＥＲ動作モードとして決定するか否かを判断するために、デコーディング部１５０からエンコーディング部１００へのフィードバックを意味する。そして、デコーディング部１５０は、フレーム除去レートをモニタリングすることにより、high ＦＥＲ動作モードに入るか否かを決定することができる。

【0092】

もしデコーディング部１５０が、high ＦＥＲ動作モードに入ると決定する場合、かような決定は、オーディオまたはスピーチの次のフレームを、high ＦＥＲ動作モードでエンコーディングするように、エンコーディング部１００に伝送される。同様に、図２Ｂから分かるように、もしエンコーディング部１００及びデコーディング部１５０のうちいずれか一つが受信された情報に基づいて、high ＦＥＲ動作モードに入ると決定されれば、端末２００は、カンファレンス・コールまたはＶＯＩＰセッションから、オーディオデータまたはスピーチデータをエンコーディングしたり、あるいはデコーディングすることができる。そして、端末２００は、high ＦＥＲ動作モードで、次のフレームをエンコーディングすることができ、終端に位置した端末２００が、high ＦＥＲモードで動作するように、終端に位置した端末２００に通知することができる。また、デコーダは、フレームと関連したシグナリングから、フレームがhigh ＦＥＲモードにあるか否かが分かる。

【0093】

ＥＶＳコーデック２６は、４種のソースのうち一つ以上を処理された情報に基づいて、high ＦＥＲ動作モードに入ることができる。ここで、４種ソースは、次の通りである。（１）物理的階層で伝送されたハイブリッド自動反復要請（ＨＡＲＱ：hybrid automatic repeat request）フィードバックであるファースト・フィードバック（ＦＦＢ：fast feedback）情報、（２）物理的階層よりさらに高い階層で伝送されたネットワーク・シグナリングからフィードバックされたスロー・フィードバック（ＳＦＢ：slow feedback）情報、（３）終端（far end）で、ＥＶＳコーデック２６からインバンド・シグナリングされたフィードバック（ＩＳ：in-band feedback）情報、及び（４）リダンダント方式（redundant fashion）で伝送される特定クリティカル・フレーム（specific critical frame）のＥＶＳコーデック２６による選択であるハイセンシティビティ・フレーム（ＨＳＦ：high sensitivity frame：ＨＳＦ）情報。ソース（１）及び（２）は、ＥＶＳコーデック２６に独立的である一方、ソース（３）及び（４）は、ＥＶＳコーデック２６に依存的であり、ＥＶＳコーデック２６のための特定アルゴリズムを要求する。

【0094】

high ＦＥＲ動作モードに入るか否かを決定することは、high ＦＥＲ動作モード・アルゴリズムに基づく。本発明の一実施形態によれば、図２Ｂのコーディング・モード設定部２５５は、以下のアルゴリズム１で図示されたところによって、high ＦＥＲ動作モード・アルゴリズムを遂行することができる。
（アルゴリズム１）

前述のように、本発明の一実施形態によれば、図２Ｂのコーディング・モード設定部２５５は、４個のソースのうち一つ以上処理された分析情報に基づいて、ＥＶＳコーデック２６に、high ＦＥＲモードに入ることを指示することができる。ここで、ソースは、次の通りである。（１）ＳＳＦ情報を利用して、Ｎｓフレームの計算された平均エラーレートから導出されたＳＦＢａｖｇ、（２）ＦＦＢ情報を利用して、Ｎｓフレーム平均の計算された平均エラーレートから導出されたＦＦＢａｖｇ、（３）ＩＳＢ情報と、それぞれの臨界値であるＴｓ、Ｔｆ及びＴｉを利用して、Ｎｓフレームの計算された平均エラーレート路から導出されたＩＳＢａｖＧ。

【0095】

それぞれの臨界値を比較した結果に基づいて、図２Ｂのコーディング・モード設定部２５５は、high ＦＥＲ動作モードに入るか否かということと、選択するＦＥＣモードとを決定することができる。選択されたＦＥＣモードは、表６及び表７で説明するコーディング・タイプ及びフレーム分類決定に基づく。

【0096】

本発明の一実施形態によれば、high ＦＥＲ動作モードに入るという決定に従属し、オーディオ情報またはスピーチ情報をエンコーディングするために、追加してhigh ＦＥＲ動作モードに含まれた複数のサブモードが存在する。ここで、high ＦＥＲ動作モードは、複数のサブモードで動作し、小さい数のビットは、選択されたそれぞれのサブモードに係わるシグナリングのために使用される。ここで、小さい数のビットは、オーバーヘッド部分になり、潜在的に、現在または将来の４世代３ＧＰＰ無線ネットワーク方式で、保有ビット（reserved bit）にもなる。

【0097】

本発明の一実施形態によれば、ＲＴＰペイロードでの１つのビットは、high ＦＥＲ動作モードをシグナリングするために要求される。この１つのビットは、high ＦＥＲモードフラグとすることができる。例えば、既存のＡＭＲ−ＷＢで、ＲＴＰペイロードは、４個の余分ビット（extra bit）を有し、かようなビットは、割り当てられずに保有される。さらに、high ＦＥＲ動作モードで、サブモードをシグナリングするために、いくつかのビットの保有が要求される。かようなビットは、ＦＥＣモードフラグとすることができる。それらビットは、表３のクラスＡに属するビットのためのリダンダンシと類似した方式でリダンダンシとして保護される。

【0098】

送信機基盤のＦＥＣアルゴリズムは、一般的に、リダンダント情報を伝送するために、付加チャネル（side channel）を使用することができる。本発明の一実施形態によれば、ＥＶＳコーデック２６のコンテクスト及びＥＰＳで、コンテクストの使用側面で、たとえ予想されるＥＶＳコーデックが付加チャネルを提供しないとしても、ＬＴＥ無線インターフェースで定義された伝送ブロックを効率的に使用することができる。動作モードそれぞれについて、下記表２は、最初から次に大きい（next higher）、または２番目の次に大きい（second next）伝送ブロックサイズが活用可能な追加ビットの個数を示す。本発明の一実施形態によれば、効率的な動作のために、全ての追加ビットが使用される。

【0099】

【表2】

フレームｎと無関係なパケットに、フレームｎと係わるリダンダント・ビットまたはパラメータを伝送することにより、フレーム損失の強靭性（robustness）が遂行される。例えば、フレームｎと係わるエンコーディングされたビットは、パケットＮで伝送される一方、フレームｎと係わるリダンダント・ビットは、パケットＮ＋１で伝送される。それは、時間ダイバーシティ（time diversity）として知られている。もしパケットＮが除去され、パケットＮ＋１が有効に伝送されるのであるならば、リダンダント・ビットは、フレームｎを隠匿したり、あるいは再構成するために使用される。

【0100】

図３は、本発明の一実施形態による、代替パケット（alternate packet）に提供される１つのフレームのためのリダンダント・ビットの例示を示している。図３で、第１パケットは、ＥＶＳコーデック２６で、high ＦＥＲ動作モードではない一般動作モードを示す。そして、ＡＭＲ−ＷＢコーデックのＲＴＰペイロードのヘッダーサイズと同一に、図３のＲＴＰペイロードのヘッダーサイズは、７４ビットである。

【0101】

中間パケットは、high ＦＥＲ動作モードでの伝送メカニズムを示す。そして、１１８個のＦＥＣビットは、以前フレーム（ｎ−１）のためにパケットに含まれる。リダンダント情報が含まれた中間パケットは、伝送ブロックのサイズが４７２である。３番目のパケットは、high ＦＥＲ動作モードで動作するパケットの次のところに位置する。３番目のパケットは、再びhigh ＦＥＲ動作モードでの伝送メカニズムを示し、１１８個のＦＥＣビットが、以前フレームｎのために、パケットに含まれる。従って、本発明の一実施形態によれば、high ＦＥＲ動作モードで、少なくとも１つの代替パケットでのデータは、リダンダント情報を伝送するために使用される。

【0102】

図４は、本発明の一実施形態による、フレームｎのためのリダンダンシ・ビットが２個の代替パケットに提供されるところを図示している。図４に図示されたように、それぞれのパケットは、それぞれのフレームのためのＥＶＳエンコーディングされたソースビットと、２個の以前フレームのためのＦＥＣビットとを含む。例えば、パケット（Ｎ＋２）は、ＥＶＳエンコーディングされたソースビット、フレーム（ｎ＋１）のためのＦＥＣビット、及びフレームｎのためのＦＥＣビットを含む。他の方法として、フレームｎのためのリダンダンシ・ビットは、２個の以後の（Ｎ＋１）パケットと（Ｎ＋２）パケットとを介して伝送される。

【0103】

図５は、本発明のの一実施形態による、フレームｎのパケットの前後に位置した代替パケットに提供されるフレームｎに係わるリダンダント・ビットの例示を図示した図面である。図５を参照すれば、パケットの前後位置に存在するパケットに、リダンダンシ・ビットが位置するように、エンコーダは、ディレイのための余分フレームを挿入することができる。ここで、リダンダンシ・ビット（redundancy bits）は、ターゲット・フレームに係わるＥＶＳエンコーディングされたソースビットを含む。図５でのように、デコーダで、エンコーダへの追加的なディレイがシフトされる。さらに、図５のように、シーケンスで真っ先に除去されたリダンダンシ・ビットよりは、伝送が成功したシーケンス内部で、中間に除去されたリダンダンシ・ビットの３個の除去結果（triple erasure results）のような除去パターンがシフトされる。代替パケットは、隣接パケットとされ、追加パケットは、中間パケットの前後に位置する非連続的な（non-consecutive）パケットを含む。追加パケットは、隣接パケットとして参照される。

【0104】

さらに、他の隣接パケットで、リダンダンシ・ビットが位置し、リダンダンシ・ビットは、知覚的な重要度（perceptual importance）に基づいて、過不足（more orl ess）リダンダンシが選択的に含まれもする。

【0105】

従って、本発明の一実施形態によれば、固定ビットレートに係わるhigh ＦＥＲモードは、知覚的な重要度により、さらに大きいリダンダンシ、同一のリダンダンシ、またはさらに小さいリダンダンシでエンコーディングされたスピーチビットを優先化して保護することができる差等的なリダンダンシ保護概念（unequal redundancy protection concept）を使用することができる。例えば、本発明は、３ＧＰＰコーデックであるＡＭＲ及びＡＭＲ−ＷＢを使用してエンコーディングされたビットをクラスに分類することができる。例えば、クラスＡ，Ｂ，Ｃで、クラスＡに属するビットは、除去されるとき、最も敏感なビットを意味し、クラスＣに属するビットは、除去されるとき、最も敏感ではないビットを意味する。アプリケーションが、サーキット・スイッチされた伝送（circuit-switched transport）、またはパケット・スイッチされた伝送（packet-switched transport）を使用するか否かにより、それらビットを保護するための異なるメカニズムが存在する。

【0106】

本発明の一実施形態によれば、差等的なリダンダンシ保護概念は、エンコーディングされたソースビットだけではなく、追加的なＦＥＣ付加情報に拡張される。異なるクラスに属するビットは、時間ダイバーシティを利用して、リダンダント方式で伝送される。そして、ビットのクラスにより、リダンダンシの量が変更される。

【0107】

図６は、本発明の一実施形態による、ソースビットが属する異なる分類に基づいて、代替パケットに含まれたソースビットの差等的なリダンダンシを図示している。図６は、図３ないし図５に図示された方法と異なる方法を意味する。

【0108】

図６に図示されたように、ソースビットに係わる３個のカテゴリーが定義される。クラスＡに属するソースビットは、３個の連続的なパケットを介して、３回リダンダントに（redundantly）伝送される。そして、クラスＢに属するソースビットは、２個の連続的なパケットを介して、２回リダンダントに伝送される。また、クラスＣに属するソースビットは、１回リダンダントに伝送される。図６で、Ｎは、パケット番号を示し、ｎは、フレーム番号を示す。図６の例示で、同じサイズを有したパケットそれぞれは、ＲＴＰペイロードに追加された３＊Ａ＋２＊Ｂ＋Ｃビットを含む。

【0109】

デコーディング部２５０のように、デコーダのジッタバッファ深（jitter buffer depth）が十分である場合、デコーダは、クラスＡに属するソースビットまたはパラメータを３回デコーディングする機会を有し、クラスＢに属するソースビットまたはパラメータを２回デコーディングする機会を有し、クラスＣに属するソースビットまたはパラメータを１回デコーディングする機会を有する。

【0110】

例えば、選択的な実施形態として、エンコーディングされたソースビットは、クラス（Ａ，Ｂ）または（Ａ，Ｂ，Ｃ，Ｄ）のように、さらに少なかったり、あるいは多いクラスに分類される。全体リダンダンシは、部分リダンダンシよりクラスＣに属するビットを追加的に伝送することによって行われる。そして、さらに高い動作効率のために、クラスＣに属するビットは、伝送されないこともある。そして、効率的な目標のために、クラスＡに属するビットだけ伝送されもする。

【0111】

従って、本発明の一実施形態によれば、現在フレームの以前フレームまたは以後フレームである隣接フレームに、現在フレームのためのＦＥＣビットが追加して含まれる。ソースフレームのビットは、それらの知覚的な重要度のような優先度に基づいて、カテゴリー化される。最大の知覚的重要度を有したり、あるいは損失されたとき、人間の耳にさらに敏感であったり、あるいは認知されるソースフレームのビットまたはパラメータは、さらに低い知覚度を有した同じソースフレームのビットまたはパラメータよりさらに多くの隣接パケットを介してリダンダントに伝送される。

【0112】

エンコーダから導き出された付加情報は、エンコーディング・アルゴリズムの一部にもなる。以下で具体的に説明するように、付加情報は、他のビットまたはパラメータのようにリダンダントに伝送される。

【0113】

隠匿目的のために、本発明の一実施形態によるデコーダは、図３ないし図６でのように、エンコーディングされたソースビットのリダンダント複写本に係わる利益だけではなく、デコーダＦＥＣアルゴリズムのために、特別に設計されたＦＥＣパラメータに係わる利益を受けることができる。一例として、ＩＴＵ−Ｔスピーチ・コーデック標準Ｇ．７１８で、１６個のＦＥＣビットは、コーデックの３階層から付加情報として伝送され、隠匿目的に１階層が使用される。

【0114】

一例として、下記表３では、Ｇ．７１８コーデックと係わり、ＥＶＳコーデック２６及び付加情報の６．６Ｋｂｐｓモードを使用することができる。ＥＶＳコーデック２６の６．６Ｋモードは、１３２個のソースビットを含む。さらに、Ｇ．７１８コーデックと同様に、ＦＥＣビットをシグナリングするための２個のビットと、ＦＥＣ付加情報のための１６個のビットとを追加して定義することができる。下記下表は、本発明の一実施形態による、優先度に基づいて、ＥＶＳソースビットとＦＥＣビットとを割り当てする例を示している。

【0115】

【表3】

前記表３から分かるように、全体（４５＋５７＋４８）ビットが伝送される。前述のリダンダンシ方法を利用すれば、各パケットは、全体（３Ａ＋２Ｂ＋Ｃ＝２９７）ビットと、７４ＲＴＰペイロード・ビットとから構成された総３７１ビットを含む。伝送ブロックの全体サイズ３７６で５ビットが余る。そして、他のクラスＡ，Ｂ，Ｃに分類されたソースビットは、動作モードに基づいて、コーデックがＣＥＬＰ（code-excited linear prediction）コーデックで動作するとき、線形予測パラメータのように、異なって分類されたスピーチのパラメータを示す。

【0116】

従って、本発明の一実施形態による、一回high ＦＥＲモードに入る場合、使用可能な帯域幅（容量：capacity）及びＦＥＣ保護（強靭性）の程度により、使用可能なさまざまなサブモードが存在する。それらパラメータは、要求する固有したスピーチ品質の量とトレードオフ関係にある。例えば、帯域幅、品質、エラー強靭性の互いに異なる優先順位に基づいて、６個のサブモードが存在する。下記表４は、多様なサブモードの属性を示している。

【0117】

以下の例示のように、クラスＡ，Ｂ及びＣと表現されるソースビットのリダンダンシ伝送を仮定し、献身的な（dedicated）ＦＥＣビットがないと仮定する。さらに容易には、ＲＴＰペイロードのサイズは、全ての例で７４と仮定する。

【0118】

【表4】

図７は、本発明の一実施形態による、差等的なリダンダンシが適用されたＦＥＣ動作モードの例示を図示している。例えば、多くのサブモードは、high ＦＥＲ動作モードではないスピーチモードで遂行するように、同一のＥＶＳコーディング・モードを使用する。当該例として、最も低いモードは、効率性目的のために選択され、high ＦＥＲ動作モードであるとき、強靭性及び容量の優先順位が最も高い。さらに、同じＥＶＳコーディング・モードを使用することは、デコーダが１つのＦＥＣコーディング・モードを使用するように、ＦＥＣアルゴリズムを単純化することができる。選択的に、以下で説明するように、本発明の他の実施形態は、追加的なコーディング・モードを使用することができる。

【0119】

図７から分かるように、増加されたリダンダンシを収容するように、サイズがさらに大きいパケットのために、サブモード１からでサブモード６にサブモード過程が増大する。

【0120】

図１１は、本発明の一実施形態による、high ＦＥＲ動作モードの異なるＦＥＣモードを利用して、オーディオデータをコーディングする方法を図示する。図１１に図示されたように、段階（１１０５）で、入力オーディオが分析され、入力オーディオは、スピーチ・オーディオであるか、あるいはノンスピーチ・オーディオであるかが決定される。もし入力オーディオがノンスピーチ・オーディオである場合、段階（１１１０）で、入力オーディオは、ノンスピーチ・コーデックでエンコーディングされたり、あるいはノンスピーチモードのＥＶＳコーデック２６でエンコーディングされる。もし入力オーディオがスピーチ・オーディオである場合、段階（１１１５）でｂhigh ＦＥＲ動作モードに入るか否かを判断することができる。high ＦＥＲ動作モードに入るか否かを判断するのは、前述のアルゴリズム１と係わる。

【0121】

もし段階（１１１５）でhigh ＦＥＲ動作モードに入ると決定されていなければ、段階（１１２０）で、前述の表１の動作モードのうち一つが、ＥＶＳコーデック２６のために選択される。段階（１１２０）で、一回スピーチ・エンコーディングのための動作モードが選択されれば、段階（１１３０）で、スピーチ・エンコーディングのために選択された動作モードによって、入力オーディオがエンコーディングされる。もし段階（１１１５）で、high ＦＥＲ動作モードに入ると決定されれば、段階（１１２５）で、多様なＦＥＣ動作モードのうち１つのＦＥＣ動作モードが選択される。そのために、段階（１１３５）で、入力オーディオは、選択されたＦＥＣ動作モードで、ＥＶＳコーデック２６を利用してエンコーディングされる。

【0122】

同様に、図１４は、本発明の一実施形態による、high ＦＥＲ動作モードで、異なるＦＥＣモードを使用して、オーディオデータをデコーディングする過程を図示している。段階（１４０５）で、受信されたパケット内部に存在するエンコーディングされたフレームが、スピーチ・オーディオまたはノンスピーチ・オーディオに基づいて、エンコーディングされているか否かを判断することができる。もしエンコーディングされたフレームが、ノンスピーチ・オーディオである場合、段階（１４１０）で、ＥＶＳコーデック２６が適切な動作モードを利用して、ノンスピーチ・オーディオをデコーディングすることができる。

【0123】

もし受信されたパケットに、エンコーディングされたスピーチデータが含まれた場合、段階（１４１５）で、パケットは、スピーチデコーディングのための動作モードを決定するためにパージングされる。ここで、動作モードは、フレームがhigh ＦＥＲ動作モードでエンコーディングされているか否かを決定することができる。例えば、high ＦＥＲモードフラグが受信されたパケットに設定されておらず、フレームがhigh ＦＥＲ動作モードでエンコーディングされていない場合、段階（１４２０）で、スピーチ・デコーディングのための適切な動作モードが選択され、ＥＶＳコーデック２６は、選択された動作モードで、スピーチ・デコーディングを遂行することができる。もしフレームがhigh ＦＥＲ動作モードでエンコーディングされたものであるならば、段階（１４２５）で、フレームをエンコーディングするとき、いかなるＦＥＣ動作モードが使用されたかを判断するために、パケットがパージングされる。ＥＶＳコーデック２６は、判断されたＦＥＣ動作モードに基づいて、フレームをデコーディングすることができる。

【0124】

ここで、本発明の一実施形態によれば、図１４の方法は、段階（１４０５）と段階（１４０５）とが動作する以前、あるいは動作する間に判断する段階をさらに含む。具体的には、パケットが損失されているか否かを判断する段階がさらに含まれる。かような判断は、本発明の一実施形態による、隣接パケットに含まれたリダンダント情報に基づいて、損失されたパケットを再構成（reconstruct）したり、あるいは損失されたパケットを隠匿するために、ＦＥＣフレームワークに基づいて、以前パケットまたは以後パケットで、リダンダント情報を使用するように、ＥＶＳコーデック２６での命令を含む。

【0125】

図７と異なる伝送ブロックサイズを代替するために、一般的な（regular）伝送モードで使用されるような複数の動作モードのために、同じ伝送ブロックサイズが維持される。かような場合、ＥＰＳシステムが、パケットサイズの変更をシグナリングする必要のないものではなく、high ＦＥＲモードで、多くのＥＶＳコーデック２６の動作モードを利用する短所がないということを意味する。さらに多くのコーデックモードを使用するほど、隠匿アルゴリズムは、さらに複雑になる。

【0126】

図８は、本発明の一実施形態による、同じ伝送ブロックサイズを有したhigh ＦＥＲ動作モードで、異なるＦＥＣ動作モードを図示した図面である。ここで、異なるＦＥＣ動作モードは、high ＦＥＲ動作モードのサブモードとすることができる。その例として、ＥＶＳコーデック２６の１２．６５Ｋｂｐｓは、一般的なnon−high ＦＥＲ動作モードの一例として使用される。high ＦＥＲ動作モードのサブモード１−４それぞれは、同じ伝送ブロックサイズ３２８を維持する。低いソース・コーディングの比率によって、リダンダンシの増加が伴いもする。

【0127】

サーキット・スイッチされた伝送で、マルチモードＡＭＲコーデック及びＡＭＲ−ＷＢコーデックのように、他の３ＧＰＰコーデックによって使用される以前の方法と異なり、チャネル条件に基づいて、さらに低いか、あるいは増加されたビットレートで、モードがスイッチされる。図８は、追加的なリダンダンシまたはＦＥＣビットが含まれたり、あるいはフレームパケットサイズが維持されるように、異なるサブモードでビットレートが低下するところを図示している。

【0128】

図１２は、本発明の一実施形態による、全てのＦＥＣ動作モードのために、同じビットレートまたはパケットサイズで維持するか否かに基づいたＦＥＣフレームワークを図示した図面である。図１２に図示されたように、段階（１１２５）で、ＦＥＣ動作モードが選択され、段階（１１２５）で、ＥＶＳコーデック２６０は、選択されたＦＥＣ動作モードによって遂行される。図示されているように、段階（１１２５）で、段階（１２２０）または段階（１２３０）によって表現されたＦＥＣ動作モードのうち一つを直接に選択したり、あるいは段階（１２１０）で、同じビットレートまたは同じパケットサイズが決定されれば、段階（１２２０）が遂行され、他のビットレートまたは異なるパケットサイズが決定されれば、段階（１２３０）が遂行される。

【0129】

図７と同様に、段階（１２３０）が考慮される。ここで、パケットサイズは、多様に変更可能である。そして、段階（１２２０）で、隣接フレームから抽出されたエンコーディングされたＥＶＳソースビットは、現在パケットのエンコーディングされたＥＶＳソースビットの低減されたレートモードに追加される。具体的には、段階（１２２０）で、ＥＶＳビットレートは、低いビットレート・モードに変更される。その場合、隣接フレームから抽出したソースビットは、本来の動作モードとパケットサイズを同一に維持するために追加される。段階（１２２０）で、ＥＶＳビットレートは、本来の動作モードと同一に維持される。その場合、隣接フレームから抽出したソースビットは、パケットサイズと無関係に追加される。

【0130】

段階（１２４０）で、high ＦＥＲ動作モードに入り、ＦＥＣ動作モードが選択されれば、ＦＥＣ付加情報は、エンコーディングされたフレームのパケットで、フラグとして反映される。high ＦＥＲ動作モードは、パケット内部で、１つのビットを利用して設定され、選択されたＦＥＣ動作モードは、２〜３個のビットを利用して設定される。

【0131】

隣接フレームから導き出された全ての情報は、リダンダンシ情報である。リダンダンシ情報は、現在パケットで伝送される。現在フレームと関連したリダンダンシ情報は、隣接した隣接パケットを介して伝送される。もし同じビットレートを維持するためには、リダンダンシ・ビットを収容するように、パケットサイズが増大させることができる。そして、同じパケットサイズを維持するために、ソースビットの個数が減少するように、コーディング・モードが変更される。

【0132】

本発明の一実施形態によれば、high ＦＥＲ動作モードに入った後、コードブック「robbing」を伴い、同じ伝送ブロックサイズを維持することができる。そして、コードブックは、表４及び図８のサブモード１と同様に、リダンダンシの小さい量を提供するときに有用である。ＥＶＳコーデック２６は、サブフレームに分割され、各サブフレームについて、複数のコードブック・ビットがパラメータとして計算される。下記表５に図示されたように、コードブック・ビットの個数は、エンコーディング・モードによって異なって決定される。

【0133】

【表5】

本発明の一実施形態において、もしＥＶＳコーデック２６の一般的な動作モードが、１２．６５Ｋｂｐｓであるならば、high ＦＥＲ動作モードに入るように、一般的な動作モードが維持される。エンコーダが、４個のサブフレームのうち一つについて、high ＦＥＲ動作モードで動作すれば、動作モードが、実際に１２．６５Ｋｂｐｓであるとしても、動作モードが８．８５Ｋｂｐｓで動作するように、コードブック・ビットを計算することができる。サブフレームは、フレームのオーディオを表現するフレームのビットまたはパラメータによって表現される。パラメータは、コーデックがＣＥＬＰコーデックで動作するとき、コーデックによって生成されるＣＥＬＰ（code-excited linear prediction）コーディングの線形予測パラメータを含む。

【0134】

前述の表５のように、１２．６５Ｋｂｐｓ動作モードによって、コードブック・ビットが計算されるのであるならば、要求される３６ビットの代わりに、最初ないし３番目のサブフレームのビットについて、コードブックを定義するために、２０ビットが使用される。ＦＥＣの目的のために、コードブック「ｒｏｂｂｉｎｇ」を利用することにより、１６ビットが節約される。ＦＥＣビットの伝送は、同じ個数のビットが存在するために、本来の動作モードのように、同じパケットサイズで行われる。ほとんどのhigh ＦＥＲ動作モードのサブモードのように、かようなアプローチと関連した若干の品質劣化が存在する。

【0135】

表４及び図８のアプローチと異なり、high ＦＥＲ動作モードのサブモードそれぞれについてソース・コーディングを行うコーデックのために、ビットレートは、順次に低下する。表５によれば、ビットレートが低下したビットレートである場合、ビットレートは、低下させるだけではなく、コードワードを計算する必要がない。図８に図示されたＦＥＣ情報は、図１ないし図６で説明されるところと類似したリダンダンシを含む。前記リダンダンシは、前記表３で説明された差等的なリダンダンシを含む。ここで、分割されたサブフレームは、それぞれ表３で、Ａ，ＢまたはＣそれぞれのために使用される。ここで、さらに重要なサブフレームまたはパラメータは、他のサブフレームまたはパラメータよりさらに多くのリダンダンシを有する。

【0136】

図１３は、本発明の一実施形態による、ＦＥＣ動作モードの３種の例示を図示している。表３及び図６で考慮したように、フレームのビットまたはパラメータは、知覚的重要度によってクラスに分類される。従って、段階（１３１０）で、ビットを異なるクラスまたはサブフレームに分類するために、フレームは、分割されたり、あるいは分離される。そして、段階（１３１５）で、各クラスまたはサブフレームに係わるリダンダント情報は、図６及び図７のように、隣接フレームに差等的に提供される。

【0137】

段階（１３２０）で、分割されたり、あるいは分離されたビットまたはパラメータそれぞれについて、コードブック・ビットの個数が計算される。フレームの動作モードに係わるビットレートより低いビットレートでエンコーディングされるために、ビットまたはパラメータは、クラスとサブフレームとに分類される。従って、段階（１３３０）で、計算されたコードブック・ビットの個数に基づいて、定義されたコードワードは、エンコーディングされる。

【0138】

さらに、段階（１３４０）で、定義されたコードワードを考慮するとき、図６及び図７と同様に、エンコーディングされたクラスまたはサブフレームのリダンダント情報は、隣接パケットに差等的に提供される。

【0139】

前述の図３ないし図８、及び表３ないし表５のhigh ＦＥＲ動作モードは、スピーチフレームが、ビットのクラスまたはパラメータのクラスに分類するために利用される。ビットのクラスまたはパラメータのクラスは、除去されるビットまたはパラメータの知覚的重要度によって区分される。

【0140】

しかし、Ｇ．７１８コーデック及び予想されたＥＶＳ候補コーデックを含むいくつかのスピーチ・コーデックで、入力スピーチフレームは、スピーチタイプにより、多様なコーディング・タイプにコーディングされる。Ｇ．７１８コーデック及び予想されたＥＶＳ候補コーデックのいずれでも、エンコーディングされたスピーチフレームは、ＦＥＣ目的のために追加して分類される。それらフレームの分類は、スピーチフレームのシーケンスで、コーディング・タイプ及びスピーチフレームの位置に基づく。

【0141】

例えば、広帯域スピーチのために、下記表６に図示されたように、Ｇ．７１８コーデック及び予想されたＥＶＳ候補コーデックで、４個のコーディング・タイプが使用される。

【0142】

【表6】

Ｇ．７１８コーデックによれば、コーディング・タイプ情報は、付加チャネルを介して伝送される。付加チャネルは、予想されたＥＶＳ候補コーデックで、現在使用可能ではない。付加チャネルの不足を克服するために、Ｇ．７１８コーデックのアプローチと類似した付加情報は、前述のコンセプトと、表３で説明したコンセプトとを利用して、ＦＥＣビットに伝送される。特定フレームの分類タイプが隣接したフレームの分類タイプに従属すれば、５個のコーディング・タイプは、既設定の個数のビットでシグナリングされる。本発明の一実施形態によれば、表７に図示されたコーディング・タイプが図示される。

【0143】

【表7】

前述のように、図６に図示された多様なパケット構造は、知覚的な重要度を考慮して、多様な量のリダンダンシを有したスピーチフレームを伝送するために使用される。フレームの知覚的重要度は、表６に図示されたコーディング・タイプ、表７に図示されたフレーム分類または隣接したフレームで示されるあるアルゴリズムのうちいずれか一つから決定される。そして、フレームの知覚的重要度は、隣接したフレーム間に、リダンダンシ・ビットに係わる最適のトレードオフを決定することができる。

【0144】

本発明の一実施形態によれば、図６のアプローチ方式、表６のコーディング・タイプ及び表７のフレーム分類を考慮して、コーディング・タイプまたはフレーム分類に基づいて、使用される多様な量のリダンダンシを有したスピーチフレームを伝送するように、図６のパケット構造が制限される。本発明の一実施形態によれば、前記制限は、クラスＡの個数は、クラスＣの個数と同一である。

【0145】

かようなアプローチによって、リダンダンシを伝送するときに使用される４種のサブタイプが図９に図示される。

【0146】

図９は、本発明の一実施形態による、クラスＡの個数と、クラスＣの個数とが同一であるという制約に基づいて、リダンダンシを伝送するときに使用されるパケットの４種サブタイプを図示している。

【0147】

例えば、図９のパケットタイプ１は、図６のリダンダンシの伝送で使用されるように、同じパケット配列である。例えば、図６のパケットＮについてエンコーディングされたソースビットＡ_ｎ，Ｂ_ｎ，Ｃ_ｎ，Ａ_ｎ−１，Ｂ_ｎ−１及びＡ_ｎ−２が使用される。

【0148】

図１０は、本発明の一実施形態による、オンセット・フレームに、向上された保護を提供する多様なパケット・サブタイプを図示している。

【0149】

図９に図示された４種のパケット・サブタイプから、データパケット・サブタイプを選択することにより、エンコーディングされたスピーチフレームは、それぞれのフレームに係わる知覚的重要度により、さらに高いか、あるいはさらに低いリダンダンシ保護のために選択される。図１０は、オンセット・フレーム（隣接したフレームのコストで）の向上された保護（enhanced protection）を提供するために、多様なパケット・サブタイプが使用される。

【0150】

図１０の例示で、パケット（Ｎ−１）は、オンセット・フレームを含む。オンセット・フレームは、知覚的な観点で除去されるとき、最も敏感度が高いと知られたフレームを意味する。フレーム（ｎ−１）のリダンダンシ保護のために、パケットＮ及びパケット（Ｎ＋１）が使用される。従って、パケットＮは、サブタイプ０が選択され、パケット（Ｎ＋１）は、サブタイプ３が選択される。フレーム（ｎ−１）の向上されたリダンダンシ保護の結果が図示される。

【0151】

図１０で図示されたように、フレーム（ｎ−１）は、パケット（Ｎ−１）、パケットＮ及びパケット（Ｎ＋１）を介して、全体的に３回連続的に伝送される。増加された保護は、フレーム（ｎ−１）及びフレームｎの保護に係わるコストとして示される。一般的に、フレーム（ｎ−１）がオンセットであるならば、フレーム（ｎ−２）は、相対的に低い保護が必要なアンボイスされたフレームである。本発明の一実施形態によれば、２個のシグナリングビットを伝送するために、４個のパケット・サブタイプが使用される。例えば、表３に図示されたように、それらのシグナリングビットは、クラスＡに属するＦＥＣビットのように伝送される。

【0152】

前述のように、図２Ａ及び図２Ｂは、ＦＥＣアルゴリズムを介して、オーディオデータをエンコーディングまたはデコーディングすることができる一つ以上の端末２００を含む。端末２００は、図１のように、ＥＰＳコーデック及び／またはＥＶＳコーデック２６で行われる。代替的な環境（alternative environment）とコーデックは、同等に使用される。

【0153】

さらに、本発明の一実施形態による図２Ｂの端末２００は、ソース端末、受信機端末、エンコーディング動作とデコーディング動作とを遂行することができる中間エンコーディング／デコーディング端末、デコーディング端末１５０、またはネットワーク１４０によって提供された２個の端末間のネットワーク経路を含む。一つ以上の実施形態によれば、端末２００は、異なるプロトコルで異なるネットワークタイプを介して、オーディオデータを受信したり伝送することができる。ここで、異なるネットワークタイプは、有線電話通信システム、セルラ電話またはデータ通信ネットワーク、あるいは無線携帯電話またはデータ通信ネットワークを含む。本発明の一実施形態によれば、端末２００は、ＶＯＩＰアプリケーション及びシステムを含むだけではないリアルタイム・ブロードキャスティング、マルチキャスト・ブロードキャスティング、及び時間遅延、保存またはストリーミングされたオーディオ・アプリケーション及びシステムを介した遠隔カンファレンス・アプリケーション及びシステムを含む。エンコーディングされたオーディオデータは、その後の再生のために記録され、ストリーミングされたブロードキャストまたは保存されたオーディオデータからデコーディングされる。

【0154】

本発明の一実施形態によれば、一つ以上の端末２００は、有線携帯電話、モバイルフォン、ＰＤＡ、スマトフォン、タブレット・コンピュータ、セットトップボックス、ネットワーク端末、ラップトップ・コンピュータ、デスクトップ・コンピュータ、サーバ、ルータまたはゲートウェイを含む。端末２００は、ＤＳＰ（digital signal processor）、ＭＣＵ（main control unit）またはＣＰＵのようなプロセシング装置のうち少なくとも一つを含む。

【0155】

本発明の一実施形態によれば、無線ネットワークは、ブルートゥース（登録商標（Bluetooth））または赤外線通信のようなＷＰＡＮ（wireless personal area network）、無線ＬＡＮ（local area network）（ＩＥＥＥ ８０２．１１と同様）、無線大都市ネットワーク（wireless metropolitan area network）、８０２．１６ｅのようなＷｉＭａｘネットワーク、８０２．１６ｅのようなＷｉＢｒｏネットワーク、ネットワーク、ＧＳＭ（登録商標（global system for mobile communications））、ＰＣＳ（personal communications service）、及びいかなる３ＧＰＰネットワークをを含む。

【0156】

有線ネットワークは、地上基盤または衛星基盤の電話ネットワーク、ケーブルＴＶ（television）、インターネット接続、光ファイバ通信、導波路、イーサネット（登録商標）通信ネットワーク、ＩＳＤＮ（integrated services digital network）、ＤＳＬ（digital subscriber line）ネットワーク、ＨＤＳＬ（high bit rate digital subscriber line）ネットワーク、ＳＤＳＬ（symmetric digital subscriber line）ネットワーク、ＡＤＳＬ（asymmetric digital subscriber line）ネットワーク、ＩＬＥＣｓ（local exchange carriers）と係わるＲＡＤＳＬ（rate-adaptive digital subscriber line）ネットワーク、ＶＤＳＬネット、及びスイッチされたデジタルサービス（Ｎｏｎ−Ｐ）及びＰＯＴＳシステムを含む。

【0157】

ネットワーク１４０と通信することができるソース端末は、ネットワーク１４０と通信することができる受信端末と異なる。そして、オーディオデータは、オーディオソースと、オーディオ受信機１４０との経路を介して、特定ポイントで、端末及び２個以上の異なるネットワークを介して通信することができる。本発明の一実施形態によれば、オーディオデータのエンコーディング、伝送、保存及び／またはデコーディングは、ＦＥＣ情報を有することができる。そして、オーディオデータは、伝送プロトコルに適するパケットで包まれる。

【0158】

伝送プロトコルは、ＲＴＰパケットまたはＨＴＴＰパケットを支援することができる。ＲＴＰパケットまたはＨＴＴＰパケットそれぞれは、少なくとも１つのヘッダ、コンテンツ・テーブル及びペイロードデータをそれぞれ有することができる。例えば、ＲＴＰパケットまたはＨＴＴＰパケットは、それぞれＴＣＰ protocol、ＵＤＰ protocol、Cyclic ＵＤＰ protocol、ＤＣＣＰ protocol、Fiber Channel Protocol、NetＢＩＯＳ protocol、Reliable Datagram Protocol、ＲＤＰ、ＳＣＴＰ protocol、ＳＰＸ（sequenced packete xchange）、ＳＳＴ（structured stream transport）、ＶＳＰ protocol、ＡＴＭ（asynchronous transfer mode）、ＭＴＰ／ＩＰ（multipurpose transaction protocol）、μＴＰ（micro transport protocol）、及び／またはＬＴＥでもある。

【0159】

本発明の一実施形態によれば、デコーディング端末１５０とエンコーディング端末１００とのＱｏＳ（quality of service）通信を含む。ＱｏＳは、ＲＴＣＰまたはオーディオデータ伝送経路から外れた経路を含むいかなる経路またはプロトコルを介しても伝送される。ＱｏＳは、データパケットに含まれたエラーチェック・コードに基づいて決定される。本発明の一実施形態によれば、ＱｏＳに基づいて、ＦＥＣモードを変更することができる。そして、ＦＥＣモードを適用することにより、コーディング・ビットレートとコーディング・モードを変更することができる。

【0160】

本発明の一実施形態によれば、ＦＥＣ方式を適用するか否か、及び／またはいかなるＦＥＣモードを適用するかを決定するために、ＱｏＳを比較するための一つ以上の臨界値を使用することができる。それぞれの比較のための一つ以上の臨界値が存在する。そして、ＱｏＳが、特定臨界値（Ｔｈ１）より小さいか、あるいはそれと同じであるならば、臨界値は、ＦＥＣモードがさらに信頼性があるか、低下されなければならないか、または増加されなければならないかを調節する必要があるか否かを示す。そして、ＱｏＳが、特定臨界値（Ｔｈ２）より大きいが、あるいはそれと同じであるならば、臨界値は、ビットレートとＦＥＣモードとが信頼性が不足しているか、低減されなければならないか、あるいは増加されなければならないかを調節する必要があるか否かを示す。ここで、臨界値Ｔｈ１とＴｈ２は、同一でもある。

【0161】

本発明の一実施形態によれば、エンコーディング端末１００とデコーディング端末１５０は、ＦＥＣアプローチを利用して、オーディオデータをコーディングするために使用されるオーディオ・コーデックを含む。オーディオ・コーディングは、ＬＰＣ（ＬＡＲ、ＬＳＰ）、ＷＬＰＣ、ＣＥＬＰ、ＡＣＥＬＰ、Ａ−law、μ−law、ＡＤＰＣＭ、ＤＰＣＭ、ＭＤＣＴ、bit rate control（ＣＢＲ、ＡＢＲ、ＶＢＲ）、及び／またはsub-bandコーディングを利用した一つ以上のアルゴリズムを使用することができる。そして、ＦＥＣアプローチを利用するオーディオ・コーデックは、ＡＭＲ、ＡＭＲ−ＷＢ（Ｇ．７２２．２）、ＡＭＲ−ＷＢ＋、ＧＳＭ−ＨＲ、ＧＳＭ−ＦＲ、ＧＳＭ−ＥＦＲ、Ｇ．７１８及びＥＶＳコーデックを含むいかなる３ＧＰＰコーデックをも含む。本発明の一実施形態で使用されるコーデックは、以前バージョンのコーデックと、逆に相互互換性を有することができる。

【0162】

エンコーディング端末１００によって生成されたエンコーディングされたオーディオデータ・パケットは、エンコーダ側の一つ以上のコーデック１２０によってエンコーディングされたオーディオデータを含む。エンコーディングされたオーディオデータ・パケットは、エンコーダによってダウンミックスされたモノ信号であるＳＷＢ（super wideband audio）、エンコーダによってダウンミックスされたbinaural stereo audio data、フルバンド（ＦＢ）オーディオ及び／またはマルチチャネル・オーディオを含む。本発明の一実施形態によれば、エンコーディング過程は、同じであるか、あるいは異なるビットレートで、異なるタイプのオーディオデータをエンコーディングすることができる。本発明の一実施形態によれば、デコーディング端末１５０は、エンコーディングされたオーディオデータ・パケットと同様にパージングされる。

【0163】

従って、本発明の一実施形態によれば、端末２００は、通信経路で制限された、マルチレート、多様なエンコーディングまたは翻訳（translation）を行うコーデックを含む。そして、端末２００は、同じサンプリング・レートまたは異なるサンプリング・レートを有する多重レイヤ、または向上されたレイヤで、スケーラブル・コーディングを行うことができる。そして、デコーダは、ジッタバッファを含む。エンコーダ側面のコーデック１２０は、空間パラメータ推定、及びモノまたはバイナリのダウンミキシングを含む。前記リスティングされたオーディオ・コーデックのうち一つ以上は、一つ以上の異なるオーディオデータを生成することができる。そして、デコーダ側面のコーデック１５０は、推定されたパラメータのデコーディングに基づいて、対応するコーデック、モノまたはバイナリのアップミキシング及び空間レンダリングを含む。

【0164】

本発明の一実施形態によれば、ある装置、システム及びユニットの説明は、一つ以上のハードウェア装置またはハードウェア・プロセシング要素を含む。例えば、本発明の一実施形態で、説明された装置、システム及びユニットは、追加してメモリ、ハードウェア入出力伝送装置を含む。そして、装置は、物理的なシステムの構成要素と同意関係にあると見なされる。しかし、装置は、１つのデバイスに制限されたり、あるいは限定解釈されるものではない。そして、全ての説明された構成要素は、１つのそれぞれの保護範囲内に含まれもする。

【0165】

本発明の実施形態による方法は、多様なコンピュータ手段を介して遂行されるプログラム命令形態に具現され、コンピュータ可読媒体に記録される。前記コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせで含む。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものであるか、コンピュータ・ソフトウェア当業者に公知されて使用可能なものでもある。

【0166】

以上のように本発明は、たとえ限定された実施形態及び図面によって説明されたにしても、本発明は、前記の実施形態に限定されるものではなく、本発明が属する分野で当業者であるならば、かような記載から多様な修正及び変形が可能であろう。

【0167】

従って、本発明の範囲は、説明された実施形態に限って決められるものではなく、特許請求の範囲だけではなく、当該特許請求の範囲と均等なものなどによっても決められるものである。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】