特許 6793675 音声符号化装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6793675

(24)【登録日】2020年11月12日

(45)【発行日】2020年12月2日

(54)【発明の名称】音声符号化装置

(51)【国際特許分類】

   G10L 19/005 20130101AFI20201119BHJP

   G10L 19/00 20130101ALI20201119BHJP

   G10L 19/12 20130101ALI20201119BHJP

【ＦＩ】

   G10L19/005

   G10L19/00 330B

   G10L19/12

【請求項の数】1

【全頁数】54

(21)【出願番号】特願2018-44180(P2018-44180)

(22)【出願日】2018年3月12日

(62)【分割の表示】特願2016-135137(P2016-135137)の分割

【原出願日】2013年11月12日

(65)【公開番号】特開2018-112749(P2018-112749A)

(43)【公開日】2018年7月19日

【審査請求日】2018年3月12日

【審判番号】不服2019-14176(P2019-14176/J1)

【審判請求日】2019年10月24日

(31)【優先権主張番号】特願2012-251646(P2012-251646)

(32)【優先日】2012年11月15日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100121980

【弁理士】

【氏名又は名称】沖山 隆

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(72)【発明者】

【氏名】堤 公孝

(72)【発明者】

【氏名】菊入 圭

(72)【発明者】

【氏名】山口 貴史

【合議体】

【審判長】 清水 正一

【審判官】 樫本 剛

【審判官】 間宮 嘉誉

(56)【参考文献】

【文献】 特開２００４−１３８７５６（ＪＰ，Ａ）

【文献】 佐々木茂明、「１６ｋｂｉｔ／ｓ付近の広帯域音声符号化の検討 ―ＩＴＵ−Ｔ標準候補アルゴリズム―」、日本音響学会２００１年春季研究発表会講演論文集、２００１年３月１４日、１−６−２５、２７７〜２７８頁

(57)【特許請求の範囲】

【請求項1】

音声信号を符号化する音声符号化装置であって、
音声信号を符号化する音声符号化部と、
ＣＥＬＰ符号化におけるパケットロス隠蔽に用いられる補助情報として、ＣＥＬＰ符号化における先読み信号のパラメータを算出する補助情報符号化部と、
を備え、
前記音声符号化部は、
符号化対象フレームの性質を表すインデクスを算出し、前記補助情報符号化部に伝送し、
前記インデクスが、前記符号化対象フレームが特定のフレームクラスであることを示す場合、前記補助情報として前記符号化対象フレームの直後のフレームに関するピッチラグは、前記符号化対象フレームのパケットに含まれていると共に、
前記符号化対象フレームの音声信号を符号化した音声符号と前記補助情報は、前記音声符号化部が前記符号化対象フレームの直後のフレームの音声信号を符号化する前に送信可能であり、
前記インデクスが、前記符号化対象フレームが特定のフレームクラス以外を示す場合、前記直後のフレームピッチラグは、前記符号化対象フレームのパケットには含まれない、
ことを特徴とする音声符号化装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声パケットを、ＩＰ網や移動体通信網経由で伝送する際のエラー隠蔽に関するものであり、さらに詳しくは、エラー隠蔽を実現する、高精度パケットロス隠蔽信号生成のための音声符号化装置に関する。

【背景技術】

【0002】

音声・音響信号（以下「音声信号」と総称する）をＩＰ網や移動体通信において伝送する際には、ある一定時間長ごとに音声信号を符号化して音声パケットを生成し、通信網経由で伝送する。受信側では、通信網を通じて音声パケットを受け取り、受信側のサーバ、ＭＣＵ（Multipoint Control Unit）、端末等において復号し、復号音声信号とする。

【0003】

音声信号は、通常、ディジタル形式で収音される。すなわち、１秒間あたりサンプリング周波数と同数の数列として計測・蓄積する。この数列の個々の要素をサンプルと呼ぶ。音声符号化においては、決まったサンプル数の音声信号が、内蔵したバッファに所定量蓄積するたびにバッファ内の音声信号を符号化する。上記所定のサンプル数をフレーム長といい、フレーム長と同数のサンプルの集合をフレームと呼ぶ。例えば、３２ｋＨｚのサンプリング周波数において、フレーム長を２０ｍｓとした場合、フレーム長は６４０サンプルである。なお、バッファの長さは１フレームより長くてもよい。

【0004】

通信網を通じて音声パケットを伝送する際には、通信網の輻輳状態等に起因して、一部の音声パケットが失われる、あるいは音声パケットに書き込まれた情報の一部に誤りが生じるといった現象（いわゆるパケットロス）が起こりうる。そのような場合には、受信側において音声パケットを正しく復号することができないため、所望の復号音声信号を得ることが出来ない。また、パケットロスが生じた音声パケットに対応する復号音声信号は雑音として知覚されるため、受聴する人間に対して与える主観品質を著しく損なう。

【0005】

上記のような不都合を解消するため、パケットロスにより失われた部分の音声音響信号を補間する技術として、パケットロス隠蔽技術が用いられる。パケットロス隠蔽技術には、受信側のみでパケットロス隠蔽を行う「補助情報を用いないパケットロス隠蔽技術」と、送信側でパケットロス隠蔽に役立つパラメータを求めた上で、受信側に伝送し、受信側では受け取ったパラメータを利用してパケットロス隠蔽を行う「補助情報を用いるパケットロス隠蔽技術」がある。

【0006】

このうち「補助情報を用いないパケットロス隠蔽技術」では、例えば、非特許文献１の技術のように過去に正常に受信したパケットに含まれていた復号音声信号をピッチ単位でコピーした上で、予め決めた減衰係数を乗算することにより、パケットロスした部分に対応する音声信号を生成する。「補助情報を用いないパケットロス隠蔽技術」は、パケットロスした部分の音声の性質がパケットロスする直前の音声と似ていることを前提としているため、パケットロスした部分がロスする直前の音声と異なる性質を持つ場合や、パワーが急激に変化する場合に、十分な隠蔽効果を発揮することができない。

【0007】

一方、「補助情報を用いるパケットロス隠蔽技術」には、特許文献１のように、送信側でパケットロス隠蔽に必要なパラメータを符号化して伝送し、受信側でのパケットロス隠蔽に利用する技術がある。特許文献１では、主要符号化・冗長符号化の２つの符号化方式により音声を符号化する。冗長符号化は、主要符号化よりも低いビットレートで、主要符号化が符号化するフレームより１つ前のフレームを符号化する（図１（ａ）参照）。例えば、第Ｎ番目のパケットには、第Ｎフレームを主要符号化により符号化して得た音声符号と、第Ｎ−１フレームを冗長符号化により符号化して得た補助情報符号を含めて伝送する。

【0008】

受信側では、時間的に連続する２つ以上のパケットの到着を待ってから、時間的に早い方のパケットを復号して、復号音声信号を得る。例えば、第Ｎフレームに対応する信号を得る場合、第Ｎ＋１パケットが到着するのを待ってから復号を行う。第Ｎパケット、第Ｎ＋１パケットを正常に受信した場合、第Ｎパケットに含まれる音声符号を復号することにより第Ｎフレームの音声信号を得る（図１（ｂ）参照）。一方、パケットロスした場合（第Ｎパケットがロスした状況で、第Ｎ＋１パケットを得た場合）、第Ｎ＋１パケットに含まれる補助情報符号を復号することにより、第Ｎフレームの音声信号を得ることができる（図１（ｃ）参照）。

【0009】

特許文献１の方法では、復号対象となるパケットが到着しても、さらに１パケット以上到着するまで、復号を待たなければならず、アルゴリズム遅延が１パケット分以上増加する。従って、特許文献１の方法では、パケットロス隠蔽による音質向上は期待できるものの、アルゴリズム遅延が増加し、音声通話品質が低下する。

【0010】

さらに、上記のようなパケットロス隠蔽技術をＣＥＬＰ（Code Excited Linear Prediction、符号励振線形予測）符号化に対して適用する際には、ＣＥＬＰの動作の特徴に起因する別の課題も生じる。ＣＥＬＰは、線形予測に基づく音声モデルであり、音声信号を高精度にかつ高い圧縮率で符号化できるため、多くの国際標準で用いられている。

【0011】

ＣＥＬＰでは、全極型合成フィルタによって励振信号ｅ（ｎ）をフィルタリングすることにより合成される。すなわち、次式に従い音声信号ｓ（ｎ）を合成する。

【数1】

ａ（ｉ）は線形予測係数（ＬＰ係数）であり、次数として例えばＰ＝１６などの値を用いる。

【0012】

励振信号は、適応符号帳と呼ばれるバッファに蓄積される。あらたなフレームの音声を合成するに当たっては、ピッチラグと呼ばれる位置情報を元に、適応符号帳から読み出された適応符号帳ベクトルと、励振信号の時間変化を表す固定符号帳ベクトルを加算することにより、新たに励振信号を生成する。新たに生成された励振信号は、適応符号帳に蓄積されると同時に、全極型合成フィルタによりフィルタリングされ、復号信号が合成される。

【0013】

ＣＥＬＰでは、全てのフレームについてＬＰ係数が算出される。ＬＰ係数を算出するに当たっては、１０ｍｓ程度の先読み信号が必要である。すなわち、符号化対象フレームに加えて、先読み信号もバッファに蓄積した上で、ＬＰ係数算出およびその後の処理を実施する（図２参照）。各フレームは４つ程度のサブフレームに分割され、サブフレーム単位で、上記ピッチラグ算出、適応符号帳ベクトル算出、固定符号帳ベクトル算出、適応符号帳更新といった処理を行う。上記サブフレーム単位の処理にあたっては、ＬＰ係数も補間処理を行うことにより、サブフレーム毎に異なる係数に変化させる。また、ＬＰ係数は量子化・補間処理の都合上、ＬＰ係数の等価表現であるＩＳＰ（Immittance Spectral Pair）パラメータ、ＩＳＦ（Immittance Spectral Frequency）パラメータに変換した上で符号化される。ＬＰ係数とＩＳＰパラメータ・ＩＳＦパラメータの相互変換の処理手順については、非特許文献２に記載されている。

【0014】

ＣＥＬＰ符号化では、符号化側と復号側がそれぞれ適応符号帳をもち、それら適応符号帳が常に同期することを前提として符号化・復号を行う。パケットを正常に受信し、復号が正常に行われる状況では、符号化側の適応符号帳と復号側の適応符号帳は同期しているが、一度パケットロスが起こると、適応符号帳の同期を取ることができなくなる。

【0015】

例えば、ピッチラグとして用いる値が、符号化側と復号側で異なれば、適応符号帳ベクトルは時間的にずれたものとなる。この適応符号帳ベクトルで適応符号帳の更新を行うため、次のフレームを正常に受信したとしても、符号化側で求まる適応符号帳ベクトルと、復号側で求まる適応符号帳ベクトルは一致せず、適応符号帳の同期が回復することはない。このような適応符号帳の不一致によって、パケットロスしたフレーム以降、数フレームに渡って音質劣化が生じる。

【0016】

ＣＥＬＰ符号化におけるパケットロス隠蔽において、より高度な技術として特許文献２の手法がある。特許文献２では、パケットロスによる影響が大きい特定のフレームにおいて、ピッチラグや適応符号帳ゲインの代わりに、遷移モードコードブックのインデクスを伝送する。特許文献２では、パケットロスによる影響が大きいフレームとして、遷移フレーム（無音の音声セグメントから有音の音声セグメントへの遷移、あるいは２つの母音間の遷移）に着目している。この遷移フレームにおいて、遷移モードコードブックを用いた励振信号生成を行うことにより、過去の適応符号帳に非依存の励振信号を生成し、過去のパケットロスによる適応符号帳不一致から回復することができる。

【0017】

特許文献２の方法は、例えば長めの母音が継続するフレームなどでは、遷移フレームコードブックを利用しないため、従来と同様、適応符号帳の不一致から回復することができない。さらに、遷移モードコードブックを含むパケットが失われた場合には、これまでと同様に、パケットロス以降のフレームにもロスの影響が残ってしまう。これは、遷移モードコードブックを含むパケットの次のパケットが失われた場合も同様である。

【0018】

遷移フレームコードブックのような過去のフレームに依存しないコードブックを、全てのフレームに適応することもできるが、符号化の効率が著しく落ちるため、低ビットレート・高音質を達成できない。

【先行技術文献】

【特許文献】

【0019】

【特許文献1】特表２００３−５３３９１６号公報

【特許文献2】特表２０１０−５０７８１８号公報

【非特許文献】

【0020】

【非特許文献1】ＩＴＵ−Ｔ Ｇ．７１１ Ａｐｐｅｎｄｉｘ Ｉ

【非特許文献2】３ＧＰＰ ＴＳ２６−１９１

【非特許文献3】３ＧＰＰ ＴＳ２６−１９０

【非特許文献4】ＩＴＵ−Ｔ Ｇ．７１８

【発明の概要】

【発明が解決しようとする課題】

【0021】

特許文献１の方法を用いると、復号対象のパケットが到着した後、後続のパケット到着を待ってから復号を開始する。そのため、パケットロス隠蔽による音質向上はあるものの、アルゴリズム遅延が増加し、通話品質が低下する。

【0022】

ＣＥＬＰ符号化におけるパケットロス時に、符号化部・復号部間における適応符号帳の不一致が原因で、音声品質の劣化が生じる。特許文献２のような方法により、適応符号帳の不一致から回復することもできるが、遷移フレームの直前以外のフレームがロスした場合に十分な効果が得られない。

【0023】

本発明は、上記課題の解決のためになされたものであり、音声符号化におけるパケットロスにおいて、アルゴリズム遅延を増加させずに音声品質を回復する音声符号化装置を提供することを目的とする。

【課題を解決するための手段】

【0024】

本発明の一側面に係る音声符号化装置は、音声信号を符号化する音声符号化装置であって、音声信号を符号化する音声符号化部と、ＣＥＬＰ符号化におけるパケットロス隠蔽に用いられる補助情報として、ＣＥＬＰ符号化における先読み信号のパラメータを算出する補助情報符号化部と、を備え、前記音声符号化部は、符号化対象フレームの性質を表すインデクスを算出し、前記補助情報符号化部に伝送し、前記インデクスが、前記符号化対象フレームが特定のフレームクラスであることを示す場合、前記補助情報として前記符号化対象フレームの直後のフレームのピッチラグは、前記符号化対象フレームのパケットに含まれていると共に、前記符号化対象フレームの音声信号を符号化した音声符号と前記補助情報は、前記音声符号化部が前記符号化対象フレームの直後のフレームの音声信号を符号化する前に送信可能であり、前記インデクスが、前記符号化対象フレームが特定のフレームクラス以外を示す場合、前記直後のフレームピッチラグは、前記符号化対象フレームのパケットには含まれない。

【発明の効果】

【0025】

音声符号化におけるパケットロスにおいて、アルゴリズム遅延を増加させずに音声品質を回復することができる。特に、ＣＥＬＰ符号化において、パケットロス時におこる適応符号帳の劣化を低減し、パケットロス時の音声品質を改善することができる。

【図面の簡単な説明】

【0026】

【図1】特許文献１に記載の先行発明におけるパケットと復号信号の時間的関係を示す図である。

【図2】ＣＥＬＰ符号化におけるＬＰ分析対象信号と先読み信号の時間的関係を示す図である。

【図3】本発明の実施形態におけるパケットと復号信号の時間的関係を示す図である。

【図4】本発明の実施例１における音声信号送信装置の機能構成例を示す図である。

【図5】本発明の実施例１における音声信号受信装置の機能構成例を示す図である。

【図6】本発明の実施例１における音声信号送信装置の処理手順を示す図である。

【図7】本発明の実施例１における音声信号受信装置の処理手順を示す図である。

【図8】本発明の実施例１における補助情報符号化部の機能構成例を示す図である。

【図9】本発明の実施例１における補助情報符号化部の処理手順を示す図である。

【図10】本発明の実施例１におけるＬＰ係数算出部の処理手順を示す図である。

【図11】本発明の実施例１におけるターゲット信号算出部の処理手順を示す図である。

【図12】本発明の実施例１における音声パラメータ紛失処理部の機能構成例を示す図である。

【図13】本発明の実施例１における音声パラメータ予測の処理手順を示す図である。

【図14】本発明の実施例１の変形例１−１における励振ベクトル合成部の処理手順を示す図である。

【図15】本発明の実施例１における音声合成部の機能構成図を示す図である。

【図16】本発明の実施例１における音声合成部の処理手順を示す図である。

【図17】本発明の実施例１の変形例１−２における補助情報符号化部（補助情報出力判定部を設けた場合）の機能構成例を示す図である。

【図18】本発明の実施例１の変形例１−２における補助情報符号化部（補助情報出力判定部を設けた場合）の処理手順を示す図である。

【図19】本発明の実施例１の変形例１−２における音声パラメータ予測の処理手順を示す図である。

【図20】本発明の実施例２における音声信号送信装置の機能構成例を示す図である。

【図21】本発明の実施例２における主要符号化部の機能構成例を示す図である。

【図22】本発明の実施例２における音声信号送信装置の処理手順を示す図である。

【図23】本発明の実施例２における音声信号受信装置の機能構成例を示す図である。

【図24】本発明の実施例２における音声信号受信装置の処理手順を示す図である。

【図25】本発明の実施例２における音声合成部の機能構成図を示す図である。

【図26】本発明の実施例２における音声パラメータ復号部の機能構成例を示す図である。

【図27】本発明の実施例３における補助情報符号化部の機能構成例を示す図である。

【図28】本発明の実施例３における補助情報符号化部の処理手順を示す図である。

【図29】本発明の実施例３におけるピッチラグ選定部の処理手順を示す図である。

【図30】本発明の実施例３における補助情報復号部の処理手順を示す図である。

【図31】本発明の実施形態に係る音声符号化プログラムの構成を記憶媒体と共に示す図である。

【図32】本発明の実施形態に係る音声復号プログラムの構成を記憶媒体と共に示す図である。

【図33】本発明の実施例４における補助情報符号化部の機能構成例を示す図である。

【図34】本発明の実施例４における補助情報符号化部の処理手順を示す図である。

【図35】本発明の実施例４におけるピッチラグ予測部の処理手順を示す図（その１）である。

【図36】本発明の実施例４におけるピッチラグ予測部の処理手順を示す図（その２）である。

【図37】本発明の実施例４におけるピッチラグ予測部の処理手順を示す図（その３）である。

【図38】本発明の実施例４における適応符号帳算出部の処理手順を示す図である。

【図39】本発明の実施例５における補助情報符号化部の機能構成例を示す図である。

【図40】本発明の実施例５におけるピッチラグ符号化部の処理手順を示す図である。

【図41】本発明の実施例５における補助情報復号部の処理手順を示す図である。

【図42】本発明の実施例５におけるピッチラグ予測部の処理手順を示す図である。

【図43】本発明の実施例５における適応符号帳算出部の処理手順を示す図である。

【発明を実施するための形態】

【0027】

添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

【0028】

本発明の実施形態は、符号化器側で算出した補助情報を符号化して伝送し、復号側でのパケットロス隠蔽に利用する「補助情報を用いるパケットロス隠蔽技術」を実現する符号化器、および復号器である。

【0029】

本発明の実施形態では、パケットロス隠蔽に用いる補助情報は１つ前のパケットに含める。パケットに含まれる音声符号と補助情報符号の時間的関係を図３に示す。図３からも明らかなように、本発明の実施形態における補助情報は、ＣＥＬＰ符号化における先読み信号について求めたパラメータである（ピッチラグ，適応符号帳ゲイン等）。

【0030】

補助情報符号を１つ前のパケットに含めたことにより、復号対象のパケットよりも後続のパケットを待つことなく、復号を行うことができる。パケットロスを検出した際も、隠蔽対象となるフレームに関する補助情報が、直前のパケットにおいて得られているので、後続のパケットを待つことなく、高精度なパケットロス隠蔽を実現することができる。

【0031】

また、補助情報として先読み信号におけるＣＥＬＰ符号化のパラメータを伝送することにより、パケットがロスしても適応符号帳の不一致を軽減することができる。

【0032】

本発明の実施形態は、音声信号送信装置（音声符号化装置）、音声信号受信装置（音声復号装置）からなる。音声信号送信装置の機能構成例を図４に示し、処理手順を図６に示す。また、音声信号受信装置の機能構成例を図５に示し、処理手順を図７に示す。

【0033】

音声信号送信装置は、図４に示す通り、音声符号化部１１１、補助情報符号化部１１２からなる。音声信号受信装置は、図５に示す通り、音声符号バッファ１２１、音声パラメータ復号部１２２、音声パラメータ紛失処理部１２３、音声合成部１２４、補助情報復号部１２５、補助情報蓄積部１２６からなる。

【0034】

音声信号送信装置は、図６に示す処理手順により、音声信号をフレーム毎に符号化して伝送する。

【0035】

音声符号化部１１１は、符号化対象フレームに対して音声パラメータを算出して、音声符号を出力する（図６ステップＳ１３１）。

【0036】

補助情報符号化部１１２は、先読み信号に対して音声パラメータを算出して、補助情報符号を出力する（図６ステップＳ１３２）。

【0037】

音声信号が終了したか否かを判定し、音声信号が終了するまで上記を繰り返す（図６ステップＳ１３３）。

【0038】

音声信号受信装置は、図７に示す処理手順により、到着する音声パケットを復号して音声信号を出力する。

【0039】

音声符号バッファ１２１は、音声パケットの到着を待って、音声符号を蓄積する。音声パケットが正常に到着した場合は、処理を音声パラメータ復号部１２２に切替える。一方、音声パケットが正常に到着しない場合は、処理を音声パラメータ紛失処理部１２３に切り替える（図７ステップＳ１４１）。

【0040】

＜音声パケットを正常に受信した場合＞
音声パラメータ復号部１２２は、音声符号を復号して音声パラメータを出力する（図７ステップＳ１４２）。

【0041】

補助情報復号部１２５は、補助情報符号を復号して、補助情報を出力する。出力した補助情報は、補助情報蓄積部１２６に送られる（図７ステップＳ１４３）。

【0042】

音声合成部１２４は、音声パラメータ復号部１２２が出力した音声パラメータから音声信号を合成して出力する（図７ステップＳ１４４）。

【0043】

音声パラメータ紛失処理部１２３は、音声パラメータ復号部１２２が出力した音声パラメータを、パケットロス時に備えて蓄積する（図７ステップＳ１４５）。

【0044】

音声符号バッファ１２１は、音声パケットの送信が終了したかどうかを判断し、音声パケットの送信が終了した場合は処理を停止する。音声パケットの送信が継続する間は、上記ステップＳ１４１−Ｓ１４６を繰り返す（図７ステップＳ１４７）。

【0045】

＜音声パケットがロスした場合＞
音声パラメータ紛失処理部１２３は、補助情報蓄積部１２６から補助情報を読み出し、補助情報に含まれないパラメータについては予測を行うことで、音声パラメータを出力する（図７ステップＳ１４６）。

【0046】

音声合成部１２４は、音声パラメータ紛失処理部１２３が出力した音声パラメータから音声信号を合成して出力する（図７ステップＳ１４４）。

【0047】

音声パラメータ紛失処理部１２３は、音声パラメータ紛失処理部１２３が出力した音声パラメータを、パケットロス時に備えて蓄積する（図７ステップＳ１４５）。

【0048】

音声符号バッファ１２１は、音声パケットの送信が終了したかどうかを判断し、音声パケットの送信が終了した場合は処理を停止する。音声パケットの送信が継続する間は、上記ステップＳ１４１−Ｓ１４６を繰り返す（図７ステップＳ１４７）。

【0049】

［実施例１］
本実施例では、補助情報としてピッチラグを伝送し、復号側ではパケットロス隠蔽信号の生成に用いる例について記載する。

【0050】

音声信号送信装置の機能構成例を図４に、音声信号受信装置の機能構成例を図５にそれぞれ示し、音声信号送信装置の処理手順を図６に、音声信号受信装置の処理手順を図７にそれぞれ示す。

【0051】

＜送信側＞
音声信号送信装置において、入力音声信号は、音声符号化部１１１に送られる。

【0052】

音声符号化部１１１は、符号化対象フレームを、ＣＥＬＰ符号化により符号化する（図６ステップ１３１）。ＣＥＬＰ符号化の詳細については、例えば非特許文献３に記載の方法を用いる。ＣＥＬＰ符号化の処理手順の詳細については省略する。なお、ＣＥＬＰ符号化では符号化側でローカルデコードが行われる。ローカルデコードとは、符号化側でも音声符号を復号して、音声合成に必要なパラメータ（ＩＳＰパラメータおよび対応するＩＳＦパラメータ、ピッチラグ、長期予測パラメータ、適応符号帳、適応符号帳ゲイン、固定符号帳ゲイン、固定符号帳ベクトル等）を得ることである。ローカルデコードにより得られたパラメータのうち、少なくともＩＳＰパラメータおよびＩＳＦパラメータのいずれか又は両方、ピッチラグ、適応符号帳が、補助情報符号化部１１２に送られる。音声符号化部１１１として、非特許文献４のような音声符号化を用いる場合には、さらに符号化対象フレームの性質を表すインデクスを送ってもよい。また、音声符号化部１１１としてＣＥＬＰ符号化以外の符号化を用いることもできる。この場合、入力信号あるいはローカルデコードにより得られた復号信号から、少なくともＩＳＰパラメータおよびＩＳＦパラメータのいずれか又は両方、ピッチラグ、適応符号帳を別途算出し、補助情報符号化部１１２に伝送する。

【0053】

補助情報符号化部１１２は、音声符号化部１１１で算出したパラメータと先読み信号を用いて補助情報符号を算出する（図６ステップ１３２）。補助情報符号化部１１２は、図８に示す通り、ＬＰ係数算出部１５１、ターゲット信号算出部１５２、ピッチラグ算出部１５３、適応符号帳算出部１５４、励振ベクトル合成部１５５、適応符号帳バッファ１５６、合成フィルタ１５７、ピッチラグ符号化部１５８からなる。補助情報符号化部の処理手順を図９に示す。

【0054】

ＬＰ係数算出部１５１は、音声符号化部１１１で算出したＩＳＦパラメータと、過去数フレームにおいて算出したＩＳＦパラメータを用いてＬＰ係数を算出する（図９ステップ１６１）。ＬＰ係数算出部１５１の処理手順を図１０に示す。

【0055】

最初に、音声符号化部１１１から得たＩＳＦパラメータを用いてバッファを更新する（図１０ステップ１７１）。次に、先読み信号におけるＩＳＦパラメータ

【数2】

を算出する。ＩＳＦパラメータ

【数3】

は次式により算出する（図１０ステップ１７２）。

【数4】

【数5】

ここで、

【数6】

はバッファに格納されたｊフレーム前のＩＳＦパラメータである。
また、

【数7】

は事前に学習等で求めた発話区間でのＩＳＦパラメータである。βは定数であり、例えば０．７５のような値とすることができるが、これには限られない。また、αも定数であり、０．９のような値とすることができるが、これに限定されない。

【数8】

は、例えば非特許文献４記載のＩＳＦコンシールメントのように、符号化対象フレームの性質を表すインデクスにより変化させてもよい。

【0056】

次に、

【数9】

が

【数10】

を満たすようｉの値を並び替え、隣り合う

【数11】

同士が接近しすぎないよう調整する。

【数12】

の値を調整する手順には、例えば非特許文献４（式１５１）を用いることができる（図１０ステップ１７３）。

【0057】

次に、ＩＳＦパラメータ

【数13】

をＩＳＰパラメータに変換した上で、サブフレーム毎に補間する。ＩＳＦパラメータからＩＳＰパラメータを算出する方法として非特許文献４の６．４．４節記載の方法を、補間の方法としては、非特許文献４の６．８．３節に記載の処理手順を用いることができる（図１０ステップ１７４）。

【0058】

次にサブフレーム毎のＩＳＰパラメータをＬＰ係数

【数14】

に変換する。ここで、先読み信号に含まれるサブフレームの数をＭ_ｌａとした。ＩＳＰパラメータからＬＰ係数への変換には、非特許文献４の６．４．５節に記載の処理手順を用いることができる（図１０ステップ１７５）。

【0059】

ターゲット信号算出部１５２は、ＬＰ係数

【数15】

を用いて、ターゲット信号ｘ（ｎ）およびインパルス応答ｈ（ｎ）を算出する（図９ステップ１６２）。非特許文献４の６．８．４．１．３節に記載の通り、ターゲット信号は線形予測残差信号を聴覚重み付けフィルタに通すことにより得られる（図１１）。

【0060】

まず、ＬＰ係数を用いて先読み信号

【数16】

の残差信号ｒ（ｎ）を次式に従い算出する（図１１ステップ１８１）。

【数17】

【0061】

ただし、Ｌ’はサブフレームのサンプル数を表し、Ｌは符号化対象フレームｓ_ｐｒｅ（ｎ）（０≦ｎ＜Ｌ）のサンプル数を表す。このとき、

【数18】

である。

【0062】

次に、ターゲット信号ｘ（ｎ）（０≦ｎ＜Ｌ’）を次式に従い算出する（図１１ステップ１８２）。

【数19】

【数20】

【数21】

【数22】

ここで、聴覚重み付けフィルタγ＝０．６８である。聴覚重み付けフィルタの値は、音声符号化の設計方針により別の値としてもよい。

【0063】

次に、次式に従いインパルス応答ｈ（ｎ）（０≦ｎ＜Ｌ’）を算出する（図１１ステップ１８３）。

【数23】

【数24】

【0064】

ピッチラグ算出部１５３は、次式を最大化するｋを求めることにより、サブフレーム毎にピッチラグを算出する（図９ステップ１６３）。ここで、演算量削減のために、上記ターゲット信号算出（図１１ステップ１８２）およびインパルス応答算出（図１１ステップ１８３）を省略して、残差信号そのものをターゲット信号として用いてもよい。
Ｔ_ｐ＝ａｒｇｍａｘＴ_ｋ

【数25】

【数26】

【数27】

なお、ｙ_ｋ（ｎ）は線形予測残差にインパルス応答を畳み込むことにより得られる。ここで、Ｉｎｔ（ｉ）は補間フィルタを表す。補間フィルタの詳細は非特許文献４の６．８．４．１．４．１節に記載の通りである。当然、補間にフィルタを用いず、ｖ’（ｎ）＝ｕ（ｎ＋Ｎ_{ａｄａｐｔ}−Ｔ_ｐ＋ｉ）としてもよい。

【0065】

上記、算出方法により、ピッチラグは整数値で求まるが、上記Ｔ_ｋを補間することにより、ピッチラグの精度を小数点以下まで上げた場合についても求めることができる。補間により小数点以下のピッチラグを求める処理手順の詳細については、非特許文献４の６．８．４．１．４．１節に記載の処理方法を利用できる。

【0066】

適応符号帳算出部１５４はピッチラグＴ_ｐ、適応符号帳バッファ１５６に格納された適応符号帳ｕ（ｎ）から、次式に従い適応符号帳ベクトルｖ’（ｎ）および長期予測パラメータを算出する（図９ステップ１６４）。

【数28】

長期パラメータ算出の詳細な処理手順として非特許文献３の５．７節に記載の方法を用いることができる。

【0067】

励振ベクトル合成部１５５は、適応符号帳ベクトルｖ’（ｎ）に事前に定めた適応符号帳ゲイン

【数29】

を乗算して、次式に従い励振信号ベクトルを出力する（図９ステップ１６５）。

【数30】

適応符号帳ゲイン

【数31】

の値には、例えば１．０などを用いるが、事前の学習により求めた値を用いてもよいし、符号化対象フレームの性質を表すインデクスにより変化させてもよい。

【0068】

次に、以下の式に従い、励振信号ベクトルにより、適応符号帳バッファ１５６に格納された適応符号帳ｕ（ｎ）の状態を更新する（図９ステップ１６６）。
ｕ（ｎ）＝ｕ（ｎ＋Ｌ） （０≦ｎ＜Ｎ−Ｌ）
ｕ（ｎ＋Ｎ−Ｌ）＝ｅ（ｎ） （０≦ｎ＜Ｌ）

【0069】

合成フィルタ１５７は、励振信号ベクトルを励振源とする、線形予測逆フィルタリングにより、次式に従い復号信号を合成する（図９ステップ１６７）。

【数32】

【0070】

上記図９ステップ１６２〜ステップ１６７を先読み信号終了まで、サブフレーム毎に繰り返す（図９ステップ１６８）。

【0071】

ピッチラグ符号化部１５８は、先読み信号において算出したピッチラグ

【数33】

を符号化する（図９のステップ１６９）。ここで、先読み信号に含まれるサブフレームの数をＭ_ｌａとした。

【0072】

符号化の方法としては、例えば以下が考えられるが、符号化の方法には何を用いても良い。
１．ピッチラグ

【数34】

の一部あるいは全部をバイナリ符号化あるいはスカラ量子化あるいはベクトル量子化あるいは算術符号化して伝送する方法。
２．直前サブフレームのピッチラグとの差分

【数35】

の一部あるいは全部をバイナリ符号化あるいはスカラ量子化あるいはベクトル量子化あるいは算術符号化して伝送する方法。ただし、

【数36】

は符号化対象フレームにおける最後のサブフレームのピッチラグである。
３．ピッチラグ

【数37】

の一部あるいは全部と、符号化対象フレームで算出したピッチラグの一部または全部をまとめてベクトル量子化あるいは算術符号化して伝送する方法。
４．ピッチラグ

【数38】

の一部あるいは全部を手がかりに、事前に定めた補間手法のうちの１つを選択し、その補間手法のインデクスを伝送する方法。この時、過去に音声の合成に用いた複数のサブフレームのピッチラグを、併せて補間手法の選択に用いてもよい。

【0073】

スカラ量子化およびベクトル量子化には、経験的に定めたコードブックや、学習により事前に算出したコードブックを用いることができる。また、上記ピッチラグにオフセットの値を加算した上で符号化する方法も当然、本発明の実施形態の思想に含まれる。

【0074】

＜復号側＞
図５に示す通り、音声信号受信装置は、音声符号バッファ１２１、音声パラメータ復号部１２２、音声パラメータ紛失処理部１２３、音声合成部１２４、補助情報復号部１２５、補助情報蓄積部１２６からなる。音声信号受信装置の処理手順は図７に示す通りである。

【0075】

音声符号バッファ１２１は、パケットを正常に受信したか否かを判断し、パケットを正常に受信したと判断した場合には、音声パラメータ復号部１２２および補助情報復号部１２５に処理を切替え、パケットを正常に受信できなかったと判断した場合には、音声パラメータ紛失処理部１２３に処理を切り替える（図７ステップ１４１）。

【0076】

＜正常にパケットを受信した場合＞
音声パラメータ復号部１２２は、受信した音声符号を復号し、符号化対象フレームに関する音声を合成するのに必要な音声パラメータ（ＩＳＰパラメータおよび対応するＩＳＦパラメータ、ピッチラグ、長期予測パラメータ、適応符号帳、適応符号帳ゲイン、固定符号帳ゲイン、固定符号帳ベクトル等）を算出する（図７ステップ１４２）。

【0077】

補助情報復号部１２５は、補助情報符号を復号してピッチラグ

【数39】

を算出し、補助情報蓄積部１２６に格納する。補助情報復号部１２５では、符号化側で用いた符号化方法に対応する復号方法を用いて、補助情報符号を復号する（図７ステップ１４３）。

【0078】

音声合成部１２４は、音声パラメータ復号部１２２が出力したパラメータから符号化対象フレームに対応する音声信号を合成する（図７ステップ１４４）。音声合成部１２４の機能構成例を図１５に示し、処理手順を図１６に示す。なお、信号の流れを示すために音声パラメータ紛失処理部１２３を記載しているが、音声パラメータ紛失処理部１２３は音声合成部１２４の機能構成には含まれない。

【0079】

ＬＰ係数算出部１１２１は、ＩＳＦパラメータをＩＳＰパラメータに変換した上で、補間処理を実施して、サブフレーム毎のＩＳＰ係数を得る。次にＩＳＰ係数を線形予測係数（ＬＰ係数）に変換し、サブフレーム毎のＬＰ係数を得る（図１６ステップ１１３０１）。ＩＳＰ係数の補間処理、およびＩＳＰ−ＬＰ係数については、例えば非特許文献４の６．４．５節に記載の方法を用いることができる。これらパラメータ変換処理の手順は本発明の実施形態の本質ではないため、詳細については省略する。

【0080】

適応符号帳算出部１１２３は、ピッチラグおよび長期予測パラメータと、適応符号帳１１２２を用いて適応符号帳ベクトルを算出する（図１６ステップ１１３０２）。ピッチラグ

【数40】

、適応符号帳ｕ（ｎ）から、次式に従い、適応符号帳ベクトルｖ’（ｎ）を算出する。

【数41】

適応符号帳ベクトルは、適応符号帳ｕ（ｎ）をＦＩＲフィルタＩｎｔ（ｉ）により補間することで算出する。ここで、適応符号帳の長さをＮ_{ａｄａｐｔ}とした。補間に用いるフィルタＩｎｔ（ｉ）は、（数２７）の補間フィルタと同じである。事前に定めた長さ２ｌ＋１のＦＩＲフィルタである。Ｌ’はサブフレームのサンプル数である。エンコーダ側と同様、補間にフィルタを用いなくてもよい。

【0081】

適応符号帳算出部１１２３は、長期予測パラメータの値に応じて、上記、適応符号帳ベクトルに対してフィルタリングを行う（図１６ステップ１１３０３）。長期予測パラメータがフィルタリングを指示する値をとる場合は、以下の式により適応符号帳ベクトルにフィルタリングを行う。
ｖ’（ｎ）＝０．１８ｖ’（ｎ−１）＋０．６４ｖ’（ｎ）＋０．１８ｖ’（ｎ＋１）

【0082】

一方、長期予測パラメータがフィルタリングを指示しない値をとる場合は、フィルタリングを行わず、ｖ（ｎ）＝ｖ’（ｎ）とする。

【0083】

励振ベクトル合成部１１２４は、適応符号帳ベクトルに適応符号帳ゲインｇ_ｐを乗算する（図１６ステップ１１３０４）。さらに、励振ベクトル合成部１１２４は、固定符号帳ベクトルｃ（ｎ）に固定符号帳ゲインｇ_ｃを乗算する（図１６ステップ１１３０５）。さらに、励振ベクトル合成部１１２４は、適応符号帳ベクトルと固定符号帳ベクトルを加算して、励振信号ベクトルを出力する（図１６ステップ１１３０６）。
ｅ（ｎ）＝ｇ_ｐ・ｖ’（ｎ）＋ｇ_ｃ・ｃ（ｎ）

【0084】

ポストフィルタ１１２５は、励振信号ベクトルに対して、例えば、ピッチ強調、ノイズ強調、低域強調といった後処理を加える。ピッチ強調、ノイズ強調、低域強調と言った技術の詳細は、非特許文献３の６．１節に記載の通りである。ポストフィルタにおける処理は、本発明の実施形態の本質との関係が薄いので、詳細を省略する（図１６ステップ１１３０７）。

【0085】

適応符号帳１１２２は、以下の式に従い、励振信号ベクトルにより状態を更新する（図１６ステップ１１３０８）。
ｕ（ｎ）＝ｕ（ｎ＋Ｌ） （０≦ｎ＜Ｎ−Ｌ）
ｕ（ｎ＋Ｎ−Ｌ）＝ｅ（ｎ） （０≦ｎ＜Ｌ）

【0086】

合成フィルタ１１２６は、励振信号ベクトルを励振源とする、線形予測逆フィルタリングにより、次式に従い、復号信号を合成する（図１６ステップ１１３０９）。

【数42】

【0087】

聴覚重み逆フィルタ１１２７は、復号信号に対して、次式に従い聴覚重み逆フィルタを適用する（図１６ステップ１１３１０）。

【数43】

βの値としては典型的には０．６８等を用いるが、この値に限定されない。

【0088】

音声パラメータ紛失処理部１２３は、音声合成部１２４で用いた音声パラメータ（ＩＳＦパラメータ、ピッチラグ、適応符号帳ゲイン、固定符号帳ゲイン）をバッファに格納する（図７ステップ１４５）。

【0089】

＜パケットロスを検出した場合＞
音声パラメータ紛失処理部１２３は、補助情報蓄積部１２６からピッチラグ

【数44】

を読み出し、音声パラメータを予測する。音声パラメータ紛失処理部１２３の機能構成例を図１２に示し、音声パラメータ予測の処理手順を図１３に示す。

【0090】

ＩＳＦ予測部１９１は、直前フレームに関するＩＳＦパラメータと、過去数フレームにおいて算出したＩＳＦパラメータを用いてＩＳＦパラメータを算出する（図１３ステップ１１０１）。ＩＳＦ予測部１９１の処理手順を図１０に示す。

【0091】

最初に、直前フレームのＩＳＦパラメータを用いてバッファを更新する（図１０ステップ１７１）。次に、以下の式に従いＩＳＦパラメータ

【数45】

を算出する（図１０ステップ１７２）。

【数46】

【数47】

ここで、

【数48】

はバッファに格納されたｊフレーム前のＩＳＦパラメータである。また、

【数49】

，α，βは、符号化側で用いた値と同様である。

【0092】

次に、

【数50】

が

【数51】

を満たすようｉの値を並び替え、隣り合う

【数52】

同士が接近しすぎないよう調整する。

【数53】

の値を調整手順には、例えば非特許文献４（式１５１）を用いることができる（図１０ステップ１７３）。

【0093】

ピッチラグ予測部１９２は、補助情報蓄積部１２６から補助情報符号を復号してピッチラグ

【数54】

を得る。さらに、過去に復号に用いたピッチラグ

【数55】

を用いて、ピッチラグ

【数56】

を出力する。ここで、１フレームに含まれるサブフレームの数はＭ、補助情報に含まれるピッチラグの数をＭ_ｌａである。ピッチラグ

【数57】

の予測に当たっては、例えば非特許文献４の７．１１．１．３節に記載の処理手順を用いることができる（図１３ステップ１１０２）。

【0094】

適応符号帳ゲイン予測部１９３は、事前に定めた適応符号帳ゲイン

【数58】

と、過去に復号に用いた適応符号帳ゲイン

【数59】

を用いて、適応符号帳ゲイン

【数60】

を出力する。ここで、１フレームに含まれるサブフレームの数はＭ、補助情報に含まれるピッチラグの数をＭ_ｌａである。適応符号帳ゲイン

【数61】

の予測に当たっては、例えば、非特許文献４の７．１１．２．５．３節記載の処理手順を用いることができる（図１３ステップ１１０３）。

【0095】

固定符号帳ゲイン予測部１９４は、過去に復号に用いた固定符号帳ゲイン

【数62】

を用いて、固定符号帳ゲイン

【数63】

を出力する。ここで、１フレームに含まれるサブフレームの数はＭである。固定符号帳ゲイン

【数64】

の予測に当たっては、例えば、非特許文献４の７．１１．２．６節に記載の処理手順を用いることができる（図１３ステップ１１０４）。

【0096】

雑音信号生成部１９５は、長さＬの白色雑音を出力する（図１３ステップ１１０５）。ここで、１フレームの長さをＬとした。

【0097】

音声合成部１２４は、音声パラメータ紛失処理部１２３が出力した音声パラメータから復号信号を合成する（図７ステップ１４４）。音声合成部１２４の動作は、＜音声パケットを正常に受信した場合＞の音声合成部の動作と同様であるので、詳細を省略する（図７ステップ１４４）。

【0098】

音声パラメータ紛失処理部１２３は、音声合成部１２４で用いた音声パラメータ（ＩＳＦパラメータ、ピッチラグ、適応符号帳ゲイン、固定符号帳ゲイン）をバッファに格納する（図７ステップ１４５）。

【0099】

上記実施例では、先読み信号に含まれる全てのサブフレームに関する補助情報を符号化して伝送する例を述べたが、特定のサブフレームに関する補助情報のみを伝送する構成としてもよい。

【0100】

［変形例１−１］
実施例１の変形例として、ピッチゲインを補助情報に追加する例を示す。変形例１−１と実施例１との差分は、励振ベクトル合成部１５５の動作のみであるので、その他の部分について説明を省略する。

【0101】

＜符号化側＞
励振ベクトル合成部１５５の処理手順を図１４に示す。

【0102】

適応符号帳ベクトルｖ’（ｎ）とターゲット信号ｘ（ｎ）から、適応符号帳ゲイン

【数65】

を次式に従い算出する（図１４ステップ１１１１）。

【数66】

但し、ｙ（ｎ）は適応符号帳ベクトルにインパルス応答を畳み込んで得られる信号ｙ（ｎ）＝ｖ（ｎ）＊ｈ（ｎ）である。

【0103】

算出した適応符号帳ゲインを符号化し、補助情報符号に含める（図１４ステップ１１１２）。符号化には、事前に学習により求めたコードブックを用いたスカラ量子化を用いることができるが、符号化の手法そのものには何を用いてもよい。

【0104】

適応符号帳ゲインの符号化において求めた符号を、復号して得られる適応符号帳ゲイン

【数67】

を適応符号帳ベクトルに乗算することにより次式に従い、励振ベクトルを算出する（図１４ステップ１１１３）。

【数68】

【0105】

＜復号側＞
励振ベクトル合成部１５５は、適応符号帳ベクトルｖ’（ｎ）に補助情報符号を復号することにより得られる適応符号帳ゲイン

【数69】

を乗算して、次式により励振信号ベクトルを出力する（図９ステップ１６５）。

【数70】

【0106】

［変形例１−２］
実施例１の変形例として、補助情報の利用判断のためのフラグを補助情報に追加する例を示す。

【0107】

＜符号化側＞
補助情報符号化部の機能構成例を図１７に、補助情報符号化部の処理手順を図１８に示す。実施例１との差分は、補助情報出力判定部１１２８（図１８ステップ１１３１）のみであるので、その他の部分について説明を省略する。

【0108】

補助情報出力判定部１１２８は、次式に従い復号信号と先読み信号のｓｅｇｍｅｎｔａｌ ＳＮＲを算出し、ｓｅｇｍｅｎｔａｌ ＳＮＲが閾値を越えるときのみフラグの値をオンにセットして補助情報に含める。

【数71】

一方、ｓｅｇｍｅｎｔａｌ ＳＮＲが閾値を越えないときは、フラグの値をオフにして補助情報に含める（図１８ステップ１１３１）。なお、フラグの値がオンのときのみ、ピッチラグやピッチゲインなどの補助情報をフラグに付加して伝送し、フラグの値がオフのときはフラグの値のみ伝送することにより補助情報のビット量を削減してもよい。

【0109】

＜復号側＞
補助情報復号部は、補助情報符号に含まれるフラグを復号する。音声パラメータ紛失処理部は、フラグの値がオンの場合は、実施例１と同様の処理手順により復号信号を算出する。一方、フラグの値がオフの場合は、補助情報を用いないパケットロス隠蔽手法により復号信号を算出する（図１９ステップ１１５１）。

【0110】

［実施例２］
本実施例では、先読み信号部分の復号音声を正常受信時にも利用する例について述べる。説明を容易にするため、１フレームに含まれるサブフレームの数をＭサブフレーム、先読み信号の長さをＭ’サブフレームとする。

【0111】

＜符号化側＞
音声信号送信装置は、図２０に示す通り、主要符号化部２１１、補助情報符号化部２１２、隠蔽信号蓄積部２１３、誤差信号符号化部２１４からなる。音声信号送信装置の処理手順を図２２に示す。

【0112】

誤差信号符号化部２１４は、隠蔽信号蓄積部２１３から１サブフレーム分の隠蔽信号を読み出し、音声信号から減算して、誤差信号を算出する（図２２ステップ２２１）。

【0113】

誤差信号符号化部２１４は誤差信号を符号化する。具体的な処理手順として非特許文献４の６．８．４．１．５節に記載のＡＶＱ等を利用する。誤差信号の符号化にあたって、ローカルデコードを行い、復号誤差信号を出力する（図２２ステップ２２２）。

【0114】

復号誤差信号を隠蔽信号に加算することにより、１サブフレーム分の復号信号を出力する（図２２ステップ２２３）。

【0115】

上記、ステップ２２１〜２２３を隠蔽信号終了までＭ’サブフレーム分繰り返す。

【0116】

主要符号化部２１１の機能構成を図２１に示す。主要符号化部２１１は、ＩＳＦ符号化部２０１１、ターゲット信号算出部２０１２、ピッチラグ算出部２０１３、適応符号帳算出部２０１４、固定符号帳算出部２０１５、ゲイン算出部２０１６、励振ベクトル算出部２０１７、合成フィルタ２０１８、適応符号帳バッファ２０１９からなる。

【0117】

ＩＳＦ符号化部２０１１は、符号化対象フレームおよび先読み信号に対してレビンソンダービン法を適用してＬＰ係数を得る。次にＬＰ係数をＩＳＦパラメータに変換して符号化する。次に符号を復号して復号ＩＳＦパラメータを得る。最後に復号ＩＳＦパラメータを補間したうえで、サブフレーム毎の復号ＬＰ係数を得る。レビンソンダービン法、ＬＰ係数からのＩＳＦパラメータ変換の処理手順は実施例１と同様である。また、ＩＳＦパラメータの符号化には、例えば非特許文献４の６．８．２節に記載の処理手順を用いる。ＩＳＦ符号化部２０１１により、ＩＳＦパラメータを符号化したインデクス、復号ＩＳＦパラメータ、および復号ＩＳＦパラメータをＬＰ係数に変換して得られる復号ＬＰ係数が得られる（図２２ステップ２２４）。

【0118】

ターゲット信号算出部２０１２の詳細な処理手順は実施例１の図９ステップ１６２と同様である（図２２ステップ２２５）。

【0119】

ピッチラグ算出部２０１３は、適応符号帳バッファを参照して、ターゲット信号を用いてピッチラグ、および長期予測パラメータを算出する。ピッチラグ、および長期予測パラメータ算出の詳細な処理手順は実施例１と同様である（図２２ステップ２２６）。

【0120】

適応符号帳算出部２０１４は、ピッチラグ算出部２０１３で求めたピッチラグおよび長期予測パラメータを用いて適応符号帳ベクトルを算出する。適応符号帳算出部２０１４の詳細な処理手順は、実施例１と同様である（図２２ステップ２２７）。

【0121】

固定符号帳算出部２０１５は、ターゲット信号および適応符号帳ベクトルを用いて、固定符号帳ベクトルおよび固定符号帳ベクトルを符号化して得られるインデクスを算出する。詳細な手順は誤差信号符号化部２１４で用いたＡＶＱの処理手順と同様である（図２２ステップ２２８）。

【0122】

ゲイン算出部２０１６は、ターゲット信号、適応符号帳ベクトル、固定符号帳ベクトルを用いて、適応符号帳ゲイン、固定符号帳ゲイン、およびこれら２つのゲインを符号化して得られるインデクスを算出する。詳細な処理手順として非特許文献４の６．８．４．１．６節に記載の処理手順を利用できる（図２２ステップ２２９）。

【0123】

励振ベクトル算出部２０１７は、ゲインを適用した適応符号帳ベクトルおよび固定符号帳ベクトルを加算して励振ベクトルを算出する。詳細な処理手順は実施例１と同様である。さらに励振ベクトル算出部２０１７は、励振ベクトルを用いて適応符号帳バッファ２０１９の状態を更新する。詳細な処理手順は実施例１と同様である（図２２ステップ２２１０）。

【0124】

合成フィルタ２０１８は、復号ＬＰ係数および励振ベクトルを用いて復号信号を合成する（図２２ステップ２２１１）。

【0125】

上記、ステップ２２４〜２２１１を符号化対象フレーム終了までＭ−Ｍ’サブフレーム分繰り返す。

【0126】

補助情報符号化部２１２は先読み信号Ｍ’サブフレームに対して、補助情報を算出する。具体的な処理手順は実施例１と同様である（図２２ステップ２２１２）。

【0127】

実施例１の手順に加えて、実施例２では、補助情報符号化部２１２の合成フィルタ１５７が出力する復号信号を隠蔽信号蓄積部２１３に蓄積する（図２２ステップ２２１３）。

【0128】

＜復号部＞
図２３に示す通り、音声信号受信装置は、音声符号バッファ２３１、音声パラメータ復号部２３２、音声パラメータ紛失処理部２３３、音声合成部２３４、補助情報復号部２３５、補助情報蓄積部２３６、誤差信号復号部２３７、隠蔽信号蓄積部２３８からなる。音声信号受信装置の処理手順を図２４に示す。音声合成部２３４の機能構成を図２５に示す。

【0129】

音声符号バッファ２３１は、パケットを正常に受信したか否かを判断し、パケットを正常に受信したと判断した場合には、音声パラメータ復号部２３２、補助情報復号部２３５、誤差信号復号部２３７に処理を切替え、パケットを正常に受信できなかったと判断した場合には、音声パラメータ紛失処理部２３３に処理を切り替える（図２４ステップ２４１）。

【0130】

＜正常にパケットを受信した場合＞
誤差信号復号部２３７は誤差信号符合を復号して復号誤差信号を得る。具体的な処理手順として非特許文献４の７．１．２．１．２節に記載のＡＶＱ等、符号化側で用いた方法に対応した復号方法を用いる（図２４ステップ２４２）。

【0131】

先読み励振ベクトル合成部２３１８は、隠蔽信号蓄積部２３８から１サブフレーム分の隠蔽信号を読み出し、復号誤差信号に加算することにより、１サブフレーム分の復号信号を出力する（図２４ステップ２４３）。

【0132】

上記、ステップ２４１〜２４３を隠蔽信号終了までＭ’サブフレーム分繰り返す。

【0133】

音声パラメータ復号部２３２は、ＩＳＦ復号部２２１１、ピッチラグ復号部２２１２、ゲイン復号部２２１３、固定符号帳復号部２２１４からなる。音声パラメータ復号部２３２の機能構成例を図２６に示す。

【0134】

ＩＳＦ復号部２２１１は、ＩＳＦ符号を復号し、ＬＰ係数に変換することにより復号ＬＰ係数を得る。例えば非特許文献４の７．１．１節に記載の処理手順を用いる（図２４ステップ２４４）。

【0135】

ピッチラグ復号部２２１２は、ピッチラグ符号を復号してピッチラグおよび長期予測パラメータを得る（図２４ステップ２４５）。

【0136】

ゲイン復号部２２１３は、ゲイン符号を復号して適応符号帳ゲイン、固定符号帳ゲインを得る。詳細な処理手順は非特許文献４の７．１．２．１．３節に記載の通りである（図２４ステップ２４６）。

【0137】

適応符号帳算出部２３１３は、ピッチラグおよび長期予測パラメータを用いて適応符号帳ベクトルを算出する。適応符号帳算出部２３１３の詳細な処理手順は、実施例１に記載の通りである（図２４ステップ２４７）。

【0138】

固定符号帳復号部２２１４は、固定符号帳符号を復号して、固定符号帳ベクトルを算出する。詳細な手順は非特許文献４の７．１．２．１．２節に記載の通りである（図２４ステップ２４８）。

【0139】

励振ベクトル合成部２３１４は、ゲインを適用した適応符号帳ベクトルおよび固定符号帳ベクトルを加算して励振ベクトルを算出する。さらに励振ベクトル算出部は、励振ベクトルを用いて適応符号帳バッファを更新する（図２４ステップ２４９）。詳細な処理手順は実施例１と同様である。

【0140】

合成フィルタ２３１６は、復号ＬＰ係数および励振ベクトルを用いて復号信号を合成する（図２４ステップ２４１０）。詳細な処理手順は実施例１と同様である。

【0141】

上記、ステップ２４４〜２４１０を符号化対象フレーム終了までＭ−Ｍ’サブフレーム分繰り返す。

【0142】

補助情報復号部２３５の機能構成は実施例１と同様である。補助情報復号部２３５は、補助情報符号を復号してピッチラグを算出する（図２４ステップ２４１１）。

【0143】

音声パラメータ紛失処理部２３３の機能構成は実施例１と同様である。
ＩＳＦ予測部１９１は、直前フレームのＩＳＦパラメータを用いてＩＳＦパラメータを予測し、ＬＰ係数に変換する。処理手順は実施例１の図１０のステップ１７２、１７３、１７４と同様である（図２４ステップ２４１２）。

【0144】

適応符号帳算出部２３１３は、補助情報復号部２３５が出力したピッチラグと、適応符号帳２３１２を用いて適応符号帳ベクトルを算出する（図２４ステップ２４１３）。処理手順は図１６ステップ１１３０１、１１３０２と同様である。

【0145】

適応符号帳ゲイン予測部１９３は、適応符号帳ゲインを出力する。具体的な処理手順は図１３ステップ１１０３と同様である（図２４ステップ２４１４）。

【0146】

固定符号帳ゲイン予測部１９４は、固定符号帳ゲインを出力する。具体的な処理手順は図１３ステップ１１０４と同様である（図２４ステップ２４１５）。

【0147】

雑音信号生成部１９５は、白色雑音を出力し、固定符号帳ベクトルとする。処理手中は図１３ステップ１１０５と同様である（図２４ステップ２４１６）。

【0148】

励振ベクトル合成部２３１４は、適応符号帳ベクトルおよび固定符号帳ベクトルに各々ゲインを適用した上で加算し、励振ベクトルを算出する。また励振ベクトルにより適応符号帳バッファを更新する（図２４ステップ２４１７）。

【0149】

合成フィルタ２３１６は、上記ＬＰ係数と励振ベクトルを用いて復号信号を算出する。算出した復号信号で隠蔽信号蓄積部２３８を更新する（図２４ステップ２４１８）。

【0150】

上記ステップをＭ’サブフレーム分繰り返し、復号信号を音声信号として出力する。

【0151】

＜パケットをロスした場合＞
隠蔽信号蓄積部から１サブフレーム分の隠蔽信号を読み出し、復号信号とする（図２４ステップ２４１９）。

【0152】

上記をＭ’サブフレーム分繰り返す。

【0153】

ＩＳＦ予測部１９１は、ＩＳＦパラメータを予測する（図２４ステップ２４２０）。処理手順として、図１３ステップ１１０１を用いる。

【0154】

ピッチラグ予測部１９２は、過去に復号に用いたピッチラグを用いて予測ピッチラグを出力する（図２４ステップ２４２１）。予測に用いる処理手順は、実施例１の図１３ステップ１１０２と同様である。

【0155】

適応符号帳ゲイン予測部１９３、固定符号帳ゲイン予測部１９４、雑音信号生成部１９５、音声合成部２３４の動作は実施例１と同様である（図２４ステップ２４２２）。

【0156】

上記ステップをＭサブフレーム分繰り返し、Ｍ−Ｍ’サブフレーム分の復号信号は音声信号として出力し、残りのＭ’サブフレーム分の復号信号で隠蔽信号蓄積部２３８を更新する。

【0157】

［実施例３］
適応符号帳ベクトルの算出に当たって、声門パルス同期を用いる場合について述べる。

【0158】

＜符号化側＞
音声信号送信装置の機能構成は実施例１と同じである。機能構成および処理手順が異なるのは補助情報符号化部のみであるので、ここでは補助情報符号化部の動作についてのみ述べる。

【0159】

補助情報符号化部は、ＬＰ係数算出部３１１、ピッチラグ予測部３１２、ピッチラグ選定部３１３、ピッチラグ符号化部３１４、適応符号帳バッファ３１５からなる。補助情報符号化部の機能構成図を図２７に、処理手順を図２８に示す。

【0160】

ＬＰ係数算出部３１１は、実施例１のＬＰ係数算出部と同じであるので説明を省略する（図２８ステップ３２１）。

【0161】

ピッチラグ予測部３１２は、音声符号化部から得たピッチラグを用いてピッチラグ予測値

【数72】

を算出する（図２８ステップ３２２）。予測の具体的な処理は実施例１におけるピッチラグ予測部１９２における、ピッチラグ

【数73】

の予測と同様である（図１３ステップ１１０２と同じである）。

【0162】

次にピッチラグ選定部３１３は、補助情報として伝送するピッチラグを決定する（図２８ステップ３２３）。ピッチラグ選定部３１３のより詳細な処理手順を図２９に示す。

【0163】

最初に、ピッチラグ予測値

【数74】

および過去のピッチラグの値

【数75】

から、次式に従いピッチラグコードブックを生成する（図２９ステップ３３１）。

【数76】

【数77】

ここで、１サブフレーム前のピッチラグの値は

【数78】

である。またコードブックのインデクス数をＩとする。またδ_ｊは事前に定めたステップ幅であり、ρは事前に定めた定数である。

【0164】

次に適応符号帳、ピッチラグ予測値

【数79】

を用いて、次式に従い初期励振ベクトルｕ_０（ｎ）を生成する（図２９ステップ３３２）。

【数80】

初期励振ベクトル算出の処理手順は、非特許文献４の式（６０７）および式（６０８）と同様である。

【0165】

次に初期励振ベクトルに対して、ピッチラグコードブック中の全ての候補ピッチラグ

【数81】

を用いて声門パルス同期を適用し、候補適応符号帳ベクトルｕ^ｊ（ｎ）（０≦ｊ＜Ｉ）を生成する（図２９ステップ３３３）。声門パルス同期は非特許文献４の７．１１．２．５節におけるパルス位置が利用できない場合と同様の処理手順を用いる。ただし、非特許文献４におけるｕ（ｎ）は本発明の実施形態のｕ_０（ｎ）に対応し、ｅｘｔｒａｐｏｌａｔｅｄ ｐｉｔｃｈは本発明の実施形態の

【数82】

に対応し、ｔｈｅ ｌａｓｔ ｒｅｌｉａｂｌｅ ｐｉｔｃｈ（Ｔ_ｃ）は本発明の実施形態の

【数83】

に対応する。

【0166】

候補適応符号帳ベクトルｕ^ｊ（ｎ）（０≦ｊ＜Ｉ）について、評価尺度を計算する（図２９ステップ３３４）。評価尺度としてｓｅｇｍｅｎｔａｌ ＳＮＲを用いる場合には、ＬＰ係数を用いた逆フィルタリングにより信号を合成し、入力信号との間で次式に従いｓｅｇｍｅｎｔａｌ ＳＮＲを算出する。

【数84】

【数85】

【0167】

逆フィルタリングを行う代わりに、次式に従い、残差信号を用いて適応符号帳ベクトルの領域でｓｅｇｍｅｎｔａｌ ＳＮＲを算出してもよい。

【数86】

【数87】

この場合、ＬＰ係数を用いて先読み信号ｓ（ｎ）（０≦ｎ＜Ｌ’）の残差信号ｒ（ｎ）を算出する（図１１ステップ１８１）。

【0168】

ステップ３３４で算出した評価尺度のうち最大のものに対応するインデクスを選択し、当該インデクスに対応するピッチラグを求める。（図２９ステップ３３５）。

【数88】

【0169】

＜復号側＞
音声信号受信装置の機能構成は実施例１と同様である。実施例１との差分は音声パラメータ紛失処理部１２３、補助情報復号部１２５、補助情報蓄積部１２６の機能構成と処理手順であるので、これらについてのみ述べる。

【0170】

＜正常にパケットを受信した場合＞
補助情報復号部１２５は、補助情報符号を復号してピッチラグ

【数89】

を算出し、補助情報蓄積部１２６に格納する。補助情報復号部１２５の処理手順を図３０に示す。

【0171】

ピッチラグ算出に当たって、最初にピッチラグ予測部３１２は、音声復号部から得たピッチラグを用いてピッチラグ予測値

【数90】

を算出する（図３０ステップ３４１）。予測の具体的な処理は実施例３における図２８ステップ３２２と同様である。

【0172】

次に、ピッチラグ予測値

【数91】

および過去のピッチラグの値

【数92】

から、次式に従いピッチラグコードブックを生成する（図３０ステップ３４２）。

【数93】

【数94】

処理手順は図２９ステップ３３１と同様である。ここで、１サブフレーム前のピッチラグの値は

【数95】

である。またコードブックのインデクス数をＩとする。またδ_ｊは事前に定めたステップ幅であり、ρは事前に定めた定数である。

【0173】

次に、ピッチラグコードブックを参照し、補助情報として伝送されたインデクスｉｄｘに対応するピッチラグ

【数96】

を求め、補助情報蓄積部１２６に格納する（図３０ステップ３４３）。

【0174】

＜パケットロスを検出した場合＞
音声合成部の機能構成も実施例１と同様であるが（図１５と同様）、実施例１と動作が異なる適応符号帳算出部１１２３についてのみ以下に述べる。

【0175】

音声パラメータ紛失処理部１２３は、補助情報蓄積部１２６からピッチラグを読み出した上で次式に従ってピッチラグ予測値を算出し、ピッチラグ予測部１９２の出力の代わりに用いる。

【数97】

ここで、

【数98】

は予め定めた定数である。

【0176】

次に、適応符号帳、ピッチラグ予測値

【数99】

を用いて、次式に従い初期励振ベクトルｕ_０（ｎ）を生成する（図２９ステップ３３２）。

【数100】

【0177】

次に初期励振ベクトルに対して、ピッチラグ

【数101】

を用いて声門パルス同期を適用し、適応符号帳ベクトルｕ（ｎ）を生成する。声門パルス同期は図２９ステップ３３３と同様の処理手順を用いる。

【0178】

続いて、上述した一連の音声信号送信装置による処理をコンピュータに実行させるための音声符号化プログラム７０を説明する。図３１に示すように、音声符号化プログラム７０は、コンピュータに挿入されてアクセスされる、あるいはコンピュータが備える記録媒体６０に形成されたプログラム格納領域６１内に格納される。

【0179】

音声符号化プログラム７０は、音声符号化モジュール７００と、補助情報符号化モジュール７０１とを備えて構成される。音声符号化モジュール７００と、補助情報符号化モジュール７０１とを実行させることにより実現される機能は、上述した音声信号送信装置の音声符号化部１１１と、補助情報符号化部１１２との機能とそれぞれ同様である。

【0180】

なお、音声符号化プログラム７０は、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。また、音声符号化プログラム７０の各モジュールは、１つのコンピュータでなく、複数のコンピュータのいずれかにインストールされてもよい。その場合、当該複数のコンピュータからなるコンピュータシステムによって上述した一連の音声符号化プログラム７０の処理が行われる。

【0181】

続いて、上述した一連の音声信号受信装置による処理をコンピュータに実行させるための音声復号プログラム９０を説明する。図３２に示すように、音声復号プログラム９０は、コンピュータに挿入されてアクセスされる、あるいはコンピュータが備える記録媒体８０に形成されたプログラム格納領域８１内に格納される。

【0182】

音声復号プログラム９０は、音声符号バッファモジュール９００と、音声パラメータ復号モジュール９０１と、補助情報復号モジュール９０２と、補助情報蓄積モジュール９０３と、音声パラメータ紛失処理モジュール９０４と、音声合成モジュール９０５とを備えて構成される。音声符号バッファモジュール９００と、音声パラメータ復号モジュール９０１と、補助情報復号モジュール９０２と、補助情報蓄積モジュール９０３と、音声パラメータ紛失処理モジュール９０４と、音声合成モジュール９０５とを実行させることにより実現される機能は、上述した音声信号受信装置の音声符号バッファ２３１と、音声パラメータ復号部２３２と、補助情報復号部２３５と、補助情報蓄積部２３６と、音声パラメータ紛失処理部２３３と、音声合成部２３４との機能とそれぞれ同様である。

【0183】

なお、音声復号プログラム９０は、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。また、音声復号プログラム９０の各モジュールは、１つのコンピュータでなく、複数のコンピュータのいずれかにインストールされてもよい。その場合、当該複数のコンピュータからなるコンピュータシステムによって上述した一連の音声復号プログラム９０の処理が行われる。

【0184】

［実施例４］
補助情報を復号側でのピッチラグ予測に用いる例について述べる。

【0185】

＜符号化側＞
音声信号送信装置の機能構成は実施例１と同様である。機能構成および処理手順が異なるのは補助情報符号化部１１２のみであるので、ここでは補助情報符号化部１１２の動作についてのみ述べる。

【0186】

補助情報符号化部１１２の機能構成図を図３３に、処理手順を図３４に示す。補助情報符号化部１１２は、ＬＰ係数算出部５１１、残差信号算出部５１２、ピッチラグ算出部５１３、適応符号帳算出部５１４、適応符号帳バッファ５１５、ピッチラグ符号化部５１６からなる。

【0187】

ＬＰ係数算出部５１１は、実施例１の図８のＬＰ係数算出部１５１と同様であるので説明を省略する。

【0188】

残差信号算出部５１２は、実施例１の図１１のステップ１８１と同様の処理により、残差信号を算出する。

【0189】

ピッチラグ算出部５１３は、次式を最大化するｋを求めることにより、サブフレーム毎にピッチラグを算出する（図３４のステップ１６３）。ここで、ｕ（ｎ）は適応符号帳、Ｌ’は１サブフレームに含まれるサンプル数を表す。
Ｔ_ｐ＝ａｒｇ_ｋｍａｘＴ_ｋ

【数102】

【0190】

適応符号帳算出部５１４はピッチラグＴ_ｐ、適応符号帳ｕ（ｎ）から、適応符号帳ベクトルｖ’（ｎ）を算出する。ここで適応符号帳の長さをＮ_{ａｄａｐｔ}とした。（図３４のステップ１６４）
ｖ’（ｎ）＝ｕ（ｎ＋Ｎ_{ａｄａｐｔ}−Ｔ_ｐ）

【0191】

適応符号帳バッファ５１５は、適応符号帳ベクトルｖ’（ｎ）により状態を更新する（図３４のステップ１６６）。
ｕ（ｎ）＝ｕ（ｎ＋Ｌ’） （０≦ｎ＜Ｎ−Ｌ’）
ｕ（ｎ＋Ｎ−Ｌ’）＝ｖ’（ｎ） （０≦ｎ＜Ｌ）

【0192】

ピッチラグ符号化部５１６は、実施例１と同様なので省略する（図３４のステップ１６９）。

【0193】

＜復号側＞
音声信号受信装置は、実施例１と同様に、音声符号バッファ１２１、音声パラメータ復号部１２２、音声パラメータ紛失処理部１２３、音声合成部１２４、補助情報復号部１２５、補助情報蓄積部１２６からなる。音声信号受信装置の処理手順は図７に示す通りである。

【0194】

音声符号バッファ１２１の動作は実施例１と同様である。

【0195】

＜正常にパケットを受信した場合＞
音声パラメータ復号部１２２の動作は実施例１と同様である。

【0196】

補助情報復号部１２５は、補助情報符号を復号してピッチラグ

【数103】

を算出し、補助情報蓄積部１２６に格納する。補助情報復号部１２５では、符号化側で用いた符号化方法に対応する復号方法を用いて、補助情報符号を復号する。

【0197】

音声合成部１２４は、実施例１と同様である。

【0198】

＜パケットロスを検出した場合＞
音声パラメータ紛失処理部１２３（図１２参照）のＩＳＦ予測部１９１は、実施例１と同様にしてＩＳＦパラメータを算出する。

【0199】

ピッチラグ予測部１９２の処理手順を図３５に示す。ピッチラグ予測部１９２は、実施例１と同様にして、補助情報蓄積部１２６から補助情報符号を読み出してピッチラグ

【数104】

を得る（図３５のステップ４０５１）。さらに、過去に復号に用いたピッチラグ

【数105】

を用いて、ピッチラグ

【数106】

を出力する（図３５のステップ４０５２）。ここで、１フレームに含まれるサブフレームの数はＭ、補助情報に含まれるピッチラグの数をＭ_ｌａとする。ピッチラグ

【数107】

の予測に当たっては、非特許文献４のような処理手順を用いることができる（図１３のステップ１１０２）。

【0200】

ここで、ピッチラグ予測部１９２は、ピッチラグ

【数108】

の予測に当たって、過去に復号に用いたピッチラグ

【数109】

とピッチラグ

【数110】

を用いてピッチラグ

【数111】

を予測してもよい。また、

【数112】

としてもよい。この場合のピッチラグ予測部の処理手順は図３６のようになる。

【0201】

さらに、ピッチラグ予測部１９２は、ピッチラグの予測値について信頼性が低い場合にのみ

【数113】

としてもよい。この場合のピッチラグ予測部１９２の処理手順を図３７に示す。予測値を用いたか、補助情報により得られたピッチラグ

【数114】

を用いたかに関する指示情報を適応符号帳算出部１５４に入力するようにしてもよい。

【0202】

適応符号帳ゲイン予測部１９３、固定符号帳ゲイン予測部１９４は実施例１と同様である。

【0203】

雑音信号生成部１９５は、実施例１と同様である。

【0204】

音声合成部１２４は、音声パラメータ紛失処理部１２３が出力したパラメータから符号化対象フレームに対応する音声信号を合成する。

【0205】

音声合成部１２４（図１５参照）のＬＰ係数算出部１１２１は、実施例１と同様にしてＬＰ係数を得る（図１６のステップ１１３０１）。

【0206】

適応符号帳算出部１１２３は、実施例１と同様にして適応符号帳ベクトルを算出する。適応符号帳算出部１１２３は、常に適応符号帳ベクトルにフィルタリングを行うようにしてもよいし、常にフィルタリングを行わないようにしてもよい。すなわち以下の式を用いて適応符号帳ベクトルを算出する。ここで、フィルタ係数をｆ_ｉとした。
ｖ（ｎ）＝ｆ_−１ｖ’（ｎ−１）＋ｆ_０ｖ’（ｎ）＋ｆ_１ｖ’（ｎ＋１）
フィルタリングを指示しない値をとる場合は、ｖ（ｎ）＝ｖ’（ｎ）とする（適応符号帳算出ステップＡ）。

【0207】

適応符号帳算出部１１２３は、次の手順で適応符号帳ベクトルを算出してもよい（適応符号帳算出ステップＢ）。

【0208】

ピッチラグおよび適応符号帳１１２２を用いて初期適応符号帳ベクトルを算出する。
ｖ（ｎ）＝ｆ_−１ｖ’（ｎ−１）＋ｆ_０ｖ’（ｎ）＋ｆ_１ｖ’（ｎ＋１）
設計方針によって、ｖ（ｎ）＝ｖ’（ｎ）としてもよい。

【0209】

次に初期適応符号帳ベクトルに対して、声門パルス同期を適用する。声門パルス同期は非特許文献４の７．１１．２．５節におけるパルス位置が利用できない場合と同様の処理手順を用いる。ただし、非特許文献４におけるｕ（ｎ）は本発明の実施形態のｖ（ｎ）に対応し、ｅｘｔｒａｐｏｌａｔｅｄ ｐｉｔｃｈは本発明の実施形態の

【数115】

に対応し、ｔｈｅ ｌａｓｔ ｒｅｌｉａｂｌｅ ｐｉｔｃｈ（Ｔ_ｃ）は本発明の実施形態の

【数116】

に対応する。

【0210】

さらに、適応符号帳算出部１１２３は、ピッチラグ予測部１９２が、上記予測値の指示情報を出力している場合に、上記指示情報が、補助情報として送られてきたピッチラグを予測値として用いないことを示す場合（図３８のステップ４０８２：ＮＯ）に上記適応符号帳算出ステップＡを用い、それ以外の場合（図３８のステップ４０８２：ＹＥＳ）には上記適応符号帳算出ステップＢを用いるようにしてもよい。この場合の適応符号帳算出部１１２３の処理手順を図３８に示す。

【0211】

励振ベクトル合成部１１２４は、実施例１と同様にして、励振信号ベクトルを出力する（図１６のステップ１１３０６）。

【0212】

ポストフィルタ１１２５は、実施例１と同様にして、合成信号に後処理を加える。

【0213】

適応符号帳１１２２は、実施例１と同様にして、励振信号ベクトルにより状態を更新する（図１６のステップ１１３０８）。

【0214】

合成フィルタ１１２６は、実施例１と同様にして、復号信号を合成する（図１６のステップ１１３０９）。

【0215】

聴覚重み逆フィルタ１１２７は、実施例１と同様にして、聴覚重み逆フィルタを適用する。

【0216】

音声パラメータ紛失処理部１２３は、実施例１と同様にして、音声合成部１２４で用いた音声パラメータ（ＩＳＦパラメータ、ピッチラグ、適応符号帳ゲイン、固定符号帳ゲイン）をバッファに格納する（図７のステップ１４５）。

【0217】

［実施例５］
本実施例では、特定のフレームクラスにおいてのみ補助情報としてピッチラグを伝送し、それ以外では、ピッチラグを伝送しない構成について述べる。

【0218】

＜送信側＞
音声信号送信装置において、入力音声信号は、音声符号化部１１１に送られる。

【0219】

本実施例における音声符号化部１１１は、符号化対象フレームの性質を表すインデクスを必ず算出し、補助情報符号化部１１２に伝送する。それ以外の動作については、実施例１と同様である。

【0220】

補助情報符号化部１１２において、実施例１−４との違いは、ピッチラグ符号化部１５８のみであるので、ピッチラグ符号化部１５８の動作について、以下に述べる。実施例５における補助情報符号化部１１２の構成図を図３９に示す。

【0221】

ピッチラグ符号化部１５８の処理手順を図４０に示す。ピッチラグ符号化部１５８は、符号化対象フレームの性質を現すインデクスを読み出し（図４０のステップ５０２１）、符号化対象フレームの性質を現すインデクスが、事前に定めた値と等しい場合は、補助情報に割り当てるビット数をＢビットとする（Ｂ＞１）。一方、符号化対象フレームの性質を現すインデクスが事前に定めた値と異なる場合は、補助情報に割り当てるビット数を１ビットとする（図４０のステップ５０２２）。

【0222】

補助情報に割り当てるビット数が１ビットの場合（図４０のステップ５０２２：ＮＯ）、補助情報インデクスに補助情報を伝送していないことを示す値をセットし、補助情報符号とする（図４０のステップ５０２３）。

【0223】

一方、補助情報に割り当てるビット数がＢビットの場合（図４０のステップ５０２２：ＹＥＳ）、補助情報インデクスに補助情報を伝送することを示す値をセットし（図４０のステップ５０２４）、さらにピッチラグを実施例１の方法により符号化して得られるＢ−１ビットの符号を含めて、補助情報符号とする（図４０のステップ５０２５）。

【0224】

＜復号側＞
音声信号受信装置は、実施例１と同様に、音声符号バッファ１２１、音声パラメータ復号部１２２、音声パラメータ紛失処理部１２３、音声合成部１２４、補助情報復号部１２５、補助情報蓄積部１２６からなる。音声信号受信装置の処理手順は図７に示す通りである。

【0225】

音声符号バッファ１２１の動作は実施例１と同様である。

【0226】

＜正常にパケットを受信した場合＞
音声パラメータ復号部１２２の動作は実施例１と同様である。

【0227】

補助情報復号部１２５の処理手順を図４１に示す。補助情報復号部１２５は、最初に補助情報符号に含まれる補助情報インデクスを復号する（図４１のステップ５０３１）。補助情報インデクスが補助情報を伝送していないことを表す場合、それ以上の復号動作を行わない。また、補助情報インデクスの値を補助情報蓄積部１２６に格納する（図４１のステップ５０３２）。

【0228】

一方、補助情報インデクスが、補助情報を伝送することを表す場合、さらにＢ−１ビットの復号を行い、ピッチラグ

【数117】

を算出し、補助情報蓄積部１２６に格納する（図４１のステップ５０３３）。また、補助情報インデクスの値を補助情報蓄積部１２６に格納する。なお、Ｂ−１ビットの補助情報の復号は、実施例１の補助情報復号部１２５と同様の動作である。

【0229】

音声合成部１２４は、実施例１と同様である。

【0230】

＜パケットロスを検出した場合＞
音声パラメータ紛失処理部１２３（図１２参照）のＩＳＦ予測部１９１は、実施例１と同様にしてＩＳＦパラメータを算出する。

【0231】

ピッチラグ予測部１９２の処理手順を図４２に示す。ピッチラグ予測部１９２は、補助情報蓄積部１２６から補助情報インデクスを読み出して（図４２のステップ５０４１）、補助情報を伝送することを表す値であるかどうかを調べる（図４２のステップ５０４２）。

【0232】

＜補助情報インデクスが補助情報を伝送することを表す値である場合＞
実施例１と同様にして、補助情報蓄積部１２６から補助情報符号を読み出してピッチラグ

【数118】

を得る（図４２の５０４３）。さらに、過去に復号に用いたピッチラグ

【数119】

および補助情報として得られた

【数120】

を用いて、ピッチラグ

【数121】

を出力する（図４２のステップ５０４４）。ここで、１フレームに含まれるサブフレームの数はＭ、補助情報に含まれるピッチラグの数をＭ_ｌａとする。ピッチラグ

【数122】

の予測に当たっては、非特許文献４のような処理手順を用いることができる（図１３のステップ１１０２）。また、

【数123】

としてもよい。

【0233】

さらに、ピッチラグ予測部１９２は、ピッチラグの予測値について信頼性が低い場合にのみ

【数124】

とし、それ以外の場合には予測値を

【数125】

とするようにしてもよい（図４２のステップ５０４６）。また、予測値を用いたか、補助情報により得られたピッチラグ

【数126】

を用いたかに関するピッチラグ指示情報を適応符号帳算出部１１２３に入力するようにしてもよい。

【0234】

＜補助情報インデクスが補助情報を伝送しないことを表す値である場合＞
ピッチラグ予測部１９２は、ピッチラグ

【数127】

の予測に当たって、過去に復号に用いたピッチラグ

【数128】

を用いてピッチラグ

【数129】

を予測する（図４２のステップ５０４８）。

【0235】

さらに、ピッチラグ予測部１９２は、ピッチラグの予測値について信頼性が低い場合にのみ

【数130】

とし（図４２のステップ５０４９）、それ以外の場合には予測値を

【数131】

とするようにしてもよい。また、予測値を用いたか、過去復号に用いたピッチラグ

【数132】

を用いたかに関するピッチラグ指示情報を適応符号帳算出部１１２３に入力する（図４２のステップ５０５０）。

【0236】

適応符号帳ゲイン予測部１９３、固定符号帳ゲイン予測部１９４は実施例１と同様である。

【0237】

雑音信号生成部１９５は、実施例１と同様である。

【0238】

音声合成部１２４は、音声パラメータ紛失処理部１２３が出力したパラメータから符号化対象フレームに対応する音声信号を合成する。

【0239】

音声合成部１２４（図１５参照）のＬＰ係数算出部１１２１は、実施例１と同様にしてＬＰ係数を得る（図１６のステップ１１３０１）。

【0240】

適応符号帳算出部１１２３の処理手順を図４３に示す。適応符号帳算出部１１２３は、実施例１と同様にして適応符号帳ベクトルを算出する。まず、ピッチラグ指示情報を参照し（図４３のステップ５０５１）、予測値の信頼性が低い場合（図４３のステップ５０５２：ＹＥＳ）は、以下の式を用いて適応符号帳ベクトルを算出する（図４３のステップ５０５５）。ここで、フィルタ係数をｆ_ｉとした。
ｖ（ｎ）＝ｆ_−１ｖ’（ｎ−１）＋ｆ_０ｖ’（ｎ）＋ｆ_１ｖ’（ｎ＋１）
なお設計方針により、ｖ（ｎ）＝ｖ’（ｎ）としてもよい。

【0241】

ピッチラグ指示情報を参照し、予測値の信頼性が高い場合（図４３のステップ５０５２：ＮＯ）、適応符号帳算出部１１２３は、次の手順で適応符号帳ベクトルを算出する。

【0242】

まず、ピッチラグおよび適応符号帳１１２２を用いて初期適応符号帳ベクトルを算出する（図４３のステップ５０５３）。
ｖ（ｎ）＝ｆ_−１ｖ’（ｎ−１）＋ｆ_０ｖ’（ｎ）＋ｆ_１ｖ’（ｎ＋１）
設計方針によって、ｖ（ｎ）＝ｖ’（ｎ）としてもよい。

【0243】

次に初期適応符号帳ベクトルに対して、声門パルス同期を適用する。声門パルス同期は非特許文献４の７．１１．２．５節におけるパルス位置が利用できない場合と同様の処理手順を用いる（図４３のステップ５０５４）。ただし、非特許文献４におけるｕ（ｎ）は本発明の実施形態のｖ（ｎ）に対応し、ｅｘｔｒａｐｏｌａｔｅｄ ｐｉｔｃｈは本発明の実施形態の

【数133】

に対応し、ｔｈｅ ｌａｓｔ ｒｅｌｉａｂｌｅ ｐｉｔｃｈ（Ｔ_ｃ）は本発明の実施形態の

【数134】

に対応する。

【0244】

励振ベクトル合成部１１２４は、実施例１と同様にして、励振信号ベクトルを出力する（図１６のステップ１１３０６）。

【0245】

ポストフィルタ１１２５は、実施例１と同様にして、合成信号に後処理を加える。

【0246】

適応符号帳１１２２は、実施例１と同様にして、励振信号ベクトルにより状態を更新する（図１６のステップ１１３０８）。

【0247】

合成フィルタ１１２６は、実施例１と同様にして、復号信号を合成する（図１６のステップ１１３０９）。

【0248】

聴覚重み逆フィルタ１１２７は、実施例１と同様にして、聴覚重み逆フィルタを適用する。

【0249】

音声パラメータ紛失処理部１２３は、実施例１と同様にして、音声合成部１２４で用いた音声パラメータ（ＩＳＦパラメータ、ピッチラグ、適応符号帳ゲイン、固定符号帳ゲイン）をバッファに格納する（図７のステップ１４５）。

【0250】

本発明の一側面に係る音声符号化装置は、音声信号を符号化する音声符号化装置であって、音声信号を符号化する音声符号化部と、先読み信号から補助情報を算出して符号化する補助情報符号化部と、を備える。

【0251】

補助情報は、先読み信号におけるピッチラグに関すること、又は、補助情報は、先読み信号におけるピッチゲインに関すること、又は、先読み信号におけるピッチラグおよびピッチゲインに関することとしてもよい。また、補助情報は、補助情報の利用可否に関する情報を含むこととしてもよい。

【0252】

補助情報符号化部は、先読み信号部分について補助情報を算出して符号化し、さらに隠蔽信号を生成し、入力音声信号と補助情報符号化部が出力する隠蔽信号の誤差信号を符号化する誤差信号符号化部と、入力音声信号そのものを符号化する主要符号化部と、をさらに備えることとしてもよい。

【0253】

また、本発明の一側面に係る音声復号装置は、音声符号を復号して音声信号を出力する音声復号装置であって、音声パケットの受信状態からパケットロスを検出する音声符号バッファと、音声パケット正常受信時に音声符号を復号する音声パラメータ復号部と、音声パケット正常受信時に補助情報符号を復号する補助情報復号部と、補助情報符号を復号して得られる補助情報を蓄積する補助情報蓄積部と、音声パケットロス検出時に音声パラメータを出力する音声パラメータ紛失処理部と、音声パラメータから復号音声を合成する音声合成部と、を備える。

【0254】

補助情報は、先読み信号におけるピッチラグに関すること、又は、先読み信号におけるピッチゲインに関すること、又は、先読み信号におけるピッチラグおよびピッチゲインに関することとしてもよい。また、補助情報は、補助情報の利用可否に関する情報を含むこととしてもよい。

【0255】

補助情報復号部は、補助情報符号を復号して補助情報を出力し、かつ補助情報を利用して先読み部分に関する隠蔽信号を出力し、音声信号と隠蔽信号との誤差信号に関する符号を復号する誤差復号部と、音声信号に関する符号を復号する主要復号部と、補助情報復号部が出力した隠蔽信号を蓄積する隠蔽信号蓄積部と、をさらに備えることとしてもよい。

【0256】

音声パケット正常受信時には、隠蔽信号蓄積部から読み出した隠蔽信号と、誤差復号部が出力した復号誤差信号を加算することにより復号信号の一部を生成し、補助情報復号部が出力した隠蔽信号により隠蔽信号蓄積部を更新する、こととしてもよい。

【0257】

音声パケットロス検出時には、隠蔽信号蓄積部から読み出した隠蔽信号を、復号信号の一部あるいは全部とする、こととしてもよい。

【0258】

音声パケットロス検出時には、音声パラメータ紛失処理部により予測した音声パラメータを用いて復号信号を生成し、その一部を用いて隠蔽信号蓄積部を更新する、こととしてもよい。

【0259】

音声パラメータ紛失処理部は、音声パケットロス検出時に、補助情報蓄積部から読み出した補助情報を、音声パラメータの予測値の一部として利用する、こととしてもよい。

【0260】

音声合成部は、音声パケットロス検出時に、補助情報蓄積部から読み出した補助情報を用いて、音声パラメータの１つである適応符号帳ベクトルを修正する、こととしてもよい。

【0261】

また、本発明の一側面に係る音声符号化方法は、音声信号を符号化する音声符号化装置による音声符号化方法であって、音声信号を符号化する音声符号化ステップと、先読み信号から補助情報を算出して符号化する補助情報符号化ステップと、を含む。

【0262】

また、本発明の一側面に係る音声復号方法は、音声符号を復号して音声信号を出力する音声復号装置による音声復号方法であって、音声パケットの受信状態からパケットロスを検出する音声符号バッファステップと、音声パケット正常受信時に音声符号を復号する音声パラメータ復号ステップと、音声パケット正常受信時に補助情報符号を復号する補助情報復号ステップと、補助情報符号を復号して得られる補助情報を蓄積する補助情報蓄積ステップと、音声パケットロス検出時に音声パラメータを出力する音声パラメータ紛失処理ステップと、音声パラメータから復号音声を合成する音声合成ステップと、を含む。

【0263】

また、本発明の一側面に係る音声符号化プログラムは、コンピュータを、音声信号を符号化する音声符号化部と、先読み信号から補助情報を算出して符号化する補助情報符号化部、として機能させる。

【0264】

また、本発明の一側面に係る音声復号プログラムは、コンピュータを、音声パケットの受信状態からパケットロスを検出する音声符号バッファと、音声パケット正常受信時に音声符号を復号する音声パラメータ復号部と、音声パケット正常受信時に補助情報符号を復号する補助情報復号部と、補助情報符号を復号して得られる補助情報を蓄積する補助情報蓄積部と、音声パケットロス検出時に音声パラメータを出力する音声パラメータ紛失処理部と、音声パラメータから復号音声を合成する音声合成部、として機能させる。

【0265】

また、本発明の一側面に係る音声復号方法は、
音声符号を復号して音声信号を出力する音声復号装置による音声復号方法であって、
音声パケットの受信状態からパケットロスを検出する音声符号バッファステップと、
音声パケット正常受信時に音声符号を復号する音声パラメータ復号ステップと、
音声パケット正常受信時に補助情報符号を復号する補助情報復号ステップと、
補助情報符号を復号して得られる補助情報を蓄積する補助情報蓄積ステップと、
音声パケットロス検出時に音声パラメータを出力する音声パラメータ紛失処理ステップと、
音声パラメータから復号音声を合成する音声合成ステップと、
を含み、
前記音声パラメータ紛失処理ステップは、音声パケットロス検出時に、音声パケット正常受信時に蓄積した音声パラメータと前記補助情報蓄積ステップにて蓄積された補助情報とを用いて、音声パラメータの予測値を算出し、算出された予測値の信頼度が低い場合には、前記補助情報蓄積ステップにて蓄積された補助情報を音声パラメータとして採用する。

【0266】

前記補助情報は、先読み信号におけるピッチラグに関する、こととしてもよい。

【0267】

前記補助情報は、補助情報が音声符号化装置から伝送されたか否かを示す値を含み、前記音声パラメータ紛失処理ステップは、前記補助情報蓄積ステップにて蓄積された補助情報が、音声符号化装置から伝送されたことを示す値を含む場合、音声パケットロス検出時に、音声パケット正常受信時に蓄積した音声パラメータと前記補助情報蓄積ステップにて蓄積された補助情報とを用いて、音声パラメータの予測値を算出し、算出された予測値の信頼度が低い場合には、前記補助情報蓄積ステップにて蓄積された補助情報を音声パラメータとして採用する、こととしてもよい。

【0268】

本発明の一側面に係る音声復号装置は、
音声符号を復号して音声信号を出力する音声復号装置であって、
音声パケットの受信状態からパケットロスを検出する音声符号バッファと、
音声パケット正常受信時に音声符号を復号する音声パラメータ復号部と、
音声パケット正常受信時に補助情報符号を復号する補助情報復号部と、
補助情報符号を復号して得られる補助情報を蓄積する補助情報蓄積部と、
音声パケットロス検出時に音声パラメータを出力する音声パラメータ紛失処理部と、
音声パラメータから復号音声を合成する音声合成部と、
を備え、
前記音声パラメータ紛失処理部は、音声パケットロス検出時に、音声パケット正常受信時に蓄積した音声パラメータと前記補助情報蓄積部から読み出した補助情報とを用いて、音声パラメータの予測値を算出し、算出された予測値の信頼度が低い場合には、前記補助情報蓄積部から読み出した補助情報を音声パラメータとして採用する。

【符号の説明】

【0269】

６０、８０…記憶媒体、６１、８１…プログラム格納領域、７０…音声符号化プログラム、９０…音声復号プログラム、１１１…音声符号化部、１１２…補助情報符号化部、１２１、２３１…音声符号バッファ、１２２、２３２…音声パラメータ復号部、１２３、２３３…音声パラメータ紛失処理部、１２４、２３４…音声合成部、１２５、２３５…補助情報復号部、１２６、２３６…補助情報蓄積部、１５１、５１１、１１２１…ＬＰ係数算出部、１５２、２０１２…ターゲット信号算出部、１５３、５１３、２０１３…ピッチラグ算出部、１５４、１１２３、５１４、２０１４、２３１３…適応符号帳算出部、１５５、１１２４、２３１４…励振ベクトル合成部、１５６、３１５、５１５、２０１９…適応符号帳バッファ、１５７、１１２６、２０１８、２３１６…合成フィルタ、１５８、５１６…ピッチラグ符号化部、１９１…ＩＳＦ予測部、１９２…ピッチラグ予測部、１９３…適応符号帳ゲイン予測部、１９４…固定符号帳ゲイン予測部、１９５…雑音信号生成部、２１１…主要符号化部、２１２…補助情報符号化部、２１３、２３８…隠蔽信号蓄積部、２１４…誤差信号符号化部、２３７…誤差信号復号部、３１１…ＬＰ係数算出部、３１２…ピッチラグ予測部、３１３…ピッチラグ選定部、３１４…ピッチラグ符号化部、５１２…残差信号算出部、７００…音声符号化モジュール、７０１…補助情報符号化モジュール、９００…音声パラメータ復号モジュール、９０１…音声パラメータ紛失処理モジュール、９０２…音声合成モジュール、９０３…補助情報復号モジュール、１１２８…補助情報出力判定部、１１２２、２３１２…適応符号帳、１１２５…ポストフィルタ、１１２７…聴覚重み逆フィルタ、２０１１…ＩＳＦ符号化部、２０１５…固定符号帳算出部、２０１６…ゲイン算出部、２０１７…励振ベクトル算出部、２２１１…ＩＳＦ復号部、２２１２…ピッチラグ復号部、２２１３…ゲイン復号部、２２１４…固定符号帳復号部、２３１８…先読み励振ベクトル合成部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】