特許 6599368 信号分類方法及びその装置、並びにそれを利用したオーディオ符号化方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6599368

(24)【登録日】2019年10月11日

(45)【発行日】2019年10月30日

(54)【発明の名称】信号分類方法及びその装置、並びにそれを利用したオーディオ符号化方法及びその装置

(51)【国際特許分類】

   G10L 25/81 20130101AFI20191021BHJP

   G10L 19/18 20130101ALI20191021BHJP

【ＦＩ】

   G10L25/81

   G10L19/18

【請求項の数】12

【全頁数】18

(21)【出願番号】特願2016-570753(P2016-570753)

(86)(22)【出願日】2015年2月24日

(65)【公表番号】特表2017-511905(P2017-511905A)

(43)【公表日】2017年4月27日

(86)【国際出願番号】KR2015001783

(87)【国際公開番号】WO2015126228

(87)【国際公開日】20150827

【審査請求日】2018年2月1日

(31)【優先権主張番号】61/943,638

(32)【優先日】2014年2月24日

(33)【優先権主張国】US

(31)【優先権主張番号】62/029,672

(32)【優先日】2014年7月28日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】チュー，キ−ヒョン

(72)【発明者】

【氏名】ポロフ，アントン ヴィクトロビッチ

(72)【発明者】

【氏名】オシポフ，コンスタンティン セルギーヴィッチ

【審査官】 山下 剛史

(56)【参考文献】

【文献】 米国特許出願公開第２０１３／０１８５０６３（ＵＳ，Ａ１）

【文献】 国際公開第２０１４／０１０１７５（ＷＯ，Ａ１）

【文献】 特表２０１１−５２７０３２（ＪＰ，Ａ）

【文献】 特表２０１０−５３８３１５（ＪＰ，Ａ）

【文献】 谷口徹他，ＨＭＭを用いた音声・音楽識別，電子情報通信学会技術研究報告，２００３年 ９月，Vol.103，No.331，p.47-51

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １９／００−２５／９３

(57)【特許請求の範囲】

【請求項1】

現在フレームを、音声信号と音楽信号とのうち１つに分類する段階と、
前記現在フレームを含む複数個のフレームから得られる複数の信号特徴に基づいて複数の条件を生成する段階と、
前記複数の条件のうち、いずれか１つの条件と第１しきい値とを比較し、ハングオーバーパラメータと第２しきい値とを比較する段階と、
前記比較結果に対応して、前記現在フレームの分類結果を修正する段階と、を含み、
前記修正する段階は、互いに独立した第１状態マシーン及び第２状態マシーンに基づいて行われ、
前記複数の条件のうち、前記第１状態マシーンで前記第１しきい値と比較される条件と、前記第２状態マシーンで前記第１しきい値と比較される条件は、互いに異なることを特徴とする信号分類方法。

【請求項2】

前記第１状態マシーン及び前記第２状態マシーンは、音楽状態マシーンと音声状態マシーンとを含むことを特徴とする請求項１に記載の信号分類方法。

【請求項3】

前記信号分類方法は、前記現在フレームの分類結果が音楽信号であり、前記現在フレームが音声特徴を有すると判断された場合、前記分類結果にエラーが存在すると判断する段階を含むことを特徴とする請求項１に記載の信号分類方法。

【請求項4】

前記信号分類方法は、前記現在フレームの分類結果が音声信号であり、前記現在フレームが音楽特徴を有すると判断された場合、前記分類結果にエラーが存在すると判断する段階を含むことを特徴とする請求項１に記載の信号分類方法。

【請求項5】

前記修正する段階は、前記現在フレームの分類結果が音楽信号であり、前記現在フレームが音声特徴を有すると判断された場合、前記分類結果を音声信号に修正することを特徴とする請求項１に記載の信号分類方法。

【請求項6】

前記修正する段階は、前記現在フレームの分類結果が音声信号であり、前記現在フレームが音楽特徴を有すると判断された場合、前記分類結果を音楽信号に修正することを特徴とする請求項１に記載の信号分類方法。

【請求項7】

現在フレームを、音声信号と音楽信号とのうち１つに分類する段階と、
前記現在フレームを含む複数個のフレームから得られる複数の信号特徴に基づいて、複数の条件を生成する段階と、
前記複数の条件のうち、いずれか１つの条件と第１しきい値とを比較し、ハングオーバーパラメータと第２しきい値とを比較する段階と、
前記比較結果に対応して、前記現在フレームの分類結果を修正する段階と、を実行するためのプログラムを記録し、
前記修正する段階は、互いに独立した第１状態マシーン及び第２状態マシーンに基づいて行われ、
前記複数の条件のうち、前記第１状態マシーンで前記第１しきい値と比較される条件と、前記第２状態マシーンで前記第１しきい値と比較される条件は、互いに異なることを特徴とするコンピュータで読み取り可能な記録媒体。

【請求項8】

現在フレームを、音声信号と音楽信号とのうち１つに分類する段階と、
前記現在フレームを含む複数個のフレームから得られる複数の信号特徴に基づいて、複数の条件を生成する段階と、
前記複数の条件のうち、いずれか１つの条件と第１しきい値とを比較し、ハングオーバーパラメータと第２しきい値とを比較する段階と、
前記比較結果に対応して、前記現在フレームの分類結果を修正する段階と、
前記現在フレームの分類結果、あるいは修正された分類結果に基づいて、前記現在フレームを符号化する段階と、を含み、
前記修正する段階は、互いに独立した第１状態マシーン及び第２状態マシーンに基づいて行われ、
前記複数の条件のうち、前記第１状態マシーンで前記第１しきい値と比較される条件と、前記第２状態マシーンで前記第１しきい値と比較される条件は、互いに異なることを特徴とするオーディオ符号化方法。

【請求項9】

前記符号化する段階は、ＣＥＬＰ（ｃｏｄｅ ｅｘｃｉｔｅｄ ｌｉｎｅａｒ ｐｒｅｄｉｃｔｉｏｎ）タイプコーダとトランスフォームコーダとのうち１つを利用して遂行されることを特徴とする請求項８に記載のオーディオ符号化方法。

【請求項10】

前記符号化する段階は、ＣＥＬＰタイプコーダ、トランスフォームコーダ及びＣＥＬＰ／トランスフォームハイブリッドコーダのうち１つを利用して遂行されることを特徴とする請求項９に記載のオーディオ符号化方法。

【請求項11】

現在フレームを、音声信号と音楽信号とのうち１つに分類し、前記現在フレームを含む複数個のフレームから得られる複数の信号特徴に基づいて、複数の条件を生成し、前記複数の条件のうち、いずれか１つの条件と第１しきい値とを比較し、ハングオーバーパラメータと第２しきい値とを比較し、前記比較結果に対応して、前記現在フレームの分類結果を修正するように構成される少なくとも１つのプロセッサを含み、
前記現在フレームの分類結果の修正は、互いに独立した第１状態マシーン及び第２状態マシーンに基づいて行われ、
前記複数の条件のつい、前記第１状態マシーンで前記第１しきい値と比較される条件と、前記第２状態マシーンで前記第１しきい値と比較される条件は、互いに異なることを特徴とする信号分類装置。

【請求項12】

現在フレームを、音声信号と音楽信号とのうち１つに分類し、前記現在フレームを含む複数個のフレームから得られる複数の信号特徴に基づいて、複数の条件を生成し、前記複数の条件のうち、いずれか１つの条件と第１しきい値とを比較し、ハングオーバーパラメータと第２しきい値とを比較し、前記比較結果に対応して、前記現在フレームの分類結果を修正し、前記現在フレームの分類結果、あるいは修正された分類結果に基づいて、前記現在フレームを符号化するように構成された少なくとも１つのプロセッサを含み、
前記修正する段階は、互いに独立した第１状態マシーン及び第２状態マシーンに基づいて行われ、
前記複数の条件のち、前記第１状態マシーンで前記第１しきい値と比較される条件と、前記第２状態マシーンで前記第１しきい値と比較される条件は、互いに異なることを特徴とするオーディオ符号化装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オーディオ符号化に係り、さらに具体的には、復元音質を向上させる一方、符号化モードスイッチングによるディレイを減らすことができる信号分類方法及びその装置、並びにそれを利用したオーディオ符号化方法及びその装置に関する。

【背景技術】

【0002】

音楽信号の場合、周波数ドメインでの符号化が効率的であり、音声信号の場合、時間ドメインでの符号化が効率的であるということが周知されている。従って、音楽信号と音声信号とが混合されたオーディオ信号に対して、音楽信号に該当するか、あるいは音声信号に該当するかということを分類し、分類結果に対応し、符号化モードを決定する技術が多様に提案されている。

【0003】

しかし、頻繁な符号化モードのスイッチングによってディレイが発生するだけではなく、復元音質の劣化をもたらし、初期分類結果を修正する技術が提案されておらず、一次的な信号分類にエラーが存在する場合、復元音質の劣化が発生するという問題があった。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の技術的課題は、オーディオ信号の特性に適するように符号化モードを決定し、復元音質を向上させることができる信号分類方法及びその装置、並びにそれを利用したオーディオ符号化方法及びその装置を提供するところにある。

【0005】

本発明の技術的課題は、オーディオ信号の特性に適するように符号化モードを決定しながら、符号化モードスイッチングによるディレイを減らすことができる信号分類方法及びその装置、並びにそれを利用したオーディオ符号化方法及びその装置を提供するところにある。

【課題を解決するための手段】

【0006】

一側面によれば、信号分類方法は、現在フレームを音声信号と音楽信号とのうち一つに分類する段階、複数個のフレームから得られる特徴パラメータに基づいて、前記現在フレームの分類結果にエラーが存在するか否かということを判断する段階、及び前記判断結果に対応し、前記現在フレームの分類結果を修正する段階を含んでもよい。
一側面によれば、信号分類装置は、現在フレームを音声信号と音楽信号とのうち一つに分類し、複数個のフレームから得られる特徴パラメータに基づいて、前記現在フレームの分類結果にエラーが存在するか否かということを判断し、前記判断結果に対応し、前記現在フレームの分類結果を修正するように構成された少なくとも１つのプロセッサを含んでもよい。

【0007】

一側面によれば、オーディオ符号化方法は、現在フレームを音声信号と音楽信号とのうち一つに分類する段階、複数個のフレームから得られる特徴パラメータに基づいて、前記現在フレームの分類結果にエラーが存在するか否かということを判断する段階、前記判断結果に対応し、前記現在フレームの分類結果を修正する段階、及び前記現在フレームの分類結果、あるいは修正された分類結果に基づいて、前記現在フレームを符号化する段階を含んでもよい。

【0008】

一側面によれば、オーディオ符号化装置は、現在フレームを音声信号と音楽信号とのうち一つに分類し、複数個のフレームから得られる特徴パラメータに基づいて、前記現在フレームの分類結果にエラーが存在するか否かということを判断し、前記判断結果に対応し、前記現在フレームの分類結果を修正し、前記現在フレームの分類結果、あるいは修正された分類結果に基づいて、前記現在フレームを符号化するように構成された少なくとも１つのプロセッサを含んでもよい。

【発明の効果】

【0009】

オーディオ信号の初期分類結果を、修正パラメータに基づいて修正することにより、オーディオ信号の特性に最適な符号化モードを決定しながらも、フレーム間での頻繁な符号化モードのスイッチングを防止することができる。

【図面の簡単な説明】

【0010】

【図1】一実施形態によるオーディオ信号分類装置の構成を示したブロック図である。

【図2】他の実施形態によるオーディオ信号分類装置の構成を示したブロック図である。

【図3】一実施形態によるオーディオ符号化装置の構成を示したブロック図である。

【図4】一実施形態による、ＣＥＬＰ（code excited linear prediction）コアでの信号分類修正方法について説明するフローチャートである。

【図5】一実施形態による、ＨＱ（high quality）コアでの信号分類修正方法について説明するフローチャートである。

【図6】一実施形態による、ＣＥＬＰコアでのコンテクスト基盤信号分類修正のための状態マシーンを示す図面である。

【図7】一実施形態による、ＨＱコアでのコンテクスト基盤信号分類修正のための状態マシーンを示す図面である。

【図8】一実施形態による符号化モード決定装置の構成を示したブロック図である。

【図9】一実施形態によるオーディオ信号分類方法について説明するフローチャートである。

【図10】一実施形態によるマルチメディア機器の構成を示したブロック図である。

【図11】他の実施形態によるマルチメディア機器の構成を示したブロック図である。

【発明を実施するための形態】

【0011】

以下、図面を参照し、本発明の実施形態について具体的に説明する。該実施形態についての説明において、関連公知構成または機能についての具体的な説明が要旨を不明確にすると判断される場合には、その詳細な説明は省略する。

【0012】

ある構成要素が他の構成要素に連結されているか、あるいは接続されていると言及されたときには、当該他の構成要素に直接に連結されていたり接続されていたりするということもあるが、中間にさらに他の構成要素が存在することもあると理解されなければならないであろう。

【0013】

第１、第２のような用語は、多様な構成要素についての説明にも使用されるが、前記構成要素は、前記用語によって限定されるものではない。前記用語は、１つの構成要素を他の構成要素から区別する目的のみに使用されるのである。

【0014】

該実施形態に示される構成部は、互いに異なる特徴的な機能を示すために独立して図示されることにより、各構成部が、分離されたハードウェアや１つのソフトウェア構成単位からなるということを意味するものではない。各構成部は、説明の便宜上、それぞれの構成部を並べたものであり、各構成部のうち少なくとも２つの構成部が合わされて１つの構成部からなるか、１つの構成部が、複数個の構成部に分けられて機能を遂行することができる。

【0015】

図１は、一実施形態によるオーディオ信号分類装置の構成を示したブロック図である。図１に図示されたオーディオ信号分類装置１００は、信号分類部１１０と修正部１３０とを含んでもよい。ここで、各構成要素は、別途のハードウェアによって具現されなければならない必要がある場合を除いては、少なくとも１つのモジュールに一体化され、少なくとも１つのプロセッサ（図示せず）としても具現される。ここで、オーディオ信号は、音楽信号または音声信号、あるいは音楽と音声との混合信号を意味する。

【0016】

図１を参照すれば、信号分類部１１０は、多様な初期分類パラメータに基づいて、オーディオ信号が、音楽信号に該当するか、あるいは音声信号に該当するかということを分類することができる。オーディオ信号分類過程は、少なくとも１以上の段階を含んでもよい。一実施形態によれば、現在フレーム、と複数個の以前フレームとの信号特性に基づいて、オーディオ信号を、音声信号または音楽信号に分類することができる。該信号特性は、短区間特性と長区間特性とのうち少なくとも一つを含んでもよい。また、該信号特性は、時間ドメイン特性と周波数ドメイン特性とのうち少なくとも一つを含んでもよい。ここで、音声信号に分類されれば、ＣＥＬＰ（code excited linear prediction）タイプコーダを利用して符号化される。一方、音楽信号に分類されれば、トランスフォームコーダを利用して符号化される。ここで、トランスフォームコーダの一例としては、ＭＤＣＴ（modified discrete cosine transform）コーダを挙げることができるが、それに限定されるものではない。

【0017】

他の実施形態によれば、オーディオ信号分類過程は、オーディオ信号が音声特性を有する否かということにより、オーディオ信号を、音声信号と、一般的なオーディオ信号（generic audio signal）、すなわち、音楽信号に分類する第１段階と、一般オーディオ信号が、ＧＳＣ（generic signal audio coder）に適するか否かということを判断するための第２段階と、を含んでもよい。第１段階の分類結果と、第２段階の分類結果とを組み合わせ、オーディオ信号が音声信号に分類されるか、あるいは音楽信号に分類されるかということを決定することができる。音声信号に分類されれば、ＣＥＬＰタイプコーダによって符号化される。ＣＥＬＰタイプコーダは、ビット率あるいは信号特性により、無声音符号化（ＵＣ：unvoiced codingモード、有声音符号化（ＶＣ：voiced coding）モード、トランジェント符号化（ＴＣ：transition coding）モード、一般符号化（ＧＣ：generic coding）モードのうち複数個を含んでもよい。一方、ＧＳＣ（generic signal audio coding）モードは、別途のコーダによって具現されるか、あるいはＣＥＬＰタイプコーダの１つのモードに含まれてもよい。音楽信号に分類されれば、トランスフォームコーダ、あるいはＣＥＬＰ／トランスフォームハイブリッドコーダのうち一つを利用して符号化される。細部的には、トランスフォームコーダは、音楽信号に適用され、ＣＥＬＰ／トランスフォームハイブリッドコーダは、音声信号ではない非音楽（non-music）信号、あるいは音楽と音声とが混合された信号（mixed signal）に適用される。一実施形態によれば、帯域幅により、ＣＥＬＰタイプコーダ、ＣＥＬＰ／トランスフォームハイブリッドコーダ及びトランスフォームコーダがいずれも使用されるか、ＣＥＬＰタイプコーダとトランスフォームコーダとが使用される。例えば、狭帯域（ＮＢ）である場合、ＣＥＬＰタイプコーダとトランスフォームコーダとが使用され、広帯域（ＷＢ）、超広帯域（ＳＷＢ）、全帯域（ＦＢ）の場合、ＣＥＬＰタイプコーダ、ＣＥＬＰ／トランスフォームハイブリッドコーダ及びトランスフォームコーダが使用される。ＣＥＬＰ／トランスフォームハイブリッドコーダは、時間ドメインで動作するＬＰ基盤コーダと、トランスフォームドメインコーダとを結合したものであり、ＧＳＣともいう。

【0018】

第１段階の信号分類は、ＧＭＭ（Gaussian mixture model）に基づく。ＧＭＭのために、多様な信号特性が使用される。該信号特性の例としては、オープンループピッチ、正規化された相関度、スペクトルエンベロープ、トーナル安定度、信号のノンステーショナリティ、ＬＰレジデュアルエラー、スペクトル差値、スペクトルステーショナリティのような特性を有することができるが、それらに限定されるものではない。第２段階の信号分類のために使用される信号特性の例としては、スペクトルエネルギー変動特性、ＬＰ分析レジデュアルエネルギーのチルト特性、高域スペクトルピーキネス特性、相関度特性、ボイシング特性、トーナル特性などを挙げることができるが、それらに限定されるものではない。第１段階で使用される特性は、ＣＥＬＰタイプコーダによって符号化することが適するか否かということを判断するために、音声特性であるか、あるいは非音性特性であるかということを判断するためのものであり、第２段階で使用される特性は、ＧＳＣで符号化することが適するか否かということを判断するために、音楽特性であるか、あるいは非音楽特性であるかということを判断するためのものでもある。例えば、第１段階において音楽信号に分類された１セットのフレームは、第２段階において音声信号に転換され、ＣＥＬＰモードのうち一つで符号化される。すなわち、大きいピッチ周期及び高い安定度を有しながら、相関度が大きい信号あるいはアタック信号である場合、第２段階において、音楽信号から音声信号に転換される。かような信号分類結果により、符号化モードが変更される。

【0019】

修正部１３０は、信号分類部１１０の分類結果を、少なくとも１つの修正パラメータに基づいて修正したり維持したりすることができる。修正部１３０は、コンテクストに基づいて、信号分類部１１０の分類結果を修正したり維持したりすることができる。例えば、現在フレームが音声信号に分類された場合、音楽信号に修正されたり音声信号として維持されたりすることができ、現在フレームが音楽信号に分類された場合、音声信号に修正されたり音楽信号として維持されたりすることができる。現在フレームの分類結果にエラーが存在するか否かということを判断するために、現在フレームを含む複数個フレームの特性が使用される。例えば、８個のフレームが使用されるが、それらに限定されるものではない。

【0020】

修正パラメータの例としては、トーナリティ、線形予測エラー、ボイシング、相関度のような特性のうち少なくとも一つを組み合わせて使用される。ここで、該トーナリティは、１〜２ｋＨｚ領域のトーナリティ（ｔｏｎ_２）と２〜４ｋＨｚ領域のトーナリティ（ｔｏｎ_３）とを含んでもよく、それぞれ下記数式（１）及び（２）によって定義される。

【0021】

【数1】

ここで、上添字（superscript）［−ｉ］は、以前フレームを示す。例えば、tonality２^［−１］は、１フレーム以前フレームの１〜２ｋＨｚ領域のトーナリティを示す。

【0022】

一方、低域の長区間トーナリティｔｏｎ_ＬＴは、ｔｏｎ_ＬＴ＝０．２＊ｌｏｇ_１０［ｌｔ＿tonality］と一緒に定義される。ここで、ｌｔ＿tonalityは、全帯域の長区間トナリティーを示すことができる。

【0023】

一方、ｎフレームにおいて、１〜２ｋＨｚ領域のトーナリティ（ｔｏｎ_２）と２〜４ｋＨｚ領域のトーナリティ（ｔｏｎ_３）との差ｄ_ｆｔは、ｄｆｔ＝０．２＊｛ｌｏｇ_１０（tonality２（ｎ））−ｌｏｇ１０（tonality３（ｎ）））のように定義される。

【0024】

次に、線形予測エラーＬＰ_ｅｒｒは、次の数式（３）によって定義される。

【0025】

【数2】

ここで、ＦＶ_ｓ（９）は、ＦＶ_ｓ（ｉ）＝ｓｆａ_ｉＦＶ_ｉ＋ｓｆｂ_ｉ（ここで、ｉ＝０，…，１１）によって定義され、信号分類部１１０，２１０で使用される特徴パラメータのうち、次の数式（４）によって定義されるＬＰレジデュアルログ・エネルギーの比率特徴パラメータをスケーリングした値に該当するのである。ここで、ｓｆａ_ｉ、ｓｆｂ_ｉは、特徴パラメータの種類及び帯域幅によって異なり、各特徴パラメータを［０；１］範囲に近似化するために使用される。

【0026】

【数3】

ここで、Ｅ（１）は、最初ＬＰ係数のエネルギーを示し、Ｅ（１３）は、１３番目ＬＰ係数のエネルギーを示す。

【0027】

次に、信号分類部１１０，２１０で使用される特徴パラメータにおいて、下記数式（５）によって定義される正規化された相関度特徴あるいはボイシング特徴ＦＶ_１を、ＦＶ_ｓ（ｉ）＝ｓｆａ_ｉＦＶ_ｉ＋ｓｆｂ_ｉ（ここで、ｉ＝０，…，０，…，１１）に基づいてスケーリングした値ＦＶｓ（１）と、下記数式（６）で定義される相関度マップ特徴ＦＶ（７）を、ＦＶ_ｓ（ｉ）＝ｓｆａ_ｉＦＶｉ＋ｓｆｂ_ｉ（ここで、ｉ＝０，…，１１）に基づいてスケーリングした値ＦＶ_ｓ（７）との差ｄ_ｖｃｏｒは、ｄ_ｖｃｏｒ＝ｍａｘ（ＦＶ_ｓ（１）−ＦＶ_ｓ（７），０）と定義される。

【0028】

【数4】

ここで、

【0029】

【数5】

は、最初あるいは２番目のハーフフレームでの正規化された相関度を示す。

【0030】

【数6】

ここで、Ｍ_ｃｏｒは、フレームの相関度マップを示す。

【0031】

前記複数個の特徴パラメータを組み合わせるか、あるいは単一特徴パラメータを利用して、次の条件１ないし条件４のうち少なくとも１以上を含む修正パラメータを生成することができる。ここで、条件１と条件２は、音声状態（SPEECH＿STATE）を変更することができる条件を意味し、条件３と条件４は、音楽状態（MUSIC＿STATE）を変更することができる条件を意味する。具体的には、条件１は、音声状態（SPEECH＿STATE）を０から１に変更することができ、条件２は、音声状態（SPEECH＿STATE）を１から０に変更することができる。一方、条件３は、音楽状態（MUSIC＿STATE）を０から１に変更することができ、条件４は、音楽状態（MUSIC＿STATE）を１から０に変更することができる。音声状態（SPEECH＿STATE）が１であるならば、音声である確率が高い、すなわち、ＣＥＬＰタイプコーディングが適するということを意味し、０であるならば、音声ではない確率が高いということを意味する。音楽状態（MUSIC＿STATE）が１であるならば、トランスフォームコーディングに適するということを意味し、０であるならば、ＣＥＬＰ／トランスフォームハイブリッドコーディング、すなわち、ＧＳＣに適するということを意味する。他の例として、音楽状態（MUSIC＿STATE）が１であるならば、トランスフォームコーディングに適するということを意味し、０であるならば、ＣＥＬＰタイプコーディングに適するということを意味する。

【0032】

条件１（ｆ_Ａ）は、例えば、次のように定義される。すなわち、ｄ_ｖｃｏｒ＞０．４ AND ｄ_ｆｔ＜０．１ AND ＦＶ_ｓ（１）＞（２＊ＦＶ_ｓ（７）＋０．１２） AND ｔｏｎ_２＜ｄ_ｖｃｏｒ AND ｔｏｎ_３＜ｄ_ｖｃｏｒ AND ｔｏｎ_ＬＴ＜ｄ_ｖｃｏｒ AND ＦＶ_ｓ（７）＜ｄ_ｖｃｏｒ AND ＦＶ_ｓ（１）＞ｄ_ｖｃｏｒ AND ＦＶ_ｓ（１）＞０．７６であるならば、ｆ_Ａは、１に設定される。

【0033】

条件２（ｆ_Ｂ）は、例えば、次のように定義される。すなわち、ｄ_ｖｃｏｒ＜０．４であるならば、ｆ_Ｂは、１に設定される。

【0034】

条件３（ｆ_Ｃ）は、例えば、次のように定義される。すなわち、０．２６＜ｔｏｎ_２＜０．５４ AND ｔｏｎ_３＞０．２２ AND ０．２６＜ｔｏｎ_ＬＴ＜０．５４ AND ＬＰ_ｅｒｒ＞０．５であるならば、ｆ_Ｃは、１に設定される。

【0035】

条件４（ｆ_Ｄ）は、例えば、次のように定義される。すなわち、ｔｏｎ_２＜０．３４ AND ｔｏｎ_３＜０．２６ AND ０．２６＜ｔｏｎ_ＬＴ＜０．４５であるならば、ｆ_Ｄは、１に設定される。

【0036】

各条件を生成するために使用された特徴、あるいは特徴の組み合わせは、それらに限定されるものではない。また、各定数値は、例示的なものに過ぎず、具現方式により、最適値に設定される。

【0037】

具体的には、修正部１３０は、２つの独立した状態マシーン、例えば、音声状態マシーンと音楽状態マシーンとを利用して、初期分類結果に存在するエラーを訂正することができる。各状態マシーンは、２つの状態を有し、各状態においてハングオーバーが使用され、頻繁なトランジションを防止することができる。該ハングオーバーは、例えば、６個フレームから構成される。音声状態マシーンにおいて、ハングオーバー変数をｈａｎｇ_ｓｐと示し、音楽状態マシーンにおいて、ハングオーバー変数をｈａｎｇ_ｍｕｓと示す場合、与えられた状態において分類結果に変化がある場合、それぞれ６に初期化され、その後、ハングオーバーが、それぞれ次のフレームについて１ずつ減少する。状態変化は、ハングオーバーがゼロに減少される場合にのみ発生する。それぞれの状態マシーンには、オーディオ信号から抽出される少なくとも１以上の特徴が組み合わせされて生成される修正パラメータが使用される。

【0038】

図２は、他の実施形態によるオーディオ信号分類装置の構成を示したブロック図である。図２に図示されたオーディオ信号分類装置２００は、信号分類部２１０、修正部２３０及び細部分類部（fine classifier）２５０を含んでもよい。図１のオーディオ信号分類装置１００との差異は、細部分類部２５０をさらに含むというところにあり、信号分類部２１０と修正部２３０との機能は図１と同一であるので、その細部的な説明は省略する。

【0039】

図２を参照すれば、細部分類部２５０は、修正部２３０で修正されるか維持された分類結果について、細部分類パラメータに基づいて、細部的に分類することができる。一実施形態によれば、細部分類部２５０は、音楽信号に分類されたオーディオ信号が、ＣＥＬＰ／トランスフォームハイブリッドコーダ、すなわち、ＧＳＣで符号化することが適するか否かということを判断して修正するためのものである。このとき、修正方法としては、特定パラメータあるいはフラグを変更し、トランスフォームコーダが選択されないようにする。細部分類部２５０は、修正部２３０から出力される分類結果が、音楽信号である場合、細部分類を行い、再び音楽信号であるか音声信号であるかということを分類することができる。細部分類部２５０の分類結果が音楽信号である場合、第２符号化モードとして、トランスフォームコーダをそのまま利用して符号化することができ、細部分類部２５０の分類結果が音声信号である場合、第３符号化モードとして、ＣＥＬＰ／トランスフォームハイブリッドコーダを利用して符号化することができる。一方、修正部２３０から出力される分類結果が音声信号である場合、第１符号化モードとして、ＣＥＬＰタイプコーダを利用して符号化することができる。細部分類パラメータの一例としては、トーナリティ、ボイシング、相関度、ピッチ利得、ピッチ差のような特徴を含んでもよいが、それらに限定されるものではない。

【0040】

図３は、一実施形態によるオーディオ符号化装置の構成を示したブロック図である。図３に図示されたオーディオ符号化装置３００は、符号化モード決定部３１０と符号化モジュール３３０とを含んでもよい。符号化モード決定部３１０は、図１のオーディオ信号分類装置１００、あるいは図２のオーディオ信号分類装置２００の構成要素を含んでもよい。符号化モジュール３３０は、第１符号化部３３１、第２符号化部３３３及び第３符号化部３３５を含んでもよい。ここで、第１符号化部３３１は、ＣＥＬＰタイプコーダにも該当し、第２符号化部３３３は、ＣＥＬＰ／トランスフォームハイブリッドコーダにも該当し、第３符号化部３３５は、トランスフォームコーダにも該当する。一方、ＧＳＣがＣＥＬＰタイプコーダの１つのモードで具現されるとき、符号化モジュール３３０は、第１符号化部３３１及び第３符号化部３３５を含んでもよい。符号化モジュール３３０及び第１符号化部３３１は、ビット率あるいは帯域幅によって、多様な構成（configuration）を有することができる。

【0041】

図３を参照すれば、符号化モード決定部３１０は、信号特性に基づいて、オーディオ信号が音楽信号であるか音声信号であるかということを分類し、分類結果に対応し、符号化モードを決定することができる。該符号化モードは、スーパーフレーム単位、フレーム単位あるいはバンド単位で遂行される。また、符号化モードは、複数のスーパーフレームグループ、複数のフレームグループ、複数のバンドグループ単位で遂行される。ここで、符号化モードの例としては、トランスフォームドメインモードと線形予測ドメインモードとの二つがあるが、それらに限定されるものではない。線形予測ドメインモードは、ＵＣモード、ＶＣモード、ＴＣモード、ＧＣモードを含んでもよい。一方、ＧＳＣモードは、別途の符号化モードに分類されるか、線形予測ドメインモードの細部モードに含まれてもよい。プロセッサの性能及び処理速度などが支援され、符号化モードスイッチングによるディレイが解決される場合、符号化モードをさらに細分化させることができ、符号化モードに対応し、符号化方式も細分化させることができる。具体的には、符号化モード決定部３１０は、初期分類パラメータに基づいて、オーディオ信号を、音楽信号と音声信号とのうち一つに分類することができる。符号化モード決定部３１０は、修正パラメータに基づいて、音楽信号である分類結果を、音声信号に修正するかそのまま維持するか、あるいは音声信号である分類結果を、音楽信号に修正するかそのまま維持することができる。符号化モード決定部３１０は、修正されるか維持された分類結果、例えば、音楽信号である分類結果に対して、細部分類パラメータに基づいて、音楽信号と音声信号とのうち一つに分類することができる。符号化モード決定部３１０は、最終分類結果を利用して、符号化モード決定することができる。一実施形態によれば、符号化モード決定部３１０は、ビット率と帯域幅とのうち少なくとも一つに基づいて、符号化モードを決定することができる。

【0042】

符号化モジュール３３０において第１符号化部３３１は、修正部１３０，２３０の分類結果が、音声信号に該当する場合に動作される。第２符号化部３３３は、修正部１３０の分類結果が音楽信号に該当するか、あるいは細部分類部３５０の分類結果が音声信号に該当する場合に動作される。第３符号化部３３５は、修正部１３０の分類結果が音楽信号に該当するか、あるいは細部分類部３５０の分類結果が音楽信号に該当する場合に動作される。

【0043】

図４は、一実施形態による、ＣＥＬＰコアでの信号分類修正方法について説明するフローチャートであり、図１あるいは図２の修正部１３０，２３０で遂行される。

【0044】

図４を参照すれば、４１０段階においては、修正パラメータ、例えば、条件１及び条件２を受信することができる。また、４１０段階においては、音声状態マシーンのハングオーバー情報を受信することができる。また、４１０段階においては、初期分類結果を受信することができる。初期分類結果は、図１あるいは図２の信号分類部１１０，２１０から提供される。

【0045】

４２０段階においては、初期分類結果、すなわち、音声状態が０でありながら、条件１（ｆ_Ａ）が１であり、音声状態マシーンのハングオーバーｈａｎｇ_ｓｐが０であるか否かということを判断することができる。４２０段階において、音声状態が０でありながら、条件１が１であり、音声状態マシーンのハングオーバーｈａｎｇ_ｓｐが０であると判断された場合、４３０段階において、音声状態を１に変更し、ハングオーバーｈａｎｇ_ｓｐを６に初期化することができる。初期化されたハングオーバー値は、４６０段階に提供される。一方、４２０段階において、音声状態が０ではないか、条件１が１ではないか、あるいは音声状態マシーンのハングオーバーｈａｎｇ_ｓｐが０ではない場合、４４０段階に進むことができる。

【0046】

４４０段階においては、初期分類結果、すなわち、音声状態が１でありながら、条件２（ｆ_Ｂ）が１であり、音声状態マシーンのハングオーバーｈａｎｇ_ｓｐが０であるか否かということを判断することができる。４４０段階において、音声状態が１でありながら、条件２が１であり、音声状態マシーンのハングオーバーｈａｎｇ_ｓｐが０であると判断された場合、４５０段階において、音声状態を０に変更し、ハングオーバーｈａｎｇ_ｓｐを６に初期化することができる。初期化されたハングオーバー値は、４６０段階に提供される。一方、４４０段階において、音声状態が１ではないか、条件２が１ではないか、あるいは音声状態マシーンのハングオーバーｈａｎｇ_ｓｐが０ではない場合、４６０段階に進み、ハングオーバーを１ほど減少させるハングオーバーアップデートを行うことができる。

【0047】

図５は、一実施形態による、ＨＱコアでの信号分類修正方法について説明するフローチャートであり、図１あるいは図２の修正部１３０，２３０で遂行される。図５を参照すれば、５１０段階においては、修正パラメータ、例えば、条件３及び条件４を受信することができる。また、５１０段階においては、音楽状態マシーンのハングオーバー情報を受信することができる。また、５１０段階においては、初期分類結果を受信することができる。初期分類結果は、図１あるいは図２の信号分類部１１０，２１０から提供される。

【0048】

５２０段階においては、初期分類結果、すなわち、音楽状態が１でありながら、条件３（ｆ_Ｃ）が１であり、音楽状態マシーンのハングオーバーｈａｎｇ_ｍｕｓが０であるか否かということを判断することができる。５２０段階において、音楽状態が１でありながら、条件３が１であり、音楽状態マシーンのハングオーバーｈａｎｇｎ_ｍｕｓが０であると判断された場合、５３０段階において、音楽状態を０に変更し、ハングオーバーｈａｎｇ_ｍｕｓを６に初期化することができる。初期化されたハングオーバー値は、５６０段階に提供される。一方、５２０段階において、音楽状態が１ではないか、条件３が１ではないか、あるいは音楽状態マシーンのハングオーバーｈａｎｇ_ｍｕｓが０ではない場合、５４０段階に進むことができる。

【0049】

５４０段階においては、初期分類結果、すなわち、音楽状態が０でありながら、条件４（ｆ_Ｄ）が１であり、音楽状態マシーンのハングオーバーｈａｎｇ_ｍｕｓが０であるか否かということを判断することができる。５４０段階において、音楽状態が０でありながら、条件４が１であり、音楽状態マシーンのハングオーバーｈａｎｇ_ｍｕｓが０であると判断された場合、５５０段階において、音楽状態を１に変更し、ハングオーバーｈａｎｇ_ｍｕｓを６に初期化することができる。初期化されたハングオーバー値は、５６０段階に提供される。一方、５４０段階において音楽状態が０ではないか、条件４が１ではないか、あるいは音楽状態マシーンのハングオーバーｈａｎｇ_ｍｕｓが０ではない場合、５６０段階に進み、ハングオーバーを１ほど減少させるハングオーバーアップデートを行うことができる。

【0050】

図６は、一実施形態によるＣＥＬＰコアに適する状態、すなわち、音声状態において、コンテクスト基盤信号分類修正のための状態マシーンを示すものであり、図４に対応する。

【0051】

図６によれば、修正部１３０，２３０（図１）においては、音楽状態マシーンで決定される音楽状態と、音声状態マシーンで決定される音声状態とにより、分類結果に対する修正（corection）が適用される。例えば、初期分類結果が音楽信号に設定された場合、修正パラメータに基づいて、音声信号に変更することができる。具体的には、初期分類結果のうち第１段階の分類結果が音楽信号であり、音声状態が１になった場合、第１段階の分類結果と、第２段階の分類結果とのいずれも音声信号に変更することができる。かような場合、初期分類結果にエラーが存在すると判断され、分類結果に対する修正が行われる。

【0052】

図７は、一実施形態によるＨＱ（high quality）コアに適する状態、すなわち、音楽状態において、コンテクスト基盤信号分類修正のための状態マシーンを示すものであり、図５に対応する。

【0053】

図７によれば、修正部１３０，２３０（図１）においては、音楽状態マシーンで決定される音楽状態と、音声状態マシーンで決定される音声状態とにより、分類結果に対する修正が適用される。例えば、初期分類結果が音声信号に設定された場合、修正パラメータに基づいて、音楽信号に変更することができる。具体的には、初期分類結果のうち第１段階の分類結果が音声信号であり、音楽状態が１になった場合、第１段階の分類結果と、第２段階の分類結果とのいずれも音楽信号に変更することができる。一方、初期分類結果が音楽信号に設定された場合、修正パラメータに基づいて、音声信号に変更することができる。かような場合、初期分類結果にエラーが存在すると判断され、分類結果に対する修正が行われる。

【0054】

図８は、一実施形態による符号化モード決定装置の構成を示したブロック図である。図８に図示された符号化モード決定装置は、初期符号化モード決定部８１０と修正部８３０とを含んでもよい。

【0055】

図８を参照すれば、初期符号化モード決定部８１０は、オーディオ信号が音声特性を有するか否かということを判断し、音声特性を有する場合、第１符号化モードを初期符号化モードに決定することができる。第１符号化モードである場合、オーディオ信号をＣＥＬＰタイプコーダによって符号化することができる。初期符号化モード決定部８１０は、オーディオ信号が音声特性を有さない場合、第２符号化モードを初期符号化モードに決定することができる。第２符号化モードである場合、オーディオ信号をトランスフォームコーダによって符号化することができる。一方、初期符号化モード決定部８１０は、オーディオ信号が音声特性を有さない場合、ビット率によって、第２符号化モードと第３符号化モードとのうち一つを初期符号化モードに決定することができる。ここで、第３符号化モードである場合、オーディオ信号をＣＥＬＰ／トランスフォームハイブリッドコーダによって符号化することができる。一実施形態によれば、初期符号化モード決定部８１０は、スリーウェイ（３−way）方式を使用することができる。

【0056】

修正部８３０は、初期符号化モードが第１符号化モードに決定された場合、修正パラメータに基づいて、第２符号化モードに修正することができる。例えば、初期分類結果が音声信号であるが、音楽特性を有する場合、初期分類結果を音楽信号に修正することができる。一方、修正部８３０は、初期符号化モードが第２符号化モードに決定された場合、修正パラメータに基づいて、第１符号化モードあるいは第３符号化モードに修正することができる。例えば、初期分類結果が音楽信号であるが、音声特性を有する場合、初期分類結果を音声信号に修正することができる。

【0057】

図９は、一実施形態によるオーディオ信号分類方法について説明するフローチャートである。図９を参照すれば、９１０段階においては、オーディオ信号を、音楽信号あるいは音声信号のうち一つに分類することができる。具体的には、９１０段階においては、信号特性に基づいて、現在フレームが音楽信号に該当するか、あるいは音声信号に該当するかということを分類することができる。９１０段階は、図１あるいは図２の信号分類部１１０，２１０で遂行される。

【0058】

９３０段階においては、修正パラメータに基づいて、９１０段階での分類結果にエラーが存在するか否かということを判断することができる。９５０段階においては、９３０段階において、分類結果にエラーが存在すると判断された場合、分類結果を修正することができる。一方、９７０段階においては、９３０段階において、分類結果にエラーが存在しないと判断された場合、分類結果をそのまま維持することができる。９３０段階ないし９７０段階は、図１あるいは図２の修正部１３０，２３０で遂行される。

【0059】

図１０は、一実施形態によるマルチメディア機器の構成を示したブロック図である。図１０に図示されたマルチメディア機器１０００は、通信部１０１０と符号化モジュール１０３０とを含んでもよい。また、符号化結果として得られるオーディオビットストリームの用途によって、オーディオビットストリームを保存する保存部１０５０をさらに含んでもよい。また、マルチメディア機器１０００は、マイクロフォン１０７０をさらに含んでもよい。すなわち、保存部１０５０とマイクロフォン１０７０は、オプションとして具備される。一方、図１０に図示されたマルチメディア機器１０００は、任意の復号モジュール（図示せず）、例えば、一般的な復号機能を遂行する復号モジュール、あるいは本発明の一実施形態による復号モジュールをさらに含んでもよい。ここで、符号化モジュール１０３０は、マルチメディア機器１０００に具備される他の構成要素（図示せず）と共に一体化され、少なくとも１以上のプロセッサ（図示せず）としても具現される。

【0060】

図１０を参照すれば、通信部１０１０は、外部から提供されるオーディオと、符号化されたビットストリームとのうち少なくとも一つを受信するか、復元されたオーディオと、符号化モジュール１０３０の符号化結果として得られるオーディオビットストリームとのうち少なくとも一つを送信することができる。

【0061】

通信部１０１０は、無線インターネット、無線イントラネット、無線電話網、無線ＬＡＮ（local area network）、Ｗｉ−Ｆｉ（wireless fidelity）、ＷＦＤ（Ｗｉ−Ｆｉ direct）、３Ｇ（３rd generation）、４Ｇ（４th generation）、ブルートゥース（Bluetooth（登録商標））、赤外線通信（ＩｒＤＡ：infrared data association）、ＲＦＩＤ（radio frequency identification）、ＵＷＢ（ultra wideband）、ジグビー（Zigbee（登録商標））、ＮＦＣ（near field communication）のような無線ネットワーク、または有線電話網、有線インターネットのような有線ネットワークを介して、外部のマルチメディア機器あるいはサーバとデータを送受信することができるように構成されてもよい。

【0062】

符号化モジュール１０３０は、一実施形態によれば、通信部１０１０あるいはマイクロフォン１０５０を介して提供される時間ドメインのオーディオ信号に対して符号化を行うことができる。符号化処理は、図１ないし図９に図示された装置あるいは方法を利用して具現される。

【0063】

保存部１０５０は、マルチメディア機器１０００の運用に必要な多様なプログラムを保存することができる。

【0064】

マイクロフォン１０７０は、ユーザあるいは外部のオーディオ信号を符号化モジュール１０３０に提供することができる。

【0065】

図１１は、他の実施形態によるマルチメディア機器の構成を示したブロック図である。図１１に図示されたマルチメディア機器１１００は、通信部１１１０、符号化モジュール１１２０及び復号モジュール１１３０を含んでもよい。また、符号化結果として得られるオーディオビットストリーム、あるいは復号結果として得られる復元されたオーディオ信号の用途によって、オーディオビットストリーム、あるいは復元されたオーディオ信号を保存する保存部１１４０をさらに含んでもよい。また、マルチメディア機器１１００は、マイクロフォン１１５０あるいはスピーカ１１６０をさらに含んでもよい。ここで、符号化モジュール１１２０と復号モジュール１１３０は、マルチメディア機器１１００に具備される他の構成要素（図示せず）と共に一体化され、少なくとも１以上のプロセッサ（図示せず）としても具現される。

【0066】

図１１に図示された各構成要素のうち、図１０に図示されたマルチメディア機器１０００と重複する構成要素については、その詳細な説明は省略する。

【0067】

復号モジュール１１３０は、一実施形態によれば、通信部１１１０を介して提供されるビットストリームを受信し、ビットストリームに含まれたオーディオスペクトルに対して復号を行うことができる。復号モジュール１１３０は、図３の符号化モジュール３３０に対応して具現される。

【0068】

スピーカ１１７０は、復号モジュール１１３０で生成される復元されたオーディオ信号を外部に出力することができる。

【0069】

図１０及び図１１に図示されたマルチメディア機器１０００，１１００には、電話、モバイルフォンなどを含む音声通信専用端末；ＴＶ、ＭＰ３プレーヤなどを含む放送専用装置あるいは音楽専用装置、あるいは音声通信専用端末と、放送専用装置あるいは音楽専用装置との融合端末装置が含まれてもよいが、それらに限定されるものではない。また、マルチメディア機器１０００，１１００は、クライアント、サーバ、あるいはクライアントとサーバとの間に配置される変換器としても使用される。

【0070】

一方、マルチメディア機器１０００，１１００が、例えば、モバイルフォンである場合、図示されていないが、キーパッドのようなユーザ入力部、ユーザインターフェース、あるいはモバイルフォンで処理される情報をディスプレイするディスプレイ部、モバイルフォンの全般的な機能を制御するプロセッサをさらに含んでもよい。また、該モバイルフォンは、撮像機能を有するカメラ部と、モバイルフォンで必要とする機能を遂行する少なくとも１以上の構成要素とをさらに含んでもよい。

【0071】

一方、マルチメディア機器１０００，１１００が、例えば、ＴＶ（television）である場合、図示されていないが、キーパッドのようなユーザ入力部、受信された放送情報をディスプレイするディスプレイ部、ＴＶの全般的な機能を制御するプロセッサをさらに含んでもよい。また、ＴＶは、ＴＶで必要とする機能を遂行する少なくとも１以上の構成要素をさらに含んでもよい。

【0072】

前記実施形態による方法は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータにおいて具現される。また、前述の本発明の実施形態で使用されるデータ構造、プログラム命令あるいはデータファイルは、コンピュータで読み取り可能な記録媒体に、多様な手段を介して記録される。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全種類の保存装置を含んでもよい。コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体（magnetic media）；ＣＤ（compact disc）−ＲＯＭ（read only memory）、ＤＶＤ（digital versatile disc）のような光記録媒体（optical media）；フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical media）、及びＲＯＭ、ＲＡＭ（random access memory）、フラッシュメモリのような、プログラム命令を保存して遂行するように特別に構成されたハードウェア装置が含まれてもよい。また、コンピュータで読み取り可能な記録媒体は、プログラム命令、データ構造などを指定する信号を伝送する伝送媒体でもある。プログラム命令の例としては、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用し、コンピュータによって実行される高級言語コードを含んでもよい。

【0073】

以上のように、本発明の一実施形態は、たとえ限定された実施形態と図面とによって説明されたとしても、本発明の一実施形態は、前述の実施形態に限定されるものではなく、本発明が属する分野で当業者であるならば、かような記載から多様な修正及び変形が可能であろう。従って、本発明のスコープは、前述の説明ではなく、特許請求の範囲に示されており、それと均等または等価的変形も、いずれも本発明技術的思想の範疇に属するものであるといえる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】