特許 6010176 オーディオ信号のデコーディング方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6010176

(24)【登録日】2016年9月23日

(45)【発行日】2016年10月19日

(54)【発明の名称】オーディオ信号のデコーディング方法及びその装置

(51)【国際特許分類】

   H04S 3/00 20060101AFI20161006BHJP

   G10L 19/008 20130101ALI20161006BHJP

【ＦＩ】

   H04S3/00 Z

   G10L19/008 200

【請求項の数】14

【全頁数】21

(21)【出願番号】特願2015-80859(P2015-80859)

(22)【出願日】2015年4月10日

(62)【分割の表示】特願2014-7057(P2014-7057)の分割

【原出願日】2007年12月6日

(65)【公開番号】特開2015-146641(P2015-146641A)

(43)【公開日】2015年8月13日

【審査請求日】2015年4月10日

(31)【優先権主張番号】60/869,077

(32)【優先日】2006年12月7日

(33)【優先権主張国】US

(31)【優先権主張番号】60/869,080

(32)【優先日】2006年12月7日

(33)【優先権主張国】US

(31)【優先権主張番号】60/883,567

(32)【優先日】2007年1月5日

(33)【優先権主張国】US

(31)【優先権主張番号】60/889,715

(32)【優先日】2007年2月13日

(33)【優先権主張国】US

(31)【優先権主張番号】60/955,395

(32)【優先日】2007年8月13日

(33)【優先権主張国】US

(31)【優先権主張番号】60/970,524

(32)【優先日】2007年9月6日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100151459

【弁理士】

【氏名又は名称】中村 健一

(72)【発明者】

【氏名】オー，ヒェン オ

(72)【発明者】

【氏名】ジュン，ヤン ウォン

【審査官】 冨澤 直樹

(56)【参考文献】

【文献】 国際公開第２００６／１１１２９４（ＷＯ，Ａ１）

【文献】 特表２００５−５３３４２６（ＪＰ，Ａ）

【文献】 特開２００３−３３７５９８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｓ １／００−７／００

Ｇ１０Ｌ １９／００−１９／００８

(57)【特許請求の範囲】

【請求項1】

オーディオ信号を処理する方法であって、
少なくとも二つのダウンミックス信号と、少なくとも二組の、オブジェクトレベル差情報を含むオブジェクト情報と、ゲイン制御情報と、を受信する段階と、
前記少なくとも二つのダウンミックス信号をダウンミックスすることによって結合ダウンミックス信号を生成する段階と、
基準情報が前記少なくとも二組のオブジェクト情報それぞれに含まれるか否かを特定する段階であって、前記基準情報は結合オブジェクト情報を生成するために用いられる、段階と、
前記基準情報が前記少なくとも二組のオブジェクト情報それぞれに含まれているとき、前記少なくとも二つのダウンミックス信号それぞれに含まれているオブジェクト信号のうち最大のオブジェクトレベルを示す前記基準情報を取得する段階と、
前記オブジェクトレベル差情報と前記の取得された基準情報とを用いて前記結合オブジェクト情報を生成する段階と、
前記結合オブジェクト情報を用いてダウンミックス信号処理情報を生成する段階と、
前記ダウンミックス信号処理情報を前記結合ダウンミックス信号に適用して前記結合ダウンミックス信号を修正する段階と、を有し、
前記結合オブジェクト情報は、結合オブジェクトレベル差情報及び結合基準情報を含み、
前記オブジェクトレベル差情報と前記の取得された基準情報とを用いて結合オブジェクト情報を生成する段階は、
前記オブジェクトレベル差情報、前記の取得された基準情報及び前記ゲイン制御情報を利用して前記結合基準情報を生成する段階と、
前記結合基準情報及び前記ゲイン制御情報を利用して前記結合オブジェクトレベル差情報を生成する段階と、を有する、方法。

【請求項2】

ミックス情報を受信する段階をさらに含み、
さらに前記ミックス情報を利用して前記ダウンミックス信号処理情報を生成する、請求項１に記載の方法。

【請求項3】

前記結合オブジェクト情報を生成する段階は、制御情報を更に用い、
前記制御情報は、オブジェクト制御情報を含む、請求項１に記載の方法。

【請求項4】

前記オブジェクト制御情報は、前記結合オブジェクト情報に含まれるオブジェクト集合を決定する、請求項３に記載の方法。

【請求項5】

前記結合オブジェクト情報は、前記結合基準情報、結合オブジェクトレベル情報及び結合オブジェクト相関情報のうち少なくとも一つを含む、請求項２に記載の方法。

【請求項6】

前記結合基準情報は、前記少なくとも二つのダウンミックス信号に含まれるすべてのオブジェクト信号のオブジェクトレベルを用いて推定される、請求項５に記載の方法。

【請求項7】

前記オブジェクトレベルは、前記基準情報及び前記少なくとも二組のオブジェクト情報のオブジェクトレベル情報を用いて計算される、請求項６に記載の方法。

【請求項8】

前記結合オブジェクトレベル情報は、前記結合基準情報に基づいて計算される、請求項５に記載の方法。

【請求項9】

前記結合ダウンミックス信号は、ダウンミックス信号結合部から受信される、請求項１に記載の方法。

【請求項10】

前記結合オブジェクト情報は、マルチポイント制御ユニット（ＭＣＵ）結合部から受信される、請求項１に記載の方法。

【請求項11】

前記ダウンミックス信号は、放送信号として受信される、請求項１に記載の方法。

【請求項12】

前記ダウンミックス信号は、デジタル媒体から受信される、請求項１に記載の方法。

【請求項13】

前記ミックス情報は、前記結合オブジェクト情報によって前記ダウンミックス信号処理情報を生成するために、ユーザ入力又はビットストリームから受信される、請求項２に記載の方法。

【請求項14】

オーディオ信号を処理する装置であって、
少なくとも二つのダウンミックス信号を受信し、該少なくとも二つのダウンミックス信号をダウンミックスすることによって結合ダウンミックス信号を生成するダウンミックス信号結合部と、
少なくとも二組の、オブジェクトレベル差情報を含むオブジェクト情報と、ゲイン制御情報と、を受信し、基準情報が前記少なくとも二組のオブジェクト情報それぞれに含まれるか否かを特定し、前記基準情報は結合オブジェクト情報を生成するために用いられ、前記基準情報が前記少なくとも二組のオブジェクト情報それぞれに含まれているとき、前記少なくとも二つのダウンミックス信号それぞれに含まれているオブジェクト信号のうち最大のオブジェクトレベルを示す前記基準情報を取得し、前記オブジェクトレベル差情報と前記の取得された基準情報とを用いて前記結合オブジェクト情報を生成するマルチポイント制御ユニット（ＭＣＵ）結合部と、
前記結合オブジェクト情報を受信し、前記結合オブジェクト情報を用いてダウンミックス信号処理情報を生成する情報生成部と、
前記結合ダウンミックス信号及び前記ダウンミックス信号処理情報を受信し、前記ダウンミックス信号処理情報を用いて前記結合ダウンミックス信号を修正するダウンミックス信号処理部と、を備え、
前記結合オブジェクト情報は、結合オブジェクトレベル差情報及び結合基準情報を含み、
前記ＭＣＵ結合部は、
前記オブジェクトレベル差情報、前記の取得された基準情報及び前記ゲイン制御情報を利用して前記結合基準情報を生成し、
前記結合基準情報及び前記ゲイン制御情報を利用して前記結合オブジェクトレベル差情報を生成する、装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オーディオ信号のデコーディング方法及びその装置に関し、より詳細には、様々なデジタル媒体を介して受信したオーディオ信号をデコーディングする方法及びその装置に関する。

【背景技術】

【0002】

マルチポイント制御ユニット（ＭＣＵ）は、コンファレンスコール（conference call）を用いて遠隔の場所から提供された信号を統合するためにテレコンファレンス（teleconference）で用いられうる装置である。ＭＣＵは、（音声信号を含む）オーディオ信号、ビデオ信号及びデータを一ケ所に集めて三人以上の人々同士のコンファレンスコールを完成させる。

【0003】

たびたびブリッジとも呼ばれるＭＣＵは、各参加者のターミナルの能力に依存してオーディオ信号のみを提供したり、オーディオ信号、ビデオ信号及びデータのいずれの組合せを提供したりすることができる。従来のＭＣＵは、一般に、テレコンファレンスのために少なくとも二つのダウンミックス信号を用いて結合ダウンミックス信号を生成する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来のＭＣＵは、出力信号であるダウンミックス信号を構成するそれぞれの信号のゲイン及びパニングを制御することができない。したがって、個別的にオブジェクト信号を制御するためには、従来のＭＣＵの入力信号が、マルチオブジェクトを含むオーディオ信号でなければならない。

【0005】

しかしながら、マルチオブジェクトをデコーディングするための装置及び方法は、広い帯域幅を必要とする。したがって、マルチオブジェクトをデコーディングする新しい装置及び方法は、広い帯域幅のようなリソース（resource）要求を減らさなければならない。

【課題を解決するための手段】

【0006】

したがって、本発明は、上記技術的課題を解決するために実質的に従来技術の問題点を一つ以上除去したり改善したオーディオ信号のデコーディング方法及び装置に関する。

【0007】

上記課題を解決するために、本発明は、オブジェクトゲイン情報及びオブジェクトレベル情報を含むオブジェクト情報を用いてオーディオ信号をデコーディングし、各ダウンミックスチャネルに対してオブジェクトが含まれる度合いを変化させることによってオーディオ信号のダウンミックスを修正するオーディオ信号処理方法及び装置を提供する。

【0008】

また、上記課題を解決するために、本発明は、マルチポイント制御ユニット結合部で生成される結合ダウンミックス信号及び結合オブジェクト情報を含み、これらはオブジェクトゲインを調節して遠隔コンファレンス等で出力されるようにするオーディオ信号処理方法及び装置を提供する。

【0009】

付加的な本発明の長所、目的及び特徴は、後述する明細書に記述され、後述する内容は、本発明の属する技術分野における通常の知識を持つ者には明らかになる。本発明の他の目的及び長所は、添付の図面の他に、以下に述べられる明細書及び請求項で明確に説明される。

【発明の効果】

【0010】

本発明の様々な実施例は、工程時間及び要求されるコンピュータ資源を減少させることによって速くて効率的にマルチオブジェクトオーディオ信号をデコーディングする方法及びその装置を提供し、広い帯域幅のような要求条件を和らげることができる。

【図面の簡単な説明】

【0011】

本発明の理解を助けるために含まれた図面は、本発明の好ましい実施例を図示し、詳細な説明と共に本発明を説明するために提供される。

【図1】本発明の一実施例によるオーディオ信号のデコーディング装置を示すブロック図である。

【図2】本発明の一実施例によるオーディオ信号のデコーディング方法を示すフローチャートである。

【図3】本発明の他の実施例によるオーディオ信号のデコーディング装置を示すブロック図である。

【図4】本発明の一実施例による情報生成部を示すブロック図である。

【図5】本発明の一実施例によるオブジェクトゲイン情報デコーディング部を示すブロック図である。

【図6】本発明の一実施例によるオーディオ信号の処理装置を示すブロック図である。

【図7】本発明の他の実施例によるＭＣＵ結合部を示すブロック図である。

【図8】本発明の一実施例による結合オブジェクト情報コーディング部を示すブロック図である。

【図9】本発明の一実施例によるオーディオ信号の処理装置を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、添付の図面を参照しつつ本発明の好適な実施例について詳細に説明する。

【0013】

本発明の実施例は、当該技術分野における通常の知識を持つ者に本発明をより完全に説明するために提供されるもので、下記実施例は、様々な他の形態に変形されることができ、本発明の範囲が下記の実施例に限定されるものではない。むしろ、それら実施例は本開示をより充実で完全にし、当業者に本発明の思想を完全に伝達するために提供されるものである。

【0014】

図１は、本発明の一実施例によるオーディオ信号のデコーディング装置１０００を示すブロック図であり、図３は、本発明の他の実施例によるオーディオ信号のデコーディング装置２０００を示すブロック図である。

【0015】

オーディオ信号のデコーディング装置１０００，２０００の２つの実施例は、オーディオ信号デコーディング装置１０００がマルチチャネルデコーディング部１３００を有するのに対し、オーディオ信号デコーディング装置２０００はマルチチャネルデコーディング部１３００を有しないという点で異なる。情報生成部１１００，２１００及びダウンミックス信号処理部１２００，２２００のような他の構成要素は、図１及び図３のオーディオ信号デコーディング装置１０００，２０００において同一である。

【0016】

図１を参照すると、オーディオ信号のデコーディング装置１０００は、情報生成部１１００、ダウンミックス信号処理部１２００及びマルチチャネルデコーディング部１３００を含む。情報生成部１１００は、ユーザ入力またはビットストリームからオブジェクト情報（object information）及びミックス情報（mix information）を受信し、これを用いてダウンミックス信号処理情報（downmix processing information）を生成する。

【0017】

ここで、オブジェクト情報は、オブジェクトレベル情報（object level information）、オブジェクト相関情報（object correlation information）及びオブジェクトゲイン情報（object gain information）を含む。オブジェクトレベル情報を、オブジェクトのレベルの一つである基準情報を用いて各オブジェクトに対応するオブジェクトレベルを標準化することによって生成することができる。オブジェクト相関情報を、二つの選択されたオブジェクトの組合せから提供することができる。オブジェクトゲイン情報は、オブジェクトゲイン値情報（object gain value information）及び／またはオブジェクトゲイン比情報（object gain ratio information）を含む。また、ダウンミックス信号処理情報は、オブジェクトゲイン及びパニングを調節するためのパラメータを含み、これはダウンミックス信号処理部１２００に入力される。

【0018】

ダウンミックス信号処理部１２００は、ダウンミックス信号と情報生成部１１００からのダウンミックス信号処理情報を受信する。ダウンミックス信号処理部１２００は、ダウンミックス信号処理情報を用いてダウンミックス信号を処理でき、これにより、処理されたダウンミックス信号（processed downmix signal）を生成する。例えば、ダウンミックス信号処理部１２００は、ダウンミックス信号処理情報をダウンミックス信号に適用して、ダウンミックス信号を変化させることができ、その結果、処理されたダウンミックス信号を生成することができる。

【0019】

処理されたダウンミックス信号はマルチチャネルデコーディング部１３００に入力されてアップミキシングされ、スピーカーのような出力装置から出力することができる。情報生成部から出力されたマルチチャネル情報（multi-channel information）もマルチチャネルデコーディング部１３００に入力することができる。本発明の一部実施例において、マルチチャネルデコーディング部１３００は、ＭＰＥＧサラウンドシステム（MPEG surround system）のデコーディング部と同一なユニットとすることができる。

【0020】

選択的に、処理されたダウンミックス信号を、図３のデコーディング装置２０００のように、出力装置に直接伝送して出力することもできる。処理されたダウンミックス信号をスピーカーから直接出力するために、ダウンミックス信号処理部２２００は、合成フィルタバンク（synthesis filter bank）の役割を果たし、ＰＣＭデータを出力することができる。また、上記処理されたダウンミックス信号を直接ＰＣＭ信号として出力するか、マルチチャネルデコーディング部に入力するかは、ユーザ選択によって決定することができる。

【0021】

図２は、図１を参照した本発明の一実施例によるオーディオ信号のデコーディング方法を示すフローチャートである。まず、ダウンミックス信号、オブジェクト情報及びミックス情報を受信する（Ｓ１１０）。オブジェクト情報及びミックス情報を用いてダウンミックス信号処理情報を生成する（Ｓ１２０）。以降、処理されたダウンミックス信号は、ダウンミックス信号処理情報を用いてダウンミックス信号を処理することによって生成される（Ｓ１３０）。

【0022】

以下、情報生成部１１００の構成を、図４〜図６を参照してより詳細に説明する。

【0023】

１. オブジェクト情報

【0024】

１.１ 基準情報及びオブジェクトレベル情報

【0025】

図４は、本発明の一実施例によるオーディオ信号処理装置の情報生成部の構成を例示するブロック図である。図４を参照すると、情報生成部１１００は、オブジェクト情報を受信し、該オブジェクト情報を用いてダウンミックス信号処理情報を生成する。

【0026】

情報生成部１１００は、オブジェクトレベル情報デコーディング部１１１０ａ、オブジェクトゲイン情報生成部１１２０ａ及びオブジェクト相関情報生成部１１３０ａを含む。

【0027】

オブジェクトレベル情報は、基準情報（reference information）を用いてオブジェクトレベルを標準化することによって生成される。この基準情報は、オブジェクトレベルのうちの一つとすることができ、より詳細には、全てのオブジェクトレベルのうち最も大きいオブジェクトレベルとすることができる。

【数1】

【数2】

【0028】

しかし、もし、それぞれのオブジェクトに対応するオブジェクトレベル情報がその値のまま伝送されるとすれば、該オブジェクトのオブジェクトレベルが大きい範囲内で変動するので、量子化が難しくなりうる。

【0029】

したがって、オブジェクトレベル情報を、全てのオブジェクトエネルギーのうち最も大きいオブジェクトレベルエネルギーである基準情報を用いて標準化することができる。もし、この基準情報がr_1である場合、オブジェクトレベル情報を、下記式１のように推定することができる。

【数3】

【0030】

全てのオブジェクトレベル情報は、１以下の範囲に含まれる。したがって、変動範囲を、オーディオ信号がエンコーディングされうるような範囲に圧縮することができる。

【0031】

また、オブジェクトレベル情報は、他の信号処理に利用するために、デフォルト情報、原オブジェクトレベルなどを含むことができる。このオブジェクトレベル情報はそれぞれのオブジェクトに対応し、オブジェクトレベル情報の個数は、ダウンミックス信号に含まれるオブジェクトの個数と同一である。

【0032】

１.２ オブジェクトゲイン情報

【0033】

オブジェクト情報は、オブジェクトゲイン値情報及びオブジェクトゲイン比情報のうち少なくとも一つを含むオブジェクトゲイン情報を含む。図５は、本発明の一実施例によるオーディオ信号処理装置を示すブロック図で、より詳細には、情報生成部１１００のオブジェクトゲイン情報デコーディング部を例示するブロック図である。

【0034】

オブジェクトゲイン情報生成部１１２０ａは、オブジェクトゲイン値情報生成部１１２１及びオブジェクトゲイン比情報生成部１１２２を含む。オブジェクトゲイン情報は、オブジェクトがダウンミックスチャンネルそれぞれに含まれる程度を変更してダウンミックス信号を変更することと関連する。

【0035】

１.２.１ オブジェクトゲイン値情報

【0036】

オブジェクトゲイン値情報は、オブジェクトがダウンミックスチャンネルそれぞれに含まれる程度を変更してダウンミックス信号を変更するオブジェクトのゲイン値を含んでいる。
本発明の一部実施例では、オブジェクトゲインは、処理されたダウンミックス信号の生成以前にそれぞれのオブジェクトに適用される。

【0037】

例えば、ダウンミックス信号が複数個のオブジェクトを含む場合、下記式２のように、オブジェクトに対応するオブジェクトゲイン値情報をオブジェクトレベルに乗算することで、ゲインの適用されたオブジェクトを生成し、ゲインの適用された全てのオブジェクトは、処理されたダウンミックス信号を生成するために合算される。

【0038】

【数4】

【0039】

【数5】

【0040】

１.２.２ オブジェクトゲイン比情報

【0041】

オブジェクトゲイン情報は、オブジェクトゲイン値情報の他に、オブジェクトゲイン比情報をさらに含むことができる。このオブジェクトゲイン比情報は、処理されたダウンミックス信号の各チャネルに寄与する一つのオブジェクトのゲイン間の比の値を含む。

【0042】

オブジェクトゲイン比情報を、ダウンミックス信号処理部１２００によってダウンミックスを処理するために利用することができ、これにより、モノまたはステレオチャネルで伝送される処理されたダウンミックス信号を獲得することができる。ステレオ信号である場合、処理されたダウンミックス信号を式３から獲得することができる。

【0043】

【数6】

【数7】

【数8】

【数9】

【0044】

【数10】

【0045】

【数11】

【0046】

【数12】

【0047】

【数13】

【0048】

【数14】

【0049】

各チャネルを通じて伝送される処理されたダウンミックス信号を獲得するために、新しい方法では、下記式６を利用することができる。

【0050】

【数15】

【0051】

【数16】

【0052】

【数17】

【0053】

１.３ オブジェクト相関情報

【0054】

図４を参照すると、情報生成部１１００は、オブジェクト相関情報（object correlation information）を受信する。このオブジェクト相関情報は、二つのオブジェクト間に推定され、両オブジェクト間の相関度または一貫性を表す。

【0055】

【数18】

【0056】

第一に、オブジェクトがステレオオブジェクトであれば、このステレオオブジェクトはダウンミキシングされてモノオブジェクトを生成し、ステレオオブジェクトのチャネル間の関係を表す子孫オブジェクト情報（descendant object information）を生成することができる。本明細書では、この第一の方法を“モノ方式（mono method）”という。この場合、モノオブジェクトのオブジェクトレベルを用いてオブジェクトレベル情報を生成することができる。

【0057】

第二に、ステレオオブジェクトを二つの別個のモノオブジェクトとして認知する方法がある。この場合、二つの別個のモノオブジェクトのレベルを用いてオブジェクトレベル情報が生成される。本明細書では、この第二の方法を“ステレオ方式（stereo method）”と呼ぶ。この第二の方法を用いて伝送される情報の量は、第一の方法を利用する場合に比べて大きくなる。

【0058】

【数19】

【0059】

【数20】

【0060】

【数21】

【0061】

オブジェクト相関情報は代表値としてチャネル信号のパワー値のうちの一つを含む。例えば、チャネル信号のパワー値は、ステレオオブジェクトの左側チャネル及び下記式７のように代表値を用いて標準化したパワー値でありうる。

【0062】

【数22】

【0063】

このオブジェクト相関情報はオブジェクト間の関係を表し、これらのオブジェクトが同一のステレオまたはマルチチャネルオブジェクトの両側チャネルであるか否かを表すことができる。換言すると、それぞれのオブジェクトは、同一起源（origin）のオブジェクトであって、異なるダウンミックスチャネルに含まれるものでありうる。

【0064】

オブジェクト情報の伝送ビットを減少させるには、オブジェクト差情報をさらに利用することが効率的である。例えば、オブジェクト情報は、ステレオオブジェクトの左側チャネルのオブジェクトレベルと下記式８で表すオブジェクト差情報を含むことができる。左側チャネルと右側チャネルとのレベル差が大きいと仮定できるので、右側チャネルのオブジェクトレベルをエンコーディングする方よりもオブジェクト差情報をエンコーディングする方がより効率的なわけである。

【0065】

【数23】

【0066】

選択として、オブジェクト情報は、各チャネルのオブジェクトレベル情報を含むよりは下記式９のようなオブジェクト和情報及びオブジェクト差情報を含むことができる。

【数24】

【0067】

このオブジェクト和情報（Ps_M）とオブジェクト差情報（Ps_S）を利用すると、伝送効率を向上させ、かつ、量子化誤差（error）を容易に修正することができる。

【0068】

オブジェクト情報のビット率を減少させるために、オブジェクト相関情報の数を、同一のオブジェクトによって様々に採択することができる。オブジェクトがステレオまたはマルチチャネルオブジェクトの一部であるか否かを表す相関フラグ情報（correlation_flag）を、オブジェクト情報から受信することができる。この相関フラグ情報を、オブジェクト情報に含めて情報生成部１１００で受信することができる。

【0069】

相関フラグ情報の意味は、下記表１の通りである。

【0070】

【表1】

【0071】

相関フラグ情報が０の場合、オブジェクト相関情報は、オブジェクト相関情報デコーディング部１１３０ａに伝送されない。もし、相関フラグ情報がデコーディング装置１０００，２０００に伝送されない場合には、ダウンミックス信号の処理のために設定値を利用することができる。

【0072】

一方、相関フラグ情報が１の場合は、選択された二つのオブジェクトの類似性を表すオブジェクト相関情報が、オブジェクト相関情報デコーディング部１１３０ａに伝送される。

【0073】

また、オブジェクト情報は別途に基準情報をさらに含むことができる。基準情報が存在する場合、この基準情報はマルチポイント制御ユニット結合部（MCU combiner）のための識別子でありうる。

【0074】

本発明によるオーディオ信号のエンコーディング方法は、マルチオブジェクトオーディオ信号を受信する段階と、ダウンミックス信号及びオブジェクト情報を生成する段階と、を含み、このオブジェクト情報は、オブジェクトレベル情報、オブジェクトゲイン情報及びオブジェクト相関情報を含む。オブジェクトレベル情報、オブジェクトゲイン情報及びオブジェクト相関情報は、前述した方法で生成される。この方法に本発明によるオーディオ信号のエンコーディング方法が限定されるわけではない。

【0075】

また、本発明によるオーディオ信号のエンコーディング装置は、マルチオブジェクトオーディオ信号からダウンミックス信号を生成するダウンミキシング部と、マルチオブジェクトオーディオ信号からオブジェクトレベル情報、オブジェクトゲイン情報及びオブジェクト相関情報を含むオブジェクト情報を抽出するオブジェクト情報生成部と、を含む。同様に、この装置に本発明によるオーディオ信号のエンコーディング装置が限定されるわけではない。

【0076】

２. マルチポイント制御ユニット結合部（MCU combiner）

【0077】

オーディオ信号は、ＭＣＵで用いられて調節され、遠隔のコンファレンス装置に出力することができ、この場合、マルチチャネルオーディオ信号は、ボーカル信号、背景音楽（ＢＧＭ）及びナレーション（narration）音を含むことができる。この場合、必要に応じて、聴取者がボーカル信号及びナレーション音無しで背景音楽のみを利用したり聞いたりしようとする時、または、テレコンファレンス（teleconference）を用いて対話しようとする時、特定オブジェクトのみを削除したり制御したりすることはできない。このような場合、マルチオブジェクト信号を含むオーディオ信号を用いることで上記問題点を解決することができる。

【0078】

オーディオ信号がマルチオブジェクトを含む時、オーディオ信号のオブジェクト情報を利用すると、各オブジェクトの特徴に応じてオブジェクトのゲイン及びパニングを効率的に調節することが可能になる。また、オブジェクト情報を利用する本発明のデコーディング方法は、改善されたカラオケシステム（an enhanced karaoke system）で利用されることができる。

【0079】

図６は、本発明の一実施例によるオーディオ信号の処理装置を示すブロック図である。図６を参照すると、オーディオ信号の処理装置は、第１エンコーダ３１００、第２エンコーダ４１００、そしてマルチポイント制御ユニット結合部５１００及びダウンミキシング部５２００を含む結合部５０００を含む。第１エンコーダ３１００及び第２エンコーダ４１００はそれぞれ第１オーディオ信号及び第２オーディオ信号を受信することができ、第１エンコーダ３１００では第１ダウンミックス信号及び第１オブジェクト情報を生成し、第２エンコーダ４１００では第２ダウンミックス信号及び第２オブジェクト情報を生成することができる。

【0080】

結合部５０００は、第１エンコーダ３１００から第１ダウンミックス信号及び第１オブジェクト情報を受信し、第２エンコーダ４１００からは第２ダウンミックス信号及び第２オブジェクト情報を受信して、結合ダウンミックス信号及び結合オブジェクト情報を生成する。

【0081】

結合部５０００の出力信号である結合ダウンミックス信号を、一般のダウンミキシング部を用いて生成することができる。したがって、ダウンミキシング部５２００についての詳細な説明は省略する。

【0082】

２.１ 結合オブジェクト情報

【0083】

図７は、本発明の一実施例によるオーディオ信号の処理装置を示すブロック図であり、より詳細には、マルチポイント制御ユニット結合部５１００を例示するブロック図である。図７を参照すると、マルチポイント制御ユニット結合部５１００を、第１オブジェクト情報、第２オブジェクト情報及び制御情報を用いて結合オブジェクト情報を生成するように構成することができる。この結合オブジェクト情報は、第１エンコーダ３１００から出力された第１ダウンミックス信号と第２エンコーダ４１００から出力された第２ダウンミックス信号に対応する全ての情報を含む。

【0084】

マルチポイント制御ユニット結合部５１００は、オブジェクト情報デコーディング部５１１０及び結合オブジェクト情報エンコーディング部５１２０を含む。オブジェクト情報デコーディング部５１１０は、第１エンコーダ３１００からの第１オブジェクト情報及び第２エンコーダ４１００からの第２オブジェクト情報を受信し、第１基準値、第１オブジェクトレベル情報、第１オブジェクトゲイン情報、第２基準値、第２オブジェクトレベル情報及び第２オブジェクトゲイン情報を生成するように構成することができる。ここで、基準値、オブジェクトレベル情報及びオブジェクトゲイン情報は、図１〜図６における説明と同一である。したがって、このような情報を生成する方法についての詳細は省略する。

【0085】

また、マルチポイント制御ユニット結合部５１００は、入力信号の制限無しに複数のエンコーダから少なくとも二つのオブジェクト情報を受信して、結合ダウンミックス信号に対応する複数の情報を含む結合オブジェクト情報を生成することができる。

【0086】

２.２ 制御情報

【0087】

図８は、本発明の一実施例によるオーディオ信号の処理装置を示すブロック図であり、より詳細には、結合オブジェクト情報エンコーディング部５１２０を例示するブロック図である。図８を参照すると、結合オブジェクト情報エンコーディング部５１２０は、上記の情報（第１オブジェクト情報及び第２オブジェクト情報）及びユーザ制御から制御情報（control information）を受信して、デコーダ（図示せず）に入力される結合オブジェクト情報を生成するように構成することができる。

【0088】

この結合されたオブジェクト情報を、少なくとも二つのオブジェクト情報の組合せによって生成することができる。例えば、結合オブジェクト情報エンコーディング部５１２０で制御情報を参照して第１オブジェクト情報及び第２オブジェクト情報を選択することができる。

【0089】

制御情報は、オブジェクト制御情報とゲイン制御情報を含み、該ゲイン制御情報は宛先情報を含むことができる。これらオブジェクト制御情報、ゲイン制御情報及び宛先情報をそれぞれ、以下で説明する。

【0090】

２.２.１ オブジェクト制御情報

【0091】

オブジェクト制御情報は、結合オブジェクト情報に含まれるオブジェクト集合(an object subset)を決定することができる。このオブジェクト制御情報は、第１オブジェクト情報または第２オブジェクト情報に対応するオブジェクトの必要な集合を決定することができる。

【0092】

オブジェクト制御情報は、オブジェクトレベル情報エンコーディング部５１２２でオブジェクトレベル情報に適用されて、結合オブジェクトレベル情報を生成でき、この結合オブジェクトレベル情報は、オブジェクト制御情報によって決定される一部のオブジェクトに対する情報を含むことができ、様々な目的に応じて利用することができる。

【0093】

例えば、第１オブジェクト情報は、ボーカル、ピアノ、ギターオブジェクトを含む音楽信号を含むことができる。この音楽信号からピアノ、ギター、バイオリンオブジェクトを含むオーディオ信号を生成するために、オブジェクト制御情報及びユーザ制御を用いてボーカルオブジェクトのない結合オブジェクト情報を獲得することができる。

【0094】

２.２.２ ゲイン制御情報

【0095】

オブジェクトゲイン情報エンコーディング部５１２３を、第１オブジェクト情報からの第１ゲイン情報、第２オブジェクト情報からの第２ゲイン情報、ゲイン制御情報及び宛先情報を受信して、結合オブジェクトゲイン情報を生成するように構成することができる。

【0096】

ゲイン制御情報を、マルチポイント制御ユニット結合部でオブジェクトゲインを調節するために用いることができる。オブジェクトレベル情報エンコーディング部５１２２で結合オブジェクトレベル情報に利用されるオブジェクトを選択するオブジェクト制御情報とは違い、ゲイン制御情報を、オブジェクトゲイン情報エンコーディング部５１２３で利用することができる。このゲイン制御情報を０〜１の範囲内の値にすることができる。

【0097】

２.２.３ 宛先情報

【0098】

上記のゲイン制御情報の範囲内で、オブジェクトに対応するゲイン制御情報が０であれば、このオブジェクトに対するオブジェクト情報は結合オブジェクト情報に含まれない。ゲイン制御情報が０または１の場合、このゲイン制御情報を宛先情報（destination information）とみなすことができる。この宛先情報は、０または１の値を持つ特定ゲイン制御情報を含み、結合されたダウンミックス信号が出力される宛先を表す識別子を含む。

【0099】

宛先情報を、例えば、ささやき声モード（whisper mode）、秘密会議（secret meeting）のような特別なモードのために利用することができ、オブジェクトの使用を制御するために利用することができる。

【0100】

図８を参照すると、宛先情報を、オブジェクトゲイン情報エンコーディング部５１２３に入力することができ、結合オブジェクト情報のオブジェクトゲインを調節するために第１オブジェクトゲイン情報及び第２オブジェクトゲイン情報に適用することができる。

【0101】

上記のゲイン制御情報及び宛先情報を、オブジェクトゲイン情報エンコーディング部５１２３に同時にまたは個別に入力することができる。

【0102】

２.３ 結合オブジェクト情報を生成する方法

【0103】

図８は、結合オブジェクト情報エンコーディング部５１２０を例示するブロック図である。図８を参照すると、結合オブジェクト情報エンコーディング部５１２０は、第１基準値（reference value_1）、第２基準値（reference value_2）、第１オブジェクトレベル情報、第２オブジェクトレベル情報、第１オブジェクトゲイン情報、第２オブジェクトゲイン情報、オブジェクト制御情報、ゲイン制御情報及び宛先情報を受信し、これらの情報を用いて結合オブジェクト情報を生成する。

【0104】

２.３.１ 基準情報の推定

【0105】

図８を再び参照すると、結合オブジェクト情報エンコーディング部５１２０は、基準値生成部５１２１、オブジェクトレベル情報エンコーディング部５１２２及びオブジェクトゲイン情報エンコーディング部５１２３を含む。

【0106】

結合オブジェクト情報を生成するために、まず、結合オブジェクト情報の基準情報を推定しなければならない。それぞれのオブジェクト情報は、各オブジェクトのレベルを標準化し、オブジェクトレベル情報を生成するための基準情報を含むことができる。しかし、結合オブジェクト情報を生成するために少なくとも二つのオブジェクト情報が結合する場合、結合オブジェクト情報は、結合オブジェクトレベル情報を構成するオブジェクトレベルを標準化するための基準情報を決定する。

【0107】

この結合オブジェクト情報の基準情報を、様々な方法によって決定することができる。例えば、この基準情報は、（第１オブジェクト情報に含まれた）第１基準情報であるか、それぞれのオブジェクト情報の基準情報のうち最も大きい値でありうる。

【0108】

この基準情報を変更する代わりに、結合オブジェクト情報は、それぞれのオブジェクト情報のオブジェクトレベル情報を利用することができる。

【0109】

２.３.２ 結合オブジェクト情報のオブジェクトレベル情報

【0110】

基準情報生成部５１２１は、上記のような方法で結合オブジェクト情報の基準情報を推定する。結合オブジェクト情報の基準情報が変更される前には、オブジェクトレベル情報＿ｉは基準情報＿ｉで標準化される。

【0111】

オブジェクト情報＿１のオブジェクトレベル情報を下記式１０のように仮定し、結合オブジェクト情報のオブジェクトレベル情報を下記式１１のように仮定する。

【0112】

【数25】

【数26】

【0113】

２.３.３ 結合オブジェクトゲイン情報

【0114】

オブジェクトゲイン情報エンコーディング部５１２３は、第１オブジェクトゲイン情報、第２オブジェクトゲイン情報、ゲイン調節情報及び宛先情報を受信し、ゲイン調節情報及び宛先情報を用いて結合オブジェクトゲイン情報を生成する。ゲイン制御情報によって結合オブジェクト情報に含まれるようにオブジェクトレベル情報を制御することができる。特に、ダウンミックス信号の方向を調節するゲイン制御情報を‘宛先情報’と称する。この宛先情報がオブジェクト情報のオン／オフを表す場合、すなわち、宛先情報が０または１の場合、ｉ番目のオブジェクト情報のオブジェクトゲイン情報が０または１でありうる。

【0115】

宛先情報を、オブジェクト情報に含ませたりユーザ制御より入力することができる。ゲイン調節情報が含まれまたは入力される場合、該ゲイン調節情報によって第１オブジェクトゲイン情報及び第２オブジェクトゲイン情報を修正することができる。

【0116】

２.３.4 結合オブジェクト相関情報

【0117】

オブジェクト相関情報は、ステレオオブジェクトまたはマルチチャネルオブジェクトのチャネル間の類似度／非類似度を表す。したがって、オブジェクト相関情報は、マルチポイント制御ユニット結合部５１００でオブジェクト情報が結合されることによって影響されうる。

【0118】

したがって、種々の方法により結合オブジェクト相関情報を決定することができる。最も簡単な方法として、ｉ番目のオブジェクト情報のオブジェクト相関情報をそのまま利用することができる。

【0119】

以上説明してきた本発明は、前述した実施例及び添付の図面に限定されず、本発明の技術的思想を逸脱しない範囲内で様々な置換、変形及び変更が可能であるということは、本発明の属する技術分野における通常の知識を持つ者にとっては明白である。

【産業上の利用可能性】

【0120】

本発明は、オーディオ信号のエンコーディング及びデコーディングに利用することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】