特許 6660982 オーディオ信号レンダリング方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6660982

(24)【登録日】2020年2月13日

(45)【発行日】2020年3月11日

(54)【発明の名称】オーディオ信号レンダリング方法及び装置

(51)【国際特許分類】

   H04S 3/00 20060101AFI20200227BHJP

   H04S 3/02 20060101ALI20200227BHJP

   H04S 7/00 20060101ALI20200227BHJP

   G10L 19/008 20130101ALI20200227BHJP

【ＦＩ】

   H04S3/00 800

   H04S3/02

   H04S7/00 300

   G10L19/008

【請求項の数】16

【全頁数】22

(21)【出願番号】特願2018-146254(P2018-146254)

(22)【出願日】2018年8月2日

(62)【分割の表示】特願2016-523302(P2016-523302)の分割

【原出願日】2014年10月27日

(65)【公開番号】特開2018-201224(P2018-201224A)

(43)【公開日】2018年12月20日

【審査請求日】2018年8月2日

(31)【優先権主張番号】10-2013-0128038

(32)【優先日】2013年10月25日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ジョン，サン−ベ

(72)【発明者】

【氏名】キム，ソン−ミン

(72)【発明者】

【氏名】チョウ，ヒョン

【審査官】 堀 洋介

(56)【参考文献】

【文献】 特開２０１１−０６６８６８（ＪＰ，Ａ）

【文献】 特開２００７−３２９７４６（ＪＰ，Ａ）

【文献】 特表２０１３−５３３７０３（ＪＰ，Ａ）

【文献】 特表２００９−５２６４６７（ＪＰ，Ａ）

【文献】 特表２００９−５１１９６６（ＪＰ，Ａ）

【文献】 特開２０１１−２０９５８８（ＪＰ，Ａ）

【文献】 特開２００１−０１６６９８（ＪＰ，Ａ）

【文献】 国際公開第２０１２／１４５１７６（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１２／０３１４８７５（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｓ ３／００

Ｇ１０Ｌ １９／００８

Ｈ０４Ｓ ３／０２

Ｈ０４Ｓ ７／００

(57)【特許請求の範囲】

【請求項1】

少なくとも１つの高さ入力チャネル信号を含むマルチチャネル信号、及びレンダリングタイプ情報を受信する段階と、
２次元出力レイアウトに対して、３次元（３Ｄ）レンダリングのための第１ダウンミックスマトリックスを獲得する段階と、
前記２次元出力レイアウトに対して２次元（２Ｄ）レンダリングのための第２ダウンミックスマトリックスを獲得する段階と、
前記レンダリングタイプ情報に基づいて、前記第１ダウンミックスマトリックス及び前記第２ダウンミックスマトリックスのうち１つを選択する段階と、
前記第１ダウンミックスマトリックス及び前記第２ダウンミックスマトリックスのうち、少なくとも１つに基づいて、前記マルチチャネル信号をレンダリングする段階と、を含み、
前記２次元出力レイアウトは、５．１チャネルフォーマットであり、
前記レンダリングする段階は、
前記レンダリングタイプ情報が、前記マルチチャネル信号が高度の非相関広帯域特徴を有するアプローズ信号(applause signal)を含むことを示す場合には、前記第２ダウンミックスマトリックスを用いて前記マルチチャネル信号をレンダリングし、
前記レンダリングタイプ情報が、前記マルチチャネル信号が一般信号を含むことを示す場合には、前記第１ダウンミックスマトリックスを用いて前記マルチチャネル信号をレンダリングする、オーディオ信号レンダリング方法。

【請求項2】

前記レンダリングタイプ情報は、ビットストリームに含まれたパラメータによって識別されることを特徴とする請求項１に記載のオーディオ信号レンダリング方法。

【請求項3】

前記パラメータは、前記マルチチャネル信号の特性に基づいて決定されることを特徴とする請求項２に記載のオーディオ信号レンダリング方法。

【請求項4】

前記レンダリングタイプ情報は、フレームごとに識別されることを特徴とする請求項１に記載のオーディオ信号レンダリング方法。

【請求項5】

前記第１ダウンミックスマトリックスと前記第２ダウンミックスマトリックスのうち１つを選択するために、条件によって前記レンダリングタイプを識別する段階をさらに含み、
前記条件は、前記マルチチャネル信号に広帯域信号が存在し、前記マルチチャネル信号区間のインパルスが繰り返され、チャネル間関連性が低い場合であることを特徴とする請求項１に記載のオーディオ信号レンダリング方法。

【請求項6】

前記レンダリングする段階は、
周波数範囲によって異なるパンニング方法により、前記マルチチャネル信号をパンニングする段階を含むことを特徴とする請求項１に記載のオーディオ信号レンダリング方法。

【請求項7】

前記パンニング方法は、アド・ツー・クローゼストチャネル方法を含むことを特徴とする請求項６に記載のオーディオ信号レンダリング方法。

【請求項8】

前記レンダリングする段階は、
前記マルチチャネル信号のパワー値に基づいて、前記パワー値が保存されるように前記マルチチャネル信号をレンダリングする段階を含むことを特徴とする請求項１に記載のオーディオ信号レンダリング方法。

【請求項9】

前記レンダリングする段階は、
ＨＲＴＦ(a ead elated ransfer unction）によって音のトーンカラー(tone olor)をイコライジングする段階を含むことを特徴とする請求項１に記載のオーディオ信号レンダリング方法。

【請求項10】

少なくとも１つの高さ入力チャネル信号を含むマルチチャネル信号及びレンダリングタイプ情報を受信する受信部と、
２次元出力レイアウトに対して３次元（３Ｄ）レンダリングのための第１ダウンミックスマトリックスを獲得し、前記２次元出力レイアウトに対して２次元（２Ｄ）レンダリングのための第２ダウンミックスマトリックスを獲得し、前記レンダリングタイプに基づいて、前記第１ダウンミックスマトリックス及び前記第２ダウンミックスマトリックスのうち、少なくとも１つを選択し、前記第１ダウンミックスマトリックス及び前記第２ダウンミックスマトリックスのうち、少なくとも１つに基づいて、前記マルチチャネル信号をレンダリングするレンダリング部と、を含み、
前記２次元出力レイアウトは、５．１チャネルフォーマットであり、
前記レンダリング部は、前記レンダリングタイプ情報が、前記マルチチャネル信号が高度の非相関広帯域特徴を有するアプローズ信号(applause signal)を含むことを示す場合には、前記第２ダウンミックスマトリックスを用いて前記マルチチャネル信号をレンダリングし、前記レンダリングタイプ情報が、前記マルチチャネル信号が一般信号を含むことを示す場合には、前記第１ダウンミックスマトリックスを用いて前記マルチチャネル信号をレンダリングすることを特徴とするオーディオ信号レンダリング装置。

【請求項11】

前記レンダリングタイプ情報は、ビットストリームに含まれたパラメータによって識別されることを特徴とする請求項１０に記載のオーディオ信号レンダリング装置。

【請求項12】

前記パラメータは、前記マルチチャネル信号の特性に基づいて決定されることを特徴とする請求項１１に記載のオーディオ信号レンダリング装置。

【請求項13】

前記レンダリング部は、前記マルチチャネル信号がアプローズ信号(applause signal)を含む場合、前記第２ダウンミックスマトリックスを使用して前記マルチチャネル信号をレンダリングすることを特徴とする請求項１０に記載のオーディオ信号レンダリング装置。

【請求項14】

前記レンダリング部は、前記第１ダウンミックスマトリックスと前記第２ダウンミックスマトリックスのうち１つを選択するために、条件によって前記レンダリングタイプを識別し、
前記条件は、前記マルチチャネル信号に広帯域信号が存在し、前記マルチチャネル信号区間のインパルスが繰り返され、チャネル間関連性が低い場合であることを特徴とする請求項１０に記載のオーディオ信号レンダリング装置。

【請求項15】

前記レンダリングタイプ情報は、フレームごとに識別されることを特徴とする請求項１０に記載のオーディオ信号レンダリング装置。

【請求項16】

請求項１に記載の方法を行うことができるプログラムを記録したコンピュータで読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、立体音響再生方法及びその装置に係り、特に、多チャネルオーディオ信号を再生する方法及びその装置に関する。

【背景技術】

【0002】

映像処理技術及び音響処理技術の発達により、高画質・高音質のコンテンツが量産されている。高画質・高音質のコンテンツを要求したユーザは、臨場感あふれる映像及び音響を望み、それにより、立体映像及び立体音響に係わる研究が活発に進められている。

【0003】

立体音響は、複数個のスピーカを水平面上の異なる位置に配置し、それぞれのスピーカから、同一であったり異なったりする音響信号を出力することにより、ユーザに空間感を感じさせる技術である。しかし、実際の音響は、水平面上の多様な位置で発生するだけではなく、異なる高度でも発生する。従って、異なる高度で発生する音響信号を、水平面上に配置されたスピーカを介して再生する技術が必要である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、立体音響再生方法及びその装置に係り、高度音響信号を含む多チャネルオーディオ信号を、水平面レイアウト環境で再生するための方法に関する。

【課題を解決するための手段】

【0005】

本発明の一実施形態による、立体音響再生方法は、多チャネルオーディオ信号を獲得する段階と、前記多チャネルオーディオ信号のチャネル情報、及び周波数によって再生されるチャネルにレンダリングする段階と、前記レンダリングされた信号をミキシングする段階と、を含むことを特徴とする。

【0006】

前記立体音響再生方法は、前記多チャネルオーディオ信号からアプローズ信号を分離する段階をさらに含み、前記レンダリングする段階は、前記アプローズ信号は、２Ｄ（two-dimensional）レンダリング方法によってレンダリングされるか、あるいは前記アプローズ信号の各チャネル別に、水平面上に配置された出力チャネルのうち最も近いチャネルにレンダリングされる段階を含むことを特徴とする。

【0007】

前記ミキシングする段階は、前記レンダリングされたアプローズ信号を、エネルギーブースト方式によってミキシングする段階を含むことを特徴とする。

【0008】

前記アプローズ信号を分離する段階は、前記多チャネル入力信号にトーナルしない広帯域信号が存在し、前記広帯域信号のレベルがチャネル別に類似しているか否かということ、短い区間のインパルス形態が反復されているか否かということ、及びチャネル間関連性が低いか否かということのうち少なくとも一つに基づいて、前記多チャネル入力信号が、前記アプローズ信号を含むか否かということを判断する段階と、前記判断結果によって、前記アプローズ信号を分離する段階と、を含むことを特徴とする。

【0009】

前記レンダリングする段階は、前記多チャネルオーディオ信号を、前記チャネル情報に基づいて、水平面チャネル信号及びオーバーヘッドチャネル信号に分離する段階と、前記オーバーヘッドチャネル信号を、低周波信号と高周波信号とに分離する段階と、前記低周波信号は、前記低周波信号の各チャネル別に、水平面上に配置された出力チャネルのうち最も近いチャネルにレンダリングする段階と、前記高周波信号は、３Ｄレンダリング方法によってレンダリングする段階と、前記水平面チャネル信号は、２Ｄレンダリング方法によってレンダリングする段階と、を含むことを特徴とする。

【0010】

前記ミキシングする段階は、前記チャネル情報及び周波数によって、前記レンダリングされた信号に適用するゲインを決定する段階と、前記決定されたゲインを前記レンダリングされた信号に適用してミキシングする段階と、を含むことを特徴とする。

【0011】

前記ミキシングする段階は、前記レンダリングされた信号のパワー値に基づいて、前記パワー値が保存されるように、前記レンダリングされた信号をミキシングする段階を含むことを特徴とする。

【0012】

前記ミキシングする段階は、前記レンダリングされた信号のパワー値に基づいて、所定区間単位にミキシングする段階と、前記レンダリングされた信号のうち低周波信号を分離する段階と、前記低周波信号は、以前区間での前記レンダリングされた信号のパワー値に基づいて、前記レンダリングされた信号をミキシングする段階と、を含むことを特徴とする。

【0013】

前記レンダリングする段階は、前記多チャネルオーディオ信号のチャネル情報、及び周波数によって再生されるチャネルにレンダリングする段階を含むことを特徴とする。

【0014】

本発明の一実施形態による立体音響再生装置は、多チャネルオーディオ信号を獲得し、前記多チャネルオーディオ信号のチャネル情報、及び周波数によって再生されるチャネルにレンダリングするレンダラ；及び前記レンダリングされた信号をミキシングするミキサ；を含むことを特徴とする。

【発明の効果】

【0015】

本発明の一実施形態による立体音響再生装置は、音声信号のうち高度成分を水平面上に配置されたスピーカで高度感あるように再生することができる。

【0016】

本発明の一実施形態による立体音響再生装置は、多チャネルオーディオ信号をチャネル数が少ない環境で再生するとき、音色（tone）が変わったり、音が消えたりする現象を最小化することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態による立体音響再生装置の内部構造を示したブロック図である。

【図2】本発明の一実施形態による立体音響再生装置の内部構造を示したブロック図である。

【図3】本発明の一実施形態による立体音響再生方法を図示したフローチャートである。

【図4】本発明の一実施形態において、アプローズ信号を含むオーディオ信号に対する立体音響再生方法を図示したフローチャートである。

【図5】本発明の一実施形態において、３Ｄレンダラの内部構造を示したブロック図である。

【図6】本発明の一実施形態による、レンダリングされたオーディオ信号をミキシングする方法を図示したフローチャートである。

【図7】本発明の一実施形態による、レンダリングされたオーディオ信号を周波数によってミキシングする方法を図示したフローチャートである。

【図8】本発明の一実施形態による、レンダリングされたオーディオ信号を周波数によってミキシングする一例を図示した例示図である。

【図9】本発明の一実施形態による立体音響再生装置の内部構造を示したブロック図である。

【図10】本発明の一実施形態による立体音響再生装置の内部構造を示したブロック図である。

【発明を実施するための形態】

【0018】

以下、本発明の望ましい実施例について、添付した図面を参照して詳細に説明する。ただし、下記の説明、及び添付された図面において、本発明の要旨を不明確にする公知機能または構成に係わる詳細な説明は省略する。また、図面全体にわたって、同一構成要素は、可能な限り、同一図面符号でもって示されているということに留意しなければならない。

【0019】

以下で説明される本明細書及び特許請求の範囲に使用された用語や単語は、一般的であったり、辞書的であったりする意味に限定して解釈されるものではなく、発明者は、その自身の発明を最善の方法で説明するための用語でもって適切に定義することができるという原則に立脚し、本発明の技術的思想に符合する意味及び概念に解釈されなければならない。従って、本明細書に記載された実施形態と、図面に図示された構成は、本発明の最も望ましい一実施形態に過ぎず、本発明の技術的思想をいずれも代弁するものではないので、本出願時点において、それらを代替する多様な均等物と変形例とがあるということを理解しなければならない。

【0020】

明細書全体において、ある部分がある構成要素を「含む」とするとき、それは、特別に反対になる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。また、明細書に記載された「…部」、「モジュール」というような用語は、少なくとも１つの機能や動作を処理する単位を意味し、それは、ハードウェアまたはソフトウェアによって具現されるか、ハードウェアとソフトウェアとの結合によって具現されるのである。

【0021】

以下、添付した図面を参照し、本発明の実施形態について、本発明が属する技術分野で当業者が容易に実施することができるように詳細に説明する。しかし、本発明は、さまざまに異なる形態に具現され、ここで説明する実施形態に限定されるものではない。そして、図面において、本発明について明確に説明するために、説明と関係ない部分は省略し、明細書全体を通じて類似した部分については、類似した図面符号を付した。

【0022】

以下、添付された図面を参照し、本発明の望ましい実施形態について説明する。

【0023】

図１及び図２は、本発明の一実施形態による立体音響再生装置の内部構造を示したブロック図である。

【0024】

本発明の一実施形態による立体音響再生装置１００は、再生されるチャネルで、ダウンミキシングされた多チャネルオーディオ信号を出力することができる。

【0025】

立体音響とは、音の高低、音色（tone）だけではなく、方向や距離感まで再生して臨場感を有するものにし、音源が発生させた空間に位置していない聴取者に、方向感、距離感及び空間感を知覚させる空間情報を付加した音響を意味する。

【0026】

以下の説明において、オーディオ信号のチャネルは、音響が出力されるスピーカの個数を意味する。チャネル数が多いほど、音響が出力されるスピーカの個数が多くなる。本発明の一実施形態による立体音響再生装置１００は、チャネル数が多い多チャネルオーディオ信号が、チャネル数が少ない環境で出力されて再生されるように、多チャネルオーディオ信号を、再生されるチャネルにレンダリングしてミキシングすることができる。このとき、多チャネルオーディオ信号は、高度音響を出力することができるチャネルを含んでもよい。

【0027】

高度音響を出力することができるチャネルは、高度感を感じるように、聴取者の頭上に位置したスピーカを介して、音響信号を出力することができるチャネルを意味する。水平面チャネルは（horizontal channel）、聴取者と水平した面に位置したスピーカを介して、音響信号を出力することができるチャネルを意味する。

【0028】

前述のチャネル数が少ない環境は、高度音響を出力することができるチャネルを含まず、水平面チャネルによって、水平面上に配置されたスピーカを介して音響を出力する環境を意味する。

【0029】

また、以下の説明において、水平面チャネルは、水平面上に配置されたスピーカを介して出力されるオーディオ信号を含むチャネルを意味する。オーバーヘッドチャネル（overhead channel）は、水平面ではない高度上に配置されて高度音を出力することができるスピーカを介して出力されるオーディオ信号を含むチャネルを意味する。

【0030】

図１を参照すれば、本発明の一実施形態による立体音響再生装置１００は、レンダラ１１０及びミキサ１２０を含んでもよい。

【0031】

本発明の一実施形態による立体音響再生装置１００は、多チャネルオーディオ信号をレンダリングしてミキシングし、再生されるチャネルに出力することができる。例えば、多チャネルオーディオ信号は、２２．２チャネル信号であり、再生されるチャネルは、５．１チャネルまたは７．１チャネルでもある。立体音響再生装置１００は、多チャネルオーディオ信号の各チャネルを対応させるチャネルを決定することにより、レンダリングを行い、再生されるチャネルと対応した各チャネルの信号を合わせ、最終信号として出力することにより、レンダリングされたオーディオ信号をミキシングすることができる。

【0032】

レンダラ１１０は、多チャネルオーディオ信号を、チャネル及び周波数によってレンダリングすることができる。レンダラ１１０は、多チャネルオーディオ信号に対して、オーバーヘッドチャネルと水平面チャネルとによる信号を、それぞれ３Ｄ（three-dimensional）レンダリング及び２Ｄ（two-dimensional）レンダリングすることができる。

【0033】

レンダラ１１０は、オーバーヘッドチャネルを３Ｄレンダリングするために、ＨＲＴＦ（head related transfer filter）フィルタを通過したオーバーヘッドチャネルを、周波数によって、それぞれ異なる方法でレンダリングすることができる。ＨＲＴＦフィルタは、両耳間のレベル差、及び両耳間での、音響時間の到逹時間差のような単純な経路差だけではなく、頭表面での回折、耳たぶによる反射のような複雑な経路上の特性が、音の到来方向によって変化する現象によって、立体音響を認識させる。ＨＲＴＦフィルタは、オーディオ信号の音質を変化させることにより、立体音響が認識されるように、オーバーヘッドチャネルに含まれたオーディオ信号を処理することができる。

【0034】

レンダラ１１０は、オーバーヘッドチャネル信号のうち低周波信号については、アド・ツー・クローゼストチャネル（add to the closest channel）方法によってレンダリングし、高周波信号については、マルチチャネルパンニング（multichannel panning）方法によってレンダリングすることができる。マルチチャネルパンニング方法によれば、多チャネルオーディオ信号の各チャネルの信号が、各チャネル信号にレンダリングされるチャネルごとに互いに異なるように設定されたゲイン値が適用され、少なくとも１つの水平面チャネルにそれぞれレンダリングされる。ゲイン値が適用された各チャネルの信号は、ミキシングを介して合わされることにより、最終信号として出力される。

【0035】

低周波信号は、回折性が強いので、マルチチャネルパンニング方法によって、多チャネルオーディオ信号の各チャネルを、さまざまなチャネルにそれぞれ分けてレンダリングせず、１つのチャネルにのみレンダリングしても、聴取者の聴取に、同じような音質を有することができる。従って、本発明の一実施形態による立体音響再生装置１００は、低周波信号をアド・ツー・クローゼストチャネル方法によってレンダリングすることにより、１つの出力チャネルにさまざまなチャネルがミキシングされるとこによって発生する音質劣化を防止することができる。すなわち、１つの出力チャネルにさまざまなチャネルがミキシングされれば、各チャネル信号間の干渉によって、音質が増幅されたり低減されたりして劣化されるので、１つの出力チャネルに１つのチャネルをミキシングすることにより、音質劣化を防止することができる。

【0036】

アド・ツー・クローゼストチャネル方法によれば、多チャネルオーディオ信号の各チャネルは、さまざまなチャネルに分けてレンダリングする代わりに、再生されるチャネルのうち最も近いチャネルにレンダリングされる。

【0037】

また、立体音響再生装置１００は、周波数によって異なる方法でレンダリングを行うことにより、スイートスポット（sweet spot）を音質劣化なしに広げることができる。すなわち、回折特性が強い低周波信号に対しては、アド・ツー・クローゼストチャネル方法によってレンダリングすることにより、１つの出力チャネルにさまざまなチャネルがミキシングされることによって発生する音質劣化を防止することができる。スイートスポットとは、聴取者が、歪曲されていない立体音響を最適に聴取することができる所定範囲を意味する。スイートスポットが広いほど、聴取者は、広い範囲で、歪曲されていない立体音響を最適に聴取することができ、聴取者がスイートスポットに位置しない場合、音質または音相などが歪曲された音響を聴取することになる。

【0038】

周波数によってことなるパンニング（panning）方法でレンダリングする方法については、以下の図４または図５でさらに詳細に説明する。

【0039】

ミキサ１２０は、レンダラ１１０によって水平チャネルと対応した各チャネルの信号を合わせ、最終信号として出力することができる。ミキサ１２０は、所定区間別に、各チャネルの信号をミキシングすることができる。例えば、ミキサ１２０は、１フレーム別に、各チャネルの信号をミキシングすることができる。

【0040】

本発明の一実施形態によるミキサ１２０は、再生される各チャネルにレンダリングされた信号のパワー値に基づいてミキシングすることができる。言い換えれば、ミキサ１２０は、再生される各チャネルにレンダリングされた信号のパワー値に基づいて、最終信号の振幅、または最終信号に適用されるゲイン（gain）を決定することができる。

【0041】

図２を参照すれば、本発明の一実施形態による立体音響再生装置２００は、音響分析部２１０、レンダラ２２０、ミキサ２３０及び出力部２４０を含んでもよい。図２の立体音響再生装置２００、レンダラ２２０及びミキサ２３０は、図１の立体音響再生装置１００、レンダラ１１０及びミキサ１２０と対応し、重複説明は省略する。

【0042】

音響分析部２１０は、多チャネルオーディオ信号を分析してレンダリングモードを選択し、多チャネルオーディオ信号に含まれた一部信号を分離して出力することができる。音響分析部２１０は、レンダリングモード選択部２１１とレンダリング信号分離部２１２とを含んでもよい。

【0043】

レンダリングモード選択部２１１は、多チャネルオーディオ信号に、拍手音や雨の音のように、トランジェント（transient）な信号が多い否かということを所定区間別に判断することができる。以下の説明において、拍手（applause）音や雨の音のように、トランジェント、すなわち、瞬間的であって一時的な信号が多いオーディオ信号をアプローズ（applause）信号と称する。

【0044】

本発明の一実施形態による立体音響再生装置２００は、アプローズ信号を分離し、アプローズ信号の特徴によって、チャネルレンダリング及びミキシングを処理することができる。

【0045】

レンダリングモード選択部２１１は、アプローズ信号が、多チャネルオーディオ信号に含まれているか否かということによって、レンダリングモードを、一般（general）モードまたはアプローズモードのうち一つに選択することができる。レンダラ２２０は、レンダリングモード選択部２１１によって選択されたモードによってレンダリングすることができる。すなわち、レンダラ２２０は、選択されたモードによって、アプローズ信号に対するレンダリングを行うことができる。

【0046】

レンダリングモード選択部２１１は、アプローズ信号が、多チャネルオーディオ信号に含まれていない場合、一般モードを選択することができる。一般モードによれば、オーバーヘッドチャネル信号は、３Ｄレンダラ２２１によってレンダリングされ、水平チャネル信号は、２Ｄレンダラ２２２によってレンダリングされる。すなわち、アプローズ信号に対する考慮なしにレンダリングが行われる。

【0047】

レンダリングモード選択部２１１は、アプローズ信号が、多チャネルオーディオ信号に含まれている場合、アプローズモードを選択することができる。アプローズモードによれば、アプローズ信号が分離され、分離されたアプローズ信号に対してレンダリングが行われる。

【0048】

レンダリングモード選択部２１１は、多チャネルオーディオ信号に含まれているか、あるいは他の装置から別途に受信されたアプローズビット情報を利用して、アプローズ信号が、多チャネルオーディオ信号に含まれているか否かということを、所定区間別に判断することができる。アプローズビット情報は、ＭＰＥＧ（Moving Picture Experts Group）系のコーデックスによれば、ｂｓＴｓＥｎａｂｌｅフラグ情報またはｂｓＴｅｍｐＳｈａｐｅＥｎａｂｌｅＣｈａｎｎｅｌフラグ情報を含み、前述のフラグ情報によって、レンダリングモードが、レンダリングモード選択部２１１によって選択される。

【0049】

また、レンダリングモード選択部２１１は、判断する所定区間の多チャネルオーディオ信号の特性に基づいて、レンダリングモードを選択することができる。すなわち、レンダリングモード選択部２１１は、所定区間の多チャネルオーディオ信号の特性がアプローズ信号を含むオーディオ信号の特性を有するか否かということによって、レンダリングモードを選択することができる。

【0050】

レンダリングモード選択部２１１は、所定区間の多チャネルオーディオ信号において、多数の入力チャネルに、トーナル（tonal）ではない広帯域（wideband）信号が存在し、該信号のレベルがチャネル別に類似しているか否かということ、短い区間のインパルス（impulse）形態が反復されているか否かということ、及びチャネル間の関連性（correlation）が低いか否かということのうち少なくとも１つの条件に基づいて、アプローズ信号が、多チャネルオーディオ信号に含まれているか否かということを判断することができる。

【0051】

レンダリングモード選択部２１１は、アプローズ信号が、現在区間において、多チャネルオーディオ信号に含まれていると判断した場合、レンダリングモードをアプローズモードに選択することができる。

【0052】

レンダリング信号分離部２１２は、レンダリング信号選択部２１１によってアプローズモードが選択された場合、多チャネルオーディオ信号に含まれたアプローズ信号を一般音響信号と分離することができる。

【0053】

ＭＰＥＧ ＵＳＡＣ系でのｂｓＴｓｄＥｎａｂｌｅフラグが使用される場合、当該チャネルの高度（elevation）に係わりなく、フラグ情報によって、水平チャネル信号のように２Ｄレンダリングされる。また、オーバーヘッド信号も、フラグ情報によって、水平チャネル信号と仮定されてミキシングされる。すなわち、レンダリング信号分離部２１２は、フラグ情報によって、所定区間の多チャネルオーディオ信号に含まれたアプローズ信号を分離することができ、分離されたアプローズ信号は、水平チャネル信号のように２Ｄレンダリングされる。

【0054】

フラグが使用されない場合、レンダリング信号分離部２１２は、チャネル間の信号を分析し、アプローズ信号成分を分離することができる。オーバーヘッド信号中にで分離されたアプローズ信号は、２Ｄレンダリングされ、アプローズ信号ではない残りの信号は、３Ｄレンダリングされる。

【0055】

レンダラ２２０は、オーバーヘッド信号を、３Ｄレンダリング方法によってレンダリングする３Ｄレンダラ２２１と、水平面チャネル信号またはアプローズ信号を２Ｄレンダリング方法によってレンダリングする２Ｄレンダラ２２２と、を含んでもよい。

【0056】

３Ｄレンダラ２２１は、オーバーヘッド信号を、周波数によってそれぞれ異なる方法でレンダリングすることができる。３Ｄレンダラ２２１は、低周波信号は、アド・ツー・クローゼストチャネル方法でレンダリングし、高周波信号は、３Ｄレンダリング方法によってレンダリングすることができる。以下において、３Ｄレンダリング方法は、オーバーヘッド信号をレンダリングする方法を意味し、３Ｄレンダリング方法は、マルチチャネルパンニング方法を含んでもよい。

【0057】

２Ｄレンダラ２２２は、水平面チャネル信号またはアプローズ信号を、２Ｄレンダリング方法、アド・ツー・クローゼストチャネル方法及びエネルギーブースト（energy boost）方法のうち少なくとも１つの方法によってレンダリングすることができる。以下において、２Ｄレンダリング方法は、水平面チャネル信号をレンダリングする方法を意味し、２Ｄレンダリング方法は、ダウンミックス数式（downmix equation）またはＶＢＡＰ（vector base amplitude panning）方法を含んでもよい。

【0058】

３Ｄレンダラ２２１と２Ｄレンダラ２２２は、それぞれマトリックス化されて簡略化される。３Ｄレンダラ２２１は、入力チャネル、出力チャネル、周波数の関数で決定される３Ｄダウンミックスマトリックスを介して、ダウンミキシングすることができる。２Ｄレンダラ２２２は、入力チャネル、出力チャネルの関数で決定される２Ｄダウンミックスマトリックスを介して、ダウンミキシングされる。すなわち、３Ｄダウンミックスマトリックスまたは２Ｄダウンミックスマトリックスは、入力チャネル、出力チャネルまたは周波数によって決定される係数を含み、入力された多チャネルオーディオ信号をダウンミキシングすることができる。

【0059】

それは、レンダリング時に、音響信号の位相（phase）部分よりは、周波数別に振幅部分が重要であるので、３Ｄレンダラ２２１と２Ｄレンダラ２２２は、それぞれ周波数値によって決定される係数を含むダウンミックスマトリックスを利用してレンダリングすることにより、レンダリングの演算量を簡略化することができる。ダウンミックスマトリックスを介してレンダリングされた信号は、ミキサ２３０のパワー保存モジュールによってミキシングされ、最終信号として出力される。

【0060】

ミキサ２３０は、レンダリングされた信号を各チャネル別に演算し、最終信号を出力することができる。本発明の一実施形態によるミキサ２３０は、各チャネルに含まれた信号のパワー値に基づいて、レンダリングされた信号をミキシングすることができる。従って、本発明の一実施形態による立体音響再生装置２００は、レンダリングされた信号のパワー値に基づいてミキシングすることにより、周波数の補強または相殺によって発生する音色歪曲を低減させることができる。

【0061】

出力部２４０は、ミキサ２３０によってミキシングされた信号を、スピーカを介して最終出力させることができる。そのとき、出力部２４０は、ミキシングされた信号のチャネルによってそれぞれ異なるスピーカを介して、音響信号を出力させることができる。

【0062】

図３は、本発明の一実施形態による立体音響再生方法を図示したフローチャートである。

【0063】

図３を参照すれば、段階Ｓ３０１において、立体音響再生装置１００は、チャネル情報及び周波数によって、多チャネルオーディオ信号をレンダリングすることができる。立体音響再生装置１００は、チャネル情報によって、３Ｄレンダリングまたは２Ｄレンダリングを行うが、低周波信号については、低周波信号の特性を考慮してレンダリングすることができる。

【0064】

段階Ｓ３０３において、立体音響再生装置１００は、段階Ｓ３０１でレンダリングされた信号をミキシングし、最終信号を生成することができる。立体音響再生装置１００は、多チャネルオーディオ信号の各チャネルの信号を出力するチャネルを決定することによってレンダリングし、レンダリングされた信号を合わせたり演算したりすることによってミキシングし、最終信号を生成することができる。

【0065】

図４は、本発明の一実施形態において、アプローズ信号を含むオーディオ信号に対する立体音響再生方法を図示したフローチャートである。

【0066】

図４を参照すれば、段階Ｓ４０１において、立体音響再生装置２００は、多チャネルオーディオ信号にアプローズ信号が含まれているか否かということを判断するために、多チャネルオーディオ信号を所定区間別に分析することができる。

【0067】

段階Ｓ４０３において、立体音響再生装置２００は、入力された多チャネルオーディオ信号に、アプローズ信号が含まれているか否かということを、所定区間別に判断することができる。例えば、１フレーム別に判断される。立体音響再生装置２００は、フラグ情報、または判断する所定区間の多チャネルオーディオ信号を分析することにより、アプローズ信号を含むか否かということを所定区間別に判断することができる。立体音響再生装置２００は、アプローズ信号を、オーバーヘッド信号または水平面チャネル信号とは分離して処理することにより、アプローズ信号をミキシングするときに発生する音質歪曲を最小化することができる。

【0068】

段階Ｓ４０５において、アプローズ信号が含まれていると判断された場合、立体音響再生装置２００は、アプローズ信号を分離し、段階Ｓ４０７において、アプローズ信号と水平面チャネルの信号とを２Ｄレンダリングすることができる。

【0069】

水平面チャネルの信号は、ダウンミックス数式（downmix equation）またはＶＢＡＰ方法によって２Ｄレンダリングされる。

【0070】

アプローズ信号は、アド・ツー・クローゼストチャネル方法によって、高度音響を含むチャネルを水平面に投影した場合、最も近いチャネルにレンダリングされるか、あるいは２Ｄレンダリング方法によってレンダリングされた後、エネルギーブースト方式によってミキシングされる。

【0071】

アプローズ信号は、２Ｄレンダリング方法または３Ｄレンダリング方法によってレンダリングしてミキシングする場合、ミキシングされた信号にトランジェント成分の個数が多くなってホワイトニング（whitening）現象が発生したり、チャネル間のクロス関連性が高くなって音相が狭くなったりする。従って、ホワイトニング現象や、音相が狭くなる現象を防止するために、立体音響再生装置２００は、低周波信号を３Ｄレンダリングするときに使用されるアド・ツー・クローゼストチャネル方法またはエネルギーブースト方式によって、アプローズ信号をレンダリングしてミキシングすることができる。

【0072】

エネルギーブースト方式は、さまざまなチャネルのオーディオ信号が、１つのチャネルにミキシングされる場合、トランジェント周期が変わって音色がホワイトニングされる現象を防ぐために、水平面チャネル信号のエネルギーを大きくする方法でミキシングする方法を意味する。エネルギーブースト方式は、レンダリングされたアプローズ信号をミキシングする方法に関するものである。

【0073】

エネルギーブースト方式による、アプローズ信号をミキシングする方法は、下記数式（１）によって遂行される。

【0074】

【数1】

ω_{ｉｎ，ｏｕｔ}は、ダウンミキシングゲイン（downmixing gain）を意味するものであり、アプローズ信号は、多チャネルオーディオ信号の各チャネルが再生されるチャネルにレンダリングされ、ミキシングされるとき、各チャネル別にダウンミキシングゲインが適用される。ダウンミキシングゲインは、各チャネルがレンダリングされるチャネルによって、所定値にあらかじめ決定される。ｘ_{ｉｎ＝ｏｕｔ}［ｌ，ｋ］は、出力レイアウトに対応するようにレンダリングされたアプローズ信号を示すものであり、いずれか１つのアプローズ信号を意味する。ｌは、音響信号の所定区間を識別するための値であり、ｋは、周波数を示す。ｘ_{ｉｎ＝ｏｕｔ}［ｌ，ｋ］／｜ｘ_{ｉｎ＝ｏｕｔ}［ｌ，ｋ］｜は、入力されたアプローズ信号の位相値を示し、数式（１）のルート内の値は、同一出力チャネルに対応したアプローズ信号のパワー、すなわち、エネルギー値の和を意味する。

【0075】

数式（１）を参照すれば、出力レイアウトの１チャネルにレンダリングされた多数のアプローズ信号にダウンミキシングゲインが適用された値のパワー値ほど、再生される各チャネルのゲインが修正される。従って、アプローズ信号は、エネルギー値の和ほど振幅が大きくなり、位相差によって発生するホワイトニング現象が防止される。

【0076】

段階Ｓ４０９において、立体音響再生装置２００は、アプローズ信号が含まれていないと判断された場合、水平チャネルの信号を２Ｄレンダリングすることができる。

【0077】

段階Ｓ４１１において、立体音響再生装置２００は、オーバーヘッドチャネル信号を、立体音響信号が提供されるように、ＨＲＴＦフィルタでフィルタリングすることができる。オーバーヘッドチャネル信号が周波数ドメインの信号であるか、あるいはフィルタバンクサンプルである場合、スペクトルの相対的なウェイティング（weighting）だけ提供するためのフィルタであるので、単純な乗算によってＨＲＴＦフィルタリングが行われる。

【0078】

段階Ｓ４１３において、立体音響再生装置２００は、オーバーヘッドチャネル信号を高周波と低周波とに分離することができる。例えば、立体音響再生装置２００は、１ｋＨｚを基準に、それ以下の周波数を有する音響信号を低周波に分離することができる。低周波成分は、回折が強い音響的な特徴によって、アド・ツー・クローゼストチャネル方法によってレンダリングされる。

【0079】

段階Ｓ４１５において、立体音響再生装置２００は、高周波信号に分離された信号は、３Ｄレンダリング方法によってレンダリングすることができる。３Ｄレンダリング方法は、マルチチャネルパンニング方法を含んでもよい。マルチチャネルパンニングとは、多チャネルオーディオ信号の各チャネル信号が再生されるチャネルに配分されることを意味する。そのとき、パンニング係数が適用された各チャネル信号が、再生されるチャネルに配分される。高周波信号の場合、高度感が上昇するほど、両耳間のレベル差（ＩＬＤ：interaural level difference）が低減する特性を提供するために、サラウンドチャネルに信号が配分される。また、フロントチャネルとパンニングされる多数のチャネルの個数によって、音響信号の方向が定位される。

【0080】

段階Ｓ４１７において、立体音響再生装置１００は、低周波信号は、前述のアド・ツー・クローゼストチャネル方法によってレンダリングすることができる。１つのチャネルに、多くの信号、すなわち、多チャネルオーディオ信号のいくつかのチャネル信号が混ざれば、それぞれ異なる位相によって音質が相殺されるか、あるいは増幅されるかということによって音質劣化が発生する。アド・ツー・クローゼストチャネル方法によれば、立体音響再生装置１００は、前述の音質劣化の発生を防止するために、各チャネル水平面に投影した場合、最も近いチャネルに、下記表１のようにマッピングすることができる。

【0081】

【表1】

表１を参照すれば、オーバーヘッドチャネルにおいて、近いチャネルが複数個存在するＴＢＣ及びＶＯＧようなチャネルは、音相定位のために、パンニング係数（panning coeffiecient）によって、５．１チャネルに配分される。

【0082】

表１に図示されたマッピング関係は、例示に過ぎず、それに限られるものではなく、各チャネルは、異なってもマッピングされる。

【0083】

多チャネルオーディオ信号が、周波数信号またはフィルタバンク信号である場合、低周波に該当するビン（bin）またはバンド（band）は、アド・ツー・クローゼストチャネル方法、高周波に該当するビンまたはバンドは、マルチチャネルパンニング方法によってレンダリングされる。ビンまたはバンドは、周波数ドメインでの所定単位位の信号区間を意味する。

【0084】

段階Ｓ４１９において、立体音響再生装置１００は、各チャネルにレンダリングされた信号を、パワー値に基づいてミキシングすることができる。そのとき、立体音響再生装置１００は、周波数ドメインでミキシングすることができる。各チャネルにレンダリングされた信号を、パワー値に基づいてミキシングする方法については、以下の図６及び図７でさらに詳細に説明する。

【0085】

段階Ｓ４２１において、立体音響再生装置１００は、ミキシングされた最終信号を出力することができる。

【0086】

図５は、本発明の一実施形態において、３Ｄレンダラの内部構造を示したブロック図である。図５の３Ｄレンダラ５００は、図２の３Ｄレンダラ２２１と対応し、重複説明は省略する。

【0087】

図５を参照すれば、３Ｄレンダラ５００は、ＨＲＴＦフィルタ５１０、ＬＰＦ（low-pass filter）５２０、ＨＰＦ（high-pass filter）５３０、アド・ツー・クローゼストチャネル５４０及びマルチチャネルパンニング５５０を含んでもよい。

【0088】

ＨＲＴＦフィルタ５１０は、多チャネルオーディオ信号のうちオーバーヘッドチャネル信号をＨＲＴＦフィルタリングすることができる。

【0089】

ＬＰＦ ５２０は、ＨＲＴＦフィルタリングされたオーバーヘッドチャネル信号のうち低周波成分を分離して出力することができる。

【0090】

ＨＰＦ ５３０は、ＨＲＴＦフィルタリングされたオーバーヘッドチャネル信号のうち高周波成分を分離して出力することができる。

【0091】

アド・ツー・クローゼストチャネル５４０は、オーバーヘッドチャネル信号のうち低周波成分を各チャネル水平面に投影した場合、最も近いチャネルにレンダリングすることができる。

【0092】

マルチチャネルパンニング５５０は、オーバーヘッドチャネル信号のうち高周波成分を、マルチチャネルパンニング方法によってレンダリングすることができる。

【0093】

図６は、本発明の一実施形態による、レンダリングされたオーディオ信号をミキシングする方法を図示したフローチャートである。図６の段階Ｓ６０１ないし段階Ｓ６０５は、図４の段階Ｓ４１９と対応し、重複説明は省略する。

【0094】

図６を参照すれば、段階Ｓ６０１において、立体音響再生装置１００は、レンダリングされたオーディオ信号を獲得することができる。

【0095】

段階Ｓ６０３において、立体音響再生装置１００は、各チャネル別にレンダリングされた信号のパワー値を獲得し、段階Ｓ６０５において、各チャネル別に獲得されたパワー値に基づいてミキシングすることにより、最終信号を生成することができる。

【0096】

図７は、本発明の一実施形態による、レンダリングされたオーディオ信号を周波数によってミキシングする方法を図示したフローチャートである。図７の段階Ｓ７０１及び段階Ｓ７０３は、図６の段階Ｓ６０１及び段階Ｓ６０３と対応し、重複説明は省略する。

【0097】

図７を参照すれば、段階Ｓ７０１において、立体音響再生装置１００は、レンダリングされたオーディオ信号を獲得することができる。

【0098】

段階Ｓ７０３において、立体音響再生装置１００は、パワー保存モジュール（power preserving module）によって、各チャネル別にレンダリングされた信号のパワー値を獲得し、段階Ｓ７０５において、獲得されたパワー値に基づいてミキシングすることができる。各チャネル別にレンダリングされた信号のパワー値は、各チャネル別にレンダリングされた信号の二乗の和を求めることによって獲得される。

【0099】

【数2】

ｘ_{ｉｎ，ｏｕｔ}は、いずれか１つのチャネルにレンダリングされたオーディオ信号であり、ｘ_ｏｕｔは、いずれか１つのチャネルにレンダリングされた信号の総和を示し、ｌは、多チャネルオーディオ信号の現在区間を示す。ｋは、周波数を示し、ｙ_ｏｕｔは、パワー保存モジュールによってミキシングされた信号を示す。

【0100】

パワー保存モジュールによれば、前述の各チャネル別にレンダリングされた信号のパワー値に基づいて、最終ミキシングされた信号のパワーが、ミキシング前のパワーに維持されるようにミキシングされる。従って、パワー保存モジュールによれば、ミキシングされた信号が、レンダリングされた信号が加わるとき、補強干渉または相殺干渉によって音響信号が歪曲されることを防止することができる。

【0101】

数式（２）を参照すれば、立体音響再生装置１００は、パワー保存モジュールによって、各チャネル別にレンダリングされた信号の総和に対する位相に、各チャネル別にレンダリングされた信号のパワー値を適用することにより、レンダリングされた信号をミキシングすることができる。

【0102】

段階Ｓ７０１で獲得された信号が時間ドメインである場合、周波数ドメインに変換された後、数式（２）によってミキシングされる。そのとき、時間ドメインの音響信号は、周波数シェーマまたはフィルタバンクシェーマによって周波数ドメインに変換される。

【0103】

しかし、立体音響再生装置１００が、所定区間別にパワー保存モジュールを適用する場合、所定区間別に、各信号のパワー値を推定するが、低周波の場合、パワー値を推定することができる区間が、波長に比べて十分ではない。従って、各区間ごとに推定されたパワー値が異なり、パワー保存モジュールが適用された区間の境界において、不連続的な部分が生じてしまう。一方、高周波の場合、パワー値を推定することができる区間が波長に比べて十分であるので、区間の境界において、不連続的な部分が発生する可能性が低い。すなわち、以下で説明するワンポールスムージング（one-pole smoothing）方法は、パワー値を推定することができる区間が、波長に比べて十分であるか否かということによって適用される。

【0104】

本発明の一実施形態による立体音響再生装置１００は、段階Ｓ７０７において、段階Ｓ７０５でミキシングされた信号に、低周波信号に該当する部分が存在するか否かということを判断することができる。ミキシングされた信号に、低周波信号に該当する部分が存在する場合、立体音響再生装置１００は、段階Ｓ７０９ないし段階Ｓ７１１において、下記数式（３）のワンポールスムージング方法を利用して、パワー保存モジュールが適用された区間の境界で発生した不連続的な部分を除去することができる。

【0105】

【数3】

Ｐ_ｏｕｔは、以前区間のＰ_ｏｕｔと、現在区間のミキシングされた信号総和のパワー値とに基づいて獲得される。

【0106】

Ｐ_ｉｎは、以前区間のＰ_ｉｎと、現在区間のレンダリングされた各信号のパワー値の総和とに基づいて獲得される。

【0107】

以前区間のＰ_ｏｕｔまたはＰ_ｉｎに適用されるγによって、以前区間のパワー値が数式に適用されるが、γは、低周波の波長が長いほど、または周波数値が小さいほど、小さい値を有するように決定される。

【0108】

本発明の一実施形態による立体音響再生装置１００は、不連続的な部分を除去するために、以前区間でレンダリングされた信号、またはレンダリングされた信号を加えた信号のパワー値に基づいて、ミキシングされた信号のゲインを調節することができる。

【0109】

さらに、数式（３）と同様に、出力信号のゲインを、以前区間の出力信号のゲイン値に基づいて獲得することにより、不連続的な部分を除去するために、数式（４）のように処理される。

【0110】

【数4】

本発明の一実施形態による立体音響再生装置１００は、不連続的な部分を除去するために、以前区間でレンダリングされた信号、またはレンダリングされた信号を加えた信号に適用されたゲイン値に基づいて、ミキシングされた信号のゲインを調節することができる。

【0111】

図８は、本発明の一実施形態による、レンダリングされたオーディオ信号を周波数によってミキシングする一例を図示した例示図である。

【0112】

図８を参照すれば、レンダリングされたオーディオ信号８０１，８０２を加えたミキシング過程中の信号８０３を参照すれば、レンダリングされたオーディオ信号８０１，８０２は、位相差によって、加えた値の振幅が増幅されることによって音が大きく聞こえるようになる。

【0113】

従って、本発明の一実施形態による立体音響再生装置１００は、パワー保存モジュールを適用することにより、ミキシング過程中の信号８０３のゲインを、レンダリングされたオーディオ信号８０１，８０２のパワー値に基づいて決定することができる。

【0114】

パワー保存モジュールによってミキシングされた信号８０４は、レンダリングされたオーディオ信号８０１，８０２と類似した大きさの振幅を有するように調節されたが、所定区間別にパワー保存モジュールが適用されることにより、区間ごとに不連続的な部分を含む。

【0115】

従って、本発明の一実施形態による立体音響再生装置１００は、ワンポールスムージング技法によって、以前区間のパワー値を参照し、ミキシングされた信号に対してスムージング処理を行うことにより、最終信号８０５を求めることができる。

【0116】

図９及び図１０は、本発明の一実施形態による立体音響再生装置の内部構造を示したブロック図である。

【0117】

図９を参照すれば、立体音響再生装置９００は、３Ｄレンダラ９１０、２Ｄレンダラ９２０、ウェイティング適用部９３０、ミキサ９４０を含んでもよい。図９の３Ｄレンダラ９１０、２Ｄレンダラ９２０及びミキサ９４０は、図２の３Ｄレンダラ２２１、２Ｄレンダラ２２２及びミキサ２３０と対応し、重複説明は省略する。

【0118】

３Ｄレンダラ９１０は、多チャネルオーディオ信号のうちオーバーヘッドチャネル信号に対してレンダリングすることができる。

【0119】

２Ｄレンダラ９２０は、多チャネルオーディオ信号のうち水平面チャネル信号に対してレンダリングすることができる。

【0120】

ウェイティング適用部９３０は、３Ｄレンダラ９１０によってレンダリングされるレイアウトにおいて、再生される信号のチャネルレイアウトと一致しない場合、多チャネルオーディオ信号を、再生されるチャネルレイアウトによって出力するための構成要素である。再生されるチャネルのレイアウトとは、再生されるチャネル信号が出力されるスピーカの配置情報を意味する。

【0121】

２Ｄレンダラ９２０がＶＢＡＰ方法でレンダリングする場合、任意のレイアウトチャネル環境でも、水平面チャネル信号に対するレンダリングが可能である。ＶＢＡＰ方法によれば、立体音響再生装置９００は、ベクトル基盤の簡単な計算のみで、任意のスピーカ環境でのパンニングゲインを求め、多チャネルオーディオ信号をレンダリングすることができる。従って、任意の再生チャネルレイアウトが、３Ｄレンダラ９１０によってレンダリングされるレイアウトと類似する程度によって、ウェイティングが決定される。例えば、３Ｄレンダラ９１０が、多チャネルオーディオ信号を、５．１チャネルの再生環境にレンダリングする場合、レンダリングする任意のレイアウトチャネル環境が、５．１チャネルの再生環境とレイアウトがどれほど異なるかということにより、ウェイティングが決定される。

【0122】

そして、３Ｄウェイティング適用部９３０は、３Ｄレンダラ９１０及び２Ｄレンダラ９２０によってレンダリングされた信号にそれぞれ決定されたウェイティングを適用し、出力することができる。

【0123】

図１０を参照すれば、立体音響再生装置１０００は、３Ｄレンダラ１０１０、２Ｄレンダラ１０２０及びミキサ１０３０を含んでもよい。図９の３Ｄレンダラ１０１０、２Ｄレンダラ１０２０及びミキサ１０３０は、図２の３Ｄレンダラ２２１、２Ｄレンダラ２２２及びミキサ２３０と対応し、重複説明は省略する。

【0124】

３Ｄレンダラ１０１０は、レンダリングすることができるレイアウトのうち、出力されるチャネルのレイアウトと最も類似したレイアウトでレンダリングすることができる。そして、２Ｄレンダラ１０２０は、３Ｄレンダラ１０１０によってレンダリングされた信号を、各チャネル別に出力される信号のチャネルレイアウトにさらにパンニングさせ（repanning）、レンダリングすることができる。

【0125】

例えば、３Ｄレンダラ１０１０が、多チャネルオーディオ信号を、５．１チャネルの再生環境にレンダリングする場合、２Ｄレンダラ１０２０は、ＶＢＡＰ方法によってレンダリングする任意のレイアウトチャネル環境により、３Ｄレンダリングされた信号をさらにパンニングさせてレンダリングすることができる。

【0126】

本発明の一実施形態による立体音響再生装置は、音声信号のうち高度成分を水平面上に配置されたスピーカで高度感あるように再生することができる。

【0127】

本発明の一実施形態による立体音響再生装置は、多チャネルオーディオ信号を、チャネル数が少ない環境で再生するとき、音色が変わったり、音が消えたりする現象を最小化することができる。

【0128】

本発明の一実施形態による方法は、コンピュータで読み取り可能な記録媒体に、コンピュータ（情報処理機能を有する装置をいずれも含む）で読み取り可能なコードでもって具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録装置の例としては、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）、ＣＤ（compact disc）−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。

【0129】

たとえ前記説明が多様な実施形態に適用される本発明の新規特徴に焦点を合わせて説明したにしても、本技術分野における当業者であるならば、本発明の範囲を外れずに、前記説明された装置、方法の形態及び詳細事項において、多様な削除、代替及び変更が可能であるということを理解するであろう。従って、本発明の範囲は、前述の説明よりは、特許請求の範囲によって定義される。特許請求の範囲の均等範囲中の全ての変形は、本発明の範囲に包摂されるものである。

【0130】

以下、本願により教示される実施形態を例示的に列挙する。
（付記１）
複数個の入力チャネルから複数個の出力チャネルに変換される多チャネル信号を受信する段階と、
前記多チャネル信号の特性から、高度感レンダリングのためのレンダリングタイプを決定する段階と、
前記複数個の出力チャネルによって高度感ある音相を提供するために、前記複数個の入力チャネルに含まれた少なくとも１つのオーバーヘッド入力チャネルを、前記決定されたレンダリングタイプによってレンダリングする段階と、を含むオーディオ信号レンダリング方法。
（付記２）
前記多チャネル信号の特性は、ビットストリームに含まれたパラメータから得られることを特徴とする付記１に記載のオーディオ信号レンダリング方法。
（付記３）
前記多チャネル信号の特性は、前記多チャネル信号がアプローズ信号に該当するか否かということを含むことを特徴とする付記１に記載のオーディオ信号レンダリング方法。
（付記４）
前記多チャネル信号の特性は、前記多チャネル信号の帯域幅及び相関度を含むことを特徴とする付記１に記載のオーディオ信号レンダリング方法。
（付記５）
前記レンダリングする段階は、
前記多チャネル信号がアプローズ信号に該当する場合、前記少なくとも１つのオーバーヘッド入力チャネルを２Ｄレンダリングによってレンダリングする段階と、
前記多チャネル信号がアプローズ信号に該当しない場合、前記少なくとも１つのオーバーヘッド入力チャネルを３Ｄレンダリングによってレンダリングする段階と、を含むことを特徴とする付記１に記載のオーディオ信号レンダリング方法。
（付記６）
前記方法は、
前記複数個の入力チャネルに含まれた少なくとも１つの水平入力チャネルをレンダリングする段階と、
前記少なくとも１つのオーバーヘッド入力チャネルのレンダリング結果と、前記少なくとも１つの水平入力チャネルのレンダリング結果と、をミキシングする段階と、をさらに含むことを特徴とする付記１に記載のオーディオ信号レンダリング方法。
（付記７）
前記ミキシングする段階は、
各レンダリングされた信号のパワー値に基づいて、前記パワー値が保存されるように、前記レンダリングされた信号をミキシングする段階を含むことを特徴とする付記６に記載のオーディオ信号レンダリング方法。
（付記８）
付記１ないし７のうちいずれか１項に記載の方法を実行することができるプログラムを記録したコンピュータで読み取り可能な記録媒体。
（付記９）
複数個の入力チャネルから複数個の出力チャネルに変換される多チャネル信号を受信する受信部と、
前記多チャネル信号の特性から、高度感レンダリングのためのレンダリングタイプを決定し、前記複数個の出力チャネルによって高度感ある音相を提供するために、前記複数個の入力チャネルに含まれた少なくとも１つのオーバーヘッド入力チャネルを前記決定されたレンダリングタイプによってレンダリングする第１レンダラと、を含むオーディオ信号レンダリング装置。
（付記１０）
前記多チャネル信号の特性は、ビットストリームに含まれたパラメータから得られることを特徴とする付記９に記載のオーディオ信号レンダリング装置。
（付記１１）
前記多チャネル信号の特性、は前記多チャネル信号がアプローズ信号に該当するか否かということを含むことを特徴とする付記９に記載のオーディオ信号レンダリング装置。
（付記１２）
前記多チャネル信号の特性は、前記多チャネル信号の帯域幅及び相関度を含むことを特徴とする付記９に記載のオーディオ信号レンダリング装置。
（付記１３）
前記第１レンダラは、前記多チャネル信号がアプローズ信号に該当する場合、前記少なくとも１つのオーバーヘッド入力チャネルを２Ｄレンダリングによってレンダリングし、前記多チャネル信号がアプローズ信号に該当しない場合、前記少なくとも１つのオーバーヘッド入力チャネルを３Ｄレンダリングによってレンダリングすることを特徴とする付記９に記載のオーディオ信号レンダリング装置。
（付記１４）
前記装置は、
前記複数個の入力チャネルに含まれた少なくとも１つの水平入力チャネルをレンダリングする第２レンダラと、
前記少なくとも１つのオーバーヘッド入力チャネルのレンダリング結果と、前記少なくとも１つの水平入力チャネルのレンダリング結果とをミキシングするミキサと、をさらに含むことを特徴とする付記９に記載のオーディオ信号レンダリング装置。
（付記１５）
前記ミキサは、各レンダリングされた信号のパワー値に基づいて、前記パワー値が保存されるように、前記レンダリングされた信号をミキシングすることを特徴とする付記１４に記載のオーディオ信号レンダリング装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】