特許 6843945 オーディオ提供装置及びオーディオ提供方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6843945

(24)【登録日】2021年2月26日

(45)【発行日】2021年3月17日

(54)【発明の名称】オーディオ提供装置及びオーディオ提供方法

(51)【国際特許分類】

   H04S 7/00 20060101AFI20210308BHJP

【ＦＩ】

   H04S7/00 300

【請求項の数】3

【全頁数】31

(21)【出願番号】特願2019-208303(P2019-208303)

(22)【出願日】2019年11月18日

(62)【分割の表示】特願2017-126130(P2017-126130)の分割

【原出願日】2013年12月4日

(65)【公開番号】特開2020-25348(P2020-25348A)

(43)【公開日】2020年2月13日

【審査請求日】2019年11月18日

(31)【優先権主張番号】61/732,939

(32)【優先日】2012年12月4日

(33)【優先権主張国】US

(31)【優先権主張番号】61/732,938

(32)【優先日】2012年12月4日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ジョン，サン−ベ

(72)【発明者】

【氏名】キム，ソン−ミン

(72)【発明者】

【氏名】パク，ジェ−ハ

(72)【発明者】

【氏名】ソン，サン−モ

(72)【発明者】

【氏名】チョウ，ヒョン

(72)【発明者】

【氏名】チョン，ヒョン−ジュ

【審査官】 大石 剛

(56)【参考文献】

【文献】 特表２００８−５０９６００（ＪＰ，Ａ）

【文献】 特開２０１１−２１１３１２（ＪＰ，Ａ）

【文献】 特表２０１０−５２５３７８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｓ ７／００

(57)【特許請求の範囲】

【請求項1】

オブジェクト入力信号を受信する段階と、
前記オブジェクト入力信号を出力レイアウトに基づいて出力オブジェクト信号にコンバーティングする段階と、
１つの高さ入力チャネル信号を含む複数の入力チャネル信号を受信する段階と、
前記受信した複数の入力チャネル信号のうち、相関度を有する入力チャネル信号の位相差を整列する段階と、
前記整列された位相差、入力レイアウト、及び出力レイアウトに基づいて、高度感のあるサウンドを提供するために、前記複数の入力チャネル信号を複数の出力チャネル信号にコンバーティングする段階と、
前記出力オブジェクト信号と前記複数の出力チャネル信号とをミキシングする段階と、
を含み、
前記複数の出力チャネル信号は、ヘッド関連伝達関数とパニングゲインを使用してコンバーティングされ、
前記複数の入力チャネル信号の前記入力レイアウトは、１つの高度角度情報を含み、前記複数の出力チャネル信号の前記出力レイアウトは、水平面である、ことを特徴とするオーディオ提供方法。

【請求項2】

前記出力レイアウトは、５．１チャネル信号である、ことを特徴とする請求項１に記載のオーディオ提供方法。

【請求項3】

前記入力チャネル信号の数は、前記出力チャネル信号の数よりも多い、ことを特徴とする請求項１に記載のオーディオ提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オーディオ提供装置及びオーディオ提供方法に係り、さらに詳細には、多様なフォーマットのオーディオ信号を、オーディオ再生システムに最適化されるように、レンダリングして出力するオーディオ提供装置及びオーディオ提供方法に関する。

【背景技術】

【0002】

現在、マルチメディア市場は、多様なオーディオフォーマットが混在している状況である。例えば、オーディオ提供装置は、２チャネルのオーディオフォーマットから２２．２チャネルのオーディオフォーマットまで、多様なオーディオフォーマットを提供している。特に、最近では、立体的な空間において音源を表現することができる７．１チャネル、１１．１チャネル及び２２．２チャネルのようなオーディオシステムが提供されている。

【0003】

しかし、現在提供されるほとんどのオーディオ信号は、２．１チャネルフォーマットや、５．１チャネルフォーマットであり、立体的な空間において音源を表現するのに限界が存在する。また、７．１チャネル、１１．１チャネル及び２２．２チャネルのオーディオ信号を再生するためのオーディオシステムを家庭に設けるには、現実的な困難さが伴う。

【0004】

従って、入力信号のフォーマット、及びオーディオ提供装置によって能動的にオーディオ信号をレンダリングするための方案の模索が要請される。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、前述の問題点を解決するために案出されたものであり、チャネルオーディオ信号をアップミキシングまたはダウンミキシングを介して、聴取環境に最適化され、オブジェクトオーディオ信号を軌道情報によってレンダリングし、聴取環境に最適化された音像を提供することができるオーディオ提供方法、及びそれを適用したオーディオ提供装置を提供するところある。

【課題を解決するための手段】

【0006】

前記目的を達成するための本発明の一実施形態によるオーディオ提供装置は、オブジェクトオーディオ信号の軌道情報を利用して、前記オブジェクトオーディオ信号をレンダリングするオブジェクト・レンダリング部と、第１チャネル数を有するオーディオ信号を、第２チャネル数を有するオーディオ信号にレンダリングするチャネル・レンダリング部と、前記レンダリングされたオブジェクトオーディオ信号、及び前記第２チャネル数を有するオーディオ信号をミキシングするミキシング部と、を含む。

【0007】

そして、前記オブジェクト・レンダリング部は、前記オブジェクトオーディオ信号の軌道情報を三次元座標情報に変換する軌道情報分析部と、前記変換された三次元座標情報を基に、距離制御情報を生成する距離制御部と、前記変換された三次元座標情報を基に、デプス制御情報を生成するデプス制御部と、前記変換された三次元座標情報を基に、オブジェクトオーディオ信号を定位させるための定位情報を生成する定位部と、前記距離制御情報、デプス制御情報及び定位情報を基に、前記オブジェクトオーディオ信号をレンダリングするレンダリング部と、を含んでもよい。

【0008】

また、前記距離制御部は、前記オブジェクトオーディオ信号の距離ゲインを算出し、前記オブジェクトオーディオ信号の距離が遠いほど、前記オブジェクトオーディオ信号の距離ゲインを減少させ、前記オブジェクトオーディオ信号の距離が近いほど、前記オブジェクトオーディオ信号の距離ゲインを増大させることができる。

【0009】

そして、前記デプス制御部は、前記オブジェクトオーディオ信号の水平面上の投影距離を基に、デプスゲインを獲得し、前記デプスゲインは、ネガティブベクトル及びポジティブベクトルの和によって表現されるか、あるいはポジティブベクトル及びヌルベクトルの和によって表現される。

【0010】

また、前記定位部は、前記オーディオ提供装置のスピーカレイアウトによって、前記オブジェクトオーディオ信号を定位させるためのパニングゲインを算出することができる。

【0011】

そして、前記レンダリング部は、前記オブジェクト信号の距離ゲイン、デプスゲイン及びパニングゲインを基に、前記オブジェクトオーディオ信号をマルチチャネルにレンダリングすることができる。

【0012】

また、前記オブジェクト・レンダリング部は、前記オブジェクトオーディオ信号が複数個存在する場合、前記複数のオブジェクトオーディオ信号のうち相関度を有するオブジェクト間の位相差を算出し、前記複数のオブジェクトオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオブジェクトオーディオ信号を合成することができる。

【0013】

そして、前記オーディオ提供装置が同一高度を有する複数のスピーカを利用してオーディオを再生する場合、前記オブジェクト・レンダリング部は、前記オブジェクトオーディオ信号のスペクトル特性（spectral characteristics）を補正し、前記オブジェクトオーディオ信号に仮想高度情報を提供する仮想フィルタ部と、前記仮想フィルタ部によって提供された仮想高度情報を基に、前記オブジェクトオーディオ信号をレンダリングする仮想レンダリング部と、を含んでもよい。

【0014】

また、前記仮想フィルタ部は、複数の段階で構成されたツリー構造をなすことができる。

【0015】

そして、前記チャネル・レンダリング部は、前記第１チャネル数を有するオーディオ信号のレイアウトが二次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より多い前記第２チャネル数を有するオーディオ信号にアップミキシングし、前記第２チャネル数を有するオーディオ信号のレイアウトは、前記第１チャネル数を有するオーディオ信号と異なる高度情報を有する三次元でもある。

【0016】

また、前記チャネル・レンダリング部は、前記第１チャネル数を有するオーディオ信号のレイアウトが三次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より少ない前記第２チャネル数を有するオーディオ信号にダウンミキシングし、前記第２チャネル数を有するオーディオ信号のレイアウトは、複数のチャネルが同一高度成分を有する二次元でもある。

【0017】

そして、前記オブジェクトオーディオ信号、及び前記第１チャネル数を有するオーディオ信号のうち少なくとも一つは、特定フレームに対して仮想三次元レンダリングを行うか否かということを決定する情報を含んでもよい。

【0018】

また、前記チャネル・レンダリング部は、前記第１チャネル数を有するオーディオ信号を、前記第２チャネル数を有するオーディオ信号にレンダリングする過程において、相関度を有するオーディオ信号間の位相差を算出し、前記複数のオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオーディオ信号を合成することができる。

【0019】

そして、前記ミキシング部は、前記レンダリングされたオブジェクトオーディオ信号と、前記第２チャネル数を有するオーディオ信号とをミキシングする間、相関度を有するオーディオ信号間の位相差を算出し、前記複数のオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオーディオ信号を合成することができる。

【0020】

また、前記オブジェクトオーディオ信号は、ユーザにオブジェクトオーディオ信号の選択のためのオブジェクトオーディオ信号のＩＤ及び類型情報のうち少なくとも一つを保存することができる。

【0021】

一方、前記目的を達成するための本発明の一実施形態によるオブジェクトオーディオ信号の軌道情報を利用して、前記オブジェクトオーディオ信号をレンダリングする段階と、第１チャネル数を有するオーディオ信号を、第２チャネル数を有するオーディオ信号にレンダリングする段階と、前記レンダリングされたオブジェクトオーディオ信号、及び前記第２チャネル数を有するオーディオ信号をミキシングする段階と、を含む。

【0022】

そして、前記オブジェクトオーディオ信号をレンダリングする段階は、前記オブジェクトオーディオ信号の軌道情報を三次元座標情報に変換する段階と、前記変換された三次元座標情報を基に、距離制御情報を生成する段階と、前記変換された三次元座標情報を基に、デプス制御情報を生成する段階と、前記変換された三次元座標情報を基に、オブジェクトオーディオ信号を定位させるための定位情報を生成する段階と、前記距離制御情報、デプス制御情報及び定位情報を基に、前記オブジェクトオーディオ信号をレンダリングする段階と、を含んでもよい。

【0023】

また、前記距離制御情報を生成する段階は、前記オブジェクトオーディオ信号の距離ゲインを算出し、前記オブジェクトオーディオ信号の距離が遠いほど、前記オブジェクトオーディオ信号の距離ゲインを減少させ、前記オブジェクトオーディオ信号の距離が近いほど、前記オブジェクトオーディオ信号の距離ゲインを増大させることができる。

【0024】

そして、前記デプス制御情報を生成する段階は、前記オブジェクトオーディオ信号の水平面上の投影距離を基に、デプスゲインを獲得し、前記デプスゲインは、ネガティブベクトル及びポジティブベクトルの和によって表現されるか、あるいはポジティブベクトル及びヌルベクトルの和によって表現される。

【0025】

また、前記定位情報を生成する段階は、前記オーディオ提供装置のスピーカレイアウトによって、前記オブジェクトオーディオ信号を定位させるためのパニングゲインを算出することができる。

【0026】

そして、前記レンダリングする段階は、前記オブジェクト信号の距離ゲイン、デプスゲイン及びパニングゲインを基に、前記オブジェクトオーディオ信号をマルチチャネルにレンダリングすることができる。

【0027】

また、前記オブジェクトオーディオ信号をレンダリングする段階は、前記オブジェクトオーディオ信号が複数個存在する場合、前記複数のオブジェクトオーディオ信号のうち相関度を有するオブジェクト間の位相差を算出し、前記複数のオブジェクトオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオブジェクトオーディオ信号を合成することができる。

【0028】

そして、前記オーディオ提供装置が同一高度を有する複数のスピーカを利用してオーディオを再生する場合、前記オブジェクトオーディオ信号をレンダリングする段階は、前記オブジェクトオーディオ信号のスペクトル特性（spectral characteristics）を補正し、前記オブジェクトオーディオ信号に仮想高度情報を算出する段階と、前記仮想フィルタ部によって提供された仮想高度情報を基に、前記オブジェクトオーディオ信号をレンダリングする段階と、を含んでもよい。

【0029】

また、前記算出する段階は、複数の段階で構成されたツリー構造をなす仮想フィルタを利用して、前記オブジェクトオーディオ信号の仮想高度情報を算出することができる。

【0030】

そして、前記第２チャネル数を有するオーディオ信号にレンダリングする段階は、前記第１チャネル数を有するオーディオ信号のレイアウトが二次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より多い前記第２チャネル数を有するオーディオ信号にアップミキシングし、前記第２チャネル数を有するオーディオ信号のレイアウトは、前記第１チャネル数を有するオーディオ信号と異なる高度情報を有する三次元でもある。

【0031】

また、前記第２チャネル数を有するオーディオ信号にレンダリングする段階は、前記第１チャネル数を有するオーディオ信号のレイアウトが三次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より少ない前記第２チャネル数を有するオーディオ信号にダウンミキシングし、前記第２チャネル数を有するオーディオ信号のレイアウトは、複数のチャネルが同一高度成分を有する二次元でもある。

【0032】

また、前記オブジェクトオーディオ信号、及び前記第１チャネル数を有するオーディオ信号のうち少なくとも一つは、特定フレームに対して仮想三次元レンダリングを行うか否かということを決定する情報を含んでもよい。

【発明の効果】

【0033】

前述のような本発明の多様な実施形態によって、オーディオ提供装置は、多様なフォーマットを有するオーディオ信号を、オーディオシステム空間に最適化されるように再生することができる。

【図面の簡単な説明】

【0034】

【図1】本発明の一実施形態によるオーディオ提供装置の構成を示すブロック図である。

【図2】本発明の一実施形態によるオブジェクト・レンダリング部の構成を図示したブロック図である。

【図3】本発明の一実施形態によるオブジェクトオーディオ信号の軌道情報について説明するための図面である。

【図4】本発明の一実施形態によるオブジェクトオーディオ信号の距離情報による距離ゲインについて説明するためのグラフである。

【図5A】本発明の一実施形態によるオブジェクトオーディオ信号のデプス情報によるデプスゲインについて説明するためのグラフである。

【図5B】本発明の一実施形態によるオブジェクトオーディオ信号のデプス情報によるデプスゲインについて説明するためのグラフである。

【図6】本発明の他の実施形態による仮想三次元オブジェクトオーディオ信号を提供するためのオブジェクト・レンダリング部の構成を示すブロック図である。

【図7A】本発明の一実施形態による仮想フィルタ部について説明するための図面である。

【図7B】本発明の一実施形態による仮想フィルタ部について説明するための図面である。

【図8A】本発明の多様な実施形態によるオーディオ信号のチャネル・レンダリングについて説明するための図面である。

【図8B】本発明の多様な実施形態によるオーディオ信号のチャネル・レンダリングについて説明するための図面である。

【図8C】本発明の多様な実施形態によるオーディオ信号のチャネル・レンダリングについて説明するための図面である。

【図8D】本発明の多様な実施形態によるオーディオ信号のチャネル・レンダリングについて説明するための図面である。

【図8E】本発明の多様な実施形態によるオーディオ信号のチャネル・レンダリングについて説明するための図面である。

【図8F】本発明の多様な実施形態によるオーディオ信号のチャネル・レンダリングについて説明するための図面である。

【図8G】本発明の多様な実施形態によるオーディオ信号のチャネル・レンダリングについて説明するための図面である。

【図9】本発明の一実施形態によるオーディオ信号提供方法について説明するための流れ図である。

【図10】本発明の他の実施形態によるオーディオ提供装置の構成を図示したブロック図である。

【発明を実施するための形態】

【0035】

以下では、図面を参照し、本発明についてさらに詳細に説明する。図１は、本発明の一実施形態によるオーディオ提供装置１００の構成を示すブロック図である。図１に図示されているように、オーディオ提供装置１００は、入力部１１０、分離部１２０、オブジェクト・レンダリング部１３０、チャネル・レンダリング部１４０、ミキシング部１５０及び出力部１６０を含む。

【0036】

入力部１１０は、多様なソースからオーディオ信号を受信することができる。このとき、オーディオソースは、チャネルオーディオ信号及びオブジェクトオーディオ信号を含んでもよい。ここで、チャネルオーディオ信号は、当該フレームの背景音を含むオーディオ信号であり、第１チャネル数（例えば、５．１チャネル、７．１チャネルなど）を有することができる。また、オブジェクトオーディオ信号は、モーションを有するオブジェクトであるか、あるいは当該フレームで重要なオブジェクトのオーディオ信号でもある。オブジェクトオーディオ信号の一例として、人の声、銃声などを含んでもよい。オブジェクトオーディオ信号には、オブジェクトオーディオ信号の軌道情報が含まれてもよい。

【0037】

分離部１２０は、入力されたオーディオ信号を、チャネルオーディオ信号と、オブジェクトオーディオ信号とに分離する。そして、分離部１２０は、分離されたオブジェクトオーディオ信号及びチャネルオーディオ信号を、それぞれオブジェクト・レンダリング部１３０及びチャネル・レンダリング部１４０に出力することができる。

【0038】

オブジェクト・レンダリング部１３０は、入力されたオブジェクトオーディオ信号の軌道情報を基に、入力されたオブジェクトオーディオ信号をレンダリングする。このとき、オブジェクト・レンダリング部１３０は、オーディオ提供装置１００のスピーカレイアウトによって入力されたオブジェクトオーディオ信号をレンダリングすることができる。例えば、オーディオ提供装置１００のスピーカレイアウトが同一高度を有する二次元である場合、オブジェクト・レンダリング部１３０は、入力されたオブジェクトオーディオ信号を二次元にレンダリングすることができる。また、オーディオ提供装置１００のスピーカレイアウトが複数の高度を有する三次元である場合、オブジェクト・レンダリング部１３０は、入力されたオブジェクトオーディオ信号を三次元にレンダリングすることができる。また、オーディオ提供装置１００のスピーカレイアウトが同一高度を有する二次元であるとしても、オブジェクト・レンダリング部１３０は、入力されたオブジェクトオーディオ信号に仮想高度情報を付与し、三次元にレンダリングすることができる。オブジェクト・レンダリング部１３０は、図２ないし図７Ｂを参照して詳細に説明する。

【0039】

図２は、本発明の一実施形態によるオブジェクト・レンダリング部１３０の構成を示すブロック図である。図２に図示されているように、オブジェクト・レンダリング部１３０は、軌道情報分析部１３１、距離制御部１３２、デプス制御部１３３、定位部１３４及びレンダリング部１３５を含む。

【0040】

軌道情報分析部１３１は、オブジェクトオーディオ信号の軌道情報を入力されて分析する。具体的には、軌道情報分析部１３１は、オブジェクトオーディオ信号の軌道情報を、レンダリングに必要な三次元座標情報に変換することができる。例えば、軌道情報分析部１３１は、図３に図示されているように、入力されたオブジェクトオーディオ信号Ｏを（ｒ，θ，φ）の座標情報に分析することができる。このとき、ｒは、原点とオブジェクトオーディオ信号との距離であり、θは、音像の水平面上の角度であり、φは、音像の高度角度である。

【0041】

距離制御部１３２は、変換された三次元座標情報を基に、距離制御情報を生成する。具体的には、距離制御部１３２は、軌道情報分析部１３１を介して分析された三次元上の距離ｒを基に、オブジェクトオーディオ信号の距離ゲインを算出する。このとき、距離制御部１３２は、三次元上の距離ｒに反比例して距離ゲインを算出することができる。すなわち、距離制御部１３２は、オブジェクトオーディオ信号の距離が遠いほど、オブジェクトオーディオ信号の距離ゲインを減少させ、オブジェクトオーディオ信号の距離が近いほど、オブジェクトオーディオ信号の距離ゲインを増大させることができる。また、距離制御部１３２は、原点に近くなる場合、距離ゲインが発散しないように、純粋反比例ではない上限ゲイン値を設定することができる。例えば、距離制御部１３２は、下記数式（１）のように、距離ゲインｄ_ｇを算出することができる。

【0042】

【数1】

すなわち、距離制御部１３２は、前述の数式を基に、図４に図示されているように、距離ゲイン値ｄ_ｇが１以上３．３以下になるように設定することができる。

【0043】

デプス制御部１３３は、変換された三次元座標情報を基に、デプス制御情報を生成する。このとき、デプス制御部１３３は、原点と、オブジェクトオーディオ信号の水平面投影距離ｄとを基に、デプスゲインを獲得することができる。

【0044】

このとき、デプス制御部１３３は、ネガティブベクトル及びポジティブベクトルの和でもってデプスゲインを表現することができる。具体的には、オブジェクトオーディオ信号の三次元座標において、ｒ＜１である場合、すなわち、オブジェクトオーディオ信号がオーディオ提供装置１００に含まれたスピーカで構成された区間内に存在する場合、ポジティブベクトルは、（ｒ，θ，φ）と定義され、ネガティブベクトルは、（ｒ，θ＋１８０，φ）と定義される。デプス制御部１３３は、オブジェクトオーディオ信号を定位するために、オブジェクトオーディオ信号の軌道ベクトル（trajectory vector）をポジティブベクトルとネガティブベクトルとの和で表現するためのポジティブベクトルのデプスゲインｖ_ｐ、及びネガティブバックトのデプスゲインｖ_ｎを計算することができる。このとき、ポジティブベクトルのデプスゲインｖ_ｐ、及びネガティブバックトのデプスゲインｖ_ｎは、下記数式（２）のように計算される。

【0045】

【数2】

すなわち、デプス制御部１３３は、水平面投影距離ｄが０から１までであるポジティブベクトルのデプスゲイン、及びネガティブベクトルのデプスゲインを図５Ａに図示されているように算出することができる。

【0046】

また、デプス制御部１３３は、ポジティブベクトル及びヌルベクトルの和でもってデプスゲインを表現することができる。具体的には、全てのチャネルのパニングゲインと位置との積の和が０に収斂される方向がない場合のパニングゲインを、ヌルベクトル（null vector）と定義することができる。特に、デプス制御部１３３は、水平面投影距離ｄが０に近くなれば、ヌルベクトルのデプスゲインは、１にマッピングされ、水平面投影距離ｄが１に近くなれば、ポジティブベクトルのデプスゲインが、１にマッピングされるように、ポジティブベクトルのデプスゲインｖ_ｐ、及びヌルベクトルのデプスゲインｖ_ｎｌｌを計算することができる。このとき、ポジティブベクトルのデプスゲインｖ_ｐ、及びヌルベクトルのデプスゲインｖ_ｎｌｌは、下記数式（３）のように計算される。

【0047】

【数3】

すなわち、デプス制御部１３３は、水平面投影距離ｄが０から１までであるポジティブベクトルのデプスゲイン、及びヌルベクトルのデプスゲインを図５Ｂに図示されているように算出することができる。

【0048】

一方、デプス制御部１３３によってデプス制御を行えば、水平面投影距離ｄが０に近くなる場合、全てのスピーカに音が出力される。これにより、パニング境界（panning boundary）に発生する不連続性が低減する。

【0049】

定位部１３４は、変換された三次元座標情報を基に、オブジェクトオーディオ信号を定位させるための定位情報を生成する。特に、定位部１３４は、オーディオ提供装置１００のスピーカレイアウトによって、オブジェクトオーディオ信号を定位させるためのパニングゲインを算出することができる。具体的には、定位部１３４は、オブジェクトオーディオ信号の軌道と同一方向のポジティブベクトルを定位させるためのトリプレット（triplet）スピーカを選択し、ポジティブベクトルのトリプレットスピーカに係わる三次元パニング係数ｇ_ｐを計算することができる。そして、デプス制御部１３３が、ポジティブベクトル及びネガティブベクトルでデプスゲインを表現する場合、定位部１３４は、オブジェクトオーディオ信号の軌道と反対方向のネガティブベクトルを定位させるためのトリプレットスピーカを選択し、ネガティブベクトルのトリプレットスピーカに係わる三次元パニング係数ｇ_ｎを計算することができる。

【0050】

レンダリング部１３５は、距離制御情報、デプス制御情報及び定位情報を基に、オブジェクトオーディオ信号をレンダリングする。特に、レンダリング部１３５は、距離制御部１３２から距離ゲインｄ_ｇを受信し、デプス制御部１３３からデプスゲインｖを受信し、定位部１３４からパニングゲインｇを受信し、距離ゲインｄ_ｇ、デプスゲインｖ、パニングゲインｇをオブジェクトオーディオ信号に適用させ、マルチチャネルのオブジェクトオーディオ信号を生成することができる。特に、オブジェクトオーディオ信号のデプスゲインが、ポジティブベクトルとネガティブベクトルとの和によって表現される場合、レンダリング部１３５は、ｍ番目チャネルの最終ゲインＧ_ｍを、下記数式（４）のように算出することができる。

【0051】

【数4】

このとき、ｇ_ｐ，ｍは、ポジティブベクトルを定位した場合、ｍチャネルに適用されるパニング係数であり、_ｇｎ，ｍは、ネガティブベクトルを定位した場合、ｍチャネルに適用されるパニング係数でもある。

【0052】

また、オブジェクトオーディオ信号のデプスゲインが、ポジティブベクトルとヌルベクトルとの和によって表現される場合、レンダリング部１３５は、ｍ番目チャネルの最終ゲインＧ_ｍを、下記数式（５）のように算出することができる。

【0053】

【数5】

このとき、ｇ_ｐ，ｍは、ポジティブベクトルを定位した場合、ｍチャネルに適用されるパニング係数であり、ｇ_{ｎｌｌ，ｍ}は、ネガティブベクトルを定位した場合、ｍチャネルに適用されるパニング係数でもある。一方、Σｇ_{ｎｌｌ，ｍ}は、０にもなる。

【0054】

そして、レンダリング部１３５は、オブジェクトオーディオ信号であるｘに適用させ、ｍ番目チャネルのオブジェクトオーディオ信号の最終出力Ｙ_ｍを、下記数式（６）のように算出することができる。

【0055】

【数6】

前述のように算出されたオブジェクトオーディオ信号の最終出力Ｙ_ｍは、ミキシング部１５０に出力される。

【0056】

また、オブジェクトオーディオ信号が複数個存在する場合、オブジェクト・レンダリング部１３０は、複数のオブジェクトオーディオ信号間の位相差を算出し、複数のオブジェクトオーディオ信号のうち一つを、算出された位相差ほど移動させ、複数のオブジェクトオーディオ信号を合成することができる。

【0057】

具体的には、複数のオブジェクトオーディオ信号が入力される間、複数のオブジェクトオーディオ信号それぞれが、同一信号であるか、あるいは位相が互いに反対である場合、複数のオブジェクトオーディオ信号をそのまま合成すれば、複数のオブジェクトオーディオ信号の重畳によるオーディオ信号の歪曲が発生する。従って、オブジェクト・レンダリング部１３０は、複数のオブジェクトオーディオ信号間の相関度（correlation）を算出し、相関度が既設定値以上である場合、複数のオブジェクトオーディオ信号間の位相差を算出し、複数のオブジェクトオーディオ信号のうち一つを、算出された位置差ほど移動させ、複数のオブジェクトオーディオ信号を合成することができる。それにより、類似した複数のオブジェクトオーディオ信号が入力される場合、複数のオブジェクトオーディオ信号の合成による歪曲を防止することができる。

【0058】

一方、前述の実施形態では、オーディオ提供装置１００のスピーカレイアウトが異なる高度感を有する三次元であるが、それは、一実施形態に過ぎず、オーディオ提供装置１００のスピーカレイアウトが同一高度感を有する二次元でもある。特に、オーディオ提供装置１００のスピーカレイアウトが、同一高度感を有する二次元である場合、オブジェクト・レンダリング部１３０は、前述のオブジェクトオーディオ信号の軌道情報のうち、φ値を０に設定する。

【0059】

また、オーディオ提供装置１００のスピーカレイアウトが、同一高度感を有する二次元でもあるが、オーディオ提供装置１００は、二次元のスピーカレイアウトを介して、仮想で三次元のオブジェクトオーディオ信号を提供することができる。

【0060】

以下では、仮想の三次元オブジェクトオーディオ信号を提供する実施形態について、図６及び図７を参照して説明する。

【0061】

図６は、本発明の他の実施形態による、仮想三次元オブジェクトオーディオ信号を提供するためのオブジェクト・レンダリング部１３０’の構成を示すブロック図である。図６に図示されているように、オブジェクト・レンダリング部１３０’は、仮想フィルタ部１３６、三次元レンダリング部１３７、仮想レンダリング部１３８及びミキシング部１３９を含む。

【0062】

三次元レンダリング部１３７は、図２ないし図５Ｂに図示されているような方法を利用して、オブジェクトオーディオ信号をレンダリングすることができる。このとき、三次元レンダリング部１３７は、オーディオ提供装置１００の物理的なスピーカに出力することができるオブジェクトオーディオ信号をミキシング部１３９に出力し、異なる高度感を提供する仮想スピーカの仮想パニングゲインｇ_{ｍ，ｔｏｐ}を仮想レンダリング部１３７に出力することができる。

【0063】

仮想フィルタ部１３６は、オブジェクトオーディオ信号の音色を補正させるブロックであり、心理音響を基に、入力されたオブジェクトオーディオ信号のスペクトル特性（spectral characteristics）を補正し、仮想スピーカの位置に音像を提供する。このとき、仮想フィルタ部１３６は、ＨＲＴＦ（head related transfer function）、ＢＲＩＲ（binaural room impulse response）のような多様な形態のフィルタによって具現される。

【0064】

また、仮想フィルタ部１３６の長さがフレーム長より短い場合、仮想フィルタ部１３６を、ブロックコンボルーション（block convolution）を介して適用させることができる。

【0065】

また、ＦＦＴ（fast Fourier transform）、ＭＤＣＴ（modified discrete cosine transform）、ＱＭＦ（quadrature mirror filter）のような周波数ドメインでレンダリングを行う場合、仮想フィルタ部１３６は、乗算によって適用される。

【0066】

複数の仮想トップレイヤスピーカ（virtual top layer speaker）の場合、仮想フィルタ部１３６は、１つの高度フィルタ（elevation filter）及び物理的なスピーカの配分式を介して、複数の仮想トップレイヤスピーカを生成することができる。

【0067】

また、複数の仮想トップレイヤスピーカ及び仮想バックスピーカ（virtual back speaker）の場合、仮想フィルタ部１３６は、それぞれ異なる位置で、スペクトル相関（spectral coloration）を適用させるための複数の仮想フィルタ及び物理的なスピーカの配分式を介して、複数の仮想トップレイヤスピーカ及び仮想バックスピーカを生成することができる。

【0068】

また、仮想フィルタ部１３６は、Ｈ１，Ｈ２，…，ＨＮのようなＮ個の異なるスペクトル相関を使用する場合、演算量を減らすために、ツリー構造で設計が可能である。具体的には、仮想フィルタ部１３６は、図７Ａに図示されているように、高さ（height）を認知するのに共通して使用するnotch／peakをＨ０と設計し、Ｈ１ないしＨＮからＨ０の特性を差し引いた残りの成分であるＫ１ないしＫＮを、ＨＯとカスケード（cascade）形態で連結することができる。また、仮想フィルタ部１３６は、共通成分とスペクトル相関とによって、図７Ｂに図示されているような複数の段階で構成されたツリー構造をなすことができる。

【0069】

仮想レンダリング部１３８は、仮想チャネルを物理的なチャネルで表現するためのレンダリングブロックである。特に、仮想レンダリング部１３８は、仮想フィルタ部１３６から出力された仮想チャネル配分式によって、仮想スピーカに出力されたオブジェクトオーディオ信号を生成し、生成された仮想スピーカのオブジェクトオーディオ信号に、仮想パニングゲインｇ_{ｍ，ｔｏｐ}を乗じ、出力信号を合成することができる。このとき、複数の物理的な平面スピーカに配分する程度によって、仮想スピーカの位置が異なり、この配分の程度を仮想チャネル配分式と定義する。

【0070】

ミキシング部１３９は、物理的なチャネルのオブジェクトオーディオ信号と、仮想チャネルのオブジェクトオーディオ信号とをミキシングする。

【0071】

これにより、二次元のスピーカレイアウトを有するオーディオ提供装置１００を介して、オブジェクトオーディオ信号が三次元上に位置するように表現することができる。

【0072】

再び図１について説明すれば、チャネル・レンダリング部１２０は、第１チャネル数を有するチャネルオーディオ信号を、第２チャネル数を有するオーディオ信号にレンダリングすることができる。このとき、チャネル・レンダリング部１２０は、スピーカレイアウトによって入力された第１チャネル数を有するチャネルオーディオ信号を、第２チャネル数を有するオーディオ信号に変更することができる。

【0073】

具体的には、チャネルオーディオ信号のレイアウトと、オーディオ提供装置１００のスピーカレイアウトとが同一である場合、チャネル・レンダリング部１２０は、チャネルオーディオ信号を、チャネルの変化なしに、レンダリングすることができる。

【0074】

また、チャネルオーディオ信号のチャネル数が、オーディオ提供装置１００のスピーカレイアウトのチャネル数より多い場合、チャネル・レンダリング部１２０は、チャネルオーディオ信号をダウンミックスし、レンダリングを行うことができる。例えば、チャネルオーディオ信号のチャネルが７．１チャネルであり、オーディオ提供装置１００のスピーカレイアウトが５．１チャネルである場合、チャネル・レンダリング部１２０は、７．１チャネルのチャネルオーディオ信号を、５．１チャネルにダウンミックスする。

【0075】

特に、チャネルオーディオ信号のダウンミックスを行う場合、チャネル・レンダリング部１２０は、入力されたチャネルオーディオ信号の軌道が一定に停止しているオブジェクトであると判断し、ダウンミックスを行うことができる。また、三次元のチャネルオーディオ信号を二次元ダウンミックスする場合、チャネル・レンダリング部１２０は、チャネルオーディオ信号の高度成分を除去して二次元ダウンミックスするか、あるいは図６で説明したような仮想の高度感を有するように、仮想三次元にダウンミックスすることができる。また、チャネル・レンダリング部１２０は、正面のオーディオ信号を形成するフロントレフトチャネル、フロントライトチャネル、センターチャネルを除いた全ての信号をダウンミックスし、ライトサラウンドチャネル及びレフトサラウンドチャネルとして具現することができる。また、チャネル・レンダリング部１２０は、マルチチャネル・ダウンミックス方程式を利用して、ダウンミックスを行うことができる。

【0076】

また、チャネルオーディオ信号のチャネル数が、オーディオ提供装置１００のスピーカレイアウトのチャネル数より少ない場合、チャネル・レンダリング部１２０は、チャネルオーディオ信号をアップミックスし、レンダリングを行うことができる。例えば、チャネルオーディオ信号のチャネルが７．１チャネルであり、オーディオ提供装置１００のスピーカレイアウトが９．１チャネルである場合、チャネル・レンダリング部１２０は、７．１チャネルのチャネルオーディオ信号を、９．１チャネルにアップミックスすることができる。

【0077】

特に、二次元のチャネルオーディオ信号を三次元にアップミックスする場合、チャネル・レンダリング部１２０は、フロントチャネル及びサラウンドチャネル間の相関度（correlation）を基に、高度成分を有するトップレイヤを生成し、アップミックスを行うか、あるいはチャネル間の分析を介してセンター及びアンビエンス（ambience）に分けてアップミックスを行うことができる。

【0078】

また、チャネル・レンダリング部１４０は、第１チャネル数を有するオーディオ信号を、第２チャネル数を有するオーディオ信号にレンダリングする過程において、相関度を有するオーディオ信号間の位相差を算出し、複数のオーディオ信号のうち一つを、算出された位相差ほど移動させ、複数のオーディオ信号を合成することができる。

【0079】

一方、オブジェクトオーディオ信号、及び第１チャネル数を有するチャネルオーディオ信号のうち少なくとも一つは、特定フレームに対して、仮想三次元レンダリングを行うか、あるいは二次元レンダリングを行うかということを決定するガイド情報を含んでもよい。従って、オブジェクト・レンダリング部１３０及びチャネル・レンダリング部１４０それぞれは、オブジェクトオーディオ信号及びチャネルオーディオ信号に含まれたガイド情報を基に、レンダリングを行うことができる。例えば、第１フレームにおいて、オブジェクトオーディオ信号に対して、仮想三次元レンダリングを遂行せよというガイド情報が含まれた場合、オブジェクト・レンダリング部１３０及びチャネル・レンダリング部１４０は、第１フレームにおいて、オブジェクトオーディオ信号及びチャネルオーディオ信号に対して、仮想三次元レンダリングを行うことができる。また、第２フレームにおいて、オブジェクトオーディオ信号を二次元レンダリングせよというガイド情報が含まれた場合、オブジェクト・レンダリング部１３０及びチャネル・レンダリング部１４０は、第２フレームにおいて、オブジェクトオーディオ信号及びチャネルオーディオ信号に対して、二次元レンダリングを行うことができる。

【0080】

ミキシング部１５０は、オブジェクト・レンダリング部１３０から出力されたオブジェクトオーディオ信号と、チャネル・レンダリング部１４０から出力された第２チャネル数を有するチャネルオーディオ信号とをミキシングすることができる。

【0081】

一方、ミキシング部１５０は、レンダリングされたオブジェクトオーディオ信号と、第２チャネル数を有するオーディオ信号とをミキシングする間、相関度を有するオーディオ信号間の位相差を算出し、複数のオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、複数のオーディオ信号を合成することができる。

【0082】

出力部１６０は、ミキシング部１５０から出力されたオーディオ信号を出力する。このとき、出力部１６０は、複数のスピーカを含んでもよい。例えば、出力部１６０は、５．１チャネル、７．１チャネル、９．１チャネル、２２．２チャネルのようなスピーカによって具現される。

【0083】

以下では、図８Ａないし図８Ｇを参照し、本発明の多様な実施形態について説明する。

【0084】

図８Ａは、本発明の第１実施形態による、オブジェクトオーディオ信号及びチャネルオーディオ信号のレンダリングについて説明するための図面である。

【0085】

まず、オーディオ提供装置１００は、９．１チャネルのチャネルオーディオ信号、及び２個のオブジェクトオーディオ信号Ｏ１，Ｏ２を受信する。このとき、９．１チャネルのチャネルオーディオ信号は、フロントレフトチャネル（ＦＬ：front left channel）、フロントライトチャネル（ＦＲ：front right channel）、フロントセンターチャネル（ＦＣ：front center channel）、サブウーファーチャネル（ＬＦｅ：subwoofer channel）、サラウンドレフトチャネル（ＳＬ：surround left channel）、サラウンドライトチャネル（ＳＲ：surround right channel）、トップフロントレフトチャネル（ＴＬ：top front left channel）、トップフロントライトチャネル（ＴＲ：top front right channel）、バックレフトチャネル（ＢＬ：back left channel）、バックライトチャネル（ＢＲ：back right channel）を含む。

【0086】

一方、オーディオ提供装置１００は、５．１チャネルのスピーカレイアウトで構成される。すなわち、オーディオ提供装置１００は、フロントライトチャネル（ＦＲＬ、フロントレフトチャネル（ＦＬ）、フロントセンターチャネル（ＦＣ）、サブウーファーチャネル（ＬＦｅ）、サラウンドレフトチャネル（ＳＬ）及びサラウンドライトチャネル（ＳＲ）それぞれに対応するスピーカを具備することができる。

【0087】

オーディオ提供装置１００は、入力されたチャネルオーディオ信号のうち、トップフロントレフトチャネル、トップフロントライトチャネル、バックレフトチャネル、バックライトチャネルのそれぞれに対応する信号に仮想フィルタリング（virtual filtering）を行い、レンダリングすることができる。

【0088】

そして、オーディオ提供装置１００は、第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２に対する仮想三次元レンダリング（virtual ３Ｄ rendering）を行うことができる。

【0089】

オーディオ提供装置１００は、フロントレフトチャネルのチャネルオーディオ信号、仮想レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、てフロントレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントライトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントセンターチャネル及びサブウーファーチャネルそれぞれのチャネルオーディオ信号を、そのままフロントセンターチャネル及びサブウーファーチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドレフトチャネルのチャネルオーディオ信号、仮想レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドライトチャネルのチャネルオーディオ信号、仮想レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドライトチャネルに対応するスピーカに出力することができる。

【0090】

前述のようなチャネル・レンダリング及びオブジェクトレンダリングを介して、オーディオ提供装置１００は、５．１チャネルのスピーカを利用して、９．１チャネルの仮想三次元オーディオ環境を構築することができる。

【0091】

図８Ｂは、本発明の第２実施形態による、オブジェクトオーディオ信号及びチャネルオーディオ信号のレンダリングについて説明するための図面である。

【0092】

まず、オーディオ提供装置１００は、９．１チャネルのチャネルオーディオ信号、及び２個のオブジェクトオーディオ信号Ｏ１，Ｏ２を受信する。

【0093】

一方、オーディオ提供装置１００は、７．１チャネルのスピーカレイアウトで構成される。すなわち、オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル、サラウンドライトチャネル、バックレフトチャネル及びバックライトチャネルそれぞれに対応するスピーカを具備することができる。

【0094】

オーディオ提供装置１００は、入力されたチャネルオーディオ信号のうち、トップフロントレフトチャネル、トップフロントライトチャネルそれぞれに対応する信号に仮想フィルタリングを行ってレンダリングすることができる。

【0095】

そして、オーディオ提供装置１００は、第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２に対する仮想三次元レンダリングを行うことができる。

【0096】

オーディオ提供装置１００は、フロントレフトチャネルのチャネルオーディオ信号、仮想レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントライトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントセンターチャネル及びサブウーファーチャネルそれぞれのチャネルオーディオ信号を、そのままフロントセンターチャネル及びサブウーファーチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドレフトチャネルのチャネルオーディオ信号、仮想レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドライトチャネルのチャネルオーディオ信号、仮想レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドライトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、バックレフトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、バックレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、バックライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、バックライトチャネルに対応するスピーカに出力することができる。

【0097】

前述のようなチャネル・レンダリング及びオブジェクトレンダリングを介して、オーディオ提供装置１００は、７．１チャネルのスピーカを利用して、９．１チャネルの仮想三次元オーディオ環境を構築することができる。

【0098】

図８Ｃは、本発明の第３実施形態によるオブジェクトオーディオ信号及びチャネルオーディオ信号のレンダリングについて説明するための図面である。

【0099】

まず、オーディオ提供装置１００は、９．１チャネルのチャネルオーディオ信号、及び２個のオブジェクトオーディオ信号Ｏ１，Ｏ２を受信する。

【0100】

一方、オーディオ提供装置１００は、９．１チャネルのスピーカレイアウトで構成される。すなわち、オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル、サラウンドライトチャネル、バックレフトチャネル、バックライトチャネル、トップフロントレフトチャネル及びトップフロントライトチャネルそれぞれに対応するスピーカを具備することができる。

【0101】

そして、オーディオ提供装置１００は、第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２に対する三次元レンダリング（３Ｄ rendering）を行うことができる。

【0102】

オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル、サラウンドライトチャネル、バックレフトチャネル、バックライトチャネル、トップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号それぞれに、三次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、対応するスピーカに出力することができる。

【0103】

前述のようなチャネル・レンダリング及びオブジェクトレンダリングを介して、オーディオ提供装置１００は、９．１チャネルのスピーカを利用して、９．１チャネルのチャネルオーディオ信号及びオブジェクトオーディオ信号を出力することができる。

【0104】

図８Ｄは、本発明の第４実施形態による、オブジェクトオーディオ信号及びチャネルオーディオ信号のレンダリングについて説明するための図面である。

【0105】

まず、オーディオ提供装置１００は、９．１チャネルのチャネルオーディオ信号、及び２個のオブジェクトオーディオ信号Ｏ１，Ｏ２を受信する。

【0106】

一方、オーディオ提供装置１００は、１１．１チャネルのスピーカレイアウトで構成される。すなわち、オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル、サラウンドライトチャネル、バックレフトチャネル、バックライトチャネル、トップフロントレフトチャネル、トップフロントライトチャネル、トップサラウンドレフトチャネル、トップサラウンドライトチャネル、トップバックレフトチャネル及びトップバックライトチャネルそれぞれに対応するスピーカを具備することができる。

【0107】

そして、オーディオ提供装置１００は、第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２に対する三次元レンダリングを行うことができる。

【0108】

オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル、サラウンドライトチャネル、バックレフトチャネル、バックライトチャネル、トップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号それぞれに、三次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、対応するスピーカに出力することができる。

【0109】

そして、オーディオ提供装置１００は、三次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２それぞれを，トップサラウンドレフトチャネル、トップサラウンドライトチャネル、トップバックレフトチャネル及びトップバックライトチャネルそれぞれに対応するスピーカに出力することができる。

【0110】

前述のようなチャネル・レンダリング及びオブジェクトレンダリングを介して、オーディオ提供装置１００は、１１．１チャネルのスピーカを利用して、９．１チャネルのチャネルオーディオ信号及びオブジェクトオーディオ信号を出力することができる。

【0111】

図８Ｅは、本発明の第５実施形態による，オブジェクトオーディオ信号及びチャネルオーディオ信号のレンダリングについて説明するための図面である。

【0112】

まず、オーディオ提供装置１００は、９．１チャネルのチャネルオーディオ信号、及び２個のオブジェクトオーディオ信号Ｏ１，Ｏ２を受信する。

【0113】

一方、オーディオ提供装置１００は、５．１チャネルのスピーカレイアウトで構成される。すなわち、オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル及びサラウンドライトチャネルそれぞれに対応するスピーカを具備することができる。

【0114】

オーディオ提供装置１００は、入力されたチャネルオーディオ信号のうち、トップフロントレフトチャネル、トップフロントライトチャネル、バックレフトチャネル、バックライトチャネルそれぞれに対応する信号に、二次元レンダリングを行う。

【0115】

そして、オーディオ提供装置１００は、第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２に対する二次元レンダリングを行うことができる。

【0116】

オーディオ提供装置１００は、フロントレフトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントライトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントセンターチャネル及びサブウーファーチャネルそれぞれのチャネルオーディオ信号を、そのままフロントセンターチャネル及びサブウーファーチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドレフトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドライトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドライトチャネルに対応するスピーカに出力することができる。

【0117】

前述のようなチャネル・レンダリング及びオブジェクトレンダリングを介して、オーディオ提供装置１００は、５．１チャネルのスピーカを利用して、９．１チャネルのチャネルオーディオ信号及びオブジェクトオーディオ信号を出力することができる。すなわち、図８Ａに比べ、本実施形態は、仮想三次元オーディオ信号にレンダリングするのではなく、二次元オーディオ信号にレンダリングすることができる。

【0118】

図８Ｆは、本発明の第６実施形態による、オブジェクトオーディオ信号及びチャネルオーディオ信号のレンダリングについて説明するための図面である。

【0119】

まず、オーディオ提供装置１００は、９．１チャネルのチャネルオーディオ信号、及び２個のオブジェクトオーディオ信号Ｏ１，Ｏ２を受信する。

【0120】

一方、オーディオ提供装置１００は、７．１チャネルのスピーカレイアウトで構成される。すなわち、オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル、サラウンドライトチャネル、バックレフトチャネル及びバックライトチャネルそれぞれに対応するスピーカを具備することができる。

【0121】

オーディオ提供装置１００は、入力されたチャネルオーディオ信号のうち、トップフロントレフトチャネル、トップフロントライトチャネルそれぞれに対応する信号に、二次元レンダリングを行うことができる。

【0122】

そして、オーディオ提供装置１００は、第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２に対する二次元レンダリングを行うことができる。

【0123】

オーディオ提供装置１００は、フロントレフトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントライトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントセンターチャネル及びサブウーファーチャネルそれぞれのチャネルオーディオ信号を、そのままフロントセンターチャネル及びサブウーファーチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドレフトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドライトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドライトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、バックレフトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、バックレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、バックライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、バックライトチャネルに対応するスピーカに出力することができる。

【0124】

前述のようなチャネル・レンダリング及びオブジェクトレンダリングを介して、オーディオ提供装置１００は、７．１チャネルのスピーカを利用して、９．１チャネルのチャネルオーディオ信号及びオブジェクトオーディオ信号を出力することができる。すなわち、図８Ｂに比べ、本実施形態は、仮想三次元オーディオ信号にレンダリングするのではなく、二次元オーディオ信号にレンダリングすることができる。

【0125】

図８Ｇは、本発明の第７実施形態による、オブジェクトオーディオ信号及びチャネルオーディオ信号のレンダリングについて説明するための図面である。

【0126】

まず、オーディオ提供装置１００は、９．１チャネルのチャネルオーディオ信号、及び２個のオブジェクトオーディオ信号Ｏ１，Ｏ２を受信する。

【0127】

一方、オーディオ提供装置１００は、５．１チャネルのスピーカレイアウトで構成される。すなわち、オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル及びサラウンドライトチャネルそれぞれに対応するスピーカを具備することができる。

【0128】

オーディオ提供装置１００は、入力されたチャネルオーディオ信号のうち、トップフロントレフトチャネル、トップフロントライトチャネル、バックレフトチャネル、バックライトチャネルそれぞれに対応する信号に、二次元ダウンミックス（２Ｄ down mixing）してレンダリングを行う。

【0129】

そして、オーディオ提供装置１００は、第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２に対する仮想三次元レンダリングを行うことができる。

【0130】

オーディオ提供装置１００は、フロントレフトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想三次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想三次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントライトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントセンターチャネル及びサブウーファーチャネルそれぞれのチャネルオーディオ信号を、そのままフロントセンターチャネル及びサブウーファーチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドレフトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想三次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドライトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想三次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドライトチャネルに対応するスピーカに出力することができる。

【0131】

前述のようなチャネル・レンダリング及びオブジェクトレンダリングを介して、オーディオ提供装置１００は、５．１チャネルのスピーカを利用して、９．１チャネルのチャネルオーディオ信号及びオブジェクトオーディオ信号を出力することができる。すなわち、図８Ａと比べ、チャネルオーディオ信号の音像よりは音質が重要であると判断された場合、オーディオ提供装置１００は、チャネルオーディオ信号のみを二次元ダウンミックスし、オブジェクトオーディオ信号を仮想三次元にレンダリングすることができる。

【0132】

図９は、本発明の一実施形態によるオーディオ信号提供方法について説明するための流れ図である。

【0133】

まず、オーディオ提供装置１００は、オーディオ信号を入力される（Ｓ９１０）。このとき、オーディオ信号は、第１チャネル数を有するチャネルオーディオ信号及びオブジェクトオーディオ信号を含んでもよい。

【0134】

そして、オーディオ提供装置１００は、入力されたオーディオ信号を分離する（Ｓ９２０）。具体的には、オーディオ提供装置１００は、入力されたオーディオ信号を、チャネルオーディオ信号及びオブジェクトオーディオ信号に分離することができる。

【0135】

そして、オーディオ提供装置１００は、オブジェクトオーディオ信号をレンダリングする（Ｓ９３０）。具体的には、オーディオ提供装置１００は、図２ないし図５Ｂで説明したように、オブジェクトオーディオ信号を、二次元または三次元にレンダリングすることができる。また、オーディオ提供装置１００は、図６ないし図７Ｂで説明したように、オブジェクトオーディオ信号を、仮想の三次元オーディオ信号にレンダリングすることができる。

【0136】

そして、オーディオ提供装置１００は、第１チャネル数を有するチャネルオーディオ信号を第２チャネル数にレンダリングする（Ｓ９４０）。このとき、オーディオ提供装置１００は、入力されたチャネルオーディオ信号をダウンミックスするか、あるいはアップミックスし、レンダリングを行うことができる。また、オーディオ提供装置１００は、入力されたチャネルオーディオ信号のチャネル数を維持し、レンダリングを行うことができる。

【0137】

そして、オーディオ提供装置１００は、レンダリングされたオブジェクトオーディオ信号と、第２チャネル数を有するチャネルオーディオ信号とをミキシングする（Ｓ９５０）。具体的には、オーディオ提供装置１００は、図８Ａないし図８Ｇで説明したように、レンダリングされたオブジェクトオーディオ信号及びチャネルオーディオ信号をミキシングすることができる。

【0138】

そして、オーディオ提供装置１００は、ミキシングされたオーディオ信号を出力する（Ｓ９６０）。

【0139】

前述のようなオーディオ提供方法によって、オーディオ提供装置１００は、多様なフォーマットを有するオーディオ信号を、オーディオシステム空間に最適化されるように再生することができる。

【0140】

以下では、図１０を参照し、本発明の他の実施形態について説明する。図１０は、本発明の他の実施形態によるオーディオ提供装置１０００の構成を示すブロック図である。図１０に図示されているように、オーディオ提供装置１０００は、入力部１０１０、分離部１０２０、オーディオ信号デコーディング部１０３０、付加情報デコーディング部１０４０、レンダリング部１０５０、ユーザ入力部１０６０、インターフェース部１０７０及び出力部１０８０を含む。

【0141】

入力部１０１０は、圧縮されたオーディオ信号を入力される。このとき、圧縮されたオーディオ信号には、チャネルオーディオ信号と、オブジェクトオーディオ信号とが含まれた圧縮された形態のオーディオ信号だけではなく、付加情報を含んでもよい。

【0142】

分離部１０２０は、圧縮されたオーディオ信号を、オーディオ信号と付加情報とに分離し、オーディオ信号をオーディオ信号デコーディング部１０３０に出力し、付加情報を付加情報デコーディング部１０４０に出力する。

【0143】

オーディオ信号デコーディング部１０３０は、圧縮された形態のオーディオ信号を解除し、レンダリング部１０５０に出力する。一方、オーディオ信号は、マルチチャネルのチャネルオーディオ信号及びオブジェクトオーディオ信号を含む。このとき、マルチチャネルのチャネルオーディオ信号は、背景音及び背景音楽のようなオーディオ信号でもあり、オブジェクトオーディオ信号は、人の声、銃声のような特定物体に係わるオーディオ信号でもある。

【0144】

付加情報デコーディング部１０４０は、入力されたオーディオ信号の付加情報をデコーディングする。このとき、入力されたオーディオ信号の付加情報には、入力されたオーディオ信号のチャネル数、長さ、ゲイン値、パニングゲイン、位置、角度のような多様な情報が含まれてもよい。

【0145】

レンダリング部１０５０は、入力された付加情報及びオーディオ信号を基に、レンダリングを行うことができる。このとき、レンダリング部１０５０は、ユーザ入力部１０６０に入力されたユーザ命令により、図２ないし図８Ｇで説明したような多様な方法を利用して、レンダリングを行うことができる。例えば、入力されたオーディオ信号が７．１チャネルのオーディオ信号であり、オーディオ提供装置１０００のスピーカレイアウトが５．１チャネルである場合、レンダリング部１０５０は、ユーザ入力部１０６０を介して入力されたユーザ命令により、７．１チャネルのオーディオ信号を、二次元の５．１チャネルオーディオ信号にダウンミックスすることができ、７．１チャネルのオーディオ信号を、仮想三次元５．１チャネルオーディオ信号にダウンミックスすることができる。また、レンダリング部１０５０は、ユーザ入力部１０６０を介して入力されたユーザ命令により、チャネルオーディオ信号を二次元にレンダリングし、オブジェクトオーディオ信号を、仮想三次元にレンダリングすることができる。

【0146】

また、レンダリング部１０５０は、ユーザ命令及びスピーカレイアウトによって、レンダリングされたオーディオ信号を、出力部１０８０を介して即座に出力することができるが、オーディオ信号及び付加情報を、インターフェース部１０７０を介して、外部機器１０９０に伝送することができる。特に、７．１チャネルを超えるスピーカレイアウトを有するオーディオ提供装置１０００の場合、レンダリング部１０５０は、オーディオ信号及び付加情報のうち少なくとも一部を、インターフェース部１０７０を介して、外部機器１０９０に伝送することができる。このとき、インターフェース部１０７０は、ＨＤＭＩ（登録商標）インターフェースのようなデジタルインターフェースによって具現される。外部機器１０９０は、入力されたオーディオ信号及び付加情報を利用して、レンダリングを行った後、レンダリングされたオーディオ信号を出力することができる。

【0147】

しかし、前述のように、レンダリング部１０５０がオーディオ信号及び付加情報を外部機器１０９０に伝送することは、一実施形態に過ぎず、レンダリング部１０５０がオーディオ信号及び付加情報を利用して、オーディオ信号をレンダリングした後、レンダリングされたオーディオ信号を出力することができる。

【0148】

一方、本発明の一実施形態によるオブジェクトオーディオ信号には、ID（identification）、類型情報または優先順位情報などが含まれたメタデータが含まれてもよい。例えば、オブジェクトオーディオ信号の類型が、対話（dialog）であるか、あるいはコメンタリー（commentary）であるかということを示す情報が含まれてもよい。また、オーディオ信号が放送オーディオ信号である場合、オブジェクトオーディオ信号の類型が第１アンカーであるか、第２アンカーであるか、第１キャスターであるか、第２キャスターであるか、あるいは背景音であるかということを示す情報が含まれてもよい。また、オーディオ信号が音楽オーディオ信号である場合、オブジェクトオーディオ信号の類型が第１ボーカルであるか、第２ボーカルであるか、第１楽器音であるか、あるいは第２楽器音であるかということを示す情報が含まれてもよい。また、オーディオ信号がゲームオーディオ信号である場合、オブジェクトオーディオ信号の類型が、第１効果音であるか、あるいは第２効果音であるかということを示す情報が含まれてもよい。

【0149】

レンダリング部１０５０は、前述のようなオブジェクトオーディオ信号に含まれたメタデータを分析し、オブジェクトオーディオ信号の優先順位によって、オブジェクトオーディオ信号をレンダリングすることができる。

【0150】

また、レンダリング部１０５０は、ユーザ選択によって、特定オブジェクトオーディオ信号を除去することができる。例えば、オーディオ信号が運動競技に係わるオーディオ信号である場合、オーディオ提供装置１０００は、ユーザに現在入力されるオブジェクトオーディオ信号の類型を案内するＵＩ（user interface）をディスプレイすることができる。このとき、オブジェクトオーディオ信号には、キャスターの声、解説の声、喊声のようなオブジェクトオーディオ信号が含まれてもよい。ユーザ入力部１０６０を介して、複数のオブジェクトオーディオ信号のうちキャスターの声を除去するユーザ命令が入力された場合、レンダリング部１０５０は、入力されたオブジェクトオーディオ信号のうちキャスターの声を除去し、残りのオブジェクトオーディオ信号を利用して、レンダリングを行うことができる。

【0151】

また、出力部１０８０は、ユーザ選択によって、特定オブジェクトオーディオ信号に係わるボリュームを増大させるか、あるいは低減させることができる。例えば、オーディオ信号が、映画コンテンツに含まれたオーディオ信号である場合、オーディオ提供装置１０００は、ユーザに現在入力されるオブジェクトオーディオ信号の類型を案内するＵＩをディスプレイすることができる。このとき、オブジェクトオーディオ信号には、第１主人公の声、第２主人公の声、砲弾音、飛行機音などが含まれてもよい。ユーザ入力部１０６０を介して、複数のオブジェクトオーディオ信号のうち、第１主人公の声、第２主人公の声のボリュームを増大させ、砲弾音、飛行機音のボリュームを低減させるユーザ命令が入力された場合、出力部１０８０は、第１主人公の声及び第２主人公の声のボリュームを増大させ、砲弾音、飛行機音のボリュームを低減させることができる。

【0152】

前述のような実施形態によって、ユーザは、自らが所望するオーディオ信号を操作することができ、ユーザに適するオーディオ環境を構築することができる。

【0153】

一方、前述の多様な実施形態によるオーディオ提供方法は、プログラムで具現され、ディスプレイ装置または入力装置に提供される。特に、ディスプレイ装置の制御方法を含むプログラムは、非一時的可読媒体（non-transitory computer readable medium）に保存されて提供される。

【0154】

非一時的可読媒体とは、レジスタ、キャッシュ、メモリのように短い瞬間の間にデータを保存する媒体ではなく、半永久的にデータを保存し、機器によって判読（reading）が可能な媒体を意味する。具体的には、前述の多様なアプリケーションまたはプログラムは、ＣＤ（compact disc）、ＤＶＤ（digital versatile disc）、ハードディスク、ブルーレイディスク、ＵＳＢ（universal serial bus）、メモリカード、ＲＯＭ（read only memory）のような非一時的可読媒体に保存されて提供される。

【0155】

また、以上では、本発明の望ましい実施形態について図示して説明したが、本発明は、前述の特定の実施形態に限定されるものではなく、特許請求の範囲で請求する本発明の要旨を外れることなしに、当該発明が属する技術分野において、当業者によって多様な変形実施が可能であるということは言うまでもなく、そのような変形実施は、本発明の技術的思想や展望から個別的に理解されることがあってはならない。

【0156】

上記の実施形態につき以下の付記を残しておく。
（付記１）
オブジェクトオーディオ信号の軌道情報を利用して、前記オブジェクトオーディオ信号をレンダリングするオブジェクト・レンダリング部と、
第１チャネル数を有するオーディオ信号を、第２チャネル数を有するオーディオ信号にレンダリングするチャネル・レンダリング部と、
前記レンダリングされたオブジェクトオーディオ信号、及び前記第２チャネル数を有するオーディオ信号をミキシングするミキシング部と、を含むオーディオ提供装置。
（付記２）
前記オブジェクト・レンダリング部は、
前記オブジェクトオーディオ信号の軌道情報を三次元座標情報に変換する軌道情報分析部と、
前記変換された三次元座標情報を基に、距離制御情報を生成する距離制御部と、
前記変換された三次元座標情報を基に、デプス制御情報を生成するデプス制御部と、
前記変換された三次元座標情報を基に、オブジェクトオーディオ信号を定位させるための定位情報を生成する定位部と、
前記距離制御情報、デプス制御情報及び定位情報を基に、前記オブジェクトオーディオ信号をレンダリングするレンダリング部と、を含むことを特徴とする付記１に記載のオーディオ提供装置。
（付記３）
前記距離制御部は、
前記オブジェクトオーディオ信号の距離ゲインを算出し、前記オブジェクトオーディオ信号の距離が遠いほど、前記オブジェクトオーディオ信号の距離ゲインを減少させ、前記オブジェクトオーディオ信号の距離が近いほど、前記オブジェクトオーディオ信号の距離ゲインを増大させることを特徴とする付記２に記載のオーディオ提供装置。
（付記４）
前記デプス制御部は、
前記オブジェクトオーディオ信号の水平面上の投影距離を基に、デプスゲインを獲得し、
前記デプスゲインは、
ネガティブベクトル及びポジティブベクトルの和によって表現されるか、あるいはポジティブベクトル及びヌルベクトルの和によって表現されることを特徴とする付記３に記載のオーディオ提供装置。
（付記５）
前記定位部は、
前記オーディオ提供装置のスピーカレイアウトによって、前記オブジェクトオーディオ信号を定位させるためのパニングゲインを算出することを特徴とする付記４に記載のオーディオ提供装置。
（付記６）
前記レンダリング部は、
前記オブジェクト信号の距離ゲイン、デプスゲイン及びパニングゲインを基に、前記オブジェクトオーディオ信号をマルチチャネルにレンダリングすることを特徴とする付記５に記載のオーディオ提供装置。
（付記７）
前記オブジェクト・レンダリング部は、
前記オブジェクトオーディオ信号が複数個存在する場合、前記複数のオブジェクトオーディオ信号のうち相関度を有するオブジェクト間の位相差を算出し、前記複数のオブジェクトオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオブジェクトオーディオ信号を合成することを特徴とする付記２に記載のオーディオ提供装置。
（付記８）
前記オーディオ提供装置が同一高度を有する複数のスピーカを利用して、オーディオを再生する場合、
前記オブジェクト・レンダリング部は、
前記オブジェクトオーディオ信号のスペクトル特性を補正し、前記オブジェクトオーディオ信号に仮想高度情報を提供する仮想フィルタ部と、
前記仮想フィルタ部によって提供された仮想高度情報を基に、前記オブジェクトオーディオ信号をレンダリングする仮想レンダリング部と、を含むことを特徴とする付記１に記載のオーディオ提供装置。
（付記９）
前記仮想フィルタ部は、
複数の段階で構成されたツリー構造をなすことを特徴とする付記８に記載のオーディオ提供装置。
（付記１０）
前記チャネル・レンダリング部は、
前記第１チャネル数を有するオーディオ信号のレイアウトが二次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より多い前記第２チャネル数を有するオーディオ信号にアップミキシングし、
前記第２チャネル数を有するオーディオ信号のレイアウトは、前記第１チャネル数を有するオーディオ信号と異なる高度情報を有する三次元であることを特徴とする付記１に記載のオーディオ提供装置。
（付記１１）
前記チャネル・レンダリング部は、
前記第１チャネル数を有するオーディオ信号のレイアウトが三次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より少ない前記第２チャネル数を有するオーディオ信号にダウンミキシングし、
前記第２チャネル数を有するオーディオ信号のレイアウトは、複数のチャネルが同一高度成分を有する二次元であることを特徴とする付記１に記載のオーディオ提供装置。
（付記１２）
前記オブジェクトオーディオ信号、及び前記第１チャネル数を有するオーディオ信号のうち少なくとも一つは、特定フレームに対して仮想三次元レンダリングを行うか否かということを決定する情報を含むことを特徴とする付記１に記載のオーディオ提供装置。
（付記１３）
前記チャネル・レンダリング部は、
前記第１チャネル数を有するオーディオ信号を、前記第２チャネル数を有するオーディオ信号にレンダリングする過程において、相関度を有するオーディオ信号間の位相差を算出し、前記複数のオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオーディオ信号を合成することを特徴とする付記１に記載のオーディオ提供装置。
（付記１４）
前記ミキシング部は、
前記レンダリングされたオブジェクトオーディオ信号と、前記第２チャネル数を有するオーディオ信号とをミキシングする間、相関度を有するオーディオ信号間の位相差を算出し、前記複数のオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオーディオ信号を合成することを特徴とする付記１に記載のオーディオ提供装置。
（付記１５）
前記オブジェクトオーディオ信号は、
ユーザにオブジェクトオーディオ信号の選択のためのオブジェクトオーディオ信号のＩＤ及び類型情報のうち少なくとも一つを保存することを特徴とする付記１に記載のオーディオ提供装置。
（付記１６）
オブジェクトオーディオ信号の軌道情報を利用して、前記オブジェクトオーディオ信号をレンダリングする段階と、
第１チャネル数を有するオーディオ信号を、第２チャネル数を有するオーディオ信号にレンダリングする段階と、
前記レンダリングされたオブジェクトオーディオ信号、及び前記第２チャネル数を有するオーディオ信号をミキシングする段階と、を含むオーディオ提供方法。
（付記１７）
前記オブジェクトオーディオ信号をレンダリングする段階は、
前記オブジェクトオーディオ信号の軌道情報を三次元座標情報に変換する段階と、
前記変換された三次元座標情報を基に、距離制御情報を生成する段階と、
前記変換された三次元座標情報を基に、デプス制御情報を生成する段階と、
前記変換された三次元座標情報を基に、オブジェクトオーディオ信号を定位させるための定位情報を生成する段階と、
前記距離制御情報、デプス制御情報及び定位情報を基に、前記オブジェクトオーディオ信号をレンダリングする段階と、を含むことを特徴とする付記１６に記載のオーディオ提供方法。
（付記１８）
前記距離制御情報を生成する段階は、
前記オブジェクトオーディオ信号の距離ゲインを算出し、前記オブジェクトオーディオ信号の距離が遠いほど、前記オブジェクトオーディオ信号の距離ゲインを減少させ、前記オブジェクトオーディオ信号の距離が近いほど、前記オブジェクトオーディオ信号の距離ゲインを増大させることを特徴とする付記１７に記載のオーディオ提供方法。
（付記１９）
前記デプス制御情報を生成する段階は、
前記オブジェクトオーディオ信号の水平面上の投影距離を基に、デプスゲインを獲得し、
前記デプスゲインは、
ネガティブベクトル及びポジティブベクトルの和によって表現されるか、あるいはポジティブベクトル及びヌルベクトルの和によって表現されることを特徴とする付記１８に記載のオーディオ提供方法。
（付記２０）
前記定位情報を生成する段階は、
前記オーディオ提供装置のスピーカレイアウトによって、前記オブジェクトオーディオ信号を定位させるためのパニングゲインを算出することを特徴とする付記１９に記載のオーディオ提供方法。
（付記２１）
前記レンダリングする段階は、
前記オブジェクト信号の距離ゲイン、デプスゲイン及びパニングゲインを基に、前記オブジェクトオーディオ信号をマルチチャネルにレンダリングすることを特徴とする付記２０に記載のオーディオ提供方法。
（付記２２）
前記オブジェクトオーディオ信号をレンダリングする段階は、
前記オブジェクトオーディオ信号が複数個存在する場合、前記複数のオブジェクトオーディオ信号のうち相関度を有するオブジェクト間の位相差を算出し、前記複数のオブジェクトオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオブジェクトオーディオ信号を合成することを特徴とする付記１７に記載のオーディオ提供段階。
（付記２３）
前記オーディオ提供装置が同一高度を有する複数のスピーカを利用して、オーディオを再生する場合、
前記オブジェクトオーディオ信号をレンダリングする段階は、
前記オブジェクトオーディオ信号のスペクトル特性を補正し、前記オブジェクトオーディオ信号に仮想高度情報を算出する段階と、
前記仮想フィルタ部によって提供された仮想高度情報を基に、前記オブジェクトオーディオ信号をレンダリングする段階と、を含むことを特徴とする付記１６に記載のオーディオ提供方法。
（付記２４）
前記算出する段階は、
複数の段階で構成されたツリー構造をなす仮想フィルタを利用して、前記オブジェクトオーディオ信号の仮想高度情報を算出することを特徴とする付記２３に記載のオーディオ提供方法。
（付記２５）
前記第２チャネル数を有するオーディオ信号にレンダリングする段階は、
前記第１チャネル数を有するオーディオ信号のレイアウトが二次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より多い前記第２チャネル数を有するオーディオ信号にアップミキシングし、
前記第２チャネル数を有するオーディオ信号のレイアウトは、前記第１チャネル数を有するオーディオ信号と異なる高度情報を有する三次元であることを特徴とする付記１６に記載のオーディオ提供方法。
（付記２６）
前記第２チャネル数を有するオーディオ信号にレンダリングする段階は、
前記第１チャネル数を有するオーディオ信号のレイアウトが三次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より少ない前記第２チャネル数を有するオーディオ信号にダウンミキシングし、
前記第２チャネル数を有するオーディオ信号のレイアウトは、複数のチャネルが同一高度成分を有する二次元であることを特徴とする付記１６に記載のオーディオ提供方法。
（付記２７）
前記オブジェクトオーディオ信号、及び前記第１チャネル数を有するオーディオ信号のうち少なくとも一つは、特定フレームに対して仮想三次元レンダリングを行うか否かということを決定する情報を含むことを特徴とする付記１６に記載のオーディオ提供方法。

【符号の説明】

【0157】

１００ オーディオ提供装置
１１０ 入力部
１２０ 分離部
１３０ オブジェクト・レンダリング部
１４０ チャネル・レンダリング部
１５０ ミキシング部
１６０ 出力部

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7A】

【図7B】

【図8A】

【図8B】

【図8C】

【図8D】

【図8E】

【図8F】

【図8G】

【図9】

【図10】