特開 2022-20858 レンダリング方法、レンダリング装置及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022020858

(43)【公開日】2022-02-01

(54)【発明の名称】レンダリング方法、レンダリング装置及び記録媒体

(51)【国際特許分類】

   H04S 7/00 20060101AFI20220125BHJP

【ＦＩ】

H04S7/00 300

【審査請求】有

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2021191226

(22)【出願日】2021-11-25

(62)【分割の表示】P 2019071413の分割

【原出願日】2014-03-28

(31)【優先権主張番号】61/806,654

(32)【優先日】2013-03-29

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】61/809,485

(32)【優先日】2013-04-08

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ジョン，サン－ベ

(72)【発明者】

【氏名】キム，ソン－ミン

(72)【発明者】

【氏名】チョウ，ヒョン

(72)【発明者】

【氏名】キム，ジョン－ス

(57)【要約】

【課題】 オーディオ信号をレンダリングする方法を提供する。
【解決手段】 当該方法は、高さ入力チャネル信号を含む複数の入力チャネル信号を受信する段階と、複数の出力チャネル信号が形成する２次元の出力レイアウトを識別する段階と、前記高さ入力チャネル信号の位置に基づいてフィルタのタイプを獲得する段階と、前記高さ入力チャネル信号の位置及び周波数範囲に基づいてパンニングゲインのセットを獲得する段階と、上昇された音像を提供するために、前記フィルタのタイプ及び前記パンニングゲインのセットに基づいて、前記複数の入力チャネル信号を高度レンダリングして前記複数の出力チャネル信号を生成する段階と、を含み、前記高さ入力チャネル信号の位置は、高度情報及び方位情報を含み、前記パンニングゲインのセットは、前記周波数範囲によって第１グループまたは第２グループに含まれる。
【選択図】 図２

【特許請求の範囲】

【請求項1】

高さ入力チャネル信号を含む複数の入力チャネル信号を受信する段階と、
複数の出力チャネル信号が形成する２次元の出力レイアウトを識別する段階と、
前記高さ入力チャネル信号の位置に基づいてフィルタのタイプを獲得する段階と、
前記高さ入力チャネル信号の位置及び周波数範囲に基づいてパンニングゲインのセットを獲得する段階と、
上昇された音像を提供するために、前記フィルタのタイプ及び前記パンニングゲインのセットに基づいて、前記複数の入力チャネル信号を高度レンダリングして前記複数の出力チャネル信号を生成する段階と、を含み、
前記高さ入力チャネル信号の位置は、高度情報及び方位情報を含み、
前記パンニングゲインのセットは、前記周波数範囲によって第１グループまたは第２グループに含まれる、オーディオ信号をレンダリングする方法。

【請求項2】

前記複数の出力チャネル信号は、水平チャネル信号である、請求項１に記載のオーディオ信号をレンダリングする方法。

【請求項3】

前記高さ入力チャネル信号は、前記複数の出力チャネル信号のうち、少なくとも１つを生成するために使用される請求項１に記載のオーディオ信号をレンダリングする方法。

【請求項4】

高さ入力チャネル信号を含む複数の入力チャネル信号を受信する受信部と、
複数の出力チャネル信号が形成する２次元の出力レイアウトを識別し、前記高さ入力チャネル信号の位置に基づいてフィルタのタイプを獲得し、前記高さ入力チャネル信号の位置及び周波数範囲に基づいてパンニングゲインのセットを獲得する獲得部と、
上昇された音像を提供するために、前記フィルタのタイプ及び前記パンニングゲインのセットに基づいて、前記複数の入力チャネル信号を高度レンダリングして前記複数の出力チャネル信号を生成するレンダリング部と、を含み、
前記高さ入力チャネル信号の位置は、高度情報及び方位情報を含み、
前記パンニングゲインのセットは、前記周波数範囲により第１グループまたは第２グループに含まれる、オーディオ信号をレンダリングする装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オーディオ装置及びそのオーディオ提供方法に係り、同一平面に位置する複数個のスピーカを利用して、高度感を有する仮想オーディオを生成して提供するオーディオ装置及びそのオーディオ提供方法に関する。

【背景技術】

【0002】

映像及び音響処理技術の発達により、高画質高音質のコンテンツが量産されている。高画質高音質のコンテンツを要求していたユーザは、臨場感ある映像及びオーディオを願っており、それによって、立体映像及び立体オーディオに係わる研究が活発に進められている。

【0003】

立体オーディオは、複数個のスピーカを、水平面上の他の位置に配置し、それぞれのスピーカにおいて、同一であったり異なったりするオーディオ信号を出力することにより、ユーザに空間感を感じさせる技術である。しかし、実際のオーディオは、水平面上の多様な位置で発生するだけではなく、異なった高度でも発生する。従って、異なる高度で発生するオーディオ信号を効果的に再生する技術が必要である。

【0004】

従来には、図１Ａに図示されているように、オーディオ信号を、第１高度に対応する音色変換フィルタ（例えば、ＨＲＴＦ補正フィルタ）を通過させ、フィルタリングされたオーディオ信号をコピーし、複数個のオーディオ信号を生成し、複数のゲイン適用部によって、コピーされたオーディオ信号が出力されるスピーカそれぞれに該当するゲイン値に基づいて、コピーされたオーディオ信号それぞれを増幅または減衰させ、増幅または減衰された音響信号を、対応するスピーカを介して出力した。これにより、同一平面に位置する複数個のスピーカを利用して、高度感を有する仮想オーディオを生成することができた。

【0005】

しかし、従来の仮想オーディオ信号生成方法は、スイートスポット（sweet spot）が狭く、現実的にシステムに再現する場合、性能の限界が存在した。すなわち、従来の仮想オーディオ信号は、図１Ｂに図示されているように、１つの地点（例えば、中央に位置した０領域）だけで最適化されてレンダリングされたために、１つの地点以外の領域（例えば、中央から左側に位置したＸ領域）では、高度感を有する仮想オーディオ信号を思うように聴取することができないという問題点が発生した。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、前述の問題点を解決するためのものであり、本発明の目的は、複数の仮想オーディオ信号が平面波を有する音場を形成するように、ディレイ値を適用して、多様な領域でも、仮想オーディオ信号を聴取することを可能とするオーディオ装置及びそのオーディオ提供方法を提供するところにある。

【0007】

また、本発明の他の目的は、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって互いに異なるゲイン値を適用して、多様な領域でも、仮想オーディオ信号を聴取することを可能とするオーディオ装置及びそのオーディオ提供方法を提供するところにある。

【課題を解決するための手段】

【0008】

前述の目的を達成するための本発明の一実施形態によるオーディオ装置のオーディオ提供方法は、複数のチャネルを含むオーディオ信号を入力される段階と、前記複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号を、高度感を有するように処理するフィルタに適用し、複数のスピーカに出力される複数の仮想オーディオ信号を生成する段階と、前記複数のスピーカを介して出力される複数の仮想オーディオ信号が平面波を有する音場を形成するために、前記複数の仮想オーディオ信号に、合成ゲイン値及びディレイ値を適用する段階と、前記合成ゲイン値及びディレイ値が適用された複数の仮想オーディオ信号を、前記複数のスピーカを介して出力する段階と、を含む。

【0009】

そして、前記生成する段階は、前記フィルタリングされたオーディオ信号を、前記複数のスピーカの個数に対応するようにコピーする段階と、前記フィルタリングされたオーディオ信号が仮想の高度感を有するように、前記コピーされたオーディオ信号それぞれに、前記複数のスピーカそれぞれに対応するパンニングゲイン値を適用し、前記複数の仮想オーディオ信号を生成する段階と、を含んでもよい。

【0010】

また、前記適用する段階は、前記複数のスピーカのうち平面波を有する音場を具現するための少なくとも２つのスピーカに対応する仮想オーディオ信号に、合成ゲイン値を乗じる段階と、前記少なくとも２つのスピーカに対応する仮想オーディオ信号に、ディレイ値を適用する段階と、を含んでもよい。

【0011】

そして、前記適用する段階は、前記複数のスピーカのうち前記少なくとも２つのスピーカを除いたスピーカに対応するオーディオ信号に、ゲイン値を０に適用する段階をさらに含んでもよい。

【0012】

また、前記適用する段階は、前記複数のスピーカに対応する複数の仮想オーディオ信号に、ディレイ値を適用する段階と、前記ディレイ値が適用された前記複数の仮想オーディオ信号に、パンニングゲイン値及び合成ゲイン値を乗じた最終ゲイン値を乗じる段階と、を含んでもよい。

【0013】

そして、前記オーディオ信号を、高度感を有するように処理するフィルタは、ＨＲＴＦ（head related transfer filter）フィルタでもある。

【0014】

また、出力する段階は、特定チャネルに対応する仮想オーディオ信号、及び特定チャネルのオーディオ信号をミキシングし、前記特定チャネルに対応するスピーカを介して出力することができる。

【0015】

一方、前記目的を達成するための本発明の一実施形態によるオーディオ装置は、複数のチャネルを含むオーディオ信号を入力される入力部；前記複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号を、高度感を有するように処理するフィルタに適用し、複数のスピーカに出力される複数の仮想オーディオ信号を生成する仮想オーディオ生成部；前記複数のスピーカを介して出力される複数の仮想オーディオ信号が平面波を有する音場を形成するために、前記複数の仮想オーディオ信号に、合成ゲイン値及びディレイ値を適用する仮想オーディオ処理部；並びに前記合成ゲイン値及びディレイ値が適用された複数の仮想オーディオ信号を出力する出力部；を含む。

【0016】

そして、前記仮想オーディオ生成部は、前記フィルタリングされたオーディオ信号を、前記複数のスピーカの個数に対応するようにコピーして、前記フィルタリングされたオーディオ信号が仮想の高度感を有するように、前記コピーされたオーディオ信号それぞれに、前記複数のスピーカそれぞれに対応するパンニングゲイン値を適用し、前記複数の仮想オーディオ信号を生成することができる。

【0017】

また、前記仮想オーディオ処理部は、前記複数のスピーカのうち平面波を有する音場を具現するための少なくとも２つのスピーカに対応する仮想オーディオ信号に合成ゲイン値を乗じ、前記少なくとも２つのスピーカに対応する仮想オーディオ信号に、ディレイ値を適用することができる。

【0018】

そして、前記仮想オーディオ処理部は、前記複数のスピーカのうち前記少なくとも２つのスピーカを除いたスピーカに対応するオーディオ信号に、ゲイン値を０に適用することができる。

【0019】

また、前記仮想オーディオ処理部は、前記複数のスピーカに対応する複数の仮想オーディオ信号にディレイ値を適用し、前記ディレイ値が適用された前記複数の仮想オーディオ信号に、パンニングゲイン値及び合成ゲイン値を乗じた最終ゲイン値を乗じることができる。

【0020】

そして、前記オーディオ信号を、高度感を有するように処理するフィルタは、ＨＲＴＦフィルタでもある。

【0021】

また、前記出力部は、特定チャネルに対応する仮想オーディオ信号、及び特定チャネルのオーディオ信号をミキシングし、前記特定チャネルに対応するスピーカを介して出力することができる。

【0022】

一方、前記目的を達成するための本発明の一実施形態によるオーディオ装置のオーディオ提供方法は、複数のチャネルを含むオーディオ信号を入力される段階と、前記複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号を、高度感を有するように処理するフィルタに適用する段階と、前記仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって互いに異なるゲイン値を適用し、複数の仮想オーディオ信号を生成する段階と、前記複数の仮想オーディオ信号を、前記複数のスピーカを介して出力する段階と、を含んでもよい。

【0023】

そして、前記生成する段階は、前記フィルタリングされたオーディオ信号を、前記複数のスピーカの個数に対応するようにコピーする段階と、前記仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、同側（ipsilateral）スピーカと他側（contralateral）スピーカとを判断する段階と、前記同側スピーカに対応する仮想オーディオ信号に、低周波ブースタフィルタを適用し、前記他側スピーカに対応する仮想オーディオ信号に、高周波通過フィルタを適用する段階と、前記同側スピーカに対応するオーディオ信号、及び前記他側スピーカに対応するオーディオ信号それぞれにパンニングゲイン値を乗じ、前記複数の仮想オーディオ信号を生成する段階と、を含んでもよい。

【0024】

一方、前記目的を達成するための本発明の一実施形態によるオーディオ装置は、複数のチャネルを含むオーディオ信号を入力される入力部；前記複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号を、高度感を有するように処理するフィルタに適用し、前記仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって互いに異なるゲイン値を適用し、複数の仮想オーディオ信号を生成する仮想オーディオ生成部；及び前記複数の仮想オーディオ信号を、前記複数のスピーカを介して出力する出力部；を含む。

【0025】

そして、前記仮想オーディオ生成部は、前記フィルタリングされたオーディオ信号を、前記複数のスピーカの個数に対応するようにコピーし、前記仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、同側スピーカと他側スピーカとを判断し、前記同側スピーカに対応する仮想オーディオ信号に、低周波ブースタフィルタを適用し、前記他側スピーカに対応する仮想オーディオ信号に、高周波通過フィルタを適用し、前記同側スピーカに対応するオーディオ信号、及び前記他側スピーカに対応するオーディオ信号それぞれにパンニングゲイン値を乗じ、前記複数の仮想オーディオ信号を生成することができる。

【0026】

一方、前記目的を達成するための本発明の一実施形態によるオーディオ装置のオーディオ提供方法は、複数のチャネルを含むオーディオ信号を入力される段階と、前記複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号に対して、高度感を有する形態でレンダリングを行うか否かということを判断する段階と、前記判断結果によって、前記高度感を有するチャネルの一部を、高度感を有するように処理するフィルタに適用する段階と、前記フィルタが適用された信号にゲイン値を適用し、複数の仮想オーディオ信号を生成する段階と、前記複数の仮想オーディオ信号を、前記複数のスピーカを介して出力する段階と、を含む。

【0027】

そして、前記判断する段階は、複数のチャネル間の相関（correlation）及び類似度（similarity）を利用して、前記高度感を有するチャネルに対するオーディオ信号に対して、高度感を有する形態でレンダリングを行うか否かということを判断することができる。

【0028】

一方、前記目的を達成するための本発明の一実施形態によるオーディオ装置のオーディオ提供方法は、複数のチャネルを含むオーディオ信号を入力される段階と、入力されたオーディオ信号のうち少なくとも一部のチャネルを、異なる高度感を有するように処理するフィルタに適用し、仮想オーディオ信号を生成する段階と、前記生成された仮想オーディオ信号を外部装置が行うことができるコーデックに再エンコーディングする段階と、前記再エンコーディングされた仮想オーディオ信号を外部に伝送する段階と、を含む。

【発明の効果】

【0029】

前述のような本発明の多様な実施形態によって、ユーザは、多様な位置からオーディオ装置が提供する高度感を有する仮想オーディオ信号を聴取することができる。

【図面の簡単な説明】

【0030】

【図1A】従来の仮想オーディオ提供方法について説明するための図面である。

【図1B】従来の仮想オーディオ提供方法について説明するための図面である。

【図2】本発明の一実施形態によるオーディオ装置の構成を示すブロック図である。

【図3】本発明の一実施形態による、平面波形態の音場を有する仮想オーディオについて説明するための図面である。

【図4】本発明の多様な実施形態による、１１．１チャネルのオーディオ信号をレンダリングし、７．１チャネルのスピーカを介して出力する方法について説明するための図面である。

【図5】本発明の多様な実施形態による、１１．１チャネルのオーディオ信号をレンダリングし、７．１チャネルのスピーカを介して出力する方法について説明するための図面である。

【図6】本発明の多様な実施形態による、１１．１チャネルのオーディオ信号をレンダリングし、７．１チャネルのスピーカを介して出力する方法について説明するための図面である。

【図7】本発明の多様な実施形態による、１１．１チャネルのオーディオ信号をレンダリングし、７．１チャネルのスピーカを介して出力する方法について説明するための図面である。

【図8】本発明の一実施形態によるオーディオ装置のオーディオ提供方法について説明するための図面である。

【図9】本発明の他の実施形態によるオーディオ装置の構成を示すブロック図である。

【図10】本発明の多様な実施形態による、１１．１チャネルのオーディオ信号をレンダリングし、７．１チャネルのスピーカを介して出力する方法について説明するための図面である。

【図11】本発明の多様な実施形態による、１１．１チャネルのオーディオ信号をレンダリングし、７．１チャネルのスピーカを介して出力する方法について説明するための図面である。

【図12】本発明の他の実施形態によるオーディオ装置のオーディオ提供方法について説明するための図面である。

【図13】従来の、１１．１チャネルのオーディオ信号を、７．１チャネルのスピーカを介して出力する方法について説明する図面である。

【図14】本発明の多様な実施形態による、複数のレンダリング方法を利用して、１１．１チャネルのオーディオ信号を、７．１チャネルのスピーカを介して出力する方法について説明する図面である。

【図15】本発明の多様な実施形態による、複数のレンダリング方法を利用して、１１．１チャネルのオーディオ信号を、７．１チャネルのスピーカを介して出力する方法について説明する図面である。

【図16】本発明の多様な実施形態による、複数のレンダリング方法を利用して、１１．１チャネルのオーディオ信号を、７．１チャネルのスピーカを介して出力する方法について説明する図面である。

【図17】本発明の多様な実施形態による、複数のレンダリング方法を利用して、１１．１チャネルのオーディオ信号を、７．１チャネルのスピーカを介して出力する方法について説明する図面である。

【図18】本発明の多様な実施形態による、複数のレンダリング方法を利用して、１１．１チャネルのオーディオ信号を、７．１チャネルのスピーカを介して出力する方法について説明する図面である。

【図19】本発明の多様な実施形態による、複数のレンダリング方法を利用して、１１．１チャネルのオーディオ信号を、７．１チャネルのスピーカを介して出力する方法について説明する図面である。

【図20】本発明の多様な実施形態による、複数のレンダリング方法を利用して、１１．１チャネルのオーディオ信号を、７．１チャネルのスピーカを介して出力する方法について説明する図面である。

【図21】本発明の一実施形態によるＭＰＥＧ SURROUNDのような構造のチャネル拡張コーデックを使用する場合、複数のレンダリング方法でレンダリングを行う実施形態について説明するための図面である。

【図22】本発明の一実施形態によるマルチチャネルオーディオ提供システムについて説明する図面である。

【図23】本発明の一実施形態によるマルチチャネルオーディオ提供システムについて説明する図面である。

【図24】本発明の一実施形態によるマルチチャネルオーディオ提供システムについて説明する図面である。

【図25】本発明の一実施形態によるマルチチャネルオーディオ提供システムについて説明する図面である。

【発明を実施するための形態】

【0031】

本実施形態は、多様な変換を加えることができ、さまざまな実施例を有することができるが、特定実施形態を図面に例示し、詳細な説明で詳細に説明する。しかし、それらは、特定の実施形態について範囲を限定するものではなく、開示された思想及び技術範囲に含まれる全ての変換、均等物ないし代替物を含むものであると理解されなければならない。実施形態についての説明において、関連公知技術についての具体的な説明が要旨を不明確にすると判断される場合、その詳細な説明を省略する。

【0032】

第１、第２のような用語は、多様な構成要素についての説明に使用されるが、構成要素は、用語によって限定されるものではない。用語は、１つの構成要素を他の構成要素から区別する目的にのみ使用される。

【0033】

本出願で使用された用語は、ただ特定の実施形態についての説明に使用されたものであり、権利範囲を限定する意図ではない。単数の表現は、文脈上明白に異なって意味しない限り、複数の表現を含む。本出願において、「含む」または「構成される」というような用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、またはそれらの組み合わせが存在するということを指定するものであって、一つ、またはそれ以上の他の特徴、数字、段階、動作、構成要素、部品、またはそれらの組み合わせの存在または付加の可能性をあらかじめ排除するものではないと理解されなければならない。

【0034】

実施形態において、「モジュール」あるいは「部」は、少なくとも１つの機能や動作を遂行し、ハードウェアまたはソフトウェアで具現されるか、あるいはハードウェアとソフトウェアとの結合によって具現されるものである。また、複数の「モジュール」、あるいは複数の「部」は、特定のハードウェアによって具現される必要がある「モジュール」あるいは「部」を除いては、少なくとも１つのモジュールに一体化され、少なくとも１つのプロセッサ（図示せず）でもって具現されるのである。

【0035】

以下、実施形態について、添付図面を参照して詳細に説明するが、添付図面を参照しての説明において、同一であるか、あるいは対応する構成要素は、同一の図面番号を付し、それについての重複説明は省略する。

【0036】

図２は、本発明の一実施形態によるオーディオ装置１００の構成を図示したブロック図である。図２に図示されているように、オーディオ装置１００は、入力部１１０、仮想オーディオ生成部１２０、仮想オーディオ処理部１３０及び出力部１４０を含む。一方、本発明の一実施形態によるオーディオ装置１００は、複数のスピーカを含み、複数のスピーカは、同一の水平面上に配置される。

【0037】

入力部１１０は、複数のチャネルを含むオーディオ信号を入力される。このとき、入力部１１０は、異なる高度感を有する複数のチャネルを含むオーディオ信号を入力される。例えば、入力部１１０は、１１．１チャネルのオーディオ信号を入力される。

【0038】

仮想オーディオ生成部１２０は、複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号を、高度感を有するように処理する音色変換フィルタに適用し、複数のスピーカに出力される複数の仮想オーディオ信号を生成する。特に、仮想オーディオ生成部１２０は、水平面上に配置されたスピーカを利用して、実際のスピーカより高い高度で発生する音をモデリングするために、ＨＲＴＦ（head related transfer filter）補正フィルタを使用することができる。このとき、ＨＲＴＦ補正フィルタは、音源の空間的な位置から、ユーザの両耳までの経路情報、すなわち、周波数伝達特性を含む。ＨＲＴＦ補正フィルタは、両耳間のレベル差（ＩＬＤ：inter-aural level difference）、及び両耳間で音響時間が逹する時間差（ＩＴＤ：inter-aural time difference）のような単純な経路差だけではなく、頭表面での回折、耳介による反射など、複雑な経路上の特性異音の到来方向によって変化する現象によって、立体音響を認識させる。空間上の各方向において、ＨＲＴＦ補正フィルタは、唯一の特性を有するために、それを利用すれば、立体音響を生成することができる。

【0039】

例えば、１１．１チャネルのオーディオ信号が入力された場合、仮想オーディオ生成部１２０は、１１．１チャネルのオーディオ信号のうちトップフロントレフト（top front left）チャネルのオーディオ信号をＨＲＴＦ補正フィルタに適用し、７．１チャネルのレイアウトを有する複数のスピーカに出力される７個の仮想オーディオ信号を生成することができる。

【0040】

本発明の一実施形態において、仮想オーディオ生成部１２０は、音色変換フィルタによってフィルタリングされたオーディオ信号を、複数のスピーカの個数に対応するようにコピーし、フィルタリングされたオーディオ信号が、仮想の高度感を有するように、コピーされたオーディオ信号それぞれに、複数のスピーカそれぞれに対応するパンニングゲイン値を適用し、複数の仮想オーディオ信号を生成することができる。本発明の他の実施形態では、仮想オーディオ生成部１２０は、音色変換フィルタによってフィルタリングされたオーディオ信号を、複数のスピーカの個数に対応するようにコピーし、複数の仮想オーディオ信号を生成することができる。その場合、パンニングゲイン値は、仮想オーディオ処理部１３０によって適用される。

【0041】

仮想オーディオ処理部１３０は、複数のスピーカを介して出力される複数の仮想オーディオ信号が、平面波を有する音場を形成するために、複数の仮想オーディオ信号に、合成ゲイン値及びディレイ値を適用する。具体的には、仮想オーディオ処理部１３０は、図３に図示されているように、一地点にスイートスポットが生成されるものではない平面波を有する音場を形成するように、仮想オーディオ信号を生成し、多様な地点で仮想オーディオ信号を聴取することができる。

【0042】

本発明の一実施形態において、仮想オーディオ処理部１３０は、複数のスピーカのうち平面波を有する音場を具現するための少なくとも２つのスピーカに対応する仮想オーディオ信号に合成ゲイン値を乗じ、少なくとも２つのスピーカに対応する仮想オーディオ信号に、ディレイ値を適用することができる。仮想オーディオ処理部１３０は、複数のスピーカのうち少なくとも２つのスピーカを除いたスピーカに対応するオーディオ信号に、ゲイン値を０に適用することができる。例えば、１１．１チャネルのトップフロントレフトチャネルに対応するオーディオ信号を、仮想オーディオ信号に生成するために、仮想オーディオ生成部１２０が７個の仮想オーディオを生成すれば、生成された７個の仮想オーディオのうちフロントレフトに再生されなければならない信号ＦＬ_ＴＦＬは、仮想オーディオ処理部１３０において、７．１チャネルのスピーカのうちフロントセンターチャネル、フロントレフトチャネル及びサラウンドレフトチャネルに対応する仮想オーディオ信号に合成ゲイン値を乗じ、それぞれのオーディオ信号に、ディレイ値を適用し、フロントセンターチャネル、フロントレフトチャネル及びサラウンドレフトチャネルに対応するスピーカに出力される仮想オーディオ信号を処理することができる。そして、仮想オーディオ処理部１３０は、ＦＬ_ＴＦＬの具現において、７．１チャネルのスピーカのうち他側（contralateral）チャネルであるフロントライトチャネル、サラウンドライトチャネル、バックレフトチャネル、バックライトチャネルに対応する仮想オーディオ信号に、合成ゲイン値を０として乗じることができる。

【0043】

本発明の他の実施形態では、仮想オーディオ処理部１３０は、複数のスピーカに対応する複数の仮想オーディオ信号にディレイ値を適用し、ディレイ値が適用された複数の仮想オーディオ信号に、パンニングゲイン値及び合成ゲイン値を乗じた最終ゲイン値を適用し、平面波を有する音場を形成することができる。

【0044】

出力部１４０は、処理された複数の仮想オーディオ信号を、対応するスピーカを介して出力する。このとき、出力部１４０は、特定チャネルに対応する仮想オーディオ信号、及び特定チャネルのオーディオ信号をミキシングし、特定チャネルに対応するスピーカを介して出力することができる。例えば、出力部１４０は、フロントレフトチャネルに対応するオーディオ信号と、トップフロントレフトチャネルが処理されて生成された仮想オーディオ信号をミキシングし、フロントレフトチャネルに対応するスピーカを介して出力することができる。

【0045】

前述のようなオーディオ装置１００によって、ユーザは、多様な位置において、オーディオ装置が提供する高度感を有する仮想オーディオ信号を聴取することができる。

【0046】

以下では、図４ないし図７を参照し、本発明の一実施形態による１１．１チャネルのオーディオ信号のうち異なる高度感を有するチャネルに対応するオーディオ信号を、７．１チャネルのスピーカに出力するために、仮想オーディオ信号にレンダリングする方法についてさらに詳細に説明する。

【0047】

図４は、本発明の一実施形態による、１１．１チャネルのトップフロントレフトチャネルのオーディオ信号を、７．１チャネルのスピーカに出力するために、仮想オーディオ信号にレンダリングする方法について説明するための図面である。

【0048】

まず、１１．１チャネルのトップフロントレフトチャネルのオーディオ信号が入力された場合、仮想オーディオ生成部１２０は、入力されたトップフロントレフトチャネルのオーディオ信号を、音色変換フィルタＨに適用する。そして、仮想オーディオ生成部１２０は、音色変換フィルタＨが適用されたトップフロントレフトチャネルに対応するオーディオ信号を、７個のオーディオ信号にコピーした後、コピーされた７個のオーディオ信号を、７チャネルのスピーカにそれぞれ対応するゲイン適用部に入力することができる。仮想オーディオ生成部１２０は、７個のゲイン適用部によって７チャネルそれぞれのパンニングゲインＧ_{ＴＦＬ，ＦＬ}，Ｇ_{ＴＦＬ，ＦＲ}，Ｇ_{ＴＦＬ，ＦＣ}，Ｇ_{ＴＦＬ，ＳＬ}，Ｇ_{ＴＦＬ，ＳＲ}，Ｇ_{ＴＦＬ，ＢＬ}，Ｇ_{ＴＦＬ，ＢＲ}を、音色変換されたオーディオ信号に乗じ、７チャネルの仮想オーディオ信号を生成することができる。

【0049】

そして、仮想オーディオ処理部１３０は、入力された７チャネルの仮想オーディオ信号のうち、複数のスピーカのうち平面波を有する音場を具現するための少なくとも２つのスピーカに対応する仮想オーディオ信号に合成ゲイン値を乗じ、少なくとも２つのスピーカに対応する仮想オーディオ信号に、ディレイ値を適用することができる。具体的には、図３のように、フロントレフトチャネルのオーディオ信号を、特定角度（例えば、３０°）の位置から入ってくる平面波にする場合、仮想オーディオ処理部１３０は、入射方向と同一の半面（例えば、左側信号の場合、左半面及びセンター、右側信号の場合、右半面及びセンター）内にあるスピーカであるフロントレフトチャネル、フロントセンターチャネル、サラウンドレフトチャネルのスピーカを利用して、平面波合成に必要な合成ゲイン値であるＡ_{ＦＬ，ＦＬ}，Ａ_{ＦＬ，ＦＣ}，Ａ_{ＦＬ，ＳＬ}を乗じ、ディレイ値であるｄ_{ＴＦＬ，ＦＬ}，ｄ_{ＴＦＬ，ＦＣ}，ｄ_{ＴＦＬ，ＳＬ}を適用し、平面波形態の仮想オーディオ信号を生成することができる。それを数式で表現すれば、下記数式の通りである。

【0050】

【数1】

また、仮想オーディオ処理部１３０は、入射方向と同一の半面に存在しないスピーカであるフロントライトチャネル、サラウンドライトチャネル、バックライトチャネル、バックレフトチャネルのスピーカに出力される仮想オーディオ信号の合成ゲイン値Ａ_{ＦＬ，ＦＲ}，Ａ_{ＦＬ，ＳＲ}，Ａ_{ＦＬ，ＢＬ}，Ａ_{ＦＬ，ＢＲ}は、０に設定することができる。

【0051】

従って、仮想オーディオ処理部１３０は、図４に図示されているように、平面波を具現するための７個の仮想オーディオ信号として、ＦＬ_ＴＦＬ ^Ｗ、ＦＲ_ＴＦＬ ^Ｗ、ＦＣ_ＴＦＬＷ、ＳＬ_ＴＦＬ ^Ｗ、ＳＲ_ＴＦＬ ^Ｗ、ＢＬ_ＴＦＬ ^Ｗ、ＢＲ_ＴＦＬ ^Ｗを生成することができる。

【0052】

一方、図４では、仮想オーディオ生成部１２０で、パンニングゲイン値を乗じ、仮想オーディオ処理部１３０で、合成ゲイン値を乗じると説明したが、それは、一実施形態に過ぎず、仮想オーディオ処理部１３０が、パンニングゲイン値及び合成ゲイン値を乗じた最終ゲイン値を乗じることができる。

【0053】

具体的には、仮想オーディオ処理部１３０は、図６に開示されているように、音色変換フィルタＨを介して音色が変換された複数の仮想オーディオ信号に、ディレイ値をまず適用した後、最終ゲイン値を適用し、平面波形態の音場を有する複数の仮想オーディオ信号を生成することができる。このとき、仮想オーディオ処理部１３０は、図４の仮想オーディオ生成部１２０のゲイン適用部のパンニングゲイン値Ｇと、図４の仮想オーディオ処理部１３０のゲイン適用部の合成ゲイン値Ａとを統合し、最終ゲイン値Ｐ_{ＴＦＬ，ＦＬ}を算出することができる。それを数式で表現すれば、下記数式の通りである。

【0054】

【数2】

このとき、ｓは、Ｓ＝｛ＦＬ，ＦＲ，ＦＣ，ＳＬ，ＳＲ，ＢＬ，ＢＲ｝の元素である。

【0055】

一方、図４ないし図６は、１１．１チャネルのオーディオ信号のうちトップフロントレフトチャネルに対応するオーディオ信号を、仮想オーディオ信号にレンダリングする実施形態について説明しているが、１１．１チャネルのオーディオ信号のうち、異なる高度感を有するトップフロントライトチャネル、トップサラウンドレフトチャネル及びトップサラウンドライトチャネルも、前述の方法のようにレンダリングを行うことができる。

【0056】

具体的には、図７に図示されているように、トップフロントレフトチャネル、トップフロントライトチャネル、トップサラウンドレフトチャネル及びトップサラウンドライトチャネルに対応するオーディオ信号は、仮想オーディオ生成部１２０及び仮想オーディオ処理部１３０が含まれた複数の仮想チャネル合成部を介して、仮想オーディオ信号にレンダリングされ、レンダリングされた複数の仮想オーディオ信号は７．１チャネルのスピーカそれぞれに対応するオーディオ信号とミキシングされて出力される。

【0057】

図８は、本発明の一実施形態によるオーディオ装置１００のオーディオ提供方法について説明するためのフローチャートである。

【0058】

まず、オーディオ装置１００は、オーディオ信号を入力される（Ｓ８１０）。このとき、入力されたオーディオ信号は、複数の高度感を有するマルチチャネルオーディオ信号（例えば、１１．１チャネル）でもある。

【0059】

オーディオ装置１００は、複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号を、高度感を有するように処理する音色変換フィルタに適用し、複数のスピーカに出力される複数の仮想オーディオ信号を生成する（Ｓ８２０）。

【0060】

オーディオ装置１００は、生成された複数の仮想オーディオに、合成ゲイン値及びディレイ値を適用する（Ｓ８３０）。このとき、オーディオ装置１００は、複数の仮想オーディオが平面波形態の音場を有するように、合成ゲイン値及びディレイ値を適用することができる。

【0061】

オーディオ装置１００は、生成された複数の仮想オーディオを、複数のスピーカを介して出力する（Ｓ８４０）。

【0062】

前述のように、仮想オーディオ信号それぞれにディレイ値及び合成ゲイン値を適用し、平面波形態の音場を有する仮想オーディオ信号をレンダリングすることにより、ユーザは、多様な位置からオーディオ装置が提供する高度感を有する仮想オーディオ信号を聴取することができる。

【0063】

一方、前述の実施形態では、ユーザが、１地点ではない多様な位置で高度感を有する仮想オーディオ信号を聴取するために、仮想オーディオ信号を、平面波形態の音場を有するように処理したが、それは、一実施形態に過ぎず、他の方法を利用して、ユーザが多様な位置で、高度感を有する仮想オーディオ信号を聴取することができるように、仮想オーディオ信号を処理することができる。具体的には、オーディオ装置は、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって互いに異なるゲイン値を適用し、多様な領域でも、仮想オーディオ信号を聴取することが可能となる。

【0064】

以下では、図９ないし図１２を参照し、本発明の他の実施形態による仮想オーディオ信号提供方法について説明する。図９は、本発明の他の実施形態によるオーディオ装置の構成を示すブロック図である。まず、オーディオ装置９００は、入力部９１０、仮想オーディオ生成部９２０及び出力部９３０を含む。

【0065】

入力部９１０は、複数のチャネルを含むオーディオ信号を入力される。このとき、入力部９１０は、異なる高度感を有する複数のチャネルを含むオーディオ信号を入力される。例えば、入力部１１０は、１１．１チャネルのオーディオ信号を入力される。

【0066】

仮想オーディオ生成部９２０は、複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号を、高度感を有するように処理するフィルタに適用し、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって互いに異なるゲイン値を適用し、複数の仮想オーディオ信号を生成する。

【0067】

具体的には、仮想オーディオ生成部９２０は、フィルタリングされたオーディオ信号を、複数のスピーカの個数に対応するようにコピーし、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、同側（ipsilateral）スピーカと他側（contralateral）スピーカとを判断する。具体的には、仮想オーディオ生成部９２０は、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、同一の方向に位置するスピーカを、同側スピーカと判断し、反対方向に位置するスピーカを、他側スピーカと判断する。例えば、仮想オーディオ信号に生成するオーディオ信号が、トップフロントレフトチャネルのオーディオ信号である場合、仮想オーディオ生成部９２０は、トップフロントレフトチャネルと同一の方向、または最も近い方向に位置するフロントレフトチャネル、サラウンドレフトチャネル、バックレフトチャネルに対応するスピーカを、同側スピーカと判断し、トップフロントレフトチャネルと反対方向に位置するフロントライトチャネル、サラウンドライトチャネル、バックライトチャネルに対応するスピーカを、他側スピーカと判断することができる。

【0068】

そして、仮想オーディオ生成部９２０は、同側スピーカに対応する仮想オーディオ信号に、低周波ブースタフィルタを適用し、他側スピーカに対応する仮想オーディオ信号に、高周波通過フィルタを適用する。具体的には、仮想オーディオ生成部９２０は、同側スピーカに対応する仮想オーディオ信号に、全体的なトーンバランス（tone balance）を合わせるために、低周波ブースタフィルタを適用し、他側スピーカに対応する仮想オーディオ信号には、音像定位に影響を与える高周波領域を通過させるために、高周波通過フィルタを適用する。

【0069】

一般的に、オーディオ信号の低周波成分は、ＩＴＤ（interaural time delay）による音像定位に多くの影響を与え、オーディオ信号の高周波成分は、ＩＬＤ（interaural level difference）による音像定位に多くの影響を与える。特に、聴取者が１方向に移動した場合、ＩＬＤは、パンニングゲインを効果的に設定し、左側音源が右側にくるか右側の音源が左側に移動する程度を調節することにより、聴取者が続けて円滑なオーディオ信号を聴取することができる。

【0070】

しかし、ＩＴＤの場合、近い方のスピーカ音がまず耳に入ってくるために、聴取者が移動する場合、左右定位逆転現象が発生する。

【0071】

このような左右定位逆転現象は、音像定位で必ず解決されなければならない問題であり、かような問題を解決するために、仮想オーディオ処理部９２０は、音源の反対方向に位置する他側スピーカに対応する仮想オーディオ信号のうち、ＩＴＤに影響を与える低周波成分を除去し、ＩＬＤに支配的な影響を与える高周波成分のみを通過させることができる。これにより、低周波成分による左右定位逆転現象が防止され、高周波成分に対するＩＬＤによって、音像の位置が維持される。

【0072】

そして、仮想オーディオ生成部９２０は、同側スピーカに対応するオーディオ信号、及び他側スピーカに対応するオーディオ信号それぞれにパンニングゲイン値を乗じ、複数の仮想オーディオ信号を生成することができる。具体的には、仮想オーディオ生成部９２０は、低周波ブースタフィルタを通過した同側スピーカに対応するオーディオ信号、及び高周波通過フィルタを通過した他側スピーカに対応するオーディオ信号それぞれに、音像定位のためのパンニングゲイン値を乗じ、複数の仮想オーディオ信号を生成することができる。すなわち、仮想オーディオ生成部９２０は、音像の位置を基に、複数の仮想オーディオ信号の周波数によって異なるゲイン値を適用し、最終的に複数の仮想オーディオ信号を生成することができる。

【0073】

出力部９３０は、複数の仮想オーディオ信号を、複数のスピーカを介して出力する。

【0074】

このとき、出力部９３０は、特定チャネルに対応する仮想オーディオ信号、及び特定チャネルのオーディオ信号をミキシングし、特定チャネルに対応するスピーカを介して出力することができる。

【0075】

例えば、出力部９３０は、フロントレフトチャネルに対応するオーディオ信号と、トップフロントレフトチャネルが処理されて生成された仮想オーディオ信号とをミキシングし、フロントレフトチャネルに対応するスピーカを介して出力することができる。

【0076】

以下では、図１０を参照し、本発明の一実施形態による１１．１チャネルのオーディオ信号のうち異なる高度感を有するチャネルに対応するオーディオ信号を、７．１チャネルのスピーカに出力するために、仮想オーディオ信号にレンダリングする方法についてさらに詳細に説明する。

【0077】

図１０は、本発明の一実施形態による、１１．１チャネルのトップフロントレフトチャネルのオーディオ信号を７．１チャネルのスピーカに出力するために、仮想オーディオ信号にレンダリングする方法について説明するための図面である。

【0078】

まず、１１．１チャネルのトップフロントレフトチャネルのオーディオ信号が入力された場合、仮想オーディオ生成部９２０は、入力されたトップフロントレフトチャネルのオーディオ信号を、音色変換フィルタＨに適用することができる。そして、仮想オーディオ生成部９２０は、音色変換フィルタＨが適用されたトップフロントレフトチャネルに対応するオーディオ信号を、７個のオーディオ信号にコピーした後、トップフロントレフトチャネルのオーディオ信号の位置によって、同側スピーカ及び他側スピーカを判断することができる。すなわち、仮想オーディオ生成部９２０は、トップフロントレフトチャネルのオーディオ信号と同一の方向に位置するフロントレフトチャネル、サラウンドレフトチャネル、バックレフトチャネルに対応するスピーカを、同側スピーカと判断し、トップフロントレフトチャネルのオーディオ信号と反対方向に位置するフロントライトチャネル、サラウンドライトチャネル、バックライトチャネルに対応するスピーカを、他側スピーカと判断することができる。

【0079】

そして、仮想オーディオ生成部９２０は、コピーされた複数の仮想オーディオ信号のうち同側スピーカに対応する仮想オーディオ信号を、低周波ブースタフィルタに通過させる。

【0080】

そして、仮想オーディオ生成部９２０は、低周波ブースタフィルタを通過した仮想オーディオ信号を、フロントレフトチャネル、サラウンドレフトチャネル、バックレフトチャネルに対応するゲイン適用部にそれぞれ入力させ、トップフロントレフトチャネルの位置にオーディオ信号を定位させるための多チャネルパンニングゲイン値Ｇ_{ＴＦＬ，ＦＬ}，Ｇ_{ＴＦＬ，ＳＬ}，Ｇ_{ＴＦＬ，ＢＬ}を乗じ、３チャネルの仮想オーディオ信号を生成することができる。

【0081】

そして、仮想オーディオ生成部９２０は、コピーされた複数の仮想オーディオ信号のうち他側スピーカに対応する仮想オーディオ信号を、高周波通過フィルタに通過させる。そして、仮想オーディオ生成部９２０は、高周波通過フィルタを通過した仮想オーディオ信号を、フロントライトチャネル、サラウンドライトチャネル、バックライトチャネルに対応するゲイン適用部にそれぞれ入力させ、トップフロントレフトチャネルの位置にオーディオ信号を定位させるための多チャネルパンニングゲイン値Ｇ_{ＴＦＬ，ＦＲ}，Ｇ_{ＴＦＬ，ＳＲ}，Ｇ_{ＴＦＬ，ＢＲ}を乗じ、３チャネルの仮想オーディオ信号を生成することができる。

【0082】

また、同側スピーカでも他側スピーカでもないフロントセンターチャネルに対応する仮想オーディオ信号の場合、仮想オーディオ生成部９２０は、フロントセンターチャネルに対応する仮想オーディオ信号を、同側スピーカと同一の方法を利用して処理することができ、他側スピーカと同一の方法を利用して処理することができる。本発明の一実施形態では、図１０に図示されているように、フロントセンターチャネルに対応する仮想オーディオ信号は、同側スピーカに対応する仮想オーディオ信号と同一の方法によって処理された。

【0083】

一方、図１０では、１１．１チャネルのオーディオ信号のうちトップフロントレフトチャネルに対応するオーディオ信号を、仮想オーディオ信号にレンダリングする実施形態について説明したが、１１．１チャネルのオーディオ信号のうち、異なる高度感を有するトップフロントライトチャネル、トップサラウンドレフトチャネル及びトップサラウンドライトチャネルも、図１０で説明したような方法を利用して、レンダリングを行うことができる。

【0084】

一方、本発明の他の実施形態では、図６で説明したような仮想オーディオ提供方法と、図１０で説明したような仮想オーディオ提供方法とを統合し、図１１に図示されているようなオーディオ装置１１００として具現される。具体的には、オーディオ装置１１００は、入力されたオーディオ信号に対して、音色変換フィルタＨを利用して音色変換を処理した後、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって異なるゲイン値が適用されるように、同側スピーカに対応する仮想オーディオ信号を、低周波ブースタフィルタに通過させ、他側スピーカに対応する仮想オーディオ信号を、高周波通過フィルタに通過させる。そして、オーディオ装置１００は、複数の仮想オーディオ信号が平面波を有する音場を形成するように入力されたそれぞれの仮想オーディオ信号に、ディレイ値ｄ及び最終ゲイン値Ｐを適用し、仮想オーディオ信号を生成することができる。

【0085】

図１２は、本発明の一実施形態によるオーディオ装置９００のオーディオ提供方法について説明するための図面である。

【0086】

まず、オーディオ装置９００は、オーディオ信号を入力される（Ｓ１２１０）。このとき、入力されたオーディオ信号は、複数の高度感を有するマルチチャネルオーディオ信号（例えば、１１．１チャネル）でもある。

【0087】

そして、オーディオ装置９００は、複数のチャネルのうち高度感を有するチャネルのオーディオ信号を、高度感を有するように処理するフィルタに適用する（Ｓ１２２０）。このとき、複数のチャネルのうち高度感を有するチャネルのオーディオ信号は、トップフロントレフトチャネルのオーディオ信号でもあり、高度感を有するように処理するフィルタは、ＨＲＴＦ補正フィルタでもある。

【0088】

そして、オーディオ装置９００は、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって異なるゲイン値を適用し、仮想オーディオ信号を生成する（Ｓ１２３０）。具体的には、オーディオ装置９００は、フィルタリングされたオーディオ信号を、複数のスピーカの個数に対応するようにコピーし、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、同側スピーカと他側スピーカとを判断し、同側スピーカに対応する仮想オーディオ信号に、低周波ブースタフィルタを適用し、他側スピーカに対応する仮想オーディオ信号に、高周波通過フィルタを適用し、同側スピーカに対応するオーディオ信号及び他側スピーカに対応するオーディオ信号それぞれにパンニングゲイン値を乗じ、複数の仮想オーディオ信号を生成することができる。

【0089】

そして、オーディオ装置９００は、複数の仮想オーディオ信号を力する（Ｓ１２４０）。

【0090】

前述のように、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって異なるゲイン値を適用することにより、ユーザは、多様な位置において、オーディオ装置が提供する高度感を有する仮想オーディオ信号を聴取することができる。

【0091】

以下では、本発明の他の実施形態について説明する。具体的には、図１３は、従来の１１．１チャネルのオーディオ信号を、７．１チャネルのスピーカを介して出力する方法について説明する図面である。まず、エンコーダ１３１０は、１１．１チャネルのチャネルオーディオ信号、複数のオブジェクトオーディオ信号、及び複数のオブジェクトのオーディオ信号についての複数の軌跡情報をエンコードし、ビットストリームを生成する。そして、デコーダ１３２０は、受信されたビットストリームをデコーディングし、１１．１チャネルのチャネルオーディオ信号は、ミキシング部１３４０に出力し、複数のオブジェクトオーディオ信号及び対応する軌跡情報は、オブジェクトレンダリング部１３３０に出力する。オブジェクトレンダリング部１３３０は、軌跡情報を利用して、オブジェクトオーディオ信号を、１１．１チャネルにレンダリングした後、ミキシング部１３４０に出力する。

【0092】

ミキシング部１３４０は、１１．１チャネルのチャネルオーディオ信号と、１１．１チャネルにレンダリングされたオブジェクトオーディオ信号とを１１．１チャネルのオーディオ信号にミキシングし、仮想オーディオレンダリング部１３５０に出力する。仮想オーディオレンダリング部１３４０は、１１．１チャネルのオーディオ信号のうち異なる高度感を有する４チャネル（トップフロントレフトチャネル、トップフロントライトチャネル、トップサラウンドレフトチャネル、トップサラウンドライトチャネル）のオーディオ信号を利用し、図２ないし図１２で説明したように、複数の仮想オーディオ信号に生成し、生成された複数のオーディオ信号を、残りのチャネルとミキシングした後、ミキシングされた７．１チャネルのオーディオ信号を出力することができる。

【0093】

しかし、前述のように、１１．１チャネルのオーディオ信号のうち異なる高度感を有する４個のチャネルオーディオ信号を、画一的に処理して仮想オーディオ信号に生成する場合、拍手音や雨音のように、広帯域（wideband）であり、チャネル間の相関がなく（low correlation）、インパルシブ（impulsive）な特性を有するオーディオ信号を仮想オーディオ信号にレンダリングすれば、オーディオ音質の劣化が発生する。特に、かような音質の劣化は、仮想オーディオ信号を生成する場合、さらに好ましくない傾向を示すために、インパルシブな特性を有するオーディオ信号は、仮想オーディオを生成するレンダリング作業を遂行せず、音色に重点を置いたダウンミックスを介して、レンダリング作業を遂行することにより、さらに優れた音質を提供することができる。

【0094】

以下では、図１４ないし図１６を参照し、本発明の一実施形態によるオーディオ信号のレンダリング情報を利用して、オーディオ信号のレンダリング種類を判断する実施形態について説明する。

【0095】

図１４は、本発明の一実施形態による、オーディオ装置が１１．１チャネルのオーディオ信号をオーディオ信号のレンダリング情報によって、異なる方法のレンダリングを行い、７．１チャネルのオーディオ信号に生成する方法について説明するための図面である。

【0096】

エンコーダ１４１０は、１１．１チャネルのチャネルオーディオ信号、複数のオブジェクトオーディオ信号、複数のオブジェクトオーディオ信号に対応する軌跡情報、及びオーディオ信号のレンダリング情報を受信し、エンコーディングすることができる。このとき、オーディオ信号のレンダリング情報は、オーディオ信号の種類を示すものであり、入力されたオーディオ信号が、インパルシブな特性を有するオーディオ信号であるか否かということについての情報、入力されたオーディオ信号が、広帯域のオーディオ信号であるか否かということについての情報、及び入力されたオーディオ信号がチャネル間の相関（correlation）が低いか否かということについての情報のうち少なくとも一つを含んでもよい。また、オーディオ信号のレンダリング情報は、オーディオ信号のレンダリング方法についての情報を直接含んでもよい。すなわち、オーディオ信号のレンダリング情報には、オーディオ信号が音質レンダリング（timbral rendering）方法及び空間レンダリング（spatial rendering）方法のうちいずれの方法でレンダリングを行うかということについての情報が含まれる。

【0097】

デコーダ１４２０は、エンコーディングされたオーディオ信号をデコーディングし、１１．１チャネルのチャネルオーディオ信号及びオーディオ信号のレンダリング情報をミキシング部１４４０に出力し、複数のオブジェクトオーディオ信号及び対応する軌跡情報、そしてオーディオ信号のレンダリング情報をミキシング部１４４０に出力することができる。

【0098】

オブジェクトレンダリング部１４３０は、入力された複数のオブジェクトオーディオ信号及び対応する軌跡情報を利用して、１１．１チャネルのオブジェクトオーディオ信号を生成し、生成された１１．１チャネルのオブジェクトオーディオ信号をミキシング部１４４０に出力することができる。

【0099】

第１ミキシング部１４４０は、入力された１１．１チャネルのチャネルオーディオ信号、及び１１．１チャネルのオブジェクトオーディオ信号をミキシングし、ミキシングされた１１．１チャネルのオーディオ信号を生成することができる。そして、第１ミキシング部１４４０は、オーディオ信号のレンダリング情報を利用して生成された１１．１チャネルのオーディオ信号をレンダリングするレンダリング部を判断することができる。具体的には、第１ミキシング部１４４０は、オーディオ信号のレンダリング情報を利用して、オーディオ信号がインパルシブな特性を有しているか否かということ、オーディオ信号が広帯域のオーディオ信号であるか否かということ、オーディオ信号がチャネル間の相関が低い否かということを判断することができる。オーディオ信号がインパルシブな特性を有するか、広帯域のオーディオ信号であるか、オーディオ信号のチャネル間の相関が低い場合、第１ミキシング部１４４０は、１１．１チャネルのオーディオ信号を、第１レンダリング部１４５０に出力することができ、前述の特性を有さない場合、第１ミキシング部１４４０は、１１．１チャネルのオーディオ信号を、第２レンダリング部１４６０に出力することができる。

【0100】

第１レンダリング部１４５０は、入力された１１．１チャネルのオーディオ信号のうち異なる高度感を有する４個のオーディオ信号を音色レンダリング方法を介して、レンダリングを行うことができる。

【0101】

具体的には、第１レンダリング部１４５０は、１１．１チャネルのオーディオ信号のうち、トップフロントレフトチャネル、トップフロントライトチャネル、トップサラウンドレフトチャネル、トップサラウンドライトチャネルに対応するオーディオ信号を、それぞれフロントレフトチャネル、フロントライトチャネル、サラウンドレフトチャネル、トップサラウンドライトチャネルにレンダリングする１チャネルダウンミキシング方法を介してレンダリングした後、ダウンミキシングされた４個のチャネルのオーディオ信号と、残りのチャネルのオーディオ信号とミキシングした後、７．１チャネルのオーディオ信号を、第２ミキシング部１４７０に出力することができる。

【0102】

第２レンダリング部１４６０は、入力された１１．１チャネルのオーディオ信号のうち、異なる高度感を有する４個のオーディオ信号を、図２ないし図１３で説明したような空間レンダリング方法で、高度感を有する仮想オーディオ信号にレンダリングすることができる。

【0103】

第２ミキシング部１４７０は、第１レンダリング部１４５０及び第２レンダリング部１４６０のうち少なくとも一つを介して出力される７．１チャネルのオーディオ信号を出力することができる。

【0104】

一方、前述の実施形態では、第１レンダリング部１４５０及び第２レンダリング部１４６０が、音色レンダリング方法及び空間レンダリング方法のうち一つで、オーディオ信号をレンダリングすると説明したが、それは、一実施形態に過ぎず、オブジェクトレンダリング部１４３０がオーディオ信号のレンダリング情報を利用して、音色レンダリング方法及び空間レンダリング方法のうち一つで、オブジェクトオーディオ信号をレンダリングすることも可能である。

【0105】

また、前述の実施形態では、エンコーディング前に、オーディオ信号のレンダリング情報が、信号分析を介して決定されると説明したが、それは、コンテンツ創作意図を反映させるために、サウンドミキシングエンジニアによって生成されてエンコーディングされることも可能な例であり、その以外にも、多様な方法によって獲得される。

【0106】

具体的には、オーディオ信号のレンダリング情報は、エンコーダ１４１０が複数のチャネルオーディオ信号、複数のオブジェクトオーディオ信号及び軌跡情報を分析して生成される。

【0107】

さらに具体的には、エンコーダ１４１０は、オーディオ信号分類に多く利用される特徴（feature）を抽出して分類器に学習させ、入力されたチャネルオーディオ信号、または複数のオブジェクトオーディオ信号が、インパルシブな特性を有する否かということを分析することができる。また、エンコーダ１４１０は、オブジェクトオーディオ信号の軌道情報を分析し、オブジェクトオーディオ信号が静的である場合、音色レンダリング方法を利用してレンダリングを遂行せよというレンダリング情報を生成することができ、オブジェクトオーディオ信号がモーションが存在する場合、空間レンダリング方法を利用してレンダリングを遂行せよというレンダリング情報を生成することができる。すなわち、エンコーダ１４１０は、インパルシブな特徴を有し、モーションがない静的な特性を有するオーディオ信号の場合、音色レンダリング方法を利用してレンダリングを遂行せよというレンダリング情報を生成することができ、そうではない場合、空間レンダリング方法を利用してレンダリングを遂行せよというレンダリング情報を生成することができる。

【0108】

そのとき、モーション検出いかんは、オブジェクトオーディオ信号のフレーム当たり移動距離を計算して推定される。

【0109】

一方、音色レンダリング方法によってレンダリングを行うか、あるいは空間レンダリング方法によってレンダリングを行うかということを分析することがハードデシジョン（hard decision）ではないソフトデシジョン（soft decision）である場合、エンコーダ１４１０は、オーディオ信号の特性によって、音色レンダリング方法によるレンダリング作業と、空間レンダリング方法によるレンダリング作業とを混合し、レンダリングを行うことができる。例えば、図１５に図示されているように、第１オブジェクトオーディオ信号ＯＢＪ１、第１軌道情報ＴＲＪ１及びエンコーダ１４１０がオーディオ信号の特性を分析して生成したレンダリング加重値ＲＣが入力された場合、オブジェクトレンダリング部１４３０は、レンダリング加重値ＲＣを利用して、音色レンダリング方法に係わる加重値ＷＴ、及び空間レンダリング方法に係わる加重値ＷＳを判断することができる。

【0110】

そして、オブジェクトレンダリング部１４３０は、入力された第１オブジェクトオーディオ信号ＯＢＪ１に、音色レンダリング方法に係わる加重値ＷＴ、及び空間レンダリング方法に係わる加重値ＷＳ値をそれぞれ乗じ、音色レンダリング方法によるレンダリング、及び空間レンダリングによるレンダリングを行うことができる。そして、オブジェクトレンダリング部１４３０は、残りのオブジェクトオーディオ信号についても、前述のようにレンダリングを行うことができる。

【0111】

他の例において、図１６に図示されているように、第１チャネルオーディオ信号ＣＨ１、及びエンコーダ１４１０がオーディオ信号の特性を分析して生成したレンダリング加重値ＲＣが入力された場合、第１ミキシング部１４３０は、レンダリング加重値ＲＣを利用して、音色レンダリング方法に係わる加重値ＷＴ、及び空間レンダリング方法に係わる加重値ＷＳを判断することができる。そして、第１ミキシング部１４４０は、入力された第１オブジェクトオーディオ信号ＯＢＪ１に、音色レンダリング方法に係わる加重値ＷＴを乗じ、第１レンダリング部１４５０に出力し、入力された第１オブジェクトオーディオ信号ＯＢＪ１に、空間レンダリング方法に係わる加重値ＷＳ値を乗じ、第２レンダリング部１４６０に出力することができる。そして、第１ミキシング部１４４０は、残りのチャネルオーディオ信号についても、前述のように加重値を乗じた後、第１レンダリング部１４５０及び第２レンダリング部１４６０に出力することができる。

【0112】

一方、前述の実施形態では、エンコーダ１４１０がオーディオ信号のレンダリング情報を獲得すると説明したが、それは、一実施形態に過ぎず、デコーダ１４２０がオーディオ信号のレンダリング情報を獲得することもできる。その場合、レンダリング情報は、エンコーダ１４１０から伝送される必要なしに、デコーダ１４２０によってすぐに生成される。

【0113】

また、本発明の他の実施形態では、デコーダ１４２０は、チャネルオーディオ信号に対して、音色レンダリング方法を利用してレンダリングを遂行し、オブジェクトオーディオ信号に対して、空間レンダリング方法を利用してレンダリングを遂行せよというレンダリング情報を生成することができる。

【0114】

前述のように、オーディオ信号のレンダリング情報によって、異なる方法でもってレンダリング作業を遂行することにより、オーディオ信号の特性による音質劣化を防止することができる。

【0115】

以下では、オブジェクトオーディオ信号が別途に分離されるものではない、全てのオーディオ信号がレンダリング及びミキシングされているチャネルオーディオ信号だけ存在する場合、チャネルオーディオ信号を分析し、チャネルオーディオ信号をレンダリングする方法を決定する方法について説明する。特に、チャネルオーディオ信号において、オブジェクトオーディオ信号を分析し、オブジェクトオーディオ信号成分を抽出し、オブジェクトオーディオ信号については、空間レンダリング方法を利用して、仮想の高度感を提供するレンダリングを行い、アンビエンス（ambience）オーディオ信号については、音質レンダリング方法を利用して、レンダリングを行う方法について説明する。

【0116】

図１７は、本発明の一実施形態による、１１．１チャネルのうち異なる高度感を有する４個のトップオーディオ信号において、拍手音が検出された否かということにより、異なる方法でレンダリングを行う実施形態について説明するための図面である。

【0117】

まず、拍手音感知部１７１０は、１１．１チャネルのうち異なる高度感を有する４個のトップオーディオ信号に対して、拍手音が感知されるか否かということを判断する。

【0118】

拍手音感知部１７１０がハードデシジョンを利用する場合、拍手音感知部１７１０は、次のような出力信号を決定する。

【0119】

拍手音が感知された場合：ＴＦＬ^Ａ＝ＴＦＬ，ＴＦＲ^Ａ＝ＴＦＲ，ＴＳＬ^Ａ＝ＴＳＬ，ＴＳＲ^Ａ＝ＴＳＲ，ＴＦＬ^Ｇ＝０，ＴＦＲ^Ｇ＝０，ＴＳＬ^Ｇ＝０，ＴＳＲ^Ｇ＝０
拍手音が感知されていない場合：ＴＦＬ^Ａ＝０，ＴＦＲ^Ａ＝０，ＴＳＬ^Ａ＝０，ＴＳＲ^Ａ＝０，ＴＦＬ^Ｇ＝ＴＦＬ，ＴＦＲ^Ｇ＝ＴＦＲ，ＴＳＬ^Ｇ＝ＴＳＬ，ＴＳＲ^Ｇ＝ＴＳ
このとき、出力信号は、拍手音感知部１７１０ではないエンコーダで計算され、フラグ形態で伝送される。

【0120】

拍手音感知部１７１０がソフトデシジョンを利用する場合、拍手音感知部１７１０は、拍手音の感知いかん及び強度によって、下記のように加重値α，βが乗じられて出力信号を決定する。

【0121】

ＴＦＬ^Ａ＝α_ＴＦＬＴＦＬ，ＴＦＲ^Ａ＝α_ＴＦＲＴＦＲ，ＴＳＬ^Ａ＝α_ＴＳＬＴＳＬ，ＴＳＲ^Ａ＝α_ＴＳＲＴＳＲ，ＴＦＬ^Ｇ＝β_ＴＦＬＴＦＬ，ＴＦＲ^Ｇ＝β_ＴＦＲＴＦＲ，ＴＳＬ^Ｇ＝β_ＴＳＬＴＳＬ，ＴＳＲ^Ｇ＝β_ＴＳＲＴＳＲ
出力信号のうち、ＴＦＬ^Ｇ，ＴＦＲ^Ｇ，ＴＳＬ^Ｇ，ＴＳＲ^Ｇ信号は、空間レンダリング部１７３０に出力され、空間レンダリング方法によってレンダリングが行われる。

【0122】

出力信号のうち、ＴＦＬ^Ａ，ＴＦＲ^Ａ，ＴＳＬ^Ａ，ＴＳＲ^Ａ信号は、拍手音成分と判断され、レンダリング分析部１７２０に出力される。

【0123】

レンダリング分析部１７２０が拍手音成分を判断し、レンダリング方法を分析する方法については、図１８を参照して説明する。レンダリング分析部１７２０は、周波数変換部１７２１、コヒーレンス（coherence）算出部１７２３、レンダリング方法決定部１７２５及び信号分離部１７２７を含む。

【0124】

周波数変換部１７２１は、入力されたＴＦＬ^Ａ，ＴＦＲ^Ａ，ＴＳＬ^Ａ，ＴＳＲ^Ａ信号を周波数ドメインに変換し、ＴＦＬ^Ａ _Ｆ，ＴＦＲ^Ａ _Ｆ，ＴＳＬ^Ａ _Ｆ，ＴＳＲ^Ａ _Ｆ信号を出力することができる。このとき、周波数変換部１７２１は、ＱＭＦ（quadrature mirror filterbank）のようなフィルタバンクのサブバンドサンプルに表した後、ＴＦＬ^Ａ _Ｆ，ＴＦＲ^Ａ _Ｆ，ＴＳＬ^Ａ _Ｆ，ＴＳＲ^Ａ _Ｆ信号を出力することができる。

【0125】

コヒーレンス算出部１７２３は、入力された信号を聴覚器官を模写するequivalent rectangular band（ＥＲBand）またはcritical bandwidth（ＣＢ）にバンドマッピングを行う。

【0126】

そして、コヒーレンス算出部１７２３は、それぞれのバンド別に、ＴＦＬ^Ａ _Ｆ信号とＴＳＬ^Ａ _Ｆ信号とのコヒーレンスであるｘＬ_Ｆ、ＴＦＲ^Ａ _Ｆ信号とＴＳＲ^Ａ _Ｆ信号とのコヒーレンスであるｘＲ_Ｆ、ＴＦＬ^Ａ _Ｆ信号とＴＦＲ^Ａ _Ｆ信号とのコヒーレンスであるｘＦ_Ｆ、ＴＳＬ^Ａ _Ｆ信号とＴＳＲ^Ａ _Ｆ信号とのコヒーレンスであるｘＳ_Ｆを計算する。このとき、コヒーレンス算出部１７２３は、一方の信号が０である場合、コヒーレンスを１として計算することができる。それは、信号が一方のチャネルにのみ定位されている場合、空間レンダリング方法を利用しなければならないからである。

【0127】

そして、レンダリング方法決定部１７２５は、コヒーレンス算出部１７２３を介して算出されたコヒーレンスから、各チャネル別、バンド別に空間レンダリング方法に使用される加重値であるｗＴＦＬ_Ｆ、ｗＴＦＲ_Ｆ、ｗＴＳＬ_Ｆ、ｗＴＳＲ_Ｆを、次のような数式を介して算出することができる。

【0128】

ｗＴＦＬ_Ｆ＝mapper（ｍａｘ（ｘＬ_Ｆ，ｘＦ_Ｆ））
ｗＴＦＲ_Ｆ＝mapper（ｍａｘ（ｘＲ_Ｆ，ｘＦ_Ｆ））
ｗＴＳＬ_Ｆ＝mapper（ｍａｘ（ｘＬ_Ｆ，ｘＳ_Ｆ））
ｗＴＳＲ_Ｆ＝mapper（ｍａｘ（ｘＲ_Ｆ，ｘＳ_Ｆ））
このとき、ｍａｘは、２係数のうちその数字を選ぶ関数であり、mapperは、非線形マッピングにおいて、０と１との間の値を、０と１との間の値にマッピングさせる多様な形態の関数でもある。

【0129】

一方、レンダリング方法決定部１７２５は、周波数帯域別に異なるmapperを使用することができる。具体的には、高周波では、ディレイに対する信号干渉がさらにはなはだしくなり、バンド幅が広くなり、多くの信号が混ざるために、全てのバンドで、同一のmapperを使用することに比べ、バンド別に異なるmapperを使用する場合、音質及び信号分離度がさらに向上する。図１９は、レンダリング方法決定部１７２５が、周波数帯域別に異なる特性を有するmapperを使用された場合、mapperの特性を示すグラフである。

【0130】

また、一方の信号がない場合（すなわち、類似度関数値（similarity function）が０または１であり、一方でのみパンニングされた場合、コヒーレンス算出部１７２３は、コヒーレンスを１と算出した。しかし、実際には、周波数ドメインへの変換によって発生するside lobeまたはnoise floorに該当する信号が発生するので、類似度関数値に臨界値（例えば、０．１）を設定し、臨界値以下の類似度値を有せば、空間的レンダリング方法を選択してノイズに防止することができる。図２０は、類似度関数値によって、レンダリング方法に係わる加重値を決定するグラフである。例えば、類似度関数値が０．１以下である場合には、空間的レンダリング方法を選択するように加重値が設定される。

【0131】

信号分離部１７２７は、周波数ドメインに変換されたＴＦＬ^Ａ _Ｆ，ＴＦＲ^Ａ _Ｆ，ＴＳＬ^Ａ _Ｆ，ＴＳＲ^Ａ _Ｆ信号に、レンダリング方法決定部１７２５によって決定された加重値であるｗＴＦＬ_Ｆ、ｗＴＦＲ_Ｆ、ｗＴＳＬ_Ｆ、ｗＴＳＲ_Ｆを乗じ、時間ドメインに変換した後、空間レンダリング部１７３０で、ＴＦＬ^Ａ _Ｓ，ＴＦＲ^Ａ _Ｓ，ＴＳＬ^Ａ _Ｓ，ＴＳＲ^Ａ _Ｓ信号を出力する。

【0132】

また、信号分離部１７２７は、入力されたＴＦＬ^Ａ _Ｆ，ＴＦＲ^Ａ _Ｆ，ＴＳＬ^Ａ _Ｆ，ＴＳＲ^Ａ _Ｆ信号から、空間レンダリング部１７３０に出力したＴＦＬ^Ａ _Ｓ，ＴＦＲ^Ａ _Ｓ，ＴＳＬ^Ａ _Ｓ，ＴＳＲ^Ａ _Ｓ信号を差し引いた残りの信号であるＴＦＬ^Ａ _Ｔ，ＴＦＲ^Ａ _Ｔ，ＴＳＬ^Ａ _Ｔ，ＴＳＲ^Ａ _Ｔ信号を音質レンダリング部１７４０に出力する。

【0133】

結果として、空間レンダリング部１７３０に出力されたＴＦＬ^Ａ _Ｓ，ＴＦＲ^Ａ _Ｓ，ＴＳＬ^Ａ _Ｓ，ＴＳＲ^Ａ _Ｓ信号は、４個のトップチャネルオーディオ信号に定位されたオブジェクトに対抗する信号を形成し、音質レンダリング部１７４０に出力されたＴＦＬ^Ａ _Ｔ，ＴＦＲ^Ａ _Ｔ，ＴＳＬ^Ａ _Ｔ，ＴＳＲ^Ａ _Ｔ信号はディフューズされた（diffused）サウンドに該当する信号を形成することができる。

【0134】

それにより、チャネル間のコヒーレンスが低い拍手音や雨音のようなオーディオ信号を、前記のような過程で、空間レンダリング方法及び音質レンダリング方法に分けてレンダリングする場合、音質劣化を最小化することができる。

【0135】

現実的な場合、マルチチャネルオーディオコーデックは、データを圧縮するために、ＭＰＥＧ SURROUNDのように、チャネル間の相関を使用する場合が多い。その場合、一般的にチャネル間のレベル差であるＣＬＤ（channel level difference）と、チャネル間の相関であるＩＣＣ（interchannel cross correlation）をパラメータとして利用する場合がほとんどである。オブジェクト符号化技術であるＭＰＥＧ ＳＡＯＣ（spatia laudio object coding）も、類似の形態を有することができる。その場合、内部デコーディング過程において、ダウンミックス信号からマルチチャネルオーディオ信号に拡張するチャネル拡張技術が使用される。

【0136】

図２１は、本発明の一実施形態による、ＭＰＥＧ SURROUNDのような構造のチャネル拡張コーデックを使用する場合、複数のレンダリング方法でレンダリングを行う実施形態について説明するための図面である。

【0137】

チャネルコーデックのデコーダ内部で、トップレイヤのオーディオ信号に対応するビットストリームに対して、ＣＬＤ基盤でチャネルを分離した後、ＩＣＣ基盤で、逆相関器を介して、チャネル間のコヒーレンスを補正することができる。その結果、ドライな（dry）チャネル音源と、ディフューズされたチャネル音源とが分離されて出力される。ドライなチャネル音源は、空間レンダリング方法によってレンダリングが行われ、ディフューズされたチャネル音源は、音質レンダリング方法によってレンダリングが行われる。

【0138】

一方、本構造を効率的に使用するためには、チャネルコーデックにおいて、ミドルレイヤとトップレイヤとのオーディオ信号を別途に圧縮して伝送するか、ＯＴＴ／ＴＴＴ（one-to-two/two-to-three）BOXのTREE構造で、ミドルレイヤとトップレイヤとのオーディオ信号を分離した後、分離されたそれぞれのチャネルを圧縮して伝送することができる。

【0139】

また、トップレイヤのチャネルについては、拍手音検出を行い、ビットストリームに伝送し、デコーダ端で拍手音に該当するほどのチャネルデータであるＴＦＬ^Ａ，ＴＦＲ^Ａ，ＴＳＬ^Ａ，ＴＳＲＡを算出する過程において、ＣＬＤによるチャネル分離された音源に対して、空間レンダリング方法を利用してレンダリングを遂行すればよいが、空間レンダリングの演算要素であるfiltering、weighting、summationを周波数ドメインで行えば、multiplication、weighting、summationを行えばよいので、大きい演算量の追加なしに遂行が可能である。また、ＩＣＣによって生成されたディフューズされた音源に対して、音質レンダリング方法を利用してレンダリングを行う段階でも、weighting，summation段階で可能であるので、既存のチャネルデコーダに、若干の演算量追加だけで、空間／音質レンダリングをいずれも行うことができる。

【0140】

以下では、図２２ないし図２５を参照し、本発明の多様な実施形態によるマルチチャネルオーディオ提供システムについて説明する。特に、図２２ないし図２５は、同一の平面上に配置されたスピーカを利用して、高度感を有する仮想オーディオ信号を提供するマルチチャネルオーディオ提供システムでもある。

【0141】

図２２は、本発明の第１実施形態によるマルチチャネルオーディオ提供システムを図示した図面である。

【0142】

まず、該オーディオ装置は、メディアからマルチチャネルオーディオ信号を入力される。

【0143】

そして、オーディオ装置は、マルチチャネルオーディオ信号をデコーディングし、デコーディングされたマルチチャネルオーディオ信号のうちスピーカと対応するチャネルオーディオ信号を外部から入力されるインタラクティブエフェクトオーディオ信号とミキシングし、第１オーディオ信号を生成する。

【0144】

そして、該オーディオ装置は、デコーディングされたマルチチャネルオーディオ信号のうち異なる高度感を有するチャネルオーディオ信号に垂直面オーディオ信号処理を行う。このとき、垂直面オーディオ信号処理は、水平面スピーカを利用して、高度感を有する仮想オーディオ信号を生成する処理であり、前述のような仮想オーディオ信号生成技術を利用することができる。

【0145】

そして、該オーディオ装置は、外部から入力されるインタラクティブエフェクトオーディオ信号を、垂直面処理されたオーディオ信号とミキシングし、第２オーディオ信号を処理する。

【0146】

そして、該オーディオ装置は、第１オーディオ信号と第２オーディオ信号とをミキシングし、対応する水平面のオーディオスピーカに出力する。

【0147】

図２３は、本発明の第２実施形態によるマルチチャネルオーディオ提供システムを図示した図面である。

【0148】

まず、該オーディオ装置は、メディアからマルチチャネルオーディオ信号を入力される。

【0149】

そして、該オーディオ装置は、マルチチャネルオーディオ信号と、外部から入力されるインタラクティブエフェクトオーディオとをミキシングし、第１オーディオ信号を生成することができる。

【0150】

そして、該オーディオ装置は、第１オーディオ信号に対して、水平面オーディオスピーカのレイアウトに対応するように垂直面オーディオ信号処理を行い、対応する水平面オーディオスピーカに出力することができる。

【0151】

また、該オーディオ装置は、垂直面オーディオ信号処理が行われた第１オーディオ信号をさらにエンコーディングし、外部のＡＶ（audio video）レシーバに伝送することができる。このとき、オーディオ装置は、ドルビーデジタル（Dolby digital）またはＤＴＳフォーマットのように、既存のＡＶレシーバが支援可能なフォーマットでオーディオをエンコーディングすることができる。

【0152】

外部のＡＶレシーバは、垂直面オーディオ信号処理が行われた第１オーディオ信号を処理し、対応する水平面オーディオスピーカに出力することができる。

【0153】

図２４は、本発明の第３実施形態によるマルチチャネルオーディオ提供システムを図示した図面である。

【0154】

まず、オーディオ装置は、メディアからマルチチャネルオーディオ信号を入力され、外部（例えば、リモコン）からインタラクティブエフェクトオーディオを入力される。

【0155】

そして、オーディオ装置は、入力されたマルチチャネルオーディオ信号に対して、水平面オーディオスピーカのレイアウトに対応するように垂直面オーディオ信号処理を行い、入力されるインタラクティブエフェクトオーディオに対しても、スピーカレイアウトに対応するように垂直面オーディオ信号処理を行うことができる。

【0156】

そして、オーディオ装置は、垂直面オーディオ信号処理が行われたマルチチャネルオーディオ信号と、インタラクティブエフェクトオーディオとをミキシングし、第１オーディオ信号を生成し、第１オーディオ信号を対応する水平面オーディオスピーカに出力することができる。

【0157】

また、オーディオ装置は、ミキシングされた第１オーディオ信号をさらにエンコーディングし、外部のＡＶレシーバに伝送することができる。このとき、オーディオ装置は、ドルビーデジタルまたはＤＴＳフォーマットのように、既存のＡＶレシーバが支援可能なフォーマットでオーディオをエンコーディングすることができる。

【0158】

外部のＡＶレシーバは、垂直面オーディオ信号処理が行われた第１オーディオ信号を処理し、対応する水平面オーディオスピーカに出力することができる。

【0159】

図２５は、本発明の第４実施形態によるマルチチャネルオーディオ提供システムを図示した図面である。

【0160】

オーディオ装置は、メディアから入力されるマルチチャネルオーディオ信号を外部のＡＶレシーバに即座に伝送することができる。

【0161】

外部のＡＶレシーバは、マルチチャネルオーディオ信号をデコーディングし、デコーディングされたマルチチャネルオーディオ信号に対して、水平面オーディオスピーカのレイアウトに対応するように垂直面オーディオ信号処理を行うことができる。

【0162】

そして、外部のＡＶレシーバは、垂直面オーディオ信号処理が行われたマルチチャネルオーディオ信号を、対応する水平面スピーカを介して出力することができる。

【0163】

以上では、本発明の望ましい実施形態について図示して説明したが、本発明は、前述の特定の実施形態に限定されるものではなく、特許請求の範囲で請求する本発明の要旨を外れることなしに、当該発明が属する技術分野で当業者によって、多様な変形実施が可能であるとういことは言うまでもなく、かような変形実施は、本発明の技術的思想や展望から個別的に理解されるものではない。

【符号の説明】

【0164】

１００ オーディオ装置
１１０ 入力部
１２０ 仮想オーディオ生成部
１３０ 仮想オーディオ処理部
１４０ 出力部

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】