(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-21
(45)【発行日】2022-11-30
(54)【発明の名称】レンダリング方法、レンダリング装置及び記録媒体
(51)【国際特許分類】
H04S 7/00 20060101AFI20221122BHJP
【FI】
H04S7/00 300
(21)【出願番号】P 2021191226
(22)【出願日】2021-11-25
(62)【分割の表示】P 2019071413の分割
【原出願日】2014-03-28
【審査請求日】2021-11-25
(32)【優先日】2013-03-29
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2013-04-08
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】503447036
【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】ジョン,サン-ベ
(72)【発明者】
【氏名】キム,ソン-ミン
(72)【発明者】
【氏名】チョウ,ヒョン
(72)【発明者】
【氏名】キム,ジョン-ス
【審査官】西村 純
(56)【参考文献】
【文献】米国特許出願公開第2012/0008789(US,A1)
【文献】米国特許出願公開第2012/0093323(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04S 1/00- 7/00
(57)【特許請求の範囲】
【請求項1】
高さ入力チャネル信号を含む複数の入力チャネル信号を受信する段階と、
複数の出力チャネル信号が形成する2次元の出力レイアウトを識別する段階と、
前記高さ入力チャネル信号の位置に基づいてフィルタのタイプを獲得する段階と、
前記高さ入力チャネル信号の位置及び周波数範囲に基づいてパンニングゲインのセットを獲得する段階と、
上昇された音像を提供するために、前記フィルタのタイプ及び前記パンニングゲインのセットに基づいて、前記複数の入力チャネル信号を高度レンダリングして前記複数の出力チャネル信号を生成する段階と、を含み、
前記高さ入力チャネル信号の位置は、高度情報及び方位情報を含み、
前記パンニングゲインのセットは、前記周波数範囲によって第1グループまたは第2グループに含まれる、オーディオ信号をレンダリングする方法。
【請求項2】
前記複数の出力チャネル信号は、水平チャネル信号である、請求項1に記載のオーディオ信号をレンダリングする方法。
【請求項3】
前記高さ入力チャネル信号は、前記複数の出力チャネル信号のうち、少なくとも1つを生成するために使用される請求項1に記載のオーディオ信号をレンダリングする方法。
【請求項4】
高さ入力チャネル信号を含む複数の入力チャネル信号を受信する受信部と、
複数の出力チャネル信号が形成する2次元の出力レイアウトを識別し、前記高さ入力チャネル信号の位置に基づいてフィルタのタイプを獲得し、前記高さ入力チャネル信号の位置及び周波数範囲に基づいてパンニングゲインのセットを獲得する獲得部と、
上昇された音像を提供するために、前記フィルタのタイプ及び前記パンニングゲインのセットに基づいて、前記複数の入力チャネル信号を高度レンダリングして前記複数の出力チャネル信号を生成するレンダリング部と、を含み、
前記高さ入力チャネル信号の位置は、高度情報及び方位情報を含み、
前記パンニングゲインのセットは、前記周波数範囲により第1グループまたは第2グループに含まれる、オーディオ信号をレンダリングする装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オーディオ装置及びそのオーディオ提供方法に係り、同一平面に位置する複数個のスピーカを利用して、高度感を有する仮想オーディオを生成して提供するオーディオ装置及びそのオーディオ提供方法に関する。
【背景技術】
【0002】
映像及び音響処理技術の発達により、高画質高音質のコンテンツが量産されている。高画質高音質のコンテンツを要求していたユーザは、臨場感ある映像及びオーディオを願っており、それによって、立体映像及び立体オーディオに係わる研究が活発に進められている。
【0003】
立体オーディオは、複数個のスピーカを、水平面上の他の位置に配置し、それぞれのスピーカにおいて、同一であったり異なったりするオーディオ信号を出力することにより、ユーザに空間感を感じさせる技術である。しかし、実際のオーディオは、水平面上の多様な位置で発生するだけではなく、異なった高度でも発生する。従って、異なる高度で発生するオーディオ信号を効果的に再生する技術が必要である。
【0004】
従来には、
図1Aに図示されているように、オーディオ信号を、第1高度に対応する音色変換フィルタ(例えば、HRTF補正フィルタ)を通過させ、フィルタリングされたオーディオ信号をコピーし、複数個のオーディオ信号を生成し、複数のゲイン適用部によって、コピーされたオーディオ信号が出力されるスピーカそれぞれに該当するゲイン値に基づいて、コピーされたオーディオ信号それぞれを増幅または減衰させ、増幅または減衰された音響信号を、対応するスピーカを介して出力した。これにより、同一平面に位置する複数個のスピーカを利用して、高度感を有する仮想オーディオを生成することができた。
【0005】
しかし、従来の仮想オーディオ信号生成方法は、スイートスポット(sweet spot)が狭く、現実的にシステムに再現する場合、性能の限界が存在した。すなわち、従来の仮想オーディオ信号は、
図1Bに図示されているように、1つの地点(例えば、中央に位置した0領域)だけで最適化されてレンダリングされたために、1つの地点以外の領域(例えば、中央から左側に位置したX領域)では、高度感を有する仮想オーディオ信号を思うように聴取することができないという問題点が発生した。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、前述の問題点を解決するためのものであり、本発明の目的は、複数の仮想オーディオ信号が平面波を有する音場を形成するように、ディレイ値を適用して、多様な領域でも、仮想オーディオ信号を聴取することを可能とするオーディオ装置及びそのオーディオ提供方法を提供するところにある。
【0007】
また、本発明の他の目的は、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって互いに異なるゲイン値を適用して、多様な領域でも、仮想オーディオ信号を聴取することを可能とするオーディオ装置及びそのオーディオ提供方法を提供するところにある。
【課題を解決するための手段】
【0008】
前述の目的を達成するための本発明の一実施形態によるオーディオ装置のオーディオ提供方法は、複数のチャネルを含むオーディオ信号を入力される段階と、前記複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号を、高度感を有するように処理するフィルタに適用し、複数のスピーカに出力される複数の仮想オーディオ信号を生成する段階と、前記複数のスピーカを介して出力される複数の仮想オーディオ信号が平面波を有する音場を形成するために、前記複数の仮想オーディオ信号に、合成ゲイン値及びディレイ値を適用する段階と、前記合成ゲイン値及びディレイ値が適用された複数の仮想オーディオ信号を、前記複数のスピーカを介して出力する段階と、を含む。
【0009】
そして、前記生成する段階は、前記フィルタリングされたオーディオ信号を、前記複数のスピーカの個数に対応するようにコピーする段階と、前記フィルタリングされたオーディオ信号が仮想の高度感を有するように、前記コピーされたオーディオ信号それぞれに、前記複数のスピーカそれぞれに対応するパンニングゲイン値を適用し、前記複数の仮想オーディオ信号を生成する段階と、を含んでもよい。
【0010】
また、前記適用する段階は、前記複数のスピーカのうち平面波を有する音場を具現するための少なくとも2つのスピーカに対応する仮想オーディオ信号に、合成ゲイン値を乗じる段階と、前記少なくとも2つのスピーカに対応する仮想オーディオ信号に、ディレイ値を適用する段階と、を含んでもよい。
【0011】
そして、前記適用する段階は、前記複数のスピーカのうち前記少なくとも2つのスピーカを除いたスピーカに対応するオーディオ信号に、ゲイン値を0に適用する段階をさらに含んでもよい。
【0012】
また、前記適用する段階は、前記複数のスピーカに対応する複数の仮想オーディオ信号に、ディレイ値を適用する段階と、前記ディレイ値が適用された前記複数の仮想オーディオ信号に、パンニングゲイン値及び合成ゲイン値を乗じた最終ゲイン値を乗じる段階と、を含んでもよい。
【0013】
そして、前記オーディオ信号を、高度感を有するように処理するフィルタは、HRTF(head related transfer filter)フィルタでもある。
【0014】
また、出力する段階は、特定チャネルに対応する仮想オーディオ信号、及び特定チャネルのオーディオ信号をミキシングし、前記特定チャネルに対応するスピーカを介して出力することができる。
【0015】
一方、前記目的を達成するための本発明の一実施形態によるオーディオ装置は、複数のチャネルを含むオーディオ信号を入力される入力部;前記複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号を、高度感を有するように処理するフィルタに適用し、複数のスピーカに出力される複数の仮想オーディオ信号を生成する仮想オーディオ生成部;前記複数のスピーカを介して出力される複数の仮想オーディオ信号が平面波を有する音場を形成するために、前記複数の仮想オーディオ信号に、合成ゲイン値及びディレイ値を適用する仮想オーディオ処理部;並びに前記合成ゲイン値及びディレイ値が適用された複数の仮想オーディオ信号を出力する出力部;を含む。
【0016】
そして、前記仮想オーディオ生成部は、前記フィルタリングされたオーディオ信号を、前記複数のスピーカの個数に対応するようにコピーして、前記フィルタリングされたオーディオ信号が仮想の高度感を有するように、前記コピーされたオーディオ信号それぞれに、前記複数のスピーカそれぞれに対応するパンニングゲイン値を適用し、前記複数の仮想オーディオ信号を生成することができる。
【0017】
また、前記仮想オーディオ処理部は、前記複数のスピーカのうち平面波を有する音場を具現するための少なくとも2つのスピーカに対応する仮想オーディオ信号に合成ゲイン値を乗じ、前記少なくとも2つのスピーカに対応する仮想オーディオ信号に、ディレイ値を適用することができる。
【0018】
そして、前記仮想オーディオ処理部は、前記複数のスピーカのうち前記少なくとも2つのスピーカを除いたスピーカに対応するオーディオ信号に、ゲイン値を0に適用することができる。
【0019】
また、前記仮想オーディオ処理部は、前記複数のスピーカに対応する複数の仮想オーディオ信号にディレイ値を適用し、前記ディレイ値が適用された前記複数の仮想オーディオ信号に、パンニングゲイン値及び合成ゲイン値を乗じた最終ゲイン値を乗じることができる。
【0020】
そして、前記オーディオ信号を、高度感を有するように処理するフィルタは、HRTFフィルタでもある。
【0021】
また、前記出力部は、特定チャネルに対応する仮想オーディオ信号、及び特定チャネルのオーディオ信号をミキシングし、前記特定チャネルに対応するスピーカを介して出力することができる。
【0022】
一方、前記目的を達成するための本発明の一実施形態によるオーディオ装置のオーディオ提供方法は、複数のチャネルを含むオーディオ信号を入力される段階と、前記複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号を、高度感を有するように処理するフィルタに適用する段階と、前記仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって互いに異なるゲイン値を適用し、複数の仮想オーディオ信号を生成する段階と、前記複数の仮想オーディオ信号を、前記複数のスピーカを介して出力する段階と、を含んでもよい。
【0023】
そして、前記生成する段階は、前記フィルタリングされたオーディオ信号を、前記複数のスピーカの個数に対応するようにコピーする段階と、前記仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、同側(ipsilateral)スピーカと他側(contralateral)スピーカとを判断する段階と、前記同側スピーカに対応する仮想オーディオ信号に、低周波ブースタフィルタを適用し、前記他側スピーカに対応する仮想オーディオ信号に、高周波通過フィルタを適用する段階と、前記同側スピーカに対応するオーディオ信号、及び前記他側スピーカに対応するオーディオ信号それぞれにパンニングゲイン値を乗じ、前記複数の仮想オーディオ信号を生成する段階と、を含んでもよい。
【0024】
一方、前記目的を達成するための本発明の一実施形態によるオーディオ装置は、複数のチャネルを含むオーディオ信号を入力される入力部;前記複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号を、高度感を有するように処理するフィルタに適用し、前記仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって互いに異なるゲイン値を適用し、複数の仮想オーディオ信号を生成する仮想オーディオ生成部;及び前記複数の仮想オーディオ信号を、前記複数のスピーカを介して出力する出力部;を含む。
【0025】
そして、前記仮想オーディオ生成部は、前記フィルタリングされたオーディオ信号を、前記複数のスピーカの個数に対応するようにコピーし、前記仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、同側スピーカと他側スピーカとを判断し、前記同側スピーカに対応する仮想オーディオ信号に、低周波ブースタフィルタを適用し、前記他側スピーカに対応する仮想オーディオ信号に、高周波通過フィルタを適用し、前記同側スピーカに対応するオーディオ信号、及び前記他側スピーカに対応するオーディオ信号それぞれにパンニングゲイン値を乗じ、前記複数の仮想オーディオ信号を生成することができる。
【0026】
一方、前記目的を達成するための本発明の一実施形態によるオーディオ装置のオーディオ提供方法は、複数のチャネルを含むオーディオ信号を入力される段階と、前記複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号に対して、高度感を有する形態でレンダリングを行うか否かということを判断する段階と、前記判断結果によって、前記高度感を有するチャネルの一部を、高度感を有するように処理するフィルタに適用する段階と、前記フィルタが適用された信号にゲイン値を適用し、複数の仮想オーディオ信号を生成する段階と、前記複数の仮想オーディオ信号を、前記複数のスピーカを介して出力する段階と、を含む。
【0027】
そして、前記判断する段階は、複数のチャネル間の相関(correlation)及び類似度(similarity)を利用して、前記高度感を有するチャネルに対するオーディオ信号に対して、高度感を有する形態でレンダリングを行うか否かということを判断することができる。
【0028】
一方、前記目的を達成するための本発明の一実施形態によるオーディオ装置のオーディオ提供方法は、複数のチャネルを含むオーディオ信号を入力される段階と、入力されたオーディオ信号のうち少なくとも一部のチャネルを、異なる高度感を有するように処理するフィルタに適用し、仮想オーディオ信号を生成する段階と、前記生成された仮想オーディオ信号を外部装置が行うことができるコーデックに再エンコーディングする段階と、前記再エンコーディングされた仮想オーディオ信号を外部に伝送する段階と、を含む。
【発明の効果】
【0029】
前述のような本発明の多様な実施形態によって、ユーザは、多様な位置からオーディオ装置が提供する高度感を有する仮想オーディオ信号を聴取することができる。
【図面の簡単な説明】
【0030】
【
図1A】従来の仮想オーディオ提供方法について説明するための図面である。
【
図1B】従来の仮想オーディオ提供方法について説明するための図面である。
【
図2】本発明の一実施形態によるオーディオ装置の構成を示すブロック図である。
【
図3】本発明の一実施形態による、平面波形態の音場を有する仮想オーディオについて説明するための図面である。
【
図4】本発明の多様な実施形態による、11.1チャネルのオーディオ信号をレンダリングし、7.1チャネルのスピーカを介して出力する方法について説明するための図面である。
【
図5】本発明の多様な実施形態による、11.1チャネルのオーディオ信号をレンダリングし、7.1チャネルのスピーカを介して出力する方法について説明するための図面である。
【
図6】本発明の多様な実施形態による、11.1チャネルのオーディオ信号をレンダリングし、7.1チャネルのスピーカを介して出力する方法について説明するための図面である。
【
図7】本発明の多様な実施形態による、11.1チャネルのオーディオ信号をレンダリングし、7.1チャネルのスピーカを介して出力する方法について説明するための図面である。
【
図8】本発明の一実施形態によるオーディオ装置のオーディオ提供方法について説明するための図面である。
【
図9】本発明の他の実施形態によるオーディオ装置の構成を示すブロック図である。
【
図10】本発明の多様な実施形態による、11.1チャネルのオーディオ信号をレンダリングし、7.1チャネルのスピーカを介して出力する方法について説明するための図面である。
【
図11】本発明の多様な実施形態による、11.1チャネルのオーディオ信号をレンダリングし、7.1チャネルのスピーカを介して出力する方法について説明するための図面である。
【
図12】本発明の他の実施形態によるオーディオ装置のオーディオ提供方法について説明するための図面である。
【
図13】従来の、11.1チャネルのオーディオ信号を、7.1チャネルのスピーカを介して出力する方法について説明する図面である。
【
図14】本発明の多様な実施形態による、複数のレンダリング方法を利用して、11.1チャネルのオーディオ信号を、7.1チャネルのスピーカを介して出力する方法について説明する図面である。
【
図15】本発明の多様な実施形態による、複数のレンダリング方法を利用して、11.1チャネルのオーディオ信号を、7.1チャネルのスピーカを介して出力する方法について説明する図面である。
【
図16】本発明の多様な実施形態による、複数のレンダリング方法を利用して、11.1チャネルのオーディオ信号を、7.1チャネルのスピーカを介して出力する方法について説明する図面である。
【
図17】本発明の多様な実施形態による、複数のレンダリング方法を利用して、11.1チャネルのオーディオ信号を、7.1チャネルのスピーカを介して出力する方法について説明する図面である。
【
図18】本発明の多様な実施形態による、複数のレンダリング方法を利用して、11.1チャネルのオーディオ信号を、7.1チャネルのスピーカを介して出力する方法について説明する図面である。
【
図19】本発明の多様な実施形態による、複数のレンダリング方法を利用して、11.1チャネルのオーディオ信号を、7.1チャネルのスピーカを介して出力する方法について説明する図面である。
【
図20】本発明の多様な実施形態による、複数のレンダリング方法を利用して、11.1チャネルのオーディオ信号を、7.1チャネルのスピーカを介して出力する方法について説明する図面である。
【
図21】本発明の一実施形態によるMPEG SURROUNDのような構造のチャネル拡張コーデックを使用する場合、複数のレンダリング方法でレンダリングを行う実施形態について説明するための図面である。
【
図22】本発明の一実施形態によるマルチチャネルオーディオ提供システムについて説明する図面である。
【
図23】本発明の一実施形態によるマルチチャネルオーディオ提供システムについて説明する図面である。
【
図24】本発明の一実施形態によるマルチチャネルオーディオ提供システムについて説明する図面である。
【
図25】本発明の一実施形態によるマルチチャネルオーディオ提供システムについて説明する図面である。
【発明を実施するための形態】
【0031】
本実施形態は、多様な変換を加えることができ、さまざまな実施例を有することができるが、特定実施形態を図面に例示し、詳細な説明で詳細に説明する。しかし、それらは、特定の実施形態について範囲を限定するものではなく、開示された思想及び技術範囲に含まれる全ての変換、均等物ないし代替物を含むものであると理解されなければならない。実施形態についての説明において、関連公知技術についての具体的な説明が要旨を不明確にすると判断される場合、その詳細な説明を省略する。
【0032】
第1、第2のような用語は、多様な構成要素についての説明に使用されるが、構成要素は、用語によって限定されるものではない。用語は、1つの構成要素を他の構成要素から区別する目的にのみ使用される。
【0033】
本出願で使用された用語は、ただ特定の実施形態についての説明に使用されたものであり、権利範囲を限定する意図ではない。単数の表現は、文脈上明白に異なって意味しない限り、複数の表現を含む。本出願において、「含む」または「構成される」というような用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、またはそれらの組み合わせが存在するということを指定するものであって、一つ、またはそれ以上の他の特徴、数字、段階、動作、構成要素、部品、またはそれらの組み合わせの存在または付加の可能性をあらかじめ排除するものではないと理解されなければならない。
【0034】
実施形態において、「モジュール」あるいは「部」は、少なくとも1つの機能や動作を遂行し、ハードウェアまたはソフトウェアで具現されるか、あるいはハードウェアとソフトウェアとの結合によって具現されるものである。また、複数の「モジュール」、あるいは複数の「部」は、特定のハードウェアによって具現される必要がある「モジュール」あるいは「部」を除いては、少なくとも1つのモジュールに一体化され、少なくとも1つのプロセッサ(図示せず)でもって具現されるのである。
【0035】
以下、実施形態について、添付図面を参照して詳細に説明するが、添付図面を参照しての説明において、同一であるか、あるいは対応する構成要素は、同一の図面番号を付し、それについての重複説明は省略する。
【0036】
図2は、本発明の一実施形態によるオーディオ装置100の構成を図示したブロック図である。
図2に図示されているように、オーディオ装置100は、入力部110、仮想オーディオ生成部120、仮想オーディオ処理部130及び出力部140を含む。一方、本発明の一実施形態によるオーディオ装置100は、複数のスピーカを含み、複数のスピーカは、同一の水平面上に配置される。
【0037】
入力部110は、複数のチャネルを含むオーディオ信号を入力される。このとき、入力部110は、異なる高度感を有する複数のチャネルを含むオーディオ信号を入力される。例えば、入力部110は、11.1チャネルのオーディオ信号を入力される。
【0038】
仮想オーディオ生成部120は、複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号を、高度感を有するように処理する音色変換フィルタに適用し、複数のスピーカに出力される複数の仮想オーディオ信号を生成する。特に、仮想オーディオ生成部120は、水平面上に配置されたスピーカを利用して、実際のスピーカより高い高度で発生する音をモデリングするために、HRTF(head related transfer filter)補正フィルタを使用することができる。このとき、HRTF補正フィルタは、音源の空間的な位置から、ユーザの両耳までの経路情報、すなわち、周波数伝達特性を含む。HRTF補正フィルタは、両耳間のレベル差(ILD:inter-aural level difference)、及び両耳間で音響時間が逹する時間差(ITD:inter-aural time difference)のような単純な経路差だけではなく、頭表面での回折、耳介による反射など、複雑な経路上の特性異音の到来方向によって変化する現象によって、立体音響を認識させる。空間上の各方向において、HRTF補正フィルタは、唯一の特性を有するために、それを利用すれば、立体音響を生成することができる。
【0039】
例えば、11.1チャネルのオーディオ信号が入力された場合、仮想オーディオ生成部120は、11.1チャネルのオーディオ信号のうちトップフロントレフト(top front left)チャネルのオーディオ信号をHRTF補正フィルタに適用し、7.1チャネルのレイアウトを有する複数のスピーカに出力される7個の仮想オーディオ信号を生成することができる。
【0040】
本発明の一実施形態において、仮想オーディオ生成部120は、音色変換フィルタによってフィルタリングされたオーディオ信号を、複数のスピーカの個数に対応するようにコピーし、フィルタリングされたオーディオ信号が、仮想の高度感を有するように、コピーされたオーディオ信号それぞれに、複数のスピーカそれぞれに対応するパンニングゲイン値を適用し、複数の仮想オーディオ信号を生成することができる。本発明の他の実施形態では、仮想オーディオ生成部120は、音色変換フィルタによってフィルタリングされたオーディオ信号を、複数のスピーカの個数に対応するようにコピーし、複数の仮想オーディオ信号を生成することができる。その場合、パンニングゲイン値は、仮想オーディオ処理部130によって適用される。
【0041】
仮想オーディオ処理部130は、複数のスピーカを介して出力される複数の仮想オーディオ信号が、平面波を有する音場を形成するために、複数の仮想オーディオ信号に、合成ゲイン値及びディレイ値を適用する。具体的には、仮想オーディオ処理部130は、
図3に図示されているように、一地点にスイートスポットが生成されるものではない平面波を有する音場を形成するように、仮想オーディオ信号を生成し、多様な地点で仮想オーディオ信号を聴取することができる。
【0042】
本発明の一実施形態において、仮想オーディオ処理部130は、複数のスピーカのうち平面波を有する音場を具現するための少なくとも2つのスピーカに対応する仮想オーディオ信号に合成ゲイン値を乗じ、少なくとも2つのスピーカに対応する仮想オーディオ信号に、ディレイ値を適用することができる。仮想オーディオ処理部130は、複数のスピーカのうち少なくとも2つのスピーカを除いたスピーカに対応するオーディオ信号に、ゲイン値を0に適用することができる。例えば、11.1チャネルのトップフロントレフトチャネルに対応するオーディオ信号を、仮想オーディオ信号に生成するために、仮想オーディオ生成部120が7個の仮想オーディオを生成すれば、生成された7個の仮想オーディオのうちフロントレフトに再生されなければならない信号FLTFLは、仮想オーディオ処理部130において、7.1チャネルのスピーカのうちフロントセンターチャネル、フロントレフトチャネル及びサラウンドレフトチャネルに対応する仮想オーディオ信号に合成ゲイン値を乗じ、それぞれのオーディオ信号に、ディレイ値を適用し、フロントセンターチャネル、フロントレフトチャネル及びサラウンドレフトチャネルに対応するスピーカに出力される仮想オーディオ信号を処理することができる。そして、仮想オーディオ処理部130は、FLTFLの具現において、7.1チャネルのスピーカのうち他側(contralateral)チャネルであるフロントライトチャネル、サラウンドライトチャネル、バックレフトチャネル、バックライトチャネルに対応する仮想オーディオ信号に、合成ゲイン値を0として乗じることができる。
【0043】
本発明の他の実施形態では、仮想オーディオ処理部130は、複数のスピーカに対応する複数の仮想オーディオ信号にディレイ値を適用し、ディレイ値が適用された複数の仮想オーディオ信号に、パンニングゲイン値及び合成ゲイン値を乗じた最終ゲイン値を適用し、平面波を有する音場を形成することができる。
【0044】
出力部140は、処理された複数の仮想オーディオ信号を、対応するスピーカを介して出力する。このとき、出力部140は、特定チャネルに対応する仮想オーディオ信号、及び特定チャネルのオーディオ信号をミキシングし、特定チャネルに対応するスピーカを介して出力することができる。例えば、出力部140は、フロントレフトチャネルに対応するオーディオ信号と、トップフロントレフトチャネルが処理されて生成された仮想オーディオ信号をミキシングし、フロントレフトチャネルに対応するスピーカを介して出力することができる。
【0045】
前述のようなオーディオ装置100によって、ユーザは、多様な位置において、オーディオ装置が提供する高度感を有する仮想オーディオ信号を聴取することができる。
【0046】
以下では、
図4ないし
図7を参照し、本発明の一実施形態による11.1チャネルのオーディオ信号のうち異なる高度感を有するチャネルに対応するオーディオ信号を、7.1チャネルのスピーカに出力するために、仮想オーディオ信号にレンダリングする方法についてさらに詳細に説明する。
【0047】
図4は、本発明の一実施形態による、11.1チャネルのトップフロントレフトチャネルのオーディオ信号を、7.1チャネルのスピーカに出力するために、仮想オーディオ信号にレンダリングする方法について説明するための図面である。
【0048】
まず、11.1チャネルのトップフロントレフトチャネルのオーディオ信号が入力された場合、仮想オーディオ生成部120は、入力されたトップフロントレフトチャネルのオーディオ信号を、音色変換フィルタHに適用する。そして、仮想オーディオ生成部120は、音色変換フィルタHが適用されたトップフロントレフトチャネルに対応するオーディオ信号を、7個のオーディオ信号にコピーした後、コピーされた7個のオーディオ信号を、7チャネルのスピーカにそれぞれ対応するゲイン適用部に入力することができる。仮想オーディオ生成部120は、7個のゲイン適用部によって7チャネルそれぞれのパンニングゲインGTFL,FL,GTFL,FR,GTFL,FC,GTFL,SL,GTFL,SR,GTFL,BL,GTFL,BRを、音色変換されたオーディオ信号に乗じ、7チャネルの仮想オーディオ信号を生成することができる。
【0049】
そして、仮想オーディオ処理部130は、入力された7チャネルの仮想オーディオ信号のうち、複数のスピーカのうち平面波を有する音場を具現するための少なくとも2つのスピーカに対応する仮想オーディオ信号に合成ゲイン値を乗じ、少なくとも2つのスピーカに対応する仮想オーディオ信号に、ディレイ値を適用することができる。具体的には、
図3のように、フロントレフトチャネルのオーディオ信号を、特定角度(例えば、30°)の位置から入ってくる平面波にする場合、仮想オーディオ処理部130は、入射方向と同一の半面(例えば、左側信号の場合、左半面及びセンター、右側信号の場合、右半面及びセンター)内にあるスピーカであるフロントレフトチャネル、フロントセンターチャネル、サラウンドレフトチャネルのスピーカを利用して、平面波合成に必要な合成ゲイン値であるA
FL,FL,A
FL,FC,A
FL,SLを乗じ、ディレイ値であるd
TFL,FL,d
TFL,FC,d
TFL,SLを適用し、平面波形態の仮想オーディオ信号を生成することができる。それを数式で表現すれば、下記数式の通りである。
【0050】
【数1】
また、仮想オーディオ処理部130は、入射方向と同一の半面に存在しないスピーカであるフロントライトチャネル、サラウンドライトチャネル、バックライトチャネル、バックレフトチャネルのスピーカに出力される仮想オーディオ信号の合成ゲイン値A
FL,FR,A
FL,SR,A
FL,BL,A
FL,BRは、0に設定することができる。
【0051】
従って、仮想オーディオ処理部130は、
図4に図示されているように、平面波を具現するための7個の仮想オーディオ信号として、FL
TFL
W、FR
TFL
W、FC
TFLW、SL
TFL
W、SR
TFL
W、BL
TFL
W、BR
TFL
Wを生成することができる。
【0052】
一方、
図4では、仮想オーディオ生成部120で、パンニングゲイン値を乗じ、仮想オーディオ処理部130で、合成ゲイン値を乗じると説明したが、それは、一実施形態に過ぎず、仮想オーディオ処理部130が、パンニングゲイン値及び合成ゲイン値を乗じた最終ゲイン値を乗じることができる。
【0053】
具体的には、仮想オーディオ処理部130は、
図6に開示されているように、音色変換フィルタHを介して音色が変換された複数の仮想オーディオ信号に、ディレイ値をまず適用した後、最終ゲイン値を適用し、平面波形態の音場を有する複数の仮想オーディオ信号を生成することができる。このとき、仮想オーディオ処理部130は、
図4の仮想オーディオ生成部120のゲイン適用部のパンニングゲイン値Gと、
図4の仮想オーディオ処理部130のゲイン適用部の合成ゲイン値Aとを統合し、最終ゲイン値P
TFL,FLを算出することができる。それを数式で表現すれば、下記数式の通りである。
【0054】
【数2】
このとき、sは、S={FL,FR,FC,SL,SR,BL,BR}の元素である。
【0055】
一方、
図4ないし
図6は、11.1チャネルのオーディオ信号のうちトップフロントレフトチャネルに対応するオーディオ信号を、仮想オーディオ信号にレンダリングする実施形態について説明しているが、11.1チャネルのオーディオ信号のうち、異なる高度感を有するトップフロントライトチャネル、トップサラウンドレフトチャネル及びトップサラウンドライトチャネルも、前述の方法のようにレンダリングを行うことができる。
【0056】
具体的には、
図7に図示されているように、トップフロントレフトチャネル、トップフロントライトチャネル、トップサラウンドレフトチャネル及びトップサラウンドライトチャネルに対応するオーディオ信号は、仮想オーディオ生成部120及び仮想オーディオ処理部130が含まれた複数の仮想チャネル合成部を介して、仮想オーディオ信号にレンダリングされ、レンダリングされた複数の仮想オーディオ信号は7.1チャネルのスピーカそれぞれに対応するオーディオ信号とミキシングされて出力される。
【0057】
図8は、本発明の一実施形態によるオーディオ装置100のオーディオ提供方法について説明するためのフローチャートである。
【0058】
まず、オーディオ装置100は、オーディオ信号を入力される(S810)。このとき、入力されたオーディオ信号は、複数の高度感を有するマルチチャネルオーディオ信号(例えば、11.1チャネル)でもある。
【0059】
オーディオ装置100は、複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号を、高度感を有するように処理する音色変換フィルタに適用し、複数のスピーカに出力される複数の仮想オーディオ信号を生成する(S820)。
【0060】
オーディオ装置100は、生成された複数の仮想オーディオに、合成ゲイン値及びディレイ値を適用する(S830)。このとき、オーディオ装置100は、複数の仮想オーディオが平面波形態の音場を有するように、合成ゲイン値及びディレイ値を適用することができる。
【0061】
オーディオ装置100は、生成された複数の仮想オーディオを、複数のスピーカを介して出力する(S840)。
【0062】
前述のように、仮想オーディオ信号それぞれにディレイ値及び合成ゲイン値を適用し、平面波形態の音場を有する仮想オーディオ信号をレンダリングすることにより、ユーザは、多様な位置からオーディオ装置が提供する高度感を有する仮想オーディオ信号を聴取することができる。
【0063】
一方、前述の実施形態では、ユーザが、1地点ではない多様な位置で高度感を有する仮想オーディオ信号を聴取するために、仮想オーディオ信号を、平面波形態の音場を有するように処理したが、それは、一実施形態に過ぎず、他の方法を利用して、ユーザが多様な位置で、高度感を有する仮想オーディオ信号を聴取することができるように、仮想オーディオ信号を処理することができる。具体的には、オーディオ装置は、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって互いに異なるゲイン値を適用し、多様な領域でも、仮想オーディオ信号を聴取することが可能となる。
【0064】
以下では、
図9ないし
図12を参照し、本発明の他の実施形態による仮想オーディオ信号提供方法について説明する。
図9は、本発明の他の実施形態によるオーディオ装置の構成を示すブロック図である。まず、オーディオ装置900は、入力部910、仮想オーディオ生成部920及び出力部930を含む。
【0065】
入力部910は、複数のチャネルを含むオーディオ信号を入力される。このとき、入力部910は、異なる高度感を有する複数のチャネルを含むオーディオ信号を入力される。例えば、入力部110は、11.1チャネルのオーディオ信号を入力される。
【0066】
仮想オーディオ生成部920は、複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号を、高度感を有するように処理するフィルタに適用し、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって互いに異なるゲイン値を適用し、複数の仮想オーディオ信号を生成する。
【0067】
具体的には、仮想オーディオ生成部920は、フィルタリングされたオーディオ信号を、複数のスピーカの個数に対応するようにコピーし、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、同側(ipsilateral)スピーカと他側(contralateral)スピーカとを判断する。具体的には、仮想オーディオ生成部920は、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、同一の方向に位置するスピーカを、同側スピーカと判断し、反対方向に位置するスピーカを、他側スピーカと判断する。例えば、仮想オーディオ信号に生成するオーディオ信号が、トップフロントレフトチャネルのオーディオ信号である場合、仮想オーディオ生成部920は、トップフロントレフトチャネルと同一の方向、または最も近い方向に位置するフロントレフトチャネル、サラウンドレフトチャネル、バックレフトチャネルに対応するスピーカを、同側スピーカと判断し、トップフロントレフトチャネルと反対方向に位置するフロントライトチャネル、サラウンドライトチャネル、バックライトチャネルに対応するスピーカを、他側スピーカと判断することができる。
【0068】
そして、仮想オーディオ生成部920は、同側スピーカに対応する仮想オーディオ信号に、低周波ブースタフィルタを適用し、他側スピーカに対応する仮想オーディオ信号に、高周波通過フィルタを適用する。具体的には、仮想オーディオ生成部920は、同側スピーカに対応する仮想オーディオ信号に、全体的なトーンバランス(tone balance)を合わせるために、低周波ブースタフィルタを適用し、他側スピーカに対応する仮想オーディオ信号には、音像定位に影響を与える高周波領域を通過させるために、高周波通過フィルタを適用する。
【0069】
一般的に、オーディオ信号の低周波成分は、ITD(interaural time delay)による音像定位に多くの影響を与え、オーディオ信号の高周波成分は、ILD(interaural level difference)による音像定位に多くの影響を与える。特に、聴取者が1方向に移動した場合、ILDは、パンニングゲインを効果的に設定し、左側音源が右側にくるか右側の音源が左側に移動する程度を調節することにより、聴取者が続けて円滑なオーディオ信号を聴取することができる。
【0070】
しかし、ITDの場合、近い方のスピーカ音がまず耳に入ってくるために、聴取者が移動する場合、左右定位逆転現象が発生する。
【0071】
このような左右定位逆転現象は、音像定位で必ず解決されなければならない問題であり、かような問題を解決するために、仮想オーディオ処理部920は、音源の反対方向に位置する他側スピーカに対応する仮想オーディオ信号のうち、ITDに影響を与える低周波成分を除去し、ILDに支配的な影響を与える高周波成分のみを通過させることができる。これにより、低周波成分による左右定位逆転現象が防止され、高周波成分に対するILDによって、音像の位置が維持される。
【0072】
そして、仮想オーディオ生成部920は、同側スピーカに対応するオーディオ信号、及び他側スピーカに対応するオーディオ信号それぞれにパンニングゲイン値を乗じ、複数の仮想オーディオ信号を生成することができる。具体的には、仮想オーディオ生成部920は、低周波ブースタフィルタを通過した同側スピーカに対応するオーディオ信号、及び高周波通過フィルタを通過した他側スピーカに対応するオーディオ信号それぞれに、音像定位のためのパンニングゲイン値を乗じ、複数の仮想オーディオ信号を生成することができる。すなわち、仮想オーディオ生成部920は、音像の位置を基に、複数の仮想オーディオ信号の周波数によって異なるゲイン値を適用し、最終的に複数の仮想オーディオ信号を生成することができる。
【0073】
出力部930は、複数の仮想オーディオ信号を、複数のスピーカを介して出力する。
【0074】
このとき、出力部930は、特定チャネルに対応する仮想オーディオ信号、及び特定チャネルのオーディオ信号をミキシングし、特定チャネルに対応するスピーカを介して出力することができる。
【0075】
例えば、出力部930は、フロントレフトチャネルに対応するオーディオ信号と、トップフロントレフトチャネルが処理されて生成された仮想オーディオ信号とをミキシングし、フロントレフトチャネルに対応するスピーカを介して出力することができる。
【0076】
以下では、
図10を参照し、本発明の一実施形態による11.1チャネルのオーディオ信号のうち異なる高度感を有するチャネルに対応するオーディオ信号を、7.1チャネルのスピーカに出力するために、仮想オーディオ信号にレンダリングする方法についてさらに詳細に説明する。
【0077】
図10は、本発明の一実施形態による、11.1チャネルのトップフロントレフトチャネルのオーディオ信号を7.1チャネルのスピーカに出力するために、仮想オーディオ信号にレンダリングする方法について説明するための図面である。
【0078】
まず、11.1チャネルのトップフロントレフトチャネルのオーディオ信号が入力された場合、仮想オーディオ生成部920は、入力されたトップフロントレフトチャネルのオーディオ信号を、音色変換フィルタHに適用することができる。そして、仮想オーディオ生成部920は、音色変換フィルタHが適用されたトップフロントレフトチャネルに対応するオーディオ信号を、7個のオーディオ信号にコピーした後、トップフロントレフトチャネルのオーディオ信号の位置によって、同側スピーカ及び他側スピーカを判断することができる。すなわち、仮想オーディオ生成部920は、トップフロントレフトチャネルのオーディオ信号と同一の方向に位置するフロントレフトチャネル、サラウンドレフトチャネル、バックレフトチャネルに対応するスピーカを、同側スピーカと判断し、トップフロントレフトチャネルのオーディオ信号と反対方向に位置するフロントライトチャネル、サラウンドライトチャネル、バックライトチャネルに対応するスピーカを、他側スピーカと判断することができる。
【0079】
そして、仮想オーディオ生成部920は、コピーされた複数の仮想オーディオ信号のうち同側スピーカに対応する仮想オーディオ信号を、低周波ブースタフィルタに通過させる。
【0080】
そして、仮想オーディオ生成部920は、低周波ブースタフィルタを通過した仮想オーディオ信号を、フロントレフトチャネル、サラウンドレフトチャネル、バックレフトチャネルに対応するゲイン適用部にそれぞれ入力させ、トップフロントレフトチャネルの位置にオーディオ信号を定位させるための多チャネルパンニングゲイン値GTFL,FL,GTFL,SL,GTFL,BLを乗じ、3チャネルの仮想オーディオ信号を生成することができる。
【0081】
そして、仮想オーディオ生成部920は、コピーされた複数の仮想オーディオ信号のうち他側スピーカに対応する仮想オーディオ信号を、高周波通過フィルタに通過させる。そして、仮想オーディオ生成部920は、高周波通過フィルタを通過した仮想オーディオ信号を、フロントライトチャネル、サラウンドライトチャネル、バックライトチャネルに対応するゲイン適用部にそれぞれ入力させ、トップフロントレフトチャネルの位置にオーディオ信号を定位させるための多チャネルパンニングゲイン値GTFL,FR,GTFL,SR,GTFL,BRを乗じ、3チャネルの仮想オーディオ信号を生成することができる。
【0082】
また、同側スピーカでも他側スピーカでもないフロントセンターチャネルに対応する仮想オーディオ信号の場合、仮想オーディオ生成部920は、フロントセンターチャネルに対応する仮想オーディオ信号を、同側スピーカと同一の方法を利用して処理することができ、他側スピーカと同一の方法を利用して処理することができる。本発明の一実施形態では、
図10に図示されているように、フロントセンターチャネルに対応する仮想オーディオ信号は、同側スピーカに対応する仮想オーディオ信号と同一の方法によって処理された。
【0083】
一方、
図10では、11.1チャネルのオーディオ信号のうちトップフロントレフトチャネルに対応するオーディオ信号を、仮想オーディオ信号にレンダリングする実施形態について説明したが、11.1チャネルのオーディオ信号のうち、異なる高度感を有するトップフロントライトチャネル、トップサラウンドレフトチャネル及びトップサラウンドライトチャネルも、
図10で説明したような方法を利用して、レンダリングを行うことができる。
【0084】
一方、本発明の他の実施形態では、
図6で説明したような仮想オーディオ提供方法と、
図10で説明したような仮想オーディオ提供方法とを統合し、
図11に図示されているようなオーディオ装置1100として具現される。具体的には、オーディオ装置1100は、入力されたオーディオ信号に対して、音色変換フィルタHを利用して音色変換を処理した後、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって異なるゲイン値が適用されるように、同側スピーカに対応する仮想オーディオ信号を、低周波ブースタフィルタに通過させ、他側スピーカに対応する仮想オーディオ信号を、高周波通過フィルタに通過させる。そして、オーディオ装置100は、複数の仮想オーディオ信号が平面波を有する音場を形成するように入力されたそれぞれの仮想オーディオ信号に、ディレイ値d及び最終ゲイン値Pを適用し、仮想オーディオ信号を生成することができる。
【0085】
図12は、本発明の一実施形態によるオーディオ装置900のオーディオ提供方法について説明するための図面である。
【0086】
まず、オーディオ装置900は、オーディオ信号を入力される(S1210)。このとき、入力されたオーディオ信号は、複数の高度感を有するマルチチャネルオーディオ信号(例えば、11.1チャネル)でもある。
【0087】
そして、オーディオ装置900は、複数のチャネルのうち高度感を有するチャネルのオーディオ信号を、高度感を有するように処理するフィルタに適用する(S1220)。このとき、複数のチャネルのうち高度感を有するチャネルのオーディオ信号は、トップフロントレフトチャネルのオーディオ信号でもあり、高度感を有するように処理するフィルタは、HRTF補正フィルタでもある。
【0088】
そして、オーディオ装置900は、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって異なるゲイン値を適用し、仮想オーディオ信号を生成する(S1230)。具体的には、オーディオ装置900は、フィルタリングされたオーディオ信号を、複数のスピーカの個数に対応するようにコピーし、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、同側スピーカと他側スピーカとを判断し、同側スピーカに対応する仮想オーディオ信号に、低周波ブースタフィルタを適用し、他側スピーカに対応する仮想オーディオ信号に、高周波通過フィルタを適用し、同側スピーカに対応するオーディオ信号及び他側スピーカに対応するオーディオ信号それぞれにパンニングゲイン値を乗じ、複数の仮想オーディオ信号を生成することができる。
【0089】
そして、オーディオ装置900は、複数の仮想オーディオ信号を力する(S1240)。
【0090】
前述のように、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって異なるゲイン値を適用することにより、ユーザは、多様な位置において、オーディオ装置が提供する高度感を有する仮想オーディオ信号を聴取することができる。
【0091】
以下では、本発明の他の実施形態について説明する。具体的には、
図13は、従来の11.1チャネルのオーディオ信号を、7.1チャネルのスピーカを介して出力する方法について説明する図面である。まず、エンコーダ1310は、11.1チャネルのチャネルオーディオ信号、複数のオブジェクトオーディオ信号、及び複数のオブジェクトのオーディオ信号についての複数の軌跡情報をエンコードし、ビットストリームを生成する。そして、デコーダ1320は、受信されたビットストリームをデコーディングし、11.1チャネルのチャネルオーディオ信号は、ミキシング部1340に出力し、複数のオブジェクトオーディオ信号及び対応する軌跡情報は、オブジェクトレンダリング部1330に出力する。オブジェクトレンダリング部1330は、軌跡情報を利用して、オブジェクトオーディオ信号を、11.1チャネルにレンダリングした後、ミキシング部1340に出力する。
【0092】
ミキシング部1340は、11.1チャネルのチャネルオーディオ信号と、11.1チャネルにレンダリングされたオブジェクトオーディオ信号とを11.1チャネルのオーディオ信号にミキシングし、仮想オーディオレンダリング部1350に出力する。仮想オーディオレンダリング部1340は、11.1チャネルのオーディオ信号のうち異なる高度感を有する4チャネル(トップフロントレフトチャネル、トップフロントライトチャネル、トップサラウンドレフトチャネル、トップサラウンドライトチャネル)のオーディオ信号を利用し、
図2ないし
図12で説明したように、複数の仮想オーディオ信号に生成し、生成された複数のオーディオ信号を、残りのチャネルとミキシングした後、ミキシングされた7.1チャネルのオーディオ信号を出力することができる。
【0093】
しかし、前述のように、11.1チャネルのオーディオ信号のうち異なる高度感を有する4個のチャネルオーディオ信号を、画一的に処理して仮想オーディオ信号に生成する場合、拍手音や雨音のように、広帯域(wideband)であり、チャネル間の相関がなく(low correlation)、インパルシブ(impulsive)な特性を有するオーディオ信号を仮想オーディオ信号にレンダリングすれば、オーディオ音質の劣化が発生する。特に、かような音質の劣化は、仮想オーディオ信号を生成する場合、さらに好ましくない傾向を示すために、インパルシブな特性を有するオーディオ信号は、仮想オーディオを生成するレンダリング作業を遂行せず、音色に重点を置いたダウンミックスを介して、レンダリング作業を遂行することにより、さらに優れた音質を提供することができる。
【0094】
以下では、
図14ないし
図16を参照し、本発明の一実施形態によるオーディオ信号のレンダリング情報を利用して、オーディオ信号のレンダリング種類を判断する実施形態について説明する。
【0095】
図14は、本発明の一実施形態による、オーディオ装置が11.1チャネルのオーディオ信号をオーディオ信号のレンダリング情報によって、異なる方法のレンダリングを行い、7.1チャネルのオーディオ信号に生成する方法について説明するための図面である。
【0096】
エンコーダ1410は、11.1チャネルのチャネルオーディオ信号、複数のオブジェクトオーディオ信号、複数のオブジェクトオーディオ信号に対応する軌跡情報、及びオーディオ信号のレンダリング情報を受信し、エンコーディングすることができる。このとき、オーディオ信号のレンダリング情報は、オーディオ信号の種類を示すものであり、入力されたオーディオ信号が、インパルシブな特性を有するオーディオ信号であるか否かということについての情報、入力されたオーディオ信号が、広帯域のオーディオ信号であるか否かということについての情報、及び入力されたオーディオ信号がチャネル間の相関(correlation)が低いか否かということについての情報のうち少なくとも一つを含んでもよい。また、オーディオ信号のレンダリング情報は、オーディオ信号のレンダリング方法についての情報を直接含んでもよい。すなわち、オーディオ信号のレンダリング情報には、オーディオ信号が音質レンダリング(timbral rendering)方法及び空間レンダリング(spatial rendering)方法のうちいずれの方法でレンダリングを行うかということについての情報が含まれる。
【0097】
デコーダ1420は、エンコーディングされたオーディオ信号をデコーディングし、11.1チャネルのチャネルオーディオ信号及びオーディオ信号のレンダリング情報をミキシング部1440に出力し、複数のオブジェクトオーディオ信号及び対応する軌跡情報、そしてオーディオ信号のレンダリング情報をミキシング部1440に出力することができる。
【0098】
オブジェクトレンダリング部1430は、入力された複数のオブジェクトオーディオ信号及び対応する軌跡情報を利用して、11.1チャネルのオブジェクトオーディオ信号を生成し、生成された11.1チャネルのオブジェクトオーディオ信号をミキシング部1440に出力することができる。
【0099】
第1ミキシング部1440は、入力された11.1チャネルのチャネルオーディオ信号、及び11.1チャネルのオブジェクトオーディオ信号をミキシングし、ミキシングされた11.1チャネルのオーディオ信号を生成することができる。そして、第1ミキシング部1440は、オーディオ信号のレンダリング情報を利用して生成された11.1チャネルのオーディオ信号をレンダリングするレンダリング部を判断することができる。具体的には、第1ミキシング部1440は、オーディオ信号のレンダリング情報を利用して、オーディオ信号がインパルシブな特性を有しているか否かということ、オーディオ信号が広帯域のオーディオ信号であるか否かということ、オーディオ信号がチャネル間の相関が低い否かということを判断することができる。オーディオ信号がインパルシブな特性を有するか、広帯域のオーディオ信号であるか、オーディオ信号のチャネル間の相関が低い場合、第1ミキシング部1440は、11.1チャネルのオーディオ信号を、第1レンダリング部1450に出力することができ、前述の特性を有さない場合、第1ミキシング部1440は、11.1チャネルのオーディオ信号を、第2レンダリング部1460に出力することができる。
【0100】
第1レンダリング部1450は、入力された11.1チャネルのオーディオ信号のうち異なる高度感を有する4個のオーディオ信号を音色レンダリング方法を介して、レンダリングを行うことができる。
【0101】
具体的には、第1レンダリング部1450は、11.1チャネルのオーディオ信号のうち、トップフロントレフトチャネル、トップフロントライトチャネル、トップサラウンドレフトチャネル、トップサラウンドライトチャネルに対応するオーディオ信号を、それぞれフロントレフトチャネル、フロントライトチャネル、サラウンドレフトチャネル、トップサラウンドライトチャネルにレンダリングする1チャネルダウンミキシング方法を介してレンダリングした後、ダウンミキシングされた4個のチャネルのオーディオ信号と、残りのチャネルのオーディオ信号とミキシングした後、7.1チャネルのオーディオ信号を、第2ミキシング部1470に出力することができる。
【0102】
第2レンダリング部1460は、入力された11.1チャネルのオーディオ信号のうち、異なる高度感を有する4個のオーディオ信号を、
図2ないし
図13で説明したような空間レンダリング方法で、高度感を有する仮想オーディオ信号にレンダリングすることができる。
【0103】
第2ミキシング部1470は、第1レンダリング部1450及び第2レンダリング部1460のうち少なくとも一つを介して出力される7.1チャネルのオーディオ信号を出力することができる。
【0104】
一方、前述の実施形態では、第1レンダリング部1450及び第2レンダリング部1460が、音色レンダリング方法及び空間レンダリング方法のうち一つで、オーディオ信号をレンダリングすると説明したが、それは、一実施形態に過ぎず、オブジェクトレンダリング部1430がオーディオ信号のレンダリング情報を利用して、音色レンダリング方法及び空間レンダリング方法のうち一つで、オブジェクトオーディオ信号をレンダリングすることも可能である。
【0105】
また、前述の実施形態では、エンコーディング前に、オーディオ信号のレンダリング情報が、信号分析を介して決定されると説明したが、それは、コンテンツ創作意図を反映させるために、サウンドミキシングエンジニアによって生成されてエンコーディングされることも可能な例であり、その以外にも、多様な方法によって獲得される。
【0106】
具体的には、オーディオ信号のレンダリング情報は、エンコーダ1410が複数のチャネルオーディオ信号、複数のオブジェクトオーディオ信号及び軌跡情報を分析して生成される。
【0107】
さらに具体的には、エンコーダ1410は、オーディオ信号分類に多く利用される特徴(feature)を抽出して分類器に学習させ、入力されたチャネルオーディオ信号、または複数のオブジェクトオーディオ信号が、インパルシブな特性を有する否かということを分析することができる。また、エンコーダ1410は、オブジェクトオーディオ信号の軌道情報を分析し、オブジェクトオーディオ信号が静的である場合、音色レンダリング方法を利用してレンダリングを遂行せよというレンダリング情報を生成することができ、オブジェクトオーディオ信号がモーションが存在する場合、空間レンダリング方法を利用してレンダリングを遂行せよというレンダリング情報を生成することができる。すなわち、エンコーダ1410は、インパルシブな特徴を有し、モーションがない静的な特性を有するオーディオ信号の場合、音色レンダリング方法を利用してレンダリングを遂行せよというレンダリング情報を生成することができ、そうではない場合、空間レンダリング方法を利用してレンダリングを遂行せよというレンダリング情報を生成することができる。
【0108】
そのとき、モーション検出いかんは、オブジェクトオーディオ信号のフレーム当たり移動距離を計算して推定される。
【0109】
一方、音色レンダリング方法によってレンダリングを行うか、あるいは空間レンダリング方法によってレンダリングを行うかということを分析することがハードデシジョン(hard decision)ではないソフトデシジョン(soft decision)である場合、エンコーダ1410は、オーディオ信号の特性によって、音色レンダリング方法によるレンダリング作業と、空間レンダリング方法によるレンダリング作業とを混合し、レンダリングを行うことができる。例えば、
図15に図示されているように、第1オブジェクトオーディオ信号OBJ1、第1軌道情報TRJ1及びエンコーダ1410がオーディオ信号の特性を分析して生成したレンダリング加重値RCが入力された場合、オブジェクトレンダリング部1430は、レンダリング加重値RCを利用して、音色レンダリング方法に係わる加重値WT、及び空間レンダリング方法に係わる加重値WSを判断することができる。
【0110】
そして、オブジェクトレンダリング部1430は、入力された第1オブジェクトオーディオ信号OBJ1に、音色レンダリング方法に係わる加重値WT、及び空間レンダリング方法に係わる加重値WS値をそれぞれ乗じ、音色レンダリング方法によるレンダリング、及び空間レンダリングによるレンダリングを行うことができる。そして、オブジェクトレンダリング部1430は、残りのオブジェクトオーディオ信号についても、前述のようにレンダリングを行うことができる。
【0111】
他の例において、
図16に図示されているように、第1チャネルオーディオ信号CH1、及びエンコーダ1410がオーディオ信号の特性を分析して生成したレンダリング加重値RCが入力された場合、第1ミキシング部1430は、レンダリング加重値RCを利用して、音色レンダリング方法に係わる加重値WT、及び空間レンダリング方法に係わる加重値WSを判断することができる。そして、第1ミキシング部1440は、入力された第1オブジェクトオーディオ信号OBJ1に、音色レンダリング方法に係わる加重値WTを乗じ、第1レンダリング部1450に出力し、入力された第1オブジェクトオーディオ信号OBJ1に、空間レンダリング方法に係わる加重値WS値を乗じ、第2レンダリング部1460に出力することができる。そして、第1ミキシング部1440は、残りのチャネルオーディオ信号についても、前述のように加重値を乗じた後、第1レンダリング部1450及び第2レンダリング部1460に出力することができる。
【0112】
一方、前述の実施形態では、エンコーダ1410がオーディオ信号のレンダリング情報を獲得すると説明したが、それは、一実施形態に過ぎず、デコーダ1420がオーディオ信号のレンダリング情報を獲得することもできる。その場合、レンダリング情報は、エンコーダ1410から伝送される必要なしに、デコーダ1420によってすぐに生成される。
【0113】
また、本発明の他の実施形態では、デコーダ1420は、チャネルオーディオ信号に対して、音色レンダリング方法を利用してレンダリングを遂行し、オブジェクトオーディオ信号に対して、空間レンダリング方法を利用してレンダリングを遂行せよというレンダリング情報を生成することができる。
【0114】
前述のように、オーディオ信号のレンダリング情報によって、異なる方法でもってレンダリング作業を遂行することにより、オーディオ信号の特性による音質劣化を防止することができる。
【0115】
以下では、オブジェクトオーディオ信号が別途に分離されるものではない、全てのオーディオ信号がレンダリング及びミキシングされているチャネルオーディオ信号だけ存在する場合、チャネルオーディオ信号を分析し、チャネルオーディオ信号をレンダリングする方法を決定する方法について説明する。特に、チャネルオーディオ信号において、オブジェクトオーディオ信号を分析し、オブジェクトオーディオ信号成分を抽出し、オブジェクトオーディオ信号については、空間レンダリング方法を利用して、仮想の高度感を提供するレンダリングを行い、アンビエンス(ambience)オーディオ信号については、音質レンダリング方法を利用して、レンダリングを行う方法について説明する。
【0116】
図17は、本発明の一実施形態による、11.1チャネルのうち異なる高度感を有する4個のトップオーディオ信号において、拍手音が検出された否かということにより、異なる方法でレンダリングを行う実施形態について説明するための図面である。
【0117】
まず、拍手音感知部1710は、11.1チャネルのうち異なる高度感を有する4個のトップオーディオ信号に対して、拍手音が感知されるか否かということを判断する。
【0118】
拍手音感知部1710がハードデシジョンを利用する場合、拍手音感知部1710は、次のような出力信号を決定する。
【0119】
拍手音が感知された場合:TFLA=TFL,TFRA=TFR,TSLA=TSL,TSRA=TSR,TFLG=0,TFRG=0,TSLG=0,TSRG=0
拍手音が感知されていない場合:TFLA=0,TFRA=0,TSLA=0,TSRA=0,TFLG=TFL,TFRG=TFR,TSLG=TSL,TSRG=TS
このとき、出力信号は、拍手音感知部1710ではないエンコーダで計算され、フラグ形態で伝送される。
【0120】
拍手音感知部1710がソフトデシジョンを利用する場合、拍手音感知部1710は、拍手音の感知いかん及び強度によって、下記のように加重値α,βが乗じられて出力信号を決定する。
【0121】
TFLA=αTFLTFL,TFRA=αTFRTFR,TSLA=αTSLTSL,TSRA=αTSRTSR,TFLG=βTFLTFL,TFRG=βTFRTFR,TSLG=βTSLTSL,TSRG=βTSRTSR
出力信号のうち、TFLG,TFRG,TSLG,TSRG信号は、空間レンダリング部1730に出力され、空間レンダリング方法によってレンダリングが行われる。
【0122】
出力信号のうち、TFLA,TFRA,TSLA,TSRA信号は、拍手音成分と判断され、レンダリング分析部1720に出力される。
【0123】
レンダリング分析部1720が拍手音成分を判断し、レンダリング方法を分析する方法については、
図18を参照して説明する。レンダリング分析部1720は、周波数変換部1721、コヒーレンス(coherence)算出部1723、レンダリング方法決定部1725及び信号分離部1727を含む。
【0124】
周波数変換部1721は、入力されたTFLA,TFRA,TSLA,TSRA信号を周波数ドメインに変換し、TFLA
F,TFRA
F,TSLA
F,TSRA
F信号を出力することができる。このとき、周波数変換部1721は、QMF(quadrature mirror filterbank)のようなフィルタバンクのサブバンドサンプルに表した後、TFLA
F,TFRA
F,TSLA
F,TSRA
F信号を出力することができる。
【0125】
コヒーレンス算出部1723は、入力された信号を聴覚器官を模写するequivalent rectangular band(ERBand)またはcritical bandwidth(CB)にバンドマッピングを行う。
【0126】
そして、コヒーレンス算出部1723は、それぞれのバンド別に、TFLA
F信号とTSLA
F信号とのコヒーレンスであるxLF、TFRA
F信号とTSRA
F信号とのコヒーレンスであるxRF、TFLA
F信号とTFRA
F信号とのコヒーレンスであるxFF、TSLA
F信号とTSRA
F信号とのコヒーレンスであるxSFを計算する。このとき、コヒーレンス算出部1723は、一方の信号が0である場合、コヒーレンスを1として計算することができる。それは、信号が一方のチャネルにのみ定位されている場合、空間レンダリング方法を利用しなければならないからである。
【0127】
そして、レンダリング方法決定部1725は、コヒーレンス算出部1723を介して算出されたコヒーレンスから、各チャネル別、バンド別に空間レンダリング方法に使用される加重値であるwTFLF、wTFRF、wTSLF、wTSRFを、次のような数式を介して算出することができる。
【0128】
wTFLF=mapper(max(xLF,xFF))
wTFRF=mapper(max(xRF,xFF))
wTSLF=mapper(max(xLF,xSF))
wTSRF=mapper(max(xRF,xSF))
このとき、maxは、2係数のうちその数字を選ぶ関数であり、mapperは、非線形マッピングにおいて、0と1との間の値を、0と1との間の値にマッピングさせる多様な形態の関数でもある。
【0129】
一方、レンダリング方法決定部1725は、周波数帯域別に異なるmapperを使用することができる。具体的には、高周波では、ディレイに対する信号干渉がさらにはなはだしくなり、バンド幅が広くなり、多くの信号が混ざるために、全てのバンドで、同一のmapperを使用することに比べ、バンド別に異なるmapperを使用する場合、音質及び信号分離度がさらに向上する。
図19は、レンダリング方法決定部1725が、周波数帯域別に異なる特性を有するmapperを使用された場合、mapperの特性を示すグラフである。
【0130】
また、一方の信号がない場合(すなわち、類似度関数値(similarity function)が0または1であり、一方でのみパンニングされた場合、コヒーレンス算出部1723は、コヒーレンスを1と算出した。しかし、実際には、周波数ドメインへの変換によって発生するside lobeまたはnoise floorに該当する信号が発生するので、類似度関数値に臨界値(例えば、0.1)を設定し、臨界値以下の類似度値を有せば、空間的レンダリング方法を選択してノイズに防止することができる。
図20は、類似度関数値によって、レンダリング方法に係わる加重値を決定するグラフである。例えば、類似度関数値が0.1以下である場合には、空間的レンダリング方法を選択するように加重値が設定される。
【0131】
信号分離部1727は、周波数ドメインに変換されたTFLA
F,TFRA
F,TSLA
F,TSRA
F信号に、レンダリング方法決定部1725によって決定された加重値であるwTFLF、wTFRF、wTSLF、wTSRFを乗じ、時間ドメインに変換した後、空間レンダリング部1730で、TFLA
S,TFRA
S,TSLA
S,TSRA
S信号を出力する。
【0132】
また、信号分離部1727は、入力されたTFLA
F,TFRA
F,TSLA
F,TSRA
F信号から、空間レンダリング部1730に出力したTFLA
S,TFRA
S,TSLA
S,TSRA
S信号を差し引いた残りの信号であるTFLA
T,TFRA
T,TSLA
T,TSRA
T信号を音質レンダリング部1740に出力する。
【0133】
結果として、空間レンダリング部1730に出力されたTFLA
S,TFRA
S,TSLA
S,TSRA
S信号は、4個のトップチャネルオーディオ信号に定位されたオブジェクトに対抗する信号を形成し、音質レンダリング部1740に出力されたTFLA
T,TFRA
T,TSLA
T,TSRA
T信号はディフューズされた(diffused)サウンドに該当する信号を形成することができる。
【0134】
それにより、チャネル間のコヒーレンスが低い拍手音や雨音のようなオーディオ信号を、前記のような過程で、空間レンダリング方法及び音質レンダリング方法に分けてレンダリングする場合、音質劣化を最小化することができる。
【0135】
現実的な場合、マルチチャネルオーディオコーデックは、データを圧縮するために、MPEG SURROUNDのように、チャネル間の相関を使用する場合が多い。その場合、一般的にチャネル間のレベル差であるCLD(channel level difference)と、チャネル間の相関であるICC(interchannel cross correlation)をパラメータとして利用する場合がほとんどである。オブジェクト符号化技術であるMPEG SAOC(spatia laudio object coding)も、類似の形態を有することができる。その場合、内部デコーディング過程において、ダウンミックス信号からマルチチャネルオーディオ信号に拡張するチャネル拡張技術が使用される。
【0136】
図21は、本発明の一実施形態による、MPEG SURROUNDのような構造のチャネル拡張コーデックを使用する場合、複数のレンダリング方法でレンダリングを行う実施形態について説明するための図面である。
【0137】
チャネルコーデックのデコーダ内部で、トップレイヤのオーディオ信号に対応するビットストリームに対して、CLD基盤でチャネルを分離した後、ICC基盤で、逆相関器を介して、チャネル間のコヒーレンスを補正することができる。その結果、ドライな(dry)チャネル音源と、ディフューズされたチャネル音源とが分離されて出力される。ドライなチャネル音源は、空間レンダリング方法によってレンダリングが行われ、ディフューズされたチャネル音源は、音質レンダリング方法によってレンダリングが行われる。
【0138】
一方、本構造を効率的に使用するためには、チャネルコーデックにおいて、ミドルレイヤとトップレイヤとのオーディオ信号を別途に圧縮して伝送するか、OTT/TTT(one-to-two/two-to-three)BOXのTREE構造で、ミドルレイヤとトップレイヤとのオーディオ信号を分離した後、分離されたそれぞれのチャネルを圧縮して伝送することができる。
【0139】
また、トップレイヤのチャネルについては、拍手音検出を行い、ビットストリームに伝送し、デコーダ端で拍手音に該当するほどのチャネルデータであるTFLA,TFRA,TSLA,TSRAを算出する過程において、CLDによるチャネル分離された音源に対して、空間レンダリング方法を利用してレンダリングを遂行すればよいが、空間レンダリングの演算要素であるfiltering、weighting、summationを周波数ドメインで行えば、multiplication、weighting、summationを行えばよいので、大きい演算量の追加なしに遂行が可能である。また、ICCによって生成されたディフューズされた音源に対して、音質レンダリング方法を利用してレンダリングを行う段階でも、weighting,summation段階で可能であるので、既存のチャネルデコーダに、若干の演算量追加だけで、空間/音質レンダリングをいずれも行うことができる。
【0140】
以下では、
図22ないし
図25を参照し、本発明の多様な実施形態によるマルチチャネルオーディオ提供システムについて説明する。特に、
図22ないし
図25は、同一の平面上に配置されたスピーカを利用して、高度感を有する仮想オーディオ信号を提供するマルチチャネルオーディオ提供システムでもある。
【0141】
図22は、本発明の第1実施形態によるマルチチャネルオーディオ提供システムを図示した図面である。
【0142】
まず、該オーディオ装置は、メディアからマルチチャネルオーディオ信号を入力される。
【0143】
そして、オーディオ装置は、マルチチャネルオーディオ信号をデコーディングし、デコーディングされたマルチチャネルオーディオ信号のうちスピーカと対応するチャネルオーディオ信号を外部から入力されるインタラクティブエフェクトオーディオ信号とミキシングし、第1オーディオ信号を生成する。
【0144】
そして、該オーディオ装置は、デコーディングされたマルチチャネルオーディオ信号のうち異なる高度感を有するチャネルオーディオ信号に垂直面オーディオ信号処理を行う。このとき、垂直面オーディオ信号処理は、水平面スピーカを利用して、高度感を有する仮想オーディオ信号を生成する処理であり、前述のような仮想オーディオ信号生成技術を利用することができる。
【0145】
そして、該オーディオ装置は、外部から入力されるインタラクティブエフェクトオーディオ信号を、垂直面処理されたオーディオ信号とミキシングし、第2オーディオ信号を処理する。
【0146】
そして、該オーディオ装置は、第1オーディオ信号と第2オーディオ信号とをミキシングし、対応する水平面のオーディオスピーカに出力する。
【0147】
図23は、本発明の第2実施形態によるマルチチャネルオーディオ提供システムを図示した図面である。
【0148】
まず、該オーディオ装置は、メディアからマルチチャネルオーディオ信号を入力される。
【0149】
そして、該オーディオ装置は、マルチチャネルオーディオ信号と、外部から入力されるインタラクティブエフェクトオーディオとをミキシングし、第1オーディオ信号を生成することができる。
【0150】
そして、該オーディオ装置は、第1オーディオ信号に対して、水平面オーディオスピーカのレイアウトに対応するように垂直面オーディオ信号処理を行い、対応する水平面オーディオスピーカに出力することができる。
【0151】
また、該オーディオ装置は、垂直面オーディオ信号処理が行われた第1オーディオ信号をさらにエンコーディングし、外部のAV(audio video)レシーバに伝送することができる。このとき、オーディオ装置は、ドルビーデジタル(Dolby digital)またはDTSフォーマットのように、既存のAVレシーバが支援可能なフォーマットでオーディオをエンコーディングすることができる。
【0152】
外部のAVレシーバは、垂直面オーディオ信号処理が行われた第1オーディオ信号を処理し、対応する水平面オーディオスピーカに出力することができる。
【0153】
図24は、本発明の第3実施形態によるマルチチャネルオーディオ提供システムを図示した図面である。
【0154】
まず、オーディオ装置は、メディアからマルチチャネルオーディオ信号を入力され、外部(例えば、リモコン)からインタラクティブエフェクトオーディオを入力される。
【0155】
そして、オーディオ装置は、入力されたマルチチャネルオーディオ信号に対して、水平面オーディオスピーカのレイアウトに対応するように垂直面オーディオ信号処理を行い、入力されるインタラクティブエフェクトオーディオに対しても、スピーカレイアウトに対応するように垂直面オーディオ信号処理を行うことができる。
【0156】
そして、オーディオ装置は、垂直面オーディオ信号処理が行われたマルチチャネルオーディオ信号と、インタラクティブエフェクトオーディオとをミキシングし、第1オーディオ信号を生成し、第1オーディオ信号を対応する水平面オーディオスピーカに出力することができる。
【0157】
また、オーディオ装置は、ミキシングされた第1オーディオ信号をさらにエンコーディングし、外部のAVレシーバに伝送することができる。このとき、オーディオ装置は、ドルビーデジタルまたはDTSフォーマットのように、既存のAVレシーバが支援可能なフォーマットでオーディオをエンコーディングすることができる。
【0158】
外部のAVレシーバは、垂直面オーディオ信号処理が行われた第1オーディオ信号を処理し、対応する水平面オーディオスピーカに出力することができる。
【0159】
図25は、本発明の第4実施形態によるマルチチャネルオーディオ提供システムを図示した図面である。
【0160】
オーディオ装置は、メディアから入力されるマルチチャネルオーディオ信号を外部のAVレシーバに即座に伝送することができる。
【0161】
外部のAVレシーバは、マルチチャネルオーディオ信号をデコーディングし、デコーディングされたマルチチャネルオーディオ信号に対して、水平面オーディオスピーカのレイアウトに対応するように垂直面オーディオ信号処理を行うことができる。
【0162】
そして、外部のAVレシーバは、垂直面オーディオ信号処理が行われたマルチチャネルオーディオ信号を、対応する水平面スピーカを介して出力することができる。
【0163】
以上では、本発明の望ましい実施形態について図示して説明したが、本発明は、前述の特定の実施形態に限定されるものではなく、特許請求の範囲で請求する本発明の要旨を外れることなしに、当該発明が属する技術分野で当業者によって、多様な変形実施が可能であるとういことは言うまでもなく、かような変形実施は、本発明の技術的思想や展望から個別的に理解されるものではない。
【符号の説明】
【0164】
100 オーディオ装置
110 入力部
120 仮想オーディオ生成部
130 仮想オーディオ処理部
140 出力部