特開 2022-92184 音声信号処理装置、音声信号処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022092184

(43)【公開日】2022-06-22

(54)【発明の名称】音声信号処理装置、音声信号処理プログラム

(51)【国際特許分類】

   H04S 5/00 20060101AFI20220615BHJP

【ＦＩ】

H04S5/00 500

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2020204835

(22)【出願日】2020-12-10

(71)【出願人】

【識別番号】390005223

【氏名又は名称】株式会社タムラ製作所

(74)【代理人】

【識別番号】100081961

【弁理士】

【氏名又は名称】木内 光春

(74)【代理人】

【識別番号】100112564

【弁理士】

【氏名又は名称】大熊 考一

(74)【代理人】

【識別番号】100163500

【弁理士】

【氏名又は名称】片桐 貞典

(74)【代理人】

【識別番号】230115598

【弁護士】

【氏名又は名称】木内 加奈子

(72)【発明者】

【氏名】波多野 渉

【テーマコード（参考）】

5D162

【Ｆターム（参考）】

5D162AA09

5D162BA07

5D162CA06

5D162CB12

5D162CC36

5D162EE05

(57)【要約】

【課題】ステレオの音源に歪みを生じさせないようにアップミックスすることの出来る音声信号処理装置を提供する。
【解決手段】ステレオの音源をサラウンドの音源にアップミックスする音声信号処理装置１００である。ステレオの音源を直接音と間接音とに分離する分離部１０と、直接音または間接音の少なくとも一方を調整するためのパラメータを生成する設定部２０と、パラメータに基づき、サラウンドの音源におけるチャンネルごとに直接音及び間接音に乗算する係数を生成する係数生成部３０と、直接音及び間接音に係数を乗算することにより、ステレオの音源をサラウンドの音源にアップミックスする演算部４０を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

ステレオの音源をサラウンドの音源にアップミックスする音声信号処理装置であって、
前記ステレオの音源を直接音と間接音とに分離する分離部と、
前記直接音または前記間接音の少なくとも一方を調整するためのパラメータを生成する設定部と、
前記パラメータに基づき、前記サラウンドの音源におけるチャンネルごとに前記直接音及び前記間接音に乗算する係数を生成する係数生成部と、
前記直接音及び前記間接音に前記係数を乗算することにより、前記ステレオの音源を前記サラウンドの音源にアップミックスする演算部を備える音声信号処理装置。

【請求項2】

前記パラメータは、前記サラウンドの音源のフロント側チャンネルにおいて、センター音源と当該センター音源以外の音源とのバランスを調整するためのものを含む、
請求項１に記載の音声信号処理装置。

【請求項3】

前記パラメータは、前記サラウンドの音源のリア側チャンネルにおいて、センター音源と当該センター音源以外の音源とのバランスを調整するためのものを含む、
請求項１または２に記載の音声信号処理装置。

【請求項4】

前記パラメータは、前記サラウンドの音源のフロント側チャンネルから出力される前記直接音に対して、前記間接音のミキシング量を調整するためのものを含む、
請求項１乃至３のいずれかに記載の音声信号処理装置。

【請求項5】

前記サラウンドの音源は、３Ｄオーディオに対応し、
前記パラメータは、前記サラウンドの音源における中層のチャンネルから出力される前記直接音及び前記間接音と、上下層のチャンネルから出力される前記直接音及び前記間接音とのバランスを調整するものを含む、
請求項１乃至４のいずれかに記載の音声信号処理装置。

【請求項6】

前記パラメータは、前記直接音と前記間接音とのバランスを調整するためのものを含む、
請求項１乃至５のいずれかに記載の音声信号処理装置。

【請求項7】

前記設定部は、直接音／間接音バランス調整部を備え、
前記直接音／間接音バランス調整部は、前記直接音と前記間接音とのバランスを調整する、
請求項１乃至５のいずれかに記載の音声信号処理装置。

【請求項8】

コンピュータにステレオの音源をサラウンドの音源にアップミックスする処理を実行させる音声信号処理プログラムであって、
前記ステレオの音源を直接音と間接音とに分離する分離手順と、
前記直接音または前記間接音の少なくとも一方を調整するためのパラメータを生成する設定手順と、
前記パラメータに基づき、前記サラウンドの音源におけるチャンネルごとに前記直接音及び前記間接音に乗算する係数を生成する係数生成手順と、
前記直接音及び前記間接音に前記係数を乗算することにより、前記ステレオの音源を前記サラウンドの音源にアップミックスする演算手順をコンピュータに実行させる音声信号処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音質の低下を抑制しつつ音声信号をアップミックスする音声信号処理装置、音声信号処理プログラムに関する。

【背景技術】

【0002】

近年、４Ｋ放送や８Ｋ放送の実現に伴い、ステレオ（２ｃｈ）の音声フォーマットをアップミックスして５．１ｃｈサラウンドや３Ｄオーディオに対応する２２．２ｃｈサラウンドの音声フォーマットを生成する需要が高まっている。生放送では、ステレオの音声フォーマットから５．１ｃｈサラウンドや２２．２ｃｈサラウンドの音声フォーマットをリアルタイムで生成することにより、２Ｋ放送と同時に４Ｋ放送や８Ｋ放送を行うこともある。

【0003】

アップミックスの具体的な手法としては、特許文献１に記載されているように、ステレオの音源を左右それぞれで直接音と間接音とに分離し、これら４つの音源に対して遅延処理などの各種処理を行うことにより、サラウンドにおける各チャンネルの出力とする。また、特許文献２に記載されている技術では、ステレオの音源を左右それぞれで直接音と間接音とに分離した後に、ＨＲＩＲを用いてアップミックスする手法も知られている。なお、ステレオの音源を直接音と間接音とに分離する手法としては、特許文献３に記載されているように、ステレオの音源からコヒーレント成分を抽出する方法が優れている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５－０７６８５７号公報

【特許文献2】特開２０１７－１６３４５８号公報

【特許文献3】国際公開第２０１７／１８８１４１号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１及び２においては、ステレオの音源を分離した後、遅延処理やＨＲＩＲに伴うフィルタ処理を行うため、元の音源に歪みが生じるという問題があった。特に、近年ではステレオの音源からアップミックスして生成したサラウンドの音源を、再びステレオの音源にダウンミックスするという需要もあるが、アップミックスの際に元の音源に歪みが生じていると、ステレオの音源にダウンミックスした際にもこのような歪みが残るという問題もあった。また、特許文献２においては、リファレンスのＨＲＩＲを必要としているが、入手が困難という問題もあった。

【0006】

本発明は、上記課題を解決すべく、ステレオの音源に歪みを生じさせないようにアップミックスすることの出来る音声信号処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の音声信号処理装置は、次のような構成を備える。
（１）ステレオの音源をサラウンドの音源にアップミックスする音声信号処理装置である。
（２）前記ステレオの音源を直接音と間接音とに分離する分離部。
（３）前記直接音または前記間接音の少なくとも一方を調整するためのパラメータを生成する設定部。
（４）前記パラメータに基づき、前記サラウンドの音源におけるチャンネルごとに前記直接音及び前記間接音に乗算する係数を生成する係数生成部。
（５）前記直接音及び前記間接音に前記係数を乗算することにより、前記ステレオの音源を前記サラウンドの音源にアップミックスする演算部。

【0008】

また、本発明の音声信号処理装置は、次のような構成を更に備えてもよい。
（１）前記パラメータは、前記サラウンドの音源のフロント側チャンネルにおいて、センター音源と当該センター音源以外の音源とのバランスを調整するためのものを含む。
（２）前記パラメータは、前記サラウンドの音源のリア側チャンネルにおいて、センター音源と当該センター音源以外の音源とのバランスを調整するためのものを含む。
（３）前記パラメータは、前記サラウンドの音源のフロント側チャンネルから出力される前記直接音に対して、前記間接音のミキシング量を調整するためのものを含む。
（４）前記サラウンドの音源は、３Ｄオーディオに対応し、前記パラメータは、前記サラウンドの音源における中層のチャンネルから出力される前記直接音及び前記間接音と、上下層のチャンネルから出力される前記直接音及び前記間接音とのバランスを調整するものを含む。
（５）前記パラメータは、前記直接音と前記間接音とのバランスを調整するためのものを含む。
（６）前記設定部は、直接音／間接音バランス調整部を備え、前記直接音／間接音バランス調整部は、前記直接音と前記間接音とのバランスを調整する。

【0009】

本発明の音声信号処理プログラムは、次のような構成を備える。
（１）コンピュータにステレオの音源をサラウンドの音源にアップミックスする処理を実行させる音声信号処理プログラムである。
（２）前記ステレオの音源を直接音と間接音とに分離する分離手順。
（３）前記直接音または前記間接音の少なくとも一方を調整するためのパラメータを生成する設定手順。
（４）前記パラメータに基づき、前記サラウンドの音源におけるチャンネルごとに前記直接音及び前記間接音に乗算する係数を生成する係数生成手順。
（５）前記直接音及び前記間接音に前記係数を乗算することにより、前記ステレオの音源を前記サラウンドの音源にアップミックスする演算手順。

【発明の効果】

【0010】

本発明によれば、ステレオの音源に歪みを生じさせないようにアップミックスすることが出来る。

【図面の簡単な説明】

【0011】

【図1】実施形態の音声信号処理装置の構成を示すブロック図。

【図2】実施形態の音声信号処理装置の構成の一部を詳細に示すブロック図。

【図3】実施形態の直接音／間接音バランス調整部における作用を示す図。

【図4】実施形態のフロントバランス調整部における作用を示す図。

【図5】実施形態のリアバランス調整部における作用を示す図。

【図6】実施形態のミキシング量調整部における作用を示す図。

【図7】実施形態の層間バランス調整部における作用を示す図。

【図8】実施形態の演算部における作用を示す図。

【図9】実施形態の音声信号処理装置の作用を示すフローチャート。

【図10】他の実施形態の音声信号処理装置の構成の一部を詳細に示すブロック図。

【発明を実施するための形態】

【0012】

［第１の実施形態］
［構成］
図１に示す本実施形態の音声信号処理装置１００は、例えば、音声調整卓あるいはミキサーとして知られているものである。以下の説明においては、ステレオから２２．２ｃｈサラウンドへのアップミックスを例に挙げ、音声信号処理装置１００に入力される音声信号は、ステレオの音源のものとする。２２．２ｃｈサラウンドは、チャンネル１～２４の２４のチャンネルにより構成される。具体的には、上層の９チャンネルと、中層の１０チャンネルと、下層の３．２チャンネルとにより構成される。なお、下層の３．２チャンネルには、２つのＬＦＥが含まれる。また、２２．２ｃｈサラウンドは、フロント側の１１．２チャンネルとサイド側及びリア側の１１チャンネルに分けて考えることも出来る。説明を容易にするため、フロント側チャンネルからは主に直接音が、サイド側チャンネル及びリア側チャンネルからは主に間接音が、それぞれ出力されるものとして考えるが、間接音は、フロント側チャンネルから出力されても良い。

【0013】

音声信号処理装置１００は、ステレオの音源を左右それぞれで直接音と間接音とに分離する分離部１０と、分離した音源を調整するための各種パラメータを生成する設定部２０と、生成したパラメータに基づいて係数を生成する係数生成部３０と、この係数と分離した音源とからアップミックスされたサラウンドの音源を生成する演算部４０と、を備える。

【0014】

分離部１０は、ステレオの音源を左右それぞれで直接音と間接音とに分離する。すなわち、左の直接音ＤＬ、右の直接音ＤＲ、左の間接音ＲＬ、右の間接音ＲＲの４つの音源に分離する。ステレオの音源を直接音と間接音とに分離する手法としては、背景技術で説明した特許文献３の技術など、周知技術を用いることが出来る。分離部１０は、後段に設けられた演算部４０に、これら４つの音源を出力する。なお、直接音とは、直接耳に届く音であり、間接音とは、壁などに反射して耳に届く音である。

【0015】

設定部２０は、分離部１０が分離した４つの音源を調整するためのパラメータを生成する。図２に示すように、設定部２０は、直接音と間接音とのバランスを調整する直接音／間接音バランス調整部２１と、直接音におけるセンター音源とセンター音源以外の音源とのバランスを調整するフロントバランス調整部２２と、間接音におけるセンター音源とセンター音源以外の音源とのバランスを調整するリアバランス調整部２３と、直接音と間接音とのミキシング量を調整するミキシング量調整部２４と、直接音及び間接音における中層チャンネルからの出力と上下層チャンネルからの出力とのバランスを調整する層間バランス調整部２５と、を備える。

【0016】

図３に示すように、直接音／間接音バランス調整部２１は、例えば１つの操作子を備え、この操作子を左に回転させると直接音のミキシング量が増加し、右に回転させると間接音のミキシング量が増加する。ミキシングエンジニアは、この操作子を左右に回転させることにより、アップミックス後のサラウンドの音源における直接音と間接音とのバランスを調整する。この調整の度合いは、ＲＯＯＭ値として後段に設けられた演算部４０に出力される。

【0017】

図４に示すように、フロントバランス調整部２２は、直接音のうち、センター音源とセンター音源以外の音源とのバランスを調整する。このセンター音源は、直接音のうちセンターに定位する成分である。また、このセンター音源以外の音源とは、直接音のうちセンター音源以外の成分である。フロントバランス調整部２２は、例えば１つの操作子を備え、この操作子を左に回転させるとセンター音源のミキシング量が増加し、右に回転させるとセンター音源以外の音源のミキシング量が増加する。ミキシングエンジニアは、この操作子を左右に回転させることにより、アップミックス後のサラウンドの音源における、フロント側チャンネルから出力されるセンター音源とセンター音源以外の音源とのバランスを調整する。この調整の度合いは、Ｆｄｉｖ値として後段に設けられた係数生成部３０に出力される。

【0018】

図５に示すように、リアバランス調整部２３は、間接音のうち、センター音源とセンター音源以外の音源とのバランスを調整する。このセンター音源は、間接音のうちセンターに定位する成分である。また、このセンター音源以外の音源とは、間接音のうちセンター音源以外の成分である。リアバランス調整部２３は、例えば１つの操作子を備え、この操作子を左に回転させるとセンター音源のミキシング量が増加し、右に回転させるとセンター音源以外の音源のミキシング量が増加する。ミキシングエンジニアは、この操作子を左右に回転させることにより、アップミックス後のサラウンドの音源における、リア側チャンネルから出力されるセンター音源とセンター音源以外の音源とのバランスを調整する。この調整の度合いは、Ｒｄｉｖ値として後段に設けられた係数生成部３０に出力される。

【0019】

図６に示すように、ミキシング量調整部２４は、フロント側チャンネルから出力される直接音に対する間接音のミキシング比率、及びリア側チャンネルから出力される間接音に対する直接音のミキシング比率を調整する。このために、ミキシング量調整部２４は、例えば主操作子Ｘと副操作子Ｙとを備える。

【0020】

主操作子Ｘは、フロント側チャンネルから出力される直接音と、間接音とのバランスを調整する。例えば、主操作子Ｘを左に回転させると直接音及び間接音のミキシング量が減少し、右に回転させると直接音及び間接音のミキシング量が増加する。一方で、副操作子Ｙは、間接音に対して直接音をミキシングする量、及びフロント側チャンネルから出力される直接音に対して間接音をミキシングする量を調整する。例えば、副操作子Ｙを左に回転させると間接音に対してミキシングする直接音の量及び直接音に対してミキシングする間接音の量が減少し、右に回転させると間接音に対してミキシングする直接音の量及び直接音に対してミキシングする間接音の量が増加する。ミキシングエンジニアは、主操作子Ｘと副操作子Ｙとを回転させることにより、フロント側チャンネルから出力される直接音に対する間接音のミキシング比率、及び間接音に対する直接音のミキシング比率を調整する。なお、主操作子Ｘと副操作子Ｙは連動するようにしても良いし、主操作子Ｘは固定して副操作子Ｙだけが回転するようにしても良い。連動させる場合は、主操作子Ｘの回転方向と反対方向に副操作子Ｙが回転するようにすると良い。この調整の度合いは、ＦＲｄｉｖ値として後段に設けられた係数生成部３０に出力される。

【0021】

図７に示すように、アップミックス後のサラウンドの音源が３Ｄオーディオに対応している場合、層間バランス調整部２５は、中層チャンネルから出力される直接音及び間接音と、上下層チャンネルから出力される直接音及び間接音とのバランスを調整する。すなわち、層間バランス調整部２５は、例えば１つの操作子を備え、この操作子を左に回転させると中層チャンネルから出力される直接音及び間接音が強調され、右に回転させると上下層チャンネルから出力される直接音及び間接音が強調される。ミキシングエンジニアは、この操作子を左右に回転させることにより、中層チャンネルから出力される直接音及び間接音と、上下層チャンネルから出力される直接音及び間接音とのバランスを調整する。この調整の度合いは、ＥＬｄｉｖ値として後段に設けられた係数生成部３０に出力される。

【0022】

図２に戻り、係数生成部３０は、設定部２０が生成した４つのパラメータＦｄｉｖ、Ｒｄｉｖ、ＦＲｄｉｖ、ＥＬｄｉｖを任意に組み合わせて四則演算することにより、係数Ａ、Ｂ、Ｃ、Ｄを生成する。また、この組み合わせ及び四則演算は、サラウンドにおける各チャンネルにより異なっている。すなわち、２２．２ｃｈのそれぞれに対してＦｄｉｖ、Ｒｄｉｖ、ＦＲｄｉｖ、ＥＬｄｉｖの各値が組み合わせられることにより、２４組の係数Ａ１～Ｄ１、・・・、Ａ２４～Ｄ２４が生成される。

【0023】

各係数Ａｎ～Ｄｎの生成について、より詳細に説明する。Ｆｄｉｖは、ＡｎＦｄｉｖ、ＢｎＦｄｉｖ、ＣｎＦｄｉｖ、ＤｎＦｄｉｖからなる。同様に、Ｒｄｉｖは、ＡｎＲｄｉｖ、ＢｎＲｄｉｖ、ＣｎＲｄｉｖ、ＤｎＲｄｉｖからなり、ＦＲｄｉｖは、ＡｎＦＲｄｉｖ、ＢｎＦＲｄｉｖ、ＣｎＦＲｄｉｖ、ＤｎＦＲｄｉｖからなり、ＥＬｄｉｖは、ＡｎＥＬｄｉｖ、ＢｎＥＬｄｉｖ、ＣｎＥＬｄｉｖ、ＤｎＥＬｄｉｖからなる。

【0024】

例えば、フロントバランス調整部２２の操作子を回転させることにより、サラウンドの音源におけるチャンネルごとにＡｎＦｄｉｖ、ＢｎＦｄｉｖが生成される。同様に、リアバランス調整部２３の操作子を回転させることにより、サラウンドの音源におけるチャンネルごとにＣｎＲｄｉｖ、ＤｎＲｄｉｖが生成され、ミキシング量調整部２４の操作子を回転させることにより、サラウンドの音源におけるチャンネルごとにＡｎＦＲｄｉｖ、ＢｎＦＲｄｉｖ、ＣｎＦＲｄｉｖ、ＤｎＦＲｄｉｖが生成され、層間バランス調整部２５の操作子を回転させることにより、サラウンドの音源におけるチャンネルごとにＡｎＥＬｄｉｖ、ＢｎＥＬｄｉｖ、ＣｎＥＬｄｉｖ、ＤｎＥＬｄｉｖが生成される。

【0025】

そして、Ａｎ～Ｄｎは、次の各式により生成される。
Ａｎ＝ＡｎＦｄｉｖ×ＡｎＲｄｉｖ×ＡｎＦＲｄｉｖ×ＡｎＥＬｄｉｖ
Ｂｎ＝ＢｎＦｄｉｖ×ＢｎＲｄｉｖ×ＢｎＦＲｄｉｖ×ＢｎＥＬｄｉｖ
Ｃｎ＝ＣｎＦｄｉｖ×ＣｎＲｄｉｖ×ＣｎＦＲｄｉｖ×ＣｎＥＬｄｉｖ
Ｄｎ＝ＤｎＦｄｉｖ×ＤｎＲｄｉｖ×ＤｎＦＲｄｉｖ×ＤｎＥＬｄｉｖ

【0026】

以上のようにして生成された係数Ａ１～Ｄ１、・・・、Ａ２４～Ｄ２４は、後段に設けられた演算部４０に出力される。

【0027】

図８に示すように、演算部４０は、分離部１０が分離した４つの音源ＤＬ、ＤＲ、ＲＬ、ＲＲと、直接音／間接音バランス調整部２１が生成したパラメータＲＯＯＭと、係数生成部３０が生成した係数Ａ１～Ｄ１、・・・、Ａ２４～Ｄ２４に基づいて、アップミックス後のサラウンドにおいて各チャンネルから出力する音声信号を演算する。演算部４０は、各チャンネルからの出力Ｔを、以下の（式１）により演算する。なお、（式１）において出力Ｔ及び各係数Ａ、Ｂ、Ｃ、Ｄに付されるｎは、サラウンドにおけるチャンネル番号であり、例えばＴ１はチャンネル１の出力Ｔである。また、ＤＬ’、ＤＲ’、ＲＬ’、ＲＲ’は、それぞれＤＬ、ＤＲ、ＲＬ、ＲＲをＲＯＯＭ値で調整したものである。これにより、演算部４０は、チャンネル１～２４からの出力Ｔ１～Ｔ２４をそれぞれ生成し、サラウンドの音源を生成する。なお、アップミックスされたサラウンドの音源は、各チャンネルに設けられた図示しないスピーカなどの出力装置から外部に出力される。
（数１）
Ｔｎ＝Ａｎ×ＤＬ’＋Ｂｎ×ＤＲ’＋Ｃｎ×ＲＬ’＋Ｄｎ×ＲＲ’・・・（式１）

【0028】

［作用］
図９を参照しつつ、本実施形態における音声信号処理装置１００の作用について説明する。まず、元の音声信号であるステレオの音源が、分離部１０に入力される。分離部１０は、ステレオの音源を、左の直接音ＤＬ、右の直接音ＤＲ、左の間接音ＲＬ、右の間接音ＲＲの４つの音源に分離する（ステップＳ０１）。分離された４つの音源は、演算部４０に入力される。

【0029】

設定部２０において、直接音／間接音バランス調整部２１がＲＯＯＭ値を、フロントバランス調整部２２がＦｄｉｖ値を、リアバランス調整部２３がＲｄｉｖ値を、ミキシング量調整部２４がＦＲｄｉｖ値を、層間バランス調整部２５がＥＬｄｉｖ値を、それぞれ生成し、後段に設けられた係数生成部３０または演算部４０に出力する（ステップＳ０２）。より詳細には、これらの各構成において、ミキシングエンジニアが１つまたは２つの操作子を回転させ、直接音または間接音の少なくとも一方を調整するためにミキシング量の調整を行う。この調整の結果として、上述の各パラメータが生成される。ＲＯＯＭ値と４つのパラメータＦｄｉｖ、Ｒｄｉｖ、ＦＲｄｉｖ、ＥＬｄｉｖに基づいて生成された係数とが演算部４０に入力され、アップミックス後のサラウンドの音源に反映される。すなわち、設定部２０におけるミキシング量の調整は、アップミックス後のサラウンドの音源を調整するものであるとも言える。

【0030】

係数生成部３０は、設定部２０が生成した４つのパラメータＦｄｉｖ、Ｒｄｉｖ、ＦＲｄｉｖ、ＥＬｄｉｖを任意に組み合わせて四則演算することにより、サラウンドの出力におけるチャンネルごとに係数Ａ、Ｂ、Ｃ、Ｄを生成する。すなわち、２２．２ｃｈのそれぞれに対してＦｄｉｖ、Ｒｄｉｖ、ＦＲｄｉｖ、ＥＬｄｉｖの各値が組み合わせられることにより、２４組の係数Ａ１～Ｄ１、・・・、Ａ２４～Ｄ２４が生成される（ステップＳ０３）。係数Ａ１～Ｄ１、・・・、Ａ２４～Ｄ２４は、後段に設けられた演算部４０に出力される。なお、間接音ＲＬ、ＲＲの係数Ｃｎ、Ｄｎの生成においては、直接音のミキシング量に関係するＦｄｉｖ値を用いなくてもよい。同様に、直接音ＤＬ、ＤＲの係数Ａｎ、Ｂｎの生成においては、間接音のミキシング量に関係するＲｄｉｖ値を用いなくてもよい。このように、各係数の生成において、必ずしも全てのパラメータを用いる必要はない。また、チャンネルによっては、全ての係数を四則演算により生成する必要もない。例えば、中層のフロント側における左チャンネル出力の係数は、Ｂｎ＝Ｄｎ＝１とすることが出来る。

【0031】

演算部４０は、分離部１０が生成した４つの音源ＤＬ、ＤＲ、ＲＬ、ＲＲと、直接音／間接音バランス調整部２１が生成したパラメータＲＯＯＭと、係数生成部３０が生成した２４組の係数Ａ１～Ｄ１、・・・、Ａ２４～Ｄ２４とに基づいて、上記（式１）から、２２．２ｃｈサラウンドにおける各チャンネルの出力Ｔ１～Ｔ２４を演算する（ステップＳ０４）。演算された出力Ｔ１～Ｔ２４は、サラウンドにおける各チャンネルに設けられた図示しないスピーカから出力される。

【0032】

［効果］
（１）本実施形態の音声信号処理装置１００は、ステレオの音源を分離部１０が分離して生成した左の直接音ＤＬ、右の直接音ＤＲ、左の間接音ＲＬ、右の間接音ＲＲの４つの音源に対して、直接音／間接音バランス調整部２１が生成したＲＯＯＭ値により調整した上で、設定部２０が生成した４つのパラメータＦｄｉｖ、Ｒｄｉｖ、ＦＲｄｉｖ、ＥＬｄｉｖに基づいて係数生成部３０が生成した係数を、演算部４０が乗算することにより、ステレオの音源からサラウンドの音源を生成する。このように、遅延処理やフィルタ処理を行うことなくステレオの音源をアップミックスするので、アップミックスに伴う音源の歪みを抑制することが出来る。そのため、アップミックスしたサラウンドの音源をステレオの音源に再度ダウンミックスしても、ステレオの音源に生じる歪みが少ない。

【0033】

（２）本実施形態の音声信号処理装置１００の設定部２０は、フロントバランス調整部２２を備える。これにより、フロント側チャンネル出力においてセンター音源だけを他の音源に比較して強調することが出来るので、センター音源が他の音源に埋もれて聞こえづらくなるという事態を回避することが出来る。特に、センター音源にコメントなどの重要な情報が含まれている場合に、コメントが聞こえないという事態を回避することが出来る。

【0034】

（３）本実施形態の音声信号処理装置１００の設定部２０は、リアバランス調整部２３を備える。これにより、リア側チャンネル出力においてセンター音源と他の音源とのバランスを調整することが出来るので、リア側チャンネルから出力される音の拡がり方を調整することが出来る。

【0035】

（４）本実施形態の音声信号処理装置１００の設定部２０は、ミキシング量調整部２４を備える。これにより、センター音源が他の音源に比較して弱々しい場合であっても、フロント側チャンネルから出力される直接音に間接音をミックスすることにより、フロント側チャンネルから出力されるセンター音源を補強し、センターに定位する音を聴き易くすることが出来る。同様にして、間接音に直接音をミックスすることにより、センター音源を補強することが出来る。

【0036】

（５）本実施形態の音声信号処理装置１００の設定部２０は、層間バランス調整部２５を備える。これにより、サラウンドにおける中層の直接音及び間接音を上層及び下層にも拡げることが出来る。

【0037】

（６）本実施形態の音声信号処理装置１００の設定部２０は、直接音／間接音バランス調整部２１を備える。これにより、アップミックス後のサラウンドの音源において間接音を強調することが出来る。

【0038】

［他の実施形態］
本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。具体的には、次のような他の実施形態も包含する。

【0039】

（１）上記の実施形態においては、ステレオから２２．２ｃｈサラウンドへのアップミックスについて説明したが、例えばステレオから５．１ｃｈサラウンドへのアップミックスや、ステレオから３Ｄオーディオに対応する５．１．２ｃｈサラウンドへのアップミックスについても本発明を適用することが出来る。

【0040】

（２）上記の実施形態においては、各チャンネルの出力Ｔｎをそれぞれ演算するものとしたが、これに限られない。例えば、フロント側の左右チャンネルやサイド側及びリア側の左右チャンネルの出力については、同じにしてもよい。これにより、係数生成部３０や演算部４０の演算量を削減することが出来る。

【0041】

（３）上記の実施形態の設定部２０は、４つのパラメータＦｄｉｖ、Ｒｄｉｖ、ＦＲｄｉｖ、ＥＬｄｉｖを生成するようにしたが、これに限られない。設定部２０が１つでもパラメータを生成できるのであれば、係数Ａｎ～Ｄｎを生成するための四則演算を多様にすることで、各チャンネルｎの出力Ｔｎを細やかに調整することも可能である。また、図１０に示すように、Ｒｏｏｍ値も含めた５つのパラメータで係数Ａｎ～Ｄｎを生成するようにしても良い。この場合、例えば以下の各式により、係数を生成することが出来る。ただし、ＡｎＲｏｏｍ＝ＢｎＲｏｏｍ、ＣｎＲｏｏｍ＝ＤｎＲｏｏｍ＝１－ＡｎＲｏｏｍとする。
Ａｎ＝ＡｎＲｏｏｍ×ＡｎＦｄｉｖ×ＡｎＲｄｉｖ×ＡｎＦＲｄｉｖ×ＡｎＥＬｄｉｖ
Ｂｎ＝ＢｎＲｏｏｍ×ＢｎＦｄｉｖ×ＢｎＲｄｉｖ×ＢｎＦＲｄｉｖ×ＢｎＥＬｄｉｖ
Ｃｎ＝ＣｎＲｏｏｍ×ＣｎＦｄｉｖ×ＣｎＲｄｉｖ×ＣｎＦＲｄｉｖ×ＣｎＥＬｄｉｖ
Ｄｎ＝ＤｎＲｏｏｍ×ＤｎＦｄｉｖ×ＤｎＲｄｉｖ×ＤｎＦＲｄｉｖ×ＤｎＥＬｄｉｖ

【0042】

（４）上記の実施形態の設定部２０においては、ミキシングエンジニアが各構成に設けられた操作子を操作することによってパラメータを生成したが、音声信号処理装置１００に設けられたＧＵＩを操作することによってパラメータを生成してもよい。

【0043】

（５）上記の実施形態の設定部２０は、直接音／間接音バランス調整部２１、フロントバランス調整部２２、リアバランス調整部２３、ミキシング量調整部２４、層間バランス調整部２５を備えるものとしたが、これらの構成に加えて、イコライザを備えてもよい。この場合、イコライザは、ステレオの音源を歪め過ぎない程度に利用される。

【0044】

（６）上記の実施形態のミキシング量調整部２４は、直接音に対してミキシングする間接音の量と、間接音に対してミキシングする直接音の量を調整するようにしたが、前者だけであってもよい。すなわち、間接音に対して直接音をミキシングしなくてもよい。

【0045】

（７）上記の実施形態の層間バランス調整部２５は、１つの操作子でサラウンドの音源における中層の直接音及び間接音を上下層に拡げることとしたが、２つの操作子を備えることにより、直接音と間接音とを個別に調整することも出来る。なお、２つの操作子は連動するようにしても良いし、一方は固定して他方だけが回転するようにしても良い。連動させる場合は、一方の回転方向と反対方向に他方が回転するようにすると良い。

【0046】

（８）上記の実施形態においては、音声信号処理装置１００というハードウェアについて説明したが、コンピュータに音声信号処理装置１００の各構成の作用を手順として実行させるプログラムなどのソフトウェアによっても同様の効果を奏することが出来る。例えば、分離部１０と、設定部２０と、係数生成部３０と、演算部４０を構成として備える音声信号処理装置１００の代わりに、ステレオの音源を直接音と間接音とに分離する分離手順と、直接音または間接音の少なくとも一方を調整するためのパラメータを生成する設定手順と、パラメータに基づき、サラウンドの音源におけるチャンネルごとに直接音及び間接音に乗算する係数を生成する係数生成手順と、直接音及び間接音に係数を乗算することにより、ステレオの音源をサラウンドの音源にアップミックスする演算手順をコンピュータに実行させる音声信号処理プログラムによっても、同様の効果を奏することが出来る。この手順は、例えば図９の説明と同様に行われる。

【符号の説明】

【0047】

１００…音声信号処理装置
１０…分離部
２０…設定部
２１…直接音／間接音バランス調整部
２２…フロントバランス調整部
２３…リアバランス調整部
２４…ミキシング量調整部
２５…層間バランス調整部
３０…係数生成部
４０…演算部
Ｘ…主操作子
Ｙ…副操作子
ＤＬ…左の直接音
ＤＲ…右の直接音
ＲＬ…左の間接音
ＲＲ…右の間接音
Ａ～Ｄ…係数
Ｔ…出力

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】