特開 2024-113798 音声信号処理装置及び音声信号処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024113798

(43)【公開日】2024-08-23

(54)【発明の名称】音声信号処理装置及び音声信号処理プログラム

(51)【国際特許分類】

   H04S 5/02 20060101AFI20240816BHJP

【ＦＩ】

H04S5/02

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023018990

(22)【出願日】2023-02-10

(71)【出願人】

【識別番号】390005223

【氏名又は名称】株式会社タムラ製作所

(74)【代理人】

【識別番号】100081961

【弁理士】

【氏名又は名称】木内 光春

(74)【代理人】

【識別番号】100112564

【弁理士】

【氏名又は名称】大熊 考一

(74)【代理人】

【識別番号】100163500

【弁理士】

【氏名又は名称】片桐 貞典

(74)【代理人】

【識別番号】230115598

【弁護士】

【氏名又は名称】木内 加奈子

(72)【発明者】

【氏名】波多野 渉

【テーマコード（参考）】

5D162

【Ｆターム（参考）】

5D162AA05

5D162BA07

5D162CA01

5D162CB12

5D162CC32

5D162CC33

5D162DA22

5D162EE11

(57)【要約】

【課題】音源分離の処理時間を短くし、遅延の発生を軽減することを可能とすると共に、ステレオ音源からアップミックスしたものをダウンミックスした場合でも音源に歪みを生じさせることがない音声処理装置を提供する。
【解決手段】音声信号処理装置１００は、ステレオ音源の入力部１と、入力部１から入力されたステレオ音源を直接音と間接音とに分離する分離部１０を備える。分離部１０は、入力部から入力されたステレオ音源を所定の帯域ごとに分割する分割部を有する。分割部１２は、前段のフィルタＬＰＦ１～ＬＰＦ３の出力信号が後段のフィルタＬＰＦ２～ＬＰＦ４の入力信号となるように、複数段に設けられたフィルタＬＰＦ１～ＬＰＦ４を備える。複数のフィルタＬＰＦ１～ＬＰＦ４のそれぞれは、入力信号を所定の帯域において通過させて除去信号を生成すると共に、入力信号から除去信号を減算して分割信号を生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

音源の入力部と、
前記入力部から入力された前記音源を所定の帯域ごとに分割する分割部と、
前段のフィルタの出力信号が後段のフィルタの入力信号となるように、前記分割部に複数段に設けられたフィルタとを備え、
前記複数のフィルタのそれぞれは、前記入力信号を所定の帯域において通過させて除去信号を生成すると共に、前記入力信号から前記除去信号を減算して分割信号を生成する
ことを特徴とする音声信号処理装置。

【請求項2】

前記音声信号処理装置は、ステレオ音源をサラウンド音源にアップミックスするものであり、
前記分割部の後段には、前記ステレオ音源の左右のチャンネルから生成された同じ帯域の前記分割信号同士の相関を検出する相関検出部と、
前記相関検出部によって検出された左右のチャンネルの同じ帯域の前記分割信号同士を比較して、前記分割信号ごとに相関の高い成分を直接音として抽出し、相関の低い成分を間接音として抽出する直接音と間接音の抽出部と、
前記左右のチャンネルごとに、前記直接音と間接音の抽出部から出力された前記各分割信号の直接音と間接音を加算して、左右のチャンネルごとの直接音と間接音を生成する演算部を有する請求項１に記載の音声信号処理装置。

【請求項3】

前記分離部は、前記直接音または前記間接音の少なくとも一方を調整するためのパラメータを生成する設定部と、
前記パラメータに基づき、前記サラウンド音源におけるチャンネルごとに前記直接音及び前記間接音に乗算する係数を生成する係数生成部と、
前記直接音及び前記間接音に前記係数を乗算することにより、前記ステレオ音源を前記サラウンド音源にアップミックスする演算部を備える請求項２に記載の音声信号処理装置。

【請求項4】

音源からの入力信号を複数のフィルタによって所定の帯域ごとに分割するにあたり、
前記入力信号から前段のフィルタによって除去信号を生成し、前記入力信号から前記除去信号を減算して分割信号を生成するする第１処理と、
前記前段のフィルタから出力された前記分割信号を後段のフィルタの入力信号として、前記後段のフィルタの通過信号を前記前段のフィルタから出力された前記分割信号に対する新たな除去信号を生成し、前記後段のフィルタの入力信号から前記新たな除去信号を減算して新たな分割信号を生成する第２の処理を、
前記複数のフィルタの段数に応じて、コンピュータに実行させる音声信号処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば、Nチャンネルの音声信号をMチャンネルの音声信号にアップミックスするために適した音声信号処理装置及び音声信号処理プログラムに関する。

【背景技術】

【0002】

放送などのメディアで取りあつかう音声フォーマットはステレオから５．１チャンネルサラウンド、現在では２２．２ｃｈをはじめとする３Ｄオーディオに広がっている。オーディオミキシングコンソール（以下、音声調整卓という）等のオーディオ制作ツールでは様々な音声フォーマットに対応するため、他のフォーマットで制作したパッケージを簡単に変換できるツールが求められている。

【0003】

特に、NチャンネルからMチャンネルにアップミックスする機能は昔のステレオパッケージを３Dオーディオのフォーマットで制作、放送する需要が高まっていて、いくつかの製品がリリースされている。しかし、従来のアップミックスの制作ツールは、低遅延でリアルタイムに使用できるものが少ないことから、現状では、ユーザにとって使いやすく、音声処理の処理規模が少ないツールが求められている。また、従来の制作ツールは、拡散音生成のために使用するイコライザ、ディレイリバーブなどにより生成したマルチチャンネルの音声をサイマル放送用のためにステレオにダウンミックスした時に元のステレオ音源と異なってしまう。

【0004】

アップミックスの具体的な手法としては、特許文献１に記載されているように、ステレオ音源を左右それぞれで直接音と間接音とに分離し、これら４つの音源に対して遅延処理などの各種処理を行うことにより、サラウンドにおける各チャンネルの出力を生成する。また、特許文献２に記載されている技術は、ステレオ音源を左右それぞれで直接音と間接音とに分離した後に、ＨＲＩＲを用いてアップミックスする手法として知られている。一方、ステレオ音源を直接音と間接音とに分離する手法としては、特許文献３に記載されているように、ステレオ音源からコヒーレント成分を抽出する方法が優れている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１７－１６３４５８号公報

【特許文献2】特開２０１５－０７６８５７号公報

【特許文献3】特許第６８４６８２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献３の発明では、音源分離のためにＦＦＴを用いた手法を用いている。具体的には、ＦＦＴの変化形である変形離散コサイン変換（ＭＤＣＴ）を採用している。一般的にＦＦＴを用いる方法は計算量とメモリの規模が大きく、他のアプリケーションと同時に多くの機能の実行が必要な例えば音声調整卓の様な装置ではコストが問題となってくる。特に、ＦＦＴを用いた音源分離の場合、低周波の分離の精度を得るには相応の音声データの評価が必要となり、遅延が発生すると共に、評価に使用する音声区間の連続性がなくなり、プログラム全体のうねり感が損なわれるという問題もある。また、分析や評価のために音声を取り込むと、その分遅延が増え、放送局の生放送の用途など特にリアルタイム性が必要な用途では実用上好ましくない。

【0007】

例えば、特許文献３の発明ではチャンネル当たり２３バンドのフィルタバンクに分割しているが、このような多数のバンクに分割すると音源分離に大きな処理時間が必要となる問題が発生する。例えば、分割バンド数を３から４程度にまで削減したとしても、ステレオ音源を処理する場合の処理時間に１００から２００ｍｓの遅延が生じる。一般に、デジタル放送において、音源が数ｍｓの遅延が生じた場合、スムーズに会話ができなくなると言われていることから、このような大きな遅延時間は好ましくない。

【0008】

更に、近年ではステレオ音源からアップミックスして生成したサラウンド音源を、サイマル放送のために再びステレオ音源にダウンミックスするという需要もあるが、アップミックスの際に元の音源をイコライザや、DELAYなどを通して加工してしまうとステレオ音源にダウンミックスした際に元の音源に対して差異が発生するという問題もあった。

【0009】

本発明は、前記のような従来技術の問題点を解決するために提案されたものである。本発明の目的は、音源分離の処理時間を短くし、遅延の発生を軽減することを可能とすると共に、ステレオ音源からアップミックスしたものをダウンミックスした場合でも元の音源に対して差異を発生させることがない音声処理装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の音声信号処理装置は、次のような構成を備える。
（１）音源の入力部。
（２）前記入力部から入力された前記音源を所定の帯域ごとに分割する分割部。
（２－１）前段のフィルタの出力信号が後段のフィルタの入力信号となるように、前記分割部に複数段に設けられたフィルタ。
（２－２）前記複数のフィルタのそれぞれは、前記入力信号を所定の帯域において通過させて除去信号を生成すると共に、前記入力信号から前記除去信号を減算して分割信号を生成する。

【0011】

本発明において、下記のような構成を採用することができる。
（１）前記音声信号処理装置は、ステレオ音源をサラウンド音源にアップミックスするものであり、
前記分割部の後段には、前記ステレオ音源の左右のチャンネルから生成された同じ帯域の前記分割信号同士の相関を検出する相関検出部と、
前記相関検出部によって検出された左右のチャンネルの同じ帯域の前記分割信号同士を比較して、前記分割信号ごとに相関の高い成分を直接音として抽出し、相関の低い成分を間接音として抽出する直接音と間接音の抽出部と、
前記左右のチャンネルごとに、前記直接音と間接音の抽出部から出力された前記各分割信号の直接音と間接音を加算して、左右のチャンネルごとの直接音と間接音を生成する演算部を有する。
（２）前記ステレオ音源を直接音と間接音とに分離された信号を、前記直接音または前記間接音の少なくとも一方を調整するためのパラメータを生成する設定部と、
前記パラメータに基づき、前記サラウンド音源におけるチャンネルごとに前記直接音及び前記間接音に乗算する係数を生成する係数生成部と、
前記直接音及び前記間接音に前記係数を乗算することにより、前記ステレオ音源を前記サラウンド音源にアップミックスする演算部を備える。

【0012】

本発明の音声信号処理プログラムは、次のような構成を備える。
音源からの入力信号を複数のフィルタによって所定の帯域ごとに分割するにあたり、
前記入力信号から前段のフィルタによって除去信号を生成し、前記入力信号から前記除去信号を減算して分割信号を生成するする第１処理と、
前記前段のフィルタから出力された前記分割信号を後段のフィルタの入力信号として、前記後段のフィルタの通過信号を前記前段のフィルタから出力された前記分割信号に対する新たな除去信号を生成し、前記後段のフィルタの入力信号から前記新たな除去信号を減算して新たな分割信号を生成する第２の処理を、
前記複数のフィルタの段数に応じて、コンピュータに実行させる。

【発明の効果】

【0013】

本発明によれば、音源分離の処理時間を短くし、遅延の発生を軽減することを可能とすると共に、ステレオ音源からアップミックスしたものをダウンミックスした場合でも音源に歪みを生じさせることがない音声処理装置及び音声処理プログラムを提供することが可能となる。

【図面の簡単な説明】

【0014】

【図1】第１実施形態の音声信号処理装置の構成を示すブロック図。

【図2】第１実施形態における分割部の構成を示すブロック図。

【図3】第１実施形態における分割部における各段のフィルタと信号の流れを示す図。

【図4】第１実施形態における設定部の構成を示すブロック図。

【図5】第１実施形態の演算部における作用を示す回路図。

【発明を実施するための形態】

【0015】

［１．第１の実施形態］
［１－１．構成］
図１に示す本実施形態の音声信号処理装置１００は、例えば、音声調整卓あるいはミキサーとして知られているものである。以下の説明においては、ステレオから２２．２ｃｈサラウンドへのアップミックスを例に挙げ、音声信号処理装置１００に入力される音声信号は、ステレオ音源のものとする。

【0016】

２２．２ｃｈサラウンドは、チャンネル１～２４の２４のチャンネルにより構成される。具体的には、上層の９チャンネルと、中層の１０チャンネルと、下層の３．２チャンネルとにより構成される。なお、下層の３．２チャンネルには、２つのＬＦＥ（低音増強(Low Frequency Effect)用チャンネル）が含まれる。また、２２．２ｃｈサラウンドは、フロント側の１１．２チャンネルとサイド側及びリア側の１１チャンネルに分けて考えることもできる。説明を容易にするため、フロント側チャンネルからは主に直接音が、サイド側チャンネル及びリア側チャンネルからは主に間接音が、それぞれ出力されるものとして考えるが、間接音は、フロント側チャンネルから出力されても良い。

【0017】

音声信号処理装置１００は、ステレオ音源の入力部１と、入力部１から入力された左右のチャンネルの信号のそれぞれについて、直接音と間接音に分離する分離部１０と、分離部１０によって抽出された直接音と間接音を調整するための各種パラメータを生成する設定部２０と、生成したパラメータに基づいて係数を生成する係数生成部３０と、この係数と分離した音源とからアップミックスされたサラウンド音源を生成する演算部４０と、を備える。

【0018】

分離部１０は、ステレオ信号の左右各チャンネルの信号をＲチャンネル側の直接音ＲＤと間接音ＲＲ、及びＬチャンネル側の直接音ＬＤと間接音ＬＲに分離するものであり、一例として、図２に示すような構成のものが使用される。すなわち、図２において、符号１１はステレオ信号の入力部、１２はステレオ信号の左右のチャンネルの信号をそれぞれ所定の帯域ごとに分割する分割部、１３は分割された各帯域の信号について、左右のチャンネルの同じ帯域の信号同士を比較して、その相関を検出する相関検出部である。相関検出部１３は、一例として、左右のチャンネルの同帯域の信号同士がどの程度の相関を有するかを検出する係数検出部１３１と、相関検出部１３に入力された各チャンネルのそれぞれの帯域の分割信号に対して、係数検出部１３１が検出した係数を乗じることによって、分割信号から直接音と間接音を抽出する乗算部１３２を有する。

【0019】

相関検出部１３の後段には、帯域ごとに分割されている各チャンネルの分割信号の直接音と間接音をそれぞれ加算して、全帯域の信号に変換する加算器１４が設けられている。この加算器１４からは、左右のチャンネルごとに全帯域のステレオ信号がＲチャンネル側の直接音ＲＤと間接音ＲＲ、及びＬチャンネル側の直接音ＬＤと間接音ＬＲに分離された状態で、出力部１５から出力される。

【0020】

上記のような構成を有する分離部１０における分割部１２の構成の一例を、図３により説明する。この分割部１２は、入力されたステレオ信号を左右のチャンネルごとに所定の帯域でN個に分割するために、複数のフィルタを多段に設けたものを使用する。なお、図３では、ステレオ信号のＲチャンネル及びＬチャンネルをそれぞれ５つに分割する構成を示している。これらのフィルタとしては、例えばローパスフィルタのように、入力信号の所定の帯域成分のみを除去するフィルタが使用される。また、各フィルタが除去する信号帯域は、分割するチャンネルに対応して適切な値に設定されている。本実施形態では、カット周波数ｆｃ＝ｆ１～ｆ４を有する第１フィルタＬＰＦ１～第４フィルタＬＰＦ４が設けられ、これらのフィルタＬＰＦ１～ＬＰＦ４によって1つのチャンネルの音源からの入力信号Ｘｉｎが、それぞれ異なる周波数帯域ｆｃ１～ｆｃ５を有する５つの分割信号Ｘ０～Ｘ４に分割される。

【0021】

具体的には、図３において、ステレオ音源の左右いずれかのチャンネルの信号を入力する入力部１には、第１フィルタＬＰＦ１が接続されている。この第１フィルタＬＰＦ１は、入力部１からの入力信号Ｘｉｎを所定の帯域において通過させるもので、その通過信号を入力信号Ｘｉｎに対する第１除去信号ＬＰＦ１ａとする。第１フィルタＬＰＦ１の後段には減算器が設けられ、この減算器により、入力信号Ｘｉｎから通過信号（第１除去信号ＬＰＦ１ａ）を減算して第１分割信号ＬＰＦ１ｂを生成する。

【0022】

第２フィルタＬＰＦ２は第１フィルタＬＰＦ１とは異なる帯域の信号を通過させるものである。第２フィルタＬＰＦ２は、第１フィルタＬＰＦ１から出力された第１分割信号ＬＰＦ１ｂを入力信号として第２除去信号ＬＰＦ２ａを出力する。第２フィルタＬＰＦ２の後段には減算器が設けられ、この減算器により第１フィルタＬＰＦ１から出力された第１分割信号ＬＰＦ１ｂから、第２フィルタＬＰＦ２の通過信号（第２除去信号ＬＰＦ２ａ）を減算して第２分割信号ＬＰＦ２ｂを生成する。

【0023】

以下同様にして、第３フィルタＬＰＦ３及び第４フィルタＬＰＦ４によって、それぞれ除去信号ＬＰＦ３ａ及びＬＰＦ４ａと、分割信号ＬＰＦ３ｂ及びＬＰＦ４ｂが生成される。また、最終段の第４フィルタＬＰＦ４については、その通過信号（第４分割信号ＬＰＦ４ａと同値）が、５つ目の分割信号ＬＰＦ５ｂとして出力される。その結果、分離部１０からは５つの分割信号Ｘ０（ＬＰＦ１ｂ）～～Ｘ４（ＬＰＦ５ｂ）が出力される。

【0024】

本実施形態において、ステレオ信号の左右２チャンネルに対して、それぞれ４つのフィルタＬＰＦ１～ＬＰＦ４が設けられているが、フィルタ数は任意であり、アップミックスするチャンネル数に応じて１つあるいは複数個設けられる。本実施形態では、４つのフィルタを設けることにより、入力されたステレオ信号の１つのチャンネルの信号Ｘｉｎが、結果として、以下のような５つの分割信号Ｘ０～Ｘ４に分割される。
分割信号Ｘ０ ｆｃ１＝ｆ１のハイパスフィルタを通過した信号
分割信号Ｘ１ ｆｃ２＝（ｆ１－ｆ２）／２のバンドパスフィルタを通過した信号
分割信号Ｘ２ ｆｃ３＝（ｆ２－ｆ３）／２のバンドパスフィルタを通過した信号
分割信号Ｘ３ ｆｃ４＝（ｆ３－ｆ４）／２のバンドパスフィルタを通過した信号
分割信号Ｘ４ ｆｃ５＝ｆ４のローパスフィルタを通過した信号

【0025】

分離部１０には、前記のようにしてＲチャンネルとＬチャンネルの５つに分割したそれぞれの信号について、その相関（コヒーレント）を検出することにより、直接音と間接音を分離する相関検出部ＣｏｒＬ１～ＣｏｒＬ５，ＣｏｒＲ１～ＣｏｒＲ５（図２の相関検出部１３に相当する）が設けられている。これらの相関検出部は、Ｒチャンネル側の各分割信号Ｘ０～Ｘ４とＬチャンネル側の各分割信号Ｘ０～Ｘ４とを入力して、その相関を検出し、各分割信号Ｘ０～Ｘ４中の相関の高い成分については、その成分を直接音として、直接音混合部ＭＩＸ１に出力する。また、これらの相関検出部は、Ｒチャンネル側の各分割信号Ｘ０～Ｘ４とＬチャンネル側の各分割信号Ｘ０～Ｘ４中の相関の低い成分については、元の分割信号Ｘ０～Ｘ４から相関の高い直接音成分を除去することで、相関の低い成分を間接音として、間接音混合部ＭＩＸ２に出力する。図３の直接音混合部ＭＩＸ１と間接音混合部ＭＩＸ２は、図２の加算器１４に相当する。

【0026】

なお、直接音と間接音を分離する手法としては、図示のものに限定されない。例えば、ＭＩＸ２として、現信号からＭＩＸ１を引く構成とすれば、より簡単に間接音を生成することができる。

【0027】

本実施形態では、分割部１２によって得られた５つの分割信号Ｘ０～Ｘ４と、各段のフィルタＬＰＦ１～ＬＰＦ４の関係は次のとおりである。
Ｘ０＝Ｘｉｎ－ＬＰＦ１
Ｘ１＝ＬＰＦ１－ＬＰＦ２
Ｘ２＝ＬＰＦ２－ＬＰＦ３
Ｘ３＝ＬＰＦ３－ＬＰＦ４
Ｘ４＝ＬＰＦ４

【0028】

そのため、これらの分割信号Ｘ０～Ｘ４を加算した場合に、得られる信号Ｘｏｕｔは、次のようになる。
Ｘｏｕｔ＝Ｘ０＋Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４
＝（Ｘｉｎ－ＬＰＦ１）＋（ＬＰＦ１－ＬＰＦ２）＋（ＬＰＦ２－ＬＰＦ３）＋（ＬＰＦ３－ＬＰＦ４）＋ＬＰＦ４
＝Ｘｉｎ

【0029】

このように、本実施形態では、分割部１２で分割した分割信号Ｘ０～Ｘ４を加算した場合に、ステレオ音源から分割部１２に対する入力信号Ｘｉｎと同等の加算信号Ｘｏｕｔが得られるので、一旦フィルタで分割した信号を加算した場合でも音源に歪みを生じさせることがない。例えば、従来から知られているパンドパスフィルタの並列接続では、一度分割した信号をその後加算した場合につなぎ部分の連続性に課題があったが、本実施形態ではそのような問題点が解決される。このように、本実施形態によれば、原音に再帰可能な直接音と間接音を得ることができる。

【0030】

本実施形態によれば、５つの分割信号Ｘ０～Ｘ４をそのまま全て加算しても、また、相関を取った後に直接音と間接音に分離した後でも、それらを加算すれば元の音源に戻ることになる。しかし、直接音と間接音に基づいて生成したサラウンド音源の場合には、本実施形態では後述する演算部４０において４つの係数をかける処理を実行しているので、生成したサラウンド音源からステレオ音源に戻す場合は単純な加算処理では元のステレオ音源に戻らない。その場合でも、演算部４０で実施した処理を記憶しておき、加算時に演算部４０の処理を相殺することで、元のステレオ音源に戻すことも可能である。

【0031】

このように図２の分割部１２によって得られた分割信号Ｘ０～Ｘ４に基づいてＲチャンネル側の直接音ＲＤと間接音ＲＲ、及びＬチャンネル側の直接音ＬＤと間接音ＬＲが得られる。これらの直接音と間接音は、出力部１５を経由して分離部１０からその後段に設けられた演算部４０に出力され、設定部２０及び係数生成部３０からのパラメータおよび係数に基づいて、マルチチャンネルの音源に変換される。

【0032】

設定部２０は、分離部１０が分離した直接音と間接音を調整するためのパラメータを生成する。図４に示すように、設定部２０は、直接音と間接音とのバランスを調整する直接音／間接音バランス調整部２１と、直接音におけるセンター音源とセンター音源以外の音源とのバランスを調整するフロントバランス調整部２２と、間接音におけるセンター音源とセンター音源以外の音源とのバランスを調整するリアバランス調整部２３と、直接音と間接音とのミキシング量を調整するミキシング量調整部２４と、直接音及び間接音における中層チャンネルからの出力と上下層チャンネルからの出力とのバランスを調整する層間バランス調整部２５と、を備える。

【0033】

ミキシングエンジニアは、直接音／間接音バランス調整部２１を操作することにより、アップミックス後のサラウンド音源における直接音と間接音とのバランスを調整する。この調整の度合いは、ＲＯＯＭ値として後段に設けられた演算部４０に出力される。

【0034】

フロントバランス調整部２２は、直接音のうち、センター音源とセンター音源以外の音源とのバランスを調整する。このセンター音源は、直接音のうちセンターに定位する成分である。また、このセンター音源以外の音源とは、直接音のうちセンター音源以外の成分である。ミキシングエンジニアは、フロントバランス調整部２２を使用して、アップミックス後のサラウンド音源における、フロント側チャンネルから出力されるセンター音源とセンター音源以外の音源とのバランスを調整する。この調整の度合いは、Ｆｄｉｖ値として後段に設けられた係数生成部３０に出力される。

【0035】

リアバランス調整部２３は、間接音のうち、センター音源とセンター音源以外の音源とのバランスを調整する。このセンター音源は、間接音のうちセンターに定位する成分である。センター音源以外の音源とは、間接音のうちセンター音源以外の成分である。ミキシングエンジニアは、このリアバランス調整部２３により、アップミックス後のサラウンド音源における、リア側チャンネルから出力されるセンター音源とセンター音源以外の音源とのバランスを調整する。この調整の度合いは、Ｒｄｉｖ値として後段に設けられた係数生成部３０に出力される。

【0036】

ミキシング量調整部２４は、フロント側チャンネルから出力される直接音に対する間接音のミキシング比率、及びリア側チャンネルから出力される間接音に対する直接音のミキシング比率を調整する。ミキシングエンジニアは、ミキシング量調整部２４により、フロント側チャンネルから出力される直接音に対する間接音のミキシング比率、及び間接音に対する直接音のミキシング比率を調整する。この調整の度合いは、ＦＲｄｉｖ値として後段に設けられた係数生成部３０に出力される。

【0037】

アップミックス後のサラウンド音源が３Ｄオーディオに対応している場合、層間バランス調整部２５は、中層チャンネルから出力される直接音及び間接音と、上下層チャンネルから出力される直接音及び間接音とのバランスを調整する。ミキシングエンジニアは、層間バランス調整部２５により、中層チャンネルから出力される直接音及び間接音と、上下層チャンネルから出力される直接音及び間接音とのバランスを調整する。この調整の度合いは、ＥＬｄｉｖ値として後段に設けられた係数生成部３０に出力される。

【0038】

係数生成部３０は、設定部２０が生成した４つのパラメータＦｄｉｖ、Ｒｄｉｖ、ＦＲｄｉｖ、ＥＬｄｉｖを任意に組み合わせて四則演算することにより、係数Ａ、Ｂ、Ｃ、Ｄを生成する。この組み合わせ及び四則演算は、サラウンドにおける各チャンネルにより異なっている。すなわち、２２．２ｃｈのそれぞれに対してＦｄｉｖ、Ｒｄｉｖ、ＦＲｄｉｖ、ＥＬｄｉｖの各値が組み合わせられることにより、２４組の係数Ａ１～Ｄ１、・・・、Ａ２４～Ｄ２４が生成される。生成された係数Ａ１～Ｄ１、・・・、Ａ２４～Ｄ２４は、後段に設けられた演算部４０に出力される。

【0039】

図５に示すように、演算部４０は、分離部１０が分離した４つの音源ＤＬ、ＤＲ、ＲＬ、ＲＲと、直接音／間接音バランス調整部２１が生成したパラメータＲＯＯＭと、係数生成部３０が生成した係数Ａ１～Ｄ１、・・・、Ａ２４～Ｄ２４に基づいて、アップミックス後のサラウンドにおいて各チャンネルから出力する音声信号を演算する。演算部４０は、各チャンネルからの出力Ｔを、以下の（式１）により演算する。なお、（式１）において出力Ｔ及び各係数Ａ、Ｂ、Ｃ、Ｄに付されるｎは、サラウンドにおけるチャンネル番号であり、例えばＴ１はチャンネル１の出力Ｔである。また、ＤＬ’、ＤＲ’、ＲＬ’、ＲＲ’は、それぞれＤＬ、ＤＲ、ＲＬ、ＲＲをＲＯＯＭ値で調整したものである。
Ｔｎ＝Ａｎ×ＤＬ’＋Ｂｎ×ＤＲ’＋Ｃｎ×ＲＬ’＋Ｄｎ×ＲＲ’・・・（式１）

【0040】

これにより、演算部４０は、図５に示すように、２２．２ｃｈサラウンド音源における各チャンネル１～２４からの出力Ｔ１～Ｔ２４をそれぞれ生成する。アップミックスされたサラウンド音源は、各チャンネルに設けられた図示しないスピーカなどの出力装置から外部に出力される。

【0041】

［１－２．作用］
本実施形態によれば、図２に示すように、入力部１１に入力されたステレオ音源の左右各チャンネルの信号Ｘｉｎは、分割部１２においてカット周波数ｆｃ＝ｆ１～ｆ４を有する第１フィルタＬＰＦ１～第４フィルタＬＰＦ４によって５つの分割信号Ｘ０～Ｘ４に分割される。その後、左右各チャンネルの分割信号Ｘ０～Ｘ４について、相関検出部１３のＣｏｒＬ１～ＣｏｒＬ５，ＣｏｒＲ１～ＣｏｒＲ５においてその相関を検出することにより、左右各チャンネルの音源から入力されたステレオ信号を、左の直接音ＤＬ、右の直接音ＤＲ、左の間接音ＲＬ、右の間接音ＲＲの４つの音源に分離することができる。

【0042】

一方、設定部２０において、直接音／間接音バランス調整部２１がＲＯＯＭ値を、フロントバランス調整部２２がＦｄｉｖ値を、リアバランス調整部２３がＲｄｉｖ値を、ミキシング量調整部２４がＦＲｄｉｖ値を、層間バランス調整部２５がＥＬｄｉｖ値を、それぞれ生成し、後段に設けられた係数生成部３０または演算部４０に出力する。この調整の結果として、上述の各パラメータが生成される。ＲＯＯＭ値と４つのパラメータＦｄｉｖ、Ｒｄｉｖ、ＦＲｄｉｖ、ＥＬｄｉｖに基づいて生成された係数とが演算部４０に入力される。

【0043】

演算部４０は、分割部１２が生成した５つの分割信号Ｘ０～Ｘ４に基づいて生成された左右のチャンネルの直接音ＤＬ、ＤＲと間接音ＲＬ、ＲＲに対して、直接音／間接音バランス調整部２１が生成したパラメータＲＯＯＭと、係数生成部３０が生成した２４組の係数Ａ１～Ｄ１、・・・、Ａ２４～Ｄ２４とに基づいて、前記（式１）から、２２．２ｃｈサラウンドにおける各チャンネルの出力Ｔ１～Ｔ２４を演算する。演算された出力Ｔ１～Ｔ２４は、サラウンドにおける各チャンネルに設けられた図示しないスピーカから出力される。

【0044】

［１－３．効果］
以上のような構成並びに作用を有する本実施形態の音声信号処理装置１００によれば、次のような効果が発揮される。

【0045】

（１）分割部１２に多段に設けたフィルタによって、入力信号を複数の帯域の信号に分割することが可能となり、ＦＦＴを使用した分割方法に比較して、直接音と間接音の分離に遅延が発生することがなく、音質の優れたアップミックス処理が可能となる。

【0046】

（２）複数のフィルタとして、汎用されているローパスフィルタを用いて音源を多数に分割することが可能となると共に、フィルタの接続構造も簡単なもので良いので、装置全体の構成も単純化できる。また、従来のコンプレッサに代表される帯域分割型の効果機器の場合、多くは帯域分割のために複数のBPFにて構成され、特定の音声処理後に一つの信号に加算される手法がとられているが、この方式の場合周波数帯域が隣り合ったBPF同士で干渉をおこし、音声のひずみを発生させる場合がある。しかしながら、本発明におけるフィルタ構造を取ると加算結果は必ず1となり入力信号に一致する。

【0047】

（３）分離部１０が生成した左右のチャンネルの直接音ＤＬ、ＤＲと間接音ＲＬ、ＲＲに対して、直接音／間接音バランス調整部２１が生成したＲＯＯＭ値により調整した上で、設定部２０が生成した４つのパラメータＦｄｉｖ、Ｒｄｉｖ、ＦＲｄｉｖ、ＥＬｄｉｖに基づいて係数生成部３０が生成した係数を、演算部４０が乗算することにより、ステレオ音源からサラウンド音源を生成しているので、単に音源を分離するだけでなく、分離した音源を基に種々の加工を施すことで、多数のスピーカを使用したシステムにおいても高品質のサラウンド効果を得ることが可能になる。

【0048】

（４）本実施形態では、分割部１２で分割した分割信号Ｘ０～Ｘ４を加算した場合に、ステレオ音源から分割部１２に対する入力信号Ｘｉｎと同等の加算信号Ｘｏｕｔが得られるので、一旦フィルタで分割した信号を加算した場合でも音源に歪みを生じさせることがない。そのため、本実施形態でアップミックスして得られたマルチチャンネルの信号をステレオ信号などにダウンミックスする場合でも、原音に近い音源を得ることができる。

【0049】

［２．他の実施形態］
本発明は、前記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。具体的には、次のような他の実施形態も包含する。

【0050】

（１）前記の実施形態においては、ステレオから２２．２ｃｈサラウンドへのアップミックスについて説明したが、例えばステレオから５．１ｃｈサラウンドへのアップミックスや、ステレオから３Ｄオーディオに対応する５．１．２ｃｈサラウンドへのアップミックスについても本発明を適用することができる。

【0051】

（２）前記の実施形態においては、各チャンネルの出力Ｔｎをそれぞれ演算するものとしたが、これに限られない。例えば、フロント側の左右チャンネルやサイド側及びリア側の左右チャンネルの出力については、同じにしてもよい。これにより、係数生成部３０や演算部４０の演算量を削減することができる。また、分離対象となる音源はステレオ音源に限定されるものではなく、多チャンネルの音源であっても良い、

【0052】

（３）前記の実施形態の設定部２０は、４つのパラメータＦｄｉｖ、Ｒｄｉｖ、ＦＲｄｉｖ、ＥＬｄｉｖを生成するようにしたが、これに限られない。設定部２０が１つでもパラメータを生成できるのであれば、係数Ａｎ～Ｄｎを生成するための四則演算を多様にすることで、各チャンネルｎの出力Ｔｎを細やかに調整することも可能である。

【0053】

（４）前記の実施形態の設定部２０は、直接音／間接音バランス調整部２１、フロントバランス調整部２２、リアバランス調整部２３、ミキシング量調整部２４、層間バランス調整部２５を備えるものとしたが、これらの構成に加えて、イコライザを備えてもよい。この場合、イコライザは、ステレオ音源を歪め過ぎない程度に利用される。また、これらの構成の幾つかあるいは全部を有しない音声信号処理装置、例えば音声信号の分離のみを目的とする装置にも本件発明は適用可能である。

【0054】

（５）実施形態に示した係数生成部３０から演算部４０に出力する係数としては、従来から公知の様々なものを適宜使用することができ、直接音と間接音はそれぞれの総和が１．０に調整する機能を有するＰＡＮを使用するものや、規格の係数の逆数を使用するものなどを採用できる。

【0055】

（６）前記の実施形態においては、音声信号処理装置１００というハードウェアについて説明したが、コンピュータに音声信号処理装置１００の各構成の作用を手順として実行させるプログラムなどのソフトウェアによっても同様の効果を奏することができる。例えば、記入力信号から前段のフィルタによって除去信号を生成し、前記入力信号から前記除去信号を減算して分割信号を生成するする第１処理と、前段のフィルタから出力された前記分割信号を後段のフィルタの入力信号として、前記後段のフィルタの通過信号を前記前段のフィルタから出力された前記分割信号に対する新たな除去信号を生成し、前記後段のフィルタの入力信号から前記新たな除去信号を減算して新たな分割信号を生成する第２の処理を、前記複数のフィルタの段数に応じて、コンピュータに実行させるプログラムも本発明の一態様である。

【符号の説明】

【0056】

１００…音声信号処理装置
１…入力部
１０…分離部
１１…入力部
１２…分割部
１３…相関検出部
１３１…係数検出部
１３２…乗算部
１４…加算器
１５…出力部
２０…設定部
２１…直接音／間接音バランス調整部
２２…フロントバランス調整部
２３…リアバランス調整部
２４…ミキシング量調整部
２５…層間バランス調整部
３０…係数生成部
４０…演算部
ＬＰＦ１～ＬＰＦ４…フィルタ

【図1】

【図2】

【図3】

【図4】

【図5】