特許 7326824 信号処理装置、及び信号処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-07

(45)【発行日】2023-08-16

(54)【発明の名称】信号処理装置、及び信号処理方法

(51)【国際特許分類】

   H04S 7/00 20060101AFI20230808BHJP

   H04S 5/00 20060101ALI20230808BHJP

【ＦＩ】

H04S7/00 300

H04S5/00 500

【請求項の数】 18

(21)【出願番号】P 2019072887

(22)【出願日】2019-04-05

(65)【公開番号】P2020170991

(43)【公開日】2020-10-15

【審査請求日】2022-02-18

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】青木 良太郎

(72)【発明者】

【氏名】須山 明彦

(72)【発明者】

【氏名】福山 龍也

【審査官】大石 剛

(56)【参考文献】

【文献】特開２００８－２４２８６８（ＪＰ，Ａ）

【文献】特開２００１－１７５６２３（ＪＰ，Ａ）

【文献】特開２０１６－１３４７６７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｓ ７／００

Ｈ０４Ｓ ５／００

(57)【特許請求の範囲】

【請求項1】

第１チャンネルのオーディオ信号を入力する第１入力部と、
第２チャンネルのオーディオ信号を入力する第２入力部と、
前記第１入力部に入力された前記第１チャンネルのオーディオ信号に対し、信号処理を行う第１信号処理部と、
前記第２入力部に入力された前記第２チャンネルのオーディオ信号に対し、信号処理を行う第２信号処理部と、
前記第２信号処理部に前記第２チャンネルのオーディオ信号を入力しない場合、前記第２信号処理部に対し、前記第１信号処理部で信号処理が行われた前記第１チャンネルのオーディオ信号を処理させる制御部と、を備え、
前記第１信号処理部および前記第２信号処理部は、それぞれ同じ所定フレーム以内に信号処理を行う様に構成され、
前記第２信号処理部は、前記第１信号処理部で信号処理が行われた後の前記第１チャンネルのオーディオ信号を前記所定フレーム内で処理する、
信号処理装置。

【請求項2】

コンテンツデータからオブジェクト毎にオーディオ信号を抽出し、抽出された前記オブジェクト毎のオーディオ信号を前記第１チャンネル又は前記第２チャンネルに割り当てるオブジェクト処理部をさらに備えた、
請求項１に記載の信号処理装置。

【請求項3】

前記オブジェクト処理部によって取得された前記オブジェクトの位置を示す位置データに基づいて、前記オブジェクトの音像定位を行う、定位処理部をさらに備えた、
請求項２に記載の信号処理装置。

【請求項4】

前記制御部は、外部から受け取った音像位置の変更指示に応じて、前記定位処理部の音像位置を制御する、
請求項３に記載の信号処理装置。

【請求項5】

前記第１信号処理部の信号処理の種類は、前記第２信号処理部の信号処理の種類と同じである。
請求項１乃至４の何れかに記載の信号処理装置。

【請求項6】

前記第１信号処理部の信号処理の種類は、前記第２信号処理部の信号処理の種類と異なる、
請求項１乃至４の何れかに記載の信号処理装置。

【請求項7】

一時的に情報を記憶する一時記憶部をさらに備え、
前記制御部は、前記第１信号処理部のリソース及び前記第２信号処理部のリソースを前記一時記憶部に予め確保する、
請求項１乃至６の何れかに記載の信号処理装置。

【請求項8】

前記制御部は、前記第１信号処理部及び前記第２信号処理部に対し、複数種類の信号処理を行わせる、
請求項１乃至７の何れかに記載の信号処理装置。

【請求項9】

ユーザによる信号入力指示を受け付けるユーザインタフェースをさらに備え、
前記制御部は、前記ユーザインタフェースが信号入力指示を受け付ければ、前記第２信号処理部に前記第２チャンネルのオーディオ信号を入力せず、前記第２信号処理部に対して、前記第１チャンネルのオーディオ信号を処理させる、
請求項１乃至８の何れかに記載の信号処理装置。

【請求項10】

第１チャンネルのオーディオ信号を入力し、
第２チャンネルのオーディオ信号を入力し、
入力された前記第１チャンネルのオーディオ信号に対し、第１信号処理部によって信号処理を行い、
入力された前記第２チャンネルのオーディオ信号に対し、第２信号処理部によって信号処理を行い、
前記第２信号処理部に前記第２チャンネルのオーディオ信号を入力しない場合、前記第２信号処理部に対し、前記第１チャンネルのオーディオ信号を処理させ、
前記第１信号処理部および前記第２信号処理部は、それぞれ同じ所定フレーム以内に信号処理を行う様に構成され、
前記第２信号処理部は、前記第１信号処理部で信号処理が行われた後の前記第１チャンネルのオーディオ信号を前記所定フレーム内で処理する、
信号処理方法。

【請求項11】

オブジェクト毎にオーディオ信号を抽出し、
抽出された前記オブジェクト毎のオーディオ信号を前記第１チャンネル又は前記第２チャンネルに割り当てる、
請求項１０に記載の信号処理方法。

【請求項12】

取得された前記オブジェクトの位置を示す位置データに基づいて、前記オブジェクトの音像定位を行う、
請求項１１に記載の信号処理方法。

【請求項13】

外部から前記音像定位の位置の指示を受け取った場合、前記オブジェクトの前記音像定位の位置を制御する、
請求項１２に記載の信号処理方法。

【請求項14】

前記第１信号処理部の信号処理の種類は、前記第２信号処理部の信号処理の種類と同じである。
請求項１０乃至１３の何れかに記載の信号処理方法。

【請求項15】

前記第１信号処理部の信号処理の種類は、前記第２信号処理部の信号処理の種類と異なる、
請求項１０乃至１３の何れかに記載の信号処理方法。

【請求項16】

前記第１信号処理部のリソース及び前記第２信号処理部のリソースを一時的に情報を記憶する一時記憶部に予め確保する、
請求項１０乃至１５の何れかに記載の信号処理方法。

【請求項17】

前記第１信号処理部及び前記第２信号処理部は、複数種類の信号処理を行う、
請求項１０乃至１６のいずれかに記載の信号処理方法。

【請求項18】

ユーザによる信号入力指示を受け付け、
前記信号入力指示を受け付ければ、前記第２信号処理部に前記第２チャンネルのオーディオ信号を入力せず、前記第２信号処理部に対して、前記第１チャンネルのオーディオ信号を処理する、
請求項１０乃至１７のいずれかに記載の信号処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の一実施形態は、オーディオ信号の信号処理に関する。

【背景技術】

【0002】

従来、マルチチャンネルオーディオ信号を入力し、信号処理部によって各オーディオ信号に信号処理を行い、信号処理を行ったオーディオ信号を複数のスピーカから出力するオーディオ信号処理装置があった（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－２１２５７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

チャンネル毎に信号処理を行う信号処理装置では、オーディオ信号を入力していないチャンネルが存在する場合がある。すなわち、入力されるオーディオ信号の数が、チャンネル数よりも少ない場合、使用しないチャンネルが存在する。この場合、使用しないチャンネルのリソースが無駄になってしまう。

【0005】

そこで、この発明の一実施形態は、使用していないチャンネルのリソースを有効活用できることを目的とする。

【課題を解決するための手段】

【0006】

本発明の一実施形態に係る信号処理装置は、第１チャンネルのオーディオ信号を入力する第１入力部と、第２チャンネルのオーディオ信号を入力する第２入力部と、前記第１入力部に入力された前記第１チャンネルのオーディオ信号に対し、信号処理を行う第１信号処理部と、前記第２入力部に入力された前記第２チャンネルのオーディオ信号に対し、信号処理を行う第２信号処理部と、前記第２信号処理部に前記第２チャンネルのオーディオ信号を入力しない場合、前記第２信号処理部に対し、前記第１信号処理部で信号処理が行われた前記第１チャンネルのオーディオ信号を処理させる制御部とを備えている。

【発明の効果】

【0007】

本発明の一実施形態によれば、使用していないチャンネルのリソースを有効活用できる。

【図面の簡単な説明】

【0008】

【図1】信号処理装置の主要部の構成を示すブロック構成図である。

【図2】入力ユニットと信号処理ユニットとの接続関係を示した図である。

【図3】入力ユニットと信号処理ユニットとの接続関係であって、図３とは別の例を示した図である。

【図4】信号処理装置の動作の一例を示すフローチャートである。

【図5】オブジェクト抽出処理の一例を示すフローチャートである。

【図6】信号処理の一例を示すフローチャートである。

【図7】比較例の信号処理部の一例を示す図である。

【図8】変形例１の入力ユニットと信号処理ユニットとの接続関係を示した図である。

【図9】変形例２、３の信号処理装置の主要部の構成を示すブロック構成図である。

【発明を実施するための形態】

【0009】

図１は、信号処理装置１の主要部の構成を示すブロック構成図である。本実施形態の信号処理装置１について図を参照して説明する。

【0010】

信号処理装置１は、例えばパーソナルコンピュータ、セットトップボックス、オーディオレシーバ、またはパワードスピーカ等である。信号処理装置１は、コンテンツデータをデコードしてオーディオ信号を抽出する。コンテンツデータは、例えば外部の再生装置、ネットワーク、または記憶媒体から取得する。信号処理装置１は、デジタルオーディオ信号またはアナログオーディオ信号を取得してもよい。

【0011】

なお、本実施形態において、特に記載が無い限り、オーディオ信号は、デジタルオーディオ信号を意味する。

【0012】

信号処理装置１は、図１に示すように、入力Ｉ／Ｆ（インタフェース）１１と、オブジェクト処理部１２と、入力ユニット１３と、信号処理ユニット１４と、定位処理部１５と、Ｄ／Ａコンバータ１６と、アンプ（ＡＭＰ）１７と、ＣＰＵ１８と、フラッシュメモリ（ＲＯＭ）２０と、ＲＡＭ１９と、バス３１とを備えている。この場合、
バス３１は、入力Ｉ／Ｆ１１、オブジェクト処理部１２、入力ユニット１３、信号処理ユニット１４、定位処理部１５、Ｄ／Ａコンバータ１６、アンプ（ＡＭＰ）１７と、ＣＰＵ１８、フラッシュメモリ２０及びＲＡＭ１９を互いに接続する。

【0013】

ＣＰＵ１８は、信号処理装置１を統括的に制御する。ＣＰＵ１８は、記憶部であるフラッシュメモリ２０に記憶された所定のプログラムをＲＡＭ１９に読み出す。これにより、ＣＰＵ１８は、各種の動作を行なう。この例でいうＣＰＵ１８は、本発明の制御部に相当する。この例でいうＲＡＭ１９は、本発明の一時記憶部に相当する。

【0014】

入力Ｉ／Ｆ１１は、ＨＤＭＩ（登録商標）などのインタフェースを有する。入力Ｉ／Ｆ１１は、コンテンツデータを入力し、オブジェクト処理部１２に出力する。また、入力Ｉ／Ｆ１１は、デジタルオーディオ信号またはアナログオーディオ信号を入力してもよい。

【0015】

オブジェクト処理部１２は、例えば、ＤＳＰからなる。オブジェクト処理部１２は、入力したコンテンツデータがオブジェクトベース方式に対応するものである場合、入力Ｉ／Ｆ１１から受け取ったコンテンツデータをデコードし、オブジェクト（音源）毎のオーディオ信号及びオブジェクト毎の位置を示す位置データを抽出する。オブジェクトベース方式は、コンテンツに含まれる複数のオブジェクト（音源）を、それぞれ独立したオーディオ信号として格納している。

【0016】

オブジェクト処理部１２は、オブジェクト毎の抽出したオーディオ信号を複数（図２では４つ）のチャンネルに割り当てる。オブジェクト処理部１２は、例えば、４つのオブジェクトのオーディオ信号を抽出した場合、抽出した４つのオーディオ信号を第１チャンネル１２１、第２チャンネル１２２、第３チャンネル１２３及び第４チャンネル１２４に割り当てる。

【0017】

入力したコンテンツデータがチャンネルベース方式に対応するものである場合、オブジェクト処理部１２は、入力Ｉ／Ｆ１１から入力したオーディオ信号を解析して、オブジェクトの位置データを抽出する。オブジェクト処理部１２は、各チャンネルのオーディオ信号のレベル、およびチャンネル間の相互相関を算出する。オブジェクト処理部１２は、各チャンネルのオーディオ信号のレベル及びチャンネル間の相互相関に基づいて、音源の位置を推定する。例えば、ＬチャンネルとＳＬチャンネルの相関値が高く、ＬチャンネルのレベルおよびＳＬチャンネルのレベルが高い（所定の閾値を超える）場合、ＬチャンネルおよびＳＬチャンネルの間に音源が存在すると推定する。オブジェクト処理部１２は、ＬチャンネルのレベルおよびＳＬチャンネルのレベルに基づいて、音源の位置を推定する。オブジェクト処理部１２は、例えば、ＬチャンネルのレベルおよびＳＬチャンネルのレベルの比が１：１であれば、Ｌチャンネル及びＳＬチャンネルのちょうど中点に音源の位置を推定する。オブジェクト処理部１２は、チャンネルの数が多いほど、音源の位置を正確に推定することができる。オブジェクト処理部１２は、多数のチャンネル間の相関値を算出することで、音源の位置をほぼ一意に特定することができる。

【0018】

また、オブジェクト処理部１２は、オブジェクトの位置データをＣＰＵ１８に入力する。

【0019】

なお、以下の説明において、第１チャンネル１２１、第２チャンネル１２２、第３チャンネル１２３及び第４チャンネル１２４をまとめてチャンネル１２１～１２４と称する。

【0020】

入力ユニット１３及び信号処理ユニット１４は、ＤＳＰ１０からなる。入力ユニット１３は、オブジェクト処理部１２によって各チャンネル１２１～１２４に割り当てられたオーディオ信号を入力する。信号処理ユニット１４は、入力ユニット１３が入力した各オーディオ信号にフレーム処理にてデジタル信号処理を行う。信号処理ユニット１４は、信号処理後の各オブジェクトのオーディオ信号を定位処理部１５に入力する。入力ユニット１３及び信号処理ユニット１４の詳細については後述する。

【0021】

定位処理部１５は、例えば、ＤＳＰからなる。定位処理部１５は、ＣＰＵ１８の指示にしたがって、音像定位処理を行う。定位処理部１５は、ＣＰＵ１８から指定された各オブジェクトの位置データに対応する位置に音像が定位するように、オブジェクト処理部１２によって取得された各オブジェクトの位置データに基づいて、オブジェクト単位の音像定位を行う。定位処理部１５は、各オブジェクトの位置データに対応する位置に音像が定位するように、各オブジェクトのオーディオ信号を複数のスピーカに所定のゲインで分配する。定位処理部１５は、各スピーカに対するオーディオ信号を、Ｄ／Ａコンバータ１６に入力する。

【0022】

なお、複数のスピーカは、例えば、室内（部屋）に配置されている。例えば、部屋の形状が直方体であれば、４つのスピーカのそれぞれが部屋の四隅の床に配置されている。また、例えば、別のスピーカは、部屋の正面に配置されている。また、例えば、別の２つのスピーカは、室内の天井に配置されている。

【0023】

なお、部屋の形状は直方体に限定されない。複数のスピーカは、部屋の形状にあわせて配置されていればよい。

【0024】

Ｄ／Ａコンバータ１６は、各オーディオ信号をアナログ信号に変換する。ＡＭＰ１７は、各アナログオーディオ信号を増幅して、各スピーカに入力する。

【0025】

入力ユニット１３及び信号処理ユニット１４は、この例では、最大で４チャンネルのオブジェクト毎のオーディオ信号を入力し、それらのオーディオ信号に信号処理を行う。

【0026】

入力ユニット１３及び信号処理ユニット１４の詳細について、図２を参照して説明する。図２は、入力ユニット１３と信号処理ユニット１４との接続関係を示した図である。

【0027】

入力ユニット１３は、図２に示すように、第１入力部１３１と、第２入力部１３２と、第３入力部１３３と、第４入力部１３４とを備えている。なお、第１入力部１３１、第２入力部１３２、第３入力部１３３及び第４入力部１３４をまとめて入力部１３１～１３４と称する。

【0028】

第１入力部１３１は、第１チャンネル１２１のオーディオ信号を入力する。また第２入力部１３２は、第２チャンネル１２２のオーディオ信号を入力する。さらに、第３入力部１３３は、第３チャンネル１２３のオーディオ信号を入力する。また第４入力部１３４は、第４チャンネル１２４のオーディオ信号を入力する。

【0029】

信号処理ユニット１４は、第１信号処理部１４１と、第２信号処理部１４２と、第３信号処理部１４３と、第４信号処理部１４４とを備えている。なお、第１信号処理部１４１、第２信号処理部１４２、第３信号処理部１４３および第４信号処理部１４４をまとめて信号処理部１４１～１４４と称する。

【0030】

第１信号処理部１４１は、第１入力部１３１に入力された第１チャンネル１２１のオーディオ信号に対し、信号処理を行う。第２信号処理部１４２は、第２入力部１３２に入力された第２チャンネル１２２のオーディオ信号に対し、信号処理を行う。第３信号処理部１４３は、第３入力部１３３に入力された第３チャンネル１２３のオーディオ信号に対し、信号処理を行う。第４信号処理部１４４は、第４入力部１３４に入力された第４チャンネル１２４のオーディオ信号に対し、信号処理を行う。

【0031】

信号処理部１４１～１４４は、複数（４つの）チャンネル１２１～１２４に入力されたオーディオ信号の信号処理を１フレーム毎に処理する。ＣＰＵ１８は、この１フレームのリソースを、予めＲＡＭ１９に確保している。

【0032】

この例では、信号処理部１４１～１４４のそれぞれは、オブジェクト毎のオーディオ信号に、３種のエフェクトである、Ｄｅｌａｙ、イコライザ（ＥＱ）及びＲｅｖｒｂの信号処理を行う。この例では、第１信号処理部１４１～１４４のそれぞれの信号処理のエフェクト種類及び数は、同じである。

【0033】

信号処理部１４１～１４４のそれぞれは、４つのチャンネル１２１～１２４のそれぞれに入力されたオーディオ信号に信号処理を行って、定位処理部１５にこれらのオーディオ信号を出力する。

【0034】

ここで、入力Ｉ／Ｆ１１が、２つのオブジェクトのオーディオ信号を含むコンテンツデータを入力した場合について、図３を参照して説明する。図３は、入力ユニット１３と信号処理ユニット１４との接続関係である。図３の例は、オブジェクト処理部１２が抽出したオーディオ信号の数が、チャンネル１２１～１２４の数よりも少ない場合を示す。

【0035】

オブジェクト処理部１２は、コンテンツデータからオブジェクト毎のオーディオ信号を抽出する。オブジェクト処理部１２が抽出したオーディオ信号を、第１チャンネル１２１及び第３チャンネル１２３に割り当てる。オブジェクト処理部１２は、第２チャンネル１２２及び第４チャンネル１２４にオーディオ信号を入力しない。すなわち、この例では、第２チャンネル１２２及び第４チャンネル１２４を使用しない。オブジェクト処理部１２は、抽出したオーディオ信号のオブジェクトの位置データをさらに抽出する。

【0036】

この場合、信号処理装置１は、使用していない第２チャンネル１２２に対応する第２信号処理部１４２に対し、第１チャンネル１２１に割り当てられたオーディオ信号を処理させる。また、信号処理装置１は、使用していない第４チャンネル１２４に対応する第４信号処理部１４４に対し、第３チャンネル１２３に割り当てられたオーディオ信号を処理させる。

【0037】

より詳細には、ＣＰＵ１８は、図３に示すように、第１信号処理部１４１の出力側の出力端４１と第２信号処理部１４２の入力側の入力端４２とを接続する。さらに、ＣＰＵ１８は、第３信号処理部１４３の出力側の出力端４３と第４信号処理部１４４の入力側の入力端４４とを接続する。

【0038】

これにより、第１チャンネル１２１及び第３チャンネル１２３のオーディオ信号は、２つのＤｅｌａｙと２つのＥＱと２つのＲｅｖｅｒｂの信号処理の効果を享受する。信号処理部１４１～１４４は１フレーム内の処理であるから、第１チャンネル１２１及び第３チャンネル１２３のオーディオ信号が、２つのＤｅｌａｙと２つのＥＱと２つのＲｅｖｅｒｂの信号処理を処理してもリソースを増やす必要はない。

【0039】

例えば、第１チャンネル１２１のオーディオ信号は、第２信号処理部１４２のＲｅｖｅｒｂを使用することで、第２信号処理部１４２を使用しない場合と比較して、２倍の長さ（タップ長）を１フレーム内で実現することができる。したがって、信号処理装置１は、第１チャンネル１２１及び第３チャンネル１２３のオーディオ信号が２つのＤｅｌａｙと２つのＥＱと２つのＲｅｖｅｒｂの信号処理を組み合わせて使用することで、既に確保されたリソースで多様な表現を実施することができる。

【0040】

信号処理ユニット１４は、信号処理を行った第１チャンネル１２１のオーディオ信号を、第２信号処理部１４２の出力側から定位処理部１５に出力する。また、信号処理ユニット１４は、信号処理を行った第３チャンネル１２３のオーディオ信号を、第４信号処理部１４４の出力側から定位処理部１５に出力する。

【0041】

信号処理装置１の動作の一例について、図４、図５及び図６を参照して説明する。図４は、信号処理装置１の動作の一例を示すフローチャートである。図５は、オブジェクト処理部１２によるオブジェクト抽出処理の一例を示すフローチャートである。図６は、信号処理ユニット１４による信号処理の一例を示すフローチャートである。以下の説明において、コンテンツデータが、４つのオブジェクトのオーディオ信号を含む場合と、２つのオブジェクトのオーディオ信号を含む場合とで説明する。

【0042】

入力Ｉ／Ｆ１１がコンテンツデータを入力すると（Ｓ１１：Ｙｅｓ）、オブジェクト処理部１２は、オブジェクト抽出処理を行う（Ｓ１２）。オブジェクト処理部１２がオブジェクト抽出処理を終了すれば、信号処理ユニット１４が信号処理を行う（Ｓ１３）。信号処理ユニット１４が信号処理を終了すれば、定位処理部１５による音像定位を行う（Ｓ１４）。

【0043】

オブジェクト抽出処理について図５を参照して説明する。オブジェクト処理部１２は、コンテンツデータからオブジェクト毎のオーディオ信号を抽出する（Ｓ２１）。オブジェクト毎のオーディオ信号の数（４つ）がチャンネル数（４つ）と同じ場合（Ｓ２２：Ｙｅｓ）、オブジェクト処理部１２は、抽出した４つのオーディオ信号を、４つのチャンネル１２１～１２４に割り当てる（Ｓ２３）。オブジェクト処理部１２は、４つのチャンネル１２１～１２４のそれぞれに割り当てたオーディオ信号を、対応する入力部１３１～１３４に入力する（Ｓ２４）。オブジェクト処理部１２は、オブジェクト毎の位置データを抽出する（Ｓ２５）。

【0044】

一方、オーディオ信号の数（２つ）がチャンネル数（４つ）と異なる（少ない）場合（Ｓ２２：Ｎｏ）、オブジェクト処理部１２は、抽出した２つのオーディオ信号を、第１チャンネル１２１及び第３チャンネル１２３のそれぞれに割り当てる（Ｓ２６）。オブジェクト処理部１２は、処理をＳ２４に移行する。この場合、第２入力部１３２及び第４入力部１３４は、オーディオ信号を入力しない。

【0045】

なお、位置データ抽出（Ｓ２５）は、オブジェクト処理部１２がオーディオ信号を抽出した後であれば、どのタイミングでもよい。また、オブジェクト処理部１２は、自動で、抽出した２つのオーディオ信号を、第１チャンネル１２１及び第３チャンネル１２３のそれぞれに割り当てる構成でもよい。また、オブジェクト処理部１２は外部からの設定、例えばユーザによる設定、によって、抽出した２つのオーディオ信号を、第１チャンネル１２１及び第３チャンネル１２３のそれぞれに割り当ててもよい。

【0046】

信号処理について図６を参照して説明する。第２入力部１３２及び第４入力部１３４は、オーディオ信号を入力した場合（Ｓ３１：Ｙｅｓ、Ｓ３２：Ｙｅｓ）、複数の信号処理部１４１～１４４は、複数の入力部１３１～１３４のそれぞれが入力したオーディオ信号に信号処理を行う（Ｓ３３）。信号処理部１４１～１４４のそれぞれは、信号処理を行ったオーディオ信号を定位処理部１５に出力する（Ｓ３４）。

【0047】

一方、第２入力部１３２がオーディオ信号を入力していなければ（Ｓ３１：Ｎｏ）、ＣＰＵ１８は、第１信号処理部１４１と第２信号処理部１４２とを接続する（Ｓ３５）。また、第４入力部１３４がオーディオ信号を入力していなければ（Ｓ３２：Ｎｏ）、ＣＰＵ１８は、第３信号処理部１４３と第４信号処理部１４４とを接続する（Ｓ３６）。信号処理ユニット１４は、処理をＳ３３に移行する。この場合、信号処理ユニット１４は、第２信号処理部１４２及び第４信号処理部１４４から、信号処理を行ったオーディオ信号を定位処理部１５に出力する（Ｓ３４）。

【0048】

なお、ＣＰＵ１８は、第１信号処理部１４１と第２信号処理部１４２とを自動的に接続する構成でもよい。また、ＣＰＵ１８は、外部からの設定、例えばユーザによる設定、によって第１信号処理部１４１と第２信号処理部１４２とを接続してもよい。

【0049】

ところで、例えば、比較例の従来の信号処理装置は、図７で示されるように、所望のオーディオ信号の信号処理（例えばエフェクトの数）を増加させるために、新たに次フレームを追加していた。比較例の信号処理装置は、次フレームを追加することで、新たなリソースをＲＡＭに確保する必要がある。このように、比較例の従来の信号処理装置では、ＣＰＵが新たなリソースをＲＡＭに確保させることで、使用するＲＡＭの容量が増え、かつ信号処理に係る時間が長くなるため、出力遅延が発生する。

【0050】

一方、本実施形態の信号処理装置１は、第１チャンネル１２１のオーディオ信号の信号処理（例えばエフェクトの数）を増加させたい場合、第２チャンネル１２２を使用していなければ、第１チャンネル１２１のオーディオ信号に第１信号処理部１４１及び第２信号処理部１４２の信号処理を、第１信号処理部１４１の信号処理、第２信号処理部１４２の信号処理の順で行う。また、信号処理装置１は、第３チャンネル１２３のオーディオ信号に信号処理（例えばエフェクトの数）を増加させたい場合、第４チャンネル１２４が使用されていなければ、第３チャンネル１２３のオーディオ信号に第３信号処理部１４３及び第４信号処理部１４４の信号処理を、第３信号処理部１４３の信号処理、第４信号処理部１４４の信号処理の順で行う。

【0051】

本実施形態の信号処理装置１は、１フレームにおける信号処理は、第１信号処理部１４１、第２信号処理部１４２、第３信号処理部１４３、第４信号処理部１４４の順で行われる（図２参照）。すなわち、例えば、第２信号処理部１４２に出力側と第１信号処理部１４１の入力側とが接続されて、第２信号処理部１４２、第１信号処理部１４１の順で処理されれば、従来の信号処理装置（図７参照）と同じものになる。

【0052】

これにより、本実施形態の信号処理装置１は、各チャンネル１２１～１２４のオーディオ信号に対して、１フレームで信号処理が行えるように予めリソースを確保しているので、使用していないチャンネルを有効活用することができる。

【0053】

また、本実施形態の信号処理装置１は、１フレームで、当該オーディオ信号を処理する。これにより本実施形態の信号処理装置１は、比較例の信号処理装置と比較しても信号処理の増加による遅延を生じさせない。また、本実施形態の信号処理装置１、信号処理の増加による遅延を生じさせないことで、リアルタイム性が低下しない。

【0054】

なお、本実施形態の信号処理装置１の定位処理部１５は、本発明において必須の構成ではない。

【0055】

（変形例）
変形例１の信号処理装置１について図８を参照して説明する。変形例の信号処理装置１は、１つのオブジェクトのオーディオ信号を含むコンテンツデータを入力する例である。なお、上述の実施形態の信号処理装置１と同じ構成に関しては説明を省略する。

【0056】

図８は、変形例１の入力ユニット１３と信号処理ユニット１４Ａとの接続関係を示した図である。

【0057】

変形例１の入力ユニット１３の第１入力部１３１は、図８に示すように、第１チャンネル１２１のオーディオ信号を入力する。第２入力部１３２、第３入力部１３３及び第４入力部１３４は、オーディオ信号を入力しない。すなわち、この例では、第２チャンネル１２２、第３チャンネル１２３及び第４チャンネル１２４は使用しない。

【0058】

ＣＰＵ１８は、第２信号処理部１４２、第３信号処理部１４３及び第４信号処理部１４４に対し、第１チャンネル１２１のオーディオ信号を処理させる。

【0059】

より詳細には、ＣＰＵ１８は、第１信号処理部１４１の出力側の出力端４１と第２信号処理部１４２の入力側の入力端４２とを接続する。また、ＣＰＵ１８は、第２信号処理部１４２の出力側の出力端４５と第３信号処理部１４３の入力側の入力端４６とを接続する。さらに、ＣＰＵ１８は、第３信号処理部１４３の出力側の出力端４３と第４信号処理部１４４の入力側の入力端４４とを接続する。

【0060】

第１信号処理部１４１は、第１入力部１３１から第１チャンネル１２１のオーディオ信号を入力する。信号処理部１４１～１４４は、第１チャンネル１２１のオーディオ信号の信号処理を行う。信号処理ユニット１４Ａは、第４信号処理部１４４から信号処理を行ったオーディオ信号を定位処理部１５に出力する。

【0061】

このように、変形例１の信号処理装置１の信号処理ユニット１４Ａは、第１チャンネル１２１のオーディオ信号に、信号処理部１４１～１４４の信号処理を行うことができる。すなわち、オーディオ信号の数がチャンネル数よりも少なければ、使用していないチャンネルに対応する信号処理部を使用して、処理を増加させることができる。この場合も、変形例１の信号処理装置１は、１フレームで信号処理を行っているので、リソースを有効活用でき、かつ遅延を生じさせない。

【0062】

したがって、変形例１の信号処理装置１は、第１チャンネル１２１のオーディオ信号に多数のエフェクトを使用することで、既に確保されたリソースでより多様な表現を実施することができる。

【0063】

変形例２の信号処理装置１Ａについて図９を参照して説明する。図９は、変形例２の信号処理装置１Ａの主要部の構成を示すブロック構成図である。変形例２の信号処理装置１Ａは、図９に示すように、ユーザインタフェース（Ｉ／Ｆ）２１と、表示部２２とをさらに備えていることが、上述の実施形態及び変形例１の信号処理装置１と異なる。なお、上述の実施形態の信号処理装置１と同じ構成に関しては説明を省略する。

【0064】

表示部２２は、表示器（図示しない）に使用していないチャンネルを表示させる表示器、例えば、パーソナルコンピュータのモニタである。

【0065】

また、ユーザＩ／Ｆ２１は、複数のチャンネル１２１～１２４毎に信号入力指示ボタン（図示しない）等を備えている。例えば、第２チャンネル１２２が使用されていない場合、ユーザが第２チャンネル１２２に対応する信号入力指示ボタンを押下すると、ＣＰＵ１８は、使用していない第２チャンネル１２２に対応する第２信号処理部１４２に対し、第１チャンネル１２１のオーディオ信号を処理させる。

【0066】

これにより、変形例２の信号処理装置１Ａは、表示部２２によって、ユーザが使用していないチャンネルを把握することができる。また、変形例２の信号処理装置１Ａは、ユーザの指示に応じて、使用していないチャンネルのリソースを有効活用することができる。さらに、変形例２の信号処理装置１Ａは、１フレームでオーディオ信号を処理しているので、ユーザＩ／Ｆ２１がユーザからの指示を受け付けた場合でも、リアルタイム性の低下を軽減できる。

【0067】

なお、ユーザＩ／Ｆ２１は、無線又は有線で、ユーザが操作可能な外部機器と接続されていてもよい。

【0068】

また、表示部２２は、例えば、タッチパネルを積層した表示器であり、ユーザの操作を受け付けるためのＧＵＩ（グラフィカルユーザインタフェース）画面を表示してもよい。この場合、表示部２２がＧＵＩ画面に信号入力指示ボタンを表示し、ユーザＩ／Ｆ２１は、ユーザの操作に応じて、指示を受け付ける。

【0069】

また、変形例２の信号処理装置１Ａは、変形例１の信号処理装置１と組み合わせて使用してもよい。

【0070】

変形例３の信号処理装置１Ａについて、図９を参照して説明する。なお、上述の実施形態の信号処理装置１と同じ構成に関しては説明を省略する。

【0071】

変形例３の信号処理装置１Ａは、ユーザによってオブジェクトの音像位置を変更する。この場合、ユーザＩ／Ｆ２１は、ユーザがＧＵＩ（図示しない）画面を使用することで、変更指示を受け付ける。ＧＵＩには、例えば、部屋及び各スピーカの位置を示す模倣図が表示されている。すなわち、ユーザが音像位置を変更させたい場所を、ＧＵＩをタッチ又はスワイプすることで、ユーザＩ／Ｆ２１は、音像位置の変更指示及び変更位置を受け付ける。ＣＰＵ１８は、変更位置に応じて音像が定位するように、各オブジェクトのオーディオ信号を各スピーカに所定のゲインで分配する。

【0072】

なお、変形例３の信号処理装置１Ａは、変形例１及び２の信号処理装置１、１Ａと組み合わせて使用してもよい。

【0073】

これにより、変形例３の信号処理装置１Ａは、ユーザによって、音像位置を変更することができる。

【0074】

なお、本実施形態及び変形例で実行されるプログラムは、自装置のフラッシュメモリ２０に記憶している必要はない。例えば、信号処理装置１、１Ａは、サーバ等の他装置から適宜プログラムをダウンロードして、ＲＡＭ１９に読み出してもよい。

【0075】

また、本実施形態及び変形例の信号処理装置１、１Ａでは、４つのチャンネルを備える例で説明したが、これに限定されない。本発明の信号処理装置１、１Ａは、４チャンネルよりも少ないチャンネルを備えて、これらのチャンネルのオーディオ信号の信号処理を１フレームで処理するように構成されてもよい。また、本発明の信号処理装置１は、４チャンネルよりも多いチャンネルを備えて、これらのチャンネルのオーディオ信号の信号処理を１フレームで処理するように構成されていてもよい。

【0076】

また、第１信号処理部１４１の信号処理の種類は、第２信号処理部１４２と異なっていてもよい。この場合、例えば、第１信号処理部１４１は、Ｄｅｌａｙ、ＥＱ、及びＲｅｖｅｒｂの他にコーラスなどのエフェクトを追加してもよい。

【0077】

このようにすれば、本実施形態及び変形例の信号処理装置１、１Ａは、既に確保されたリソースで多種多様な表現を実施することができる。

【0078】

本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0079】

１、１Ａ…信号処理装置
１２…オブジェクト抽出部
１５…定位処理部
１９…ＲＡＭ（一時記憶部）
２２…表示部
１９…ＣＰＵ（制御部）
２１…ユーザインタフェース
２２…表示部（表示器）
１２１…第１チャンネル
１２２…第２チャンネル
１３１…第１入力部
１３２…第２入力部
１４１…第１信号処理部
１４２…第２信号処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】