特開 2022-125636 音信号処理装置およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022125636

(43)【公開日】2022-08-29

(54)【発明の名称】音信号処理装置およびその制御方法

(51)【国際特許分類】

   H04S 7/00 20060101AFI20220822BHJP

   H04R 3/00 20060101ALI20220822BHJP

   H04R 3/12 20060101ALI20220822BHJP

【ＦＩ】

H04S7/00 380

H04R3/00 310

H04R3/12 Z

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2021023331

(22)【出願日】2021-02-17

(71)【出願人】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(74)【代理人】

【識別番号】100118278

【弁理士】

【氏名又は名称】村松 聡

(72)【発明者】

【氏名】臼井 篤志

【テーマコード（参考）】

5D162

5D220

【Ｆターム（参考）】

5D162CB02

5D162CD22

5D162EG06

5D220AA12

(57)【要約】

【課題】バイノーラル化処理が有効に設定されている場合に、適切な出力先にだけバイノーラル化処理を施した音を出力する。
【解決手段】音信号処理装置の制御方法が提供される。切替部３５は、ミックスバス３４からの音信号の出力先を、少なくともヘッドホン３１およびスピーカ３２の中から選択し、処理部Ａは、音信号Ｓｃに対して、少なくともバイノーラル化処理を含むＡ処理を行って音信号Ｓｇを生成すると共に、音信号Ｓｇをミックスバス３４に出力する。Ａ処理におけるバイノーラル化処理の有効／無効は、ユーザ操作に応じて設定される。ＣＰＵ１１は、出力先としてスピーカ３２が選択された場合は、バイノーラル化処理が有効に設定されていたとしても、Ａ処理のうち少なくともバイノーラル化処理については、音信号Ｓｃに対する適用を実質的に無効にする。
【選択図】図６

【特許請求の範囲】

【請求項1】

ミックスバスからの音信号の出力先を、少なくとも第１出力先および第２出力先の中から選択し、
第１音信号に対して、少なくともバイノーラル化処理を含む第１処理を行って第２音信号を生成すると共に、前記第２音信号を前記ミックスバスに出力し、
前記第１処理におけるバイノーラル化処理の有効／無効を設定し、
前記第２出力先が選択された場合は、前記バイノーラル化処理が有効に設定されていたとしても、前記第１処理のうち少なくとも前記バイノーラル化処理については、前記第１音信号に対する適用を実質的に無効にする、音信号処理装置の制御方法。

【請求項2】

前記第２出力先が選択され且つ、前記バイノーラル化処理が有効に設定された場合は、前記第１処理のうち少なくとも前記バイノーラル化処理を停止する、請求項１に記載の音信号処理装置の制御方法。

【請求項3】

前記第１出力先が選択され且つ、前記バイノーラル化処理が有効に設定された場合に対し、前記第２出力先が選択され且つ、前記バイノーラル化処理が有効に設定された場合は、前記第１処理のうち少なくとも前記バイノーラル化処理におけるパラメータを異ならせる、請求項１に記載の音信号処理装置の制御方法。

【請求項4】

さらに、前記第１音信号とはチャンネル数が異なる第３音信号に対して第２処理を行って第４音信号を生成すると共に、前記第４音信号を前記ミックスバスに出力する、請求項１乃至３のいずれか１項に記載の音信号処理装置の制御方法。

【請求項5】

前記ミックスバスは、前記第２音信号と前記第４音信号とを混合し、選択された出力先へ出力する、請求項４に記載の音信号処理装置の制御方法。

【請求項6】

前記第１出力先は、ヘッドホンまたはイヤホンであり、
前記第２出力先は、スピーカである、請求項１乃至５のいずれか１項に記載の音信号処理装置の制御方法。

【請求項7】

前記第１出力先と前記第２出力先とは、排他的に選択される、請求項１乃至６のいずれか１項に記載の音信号処理装置の制御方法。

【請求項8】

前記第１処理における前記バイノーラル化処理の有効／無効は、ユーザ操作に応じて設定される、請求項１乃至７のいずれか１項に記載の音信号処理装置の制御方法。

【請求項9】

ミックスバスと、
前記ミックスバスからの音信号の出力先を、少なくとも第１出力先および第２出力先の中から選択する選択部と、
第１音信号に対して、少なくともバイノーラル化処理を含む第１処理を行って第２音信号を生成すると共に、前記第２音信号を前記ミックスバスに出力する第１処理部と、
前記第１処理におけるバイノーラル化処理の有効／無効を設定する設定部と、
前記選択部により前記第２出力先が選択された場合は、前記設定部により前記バイノーラル化処理が有効に設定されていたとしても、前記第１処理のうち少なくとも前記バイノーラル化処理については、前記第１音信号に対する適用を実質的に無効にする制御部と、を有する、音信号処理装置。

【請求項10】

前記制御部は、前記第２出力先が選択され且つ、前記バイノーラル化処理が有効に設定された場合は、前記第１処理のうち少なくとも前記バイノーラル化処理を停止する、請求項９に記載の音信号処理装置。

【請求項11】

前記制御部は、前記第１出力先が選択され且つ、前記バイノーラル化処理が有効に設定された場合に対し、前記第２出力先が選択され且つ、前記バイノーラル化処理が有効に設定された場合は、前記第１処理のうち少なくとも前記バイノーラル化処理におけるパラメータを異ならせる、請求項９に記載の音信号処理装置。

【請求項12】

前記第１音信号とはチャンネル数が異なる第３音信号に対して第２処理を行って第４音信号を生成すると共に、前記第４音信号を前記ミックスバスに出力する第２処理部をさらに有する、請求項９乃至１１のいずれか１項に記載の音信号処理装置。

【請求項13】

前記ミックスバスは、前記第２音信号と前記第４音信号とを混合し、選択された出力先へ出力する、請求項１２に記載の音信号処理装置。

【請求項14】

前記第１出力先は、ヘッドホンまたはイヤホンであり、
前記第２出力先は、スピーカである、請求項９乃至１３のいずれか１項に記載の音信号処理装置。

【請求項15】

前記第１出力先と前記第２出力先とは、排他的に選択される、請求項９乃至１４のいずれか１項に記載の音信号処理装置。

【請求項16】

前記第１処理における前記バイノーラル化処理の有効／無効は、ユーザ操作に応じて設定される、請求項９乃至１５のいずれか１項に記載の音信号処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音信号処理装置およびその制御方法に関する。

【背景技術】

【0002】

従来、音信号にバイノーラル化処理を施すことで、ヘッドホンを通して聴いたときに、あたかもその場に居合わせたかのような臨場感を再現する技術が知られている。しかし、バイノーラル化処理を経た音をスピーカで聞くと違和感がある。そこで、接続された機器に応じて発音音色を切り替える技術も開示されている（特許文献１）。例えば、特許文献１では、特定の音色がヘッドホンから出力される際には、ヘッドホンに適したバイノーラル音色の音が出力される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１０２１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、ユーザは、バイノーラル化処理を常に適用したいとは限らない。ヘッドホンで聞く場合であっても、バイノーラル化処理の適用を望まない場合もある。

【0005】

本発明の一つの目的は、バイノーラル化処理が有効に設定されている場合に、適切な出力先にだけバイノーラル化処理を施した音を出力することができる音信号処理装置およびその制御方法を提供することである。

【課題を解決するための手段】

【0006】

本発明の一形態によれば、ミックスバスからの音信号の出力先を、少なくとも第１出力先および第２出力先の中から選択し、第１音信号に対して、少なくともバイノーラル化処理を含む第１処理を行って第２音信号を生成すると共に、前記第２音信号を前記ミックスバスに出力し、前記第１処理におけるバイノーラル化処理の有効／無効を設定し、前記第２出力先が選択された場合は、前記バイノーラル化処理が有効に設定されていたとしても、前記第１処理のうち少なくとも前記バイノーラル化処理については、前記第１音信号に対する適用を実質的に無効にする、音信号処理の制御方法が提供される。

【発明の効果】

【0007】

本発明の一形態によれば、バイノーラル化処理が有効に設定されている場合に、適切な出力先にだけバイノーラル化処理を施した音を出力することができる。

【図面の簡単な説明】

【0008】

【図1】音信号処理装置のブロック図である。

【図2】信号処理に関する構成を示すブロック図である。

【図3】処理部の詳細なブロック図である。

【図4】バイノーラル化部における信号の流れを示す図である。

【図5】ＤｅＥｓｓｅｒの詳細構成を示す図である。

【図6】信号処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照して本発明の実施の形態を説明する。

【0010】

図１は、本発明の一実施の形態に係る音信号処理装置のブロック図である。この音信号処理装置１００は、一例としてミキサ装置として構成される。音信号処理装置１００はＣＰＵ１１を有し、ＣＰＵ１１は、バス１０を介して複数の構成要素と情報をやりとりする。音信号処理装置１００は、ＲＯＭ１２、ＲＡＭ１３、記憶部１４、表示部１５、設定操作部１６を有する。また、音信号処理装置１００は、外部機器を接続するための各種インターフェイスを有し、各種インターフェイスを介して、接続された外部機器とＣＰＵ１１との間で信号が入出力される。各種インターフェイスには、通信部１７、第１のマイク入力端子１８、第２のマイク入力端子１９、ＡＵＸ端子２０、ＵＳＢ端子２１、ＨＤＭＩ（登録商標）入力端子２２、ＨＤＭＩ出力端子２３、ヘッドホン出力端子２４、スピーカ出力端子２５が含まれる。

【0011】

ＣＰＵ１１には不図示のタイマが接続されている。ＣＰＵ１１は、本装置全体を制御する。ＲＯＭ１２は、ＣＰＵ１１が実行する制御プログラムや各種テーブルデータ等を記憶する。ＲＡＭ１３は、各種データを記憶する。記憶部１４は、上記制御プログラムを含む各種アプリケーションプログラムや各種データを記憶する。設定操作部１６は、ユーザからの各種情報の入力を受け付ける。表示部１５は、各種情報を表示する。通信部１７は、ＬＡＮインターフェイスやＭＩＤＩ（Musical Instrument Digital Interface）を含んでもよい。

【0012】

第１のマイク入力端子１８、第２のマイク入力端子１９には、外部マイクが接続可能である。例えば、第１のマイク入力端子１８には第１のマイクロフォン２６が接続され、第２のマイク入力端子１９には、ヘッドホン３１とセットになった第２のマイクロフォン２７が接続される。ＡＵＸ端子２０には、スマートホン等の通信端末装置２８が接続される。ＵＳＢ端子２１には、ＵＳＢ機器、例えばパーソナルコンピュータであるＰＣ２９が接続される。ＨＤＭＩ入力端子２２、ＨＤＭＩ出力端子２３には、ＨＤＭＩ機器が接続可能である。例えば、ＨＤＭＩ入力端子２２にゲーム装置３０が接続され、ＨＤＭＩ出力端子２３に表示モニタ４２が接続される。ヘッドホン出力端子２４には、ヘッドホン３１が接続される。スピーカ出力端子２５には、スピーカ３２が接続される。スピーカ３２は、２チャンネルスピーカに限らず、サラウンドスピーカであってもよく、発音のチャンネル数は例えば８チャンネル（７．１ｃｈ）である。

【0013】

図２は、音信号処理装置１００における信号処理に関する構成を示すブロック図である。音信号処理装置１００は、処理部Ａ、Ｂ、Ｃ、ミックスバス３４、切替部３３、３５などを備える。なお、処理部Ａ、Ｂ、Ｃの機能は、必要なハードウェアに加えて、主としてＣＰＵ１１、ＲＯＭ１２およびＲＡＭ１３の協働により実現される。ミックスバス３４、切替部３３、３５の動作はＣＰＵ１１により制御される。

【0014】

ゲーム装置３０で生成されＨＤＭＩ入力端子２２から入力される信号Ｓｄは、ＨＤＭＩ出力端子２３に出力され、表示モニタ４２に供給される。信号Ｓｄは、映像信号を含み、信号Ｓｄに基づく映像が表示モニタ４２で表示される。なお、信号Ｓｄは、音信号を含んでもよく、ＨＤＭＩ出力端子２３に音響機器が接続された場合は、信号Ｓｄに基づく音響が音響機器から発生する。

【0015】

ゲーム装置３０で生成されＨＤＭＩ入力端子２２から入力される音信号、またはＰＣ２９で生成されＵＳＢ端子２１から入力される音信号が、音信号Ｓｃとして処理部Ａに入力される。音信号Ｓｃは、３チャンネル以上のチャンネル数の音信号であり、本実施の形態では８チャンネルの信号であるとする。処理部Ａは、音信号Ｓｃに対してＡ処理（後述する）を施すことで音信号Ｓｇを生成すると共に、音信号Ｓｇをミックスバス３４へ出力する。

【0016】

通信端末装置２８で生成されＡＵＸ端子２０から入力される音信号、またはＰＣ２９で生成されＵＳＢ端子２１から入力される音信号が、音信号Ｓｂとして処理部Ｂに入力される。音信号Ｓｂとして、例えば、ボイスチャットの音信号が想定される。音信号Ｓｂは、例えば、通信端末装置２８またはＰＣ２９で実行されるアプリケーションソフトにより生成される。処理部Ｂは、音信号Ｓｂに対してＢ処理を施すことで音信号Ｓｆを生成すると共に、生成した音信号Ｓｆをミックスバス３４へ出力する。

【0017】

切替部３３は、第１のマイクロフォン２６で集音され第１のマイク入力端子１８から入力される音信号と、第２のマイクロフォン２７で集音され第２のマイク入力端子１９から入力される音信号とを、排他的に選択する。例えば、マイクロフォンが接続されたマイク入力端子が選択され、双方のマイク入力端子にマイクロフォンが接続された場合は第２のマイク入力端子１９が優先的に選択される。そして切替部３３は、選択したマイク入力端子からの音信号を、音信号Ｓａとして処理部Ｃへ出力する。

【0018】

処理部Ｃは、音信号ＳａにＣ処理を施すことで音信号Ｓｅを生成すると共に、音信号Ｓｅをミックスバス３４へ出力する。Ｃ処理は、例えば、エフェクトやレベル調整などを含む。さらに処理部Ｃは、生成した音信号ＳｅをＡＵＸ端子２０とＵＳＢ端子２１とに出力する。その際、Ｄ／Ａ変換や２チャンネル化等の処理が介在してもよい。従って、ＡＵＸ端子２０、ＵＳＢ端子２１にそれぞれ接続された通信端末装置２８、ＰＣ２９へ音信号Ｓｅが出力される。通信端末装置２８、ＰＣ２９での設定によっては、音信号Ｓｅに応じた音響が発生する。

【0019】

なお、Ａ処理、Ｂ処理、Ｃ処理は、互いに異なる処理である。また、音信号Ｓａはマイクロフォンから入力されるとしたが、音信号Ｓｃの入力系統とは別の系統から入力される信号であればよい。また、ミックスバス３４を介さずに出力される音信号Ｓｅの出力先（ＡＵＸ端子２０またはＵＳＢ端子２１に接続されたもの）は、音信号Ｓｈの出力先（ヘッドホン出力端子２４またはスピーカ出力端子２５に接続されたもの）と異なればよい。

【0020】

ミックスバス３４は、少なくとも音信号Ｓｇと音信号Ｓｆとを混合して音信号Ｓｈを生成する。本実施の形態では、音信号Ｓｇと音信号Ｓｆとに加えて音信号Ｓｅが混合されて音信号Ｓｈが生成される。ミックスバス３４は、切替部３５を介してヘッドホン出力端子２４またはスピーカ出力端子２５に音信号Ｓｈを出力する。ここで、音信号Ｓｈは、ヘッドホン用信号Ｓｈ－１およびスピーカ用信号Ｓｈ－２を含む。切替部３５は、音信号Ｓｈの出力先を排他的に選択する（後述する）。

【0021】

図３は、処理部Ａの詳細なブロック図である。処理部Ａは、前段処理部Ａ－１と後段処理部Ａ－２とからなる。Ａ処理は、前段処理部Ａ－１によるバイノーラル化処理と後段処理部Ａ－２による周囲音強調処理とからなる。前段処理部Ａ－１は、バイノーラル化部３６を含む。後段処理部Ａ－２は、ＭＳ変換部３７、ＤｅＥｓｓｅｒ（ディエッサ）３８、４４、ＰＥＱ４３、３９、ＬＲ変換部４０、ＰＥＱ４１を含む。ＰＥＱ４３、３９、４１はいずれも、一例として４ｂａｎｄのパラメトリックイコライザである。ただし、ＰＥＱ４３、３９、４１は４ｂａｎｄである必要はなく、またＰＥＱでなくてもよく、例えばグラフィックイコライザ（ＧＥＱ）であってもよい。

【0022】

図４は、バイノーラル化部３６における信号の流れを示す図である。音信号Ｓｃは、一例として、７．１ｃｈ（Ｃ：センタ、Ｌ：フロントＬ、Ｒ：フロントＲ、ＳＬ：サラウンドＬ、ＳＲ：サラウンドＲ、ＢＬ：サラウンドバックＬ、ＢＲ：サラウンドバックＲ、ＬＦＥ：サブウーファ）により構成されるオーディオ信号である。

【0023】

頭部伝達関数（ＨＲＴＦ：Head Related Transfer Function）は、ある位置に設置した仮想スピーカからそれぞれ左右の耳に至る音の大きさ、到達時間、および周波数特性の差を表現したインパルス応答である。ＬＦＥ以外の信号には、それぞれの信号に応じたＨＲＴＦおよびリバーブ（Reverb）が適用される。リバーブを適用するのは、音源との距離感を再現するためである。ただし、ＬＦＥは定位を感じにくいので、ＨＲＴＦおよびリバーブを適用しない。８チャンネルの音信号Ｓｃは、バイノーラル化部３６によるバイノーラル化処理を経てステレオ化され、すなわち、ＬとＲの２チャンネルのステレオ信号に変換される。このステレオ信号が音信号Ｓｉとして後段処理部Ａ－２におけるＭＳ変換部３７に入力される。

【0024】

後段処理部Ａ－２（図３）において、ＭＳ変換部３７は、音信号Ｓｉから和信号Ｓｊと差信号Ｓｋとを生成する。音信号Ｓｉの左信号をＬ、右信号をＲで表すと、和信号Ｓｊは、Ｓｊ＝（ＳｉのＬ）／２＋（ＳｉのＲ）／２により算出される。また、差信号Ｓｋは、Ｓｋ＝（ＳｉのＬ）／２－（ＳｉのＲ）／２により算出される。

【0025】

図５は、ＤｅＥｓｓｅｒ３８の詳細構成を示す図である。ＤｅＥｓｓｅｒ４４、３８の構成および動作は互いに共通するので、代表してＤｅＥｓｓｅｒ３８を説明する。ＤｅＥｓｓｅｒ３８は、ＨＰＦ（ハイパスフィルタ）、ＬＰＦ（ローパスフィルタ）、ＣＯＭＰ（コンプレッサ）等を備え、和信号Ｓｊに対して中音域の音圧を減少させる処理を行って和信号Ｓｐを生成する。ＤｅＥｓｓｅｒ４４は、差信号Ｓｋに対して中音域の音圧を減少させる処理を行って差信号Ｓｑを生成する。

【0026】

ＰＥＱ４３は、和信号Ｓｐに対して所定の帯域の音圧を増加させる処理を行った処理後和信号Ｓｌを生成する。ＰＥＱ３９は、差信号Ｓｑに対して所定の帯域の音圧を増加させる処理を行った処理後差信号Ｓｍを生成する。

【0027】

例えば、シューティングゲームを行っているとき、ＤｅＥｓｓｅｒ３８により、ゲームユーザの操作による銃声音が低減され、やかましさが緩和される。また、ＰＥＱ３９により、サイドの音が強調され、射撃する敵の足音などがわかりやすくなる。従って、所定の帯域は限定されないが、周囲の音を聞きとりやすくするために、主に周囲の音が含まれるような、方向性を感じやすい周波数の帯域であることが望ましい。なお、和信号Ｓｊの系統と差信号Ｓｋの系統の双方にＤｅＥｓｓｅｒおよびＰＥＱを設けたことで、処理後和信号Ｓｌと処理後差信号Ｓｍとの位相を合わせることが容易となる。しかし、位相合わせの効果を求めない場合は、ＤｅＥｓｓｅｒ４４およびＰＥＱ４３は廃止してもよい。

【0028】

ＬＲ変換部４０は、処理後和信号Ｓｌと処理後差信号Ｓｍとをステレオ信号に変換することで音信号Ｓｎを生成する。音信号Ｓｎの左信号をＬ、右信号をＲで表すと、音信号ＳｎのＬ信号は、Ｓｌ＋Ｓｍにより算出される。音信号ＳｎのＲ信号は、Ｓｌ－Ｓｍにより算出される。ＰＥＱ４１は、設定に応じて音信号Ｓｎに対して各帯域の音圧を増減する。これにより、全体の音質が調整された音信号Ｓｇが処理部Ａから出力される。なお、ＰＥＱ４１を設けることは必須でない。

【0029】

処理部Ｂ（図２）が音信号Ｓｂに対して施すＢ処理は、一例として、ボイスチャットに対するバイノーラル化処理を含む。例えば、音信号Ｓｂに対して、ＨＲＴＦとリバーブの少なくとも一方が適用されて、ステレオ信号である音信号Ｓｆが生成される。なお、ＣＰＵ１１は、ユーザからの切り替え指示によって、ＨＲＴＦとリバーブのいずれが適用されるかを切り替えてもよい。また、ユーザからの切り替え指示によって、ＨＲＴＦとリバーブのいずれも適用しない場合があってもよい。

【0030】

切替部３５（図２）の詳細な動作について説明する。ヘッドホン出力端子２４は、ステレオ方式のヘッドホン３１から伸びるプラグ（不図示）が挿入される端子（ステレオピンジャックまたははＵＳＢ端子等）である。ヘッドホン出力端子２４に上記プラグが挿入されると、それに応じた検知信号がＣＰＵ１１に送られる。その検知信号を受けて、ＣＰＵ１１は、ヘッドホン３１がヘッドホン出力端子２４に接続されているか否かを判別する。なお、ユーザによる設定操作部１６の操作によって出力先が指定されてもよい。その場合は、プラグ挿入による検知信号が送信されるように構成する必要はなく、ＣＰＵ１１は、ユーザによる指定に基づいて出力先を選択する。

【0031】

上述したように、切替部３５は、ＣＰＵ１１による制御に従って、音信号Ｓｈの出力先を排他的に選択する。例えば、ヘッドホン３１がヘッドホン出力端子２４に接続されている場合は、ヘッドホン出力端子２４が出力先として選択され、ヘッドホン３１がヘッドホン出力端子２４に接続されていない場合は、スピーカ出力端子２５が出力先として選択される。ヘッドホン出力端子２４が選択された場合は、ヘッドホン用信号Ｓｈ－１がヘッドホン３１に出力される。スピーカ出力端子２５が選択された場合は、スピーカ用信号Ｓｈ－２がスピーカ３２に出力される。なお、切替部３５が音信号Ｓｈを出力する際、レベル調整やＤ／Ａ変換が施されてもよい。特に、ヘッドホン用信号Ｓｈ－１が出力される場合は、ヘッドホンに合わせた出力特性の調整も施されてもよい。

【0032】

また、ユーザは、設定部としての設定操作部１６を用いて、バイノーラル化処理の有効または無効の設定指示を入力する。ＣＰＵ１１は、設定操作部１６を介したユーザからの指示に従って、バイノーラル化部３６（図３）によるバイノーラル化処理の有効／無効を設定する。バイノーラル化処理の有効／無効の設定状態は、ＲＡＭ１３に記憶される。バイノーラル化部３６によるバイノーラル化処理が実際に適用されるのは、バイノーラル化処理が「有効」に設定されていることが条件となる。バイノーラル化処理が「無効」に設定されている場合は、バイノーラル化処理が適用されることはない。

【0033】

ＣＰＵ１１は、バイノーラル化部３６によるバイノーラル化処理の適用の有効／実質無効を制御する。ＣＰＵ１１は、バイノーラル化処理の設定状態と、ヘッドホン３１がヘッドホン出力端子２４に接続されているか否かの判定状態とに基づいて、バイノーラル化処理の適用を有効にするか、または実質的に無効にする。例えば、バイノーラル化処理の適用を無効にする場合は、ＣＰＵ１１は、音信号Ｓｉを、バイノーラル化部３６に代えて不図示のダウンミックス部を通してＭＳ変換部３７へ入力させる。不図示のダウンミックス部では、８ｃｈの音信号Ｓｉが単純にＬ／Ｒの２ｃｈ信号にダウンミックスされる。

【0034】

あるいは、バイノーラル化処理の適用を無効または実質的に無効にする（実質的に適用しない）場合、次の手法を採用してもよい。まず、バイノーラル化部３６による通常のバイノーラル化処理においては、ＨＲＴＦの実現の際、方程式における複数タップ（taps）のフィルタ係数がそれぞれ設定される。そこで、複数タップのフィルタ係数を調整することで、バイノーラル化処理の適用の度合いを弱めるようにしてもよい。すなわち、ＣＰＵ１１は、バイノーラル化処理の適用を有効にする場合に比べて、バイノーラル化処理の適用を実質的に無効にする場合は、バイノーラル化処理におけるパラメータを異ならせる。なお、複数タップのうち１つを除く他の全タップのフィルタ係数を０に設定すれば、バイノーラル化処理の適用を無効に（停止）することと同じになる。このような観点から、「実質的に無効」の概念には、バイノーラル化処理の適用停止だけでなく、バイノーラル化処理の適用の度合いを弱める処理を含めてもよい。

【0035】

図６は、信号処理を示すフローチャートである。この処理は、ＣＰＵ１１が、ＲＯＭ１２に格納されたプログラムをＲＡＭ１３に展開して実行することにより実現される。この処理は、音信号処理装置１００の電源が入れられるか、または信号出力モードに遷移すると開始される。

【0036】

まず、ＣＰＵ１１は、ステップＳ１０１で、音信号Ｓｈの出力先がヘッドホン出力端子２４（ヘッドホン３１）であるか否かを判別する。例えば、上述のように、ヘッドホン３１がヘッドホン出力端子２４に接続されている場合は、ヘッドホン出力端子２４が出力先として判別される。なお、上述のように、ユーザ操作によって出力先が指定されている場合は、その指定に基づいて出力先が判別される。音信号Ｓｈの出力先がヘッドホン出力端子２４である場合は、ＣＰＵ１１は、処理をステップＳ１０２に進める。一方、音信号Ｓｈの出力先がヘッドホン出力端子２４でない場合は、出力先はスピーカ出力端子２５（スピーカ３２）であるので、ＣＰＵ１１は、処理をステップＳ１０７に進める。

【0037】

ステップＳ１０２では、ＣＰＵ１１は、ＲＡＭ１３に記憶されたバイノーラル化処理の有効／無効の設定状態を参照し、バイノーラル化処理の設定が「有効」であるか否かを判別する。そして、バイノーラル化処理の設定が「有効」でない場合は、ＣＰＵ１１は、処理をステップＳ１０７に進める。バイノーラル化処理の設定が「有効」である場合は、ＣＰＵ１１は、処理をステップＳ１０３に進める。

【0038】

ステップＳ１０３では、上述したように、Ａ処理において、バイノーラル化部３６（図３）によるバイノーラル化処理を通常通り適用する。一方、ステップＳ１０７では、ＣＰＵ１１は、Ａ処理において、バイノーラル化部３６によるバイノーラル化処理の適用を実質的に無効（適用停止を含む）にする。ステップＳ１０３、Ｓ１０７の後、ＣＰＵ１１は、処理をステップＳ１０４に進める。

【0039】

ステップＳ１０４では、ＣＰＵ１１は、音信号Ｓｈの出力先がヘッドホン出力端子２４（ヘッドホン３１）であるか否かを判別する。そして、音信号Ｓｈの出力先がヘッドホン出力端子２４である場合は、ステップＳ１０５で、ＣＰＵ１１は、切替部３５における信号の出力先をヘッドホン出力端子２４に切り替えると共に、ヘッドホン用信号Ｓｈ－１を、ヘッドホン出力端子２４からヘッドホン３１へ出力する。ヘッドホン用信号Ｓｈ－１は、バイノーラル化処理を経た音信号Ｓｇと音信号Ｓｆとが混合された音信号である。従って、ユーザは、ヘッドホン３１により臨場感のある音を聞くことができる。ステップＳ１０５の後、ＣＰＵ１１は処理をステップＳ１０６に進める。

【0040】

ステップＳ１０４での判別の結果、音信号Ｓｈの出力先がヘッドホン出力端子２４でない場合は、出力先はスピーカ出力端子２５（スピーカ３２）であるので、ＣＰＵ１１は、処理をステップＳ１０８に進める。ステップＳ１０８では、ＣＰＵ１１は、切替部３５における信号の出力先をスピーカ出力端子２５に切り替えると共に、スピーカ用信号Ｓｈ－２を、スピーカ出力端子２５からスピーカ３２へ出力する。スピーカ用信号Ｓｈ－２は、バイノーラル化処理が実質的に施されていない音信号Ｓｇと音信号Ｓｆとが混合された音信号である。従って、ユーザは、スピーカ３２により違和感のない音を聞くことができる。ステップＳ１０８の後、ＣＰＵ１１は処理をステップＳ１０６に進める。

【0041】

ステップＳ１０６では、ＣＰＵ１１は、その他の処理を実行して、処理をステップＳ１０１に戻す。その他の処理においては、例えば、ユーザからのバイノーラル化処理の有効／無効の設定指示等の各種指示の受け付けのほか、各種指示に応じた処理が実行される。またＣＰＵ１１は、装置電源がオフされたり、信号出力モードの終了の指示があったりすれば、図６に示す処理を終了させる。

【0042】

本実施の形態によれば、選択部としての切替部３５は、ミックスバス３４からの音信号の出力先を、少なくともヘッドホン３１（第１出力先）およびスピーカ３２（第２出力先）の中から選択する。処理部Ａ（第１処理部）は、音信号Ｓｃ（第１音信号）に対して、少なくともバイノーラル化処理を含むＡ処理（第１処理）を行って音信号Ｓｇ（第２音信号）を生成すると共に、音信号Ｓｇをミックスバス３４に出力する。Ａ処理におけるバイノーラル化処理の有効／無効は、ユーザ操作に応じて設定される。制御部としてのＣＰＵ１１は、バイノーラル化処理が有効に設定され、且つ、出力先としてヘッドホン３１が選択された場合は、Ａ処理において音信号Ｓｃに対してバイノーラル化処理を通常適用する。ＣＰＵ１１は、出力先としてスピーカ３２が選択された場合は、バイノーラル化処理が有効に設定されていたとしても、Ａ処理のうち少なくともバイノーラル化処理については、音信号Ｓｃに対する適用を実質的に無効にする。従って、バイノーラル化処理が有効に設定されている場合に、適切な出力先であるヘッドホン３１にだけ、バイノーラル化処理を施した音を出力することができる。

【0043】

例えばＣＰＵ１１は、音信号Ｓｃに対するバイノーラル化処理の適用を停止する。あるいはＣＰＵ１１は、バイノーラル化処理の適用を有効にする場合に比べて、バイノーラル化処理の適用を実質的に無効にする場合は、バイノーラル化処理におけるパラメータを異ならせることで、バイノーラル化処理の適用の度合いを弱める。これらの処理により、スピーカ３２へは実質的にバイノーラル化処理されない音信号が出力されるようにすることができ、違和感のない音を出力させることができる。

【0044】

また、処理部Ｂ（第２処理部）は、音信号Ｓｃ（第１音信号）とはチャンネル数が異なる音信号Ｓｂ（第３音信号）に対してＢ処理（第２処理）を行って音信号Ｓｆ（第４音信号）を生成すると共に、音信号Ｓｆをミックスバス３４に出力する。音信号Ｓｆは音信号Ｓｇと混合され、選択された出力先へ出力されるので、ボイスチャット音声など、チャンネル数が異なる別の音信号を併せて出力することができる。なお、Ｂ処理は、バイノーラル化処理を含むことは必須でない。

【0045】

また、第１出力先と第２出力先とは排他的に選択されるので、バイノーラル化処理を実際に適用するかどうかを出力先に応じて明確に区別することができる。

【0046】

なお、第１出力先は、ヘッドホン３１としたが、ヘッドホン３１は耳装着型の音出力機器の一例であるので、第１出力先はイヤホンであってもよい。従って、通常通りバイノーラル化処理されたヘッドホン用信号Ｓｈ－１を、耳装着型の音出力機器だけに出力することができる。

【0047】

なお、処理部Ｃを設けることは必須でない。従って、音信号Ｓｈは、音信号Ｓｅを含まずに音信号Ｓｇと音信号Ｓｆとを混合した信号であってもよい。なお、バイノーラル化処理が有効に設定されている場合に、適切な出力先にだけ、バイノーラル化処理を施した音を出力する効果を得ることに限れば、処理部Ａのうち後段処理部Ａ－２を設けることは必須でない。なお、音信号Ｓａの取得元はマイクロフォンに限定されない。

【0048】

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

【0049】

なお、本発明を達成するためのソフトウェアによって表される制御プログラムを記憶した記憶媒体を、音信号処理装置１００に読み出すことによって、本発明と同様の効果を奏するようにしてもよい。その場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した、非一過性のコンピュータ読み取り可能な記録媒体は本発明を構成することになる。また、プログラムコードを伝送媒体等を介して供給してもよく、その場合は、プログラムコード自体が本発明を構成することになる。なお、これらの場合の記憶媒体としては、ＲＯＭのほか、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。非一過性のコンピュータ読み取り可能な記録媒体としては、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含む。

【符号の説明】

【0050】

Ａ、Ｂ、Ｃ 処理部、 Ｓｃ、Ｓｇ 音信号、 １１ ＣＰＵ、 ３１ ヘッドホン、 ３２ スピーカ、 ３４ ミックスバス、 ３５ 切替部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】