特許 7565061 信号処理装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-02

(45)【発行日】2024-10-10

(54)【発明の名称】信号処理装置、及びプログラム

(51)【国際特許分類】

   H04R 3/00 20060101AFI20241003BHJP

【ＦＩ】

H04R3/00 320

【請求項の数】 14

(21)【出願番号】P 2020117496

(22)【出願日】2020-07-08

(65)【公開番号】P2022014960

(43)【公開日】2022-01-21

【審査請求日】2023-07-04

(73)【特許権者】

【識別番号】520090756

【氏名又は名称】クレプシードラ株式会社

(74)【代理人】

【識別番号】100140958

【弁理士】

【氏名又は名称】伊藤 学

(74)【代理人】

【識別番号】100137888

【弁理士】

【氏名又は名称】大山 夏子

(74)【代理人】

【識別番号】100198845

【弁理士】

【氏名又は名称】井上 善喬

(72)【発明者】

【氏名】今 誉

(72)【発明者】

【氏名】前野 悠

【審査官】毛利 太郎

(56)【参考文献】

【文献】特開２００８－２４５２６７（ＪＰ，Ａ）

【文献】特開平０５－０９５５９６（ＪＰ，Ａ）

【文献】特表２００６－５２３８２８（ＪＰ，Ａ）

【文献】特表２０１５－５１０３２０（ＪＰ，Ａ）

【文献】米国特許出願公開第２００９／０３１６９１６（ＵＳ，Ａ１）

【文献】特開２０１０－２６３３５４（ＪＰ，Ａ）

【文献】特開平０３－２８０７００（ＪＰ，Ａ）

【文献】特開２０１７－０１１５４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｒ １／００ － ３１／００

Ｇ１０Ｌ １３／００ － ２５／９３

Ｇ１０Ｋ １１／００ － １１／３６

(57)【特許請求の範囲】

【請求項1】

音響伝送系の内側の第１の位置に配置された第１のマイクロフォンにより取得された第１の音響信号、及び前記音響伝送系の内側の第２の位置に配置された前記第１のマイクロフォンとは異なる特性を有する第２のマイクロフォンにより取得された第２の音響信号を合成することで出力信号を生成する信号処理部、
を備え、
前記信号処理部は、前記第１の音響信号に対し、前記第１の音響信号を構成する複数の周波数成分のうち所定の基準を満たす周波数成分である第１の周波数成分を、前記第２の音響信号を構成する複数の周波数成分のうち前記第１の周波数成分と同一周波数の周波数成分である第２の周波数成分に置き換える処理を適用することで、前記出力信号を生成する、
信号処理装置。

【請求項2】

前記第１の位置及び前記第２の位置は、前記音響伝送系の外部から到来した音の位相差が、音源方向によらず一定とみなせる位置である、
請求項１に記載の信号処理装置。

【請求項3】

前記信号処理部は、一定とみなせる前記位相差に基づいて、前記第１の音響信号の位相と前記第２の音響信号の位相とを揃えた上で、前記第１の音響信号及び前記第２の音響信号を合成する、
請求項２に記載の信号処理装置。

【請求項4】

前記音響伝送系は、音響管であり、
前記第１の位置及び前記第２の位置の少なくともいずれかは、前記音響管の開口からの距離が前記音響管の内径の半分以上である位置である、
請求項２又は３に記載の信号処理装置。

【請求項5】

前記音響伝送系は、音響管及び前記音響管に結合される音響ホーンであり、
前記第１の位置及び前記第２の位置の各々は、前記音響管の内側の位置、又は前記音響ホーンの内側であって前記音響管と前記音響ホーンとの結合位置からの距離が前記音響管の内径以下の位置のいずれかである、
請求項２又は３に記載の信号処理装置。

【請求項6】

前記音響伝送系は、人間の耳であり、
前記音響管は外耳道であり、前記音響ホーンは耳殻であり、
前記第１の位置及び前記第２の位置は、前記外耳道の内側の位置、又は前記耳殻の内側であって前記外耳道の入口からの距離が６ｍｍ以下の位置のいずれかである、
請求項５に記載の信号処理装置。

【請求項7】

前記所定の基準は、前記第１のマイクロフォンの最大入力音圧に応じた所定の閾値を超える大きさを有する周波数成分であることを含む、
請求項１～６のいずれか一項に記載の信号処理装置。

【請求項8】

前記所定の基準は、前記所定の閾値を超える大きさを有する他の周波数成分によりマスキングされる周波数成分であることを含む、
請求項７に記載の信号処理装置。

【請求項9】

前記第１のマイクロフォンは、前記第２のマイクロフォンと比較して高ＳＮ比（Signal to Noise Ratio）であり、
前記第２のマイクロフォンは、前記第１のマイクロフォンと比較して高耐圧である、
請求項６～８のいずれか一項に記載の信号処理装置。

【請求項10】

前記第１の音響信号及び前記第２の音響信号が入力された場合に、前記音響伝送系の内側であって、前記音響伝送系の外部から到来した音の前記第１の位置及び前記第２の位置における位相との位相差が、音源方向によらず一定とみなせる位置である第３の位置に配置された第３のマイクロフォンにより取得された第３の音響信号を出力するモデルを学習する学習部をさらに備える、
請求項１～９のいずれか一項に記載の信号処理装置。

【請求項11】

前記信号処理部は、前記第１の音響信号及び前記第２の音響信号が入力された場合に、前記音響伝送系の内側であって、前記音響伝送系の外部から到来した音の前記第１の位置及び前記第２の位置における位相との位相差が、音源方向によらず一定とみなせる位置である第３の位置に配置された第３のマイクロフォンにより取得された第３の音響信号を出力するよう学習されたモデルに対し、前記第１の音響信号及び前記第２の音響信号を入力することで、前記出力信号を生成する、
請求項１～１０のいずれか一項に記載の信号処理装置。

【請求項12】

前記第３のマイクロフォンは、前記第２のマイクロフォンと比較して高ＳＮ比であり、前記第１のマイクロフォンと比較して高耐圧である、
請求項１０又は１１に記載の信号処理装置。

【請求項13】

音響伝送系の内側の第１の位置に配置された第１のマイクロフォンにより取得された第１の音響信号が入力された場合に、前記音響伝送系の内側であって、前記音響伝送系の外部から到来した音の前記第１の位置における位相との位相差が、音源方向によらず一定とみなせる位置である第４の位置に配置された第４のマイクロフォンにより取得された第４の音響信号を出力するよう学習されたモデルに対し、前記第１の音響信号を入力することで出力信号を生成する信号処理部、
を備える信号処理装置。

【請求項14】

コンピュータを、
音響伝送系の内側の第１の位置に配置された第１のマイクロフォンにより取得された第１の音響信号、及び前記音響伝送系の内側の第２の位置に配置された前記第１のマイクロフォンとは異なる特性を有する第２のマイクロフォンにより取得された第２の音響信号を合成することで出力信号を生成する信号処理部、
として機能させ、
前記信号処理部は、前記第１の音響信号に対し、前記第１の音響信号を構成する複数の周波数成分のうち所定の基準を満たす周波数成分である第１の周波数成分を、前記第２の音響信号を構成する複数の周波数成分のうち前記第１の周波数成分と同一周波数の周波数成分である第２の周波数成分に置き換える処理を適用することで、前記出力信号を生成する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、信号処理装置、及びプログラムに関する。

【背景技術】

【0002】

近年、音声コンテンツの再現環境の進歩に伴い、マイクロフォンの録音性能を向上させることが求められている。ただし、マイクロフォンを単に高性能化しようとすると、ダイアフラムが大型になったり、コストが非常に高くなったりする等の不都合があった。そこで、下記非特許文献１では、特性の異なる２つのマイクロフォンを併用することで、疑似的に録音性能を向上させる技術が開示されている。

【先行技術文献】

【非特許文献】

【0003】

【文献】Takashi Kasai et al. ,“Novel concept for a MEMS microphone with dual channels for an ultrawide dynamic range,” 2011 IEEE 24th International Conference on Micro Electro Mechanical Systems.

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記非特許文献１に開示された技術は、特性の異なる２つのマイクロフォンにより得られた２つの音響信号のうちいずれの音響信号を出力するかを、入力音圧に応じてスイッチするものであった。このような単純なスイッチングを経て得られた出力信号を再生すると、スイッチング前後で不自然な変化が生じてしまい、聴覚上の違和感をユーザに与えてしまっていた。

【0005】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、録音された音を再生した際にユーザに与える聴覚上の違和感を抑制することが可能な仕組みを提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある観点によれば、音響伝送系の内側の第１の位置に配置された第１のマイクロフォンにより取得された第１の音響信号、及び前記音響伝送系の内側の第２の位置に配置された前記第１のマイクロフォンとは異なる特性を有する第２のマイクロフォンにより取得された第２の音響信号を合成することで出力信号を生成する信号処理部、を備える信号処理装置が提供される。

【0007】

前記第１の位置及び前記第２の位置は、前記音響伝送系の外部から到来した音の位相差が、音源方向によらず一定とみなせる位置であってもよい。

【0008】

前記信号処理部は、一定とみなせる前記位相差に基づいて、前記第１の音響信号の位相と前記第２の音響信号の位相とを揃えた上で、前記第１の音響信号及び前記第２の音響信号を合成してもよい。

【0009】

前記音響伝送系は、音響管であり、前記第１の位置及び前記第２の位置の少なくともいずれかは、前記音響管の開口からの距離が前記音響管の内径の半分以上である位置であってもよい。

【0010】

前記音響伝送系は、音響管及び前記音響管に結合される音響ホーンであり、前記第１の位置及び前記第２の位置の各々は、前記音響管の内側の位置、又は前記音響ホーンの内側であって前記音響管と前記音響ホーンとの結合位置からの距離が前記音響管の内径以下の位置のいずれかであってもよい。

【0011】

前記音響伝送系は、人間の耳であり、前記音響管は外耳道であり、前記音響ホーンは耳殻であり、前記第１の位置及び前記第２の位置は、前記外耳道の内側の位置、又は前記耳殻の内側であって前記外耳道の入口からの距離が６ｍｍ以下の位置のいずれかであってもよい。

【0012】

前記信号処理部は、前記第１の音響信号に対し、前記第１の音響信号を構成する複数の周波数成分のうち所定の基準を満たす周波数成分である第１の周波数成分を、前記第２の音響信号を構成する複数の周波数成分のうち前記第１の周波数成分と同一周波数の周波数成分である第２の周波数成分に置き換える処理を適用することで、前記出力信号を生成してもよい。

【0013】

前記所定の基準は、前記第１のマイクロフォンの最大入力音圧に応じた所定の閾値を超える大きさを有する周波数成分であることを含んでいてもよい。

【0014】

前記所定の基準は、前記所定の閾値を超える大きさを有する他の周波数成分によりマスキングされる周波数成分であることを含んでいてもよい。

【0015】

前記第１のマイクロフォンは、前記第２のマイクロフォンと比較して高ＳＮ比（Signal to Noise Ratio）であり、前記第２のマイクロフォンは、前記第１のマイクロフォンと比較して高耐圧であってもよい。

【0016】

前記第１の音響信号及び前記第２の音響信号が入力された場合に、前記音響伝送系の内側であって、前記音響伝送系の外部から到来した音の前記第１の位置及び前記第２の位置における位相との位相差が、音源方向によらず一定とみなせる位置である第３の位置に配置された第３のマイクロフォンにより取得された第３の音響信号を出力するモデルを学習する学習部をさらに備えていてもよい。

【0017】

前記信号処理部は、前記第１の音響信号及び前記第２の音響信号が入力された場合に、前記音響伝送系の内側であって、前記音響伝送系の外部から到来した音の前記第１の位置及び前記第２の位置における位相との位相差が、音源方向によらず一定とみなせる位置である第３の位置に配置された第３のマイクロフォンにより取得された第３の音響信号を出力するよう学習されたモデルに対し、前記第１の音響信号及び前記第２の音響信号を入力することで、前記出力信号を生成してもよい。

【0018】

前記第３のマイクロフォンは、前記第２のマイクロフォンと比較して高ＳＮ比であり、前記第１のマイクロフォンと比較して高耐圧であってもよい。

【0019】

また、上記課題を解決するために、本発明の別の観点によれば、音響伝送系の内側の第１の位置に配置された第１のマイクロフォンにより取得された第１の音響信号が入力された場合に、前記音響伝送系の内側であって、前記音響伝送系の外部から到来した音の前記第１の位置における位相との位相差が、音源方向によらず一定とみなせる位置である第４の位置に配置された第４のマイクロフォンにより取得された第４の音響信号を出力するよう学習されたモデルに対し、前記第１の音響信号を入力することで出力信号を生成する信号処理部、を備える信号処理装置が提供される。

【0020】

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、音響伝送系の内側の第１の位置に配置された第１のマイクロフォンにより取得された第１の音響信号、及び前記音響伝送系の内側の第２の位置に配置された前記第１のマイクロフォンとは異なる特性を有する第２のマイクロフォンにより取得された第２の音響信号を合成することで出力信号を生成する信号処理部、として機能させるためのプログラムが提供される。

【発明の効果】

【0021】

以上説明したように本発明によれば、録音された音を再生した際にユーザに与える聴覚上の違和感を抑制することが可能な仕組みが提供される。

【図面の簡単な説明】

【0022】

【図1】本発明の一実施形態に係る信号処理装置の構成の一例を示すブロック図である。

【図2】本実施形態に係る音響信号取得部の構成の一例を模式的に示す図である。

【図3】本実施形態に係る音響信号取得部の構成の一例を模式的に示す図である。

【図4】本実施形態に係る信号処理部における信号処理の一例を示すシグナルフロー図である。

【図5】本実施形態に係る信号処理部における信号処理の一例を説明するためのグラフである。

【図6】本実施形態に係る信号処理装置において実行される信号処理の流れの一例を示すフローチャートである。

【図7】本変形例に係る信号処理装置の構成の一例を示すブロック図である。

【図8】本変形例に係る音響信号取得部の構成の一例を模式的に示す図である。

【図9】本変形例に係る信号処理装置の構成の一例を示すブロック図である。

【発明を実施するための形態】

【0023】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0024】

＜１．構成例＞
図１は、本発明の一実施形態に係る信号処理装置の構成の一例を示すブロック図である。図１に示すように、本実施形態に係る信号処理装置１は、音響信号取得部１０、記憶部２０、出力部３０、及び制御部４０を含む。

【0025】

音響信号取得部１０は、到来した音を示す音響信号を取得する機能を有する。図１に示すように、音響信号取得部１０は、マイクロフォン（以下、マイクとも称する）１１Ａ及び１１Ｂ、アンプ１２Ａ及び１２Ｂ、Ａ／Ｄ変換器１３Ａ及び１３Ｂを含む。

【0026】

なお、本明細書及び図面において、実質的に同一の機能構成を有する要素を、同一の符号の後に異なるアルファベットを付して区別する場合がある。例えば、実質的に同一の機能構成を有する複数の要素を、必要に応じてマイク１１Ａ及び１１Ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、マイク１１Ａ及び１１Ｂを特に区別する必要が無い場合には、単にマイク１１と称する。

【0027】

マイク１１は、到来した音を示す音響信号を取得する。アンプ１２は、マイク１１により取得された音響信号を増幅して出力する。Ａ／Ｄ変換器１３は、アンプ１２から出力されたアナログ信号をデジタル信号に変換する。以下では、マイク１１Ａを第１のマイク１１Ａとも称し、マイク１１Ｂを第２のマイク１１Ｂとも称する場合がある。また、第１のマイク１１Ａにより取得された音響信号を、以下では第１の音響信号とも称する。ただし、第１の音響信号は、アンプ１２Ａにより増幅され、Ａ／Ｄ変換器１３Ａによりデジタル信号に変換された信号を意味していてもよい。同様に、第２のマイク１１Ｂにより取得された音響信号を、以下では第２の音響信号とも称する。ただし、第２の音響信号は、アンプ１２Ｂにより増幅され、Ａ／Ｄ変換器１３Ｂによりデジタル信号に変換された信号を意味していてもよい。

【0028】

記憶部２０は、各種情報を記憶する機能を有する。記憶部２０は、所定の記憶媒体に対してデータの記憶及び読み出しを行う。所定の記憶媒体の一例として、フラッシュメモリ等の不揮発性の記憶媒体が挙げられる。

【0029】

出力部３０は、情報を出力する機能を有する。出力部３０は、ネットワークインタフェースを含んでいてもよく、接続されたネットワークを介して外部に情報を送信してもよい。出力部３０は、スピーカを含んでいてもよく、音を再生してもよい。例えば、出力部３０は、制御部４０により生成された出力信号を、送信又は再生する。

【0030】

制御部４０は、演算処理装置及び制御装置として機能し、各種プログラムに従って信号処理装置１内の動作全般を制御する。制御部４０は、例えばＣＰＵ（Central Processing Unit）、及びＤＳＰ（Digital Signal Processor）等の電子回路によって実現される。なお、制御部４０は、使用するプログラム及び演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。

【0031】

とりわけ、制御部４０は、音響信号取得部１０により取得された音響信号に対し各種信号処理を適用する信号処理部として機能する。

【0032】

＜２．技術的特徴＞
（１）技術的課題
上記非特許文献１に開示された技術は、特性の異なる２つのマイクにより得られた２つの音響信号のうちいずれの音響信号を出力するかを、入力音圧に応じてスイッチするものであった。

【0033】

通常、異なる位置に配置された２つのマイクの各々により取得された音響信号に生じる位相差は、音源方向（即ち、音の到来方向）によって変化する。そのため、単純にスイッチングを行うと、再生音の位相が不連続となるので、聴覚上の違和感をユーザに与えてしまっていた。

【0034】

さらに、高ＳＮ比のマイクにより得られた音響信号から低ＳＮ比のマイクにより得られた音響信号へスイッチングされると、ノイズフロアが上がるので、さらなる聴覚上の違和感をユーザに与えてしまっていた。また、単周波数の大音量の音が発生している環境で、低耐圧なマイクから高耐圧なマイクにスイッチングされた場合、当該周波数以外の音については、高耐圧なマイクの自己ノイズが聴こえてしまっていた。

【0035】

（２）マイクの配置
第１のマイク１１Ａは、音響伝送系の内側の第１の位置に配置される。第２のマイク１１Ｂもまた、音響伝送系の内側の第２の位置に配置される。ただし、第１のマイク１１Ａと第２のマイク１１Ｂとは、特性が異なる。ここでの特性とは、例えば、ＳＮ比（Signal to Noise Ratio）及び耐圧性である。なお、耐圧性とは、最大入力音圧の大きさを示す指標である。

【0036】

制御部４０は、第１の音響信号、及び第２の音響信号を合成することで出力信号を生成する。例えば、制御部４０は、第１の音響信号の周波数成分及び第２の音響信号の周波数成分の各々を含む出力信号を生成する。かかる構成によれば、出力信号が特性の異なる２つのマイクにより取得された音響信号の双方を含有することとなるので、単にスイッチングされる場合と比較して、聴覚上の違和感を軽減することが可能である。

【0037】

第１の位置及び第２の位置は、音響伝送系の外部から到来した音の位相差が、音源方向によらず一定とみなせる位置である。さらに言えば、第１の位置及び第２の位置は、音響伝送系の外部から到来した音の特性（例えば、周波数エネルギー及び共振周波数）が、音源方向によらず一定とみなせる位置である。かかる構成によれば、音響伝送系の外部から到来した音の、第１の位置における音と第２の位置における音との位相差及び相対的な特性を、音源方向によらず一定に保つことができる。よって、第１の音響信号と第２の音響信号とを合成する際の処理を簡易にすることが可能となる。

【0038】

制御部４０は、音響伝送系の外部から到来した音の第１の位置における位相と第２の位置における位相との間の、一定とみなせる位相差に基づいて、第１の音響信号の位相と第２の音響信号の位相とを揃えた上で、第１の音響信号及び第２の音響信号を合成する。典型的には、音響伝送系の外部から到来した音の、第１の位置における位相と第２の位置における位相との間の位相差は、第１の位置と第２の位置との相対関係（例えば、距離）に対応する。そこで、制御部４０は、第１の位置と第２の位置との相対関係（例えば、距離）に対応する位相差を、第１の音響信号又は第２の音響信号のいずれかに付与した上で（例えば、遅延させて）、第１の音響信号及び第２の音響信号を合成する。かかる構成により、同一位相の信号を合成することができるので、聴覚上の違和感を軽減することが可能である。

【0039】

－音響伝送系が音響管である場合
音響伝送系は、音響管であってもよい。ただし、音響管は、一端が開口であり他端が閉じられているものとする。その場合、第１の位置及び第２の位置の少なくともいずれかは、音響管の内側であって、音響管の開口からの距離が音響管の内径の半分以上である位置である。音響管の開口からの距離が音響管の内径の半分以上である位置では、音響伝送系の外部から到来した音を平面波とみなすことができることが知られている。よって、第１の位置及び第２の位置の双方が、音響管の開口からの距離が音響管の内径の半分以上である位置である場合、第１の音響信号と第２の音響信号との位相差を一定とみなして、位相を揃えて合成することが可能となる。

【0040】

また、第１の位置及び第２の位置の一方が、音響管の内側であって音響管の開口からの距離が音響管の内径の半分以上である位置であれば、他方は、音響管の内側であって音響管の開口からの距離が音響管の内径の半分未満の位置であってもよい。一例として、第１の位置が音響管の開口からの距離が音響管の内径の半分未満の位置であり、第２の位置が音響管の開口からの距離が音響管の内径の半分以上の位置であるものとする。その場合、第１の位置に到来した音に対し、第１の位置と第２の位置との相対関係に対応する位相差を付与することで、周波数エネルギー及び共振周波数等の特性を第２の位置に到来する音と同等に近似することができる。よって、平面波である第２の音響信号と、平面波である第２の音響信号に近似した第１の音響信号とを、位相を揃えて合成することが可能となる。もちろん、第１の位置と第２の位置とが逆であってもよい。

【0041】

第１の位置及び第２の位置の具体例を、図２を参照しながら説明する。

【0042】

図２は、本実施形態に係る音響信号取得部１０の構成の一例を模式的に示す図である。図２では、上段に音響信号取得部１０Ａの構成が示されており、下段に音響信号取得部１０Ｂの構成が示されている。音響信号取得部１０Ａ及び音響信号取得部１０Ｂでは、中空部材１５の内側に、第１のマイク１１Ａ及び第２のマイク１１Ｂが配置されている。中空部材１５は、一端が開口であり他端が閉じられた円筒状の部材である。中空部材１５は、音響管の一例である。図２各段の左図は、中空部材１５の開口側から音響信号取得部１０を見た正面図である。図２各段の右図は、中空部材１５の長手方向に沿って音響信号取得部１０を切断した場合の断面図である。

【0043】

図２の上段に示すように、音響信号取得部１０Ａでは、第１のマイク１１Ａが、中空部材１５の開口付近、即ち、中空部材１５の開口からの距離が中空部材１５の内径ｄの半分であるｄ／２未満である位置に配置されている。他方、第２のマイク１１Ｂは、中空部材１５の開口からの距離が中空部材１５の内径ｄの半分であるｄ／２である位置に配置されている。例えば、中空部材１５の内径が６ｍｍであれば、第２のマイク１１Ｂは中空部材１５の開口から３ｍｍの位置に配置されている。この場合、第２のマイク１１Ｂの位置では、中空部材１５の外部から到来した音を平面波とみなすことができる。他方、第１のマイク１１Ａの位置では、中空部材１５の外部から到来した音に所定の位相差を付与することで、第２のマイク１１Ｂの到来する音と特性を同等にすることができる。よって、中空部材１５の外部から到来した音の、第１のマイク１１Ａの位置における位相と第２のマイク１１Ｂの位置における位相との間の位相差を一定とみなして、第１の音響信号と第２の音響信号の位相とを位相を揃えて合成することが可能となる。なお、第１のマイク１１Ａと第２のマイク１１Ｂの配置は逆であってもよい。

【0044】

図２の下段に示すように、音響信号取得部１０Ｂでは、第１のマイク１１Ａ及びマイク１１Ｂの双方が、中空部材１５の開口からの距離が中空部材１５の内径ｄの半分であるｄ／２以上の位置に配置されている。例えば、中空部材１５の内径が６ｍｍであれば、第１のマイク１１Ａ及び第２のマイク１１Ｂは中空部材１５の開口からの距離が３ｍｍ以上の位置に配置されている。この場合、第１のマイク１１Ａの位置及び第２のマイク１１Ｂの位置では、中空部材１５の外部から到来した音を平面波とみなすことができる。よって、中空部材１５の外部から到来した音の、第１のマイク１１Ａの位置における位相と第２のマイク１１Ｂの位置における位相との間の位相差を一定とみなして、第１の音響信号と第２の音響信号とを位相を揃えて合成することが可能となる。

【0045】

－音響伝送系が音響管と音響ホーンとの結合である場合
音響伝送系は、音響管及び音響管に結合される音響ホーンであってもよい。ただし、音響管の端部のうち、音響ホーンに接続された側の端部が開口であり、他方の端部は閉じられているものとする。音響ホーンとは、一端（スロートとも称される）から他端（マウスとも称される）にかけて徐々に径が大きくなる管状の形状を有する部材である。音響ホーンのマウスに側に対し外部から到来した音は、音響ホーンの内部のスロート側の位置では平面波に近似することができることが知られている。

【0046】

そこで、第１の位置及び第２の位置の各々は、音響管の内側の位置、又は音響ホーンの内側であって音響管と音響ホーンとの結合位置からの距離が音響管の内径以下の位置のいずれかであればよい。これらの位置であれば、音響伝送系の外部から到来した音を平面波とみなす、又は平面波に近似することができる。よって、第１の音響信号と第２の音響信号とを、位相を揃えて合成することが可能となる。

【0047】

例えば、音響伝送系は、人間の耳であってもよい。その場合の第１の位置及び第２の位置の具体例を、図３を参照しながら説明する。

【0048】

図３は、本実施形態に係る音響信号取得部１０の構成の一例を模式的に示す図である。図３では、上段に音響信号取得部１０Ｃの構成が示されており、下段に音響信号取得部１０Ｄの構成が示されている。音響信号取得部１０Ｃ及び音響信号取得部１０Ｄでは、外耳道１６又は耳殻１７の内側に、第１のマイク１１Ａ及び第２のマイク１１Ｂが配置されている。外耳道１６は、音響管の一例である。耳殻１７は、音響ホーンの一例である。そして、外耳道１６の入口１８は、音響管と音響ホーンとの結合位置の一例である。外耳道１６のうち外耳道１６の入口１８の反対側の端部は、鼓膜により閉じられている。図３各段の左図は、外耳道１６の外側から音響信号取得部１０を見た正面図である。図３各段の右図は、外耳道１６の長手方向に沿って音響信号取得部１０を切断した場合の断面図である。

【0049】

図３の上段に示すように、音響信号取得部１０Ａでは、第１のマイク１１Ａが、耳殻１７の内側であって、外耳道１６の入口１８からの距離が外耳道１６の内径ｄ以下の位置に配置されている。例えば、外耳道１６の内径が６ｍｍであれば、第１のマイク１１Ａは、耳殻１７の内側であって、外耳道１６の入口１８からの距離が６ｍｍ以下の位置に配置されている。他方、第２のマイク１１Ｂは、外耳道１６の内側に配置されている。この場合、第１のマイク１１Ａの位置及び第２のマイク１１Ｂの位置では、外部から到来した音を平面波とみなす、又は平面波に近似することができる。よって、外部から到来した音の、第１のマイク１１Ａの位置における位相と第２のマイク１１Ｂの位置における位相との間の位相差を一定とみなして、第１の音響信号と第２の音響信号とを位相を揃えて合成することが可能となる。

【0050】

図３の下段に示すように、音響信号取得部１０Ｂでは、第１のマイク１１Ａ及び第２のマイク１１Ｂが、耳殻１７の内側であって、外耳道１６の入口１８からの距離が外耳道１６の内径ｄ以下の位置に配置されている。例えば、外耳道１６の内径が６ｍｍであれば、第１のマイク１１Ａ及び第２のマイク１１Ｂは、耳殻１７の内側であって、外耳道１６の入口１８からの距離が６ｍｍ以下の位置に配置されている。この場合、第１のマイク１１Ａの位置及び第２のマイク１１Ｂの位置では、外部から到来した音を平面波とみなす、又は平面波に近似することができる。よって、外部から到来した音の、第１のマイク１１Ａの位置における位相と第２のマイク１１Ｂの位置における位相との間の位相差を一定とみなして、第１の音響信号と第２の音響信号とを位相を揃えて合成することが可能となる。

【0051】

－補足
なお、音響管の内径ｄは、音の波長λよりも十分小さいものとする。人間の平均的な外耳道の内径ｄを６ｍｍ～７ｍｍとすると、ｄ＝λ／２が成り立つ音の波長は２４ｋＨｚ～２８ｋＨｚである。

【0052】

また、バイノーラル技術分野において、人間の耳に到来した音の、耳における各位置における特性が、非特許文献「Henrik Moller，“Fundamentals of binaural technology”，Applied Acoustics，36(3-4):171-218，December 1992．」において報告されている。当該非特許文献の図４を参照すると、外耳道の内側の位置、及び耳殻の内側であって外耳道の入口からの距離が６ｍｍ以下の位置であれば、外部から到来した音の特性が音源方向によらずほぼ一定となることが分かる。

【0053】

（３）信号処理の詳細
以下、図４を参照しながら、本実施形態における信号処理の詳細を説明する。図４は、本実施形態に係る信号処理部における信号処理の一例を示すシグナルフロー図である。なお、図４では、図２に示した音響信号取得部１０Ａのように、第１のマイク１１Ａの方が第２のマイク１１Ｂより音源に近い場合のシグナルフローを示している。

【0054】

図４に示すように、制御部４０は、第１の音響信号を遅延させた上で、周波数分解する。例えば、制御部４０は、第１の位置と第２の位置との相対関係に対応する、第１の音響信号と第２の音響信号との間の一定とみなせる位相差の分だけ、第１の音響信号を遅延させる。他にも、制御部４０は、第１の位置と第２の位置との相対関係に対応する、第１の音響信号と第２の音響信号との間の一定とみなせる位相差の分だけ、第１の音響信号を移相させるフェイズシフトフィルタを適用してもよい。他方、制御部４０は、第２の音響信号を、周波数分解する。

【0055】

そして、制御部４０は、第１の音響信号と第２の音響信号とを合成する。その際、制御部４０は、第１の音響信号に対し、第１の音響信号を構成する複数の周波数成分のうち所定の基準を満たす周波数成分である第１の周波数成分を、第２の音響信号を構成する複数の周波数成分のうち第１の周波数成分と同一周波数の周波数成分である第２の周波数成分に置き換える処理を適用することで、出力信号を生成する。つまり、制御部４０は、第１の音響信号のうち、第１の周波数成分を第２の周波数成分に置き換えることで、出力信号を生成する。かかる構成によれば、出力信号において、同一周波数の第１の音響信号と第２の音響信号とが並存することが回避されるので、聴覚上の違和感を軽減することが可能である。

【0056】

所定の基準は、第１のマイク１１Ａの最大入力音圧に応じた所定の閾値を超える大きさを有する周波数成分であることを含んでいてもよい。所定の閾値の一例は、第１のマイク１１Ａの最大入力音圧である。以下では、所定の閾値を、単に最大入力音圧とも称する。かかる構成によれば、第１の音響信号を構成する複数の周波数成分のうち、音圧（例えば、周波数エネルギー）が最大入力音圧を超える周波数成分を、第２の音響信号の周波数成分に置き換えることができる。従って、音圧が最大入力音圧を超える（即ち、飽和する）ことで発生する歪みを出力信号から除去することができるので、聴覚上の違和感を軽減することが可能である。

【0057】

所定の基準は、最大入力音圧を超える大きさを有する他の周波数成分によりマスキングされる周波数成分であることを含んでいてもよい。ある音が他の音によって遮蔽されて聞こえなくなる現象は、マスキング効果とも称される。マスキング効果は、同一の周波数の音だけでなく、周辺の周波数の音にも及ぶことが知られている。マスキング効果が及ぶ範囲は、マスキングレベルとも称される。かかる構成によれば、最大入力音圧を超える周波数成分だけでなく、最大入力音圧を超えた周波数成分のマスキングレベルが及ぶ範囲の周波数成分を、まとめて置き換えることができる。これにより、聴覚上の違和感を軽減することが可能である。また、ある程度まとまった範囲の周波数成分を置き換えことで、帯域分割数を少なくすることができるので、聴覚上の違和感をさらに軽減することが可能である。

【0058】

以下、図５を参照しながら、これらの基準に基づく信号処理について詳細に説明する。

【0059】

図５は、本実施形態に係る信号処理部における信号処理の一例を説明するためのグラフである。本グラフの横軸は周波数であり、縦軸は音の大きさを示すレベルである。マスキングレベル１００Ａは、周波数が１ｋＨｚであり大きさが１００ｄＢである音が鳴っている場合のマスキングレベルを模式的に示している。マスキングレベル１００Ｂは、周波数が１ｋＨｚであり大きさが６０ｄＢである音が鳴っている場合のマスキングレベルを模式的に示している。マスキングレベル１００Ｃは、周波数が１ｋＨｚであり大きさが２０ｄＢである音が鳴っている場合のマスキングレベルを模式的に示している。これらの音が鳴っている場合、各周波数においてマスキングレベルよりも小さな音は、マスキング効果により聞こえなくなる。図５に示すように、各周波数のマスキングレベルは、鳴っている音の大きさによって異なる。また、各周波数のマスキングレベルは、鳴っている音の周波数によっても異なる。

【0060】

図５に示したグラフにおいて、周波数成分１１０Ａ～１１０Ｄは、第１の音響信号の周波数成分である。周波数成分１１０Ｃは、１ｋＨｚの成分であり、その大きさは１００ｄＢである。第１のマイク１１Ａの最大入力音圧１２０が６０ｄＢであるとすると、周波数成分１１０Ｃは最大入力音圧を超えているから、置き換えの対象となる。また、周波数成分１１０Ｃのマスキング効果は、マスキングレベル１００Ａにより示される。０．２ｋＨｚの周波数成分１１０Ａについては、大きさがマスキングレベル１００Ａを上回るので、周波数成分１１０Ｃによるマスキング効果は及ばない（即ち、聞こえる）。他方、０．５ｋＨｚの周波数成分１１０Ｂ、及び２ｋＨの周波数成分１１０Ｄは、大きさがマスキングレベル１００Ａを下回るので、周波数成分１１０Ｃによるマスキング効果が及ぶ（即ち、聞こえない）。そのため、周波数成分１１０Ｂ及び周波数成分１１０Ｄもまた、置き換えの対象となる。以上から、制御部４０は、第１の音響信号のうち、０．５ｋＨｚの周波数成分１１０Ｂ、１ｋＨｚの周波数成分１１０Ｃ、及び２ｋＨの周波数成分１１０Ｄを、第２の音響信号の０．５ｋＨｚの周波数成分、１ｋＨｚの周波数成分、及び２ｋＨの周波数成分に置き換える。

【0061】

第１のマイク１１Ａは、第２のマイク１１Ｂと比較して、高ＳＮ比であってもよい。他方、第２のマイク１１Ｂは、第１のマイク１１Ａと比較して、高耐圧であってもよい。かかる構成によれば、高ＳＮ比なマイクにより取得された音のうち、最大入力音圧を超える音圧が得られた周波数については、高耐圧なマイクにより取得された音に置き換えることができる。高耐圧なマイクの最大入力音圧は、低耐圧なマイクの最大入力音圧よりも高いので、低耐圧なマイクで発生していた歪みを軽減する又は無くすことができる。従って、本実施形態では、出力信号において、高ＳＮ比と高耐圧とを疑似的に両立させることが可能となる。

【0062】

（４）処理の流れ
図６は、本実施形態に係る信号処理装置１において実行される信号処理の流れの一例を示すフローチャートである。ここでは、第１のマイク１１Ａは、第２のマイク１１Ｂと比較して高ＳＮ比であり、第２のマイク１１Ｂは、第１のマイク１１Ａと比較して高耐圧であるものとする。

【0063】

図６に示すように、まず、制御部４０は、第１の位置と第２の位置との相対関係に基づいて、第１の音響信号と第２の音響信号との位相を揃える（ステップＳ１０２）。例えば、制御部４０は、第１の音響信号又は第２の音響信号の一方を、第１の位置と第２の位置との相対関係に対応する、第１の音響信号と第２の音響信号との間の一定とみなせる位相差の分だけ、遅延又は移相させる。

【0064】

次いで、制御部４０は、第１の音響信号及び第２の音響信号の各々を周波数分解する（ステップＳ１０４）。例えば、制御部４０は、第１の音響信号及び第２の音響信号の各々に対し、短時間フーリエ変換（ＳＴＦＴ：short-time Fourier transform）、又はオクターブバンドフィルタを適用する。

【0065】

次に、制御部４０は、第１のマイク１１Ａの最大入力音圧に基づいて、第１の音響信を構成する複数の周波数成分から置き換え対象の周波数成分を選択する（ステップＳ１０６）。詳しくは、制御部４０は、第１の音響信号を構成する複数の周波数成分のうち、第１のマイク１１Ａの最大入力音圧に対応する所定の閾値を超える大きさを有する周波数成分を、置き換え対象の周波数成分として選択する

【0066】

次いで、制御部４０は、置き換え対象の周波数成分として選択された周波数成分が有るか否かを判定する（ステップＳ１０８）。

【0067】

選択された周波数成分が有ると判定された場合（ステップＳ１０８：ＹＥＳ）、制御部４０は、第１の音響信号を構成する複数の周波数成分の一部が置き換え対象として選択されたか否かを判定する（ステップＳ１１０）。

【0068】

第１の音響信号を構成する複数の周波数成分の一部が置き換え対象として選択されたと判定された場合（ステップＳ１１０：ＹＥＳ）、制御部４０は、置き換え対象の周波数成分の周波数及び周波数エネルギーに対応する、各周波数のマスキングレベルを取得する（ステップＳ１１２）。

【0069】

次に、制御部４０は、マスキングレベルに基づいて、置き換え対象の周波数成分をさらに選択する（ステップＳ１１４）。詳しくは、制御部４０は、第１の音響信号を構成する複数の周波数成分のうち、マスキングレベルよりも低い大きさを有する周波数成分を、置き換え対象の周波数成分としてさらに選択する。

【0070】

次いで、制御部４０は、置き換え対象の周波数成分を、対応する第２の音響信号の周波数成分に置き換える（ステップＳ１１６）。詳しくは、制御部４０は、第１の音響信号を構成する複数の周波数成分のうち、置き換え対象の周波数成分を、第２の音響信号を構成する複数の周波数成分のうち置き換え対象の周波数成分と同一周波数の周波数成分に置き換える。

【0071】

次に、制御部４０は、置き換え後の信号を時間領域の信号に復元することで、出力信号を生成する（ステップＳ１１８）。詳しくは、制御部４０は、一部の周波数成分が第２の音響信号のものに置き換えられた、複数の周波数成分の分解された第１の音響信号を、時間領域の信号に復元することで、出力信号を生成する。例えば、制御部４０は、周波数領域の信号に対しＩＦＦＴ（inverse fast Fourier transform）等を適用することで、時間領域の信号に変換する。

【0072】

ステップＳ１０８において、選択された周波数成分が無いと判定された場合（ステップＳ１０８：ＮＯ）、制御部４０は、時間領域の第１の音響信号を、出力信号として出力する（ステップＳ１２０）。

【0073】

ステップＳ１１０において、第１の音響信号を構成する複数の周波数成分の全部が置き換え対象として選択されたと判定された場合（ステップＳ１１０：ＮＯ）、制御部４０は、時間領域の第２の音響信号を、出力信号として出力する（ステップＳ１２２）。

【0074】

＜３．変形例＞
（１）第１の変形例
本変形例は、高ＳＮ比と高耐圧とを疑似的に両立させた出力信号を、モデルの学習により得る例である。

【0075】

図７は、本変形例に係る信号処理装置１の構成の一例を示すブロック図である。図７に示すように、本変形例に係る信号処理装置１は、図１に示した構成における音響信号取得部１０に、マイク１１Ｃ、アンプ１２Ｃ、及びＡ／Ｄ変換器１３Ｃが追加された構成を有する。ただし、後述するように、信号処理装置１は、学習済みのモデルを使用する際には、マイク１１Ｃ、アンプ１２Ｃ、及びＡ／Ｄ変換器１３Ｃを有していなくてもよい。

【0076】

マイク１１Ｃを、以下では第３のマイク１１Ｃとも称する。第３のマイク１１Ｃにより取得された信号を、以下では第３の音響信号とも称する。ただし、第３の音響信号は、アンプ１２Ｃにより増幅され、Ａ／Ｄ変換器１３Ｃによりデジタル信号に変換された信号を意味していてもよい。

【0077】

第１のマイク１１Ａは、第２のマイク１１Ｂと比較して高ＳＮ比であり、第２のマイク１１Ｂは、第１のマイク１１Ａと比較して高耐圧であるものとする。そして、第３のマイク１１Ｃは、第２のマイク１１Ｂと比較して高ＳＮ比であり、第１のマイク１１Ａと比較して高耐圧であるものとする。例えば、第３のマイク１１Ｃは、第１のマイク１１Ａと同等のＳＮ比であり、第２のマイク１１Ｂと同等の耐圧性を有していてもよい。かかる構成により、後述するように、学習済みのモデルを使用して生成される出力信号において、高ＳＮ比と高耐圧とを疑似的に両立させることが可能となる。

【0078】

第１のマイク１１Ａ及び第２のマイク１１Ｂの配置は、上記実施形態において説明した通りである。

【0079】

第３のマイク１１Ｃは、音響伝送系の内側であって、音響伝送系の外部から到来した音の第１の位置及び第２の位置における位相との位相差が、音源方向によらず一定とみなせる位置である第３の位置に配置される。換言すると、第１の位置、第２の位置及び第３の位置は、音響伝送系の外部から到来した音の位相差が、音源方向によらず一定とみなせる位置である。さらに言えば、第１の位置、第２の位置、及び第３の位置は、音響伝送系の外部から到来した音の特性（例えば、周波数エネルギー及び共振周波数）が、音源方向によらず一定とみなせる位置である。かかる構成によれば、音響伝送系の外部から到来した音の、第３の位置における音と第１の位置における音及び第２の位置における音の各々との間の位相差及び相対的な特性を、音源方向によらず一定に保つことができる。よって、後述するモデルの学習を簡易且つ精度よく行うことが可能となる。

【0080】

音響伝送系が音響管である場合、第３の位置は、音響管の内側であって、音響管の開口からの距離が音響管の内径の半分以上である位置である。ただし、第１の位置及び第２の位置の双方が、音響管の内側であって、音響管の開口からの距離が音響管の内径の半分以上である位置である場合、第３の位置は、音響管の内側の任意の位置であってよい。音響伝送系が音響管及び音響管に結合される音響ホーンである場合、第３の位置は、音響管の内側の位置、又は音響ホーンの内側であって音響管と音響ホーンとの結合位置からの距離が音響管の内径以下の位置のいずれかである。いずれの場合も、上記実施形態において説明した理由と同様の理由で、音響伝送系の外部から到来した音の第１の位置及び第２の位置における位相と第３の位置における位相との間の位相差を、音源方向によらず一定とみなすことが可能となる。

【0081】

図８は、本変形例に係る音響信号取得部１０の構成の一例を模式的に示す図である。図８の左図は、中空部材１５の開口側から音響信号取得部１０Ｅを見た正面図である。図８の右図は、中空部材１５の長手方向に沿って音響信号取得部１０Ｅを切断した場合の断面図である。音響信号取得部１０Ｅでは、中空部材１５の内側に第１のマイク１１Ａ、第２のマイク１１Ｂ及び第３のマイク１１Ｃが配置されている。第１のマイク１１Ａは、中空部材１５の開口付近、即ち、中空部材１５の開口からの距離が中空部材１５の内径ｄの半分未満である位置に配置されている。第２のマイク１１Ｂは、中空部材１５の開口からの距離が中空部材１５の内径ｄの半分であるｄ／２である位置に配置されている。さらに、第３のマイク１１Ｃは、第２のマイク１１Ｂよりも奥に、即ち、中空部材１５の開口からの距離が中空部材１５の内径ｄの半分であるｄ／２を超える位置に配置されている。この場合、第２のマイク１１Ｂ及び第３のマイク１１Ｃの位置では、中空部材１５の外部から到来した音を平面波とみなすことができる。他方、第１のマイク１１Ａの位置では、中空部材１５の外部から到来した音に所定の位相差を付与することで、第２のマイク１１Ｂ及び第３のマイク１１Ｃの各々に到来する音と特性を同等にすることができる。よって、中空部材１５の外部から到来した音の、第１のマイク１１Ａの位置及び第２のマイク１１Ｂの位置における位相と第３のマイク１１Ｃの位置における位相との間の位相差を一定とみなして、モデルの学習を行うことができる。

【0082】

制御部４０は、第１の音響信号及び第２の音響信号が入力された場合に第３の音響信号を出力するモデルを学習する学習部として機能する。例えば、制御部４０は、第１の音響信号及び第２の音響信号を入力（即ち、データ）とし、第３の音響信号を出力（即ち、ラベル）とする教師データを使用して、モデルを学習する。モデルは、例えばニューラルネットワークにより構成されてもよい。なお、教師データは、時間領域の信号であってもよいし、周波数領域の信号であってもよい。後者の場合、制御部４０は、第１の音響信号及び第２の音響信号の各々を周波数分解したものをデータとし、及び第３の音響信号を周波数分解したものをラベルとする教師データを使用して、モデルを学習する。かかる構成によれば、第１の音響信号及び第２の音響信号を入力することで、高ＳＮ比と高耐圧とを両立する第３のマイク１１Ｃから出力される第３の音響信号と同等の音響信号を出力するモデルを、学習することが可能となる。

【0083】

ニューラルネットワークとは、入力層、ひとつ以上の中間層、及び出力層により構成されるネッワークである。各層は、ひとつ以上のノードを含み、隣接する層に属するノード同士は重みが付されたリンクにより接続される。典型的には、各ノードは、リンクで接続された前段の層に属するひとつ以上のノードから出力された情報に対し、リンクに付された重みを乗算したものを積算し、出力する。入力層に対し情報が入力されると、入力層から出力層に向けてこのような演算が行われ、出力層から情報が出力される。ニューラルネットワークの学習とは、リンクの重み等のパラメータを学習することを意味する。

【0084】

制御部４０は、学習部により学習されたモデルに対し、第１の音響信号及び第２の音響信号を入力することで、出力信号を生成する。かかる構成によれば、学習済みのモデルに第１の音響信号及び第２の音響信号を入力して演算を行うことで、上記実施形態において説明した信号処理を行った場合と同等の出力信号を生成することが可能となる。即ち、本変形例では、出力信号において、高ＳＮ比と高耐圧とを疑似的に両立させることが可能となる。なお、周波数領域の信号が教師データとして使用されて学習されたモデルを使用する場合、制御部４０は、第１の音響信号及び第２の音響信号を周波数分解したものをモデルに入力し、モデルからの出力を時間領域の信号に復元することで、出力信号を生成する。

【0085】

ここで、本変形例に係る信号処理装置１は、モデル学習時に第３のマイク１１Ｃを有していればよく、販売及び流通時には第３のマイク１１Ｃを有していなくてもよい。例えば、プロトタイプとして第３のマイク１１Ｃを有する信号処理装置１を製造してモデルを学習させ、第３のマイク１１Ｃを有さず学習済みのモデルを搭載した信号処理装置１を製造及び販売することができる。かかる構成によれば、販売する商品の低コスト化が可能となる。

【0086】

（２）第２の変形例
本変形例は、高ＳＮ比と高耐圧とを疑似的に両立させた出力信号を、モデルの学習により得る例である。ただし、本変形例は、第１の変形例と比較して、モデルに入力する音響信号がひとつ少ない。

【0087】

図９は、本変形例に係る信号処理装置１の構成の一例を示すブロック図である。図９に示すように、本変形例に係る信号処理装置１は、図１に示した構成と同様に、音響信号取得部１０、記憶部２０、出力部３０及び制御部４０を備える。ただし、音響信号取得部１０は、第２のマイク１１Ｂ、アンプ１２Ｂ、及びＡ／Ｄ変換器１３Ｂの代わりに、マイク１１Ｄ、アンプ１２Ｄ、及びＡ／Ｄ変換器１３Ｄを備える。ただし、後述するように、信号処理装置１は、学習済みのモデルを使用する際には、マイク１１Ｄ、アンプ１２Ｄ、及びＡ／Ｄ変換器１３Ｄを有していなくてもよい。

【0088】

マイク１１Ｄを、以下では第４のマイク１１Ｄとも称する。第４のマイク１１Ｄにより取得された信号を、以下では第４の音響信号とも称する。ただし、第４の音響信号は、アンプ１２Ｄにより増幅され、Ａ／Ｄ変換器１３Ｄによりデジタル信号に変換された信号を意味していてもよい。

【0089】

第４のマイク１１Ｄは、第１のマイク１１Ａと比較して高ＳＮ比又は高耐圧の少なくともいずれかである。例えば、第４のマイク１１Ｄは、第１のマイク１１Ａと同等のＳＮ比であり、第１のマイク１１Ａよりも高い耐圧性を有していてもよい。かかる構成により、後述するように、学習済みのモデルを使用して生成される出力信号において、高ＳＮ比と高耐圧とを疑似的に両立させることが可能となる。

【0090】

第１のマイク１１Ａの配置は、上記実施形態において説明した通りである。

【0091】

第４のマイク１１Ｄは、音響伝送系の内側であって、音響伝送系の外部から到来した音の第１の位置における位相との位相差が、音源方向によらず一定とみなせる位置である第４の位置に配置される。換言すると、第１の位置、及び第４の位置は、音響伝送系の外部から到来した音の位相差が、音源方向によらず一定とみなせる位置である。さらに言えば、第１の位置、及び第４の位置は、音響伝送系の外部から到来した音の特性（例えば、周波数エネルギー及び共振周波数）が、音源方向によらず一定とみなせる位置である。かかる構成によれば、音響伝送系の外部から到来した音の、第１の位置における音と第４の位置における音との間の位相差及び相対的な特性を、音源方向によらず一定に保つことができる。よって、後述するモデルの学習を簡易且つ精度よく行うことが可能となる。

【0092】

音響伝送系が音響管である場合、第４の位置は、音響管の内側であって、音響管の開口からの距離が音響管の内径の半分以上である位置である。音響伝送系が音響管及び音響管に結合される音響ホーンである場合、第４の位置は、音響管の内側の位置、又は音響ホーンの内側であって音響管と音響ホーンとの結合位置からの距離が音響管の内径以下の位置のいずれかである。例えば、第４のマイク１１Ｄは、図２及び図３に示した例における第２のマイク１１Ｂの位置に配置されてもよい。第４の位置がこれらの位置である場合、上記実施形態において説明したように、音響伝送系の外部から到来した音の第１の位置における位相と第４の位置における位相との間の位相差を、音源方向によらず一定とみなすことが可能となる。

【0093】

制御部４０は、第１の音響信が入力された場合に第４の音響信号を出力するモデルを学習する学習部として機能する。例えば、制御部４０は、第１の音響信号を入力（即ち、データ）とし、第４の音響信号を出力（即ち、ラベル）とする教師データを使用して、モデルを学習する。モデルは、例えばニューラルネットワークにより構成されてもよい。なお、教師データは、時間領域の信号であってもよいし、周波数領域の信号であってもよい。かかる構成によれば、第１の音響信号を入力することで、高ＳＮ比と高耐圧とを両立する第４のマイク１１Ｄから出力される第３の音響信号と同等の音響信号を出力するモデルを、学習することが可能となる。

【0094】

制御部４０は、学習部により学習されたモデルに対し、第１の音響信号を入力することで、出力信号を生成する。かかる構成によれば、学習済みのモデルに第１の音響信号を入力して演算を行うことで、上記実施形態において説明した信号処理を行った場合と同等の出力信号を生成することが可能となる。即ち、本変形例では、出力信号において、高ＳＮ比と高耐圧とを疑似的に両立させることが可能となる。なお、周波数領域の信号が教師データとして使用されて学習されたモデルを使用する場合、制御部４０は、第１の音響信号を周波数分解したものをモデルに入力し、モデルからの出力を時間領域の信号に復元することで、出力信号を生成する。

【0095】

ここで、本変形例に係る信号処理装置１は、モデル学習時に第４のマイク１１Ｄを有していればよく、販売及び流通時には第４のマイク１１Ｄを有していなくてもよい。例えば、プロトタイプとして第４のマイク１１Ｄを有する信号処理装置１を製造してモデルを学習させ、第４のマイク１１Ｄを有さず学習済みのモデルを搭載した信号処理装置１を製造及び販売することができる。かかる構成によれば、販売する商品の低コスト化が可能となる。

【0096】

＜４．補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0097】

例えば、上記実施形態では、音響信号取得部１０により取得された音響信号に対し信号処理が適用される例を説明したが、本発明はかかる例に限定されない。例えば、音響信号取得部１０により取得された音響信号が記憶部２０に一旦記憶され、記憶された音響信号に対し信号処理が適用されてもよい。即ち、信号処理装置１は、録音時に信号処理を行ってもよいし、再生時に信号処理を行ってもよい。

【0098】

例えば、上記実施形態では、第１のマイク１１Ａ及び第２のマイク１１Ｂの２つのマイク１１により取得された音響信号を合成することで出力信号を生成する例を説明したが、本発明はかかる例に限定されない。例えば、３つ以上のマイク１１により取得された３つ以上の音響信号を合成することで、出力信号を生成してもよい。その場合、３つ以上のマイク１１の位置は、音響伝送系の外部から到来した音の位相差が、音源方向によらず一定とみなせる位置にそれぞれ配置される。そして、信号処理装置１は、当該一定とみなせる前記位相差に基づいて、３つ以上の音響信号の位相を揃えた上で合成する。なお、３つ以上のマイク１１の特性はそれぞれ異なっていてもよい。そして、信号処理装置１は、あるマイク１１により取得された音響信号のうち置き換え対象の周波数成分を、他の２以上のマイク１１のうち特性に応じて選択した１つのマイク１１により取得された音響信号の周波数成分で置き換えてもよい。

【0099】

例えば、音響信号取得部１０における各マイク１１の位置は、上記実施形態で例示した位置に限定されない。例えば、図２に示した音響信号取得部１０Ａ及び図３に示した音響信号取得部１０Ｃでは、音響信号取得部１０の開口側から奥側に向かって、第１のマイク１１Ａ、第２のマイク１１Ｂの順にマイク１１が配置されているが、逆順に配置されてもよい。また、図８に示した音響信号取得部１０Ｅでは、音響信号取得部１０の開口側から奥側に向かって、第１のマイク１１Ａ、第２のマイク１１Ｂ、第３のマイク１１Ｃの順にマイク１１が配置されているが、本発明はかかる例に限定されない。一例として、音響信号取得部１０の開口側から奥側に向かって、第３のマイク１１Ｃ、第２のマイク１１Ｂ、第１のマイク１１Ａの順にマイク１１が配置されていてもよい。他の一例として、音響信号取得部１０の開口側から奥側に向かって、第３のマイク１１Ｃ、第１のマイク１１Ａ、第２のマイク１１Ｂの順にマイク１１が配置されていてもよい。他の一例として、第１のマイク１１Ａ、第２のマイク１１Ｂ、及び第３のマイク１１Ｃのうち少なくとも２以上が、音響信号取得部１０の開口からの距離が同じ位置に配置されてもよい。また、図２に示した音響信号取得部１０Ａ、図３に示した音響信号取得部１０Ｃ、及び図８に示した音響信号取得部１０Ｅでは、各々の正面図に示したように、各マイク１１が奥行き方向に直行する方向で重複する位置に配置されているが、ずれた位置に配置されていてもよい。

【0100】

例えば、上記実施形態では、中空部材１５の断面形状が円形である例を説明したが、本発明はかかる例に限定されない。例えば、中空部材１５の断面形状は楕円、３角形、又は４角形以上の多角形であってもよい。

【0101】

例えば、上記実施形態において説明した信号処理において、制御部４０は、ウィンドウ処理（例えば、hann窓）を適用してもよい。また、制御部４０は、前後のウィンドウをクロスフェードさせてもよい。かかる構成によれば、聴覚上の違和感をさらに軽減することが可能である。

【0102】

本発明は、多様な装置に適用可能である。例えば、本発明は、バイノーラル録音を行うためのマイクであるバイノーラルマイク、アンビソニックスマイク等のＶＲ（virtual reality）用のマイク、及び監視カメラのマイク等に適用可能である。

【0103】

なお、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図１、図７、及び図９に示した信号処理装置１の機能構成のうち、記憶部２０及び制御部４０としての機能が、音響信号取得部１０及び出力部３０とネットワーク等で接続されたサーバ等の装置に備えられていても良い。

【0104】

なお、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記録媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。上記記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

【0105】

また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

【符号の説明】

【0106】

１：信号処理装置、 １０：音響信号取得部、 １１：マイク、 １２：アンプ、 １３：Ａ／Ｄ変換器、 ２０：記憶部、 ３０：出力部、 ４０：制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】