特開 2023-39850 音声処理システム、音声処理装置、及び音声処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023039850

(43)【公開日】2023-03-22

(54)【発明の名称】音声処理システム、音声処理装置、及び音声処理方法

(51)【国際特許分類】

   H04R 3/00 20060101AFI20230314BHJP

   G10K 11/34 20060101ALI20230314BHJP

【ＦＩ】

H04R3/00 320

G10K11/34 130

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021147174

(22)【出願日】2021-09-09

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】番場 裕

(72)【発明者】

【氏名】山梨 智史

(72)【発明者】

【氏名】持木 南生也

【テーマコード（参考）】

5D220

【Ｆターム（参考）】

5D220BA02

5D220BA06

5D220BA30

5D220BC05

(57)【要約】

【課題】複数のマイクのうち一部が故障した場合でも、出力される信号の変化を小さくすることができる音声処理システム、音声処理装置及び音声処理方法を提供する。
【解決手段】本開示に係る音声処理装置は、第１音声を収音し、第１音声に対応する第１音声信号を出力する第１マイクと、第２音声を収音し、第２音声に対応する第２音声信号を出力する第２マイクの少なくとも一方における故障の有無を検出し、検出の結果を故障検出情報として送信する故障検出部と、第１音声信号及び第２音声信号の少なくとも一方に基づいて第１出力信号を生成する信号生成部と、故障検出情報に基づいて、信号生成部を制御する制御部と、を備え、制御部は、故障検出情報が、第２マイクが故障しているという情報を含むとき、故障が検出されていない第１マイクが出力する第１音声信号に基づいて第１出力信号を生成する、第１モードで動作するように信号生成部を制御する。
【選択図】図４

【特許請求の範囲】

【請求項1】

第１音声を収音し、前記第１音声に対応する第１音声信号を出力する第１マイクと、
第２音声を収音し、前記第２音声に対応する第２音声信号を出力する第２マイクと、
前記第１マイクと前記第２マイクの少なくとも一方における故障の有無を検出し、検出の結果を故障検出情報として送信する故障検出部と、
前記第１音声信号及び前記第２音声信号の少なくとも一方に基づいて第１出力信号を生成する信号生成部と、
前記故障検出情報に基づいて、前記信号生成部を制御する制御部と、を備え、
前記制御部は、前記故障検出情報が、前記第２マイクが故障しているという情報を含むとき、故障が検出されていない前記第１マイクが出力する前記第１音声信号に基づいて前記第１出力信号を生成する第１モードで動作するように前記信号生成部を制御する、
音声処理システム。

【請求項2】

前記制御部は、前記故障検出情報が、前記第１マイク及び前記第２マイクのいずれも故障していないという情報を含むとき、前記第１音声信号及び前記第２音声信号に基づいて前記第１出力信号を生成する、第２モードで動作するように前記信号生成部を制御する、
請求項１に記載の音声処理システム。

【請求項3】

前記信号生成部は、前記第１音声信号及び前記第２音声信号の少なくとも一方に基づく信号である減算信号を、前記第１音声信号から減算することにより前記第１出力信号を生成する、
請求項２に記載の音声処理システム。

【請求項4】

前記第１モードにおいて、前記減算信号は、前記第１音声信号に基づく信号であり、
前記第２モードにおいて、前記減算信号は、前記第２音声信号に基づく信号である、
請求項３に記載の音声処理システム。

【請求項5】

前記第１モードにおいて、前記信号生成部は、前記第１音声信号を第２遅延量だけ遅延させることにより前記減算信号を生成する、
前記第２モードにおいて、前記信号生成部は、前記第２音声信号を第１遅延量だけ遅延させることにより前記減算信号を生成し、
請求項３または請求項４に記載の音声処理システム。

【請求項6】

前記第２遅延量は、前記第１遅延量よりも大きい、
請求項５に記載の音声処理システム。

【請求項7】

前記第２遅延量は、前記第１遅延量の２倍である、
請求項５または６に記載の音声処理システム。

【請求項8】

前記信号生成部は、前記第１音声信号及び前記第２音声信号の少なくとも一方に基づいて第２出力信号を生成し、前記第１マイクに対応する信号として前記第１出力信号を出力し、前記第２マイクに対応する信号として前記第２出力信号を出力し、
前記制御部は、前記故障検出情報が、前記第２マイクが故障しているという情報を含むとき、前記第２出力信号を出力しないように前記信号生成部を制御する、
請求項１から請求項７のいずれか一項に記載の音声処理システム。

【請求項9】

前記故障検出部は、前記故障検出情報が、前記第１マイク及び前記第２マイクの少なくとも一方が故障しているという情報を含むとき、前記故障検出情報を通知機器に出力し、
前記通知機器は、前記第１マイク及び前記第２マイクの少なくとも一方が故障していることを通知する、
請求項１から請求項８のいずれか一項に記載の音声処理システム。

【請求項10】

第１音声を収音し、前記第１音声に対応する第１音声信号を出力する第１マイクと、第２音声を収音し、前記第２音声に対応する第２音声信号を出力する第２マイクの少なくとも一方における故障の有無を検出し、検出の結果を故障検出情報として送信する故障検出部と、
前記第１音声信号及び前記第２音声信号の少なくとも一方に基づいて第１出力信号を生成する信号生成部と、
前記故障検出情報に基づいて、前記信号生成部を制御する制御部と、を備え、
前記制御部は、前記故障検出情報が、前記第２マイクが故障しているという情報を含むとき、故障が検出されていない前記第１マイクが出力する前記第１音声信号に基づいて前記第１出力信号を生成する、第１モードで動作するように前記信号生成部を制御する、
音声処理装置。

【請求項11】

音声処理装置で実行される音声処理方法であって、
第１音声を収音し、前記第１音声に対応する第１音声信号を出力する第１マイクと、第２音声を収音し、前記第２音声に対応する第２音声信号を出力する第２マイクの少なくとも一方における故障の有無を検出し、検出の結果を故障検出情報として送信する故障検出ステップと、
前記第１音声信号及び前記第２音声信号の少なくとも一方に基づいて第１出力信号を生成する信号生成ステップと、
前記故障検出情報に基づいて、前記信号生成ステップを制御する制御ステップ部と、を含み、
前記故障検出情報が、前記第２マイクが故障しているという情報を含むとき、故障が検出されていない前記第１マイクが出力する前記第１音声信号に基づいて前記第１出力信号を生成する、第１モードで動作するように前記信号生成ステップを制御する、
音声処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、音声処理システム、音声処理装置、及び音声処理方法に関する。

【背景技術】

【0002】

２つのマイクのペアを一組あるいは複数組用いることにより、特定の方向の音声を強調して集音する音声処理システムが知られている。

【0003】

このような音声処理システムに関し、集音するマイクが故障した場合、例えば特許文献１には、故障していない残りのマイクを用いて，故障前となるべく近い形になるように指向性合成を形成することができる構成が開示されている。また、特許文献２には、マイクの故障が検知された場合に，マイクロホンアレイの出力を遮断することができる構成が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９－１５２９４９号公報

【特許文献2】特開２００９－２７８６２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

このような音声処理システムに対し、更なる改善が求められている。

【0006】

本開示は、複数のマイクのうち一部が故障した場合でも、出力される信号の変化を小さくすることができる音声処理システム、音声処理装置及び音声処理方法を提供する。

【課題を解決するための手段】

【0007】

本開示の一態様に係る音声処理システムは、第１音声を収音し、前記第１音声に対応する第１音声信号を出力する第１マイクと、第２音声を収音し、前記第２音声に対応する第２音声信号を出力する第２マイクと、前記第１マイクと前記第２マイクの少なくとも一方における故障の有無を検出し、検出の結果を故障検出情報として送信する故障検出部と、前記第１音声信号及び前記第２音声信号の少なくとも一方に基づいて第１出力信号を生成する信号生成部と、前記故障検出情報に基づいて、前記信号生成部を制御する制御部と、を備え、前記制御部は、前記故障検出情報が、前記第２マイクが故障しているという情報を含むとき、故障が検出されていない前記第１マイクが出力する前記第１マイクが出力する前記第１音声信号に基づいて前記第１出力信号を生成する、第２モードで動作するように前記信号生成部を制御する。

【発明の効果】

【0008】

本開示の一態様に係る音声処理システムによれば、複数のマイクのうち一部が故障した場合でも、出力される信号の変化を小さくすることができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係る音声処理システムの概略構成の一例を示す図である。

【図2】図２は、実施形態に係る音声処理装置のハードウェア構成の一例を示す図である。

【図3】図３は、実施形態に係る音声処理装置が備える機能の一例を示すブロック図である。

【図4】図４は、実施形態に係る音声処理装置のＢＦ処理部の構成の一例を示す図である。

【図5】図５は、実施形態に係る遅延量を説明する図である。

【図6】図６は、実施形態に係るＢＦ処理部が出力する出力信号の周波数特性の一例を示すグラフである。

【図7】図７は、実施形態に係るＢＦ処理部が出力する出力信号の群遅延特性の一例を示すグラフである。

【図8】図８は、実施形態に係る音声処理装置で実行される制御処理の流れの一例を示すフローチャートである。

【図9】図９は、実施形態に係る音声処理装置で実行される動作の一例を示すテーブルである。

【図10】図１０は、比較例のＢＦ処理部の構成の一例を示す図である。

【図11】図１１は、比較例のＢＦ処理部が出力する出力信号の周波数特性の一例を示すグラフである。

【図12】図１２は、比較例のＢＦ処理部が出力する出力信号の群遅延特性の一例を示すグラフである。

【発明を実施するための形態】

【0010】

以下、適宜図面を参照しながら、本開示の実施形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0011】

（実施形態の概略構成）
図１は、本実施形態に係る音声処理システム５の概略構成の一例を示す図である。音声処理システム５は、例えば車両１０に搭載される。以下、音声処理システム５が車両１０に搭載される例について説明する。

【0012】

車両１０の車室内には、複数の座席が設けられる。複数の座席は、例えば、運転席、助手席、及び左右の後部座席の４席である。なお、座席の数は、これに限られない。以降では、助手席に着座する者を乗員ｈｍ１、運転席に着座する者を乗員ｈｍ２、後部座席の左側に着座する者を乗員ｈｍ３、後部座席の右側に着座する者を乗員ｈｍ４と表記する。

【0013】

音声処理システム５は、マイクＭＣ１、マイクＭＣ２、マイクＭＣ３、マイクＭＣ４、及び音声処理装置２０を有する。図１に示す音声処理システム５は、座席の数と等しい数、つまり４つのマイクを有しているが、マイクの数は座席の数と等しくなくてもよい。マイクＭＣ１、マイクＭＣ２、マイクＭＣ３、及びマイクＭＣ４は、音声信号を音声処理装置２０に出力する。

【0014】

マイクＭＣ１とマイクＭＣ２は、いずれも無指向性のマイクである。マイクＭＣ１とマイクＭＣ２は、両者が近接した状態で配置される。マイクＭＣ１とマイクＭＣ２は、例えば、オーバーヘッドコンソールにおける、運転席と助手席の中央位置に配置される。また、マイクＭＣ１は乗員ｈｍ１側に、マイクＭＣ２は乗員ｈｍ２側にそれぞれ配置される。

【0015】

マイクＭＣ３とマイクＭＣ４は、いずれも無指向性のマイクである。マイクＭＣ３とマイクＭＣ４は、両者が近接した状態で配置される。マイクＭＣ３とマイクＭＣ４は、例えば、天井における、左後部座席と右後部座席の中央位置に配置される。また、マイクＭＣ３は乗員ｈｍ３側に、マイクＭＣ４は乗員ｈｍ４側にそれぞれ配置される。

【0016】

また、図１に示すマイクＭＣ１、マイクＭＣ２、マイクＭＣ３、及びマイクＭＣ４の配置位置は一例であって、他の位置に配置されてもよい。以下、マイクＭＣ１を第１マイク、マイクＭＣ２を第２マイク、マイクＭＣ３を第３マイク、マイクＭＣ４を第４マイクと呼ぶことがある。

【0017】

各マイクは、小型のＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）マイクであってもよいし、ＥＣＭ（Ｅｌｅｃｔｒｅｔ Ｃｏｎｄｅｎｓｅｒ Ｍｉｃｒｏｐｈｏｎｅ）であってもよい。

【0018】

図１に示す音声処理システム５は、音声処理装置２０を備える。なお、図１では、車両１０に４人が乗車している場合を示したが、乗車する人数はこれに限られない。乗車人数は、車両１０の最大乗車定員以下であればよい。例えば、車両１０の最大乗車定員が６人である場合、乗車人数は６人であってもよく、５人以下であってもよい。

【0019】

（実施形態のハードウェア構成）
図２は、本実施形態に係る音声処理装置２０のハードウェア構成の一例を示す図である。図２に示す例では、音声処理装置２０は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）２００１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２００２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２００３、及びＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース２００４を備える。

【0020】

ＤＳＰ２００１は、コンピュータプログラムを実行可能なプロセッサである。なお、音声処理装置２０が備えるプロセッサの種類はＤＳＰ２００１に限定されない。例えば、音声処理装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよいし、他のハードウェアであってもよい。また、音声処理装置２０は、複数のプロセッサを備えていてもよい。

【0021】

ＲＡＭ２００２は、キャッシュまたはバッファなどとして使用される揮発性メモリである。なお、音声処理装置２０が備える揮発性メモリの種類はＲＡＭ２００２に限定されない。音声処理装置２０は、ＲＡＭ２００２に代えてレジスタを備え得る。また、音声処理装置２０は、複数の揮発性メモリを備えていてもよい。

【0022】

ＲＯＭ２００３は、コンピュータプログラムを含む各種情報を記憶する不揮発性メモリである。ＤＳＰ２００１は、特定のコンピュータプログラムをＲＯＭ２００３から読み出して実行することによって、音声処理装置２０の機能を実現する。音声処理装置２０の機能については後述する。なお、音声処理装置２０が備える不揮発性メモリの種類はＲＯＭ２００３に限定されない。例えば、音声処理装置２０は、ＲＯＭ２００３に代えてフラッシュメモリを備え得る。また、音声処理装置２０は、複数の不揮発性メモリを備えていてもよい。

【0023】

Ｉ／Ｏインタフェース２００４には、外部の装置が接続されるインタフェース装置である。ここでは、外部の装置は、例えば、マイクＭＣ１や、マイクＭＣ２や、マイクＭＣ３や、マイクＭＣ４等の装置である。また、音声処理装置２０は、複数のＩ／Ｏインタフェース２００４を備えていてもよい。

【0024】

このように、音声処理装置２０は、コンピュータプログラムが格納されたメモリと当該コンピュータプログラムを実行可能なプロセッサとを備える。つまり、音声処理装置２０は、コンピュータと見なされ得る。なお、音声処理装置２０としての機能を実現するために要するコンピュータの数は１に限定されない。音声処理装置２０としての機能は、２以上のコンピュータの協働によって実現されてもよい。

【0025】

（実施形態の機能構成）
図３は、本実施形態に係る音声処理装置２０が備える機能の一例を示すブロック図である。音声処理装置２０には、音声入力部２２０、ＢＦ（Ｂｅａｍ Ｆｏｒｍｉｎｇ）処理部２３０、帯域分割部２４０、発話位置特定部２５０、ＣＴＣ（Ｃｒｏｓｓ Ｔａｌｋ Ｃａｎｃｅｌｌｅｒ）処理部２６０、及び帯域合成部２７０を備える。音声処理装置２０には、マイクＭＣ１、マイクＭＣ２、マイクＭＣ３、及びマイクＭＣ４から音声信号が入力される。そして、音声処理装置２０は、入力された音声信号を処理し、音声処理結果を出力する。

【0026】

マイクＭＣ１は、第１音声を収音し、第１音声に対応する第１音声信号を出力する。具体的には、マイクＭＣ１は、収音した音声を電気信号に変換することにより音声信号Ａを生成する。そして、マイクＭＣ１は、音声信号Ａを音声入力部２２０に出力する。音声信号Ａは、乗員ｈｍ１の音声と、乗員ｈｍ１以外の者の音声やオーディオ機器から発せられる音楽や走行騒音などのノイズと、を含む信号である。

【0027】

マイクＭＣ２は、第２音声を収音し、第２音声に対応する第２音声信号を出力する。具体的には、マイクＭＣ２は、収音した音声を電気信号に変換することにより音声信号Ｂを生成する。そして、マイクＭＣ２は、音声信号Ｂを音声入力部２２０に出力する。音声信号Ｂは、乗員ｈｍ２の音声と、乗員ｈｍ２以外の者の音声やオーディオ機器から発せられる音楽や走行騒音などのノイズと、を含む信号である。

【0028】

マイクＭＣ３は、第３音声を収音し、第３音声に対応する第３音声信号を出力する。具体的には、マイクＭＣ３は、収音した音声を電気信号に変換することにより音声信号Ｃを生成する。そして、マイクＭＣ３は、音声信号Ｃを音声入力部２２０に出力する。音声信号Ｃは、乗員ｈｍ３の音声と、乗員ｈｍ３以外の者の音声やオーディオ機器から発せられる音楽や走行騒音などのノイズと、を含む信号である。

【0029】

マイクＭＣ４は、第４音声を収音し、第４音声に対応する第４音声信号を出力する。具体的には、マイクＭＣ４は、収音した音声を電気信号に変換することにより音声信号Ｄを生成する。そして、マイクＭＣ４は、音声信号Ｄを音声入力部２２０に出力する。音声信号Ｄは、乗員ｈｍ４の音声と、乗員ｈｍ４以外の者の音声やオーディオ機器から発せられる音楽や走行騒音などのノイズと、を含む信号である。

【0030】

音声入力部２２０は、マイクＭＣ１、マイクＭＣ２、マイクＭＣ３、及びマイクＭＣ４のそれぞれから音声信号が入力される。音声入力部２２０は、入力される音声信号がアナログ信号である場合、入力された音声信号をアナログ／デジタル変換を行った後、変換されたデジタル信号をＢＦ処理部に出力する。音声入力部２２０は、入力部の一例である。なお、音声処理装置２０に音声入力部２２０は必須ではない。

【0031】

ＢＦ処理部２３０は、指向性制御により、ターゲット席の方向の音声を強調する。ここで、マイクＭＣ１から出力された第１音声信号のうち、助手席の方向の音声を強調する場合を例に説明する。マイクＭＣ１及びマイクＭＣ２は近傍に配置されている。そのため、マイクＭＣ１から出力された第１音声信号には、助手席の乗員ｈｍ１及び運転席の乗員ｈｍ２の音声が含まれていることが想定される。同様に、マイクＭＣ２から出力された第２音声信号には、助手席の乗員ｈｍ１及び運転席の乗員ｈｍ２の音声が含まれていることが想定される。

【0032】

マイクＭＣ１は、運転席までの距離はマイクＭＣ２よりもわずかに遠い。そのため、助手席の乗員ｈｍ１が発話した場合、マイクＭＣ２から出力された第２音声信号に含まれる助手席の乗員ｈｍ１の音声は、マイクＭＣ１から出力された第１音声信号に含まれる助手席の乗員ｈｍ１の音声よりもわずかに遅延している。

【0033】

よって、ＢＦ処理部２３０は、例えば音声信号に対して時間遅延を示す遅延量を適用することにより、ターゲット席の方向以外の方向に対して、感度が低くなる死角を形成することで、相対的にターゲット席の方向の音声を強調する。そして、ＢＦ処理部２３０は、ターゲット席の方向の音声を強調した音声信号を発話位置特定部２５０に出力する。但し、ＢＦ処理部２３０が、ターゲット席の方向の音声を強調する方法は上記に限定されない。

【0034】

帯域分割部２４０は、ＢＦ処理部２３０が出力した出力信号を、複数の周波数帯域の信号に分割する。具体的には、帯域分割部２４１は、ＢＦ処理部２３０が出力した音声信号Ａに対応する出力信号を既定の所定の帯域ごとに分割する。帯域分割部２４２は、ＢＦ処理部２３０が出力した音声信号Ｂに対応する出力信号を既定の所定の帯域ごとに分割する。帯域分割部２４３は、ＢＦ処理部２３０が出力した音声信号Ｃに対応する出力信号を既定の所定の帯域ごとに分割する。帯域分割部２４４は、ＢＦ処理部２３０が出力した音声信号Ｄに対応する出力信号を既定の所定の帯域ごとに分割する。

【0035】

発話位置特定部２５０は、帯域分割部２４０が出力した出力信号に基づいて発話位置を特定する。具体的には、発話位置特定部２５０は、帯域分割部２４０が分割した帯域ごとに、最も強度の高い出力信号を検知し、それに基づいて発話位置を特定する。

【0036】

また、発話位置特定部２５０は、発話位置の特定結果に応じて、ＣＴＣ処理部２６０に信号を出力する。例えば、ＣＴＣ処理部２６０が適応フィルタを備える場合、発話位置特定部２５０は、発話位置の特定結果に応じて他の音声を抑圧する適応フィルタの係数を更新するように指示を出力する。発話位置特定部２５０は、それにより、適応フィルタの学習を制御する。

【0037】

ＣＴＣ処理部２６０は、ターゲット席以外の方向から発せられた音声をキャンセルする。すなわち、ＣＴＣ処理部２６０は、クロストークキャンセル処理を実行する。ＣＴＣ処理部２６０には、全てのマイクからの音声信号が、ＢＦ処理部２３０による指向性制御処理を経て、帯域分割部２４０による帯域分割された出力信号が入力される。

【0038】

ＣＴＣ処理部２６０は、入力された音声信号のうち、ターゲット席のマイク以外のマイクからの音声信号を参照信号として用いることによって、ターゲット席以外の方向から収音した音声成分をキャンセルする。すなわち、ＣＴＣ処理部２６０は、ターゲット席のマイクに関連した音声信号から、参照信号により特定される音声成分をキャンセルする。そして、ＣＴＣ処理部２６０は、クロストークキャンセル処理後の音声信号を出力する。

【0039】

帯域合成部２７０は、ＣＴＣ処理部２６０によりクロストークキャンセル処理された後の音声を合成し、出力信号を出力する。

【0040】

具体的には、帯域合成部２７１は、ＣＴＣ処理部２６０によってクロストーク成分が抑圧された、各帯域の音声信号を合成することで、クロストーク成分抑圧後の音声信号Ａを合成する。帯域合成部２７１は、合成した音声信号Ａを出力する。帯域合成部２７２は、ＣＴＣ処理部２６０によってクロストーク成分が抑圧された、各帯域の音声信号を合成することで、クロストーク成分抑圧後の音声信号Ｂを合成する。帯域合成部２７２は、合成した音声信号Ｂを出力する。

【0041】

帯域合成部２７３は、ＣＴＣ処理部２６０によってクロストーク成分が抑圧された、各帯域の音声信号を合成することで、クロストーク成分抑圧後の音声信号Ｃを合成する。帯域合成部２７３は、合成した音声信号Ｃを出力する。帯域合成部２７４は、ＣＴＣ処理部２６０によってクロストーク成分が抑圧された、各帯域の音声信号を合成することで、クロストーク成分抑圧後の音声信号Ｄを合成する。帯域合成部２７１は、合成した音声信号Ｄを出力する。

【0042】

図４は本実施形態に係るＢＦ処理部２３０の構成の一例を示す図である。ＢＦ処理部２３０は、故障検出部２３１、制御部２３２、加算器２３３、加算器２３４、ＥＱ（Ｅｑｕａｌｉｚｅｒ）処理部２３６、ＥＱ処理部２３７、遅延量付加部２３０１、遅延量付加部２３０２、遅延量付加部２３０３、遅延量付加部２３０４、スイッチＳＷ１、スイッチＳＷ２、スイッチＳＷ３、及びスイッチＳＷ４を備える。

【0043】

また、加算器２３３、加算器２３４、ＥＱ処理部２３６、ＥＱ処理部２３７、遅延量付加部２３０１、遅延量付加部２３０２、遅延量付加部２３０３、遅延量付加部２３０４、スイッチＳＷ１、スイッチＳＷ２、スイッチＳＷ３、及びスイッチＳＷ４、を含む構成を信号生成部２３８と呼ぶこともある。なお、図４に示される例では、マイクＭＣ１及びマイクＭＣ２は車両１０のオーバーヘッドコンソールに備えられる。また、図４に示すマイクの形態はこれに限られず、車両１０の後部座席付近の天井の中央にも適用できる。

【0044】

故障検出部２３１は、第１マイクと第２マイクの少なくとも一方における故障の有無を検出し、検出結果を故障検出情報として制御部２３２へ送信する。また、故障検出部２３１は、故障検出情報が、第１マイク及び第２マイクの少なくとも一方が故障しているという情報を含むとき、故障検出情報を通知機器４０に出力する。例えば、故障検出部２３１は、マイクＭＣ１と、マイクＭＣ２の信号の特定周波数帯域レベルが設定される閾値を外れる場合に、マイクが故障していると検出する。

【0045】

制御部２３２は、故障検出部２３１が送信する故障検出情報に基づいて、スイッチＳＷ１、スイッチＳＷ２、スイッチＳＷ３、及びスイッチＳＷ４を制御する。具体的には、制御部２３２は、故障検出情報が、第２マイクが故障しているという情報を含むとき、故障が検出されていない第１マイクが出力する第１音声信号に基づいて第１出力信号を生成する、第１モードで動作するようにスイッチＳＷ１、スイッチＳＷ２、スイッチＳＷ３、及びスイッチＳＷ４を制御する。

【0046】

さらに、制御部２３２は、故障検出情報が第１マイク及び第２マイクのいずれも故障していないという情報を含むときは、第１音声信号及び第２音声信号に基づいて第１出力信号を生成する、第２モードで動作するようにスイッチＳＷ１、スイッチＳＷ２、スイッチＳＷ３、及びスイッチＳＷ４を制御する。第１モードと第２モードの詳細な説明は後述する。

【0047】

また、制御部２３２は、故障検出情報が、第２マイクが故障しているという情報を含むとき、第２出力信号を出力しないようにスイッチＳＷ１、スイッチＳＷ２、スイッチＳＷ３、及びスイッチＳＷ４を制御してもよい。

【0048】

制御部２３２は、第２マイクが故障している場合は遅延量付加部２３０２が第１音声信号に遅延量を付加するように、スイッチＳＷ１を切り替える。また、制御部２３２は、第１マイク、及び第２マイクのいずれも故障していない場合、すなわち第２モードである場合は遅延量付加部２３０１が第２音声信号に遅延量を付加するように、スイッチＳＷ１を切り替える。

【0049】

さらに、制御部２３２は、第１マイクが故障している場合、遅延量付加部２３０１が第２音声信号に遅延量を付加する、あるいは、遅延量付加部２３０２が第１音声信号に遅延量を付加する、のどちらが選択されるようにスイッチＳＷ１を切り替えてもよい。制御部２３２は、第１マイク及び第２マイクの両方が故障している場合は、遅延量付加部２３０１が第２音声信号に遅延量を付加する、あるいは、遅延量付加部２３０２が第１音声信号に遅延量を付加する、のどちらが選択されるようにスイッチＳＷ１を切り替えてもよい。

【0050】

制御部２３２は、第１マイクが故障している場合は遅延量付加部２３０４が第２音声信号に遅延量を付加するように、スイッチＳＷ２を切り替える。また、制御部２３２は、第１マイク、及び第２マイクのいずれも故障していない場合、すなわち第２モードである場合は遅延量付加部２３０３が第１音声信号に遅延量を付加するように、スイッチＳＷ２を切り替える。

【0051】

さらに、制御部２３２は、第２マイクが故障している場合、遅延量付加部２３０３が第１音声信号に遅延量を付加する、あるいは遅延量付加部２３０４が第２音声信号に遅延量を付加する、のどちらが選択されるようにスイッチＳＷ２を切り替えてもよい。制御部２３２は、第１マイク及び第２マイクの両方が故障している場合は、遅延量付加部２３０３が第１音声信号に遅延量を付加する、あるいは遅延量付加部２３０４が第２音声信号に遅延量を付加する、のどちらが選択されるようにスイッチＳＷ２を切り替えてもよい。

【0052】

制御部２３２は、第１マイクのみが故障している場合、スイッチＳＷ３をＯＮに切り替えてもよい。また、制御部２３２は、第１マイク、及び第２マイクの両方が故障している場合、スイッチＳＷ３をＯＮに切り替えてもよい。スイッチＳＷ３がＯＮの状態は、第１出力信号が出力されない状態、すなわちＭＵＴＥの状態である。制御部２３２は、第１マイク、及び第２マイクのいずれも故障していない場合、スイッチＳＷ３をＯＦＦに切り替える。制御部２３２は、第２マイクのみが故障している場合、スイッチＳＷ３をＯＦＦに切り替える。スイッチＳＷ３がＯＦＦの状態は、第１出力信号が出力される状態である。第１出力信号の詳細な説明は後述する。

【0053】

制御部２３２は、第２マイクのみが故障している場合、スイッチＳＷ４をＯＮに切り替えてもよい。また、制御部２３２は、第１マイク、及び第２マイクの両方が故障している場合、スイッチＳＷ４をＯＮに切り替えてもよい。スイッチＳＷ４がＯＮの状態は、第２出力信号が出力されない状態、すなわちＭＵＴＥの状態である。制御部２３２は、第１マイク、及び第２マイクのいずれも故障していない場合、スイッチＳＷ４をＯＦＦに切り替える。制御部２３２は、第１マイクのみが故障している場合、スイッチＳＷ４をＯＦＦに切り替える。スイッチＳＷ４がＯＦＦの状態は、第２出力信号が出力される状態である。第２出力信号の詳細な説明は後述する。遅延量付加部２３０１、及び遅延量付加部２３０２の詳細な説明は後述する。

【0054】

加算器２３３は、スイッチＳＷ１からの出力を第１マイクの音声信号から減算し、減算の結果を第１の音圧傾度処理出力としてＥＱ処理部２３６へ出力する。また、加算器２３４は、スイッチＳＷ２からの出力を第２マイクの音声信号から減算し、減算の結果を第２の音圧傾度処理出力としてＥＱ処理部２３７へ出力する。

【0055】

ＥＱ処理部２３６は、加算器２３４から出力される第１の音圧傾度処理出力の周波数特性を補正し、補正後の信号を第１マイクに対応する信号である第１出力信号として出力する。ＥＱ処理部２３７は、加算器２３４から出力される第２の音圧傾度処理出力の周波数特性を補正し、補正後の信号を第２マイクに対応する信号である第２出力信号として出力する。以下、ＥＱ処理部２３６、及びＥＱ処理部２３７を総称してＥＱ処理部２３５と呼ぶことがある。

【0056】

信号生成部２３８は、第１音声信号及び第２音声信号の少なくとも一方に基づいて第１出力信号を生成する。より具体的には、信号生成部２３８は、第１音声信号及び第２音声信号の少なくとも一方に基づく信号である減算信号を、第１音声信号から減算することにより第１出力信号を生成する。

【0057】

また、信号生成部２３８は、第１モードにおいて、第１音声信号を第２遅延量だけ遅延させることにより減算信号を生成する。信号生成部２３８は、第２モードにおいて、第２音声信号を第１遅延量だけ遅延させることにより減算信号を生成する。さらに、信号生成部２３８は、第１音声信号及び第２音声信号の少なくとも一方に基づいて第２出力信号を生成し、第１マイクに対応する信号として第１出力信号を出力し、第２マイクに対応する信号として第２出力信号を出力する。

【0058】

本実施形態において、音声処理装置２０に含まれる、故障検出部２３１、制御部２３２、加算器２３３、加算器２３４、ＥＱ処理部２３５、信号生成部２３８、遅延量付加部２３０１、遅延量付加部２３０２、遅延量付加部２３０３、遅延量付加部２３０４、スイッチＳＷ１、スイッチＳＷ２、スイッチＳＷ３、及びスイッチＳＷ４は、ハードウェアで構成されることで実現する。あるいは、故障検出部２３１、制御部２３２、加算器２３３、加算器２３４、ＥＱ処理部２３５、信号生成部２３８、遅延量付加部２３０１、遅延量付加部２３０２、スイッチＳＷ１、スイッチＳＷ２、スイッチＳＷ３、及びスイッチＳＷ４は、プロセッサがメモリに保持されたプログラムを実行することで、その機能が実現されても良い。

【0059】

通知機器４０は、故障検出情報が、第１マイク及び第２マイクの少なくとも一方が故障しているという情報を含むとき、第１マイク及び第２マイクの少なくとも一方が故障していることを通知する。通知機器４０は、例えば、車両１０にある電子機器であっても良いし、車両１０内のスピーカであっても良いし、車両１０内の天井にあるルームランプやマップランプであっても良い。

【0060】

次に、制御部２３２が、故障検出情報に基づいて、スイッチＳＷ１、スイッチＳＷ２、スイッチＳＷ３、及びスイッチＳＷ４を制御する内容について説明する。第１モードはマイクＭＣ１、及びマイクＭＣ２のいずれか一方が故障している状態である。第２モードはマイクＭＣ１、及びマイクＭＣ２のいずれも故障していない状態である。

【0061】

まず、第１モードのうち、マイクＭＣ２が故障している場合について説明する。このとき、第１出力信号は、マイクＭＣ１が出力する第１音声信号に基づいて、生成される。より具体的には、まず、マイクＭＣ１が出力する第１音声信号から、第１音声信号に遅延量付加部２３０２によって遅延量が付加された信号を加算器２３３にて減算する。減算の結果に対して、ＥＱ処理部２３６が周波数特性の補正を行うことにより、第１出力信号を生成する。このとき、スイッチＳＷ２の入力は、遅延量付加部２３０１によって第１音声信号に遅延量が付加された信号でもよく、遅延量付加部２３０２によって第２音声信号に遅延量が付加された信号でもよい。このとき、スイッチＳＷ４をＯＮとして第２出力信号がミュートとなるようにしてもよい。

【0062】

また、第１モードのうちマイクＭＣ１が故障している場合について説明する。このとき、第２出力信号は、マイクＭＣ２が出力する第２音声信号に基づいて、生成される。より具体的には、まず、マイクＭＣ２が出力する第２音声信号から、第２音声信号に遅延量付加部２３０２によって遅延量が付加された信号を加算器２３４にて減算する。減算の結果に対して、ＥＱ処理部２３７が周波数特性の補正を行うことにより、第２出力信号を生成する。このとき、スイッチＳＷ１の入力は、遅延量付加部２３０１によって第２音声信号に遅延量が付加された信号でもよく、遅延量付加部２３０２によって第１音声信号に遅延量が付加された信号でもよい。このとき、スイッチＳＷ３をＯＮとして第１出力信号がミュートとなるようにしてもよい。

【0063】

次に、マイクＭＣ１及びマイクＭＣ２が故障していない場合の動作である、第２モードについて説明する。第２モードにおいて、第１出力信号は、マイクＭＣ１が出力する第１音声信号、及びマイクＭＣ２が出力する第２音声信号に基づいて生成される。より具体的には、まず、マイクＭＣ１が出力する第１音声信号から、マイクＭＣ２が出力する第２音声信号に遅延量付加部２３０１によって遅延量が付加された信号を加算器２３３にて減算する。減算の結果に対して、ＥＱ処理部２３６が周波数特性の補正を行うことにより、第１出力信号を生成する。

【0064】

また、第２モードにおいて、第２出力信号は、マイクＭＣ１が出力する第１音声信号、及びマイクＭＣ２が出力する第２音声信号に基づいて生成される。より具体的には、まず、マイクＭＣ２が出力する第２音声信号から、マイクＭＣ１が出力する第１音声信号に遅延量付加部２３０１によって遅延量が付加された信号を加算器２３４にて減算する。減算の結果に対して、ＥＱ処理部２３７が周波数特性の補正を行うことにより、第２出力信号を生成する。

【0065】

ここで、図５を用いて、マイクＭＣ１及びマイクＭＣ２の故障状態に応じて、マイクが出力する音声信号に対し、異なる遅延量を付加する内容について説明する。図５は、本実施形態に係る遅延量について説明するための図である。本実施形態の遅延量は、遅延量付加部２３０１が付加する遅延量、及び遅延量付加部２３０２が付加する遅延量である。遅延量付加部２３０１が付加する遅延量を第１遅延量、遅延量２３０２が付加する遅延量を第２遅延量とで呼ぶこともある。第２遅延量は第１遅延量よりも大きい。例えば、第２遅延量は第１遅延量の２倍である。

【0066】

図５において、マイクＭＣ１、及びマイクＭＣ２は距離ｄを隔てて配置されている。また、図５では、矢印ＡＲ１の方向に沿って音波が到来する態様を示しており、ここでは、当該矢印の方向が目的方向音源到来方向に相当する。マイクＭＣ１およびマイクＭＣ２を結ぶ線分の中点を原点とし、原点から紙面左側に向かう方向を０°、原点からマイクＭＣ１に向かう方向を９０°、原点からマイクＭＣ２に向かい方向を－９０°とすると、目的方向音源到来角度は９０°となっている。このとき、遅延量τは、音速をＣとしたときに、τ＝ｄ／Ｃ［ｓｅｃ］となるように設定される。

【0067】

また、このとき、マイクＭＣ２が収音する音声は、マイクＭＣ１によって収音される音声に対して遅延量τ［ｓｅｃ］分遅れて到来する。すなわち、音源到来方向が矢印ＡＲ１の方向に固定されている場合、マイクＭＣ２が出力する第２音声信号は、マイクＭＣ１が出力する第１音声信号に対して遅延量τが付加された信号によって置き換えることができる。このときの遅延量τは、第１遅延量に相当する。

【0068】

また、音源到来方向が矢印ＡＲ１の方向に固定されている場合、マイクＭＣ２が出力する第２音声信号に対して第１遅延量が付加された信号は、マイクＭＣ１が出力する第１音声信号に第１遅延量の２倍の遅延量が付加された信号によって置き換えることができる。なお、第１遅延量の２倍の遅延量は、言い換えると、第２遅延量である。

【0069】

例えば、マイクＭＣ２が故障している場合、加算器２３３は、マイクＭＣ１が出力する第１音声信号から、マイクＭＣ１が出力する第１音声信号に第２遅延量が付加された減算信号を減算し、減算結果に対してＥＱ処理部２３６が周波数特性の補正を行うことによって、第１出力信号を生成する。これにより、音源到来方向が一定の場合、マイクＭＣ２が故障している場合でも、マイクＭＣ１が出力する第１音声信号に第２遅延量が付加された減算信号を用いることで、マイクＭＣ２が故障していない状態と同等な処理をすることができる。

【0070】

図６は、ＢＦ処理部２３０が出力する出力信号の周波数特性を示すグラフである。図６の横軸は周波数［Ｈｚ］を表し、縦軸は振幅［ｄＢ］を表す。

【0071】

周波数特性ＧＲ１は、例えば、音源到来方向が図５に示す矢印ＡＲ１のように固定されている場合、かつ、マイクＭＣ１及びマイクＭＣ２が故障していない状態において、ＢＦ処理部２３０が出力する第１出力信号の周波数特性である。周波数特性ＧＲ２は、例えば、音源到来方向が図５に示す矢印ＡＲ１のように固定されている場合、かつ、マイクＭＣ１及びマイクＭＣ２が故障していない状態における第２出力信号の周波数特性である。

【0072】

周波数特性ＧＲ３は、マイクＭＣ２が故障している状態において、第１音声信号から、第１音声信号に対して第２遅延量が付加された信号を、加算器２３３が減算した後に、減算の結果に対してＥＱ処理部２３６が周波数特性を補正することによって生成された第１出力信号の周波数特性である。周波数特性ＧＲ４は、マイクＭＣ２が故障してマイクＭＣ２の出力信号が０である状態において、第１音声信号から、第２音声信号に対して第１遅延量が付加された信号を、加算器２３３が減算した後に、減算の結果に対してＥＱ処理部２３６が周波数特性を補正することによって生成された第１出力信号の周波数特性である。図６から、周波数特性ＧＲ３の方が、周波数特性ＧＲ４よりも周波数特性ＧＲ１に近い値を取ることがわかる。

【0073】

次に、図７を用いて、本実施形態のＢＦ処理部２３０が出力する第１出力信号の群遅延特性について説明する。図７の横軸は周波数［Ｈｚ］を表し、縦軸は群遅延［サンプル］を表す。群遅延特性ＧＲ５は、音源到来方向が図５に示す矢印ＡＲ１の方向に固定される場合、かつ、マイクＭＣ１、及びマイクＭＣ２が故障していない状態における第１出力信号の群遅延特性である。群遅延特性ＧＲ６は、マイクＭＣ２が故障している状態において、遅延量付加部２３０２が選択された場合に出力される第１出力信号の群遅延特性である。

【0074】

信号生成部２３８は、マイクの故障状態に応じて、異なる処理を行っているが、図６で示したとおり、音源到来方向が図５に示す矢印ＡＲ１の方向に固定される場合に、周波数特性ＧＲ１と周波数特性ＧＲ３は重なる。同様に、ＥＱ処理部２３６が出力する第１出力信号の群遅延特性ＧＲ５と、群遅延特性ＧＲ６は近い値をとる。

【0075】

これにより、本実施形態によれば、故障が検出されていないマイクＭＣ１の第１音声信号に基づいて第１出力信号を生成することで、マイクＭＣ２が故障状態であったとしても、故障が検出されていない状態と同様の出力信号の周波数振幅特性、及び群遅延特性を確保することができる。

【0076】

次に、本実施形態に係る音声処理システム５の動作例について説明する。図８は、本実施形態に係る音声処理装置２０の動作の一例を示すフローチャートである。図９は、本実施形態の制御部２３２が処理する動作の内容の一例について説明する。

【0077】

制御部２３２は、故障検出部２３１が送信する故障検出情報を取得する（ステップＳ１）。

【0078】

次に、制御部２３２は、取得した故障検出情報にマイクＭＣ１が故障しているという情報を含まれるかを確認する（ステップＳ２）。故障検出情報が、マイクＭＣ１が故障しているという情報を含むとき（ステップＳ２：Ｙｅｓ）、ステップＳ３へ進む。故障検出情報が、マイクＭＣ１が故障していないという情報を含むとき（ステップＳ２：Ｎｏ）、ステップＳ６へ進む。

【0079】

次に、制御部２３２は、取得した故障検出情報にマイクＭＣ２が故障しているという情報を含まれるかを確認する（ステップＳ３）。故障検出情報が、マイクＭＣ２が故障しているという情報を含むとき（ステップＳ３：Ｙｅｓ）、ステップＳ４へ進む。故障検出情報が、マイクＭＣ２が故障していないという情報を含むとき（ステップＳ２：Ｎｏ）、ステップＳ５へ進む。

【0080】

続いて、制御部２３２は、スイッチＳＷ３、及びスイッチＳＷ４を制御する（ステップＳ４）。処理が完了すると、再びステップＳ１へ戻る。

【0081】

続いて、制御部２３２は、スイッチＳＷ２、スイッチＳＷ３、及びスイッチＳＷ４を制御する（ステップＳ５）。処理が完了すると、再びステップＳ１へ戻る。

【0082】

次に、制御部２３２は、取得した故障検出情報にマイクＭＣ２が故障しているという情報を含まれるかを確認する（ステップＳ６）。故障検出情報が、マイクＭＣ２が故障しているという情報を含むとき（ステップＳ６：Ｙｅｓ）、ステップＳ７へ進む。故障検出情報が、マイクＭＣ２が故障していないという情報を含むとき（ステップＳ６：Ｎｏ）、ステップＳ８へ進む。

【0083】

続いて、制御部２３２は、スイッチＳＷ１、スイッチＳＷ３、及びスイッチＳＷ４を制御する（ステップＳ７）。処理が完了すると、再びステップＳ１へ戻る。

【0084】

続いて、制御部２３２は、スイッチＳＷ１、スイッチＳＷ２、スイッチＳＷ３、及びスイッチＳＷ４を制御する（ステップＳ８）。処理が完了すると、再びステップＳ１へ戻る。

【0085】

ここで、制御部２３２が処理するステップＳ４、ステップＳ５、ステップＳ７、及びステップＳ８の内容について具体的に説明する。図９は、制御部２３２が処理する処理ステップに対応して、各スイッチの動作を示したテーブルである。

【0086】

ステップＳ４において、制御部２３２は、スイッチＳＷ３をＯＮに切り換え、スイッチＳＷ４をＯＮに切り換えるように制御する。なお、ステップＳ４において、制御部２３２は、遅延量付加部２３０１および遅延量付加部２３０２のどちらが選択されるようにスイッチＳＷ１を切り換えても良い。なお、ステップＳ４において、制御部２３２は、遅延量付加部２３０３および遅延量付加部２３０４のどちらが選択されるようにスイッチＳＷ２を切り換えても良い。

【0087】

ステップＳ５において、制御部２３２は、遅延量付加部２３０４が選択されるようにスイッチＳＷ２を切り換え、スイッチＳＷ３をＯＮに切り換え、スイッチＳＷ４をＯＦＦに切り換えるように制御する。なお、ステップＳ５において、制御部２３２は、遅延量付加部２３０１および遅延量付加部２３０２のどちらが選択されるようにスイッチＳＷ１を切り換えても良い。

【0088】

ステップＳ７において、遅延量付加部２３０２が選択されるようにスイッチＳＷ１を切り換え、スイッチＳＷ３をＯＦＦに切り換え、スイッチＳＷ４をＯＮに切り換えるように制御する。なお、ステップＳ７において、制御部２３２は、遅延量付加部２３０３および遅延量付加部２３０４のどちらが選択されるようにスイッチＳＷ２を切り換えても良い。

【0089】

ステップＳ８において、遅延量付加部２３０１が選択されるようにスイッチＳＷ１を切り換え、遅延量付加部２３０３が選択されるようにスイッチＳＷ２を切り換え、スイッチＳＷ３をＯＦＦに切り換え、スイッチＳＷ４をＯＦＦに切り換えるように制御する。

【0090】

上述した各ステップの処理内容は、制御部２３２がスイッチＳＷ１、スイッチＳＷ２、スイッチＳＷ３、及びスイッチＳＷ４のスイッチの切り換えを行うことによって実現される。あるいは、音声処理装置２０が物理的なスイッチＳＷ１、スイッチＳＷ２、スイッチＳＷ３、およびスイッチＳＷ４を備えず、プロセッサがメモリに保持されたプログラムを実行することで、その機能が実現されてもよい。

【0091】

以上説明したように、本開示の一態様に係る音声処理システム５は、第１音声信号を出力する第１マイクと、第２音声信号を出力する第２マイクの少なくとも一方における故障の有無を検出し、検出の結果を故障検出情報として送信する。また、第１音声信号及び第２音声信号の少なくとも一方に基づいて第１出力信号を生成する。さらに、故障検出情報が、第２マイクが故障しているという情報を含むとき、故障が検出されていない第１音声信号に基づいて第１出力信号を生成する。

【0092】

これにより、音声処理システム５は複数のマイクのうち一部が故障した場合でも、出力される信号の変化を小さくすることができる。これにより、例えば後段の処理への影響を小さくすることができるので、音声処理システム５を安定して運用することができる。

【0093】

次に、図１０を用いて、比較例であるＢＦ処理部２８０が処理する内容について説明する。図１０はＢＦ処理部２８０の構成の一例を示す。ＢＦ処理部２８０は、加算器２８１、加算器２８２、ＥＱ処理部２８４、ＥＱ処理部２８５、及び遅延量付加部２６０１を備える。以下、ＥＱ処理部２８４、及びＥＱ処理部２８５を総称してＥＱ処理部２８３と呼ぶことがある。

【0094】

まず、マイクＭＣ２が故障し、出力が０である場合において、ＢＦ処理部２８０が音声信号を処理する流れについて説明する。ＢＦ処理部２８０は、マイクＭＣ１が出力する第１音声信号に基づいて、第１出力信号を生成する。より具体的には、ＥＱ処理部２８４が、マイクＭＣ１が出力する第１音声信号に対して、周波数特性の補正を行い、第１出力信号を生成する。

【0095】

また、ＢＦ処理部２８０は、マイクＭＣ１が出力する第１音声信号に基づいて、第２出力信号を生成する。より具体的には、ＥＱ処理部２８５が、マイクＭＣ１が出力する第１音声信号に遅延量付加部２６０１によって遅延量が付加され、さらに符号が反転した信号に対して、周波数特性の補正を行い、第２出力信号を生成する。

【0096】

次に、マイクＭＣ１、及びマイクＭＣ２の何れも故障していない場合において、ＢＦ処理部２８０が音声信号を処理する流れについて説明する。ＢＦ処理部２８０は、マイクＭＣ１が出力する第１音声信号、及びマイクＭＣ２が出力する第２音声信号に基づいて、第１出力信号を生成する。

【0097】

より具体的には、まず、マイクＭＣ１が出力する第１音声信号から、マイクＭＣ２が出力する第２音声信号に遅延量付加部２６０１によって遅延量が付加された信号を加算器２３３が減算する。減算の結果に対して、ＥＱ処理部２８４が周波数特性の補正を行い、第１出力信号を生成する。遅延量付加部２６０１が付加する遅延量は、例えば、遅延量付加部２３０１が付加する遅延量と同じ値である。

【0098】

また、ＢＦ処理部２８０は、マイクＭＣ１が出力する第１音声信号、及びマイクＭＣ２が出力する第２音声信号に基づいて、第１出力信号を生成する。より具体的には、まず、マイクＭＣ２が出力する第２音声信号から、マイクＭＣ１が出力する第１音声信号に遅延量付加部２６０１によって遅延量が付加された信号を加算器２３４が減算する。減算の結果に対して、ＥＱ処理部２８５が周波数特性の補正を行い、第２出力信号を生成する。

【0099】

次に、図１１を用いて、比較例のＢＦ処理部２８０が生成する出力信号の周波数特性について説明する。図１１の横軸は周波数［Ｈｚ］を表し、縦軸は振幅［ｄＢ］を表す。ここで、図１０に示されるマイクＭＣ１とマイクＭＣ２の配置は、図５に示したものと同じである。

【0100】

周波数特性ＧＲ７は、音源到来方向が図５に示す矢印ＡＲ１のように固定されている場合、かつ、マイクＭＣ１及びマイクＭＣ２が故障していない状態において、ＢＦ処理部２８０が出力する第１出力信号の周波数特性である。周波数特性ＧＲ８は、音源到来方向が図５に示す矢印ＡＲ１のように固定されている場合、かつ、マイクＭＣ１及びマイクＭＣ２が故障していない状態において、ＢＦ処理部２８０が出力する第２出力信号の周波数特性である。

【0101】

周波数特性ＧＲ９は、音源到来方向が図５に示す矢印ＡＲ１のように固定されている場合、かつ、マイクＭＣ２が故障している状態において、ＢＦ処理部２８０が出力する第１出力信号の周波数特性である。周波数特性ＧＲ１０は、音源到来方向が図５に示す矢印ＡＲ１のように固定されている場合、かつ、マイクＭＣ２が故障している状態においてＢＦ処理部２８０が出力する第２出力信号の周波数特性である。

【0102】

マイクＭＣ１及びマイクＭＣ２が故障していない状態と、マイクＭＣ２が故障している状態を比較すると、後者においてはマイクＭＣ２の出力が０であるため、マイクＭＣ２が出力する第２音声信号に遅延量が付加された信号をマイクＭＣ１の出力信号から減算する処理が行われない。したがって、周波数特性ＧＲ７と周波数特性ＧＲ９は異なる特性となる。

【0103】

また、マイクＭＣ２が故障している場合には、ＥＱ処理部２８５には、マイクＭＣ２が出力する第２音声信号が入力されず、第１遅延量が付加されたマイクＭＣ１の信号のみが入力される。そのため、ＥＱ処理部２８５の出力は、無指向信号に対しＥＱ特性をかけたものになる。したがって、周波数特性ＧＲ８と周波数特性ＧＲ１０も異なる特性となる。

【0104】

これにより、比較例であるＢＦ処理部２８０が出力する信号は、いずれのマイクも故障していない場合と一部のマイクが故障している場合とで異なる特性を示す。したがって、仮に一部のマイクが故障している場合に、比較例のＢＦ処理部２８０の出力信号に基づいて、本実施形態の発話位置特定部２５０が発話位置を特定すると、誤った発話位置が特定される可能性がある。発話位置検出においては各出力信号の周波数バランスを考慮するが、いずれのマイクも故障していない場合と、一部のマイクが故障している場合とでは、出力信号の周波数振幅特性が異なるためである。

【0105】

さらに、発話位置特定部２５０が誤った発話位置を特定し、その発話位置に基づいて、本実施形態のＣＴＣ処理部２６０がクロストークキャンセル処理を実行する場合、クロストークキャンセルが適切に実行できない可能性がある。すなわち、一部のマイクが故障状態である場合、比較例のＢＦ処理部２８０が処理した出力信号を用いると、音声処理装置２０が正しく処理できない可能性がある。

【0106】

次に、図１２を用いて、比較例のＢＦ処理部２８０が出力する第１出力信号の群遅延特性について説明する。図１２の横軸は周波数［Ｈｚ］を表し、縦軸は群遅延［サンプル］を表す。群遅延特性ＧＲ１１は、音源到来方向が図５に示す矢印ＡＲ１の方向に固定される場合、かつ、マイクＭＣ１、及びマイクＭＣ２が故障していない状態において、ＢＦ処理部２８０が出力する第１出力信号の群遅延特性である。群遅延特性ＧＲ１２は、音源到来方向が図５に示す矢印ＡＲ１の方向に固定される場合、かつ、マイクＭＣ２が故障している状態において、ＢＦ処理部２８０が出力する第１出力信号の群遅延特性である。

【0107】

ＢＦ処理部２８０は、マイクが故障している場合においても、マイクが故障していない場合と同じ処理を行っている。このため、図１１で示したとおり、周波数特性ＧＲ７と周波数特性ＧＲ９は重ならない。また、群遅延特性ＧＲ１１と、群遅延特性ＧＲ１２は異なる群遅延特性となる。

【0108】

本実施形態の音声処理システム５で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

【0109】

また、本実施形態の音声処理システム５で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の音声処理システム５で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態の音声処理システム５で実行されるプログラムを、ＲＯＭ３２等に予め組み込んで提供するように構成してもよい。

【0110】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0111】

５ 音声処理システム
１０ 車両
２０ 音声処理装置
４０ 通知機器
２２０ 音声入力部
２３０ ＢＦ（Ｂｅａｍ Ｆｏｒｍｉｎｇ）処理部
２３１ 故障検出部
２３２ 制御部
２３３、２３４ 加算器
２３５、２３６、２３７ ＥＱ（Ｅｑｕａｌｉｚｅｒ）処理部
２３８ 信号生成部
２４０、２４１、２４２、２４３、２４４ 帯域分割部
２５０ 発話位置特定部
２６０ ＣＴＣ（Ｃｒｏｓｓ Ｔａｌｋ Ｃａｎｃｅｌｌｅｒ）処理部
２７０、２７１、２７２、２７３、２７４ 帯域合成部
２００１ ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）
２００２ ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）
２００３ ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）
２００４ Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース
２３０１、２３０２、２３０３、２３０４ 遅延量付加部
ｈｍ１、ｈｍ２、ｈｍ３、ｈｍ４ 乗員
ＭＣ１、ＭＣ２、ＭＣ３、ＭＣ４ マイク
ＳＷ１、ＳＷ２、ＳＷ３、ＳＷ４ スイッチ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】