(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-06-13
(45)【発行日】2025-06-23
(54)【発明の名称】話者位置検出システム及び車内コミュニケーション支援システム
(51)【国際特許分類】
G10L 21/028 20130101AFI20250616BHJP
G10L 21/0272 20130101ALI20250616BHJP
【FI】
G10L21/028 C
G10L21/0272 100B
(21)【出願番号】P 2021116455
(22)【出願日】2021-07-14
【審査請求日】2024-02-21
(73)【特許権者】
【識別番号】000010098
【氏名又は名称】アルプスアルパイン株式会社
(74)【代理人】
【識別番号】100103171
【氏名又は名称】雨貝 正彦
(74)【代理人】
【識別番号】100105784
【氏名又は名称】橘 和之
(74)【代理人】
【識別番号】100098497
【氏名又は名称】片寄 恭三
(72)【発明者】
【氏名】田地 良輔
【審査官】本多 美優梨
(56)【参考文献】
【文献】特開平05-207117(JP,A)
【文献】特開2016-005181(JP,A)
【文献】特開2002-315089(JP,A)
【文献】特開2016-063439(JP,A)
【文献】米国特許出願公開第2015/0195647(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G10L 25/00-25/93
G10L 21/00-21/18
(57)【特許請求の範囲】
【請求項1】
第1
座席と、
前記第1
座席と左右方向に並んだ第2
座席と、
前記第1
座席と前後方向に並んだ
第3座席とを有する自動車に搭載される話者位置検出システムであって、
前記第1座席の近くに配置されたマイクである第1マイクと、
前記第2座席の近くに配置されたマイクである第2マイクと、
前記第3座席の近くに配置されたマイクである第3マイクと、
前記第2マイクの出力中の、前記第1マイクの出力と相関する成分を近似的に抽出する伝達関数が設定された第2マイク用フィルタと、
前記第3マイクの出力中の、前記第1マイクの出力と相関する成分を近似的に抽出する伝達関数が設定された第3マイク用フィルタと、
前記第1マイクの出力の大きさから前記第2マイク用フィルタの出力の大きさを減じた大きさを左右無相関レベルとして算定し、前記第1マイクの出力の大きさから前記第3マイク用フィルタの出力の大きさを減じた大きさを前後無相関レベルとして算定する無相関レベル算定手段と、
前記左右無相関レベルの各値と、当該左右無相関レベルの値が得られる音源の前記自動車の車内の左右方向の位置との対応を示す左右無相関レベルマップと、
前記前後無相関レベルの各値と、当該前後無相関レベルの値が得られる音源の前記自動車の車内の前後方向の位置との対応を示す前後無相関レベルマップと、
話者位置算定手段とを有し、
前記話者位置算定手段は、
前記第1マイクと前記第2マイクとを結ぶ線上の、前記左右無相関レベルマップが示す前記算定された前記左右無相関レベルの値が得られる音源の左右方向の位置のうちの、前記第1座席に着座したユーザの標準的な発話位置により近い位置を、前記第1座席に着座したユーザである話者の左右方向の位置として算定し、
前記第1マイクと前記第3マイクとを結ぶ線上の、前記前後無相関レベルマップが示す前記算定された前記前後無相関レベルの値が得られる音源の前後方向の位置のうちの、前記第1座席に着座したユーザの標準的な発話位置により近い位置を、前記話者の前後方向の位置として算定することを特徴とする話者位置検出システム。
【請求項2】
第1
座席と、
前記第1
座席と左右方向に並んだ第2
座席と、
前記第1
座席と前後方向に並んだ
第3座席とを有する自動車に搭載される話者位置検出システムであって、
前記第1座席の近くに配置されたマイクである第1マイクと、
前記第2座席の近くに配置されたマイクである第2マイクと、
前記第3座席の近くに配置されたマイクである第3マイクと、
前記第2マイクの出力中の、前記第1マイクの出力と相関する成分を近似的に抽出する伝達関数が設定された第2マイク用フィルタと、
前記第3マイクの出力中の、前記第1マイクの出力と相関する成分を近似的に抽出する伝達関数が設定された第3マイク用フィルタと、
前記第1マイクの出力の大きさから前記第2マイク用フィルタの出力の大きさを減じた大きさを左右無相関レベルとして算定し、前記第1マイクの出力の大きさから前記第3マイク用フィルタの出力の大きさを減じた大きさを前後無相関レベルとして算定する無相関レベル算定手段と、
前記左右無相関レベルの各値と、当該左右無相関レベルの値が得られる音源の前記自動車の車内の左右方向の位置との対応を示す左右無相関レベルマップと、
前記前後無相関レベルの各値と、当該前後無相関レベルの値が得られる音源の前記自動車の車内の前後方向の位置との対応を示す前後無相関レベルマップと、
前記第1マイクの出力中の、前記第2マイクの出力と相関する成分を近似的に抽出する伝達関数が設定された第1マイク用第1フィルタと、
前記第1マイクの出力中の、前記第3マイクの出力と相関する成分を近似的に抽出する伝達関数が設定された第1マイク用第2フィルタと、
前記第1マイク用第1フィルタの出力の大きさと前記第2マイク用フィルタの出力の大きさを加算した大きさを左右相関レベルとして算定し、第1マイク用第2フィルタの出力の大きさと前記第3マイク用フィルタの出力の
大きさを加算した大きさを前後相関レベルとして算定する相関レベル算出手段と、
前記左右相関レベルの各値と、当該左右相関レベルの値が得られる音源の前記自動車の車内の左右方向の位置との対応を示す左右相関レベルマップと、
前記前後相関レベルの各値と、当該前後相関レベルの値が得られる音源の前記自動車の車内の前後方向の位置との対応を示す前後相関レベルマップと、
話者位置算定手段とを有し、
前記話者位置算定手段は、
前記第1マイクと前記第2マイクとを結ぶ線上の、前記左右無相関レベルマップが示す前記算定された前記左右無相関レベルの値が得られる音源の左右方向の位置の範囲のうちの、前記第1座席に着座したユーザの標準的な発話位置により近い位置の範囲を、前記第1座席に着座したユーザである話者の左右方向の位置範囲として算定し、
前記第1マイクと前記第3マイクとを結ぶ線上の、前記前後無相関レベルマップが示す前記算定された前記前後無相関レベルの値が得られる音源の前後方向の位置の範囲のうちの、前記第1座席に着座したユーザの標準的な発話位置により近い位置の範囲を、前記話者の前後方向の位置範囲として算定し、
前記第1マイクと前記第2マイクとを結ぶ線上の、算定した話者の左右方向の位置範囲内の、前記左右相関レベルマップが示す算定された前記左右相関レベルの値が得られる音源の前記自動車の車内の左右方向の位置を、前記話者の左右方向の位置として
算定し、
前記第1マイクと前記第3マイクとを結ぶ線上の、算定した話者の前後方向の位置範囲内の、前記前後相関レベルマップが示す算定された前記前後相関レベルの値が得られる音源の前記自動車の車内の前後方向の位置を、前記話者の前後方向の位置として算定することを特徴とする話者位置検出システム。
【請求項3】
請求項1記載の話者位置検出システムであって、
前記第2マイク用フィルタの伝達関数は、事前に、車内の所定位置から所定のチューニング用音を出力しながら、前記第2マイクの出力を入力とする第1の適応フィルタの出力と、前記第1マイクの出力との差分をエラーとして、当該第1の適応フィルタの適応動作を行わせ、収束した前記第1の適応フィルタの伝達関数を前記第2マイク用フィルタの伝達関数とすることにより設定されており、
前記第3マイク用フィルタの伝達関数は、事前に、車内の所定位置から所定のチューニング用音を出力しながら、前記第3マイクの出力を入力とする第2の適応フィルタの出力と、前記第1マイクの出力との差分をエラーとして、当該第2の適応フィルタの適応動作を行わせ、収束した前記第2の適応フィルタの伝達関数を前記第3マイク用フィルタの伝達関数とすることにより設定されていることを特徴とする話者位置検出システム。
【請求項4】
請求項2記載の話者位置検出システムであって、
前記第2マイク用フィルタの伝達関数は、事前に、車内の所定位置から所定のチューニング用音を出力しながら、前記第2マイクの出力を入力とする第1の適応フィルタの出力と、前記第1マイクの出力との差分をエラーとして、当該第1の適応フィルタの適応動作を行わせ、収束した前記第1の適応フィルタの伝達関数を前記第2マイク用フィルタの伝達関数とすることにより設定されており、
前記第3マイク用フィルタの伝達関数は、事前に、車内の所定位置から所定のチューニング用音を出力しながら、前記第3マイクの出力を入力とする第2の適応フィルタの出力と、前記第1マイクの出力との差分をエラーとして、当該第2の適応フィルタの適応動作を行わせ、収束した前記第2の適応フィルタの伝達関数を前記第3マイク用フィルタの伝達関数とすることにより設定されており、
前記第1マイク用第1フィルタの伝達関数は、事前に、車内の所定位置から所定のチューニング用音を出力しながら、前記第1マイクの出力を入力とする第3の適応フィルタの出力と、前記第2マイクの出力との差分をエラーとして、当該第3の適応フィルタの適応動作を行わせ、収束した前記第3の適応フィルタの伝達関数を前記第1マイク用第1フィルタの伝達関数の伝達関数とすることにより設定されており、
前記第1マイク用第2フィルタの伝達関数は、事前に、車内の所定位置から所定のチューニング用音を出力しながら、前記第1マイクの出力を入力とする第4の適応フィルタの出力と、前記第3マイクの出力との差分をエラーとして、当該第4の適応フィルタの適応動作を行わせ、収束した前記第4の適応フィルタの伝達関数を前記第1マイク用第2フィルタの伝達関数の伝達関数とすることにより設定されていることを特徴とする話者位置検出システム。
【請求項5】
請求項1、2、3または4記載の話者位置検出システムであって、
前記話者位置算定手段は、前記左右無相関レベルの大きさと前記前後無相関レベルの大きさの双方が所定のしきい値より大きいときに、前記第1
座席に話者がいると判定し、前記話者の前記左右方向の位置と前記前後方向の位置の算定を行うことを特徴とする話者位置検出システム。
【請求項6】
請求項1、2、3、4または5記載の話者位置検出システムを備えた、車内コミュニケーション支援システムであって、
スピーカと、
前記第1マイクで収音した音を前記スピーカに出力する処理を行う出力処理手段とを有し、
前記出力処理手段は、前記話者位置算定手段が算定した話者の左右方向の位置と前後方向の位置が表す話者位置に応じて、前記スピーカへの前記第1マイクで収音した音の出力の有無と、前記スピーカへ出力する前記第1マイクで収音した音のゲインとのうちの少なくとも一方を切り替えることを特徴とする車内コミュニケーション支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、主として車内の発話によるコミュニケーションを支援する技術に関するものである。
【背景技術】
【0002】
車内の発話によるコミュニケーションを支援する技術としては、話者の発話音声をマイクで収音し、聴取者が明瞭に聞き取れるようにゲインを調整した発話音声をスピーカから出力する技術が知られている(たとえば、特許文献1)。
【0003】
また、フィルタを用いて、第1の位置に配置したマイクで収音した目的音を、第2の位置にマイクが配置されていた場合に収音される目的音に変換する技術も知られている(たとえば、特許文献2)。
【0004】
ここで、この技術では、事前に、第2の位置に実際にマイクを配置し、第1の位置に配置したマイクの出力と第2の位置に配置したマイクの出力との差が最小となる伝達関数を、適応フィルタを用いて求めて上記のフィルタの伝達関数として設定している。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2002-51392号公報
【文献】特開2001-142469号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した車内の発話によるコミュニケーションを支援する技術によれば、話者が聴取者方向に身を乗り出して話している等、ユーザ間の距離が近く、スピーカから発話音声を出力しなくても、聴取者が発話音声を明瞭に聞き取ることができる場合でもスピーカから発話音声が出力されてしまう。また、このような場合に、スピーカから発話音声を出力すると、聴取者には、話者から直接到来する発話音声と、スピーカを通って到来する、直接到来する発話音声よりも遅延した発話音声とが重なった、不自然な発話音声が聞こえてしまうこととなる。
【0007】
そこで、話者の位置を検出し、話者の位置に応じて、スピーカからの発話音声の出力の有無や、スピーカから出力する発話音声のゲインを制御することが考えられる。
話者の位置を検出の手法としては、マイクロホンアレイを用いて発話音声の音源位置を検出する手法や、ステレオカメラを用いて話者の口の位置を検出する手法などが考えられるが、いずれの手法も、特段の構成の追加が必要となり、コストの大幅な増加を招く。
【0008】
そこで、本発明は、ユーザの発話音声をマイクで収音し他のユーザに向けてスピーカから出力する車内コミュニケーション支援システムにおいて、比較的コストの増加を招かない構成によって、話者の位置を検出することを課題とする。
【課題を解決するための手段】
【0009】
前記課題達成のために、本発明は、第1座席と、前記第1座席と左右方向に並んだ第2座席と、前記第1座席と前後方向に並んだ第3座席とを有する自動車に搭載される話者位置検出システムに、前記第1座席の近くに配置されたマイクである第1マイクと、前記第2座席の近くに配置されたマイクである第2マイクと、前記第3座席の近くに配置されたマイクである第3マイクと、前記第2マイクの出力中の、前記第1マイクの出力と相関する成分を近似的に抽出する伝達関数が設定された第2マイク用フィルタと、前記第3マイクの出力中の、前記第1マイクの出力と相関する成分を近似的に抽出する伝達関数が設定された第3マイク用フィルタと、前記第1マイクの出力から前記第2マイク用フィルタの出力を減じて左右無相関レベルを算定し、前記第1マイクの出力から前記第3マイク用フィルタの出力を減じて前後無相関レベルを算定する無相関レベル算定手段と、算定された前記左右無相関レベルの値が得られる音源の左右方向の位置としてマッチする前記自動車の車内の左右方向の位置を話者の左右方向の位置として算定し、算定された前記前後無相関レベルの値が得られる音源の前後方向の位置としてマッチする前記自動車の車内の前後方向の位置を話者の前後方向の位置として算定する話者位置算定手段とを備えたものである。
【0010】
ここで、この話者位置検出システムに、前記左右無相関レベルの各値と、当該左右無相関レベルの値が得られる音源の左右方向の位置としてマッチする前記自動車の車内の左右方向の位置との対応を示す左右無相関レベルマップと、前記前後無相関レベルの各値と、当該前後無相関レベルの値が得られる音源の前後方向の位置としてマッチする前記自動車の車内の前後方向の位置との対応を示す前後無相関レベルマップとを備え、前記話者位置算定手段は、前記左右無相関レベルマップが示す対応に従って、前記算定された前記左右無相関レベルの値が得られる音源の左右方向の位置としてマッチする前記自動車の車内の左右方向の位置を算定し、前記前後無相関レベルマップが示す対応に従って、前記算定された前記前後無相関レベルの値が得られる音源の前後方向の位置としてマッチする前記自動車の車内の前後方向の位置を算定してもよい。
【0011】
また、この話者位置検出システムは、前記第2マイク用フィルタの伝達関数は、事前に、車内の所定位置から所定のチューニング用音を出力しながら、前記第2マイクの出力を入力とする第1の適応フィルタの出力と、前記第1マイクの出力との差分をエラーとして、当該第1の適応フィルタの適応動作を行わせ、収束した前記第1の適応フィルタの伝達関数を前記第2マイク用フィルタの伝達関数とすることにより設定されており、前記第3マイク用フィルタの伝達関数は、事前に、車内の所定位置から所定のチューニング用音を出力しながら、前記第3マイクの出力を入力とする第2の適応フィルタの出力と、前記第1マイクの出力との差分をエラーとして、当該第2の適応フィルタの適応動作を行わせ、収束した前記第2の適応フィルタの伝達関数を前記第3マイク用フィルタの伝達関数とすることにより設定されたものとしてもよい。
【0012】
または、この話者位置検出システムに、前記第1マイクの出力中の、前記第2マイクの出力と相関する成分を近似的に抽出する伝達関数が設定された第1マイク用第1フィルタと、前記第1マイクの出力中の、前記第3マイクの出力と相関する成分を近似的に抽出する伝達関数が設定された第1マイク用第2フィルタと、第1マイク用第1フィルタの出力と前記第2マイク用フィルタの出力を加算して左右相関レベルを算定し、第1マイク用第2フィルタの出力と前記第3マイク用フィルタの出力を加算して前後相関レベルを算定する相関レベル算出手段とを設け、前記話者位置算定手段において、算定された前記左右無相関レベルの値と算定された前記左右相関レベルの値とが得られる音源の左右方向の位置としてマッチする前記自動車の車内の左右方向の位置を話者の左右方向の位置として算定し、算定された前記前後無相関レベルの値と算定された前記前後相関レベルの値とが得られる音源の前後方向の位置としてマッチする前記自動車の車内の前後方向の位置を話者の前後方向の位置として算定するようにしてもよい。
【0013】
この場合には、話者位置検出システムに、前記左右無相関レベルの各値と、当該左右無相関レベルの値が得られる音源の左右方向の位置としてマッチする前記自動車の車内の左右方向の位置との対応を示す左右無相関レベルマップと、前記前後無相関レベルの各値と、当該前後無相関レベルの値が得られる音源の前後方向の位置としてマッチする前記自動車の車内の前後方向の位置との対応を示す前後無相関レベルマップと、前記左右相関レベルの各値と、当該左右相関レベルの値が得られる音源の左右方向の位置としてマッチする前記自動車の車内の左右方向の位置との対応を示す左右相関レベルマップと、前記前後相関レベルの各値と、当該前後相関レベルの値が得られる音源の前後方向の位置としてマッチする前記自動車の車内の前後方向の位置との対応を示す前後相関レベルマップとを備え、前記話者位置算定手段において、前記左右無相関レベルマップが示す対応と前記左右相関レベルマップが示す対応とに従って、算定された前記左右無相関レベルの値と算定された前記左右相関レベルの値とが得られる音源の左右方向の位置としてマッチする前記自動車の車内の左右方向の位置を算定し、前記前後無相関レベルマップが示す対応と前記前後相関レベルマップが示す対応とに従って、算定された前記前後無相関レベルの値と算定された前記前後相関レベルの値とが得られる音源の前後方向の位置としてマッチする前記自動車の車内の前後方向の位置を算定してもよい。
【0014】
また、この場合には、話者位置検出システムを、前記第2マイク用フィルタの伝達関数は、事前に、車内の所定位置から所定のチューニング用音を出力しながら、前記第2マイクの出力を入力とする第1の適応フィルタの出力と、前記第1マイクの出力との差分をエラーとして、当該第1の適応フィルタの適応動作を行わせ、収束した前記第1の適応フィルタの伝達関数を前記第2マイク用フィルタの伝達関数とすることにより設定されており、前記第3マイク用フィルタの伝達関数は、事前に、車内の所定位置から所定のチューニング用音を出力しながら、前記第3マイクの出力を入力とする第2の適応フィルタの出力と、前記第1マイクの出力との差分をエラーとして、当該第2の適応フィルタの適応動作を行わせ、収束した前記第2の適応フィルタの伝達関数を前記第3マイク用フィルタの伝達関数とすることにより設定されており、前記第1マイク用第1フィルタの伝達関数は、事前に、車内の所定位置から所定のチューニング用音を出力しながら、前記第1マイクの出力を入力とする第3の適応フィルタの出力と、前記第2マイクの出力との差分をエラーとして、当該第3の適応フィルタの適応動作を行わせ、収束した前記第3の適応フィルタの伝達関数を前記第1マイク用第1フィルタの伝達関数の伝達関数とすることにより設定されており、前記第1マイク用第2フィルタの伝達関数は、事前に、車内の所定位置から所定のチューニング用音を出力しながら、前記第1マイクの出力を入力とする第4の適応フィルタの出力と、前記第3マイクの出力との差分をエラーとして、当該第4の適応フィルタの適応動作を行わせ、収束した前記第4の適応フィルタの伝達関数を前記第1マイク用第2フィルタの伝達関数の伝達関数とすることにより設定されているものとしてもよい。
【0015】
ここで、以上の話者位置検出システムは、前記話者位置算定手段において、前記左右無相関レベルの大きさと前記前後無相関レベルの大きさの双方が所定のしきい値より大きいときに、前記第1座席に話者がいると判定し、当該話者の前記左右方向の位置と前記前後方向の位置の算定を行うように構成してもよい。
【0016】
また、併せて、本発明は、以上の話者位置検出システムを備えた、車内コミュニケーション支援システムを提供する。この車内コミュニケーション支援システムは、スピーカと、前記第1マイクで収音した音を前記スピーカに出力する処理を行う出力処理手段とを備え、前記出力処理手段は、前記話者位置算定手段が算定した話者の左右方向の位置と前後方向の位置が表す話者位置に応じて、前記スピーカへの前記第1マイクで収音した音の出力の有無と、前記スピーカへ出力する前記第1マイクで収音した音のゲインとのうちの少なくとも一方を切り替える。
【0017】
以上のような話者位置検出システムによれば、話者位置を検出するための特段の構成の追加無しに、車内コミュニケーション支援システムが各座席の発話音声を収音するために備えているマイクの出力を用いて話者位置を検出することができる。
【発明の効果】
【0018】
以上のように、本発明によれば、ユーザの発話音声をマイクで収音し他のユーザに向けてスピーカから出力する車内コミュニケーション支援システムにおいて、比較的コストの増加を招かない構成によって、話者の位置を検出することができる。
【図面の簡単な説明】
【0019】
【
図1】本発明の実施形態に係る車内コミュニケーション支援システムの構成を示すブロック図である。
【
図2】本発明の実施形態に係る車内コミュニケーション支援システムのスピーカとマイクの配置を示す図である。
【
図3】本発明の実施形態に係る話者位置算定部の構成を示すブロック図である。
【
図4】本発明の実施形態に係る話者位置算定部のチューニングの構成を示すブロック図である。
【
図5】本発明の実施形態に係る学習用マイクと学習用スピーカの配置を示す図である。
【
図6】本発明の実施形態に係るレベルマップを示す図である。
【
図7】本発明の実施形態に係る音源座標算定例を示す図である。
【
図8】本発明の実施形態に係る音源座標算定例を示す図である。
【
図9】本発明の実施形態に係る車内コミュニケーション支援システムの他の構成例を示す図である。
【発明を実施するための形態】
【0020】
以下、本発明の実施形態について説明する。
図1に、本実施形態に係る車内コミュニケーション支援システムの構成を示す。
車内コミュニケーション支援システムは、自動車に搭載されるシステムであり、図示するように、マイクMFR、マイクMFL、マイクMBR、マイクMBLの4つのマイクと、スピーカSPFR、スピーカSPFL、スピーカSPBR、スピーカSPBLの4つのスピーカを備えている。また、車内コミュニケーション支援システムは、話者位置算定部1、制御部2、出力処理部3を備えている。
【0021】
ここで、
図2に示すように、マイクMFRは、自動車の右前席の右側に右前席に着座したユーザの発話音声を収音するように配置され、マイクMFLは、自動車の左前席の左側に左前席に着座したユーザの発話音声を収音するように配置され、マイクMBRは、自動車の右後席の右側に右後席に着座したユーザの発話音声を収音するように配置され、マイクMBLは、自動車の左後席の左側に左後席に着座したユーザの発話音声を収音するように配置されている。
【0022】
また、スピーカSPFRは、自動車の右前席の右側に右前席に着座したユーザに向けて音を出力するように配置され、スピーカSPFLは、自動車の左前席の左側に左前席に着座したユーザに向けて音を出力するように配置され、スピーカSPBRは、自動車の右後席の右側に右後席に着座したユーザに向けて音を出力するように配置され、スピーカSPBLは、自動車の左後席の左側に左後席に着座したユーザに向けて音を出力するように配置されている。
【0023】
図1に戻り、話者位置算定部1は、各マイクの出力より話者位置(X、Y)を算定し制御部2に出力する。
出力処理部3は、制御部2に従って、各マイクから入力する音声信号の各スピーカへの出力のゲインのスピーカ毎の調整や、各マイクから入力する音声信号の各スピーカへの出力の有無の制御を行う。
制御部2は、話者位置算定部1が算定した話者位置(X、Y)に基づいて入出力処理部を制御する。この制御では、話者のいない座席のユーザの発話音声を収音するマイクから入力する音声信号は、いずれのスピーカにも出力しないよう出力処理部3を制御する。また、話者のいる座席のユーザの発話音声を収音するマイクから入力する音声信号は、話者のいる座席のユーザに向けて音を出力するスピーカと、話者位置(X、Y)に所定距離以内に近い座席のユーザに向けて音を出力するスピーカには出力せずに、残るスピーカにのみ、話者位置(X、Y)から遠い座席のユーザに向けて音を出力するスピーカほど、大きなゲインで出力するように出力処理部3を制御する。
【0024】
次に、話者位置算定部1の構成を
図3に示す。
図示するように、話者位置算定部1は、マイクMFRの出力V(MFR)を処理するMFR入力処理部11、マイクMFLから出力される信号V(MFL)号を処理するMFL入力処理部12、マイクMBRから出力される信号V(MBR)号を処理するMBR入力処理部13、マイクMBLから出力される信号V(MBL)号を処理するMBL入力処理部14の、4つのマイクにそれぞれ対応する4つの入力処理部を備えている。
【0025】
また、話者位置算定部1は、無相関/相関レベル算定部15、音源座標算定部16、無相関/相関レベルマップ記憶部17を備えている。
また、MFR入力処理部11は、マイクMFRの出力V(MFR)を入力とするフィルタW(MFR_MFL)111とフィルタW(MFR_MBR)112を備え、V(MFR)と、フィルタW(MFR_MFL)111の出力であるS(MFR_MFL)と、フィルタW(MFR_MBR)112の出力であるS(MFR_MBR)を無相関/相関レベル算定部15に出力する。また、MFL入力処理部12は、マイクMFLの出力V(MFL)を入力とするフィルタW(MFL_MFR)121とフィルタW(MFL_MBL)122を備え、V(MFL)と、フィルタW(MFL_MFR)121の出力であるS(MFL_MFR)と、フィルタW(MFL_MBL)122の出力であるS(MFL_MBL)を無相関/相関レベル算定部15に出力する。
【0026】
また、MBR入力処理部13は、マイクMBRの出力V(MBR)を入力とするフィルタW(MBR_MBL)131とフィルタW(MBR_MFR)132を備え、V(MBR)と、フィルタW(MBR_MBL)131の出力であるS(MBR_MBL)と、フィルタW(MBR_MFR)132の出力であるS(MBR_MFR)を無相関/相関レベル算定部15に出力する。また、MBL入力処理部14は、マイクMBLの出力V(MBL)を入力とするフィルタW(MBL_MBR)141とフィルタW(MBL_MFL)142を備え、V(MBL)と、フィルタW(MBL_MBR)141の出力であるS(MBL_MBR)と、フィルタW(MBL_MFL)142の出力であるS(MBL_MFL)を無相関/相関レベル算定部15に出力する。
【0027】
ここで、フィルタW(MA_MB)は、近似的に、マイクMAの出力V(MA)中の、マイクMBの出力V(MB)と相関する成分を抽出し、S(MA_MB)として出力するフィルタである。すなわち、たとえば、MFR入力処理部11のフィルタW(MFR_MFL)111は、近似的に、マイクMFRの出力V(MFR)中の、マイクMFLの出力V(MFL)と相関する成分を抽出し、S(MFR_MFL)として出力するフィルタであり、MFR入力処理部11のフィルタW(MFR_MBR)112は、近似的に、マイクMFRの出力V(MFR)中の、マイクMBRの出力V(MBR)と相関する成分を抽出し、信号S(MFR_MBR)として出力するフィルタである。
【0028】
ここで、各入力処理部の各フィルタW()の伝達関数は、予め、チューニングを行って算定し設定する。
フィルタW(MA_MB)、フィルタW(MB_MA)の伝達関数を設定するチューニングは、
図4aに示す構成によって行う。
図示するように、この構成は、チューニング用スピーカTSPR、マイクMA、マイクMB、第1適応フィルタ41、第2適応フィルタ42、第1加算器43、第2加算器44を備えている。
【0029】
また、第1適応フィルタ41は、第1可変フィルタ411と、LMSなどの適応アルゴリズムにより第2可変フィルタの伝達関数(フィルタ係数)を更新する第1適応アルゴリズム実行部412を備え、第2適応フィルタ42は、第2可変フィルタ421と、LMSなどの適応アルゴリズムにより第2可変フィルタ421の伝達関数(フィルタ係数)を更新する第3適応アルゴリズム実行部422を備えている。
【0030】
ここで、スピーカTSPRは、自動車の車室内に中央に配置されており、チューニングは、スピーカTSPRから所定のチューニング用音声を出力しながら行う。
マイクMAで収音した音声は、第1適応フィルタ41の第1可変フィルタ411を通って第1加算器43に出力され、マイクMBで収音した音声は、第2適応フィルタ42の第2可変フィルタ421を通って第2加算器44に出力される。
【0031】
第1加算器43は、マイクMBの出力から、第1可変フィルタ411の出力を減算してエラーe1として、第1適応フィルタ41の第1適応アルゴリズム実行部412に出力する。
【0032】
第1適応アルゴリズム実行部412は、LMSなどの適応アルゴリズムを実行し、エラーe1が最小となるように第1可変フィルタ411の伝達関数を更新する。
第2加算器44は、マイクMAの出力から、第2可変フィルタ421の出力を減算してエラーe2として、第2適応フィルタ42の第2適応アルゴリズム実行部に出力する。
第2適応アルゴリズム実行部は、LMSなどの適応アルゴリズムを実行し、エラーe2が最小となるように第2可変フィルタ421の伝達関数を更新する。
そして、以上の動作により第1可変フィルタ411の伝達関数と第1可変フィルタ411の伝達関数が収束したならば、収束した第1可変フィルタ411の伝達関数をフィルタW(MA_MB)、の伝達関数とし、収束した第2可変フィルタ421の伝達関数をフィルタW(MB_MA)の伝達関数とする。
【0033】
ここで、第1可変フィルタ411の伝達関数と第2可変フィルタ421の伝達関数が収束した状態で、第1可変フィルタ411の伝達関数は、マイクMAで収音した音声から、マイクMBで収音した音声と最も相関する成分を抽出するものとなっており、第1可変フィルタ411の伝達関数は、マイクMBで収音した音声から、マイクMAで収音した音声と最も相関する成分を抽出するものとなっている。
【0034】
なお、実際のチューニングは、(マイクMFR、マイクMFL)、(マイクMFR、マイクMBR)、(マイクMFL、マイクMBL)、(マイクMBR、マイクMBL)の各組み合わせのそれぞれを、
図4aの構成における(マイクMA、マイクMB)の組み合わせとして行う。
【0035】
これにより、たとえば、
図4bに示すように、(マイクMFR、マイクMFL)の組み合わせを
図4aの構成における(マイクMA、マイクMB)の組み合わせとしてチューニングを行うことにより、収束した第1可変フィルタ411の伝達関数としてMFR入力処理部11のフィルタW(MFR_MFL)111の伝達関数が求まり、収束した第2可変フィルタ421の伝達関数としてMFL入力処理部12のフィルタW(MFL_MFR)121の伝達関数が求まる。
【0036】
次に、無相関/相関レベル算定部15は、4つの入力処理部から入力する各信号から、マイクMFRの左右無相関レベルU(MFR_MFL)と前後無相関レベルU(MFR_MBR)、マイクMFLの左右無相関レベルU(MFL_MFR)と前後無相関レベルU(MFL_MBL)、マイクMBRの左右無相関レベルU(MBR_MBL)と前後無相関レベルU(MBR_MFR)、マイクMBLの左右無相関レベルU(MBL_MBR)と前後無相関レベルU(MBL_MFL)、左右相関レベルC(MFR/MFL)、左右相関レベルC(MBR/MBL)、前後相関レベルC(MFR/MBR)、前後相関レベルC(MFL/MBL)を算定し、音源座標算定部16に出力する。
【0037】
マイクMAの左右無相関レベルU(MA_MB)は、V(MA)-S(MB_MA)より算定し、マイクMAの前後無相関レベルU(MA_MC)は、V(MA)-S(MC_MA)より算定し、マイクMAの左右無相関レベルU(MA_MB)は、マイクMAの出力V(MA)の、当該マイクMAと左右方向に並ぶマイクMBの出力V(MB)に対する無相関の度合いを表し、マイクMAの前後無相関レベルU(MA_MC)は、マイクMAの出力V(MA)の、当該マイクMAと前後方向に並ぶマイクMCの出力V(MC)に対する無相関の度合いを表す。
【0038】
したがって、たとえば、マイクMFRの左右無相関レベルU(MFR_MFL)は、V(MFR)-S(MFL_MFR)によって算定され、マイクMFRの出力V(MFR)の、当該マイクMFRと左右方向に並ぶマイクMFLの出力V(MFL)に対する無相関の度合いを表し、マイクMFRの前後無相関レベルU(MFR_MBR)は、V(MFR)-S(MBR_MFR)によって算定され、マイクMFRの出力V(MFR)の、当該マイクMFRと前後方向に並ぶマイクMBRの出力V(MBR)に対する無相関の度合いを表す。
【0039】
次に、左右相関レベルC(MA/MB)は、{S(MA_MB)+S(MB_MA)}/2によって算定し、前後相関レベルC(MA/MC)は、{S(MA_MC)+S(MC_MA)}/2によって算定し、左右相関レベルC(MA/MB)は、左右に並ぶマイクMAの出力V(MA)とマイクMBの出力V(MB)の相関の度合いを表し、前後相関レベルC(MA/MC)は、前後に並ぶマイクMAの出力V(MA)とマイクMCの出力V(MC)の相関の度合いを表す。
【0040】
したがって、たとえば、左右に並ぶマイクMFRとマイクMFLの出力であるV(MFR)とV(MFL)の相関の度合いを表すC(MFR/MFR)は、{S(MFR_MFL)+S(MFL_MFR)}/2によって算定され、前後に並ぶマイクMFRとマイクMBRの出力であるV(MFR)とV(MBR)の相関の度合いを表すC(MFR/MBR)は、{S(MFR_MBR)+S(MBR_MFR)}/2によって算定される。
【0041】
次に、音源位置算定部は、無相関/相関レベル算定部15が出力する信号から話者の有無の検出と、話者位置(X、Y)の算定を行い、算定した話者位置(X、Y)を制御部2に出力する。
【0042】
話者の有無は、左右無相関レベルU()と前後無相関レベルU()の双方が所定のしきい値以上であるマイクMAが存在しなければ話者は存在しない判定し、存在すれば、そのマイクMAが発話音声を収音する座席に話者が存在すると判定することにより検出する。
【0043】
したがって、たとえば、マイクMFRの左右無相関レベルU(MFR_MFL)と前後無相関レベルU(MFR_MBR)の双方がしきい値以上である場合には、マイクMFRが発話音声を収音する右前座席の話者を検出する。
【0044】
次に、音源位置算定部における話者位置(X、Y)の算定は、無相関/相関レベルマップ記憶部17に予め記憶した無相関レベルマップ、相関レベルマップを用いて行う。
無相関レベルマップとしては、マイクMFRの左右無相関レベルU(MFR_MFL)、マイクMFRの前後無相関レベルU(MFR_MBR)、マイクMFLの左右無相関レベルU(MFL_MFR)、マイクMFLの前後無相関レベルU(MFL_MBL)、マイクMBRの左右無相関レベルU(MBR_MBL)、マイクMBRの前後無相関レベルU(MBR_MFR)、マイクMBLの左右無相関レベルU(MBL_MBR)、マイクMBLの前後無相関レベルU(MBL_MFL)のそれぞれに対応する8つの無相関レベルマップが記憶されている。
【0045】
各無相関レベルマップは、車内の各位置と、その位置を音源位置とする音声に対する、対応する左右/前後無相関レベルU()の値との関係を示したものであり、各無相関レベルマップは、予めシミュレーションや実測などにより作成し、無相関/相関レベルマップ記憶部17に記憶される。
【0046】
また、相関レベルマップとしては、左右相関レベルC(MFR/MFL)、左右相関レベルC(MBR/MBL)、前後相関レベルC(MFR/MBR)、前後相関レベルC(MFL/MBL)のそれぞれに対応する4つの相関レベルマップのそれぞれに対応する4つの相関レベルマップが記憶されている。
【0047】
相関レベルマップは、車内の各位置と、その位置を音源位置とする音声に対する、対
応する左右/前後相関レベルC()の値との関係を示したものであり、各相関レベルマッ
プは、予めシミュレーショや実測などにより作成し、無相関/相関レベルマップ記憶部
17に記憶される
【0048】
ここで、このような無相関レベルマップと相関レベルマップの例を
図6に示す。
たとえば、
図6a1は、マイクMFRの左右無相関レベルU(MFR_MFL)に対応する無相関レベルマップの例であり、
図6a2マイクMFRの前後無相関レベルU(MFR_MBR)の例である。また、
図6b1は、左右相関レベルC(MFR/MFL)に対応する相関レベルマップの例であり、
図6b2は、前後相関レベルC(MFR/MBR)の例である。
【0049】
各図の左から右に向かう方向が自動車の左から右に向かう方向を表し、上から下に向かう方向が自動車の前から後ろに向かう方向を表している。また、各図中の、PMFRはマイクMFRの位置を、PMFLはマイクMFLの位置を、PMBRはマイクMBRの位置を、PMBLはマイクMBLの位置を表している。
【0050】
また、各図の座標は、左右のマイク間の距離と前後のマイク間の距離を1として表しており、より黒いほどレベルの値が小さく、より白に近いほどレベルの値が大きいことを表している。
【0051】
このような無相関レベルマップ、相関レベルマップを用いた話者位置(X、Y)の算定は次のように行う。
すなわち、左右無相関レベルU()と前後無相関レベルU()の双方がしきい値以上であるマイクをマイクMA、マイクMAと左右に並んだマイクをマイクMBとして、左右無相関レベルU(MA_MB)に対応する無相関レベルマップ中の、マイクMAの位置PMAとマイクMBの位置PMBを結ぶ線上の、値が左右無相関レベルU(MA_MB)と同じ値となる左右方向の座標範囲のうちの話者位置の範囲として最も妥当と考えられる範囲を、話者位置の左右方向の座標範囲BXとして算定する。話者位置の範囲としての妥当性は、マイクMAで発話音声を収音する座席に着座したユーザの標準的な発話位置に近い範囲ほど妥当性が高いものとして判定する。
【0052】
また、マイクMAと前後に並んだマイクをマイクMCとして、前後無相関レベルU(MA_MC)に対応する無相関レベルマップ中の、マイクMAの位置PMAとマイクMCの位置PMCを結ぶ線上の、値が前後無相関レベルU(MA_MC)と同じ値となる前後方向の座標範囲のうちの話者位置の範囲として最も妥当と考えられる範囲を、話者位置の左右方向の座標範囲BYとして算定する。
【0053】
次に、左右相関レベルC(MA/MB)上のマイクMAの位置PMAとマイクMBの位置PMBを結ぶ線上の座標範囲BX内の値が左右相関レベルC(MA/MB)と同じ値となる左右方向の座標を話者位置の左右方向の座標Xとして算定し、前後相関レベルC(MA/MC)上のマイクMAの位置PMAとマイクMCの位置PMCを結ぶ線上の座標範囲BY内の値が前後相関レベルC(MA/MC)と同じ値となる前後方向の座標を話者位置の前後方向の座標Yとして算定する。なお、左右相関レベルC(MA/MB)がない場合には、代えて左右相関レベルC(MB/MA)を用い、前後相関レベルC(MA/MC)がない場合には、代えて前後相関レベルC(MC/MA)を用いる。
【0054】
そして、算定した座標の組(X、Y)を話者位置とする。
したがって、たとえば、左右無相関レベルU()と前後無相関レベルU()の双方がしきい値以上であるマイクがマイクMFRであった場合には、マイクMFRと左右に並ぶマイクはマイクMFLであるので、
図7a1の左右無相関レベルU(MFR_MFL)に対応する無相関レベルマップ中の、マイクMFRの位置PMFRとマイクMFLの位置PMFLを結ぶ線RL上の、値が左右無相関レベルU(MFR_MFL)と同じ値となる位置の左右方向(図中x方向)の座標範囲のうちの話者位置の範囲として最も妥当と考えられる範囲を、話者位置の左右方向の座標BXとして算定する。
【0055】
なお、図中のThはしきい値と同じ値の位置を示すものであり、
図7a1ではThの上側の領域がしきい値以上の値の領域となっている。
また、マイクMFRと前後に並ぶマイクはマイクMBRであるので、
図7a2の前後無相関レベルU(MFR_MBR)に対応する無相関レベルマップ中の、マイクMFRの位置PMFRとマイクMBRの位置PMBRを結ぶ線FB上の、値が前後無相関レベルU(MFR_MBR)と同じ値となる位置の前後方向(図中y方向)の座標範囲のうちの話者位置の範囲として最も妥当と考えられる範囲を、話者位置の前後方向の座標範囲BYとして算定する。
【0056】
なお、
図7a2ではThの右側の領域がしきい値以上の値の領域となっている。
そして、
図7b1に示す左右相関レベルC(MFR/MFL)に対応する相関レベルマップ上のマイクMFRの位置PMFRとマイクMFLの位置PMFLを結ぶ線RL上の座標範囲BX内の、値が左右相関レベルC(MFR/MFL)と同じ値となる左右方向の座標を話者位置の左右方向の座標Xとして算定し、
図7b2に示す前後相関レベルC(MFR/MBR)に対応する相関レベルマップ上のマイクMFRの位置PMFRとマイクMBRの位置PMBRを結ぶ線FB上の座標範囲BY内の、値が前後相関レベルC(MFR/MBR)と同じ値となる前後方向の座標を話者位置の前後方向の座標Yとして算定する。
【0057】
そして、算定した座標の組(X、Y)を話者位置とする。
以上、無相関レベルマップ、相関レベルマップを用いた話者位置(X、Y)の算定について説明したが、無相関レベルマップのみを用いて充分な分解能をもって話者位置(X、Y)を算定できる場合などには、以上の無相関レベルマップ、相関レベルマップを用いた話者位置(X、Y)の算定の処理に代えて、無相関レベルマップのみを用いて話者位置(X、Y)を算定する処理を行うようにしてもよい。
【0058】
すなわち、この場合には、左右無相関レベルU()と前後無相関レベルU()の双方がしきい値以上であるマイクをマイクMA、マイクMAと左右に並んだマイクをマイクMBとして、左右無相関レベルU(MA_MB)に対応する無相関レベルマップ中の、マイクMAの位置PMAとマイクMBの位置PMBを結ぶ線上の、値が左右無相関レベルU(MA_MB)と同じ値となる位置の左右方向の座標のうちの話者位置の座標として最も妥当と考えられる座標を、話者位置の左右方向の座標Xとして算定する。話者位置の座標としての妥当性は、マイクMAで発話音声を収音する座席に着座したユーザの標準的な発話位置に近い座標ほど妥当性が高いものとして判定する。
【0059】
また、マイクMAと前後に並んだマイクをマイクMCとして、前後無相関レベルU(MA_MC)に対応する無相関レベルマップ中の、マイクMAの位置PMAとマイクMCの位置PMCを結ぶ線上の、値が前後無相関レベルU(MA_MC)と同じ値となる位置の前後方向の座標のうちの話者位置の座標として最も妥当と考えられる座標を、話者位置の左右方向の座標Yとして算定する。
【0060】
そして、算定した座標の組(X、Y)を話者位置とする。
したがって、たとえば、左右無相関レベルU()と前後無相関レベルU()の双方がしきい値以上であるマイクがマイクMFRであった場合には、マイクMFRと左右に並ぶマイクはマイクMFLであるので、
図8a1の左右無相関レベルU(MFR_MFL)に対応する無相関レベルマップ中の、マイクMFRの位置PMFRとマイクMFLの位置PMFLを結ぶ線RL上の、値が左右無相関レベルU(MFR_MFL)と同じ値となる位置の左右方向(図中x方向)の座標のうちの話者位置の座標として最も妥当と考えられる座標を、話者位置の左右方向の座標Xとして算定する。
【0061】
また、マイクMFRと前後に並ぶマイクはマイクMBRであるので、
図8a2の前後無相関レベルU(MFR_MBR)に対応する無相関レベルマップ中の、マイクMFRの位置PMFRとマイクMBRの位置PMBRを結ぶ線FB上の、値が前後無相関レベルU(MFR_MBR)と同じ値となる位置の前後方向(図中y方向)の座標のうちの話者位置の座標として最も妥当と考えられる座標を、話者位置の前後方向の座標Yとして算定する。
【0062】
そして、算定した座標の組(X、Y)を話者位置とする。
以上、本発明の実施形態について説明した。
以上のように、本実施形態によれば、話者位置を検出するための特段の構成の追加無しに、車内コミュニケーション支援システムが各席の発話音声を収音するために備えているマイクMFR、MFL、MBR、MBLの出力を用いて話者位置を検出することができる。また、話者位置算定部1の各フィルタの伝達関数は固定であるので、処理負荷の増大も抑制される。
【0063】
ここで、以上の実施形態は、上述したフィルタを用いて、第1の位置に配置したマイクで収音した目的音を、第2の位置にマイクが配置されていた場合に収音される目的音に変換する技術を用いて、より話者位置算定の精度を向上するように構成してもよい。
【0064】
この場合には、たとえは、
図9に示すように、右前席の左側の位置、左前席の右側の位置、右後席の左側の位置、左後席の右側の位置、前後方向について前席と後席の間の右席の右側の位置と左席の左側の位置に仮想のマイクVM1ーVM6を設定し、マイクMFR、MFL、MBR、MBLの出力から、仮想のマイクVM1ーVM6が現実のマイクであった場合に収音される音を生成し、マイクMFR、MFL、MBR、MBL、仮想のマイクVM1ーVM6の各出力の無相関レベルや相関レベルを用いて話者位置を算定するようにする。
【0065】
また、以上の実施形態を、各席のユーザの着座の有無を検出する座面センサを備えている自動車に適用する場合や、各席のユーザのようすを撮影するカメラを備えている自動車に適用する場合には、これらの座面センサやカメラの出力を併用して、話者の有無や話者位置を算定してもよい。
【符号の説明】
【0066】
1…話者位置算定部、2…制御部、3…出力処理部、11…MFR入力処理部、12…MFL入力処理部、13…MBR入力処理部、14…MBL入力処理部、15…無相関/相関レベル算定部、16…音源座標算定部、17…無相関/相関レベルマップ記憶部、41…第1適応フィルタ、42…第2適応フィルタ、43…第1加算器、44…第2加算器、111…フィルタW(MFR_MFL)、112…フィルタW(MFR_MBR)、121…フィルタW(MFL_MFR)、122…フィルタW(MFL_MBL)、131…フィルタW(MBR_MBL)、132…フィルタW(MBR_MFR)、141…フィルタW(MBL_MBR)、142…フィルタW(MBL_MFL)、411…第1可変フィルタ、412…第1適応アルゴリズム実行部、421…第2可変フィルタ、422…第3適応アルゴリズム実行部、MA…マイク、MB…マイク、MFR…マイク、MFL…マイク、MBR…マイク、MBL…マイク、SPFR…スピーカ、SPFL…スピーカ、SPBR…スピーカ、SPBL…スピーカ、TSPR…チューニング用スピーカ。