特許第6984559号(P6984559)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電信電話株式会社の特許一覧

特許6984559集音拡声装置、その方法、およびプログラム
<>
  • 特許6984559-集音拡声装置、その方法、およびプログラム 図000002
  • 特許6984559-集音拡声装置、その方法、およびプログラム 図000003
  • 特許6984559-集音拡声装置、その方法、およびプログラム 図000004
  • 特許6984559-集音拡声装置、その方法、およびプログラム 図000005
  • 特許6984559-集音拡声装置、その方法、およびプログラム 図000006
  • 特許6984559-集音拡声装置、その方法、およびプログラム 図000007
  • 特許6984559-集音拡声装置、その方法、およびプログラム 図000008
  • 特許6984559-集音拡声装置、その方法、およびプログラム 図000009
  • 特許6984559-集音拡声装置、その方法、およびプログラム 図000010
  • 特許6984559-集音拡声装置、その方法、およびプログラム 図000011
  • 特許6984559-集音拡声装置、その方法、およびプログラム 図000012
  • 特許6984559-集音拡声装置、その方法、およびプログラム 図000013
  • 特許6984559-集音拡声装置、その方法、およびプログラム 図000014
  • 特許6984559-集音拡声装置、その方法、およびプログラム 図000015
  • 特許6984559-集音拡声装置、その方法、およびプログラム 図000016
  • 特許6984559-集音拡声装置、その方法、およびプログラム 図000017
  • 特許6984559-集音拡声装置、その方法、およびプログラム 図000018
  • 特許6984559-集音拡声装置、その方法、およびプログラム 図000019
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6984559
(24)【登録日】2021年11月29日
(45)【発行日】2021年12月22日
(54)【発明の名称】集音拡声装置、その方法、およびプログラム
(51)【国際特許分類】
   H04R 3/12 20060101AFI20211213BHJP
   H04R 3/02 20060101ALI20211213BHJP
   H04R 3/00 20060101ALI20211213BHJP
   B60R 11/02 20060101ALI20211213BHJP
【FI】
   H04R3/12 A
   H04R3/02
   H04R3/00 320
   H04R3/00 310
   B60R11/02 M
   B60R11/02 S
【請求項の数】9
【全頁数】20
(21)【出願番号】特願2018-145953(P2018-145953)
(22)【出願日】2018年8月2日
(65)【公開番号】特開2020-22114(P2020-22114A)
(43)【公開日】2020年2月6日
【審査請求日】2020年11月20日
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100121706
【弁理士】
【氏名又は名称】中尾 直樹
(74)【代理人】
【識別番号】100128705
【弁理士】
【氏名又は名称】中村 幸雄
(74)【代理人】
【識別番号】100147773
【弁理士】
【氏名又は名称】義村 宗洋
(72)【発明者】
【氏名】齊藤 翔一郎
(72)【発明者】
【氏名】小林 和則
【審査官】 大石 剛
(56)【参考文献】
【文献】 特開2005−51324(JP,A)
【文献】 特開2008−42390(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04R 3/12
H04R 3/02
H04R 3/00
B60R 11/02
(57)【特許請求の範囲】
【請求項1】
車両に搭載される集音拡声装置であって、
前記車両内の第一座席から発せられる目的音を集音し、前記車両内の第二座席に座る聴取者からみて前記第一座席とは異なる方向に配置された第二拡声装置から前記聴取者に対して集音した前記目的音を再生し、さらに、前記聴取者からみて前記第一座席と同じ方向に配置された第一拡声装置から前記聴取者に対して集音した前記目的音を再生するものとし、
前記目的音に第一ゲインを乗じ、前記第一拡声装置に出力する第一ゲイン調整部と、
前記第一拡声装置と、前記第二拡声装置と、前記聴取者との位置関係から得られる、前記第二拡声装置に対する前記第一拡声装置の遅延時間に先行音効果を得るための時間を加えた時間分、前記目的音を遅延させる遅延部と、
遅延させた前記目的音に第二ゲインを乗じ、前記第二拡声装置に出力する第二ゲイン調整部とを含み、
前記第一ゲイン調整部は前記第一ゲインを小さいに値に調整し、前記第二ゲイン調整部は前記第二ゲインを大きい値に調整する、
集音拡声装置。
【請求項2】
車両に搭載される集音拡声装置であって、
前記車両内の第一座席から発せられる目的音を集音し、前記車両内の第二座席に座る聴取者からみて前記第一座席とは異なる方向に配置された第二拡声装置から前記聴取者に対して集音した前記目的音を再生し、さらに、前記聴取者からみて前記第一座席と同じ方向に配置された第一拡声装置から前記聴取者に対して集音した前記目的音を再生するものとし、
前記目的音に第一ゲインを乗じ、前記第一拡声装置に出力する第一ゲイン調整部と、
1以上のマイクロホンで集音された信号から前記目的音を強調する目的音強調部と、
強調した前記目的音に第二ゲインを乗じ、前記第二拡声装置に出力する第二ゲイン調整部とを含み、
強調した前記目的音は、強調していない前記目的音に対して遅延を伴い、
前記第一ゲイン調整部は前記第一ゲインを小さいに値に調整し、前記第二ゲイン調整部は前記第二ゲインを大きい値に調整する、
集音拡声装置。
【請求項3】
請求項1または請求項2の集音拡声装置であって、
前記車両内の第一座席から発せられる調整用目的音を集音し、
前記第一ゲイン調整部は、前記聴取者が再生された前記調整用目的音を聴きとれる最小のゲインと、ハウリングしない範囲の最大のゲインとの何れか小さい値を前記第一ゲインとし、
前記第二ゲイン調整部は、前記聴取者が再生された前記調整用目的音を聴きとれる最小のゲインと、ハウリングしない範囲の最大のゲインとの何れか小さい値を前記第二ゲインとする、
集音拡声装置。
【請求項4】
請求項3の集音拡声装置であって、
前記第一ゲイン調整部は、前記聴取者が再生された前記調整用目的音を聴きとれる最小のゲインとノイズが発生した際にも前記調整用目的音が聴きとれるように調整するためのマージンβ1Lとの積と、ハウリングしない範囲の最大のゲインとノイズが発生した際にもハウリングが発生しないように調整するためのマージンβ1Hとの積との何れか小さい値を前記第一ゲインとし、
β2L1Lとし、前記第二ゲイン調整部は、前記聴取者が再生された前記調整用目的音を聴きとれる最小のゲインとノイズが発生した際にも前記調整用目的音が聴きとれるように調整するためのマージンβ2Lとの積と、ハウリングしない範囲の最大のゲインとノイズが発生した際にもハウリングが発生しないように調整するためのマージンβ2Hとの積との何れか小さい値を前記第二ゲインとし、
前記第一ゲイン調整部で調整した前記第一ゲインと前記第二ゲイン調整部で調整した前記第二ゲインとを用いて前記第一拡声装置と前記第二拡声装置から前記調整用目的音を再生し、ハウリングが発生する場合には、前記マージンβ1H2Hそれぞれに0より大きく1より小さい所定の値γを乗じた値を新たなマージンβ1H2Hとして、前記第一ゲイン調整部と前記第二ゲイン調整部においてそれぞれ前記第一ゲインと前記第二ゲインとを調整し、ハウリングが発生しなくなるまで調整を繰り返す、
集音拡声装置。
【請求項5】
車両に搭載される集音拡声装置を用いた集音拡声方法であって、
前記車両内の第一座席から発せられる目的音を集音し、前記車両内の第二座席に座る聴取者からみて前記第一座席とは異なる方向に配置された第二拡声装置から前記聴取者に対して集音した前記目的音を再生し、さらに、前記聴取者からみて前記第一座席と同じ方向に配置された第一拡声装置から前記聴取者に対して集音した前記目的音を再生するものとし、
前記集音拡声装置が、前記目的音に第一ゲインを乗じ、前記第一拡声装置に出力する第一ゲイン調整ステップと、
前記集音拡声装置が、前記第一拡声装置と、前記第二拡声装置と、前記聴取者との位置関係から得られる、前記第二拡声装置に対する前記第一拡声装置の遅延時間に先行音効果を得るための時間を加えた時間分、前記目的音を遅延させる遅延ステップと、
前記集音拡声装置が、遅延させた前記目的音に第二ゲインを乗じ、前記第二拡声装置に出力する第二ゲイン調整ステップとを含み、
前記第一ゲイン調整ステップは前記第一ゲインを小さいに値に調整し、前記第二ゲイン調整ステップは前記第二ゲインを大きい値に調整する、
集音拡声方法。
【請求項6】
車両に搭載される集音拡声装置を用いた集音拡声方法であって、
前記車両内の第一座席から発せられる目的音を集音し、前記車両内の第二座席に座る聴取者からみて前記第一座席とは異なる方向に配置された第二拡声装置から前記聴取者に対して集音した前記目的音を再生し、さらに、前記聴取者からみて前記第一座席と同じ方向に配置された第一拡声装置から前記聴取者に対して集音した前記目的音を再生するものとし、
前記集音拡声装置が、前記目的音に第一ゲインを乗じ、前記第一拡声装置に出力する第一ゲイン調整ステップと、
前記集音拡声装置が、1以上のマイクロホンで集音された信号から前記目的音を強調する目的音強調ステップと、
前記集音拡声装置が、強調した前記目的音に第二ゲインを乗じ、前記第二拡声装置に出力する第二ゲイン調整ステップとを含み、
強調した前記目的音は、強調していない前記目的音に対して遅延を伴い、
前記第一ゲイン調整ステップは前記第一ゲインを小さいに値に調整し、前記第二ゲイン調整ステップは前記第二ゲインを大きい値に調整する、
集音拡声方法。
【請求項7】
請求項1から請求項4の何れかの集音拡声装置としてコンピュータを機能させるためのプログラム。
【請求項8】
車両に搭載される集音拡声装置であって、
車両内には2つ以上の集音拡声位置が想定されるものとし、
前記第一の集音拡声位置に位置する第一対象者から発せられた音を他の集音拡声位置に位置する対象者から発せられた音よりも集音しやすい位置に設置された第一マイクロホンと、
前記第二の集音拡声位置に位置する第二対象者に他の集音拡声位置に位置する対象者よりも届きやすい、かつ、前記第二対象者を基準として前記第一対象者とは異なる方向である位置に設置された第二スピーカと、
前記第二対象者を基準として前記第一対象者の方向に設置された第一スピーカと、を含み、
前記第一スピーカと前記第二スピーカは、前記第一マイクロホンにより集音された前記第一対象者から発せられた音を、前記第二スピーカから放音された音よりも前記第一スピーカから放音された音が先に前記第二対象者の耳に到達するよう放音する、
集音拡声装置。
【請求項9】
車両に搭載される集音拡声装置であって、
前記車両内の第一の座席に着席した第一のユーザにより発せられた音を主として集音するマイクロホンを用いて収音された音響信号を、
前記車両内の第二の座席を基準として前記第一の座席の方向に設置された第一スピーカからハウリングを起こさないかつ前記第二の座席に着席した第二のユーザが聞きとることができる強さで放音するよう制御し、
前記第二の座席を基準として前記第一の座席の方向とは異なる方向かつ前記第一スピーカよりも前記第二の座席に近い位置に設置された第二スピーカからハウリングを起こさないかつ前記第二のユーザが聞き取りやすい強さで、かつ、前記第一スピーカの放音開始よりも後の時間に前記音響信号の放音を開始するよう制御する、
集音拡声装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マイクロホンとスピーカを用いて車両内の会話を円滑に行う集音拡声技術に関する。
【背景技術】
【0002】
インカーコミュニケーションや会話アシストと呼ばれる機能が自動車に搭載されつつある(非特許文献1参照)。これは前席に乗車している人の声を集音して後席で再生することで会話を行いやすくするものである。さらに後席の音声を集音して前席で再生するものもある。インカーコミュニケーションにおいては、図1のように話者音声の拡声用のスピーカ92F,92Rを座席に座る聴取者の耳元に設置するのが、少ない音量で音声を提示できるため効果的である。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】"「インテリジェントマイク for car」の技術について"、[online]、2018年、日本電信電話株式会社、[平成30年5月24日]、インターネット<URL:http://www.ntt.co.jp/news2018/1802/pdf/180219c.pdf>
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、図1の場合、後席の人にとっては、前席の声が自分の頭の後ろから聞こえることになり、位置関係に違和感が生じる。この違和感を解消するためには音像を後席の人よりも前に出す必要があり、そのためには、スピーカ92Rを後席の人よりも前に設置する方法が考えられる(図2参照)。しかしながら、後席の人の耳からスピーカ92Rが遠くなるのでその分スピーカ92Rから大きな音を出さなくてはならず、後席近くのマイク91Rに音が入ってハウリングの原因となってしまう。
【0005】
本発明は、音像の違和感を低減しつつ、スピーカの追加によるハウリングへの影響を抑える集音拡声装置、その方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本発明の一態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内の第一座席から発せられる目的音を集音し、車両内の第二座席に座る聴取者からみて第一座席とは異なる方向に配置された第二拡声装置から聴取者に対して集音した目的音を再生し、さらに、聴取者からみて第一座席と同じ方向に配置された第一拡声装置から聴取者に対して集音した目的音を再生するものとし、目的音に第一ゲインを乗じ、第一拡声装置に出力する第一ゲイン調整部と、第一拡声装置と、第二拡声装置と、聴取者との位置関係から得られる、第二拡声装置に対する第一拡声装置の遅延時間に先行音効果を得るための時間を加えた時間分、目的音を遅延させる遅延部と、遅延させた目的音に第二ゲインを乗じ、第二拡声装置に出力する第二ゲイン調整部とを含み、第一ゲイン調整部は第一ゲインを小さいに値に調整し、第二ゲイン調整部は第二ゲインを大きい値に調整する。
【0007】
上記の課題を解決するために、本発明の他の態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内の第一座席から発せられる目的音を集音し、車両内の第二座席に座る聴取者からみて第一座席とは異なる方向に配置された第二拡声装置から聴取者に対して集音した目的音を再生し、さらに、聴取者からみて第一座席と同じ方向に配置された第一拡声装置から聴取者に対して集音した目的音を再生するものとし、目的音に第一ゲインを乗じ、第一拡声装置に出力する第一ゲイン調整部と、1以上のマイクロホンで集音された信号から目的音を強調する目的音強調部と、強調した目的音に第二ゲインを乗じ、第二拡声装置に出力する第二ゲイン調整部とを含み、強調した目的音は、強調していない目的音に対して遅延を伴い、第一ゲイン調整部は第一ゲインを小さいに値に調整し、第二ゲイン調整部は第二ゲインを大きい値に調整する。
【0008】
上記の課題を解決するために、本発明の他の態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内には2つ以上の集音拡声位置が想定されるものとし、第一の集音拡声位置に位置する第一対象者から発せられた音を他の集音拡声位置に位置する対象者から発せられた音よりも集音しやすい位置に設置された第一マイクロホンと、第二の集音拡声位置に位置する第二対象者に他の集音拡声位置に位置する対象者よりも届きやすい、かつ、第二対象者を基準として第一対象者とは異なる方向である位置に設置された第二スピーカと、第二対象者を基準として第一対象者の方向に設置された第一スピーカと、を含み、第一スピーカと第二スピーカは、第一マイクロホンにより集音された第一対象者から発せられた音を、第二スピーカから放音された音よりも第一スピーカから放音された音が先に第二対象者の耳に到達するよう放音する。
【0009】
上記の課題を解決するために、本発明の他の態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内の第一の座席に着席した第一のユーザにより発せられた音を主として集音するマイクロホンを用いて収音された音響信号を、車両内の第二の座席を基準として第一の座席の方向に設置された第一スピーカからハウリングを起こさないかつ第二の座席に着席した第二のユーザが聞きとることができる強さで放音するよう制御し、第二の座席を基準として第一の座席の方向とは異なる方向かつ第一スピーカよりも第二の座席に近い位置に設置された第二スピーカからハウリングを起こさないかつ第二のユーザが聞き取りやすい強さでかつ第一スピーカの放音開始よりも後の時間に音響信号の放音を開始するよう制御する。
【発明の効果】
【0010】
本発明によれば、音像の違和感を低減しつつ、スピーカの追加によるハウリングへの影響を抑えることができるという効果を奏する。
【図面の簡単な説明】
【0011】
図1】インカーコミュニケーションにおけるマイクとスピーカの配置例を示す図。
図2】インカーコミュニケーションにおけるマイクとスピーカの配置例を示す図。
図3】第一実施形態におけるマイクとスピーカの配置例を示す図。
図4】第一実施形態に係る集音拡声装置の機能ブロック図。
図5】第一実施形態に係る集音拡声装置の処理フローの例を示す図。
図6】第一実施形態に係る目的音強調部の機能ブロック図。
図7】第一実施形態に係るエコーキャンセラ部の機能ブロック図。
図8】第一実施形態に係る目的音強調部の機能ブロック図。
図9】第一実施形態に係るエコーキャンセラ部の機能ブロック図。
図10】スピーカと、後部座席に座る聴取者の位置関係を示す図。
図11】第一実施形態の変形例1のスピーカと、後部座席に座る聴取者の位置関係を示す図。
図12】第一実施形態の変形例2のスピーカと、後部座席に座る聴取者の位置関係を示す図。
図13】第一実施形態の変形例3に係る集音拡声装置の機能ブロック図。
図14】第二実施形態に係る集音拡声装置の機能ブロック図。
図15】第二実施形態に係る集音拡声装置の処理フローの例を示す図。
図16】第二実施形態に係る目的音強調部の機能ブロック図。
図17】第二実施形態に係るエコーキャンセラ部の機能ブロック図。
図18】第二実施形態と第一実施形態の変形例3とを組合せた場合の機能ブロック図。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【0013】
<第一実施形態のポイント>
本実施形態では、音像を前方に出すために先行音効果を利用する(参考文献1参照)。
(参考文献1)日本音響学会編、「空間音響学」、コロナ社、2010、p.26-29
【0014】
先行音効果とは、同じ性質の音をほぼ同時に聞いた場合に、先に聞こえた音の方向のみに音像を知覚するという現象である。この効果を利用するための構成は図3のようになる。ただし、単純に先行音効果を狙ったスピーカ92R−1を配置するだけでは、ハウリングが起きやすい状況に変わりはない。そのため、ハウリングが起きないようなゲイン調整の手段も提案する。
【0015】
<第一実施形態>
図4は第一実施形態に係る集音拡声装置の機能ブロック図を、図5はその処理フローを示す。
【0016】
集音拡声装置は、目的音強調部110−1,110−2と、遅延部130と、ゲイン調整部120,140とを含む。
【0017】
本実施形態では、集音拡声装置が搭載される車両は、図3のような構造とし、3列シートを備える。さらに、本実施形態の車両は、主に1列目の話者の音声を集音するマイク91Fと、主に3列目の話者の音声を集音するマイク91Rとを備える。マイク91F、91Rは、それぞれM個のマイクロホンで構成される。なお、F,Rはそれぞれ車両の進行方向に対して前方、後方を示すインデックスである。さらに、本実施形態の車両は、1列目の座席の聴取者に対して音を再生するスピーカ92Fと、3列目の座席の聴取者に対して音を再生するスピーカ92R−1,92R−2とを備える。スピーカ92R−1は3列目の座席に座る聴取者からみて1列目の座席と同じ方向(前方)に配置されており、スピーカ92R−2は3列目の座席に座る聴取者からみて1列目の座席とは異なる方向(後方)に配置されている。なお、同じ方向とは、厳密に同じ方向を意味するのではなく、音像の違和感を感じずらい方向を意味する。同様に、異なる方向とは、音像の違和感を生じやすい方向を意味する。各スピーカ92F,92R−1,92R−2はそれぞれN個のスピーカで構成される。ただし、Nは1以上の整数の何れかであり、再生信号のチャネル数を表す。
【0018】
集音拡声装置は、車両内に設置された2つのマイク91F,91Rで集音して得られる集音信号XF=[XF,1,…,XF,M],XR=[XR,1,…,XR,M]と、車載用音響装置(例えば、カーオーディオ等)のスピーカ93で再生される再生信号(例えば、オーディオ信号)XC=[XC,1,…,XC,S]とを入力とし、車両内に設置された3つのスピーカ92F,92R−1,92R−2で再生される再生信号YF=[YF,1,…,YF,N],YR1=[YR1,1,…,YR1,N],YR2=[YR2,1,…,YR2,N]を生成し、出力する。なお、Sは、車載用音響装置のスピーカ93で再生される再生信号のチャネル数を表す。
【0019】
集音拡声装置は、例えば、中央演算処理装置(CPU: Central Processing Unit)、主記憶装置(RAM: Random Access Memory)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。集音拡声装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。集音拡声装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。集音拡声装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。集音拡声装置が備える各記憶部は、例えば、RAM(Random Access Memory)などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも集音拡声装置がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ(Flash Memory)のような半導体メモリ素子により構成される補助記憶装置により構成し、集音拡声装置の外部に備える構成としてもよい。
【0020】
以下、各部について説明する。
【0021】
<目的音強調部110−1>
目的音強調部110−1は、マイク91Fで主に1列目の発話者の音声を集音した集音信号XF=[XF,1,…,XF,M]と、目的音強調部110−2で生成された1列目の座席のスピーカ92Fで再生される再生信号YF=[YF,1,…,YF,N]と、車載用音響装置のスピーカ93で再生される再生信号XC=[XC,1,…,XC,S]とを入力とし、集音信号XFから目的音(前方の座席から発せられる音)を強調した再生信号YR=[YR,1,…,YR,N]を求め、出力する。
【0022】
図6は目的音強調部110−1の機能ブロック図を示す。
【0023】
目的音強調部110−1は、指向性集音部110−1−1と、エコーキャンセラ部110−1−2と、ハウリング抑圧部110−1−3とを含む。以下、各部について説明する。
【0024】
(指向性集音部110−1−1)
指向性集音部110−1−1は、集音信号XF=[XF,1,…,XF,M]を入力とし、集音信号XF=[XF,1,…,XF,M]から目的音(前方の座席から発せられる音)を強調した強調信号X'Fを求め(S110−1−1)、出力する。
【0025】
なお、どのような方法により強調信号を求めてもよい。例えば、特開2004-078021号公報の強調技術を用いることができる。
【0026】
(エコーキャンセラ部110−1−2)
エコーキャンセラ部110−1−2は、強調信号X'Fと、再生信号YFと、再生信号XCとを入力とし、強調信号X'Fに含まれるスピーカ93で再生される音成分やスピーカ92Fで再生される音成分を消去し、エコー成分を消去した強調信号X"Fを求め(S110−1−2)、出力する。
【0027】
図7は、エコーキャンセラ部110−1−2の機能ブロック図を示す。
【0028】
エコーキャンセラ部110−1−2は、第一適応フィルタ部110−1−2−1と、第一減算部110−1−2−2と、第二適応フィルタ部110−1−2−3と、第二減算部110−1−2−4とを含む。
【0029】
第一適応フィルタ部110−1−2−1は、再生信号XCを入力とし、第一適応フィルタを用いて再生信号XCをフィルタリングし、第一擬似エコーY1を生成し、出力する。
【0030】
第一減算部110−1−2−2は、強調信号X'Fと第一擬似エコーY1とを入力とし、強調信号X'Fから第一擬似エコーY1を減算し、強調信号X'F,1を得、出力する。なお、全てのチャネルをそれぞれ減算してもよいし、全てのチャネルの総和を減算してもよい。例えば、Nチャネルの再生信号XC,n(n=1,2,…,N)をそれぞれフィルタリングしたNチャネルの第一擬似エコーY1,n(ただしY1=[Y1,1,…,Y1,N])をそれぞれ強調信号X'Fから減算してもよいし、Nチャネルの第一擬似エコーY1,nの総和を強調信号X'Fから減算してもよい。
【0031】
第二適応フィルタ部110−1−2−3は、再生信号YFを入力とし、第二適応フィルタを用いて再生信号YFをフィルタリングし、第二擬似エコーY2を生成し、出力する。
【0032】
第二減算部110−1−2−4は、強調信号X'F,1と第二擬似エコーY2とを入力とし、強調信号X'F,1から第二擬似エコーY2を減算し、強調信号X"Fを得、出力する。第一減算部110−1−2−2と同様に全てのチャネルをそれぞれ減算してもよいし、全てのチャネルの総和を減算してもよい。
【0033】
さらに、第一適応フィルタ部110−1−2−1は、エコー成分を消去した強調信号X"F(誤差信号に相当)を入力とし、再生信号XCと強調信号X"Fを用いて第一適応フィルタを更新する。同様に、第二適応フィルタ部110−1−2−3は、強調信号X"Fを入力とし、再生信号YFと強調信号X"Fを用いて第二適応フィルタを更新する。
【0034】
適応フィルタの更新方法としては様々な方法がある。例えば、参考文献2記載のNLMSアルゴリズム等を用いてフィルタ更新を行うことができる。
(参考文献2)大賀寿郎、山崎芳男、金田豊、「音響システムとディジタル処理」、電子情報通信学会編、コロナ社、1995年、p140,141
【0035】
なお、上述のエコー消去方法に限らず、どのような方法によりエコー成分を消去してもよい。例えば、特開2010-187086号公報のエコー消去技術を用いることができる。
【0036】
(ハウリング抑圧部110−1−3)
ハウリング抑圧部110−1−3は、強調信号X"Fを入力とし、ハウリング成分を抑圧し(S110−1−3)、ハウリング成分抑圧後の信号を再生信号YRとして出力する。
【0037】
なお、どのような方法によりハウリング成分を抑圧してもよい。例えば、特開2007-221219号公報のハウリング抑圧技術を用いることができる。
【0038】
<目的音強調部110−2>
目的音強調部110−2は、マイク91Rで主に3列目の発話者の音声を集音した集音信号XR=[XR,1,…,XR,M]と、再生信号YR=[YR,1,…,YR,N]と、再生信号XC=[XC,1,…,XC,S]とを入力とし、集音信号XR=[XF,1,…,XF,M]から目的音(後方の座席から発せられる音)を強調した再生信号YF=[YF,1,…,YF,N]を求め、出力する。
【0039】
図8は目的音強調部110−2の機能ブロック図を示す。
【0040】
目的音強調部110−2は、指向性集音部110−2−1と、エコーキャンセラ部110−2−2と、ハウリング抑圧部110−2−3とを含む。以下、各部について説明する。
【0041】
(指向性集音部110−2−1)
指向性集音部110−2−1は、集音信号XR=[XR,1,…,XR,M]を入力とし、集音信号XR=[XR,1,…,XR,M]から目的音(後方の座席から発せられる音)を強調した強調信号X'Rを求め(S110−2−1)、出力する。指向性集音部110−1−1と同様の方法により強調信号を求めればよい。
【0042】
(エコーキャンセラ部110−2−2)
エコーキャンセラ部110−2−2は、強調信号X'Rと、再生信号YR=[YR,1,…,YR,N]と、再生信号XCとを入力とし、強調信号X'Rに含まれるスピーカ93で再生される音成分やスピーカ92R−1,92R−2で再生される音成分を消去し、エコー成分を消去した強調信号X"Rを求め(S110−2−2)、出力する。
【0043】
図9は、エコーキャンセラ部110−2−2の機能ブロック図を示す。
【0044】
エコーキャンセラ部110−2−2は、第一適応フィルタ部110−2−2−1と、第一減算部110−2−2−2と、第二適応フィルタ部110−2−2−3と、第二減算部110−2−2−4とを含む。
【0045】
第一適応フィルタ部110−2−2−1は、再生信号XCを入力とし、第一適応フィルタを用いて再生信号XCをフィルタリングし、第一擬似エコーY'1を生成し、出力する。
【0046】
第一減算部110−2−2−2は、強調信号X'Rと第一擬似エコーY'1とを入力とし、強調信号X'Rから第一擬似エコーY'1を減算し、強調信号X'R,1を得、出力する。
【0047】
第二適応フィルタ部110−2−2−3は、再生信号YRを入力とし、第二適応フィルタを用いて再生信号YRをフィルタリングし、第二擬似エコーY'2を生成し、出力する。
【0048】
第二減算部110−2−2−4は、強調信号X'R,1と第二擬似エコーY'2とを入力とし、強調信号X'R,1から第二擬似エコーY'2を減算し、強調信号X"Rを得、出力する。
【0049】
さらに、第一適応フィルタ部110−2−2−1は、エコー成分を消去した強調信号X"R(誤差信号に相当)を入力とし、再生信号XCと強調信号X"Rを用いて第一適応フィルタを更新する。同様に、第二適応フィルタ部110−2−2−3は強調信号X"Rを入力とし、再生信号YRと強調信号X"Rを用いて第二適応フィルタを更新する。第一適応フィルタ部110−1−2−1等と同様の方法により適応フィルタの更新すればよい。
【0050】
(ハウリング抑圧部110−2−3)
ハウリング抑圧部110−2−3は、強調信号X"Rを入力とし、ハウリング成分を抑圧し(S110−2−3)、ハウリング成分抑圧後の信号を再生信号YFとして出力する。ハウリング抑圧部110−1−3と同様の方法によりハウリング成分を抑圧すればよい。
【0051】
<遅延部130>
遅延部130は、再生信号YR=[YR,1,…,YR,N]を入力とし、スピーカ92R−1とスピーカ92R−2と、後部座席に座る聴取者との位置関係から得られる、スピーカ92R−2に対するスピーカ92R−1の遅延時間に先行音効果を得るための時間を加えた時間分、再生信号YR=[YR,1,…,YR,N]を遅延させ(S130)、遅延させた再生信号Y'Rを出力する。ある時刻tに入力された再生信号をYR(t)とすると、次式により遅延させた再生信号Y'R(t)を求める。
Y'R(t)=YR(t-δ)
遅延の値δはスピーカ92R−1とスピーカ92R−2と、後部座席に座る聴取者の位置関係から計算される。仮に図10のような位置関係の場合、
δ=(d1-d2)/v+δ0
のように決定する。vは音速である。第一項は空気伝搬にかかる遅延を補償するためで、第二項は先行音効果のための遅延である。先行音効果においてはおおむね1ms後続音が遅れると先行音の方向に音像が感じられることが知られているため、δ0は1ms〜2ms程度の値とする。
【0052】
<ゲイン調整部120,140>
ゲイン調整部120は、再生信号YR=[YR,1,…,YR,N]を入力とし、ゲインα1を乗じ(S120)、出力する。スピーカ92R−1は、ゲインα1を乗じた再生信号YR1(=α1YR)を再生する。
【0053】
ゲイン調整部140は、遅延させた再生信号Y'R=[Y'R,1,…,Y'R,N]を入力とし、ゲインα2を乗じ(S140)、出力する。スピーカ92R−2は、ゲインα2を乗じた再生信号YR2(=α2Y'R)を再生する。
【0054】
なお、ゲイン調整部120はゲインα1を小さな値に調整し、ゲイン調整部140はゲインα2を大きな値に調整する。先行音効果を狙うスピーカ92R−1の音量は、音の定位さえ引っ張れればよいので 音の中身がわかるほど大音量である必要はなく、受聴位置に近いスピーカ92R−2で「聞き取りやすい」音量を実現する。もちろん先行音も大きいほうが聞き取りやすいが、スピーカ92R−1は受聴位置から遠い(=相対的には受聴位置寄りのスピーカ92R−2よりマイク91Rに近いことに相当)ので、その音量を抑えた方がハウリングを抑圧する効果が高い。以下、調整方法を説明する。
【0055】
(1)まず、ゲイン調整部140は、ミュート(ゲインα2=0)とし、ゲイン調整部120は、ゲインα1を変化させ、調整用目的音にゲインα1を乗じてスピーカ92R−1で再生し、後席の人が拡声音声を聞き取れる最小のゲインをα1L、ハウリングしない範囲の最大のゲインをα1Hとしたときに
α1=min(α1L・β1L1H・β1H)
のように定める。min()は最小値を返す関数であり、β1L1Hはそれぞれマージンの値であり、β1Lはノイズが発生した際にも(走行音などが加わっても)聞き取れるように音量の余裕を見る量で、たとえば+6dB(β1L=2.0)などであり、β1Hはノイズが発生した際にも(環境変化などによる)ハウリングが発生しないように調整するためのハウリングマージンの余裕であり、たとえば-6dB(β1H=0.5)などである。このような構成により(i)聞こえる最低限の音量で音を出す(先行音の効果のみを狙う)とともに、(ii)ハウリングを防ぐために所定の上限を超えたらそれ以上音量を上げないように設定する。
【0056】
(2)次に、ゲイン調整部120は、ミュート(ゲインα1=0)とし、ゲイン調整部140は、ゲインα2を変化させ、調整用目的音にゲインα2を乗じてスピーカ92R−2で再生し、後席の人が拡声音声を聞き取れる最小のゲインをα2L、ハウリングしない範囲の最大のゲインをα2Hとしたときに
α2=min(α2L・β2L2H・β2H)
のように定める。β2L2Hはそれぞれマージンの値であり、β2Lはノイズが発生した際にも(走行音などが加わっても)聞き取れるように音量の余裕を見る量で、たとえば+6dB(β2L=2.0)などであり、β2Hはノイズが発生した際にも(環境変化などによる)ハウリングが発生しないように調整するためのハウリングマージンの余裕であり、たとえば-6dB(β2H=0.5)などである。なお、β2Lは上述の(1)のβ1Lよりも(ハウリングしない程度に)大きい値とする。(1)と異なるのは、α1はなるべくゲインを小さく、α2はできるだけゲインが大きくするという点である。このような構成により、ハウリングしない範囲で音量を上げる。
【0057】
(3)上述の(1)(2)で求めたα12を両方ONにした系でハウリングしないかを確認する。言い換えると、α12を用いてスピーカ92R−1,92R−2から調整用目的音を再生し、ハウリングしないかを確認する。ハウリングが発生する場合には、β1H2Hに0より大きく1より小さい所定の値γ(たとえば-3dB、γ=0.70)を乗じて、新たなマージンβ1H←γβ1H2H←γβ2Hを用いて、α12を調整し、ハウリングが発生しなくなるまで調整を繰り返す。上述の(1)と(2)の両方を満たすようにα12を定めた場合であって、足し算すると(二つの再生信号を同時に再生すると)ハウリングすることがある。(3)の構成により、二つの再生信号を同時に再生したときに生じるハウリングも防ぐことができる。
【0058】
なお、ゲインα12の調整は、集音拡声処理に先立ち予め行う。
【0059】
<効果>
以上の構成により、先行音効果を利用して音像の違和感を低減しつつ、スピーカの追加によるハウリングへの影響を抑えることができる。
【0060】
先行音効果は、後に聞こえた方の音が10dBほど大きくても生じる。そこで、まず、後席に対して前方に設置されたスピーカ92R−1で小さな音(後席の人が拡声音声を聞き取れる音量)で目的音を再生し、先行音効果を生じうる遅延を付与して、後席に対して後方に設置されたスピーカ92R−2で大きな音(ただしハウリングを生じない音量)で目的音を再生する。マイク91Rに近いスピーカ92R−1で小さな音で再生するため、ハウリングを発生を抑制しやすい。一方で、マイク91Rから遠いスピーカ92R−2で大きな音(聞き取りやすい音量)で目的音を再生するため、後席に座る聴取者は目的音を聞き取りやすく、かつ、先行音効果により前席に座る発話者と同じ方向に設置されたスピーカ92R−1の方向から音を知覚するため、音像の違和感を低減することができる。
【0061】
<変形例1>
本実施形態では、ヘッドレストの位置にスピーカがある例を示したが、図11のように車の天井などにスピーカを設置してもよい。
【0062】
<変形例2>
本実施形態では、1列目の右側座席(運転席)と左側座席(助手席)とを区別せずに前席としたが、区別してもよい。例えば、図12に示すように、3列目の左側座席に座る聴取者から見て1列目の右側座席と同じ方向にスピーカ92R1−Rを、1列目の左側座席と同じ方向にスピーカ92R1−Lを配置する。
【0063】
この場合、指向性集音部110−1−1は、集音信号XF=[XF,1,…,XF,M]を入力とし、集音信号XF=[XF,1,…,XF,M]から1列目の右側座席から発せられる目的音を強調した強調信号X'FRと、1列目の左側座席から発せられる目的音を強調した強調信号X'FLと求め(例えば、特開2013-179388号公報の技術を用いる)、出力する。スピーカ92R1−Rはゲインαを乗じた、強調信号X'FRに対応する再生信号YRR=[YRR,1,…,YRR,N]を再生し、スピーカ92R1−Lはゲインαを乗じた、強調信号X'FLに対応する再生信号YRL=[YRL,1,…,YRL,N]を再生する。さらに、スピーカ92R−2は、遅延させた再生信号Y'RR,Y'RLにゲインα2を乗じた信号を再生する。
【0064】
このような構成とすることで、より一層音像の違和感を低減することができる。
【0065】
<変形例3>
また、本実施形態の図3では、3列シート車を記載したが、2列シート車などでマイクを2か所に設置するスペースがない場合、マイクを1か所に設置しすべての座席の集音を行うことも考えられる。この場合、図13のようにマイク91Cという1か所のマイクロホンアレイを用いて同様に処理を行う。
【0066】
<その他の変形例>
本実施形態では、目的音強調部110−1、110−2を備えるが、例えば、集音対象の座席に対して指向性を有する指向性マイクを用いて、座席から発せられる目的音を強調した強調信号を得られるのであれば、目的音強調部110−1、110−2を用いずに指向性マイクの出力値を遅延部130、ゲイン調整部120、スピーカ92Fに出力してもよい。また、指向性集音部110−1−1,110−2−1を用いずに指向性マイクの出力値をエコーキャンセラ部110−1−2,110−2−2に出力してもよい。
【0067】
本実施形態では、3列シートで、1列目と3列目にマイクロホンとスピーカを備えた構成としている。これは、1列目と2列目の座席、3列目と2列目の座席の場合、声が届きやすいため、多くの場合、車両内通話を必要としないためである。しかしながら、2列目にマイクロホンとスピーカを備える構成を排除するものではなく、必要に応じて備えてもよい。また、3列シートに限らず、2列シート、4列シート以上を備える車両において本実施形態を適用してもよい。要は、車両内の共通の音場の中で、走行音やカーオーディオの再生音、その他の車外の騒音等で一般的に会話する際の音量では、互いの声が聞こえずらい位置関係にある場合に適用すればよい。
【0068】
本実施形態では、集音拡声装置は、スピーカとマイクロホンを含まない構成としているが、以下では、スピーカとマイクとを含む集音放音装置として本発明を説明する。集音放音装置は、車両に搭載される。車両内には、2つ以上の集音拡声位置(例えば、前席,後席)が想定される。マイク91Fは、前席に対応し、前席に座る搭乗者から発せられた音を他の座席に座る搭乗者から発せられた音よりも集音しやすい位置に設置される。スピーカ92R−2は、後席に対応し、後席に座る搭乗者に他の座席に座る搭乗者よりも届きやすい、かつ、後席に座る搭乗者を基準として前席に座る搭乗者とは異なる方向である位置に設置される。スピーカ92R−1は、後席に座る搭乗者を基準として前席に座る搭乗者の方向に設置される。スピーカ92R−1,92R−2は、マイク91Fにより集音された前席に座る搭乗者から発せられた音を、スピーカ92R−2から放音された音よりもスピーカ92R−1から放音された音が先に後席に座る搭乗者の耳に到達するよう放音する。
【0069】
また、集音拡声装置は、以下のように、スピーカ92R−1,92R−2で再生される音を制御しているとも言える。集音拡声装置は、マイク91Fを用いて収音された音響信号を、車両内の後席を基準として前席の方向に設置されたスピーカ92R−1からハウリングを起こさないかつ後席に着席したユーザが聞きとることができる強さで放音するよう制御する。また、集音拡声装置は、後席を基準として前席の方向とは異なる方向かつスピーカ92R−1よりも後席に近い位置に設置されたスピーカ92R−2からハウリングを起こさないかつ後席に座るユーザが聞き取りやすい強さで、かつ、スピーカ92R−1の放音開始よりも後の時間にマイク91Fを用いて収音された音響信号の放音を開始するよう制御する。なお、「集音」とは「音を集めること」を意味し、「収音」とは「音をマイクで受けて電気信号として収めること」を意味する。
【0070】
<第二実施形態>
第一実施形態と異なる部分を中心に説明する。
【0071】
図14は第一実施形態に係る集音拡声装置の機能ブロック図を、図15はその処理フローを示す。
【0072】
集音拡声装置は、目的音強調部110−1,110−2と、ゲイン調整部120,140とを含む。本実施形態の集音拡声装置は、遅延部130を含まなくともよい。
【0073】
<ゲイン調整部120>
ゲイン調整部120は、再生信号YR=[YR,1,…,YR,N]ではなく集音信号XF=[XF,1,…,XF,M]を入力とし、ゲインα1を乗じ(S120)、出力する。スピーカ92R−1は、ゲインα1を乗じた集音信号XF(=再生信号YR)を再生する。
【0074】
目的音強調部110−1は信号処理により数msの遅延を必要とするため、この部分を通る信号と通らない信号でも遅延差をつけることができる。また第一実施形態のように追加の遅延を入れていないため、信号を集音してからスピーカ92R−2から放射するまでの時間は第一実施形態よりも短くて済む。ただし、目的音強調をしていない分ハウリングしやすくなる。
【0075】
<目的音強調部110−2>
目的音強調部110−2は、マイク91Rで主に3列目の発話者の音声を集音した集音信号XR=[XR,1,…,XR,M]と、マイク91Rで主に1列目の発話者の音声を集音した集音信号XF=[XF,1,…,XF,M]と、再生信号YR=[YR,1,…,YR,N]と、再生信号XC=[XC,1,…,XC,S]とを入力とし、集音信号XR=[XF,1,…,XF,M]から目的音(後方の座席から発せられる音)を強調した再生信号YF=[YF,1,…,YF,N]を求め、出力する。
【0076】
図16は目的音強調部110−2の機能ブロック図を示す。
【0077】
目的音強調部110−2は、指向性集音部110−2−1と、エコーキャンセラ部110−2−2と、ハウリング抑圧部110−2−3とを含む。指向性集音部110−2−1と、ハウリング抑圧部110−2−3の処理は第一実施形態で説明した通りなので省略する。
【0078】
(エコーキャンセラ部110−2−2)
エコーキャンセラ部110−2−2は、強調信号X'Rと、集音信号XFと、再生信号YR=[YR,1,…,YR,N]と、再生信号XCとを入力とし、強調信号X'Rに含まれるスピーカ93で再生される音成分やスピーカ92R−1,92R−2で再生される音成分を消去し、エコー成分を消去した強調信号X"Rを求め(S110−2−2)、出力する。
【0079】
図17は、エコーキャンセラ部110−2−2の機能ブロック図を示す。
【0080】
エコーキャンセラ部110−2−2は、第一適応フィルタ部110−2−2−1と、第一減算部110−2−2−2と、第二適応フィルタ部110−2−2−3と、第二減算部110−2−2−4と、第三適応フィルタ部110−2−2−5と、第三減算部110−2−2−6とを含む。
【0081】
第一適応フィルタ部110−2−2−1、第一減算部110−2−2−2、第二適応フィルタ部110−2−2−3、第二減算部110−2−2−4の処理内容は、第一実施形態と同様である。
【0082】
第三適応フィルタ部110−2−2−5は、集音信号XFを入力とし、第三適応フィルタを用いて再生信号YR2をフィルタリングし、第三擬似エコーY'3を生成し、出力する。
【0083】
第三減算部110−2−2−6は、強調信号X'R,2(第二減算部110−2−2−4の出力値)と第三擬似エコーY'3とを入力とし、強調信号X'R,2から第三擬似エコーY'3を減算し、強調信号X"Rを得、出力する。
【0084】
さらに、第三適応フィルタ部110−2−2−5は強調信号X"Rを入力とし、集音信号XFと強調信号X"Rを用いて第三適応フィルタを更新する。なお、第一適応フィルタ部110−1−2−1等と同様の方法により適応フィルタの更新すればよい。
【0085】
なお、本実施形態と第一実施形態の変形例とを組み合わせてもよい。例えば、図18は本実施形態と第一実施形態の変形例3を組合せた場合の機能ブロック図を示す。
【0086】
<その他の変形例>
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【0087】
<プログラム及び記録媒体>
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【0088】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【0089】
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【0090】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
【0091】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18