特開 2025-99403 音処理装置および音処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025099403

(43)【公開日】2025-07-03

(54)【発明の名称】音処理装置および音処理プログラム

(51)【国際特許分類】

   H04R 3/00 20060101AFI20250626BHJP

   H04R 1/32 20060101ALI20250626BHJP

【ＦＩ】

H04R3/00 320

H04R1/32 320

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023216042

(22)【出願日】2023-12-21

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】520124752

【氏名又は名称】株式会社ミライズテクノロジーズ

(74)【代理人】

【識別番号】110001128

【氏名又は名称】弁理士法人ゆうあい特許事務所

(72)【発明者】

【氏名】島ノ江 修平

(72)【発明者】

【氏名】高沢 剛史

(72)【発明者】

【氏名】種村 友貴

(72)【発明者】

【氏名】川内 正明

【テーマコード（参考）】

5D220

【Ｆターム（参考）】

5D220BA06

5D220BC05

(57)【要約】

【課題】音の認識精度の低下を抑制する音処理装置および音処理プログラムを提供する。
【解決手段】音処理装置は、音源からマイクロホンアレイ２０までの距離、音源から反射体までの距離およびマイクロホンアレイ２０から反射体までの距離に基づいて、直接音をマイクロホンアレイ２０に収音させる直接音用指向性を形成するとともに、音源からマイクロホンアレイ２０までの距離および音源から反射体までの距離に基づいて、反射音をマイクロホンアレイ２０に収音させる反射音用指向性を形成し、直接音用指向性および反射音用指向性が形成された状態でマイクロホンアレイ２０にて収音された音のデータから、直接音および反射音を抽出し、直接音および反射音について認識を行う。
【選択図】図２

【特許請求の範囲】

【請求項1】

音源（１２）から収音部（２０）までの距離に関する値（ｄ）、前記音源から、前記音源からの音を反射する反射体（１４）までの距離に関する値（ｘ１）および前記収音部から前記反射体までの距離に関する値（ｘ２）に基づいて、前記音源から直接前記収音部に向かって伝搬する音である直接音を前記収音部に収音させる直接音用指向性を形成するとともに、前記音源から前記収音部までの距離に関する値（ｄ）および前記音源から前記反射体までの距離に関する値（ｘ１）に基づいて、前記音源からの音が前記反射体に反射して前記収音部に伝搬する音である反射音を前記収音部に収音させる反射音用指向性を形成する指向性形成部（Ｓ１０６）と、
前記直接音用指向性および前記反射音用指向性が形成された状態で前記収音部にて収音された音のデータから、前記直接音および前記反射音を抽出する抽出部（Ｓ１１２）と、
前記直接音および前記反射音について認識を行う認識部（Ｓ１１８）と、
を備える音処理装置。

【請求項2】

前記音処理装置は、
前記直接音の音圧に関する値が前記反射音の音圧に関する値以上であるとき、前記直接音を選択し、
前記直接音の音圧に関する値が前記反射音の音圧に関する値未満であるとき、前記反射音を選択する選択部（Ｓ１１４）をさらに備え、
前記認識部は、前記選択部によって選択された音について認識を行う請求項１に記載の音処理装置。

【請求項3】

前記選択部は、前記直接音の音圧に関する値、前記反射音の音圧に関する値、および、前記直接音の音圧と前記反射音の音圧とを平均した音の音圧に関する値のうち、値が最も大きい音を選択する請求項２に記載の音処理装置。

【請求項4】

前記認識部は、前記音源および前記収音部を結んだ直線と、前記音源が音を発する方向に延びる直線とでなす角度（θ）が第１閾値以上、第２閾値以下であるとき、前記反射音について認識を行う請求項１に記載の音処理装置。

【請求項5】

前記音源および前記収音部は、室内に配置されている請求項１、２、４のいずれか１つに記載の音処理装置。

【請求項6】

前記反射体は、ガラスを含む請求項１、２、４のいずれか１つに記載の音処理装置。

【請求項7】

前記反射体は、樹脂を含む請求項１、２、４のいずれか１つに記載の音処理装置。

【請求項8】

前記音処理装置は、前記音源および前記反射体の位置に基づいて、前記収音部の位置を変更させる制御部（Ｓ１２０）をさらに備える請求項１に記載の音処理装置。

【請求項9】

前記反射体は、前記音源および前記収音部とは反対側に向かって凸に湾曲しており、前記音源からの音を反射する曲面（１４５）を有する請求項１に記載の音処理装置。

【請求項10】

音処理装置を、
音源（１２）から収音部（２０）までの距離に関する値（ｄ）、前記音源から、前記音源からの音を反射する反射体（１４）までの距離に関する値（ｘ１）および前記収音部から前記反射体までの距離に関する値（ｘ２）に基づいて、前記音源から直接前記収音部に向かって伝搬する音である直接音を前記収音部に収音させる直接音用指向性を形成するとともに、前記音源から前記収音部までの距離に関する値（ｄ）および前記音源から前記反射体までの距離に関する値（ｘ１）に基づいて、前記音源からの音が前記反射体に反射して前記収音部に伝搬する音である反射音を前記収音部に収音させる反射音用指向性を形成する指向性形成部（Ｓ１０６）、
前記直接音用指向性および前記反射音用指向性が形成された状態で前記収音部にて収音された音のデータから、前記直接音および前記反射音を抽出する抽出部（Ｓ１１２）、および、
前記直接音および前記反射音について認識を行う認識部（Ｓ１１８）として機能させる音処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、音処理装置および音処理プログラムに関するものである。

【背景技術】

【0002】

従来、特許文献１に記載されているように、収音部から入力された音声信号を音源からの直接音と反射音に分離する音源分離部と、分離した直接音の音声を認識する音声認識部とを備える音声処理装置が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６７０３４６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された音声処理装置では、車室内のような室内にて収音された音から分離された反射音は、音声認識部の認識対象から除外される。しかし、音源の向きによって、例えば、音源が収音部に正対していない場合、直接音が反射音よりも収音部に到達しにくくなることから、反射音の音圧は、直接音の音圧よりも大きくなる。これにより、特許文献１に記載された音声処理装置のように反射音が音声認識部の認識対象から除外されると、音圧が比較的小さい直接音を認識することとなるため、音声認識精度が低下する。

【0005】

本開示は、音の認識精度の低下を抑制する音処理装置および音処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

請求項１に記載の発明は、音源（１２）から収音部（２０）までの距離に関する値（ｄ）、音源から、音源からの音を反射する反射体（１４）までの距離に関する値（ｘ１）および収音部から反射体までの距離に関する値（ｘ２）に基づいて、音源から直接収音部に向かって伝搬する音である直接音を収音部に収音させる直接音用指向性を形成するとともに、音源から収音部までの距離に関する値（ｄ）および音源から反射体までの距離に関する値（ｘ１）に基づいて、音源からの音が反射体に反射して収音部に伝搬する音である反射音を収音部に収音させる反射音用指向性を形成する指向性形成部（Ｓ１０６）と、直接音用指向性および反射音用指向性が形成された状態で収音部にて収音された音のデータから、直接音および反射音を抽出する抽出部（Ｓ１１２）と、直接音および反射音について認識を行う認識部（Ｓ１１８）と、を備える音処理装置である。
また、請求項１０に記載の発明は、音処理装置を、音源（１２）から収音部（２０）までの距離に関する値（ｄ）、音源から、音源からの音を反射する反射体（１４）までの距離に関する値（ｘ１）および収音部から反射体までの距離に関する値（ｘ２）に基づいて、音源から直接収音部に向かって伝搬する音である直接音を収音部に収音させる直接音用指向性を形成するとともに、音源から収音部までの距離に関する値（ｄ）および音源から反射体までの距離に関する値（ｘ１）に基づいて、音源からの音が反射体に反射して収音部に伝搬する音である反射音を収音部に収音させる反射音用指向性を形成する指向性形成部（Ｓ１０６）、直接音用指向性および反射音用指向性が形成された状態で収音部にて収音された音のデータから、直接音および反射音を抽出する抽出部（Ｓ１１２）、および、直接音および反射音について認識を行う認識部（Ｓ１１８）として機能させる音処理プログラムである。

【0007】

これにより、直接音用指向性および反射音用指向性が形成されることから、直接音および反射音のＳＮＲが向上する。また、直接音の音圧が比較的小さいときであっても、反射音は、除外されないで、反射音についてシグナルとして認識が行われる。このため、比較的小さい音を認識することが抑制される。したがって、音の認識精度の低下が抑制される。なお、ＳＮＲは、Signal Noise Ratioの略である。

【0008】

なお、各構成要素等に付された括弧付きの参照符号は、その構成要素等と後述する実施形態に記載の具体的な構成要素等との対応関係の一例を示すものである。

【図面の簡単な説明】

【0009】

【図1】第１実施形態の音処理装置が用いられる車両の車室内を示す図。

【図2】車両の構成ブロック図。

【図3】音処理装置の処理を示すフローチャート。

【図4】車室内を伝搬する音の指向性を説明するための図。

【図5】時刻に対する直接音の音圧、反射音の音圧、直接音と反射音の平均音圧を示す図。

【図6】音源角度に対する直接音の等価音圧レベルおよび反射音の等価音圧レベルを示す図。

【図7】第２実施形態の音処理装置が用いられる車両の車室内を示す図。

【図8】第３実施形態の音処理装置が用いられる車両の車室内を示す図。

【図9】第４実施形態の音処理装置が用いられる車両の構成ブロック図。

【図10】音処理装置の処理を示すフローチャート。

【図11】第５実施形態の音処理装置が用いられる車両の車室内を示す図。

【図12】音処理装置が用いられる車両の車室内を示す図。

【発明を実施するための形態】

【0010】

以下、実施形態について図面を参照しつつ説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付し、その説明を省略する。

【0011】

（第１実施形態）
本実施形態の音処理装置は、音の認識精度の低下を抑制する。この音処理装置は、例えば、車両に用いられる。まず、この車両について説明する。

【0012】

図１に示すように、車両１０には、乗員１２が搭乗されている。乗員１２の口が、ここでは、音源とされている。また、車両１０は、乗員１２の声を反射する反射体１４を備える。反射体１４は、車両１０の窓やドアの内壁等である。このため、反射体１４は、ガラスや樹脂を含む。さらに、図２に示すように、車両１０は、マイクロホンアレイ２０、センサ２５および音処理装置３０を備える。

【0013】

マイクロホンアレイ２０は、収音部に相当しており、例えば、図１に示すように、乗員１２の前方に配置されている。また、マイクロホンアレイ２０は、複数配列されたマイクロホンを有することにより、乗員１２の声等を含む車両１０の車室内の音を収音する。さらに、図２に戻って、マイクロホンアレイ２０は、収音した音のデータを、後述の音処理装置３０に出力する。

【0014】

センサ２５は、例えば、カメラ等の画像センサを有する。また、センサ２５は、画像認識、教師データおよび機械学習等を用いることにより、音源の位置および向き、ここでは、乗員１２の口の位置および向きを検出する。さらに、センサ２５は、この検出した乗員１２の口の位置および向きに応じた信号を、後述の音処理装置３０に出力する。

【0015】

ここで、図１に示すように、乗員１２の口からマイクロホンアレイ２０の中心までの最短距離をアレイ距離ｄとする。乗員１２の口からマイクロホンアレイ２０に向かう方向と直交する方向における、乗員１２の口から反射体１４までの距離を第１距離ｘ１とする。乗員１２の口からマイクロホンアレイ２０に向かう方向と直交する方向における、マイクロホンアレイ２０の中心から反射体１４までの距離を第２距離ｘ２とする。なお、ここでは、第１距離ｘ１および第２距離ｘ２は、車両１０の左右方向の距離とされている。

【0016】

図２に戻って、音処理装置３０は、マイコン等を主体として構成されており、ＣＰＵ、ＲＯＭ、フラッシュメモリ、ＲＡＭ、Ｉ／Ｏ、Ａ／Ｄコンバータおよびこれらの構成を接続するバスライン等を備えている。また、音処理装置３０は、ＲＯＭに記憶されたプログラムを実行する。これにより、音処理装置３０は、センサ２５によって検出された乗員１２の口の位置、予め設定されたマイクロホンアレイ２０の中心の位置および予め設定された反射体１４の位置に基づいて、アレイ距離ｄ、第１距離ｘ１および第２距離ｘ２を算出する。なお、ここでは、マイクロホンアレイ２０の中心および反射体１４の位置は、予め設定されているところ、予め設定されていることに限定されないで、センサ２５によって検出されてもよい。音処理装置３０は、センサ２５によって検出された、乗員１２の口、マイクロホンアレイ２０の中心および反射体１４の位置に基づいて、アレイ距離ｄ、第１距離ｘ１および第２距離ｘ２を算出してもよい。

【0017】

さらに、音処理装置３０は、これらの算出したアレイ距離ｄ、第１距離ｘ１および第２距離ｘ２に基づいて、直接音用指向性および反射音用指向性を形成する。なお、直接音は、音源から直接マイクロホンアレイ２０に向かって伝搬する音である。直接音用指向性は、直接音をマイクロホンアレイ２０に収音させる指向性である。指向性とは、ここでは、マイクロホンアレイ２０がどの方向から収音できるかという特性をいう。反射音は、音源からの音が反射体１４にて反射してマイクロホンアレイ２０に伝搬する音である。反射音用指向性は、反射音をマイクロホンアレイ２０に収音させる指向性である。また、反射音の反射回数は、ここでは、音の減衰性や音の方向の特定困難性から、３回以下とされている。このため、４回以上の反射が生じた場合の音は、ここでは、ノイズとされている。

【0018】

さらに、音処理装置３０は、上記直接音用指向性および反射音用指向性が形成された状態でマイクロホンアレイ２０にて収音された音のデータから、直接音および反射音を抽出する。また、音処理装置３０は、これらの抽出した直接音および反射音について認識を行う。なお、音処理装置３０の処理の詳細については、後述する。

【0019】

以上のように、第１実施形態の音処理装置３０を備える車両１０は、構成されている。次に、音処理装置３０のプログラムが実行されたときの処理について、図３のフローチャートを参照して説明する。なお、音処理装置３０のプログラムは、例えば、車両１０の電源がオンされたとき、実行される。さらに、音処理装置３０のステップＳ１００の処理が開始されてからステップＳ１００の処理に戻るまでの一連の動作の期間を音処理装置３０の制御周期とする。

【0020】

ステップＳ１００において、音処理装置３０は、音源の位置および向き、ここでは、乗員１２の口の位置および向きをセンサ２５から取得する。

【0021】

続いて、ステップＳ１０２において、音処理装置３０は、ステップＳ１００にて取得した乗員１２の口の位置および前回制御周期の乗員１２の口の位置を比較する。これにより、音処理装置３０は、音源の位置が変更されたか否かを判定する。

【0022】

例えば、音処理装置３０は、前回制御周期の乗員１２の口の位置座標と今回制御周期の乗員１２の口の位置座標との変化量が変化閾値以上であるとき、音源の位置変化が大きいため、音源の位置が変更されたと判定する。このとき、音処理装置３０の処理は、ステップＳ１０４に移行する。また、音処理装置３０は、今回制御周期の乗員１２の口の位置座標と前回制御周期の乗員１２の口の位置座標との変化量が変化閾値未満であるとき、音源の位置変化が小さいため、音源の位置が変更されていないと判定する。このとき、音処理装置３０の処理は、ステップＳ１０６に移行する。なお、上記変化閾値は、音源の位置が変更されたか否かが判定されるように、実験やシミュレーション等によって設定される。

【0023】

ステップＳ１０２に続くステップＳ１０４において、音源の位置が変更されたことから、後述の指向性を形成し直すため、音処理装置３０は、アレイ距離ｄ、第１距離ｘ１および第２距離ｘ２を算出する。

【0024】

具体的には、音処理装置３０は、ステップＳ１００にて取得した乗員１２の口の位置と、予め設定されたマイクロホンアレイ２０の中心の位置とから、アレイ距離ｄを算出する。さらに、音処理装置３０は、ステップＳ１００にて取得した乗員１２の口の位置と、予め設定された反射体１４の位置とから、第１距離ｘ１を算出する。また、音処理装置３０は、予め設定されたマイクロホンアレイ２０の中心の位置と、予め設定された反射体１４の位置とから、第２距離ｘ２を算出する。なお、上記したように、マイクロホンアレイ２０の中心および反射体１４の位置は、センサ２５によって検出されてもよい。音処理装置３０は、センサ２５によって検出された、乗員１２の口、マイクロホンアレイ２０の中心および反射体１４の位置に基づいて、アレイ距離ｄ、第１距離ｘ１および第２距離ｘ２を算出してもよい。

【0025】

ステップＳ１０６において、音源の位置が変更された場合、音処理装置３０は、今回制御周期のステップＳ１０４にて算出したアレイ距離ｄ、第１距離ｘ１および第２距離ｘ２に基づいて、直接音用指向性および反射音用指向性を形成する。また、音源の位置が変更されていない場合、音処理装置３０は、前回制御周期のステップＳ１０６にて形成したア直接音用指向性および反射音用指向性を用いる。

【0026】

具体的には、音処理装置３０は、アレイ距離ｄ、第１距離ｘ１および第２距離ｘ２を下記関係式（１－１）に代入する。これにより、音処理装置３０は、図４に示すように、直接音を収音させる指向性に関する角度である直接音用角度Φｄを算出する。また、音処理装置３０は、この算出した直接音用角度Φｄおよび遅延和ビームフォーマ等のビームフォーミングを用いて、直接音用指向性を形成する。さらに、ここでは、反射音は、音源の鏡像、すなわち、乗員１２の鏡像からマイクロホンアレイ２０に伝搬するものとされる。そして、音処理装置３０は、アレイ距離ｄおよび第１距離ｘ１を下記関係式（１－２）に代入する。これにより、音処理装置３０は、反射音を収音させる指向性に関する角度である反射音用角度Φｒを算出する。また、音処理装置３０は、この算出した反射音用角度Φｒおよび遅延和ビームフォーマ等のビームフォーミングを用いて、反射音用指向性を形成する。なお、図４では、直接音用角度Φｄが０ラジアンとされている。

【0027】

【数1】

【0028】

図３のフローチャートに戻り、続いて、ステップＳ１０８において、音処理装置３０は、ステップＳ１０６の直接音用指向性および反射音用指向性が形成された状態でマイクロホンアレイ２０にて収音された音のデータを取得する。

【0029】

続いて、ステップＳ１１０において、音処理装置３０は、ＶＡＤ等のＳＥＤを用いて、ステップＳ１０８にて取得した音データのうち、音が発せられている区間を検出する。なお、ＶＡＤは、Voice Activity Detectionの略である。ＳＥＤは、Sound Event Detectionの略である。

【0030】

ここで、直接音がマイクロホンアレイ２０に到達する時間と、反射音がマイクロホンアレイ２０に到達する時間とは、異なる。また、この時間差は、音源の向き、ここでは、乗員１２の口の向きによって異なる。

【0031】

したがって、ステップＳ１１０に続くステップＳ１１２において、音処理装置３０は、例えば、ステップＳ１００にて取得した音源の向きおよびステップＳ１１０にて検出した音区間の時間から、図５に示すように、直接音および反射音を抽出する。

【0032】

図３のフローチャートに戻り、続いて、ステップＳ１１４において、音処理装置３０は、下記関係式（１－３）を用いて、ステップＳ１１２にて抽出した直接音の等価音圧レベルを算出する。また、音処理装置３０は、下記関係式（１－４）を用いて、ステップＳ１１２にて抽出した反射音の等価音圧レベルを算出する。さらに、音処理装置３０は、ステップＳ１１２にて抽出した直接音および反射音の音圧の平均、例えば、加算平均を算出する。また、音処理装置３０は、下記関係式（１－５）を用いて、この直接音の音圧と反射音の音圧とを平均した音の等価音圧レベルを算出する。なお、下記関係式において、ｓは、サンプル数または時刻である。ｐｏは、基準音圧であって、例えば、空気中である場合の２０μＰａである。Ｌｐ＿ｄは、直接音の等価音圧レベルである。ｓｄ１は、直接音が開始されるときのサンプル数または時刻である。ｓｄ２は、直接音が終了するときのサンプル数または時刻である。ｐｄ（ｓ）は、ｓに対する直接音の音圧である。Ｌｐ＿ｒは、反射音の等価音圧レベルである。ｓｒ１は、反射音が開始されるときのサンプル数または時刻である。ｓｒ２は、反射音が終了するときのサンプル数または時刻である。ｐｒ（ｓ）は、ｓに対する反射音の音圧である。Ｌｐ＿ａｖｅは、直接音の音圧と反射音の音圧とを平均した音の等価音圧レベルである。ｓ１は、直接音の音圧と反射音の音圧とを平均した音が開始されるときのサンプル数または時刻である。ｓ２は、直接音の音圧と反射音の音圧とを平均した音が終了するときのサンプル数または時刻である。ｐａｖｅ（ｓ）は、ｓに対する直接音の音圧と反射音の音圧とを平均した音の音圧である。

【0033】

【数2】

【0034】

また、音処理装置３０は、上記にて算出した直接音、反射音および直接音の音圧と反射音の音圧とを平均した音の等価音圧レベルを比較する。これにより、音処理装置３０は、後述の音認識を行う音を選択する。具体的には、音処理装置３０は、直接音、反射音および直接音の音圧と反射音の音圧とを平均した音のうち、等価音圧レベルが最も大きい音を選択する。例えば、直接音の等価音圧レベルが反射音の等価音圧レベルおよび直接音の音圧と反射音の音圧とを平均した音の等価音圧レベル以上であるとき、音処理装置３０は、直接音を選択する。また、反射音の等価音圧レベルが直接音の等価音圧レベルおよび直接音の音圧と反射音の音圧とを平均した音の等価音圧レベル以上であるとき、音処理装置３０は、反射音を選択する。さらに、直接音の音圧と反射音の音圧とを平均した音の等価音圧レベルが直接音の等価音圧レベルおよび反射音の等価音圧レベル以上であるとき、音処理装置３０は、直接音の音圧と反射音の音圧とを平均した音を選択する。

【0035】

続いて、ステップＳ１１６において、音処理装置３０は、ステップＳ１１４にて選択した音に対して、ＮＭＦ等を用いて、ＢＳＳ等の音源分離を行う。これにより、音処理装置３０は、ステップＳ１１４にて選択した音に含まれるノイズを除去する。なお、ＮＭＦは、Nonnegative Matrix Factorizationの略である。ＢＳＳは、Blind Source Separationの略である。

【0036】

続いて、ステップＳ１１８において、音処理装置３０は、ステップＳ１１６にて音源分離を行った音に対して、音の認識を行う。例えば、音処理装置３０は、音声認識エンジン等を用いることにより、ステップＳ１１６にて音源分離を行った音を文字データに変換する。また、音処理装置３０は、変換した文字データを図示しないディスプレイに出力する。これにより、車室内の乗員１２の音声等の音に対応する文字が図示しないディスプレイに表示される。その後、音処理装置３０の処理は、ステップＳ１００に戻る。

【0037】

以上のように、音処理装置３０は、処理を行う。次に、音処理装置３０による音の認識精度の低下抑制について説明する。

【0038】

ここで、図４に示すように、乗員１２の口およびマイクロホンアレイ２０の中心を結んだ直線と、乗員１２が音を発する方向に延びる直線とでなす角度を音源角度θとする。音を発する方向とは、例えば、音の主たるエネルギーを放射する方向、または、音圧が最も大きい成分の方向である。また、例えば、アレイ距離ｄが第１距離ｘ１の２倍、かつ、直接音用角度Φｄが０ラジアンであるとする。このとき、図６に示すように、音源角度θの変化に伴って、直接音および反射音の等価音圧レベルが変化する。さらに、直接音が反射音よりもマイクロホンアレイ２０に到達しにくくなる音源角度θの範囲があることから、反射音の等価音圧レベルが直接音の等価音圧レベルよりも大きくなる音源角度θの範囲がある。これにより、特許文献１に記載された音声処理装置のように反射音が音声認識部の認識対象から除外されると、音圧が比較的小さい直接音を認識することとなるため、音声認識精度が低下する。

【0039】

これに対して、本実施形態の音処理装置３０は、ステップＳ１０６にて、アレイ距離ｄ、第１距離ｘ１および第２距離ｘ２に基づいて、直接音用指向性を形成する。また、音処理装置３０は、アレイ距離ｄおよび第１距離ｘ１に基づいて、反射音用指向性を形成する指向性形成部としての役割を果たす。さらに、音処理装置３０は、ステップＳ１１２にて、直接音用指向性および反射音用指向性が形成された状態でマイクロホンアレイ２０にて収音された音のデータから、直接音および反射音を抽出する抽出部としての役割を果たす。また、音処理装置３０は、ステップＳ１１８にて、直接音および反射音について認識を行う認識部としての役割を果たす。

【0040】

これにより、直接音用指向性および反射音用指向性が形成されることから、直接音および反射音のＳＮＲが向上する。また、直接音の音圧が比較的小さいときであっても、反射音は、除外されないで、反射音についてシグナルとして認識が行われる。このため、比較的小さい音を認識することが抑制される。したがって、音の認識精度の低下が抑制される。

【0041】

また、ここで、特開２０１９－１７６４３０号公報に記載されているように、車両に搭載される音声認識装置が知られている。この音声認識装置は、複数のマイクに入力される音圧および着座センサからの信号に基づいて、音声入力に使用するマイクを選択し、選択したマイクに対応するランプを点灯させる。さらに、この音声認識装置は、ランプの点灯により、発話者の向きをマイクに向けさせる。

【0042】

しかし、ランプの点灯は、車外の風景を楽しみたい人や座席でくつろいでいる人に対して阻害となったり、不快となったりする。また、ランプが点灯したとしても、発話者がマイクに向かって発話するとは限らない。

【0043】

これに対して、本実施形態の音処理装置３０では、直接音用指向性および反射音用指向性が形成されることから、音源の向きにかかわらず、ＳＮＲが向上する。このため、特開２０１９－１７６４３０号公報に記載された音声認識装置のように、音源の向きをマイクに向けさせる必要がなくなる。

【0044】

また、第１実施形態では、以下に記載する効果も奏する。

【0045】

［１－１］音処理装置３０は、ステップＳ１１４にて、直接音、反射音および直接音の音圧と反射音の音圧とを平均した音のうち、等価音圧レベルが最も大きい音を選択する選択部としての役割を果たす。

【0046】

これにより、音圧が比較的小さい音の認識が行われることが抑制される。したがって、音の認識精度の低下が抑制される。また、直接音の音圧と反射音の音圧とを平均した音が用いられるため、ノイズがホワイトノイズである場合には、ノイズ成分が平滑化されることにより低減される。このため、認識が行われる音が強調されやすくなる。

【0047】

［１－２］音源に相当する乗員１２およびマイクロホンアレイ２０は、車室内のような室内に配置されている。

【0048】

これにより、音源およびマイクロホンアレイ２０が室外に配置される場合と比較して、音が反射体１４にて反射されやすい。このため、マイクロホンアレイ２０は、反射音を収音しやすくなる。したがって、反射音についての認識精度低下が抑制される。

【0049】

［１－３］音を反射する反射体１４は、ガラスや樹脂を含む。これにより、反射体１４が音を吸収しやすいゴム等で形成される場合と比較して、反射体１４が音を反射しやすくなる。このため、マイクロホンアレイ２０は、反射音を収音しやすくなる。したがって、反射音についての認識精度低下が抑制される。

【0050】

（変形例１）
上記第１実施形態では、音処理装置３０は、直接音、反射音および直接音の音圧と反射音の音圧とを平均した音のうち、等価音圧レベルが最も大きい音を選択する。これに対して、音処理装置３０は、直接音の音圧と反射音の音圧とを平均した音を用いないで、直接音および反射音から選択してもよい。

【0051】

具体的には、音処理装置３０は、ステップＳ１１４にて、直接音の等価音圧レベルが反射音の等価音圧レベル以上であるとき、直接音を選択する。また、音処理装置３０は、直接音の等価音圧レベルが反射音の等価音圧レベル未満であるとき、反射音を選択する。このような形態であっても、第１実施形態と同様の効果を奏する。

【0052】

また、音処理装置３０は、ステップＳ１１４の選択を行わないで、直接音、反射音および直接音の音圧と反射音の音圧とを平均した音のそれぞれに対して、音源分離および認識を行ってもよい。すなわち、ステップＳ１１４の処理がなくてもよい。このような形態であっても、第１実施形態と同様の効果を奏する。

【0053】

（変形例２）
ここで、図６に示すように、反射音の等価音圧レベルが直接音の等価音圧レベルよりも大きくなる音源角度θの範囲がある。このため、音処理装置３０は、ステップＳ１１４にて、音源角度θが第１閾値以上、第２閾値以下であるとき、反射音について認識を行う。このような形態であっても、第１実施形態と同様の効果を奏する。なお、第１閾値および第２閾値は、反射音の等価音圧レベルが直接音の等価音圧レベルよりも大きくなる音源角度θの範囲が設定されるように、実験やシミュレーション等によって設定される。例えば、アレイ距離ｄが第１距離ｘ１の２倍、かつ、直接音用角度Φｄが０ラジアンである場合、第１閾値は、１／４×πラジアン付近の値である。また、第２閾値は、πラジアン付近の値である。

【0054】

（第２実施形態）
第２実施形態では、音を反射する反射体１４の形態が第１実施形態と異なる。また、音源の姿勢が第１実施形態と異なる。これら以外は、第１実施形態と同様である。

【0055】

反射体１４は、車両１０の窓やドアの内壁等に代えて、図７に示すように、車両１０の天井やサンルーフ等である。このため、ここでは、第１距離ｘ１および第２距離ｘ２は、車両１０の上下方向の距離とされている。また、車両１０の座席の背もたれ部が倒されていることにより、音源に相当する乗員１２は、横たわっている。なお、図７では、直接音用角度Φｄが０ラジアンとされている。

【0056】

以上のように、第２実施形態の音処理装置３０は、構成されている。この第２実施形態においても、第１実施形態と同様の効果を奏する。

【0057】

（第３実施形態）
第３実施形態では、音を反射する反射体１４の形態が第１実施形態と異なる。また、音処理装置３０の処理が第１実施形態と異なる。これら以外は、第１実施形態と同様である。

【0058】

反射体１４は、図８に示すように、第１反射体１４１および第２反射体１４２を含む。第１反射体１４１は、乗員１２に比較的近い場所に位置している。第１距離ｘ１は、乗員１２の口からマイクロホンアレイ２０に向かう方向と直交する方向における、乗員１２の口から第１反射体１４１までの距離に対応する。第２距離ｘ２は、乗員１２の口からマイクロホンアレイ２０に向かう方向と直交する方向における、マイクロホンアレイ２０の中心から第１反射体１４１までの距離に対応する。なお、図８では、直接音用角度Φｄが０ラジアンとされている。

【0059】

第２反射体１４２は、乗員１２から第１反射体１４１よりも離れている場所、例えば、第１反射体１４１とは反対側に位置している。また、ここで、乗員１２の口からマイクロホンアレイ２０に向かう方向と直交する方向における、乗員１２の口から第２反射体１４２までの距離を第３距離ｘ３とする。

【0060】

以上のように、第３実施形態の音処理装置３０は、構成されている。次に、第３実施形態における音処理装置３０の処理について説明する。

【0061】

音処理装置３０のステップＳ１００からステップＳ１０４までの処理は、上記第１実施形態と同様に行われる。

【0062】

ステップＳ１０６において、音処理装置３０は、直接音用指向性および第１反射音用指向性を上記第１実施形態と同様に形成する。さらに、音処理装置３０は、第２反射音用指向性を形成する。なお、第１反射音用指向性は、上記反射音用指向性に対応する。第１反射音は、音源からの音が第１反射体１４１に反射してマイクロホンアレイ２０に伝搬する音である。第２反射音用指向性は、第２反射音をマイクロホンアレイ２０に収音させる指向性である。第２反射音は、音源からの音が第２反射体１４２に反射してマイクロホンアレイ２０に伝搬する音である。

【0063】

具体的には、音処理装置３０は、アレイ距離ｄおよび第３距離ｘ３を下記関係式（２）に代入する。これにより、音処理装置３０は、図８に示すように、第２反射音を収音させる指向性に関する角度である第２反射音用角度Φｓを算出する。また、音処理装置３０は、この算出した第２反射音用角度Φｓおよび遅延和ビームフォーマ等のビームフォーミングを用いて、第２反射音用指向性を形成する。

【0064】

【数3】

【0065】

ステップＳ１０６に続くステップＳ１０８からステップＳ１１０までの処理は、上記第１実施形態と同様に行われる。

【0066】

ステップＳ１１０に続くステップＳ１１２において、音処理装置３０は、ステップＳ１１０にて検出した音区間から、直接音、第１反射音および第２反射音を抽出する。

【0067】

続いて、ステップＳ１１４において、音処理装置３０は、上記第１実施形態と同様に、直接音および第１反射音の等価音圧レベルを算出する。さらに、音処理装置３０は、第２反射音の等価音圧レベルを算出する。また、音処理装置３０は、直接音の音圧と第１反射音の音圧と第２反射音の音圧とを平均した音の等価音圧レベルを算出する。

【0068】

さらに、音処理装置３０は、直接音、第１反射音、第２反射音、および、直接音の音圧と第１反射音の音圧と第２反射音の音圧とを平均した音のうち、等価音圧レベルが最も大きい音を選択する。

【0069】

ステップＳ１１４に続くステップＳ１１６からステップＳ１１８までの処理は、上記第１実施形態と同様に行われる。

【0070】

以上のように、第３実施形態の音処理装置３０は、処理を行う。このような第３実施形態においても、第１実施形態と同様の効果を奏する。

【0071】

（第４実施形態）
第４実施形態では、車両１０は、図９に示すように、アレイ移動装置３５をさらに備える。また、音処理装置３０の処理が第１実施形態と異なる。これら以外は、第１実施形態と同様である。

【0072】

アレイ移動装置３５は、直動ガイドやモータ等を有することにより、後述の音処理装置３０からの信号に基づいて、マイクロホンアレイ２０の位置および向きを変更する。

【0073】

次に、第４実施形態の音処理装置３０の処理について、図１０のフローチャートを参照して説明する。

【0074】

ステップＳ１００において、音処理装置３０は、乗員１２および反射体１４の位置をセンサ２５から取得する。なお、ここでは、反射体１４の位置は、センサ２５によって検出されたものであるところ、これに限定されないで、予め設定されてもよい。

【0075】

ステップＳ１００に続くステップＳ１２０において、音処理装置３０は、乗員１２および反射体１４の位置に基づいて、アレイ移動装置３５を制御する。これにより、音処理装置３０は、乗員１２および反射体１４の位置に基づいて、マイクロホンアレイ２０の位置を変更させる。例えば、音処理装置３０は、マイクロホンアレイ２０が反射音を収音しやすい位置に、マイクロホンアレイ２０の位置を変更させる。

【0076】

ステップＳ１２０に続くステップＳ１０４において、音処理装置３０は、ステップＳ１００にて取得した音源および反射体１４の位置と、ステップＳ１２０にて移動させたマイクロホンアレイ２０の位置とから、各距離を算出する。なお、各距離は、アレイ距離ｄ、第１距離ｘ１および第２距離ｘ２である。

【0077】

ステップＳ１０４に続くステップＳ１０６からステップＳ１１８までの処理は、上記第１実施形態と同様に行われる。

【0078】

以上のように、第４実施形態の音処理装置３０は、処理を行う。このような第４実施形態においても、第１実施形態と同様の効果を奏する。また、第４実施形態では、以下に記載する効果も奏する。

【0079】

［２］音処理装置３０は、音源および反射体１４の位置に基づいて、マイクロホンアレイ２０の位置を変更させる制御部としての役割を果たす。

【0080】

これにより、音源および反射体１４の位置が変化しても、マイクロホンアレイ２０が反射音を収音しやすい位置に、マイクロホンアレイ２０の位置を変更させることができる。このため、マイクロホンアレイ２０は、反射音を収音しやすくなる。したがって、反射音についての認識精度低下が抑制される。

【0081】

（第５実施形態）
第５実施形態では、反射体１４の形態が第１実施形態と異なる。これ以外は、第１実施形態と同様である。

【0082】

反射体１４は、図１１および図１２に示すように、乗員１２およびマイクロホンアレイ２０とは反対側、ここでは、車両１０の車室外側に向かって凸に湾曲しており、音源からの音を反射する曲面１４５を有する。なお、この場合、音処理装置３０は、アレイ距離ｄ、第１距離ｘ１および第２距離ｘ２に加えて、曲面１４５の曲率を用いて、直接音用角度Φｄを算出する。このため、図１１および図１２では、直接音用角度Φｄが０ラジアンとされている。

【0083】

以上のように、第５実施形態の音処理装置３０は、構成されている。この第５実施形態においても、第１実施形態と同様の効果を奏する。また、第５実施形態では、以下に記載する効果も奏する。

【0084】

［３］反射体１４の曲面１４５により、音源からの音は、反射体１４が平面状である場合と比較して、反射体１４にて反射されやすい。このため、マイクロホンアレイ２０は、反射音を収音しやすくなる。したがって、反射音についての認識精度低下が抑制される。

【0085】

（他の実施形態）
本開示は、上記実施形態に限定されるものではなく、上記実施形態に対して、適宜変更が可能である。また、上記各実施形態において、実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

【0086】

本開示に記載の指向性形成部、抽出部、認識部、選択部、制御部等およびその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の指向性形成部、抽出部、認識部、選択部、制御部等およびその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の指向性形成部、抽出部、認識部、選択部、制御部等およびその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

【0087】

上記各実施形態では、音処理装置３０は、車両１０における音に用いられる。これに対して、音処理装置３０は、車両１０における音に用いられることに限定されない。例えば、音処理装置３０は、住宅等の建物における音に用いられてもよく、音源およびマイクロホンアレイ２０が建物の室内に配置されてもよい。

【0088】

上記各実施形態では、音を選択する際に用いられる音圧に関する値として、等価音圧レベルが挙げられている。これに対して、音圧に関する値は、等価音圧レベルであることに限定されないで、単に音圧等が用いられてもよい。

【0089】

上記各実施形態では、センサ２５は、カメラ等の画像センサにより、音源の位置としての乗員１２の口の位置を検出する。これに対して、音源の位置の検出手段は、カメラ等の画像センサであることに限定されない。例えば、センサ２５は、着座センサ、シート位置検出センサおよびリクライニング角度センサを有する。着座センサは、乗員１２がどの座席に着座しているかを検出する。シート位置検出センサは、乗員１２の座席の位置座標を検出する。リクライニング角度センサは、乗員１２の座席の背もたれ部の角度を検出する。そして、センサ２５は、これらによって検出された乗員１２の座席の位置座標および座席の背もたれ部の角度から、乗員１２の頭の位置を検出する。また、センサ２５は、この検出した乗員１２の頭の位置を、音源の位置として音処理装置３０に出力してもよい。さらに、この場合、音源の位置に誤差があるため、音処理装置３０は、例えば、直接音用角度Φｄをゼロとして直接音用指向性を形成してもよい。

【0090】

上記各実施形態および各変形例は、適宜組み合わされてもよい。

【符号の説明】

【0091】

１０ 車両
１２ 音源
１４ 反射体
２０ マイクロホンアレイ
３０ 音処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】