【文献】
KATO Masanori、SENDA Yuzo、KONDO Reishi,“TDOA Estimation Based on Phase-Voting Cross Correlation and Circular Standard Deviation”,2017 25th European Signal Processing Conference,EURASIP207,2017年08月,pp.1230-1234
(58)【調査した分野】(Int.Cl.,DB名)
空中伝達パスは多重反射が有り、壁越し伝達パスは直接音のみが伝達することを利用して、前記伝搬パスが空気中か固体中かを求める、請求項1記載の伝搬パス推定装置。
さらに、前記複数のセンサとして、マイクロフォン、超音波マイクロフォン及び超低周波センサのうちのいずれか同種のもの2以上備える請求項1から5いずれか一に記載の伝搬パス推定装置。
空中伝達パスは多重反射が有り、壁越し伝達パスは直接音のみが伝達することを利用して、前記伝搬パスが空気中か固体中かを求める、請求項7記載の伝搬パス推定方法。
【発明を実施するための形態】
【0013】
[第1の実施の形態]
続いて、本発明の第1の実施形態について図面を参照して詳細に説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。また、図中の各ブロックの入出力の接続点には、ポート乃至インタフェースがあるが図示省略する。
【0014】
図1は、本発明の第1の実施形態の構成を示すブロック図である。
図1を参照すると、本発明の第1の実施形態の伝搬パス推定装置100は、複数のセンサ101と102(以降、センサ1、センサ2とも記す)と、特徴量算出部201と、伝搬パス判断部202とを含む。
【0015】
これらの手段はそれぞれ概略すると次のように動作する。複数のセンサ101と102は、一定の間隔をあけて固定され、それぞれ受信した信号の情報を得る。固定の方法の一例は、
図2に示すように壁に沿ってセンサ101、102を配置するものである。本実施形態では、センサ101、102の出力はディジタル量の時系列信号として扱うことができるものとする。
【0016】
特徴量算出部201は、センサ101、102で受信した信号から、一定時間周期ごとに、信号の到来、伝達に要した空間パスを表現する特徴量を算出する。
【0017】
伝搬パス判断部202は、前記特徴量を用いて、センサ101、102に入力されている信号が、空気中を伝搬してきたものか、あるいは固体中を伝搬してきたものかを判定し、判断結果401を出力する。
【0018】
次に、
図1〜8を参照して、本実施形態の全体の動作について詳細に説明する。はじめに、本実施形態の伝搬パス推定装置が識別する対象とする2つの事象、空気中を伝搬する音と固体中を伝搬する音について、
図2から
図7を用いて説明する。空気中を伝搬してくる音とは、
図2に示すように、音源300とセンサ101およびセンサ102の間に空気が介在しているものである。この場合、
図4に示すように、音源300からセンサ1 101に到達する音響パスとしては直接音である音響パス1−1の他に、反射音である音響パス1−2、音響パス1−3、音響パス1−4など複数の音響パスが存在する。この場合、受信点となるセンサ1ではこれらの音響パスを通った音が混じった形で観測されることが通例である。同様に、
図5に示すように、音源300からセンサ2 102に到達する音響パスも、同様に観測される。
【0019】
これに対して、固体を伝搬してくる音とは、
図3に示すように固体、この場合は壁を例としているが、この固体に接して音源300が存在する。この場合、
図6に示すように、音源300からセンサ1 101に到達する音響パスとしては直接音である音響パスだけが存在し、反射音は存在しない。同様に、
図7に示すように、音源300からセンサ2 102に到達する音響パスも、同様に観測される。
【0020】
ここではセンサ1 101とセンサ2 102には、マイクロフォンを用いる。特徴量算出部201は、センサ101とセンサ102から入力される信号のクロススペクトルを逐次計算する。すなわち、センサ101の信号系列x1(t)とセンサ102の信号系列x2(t)について、それぞれのフーリエ変換をX1(f),X2(f)と置き、X2(f)の複素共役をX2*(f)とすれば、ある時刻におけるクロススペクトルW(f)は、W(f)=X1(f) X2*(f)として計算することができる。
【0021】
このクロススペクトルそのもの、あるいはクロススペクトルの形状を適切な形状のフィルタで切り出したものが、音源300からセンサ1 101へのパスとセンサ2 102へのパスの伝搬関数の類似度の逆、すなわち差異を表す。
【0022】
ここでクロススペクトルを計算する際にノルム正規化を行うことにより、音の大きさへの依存性を除去することも可能である。
【0023】
この差異を逆フーリエ変換することで、複数のセンサ101、102の間の相互相関関数を得る。ここでは、この相互相関関数を特徴量として出力する。
【0024】
次に、伝搬パス判断部202の動作について説明する。もしも特徴量算出部201が生成した相互相関関数が単一のピークを持つ場合は、複数のセンサ101、102の間に時間遅れの関係しか存在しないことは明らかである。この場合、反射波による影響は存在しないので、伝搬パス判断部202は固体中を伝搬してきた音であると判断し、判断結果401として出力する。
【0025】
一方、特徴量算出部201が生成した相互相関関数が複数のピークを持つ場合は、複数のセンサ101、102の間に時間遅れ以外の関係が存在することから、反射波による影響が存在するので、伝搬パス判断部202は空気中を伝搬してきた音であると判断し、判断結果401として出力する。
【0026】
ここではセンサ数を2であるとして説明したが、センサ数を3以上とし、それぞれの間で判断を行い、多数決または論理和あるいは論理積を取って判断を行っても良く、それによって推定精度を高めることが可能である。
【0027】
また、受信した信号がある一定以上のパワーを持っている時だけ、伝搬パス判断部202が動作しても良い。それによってパワーの小さい信号ひいてはS/N比の小さい条件下で発生する誤りを低減することも可能となる。
【0028】
なお、
図2では複数のセンサを固体である壁301の表面に露出して固定して設置したが、
図8に示すように壁301の裏側、あるいは壁301に埋め込んで設置しても同様である。この場合、センサを適切に動作させるためにそれぞれ空気穴501、502を空けると良い。
【0029】
また、本実施形態では、複数のセンサ101、102にマイクロフォンを用いたが、本発明の適用範囲は、可聴域の音響信号に限定する必要はなく、超音波マイクロフォンや超低周波センサなどを用いても良い。
【0030】
また、
図3では音源300は壁301に接しているとしたが、音源300から空気中を伝搬してきた音が壁301を震わせ、その結果壁301を伝搬することも考えられる。例えば、集合住宅で隣家や階の異なる家の中で発する音(生活騒音)が聞こえる場合には次のようなケースがある。例えば、窓が全て開いている場合、当該生活騒音は、空気中を伝搬して届くが、窓を閉めていても集合住宅の躯体などの固体を伝搬して届く。上記空気と壁を経由する伝搬は、集合住宅の生活騒音の事例に相当し、それぞれで、周波数特性が異なることも容易に分かる。
【0031】
ここでは典型的に伝搬経路を空気中と固体中としたが、空気中は反射の存在する典型的な経路であり、固体中は反射の無い典型的な経路である範囲で、他の媒質としてもかまわない。例えば、空気中は、窒素などの気体、水などの液体で代えることができる。また固体中は、十分に粘性の高いゲル状の物体などで代えることができる。
【0032】
次に、本実施形態の効果について説明する。本実施形態によれば、複数のセンサを用いて信号の伝達するパスを推定するため、受信点だけの情報があれば伝搬パスの推定が可能であり、送信側あるいは伝達経路に関する情報は必要ではない。換言すると、本実施形態は、特別な空間内キャリブレーションを必要とせず通常の運用で範囲が計算できるため、設置コストを低減することができるという利点もある。
【0033】
[第2の実施形態]
続いて、より判定精度を向上できる第2の実施形態について図面を参照して詳細に説明する。
図9は、本発明の第2の実施形態の構成を示すブロック図である。
図9を参照すると、本発明の第2の実施形態の伝搬パス推定装置100Aは、第1の実施形態の構成に加えて、蓄積部203、範囲決定部204及び判断モデル205を有する。その他の構成は第1の実施形態と同様であるので、以下、その相違点を中心に説明する。
【0034】
蓄積部203は、特徴量算出部201が過去において算出した特徴量を一定期間蓄積する。蓄積部203における特徴量の蓄積期間は、例えば複数のセンサ101、102を設置して以来といった長期間のものでも良いが、典型的には例えば過去1日間の特徴量を蓄積するものでもよい。以下、本実施形態では、蓄積部203は、1フレームの長さを1秒間とし、重なりの無い1日分の86400フレームを蓄積するものとして説明する。
【0035】
範囲決定部204は、蓄積部203が蓄積した全フレームの特徴量を、特徴量空間にマップする。
図10は、範囲決定部204による特徴量のマッピングの例を示す。
図10の例では、44フレームのみを記載しているが、蓄積されたフレーム数が変わっても同様である。
【0036】
ここで、
図10は、該当特徴量に幾つのフレームが該当するかを数値で表現した、2つの相互相関関数を変数とした2次元ヒストグラム(ヒートマップとも言う。)である。
図10の例では、37フレームがほぼ同一の特徴量を持ち、残るフレームはそれぞれ異なる特徴量を持つ。ここで、多数のフレームが同一の特徴量を持つということは、特徴量の分散が小さく遅延項のみで構成されていることであるから、
図10で点線の円で示した範囲を、固体中を伝搬経路とする特徴量の範囲であると決定することができる。一方、その他の領域は特徴量の分散が大きいということであるから、それ以外の範囲を空気中を伝搬経路とする特徴量の範囲であると決定することができる。ここで多数のフレームである条件としては、予め定められた閾値Dを超えた点全てを取るという条件を採用することができる。もちろん、閾値Dを超えたという条件の代わりに最大値を取る特徴量としても良い。また範囲の円の半径εは、雑音により影響を受ける範囲を想定して小さな値を予め決めることができる。
【0037】
判断モデル205は、このようにして得られた範囲の情報を判断モデルとして保存したものである。従って、上記した範囲決定部204は、判断モデル作成部と言い換えることもできる。
【0038】
なお、上記した蓄積部203は、伝搬パス推定装置を構成するコンピュータの記憶装置を用いて構成することができる。同様に、判断モデル205も、伝搬パス推定装置を構成するコンピュータの記憶装置に保存させることができる。
【0039】
伝搬パス判断部202は、特徴量算出部201が出力した特徴量の値を、前記判断モデル205に保存された範囲の情報と比較して、該当特徴量が空気中の伝搬経路であるか固体中の伝搬経路であるかを決定し、該当判断結果を判断出力401として出力する。
【0040】
次に、本実施形態の効果について説明する。本実施形態では、過去の情報を用いて判断を行うことができるため、設置した環境に応じて最適な判定を行い、その精度を向上させることが可能である。なお、上記した実施形態では、過去1日間の特徴量を蓄積し、判断モデル205を作成するものとして説明したが、蓄積した特徴量をさまざまな観点で層別し、複数の判断モデルを作成してもよい。例えば、伝搬パス推定装置が設置される環境が時刻や季節によって環境が変わるというような場合には、当該時刻を含む時間帯、該当する季節に得られた特徴量を用いて判断モデルを作成し、その判断モデルを用いて判定を行うこともできる。
【0041】
また、本発明の伝搬パス推定装置を組み込むことで、伝搬経路に応じた適切な処理を行い、聞き取りやすい録音を行う録音機を構成することが可能となる。また、本発明の伝搬パス推定装置を組み込むことで高い検知性能を持つ音響イベント検知器を構成することも可能となる。
【0042】
以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示した装置構成、各要素の構成、データの表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。また、以下の説明において、「A及び/又はB」は、A及びBの少なくともいずれかという意味で用いる。
【0043】
また、上記した第1〜第2の実施形態に示した手順は、伝搬パス推定装置として機能するコンピュータ(
図11の9000)に、伝搬パス推定装置としての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、
図11のCPU(Central Processing Unit)9010、通信インタフェース9020、メモリ9030、補助記憶装置9040を備える構成に例示される。すなわち、
図11のCPU9010にて、特徴量算出プログラムや伝搬パス判断プログラムを実行し、その補助記憶装置9040等に保持された各計算パラメーターの更新処理を実施させればよい。
【0044】
即ち、上記した第1、第2の実施形態に示した伝搬パス推定装置の各部(処理手段、機能)は、伝搬パス推定装置に搭載されたプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。
【0045】
最後に、本発明の好ましい形態を要約する。
[第1の形態]
(上記第1の視点による伝搬パス推定装置参照)
[第2の形態]
上記した伝搬パス推定装置は、
空中伝達パスは多重反射が有り、壁越し伝達パスは直接音のみが伝達することを利用して、前記伝搬パスが空気中か固体中かを求める構成を採ることができる。
[第3の形態]
上記した伝搬パス推定装置は、
前記伝搬パスの差異が遅延に相当する項だけからなることを利用して固体中の伝搬経路であると判断する構成を採ることができる。
[第4の形態]
上記した伝搬パス推定装置は、
前記伝搬パスの差異を蓄積し、前記伝搬パスが空気中か固体中かを識別する範囲を決定し、その範囲に基づいて前記伝搬パスが空気中か固体中かを判断する構成を採ることができる。
[第5の形態]
上記した伝搬パス推定装置は、さらに、
前記特徴量算出部により計算された特徴量を蓄積する蓄積部と、
前記蓄積した特徴量のうち、固体を伝搬パスとする範囲を定める判断モデルを作成する範囲決定部と、を備え、
前記伝搬パス判断部は、前記特徴量算出部により計算された特徴量と、前記判断モデルとを用いて伝搬パスを判断する構成を採ることができる。
[第6の形態]
上記した伝搬パス推定装置は、さらに、
前記複数のセンサとして、マイクロフォン、超音波マイクロフォン及び超低周波センサのうちのいずれか同種のもの2以上が接続される構成を採ることができる。
[第7の形態]
(上記第2の視点による伝搬パス推定方法参照)
[第8の形態]
(上記第3の視点によるプログラム参照)
なお、上記第7〜第8の形態は、第1の形態と同様に、第2〜第6の形態に展開することが可能である。
【0046】
なお、上記の特許文献および非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし選択(又は削除)が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。