特許第6491863号(P6491863)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社熊谷組の特許一覧

特許6491863音源方向推定装置、及び、音源推定用画像作成装置
<>
  • 特許6491863-音源方向推定装置、及び、音源推定用画像作成装置 図000004
  • 特許6491863-音源方向推定装置、及び、音源推定用画像作成装置 図000005
  • 特許6491863-音源方向推定装置、及び、音源推定用画像作成装置 図000006
  • 特許6491863-音源方向推定装置、及び、音源推定用画像作成装置 図000007
  • 特許6491863-音源方向推定装置、及び、音源推定用画像作成装置 図000008
  • 特許6491863-音源方向推定装置、及び、音源推定用画像作成装置 図000009
  • 特許6491863-音源方向推定装置、及び、音源推定用画像作成装置 図000010
  • 特許6491863-音源方向推定装置、及び、音源推定用画像作成装置 図000011
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6491863
(24)【登録日】2019年3月8日
(45)【発行日】2019年3月27日
(54)【発明の名称】音源方向推定装置、及び、音源推定用画像作成装置
(51)【国際特許分類】
   G01S 3/808 20060101AFI20190318BHJP
   H04R 1/40 20060101ALI20190318BHJP
【FI】
   G01S3/808
   H04R1/40 320B
【請求項の数】4
【全頁数】10
(21)【出願番号】特願2014-241848(P2014-241848)
(22)【出願日】2014年11月28日
(65)【公開番号】特開2016-102741(P2016-102741A)
(43)【公開日】2016年6月2日
【審査請求日】2017年10月4日
(73)【特許権者】
【識別番号】000001317
【氏名又は名称】株式会社熊谷組
(74)【代理人】
【識別番号】100080296
【弁理士】
【氏名又は名称】宮園 純一
(74)【代理人】
【識別番号】100141243
【弁理士】
【氏名又は名称】宮園 靖夫
(72)【発明者】
【氏名】大脇 雅直
(72)【発明者】
【氏名】財満 健史
【審査官】 ▲高▼場 正光
(56)【参考文献】
【文献】 特表2014−514794(JP,A)
【文献】 米国特許第08213634(US,B1)
【文献】 特開2011−033369(JP,A)
【文献】 特開2011−238985(JP,A)
【文献】 特開平07−140527(JP,A)
【文献】 国際公開第2014/025436(WO,A2)
【文献】 米国特許出願公開第2012/0170413(US,A1)
【文献】 米国特許出願公開第2012/0218866(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 3/80 − G01S 3/86
G01S 5/18 − G01S 5/30
H04R 1/32 − H04R 1/40
(57)【特許請求の範囲】
【請求項1】
音源から伝播される音の音圧信号を採取する音採取手段と、前記音採取手段で採取された音圧信号から音源の方向を推定する音源方向推定手段とを備えた音源方向推定装置であって、
前記音採取手段は、
側板と防音板としての底板とを有し、前記底板とは反対側に開口部を有する収納体と、前記収納体の前記底板に取付けられる平面板と、前記平面板に設置されて前記開口部側である前方から伝播される音の音圧信号のみを採取する、互いに一直線上にない、2組のマイクロフォン対を構成する少なくとも3個のマイクロフォンと、前記平面板の前記マイクロフォンの前方に配置される防風スクリーンと、前記防風スクリーンと前記平面板との間、及び、前記防風スクリーンと前記側板と前記平面板と前記底板との間に挿入されて、前記平面板及び前記収納体の振動を低減する吸音材と、を備え、
前記音源方向推定手段は、前記各マイクロフォンに入力する音圧信号の到達時間差と、前記マイクロフォンの位置座標と音速とから前記音源の方向を推定することを特徴とする音源方向推定装置。
【請求項2】
前記音採取手段は、前記防風スクリーンの周囲に配置される吸音部材を更に備えることを特徴とする請求項1に記載の音源方向推定装置。
【請求項3】
前記2組のマイクロフォン対を構成する各マイクロフォンを、互いに交わる2つの直線の交点を中心とした正方形の各頂点にそれぞれ配置するとともに、前記音源方向推定手段では、前記正方形の一方の対角線上にある第1のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差と、前記正方形の他方の対角線上にある第2のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差とを用いて前記音源の方向を推定することを特徴とする請求項1または請求項2に記載の音源方向推定装置。
【請求項4】
音源から伝播される音の音圧信号を採取する音採取手段と前記音採取手段で採取された音圧信号から音源の方向を推定する音源方向推定手段とを備えた音源方向推定装置と、前記推定された音源の方向の映像を撮影する撮影手段と、音源を推定するための音源推定用画像を作成する音源推定用画像作成手段とを備えた音源推定用画像作成装置であって、
前記音源方向推定装置として、請求項1〜請求項のいずれかに記載の音源方向推定装置を用いるとともに、
前記撮影手段は、撮影方向が前記平面板に対して垂直でかつ前記平面板の前方を向くように、前記平面板の側面に取付けられて、前記音源の方向の映像を撮影し、
音源推定用画像作成手段は、前記音源方向推定手段で推定された音源の方向のデータと前記撮影手段で撮影された音源の方向の映像信号である画像データとを合成して、前記推定された音源方向を示す図形が描画された画像である音源推定用画像を作成することを特徴とする音源推定用画像作成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数のマイクロフォンで採取した音の情報から音源の方向を推定する装置と、マイクロフォンで採取した音の情報と撮影手段で撮影した映像の情報とを用いて、音源を推定するための画像を作成する装置とに関する。
【背景技術】
【0002】
従来、図8に示すように、4個のマイクロフォンM1〜M4を、互いに直交する2直線上にそれぞれ所定の間隔で配置し、第5のマイクロフォンM5をマイクロフォンM1〜M4の作る正方形を底面とする四角錐の頂点の位置に配置して成る音採取手段により、音源から伝播する音の音圧信号を検出し、対となる2つのマイクロフォン(Mi, Mj)間の位相差に相当する到達時間差Dijから音源の方向である水平角θと仰角φとを推定するとともに、図示しないCCDカメラ等の映像採取手段により音源方向の画像を撮影し、この撮影された画像データと推定された音源方向のデータとを合成して、画像中に推定した音源方向(θ,φ)と音圧レベルとを図形で表示した音源推定用画像を作成して表示する音源推定用画像の表示装置が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2011−238985号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
前記音源推定用画像の表示装置では、マイクロフォンとカメラとを一体化した音・映像採取手段を用いているが、マイクロフォンとカメラとを一体化するためには、カメラを立体配置されたマイクロフォンの外部に配置しなければならないため、音・映像採取手段が大型化してしまうと行った問題点があった。
そこで、音採取手段を、平面板にマイクロフォンを配置した平板型とし、平面板の前方から伝播される音の音圧信号のみを採取する構成とすれば、音・映像採取手段を小型化できることが考えられる。
【0005】
ところで、マイクロフォンを支持する平面板としては、剛性が高く、音を全反射する材料を用いることが好ましい。しかしながら、平板型の音採取手段では、マイクロフォンの検出部である振動膜の位置と平面板の表面とがほぼ同じ位置にあるため、反射音や風などの影響を受けやすく、その結果、音源方向の推定精度が低下してしまうといった問題点があった。
【0006】
本発明は、従来の問題点に鑑みてなされたもので、音源の方向を精度よく推定できる平板型の音採取手段を備えた音源方向推定装置と音源推定用画像作成装置とを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明は、音源から伝播される音の音圧信号を採取する音採取手段と、前記音採取手段で採取された音圧信号から音源の方向を推定する音源方向推定手段とを備えた音源方向推定装置であって、前記音採取手段が、側板と防音板としての底板とを有し、前記底板とは反対側に開口部を有する収納体と、前記収納体の前記底板に取付けられる平面板と、前記平面板に設置されて前記開口部側である前方から伝播される音の音圧信号のみを採取する、互いに一直線上にない、2組のマイクロフォン対を構成する少なくとも3個のマイクロフォンと、前記平面板の前記マイクロフォンの前方に配置される防風スクリーンと、前記防風スクリーンと前記平面板との間、及び、前記防風スクリーンと前記側板と前記平面板と前記底板との間に挿入されて、前記平面板及び前記収納体の振動を低減する吸音材と、を備え、前記音源方向推定手段が、前記各マイクロフォンに入力する音圧信号の到達時間差と、前記マイクロフォンの位置座標と音速とから前記音源の方向を推定することを特徴とする。
このように、互いに一直線上にない少なくとも3個のマイクロフォンを含む複数のマイクロフォンを平面板に設置して、平面板の前方から伝播される音の音圧信号のみを採取するとともに、マイクロフォンの前方に防風スクリーンを配置することで、マイクロフォンに入射する反射音や風雑音を低減するようにしたので、装置を小型化できるとともに、音源方向の推定精度を向上させることができる。
また、前記平面板を、側板と防音板としての底板とを有し、前記底板とは反対側に開口部を有する収納体の前記底板に取付けるとともに、前記防風スクリーンと前記平面板との間、及び、前記防風スクリーンと前記側板と前記平面板と前記防音板との間に吸音材を挿入することで、平面板の振動による影響についても低減できるようにしたので、音源方向の推定精度が更に向上する。
また、前記防風スクリーンの周囲に配置される吸音部材を設けて、マイクロフォンに入射する反射音を低減させるようにしたので、音源方向の推定精度が更に向上した。
【0008】
また、本発明は、前記2組のマイクロフォン対を構成する各マイクロフォンを、互いに交わる2つの直線の交点を中心とした正方形の各頂点にそれぞれ配置するとともに、前記音源方向推定手段では、前記正方形の一方の対角線上にある第1のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差と、前記正方形の他方の対角線上にある第2のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差とを用いて前記音源の方向を推定することを特徴とする。
このように、マイクロフォンを4個とすれば、同じマイクロフォンの音圧信号を、到達時間差の計算に重複して用いる必要がないので、音源方向の推定精度を更に向上させることができる。
【0009】
また、本発明は、音源から伝播される音の音圧信号を採取する音採取手段と前記音採取手段で採取された音圧信号から音源の方向を推定する音源方向推定手段とを備えた音源方向推定装置と、前記推定された音源の方向の映像を撮影する撮影手段と、音源を推定するための音源推定用画像を作成する音源推定用画像作成手段とを備えた音源推定用画像作成装置であって、前記音源方向推定装置として、請求項1〜請求項3のいずれかに記載の音源方向推定装置を用いるとともに、前記撮影手段は、撮影方向が前記平面板に対して垂直でかつ前記平面板の前方を向くように、前記平面板の側面に取付けられて、前記音源の方向の映像を撮影し、音源推定用画像作成手段は、前記音源方向推定手段で推定された音源の方向のデータと前記撮影手段で撮影された音源の方向の映像信号である画像データとを合成して、前記推定された音源方向を示す図形が描画された画像である音源推定用画像を作成することを特徴とする。
このような構成を採ることにより、反射音や風の影響が少ない音源推定用画像を作成することができるので、音源の推定精度を向上させることができる。
【0010】
なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。
【図面の簡単な説明】
【0011】
図1】本実施の形態に係る音源推定用画像作成装置の構成を示す図である。
図2】本実施の形態に係る音・映像採取ユニットの構成を示す図である。
図3】マイクロフォンの配置例を示す図である。
図4】音源方向画像の具体例を示す図である。
図5】音源方向の推定に対する風の影響を調査した結果を示す図である。
図6】吸音処理をした平面板の一例を示す図である。
図7】マイクロフォンの他の配置例を示す図である。
図8】従来の音採取手段を構成するマイクロフォンの配置例を示す図である。
【発明を実施するための形態】
【0012】
図1は、音源推定用画像作成装置1の構成を示す図で、音源推定用画像作成装置1は、音・映像採取ユニット10と、音データ入出力手段21と、映像入出力手段22と、記憶手段23と、音源方向推定手段24と、音源推定用画像作成手段25と、表示手段26とを備える。
記憶手段23〜音源推定用画像作成手段25の各手段は、例えば、パーソナルコンピュータのソフトウェアとメモリーとにより構成され、表示手段26は、例えば、液晶ディスプレイなどの表示装置により構成される。
音・映像採取ユニット10は、4個のマイクロフォンM1〜M4を備えた音採取手段11と、撮影手段としてのCCDカメラ(以下、カメラという)12と、マイクロフォンM1〜M4とカメラ12とが装着される機器装着部材13と、機器装着部材13を支持する支持部材14と、支持部材14を支持する基台15と、温度センサー16とを備える。
本例では、音・映像採取ユニット10の基台15を支持脚(三脚)17により支持して、計測を行っている。
マイクロフォンM1〜M4と、機器装着部材13と、温度センサー16と、音データ入出力手段21と、記憶手段23と、音源方向推定手段24とにより、本発明の音源方向推定装置を構成する。
【0013】
図2(a)〜(c)は音・映像採取ユニット10の構成を示す図で、(a)図は正面図、(b)図は側面図、(c)図は断面図である。
機器装着部材13は、側板131と防音板としての底板132とを有し、一方に開口部13Sを有する円筒状の収納体133と、平面板134と、カメラ取付部材135と、防風スクリーン136と、吸音材137とを備える。
平面板134は、平面視十字状の部材で、収納体133の底板132に取付けられる。平面板134の十字を形成する4つの延長部には、それぞれマイク取付孔13hが形成されている。図3に示すように、4つのマイク取付孔13hは、互いに対向する孔同士の間隔がLである正方形状に形成されている。すなわち、マイクロフォンM1〜M4をそれぞれマイク取付孔13hに装着したとき、4つのマイクロフォンM1〜M4の中心は、対角線の長さがLの正方形の各頂点に配置される。
以下、図2(c)の左側である開口部側を前方、右側である収納体133の底板132側を後方という。また、平面板134の開口部13S側の面を前面134a、底板132側を後面134bという。
本例では、平面板134の前面134aの位置が、側板131の先端の位置よりも底板132側に位置するように、平面板134の厚さを側板131の長さよりも短くするとともに、マイクロフォンM1〜M4の先端(検出部である振動膜側)の位置が、収納体133の側板131の前端と同じ位置になるように、前面134aよりも前方に突出させるようにしている。
なお、マイクロフォンM1〜M4としては、無指向性、単一指向性のいずれでもよい。また、マイクロフォンM1〜M4は、一般に使用されている小型のマイクロフォンでもよいし、サーフェイスマイクロフォンのような薄型のマイクロフォンでもよい。
カメラ12は、収納体133の側板131の外周面に設けられたカメラ取付部材135に、撮影方向が前向となるように装着される。
【0014】
防風スクリーン136は、収納体133の側板131の前端に、マイクロフォンM1〜M4を前方から覆うように取付けられて、マイクロフォンM1〜M4に入射する風雑音を低減する。なお、防風スクリーン136とマイクロフォンM1〜M4の先端との間には、若干の隙間があることが好ましいが、防風スクリーン136とマイクロフォンM1〜M4の先端とが接触していても、特に、問題はない。
防風スクリーン136としては、例えば、ウレタンフォームなどの網体が挙げられる。
なお、防風スクリーン136を収納体133の側板131に取付ける方法としては、防風スクリーン136の周縁部を収納体133の側板131の外周部に接着するか、円環状のバンドなどで固定するようにしてもよいし、周縁部を予め円環状のバンドに取付けた防風スクリーン136を、側板131の外周部に取付けるようにしてもよい。
吸音材137は、機器装着部材13の内部、すなわち、防風スクリーン136と平面板134との間、及び、防風スクリーン136と側板131と平面板134と底板132との間に挿入されて、平面板134及び収納体133の振動を低減する。
吸音材137としては、例えば、グラスウールやウレタンスポンジなどの多孔質体が挙げられる。
支持部材14は、図2(b)にも示すように、機器装着部材13の底板132の後方に取付けられる垂直片14aと、垂直片14aを基台15に取付ける水平片14bを備えた、側面視L字状の部材で、機器装着部材13を基台15に支持する。
基台15は板状の部材で、支持部材14に支持された機器装着部材13と温度センサー16とを保持する。
温度センサー16は、基台15に装着されて、周囲の温度を計測し、この計測された温度データを音源方向推定手段24に送る。
なお、本例では、音・映像採取ユニット10の基台15を支持脚(三脚)17により支持して、計測を行っている。
【0015】
音データ入出力手段21は、増幅器21aと、A/D変換器21bとを備える。
増幅器21aは、ローパスフィルタを備え、マイクロフォンM1〜M4で採取した音の音圧信号から高周波ノイズ成分を除去するとともに、各音圧信号を増幅してA/D変換器21bに出力する。
A/D変換器21bは、音圧信号をA/D変換するとともに、A/D変換された音圧信号を音圧波形データとして記憶手段23に送る。
映像入出力手段22は、カメラ12で連続的に撮影された映像信号を入力してA/D変換するとともに、A/D変換された映像信号を画像データとして記憶手段23に送る。
記憶手段23は、音圧波形データと画像データとを保存する。
音源方向推定手段24は、記憶手段23に保存された音圧信号を用いて、平面板134から見た時の音源方向、すなわち、平面板134の前面134aを水平面とし、マイクロフォンM1とマイクロフォンM3とを結ぶ線分とマイクロフォンM2とマイクロフォンM4とを結ぶ線分との交点を原点としたときの水平角θpと仰角φpとを周波数毎に算出するとともに、音源から伝播される音の音圧レベルを計測する。
なお、水平角θpと仰角φpの算出方法については後述する。
【0016】
音源推定用画像作成手段25は、音源方向推定手段24で推定された音源方向のデータである水平角θpと仰角φpとを、カメラから見たときの音源方向のデータ(光学座標における水平角θ及び仰角φ)に変換するとともに、記憶手段23に記憶された画像データと水平角θ及び仰角φのデータとを合成し、画像中に音源の方向を示す複数の図形が描画された音源推定用画像を作成して表示手段26に出力する。音源推定用画像は表示手段26の表示画面26Mに表示させる。
図4は、画像データと合成する前の画像(音源方向画像)の一例を示す図で、音源方向画像は、画像中に音源の方向を示す複数の図形(ここでは、丸とした)が描画される。図4の上側の図の横軸は水平角θ、縦軸は仰角φで、丸Cjの大きさが音圧レベル、模様が周波数を表す。
なお、図4の下側の図は、音圧レベルの分布を示す図で、横軸が水平角θで、縦軸は音圧レベル(dB)である。
【0017】
次に、音源方向の計算について説明する。
マイクロフォンM1〜M4には、平面板134の前方から伝播される音の音圧信号のみが入力されるものとし、マイクロフォンM1〜M4の音圧波形データをFFTにて周波数解析し、周波数毎にマイクロフォンM1〜M4間の位相差を求め、この求められた位相差と、温度センサー16により計測された温度を用いて算出した音速cとから音源の方向を周波数毎に算出する。
水平角θp及び仰角φpは以下の式[数1]で表わせる。
【数1】
ここで、到達時間差Dijは、マイクロフォンMiに到達する音圧信号とマイクロフォンMjに到達する音圧信号との時間差で、対となる2つのマイクロフォンMi及びマイクロフォンMjに入力される信号のクロススペクトルPij(f)を求め、更に、対象とする周波数fの位相角情報Ψ(rad)を用いて、以下の式[数2]により算出される。
【数2】
音源方向と音圧レベルとは周波数毎に計測する。
なお、音圧信号の大きさとしては、マイクロフォンM1〜M4のうちのいずれかに入力される信号の大きさとしてもよいし、マイクロフォンM1〜M4に入力される信号の大きさの平均値を用いてもよい。
【0018】
このように、本実施の形態では、音源から伝播される音の音圧信号を採取するマイクロフォンM1〜M4を平面板134に設置するとともに、平面板134の前方に防風スクリーン136を設けて、風の影響を低減するようにしたので、風雑音を大幅に低減することができる。したがって、平面板にマイクロフォンを設置した平板型の音採取手段11を用いて採取した音圧信号を用いても、音源の方向を精度よく推定することができる。
【0019】
[実施例]
図5(a)〜(d)は、音源方向画像の一例を示す図で、(a)図は、防風スクリーンのない音・映像採取ユニットを用い、風のない状態で計測した時の音源方向の推定結果、(b)図は、本発明による音・映像採取ユニット10を用い、風のない状態で計測した時の音源方向の推定結果である。
一方、(c)図は、防風スクリーンのない音・映像採取ユニットを用い、12.5m/sの風をマイクロフォンに向けて送った時の音源方向の推定結果、(d)図は、本発明による音・映像採取ユニット10を用い、12.5m/sの風をマイクロフォンに向けて送った時の音源方向の推定結果である。
図5(a)〜(d)を比較して明らかなように、風のない状態では、防風スクリーンの有無で推定結果に差はないが、風がある場合には、防風スクリーンがないと、音源方向の推定精度が低下していることがわかる。これに対して、図5(d)に示す、防風スクリーンを備えた本発明による音・映像採取ユニット10を用いて推定した音源方向のばらつきは、図5(a),(b)の風のない状態とほとんど変わらないことがわかる。
これにより、防風スクリーンを設けることにより、風がある状態でも、音源の方向を精度よく推定できることが確認された。
【0020】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。
【0021】
例えば、前記実施の形態では、平面板134を平面視十字状の部材としたが、円盤状などの他の形状としてもよい。また、機器装着部材13についても、円筒状に限らず、四角柱状としてもよい。この場合、防音板としての底板132の形状は、機器装着部材13の底面の形状と同じものとすることが好ましい。
また、前記実施の形態では、図6(a)に示すように、平面板134の前方に防風スクリーン136を配置したが、図6(b)に示すように、防風スクリーン136の周囲に、吸音部材としての吸音リング138を配置すれば、反射の影響を一層低減できるので、音源の方向を推定精度が更に向上する。
吸音リング138としては、例えば、不織布を環状にしたものがよく用いられるが、吸音性能を有している材料であれば、吸音材137に用いたウレタンスポンジなどの他の吸音材を用いてもよい。また、防風スクリーン136を不織布から構成してもよい。
また、前記実施の形態では、平面板134に配置された4個のマイクロフォンM1〜M4を備えた音採取手段11を用いて音源方向を推定したが、音採取手段を、互いに交わる2つの直線上にそれぞれ所定の間隔で配置された3個のマイクロフォンM1〜M3から構成してもよい。マイクロフォンM1,M2,M3は、図7(a)に示すような、1辺の長さがLの正三角形の各頂点に配置してもよいし、図7(b)に示すように、二等辺三角形の各頂点に配置してもよい。
【符号の説明】
【0022】
1 音源推定用画像作成装置、10 音・映像採取ユニット、
11 音採取手段、12 撮影手段(カメラ)、13 機器装着部材、131 側板、
132 底板、133 収納体、134 平面板、134a 平面板の前面、
134b 平面板の後面、135 カメラ取付け部材、136 防風スクリーン、
137 吸音材、138 吸音リング、13h マイク取付孔、14 支持部材、
15 基台、16 温度センサー、17 支持脚
21 音データ入出力手段、21a 増幅器、21b A/D変換器、
22 映像入出力手段、23 記憶手段、24 音源方向推定手段、
25 音源推定用画像作成手段、26 表示手段、26M 表示画面、
M1〜M4 マイクロフォン。
図1
図2
図3
図4
図5
図6
図7
図8