ホーム > 特許ランキング > 本田技研工業株式会社
▶ 本田技研工業株式会社の特許一覧 ▶ 国立大学法人東京工業大学の特許一覧
特許7555543音響処理装置、音響処理システム、音響処理方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-13
(45)【発行日】2024-09-25
(54)【発明の名称】音響処理装置、音響処理システム、音響処理方法およびプログラム
(51)【国際特許分類】
H04R 3/00 20060101AFI20240917BHJP
G01S 3/808 20060101ALI20240917BHJP
【ＦＩ】
H04R3/00 320
G01S3/808
【請求項の数】
8
(21)【出願番号】P 2021031527
(22)【出願日】2021-03-01
(65)【公開番号】P2022132839
(43)【公開日】2022-09-13
【審査請求日】2023-09-11
(73)【特許権者】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(73)【特許権者】
【識別番号】304021417
【氏名又は名称】国立大学法人東京工業大学
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100126664
【弁理士】
【氏名又は名称】鈴木 慎吾
(74)【代理人】
【識別番号】100154852
【弁理士】
【氏名又は名称】酒井 太一
(74)【代理人】
【識別番号】100194087
【弁理士】
【氏名又は名称】渡辺 伸一
(72)【発明者】
【氏名】杉山 地塩
(72)【発明者】
【氏名】糸山 克寿
(72)【発明者】
【氏名】中臺 一博
(72)【発明者】
【氏名】西田 健次
【審査官】佐久 聖子
(56)【参考文献】
【文献】S. Wozniak et. al，Passive Joint Localization and Synchronization of Distributed Microphone Arrays，IEEE Signal Processing Letters，Volume 26, Issue 2，2018年12月23日，pp.292-296
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｒ ３／００－ ３／１４
Ｈ０４Ｒ １／２０－ １／４０
Ｈ０４Ｓ １／００－ ７／００
Ｇ０１Ｓ ３／８０８
(57)【特許請求の範囲】
【請求項1】
Ｎ（Ｎは、２個以上の整数）個のマイクロホンアレイのそれぞれについて定めた音源方向である観測音源方向と、当該マイクロホンアレイからの音源の方向を当該マイクロホンアレイの方向で回転した方向との差分である方向差分の大きさを示す第１の目的関数の関数値と、Ｎ個のうち２個のマイクロホンアレイの対ごとに定めた前記音源からの音の到達時間差である観測到達時間差から、前記音源から個々のマイクロホンアレイへの音波の伝搬時間の時間差と、個々のマイクロホンアレイのオフセット時間の時間差との差分である時間差分の大きさを示す第２の目的関数の関数値との合計値が、より小さくなるように、
前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を定める推定部を備える
音響処理装置。
【請求項2】
Ｎ（Ｎは、２個以上の整数）個のマイクロホンアレイのそれぞれについて定めた音源方向である観測音源方向と、当該マイクロホンアレイからの音源の方向を当該マイクロホンアレイの方向で回転した方向との差分である方向差分の大きさを示す第１の目的関数の関数値と、Ｎ個のうち２個のマイクロホンアレイの対ごとに定めた前記音源からの音の到達時間差である観測到達時間差から、前記音源から個々のマイクロホンアレイへの音波の伝搬時間の時間差と、個々のマイクロホンアレイのオフセット時間の時間差との差分である時間差分の大きさを示す第２の目的関数の関数値が、それぞれより小さくなるように、
前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を定める推定部を備え、
前記推定部は、
第１の位置から第２の位置の距離の前記マイクロホンアレイの対間の総和が、より小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を定め、
前記第１の位置は、前記マイクロホンアレイを基準とする前記音源の位置を当該マイクロホンアレイの方向に回転させた位置であり、
前記第２の位置は、前記マイクロホンアレイの対の一方のマイクロホンアレイから前記観測音源方向に、当該マイクロホンアレイの対の他方のマイクロホンアレイから前記音源までの距離から、前記時間差分における音の伝搬距離の差分に相当する距離離れた位置であることを特徴とする
音響処理装置。
【請求項3】
Ｎ（Ｎは、２個以上の整数）個のマイクロホンアレイのそれぞれについて定めた音源方向である観測音源方向と、当該マイクロホンアレイからの音源の方向を当該マイクロホンアレイの方向で回転した方向との差分である方向差分の大きさを示す第１の目的関数の関数値と、Ｎ個のうち２個のマイクロホンアレイの対ごとに定めた前記音源からの音の到達時間差である観測到達時間差から、前記音源から個々のマイクロホンアレイへの音波の伝搬時間の時間差と、個々のマイクロホンアレイのオフセット時間の時間差との差分である時間差分の大きさを示す第２の目的関数の関数値が、それぞれより小さくなるように、
前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を定める推定部を備え、
前記推定部は、
前記第１の目的関数の関数値がより小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を更新するステップと、
前記第２の目的関数の関数値がより小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を更新するステップと、を交互に実行することを特徴とする
音響処理装置。
【請求項4】
前記マイクロホンアレイと、前記マイクロホンアレイごとに収音される音響信号に基づいて前記観測音源方向を定める音源方向観測部と、
前記対ごとに前記観測到達時間差を定める到達時間差観測部と、
請求項１から請求項３のいずれか一項に記載の音響処理装置と、
を備える音響処理システム。
【請求項5】
コンピュータに請求項１から請求項３のいずれか一項に記載の音響処理装置として機能させるためのプログラム。
【請求項6】
Ｎ（Ｎは、２個以上の整数）個のマイクロホンアレイのそれぞれについて定めた音源方向である観測音源方向と、当該マイクロホンアレイからの音源の方向を当該マイクロホンアレイの方向で回転した方向との差分である方向差分の大きさを示す第１の目的関数の関数値と、Ｎ個のうち２個のマイクロホンアレイの対ごとに定めた、前記音源からの音の到達時間差である観測到達時間差から、前記音源から個々のマイクロホンアレイへの音波の伝搬時間の時間差と、個々のマイクロホンアレイのオフセット時間の時間差との差分である時間差分の大きさを示す第２の目的関数の関数値との合計値が、より小さくなるように、
前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を定めるステップを有する
音響処理方法。
【請求項7】
Ｎ（Ｎは、２個以上の整数）個のマイクロホンアレイのそれぞれについて定めた音源方向である観測音源方向と、当該マイクロホンアレイからの音源の方向を当該マイクロホンアレイの方向で回転した方向との差分である方向差分の大きさを示す第１の目的関数の関数値と、Ｎ個のうち２個のマイクロホンアレイの対ごとに定めた前記音源からの音の到達時間差である観測到達時間差から、前記音源から個々のマイクロホンアレイへの音波の伝搬時間の時間差と、個々のマイクロホンアレイのオフセット時間の時間差との差分である時間差分の大きさを示す第２の目的関数の関数値が、それぞれより小さくなるように、
前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を定めるステップを有し、
前記ステップは、
第１の位置から第２の位置の距離の前記マイクロホンアレイの対間の総和が、より小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を定め、
前記第１の位置は、前記マイクロホンアレイを基準とする前記音源の位置を当該マイクロホンアレイの方向に回転させた位置であり、
前記第２の位置は、前記マイクロホンアレイの対の一方のマイクロホンアレイから前記観測音源方向に、当該マイクロホンアレイの対の他方のマイクロホンアレイから前記音源までの距離から、前記時間差分における音の伝搬距離の差分に相当する距離離れた位置であることを特徴とする
音響処理方法。
【請求項8】
Ｎ（Ｎは、２個以上の整数）個のマイクロホンアレイのそれぞれについて定めた音源方向である観測音源方向と、当該マイクロホンアレイからの音源の方向を当該マイクロホンアレイの方向で回転した方向との差分である方向差分の大きさを示す第１の目的関数の関数値と、Ｎ個のうち２個のマイクロホンアレイの対ごとに定めた前記音源からの音の到達時間差である観測到達時間差から、前記音源から個々のマイクロホンアレイへの音波の伝搬時間の時間差と、個々のマイクロホンアレイのオフセット時間の時間差との差分である時間差分の大きさを示す第２の目的関数の関数値が、それぞれより小さくなるように、
前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を定めるステップを有し、
前記ステップは、
前記第１の目的関数の関数値がより小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を更新するステップと、
前記第２の目的関数の関数値がより小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を更新するステップと、を交互に実行することを特徴とする
音響処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音響処理装置、音響処理システム、音響処理方法およびプログラムに関する。
【背景技術】
【0002】
音源定位は、マイクロホンアレイを用いて収音された複数チャネルの音響信号から音源方向を推定する手法である。従来から、音響信号処理の要素技術として種々の方式が提案されている。１個のマイクロホンアレイでは、音源方向を推定することができるが、音源位置までは推定することはできない。近年では、複数のマイクロホンアレイを用いて、音源位置を推定する手法も提案されている。
【0003】
しかしながら、個々のマイクロホンアレイは個体差を有する。複数のマイクロホンアレイを用いる場合には、それぞれの位置、向き、および時刻を複数のマイクロホンアレイ間で校正させておく必要がある。非特許文献１には、観測された音源方向から、マイクロホンアレイの位置、向き、ならびに音源の位置の相互間の関係を示す目的関数を用いて、未知のマイクロホンアレイの位置、向き、ならびに音源の位置を推定する手法について記載されている。
【先行技術文献】
【非特許文献】
【0004】
【文献】S. Wozniak and K. Kowalczyk: “Passive Joint Localization and Synchronization of Distributed Microphone Arrays”, IEEE Signal Processing Letters, Volume 26, Issue 2, pp.292-296, February 2019
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、非特許文献１に記載の目的関数では、マイクロホンアレイの位置、向き、ならびに音源の位置を推定するのが困難なことがあった。例えば、当該目的関数では、マイクロホンアレイ位置や音源の位置について、その大きさの程度まで定めることができない。また、局所最適解に陥り、より適切な解が得られないことがあった。
【0006】
本実施形態は上記の点に鑑みてなされたものであり、マイクロホンアレイの位置、向き、および、音源位置をより正確に同時推定することができる音響処理装置、音響処理システム、音響処理方法およびプログラムを提供することを課題とする。
【課題を解決するための手段】
【0007】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、Ｎ（Ｎは、２個以上の整数）個のマイクロホンアレイのそれぞれについて定めた音源方向である観測音源方向と、当該マイクロホンアレイからの音源の方向を当該マイクロホンアレイの方向で回転した方向との差分である方向差分の大きさを示す第１の目的関数の関数値と、Ｎ個のうち２個のマイクロホンアレイの対ごとに定めた前記音源からの音の到達時間差である観測到達時間差から、前記音源から個々のマイクロホンアレイへの音波の伝搬時間の時間差と、個々のマイクロホンアレイのオフセット時間の時間差との差分である時間差分の大きさを示す第２の目的関数の関数値との合計値が、より小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を定める推定部を備える音響処理装置である。
【0009】
（２）本発明の他の態様は、Ｎ（Ｎは、２個以上の整数）個のマイクロホンアレイのそれぞれについて定めた音源方向である観測音源方向と、当該マイクロホンアレイからの音源の方向を当該マイクロホンアレイの方向で回転した方向との差分である方向差分の大きさを示す第１の目的関数の関数値と、Ｎ個のうち２個のマイクロホンアレイの対ごとに定めた前記音源からの音の到達時間差である観測到達時間差から、前記音源から個々のマイクロホンアレイへの音波の伝搬時間の時間差と、個々のマイクロホンアレイのオフセット時間の時間差との差分である時間差分の大きさを示す第２の目的関数の関数値が、それぞれより小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を定める推定部を備え、前記推定部は、第１の位置から第２の位置の距離の前記マイクロホンアレイの対間の総和が、より小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を定め、前記第１の位置は、前記マイクロホンアレイを基準とする前記音源の位置を当該マイクロホンアレイの方向に回転させた位置であり、前記第２の位置は、前記マイクロホンアレイの対の一方のマイクロホンアレイから前記観測音源方向に、当該マイクロホンアレイの対の他方のマイクロホンアレイから前記音源までの距離から、前記時間差分における音の伝搬距離の差分に相当する距離離れた位置であることを特徴とする音響処理装置である。
【0010】
（３）本発明の他の態様は、Ｎ（Ｎは、２個以上の整数）個のマイクロホンアレイのそれぞれについて定めた音源方向である観測音源方向と、当該マイクロホンアレイからの音源の方向を当該マイクロホンアレイの方向で回転した方向との差分である方向差分の大きさを示す第１の目的関数の関数値と、Ｎ個のうち２個のマイクロホンアレイの対ごとに定めた前記音源からの音の到達時間差である観測到達時間差から、前記音源から個々のマイクロホンアレイへの音波の伝搬時間の時間差と、個々のマイクロホンアレイのオフセット時間の時間差との差分である時間差分の大きさを示す第２の目的関数の関数値が、それぞれより小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を定める推定部を備え、前記推定部は、前記第１の目的関数の関数値がより小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を更新するステップと、前記第２の目的関数の関数値がより小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を更新するステップと、を交互に実行することを特徴とする音響処理装置である。
【0011】
（４）本発明の他の態様は、（１）から（３）のいずれかの音響処理装置と、前記マイクロホンアレイと、前記マイクロホンアレイごとに収音される音響信号に基づいて前記観測音源方向を定める音源方向観測部と、前記対ごとに前記観測到達時間差を定める到達時間差観測部と、を備える音響処理システムであってもよい。
【0012】
（５）本発明の他の態様は、コンピュータに（１）から（３）のいずれかの音響処理装置として機能させるためのプログラムであってもよい。
【0013】
（６）本発明の他の態様は、Ｎ（Ｎは、２個以上の整数）個のマイクロホンアレイのそれぞれについて定めた音源方向である観測音源方向と、当該マイクロホンアレイからの音源の方向を当該マイクロホンアレイの方向で回転した方向との差分である方向差分の大きさを示す第１の目的関数の関数値と、Ｎ個のうち２個のマイクロホンアレイの対ごとに定めた、前記音源からの音の到達時間差である観測到達時間差から、前記音源から個々のマイクロホンアレイへの音波の伝搬時間の時間差と、個々のマイクロホンアレイのオフセット時間の時間差との差分である時間差分の大きさを示す第２の目的関数の関数値との合計値が、より小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を定めるステップを有する音響処理方法である。
（７）本発明の他の態様は、Ｎ（Ｎは、２個以上の整数）個のマイクロホンアレイのそれぞれについて定めた音源方向である観測音源方向と、当該マイクロホンアレイからの音源の方向を当該マイクロホンアレイの方向で回転した方向との差分である方向差分の大きさを示す第１の目的関数の関数値と、Ｎ個のうち２個のマイクロホンアレイの対ごとに定めた前記音源からの音の到達時間差である観測到達時間差から、前記音源から個々のマイクロホンアレイへの音波の伝搬時間の時間差と、個々のマイクロホンアレイのオフセット時間の時間差との差分である時間差分の大きさを示す第２の目的関数の関数値が、それぞれより小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を定めるステップを有し、前記ステップは、第１の位置から第２の位置の距離の前記マイクロホンアレイの対間の総和が、より小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を定め、前記第１の位置は、前記マイクロホンアレイを基準とする前記音源の位置を当該マイクロホンアレイの方向に回転させた位置であり、前記第２の位置は、前記マイクロホンアレイの対の一方のマイクロホンアレイから前記観測音源方向に、当該マイクロホンアレイの対の他方のマイクロホンアレイから前記音源までの距離から、前記時間差分における音の伝搬距離の差分に相当する距離離れた位置であることを特徴とする音響処理方法である。
（８）本発明の他の態様は、Ｎ（Ｎは、２個以上の整数）個のマイクロホンアレイのそれぞれについて定めた音源方向である観測音源方向と、当該マイクロホンアレイからの音源の方向を当該マイクロホンアレイの方向で回転した方向との差分である方向差分の大きさを示す第１の目的関数の関数値と、Ｎ個のうち２個のマイクロホンアレイの対ごとに定めた前記音源からの音の到達時間差である観測到達時間差から、前記音源から個々のマイクロホンアレイへの音波の伝搬時間の時間差と、個々のマイクロホンアレイのオフセット時間の時間差との差分である時間差分の大きさを示す第２の目的関数の関数値が、それぞれより小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を定めるステップを有し、前記ステップは、前記第１の目的関数の関数値がより小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を更新するステップと、前記第２の目的関数の関数値がより小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を更新するステップと、を交互に実行することを特徴とする音響処理方法である。
（７）本発明の他の態様は、Ｎ（Ｎは、２個以上の整数）個のマイクロホンアレイのそれぞれについて定めた音源方向である観測音源方向と、当該マイクロホンアレイからの音源の方向を当該マイクロホンアレイの方向で回転した方向との差分である方向差分の大きさを示す第１の目的関数の関数値と、Ｎ個のうち２個のマイクロホンアレイの対ごとに定めた前記音源からの音の到達時間差である観測到達時間差から、前記音源から個々のマイクロホンアレイへの音波の伝搬時間の時間差と、個々のマイクロホンアレイのオフセット時間の時間差との差分である時間差分の大きさを示す第２の目的関数の関数値が、それぞれより小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を定めるステップを有し、前記ステップは、第１の位置から第２の位置の距離の前記マイクロホンアレイの対間の総和が、より小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を定め、前記第１の位置は、前記マイクロホンアレイを基準とする前記音源の位置を当該マイクロホンアレイの方向に回転させた位置であり、前記第２の位置は、前記マイクロホンアレイの対の一方のマイクロホンアレイから前記観測音源方向に、当該マイクロホンアレイの対の他方のマイクロホンアレイから前記音源までの距離から、前記時間差分における音の伝搬距離の差分に相当する距離離れた位置であることを特徴とする音響処理方法である。
（８）本発明の他の態様は、Ｎ（Ｎは、２個以上の整数）個のマイクロホンアレイのそれぞれについて定めた音源方向である観測音源方向と、当該マイクロホンアレイからの音源の方向を当該マイクロホンアレイの方向で回転した方向との差分である方向差分の大きさを示す第１の目的関数の関数値と、Ｎ個のうち２個のマイクロホンアレイの対ごとに定めた前記音源からの音の到達時間差である観測到達時間差から、前記音源から個々のマイクロホンアレイへの音波の伝搬時間の時間差と、個々のマイクロホンアレイのオフセット時間の時間差との差分である時間差分の大きさを示す第２の目的関数の関数値が、それぞれより小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を定めるステップを有し、前記ステップは、前記第１の目的関数の関数値がより小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を更新するステップと、前記第２の目的関数の関数値がより小さくなるように、前記マイクロホンアレイの位置、方向、ならびにオフセット時間、および、前記音源の位置を更新するステップと、を交互に実行することを特徴とする音響処理方法である。
【発明の効果】
【0014】
上述した（１）－（８）の構成によれば、第１の目的関数と第２の目的関数に対して、それぞれ第２の目的関数と第１の目的関数が拘束条件となるため、第１の目的関数に基づいて推定されるマイクロホンアレイの位置と音源の位置に含まれうる解の不定性と、第２の目的関数に基づいて推定されるマイクロホンアレイから音源の方向に含まれうる解の不定性が解消される。そのため、第１の目的関数と第２の目的関数のそれぞれの関数値をより小さくすることで、局所最適解を回避して、より正確にマイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置を定めることができる。
【0015】
上述した（１）、（６）の構成において、第１の目的関数の関数値と、第２の目的関数の関数値との合計値は、推定されたマイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置の正確性を示す指標となる。また、当該合計値を用いて推定されるマイクロホンアレイの位置、音源の位置、および、マイクロホンアレイから音源の方向には不定性が含まれない。そのため、局所最適解を回避して、より正確にマイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置を定めることができる。
【0016】
上述した（２）、（７）の構成において、第１の位置から第２の位置の距離のマイクロホンアレイの対間の総和も、推定されたマイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置の正確性を示す指標となる。また、当該総和を用いて推定されるマイクロホンアレイの位置、音源の位置、および、マイクロホンアレイから音源の方向には不定性が含まれない。そのため、局所最適解を回避して、より正確にマイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置を定めることができる。
【0017】
上述した（３）、（８）の構成によれば、第１の目的関数の関数値をより小さくするステップと、第２の目的関数の関数値をより小さくするステップとが交互に実行されるので、いずれかのステップが継続して生じうる局所最適解と解の不定性を回避することができる。そのため、より正確にマイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置を定めることができる。
【図面の簡単な説明】
【0018】
【図1】本実施形態に係る音響処理システムの一構成例を示すブロック図である。
【図2】第１目的関数を説明するための説明図である。
【図3】第２目的関数を説明するための説明図である。
【図4】本実施形態に係る推定処理の第１例を示すフローチャートである。
【図5】本実施形態に係る推定処理の第２例を示すフローチャートである。
【図6】本実施形態に係る推定処理の第３例を示すフローチャートである。
【図7】マイクロホンの一配置例を示す図である。
【図8】マイクロホンの他の配置例を示す図である。
【図9】本実施形態に係る音響処理システムの他の構成例を示すブロック図である。
【図10】誤差平均の変化の一例を示す図である。
【図11】計算時間の一例を示す図である。
【図12】誤差平均の変化の他の例を示す図である。
【図13】計算時間の他の例を示す図である。
【発明を実施するための形態】
【0019】
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る音響処理システムＳ１の構成例を示すブロック図である。
音響処理システムＳ１は、音響処理装置１０と、収音部２０と、を備える。
図１は、本実施形態に係る音響処理システムＳ１の構成例を示すブロック図である。
音響処理システムＳ１は、音響処理装置１０と、収音部２０と、を備える。
【0020】
収音部２０は、複数のマイクロホンアレイを有する。マイクロホンアレイの数Ｎは、２以上の整数である。個々のマイクロホンアレイは、それぞれ異なる位置において、異なる方向に向けて設置される。本願では、マイクロホンアレイの位置、方向を、それぞれ「アレイ位置」、「アレイ方向」と呼ぶことがある。また、個々のマイクロホンアレイを、それぞれ、Ａ１、Ａ２、などとインデックスを付して区別することがある。Ｎ個のマイクロホンアレイに共通の事項、その他、個々のマイクロホンアレイを区別しない場合には、単に「マイクロホンアレイ」または「マイクロホンアレイＡ」と呼ぶことがある。
【0021】
個々のマイクロホンアレイＡは、それぞれ複数個のマイクロホンを備える。個々のマイクロホンは、それぞれ異なる位置に配置され、それぞれ自部に到来する音波を収音する。個々のマイクロホンは、それぞれ到来した音波を音響信号に変換するアクチュエータを備え、変換した音響信号を音響処理装置１０に出力する。本願では、マイクロホンごとに収音される音響信号の単位を「チャネル」と呼ぶ。図７に例示されるマイクロホンアレイＡは、L個のマイクロホンｍｉｃ１～ｍｉｃＬが直線上に等間隔に配置されてなる。マイクロホンアレイＡにおける複数のマイクロホンの空間的配置は、これには限られない。図８に例示されるように、マイクロホンアレイＡを構成する複数のマイクロホンは円弧上に配置されてもよい。
【0022】
マイクロホンアレイの方向は、当該マイクロホンアレイの音源方向の基準となる方向であればよい。マイクロホンアレイの方向は、マイクロホンが配置される方向であってもよいが、これには限られない。また、本願では、個々のマイクロホンアレイにより収音される音響信号の同期がとれていないことを前提とする。従って、マイクロホンアレイごとにオフセット時間を有する。オフセット時間とは、個々のマイクロホンアレイの時刻の音響処理システムＳ１全体としての基準時刻からの時間差に相当する。
【0023】
音響処理装置１０は、Ｎ個のマイクロホンアレイのそれぞれについて、取得される複数チャネルの音響信号を用いて音源の方向を観測音源方向として定める（音源定位（sound source localization））。本願では、音源の方向を「音源方向」と呼び、特に、複数チャネルの音響信号から定めた音源方向を「観測音源方向」と呼ぶことがある。また、音源の位置を「音源位置」と呼ぶことがある。
音響処理装置１０は、Ｎ個のうち２個のマイクロホンアレイからなるマイクロホンアレイの対（ペア）ごとに、音源からマイクロホンアレイのそれぞれに音が到達する到達時刻の差を観測到達時間差として定める（到達時間差観測）。本願では、マイクロホンアレイの対を、「アレイ対」と呼ぶことがある。
音響処理装置１０は、Ｎ個のうち２個のマイクロホンアレイからなるマイクロホンアレイの対（ペア）ごとに、音源からマイクロホンアレイのそれぞれに音が到達する到達時刻の差を観測到達時間差として定める（到達時間差観測）。本願では、マイクロホンアレイの対を、「アレイ対」と呼ぶことがある。
【0024】
音響処理装置１０は、マイクロホンアレイごとの観測音源方向と、アレイ対ごとの観測到達時間差に基づいて第１目的関数の関数値と第２目的関数の関数値が、それぞれより小さくなるように、アレイ位置、アレイ方向、オフセット時間、および、音源の位置を未知情報として推定する。第１目的関数、第２目的関数については、後述する。
音響処理装置１０は、推定したアレイ位置、アレイ方向、オフセット時間、および、音源の位置の一部または全部を示す出力情報を出力先機器３０に出力する。
出力先機器３０は、推定されたアレイ位置、アレイ方向、オフセット時間、および音源の位置の一部または全部の出力先となる機器である。出力先機器３０は、ＰＣ（Personal Computer）、多機能携帯電話機、などの情報通信機器であってもよいし、計測器、監視装置、などであってもよい。
音響処理装置１０は、推定したアレイ位置、アレイ方向、オフセット時間、および、音源の位置の一部または全部を示す出力情報を出力先機器３０に出力する。
出力先機器３０は、推定されたアレイ位置、アレイ方向、オフセット時間、および音源の位置の一部または全部の出力先となる機器である。出力先機器３０は、ＰＣ（Personal Computer）、多機能携帯電話機、などの情報通信機器であってもよいし、計測器、監視装置、などであってもよい。
【0025】
次に、本実施形態に係る音響処理装置１０の機能構成例について説明する。
音響処理装置１０は、入出力部１１０と、制御部１２０と、を含んで構成される。
入出力部１１０は、他の機器と各種のデータを入力および出力可能に無線または有線で接続する。入出力部１１０は、入力データとして、個々のマイクロホンアレイAから入力される複数チャネルの音響信号を制御部１２０に出力する。入出力部１１０は、出力データとして、制御部１２０から入力される推定情報を出力先機器に出力する。入出力部１１０は、例えば、入出力インタフェース、通信インタフェースなどのいずれか、または、それらの組み合わせであってもよい。
音響処理装置１０は、入出力部１１０と、制御部１２０と、を含んで構成される。
入出力部１１０は、他の機器と各種のデータを入力および出力可能に無線または有線で接続する。入出力部１１０は、入力データとして、個々のマイクロホンアレイAから入力される複数チャネルの音響信号を制御部１２０に出力する。入出力部１１０は、出力データとして、制御部１２０から入力される推定情報を出力先機器に出力する。入出力部１１０は、例えば、入出力インタフェース、通信インタフェースなどのいずれか、または、それらの組み合わせであってもよい。
【0026】
制御部１２０は、音響処理装置１０の機能を実現するための処理、その機能を制御するための処理、などを実行する。制御部１２０は、専用の部材を用いて構成されてもよいが、ＣＰＵ（Central Processing Unit）などのプロセッサと各種の記憶媒体を含んでコンピュータシステムとして構成されてもよい。プロセッサは、予め記憶媒体に記憶された所定のプログラムを読み出し、読み出したプログラムに記述された各種の命令で指示される処理を実行して制御部１２０の機能を実現する。
制御部１２０は、音源方向観測部１２２、到達時間差観測部１２４、推定部１２６、および出力処理部１２８を含んで構成される。
制御部１２０は、音源方向観測部１２２、到達時間差観測部１２４、推定部１２６、および出力処理部１２８を含んで構成される。
【0027】
音源方向観測部１２２は、個々のマイクロホンアレイＡから入出力部１１０を用いて入力される複数チャネルの音響信号に基づいて、音源定位処理を行って個々の音源の音源方向の観測値である観測音源方向を定める。音源方向観測部１２２は、音源定位処理において、例えば、ＭＵＳＩＣ（Multiple Signal Classification,多重信号分類）法、ＷＤＳ－ＢＦ（Weighted Delay and Sum Beam Forming）法などの手法が利用可能である。音源方向観測部１２２は、マイクロホンアレイＡごとに定めた観測音源方向を示す音源方向情報を推定部１２６に出力する。
【0028】
到達時間差観測部１２４は、個々のマイクロホンアレイＡから入出力部１１０を経由して入力される複数チャネルの音響信号に基づいて、アレイ対ごとに、音源から個々のマイクロホンアレイＡに音波が到達する到達時刻の差の観測値である観測到達時間差を定める。到達時間差観測部１２４は、アレイ対ごとに定めた観測到達時間差を示す到達時間差情報を推定部１２６に出力する。
到達時間差観測部１２４は、観測到達時間差を定める際、例えば、アレイ対をなす一方のマイクロホンアレイの１つのチャネルの音響信号と、他方のマイクロホンアレイの１つのチャネルの音響信号を遅延させた遅延信号との相互相関を遅延量ごとに、各チャネル対について算出する。チャネル対は、一方のマイクロホンアレイの１つのチャネルと他方のマイクロホンアレイの１つのチャネルの組に相当する。到達時間差観測部１２４は、相互相関が極大となる遅延量をチャネル対間で平均して得られる平均遅延量を観測到達時間差として定める。
到達時間差観測部１２４は、観測到達時間差を定める際、例えば、アレイ対をなす一方のマイクロホンアレイの１つのチャネルの音響信号と、他方のマイクロホンアレイの１つのチャネルの音響信号を遅延させた遅延信号との相互相関を遅延量ごとに、各チャネル対について算出する。チャネル対は、一方のマイクロホンアレイの１つのチャネルと他方のマイクロホンアレイの１つのチャネルの組に相当する。到達時間差観測部１２４は、相互相関が極大となる遅延量をチャネル対間で平均して得られる平均遅延量を観測到達時間差として定める。
【0029】
なお、音響空間に所在する音源数は、１個に限らず、複数となりうる。そのため、到達時間差は、マイクロホンアレイごとに複数個定まりうる。異なるマイクロホンアレイ間で異なる音源からの音波の到達時刻差が誤って推定されるおそれが生ずる。但し、到達時間差観測部１２４は、所定の極大値の閾値以下となる相互相関を与える遅延量を棄却し、その閾値以上となる相互相関を与える遅延量を、到達時間差を定める際に採用してもよい。これにより、マイクロホンアレイ間で異なる音源からの到達時刻を用いて到達時間差を定めることが回避され、到達時間差観測部１２４は、マイクロホンアレイ間で共通の音源からの到達時刻を用いて到達時間差を定めることができる。
【0030】
推定部１２６には、音源方向観測部１２２から音源方向情報が入力され、到達時間差観測部１２４から到達時間差情報が入力される。
推定部１２６は、音源方向情報が示すマイクロホンアレイごとの観測音源方向と到達時間差情報が示すアレイ対ごとの観測到達時間差に基づいて、第１目的関数の関数値と第２目的関数の関数値が、それぞれ最小化されるように、推定値であるアレイ位置、アレイ方向、オフセット時間、および、音源の位置を定める。「最小化」において、例えば、勾配法が適用可能である。本願では、「最小化」、「最適化」とは、それぞれ、できるだけ関数値が小さくなる、最適値に近似するように推定値を探索するとの意味を含み、関数値が絶対的に最小、最適となる推定値を定めることに限られない。従って、「最小化」、「最適化」の過程において、それぞれ一時的に関数値が大きくなること、最適値から乖離することもありうる。推定部１２６は、定めたアレイ位置、アレイ方向、オフセット時間、および、音源の位置を示す推定情報を出力処理部１２８に出力する。
推定部１２６は、音源方向情報が示すマイクロホンアレイごとの観測音源方向と到達時間差情報が示すアレイ対ごとの観測到達時間差に基づいて、第１目的関数の関数値と第２目的関数の関数値が、それぞれ最小化されるように、推定値であるアレイ位置、アレイ方向、オフセット時間、および、音源の位置を定める。「最小化」において、例えば、勾配法が適用可能である。本願では、「最小化」、「最適化」とは、それぞれ、できるだけ関数値が小さくなる、最適値に近似するように推定値を探索するとの意味を含み、関数値が絶対的に最小、最適となる推定値を定めることに限られない。従って、「最小化」、「最適化」の過程において、それぞれ一時的に関数値が大きくなること、最適値から乖離することもありうる。推定部１２６は、定めたアレイ位置、アレイ方向、オフセット時間、および、音源の位置を示す推定情報を出力処理部１２８に出力する。
【0031】
出力処理部１２８は、推定部１２６から入力される推定情報の一部または全部を出力情報として、入出力部１１０を経由して出力先機器３０に出力する。
出力処理部１２８は、例えば、推定部１２６から推定情報が入力されるごとに、入力される推定情報のうち、所定の項目の情報（例えば、音源位置）を出力先機器３０に出力する（プッシュ型送信）。出力処理部１２８は、出力先機器３０から要求情報が入力されるとき、要求情報で指示される項目の情報を、その応答として出力先機器３０に出力してもよい（プル型送信）。出力処理部１２８は、入力された推定情報の一部または全部を外部機器に出力せずに、自装置の記憶媒体に記憶してもよい。
出力処理部１２８は、例えば、推定部１２６から推定情報が入力されるごとに、入力される推定情報のうち、所定の項目の情報（例えば、音源位置）を出力先機器３０に出力する（プッシュ型送信）。出力処理部１２８は、出力先機器３０から要求情報が入力されるとき、要求情報で指示される項目の情報を、その応答として出力先機器３０に出力してもよい（プル型送信）。出力処理部１２８は、入力された推定情報の一部または全部を外部機器に出力せずに、自装置の記憶媒体に記憶してもよい。
【0032】
（目的関数）
次に、本実施形態に係る目的関数について説明する。図２は、第１目的関数を説明するための説明図である。第１目的関数Ｌ１は、マイクロホンアレイＡｊからの音源Ｓｉの観測音源方向θｉ，ｊを示す方向ベクトルｄｉ，ｊが、式（１）に示すように、マイクロホンアレイＡｊの位置ａｊを基準とした音源Ｓｉの位置ｓｉへの方向ベクトルを、マイクロホンアレイＡｊの方向θｊで回転させて得られる単位ベクトルに相当するという関係に基づく。但し、図２に示す例では、マイクロホンアレイＡｊがｘ－ｙ直交座標系の原点に配置され、その方向θｊがｘ軸方向に向けられている。
次に、本実施形態に係る目的関数について説明する。図２は、第１目的関数を説明するための説明図である。第１目的関数Ｌ１は、マイクロホンアレイＡｊからの音源Ｓｉの観測音源方向θｉ，ｊを示す方向ベクトルｄｉ，ｊが、式（１）に示すように、マイクロホンアレイＡｊの位置ａｊを基準とした音源Ｓｉの位置ｓｉへの方向ベクトルを、マイクロホンアレイＡｊの方向θｊで回転させて得られる単位ベクトルに相当するという関係に基づく。但し、図２に示す例では、マイクロホンアレイＡｊがｘ－ｙ直交座標系の原点に配置され、その方向θｊがｘ軸方向に向けられている。
【0033】
【数1】
【0034】
式（１）において、Ｒｊは、マイクロホンアレイＡｊの方向θｊに係る回転行列を示す。二次元の回転行列は、式（２）に示される。…Ｔは、行列…またはベクトル…の転置を示す。ｓｉ‐ａｊは、マイクロホンアレイＡｊの位置ａｊを基準とする音源Ｓｉの位置ｓｉを示す位置ベクトルに相当する。｜｜…｜｜２は、ベクトル…の、Ｌ２ノルム、つまり、各次元の要素値の平方和の平方根を示す。
【0035】
【数2】
【0036】
式（１）の両辺に｜｜ｓｉ‐ｓｊ｜｜２を乗じ、さらに左辺を右辺に移項して、両辺を二乗して得られる関数Ｄのマイクロホンアレイ間の総和をとると第１目的関数Ｌ１が導かれる。但し、式（３）は、音源数Ｍが２以上の場合も含めて一般化されている。第１目的関数Ｌ１は、Ｍ個の音源間の総和をなしている。
【0037】
【数3】
【0038】
式（３）に示すように、第１目的関数Ｌ１は、マイクロホンアレイＡｊごとに、当該マイクロホンアレイＡｊを基準とする音源位置の座標値ｓｉ‐ａｊを当該マイクロホンアレイＡｊのアレイ方向θｊに回転させた位置の座標値である回転座標値Ｒｊ
Ｔ（ｓｉ‐ａｊ）と、原点から観測音源方向の方向ベクトルｄｉ，ｊに当該マイクロホンアレイＡｊから音源Ｓｉまでの距離｜｜ｓｉ‐ａｊ｜｜２に相当する距離だけ離れた位置の座標値である観測音源方向座標値ｄｉ，ｊ｜｜ｓｉ‐ａｊ｜｜２との差の大きさを示す関数値を与える関数である。つまり、第１目的関数Ｌ１は、マイクロホンアレイＡｊからの音源Ｓｉの観測音源方向θｉ，ｊと、マイクロホンアレイＡｊからの音源Ｓｉの位置ｓｉへの方向を、マイクロホンアレイＡｊの方向θｊで回転した方向との差分の大きさを示す指標値を与える関数である。
【0039】
式（１）は、アレイ位置の座標値ａｊから音源位置の座標値ｓｉの差分値を正規化して得られる単位ベクトルを、マイクロホンアレイＡｊの方向θｊで回転させて方向ベクトルｄｉ，ｊが得られることを示す。そのため、あるアレイ位置の座標値ａｊと音源位置の座標値ｓｉに共通の倍率α（αは、０以外の実数）で、それぞれ拡大または縮小した値であっても、式（１）が成立する。即ち、式（３）に示す第１目的関数Ｌ１を最小化して推定されるアレイ位置の座標値ａｊと音源位置の座標値ｓｉには、α倍の不定性が残される。倍率αは、座標スケールとも呼ばれる。倍率αを定めるためには、別個の拘束条件を用いる必要がある。例えば、別個の拘束条件としてマイクロホン間の音波の到達時間差とマイクロホン間距離など、が用いられうる。本実施形態では、次に説明する第２目的関数が別個の拘束条件の役割を担う。
【0040】
図３は、第２目的関数を説明するための説明図である。第２目的関数は、音源ＳｉからマイクロホンアレイＡｊへの音波の到達時刻と音源ｉからマイクロホンアレイＡｋへの観測到達時間差τｉ，（ｊ，ｋ）が、式（４）に示すように音源ＳｉからマイクロホンアレイＡｊへの音波の伝搬時間ｃ―１｜｜ｓｉ―ａｊ｜｜２と音源ＳｉからマイクロホンアレイＡｋへの音波の伝搬時間ｃ―１｜｜ｓｉ―ａｋ｜｜２との時間差と、マイクロホンアレイＡｊのオフセット時間δｊとマイクロホンアレイＡｋのオフセット時間δｋの時間差に相当するという関係に基づく。式（４）において、ｃは、音速を示す。
【0041】
【数4】
【0042】
式（４）の両辺に音速ｃを乗じ、さらに左辺を右辺に移項して得られる関数Ｔのアレイ対間の総和をとると第２目的関数Ｌ２が導かれる。但し、式（５）は、音源数Ｍが２以上の場合も含めて一般化されている。
【0043】
【数5】
【0044】
式（５）に示すように、第２目的関数Ｌ２は、２個のマイクロホンアレイＡｊ、Ａｋからなるアレイ対ごとに、当該アレイ対をなす一方のマイクロホンアレイＡｊから音源Ｓｉへの第１の距離｜｜ｓｉ－ａｊ｜｜２から、他方のマイクロホンアレイＡｋから音源Ｓｉへの第２の距離｜｜ｓｉ－ａｋ｜｜２の距離差と、一方のマイクロホンアレイＡｊのオフセット時間δｊから他方のマイクロホンアレイＡｋのオフセット時間δｋの時間差における音の進行距離ｃ（δｊ－δｋ）から当該アレイ対の観測到達時間差τｉ，（ｊ，ｋ）における音の進行距離ｃの距離差ｃτｉ，（ｊ，ｋ）との和の大きさを示す関数値を与える関数である。即ち、第２目的関数Ｌ２は、音源Ｓｉからの音波に対するマイクロホンアレイＡｊ、Ａｋ間の観測到達時間差τｉ，（ｊ，ｋ）から、音源ｉからマイクロホンアレイＡｊ、Ａｋのそれぞれへの音波の伝搬時間ｃ―１｜｜ｓｉ―ａｋ｜｜２の時間差と、マイクロホンアレイＡｊのオフセット時間δｊからマイクロホンアレイＡｋのオフセット時間δｋの時間差との差分の大きさを示す指標値を与える関数である。
【0045】
ところで、式（４）は、音源ｉからマイクロホンアレイＡｊへの距離｜｜ｓｉ―ａｊ｜｜２と音源ｉからマイクロホンアレイＡｋへの距離｜｜ｓｉ―ａｋ｜｜２との距離差における音の到達時間差と、マイクロホンアレイＡｊのオフセット時間δｊとマイクロホンアレイＡｋのオフセット時間δｋの時間差（δｊ－δｋ）の和が観測到達時間差τｉ，（ｊ，ｋ）として得られることを示す。そのため、マイクロホンアレイＡｊから音源Ｓｉの方向を示す方向ベクトルｄｉ，ｊに、マイクロホンアレイ間で共通の回転行列γが乗じられた値であっても式（４）が成立する。即ち、式（５）に示す第２目的関数Ｌ２を最小化して推定される個々の方向ベクトルｄｉ，ｊには回転に対する不定性が含まれる。回転行列γを定めるためには、別個の拘束条件を用いる必要がある。例えば、別個の拘束条件として個々の音源の位置が用いられうる。なお、未知数と第２目的関数Ｌ２から導出される方程式の数が一致するように、マイクロホンアレイ数Ｎ、音源数Ｍを定めておけば、解析的に推定情報が定まるはずである。しかしながら、観測到達時間差τｉ，（ｊ，ｋ）に含まれる誤差は、推定情報の精度を低下させる要因となる。このことは、観測音源方向θｉ，ｊに対しても当てはまる。
【0046】
第１目的関数Ｌ１、第２目的関数Ｌ２に基づく方程式は、いずれも非線形方程式であり、複数の局所最適解が存在する。そのため、局所最適解への収束を回避することが望まれる。本実施形態では、解の不定性が異なる第１目的関数Ｌ１と第２目的関数Ｌ２の両者に基づいて推定情報を求めることができる。第１目的関数Ｌ１と第２目的関数Ｌ２の一方が他方に対する拘束条件として作用することで、局所最適解を回避することが期待される。
【0047】
（推定処理）
次に、第１目的関数Ｌ１と第２目的関数Ｌ２の両者を用いて、推定情報を推定する手法について説明する。推定情報は、マイクロホンアレイごとの位置、方向、ならびに、オフセット時間、および音源位置となる。ここで、個々のマイクロホンアレイの位置、方向、オフセット時間は、基準とする所定のマイクロホンアレイ（例えば、マイクロホンアレイＡ１）の位置、方向、オフセット時間との相対値であればよい。また、二次元空間では、２個の座標値で１個の位置が表現される。そのため、推定情報をなす未知数の個数は、音源の位置について２Ｍ個、マイクロホンアレイの位置として２（Ｎ－１）個、マイクロホンアレイの向きとしてＮ－１個、マイクロホンアレイのオフセット時間としてＮ－１個となる。推定情報の推定においては、連立する方程式の個数が未知数の個数２Ｍ＋４（Ｎ－１）と等しいか、より多くする必要がある。連立する方程式は、計算に用いる目的関数をいずれかの未知数で偏微分して得られる導関数を０とする方程式である。例えば、Ｎ＝３の場合、後述する手法１、手法２、手法３のそれぞれについて、必要とする音源数は、それぞれ３、３、６となる。
次に、第１目的関数Ｌ１と第２目的関数Ｌ２の両者を用いて、推定情報を推定する手法について説明する。推定情報は、マイクロホンアレイごとの位置、方向、ならびに、オフセット時間、および音源位置となる。ここで、個々のマイクロホンアレイの位置、方向、オフセット時間は、基準とする所定のマイクロホンアレイ（例えば、マイクロホンアレイＡ１）の位置、方向、オフセット時間との相対値であればよい。また、二次元空間では、２個の座標値で１個の位置が表現される。そのため、推定情報をなす未知数の個数は、音源の位置について２Ｍ個、マイクロホンアレイの位置として２（Ｎ－１）個、マイクロホンアレイの向きとしてＮ－１個、マイクロホンアレイのオフセット時間としてＮ－１個となる。推定情報の推定においては、連立する方程式の個数が未知数の個数２Ｍ＋４（Ｎ－１）と等しいか、より多くする必要がある。連立する方程式は、計算に用いる目的関数をいずれかの未知数で偏微分して得られる導関数を０とする方程式である。例えば、Ｎ＝３の場合、後述する手法１、手法２、手法３のそれぞれについて、必要とする音源数は、それぞれ３、３、６となる。
【0048】
推定情報を推定する手法は、次の手法１ないし手法３のいずれであってもよい。
手法１は、第１目的関数Ｌ１と第２目的関数Ｌ２を連立して推定情報を推定する手法である。本願では、手法１を、単に「連立評価」（simultaneous evaluation）と呼ぶことがある。より具体的には、手法１は、式（６）に示す連立目的関数Ｓがより小さくなるように推定情報を推定する手法である。連立目的関数Ｈは、式（６）に示されるように、第１目的関数Ｌ１と第２目的関数Ｌ２の和に相当する目的関数である。第１目的関数Ｌ１と第２目的関数Ｌ２は、いずれも推定情報が正しく推定されるほど、０に近似する関数値を与える関数であるため、これらの和である連立目的関数Ｈも推定情報が正しく推定されるほど０に近似することが期待される。手法１によれば、１回の計算で用いられる方程式の数が多くなるので、推定に係る音源数が他の手法よりも少なくなる。連立目的関数Ｈの導関数を０とする方程式の数は、Ｍ（２Ｎ－１）本となる。
手法１は、第１目的関数Ｌ１と第２目的関数Ｌ２を連立して推定情報を推定する手法である。本願では、手法１を、単に「連立評価」（simultaneous evaluation）と呼ぶことがある。より具体的には、手法１は、式（６）に示す連立目的関数Ｓがより小さくなるように推定情報を推定する手法である。連立目的関数Ｈは、式（６）に示されるように、第１目的関数Ｌ１と第２目的関数Ｌ２の和に相当する目的関数である。第１目的関数Ｌ１と第２目的関数Ｌ２は、いずれも推定情報が正しく推定されるほど、０に近似する関数値を与える関数であるため、これらの和である連立目的関数Ｈも推定情報が正しく推定されるほど０に近似することが期待される。手法１によれば、１回の計算で用いられる方程式の数が多くなるので、推定に係る音源数が他の手法よりも少なくなる。連立目的関数Ｈの導関数を０とする方程式の数は、Ｍ（２Ｎ－１）本となる。
【0049】
【数6】
【0050】
本実施形態に係る手法２は、第１目的関数Ｌ１と第２目的関数Ｌ２を統合して得られる統合目的関数Ｉの関数値がより小さくなるように推定情報を定める手法である。本願では、手法２を、「目的関数の統合」（integration of objective functions）と呼ぶことがある。統合目的関数Ｉは、式（７）に示される。統合目的関数Ｉは、第１目的関数Ｌ１と第２目的関数Ｌ２に共通する｜｜ｓｉ－ａｊ｜｜２に係る項を、第１目的関数Ｌ１から消去して得られる。第１目的関数Ｌ１と第２目的関数Ｌ２は、いずれも推定情報が正確に推定されるほど、０に近似する関数値を与える関数であるため、これらから導出される統合目的関数Ｉも推定情報が正しく推定されるほど０に近似する。手法２も、統合目的関数Ｉの導関数を０とする方程式の数は、Ｍ（２Ｎ－１）本となる。
【0051】
【数7】
【0052】
式（７）に示す統合目的関数Ｉは、第１の位置Ｒｊ
Ｔ（ｓｉ－ａｊ）から第２の位置ｄｉ，ｊ（｜｜ｓｉ－ａｋ｜｜２－ｃδｉ＋ｃδｋ＋ｃτｉ，（ｊ，ｋ））の距離の大きさのアレイ対間の総和に相当する。第１の位置Ｒｊ
Ｔ（ｓｉ－ａｊ）は、マイクロホンアレイＡｊを基準とする音源の位置ａｊを当該マイクロホンアレイＡｊの方向θｊに回転させた位置に相当する。第２の位置ｄｉ，ｊ（｜｜ｓｉ－ａｋ｜｜２－ｃδｉ＋ｃδｋ＋ｃτｉ，（ｊ，ｋ））は、アレイ対の一方のマイクロホンアレイＡｊから方向ベクトルｄｉ，ｊで示される観測音源方向に、当該アレイ対の他方のマイクロホンアレイＡｋから音源Ｓｉまでの距離｜｜ｓｉ－ａｋ｜｜２から、一方のマイクロホンアレイＡｊのオフセット時間δｊから他方のマイクロホンアレイＡｋのオフセット時間δｋの時間差分δｊ－δｋにおける音の伝搬距離ｃ（δｊ－δｋ）の差分に相当する距離｜｜ｓｉ－ａｋ｜｜２－ｃδｉ＋ｃδｋ＋ｃτｉ，（ｊ，ｋ）だけ離れた位置に相当する。
【0053】
本実施形態に係る手法３は、第１目的関数Ｌ１の関数値をより小さくするように推定情報を更新する処理３－１と、第２目的関数Ｌ２の関数値をより小さくするように推定情報を更新する処理３－２とを交互に繰り返す手法である。本願では、手法３を、「繰り返し推定」（iteration）と呼ぶことがある。処理３－１では、マイクロホンアレイの時間オフセットは推定されない。そのため、未知数の数は、２Ｍ＋３Ｎ－３個となる。これに対し、第１目的関数Ｌ１の導関数を０とする方程式の数はＭＮ本となる。処理３－２では、マイクロホンアレイの方向が推定されない。そのため、未知数の数は、Ｍ＋３Ｎ－３個となる。これに対し、第２目的関数Ｌ２の導関数を０とする方程式の数は、Ｍ（Ｎ－１）本となる。なお、処理３－１と処理３－２の繰り返しにおいて、処理３－２を処理３－１よりも先行してもよい。第１目的関数Ｌ１の方が未知数の数に対する方程式の数が多いので、第２目的関数Ｌ２よりも安定的に解を求めるための条件が厳しいためである。
【0054】
次に、本実施形態に係る推定処理について説明する。図４は、本実施形態に係る推定処理の第１例を示すフローチャートである。図４に示す処理は、ステップＳ１０８において手法１を用いて推定情報を定める処理を含む。
（ステップＳ１０２）音源方向観測部１２２は、マイクロホンアレイＡごとに複数チャネルの音響信号に基づいて観測音源方向を定める。
（ステップＳ１０４）到達時間差観測部１２４は、アレイ対ごとに音源から個々のマイクロホンアレイに音が到達する時刻の差である観測到達時間差を定める。
（ステップＳ１０６）推定部１２６は、未知数であるマイクロホンアレイの位置、方向ならびにオフセット時間、および音源位置の初期値を定める。
（ステップＳ１０２）音源方向観測部１２２は、マイクロホンアレイＡごとに複数チャネルの音響信号に基づいて観測音源方向を定める。
（ステップＳ１０４）到達時間差観測部１２４は、アレイ対ごとに音源から個々のマイクロホンアレイに音が到達する時刻の差である観測到達時間差を定める。
（ステップＳ１０６）推定部１２６は、未知数であるマイクロホンアレイの位置、方向ならびにオフセット時間、および音源位置の初期値を定める。
【0055】
（ステップＳ１０８）推定部１２６は、第１目的関数Ｌ１と第２目的関数Ｌ２の合計値を与える連立目的関数Ｈがより小さくなるように、マイクロホンアレイの位置、方向ならびにオフセット時間、および音源位置を更新する。
（ステップＳ１１０）推定部１２６は、マイクロホンアレイの位置、方向ならびにオフセット時間、および音源位置が収束したか否かを判定する。推定部１２６は、例えば、更新前における目的関数と更新後における目的関数、または、いずれかの推定値の差分の大きさが、所定の差分の大きさの閾値以下となったか否かに基づいて、収束したか否かを判定することができる。収束していないと判定するとき（ステップＳ１１０ ＮＯ）、ステップＳ１０８の処理に戻る。収束したと判定するとき（ステップＳ１１０ ＹＥＳ）、ステップＳ１１２の処理に進む。
（ステップＳ１１２）出力処理部１１２は、推定値となるマイクロホンアレイの位置、方向ならびにオフセット時間、および音源位置の一部または全部を示す出力情報を出力先機器３０に出力する。その後、図４に示す処理を終了する。
（ステップＳ１１０）推定部１２６は、マイクロホンアレイの位置、方向ならびにオフセット時間、および音源位置が収束したか否かを判定する。推定部１２６は、例えば、更新前における目的関数と更新後における目的関数、または、いずれかの推定値の差分の大きさが、所定の差分の大きさの閾値以下となったか否かに基づいて、収束したか否かを判定することができる。収束していないと判定するとき（ステップＳ１１０ ＮＯ）、ステップＳ１０８の処理に戻る。収束したと判定するとき（ステップＳ１１０ ＹＥＳ）、ステップＳ１１２の処理に進む。
（ステップＳ１１２）出力処理部１１２は、推定値となるマイクロホンアレイの位置、方向ならびにオフセット時間、および音源位置の一部または全部を示す出力情報を出力先機器３０に出力する。その後、図４に示す処理を終了する。
【0056】
図５は、本実施形態に係る推定処理の第２例を示すフローチャートである。図５に示す処理は、ステップＳ１０２、Ｓ１０４、Ｓ１０６、Ｓ１１０、Ｓ１１２、およびＳ１０８’の処理を有する。図４に示す処理は、ステップＳ１０８’において手法２を用いて推定情報を定める処理を含む。ステップＳ１０２、Ｓ１０４、Ｓ１０６、Ｓ１１０、およびＳ１１２については、図４の説明を援用する。図５に示す処理では、ステップＳ１０６の終了後、ステップＳ１０８’の処理に進む。
【0057】
（ステップＳ１０８’）推定部１２６は、第１目的関数Ｌ１と第２目的関数Ｌ２を統合して得られる統合目的関数Ｉの関数値がより小さくなるようにマイクロホンアレイの位置、方向ならびにオフセット時間、および音源位置を更新する。統合目的関数Ｉは、第１の位置から第２の位置の距離の大きさのアレイ対間の総和に相当する。第１の位置は、マイクロホンアレイを基準とする音源の位置を当該マイクロホンアレイの方向に回転させた位置に相当する。第２の位置は、アレイ対の一方のマイクロホンアレイから観測音源方向に、当該アレイ対の他方のマイクロホンアレイから音源までの距離から、一方のマイクロホンアレイのオフセット時間から他方のマイクロホンアレイのオフセット時間の時間差分における音の伝搬距離の差分に相当する距離だけ離れた位置に相当する。その後、ステップＳ１１０の処理に進む。
【0058】
図６は、本実施形態に係る推定処理の第３例を示すフローチャートである。図５に示す処理は、ステップＳ１０２、Ｓ１０４、Ｓ１０６、Ｓ１１０、Ｓ１１２、Ｓ１０８’’、およびＳ１０９の処理を有する。図６に示す処理は、ステップＳ１０８’’およびＳ１０９において手法３を用いて推定情報を定める処理を含む。ステップＳ１０２、Ｓ１０４、Ｓ１０６、Ｓ１１０、およびＳ１１２については、図４の説明を援用する。図６に示す処理では、ステップＳ１０６の終了後、ステップＳ１０８’’の処理に進む。
【0059】
（ステップＳ１０８’’）推定部１２６は、第２目的関数Ｌ２の関数値をより小さくするようにマイクロホンアレイの位置、方向ならびにオフセット時間、および音源位置を更新する。
（ステップＳ１０９）推定部１２６は、第１目的関数Ｌ１の関数値をより小さくするようにマイクロホンアレイの位置、方向ならびにオフセット時間、および音源位置を更新する。その後、ステップＳ１１０の処理に進む。
（ステップＳ１０９）推定部１２６は、第１目的関数Ｌ１の関数値をより小さくするようにマイクロホンアレイの位置、方向ならびにオフセット時間、および音源位置を更新する。その後、ステップＳ１１０の処理に進む。
【0060】
なお、図４－図６に示す処理において、ステップＳ１１０の処理が省略される代わりに、ステップＳ１０８の処理、ステップＳ１０８’の処理、または、ステップＳ１０８’’ならびにステップＳ１０９の処理が所定回数繰り返された後で、ステップＳ１１２の処理に進んでもよい。
【0061】
（音源定位）
次に、音源定位の手法であるＭＵＳＩＣ法とＷＤＳ－ＢＦ法について説明する。
ＭＵＳＩＣ法は、空間スペクトルのパワーＰｅｘｔ（θ）が極大であって、所定のレベルよりも高い方向θを定位音源方向として定める手法である。音源方向観測部１２２には、予め所定の間隔（例えば、１°～３°）で分布した方向θごとの伝達関数を記憶させておく。
次に、音源定位の手法であるＭＵＳＩＣ法とＷＤＳ－ＢＦ法について説明する。
ＭＵＳＩＣ法は、空間スペクトルのパワーＰｅｘｔ（θ）が極大であって、所定のレベルよりも高い方向θを定位音源方向として定める手法である。音源方向観測部１２２には、予め所定の間隔（例えば、１°～３°）で分布した方向θごとの伝達関数を記憶させておく。
【0062】
音源方向観測部１２２は、音源から各チャネルｑ（ｑは、１以上Ｑ以下の整数）に対応するマイクロホンまでの伝達関数Ｇ［ｑ］（ω）を要素とする伝達関数ベクトル［Ｇ（θ）］を方向θごとに生成する。
音源方向観測部１２２は、各チャネルｑの音響信号ξｑを所定の要素数からなるフレームごとに周波数領域に変換することによって変換係数ξｑ（ω）を算出する。音源方向観測部１２２は、算出した変換係数を要素として含む入力ベクトル［ξ（ω）］から式（８）に示す入力相関行列［Ｒξξ］を算出する。
音源方向観測部１２２は、各チャネルｑの音響信号ξｑを所定の要素数からなるフレームごとに周波数領域に変換することによって変換係数ξｑ（ω）を算出する。音源方向観測部１２２は、算出した変換係数を要素として含む入力ベクトル［ξ（ω）］から式（８）に示す入力相関行列［Ｒξξ］を算出する。
【0063】
【数8】
【0064】
式（８）において、Ｅ［…］は、…の期待値を示す。［…］は、…が行列またはベクトルであることを示す。［…］＊は、行列またはベクトルの共役転置を示す。
音源方向観測部１２２は、入力相関行列［Ｒξξ］の固有値δｐおよび固有ベクトル［εｐ］を算出する。入力相関行列［Ｒξξ］、固有値δｐ、および固有ベクトル［ξｐ］は、式（９）に示す関係を有する。
音源方向観測部１２２は、入力相関行列［Ｒξξ］の固有値δｐおよび固有ベクトル［εｐ］を算出する。入力相関行列［Ｒξξ］、固有値δｐ、および固有ベクトル［ξｐ］は、式（９）に示す関係を有する。
【0065】
【数9】
【0066】
式（９）において、ｐは、１以上Ｑ以下の整数である。インデックスｐの順序は、固有値δｐの降順である。
音源方向観測部１２２は、伝達関数ベクトル［Ｇ（θ）］と算出した固有ベクトル［εｐ］に基づいて、次式（１０）に示す周波数別空間スペクトルのパワーＰｓｐ（θ）を算出する。
音源方向観測部１２２は、伝達関数ベクトル［Ｇ（θ）］と算出した固有ベクトル［εｐ］に基づいて、次式（１０）に示す周波数別空間スペクトルのパワーＰｓｐ（θ）を算出する。
【0067】
【数10】
【0068】
式（１０）において、Ｄｍは、検出可能とする音源の最大個数（例えば、４）であって、Ｑよりも小さい予め定めた自然数である。
音源方向観測部１２２は、Ｓ／Ｎ比が予め定めた閾値（例えば、２０ｄＢ）よりも大きい周波数帯域における空間スペクトルＰｓｐ（θ）の総和を全帯域の空間スペクトルのパワーＰｅｘｔ（θ）として算出することができる。
音源方向観測部１２２は、Ｓ／Ｎ比が予め定めた閾値（例えば、２０ｄＢ）よりも大きい周波数帯域における空間スペクトルＰｓｐ（θ）の総和を全帯域の空間スペクトルのパワーＰｅｘｔ（θ）として算出することができる。
【0069】
次に、ＷＤＳ－ＢＦ法について説明する。ＷＤＳ－ＢＦ法は、式（１１）に示すように各チャネルｑの全帯域の音響信号ξｑ（ｔ）の遅延和の二乗値を空間スペクトルのパワーＰｅｘｔ（θ）として算出し、空間スペクトルのパワーＰｅｘｔ（θ）が極大となる音源方向θを探索する手法である。式（１１）において［Ｇ（θ）］の各要素が示す伝達関数は、音源から各チャネルｑ（ｑは、１以上Ｑ以下の整数）に対応するマイクロホンまでの位相の遅延による寄与を示す。［ξ（ｔ）］は、時刻ｔの時点における各チャネルｑの音響信号ξｑ（ｔ）の信号値を要素とするベクトルである。
【0070】
【数11】
【0071】
（シミュレーション）
次に、音響処理装置１０の有効性を評価するために実施したシミュレーションについて説明する。シミュレーションでは、手法１－手法３に加え、従来手法のそれぞれについて推定情報を推定した。従来手法は、第１目的関数Ｌ１の関数値がより小さくなるように、マイクロホンアレイごとの位置ならびに方向、および音源位置を推定する手法である。この段階では、マイクロホンアレイの時間オフセットは推定対象とならない。従来手法では、推定されたマイクロホンアレイの位置ならびに方向、および音源位置から、マイクロホンアレイにおけるマイクロホン間の音波の到達時間差とマイクロホン間距離を拘束条件として用いて、マイクロホンアレイごとの時間オフセットを算出することができる。
次に、音響処理装置１０の有効性を評価するために実施したシミュレーションについて説明する。シミュレーションでは、手法１－手法３に加え、従来手法のそれぞれについて推定情報を推定した。従来手法は、第１目的関数Ｌ１の関数値がより小さくなるように、マイクロホンアレイごとの位置ならびに方向、および音源位置を推定する手法である。この段階では、マイクロホンアレイの時間オフセットは推定対象とならない。従来手法では、推定されたマイクロホンアレイの位置ならびに方向、および音源位置から、マイクロホンアレイにおけるマイクロホン間の音波の到達時間差とマイクロホン間距離を拘束条件として用いて、マイクロホンアレイごとの時間オフセットを算出することができる。
【0072】
シミュレーションでは、特に断らない限り次の条件を仮定した。一辺の長さが１２０ｍである正方形の二次元空間において、各音源の位置と各マイクロホンの位置がランダムに分布し、各マイクロホンアレイの方向が－１８０°から＋１８０°までの全周にわたりランダムに向けられている。各音源の位置、各マイクロホンの位置、および各マイクロホンアレイの方向の真値を、それぞれ一様乱数を用いて定めた。但し、マイクロホンアレイＡ１の位置が原点（０，０）に、ｘ軸方向（θ＝０°）に向けられている。また、各マイクロホンアレイの時間オフセットの真値が平均０、標準偏差σｂとなる正規分布に従って分布している。さらに、観測音源方向に平均０、標準偏差σｄとなる正規分布に従う誤差が含まれ、観測到達時間差に平均０、標準偏差στとなる正規分布で従う誤差が含まれる。なお、音源数Ｍを４または７とし、マイクロホンアレイ数Ｎを３とし、音響信号のサンプリング周波数ｆｓを１６０００Ｈｚとした。音源方向推定分解能ρｄを１°とし、音源方向推定の標準偏差σｄを２°とし、到達時間差の標準偏差στを１ｍｓとし、時間オフセットの標準偏差σδを１０°とした。
【0073】
シミュレーションでは、各手法の有効性を検証するため、推定値の更新ステップごとに推定したマイクロホンアレイと音源の位置の誤差と、位置が収束するまでに要した時間を計算時間として定めた。但し、マイクロホンアレイ、音源それぞれの二乗平均誤差を１回のシミュレーションごとに定め、１００回にわたる平均値を誤差平均として算出した。図１０は、手法ごとの誤差平均の変化を示す図である。図１０は、手法２での誤差平均が最も小さく、手法１、手法３の順に誤差平均が大きくなることを示す。手法１から手法３のいずれも従来手法よりも誤差平均が小さくなった。従来手法では、計算が進行しても誤差平均が低下せずに、ほぼ一定値に収束する。このことは、局所最適解に陥っていることを示す。また、収束後の誤差平均は、手法１と手法２とで同等となる。このことは、第１目的関数Ｌ１と第２目的関数Ｌ２を連立または統合することで、高い精度でマイクロホンアレイと音源のそれぞれの位置を推定することを示す。図１１は、手法ごとの平均計算時間を示す図である。図１１は、手法２の計算時間が最も少なく、従来手法、手法１、手法３の順に計算時間が多くなることを示す。但し、手法２、従来手法、手法１の相互間では計算時間の差は比較的少ない。
【0074】
また、三次元空間を仮定して手法１と手法２をそれぞれ用いて同様のシミュレーションを行った。一辺の長さが１２０ｍとなる立方体をなす三次元空間において、マイクロホンアレイと音源がランダムに分布し、全球面内にマイクロホンアレイの方向がランダムに向けられていることを仮定した。図１２は、三次元空間におけるステップごとの誤差平均の変化を示す図である。図１２は、手法１、手法２ともにシミュレーション当初において一時的に誤差平均が増加するが、その後、減少に転じ、ある一定値まで低下して収束する。三次元空間での誤差平均は、二次元空間と同等またはそれ以下となった。但し、図１３に示すように、三次元空間ではシミュレーション開始から収束までに要する計算時間が二次元空間よりも増加する傾向がある。
【0075】
（総括）
以上に説明したように、本実施形態に係る音響処理装置１０は、第１の目的関数（例えば、第１目的関数Ｌ１）の関数値と、第２の目的関数（例えば、第２目的関数Ｌ２）の関数値が、それぞれより小さくなるように、Ｎ個のマイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置を定める推定部１２６を備える。第１の目的関数は、Ｎ個のマイクロホンアレイのそれぞれについて定めた音源方向である観測音源方向と、当該マイクロホンアレイからの音源の方向を当該マイクロホンアレイの方向で回転した方向との差分である方向差分の大きさを示す。第２の目的関数の関数値は、Ｎ個のうち２個のマイクロホンアレイの対ごとに定めた音源からの音の到達時間差である観測到達時間差から、音源から個々のマイクロホンアレイへの音波の伝搬時間の時間差と、個々のマイクロホンアレイのオフセット時間の時間差との差分である時間差分の大きさを示す。
この構成によれば、第１の目的関数と第２の目的関数に対して、それぞれ第２の目的関数と第１の目的関数が拘束条件となるため、第１の目的関数に基づいて推定されるマイクロホンアレイの位置と音源の位置に含まれうる解の不定性と、第２の目的関数に基づいて推定されるマイクロホンアレイから音源の方向に含まれうる解の不定性が解消される。ここで、第１の目的関数に基づいて推定されるマイクロホンアレイの位置と音源の位置には、それぞれ大きさに対する不定性が含まれるが、マイクロホンアレイから音源の方向の回転に対する不定性は含まれない。第２の目的関数に基づいて推定されるマイクロホンアレイから音源の方向の回転に対する不定性が含まれるが、マイクロホンアレイの位置と音源の大きさに対する不定性は含まれない。そのため、第１の目的関数と第２の目的関数のそれぞれの関数値をより小さくすることで、局所最適解を回避して、より正確にマイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置を定めることができる。
以上に説明したように、本実施形態に係る音響処理装置１０は、第１の目的関数（例えば、第１目的関数Ｌ１）の関数値と、第２の目的関数（例えば、第２目的関数Ｌ２）の関数値が、それぞれより小さくなるように、Ｎ個のマイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置を定める推定部１２６を備える。第１の目的関数は、Ｎ個のマイクロホンアレイのそれぞれについて定めた音源方向である観測音源方向と、当該マイクロホンアレイからの音源の方向を当該マイクロホンアレイの方向で回転した方向との差分である方向差分の大きさを示す。第２の目的関数の関数値は、Ｎ個のうち２個のマイクロホンアレイの対ごとに定めた音源からの音の到達時間差である観測到達時間差から、音源から個々のマイクロホンアレイへの音波の伝搬時間の時間差と、個々のマイクロホンアレイのオフセット時間の時間差との差分である時間差分の大きさを示す。
この構成によれば、第１の目的関数と第２の目的関数に対して、それぞれ第２の目的関数と第１の目的関数が拘束条件となるため、第１の目的関数に基づいて推定されるマイクロホンアレイの位置と音源の位置に含まれうる解の不定性と、第２の目的関数に基づいて推定されるマイクロホンアレイから音源の方向に含まれうる解の不定性が解消される。ここで、第１の目的関数に基づいて推定されるマイクロホンアレイの位置と音源の位置には、それぞれ大きさに対する不定性が含まれるが、マイクロホンアレイから音源の方向の回転に対する不定性は含まれない。第２の目的関数に基づいて推定されるマイクロホンアレイから音源の方向の回転に対する不定性が含まれるが、マイクロホンアレイの位置と音源の大きさに対する不定性は含まれない。そのため、第１の目的関数と第２の目的関数のそれぞれの関数値をより小さくすることで、局所最適解を回避して、より正確にマイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置を定めることができる。
【0076】
推定部１２６は、第１の目的関数の関数値と、第２の目的関数の関数値との合計値が、より小さくなるように、マイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置を定めてもよい。
第１の目的関数の関数値と、第２の目的関数の関数値との合計値も、推定されたマイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置の正確性を示す指標となる。また、推定されるマイクロホンアレイの位置、音源の位置、およびマイクロホンアレイから音源の方向には不定性が含まれない。そのため、局所最適解を回避して、より正確にマイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置を定めることができる。
第１の目的関数の関数値と、第２の目的関数の関数値との合計値も、推定されたマイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置の正確性を示す指標となる。また、推定されるマイクロホンアレイの位置、音源の位置、およびマイクロホンアレイから音源の方向には不定性が含まれない。そのため、局所最適解を回避して、より正確にマイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置を定めることができる。
【0077】
推定部１２６は、第１の位置から第２の位置の距離のマイクロホンアレイの対間の総和が、より小さくなるように、マイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置を定めてもよい。第１の位置は、マイクロホンアレイを基準とする音源の位置を当該マイクロホンアレイの方向に回転させた位置であり、第２の位置は、マイクロホンアレイの対の一方のマイクロホンアレイから観測音源方向に、当該対の他方のマイクロホンアレイから音源までの距離から、時間差分における音の伝搬距離の差分に相当する距離離れた位置である。
第１の位置から第２の位置の距離のマイクロホンアレイの対間の総和も、推定されたマイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置の正確性を示す指標となる。また、推定されるマイクロホンアレイの位置、音源の位置、およびマイクロホンアレイから音源の方向には不定性が含まれない。そのため、局所最適解を回避して、より正確にマイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置を定めることができる。
第１の位置から第２の位置の距離のマイクロホンアレイの対間の総和も、推定されたマイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置の正確性を示す指標となる。また、推定されるマイクロホンアレイの位置、音源の位置、およびマイクロホンアレイから音源の方向には不定性が含まれない。そのため、局所最適解を回避して、より正確にマイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置を定めることができる。
【0078】
推定部１２６は、第１の目的関数の関数値がより小さくなるように、マイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置を更新するステップと、
第２の目的関数の関数値がより小さくなるように、マイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置を更新するステップと、を交互に実行してもよい。
第１の目的関数の関数値をより小さくするステップと、第２の目的関数の関数値をより小さくするステップとが交互に実行されるので、いずれかのステップが継続して生じうる局所最適解と解の不定性を回避することができる。そのため、より正確にマイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置を定めることができる。
第２の目的関数の関数値がより小さくなるように、マイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置を更新するステップと、を交互に実行してもよい。
第１の目的関数の関数値をより小さくするステップと、第２の目的関数の関数値をより小さくするステップとが交互に実行されるので、いずれかのステップが継続して生じうる局所最適解と解の不定性を回避することができる。そのため、より正確にマイクロホンアレイの位置、方向、ならびにオフセット時間、および、音源の位置を定めることができる。
【0079】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【0080】
例えば、音響処理装置１０は、Ｎ個のうち、少なくとも１個のマイクロホンアレイと一体に構成されていてもよい。
上記の説明では、音響処理装置１０が音源方向観測部１２２、到達時間差観測部１２４、および推定部１２６をいずれも備える場合を例にしたが、これには限られない。例えば、音響処理装置１０において音源方向観測部１２２と到達時間差観測部１２４の一方または両方が省略されていてもよい。但し、音響処理システムＳ１において、その一方または両方が備わり、音響処理装置１０と各種のデータを入出力可能とする。
上記の説明では、音響処理装置１０が音源方向観測部１２２、到達時間差観測部１２４、および推定部１２６をいずれも備える場合を例にしたが、これには限られない。例えば、音響処理装置１０において音源方向観測部１２２と到達時間差観測部１２４の一方または両方が省略されていてもよい。但し、音響処理システムＳ１において、その一方または両方が備わり、音響処理装置１０と各種のデータを入出力可能とする。
【0081】
図９に示す例では、個々のマイクロホンアレイＡ１－ＡＮにそれぞれ音源方向観測部１２２－１～１２２－Ｎが接続され、音響処理装置１０において音源方向観測部１２２が省略されている。音源方向観測部１２２－１～１２２－Ｎは、それぞれマイクロホンアレイＡ１～ＡＮと一体化されてもよいし、別体であってもよい。
音源方向観測部１２２－１～１２２－Ｎは、それぞれ自部に接続されるマイクロホンアレイＡ１～ＡＮが取得した複数チャネルの音響信号に基づいて、音源定位処理を行って個々の音源の音源方向を定める。音源方向観測部１２２－１～１２２－Ｎは、それぞれ定めた音源方向を観測音源方向として示す音源方向情報を推定部１２６に出力する。
音源方向観測部１２２－１～１２２－Ｎは、それぞれ自部に接続されるマイクロホンアレイＡ１～ＡＮが取得した複数チャネルの音響信号に基づいて、音源定位処理を行って個々の音源の音源方向を定める。音源方向観測部１２２－１～１２２－Ｎは、それぞれ定めた音源方向を観測音源方向として示す音源方向情報を推定部１２６に出力する。
【0082】
なお、上述した実施形態における音響処理装置１０の一部、例えば、音源方向観測部１２２、到達時間差観測部１２４、推定部１２６、および出力処理部１２８の一部または全部をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムを、プロセッサを含むコンピュータシステムに読み込ませ、実行することによって実現してもよい。
また、上述した実施形態及び変形例における音響処理装置１０の一部、または全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。音響処理装置１０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
また、上述した実施形態及び変形例における音響処理装置１０の一部、または全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。音響処理装置１０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【符号の説明】
【0083】
Ｓ１…音響処理システム、１０…音響処理装置、１１０…入出力部、１２０…制御部、１２２…音源方向観測部、１２４…到達時間差観測部、１２６…推定部、１２８…出力処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】