特開2024-110015収音装置、収音プログラム、収音方法、判定装置、判定プログラム及び判定方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024110015
(43)【公開日】2024-08-15
(54)【発明の名称】収音装置、収音プログラム、収音方法、判定装置、判定プログラム及び判定方法
(51)【国際特許分類】
H04R 3/00 20060101AFI20240807BHJP
H04R 1/40 20060101ALI20240807BHJP
【ＦＩ】
H04R3/00 320
H04R1/40 320A
【審査請求】有
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023006668
(22)【出願日】2023-01-19
(11)【特許番号】
(45)【特許公報発行日】2024-08-06
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究の成果に係る特許出願（国立研究開発法人情報通信研究機構「高度通信・放送研究開発委託研究／革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発 課題オ 超臨場感コミュニケーションシステム」、産業技術力強化法第１７条の適用を受ける特許出願）
(71)【出願人】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100180275
【弁理士】
【氏名又は名称】吉田 倫太郎
(74)【代理人】
【識別番号】100161861
【弁理士】
【氏名又は名称】若林 裕介
(72)【発明者】
【氏名】原 宗大
【テーマコード（参考）】
5D018
5D220
【Ｆターム（参考）】
5D018BB22
5D220BA06
5D220BA11
5D220BB01
5D220BC05
(57)【要約】
【課題】 環境が変化する場合でも、エリア収音処理した結果に対する目的エリア音の有無を判定する処理を安定的に行う。
【解決手段】 本発明は、目的エリアを音源とする音を収音する収音装置に関する。そして、本発明の収音装置は、複数のマイクロホンアレイのビームフォーマ出力に基づいて目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得し、抽出音に基づく判定値と閾値との比較結果に基づいて目的エリア音有り状態又は目的エリア音無し状態を判定し、目的エリア音有り状態の区間の抽出音を出力し、目的エリア音有り状態と判定された区間の抽出音と目的エリア音無し状態の入力信号とに基づいてＳＮＲの推定値を算出し、ＳＮＲの推定値に基づいて閾値を決定することを特徴とする。
【選択図】 図１
【解決手段】 本発明は、目的エリアを音源とする音を収音する収音装置に関する。そして、本発明の収音装置は、複数のマイクロホンアレイのビームフォーマ出力に基づいて目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得し、抽出音に基づく判定値と閾値との比較結果に基づいて目的エリア音有り状態又は目的エリア音無し状態を判定し、目的エリア音有り状態の区間の抽出音を出力し、目的エリア音有り状態と判定された区間の抽出音と目的エリア音無し状態の入力信号とに基づいてＳＮＲの推定値を算出し、ＳＮＲの推定値に基づいて閾値を決定することを特徴とする。
【選択図】 図１
【特許請求の範囲】
【請求項1】
複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得する指向性形成手段と、
それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得する目的エリア音取得手段と、
前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行う判定手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間の前記抽出音を出力する出力手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する閾値調整手段と
を有することを特徴とする収音装置。
それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得する目的エリア音取得手段と、
前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行う判定手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間の前記抽出音を出力する出力手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する閾値調整手段と
を有することを特徴とする収音装置。
【請求項2】
前記閾値調整手段は、前記ＳＮＲの推定値と前記閾値との対応関係が定義されたＳＮＲ対閾値定義データに基づいて、前記ＳＮＲの推定値から前記閾値を決定することを特徴とする請求項１に記載の収音装置。
【請求項3】
前記判定処理の判定結果が、前記目的エリア音有り状態から前記目的エリア音無し状態に切り替わった後、所定のハングオーバ期間を計時するハングオーバカウント手段と、
前記出力手段は、前記ハングオーバカウント手段が前記ハングオーバ期間を計時している間、前記判定処理の結果に関わらず前記抽出音を出力する
ことを特徴とする請求項２に記載の収音装置。
前記出力手段は、前記ハングオーバカウント手段が前記ハングオーバ期間を計時している間、前記判定処理の結果に関わらず前記抽出音を出力する
ことを特徴とする請求項２に記載の収音装置。
【請求項4】
前記閾値調整手段は、前記第１の信号に基づく特徴量を第１の期間分蓄積する第１のバッファと、前記第２の信号に基づく特徴量を第２の期間分蓄積する第２のバッファとを備え、前記第１のバッファに蓄積された特徴量に基づく第１の統計値と、前記第２のバッファに蓄積された特徴量に基づく第２の統計値に基づいて前記ＳＮＲの推定値を算出することを特徴とする請求項３に記載の収音装置。
【請求項5】
前記閾値調整手段は、前記ハングオーバカウント手段が前記ハングオーバ期間を計時している間、前記判定処理の結果に関わらず、前記第２の信号を前記第２のバッファに蓄積せずに、前記第１の信号を前記第１のバッファに蓄積することを特徴とする請求項４に記載の収音装置。
【請求項6】
前記閾値調整手段は、最新に算出した前記第１の平均値に第１の忘却係数であるαを乗じた値と前回算出した前記第１の平均値に（１－α）を乗じた値とを加算した第１の更新値と、最新に算出した前記第２の平均値に第２の忘却係数であるβを乗じた値と前回算出した前記第２の平均値に（１－β）を乗じた値とを加算した第２の更新値とを取得し、前記第１の更新値と前記第２の更新値に基づいて前記ＳＮＲの推定値を算出することを特徴とする請求項４に記載の収音装置。
【請求項7】
コンピュータを、
複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得する指向性形成手段と、
それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得する目的エリア音取得手段と、
前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行う判定手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間の前記抽出音を出力する出力手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する閾値調整手段と
して機能させることを特徴とする収音プログラム。
複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得する指向性形成手段と、
それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得する目的エリア音取得手段と、
前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行う判定手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間の前記抽出音を出力する出力手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する閾値調整手段と
して機能させることを特徴とする収音プログラム。
【請求項8】
収音装置が行う収音方法において、
前記収音装置は、指向性形成手段、目的エリア音取得手段、判定手段、出力手段及び閾値調整手段を備え、
前記指向性形成手段は、複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得し、
前記目的エリア音取得手段は、それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得し、
前記判定手段は、前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行い、
前記出力手段は、前記判定処理で前記目的エリア音有り状態と判定された区間の前記抽出音を出力し、
前記閾値調整手段は、前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する
ことを特徴とする収音方法。
前記収音装置は、指向性形成手段、目的エリア音取得手段、判定手段、出力手段及び閾値調整手段を備え、
前記指向性形成手段は、複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得し、
前記目的エリア音取得手段は、それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得し、
前記判定手段は、前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行い、
前記出力手段は、前記判定処理で前記目的エリア音有り状態と判定された区間の前記抽出音を出力し、
前記閾値調整手段は、前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する
ことを特徴とする収音方法。
【請求項9】
複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得する指向性形成手段と、
それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得する目的エリア音取得手段と、
前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行う判定手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する閾値調整手段と
を有することを特徴とする判定装置。
それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得する目的エリア音取得手段と、
前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行う判定手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する閾値調整手段と
を有することを特徴とする判定装置。
【請求項10】
コンピュータを、
複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得する指向性形成手段と、
それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得する目的エリア音取得手段と、
前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行う判定手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する閾値調整手段と
して機能させることを特徴とする判定プログラム。
複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得する指向性形成手段と、
それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得する目的エリア音取得手段と、
前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行う判定手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する閾値調整手段と
して機能させることを特徴とする判定プログラム。
【請求項11】
判定装置が行う判定方法において、
前記判定装置は、指向性形成手段、目的エリア音取得手段、判定手段及び閾値調整手段を備え、
前記指向性形成手段は、複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得し、
前記目的エリア音取得手段は、それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得し、
前記判定手段は、前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行い、
前記閾値調整手段は、前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する
ことを特徴とする判定方法。
前記判定装置は、指向性形成手段、目的エリア音取得手段、判定手段及び閾値調整手段を備え、
前記指向性形成手段は、複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得し、
前記目的エリア音取得手段は、それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得し、
前記判定手段は、前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行い、
前記閾値調整手段は、前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する
ことを特徴とする判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、収音装置、収音プログラム、収音方法、判定装置、判定プログラム及び判定方法に関し、例えば、特定のエリアの音を強調し、それ以外のエリアの音を抑制するシステムに適用し得る。
【背景技術】
【0002】
雑音下での音声認識では、雑音の影響により音声認識の精度が下がるため、発話していない雑音区間を除外し、利用者の発話のみを切り出す音声区間検出には、高い精度が要求される。従来、音声区間検出を行う方式として、音声と雑音のパワー比に基づき区別する方式や、スペクトルの形状のような音声らしさに基づき区別する方式などが多数紹介されている。一方で、複数のマイクロホンアレイのビームフォーマ出力に基づく目的方向信号を取得し、取得した目的方向信号をもう一方の目的方向信号からスペクトル減算処理することで非目的エリア音を抽出し、目的方向信号から非目的エリア音をスペクトル減算することで目的エリア音を抽出し、入力信号に目的エリア音が含まれるか否かによって、音声区間検出する方式として、特許文献１、２のような方式も提案されている。特許文献１、２では、区間検出を行うために、雑音環境に応じた閾値の調整が必要であり、その閾値の調整の手間を省く方式として、特許文献３のような方式も提案されている。特許文献３では、騒音計を用いずに背景雑音を取得する方法が提案されており、マイクへの入力音のみから閾値を調整することが可能となっている。
【0003】
特許文献１では、背景雑音が強い環境下でエリアにある音を抽出する処理を行うと、ミュージカルノイズが残留してしまい、特に、エリアに音がない区間では、顕著に耳障りになるという課題について記載されている。それに対して、特許文献１に記載された方式では、入力信号に目的エリア音が含まれるか否かを、入力信号と目的エリア音のパワー比と閾値との関係から判定して、目的エリア音が無い場合は処理結果を出力しない構成となっている。
【0004】
一方で、特許文献１に記載の方式では、背景雑音が強い環境でのミュージカルノイズへ対処できたが、ＳＮＲが悪いことに変わりはない。そのため、特許文献２では、目的音が雑音に埋もれてしまい、特に無声子音のようにもともとパワーが小さくなる場合には検出できないという課題について記載されている。それに対して、特許文献２では、特許文献１に記載の方式で音が無いと判定された場合であっても、エリアの音を周波数成分ごと、若しくは、周波数帯域ごとに再判定する構成としている。
【0005】
特許文献３では、閾値を調整するために、装置を設置する現場に人が赴いて、騒音計を用いて背景雑音を計測し、入力音声との差分を算出するという、一連の工程に対する課題について記載されている。具体的には、特許文献３では、騒音計を扱える専門知識が必要であることや、設置する環境が変わるごとに有識者が現場に赴く必要があり手間がかかることについて記載されている。これらの課題に対して、特許文献３の方式では、騒音計を用いずに、収音装置を設置する現場の背景雑音の音量を算出する構成となっている。具体的には、特許文献３に記載の方式では、あらかじめ、騒音計で測定した測定値と、マイクロホンを用いて測定した音量の測定値の相関関係データ表を作成しておくことで、マイクロホンで測定した音量の測定値から相関関係データ表を参照して、騒音計の音圧レベルを推定する構成となっている。
【0006】
ここで、特許文献２に記載されたエリア収音処理について説明する。
【0007】
複数の音源が存在する環境下において、ある特定方向の音のみ分離し収音する技術として、マイクロホンアレイを用いたビームフォーマ（Ｂｅａｍ Ｆｏｒｍｅｒ；以下「ＢＦ」とも呼ぶ）がある。ＢＦとは、各マイクロホンに到達する音の時間差を利用して指向性を形成する技術である（非特許文献１参照）。
【0008】
従来、ＢＦは、加算型と減算型の大きく２つの種類に分けられる。特に減算型ＢＦは、加算型即に比べ、少ないマイクロホン数で指向性を形成できるという利点がある。
【0009】
図９は、マイクロホンＭの数が２個の場合の減算型ＢＦ２００に係る構成を示すブロック図である。
【0010】
図１０は、２個のマイクロホンＭ１、Ｍ２を用いた減算型ＢＦ２００により形成される指向性フィルタの例について示した説明図である。
【0011】
減算型ＢＦ２００は、まず遅延器２１０により目的とする方向に存在する音（以下、「目的音」と呼ぶ）が各マイクロホンＭ１、Ｍ２に到来する音の時間差を算出し、遅延を加えることにより目的音の位相を合わせる。上述の時間差は以下の（１）式により算出することができる。
【0012】
ここで、ｄはマイクロホンＭ１、Ｍ２間の距離、ｃは音速、τＬは遅延量である。またθＬは、各マイクロホンＭ（Ｍ１、Ｍ２）を結んだ直線に対する垂直方向から目的方向への角度である。
【0013】
また、ここで、死角がマイクロホンＭ１とＭ２の中心に対し、マイクロホンＭ１の方向に存在する場合、遅延器２１０は、マイクロホンＭ１の入力信号ｘ１（ｔ）（時間領域の入力信号）に対し遅延処理を行う。その後、減算型ＢＦ２００では、減算器２２０が、以下の（２）式に従い処理（減算処理）を行う。減算器２２０の処理は周波数領域でも同様に行うことができ、その場合（２）式は以下の（３）のように変更される。ここで、マイクロホンＭ１、Ｍ２の周波数領域の入力信号はそれぞれＸ１（ｔ）、Ｘ２（ｔ）である。
【0014】
【数1】
【0015】
ここでθＬ＝±π／２の場合、減算型ＢＦ２００により形成される指向性は図１０（ａ）に示すように、カージオイド型の単一指向性となる。また、「θＬ＝０，π」の場合、減算型ＢＦ２００により形成される指向性は、図１０（ｂ）のような８の字型の双指向性となる。
【0016】
以下では、入力信号から単一指向性を形成するフィルタを「単一指向性フィルタ」と呼び、双指向性を形成するフィルタを双指向性フィルタと呼ぶものとする。
【0017】
また、減算器２２０では、スペクトル減算法（Ｓｐｅｃｔｒａｌ Ｓｕｂｔｒ ａｃｔｉｏｎ；以下、単に、「ＳＳ」とも呼ぶ）を用いることで、双指向性の死角に強い指向性を形成することもできる。ＳＳによる指向性は、以下の（４）式に従い全周波数、もしくは指定した周波数帯域で形成される。
【0018】
以下の（４）式では、マイクロホンＭ１の入力信号Ｘ１を用いているが、マイクロホンＭ２の入力信号Ｘ２でも同様の効果を得ることができる。ここでβは、ＳＳの強度を調節するための係数である。また、減算器２２０では、減算時に値がマイナスになった場合は、０または元の値を小さくした値に置き換えるフロアリング処理を行う。以上のような減算型ＢＦ２００の処理方式では、双指向性の特性によって目的方向以外に存在する音（以下、「非目的音」と呼ぶ）を抽出し、抽出した非目的音の振幅スペクトルを入力信号の振幅スペクトルから減算することで、目的音を強調することができる。
【0019】
Ｙ（ｎ）＝Ｘ１（ｎ）－βＭ（ｎ） …（４）
【0020】
ある特定のエリア内に存在する音（以下、「目的エリア音」と呼ぶ）だけを収音したい場合、減算型ＢＦを用いるだけでは、そのエリアの周囲に存在する音源の音（以下、「非目的エリア音」と呼ぶ）も収音してしまう可能性がある。
【0021】
そこで、特許文献２では、複数のマイクロホンアレイを用い、それぞれ別々の方向から目的エリアヘ指向性を向けて指向性を目的エリアで交差させることで目的エリア音を収音する手法（以下、「エリア収音」と呼ぶ）を提案している。エリア収音では、まず各マイクロホンアレイのＢＦ出力に含まれる目的エリア音の振幅スペクトルの比率を推定し、それを補正係数とする。
【0022】
図１１は、２つのマイクロホンアレイＭＡ１、ＭＡ２を用いて目的エリアを音源とする目的エリア音をエリア収音処理する例について示した図である。
【0023】
例えば、図１１に示すように、２つのマイクロホンアレイＭＡ１、ＭＡ２（マイクロホンＭ１、Ｍ２を備える２ｃｈマイクロホンアレイ）を使用する場合、目的エリア音振幅スペクトルの補正係数は、以下の（５）式及び（６）式の組み合わせ、又は以下の（７）式及び（８）式の組み合わせにより算出することができる。ここで、Ｙ１ｋ（ｎ）は第１のマイクロホンアレイＭＡ１のＢＦ出力の振幅スペクトルであり、Ｙ２ｋ（ｎ）は第２のマイクロホンアレイＭＡ２のＢＦ出力の振幅スペクトルであり、Ｎは周波数ビンの総数であり、ｋは周波数である。また、ここで、α１（ｎ）、α２（ｎ）は各マイクロホンアレイのＢＦ出力に対する振幅スペクトル補正係数である。さらに、ここで、ｍｏｄｅは最頻値を表し、ｍｅｄｅｉａｎは中央値を表している。
【0024】
【数2】
【0025】
以上の処理により、減算器２２０は、補正係数α１（ｎ）、α２（ｎ）を求め、求めた補正係数により各ＢＦ出力を補正し、ＳＳすることで、目的エリア方向に存在する非目的エリア音を抽出する。さらに、減算器２２０は、抽出した非目的エリア音を各ＢＦの出力からＳＳすることにより目的エリア音を抽出することができる。
【0026】
減算型ＢＦ２００は、第１のマイクロホンアレイＭＡ１からみた目的エリア方向に存在する非目的エリア音Ｎ１（ｎ）を抽出する際、例えば、（９）式に示すように、第１のマイクロホンアレイＭＡ１のＢＦ出力Ｙ１（ｎ）から第２のマイクロホンアレイのＢＦ出力Ｙ２（ｎ）に振幅スペクトル補正係数α２を掛けたものをＳＳする。減算型ＢＦ２００は、同様に、以下の（１０）式に従い、第２のマイクロホンアレイＭＡ２からみた目的エリア方向に存在する非目的エリア音Ｎ２（ｎ）を抽出する。
【0027】
その後、減算型ＢＦ２００は、以下の（１１）式、又は（１２）式に従い、各ＢＦ出力から非目的エリア音をＳＳして目的エリア音を抽出する。なお、以下の（１１）式は、第１のマイクロホンアレイＭＡ１を基準として、目的エリア音を抽出する場合の処理を示している。また、以下の（１２）式は、第２のマイクロホンアレイＭＡ２を基準として目的エリア音を抽出する場合の処理を示している。ここでγ１（ｎ）、γ２（ｎ）は、ＳＳ時の強度を変更するための係数である。
【0028】
Ｎ１（ｎ）＝Ｙ１（ｎ）－α２（ｎ）Ｙ２（ｎ） …（９）
Ｎ２（ｎ）＝Ｙ２（ｎ）－α１（ｎ）Ｙ１（ｎ） …（１０）
Ｚ１（ｎ）＝Ｙ１（ｎ）－γ１（ｎ）Ｎ１（ｎ） …（１１）
Ｚ２（ｎ）＝Ｙ２（ｎ）－γ２（ｎ）Ｎ２（ｎ） …（１２）
Ｎ２（ｎ）＝Ｙ２（ｎ）－α１（ｎ）Ｙ１（ｎ） …（１０）
Ｚ１（ｎ）＝Ｙ１（ｎ）－γ１（ｎ）Ｎ１（ｎ） …（１１）
Ｚ２（ｎ）＝Ｙ２（ｎ）－γ２（ｎ）Ｎ２（ｎ） …（１２）
【0029】
背景雑音が強い場合、目的エリア音Ｚ１（ｎ）、Ｚ２（ｎ）には消しきれなかった雑音が残り、ミュージカルノイズなどの耳障りな異音が発生することがある。そこで、マイクロホンアレイの入力信号と抽出した目的エリア音とを比較して目的エリア音の有無を判定して、目的エリア音が存在しない場合には、無音もしくは小さな音を出力するようにする。具体的には、（１３）、（１４）式によって周波数ごとの振幅比の和Ｒを計算する。そして、Ｒが判定閾値以上であれば目的エリア音有りと判定し、Ｒが該閾値未満であれば、（１３）式の周波数ごとの振幅比Ｒｋと判定閾値とを比較して、Ｒｋが判定閾値以上であれば目的エリア音有りと判定し、Ｒｋが該閾値未満であれば、目的エリア音は存在しないと判定する。なお、目的エリア音の有無の判定は、目的エリア音有りと判定した場合、その後の数秒間は、判定結果に関わらず、目的エリア音有りと判定する処理（ハングオーバー機能に対応する処理）を追加するようにしてもよい。ここで、Ｘ１ｋは、マイクロホンアレイＭＡ１の入力信号Ｘ１（第１のマイクロホンＭ１の入力信号）における周波数ｋの振幅スペクトルであり、Ｚ１ｋは目的エリア音における周波数ｋの振幅スペクトルである。また、ここで、ｍは処理対象の周波数の下限、ｎは周波数の上限である。さらに、ここで、周波数ごとの振幅比の和Ｒは、振幅比Ｒｋの周波数ｋ＝ｍ，・・・，ｎまでの和である。
【0030】
【数3】
【0031】
以上のように、特許文献２に記載の方式では、複数のマイクロホンアレイのビームフォーマによって目的エリア方向への指向性を形成し、すべてのビームフォーマ出力に含まれる目的エリア音のパワーが等しくなるようにパワーを補正し、それぞれのビームフォーマ出力をスペクトル減算することで非目的エリア音を抽出している。そして、特許文献２に記載の方式では、各ビームフォーマ出力から非目的エリア音をスペクトル減算することで、目的エリア音を抽出し、入力音に含まれる目的エリア音の大きさの関係から、全周波数成分と各周波数成分で出力の有無の判定を行っている。そして、特許文献２に記載の方式では、目的エリア音が存在する判定の場合、目的エリア音を出力して、目的エリア音が存在しない判定の場合、無音もしくは小さな音を出力する。
【先行技術文献】
【特許文献】
【0032】
【特許文献1】特開２０１６－１２７４５７号公報
【特許文献2】特開２０１８－１６４１５６号公報
【特許文献3】特開２０２１－１２８１８０号公報
【発明の概要】
【発明が解決しようとする課題】
【0033】
しかしながら、特許文献１、２の方式において、環境変化に応じて閾値を調整しないと、判定精度が落ちる。また、特許文献３に記載の方式において、マイクで測定した音量を用いて音圧レベルを決定することができるが、自動で又はリアルタイムに閾値を調整することができない。そのため、特許文献１～３に記載の方式では、環境が変化するたびに現場に行き閾値を手動で調整する手間がかかるという課題があった。
【0034】
以上のような問題に鑑みて、環境が変化する場合でも、エリア収音処理した結果に対する目的エリア音の有無を判定する処理を安定的に行うことができる収音装置、収音プログラム、収音方法、判定装置、判定プログラム及び判定方法が望まれている。
【課題を解決するための手段】
【0035】
第１の本発明の収音装置は、複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得する指向性形成手段と、それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得する目的エリア音取得手段と、前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行う判定手段と、前記判定処理で前記目的エリア音有り状態と判定された区間の前記抽出音を出力する出力手段と、前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する閾値調整手段とを有することを特徴とする。
【0036】
第２の本発明の収音プログラムは、コンピュータを、複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得する指向性形成手段と、それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得する目的エリア音取得手段と、前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行う判定手段と、前記判定処理で前記目的エリア音有り状態と判定された区間の前記抽出音を出力する出力手段と、前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する閾値調整手段として機能させることを特徴とする。
【0037】
第３の本発明は、収音装置が行う収音方法において、前記収音装置は、指向性形成手段、目的エリア音取得手段、判定手段、出力手段及び閾値調整手段を備え、前記指向性形成手段は、複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得し、前記目的エリア音取得手段は、それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得し、前記判定手段は、前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行い、前記出力手段は、前記判定処理で前記目的エリア音有り状態と判定された区間の前記抽出音を出力し、前記閾値調整手段は、前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定することを特徴とする。
【0038】
第４の本発明の判定装置は、複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得する指向性形成手段と、それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得する目的エリア音取得手段と、前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行う判定手段と、前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する閾値調整手段とを有することを特徴とする。
【0039】
第５の本発明の判定プログラムは、コンピュータを、複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得する指向性形成手段と、それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得する目的エリア音取得手段と、前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行う判定手段と、前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する閾値調整手段として機能させることを特徴とする。
【0040】
第６の本発明は、判定装置が行う判定方法において、前記判定装置は、指向性形成手段、目的エリア音取得手段、判定手段及び閾値調整手段を備え、前記指向性形成手段は、複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得し、前記目的エリア音取得手段は、それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得し、前記判定手段は、前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行い、前記閾値調整手段は、前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定することを特徴とする。
【発明の効果】
【0041】
本発明によれば、環境が変化する場合でも、エリア収音処理した結果に対する目的エリア音の有無を判定する処理を安定的に行うことができる。
【図面の簡単な説明】
【0042】
【図1】第１の実施形態に係る収音装置の機能的構成を示すブロック図である。
【図2】第１の実施形態に係る目的エリア音取得部内部の機能的構成を示すブロック図である。
【図3】第１の実施形態に係る収音装置のハードウェア構成の例について示したブロック図である。
【図4】第１の実施形態に係る閾値調整部１５で保持されるバッファの構成例について示した図である。
【図5】第１の実施形態に係るＳＮＲ対判定閾値定義データの構成例について示した図である。
【図6】第２の実施形態に係る収音装置の機能的構成を示すブロック図である。
【図7】第３の実施形態に係る判定装置の機能的構成を示すブロック図である。
【図8】第４の実施形態に係る判定装置の機能的構成を示すブロック図である。
【図9】従来のマイクロホンＭの数が２個の場合の減算型ビームフォーマＢＦに係る構成を示すブロック図である。
【図10】従来の２個のマイクロホンを用いた減算型ビームフォーマにより形成される指向性フィルタの例について示した説明図である。
【図11】従来の２つのマイクロホンアレイを用いて目的エリアを音源とする目的エリア音をエリア収音処理する例について示した図である。
【発明を実施するための形態】
【0043】
（Ａ）第１の実施形態
以下、本発明による収音装置、収音プログラム及び収音方法の第１の実施形態を、図面を参照しながら詳述する。
以下、本発明による収音装置、収音プログラム及び収音方法の第１の実施形態を、図面を参照しながら詳述する。
【0044】
（Ａ－１）第１の実施形態の構成
図１は、この実施形態の収音装置１０の機能的構成について示したブロック図である。
図１は、この実施形態の収音装置１０の機能的構成について示したブロック図である。
【0045】
収音装置１０は、２つのマイクロホンアレイＭＡ（ＭＡ１、ＭＡ２）を用いて、目的エリアを音源とする目的エリア音を収音するエリア収音処理を行う装置である。
【0046】
マイクロホンアレイＭＡ１、ＭＡ２は、目的エリアが存在する空間の任意の場所に配置される。目的エリアに対するマイクロホンアレイＭＡ１、ＭＡ２の位置は、指向性が目的エリアでのみ重なればどこでも良く、例えば目的エリアを挟んで対向に配置しても良い。各マイクロホンアレイＭＡは２つ以上のマイクロホンＭから構成され、各マイクロホンＭにより音響信号を収音する。この実施形態では、各マイクロホンアレイに、音響信号を収音する２つのマイクロホンＭ（Ｍ１、Ｍ２）が配置されるものとして説明する。すなわち、各マイクロホンアレイは、２ｃｈマイクロホンアレイを構成している。なお、マイクロホンアレイＭＡの数は２つに限定するものではなく、目的エリアが複数存在する場合、全てのエリアをカバーできる数のマイクロホンアレイを配置する必要がある。
【0047】
次に、収音装置１０の内部構成について説明する。
【0048】
図１に示すように、収音装置１０は、データ入力部１１、目的エリア音取得部１２、目的エリア音有無判定部１３、出力判定部１４、閾値調整部１５、ＳＮＲ対判定閾値定義データ記憶部１６、及びハングオーバカウント部１７を有している。収音装置１０の各構成の詳細処理については後述する。
【0049】
図２は、目的エリア音取得部１２の内部構成について示したブロック図である。
【0050】
図２に示すように、目的エリア音取得部１２は、雑音抑圧部１２１、指向性形成部１２２、遅延補正部１２３、目的エリア音抽出部１２４、空間座標データ記憶部１２５及び補正係数導出部１２６を有している。目的エリア音取得部１２の各構成の詳細処理については後述する。
【0051】
次に、図３を用いて、収音装置１０のハードウェア構成について説明する。
【0052】
図３は、収音装置１０のハードウェア構成の例について示したブロック図である。
【0053】
収音装置１０は、全てハードウェア（例えば、専用チップ等）により構成するようにしてもよいし一部又は全部についてソフトウェア（プログラム）として構成するようにしてもよい。収音装置１０は、例えば、プロセッサ及びメモリを有するコンピュータにプログラム（実施形態の収音プログラムを含む）をインストールすることにより構成するようにしてもよい。
【0054】
図３では、収音装置１０を、ソフトウェア（コンピュータ）を用いて構成する際のハードウェア構成の例について示している。
【0055】
図３に示す収音装置１０は、ハードウェア的な構成要素として、プログラム（実施形態の収音プログラムを含む）がインストールされたコンピュータ３００を有している。また、コンピュータ３００は、収音プログラム専用のコンピュータとしてもよいし、他の機能のプログラムと共用される構成としてもよい。
【0056】
図３に示すコンピュータ３００は、プロセッサ３０１、一次記憶部３０２、及び二次記憶部３０３を有している。一次記憶部３０２は、プロセッサ３０１の作業用メモリ（ワークメモリ）として機能する記憶手段であり、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の高速動作するメモリを適用することができる。二次記憶部３０３は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やプログラムデータ（実施形態に係る収音プログラムのデータを含む）等の種々のデータを記録する記憶手段であり、例えば、ＦＬＡＳＨ（登録商標）メモリやＨＤＤ等の不揮発性メモリを適用することができる。この実施形態のコンピュータ３００では、プロセッサ３０１が起動する際、二次記憶部３０３に記録されたＯＳやプログラム（実施形態に係る収音プログラムを含む）を読み込み、一次記憶部３０２上に展開して実行する。
【0057】
なお、コンピュータ３００の具体的な構成は図３の構成に限定されないものであり、種々の構成を適用することができる。例えば、一次記憶部３０２が不揮発メモリ（例えば、ＦＬＡＳＨメモリ等）であれば、二次記憶部３０３については除外した構成としてもよい。
【0058】
（Ａ－２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態の収音装置１０の動作（実施形態に係る収音方法）を説明する。
次に、以上のような構成を有する第１の実施形態の収音装置１０の動作（実施形態に係る収音方法）を説明する。
【0059】
データ入力部１１は、各マイクロホンアレイ（ＭＡ１、ＭＡ２）で収音した音響信号をアナログ信号からデジタル信号（時間領域のデジタル信号）に変換し、さらに当該デジタル信号を周波数領域の信号に変換（例えば、高速フーリエ変換等により変換）し、入力信号として取得する。この実施形態では、各マイクロホンアレイ（ＭＡ１、ＭＡ２）において、マイクロホンＭ１、Ｍ２の入力信号（周波数領域の入力信号）を、それぞれＸ１、Ｘ２とする。また、以下では、ｋは周波数であり、ｍ～ｎの間で変化（ｋ＝ｍ，・・・，ｎ；ｍが最低周波数でありｎが最高周波数である）するものとする。
【0060】
目的エリア音取得部１２は、各マイクロホンアレイ（ＭＡ１、ＭＡ２）のビームフォーマ出力に基づいて、目的エリアを音源とする音を抽出して取得する。以下では、目的エリア音取得部１２が取得（抽出）する音を「目的エリア音抽出音」とも呼ぶものとする。
【0061】
この実施形態において、目的エリア音取得部１２による目的エリア音の取得は、例えば、図２に示す構成により実現されるものとして説明するが、その他の方式を用いて目的エリア音の取得を行う構成を適用するようにしてもよい。
【0062】
次に、図２に示す目的エリア音取得部１２の各構成要素の動作について説明する。
【0063】
雑音抑圧部１２１は、データ入力部１１から取得した音に含まれる背景雑音の成分を推定し、抑圧する。雑音抑圧部１２１による雑音抑圧には、例えば、ＳＳやウィーナーフィルタリング法（Ｗｉｅｎｅｒ Ｆｉｌｌｔｅｒｉｎｇ）などを用いることができる。
【0064】
指向性形成部１２２は、マイクロホンアレイ毎に雑音抑圧部１２１により背景雑音を抑圧した信号に対し、（４）式に従いＢＦにより目的エリア方向に指向性を形成する。
【0065】
空間座標データ記憶部１２５は、全ての目的エリアと各マイクロホンアレイ（ＭＡ１、ＭＡ２）を構成する各マイクロホン（Ｍ１、Ｍ２）の位置情報（以下、「空間座標データ」と呼ぶ）を保持している。空間座標データ記憶部１２５が各マイクロホンアレイを構成する各マイクロホンの位置情報を保持する方法や、空間座標データ記憶部１２５が保持する位置情報の具体的な形式は限定されないものであり、種々のデータ形式を適用することができる。
【0066】
遅延補正部１２３は、目的エリアと各マイクロホンアレイ（ＭＡ１、ＭＡ２）の距離の違いにより発生する遅延を算出し、補正する。遅延補正部１２３は、まず空間座標データ記憶部１２５で保持されている空間座標データから、目的エリアの位置と各マイクロホンアレイ（ＭＡ１、ＭＡ２）の位置を取得し、各マイクロホンアレイヘの目的エリア音の到達時間の差を算出する。次に、遅延補正部１２３は、最も目的エリアから遠い位置に配置されたマイクロホンアレイを基準として、全てのマイクロホンアレイに目的エリア音が同時に到達するように遅延を加える。
【0067】
補正係数導出部１２６は、各マイクロホンアレイのＢＦ出力に含まれる目的エリア音成分の振幅スペクトルを同じ（同レベル）にするための補正係数を（５）、（６）式または（７）、（８）式に従い算出する。
【0068】
目的エリア音抽出部１２４は、補正係数導出部１２６で算出した補正係数により補正した各ＢＦ出力データを（９）式、もしくは（１０）式に従いＳＳし、目的エリア方向に存在する非目的エリア音を抽出する。さらに、目的エリア音抽出部１２４は、抽出した雑音を各ＢＦの出力から（１１）式、もしくは（１２）式に従いＳＳすることにより目的エリア音を抽出して目的エリア音抽出音Ｚ（Ｚ１又はＺ２）を取得する。
【0069】
ここでは、（１１）式は、マイクロホンアレイＭＡ１を基準として、目的エリア音を抽出する場合の処理を示しており、（１２）式は、マイクロホンアレイＭＡ２を基準として目的エリア音を抽出する場合の処理を示しているものとする。上記の通り、目的エリア音抽出部１２４では、（１１）式もしくは（１２）式のいずれを用いてもよいが、ここでは、マイクロホンアレイＭＡ１を基準とした（１１）式を用いて目的エリア音抽出音Ｚ１を取得する例について説明する。
【0070】
次に、目的エリア音有無判定部１３の動作の詳細について説明する。
【0071】
目的エリア音有無判定部１３は、目的エリア音取得部１２から取得した目的エリア音抽出音に基づく判定値（以下、「目的エリア音判定値Ｒ」と呼ぶ）と、閾値調整部１５から取得した閾値（以下、「判定閾値」と呼ぶ）の比較結果に基づき、目的エリア音の有無判定を行う。
【0072】
ここで、目的エリア音判定値について具体的に示す。
【0073】
目的エリア音有無判定部１３は、まず、周波数ごとに、データ入力部１１から取得した入力信号Ｘ１ｋと、目的エリア音取得部１２から取得した目的エリア音Ｚ１ｋを用いて、周波数ごとの振幅比Ｒｋを算出する。目的エリア音有無判定部１３は、具体的には、（１３）式に基づき周波数毎の振幅比Ｒｋを算出する。
【0074】
なお、ここで、目的エリア音判定値Ｒは、振幅比Ｒｋの周波数ｋ＝ｍ，・・・，ｎまでの和である。目的エリア音有無判定部１３は、具体的には、（１４）式に基づき周波数毎の振幅比の和を目的エリア音判定値Ｒとして算出する。
【0075】
【数4】
【0076】
次に、目的エリア音有無判定部１３は、目的エリア音判定値Ｒを、閾値調整部１５から取得した判定閾値と比較することで、目的エリア音抽出音に目的エリア音（目的音）が存在するか否かを判定する処理（以下、「目的エリア音有無判定処理」と呼ぶ）を行う。例えば、目的エリア音有無判定部１３は、目的エリア音判定値Ｒが判定閾値より大きい場合に目的エリア音有りと判定し、そうでない場合（目的エリア音判定値Ｒが判定閾値以下の場合）に目的エリア音無しと判定するようにしてもよい。目的エリア音有無判定部１３は、目的エリア音有無判定処理の結果として、「目的エリア音有り」又は「目的エリア音無し」のいずれかを示す信号（例えば、「１」又は「０」の２値）を出力する。
【0077】
次に、出力判定部１４の動作の詳細について説明する。
【0078】
出力判定部１４は、目的エリア音有無判定部１３の判定結果が目的エリア音有りの間目的エリア音抽出音を出力音として出力し、目的エリア音有無判定部１３の判定結果が目的エリア音無しの判定結果だった場合目的エリア音抽出音を出力音として出力しない。出力判定部１４は、目的エリア音有無判定部１３の判定結果が目的エリア音無しだった場合は、出力音として何も出力しない処理としてもよいし、所定のダミー音（例えば、予め保持した無音や所定の小さい音）を出力音として出力するようにしてもよい。
【0079】
ただし、出力判定部１４は、目的エリア音有無判定部１３の判定結果が目的エリア音有りだった場合、その後所定期間（以下、この期間を「ハングオーバ期間」と呼ぶ）の間、目的エリア音有無判定部１３の判定結果に関わらず、目的エリア音抽出音を出力音として出力する処理（以下、「ハングオーバ処理」と呼ぶ）を行うものとする。つまり、出力判定部１４は、ハングオーバ期間の間は、目的エリア音有無判定部１３の判定結果が目的エリア音有りであった場合と同じ動作（目的エリア音抽出音を出力音として出力する処理）を行う。
【0080】
出力判定部１４は、目的エリア音有無判定部１３の判定結果が目的エリア音有りだった場合、ハングオーバカウント部１７を用いてハングオーバ期間を計時する。
【0081】
ハングオーバカウント部１７は、目的エリア音有無判定部１３の判定結果に応じてハングオーバ期間を計時する。ハングオーバカウント部１７では、ハングオーバ期間をカウント（計時）するためのカウンタを備えており、ここでは当該カウンタのカウンタ値を「ｃ」とする。なおここでは、カウンタ値ｃは、０未満（マイナスの値）の値を取り得るものとする。カウンタ値ｃの最大値（以下、「最大カウント値Ｃ」と呼ぶ）については、収音装置１０を使用する環境に応じて好適な値を適用することが望ましい。例えば、話者（人間）が発話する際の音と音の間隔や、語尾切れを考慮すると、最大カウント値Ｃは、１～２秒に相当する値となるように設定することが好ましい。例えば、入力信号のサンプリング間隔が１／１００秒だった場合、２秒に相当する最大カウント値Ｃは２００となる。例えば、ハングオーバカウント部１７は、目的エリア音有無判定部１３の判定結果が目的エリア音有りだった場合、カウンタ値ｃを最大カウント値Ｃに設定（ｃ＝Ｃ）し、目的エリア音有無判定部１３の判定結果が目的エリア音無しだった場合カウンタ値ｃを１減算（デクリメント；ｃ＝ｃ－１）するようにしてもよい。
【0082】
出力判定部１４は、目的エリア音有無判定部１３の判定結果が目的エリア音有りだった場合、出力音として目的エリア音抽出音を出力する。また、出力判定部１４は、目的エリア音有無判定部１３の判定結果が目的エリア音無しだった場合、ハングオーバカウント部１７のカウント値ｃが０以上（ｃ≧０）であれば、出力音として目的エリア音抽出音を出力する。さらに、出力判定部１４は、目的エリア音有無判定部１３の判定結果が目的エリア音無しだった場合、ハングオーバカウント部１７からのハングオーバのカウント値ｃが０より小さければ（ｃ＜０）、上記のダミー音を出力する。なお、この実施形態の例では、ハングオーバ処理を行うためにハングオーバカウント部１７の結果を判断基準に入れているが、ハングオーバ処理を行わない場合は、目的エリア音有無判定部１３から目的エリア音が存在しないという結果が得られた場合、上記のダミー音を出力するようにしてもよい。
【0083】
次に、閾値調整部１５の動作の詳細について説明する。
【0084】
閾値調整部１５は、判定閾値を算出する処理（以下、「判定閾値算出処理」と呼ぶ）を行って取得した判定閾値を出力する処理を行う。また、この実施形態では、閾値調整部１５は、ＳＮＲ対判定閾値定義データ記憶部１６に格納されたデータ（詳細については後述）を利用して判定閾値算出処理を行うものとする。
【0085】
閾値調整部１５は、目的エリア音（目的音）に基づく特徴量を保持するための音声バッファ１５１と、目的音以外の雑音に基づく特徴量を格納するための雑音バッファ１５２を備え、これらのバッファで保持された特徴量を判定閾値算出処理に用いる。この実施形態では、音声バッファ１５１には、目的エリア音有無判定部１３で目的エリア音有りと判定された区間（以下、「目的エリア音有り区間」と呼ぶ）の目的エリア音抽出音に基づく特徴量が格納されるものとする。また、この実施形態では、雑音バッファ１５２には、目的エリア音有無判定部１３で目的エリア音無しと判定された区間（以下、「目的エリア音無し区間」と呼ぶ）の入力信号（いずれかのマイクロホンの入力信号）に基づく特徴量が格納されるものとする。
【0086】
図４は、音声バッファ１５１と雑音バッファ１５２の構成について示した図である。
【0087】
図４に示すように、音声バッファ１５１は、目的エリア音有り区間の目的エリア音抽出音を構成する１フレーム分のデータ（当該フレームの周波数ビンごとの成分の値）に基づく特徴量を格納するためのデータ格納部Ｄ１がＰ個リング状（循環的）に連結された構成となっている。図４では、音声バッファ１５１は、Ｐ個のデータ格納部Ｄ１（Ｄ１－１～Ｄ１－Ｐ）を有している。また、図４に示すように、雑音バッファ１５２は、目的エリア音無し区間の入力信号を構成する１フレーム分のデータ（当該フレームの周波数ビンごとの成分の値）に基づく特徴量を格納するためのデータ格納部Ｄ２がＱ個リング状（循環的）連結された構成となっている。図４では、雑音バッファ１５２は、Ｑ個のデータ格納部Ｄ２（Ｄ２－１～Ｄ２－Ｑ）を有している。つまり、音声バッファ１５１、雑音バッファ１５２は、それぞれバッファ長Ｐ、Ｑとするリングバッファ（循環バッファ）の構造なっている。例えば、音声バッファ１５１では、時系列順にデータ格納部Ｄ１－１、Ｄ１－２、・・・、Ｄ１－Ｐ、Ｄ１―１、・・・の順に特徴量が格納される。雑音バッファ１５２でも同様に、時系列順にデータ格納部Ｄ２－１、Ｄ２－２、・・・、Ｄ２－Ｑ、Ｄ２―１、・・・の順に特徴量が格納される。
【0088】
以下では、音声バッファ１５１においてデータ格納部Ｄ１－１～Ｄ１－Ｐのそれぞれのフレーム（位置）を識別する番号（ＩＤ）を１～Ｐとし、任意の時点の特徴量が格納される際のフレーム（位置）を識別する変数を「ｐ」と表すものとする。また、以下では、雑音バッファ１５２において、データ格納部Ｄ２－１～Ｄ２－Ｑのそれぞれのフレーム（位置）を識別する番号（ＩＤ）を１～Ｑとし、任意の時点の特徴量が格納される際のフレーム（位置）を識別する変数を「ｑ」と表すものとする。つまり、ｐは、１を初期値とし、以後２、３、・・・、Ｐ、１、２、・・・の順にインクリメントされる変数であるものとする。また、ｑは、１を初期値とし、以後２、３、・・・、Ｑ、１、２、・・・の順にインクリメントされる変数であるものとする。なお、ＰとＱは同じ値でなくてもよい。
【0089】
この実施形態では、音声バッファ１５１にはマイクロホンアレイＭＡ１を基準として算出された目的エリア音抽出音Ｚ１の特徴量（目的エリア音有り区間の特徴量）が保持され、雑音バッファ１５２には基準となったマイクロホンアレイＭＡ１のマイクロホンアレイＭ１の入力信号Ｘ１の特徴量（目的エリア音無し区間の特徴量）が保持されるものとして説明する。なお、雑音バッファ１５２には、マイクロホンアレイＭＡ１のマイクロホンアレイＭ２からの入力信号Ｘ２に基づく特徴量を保持するようにしてもよい。また、音声バッファ１５１にはマイクロホンアレイＭＡ２を基準として算出された目的エリア音抽出音Ｚ２の特徴量を保持させ、雑音バッファ１５２にマイクロホンアレイＭＡ２のいずれかのマイクロホンの入力信号（Ｘ１又はＸ２）の特徴量を保持させるようにしてもよい。
【0090】
この実施形態では、閾値調整部１５は、目的エリア音有り区間の目的エリア音抽出音を構成する各フレームのデータの特徴量として、全ての周波数成分の値の和（以下、「全成分和」と呼ぶ）を算出して音声バッファ１５１に格納するものとする。また、閾値調整部１５は、目的エリア音無し区間の入力信号を構成する各フレームのデータの特徴量として、全成分和を算出して雑音バッファ１５２に格納するものとする。
【0091】
ここで、目的エリア音抽出音Ｚ１を構成する任意のフレームの周波数ｋの成分の値をＺ１ｋとし、音声バッファ１５１におけるｐフレーム目（データ格納部Ｄ１－ｐ）に格納された目的エリア音抽出音Ｚ１の全成分和（特徴量）をＺｏｎ，ｐとする。Ｚｏｎ，ｐは、Ｚ１ｋの周波数ｋ＝ｍ，・・・，ｎまでの和であり、以下の（１５）式に基づき求めることができる。
【0092】
また、ここで、入力信号Ｘ１を構成する周波数ｋの成分の値をＸ１ｋとし、雑音バッファ１５２におけるｑフレーム目（データ格納部Ｄ２－ｑ）に格納された入力信号Ｘ１の全成分和（特徴量）をＸｏｆｆ，ｑとする。Ｘｏｆｆ，ｑは、Ｘ１ｋの周波数ｋ＝ｍ，・・・，ｎまでの和であり、以下の（１６）式に基づき求めることができる。
【0093】
【数5】
【0094】
閾値調整部１５は、変数ｐ，ｑを用いて各バッファ上で特徴量（全成分和）を格納する位置を管理する。つまり、閾値調整部１５は、目的エリア音有り区間となると、１フレーム分の目的エリア音抽出音Ｚ１に基づいて特徴量Ｚｏｎ，ｐを求めて、音声バッファ１５１のｐ番目のデータ格納部Ｄ１－ｐに格納し、ｐをインクリメント（ｐ＝ｐ＋１）する。また、閾値調整部１５は、目的エリア音無し区間となると、１フレーム分の入力信号Ｘ１に基づいて特徴量Ｘｏｆｆ，ｑを求めて、雑音バッファ１５２のｑ番目のデータ格納部Ｄ２－ｑに格納し、ｑをインクリメント（ｑ＝ｑ＋１）する。なお、閾値調整部１５は、ｐ＝Ｐもしくはｑ＝Ｑとなった場合、次のフレームの格納場所をｐ＝１、またはｑ＝１とするため、ｐ＝Ｐの次はｐ＝１、ｑ＝Ｑの次はｑ＝１として、各バッファの値を更新し続ける。
【0095】
そして、閾値調整部１５は、所定のタイミング（以下、「判定閾値決定タイミング」と呼ぶ）となると、音声バッファ１５１及び雑音バッファ１５２に格納された特徴量に基づいてＳＮＲ（Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ Ｒａｔｉｏ；信号対雑音比）を推定した値（以下、単に「ＳＮＲ」と呼ぶ）を算出し、算出したＳＮＲに基づいて判定閾値の決定を行う。例えば、閾値調整部１５は、ｐ＝Ｐもしくはｑ＝Ｑとなったタイミングを判定閾値決定タイミングとしてもよい。
【0096】
なお、具体的なＰやＱの値は、収音装置１０を使用する環境に依存するが、適切な値を決定するには、環境変化が起こる速度や、設定した閾値における収音処理の即応性や、バッファの容量を考慮に入れて、約１２０秒に相当する値を設定するようにしてもよい。
【0097】
例えば、閾値調整部１５は、判定閾値決定タイミングとなると、音声バッファ１５１の各フレーム（データ格納部Ｄ１－１～Ｄ１－Ｐ）の特徴量の統計値Ｚｏｎ（この例では平均値）と、雑音バッファ１５２の各フレーム（データ格納部Ｄ２－１～Ｄ２－Ｑ）の特徴量の統計値Ｘｏｆｆ（この例では平均値）とを、それぞれ（１７）式、（１８）式に基づき算出するようにしてもよい。
【0098】
なお、上記の例では、ＺｏｎとＸｏｆｆついては、特徴量の統計値として平均値を用いているが、特徴量のピーク値（最大値）や特徴量の中央値を適用するようにしてもよい。例えば、Ｚｏｎに音声バッファ１５１の各フレーム（データ格納部Ｄ１－１～Ｄ１－Ｐ）のピーク値（最大値）を適用し、Ｘｏｆｆに雑音バッファ１５２の各フレーム（データ格納部Ｄ２－１～Ｄ２－Ｑ）の特徴量の最大値を適用するようにしてもよい。また、例えば、Ｚｏｎに音声バッファ１５１の各フレーム（データ格納部Ｄ１－１～Ｄ１－Ｐ）の中央値を適用し、Ｘｏｆｆに雑音バッファ１５２の各フレーム（データ格納部Ｄ２－１～Ｄ２－Ｑ）の特徴量の中央値を適用するようにしてもよい。
【0099】
【数6】
【0100】
次に、閾値調整部１５は、ＺｏｎとＸｏｆｆを用いて、ＳＮＲを算出（ＳＮＲを推定）する。閾値調整部１５は、例えば、以下の（１９）式に基づき、ＳＮＲ（ＳＮＲの推定値）を算出するようにしてもよい。
【0101】
【数7】
【0102】
そして、閾値調整部１５は、算出したＳＮＲに基づいて判定閾値を決定し、目的エリア音有無判定部１３に設定する。閾値調整部１５は、例えば、ＳＮＲと判定閾値の対応関係を定義したデータ（以下、「ＳＮＲ対判定閾値定義データ」と呼ぶ）に基づいて、ＳＮＲから判定閾値を求めるようにしてもよい。この実施形態では、ＳＮＲ対判定閾値定義データは、ＳＮＲ対判定閾値定義データ記憶部１６に格納されている。なお、閾値調整部１５において、ＳＮＲ対判定閾値定義データを用いずにＳＮＲを算出により求める場合は、収音装置１０からＳＮＲ対判定閾値定義データ記憶部１６を除外した構成としてもよい。例えば、閾値調整部１５は、ＳＮＲに基づく所定の算出処理（例えば、ＳＮＲに所定の係数を乗じて判定閾値を算出する処理や、ＳＮＲを入力変数として判定閾値を求めることができる所定の関数を用いた処理）により判定閾値を求めるようにしてもよい。
【0103】
図５は、ＳＮＲ対判定閾値定義データの構成例について表形式で示した図である。
【0104】
図５に示すＳＮＲ対判定閾値定義データは、ＳＮＲの範囲ごとに対応する判定閾値の値を設定した構造となっている。図５では、ＳＮＲが－１０未満の場合（ＳＮＲ＜－１０）の判定閾値を２、ＳＮＲが－１０以上０未満の場合（－１０≦ＳＮＲ＜０）の判定閾値を４、ＳＮＲが０以上５未満の場合（０≦ＳＮＲ＜５）の判定閾値を５、ＳＮＲが５以上１０未満の場合（５≦ＳＮＲ＜１０）の判定閾値を６、ＳＮＲが１０以上１５未満の場合（１０≦ＳＮＲ＜１５）の判定閾値を７、ＳＮＲが１５以上２０未満の場合（１５≦ＳＮＲ＜２０）の判定閾値を９、ＳＮＲが２０以上の場合（２０≦ＳＮＲ）の場合の判定閾値を１０としている。
【0105】
ＳＮＲ対判定閾値定義データに設定する「範囲」や「範囲と判定閾値の組み合わせの数」は限定されないものであり種々の構成を適用することができる。
【0106】
ＳＮＲ対判定閾値定義データ記憶部１６に設定するＳＮＲ対判定閾値定義データについては、予め設定されたデータとしてもよいし、ユーザ／オペレータにより任意の範囲と値に設定可能とする構成としてもよい。
【0107】
（Ａ－３）第１の実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。
この実施形態によれば、以下のような効果を奏することができる。
【0108】
この実施形態の収音装置１０では、ＳＮＲを逐次推定することで、推定したＳＮＲに対応する判定閾値が環境の変化に応じて自動で設定されるので、環境が変化するたびに閾値を手動で設定する手間を省くことができる。これにより、第１の実施形態の収音装置１０では、環境変化に応じた閾値の調整の手間を減らすことで利便性を向上させることができる。
【0109】
（Ｂ）第２の実施形態
以下、本発明による収音装置、収音プログラム及び収音方法の第２の実施形態を、図面を参照しながら詳述する。
以下、本発明による収音装置、収音プログラム及び収音方法の第２の実施形態を、図面を参照しながら詳述する。
【0110】
（Ｂ－１）第２の実施形態の構成
図６は、第２の実施形態の収音装置１０Ａの機能的構成について示したブロック図である。
図６は、第２の実施形態の収音装置１０Ａの機能的構成について示したブロック図である。
【0111】
以下では、第２の実施形態の収音装置１０Ａについて第１の実施形態との差異を説明する。
【0112】
図６に示すように、第２の実施形態の収音装置１０Ａでは、閾値調整部１５が閾値調整部１５Ａに置き換わっている点で第１の実施形態と異なっている。また、第２の実施形態の収音装置１０Ａでは、ハングオーバカウント部１７から閾値調整部１５にもカウンタ値ｃ（計時中のハングオーバ時間）が供給される点で第１の実施形態と異なっている。
【0113】
第１の実施形態の閾値調整部１５では、ハングオーバ処理前の目的エリア音有り区間と目的エリア音無し区間の信号に基づき、ＳＮＲを推定していた。ここで、ハングオーバ処理は、無音区間（目的エリア音有り区間）で分断されている目的エリア音有り区間を繋ぐことで、収音結果（出力音）における音声の途切れや語尾の途切れを改善している。そのため、ハングオーバ処理前で目的エリア音無し区間の入力信号や目的エリア音抽出信号には、音声の途切れや語尾の途切れが含まれることがある。つまり、目的エリア音有無判定部１３で目的エリア音無し区間（雑音バッファ１５２に保持する特徴量の元になる入力信号）に、発話音声の語尾などが入ってしまう可能性があった。
【0114】
そこで、第２の実施形態の閾値調整部１５Ａは、ハングオーバ処理後の判定結果、つまり、ハングオーバカウント部１７のハングオーバ期間のカウントを加味して、閾値調整部１５で閾値を調整する。具体的には、第２の実施形態の閾値調整部１５Ａは、目的エリア音有無判定部１３の判定結果が目的エリア音有りから目的エリア音無しに切り替わった後のハングオーバ期間の間は、目的エリア音有無判定部１３の判定結果に関わらず目的エリア音有り区間と同様の動作（目的エリア音抽出音に基づく特徴量を音声バッファ１５１に格納する処理）を継続する。言い換えると、第２の実施形態の閾値調整部１５Ａは、ハングオーバ期間の間のフレームについては、雑音バッファ１５２に対する特徴量の追加は行わない。
【0115】
（Ｂ－２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態の収音装置１０の動作（実施形態に係る収音方法）を説明する。
次に、以上のような構成を有する第２の実施形態の収音装置１０の動作（実施形態に係る収音方法）を説明する。
【0116】
以下では、第２の実施形態の収音装置１０Ａの動作について、第１の実施形態との差異を中心に説明する。
【0117】
上記の通り、第２の実施形態の収音装置１０Ａでは、閾値調整部１５Ａの処理のみが第１の実施形態と異なっている。そのため、以下では、第２の実施形態における閾値調整部１５Ａの動作のみを説明する。
【0118】
上記の通り、閾値調整部１５Ａは、目的エリア音有無判定部１３の判定結果が目的エリア音有りから目的エリア音無しに切り替わった後のハングオーバ期間の間は、目的エリア音有無判定部１３の判定結果に関わらず目的エリア音有り区間と同様の動作（目的エリア音抽出音に基づく特徴量を音声バッファ１５１に格納する処理）を継続する。
【0119】
例えば、閾値調整部１５Ａは、ハングオーバカウント部１７から供給されるハングオーバ期間のカウント値ｃが０より小さい区間では、入力音Ｘ１ｋに基づく特徴量Ｘｏｆｆ，ｑを雑音バッファ１５２のデータ格納部Ｄ２－ｑに格納してｑをインクリメントするようにしてもよい。また、例えば、閾値調整部１５Ａは、カウント値ｃが０以上の区間では目的エリア音Ｚ１ｋに基づく特徴量Ｚｏｎ，ｐを音声バッファ１５１のデータ格納部Ｄ１－ｐに格納してｐをインクリメントするようにしてもよい。
【0120】
（Ｂ－３）第２の実施形態の効果
第２の実施形態によれば、第１の実施形態の効果に加えて以下のような効果を奏することができる。
第２の実施形態によれば、第１の実施形態の効果に加えて以下のような効果を奏することができる。
【0121】
第２の実施形態の収音装置１０Ａでは、判定閾値を調整するためのＳＮＲを推定する際に、雑音バッファ１５２に格納する特徴量から、目的エリア音区間を繋ぐための無音区間や語尾の区間を排除することができるため、音切れや語尾切れを引き起こしやすい声色の話者の音を目的エリア音として収音する際でも判定閾値を精度良く設定できる。これにより、第２の実施形態の収音装置１０Ａでは、第１の実施形態よりも判定閾値の推定精度を向上させることができる。
【0122】
（Ｃ）第３の実施形態
以下、本発明による判定装置、判定プログラム及び判定方法の一実施形態（第３の実施形態）を、図面を参照しながら詳述する。
以下、本発明による判定装置、判定プログラム及び判定方法の一実施形態（第３の実施形態）を、図面を参照しながら詳述する。
【0123】
（Ｃ－１）第３の実施形態の構成及び動作
以下では、第３の実施形態の判定装置の構成及び動作（実施形態に係る判定方法）について第１の実施形態との差異を中心に説明する。
以下では、第３の実施形態の判定装置の構成及び動作（実施形態に係る判定方法）について第１の実施形態との差異を中心に説明する。
【0124】
図７は、第３の実施形態の判定装置２０の機能的構成について示したブロック図である。
【0125】
第１の実施形態の収音装置１０は、出力音を出力する構成となっていたが第３の実施形態の判定装置２０は目的エリア音抽出音に目的エリア音（目的音）の有無の判定結果（目的エリア音有り又は目的エリア音無しのいずれかの判定結果）を出力する点で第１の実施形態と異なっている。以下では、第３の実施形態の判定装置２０が出力する判定結果を「出力判定結果」と呼ぶものとする。出力判定結果の形式については限定されないものであり、例えば、「目的エリア音有り」又は「目的エリア音無し」のいずれかを示す信号（例えば、「１」又は「０」の２値）を出力するようにしても良い。
【0126】
図７に示すように、判定装置２０は、第１の実施形態の収音装置１０において、出力判定部１４を出力部１８に置き換えた点で異なっている。
【0127】
出力部１８は、目的エリア音有無判定部１３の判定結果をそのまま出力判定結果として出力するようにしてもよいし、ハングオーバ期間を考慮した結果を出力判定結果としてもよい。例えば、出力部１８は、目的エリア音有無判定部１３の判定結果が目的エリア音無しだった場合、カウント値ｃが０以上（ｃ≧０）であれば出力判定結果として目的エリア音有りを出力し、カウント値ｃが０より小さければ（ｃ＜０）出力判定結果として目的エリア音無しを出力するようにしてもよい。
【0128】
判定装置２０は、全てハードウェア（例えば、専用チップ等）により構成するようにしてもよいし一部又は全部についてソフトウェア（プログラム）として構成するようにしてもよい。判定装置２０は、例えば、プロセッサ及びメモリを有するコンピュータ（例えば、上述の図３に示すようなコンピュータ３００）にプログラム（実施形態の判定プログラムを含む）をインストールすることにより構成するようにしてもよい。
【0129】
（Ｃ－２）第３の実施形態の効果
第３の実施形態では、以下のような効果を奏することができる。
第３の実施形態では、以下のような効果を奏することができる。
【0130】
第３の実施形態の実施形態の判定装置２０では、第１の実施形態と同様に、環境変化に応じた閾値の調整の手間を減らすことができる。
【0131】
（Ｄ）第４の実施形態
以下、本発明による判定装置、判定プログラム及び判定方法の一実施形態（第４の実施形態）を、図面を参照しながら詳述する。
以下、本発明による判定装置、判定プログラム及び判定方法の一実施形態（第４の実施形態）を、図面を参照しながら詳述する。
【0132】
（Ｄ－１）第４の実施形態の構成及び動作
以下では、第４の実施形態の判定装置の構成及び動作（実施形態に係る判定方法）について第２の実施形態との差異を中心に説明する。
以下では、第４の実施形態の判定装置の構成及び動作（実施形態に係る判定方法）について第２の実施形態との差異を中心に説明する。
【0133】
図８は、第４の実施形態の判定装置２０Ｃの機能的構成について示したブロック図である。
【0134】
第４の実施形態の判定装置２０Ｃは、第２の実施形態の収音装置１０Ａについて、第３の実施形態と同様に出力判定結果を出力する判定装置として構成したものである。
【0135】
以下では、第４の実施形態の判定装置２０Ｃについて第２の実施形態との差異を説明する。
【0136】
図８に示すように、判定装置２０Ｃは、第２の実施形態の収音装置１０Ａにおいて、出力判定部１４を出力部１８に置き換えた点で異なっている。出力部１８は、第３の実施形態と同様の機能を備えるものであるため、詳しい説明を省略する。
【0137】
判定装置２０Ｃは、全てハードウェア（例えば、専用チップ等）により構成するようにしてもよいし一部又は全部についてソフトウェア（プログラム）として構成するようにしてもよい。判定装置２０Ｃは、例えば、プロセッサ及びメモリを有するコンピュータ（例えば、上述の図３に示すようなコンピュータ３００）にプログラム（実施形態の判定プログラムを含む）をインストールすることにより構成するようにしてもよい。
【0138】
（Ｄ－２）第４の実施形態の効果
第４の実施形態では、以下のような効果を奏することができる。
第４の実施形態では、以下のような効果を奏することができる。
【0139】
第４の実施形態の実施形態の判定装置２０Ｃでは、判定閾値の推定精度が第２の実施形態の収音装置１０Ａと同様となる。つまり、第４の実施形態の実施形態の判定装置２０Ｃでは、第３の実施形態よりも判定閾値の推定精度を向上させることができる。
【0140】
（Ｅ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【0141】
（Ｅ－１）上記の各実施形態では、閾値調整部１５は、目的エリア音有り区間において、目的エリア音抽出音Ｚ１に基づく特徴量（Ｚｏｎ，ｐ）を音声バッファ１５１に格納しているが、これに代えて、入力信号Ｘ１に基づく特徴量（以下、「Ｘｏｎ，ｐ」と表す）や、指向性形成部１２２から取得した音（マイクロホンアレイＭＡ１のＢＦ出力）に基づく特徴量（全成分和）を音声バッファ１５１に格納するようにしてもよい。
【0142】
（Ｅ－２）上記の各実施形態では、閾値調整部１５は、目的エリア音無し区間において、入力信号Ｘ１に基づく特徴量（Ｘｏｆｆ，ｑ）を雑音バッファ１５２に格納しているが、これに代えて、雑音抑圧部１２１から取得した音（入力信号Ｘ１に対して雑音抑圧処理した音）に基づく特徴量や、入力信号Ｘ１から目的エリア音抽出音をスペクトル減算した音に基づく特徴量や、入力信号Ｘ１から指向性形成部１２２で取得した音（マイクロホンアレイＭＡ１のＢＦ出力）をスペクトル減算した音に基づく特徴量を雑音バッファ１５２に格納するようにしてもよい。
【0143】
（Ｅ－３）上記の各実施形態において、閾値調整部１５は、ｐ＝Ｐもしくはｑ＝Ｑとなったタイミングを判定閾値決定タイミングとしているが、他のタイミングに置き換えるようにしてもよい。
【0144】
例えば、上記のように、ｐ＝Ｐもしくはｑ＝Ｑとなったタイミングを判定閾値決定タイミングとすると、判定閾値決定タイミングが変動して挙動が分かりにくいため、閾値を更新するタイミングを一定にしてもよい。
【0145】
具体的には、例えば、閾値調整部１５において、新たに、判定閾値を設定するフレーム数をカウントするためのカウンタ値ｕ（初期値は１）を導入し、目的エリア音有無判定部１３で目的エリア音有無判定処理が行われて判定結果が出力される度にインクリメントしていき、ｕが所定の最大値Ｕ（ｕ＝Ｕ）となったタイミングを判定閾値決定タイミングとしてもよい。この場合、閾値調整部１５は、判定閾値決定タイミングとなるとカウンタ値ｕを初期化（ｕ＝１に初期化）するようにしてもよい。
【0146】
また、上記の各実施形態において、閾値調整部１５は、「ＳＮＲの推定（算出）」と「判定閾値の決定・設定」を、同時に行っているが、別々のタイミングに行ってもよい。例えば、閾値調整部１５は、ｐ＝Ｐもしくはｑ＝ＱとなったタイミングでＳＮＲを推定（算出）する処理を行い、ｕ＝Ｕとなったタイミングで判定閾値を決定・設定するタイミングとしてもよい。
【0147】
（Ｅ－４）上記の各実施形態において、閾値調整部１５は、ＺｏｎとＸｏｆｆの算出過程で、平均値を使用しているが、現在（直近）の情報の影響を大きくし且つ過去の情報の影響を小さくするために、忘却係数を使用して重み加算した値を使用してもよい。例えば、閾値調整部１５は、目的エリア音有り区間において（２０）式を更新してＺｏｎを算出し、目的エリア音無し区間において（２１）式を更新してＸｏｆｆを算出するようにしてもよい。なお、ここで、α（０＜α＜１）、β（０＜β＜１）は、忘却係数を示している。また、ここで、Ｚｏｎ，ｎｏｗは、現在の時点で音声バッファ１５１の各フレーム（データ格納部Ｄ１－１～Ｄ１－Ｐ）の特徴量（全成分和）の平均値を算出した結果である。また、ここで、Ｘｏｆｆ，ｎｏｗは、現在の時点で雑音バッファ１５２の各フレーム（データ格納部Ｄ２－１～Ｄ２－Ｑ）の特徴量（全成分和）の平均値を算出した結果である。
【0148】
【数8】
【0149】
（Ｅ－５）第１及び第２の実施形態に示す収音装置１０、１０Ａの出力判定部１４は、出力音のみを出力する構成となっているが、出力音と共に出力判定結果（第３及び第４の実施形態の判定装置が出力する出力判定結果と同様の信号）を出力するようにしてもよい。
【符号の説明】
【0150】
１０、１０Ａ…収音装置、１１…データ入力部、１２…目的エリア音取得部、１３…目的エリア音有無判定部、１４…出力判定部、１５…閾値調整部、１５…１０以上ＳＮＲ未満、１５Ａ…閾値調整部、１６…ＳＮＲ対判定閾値定義データ記憶部、１７…ハングオーバカウント部、１８…出力部、２０、２０Ｃ…判定装置、１２１…雑音抑圧部、１２２…指向性形成部、１２３…遅延補正部、１２４…目的エリア音抽出部、１２５…空間座標データ記憶部、１２６…補正係数導出部、１５１…音声バッファ、１５２…雑音バッファ、Ｍ、Ｍ１、Ｍ２…マイクロホン、ＭＡ、ＭＡ１、ＭＡ２…マイクロホンアレイ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【手続補正書】
【提出日】2024-05-10
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得する指向性形成手段と、
それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得する目的エリア音取得手段と、
前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行う判定手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間の前記抽出音を出力する出力手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する閾値調整手段と
を有することを特徴とする収音装置。
それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得する目的エリア音取得手段と、
前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行う判定手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間の前記抽出音を出力する出力手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する閾値調整手段と
を有することを特徴とする収音装置。
【請求項2】
前記閾値調整手段は、前記ＳＮＲの推定値と前記閾値との対応関係が定義されたＳＮＲ対閾値定義データに基づいて、前記ＳＮＲの推定値から前記閾値を決定することを特徴とする請求項１に記載の収音装置。
【請求項3】
前記判定処理の判定結果が、前記目的エリア音有り状態から前記目的エリア音無し状態に切り替わった後、所定のハングオーバ期間を計時するハングオーバカウント手段と、
前記出力手段は、前記ハングオーバカウント手段が前記ハングオーバ期間を計時している間、前記判定処理の結果に関わらず前記抽出音を出力する
ことを特徴とする請求項２に記載の収音装置。
前記出力手段は、前記ハングオーバカウント手段が前記ハングオーバ期間を計時している間、前記判定処理の結果に関わらず前記抽出音を出力する
ことを特徴とする請求項２に記載の収音装置。
【請求項4】
前記閾値調整手段は、前記第１の信号に基づく特徴量を第１の期間分蓄積する第１のバッファと、前記第２の信号に基づく特徴量を第２の期間分蓄積する第２のバッファとを備え、前記第１のバッファに蓄積された特徴量に基づく第１の統計値と、前記第２のバッファに蓄積された特徴量に基づく第２の統計値に基づいて前記ＳＮＲの推定値を算出することを特徴とする請求項３に記載の収音装置。
【請求項5】
前記閾値調整手段は、前記ハングオーバカウント手段が前記ハングオーバ期間を計時している間、前記判定処理の結果に関わらず、前記第２の信号を前記第２のバッファに蓄積せずに、前記第１の信号を前記第１のバッファに蓄積することを特徴とする請求項４に記載の収音装置。
【請求項6】
前記閾値調整手段は、最新に算出した前記第１の統計値に第１の忘却係数であるαを乗じた値と前回算出した前記第１の統計値に（１－α）を乗じた値とを加算した第１の更新値と、最新に算出した前記第２の統計値に第２の忘却係数であるβを乗じた値と前回算出した前記第２の統計値に（１－β）を乗じた値とを加算した第２の更新値とを取得し、前記第１の更新値と前記第２の更新値に基づいて前記ＳＮＲの推定値を算出することを特徴とする請求項４に記載の収音装置。
【請求項7】
コンピュータを、
複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得する指向性形成手段と、
それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得する目的エリア音取得手段と、
前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行う判定手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間の前記抽出音を出力する出力手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する閾値調整手段と
して機能させることを特徴とする収音プログラム。
複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得する指向性形成手段と、
それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得する目的エリア音取得手段と、
前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行う判定手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間の前記抽出音を出力する出力手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する閾値調整手段と
して機能させることを特徴とする収音プログラム。
【請求項8】
収音装置が行う収音方法において、
前記収音装置は、指向性形成手段、目的エリア音取得手段、判定手段、出力手段及び閾値調整手段を備え、
前記指向性形成手段は、複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得し、
前記目的エリア音取得手段は、それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得し、
前記判定手段は、前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行い、
前記出力手段は、前記判定処理で前記目的エリア音有り状態と判定された区間の前記抽出音を出力し、
前記閾値調整手段は、前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する
ことを特徴とする収音方法。
前記収音装置は、指向性形成手段、目的エリア音取得手段、判定手段、出力手段及び閾値調整手段を備え、
前記指向性形成手段は、複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得し、
前記目的エリア音取得手段は、それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得し、
前記判定手段は、前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行い、
前記出力手段は、前記判定処理で前記目的エリア音有り状態と判定された区間の前記抽出音を出力し、
前記閾値調整手段は、前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する
ことを特徴とする収音方法。
【請求項9】
複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得する指向性形成手段と、
それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得する目的エリア音取得手段と、
前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行う判定手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する閾値調整手段と
を有することを特徴とする判定装置。
それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得する目的エリア音取得手段と、
前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行う判定手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する閾値調整手段と
を有することを特徴とする判定装置。
【請求項10】
コンピュータを、
複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得する指向性形成手段と、
それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得する目的エリア音取得手段と、
前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行う判定手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する閾値調整手段と
して機能させることを特徴とする判定プログラム。
複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得する指向性形成手段と、
それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得する目的エリア音取得手段と、
前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行う判定手段と、
前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する閾値調整手段と
して機能させることを特徴とする判定プログラム。
【請求項11】
判定装置が行う判定方法において、
前記判定装置は、指向性形成手段、目的エリア音取得手段、判定手段及び閾値調整手段を備え、
前記指向性形成手段は、複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得し、
前記目的エリア音取得手段は、それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得し、
前記判定手段は、前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行い、
前記閾値調整手段は、前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する
ことを特徴とする判定方法。
前記判定装置は、指向性形成手段、目的エリア音取得手段、判定手段及び閾値調整手段を備え、
前記指向性形成手段は、複数のマイクロホンアレイの入力信号から目的エリアの方向に指向性を向けたビームフォーマ出力を取得し、
前記目的エリア音取得手段は、それぞれの前記ビームフォーマ出力に基づいて前記目的エリアを音源とする目的エリア音を抽出した結果の抽出音を取得し、
前記判定手段は、前記抽出音に基づく判定値と閾値との比較結果に基づいて、前記抽出音に前記目的エリア音が含まれる目的エリア音有り状態又は、前記抽出音に前記目的エリア音が含まれない目的エリア音無し状態のいずれの状態であるかを判定する判定処理を行い、
前記閾値調整手段は、前記判定処理で前記目的エリア音有り状態と判定された区間における前記抽出音、前記入力信号又は前記ビームフォーマ出力のいずれかを適用した第１の信号と、前記判定処理で前記目的エリア音無し状態と判定された区間における前記入力信号、前記入力信号から前記抽出音を減算した信号又は前記入力信号から前記ビームフォーマ出力を減算した信号のいずれかを適用した第２の信号とに基づいてＳＮＲの推定値を算出するＳＮＲ推定処理を行い、前記ＳＮＲの推定値に基づいて、前記閾値を決定して前記判定手段に設定する
ことを特徴とする判定方法。