知財求人 - 知財ポータルサイト「IP Force」
▶ 沖電気工業株式会社の特許一覧 ▶ 学校法人早稲田大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-18
(45)【発行日】2024-11-26
(54)【発明の名称】収音装置、収音プログラム、及び収音方法
(51)【国際特許分類】
H04R 3/00 20060101AFI20241119BHJP
G10L 21/0208 20130101ALI20241119BHJP
G10L 25/30 20130101ALI20241119BHJP
H04R 1/40 20060101ALI20241119BHJP
【ＦＩ】
H04R3/00 320
G10L21/0208 100A
G10L25/30
H04R1/40 320A
【請求項の数】
4
(21)【出願番号】P 2021102528
(22)【出願日】2021-06-21
(65)【公開番号】P2023001669
(43)【公開日】2023-01-06
【審査請求日】2024-01-12
(73)【特許権者】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(73)【特許権者】
【識別番号】899000068
【氏名又は名称】学校法人早稲田大学
(74)【代理人】
【識別番号】100180275
【弁理士】
【氏名又は名称】吉田 倫太郎
(74)【代理人】
【識別番号】100161861
【弁理士】
【氏名又は名称】若林 裕介
(72)【発明者】
【氏名】藤枝 大
(72)【発明者】
【氏名】原 宗大
(72)【発明者】
【氏名】片桐 一浩
(72)【発明者】
【氏名】西城 耕平
(72)【発明者】
【氏名】小林 哲則
(72)【発明者】
【氏名】小川 哲司
【審査官】渡邊 正宏
(56)【参考文献】
【文献】特開２０１６－１２７４５７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ １３／００－１３／１０
Ｇ１０Ｌ １９／００－１９／２６
Ｇ１０Ｌ ２１／００－２１／１８
Ｇ１０Ｌ ２５／００－２５／９３
Ｇ１０Ｌ ９９／００
Ｈ０４Ｒ １／２０－ １／４０
Ｈ０４Ｒ ３／００ー ３／１４
(57)【特許請求の範囲】
【請求項1】
複数のマイクロホンからの入力信号から、目的エリアを音源とする目的エリア音以外の非目的エリア音が優勢な非目的エリア音優勢信号を取得する非目的エリア音優勢信号取得手段と、何れかの前記マイクロホンの前記入力信号と、前記非目的エリア音優勢信号とに基づいて、前記入力信号から前記目的エリア音を強調した目的エリア音強調信号を取得するマスクを推定するマスク推定手段と、
前記マスクを用いて前記入力信号から前記目的エリア音強調信号を抽出する抽出処理を行う抽出手段とを有し、
前記抽出手段は、拘束条件を前記目的エリア音の歪みを許容する歪み許容量としたＭＶＤＲビームフォーマを用いて前記抽出処理を行う
ことを特徴とする収音装置。
【請求項2】
前記マスク推定手段は、ニューラルネットワークを用いて構成されていることを特徴とする請求項１に記載の収音装置。
【請求項3】
コンピュータを、複数のマイクロホンからの入力信号から、目的エリアを音源とする目的エリア音以外の非目的エリア音が優勢な非目的エリア音優勢信号を取得する非目的エリア音優勢信号取得手段と、
何れかの前記マイクロホンの前記入力信号と、前記非目的エリア音優勢信号とに基づいて、前記入力信号から前記目的エリア音を強調した目的エリア音強調信号を取得するマスクを推定するマスク推定手段と、
前記マスクを用いて前記入力信号から前記目的エリア音強調信号を抽出する抽出処理を行う抽出手段として機能させ、
前記抽出手段は、拘束条件を前記目的エリア音の歪みを許容する歪み許容量としたＭＶＤＲビームフォーマを用いて前記抽出処理を行う
ことを特徴とする収音プログラム。
【請求項4】
収音装置が行う収音方法において、非目的エリア音優勢信号取得手段、マスク推定手段、抽出手段とを有し、
前記非目的エリア音優勢信号取得手段は、複数のマイクロホンからの入力信号から、目的エリアを音源とする目的エリア音以外の非目的エリア音が優勢な非目的エリア音優勢信号を取得し、
前記マスク推定手段は、何れかの前記マイクロホンの前記入力信号と、前記非目的エリア音優勢信号とに基づいて、前記入力信号から前記目的エリア音を強調した目的エリア音強調信号を取得するマスクを推定し、
前記抽出手段は、前記マスクを用いて前記入力信号から前記目的エリア音強調信号を抽出する抽出処理を行い、
前記抽出手段は、拘束条件を前記目的エリア音の歪みを許容する歪み許容量としたＭＶＤＲビームフォーマを用いて前記抽出処理を行う
ことを特徴とする収音方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、収音装置、収音プログラム、及び収音方法に関し、例えば、目的エリアに存在する音源（以下、「目的音源」とも呼ぶ）から到来する音（以下、「目的エリア音」又は「目的音」と呼ぶ）を収音するエリア収音処理に関する。
【背景技術】
【0002】
従来、多チャンネルマイクロホンを用いたビームフォーミング技術として、非特許文献１に記載されたＳＳＢＦ（Ｓｐｅｃｔｒｕｍ－Ｓｕｂｔｒａｃｔｉｏｎ ｂａｓｅｄ Ｂｅａｍｆｏｒｍｅｒ）が挙げられる。ＳＳＢＦは、２チャンネルのマイクロホンの観測信号の差分により周囲からの妨害音を抽出できることを利用し、正面方向の目的音源を強調する手法である。
【0003】
図９は、２つのマイクロホンＭｌ、Ｍｒを備えるマイクロホンアレイＭＡの観測信号を用いて、ＳＳＢＦにより正面方向の音の成分を強調して取得する例について示した図である。
【0004】
ここで、マイクロホンＭｌ、Ｍｒの観測信号をそれぞれ以下、（１）式、（２）式としたとき（ｆは周波数ビンのインデックス）、観測信号の差分は以下の（３）式のように示すことができる。なお、本明細書の文章部分（図面や数式以外の文章部分）では、文字表記の都合上、マイクロホンＭｌ、Ｍｒの観測信号（周波数領域の音響信号；（１）式、（２）式により示される信号）を、それぞれｘ（ｌ）
ｆ、ｘ（ｒ）
ｆと表すものとする。
【0005】
そして、その観測信号の差分は、正面方向にｎｕｌｌを向けるフィルタ（以下、「差分フィルタ」と呼ぶ）となり、正面方向以外からの妨害音が抽出される。ただし、差分フィルタにより得られる推定妨害音は実際の妨害音に比べ低周波ほどパワーが弱くなることが知られている。差分フィルタにより得られる推定妨害音を利用し、正面の目的音源ｙｆからの音は、以下の式（４）で表されるスペクトルサブトラクションを用いて抽出できる。
【0006】
【数1】
【0007】
非特許文献２には、深層ニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて目的音源の位置を推定して、ＭＶＤＲ（Ｍｉｎｉｍｕｍ Ｖａｒｉａｎｃｅ Ｄｉｓｔｏｒｔｉｏｎｌｅｓｓ Ｒｅｓｐｏｎｓｅ）ビームフォーマにより目的音源を抽出する技術（以下、「定位ＭＶＤＲビームフォーマ」と呼ぶ）が記載されている。ＭＶＤＲビームフォーマは、目的音源の方向（目的方向）に無ひずみの拘束をかけ、その拘束条件の下で処理後の雑音の平均パワーを最小化する。目的方向への拘束をかけるため、通常は目的音源のステアリングベクトルが必要となる。一方、定位ＭＶＤＲは、ＭＶＤＲビームフォーマによる空間モデルを考慮しながら目的音源と雑音を分離するマスクをＤＮＮで推定することで、目的音源のステアリングベクトルが不要となる。空間モデルを考慮して目的音源を分離していることから、このＤＮＮは目的音源の位置を推定していることになる。
【0008】
非特許文献３、４には、複数方向に無ひずみの拘束をかけたＭＶＤＲビームフォーマ（以下、「複数拘束ＭＶＤＲビームフォーマ」、「多点拘束ＭＶＤＲビームフォーマ」、又は「ＭＣ－ＭＶＤＲビームフォーマ」と呼ぶ）が記載されている。複数の方向に無ひずみの条件をかけることで、ビームに幅を持たせ、音源の多少の動きに頑健な強調を可能とした手法である。
【先行技術文献】
【非特許文献】
【0009】
【文献】Kazuhiro Katagiri, Tokuo Yamaguchi, Takashi Yazu,and Yoong Keok Lee, “Multiple beam-forming area sound enhancement (MUBASE) and stereophonic area sound reproduction (SASR) system”, SIGGRAPH Asia 2015 Emerging Technologies, 2015.
【文献】Tsubasa Ochiai, Shinji Watanabe, Takaaki Hori and John R. Hershey, ”Multichannel End-to-end Speech Recognition”, arXiv:1703.04783, 2017.
【文献】浅野太著，“音響テクノロジーシリーズ１６ 音のアレイ信号処理－音源の定位・追跡と分離－”，pp86-90，日本音響学会編，コロナ社，２０１１年２月２５日発行
【文献】R. G. Lorenz and S. P. Boyd, “Robust minimum variance beamforming,” IEEE Trans. on Signal Process., vol. 53, pp.1684-1696, May. 2005.
【発明の概要】
【発明が解決しようとする課題】
【0010】
非特許文献１に記載のＳＳＢＦを用いたビームフォーマでは、目的エリア内の音源の位置等により最適な係数αｆの値は異なる。
【0011】
例えば、従来のＳＳＢＦを用いたエリア収音処理において手動で係数αｆを調整しようとした場合を想定すると、係数αｆが大きすぎればオーバーサブトラクションになり、収音処理により得られる信号（目的エリア音を強調した信号）が歪んでしまい、係数αｆが小さすぎれば妨害音（非目的エリア音）の抑圧が不十分となってしまうため、係数αｆの最適な調整は困難である。
【0012】
また、非特許文献２に記載の定位ＭＶＤＲは、目的音源の位置を陰に推定しているため、位置の推定に失敗すると目的音源を抽出できない。
【0013】
さらに、非特許文献３、４に記載の複数拘束ＭＶＤＲビームフォーマは、複数の無ひずみの拘束条件により自由度が大きく低下することで、雑音抑圧性能も低下することが知られている。このため、目的音源の動きの頑健性と雑音抑圧性能（目的音強調性能）との間には上記のトレードオフが残る。
【0014】
以上のような問題を鑑みて、目的音源に関する環境変化（例えば、音源の移動）に対してより頑健な収音装置が望まれている。
【課題を解決するための手段】
【0015】
第１の本発明の収音装置は、（１）複数のマイクロホンからの入力信号から、目的エリアを音源とする目的エリア音以外の非目的エリア音が優勢な非目的エリア音優勢信号を取得する非目的エリア音優勢信号取得手段と、（２）何れかの前記マイクロホンの前記入力信号と、前記非目的エリア音優勢信号とに基づいて、前記入力信号から前記目的エリア音を強調した目的エリア音強調信号を取得するマスクを推定するマスク推定手段と、（３）前記マスクを用いて前記入力信号から前記目的エリア音強調信号を抽出する抽出処理を行う抽出手段とを有し、（４）前記抽出手段は、拘束条件を前記目的エリア音の歪みを許容する歪み許容量としたＭＶＤＲビームフォーマを用いて前記抽出処理を行うことを特徴とする。
【0016】
第２の本発明の収音プログラムは、コンピュータを、（１）複数のマイクロホンからの入力信号から、目的エリアを音源とする目的エリア音以外の非目的エリア音が優勢な非目的エリア音優勢信号を取得する非目的エリア音優勢信号取得手段と、（２）何れかの前記マイクロホンの前記入力信号と、前記非目的エリア音優勢信号とに基づいて、前記入力信号から前記目的エリア音を強調した目的エリア音強調信号を取得するマスクを推定するマスク推定手段と、（３）前記マスクを用いて前記入力信号から前記目的エリア音強調信号を抽出する抽出処理を行う抽出手段として機能させ、（４）前記抽出手段は、拘束条件を前記目的エリア音の歪みを許容する歪み許容量としたＭＶＤＲビームフォーマを用いて前記抽出処理を行うことを特徴とする。
【0017】
第３の本発明は、収音装置が行う収音方法において、（１）非目的エリア音優勢信号取得手段、マスク推定手段、抽出手段とを有し、（２）前記非目的エリア音優勢信号取得手段は、複数のマイクロホンからの入力信号から、目的エリアを音源とする目的エリア音以外の非目的エリア音が優勢な非目的エリア音優勢信号を取得し、（３）前記マスク推定手段は、何れかの前記マイクロホンの前記入力信号と、前記非目的エリア音優勢信号とに基づいて、前記入力信号から前記目的エリア音を強調した目的エリア音強調信号を取得するマスクを推定し、（４）前記抽出手段は、前記マスクを用いて前記入力信号から前記目的エリア音強調信号を抽出する抽出処理を行い、（５）前記抽出手段は、拘束条件を前記目的エリア音の歪みを許容する歪み許容量としたＭＶＤＲビームフォーマを用いて前記抽出処理を行うことを特徴とする。
【発明の効果】
【0018】
本発明によれば、目的音源に関する環境変化に対してより頑健な収音装置、収音プログラム、及び収音方法を提供することができる。
【図面の簡単な説明】
【0019】
【図1】実施形態に係る目的エリア音抽出部の機能的構成について示したブロック図である。
【図2】実施形態に係る収音装置の機能的構成について示したブロック図である。
【図3】実施形態に係る収音装置のハードウェア構成の例について示したブロック図である。
【図4】実施形態に係る収音装置が行うエリア収音処理に係る空間モデルの例について示した図である。
【図5】実施形態に係る目的エリア音抽出部を構成するＤＮＮの第１のアーキテクチャについて示したブロック図である。
【図6】実施形態に係る目的エリア音抽出部を構成するＤＮＮの第２のアーキテクチャについて示したブロック図である。
【図7】実施形態に係る収音装置の実験モデルについて示した図である。
【図8】実施形態に係る収音装置の実験結果について示した図である。
【図9】従来の２チャンネルマイクロホンアレイを用いた収音処理について示した図である。
【発明を実施するための形態】
【0020】
（Ａ）主たる実施形態
以下、本発明による収音装置、プログラム及び方法の一実施形態を、図面を参照しながら詳述する。
以下、本発明による収音装置、プログラム及び方法の一実施形態を、図面を参照しながら詳述する。
【0021】
（Ａ－１）第１の実施形態の構成
図２は、この実施形態の収音装置１００の機能的構成について示したブロック図である。
図２は、この実施形態の収音装置１００の機能的構成について示したブロック図である。
【0022】
収音装置１００は、２つのマイクロホンＭｒ、Ｍｌを備えるマイクロホンアレイＭＡを用いて、目的エリアの音源からの目的エリア音を収音する目的エリア音収音処理を行う。
【0023】
マイクロホンアレイＭＡは、目的エリアが存在する空間の任意の場所に配置される。なお、この実施形態では、説明を簡易とするため、マイクロホンアレイＭＡで収音の対象となる目的エリア（目的エリアに配置された目的音源）は１つだけであるものとする。
【0024】
次に、収音装置１００の内部構成について図２を用いて説明する。
【0025】
収音装置１００は、信号入力部１０１、目的エリア音抽出部１０２、及び信号出力部１０３を備える。なお、収音装置１００を構成する各機能ブロックの詳細処理については後述する。
【0026】
信号入力部１０１は、各マイクロホンで観測された音響信号（アナログ信号）を、ディジタル信号に変換して、目的エリア音抽出部１０２で処理可能な形式の信号（この実施形態では、周波数領域の信号）に変換する機能を担っている。信号入力部１０１は、各マイクロホンで観測された音響信号（アナログ信号）を、アナログ信号からディジタル信号に変換し、さらに時間領域から周波数領域に変換（例えば、高速フーリエ変換等により変換）して、目的エリア音抽出部１０２に供給する。
【0027】
目的エリア音抽出部１０２は、信号入力部１０１から供給された観測信号（ｘ（ｒ）
ｆ、ｘ（ｌ）
ｆ）から、非目的エリア音（妨害音）を分離して目的エリア音（目的音）を強調した強調信号を取得する機能を担っている。なお、本明細書では、文字表記の都合上、ＢＦ２０３から出力される強調信号を「＾ｙｆ」と表すものとする。
【0028】
信号出力部１０３は、目的エリア音抽出部１０２から出力された強調信号＾ｙｆを、周波数領域から時間領域へ変換して、所定の形式で出力する。なお、信号出力部１０３による信号出力の形式については限定されないものである。
【0029】
次に、収音装置１００のハードウェア構成の例について説明する。
【0030】
収音装置１００は、全てハードウェア（例えば、専用チップ等）により構成するようにしてもよいし一部又は全部についてソフトウェア（プログラム）として構成するようにしてもよい。収音装置１００は、例えば、プロセッサ及びメモリを有するコンピュータにプログラム（実施形態の収音プログラムを含む）をインストールすることにより構成するようにしてもよい。
【0031】
図３は、収音装置１００のハードウェア構成の例について示したブロック図である。
【0032】
図３では、収音装置１００を、ソフトウェア（コンピュータ）を用いて構成する際のハードウェア構成の例について示している。
【0033】
図３に示す収音装置１００は、ハードウェア的な構成要素として、プログラム（実施形態の収音プログラムを含む）がインストールされたコンピュータ４００を有している。また、コンピュータ４００は、収音プログラム専用のコンピュータとしてもよいし、他の機能のプログラムと共用される構成としてもよい。
【0034】
図３に示すコンピュータ４００は、プロセッサ４０１、一次記憶部４０２、及び二次記憶部４０３を有している。一次記憶部４０２は、プロセッサ４０１の作業用メモリ（ワークメモリ）として機能する記憶手段であり、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の高速動作するメモリを適用することができる。二次記憶部４０３は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やプログラムデータ（実施形態に係る収音プログラムのデータを含む）等の種々のデータを記録する記憶手段であり、例えば、ＦＬＡＳＨ（登録商標）メモリやＨＤＤやＳＳＤ等の不揮発性メモリを適用することができる。この実施形態のコンピュータ４００では、プロセッサ４０１が起動する際、二次記憶部４０３に記録されたＯＳやプログラム（実施形態に係る収音プログラムを含む）を読み込み、一次記憶部４０２上に展開して実行する。
【0035】
なお、コンピュータ４００の具体的な構成は図３の構成に限定されないものであり、種々の構成を適用することができる。例えば、一次記憶部４０２が不揮発メモリ（例えば、ＦＬＡＳＨメモリ等）であれば、二次記憶部４０３については除外した構成としてもよい。
【0036】
なお、実施形態に係る収音装置、収音プログラム及び収音方法は、少なくとも目的エリア音抽出部１０２に相当する構成を含む。したがって、目的エリア音抽出部１０２に相当する処理のみを行う装置やプログラムを本発明の収音装置や収音プログラムとして構成するようにしてもよい。
【0037】
次に、この実施形態におけるマイクロホンアレイＭＡ（マイクロホンＭｒ、Ｍｌ）と、目的エリア（目的音源）との位置関係のモデル（空間モデル）について図４を用いて説明する。
【0038】
図４では、マイクロホンＭｒ、Ｍｌ、目的音源（目的エリア音の音源）、妨害音源（非目的エリア音の音源）が全て同じ平面上に存在する場合の空間モデルを上方向から見た図となっている。また、図４では、マイクロホンＭｒ、Ｍｌの位置（中心位置）を結んだ線Ｌの中点の位置（マイクロホンアレイＭＡの中心点）をＰ１と図示している。さらに、図４では、Ｐ１からみてマイクロホンＭｒの方向を０°、Ｐ１からみてマイクロホンＭｌの方向を１８０°としている。
【0039】
この実施形態の収音装置１００では、目的音源及び妨害音源はＰ１からみて０°～１８０°のいずれかの方向（角度）に存在するものと仮定して収音処理を行うものとする。以下では、Ｐ１から見た目的音源及び妨害音源（非目的エリア音の音源）の存在する方向を「到来角」又は「到来方向」とも呼ぶものとする。また、以下では、Ｐ１から見て９０°の方向を正面方向と呼ぶものとする。
【0040】
次に、目的エリア音抽出部１０２による目的エリア音抽出処理の概要について説明する。
【0041】
ここで、まず、従来の複数拘束ＭＶＤＲビームフォーマについて説明する。上記の通り、複数拘束ＭＶＤＲビームフォーマとしては、例えば、非特許文献３、４の記載技術が存在する。従来の複数拘束ＭＶＤＲビームフォーマは、複数の拘束条件（複数方向から到来する信号に対する出力を無歪にする拘束条件）によりビームに幅を持たせることで、目的音源の多少の動きに頑健な強調を可能とした手法であるが、無歪の制約を複数方向に対して課す強い拘束条件により自由度が大きく低下し、目的音強調性能（雑音抑圧性能）が低いことが課題である。
【0042】
一方、従来のＭＶＤＲビームフォーマ（例えば、複数拘束ＭＶＤＲビームフォーマや定位ＭＶＤＲビームフォーマ等）では、拘束条件の強さと目的音強調性能（雑音抑圧性能）はトレードオフの関係にあり、目的音源の歪みを許容することにより目的音強調性能（雑音抑圧性能）が大幅に向上することが知られている。
【0043】
そこで、この実施形態の目的エリア音抽出部１０２では、従来のＭＶＤＲビームフォーマ（例えば、複数拘束ＭＶＤＲビームフォーマ）における拘束条件を、目的エリア音（目的音）の歪みを許容するパラメータに置き換えた方式（以下、「ＲＭＣ－ＭＶ（Ｒｅｌａｘｅｄ Ｍｕｌｔｉｐｌｅ－Ｃｏｎｓｔｒａｉｎｔ ＭＶ）ビームフォーマ」又は「歪み許容複数拘束最小分散ビームフォーマ」とも呼ぶ）を採用することにより、目的音強調性能（雑音抑圧性能）の向上を図るものとする。
【0044】
例えば、従来の複数拘束ＭＶＤＲビームフォーマにおける拘束条件を、目的エリア音（目的音）の歪みを許容する「歪み許容量」（以下、「Ｅ」と表す）に置き換えることにより、ＲＭＣ－ＭＶビームフォーマは実現することができる。
【0045】
例えば、ＲＭＣ－ＭＶビームフォーマに適用するフィルタ係数（以下、「ｗＲＭＣＭＶ」と表す）として最適なものは、以下の（５）式、（６）式の最適化問題（拘束付き最適化問題）を解くことで得られる。（５）式、（６）式では、従来の複数拘束ＭＶＤＲビームフォーマにおける最適化問題の拘束条件の部分が歪み許容量Ｅに置き換えられている。そして、（５）式、（６）式の最適化問題を解くことにより、（７）式のような解（最適解）を得ることができる。
【0046】
【数2】
（７）式において、λ＝λ（Ｅ）は、目的音の歪み許容量Ｅ（つまり上記のトレードオフ）を調整するハイパーパラメータである。（７）式において、λの値が小さいほど目的音強調性能（雑音抑圧性能）は向上するが、目的音の歪みが大きくなる。また、（７）式において、λの値が大きいほど目的音強調性能（雑音抑圧性能）は低下するが、目的音の歪みが小さくなる。
【0047】
以上のように、目的エリア音抽出部１０２では、上記のようなＲＭＣ－ＭＶビームフォーマにより、観測信号から強調信号＾ｙｆが抽出されるものとする。また、この実施形態の目的エリア音抽出部１０２では、ＤＮＮを用いて、上記のようなＲＭＣ－ＭＶビームフォーマが最適化される構成となっているものとする。
【0048】
図１は、目的エリア音抽出部１０２の内部構成の例について示したブロック図である。
【0049】
ＤＮＮを用いて、上記のようなＲＭＣ－ＭＶビームフォーマを実現する場合、目的エリア音抽出部１０２の内部構成は、例えば、図１のような構成となる。
【0050】
図１に示すように、目的エリア音抽出部１０２は、差分フィルタ２０１、ＤＮＮ２０２（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＢＦ２０３（Ｂｅａｍ Ｆｏｒｍｅｒ）、及び差分抽出器２０４を有している。
【0051】
差分フィルタ２０１はｘ（ｒ）
ｆ、ｘ（ｌ）
ｆの差分ｄｆを算出するものである。差分ｄｆは、上述の（３）式により算出することができる。目的音源（目的エリア）がマイクロホンアレイＭＡ（位置Ｐ１）から見て概ね正面方向に位置することを仮定すると、差分フィルタ２０１の出力であるｄｆは、非目的エリア音（非目的エリアからの妨害音）が支配的な信号となる。
【0052】
ＤＮＮ２０２は、ＤＮＮを用いて、非目的エリア音（非目的エリアからの妨害音）が支配的な信号ｄｆと観測信号ｘ（ｌ）
ｆ（ｘ（ｒ）
ｆとしてもよい）を入力とし、図４に示すような空間モデルを考慮しながら、目的エリア音と非目的エリア音（妨害音；雑音）を分離する時間周波数マスク（以下、「ｍａｓｋ」と表す）を推定する処理を行う。具体的には、ＤＮＮ２０２は、信号ｄｆと観測信号ｘ（ｌ）
ｆを入力として、ＲＭＣ－ＭＶビームフォーマの処理で用いる時間周波数マスク（以下、「ｍａｓｋ」と表す）を推定する処理（以下、「マスク推定処理」と呼ぶ）を行うものとする。
【0053】
ＢＦ２０３は、ｍａｓｋから得られる雑音（非目的エリア音；妨害音）の空間相関行列（ＳＣＭ）と、事前に与えられたステアリングベクトルを用いて、（７）式で表されるＲＭＣ－ＭＶビームフォーマのフィルタ係数ｗＲＭＣＭＶを得る。ＢＦ２０３は、取得したフィルタ係数ｗＲＭＣＭＶに基づいて、観測信号（ｘ（ｒ）
ｆ又はｘ（ｌ）
ｆ）から目的エリア音を強調した強調信号＾ｙｆを抽出することができる。
【0054】
差分抽出器２０４は、ＢＦ２０３から出力される強調信号＾ｙｆ（目的エリア音を推定した結果）と、機械学習における教師ラベル（正解ラベル）となるクリーンな目的エリア音（以下、「ｙｆ」と表す）との差分を取得し、この差分（又は差分に基づくパラメータ）をＤＮＮ２０２にｌｏｓｓ（機械学習におけるｌｏｓｓ）としてフィードバックする。すなわち、差分抽出器２０４は、ＤＮＮ２０２に学習処理させる際にのみ機能する要素である。したがって、すでにＤＮＮ２０２で新たな学習処理が行われない場合には、収音装置１００から差分抽出器２０４を除外するようにしてもよい。
【0055】
差分抽出器２０４の具体的な処理については、例えば、以下の参考文献１に基づく処理を適用することができるので、詳しい説明は省略する。
【0056】
参考文献１：J. Heymann, K. Drude, and R. Haeb-Umbach, “Neural network-based spectral mask estimation for acoustic beamforming,” in Proc. IEEE ICASSP, 2016, pp. 196-200.
【0057】
この実施形態の収音装置１００では、目的エリア音抽出部１０２に対して学習処理を実行させる動作モード（以下、「学習処理モード」と呼ぶ）と、供給された観測信号ｘ（ｌ）
ｆ（ｘ（ｒ）
ｆに基づいて、目的エリア音を強調した強調信号＾ｙｆを抽出して出力する処理を行う動作モード（以下、「信号処理モード」と呼ぶ）の両方に対応しているものとする。なお、収音装置１００において、学習処理モードに対応しない構成（例えば、既に学習モデルを取得しているか外部から学習モデルを取得する構成等）としてもよい。
【0058】
収音装置１００は、学習処理モードで動作する場合、目的エリア音抽出部１０２に教師データとしての観測信号（ｘ（ｌ）
ｆ（ｘ（ｒ）
ｆ）のサンプルと、教師ラベルとしてのクリーン信号ｙｆを含むデータセット（以下、「教師データセット」と呼ぶ）を供給して学習処理を実行させる。このとき、目的エリア音抽出部１０２では、差分抽出器２３０により、教師データに基づく処理結果（強調信号＾ｙｆ）と教師ラベル（クリーン信号ｙｆ）の差分（ｌｏｓｓ）が取得され、ＤＮＮ２０２にフィードバックされる。これにより、ＤＮＮ２０２では、教師データセットに基づいて学習（ディープラーニング）した学習モデルを取得することができる。
【0059】
ＤＮＮ２０２は、学習モードで動作する場合、差分抽出器２０４から供給されるｌｏｓｓに基づいて学習（全体最適化）を行うことで、空間モデル（図４に示すモデル）を考慮したマスク推定処理が行われるように各パラメータ（ＤＮＮの各層のパラメータ）が更新される。
【0060】
次に、ＤＮＮ２０２の内部構成の例について説明する。
【0061】
図５、図６は、ＤＮＮ２０２の内部構成の例について示した図である。図５は複数の全結合層を用いたＤＮＮ２０２のアーキテクチャ（以下、「第１のアーキテクチャ」とも呼ぶ）の例について示したブロック図である。また、図６は、Ｕ－ｎｅｔ型のアーキテクチャを適用したＤＮＮ２０２のアーキテクチャ（以下、「第２のアーキテクチャ」と呼ぶ）の例について示したブロック図である。図５、図６では、１又は複数の層（ＤＮＮを構成する機能層）により構成されたブロック単位でＤＮＮを図示している。図５、図６では、各ブロックを構成する層には、それぞれの層の機能を示す記号が付記されている。図５、図６では、各層には、全結合（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）の層であることを示す「ＦＣ」、２次元畳み込み（２Ｄ Ｃｏｎｖｏｌｕｔｉｏｎ）の層であることを示す「Ｃｏｎｖ」、アップサンプリング（２次元逆畳み込み；Ｕｐ Ｃｏｎｖｏｌｕｔｉｏｎ；Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）の層であることを示す「ＵＰ－Ｃｏｎｖ」、バッチノーマライゼーション（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）の層であることを示す「ＢＮ」、マックスプーリング（Ｍａｘ Ｐｏｏｌｉｎｇ）の層であることを示す「Ｐｏｏｌ」、活性化関数ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）の層であることを示す「ＲｅＬｕ」、活性化関数シグモイド（Ｓｉｇｍｏｉｄ）の層であることを示す「Ｓｉｇｍｏｉｄ」のいずれかの記号が付記されている。以下では、各層について記号で呼ぶものとする。図５、図６において、Ｃｏｎｖの後に続く括弧内の記述は畳み込む際に用いるフィルタ（窓）のサイズ（行列サイズ）を示している。例えば、「Ｃｏｎｖ（３×３）」は、３行×３列のフィルタ（行列）を用いて畳み込みを行うことを示している。また、図５、図６において、Ｐｏｏｌの後に続く括弧内の記述は、プーリング処理において用いられるフィルタ（窓）のサイズ（行列サイズ）を示している。さらに、図５、図６において、ＵＰ－Ｃｏｎｖの後に続く括弧内の記述はアップサンプリング（逆畳み込み）の処理に用いるフィルタ（窓）のサイズ（行列サイズ）を示している。
【0062】
次に、図５を用いて第１のアーキテクチャによるＤＮＮ２０２の構成について説明する。
【0063】
第１のアーキテクチャのＤＮＮ２０２では、入力側から順に、「ブロックＢ１１１、Ｂ１１２」、「ブロックＢ１２１、Ｂ１２２」、「ブロックＢ１３１」、「ブロックＢ１４１」、「ブロックＢ１５１」が配置されている。
【0064】
ブロックＢ１１１、Ｂ１１２、Ｂ１２１、Ｂ１２２、Ｂ１３１、Ｂ１４１は、いずれも入力から順にＦＣ、ＢＮ、ＲｅＬｕの層が直列に接続された構成となっている。また、ブロックＢ１５１は、入力側から順にＦＣ、ＢＮ、Ｓｉｇｍｏｉｄの層が直列に接続された層となっている。
【0065】
第１のアーキテクチャＤＮＮ２０２では、入力のブロックＢ１１１、Ｂ１１２にそれぞれｘ（ｒ）
ｆ、ｄｆが入力されている。また、第１のアーキテクチャのＤＮＮ２０２では、ｘ（ｒ）
ｆ、ｄｆの各々に対し、ブロックＢ１１１、Ｂ１１２、Ｂ１２１、Ｂ１２２により変換を施した後に結合（ＣＯＮＣＡＴ）してブロックＢ１３１に入力されている。さらに、図５に示すＤＮＮ２０２では、ブロックＢ１４１、Ｂ１５１により変換を行いｍａｓｋとして出力する構成となっている。
【0066】
次に、図６を用いて第２のアーキテクチャによるＤＮＮ２０２の構成について説明する。
【0067】
図６に示すように、第２のアーキテクチャＤＮＮ２０２は、Ｌ段（Ｌは１以上の整数）のダウンサンプリングの処理を行うブロック（以下、「ダウンサンプリングブロック」と呼ぶ）ＤＢ１（ＤＢ１～ＤＢＬ）と、同じくＬ段のアップサンプリングの処理を行うブロック（以下、「アップサンプリングブロック」と呼ぶ）ＵＢ（ＵＢ１～ＵＢＬ）と、ダウンサンプリングブロックＤＢＬとアップサンプリングブロックＵＢＬとの中間に配置されたブロックＢ２０１、Ｂ２０２と、アップサンプリングブロックＵＢＬの後段のブロックＢ２０３が配置されている。第２のアーキテクチャＤＮＮ２０２では、入力側から見ると、ダウンサンプリングブロックＤＢ１、ＤＢ２、・・・ＤＢ（Ｌ－１）、ＤＢＬ、ブロックＢ２０１、Ｂ２０２、アップサンプリングブロックＵＢＬ、ＵＢ（Ｌ－１）、・・・、ＵＢ２、ＵＢ１、ブロックＢ２０３の順に直列に接続された構成となっている。
【0068】
アップサンプリング／ダウンサンプリングの段数Ｌについては任意の数を適用することができるが、この実施形態ではＬ＝４であるものとして以後の説明を行う。
【0069】
それぞれのダウンサンプリングブロックＤＢ（ＤＢ１～ＤＢＬ）には、ｘ（ｒ）
ｆが入力された系統の処理を行うサブブロックＳＢ１１と、ｄｆが入力された系統の処理を行うサブブロックＳＢ１２が配置されている。
【0070】
サブブロックＳＢ１１、ＳＢ１２は、いずれも同じ構成となっている。図６に示すように、サブブロックＳＢ１１、ＳＢ１２は、それぞれ、入力側から順にＣｏｎｖ（３×３）、Ｃｏｎｖ（３×３）、ＢＮ、ＲｅＬｕ、Ｐｏｏｌ（２×２）の層が直列に接続された構成となっている。
【0071】
ブロックＢ２０１には、ｘ（ｒ）
ｆが入力された系統の処理を行うサブブロックＳＢ２１と、ｄｆが入力された系統の処理を行うサブブロックＳＢ２２が配置されている。サブブロックＳＢ２１、ＳＢ２２は、それぞれ、入力側から順にＣｏｎｖ（３×３）、Ｃｏｎｖ（３×３）、ＢＮ、ＲｅＬｕの層が直列に接続された構成となっている。
【0072】
ブロックＢ２０１の各サブブロックＳＢ２１、ＳＢ２２からの出力は結合（ＣＯＮＣＡＴ）され、ブロックＢ２０２に供給される。
【0073】
ブロックＢ２０２は、入力側から順にＦＣ、ＢＮ、Ｓｉｇｍｏｉｄの層が直列に接続された構成となっている。
【0074】
アップサンプリングブロック（ＵＢ１～ＵＢＬ）には、それぞれ、入力側から順にＣｏｎｖ（２×２）、ＵＰ－Ｃｏｎｖ（２×２）、Ｃｏｎｖ（３×３）、Ｃｏｎｖ（３×３）、ＢＮ、ＲｅＬｕの層が直列に接続された構成となっている。
【0075】
図６に示すように、ｉ段目（ｉは１～Ｌのいずれかの整数）のアップサンプリングブロックＵＢｉでは、ＵＰ－Ｃｏｎｖ（２×２）の出力と、ダウンサンプリングブロックＤＢｉにおけるサブブロックＳＢ１１のＲｅＬｕの出力と、ダウンサンプリングブロックＤＢｉにおけるサブブロックＳＢ１２のＲｅＬｕの出力とが結合（ＣＯＮＣＡＴ）され、１層目のＣＯＮＶ（３×３）に供給される。
【0076】
ブロックＢ２０３は、入力側から順に、Ｃｏｎｖ（１×１）、Ｓｉｇｍｏｉｄの層が直列に接続された構成となっている。
【0077】
（Ａ－２）第１の実施形態の動作
次に、以上のような構成を有するこの実施形態における収音装置１００の動作（実施形態に係る収音方法）を説明する。
次に、以上のような構成を有するこの実施形態における収音装置１００の動作（実施形態に係る収音方法）を説明する。
【0078】
まず、収音装置１００の目的エリア音抽出部１０２が学習処理モードで動作する場合の処理について説明する。
【0079】
学習処理モードで動作する目的エリア音抽出部１０２に教師データセットが供給されると、まず、差分フィルタ２０１により、教師データセットの教師データ（観測信号ｘ（ｌ）
ｆ、ｘ（ｒ）
ｆ）から、差分ｄｆが取得されＤＮＮ２０２に供給される。
【0080】
ＤＮＮ２０２では、差分ｄｆと観測信号ｘ（ｌ）
ｆに基づいて、ｍａｓｋを推定する処理が行われる。
【0081】
ＢＦ２０３では、ｍａｓｋと観測信号ｘ（ｌ）
ｆに基づいて強調信号＾ｙｆが取得され、差分抽出器２０４に供給される。
【0082】
差分抽出器２０４では、強調信号＾ｙｆと教師ラベルとしてのクリーン信号ｙｆとの差分がｌｏｓｓとして取得されてＤＮＮ２０２にフィードバックされる。
【0083】
ＤＮＮ２０２では、ｌｏｓｓに基づいて学習処理（ニューラルネットワークによりｌｏｓｓの少ないｍａｓｋを推定するための学習モデルの更新処理）が行われる。
【0084】
次に、収音装置１００の目的エリア音抽出部１０２が信号処理モードで動作する場合の動作について説明する。
【0085】
ここで、マイクロホンアレイＭＡ（マイクロホンＭｒ、Ｍｌ）から信号入力部１０１を介して、信号処理モードで動作する目的エリア音抽出部１０２に観測信号（ｘ（ｌ）
ｆ、ｘ（ｒ）
ｆ）が供給されたものとする。
【0086】
信号処理モードで動作する目的エリア音抽出部１０２に教師データセットが供給されると、まず、差分フィルタ２０１により、観測信号（ｘ（ｌ）
ｆ、ｘ（ｒ）
ｆ）から、差分ｄｆが取得されＤＮＮ２０２に供給される。
【0087】
ＤＮＮ２０２では、差分ｄｆと観測信号ｘ（ｌ）
ｆに基づいて、保持している学習モデルに基づいてｍａｓｋを推定する処理が行われる。
【0088】
ＢＦ２０３では、ｍａｓｋと観測信号ｘ（ｌ）
ｆに基づいて強調信号＾ｙｆが取得され、信号出力部１０３に供給される。
【0089】
信号出力部１０３は、強調信号＾ｙｆを周波数領域から時間領域に変換して出力する。
【0090】
次に、発明者が、シミュレーション環境において収音装置１００を構築して、目的エリア音を収音（強調信号＾ｙｆを取得する処理）する処理を行い、その品質（音源位置移動に対する頑健の度合）を評価するための実験（以下、「本実験」と呼ぶ）を行った際の実験結果及びその評価結果について説明する。
【0091】
本実験では、この実施形態の収音装置１００（目的エリア音抽出部１０２）を用いた目的エリア音の収音処理（すなわち「ＲＭＣ－ＭＶビームフォーマ」を用いた収音処理）と、従来のＭＣ－ＭＶＤＲビームフォーマ（複数拘束ＭＶＤＲビームフォーマ）を用いた収音処理について性能（目的エリア音強調性能；雑音抑圧性能；音源分離精度）を比較するものとする。
【0092】
図７は、本実験の環境について示した図である。
【0093】
【0094】
図７に示すように、本実験では、目的音源及び妨害音源（非目的エリアの音源）の位置はＰ１から１ｍの距離の半円の線上であるものとする。
【0095】
本実験では、学習処理モード（訓練時）、信号処理モード（信号処理時）のいずれの動作モードにおいても、目的音源のドライソース（信号）としてＴＩＭＩTコーパス（以下の参考文献２参照）を用いた。また、本実験では、学習処理モード（訓練時）、信号処理モード（信号処理時）のいずれの動作モードにおいても、妨害音（非目的エリア音）のドライソース信号として、ＴＭＩＴコーパスを、非定常雑音に相当する信号としてＤＥＭＡＮＤ（Ｄｉｖｅｒｓｅ Ｅｎｖｉｒｏｎｍｅｎｔｓ Ｍｕｌｔｉ－ｃｈａｎｎｅｌ Ａｃｏｕｓｔｉｃ Ｎｏｉｓｅ Ｄａｔａｂａｓｅ）コーパス（以下の参考文献３参照）を用いた。なお、本実験では、妨害音のドライソース信号としてＴＭＩＴコーパスが用いられる場合、目的音源とは異なる発話が選択されるものとした。また、本実験では、非定常雑音としてＤＥＭＡＮＤコーパスが適用される場合、ＤＥＭＡＮＤコーパスからＮＲＩＶＥＲ、ＮＰＡＲＫ、ＤＬＩＶＩＮＧ、ＯＯＦＦＩＣＥ、ＯＭＥＥＴＩＮＧのいずれかが適用されるものとした。
【0096】
参考文献２：J. S. Garofolo, L. F. Lamel, W. M. Fisher, J. G.Fiscus, D. S. Pallett, N. L. Dahlgren, V. Zue, “TIMIT acoustic phonetic continuous speech corpus,”Linguistic Data Consotrium, 1992.
参考文献３：J. Thiemann, N. Ito, and E. Vincent, “The diverseenvironments multi-channel acoustic noise database(DEMAND): A database of multichannel environmental noise recordings”, The Journal of the Acoustical Society of America,vol. 133, p. 3591,05, 2013.
参考文献３：J. Thiemann, N. Ito, and E. Vincent, “The diverseenvironments multi-channel acoustic noise database(DEMAND): A database of multichannel environmental noise recordings”, The Journal of the Acoustical Society of America,vol. 133, p. 3591,05, 2013.
【0097】
本実験では、図７のような音場（モデル環境）においてマイクロホンＭｌ、Ｍｒで捕捉される観測信号（音響信号）をコンピュータ上のシミュレーションにより取得し、さらに取得した観測信号を収音装置１００に入力した結果を評価した。
【0098】
具体的には、本実験では、ＰｙＲｏｏｍＡｃｏｕｓｔｉｃｓ（以下の参考文献４参照）を用いて、図７のような音場（空間モデル）を設定したシミュレーションを行ってインパルス応答を取得し、取得したインパルス応答を上記のドライソース（目的音源及び妨害音源のドライソース）に畳み込むことで、マイクロホンＭｌ、Ｍｒの観測信号ｘ（ｌ）
ｆ、ｘ（ｒ）
ｆを得た。
【0099】
参考文献４：Scheibler, E. Bezzam, I. Dokmani´c, “Pyroomacoustics: A Python package for audio room simulations and array processing algorithms”, Proc. IEEE ICASSP, 2018
【0100】
また、本実験のシミュレーションでは、観測信号ｘ（ｌ）
ｆ、ｘ（ｒ）
ｆにおけるＳＮＲがおよそ０．０［ｄＢ］となるよう調整している。なお、以下では、本実験用の音場の３Ｄ空間を（ｘ，ｙ，ｚ）の三次元の座標系で表すものとする。
【0101】
そして、本実験のシミュレーションでは、音場（空間モデル）を構成する部屋の大きさは（ｘ，ｙ，ｚ）［ｍ］＝（５，３，３）とし、２ｃｈのマイクロホンＭｌ，Ｍｒの座標を、それぞれ（ｘ，ｙ，ｚ）［ｍ］＝（２．４８５，１．５，１）、（ｘ，ｙ，ｚ）［ｍ］＝（２．５１５，１．５，１）とした。これにより、マイクロホンＭｌ，Ｍｒの間隔は３［ｃｍ］となる。また、本実験のシミュレーションでは、部屋の吸音率を０．２、部屋の反射回数を３と設定した。
【0102】
次に、本実験のシミュレーションにおける詳細なパラメータ設定について説明する。
【0103】
本実験において、従来の複数拘束ＭＶＤＲビームフォーマでは、８０°、１００°の２方向から到来する信号に対する出力が無歪になるような拘束を与えた。また、ＲＭＣ－ＭＶビームフォーマでは、同じ２方向から到来する信号に対する出力に対して拘束を与えるが、出力を完全に無歪にしようとするのではなく、歪を許容するように拘束を緩和した。なお、本実験において、これらの拘束を与える方向（角度）はｏｒａｃｌｅ ｍａｓｋを用いた事前実験により、より好適な方向（角度）を決定した。
【0104】
また、本実験では、ＲＭＣ－ＭＶビームフォーマにおいて、複数の値を用いてシミュレーション（学習）を行い、実験的に好適なハイパーパラメータλの値を決定した。具体的には、本実験では、λ＝１．０×１０６（６００００００）を適用した。なお、本実験において、λの値は学習処理モード時・信号処理モード時ともに固定した値を適用した。
【0105】
また、本実験では、ＤＮＮのモデルの学習において，バッチサイズを16，エポック数を100 と設定し，損失関数として強調信号と正解信号の平均二乗誤差を用いた。本実験では、ＤＮＮのモデルにおいて、最適化アルゴリズムにＡｄａｍ（以下の参考文献５を参照）を用い、学習率を０．００１とした。
【0106】
参考文献５：D. Kingma, and J. Ba, “Adam: A method for stochastic optimization”, International Conference on Learning Representations (ICLR), 2015.
【0107】
図８は、本実験の結果について示した図である。
【0108】
図８では、本実験における無処理のマイクロホンの観測信号（以下、「Ｏｂｓｅｒｖａｔｉｏｎ」とも表す）、複数拘束ＭＶＤＲビームフォーマ出力音声（ＭＣ－ＭＶＤＲ）、及び収音装置１００の出力音声（ＲＭＣ－ＭＶビームフォーマ出力音声）について比較した表について示している。
【0109】
図８では、ビームフォーマの音声強調性能を評価するための尺度として、音質の評価尺度であるＳＤＲ（Ｓｉｇｎａｌ－ｔｏ－Ｄｉｓｔｏｒｔｉｏｎ Ｒａｔｉｏ）およびＳＴＯＩ（Ｓｈｏｒｔ－Ｔｉｍｅ Ｏｂｊｅｃｔｉｖｅ Ｉｎｔｅｌｌｉｇｉｂｉｌｉｔｙ）を用いている。
【0110】
図８では、Ｏｂｓｅｒｖａｔｉｏｎ（無処理の観測信号）に対してはＳＤＲおよびＳＴＯＩの値そのものを記載している。また、図８では、２種類のビームフォーマ（ＭＣ－ＭＶＤＲ、ＲＭＣ－ＭＶ）の音声については、ＯｂｓｅｒｖａｔｉｏｎのＳＤＲに対する改善値ＳＤＲｉ（ＳＤＲ ｉｍｐｒｏｖｅｍｅｎｔ）と、ＯｂｓｅｒｖａｔｉｏｎのＳＴＯＩに対する改善値ＳＴＯＩｉ（ＳＴＯＩ ｉｍｐｒｏｖｅｍｅｎｔ）を記載した。
【0111】
本実験では、２種類のビームフォーマ（ＭＣ－ＭＶＤＲ、ＲＭＣ－ＭＶ）の学習処理モード時には目的音源の位置を８０°、９０°、１００°の３方向のいずれかの方向とし、信号処理モード時には目的音源の位置を８０°～９０°の範囲内で１°刻みのいずれかの方向とした。また、本実験では、妨害音源については、学習処理モード時・信号処理モード時共に、０°、１５°、３０°、４５°、１３５°、１５０°、１６５°、１８０°の計８か所のうちランダムに１～３か所設置した。本実験では、このような目的音源及び妨害音原（非目的エリア音の音源）の位置変更を、コーパス上データ処理単位（例えば、単語単位）で行った。
【0112】
また、本実験の信号処理モード時には、目的音源を学習処理モードと同じ位置（８０°，９０°，１００°のいずれか）に配置した場合（以下、「第１の条件」、又は「８０，９０，１００ｍａｔｃｈｅｄ」と呼ぶ）と、８０°～９０°の範囲内で１°刻みのいずれかの方向で学習処理モードとは少々ずれた位置に目的音源を配置した場合（以下、「第２の条件」、又は「８０ｔｏ１００ ｍｉｓｍａｔｃｈｅｄ」）とについて、目的エリア音の音声強調性能を評価した。図８では、第１の目的音源位置（８０，９０，１００ ｍａｔｃｈｅｄ）と、第２の目的音源位置（８０ｔｏ１００ ｍｉｓｍａｔｃｈｅｄ）のそれぞれについて、評価結果（ＳＤＲｉ／ＳＴＯＩｉ）を示している。
【0113】
ここで、図８に示す本実験の結果に基づいて、ＲＭＣ－ＭＶビームフォーマ（この実施形態の収音装置１００の性能（目的エリア音の音声強調性能））について考察する。具体的には、ＭＣ－ＭＶＤＲビームフォーマとＲＭＣ－ＭＶビームフォーマの結果に基づいて、従来のＭＣ－ＭＶＤＲビームフォーマで無歪拘束を緩和する（歪を許容することでビームフォーマの自由度を上げる）ことの効果（すなわち、従来のＭＣ－ＭＶＤＲビームフォーマと比較したこの実施形態の収音装置１００の効果）を検討する。
【0114】
図８に示すとおり、本実験では、従来のＭＣ－ＭＶＤＲビームフォーマよりもＲＭＣ－ＭＶビームフォーマの性能が著しく高いことから、ＭＶＤＲビームフォーマにおいて、無歪拘束を緩和することの目的音強調性能上への有効性が明らかになった。
【0115】
また、本実験の結果から、ＲＭＣ－ＭＶビームフォーマについては、第１の条件（８０，９０，１００ｍａｔｃｈｅｄ）と、第２の条件（８０ｔｏ１００ ｍｉｓｍａｔｃｈｅｄ）で、音声強調性能に変化がほとんどない（ＳＤＲｉで３％程度、ＳＴＯＩｉで５％程度）。したがって、本実験により、ＲＭＣ－ＭＶビームフォーマは、目的音源の移動に対して頑健であることが明らかとなった。
【0116】
すなわち、ＲＭＣ－ＭＶビームフォーマでは、従来のＭＣ－ＭＶＤＲビームフォーマと比較して、目的音強調性能を向上させつつ、目的音源の移動に対する頑健の度合も同様となっていることがわかる。上記の通り、従来のＭＶＤＲビームフォーマでは、目的音源の動きの頑健性と目的音強調性能（雑音抑圧性能）との間にはトレードオフが存在するが、ＲＭＣ－ＭＶビームフォーマでは従来のＭＣ－ＭＶＤＲビームフォーマと比較してそのようなトレードオフを発生させずに目的音強調性能を向上させていることが分かる。
【0117】
（Ａ－３）実施形態の効果
この実施形態によれば、以下のような効果を奏する。
この実施形態によれば、以下のような効果を奏する。
【0118】
この実施形態に係る収音装置１００では、上記の通り、従来のＭＶＤＲビームフォーマと比較して、目的音源の動きの頑健性と目的音強調性能（雑音抑圧性能）との間のトレードオフを発生させずに目的音強調性能を向上させることができる。言い換えると、この実施形態に係る収音装置１００では、従来のＭＣ－ＭＶＤＲビームフォーマで無歪拘束を緩和する（歪を許容することでビームフォーマの自由度を上げる）ことで、目的音源の動きの頑健性と目的音強調性能（雑音抑圧性能）との間のトレードオフを発生させずに目的音強調性能を向上させることができる。
【0119】
（Ｂ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【0120】
（Ｂ－１）上記の実施形態において、収音装置１００は、学習処理モードと信号処理モード（テストモード）の両方に対応するものとして説明したが、予め学習モデルが保持されていれば信号処理モードだけに対応し、学習処理モードに必要な手段（学習手段）については除外した構成としてもよい。
【符号の説明】
【0121】
１００…収音装置、１０１…信号入力部、１０２…目的エリア音抽出部、１０３…信号出力部、２０１…差分フィルタ、２０２…ＤＮＮ、２０３…ＢＦ、２０４…差分抽出器、ＭＡ…マイクロホンアレイ、Ｍｌ、Ｍｒ…マイクロホン。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】