(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023157845
(43)【公開日】2023-10-26
(54)【発明の名称】オーディオ処理方法及び装置
(51)【国際特許分類】
G10L 21/0208 20130101AFI20231019BHJP
G10L 15/20 20060101ALI20231019BHJP
【ＦＩ】
G10L21/0208 100Z
G10L15/20 370Z
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023028408
(22)【出願日】2023-02-27
(31)【優先権主張番号】2205590.9
(32)【優先日】2022-04-14
(33)【優先権主張国・地域又は機関】GB
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】チューダー‐カタリン ゾリラ
(72)【発明者】
【氏名】ラマ サナンド ドディパトラ
(57)【要約】 （修正有）
【課題】雑音のある状況での音声認識装置（ＡＳＲ）の精度を、歪んだデータでの音響モデルの再トレーニングを必要としない話者強調戦略を使用することによって高めるオーディオ処理方法及び装置を提供する。
【解決手段】オーディオ信号のターゲット成分を強調するために、オーディオ信号を処理する方法であって、第１の環境におけるターゲット成分を備える第１のオーディオ信号Ａを受け取ることと、第２のオーディオ信号Ｂを抽出するために、第１のオーディオ信号Ａを処理することと、第２のオーディオ信号Ｂは、第２の環境におけるターゲット成分を備え、第２の環境は、第１の環境より雑音が少なく、第３のオーディオ信号Ｃを生成するために、第１のオーディオ信号Ａを第２のオーディオ信号Ｂと混合することと、第３のオーディオ信号Ｃは、抽出されたターゲット成分を備える、を含む。
【選択図】図２
【解決手段】オーディオ信号のターゲット成分を強調するために、オーディオ信号を処理する方法であって、第１の環境におけるターゲット成分を備える第１のオーディオ信号Ａを受け取ることと、第２のオーディオ信号Ｂを抽出するために、第１のオーディオ信号Ａを処理することと、第２のオーディオ信号Ｂは、第２の環境におけるターゲット成分を備え、第２の環境は、第１の環境より雑音が少なく、第３のオーディオ信号Ｃを生成するために、第１のオーディオ信号Ａを第２のオーディオ信号Ｂと混合することと、第３のオーディオ信号Ｃは、抽出されたターゲット成分を備える、を含む。
【選択図】図２
【特許請求の範囲】
【請求項1】
オーディオ信号のターゲット成分を強調するために前記オーディオ信号を処理するための方法であって、
第１の環境における前記ターゲット成分を備える第１のオーディオ信号を受け取ることと、
第２のオーディオ信号を抽出するために、前記第１のオーディオ信号を処理することと、前記第２のオーディオ信号は、第２の環境における前記ターゲット成分を備え、前記第２の環境は、前記第１の環境より雑音が少なく、
第３のオーディオ信号を生成するために、前記第１のオーディオ信号を前記第２のオーディオ信号と混合することと、前記第３のオーディオ信号は、抽出された前記ターゲット成分を備える、
を備える、方法。
第１の環境における前記ターゲット成分を備える第１のオーディオ信号を受け取ることと、
第２のオーディオ信号を抽出するために、前記第１のオーディオ信号を処理することと、前記第２のオーディオ信号は、第２の環境における前記ターゲット成分を備え、前記第２の環境は、前記第１の環境より雑音が少なく、
第３のオーディオ信号を生成するために、前記第１のオーディオ信号を前記第２のオーディオ信号と混合することと、前記第３のオーディオ信号は、抽出された前記ターゲット成分を備える、
を備える、方法。
【請求項2】
前記第１のオーディオ信号は、ターゲット話者からの音声を備え、前記ターゲット成分は、前記ターゲット話者からの音声である、請求項１に記載の方法。
【請求項3】
前記第３のオーディオ信号は、音声認識装置（ＡＳＲ）に与えられ、テキストが、前記ＡＳＲによって、前記第３のオーディオ信号において識別される、請求項２に記載の方法。
【請求項4】
前記第２の環境における前記雑音は、前記ターゲット話者以外の話者によるものである、請求項２に記載の方法。
【請求項5】
音声エクストラクタが、前記第１のオーディオ信号から前記第２のオーディオ信号を抽出するために使用され、前記音声エクストラクタは、前記オーディオ信号における時間領域の歪み又は周波数領域の歪みを表す項と、前記オーディオ信号の了解度を表す項との組合せである損失関数を使用してトレーニングされている、請求項２に記載の方法。
【請求項6】
前記オーディオ信号の了解度を表す前記項は、短期客観的了解度（ＳＴＯＩ）尺度である、請求項５に記載の方法。
【請求項7】
前記オーディオ信号における前記時間領域の歪み又は周波数領域の歪みを表す前記項は、スケールが不変の信号対歪み比（ＳＩＳＤＲ）である、請求項５に記載の方法。
【請求項8】
前記第２のオーディオ信号を抽出するために、前記第１のオーディオ信号を処理することは、音声エクストラクタを使用することを備え、前記音声エクストラクタは、前記第１のオーディオ信号と、前記ターゲット話者からの音声のサンプルを備える登録音声信号と、を受け取るように構成されており、前記音声エクストラクタは、前記第２のオーディオ信号を抽出するために、前記第１のオーディオ信号の一部を取り除くためのマスクを生成するように構成されている、請求項２に記載の方法。
【請求項9】
前記第１のオーディオ信号は、時間領域信号である、請求項８に記載の方法。
【請求項10】
前記第１のオーディオ信号は、前記第１のオーディオ信号をより高次元の信号に変換するように構成されたトレーニング可能な畳み込みネットワークであるスペクトルエンコーダによって処理される、請求項９に記載の方法。
【請求項11】
前記音声エクストラクタは、スペクトル入力信号の時間的な畳み込みが行われることを可能にする複数の深さ方向の畳み込み層を備える、請求項１０に記載の方法。
【請求項12】
前記第１のオーディオ信号は、シングルチャネルオーディオ信号である、請求項１に記載の方法。
【請求項13】
前記第１のオーディオ信号及び前記第２のオーディオ信号は、第３のオーディオ信号を、
ｚ（ｎ）＝ｓ′（ｎ）＋αｙ（ｎ）
として形成するように混合され、ここで、ｚ（ｎ）は、前記第３のオーディオ信号を表し、ｓ′（ｎ）は、前記第２のオーディオ信号を表し、ｙ（ｎ）は、前記第１のオーディオ信号を表し、αは、前記第１のオーディオ信号のための乗算係数である、請求項１に記載の方法。
ｚ（ｎ）＝ｓ′（ｎ）＋αｙ（ｎ）
として形成するように混合され、ここで、ｚ（ｎ）は、前記第３のオーディオ信号を表し、ｓ′（ｎ）は、前記第２のオーディオ信号を表し、ｙ（ｎ）は、前記第１のオーディオ信号を表し、αは、前記第１のオーディオ信号のための乗算係数である、請求項１に記載の方法。
【請求項14】
前記乗算係数は、スカラ係数σ、即ち、
によって制御される、請求項１３に記載の方法。
【数1】
【請求項15】
σは、０以上３０以下である、請求項１４に記載の方法。
【請求項16】
音声処理装置をトレーニングする方法であって、前記音声処理装置は、ターゲット話者の音声を強調するために、音声信号を処理するためのものであり、前記装置は、
第１の環境における前記ターゲット話者からの音声を備える第１の音声信号を受け取るための入力モジュールと、
第２の音声信号を抽出するために、前記第１の音声信号を処理するように構成された音声エクストラクタと、前記第２の音声信号は、第２の環境における前記ターゲット話者からの音声を備え、前記第２の環境は、前記第１の環境より雑音が少なく、前記音声エクストラクタは、前記第１の音声信号と、前記ターゲット話者からの音声のサンプルを備える登録音声信号と、を受け取るように構成されており、前記音声エクストラクタは、前記第２の音声信号を抽出するために、前記第１の音声信号の一部を取り除くためのマスクを生成するように構成されており、
第３の音声信号を生成するために、前記第１の音声信号を前記第２の音声信号と組み合わせるためのミキサと、前記第３の音声信号は、前記ターゲット話者からの抽出された前記音声を備える、
を備え、前記方法は、
トレーニングデータセットを受け取ることと、前記トレーニングデータセットの各メンバは、前記ターゲット話者の音声を備える第１の信号と、前記ターゲット話者からのサンプル音声を有する登録信号と、第２の信号として、前記第１の信号に対応する前記ターゲット話者からのクリーンな音声と、を備え、
前記第１の信号及び前記登録信号を入力とし、前記第２の信号を所望の出力として使用して、前記音声エクストラクタをトレーニングすることと、前記トレーニングすることは、損失関数を使用し、前記損失関数は、前記信号における時間領域の歪み又は周波数領域の歪みを表す項と、前記信号の了解度を表す項との組合せである、
を備える、音声処理装置をトレーニングする方法。
第１の環境における前記ターゲット話者からの音声を備える第１の音声信号を受け取るための入力モジュールと、
第２の音声信号を抽出するために、前記第１の音声信号を処理するように構成された音声エクストラクタと、前記第２の音声信号は、第２の環境における前記ターゲット話者からの音声を備え、前記第２の環境は、前記第１の環境より雑音が少なく、前記音声エクストラクタは、前記第１の音声信号と、前記ターゲット話者からの音声のサンプルを備える登録音声信号と、を受け取るように構成されており、前記音声エクストラクタは、前記第２の音声信号を抽出するために、前記第１の音声信号の一部を取り除くためのマスクを生成するように構成されており、
第３の音声信号を生成するために、前記第１の音声信号を前記第２の音声信号と組み合わせるためのミキサと、前記第３の音声信号は、前記ターゲット話者からの抽出された前記音声を備える、
を備え、前記方法は、
トレーニングデータセットを受け取ることと、前記トレーニングデータセットの各メンバは、前記ターゲット話者の音声を備える第１の信号と、前記ターゲット話者からのサンプル音声を有する登録信号と、第２の信号として、前記第１の信号に対応する前記ターゲット話者からのクリーンな音声と、を備え、
前記第１の信号及び前記登録信号を入力とし、前記第２の信号を所望の出力として使用して、前記音声エクストラクタをトレーニングすることと、前記トレーニングすることは、損失関数を使用し、前記損失関数は、前記信号における時間領域の歪み又は周波数領域の歪みを表す項と、前記信号の了解度を表す項との組合せである、
を備える、音声処理装置をトレーニングする方法。
【請求項17】
前記音声処理装置は、音声認識のために構成され、音声認識ユニットを更に備え得、前記音声認識ユニットは、前記第３の音声信号を受け取り、前記第３の音声信号からテキストを導出するように構成されており、前記音声認識ユニットは、前記音声エクストラクタとは独立にトレーニングされている、請求項１６に記載の音声処理装置をトレーニングする方法。
【請求項18】
音声処理装置をトレーニングする方法であって、前記音声処理装置は、ターゲット話者の音声を強調するために、音声信号を処理するためのものであり、前記装置は、
第１の環境における前記ターゲット話者からの音声を備える第１の音声信号を受け取るための入力モジュールと、
第２の音声信号を抽出するために、前記第１の音声信号を処理するように構成された音声エクストラクタと、前記第２の音声信号は、第２の環境における前記ターゲット話者からの音声を備え、前記第２の環境は、前記第１の環境より雑音が少なく、前記音声エクストラクタは、前記第１の音声信号と、前記ターゲット話者からの音声のサンプルを備える登録音声信号と、を受け取るように構成されており、前記音声エクストラクタは、前記第２の音声信号を抽出するために、前記第１の音声信号の一部を取り除くためのマスクを生成するように構成されている、
を備え、前記方法は、
トレーニングデータセットを受け取ることと、前記トレーニングデータセットの各メンバは、前記ターゲット話者の音声を備える第１の信号と、前記ターゲット話者からのサンプル音声を有する登録信号と、第２の信号として、前記第１の信号に対応する前記ターゲット話者からのクリーンな音声と、を備え、
前記第１の信号及び前記登録信号を入力とし、前記第２の信号を所望の出力として使用して、前記音声エクストラクタをトレーニングすることと、前記トレーニングすることは、損失関数を使用し、前記損失関数は、前記信号における時間領域の歪み又は周波数領域の歪みを表す項と、前記信号の了解度を表す項との組合せである、
を備える、方法。
第１の環境における前記ターゲット話者からの音声を備える第１の音声信号を受け取るための入力モジュールと、
第２の音声信号を抽出するために、前記第１の音声信号を処理するように構成された音声エクストラクタと、前記第２の音声信号は、第２の環境における前記ターゲット話者からの音声を備え、前記第２の環境は、前記第１の環境より雑音が少なく、前記音声エクストラクタは、前記第１の音声信号と、前記ターゲット話者からの音声のサンプルを備える登録音声信号と、を受け取るように構成されており、前記音声エクストラクタは、前記第２の音声信号を抽出するために、前記第１の音声信号の一部を取り除くためのマスクを生成するように構成されている、
を備え、前記方法は、
トレーニングデータセットを受け取ることと、前記トレーニングデータセットの各メンバは、前記ターゲット話者の音声を備える第１の信号と、前記ターゲット話者からのサンプル音声を有する登録信号と、第２の信号として、前記第１の信号に対応する前記ターゲット話者からのクリーンな音声と、を備え、
前記第１の信号及び前記登録信号を入力とし、前記第２の信号を所望の出力として使用して、前記音声エクストラクタをトレーニングすることと、前記トレーニングすることは、損失関数を使用し、前記損失関数は、前記信号における時間領域の歪み又は周波数領域の歪みを表す項と、前記信号の了解度を表す項との組合せである、
を備える、方法。
【請求項19】
オーディオ信号のターゲット成分を強調するために、前記オーディオ信号を処理するためのオーディオ処理装置であって、前記装置は、
第１の環境における前記ターゲット成分を備える第１のオーディオ信号を受け取るための入力モジュールと、
第２のオーディオ信号を抽出するために、前記第１のオーディオ信号を処理するように構成されたオーディオ信号エクストラクタと、前記第２のオーディオ信号は、第２の環境における前記ターゲット成分を備え、前記第２の環境は、前記第１の環境より雑音が少なく、
第３のオーディオ信号を生成するために、前記第１のオーディオ信号を前記第２のオーディオ信号と混合するように構成されたミキサと、前記第３のオーディオ信号は、抽出された前記ターゲット成分を備える、
を備える、オーディオ処理装置。
第１の環境における前記ターゲット成分を備える第１のオーディオ信号を受け取るための入力モジュールと、
第２のオーディオ信号を抽出するために、前記第１のオーディオ信号を処理するように構成されたオーディオ信号エクストラクタと、前記第２のオーディオ信号は、第２の環境における前記ターゲット成分を備え、前記第２の環境は、前記第１の環境より雑音が少なく、
第３のオーディオ信号を生成するために、前記第１のオーディオ信号を前記第２のオーディオ信号と混合するように構成されたミキサと、前記第３のオーディオ信号は、抽出された前記ターゲット成分を備える、
を備える、オーディオ処理装置。
【請求項20】
命令を備えるコンピュータ可読媒体であって、前記命令は、コンピュータによって実行されると、前記コンピュータに、請求項１、１６又は１８に記載の方法を行わせる、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書で説明される実施形態は、オーディオ処理方法及び装置に関する。
【背景技術】
【0002】
近年、ディープニューラルネットワーク（ＤＮＮ）は、音声認識装置（ＡＳＲ：automatic speech recognizers）の精度を大幅に向上させた。現行のＡＳＲシステムは、クリーンな状況では、既に人間の能力に達している、しかしながら、雑音のある状況（noisy conditions）では、それらは、依然として正常聴力の聴取者に劣る。
【0003】
雑音下でのＡＳＲのロバスト性を向上させるために、少なくとも２つの別個の戦略が存在する。１つの戦略は、マルチコンディションモデル（multi-condition models）をトレーニングするための大量のデータに依拠し、もう１つの戦略は、信号強調を使用して、データクリーニングを行うことに依拠する。第１のアプローチはシンプルではあるが、それは、そのようなモデルをトレーニングするために必要な計算リソースと、ラベル付きデータの収集との両方の観点からコストがかかる。更に、マルチコンディションシステムの精度は、競合する話者がいるような、非常に困難な環境において低下する。
【0004】
しばしば、音声強調によって導入される歪みは、ＡＳＲのためのスタンドアロンフロントエンドとしてのこれらの方法の適用性を制限し、ＡＳＲシステムの音響モデルは、最高の認識性能を達成するためには、マッチした歪んだデータで再トレーニングされなければならない。代替として、同時学習された強調システムと認識システムが、歪みを軽減するために提案されてきた。しかしながら、非常に動的な音響状況を伴う実際の応用では、後者のアプローチはうまく機能しない場合がある。
【図面の簡単な説明】
【0005】
【発明を実施するための形態】
【0006】
一実施形態では、オーディオ信号のターゲット成分を強調するために、オーディオ信号を処理するための方法が提供され、方法は、
第１の環境におけるターゲット成分を備える第１のオーディオ信号を受け取ることと、
第２のオーディオ信号を抽出するために、上記第１のオーディオ信号を処理することと、第２のオーディオ信号は、第２の環境におけるターゲット成分を備え、第２の環境は、第１の環境より雑音が少なく、
第３のオーディオ信号を生成するために、第１のオーディオ信号を第２のオーディオ信号と混合することと、第３のオーディオ信号は、抽出されたターゲット成分を備える、
を備える。
第１の環境におけるターゲット成分を備える第１のオーディオ信号を受け取ることと、
第２のオーディオ信号を抽出するために、上記第１のオーディオ信号を処理することと、第２のオーディオ信号は、第２の環境におけるターゲット成分を備え、第２の環境は、第１の環境より雑音が少なく、
第３のオーディオ信号を生成するために、第１のオーディオ信号を第２のオーディオ信号と混合することと、第３のオーディオ信号は、抽出されたターゲット成分を備える、
を備える。
【0007】
第１のオーディオ信号は、ターゲット話者からの音声を備え得、ターゲット成分は、ターゲット話者からの音声である。第１のオーディオ信号が音声である場合の実施形態では、第１のオーディオ信号、第２のオーディオ信号及び第３のオーディオ信号は、それぞれ第１の音声信号、第２の音声信号及び第３の音声信号と呼ばれ得る。
【0008】
音声信号を強調するための上記方法は、雑音のある状況において、シングルチャネル音声認識（ＡＳＲ）の精度を向上させるという課題に役立つ。強力な音声強調フロントエンドが利用可能であるが、それらは、典型的に、処理歪みに対処するために、ＡＳＲモデルが再トレーニングされることを必要とする。本明細書で説明される実施形態は、音響モデル（ＡＭ）を再トレーニングすることなく認識性能を向上させるための話者強調戦略（speaker reinforcement strategy）に言及する。これは、処理歪みを軽減するために、強調された信号を未処理の入力と再混合することによって達成される。知覚的に動機付けられた損失関数でトレーニングされたＤＮＮ話者抽出に基づく音声雑音デノイザ（DNN speaker extraction based speech denoiser）を使用して評価を行った。結果は、（ＡＭの再トレーニングなしで）モノラルシミュレーションされたＣＨｉＭＥ－４評価セット及び実際のＣＨｉＭＥ－４評価セットについて、未処理のものと比較して、それぞれ約２３％及び２８％の相対的な精度改善が達成されることを示した。
【0009】
本明細書で説明される実施形態では、話者抽出（ＳＰＸ）システムが、雑音除去を行うために使用される。混合音（mixture）から全ての音源（sources）を復元する（即ち、音源分離）代わりに、ＳＰＸの目的は、混合音からターゲット話者のみを復元することであり、これは、音源の総数を事前に知る必要性を回避する。
【0010】
したがって、一実施形態では、第３の音声信号が、ＡＳＲに与えられ、テキストが、ＡＳＲによって、第３の信号において識別され得る。しかしながら、強調された信号は、他のシステム、例えば音声制御コマンドインターフェースに出力されることも可能である。第３の信号はまた、更なるオーディオプロセッサへと出力され得る。
【0011】
例えば、音声エクストラクタは、１以上の話者又は周辺音源からの音声又はオーディオ信号を強調するために、補聴器、ノイズキャンセリングヘッドホン又は他のオーディオ処理デバイスにおいて提供され得る。
【0012】
上記は音声に焦点を合わせているが、任意のタイプのオーディオ信号が強調され得る。例えば、音楽信号が、上記システムによって強調され得る。次いで、このような強調された信号は、例えば音楽識別デバイスに入力され得る。登録信号は、歌手の声であり得るか、又は混合音に見られる楽器の短い録音であり得る。他の成分もまた、この方法を使用して抽出され得る。
【0013】
上述されたように、一実施形態では、第１の音声信号は、例えば、シングルマイクロホン又は他のシングルオーディオピックアップデバイスからの、シングルチャネル音声信号であり、その結果、信号中の雑音を低減させるために使用され得る空間手掛かりが存在しない。雑音は、ターゲット話者以外の話者によるものであり得る。雑音はまた、例えば、鉄道の駅、交通騒音等における、通常背景雑音であり得る。
【0014】
一実施形態では、第１の音声信号及び第２の音声信号は、以下のように、第３の音声信号を形成するために混合される：
ｚ（ｎ）＝ｓ′（ｎ）＋αｙ（ｎ）
ここで、ｚ（ｎ）は、第３の音声信号を表し、ｓ′（ｎ）は、第２の音声信号を表し、ｙ（ｎ）は、第１の音声信号を表し、αは、第１の音声信号のための乗算係数である。
ｚ（ｎ）＝ｓ′（ｎ）＋αｙ（ｎ）
ここで、ｚ（ｎ）は、第３の音声信号を表し、ｓ′（ｎ）は、第２の音声信号を表し、ｙ（ｎ）は、第１の音声信号を表し、αは、第１の音声信号のための乗算係数である。
【0015】
乗算係数は、以下のスカラ係数σによって制御され得る：
【0016】
【数1】
【0017】
一実施形態では、σは、０以上３０以下である。一実施形態では、σの値は、第２の音声信号に見られる歪みの量に基づいて、自動的に適合される。更なる実施形態では、ノーリファレンス音声品質モデル（no-reference speech quality model）が、歪みを評価するために使用され得る。
【0018】
更なる実施形態では、音声エクストラクタが、第１の信号から第２の信号を抽出するために使用され、ここにおいて、音声エクストラクタは、信号における時間領域の歪み又は周波数領域の歪みを表す項と、信号の了解度を表す項との組合せである損失関数を使用してトレーニングされている。信号の了解度を表す項は、短期客観的了解度「ＳＴＯＩ（short term objective intelligibility）」尺度である。他の関数が、ＳＴＯＩの代わりに使用され得、これもまた、音声の了解度尺度、例えば、正規化された共分散に基づく音声伝送指標、グリンプスプロポーション（ＧＰ：glimpse proportion）、音声了解度指標（ＳＩＩ）、ＰＥＳＱ又はＳＴＯＩ－Ｎｅｔ等のディープラーニング方法を可能にする。
【0019】
更なる実施形態では、信号における時間領域の歪み又は周波数領域の歪みを表す項は、スケールが不変の信号対歪み比「ＳＩＳＤＲ（scale invariant signal-to-distortion ratio）」である。更なる実施形態では、歪みを表す項は、平均二乗誤差又はマスククロスエントロピー等の、振幅スペクトル上の周波数領域損失であり得る。
【0020】
更なる実施形態では、第２の音声信号を抽出するために、第１の音声信号を処理することは、音声エクストラクタを使用することを備え、上記音声エクストラクタは、上記第１の音声信号と、ターゲット話者からの音声のサンプルを備える登録音声信号と、を受け取るように構成されており、音声エクストラクタは、第２の音声信号を抽出するために、第１の音声信号の一部を取り除くためのマスクを生成するように構成されている。
【0021】
時間領域信号である第１の信号を処理する音声エクストラクタが使用され得る。第１の信号は、第１の信号をより高次元の信号に変換するように構成されたトレーニング可能な畳み込みネットワークであるスペクトルエンコーダによって処理され得る。音声エクストラクタは、複数の深さ方向の畳み込み層（plurality of depthwise convolutional layers）を備え得る。
【0022】
更なる実施形態では、音声処理装置をトレーニングする方法が提供され、音声処理装置は、ターゲット話者の音声を強調するために、音声信号を処理するためのものであり、装置は、
第１の環境におけるターゲット話者からの音声を備える第１の音声信号を受け取るための入力モジュールと、
第２の音声信号を抽出するために、上記第１の音声信号を処理するように構成された音声エクストラクタと、第２の音声信号は、第２の環境における上記ターゲット話者からの音声を備え、第２の環境は、第１の環境より雑音が少なく、上記音声エクストラクタは、上記第１の音声信号と、ターゲット話者からの音声のサンプルを備える登録音声信号と、を受け取るように構成されており、音声エクストラクタは、第２の音声信号を抽出するために、第１の音声信号の一部を取り除くためのマスクを生成するように構成されており、
第３の音声信号を生成するために、第１の音声信号を第２の音声信号と組み合わせるためのミキサと、第３の音声信号は、ターゲット話者からの抽出された音声を備える、
を備え、方法は、
トレーニングデータセットを受け取ることと、トレーニングデータセットの各メンバは、ターゲット話者の音声を備える第１の信号と、ターゲット話者からのサンプル音声を有する登録信号と、第２の信号として、第１の信号に対応するターゲット話者からのクリーンな音声と、を備え、
第１の信号及び登録信号を入力とし、第２の信号を所望の出力として使用して、音声エクストラクタをトレーニングすることと、トレーニングすることは、損失関数を使用し、上記損失関数は、信号における時間領域の歪み又は周波数領域の歪みを表す項と、信号の了解度を表す項との組合せである、
を備える。
第１の環境におけるターゲット話者からの音声を備える第１の音声信号を受け取るための入力モジュールと、
第２の音声信号を抽出するために、上記第１の音声信号を処理するように構成された音声エクストラクタと、第２の音声信号は、第２の環境における上記ターゲット話者からの音声を備え、第２の環境は、第１の環境より雑音が少なく、上記音声エクストラクタは、上記第１の音声信号と、ターゲット話者からの音声のサンプルを備える登録音声信号と、を受け取るように構成されており、音声エクストラクタは、第２の音声信号を抽出するために、第１の音声信号の一部を取り除くためのマスクを生成するように構成されており、
第３の音声信号を生成するために、第１の音声信号を第２の音声信号と組み合わせるためのミキサと、第３の音声信号は、ターゲット話者からの抽出された音声を備える、
を備え、方法は、
トレーニングデータセットを受け取ることと、トレーニングデータセットの各メンバは、ターゲット話者の音声を備える第１の信号と、ターゲット話者からのサンプル音声を有する登録信号と、第２の信号として、第１の信号に対応するターゲット話者からのクリーンな音声と、を備え、
第１の信号及び登録信号を入力とし、第２の信号を所望の出力として使用して、音声エクストラクタをトレーニングすることと、トレーニングすることは、損失関数を使用し、上記損失関数は、信号における時間領域の歪み又は周波数領域の歪みを表す項と、信号の了解度を表す項との組合せである、
を備える。
【0023】
音声処理装置は、音声認識のために構成され、音声認識ユニットを更に備え得、音声認識ユニットは、第３の音声信号を受け取り、第３の音声信号からテキストを導出するように構成されており、ここにおいて、音声認識ユニットは、音声エクストラクタとは独立にトレーニングされている。
【0024】
上記で説明された損失関数はまた、第３の強調された信号を生成するために、出力信号を入力と混合しない音声エクストラクタのためにも使用され得る。したがって、更なる実施形態では、音声処理装置をトレーニングする方法が提供され、音声処理装置は、ターゲット話者の音声を強調するために、音声信号を処理するためのものであり、装置は、
第１の環境におけるターゲット話者からの音声を備える第１の音声信号を受け取るための入力モジュールと、
第２の音声信号を抽出するために、上記第１の音声信号を処理するように構成された音声エクストラクタと、第２の音声信号は、第２の環境における上記ターゲット話者からの音声を備え、第２の環境は、第１の環境より雑音が少なく、上記音声エクストラクタは、上記第１の音声信号と、ターゲット話者からの音声のサンプルを備える登録音声信号と、を受け取るように構成されており、音声エクストラクタは、第２の音声信号を抽出するために、第１の音声信号の一部を取り除くためのマスクを生成するように構成されている、
を備え、方法は、
トレーニングデータセットを受け取ることと、トレーニングデータセットの各メンバは、ターゲット話者の音声を備える第１の信号と、ターゲット話者からのサンプル音声を有する登録信号と、第２の信号として、第１の信号に対応するターゲット話者からのクリーンな音声と、を備え、
第１の信号及び登録信号を入力とし、第２の信号を所望の出力として使用して、音声エクストラクタをトレーニングすることと、トレーニングすることは、損失関数を使用し、上記損失関数は、信号における時間領域の歪み又は周波数領域の歪みを表す項と、信号の了解度を表す項との組合せである、
を更に備える。
第１の環境におけるターゲット話者からの音声を備える第１の音声信号を受け取るための入力モジュールと、
第２の音声信号を抽出するために、上記第１の音声信号を処理するように構成された音声エクストラクタと、第２の音声信号は、第２の環境における上記ターゲット話者からの音声を備え、第２の環境は、第１の環境より雑音が少なく、上記音声エクストラクタは、上記第１の音声信号と、ターゲット話者からの音声のサンプルを備える登録音声信号と、を受け取るように構成されており、音声エクストラクタは、第２の音声信号を抽出するために、第１の音声信号の一部を取り除くためのマスクを生成するように構成されている、
を備え、方法は、
トレーニングデータセットを受け取ることと、トレーニングデータセットの各メンバは、ターゲット話者の音声を備える第１の信号と、ターゲット話者からのサンプル音声を有する登録信号と、第２の信号として、第１の信号に対応するターゲット話者からのクリーンな音声と、を備え、
第１の信号及び登録信号を入力とし、第２の信号を所望の出力として使用して、音声エクストラクタをトレーニングすることと、トレーニングすることは、損失関数を使用し、上記損失関数は、信号における時間領域の歪み又は周波数領域の歪みを表す項と、信号の了解度を表す項との組合せである、
を更に備える。
【0025】
更なる実施形態では、オーディオ信号のターゲット成分を強調するために、オーディオ信号を処理するためのオーディオ処理装置が提供され、装置は、
第１の環境におけるターゲット成分を備える第１のオーディオ信号を受け取るための入力モジュールと、
第２のオーディオ信号を抽出するために、上記第１のオーディオ信号を処理するように構成されたオーディオ信号エクストラクタと、第２のオーディオ信号は、第２の環境におけるターゲット成分を備え、第２の環境は、第１の環境より雑音が少なく、
第３のオーディオ信号を生成するために、第１のオーディオ信号を第２のオーディオ信号と混合するように構成されたミキサと、第３のオーディオ信号は、抽出されたターゲット成分を備える、
を備える。
第１の環境におけるターゲット成分を備える第１のオーディオ信号を受け取るための入力モジュールと、
第２のオーディオ信号を抽出するために、上記第１のオーディオ信号を処理するように構成されたオーディオ信号エクストラクタと、第２のオーディオ信号は、第２の環境におけるターゲット成分を備え、第２の環境は、第１の環境より雑音が少なく、
第３のオーディオ信号を生成するために、第１のオーディオ信号を第２のオーディオ信号と混合するように構成されたミキサと、第３のオーディオ信号は、抽出されたターゲット成分を備える、
を備える。
【0026】
上記方法は、ソフトウェア又はハードウェアにおいて、例えばコンピュータ可読媒体として具現化され得、これは、一時的又は非一時的であり、命令を備え、命令は、コンピュータによって実行されると、コンピュータに、上記で説明された方法のうちのいずれか１つを行わせる。
【0027】
図１Ａは、一実施形態による音声処理システム１を概略的に示す。音声処理システム１は、プログラム５を実行するプロセッサ３を備える。音声処理システム１は、記憶装置７を更に備える。記憶装置７は、ターゲット話者の雑音除去された音声を抽出するために、音声を処理するためのプログラム５によって使用されるデータを記憶する。プログラムは、話者抽出プログラムと呼ばれ得る。音声処理システム１は、入力モジュール１１と、出力モジュール１３と、を更に備える。入力モジュール１１は、オーディオ入力１５に接続されている。オーディオ入力１５は、例えば、マイクロホンから、入力オーディオ信号を受け取る。オーディオ入力はまた、外部記憶媒体又はネットワークからオーディオデータのファイルを受け取るように構成され得る。オーディオ入力１５は、例えば、マイクロホンであり得る。代替として、オーディオ入力１５は、外部記憶媒体又はネットワークからオーディオデータを受け取るための手段であり得る。
【0028】
オーディオ用の出力１７が、出力モジュール１３に接続されている。オーディオ出力１７は、処理された音声信号を出力するために使用される。オーディオ出力１７は、例えば直接のオーディオ出力、例えばスピーカであり得るか、又は記憶媒体へ若しくはネットワーク等を介して送られ得るオーディオデータファイル用の出力であり得る。
【0029】
使用に際して、音声処理システム１は、オーディオ入力１５を通じて第１のオーディオ信号を受け取る。プロセッサ３上で実行されるプログラム５は、ターゲット話者の音声を抽出するために、記憶装置７に記憶されたデータを使用して、第１のオーディオ信号を雑音除去する。記憶装置７に記憶されたデータは、ターゲット話者に関するオーディオデータを備えることになる。雑音除去された音声は、出力モジュール１３を介してオーディオ出力１７に出力される。雑音除去された音声は、音声認識装置（ＡＳＲ）への入力に特に適している。
【0030】
図１Ｂは、一実施形態による音声処理システム１を概略的に示す。この変形例では、プログラム５は、話者抽出（ＳＰＸ）プログラム６Ａと、音声認識装置（ＡＳＲ）プログラム６Ｂと、を備える。話者抽出プログラム６Ａは、ターゲット話者の雑音除去された音声出力を抽出する。次いで、ターゲット話者の雑音除去された音声出力は、ＡＳＲプログラム６Ｂに入力され、ここで、それはテキストに変換される。この実施形態では、出力モジュール１３は、出力１９にテキスト出力を与えるテキスト出力モジュールである。
【0031】
図１Ａ及び図１Ｂの実施形態は、ラップットップ又はデスクトップコンピュータにおいて提供され得る。しかしながら、図１Ａ及び図１Ｂの実施形態はまた、モバイルフォン、タブレット、又はオーディオ入力を有する任意のタイプのプロセッサにおいて提供され得る。システムは、保守点検ログの手動記録のために使用され得、ここで、ユーザは、自身の留意点を記録するためにマイクロホンに向かって話し、それらをリアルタイムで自動的にテキスト起こしさせる。しかしながら、他の実施形態では、テキスト出力は、音声コマンドインターフェースの一部として使用され得る。
【0032】
図２は、プロセッサによって行われる機能の概観を示す。ここで、ＳＰＸユニット５１の出力は、ＡＳＲユニット５３に与えられることに留意されたい。しかしながら、他のオプションも可能であり、例えば、出力は、音声制御コマンドインターフェースに与えられ得る。
【0033】
図２では、ターゲット話者の音声を備える入力信号Ａが、ＳＰＸユニット５１に与えられる。この例では、ＳＰＸユニット５１の出力は、ＡＳＲユニット５３に与えられる。しかしながら、出力はまた、音声制御コマンドインターフェースにも与えられ得る。入力信号Ａは、背景雑音も備え、例えば、入力信号Ａは、雑音のある環境においてモバイルフォンを介して収集される。
【0034】
ＳＰＸユニット５１はまた、「登録音声信号」も受け取り、これは、クリーンである、ターゲット話者からの音声である。登録音声信号は、ターゲット話者からの任意の音声であり得、特定のテキストである必要はない。登録音声は、推論前に捉えられ得るか、又はそれは前もって収集され、推論中に再利用され得る。前もって収集された場合、それは、メモリに記憶され、推論のために取り出され得る。一実施形態では、登録信号は、長さが数秒（例えば、３～６秒）である。トレーニングについては、音響変動性（acoustic variability）が、語彙的な多様性（lexical variety）を可能にするために有益である。例えば、登録データは、利用可能なクリーンなターゲットデータからランダムに選ばれ得る。
【0035】
次いで、ターゲット音声が分離されることになる信号が、ＳＰＸユニット５１に入力される。図３は、ＳＰＸユニット５１のサブユニットを示す概略図である。
【0036】
最初に、入力信号Ａは、スペクトルエンコーダに与えられる。スペクトルエンコーダは、少なくとも１つの畳み込み層を備え、音声信号をより高次元の空間に変換するように構成されている。より高次元の空間は、音源分離のために音声のスパース性をよりよく活用し得る。空間の次元は、ＣＮＮにおけるカーネルの数によって与えられる。一実施形態では、カーネルの数（Ｎ）は、少なくとも入力サンプルの数（Ｌ）に等しい。
【0037】
スペクトルエンコーダ６１の第１の出力が、エクストラクタ６３に与えられる。エクストラクタは、ターゲット話者のためのマスクを計算するように構成されている。次いで、これらマスクは、ミキサ６７において、要素組み合わせ（element combination）を使用して適用される。エクストラクタ６３は、スペクトル領域における音声のスパース性（sparsity）と、その時間的な特徴の長期依存性とを活用する。
【0038】
一実施形態では、これを達成するために、エクストラクタは、複数の深さ方向の畳み込み層を備え、これは、時間的な特徴の長期依存性を捉えるために、時間的に分離されたフレームにわたって畳み込みを行う。一実施形態では、複数の深さ方向の畳み込み層には、増大するカーネルの拡張係数（increasing kernel dilation factors）が与えられ、これは、入力混合信号の多重解像度解析を行う。
【0039】
エクストラクタ６３はまた、登録音声信号を受け取る。音声登録信号が、話者エンコーダ６５によって出力される。話者エンコーダは、少なくとも１つ又は複数の深さ方向の畳み込み層を備える。
【0040】
次いで、マスクである、エクストラクタから出力された信号は、スペクトルエンコーダ６１の第２の出力からターゲット話者を抽出するために、スペクトルエンコーダ６１からの第２の出力に適用される。ミキサ６７は、スペクトルエンコーダの第２の出力と、エクストラクタ６３の出力との間の要素ごとの組み合わせ（element-wise combination）を実施する。
【0041】
デコーダ６９は、マスクされたスペクトル表現と、１つの全結合層（Ｎ入力及びＬ出力の次元）とを使用して、推定されたターゲットフレームｓ′（ｎ）を再構成する。重畳加算法（overlap-and-add）が、波形全体を再構成するために適用される。
【0042】
次に、音声エクストラクタのより詳細な説明が、図４を参照して説明される。図４の音声エクストラクタは、図３のエクストラクタの基本構造を有する。図３の構造を有するエクストラクタは、図４の厳密な構造に限定されない。図４は、時間的な畳み込みネットワークブロック（ＴＣＮ：temporal convolutional network block）に基づく構造を有するエクストラクタの一例である。しかしながら、他のアーキテクチャ、例えば、異なるモデルアーキテクチャ、例えば、ＬＳＴＭ、ＲＮＮ等も可能である。上記は、時間領域又は周波数領域において動作するエクストラクタと共に使用され得る。例えば、時間領域又は周波数領域において異なる損失関数を使用するネットワーク。上記で説明されたものとは異なる埋め込みを使用する抽出ネットワーク。同時学習されるか、又は１つ以上の層／ユニットが個々にトレーニングされる抽出ネットワーク。上記方法は、出力にバイアスをかけるために、登録信号を使用する。しかしながら、例えば、話者の閉集合に関して、ターゲット話者に対して事前トレーニングされたシステムも使用され得る。
【0043】
いかなる不要な繰り返しも避けるために、同様の参照番号を使用して同様の特徴を示す。スペクトルエンコーダ６１の目的は、入力音声波形をより高次元の空間（Ｅｓｐｅｃ）に変換することである。この例では、入力音声波形は、時間領域波形ｙ（ｎ）である。入力信号ｙ（ｎ）は、－１から１までの範囲にある浮動小数点数のシーケンスであり得る（又はそれは量子化レベルに変換され得、これは整数である）。一実施形態では、入力信号は、マイクロホンによって捉えられた連続信号のデジタル化されたバージョンであり、これは、音圧変動を測定する。一実施形態では、入力信号は、デジタル入力信号である。次いで、入力信号は、固定された持続時間のウィンドウに分割される。この例を例示するために、１～２ｍｓの時間ウィンドウが使用される。時間ウィンドウはまた、互いに重なり合い得る。
【0044】
次いで、入力信号ｙ（ｎ）の各時間ウィンドウが、スペクトルエンコーダ６１に与えられる。一実施形態では、ＣＮＮの入力層は、次元の配列／テンソルである［ｂａｔｃｈ＿ｓｉｚｅ，１，ｔｉｍｅ＿ｌｅｎｇｔｈ］。ｂａｔｃｈ＿ｓｉｚｅは、１又はそれ以上であり得る。ｔｉｍｅ＿ｌｅｎｇｔｈは、サンプルにおける波形（時間領域信号）の長さである。例えば、これは、４秒に固定され得、ｆｓ＝１６ｋＨｚの場合、６４０００サンプルになる。エンコーダからの第１の１Ｄ ＣＮＮがこの入力を取る（take）ことになり、次元［ｂａｔｃｈ＿ｓｉｚｅ，ｎｕｍｂｅｒ＿ｏｆ＿ｋｅｒｎｅｌｓ，ｎｕｍｂｅｒ＿ｏｆ＿ｔｉｍｅ＿ｆｒａｍｅｓ］のテンソルを出力することになる。ｎｕｍｂｅｒ＿ｏｆ＿ｋｅｒｎｅｌｓが与えられる（Ｎ＝２５６）一方で、ｎｕｍｂｅｒ＿ｏｆ＿ｔｉｍｅ＿ｆｒａｍｅｓは、信号の全長と、フレーム長（Ｌ＝２０）と、ホップサイズ（Ｌ／２）とが与えられると、計算される。したがって、一実施形態では、１Ｄ ＣＮＮは、ウィンドウイング（windowing）と、「スペクトル」解析との両方を行う。
【0045】
スペクトルエンコーダ６１は、ＣＮＮ層１０１に後続して、アクティベーションのための整流された線形ユニット（ＲｅＬＵ：rectified linear unit）１０３を備える。この例では、ＣＮＮは、サイズＬのＮ個のカーネル及びストライドＬ／２を有する。スペクトルエンコーダは、入力時間領域信号ｙ（ｎ）に対して動作することに留意されたい。スペクトルエンコーダは、スペクトル出力に類似の出力を生成するように機能するが、それは、厳密には、この信号の周波数領域への変換を行わない。代わりに、それは、ＣＮＮ１０１のパラメータがトレーニングされることを可能にして、高次元スパース出力が達成されることを可能にする。
【0046】
登録音声信号ｓｅ（ｎ）もまた、ｙ（ｎ）について上記で説明されたのと同様に時間領域信号であり、これは、一実施形態では、ｙ（ｎ）、即ち、時間領域ウィンドウと同様にデジタル信号に変換される。
【0047】
スペクトルエンコーダ６１と同様に、話者エンコーダ６５もまた、ＣＮＮ層１０５に後続して、アクティベーションのための整流された線形ユニット（ＲｅＬＵ）１０７を備える。
【0048】
次いで、アクティベーション層１０７の出力は、時間的な畳み込みネットワーク（ＴＣＮ）１０９に与えられる。
【0049】
図４Ｂは、ＴＣＮ１０９等のＴＣＮの概略的な層構造を示す。ここで、ＴＣＮブロックは、３つのＣＮＮ層と、パラメトリックＲｅＬＵ（ＰＲｅＬＵ）アクティベーションと、トレーニング可能なバイアス及び利得パラメータによってスケーリングされた時間及びチャネルの次元の両方にわたる平均及び分散の正規化（Ｇ－ＮＯＲＭ）と、から形成される。深さ方向の畳み込み（Ｄ－ＣＯＮＶ、サイズＰのＨ個のカーネル）は、拡張係数１を用いて、入力チャネルに対して独立に動作する。エンドポイント１Ｄ ＣＮＮ（Ｂ個のカーネル）は、チャネル次元を調整するために用いられている。
【0050】
詳細には、ＴＣＮの第１の層は、１次元ＣＮＮ１１１である。次に、Ｇ－ＮＯＲＭ層１１３が、トレーニング可能なバイアス及び利得パラメータによってスケーリングされた時間及びチャネルの次元の両方にわたる平均及び分散の正規化を提供する。次いで、この層１１３の出力が、ＰＲｅＬＵ層１１５に与えられる。一実施形態では、ＰＲｅＬＵ層は、それが勾配消失問題を防ぐのに役立ち得るので使用される。
【0051】
次に、信号は、深さ方向の畳み込みを提供するＤ－ＣＯＮＶ層１１７を介して処理される。次は、更なるＧ－ＮＯＲＭ層１１９であり、これは、第２のＰＲｅＬＵ層１２１に出力し、第２のＰＲｅＬＵ層１２１の出力は、第２の１Ｄ ＣＮＮ層１２３に与えられる。
【0052】
次いで、ＴＣＮ１０９の出力は、登録信号のスペクトル表現Ｅｓｐｋを生成するために、時間平均化演算子（time averaging operator）１２５に与えられる。
【0053】
エクストラクタ６３において、スペクトルエンコーダ６１の出力Ｅｓｐｅｃは、チャネルごとに正規化され、次いで、一連のカスケーディングＴＣＮ１３５、１３９の第１のＴＣＮに供給される前に、ボトルネック１×１ＣＮＮ層（Ｂ個のカーネル）１３３によって処理される。ＴＣＮ１３５及び１３９は、図４Ｂを参照して説明された構造をそれぞれ有する。しかしながら、Ｄ－ＣＯＮＶの拡張は変化し、したがって、連続するＴＣＮブロックにわたる拡張係数は、２ｍｏｄ（ｉ，Ｘ）であり、ここで、ｉは、０からＸＲ－１までのブロックのインデックスである。ＴＣＮブロックは、各グループにＸ個のＴＣＮと、Ｒ個のグループとを有して、グループに直列に配置されており、その結果、合計ＸＲ個のＴＣＮが存在する。Ｘは、各グループにいくつのＴＣＮがあるかを制御するハイパーパラメータであり、ｍｏｄは、モジュロ演算である。
【0054】
この例では、乗法各点アダプテーション層（multiplicative pointwise adaptation layer）１３７が、ターゲット話者埋め込みＥｓｐｋを、第２のＴＣＮの出力と組み合わせるために使用される。しかしながら、その他の点ごとの組み合わせも使用され得る。
【0055】
Ｎ個の出力チャネルを有する更なる１×１ＣＮＮ層１４１が、最後ＴＣＮの後に使用されて、マスク次元をスペクトルエンコーダ６１の出力のものに合わせ、したがって、それらの点ごとの乗算を容易にする。更なるＣＮＮ層１４１の出力は、マスクを生成するアクティベーション層１４３を通じて与えられる。次いで、マスクは、スペクトルエンコーダ６１からの第２の出力Ｅｓｐｅｃにミキサ６７を使用して適用されて、Ｅｓｐｅｃからターゲット話者の音声を抽出する。
【0056】
次いで、これは、デコーダ１４７に与えられる。デコーダは、全結合層１４７を備え、これは、次いで、抽出された時間領域信号ｓ′（ｎ）を出力する。
【0057】
【0058】
トレーニングのために、トレーニングセットが確立され、トレーニングセットの各メンバは、３つのセクションを備える：
１）他の話者又は非有声性の音によってもたらされ得る背景雑音の中でのターゲット話者の音声を含む入力音声（ｙ（ｎ））
２）ターゲット話者からの登録音声サンプル（ｓｅ（ｎ））
３）入力音声に対応するターゲット話者のクリーンな音声（ｓ（ｎ））。
トレーニングセットは、多くの異なるターゲット話者についての上記３つのセクションを含むことになる。トレーニング後、システムは、新しい話者の登録音声を受け取るだけで、その話者に適合することが可能になるべきである。新しい話者に対して再トレーニングする必要はなく、また、この話者が元のトレーニングセットに含まれている必要もない。
１）他の話者又は非有声性の音によってもたらされ得る背景雑音の中でのターゲット話者の音声を含む入力音声（ｙ（ｎ））
２）ターゲット話者からの登録音声サンプル（ｓｅ（ｎ））
３）入力音声に対応するターゲット話者のクリーンな音声（ｓ（ｎ））。
トレーニングセットは、多くの異なるターゲット話者についての上記３つのセクションを含むことになる。トレーニング後、システムは、新しい話者の登録音声を受け取るだけで、その話者に適合することが可能になるべきである。新しい話者に対して再トレーニングする必要はなく、また、この話者が元のトレーニングセットに含まれている必要もない。
【0059】
一実施形態では、図３のシステムは、同時学習されており、即ち、スペクトルエンコーダ６１、話者エンコーダ６５、エクストラクタ６３及びデコーダ６９は、一緒にトレーニングされている。
【0060】
一実施形態では、図１のエクストラクタについてのトレーニング目標は、スケールが不変の信号対歪み比（ＳＩＳＤＲ）を最大化することであり、これは、以下のように定義される：
【0061】
【数2】
【0062】
ここで、ｓ′及びｓは、それぞれ推定されたターゲット話者信号及びオラクルターゲット話者信号（the oracle target speaker signal）を示し、ここで、オラクルターゲット話者信号は、クリーンな音声である。
【0063】
更なる実施形態では、異なる損失関数が使用され、これは、以下の通りである：
【0064】
【数3】
【0065】
上記損失関数は、短期客観的了解度（ＳＴＯＩ）尺度に基づく知覚的に動機付けられた項と組み合わせて、上記式（１）のＳＩＳＤＲ損失を組み込む。
【0066】
ＳＴＯＩは、時間周波数重み付けによって処理される雑音のある音声の了解度を客観的に評価するためのメトリックであり、これは、人間の知覚との高い相関を生じる。それは、クリーンな基準信号ｓ（ｎ）を必要とし、これは、処理された信号ｓ′（ｎ）に対して比較される。比較は、約４００ｍｓの音声を必要とし、以下に要約されるように、圧縮されたＤＦＴベースの空間において行われる。
【0067】
図５は、ＳＴＯＩを算出するためのステップを示すフロー図である。最初に、ステップＳ２０１において、基準（即ち、クリーンな）信号及び処理された信号の短期フーリエ変換（ＳＴＦＴ）が計算され、これらは、それぞれＳ（ｋ，ｍ）及びＳ′（ｋ，ｍ）として示されている。インデックスｋ及びｍは、それぞれ現在の周波数ビン及び時間フレームを指す。次いで、Ｓ２０３において、１５０Ｈｚの最低中心周波数を有する１／３オクターブバンド二乗平均平方根（ＲＭＳ）エネルギーが計算される：
【0068】
【数4】
【0069】
ここで、ｊは、１／３オクターブバンドインデックスであり、ｋ１（ｊ）及びｋ２（ｊ）は、そのバンドエッジである。処理された信号の１／３オクターブバンドＲＭＳエネルギーは、Ｎ個（例えば、３０個）の前の連続したフレームのコンテキストを使用して、クリーンな信号のものにマッチさせるように、ステップＳ２０５において正規化される
【0070】
【数5】
【0071】
次に、処理された信号のスケーリングされた１／３オクターブバンドＲＭＳエネルギー
【0072】
【数6】
【0073】
が、以下の規則を使用して、ステップＳ２０７においてクリッピングされ、
【0074】
【数7】
【0075】
ここで、β（例えば、－１５）は、信号対歪みの下限である。中間了解度スコアが、基準信号と、正規化及びクリッピングされた処理された信号との１／３オクターブバンドＲＭＳエネルギー間で、ステップＳ２０９において相互相関として計算される、
【0076】
【数8】
【0077】
最終的なＳＴＯＩ損失が、ステップＳ２１１において計算され
【0078】
【数9】
【0079】
ここで、Ｊ及びＭは、それぞれ１／３オクターブバンド及び信号フレームの総数である。他の関数が、ＳＴＯＩの代わりに使用され得、これもまた、音声の了解度尺度、例えば、正規化された共分散に基づく音声伝送指標、グリンプスプロポーション（ＧＰ）、音声了解度指標（ＳＩＩ）、ＰＥＳＱ又はＳＴＯＩ－Ｎｅｔ等のディープラーニング方法を可能にする。
【0080】
したがって、この実施形態では、ＳＩＳＤＲ及びＳＴＯＩの両方が、エクストラクタをトレーニングするために考慮に入れられる。
【0081】
図２に戻ると、エクストラクタ５１からの出力である抽出された信号が、音声認識装置（ＡＳＲ）５３に与えられる。しかしながら、抽出された信号は、ＡＳＲ５３に入力される前に、強調された信号（Ｃ）を生成するために、元の入力信号（Ａ）のフラクション（a fraction）と混合される。これは、マスクされるべき抽出された信号における処理歪みの抑制を可能にする。これらの処理歪みは、ＡＳＲの動作に影響を及ぼし得る。
【0082】
一実施形態では、再混合は、以下のスカラσ（図２）、即ち：
【0083】
【数10】
【0084】
によって制御され、出力は、ｚ（ｎ）＝ｓ′（ｎ）＋αｙ（ｎ）として計算される。どのようにσが選択され得るかが、以下で説明される。上記を使用することによって、処理歪みにマッチするようにＡＳＲ５３を再トレーニングすることを必要とせずに、ＡＳＲ５３から良好な結果を得ることが可能である。
【0085】
一実施形態では、σは、０以上３０以下である。一実施形態では、σの値は、第２の信号に見られる歪みの量に基づいて、自動的に適合される。更なる実施形態では、ノーリファレンス音声品質モデル（no-reference speech quality model）が、歪みを評価するために使用され得る。
【0086】
上記をテストするために、シミュレーションされた雑音のある音声記録と、実際の雑音のある音声記録との両方を含むＣＨｉＭＥ－４データで実験を行った。ＣＨｉＭＥ－４コーパスは、カフェテリア、バスの中、車道又は歩道エリア等の雑音のある日常の環境の中で、モバイルタブレットコンピューティングデバイスを使用して、マルチチャネル音声を捉えるように設計されている。ＳＰＸデノイザ（音声エクストラクタ）が使用され、ＣＨｉＭＥ－４雑音と人工的に混合された、クリーンなウォールストリートジャーナル（ＷＳＪ）音声でトレーニングされた。
【0087】
ＣＨｉＭＥ－４のシングルチャネルの実際の評価セット及びシミュレーションされた評価セット（ｅｔ０５）（ＳＰＸのトレーニングセットに対してマッチした状況）についての結果を以下に報告する。追加として、ＶｏｉｃｅＢａｎｋ－ＤＥＭＡＮＤ（ＶＢＤ）セット及びＷＨＡＭ！セットでのミスマッチしたテスト状況についての結果を報告する。ＷＨＡＭ！テスト（ｔｔ）セットの最大バージョン（max version）が使用され、全ての実験を１６ｋＨｚの解像度データを用いて行った。
【0088】
性能は、主にワード誤り率（ＷＥＲ）の観点から評価されているが、いくつかの予備実験では、信号対歪み（ＳＤＲ）値及びＳＴＯＩ値も報告されている。ＳＤＲスコアは、ＢＳＳｅｖａｌツールキットを使用して計算され、ＳＴＯＩトレーニング損失は、自由に利用可能なＰｙＴｏｒｃｈ実装を使用して計算された。雑音除去ネットワーク及びＡＳＲシステムの構成についての更なる詳細を次に提示する。
【0089】
これらのテストのために、図４Ａ及び図４Ｂを参照して説明されたアーキテクチャを有する音声エクストラクタを使用した。スペクトルエンコーダは、サイズＬ＝２０のＮ＝２５６個のカーネル及び１０サンプルのフレームレートを有する１－Ｄ ＣＮＮを備える。Ｒ＝４回繰り返されるＸ＝８個のスタックされたＴＣＮブロックが、抽出ネットワークのために用いられた。各ＴＣＮブロックは、それぞれＢ＝２５６個及びＨ＝５１２個のカーネルを用いる１×１ＣＮＮ及び１×３深さ方向の畳み込みで構成されている。デコーダにおける全結合層は、２５６の入力次元と、２０の出力次元と、を有する。
【0090】
ＳＰＸシステムをトレーニングするために、ＣＨｉＭＥ－４雑音が人工的に加えられたＷＳＪ０－２ｍｉｘからのクリーンなＷＳＪトレーニングリストを使用した。約３９時間のデータが生成され、混合音の信号対雑音（ＳＮＲ）比は、０ｄＢ～５ｄＢの範囲から均一にサンプリングされており、オーディオ長は、１秒～６秒でランダムに変化する。ターゲット登録文をトレーニングのために使用し、登録用の録音（recording）と、混合信号とが異なることを確実にした。シミュレーションされたＣＨｉＭＥ－４、ＶＢＤ及びＷＨＡＭ！テストセットのための登録サンプルは、利用可能なクリーンな波形から選ばれ、一方、接話マイクロホン録音を、実際のＣＨｉＭＥ－４評価セットの登録のために使用した。
【0091】
初期学習率０．００１、チャンク長（chunk length）４秒、及びミニバッチサイズ８で、Ａｄａｍオプティマイザ［D. P. Kingma and J. L. Ba, “Adam: A method for stochastic optimization,” in Int. Conf. Learning Repres., 2015.］を使用してトレーニングを行った。３つの連続したエポックの間、交差検証セットに対する改善が得られなかった場合、学習率を半分にした。全ての競合モデルは、トレーニングデータに対する過剰適合を回避するために、エポック２０において復号された。
【0092】
ＡＳＲのための２つの音響モデルがこの評価に含まれている。第１のモデルは、クリーンなＷＳＪ－ＳＩ２８４データ（ＷＳＪ－ＣＬＮ）でトレーニングされており、１２層ＴＤＮＮＦトポロジを有し［D. Povey, G. Cheng, Y. Wang, K. Li, H. Xu, M. Yarmoham-madi, and S. Khudanpur, “Semi-orthogonal low-rank matrix factorization for deep neural networks,” in Proc. Interspeech, 2018, pp. 3743-3747.］、一方、第２のモデルは、ＣＨｉＭＥ－４からの標準の雑音のあるセット（Ｃ４－ＯＲＧ）でトレーニングされており、１４層ＴＤＮＮＦ構造を有する。後者のシステムは、ＣＨｉＭＥ－４の実際のトレーニングセット及びシミュレーションされたトレーニングセットからの、６つ全てのチャネルを用いる。両方のモデルが、４０次元ＭＦＣＣ及び１００次元ｉ－ベクトルを音響特徴として使用し、それらは、格子なしＭＭＩ基準（lattice-free MMI criterion）を使用して、ＫＡＬＤＩにおいてトレーニングされた［D. Povey, V. Peddinti, D. Galvez, P. Ghahrmani, and V. Manohar, “Purely sequence-trained neural networks for ASR based on lattice-free MMI,” in Proc. Interspeech, 2016, pp. 2751-2755］。標準のｔｒｉ－ｇｒａｍとより強力なＲＮＮ言語モデル（ＬＭ）との両方を、復号のために使用した。３倍速摂動（3-fold speed perturbation）後、ＷＳＪ－ＣＬＮ及びＣ４－ＯＲＧは、それぞれ約２４６時間及び３２７時間のトレーニングデータを有する。
【0093】
次に、マッチした及びミスマッチした雑音のある状況におけるＡＳＲのロバスト性を向上させるための提案されたターゲット話者強調アプローチの有効性に対する調査結果を提示する。
【0094】
【表1】
【0095】
最初に、ＶＢＤ及びＷＨＡＭ！のシミュレーションされた雑音のあるテストデータを使用して、ＳＰＸデノイザをミスマッチした状況において評価した（表１）。表１のＷＥＲ結果は、ＷＳＪ－ＣＬＮ ＡＭ及びｔｒｉ－ｇｒａｍ（３Ｇ）ＬＭでのものである。雑音除去－ＳＰＸは、シミュレーションされた雑音のあるＣＨｉＭＥ－４混合音でトレーニングされており、したがって、いずれのテストセットともミスマッチしているが、それは、未処理のケースと比較して、ＶＢＤ及びＷＨＡＭ！のテストセットに対して約１４％及び６７％の相対的なＷＥＲの低減をもたらした。表１のＷＥＲ結果は、複合ＳＩＳＤＲ及びＳＴＯＩトレーニング損失が、標準のＳＩＳＤＲ損失よりも良好に機能することを示しているが、通常のシステム及び提案されたシステムについてのＳＤＲ値及びＳＴＯＩ値は、ほぼ同一であった。したがって、追加のＳＴＯＩ項（the additional STOI term）は、強調中に歪んだ音声の時間変調のうちのいくつかを復元するのに役立てることができる。本明細書で使用される場合、「通常の」システムは、標準のＳＩＳＤＲトレーニング基準（ＳＴＯＩなし）で、ＳＰＸを雑音除去するためのシステムである。
【0096】
次の一連の実験を、雑音のあるＣＨｉＭＥ－４音響モデル（Ｃ４－ＯＲＧ）を使用して行った。これら実験は、ＡＳＲのロバスト性に対する再混合比σの重要性を評価している。
【0097】
【表2】
【0098】
表２における結果は、シミュレーションされたＣＨｉＭＥ－４テストセットと実際のＣＨｉＭＥ－４テストセットとの両方について、σの値を∞（いかなる入力混合音も、強調された信号に加えて追加されていない（added on top of））から０ｄＢまで低減させることによって、目ざましいＷＥＲの低減が達成され得ることを示している。より具体的には、再混合比を低減させるだけで、提案された雑音除去－ＳＰＸは、シミュレーションされた評価セット及び実際の評価セットについて、それぞれ約２８％及び３３％の相対的なＷＥＲの低減を達成した。これらの結果は、これらの改善を生じるために、音響モデルもＳＰＸモデルも再トレーニングされていないので、注目に値する。未処理のケースと比較して、σ＝∞についての雑音除去－ＳＰＸの性能が悪いことは、システムが無響のシミュレーションされたＣＨｉＭＥ－４の雑音のあるデータからトレーニングされたものである一方で、テストセットは少量の残響も含むという事実に帰せられる。精度の低下の別の原因は、特に実際のデータでの、ＳＰＸによって導入される固有の歪みであり得る。話者強調を伴う雑音除去－ＳＰＸは、シミュレーションされたセット及び実際のセットについて、それぞれ約２３％及び２８％の相対的なＷＥＲの低減をもたらした。
【0099】
【表3】
【0100】
表３は、シングルチャネルＣＨｉＭＥ－４タスクに関する雑音除去－ＳＰＸの認識精度を示す。ＡＳＲを行うために、標準の雑音のあるＣ４－ＯＲＧ音響モデルを使用し、３－Ｇトランスクリプションは、ＲＮＮベースの言語モデルを用いてスコアを再計算した。
【0101】
上記の実施形態は、音響モデルの再トレーニングなしに、雑音のある状況においてＡＳＲ精度を向上させるためのターゲット話者強調アルゴリズムを示した。ＤＮＮ話者抽出に基づくデノイザを使用することで、雑音のある入力を強調された信号と再混合することが、シングルチャネルＣＨｉＭＥ－４のシミュレーションされた評価セット及び実際の評価セットについて、それぞれ未処理のケースと比較して約２３％及び２８％のＷＥＲの低減を達成することが示された。更に、実験は、話者抽出システムのトレーニング中に時間領域再構成損失に加えて知覚的に動機付けられた損失を追加することが、ささやかではあるが、一貫したＡＳＲ精度改善を達成するのに役立つことを示唆する。
【0102】
上記で説明された実施形態は、以下のうちの少なくとも１つを提供する：
（i）マッチした状況とミスマッチした状況との両方における、実際のデータ及びシミュレーションされたデータの音声雑音除去についての時間領域音声抽出のＡＳＲ性能、
（ii）時間領域デノイザをトレーニングするための客観的了解度尺度に基づく新しい損失関数、
（iii）雑音のある環境でのＡＳＲモデルのロバスト性を向上させるための話者強調戦略。
（i）マッチした状況とミスマッチした状況との両方における、実際のデータ及びシミュレーションされたデータの音声雑音除去についての時間領域音声抽出のＡＳＲ性能、
（ii）時間領域デノイザをトレーニングするための客観的了解度尺度に基づく新しい損失関数、
（iii）雑音のある環境でのＡＳＲモデルのロバスト性を向上させるための話者強調戦略。
【0103】
本明細書で説明された実施形態は、雑音のある状況でのＡＳＲ精度が、歪んだデータでの音響モデルの再トレーニングを必要としない話者強調戦略を使用することによって、高められ得ることを示した。最先端の強調アルゴリズムを使用して、背景騒音を完全に抑制することに焦点を合わせる代わりに、本明細書で説明された実施形態は、処理歪みを軽減するために、強調された信号を未処理の入力と再混合し、ＡＳＲの音響モデルを再トレーニングすることなく、著しい認識精度改善をもたらす。
【0104】
ある特定の実施形態について説明したが、これらの実施形態は単に例として提示したものであり、本発明の範囲を限定することを意図するものではない。実際、本明細書で説明された新規のデバイス及び方法は、様々な他の形態で具現化され得、更に、本明細書で説明されたデバイス、方法及び製品の形態の様々な省略、置き換え、及び変更が、本発明の趣旨から逸脱することなく行われ得る。添付の特許請求の範囲及びそれらの同等物は、本発明の趣旨及び範囲内に入る形態又は修正を網羅することを意図している。
【図1A】
【図1B】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【外国語明細書】