特表 2023-512178 音声バイオメトリクスのクロスチャネル登録と認証

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-03-24

(54)【発明の名称】音声バイオメトリクスのクロスチャネル登録と認証

(51)【国際特許分類】

   G10L 17/00 20130101AFI20230316BHJP

   G10L 17/18 20130101ALI20230316BHJP

   G10L 21/038 20130101ALI20230316BHJP

【ＦＩ】

G10L17/00 200C

G10L17/18

G10L21/038

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022543649

(86)(22)【出願日】2021-02-02

(85)【翻訳文提出日】2022-09-13

(86)【国際出願番号】 US2021016189

(87)【国際公開番号】W WO2021158531

(87)【国際公開日】2021-08-12

(31)【優先権主張番号】62/969,484

(32)【優先日】2020-02-03

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】519084065

【氏名又は名称】ピンドロップ セキュリティー、インコーポレイテッド

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100122563

【弁理士】

【氏名又は名称】越柴 絵里

(72)【発明者】

【氏名】シヴァラマン ガネシュ

(72)【発明者】

【氏名】コーリー エリー

(72)【発明者】

【氏名】クマール アヴロッシュ

(57)【要約】

本明細書に記載される実施形態は、音声ベースのクロスチャネル登録及び認証のためのシステム及び方法を提供する。システムは、話者照合ニューラルネットワークと帯域幅拡張ニューラルネットワークとを含むニューラルネットワークアーキテクチャをトレーニングして採用することにより、あらゆる数の通信チャネルにわたって受信されたオーディオ信号の変動を制御して軽減する。帯域幅拡張ニューラルネットワークは、狭帯域オーディオ信号に対してトレーニングされ、狭帯域オーディオ信号に対応する推定広帯域オーディオ信号を作成し生成する。これらの推定広帯域オーディオ信号は、話者照合ニューラルネットワーク又は埋め込み抽出ニューラルネットワークなどの１又は２以上のダウンストリームアプリケーションに供給することができる。次に、話者照合ニューラルネットワークは、インバウンド信号又は登録信号を受信するのに使用されるチャネルに関係なく、登録された埋め込みに対して現在のコールのためのインバウンド埋め込みを比較しスコア化することができる。
【選択図】 図１

【特許請求の範囲】

【請求項1】

コンピュータ実装方法であって、
コンピュータによって、第１の帯域幅を有する１又は２以上の低帯域幅オーディオ信号と、第２の帯域幅を有する１又は２以上の対応する高帯域幅オーディオ信号とを含む複数のトレーニングオーディオ信号を得るステップであって、前記第１の帯域幅が前記第２の帯域幅よりも比較的に低い、ステップと、
前記コンピュータによって、ニューラルネットワークの１又は２以上のニューラルネットワークレイヤのセットを含む帯域幅拡張器をトレーニングするステップであって、前記帯域幅拡張器が、前記ニューラルネットワークを前記複数のトレーニングオーディオ信号に適用することによってトレーニングされる、ステップと、
前記コンピュータによって、前記第１の帯域幅を有するインバウンドオーディオ信号を受信するステップと、
前記コンピュータによって、前記インバウンドオーディオ信号に前記ニューラルネットワークの帯域幅拡張器を適用することによって、前記第２の帯域幅を有する推定インバウンドオーディオ信号を生成するステップと、
を含む、方法。

【請求項2】

前記複数のトレーニングオーディオ信号を取得するステップは、
前記コンピュータによって、前記第２の帯域幅を有する高帯域幅オーディオ信号に対してコーデックプログラムを実行することにより、前記第１の帯域幅を有する低帯域幅オーディオ信号を生成するステップと、
を含む、請求項１に記載の方法。

【請求項3】

前記複数のトレーニングオーディオ信号を取得するステップが、
前記コンピュータによって、低帯域幅オーディオ信号に対して劣化のタイプの拡張オペレーションを実行することによって、前記劣化のタイプを有するシミュレーション低帯域幅オーディオ信号を生成するステップであって、前記複数のトレーニングオーディオ信号が、前記シミュレーション低帯域幅オーディオ信号を更に含む、ステップと、
を含み、
前記インバウンドオーディオ信号が、前記劣化のタイプを有することにより、前記コンピュータによって生成された前記推定インバウンドオーディオ信号が、前記劣化のタイプが比較的少ない拡張インバウンドオーディオ信号である、
請求項１に記載の方法。

【請求項4】

前記コンピュータによって、前記トレーニングオーディオ信号の各々から１又は２以上の特徴を抽出するステップであって、前記コンピュータが前記トレーニングオーディオ信号の前記１又は２以上の特徴に前記ニューラルネットワークを適用するステップと、
前記コンピュータによって、前記インバウンドオーディオ信号から前記１又は２以上の特徴を抽出するステップであって、前記コンピュータが前記インバウンドオーディオ信号の前記１又は２以上の特徴に前記ニューラルネットワークを適用するステップと、
を更に含む、請求項１に記載の方法。

【請求項5】

前記複数のトレーニング信号のうちの少なくとも１つの高帯域幅オーディオ信号は、前記第２の帯域幅用に構成されたチャネルを介して発信される、請求項１に記載の方法。

【請求項6】

前記インバウンドオーディオ信号が前記第１の帯域幅用に構成されたチャネルを介して発信されたと前記コンピュータが決定することに応答して、前記コンピュータは、前記推定インバウンドオーディオ信号を生成する、
請求項１に記載の方法。

【請求項7】

前記トレーニングするステップが、
前記コンピュータによって、トレーニングオーディオ信号に対して前記ニューラルネットワークによって出力されたトレーニング推定オーディオ信号に従って前記ニューラルネットワークの損失関数を実行するステップであって、前記損失関数が、前記帯域幅拡張器の１又は２以上のレイヤの１又は２以上のハイパーパラメータを更新するように前記コンピュータに命令する、ステップを更に含む、
請求項１に記載の方法。

【請求項8】

前記コンピュータによって、１又は２以上のクリーンオーディオ信号とシミュレーションオーディオ信号とを含む複数の第２トレーニングオーディオ信号に１又は２以上のニューラルネットワークレイヤの第２セットを含む話者認識器を適用することによって、前記話者認識器をトレーニングするステップと、
前記コンピュータによって、登録者の１又は２以上の登録者オーディオ信号に前記話者認識器を適用することにより、前記登録者の登録者声紋を抽出するステップと、
前記コンピュータによって、前記推定インバウンドオーディオ信号に前記ニューラルネットワークのアーキテクチャを適用することによって、インバウンド話者のインバウンド声紋を抽出するステップと、
前記コンピュータによって、前記インバウンド声紋と前記登録者声紋とに基づいて尤度スコアを生成するステップであって、前記尤度スコアが、前記インバウンド話者が前記登録者である尤度を示す、ステップと、
を更に含む、請求項１に記載の方法。

【請求項9】

前記コンピュータによって、前記第２のトレーニングオーディオ信号及び前記登録者オーディオ信号の少なくとも一方に対して１又は２以上のデータ拡張オペレーションを実行するステップを更に含む、請求項８に記載の方法。

【請求項10】

前記１又は２以上のデータ拡張オペレーションを実行するステップは、前記第２のトレーニングオーディオ信号及び前記登録者オーディオ信号の少なくとも一方に前記帯域幅拡張器を適用するステップを含む、請求項９に記載の方法。

【請求項11】

前記コンピュータによって、前記第１の帯域幅を有し且つ前記第１の帯域幅用に構成されたチャネルを介して発信された登録者オーディオ信号に対して前記帯域幅拡張器を適用することによって、前記１又は２以上の登録者オーディオ信号に対する推定登録者オーディオ信号を生成するステップを更に含む、請求項８に記載の方法。

【請求項12】

システムであって、
１又は２以上のニューラルネットワークのための機械可読命令を格納するように構成された非一時的機械可読メモリと、
プロセッサを含むコンピュータと、
を備え、
前記コンピュータは、
第１の帯域幅を有する１又は２以上の低帯域幅オーディオ信号と、第２の帯域幅を有する１又は２以上の対応する高帯域幅オーディオ信号とを含む複数のトレーニングオーディオ信号を得て、前記第１の帯域幅が前記第２の帯域幅よりも比較的に低く、
ニューラルネットワークの１又は２以上のニューラルネットワークレイヤのセットを含む帯域幅拡張器をトレーニングし、前記帯域幅拡張器が、前記ニューラルネットワークを前記複数のトレーニングオーディオ信号に適用することによってトレーニングし、
前記第１の帯域幅を有するインバウンドオーディオ信号を受信し、
前記インバウンドオーディオ信号に前記ニューラルネットワークの帯域幅拡張器を適用することによって、前記第２の帯域幅を有する推定インバウンドオーディオ信号を生成する、
ように構成される、システム。

【請求項13】

前記複数のトレーニングオーディオ信号を得るために、前記コンピュータは更に、
前記コンピュータによって、前記第２の帯域幅を有する高帯域幅オーディオ信号に対してコーデックプログラムを実行することによって、前記第１の帯域幅を有する低帯域幅オーディオ信号を生成する、
ように構成されている、請求項１２に記載のシステム。

【請求項14】

前記複数のトレーニングオーディオ信号を得るために、前記コンピュータは更に、
低帯域幅オーディオ信号に対して劣化のタイプの拡張オペレーションを実行することによって、前記劣化のタイプを有するシミュレーション低帯域幅オーディオ信号を生成し、前記複数のトレーニングオーディオ信号が、前記シミュレーション低帯域幅オーディオ信号を更に含む、
ように更に構成され、
前記インバウンドオーディオ信号が、前記劣化のタイプを有することにより、前記コンピュータによって生成された前記推定インバウンドオーディオ信号が、前記劣化のタイプを比較的少ない拡張インバウンドオーディオ信号である、
請求項１２に記載のシステム。

【請求項15】

前記トレーニングオーディオ信号の各々から１又は２以上の特徴を抽出し、前記コンピュータが前記トレーニングオーディオ信号の前記１又は２以上の特徴にニューラルネットワークを適用すること、
及び
前記インバウンドオーディオ信号から前記１又は２以上の特徴を抽出し、前記コンピュータが前記インバウンドオーディオ信号の前記１又は２以上の特徴に前記ニューラルネットワークを適用すること、
を更に含む、請求項１２に記載のシステム。

【請求項16】

前記複数のトレーニング信号のうちの少なくとも１つの高帯域幅オーディオ信号は、前記第２の帯域幅用に構成されたチャネルを介して発信される、請求項１２に記載のシステム。

【請求項17】

前記インバウンドオーディオ信号が前記第１の帯域幅用に構成されたチャネルを介して発信されたと前記コンピュータが決定することに応答して、前記コンピュータは、前記推定インバウンドオーディオ信号を生成する、請求項１２に記載のシステム。

【請求項18】

前記コンピュータは更に、
トレーニングオーディオ信号に対して前記ニューラルネットワークによって出力されたトレーニング推定オーディオ信号に従って前記ニューラルネットワークの損失関数を実行し、前記損失関数が、前記帯域幅拡張器の１又は２以上のレイヤの１又は２以上のハイパーパラメータを更新するように前記コンピュータに命令する、
ように構成されている、請求項１２に記載のシステム。

【請求項19】

前記コンピュータは更に、
１又は２以上のクリーンオーディオ信号とシミュレーションオーディオ信号とを含む複数の第２のトレーニングオーディオ信号に１又は２以上のニューラルネットワークレイヤの第２のセットを含む話者認識器を適用することによって、前記話者認識器をトレーニングし、
登録者の１又は２以上の登録者オーディオ信号に前記話者認識器を適用することにより、前記登録者の登録者声紋を抽出し、
前記推定インバウンドオーディオ信号に前記ニューラルネットワークのアーキテクチャを適用することによって、インバウンド話者のインバウンド声紋を抽出し、
前記インバウンド声紋と前記登録者声紋とに基づいて尤度スコアを生成し、前記尤度スコアが、前記インバウンド話者が前記登録者である尤度を示す、
ように構成される、請求項１２に記載のシステム。

【請求項20】

前記コンピュータは更に、
前記第１の帯域幅を有し且つ前記第１の帯域幅用に構成されたチャネルを介して発信された登録者オーディオ信号に対して前記帯域幅拡張器を適用することによって、前記１又は２以上の登録者オーディオ信号に対する推定登録者オーディオ信号を生成する、
ように構成される、請求項１９に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願に対する相互参照）
本出願は、２０２０年２月３日に出願された米国特許仮出願第６２／９６９，４８４号に対する優先権を主張し、その全体が参照により組み込まれる。

【0002】

（技術分野）
本出願は、一般に、オーディオ処理ニューラルネットワークをトレーニングし展開するためのシステム及び方法に関する。詳細には、本出願は、音声バイオメトリクスシステムに採用されるニューラルネットワークに関する。

【背景技術】

【0003】

モノのインターネット（ＩｏＴ）デバイスの出現は、音声コマンドと対話する機械の新しいチャネルにつながった。多くの場合、デバイスとの対話の多くは、プライベートで機密性の高いデータに関するオペレーションの実行を伴う。多くの新しいモバイルアプリ及び家庭用パーソナルアシスタントは、デバイスとの音声ベースの対話を使用して金融取引を可能にしている。コールセンター、特にコールセンターでの人間のエージェントとの対話は、重要な個人情報を管理する機関にとって、もはや音声ベースの対話の唯一のインスタンスではない。様々なエッジデバイス又はＩｏＴデバイスをオペレーションさせることによりユーザアカウントにアクセス及び管理する、或いは、コールセンターに問い合わせすることによる発信者／話者のアイデンティティを一様な精度及びセキュリティレベルに従って確実に照合することが不可欠である。

【0004】

自動スピーチ認識（ＡＳＲ）及び自動話者照合（ＡＳＶ）システムは、セキュリティ及び認証機能、並びに他の音声ベースのオペレーションに使用されることが多い。しかしながら、ＡＳＲ及びＡＳＶは、異なるサンプリングレートでサンプリングされた複数の異なるタイプのデバイスからのオーディオに遭遇することが多い。より高度な通信チャネル（例えば、エッジデバイス、ＩｏＴ、ＶｏＩＰ）を介して録音及び伝送されるオーディオは、０～８ｋＨｚの広帯域幅で１６ｋＨｚでサンプリングされることが多い。従来の電話音声は、０．３～３．４ｋＨｚの周波数レンジに帯域制限され、８ｋＨｚでサンプリングされ、またスピーチ符号化アルゴリズムで符号化される。スピーチ技術は通常、広帯域のオーディオデータに対して優れた性能を発揮するが、これは高い周波数帯域で利用可能な追加情報に起因する。話者認識システムの性能は、より高い周波数帯域を含めることで向上する。広帯域スピーチに対してトレーニングした話者認識システムは、トレーニング及びテスト条件の不一致に起因して、狭帯域オーディオでは性能が低下する。狭帯域スピーチの高域周波数帯帯域が欠落しているため、電話スピーチでは広帯域でトレーニングした話者認識システムの性能が低下することになる。

【0005】

従って、必要とされるのは、あらゆる数の通信チャネルにわたって受信されるオーディオ信号の変動を制御してこれに対して緩和する音声バイオメトリクス及び話者認識に対する改良された手法である。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】米国特許出願第１７／０６６，２１０号明細書

【特許文献2】米国特許出願第１７／０７９，０８２号明細書

【発明の概要】

【0007】

本明細書で開示されるのは、上述の欠点に対処することができるシステム及び方法であり、また、あらゆる数の追加的又は代替の恩恵及び利点を提供することができる。本明細書に記載される実施形態は、音声ベースのクロスチャネル登録及び認証のためのシステム及び方法を提供する。特に、本明細書に記載のシステム及び方法は、話者照合ニューラルネットワーク及び帯域幅拡張ニューラルネットワークを含むニューラルネットワークアーキテクチャをトレーニングして採用することにより、あらゆる数の通信チャネルにわたって受信されるオーディオ信号の変動を制御しこれに対して緩和する。帯域幅拡張ニューラルネットワークは、狭帯域オーディオ信号でトレーニングされ、狭帯域オーディオ信号に対応する推定広帯域オーディオ信号を作成し生成する。これらの推定広帯域オーディオ信号は、話者照合ニューラルネットワーク又は埋め込み抽出ニューラルネットワークなどの１又は２以上のダウンストリームアプリケーションに供給することができる。次に、話者照合ニューラルネットワークは、インバウンド信号又は登録信号を受信するのに使用されるチャネルに関係なく、登録された埋め込みに対して現在のコールのインバウンド埋め込みを比較し、スコア化することができる。

【0008】

一実施形態では、コンピュータ実装方法は、コンピュータによって、第１の帯域幅を有する１又は２以上の低帯域幅オーディオ信号と第２の帯域幅を有する１又は２以上の対応する高帯域幅オーディオ信号とを含む複数のトレーニングオーディオ信号を得るステップであって、第１の帯域幅は第２の帯域幅よりも比較的に低い、ステップと、コンピュータによって、ニューラルネットワークの１又は２以上のニューラルネットワークレイヤのセットを含む帯域幅拡張器をトレーニングするステップであって、帯域幅拡張器が、ニューラルネットワークを複数のトレーニングオーディオ信号に適用することによってトレーニングされるステップと、コンピュータによって、第１の帯域幅を有するインバウンドオーディオ信号を受信するステップと、コンピュータによって、インバウンドオーディオ信号にニューラルネットワークの帯域幅拡張器を適用して第２の帯域幅を有する推定インバウンドオーディオ信号を生成するステップと、を含む。

【0009】

別の実施形態では、システムは、１又は２以上のニューラルネットワークのための機械可読命令を格納するように構成された非一時的機械可読メモリと、プロセッサを含むコンピュータとを備え、コンピュータは、第１の帯域幅を有する１又は２以上の低帯域幅オーディオ信号及び第２の帯域幅を有する１又は２以上の対応する高い帯域幅オーディオ信号を含む複数のトレーニングオーディオ信号を得て、第１の帯域幅が第２の帯域幅より比較的に低く、ニューラルネットワークの１又は２以上のニューラルネットワークのセットを含む帯域幅拡張器をトレーニングし、帯域幅拡張器が、複数のトレーニングオーディオ信号にニューラルネットワークを適用することによってトレーニングし、第１の帯域幅を有するインバウンドオーディオ信号を受信し、インバウンドオーディオ信号に前記ニューラルネットワークの帯域幅拡張器を適用することによって、第２の帯域幅を有する推定インバウンドオーディオ信号を生成する、ように構成される。

【0010】

前述の概要及び以下の詳細な説明は共に例証で説明のためのものであり、請求項に記載された本発明の実施形態の更なる説明を行うことを意図している点を理解されたい。

【0011】

本開示は、以下の図を参照することによりよく理解することができる。図中の構成要素は、必ずしも縮尺通りではなく、代わりに本開示の原理を説明することに重きが置かれている。図において、参照数字は、異なる図を通して対応する部品を示している。

【図面の簡単な説明】

【0012】

【図1】例示的な実施形態による、電話コールを受信し分析するためのシステムの構成要素を示す図である。

【図2】帯域幅拡張のための１又は２以上のニューラルネットワークを実装する方法のステップを示す図である。

【図3】話者照合のためのニューラルネットワークアーキテクチャ（埋め込み抽出器と呼ばれることもある）を実装する方法のステップを示す図である。

【図4】帯域幅拡張のためのニューラルネットワークアーキテクチャのレイヤを示す図である。

【図5】話者認識のためのニューラルネットワークアーキテクチャのレイヤを示す図である。

【図6A】帯域幅拡張及び話者認識のためのニューラルネットワークアーキテクチャのレイヤを示す図である。

【図6B】帯域幅拡張及び話者認識のためのニューラルネットワークアーキテクチャのレイヤを示す図である。

【図7】複数のチャネルにわたる話者及び認証のためのニューラルネットワークアーキテクチャのレイヤを示す図である。

【図8】一実施形態によるニューラルネットワークアーキテクチャを採用するクロスチャネル発信者認証のためのシステムを示す図である。

【発明を実施するための形態】

【0013】

ここで、図面に示された例示的な実施形態について説明し、これを記述するために具体的な表現が使用される。それでも、本発明の範囲のいかなる限定もそれによって意図されるものではないことは、理解されるであろう。本明細書で例示された発明の特徴の変更及び更なる修正、並びに本明細書で例示された発明の原理の追加的な適用は、関連技術に精通し本開示を所有している者には想起されるであろうし、これらは、本発明の範囲内にあるとみなされる。

【0014】

話者認識及び他のオペレーション（例えば、認証）のための音声バイオメトリクスは、典型的には、話者サンプルの母集団及び特定の話者のサンプルから生成されたモデル又はベクトルに依存する。一例として、トレーニングフェーズ（又は再トレーニングフェーズ）の間に、サーバ又は他のコンピュータデバイスは、複数のトレーニングオーディオ信号を使用してスピーチのインスタンスを認識し区別するようにトレーニングされたスピーチ認識エンジン（例えば、人工知能及び／又は機械学習プログラムソフトウェア）を実行する。ニューラルネットワークアーキテクチャは、対応する入力に従って特定の結果を出力し、期待される出力と観測された出力とを比較することによって、損失関数に従って結果を評価する。次いで、トレーニングオペレーションは、ニューラルネットワークアーキテクチャの重み付け値（ハイパーパラメータと呼ばれることもある）を調整し、期待出力及び観測出力が収束するまで、ニューラルネットワークアーキテクチャを入力に再適用する。その後、サーバは、ハイパーパラメータを固定（例えば、フリーズ又は設定）し、場合によっては、トレーニングに使用されるニューラルネットワークアーキテクチャの１又は２以上のレイヤを無効化する。

【0015】

サーバは、話者認識エンジンを更にトレーニングし、特定の登録者－話者の登録フェーズ中に特定の話者を認識することができる。スピーチ認識エンジンは、登録者を含むスピーチセグメントを有する登録者オーディオ信号を使用して、登録者音声特徴ベクトル（「声紋」と呼ばれることもある）を生成することができる。後のインバウンド電話コールの際に、サーバは、声紋を参照して、後のインバウンドコールから抽出された特徴ベクトルを登録者の声紋とマッチングすることに基づいて、後のオーディオ信号が登録者を含むかどうかを確認する。これらの手法は、一般に、インバウンドコールにおいて登録者を検出するために成功し十分である。

【0016】

しかしながら、インバウンド信号の品質が利用可能な通信チャネル間で変化するという懸念がある。この変動は、ニューラルネットワークアーキテクチャの性能を低下させることが多く、及び／又は特定の通信チャネル毎に異なる登録信号を提供することを登録者に要求してストレスとなる。場合によっては、異なるニューラルネットワークアーキテクチャを特定の通信チャネル毎に維持しなければならず、これは扱いにくく、性能を低下させる可能性がある。

【0017】

本明細書で説明するように、システムは、帯域幅拡張ニューラルネットワーク（「帯域幅拡張器」と呼ばれることもある）をトレーニングし採用する。帯域幅拡張器は、低品質データ（例えば、低サンプリングレート、低帯域幅）用に構成された通信チャネルを介して到達する狭帯域オーディオ信号を取り込み、対応する推定広帯域オーディオ信号を生成する。これらの推定広帯域オーディオ信号は、話者照合ニューラルネットワーク又は埋め込み抽出ニューラルネットワークなどの１又は２以上のダウンストリームアプリケーションに供給することができる。次に、話者照合ニューラルネットワークは、インバウンド信号又は登録信号を受信するのに使用されるチャネルに関係なく、登録された埋め込みに対して現在のコールのインバウンド埋め込みを比較してスコアリングすることができる。

【0018】

本明細書で記載される実施形態は、とりわけ、オーディオデータの取り込み、前処理オペレーション、データ増強オペレーション、帯域幅拡張、埋め込み抽出、損失関数オペレーション、及び分類オペレーションなどの特定のオペレーションを行うように構成されたあらゆる数のレイヤを含む１又は２以上のニューラルネットワークアーキテクチャを実装している。様々なオペレーションを実行するために、１又は２以上のニューラルネットワークアーキテクチャは、入力レイヤ、帯域幅拡張器のレイヤ、埋め込み抽出器のレイヤ、全結合レイヤ、損失レイヤ、分類器のレイヤなど、あらゆる数のレイヤを備える。

【0019】

レイヤ又はオペレーションは、あらゆる数のニューラルネットワークアーキテクチャによって実行できることを理解されたい。一例として、帯域幅拡張器ニューラルネットワーク（帯域幅拡張レイヤを有する）及び話者認識器ニューラルネットワーク（埋め込み抽出器レイヤを有する）は、サーバによって実行される別個のニューラルネットワークアーキテクチャとすることができる。別の例として、帯域幅拡張器ニューラルネットワーク（帯域幅拡張レイヤを有する）及び話者認識器ニューラルネットワーク（埋め込み抽出器レイヤを有する）は、サーバによって実行される同じニューラルネットワークアーキテクチャの構成要素とすることができる。更に又は代替的に、異なるオペレーションを実行するレイヤは、異なるタイプのニューラルネットワークアーキテクチャを定義することができる。例えば、埋め込み抽出器のためのレイヤは、ＲｅｓＮｅｔニューラルネットワークアーキテクチャとすることができ、帯域幅拡張器のためのレイヤは、別のタイプの畳み込みニューラルネットワーク（ＣＮＮ）又はディープニューラルネットワーク（ＤＮＮ）とすることができる。

【0020】

更に、前処理オペレーション及びデータ拡張オペレーションなどの特定のオペレーションは、ニューラルネットワークアーキテクチャとは別に、又はニューラルネットワークアーキテクチャのレイヤとしてコンピュータデバイスによって実行することができる。ネットワーク内拡張及び前処理に関する非限定的な例は、２０２０年１０月８日に出願された米国特許出願第１７／０６６，２１０号及び２０２０年１０月２３日に出願された米国特許出願第１７／０７９，０８２号に見出すことができ、これらは引用により本明細書に組み込まれる。

【0021】

（例示的なシステム構成要素）
図１は、例示的な実施形態による、クロスチャネル音声バイオメトリクスのための電話コールを受信し分析するためのシステム１００の構成要素を示す。システム１００は、コール分析システム１０１と、顧客企業（例えば、企業、政府機関、大学）のコールセンターシステム１１０と、発信者デバイス１１４とを備える。コール分析システム１０１は、分析サーバ１０２と、分析データベース１０４と、管理者デバイス１０３とを含む。コールセンターシステム１１０は、コールセンターサーバ１１１と、コールセンターデータベース１１２と、エージェントデバイス１１６とを含む。実施形態は、図１のものから追加的又は代替の構成要素を備えること、或いは特定の構成要素を省略することができ、これらは依然として本開示の範囲内にある。例えば、複数のコールセンターシステム１１０を含むこと、又はコール分析システム１０１が複数の分析サーバ１０２を有することは、一般的とすることができる。実施形態は、本明細書に記載される様々な特徴及びタスクを実行することができるあらゆる数のデバイスを含むか、或いは実装することができる。例えば、図１は、分析データベース１０４とは異なるコンピュータデバイスとして分析サーバ１０２を示している。幾つかの実施形態では、分析データベース１０４は、分析サーバ１０２に統合することができる。

【0022】

図１に関して記載された実施形態は、本明細書で記載したクロスチャネル音声バイオメトリクスの単なる例に過ぎず、他の潜在的な実施形態を必ずしも限定するものではないことを理解されたい。図１の説明では、発信者が様々な通信チャネルを介して電話をかけ、コールセンターシステム１１０によって提供されるサービスと連絡をとって対話する状況について言及しているが、本明細書に記載されるクロスチャネル音声バイオメトリクス技術のオペレーション及び特徴は、発信者とコールセンターシステム１１０によって提供されるサービスとの間の音声ベースのインターフェースを伴うあらゆる状況に適用することができる。

【0023】

例えば、本明細書に記載のクロスチャネル音声バイオメトリクスシステム及びオペレーションは、複数の通信チャネルを介して話者オーディオ入力を受信し認証するあらゆるシステムにおいて実装することができる。エンドユーザは、サービスプロバイダ及びサービスプロバイダのコールセンターシステム１１０のユーザアカウント又は他の特徴にアクセスし、コールセンターサーバ１１１によってホストされるソフトウェアアプリケーション（例えば、クラウドアプリケーション）と、又はその人間エージェントと対話することができる。幾つかの実施構成において、サービスプロバイダのコールセンターシステム１１０のユーザは、様々なタイプのユーザデバイス１１４を使用して電話をかけることによって、サービスプロバイダのユーザアカウント又は他の特徴にアクセスすることができる。また、ユーザは、コールセンターサーバ１１１によってホストされるソフトウェアプログラミング（例えば、クラウドアプリケーション）とデータ及び命令を交換するように構成された特定のユーザデバイス１１４によって実行されるソフトウェアを使用して、サービスプロバイダのユーザアカウント又は他の特徴にアクセスすることができる。顧客コールセンター１１０は、例えば、電話コール中に発信者と会話する人間のエージェント、コールセンターサーバ１１１によって実行される双方向音声応答（ＩＶＲ）ソフトウェア、又はコールセンターサーバ１１１によって実行されるクラウドソフトウェアプログラミングを含むことができる。顧客コールセンター１１０は、人間のエージェントも含む必要はなく、エンドユーザがＩＶＲシステム又はクラウドソフトウェアアプリケーションとのみ対話するようになる。

【0024】

一例として、場合によっては、カスタマーコールセンターシステム１１０は、例えば、固定電話デバイス１１４ａ（狭帯域チャネル）又はモバイルデバイス１１４ｂ（広帯域チャネル）から発信される電話コールを処理する人間のエージェント及び／又はＩＶＲシステムを含む。別の例として、場合によっては、コールセンターサーバ１１１は、モバイルデバイス１１４ｂ、コンピュータデバイス１１４ｃ、又はエッジデバイス１１４ｄなどのユーザデバイス１１４上の対応するソフトウェアアプリケーションにアクセス可能なクラウドアプリケーションを実行する。ユーザは、ユーザ側ソフトウェアアプリケーションを使用して、サービスプロバイダのユーザアカウント又は他の特徴と対話する。このような場合、コールセンターシステム１１０は、人間のエージェントを含む必要はなく、又は、ユーザは、ソフトウェアアプリケーションをリダイレクトして別のチャネルを介してエージェントデバイス１１６と接続するようにコールセンターサーバ１１１に命令することができ、これによって、ユーザが困難なときに人間のエージェントと話すことが可能になる。

【0025】

１又は２以上のパブリック又はプライベートネットワークの様々なハードウェア及びソフトウェア構成要素は、様々な通信チャネルを介してシステム１００の様々な構成要素と相互接続することができる。このようなネットワークの非限定的な例には、ローカルエリアネットワーク（ＬＡＮ）、無線ローカルエリアネットワーク（ＷＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及びインターネットを含むことができる。ネットワーク上の通信は、伝送制御プロトコル／インターネット・プロトコル（ＴＣＰ／ＩＰ）、ユーザ・データグラム・プロトコル（ＵＤＰ）、及びＩＥＥＥ通信プロトコルなどの様々な通信プロトコルに従って実行することができる。同様に、発信者デバイス１１４は、電話コールに関連するオーディオデータをホスト、伝送及び交換することができる電話及び電気通信プロトコル、ハードウェア、及びソフトウェアを介して、被発呼側（例えば、コールセンターシステム１１０）と通信することができる。電気通信ハードウェアの非限定的な例は、電話コール、回路、及びシグナリングをホスト、ルーティング又は管理するのに使用される他の追加又は代替のハードウェアのうち、スイッチ及びトランクを含むことができる。電気通信用のソフトウェア及びプロトコルの非限定的な例は、電話コール、回路、及びシグナリングをホスト、ルーティング、又は管理するのに使用される他の追加的又は代替のソフトウェア及びプロトコルのうち、ＳＳ７、ＳＩＧＴＲＡＮ、ＳＣＴＰ、ＩＳＤＮ、及びＤＮＩＳを含むことができる。電気通信用の構成要素は、とりわけ、キャリア、交換、及びネットワークなどの様々な異なるエンティティに編成されるか又はこれらによって管理することができる。

【0026】

発信者デバイス１１４は、発信者が様々な通信チャネルを通じてコールセンターシステム１００のサービスにアクセスするためにオペレーションする何れかの通信デバイス又はコンピュータデバイスとすることができる。例えば、発信者は、電話ネットワークを通じて、又は発信者デバイス１１４によって実行されるソフトウェアアプリケーションを通じてコールセンターシステム１１０に電話をかけることができる。発信者デバイス１１４の非限定的な例としては、固定電話１１４ａ、携帯電話１１４ｂ、コールコンピュータデバイス１１４ｃ、又はエッジデバイス１１４ｄを含むことができる。固定電話１１４ａ及び携帯電話１１４ｂは、電気通信チャネルを介して通信する電気通信指向のデバイス（例えば、電話）である。発信者デバイス１１４は、電気通信指向のデバイス又はチャネルに限定されるものではない。例えば、場合によっては、携帯電話１１４ｂは、コンピュータネットワークチャネル（例えば、インターネット）を介して通信を行うことができる。また、発信者デバイス１１４は、例えば、ボイスオーバーＩＰ（ＶｏＩＰ）電気通信、ＴＣＰ／ＩＰネットワークを介したデータストリーミング、又は他のコンピュータネットワークチャネルを実装する発信者コンピュータデバイス１１４ｃ又はエッジデバイス１１４ｄなどのプロセッサ及び／又はソフトウェアを含む電子デバイスを含むことができる。エッジデバイス１１４ｄは、ネットワーク通信用の何れかのモノのインターネット（ＩｏＴ）デバイス又は他の電子デバイスを含むことができる。エッジデバイス１１４ｄは、ソフトウェアアプリケーションを実行すること及び／又は音声インターフェースオペレーションを実行することができる何れかのスマートデバイスとすることができる。エッジデバイス１１４ｄの非限定的な例としては、音声アシスタントデバイス、自動車、スマート家電及び同様のものを含むことができる。

【0027】

コールセンターシステム１１０は、コールセンターシステム１１０との発信者の連絡に関連する様々なタイプのデータ又はメタデータを取り込んで格納する様々なハードウェア及びソフトウェア構成要素を備える。このデータは、例えば、コール又は発信者の音声のオーディオ記録、及び特定の通信チャネルに採用されるプロトコル及びソフトウェアに関連するメタデータを含むことができる。発信者の音声と共に取り込まれたオーディオ信号は、使用された特定の通信に基づく品質を有する。例えば、固定電話１１４ａからのオーディオ信号は、エッジデバイス１１４ｄからのオーディオ信号のサンプリングレート及び／又は帯域幅と比較して、より低いサンプリングレート及び／又は低い帯域幅を有することになる。

【0028】

コール分析システム１０１及びコールセンターシステム１１０は、様々な企業組織によって管理又は運営される物理的及び論理的に関連するソフトウェア及び電子デバイスを備えたネットワークインフラ１０１，１１０を表している。各ネットワークシステムインフラ１０１，１１０のデバイスは、特定の企業組織の意図するサービスを提供するように構成される。

【0029】

コール分析システム１０１の分析サーバ１０２は、１又は２以上のプロセッサ及びソフトウェアを含み、本明細書に記載される様々な処理及びタスクを実行することができる何れかのコンピュータデバイスとすることができる。分析サーバ１０２は、分析データベース１０４をホストするか、又はこれと通信することができ、１又は２以上のコールセンターシステム１１０から受信したコールデータ（例えば、オーディオ録音、メタデータ）を受信し処理する。図１は単一の分析サーバ１０２のみを示すが、分析サーバ１０２は、あらゆる数のコンピュータデバイスを含むことができる。場合によっては、分析サーバ１０２のコンピュータデバイスは、分析サーバ１０２のプロセス及び利点の全て又はサブパートを実行することができる。分析サーバ１０２は、分散型又はクラウドコンピュータ構成で及び／又は仮想マシン構成でオペレーションするコンピュータデバイスを備えることができる。また、幾つかの実施形態において、分析サーバ１０２の機能は、コールセンターシステム１１０のコンピュータデバイス（例えば、コールセンターサーバ１１１）によって部分的又は全体的に実行できることを理解されたい。

【0030】

分析サーバ１０２は、帯域幅拡張及び話者認識のためのニューラルネットワークレイヤを有する１又は２以上のニューラルネットワークアーキテクチャを含むオーディオ処理ソフトウェアを実行する。場合によっては、ニューラルネットワークアーキテクチャは、とりわけ、オーディオ入力拡張、話者照合又は認証（クロスチャネル話者照合を含む）、及び話者ダイアリゼーションなどの追加のオペレーション又は機能を実行することができる。説明を容易にするために、分析サーバ１０２は、帯域幅拡張器及び埋め込み抽出器を有する単一のニューラルネットワークアーキテクチャを実行するものとして説明されるが、幾つかの実施形態では、複数のニューラルネットワークアーキテクチャを採用することができる。

【0031】

ニューラルネットワークアーキテクチャは、トレーニングフェーズ、登録フェーズ、及び展開フェーズ（テストフェーズ又はテストと呼ばれることもある）を含む、複数のオペレーションフェーズで論理的にオペレーションするが、幾つかの実施形態では登録フェーズを実行する必要はない。分析サーバ１０２及びニューラルネットワークアーキテクチャによって処理される入力されたオーディオ信号は、トレーニングオーディオ信号、登録オーディオ信号、及び展開フェーズ中に処理されるインバウンドオーディオ信号を含む。分析サーバ１０２は、対応するオペレーションフェーズの間、入力されたオーディオ信号の各タイプにニューラルネットワークアーキテクチャを適用する。

【0032】

分析サーバ１０２又はシステム１００の他のコンピュータデバイス（例えば、コールセンターサーバ１１１）は、入力オーディオ信号に対して様々な前処理オペレーション及び／又はデータ拡張オペレーションを行うことができる。入力されたオーディオ信号に対する前処理オペレーションの非限定的な例は、他の潜在的な前処理オペレーションのなかでも、帯域幅拡張の実行、ダウンサンプリング又はアップサンプリング、低レベル特徴の抽出、オーディオ信号を解析してフレーム又はセグメントへのセグメント化、及び１又は２以上の変換関数（例えば、ＦＦＴ、ＳＦＴ）の実行を含む。拡張オペレーションの非限定的な例は、とりわけ、帯域幅拡張の実行、ダウンサンプリング又はアップサンプリング、オーディオクリッピング、ノイズ拡張、周波数拡張、及び持続時間拡張を含む。分析サーバ１０２は、入力オーディオ信号をニューラルネットワークアーキテクチャの入力レイヤに供給する前に、前処理又はデータ拡張オペレーションを実行することができる。加えて又は代替的に、分析サーバ１０２は、ニューラルネットワークアーキテクチャを実行する際に、前処理又はデータ拡張オペレーションを実行することができ、ここでニューラルネットワークアーキテクチャの入力レイヤ（又は他のレイヤ）が前処理又はデータ拡張オペレーションを実行する。例えば、ニューラルネットワークアーキテクチャは、ニューラルネットワークアーキテクチャに供給される入力オーディオ信号に対してデータ拡張オペレーションを実行するネットワーク内データ拡張レイヤを含むことができる。

【0033】

トレーニングフェーズにおいて、分析サーバ１０２は、分析データベース１０４又は他の記憶媒体に格納することができる１又は２以上のコーパスから、様々な長さ及び特性（例えば、帯域幅、サンプルレート、劣化のタイプ）のトレーニングオーディオ信号を受信する。トレーニングオーディオ信号は、クリーンオーディオ信号（サンプルと呼ばれることもある）及びシミュレーションオーディオ信号を含み、その各々を、分析サーバ１０２がニューラルネットワークアーキテクチャの様々なレイヤをトレーニングするのに使用する。クリーンオーディオ信号は、スピーチ及び特徴が分析サーバ１０２によって識別可能であるスピーチを含むオーディオサンプルである。

【0034】

分析サーバ１０２は、より多くの分析データベース１０４からシミュレーションオーディオ信号を検索し、及び／又は様々なデータ拡張オペレーションを実行することによってシミュレーションオーディオ信号を生成することができる。場合によっては、データ拡張オペレーションは、所与の入力オーディオ信号（例えば、トレーニング信号、登録信号）に対するシミュレーションオーディオ信号を生成することができ、ここで、シミュレーションオーディオ信号は、入力オーディオ信号に対する特定のタイプの信号劣化又は歪みの影響を模倣する入力オーディオ信号の操作された特徴を含む。分析サーバ１０２は、ニューラルネットワークアーキテクチャの将来の参照又はオペレーションのために、分析サーバ１０２及び／又は分析データベース１０４の非一時的媒体にトレーニングオーディオ信号を格納する。

【0035】

帯域幅拡張器の登録のトレーニング又は開発のために、トレーニングオーディオ信号又は登録オーディオ信号は、システム１００の潜在的な通信チャネルに関連する様々な帯域幅を有する。このようにして、帯域幅拡張器のレイヤは、通信チャネルによって使用される様々な帯域幅を有するトレーニングオーディオ入力オーディオ信号に対して、推定広帯域オーディオ信号を生成するように調整される。

【0036】

幾つかの実施構成において、分析サーバ１０２は、トレーニング／登録オーディオ信号が同じ帯域幅を有すること、又は何れかの特定の帯域幅のトレーニング／登録オーディオ信号が少なすぎる（閾値を下回る）ことを決定する。このような実施構成において、分析サーバ１０２は、１又は２以上の拡張処理を実行して、様々な帯域幅を有するシミュレーショントレーニング／登録信号を生成し、これによって、帯域幅拡張器を調整するためのトレーニング／登録信号の量を増加させる。例えば、分析サーバ１０２は、シミュレーションオーディオ信号を生成するためにコーデックプログラムを実行し、これによって、分析サーバ１０２は、広帯域（例えば、１６ｋＨｚ）トレーニングオーディオファイルをコーデックプログラムに渡し、対応する狭帯域（例えば、８ｋＨｚ）のシミュレーションオーディオファイルを生成する。

【0037】

トレーニングフェーズ、及び幾つかの実施構成では登録フェーズの間、１又は２以上の全結合及び／又はフィードフォワードレイヤは、トレーニングオーディオ信号に対する予測された推定広帯域信号を生成し出力する。損失レイヤは、トレーニング／登録信号に関連するラベルによって示されるように、推定広帯域信号と予想広帯域信号の特徴間の距離を評価するために、様々な損失関数を実行する。損失レイヤ又は分析サーバ１０２によって実行される他の関数は、予測された推定広帯域信号と期待される推定広帯域信号との間の距離が閾値を満たすまで、ニューラルネットワークアーキテクチャのハイパーパラメータを調整する。

【0038】

登録オペレーションフェーズの間、コールセンターシステム１１０のエンド消費者のような登録者話者は、登録者スピーチの例を含む複数の登録者オーディオ信号を（コール分析システム１０１に）提供する。一例として、登録者は、電話チャネルを介してコールセンターサーバ１１１によって実行されるＩＶＲソフトウェアの様々な双方向音声応答（ＩＶＲ）プロンプトに応答することができる。別の例として、登録者は、コールセンターサーバ１１１によって生成され、対応するデータ通信チャネルを介してエッジデバイス１１４ｄのソフトウェアアプリケーションと交換される様々なプロンプトに応答することができる。コールセンターサーバ１１１は、次に、真正の登録オーディオ信号を含む記録された応答を分析サーバ１０２に転送する。分析サーバ１０２は、トレーニングされたニューラルネットワークアーキテクチャを登録者音声サンプルの各々に適用し、対応する登録者特徴ベクトル（「登録者埋め込み」と呼ばれることもある）を生成するが、分析サーバ１０２は、ニューラルネットワークアーキテクチャをトレーニングするために採用されたレイヤなどの特定のレイヤを無効にする。分析サーバ１０２は、平均を生成するか、さもなければアルゴリズム的に登録者特徴ベクトルを結合し、登録者特徴ベクトルを分析データベース１０４又はコールセンターデータベース１１２に格納する。任意選択的に、エッジデバイスは、トレーニングされたニューラルネットワークアーキテクチャを登録者音声サンプルの各々に局所的に（オンデバイスで）適用することによって登録者特徴ベクトルを生成し、次いで、登録者特徴ベクトルをコールセンターサービス１１１又は分析サーバ１０２に送信する。

【0039】

話者照合ニューラルネットワークのトレーニング及び登録フェーズの同様の詳細は、米国特許出願第１７／０６６，２１０号及び第１７／０７９，０８２号に記載されており、これらは引用により本明細書に組み込まれる。加えて、本明細書に記載のニューラルネットワークアーキテクチャは、話者照合ニューラルネットワークのレイヤを更に含むことができ、話者照合ニューラルネットワークのレイヤは、帯域幅拡張器ニューラルネットワークのレイヤと連動して実行される。幾つかの実施形態では、話者照合ニューラルネットワークは、帯域幅拡張器によって出力された推定広帯域オーディオ信号を受信する。加えて、又は代替的に、話者照合は、帯域幅拡張器をデータ拡張オペレーションとしてオーディオ信号に適用することができる。

【0040】

トレーニングフェーズの後、分析サーバ１０２は、ニューラルネットワークアーキテクチャを分析データベース１０４又はコールセンターデータベース１１２に格納する。コールセンターサーバ１１１、エージェントデバイス１１６、管理者デバイス１０３、又はユーザデバイス１１４が、登録者オーディオ信号の特徴を抽出するため、又は登録者オーディオ信号に対するニューラルネットワークアーキテクチャのチューニングのため、登録フェーズに入るように分析サーバ１０２に命令すると、分析サーバ１０２は、データベース１０４、１１２からトレーニングされたニューラルネットワークアーキテクチャを検索する。次いで、分析サーバ１０２は、展開フェーズのために、抽出された登録者埋め込み及びトレーニングされたニューラルネットワークアーキテクチャをデータベース１０４，１１２に格納する。

【0041】

展開フェーズの間、分析サーバ１０２は、特定の通信チャネルを介してインバウンド発信者の発信者デバイス１１４から発信されたようなインバウンドコールのインバウンドオーディオ信号を受信する。分析サーバ１０２は、インバウンドオーディオ信号にニューラルネットワークアーキテクチャを適用して、インバウンドオーディオから特徴を抽出し、発信者が、コールセンターシステム１１０又は分析システム１０１に登録されている登録者であるか否かを決定する。場合によっては、分析サーバ１０２は、インバウンドオーディオ信号の帯域幅を評価し、インバウンドオーディオ信号に帯域幅拡張器を適用するか否かを決定する。分析サーバ１０２が、インバウンドオーディオ信号が狭い帯域幅を有すると決定した場合、分析サーバ１０２は、帯域幅拡張器を狭帯域インバウンド信号に適用する。逆に、分析サーバ１０２が、インバウンドオーディオ信号が広帯域を有すると決定したときには、分析サーバ１０２は、広帯域インバウンド信号に帯域幅拡張器を適用する必要はない。展開中、分析サーバ１０２は、入力レイヤ（例えば、前処理レイヤ、拡張レイヤ）、帯域幅拡張レイヤ、及び埋め込み抽出レイヤなどのニューラルネットワークアーキテクチャのオペレーションレイヤをインバウンドオーディオ信号に適用する。幾つかの実施形態では、分析サーバ１０２は、トレーニング又は登録のために採用される特定のレイヤ（例えば、分類レイヤ、損失レイヤ）を無効化することができる。

【0042】

分析サーバ１０２は、ニューラルネットワークアーキテクチャをインバウンド信号に適用することによって、インバウンドオーディオ信号の推定広帯域信号を生成する。展開フェーズの後、分析サーバ１０２（又はシステム１００の別のデバイス）は、推定広帯域信号を採用して、あらゆる数の様々なダウンストリームオペレーションを実行することができる。例えば、ニューラルネットワークアーキテクチャによって生成される推定広帯域信号は、多くの場合、１又は２以上のタイプの劣化が比較的少ないインバウンドオーディオ信号の拡張バージョンである。比較的狭い帯域幅（例えば、８ｋＨｚ）を有するインバウンドオーディオ信号は、一般的に低品質を有し、バックグラウンドノイズなどの特定の劣化を含む可能性がある。ニューラルネットワークアーキテクチャは、比較的広い帯域幅（例えば、１６ｋＨｚ）を有する推定広帯域信号を生成するだけでなく、ニューラルネットワークアーキテクチャをトレーニングし開発する際に採用される様々なデータ拡張オペレーションに起因して、推定広帯域信号もまたノイズ除去されることになる。ダウンストリームアプリケーションは、データストリーミングサービスとすることができ、これによって、分析サーバ１０２は、推定広帯域信号をあらゆる数のデバイス（例えば、コールセンターサーバ１１１、発信者デバイス１１４）に転送又はストリーミングする。

【0043】

ダウンストリームアプリケーションの別の例として、分析サーバ１０２は、推定広帯域信号を話者照合ニューラルネットワークに供給することができる。話者照合ニューラルネットワークは、推定広帯域信号から埋め込みを抽出して、インバウンド話者を認識するための様々な処理を実行することができ、或いは、話者照合ニューラルネットワークの出力を使用してあらゆる数の追加のダウンストリームオペレーション（例えば、話者認証、話者ダイアリゼーション）を実行することができる。

【0044】

分析データベース１０４及び／又はコールセンターデータベース１１２は、１又は２以上のネットワークを介して分析サーバ１０２にアクセス可能なトレーニングオーディオ信号のあらゆる数のコーパスを含むことができる。幾つかの実施形態では、分析サーバ１０２は、ニューラルネットワークをトレーニングするために教師ありトレーニングを採用し、ここで、分析データベース１０４は、例えば、トレーニング信号の特性（例えば、帯域幅）又は特徴を示すトレーニングオーディオ信号に関連するラベルを含む。また、分析サーバ１０２は、外部データベース（図示せず）に照会して、トレーニングオーディオ信号のサードパーティコーパスにアクセスすることができる。管理者は、特定の帯域幅又は他の特性を有するトレーニングオーディオ信号を選択するように、分析サーバ１０２を構成することができる。

【0045】

コールセンターシステム１１０のコールセンターサーバ１１１は、コールキューを管理し、及び／又は様々なチャネルを通じてコールセンターシステム１１０になされたコールをルーティングするためのソフトウェアプロセスを実行し、ここで、プロセスは、例えば、インバウンドコール中に送出されたインバウンド発信者のコメント、命令、ＩＶＲ入力、又は他の入力に基づいて適切なコールセンターエージェントデバイス１１６にコールをルーティングすることを含むことができる。コールセンターサーバ１１１は、コール、発信者、及び／又は発信者デバイス１１４に関する様々な種類の情報を取り込み、照会又は生成し、情報をエージェントデバイス１１６に転送し、ここでエージェントデバイス１１６のグラフィカルユーザインターフェース（ＧＵＩ）が、コールセンターのエージェントに情報を表示することができる。コールセンターサーバ１１１はまた、インバウンドオーディオ信号及び他の何れかのオーディオデータに対して様々な分析処理を事前に実行するために、インバウンドコールに関する情報をコール分析システム１０１に送信する。コールセンターサーバ１１１は、予め設定されたトリガ条件（例えば、インバウンド電話コールの受信）、システム１００の別のデバイス（例えば、エージェントデバイス１１６、管理者デバイス１０３、分析サーバ１０２）から受信した命令又はクエリに基づいて、或いは定期的間隔又は予め定められた時間に送信されるバッチの一部として情報及びオーディオデータを送信することができる。

【0046】

コール分析システム１０１の管理者デバイス１０３は、コール分析システム１０１の要員が様々な管理タスク又はユーザが促した分析オペレーションを実行することを可能にするコンピュータデバイスである。管理者デバイス１０３は、プロセッサ及びソフトウェアを備えた、本明細書に記載された様々なタスク及びプロセスを実行することができる何れかのコンピュータデバイスとすることができる。管理者デバイス１０３の非限定的な例としては、サーバ、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ及び同様のものを含むことができる。オペレーションにおいて、ユーザは、管理者デバイス１０３を採用して、コール分析システム１０１又はコールセンターシステム１１０の様々な構成要素のオペレーションを構成し、当該構成要素に対してクエリ及び命令を送出する。

【0047】

コールセンターシステム１１０のエージェントデバイス１１６は、コールセンターシステム１１０のエージェント又は他のユーザが、コールセンターシステム１１０のデバイスのオペレーションを構成することを可能にすることができる。コールセンターシステム１１０になされたコールについて、エージェントデバイス１１６は、コールセンターサーバ１１１からルーティングされたコールに関連する関連情報の一部又は全部を受信し、表示する。

【0048】

処理例
帯域幅拡張トレーニング
図２は、帯域幅拡張のための１又は２以上のニューラルネットワークを実装するための方法２００のステップを示す。実施形態は、方法２００に記載されたオペレーションよりも追加された、より少ない、又は異なるオペレーションを含むことができる。方法２００は、ニューラルネットワークアーキテクチャの機械可読ソフトウェアコードを実行するサーバによって実行されるが、様々なオペレーションは、１又は２以上のコンピュータデバイス及び／又はプロセッサによって実行できることは理解されるべきである。

【0049】

ステップ２０２において、サーバは、ニューラルネットワークをトレーニングオペレーションフェーズにし、サーバは、何れかの数（場合によっては、数千又は数十万）のトレーニングオーディオ信号を取得し、これは、狭帯域トレーニング信号、広帯域トレーニング信号、シミュレーション狭帯域信号、及びシミュレーション広帯域信号の何れかの組み合わせを含むことが可能である。

【0050】

ニューラルネットワークアーキテクチャのサーバ又はレイヤは、入力オーディオ信号（例えば、トレーニングオーディオ信号、登録オーディオ信号、インバウンドオーディオ信号）に対して様々な前処理オペレーションを実行することができる。これらの前処理オペレーションは、例えば、オーディオ信号から低レベルの特徴を抽出するステップと、ＦＦＴ及び／又はＳＦＴオペレーションを行うことによってこれらの特徴を時間領域表現から周波数領域表現に変換するステップとを含むことができる。前処理オペレーションはまた、オーディオ信号をフレーム又はサブフレームに解析するステップと、様々な正規化又はスケーリングオペレーションを実行するステップとを含むことができる。任意選択的に、サーバは、オーディオデータをニューラルネットワークの入力レイヤに供給する前に、あらゆる数の前処理オペレーションを実行する。サーバは、オペレーションフェーズの１又は２以上において様々な前処理オペレーションを実行することができるが、実行される特定の前処理オペレーションは、オペレーションフェーズにわたって異なることができる。サーバは、ニューラルネットワークアーキテクチャとは別に、又はニューラルネットワークアーキテクチャのネットワーク内レイヤとして様々な前処理オペレーションを実行することができる。

【0051】

サーバ又はニューラルネットワークアーキテクチャのレイヤは、入力オーディオ信号（例えば、トレーニングオーディオ信号、登録オーディオ信号）に対して様々な拡張オペレーションを実行することができる。拡張オペレーションは、入力オーディオ信号に対して様々なタイプの歪み又は劣化を生成し、結果として得られるオーディオ信号が、例えば畳み込みオペレーションによって取り込まれるようになる。サーバは、ニューラルネットワークアーキテクチャとは別のオペレーションとして、又はネットワーク内拡張レイヤとして様々な拡張オペレーションを実行することができる。更に、サーバは、オペレーションフェーズの１又は２以上において様々な拡張オペレーションを実行することができるが、実行される特定の拡張オペレーションは、オペレーションフェーズのそれぞれにおいて異なることができる。

【0052】

場合によっては、サーバは、狭帯域トレーニング信号及び／又は広帯域トレーニング信号のコーパスに対して様々な拡張オペレーションを実行するときに、シミュレーション狭帯域信号及び／又はシミュレーション広帯域信号を生成する。例えば、サーバは、データベースから広帯域トレーニングオーディオ信号を受信し、広帯域トレーニング信号に対応するシミュレーション狭帯域オーディオ信号を生成することができる。サーバは、広帯域トレーニングオーディオ信号に対して１又は２以上の既知のダウンサンプリング技術を実行することによって、広帯域トレーニング信号をダウンサンプリングする。更に、又は代替的に、サーバは、広帯域トレーニング信号に対してコーデックプログラムを実行し、これによって、対応するシミュレーション狭帯域オーディオ信号を生成する。

【0053】

任意選択の実施形態では、サーバは、狭帯域トレーニングオーディオ信号を選択し、狭帯域トレーニング信号に対応するシミュレーション広帯域オーディオ信号を生成することができる。サーバは、狭帯域トレーニング信号に対して１又は２以上の既知のアップサンプリング技術を実行することによって、狭帯域トレーニングオーディオ信号をアップサンプリングする。更に、又は代替的に、サーバは、狭帯域トレーニング信号に対してコーデックプログラムを実行し、これによって、対応するシミュレーション広帯域信号を生成する。

【0054】

ステップ２０４において、サーバは、トレーニングオーディオ信号にニューラルネットワークアーキテクチャを適用することによって、帯域幅拡張のためのニューラルネットワークアーキテクチャをトレーニングする。サーバは、帯域幅拡張器のレイヤと１又は２以上の追加のレイヤ（例えば、全結合レイヤ）をトレーニングするために、トレーニングオーディオ信号の各々にニューラルネットワークを適用し、これによって、与えられた受信狭帯域信号に対する推定広帯域信号（「推定インバウンドオーディオ信号」と呼ばれることもある）を生成するためにニューラルネットワーク・アーキテクチャをトレーニングする。

【0055】

ステップ２０６において、サーバは、損失関数を実行し、帯域幅拡張器のハイパーパラメータを更新する。ニューラルネットワークアーキテクチャは、トレーニング信号に関連付けられた話者ラベルを用いてエラーのレベルを評価するための１又は２以上の損失レイヤを備える。トレーニング信号は、例えば、予測された推定広帯域信号に対応する期待される推定広帯域信号の値又は特徴を示す様々な情報を含む。損失レイヤは、予測された（出力された）推定信号と期待される推定信号との間の差異又は類似性（例えば、エラーのレベル）に基づいて、様々な損失関数（例えば、平均二乗エラー損失関数）を実行することができる。ニューラルネットワークアーキテクチャの損失レイヤは、エラーの閾値レベルが満たされるまで、エラーのレベルを改善するために帯域幅拡張器のハイパーパラメータを調整することができる。

【0056】

トレーニングが完了すると、サーバは、ハイパーパラメータをサーバのメモリ又は他のメモリロケーションに格納する。また、サーバは、ハイパーパラメータを固定したままにするために、ニューラルネットワークの１又は２以上のレイヤを無効化することができる。

【0057】

ステップ２０８において、展開中に、サーバは、狭帯域通信チャネルを介して、インバウンド話者から狭帯域インバウンドオーディオ信号を受信する。ニューラルネットワークアーキテクチャは、帯域幅拡張ニューラルネットワークのためにインバウンドオーディオを準備するために、インバウンドオーディオ信号に対してあらゆる数の前処理及び／又はデータ拡張オペレーションを適用する。前述のように、前処理オペレーションは、オーディオ信号をフレーム又はサブフレームに解析するステップと、生のオーディオ信号をスペクトルエネルギー／周波数表現に変換するステップと、スペクトル－時間的特徴を抽出するステップと、様々な正規化又はスケーリングオペレーションを実行するステップとを含むことができる。その後、オーディオ信号の特徴は、帯域幅拡張ニューラルネットワークレイヤに供給される。

【0058】

ステップ２１０において、サーバは、インバウンドオーディオを取り込み、インバウンドオーディオ信号に帯域幅拡張ニューラルネットワークレイヤを適用することによって、入力オーディオ信号に対する推定広帯域信号を生成する。帯域幅拡張ニューラルネットワークのトレーニングされた畳み込みレイヤ及び全結合レイヤは、狭帯域インバウンド信号から抽出された特徴に基づいて、推定広帯域信号を生成する。その後、出力された推定広帯域信号は、話者照合ニューラルネットワークなどのあらゆる数のダウンストリーム関数に供給することができる。

【0059】

話者照合及び帯域幅拡張
図３は、話者照合のためのニューラルネットワークアーキテクチャを実装するための方法３００のステップを示す（埋め込み抽出器と呼ばれることもある）。実施形態は、方法３００に記載されたオペレーションよりも追加された、より少ない、又は異なるオペレーションを含むことができる。方法３００は、ニューラルネットワークアーキテクチャの機械可読ソフトウェアコードを実行するサーバによって実行されるが、様々なオペレーションは、１又は２以上のコンピュータデバイス及び／又はプロセッサによって実行することができることは、理解されたい。

【0060】

サーバは、話者照合ニューラルネットワークに恩恵を与えて改善する帯域幅拡張ニューラルネットワーク（帯域幅拡張器と呼ばれることもある）を採用する。議論を容易にするために、図３のニューラルネットワークアーキテクチャは、帯域幅拡張ニューラルネットワーク及び話者照合ニューラルネットワークのレイヤを備えるが、帯域幅拡張ニューラルネットワーク及び話者照合ニューラルネットワークは、別個のニューラルネットワークアーキテクチャの構成要素とすることができる。

【0061】

ステップ３０２において、サーバは、ニューラルネットワークアーキテクチャをトレーニングオペレーションフェーズにし、トレーニング信号を取得し、このトレーニング信号は、クリーンオーディオ信号及びシミュレーションオーディオ信号を含むことができる。サーバは、データベース又は帯域幅拡張器の出力などの様々なデータソースからトレーニングオーディオ信号を受信する。サーバはまた、様々なデータ拡張オペレーションを実行することによって、シミュレーションオーディオ信号を生成することができる。

【0062】

前述のように、ニューラルネットワークアーキテクチャのサーバ又はレイヤは、入力オーディオ信号（例えば、トレーニングオーディオ信号、登録オーディオ信号、インバウンドオーディオ信号）に対して様々な前処理オペレーションを実行することができる。加えて、又は代替的に、ニューラルネットワークアーキテクチャのサーバ又はレイヤは、入力オーディオ信号（例えば、トレーニングオーディオ信号、登録オーディオ信号）に対して様々な拡張オペレーションを実行することができる。

【0063】

サーバは、クリーンオーディオ信号とシミュレーションオーディオ信号の何れかの組み合わせを含む、トレーニングオーディオ信号のコーパスを含むデータベースからトレーニングオーディオ信号を受信することができる。シミュレーションオーディオ信号は、例えば、サーバが、クリーンオーディオ信号に対応する更なるシミュレーションオーディオ信号を生成するために、特定のデータ拡張オペレーションのためにクリーンオーディオ信号に対して採用し適用する様々な事前記録されたオーディオ信号を含むことができる。

【0064】

例えば、特定のシミュレーションオーディオ信号は、一般的な付加的なバックグラウンドノイズの録音を含むことができる。サーバは、これらのノイズの録音をクリーンオーディオ信号に適用する付加的ノイズ拡張オペレーションを実行し、これによって、付加的ノイズと元のクリーンオーディオ信号とを有する更なるシミュレーションオーディオ信号を生成する。別の例として、データ拡張処理は、帯域幅拡張器をトレーニングオーディオ信号に適用して、対応する推定広帯域信号を生成し、これをシミュレートオーディオ信号に追加するステップを含むことができる。

【0065】

ステップ３０４において、サーバは、ニューラルネットワークアーキテクチャをトレーニングオーディオサンプルに適用することによって、話者照合のためのニューラルネットワークアーキテクチャをトレーニングする。サーバは、ニューラルネットワークをトレーニング信号に適用して、例えばオーディオのスピーチ部分を識別するための分類器レイヤをトレーニングする。全結合レイヤ又は分類レイヤは、トレーニング信号に関する情報を含むラベルを使用して、ニューラルネットワークの埋め込み抽出器によって生成されたトレーニング特徴ベクトル（「トレーニング埋め込み」と呼ばれることもある）のエラーのレベルを決定する。サーバは、各トレーニングオーディオ信号をニューラルネットワークアーキテクチャに供給し、ニューラルネットワークアーキテクチャは、ニューラルネットワークアーキテクチャの現在の状態をトレーニングオーディオ信号に適用して、予測出力を生成するのに使用する。ニューラルネットワークアーキテクチャの分類器レイヤ又は他の損失レイヤは、トレーニング特徴ベクトルが予想特徴ベクトルに収束するまで、ニューラルネットワークのハイパーパラメータを調整し、ラベルは、予想特徴ベクトルのための情報又は値を含む。トレーニングが完了すると、サーバはハイパーパラメータをサーバのメモリ又は他のメモリロケーションに格納する。また、サーバは、ハイパーパラメータを固定状態に保つために、ニューラルネットワークの１又は２以上のレイヤを無効にすることができる。

【0066】

ステップ３０６において、サーバは、１又は２以上の登録者オーディオ信号に対してトレーニングされたニューラルネットワークを適用することによって、１又は２以上の登録者埋め込み（登録者声紋と呼ばれることもある）を抽出する。ニューラルネットワークアーキテクチャは、各登録者オーディオ信号について登録者特徴ベクトルを抽出する。ニューラルネットワークアーキテクチャの統計レイヤは、様々な統計的及びアルゴリズム的な組み合わせ関数を実行して、登録者特徴ベクトルを組み合わせ、これによって登録者声紋を生成することができる。

【0067】

場合によっては、トレーニングされたニューラルネットワークアーキテクチャを登録者オーディオ信号に適用する前に、サーバは、登録者オーディオ信号に対して１又は２以上のデータ拡張オペレーションを行うことによって１又は２以上のシミュレーション登録者オーディオ信号を生成する。例えば、サーバは、特定の帯域幅を有する登録者オーディオ信号が少なすぎると決定することができる。サーバは、トレーニングされた帯域幅拡張器を登録者オーディオ信号に適用して、対応する登録者オーディオ信号に対してより高い帯域幅を有するシミュレーション推定登録者信号を生成することができる。更に、又は代替的に、サーバは、ダウンサンプリング技術を実行するか、又はコーデックプログラムを実行して、対応する登録者オーディオ信号に対してより低い帯域幅を有するシミュレーション登録者信号を生成することができる。登録者信号及びシミュレーション登録者信号は、登録者声紋を抽出するために埋め込み抽出レイヤに供給される。

【0068】

別の例として、特定の登録者オーディオ信号は、一般的な付加的バックグラウンドノイズの録音を含むことができる。サーバは、これらのノイズの録音をクリーンなオーディオ信号に適用する付加的ノイズ拡張オペレーションを実行し、これによって、付加的ノイズと元のクリーンなオーディオ信号とを有する更なるシミュレーション登録者オーディオ信号が生成される。別の例として、データ拡張処理は、帯域幅拡張器を登録者オーディオ信号に適用して、対応する推定登録者広帯域信号を生成するステップを含むことができ、対応する推定登録者広帯域信号は、シミュレーション登録者オーディオ信号に追加される。

【0069】

ステップ３０８において、サーバは、インバウンドオーディオ信号にニューラルネットワークを適用することによって、類似度スコア（尤度スコアと呼ばれることもある）を決定する。サーバは、展開オペレーションフェーズ（「テスト」と呼ばれることもある）に入り、通常は、分類レイヤを除くニューラルネットワークの各レイヤを有効にする。サーバは、話者から入力オーディオ信号を受信し、入力オーディオ信号をニューラルネットワークアーキテクチャに供給する。場合によっては、ニューラルネットワークのレイヤは、特定の前処理オペレーションの前に、入力オーディオ信号のオーディオデータを時間領域表現から周波数領域表現に変換するためにＦＦＴアルゴリズムを適用するなどを行うことができる。サーバは、インバウンドオーディオ信号に対してあらゆる数の追加的又は代替の前処理及びデータ拡張オペレーションを実行することができる。

【0070】

サーバは、入力オーディオ信号に対してニューラルネットワークを適用し、インバウンド声紋埋め込みを生成する。全結合レイヤは、インバウンド埋め込みと、インバウンド声紋埋め込みと登録者埋め込みとの間の距離を示す類似度スコアとを出力する。サーバは、類似度スコアが閾値を満たす場合、インバウンド話者と登録者とのマッチ（又は可能性のあるマッチ）を識別する。１又は２以上のダウンストリームオペレーション（例えば、話者認証、話者ダイアリゼーション）は、マッチ決定、類似度スコア、及び／又はテスト特徴ベクトルを使用して、所与の機能を実行することができる。

【0071】

例示的なニューラルネットワークアーキテクチャ
帯域幅拡張のための例示的なニューラルネットワークアーキテクチャ
図４は、帯域幅拡張のためのニューラルネットワークアーキテクチャ４００のレイヤを示す。サーバは、ニューラルネットワーク４００の様々なレイヤを実行するための機械可読ソフトウェアプログラミングを備えるが、ニューラルネットワーク４００は、ニューラルネットワーク４００のオペレーションを実行できるソフトウェア及びハードウェア（例えば、プロセッサ）を含む何れかのコンピュータデバイスによって実行することができる。更に、ニューラルネットワークアーキテクチャ４００のレイヤは、あらゆる数のこのようなコンピュータデバイスによって実行することができる。ニューラルネットワーク４００のレイヤは、入力レイヤ４０２、１又は２以上の帯域幅拡張ニューラルネットワークレイヤ（帯域幅拡張器４０４と呼ばれることもある）、及び推定広帯域信号を出力するための１又は２以上の出力レイヤ４０６を含む。オペレーションにおいて、入力レイヤ４０２は、入力オーディオ信号（例えば、トレーニングオーディオ信号、登録オーディオ信号、インバウンドオーディオ信号）を取り込み、入力オーディオ信号を前処理し、及び／又は入力オーディオ信号に対して様々なデータ拡張オペレーションを実行するための様々なオペレーションを実行する。帯域幅拡張器４０４のレイヤと出力レイヤ４０６は、狭帯域入力オーディオ信号に対応する推定広帯域オーディオ信号を生成し、様々な損失関数又は他のオペレーションに従ってニューラルネットワークアーキテクチャ４００のレイヤをトレーニングする。

【0072】

入力レイヤ４０２は、入力オーディオ信号を取り込む、入力オーディオ信号を前処理する、及び／又は入力オーディオ信号に対してデータ拡張オペレーションを行うための１又は２以上のレイヤを備える。入力オーディオ信号は、例えば、生のオーディオファイル又はデータストリーム、又は１又は２以上の前処理オペレーションに従って前処理されたオーディオデータ（例えば、スペクトル表現、スペクトログラム、スペクトログラムの特徴）とすることができる。入力レイヤ４０２は、オーディオ入力（例えば、生のオーディオ入力、スペクトル－時間的特徴）に対して１又は２以上の前処理オペレーションを実行することができる。

【0073】

一例として、ニューラルネットワークアーキテクチャ４００の入力レイヤ４０２は、生のオーディオ入力を取り込み、入力レイヤ４０２は、スペクトル－時間的特徴を抽出し、周波数領域表現を生成する。入力レイヤ４０２は、生のオーディオ入力を取り込み、生のオーディオ入力の特徴を抽出し、抽出された特徴を時間領域表現から周波数領域表現に変換する変換関数（例えば、ＦＦＴ、ＳＦＴ）を実行する。次いで、オーディオ入力は、帯域幅拡張器４０４を定義する機能レイヤに供給される。場合によっては、入力レイヤ４０２は、入力オーディオ信号に対して正規化機能を実行し、入力オーディオ信号の特徴を表す、ｚ正規化狭帯域対数スペクトログラムを取り込み生成し、入力レイヤ４０２が入力オーディオ信号から評価及び抽出を行う。スペクトログラムから抽出された特徴は、ユーザの設定に従ってあらゆる数の次元を有することができる。入力レイヤ４０２は、これらの抽出された特徴を帯域幅拡張器４０４の畳み込みレイヤに転送し、この畳み込みレイヤは、最終的に特徴を平坦化して出力レイヤ４０６に転送する。

【0074】

場合によっては、生のオーディオファイルが、比較的広い帯域幅（例えば、１６ｋＨｚ）を有するように構成された（及びそれを有するオーディオ信号を生成する）通信チャネルを介して発信される場合、入力レイヤ４０２は、生のオーディオファイルに対してダウンサンプリング又はコーデックを実行し、対応するシミュレーション狭帯域オーディオ信号を生成することができる。同様に、場合によっては、入力レイヤ４０２は、アップサンプリング技術を実行するか、又は狭帯域生オーディオファイル上でコーデックを実行して、対応するシミュレーション広帯域オーディオ信号を生成することができる。

【0075】

帯域幅拡張器４０４は、様々な出力レイヤ４０６に結合された畳み込みニューラルネットワーク（ＣＮＮ）又はディープニューラルネットワーク（ＤＮＮ）などの何れかのタイプの何れかの数のニューラルネットワークレイヤを備え、様々な出力レイヤ４０６は、他の潜在的なレイヤのうち、フィードフォワードレイヤ、全結合レイヤ、損失レイヤ、正規化レイヤ又は非正規化レイヤを含むことができる。帯域幅拡張器４０４は、例えば、出力レイヤ４０６の３つのフィードフォワードレイヤに続く１－Ｄ ＣＮＮレイヤを備えることができる。帯域幅拡張器４０４のＣＮＮレイヤは、入力オーディオ信号の予想される特徴に従って、複数のフィルタ及びカーネルサイズを適用する（例えば、６４フィルタ、カーネルサイズ５）。フィードフォワードレイヤは、同様に、オーディオ信号によって必要とされる各レイヤの複数のノードを備える（例えば、フィードフォワードレイヤあたり１０２４ノード）。

【0076】

トレーニングオペレーションフェーズにおいて、帯域幅拡張器４０４は、予測された推定広帯域信号を生成する。例えば、サーバは、帯域幅拡張器４０４のレイヤをトレーニング狭帯域信号に適用して、２５７次元の広帯域ｚ正規化対数スペクトルを予測する。出力レイヤ４０６は、ニューラルネットワークアーキテクチャ４００の他のレイヤのうち、帯域幅拡張器４０４をトレーニング、チューニング、又は開発するための様々な機能を実行するレイヤを含む。出力レイヤ４０６は、例えば、予測された推定広帯域信号の特徴と、特定の入力オーディオ信号に関連付けられたラベルによって示される、期待される（又は実際の）広帯域信号の特徴との間の距離を決定する平均二乗エラー損失関数を実行することによって帯域幅拡張器４０４をトレーニングする。出力レイヤ４０６は、これらの距離に基づいて出力レイヤ４０６をトレーニング又は調整するために、あらゆる数の追加又は代替のオペレーションを実行することができる。

【0077】

展開オペレーションフェーズにおいて、入力レイヤ４０２は、インバウンドオーディオ信号を受信し、これは、生のオーディオ信号をスペクトル表現に変換すること、オーディオ信号の特徴を抽出すること、及び様々な追加的又は代替のオペレーションを含むことができる。例えば、入力レイヤ４０２は、コーデック歪み狭帯域インバウンドオーディオ信号（例えば、生のオーディオを含むコンピュータファイル又はデータストリーム）のアップサンプリングを実行することができる。入力レイヤ４０２は、対応する帯域幅拡張スペクトルを抽出するために、特徴の一部又は全部（例えば、インバウンドスペクトログラムの下半分の特徴のみ）を帯域幅拡張器４０４に転送することができる。帯域幅拡張器４０４の畳み込みレイヤは、入力レイヤ入力レイヤ４０２から受け取った受信スペクトログラムの特徴に基づいて推定広帯域信号（例えば、２５７次元スペクトログラム）を生成し、推定広帯域スペクトログラムの特徴を平坦化する。

【0078】

出力レイヤ４０６は、帯域幅拡張器４０４によって生成された推定広帯域次元スペクトログラムの特徴に対して様々なオペレーションを実行する。例えば、出力レイヤ４０６は、帯域幅拡張器４０４によって生成された推定広帯域信号を非正規化するために、入力狭帯域信号の特徴の様々な対数スペクトル平均及び／又は分散統計値を計算する様々な統計レイヤを含むことができる。出力レイヤ４０６は、他の潜在的オペレーションのうち、例えば、入力オーディオ信号のスペクトルで推定広帯域信号を正規化又は非正規化し、及び／又はチューニング／展開のための様々な統計又は分散を計算するあらゆる数の追加又は代替オペレーションを実行することができる。

【0079】

出力レイヤ４０６は、帯域幅拡張器４０４によって生成された推定広帯域信号の特徴を更に抽出することができる。最終的に、推定広帯域信号の特徴は、トレーニング目的のために使用することができ、或いは、あらゆる数のダウンストリームアプリケーションに提供することができる。幾つかの実施形態では、例えば、推定広帯域信号の特徴は、話者照合及び認証オペレーションのための埋め込み抽出器ニューラルネットワークによって入力として取り込まれる。

【0080】

話者認識のための例示的なニューラルネットワークアーキテクチャ
図５は、話者認識のためのニューラルネットワーク・アーキテクチャ５００のレイヤを示す。ニューラルネットワーク５００は、入力オーディオ信号のオーディオデータを取り込んで処理するエンドツーエンドシステムである。幾つかの実施形態では、ニューラルネットワーク５００は、様々なオペレーションフェーズ（例えば、トレーニングフェーズ、登録フェーズ、展開フェーズ）中に取り込まれたオーディオデータに対してデータ拡張技術を選択的に適用するネットワーク内拡張レイヤ（図示せず）を含む。このように、図５で言及された入力オーディオ信号は、トレーニングオーディオ信号（例えば、クリーンオーディオ信号、シミュレーションオーディオ信号）、登録オーディオ信号、又はインバウンドオーディオ信号を指すことができる。実施形態は、図５に示されるものから追加の又は代替のオペレーションを含むことができ、又はオペレーションを省略することができ、依然として本開示の範囲内に入る。更に、実施形態は、ニューラルネットワーク５００の構成要素が実行される順序を変えることができる。

【0081】

サーバは、特定のオペレーションフェーズの必要性に基づいて、ユーザ設定に従って、ニューラルネットワークアーキテクチャ５００の特定のレイヤを有効化又は無効化する。例えば、入力レイヤ５０２の拡張レイヤの一部又は全部は、トレーニング又は登録中に有効化され、展開中に無効化することができる。

【0082】

入力レイヤ５０２は、入力オーディオ信号を取り込み、様々な前処理及び／又はデータ拡張データオペレーションを実行するためのあらゆる数のレイヤを備える。レイヤのうちの何れかは、入力オーディオ信号又は入力オーディオ信号の特徴を取り込む際に、前処理技術を実行することができる。これらの前処理技術は、例えば、帯域幅拡張オペレーションを行うこと、オーディオデータを固定フレーム又はサブフレームに解析すること、ＳＦＴアルゴリズムのＦＦＴに従ってオーディオデータを時間領域表現から周波数領域表現に変換すること、及び正規化又はスケーリング関数を実行することを含むことができる。例えば、特定の前処理オペレーションは、多くの場合、変換されたエネルギー値を［－１，１］の範囲を有するスケールに正規化又はスケーリングし、ここで、－１は極低値、１は極高値である。

【0083】

１又は２以上の畳み込みレイヤ５０４は、入力レイヤ入力レイヤ５０２の様々な出力を取り込み、これは、入力オーディオ信号から抽出された特徴を含むことができる。場合によっては、これらの入力オーディオ信号は、入力レイヤ５０２によって実行される様々な前処理及び／又はデータ拡張オペレーションに起因して操作される。場合によっては、畳み込みレイヤ５０４は更に、サーバメモリによって生成された又はデータベースから受信されたトレーニングオーディオ信号又はシミュレーションオーディオ信号などの、他のデータソースからの追加の入力を取り込む。畳み込みレイヤ５０４は、例えば、１－Ｄ畳み込みレイヤ又はＳｉｎｃＮｅｔレイヤを含む。畳み込みレイヤ５０４は、生成された特徴を、あらゆる数の統計レイヤ及び／又は正規化レイヤを含むことができる様々なプーリングレイヤ５０６に出力する。全結合レイヤ５０８は、統計プーリングレイヤ５０６から取り込まれた結果に対して様々な重み付けオペレーションを行い、入力されたオーディオ信号に対する特徴ベクトル（例えば、トレーニング特徴ベクトル、登録特徴ベクトル、トレーニング特徴ベクトル）を生成する。

【0084】

ニューラルネットワークアーキテクチャ５００のためのトレーニングフェーズは、２つのサブフェーズ、すなわち、第１フェーズトレーニングオペレーション５０９及び第２フェーズトレーニングオペレーション５１１を含むことができる。第１フェーズのトレーニングオペレーション５０９について、サーバは、様々なハイパーパラメータを凍結し、及び／又は特定のレイヤ（例えば、第２フェーズのトレーニングオペレーション５１１のレイヤ）を無効化することができる。第１フェーズトレーニングオペレーション５０９の全結合レイヤ５１０は、全結合レイヤ５０８からの出力を取り込み、同様に全結合レイヤ５０８から取り込んだ結果に対して様々な重み付けオペレーションを行い、低次元の特徴ベクトルを生成する。第１フェーズトレーニングオペレーション５０９の損失レイヤ５１２は、ソフトマックス及び／又はクロスエントロピーのオペレーションを行い、幾つかの実施構成において、入力されたオーディオ信号に対応する話者ラベル５１３を参照する。損失レイヤ５１２は、実行される特定の損失関数に基づいて、ニューラルネットワークアーキテクチャ５００のレイヤにおける様々なパラメータを調整することができる。

【0085】

第２フェーズのトレーニングオペレーション５１１について、サーバは、様々なハイパーパラメータをフリーズし、及び／又は特定のレイヤ（例えば、第１フェーズのトレーニングオペレーション５０９のレイヤ）を無効にして、ニューラルネットワークアーキテクチャ５００を介して入力オーディオ信号を再供給することができる。第２フェーズトレーニングオペレーション５１１の全結合レイヤ５１４は、全結合レイヤ５０８から取り込まれた特徴ベクトルに対して様々な重み付けオペレーションを行い、特定の入力されたオーディオ信号に対する別の低次元特徴ベクトルを生成する。第２フェーズトレーニングオペレーション５１１の損失レイヤ５１６は、ラージマージンコサイン損失（ＬＭＣＬ）関数を実行し、これは、幾つかの実施構成において、特定の入力されたオーディオ信号に対応する話者ラベル５１３を参照する。幾つかの実施態様において、損失レイヤ５１６は、ＬＭＣＬに基づいて、ニューラルネットワークアーキテクチャ５００のレイヤにおける様々なパラメータを調整することができる。

【0086】

展開中、全結合レイヤ５１４及び損失レイヤ５１６は、有効化される。全結合レイヤ５１４で生成された特徴ベクトルは、抽出された話者埋め込みとなり、話者照合のために参照される。損失レイヤ５１６のオペレーションは、展開時に受信したインバウンドオーディオ信号について、期待される埋め込み又は登録された埋め込みと抽出された話者埋め込みとの間の距離及び類似度をスコア化するのに使用される。インバウンド話者埋め込みと、期待又は登録埋め込みとの間の類似度スコア又は距離が、閾値の類似度スコア又は距離の範囲内であると損失レイヤ５１６が決定すりと、インバウンドオーディオ信号のインバウンド話者は、期待又は登録者として検証される。

【0087】

帯域幅拡張及び話者認識のためのニューラルネットワーク
図６Ａは、帯域幅拡張及び話者認識のためのニューラルネットワークアーキテクチャ６００のレイヤを示す。ニューラルネットワークアーキテクチャ６００は、様々なオペレーションフェーズ（例えば、トレーニングフェーズ、登録フェーズ、展開フェーズ）中に受信した入力オーディオ信号６０１（例えば、トレーニング信号、登録信号、インバウンド信号）のオーディオデータを取り込み、処理する。ニューラルネットワークアーキテクチャ６００は、話者埋め込み抽出器６０８及び帯域幅拡張器６０５のためのレイヤを備える。図６Ａに関する以下の説明は、混合帯域幅話者埋め込みを生成及び評価するためのトレーニングオペレーションに関するものである。実施形態は、図６Ａに示されるものから追加のオペレーション又は代替のオペレーションを含むことができ、或いはオペレーションを省略することができ、依然として本開示の範囲内に入る。更に、実施形態は、ニューラルネットワーク６００の構成要素が実行される順序を変えることができる。

【0088】

ニューラルネットワークアーキテクチャ６００の入力レイヤ６０２は、入力オーディオ信号６０１を取り込み、前処理オペレーションを実行し、及び／又はデータ拡張オペレーションを実行するためのあらゆる数のニューラルネットワークレイヤを備える。入力レイヤ６０２は、様々な事前構成に従って入力音声６０１が受信されたチャネルに基づいて又は入力音声６０１の特性又は特徴を評価することに基づいて、入力音声６０１の帯域幅を決定する。入力レイヤ６０２は、狭帯域入力オーディオ信号６０１を帯域幅拡張器６０５のレイヤにルーティングし、広帯域入力オーディオ信号６０１を帯域幅拡張器６０５を迂回して埋め込み抽出器６０８のレイヤに直接ルーティングする。

【0089】

帯域幅拡張器６０５のレイヤは、狭帯域オーディオ信号を取り込み、本明細書に記載の様々な処理に従って、推定広帯域信号を生成する。帯域幅拡張器６０５は、埋め込み抽出器６０８のレイヤのために、推定広帯域信号の特徴を出力する。埋め込み抽出器６０８は、入力レイヤ６０２から直接受信した広帯域入力信号６０１又は帯域幅拡張器６０５によって生成された推定広帯域信号とすることができるあらゆる数の広帯域信号を取り込む。埋め込み抽出器６０８は、入力オーディオ信号６０１の話者に対する話者埋め込みを抽出するための種々のオペレーションを行う。

【0090】

全結合レイヤ６１０は、埋め込み抽出器６０８によって生成された特徴ベクトルの次元を縮小し、更に、例えば、様々な統計計算又はプーリングオペレーション、損失関数、及び分類を実行することができる。全結合レイヤ６１０によって実行される様々なオペレーションは、入力オーディオ信号６０１に関連付けられた話者ラベル６１２を参照して、埋め込み抽出器６０８によって生成された埋め込み及び／又は分類におけるエラーの量を決定する。

【0091】

損失レイヤは更に、ニューラルネットワークアーキテクチャ６００のあらゆる数のハイパーパラメータに調節又は調整する様々な損失関数を実行する。損失関数は、帯域幅拡張器６０５によって生成された推定広帯域信号の品質を改善するため、及び／又は埋め込み抽出器６０８及び全結合レイヤ６１０によって抽出された特徴ベクトル及び話者埋め込みを改善するために、帯域幅拡張器６０５、埋め込み抽出器６０８、及び全結合レイヤ６１０のハイパーパラメータを調整することができる。

【0092】

幾つかの実施形態では、サーバは、埋め込み抽出器６０８をトレーニングすることのみを必要とする。このような実施形態では、サーバは、以前に帯域幅拡張器６０５をトレーニングし、帯域幅拡張器６０５のハイパーパラメータを固定した。また、サーバは、帯域幅拡張器６０５をトレーニングするのに使用されるニューラルネットワークアーキテクチャ６００の１又は２以上のレイヤを無効化することができる。埋め込み抽出器６０８及び全結合レイヤ６１０のレイヤは、推定広帯域信号（帯域幅拡張器６０５によって生成される）及び広帯域オーディオ入力６０１（入力レイヤ６０２から直接ルーティング）に対してトレーニングされる。

【0093】

幾つかの実施形態では、サーバは、帯域幅拡張器６０５及び埋め込み抽出器６０８を共同でトレーニングする。入力オーディオ信号６０１は、様々な帯域幅を有することができ、入力レイヤ６０２は、狭帯域入力オーディオ信号６０１を帯域幅拡張器６０５にルーティングする。埋め込み抽出器６０８及び全結合レイヤ６１０は、入力オーディオ信号６０１に対する埋め込みを抽出し、抽出された埋め込みにおけるエラーのレベルを決定する。話者ラベル６１２は、特定の入力オーディオ信号６０１について期待される帯域幅又は帯域幅の種類、期待される埋め込み又は特徴、及び入力オーディオ信号６０１に関する他の様々な情報を示すことができる。ニューラルネットワークアーキテクチャ６００は、帯域幅拡張器６０５及び埋め込み抽出器６０８を介して、エラーレベル又は話者分類エラーをバックプロパゲートし、これは、様々なハイパーパラメータの調整及び入力オーディオ信号６０１へのニューラルネットワークアーキテクチャ６００の再適用を含む。

【0094】

幾つかの実施形態において、サーバは、埋め込み抽出器６０８の出力に基づいて帯域幅拡張器６０５を微調整する。サーバは、埋め込み抽出器６０８を固定し、埋め込み抽出器６０８によって生成された話者分類エラーに従って帯域幅拡張器６０５のパラメータを微調整する。

【0095】

幾つかの実施形態において、サーバは、帯域幅拡張器６０５を微調整することのみを必要とする。このような実施形態では、サーバは、埋め込み抽出器６０８を事前にトレーニングし、埋め込み抽出器６０８のハイパーパラメータを固定した。また、サーバは、埋め込み抽出器６０８のトレーニングに使用されるニューラルネットワークアーキテクチャ６００の１又は２以上のレイヤを無効化することができる。帯域幅拡張器６０５は、トレーニングされた埋め込み抽出器６０８によって取り込まれる推定広帯域信号を生成する。埋め込み抽出器６０８及び全結合レイヤ６１０は、入力オーディオ信号６０１に対する埋め込みを抽出し、抽出された埋め込みにおけるエラーのレベルを決定する。話者ラベル６１２は、期待される埋め込みや特徴を示すものであり、入力オーディオ信号６０１に関する様々な情報を示すものである。帯域幅拡張器６０５は、埋め込み抽出器６０８によって生成されたエラーのレベル又は話者分類エラーに従って微調整される。ニューラルネットワークアーキテクチャ６００は、帯域幅拡張器６０５を介して、エラーのレベル又は話者分類エラーを逆伝播し、これは、帯域幅拡張器６０５のハイパーパラメータの調整と、入力オーディオ信号６０１に対するニューラルネットワークアーキテクチャ６００の再適用とを含む。

【0096】

帯域幅拡張及びデュアル埋め込みのためのニューラルネットワーク
図６Ｂは、帯域幅拡張及び話者認識のためのニューラルネットワークアーキテクチャ６００のレイヤを示し、ニューラルネットワークアーキテクチャ６００は、狭帯域信号及び広帯域信号に最適化されたデュアルエンベディングを抽出及び評価するようにトレーニングされる。これらのオペレーションは、サーバが帯域幅拡張器６０５及び／又は埋め込み抽出器６０８のトレーニングを完了したときに実行される。

【0097】

帯域幅拡張器６０５及び埋め込み抽出器６０８がトレーニングされると（図６Ａに記載）、サーバは、帯域幅拡張器６０５及び埋め込み抽出器６０８のモデル（例えば、ハイパーパラメータ）を固定する。また、サーバは、帯域幅拡張器６０５及び埋め込み抽出器６０８をトレーニングするのに使用される何れかのレイヤを無効化する。このようにして、サーバは、帯域幅拡張器６０５及び埋め込み抽出器６０８を凍結し、全結合レイヤ６１０のみをトレーニングする。

【0098】

トレーニングフェーズにおいて、サーバは、全結合レイヤ６１０を別々に微調整するために、２つのトレーニングサブフェーズを実行することができる。次いで、全結合レイヤ６１０は、狭帯域オーディオに最適化された埋め込み（狭帯域埋め込み６１３）及び広帯域オーディオに最適化された埋め込み（広帯域埋め込み６１５）の２つの異なるタイプの埋め込みを抽出するようにトレーニングされる。ニューラルネットワークアーキテクチャ６００の損失関数は、特定のトレーニングサブフェーズに従って、全結合レイヤ６１０のハイパーパラメータを調整する。幾つかの実施構成において、狭帯域最適化埋め込み６１３を抽出するために全結合レイヤ６１０をトレーニングするとき、入力オーディオ信号は、帯域幅拡張器６０５をバイパスする狭帯域信号を含むことができる。幾つかの実施構成において、全結合レイヤ６１０は、広帯域信号又は推定広帯域信号（帯域幅拡張器６０５によって生成される）のみでトレーニングされる。展開フェーズにおいて、ニューラルネットワークアーキテクチャ６００は、インバウンド入力オーディオ６０１の帯域幅のタイプ（例えば、狭帯域又は広帯域）にかかわらず、両方のタイプの最適化された埋め込み６１３、６１５を抽出する。

【0099】

クロスチャネル登録及び認証オペレーション
図７は、複数のチャネルにわたる話者及び認証のためのニューラルネットワークアーキテクチャ７００のレイヤを示す。ニューラルネットワーク７００は、認証のための登録及び展開オペレーションフェーズ中にサーバによって実行されるものとして説明されるが、ニューラルネットワーク７００は、ニューラルネットワーク７００のオペレーションを実行できるプロセッサを含む何れかのコンピュータデバイスによって、及びあらゆる数のこのようなコンピュータデバイスによって実行することができる。ニューラルネットワーク７００は、オーディオ信号７０２、７１２を取り込み、様々な拡張オペレーションを行うための入力レイヤ７０３、帯域幅拡張器７０４を定めるレイヤ、話者埋め込み７０８、７０９（例えば、声紋）を生成するための埋め込み抽出器７０６を定めるレイヤ、及び距離得点オペレーションなどの様々な得点オペレーションを行い、認証得点７１８又は他の同様の決定を行う１又は２以上の得点化レイヤ７１６を含む。

【0100】

幾つかの実施形態では、ニューラルネットワークアーキテクチャ７００は、狭帯域及び広帯域埋め込みを抽出するための１つの埋め込み抽出器７０６を備える。場合によっては、埋め込み抽出器７０６の特定のレイヤは、狭帯域入力信号又は広帯域入力信号に対して最適化された狭帯域埋め込み及び広帯域埋め込みを生成するためにトレーニングされる。或いは、幾つかの実施形態において、ニューラルネットワークアーキテクチャ７００は、狭帯域埋め込み抽出器７０６ａ及び広帯域埋め込み抽出器７０６ｂを備える。狭帯域埋め込み抽出器７０６ａは、最適化された狭帯域埋め込みを生成するためにトレーニングされたレイヤを含む。同様に、広帯域埋め込み抽出器７０６ｂは、最適化された広帯域埋め込みを生成するためにトレーニングされたレイヤを含む。

【0101】

登録フェーズの間、登録者の話者は、サービスプロバイダのシステムに連絡し、狭帯域に従ってオペレーションする第１のチャネルを介して、幾つかの例示的な登録者オーディオ信号７０２を供給する。例えば、話者は、登録者オーディオ信号７０２として機能する音声応答で様々な質問又はプロンプトに応答し、サービスプロバイダシステムは、ＩＶＲシステムによって又はサービスプロバイダシステムの人間エージェントによって、登録者に質問又はプロンプトを提示する。サーバは、登録者の音声応答を狭帯域登録者オーディオ信号７０２として受信する。サーバは、結果として得られた狭帯域登録者信号７０２をニューラルネットワークアーキテクチャ７００に与え、ニューラルネットワークアーキテクチャ７００は、登録者オーディオ信号７０２に狭帯域埋め込み抽出器７０６ａを適用して、登録者のための狭帯域登録者埋め込み７０８を抽出する。サーバは、狭帯域登録者７０８を、認証中に後で参照するために、データベース又は他の非一時的な記憶媒体に格納する。サーバは、第１チャネル（又は他の狭帯域チャネル）を介して受信された将来のインバウンドオーディオ信号を認証するために、狭帯域登録者７０８を参照する。

【0102】

サーバはまた、狭帯域エンローリーオーディオ信号７０２に基づいて、広帯域エンローリー埋め込み７１１を生成する。ニューラルネットワークアーキテクチャ７００は、登録者オーディオ信号７０２のそれぞれを帯域幅拡張器７０４に送り込み、１又は２以上の対応する推定広帯域登録者信号７０５を生成する。ニューラルネットワークアーキテクチャ７００は、推定広帯域登録者信号７０５を広帯域埋め込み抽出器７０６ｂにフィードし、登録者のための広帯域登録者７１１を抽出する。サーバは、広帯域登録者埋め込み７１１をデータベース又は他の非一時的な記憶媒体に格納する。サーバは、広帯域幅に従ってオペレーションする第２の通信チャネルを介して受信される将来のインバウンドオーディオ信号７１２を認証するために、広帯域登録者埋め込み７１１を参照する。

【0103】

サーバは、オーディオ信号７０２、７１２を入力レイヤ７０３に供給し、ニューラルネットワーク７００の適用を開始する。場合によっては、入力レイヤ７０３は、他の前処理オペレーションのうち、オーディオ信号７０２、７１２をフレーム又はセグメントに解析すること、低レベル特徴を抽出すること、及びオーディオ信号７０２、７１２を時間領域表現から周波数領域（又はエネルギー領域）表現に変換することなど、１又は２以上の前処理オペレーションをオーディオ信号７０２、７１２に対して実行する。

【0104】

登録フェーズの間、入力レイヤ７０３は、登録者のための登録オーディオ信号７０２を受信する。幾つかの実施構成において、入力レイヤ７０３は、例えば、登録オーディオ信号７０２内のオーディオ信号をオペレーションする、低レベル特徴をオペレーションする、又は対応する登録オーディオ信号７０２に基づいて特徴又はオーディオ信号をオペレーションしたシミュレーション登録オーディオ信号７０２を生成するために登録オーディオ信号７０２に対してデータ拡張オペレーションを実行する。

【0105】

展開フェーズの間、入力レイヤ７０３は、埋め込み抽出器７０６又は幾つかの実施構成では広帯域埋め込み抽出器７０６ｂのためのインバウンドオーディオ信号７１２を準備するために、前処理オペレーションを実行することができる。しかしながら、サーバは、埋め込み抽出器７０６が受信したままのインバウンドオーディオ信号７１２の特徴を評価するように、入力レイヤ７０３の前処理及び／又は拡張オペレーションの一部又は全部を無効化することができる。

【0106】

埋め込み抽出器７０６は、スピーチを検出し、埋め込み抽出器７０６は埋め込み７０８、７１１、７０９として出力するオーディオ信号７０２、７１２から抽出された特徴に基づいて、特徴ベクトルを生成するようにトレーニングされた（トレーニングフェーズ中に）ニューラルネットワーク７００の１又は２以上のレイヤを含む。埋め込みフェーズにおいて、埋め込み抽出器７０６は、埋め込みオーディオ信号７０２のそれぞれについて、特徴ベクトルを生成する。次いで、ニューラルネットワーク７００は、様々な統計的又はアルゴリズム的オペレーションを実行して、各特徴ベクトルを結合し、登録者７０８、７１１を抽出する。例えば、ニューラルネットワークアーキテクチャ７００は、狭帯域埋め込み抽出器７０６ａ及び広帯域埋め込み抽出器７０６ｂを含むことができる。狭帯域埋め込み抽出器７０６ａは、狭帯域登録者オーディオ信号７０２のそれぞれに対応する特徴ベクトルを生成し、狭帯域特徴ベクトルの平均を表す狭帯域登録者埋め込み７０８を抽出する。広帯域埋め込み抽出器７０６ｂも同様に、推定された広帯域登録者信号７０５のそれぞれに対応する広帯域特徴ベクトルを生成し、広帯域特徴ベクトルの平均を表す広帯域登録者埋込７１１を抽出する。

【0107】

展開フェーズにおいて、埋め込み抽出器７０６（又は広帯域埋め込み抽出器７０６ｂ）は、第２の通信チャネルが採用する広帯域を有するインバウンドオーディオ信号７１２の特徴を取り込む。埋め込み抽出器７０６は、第２のチャネルを介して受信したインバウンドオーディオ信号７１２に基づいて特徴ベクトルを生成し、これをインバウンドオーディオ信号７１２に対するインバウンド広帯域埋め込み７０９として出力する。

【0108】

インバウンドオーディオ信号７１２のインバウンド話者を認証するために、ニューラルネットワーク７００は、広帯域エンローリー埋め込み７１１とインバウンド広帯域埋め込み７０９をニューラルネットワークアーキテクチャ７００のスコアリングレイヤ７１６に供給し、様々なスコアリングオペレーションを実行させる。スコアリングレイヤ７１６は、広帯域エンローリー埋め込み７１１とインバウンド広帯域埋め込み７０９との間の距離（例えば、類似性、差異）を決定する距離スコアリングオペレーションを行い、インバウンド話者が登録者である可能性を示す。例えば、インバウンド信号７１２についてより低い距離スコア（又はより高い類似度スコア）は、広帯域エンローリー埋め込み７１１とインバウンド広帯域埋め込み７０９との間のより多くの類似性を示し、インバウンド話者がエンローリーであるという高い尤度をもたらす。ニューラルネットワークアーキテクチャ７００は、スコアリングオペレーションに基づいて認証出力７１８を生成することができる。認証出力７１８は、１又は２以上のスコアリングオペレーション（例えば、距離スコアリング）に基づいてスコアリングレイヤ７１６によって生成された値、ＧＵＩのための視覚的インジケータ、及び／又はダウンストリームのアプリケーションのための命令又はデータとすることができる。

【0109】

幾つかの実施構成において、スコアリングレイヤ７１６は、距離スコア又は他の出力された値が閾値を満たすか否かを決定する。このような実施構成において、認証出力７１８は、数値出力である必要はない。例えば、認証出力７１８は、ニューラルネットワークアーキテクチャ７００がインバウンド話者を認証したかどうかを示す、人間が読める指標（例えば、平易な言語、視覚表示）とすることができる。更に、又は代替的に、認証出力７１８は、機械可読の検出インジケータ又は認証命令を含むことができ、この命令は、サーバが１又は２以上のネットワークを介して１又は２以上のダウンストリームアプリケーションを実行するコンピュータデバイスに送信される。

【0110】

ローカル認証によるマルチチャネル認証の例
図８は、実施形態によるニューラルネットワークアーキテクチャを採用するクロスチャネル発信者認証のためのシステム８００を示す。システム８００は、認証サーバ８０２と、認証データベース８０４と、発信者デバイス１１４とを備える。実施形態は、図８のものから追加的又は代替の構成要素で構成されてもよく、或いは特定の構成要素を省略しても、本開示の範囲内に入る。更に、実施形態は、本明細書に記載される様々な特徴及びタスクを実行することができるあらゆる数のデバイスを含むか、又はそうでなければ実装することができる。例えば、図８は、分析データベース８０４とは異なるコンピュータデバイスとして、認証サーバ８０２を示す。幾つかの実施形態では、分析データベース８０４は、分析サーバ８０２に統合することができる。ハードウェア、ソフトウェア、及びそれらの変形に関する多くの詳細は、以前に（例えば、図１）説明されており、このような詳細は、ここで繰り返す必要はなく、図８に対して企図される範囲内のままであることを理解されたい。

【0111】

発信者は、様々な通信チャネルを介してサービスプロバイダのコールセンターに連絡することができる。通信チャネルは、発信者からオーディオ入力及び他のデータを受信するように構成されたハードウェア及びソフトウェア構成要素を含み、これらのデータは、様々な装置が通信チャネルから捕捉して認証サーバ８０２に転送し、又はコールセンターエージェントが認証サーバ８０２に転送する。

【0112】

通信チャネルは、発信者デバイス８１４からの入力オーディオ信号をホストし、処理し、捕捉する。各通信チャネルは、特定の帯域幅でオペレーションするように構成され、これによって、生成され認証サーバ８０２に転送されるオーディオ入力信号は、特定の帯域幅を有する生のオーディオファイル又はデータストリームを含む。例えば、固定電話８１４ａは、８ｋＨｚの帯域幅を有する入力オーディオ信号を生成する電話チャネルを通じてプロバイダサービスと通信する。別の例として、スマートフォン８１４ｂ（又はエッジデバイス）は、１６ｋＨｚの帯域幅を有する入力オーディオ信号を生成するソフトウェアアプリケーションのためのコンピュータネットワークチャネルを介してプロバイダサービスと通信するソフトウェアアプリケーションを実行することができる。

【0113】

認証サーバ８０２（又はプロバイダシステムの他のコンピュータデバイス）は、認証データベース８０４に格納することができるニューラルネットワークアーキテクチャを適用することにより、ソフトウェアプログラミングを実行し、入力オーディオ信号を処理し認証する。ニューラルネットワークアーキテクチャは、帯域幅拡張器８０５と埋め込み抽出器８０６とを含む。

【0114】

登録プロセスの間、発信者－登録者は、プロバイダのシステムに一連の登録者オーディオ信号を提供することのみ必要とされる。認証サーバ８０２は、埋め込み抽出器を登録者オーディオ信号に対して適用し、発信者－登録者のための登録者埋め込みを抽出する。次いで、認証サーバ８０２は、後で参照するために、登録者埋め込みを認証サーバ８０４に格納する。

【0115】

幾つかの実施形態において、認証サーバ８０２は、発信者が固定電話８１４ａを使用して第１の通信チャネル（例えば、低帯域幅電話チャネル）を介して認証サーバ８０２に登録信号を通信するときに、低帯域幅登録信号を受信し検出することができる。認証サーバ８０２は、インバウンド信号の品質を向上させるために帯域幅拡張器８０５を適用することができる。認証サーバ８０２は、スマートフォン８１４ｂから第２の通信チャネルを介して受信した高帯域幅登録信号に対して帯域幅拡張器８０５を適用する必要はない。

【0116】

認証サーバ８０２は、スマートフォン８１４ｂのアプリケーションと常時又は定期的にネットワーク通信を行っている。認証サーバ８０２又はスマートフォン８１４ｂは、コンピュータネットワーク（例えば、インターネット）を介して、登録者埋込の更新に関する問い合わせ又はプッシュ通知を交換することができる。スマートフォン８１４ｂは、登録者埋め込みに対する変更の検知に応答して、又は予め設定された間隔で登録者埋め込みをダウンロードする。

【0117】

幾つかの実施形態では、スマートフォン８１４ｂ上のアプリケーションは、埋め込み抽出器８０６ニューラルネットワークを含み、アプリケーションは、登録者及び／又は展開フェーズの間、オーディオ入力に適用する。スマートフォン８１４ｂは、発信者－登録者によって提供される一連の登録オーディオ信号に埋め込み抽出器８０６を適用することによって、登録者埋め込みを生成又は更新することができる。このようにして、スマートフォン８１４ｂは、登録者埋め込みをローカルに生成し、登録者埋め込みを認証データベース８０４にアップロードする。

【0118】

インバウンド発信者を発信者－登録者として認証するために、認証サーバ８０２又はスマートフォン８１４ｂのアプリケーションは、インバウンドオーディオ信号に埋め込み抽出器８０６を適用する。発信者が、固定電話８１４ａを使用して第１の通信チャネル（例えば、低帯域幅電話チャネル）を介してコールセンターエージェントと通信すると、認証サーバ８０２は、低帯域幅のインバウンド信号を検出し、帯域幅拡張器８０５を適用してインバウンド信号の品質を向上させる。次に、認証サーバ８０２は、認証データベース８０４から登録者埋め込みを検索し、インバウンドオーディオ信号に対して埋め込み抽出器８０６を適用してインバウンド埋め込みを抽出し、インバウンド埋め込みと登録者埋め込みの間の距離を決定する。認証サーバ８０２は、スマートフォン８１４ｂから第２の通信チャネルを介して受信された高帯域登録信号に帯域幅拡張器８０５を適用する必要はないので、認証サーバは、埋め込み抽出器８０６の適用及びインバウンド発信者の認証に進むことができる。

【0119】

幾つかの実施形態では、スマートフォン８１４ｂのアプリケーションは、インバウンドオーディオ信号に埋め込み抽出器をローカルに適用する。発信者が第２の通信チャネルを介して発信者－センターエージェントに連絡するためのＧＵＩオプションを選択すると、スマートフォンは、音声バイオメトリクスを認証するように発信者に促し、或いは、認証ソフトウェアルーチンをトリガする。スマートフォン８１４ｂは、スマートフォン８１４ｂのローカルメモリ又は認証データベース８０４から登録者埋め込みを検索し、インバウンドオーディオ信号に対して埋め込み抽出器８０６を適用してインバウンド埋め込みを抽出し、インバウンド埋め込みと登録者埋め込みの間の距離を決定する。認証が成功した場合、スマートフォン８１４ｂは、インバウンド発信者が登録者として認証されたことを示す、確認命令又は他のセキュリティトークンを認証サーバ８０２に送信することができる。

【0120】

追加の例示的な実施形態
話者がクラウドベースのアプリケーション上で音声を登録する
幾つかの実施形態では、発信者デバイスは、サービスプロバイダのシステムに音声通信を送信し、このサービスプロバイダのシステムは、通信データを取り込んで認証サービスのクラウドプラットフォーム（例えば、１又は２以上のサーバ）に送信する。サービスプロバイダのシステムは、認証サービスによってホストされるクラウドベースのアプリケーションに通信データをアップロードする様々なコンピュータデバイス（例えば、エージェントデバイス）を含む。発信者デバイスは、認証サービスに関連するソフトウェアアプリケーション又はウェブベースアプリケーションを実行し、これにより、発信者デバイスが、埋め込み抽出及び他のオペレーションを認証サービスのクラウドプラットフォームにオフロードすることが可能になる。クラウドプラットフォームの幾つかの例として、カスタムＷｅｂアプリケーション及びコールセンターＩＶＲが挙げられる。

【0121】

発信者の音声は、発信者がサービスプロバイダ及び／又は認証サービスに初めて連絡したときに認証サービスに受動的／自動的に登録され、又はサービス又は発信者の一方からの要求に応答して能動的に登録される。このようなオペレーションの例は、例えば、図６Ｂに見出すことができる。

【0122】

幾つかの実施形態では、発信者は、コンピュータデバイス上でクラウドベースのソフトウェアアプリケーションを開き、発信者がオーディオデータを入力するための要求をトリガする（例えば、エッジデバイスにサービスプロバイダと通信するように命令する）。ウェブアプリケーションは、オーディオ信号をプロバイダのコンピュータデバイスに、又は認証サービスのサーバに直接ストリーミングする。認証サーバは、サンプルレート又は符号化形式などのインバウンドオーディオ信号の特性を検出し、例えば、インバウンドオーディオ信号に対して帯域幅拡張ニューラルネットワークを適用することによって、スピーチ信号の可能な限り高帯域幅を得るための前処理を実行する。次に、認証サーバは、インバウンドオーディオ信号に埋め込み抽出器ニューラルネットワークを適用して、発信者を登録及び／又は認証する。発信者は、プロバイダサービス及び／又は認証サービスとの複数の対話を実行して、将来的に話者を一意に識別するためにデータベースに格納される登録者埋め込みを更新することができる。

【0123】

話者はエッジデバイス上で音声を登録する
幾つかの実施形態では、発信者は、エッジデバイス（又は他のＩｏＴデバイス）を使用して、音声を使用して要求を実行する。エッジデバイスの非限定的な例としては、とりわけ、テレビリモコン、スマートフォン、パーソナル音声アシスタント、及び自動車ダッシュボードアシスタントなどに組み込まれた内蔵マイクを有する組み込みデバイスを挙げることができる。エッジデバイスは、通常、生の個人情報をクラウドにストリーミングすることを必要とせず、デバイス自体でデータの重い処理を実行するのに使用される。このような実施形態では、エッジデバイスと認証サーバは、クラウドソリューションで使用される同じ「話者埋め込み抽出器」ソフトウェアをクロスコンパイルして、エッジデバイス上で実行させる。

【0124】

発信者は、タスクを実行するために音声を使用してエッジデバイスと対話する。アイデンティティサービスによって提供されるアプリケーションは、エッジデバイス上で実行され、発信者がデバイスを使用して初めて通信したとき、又はアイデンティティサービス又は発信者からのアクティブな登録要求に応答して、音声登録の必要性を検出する。エッジデバイスは、エッジデバイス又は認証サーバで実行される帯域幅拡張ニューラルネットワークに従ってデバイスを通じて利用可能な最高の可能な帯域幅信号を使用して、アイデンティティサービスのスピーチ埋め込み抽出ニューラルネットワークをローカルに実行する。発信者は、登録者話者埋め込みを更新するために複数の対話を実行することができ、エッジデバイスは、アイデンティティサービスのクラウドデータにアップロードし、認証サーバは、他のチャネルを介して発信者を認証するために参照する。

【0125】

話者がアイデンティティプロバイダのコールセンター又はＩＶＲに電話をかけることにより音声を登録する
場合によっては、電話チャネルを介して転送されるスピーチ信号は、８ｋＨｚでサンプリングされた狭帯域幅（０．３～３．４ｋＨｚ）となることが多い。このような狭帯域の音声を用いて話者登録を行う場合、広帯域スピーチ信号を提供する広帯域通信チャネルを介して抽出された埋め込みの間にミスマッチが生じる可能性がある。このため、話者埋め込みは、狭帯域音声が好まれる類似のチャネルに対してのみ適切に機能する。これにより、アイデンティティサービスが検証及び認証できるクロスチャネル環境の範囲が制限される。

【0126】

帯域幅拡張ニューラルネットワークは、話者埋め込みを抽出する前に、電話チャネルの低帯域幅スピーチ信号を比較的高品質の広帯域信号に変換し、全ての狭帯域及び広帯域チャネルにわたってスピーチ帯域幅を一貫して維持することができる。音声登録を完了するには、登録者は、電話チャネルを通じてＩＶＲ又はコールセンターに電話をかける。アイデンティティサービスの認証サーバは、コールオーディオ信号に帯域幅拡張ニューラルネットワークを適用し、狭帯域オーディオ信号をより高品質な広帯域スピーチ信号に変換する。音声の品質が向上することで、コールセンターのエージェントとの対話が改善され、埋め込み抽出も可能になる。認証サーバは、変換された（推定された）広帯域スピーチ信号に埋め込み抽出器を適用し、話者埋め込みを抽出する。登録者埋め込みは、同じ話者と行う後続のコールの間に更新することができる。登録者埋め込みは、コールセンターにコールバックしてきた話者を認証するために、アイデンティティプロバイダによって話者を一意に識別するために、アイデンティティプロバイダのクラウドデータベースに格納される。同じ登録者埋め込みは、アイデンティティプロバイダによってサポートされる他の何れかのチャネルを介して受信されたオーディオ信号に対して要求又は適用することができ、これによって登録者が追加のチャネル毎に再度登録することを必要とせずに、クロスチャネル認証を支援することができる。

【0127】

マルチチャネル及びマルチデバイスの音声登録の統合
幾つかの実施形態では、アイデンティティプロバイダは、複数のチャネルにわたる一意の話者のアイデンティティを管理する。各チャネルは、異なる特性（例えば、マイクロフォンのタイプ、スピーチ符号化アルゴリズムのタイプ、チャネルのサンプルレート）を有する。このような実施形態では、認証サーバは、何れかのチャネルからのスピーチ信号をターゲットバンドのスピーチ信号に統合する。例えば、認証用の主要チャネルが電話チャネルである場合、全ての登録スピーチデータは、話者埋め込みを作成するために狭帯域オーディオとして扱われる。また、認証の主要チャネルが広帯域オーディオの場合、全ての登録スピーチデータは、帯域幅拡張ニューラルネットワークを使用して広帯域に変換される。これにより、アイデンティティプロバイダは、あらゆるチャネル又はデバイスからのインバウンドオーディオ信号を使用して、全てのチャネルで発信者－登録者を登録及び認証する能力が得られる。

【0128】

アイデンティティプロバイダの認証サーバが、話者登録埋め込みを生成すると、認証サーバは、最新のタイムスタンプで登録埋め込みを生成又は更新する。登録埋め込みを更新又は参照する必要がある何れかのデバイスは、アイデンティティプロバイダのクラウドサーバデータベースに問い合わせ、デバイスが最新バージョンの登録埋め込みを有するかどうかを決定する。古い場合には、デバイスは、認証サーバに最新バージョンの登録埋め込みを要求し、何れかの新しいオーディオ入力信号に従って、登録埋め込みをローカルに更新する。登録埋め込みをローカルに更新した後、デバイスは、登録埋め込みを最新のタイムスタンプで更新し、登録埋め込みをアイデンティティサービスのデータベースに戻してアップロードし、登録埋め込みを他の何れかのチャネル又はデバイスに照会／配信できるようにする。

【0129】

電話チャネル上の登録を用いたエッジデバイスアプリケーション上の話者の認証
幾つかの実施形態では、アイデンティティプロバイダの電話チャネルにコールすることにより既に音声を登録した発信者は、エッジデバイスアプリケーションを使用して認証を行う。エッジデバイスは、以前のコール中に発信者のスピーチ信号に帯域幅拡張ニューラルネットワークを適用した後に生成された最新の登録埋め込みに対する要求をクラウドサーバに送信する。発信者は、オーディオ入力を用いてエッジデバイスのアプリケーションと対話し、ここで発信者は、コールセンターでＩＶＲエージェントと対話することによって、電話チャネルを通じて発信者の音声を事前に登録した。エッジデバイスのアプリケーションは、アイデンティティプロバイダのクラウドデータベースで利用可能なより新しい登録埋め込みをクラウドデータベースに問い合わせる。次いで、エッジデバイスは、認証処理（例えば、スコア予測）を実行するために、最新の登録埋め込みを要求する。

【0130】

エッジデバイス上の登録を使用して電話チャネル上の発信者を認証する
幾つかの実施形態では、エッジデバイスのソフトウェアは、広帯域音声を使用して、電話チャネルを介して登録者－発信者を認証するのに使用される登録埋め込みを生成する。認証中、電話チャネルスピーチは、エッジデバイスの認証サーバ上の帯域幅拡張ニューラルネットワークによって処理され、これによって、認証サーバ又はエッジデバイスは、エッジデバイス上で作成された登録埋め込みに対して話者照合ニューラルネットワークを適用して電話コールを認証する。

【0131】

狭帯域通信チャネルに対する広帯域品質のオーディオを再構成する
幾つかの実施形態では、帯域幅拡張ニューラルネットワークを使用して、狭帯域データストリーム信号をリアルタイムで処理し、オーディオデータを広帯域品質スピーチに変換する。広帯域品質は、狭帯域チャネル上で転送されるスピーチの了解度及び明瞭性を向上させるのに役立つ。例えば、帯域幅拡張ニューラルネットワークは、コールセンターのエージェントに配置されて、到来信号品質が向上し、エージェントが発信者をより理解するのに役立つ。また、帯域幅拡張ニューラルネットワークは、到来コールに使用されるエッジデバイスに配備することができる。例えば、帯域幅拡張ニューラルネットワークは、発信者の音声入力に適用して、品質を向上させ、劣化（例えば、バックグラウンド雑音）を低減し、発信者の体験を向上させるのに役立てることができる。

【0132】

本明細書に開示される実施形態に関連して説明される様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、又は両者の組み合わせとして実装することができる。ハードウェアとソフトウェアのこの互換性を明確に説明するために、様々な例示的な構成要素、ブロック、モジュール、回路、及びステップについて全体としてその機能性の観点で上述してきた。このような機能がハードウェアとして実装されるかソフトウェアとして実装されるかは、システム全体に課される特定の用途及び設計上の制約に依存する。当業者であれば、記載された機能性を各特定の用途に対して様々な方法で実装することができるが、このような実装の決定は、本発明の範囲からの逸脱を引き起こすと解釈されるべきではない。

【0133】

コンピュータソフトウェアで実装される実施形態は、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの何れかの組み合わせで実装することができる。コードセグメント又は機械実行可能な命令は、手続き、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、又は命令、データ構造、プログラム文の何れかの組み合わせを表すことができる。コードセグメントは、情報、データ、引数、パラメータ、又はメモリコンテンツを受け渡しすることによって、別のコードセグメント又はハードウェア回路に結合することができる。情報、引数、パラメータ、データ、その他は、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク伝送などを含む何れかの適切な手段を介して、移動、転送、又は伝送することができる。

【0134】

これらのシステム及び方法を実施するのに使用される実際のソフトウェアコード又は特殊な制御ハードウェアは、本発明を限定するものではない。従って、システム及び方法のオペレーション及び挙動は、本明細書の説明に基づいてシステム及び方法を実施するためにソフトウェア及び制御ハードウェアを設計することができることを理解して、特定のソフトウェアコードを参照することなく説明されている。

【0135】

ソフトウェアで実装される場合、機能は、非一時的なコンピュータ可読又はプロセッサ可読記憶媒体上の１又は２以上の命令又はコードとして格納することができる。本明細書に開示される方法又はアルゴリズムのステップは、コンピュータ可読記憶媒体又はプロセッサ可読記憶媒体に常駐できるプロセッサ実行可能ソフトウェアモジュールにおいて具現化することができる。非一時的なコンピュータ可読媒体又はプロセッサ可読媒体は、コンピュータ記憶媒体と、ある場所から別の場所へのコンピュータプログラムの転送を容易にする有形の記憶媒体の両方を含む。非一時的なプロセッサ読み取り可能な記憶媒体は、コンピュータによってアクセス可能な何れかの利用可能な媒体とすることができる。限定ではなく例として、このような非一時的なプロセッサ可読媒体は、命令又はデータ構造の形態で所望のプログラムコードを格納するのに使用され、コンピュータ又はプロセッサによってアクセスされ得るＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ又は他の光ディスクストレージ、磁気ディスクストレージ又は他の磁気ストレージデバイス、又は他の何れかの有形記憶媒体を備えることができる。本明細書で使用されるディスク及びディスクは、コンパクトディスク（ＣＤ）、レーザーディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、及びブルーレイディスクを含み、ディスクは通常磁気的にデータを再生し、ディスクはレーザーを用いて光学的にデータを再生する。上記の組み合わせもまた、コンピュータ読み取り可能な媒体の範囲に含まれるべきである。更に、方法又はアルゴリズムのオペレーションは、非一時的なプロセッサ可読媒体及び／又はコンピュータ可読媒体上のコード及び／又は命令の１つ又は何れかの組み合わせ又はセットとして存在し、これらはコンピュータプログラム製品に組み込まれることがある。

【0136】

開示された実施形態の前述の説明は、当業者であれば本発明を製造又は使用することができるように提供される。これらの実施形態に対する様々な修正は、当業者には容易に明らかであり、本明細書で定義された一般的な原理は、本発明の精神又は範囲から逸脱することなく、他の実施形態に適用することができる。従って、本発明は、本明細書に示された実施形態に限定されることを意図するものではなく、以下の請求項と本明細書に開示された原理及び新規な特徴と一致する最も広い範囲が与えられるべきである。

【0137】

様々な態様及び実施形態が開示されてきたが、他の態様及び実施形態も企図される。開示された様々な態様及び実施形態は、説明のためのものであり、限定することを意図しておらず、真の範囲及び精神は、以下の特許請求の範囲によって示される。

【符号の説明】

【0138】

１００ システム
１０１ コール分析サービスシステム
１０２ 分析サーバ
１０３ 管理者デバイス
１０４ 分析データベース
１１０ 顧客コールセンターシステム
１１１ コールセンターサーバ
１１２ コールセンターデータベース
１１４ 発信者デバイス
１１６ エージェントデバイス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【国際調査報告】