特表 2024-544674 ＡＳＲモデルのフレーズ抽出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-03

(54)【発明の名称】ＡＳＲモデルのフレーズ抽出

(51)【国際特許分類】

   G10L 15/01 20130101AFI20241126BHJP

【ＦＩ】

G10L15/01

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024533073

(86)(22)【出願日】2021-12-13

(85)【翻訳文提出日】2024-06-03

(86)【国際出願番号】 US2021062998

(87)【国際公開番号】W WO2023101695

(87)【国際公開日】2023-06-08

(31)【優先権主張番号】63/264,836

(32)【優先日】2021-12-02

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】エーサン・アミド

(72)【発明者】

【氏名】オム・タッカー

(72)【発明者】

【氏名】ラジヴ・マシューズ

(72)【発明者】

【氏名】フランソワーズ・ボーフェイ

(57)【要約】

ＡＳＲモデルのフレーズ抽出方法（４００）には、発話（１０６）を特徴付けるオーディオデータ（１１２）及びその発話に対応するグラウンドトゥルーストランスクリプション（１１４）を取得すること、及びオーディオデータを修正して、発話で述べられた特定のフレーズ（１１６）を難読化することが含まれる。方法はまた、トレーニングされたＡＳＲモデル（１５０）を使用して、修正されたオーディオデータ（３００）を処理して発話の予測トランスクリプション（１５４）を生成すること、及び発話の予測トランスクリプションを発話のグラウンドトゥルーストランスクリプションと比較することによって、予測トランスクリプションに特定のフレーズが含まれているかどうかを判定することも含む。予測トランスクリプションに特定のフレーズが含まれているとき、方法は、トレーニングされたＡＳＲモデルが、ＡＳＲモデルのトレーニングに使用されたトレーニングデータセット（２１０）から特定のフレーズを漏洩したことを示す出力（１８０）を生成することを含む。

【特許請求の範囲】

【請求項1】

コンピュータ実装方法（４００）であって、データ処理ハードウェア（５１０）によって実行されたとき、前記データ処理ハードウェア（５１０）に、
発話（１０６）を特徴付けるオーディオデータ（１１２）及び前記発話（１０６）の対応するグラウンドトゥルーストランスクリプション（１１４）を取得すること、
前記オーディオデータ（１１２）を修正して、前記発話（１０６）で述べられた特定のフレーズ（１１６）を難読化すること、
トレーニングされた自動音声認識（ＡＳＲ）モデル（１５０）を使用して、前記修正されたオーディオデータ（３００）を処理し、前記発話（１０６）の予測トランスクリプション（１５４）を生成すること、
前記発話（１０６）の前記予測トランスクリプション（１５４）を前記発話（１０６）の前記グラウンドトゥルーストランスクリプション（１１４）と比較することによって、前記予測トランスクリプション（１５４）が前記特定のフレーズ（１１６）を含むかどうかを判定すること、及び
前記予測トランスクリプション（１５４）が前記特定のフレーズ（１１６）を含むとき、前記トレーニングされたＡＳＲモデル（１５０）が前記ＡＳＲモデル（１５０）をトレーニングするために使用されたトレーニングデータセット（２１０）から前記特定のフレーズ（１１６）を漏洩したことを示す出力（１８０）を生成することを含む、動作を実行させる、
前記コンピュータ実装方法（４００）。

【請求項2】

前記動作は、前記予測トランスクリプション（１５４）が、前記特定のフレーズ（１１６）と同じ情報のカテゴリ（２１２）に関連付けられた前記グラウンドトゥルーストランスクリプション（１１４）からの前記特定のフレーズ（１１６）の代わりに別のフレーズ（１１７）を含むとき、前記トレーニングされたＡＳＲモデル（１５０）が、前記ＡＳＲモデル（１５０）をトレーニングするために使用された前記トレーニングデータセット（２１０）から前記別のフレーズ（１１７）を漏洩したことを示す出力（１８０）を生成することをさらに含む、請求項１に記載のコンピュータ実装方法（４００）。

【請求項3】

前記動作は、前記予測トランスクリプション（１５４）が、前記特定のフレーズ（１１６）、または前記特定のフレーズ（１１６）と同じ情報のカテゴリ（２１２）に関連付けられた前記グラウンドトゥルーストランスクリプション（１１４）からの前記特定のフレーズ（１１６）の代わりの別のフレーズ（１１７）を含まないとき、前記トレーニングされたＡＳＲモデル（１５０）が、前記ＡＳＲモデル（１５０）をトレーニングするために使用された前記トレーニングデータセット（２１０）からいずれの情報も漏洩していないことを示す出力（１８０）を生成することをさらに含む、請求項１または２に記載のコンピュータ実装方法（４００）。

【請求項4】

前記オーディオデータ（１１２）はオーディオ波形を含む、請求項１～３のいずれか一項に記載のコンピュータ実装方法（４００）。

【請求項5】

前記オーディオ波形は人間の音声に対応する、請求項４に記載のコンピュータ実装方法（４００）。

【請求項6】

前記オーディオ波形は合成音声に対応する、請求項４に記載のコンピュータ実装方法（４００）。

【請求項7】

前記オーディオデータ（１１２）を修正することは、
前記グラウンドトゥルーストランスクリプション（１１４）に基づいて、前記グラウンドトゥルーストランスクリプション（１１４）内の前記特定のフレーズ（１１６）と整合する前記オーディオデータ（１１２）のセグメント（１２２）を識別すること、及び
前記発話（１０６）で述べられた前記特定のフレーズ（１１６）を難読化するよう前記オーディオデータ（１１２）の前記識別されたセグメント（１２２）に対してデータ拡張を実行すること、
を含む、請求項１～６のいずれか一項に記載のコンピュータ実装方法（４００）。

【請求項8】

前記オーディオデータ（１１２）の前記識別されたセグメント（１２２）に対してデータ拡張を実行することは、前記オーディオデータ（１１２）の前記識別されたセグメント（１２２）にノイズを追加することを含む、請求項７に記載のコンピュータ実装方法（４００）。

【請求項9】

前記オーディオデータ（１１２）の前記識別されたセグメント（１２２）に対してデータ拡張を実行することは、前記オーディオデータ（１１２）の前記識別されたセグメント（１２２）をノイズで置き換えることを含む、請求項７に記載のコンピュータ実装方法（４００）。

【請求項10】

前記動作が、
前記発話（１０６）の前記グラウンドトゥルーストランスクリプション（１１４）を処理して、具体的な情報のカテゴリ（２１２）に関連する、前記グラウンドトゥルーストランスクリプション（１１４）に含まれるいずれかのフレーズ（２１４）を識別することをさらに含み、
前記オーディオデータ（１１２）を修正することは、前記グラウンドトゥルーストランスクリプション（１１４）に含まれる前記特定のフレーズ（１１６）が前記具体的な情報のカテゴリ（２１２）に関連付けられていることを識別することに応じて行われる、
請求項１～９のいずれか一項に記載のコンピュータ実装方法（４００）。

【請求項11】

前記具体的な情報のカテゴリ（２１２）は、名前、住所、日付、郵便番号、患者の診断、口座番号、または電話番号を含む、請求項１０に記載のコンピュータ実装方法（４００）。

【請求項12】

システムであって、
データ処理ハードウェア（５１０）、及び
前記データ処理ハードウェア（５１０）と通信するメモリハードウェア（５２０）であって、前記メモリハードウェア（５２０）は、前記データ処理ハードウェア（５１０）で実行されたとき、前記データ処理ハードウェア（５１０）に、
発話（１０６）を特徴付けるオーディオデータ（１１２）及び前記発話（１０６）の対応するグラウンドトゥルーストランスクリプション（１１４）を取得すること、
前記オーディオデータ（１１２）を修正して、前記発話（１０６）で述べられた特定のフレーズ（１１６）を難読化すること、
トレーニングされた自動音声認識（ＡＳＲ）モデル（１５０）を使用して、前記修正されたオーディオデータ（３００）を処理し、前記発話（１０６）の予測トランスクリプション（１５４）を生成すること、
前記発話（１０６）の前記予測トランスクリプション（１５４）を前記発話（１０６）の前記グラウンドトゥルーストランスクリプション（１１４）と比較することによって、前記予測トランスクリプション（１５４）が前記特定のフレーズ（１１６）を含むかどうかを判定すること、及び
前記予測トランスクリプション（１５４）が前記特定のフレーズ（１１６）を含むとき、前記トレーニングされたＡＳＲモデル（１５０）が前記ＡＳＲモデル（１５０）をトレーニングするために使用されたトレーニングデータセット（２１０）から前記特定のフレーズ（１１６）を漏洩したことを示す出力（１８０）を生成すること、
を含む動作を実行させる命令を格納する、前記メモリハードウェア（５２０）を含む、
前記システム。

【請求項13】

前記動作は、前記予測トランスクリプション（１５４）が、前記特定のフレーズ（１１６）と同じ情報のカテゴリ（２１２）に関連付けられた前記グラウンドトゥルーストランスクリプション（１１４）からの前記特定のフレーズ（１１６）の代わりの別のフレーズ（１１７）を含むとき、前記トレーニングされたＡＳＲモデル（１５０）が、前記ＡＳＲモデル（１５０）をトレーニングするために使用された前記トレーニングデータセット（２１０）から前記別のフレーズ（１１７）を漏洩したことを示す出力（１８０）を生成することをさらに含む、請求項１２に記載のシステム。

【請求項14】

前記動作は、前記予測トランスクリプション（１５４）が、前記特定のフレーズ（１１６）、または前記特定のフレーズ（１１６）と同じ情報のカテゴリ（２１２）に関連付けられた前記グラウンドトゥルーストランスクリプション（１１４）からの前記特定のフレーズ（１１６）の代わりの別のフレーズ（１１７）を含まないとき、前記トレーニングされたＡＳＲモデル（１５０）が、前記ＡＳＲモデル（１５０）をトレーニングするために使用された前記トレーニングデータセット（２１０）からいずれの情報も漏洩していないことを示す出力（１８０）を生成することをさらに含む、請求項１２または１３に記載のシステム。

【請求項15】

前記オーディオデータ（１１２）はオーディオ波形を含む、請求項１２～１４のいずれか一項に記載のシステム。

【請求項16】

前記オーディオ波形は人間の音声に対応する、請求項１５に記載のシステム。

【請求項17】

前記オーディオ波形は合成音声に対応する、請求項１５に記載のシステム。

【請求項18】

前記オーディオデータ（１１２）を修正することは、
前記グラウンドトゥルーストランスクリプション（１１４）に基づいて、前記グラウンドトゥルーストランスクリプション（１１４）内の前記特定のフレーズ（１１６）と整合する前記オーディオデータ（１１２）のセグメント（１２２）を識別すること、及び
前記オーディオデータ（１１２）の前記識別されたセグメント（１２２）に対してデータ拡張を実行して、前記発話（１０６）で述べられた前記特定のフレーズ（１１６）を難読化することを含む、請求項１２～１７のいずれか一項に記載のシステム。

【請求項19】

前記オーディオデータ（１１２）の前記識別されたセグメント（１２２）に対してデータ拡張を実行することは、前記オーディオデータ（１１２）の前記識別されたセグメント（１２２）にノイズを追加することを含む、請求項１８に記載のシステム。

【請求項20】

前記オーディオデータ（１１２）の前記識別されたセグメント（１２２）に対してデータ拡張を実行することは、前記オーディオデータ（１１２）の前記識別されたセグメント（１２２）をノイズで置き換えることを含む、請求項１８に記載のシステム。

【請求項21】

前記動作は、
前記発話（１０６）の前記グラウンドトゥルーストランスクリプション（１１４）を処理して、具体的な情報のカテゴリ（２１２）に関連する、前記グラウンドトゥルーストランスクリプション（１１４）に含まれるいずれかのフレーズ（２１４）を識別することをさらに含み、
前記オーディオデータ（１１２）を修正することは、前記グラウンドトゥルーストランスクリプション（１１４）に含まれる前記特定のフレーズ（１１６）が前記具体的な情報のカテゴリ（２１２）に関連付けられていることを識別することに応じて行われる、
請求項１２～２０のいずれか一項に記載のシステム。

【請求項22】

前記具体的な情報のカテゴリ（２１２）は、名前、住所、日付、郵便番号、患者の診断、口座番号、または電話番号を含む、請求項２１に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ＡＳＲモデルのフレーズ抽出メカニズムに関する。

【背景技術】

【0002】

自動音声認識（ＡＳＲ）モデルは、オーディオデータを入力として受信し、受信したオーディオデータの入力に基づいて、予測トランスクリプションなどのトランスクリプションを出力として生成する。ＡＳＲモデルは、対応するトランスクリプションを含むオーディオデータを含むトレーニングデータでトレーニングされる。ただし、ＡＳＲモデルは、それがトレーニング中に記憶したトレーニングデータを漏洩する可能性がある。プライベート及び／または機密性の高いトレーニングデータのデータ漏洩は、概して望ましくない。しかし、トレーニングデータの漏洩を検出するためのＡＳＲモデルの堅牢性を検証するのは困難であり得る。

【発明の概要】

【0003】

本開示の一態様は、自動音声認識（ＡＳＲ）モデル用のフレーズ抽出のコンピュータ実装方法を提供する。コンピュータ実装方法は、データ処理ハードウェアで実行されたとき、発話を特徴付けるオーディオデータ及び発話の対応するグラウンドトゥルーストランスクリプションを取得すること、及び発話で述べられた特定のフレーズを難読化するためにオーディオデータを修正することを含む動作をデータ処理ハードウェアに実行させる。この動作は、トレーニングされたＡＳＲモデルを使用して修正されたオーディオデータを処理して発話の予測トランスクリプションを生成すること、及び発話の予測トランスクリプションを発話のグラウンドトゥルーストランスクリプションと比較することによって、予測トランスクリプションに特定のフレーズが含まれているかどうかを判定することも含む。予測トランスクリプションに特定のフレーズが含まれているとき、動作は、トレーニングされたＡＳＲモデルが、ＡＳＲモデルのトレーニングに使用されたトレーニングデータセットから特定のフレーズを漏洩したことを示す出力を生成することを含む。

【0004】

本開示の実施態様は、以下の任意選択の特徴の１つ以上を含み得る。いくつかの実施態様では、動作はさらに、予測トランスクリプションに、特定のフレーズと同じ情報のカテゴリに関連付けられたグラウンドトゥルーストランスクリプションからの特定のフレーズの代わりに別のフレーズが含まれるとき、トレーニングされたＡＳＲモデルが、ＡＳＲモデルのトレーニングに使用されたトレーニングデータセットから別のフレーズを漏洩したことを示す出力を生成することが含まれる。いくつかの例では、動作にはさらに、予測トランスクリプションに、特定のフレーズ、または特定のフレーズと同じ情報のカテゴリに関連付けられたグラウンドトゥルーストランスクリプションからの特定のフレーズの代わりの別のフレーズが含まれないとき、トレーニングされたＡＳＲモデルが、ＡＳＲモデルのトレーニングに使用されたトレーニングデータセットからいずれの情報も漏洩していないことを示す出力を生成することが含まれる。

【0005】

いくつかの実施態様では、オーディオデータにはオーディオ波形が含まれる。これらの実施態様では、オーディオ波形は人間の音声に対応する場合がある。あるいは、オーディオ波形は合成音声に準拠する場合がある。

【0006】

いくつかの例では、オーディオデータを修正することは、グラウンドトゥルーストランスクリプションに基づいてグラウンドトゥルーストランスクリプション内の特定のフレーズと整合するオーディオデータのセグメントを識別すること、及びオーディオデータの識別されたセグメントに対してデータ拡張を実行して発話で述べられた特定のフレーズを難読化することを含む。これらの例では、オーディオデータの識別されたセグメントに対してデータ拡張を実行することは、オーディオデータの識別されたセグメントをノイズ追加することを含む場合がある。あるいは、オーディオデータの識別されたセグメントに対してデータ拡張を実行することは、オーディオデータの識別されたセグメントをノイズに置き換えることを含む場合がある。

【0007】

いくつかの実施態様では、動作には、発話のグラウンドトゥルーストランスクリプションを処理して、具体的な情報のカテゴリに関連する、グラウンドトゥルーストランスクリプションに含まれるいずれかのフレーズを識別することもさらに含まれる。ここで、オーディオデータを修正することは、グラウンドトゥルーストランスクリプションに含まれる特定のフレーズが具体的な情報のカテゴリに関連付けられていることを識別することに応じて行われる。これらの実施態様では、情報の特定のカテゴリには、名前、住所、日付、郵便番号、患者の診断、口座番号、または電話番号が含まれ得る。

【0008】

本開示の別の態様は、ＡＳＲモデル用のフレーズ抽出システムを提供する。システムは、データ処理ハードウェアと、データ処理ハードウェアと通信するメモリハードウェアが含まれる。メモリハードウェアは、データ処理ハードウェアで実行されたとき、発話を特徴付けるオーディオデータ及び発話の対応するグラウンドトゥルーストランスクリプションを取得すること、及び発話で述べられた特定のフレーズを難読化するためにオーディオデータを修正することを含む動作をデータ処理ハードウェアに実行させる命令を格納する。この動作は、トレーニングされたＡＳＲモデルを使用して修正されたオーディオデータを処理して発話の予測トランスクリプションを生成すること、及び発話の予測トランスクリプションを発話のグラウンドトゥルーストランスクリプションと比較することによって、予測トランスクリプションに特定のフレーズが含まれるかどうかを判定することも含む。予測トランスクリプションに特定のフレーズが含まれるとき、動作は、トレーニングされたＡＳＲモデルが、ＡＳＲモデルのトレーニングに使用されたトレーニングデータセットから特定のフレーズを漏洩したことを示す出力を生成することを含む。

【0009】

様々な態様は、以下の任意選択の特徴のうちの１つ以上を含んでもよい。いくつかの実施態様では、動作はさらに、予測トランスクリプションに、特定のフレーズと同じ情報のカテゴリに関連付けられたグラウンドトゥルーストランスクリプションからの特定のフレーズの代わりに別のフレーズが含まれるとき、トレーニングされたＡＳＲモデルが、ＡＳＲモデルのトレーニングに使用されたトレーニングデータセットから別のフレーズを漏洩したことを示す出力を生成することが含まれる。いくつかの例では、動作にはさらに、予測トランスクリプションに、特定のフレーズ、または特定のフレーズと同じ情報のカテゴリに関連付けられたグラウンドトゥルーストランスクリプションからの特定のフレーズの代わりの別のフレーズが含まれないとき、トレーニングされたＡＳＲモデルが、ＡＳＲモデルのトレーニングに使用されたトレーニングデータセットからいずれの情報も漏洩していないことを示す出力を生成することが含まれる。

【0010】

いくつかの実施態様では、オーディオデータにはオーディオ波形が含まれる。これらの実施態様では、オーディオ波形は人間の音声に対応する場合がある。あるいは、オーディオ波形は合成音声に準拠する場合がある。

【0011】

いくつかの例では、オーディオデータを修正することは、グラウンドトゥルーストランスクリプションに基づいてグラウンドトゥルーストランスクリプション内の特定のフレーズと整合するオーディオデータのセグメントを識別すること、及びオーディオデータの識別されたセグメントに対してデータ拡張を実行して発話で述べられた特定のフレーズを難読化することを含む。これらの例では、オーディオデータの識別されたセグメントに対してデータ拡張を実行することは、オーディオデータの識別されたセグメントにノイズを追加することを含む場合がある。あるいは、オーディオデータの識別されたセグメントに対してデータ拡張を実行することは、オーディオデータの識別されたセグメントをノイズに置き換えることを含む場合がある。

【0012】

いくつかの実施態様では、動作は、発話のグラウンドトゥルーストランスクリプションを処理して、具体的な情報のカテゴリに関連する、グラウンドトゥルーストランスクリプションに含まれるいずれかのフレーズを識別することもさらに含む。ここで、オーディオデータを修正することは、グラウンドトゥルーストランスクリプションに含まれる特定のフレーズが具体的な情報のカテゴリに関連付けられていることを識別することに応じて行われる。これらの実施態様では、具体的な情報のカテゴリには、名前、住所、日付、郵便番号、患者の診断、口座番号、または電話番号が含まれ得る。

【0013】

本開示の１つ以上の実施態様の詳細は、添付の図面及び以下の説明において述べられる。他の態様、特徴、及び利点が、説明及び図面、ならびに請求項から明らかになる。

【図面の簡単な説明】

【0014】

【図1】自動音声認識（ＡＳＲ）モデルのフレーズ抽出メカニズムの例の概略図である。

【図2】トランスクリプションの１つ以上の特定のフレーズを識別するための例示的なフレーズ識別器の概略図である。

【図3】トランスクリプション内の１つ以上の特定のフレーズの例示的なフレーズ抽出の概略図である。

【図4】ＡＳＲモデルのフレーズ抽出メカニズムを実装する方法の動作の例示的な構成のフローチャートである。

【図5】本明細書に記載のシステム及び方法を実装するために使用し得る例示的なコンピューティングデバイスの概略図である。

【発明を実施するための形態】

【0015】

種々の図面における同様の参照記号は、同様の要素を指す。

【0016】

本明細書の実施態様は、自動音声認識（ＡＳＲ）モデルのトレーニングに使用されるトレーニングデータの漏洩を検出する際に使用するためのフレーズ抽出メカニズムを対象としている。ノイズの多いオーディオデータで置き換えるかマスクする音声発話のフレーズを識別し、トレーニングされたＡＳＲモデルの出力を分析して、トレーニングされたＡＳＲモデルが発話の実際のトランスクリプションを出力したかどうかを判定すると、トレーニングされたＡＳＲモデルからトレーニングデータの漏洩が生じたかどうかを実証する。フレーズ抽出メカニズムは、住所、郵便番号、患者の診断などの、音声波形の様々な種類の機密情報が、トレーニングされたＡＳＲモデルから漏洩していないかどうかをテストするために使用することができる。

【0017】

図１は、コンピューティングデバイス１０２で実行されるフレーズ抽出メカニズム１０８を備えたシステム１００を含む音声環境の例である。コンピューティングデバイス１０２（全体的にデバイス１０２とも呼ばれる）は、音声環境内部の１人以上のユーザ１０４からのサウンド（例えば、オーディオデータ）を取込むように構成されている。ここで、オーディオデータ１１２は、トレーニングされたＡＳＲモデル１５０が認識するためのテスト発話として機能する、ユーザ１０４による話された発話１０６を指し得る。トレーニングされたＡＳＲモデル１５０などのデバイス１０２の音声対応システムは、オーディオデータ１１２に対して音声認識を実行し、ユーザ１０４が話した対応する発話１０６のトランスクリプション１５４を生成することができる。

【0018】

コンピューティングデバイス１０２には、データ処理ハードウェア１１１と、データ処理ハードウェア１１１と通信し、データ処理ハードウェア１１１によって実行されたとき、データ処理ハードウェア１１１に１つ以上の動作を実行させる命令を格納するメモリハードウェア１１３が含まれる。コンピューティングデバイス１０２には、分散システム（クラウドコンピューティング環境）が含まれる場合がある。コンピューティングデバイス１０２は、ディスプレイ１０５も含んでおり、及び／または１つ以上のディスプレイと通信する。ディスプレイ１０５は、トレーニングされたＡＳＲモデル１５０が、ＡＳＲモデル１５０のトレーニングに使用されたトレーニングデータセット２１０（図２）から潜在的に機密性の高いデータを漏洩しているかどうかを示す漏洩レポート１８２を表示できる。コンピューティングデバイス１０２は、音声環境１００内部の話された発話１０６を取込んで電気信号に変換するオーディオキャプチャデバイス（例えば、マイク）と、可聴オーディオ信号（例えば、デバイス１０２からの出力オーディオデータ）を通信する音声出力デバイス（例えば、スピーカー）を備えたオーディオシステムが含まれ得る。ＡＳＲモデル１５０及び／または漏洩検出器１７０は、オーディオテキストアライナ１２０及びデータ拡張器１３０としてコンピューティングデバイス１０２で実行されてもよく、またはＡＳＲモデル１５０及び／または漏洩検出器１７０は、コンピューティングデバイス１０２と通信する他のコンピューティングデバイスで実行されてもよい。

【0019】

以下でより詳細に説明するように、漏洩検出器１７０は、データ拡張器１３０によって修正されたオーディオデータ３００のノイズに置き換えられた発話１０６からの特定のフレーズ１１６をモデル１５０がまだ認識しているかどうかを判定することによってモデル１５０の堅牢性をチェックまたは検証し、モデル１５０をトレーニングするために使用されたトレーニングデータセット２１０からモデル１５０が１つ以上の特定のフレーズ１１６を漏洩したかどうかを示すインジケーション１８０を出力することができる。例えば、漏洩検出器１７０は、モデル１５０がトレーニング中に記憶した潜在的に機密性の高い希少トレーニングデータをモデル１５０が漏洩したことを示すインジケーション１８０を出力することができる。図１は、コンピューティングデバイス１０２が、ユーザ１０４が話している発話１０６「ミスターソームズとミスターハヴィシャムはこの情報に圧倒された」を特徴付ける、人間の音声のオーディオ波形を含むオーディオデータ１１２を取込むことを示す。任意選択で、ユーザ１０４は発話１０６のテキスト表現／トランスクリプション１１４を入力でき、テキスト読み上げ（ＴＴＳ）システム１１０はトランスクリプション１１４を、発話１０６を特徴付ける合成音声のオーディオ波形を含むオーディオデータ１１２に変換することができる。

【0020】

いくつかの実施態様では、漏洩検出器１７０は、モデル１５０が、１つ以上の特定のフレーズ１１６に対応するオーディオデータ１１２を受信せずに、モデル１５０をトレーニングするために使用されたトレーニングデータセット２１０から１つ以上の特定のフレーズ１１６を漏洩したかどうかを判定する。言い換えれば、人間の音声または合成音声のオーディオ波形を含むオーディオデータ１１２には、１つ以上の特定のフレーズ１１６を省略しながら、グラウンドトゥルーストランスクリプション１１４からの他の用語／フレーズのみが含まれる場合がある。これらの実施態様では、省略される特定のフレーズ１１６を１つだけ含むトランスクリプション１１４の場合、オーディオデータ１１２は２つのセグメントに分割され、第１のセグメントは特定のフレーズ１１６が配置される開始境界で終了し、第２のオーディオセグメントは特定のフレーズ１１６が配置される終了境界で開始する。データ拡張器１３０は、ノイズの持続時間に関連付けられたマスク／拡張オーディオセグメント３０２（図３）を生成し、オーディオデータ１１２の２つのオーディオセグメントを、その間に挿入されたマスク／拡張オーディオセグメント３０２と組み合わせることによって、修正されたオーディオデータ３００を生成することができる。したがって、漏洩検出器１７０は、修正されたオーディオデータ３００とグラウンドトゥルーストランスクリプション１１２（特定のフレーズ１１６を含む）を比較して、ＡＳＲモデル１５０のトレーニングに使用されたトレーニングデータセット２１０から、モデル１５０が特定のフレーズ１１６または長さの異なる類似のフレーズ１１７のいずれかを漏洩しているかどうかをチェックする。

【0021】

例えば、トランスクリプション１１４「私はミスターハヴィシャムがこの情報を持っていることを知っている」をＴＴＳシステム１１０に伝えて合成音声に対応するオーディオデータ１１２に変換するのではなく、トランスクリプション１１４を「私はミスターハヴィシャムを知っている」と「この情報を持っている」のセグメントに分割し、特定のフレーズ１１６「ハヴィシャム」を省略してＴＴＳシステム１１０に入力することができる。漏洩検出器１７０に入力されるグラウンドトゥルーストランスクリプション１１４には、特定のフレーズ１１６「ハヴィシャム」が依然として含まれる。ＴＴＳシステム１１０がトランスクリプション１１４の２つのセグメントをオーディオデータ１１２の対応する合成音声セグメントに変換すると、データ拡張器１３０は対応するマスクされたオーディオセグメント３０２を生成し、その間に配置されたマスクされたオーディオセグメント３０２を含む２つの合成音声セグメント／フレーズを組み合わせて、修正されたオーディオデータ３００を生成することができる。ここで、マスクされたオーディオセグメント３０２には、特定のフレーズ１１６「ハヴィシャム」に関連付けられた持続時間を持つノイズの多いオーディオセグメントが含まれる場合がある。特に、データ拡張器１３０は、ＡＳＲモデル１５０が類似のフレーズ１１７（例えば、期間が短縮された場合のヘイルなどの他のキャラクター名）を漏洩しているかどうかを判定しようとするために、拡張／マスクされたオーディオセグメント３０２の持続時間を変更することもある。同様に、オーディオデータ１１２が、ユーザ１０４が話した人間の音声に対応するとき、ユーザ１０４は単に「私はミスターのことを知っている」と「この情報を持っている」という２つのフレーズを話すだけでよい。このシナリオでは、ユーザ１０４は、データ拡張器１３０が、２つの音声フレーズの間に挿入する対応するマスクされたオーディオセグメント３０２を生成して、修正されたオーディオデータ３００を生成するべきであることを示すいくつかの入力を行い得る。

【0022】

明らかになるように、オーディオデータ１１２に人間のオーディオ波形が含まれているか合成音声が含まれているかにかかわらず、発話１０６のトランスクリプション１１４は、元の入力された発話１０６から特定のフレーズ１１６ａ、１１６ｂ「ソームズ」及び「ハヴィシャム」を難読化／マスクした修正されたオーディオデータ３００に対して実行された音声認識に基づいてトレーニングされたＡＳＲモデル１５０によって出力される予測トランスクリプション１５４と比較するための、発話１０６の対応するグラウンドトゥルーストランスクリプション１１４としても機能する。グラウンドトゥルーストランスクリプション１１４には、オーディオデータ１１２に関連付けられた他の用語／フレーズ及び対応する時間情報１１５とともに、１つ以上の特定のフレーズ１１６が含まれる。特定のフレーズ１１６には、修正されたオーディオデータ３００において難読化されるか、または認識できないように、ノイズで拡張／置換されるフレーズが含まれる。いくつかの例では、ユーザ１０４は、難読化される特定のフレーズ１１６を明示的に識別する入力をコンピューティングデバイス１０２に対して行う。他の例では、フレーズ抽出メカニズム１０８は、トランスクリプション１１４に含まれる特定のフレーズのうち、具体的な情報のカテゴリに関連付けられているフレーズを識別する。これらの例では、ユーザ１０４は、１つ以上の特定の情報カテゴリを示す入力を行うことができ、フレーズ抽出メカニズム１０８は、グラウンドトゥルーストランスクリプション１１４を処理して、具体的な情報のカテゴリに関連付けられたいずれかのフレーズを識別することができる。したがって、特定のフレーズ１１６は、フレーズ１１６の選択を示す明示的なユーザ入力に基づいて識別され得るか、または特定のフレーズ１１６が具体的な情報のカテゴリに関連付けられているものとして識別され得る。本明細書で使用される場合、フレーズには、名前（例えば、ハヴィシャムまたはジョン・スミス）、都市（例えば、Ｎｅｗ Ｈａｖｅｎ）、郵便番号の数字の並び（例えば、４－８－３－０－４）、住所（例えば、１２３４ Ｌａｖｅｎｄｅｒ Ｌｎ）、生年月日（例えば、２０００年１月１日）などの１つ以上の用語が含まれる場合がある。時間情報１１５には、トランスクリプション１１４内の各単語／用語の開始／終了境界のタイムスタンプが含まれ得る。言い換えれば、時間情報１１５は、トランスクリプション１１４の各単語／用語の開始と終了の境界を定める。いくつかの実施態様では、トランスクリプション１１４が対応するオーディオデータとペアになっており、モデル１５０をトレーニングするために使用されるトレーニングデータセット２１０から派生している場合、時間情報１１５はトレーニング中に注釈付きのタイムスタンプを介して取得され、トレーニングデータセット２１０とともに格納される場合がある。あるいは、トランスクリプション１１４がＴＴＳシステム１１０に提供され、合成音声に対応するオーディオデータ１１２に変換される場合、ＴＴＳシステム１１０は、トランスクリプション１１４に対してテキスト読み上げ変換を実行するときに時間情報１１５を生成することができる。

【0023】

フレーズ抽出メカニズム１０８は、さらに、オーディオデータ１１２と、１つ以上のフレーズ１１６及び対応する時間情報１１５を含むトランスクリプション１１４を受信し、トランスクリプション１１４で識別された１つ以上の特定のフレーズ１１６と整合するオーディオデータ１１２の１つ以上のセグメント１２２を識別するように構成されたオーディオテキストアライナ１２０を含む。言い換えれば、オーディオテキストアライナ１２０は、時間情報１１５を含むトランスクリプション１１４を受け取り、時間情報１１５を使用して、トランスクリプション１１４の特定のフレーズ１１６と整合するオーディオデータ１１２のセグメント１２２を識別し、識別された各セグメント１２２を含むオーディオデータ１１２を出力する。より具体的には、オーディオテキストアライナ１２０は、対応する時間情報１１５を含むトランスクリプション１１４を受信し、トランスクリプション１１４には「ミスターソームズとミスターハヴィシャムはこの情報に圧倒された」という内容が含まれる。ここで、「ソームズ」は特定のフレーズ１１６ａであり、また、「ハヴィシャム」は特定のフレーズ１１６ｂである。識別された特定のフレーズ１１６ａ、１１６ｂは、トレーニングデータセット２１０の中の同じ情報のカテゴリ２１２（図２）（例えば、キャラクター名）に属している可能性がある。オーディオテキストアライナ１２０は、時間情報１１５を使用して、トランスクリプション１１４をオーディオデータ１１２と整合させ、オーディオテキストアライナ１２０が、特定のフレーズ１１６ａ、１１６ｂを伝えるオーディオデータ１１２の中のセグメント１２２ａ、１２２ｂを識別できるようにする。この例では、オーディオテキストアライナ１２０は、トランスクリプション１１４の特定のフレーズ「ソームズ」１１６ａと整合するオーディオデータ１２２のセグメント１２２ａを識別し、また、トランスクリプション１１４の特定のフレーズ「ハヴィシャム」１１６ｂと整合するオーディオデータ１２２のセグメント１２２ｂも識別する。オーディオテキストアライナ１２０が、特定のフレーズ１１６ａ、１１６ｂと整合するオーディオデータ１１２のセグメント１２２ａ、１２２ｂを識別すると、識別されたセグメント１２２ａ、１２２ｂを含むオーディオデータ１１２がデータ拡張器１３０に提供され、オーディオデータ１１２が拡張されて、修正されたオーディオデータ３００を生成する。

【0024】

データ拡張器１３０は、１つ以上の特定のフレーズ１１６に対応する１つ以上の識別されたセグメント１２２を含むオーディオデータ１１２を受信し（例えば、オーディオテキストアライナ１２０から）、オーディオデータ１１２の各識別されたセグメント１２２に対してデータ拡張を実行し、発話１０６を特徴付けるオーディオデータ１１２の対応する特定のフレーズ１１６を難読化する。つまり、データ拡張器１３０は、オーディオデータ１１２を受信し、特定のフレーズ１１６に対応する識別されたセグメント１２２に基づいて、オーディオデータ１１２を拡張し、特定のフレーズ１１６を難読化する拡張オーディオセグメント３０２（図３）を含む修正されたオーディオデータ３００を生成する。いくつかの実施態様では、データ拡張器１３０は、データ拡張技法を使用してオーディオデータ１１２を修正し、対応する識別された特定のフレーズ１１６と整合する識別された各セグメント１２２を歪ませる。本明細書での例は、データ拡張器１３０が、識別されたセグメント１２２の長さに対応する持続時間のノイズを追加することによって、オーディオデータ１１２を修正することを指す。ノイズに加えて、またはノイズの代わりに、他のデータ拡張技法を適用することもできる。

【0025】

データ拡張器１３０が、識別されたセグメント１２２の特定のフレーズ１１６を難読化してオーディオデータ１１２を修正し、修正されたオーディオデータ３００を生成した後、モデル１５０は修正されたオーディオデータ３００を受け取り、修正されたオーディオデータ３００を使用して、修正されたオーディオデータ３００の対応する予測トランスクリプション１５４を出力として生成する。つまり、モデル１５０は、修正されたオーディオデータ３００を受信し、修正されたオーディオデータ３００に基づいて、修正されたオーディオデータ３００の予測トランスクリプション１５４を生成する。漏洩検出器１７０は、入力として、修正されたオーディオデータ３００の予測トランスクリプション１５４とグラウンドトゥルーストランスクリプション１１４を受け取り、出力として、トレーニングされたＡＳＲモデル３００が、ＡＳＲモデル１５０のトレーニングに使用されたトレーニングデータセット２１０から特定のフレーズ１１６または類似のフレーズ１１７のいずれかを漏洩したかどうかを示すインジケーション１８０を生成する。つまり、漏洩検出器１７０は、修正されたオーディオデータ３００の予測トランスクリプション１５４を発話１０６のグラウンドトゥルーストランスクリプション１１４と比較し、修正されたオーディオデータ３００でノイズに置き換えられた特定のフレーズ１１６が予測トランスクリプション１５４に含まれているかどうかを判定する。示されている例では、出力インジケーション１８０は、修正されたオーディオデータ３００が対応するオーディオセグメント１２２ｂをノイズで拡張しているにもかかわらず、修正されたオーディオデータ３００から正確な特定のフレーズ１１６ｂ「ハヴィシャム」が抽出されたことを示す。漏洩検出器１７０が、予測トランスクリプション１５４に、特定のフレーズ１１６または、特定のフレーズ１１６と同じ情報のカテゴリ２１２に関連付けられたトランスクリプション１１４からの特定のフレーズ１１６の代わりに使用される別の類似フレーズ１１７が含まれていないことを判定すると、モデル１５０のトレーニングに使用されたトレーニングデータセット２１０の情報のカテゴリ２１２から、モデル１５０がいずれの特定のフレーズ１１６をも漏洩していないことを示す出力１８０を、漏洩検出器１７０は生成する。

【0026】

いくつかの例では、予測トランスクリプション１５４には、トランスクリプション１１４からの特定のフレーズ１１６と同じ情報のカテゴリ２１２（図２）に関連付けられた別のフレーズ１１７が含まれる。例えば、情報のカテゴリ２１２には、キャラクター名、住所、郵便番号、生年月日、患者の診断、またはモデル１５０のトレーニングに使用されるトレーニングデータセット２１０のタイプを言及するその他いずれかの情報のカテゴリ２１２が含まれる場合がある。これらの例では、漏洩検出器１７０は、モデル１５０のトレーニングに使用されたトレーニングデータセット２１０からモデル１５０が他のフレーズ１１７を漏洩したことを示す出力１８０を生成する。示されている例では、出力インジケーション１８０は、特定のフレーズ１１６ａ「ソームズ」を難読化するためにノイズで拡張された対応するオーディオセグメント１２２ａの位置で、修正されたオーディオデータ３００から類似のフレーズ１１７「ヘイル」が抽出されたことを示する。ここで、「ヘイル」と「ソームズ」は両方とも、ＡＳＲモデル３００をトレーニングするために使用されたオーディオブックのキャラクター名に対応しており、フレーズ「ヘイル」を認識するＡＳＲモデル１５０は、トレーニングされたＡＳＲモデル１５０が、特定のフレーズ１１６ａ「ソームズ」を類似のフレーズ１１７「ヘイル」に置き換えることによって、トレーニングデータセット２１０からデータを漏洩していることを示している。

【0027】

いくつかの例では、出力１８０には、ユーザ１０４が確認するための漏洩レポート１８２が含まれる。例えば、漏洩レポート１８２は、ユーザデバイス１０２のディスプレイ／画面１０５またはユーザ１０４に関連付けられた別のディスプレイデバイスに表示される場合がある。ユーザデバイス１０２は、ユーザデバイス１０２のユーザ１０４に漏洩レポート１８２の表現を提示するように構成されたユーザインターフェイスジェネレータを実行することができる。漏洩レポート１８２には、漏洩が検出されたときの通知／警告、またはモデル１５０がトレーニングデータセット２１０から情報を漏洩していないという通知が含まれる場合がある。いくつかの例では、漏洩レポート１８２は、複数のオーディオデータ１１２とトランスクリプション１１４のペアからの出力１８０の集計を含み、抽出された特定のフレーズ（例えば、特定のフレーズ１１６そのもの、または特定のフレーズ１１６の代わりに使用され、同じ情報のカテゴリ２１２に関連付けられた他の類似のフレーズ１１７）の割合を示し、そのためモデル１５０によって漏洩される。漏洩レポート１８０は、トレーニングされたＡＳＲモデル１５０が、一部の具体的な情報のカテゴリ２１２に関連付けられたトレーニングデータセット２１０からデータを漏洩しているが、他のものはそうではないことを示す場合もある。例えば、漏洩レポート１８２は、名前／固有名詞に関連する情報のカテゴリ２１２で漏洩が検出されたが、生年月日、口座番号などに関連する他の情報のカテゴリ２１２では漏洩が検出されなかったことを示す可能性がある。これらのシナリオでは、ＡＳＲモデル１５０が一部の情報のカテゴリ２１２からデータを漏洩し、他のカテゴリからは漏洩していないことを示す漏洩レポート１８２のインジケーションは、フレーズ抽出モデル１０８に入力された複数のオーディオデータ１１２とトランスクリプション１１４のペアからノイズに置き換えられると識別された特定のフレーズ１１６に関連付けられた情報のカテゴリに、基づくことができる。

【0028】

いくつかの実施態様では、モデル１５０が、モデル１５０のトレーニングに使用されたトレーニングデータセット２１０から情報のカテゴリ２１２に含まれる特定のフレーズ１１６及び／または類似のフレーズ１１７を漏洩したと漏洩検出器１７０が判定すると、漏洩検出器１７０は、モデル１５０のセキュリティ／プライバシーを向上させるために、モデル１５０のモデル更新１８４をさらに生成する。つまり、モデル更新１８４は、モデル１５０を更新して、データ（特定のフレーズ１１６または類似のフレーズ１１７など）がそれ以上漏洩しないようにすることができる。これらの実施態様では、ＡＳＲシステム１０８を自動化することができ、それによって、漏洩検出器１７０はモデル更新１８４をモデル１５０に自動的に供与する。モデル更新１８４には、モデル１５０が、特定のフレーズ１１６と整合するオーディオデータ１１２の識別されたセグメント１２２が発生し、特定のフレーズ１１６がモデル１５０によって出力される予測トランスクリプション１５４に含まれない場合に、将来の予測トランスクリプション１５４にシンボル「＃＃＃＃＃」または空白のみを出力するようにするパラメータが含まれ得る。さらに、または代わりに、モデル更新１８４を漏洩レポート１８２に含めて、モデル１５０のセキュリティを向上させるためにユーザ１０２が実行すべき手順を伝えることもできる。

【0029】

図３を簡単に参照すると、データ拡張器１３０は、オーディオデータ１１２内の識別されたセグメント１２２ａ、１２２ｂに対してデータ拡張を実行して、発話１０６で述べられた特定のフレーズ１１６ａ、１１６ｂを難読化し、対応するマスクされたセグメント３０２を生成する。本明細書で使用される場合、「マスクされたセグメント」と「拡張されたセグメント」は交換可能に使用され得る。データ拡張器１３０は、オーディオデータ１１２の識別されたセグメント１２２ａ、１２２ｂにノイズを追加することによってデータ拡張を実行することができる。いくつかの例では、データ拡張器１３０は、オーディオデータ１１２内の識別されたセグメント１２２ａ、１２２ｂをノイズの多いオーディオセグメントと連結して、オーディオデータ１１２と追加されたノイズの多いオーディオセグメントの両方を含む拡張オーディオセグメント３０２ａ、３０２ｂを生成する。他の例では、データ拡張器１３０は、識別されたセグメント１２２ａ、１２２ｂ内のオーディオデータ１１２をノイズの多いオーディオセグメントに置き換えることによって、拡張されたオーディオセグメント３０２ａ、３０２ｂを生成する。言い換えれば、データ拡張器１３０は、識別されたセグメント１２２ａ、１２２ｂに発生するオーディオデータ１１２を削除し、対応するノイズの多いオーディオセグメントを挿入して、修正されたオーディオデータ３００において拡張されたオーディオセグメント３０２ａ、３０２ｂを生成する。

【0030】

いくつかの実施態様では、識別されたセグメント１２２ａ、１２２ｂ内の特定のフレーズ１１６ａ、１１６ｂがオーディオデータ１１２の残りの部分にオーバーフローするのを制限するために、データ拡張器１３０は拡張されたオーディオセグメント３０２ａ、３０２ｂにおいてパディングを含める。パディングは、識別されたセグメント１２２ａ、１２２ｂをオーディオデータ１１２の残りの部分から分離するための時間の分量（例えば、１００ミリ秒）である場合がある。これらの実施態様では、識別された各セグメント１２２ａ、１２２ｂの前後にパディングが追加される。識別されたセグメント１２２ａ、１２２ｂにパディングが追加されると、データ拡張器１３０はパディングと識別されたセグメント１２２ａ、１２２ｂに対してデータ拡張を実行し、修正されたオーディオデータ３００内に拡張されたオーディオセグメント３０２ａ、３０２ｂを生成する。

【0031】

図１に戻ると、識別されたセグメント１２２ａ、１２２ｂを難読化する拡張されたオーディオセグメント３０２ａ、３０２ｂを含む修正されたオーディオデータ３００がモデル１５０に供与され、それは順次「ミスターヘイルとミスターハヴィシャムはこの情報に圧倒されました」という予測トランスクリプション１５４を生成する。この例では、予測トランスクリプション１５４には、特定のフレーズ１１６ｂ「ハヴィシャム」と、トランスクリプション１１４の特定のフレーズ１１６ａ「ソームズ」の代わりをする別のフレーズ１１７「ヘイル」が含まれている。他のフレーズ１１７「ヘイル」は、特定のフレーズ１１６ａ「ソームズ」と同じ情報のカテゴリ２１２に関連付けられており、他のフレーズ１１７と特定のフレーズ１１６ａは両方とも、モデル１５０のトレーニングに使用されるトレーニングデータセット２１０内の同じ情報のカテゴリ２１２（例えば、キャラクター名）に関連付けられている。

【0032】

漏洩検出器１７０は、他のフレーズ１１７及び特定のフレーズ１１６ｂを含む予測トランスクリプション１５４と、識別された特定のフレーズ１１６ａ、１１６ｂを含むグラウンドトゥルーストランスクリプション１１４を比較して、トレーニングされたＴＴＳモデル１５０が、モデル１５０のトレーニングに使用されたトレーニングデータセット２１０から特定のフレーズ１１６ｂ及び他のフレーズ１１７を漏洩したかどうかを判定する。ここで、漏洩検出器１７０は、特定のフレーズ１１６ｂに修正されたオーディオデータから抽出された完全一致が含まれていると判定する場合がある。漏洩検出器１７０は、さらに、他のフレーズ１１７「ヘイル」が特定のフレーズ１１６ａ「ソームズ」と完全に一致しないが、「ヘイル」と「ソマエス」は両方とも、ＡＳＲモデル１５０をトレーニングするために使用されるトレーニングデータセット２１０（オーディオブックなど）内の同じ情報のカテゴリ（キャラクター名など）に関連付けられているため、他のフレーズ１１７は類似のフレーズに対応すると判定する場合がある。モデル１５０が特定のフレーズ１１６ｂと他のフレーズ１１７を漏洩したと判定することに応答して、漏洩検出器１７０は、モデル１５０のトレーニングに使用されたトレーニングデータセット２１０から、モデル１５０が特定のフレーズ１１６ｂと他のフレーズ１１７を漏洩したことを示す出力１８０を生成する。

【0033】

漏洩検出器１７０からの出力１８０は、「警告：トレーニングされたＡＳＲモデルがトレーニングデータセットからデータを漏洩している」という内容を伝える漏洩レポート１８２をさらに含み得るか、または、それをコンパイルするために使用できる。警告は、複数のテスト発話を特徴付けるオーディオデータ１１２から特定のフレーズまたは類似のフレーズがしきい値の数抽出されたときに発生し得る。示されている例では、漏洩レポート１８２は、漏洩した特定のフレーズ１１６を含む１つ以上の以前の出力１８０の集計を「８５％正確なフレーズが抽出されました」としてさらに伝え、漏洩した他のフレーズ１１７を含む１つ以上の以前の出力１８０の集計を「７９％類似フレーズが抽出されました」として伝える。上で説明したように、漏洩レポート１８２は、ユーザデバイス１０２の画面１０５に表示され、ユーザデバイス１０２のユーザ１０４に漏れが検出されたかどうかを通知する。漏洩検出器１７０は、モデル１５０のセキュリティ／プライバシーを向上させ、モデル１５０のトレーニングに使用されるトレーニングデータセット２１０からのさらなる情報漏洩を防ぐために、モデル１５０にモデル更新１８４をさらに供与することができる。モデル１５０は、モデル更新１８４を使用してモデル１５０を自動的に更新し、及び／またはモデル更新１８４に、トレーニングデータセット２１０からのデータ漏洩を防ぐためにモデル１５０を更新するためのユーザの命令／提案を含めることができる。

【0034】

図２を参照すると、フレーズ抽出メカニズム１０８にはフレーズ識別器２００が含まれ得、これにより、ユーザ１０２は、フレーズ識別器２００が発話１０６内で識別するトレーニングデータセット２１０の具体的な情報のカテゴリ２１２を選択できるようになる。いくつかの例では、ユーザ１０２は、モデル１５０をトレーニングするために使用されるトレーニングデータセット２１０内の情報のカテゴリ２１２に対応するカテゴリ選択入力２０２を行う。他の例では、ユーザ１０２は、トランスクリプション１１４内の特定のフレーズ１１６を識別して、修正されたオーディオデータ３００内で難読化するようにする。例えば、トランスクリプション１１４は画面１０５に表示され得、ユーザ１０２は、修正されたオーディオデータ３００で難読化する特定のフレーズ１１６を識別するためのユーザ入力のインジケーションを供与することができる。

【0035】

トレーニングデータセット２１０内の各情報のカテゴリ２１２には、情報のカテゴリ２１２に対応する１つ以上の例示的フレーズ２１４、２１４ａ～ｎが含まれる場合がある。ユーザ１０２がフレーズ識別器２００にカテゴリ選択入力２０２を供与すると、フレーズ識別器２００はトランスクリプション１１４を処理して、トランスクリプション１１４内に存在する情報のカテゴリ２１２に対応する例示的フレーズ２１４を識別することができる。フレーズ識別器２００は、これらの識別された例示的フレーズ２１４を、トランスクリプション１１４内の識別された特定のフレーズ１１６として出力する。言い換えれば、ユーザ１０２は、フレーズ識別器２００のカテゴリ選択入力２０２を入力して、カテゴリ選択入力２０２に関連付けられたカテゴリ２１２に属する発話１０６内の特定のフレーズ１１６を識別する。例えば、情報のカテゴリ２１２は、ＡＳＲモデル１５０をトレーニングするために使用されるオーディオブックのキャラクター名に対応する場合がある。ここで、例示的フレーズ２１４には、トレーニングデータセット２１０に出現するすべてのキャラクター名（例えば、ソームズ、ハヴィシャム、ヘイルなど）のリストが含まれる場合がある。

【0036】

図２に示すように、カテゴリ選択入力２０２と対応するグラウンドトゥルーストランスクリプション１１４がフレーズ識別器２００に提供され、それに応じて、フレーズ識別器２００は、発話１０６のグラウンドトゥルーストランスクリプション１１４に、カテゴリ選択入力２０２によって指定された情報のカテゴリ２１２に関連付けられたいずれかの特定のフレーズ１１６が含まれているかどうかを判定する。この例では、カテゴリ選択入力２０２は、具体的な名前の情報のカテゴリ２１２ａを指定する（例えば、「キャラクター名を探す」）。名前の情報のカテゴリ２１２ａは、「ソームズ」、「ヘイル」、及び「ハヴィシャム」を含み得る例示的フレーズ２１４ａ～ｎを含む。フレーズ識別器２００は、例示的フレーズ２１４ａ～ｎを含む情報のカテゴリ２１２ａとトランスクリプション１１４を処理し、トランスクリプション１１４に、カテゴリ選択入力２０２として入力された具体的な情報のカテゴリ２１２ａに属する「ソームズ」及び「ハヴィシャム」という特定のフレーズ１１６ａ、１１６ｂが含まれていることを自動的に判定する。次に、フレーズ識別器２００は、修正のためトランスクリプション１１４をオーディオテキストアライナ１２０に供与する。言い換えれば、オーディオテキストアライナ１２０及びデータ拡張器１３０は、特定のフレーズ１１６ａ、１１６ｂが名前の具体的な情報のカテゴリ２１２ａに関連付けられたトランスクリプション１１４に含まれていることを識別したフレーズ識別器２００に応答して、オーディオデータ１１２を修正する。この例は説明のみのものであり、情報のカテゴリ２１２の範囲を制限することを意図したものではない。情報のカテゴリ２１２には、名前、住所、日付、郵便番号、患者の診断、口座番号、電話番号など、トレーニングデータセット２１０を特徴付ける任意のカテゴリを含めることができる。

【0037】

図４は、ＡＳＲモデルのフレーズ抽出方法４００の動作の例示的構成のフローチャートである。方法４００は、動作４０２において、発話１０６を特徴付けるオーディオデータ１１２及び発話１０６の対応するグラウンドトゥルーストランスクリプション１１４を取得することを含む。動作４０４では、方法４００は、発話１０６で述べられた特定のフレーズ１１６を難読化するためにオーディオデータ１１２を修正することを含む。

【0038】

動作４０６では、方法４００には、トレーニングされたＡＳＲモデル１５０を使用して修正されたオーディオデータ３００を処理し、発話１０６の予測トランスクリプション１５４を生成することも含まれる。方法４００は、さらに、動作４０８において、発話１０６の予測トランスクリプション１５４を発話１０６のグラウンドトゥルーストランスクリプション１１４と比較することによって、予測トランスクリプション１５４に特定のフレーズ１１６が含まれているかどうかを判定することを含む。動作４１０では、方法４００は、予測トランスクリプション１５４に特定のフレーズ１１６が含まれているとき、トレーニングされたＡＳＲモデル１５０がＡＳＲモデル１５０をトレーニングするために使用されたトレーニングデータセット２１０から特定のフレーズ１１６を漏洩したことを示す出力１８０を生成することも含む。

【0039】

図５は、本文書に記載のシステム及び方法を実装するために使用できる例示的なコンピューティングデバイス５００の概略図である。コンピューティングデバイス５００は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、及びその他の適切なコンピュータなど、様々な形式のデジタルコンピュータを表すことを意図している。ここで示されているコンポーネント、それらの接続と関係、及びそれらの機能は、例示のみを目的としており、この文書で説明及び／または特許請求されている実施態様の実施態様を制限することを意図してはいない。

【0040】

コンピューティングデバイス５００には、プロセッサ５１０、メモリ５２０、ストレージデバイス５３０、メモリ５２０及び高速拡張ポート５５０に接続する高速インターフェイス／コントローラ５４０、及び低速バス５７０及びストレージデバイス５３０に接続する低速インターフェイス／コントローラ５６０が含まれる。コンポーネント５１０、５２０、５３０、５４０、５５０、及び５６０の各々は、様々なバスを使用して相互接続されており、共通のマザーボードに据え付けられるか、または必要に応じて他の方法で存在することもできる。プロセッサ５１０（例えば、図１のデータ処理ハードウェア１１１）は、メモリ５２０またはストレージデバイス５３０に記憶された命令を含む、コンピューティングデバイス５００内で実行するための命令を処理して、高速インターフェイス５４０に接続されたディスプレイ５８０などの外部入力／出力デバイスにグラフィカルユーザインターフェイス（ＧＵＩ）のグラフィカル情報を表示することができる。他の実施態様では、複数のメモリ及びメモリの種類と共に、必要に応じて複数のプロセッサ及び／または複数のバスが使用される場合がある。また、複数のコンピューティングデバイス５００が接続され、各デバイスが必要な動作の一部を行う場合もある（例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）。

【0041】

メモリ５２０（例えば、図１のメモリハードウェア１１３）は、コンピューティングデバイス５００内部に情報を非一時的に保存する。メモリ５２０は、コンピュータ可読媒体、揮発性メモリユニット（複数可）、または不揮発性メモリユニット（複数可）であり得る。非一時的メモリ５２０は、コンピューティングデバイス５００で使用するために一時的または永続的にプログラム（例えば、命令のシーケンス）またはデータ（例えば、プログラム状態情報）を格納するために使用される物理デバイスであり得る。不揮発性メモリの例には、フラッシュメモリ及び読み取り専用メモリ（ＲＯＭ）／プログラム可能な読み取り専用メモリ（ＰＲＯＭ）／消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）／電子的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）（例えば、通常はブートプログラムなどのファームウェアに使用される）を含むがそれらに限定されない。揮発性メモリの例には、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）、ならびにディスク、またはテープを含むがそれらに限定されない。

【0042】

ストレージデバイス５３０は、コンピューティングデバイス５００にマスストレージを設けることができる。いくつかの実施態様では、ストレージデバイス５３０はコンピュータ可読媒体である。様々な異なる実施態様では、ストレージデバイス５３０は、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリまたはその他の同様のソリッドステートメモリデバイス、またはストレージ領域ネットワークまたはその他の構成のデバイスを含むデバイスのアレイであることができる。追加の実施態様では、コンピュータプログラム製品は、情報キャリアに有形に具現化される。コンピュータプログラム製品は、実行時に上記のような１つ以上の方法を実行する命令も含む。情報キャリアは、メモリ５２０、ストレージデバイス５３０、またはプロセッサ５１０上のメモリなどのコンピュータ可読媒体または機械可読媒体である。

【0043】

高速コントローラ５４０は、コンピューティングデバイス５００の帯域幅集約動作をより管理し、低速コントローラ５６０は、帯域幅集約動作をより少なく管理する。このような職務の割り当ては単なる例である。いくつかの実施態様では、高速コントローラ５４０は、メモリ５２０、ディスプレイ５８０（例えば、グラフィックプロセッサまたはアクセラレータを介して）、及び様々な拡張カード（図示せず）を受け入れることができる高速拡張ポート５５０に結合される。いくつかの実施態様では、低速コントローラ５６０は、ストレージデバイス５３０及び低速拡張ポート５９０に結合される。低速拡張ポート５９０には、様々な通信ポート（ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、イーサネット、ワイヤレスイーサネットなど）が含まれる場合があり、ネットワークアダプタなどを介して、キーボード、ポインティングデバイス、スキャナ、またはスイッチやルータなどのネットワークデバイスなどの１つ以上の入力／出力デバイスに接続できる。

【0044】

コンピューティングデバイス５００は、図に示すように、多くの様々な形式で実装できる。例えば、それは標準サーバ５００ａとして、またはそのようなサーバ５００ａのグループで複数回、ラップトップコンピュータ５００ｂとして、またはラックサーバシステム５００ｃの一部として実装できる。

【0045】

本明細書で説明するシステム及び技術の様々な実施態様は、デジタル電子回路及び／または集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／またはそれらの組み合わせで実現できる。これらの様々な実施態様は、ストレージシステムからのデータ及び命令を受信し、ストレージシステムにデータ及び命令を送信するように結合された、特殊または汎用であり得る、少なくとも１つのプログラマブルプロセッサ、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスを含んだプログラム可能なシステムで実行可能及び／または解釈可能な１つまたは複数のコンピュータプログラムにおける実装を含み得る。

【0046】

ソフトウェアアプリケーション（つまり、ソフトウェアリソース）は、コンピューティングデバイスにタスクを実行させるコンピュータソフトウェアを指す場合がある。いくつかの例では、ソフトウェアアプリケーションは「アプリケーション」、「アプリ」、または「プログラム」と呼ばれることがある。例示的なアプリケーションとしては、システム診断アプリケーション、システム管理アプリケーション、システム保守アプリケーション、ワードプロセッシングアプリケーション、スプレッドシートアプリケーション、メッセージングアプリケーション、メディアストリーミングアプリケーション、ソーシャルネットワーキングアプリケーション、ゲームアプリケーションを含むがそれらに限定されない。

【0047】

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる）は、プログラマブルプロセッサのための機械命令を含み、かつ高水準手続型及び／またはオブジェクト指向プログラミング言語、及び／またはアセンブリ／機械言語で実装されることができる。本明細書で使用される場合、「機械可読媒体」及び「コンピュータ可読媒体」とは、機械命令及び／またはデータを、機械可読信号として機械命令を受け取る機械可読媒体を含むプログラマブルプロセッサに提供するために用いられる、あらゆるコンピュータプログラム製品、非一時的なコンピュータ可読媒体、装置及び／またはデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブル論理回路（ＰＬＤ））を指す。「機械可読信号」という用語は、機械命令及び／またはデータをプログラマブルプロセッサに提供するために用いられるあらゆる信号を指す。

【0048】

この明細書で説明されているプロセスとロジックフローは、データ処理ハードウェアとも呼ばれる１つ以上のプログラム可能なプロセッサによって実行され得、１つ以上のコンピュータプログラムを実行して、入力データに対して動作を行い、出力を生成することによって機能を実行する。プロセスとロジックフローはまた、特定用途論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によっても実行可能である。コンピュータプログラムの実行に適切なプロセッサは、例として、汎用プロセッサ及び特殊目的プロセッサの両方、及び任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。概して、プロセッサは、リードオンリメモリ、またはランダムアクセスメモリ、または両方から命令及びデータを受信する。コンピュータの必須要素は、命令を実行するプロセッサと、命令とデータを格納する１つ以上のメモリデバイスである。一般に、コンピュータは、磁気ディスク、光磁気ディスク、光ディスクなどのデータを格納するための１つ以上のマスストレージデバイスも含む、または、それらからデータを受信するか、それらにデータを転送するか、あるいはその両方を行うべく、動作するようそれらに結合される。ただし、コンピュータがそのようなデバイスを有する必要はない。コンピュータプログラムの命令やデータの保存に適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、メディア、メモリデバイスを含み、例として半導体メモリデバイス、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス、磁気ディスク、例えば、内蔵ハードディスクまたはリムーバブルディスク、光磁気ディスク、及びＣＤ ＲＯＭ及びＤＶＤ－ＲＯＭディスクを含む。プロセッサとメモリは、専用ロジック回路によって補完されるか、または専用ロジック回路に組み込まれ得る。

【0049】

ユーザとのインタラクションを行うために、本開示の１つ以上の態様は、表示デバイス、例えばユーザに対して情報を表示するためのＣＲＴ（ブラウン管）、ＬＣＤ（液晶画面）モニタ、またはタッチスクリーン、及び任意選択で、ユーザが使用してコンピュータに入力を行うことができる、キーボード及びポインティングデバイス、例えばマウスまたはトラックボールを有するコンピュータにおいて実装できる。他の種類のデバイスもまた、ユーザとのインタラクションを行うために用いられることができ、例えば、ユーザに提供されるフィードバックは、あらゆる形式の感覚的フィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であることができ、及びユーザからの入力は、音響、音声言語、または触覚入力を含む任意の形式で受信することができる。さらに、コンピュータは、ユーザが使用するデバイスにドキュメントを送受信することで、例えば、ウェブブラウザから受信した要求に応じて、ユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することで、ユーザとインタラクトできる。

【0050】

数多くの実施態様が説明されている。言うまでもなく、本開示の趣旨及び範囲から逸脱することなく、多様な修正が成され得ることが理解される。したがって、他の実施態様は、以下の特許請求の範囲内である。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】