(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-02
(45)【発行日】2024-08-13
(54)【発明の名称】全二重音声インタラクションシステムのテスト方法及び装置
(51)【国際特許分類】
G10L 15/01 20130101AFI20240805BHJP
【ＦＩ】
G10L15/01 200
【請求項の数】
9
(21)【出願番号】P 2022569085
(86)(22)【出願日】2020-11-17
(65)【公表番号】
(43)【公表日】2023-06-21
(86)【国際出願番号】 CN2020129352
(87)【国際公開番号】W WO2021232710
(87)【国際公開日】2021-11-25
【審査請求日】2023-01-10
(31)【優先権主張番号】202010432769.6
(32)【優先日】2020-05-20
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】520235782
【氏名又は名称】エーアイ スピーチ カンパニー リミテッド
【氏名又は名称原語表記】ＡＩ ＳＰＥＥＣＨ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｎｏ．１４ Ｂｕｉｌｄｉｎｇ，Ａｓｃｅｎｄａｓ ＩＨｕｂ，Ｎｏ．３８８ Ｘｉｎｐｉｎｇ Ｓｔｒｅｅｔ，Ｓｕｚｈｏｕ Ｉｎｄｕｓｔｒｉａｌ Ｐａｒｋ Ｓｕｚｈｏｕ，Ｊｉａｎｇｓｕ ２１５１２３（ＣＮ）
(74)【代理人】
【識別番号】110004222
【氏名又は名称】弁理士法人創光国際特許事務所
(74)【代理人】
【識別番号】100166006
【弁理士】
【氏名又は名称】泉 通博
(74)【代理人】
【識別番号】100154070
【弁理士】
【氏名又は名称】久恒 京範
(74)【代理人】
【識別番号】100153280
【弁理士】
【氏名又は名称】寺川 賢祐
(72)【発明者】
【氏名】シ、ウェイシ
(72)【発明者】
【氏名】ファン、シュアイ
(72)【発明者】
【氏名】ソン、ホンボ
【審査官】中村 天真
(56)【参考文献】
【文献】特開２０１４－０７７９６９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０３７１３２２（ＵＳ，Ａ１）
【文献】米国特許出願公開第２００５／０１９７８３６（ＵＳ，Ａ１）
【文献】特開２０１７－０９７２３３（ＪＰ，Ａ）
【文献】特開２０１５－０４５６８９（ＪＰ，Ａ）
【文献】特開２０１１－１５４０９９（ＪＰ，Ａ）
【文献】特開２００４－０２９２１５（ＪＰ，Ａ）
【文献】特開２００２－３２８６９６（ＪＰ，Ａ）
【文献】国際公開第２０１９／０９８０３８（ＷＯ，Ａ１）
【文献】中国特許出願公開第１１１１７９９０７（ＣＮ，Ａ）
【文献】SAS Institute Japan株式会社，AI実用化のための実践ガイド，第1版，株式会社リックテレコム，2019年02月，p.142-143
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ １５／００－１５／３４
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
テスト装置に用いられる全二重音声インタラクションシステムのテスト方法であって、テストシーンに関連する有効なコーパスセットとテストシーンに関連しない無効なコーパスセットとを混合して、シーン混合コーパスセットを確定するステップと、
前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置に前記シーン混合コーパスセット内の各コーパスオーディオを再生するステップと、
少なくとも第１のログと第２のログと第３のログとを含む、前記テスト対象の音声インタラクション装置の作業ログを取得するステップと、
前記第１のログにおける無効なコーパスオーディオの数と、前記第２のログにおける破棄結果の数とに基づいて棄却率を確定するステップと、
前記第２のログにおいて応答決定結果を出力すべきでないと予想されながら実際に応答決定結果を受信したログの数を統計することにより、誤応答回数を取得し、前記誤応答回数と再生されたコーパスオーディオの総数に基づいて、誤応答率を確定するステップと、
を含み、
前記第１のログには、各コーパスオーディオを認識した有効・無効な属性及び対応するコーパステキストが記録され、
前記第２のログには、応答と破棄とを含む、各コーパスオーディオの決定結果が記録され、
前記第３のログには、各コーパスオーディオに対するインタラクション結果が記録され、前記インタラクション結果には、前記コーパスオーディオの放送予定テキストと、前記コーパスオーディオの装置動作命令と、が含まれ、
前記第１のログにおける各コーパスオーディオのコーパステキストにより、対応する予想の放送予定テキスト及び予想の装置動作命令を確定し、
前記各コーパスオーディオのインタラクション結果内の前記放送予定テキストが対応する予想の放送予定テキストに一致し、且つ前記装置動作命令が対応する予想の装置動作命令に一致する場合、前記インタラクション結果は予想に合致し、
前記第３のログにおける予想に合致するインタラクション結果のログの数を統計することにより、インタラクション成功回数を取得し、前記インタラクション成功回数と再生されたコーパスオーディオの総数に基づいて、インタラクション成功率を確定する、
ことを特徴とする全二重音声インタラクションシステムのテスト方法。
【請求項2】
前記第３のログには、各コーパスオーディオに対するインタラクション結果が記録され、前記インタラクション結果には前記コーパスオーディオの認識結果が更に含まれ、前記第１のログにおける各コーパスオーディオのコーパステキストと前記コーパスオーディオの認識結果に基づいて、字認識の正確率及び文認識の正確率を確定する、
ことを特徴とする請求項１に記載の全二重音声インタラクションシステムのテスト方法。
【請求項3】
前記作業ログには、少なくとも第４のログと、第５のログとが含まれ、前記第４のログには、各コーパスオーディオに対して再生を終了した第１のタイムスタンプが記録され、
前記第５のログには、各コーパスオーディオに対して再生を終了した後に認識結果を確定する第２のタイムスタンプが記録され、
前記第２のタイムスタンプと前記第１のタイムスタンプの時間差に基づいて、前記テスト対象の音声インタラクション装置の認識応答時間を確定する、
ことを特徴とする請求項１に記載の全二重音声インタラクションシステムのテスト方法。
【請求項4】
前記作業ログには、少なくとも第６のログが含まれ、前記第６のログの記録には、各コーパスオーディオに対するインタラクション結果時刻を確定した第３のタイムスタンプが記録され、
前記第３のタイムスタンプと前記第２のタイムスタンプの時間差に基づいて、前記テスト対象の音声インタラクション装置のインタラクション応答時間を確定する、
ことを特徴とする請求項３に記載の全二重音声インタラクションシステムのテスト方法。
【請求項5】
前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置に前記シーン混合コーパスセット内の各コーパスオーディオを再生するとともに、前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置にプリセット背景雑音を再生するステップと、背景雑音を有するコーパスオーディオに基づいて前記テスト対象の音声インタラクション装置をテストするステップと、
を更に含むことを特徴とする請求項１に記載の全二重音声インタラクションシステムのテスト方法。
【請求項6】
前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置に前記シーン混合コーパスセット内の各コーパスオーディオを再生するとともに、前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置にプリセット背景雑音を再生するステップにおいては、第１の再生装置により前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置に前記シーン混合コーパスセット内の各コーパスオーディオを再生し、
第２の再生装置により前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置にプリセット背景雑音を再生する、
ことを特徴とする請求項５に記載の全二重音声インタラクションシステムのテスト方法。
【請求項7】
テストシーンに関連する有効なコーパスセットとテストシーンに関連しない無効なコーパスセットとを混合して、シーン混合コーパスセットを確定するために用いられるコーパスセット確定プログラムモジュールと、全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置に前記シーン混合コーパスセット内の各コーパスオーディオを再生するために用いられるテストプログラムモジュールと、
少なくとも第１のログと第２のログと第３のログとを含む、前記テスト対象の音声インタラクション装置の作業ログを取得するために用いられるログ取得プログラムモジュールと、
前記第１のログにおける無効なコーパスオーディオの数、及び前記第２のログにおける破棄結果の数に基づいて棄却率を確定するために用いられる棄却率確定プログラムモジュールと、
前記第２のログにおいて応答決定結果を出力すべきでないと予想されながら実際に応答決定結果を受信したログの数を統計することにより、誤応答回数を取得し、前記誤応答回数と再生されたコーパスオーディオの総数に基づいて、誤応答率を確定するために用いられる誤応答率確定プログラムモジュールと、
を含み、
前記第１のログには、各コーパスオーディオを認識した有効・無効な属性及び対応するコーパステキストが記録され、
前記第２のログには、応答と破棄とを含む、各コーパスオーディオの決定結果が記録され、
前記第３のログには、各コーパスオーディオに対するインタラクション結果が記録され、前記インタラクション結果には、前記コーパスオーディオの放送予定テキストと、前記コーパスオーディオの装置動作命令と、が含まれ、
前記第１のログにおける各コーパスオーディオのコーパステキストにより、対応する予想の放送予定テキスト及び予想の装置動作命令を確定し、
前記各コーパスオーディオのインタラクション結果内の前記放送予定テキストが対応する予想の放送予定テキストに一致し、且つ前記装置動作命令が対応する予想の装置動作命令に一致する場合、前記インタラクション結果は予想に合致し、
前記第３のログにおける予想に合致するインタラクション結果のログの数を統計することにより、インタラクション成功回数を取得し、前記インタラクション成功回数と再生されたコーパスオーディオの総数に基づいて、インタラクション成功率を確定する、
ことを特徴とする全二重音声インタラクションシステムのテスト装置。
【請求項8】
少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信可能に接続されたメモリと、を含む電子機器であって、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、
請求項１～６のいずれか１項に記載の全二重音声インタラクションシステムのテスト方法のステップが実行できるように、前記少なくとも１つのプロセッサによって前記命令を実行させることを特徴とする電子機器。
【請求項9】
コンピュータプログラムが記憶されている記憶媒体であって、前記プログラムがプロセッサによって実行されると、請求項１～６のいずれか１項に記載の全二重音声インタラクションシステムのテスト方法のステップが実現できる、ことを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、インテリジェント音声分野に関し、特に、全二重音声インタラクションシステムのテスト方法及び装置に関する。
【背景技術】
【0002】
音声インタラクションシステムの性能をテストするために、音声インタラクションリンクにおける各モジュールを独立にテストすることができる。例えば、ウェイクアップ・信号処理モジュールにより、ウェイクアップ率、ウェイクアップ時間、消費電力などをテストし、音声認識モジュールにより、文誤り率、字誤り率をテストし、セマンティック理解モジュールにより、正解率、リコール率、解析正解率をテストし、複数人の主観的な評価に基づいて音声合成モジュールを採点する。既存のほとんどの音声インタラクションシステムは半二重インタラクションを使用しており、各モジュールの間に絶対的に秩序化された依存関係があり、システム全体は各モジュールをシリアルに呼び出すことでインタラクションを完成することができる。この場合、モジュール別に独立してテストすることで、要求を満たすことができる。
【0003】
本発明を実現する過程において、発明者は、関連技術に少なくとも以下のような問題があることを発見した。
モジュールが独立にテストされるため、テスト指標が異なり、音声インタラクションシステム全体に対するテスト方法及び評価指標が不足している。全二重システム等の複数のモジュールが融合して決定する複雑なシステムにおいて、各モジュールの指標は評価の需要を満たすことができなくなっている。例えば、半二重対話では、ユーザが発話するたびに、半二重音声インタラクションシステムが応答する。一方、全二重音声インタラクションシステムは有効な要求にのみ応答する。
モジュールが独立にテストされるため、テスト指標が異なり、音声インタラクションシステム全体に対するテスト方法及び評価指標が不足している。全二重システム等の複数のモジュールが融合して決定する複雑なシステムにおいて、各モジュールの指標は評価の需要を満たすことができなくなっている。例えば、半二重対話では、ユーザが発話するたびに、半二重音声インタラクションシステムが応答する。一方、全二重音声インタラクションシステムは有効な要求にのみ応答する。
【発明の概要】
【0004】
本発明は、少なくとも従来技術における音声インタラクションシステム全体に対するテスト方法及び評価指標が不足し、全二重音声インタラクションシステムを合理的かつ効率的にテストすることができない問題を解決することを目的とする。
【0005】
第１の態様によれば、本発明の実施例は、
テストシーンに関連する有効なコーパスセットとテストシーンに関連しない無効なコーパスセットとを混合して、シーン混合コーパスセットを確定するステップと、
前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置に前記シーン混合コーパスセット内の各コーパスオーディオを再生するステップと、
少なくとも第１のログと第２のログとを含む、前記テスト対象の音声インタラクション装置の作業ログを取得するステップと、
前記第１のログにおける無効なコーパスオーディオの数、前記第２のログにおける破棄結果の数に基づいて棄却率を確定するステップと、
前記第２のログにおいて応答決定結果を出力すべきでないと予想されながら実際に応答決定結果を受信したログの数を統計することにより、誤応答回数を取得し、前記誤応答回数と再生されたコーパスオーディオの総数に基づいて、誤応答率を確定するステップと、
を含み、
前記第１のログには、各コーパスオーディオを認識した有効・無効な属性及び対応するコーパステキストが記録され、
前記第２のログには、応答と破棄とを含む、各コーパスオーディオの決定結果が記録されることを特徴とする全二重音声インタラクションシステムのテスト方法を提供する。
テストシーンに関連する有効なコーパスセットとテストシーンに関連しない無効なコーパスセットとを混合して、シーン混合コーパスセットを確定するステップと、
前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置に前記シーン混合コーパスセット内の各コーパスオーディオを再生するステップと、
少なくとも第１のログと第２のログとを含む、前記テスト対象の音声インタラクション装置の作業ログを取得するステップと、
前記第１のログにおける無効なコーパスオーディオの数、前記第２のログにおける破棄結果の数に基づいて棄却率を確定するステップと、
前記第２のログにおいて応答決定結果を出力すべきでないと予想されながら実際に応答決定結果を受信したログの数を統計することにより、誤応答回数を取得し、前記誤応答回数と再生されたコーパスオーディオの総数に基づいて、誤応答率を確定するステップと、
を含み、
前記第１のログには、各コーパスオーディオを認識した有効・無効な属性及び対応するコーパステキストが記録され、
前記第２のログには、応答と破棄とを含む、各コーパスオーディオの決定結果が記録されることを特徴とする全二重音声インタラクションシステムのテスト方法を提供する。
【0006】
第２の態様によれば、本発明の実施例は、
テストシーンに関連する有効なコーパスセットとテストシーンに関連しない無効なコーパスセットとを混合して、シーン混合コーパスセットを確定するために用いられるコーパスセット確定プログラムモジュールと、
前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置に前記シーン混合コーパスセット内の各コーパスオーディオを再生するために用いられるテストプログラムモジュールと、
少なくとも第１のログと第２のログとを含む、前記テスト対象の音声インタラクション装置の作業ログを取得するために用いられるログ取得プログラムモジュールと、
前記第１のログにおける無効なコーパスオーディオの数、前記第２のログにおける破棄結果の数に基づいて棄却率を確定するために用いられる棄却率確定プログラムモジュールと、
前記第２のログにおいて応答決定結果を出力すべきでないと予想されながら実際に応答決定結果を受信したログの数を統計することにより、誤応答回数を取得し、前記誤応答回数と再生されたコーパスオーディオの総数に基づいて、誤応答率を確定するために用いられる誤応答率確定プログラムモジュールと、
を含み、
前記第１のログには、各コーパスオーディオを認識した有効・無効な属性及び対応するコーパステキストが記録され、
前記第２のログには、応答と破棄とを含む、各コーパスオーディオの決定結果が記録される、
ことを特徴とする全二重音声インタラクションシステムのテスト装置を提供する。
テストシーンに関連する有効なコーパスセットとテストシーンに関連しない無効なコーパスセットとを混合して、シーン混合コーパスセットを確定するために用いられるコーパスセット確定プログラムモジュールと、
前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置に前記シーン混合コーパスセット内の各コーパスオーディオを再生するために用いられるテストプログラムモジュールと、
少なくとも第１のログと第２のログとを含む、前記テスト対象の音声インタラクション装置の作業ログを取得するために用いられるログ取得プログラムモジュールと、
前記第１のログにおける無効なコーパスオーディオの数、前記第２のログにおける破棄結果の数に基づいて棄却率を確定するために用いられる棄却率確定プログラムモジュールと、
前記第２のログにおいて応答決定結果を出力すべきでないと予想されながら実際に応答決定結果を受信したログの数を統計することにより、誤応答回数を取得し、前記誤応答回数と再生されたコーパスオーディオの総数に基づいて、誤応答率を確定するために用いられる誤応答率確定プログラムモジュールと、
を含み、
前記第１のログには、各コーパスオーディオを認識した有効・無効な属性及び対応するコーパステキストが記録され、
前記第２のログには、応答と破棄とを含む、各コーパスオーディオの決定結果が記録される、
ことを特徴とする全二重音声インタラクションシステムのテスト装置を提供する。
【0007】
第３の態様によれば、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信可能に接続されたメモリと、を含む電子機器であって、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、本発明のいずれかの実施例の全二重音声インタラクションシステムのテスト方法のステップが実行できるように、前記少なくとも１つのプロセッサによって前記命令を実行させることを特徴とする電子機器を提供する。
【0008】
第４の態様によれば、本発明の実施例は、コンピュータプログラムが記憶されている記憶媒体であって、前記プログラムがプロセッサによって実行されると、本発明のいずれかの実施例の全二重音声インタラクションシステムのテスト方法のステップが実現できる、ことを特徴とする記憶媒体を提供する。
【発明の効果】
【0009】
本発明の実施例によれば、全二重音声インタラクションシステムのエンドツーエンドのテストを実現し、全二重固有の特性に対する指標を正確に取得することができる。テスト過程において、全二重インタラクションシステムの特性に対して全カバーを行い、オンラインインタラクション効果が改善される。また、必要なデータの再現及び指標の支持を提供し、同時に自動化されたテストは人件費を低減させ、テスト効率を向上させる。そして、音声インタラクションシステムの最適化周期を向上させ、試行錯誤コストを低減させる。従来は、システムのインタラクション成功率をテストできない前に、インタラクションの効果は、製品を販売してユーザのフィードバックを収集した後にインタラクション成功率などの指標を得ることにより判断していたが、現在は、製品の販売前にテストにより各シーンでのインタラクション成功率の推定値を得ることができるようになっている。
【図面の簡単な説明】
【0010】
本発明の実施例または従来技術における技術案をより明確に説明するために、以下では、実施例や従来技術の説明において使用する必要がある図面を簡単に説明する。明らかに、これらの図面は本発明のいくつかの実施例であり、当業者は、創造的な労働をすることなく、これらの図面に基づいて他の図面を得ることもできる。
【0011】
【図1】本発明の実施例による全二重音声インタラクションシステムのテスト方法のフローチャートである。
【図2】本発明の実施例による全二重音声インタラクションシステムのテスト方法の並列モジュール概略図である。
【図3】本発明の一実施例による全二重音声インタラクションシステムのテスト装置の構造概略図である。
【図4】本発明の電子機器の一実施例の構造概略図である。
【発明を実施するための形態】
【0012】
本発明の実施例の目的、技術案及び利点をより明確にするために、以下では、本発明の実施例における図面を参照しながら本発明の実施例における技術案を説明する。明らかに、これらの実施例は本発明の一部の実施例であり、全ての実施例ではない。開示された実施例に基づいて、当業者が創造的な労働をすることなく得られる全ての他の実施例は、いずれも本発明の保護範囲に入る。
【0013】
本発明の実施例は、テスト装置に用いられる全二重音声インタラクションシステムのテスト方法を提供する。テスト装置はコンピューターなどの電子機器であってもよく、本発明はこれに限定されない。
【0014】
図１は、本発明の実施例による全二重音声インタラクションシステムのテスト方法のフローチャートであり、以下のステップが含まれる。
Ｓ１１：テストシーンに関連する有効なコーパスセットとテストシーンに関連しない無効なコーパスセットとを混合して、シーン混合コーパスセットを確定する。
Ｓ１２：全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置にシーン混合コーパスセット内の各コーパスオーディオを再生する。
Ｓ１３：少なくとも第１のログと第２のログとを含む、テスト対象の音声インタラクション装置の作業ログを取得し、
－第１のログには、各コーパスオーディオを認識した有効・無効な属性及び対応するコーパステキストが記録され、
－第２のログには、応答と破棄とを含む、各コーパスオーディオの決定結果が記録される。
Ｓ１４：第１のログにおける無効なコーパスオーディオの数、第２のログにおける破棄結果の数に基づいて棄却率を確定する。
Ｓ１５：第２のログにおいて応答決定結果を出力すべきでないと予想されながら実際に応答決定結果を受信したログの数を統計することにより、誤応答回数を取得し、誤応答回数と再生されたコーパスオーディオの総数に基づいて、誤応答率を確定する。
Ｓ１１：テストシーンに関連する有効なコーパスセットとテストシーンに関連しない無効なコーパスセットとを混合して、シーン混合コーパスセットを確定する。
Ｓ１２：全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置にシーン混合コーパスセット内の各コーパスオーディオを再生する。
Ｓ１３：少なくとも第１のログと第２のログとを含む、テスト対象の音声インタラクション装置の作業ログを取得し、
－第１のログには、各コーパスオーディオを認識した有効・無効な属性及び対応するコーパステキストが記録され、
－第２のログには、応答と破棄とを含む、各コーパスオーディオの決定結果が記録される。
Ｓ１４：第１のログにおける無効なコーパスオーディオの数、第２のログにおける破棄結果の数に基づいて棄却率を確定する。
Ｓ１５：第２のログにおいて応答決定結果を出力すべきでないと予想されながら実際に応答決定結果を受信したログの数を統計することにより、誤応答回数を取得し、誤応答回数と再生されたコーパスオーディオの総数に基づいて、誤応答率を確定する。
【0015】
本実施形態では、テスト準備をする必要がある。
１、有効なコーパス：コーパスは、例えば、スマートホーム、テレビ、車載、教育等、少なくとも１つの特定のシーンをカバーし、且つ当該シーンの語彙、業務文型、高周波の領域をカバーすべきである。
２、無効なコーパス：指定されたシーン以外の、関連しないコーパスの一部を準備する。
３、背景雑音オーディオ：シーンに基づいて、例えば、ファン・エアコン、炊事用具・厨房用具、音楽・テレビ番組、自動車エンジン・鳴笛、雷雨・強風、騒がしい売場などの対応する背景雑音を選択する。
４、テスト装置：
コンピューター：コーパスオーディオを読み取り、再生を制御し、テスト対象装置のログを読み取り、統計分析してテスト結果を得るために用いられる。全てのテスト対象装置が当該コンピューターに接続されている。
２台のオーディオ再生装置：音響・人工口など、オーディオを再生するために用いられる。
テスト対象装置：コンピューターに接続されており、コンピューターは当該装置のログをリアルタイムに読み取ることができる。
ここで、「コーパス」は、１つ又は複数のテキストと、各文に対応する録音オーディオとを含む。「システム決定結果」は、入力されたオーディオ・情報等のデータに基づいてシステムが出力した操作命令類の決定結果である。「システムインタラクション結果」は、入力されたオーディオ・情報等のデータに基づいてシステムが現在の状態に応答する結果を出力するものであり、応答の認識結果（テキスト）、放送予定のテキスト、装置側の動作説明等が含まれる。
１、有効なコーパス：コーパスは、例えば、スマートホーム、テレビ、車載、教育等、少なくとも１つの特定のシーンをカバーし、且つ当該シーンの語彙、業務文型、高周波の領域をカバーすべきである。
２、無効なコーパス：指定されたシーン以外の、関連しないコーパスの一部を準備する。
３、背景雑音オーディオ：シーンに基づいて、例えば、ファン・エアコン、炊事用具・厨房用具、音楽・テレビ番組、自動車エンジン・鳴笛、雷雨・強風、騒がしい売場などの対応する背景雑音を選択する。
４、テスト装置：
コンピューター：コーパスオーディオを読み取り、再生を制御し、テスト対象装置のログを読み取り、統計分析してテスト結果を得るために用いられる。全てのテスト対象装置が当該コンピューターに接続されている。
２台のオーディオ再生装置：音響・人工口など、オーディオを再生するために用いられる。
テスト対象装置：コンピューターに接続されており、コンピューターは当該装置のログをリアルタイムに読み取ることができる。
ここで、「コーパス」は、１つ又は複数のテキストと、各文に対応する録音オーディオとを含む。「システム決定結果」は、入力されたオーディオ・情報等のデータに基づいてシステムが出力した操作命令類の決定結果である。「システムインタラクション結果」は、入力されたオーディオ・情報等のデータに基づいてシステムが現在の状態に応答する結果を出力するものであり、応答の認識結果（テキスト）、放送予定のテキスト、装置側の動作説明等が含まれる。
【0016】
全二重音声インタラクションシステムにおいて、図２に示すように、各モジュールの間はシリアル関係ではなく、複数のモジュールデータの並列の計算が存在する。従って、各モジュールの「成功率」を単純に乗算するだけでは、システム全体の成功率を得ることができない。
【0017】
ステップＳ１１では、上記ステップで準備された指定シーンをカバーする一定数の有効なコーパス、例えば、スマートホームにおける「私が聞きたいのは劉徳華の歌です」、及び一定数の指定シーンと無関係な無効なコーパス、例えば、「思必馳対話工場が提供するのは音声認識能力である」を取得する。その後、有効なコーパスセットと無効なコーパスセットを統合してランダムにソートし、シーン混合コーパスセットとして確定する。
【0018】
ステップＳ１２において、音響等の再生装置により、全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置にシーン混合コーパスセット内の各コーパスオーディオを一つずつ再生する。
【0019】
一実施形態として、当該方法には、
全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置にシーン混合コーパスセット内の各コーパスオーディオを再生するとともに、全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置にプリセット背景雑音を再生するステップと、
背景雑音を有するコーパスオーディオに基づいてテスト対象の音声インタラクション装置をテストするステップと、
が更に含まれる。
全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置にシーン混合コーパスセット内の各コーパスオーディオを再生するとともに、全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置にプリセット背景雑音を再生するステップと、
背景雑音を有するコーパスオーディオに基づいてテスト対象の音声インタラクション装置をテストするステップと、
が更に含まれる。
【0020】
また、第１の再生装置により全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置にシーン混合コーパスセット内の各コーパスオーディオを再生するステップと、
第２の再生装置により全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置にプリセット背景雑音を再生するステップと、
が含まれる。
第２の再生装置により全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置にプリセット背景雑音を再生するステップと、
が含まれる。
【0021】
本実施形態では、２つの再生装置を予め準備しておき、コーパスオーディオを再生する音響と背景雑音を再生する音響とを使用して同時に再生し、再生される音声に雑音を加えることで、字の正確率と文の正確率の効果を更にテストすることができる。
【0022】
テスト対象装置の状態が予想に合致するか否かの判断は以下のとおりである。
１、機器が常に収音状態であるかどうか。
２、有効なコーパスオーディオを再生する時、システムが応答決定を行うか否か。
３、無効なコーパスオーディオを再生した後、システムが破棄決定を行うか否か。
４、有効なコーパスオーディオを再生した後、システムがインタラクティブに応答しているかどうか、応答結果が予想に合致するか否か。
５、関連するコーパスオーディオを再生して終了した後、システムは収音をオフにしているか否か。
１、機器が常に収音状態であるかどうか。
２、有効なコーパスオーディオを再生する時、システムが応答決定を行うか否か。
３、無効なコーパスオーディオを再生した後、システムが破棄決定を行うか否か。
４、有効なコーパスオーディオを再生した後、システムがインタラクティブに応答しているかどうか、応答結果が予想に合致するか否か。
５、関連するコーパスオーディオを再生して終了した後、システムは収音をオフにしているか否か。
【0023】
ステップＳ１３において、テスト対象装置がコンピューターに接続されているため、コンピューターは当該装置のログをリアルタイムで読み取り可能であり、テスト対象装置の作業ログを取得することにより、対応するログ情報を取得することができる。
【0024】
例えば、
１、１つのコーパスオーディオを再生し、有効なコーパスであるか否か及び当該文のテキストを記録する。
２、コーパスオーディオの再生中に、システムが決定結果を与えているか否か、決定結果が予想に合致するか否か。
３、コーパスオーディオを再生した後、システムがインタラクション結果を与えているか否か。
ａ）応答の認識結果（テキスト）が予想に合致するか否か。
ｂ）放送予定のテキストが予想に合致するか否か。
ｃ）装置側の動作説明が予想に合致するか否か。
４、再生開始からシステムが認識結果の最初の字を返すまでの時間間隔。
５、再生完了からシステムが文全体認識結果を返すまでの時間間隔。
６、再生完了からシステムが完全なインタラクション結果を返すまでの時間間隔。
１、１つのコーパスオーディオを再生し、有効なコーパスであるか否か及び当該文のテキストを記録する。
２、コーパスオーディオの再生中に、システムが決定結果を与えているか否か、決定結果が予想に合致するか否か。
３、コーパスオーディオを再生した後、システムがインタラクション結果を与えているか否か。
ａ）応答の認識結果（テキスト）が予想に合致するか否か。
ｂ）放送予定のテキストが予想に合致するか否か。
ｃ）装置側の動作説明が予想に合致するか否か。
４、再生開始からシステムが認識結果の最初の字を返すまでの時間間隔。
５、再生完了からシステムが文全体認識結果を返すまでの時間間隔。
６、再生完了からシステムが完全なインタラクション結果を返すまでの時間間隔。
【0025】
より具体的には、
１．２０２０－０５－１１ ０９：００：００ 有効なコーパス１を再生し始め、コーパステキストは「私が聞きたいのは劉徳華の歌です」である。
２．２０２０－０５－１１ ０９：００：０１ 受信したリアルタイム認識結果：「私」
３．２０２０－０５－１１ ０９：００：０１ 受信したリアルタイム認識結果：「私が」
４．２０２０－０５－１１ ０９：００：０２ 受信したリアルタイム認識結果：「私が聞きたいのは」
５．２０２０－０５－１１ ０９：００：０２ 受信した決定結果：中断
６．２０２０－０５－１１ ０９：００：０３ 受信したリアルタイム認識結果：「私が聞きたいのは劉徳」
７．２０２０－０５－１１ ０９：００：０３ 受信したリアルタイム認識結果：「私が聞きたいのは劉徳華」
８．２０２０－０５－１１ ０９：００：０３ 有効なコーパス１の再生を終了する
９．２０２０－０５－１１ ０９：００：０４ 受信したリアルタイム認識結果：「私が聞きたいのは劉徳華の歌です」
１０．２０２０－０５－１１ ０９：００：０５ 応答の認識結果（テキスト）、放送予定のテキスト、機器側の動作命令を含むインタラクション結果を受信する。
１．２０２０－０５－１１ ０９：０１：００ 無効なコーパス１を再生し始め、コーパステキストは「思必馳対話工場が提供するのは音声認識能力である」である。
２．２０２０－０５－１１ ０９：０１：０１ 受信したリアルタイム認識結果：「思必馳」
３．２０２０－０５－１１ ０９：０１：０１ 受信したリアルタイム認識結果：「思必馳対話」
４．２０２０－０５－１１ ０９：０１：０２ 受信したリアルタイム認識結果：「思必馳対話工場」
５．２０２０－０５－１１ ０９：０１：０２ 受信した決定結果：中断
６．２０２０－０５－１１ ０９：０１：０３ 受信したリアルタイム認識結果：「思必馳対話工場が提供するのは」
７．２０２０－０５－１１ ０９：０１：０３ 受信したリアルタイム認識結果：「思必馳対話工場が提供するのは音声認識」
８．２０２０－０５－１１ ０９：０１：０３ 無効なコーパス１の再生を終了する
９．２０２０－０５－１１ ０９：０１：０４ 受信したリアルタイム認識結果：「思必馳対話工場が提供するのは音声認識能力である」
１０．２０２０－０５－１１ ０９：０１：０５ 受信した決定結果：破棄。
１．２０２０－０５－１１ ０９：００：００ 有効なコーパス１を再生し始め、コーパステキストは「私が聞きたいのは劉徳華の歌です」である。
２．２０２０－０５－１１ ０９：００：０１ 受信したリアルタイム認識結果：「私」
３．２０２０－０５－１１ ０９：００：０１ 受信したリアルタイム認識結果：「私が」
４．２０２０－０５－１１ ０９：００：０２ 受信したリアルタイム認識結果：「私が聞きたいのは」
５．２０２０－０５－１１ ０９：００：０２ 受信した決定結果：中断
６．２０２０－０５－１１ ０９：００：０３ 受信したリアルタイム認識結果：「私が聞きたいのは劉徳」
７．２０２０－０５－１１ ０９：００：０３ 受信したリアルタイム認識結果：「私が聞きたいのは劉徳華」
８．２０２０－０５－１１ ０９：００：０３ 有効なコーパス１の再生を終了する
９．２０２０－０５－１１ ０９：００：０４ 受信したリアルタイム認識結果：「私が聞きたいのは劉徳華の歌です」
１０．２０２０－０５－１１ ０９：００：０５ 応答の認識結果（テキスト）、放送予定のテキスト、機器側の動作命令を含むインタラクション結果を受信する。
１．２０２０－０５－１１ ０９：０１：００ 無効なコーパス１を再生し始め、コーパステキストは「思必馳対話工場が提供するのは音声認識能力である」である。
２．２０２０－０５－１１ ０９：０１：０１ 受信したリアルタイム認識結果：「思必馳」
３．２０２０－０５－１１ ０９：０１：０１ 受信したリアルタイム認識結果：「思必馳対話」
４．２０２０－０５－１１ ０９：０１：０２ 受信したリアルタイム認識結果：「思必馳対話工場」
５．２０２０－０５－１１ ０９：０１：０２ 受信した決定結果：中断
６．２０２０－０５－１１ ０９：０１：０３ 受信したリアルタイム認識結果：「思必馳対話工場が提供するのは」
７．２０２０－０５－１１ ０９：０１：０３ 受信したリアルタイム認識結果：「思必馳対話工場が提供するのは音声認識」
８．２０２０－０５－１１ ０９：０１：０３ 無効なコーパス１の再生を終了する
９．２０２０－０５－１１ ０９：０１：０４ 受信したリアルタイム認識結果：「思必馳対話工場が提供するのは音声認識能力である」
１０．２０２０－０５－１１ ０９：０１：０５ 受信した決定結果：破棄。
【0026】
テストにおいて、ログ２、３、４、６、７、９（すなわち上記のログ例における番号２、３、４、６、７、９）のようなリアルタイムの認識結果を再生中に受信することができる。しかし、特定項目を検出するために、あるテスト項目をテストする際に、ログ中の一部の情報だけが必要となる。更に、ログの番号を区切ることができ、操作が容易になる。例えば、ログ１．２０２０－０５－１１ ０９：００：００ 有効なコーパス１を再生し始め、コーパステキストは「私が聞きたいのは劉徳華の歌です」であり、ログ１．２０２０－０５－１１ ０９：０１：００ 無効なコーパス１を再生し始め、コーパステキストは「思必馳対話工場が提供するのは音声認識能力である」であり、それを、各コーパスオーディオに対して認識された有効・無効な属性及び対応するコーパステキストを記録する第１のログに分割する。同様に、ログ５、ログ１０の「決定結果」のような決定結果を受信して、それを第２のログに分割することもできる。決定結果には、応答、中断、及び破棄が含まれる。
【0027】
ステップＳ１４では、無効なコーパスのログを例に挙げ、最後に取得したインタラクション決定は［破棄］であり、即ち、この文入力に対してインタラクション応答を行わない。即ち、無効なコーパスはすべて破棄されるはずであるが、実際には応答すべきでない音声に対して誤って応答してしまう可能性がある。これにより棄却率を確定する。棄却率＝全の［破棄］のログ数／再生する無効なコーパス数である。
【0028】
ステップＳ１５については、全ての決定結果が予想に合致するわけではなく、無効なコーパスにおけるログ５の場合は、［中断］の決定結果があってはならない。同様に、無効なコーパス中のログ１０のように、棄却ではなく１つの対話結果である場合にも予想に合致しない。
【0029】
第１のログに「私が聞きたいのは劉徳華の歌です」、「思必馳対話工場が提供するのは音声認識能力である」などの対応するコーパステキストが既に記録されているため、これらのテキストにより予想の決定結果を確定することができる。
【0030】
第２のログにおけるこれらの応答決定結果を出力すべきでないと予想されながら実際に応答決定結果を受信したログの数を統計することにより、誤応答回数を得る。誤応答率＝誤応答回数／再生されたコーパス数である。
【0031】
「誤応答率」、「棄却率」などは半二重には存在しない。誤応答率の場合、半二重では全ての要求に応答するが、全二重では有効な要求のみに応答するため、誤応答率が存在する。同様に、半二重にも中断が存在せず、機器が出力する合成音が再生されている場合には、機器の収音機器はオン状態ではないため、中断することもできない。
【0032】
この実施形態から分かるように、全二重音声インタラクションシステムのエンドツーエンドのテストを実現し、全二重固有の特性に対する指標を正確に得ることができる。テスト過程において、全二重インタラクションシステムの特性に対して全カバーを行い、オンラインインタラクション効果が改善され、必要なデータの再現及び指標の支持を提供し、同時に自動化されたテストは人件費を低減させ、テスト効率を向上させる。これにより、音声インタラクションシステムの最適化周期を向上させ、試行錯誤のコストを低減させる。従来は、システムのインタラクション成功率をテストできない前に、インタラクションの効果は、製品を販売してユーザのフィードバックを収集した後にインタラクション成功率などの指標を得ることにより判断していたが、現在は、製品の販売前にテストにより各シーンでのインタラクション成功率の推定値を得ることができるようになっている。
【0033】
一実施形態として、作業ログには少なくとも第３のログが含まれ、
－第３のログには、コーパスオーディオの放送予定テキストと、コーパスオーディオの装置動作命令とを含む、各コーパスオーディオに対するインタラクション結果が記録され、
第１のログにおける各コーパスオーディオのコーパステキストにより、対応する予想の放送予定テキスト及び予想の装置動作命令を確定し、
各コーパスオーディオのインタラクション結果内の放送予定テキストが対応する予想の放送予定テキストに一致し、且つ装置動作命令が対応する予想の装置動作命令に一致する場合、インタラクション結果は予想に合致し、
第３のログにおける予想に合致するインタラクション結果のログの数を統計することにより、インタラクション成功回数を取得し、インタラクション成功回数と再生されたコーパスオーディオの総数に基づいて、インタラクション成功率を確定する。
－第３のログには、コーパスオーディオの放送予定テキストと、コーパスオーディオの装置動作命令とを含む、各コーパスオーディオに対するインタラクション結果が記録され、
第１のログにおける各コーパスオーディオのコーパステキストにより、対応する予想の放送予定テキスト及び予想の装置動作命令を確定し、
各コーパスオーディオのインタラクション結果内の放送予定テキストが対応する予想の放送予定テキストに一致し、且つ装置動作命令が対応する予想の装置動作命令に一致する場合、インタラクション結果は予想に合致し、
第３のログにおける予想に合致するインタラクション結果のログの数を統計することにより、インタラクション成功回数を取得し、インタラクション成功回数と再生されたコーパスオーディオの総数に基づいて、インタラクション成功率を確定する。
【0034】
本実施形態では、「受信した対話結果」のログ１０を第３のログとして確定し、｛認識結果、放送予定テキスト、動作命令｝を含む、各コーパスオーディオに対するインタラクション結果を記録するために用いられる。
【0035】
同様に、第１のログには各コーパスオーディオのコーパステキストがあるため、対応する予想の放送予定テキスト及び予想の装置動作命令を確定することができる。例えば、「私が聞きたいのは劉徳華の歌です」の予想の放送予定テキストは、「『忘情水』を再生します」であり、動作命令は、音楽スキルを呼び出して『忘情水』を再生することである。
【0036】
インタラクション成功率は、認識結果が正しくない場合でも、正しいインタラクションを得ることができるため、認識結果を見る必要がない。例えば、仮に「アイドルが聞きたいのは劉徳華の歌です」と誤認識をしたとしても、実際の放送テキストは依然として「『忘情水』を再生します」であり、実際の動作命令は依然として音楽スキルを呼び出して『忘情水』を再生することである。
【0037】
１は予想に合致するであり、０は予想に合致しないである。それでは、｛認識結果、放送予定テキスト、動作命令｝が予想と比較して０１１、又は１１１であれば、インタラクション結果は予想に合致する。
【0038】
最後に、「インタラクション成功率」＝全ての予想に合致するコーパス数／全ての再生されたコーパス数であることにより、全二重音声インタラクションシステムのインタラクション成功率を得る。
【0039】
この実施形態から分かるように、半二重はシリアルで実行されるため、各モジュールはそれぞれテストされ、最終的にインタラクション成功率の結果を得る。しかし、全二重は並列で実行されるため、本方法のエンドツーエンドテストによってのみ、インタラクション成功率の結果を得ることができる。
【0040】
一実施形態として、第３のログには各コーパスオーディオに対するインタラクション結果が記録され、コーパスオーディオの認識結果が更に含まれる。
第１のログにおける各コーパスオーディオのコーパステキストとコーパスオーディオの認識結果に基づいて、字認識の正確率及び文認識の正確率を確定する。
第１のログにおける各コーパスオーディオのコーパステキストとコーパスオーディオの認識結果に基づいて、字認識の正確率及び文認識の正確率を確定する。
【0041】
第１のログと第３のログ（ログ１０）内の応答の認識結果（テキスト）を比較することにより、「文認識の正確率」、「字認識の正確率」を得ることができ、ここでは半二重の計算方法と一致しているが、ただし、半二重はログ１とログ９を比較し、全二重はログ１０と比較する。例えば、全文の認識結果は「雲朶の雲の字はどのように書くか」であり、全二重の応答内容は「雲朶の雲」である可能性がある。
【0042】
全二重と半二重の違いは再生上ではなく、インタラクション上の違いである。半二重でのインタラクションは１対１であり、一つの要求があれば一つの応答がある。しかし、全二重でのインタラクションは多対多であり、一つの要求に複数の応答がある可能性があり、複数の要求に一つの応答しかない可能性もある。これが、字認識の正確さ、文認識の正確さへの影響につながる。
【0043】
一実施形態として、作業ログには少なくとも第４のログ、第５のログ、第６のログが含まれる。
－第４のログには、各コーパスオーディオに対して再生を終了した第１のタイムスタンプが記録される。
－第５のログには、各コーパスオーディオに対して再生を終了した後に認識結果を確定する第２のタイムスタンプが記録される。
－第６のログには、各コーパスオーディオに対するインタラクション結果時刻を確定した第３のタイムスタンプが記録される。
第２のタイムスタンプと第１のタイムスタンプの時間差に基づいて、テスト対象の音声インタラクション装置の認識応答時間を確定する。
第３のタイムスタンプと第２のタイムスタンプの時間差に基づいて、テスト対象の音声インタラクション装置のインタラクション応答時間を確定する。
－第４のログには、各コーパスオーディオに対して再生を終了した第１のタイムスタンプが記録される。
－第５のログには、各コーパスオーディオに対して再生を終了した後に認識結果を確定する第２のタイムスタンプが記録される。
－第６のログには、各コーパスオーディオに対するインタラクション結果時刻を確定した第３のタイムスタンプが記録される。
第２のタイムスタンプと第１のタイムスタンプの時間差に基づいて、テスト対象の音声インタラクション装置の認識応答時間を確定する。
第３のタイムスタンプと第２のタイムスタンプの時間差に基づいて、テスト対象の音声インタラクション装置のインタラクション応答時間を確定する。
【0044】
ここで、ログ８におけるタイムスタンプ「２０２０－０５－１１ ０９：００：０３」が第４のログとして確定され、ログ９におけるタイムスタンプ「２０２０－０５－１１ ０９：００：０４」が第５のログとして確定され、ログ１０中のインタラクション結果を有するタイムスタンプ「２０２０－０５－１１ ０９：００：０５」が第６のログとして確定される。
「２０２０－０５－１１ ０９：００：０４」－「２０２０－０５－１１ ０９：００：０３」＝１秒であることにより、システムが認識に応答する応答時間が１秒であることを得ることができる。
「２０２０－０５－１１ ０９：００：０５」－「２０２０－０５－１１ ０９：００：０４」＝１秒であることにより、システムがインタラクションに応答する応答時間が１秒であることを得ることができる。
「２０２０－０５－１１ ０９：００：０４」－「２０２０－０５－１１ ０９：００：０３」＝１秒であることにより、システムが認識に応答する応答時間が１秒であることを得ることができる。
「２０２０－０５－１１ ０９：００：０５」－「２０２０－０５－１１ ０９：００：０４」＝１秒であることにより、システムがインタラクションに応答する応答時間が１秒であることを得ることができる。
【0045】
図３は、本発明の一実施例による全二重音声インタラクションシステムのテスト装置の構造概略図であり、当該装置は、上記いずれかの実施例の全二重音声インタラクションシステムのテスト方法を実行することができ、テスト装置に配置される。
【0046】
本実施例による全二重音声インタラクションシステムのテスト装置には、コーパスセット確定プログラムモジュール１１と、テストプログラムモジュール１２と、ログ取得プログラムモジュール１３と、棄却率確定プログラムモジュール１４と、誤応答率確定プログラムモジュール１５と、が含まれる。
【0047】
ここで、コーパスセット確定プログラムモジュール１１は、テストシーンに関連する有効なコーパスセットとテストシーンに関連しない無効なコーパスセットとを混合して、シーン混合コーパスセットを確定するために用いられる。テストプログラムモジュール１２は、全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置にシーン混合コーパスセット内の各コーパスオーディオを再生するために用いられる。ログ取得プログラムモジュール１３は、少なくとも第１のログと第２のログとを含む、テスト対象の音声インタラクション装置の作業ログを取得するために用いられ、ここで、－第１のログには、各コーパスオーディオを認識した有効・無効な属性及び対応するコーパステキストが記録され、－第２のログには、応答と破棄とを含む、各コーパスオーディオの決定結果が記録される。棄却率確定プログラムモジュール１４は、第１のログにおける無効なコーパスオーディオの数、第２のログにおける破棄結果の数に基づいて棄却率を確定するために用いられる。誤応答率確定プログラムモジュール１５は、第２のログにおいて応答決定結果を出力すべきでないと予想されながら実際に応答決定結果を受信したログの数を統計することにより、誤応答回数を取得し、誤応答回数と再生されたコーパスオーディオの総数に基づいて、誤応答率を確定するために用いられる。
【0048】
本発明の実施例は、不揮発性コンピューター記録媒体を更に提供し、コンピューター記録媒体には、上記のいずれかの方法の実施例における全二重音声インタラクションシステムのテスト方法を実行可能なコンピューターにより実行可能な命令が記憶されている。
【0049】
一実施形態として、本発明の不揮発性コンピューター記録媒体は、コンピューターにより実行可能な命令が記憶されている。コンピューターにより実行可能な命令は、次のように設定されている。
テストシーンに関連する有効なコーパスセットとテストシーンに関連しない無効なコーパスセットとを混合して、シーン混合コーパスセットを確定し、
前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置に前記シーン混合コーパスセット内の各コーパスオーディオを再生し、
少なくとも第１のログと第２のログとを含む、前記テスト対象の音声インタラクション装置の作業ログを取得し、
前記第１のログには、各コーパスオーディオを認識した有効・無効な属性及び対応するコーパステキストが記録され、
前記第２のログには、応答と破棄とを含む、各コーパスオーディオの決定結果が記録され、
前記第１のログにおける無効なコーパスオーディオの数と、前記第２のログにおける破棄結果の数とに基づいて棄却率を確定し、
前記第２のログにおいて応答決定結果を出力すべきでないと予想されながら実際に応答決定結果を受信したログの数を統計することにより、誤応答回数を取得し、前記誤応答回数と再生されたコーパスオーディオの総数に基づいて、誤応答率を確定する。
テストシーンに関連する有効なコーパスセットとテストシーンに関連しない無効なコーパスセットとを混合して、シーン混合コーパスセットを確定し、
前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置に前記シーン混合コーパスセット内の各コーパスオーディオを再生し、
少なくとも第１のログと第２のログとを含む、前記テスト対象の音声インタラクション装置の作業ログを取得し、
前記第１のログには、各コーパスオーディオを認識した有効・無効な属性及び対応するコーパステキストが記録され、
前記第２のログには、応答と破棄とを含む、各コーパスオーディオの決定結果が記録され、
前記第１のログにおける無効なコーパスオーディオの数と、前記第２のログにおける破棄結果の数とに基づいて棄却率を確定し、
前記第２のログにおいて応答決定結果を出力すべきでないと予想されながら実際に応答決定結果を受信したログの数を統計することにより、誤応答回数を取得し、前記誤応答回数と再生されたコーパスオーディオの総数に基づいて、誤応答率を確定する。
【0050】
不揮発性のコンピューター可読記憶媒体は、不揮発性ソフトウェアプログラム、不揮発性コンピューター実行可能プログラム及びモジュールを格納することに使用できる。プログラム及びモジュールは、例えば、本発明の実施形態における方法が対応するプログラム命令／モジュールである。一つ又は複数のプログラムの命令が不揮発性のコンピューター可読記憶媒体に格納され、プロセッサに実行されると、上記の任意方法の実施形態の全二重音声インタラクションシステムのテスト方法を実行する。
【0051】
不揮発性のコンピューター可読記憶媒体は、ストレージプログラム領域及びストレージデータ領域を含む。ストレージプログラム領域は、オペレーティングシステム、少なくとも一つの機能が必要とされるアプリケーションプログラムを記憶することができ、ストレージデータ領域は、装置の使用に従って作成されたデータなどを記憶することができる。さらに、不揮発性のコンピューター可読記憶媒体は、高速ランダムアクセスメモリを含むことができる。不揮発性のコンピューター可読記憶媒体は、例えば、少なくとも一つの磁気ディスク記憶装置、フラッシュメモリ装置、又は他の不揮発性固体記憶装置などの不揮発性メモリをさらに含むこともできる。ある実施形態では、不揮発性のコンピューター可読記憶媒体は、プロセッサに対して遠距離配置されるメモリを含むものを選択することができる。これらのリモートメモリは、ネットワークを介してヒューマンマシン対話デバイスに接続できる。ネットワークは、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせが含まれるが、これらに限定されない。
【0052】
本発明の実施例は更に、少なくとも１つのプロセッサと、少なくとも１つのプロセッサに通信可能に接続されたメモリと、を含む電子機器であって、メモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶されており、下記の方全二重音声インタラクションシステムのテスト方法が実行できるように、少なくとも１つのプロセッサによって命令を実行させる電子機器を提供する。
【0053】
テストシーンに関連する有効なコーパスセットとテストシーンに関連しない無効なコーパスセットとを混合して、シーン混合コーパスセットを確定し、
前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置に前記シーン混合コーパスセット内の各コーパスオーディオを再生し、
少なくとも第１のログと第２のログとを含む、前記テスト対象の音声インタラクション装置の作業ログを取得し、
前記第１のログには、各コーパスオーディオを認識した有効・無効な属性及び対応するコーパステキストが記録され、
前記第２のログには、応答と破棄とを含む、各コーパスオーディオの決定結果が記録され、
前記第１のログにおける無効なコーパスオーディオの数と、前記第２のログにおける破棄結果の数とに基づいて棄却率を確定し、
前記第２のログにおいて応答決定結果を出力すべきでないと予想されながら実際に応答決定結果を受信したログの数を統計することにより、誤応答回数を取得し、前記誤応答回数と再生されたコーパスオーディオの総数に基づいて、誤応答率を確定する。
前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置に前記シーン混合コーパスセット内の各コーパスオーディオを再生し、
少なくとも第１のログと第２のログとを含む、前記テスト対象の音声インタラクション装置の作業ログを取得し、
前記第１のログには、各コーパスオーディオを認識した有効・無効な属性及び対応するコーパステキストが記録され、
前記第２のログには、応答と破棄とを含む、各コーパスオーディオの決定結果が記録され、
前記第１のログにおける無効なコーパスオーディオの数と、前記第２のログにおける破棄結果の数とに基づいて棄却率を確定し、
前記第２のログにおいて応答決定結果を出力すべきでないと予想されながら実際に応答決定結果を受信したログの数を統計することにより、誤応答回数を取得し、前記誤応答回数と再生されたコーパスオーディオの総数に基づいて、誤応答率を確定する。
【0054】
いくつかの実施例では、前記作業ログには、少なくとも第３のログが含まれ、
前記第３のログには、各コーパスオーディオに対するインタラクション結果が記録され、前記インタラクション結果には、前記コーパスオーディオの放送予定テキストと、前記コーパスオーディオの装置動作命令と、が含まれ、
前記第１のログにおける各コーパスオーディオのコーパステキストにより、対応する予想の放送予定テキスト及び予想の装置動作命令を確定し、
前記各コーパスオーディオのインタラクション結果内の前記放送予定テキストが対応する予想の放送予定テキストに一致し、且つ前記装置動作命令が対応する予想の装置動作命令に一致する場合、前記インタラクション結果は予想に合致し、
前記第３のログにおける予想に合致するインタラクション結果のログの数を統計することにより、インタラクション成功回数を取得し、前記インタラクション成功回数と再生されたコーパスオーディオの総数に基づいて、インタラクション成功率を確定する。
前記第３のログには、各コーパスオーディオに対するインタラクション結果が記録され、前記インタラクション結果には、前記コーパスオーディオの放送予定テキストと、前記コーパスオーディオの装置動作命令と、が含まれ、
前記第１のログにおける各コーパスオーディオのコーパステキストにより、対応する予想の放送予定テキスト及び予想の装置動作命令を確定し、
前記各コーパスオーディオのインタラクション結果内の前記放送予定テキストが対応する予想の放送予定テキストに一致し、且つ前記装置動作命令が対応する予想の装置動作命令に一致する場合、前記インタラクション結果は予想に合致し、
前記第３のログにおける予想に合致するインタラクション結果のログの数を統計することにより、インタラクション成功回数を取得し、前記インタラクション成功回数と再生されたコーパスオーディオの総数に基づいて、インタラクション成功率を確定する。
【0055】
いくつかの実施例では、前記第３のログには、各コーパスオーディオに対するインタラクション結果が記録され、前記インタラクション結果には前記コーパスオーディオの認識結果が更に含まれ、
前記第１のログにおける各コーパスオーディオのコーパステキストと前記コーパスオーディオの認識結果に基づいて、字認識の正確率及び文認識の正確率を確定する。
前記第１のログにおける各コーパスオーディオのコーパステキストと前記コーパスオーディオの認識結果に基づいて、字認識の正確率及び文認識の正確率を確定する。
【0056】
いくつかの実施例では、前記作業ログには、少なくとも第４のログと、第５のログとが含まれ、
前記第４のログには、各コーパスオーディオに対して再生を終了した第１のタイムスタンプが記録され、
前記第５のログには、各コーパスオーディオに対して再生を終了した後に認識結果を確定する第２のタイムスタンプが記録され、
前記第２のタイムスタンプと前記第１のタイムスタンプの時間差に基づいて、前記テスト対象の音声インタラクション装置の認識応答時間を確定する。
前記第４のログには、各コーパスオーディオに対して再生を終了した第１のタイムスタンプが記録され、
前記第５のログには、各コーパスオーディオに対して再生を終了した後に認識結果を確定する第２のタイムスタンプが記録され、
前記第２のタイムスタンプと前記第１のタイムスタンプの時間差に基づいて、前記テスト対象の音声インタラクション装置の認識応答時間を確定する。
【0057】
いくつかの実施例では、前記作業ログには、少なくとも第６のログが含まれ、
前記第６のログの記録には、各コーパスオーディオに対するインタラクション結果時刻を確定した第３のタイムスタンプが記録され、
前記第３のタイムスタンプと前記第２のタイムスタンプの時間差に基づいて、前記テスト対象の音声インタラクション装置のインタラクション応答時間を確定する。
前記第６のログの記録には、各コーパスオーディオに対するインタラクション結果時刻を確定した第３のタイムスタンプが記録され、
前記第３のタイムスタンプと前記第２のタイムスタンプの時間差に基づいて、前記テスト対象の音声インタラクション装置のインタラクション応答時間を確定する。
【0058】
いくつかの実施例では、プロセッサが、さらに、前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置に前記シーン混合コーパスセット内の各コーパスオーディオを再生するとともに、前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置にプリセット背景雑音を再生し、背景雑音を有するコーパスオーディオに基づいて前記テスト対象の音声インタラクション装置をテストする。
【0059】
いくつかの実施例では、前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置に前記シーン混合コーパスセット内の各コーパスオーディオを再生するとともに、前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置にプリセット背景雑音を再生するステップにおいては、
第１の再生装置により前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置に前記シーン混合コーパスセット内の各コーパスオーディオを再生し、
第２の再生装置により前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置にプリセット背景雑音を再生する。
第１の再生装置により前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置に前記シーン混合コーパスセット内の各コーパスオーディオを再生し、
第２の再生装置により前記全二重音声インタラクションシステムを搭載したテスト対象の音声インタラクション装置にプリセット背景雑音を再生する。
【0060】
図４は、本発明の他の実施例による全二重音声インタラクションシステムのテスト方法を実行する電子機器のハードウェア構造概略図ある。図４に示すように、この機器は、１つまたは複数のプロセッサ４１０とメモリ４２０とを含み、図４では、１つのプロセッサ４１０を例としている。
【0061】
全二重音声インタラクションシステムのテスト方法を実行する機器は、入力装置４３０と出力装置４４０とを更に含むことができる。
【0062】
プロセッサ４１０、メモリ４２０、入力装置４３０、および出力装置４４０は、バスまたはその他の方法で接続することができ、図４ではバスによる接続を例としている。
【0063】
メモリ４２０は、不揮発性コンピューター可読記憶媒体として、不揮発性ソフトウェアプログラム、不揮発性コンピューター実行可能なプログラムおよびモジュール、例えば本発明の実施例における全二重音声インタラクションシステムのテスト方法に対応するプログラム命令／モジュールを記憶することができる。プロセッサ４１０は、メモリ４２０に記憶されている不揮発性ソフトウェアプログラム、命令およびモジュールを実行することにより、サーバの各種機能応用およびデータ処理を実行し、即ち、上記方法実施例の全二重音声インタラクションシステムのテスト方法を実現する。
【0064】
メモリ４２０は、プログラム記憶領域とデータ記憶領域を含むことができる。ここで、プログラム記憶領域は、オペレーティングシステムや少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができる。データ記憶領域は、全二重音声インタラクションシステムのテスト装置の使用に応じて作成されたデータなどを記憶することができる。メモリ４２０は、高速ランダムアクセスメモリや不揮発性メモリを含むことができ、例えば少なくとも１つの磁気ディスク記憶装置、フラッシュメモリ装置、または他の不揮発性固体記憶装置を含むことができる。いくつかの実施例において、メモリ４２０は、プロセッサ４１０から離れて設置されたメモリを選択的に含むことができる。これらのリモートメモリは、ネットワークを介して全二重音声インタラクションシステムのテスト装置に接続することができる。上記ネットワークの例には、インターネット、イントラネット、ローカルエリアネットワーク、移動体通信ネットワークおよびそれらの組合せが含まれるが、これらに限定されない。
【0065】
入力装置４３０は、入力された数値や文字情報を受信し、全二重音声インタラクションシステムのテスト装置のユーザ設定および機能制御に関連する信号を生成することができる。出力装置４４０は、ディスプレイなどの表示装置を含むことができる。
【0066】
１つまたは複数のモジュールがメモリ４２０に記憶されており、１つまたは複数のプロセッサ４１０によって実行されると、上記いずれかの方法実施例における全二重音声インタラクションシステムのテスト方法を実行する。
【0067】
本発明の実施形態の電子デバイスは、以下のデバイスを含むが、これらに限定されない様々な形態で存在する。
【0068】
（１）モバイル通信デバイス：これらのデバイスは、その特徴がモバイル通信機能を備えることであり、音声及びデータ通信を提供することを主な目標として、スマートフォン（例えば、ｉｐｈｏｎｅ（登録商標））、マルチメディア携帯電話、機能携帯電話、ローエンド携帯電話などを含む。
【0069】
（２）ウルトラモバイルパソコンデバイス：これらのデバイスは、パソコンのカテゴリーに属し、計算及び処理の機能を持ち、一般にモバイルインターネットアクセスの特性を持って、例えば、ｉＰａｄ（登録商標）などのＰＤＡ、ＭＩＤ及びＵＭＰＣデバイスなどを含む。
【0070】
（３）ポータブルエンターテイメントデバイス：これらのデバイスは、マルチメディアコンテンツを表示及び放送でき、オーディオ、ビデオプレーヤー（例えば、ｉＰｏｄ（登録商標））、ハンドヘルドゲームデバイス、電子書籍、インテリジェントおもちゃ及びポータブルカーナビゲーションデバイスを含む。
【0071】
（４）サーバー：コンピューティングサービスを提供するデバイスである。サーバーの構成は、プロセッサ、ハードディスク、メモリ、システムバスなどを含む。サーバー及び汎用コンピューターはアーキテクチャが似るが、信頼性の高いサービスを提供する必要があるため、処理能力、安定性、信頼性、セキュリティ、スケーラビリティ、及び管理性などの方面での要求が高い。
【0072】
本発明の明細書、請求の範囲及び図面における関係用語「第一」及び「第二」などは、一つの実体又は操作をもう一つの実体又は操作と区別するためのものだけであり、これらの実体又は操作がいかなるこのような実際の関係又は順序を特定し、示唆するためのものではない。また、用語「含む」、「有する」は、それらの要素だけでなく、明示的にリストされていない他の要素、又はそのようなプロセス、方法、オブジェクト、又は機器に固有の要素も含む。これ以上の制限が課されない場合、用語「含む」によって定義された要素は、その要素を含むプロセス、方法、オブジェクト、又は機器に他の同一要素があることを除外しない。
【0073】
上記の装置の実施形態は、例示だけであり、分離するコンポーネントとして記載されたユニットは、物理的に分離されるものであってもよく、分離されないものであってもよい。ユニットとして表示されるコンポーネントは、物理ユニットであってもよく、物理ユニットではなくてもよい。即ち、 一つの場所に配置することもでき、複数のネットワークユニットに分散することもできる。実際のニーズに応じて、いくつかのモジュール又はすべてのモジュールを選択することができ、実施形態の目的を達成するようになる。
【0074】
上記の実施形態の説明を通じて、当業者は、各実施形態がソフトウェア及び共通のハードウェアプラットフォームによって実現することができ、もちろん、ハードウェアによって実現することもできることを明確に理解することができる。この理解に基づいて、上記の技術方案の本質又は関連技術に貢献する部分は、ソフトウェア製品の形式で具体化でき、コンピューターソフトウェア製品は、例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、コンパクトディスクなどのコンピューター可読記憶媒体に格納でき、コンピューターデバイス（パーソナルコンピューター、サーバー又はネットワークデバイスなどである）に、各々の実施形態又は実施形態のある部分に記載された方法を実行させるように、いくつかの命令を含む。
【0075】
上記の実施例は、本発明の技術案を説明するためにのみ使用され、本発明を限定するものではない。前記の実施例を参照して本発明を詳細に説明しているが、当業者は、前記の各実施例の技術案を修正するか、又はそのうちの一部の技術的特徴を同等に置き換えることができるが、これらの修正又は置き換えは、対応する技術案の本質を、本発明の各実施例の技術案の精神及び範囲から逸脱させるものではないことを理解するであろう。
【図1】
【図2】
【図3】
【図4】
