特表 2024-527185 スピーチ原稿の評価方法及び機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-22

(54)【発明の名称】スピーチ原稿の評価方法及び機器

(51)【国際特許分類】

   G06N 3/088 20230101AFI20240712BHJP

【ＦＩ】

G06N3/088

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023577794

(86)(22)【出願日】2021-11-25

(85)【翻訳文提出日】2023-12-13

(86)【国際出願番号】 CN2021133041

(87)【国際公開番号】W WO2023279631

(87)【国際公開日】2023-01-12

(31)【優先権主張番号】202110759496.0

(32)【優先日】2021-07-06

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】516097402

【氏名又は名称】北京優幕科技有限責任公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＵＭＵ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】０５－６０９， ８ｔｈ Ｆｌｏｏｒ， ＮＯ．１８，Ｚｈｏｎｇｇｕａｎｃｕｎ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １００１９０， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】張 林

(72)【発明者】

【氏名】王 曄

(72)【発明者】

【氏名】李 東朔

(57)【要約】

本発明はスピーチ原稿の評価方法及び機器を開示し、情報処理の技術分野に関して、伝統評価方法において必要なサンプルデータが大きく、サンプルタイプが少なく、評価結果の有効性及び公平性が低いという問題を解決することを主な目的とする。技術案は、複数のスピーチ原稿を取得するステップと、各前記スピーチ原稿をいくつかのセクションにそれぞれ分割するステップと、ニューラルネットワークモデルを使用して全ての前記セクション及び複数の異なる所定質問を認識し、各前記所定質問及び全ての前記セクションを順に入力データとし、前記ニューラルネットワークモデルは入力データに対して特徴データを抽出して、前記特徴データに基づいて全ての前記セクションの、所定質問に対するランク付け情報を出力し、各前記セクションの、所定質問の答えに対する認可度を示すステップと、全ての前記セクションの、各前記所定質問に対するランク付け情報に基づいて、各スピーチ原稿の評価結果を決定するステップと、を含む。

【特許請求の範囲】

【請求項1】

スピーチ原稿の評価方法であって、
複数のスピーチ原稿を取得するステップと、
各前記スピーチ原稿をいくつかのセクションにそれぞれ分割するステップと、
ニューラルネットワークモデルを使用して全ての前記セクション及び複数の異なる所定質問を認識し、各前記所定質問及び全ての前記セクションを順に入力データとし、前記ニューラルネットワークモデルは入力データに対して特徴データを抽出して、前記特徴データに基づいて全ての前記セクションの、所定質問に対するランク付け情報を出力し、各前記セクションの、所定質問の答えに対する認可度を示すステップと、
全ての前記セクションの、各前記所定質問に対するランク付け情報に基づいて、各スピーチ原稿の評価結果を決定するステップと、を含むことを特徴とする方法。

【請求項2】

ニューラルネットワークモデルを使用して全ての前記セクション及び複数の異なる所定質問を認識する前、
複数のサンプル答え、１つの所定質問、及び各サンプル答えの、前記所定質問に対するランク付け情報がそれぞれ含まれる複数の訓練データを取得するステップと、
前記複数の訓練データを使用して前記ニューラルネットワークモデルを訓練し、前記ニューラルネットワークモデルは複数のサンプル答え及び１つの所定質問に基づいてランク付け情報を出力して、出力されたランク付け情報と、訓練データにおけるランク付け情報との差に基づいてモデルパラメータを最適化するステップと、をさらに含むことを特徴とする請求項１に記載の方法。

【請求項3】

複数の訓練データを取得するステップは具体的に、
指定したいくつかのウェブページから、前記所定質問に関連付けられるコンテキスト及び相応的な回答内容をクローリングするステップと、
各回答内容の前記ウェブページにおけるランク付け状況に基づいて、前記ランク付け情報を取得するステップと、を含むことを特徴とする請求項２に記載の方法。

【請求項4】

全ての前記セクションの、各前記所定質問に対するランク付け情報に基づいて、各スピーチ原稿の評価結果を決定するステップは具体的に、
全ての前記セクションの、各前記所定質問に対するランク付け情報から、同一スピーチ原稿に属する各セクションの、各所定質問に対する最高ランク付け情報を取得するステップと、
同一スピーチ原稿の各前記最高ランク付け情報に基づいて前記スピーチ原稿に対する評価結果を取得するステップと、を含むことを特徴とする請求項１～３の何れか１項に記載の方法。

【請求項5】

前記ランク付け情報は所定スコア値に対応し、前記評価結果は各所定スコア値に基づいて取得されるスコア値である請求項４に記載の方法。

【請求項6】

前記スピーチ原稿はスピーチ録音に対して音声認識を行うことで取得される文字データであり、音声認識の過程で音声の停頓期間を記録し、
各前記スピーチ原稿をいくつかのセクションにそれぞれ分割するステップでは、スピーチ原稿のセマンティック及びスピーチ音声中の停頓期間に基づいてスピーチ原稿をいくつかのセクションに分割することを特徴とする請求項１に記載の方法。

【請求項7】

前記ランク付け情報には空のランク付け及び／又は並列するランク付け情報が含まれることを特徴とする請求項１又は２に記載の方法。

【請求項8】

前記ニューラルネットワークモデルが入力データに対して特徴データを抽出する過程で、アテンションメカニズムを使用して前記セクションからのテキストデータ、及び前記所定質問からのテキストデータを処理して、処理後の特徴データに基づいてランク付け情報を出力することを特徴とする請求項１又は２に記載の方法。

【請求項9】

スピーチ原稿の評価機器であって、少なくとも１つのプロセッサー、及び前記少なくとも１つのプロセッサーと通信するように接続されるメモリを含み、前記メモリには、前記１つのプロセッサーが実行可能な指令が記憶され、前記指令は前記少なくとも１つのプロセッサーによって実行されることで、前記少なくとも１つのプロセッサーに請求項１～８の何れか１項に記載の方法を実行させることを特徴とする機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施例は情報処理の技術分野に関して、特に、スピーチ原稿の評価方法及び機器に関する。

【背景技術】

【0002】

スピーチは特別な環境での話し・コミュニケーション方式であり、専門的なスピーチ訓練は繰り返す訓練を必要とする。訓練過程で、適時に採点及び評価を行うことで、不備を見つけて、訓練進捗を速めることができる。スピーチに対する採点は表情姿勢、音声速度、及びスピーチ内容などを含む。

【発明の概要】

【発明が解決しようとする課題】

【0003】

スピーチ内容に対する最も通常の採点方法は回帰モデルを確立し、即ち、大量のデータセットを確立することで、異なるスコアレンジにあるスピーチ内容を収集し、人工で特徴を設計し、又はマシンで特徴を自動的に抽出して、各特徴の、スコアに対する貢献度を計算し、有効特徴を抽出して特徴とスコアとの間の関係を確立する。回帰モデルの訓練はスピーチ原稿データセットから特徴を抽出して、特徴とスコアとの間の関係を確立し、重み行列の形態で記憶する。ところが、当該方法は大量のデータに依存し、サンプルは各スコアレンジ、テーマなどのデータをカバーする必要があり、さもなければ、採点結果はランダムに分布され、採点全体の有効性及び公平性に影響する。実際適用において、スピーチ訓練が始まる時、僅かな優秀サンプルしかなく、中～低スコアのサンプルが極めて乏しい。そして、オープンデータリソースにおける他のスピーチデータセットも同じように、最も優れたスピーチのケースのみを保留するため、直接的に転移学習によって学習できない。

【0004】

これに鑑みると、本発明の実施例はスピーチ原稿の評価方法及び機器を提供し、伝統の評価方法において必要なサンプルデータが大きい、サンプルタイプが少ない、評価結果の有効性及び公平性が低いという問題を解決することを主な目的とする。

【課題を解決するための手段】

【0005】

上記の問題を解決するために、本発明の実施例は主に以下の技術案を提供する。

【0006】

第１の態様によれば、本発明の実施例はスピーチ原稿の評価方法を提供し、当該方法は、
複数のスピーチ原稿を取得するステップと、
各前記スピーチ原稿をいくつかのセクションにそれぞれ分割するステップと、
ニューラルネットワークモデルを使用して全ての前記セクション及び複数の異なる所定質問を認識し、各前記所定質問及び全ての前記セクションを順に入力データとし、前記ニューラルネットワークモデルは入力データに対して特徴データを抽出して、前記特徴データに基づいて全ての前記セクションの、所定質問に対するランク付け情報を出力し、各前記セクションの、所定質問の答えに対する認可度を示すステップと、を含む。

【0007】

全ての前記セクションの、各前記所定質問に対するランク付け情報に基づいて、各スピーチ原稿の評価結果を決定する。

【0008】

好ましくは、ニューラルネットワークモデルを使用して全ての前記セクション及び複数の異なる所定質問を認識する前、
複数のサンプル答え、１つの所定質問、及び各サンプル答えの、前記所定質問に対するランク付け情報がそれぞれ含まれる複数の訓練データを取得するステップと、
前記複数の訓練データを使用して前記ニューラルネットワークモデルを訓練し、前記ニューラルネットワークモデルは複数のサンプル答え及び１つの所定質問に基づいてランク付け情報を出力して、出力されたランク付け情報と、訓練データにおけるランク付け情報との差に基づいてモデルパラメータを最適化するステップと、をさらに含む。

【0009】

好ましくは、複数の訓練データを取得するステップは具体的に、
指定したいくつかのウェブページから、前記所定質問に関連付けられるコンテキスト及び相応的な回答内容をクローリングするステップと、
各回答内容の前記ウェブページにおけるランク付け状況に基づいて、前記ランク付け情報を取得するステップと、を含む。

【0010】

好ましくは、全ての前記セクションの、各前記所定質問に対するランク付け情報に基づいて、各スピーチ原稿の評価結果を決定するステップは具体的に、
全ての前記セクションの、各前記所定質問に対するランク付け情報から、同一スピーチ原稿に属する各セクションの、各所定質問に対する最高ランク付け情報を取得するステップと、
同一スピーチ原稿の各前記最高ランク付け情報に基づいて前記スピーチ原稿に対する評価結果を取得するステップと、を含む。

【0011】

好ましくは、前記ランク付け情報は所定スコア値に対応し、前記評価結果は各所定スコア値に基づいて取得されるスコア値である。

【0012】

好ましくは、前記スピーチ原稿はスピーチ録音に対して音声認識を行うことで取得される文字データであり、音声認識の過程で音声の停頓期間を記録し、各前記スピーチ原稿をいくつかのセクションにそれぞれ分割するステップでは、スピーチ原稿のセマンティック及びスピーチ音声中の停頓期間に基づいてスピーチ原稿をいくつかのセクションに分割する。

【0013】

好ましくは、前記ランク付け情報には空のランク付け及び／又は並列するランク付け情報が含まれる。

【0014】

好ましくは、前記ニューラルネットワークモデルが入力データに対して特徴データを抽出する過程で、アテンションメカニズムを使用して前記セクションからのテキストデータ、及び前記所定質問からのテキストデータを処理して、処理後の特徴データに基づいてランク付け情報を出力する。

【0015】

第２の態様によれば、本発明の実施例はスピーチ原稿の評価機器を提供し、当該機器は少なくとも１つのプロセッサー、及び前記少なくとも１つのプロセッサーと通信するように接続されるメモリを含み、前記メモリには、前記１つのプロセッサーが実行可能な指令が記憶され、前記指令は前記少なくとも１つのプロセッサーによって実行されることで、前記少なくとも１つのプロセッサーに上記のスピーチ原稿の評価方法を実行させる。

【0016】

第３の態様によれば、本発明の実施例は指令を含むコンピュータプログラム製品を提供し、コンピュータで運転すると、前記コンピュータに上記のスピーチ原稿の評価方法を実行させる。

【発明の効果】

【0017】

本発明が提供するスピーチ原稿の評価方法及び機器によれば、スピーチ原稿全体に対する評価タスクを、質問及び答えの認可度に対する評価に変換し、品質が異なる大量のスピーチ原稿をニューラルネットワークの学習サンプルとして提供する必要がなく、スピーチ原稿テーマに関する質問を予め設定して、認可度が異なる相応的な答えを準備すれば、ニューラルネットワークモデルを訓練でき、さらに、複数のスピーチ原稿に対する評価を完成し、従来技術においてサンプルが乏しいためスピーチ原稿を評価しがたいという問題を解決し、且つ、本解決策の正確率を高くできる。

【図面の簡単な説明】

【0018】

以下の好適な実施形態に対する詳しい記載によって、他の各種利点は当業者にとって明瞭になる。図面は本発明の実施例を限定していなく、単に好適な実施形態を示すことを目的とする。図面全体において、同じ符号で同じ部材を示す。

【図1】本発明の実施例の１つのスピーチ原稿の評価方法のフローチャートである。

【図2】本発明の実施例の別のセマンティックの評価方法のフローチャートである。

【図3】本発明の実施例において段落に対する評価結果を取得する概略図である。

【図4】本発明の実施例におけるニューラルネットワークモデルの動作過程概略図である。

【発明を実施するための形態】

【0019】

以下、図面を参照して本開示の例示的な実施例をより詳しく記載する。図面は本開示の例示的な実施例を示したが、理解できるように、ここに記載の実施例に限定されず、いろんな形態で本開示を実現できる。逆に、これらの実施例を提供することで、本開示をより十分に理解できるとともに、本開示の範囲を当業者に完全に伝達できる。

【0020】

本発明はスピーチ原稿の評価方法を提供し、当該方法はコンピュータ、サーバーなどの電子機器によって実行され、図１に示すように、当該方法は以下のステップを含む。

【0021】

１０１：複数のスピーチ原稿を取得する。

【0022】

１０２：前記各スピーチ原稿をいくつかのセクションにそれぞれ分割する。

【0023】

本発明の実施例において、前記いくつかのセクションはある論点を表現する段落であり、１つの形式段落であってもよいし、複数の形式段落であってもよい。例示的に、複数の形式段落は何れも製品の利点を説明すれば、これらの複数の形式段落を１つの段落とする。Ｃ１１……Ｃ１ｎを１番目のスピーチ原稿のセクションとし、Ｃ２１……Ｃ２ｎを２番目のスピーチ原稿のセクションとし、Ｃｎ１……Ｃｎｎをｎ番目のスピーチ原稿のｎ個のセクションとする。スピーチ原稿の分割方式は以下の方式を含むが、これらに限定されず、即ち、従来のセマンティック認識技術によって、テキスト内容のセマンティックに基づいて原稿全体をいくつかのセクションに分ける。さらに、音声認識の結果に基づいて、停頓、セマンティックを総合してセクションを形成してもよく、具体的に限定していない。

【0024】

１０３：ニューラルネットワークモデルを使用して全ての前記セクション及び複数の異なる所定質問を認識し、各前記所定質問及び全ての前記セクションを順に入力データとし、前記ニューラルネットワークモデルは入力データに対して特徴データを抽出して、前記特徴データに基づいて全ての前記セクションの、所定質問に対するランク付け情報を出力し、各前記セクションの、所定質問に対する認可度を示す。

【0025】

認可度は人気度として解釈されてもよく、ニューラルネットワークを使用して訓練データを認識することで学習される。例えば、ニューラルネットワークを訓練する時、人工で答え及び質問を準備して、これらの答えの、相応的な質問に対するランク付け状況を与え、即ち、各答えの人気度／認可度を人工で決定し、無論、ニューラルネットワークを訓練するためのサンプルデータとして、他の質疑応答データベースからデータを転移させてもよい。ニューラルネットワークの訓練方法、サンプルデータの設置及び取得方法は複数であり、具体的に以降の実施例において紹介する。これから分かるように、本解決策のニューラルネットワークは答えと質問との間の浅層のセマンティック関連を認識していなく、学習した知識に基づいて人間の思惟をシミュレーションして複数の答えをランク付けして、上位の答えであるほど、その認可度／人気度が高く、当該答えが好まれる。ところが、セマンティックから見れば、下位の答えよりも、上位の答えと所定質問との関連性が必ずしも高いわけではない。

【0026】

図４はニューラルネットワークの動作過程概略図であり、本解決策において訓練されたニューラルネットワークを使用して、分割されたセクションを認識して、ランク付け情報を出力する。具体的に、所定質問及び分割されたセクションをネットワークの入力とし、例えば、質問１＋Ｃ１１……Ｃｎｎを入力とし、Ｃ１１……Ｃｎｎの、所定質問１に対するランク付け情報を出力し、同じように、質問２＋Ｃ１１……Ｃｎｎを入力とし、Ｃ１１……Ｃｎｎの、所定質問２に対するランク付け情報を出力する。前記所定質問はスピーチ原稿の内容に基づいて設定され、具体的に、スピーチ原稿のテーマに基づいて所定質問として関連問題を設定する。上位のセクションであるほど、所定質問の答えに対する認可度／人気度が高い。

【0027】

１０４：全ての前記セクションの、各前記所定質問に対するランク付け情報に基づいて、各スピーチ原稿の評価結果を決定する。

【0028】

１つの実施例において、評価結果はスコア値であり、ランク付け状況に基づいて得点を与える前、ランクと得点との対応関係を設定し、例えば、１位にある場合、１０点に対応し、２位にある場合、８点に対応するなど。所定の質問は２つがあり、当該２つの質問に対して段落Ｃ１１……Ｃ１ｎは何れも相応的なランク付け状況があり、ここでランクが最も高いものを選択し、例えば、Ｃ１１の、質問１に対するランクは２位（最高）であれば、得点は８であり、Ｃ１４の、質問２に対するランクは３位（最高）であれば、得点は６である。当該スピーチ原稿の、当該２つの質問に対する総得点の計算方法は、直接加算、加重加算、加重平均などを含むが、これらに限定されていない。

【0029】

他の実施例において、評価結果は分類結果であってもよく、例えば、「優秀」、「良好」、「中等」、「不良」などのカテゴリを予め設定し、ニューラルネットワークから出力されるランク付け情報を分類して、各スピーチ原稿が所属するカテゴリを取得する。

【0030】

本発明が提供するスピーチ原稿の評価方法及び機器によれば、スピーチ原稿全体に対する評価タスクを、質問及び答えの認可度に対する評価に変換し、品質が異なる大量のスピーチ原稿をニューラルネットワークの学習サンプルとして提供する必要がなく、スピーチ原稿テーマに関する質問を予め設定して、認可度が異なる相応的な答えを準備すれば、ニューラルネットワークモデルを訓練でき、さらに、複数のスピーチ原稿に対する評価を完成し、従来技術においてサンプルが乏しいため、スピーチ原稿を評価しがたいという問題を解決して、且つ、本解決策の正確率を高くできる。

【0031】

本発明の実施例はスピーチ原稿の評価方法をさらに提供し、図２に示すように、前記方法は以下のステップ含む。

【0032】

２０１：複数のサンプル答え、１つの所定質問、及び各サンプル答えの、前記所定質問に対するランク付け情報がそれぞれ含まれる複数の訓練データを取得する。

【0033】

本発明の実施例において、ニューラルネットワークモデルを訓練し、１組の訓練データは１つの所定質問及び対応する複数の候補答えを含み、例えば、所定質問は、「以下、どの基本的な事実を記載するか？」ということがあり、対応する候補答えは４０個があり、ラベルは４０個の答えのランク付け状況であり、人間の主観的な意志に基づいて付与される。ランクが高いほど、答えの品質が高く、上位のサンプル答えであるほど、その認可度及び人気度が高く、より好まれる。

【0034】

本発明の実施例において、複数の訓練データの取得方式は、指定したいくつかのウェブページから、前記所定質問に関連付けられるコンテキスト及び相応的な回答内容をクローリングし、ここで、重複する回答内容が存在すると、マージしてからサンプル答えを取得し、各回答内容の、前記ウェブページにおけるランク付け状況に基づいて前記ランク付け情報を取得する。例示的に、あるテーマのスピーチ原稿の所定質問について、インターネットから（例えば質疑応答システム）合致する質問を検索できるとともに、当該質問に対する回答を取得でき、質問者はそのうちの１つの回答を最適な答えとして選んで、他の回答はその後に並んで、質問者と回答者との間のインタラクション状況、例えば人気などのランクに従って、当該ランクングを直接的に訓練データのラベルとしてもよい。

【0035】

ここで、ランクの数は候補答えの数に等しくなく、例えば４０個の候補答えが存在するが、ランク数が１０個である。ランクにおいて並列及び空白があってもよい。例えば、１位の答えは０個であり、２位の答えは０個であり、３位の答えは２つ又は３つであり、従って、前記ランク付け情報には空のランク付け及び／又は並列するランク付け情報が含まれる。

【0036】

所定質問はスピーチ原稿の内容に基づいて設定され、各回の評価は同一のテーマのスピーチ原稿に対応し、質問を予め設定する時、スピーチ原稿のテーマに対していくつかの質問を設定し、例示的に、「以下、どの基本的な事実を記載するか？」、「他の製品に対してどの利点があるのか？」、「使用者はどのような利益を取得できるか？」、「主人公は何をしたか？」、「主人公はどんな先進的事績を行ったのか？」など。通常の質疑応答システムの答えのランク付け方法を参照し、ｋ個の候補答えを選択してスピーチ原稿と結合する。ｔｏｐＫアルゴリズムはまず、指定した質問文に対して、ｔｏｐ―ｎ（例示的に、ｎ＝１０）個の関連ドキュメントを見つけて、ｔｆ―ｉｄｆ又はｂｍ２５アルゴリズムを使用してもよい。そして、ｎ個のドキュメントを段落に分割して、ｎより遥かに大きい候補答え組を取得して、その中からｔｏｐｋ個の候補答え（例示的に、ｋ＝４０）を選択し、ここで、上記の例示的な関連ドキュメント及び候補答えの数はその数を限定していなく、単に例である。

【0037】

２０２：前記複数の訓練データを使用して前記ニューラルネットワークモデルを訓練し、前記ニューラルネットワークは複数のサンプル答え及び１つの所定質問に基づいてランク付け情報を出力して、出力されたランク付け情報と、訓練データにおけるランク付け情報との差に基づいてモデルパラメータを最適化する。

【0038】

本発明の実施例において、２層のフィードフォワードニューラルネットワークを選択して、所定質問及びいくつかの候補答えを入力し、いくつかの候補答えのラベルを出力する。上記の複数の訓練データを使用してネットワークを訓練し、ネットワークから出力されたランク及びラベルの差はｌｏｓｓを決定して、ネットワークパラメータを最適化する。

【0039】

ネットワークはｆ（ｘｉ）＝ＲｅＬＵ（ｘｉＡＴ＋ｂ１）ＢＴ＋ｂ２として示される。

【0040】

Ｘｉはａｔｔｅｎｔｉｏｎ後の特徴を示し、Ａ∈Ｒｍ＊ｄ且つＢ∈Ｒ１＊ｍは最適化された重み行列パラメータであり、ｂ１∈Ｒｍ且つｂ２∈Ｒは線形バイアスベクトルである。

【0041】

２０３：複数のスピーチ原稿を取得する。

【0042】

２０４：各前記スピーチ原稿をいくつかのセクションにそれぞれ分割する。

【0043】

具体的な実施過程で、前記スピーチ原稿はスピーチ録音に対して音声認識を行うことで取得される文字データであり、音声認識の過程で音声の停頓期間を記録し、各前記スピーチ原稿をいくつかのセクションにそれぞれ分割するステップでは、スピーチ原稿のセマンティック及びスピーチ録音中の停頓期間に基づいて、スピーチ原稿をいくつかのセクションに分割する。

【0044】

２０５：ニューラルネットワークモデルを使用して全ての前記セクション及び複数の異なる所定質問を認識し、各前記所定質問及び全ての前記セクションを順に入力データとし、前記ニューラルネットワークモデルは入力データに対して特徴データを抽出して、前記特徴データに基づいて全ての前記セクションの、所定質問に対するランク付け情報を出力し、各前記セクションの、所定質問の答えに対する認可度／人気度を示す。

【0045】

図３はニューラルネットワークモデルの評価過程を示し、好適な実施例において、ニューラルネットワークモデルが入力データに対して特徴データを抽出する過程で、アテンションメカニズム（ａｔｔｅｎｔｉｏｎ）を使用して前記セクションからのテキストデータ、及び前記所定質問からのテキストデータを処理し、処理後の特徴データに基づいてランク付け情報を出力する。

【0046】

２０６：全ての前記セクションの、各前記所定質問に対するランク付け情報から、同一スピーチ原稿に属する各セクションの、各所定質問に対する最高ランク付け情報を取得する。

【0047】

本発明の実施例において、各ランク付け情報は何れも１つの所定スコア値に対応し、例えば、１位の状況は１０点に対応し、２位の状況は８点に対応するなど、具体的に、実際ニーズに基づいてランクとスコア値との対応関係を設定すればよい。

【0048】

２０７：同一スピーチ原稿の各前記最高ランク付け情報に基づいて前記スピーチ原稿に対する評価結果を取得する。

【0049】

本発明の実施例において、同一スピーチ原稿における各質問に対して、スピーチ内容から、最も関連する答えを見つけて得点を決定し、例示的に、所定の質問は２つがあり、当該２つの質問に対して段落Ｃ１１……Ｃ１ｎは何れも相応的なランク付け状況があり、ここで、ランクが最も高いものを選択し、例えば、Ｃ１１の、質問１に対するランクが２位（最高）であれば、得点は８であり、Ｃ１４の、質問２に対するランクは３位（最高）であれば、得点は６である。

【0050】

ここで、総合得点の計算方式は、各質問の得点を直接的に加算することで総合得点を取得し、質問の重要度に基づいて重みを設置してもよく、例示的に、図１に示すように、各答えの得点を加算して最終の得点である３５＋３０を取得できる。質問の重要度に基づいて重みを設置してもよく、例えば、質問１の重みを１.２に設置し、質問２の重みを０.８に設置すれば、最終の得点は１.２＊３５＋０.８＊３０であり、具体的な総合得点の計算方式及び重みの設置に対して限定していない。

【0051】

本発明の実施例において知識質疑応答システムの技術及びデータを転移して、データが乏しいため、採点しがたいスピーチ原稿の評価方法を構造し、当該評価モデルの正確率が高く、解釈可能性が強く、スコアを与えるとともに、相応的なスコア値の類似ケースを与える。

【0052】

本発明の実施例はスピーチ原稿の評価機器をさらに提供し、少なくとも１つのプロセッサー、及び前記少なくとも１つのプロセッサーと通信するように接続されるメモリを含み、前記メモリには、前記１つのプロセッサーが実行可能な指令が記憶され、前記指令は前記少なくとも１つのプロセッサーによって実行されることで、前記少なくとも１つのプロセッサーに上記の実施例に記載の方法を実行させる。

【0053】

本発明の実施例は指令を含むコンピュータプログラム製品をさらに提供し、コンピュータで運転すると、前記コンピュータに上記の実施例に記載の方法を実行させる。

【0054】

当業者であれば分かるように、本発明の実施例は方法、システム、又はコンピュータプログラム製品として提供されることができる。従って、本発明は、完全なハードウェアの実施例、完全なソフトウェアの実施例、又はソフトウェアとハードウェアとを結合した実施例の形態を採用できる。そして、本発明は、コンピュータ利用可能なプログラムコードが含まれる１つ又は複数のコンピュータ利用可能な記憶媒体（磁気ディスクメモリ、ＣＤ―ＲＯＭ、光メモリなどを含むが、これらに限定されていない）で実施されるコンピュータプログラム製品の形態を採用できる。

【0055】

本発明は、本発明の実施例による方法、機器（システム）、及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して記載する。ここで、コンピュータプログラム指令によって、フローチャート及び／又はブロック図における各フロー及び／又はブロック、及びフローチャート及び／又はブロック図におけるフロー及び／又はブロックの結合を実現できる。これらのコンピュータプログラム指令を汎用コンピュータ、専用コンピュータ、埋込型プロセッサー又は他のプログラマブルデータ処理機器のプロセッサーに提供することで、マシンを生成し、コンピュータ又は其他プログラマブルデータ処理機器のプロセッサーによって実行される指令は、フローチャートの１つ又は複数のフロー、及び／又はブロック図の１つ又は複数のブロックにおいて指定した機能を実現する装置を生成する。

【0056】

これらのコンピュータプログラム指令はさらに、特定の方式で動作させるようにコンピュータ又は他のプログラマブルデータ処理機器をガイドできるコンピュータ可読メモリに記憶されることで、当該コンピュータ可読メモリに記憶される指令は、指令装置を含む製品を生成し、当該指令装置はフローチャートの１つ又は複数のフロー、及び／又はブロック図の１つ又は複数のブロックにおいて指定した機能を実現する。

【0057】

これらのコンピュータプログラム指令はさらに、コンピュータ又は他のプログラマブルデータ処理機器に搭載されることで、コンピュータ又は他のプログラマブル機器に一連の操作ステップを実行させて、コンピュータが実現する処理を生成し、さらに、コンピュータ又は他のプログラマブル機器で実行される指令は、フローチャートの１つ又は複数のフロー、及び／又はブロック図の１つ又は複数のブロックにおいて指定した機能を実現するステップを提供する。

【0058】

明らかに、上記の実施例は実施形態を限定していなく、単にその例示を明らかに説明するためのものである。当業者にとって、上記の説明に基づいて他の異なる形態の変更又は改良を行ってもよい。ここで全ての実施形態を網羅できず、且つその必要がない。そこから得られる明らかな変更又は改良は依然的に本発明創造の保護範囲に該当する。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】