特開 2025-11027 機械読解方法及び機械読解システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025011027

(43)【公開日】2025-01-23

(54)【発明の名称】機械読解方法及び機械読解システム

(51)【国際特許分類】

   G06F 40/44 20200101AFI20250116BHJP

   G06F 40/56 20200101ALI20250116BHJP

【ＦＩ】

G06F40/44

G06F40/56

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2024088758

(22)【出願日】2024-05-31

(31)【優先権主張番号】112125735

(32)【優先日】2023-07-10

(33)【優先権主張国・地域又は機関】TW

(71)【出願人】

【識別番号】524207998

【氏名又は名称】アジア パシフィック マシーン インテリジェンス カンパニー

【氏名又は名称原語表記】Ａｓｉａ Ｐａｃｉｆｉｃ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ｃｏｍｐａｎｙ

【住所又は居所原語表記】２Ｆ．， Ｎｏ． １， Ｓｅｃ． ４， Ｘｉｎｙｉ Ｒｄ．， Ｄａ’ａｎ Ｄｉｓｔ．， Ｔａｉｐｅｉ Ｃｉｔｙ， Ｔａｉｗａｎ，

(74)【代理人】

【識別番号】100103850

【弁理士】

【氏名又は名称】田中 秀▲てつ▼

(74)【代理人】

【識別番号】100115679

【弁理士】

【氏名又は名称】山田 勇毅

(74)【代理人】

【識別番号】100114177

【弁理士】

【氏名又は名称】小林 龍

(74)【代理人】

【識別番号】100066980

【弁理士】

【氏名又は名称】森 哲也

(72)【発明者】

【氏名】呉 柏翰

(72)【発明者】

【氏名】張 書銘

(72)【発明者】

【氏名】宋 豐价

(57)【要約】

【課題】機械読解方法を開示する。
【解決手段】訓練データ及び複数の第１マスク問題に基づいて機械読解モデルを確立する工程と、複数の第２マスク問題を機械読解モデルに入力して機械読解モデルを訓練する工程と、機械読解モデルに従って対話生成モデルを生成する工程と、対話生成モデルに従って対話を生成する工程と、を備える機械読解方法。
【選択図】図２

【特許請求の範囲】

【請求項1】

訓練データ及び複数の第１マスク問題に基づいて機械読解モデルを確立する工程と、
複数の第２マスク問題を前記機械読解モデルに入力して前記機械読解モデルを訓練する工程と、
前記機械読解モデルに従って対話生成モデルを生成する工程と、
前記対話生成モデルに従って対話を生成する工程と、
を備える機械読解方法。

【請求項2】

前記訓練データ及び前記複数の第１マスク問題に基づいて前記機械読解モデルを確立する工程は、
前記訓練データにおける少なくとも１つの文字をランダムにマスクして前記複数の第１マスク問題を生成する工程と、
前記訓練データを探して前記複数の第１マスク問題に対応する複数の第１答えを取得する工程と、
を含む請求項１に記載の機械読解方法。

【請求項3】

前記複数の第２マスク問題を前記機械読解モデルに入力して前記機械読解モデルを訓練する工程は、
前記訓練データにおける少なくとも１つの文字をランダムにマスクして前記複数の第２マスク問題を生成する工程と、
前記複数の第２マスク問題を前記機械読解モデルに入力し、且つ前記機械読解モデルが複数の推定答えの複数の確率に基づいて前記複数の第２マスク問題に対応する複数の第２答えを判定する工程と、
前記複数の第２答えの複数のフィードバックスコアに基づいて前記機械読解モデルを訓練する工程と、
を含む請求項２に記載の機械読解方法。

【請求項4】

前記機械読解モデルに従って前記対話生成モデルを生成する工程は、
複数の対話文を前記対話生成モデルに入力する工程と、
前記対話生成モデルが前記機械読解モデルに従って複数の返答文を生成する工程と、
複数の返答文の複数のフィードバックスコアに基づいて前記対話生成モデルを訓練する工程と、
を含む請求項１に記載の機械読解方法。

【請求項5】

前記複数の対話文及び前記複数の返答文に基づいて複数の生成ポリシーを生成する工程と、
前記複数の生成ポリシーのうちの最適なものに基づいて前記対話を生成する工程と、
を更に備える請求項４に記載の機械読解方法。

【請求項6】

訓練データ及び複数の第１マスク問題に基づいて機械読解モデルを確立し、且つ複数の第２マスク問題を前記機械読解モデルに入力して前記機械読解モデルを訓練するための機械読解回路と、
前記機械読解回路に結合され、前記機械読解モデルに従って対話生成モデルを生成し、且つ前記対話生成モデルに従って対話を生成するための対話生成回路と、
前記機械読解回路と前記対話生成回路に結合され、前記機械読解モデル及び前記対話生成モデルを記憶するためのメモリと、
を含む機械読解システム。

【請求項7】

前記機械読解回路は、更に、前記訓練データにおける少なくとも１つの文字をランダムにマスクして前記複数の第１マスク問題を生成するために用いられ、且つ前記訓練データを探して前記複数の第１マスク問題に対応する複数の第１答えを取得するために用いられる請求項６に記載の機械読解システム。

【請求項8】

前記機械読解回路は、更に、前記訓練データにおける少なくとも１つの文字をランダムにマスクして前記複数の第２マスク問題を生成するために用いられ、前記複数の第２マスク問題を前記機械読解モデルに入力して、前記機械読解モデルが複数の推定答えの複数の確率に基づいて前記複数の第２マスク問題に対応する複数の第２答えを判定し、且つ前記複数の第２答えの複数のフィードバックスコアに基づいて前記機械読解モデルを訓練するために用いられる請求項７に記載の機械読解システム。

【請求項9】

前記対話生成回路は、更に、複数の対話文を前記対話生成モデルに入力するために用いられ、前記対話生成モデルが前記機械読解モデルに従って複数の返答文を生成するために用いられ、且つ複数の返答文の複数のフィードバックスコアに基づいて前記対話生成モデルを訓練するために用いられる請求項６に記載の機械読解システム。

【請求項10】

前記対話生成回路は、更に、前記複数の対話文及び前記複数の返答文に基づいて複数の生成ポリシーを生成するために用いられ、且つ前記複数の生成ポリシーのうちの最適なものに基づいて前記対話を生成するために用いられる請求項９に記載の機械読解システム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、機械読解方法及び機械読解システムに関する。詳細には、本願は、マスク学習による機械読解方法及び機械読解システムに関する。なお、本明細書において「マスク学習」とは、文章中の句（フレーズ）をマスクして学習することを意味し、「マスク問題」とは一部のテキストがマスクされている文章を意味する。

【背景技術】

【0002】

機械読解（Ｍａｃｈｉｎｅ Ｒｅａｄｉｎｇ Ｃｏｍｐｒｅｈｅｎｓｉｏｎ；ＭＲＣ）は、コンピュータに文章を閲覧させ且つ関連する問題を解く技術である。ここ数年来、各業界の文字データが大量に生成され、従来の人工処理方式を用いると、処理速度が遅く、オーバーヘッドが大きく、問答ペアが全面的にカバーできないなどの問題に直面するため、機械読解に対する需要が徐々に高まっている。どのように大量の文字データを効果的に読解するかは、本分野で解決すべき問題の１つである。

【発明の概要】

【課題を解決するための手段】

【0003】

本開示の１つの態様によれば、訓練データ及び複数の第１マスク問題に基づいて機械読解モデルを確立する工程と、複数の第２マスク問題を機械読解モデルに入力して機械読解モデルを訓練する工程と、機械読解モデルに従って対話生成モデルを生成する工程と、対話生成モデルに従って対話を生成する工程と、を備える機械読解方法を提供する。

【0004】

本開示の別の態様は、訓練データ及び複数の第１マスク問題に基づいて機械読解モデルを確立し、且つ複数の第２マスク問題を機械読解モデルに入力して機械読解モデルを訓練するための機械読解回路と、機械読解回路に結合され、機械読解モデルに従って対話生成モデルを生成し、且つ対話生成モデルに従って対話を生成するための対話生成回路と、機械読解回路と対話生成回路に結合され、機械読解モデル及び対話生成モデルを記憶するためのメモリと、を含む機械読解システムを提供する。

【図面の簡単な説明】

【0005】

後続の段落における実施形態及び下記図面を参照して、本願の内容をよりよく理解することができる。

【図1】本願のいくつかの実施例による機械読解システムの概略図である。

【図2】本願のいくつかの実施例による機械読解方法のフローチャートである。

【図3】本願のいくつかの実施例による図２における１つの工程のフローチャートである。

【図4】本願のいくつかの実施例による図２における１つの工程のフローチャートである。

【図5】本願のいくつかの実施例による図２における１つの工程のフローチャートである。

【図6】本願のいくつかの実施例による生成ポリシーの概略図である。

【発明を実施するための形態】

【0006】

以下、図面及び詳細な記載で本願の精神を明瞭に説明し、当業者の誰でも、本願の実施例を理解した後、本願の精神と範囲から逸脱することなく、本願が教示した技術に変更及び修飾を加えることができる。

【0007】

本明細書の用語は、特定の実施例を記述するためのものに過ぎず、本願の限定を意味するものではない。単数形の「１つ」、「これ」、「この」、「本」及び「該当」は、本明細書で用いたように、同様に複数形も含む。

【0008】

本明細書で使用される「含む」、「備える」、「有する」、「含有する」などについては、すべて開放的な用語であり、つまり、含むがこれに限定されないこと、を意味する。

【0009】

本明細書で使用される用語（ｔｅｒｍｓ）については、特に明記されない限り、通常、各用語がこの分野で使用され、本願の内容と特別な内容での一般的な意味を持っている。本願を記述するための用語のいくつかは、本願に関する記述のさらなる案内を当業者に提供するために、以下又は本明細書の他のところで議論される。

【0010】

図１は、本願のいくつかの実施例による機械読解システム１００の概略図である。一部の実施例において、図１を参照すると、機械読解システム１００は、機械読解回路１１０と、対話生成回路１３０と、メモリ１５０と、を含む。一部の実施例において、機械読解回路１１０と、対話生成回路１３０と、メモリ１５０とは、相互に結合される。

【0011】

図２を参照すると、本開示をより良く理解するために、機械読解システム１００の詳細な操作について、図２に示す実施例を組み合わせて説明する。図２は、本願のいくつかの実施例による機械読解方法２００のフローチャートである。機械読解方法２００は、図１に示す構造と同様又は類似ている機械読解システム１００に適用することができるが、本開示は、図１における実施例の適用に限定されない。

【0012】

図２に示すように、機械読解方法２００は、工程Ｓ２１０～Ｓ２７０を含む。

【0013】

工程Ｓ２１０において、訓練データ及び複数の第１マスク問題に基づいて機械読解モデルを確立する。一部の実施例において、工程Ｓ２１０は、図１における機械読解回路１１０により実行される。一部の実施例において、機械読解モデルは、図１におけるメモリ１５０に記憶される。

【0014】

図３を参照されたい。図３は、本願のいくつかの実施例による工程Ｓ２１０のフローチャートである。図３に示すように、工程Ｓ２１０は、工程Ｓ２１２及び工程Ｓ２１４を含む。

【0015】

工程Ｓ２１２において、訓練データにおける少なくとも１つの文字をランダムにマスクして第１マスク問題を生成する。一部の実施例において、訓練データは、多くの文字を含むテキストデータであり、少なくとも１つの文字は、単詞又は文であってもよい。一部の実施例において、機械読解回路１１０は、句読点に基づいて文をマスクする。

【0016】

例えば、一部の実施例において、テキストデータに文字内容「おはよう、私は朝食を食べに行きたいのですが、何が食べたいですか？」が含まれると仮定すると、機械読解回路１１０は、句読点のコンマ及び疑問符に基づいて、文の、句読点のコンマと句読点のピリオドとの間にある文字をマスクして、マスク問題「おはよう、私は朝食を食べに行きたいのですが、何が食べたいですか、［マスク］？」を生成する。別の実施例において、機械読解回路１１０は、単詞だけをマスクしてマスク問題、例えば「おはよう、私は［マスク］を食べに行きたいのですが、何が食べたいですか？」を生成する。

【0017】

一部の実施例において、機械読解回路１１０は、更に、訓練データにおける文字を符号に変換した後、符号の方式でマスクし、マスク問題、例えば「１．２、３．５、１．５、［マスク］？」を生成するために用いられる。

【0018】

工程Ｓ２１４において、訓練データを探して第１マスク問題に対応する第１答えを取得する。例えば、マスク問題「おはよう、私は［マスク］を食べに行きたいのですが、何が食べたいですか？」に対して、機械読解回路１１０は、テキスト内容を探した後、答えとしての「朝食」を取得する。

【0019】

一部の実施例において、機械読解回路１１０は、上記工程Ｓ２１２及び工程Ｓ２１４によりマスク問題を確立し且つ対応する答えを探し、且つマスク問題及び対応する答えに基づいて機械読解モデルを確立する。

【0020】

いくつかの実施例において、機械読解モデルは、ルックアップテーブル、及び、ニューラルネットワークに基づく分類モデルを含んでもよい。ニューラルネットワークに基づく分類モデルは、複数のノード及びノード間の接続回線の重みを含み、各ノードは、１つのマスク問題又は１つの答えに対応する。機械読解回路１１０は、ニューラルネットワークに基づく分類モデルによりマスク問題を確立し且つ訓練データにおいて対応する答えを検索すると同時に、複数のノード及びノード間の接続回線の重みを確立する。これに基づいて、機械読解回路１１０は、ニューラルネットワークに基づく分類モデルによりノード及びノード間の接続回線の重みに基づいてマスク問題に対応する答えを探すことができる。

【0021】

ルックアップテーブルは、複数のマスク問題及び複数の答えを含む。複数の答えのそれぞれは、重み値又は確率値を含む。機械読解回路１１０は、マスク問題を確立し且つ訓練データにおいて対応する答えを検索すると同時に、複数のマスク問題及びそれに対応する答えを含む重み値又は確率値を確立することができる。これに基づいて、機械読解回路１１０は、マスク問題に基づいてルックアップテーブルにおいて対応する回答及びその重み値又は確率値を検索する。

【0022】

工程Ｓ２３０において、複数の第２マスク問題を機械読解モデルに入力して機械読解モデルを訓練する。一部の実施例において、工程Ｓ２３０は、図１における機械読解回路１１０により実行される。

【0023】

図４を参照されたい。図４は、本願のいくつかの実施例による工程Ｓ２３０のフローチャートである。図４に示すように、工程Ｓ２３０は、工程Ｓ２３２～工程Ｓ２３６を含む。

【0024】

工程Ｓ２３２において、訓練データにおける少なくとも１つの文字をランダムにマスクして複数の第２マスク問題を生成する。一部の実施例において、少なくとも１つの文字は、単詞又は文であってもよい。一部の実施例において、機械読解回路１１０は、句読点に基づいて文をマスクする。例えば、訓練データに文字内容「おはよう、私は朝食を食べに行きたいのですが、何が食べたいですか？」が含まれ、マスク問題は、「おはよう、私は朝食を食べに行きたいのですが、何が食べたいですか、［マスク］？」又は「おはよう、私は［マスク］を食べに行きたいのですが、何が食べたいですか？」であってもよい。

【0025】

工程Ｓ２３４において、マスク問題を機械読解モデルに入力し、且つ機械読解モデルが複数の推定答えの複数の確率に基づいて複数の第２マスク問題に対応する複数の第２答えを判定する。

【0026】

例えば、機械読解回路１１０は、マスク問題「おはよう、私は［マスク］を食べに行きたいのですが、何が食べたいですか？」に対して、マスク問題を機械読解モデルに入力する。

【0027】

工程Ｓ２３４において、機械読解モデルは、工程Ｓ２１０において学習した第１マスク問題及びそれに対応する第１答えに基づいて工程Ｓ２３４における第２マスク問題に対応する推定答えを生成する。工程Ｓ２３４において、機械読解モデルは、訓練データにおいて答えを探していない。

【0028】

例えば、一部の実施例において、機械読解モデルが工程Ｓ２１０において学習した第１マスク問題及びそれに対応する第１答えに基づいて、「丘」、「朝食」及び「保険」を含む、マスク問題「おはよう、私は［マスク］を食べに行きたいのですが、何が食べたいですか？」に対応する複数の推定答えを生成する。

【0029】

推定答えのそれぞれは、確率を含む。一部の実施例において、機械読解モデルが工程Ｓ２１０において学習した第１マスク問題及びそれに対応する第１答えに基づいて、マスク問題「おはよう、私は［マスク］を食べに行きたいのですが、何が食べたいですか？」に対応する確率リストを生成する。一実施例において、確率リストは、
丘［０．２］
朝食［０．９］
保険［０．１］である。

【0030】

一部の実施例において、機械読解モデルは、確率リストにおける確率が最も高いものを判定し、且つ確率が最も高いものに対応する推定答えを対応するマスク問題の答えとする。

【0031】

例えば、上記確率リストにおいて、推定答え「朝食」の確率は、最も高い。機械読解モデルは、推定答え「朝食」をマスク問題「おはよう、私は［マスク］を食べに行きたいのですが、何が食べたいですか？」の答えとする。

【0032】

注意すべきこととして、上記実施例において、確率リストを例とする。他のいくつかの実施例において、確率リストは、重み値リスト、スコアリスト又は他の方式で表されてもよい。

【0033】

工程Ｓ２３６において、複数の第２答えの複数のフィードバックスコアに基づいて機械読解モデルを訓練する。例えば、工程Ｓ２３４において、マスク問題「おはよう、私は［マスク］を食べに行きたいのですが、何が食べたいですか？」の答えが「朝食」である場合に、フィードバックスコアは、［＋１］である。工程Ｓ２３４において、マスク問題「おはよう、私は［マスク］を食べに行きたいのですが、何が食べたいですか？」の答えが「保険」である場合に、フィードバックスコアは、［－１］である。一部の実施例において、フィードバックスコア［＋１］は、答えが正しいこと、を表す一方、フィードバックスコア［－１］は、答えが誤ること、を表す。様々なフィードバックスコアは、いずれも本願の実施形態内にあり、本願の実施形態は、上記フィードバックスコアに限定されない。

【0034】

一部の実施例において、機械読解回路１１０は、更に、機械読解モデルを最適化させるように、上記マスク問題、答え及びそのフィードバックスコアに基づいて機械読解モデルを訓練するために用いられる。

【0035】

工程Ｓ２５０において、機械読解モデルに従って対話生成モデルを生成する。一部の実施例において、工程Ｓ２５０は、図１における対話生成回路１３０により実行される。一部の実施例において、対話生成モデルは、図１におけるメモリ１５０に記憶される。

【0036】

図５を併せて参照されたい。図５は、本願のいくつかの実施例による工程Ｓ２５０のフローチャートである。図３に示すように、工程Ｓ２５０は、工程Ｓ２５２～工程Ｓ２５６を含む。

【0037】

工程Ｓ２５２において、複数の対話文を対話生成モデルに入力する。例えば、使用者は、入出力回路（図示しない）により第１対話文「おはよう、起きましたか？」を機械読解システム１００に入力する。

【0038】

工程Ｓ２５４において、対話生成モデルが機械読解モデルに従って複数の返答文を生成する。例えば、対話生成回路１３０は、第１対話文「おはよう、起きましたか？」に基づいて、対話生成モデルに従って第１返答文「おはよう、先ほど起きました」を生成する。一部の実施例において、上記対話文と返答文は、工程Ｓ２１０の訓練データに存在し、機械読解モデルが学習した後、対話生成モデルは、直接使用して返答文を生成することができる。このように、対話文の入力と返答文の生成を複数回繰り返すと、対話生成回路１３０は、対話文と返答文に基づいて対話生成モデルを生成することができる。

【0039】

工程Ｓ２５６において、複数の返答文の複数のフィードバックスコアに基づいて対話生成モデルを訓練する。例えば、第１対話文「おはよう、起きましたか？」に基づいて、対話生成回路１３０が対話生成モデルに従って第１返答文「おはよう、先ほど起きました」を生成する場合に、フィードバックスコアは、［＋１］である一方、第１対話文「おはよう、起きましたか？」に基づいて、対話生成回路１３０が対話生成モデルに従って第１返答文「特価３つ１００元」を生成する場合に、フィードバックスコアは、［－１］である。一部の実施例において、フィードバックスコア［＋１］は、答えが正しいこと、を表す一方、フィードバックスコア［－１］は、答えが誤ること、を表す。

【0040】

一部の実施例において、対話生成回路１３０は、更に、対話生成モデルを最適化させるように、上記対話文、返答文及びそのフィードバックスコアに基づいて対話生成モデルを訓練するために用いられる。

【0041】

いくつかの実施例において、対話生成モデルは、対話テンプレート及び対応する文字内容と、ニューラルネットワークに基づく分類モデルと、ルックアップテーブルと、を含んでもよい。

【0042】

対話テンプレートは、機械読解モデルに従って生成した対話テンプレートであってもよい。マスク文により、マスク問題の後に続く文を取得して、対話テンプレートを確立する。

【0043】

ニューラルネットワークに基づく分類モデルは、複数のノード及びノード間の接続回線の重みを含み、各ノードは、１つの対話文又は１つの返答文に対応する。対話生成回路１３０は、ニューラルネットワークに基づく分類モデルにより対話文を確立して機械読解モデルにおいて対応する返答文を検索すると同時に、複数のノード及びノード間の接続回線の重みを確立することができる。これに基づいて、対話生成回路１３０は、ニューラルネットワークに基づく分類モデルによりノード及びノード間の接続回線の重みに基づいて対話文に対応する返答文を探すことができる。

【0044】

ルックアップテーブルは、複数の対話文及び複数の返答文を含む。複数の返答文のそれぞれは、重み値又は確率値を含む。対話生成回路１３０は、機械読解モデルにより対話文に対応する返答文を検索すると同時に、返答文の重み値又は確率値を確立し、且つ返答文に続く対話文の重み値又は確率値を更に確立することができる。これに基づいて、対話生成回路１３０は、対話文に基づいてルックアップテーブルにおいて対応する返答文及びその重み値又は確率値を検索する。

【0045】

上記実施例において、機械読解モデル及び対話生成モデルは、日常対話内容を生成するために用いられるが、本開示は、これに限定されない。一実施例において、機械読解モデル及び対話生成モデルは、法律条文内容又は法律文書に対して上記のマスクによる訓練を行うことができ、詳細な説明は以下の段落を参照してください。

【0046】

図３を再び参照すると、例えば、工程Ｓ２１２において、訓練データは、法律文書である。第１マスク問題は、例えば「本法でいう特許は、次の３種類に分けられる。一、発明特許。二、［マスク］。三、意匠。」であってもよい。

【0047】

工程Ｓ２１４において、機械読解回路１１０は、マスク問題「本法でいう特許は、次の３種類に分けられる。一、発明特許。二、［マスク］。三、意匠。」に対して、テキスト内容を探した後、答え「考案」を取得する。

【0048】

これに基づいて、図２の工程Ｓ２１０において、機械読解回路１１０は、法律文書をランダムにマスクして機械読解モデルを確立する。

【0049】

そして、工程Ｓ２３０において、機械読解回路１１０は、複数の第２マスク問題機械に基づいて読解モデルを訓練する。詳細には、図４を併せて参照すると、工程Ｓ２３２において、訓練データにおける少なくとも１つの文字をランダムにマスクして複数の第２マスク問題を生成する。第２マスク問題は、例えば「本法でいう特許は、次の３種類に分けられる。一、［マスク］。二、考案。三、意匠。」であってよい。

【0050】

工程Ｓ２３４において、機械読解回路１１０は、上記第２マスク問題に基づいて、複数の推定答え及びそれに対応する確率リストを取得する。例えば、
発明特許［０．９］
牛肉麺［０．１］
特許要件［０．２］である。

【0051】

機械読解モデルは、上記確率リストに基づいて、推定答え「発明特許」をマスク問題「本法でいう特許は、次の３種類に分けられる。一、［マスク］。二、考案。三、意匠。」の答えとする。

【0052】

そして、工程Ｓ２３６において、機械読解回路１１０は、第２マスク問題に対応する複数の第２答え及びそのフィードバックスコアに基づいて機械読解モデルを訓練することができる。例えば、工程Ｓ２３４において、マスク問題「本法でいう特許は、次の３種類に分けられる。一、［マスク］。二、考案。三、意匠。」の答えが「発明特許」である場合に、フィードバックスコアは、［＋１］である。工程Ｓ２３４において、マスク問題「本法でいう特許は、次の３種類に分けられる。一、［マスク］。二、考案。三、意匠。」の答えが「牛肉麺」である場合に、フィードバックスコアは、［－１］である。一部の実施例において、フィードバックスコア［＋１］は、答えが正しいこと、を表す一方、フィードバックスコア［－１］は、答えが誤ること、を表す。様々なフィードバックスコアは、いずれも本願の実施形態内にあり、本願の実施形態は、上記フィードバックスコアに限定されない。そして、工程Ｓ２５０において、再機械読解モデルに従って対話生成モデルを生成する。

【0053】

図５を参照すると、工程Ｓ２５２において、複数の対話文を対話生成モデルに入力する。第１対話文は、例えば「特許にはいくつかの種類があるか？」であってもよい。

【0054】

工程Ｓ２５４において、対話生成回路１３０は、第１対話文「特許にはいくつかの種類があるか？」に基づいて、機械読解モデルに従って第１返答文「特許は、３種類に分けられる。」を生成する。このように、対話生成回路１３０は、対話文の入力と返答文の生成を複数回繰り返し、対話文と返答文に基づいて対話生成モデルを生成することができる。

【0055】

工程Ｓ２５６において、複数の返答文の複数のフィードバックスコアに基づいて対話生成モデルを訓練する。例えば、第１対話文「特許にはいくつかの種類があるか？」に基づいて、対話生成回路１３０が対話生成モデルに従って第１返答文「３種類」を生成する場合に、フィードバックスコアは、［＋１］である一方、第１対話文「特許にはいくつかの種類があるか？」に基づいて、対話生成回路１３０が対話生成モデルに従って第１返答文「私は牛肉麺が食べたい」を生成する場合に、フィードバックスコアは、［－１］である。一部の実施例において、フィードバックスコア［＋１］は、答えが正しいこと、を表す一方、フィードバックスコア［－１］は、答えが誤ること、を表す。

【0056】

これに基づいて、一部の実施例において、対話生成回路１３０は、更に、対話生成モデルを最適化させるように、上記対話文、返答文及びそのフィードバックスコアに基づいて対話生成モデルを訓練するために用いられる。

【0057】

一部の実施例において、複数の対話文及び返答文は、生成ポリシーを形成する。図６を併せて参照されたい。図６は、本願のいくつかの実施例による生成ポリシーの概略図である。

【0058】

図６に示すように、図６において、対話生成回路１３０が対話文Ｑ１に基づいて生成する可能性のある返答文は、返答文Ａ１、返答文Ａ２又は返答文Ａ３を含む。また、対話生成回路１３０が対話文Ｑ１に基づいて返答文Ａ１を返信した後、対話生成回路１３０が後続の対話文Ｑ２（図示しない）及び返答文Ａ１に基づいて更に生成する可能性のある返答文は、返答文Ａ１１又は返答文Ａ１２を含む。対話生成回路１３０が対話文Ｑ１に基づいて返答文Ａ２を返信した後、対話生成回路１３０が後続の対話文Ｑ２（図示しない）及び返答文Ａ２に基づいて更に生成する可能性のある返答文は、返答文Ａ２１又は返答文Ａ２２を含む。また、対話生成回路１３０が対話文Ｑ１に基づいて返答文Ａ３を返信した後、対話生成回路１３０が後続の対話文Ｑ２（図示しない）及び返答文Ａ３に基づいて更に生成する可能性のある返答文は、返答文Ａ３１又は返答文Ａ３２を含む。上記対話文及び返答文は、例示的に説明するためのものに過ぎず、本願の実施形態は、以上に限定されない。

【0059】

一部の実施例において、対話文Ｑ１に基づいて返答文Ａ１及びＡ１１を生成して生成ポリシーＳ１を形成し、対話文Ｑ１に基づいて返答文Ａ１及びＡ１２を生成して生成ポリシーＳ２を形成し、対話文Ｑ１に基づいて返答文Ａ２及びＡ２１を生成して生成ポリシーＳ３を形成し、対話文Ｑ１に基づいて返答文Ａ２及びＡ２２を生成して生成ポリシーＳ４を形成し、対話文Ｑ１に基づいて返答文Ａ３及びＡ３１を生成して生成ポリシーＳ５を形成し、対話文Ｑ１に基づいて返答文Ａ３及びＡ３２を生成して生成ポリシーＳ６を形成する。

【0060】

一部の実施例において、返答文Ａ１～Ａ３、Ａ１１～Ａ３２のそれぞれは、フィードバックスコアを含む。一部の実施例において、対話生成回路１３０は、複数の返答文及びそれらのそれぞれに含まれるフィードバックスコアに基づいて、対話生成モデルを最適化させる。

【0061】

工程Ｓ２７０において、対話生成モデルに従って対話を生成する。一部の実施例において、工程Ｓ２７０は、図１における対話生成回路１３０により実行される。図６を参照すると、一部の実施例において、対話生成回路１３０は、複数の生成ポリシーＳ１～Ｓ６のそれぞれの総フィードバックスコアを計算して、複数の生成ポリシーＳ１～Ｓ６のそれぞれの総フィードバックスコアのうちのスコアが最も高いものを最適なものとし、且つ最適なものの生成ポリシーに基づいて対話を生成する。

【0062】

例えば、一部の実施例において、対話生成回路１３０は、返答文Ａ１及びＡ１１のフィードバックスコアを加算して生成ポリシーＳ１の総フィードバックスコアとし、残りは、このように類推される。

【0063】

生成ポリシーＳ１～Ｓ６における総フィードバックスコアのうちのスコアが最も高いものは生成ポリシーＳ１である場合に、対話生成回路１３０は、生成ポリシーＳ１に基づいて対話を生成する。

【0064】

前述実施例に基づいて、本願の実施形態は、機械読解方法及び機械読解システムを提供し、マスクにより訓練データの学習を行った後、フィードバックスコアを追加して機械読解モデルを最適化させる。なお、機械読解モデルに従って対話生成モデルを生成し、且つフィードバックスコアにより対話生成モデルを最適化させて、対話を生成する。本願の実施形態は、大量の文字データを効果的に読解し、且つ閲覧された文字データに基づいて対話を生成することができ、機械学習の有効性を増加させることができる。

【0065】

一部の実施例において、上記のような機械読解システム１００は、電子装置又は電子システムに統合することができる。いくつかの実施例において、サーバーは、中央処理ユニットを含むクラウドサーバとして実施することができる。いくつかの実施例において、サーバーは、単一のプロセッサ又は複数のマイクロプロセッサの組み合わせであってもよいが、これらに限定されず、メモリと入出力回路と、を含む。

【0066】

一部の実施例において、機械読解回路１１０及び対話生成回路１３０は、中央処理ユニット（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｏｒ ｕｎｉｔ；ＣＰＵ）、マイクロプロセッサ（ＭＣＵ）、サーバー又はデータアクセス、データ計算、データ記憶、データ伝送と受信、又は類似している機能を有する他の演算回路又は素子であってもよい。

【0067】

一部の実施例において、機械読解回路１１０及び対話生成回路１３０のそれぞれは、プロセッサと入出力回路と、を含む。プロセッサは、データアクセス、データ計算、データ記憶、又は類似している機能を有する回路又は素子であってもよい。入出力回路は、データ伝送受信又は類似している機能を有する回路又は素子であってもよい。

【0068】

一部の実施例において、メモリ１５０は、データ記憶、データアクセス又は類似している機能を有する回路又は素子であってもよい。

【0069】

本願は、詳細な実施例で上記のように開示されているが、他の実行可能な実施形態を排除しない。したがって、本願の保護範囲は、前述の実施例によって制限されなく、後付の特許請求の範囲によって規定されているものを基準とすべきである。

【0070】

当業者にとっては、本願の精神及び範囲を逸脱することなく、本願に対して様々な変更及び修飾を行うことができる。前述の実施例に基づいて、本願に対して行ったすべての変更と修飾は、本願の保護範囲内にも含まれる。

【符号の説明】

【0071】

１００：機械読解システム
１１０：機械読解回路
１３０：対話生成回路
１５０：メモリ
２００：機械読解方法
Ｓ２１０、Ｓ２３０、Ｓ２５０、Ｓ２７０：工程
Ｓ２１２、Ｓ２１４：工程
Ｓ２３２、Ｓ２３４、Ｓ２３６：工程
Ｓ２５２、Ｓ２５４、Ｓ２５６：工程
Ｑ１：対話文
Ａ１、Ａ２、Ａ３：返答文
Ａ１１、Ａ１２、Ａ２１、Ａ２２、Ａ３１、Ａ３２：返答文
Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、Ｓ６：生成ポリシー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】