知財求人 - 知財ポータルサイト「IP Force」
特開2024-72803自然言語推論モデルを用いたドメイン固有のテキストラベル付け
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024072803
(43)【公開日】2024-05-28
(54)【発明の名称】自然言語推論モデルを用いたドメイン固有のテキストラベル付け
(51)【国際特許分類】
G06F 40/279 20200101AFI20240521BHJP
G06F 40/117 20200101ALI20240521BHJP
【ＦＩ】
G06F40/279
G06F40/117
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023193031
(22)【出願日】2023-11-13
(31)【優先権主張番号】18/055862
(32)【優先日】2022-11-16
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＺＩＧＢＥＥ
２．ＢＬＵＥＴＯＯＴＨ
３．ＷＣＤＭＡ
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】チェン・ウェイ－ペン
(72)【発明者】
【氏名】バーラミ・メフディ
(72)【発明者】
【氏名】リィウ・レイ
【テーマコード（参考）】
5B109
【Ｆターム（参考）】
5B109NH02
5B109TA11
(57)【要約】 （修正有）
【課題】自然言語推論モデルを用いたドメイン固有のテキストラベル付けを提供する。
【解決手段】実行パイプライン３００は、ドメインに関連付けられた第１テキストコーパスからテキストのセット１１０Ａとドメインに関連付けられた仮説ステートメントのセットを受信し、事前トレーニングされた自然言語推論（ＮＬＩ）モデルを、受信したテキストのセットの各テキスト及び受信した仮説ステートメントのセットの各仮説ステートメントに適用し、ドメインに関連付けられた第２テキストコーパスを生成し、生成した第２テキストコーパスに、フューショット学習モデルを適用して、ドメインに関連付けられた第３テキストコーパスを生成する。第３テキストコーパスは、ＮＬＩモデルを微調整し、微調整されたＮＬＩモデルは、ドメインに関連付けられた入力テキストをラベル付けし、ラベル付けされた入力テキスト３１２Ａの表示装置上での表示を制御する。
【選択図】図３
【解決手段】実行パイプライン３００は、ドメインに関連付けられた第１テキストコーパスからテキストのセット１１０Ａとドメインに関連付けられた仮説ステートメントのセットを受信し、事前トレーニングされた自然言語推論（ＮＬＩ）モデルを、受信したテキストのセットの各テキスト及び受信した仮説ステートメントのセットの各仮説ステートメントに適用し、ドメインに関連付けられた第２テキストコーパスを生成し、生成した第２テキストコーパスに、フューショット学習モデルを適用して、ドメインに関連付けられた第３テキストコーパスを生成する。第３テキストコーパスは、ＮＬＩモデルを微調整し、微調整されたＮＬＩモデルは、ドメインに関連付けられた入力テキストをラベル付けし、ラベル付けされた入力テキスト３１２Ａの表示装置上での表示を制御する。
【選択図】図３
【特許請求の範囲】
【請求項1】
プロセッサによって実行される方法であって、
ドメインに関連付けられた第１テキストコーパスから前記ドメインに関連付けられたテキストのセットを受信するステップと、
前記ドメインに関連付けられた仮説ステートメントのセットを受信するステップと、
前記受信したテキストのセットの各テキスト及び前記受信した仮説ステートメントのセットの各仮説ステートメントに事前トレーニングされた自然言語推論（NLI）モデルを適用するステップと、
前記事前トレーニングされたNLIモデルの適用に基づいて、前記ドメインに関連付けられた第２テキストコーパスを生成するステップであって、前記生成された第２テキストコーパスは、前記ドメインに関連付けられたラベルのセットに対応する、ステップと、
前記生成された第２テキストコーパスにフューショット学習モデルを適用して、前記ドメインに関連付けられた第３テキストコーパスを生成するステップであって、前記生成された第３テキストコーパスは、前記適用された事前トレーニングされたNLIモデルを微調整するように構成され、前記微調整されたNLIモデルは、前記受信した仮説ステートメントのセットに基づいて、前記ドメインに関連付けられた入力テキストをラベル付けするように構成される、ステップと、
表示装置上の前記ラベル付けされた入力テキストの表示を制御するステップと、
を含む方法。
ドメインに関連付けられた第１テキストコーパスから前記ドメインに関連付けられたテキストのセットを受信するステップと、
前記ドメインに関連付けられた仮説ステートメントのセットを受信するステップと、
前記受信したテキストのセットの各テキスト及び前記受信した仮説ステートメントのセットの各仮説ステートメントに事前トレーニングされた自然言語推論（NLI）モデルを適用するステップと、
前記事前トレーニングされたNLIモデルの適用に基づいて、前記ドメインに関連付けられた第２テキストコーパスを生成するステップであって、前記生成された第２テキストコーパスは、前記ドメインに関連付けられたラベルのセットに対応する、ステップと、
前記生成された第２テキストコーパスにフューショット学習モデルを適用して、前記ドメインに関連付けられた第３テキストコーパスを生成するステップであって、前記生成された第３テキストコーパスは、前記適用された事前トレーニングされたNLIモデルを微調整するように構成され、前記微調整されたNLIモデルは、前記受信した仮説ステートメントのセットに基づいて、前記ドメインに関連付けられた入力テキストをラベル付けするように構成される、ステップと、
表示装置上の前記ラベル付けされた入力テキストの表示を制御するステップと、
を含む方法。
【請求項2】
前記ドメインに関連付けられた前記仮説ステートメントのセットが、肯定仮説ステートメント、中立仮説ステートメント又は否定仮説ステートメントの少なくとも１つを含む、請求項１に記載の方法。
【請求項3】
前記受信したテキストのセットに関連付けられた文のセットから、前提として第１文を選択するステップと、
前記文のセットの各文に関連付けられた最終NLIスコアを計算するための第１動作セットの実行を制御するステップであって、前記第１動作セットは、
前記仮説ステートメントのセットからの各仮説ステートメントについて、
前記選択された第１文及び対応する仮説ステートメントに前記事前トレーニングされたNLIモデルを適用し、
前記選択された第１文及び前記対応する仮説ステートメントに前記事前トレーニングされたNLIモデルを適用することに基づいて、前記選択された第１文に関連付けられた中間NLIスコアを決定し、
前記文のセットの中のすべての文が前記最終NLIスコアの計算のために処理されたかどうかを決定し、
前記文のセットの中の少なくとも１つの文が未処理であるという決定に基づいて、前記第１文として前記文のセットから第２文を選択することを含む、ステップと、
前記第１動作セットの実行の反復制御に基づいて、前記受信したテキストのセットに関連付けられた全体NLIスコアを得るために、前記文のセットの各文に関連付けられた前記最終NLIスコアを計算するステップと、
を含む請求項１に記載の方法。
前記文のセットの各文に関連付けられた最終NLIスコアを計算するための第１動作セットの実行を制御するステップであって、前記第１動作セットは、
前記仮説ステートメントのセットからの各仮説ステートメントについて、
前記選択された第１文及び対応する仮説ステートメントに前記事前トレーニングされたNLIモデルを適用し、
前記選択された第１文及び前記対応する仮説ステートメントに前記事前トレーニングされたNLIモデルを適用することに基づいて、前記選択された第１文に関連付けられた中間NLIスコアを決定し、
前記文のセットの中のすべての文が前記最終NLIスコアの計算のために処理されたかどうかを決定し、
前記文のセットの中の少なくとも１つの文が未処理であるという決定に基づいて、前記第１文として前記文のセットから第２文を選択することを含む、ステップと、
前記第１動作セットの実行の反復制御に基づいて、前記受信したテキストのセットに関連付けられた全体NLIスコアを得るために、前記文のセットの各文に関連付けられた前記最終NLIスコアを計算するステップと、
を含む請求項１に記載の方法。
【請求項4】
前記文のセットの各文に関連付けられた前記最終NLIスコアは、前記仮説ステートメントのセットからの各仮説ステートメントについて、前記第１文に関連付けられた前記中間NLIスコアの加重平均に対応する、請求項３に記載の方法。
【請求項5】
前記仮説ステートメントのセットの各仮説ステートメントにニューラルネットワークモデルを適用して、前記中間NLIスコアの前記加重平均に関連付けられた重みのセットを決定するステップ、を更に含み、
前記文のセットの各文に関連付けられた前記最終NLIスコアは、前記決定された重みのセット及び前記第１文に関連付けられた前記中間NLIスコアに基づいて決定される、請求項４に記載の方法。
前記文のセットの各文に関連付けられた前記最終NLIスコアは、前記決定された重みのセット及び前記第１文に関連付けられた前記中間NLIスコアに基づいて決定される、請求項４に記載の方法。
【請求項6】
所定のNLIクラスのセットの各NLIクラスにわたって、前記中間NLIスコアに基づいて、前記文のセットの各文のNLI予測スコアを決定するステップと、
各文の前記決定されたNLI予測スコアに基づいて、前記所定のNLIクラスのセットの各NLIクラスの最大スコアを決定するステップと、
前記所定のNLIクラスのセットの各NLIクラスの前記決定された最大スコアに基づいて、予測クラスを決定するステップと、
前記決定された予測クラスに基づいて、前記テキストのセットに関連付けられた予測ラベルを決定するステップであって、前記得られた全体NLIスコアは、前記テキストのセットに関連付けられた前記決定された予測ラベルに対応する、ステップと、
を更に含む請求項３に記載の方法。
各文の前記決定されたNLI予測スコアに基づいて、前記所定のNLIクラスのセットの各NLIクラスの最大スコアを決定するステップと、
前記所定のNLIクラスのセットの各NLIクラスの前記決定された最大スコアに基づいて、予測クラスを決定するステップと、
前記決定された予測クラスに基づいて、前記テキストのセットに関連付けられた予測ラベルを決定するステップであって、前記得られた全体NLIスコアは、前記テキストのセットに関連付けられた前記決定された予測ラベルに対応する、ステップと、
を更に含む請求項３に記載の方法。
【請求項7】
前記文のセットの各文に関連付けられた前記最終NLIスコアにウインドウ関数を適用するステップと、
前記ウインドウ関数の適用に基づいて、前記文のセットからの第１文セットのウインドウの平均スコアを計算するステップと、
前記第１文セットのウインドウの計算された平均スコアに基づいて、前記受信したテキストのセットに関連付けられた前記全体NLIスコアを取得するステップと、
を更に含む請求項３に記載の方法。
前記ウインドウ関数の適用に基づいて、前記文のセットからの第１文セットのウインドウの平均スコアを計算するステップと、
前記第１文セットのウインドウの計算された平均スコアに基づいて、前記受信したテキストのセットに関連付けられた前記全体NLIスコアを取得するステップと、
を更に含む請求項３に記載の方法。
【請求項8】
所定のNLIクラスのセットの各NLIクラスについて、前記中間NLIスコアに基づいて、前記文のセットの各文のNLI予測スコアを決定するステップと、
前記所定のNLIクラスのセットの各NLIクラスについて、前記文のセットの各文の前記決定されたNLI予測スコアを、第１の所定の閾値と比較するステップと、
前記決定されたNLI予測スコアと前記第１の所定の閾値との比較に基づいて、前記受信されたテキストのセットに関連付けられた前記全体NLIスコアを取得するステップと、
を更に含む請求項３に記載の方法。
前記所定のNLIクラスのセットの各NLIクラスについて、前記文のセットの各文の前記決定されたNLI予測スコアを、第１の所定の閾値と比較するステップと、
前記決定されたNLI予測スコアと前記第１の所定の閾値との比較に基づいて、前記受信されたテキストのセットに関連付けられた前記全体NLIスコアを取得するステップと、
を更に含む請求項３に記載の方法。
【請求項9】
前記文のセットの各文に関連付けられた前記最終NLIスコアに基づいて、前記受信したテキストのセットの主要文のセットを決定するステップと、
前記表示装置上の前記決定された主要文のセットの表示を制御するステップと、
を更に含む請求項３に記載の方法。
前記表示装置上の前記決定された主要文のセットの表示を制御するステップと、
を更に含む請求項３に記載の方法。
【請求項10】
前記文のセットの各文に関連付けられた前記最終NLIスコアに基づいて、前記文のセットから、肯定文のセット及び否定文のセットを含む第２文セットを識別するステップと、
前記識別された第２文セットの各文に関連付けられた前記最終NLIスコアを第２の所定の閾値と比較するステップと、
前記識別された第２文セットの各文に関連付けられた第１NLIスコアと前記第２の所定の閾値との比較に基づいて、前記識別された第２文セットの各文に関連付けられた予測のタイプを決定するステップと、
前記決定された予測のタイプに基づいて、前記第２文セットの各文に関連付けられた修正ラベルを決定するステップと、
を更に含む請求項３に記載の方法。
前記識別された第２文セットの各文に関連付けられた前記最終NLIスコアを第２の所定の閾値と比較するステップと、
前記識別された第２文セットの各文に関連付けられた第１NLIスコアと前記第２の所定の閾値との比較に基づいて、前記識別された第２文セットの各文に関連付けられた予測のタイプを決定するステップと、
前記決定された予測のタイプに基づいて、前記第２文セットの各文に関連付けられた修正ラベルを決定するステップと、
を更に含む請求項３に記載の方法。
【請求項11】
前記決定された予測のタイプが、ルールベースの予測、競合する予測、又は不確実な予測のいずれかである、請求項１０に記載の方法。
【請求項12】
前記決定された修正ラベルがユーザ入力に更に基づき、前記決定された予測のタイプが前記不確実な予測である、請求項１１に記載の方法。
【請求項13】
前記ドメインに関連付けられた前記第２テキストコーパスは、
前記生成された第２テキストコーパスに対応する前記ラベルのセットに基づいて、グランドトゥルース肯定及び否定主要文のセットを検索するステップと、
ラベル付けされた主要中立文のセットを検索するステップと、
前記受信した仮説ステートメントのセットと、前記検索されたグランドトゥルース肯定及び否定主要文のセットに基づいて、矛盾及び必然ペアのセットを構成するステップと、
前記検索されたラベル付けされた主要中立文のセットに基づいて、中立ペアのセットを構成するステップと、
前記構成された矛盾及び必然ペアのセットと、前記構成された中立ペアのセットとのバランスをとるステップであって、前記第３テキストコーパスの生成は、前記バランスのとれた矛盾及び必然ペアのセットと、前記バランスのとれた中立ペアのセットに更に基づく、ステップと、
に更に基づき生成される、請求項１に記載の方法。
前記生成された第２テキストコーパスに対応する前記ラベルのセットに基づいて、グランドトゥルース肯定及び否定主要文のセットを検索するステップと、
ラベル付けされた主要中立文のセットを検索するステップと、
前記受信した仮説ステートメントのセットと、前記検索されたグランドトゥルース肯定及び否定主要文のセットに基づいて、矛盾及び必然ペアのセットを構成するステップと、
前記検索されたラベル付けされた主要中立文のセットに基づいて、中立ペアのセットを構成するステップと、
前記構成された矛盾及び必然ペアのセットと、前記構成された中立ペアのセットとのバランスをとるステップであって、前記第３テキストコーパスの生成は、前記バランスのとれた矛盾及び必然ペアのセットと、前記バランスのとれた中立ペアのセットに更に基づく、ステップと、
に更に基づき生成される、請求項１に記載の方法。
【請求項14】
前記ドメインが、ライセンステキスト、法的契約テキスト、又はアプリケーションに関連付けられたエンドユーザライセンス契約テキストに対応する、請求項１に記載の方法。
【請求項15】
前記事前トレーニングされたNLIモデルが、ゼロショットNLIモデルのセットから選択されたNLIモデルに対応する、請求項１に記載の方法。
【請求項16】
命令を格納するよう構成された１つ以上の非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されると、電子装置に動作を実行させ、前記動作は、
ドメインに関連付けられた第１テキストコーパスから前記ドメインに関連付けられたテキストのセットを受信するステップと、
前記ドメインに関連付けられた仮説ステートメントのセットを受信するステップと、
前記受信したテキストのセットの各テキスト及び前記受信した仮説ステートメントのセットの各仮説ステートメントに事前トレーニングされた自然言語推論（NLI）モデルを適用するステップと、
前記事前トレーニングされたNLIモデルの適用に基づいて、前記ドメインに関連付けられた第２テキストコーパスを生成するステップであって、前記生成された第２テキストコーパスは、前記ドメインに関連付けられたラベルのセットに対応する、ステップと、
前記生成された第２テキストコーパスにフューショット学習モデルを適用して、前記ドメインに関連付けられた第３テキストコーパスを生成するステップであって、前記生成された第３テキストコーパスは、前記適用された事前トレーニングされたNLIモデルを微調整するように構成され、前記微調整されたNLIモデルは、前記受信した仮説ステートメントのセットに基づいて、前記ドメインに関連付けられた入力テキストをラベル付けするように構成される、ステップと、
表示装置上の前記ラベル付けされた入力テキストの表示を制御するステップと、
を含む、１つ以上のコンピュータ可読記憶媒体。
ドメインに関連付けられた第１テキストコーパスから前記ドメインに関連付けられたテキストのセットを受信するステップと、
前記ドメインに関連付けられた仮説ステートメントのセットを受信するステップと、
前記受信したテキストのセットの各テキスト及び前記受信した仮説ステートメントのセットの各仮説ステートメントに事前トレーニングされた自然言語推論（NLI）モデルを適用するステップと、
前記事前トレーニングされたNLIモデルの適用に基づいて、前記ドメインに関連付けられた第２テキストコーパスを生成するステップであって、前記生成された第２テキストコーパスは、前記ドメインに関連付けられたラベルのセットに対応する、ステップと、
前記生成された第２テキストコーパスにフューショット学習モデルを適用して、前記ドメインに関連付けられた第３テキストコーパスを生成するステップであって、前記生成された第３テキストコーパスは、前記適用された事前トレーニングされたNLIモデルを微調整するように構成され、前記微調整されたNLIモデルは、前記受信した仮説ステートメントのセットに基づいて、前記ドメインに関連付けられた入力テキストをラベル付けするように構成される、ステップと、
表示装置上の前記ラベル付けされた入力テキストの表示を制御するステップと、
を含む、１つ以上のコンピュータ可読記憶媒体。
【請求項17】
前記ドメインに関連付けられた前記仮説ステートメントのセットが、肯定仮説ステートメント、中立仮説ステートメント又は否定仮説ステートメントの少なくとも１つを含む、請求項１６に記載の１つ以上のコンピュータ可読記憶媒体。
【請求項18】
前記動作は、
前記受信したテキストのセットからの文のセットから、前提として第１文を選択するステップと、
前記文のセットの各文に関連付けられた最終NLIスコアを計算するための第１動作セットの実行を制御するステップであって、前記第１動作セットは、
前記仮説ステートメントのセットからの各仮説ステートメントについて、
前記選択された第１文及び対応する仮説ステートメントに前記事前トレーニングされたNLIモデルを適用し、
前記選択された第１文及び前記対応する仮説ステートメントに前記事前トレーニングされたNLIモデルを適用することに基づいて、前記選択された第１文に関連付けられた中間NLIスコアを決定し、
前記文のセットの中のすべての文が前記最終NLIスコアの計算のために処理されたかどうかを決定し、
前記文のセットの中の全部の文が未処理であるという決定に基づいて、前記第１文として、前記文のセットから第２文を選択することを含む、ステップと、
前記第１動作セットの実行の反復制御に基づいて、前記受信したテキストのセットに関連付けられた全体NLIスコアを得るために、前記文のセットの各文に関連付けられた前記最終NLIスコアを計算するステップと、
を更に含む、請求項１６に記載の１つ以上のコンピュータ可読記憶媒体。
前記受信したテキストのセットからの文のセットから、前提として第１文を選択するステップと、
前記文のセットの各文に関連付けられた最終NLIスコアを計算するための第１動作セットの実行を制御するステップであって、前記第１動作セットは、
前記仮説ステートメントのセットからの各仮説ステートメントについて、
前記選択された第１文及び対応する仮説ステートメントに前記事前トレーニングされたNLIモデルを適用し、
前記選択された第１文及び前記対応する仮説ステートメントに前記事前トレーニングされたNLIモデルを適用することに基づいて、前記選択された第１文に関連付けられた中間NLIスコアを決定し、
前記文のセットの中のすべての文が前記最終NLIスコアの計算のために処理されたかどうかを決定し、
前記文のセットの中の全部の文が未処理であるという決定に基づいて、前記第１文として、前記文のセットから第２文を選択することを含む、ステップと、
前記第１動作セットの実行の反復制御に基づいて、前記受信したテキストのセットに関連付けられた全体NLIスコアを得るために、前記文のセットの各文に関連付けられた前記最終NLIスコアを計算するステップと、
を更に含む、請求項１６に記載の１つ以上のコンピュータ可読記憶媒体。
【請求項19】
前記文のセットの各文に関連付けられた前記最終NLIスコアは、前記仮説ステートメントのセットからの各仮説ステートメントについて、前記第１文に関連付けられた前記中間NLIスコアの加重平均に対応する、請求項１８に記載の１つ以上のコンピュータ可読記憶媒体。
【請求項20】
電子装置であって、
命令を格納しているメモリと、
前記メモリに結合され、前記格納された命令を実行して処理を実行するプロセッサと、
を含み、
前記処理は、
ドメインに関連付けられた第１テキストコーパスから前記ドメインに関連付けられたテキストのセットを受信するステップと、
前記ドメインに関連付けられた仮説ステートメントのセットを受信するステップと、
前記受信したテキストのセットの各テキスト及び前記受信した仮説ステートメントのセットの各仮説ステートメントに事前トレーニングされた自然言語推論（NLI）モデルを適用するステップと、
前記事前トレーニングされたNLIモデルの適用に基づいて、前記ドメインに関連付けられた第２テキストコーパスを生成するステップであって、前記生成された第２テキストコーパスは、前記ドメインに関連付けられたラベルのセットに対応する、ステップと、
前記生成された第２テキストコーパスにフューショット学習モデルを適用して、前記ドメインに関連付けられた第３テキストコーパスを生成するステップであって、前記生成された第３テキストコーパスは、前記適用された事前トレーニングされたNLIモデルを微調整するように構成され、前記微調整されたNLIモデルは、前記受信した仮説ステートメントのセットに基づいて、前記ドメインに関連付けられた入力テキストをラベル付けするように構成される、ステップと、
表示装置上の前記ラベル付けされた入力テキストの表示を制御するステップと、
を含む、電子装置。
命令を格納しているメモリと、
前記メモリに結合され、前記格納された命令を実行して処理を実行するプロセッサと、
を含み、
前記処理は、
ドメインに関連付けられた第１テキストコーパスから前記ドメインに関連付けられたテキストのセットを受信するステップと、
前記ドメインに関連付けられた仮説ステートメントのセットを受信するステップと、
前記受信したテキストのセットの各テキスト及び前記受信した仮説ステートメントのセットの各仮説ステートメントに事前トレーニングされた自然言語推論（NLI）モデルを適用するステップと、
前記事前トレーニングされたNLIモデルの適用に基づいて、前記ドメインに関連付けられた第２テキストコーパスを生成するステップであって、前記生成された第２テキストコーパスは、前記ドメインに関連付けられたラベルのセットに対応する、ステップと、
前記生成された第２テキストコーパスにフューショット学習モデルを適用して、前記ドメインに関連付けられた第３テキストコーパスを生成するステップであって、前記生成された第３テキストコーパスは、前記適用された事前トレーニングされたNLIモデルを微調整するように構成され、前記微調整されたNLIモデルは、前記受信した仮説ステートメントのセットに基づいて、前記ドメインに関連付けられた入力テキストをラベル付けするように構成される、ステップと、
表示装置上の前記ラベル付けされた入力テキストの表示を制御するステップと、
を含む、電子装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示で議論される実施形態は、自然言語推論モデルを用いたドメイン固有のテキストラベル付けに関連する。
【背景技術】
【0002】
機械学習の分野における進歩は、自然言語処理モデルのような多くの機械学習モデルの開発につながった。トピック分類、テキスト分類、又は文書分類とも呼ばれるテキスト分類は、自然言語処理（natural language processing （NLP））の古典的な問題である。テキスト分類問題の一例は感情分析である。ほとんどのテキスト分類アプローチは教師あり学習に基づいており、良いモデルを構築するために大量のトレーニングデータを必要とする場合がある。しかし、大量のラベル付きトレーニングデータを構築するには時間がかかり、多くの人的努力を必要とする。従って、NLPモデルをトレーニングするための効率的な技術が必要である。
【0003】
本開示で請求される主題は、任意の欠点を解決する又は上述のような環境でのみ動作する実施形態に限定されない。むしろ、この背景技術は、本開示に記載の幾つかの実施形態が実施され得る一例である技術領域を説明するためにのみ提供される。
【発明の概要】
【0004】
実施形態の態様によれば、方法は、動作セットを含んでよく、前記動作セットは、ドメインに関連付けられた第１テキストコーパスから前記ドメインに関連付けられたテキストのセットを受信するステップを含んでよい。前記動作セットは、前記ドメインに関連付けられた仮説ステートメントのセットを受信するステップを更に含んでよい。前記動作セットは、事前トレーニングされた自然言語推論（NLI）モデルを、前記受信されたテキストのセットの各テキスト及び前記受信された仮説ステートメントのセットの各仮説ステートメントに適用するステップを含んでよい。前記動作セットは、前記事前トレーニングされたNLIモデルの適用に基づいて、前記ドメインに関連付けられた第２テキストコーパスを生成するステップを更に含んでよい。前記生成された第２テキストコーパスは、前記ドメインに関連付けられたラベルのセットに対応してよい。前記動作セットは、前記ドメインに関連付けられた第３テキストコーパスを生成するために、前記生成された第２テキストコーパスにフューショット学習モデルを適用するステップを更に含んでよい。前記生成された第３テキストコーパスは、前記適用された事前トレーニングされたNLIモデルを微調整するように構成され、前記微調整されたNLIモデルは、前記受信した仮説ステートメントのセットに基づいて、前記ドメインに関連付けられた入力テキストをラベル付けするように構成されてよい。前記動作セットは、表示装置上のラベル付き入力テキストの表示を制御するステップを更に含んでよい。
【0005】
実施形態の目的及び利点は、請求項において特に指摘される要素、特徴、及び組み合わせにより少なくとも実現され達成される。
【0006】
前述の一般的説明及び以下の詳細な説明は両方とも例として与えられ、説明のためであり、請求される本発明の限定ではない。
【図面の簡単な説明】
【0007】
例示的な実施形態は、以下の添付の図面の使用を通じて更なる特殊性及び詳細事項により記載され説明される。
【0008】
【図1】自然言語推論モデルを用いたドメイン固有のテキストラベル付けに関連する例示的な環境を示す図である。
【0009】
【図2】自然言語推論モデルを用いたドメイン固有のテキストラベル付けのための例示的な電子装置を示すブロック図である。
【0010】
【図3】自然言語推論モデルを用いたドメイン固有のテキストラベル付けのための実行パイプラインを示す図である。
【0011】
【図4】アプリケーションプログラムのためのライセンステキスト／法的契約テキストの例示的なシナリオを示す図である。
【0012】
【図5】テキストのセット内の各文に対する最終自然言語推論（NLI）スコアを計算するための例示的な方法のフローチャートを示す図である。
【0013】
【図6】テキストのセット内の各文の最終NLIスコアを計算するための例示的なシナリオを示す図である。
【0014】
【図7】テキストのセットに関連付けられた予測ラベルを決定するための例示的な方法のフローチャートを示す図である。
【0015】
【図8】テキストのセットに関連付けられた全体NLIスコアを決定するための例示的な方法のフローチャートを示す図である。
【0016】
【図9】テキストのセットに関連付けられた全体NLIスコアを決定するための例示的な方法のフローチャートを示す図である。
【0017】
【図10】表示装置上の決定された主要文のセットの表示を制御するための例示的な方法のフローチャートを示す図である。
【0018】
【図11】主要文のセットの例示的なシナリオを示す図である。
【0019】
【図12】修正ラベルの決定方法の例示的なフローチャートを示す図である。
【0020】
【図13】矛盾及び必然ペアの構成されたセットのバランスをとるための例示的な方法のフローチャートを示す図である。
【0021】
【図14】アプリケーションプログラムに関連付けられた契約条件の自動受諾の例示的なシナリオを示す図である。
【0022】
【図15】自然言語推論モデルを用いたドメイン固有のテキストラベル付けのための例示的な方法のフローチャートを示す図である。
【0023】
全図は、本開示に記載される少なくとも１つの実施形態に従う。
【発明を実施するための形態】
【0024】
本開示に記載される幾つかの実施形態は、自然言語推論モデルを用いたドメイン固有のテキストラベル付けのための方法及びシステムに関連する。ドメインに関連付けられたテキストのセットは、ドメインに関連付けられた第１テキストコーパスから受信されてよい。更に、ドメインに関連付けられた仮説ステートメントのセットが受信されてよい。その後、事前トレーニングされた自然言語推論（NLI）モデルが、受信されたテキストのセットの各テキスト及び受信された仮説ステートメントのセットの各仮説ステートメントに適用されてよい。更に、ドメインに関連付けられた第２テキストコーパスを、事前トレーニングされたNLIモデルの適用に基づいて生成してよい。生成された第２テキストコーパスは、ドメインに関連付けられたラベルのセットに対応してよい。更に、生成された第２テキストコーパスにフューショット学習モデルを適用して、ドメインに関連付けられた第３テキストコーパスを生成してよい。生成された第３テキストコーパスは、適用された事前トレーニングされたNLIモデルを微調整するように構成され、微調整されたNLIモデルは、受信した仮説ステートメントのセットに基づいて、ドメインに関連付けられた入力テキストをラベル付けするように構成されてよい。その後、ラベル付けされた入力テキストの表示装置上での表示が制御されてよい。
【0025】
本開示の１つ以上の実施形態によれば、自然言語処理の技術分野は、コンピューティングシステムが自然言語推論モデルを使用してドメイン固有のラベル付けを実行できるように、コンピューティングシステム（例えば、電子装置）を構成することによって改善することができる。コンピューティングシステムは、ドメインに関連付けられた第１テキストコーパスから、ドメインに関連付けられたテキストのセットを受信することができる。更に、コンピューティングシステムは、ドメインに関連付けられた仮説ステートメントのセットを受信することができる。その後、コンピューティングシステムは、受信したテキストのセットの各テキスト及び受信した仮説ステートメントのセットの仮説ステートメントに対して、事前トレーニングされた自然言語推論（NLI）モデルを適用することができる。更に、コンピューティングシステムは、事前トレーニングされたNLIモデルの適用に基づいて、ドメインに関連付けられた第２テキストコーパスを生成することができる。生成された第２テキストコーパスは、ドメインに関連付けられたラベルのセットに対応してよい。更に、コンピューティングシステムは、ドメインに関連付けられた第３テキストコーパスを生成するために、生成された第２テキストコーパスにフューショット学習モデルを適用することができる。生成された第３テキストコーパスは、適用された事前トレーニングされたNLIモデルを微調整するように構成され、微調整されたNLIモデルは、受信した仮説ステートメントのセットに基づいて、ドメインに関連付けられた入力テキストをラベル付けするように構成されてよい。その後、コンピューティング装置は、表示装置上のラベル付き入力テキストの表示を制御することができる。
【0026】
オープンソースのコードやデータは、機械学習モデルのトレーニングコーパスを構築するための低コストのリソースとして使用される可能性があるため、オープンソースのコードやデータがソフトウェア業界にとって重要な資産になっていることが理解できる。しかし、オープンソースのコードやデータの使用は、特に商用目的の場合には、常に制限がないとは限らない。オープンソースのコードやデータなどのリソースが商用目的で合法的に使用されているかどうかを判断するには、リソースの使用に関連付けられた契約条件セットを手動で確認する必要がある。契約条件セットを手動で確認するのは、面倒で時間のかかる作業である。開示された電子装置は、事前トレーニングされた言語モデルを利用して、機械学習（例えば、NLI）モデルをトレーニング及び微調整するためのトレーニングデータを生成することができる。トレーニング及び微調整されたNLIモデルは、オープンソースコード又はデータの契約条件セットを分析し、入力テキストをラベル付けすることができる。ラベル付けされた入力テキストは、オープンソースコード又はデータが商用目的で使用できるかどうかを示すことができる。
【0027】
通常、幅広いジャンルの大規模なテキストコーパスからトレーニングされた様々な種類の事前トレーニング済みモデルが公開されている場合がある。このような事前トレーニング済み言語モデルは、テキスト分類問題で直接使用できる。ただし、微調整を行わないと、事前トレーニング済み言語モデルがドメイン固有のテキスト分類タスクで正確でない可能性がある。開示された電子装置は、トレーニングデータに関連付けられた第３テキストコーパスを効率的に生成することができる。第３テキストコーパスは、NLIモデルの性能（例えば、精度）を更に改善するために、事前トレーニングされたNLIモデルを微調整するために使用することができる。次に、微調整されたNLIモデルを入力テキスト（例えば、ソースコード又はデータの使用の契約条件）に適用して、入力テキストをラベル付けすることができる。その後、ラベル付き入力テキストをユーザに提示することができる。ユーザは、ラベル付き入力テキストを調べることができ、入力テキストが商用目的で使用されるかどうかを知ることができる。
【0028】
本開示の実施形態は、添付の図面を参照して説明される。
【0029】
図１は、本開示に記載された少なくとも１つの実施形態による、自然言語推論モデルを用いたドメイン固有のテキストラベル付けに関連する例示的な環境を示す図である。図１を参照すると、環境１００が示される。環境１００は、電子装置１０２、サーバ１０４、データベース１０６、通信ネットワーク１０８、第１テキストコーパス１１０、及び仮説ステートメントのセット１１２を含んでよい。電子装置１０２、サーバ１０４、及びデータベース１０６をホスティングしている装置は、通信ネットワーク１０８を介して互いに通信可能に結合されてよい。電子装置１０２は、事前トレーニングされた自然言語推論（NLI）モデル１１４及びフューショット（few-shot）学習モデル１１６を含むことができる。データベース１０６は、第１テキストコーパス１１０及び仮説ステートメントのセット１１２を含むことができる。第１テキストコーパス１１０は、テキスト１１０Aのセットを含むことができる。図１では、電子装置１０２に関連付けられるか、又は操作することができるユーザ１１８が更に示されている。
【0030】
電子装置１０２は、ドメインに関連付けられた第１テキストコーパス１１０からドメインに関連付けられたテキストのセット１１０Aを受信するように構成され得る適切な論理、回路、及びインタフェースを含むことができる。電子装置１０２は、ドメインに関連付けられた仮説ステートメントのセット１１２を受信するように更に構成され得る。その後、電子装置１０２は受信したテキストのセット１１０Aの各テキスト及び受信した仮説ステートメントのセット１１２の各仮説ステートメントに対して、事前トレーニングされた自然言語推論（NLI）モデルを適用することができる。電子装置１０２は、事前トレーニングされたNLIモデル１１４の適用に基づいて、ドメインに関連付けられた第２テキストコーパスを生成するよう更に構成されてよい。ここで、生成された第２テキストコーパスは、ドメインに関連付けられたラベルのセットに対応してよい。
【0031】
サーバ１０４は、事前にトレーニングされたNLIモデル１１４を格納し、ドメインに関連付けられた第３テキストコーパスを生成するために、生成された第２テキストコーパスにフューショット学習モデル１１６を適用するように構成され得る適切なロジック、回路、及びインタフェース、及び/又はコードを含むことができる。ここで、生成された第３テキストコーパスは、適用された事前トレーニングされたNLIモデル１１４を微調整するように構成され、微調整されたNLIモデルは、受信した仮説ステートメントのセット１１２に基づいて、ドメインに関連付けられた入力テキストをラベル付けするように構成されてよい。サーバ１０４は、電子装置１０２に関連付けられた表示装置（図１には示されていない）上でラベル付き入力テキストの表示を制御するように更に構成されてもよい。サーバ１０４は、クラウドサーバとして実装されてもよく、ウェブアプリケーション、クラウドアプリケーション、HTTP要求、リポジトリ操作、ファイル転送などを介して操作を実行してもよい。サーバ１０４の他の実装例としては、データベースサーバ、ファイルサーバ、ウェブサーバ、メディアサーバ、アプリケーションサーバ、メインフレームサーバ、又はクラウドコンピューティングサーバが挙げられるが、これらに限定されない。
【0032】
少なくとも一実施形態では、サーバ１０４は、当業者によく知られている幾つかの技術を使用して、複数の分散型クラウドベースリソースとして実装され得る。当業者は、開示の範囲が、サーバ１０４及び電子装置１０２の２つの別個のエンティティとしての実装に限定されないことを理解するであろう。特定の実施形態では、サーバ１０４の機能は、開示の範囲から逸脱することなく、その全体又は少なくとも部分的に電子装置１０２に組み込むことができる。
【0033】
データベース１０６は、第１テキストコーパス１１０のような第１テキストコーパス、生成された第２テキストコーパス、及び生成された第３テキストコーパスを格納するように構成され得る適切なロジック、インタフェース、及び/又はコードを含むことができる。データベース１０６は、仮説ステートメントのセット１１２も格納することができる。特定の実施形態では、事前トレーニングされたNLIモデル１１４及びフューショット学習モデル１１６も、データベース１０６に格納することができる。データベース１０６は、リレーショナルデータベース又は非リレーショナルデータベースからのデータ、又は従来の若しくはビッグデータストレージ内のカンマ区切り値（comma-separated values （csv））ファイルのセットから導出することができる。データベース１０６は、サーバ又は電子装置１０２などの装置に格納又はキャッシュすることができる。データベース１０６を格納する装置は、電子装置１０２から、第１テキストコーパス１１０のような第１テキストコーパス、生成された第２テキストコーパス、及び/又は生成された第３テキストコーパスに対するクエリを受信するように構成することができる。それに応答して、データベース１０６の装置は、受信したクエリに基づいて、クエリされたコーパスを検索し、電子装置１０２に提供するように構成することができる。幾つかの実施形態では、データベース１０６は、同じ場所又は異なる場所に格納された複数のサーバ上にホストすることができる。データベース１０６の動作は、プロセッサ、（例えば、１つ以上の動作を実行する又は実行を制御する）マイクロプロセッサ、FPGA（field-programmable gate array）、又はASIC（application-specific integrated circuit）を含むハードウェアを用いて実行されてよい。幾つかの他の例では、データベース１０６は、ソフトウェアを用いて実装されてよい。
【0034】
通信ネットワーク１０８は、電子装置１０２、サーバ１０４、及びデータベース１０６をホストする装置が相互に通信する通信媒体を含むことができる。通信ネットワーク１０８は、有線接続又は無線接続のうちの１つであってよい。通信ネットワーク１０８の例としては、インターネット、クラウドネットワーク、セルラ又はワイヤレスモバイルネットワーク（Long-Term Evolution及び５G New Radioなど）、衛星通信ネットワーク（例えば、低地球軌道衛星のセットを使用する）、ワイヤレスフィデリティ（Wi-Fi）ネットワーク、パーソナルエリアネットワーク（PAN）、ローカルエリアネットワーク（LAN）、又はメトロポリタンエリアネットワーク（MAN）が挙げられるが、これらに限定されるものではない。環境１００内の種々の装置は、種々の有線及び無線通信プロトコルに従い、通信ネットワーク１０８に接続するよう構成されてよい。このような有線及び無線通信プロトコルの例は、限定ではないが、TCP/IP（Transmission Control Protocol and Internet Protocol）、UDP（User Datagram Protocol）、HTTP（Hypertext Transfer Protocol）、FTP（File Transfer Protocol）、ZigBee、EDGE、ＩＥＥＥ８０２．１１、Ｌｉ－Ｆｉ（light fidelity）、８０２．１６、IEEE８０２．１１s、IEEE８０２．１１g、マルチホップ通信、無線アクセスポイント（AP）、装置間通信、セルラ通信プロトコル、及びBT（Bluetooth）通信プロトコルを含んでよい。
【0035】
第１テキストコーパス１１０は、ドメインに関連付けられたテキストのセット１１０Aを格納するように構成され得る適切な論理、インタフェース及び／又はコードを含む。第１テキストコーパス１１０は、リレーショナルデータベース又は非リレーショナルデータベースからのデータ、又は従来の若しくはビッグデータストレージ内のカンマ区切り値（comma-separated values （csv））ファイルのセットから導出することができる。第１テキストコーパス１１０は、サーバ又は電子装置１０２などの装置に格納又はキャッシュすることができる。第１テキストコーパス１１０を格納する装置は、電子装置１０２から、第１テキストコーパス１１０、生成された第２テキストコーパス、及び生成された第３テキストコーパスに対するクエリを受信するように構成することができる。それに応答して、第１テキストコーパス１１０の装置は、受信したクエリに基づいて、クエリの出力（例えば、テキストのセット１１０A）を取得し、電子装置１０２に提供するように構成され得る。幾つかの実施形態では、第１テキストコーパス１１０は、同じ場所又は異なる場所に格納された複数のサーバ上にホストすることができる。第１テキストコーパス１１０の動作は、プロセッサ、（例えば、１つ以上の動作を実行する又は実行を制御する）マイクロプロセッサ、FPGA（field-programmable gate array）、又はASIC（application-specific integrated circuit）を含むハードウェアを用いて実行されてよい。幾つかの他の例では、第１テキストコーパス１１０は、ソフトウェアを用いて実装されてよい。
【0036】
ドメインに関連付けられたテキストのセット１１０Aは、ライセンステキスト、法的契約テキスト、又は一般に利用可能なアプリケーションに関連付けられたエンドユーザライセンス契約テキストであり得る。ライセンステキストは、アプリケーションの使用、オープンソースコード又はデータなどに関連付けられ得る。例えば、ライセンステキストには、アプリケーション又はオープンソースコードを商用目的、教育目的、又は非営利の個人使用のいずれで使用できるかを示すことができる。法的契約テキストには、２つの当事者間の合意が含まれる場合がある。エンドユーザ使用許諾契約書（end-user license agreement （EULA））テキストには、エンドユーザとアプリケーションに関連付けられた会社との間の合意が含まれる場合がある。例えば、EULAテキストは、匿名の使用状況データ、人口統計データ、及び／又は一部の個人データを収集する許可又は同意をエンドユーザに求める場合がある。
【0037】
仮説ステートメントのセット１１２は、入力テキストをラベル付けすることができるステートメントを含む場合がある。事前トレーニングされたNLIモデル１１４を特定のドメインに適用するために、仮説ステートメントの適切なセット１１２をクエリ文とみなすことができることに注意する。仮説ステートメントのセット１１２は、特定のユーザの関心に依存する場合がある。仮説ステートメントのライブラリは、ほとんどの一般的なドメインから事前に構築することができる。
【0038】
テキスト含意認識（recognizing textual entailment （RTE））モデルとしても知られている事前トレーニングされたNLIモデル１１４は、２つの短い順序付きテキストの間の関係を推測するために使用することができる。２つの短い順序付きテキストは、前提と仮説であってよい。推論関係は、必然、矛盾、又は中立のいずれかであってよい。例えば、前提が「船が太平洋で沈没した。」であり、仮説が「ボートが大西洋で沈没した。」である場合、前提が仮説と矛盾する可能性があるため、前提と仮説の間の推論関係は矛盾（contradiction）である。例えば、前提が「ルースベイダーギンズバーグは連邦最高裁判所に任命された。」であり、仮説が「私は今日のお昼にサンドイッチを食べました。」である場合、前提と仮説が互いに関連していない可能性があるため、前提と仮説の間の推論関係は中立（neutral）である。例えば、前提が「２人の女性が荷物を持って抱き合っている」であり、仮説が「２人の女性が荷物を持っている。」である場合、前提と仮説が一致している可能性があるため、前提と仮説の推論関係は必然（entailment）である可能性がある。
【0039】
フューショット学習モデル１１６（これは、ワンショット学習又は低ショット学習とも呼ばれる）は、より少ないサンプル、限られた情報、又はより低いトレーニングデータを持つデータセットでトレーニングすることができる。更に、生成された第２テキストコーパスにフューショット学習モデル１１６を適用して、ドメインに関連付けられた第３テキストコーパスを生成してよい。ここで、生成された第２テキストコーパスのサイズは、第１テキストコーパス１１０のサイズより小さくすることができる。従って、フューショット学習モデル１１６は、より速くトレーニングすることができる。電子装置１０２は、本明細書に記載されるように、微調整された自然言語推論モデルを使用して、ドメイン固有のテキストラベル付けを実行することができる。
【0040】
動作中、電子装置１０２は、ドメインに関連付けられた第１テキストコーパス１１０から、ドメインに関連付けられたテキストのセット１１０Aを受信することができる。電子装置１０２は、ドメインに関連付けられた第１テキストコーパス１１０からテキストのセット１１０Aについてデータベース１０６に要求することができる。データベース１０６は、要求の真正性を検証することができ、検証に基づいて、ドメインに関連付けられたテキストのセット１１０Aをプロセッサ２０４に提供することができる。
【0041】
電子装置１０２は、ドメインに関連付けられた仮説ステートメントのセット１１２を受信してよい。事前トレーニングされたNLIモデル１１４を特定のドメインに適用するために、仮説ステートメントの適切なセット１１２をクエリ文とみなすことができることに注意する。仮説ステートメントのセット１１２に関する詳細は、例えば、図３で更に説明される。
【0042】
その後、電子装置１０２は受信したテキストのセット１１０Aの各テキスト及び受信した仮説ステートメントのセット１１２の各仮説ステートメントに対して、事前トレーニングされた自然言語推論（NLI）モデルを適用することができる。事前トレーニングされたNLIモデル１１４の適用に関する詳細は、例えば、図５において更に説明される。
【0043】
電子装置１０２は、事前トレーニングされたNLIモデル１１４の適用に基づいて、ドメインに関連付けられた第２テキストコーパスを生成してよい。生成された第２テキストコーパスは、第１テキストコーパス１１０よりもサイズが小さくてもよく、ラベルを付けてもよい。ドメインに関連付けられたラベルのセットは、ユーザ１１８がラベルを確認したり、手動でラベルを更新したりするための文を含んでもよい。第２テキストコーパス生成に関する詳細については、例えば図５及び図６において更に説明する。
【0044】
電子装置１０２は、ドメインに関連付けられた第３テキストコーパスを生成するためにされた第２テキストコーパスにフューショット学習モデル１１６を適用することができる。生成された第３テキストコーパスは、適用された事前トレーニングされたNLIモデル１１４を微調整するように構成され、微調整されたNLIモデルは、受信した仮説ステートメントのセット１１２に基づいて、ドメインに関連付けられた入力テキストをラベル付けするように構成されてよい。例えば、ラベル付けは、入力テキストが商用目的で使用されてよいかどうかを示すことができる。第３テキストコーパス生成に関する詳細については、例えば図１３において更に説明する。
【0045】
電子装置１０２は、表示装置上のラベル付き入力テキストの表示を制御することができる。ラベル付き入力テキストは、ユーザ１１８がラベルを確認又は手動で更新できるように、表示装置上に表示することができる。従って、ユーザ１１８は、入力テキスト（例えば、ライセンス契約テキスト）に同意するかどうかを決定するために、入力テキストの各文を読む必要はない。表示装置におけるラベル付き入力テキストの表示に関する詳細は、例えば、図３に更に記載される。
【0046】
変更、追加、又は省略が、本開示の範囲から逸脱することなく図１に対して行われてよい。例えば、環境１００は、図示され本開示で説明されるよりも多数又は少数の要素を含んでよい。例えば、幾つかの実施形態では、環境１００は、電子装置１０２を含むが、データベース１０６を含まなくてよい。さらに、幾つかの実施形態では、データベース１０６及びサーバ１０４の各々の機能は、本開示の範囲から逸脱することなく、電子装置１０２に組み込まれてよい。
【0047】
図２は、本開示に記載された少なくとも１つの実施形態による、自然言語推論モデルを用いたドメイン固有のテキストラベル付けのための例示的な電子装置を示すブロック図である。図２は、図１の要素と関連して説明される。図２を参照すると、電子装置１０２を含むシステム２０２のブロック図２００が示される。電子装置１０２は、事前トレーニングされたNLIモデル１１４、フューショット学習モデル１１６、プロセッサ２０４、メモリ２０６、入出力（I/O）装置２０８（表示装置２０８Aを含む）、及びネットワークインタフェース２１０を含むことができる。
【0048】
プロセッサ２０４は、メモリ２０６に格納された命令セットを実行するように構成され得る適切な論理、回路、及びインタフェースを含むことができる。プロセッサ２０４は、電子装置１０２により実行されるべき異なる動作に関連付けられたプログラム命令を実行するよう構成されてよい。例えば、幾つかの動作は、テキスト受信のセットの受信、仮説ステートメントのセットの受信、事前トレーニングされたNLIモデルの適用、第２テキストコーパスの生成、フューショット学習モデルの適用、及び表示制御を含むことができる。プロセッサ２０４は、当技術分野で公知の多数のプロセッサ技術に基づいて実装され得る。プロセッサ技術の例としては、中央処理装置（CPU）、X８６ベースのプロセッサ、縮小命令セットコンピューティング（RISC）プロセッサ、特定用途向け集積回路（ASIC）プロセッサ、複合命令セットコンピューティング（CISC）プロセッサ、グラフィック処理装置（GPU）、コプロセッサ、又はそれらの組み合わせが挙げられるが、これらに限定されるものではない。
【0049】
図２には単一のプロセッサとして示されるが、プロセッサ２０４は、個々に又は集合的に本開示に記載のような電子装置１０２の任意の数の動作を実行する又は実行を指示するよう構成される任意の数のプロセッサを含んでよいさらに、プロセッサのうちの１つ以上は、異なるサーバのような１つ以上の異なる電子装置上に存在してよい。幾つかの実施形態では、プロセッサ２０４は、プログラム命令をするように構成され解釈し及び／又は実行し、及び／又はメモリ２０６に格納されたデータを処理するよう構成されてよい。プログラム命令がメモリ２０６にロードされた後に、プロセッサ２０４は、プログラム命令を実行してよい。
【0050】
メモリ２０６は、プロセッサ２０４によって実行される１つ以上の命令を格納するように構成され得る適切な論理、回路、及びインタフェースを含むことができる。メモリ２０６に格納された１つ以上の命令は、プロセッサ２０４（及び電子装置１０２）の異なる動作を実行するためにプロセッサ２０４によって実行され得る。メモリ２０６は、第１テキストコーパス、生成された第２テキストコーパス、及び生成された第３テキストコーパスを格納するように構成され得る。一実施形態では、メモリ２０６は、事前トレーニングされたNLIモデル１１４及びフューショット学習モデル１１６を格納するように更に構成され得る。メモリ２０６の実施例は、限定されるものではないが、ランダムアクセスメモリ（RAM）、読み出し専用メモリ（ROM）、電気的に消去可能なプログラマブル読み出し専用メモリ（EEPROM）、ハードディスクドライブ（HDD）、ソリッドステートドライブ（SSD）、CPUキャッシュ、及び／又はセキュアデジタル（SD）カードを含むことができる。
【0051】
I/O装置２０８は、ユーザ１１８から入力を受信し、受信した入力に基づいて出力を提供するように構成され得る適切な論理、回路、及びインタフェースを含むことができる。例えば、I/O装置２０８は、事前トレーニングされたNLIモデル１１４を微調整する要求を示すユーザ入力を受信することができる。更に、I/O装置２０８は、「商業的使用の許可」のような特定の仮説に関連付けられた文を強調するために入力テキストをラベル付けする要求を示すユーザ入力を受信することができる。更に、I/O装置２０８は、ラベル付き入力テキストを表示装置２０８A上でレンダリングすることができる。I/O装置２０８は、プロセッサ２０４と通信するよう構成され得る種々の入力及び出力装置を含んでよい。I/O装置２０８の例は、タッチスクリーン、キーボード、マウス、ジョイスティック、マイク、ディスプレイ装置（例えば、表示装置２０８A）及びスピーカを含むことができるが、これらに限定されない。
【0052】
ディスプレイ装置２０８Aは、ラベル付き入力テキストを表示するように構成され得る適切なロジック、回路及びインタフェースを含むことができる。ディスプレイ装置２０８Aは、ユーザがディスプレイ装置２０８Aを介してユーザ入力を提供することを可能にするタッチスクリーンであり得る。タッチスクリーンは、抵抗性タッチスクリーン、容量性タッチスクリーン、又はサーマルタッチスクリーンの少なくとも１つであり得る。ディスプレイ装置２０８Aは、液晶ディスプレイ（LCD）ディスプレイ、発光ダイオード（LED）ディスプレイ、プラズマディスプレイ、又は有機LED（OLED）ディスプレイ技術の少なくとも１つ、又は他のディスプレイ装置などの幾つかの既知の技術によって実現され得るが、これらに限定されない。一実施形態によれば、ディスプレイ装置２０８Aは、ヘッドマウント装置（HMD）、スマート眼鏡装置、シースルーディスプレイ、プロジェクションベースディスプレイ、エレクトロクロミックディスプレイ、又は透明ディスプレイのディスプレイ画面を指すことができる。
【0053】
ネットワークインタフェース２１０は、通信ネットワーク１０８を介して、プロセッサ２０４、サーバ１０４、及びデータベース１０６をホストする装置（及び／又は環境内の他の装置１００）の間の通信を容易にするように構成され得る適切な論理、回路、及びインタフェースを含むことができる。ネットワークインタフェース２１０は、通信ネットワーク１０８との電子装置１０２の有線又は無線通信をサポートする種々の知られている技術の使用により実装されてよい。ネットワークインタフェース２１０は、限定ではないが、アンテナ、無線周波数（ＲＦ）通信機、１つ以上の増幅器、チューナ、１つ以上の発信器、デジタル信号プロセッサ、コードデコーダ（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、又はローカルバッファ回路を含んでよい。ネットワークインタフェース２１０は、無線通信により、インターネット、イントラネット、又はセルラ電話ネットワーク、無線ＬＡＮ、及び都市域ネットワーク（ＭＡＮ）のような無線ネットワークのようなネットワークと通信するように構成されてよい。無線通信は、GSM（Global System for Mobile Communications）、EDGE（Enhanced Data GSM Environment）、W-CDMA（wideband code division multiple access）、LTE（Long Term Evolution）、第５世代（５G）NR（New Radio）、CDMA（code division multiple access）、TDMA（time division multiple access）、Bluetooth、Wi-Fi（Wireless Fidelity）（例えばIEEE８０２．１１a、IEEE８０２．１１b、IEEE８０２．１１g、及び／又はIEEE８０２．１１n）、VoIP（voice over Internet Protocol）、Li-Fi（light fidelity）、又はWi-MAX（Worldwide Interoperability for Microwave Access）、電子メール、インスタントメッセージング、及びSMS（Short Message Service）のためのプロトコルのような、複数の通信規格、プロトコル、及び技術のうちのいずれかをするように構成され使用してよい。
【0054】
変更、追加、又は省略が、本開示の範囲から逸脱することなく例示的な電子装置１０２に対して行われてよい。例えば、幾つかの実施形態では、例示的な電子装置１０２は、簡単のために明示され又は記載されないことのある任意の数の他のコンポーネントを含んでよい。
【0055】
図３は、開示の実施形態に従って、自然言語推論モデルを用いたドメイン固有のテキストラベル付けのための実行パイプラインを示す図である。図３Ａは、図１及び図２の要素と関連して記載される。図３を参照すると、実行パイプライン３００が示される。例示的な実行パイプライン３００は、電子装置１０２のような図１の１つ以上の構成要素によって実行され得る動作セットを含むことができる。動作は、テキストのセットの受信３０２、仮説ステートメントのセットの受信３０４、事前トレーニングされたNLIモデルの適用３０６、第２テキストコーパスの生成３０８、フューショット学習モデルの適用３１０、及び表示制御３１２を含むことができる。更に、例示的な実行パイプライン３００は、第１テキストコーパス１１０（テキストのセット１１０Aを含む）、仮説ステートメントのセット１１２、事前トレーニングされたNLIモデル１１４、第２テキストコーパス３０８A、第３テキストコーパス３１０A、及びラベル付き入力テキスト３１２Aを含む。動作セットは、本明細書に記載されるように、自然言語推論モデルを使用してドメイン固有のテキストラベル付けのために電子装置１０２によって実行され得る。
【0056】
３０２において、テキストのセットの受信のための動作が実行され得る。プロセッサ２０４は、ドメインに関連付けられた第１テキストコーパス１１０からドメインに関連付けられたテキストのセット１１０Aを受信するように構成され得る。例えば、データベース１０６は、複数のテキストコーパスの各々において、複数のドメインの各々に関連付けられたテキストのセットを格納することができる。例えば、第１テキストコーパス１１０のドメインは、電子商取引ポータル上の製品のレビューであってもよい。プロセッサ２０４は、ドメインに関連付けられた第１テキストコーパス１１０から、ドメインに関連付けられたテキストのセット１１０Aについてデータベース１０６に要求してもよい。データベース１０６は、要求の真正性を検証することができ、検証に基づいて、ドメインに関連付けられたテキストのセット１１０Aをプロセッサ２０４に提供することができる。
【0057】
実施形態では、ドメインが、ライセンステキスト、法的契約テキスト、又はアプリケーションに関連付けられたエンドユーザライセンス契約テキストに対応してよい。ライセンステキストは、アプリケーション、オープンデータソースなどの使用に関連付けられ得る。法的契約テキストは、２つの当事者間の合意に対応してよい。例えば、法的契約テキストは、法的契約テキストで指定された目的のためにのみオープンデータソースを使用するためのエンドユーザとオープンデータソースとの間の合意である場合がある。エンドユーザライセンス契約テキストは、アプリケーションのユーザに関連付けられている場合がある。場合によっては、アプリケーションは、ユーザのアクティビティ、ユーザの場所など、ユーザに関連付けられている情報を収集することがある。例では、エンドユーザからの同意に基づいて、エンドユーザライセンス契約テキストは、アプリケーションに関連付けられているユーザのアクティビティのみを収集することをアプリケーションに許可することがある。
【0058】
３０４において、仮説ステートメントのセットを受信するための動作を実行することができる。プロセッサ２０４は、ドメインに関連付けられた仮説ステートメントのセット１１２を受信するように構成され得る。事前トレーニングされたNLIモデル１１４を特定のドメインに適用するために、仮説ステートメントの適切なセット１１２をクエリ文とみなすことができることに注意する。仮説ステートメントのセット１１２は、特定のユーザの関心に依存する場合がある。仮説ステートメントのライブラリは、所定ドメインのセットから事前に構築することができる。例えば、モバイルアプリケーションライセンス契約の場合、仮説ステートメントのセット１１２は、データの共有、アクティビティの追跡、位置の共有などの一般ユーザの関心に基づいてカスタマイズされ得る。実施形態では、ドメインに関連付けられた仮説ステートメントのセット１１２は、データベース１０６に格納され得る。プロセッサ２０４は、ドメインに関連付けられた仮説ステートメントのセット１１２を提供するようデータベース１０６に要求し得る。データベース１０６は、要求を検証し、検証に基づいて仮説ステートメントのセット１１２をプロセッサ２０４に提供し得る。
【0059】
一実施形態では、ドメインに関連付けられた仮説ステートメントのセット１１２は、肯定仮説ステートメント、中立仮説ステートメント、又は否定仮説ステートメントの少なくとも１つを含むことができる。一実施形態では、肯定仮説ステートメントは、受信したテキストのセット１１０Aに関連付けられたリソースがどこで使用され得るかを述べ得る肯定（affirmative）文であり得る。否定仮説ステートメントは、受信したテキストのセット１１０Aがどこで使用されてはならないかを述べ得る肯定（affirmative）文及び否定文であり得る。中立仮説ステートメントは、受信したテキストのセット１１０Aがどこで使用されてよいか又は使用されてはならないかに関連付けられた任意の情報を提供しなくてよい。肯定及び否定仮説ステートメントの両方が、クエリに対して異なる観点から提供され得る。例では、ユーザは、プログラミング／コーディング競技で受信された入力テキストが商用目的のために使用されるかどうかを知りたいかもしれない。このような場合、肯定仮説ステートメントの例としては、「このデータは商用利用が可能である。」、「あなたはデータをどのような目的でも自由に使用できる。」、及び「データの使用に制限はない。」が挙げられるが、これらに限定されない。また、このような場合、否定仮説ステートメントの例としては、「このデータは商用利用できない。」、「このデータは非商用目的でのみ使用できる。」、及び「このデータは商用利用が禁止されている。」が挙げられるが、これらに限定されない。
【0060】
３０６において、事前トレーニングされたNLIモデルの適用のための動作を実行することができる。プロセッサ２０４は、事前トレーニングされた自然言語推論（NLI）モデル１１４を、受信したテキストのセット１１０Aの各テキスト及び受信した仮説ステートメントのセット１１２の各仮説ステートメントに適用するように構成することができる。事前トレーニングされたNLIモデル１１４は、受信したテキストのセット１１０Aの各テキスト及び受信した仮説ステートメントのセット１１２の各仮説ステートメントにゼロショットアルゴリズムを実施して、第２テキストコーパス３０８Aを生成することができる。従って、事前トレーニングされたNLIモデルは、ゼロショットNLIモデルのセットから選択されたNLIモデルに対応することができる。例えば、ゼロショットNLIモデルのセットは、「roberta-large-mnli」及び「bart-large-mnli」モデルを含むことができる。事前トレーニングされたNLIモデル１１４の適用に関する詳細は、例えば、図５において更に説明される。
【0061】
３０８において、第２テキストコーパスの生成のための動作を実行することができる。プロセッサ２０４は、事前トレーニングされたNLIモデル１１４の適用に基づいて、ドメインに関連付けられた第２テキストコーパス３０８Aを生成するように構成することができる。生成された第２テキストコーパス３０８Aは、ドメインに関連付けられたラベルのセットに対応してよい。生成された第２テキストコーパス３０８Aは、第１テキストコーパス１１０よりもサイズが小さくてもよく、ラベルを付けてもよい。ドメインに関連付けられたラベルのセットは、ユーザ１１８がラベルを確認したり、手動でラベルを更新したりするための文を含んでもよい。第２テキストコーパス生成に関する詳細については、例えば図５及び図６において更に説明する。
【0062】
３１０において、フューショット学習モデルの適用のための動作を実行することができる。プロセッサ２０４は、生成された第２テキストコーパス３０８Aにフューショット学習モデル１１６を適用して、ドメインに関連付けられた第３テキストコーパス３１０Aを生成するように構成することができる。生成された第３テキストコーパス３１０Aは、適用された事前トレーニングされたNLIモデル１１４を微調整するように構成することができる。微調整されたNLIモデルは、受信された仮説ステートメントのセット１１２に基づいて、ドメインに関連付けられた入力テキストをラベル付けするように構成することができる。フューショット学習モデル１１６（これは、ワンショット学習又は低ショット学習とも呼ばれる）は、少ないサンプル、限られた情報、又はより少ない量のトレーニングデータを持つデータセットでトレーニングできることが理解される。生成された第２テキストコーパス３０８Aは、第１テキストコーパス１１０と比較してサイズが小さくてもよい。従って、生成された第２テキストコーパス３０８Aにフューショット学習モデル１１６を適用して、第３テキストコーパス３１０Aを生成してよい。第３テキストコーパス３１０Aは、適用された事前トレーニングされたNLIモデル１１４に関連付けられたパラメータのセットの更新に基づいて、適用された事前トレーニングされたNLIモデル１１４を微調整するために使用することができる。一例では、適用された事前トレーニング済みNLIモデル１１４は「roberta-large-mnli」モデルであり、エポック、トレーニングバッチサイズ、評価バッチサイズなどのハイパーパラメータのセットは、各々「１０」、「２」、「２」として設定され得る。ハイパーパラメータのセットは、使用されるグラフィカルプロセッシングユニット（GPU）のタイプに依存し得る。更に、最大長は、トークナイザにおいて「５１２」として設定され得る。トレーニング及び検証ペアの数は多くないので、トレーニング時間を短くできる。更に、テキスト精度は「１．０」であり、これは、フューショット学習モデルが過学習されたモデルになる可能性があることを示唆し得る。微調整されたNLIモデルは、ドメインに関連付けられた入力テキストにラベルを付けてよい。ラベルを付けられた入力テキスト３１２Aは、グラフィカルユーザインタフェースを介して、最終確認のためにユーザに表示できる識別された主要文を含んでよい。第３テキストコーパス生成に関する詳細については、例えば図１３において更に説明する。
【0063】
３１２において、表示制御のための動作を実行することができる。プロセッサ２０４は、表示装置２０８A上のラベル付き入力テキスト３１２Aの表示を制御するように構成されてもよい。ラベル付き入力テキスト３１２Aは、ユーザがラベルを確認又は手動で更新できるように、表示装置上に表示することができる。例えば、法的契約テキストに関連付けられたラベル付き入力テキスト３１２Aは、ユーザが受信したテキストのセット１１０Aを商用目的で使用してはならないことを述べることができるステートメントのセットを含むことができる。ラベル付き入力テキスト３１２Aは、強調又は色分けされてよく、ユーザ１１８はそれらに目を通し、ラベル付き入力テキスト３１２Aの手動レビュー又は分析に基づいて法的契約テキストを受諾するか拒否することができる。従って、ユーザ１１８は、時間がかかり手間のかかる作業である可能性のある入力テキストの各ステートメントに目を通す必要がない。ラベル付けされた入力テキスト３１２Aに基づいて、ユーザ１１８は、ユーザ１１８の法的契約を受諾又は拒否するかを決定するためにより関連性の高いステートメントのみに目を通すだけでよい。
【0064】
オープンソースコード又はデータは、機械学習モデルを構築するためのトレーニングコーパスとして使用され得るソフトウェア産業にとって重要な資産であり得ることに留意されたい。しかし、オープンソースのコードやデータの使用は、特に商用目的の場合には、常に制限がないとは限らない。幾つかのオープンソースコード又はデータは、「標準化された」（つまり、一般的に使用される）ライセンスを使用する場合があり、一方で他のオープンソースコード又はデータは、テキスト記述として指定されている各々のライセンスを有する場合がある。そのようなリソースを使用するには、ライセンス契約に違反しないように、テキストライセンスを手動でチェックする必要がある場合がある。本開示の電子装置１０２は、フューショット学習モデル１１６に基づいて、適用された事前トレーニングされたNLIモデル１１４を微調整することができる。適用された事前トレーニングされたNLIモデル１１４は、フューショット学習モデル１１６を使用して、トレーニングデータの小さなサンプルサイズに基づいて、正確に微調整することができる。微調整されたNLIモデルは、ドメインに関連付けられた入力テキスト（例えば、ライセンス契約テキスト）にラベルを付けてよい。次に、ラベル付き入力テキスト３１２A（例えば、強調又は色分けされたテキスト）を表示装置２０８A上で表示することができる。ユーザ１１８は、ラベル付き入力テキスト３１２Aに目を通すことができ、ライセンス契約を受諾又は拒否するかを決定するために入力テキストの各文を手動でチェックして、それに応じて各々のオープンソースコード又はデータを使用する必要がない。
【0065】
更に、各モバイルアプリケーションは、モバイルアプリケーションの使用を指定したり、アプリケーションが携帯電話からユーザのデータを収集する方法を記述したりする独自のライセンスを有することができる。ユーザ１１８は、ライセンスがユーザ１１８の好みと一致することを確実にするために、携帯電話で使用されるすべてのアプリケーションのライセンスをレビューする必要がある場合がある。ほとんどのユーザは、ライセンスの詳細に注意を払わないかもしれない。サービスによっては、ユーザがライセンスを確認する負担を軽減するために、ユーザに簡略化された情報や操作を提供することがある。ただし、ユーザに特別な好みがある場合は、このようなカスタマイズされたサービスを利用できないことがある。同様の問題は、ユーザがWebサイトを閲覧するときのクッキーポリシにも当てはまる場合がある。本開示の微調整されたNLIモデルは、ドメインに関連付けられた入力テキストにラベルを付けてよい。次に、ラベル付き入力テキスト３１２Aを表示装置２０８A上で表示することができる。ユーザ１１８は、ラベル付き入力テキスト３１２Aに目を通すことができ、ラベル付き入力テキスト３１２Aの各文を手動でチェックする必要がない。従って、ユーザ１１８は、ライセンス契約テキストの重要な文をレビューすることができ、これは、ユーザ１１８がライセンス契約を受諾するか拒否するかを決定するために不可欠であり、それによって、読まずにライセンス契約を受諾することに関連するリスクを低減する。更に、ユーザ１１８は、ライセンス契約テキスト全体をレビューする必要がないので、ユーザ１１８の時間と労力を節約することができる。
【0066】
図４は、本開示に記載された少なくとも１つの実施形態による、アプリケーションプログラムのためのライセンステキスト／法的契約テキストの例示的なシナリオを示す図である図４は、図１、図２及び図３の要素と関連して記載される。図４を参照すると、例示的なシナリオ４００が示される。例示的なシナリオ４００は、アプリケーションプログラム１のライセンステキスト又は法的契約テキスト４０２を含むことができる。
【0067】
図４を参照すると、ライセンステキスト又は法的契約テキスト４０２は、プロセッサ２０４によって受信され得る入力テキストであり得る。ライセンステキスト又は法的契約テキスト４０２は、「ユーザは、商用目的で本アプリケーションを使用することは許可されない。」、「ユーザは、本アプリケーションをレンタル、リース、再販、譲渡、又は配布することはできない。」、「ユーザは、本アプリケーションの変更、リバースエンジニアリング、転送、開示、逆アセンブル、逆コンパイルを行わないことに同意する。」、及び「ユーザは、本アプリケーションを使用しないことを許可されていないか、又は他の人に害を及ぼす可能性のある方法で本アプリケーションを使用することを他の人に奨励することを許可されていない。」などの記述を含むことができる。ユーザ１１８のようなユーザは、ユーザがチームの外でデータを使用できるかどうかを決定するために、ライセンステキスト又は法的契約テキスト４０２のそのような各文を読まなければならない場合がある。言い換えれば、アプリケーションプログラム１を使用するためのライセンスは、ユーザのチームの外で枯渇する可能性がある。従って、プロセッサ２０４は、ライセンステキスト又は法的契約テキスト４０２を入力テキストとして受信し、表示装置２０８A上で表示することができるラベル付き入力テキストを決定することができる。ラベル付き入力テキストは、「ユーザは商用目的でアプリケーションを使用することを許可されていない。」などの強調テキストを含むことができる。ユーザは、ライセンス契約を受諾するか拒否するかを決定するために、入力テキストの各ステートメントではなく、ラベル付き入力テキストに目を通すことができる。
【0068】
図４のシナリオ４００は例示的な目的のためのものであり、開示の範囲を制限すると解釈されてはならないことに留意されたい。
【0069】
図５は、本開示の一実施形態による、テキストのセット内の各文に対する最終自然言語推論（NLI）スコアを計算するための例示的な方法のフローチャートを示す図である。図５は、図１、図２、図３、及び図４の要素と関連して記載される。図５を参照すると、フローチャート５００が示される。フローチャート５００に示される方法は、５０２で開始してよく、任意の適切なシステム、機器、又は装置、により、例えば図１、の例示的な電子装置が１０２又は図２のプロセッサ２０４により、実行されてよい。別個のブロックにより示したが、フローチャート５００のブロックのうちの１つ以上に関連するステップ及び動作は、特定の実装に依存して、追加ブロックに分けられ、少ないブロックに結合され、又は削除されてよい。
【0070】
ブロック５０２では、受信したテキストのセットに関連付けられた文のセットからの第１文が前提として選択されてよい。実施形態では、プロセッサ２０４は、受信したテキストのセット１１０Aに関連付けられた文のセットからの第１文を前提として選択するように構成され得る。受信したテキストのセット（例えば、図１の受信したテキストのセット１１０A）は、複数の文を含み得ることが理解できる。プロセッサ２０４は、受信したテキストのセット１１０Aを文のセットへと分離するために、受信したテキストのセット１１０Aに文分割技術を適用してよい。更に、短い文（例えば、５単語未満の文）をドロップするような様々な前処理技術が適用されてよい。幾つかの実施形態では、前処理技術は、関連し得るキーワードのリスト内のいずれか１つのキーワードを文が含むかどうかをチェックすることができる。例えば、キーワードのリストは、商業、教育、非商業などであり得る。一旦、受信したテキストのセット１１０Aが文のセットへと分離されると、分離された文のセットのうちの１つの文が、前提に対応する第１文として選択され得る。
【0071】
ブロック５０４において、第１動作セットの実行は、文のセットの各文に関連付けられた最終NLIスコアを計算するように制御され得る。実施形態において、プロセッサ２０４は、文のセットの各文に関連付けられた最終NLIスコアを計算する第１動作セットの実行を制御するように構成され得る。第１動作セットは、文のセットの各文に対して実行され得る。第１動作セット（５０６で示される）は、本明細書で後述するように、動作５０６A、動作５０６B、及び動作５０６Cを含み得る。
【0072】
ブロック５０６において、第１動作セットが実行され得る。実施形態において、プロセッサ２０４は、第１動作セットを実行するように構成され得る。ブロック５０６Aにおいて、仮説ステートメントのセット１１２からの各仮説ステートメントについて、事前トレーニングされたNLIモデル１１４を選択された第１文及び対応する仮説ステートメントに適用することができ、選択された第１文及び対応する仮説ステートメントに対する事前トレーニングされたNLIモデル１１４の適用に基づいて、選択された第１文に関連付けられた中間NLIスコアを決定することができる。実施形態では、プロセッサ２０４は、仮説ステートメントのセット１１２からの各仮説ステートメントについて、選択された第１文及び対応する仮説ステートメントに事前トレーニングされたNLIモデル１１４を適用するように構成されてもよい。プロセッサ２０４は、選択された第１文及び対応する仮説ステートメントに対する事前トレーニングされたNLIモデルの適用に基づいて、選択された第１文に関連付けられた中間NLIスコアを決定するように更に構成されてもよい。実施形態では、各事前トレーニングされたNLIモデル（例えば、NLI_i）、前提としての選択された第１文（例えば、sentence_j）及び仮説ステートメント（例えば、statement_k）に対して、プロセッサ２０４は、選択された第１文（つまり、sentence_j）に関連付けられた中間NLIスコア（例えば、NLI_score（i,j,k））を計算してもよい。プロセッサ２０４は、事前トレーニングされたNLIモデル１１４（すなわち、NLI_i）からのアプリケーションプログラミングインターフェース（API）呼び出しに基づいて、中間NLIスコア（すなわち、NLI_score（i,j,k））を計算してもよい。事前トレーニングされたNLIモデル１１４（すなわち、NLI_i）は、前提（sentence_j）と仮説（statement_k）との間の推論関係を決定してもよい。推論関係は、必然関係、矛盾関係、又は中立関係のいずれかであってもよいが、これらに限定されない。選択された第１文に関連付けられた中間NLIスコアは、決定された推論関係に基づいて決定されてもよい。中間NLIスコアは、必然関係ラベル、矛盾関係ラベル、又は中立関係ラベルのような３つのラベルの確率のタプルであってもよい。例えば、決定された推論関係が矛盾関係に対応する場合、矛盾関係ラベルの中間NLIスコアは、３つの可能なラベルの中で最も高い可能性がある。例えば、決定された推論関係が中立関係である場合、中立関係ラベルの中間NLIスコアは、３つの可能なラベルの中で最も高い可能性がある。更に、決定された推論関係が必然関係である場合、必然関係ラベルの中間NLIスコアは、３つの可能なラベルの中で最も高い可能性がある。
【0073】
ブロック５０６Bで、文のセット内のすべての文が最終NLIスコアの計算のために処理されたかどうかを決定することができる。プロセッサ２０４は、文のセット内のすべての文が最終NLIスコアの計算のために処理されたかどうかを決定するよう構成されてよい。
【0074】
ブロック５０６Cで、文のセット内の少なくとも１つの文が未処理であるという決定に基づいて、文のセットから第２文が第１文として選択される。プロセッサ２０４は、文のセット内の少なくとも１つの文が未処理であるという決定に基づいて、文のセットから第２文を第１文として選択するように構成されてよい。ここで、処理５０６A～５０６Cは、文のセットの各文が処理されるまで繰り返されてよい。従って、文のセットの各文に対する中間NLIスコアを決定することができる。
【0075】
ブロック５０８において、第１動作セットの実行の反復制御に基づいて、文のセットの各文に関連付けられた最終NLIスコアを計算して、受信したテキストのセットに関連付けられた全体NLIスコアを得ることができる。プロセッサ２０４は、文のセットの各文に関連付けられた最終NLIスコアを計算して、第１動作セットの実行の反復制御に基づいて、受信したテキストのセット１１０Aに関連付けられた全体NLIスコアを得るよう構成されてよい。例えば、予測クラスの最終出力は、否定（商用利用が許可されていない場合）、中立（商用利用又は非商用利用が許可されているかどうかが指定されていない場合）、又は肯定（商用利用が許可されている場合）として決定される。最終NLIスコアの決定の詳細は、例えば、図６に更に説明される。制御は最後まで進んでよい。
【0076】
フローチャート５００は、５０２、５０４、５０６及び５０８のような離散的な動作として図示されているが、しかしながら、特定の実施形態では、開示の実施形態の本質を損なうことなく、特定の実装に依存して、このような個別の動作は、追加動作に更に分けられ、より少数の動作に結合され、又は削除されてよい。
【0077】
図６は、本開示に記載された少なくとも１つの実施形態による、テキストのセット内の各文の最終NLIスコアを計算するための例示的なシナリオを示す図である。図６は、図１、図２、図３、図４、及び図５の要素と関連して記載される。図６を参照すると、例示的なシナリオ６００が示される。例示的なシナリオ６００は、入力文６０２、肯定文（Kp）６０４、否定文（Kn）６０６、肯定文に基づく矛盾関係ラベルのスコア（conduction_p）６０８、肯定文に基づく中立関係ラベルのスコア（neutral_p）６１０、肯定文に基づく必然関係ラベルのスコア（entailment_p）６１２、否定文に基づく矛盾関係ラベルのスコア（conduction_n）６１４、否定文に基づく中立関係ラベルのスコア（neutral_n）６１６、否定文に基づく必然関係ラベルのスコア（entailment_n）６１８、否定文（entailment_n）６２０、中立ラベル６２２、及び肯定ラベル６２４を含むことができる。conditiontion_p６０８、neutral_p６１０、entailment_p６１２、conditiontion_n６１４、neutral_n６１６、entailment_n６１８は、中間NLIスコアであってよい。否定ラベル６２０、中立ラベル６２２、及び肯定ラベル６２４は、最終NLIスコアであってよい。
【0078】
実施形態において、文のセットの各文に関連付けられた最終NLIスコアは、仮説ステートメントのセットからの各仮説ステートメントについて、第１文に関連付けられた中間NLIスコアの加重平均に対応してよい。最終NLIスコアは、異なる事前トレーニングされたモデル（すなわち「i」）及び同じグループの肯定文又は否定文（すなわち「k」）に関する中間NLIスコアの平均を取ることによって決定することができる。プロセッサ２０４は、次の式（１）、（２）及び（３）を使用して最終NLIスコアを決定するように構成されてよい：
【数1】
【0079】
ここで、wpは肯定文の重みであってよく、wnは否定文の重みであってよく、CONは矛盾を表してよく、NEUは中立を表してよく、ENTは必然を表してよい。図６を参照して、プロセッサ２０４は、入力文６０２（すなわち「j」）が肯定文であるか否定文であるかを決定してよい。各入力文６０２（すなわち「j」）、すなわち前提文、その後に続く肯定文６０４（すなわち、「Kp」）、すなわち仮説ステートメントは、中間NLIスコアをcontradiction_p６０８、neutral_p６１０、又はentailment_p６１２として決定してもよい。ある場合には、入力文６０２（すなわち「j」）、すなわち前提文、その後に続く否定文６０６（すなわち、「Kn」）、すなわち仮説ステートメントは、中間NLIスコアをcontradiction_p６１４、neutral_p６１６、又はentailment_p６１８として決定してもよい。最終NLIスコアは、肯定文６０４（すなわち、「Kp」）及び否定文６０６（すなわち「Kn」）の中間NLIスコアが各々contradiction_p６０８及びentailment_n６１８である場合には、否定ラベル６２０に対応してもよい。最終NLIスコアは、肯定文６０４（すなわち、「Kp」）及び否定文６０６（すなわち「Kn」）の中間NLIスコアが各々neutral_p６１０及びneutral_n６１６である場合には、中立ラベル６２２に対応してもよい。最終NLIスコアは、肯定文６０４（すなわち、「Kp」）及び否定文６０６（すなわち「Kn」）の中間NLIスコアが各々entailment_p６１２及びentailment_n６１８である場合には、肯定ラベル６２４に対応してもよい。
【0080】
実施形態では、プロセッサ２０４は、中間NLIスコアの加重平均に関連付けられた重みのセットを決定するために、仮説ステートメントの各セットにニューラルネットワークモデルを適用するように更に構成されてもよい。ここで、文のセットの各文に関連付けられた最終NLIスコアは、決定された重みのセット及び第１文に関連付けられた中間NLIスコアに基づいて決定されてもよい。従って、静的重みパラメータの代わりに、多層パーセプトロン（multi-layer perceptron （MLP））のような単純なニューラルネットワークモデルを適用して重みを決定してもよい。ニューラルネットワークモデルは、重みを決定するために様々なヒューリスティックを使用してもよい。
【0081】
図７は、本開示に記載された少なくとも１つの実施形態による、テキストのセットに関連付けられた予測ラベルを決定するための例示的な方法のフローチャートを示す図である。図７は、図１、図２、図３、図４、図５、及び図６の要素と関連して記載される。図７を参照すると、フローチャート７００が示される。フローチャート７００に示される方法は、７０２で開始してよく、任意の適切なシステム、機器、又は装置により、例えば図１の例示的な電子装置が１０２又は図２のプロセッサ２０４により実行されてよい。別個のブロックにより示したが、フローチャート７００のブロックのうちの１つ以上に関連するステップ及び動作は、特定の実装に依存して、追加ブロックに分けられ、少ないブロックに結合され、又は削除されてよい。
【0082】
ブロック７０２では、文のセットの各文のNLI予測スコアが、中間NLIスコアに基づいて、所定のNLIクラスのセットの各NLIクラスについて決定されてよい。実施形態では、プロセッサ２０４は、中間NLIスコアに基づいて、所定のNLIクラスのセットの各NLIクラスにわたり、文のセットの各文のNLI予測スコアを決定するように構成されてよい。文のセットの各文のNLI予測スコアの決定に関する詳細は、例えば、図５及び図６に示されている。
【0083】
ブロック７０４では、各文の決定されたNLI予測スコアに基づいて、所定のNLIクラスのセットの各NLIクラスに対する最大スコアが決定されてもよい。実施形態では、プロセッサ２０４は、各文の決定されたNLI予測スコアに基づいて、所定のNLIクラスのセットの各NLIクラスに対する最大スコアを決定するように構成されてもよい。ここで、所定のNLIクラスのセットは、「肯定」、「否定」又は「中立」であってもよい。例では、「肯定」クラスは、受信したテキストのセット１１０Aが、受信したテキストのセット１１０Aに関連付けられたリソースが商用目的のために使用されてよいことを述べていることを示してもよい。「否定」クラスは、受信したテキストのセット１１０Aが、受信したテキストのセット１１０Aに関連付けられたリソースが商用目的のために使用されてはならないことを述べていることを示してもよい。「中立」クラスは、受信したテキストのセット１１０Aが、受信したテキストのセット１１０Aが、リソースが商用目的のために使用されてよいかどうかを指定していないことを述べていることを示してもよい。「肯定」、「否定」、又は「中立」クラスの各々の最大スコアは、各文の決定されたNLI予測スコアに基づいて得られてもよい。最大スコアの決定に関する詳細は、例えば、図９で更に説明される。
【0084】
ブロック７０６では、所定のNLIクラスのセットの各NLIクラスの決定された最大スコアに基づいて、予測クラスが決定されてもよい。実施形態では、プロセッサ２０４は、所定のNLIクラスのセットの各NLIクラスの決定された最大スコアに基づいて、予測クラスを決定するように構成されてもよい。所定のNLIクラスのセットの各NLIクラスの最大スコアが決定されると、次に、所定のNLIクラスのセットの各NLIクラスの最大スコアは、互いに比較することができる。所定のNLIクラスのセットのうちの、決定された最大スコアを有するクラスを予測クラスとして決定することができる。予測クラスの決定に関する詳細は、例えば、図９で更に説明される。
【0085】
ブロック７０８では、テキストのセットに関連付けられた予測ラベルが、決定された予測クラスに基づいて決定されてよく、得られた全体NLIスコアは、テキストのセット１１０Aに関連付けられた決定された予測ラベルに対応してよい。実施形態では、プロセッサ２０４は、決定された予測クラスに基づいて、テキストのセット１１０Aに関連付けられた予測ラベルを決定するように構成されてもよい。得られた全体NLIスコアは、テキストのセット１１０Aに関連付けられた決定された予測ラベルに対応してよい。ここでは、各クラス（「肯定」、「中立」、「否定」クラスなど）の最大スコアをテキストのセット１１０Aのすべての文にわたって比較し、決定された最大スコアが最も高いラベルを予測ラベルとして割り当てることができる。全体NLIスコアの決定の詳細は、例えば、図９で説明されている。制御は最後まで進んでよい。
【0086】
フローチャート７００は、７０２、７０４、７０６、及び７０８のような個別の動作として図示された。しかしながら、特定の実施形態では、開示の実施形態の本質を損なうことなく、特定の実装に依存して、このような個別の動作は、追加動作に更に分けられ、より少数の動作に結合され、又は削除されてよい。
【0087】
図８は、本開示に記載された少なくとも１つの実施形態による、テキストのセットに関連付けられた各修正ラベルの全体NLIスコアを決定するための例示的な方法のフローチャートを示す図である。図８は、図１、図２、図３、図４、図５、図６、及び図７の要素と関連して記載される。図８を参照すると、フローチャート８００が示される。フローチャート８００に示される方法は、８０２で開始してよく、任意の適切なシステム、機器、又は装置により、例えば図１の例示的な電子装置が１０２又は図２のプロセッサ２０４により実行されてよい。別個のブロックにより示したが、フローチャート８００のブロックのうちの１つ以上に関連するステップ及び動作は、特定の実装に依存して、追加ブロックに分けられ、少ないブロックに結合され、又は削除されてよい。
【0088】
ブロック８０２において、ウインドウ関数は、文のセットの各文に関連付けられた最終NLIスコアに適用されてよい。実施形態において、プロセッサ２０４は、文のセットの各文に関連付けられた最終NLIスコアにウインドウ関数を適用するように構成され得る。例では、ウインドウ関数は、Hannウインドウであってもよい。特定のサイズのウインドウ関数は、文のセットの各文に関連付けられた最終NLIスコアに適用されてよい。例えば、例えば５のような特定のサイズのウインドウ関数は、文のセットの第１文から第５文に関連付けられた最終NLIスコアに適用されてよい。ここで、第１ウインドウは、文のセットの第１文から第５文までの５つの文を含むことができる。更に、第２ウインドウは、文のセットの第２文から第６文までの次の５つの文を含むことができる。この処理は、文のセットの各文がウインドウ関数によって処理されるまで繰り返されることができる。
【0089】
ブロック８０４において、文のセットからの第１文セットのウインドウの平均スコアが、ウインドウ関数の適用に基づいて計算されることができる。プロセッサ２０４は、ウインドウ関数の適用に基づいて、文のセットからの第１文セットのウインドウの平均スコアを計算するように構成されてよい。例えば、サイズ１０のウインドウ関数が選択された場合、第１文セットは、文のセットの第１文から第１０文までのような１０個の文を含む。文のセットの第１文から第１０文に関連付けられた最終NLIスコアを平均化することができる。同様に、文のセットからの、第２文から第１１文を含む第２文セットのウインドウの平均スコアを、ウインドウ関数の適用に基づいて計算することができる。
【0090】
ブロック８０６において、受信したテキストのセット１１０Aに関連付けられた全体NLIスコアを、第１文セットのウインドウの最大スコアに基づいて得ることができる。プロセッサ２０４は、受信したテキストのセット１１０Aに関連付けられた全体NLIスコアを、第１文セットのウインドウの最大スコアに基づいて得るよう構成されてよい。受信したテキストのセットに関連付けられた全体NLIスコアは、全てのウインドウの最大スコアに基づいて計算することができる。全体NLIスコアの決定の詳細は、例えば、図９で説明されている。制御は最後まで進んでよい。
【0091】
フローチャート８００は、８０２、８０４、及び８０６のような個別の動作として図示された。しかしながら、特定の実施形態では、開示の実施形態の本質を損なうことなく、特定の実装に依存して、このような個別の動作は、追加動作に更に分けられ、より少数の動作に結合され、又は削除されてよい。
【0092】
図９は、本開示に記載された少なくとも１つの実施形態による、テキストのセットに関連付けられた全体NLIスコアを決定するための例示的な方法のフローチャートを示す図である。図９は、図１、図２、図３、図４、図５、図６、図７、及び図８の要素と関連して記載される。図９を参照すると、フローチャート９００が示される。フローチャート９００に示される方法は、９０２で開始してよく、任意の適切なシステム、機器、又は装置により、例えば図１の例示的な電子装置が１０２又は図２のプロセッサ２０４により実行されてよい。別個のブロックにより示したが、フローチャート８００のブロックのうちの１つ以上に関連するステップ及び動作は、特定の実装に依存して、追加ブロックに分けられ、少ないブロックに結合され、又は削除されてよい。
【0093】
ブロック９０２では、文のセットの各文のNLI予測スコアが、中間NLIスコアに基づいて、所定のNLIクラスのセットの各NLIクラスについて決定されてよい。実施形態では、プロセッサ２０４は、中間NLIスコアに基づいて、所定のNLIクラスのセットの各NLIクラスにわたり、文のセットの各文のNLI予測スコアを決定するように構成されてよい。実施形態において、所定のNLIクラスのセットは、「肯定」クラス、「否定」クラス及び「中立」クラスであってもよい。NLI予測スコアは、１０進値であってもよい。
【0094】
ブロック９０４では、所定のNLIクラスのセットの各NLIクラスにわたり、文のセットの各文の決定されたNLI予測スコアが、第１の所定の閾値と比較されてもよい。実施形態では、プロセッサ２０４は、所定のNLIクラスのセットの各NLIクラスにわたり、文のセットの各文の決定されたNLI予測スコアを第１の所定の閾値と比較するように構成されてよい。第１の所定の閾値は、クラスとしての全体NLIスコアを決定するために、所定のNLIクラスのセットうちのクラスが有することができる最小値であってもよい。
【0095】
９０６において、決定されたNLI予測スコアと第１の所定の閾値との比較に基づいて、受信されたテキストのセットに関連付けられた全体NLIスコアを得ることができる。実施形態において、プロセッサ２０４は、決定されたNLI予測スコアと第１の所定の閾値との比較に基づいて、受信されたテキストのセットに関連付けられた全体NLIスコアを得るよう構成されてよい。例では、所定のNLIクラスのセットは、「肯定」クラス、「否定」クラス又は「中立」クラスであってもよい。ここで、所定のNLIクラスのセットの各NLIクラス（「肯定」、「中立」、又は「否定」クラスなど）の決定されたNLI予測スコアが閾値を超えた場合、全体NLIスコアは、最も高い決定された最大スコアに関連付けられたクラスであり得る。「肯定」クラス又は「否定」クラスのいずれも決定されたNLI予測スコアが十分に高いくないか、閾値よりも大きくない場合、全体NLIスコアは、「中立」又は「指定なし」と決定され得る。「肯定」クラスと「否定」クラスの両方の決定されたNLI予測スコアが高いか、閾値よりも大きい場合、全体NLIスコアは、さらなるラベル付けを必要とする可能性がある「不確実」と決定され得る。場合によっては、全体NLIスコアを決定するために、事前トレーニングされたNLIモデル１１４の最後の層としてMLPが追加されてよい。制御は最後まで進んでよい。
【0096】
フローチャート９００は、９０２、９０４及び９０６のような離散的な動作として図示されているが、しかしながら、特定の実施形態では、開示の実施形態の本質を損なうことなく、特定の実装に依存して、このような個別の動作は、追加動作に更に分けられ、より少数の動作に結合され、又は削除されてよい。
【0097】
図１０は、本開示に記載された少なくとも１つの実施形態による、決定された主要文のセットの表示装置上の表示を制御するための例示的な方法のフローチャートを示す図である。図１０は、図１、図２、図３、図４、図５、図６、図７、図８、及び図９の要素と関連して記載される。図１０を参照すると、フローチャート１０００が示される。フローチャート１０００に示される方法は、１００２で開始してよく、任意の適切なシステム、機器、又は装置により、例えば図１の例示的な電子装置が１０２又は図２のプロセッサ２０４により実行されてよい。別個のブロックにより示したが、フローチャート１０００のブロックのうちの１つ以上に関連するステップ及び動作は、特定の実装に依存して、追加ブロックに分けられ、少ないブロックに結合され、又は削除されてよい。
【0098】
ブロック１００２において、受信されたテキストのセットのうちの主要文のセットは、文のセットの各文に関連付けられた最終NLIスコアに基づいて決定されてよい。実施形態において、プロセッサ２０４は、文のセットの各文に関連付けられた最終NLIスコアに基づいて、受信されたテキストのセットの主要文のセットを決定するように構成されてよい。主要文のセットは、決定された予測ラベルに最も関連し得る文であってよい。例えば、決定された予測ラベルが「否定」である場合、主要文のセットは、受信したテキストのセットが商用目的のために使用されてはならないことを述べる文であってよい。同様に、決定された予測ラベルが「肯定」である場合、主要文のセットは、受信したテキストのセットが商用目的のために使用されよいことを述べる文であってよい。
【0099】
ブロック１００４において、決定された主要文のセットの表示装置２０８A上の表示を制御してよい。実施形態において、プロセッサ２０４は、決定された主要文のセットの表示装置２０８Aへの表示を制御するように構成されてよい。主要文のセットは、ユーザ１１８が予測ラベルを確認するために、又は手動でラベルを割り当てるために、強調表示され、例えば色分けされてよい。例えば、モバイルアプリケーション契約の場合、プロセッサ２０４は、モバイルアプリケーション契約全体の表示の代わりに、主要文のセットを強調表示してよい（又は、短い要約として主要文のセットを提示してよい）。従って、ユーザ１１８は、モバイルアプリケーション契約書全体を読む必要はなく、表示装置２０８A上で提示された主要文のセットのみに焦点を合わせることができる。制御は最後まで進んでよい。
【0100】
フローチャート１０００は、１００２及び１００４のような離散的な動作として図示されているが、しかしながら、特定の実施形態では、開示の実施形態の本質を損なうことなく、特定の実装に依存して、このような個別の動作は、追加動作に更に分けられ、より少数の動作に結合され、又は削除されてよい。
【0101】
図１１は、本開示に記載された少なくとも１つの実施形態による、主要文のセットの例示的なシナリオを示す図である。図１１は、図１、図２、図３、図４、図５、図６、図７、図８、図９、及び図１０の要素と関連して記載される。図１１を参照すると、例示的なシナリオ１１００が示される。シナリオ１１００は、第１文１１０４、第２文１１０６、及び第３文１１０８を含む主要文のセットを含むことができる。
【0102】
図１１を参照すると、第１文１１０４は、「参加者はチーム外の誰にもデータを共有できない。」と述べることができる。第２文１１０６は、「競技期間中、参加者は個人的に競技用に開発したソースやコードを共有することはできない。データの私的共有に耽っている参加者は失格となる可能性がある。」と述べることができる。第３文１１０８は、「ユーザは、競争目的のために提供されたデータ以外のデータを使用しない。」と述べることができる。プロセッサ２０４は、決定された主要文のセット１１０２の表示装置２０８Aへの表示を制御するように構成されてよい。従って、ユーザ１１８は、ライセンス契約テキスト全体を読む必要はなく、表示装置２０８A上で提示された主要文のセット１１０２のみに焦点を合わせることができる。ここで、決定された主要文のセット１１０２のレビューに基づいて、ユーザ１１８は、データが商用目的のために使用されない可能性があると推測することができる。
【0103】
図１１のシナリオ１１００は例示的な目的のためのものであり、開示の範囲を制限すると解釈されてはならないことに留意されたい。
【0104】
図１２は、本開示に記載された少なくとも一実施形態による修正ラベルの決定のための例示的な方法のフローチャートを示す図である。図１２は、図１、図２、図３、図４、図５、図６、図７、図８、図９、図１０、及び図１１の要素と関連して記載される。図１２を参照すると、フローチャート１２００が示される。フローチャート１２００に示される方法は、１２０２で開始してよく、任意の適切なシステム、機器、又は装置により、例えば図１の例示的な電子装置が１０２又は図２のプロセッサ２０４により実行されてよい。別個のブロックにより示したが、フローチャート１２００のブロックのうちの１つ以上に関連するステップ及び動作は、特定の実装に依存して、追加ブロックに分けられ、少ないブロックに結合され、又は削除されてよい。
【0105】
ブロック１２０２では、肯定文のセット及び否定文のセットを含む第２文セットが、文のセットの各文に関連付けられた最終NLIスコアに基づいて、文のセットから識別されてよい。実施形態において、プロセッサ２０４は、肯定文のセット及び否定文のセットを含む第２文セットを、文のセットの各文に関連付けられた最終NLIスコアに基づいて、文のセットから識別するように構成されてよい。実施形態では、プロセッサ２０４は、第２文セットに対する予測ラベルの高い信頼性を示す最終NLIスコアに基づいて、文のセットから第２文セットを識別してよい。例では、プロセッサ２０４は、最も高い決定されたNLI予測スコアと２番目に高い決定されたNLI予測スコアとの間の差を閾値と比較してよい。識別された第２文セットは、肯定文又は否定文のセットを含むことができる主要文のセットに対応し得る。あるいは、人間は、主要文のセットのような幾つかの文を手動でラベル付けすることによって、肯定文又は否定文のセットを抽出することができる。
【0106】
ブロック１２０４において、識別された第２文セットの各文に関連付けられた最終NLIスコアを、第２の所定の閾値と比較することができる。実施形態において、プロセッサ２０４は、識別された第２文セットの各文に関連付けられた最終NLIスコアを、第２の所定の閾値と比較するよう構成されてよい。ここで、第２の所定の閾値は、予測のタイプの決定の測定のためのパラメータとすることができる。識別された第２文セットの各文に関連付けられた最終NLIスコアが計算され、予測タイプを決定するために第２の所定の閾値と比較されてよい。最終NLIスコアの計算の詳細は、例えば図５において更に説明される。
【0107】
ブロック１２０６において、識別された第２文セットの各文に関連付けられた予測のタイプは、識別された第２文セットの各文に関連付けられた第１NLIスコアと第２の所定の閾値との比較に基づいて決定されてよい。実施形態において、プロセッサ２０４は、識別された第２文セットの各文に関連付けられた予測のタイプを、識別された第２文セットの各文に関連付けられた第１NLIスコアと第２の所定の閾値との比較に基づいて決定するように構成されてよい。
【0108】
実施形態において、決定された予測のタイプは、ルールベースの予測、競合する予測、又は不確実な予測のうちの１つであってよい。肯定文又は否定文のセットは、「ルールベース」の予測として使用されてよい。すなわち、識別された第２文セットが肯定文又は否定文のセットを含む場合、全体NLIスコアは、各々肯定ラベル又は否定ラベルに対応し得る。肯定文のセットの各肯定文に関連付けられた第１NLIスコアが第２の所定の閾値を超える場合、全体NLIスコアは肯定ラベルに対応してよく、否定文のセットの各否定文に関連付けられた第１NLIスコアが第２の所定の閾値を超える場合、全体NLIスコアは否定ラベルに対応してよい。第２文セットが肯定文のセットと否定文のセットの両方を含む場合、予測のタイプは「競合」であってよいことに留意されたい。ここで、受信したテキストのセット１１０Aが商用目的で使用される可能性があるかどうかは決定されなくてよい。例えば、受信したテキストのセット１１０Aのうちの肯定文のセットは、関連付けられたリソースが商用目的で使用されてよいと述べ、受信したテキストのセット１１０Aのうちの否定文のセットは、関連付けられたリソースが商用目的で使用されてはならないと述べてもよい。従って、肯定文のセット及び否定文のセットの各々に関連付けられた第１NLIスコアが第２の所定の閾値を超える場合、予測のタイプは「競合」であってよい。ある場合には、肯定文のセット及び否定文のセットの各々に関連付けられた第１NLIスコアが第２の所定の閾値より低い場合、予測のタイプは「不確実」であってよい。
【0109】
ブロック１２０８において、第２文セットの各文に関連付けられた修正ラベルは、決定された予測のタイプに基づいて決定され得る。実施形態では、プロセッサ２０４は、第２文セットの各文に関連付けられた修正ラベルを、決定された予測のタイプに基づいて決定するように構成されてもよい。一例では、修正ラベルは、「非商用」、「指定なし」又は「商用」であってよい。修正ラベルは、第２文セットが、受信したテキストのセット１１０Aに関連付けられたリソースが商用目的のために使用されてはならないことを指定する場合には、「非商用」であってもよい。修正ラベルは、第２文セットが、受信したテキストのセット１１０Aに関連付けられたリソースが商用目的のために使用されてもよいことを指定する場合には、「商用」であってもよい。修正ラベルは、第２文セットが、受信したテキストのセット１１０Aに関連付けられたリソースが商用目的のために使用されてよいかどうかを指定しない場合には、「指定なし」であってもよい。
【0110】
実施形態では、決定された修正ラベルは、ユーザ入力に更に基づいてよく、決定された予測のタイプは不確実な予測である。ここで、第２文セットが表示装置２０８A上に表示されてよく、ユーザ１１８は第２文セットに目を通して修正ラベルを決定することができる。ユーザ１１８は、第２文セットを分析して、修正ラベルが「非商用」ラベル、「指定なし」ラベル、又は「商用」ラベルのいずれに対応するかを決定することができる。手動で決定された修正ラベルは、グランドトゥルースと呼ぶことができる。制御は最後まで進んでよい。
【0111】
フローチャート１２００は、１２０２、１２０４、１２０６及び１２０８のような離散的な動作として図示されているが、しかしながら、特定の実施形態では、開示の実施形態の本質を損なうことなく、特定の実装に依存して、このような個別の動作は、追加動作に更に分けられ、より少数の動作に結合され、又は削除されてよい。
【0112】
図１３は、本開示に記載された少なくとも一実施形態による、矛盾及び必然ペアの構成されたセットのバランスをとるための例示的な方法のフローチャートを示す図である。図１３は、図１、図２、図３、図４、図５、図６、図７、図８、図９、図１０、図１１、及び図１２の要素と関連して記載される。図１３を参照すると、フローチャート１３００が示される。フローチャート１３００に示される方法は、１３０２で開始してよく、任意の適切なシステム、機器、又は装置により、例えば図１の例示的な電子装置が１０２又は図２のプロセッサ２０４により実行されてよい。別個のブロックにより示したが、フローチャート１３００のブロックのうちの１つ以上に関連するステップ及び動作は、特定の実装に依存して、追加ブロックに分けられ、少ないブロックに結合され、又は削除されてよい。
【0113】
ブロック１３０２では、生成された第２テキストコーパスに対応するラベルのセットに基づいて、グランドトゥルース肯定及び否定主要文のセットを検索することができる。実施形態では、プロセッサ２０４は、生成された第２テキストコーパスに対応するラベルのセットに基づいて、グランドトゥルース肯定及び否定主要文のセットを検索するよう構成されてよい。ここで、決定された修正ラベルがグランドトゥルースと同じであり、肯定文のセット及び否定文のセットに関連付けられた最終NLIスコアが閾値よりも大きい場合、グランドトゥルース肯定及び否定主要文のセットは、各々肯定文のセット及び否定文のセットとすることができる。決定された修正ラベルがグランドトゥルースと同じであり、肯定文のセット及び否定文のセットに関連付けられた最終NLIスコアが閾値よりも小さい場合、グランドトゥルース肯定及び否定主要文のセットは、主要文のセットの各主要文を肯定文又は否定文としてラベル付けすることに基づいて手動で決定することができる。決定された修正ラベルがグランドトゥルースと異なる場合、グランドトゥルース肯定及び否定主要文のセットも、主要文のセットの各主要文を肯定文又は否定文としてラベル付けすることに基づいて手動で決定することができる。
【0114】
例では、グランドトゥルース否定文のセットは、以下の文を含むことができる：
「基本的に、このライセンスはデータセットのいかなる商用利用も禁止する。それらを非商用の研究目的で使用することはできるが、企業「X」の明示的な許可なしに再公開することはできない。上記の著作権表示が配布されるすべてのコピーに表示され、このライセンスが配布に付随している場合に限り、データ及びデータを含む著作権可能な表現のコピー、変更、及び配布の許可は、教育、非営利の研究、及び非営利の商用目的のためにのみ、企業「X」によって無償で付与される。お客様は、本契約で許可又は意図されている場合を除き、いかなる目的のためにも、ライセンスされたコンテンツ（又はその任意の部分）を再生、複製、配布、普及、他者へのアクセス許可、販売、再販売、レンタル又は取引しないことに同意する。お客様は、競技に参加していない当事者にデータを送信、複製、公開、再配布、又はその他の方法で提供又は利用可能にしないことに同意する。提供されたデータ又はその派生物は、参加者によって第３者に開示されないものとし、該当する競技ルールに従って、当該データが提供された競技に参加する以外の目的で参加者がコピー又は使用することはできない。このチャレンジに参加することにより、参加者は、データセットが競技の目的のためにのみ提供されることを承認する。上記の競技固有のルールで特に制限されていない限り、競技への参加やファーストフォーラム、学術研究や教育など、非商用目的でのみ競技データにアクセスし使用することができる。お客様は、競技を通じて提供されるコーパスや製品カタログなどのソースデータを、お客様以外の第３者に共有しないことに同意する。お客様は、競技への参加やファーストフォーラムへの参加のため、学術研究や教育など、非商用目的でのみ競技データにアクセスし、使用することができる。参加者は、商用目的でデータを使用しない。お客様は、商用、ギャンブル、又は違法な目的でのデータの使用又はアクセス、データのコピー、修正、複製、ライセンス、サブライセンス、配布、送信、再発行、展示、又は表示（コピー、修正、複製又は表示が必要であり、お客様の競技への参加に直接関連付けられた場合を除く）、データ内の著作権表示又はその他の表示、指定、又は属性の削除、不明瞭化、若しくは修正、或いはデータに関連付けられたマーク又は著作権又はその他の所有権の使用、或いはデータのすべての名称、商標、ロゴ、シンボル、名称、エンブレム、デザイン、トレードドレス、及びそれらのすべての識別、ラベル、記章又は表示を、会社「X」の明示的な書面による同意なしに、目的を問わず使用すること、を行わない。お客様は、商用、ギャンブル、又は違法な目的でのデータ「A」の使用又はアクセス、データ「A」のコピー、修正、複製、ライセンス、サブライセンス、配布、送信、再発行、展示、又は表示（コピー、修正、複製又は表示が必要であり、お客様の競技への参加に直接関連付けられた場合を除く）、データ「A」内の著作権表示又はその他の表示、指定、又は属性の削除、不明瞭化、若しくは修正、或いはデータ「A」に関連付けられたマーク又は著作権又はその他の所有権を会社「X」の明示的な書面による同意なしに目的を問わず使用すること、を行わない。お客様は、競技への参加やファーストフォーラムへの参加のため、学術研究や教育など、非商用目的でのみ競技データにアクセスし、使用することができる。お客様は、非商用研究及び教育目的にのみデータを使用する。お客様は、競技に参加していない当事者に競技データを送信、複製、公開、再配布、又はその他の方法で提供又は利用可能にしないことに同意する。データサイエンステーマの参加者は、データサイエンステーマ及びファーストフォーラムに参加する場合にのみ、競技データにアクセスして使用することができる。競技Webサイトの規約で別途許可されている場合を除き、参加者は、データの読み取りとデータからの学習、データの分析、データの変更、及び一般的な提出物とその基になるモデルの準備、Webサイト上のフォーラムディスカッションへの参加など、競技の目的と期間にのみデータを使用する必要がある。本契約の取引条件を考慮し及びその他の有益かつ価値のある検討では、その受領と十分性が認められる場合、参加者は、本契約期間中及び期間後に、開示者の機密情報を該機密情報が提供された目的でのみ使用する。上記の競技固有の規則で別途制限されていない限り、これらの規則に同意した後は、競技、ファーストWebサイトフォーラムへの参加、学術研究及び教育、及びその他の非商用目的のために、競技データにアクセスし、使用することができる。データセットは、印刷、電子又は放送のいずれであっても、他の場所で提示又はホストされてはならない。競技の外部でのデータセットの使用は制限されている。」
「基本的に、このライセンスはデータセットのいかなる商用利用も禁止する。それらを非商用の研究目的で使用することはできるが、企業「X」の明示的な許可なしに再公開することはできない。上記の著作権表示が配布されるすべてのコピーに表示され、このライセンスが配布に付随している場合に限り、データ及びデータを含む著作権可能な表現のコピー、変更、及び配布の許可は、教育、非営利の研究、及び非営利の商用目的のためにのみ、企業「X」によって無償で付与される。お客様は、本契約で許可又は意図されている場合を除き、いかなる目的のためにも、ライセンスされたコンテンツ（又はその任意の部分）を再生、複製、配布、普及、他者へのアクセス許可、販売、再販売、レンタル又は取引しないことに同意する。お客様は、競技に参加していない当事者にデータを送信、複製、公開、再配布、又はその他の方法で提供又は利用可能にしないことに同意する。提供されたデータ又はその派生物は、参加者によって第３者に開示されないものとし、該当する競技ルールに従って、当該データが提供された競技に参加する以外の目的で参加者がコピー又は使用することはできない。このチャレンジに参加することにより、参加者は、データセットが競技の目的のためにのみ提供されることを承認する。上記の競技固有のルールで特に制限されていない限り、競技への参加やファーストフォーラム、学術研究や教育など、非商用目的でのみ競技データにアクセスし使用することができる。お客様は、競技を通じて提供されるコーパスや製品カタログなどのソースデータを、お客様以外の第３者に共有しないことに同意する。お客様は、競技への参加やファーストフォーラムへの参加のため、学術研究や教育など、非商用目的でのみ競技データにアクセスし、使用することができる。参加者は、商用目的でデータを使用しない。お客様は、商用、ギャンブル、又は違法な目的でのデータの使用又はアクセス、データのコピー、修正、複製、ライセンス、サブライセンス、配布、送信、再発行、展示、又は表示（コピー、修正、複製又は表示が必要であり、お客様の競技への参加に直接関連付けられた場合を除く）、データ内の著作権表示又はその他の表示、指定、又は属性の削除、不明瞭化、若しくは修正、或いはデータに関連付けられたマーク又は著作権又はその他の所有権の使用、或いはデータのすべての名称、商標、ロゴ、シンボル、名称、エンブレム、デザイン、トレードドレス、及びそれらのすべての識別、ラベル、記章又は表示を、会社「X」の明示的な書面による同意なしに、目的を問わず使用すること、を行わない。お客様は、商用、ギャンブル、又は違法な目的でのデータ「A」の使用又はアクセス、データ「A」のコピー、修正、複製、ライセンス、サブライセンス、配布、送信、再発行、展示、又は表示（コピー、修正、複製又は表示が必要であり、お客様の競技への参加に直接関連付けられた場合を除く）、データ「A」内の著作権表示又はその他の表示、指定、又は属性の削除、不明瞭化、若しくは修正、或いはデータ「A」に関連付けられたマーク又は著作権又はその他の所有権を会社「X」の明示的な書面による同意なしに目的を問わず使用すること、を行わない。お客様は、競技への参加やファーストフォーラムへの参加のため、学術研究や教育など、非商用目的でのみ競技データにアクセスし、使用することができる。お客様は、非商用研究及び教育目的にのみデータを使用する。お客様は、競技に参加していない当事者に競技データを送信、複製、公開、再配布、又はその他の方法で提供又は利用可能にしないことに同意する。データサイエンステーマの参加者は、データサイエンステーマ及びファーストフォーラムに参加する場合にのみ、競技データにアクセスして使用することができる。競技Webサイトの規約で別途許可されている場合を除き、参加者は、データの読み取りとデータからの学習、データの分析、データの変更、及び一般的な提出物とその基になるモデルの準備、Webサイト上のフォーラムディスカッションへの参加など、競技の目的と期間にのみデータを使用する必要がある。本契約の取引条件を考慮し及びその他の有益かつ価値のある検討では、その受領と十分性が認められる場合、参加者は、本契約期間中及び期間後に、開示者の機密情報を該機密情報が提供された目的でのみ使用する。上記の競技固有の規則で別途制限されていない限り、これらの規則に同意した後は、競技、ファーストWebサイトフォーラムへの参加、学術研究及び教育、及びその他の非商用目的のために、競技データにアクセスし、使用することができる。データセットは、印刷、電子又は放送のいずれであっても、他の場所で提示又はホストされてはならない。競技の外部でのデータセットの使用は制限されている。」
【0115】
例では、グランドトゥルース肯定文のセットは、以下の文を含むことができる：
「お客様は、競技への参加のために、ファーストフォーラムで、及び学術研究や教育のために、商用又は非商用に拘わらず任意の目的で競技データにアクセスし、使用することができる。お客様は、競技への参加のため、ファーストフォーラムで、及び学術研究や教育のために、商用又は非商用に拘わらず任意の目的で競技データにアクセスし、使用することができる。お客様は、競技への参加のため、ファーストフォーラムで、及び学術研究や教育のために、商用又は非商用に拘わらず任意の目的で競技データにアクセスし、使用することができる。お客様は、競技への参加のため、ファーストフォーラムで、及び学術研究や教育のために、商用又は非商用に拘わらず任意の目的で競技データにアクセスし、使用することができる。お客様は、必要に応じてデータセットと個々のアイテム（サウンドファイル）の属性を指定する限り、競技への参加のため、ファーストフォーラムで、及び学術研究や教育のために、商用又は非商用に拘わらず任意の目的で競技データにアクセスし、使用することができる。」
「お客様は、競技への参加のために、ファーストフォーラムで、及び学術研究や教育のために、商用又は非商用に拘わらず任意の目的で競技データにアクセスし、使用することができる。お客様は、競技への参加のため、ファーストフォーラムで、及び学術研究や教育のために、商用又は非商用に拘わらず任意の目的で競技データにアクセスし、使用することができる。お客様は、競技への参加のため、ファーストフォーラムで、及び学術研究や教育のために、商用又は非商用に拘わらず任意の目的で競技データにアクセスし、使用することができる。お客様は、競技への参加のため、ファーストフォーラムで、及び学術研究や教育のために、商用又は非商用に拘わらず任意の目的で競技データにアクセスし、使用することができる。お客様は、必要に応じてデータセットと個々のアイテム（サウンドファイル）の属性を指定する限り、競技への参加のため、ファーストフォーラムで、及び学術研究や教育のために、商用又は非商用に拘わらず任意の目的で競技データにアクセスし、使用することができる。」
【0116】
ブロック１３０４で、ラベル付けされた主要中立文のセットを検索することができる。実施形態において、プロセッサ２０４は、ラベル付けされた主要中立文のセットを検索するように構成されてよい。ラベル付けされた主要中立文のセットは、意味的に中立であってもよく、受信したテキストのセット１１０Aに関連付けられたリソースが商用目的のために使用されてよいかどうかを述べなくてもよい。すなわち、中立文は、リソースが商用目的のために使用されてもよいかどうかの決定に関する意味において不明瞭であってもよい。そのような文は、手動の判断に基づいて「中立」とラベル付けされてもよい。
【0117】
例では、ラベル付けされた主要中立文のセットは、以下の文を含むことができる：
「使用可能なすべてのデータを使用できる。外部データは、使用可能であるが、競技終了の少なくとも１週間前に適切なフォーラムのスレッド（「外部データ」）で明確に指摘され、次の基準を満たしている必要がある：お客様が好きな追加データやプリビルドされたモデルを使用することができる；お客様がデータのために必要な任意のリソースを使用することができる；評価データ（主催者がファーストセンサで記録したジェスチャで構成される）は、登録された参加者がデータメディアで購入でき、メールキャリアによって参加者＼u２０１９の費用で配信され、また、参加者は無料でインターネット経由でダウンロードできるようになる。」
「使用可能なすべてのデータを使用できる。外部データは、使用可能であるが、競技終了の少なくとも１週間前に適切なフォーラムのスレッド（「外部データ」）で明確に指摘され、次の基準を満たしている必要がある：お客様が好きな追加データやプリビルドされたモデルを使用することができる；お客様がデータのために必要な任意のリソースを使用することができる；評価データ（主催者がファーストセンサで記録したジェスチャで構成される）は、登録された参加者がデータメディアで購入でき、メールキャリアによって参加者＼u２０１９の費用で配信され、また、参加者は無料でインターネット経由でダウンロードできるようになる。」
【0118】
ブロック１３０６では、受信した仮説ステートメントのセット１１２と、検索されたグランドトゥルース肯定及び否定主要文のセットに基づいて、矛盾及び必然ペアのセットを構成することができる。実施形態では、プロセッサ２０４は、受信した仮説ステートメントのセット１１２と、検索されたグランドトゥルース肯定及び否定主要文のセットに基づいて、矛盾及び必然ペアのセットを構成するように構成されてよい。ここで、プロセッサ２０４は、前提が肯定文であり、仮説が肯定主要文である場合に、必然ペアを構成することができる。更に、プロセッサ２０４は、前提が否定主要文であり、仮説が否定主要文である場合に、必然ペアを構成することができる。プロセッサ２０４は、前提が肯定主要文であり、仮説が否定主要文である場合に、矛盾ペアを構成することができる。プロセッサ２０４は、前提が否定主要文であり、仮説が否定主要文である場合に、矛盾ペアを構成してもよい。
【0119】
ブロック１３０８では、ラベル付きの主要中立文の検索されたセットに基づいて、中立ペアのセットを構成することができる。実施形態では、プロセッサ２０４は、ラベル付きの主要中立文の検索されたセットに基づいて、中立ペアのセットを構成するように構成することができる。プロセッサ２０４は、前提が中立文であり、仮説が肯定文である場合に、中立ペアを構成することができる。更に、プロセッサ２０４は、前提が中立文であり、仮説が否定文である場合に、中立ペアを構成することができる。
【0120】
ブロック１３１０では、構成された矛盾及び必然ペアのセットと、構成された中立ペアのセットとのバランスを取ることができる。ここで、第３テキストコーパスの生成は、矛盾及び必然ペアのバランスの取れたセットと、中立ペアのバランスの取れたセットとに更に基づくことができる。実施形態では、プロセッサ２０４は、構成された矛盾及び必然ペアのセットと、構成された中立ペアのセットとのバランスを取るよう構成されてよく、第３テキストコーパスの生成は、矛盾及び必然ペアのバランスの取れたセットと、中立ペアのバランスの取れたセットとに更に基づくことができる。「矛盾」、「中立」及び「必然」タイプのような各タイプのペアの数が同じでない場合、プロセッサ２０４は、第３テキストコーパスからより多くのサンプルを抽出することができる（例えば、図３の第３テキストコーパス３１０A）。例えば、中立ペアの数が矛盾及び必然ペアの数より少ない場合、矛盾－必然ペアのセットと中立ペアのセットとのバランスが取れないことがある。このような場合、クラスのバランスを取るために、第３テキストコーパス（例えば、図３の第３テキストコーパス３１０A）で「指定なし」である文を前提として取り込み、「肯定」又は「否定」仮説ステートメントと組み合わせて中立ペアを形成することがある。なお、第３テキストコーパス（例えば、図３の第３テキストコーパス３１０A）だけでなく、第２テキストコーパス（例えば、図３の第２テキストコーパス３０８A）からも、より多くのトレーニングデータを展開することが可能である。なお、矛盾－必然ペアのバランスのとれたセット及び中立ペアのバランスのとれたセットは、フューショット学習モデル１１６に基づいて、事前トレーニングされたNLIモデル１１４を微調整するためのトレーニングコーパスとして使用することができる。制御は最後まで進んでよい。
【0121】
フローチャート１３００は、１３０２、１３０４、１３０６、１３０８及び１３１０のような離散的な動作として図示されているが、しかしながら、特定の実施形態では、開示の実施形態の本質を損なうことなく、特定の実装に依存して、このような個別の動作は、追加動作に更に分けられ、より少数の動作に結合され、又は削除されてよい。
【0122】
図１４は、本開示に記載された少なくとも１つの実施形態による、アプリケーションプログラムに関連付けられた取引条件の自動受諾の例示的シナリオを示す図である。図１４は、図１、図２、図３、図４、図５、図６、図７、図８、図９、図１０、図１１、図１２、及び図１３の要素と関連して記載される。図１４を参照すると、例示的なシナリオ１４００が示される。シナリオ１４００は、ユーザ１１８に関連付けられた電子装置（例えば、携帯電話、ラップトップ、タブレットコンピュータ、消費者電子機器、又はデスクトップコンピュータ）にインストールされ及び実行されるアプリケーションプログラム（図１４には示されていない）を含むことができる。シナリオ１４００は、法的契約テキスト１４０２Aを含むライセンスコーパス１４０２を含む主要文のセットを含むことができる。シナリオ１４００は、更に、焦点トピック１４０４、仮説ステートメント１４０６、焦点トピックモデル１４１０、ユーザインタフェース１４１２、（焦点トピック）データ追跡モデル１４１４、及び強調された法的契約テキスト１４１６を含むことができる。焦点トピック１４０４は、支払１４０４A、データ追跡１４０４B、及び動作制限１４０４Cを含むことができる。シナリオ１４００は、トレーニングコーパス生成及びモデル構築１４０８及びユーザ確認１４１８のような動作を含むことができる。
【0123】
図１４を参照すると、プロセッサ２０４は、ライセンスコーパス１４０２から法的契約テキスト１４０２Aを受信してよく、受信した法的契約テキスト１４０２Aを焦点トピック１４０４に分類することができる。焦点トピック１４０４は、ユーザにとって最も一般的な関心事となり得るトピックを含むことができる。法的契約テキスト１４０２Aは、人間の入力に基づいて手動で、又は機械学習モデルを使用して、焦点トピック１４０４に分類することができる。法的契約テキスト１４０２Aは、支払い１４０４A、データ追跡１４０４B、及び動作制限１４０４Cなどの焦点トピックに分類することができる。支払い１４０４Aは、支払いに関連する可能性のある法的契約テキスト１４０２Aからのテキストを含むことができる。データ追跡１４０４Bは、ユーザのデータがどのように追跡され得るかを指定し得る法的契約テキスト１４０２Aからのテキストを含むことができる。動作制限１４０４Cは、アプリケーションプログラムの動作に関連付けられた合意を指定し得る法的契約テキスト１４０２Aからのテキストを含むことができる。プロセッサ２０４は、法的契約テキスト１４０２Aに関連する仮説ステートメント１４０６及び１つ以上の焦点トピック１４０４を抽出することができる。
【0124】
１４０８において、トレーニングコーパス生成及びモデル構築のための動作を実行することができる。ここで、支払１４０４A、データ追跡１４０４B及び動作制限１４０４Cの各々についてNLIモデルをトレーニングすることができる。プロセッサ２０４は、表示装置２０８Aにユーザインタフェース１４１２を表示することができる。図１の１１８のようなユーザは、焦点トピック１４０４から関心トピックを選択するために、表示装置２０８Aと相互作用することができる。例えば、図１４に示されるように、ユーザ１１８は、ユーザインタフェース１４１２上で、データ追跡のようなトピックを選択することができる。法的契約テキスト１４０２Aが検索されてよく、プロセッサ２０４は、ユーザに関連付けられたデータが追跡される可能性があることを述べる文を識別するために、法的契約テキスト１４０２Aに対して（焦点トピック）データ追跡モデル１４１４を適用することができる。（焦点トピック）データ追跡モデル１４１４は、ユーザに関連付けられたデータが追跡される可能性があることを述べる識別文を識別することができる。その後、プロセッサ２０４は、識別文を強調表示することができ、強調表示された法的契約テキスト１４１６をユーザに提示することができる。ユーザは、強調表示された法的契約テキスト１４１６の識別された文に目を通し、ユーザが法的契約テキスト１４０２Aを受諾することに同意するか否かを（ユーザ確認のための動作１４１８で）確認することができる。従って、ユーザは、法的契約テキスト１４０２Aの各文に目を通す必要はなく、法的契約テキスト１４０２Aからの主要文に対応する識別された文のみを読めばよい。法的契約テキスト１４０２Aの主要文をユーザ１１８に提示することは、法的契約テキスト１４０２Aの自動受諾を助けることができる。
【0125】
図１４のシナリオ１４００は例示的な目的のためのものであり、開示の範囲を制限すると解釈されてはならないことに留意されたい。
【0126】
図１５は、本開示に記載れた少なくとも１つの実施形態による、自然言語推論モデルを用いたドメイン固有のテキストラベル付けのための例示的な方法のフローチャートを示す図である。図１５は、図１、図２、図３、図４、図５、図６、図７、図８、図９、図１０、図１１、図１２、図１３、及び図１４の要素と関連して記載される。図１５を参照すると、フローチャート１５００が示される。フローチャート１５００に示される方法は、１５０２で開始してよく、任意の適切なシステム、機器、又は装置により、例えば図１の例示的な電子装置が１０２又は図２のプロセッサ２０４により実行されてよい。別個のブロックにより示したが、フローチャート１５００のブロックのうちの１つ以上に関連するステップ及び動作は、特定の実装に依存して、追加ブロックに分けられ、少ないブロックに結合され、又は削除されてよい。
【0127】
ブロック１５０２で、ドメインに関連付けられた第１テキストコーパス１１０から、ドメインに関連付けられたテキストのセット１１０Aを受信することができる。プロセッサ２０４は、ドメインに関連付けられた第１テキストコーパス１１０からドメインに関連付けられたテキストのセット１１０Aを受信するように構成され得る。プロセッサ２０４は、ドメインに関連付けられた第１テキストコーパス１１０からテキストのセット１１０Aについてデータベース１０６に要求することができる。データベース１０６は、要求の真正性を検証することができ、ドメインに関連付けられたテキストのセット１１０Aをプロセッサ２０４に提供することができる。
【0128】
ブロック１５０４で、ドメインに関連付けられた仮説ステートメントのセット１１２が受信されてよい。プロセッサ２０４は、ドメインに関連付けられた仮説ステートメントのセット１１２を受信するように構成され得る。事前トレーニングされたNLIモデル１１４を特定のドメインに適用するために、クエリ文とみなすことができる仮説ステートメントの適切なセット１１２が提供される必要があってよい。仮説ステートメントのセット１１２に関する詳細は、例えば、図３で更に説明される。
【0129】
ブロック１５０６において、事前トレーニングされたNLIモデル１１４は、受信されたテキストのセット１１０Aの各テキスト及び受信された仮説ステートメントのセット１１２の各仮説ステートメントに適用され得る。プロセッサ２０４は、事前トレーニングされた自然言語推論（NLI）モデル１１４を、受信したテキストのセット１１０Aの各テキスト及び受信した仮説ステートメントのセット１１２の各仮説ステートメントに適用するように構成することができる。事前トレーニングされたNLIモデル１１４の適用に関する詳細は、例えば、図５において更に説明される。
【0130】
ブロック１５０８において、ドメインに関連付けられた第２テキストコーパスを、事前トレーニングされたNLIモデル１１４の適用に基づいて生成してよい。プロセッサ２０４は、事前トレーニングされたNLIモデル１１４の適用に基づいて、ドメインに関連付けられた第２テキストコーパス（例えば、図３の第２テキストコーパス３０８A）を生成するように構成することができる。生成された第２テキストコーパスは、第１テキストコーパス１１０よりもサイズが小さくてもよく、ラベルを付けてもよい。ドメインに関連付けられたラベルのセットは、ユーザ１１８がラベルを確認したり、手動でラベルを更新したりするための文を含んでもよい。第２テキストコーパス生成に関する詳細については、例えば図５及び図６において更に説明する。
【0131】
ブロック１５１０において、生成された第２テキストコーパス３０８Aにフューショット学習モデルを適用して、ドメインに関連付けられた第３テキストコーパス３１０Aを生成してよい。プロセッサ２０４は、生成された第２テキストコーパス（例えば、図３の生成された第２テキストコーパス３０８A）にフューショット学習モデルを適用して、ドメインに関連付けられた第３テキストコーパス（例えば、図３の第３テキストコーパス３１０A）を生成するように構成することができる。第３テキストコーパス３１０A生成に関する詳細については、例えば図１３において更に説明する。
【0132】
ブロック１５１２において、ラベル付けされた入力テキストの表示装置２０８A上の表示が制御されてよい。プロセッサ２０４は、表示装置２０８A上のラベル付けされた入力テキスト（例えば、図３のラベル付き入力テキスト３１２A）の表示を制御するように構成されてもよい。ラベル付き入力テキストは、ユーザが確認できるように、表示装置上に表示することができる。表示装置２０８A上のラベル付き入力テキストの表示に関する詳細は、例えば、図３に更に記載される。制御は最後まで進んでよい。
【0133】
フローチャート１５００は、１５０２、１５０４、１５０６、１５０８、１５１０及び１５１２のような離散的な動作として図示されているが、しかしながら、特定の実施形態では、開示の実施形態の本質を損なうことなく、特定の実装に依存して、このような個別の動作は、追加動作に更に分けられ、より少数の動作に結合され、又は削除されてよい。
【0134】
実験データ
【0135】
開示の実験的実施では、ラベル付きデータには１６１回の競技会のライセンステキストデータが含まれ、見えないデータには１０１回の競技会のライセンステキストデータが含まれる。実施した実験の性能評価の例示的な実験データを表１に示す。
［表１］本開示の実施した例示的な性能評価
［表１］本開示の実施した例示的な性能評価
【表1】
【0136】
例えば、表１から、ラベル付けされたデータと見えないデータに対してルールベースのアルゴリズムを使用して得られた精度は、各々４４．７２％と７８．２１％であることが分かる。ラベル付けされたデータと見えないデータに対してゼロショットNLIを使用して得られた精度は、各々４６．５８％と８５．１２％である。ラベル付けされたデータと見えないデータに対してフューショットNLIを使用して得られた精度は、各々７７．０１％と９１．０９％である。
【0137】
表１に提供されたデータは、単に実験データとしてみなすことができ、本開示を制限するものと解釈することはできないことに留意されたい。
【0138】
実施した実験の予測結果の統計の例示的な実験データを表２に示す。
［表２］予測結果の統計の例示的な実験データ
［表２］予測結果の統計の例示的な実験データ
【表2】
【0139】
表２に提供されたデータは、単に実験データとしてみなすことができ、本開示を制限するものと解釈することはできないことに留意されたい。
【0140】
本開示の種々の実施形態は、実行されることに応答してシステム（例えば、例示的な電子装置１０２）に動作を実行させる命令を格納するよう構成される１つ以上の非一時的コンピュータ可読記憶媒体を提供してよい。動作は、ドメインに関連付けられた第１テキストコーパス（例えば、図１の第１テキストコーパス１１０）からの、ドメインに関連付けられたテキストのセット（例えば、図１のテキストのセット１１０A）の受信を含むことができる。動作は、ドメインに関連付けられた仮説ステートメントのセット（例えば、図１の仮説ステートメントのセット）の受信を含むことができる。動作は、更に、受信したテキストのセットの各テキスト及び受信した仮説ステートメントのセットの各仮説ステートメントに対する、事前トレーニングされた自然言語推論（NLI）モデル（例えば、図１の事前トレーニングされたNLIモデル１１４）の適用を含むことができる。動作は、更に、事前トレーニングされたNLIモデルの適用に基づいて、ドメインに関連付けられた第２テキストコーパス（例えば、図３の第２テキストコーパス３０８A）の生成を含むことができ、ここで、生成された第２テキストコーパスは、ドメインに関連付けられたラベルのセットに対応することができる。動作は、更に、ドメインに関連付けられた第３テキストコーパス（例えば、図３の第３テキストコーパス３１０A）を生成するために、生成された第２テキストコーパスに対するフューショット学習モデルの適用を含むことができ、ここで、生成された第３テキストコーパスは、適用された事前トレーニングされたNLIモデルを微調整するように構成することができ、微調整されたNLIモデルは、受信された仮説ステートメントのセットに基づいて、ドメインに関連付けられた入力テキストをラベル付けするように構成することができる。動作セットは、表示装置（例えば、図２の表示装置２０８A）上のラベル付き入力テキストの表示を制御することを更に含んでよい。
【0141】
本開示で使用されるとき、用語「モジュール」又は「コンポーネント」は、モジュール又はコンポーネントの動作を実行するよう構成される特定ハードウェア実装、及び／又は、コンピューティングシステムの汎用ハードウェア（例えば、コンピュータ可読媒体、処理装置、等）により格納され及び／又は実行され得るソフトウェアオブジェクト又はソフトウェアルーチンを表してよい。幾つかの実施形態では、本開示に記載されたものと異なるコンポーネント、モジュール、エンジン、及びサービスが、コンピューティングシステム上で実行するオブジェクト又はプロセス（例えば、別個のスレッド）として実装されてよい。本開示に記載されたシステム及び方法のうちの一部は、概して（汎用ハードウェアに格納される及び／又はそれにより実行される）ソフトウェアで実装されるとして記載されたが、専用ハードウェア実装又はソフトウェア及び専用ハードウェア実装の組み合わせも、可能であり想定される。この記載において、「コンピューティングエンティティ」は、本開示において前述した任意のコンピューティングシステム、又はコンピューティングシステム上で実行する任意のモジュール若しくはモジュールの組み合わせであってよい。
【0142】
本開示で及び特に添付の特許請求の範囲（例えば、添付の請求項本体）で使用される用語は、通常、「広義」の用語として意図される（例えば、用語「含む」は「含むが、これに限定されない」と解釈されるべきであり、用語「有する」は「有するが、これに限定されない」と解釈されるべきである、等）。
【0143】
さらに、特定数の導入された請求項の列挙が意図される場合、このような意図は、請求項中に明示的に示され、このような列挙のない場合、このような意図は存在しない。例えば、理解の支援として、以下の添付の請求項は、請求項の列挙を導入するために、導入フレーズ「少なくとも１つ」及び「１つ以上」の使用を含み得る。しかしながら、このようなフレーズの使用は、同じ請求項が導入フレーズ「１つ以上」又は「少なくとも１つ」及び不定冠詞「a」又は「an含むときでも（例えば、「a」及び／又は「an少なくとも１つ」又は「１つ以上」を意味すると解釈されるべきである）、不定冠詞「a」又は「an」による請求項の列挙の導入が、このような導入された請求項の列挙を含む任意の特定の請求項を、１つのこのような列挙のみを含む実施形態に限定することを意味すると考えられるべきではない。つまり、同じことが、請求項の列挙を導入するために使用される定冠詞の使用にも当てはまる。
【0144】
さらに、特定数の導入された請求項の列挙が明示的に記載される場合、当業者は、このような列挙が、少なくとも列挙された数を意味すると解釈されるべきであることを理解する（例えば、他の修飾のない「２つの列挙」の記載は、少なくとも２つの列挙、又は２以上の列挙を意味する）。さらに、「Ａ、Ｂ、及びＣ等のうちの少なくとも１つ」又は「Ａ、Ｂ、及びＣ等のうちの１つ以上」と同様の記載が使用される例では、通常、このような構成は、Ａ単独で、Ｂ単独で、Ｃ単独で、Ａ及びＢを一緒に、Ａ及びＣを一緒に、Ｂ及びＣを一緒に、又はＡ、Ｂ、及びＣを一緒に、等を含むことを意図する。
【0145】
さらに、２以上の選択的な用語を表す任意の離接的な語又はフレーズは、説明、請求項、又は図面にあるかにかかわらず、用語のうちの１つ、用語のうちのいずれか、又は両方の用語を含む可能性を想定すると理解されるべきである。例えば、フレーズ「Ａ又はＢ」は、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むと理解されるべきである。
【0146】
本開示に記載された全ての例及び条件付き言語は、読者が本開示及び本開示が技術を更に発展させることに貢献する概念を理解するのを支援する教示目的を意図しており、そのような具体的に列挙された例及び条件に限定されないと解釈されるべきである。本開示の実施形態は詳細に記載されたが、本開示の精神及び範囲から逸脱することなく、これらに種々の変更、代替、及び選択が行われ得る。
【0147】
以上の実施例に加えて、更に以下の付記を開示する。
（付記１）
プロセッサによって実行される方法であって、
ドメインに関連付けられた第１テキストコーパスから前記ドメインに関連付けられたテキストのセットを受信するステップと、
前記ドメインに関連付けられた仮説ステートメントのセットを受信するステップと、
前記受信したテキストのセットの各テキスト及び前記受信した仮説ステートメントのセットの各仮説ステートメントに事前トレーニングされた自然言語推論（NLI）モデルを適用するステップと、
前記事前トレーニングされたNLIモデルの適用に基づいて、前記ドメインに関連付けられた第２テキストコーパスを生成するステップであって、前記生成された第２テキストコーパスは、前記ドメインに関連付けられたラベルのセットに対応する、ステップと、
前記生成された第２テキストコーパスにフューショット学習モデルを適用して、前記ドメインに関連付けられた第３テキストコーパスを生成するステップであって、前記生成された第３テキストコーパスは、前記適用された事前トレーニングされたNLIモデルを微調整するように構成され、前記微調整されたNLIモデルは、前記受信した仮説ステートメントのセットに基づいて、前記ドメインに関連付けられた入力テキストをラベル付けするように構成される、ステップと、
表示装置上の前記ラベル付けされた入力テキストの表示を制御するステップと、
を含む方法。
（付記２）
前記ドメインに関連付けられた前記仮説ステートメントのセットが、肯定仮説ステートメント、中立仮説ステートメント又は否定仮説ステートメントの少なくとも１つを含む、付記１に記載の方法。
（付記３）
前記受信したテキストのセットに関連付けられた文のセットから、前提として第１文を選択するステップと、
前記文のセットの各文に関連付けられた最終NLIスコアを計算するための第１動作セットの実行を制御するステップであって、前記第１動作セットは、
前記仮説ステートメントのセットからの各仮説ステートメントについて、
前記選択された第１文及び対応する仮説ステートメントに前記事前トレーニングされたNLIモデルを適用し、
前記選択された第１文及び前記対応する仮説ステートメントに前記事前トレーニングされたNLIモデルを適用することに基づいて、前記選択された第１文に関連付けられた中間NLIスコアを決定し、
前記文のセットの中のすべての文が前記最終NLIスコアの計算のために処理されたかどうかを決定し、
前記文のセットの中の少なくとも１つの文が未処理であるという決定に基づいて、前記第１文として前記文のセットから第２文を選択することを含む、ステップと、
前記第１動作セットの実行の反復制御に基づいて、前記受信したテキストのセットに関連付けられた全体NLIスコアを得るために、前記文のセットの各文に関連付けられた前記最終NLIスコアを計算するステップと、
を含む付記１に記載の方法。
（付記４）
前記文のセットの各文に関連付けられた前記最終NLIスコアは、前記仮説ステートメントのセットからの各仮説ステートメントについて、前記第１文に関連付けられた前記中間NLIスコアの加重平均に対応する、付記３に記載の方法。
（付記５）
前記仮説ステートメントのセットの各仮説ステートメントにニューラルネットワークモデルを適用して、前記中間NLIスコアの前記加重平均に関連付けられた重みのセットを決定するステップ、を更に含み、
前記文のセットの各文に関連付けられた前記最終NLIスコアは、前記決定された重みのセット及び前記第１文に関連付けられた前記中間NLIスコアに基づいて決定される、付記４に記載の方法。
（付記６）
所定のNLIクラスのセットの各NLIクラスにわたって、前記中間NLIスコアに基づいて、前記文のセットの各文のNLI予測スコアを決定するステップと、
各文の前記決定されたNLI予測スコアに基づいて、前記所定のNLIクラスのセットの各NLIクラスの最大スコアを決定するステップと、
前記所定のNLIクラスのセットの各NLIクラスの前記決定された最大スコアに基づいて、予測クラスを決定するステップと、
前記決定された予測クラスに基づいて、前記テキストのセットに関連付けられた予測ラベルを決定するステップであって、前記得られた全体NLIスコアは、前記テキストのセットに関連付けられた前記決定された予測ラベルに対応する、ステップと、
を更に含む付記３に記載の方法。
（付記７）
前記文のセットの各文に関連付けられた前記最終NLIスコアにウインドウ関数を適用するステップと、
前記ウインドウ関数の適用に基づいて、前記文のセットからの第１文セットのウインドウの平均スコアを計算するステップと、
前記第１文セットのウインドウの計算された平均スコアに基づいて、前記受信したテキストのセットに関連付けられた前記全体NLIスコアを取得するステップと、
を更に含む付記３に記載の方法。
（付記８）
所定のNLIクラスのセットの各NLIクラスについて、前記中間NLIスコアに基づいて、前記文のセットの各文のNLI予測スコアを決定するステップと、
前記所定のNLIクラスのセットの各NLIクラスについて、前記文のセットの各文の前記決定されたNLI予測スコアを、第１の所定の閾値と比較するステップと、
前記決定されたNLI予測スコアと前記第１の所定の閾値との比較に基づいて、前記受信されたテキストのセットに関連付けられた前記全体NLIスコアを取得するステップと、
を更に含む付記３に記載の方法。
（付記９）
前記文のセットの各文に関連付けられた前記最終NLIスコアに基づいて、前記受信したテキストのセットの主要文のセットを決定するステップと、
前記表示装置上の前記決定された主要文のセットの表示を制御するステップと、
を更に含む付記３に記載の方法。
（付記１０）
前記文のセットの各文に関連付けられた前記最終NLIスコアに基づいて、前記文のセットから、肯定文のセット及び否定文のセットを含む第２文セットを識別するステップと、
前記識別された第２文セットの各文に関連付けられた前記最終NLIスコアを第２の所定の閾値と比較するステップと、
前記識別された第２文セットの各文に関連付けられた第１NLIスコアと前記第２の所定の閾値との比較に基づいて、前記識別された第２文セットの各文に関連付けられた予測のタイプを決定するステップと、
前記決定された予測のタイプに基づいて、前記第２文セットの各文に関連付けられた修正ラベルを決定するステップと、
を更に含む付記３に記載の方法。
（付記１１）
前記決定された予測のタイプが、ルールベースの予測、競合する予測、又は不確実な予測のいずれかである、付記１０に記載の方法。
（付記１２）
前記決定された修正ラベルがユーザ入力に更に基づき、前記決定された予測のタイプが前記不確実な予測である、付記１１に記載の方法。
（付記１３）
前記ドメインに関連付けられた前記第２テキストコーパスは、
前記生成された第２テキストコーパスに対応する前記ラベルのセットに基づいて、グランドトゥルース肯定及び否定主要文のセットを検索するステップと、
ラベル付けされた主要中立文のセットを検索するステップと、
前記受信した仮説ステートメントのセットと、前記検索されたグランドトゥルース肯定及び否定主要文のセットに基づいて、矛盾及び必然ペアのセットを構成するステップと、
前記検索されたラベル付けされた主要中立文のセットに基づいて、中立ペアのセットを構成するステップと、
前記構成された矛盾及び必然ペアのセットと、前記構成された中立ペアのセットとのバランスをとるステップであって、前記第３テキストコーパスの生成は、前記バランスのとれた矛盾及び必然ペアのセットと、前記バランスのとれた中立ペアのセットに更に基づく、ステップと、
に更に基づき生成される、付記１に記載の方法。
（付記１４）
前記ドメインが、ライセンステキスト、法的契約テキスト、又はアプリケーションに関連付けられたエンドユーザライセンス契約テキストに対応する、付記１に記載の方法。
（付記１５）
前記事前トレーニングされたNLIモデルが、ゼロショットNLIモデルのセットから選択されたNLIモデルに対応する、付記１に記載の方法。
（付記１６）
命令を格納するよう構成された１つ以上の非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されると、電子装置に動作を実行させ、前記動作は、
ドメインに関連付けられた第１テキストコーパスから前記ドメインに関連付けられたテキストのセットを受信するステップと、
前記ドメインに関連付けられた仮説ステートメントのセットを受信するステップと、
前記受信したテキストのセットの各テキスト及び前記受信した仮説ステートメントのセットの各仮説ステートメントに事前トレーニングされた自然言語推論（NLI）モデルを適用するステップと、
前記事前トレーニングされたNLIモデルの適用に基づいて、前記ドメインに関連付けられた第２テキストコーパスを生成するステップであって、前記生成された第２テキストコーパスは、前記ドメインに関連付けられたラベルのセットに対応する、ステップと、
前記生成された第２テキストコーパスにフューショット学習モデルを適用して、前記ドメインに関連付けられた第３テキストコーパスを生成するステップであって、前記生成された第３テキストコーパスは、前記適用された事前トレーニングされたNLIモデルを微調整するように構成され、前記微調整されたNLIモデルは、前記受信した仮説ステートメントのセットに基づいて、前記ドメインに関連付けられた入力テキストをラベル付けするように構成される、ステップと、
表示装置上の前記ラベル付けされた入力テキストの表示を制御するステップと、
を含む、１つ以上のコンピュータ可読記憶媒体。
（付記１７）
前記ドメインに関連付けられた前記仮説ステートメントのセットが、肯定仮説ステートメント、中立仮説ステートメント又は否定仮説ステートメントの少なくとも１つを含む、付記１６に記載の１つ以上のコンピュータ可読記憶媒体。
（付記１８）
前記動作は、
前記受信したテキストのセットからの文のセットから、前提として第１文を選択するステップと、
前記文のセットの各文に関連付けられた最終NLIスコアを計算するための第１動作セットの実行を制御するステップであって、前記第１動作セットは、
前記仮説ステートメントのセットからの各仮説ステートメントについて、
前記選択された第１文及び対応する仮説ステートメントに前記事前トレーニングされたNLIモデルを適用し、
前記選択された第１文及び前記対応する仮説ステートメントに前記事前トレーニングされたNLIモデルを適用することに基づいて、前記選択された第１文に関連付けられた中間NLIスコアを決定し、
前記文のセットの中のすべての文が前記最終NLIスコアの計算のために処理されたかどうかを決定し、
前記文のセットの中の全部の文が未処理であるという決定に基づいて、前記第１文として、前記文のセットから第２文を選択することを含む、ステップと、
前記第１動作セットの実行の反復制御に基づいて、前記受信したテキストのセットに関連付けられた全体NLIスコアを得るために、前記文のセットの各文に関連付けられた前記最終NLIスコアを計算するステップと、
を更に含む、付記１６に記載の１つ以上のコンピュータ可読記憶媒体。
（付記１９）
前記文のセットの各文に関連付けられた前記最終NLIスコアは、前記仮説ステートメントのセットからの各仮説ステートメントについて、前記第１文に関連付けられた前記中間NLIスコアの加重平均に対応する、付記１８に記載の１つ以上のコンピュータ可読記憶媒体。
（付記２０）
電子装置であって、
命令を格納しているメモリと、
前記メモリに結合され、前記格納された命令を実行して処理を実行するプロセッサと、
を含み、
前記処理は、
ドメインに関連付けられた第１テキストコーパスから前記ドメインに関連付けられたテキストのセットを受信するステップと、
前記ドメインに関連付けられた仮説ステートメントのセットを受信するステップと、
前記受信したテキストのセットの各テキスト及び前記受信した仮説ステートメントのセットの各仮説ステートメントに事前トレーニングされた自然言語推論（NLI）モデルを適用するステップと、
前記事前トレーニングされたNLIモデルの適用に基づいて、前記ドメインに関連付けられた第２テキストコーパスを生成するステップであって、前記生成された第２テキストコーパスは、前記ドメインに関連付けられたラベルのセットに対応する、ステップと、
前記生成された第２テキストコーパスにフューショット学習モデルを適用して、前記ドメインに関連付けられた第３テキストコーパスを生成するステップであって、前記生成された第３テキストコーパスは、前記適用された事前トレーニングされたNLIモデルを微調整するように構成され、前記微調整されたNLIモデルは、前記受信した仮説ステートメントのセットに基づいて、前記ドメインに関連付けられた入力テキストをラベル付けするように構成される、ステップと、
表示装置上の前記ラベル付けされた入力テキストの表示を制御するステップと、
を含む、電子装置。
（付記１）
プロセッサによって実行される方法であって、
ドメインに関連付けられた第１テキストコーパスから前記ドメインに関連付けられたテキストのセットを受信するステップと、
前記ドメインに関連付けられた仮説ステートメントのセットを受信するステップと、
前記受信したテキストのセットの各テキスト及び前記受信した仮説ステートメントのセットの各仮説ステートメントに事前トレーニングされた自然言語推論（NLI）モデルを適用するステップと、
前記事前トレーニングされたNLIモデルの適用に基づいて、前記ドメインに関連付けられた第２テキストコーパスを生成するステップであって、前記生成された第２テキストコーパスは、前記ドメインに関連付けられたラベルのセットに対応する、ステップと、
前記生成された第２テキストコーパスにフューショット学習モデルを適用して、前記ドメインに関連付けられた第３テキストコーパスを生成するステップであって、前記生成された第３テキストコーパスは、前記適用された事前トレーニングされたNLIモデルを微調整するように構成され、前記微調整されたNLIモデルは、前記受信した仮説ステートメントのセットに基づいて、前記ドメインに関連付けられた入力テキストをラベル付けするように構成される、ステップと、
表示装置上の前記ラベル付けされた入力テキストの表示を制御するステップと、
を含む方法。
（付記２）
前記ドメインに関連付けられた前記仮説ステートメントのセットが、肯定仮説ステートメント、中立仮説ステートメント又は否定仮説ステートメントの少なくとも１つを含む、付記１に記載の方法。
（付記３）
前記受信したテキストのセットに関連付けられた文のセットから、前提として第１文を選択するステップと、
前記文のセットの各文に関連付けられた最終NLIスコアを計算するための第１動作セットの実行を制御するステップであって、前記第１動作セットは、
前記仮説ステートメントのセットからの各仮説ステートメントについて、
前記選択された第１文及び対応する仮説ステートメントに前記事前トレーニングされたNLIモデルを適用し、
前記選択された第１文及び前記対応する仮説ステートメントに前記事前トレーニングされたNLIモデルを適用することに基づいて、前記選択された第１文に関連付けられた中間NLIスコアを決定し、
前記文のセットの中のすべての文が前記最終NLIスコアの計算のために処理されたかどうかを決定し、
前記文のセットの中の少なくとも１つの文が未処理であるという決定に基づいて、前記第１文として前記文のセットから第２文を選択することを含む、ステップと、
前記第１動作セットの実行の反復制御に基づいて、前記受信したテキストのセットに関連付けられた全体NLIスコアを得るために、前記文のセットの各文に関連付けられた前記最終NLIスコアを計算するステップと、
を含む付記１に記載の方法。
（付記４）
前記文のセットの各文に関連付けられた前記最終NLIスコアは、前記仮説ステートメントのセットからの各仮説ステートメントについて、前記第１文に関連付けられた前記中間NLIスコアの加重平均に対応する、付記３に記載の方法。
（付記５）
前記仮説ステートメントのセットの各仮説ステートメントにニューラルネットワークモデルを適用して、前記中間NLIスコアの前記加重平均に関連付けられた重みのセットを決定するステップ、を更に含み、
前記文のセットの各文に関連付けられた前記最終NLIスコアは、前記決定された重みのセット及び前記第１文に関連付けられた前記中間NLIスコアに基づいて決定される、付記４に記載の方法。
（付記６）
所定のNLIクラスのセットの各NLIクラスにわたって、前記中間NLIスコアに基づいて、前記文のセットの各文のNLI予測スコアを決定するステップと、
各文の前記決定されたNLI予測スコアに基づいて、前記所定のNLIクラスのセットの各NLIクラスの最大スコアを決定するステップと、
前記所定のNLIクラスのセットの各NLIクラスの前記決定された最大スコアに基づいて、予測クラスを決定するステップと、
前記決定された予測クラスに基づいて、前記テキストのセットに関連付けられた予測ラベルを決定するステップであって、前記得られた全体NLIスコアは、前記テキストのセットに関連付けられた前記決定された予測ラベルに対応する、ステップと、
を更に含む付記３に記載の方法。
（付記７）
前記文のセットの各文に関連付けられた前記最終NLIスコアにウインドウ関数を適用するステップと、
前記ウインドウ関数の適用に基づいて、前記文のセットからの第１文セットのウインドウの平均スコアを計算するステップと、
前記第１文セットのウインドウの計算された平均スコアに基づいて、前記受信したテキストのセットに関連付けられた前記全体NLIスコアを取得するステップと、
を更に含む付記３に記載の方法。
（付記８）
所定のNLIクラスのセットの各NLIクラスについて、前記中間NLIスコアに基づいて、前記文のセットの各文のNLI予測スコアを決定するステップと、
前記所定のNLIクラスのセットの各NLIクラスについて、前記文のセットの各文の前記決定されたNLI予測スコアを、第１の所定の閾値と比較するステップと、
前記決定されたNLI予測スコアと前記第１の所定の閾値との比較に基づいて、前記受信されたテキストのセットに関連付けられた前記全体NLIスコアを取得するステップと、
を更に含む付記３に記載の方法。
（付記９）
前記文のセットの各文に関連付けられた前記最終NLIスコアに基づいて、前記受信したテキストのセットの主要文のセットを決定するステップと、
前記表示装置上の前記決定された主要文のセットの表示を制御するステップと、
を更に含む付記３に記載の方法。
（付記１０）
前記文のセットの各文に関連付けられた前記最終NLIスコアに基づいて、前記文のセットから、肯定文のセット及び否定文のセットを含む第２文セットを識別するステップと、
前記識別された第２文セットの各文に関連付けられた前記最終NLIスコアを第２の所定の閾値と比較するステップと、
前記識別された第２文セットの各文に関連付けられた第１NLIスコアと前記第２の所定の閾値との比較に基づいて、前記識別された第２文セットの各文に関連付けられた予測のタイプを決定するステップと、
前記決定された予測のタイプに基づいて、前記第２文セットの各文に関連付けられた修正ラベルを決定するステップと、
を更に含む付記３に記載の方法。
（付記１１）
前記決定された予測のタイプが、ルールベースの予測、競合する予測、又は不確実な予測のいずれかである、付記１０に記載の方法。
（付記１２）
前記決定された修正ラベルがユーザ入力に更に基づき、前記決定された予測のタイプが前記不確実な予測である、付記１１に記載の方法。
（付記１３）
前記ドメインに関連付けられた前記第２テキストコーパスは、
前記生成された第２テキストコーパスに対応する前記ラベルのセットに基づいて、グランドトゥルース肯定及び否定主要文のセットを検索するステップと、
ラベル付けされた主要中立文のセットを検索するステップと、
前記受信した仮説ステートメントのセットと、前記検索されたグランドトゥルース肯定及び否定主要文のセットに基づいて、矛盾及び必然ペアのセットを構成するステップと、
前記検索されたラベル付けされた主要中立文のセットに基づいて、中立ペアのセットを構成するステップと、
前記構成された矛盾及び必然ペアのセットと、前記構成された中立ペアのセットとのバランスをとるステップであって、前記第３テキストコーパスの生成は、前記バランスのとれた矛盾及び必然ペアのセットと、前記バランスのとれた中立ペアのセットに更に基づく、ステップと、
に更に基づき生成される、付記１に記載の方法。
（付記１４）
前記ドメインが、ライセンステキスト、法的契約テキスト、又はアプリケーションに関連付けられたエンドユーザライセンス契約テキストに対応する、付記１に記載の方法。
（付記１５）
前記事前トレーニングされたNLIモデルが、ゼロショットNLIモデルのセットから選択されたNLIモデルに対応する、付記１に記載の方法。
（付記１６）
命令を格納するよう構成された１つ以上の非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されると、電子装置に動作を実行させ、前記動作は、
ドメインに関連付けられた第１テキストコーパスから前記ドメインに関連付けられたテキストのセットを受信するステップと、
前記ドメインに関連付けられた仮説ステートメントのセットを受信するステップと、
前記受信したテキストのセットの各テキスト及び前記受信した仮説ステートメントのセットの各仮説ステートメントに事前トレーニングされた自然言語推論（NLI）モデルを適用するステップと、
前記事前トレーニングされたNLIモデルの適用に基づいて、前記ドメインに関連付けられた第２テキストコーパスを生成するステップであって、前記生成された第２テキストコーパスは、前記ドメインに関連付けられたラベルのセットに対応する、ステップと、
前記生成された第２テキストコーパスにフューショット学習モデルを適用して、前記ドメインに関連付けられた第３テキストコーパスを生成するステップであって、前記生成された第３テキストコーパスは、前記適用された事前トレーニングされたNLIモデルを微調整するように構成され、前記微調整されたNLIモデルは、前記受信した仮説ステートメントのセットに基づいて、前記ドメインに関連付けられた入力テキストをラベル付けするように構成される、ステップと、
表示装置上の前記ラベル付けされた入力テキストの表示を制御するステップと、
を含む、１つ以上のコンピュータ可読記憶媒体。
（付記１７）
前記ドメインに関連付けられた前記仮説ステートメントのセットが、肯定仮説ステートメント、中立仮説ステートメント又は否定仮説ステートメントの少なくとも１つを含む、付記１６に記載の１つ以上のコンピュータ可読記憶媒体。
（付記１８）
前記動作は、
前記受信したテキストのセットからの文のセットから、前提として第１文を選択するステップと、
前記文のセットの各文に関連付けられた最終NLIスコアを計算するための第１動作セットの実行を制御するステップであって、前記第１動作セットは、
前記仮説ステートメントのセットからの各仮説ステートメントについて、
前記選択された第１文及び対応する仮説ステートメントに前記事前トレーニングされたNLIモデルを適用し、
前記選択された第１文及び前記対応する仮説ステートメントに前記事前トレーニングされたNLIモデルを適用することに基づいて、前記選択された第１文に関連付けられた中間NLIスコアを決定し、
前記文のセットの中のすべての文が前記最終NLIスコアの計算のために処理されたかどうかを決定し、
前記文のセットの中の全部の文が未処理であるという決定に基づいて、前記第１文として、前記文のセットから第２文を選択することを含む、ステップと、
前記第１動作セットの実行の反復制御に基づいて、前記受信したテキストのセットに関連付けられた全体NLIスコアを得るために、前記文のセットの各文に関連付けられた前記最終NLIスコアを計算するステップと、
を更に含む、付記１６に記載の１つ以上のコンピュータ可読記憶媒体。
（付記１９）
前記文のセットの各文に関連付けられた前記最終NLIスコアは、前記仮説ステートメントのセットからの各仮説ステートメントについて、前記第１文に関連付けられた前記中間NLIスコアの加重平均に対応する、付記１８に記載の１つ以上のコンピュータ可読記憶媒体。
（付記２０）
電子装置であって、
命令を格納しているメモリと、
前記メモリに結合され、前記格納された命令を実行して処理を実行するプロセッサと、
を含み、
前記処理は、
ドメインに関連付けられた第１テキストコーパスから前記ドメインに関連付けられたテキストのセットを受信するステップと、
前記ドメインに関連付けられた仮説ステートメントのセットを受信するステップと、
前記受信したテキストのセットの各テキスト及び前記受信した仮説ステートメントのセットの各仮説ステートメントに事前トレーニングされた自然言語推論（NLI）モデルを適用するステップと、
前記事前トレーニングされたNLIモデルの適用に基づいて、前記ドメインに関連付けられた第２テキストコーパスを生成するステップであって、前記生成された第２テキストコーパスは、前記ドメインに関連付けられたラベルのセットに対応する、ステップと、
前記生成された第２テキストコーパスにフューショット学習モデルを適用して、前記ドメインに関連付けられた第３テキストコーパスを生成するステップであって、前記生成された第３テキストコーパスは、前記適用された事前トレーニングされたNLIモデルを微調整するように構成され、前記微調整されたNLIモデルは、前記受信した仮説ステートメントのセットに基づいて、前記ドメインに関連付けられた入力テキストをラベル付けするように構成される、ステップと、
表示装置上の前記ラベル付けされた入力テキストの表示を制御するステップと、
を含む、電子装置。
【符号の説明】
【0148】
１０２ 電子装置
１０６ データベース
１０８ 通信ネットワーク
１１０ 第１テキストコーパス
１１２ 仮説ステートメントのセット
１１４ 事前トレーニングされた自然言語推論(NLI)モデル
１１６ フューショット学習モデル
１０６ データベース
１０８ 通信ネットワーク
１１０ 第１テキストコーパス
１１２ 仮説ステートメントのセット
１１４ 事前トレーニングされた自然言語推論(NLI)モデル
１１６ フューショット学習モデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】