知財求人 - 知財ポータルサイト「IP Force」
▶ ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングの特許一覧 ▶ カーネギー−メロン ユニバーシティの特許一覧
特開2024-177158大規模言語モデル上の弱学習器を利用するシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024177158
(43)【公開日】2024-12-19
(54)【発明の名称】大規模言語モデル上の弱学習器を利用するシステム及び方法
(51)【国際特許分類】
G06N 20/20 20190101AFI20241212BHJP
G06F 40/56 20200101ALI20241212BHJP
G06F 40/44 20200101ALI20241212BHJP
G06F 40/279 20200101ALI20241212BHJP
G06F 40/151 20200101ALI20241212BHJP
G06F 40/177 20200101ALI20241212BHJP
【ＦＩ】
G06N20/20
G06F40/56
G06F40/44
G06F40/279
G06F40/151
G06F40/177
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024093855
(22)【出願日】2024-06-10
(31)【優先権主張番号】18/208,083
(32)【優先日】2023-06-09
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ
【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ
(71)【出願人】
【識別番号】591236068
【氏名又は名称】カーネギー－メロン ユニバーシティ
【氏名又は名称原語表記】ＣＡＲＮＥＧＩＥ－ＭＥＬＬＯＮ ＵＮＩＶＥＲＳＩＴＹ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】ハリハラン マニカンダン
(72)【発明者】
【氏名】イーディン ジャン
(72)【発明者】
【氏名】ジェレミー ジーグ コルター
(72)【発明者】
【氏名】チェン キュウ
(72)【発明者】
【氏名】ワン－イー リン
(72)【発明者】
【氏名】フィリペ ジェイ． カブリタ コンデッサ
【テーマコード（参考）】
5B109
【Ｆターム（参考）】
5B109PB03
5B109TA11
(57)【要約】
【課題】自然言語処理のためのコンピュータ実装された方法に関する。
【解決手段】本方法は、表データをテキスト表現へと変換することと、表データのテキスト表現に関連付けられたメタデータを生成することと、大規模言語モデル（ＬＬＭ）とメタデータ及び表データのテキスト表現のゼロショットプロンプト化との利用に応答して、表データを示す１つ又は複数の自然言語データ記述を出力することと、ＬＬＭを利用して１つ又は複数のサマリを出力し、１つ又は複数の自然言語データ記述にプロンプトを追加することと、最小の検証率を有する単一のサマリに応答して、１つ又は複数のサマリのうちの単一のサマリを選択することと、表データに関連付けられたクエリを受信することと、クエリに関連付けられた１つ又は複数の予測を出力し、１回又は複数回の反復から生成された１つ又は複数の予測によって収束閾値が満たされることに応答して、クエリに関連付けられた最終予測を出力することと、を含む。
【選択図】図２
【解決手段】本方法は、表データをテキスト表現へと変換することと、表データのテキスト表現に関連付けられたメタデータを生成することと、大規模言語モデル（ＬＬＭ）とメタデータ及び表データのテキスト表現のゼロショットプロンプト化との利用に応答して、表データを示す１つ又は複数の自然言語データ記述を出力することと、ＬＬＭを利用して１つ又は複数のサマリを出力し、１つ又は複数の自然言語データ記述にプロンプトを追加することと、最小の検証率を有する単一のサマリに応答して、１つ又は複数のサマリのうちの単一のサマリを選択することと、表データに関連付けられたクエリを受信することと、クエリに関連付けられた１つ又は複数の予測を出力し、１回又は複数回の反復から生成された１つ又は複数の予測によって収束閾値が満たされることに応答して、クエリに関連付けられた最終予測を出力することと、を含む。
【選択図】図２
【特許請求の範囲】
【請求項1】
自然言語処理のためのコンピュータ実装された方法であって、
１つ又は複数のレコードに関連付けられた表データを受信することと、
前記表データを、当該表データを示すテキスト表現へと変換することと、
前記表データのテキスト表現に関連付けられた、前記表データの記述を示すメタデータを生成することと、
１回又は複数回の反復に対して、大規模言語モデル（ＬＬＭ）と前記メタデータ及び前記表データのテキスト表現のゼロショットプロンプト化との利用に応答して、前記表データを示す１つ又は複数の自然言語データ記述を出力することであって、前記ＬＬＭは、複数のパラメータを有するニューラルネットワークを含む、ことと、
１回又は複数回の反復に対して、前記ＬＬＭを利用して１つ又は複数のサマリを出力することであって、前記１つ又は複数のサマリは、前記１つ又は複数の自然言語データ記述よりも少ないテキストを含む、ことと、
１回又は複数回の反復に対して、最小の検証率を有する単一のサマリに応答して、前記１つ又は複数のサマリのうちの単一のサマリを選択することと、
前記表データに関連付けられたクエリを受信することと、
１回又は複数回の反復に対して、前記単一のサマリ及び前記クエリについての前記ＬＬＭを利用して、前記クエリに関連付けられた１つ又は複数の予測を出力することと、
前記１回又は複数回の反復から生成された前記１つ又は複数の予測によって収束閾値が満たされることに応答して、前記クエリに関連付けられた最終予測を出力することであって、前記最終予測は、前記１回又は複数回の反復から生成された前記１つ又は複数の予測の全ての重み付け多数決に応答して選択される、ことと、
を含む方法。
１つ又は複数のレコードに関連付けられた表データを受信することと、
前記表データを、当該表データを示すテキスト表現へと変換することと、
前記表データのテキスト表現に関連付けられた、前記表データの記述を示すメタデータを生成することと、
１回又は複数回の反復に対して、大規模言語モデル（ＬＬＭ）と前記メタデータ及び前記表データのテキスト表現のゼロショットプロンプト化との利用に応答して、前記表データを示す１つ又は複数の自然言語データ記述を出力することであって、前記ＬＬＭは、複数のパラメータを有するニューラルネットワークを含む、ことと、
１回又は複数回の反復に対して、前記ＬＬＭを利用して１つ又は複数のサマリを出力することであって、前記１つ又は複数のサマリは、前記１つ又は複数の自然言語データ記述よりも少ないテキストを含む、ことと、
１回又は複数回の反復に対して、最小の検証率を有する単一のサマリに応答して、前記１つ又は複数のサマリのうちの単一のサマリを選択することと、
前記表データに関連付けられたクエリを受信することと、
１回又は複数回の反復に対して、前記単一のサマリ及び前記クエリについての前記ＬＬＭを利用して、前記クエリに関連付けられた１つ又は複数の予測を出力することと、
前記１回又は複数回の反復から生成された前記１つ又は複数の予測によって収束閾値が満たされることに応答して、前記クエリに関連付けられた最終予測を出力することであって、前記最終予測は、前記１回又は複数回の反復から生成された前記１つ又は複数の予測の全ての重み付け多数決に応答して選択される、ことと、
を含む方法。
【請求項2】
前記ＬＬＭは、前記最終予測を出力するために、新たな言語モデルのファインチューニング又は構築を利用しない、請求項１に記載の方法。
【請求項3】
前記複数のパラメータは、１０億超である、請求項１に記載の方法。
【請求項4】
前記ＬＬＭは、ＧＰＴ－４である、請求項１に記載の方法。
【請求項5】
前記テキスト表現は、構文解析されたＪＳＯＮファイルである、請求項１に記載の方法。
【請求項6】
前記表データに関連付けられた任意の数値特徴は、パーセンタイルへと符号化される、請求項１に記載の方法。
【請求項7】
前記ＬＬＭを利用して１つ又は複数のサマリを出力することは、前記１つ又は複数の自然言語データ記述にプロンプトを追加することを含む、請求項１に記載の方法。
【請求項8】
前記１つ又は複数の予測は、弱学習器である、請求項１に記載の方法。
【請求項9】
前記方法は、前記単一のサマリを選択するために、重み付け層状サンプリングを利用することを含む、請求項１に記載の方法。
【請求項10】
システムであって、
当該システムに関連付けられたデータを受信するように構成された、前記システムへの入力インタフェースと、
前記入力インタフェースと通信する１つ又は複数のプロセッサと、
を備えるシステムにおいて、
前記１つ又は複数のプロセッサは、
１つ又は複数のレコードに関連付けられた表データを受信し、
前記表データを、当該表データを示すテキスト表現へと変換し、
前記表データのテキスト表現に関連付けられた、前記表データの記述を示すメタデータを生成し、
大規模言語モデル（ＬＬＭ）と前記メタデータ及び前記表データのテキスト表現のゼロショットプロンプト化との利用に応答して、前記表データを示す１つ又は複数の自然言語データ記述を出力し、ここで、前記ＬＬＭは、複数のパラメータを有するニューラルネットワークを含み、
前記ＬＬＭ及び前記１つ又は複数の自然言語データ記述を利用して１つ又は複数のサマリを出力し、ここで、前記１つ又は複数のサマリは、前記１つ又は複数の自然言語データ記述よりも少ないテキストを含み、
１回又は複数回の反復に対して、最小の検証率を有する単一のサマリに応答して、前記１つ又は複数のサマリのうちの単一のサマリを選択し、
前記表データに関連付けられたクエリを受信し、
１回又は複数回の反復に対して、前記単一のサマリ及び前記クエリについての前記ＬＬＭを利用して、前記クエリに関連付けられた１つ又は複数の予測を出力し、
１つ又は複数の予測を出力する前記１回又は複数回の反復から生成された前記１つ又は複数の予測によって収束閾値が満たされることに応答して、前記クエリに関連付けられた最終予測を出力する、
ようにプログラミングされている、システム。
当該システムに関連付けられたデータを受信するように構成された、前記システムへの入力インタフェースと、
前記入力インタフェースと通信する１つ又は複数のプロセッサと、
を備えるシステムにおいて、
前記１つ又は複数のプロセッサは、
１つ又は複数のレコードに関連付けられた表データを受信し、
前記表データを、当該表データを示すテキスト表現へと変換し、
前記表データのテキスト表現に関連付けられた、前記表データの記述を示すメタデータを生成し、
大規模言語モデル（ＬＬＭ）と前記メタデータ及び前記表データのテキスト表現のゼロショットプロンプト化との利用に応答して、前記表データを示す１つ又は複数の自然言語データ記述を出力し、ここで、前記ＬＬＭは、複数のパラメータを有するニューラルネットワークを含み、
前記ＬＬＭ及び前記１つ又は複数の自然言語データ記述を利用して１つ又は複数のサマリを出力し、ここで、前記１つ又は複数のサマリは、前記１つ又は複数の自然言語データ記述よりも少ないテキストを含み、
１回又は複数回の反復に対して、最小の検証率を有する単一のサマリに応答して、前記１つ又は複数のサマリのうちの単一のサマリを選択し、
前記表データに関連付けられたクエリを受信し、
１回又は複数回の反復に対して、前記単一のサマリ及び前記クエリについての前記ＬＬＭを利用して、前記クエリに関連付けられた１つ又は複数の予測を出力し、
１つ又は複数の予測を出力する前記１回又は複数回の反復から生成された前記１つ又は複数の予測によって収束閾値が満たされることに応答して、前記クエリに関連付けられた最終予測を出力する、
ようにプログラミングされている、システム。
【請求項11】
前記プロセッサは、さらに、前記１回又は複数回の反復から生成された前記１つ又は複数の予測の全てについての重み付け多数決に応答して前記最終予測を出力するようにプログラミングされている、請求項１０に記載のシステム。
【請求項12】
前記表データに関連付けられた数値特徴は、パーセンタイルへと符号化される、請求項１０に記載のシステム。
【請求項13】
前記１つ又は複数のプロセッサは、前記ＬＬＭを利用して１つ又は複数のサマリを出力し、前記１つ又は複数の自然言語データ記述にプロンプトを追加するようにプログラミングされている、請求項１０に記載のシステム。
【請求項14】
前記１つ又は複数のプロセッサは、各ステップを実行するように集合的にプログラミングされている、請求項１０に記載のシステム。
【請求項15】
前記１つ又は複数のプロセッサは、各ステップを実行するようにプログラミングされた単一のプロセッサを含む、請求項１０に記載のシステム。
【請求項16】
前記１つ又は複数のプロセッサは、重み付け層状サンプリングを利用して、前記１つ又は複数のサマリの代表的な部分集合を選択するようにプログラミングされている、請求項１０に記載のシステム。
【請求項17】
前記１つ又は複数のプロセッサは、重み付け層状サンプリングを利用して、前記１つ又は複数のサマリの代表的な部分集合を選択するようにプログラミングされている、請求項１０に記載のシステム。
【請求項18】
前記１つ又は複数のプロセッサは、固定回数の反復から前記１つ又は複数のサマリの代表的な部分集合を選択するようにプログラミングされている、請求項１０に記載のシステム。
【請求項19】
前記プロセッサは、１回又は複数回の反復に対して、前記１つ又は複数の自然言語データ記述を出力し、前記１つ又は複数のサマリを出力するようにプログラミングされている、請求項１０に記載のシステム。
【請求項20】
自然言語処理のためのコンピュータ実装された方法であって、
１つ又は複数のレコードに関連付けられた表データを受信することと、
前記表データを、当該表データを示すテキスト表現へと変換することと、
前記表データのテキスト表現に関連付けられた、前記表データの記述を示すメタデータを生成することと、
大規模言語モデル（ＬＬＭ）と前記メタデータ及び前記表データのテキスト表現のゼロショットプロンプト化との利用に応答して、前記表データを示す１つ又は複数の自然言語データ記述を出力することと、
前記ＬＬＭを利用して１つ又は複数のサマリを出力し、前記１つ又は複数の自然言語データ記述にプロンプトを追加することであって、前記１つ又は複数のサマリは、前記１つ又は複数の自然言語データ記述よりも少ないテキストを含む、ことと、
１回又は複数回の反復に対して、最小の検証率を有する単一のサマリに応答して、前記１つ又は複数のサマリのうちの単一のサマリを選択することと、
単一のサマリの部分集合を作成することと、
前記表データに関連付けられたクエリを受信することと、
１回又は複数回の反復に対して、前記単一のサマリの部分集合のうちの単一のサマリの１つと前記クエリとについての前記ＬＬＭを利用して、前記クエリに関連付けられた１つ又は複数の予測を出力することと、
１つ又は複数の予測の部分集合を作成することと、
前記１つ又は複数の予測の部分集合によって収束閾値が満たされることに応答して、前記クエリに関連付けられた最終予測を出力することであって、前記最終予測は、前記１つ又は複数の予測の部分集合の重み付け多数決に応答して選択される、ことと、
を含む方法。
１つ又は複数のレコードに関連付けられた表データを受信することと、
前記表データを、当該表データを示すテキスト表現へと変換することと、
前記表データのテキスト表現に関連付けられた、前記表データの記述を示すメタデータを生成することと、
大規模言語モデル（ＬＬＭ）と前記メタデータ及び前記表データのテキスト表現のゼロショットプロンプト化との利用に応答して、前記表データを示す１つ又は複数の自然言語データ記述を出力することと、
前記ＬＬＭを利用して１つ又は複数のサマリを出力し、前記１つ又は複数の自然言語データ記述にプロンプトを追加することであって、前記１つ又は複数のサマリは、前記１つ又は複数の自然言語データ記述よりも少ないテキストを含む、ことと、
１回又は複数回の反復に対して、最小の検証率を有する単一のサマリに応答して、前記１つ又は複数のサマリのうちの単一のサマリを選択することと、
単一のサマリの部分集合を作成することと、
前記表データに関連付けられたクエリを受信することと、
１回又は複数回の反復に対して、前記単一のサマリの部分集合のうちの単一のサマリの１つと前記クエリとについての前記ＬＬＭを利用して、前記クエリに関連付けられた１つ又は複数の予測を出力することと、
１つ又は複数の予測の部分集合を作成することと、
前記１つ又は複数の予測の部分集合によって収束閾値が満たされることに応答して、前記クエリに関連付けられた最終予測を出力することであって、前記最終予測は、前記１つ又は複数の予測の部分集合の重み付け多数決に応答して選択される、ことと、
を含む方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、テキストクエリ又は人間の音声入力に応答するためのシステムの生成に関する。
【背景技術】
【0002】
背景
弱学習器とは、トレーニングデータ全体にわたって任意に指定された分布につき、いくつかの所定のマージンによって、ランダムなチャンスよりも良好なパフォーマンスを達成することができる分類器をいうものであり得る。機械学習の初期の飛躍的進歩の１つから、アンサンブル手順を介して、恣意的な強い分類を行うには弱学習で十分であることが確立されている。これは、特に視覚タスク又は言語タスクの入力空間の規則性を欠いた表データセットについてもきわめて良好に実行を続行するアプローチのクラスであるブースティングアルゴリズムの開発につながった。
弱学習器とは、トレーニングデータ全体にわたって任意に指定された分布につき、いくつかの所定のマージンによって、ランダムなチャンスよりも良好なパフォーマンスを達成することができる分類器をいうものであり得る。機械学習の初期の飛躍的進歩の１つから、アンサンブル手順を介して、恣意的な強い分類を行うには弱学習で十分であることが確立されている。これは、特に視覚タスク又は言語タスクの入力空間の規則性を欠いた表データセットについてもきわめて良好に実行を続行するアプローチのクラスであるブースティングアルゴリズムの開発につながった。
【0003】
表面上は研究の分離した筋道において、近年の変換器アーキテクチャに基づく大規模言語モデル（ＬＬＭ）は、多くの自然言語ドメインにおいて支配的となってきている。当該モデルは、多くの場合に新たな下流のタスクのデータに基づいてファインチューニング（微調整）されるが、近年においては、モデルをコンテキストストリングの一部でプロンプト化することのみによって、ゼロショット学習又はフューショット学習として強いパフォーマンスが示されることも判明している。
【発明の概要】
【課題を解決するための手段】
【0004】
概要
第１の実施形態によれば、自然言語処理のためのコンピュータ実装された方法は、１つ又は複数のレコードに関連付けられた表データを受信することと、表データを、当該表データを示すテキスト表現へと変換することと、表データのテキスト表現に関連付けられた、表データの記述を示すメタデータを生成することとを含む。本方法は、１回又は複数回の反復に対して、大規模言語モデル（ＬＬＭ）とメタデータ及び表データのテキスト表現のゼロショットプロンプト化との利用に応答して、表データを示す１つ又は複数の自然言語データ記述を出力することであって、ＬＬＭは、複数のパラメータを有するニューラルネットワークを含む、ことを含む。本方法は、さらに、１回又は複数回の反復に対して、ＬＬＭを利用して１つ又は複数のサマリを出力し、１つ又は複数の自然言語データ記述にプロンプトを追加することであって、１つ又は複数のサマリは、１つ又は複数の自然言語データ記述よりも少ないテキストを含む、ことと、１回又は複数回の反復に対して、最小の検証率を有する単一のサマリに応答して、１つ又は複数のサマリのうちの単一のサマリを選択することと、表データに関連付けられたクエリを受信することと、１回又は複数回の反復に対して、単一のサマリ及びクエリについてのＬＬＭを利用して、クエリに関連付けられた１つ又は複数の予測を出力することと、１回又は複数回の反復から生成された１つ又は複数の予測によって収束閾値が満たされることに応答して、クエリに関連付けられた最終予測を出力することであって、最終予測は、１回又は複数回の反復から生成された１つ又は複数の予測の全ての重み付け多数決に応答して選択される、ことと、を含む。
第１の実施形態によれば、自然言語処理のためのコンピュータ実装された方法は、１つ又は複数のレコードに関連付けられた表データを受信することと、表データを、当該表データを示すテキスト表現へと変換することと、表データのテキスト表現に関連付けられた、表データの記述を示すメタデータを生成することとを含む。本方法は、１回又は複数回の反復に対して、大規模言語モデル（ＬＬＭ）とメタデータ及び表データのテキスト表現のゼロショットプロンプト化との利用に応答して、表データを示す１つ又は複数の自然言語データ記述を出力することであって、ＬＬＭは、複数のパラメータを有するニューラルネットワークを含む、ことを含む。本方法は、さらに、１回又は複数回の反復に対して、ＬＬＭを利用して１つ又は複数のサマリを出力し、１つ又は複数の自然言語データ記述にプロンプトを追加することであって、１つ又は複数のサマリは、１つ又は複数の自然言語データ記述よりも少ないテキストを含む、ことと、１回又は複数回の反復に対して、最小の検証率を有する単一のサマリに応答して、１つ又は複数のサマリのうちの単一のサマリを選択することと、表データに関連付けられたクエリを受信することと、１回又は複数回の反復に対して、単一のサマリ及びクエリについてのＬＬＭを利用して、クエリに関連付けられた１つ又は複数の予測を出力することと、１回又は複数回の反復から生成された１つ又は複数の予測によって収束閾値が満たされることに応答して、クエリに関連付けられた最終予測を出力することであって、最終予測は、１回又は複数回の反復から生成された１つ又は複数の予測の全ての重み付け多数決に応答して選択される、ことと、を含む。
【0005】
第２の実施形態は、システムであって、当該システムに関連付けられたデータを受信するように構成された、システムへの入力インタフェースと、入力インタフェースと通信する１つ又は複数のプロセッサと、を備えるシステムにおいて、当該１つ又は複数のプロセッサは、１つ又は複数のレコードに関連付けられた表データを受信し、表データを、当該表データを示すテキスト表現へと変換し、表データのテキスト表現に関連付けられた、表データの記述を示すメタデータを生成するようにプログラミングされている、システムを開示する。プロセッサはさらに、大規模言語モデル（ＬＬＭ）とメタデータ及び表データのテキスト表現のゼロショットプロンプト化との利用に応答して、表データを示す１つ又は複数の自然言語データ記述を出力し、ここで、ＬＬＭは、複数のパラメータを有するニューラルネットワークを含み、ＬＬＭ及び１つ又は複数の自然言語データ記述を利用して１つ又は複数のサマリを出力し、ここで、１つ又は複数のサマリは、１つ又は複数の自然言語データ記述よりも少ないテキストを含み、１回又は複数回の反復に対して、最小の検証率を有する単一のサマリに応答して、１つ又は複数のサマリのうちの単一のサマリを選択し、表データに関連付けられたクエリを受信し、１回又は複数回の反復に対して、単一のサマリ及びクエリについてのＬＬＭを利用して、クエリに関連付けられた１つ又は複数の予測を出力し、１つ又は複数の予測を出力する１回又は複数回の反復から生成された１つ又は複数の予測によって収束閾値が満たされることに応答して、クエリに関連付けられた最終予測を出力する、ようにプログラミングされている。
【0006】
第３の実施形態は、自然言語処理のためのコンピュータ実装された方法であって、１つ又は複数のレコードに関連付けられた表データを受信することと、表データを、当該表データを示すテキスト表現へと変換することと、表データのテキスト表現に関連付けられた、表データの記述を示すメタデータを生成することと、大規模言語モデル（ＬＬＭ）とメタデータ及び表データのテキスト表現のゼロショットプロンプト化との利用に応答して、表データを示す１つ又は複数の自然言語データ記述を出力することと、ＬＬＭを利用して１つ又は複数のサマリを出力し、１つ又は複数の自然言語データ記述にプロンプトを追加することであって、１つ又は複数のサマリは１つ又は複数の自然言語データ記述よりも少ないテキストを含む、ことと、１回又は複数回の反復に対して、最小の検証率を有する単一のサマリに応答して、１つ又は複数のサマリのうちの単一のサマリを選択することと、単一のサマリの部分集合を作成することと、表データに関連付けられたクエリを受信することと、１回又は複数回の反復に対して、単一のサマリの部分集合のうちの単一のサマリの１つとクエリとについてのＬＬＭを利用して、クエリに関連付けられた１つ又は複数の予測を出力することと、１つ又は複数の予測の部分集合を作成することと、１つ又は複数の予測の部分集合によって収束閾値が満たされることに応答して、クエリに関連付けられた最終予測を出力することであって、最終予測は、１つ又は複数の予測の部分集合の重み付け多数決に応答して選択される、ことと、を含む、方法を開示する。
【図面の簡単な説明】
【0007】
【図1】本開示の例示的な実施形態による、クエリタスク用フレームワークを有するシステムの一例を示す図である。
【図2】本開示の例示的な実施形態による、機械学習システムに関するクエリタスク用フレームワークの一例のコンセプトを示す図である。
【図6】データポイントのためのシステム変換の一実施形態を示す図である。
【図7】新たなデータについての予測を行うためにサマリを生成して使用するプロセスの一実施形態を示す図である。
【発明を実施するための形態】
【0008】
詳細な説明
実践的かつ理論的な機械学習における中心的な概念は、わずかなマージンでも（データ全体にわたる任意の所与の分布に基づいて）ランダムよりも良好なパフォーマンスを達成する分類器である弱学習器の概念である。このような弱学習器は、ブースティングなどの標準的な機械学習方法の実際の基礎を形成する。以下に開示する実施形態においては、システム及び方法は、プロンプトに基づく大規模言語モデルが上記の弱学習器のように効果的に動作できることを示している。具体的には、システム及び方法は、表データに適用されるブースティングアルゴリズムにおける弱学習器としての大規模言語モデル（ＬＬＭ）の使用を示すことができる。システムは、表データサンプルの（関心分布に従って適当にサンプリングされた）テキスト記述を形成することにより、ＬＬＭが分類のテンプレートとして機能しかつ当該タスクにつき弱学習器として行動する目標を達成するサンプルのサマリを形成できることを示すことができる。システム及び方法は、これらのモデルをブースティングアプローチに組み込むことができ、これにより、いくつかの設定においては、ＬＬＭ内のナレッジを活用して、従来のツリーに基づくブースティングよりも優れたものが得られる。当該モデルは、特に少数のデータポイントを含むタスクの場合、フューショット学習及び場合により多数の複雑なファインチューニング手順の双方よりも優れている。この結果は、プロンプトに基づくＬＬＭが、フューショット学習器自身だけでなく、より大きい機械学習パイプラインの構成要素として機能する可能性を示している。
実践的かつ理論的な機械学習における中心的な概念は、わずかなマージンでも（データ全体にわたる任意の所与の分布に基づいて）ランダムよりも良好なパフォーマンスを達成する分類器である弱学習器の概念である。このような弱学習器は、ブースティングなどの標準的な機械学習方法の実際の基礎を形成する。以下に開示する実施形態においては、システム及び方法は、プロンプトに基づく大規模言語モデルが上記の弱学習器のように効果的に動作できることを示している。具体的には、システム及び方法は、表データに適用されるブースティングアルゴリズムにおける弱学習器としての大規模言語モデル（ＬＬＭ）の使用を示すことができる。システムは、表データサンプルの（関心分布に従って適当にサンプリングされた）テキスト記述を形成することにより、ＬＬＭが分類のテンプレートとして機能しかつ当該タスクにつき弱学習器として行動する目標を達成するサンプルのサマリを形成できることを示すことができる。システム及び方法は、これらのモデルをブースティングアプローチに組み込むことができ、これにより、いくつかの設定においては、ＬＬＭ内のナレッジを活用して、従来のツリーに基づくブースティングよりも優れたものが得られる。当該モデルは、特に少数のデータポイントを含むタスクの場合、フューショット学習及び場合により多数の複雑なファインチューニング手順の双方よりも優れている。この結果は、プロンプトに基づくＬＬＭが、フューショット学習器自身だけでなく、より大きい機械学習パイプラインの構成要素として機能する可能性を示している。
【0009】
以下の開示は、特に表データについてのブースティングフレームワークにおける弱学習器として機能するＬＬＭの一例であり、表データをテキスト形式へ適当に変換し、データから慎重に選択された例の集合を要約するようにＬＬＭに要求することによって、システムが表データ分類器用のテンプレート（例えばプロンプト）として機能し得る例のサマリを生成でき、これにより典型的には弱学習目標が達成されることを示している。このことから、ＬＬＭで生成された弱学習器のこうした集合体をブースティングフレームワークに相応に組み込むことが可能となる。
【0010】
システムは、得られるアプローチが、多くの設定において良好に機能し、ゼロショット分類及びフューショット分類並びにＬＬＭによって生成された「シングルショット」サマリよりも優れていることを示すことができる。これらのことの全ては、ＬＬＭ自体の再トレーニング又はファインチューニング（微調整）を全く行わなくてよいシステムによって達成され、プロンプト化のみによって達成される。さらに、所定のドメイン（特にＬＬＭに組み込まれた従来のナレッジを活用することが特に重要であるようなきわめて少数の例を有するドメイン）においては、システムは、当該アプローチが従来のツリーに基づくブースティング及びＬＬＭに基づくファインチューニング方法よりも優れている可能性があり、ＬＬＭの能力が改善されるにつれてそのパフォーマンスも改善される可能性があることを示すことができる。全体として、本システムにより、より大きい機械学習システムのサブルーチンとしてＬＬＭが組み込まれる可能性が際立ち得る。
【0011】
以下のシステム及び方法は、ＬＬＭを利用して弱学習器を生成することができ、ひいてはブースティングフレームワーク内でこれらの弱学習器を使用することができる。これは、中心となる学習プロセスがデータセットからの（特に選択された）サンプルのサマリを作成するための言語モデルを使用するものであり得るプロセスを実施形態に含み得るため、ＬＬＭサマリブースティングと称され得る。ここでのサマリは、システムが新たな例についての予測を行い得るプロンプトとして機能可能である。最終的に、システムは、ブースティングを使用して、新たなデータポイントについての全体予測を提供する当該サマリのアンサンブルを構築することができる。
【0012】
図１は、例示的な実施形態による、クエリタスク用のニューロシンボルフレームワーク２００を有するシステム１００の一例を示す図である。システム１００は、ニューロシンボルフレームワーク２００を介して機械学習システム２１０を事前トレーニングする（又はトレーニングする）ように構成されている。さらに、システム１００は、フレームワーク２００を介して機械学習システム２１０上で実行されるように構成されたシステムの一例である。事前トレーニングを受けた後（又は事前トレーニング及びゼロショットテストの双方を受けた後）、システム１００は、使用のために機械学習システム２１０を利用するように構成可能である。代替的に、システム１００は、事前トレーニングされた（又は事前トレーニングされ、さらにゼロショットテストされた）機械学習システム２１０が、使用のために、他のシステム（例えば、図３のシステム３００）において使用可能及び／又は配備可能となるように構成されるものとしてもよい。
【0013】
システム１００は、少なくとも１つの処理システム１４０を含む。処理システム１４０は、少なくとも、電子プロセッサ、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、任意の適当な処理技術、又は、これらのうちの任意の複数及びこれらの任意の組合せを含む。処理システム１４０は、本明細書において説明しているように、フレームワーク２００及び機械学習システム２１０の機能を提供するように動作可能である。
【0014】
システム１００は、処理システム１４０に動作可能に接続されている少なくとも１つのメモリシステム１２０を含む。例示的な実施形態においては、メモリシステム１２０は、少なくとも１つの非一時的なコンピュータ可読媒体を含み、この非一時的なコンピュータ可読媒体は、本明細書において開示しているように、少なくとも処理システム１４０がフレームワーク２００及び対応する機械学習システム２１０に関する動作及び機能を実行できるようにするための様々なデータを記憶し、このデータへのアクセスを提供するように構成されている。例示的な実施形態においては、メモリシステム１２０は、単一のコンピュータ可読ストレージデバイス又は複数のコンピュータ可読ストレージデバイスを含む。メモリシステム１２０は、電気ストレージ技術、電子ストレージ技術、磁気ストレージ技術、光学ストレージ技術、半導体ストレージ技術、電磁ストレージ技術、又は、システム１００と共に動作可能な任意の適当なストレージ技術を含み得る。例えば、例示的な実施形態においては、メモリシステム１２０は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ディスクドライブ、メモリカード、光学ストレージデバイス、磁気ストレージデバイス、メモリモジュール、任意の適当な種類のメモリデバイス、又は、これらのうちの任意の複数及びこれらの任意の組合せを含み得る。処理システム１４０及び／又はシステム１００の他の構成要素に対して、メモリシステム１２０は、ローカル若しくはリモートであり又はこれらの組合せである（例えば、一部がローカルであり、一部がリモートである）。例えば、メモリシステム１２０は、処理システム１４０及び／又はシステム１００の他のコンポーネントからはリモートの位置にある、少なくともクラウドに基づくストレージシステム（例えばクラウドに基づくデータベースシステム）を含み得る。
【0015】
メモリシステム１２０は、少なくとも、フレームワーク２００、機械学習システム２１０、機械学習データ２２０、及び、これらに記憶されてこれらからアクセス可能な他の関連データ２３０を含む。フレームワーク２００は、処理システム１４０によって実行される際に、機械学習システム２１０のための適当な数のクエリタスクを有する少なくとも１つのトレーニングセットを生成するように構成されたコンピュータ可読データを含む。さらに、フレームワーク２００は、処理システム１４０によって実行される際に、様々なコモンセンスタスクに関して事前トレーニングされた（又はトレーニングされた）機械学習システム２１０を評価するゼロショットテストプロセス（又はゼロショット評価プロセス）を実現するように構成されたコンピュータ可読データを含む。コンピュータ可読データは、命令、コード、ルーチン、様々な関連データ、任意のソフトウェア技術、又は、これらのうちの任意の複数及びこれらの任意の組合せを含み得る。
【0016】
例示的な実施形態においては、機械学習システム２１０は少なくとも１つの機械学習モデルを含む。より具体的には、機械学習システム２１０は少なくとも１つの言語モデルを含む。例えば、機械学習システム２１０は、大規模言語モデル（ＬＬＭ）又は任意の数の言語モデル及びその組合せを含む。
【0017】
例示的な実施形態においては、機械学習データ２２０は、フレームワーク２００が機械学習システム２１０をトレーニングし、テストし、開発するために使用する様々なデータを含む。例えば、機械学習データ２２０は、大域的ナレッジグラフ２２０Ａを含む。大域的ナレッジグラフ２２０Ａは、様々なナレッジグラフ２２０Ｂを組み合わせることによって生成されている。機械学習データ２２０は、１つ又は複数のナレッジグラフ２２０Ｂに関連付けられた１つ又は複数のナレッジベースを含むことも可能である。機械学習データ２２０は、多様なタスクセットを包含するコモンセンスタスクデータセット２２０Ｃの集合も含む。さらに、機械学習データ２２０は、様々なアノテーション、様々な損失データ、様々なパラメータデータ、並びに、ニューロシンボルフレームワーク２００及び機械学習システム２１０が所定のパフォーマンス基準を満たしながら本明細書において説明している機能を実行することができるようにするための任意の関連データを含み得る。これに対して、他の関連データ２３０は、システム１００が本明細書において説明している機能を実行できるようにするための様々なデータ（例えばオペレーティングシステムなど）を提供する。
【0018】
例示的な実施形態において、図１に示されているように、システム１００は、少なくとも１つのヒューマンマシンインタフェース（ＨＭＩ）システム１１０を含むように構成されている。ＨＭＩシステム１１０は、少なくとも１つのユーザインタフェース、少なくとも１つのＨＭＩデバイス、又は、これらの任意の数の組合せを含む。例えば、ＨＭＩシステム１１０は、視覚ユーザインタフェース、聴覚ユーザインタフェース、触覚ユーザインタフェース、任意の適当なユーザインタフェース、又は、これらのうちの任意の複数及びこれらの任意の組合せを含み得る。ＨＭＩシステム１１０は、Ｉ／Ｏシステム１３０と通信するように動作可能である。ＨＭＩシステム１１０はまた、システム１００の１つ又は複数の他のコンポーネント（例えば、処理システム１４０、メモリシステム１２０など）と通信するように動作可能である。より具体的には、例えば、処理システム１４０は、ＨＭＩシステム１１０、メモリシステム１２０、及び／又は、Ｉ／Ｏシステム１３０から直接的に又は間接的に、クエリ又はクエリタスクを取得する又は抽出するように構成されている。クエリ又はクエリタスクの受信に応答して、処理システム１４０は、機械学習システム２１０を介してクエリ又はクエリタスクに対する予測回答を形成するように構成されている。
【0019】
さらに、システム１００は、フレームワーク２００及び機械学習システム２１０のトレーニング及び／又は実行に寄与する他のコンポーネントを含む。例えば、図１に示されているように、メモリシステム１２０はまた、１つ又は複数のコンポーネント（例えばセンサシステム１１０、Ｉ／Ｏシステム１３０及び他の機能モジュール１５０）に関連するシステム１００の動作に関する他の関連データ２３０を記憶するように構成されている。さらに、Ｉ／Ｏシステム１３０は、Ｉ／Ｏインタフェースを含み得るものであり、１つ又は複数のデバイス（例えば、マイクロフォン、キーボードデバイス、タッチディスプレイデバイス、マイクロフォン、マウス、スピーカデバイスなど）を含み得る。また、システム１００は、システム１００の機能を支援する又はシステム１００の機能に寄与する他の機能モジュール１５０、例えば、任意の適当なハードウェア技術、ソフトウェア技術又はこれらの組合せを含む。例えば、他の機能モジュール１５０は、システム１００のコンポーネントが本明細書において説明しているように相互に通信することを可能にする通信技術を含む。従って、少なくとも図１に示されているコンポーネントを用いて、システム１００は、機械学習システム２１０を事前トレーニングする（又はトレーニングする）フレームワーク２００を実行して、ゼロショット設定において、又は、用途での使用のために配備／使用される際に、様々なクエリタスク（例えば質問応答タスク）が横断的に良好に実行されるように構成されている。
【0020】
図２は、機械学習システム２１０に関するニューロシンボルフレームワーク２００の一実施形態のコンセプトを示す図である。例示的な実施形態においては、フレームワーク２００は、少なくともクエリタスク生成器２００Ａを含む。クエリタスク生成器２００Ａは、大域的ナレッジグラフ２２０Ａからデータ構造（例えばトリプル）を取得するように構成可能である。図２に示されているように、大域的ナレッジグラフ２２０Ａは、複数の別個のナレッジグラフ２２０Ｂを含み、ここで、ナレッジグラフ２２０Ｂの総数は、図２においては“Ｎ”によって表されている。これに関して、“Ｎ”は、少なくとも３以上の整数を表す。クエリタスク生成器２００Ａは、大域的ナレッジグラフ２２０Ａのデータ構造に基づいてクエリタスクを生成するように構成されている。クエリタスク生成器２００Ａは、適当な数のクエリタスクを含むトレーニングセットを作成するように構成されている。クエリタスク生成器２００Ａは、少なくとも１つのトレーニングセットを用いて機械学習システム２１０を事前トレーニングする又はトレーニングするように構成されている。クエリタスク生成器２００Ａはまた、機械学習システム２１０の少なくとも１つのスコアを計算し、例えば、スコアデータ、損失データ、及び／又は、任意の他の関連データに基づいて、機械学習システム２１０をファインチューニングするように構成されている。クエリタスク生成器２００Ａは、ゼロショット設定でテストされる際に、及び／又は、用途での使用のために配備／使用される際に、様々なコモンセンスタスクが横断的に良好に実行されるように、機械学習システム２１０を事前トレーニングすること又はトレーニングすることを保証する。
【0021】
さらに、フレームワーク２００は、ゼロショット評価器２００Ｂを含むように構成されている。ゼロショット評価器２００Ｂは、機械学習システム２１０においてゼロショットテストを実行するように構成されている。図２に示されているように、ゼロショット評価器２００Ｂは、事後トレーニングフェーズ中にゼロショットテストを実行するように構成されている。事後トレーニングフェーズとは、クエリタスク生成器２００Ａによって生成された少なくとも１つのトレーニングセットを用いて、機械学習システム２１０の事前トレーニング（又はトレーニング）後に発生する任意のフェーズをいう。ゼロショット評価器２００Ｂは、コモンセンスタスクデータセット２２０Ｃを用いて機械学習システム２１０をゼロショット方式でテストするように構成されている。このことに関して、機械学習システム２１０は、事前にコモンセンスタスクデータセット２２０Ｃを観察することなく、各コモンセンスタスクデータセット２２０Ｃを処理するように構成されている。ゼロショット評価器２００Ｂは、コモンセンスタスクデータセット２２０Ｃの集合を取得し、各コモンセンスタスクデータセット２２０Ｃを機械学習システム２１０に適用するように構成されている。コモンセンスタスクデータセット２２０Ｃの集合は複数のコモンセンスタスクデータセット２２０Ｃを含み、ここで、コモンセンスタスクデータセット２２０Ｃの総数は、図２において“Ｍ”によって表されている。このことに関して、“Ｍ”は、少なくとも３以上の整数を表す。各コモンセンスタスクデータセット２２０Ｃは、例えば、クエリタスクのフォーマット及び／又はクエリタスクに関連付けられたナレッジのタイプに関して、集合の他のコモンセンスタスクデータセット２２０Ｃとは異なる。様々なコモンセンスタスクデータセット２２０Ｃを用いることによって、ゼロショット評価器２００Ｂは、有利には、クエリタスク生成器２００Ａによって生成されたトレーニングセットに基づいて、機械学習システム２１０の事前トレーニング（又はトレーニング）の有効性を実証するように構成されている。このことに関して、ゼロショット評価器２００Ｂは、機械学習システム２１０の推論能力のロバストな尺度を提供するように構成されている。ゼロショット評価器２００Ｂはまた、様々なコモンセンスタスクデータセット２２０Ｃにわたる事前トレーニングの影響に沿って機械学習システム２１０を評価するように構成されている。
【0022】
上述したように、コモンセンスタスクデータセット２２０Ｃの集合は、様々なコモンセンスタスクデータセット２２０Ｃを含む。各コモンセンスタスクデータセット２２０Ｃは、クエリタスク生成器２００Ａによって生成されたトレーニングセットとは異なるものである。コモンセンスタスクデータセット２２０Ｃの集合は、機械学習システム２１０がその事前トレーニングフェーズ中又はトレーニングフェーズ中に全く観察しなかったデータセットである。このことに関して、コモンセンスタスクデータセット２２０Ｃの集合は、例えば、少なくともフォーマット（例えば、質問応答、代名詞解決、自然言語推論など）に関して又はナレッジタイプ（例えば、社会的ナレッジ、物理的ナレッジなど）に関して又はフォーマット及びナレッジタイプの双方に関して、多様なタスクセットを包含するように選択される。例えば、自然推論タスクを含むタスクデータセット２２０Ｃが存在し得るが、ここではストーリーの開始及び終了が与えられており、ここでのタスクは応答選択肢の集合からより妥当な仮説を選択することである。さらに、広範なコモンセンスの様態を含むタスクデータセット２２０Ｃを設けることができ、ここでのタスクは、５つの応答選択肢のうちの１つを選択することによって質問に応答することである。他の例として、物理的推論に焦点を当てたタスクデータセット２２０Ｃが存在し得るが、ここでのタスクは、２つの可能な継続の中からより妥当な応答選択肢を選択することである。また、社会的相互作用に基づく推論に焦点を当てたタスクデータセット２２０Ｃも存在し得るが、ここでのタスクは、いくつかのコンテキスト、質問及び応答選択肢の集合を含む。さらに他の例として、代名詞解決を含むタスクデータセット２２０Ｃを設けることもでき、ここでのタスクは、いくつかのコンテキスト、強調代名詞、及び、可能な参照として提供される応答選択肢を含む。なお、コモンセンスタスクデータセット２２０Ｃの集合は、上述したコモンセンスタスクデータセット２２０Ｃに限定されるものではなく、機械学習システム２１０上でのゼロショットテストの実行に適した任意のタスクデータセット２２０Ｃを含み得る。
【0023】
図３は、少なくとも事前トレーニングされた（又はトレーニングされた）機械学習システム２１０を含むように構成されたシステム３００を示す図である。これに関して、システム３００は、少なくともＨＭＩシステム３１０、制御システム３２０及びアクチュエータシステム３３０を含む。システム３００は、ＨＭＩシステム３１０から受信された入力に基づいて制御システム３２０がアクチュエータシステム３３０を制御するように構成されている。より具体的には、ＨＭＩシステム３１０は、Ｉ／Ｏシステム３７０の１つ又は複数のＩ／Ｏデバイスと通信する１つ又は複数のユーザインタフェース及び／又はデバイスを含む。入力が取得されると、ＨＭＩシステム３１０は、入出力（Ｉ／Ｏ）システム３７０、及び／又は、通信技術を含む他の機能モジュール３５０を介して、制御システム３２０と通信するように動作可能である。
【0024】
制御システム３２０は、ＨＭＩシステム３１０から入力を取得するように構成されている。入力が受信されると、制御システム３２０は、処理システム３４０を介して入力を処理するように動作可能である。このことに関して、処理システム３４０は、少なくとも１つのプロセッサを含む。例えば、処理システム３４０は、電子プロセッサ、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、処理回路、任意の適当な処理技術、又は、これらの任意の組合せを含む。少なくともＨＭＩシステム３１０から受信された入力が処理されると、処理システム３４０は、入力に基づいて機械学習システム２１０にクエリ又はクエリタスクを供給するように動作可能である。処理システム３４０はまた、機械学習システム２１０を介して予測回答を生成するように構成されている。処理システム３４０は、予測回答に基づいて出力データを生成するように構成されている。処理システム３４０は、Ｉ／Ｏシステム３７０及び／又はＨＭＩシステム３１０を介して、出力データ及び／又は予測回答をユーザに提供するように構成されている。さらに、処理システム３４０は、出力データ及び／又は予測回答に基づいてアクチュエータ制御データを生成するように動作可能である。制御システム３２０は、アクチュエータ制御データに従ってアクチュエータシステム３３０を制御するように構成されている。
【0025】
メモリシステム３６０は、少なくとも本明細書に開示している動作及び機能を可能にするための様々なデータを記憶し、さらにこうしたデータへのアクセスを提供するように構成されたコンピュータ又は電子記憶システムである。メモリシステム３６０は、単一のデバイス又は複数のデバイスを含む。メモリシステム３６０は、電気メモリ技術、電子メモリ技術、磁気メモリ技術、光学メモリ技術、半導体メモリ技術、電磁メモリ技術、任意の適当なメモリ技術、又は、これらの任意の組合せを含む。例えば、メモリシステム３６０は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ディスクドライブ、メモリカード、光学ストレージデバイス、磁気ストレージデバイス、メモリモジュール、任意の適当なタイプのメモリデバイス、又は、これらのうちの任意の複数及びこれらの任意の組合せを含み得る。例示的な実施形態においては、制御システム３２０及び／又は処理システム３４０に対して、メモリシステム３６０は、ローカル若しくはリモートであり又はこれらの組合せである（例えば、一部がローカルであり、一部がリモートである）。例えば、メモリシステム３６０は、処理システム３４０及び／又は制御システム３２０の他のコンポーネントからリモートの位置にある、少なくともクラウドに基づく記憶システム（例えばクラウドに基づくデータベースシステム）を含むように構成可能である。
【0026】
メモリシステム３６０には、フレームワーク２００（図１乃至図２）を介して事前トレーニングされた（又はトレーニングされた）機械学習システム２１０が含まれている。事前トレーニングされた又はトレーニングされたここでの機械学習システム２１０は、処理システム３４０を介して実現され、実行され及び／又は使用されるように構成されている。このことに関して、機械学習システム２１０は、クエリ又はクエリタスクを入力データとして受信し、処理するように構成されている。機械学習システム２１０は、クエリ又はクエリタスクに応答して予測回答を形成するように構成されている。このことに関して、機械学習システム２１０は、質問応答を実行するように構成されている。
【0027】
さらに、メモリシステム３６０は、クエリ応答適用システム３８０を含む。クエリ応答適用システム３８０は、機械学習システム２１０に入力データとしてクエリ又はクエリタスクが供給されることを保証するように構成されている。このことに関して、処理システム３４０は、クエリ応答適用システム３８０を介して、ＨＭＩシステム３１０からの入力を処理するように構成されている。必要と考えられる場合、クエリ応答適用システム３８０は、ＨＭＩシステム３１０からの入力が処理された後、クエリ又はクエリタスクを生成するように構成されている。さらに、いくつかの例においては、クエリ応答適用システム３８０は、機械学習システム２１０から取得された予測回答に基づいて出力データを生成するように構成されている。全体として、クエリ応答適用システム３８０は、機械学習システム２１０が所望の用途のための制御システム３２０の一部としてシームレスに動作することを可能にする。
【0028】
さらに、図３に示されているように、システム３００は、ＨＭＩシステム３１０及びアクチュエータシステム３３０に関連する制御システム３２０の動作に寄与する他のコンポーネントを含む。例えば、図３に示されているように、メモリシステム３６０は、さらに、システム３００の動作に関連する他の関連データ３９０を記憶するように構成されている。また、図３に示されているように、制御システム３２０は、システム１００に関連する１つ又は複数のＩ／Ｏデバイスを含むＩ／Ｏシステム３７０を含む。また、制御システム３２０は、システム３００の機能を支援する及び／又はシステム３００の機能に寄与する他の機能モジュール３５０、例えば、任意の適当なハードウェア技術、ソフトウェア技術又はこれらの任意の組合せを提供するように構成されている。例えば、他の機能モジュール３５０は、オペレーティングシステムと、本明細書において説明しているシステム３００のコンポーネントの相互通信を可能にする通信技術とを含む。また、システム３００のコンポーネントは、こうした構成に限定されるものではなく、システム３００が本明細書に説明している機能を実行する限り、任意の適当な構成を含み得る。例えば、ＨＭＩシステム３１０は、Ｉ／Ｏシステム３７０及び／又は制御システム３２０のより多く統合された部分であるものとしてよい。従って、システム３００は、様々な用途において有用である。
【0029】
例えば、非限定的な例として、システム３００は、顧客サービス及び／又はトラブルシューティング支援の提供に使用される対話システムであり得る。この場合、システム３００はさらに、アクチュエータシステム３３０を含まない。このことに関して、例えば、ＨＭＩシステム３１０は、Ｉ／Ｏシステム３７０と共に動作してユーザからの入力を受信するユーザインタフェース、例えばタッチスクリーンデバイスを含み得る。タッチスクリーンデバイスに入力データが入力されると、処理システム３４０は、事前トレーニングされた又はトレーニングされた機械学習システム２１０にクエリ又はクエリタスクを供給するように構成されている。当該クエリ又はクエリタスクに応答して、処理システム３４０は、機械学習システム２１０を介して予測回答を形成するように構成されている。処理システム３４０は、タッチスクリーンデバイスを介してユーザに受信される出力データとして、予測回答を直接的に又は間接的に提供するように構成されている。
【0030】
図４は、例示的な実施形態による、自動パーソナルアシスタント技術４００に関するシステム３００の用途の一例を示す図である。例えば、非限定的な一例として、自動パーソナルアシスタント技術４００は、クエリ又はクエリタスクを直接的に又は間接的に含み得る入力を受信するように構成されているロボット４１０である。自動パーソナルアシスタント技術４００は、入力を処理し、クエリ又はクエリタスクを機械学習システム２１０に供給するように構成されている。クエリ又はクエリタスクに応答して、自動パーソナルアシスタント技術４００は、事前トレーニングされた又はトレーニングされた機械学習システム２１０を介して予測回答を提供するように構成されている。さらに、自動パーソナルアシスタント技術４００は、家電装置、例えば洗濯機、ストーブ、掃除機、オーブン、電子レンジ、食器洗い機、他の種類の家庭用電化製品、任意の適当な装置、又は、これらのうちの任意の複数及びこれらの任意の組合せを制御するように構成されている。ＨＭＩシステム３１０は、入力を取得するために、Ｉ／Ｏシステム３７０（例えば、マイクロフォン、タッチスクリーン、キーボード、ディスプレイ技術、ジェスチャ技術、カメラ、センサ、又は、任意の適当な技術）と共に動作する少なくとも１つのユーザインタフェースを含む。
【0031】
制御システム３２０は、ＨＭＩシステム３１０及び／又はＩ／Ｏシステム３７０を介して、ユーザ４２０から入力（例えば、オーディオコマンド、タッチスクリーンコマンドなど）を取得するように構成されている。制御システム３２０は、入力を処理するように構成されている。制御システム３２０は、入力に基づいてクエリ又はクエリタスクを形成するように構成されている。さらに、制御システム３２０は、事前トレーニングされた又はトレーニングされた機械学習システム２１０を介して、クエリ又はクエリタスクに応答する予測回答を形成するように構成されている。制御システム３２０は、予測回答に基づいて出力データを生成するように構成されている。制御システム３２０は、予測回答及び／又は出力データをＩ／Ｏシステム３７０及び／又はＨＭＩシステム３１０に供給するように構成されている。制御システム３２０は、予測回答及び／又は出力データに基づいてアクチュエータ制御データを生成するように構成されている。また、非限定的な例として、制御システム３２０は、アクチュエータ制御データに応答してアクチュエータシステム３３０を制御するように構成されている。
【0032】
図５は、例示的な実施形態による、移動機械技術に関するシステム３００の用途の一例を示す図である。非限定的な例として、移動機械技術は、少なくとも部分的に自律的な又は完全に自律的な車両５００を含む。図５においては、車両５００は、入力を受信するように構成されたＨＭＩシステム３１０を含む。入力に基づいて、制御システム３２０は、少なくとも１つのクエリ又はクエリタスクを機械学習システム２１０に供給するように構成されている。機械学習システム２１０は、クエリ又はクエリタスクに応答して予測回答を形成するように構成されている。制御システム３２０は、少なくとも予測回答に基づくアクチュエータ制御データを生成するように構成されている。例えば、非限定的な例として、アクチュエータシステム３３０は、アクチュエータ制御データを受信すると、少なくとも制動システムを動作させて車両５００を停止させるように構成されている。このことに関して、アクチュエータシステム３３０は、車両５００の制動システム、推進システム、エンジン、ドライブトレイン、ステアリングシステム、又は、車両の任意の数及び任意の組合せのアクチュエータを含むように構成されている。アクチュエータシステム３３０は、車両５００が道路交通規則に従ってかつ少なくとも機械学習システム２１０によって形成される予測回答に基づいて、衝突を回避するように車両５００を制御すべく構成可能である。
【0033】
図６には、卸売顧客のデータセットの実施形態でのデータポイントのためのシステム変換の実施形態が開示されている。表データ６０２を有する大規模言語モデル（ＬＬＭ）を利用するために、まずレコード６０２を自然言語記述へと変換する必要が生じ得る。当該変換はデータ記述６０４と称されることがある。データ記述６０４は、データプロセッサ６０３を利用して行うことができる。先行のアプローチで一般的に使用されているテンプレートマッチングにおいては、属性値が事前定義されたテンプレートに挿入されている。しかし、こうしたアプローチにおいては、しばしば、人間がデータを記述する仕方とは異なる不自然な記述が形成され得る。データセットによっては、手動でのテンプレートの設計も困難であることがある。これを克服するために、システムは、より適当なソリューションとしてＬＬＭ６０１を利用することができる。図６に則して以下に示すように、システムは、（表データセットのメタデータ６０１として一般に入手可能である）データセット及び表レコード（例えば構文解析されたＪＳＯＮ）のテキスト表現６０６に関する情報でＬＬＭ６０１をゼロショットプロンプト化することによって、当該データ記述を少ない労力で取得することができる。例えば、メタデータ６０１は、データセットに関する情報、例えば記述を示すことができる。テキスト表現６０６は、レコード又は表データを示すテキストであり得る。具体的には、例がトレーニングデータ及びクエリ入力の双方として機能することを保証するために、システムが特徴の記述を抽出し、６０８でセパレータトークンを使用して当該特徴の記述とターゲットラベルとを連結する。興味深いことに、本方法でＬＬＭ６０１によって生成された記述は、多くの場合にテンプレートからの記述よりも良好に機能する。
【0034】
一実施形態においては、当該プロセスにおける課題は、数値属性をどのようにして効果的に符号化するかということであり、記述に数値を単純に含めると、後続の学習タスクにおけるパフォーマンスが低下する可能性があるということである。このことに対処するために、システムは直截的なアプローチを採用することができ、例えば、全ての数値特徴をパーセンタイルへとビン化し、これらをテキスト表現５０６においては「低」「中」及び「高」として記述によって符号化することができる。全体として、データ記述は、最小限の手動でのエンジニアリングで自動的に生成可能である。
【0035】
大規模言語モデル（ＬＬＭ）を用いてフューショット学習を実行するための典型的な方法は、目的とするタスクの少数のデモンストレーションをプロンプトとして供給し、次いでモデルに回答の生成を要求することを含む。例えば、フューショット設定においては、単に上記の自然言語記述を提示するのみで、新たな例についての予測を生成することができる。ただし、表データの場合、ＬＬＭコンテキスト内に収まらないデータポイントが多数存在し得る。しかも、コンテキストにおける例の数を単純に増大させても必ずしもパフォーマンスが向上するとは限らず、ブースティング法で要求されるような、例全体にわたる重み付け分布を管理する明確な方式は存在していなかった。これらの観察には、ＬＬＭを介した弱学習に対する代替アプローチが必要である。クラスタサンプリングアルゴリズムの一例を以下に示す。
【0036】
【数1】
【0037】
図７には、サマリを生成するプロセスと、新たなデータについての予測を形成するためにサマリを使用するプロセスとが開示されている。これに代えて、システムは、例の集合体のサマリの生成がいくつかの例に基づいてモデルを学習するための強力なプロキシとして機能し得ることを提案できる。具体的には、データ記述の集合が与えられたとき、システムはまず、ＬＬＭ７０９を呼び出すことによって（例えば、自然言語の形態で例のリストを連結し、プロンプト“ｔｌｄｒ”を追加することによって）、データについてのサマライゼーション７０７を実行することができる。こうして得られたサマリ７０７はデータ記述を提供するので、仮説とみなすことができる。サマリをプロンプトとして使用することにより、ＬＬＭ７０９は、（図７に示されているように）ローデータ記述の代わりに、仮説を使用して推論を行う。サンプリングされたサマリは、ときに多くのノイズを有することがあるため、システムは固定数のサマリ７１１を生成し、ステップ７１３において、最小の検証エラー率を有するサマリ７１１を選択することができる。紐付けに際して、システムは、より高いトレーニングエラー、例えばより低い汎化ギャップを有するサマリを選択することができる。このようなサマリを構築するいくつかの方法が可能であるが、より洗練された代替手段として“ｔｌｄｒ”アプローチなどのシンプルなアプローチも機能し得る。
【0038】
【数2】
【0039】
図７に示されているプロセスは分割可能であり、上半部には、弱学習仮説（サマリ）がどのように生成されるかを説明するための仮説の生成７０１が示されている。下半部は、推論７５０を実行するシステムの例示的な実施形態である。テキストとしてのレコードは、層状クラスタサンプリングを実行するために利用可能である。システム及び方法は、一実施形態においては、重み付けクラスタサンプリング７０５を利用することができ、又は、層状クラスタサンプリング７０５を利用することができる。既存のＬＬＭのコンテキストサイズは、依然として制限されているので、システムは、データセット全体をサマライゼーション７０７のためのコンテキストに適合させることができない可能性がある。サマライゼーションプロンプト７０７は、レコード又はテキストの関連付けられたメタデータ７０３も含み得る。なお、ブースティングアルゴリズムは、トレーニングセットの重み付けされたサンプルにつき、ブースティングプロセスが続行されるときに「より硬性の」例に焦点が当たるようにブースティングプロセスを効果的にガイドする弱学習器をシステムが提供可能であることを要求し得る。従って、データセット全体を要約することを試みる代わりに、システムは、データセットの代表的な部分集合のみを利用することができる。当該部分集合のサイズは、最大コンテキストサイズ及びデータ記述のサイズによって支配される。こうした代表的な部分集合を選択するために、システムは、各データ記述の言語埋め込みのクラスタによって定義された部分母集団を使用する重み付け層状サンプリングを使用することができる。言語埋め込みは、ＧＰＴ－３、ＧＰＴ－４又は他の言語予測モデルによって生成された文章表現であるものとしてよい。特に、システムは、埋め込みにおけるクラスタを識別するために階層的凝集型クラスタリングを使用することができる。当該プロセスは、上記のアルゴリズム１に示されている。当該プロセスにより、弱学習器を一貫して生成することができ、（アルゴリズムへの入力ｐによって示される）関心分布のもとでのランダム推定を改善することができる。
【0040】
最終的に、システムは、アダプティブブースティング（「ＡｄａＢｏｏｓｔ」）アルゴリズムを利用して、サマリに基づく弱学習器の上記の集合体とのアンサンブルを生成することができる。アダプティブブースティングは各インスタンスに再び割り当てられた重みを利用することができるが、ここでは、より大きい重みが誤って分類されたインスタンスに割り当てられる。バイアス及び教師あり学習での分散を低減するために、ブースティングが使用される。これは、逐次的に成長する学習器の方式に基づいて機能する。最初の学習器を除き、後続の各学習器は、先行の成長した学習器から成長する。従って、弱学習器が強学習器へと変換される。ＡｄａＢｏｏｓｔのアイデアの１つは、繰り返し修正されたバージョンのデータに弱学習器のシーケンスを適合させることである。当該アルゴリズムはＴ個のラウンドにわたって実行することができ、ここで、トレーニングデータポイントの重みはトレーニングエラーに基づいて調整される。
【0041】
新たなデータポイント又はクエリ７５１が与えられると、全てのラウンドからの分類器の予測が重み付け多数決によって結合され、最終予測７７７又は回答７７７が生成される。システムは、ホールドアウト検証セットについてのエラーを使用して、ラウンド数Ｔを決定する。当該プロセスのコンパクト版がアルゴリズム２に提示されている。当該アルゴリズムにおいては、サマリ法が、サマライゼーションを介した弱学習に関連して論じたプロセスによって、プロンプト内の例を要約する。各サマリは、新たなデータを分類し得る仮説として扱うことができる。
【0042】
ただし、システムが最良の学習器を見出すために複数回リサンプリングを行う可能性のあるサマリプロセスとは異なり、ブースティングプロセスは、ランダム推定（又はチャンス）よりも良好なエラー率を有するサマリが見出された場合、即座に戻る。システム及び方法は、クラスタサンプリングを利用して、ＬＬＭの最大コンテキスト長さに適合する例のミニバッチをサブサンプリングすることができる。
【0043】
本開示の実施形態を本明細書において説明した。しかし、開示の実施形態は単なる例であって、他の実施形態は様々な代替形態を取り得ることを理解されたい。図は必ずしも縮尺通りではなく、いくつかの特徴につき、特定の構成要素の詳細を示すために誇張したところ又は最小化したところがある。従って、本明細書に開示した特定の構造的詳細及び機能的詳細は限定として解釈されるべきではなく、むしろ実施形態を様々に利用するために当業者に教示される代表的な基礎として理解されるべきである。当業者に理解されるように、図のいずれか１つを参照して図示し説明した様々な特徴は、１つ又は複数の他の図に示した特徴と組み合わせて、明示的に図示又は説明されていない実施形態を形成することができる。図示されている特徴を組み合わせることにより、典型的な用途のための代表的な実施形態が提供される。ただし、特定の用途又は実現形態のためには、本開示の教示に一致する特徴の様々な組合せ及び修正形態が望ましいことがある。
【0044】
本明細書において使用される「１つの」「ある」（“a”，“an”，“the”）は、文脈から明確にそうでないことが示されない限り、指示対象の単数及び複数の双方をいう。例として、様々な機能を実行するようにプログラミングされた「プロセッサ」とは、それぞれの機能を実行するようにプログラミングされた１つのプロセッサをいうこともあり、又は、様々な機能のそれぞれを実行するようにプログラミングされた２つ以上のプロセッサを集合的にいうこともある。
【0045】
例示的な実施形態を上述したが、これらの実施形態は、特許請求の範囲に包含される全ての可能な形態を記載することを意図したものではない。本明細書において使用している用語は、限定ではなく説明のためのものであり、本開示の思想及び範囲から逸脱することなく様々な変更が可能であることを理解されたい。上述したように、様々な実施形態の特徴を組み合わせて、明示的に説明されていない又は図示されていない本発明のさらなる実施形態を形成することができる。様々な実施形態を、１つ又は複数の所望の特性に関して、他の実施形態又は従来技術の実現形態よりも優れた利点を提供するもの又はより好ましいものとして説明したが、特定の用途及び実現形態によっては、全体として望ましいシステム属性を得るために１つ又は複数の特徴又は特性が妥協され得ることが当業者には認識されよう。ここでの属性には、以下に限定されるものではないが、コスト、強度、耐久性、ライフサイクルコスト、市場性、外観、包装、サイズ、メンテナンス可能性、重量、製造性、組み立て容易性などが含まれ得る。従って、１つ又は複数の特性に関していずれかの実施形態が他の実施形態又は従来技術の実施形態に比べて望ましくないと説明される場合であっても、これらの実施形態が本開示の範囲を外れるわけではなく、特定の用途にとって望ましいものとなることがある。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2024-09-20
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
自然言語処理のためのコンピュータ実装された方法であって、
１つ又は複数のレコードに関連付けられた表データを受信することと、
前記表データを、当該表データを示すテキスト表現へと変換することと、
前記表データのテキスト表現に関連付けられた、前記表データの記述を示すメタデータを生成することと、
１回又は複数回の反復に対して、大規模言語モデル（ＬＬＭ）と前記メタデータ及び前記表データのテキスト表現のゼロショットプロンプト化との利用に応答して、前記表データを示す１つ又は複数の自然言語データ記述を出力することであって、前記ＬＬＭは、複数のパラメータを有するニューラルネットワークを含む、ことと、
１回又は複数回の反復に対して、前記ＬＬＭを利用して１つ又は複数のサマリを出力することであって、前記１つ又は複数のサマリは、前記１つ又は複数の自然言語データ記述よりも少ないテキストを含む、ことと、
１回又は複数回の反復に対して、最小の検証率を有する単一のサマリに応答して、前記１つ又は複数のサマリのうちの単一のサマリを選択することと、
前記表データに関連付けられたクエリを受信することと、
１回又は複数回の反復に対して、前記単一のサマリ及び前記クエリについての前記ＬＬＭを利用して、前記クエリに関連付けられた１つ又は複数の予測を出力することと、
前記１回又は複数回の反復から生成された前記１つ又は複数の予測によって収束閾値が満たされることに応答して、前記クエリに関連付けられた最終予測を出力することであって、前記最終予測は、前記１回又は複数回の反復から生成された前記１つ又は複数の予測の全ての重み付け多数決に応答して選択される、ことと、
を含む方法。
１つ又は複数のレコードに関連付けられた表データを受信することと、
前記表データを、当該表データを示すテキスト表現へと変換することと、
前記表データのテキスト表現に関連付けられた、前記表データの記述を示すメタデータを生成することと、
１回又は複数回の反復に対して、大規模言語モデル（ＬＬＭ）と前記メタデータ及び前記表データのテキスト表現のゼロショットプロンプト化との利用に応答して、前記表データを示す１つ又は複数の自然言語データ記述を出力することであって、前記ＬＬＭは、複数のパラメータを有するニューラルネットワークを含む、ことと、
１回又は複数回の反復に対して、前記ＬＬＭを利用して１つ又は複数のサマリを出力することであって、前記１つ又は複数のサマリは、前記１つ又は複数の自然言語データ記述よりも少ないテキストを含む、ことと、
１回又は複数回の反復に対して、最小の検証率を有する単一のサマリに応答して、前記１つ又は複数のサマリのうちの単一のサマリを選択することと、
前記表データに関連付けられたクエリを受信することと、
１回又は複数回の反復に対して、前記単一のサマリ及び前記クエリについての前記ＬＬＭを利用して、前記クエリに関連付けられた１つ又は複数の予測を出力することと、
前記１回又は複数回の反復から生成された前記１つ又は複数の予測によって収束閾値が満たされることに応答して、前記クエリに関連付けられた最終予測を出力することであって、前記最終予測は、前記１回又は複数回の反復から生成された前記１つ又は複数の予測の全ての重み付け多数決に応答して選択される、ことと、
を含む方法。
【請求項2】
前記ＬＬＭは、前記最終予測を出力するために、新たな言語モデルのファインチューニング又は構築を利用しない、請求項１に記載の方法。
【請求項3】
前記複数のパラメータは、１０億超である、請求項１に記載の方法。
【請求項4】
前記ＬＬＭは、ＧＰＴ－４である、請求項１に記載の方法。
【請求項5】
前記テキスト表現は、構文解析されたＪＳＯＮファイルである、請求項１に記載の方法。
【請求項6】
前記表データに関連付けられた数値特徴は、パーセンタイルへと符号化される、請求項１に記載の方法。
【請求項7】
前記ＬＬＭを利用して１つ又は複数のサマリを出力することは、前記１つ又は複数の自然言語データ記述にプロンプトを追加することを含む、請求項１に記載の方法。
【請求項8】
前記１つ又は複数の予測は、弱学習器である、請求項１に記載の方法。
【請求項9】
前記方法は、前記単一のサマリを選択するために、重み付け層状サンプリングを利用することを含む、請求項１に記載の方法。
【請求項10】
システムであって、
当該システムに関連付けられたデータを受信するように構成された、前記システムへの入力インタフェースと、
前記入力インタフェースと通信する１つ又は複数のプロセッサと、
を備えるシステムにおいて、
前記１つ又は複数のプロセッサは、
１つ又は複数のレコードに関連付けられた表データを受信し、
前記表データを、当該表データを示すテキスト表現へと変換し、
前記表データのテキスト表現に関連付けられた、前記表データの記述を示すメタデータを生成し、
大規模言語モデル（ＬＬＭ）と前記メタデータ及び前記表データのテキスト表現のゼロショットプロンプト化との利用に応答して、前記表データを示す１つ又は複数の自然言語データ記述を出力し、ここで、前記ＬＬＭは、複数のパラメータを有するニューラルネットワークを含み、
前記ＬＬＭ及び前記１つ又は複数の自然言語データ記述を利用して１つ又は複数のサマリを出力し、ここで、前記１つ又は複数のサマリは、前記１つ又は複数の自然言語データ記述よりも少ないテキストを含み、
１回又は複数回の反復に対して、最小の検証率を有する単一のサマリに応答して、前記１つ又は複数のサマリのうちの単一のサマリを選択し、
前記表データに関連付けられたクエリを受信し、
１回又は複数回の反復に対して、前記単一のサマリ及び前記クエリについての前記ＬＬＭを利用して、前記クエリに関連付けられた１つ又は複数の予測を出力し、
１つ又は複数の予測を出力する前記１回又は複数回の反復から生成された前記１つ又は複数の予測によって収束閾値が満たされることに応答して、前記クエリに関連付けられた最終予測を出力する、
ようにプログラミングされている、システム。
当該システムに関連付けられたデータを受信するように構成された、前記システムへの入力インタフェースと、
前記入力インタフェースと通信する１つ又は複数のプロセッサと、
を備えるシステムにおいて、
前記１つ又は複数のプロセッサは、
１つ又は複数のレコードに関連付けられた表データを受信し、
前記表データを、当該表データを示すテキスト表現へと変換し、
前記表データのテキスト表現に関連付けられた、前記表データの記述を示すメタデータを生成し、
大規模言語モデル（ＬＬＭ）と前記メタデータ及び前記表データのテキスト表現のゼロショットプロンプト化との利用に応答して、前記表データを示す１つ又は複数の自然言語データ記述を出力し、ここで、前記ＬＬＭは、複数のパラメータを有するニューラルネットワークを含み、
前記ＬＬＭ及び前記１つ又は複数の自然言語データ記述を利用して１つ又は複数のサマリを出力し、ここで、前記１つ又は複数のサマリは、前記１つ又は複数の自然言語データ記述よりも少ないテキストを含み、
１回又は複数回の反復に対して、最小の検証率を有する単一のサマリに応答して、前記１つ又は複数のサマリのうちの単一のサマリを選択し、
前記表データに関連付けられたクエリを受信し、
１回又は複数回の反復に対して、前記単一のサマリ及び前記クエリについての前記ＬＬＭを利用して、前記クエリに関連付けられた１つ又は複数の予測を出力し、
１つ又は複数の予測を出力する前記１回又は複数回の反復から生成された前記１つ又は複数の予測によって収束閾値が満たされることに応答して、前記クエリに関連付けられた最終予測を出力する、
ようにプログラミングされている、システム。
【請求項11】
前記１つ又は複数のプロセッサは、さらに、前記１回又は複数回の反復から生成された前記１つ又は複数の予測の全てについての重み付け多数決に応答して前記最終予測を出力するようにプログラミングされている、請求項１０に記載のシステム。
【請求項12】
前記表データに関連付けられた数値特徴は、パーセンタイルへと符号化される、請求項１０に記載のシステム。
【請求項13】
前記１つ又は複数のプロセッサは、前記ＬＬＭを利用して１つ又は複数のサマリを出力し、前記１つ又は複数の自然言語データ記述にプロンプトを追加するようにプログラミングされている、請求項１０に記載のシステム。
【請求項14】
前記１つ又は複数のプロセッサは、各ステップを実行するように集合的にプログラミングされている、請求項１０に記載のシステム。
【請求項15】
前記１つ又は複数のプロセッサは、各ステップを実行するようにプログラミングされた単一のプロセッサを含む、請求項１０に記載のシステム。
【請求項16】
前記１つ又は複数のプロセッサは、重み付け層状サンプリングを利用して、前記１つ又は複数のサマリの代表的な部分集合を選択するようにプログラミングされている、請求項１０に記載のシステム。
【請求項17】
前記１つ又は複数のプロセッサは、固定回数の反復から前記１つ又は複数のサマリの代表的な部分集合を選択するようにプログラミングされている、請求項１０に記載のシステム。
【請求項18】
前記１つ又は複数のプロセッサは、１回又は複数回の反復に対して、前記１つ又は複数の自然言語データ記述を出力し、前記１つ又は複数のサマリを出力するようにプログラミングされている、請求項１０に記載のシステム。
【請求項19】
自然言語処理のためのコンピュータ実装された方法であって、
１つ又は複数のレコードに関連付けられた表データを受信することと、
前記表データを、当該表データを示すテキスト表現へと変換することと、
前記表データのテキスト表現に関連付けられた、前記表データの記述を示すメタデータを生成することと、
大規模言語モデル（ＬＬＭ）と前記メタデータ及び前記表データのテキスト表現のゼロショットプロンプト化との利用に応答して、前記表データを示す１つ又は複数の自然言語データ記述を出力することと、
前記ＬＬＭを利用して１つ又は複数のサマリを出力し、前記１つ又は複数の自然言語データ記述にプロンプトを追加することであって、前記１つ又は複数のサマリは、前記１つ又は複数の自然言語データ記述よりも少ないテキストを含む、ことと、
１回又は複数回の反復に対して、最小の検証率を有する単一のサマリに応答して、前記１つ又は複数のサマリのうちの単一のサマリを選択することと、
単一のサマリの部分集合を作成することと、
前記表データに関連付けられたクエリを受信することと、
１回又は複数回の反復に対して、前記単一のサマリの部分集合のうちの単一のサマリの１つと前記クエリとについての前記ＬＬＭを利用して、前記クエリに関連付けられた１つ又は複数の予測を出力することと、
１つ又は複数の予測の部分集合を作成することと、
前記１つ又は複数の予測の部分集合によって収束閾値が満たされることに応答して、前記クエリに関連付けられた最終予測を出力することであって、前記最終予測は、前記１つ又は複数の予測の部分集合の重み付け多数決に応答して選択される、ことと、
を含む方法。
１つ又は複数のレコードに関連付けられた表データを受信することと、
前記表データを、当該表データを示すテキスト表現へと変換することと、
前記表データのテキスト表現に関連付けられた、前記表データの記述を示すメタデータを生成することと、
大規模言語モデル（ＬＬＭ）と前記メタデータ及び前記表データのテキスト表現のゼロショットプロンプト化との利用に応答して、前記表データを示す１つ又は複数の自然言語データ記述を出力することと、
前記ＬＬＭを利用して１つ又は複数のサマリを出力し、前記１つ又は複数の自然言語データ記述にプロンプトを追加することであって、前記１つ又は複数のサマリは、前記１つ又は複数の自然言語データ記述よりも少ないテキストを含む、ことと、
１回又は複数回の反復に対して、最小の検証率を有する単一のサマリに応答して、前記１つ又は複数のサマリのうちの単一のサマリを選択することと、
単一のサマリの部分集合を作成することと、
前記表データに関連付けられたクエリを受信することと、
１回又は複数回の反復に対して、前記単一のサマリの部分集合のうちの単一のサマリの１つと前記クエリとについての前記ＬＬＭを利用して、前記クエリに関連付けられた１つ又は複数の予測を出力することと、
１つ又は複数の予測の部分集合を作成することと、
前記１つ又は複数の予測の部分集合によって収束閾値が満たされることに応答して、前記クエリに関連付けられた最終予測を出力することであって、前記最終予測は、前記１つ又は複数の予測の部分集合の重み付け多数決に応答して選択される、ことと、
を含む方法。
【外国語明細書】