特許7343566言語モデルを利用したデータ生成方法、コンピュータ装置、およびコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-04
(45)【発行日】2023-09-12
(54)【発明の名称】言語モデルを利用したデータ生成方法、コンピュータ装置、およびコンピュータプログラム
(51)【国際特許分類】
G06F 16/35 20190101AFI20230905BHJP
G06F 40/56 20200101ALI20230905BHJP
G06F 40/216 20200101ALI20230905BHJP
G06N 20/00 20190101ALI20230905BHJP
【ＦＩ】
G06F16/35
G06F40/56
G06F40/216
G06N20/00 130
【請求項の数】
20
(21)【出願番号】P 2021209463
(22)【出願日】2021-12-23
(65)【公開番号】P2023018624
(43)【公開日】2023-02-08
【審査請求日】2021-12-23
(31)【優先権主張番号】10-2021-0098231
(32)【優先日】2021-07-27
(33)【優先権主張国・地域又は機関】KR
【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトの掲載日 ２０２１年４月１８日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／２１０４．０８８２６ 公開者 ユ ガンミン、パク ドンジュ、カン ジェウク、イ サンウ、パク ウミョン、ウェブサイトの掲載日 ２０２１年５月２５日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｔｖ．ｎａｖｅｒ．ｃｏｍ／ｖ／２０３４９６４９ 公開者 ユ ガンミン、パク ドンジュ、カン ジェウク、イ サンウ、パク ウミョン
(73)【特許権者】
【識別番号】505205812
【氏名又は名称】ネイバー コーポレーション
【氏名又は名称原語表記】ＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ユ ガンミン
(72)【発明者】
【氏名】パク ドンジュ
(72)【発明者】
【氏名】カン ジェウク
(72)【発明者】
【氏名】イ サンウ
(72)【発明者】
【氏名】パク ウミョン
【審査官】三橋 竜太郎
(56)【参考文献】
【文献】特開２０１９－１８５５５１（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０３６１９７７（ＵＳ，Ａ１）
【文献】中国特許出願公開第１１２８８３７２４（ＣＮ，Ａ）
【文献】特開２０２０－１４０４６６（ＪＰ，Ａ）
【文献】特開２０２０－０３４９９８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １６／００－１６／９５８
Ｇ０６Ｆ ４０／００－４０／５８
Ｇ０６Ｎ ３／００－９９／００
(57)【特許請求の範囲】
【請求項1】
コンピュータ装置が実行するデータ生成方法であって、前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
前記データ生成方法は、
前記少なくとも１つのプロセッサが、原本データを利用して言語モデルの入力文となるプロンプトを構成する段階、および
前記少なくとも１つのプロセッサが、前記プロンプトを前記言語モデルに入力し、前記言語モデルから新規データと前記新規データに対するラベル情報を生成する段階
を含み、
前記生成する段階は、前記プロンプト内のラベルに該当する自然語に対する確率分布を利用してラベル分布を示すソフトラベルを生成する段階
を含む、データ生成方法。
【請求項2】
前記データ生成方法は、前記少なくとも１つのプロセッサが、テキストの意味的多様性に応じて、学習データセットから前記原本データを選択する段階
をさらに含む、請求項１に記載のデータ生成方法。
【請求項3】
前記選択する段階は、前記学習データセットからラベルタイプの個数だけの前記原本データを選択すること
を特徴とする、請求項２に記載のデータ生成方法。
【請求項4】
前記構成する段階は、テキストタイプとラベルタイプが含まれた形式で前記プロンプトを構成すること
を特徴とする、請求項１～３のうちのいずれか一項に記載のデータ生成方法。
【請求項5】
前記構成する段階は、テキストタイプとラベルタイプ、およびラベル－トークン区分子が含まれた形式で前記プロンプトを構成すること
を特徴とする、請求項１～３のうちのいずれか一項に記載のデータ生成方法。
【請求項6】
前記構成する段階は、前記原本データを加工して、前記原本データと同一形式の自然語形態で前記プロンプトを構成すること
を特徴とする、請求項１～３のうちのいずれか一項に記載のデータ生成方法。
【請求項7】
コンピュータ装置が実行するデータ生成方法であって、
前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
前記データ生成方法は、
前記少なくとも１つのプロセッサが、原本データを利用して言語モデルの入力文となるプロンプトを構成する段階であって、タスク仕様、前記原本データ、およびプロンプトテンプレートを組み合わせて前記プロンプトを構成する段階、および
前記少なくとも１つのプロセッサが、前記プロンプトを前記言語モデルに入力し、前記言語モデルから新規データと前記新規データに対するラベル情報を生成する段階
を含む、データ生成方法。
【請求項8】
コンピュータ装置が実行するデータ生成方法であって、
前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
前記データ生成方法は、
前記少なくとも１つのプロセッサが、原本データを利用して言語モデルの入力文となるプロンプトを構成する段階、および
前記少なくとも１つのプロセッサが、前記プロンプトを前記言語モデルに入力し、前記言語モデルから新規データと前記新規データに対するラベル情報を生成する段階
を含み、前記生成する段階は、
前記プロンプト内のテキストとラベルに該当する自然語に対し、以前のトークンの確率分布を次のトークンの入力として伝達する自己回帰方式を利用して前記新規データと前記ラベル情報を抽出する段階
を含む、データ生成方法。
【請求項9】
前記抽出する段階は、ヒューリスティックを利用したビームサーチにより、前記以前のトークンの確率分布のうちの上位一部の確率を前記次のトークンの入力として伝達する段階
を含む、請求項８に記載のデータ生成方法。
【請求項10】
コンピュータ装置が実行するデータ生成方法であって、
前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
前記データ生成方法は、
前記少なくとも１つのプロセッサが、テキストの意味的多様性に応じて、学習データセットから原本データを選択する段階、
前記少なくとも１つのプロセッサが、前記原本データを利用して言語モデルの入力文となるプロンプトを構成する段階、および
前記少なくとも１つのプロセッサが、前記プロンプトを前記言語モデルに入力し、前記言語モデルから新規データと前記新規データに対するラベル情報を生成する段階
を含む、データ生成方法。
【請求項11】
請求項１～１０のうちのいずれか一項に記載のデータ生成方法をコンピュータ装置に実行させるためのコンピュータプログラム。
【請求項12】
コンピュータ装置であって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサは、
原本データを利用して言語モデルの入力文となるプロンプトを構成する過程、および
前記プロンプトを前記言語モデルに入力し、前記言語モデルから新規データと前記新規データに対するラベル情報を生成する過程
を処理し、
前記少なくとも１つのプロセッサは、
前記生成する過程において、前記プロンプト内のラベルに該当する自然語に対する確率分布を利用してラベル分布を示すソフトラベルを生成する、コンピュータ装置。
【請求項13】
前記少なくとも１つのプロセッサは、テキストの意味的多様性に応じて、学習データセットから前記原本データを選択すること
を特徴とする、請求項１２に記載のコンピュータ装置。
【請求項14】
前記少なくとも１つのプロセッサは、前記学習データセットからラベルタイプの個数だけの前記原本データを選択すること
を特徴とする、請求項１３に記載のコンピュータ装置。
【請求項15】
前記少なくとも１つのプロセッサは、テキストタイプとラベルタイプが含まれた形式で前記プロンプトを構成すること
を特徴とする、請求項１２～１４のうちのいずれか一項に記載のコンピュータ装置。
【請求項16】
前記少なくとも１つのプロセッサは、テキストタイプとラベルタイプ、およびラベル－トークン区分子が含まれた形式で前記プロンプトを構成すること
を特徴とする、請求項１２～１４のうちのいずれか一項に記載のコンピュータ装置。
【請求項17】
コンピュータ装置であって、
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
前記少なくとも１つのプロセッサは、
原本データを利用して言語モデルの入力文となるプロンプトを構成する過程であって、タスク仕様、前記原本データ、およびプロンプトテンプレートを組み合わせて前記プロンプトを構成する過程、および
前記プロンプトを前記言語モデルに入力し、前記言語モデルから新規データと前記新規データに対するラベル情報を生成する過程
を処理する、コンピュータ装置。
【請求項18】
コンピュータ装置であって、
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
前記少なくとも１つのプロセッサは、
原本データを利用して言語モデルの入力文となるプロンプトを構成する過程、および
前記プロンプトを前記言語モデルに入力し、前記言語モデルから新規データと前記新規データに対するラベル情報を生成する過程
を処理し、
前記少なくとも１つのプロセッサは、
前記生成する過程において、前記プロンプト内のテキストとラベルに該当する自然語に対し、以前のトークンの確率分布を次のトークンの入力として伝達する自己回帰方式を利用して前記新規データと前記ラベル情報を抽出すること
を特徴とする、コンピュータ装置。
【請求項19】
前記少なくとも１つのプロセッサは、ヒューリスティックを利用したビームサーチにより、前記以前のトークンの確率分布のうちの上位一部の確率を前記次のトークンの入力として伝達すること
を特徴とする、請求項１８に記載のコンピュータ装置。
【請求項20】
コンピュータ装置であって、
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサは、
テキストの意味的多様性に応じて、学習データセットから原本データを選択する過程、
前記原本データを利用して言語モデルの入力文となるプロンプトを構成する過程、および
前記プロンプトを前記言語モデルに入力し、前記言語モデルから新規データと前記新規データに対するラベル情報を生成する過程
を処理する、コンピュータ装置。
【発明の詳細な説明】
【技術分野】
【0001】
以下の説明は、テキストデータを生成する技術に関する。
【背景技術】
【0002】
ＮＬＰ（ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ）モデルを構築するためには、データ設計とデータ収集の先行によってモデル学習に必要なデータを確保する。確保したデータに基づいてモデルを学習した後、性能を評価しながらデータ設計やモデル学習の改善作業を繰り返す。
【0003】
ＰＬＭ（ｐｒｅｔｒａｉｎｅｄ ｌａｎｇｕａｇｅ ｍｏｄｅｌ）が登場してからは、ＰＬＭを基盤に特定のドメインやタスクを解くＮＬＰモデルによってファインチューニング（ｆｉｎｅ ｔｕｎｉｎｇ）を行う方法が適用されている。
【0004】
さらに、ＮＬＰモデルを効率的に学習するためには、データ拡張（ｄａｔａ ａｕｇｍｅｎｔａｔｉｏｎ）技法が使用されている。
【0005】
一例として、ＥＤＡ（ｅａｓｙ ｄａｔａ ａｕｇｍｅｎｔａｔｉｏｎ）のようにモデル学習のために表面的に文句を操作してテキストデータを生成する技術は、生成された文章の文法性が低く、文章の意味が意図するものとの間に大きな差が生じる場合がある。
【0006】
他の例として、再変換（Ｂａｃｋ－ｔｒａｎｓｌａｔｉｏｎ）のように機械翻訳モデルを利用して類似文章を生成する技術は、特定の言語的特性をもつ翻訳コーパスによって学習された翻訳モデルを活用するため、生成された文体が（生成の対象となる）既存のテキストデータの言語的特性を反映することができず、汎用的な使用が不可能であるという短所がある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
多様な言語特性のコーパスによって学習された大規模言語モデルを利用して自然語生成結果を導き出すことができ、導き出された生成結果から新規データを抽出することができる、データ拡張技術を提供する。
【課題を解決するための手段】
【0008】
コンピュータ装置が実行するデータ生成方法であって、前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記データ生成方法は、前記少なくとも１つのプロセッサが、原本データを利用して言語モデルの入力文となるプロンプト（ｐｒｏｍｐｔ）を構成する段階、および前記少なくとも１つのプロセッサが、前記プロンプトを前記言語モデルに入力し、前記言語モデルから新規データと前記新規データに対するラベル情報を生成する段階を含む、データ生成方法を提供する。
【0009】
一側面によると、前記生成する段階は、前記プロンプト内のラベルに該当する自然語に対する確率分布（ｐｒｏｂａｂｉｌｉｔｙ ｄｉｓｔｒｉｂｕｔｉｏｎ）を利用してラベル分布を示すソフトラベルを生成する段階を含んでよい。
【0010】
他の側面によると、前記データ生成方法は、前記少なくとも１つのプロセッサが、テキストの意味的多様性に応じて、学習データセットから前記原本データを選択する段階をさらに含んでよい。
【0011】
また他の側面によると、前記選択する段階は、前記学習データセットからラベルタイプの個数だけの前記原本データを選択してよい。
【0012】
また他の側面によると、前記構成する段階は、テキストタイプとラベルタイプが含まれた形式で前記プロンプトを構成してよい。
【0013】
また他の側面によると、前記構成する段階は、テキストタイプとラベルタイプ、およびラベル位置区分子（ｖｅｒｂａｌｉｚｅｒ）が含まれた形式で前記プロンプトを構成してよい。
【0014】
また他の側面によると、前記構成する段階は、前記原本データを加工し、前記原本データと同一形式の自然語形態で前記プロンプトを構成してよい。
【0015】
また他の側面によると、前記構成する段階は、タスク仕様（ｔａｓｋ ｓｐｅｃｉｆｉｃａｔｉｏｎ）、前記原本データ、およびプロンプトテンプレート（ｔｅｍｐｌａｔｅ）を組み合わせて前記プロンプトを構成してよい。
【0016】
また他の側面によると、前記生成する段階は、前記プロンプト内のテキストとラベルに該当する自然語に対し、以前のトークンの確率分布を次のトークンの入力として伝達する自己回帰（ａｕｔｏ ｒｅｇｒｅｓｓｉｖｅ）方式を利用して前記新規データと前記ラベル情報を抽出する段階を含んでよい。
【0017】
さらに他の側面によると、前記抽出する段階は、ヒューリスティック（ｈｅｕｒｉｓｔｉｃ）を利用したビームサーチ（ｂｅａｍ ｓｅａｒｃｈ）により、前記以前のトークンの確率分布のうちの上位一部の確率を前記次のトークンの入力として伝達する段階を含んでよい。
【0018】
前記データ生成方法を前記コンピュータ装置に実行させるためのコンピュータプログラムを提供する。
【0019】
コンピュータ装置であって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、原本データを利用して言語モデルの入力文となるプロンプトを構成する過程、および前記プロンプトを前記言語モデルに入力し、前記言語モデルから新規データと前記新規データに対するラベル情報を生成する過程を処理する、コンピュータ装置を提供する。
【発明の効果】
【0020】
本発明の実施形態によると、言語モデルを利用して原本データを変形したり拡張したりして新規データを生成し、言語モデルが認知している知識を新規データを通じて転移することにより、データ収集の投入工数を著しく減らすことができ、モデル軽量化の効果を達成することができる。
【図面の簡単な説明】
【0021】
【図1】本発明の一実施形態における、コンピュータ装置の内部構成の一例を説明するためのブロック図である。
【図2】本発明の一実施形態における、大規模言語モデルを利用したテキスト拡張の概念を説明するための図である。
【図3】本発明の一実施形態における、コンピュータ装置が実行することのできるデータ生成方法の例を示したフローチャートである。
【図4】本発明の一実施形態における、言語モデルの入力プロンプトを構成する過程を説明するための図である。
【図5】本発明の一実施形態における、データ拡張過程を説明するための図である。
【図6】本発明の一実施形態における、データ拡張過程を説明するための図である。
【図7】本発明の一実施形態における、言語モデルを利用して新たな文章とラベル情報を生成する過程を説明するための図である。
【図8】本発明の一実施形態における、分布のあるソフトラベルを生成する過程を説明するための図である。
【図9】本発明の一実施形態における、原本データの例と、原本データから生成された新規データの例を示した図である。
【発明を実施するための形態】
【0022】
以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。
【0023】
本発明の実施形態は、言語モデルを利用したテキストデータ生成技術に関する。
【0024】
本明細書で具体的に開示される事項を含む実施形態は、大規模言語モデルを利用することで、既存のテキストデータの特性と一貫性がある上に、高い文法性と自然さを備えた文章を生成することができる。さらに、該当の文章に対する高い品質のラベル情報も生成することができる。
【0025】
【0026】
図１に示すように、コンピュータ装置１００は、本発明の実施形態に係るデータ生成方法を実行するための構成要素として、メモリ１１０、プロセッサ１２０、通信インタフェース１３０、および入力／出力インタフェース１４０を含んでよい。
【0027】
メモリ１１０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ１１０とは区分される別の永続的記録装置としてコンピュータ装置１００に含まれてもよい。また、メモリ１１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ１１０とは別のコンピュータ読み取り可能な記録媒体からメモリ１１０にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース１３０を通じてメモリ１１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク１６０を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ装置１００のメモリ１１０にロードされてよい。
【0028】
プロセッサ１１０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ１１０または通信インタフェース１３０によって、プロセッサ１２０に提供されてよい。例えば、プロセッサ１２０は、メモリ１１０のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
【0029】
通信インタフェース１３０は、ネットワーク１６０を介してコンピュータ装置１００が他の装置と互いに通信するための機能を提供してよい。一例として、コンピュータ装置１００のプロセッサ１２０がメモリ１１０のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース１３０の制御にしたがってネットワーク１６０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク１６０を経てコンピュータ装置１００の通信インタフェース１３０を通じてコンピュータ装置１００に受信されてよい。通信インタフェース１３０を通じて受信された信号や命令、データなどは、プロセッサ１２０やメモリ１１０に伝達されてよく、ファイルなどは、コンピュータ装置１００がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。
【0030】
通信方式が限定されることはなく、ネットワーク１６０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１６０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１６０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。
【0031】
入力／出力インタフェース１４０は、入力／出力装置１５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、カメラ、またはマウスなどの装置を、出力装置は、ディスプレイ、スピーカのような装置を含んでよい。他の例として、入力／出力インタフェース１４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置１５０は、コンピュータ装置１００と１つの装置で構成されてもよい。
【0032】
また、他の実施形態において、コンピュータ装置１００は、図１の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータ装置１００は、上述した入力／出力装置１５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。
【0033】
本発明で使用する大規模言語モデルとは、Ｆｅｗ－ｓｈｏｔ Ｌｅａｒｎｉｎｇ（ＦＳＬ）などのような方式を利用してファインチューニング（ｆｉｎｅ－ｔｕｎｉｎｇ）を経ずに推論することが可能な言語モデルを指称してよく、従来の一般的な言語モデルに比べて１０倍以上も多い媒介変数（例えば、１０００億個以上の媒介変数など）を有する。例えば、ＧＰＴ－３（Ｇｅｎｅｒａｔｉｖｅ Ｐｒｅ－ｔｒａｉｎｅｄ Ｔｒａｎｓｆｏｒｍｅｒ３）やＨｙｐｅｒＣｌｏｖａのような大規模言語モデルは、自然なテキストプロンプトで制御することが可能な優れたＦｅｗ－ｓｈｏｔ学習機であって、プロンプトによって少量のデータだけでパターンを理解し、ＮＬＰ問題を解決する能力であるインコンテキスト学習（ｉｎ－ｃｏｎｔｅｘｔ ｌｅａｒｎｉｎｇ）が可能である。
【0034】
本実施形態は、大規模言語モデルを活用して原本データから新規データを生成する新たなデータ拡張技法に関する。さらに、言語モデルで予測したソフトラベル（ｓｏｆｔ ｌａｂｅｌ）を活用して大規模言語モデルで知識を効果的に蒸溜すると同時に、テキスト摂動（ｔｅｘｔｕａｌ ｐｅｒｔｕｒｂａｔｉｏｎｓ）を生成することができる。
【0035】
図２は、本発明の一実施形態における、大規模言語モデルを利用したテキスト拡張の概念を説明するための図である。
【0036】
図２を参照すると、本実施形態において、大規模言語モデル２１０は、モデル学習に必要な合成テキストデータ（ｓｙｎｔｈｅｔｉｃ ｔｅｘｔ ｄａｔａ）を生成するためのバックボーンとして使用される。
【0037】
本実施形態によると、大規模言語モデル２１０を使用することで、原本データから、合成でありながらも極事実的（ｈｙｐｅｒ－ｒｅａｌｉｓｔｉｃ）な新規データを生成することができる。
【0038】
ラベルがあるかラベルのない形態のテキストデータがあるとき、該当のデータを自然語形態のプロンプト入力文に変換し、変換されたプロンプト入力文を言語モデル２１０に入力として与えることで主語自然語生成結果を導き出してよい。導き出された生成結果を分析して新規データを抽出してよく、このとき、新規データは、原本データと同じ形態であって、ラベルがあるかラベルのない形態である。抽出された新規データは、原本テキストデータに追加してデータ収集に役立てたり、該当のデータによってモデルを生成すればモデルの性能が高まったりもする。
【0039】
言い換えれば、本実施形態は、データ拡張を目的とし、大規模言語モデル２１０で新規データを生成するためにプロンプト基盤の接近方式を使用するものであって、原本データからインスピレーションを受けた新規データと大規模言語モデル２１０によって予測されたソフトラベルを使用して小規模分類モデルを訓練することにより、知識の蒸溜を達成することができる。
【0040】
図３は、本発明の一実施形態における、コンピュータ装置が実行することのできるデータ生成方法の例を示したフローチャートである。
【0041】
本実施形態に係るデータ生成方法は、上述したコンピュータ装置１００によって実行されてよい。この場合、コンピュータ装置１００のプロセッサ１２０は、メモリ１１０が含むオペレーティングシステムのコードと、少なくとも１つのプログラムのコードとによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ１２０は、コンピュータ装置１００に記録されたコードが提供する制御命令にしたがってコンピュータ装置１００が図３のデータ生成方法に含まれる段階３１０～３４０を実行するようにコンピュータ装置１００を制御してよい。
【0042】
本実施形態に係るデータ生成方法は、データ分布に基づいて、極めて流暢な新規データを生成することができる。
【0043】
図３を参照すると、段階３１０で、プロセッサ１２０は、データセットからプロンプトに使用する原本データを選定してよい。
【0044】
以下では、テキスト分類タスクのためのデータ生成を例に挙げて原本データを選定する方法を説明する。分類タスクＴが与えられた場合、学習データセットは、テキストｘとラベルｙの対からなる集合
【0045】
【数1】
【0046】
一例として、プロセッサ１２０は、学習データセットＤからｋ個の原本データをランダムに選択してよい。プロセッサ１２０は、一様分布（ｕｎｉｆｏｒｍ ｄｉｓｔｒｉｂｕｔｉｏｎ）を利用してｋ個の原本データを選択してよい（数式（１））。
【0047】
【数2】
【0048】
原本データの個数であるｋは、費用と性能を考慮した上で決定されてよく、例えば、プロセッサ１２０は、ｋを２に設定して学習データセットＤから２つの原本データを選択してよい。
【0049】
他の例として、プロセッサ１２０は、学習データセットＤから、テキストの意味的多様性を考慮した上で、原本データを選択してよい。意味的多様性とは、テキストの意味がどれほど多様であるかを示す指標である。意味的多様性が低い場合は、生成されたデータが既存のデータセットの原本と類似度が高いためデータ拡張効果が低い反面、意味的多様性が高いほどデータ拡張に役立つ新規データが得られる確率が高まる。
【0050】
意味的多様性を計算する方法として、文章ベクトル表現法（例えば、ｂａｇ－ｏｆ－ｗｏｒｄｓ、ａｇｇｒｅｇａｔｅ ｗｏｒｄ２ｖｅｃ、ＢＥＲＴ ｅｍｂｅｄｄｉｎｇ、ＢＬＥＵＲＴなど）を利用して各テキストのベクトルを抽出する。類似度（例えば、ｃｏｓｉｎｅ ｓｉｍｉｌａｒｉｔｙなど）を利用してベクトル間の距離を計算したり、ＢＬＥＵＲＴのようなネットワークを利用して各対のセマンティック距離（ｐａｉｒｗｉｓｅ ｓｅｍａｎｔｉｃ ｄｉｓｔａｎｃｅ）を計算したりした後、距離が遠い（ｓｅｍａｎｔｉｃ ｄｉｓｔａｎｃｅが高い）対にさらに高い加重値を付与してサンプリングを実施してよい。
【0051】
プロセッサ１２０は、学習データセットＤからクラスの数、すなわち、ラベルの種類に該当するだけの原本データを選択してよい。プロセッサ１２０は、同一ラベルの原本データのうちで各対のセマンティック距離が高いデータを優先的に選択してよい。セマンティック距離にα（ａｌｐｈａ）乗数を適用してよく、このとき、αは、最適化が必要なハイパーパラメータに該当する。
【0052】
段階３２０で、プロセッサ１２０は、言語モデルの入力に該当するプロンプトを構成してよい。プロセッサ１２０は、段階３１０で選択された原本データを利用して言語モデルの入力プロンプトを構成してよい。プロセッサ１２０は、与えられたＮＬＰ問題の特性が適切に反映された専用プロンプトテンプレートを製作してよく、このとき、プロンプトテンプレートには、該当のタスクの定義やメタ情報が含まれてよい。言い換えれば、プロセッサ１２０は、データセットから選択された原本データを加工して自然語形態のプロンプトを構成してよく、このとき、プロンプトは、言語モデルが理解することが可能な形式で製作され、言語モデルの入力として与えられる。プロセッサ１２０は、原本データがラベルのあるデータの場合、ラベル情報とともに入力文が生成されるようにプロンプトを設計する。
【0053】
プロセッサ１２０は、学習データセットＤからサンプリングされた原本データ
【0054】
【数3】
が与えられるとき、説明ヘッダ（ｄｅｓｃｒｉｐｔｉｏｎ ｈｅａｄｅｒ）、テキスト－ラベル対リスト、拡張接頭辞（ａｕｇｍｅｎｔａｔｉｏｎ ｐｒｅｆｉｘ）で構成されたプロンプトを生成してよい。プロンプトは、言語モデルがデータ分布に対してさらに適切に一般化することが可能なように各タスクの情報を有しており、このようなタスク表示子（ｔａｓｋ ｉｎｄｉｃａｔｏｒ）は、タスクごとに固有であり、課題のメタ情報を提供してよい。
【0055】
プロンプトの形式自体は多様に構成されてよいが、一例として、プロンプトは、テキストタイプ（例えば、レビューや記事など）とラベルタイプ（例えば、感情や分類など）、さらにラベル位置を確認することのできるラベル－トークン区分子（ｌａｂｅｌ－ｔｏｋｅｎ ｖｅｒｂａｌｉｚｅｒ）を含んでよい。
【0056】
テキストタイプＴは、入力テキストｘのメタタイプであって、例えば、動画レビュー感情分析においてテキストタイプは動画レビューに該当する。ラベルタイプＬはラベルクラスｙのメタタイプであって、例えば、動画レビュー感情分析においてラベルタイプは感情に該当する。ラベル－トークン区分子ｖ
【0057】
【数4】
【0058】
【数5】
【0059】
【数6】
【0060】
上述した３つのメタ情報は、タスク仕様（ｔａｓｋ ｓｐｅｃｉｆｉｃａｔｉｏｎ）
【0061】
【数7】
【0062】
【数8】
【0063】
【数9】
【0064】
【数10】
【0065】
要するに、図４に示すように、プロセッサ１２０は、与えられたタスクＴに対し、タスク仕様４１０、学習データセット４００からサンプリングされた原本データであるデータ例４２０、与えられたタスクＴの特性を考慮したプロンプトテンプレート４３０を組み合わせて言語モデルの入力プロンプトを構成してよい。
【0066】
図５の具体的な例から分かるように、プロセッサ１２０は、タスク仕様４１０、データ例４２０、およびプロンプトテンプレート４３０を利用して言語モデルが理解することが可能な形式で構成して言語モデルの入力プロンプト５４０を製作してよい。タスク仕様４１０の一例は表１に示すとおりであり、プロンプトテンプレート４３０の一例は表２に示すとおりである。データ例４２０として
【0067】
【数11】
【0068】
【表1】
【0069】
再び図３を参照すると、段階３３０で、プロセッサ１２０は、段階３２０で構成されたプロンプトを言語モデルに入力し、言語モデルから新規データが含まれた自然語を生成してよい。言い換えれば、プロセッサ１２０は、プロンプト入力文を言語モデルに入力した後、言語モデルの完成機能によって言語生成結果を得てよい。
【0070】
段階３４０で、プロセッサ１２０は、自然語生成結果を分析して新規データを抽出してよい。言語モデルは、入力文として与えられたプロンプトのパターンに沿って自然語を生成してよく、生成された自然語のパターン分析によって新規データを抽出してよい。
【0071】
図６に示すように、プロセッサ１２０は、プロンプト５４０を言語モデル２１０に入力し、言語モデル２１０に基づいて生成された自然語のパターンを分析することで、拡張データ６５０として（新しい文章、該当の文章のラベル情報）対を得てよい。一例として、プロセッサ１２０は、プロンプト５４０内のラベルに該当する自然語トークンの言語モデリング確率分布を使用してラベル分布を得てよい。
【0072】
プロンプト基盤の接近方式の場合、拡張テキストｘ’とラベルｙ’は、プロンプト以後に自然語テキストとして連続で生成される。サンプリングされた原本データに基づいて予め定義されたプロンプトテンプレートは、言語モデルが（ｘ’、ｙ’）構造を生成するように入力文を提供するため、パターンマッチングによって各値を抽出してよい。また、共同テキスト（ｊｏｉｎｔ ｔｅｘｔ）およびラベル生成は、生成されたテキストが正しいラベルに連結されるようにする。
【0073】
本実施形態のプロンプトデザインは、
【0074】
【数12】
に該当するラベルトークンがテキストｘ以後に生成されるように保障する。プロセッサ１２０は、言語モデルを利用して疑似ラベリング（ｐｓｅｕｄｏ－ｌａｂｅｌｉｎｇ）を実行してよく、拡張テキストｘ’のソフトラベル確率を得るためにラベル－トークンを生成する可能性（ｌｉｋｅｌｉｈｏｏｄ）を正規化してよい。
【0075】
拡張テキストｘ’がラベルｙ’によってラベリングされる疑似ラベル確率は、数式（２）のとおりである。
【0076】
【数13】
【0077】
【数14】
【0078】
【数15】
【0079】
本実施形態では、テキスト摂動、疑似ラベリング、知識の蒸溜を単一拡張タスクで効果的に結合することができる。実際に、疑似ラベルのある新規データは、交差エントロピー損失（ｃｒｏｓｓ－ｅｎｔｒｏｐｙ ｌｏｓｓ）を使用して原本データとともに訓練される。
【0080】
図７を参照すると、プロセッサ１２０は、言語モデル２１０の完成機能による確率分布に基づいて新規データを生成してよく、このとき、ラベル－トークン区分子を基準にパターン分析でラベルに該当するトークンに対する確率を利用してソフトラベル、すなわち、分布のあるラベルを生成してよい。
【0081】
より詳しく説明すると、プロセッサ１２０は、プロンプト入力文として提供されるすべての自然語を特定のトークン化形態（ｔｏｋｅｎｉｚａｔｉｏｎ ｓｃｈｅｍｅ）（例えば、定数形態のインデックスなど）に変換した後、言語モデル２１０に入力する。（新しい文章、該当の文章のラベル情報）対を得るためには、自己回帰（ａｕｔｏｒｅｇｒｅｓｓｉｖｅ）に基づいて以前のトークンの確率分布を次のトークンの入力として伝達するようになるが、このとき、ヒューリスティック（ｈｅｕｒｉｓｔｉｃ）を利用したビームサーチ（ｂｅａｍ ｓｅａｒｃｈ）によって上位ｎ個の確率を次のトークンの入力として使用する。各トークンの自体確率分布と以前のトークンの確率分布を掛けたジョイント確率のうちで上位ｎ個の確率を利用することにより、確率値の高いシーケンスを抽出することができる。
【0082】
例えば、図８に示すように、プロセッサ１２０は、ラベルに該当するトークンの確率を利用してソフトラベルを構成してよい。言い換えれば、ソフトラベルは、言語モデル２１０によって予測された正規化ラベルトークン分布から抽出されてよい。
【0083】
図９を参照すると、肯定に分類されたデータ例１（９１０）と否定に分類されたデータ例２（９２０）が原本データとして与えられた場合、言語モデル２１０を利用した言語生成結果から新規データ９３０を抽出してよい。
【0084】
プロセッサ１２０は、プロンプトによって生成された結果を分析し、合成された新規データとラベル情報を抽出する。このような作業を数回繰り返すことにより、本来はデータに存在していなかった多様なデータと正確な分類情報が得られるようになり、このようなデータを既存のデータに混合すれば、ダウンストリームＮＬＰモデルをファインチューニングするのに使用することができる。新規データ９３０は、与えられた２つの原本データ９１０、９２０の言語的および構造的特徴を適切に参照して生成される出力データであって、該当の新規データ９３０に肯定と否定を適切に混ぜることで、既存には存在しない、完全に新たなデータとなる。
【0085】
新規データ９３０を学習データセットに追加することで、すなわち、データ拡張することで最終分類機性能を高めることができる。
【0086】
原本データ９１０、９２０は、単一ラベルが付着された形態のハードラベルのあるデータや、新規データ９３０は、少なくとも２つ以上のラベル分布形態のソフトラベルのあるデータとして生成されてよい。
【0087】
ソフトラベルをハードラベルに変換することは最大演算（ｍａｘ ｏｐｅｒａｔｉｏｎ）などによって可能であるため、原本データ９１０、９２０や新規データ９３０はすべてハードラベル形態で活用することができる。学習過程では、交差エントロピー（ｃｒｏｓｓ ｅｎｔｒｏｐｙ）などの損失関数を使用するため、ハードラベル形態とソフトラベル形態をすべて活用することができる。
【0088】
このように、本発明の実施形態によると、言語モデルに基づいて既存のデータを変形したり拡張したりして拡張データを生成し、言語モデルが認知している知識を拡張データを通じて転移することにより、データ収集の投入工数を著しく減らすことができ、モデル軽量化の効果を達成することができる。
【0089】
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
【0090】
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
【0091】
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。
【0092】
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
【0093】
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
【符号の説明】
【0094】
２１０：言語モデル
２２０：ＰＬＭ
２２０：ＰＬＭ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
