ホーム > 特許ランキング > Ｓｐｉｒａｌ．ＡＩ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025010993
(43)【公開日】2025-01-23
(54)【発明の名称】言語モデル生成装置および言語モデル生成方法
(51)【国際特許分類】
G06F 40/216 20200101AFI20250116BHJP
G06N 3/0895 20230101ALI20250116BHJP
【ＦＩ】
G06F40/216
G06N3/0895
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023113350
(22)【出願日】2023-07-10
(11)【特許番号】
(45)【特許公報発行日】2024-03-04
(71)【出願人】
【識別番号】523174354
【氏名又は名称】Ｓｐｉｒａｌ．ＡＩ株式会社
(74)【代理人】
【識別番号】100105784
【弁理士】
【氏名又は名称】橘 和之
(72)【発明者】
【氏名】佐々木 雄一
(57)【要約】
【課題】大規模な計算資源を要することなく領域特化の言語モデルの学習を実現できるようにする。
【解決手段】特定領域に限定しない文章データセットを用いて学習済みの大規模言語モデル（ＬＬＭ）に対して追加される小規模言語モデル（ＳＬＭ）を学習するＳＬＭ学習部１０は、ＳＬＭからの出力文章が特定領域の知識を反映したものとなるように、特定領域に限定した文章データセットを用いて領域特化のための学習を行う第１のモデル学習部１１を備え、汎用的に学習されたＬＬＭより規模の小さいＳＬＭを領域特化のために学習し、学習されたＳＬＭをＬＬＭと共に使用して推論可能な構成を提供することにより、大規模な計算資源を要することなく領域特化の言語モデルの学習を実現する。
【選択図】図１
【解決手段】特定領域に限定しない文章データセットを用いて学習済みの大規模言語モデル（ＬＬＭ）に対して追加される小規模言語モデル（ＳＬＭ）を学習するＳＬＭ学習部１０は、ＳＬＭからの出力文章が特定領域の知識を反映したものとなるように、特定領域に限定した文章データセットを用いて領域特化のための学習を行う第１のモデル学習部１１を備え、汎用的に学習されたＬＬＭより規模の小さいＳＬＭを領域特化のために学習し、学習されたＳＬＭをＬＬＭと共に使用して推論可能な構成を提供することにより、大規模な計算資源を要することなく領域特化の言語モデルの学習を実現する。
【選択図】図１
【特許請求の範囲】
【請求項1】
特定領域に限定しない文章データセットを用いて学習済みの大規模言語モデルに対して追加される言語モデルであって、上記大規模言語モデルより規模の小さい小規模言語モデルを学習する小規模言語モデル学習部を備え、
上記小規模言語モデル学習部は、上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、上記特定領域に限定した文章データセットを用いて領域特化のための学習を行うとともに、上記小規模言語モデルからの出力文章が所望の表現形態となるように、入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行う
ことを特徴とする言語モデル生成装置。
上記小規模言語モデル学習部は、上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、上記特定領域に限定した文章データセットを用いて領域特化のための学習を行うとともに、上記小規模言語モデルからの出力文章が所望の表現形態となるように、入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行う
ことを特徴とする言語モデル生成装置。
【請求項2】
上記小規模言語モデル学習部は、上記特定領域に限定した文章データセットを用いて上記領域特化のための学習を行った後に、上記入出力対の文章から成る文章データセットを用いて上記タスク特化のための追加学習を行うことを特徴とする請求項１に記載の言語モデル生成装置。
【請求項3】
上記領域特化のための学習を自己教師あり学習により行い、上記タスク特化のための学習を教師あり学習により行うことを特徴とする請求項１または２に記載の言語モデル生成装置。
【請求項4】
上記小規模言語モデル学習部は、
上記特定領域に限定した文章データセットを用いて上記領域特化のための自己教師あり学習を行うことにより、上記大規模言語モデルより規模の小さい領域特化型の小規模言語モデルを生成する第１のモデル学習部と、
上記入出力対の文章から成る文章データセットを用いて上記タスク特化のための教師あり学習を行うことにより、上記領域特化型の小規模言語モデルより規模の小さいタスク特化型の小規模言語モデルを生成する第２のモデル学習部とを備えた
ことを特徴とする請求項１に記載の言語モデル生成装置。
上記特定領域に限定した文章データセットを用いて上記領域特化のための自己教師あり学習を行うことにより、上記大規模言語モデルより規模の小さい領域特化型の小規模言語モデルを生成する第１のモデル学習部と、
上記入出力対の文章から成る文章データセットを用いて上記タスク特化のための教師あり学習を行うことにより、上記領域特化型の小規模言語モデルより規模の小さいタスク特化型の小規模言語モデルを生成する第２のモデル学習部とを備えた
ことを特徴とする請求項１に記載の言語モデル生成装置。
【請求項5】
上記第１のモデル学習部により生成された上記領域特化型の小規模言語モデルと上記第２のモデル学習部により生成された上記タスク特化型の小規模言語モデルとを統合するモデル統合部を更に備えたことを特徴とする請求項４に記載の言語モデル生成装置。
【請求項6】
上記大規模言語モデルと、上記第１のモデル学習部により生成された上記領域特化型の小規模言語モデルおよび上記第２のモデル学習部により生成された上記タスク特化型の小規模言語モデルの少なくとも一方とを統合するモデル統合部を更に備えたことを特徴とする請求項４に記載の言語モデル生成装置。
【請求項7】
上記第１のモデル学習部が上記領域特化型の小規模言語モデルを生成する際に用いた上記特定領域に限定した文章データセットを用いて、上記特定領域の知識を反映した入出力対の文章から成る文章データセットを生成するデータセット生成部を更に備え、
上記第２のモデル学習部は、上記データセット生成部により生成された文章データセットを用いて上記タスク特化のための教師あり学習を行う
ことを特徴とする請求項４に記載の言語モデル生成装置。
上記第２のモデル学習部は、上記データセット生成部により生成された文章データセットを用いて上記タスク特化のための教師あり学習を行う
ことを特徴とする請求項４に記載の言語モデル生成装置。
【請求項8】
上記小規模言語モデルはランクを設定可能なモデルであり、上記領域特化型の小規模言語モデルのランクよりも、上記タスク特化型の小規模言語モデルのランクを小さく設定することを特徴とする請求項４～７の何れか１項に記載の言語モデル生成装置。
【請求項9】
上記第１のモデル学習部は、上記領域特化型の小規模言語モデルとして、ランクを６４より大きい何れかの値に設定したＬｏＲＡの学習を行うことを特徴とする請求項４～７の何れか１項に記載の言語モデル生成装置。
【請求項10】
特定領域に限定しない文章データセットを用いて学習済みの大規模言語モデルに対して追加される言語モデルであって、上記大規模言語モデルより規模の小さい小規模言語モデルを生成する言語モデル生成装置において、
上記特定領域に限定した文章データセットを用いて、上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、ランクを６４より大きい何れかの値に設定したＬｏＲＡの学習を行う小規模言語モデル学習部を備えたことを特徴とする言語モデル生成装置。
上記特定領域に限定した文章データセットを用いて、上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、ランクを６４より大きい何れかの値に設定したＬｏＲＡの学習を行う小規模言語モデル学習部を備えたことを特徴とする言語モデル生成装置。
【請求項11】
特定領域に限定しない文章データセットを用いて学習済みの大規模言語モデルに対して追加される、上記大規模言語モデルより規模の小さい小規模言語モデルを生成する言語モデル生成方法であって、
コンピュータの小規模言語モデル学習部が、上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、上記特定領域に限定した文章データセットを用いて領域特化のための学習を行うとともに、上記小規模言語モデルからの出力文章が所望の表現形態となるように、入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うことを特徴とする言語モデル生成方法。
コンピュータの小規模言語モデル学習部が、上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、上記特定領域に限定した文章データセットを用いて領域特化のための学習を行うとともに、上記小規模言語モデルからの出力文章が所望の表現形態となるように、入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うことを特徴とする言語モデル生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、言語モデル生成装置および言語モデル生成方法に関し、特に、特定領域に限定しない文章データセットを用いて学習済みの大規模言語モデルに対して追加される小規模言語モデルを生成する技術に関するものである。
【背景技術】
【0002】
従来、大規模言語モデル（ＬＬＭ：Large Language Models）を用いて質疑応答などの自然言語処理を行うシステムが提供されている。ＬＬＭは、大量のテキストデータを使ってトレーニングされた自然言語処理のモデルのことであり、文章を入力とし、文章を出力する。質疑応答を行うシステムにＬＬＭを適用した場合、ＬＬＭに質問文を入力すると、ＬＬＭから回答文が出力される。
【0003】
近年、ＬＬＭの利活用は進んでいるが、巨大な言語モデルを学習させるには、数百台を超える高価なＧＰＵ計算資源が要求される。そのため、幅広いデータを学習させて何にでも使い回せる「汎用型モデル」を開発することが中心となっている。一方、特定領域の文章をもとに学習させた「特化型モデル」の方がその特定領域において高い性能を期待でき、それを試みている例（例えば、Bloomberg GPT）も出てきている。特定領域の文章を学習させてその知識を埋め込む「領域特化」は、Knowledge-Injectionと呼ばれている。非特許文献１には、この領域特化の追加学習に関する手法が開示されている。しかしながら、いずれのモデルも数億円単位の巨額の資金を投じる必要があり、なかなか浸透していない。
【0004】
計算量を減らすための手法として、汎用に学習された大規模な事前学習済みモデル（Pre-Trained Language Model：ＰＬＭ）から出発して、小規模なモデルを加えて追加学習（fine-tuning）する手法も存在する。また、さらに計算量やメモリ消費量を減らすために、ＬｏＲＡ（Low-Rank Adaptation）という手法も開発されている。ただし、これらは主に、文語体を出力するかわりに口語体で出力するとか、長い文章ではなく歯切れのよい会話形式で出力するといったように、ＰＬＭの出力形態を変更するなどの「タスク特化」のために利用されてきた。
【先行技術文献】
【特許文献】
【0005】
【非特許文献1】“Plug-and-Play Knowledge Injection for Pre-trained Language Models”（ACL Rolling Review - June 2022, 2022.6.6 (modified:2023.5.6) ＜ＵＲＬ：https://openreview.net/forum?id=f4RClsuGaHS＞
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、このような実情に鑑みて成されたものであり、大規模な計算資源を要することなく領域特化の言語モデルの学習を実現できるようにすることを目的とする。
【課題を解決するための手段】
【0007】
上記した課題を解決するために、本発明は、特定領域に限定しない文章データセットを用いて学習済みの大規模言語モデルに対して追加される小規模言語モデルを学習するものであり、小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、特定領域に限定した文章データセットを用いて領域特化のための学習を行うとともに、小規模言語モデルからの出力文章が所望の表現形態となるように、入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うようにしている。
【発明の効果】
【0008】
上記のように構成した本発明によれば、特定領域に限定しない文章データセットを用いて汎用的に学習された大規模言語モデルより規模の小さい小規模言語モデルが領域特化のために学習され、学習された小規模言語モデルを大規模言語モデルと共に使用して推論可能な構成が提供されるので、大規模な計算資源を要することなく領域特化の言語モデルの学習を実現することができる。さらに本発明では、小規模言語モデルに対して表現形態調整に関するタスク特化のための学習も行われるので、大規模な計算資源を要することなく領域特化およびタスク特化の言語モデルの学習を実現することができる。
【図面の簡単な説明】
【0009】
【図1】本実施形態による言語モデル生成装置の機能構成例を示すブロック図である。
【図2】本実施形態による言語モデル生成装置の他の機能構成例を示すブロック図である。
【図3】データセット生成部による文章データの生成例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による言語モデル生成装置１の機能構成例を示すブロック図である。本実施形態の言語モデル生成装置１は、機能構成として、小規模言語モデル学習部１０を備えている。以下では、小規模言語モデル学習部１０を“ＳＬＭ学習部１０”と略す（ＳＬＭ：Small Language Models）。ＳＬＭ学習部１０は、具体的な機能構成として、第１のモデル学習部１１、第２のモデル学習部１２およびモデル統合部１３を備える。
【0011】
上記機能ブロック１１～１３は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えば、上記機能ブロック１１～１３は、ＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成されたマイクロコンピュータの制御により、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記憶媒体に記憶されたプログラムが動作することによって実現される。ＣＰＵに代えてまたは加えてＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）またはＤＳＰなどを用いてもよい。
【0012】
また、本実施形態の言語モデル生成装置１には、記憶媒体としての記憶部１００～１０４が接続されている。ＬＬＭ記憶部１００は、特定領域に限定しない文章データセットを用いて学習済みの大規模言語モデル（ＬＬＭ）が記憶されている。このＬＬＭの学習は公知の技術を用いて行うことが可能である。ＬＬＭの学習は本実施形態の主題ではないので、詳しい説明は割愛する。本実施形態のＳＬＭ学習部１０は、この汎用的に学習されたＬＬＭを事前学習済みモデル（ＰＬＭ）として用い、当該ＰＬＭの中間出力に摂動を与える形で学習を行う。
【0013】
特定領域データ記憶部１０１は、特定領域に限定した文章データセットを記憶する。例えば、特定領域データ記憶部１０１は、特定領域の専門的な文章を記録した複数の文章データを記憶する。一例として、書籍やウェブサイト、論文、特許文書などの各種リソースから集めた文章データを用いることが可能である。特定領域は、１つであってもよいし、複数であってもよい。本実施形態の言語モデル生成装置１は、特定領域ごとにＳＬＭ学習部１０による学習を行うことにより、特定領域ごとに領域に特化したＳＬＭを生成する。
【0014】
一般的に、書籍やウェブサイト、論文、特許文書などから収集される文章データには、空白や改行もしくはＨＴＭＬタグなどの文字以外のデータが混ざっていることがある。そこで、このようなノイズデータをあらかじめ除去した文章データを特定領域データ記憶部１０１に記憶するようにしてもよい。例えば、正規表現などのプログラミング手法によってノイズデータを除去することが可能である。あるいは、ノイズデータ除去用に生成されたＬＬＭまたはＳＬＭや、よく知られたＮＬＰ（自然言語処理）の手法を用いてノイズデータを除去するようにしてもよい。
【0015】
また、上述の各種リソースから集めた文章データをもとに新たな文章データを生成し、この新たな文章データも特定領域データ記憶部１０１に記憶するようにしてもよい。例えば、ＬＬＭ（ＬＬＭ記憶部１００に記憶されているものでもよいし、それ以外のものでもよい）を用いて、特定領域データ記憶部１０１から読み出した元の文章を要約した文章、当該元の文章と同じ意味の別の文章、あるいは当該元の文章から新たに知識を問うような文章問題などを生成し、これらの文章データを特定領域データ記憶部１０１に追加して記憶することにより、学習用の文章データを水増しすることが可能である。なお、特定領域データ記憶部１０１には元の文章だけを記憶しておき、ＳＬＭ学習部１０が学習を行う際に新たな文章データを生成するようにしてもよい。
【0016】
入出力対データ記憶部１０２は、入力文章と出力文章との対から成る教師データとしての文章データセットを記憶する。例えば、入出力対データ記憶部１０２は、所望の表現形態で記述された出力文章と、所望の表現形態ではない表現形態で記述された入力文章との対から成る文章データセットを記憶する。一例として、文語体で記述された入力文章と口語体（所望の表現形態）で記述された出力文章との対から成る複数の文章データセットを記憶する。あるいは、文字数の多い入力文章とそれを要約した文字数の少ない出力文章（所望の表現形態）との対から成る複数の文章データセットを記憶するようにしてもよい。
【0017】
この入出力対の文章から成る文章データセットは、人間の手で作成したものであってもよいし、コンピュータにより自動生成したものであってもよい。自動生成する場合、例えば、ユーザによるＬＬＭとの過去の対話を記録した対話履歴データから入出力の対を得て文章データセットを生成することが可能である。このとき自動生成する入出力対の文章のうち出力文章は、所望の表現形態から成る文章となるようにする。
【0018】
言語モデル生成装置１のＳＬＭ学習部１０は、特定領域データ記憶部１０１に記憶されている特定領域に限定した文章データセットおよび入出力対データ記憶部１０２に記憶されている入出力対の文章から成る文章データセットを用いて、ＬＬＭ記憶部１００に記憶されているＬＬＭに対して追加される言語モデルであって、当該ＬＬＭより規模の小さい小規模言語モデル（ＳＬＭ）を学習する。本実施形態では、計算量とメモリ消費量を軽減させるためにＳＬＭの一例としてＬｏＲＡを用いる。ＬｏＲＡは、Transformerと呼ばれる言語モデルの層に学習可能なランク分解行列（パラメータ）を挿入する仕組みを採用することで、ベースとなるＬＬＭが有している元のパラメータを更新せずに、ファインチューニングのための差分パラメータを計算することが可能に構成されたＳＬＭである。
【0019】
ここで、ＳＬＭ学習部１０は、ＳＬＭ（ＬｏＲＡ）からの出力文章が特定領域の知識を反映したものとなるように、特定領域に限定した文章データセットを用いて領域特化のための学習を行うとともに、ＳＬＭ（ＬｏＲＡ）からの出力文章が所望の表現形態となるように、入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行う。本実施形態において、ＳＬＭ学習部１０は、領域特化のための学習を行った後に、タスク特化のための追加学習を行い、それぞれの学習で生成したＳＬＭをＨｉｇｈランクモデル記憶部１０３およびＬｏｗランクモデル記憶部１０４にそれぞれ記憶する。
【0020】
具体的には、ＳＬＭ学習部１０は、第１のモデル学習部１１および第２のモデル学習部１２によって２段階の学習を行う。第１のモデル学習部１１は、特定領域データ記憶部１０１に記憶されている特定領域に限定した文章データセットを用いて領域特化のための自己教師あり学習を行うことにより、規模の小さい領域特化型のＳＬＭを生成する。言語モデルの分野の学習において自己教師あり学習とは、一般的に、学習対象の言語モデルに文章を与え、次に出現する単語もしくは空欄に入る単語を予測させることで学習する手法である。第１のモデル学習部１１はこの種の自己教師あり学習を行う。
【0021】
このとき、第１のモデル学習部１１は、ＬｏＲＡのランクＲを大きく設定する。ランクＲを大きく設定するとは、従来タスク特化のために利用されてきたＬｏＲＡを学習する際に一般的に設定されるランクＲ（例えば、Ｒ＝２～１６）よりも大きいランクを設定するという意味である。このようにすることにより、領域特化の知識をＬｏＲＡに学習させやすくすることが可能である。例えばＲ＞１６とすればよいが、経験的にはＲ＞６４の範囲でランクＲを設定すると知識の学習程度は大きくなり、大きくすれば大きくするほど知識の学習力は大きくなる。ただし、ランクＲを大きくし過ぎるとモデルの規模が大きくなってしまい、計算量やメモリ消費量が増大するため、適切な値に調整される必要がある。以下、ランクＲを大きく設定して学習されたＬｏＲＡを「ＨｉｇｈランクＬｏＲＡ」という。なお、ここで挙げたランクＲの数値はデータやモデルの種類に応じて調整されるべきものであり、上記値に限られない。
【0022】
ＬＬＭ記憶部１００に記憶されているＬＬＭをＰＬＭとして用い、これに第１のモデル学習部１１により学習された領域特化型のＳＬＭを組み合わせることにより、特定領域の専門的な知識を持つＬＬＭを構築することが可能である。ただし、このＬＬＭは、ある文章を与えたときに、続く単語を次々と答えることには長けているが、特定の表現形態の文章を出力するようには学習されていない。例えば、人間の質問文を入力として、それに対する自然な会話形式で適切な回答文を出力するようには構築されていない。
【0023】
これに対して第２のモデル学習部１２は、入出力対データ記憶部１０２に記憶されている入出力対の文章から成る文章データセットを用いてタスク特化のための教師あり学習を行うことにより、第１のモデル学習部１１により生成された領域特化型のＳＬＭより規模の小さいタスク特化型のＳＬＭを生成する。第２のモデル学習部１２による学習においては、計算量とメモリ消費量をより軽減させるために、ＨｉｇｈランクＬｏＲＡよりもＬｏＲＡのランクＲを小さく設定する。例えばＲ≦１６とすることが可能である。以下、ランクＲを小さく設定して学習されたＬｏＲＡを「ＬｏｗランクＬｏＲＡ」という。なお、ここで挙げたランクＲの数値はデータやモデルの種類に応じて調整されるべきものであり、上記値に限られない。
【0024】
以上のように、第１のモデル学習部１１は、ＬＬＭ記憶部１００に記憶されているＬＬＭ（ＰＬＭ）に対するファインチューニングモデルとして、ランクＲの大きい領域特化型のＨｉｇｈランクＬｏＲＡを構築する。第２のモデル学習部１２は、ＰＬＭとＨｉｇｈランクＬｏＲＡとの組み合わせに対するファインチューニングモデルとして、ランクＲの小さいタスク特化型のＬｏｗランクＬｏＲＡを構築する。そのため、ＬＬＭ記憶部１００に記憶されたＰＬＭと、Ｈｉｇｈランクモデル記憶部１０３に記憶されたＨｉｇｈランクＬｏＲＡと、Ｌｏｗランクモデル記憶部１０４に記憶されたＬｏｗランクＬｏＲＡとの３つのモジュールが登場する。これらのモジュールはパラメータ群の行列として捉えることができるため、任意に足し合わせて統合することが可能である。
【0025】
モデル統合部１３は、例えば図１（ａ）に示すように、第１のモデル学習部１１により生成されてＨｉｇｈランクモデル記憶部１０３に記憶された領域特化型のＨｉｇｈランクＬｏＲＡと、第２のモデル学習部１２により生成されてＬｏｗランクモデル記憶部１０４に記憶されたタスク特化型のＬｏｗランクＬｏＲＡとを統合する（ＬＬＭ記憶部１００のＰＬＭは統合しない）。以下、領域特化型のＨｉｇｈランクＬｏＲＡとタスク特化型のＬｏｗランクＬｏＲＡとを統合して生成されるＬｏＲＡを「領域・タスク特化型ＬｏＲＡ」という。領域・タスク特化型ＬｏＲＡを生成した場合、推論時には、ＰＬＭと領域・タスク特化型ＬｏＲＡとのそれぞれで行列計算を行い、それぞれの計算結果を足し合わせて出力を得る。複数の特定領域ごとに領域・タスク特化型ＬｏＲＡを生成しておくことにより、専門知識を持つＬｏＲＡを高速に切り替えて推論させることができるため、計算資源の利用効率が良いというメリットを有する。
【0026】
また、モデル統合部１３は、図１（ｂ）に示すように、ＬＬＭ記憶部１００に記憶されているＬＬＭ（ＰＬＭ）と、第１のモデル学習部１１により生成されてＨｉｇｈランクモデル記憶部１０３に記憶された領域特化型のＨｉｇｈランクＬｏＲＡおよび第２のモデル学習部１２により生成されてＬｏｗランクモデル記憶部１０４に記憶されたタスク特化型のＬｏｗランクＬｏＲＡの少なくとも一方とを統合するようにしてもよい。すなわち、ＰＬＭとＨｉｇｈランクＬｏＲＡとを統合してもよいし、ＰＬＭとＬｏｗランクＬｏＲＡとを統合してもよいし、ＰＬＭとＨｉｇｈランクＬｏＲＡとＬｏｗランクＬｏＲＡとを統合してもよい。
【0027】
例えば、ＰＬＭとＨｉｇｈランクＬｏＲＡとＬｏｗランクＬｏＲＡとを統合して１つのＬＬＭを構築した場合、推論時には、そのＬＬＭで行列計算を行うだけでよいので、最小の計算量とメモリ消費量で推論を行うことが可能となる。ただし、この場合はＬＬＭから２つのＬｏＲＡを取り外すことができなくなるので、推論時に動的に専門領域を切り替えることは難しい。
【0028】
また、ＰＬＭとＨｉｇｈランクＬｏＲＡとを統合する一方でＬｏｗランクＬｏＲＡを分離しておく場合、複数の表現形態ごとにタスク特化型のＬｏｗランクＬｏＲＡを生成しておくことにより、特定の専門領域において所望の表現形態を高速に切り替えて推論させることが可能である。例えば、ＬｏｗランクＬｏＲＡが出力文章の表現形態を調整するという性質を「ユーザごとの会話のテイストの保持」という目的に利用するため、ＬｏｗランクＬｏＲＡをユーザごとに学習し、推論時にはユーザに応じてＬｏｗランクＬｏＲＡを適宜切り替えられるように分離して保持しておくようにすることが可能である。
【0029】
なお、ここではモデル統合部１３を備える構成について説明したが、モデル統合部１３は省略し、ＰＬＭとＨｉｇｈランクＬｏＲＡとＬｏｗランクＬｏＲＡとをそれぞれ分離したまま保持するようにしてもよい。この場合、複数の特定領域ごとに領域特化型のＨｉｇｈランクＬｏＲＡを生成しておくとともに、複数の表現形態ごとにタスク特化型のＬｏｗランクＬｏＲＡを生成しておくことにより、所望の特定領域と所望の表現形態との組み合わせを高速に切り替えて推論させることが可能である。
【0030】
また、上記実施形態において、第２のモデル学習部１２の教師あり学習において教師データとして使用する入出力対の文章から成る文章データセットを自動生成してもよいことについて説明した。これに関して、図２に示すようにデータセット生成部１４を更に備え、第１のモデル学習部１１が自己教師あり学習において使用した特定領域の文章データからＬＬＭやＮＬＰの手法を用いて入出力対の文章データを生成するようにしてもよい。
【0031】
データセット生成部１４は、第１のモデル学習部１１が領域特化型のＳＬＭ（ＨｉｇｈランクＬｏＲＡ）を生成する際に用いた特定領域に限定した文章データセットを用いて、特定領域の知識を反映した入出力対の文章から成る文章データセットを生成する。図３は、特定領域の文章データを用いて入出力対の文章から成る文章データを生成した例を示す図である。図３は、１つの特定領域の文章から３つの入出力対の文章が生成された状態を示している。
【0032】
図２の構成において、第２のモデル学習部２は、入出力対データ記憶部１０２に記憶されている文章データセットに加え、データセット生成部１４により生成された文章データセットを用いてタスク特化のための教師あり学習を行う。
【0033】
以上詳しく説明したように、本実施形態では、特定領域に限定しない文章データセットを用いて学習済みの大規模なＰＬＭに対して追加されるＳＬＭを学習する際に、ＳＬＭからの出力文章が特定領域の知識を反映したものとなるように、特定領域に限定した文章データセットを用いて領域特化のための学習を行うとともに、ＳＬＭからの出力文章が所望の表現形態となるように、入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うようにしている。
【0034】
このように構成した本実施形態によれば、特定領域に限定しない文章データセットを用いて汎用的に学習された大規模なＰＬＭより規模の小さいＳＬＭが領域特化のために学習され、学習されたＳＬＭをＰＬＭと共に使用して推論可能な構成が提供されるので、大規模な計算資源を要することなく領域特化の言語モデルの学習を実現することができる。さらに本実施形態では、ＳＬＭに対して表現形態調整に関するタスク特化のための学習も行われるので、大規模な計算資源を要することなく領域特化およびタスク特化の言語モデルの学習を実現することができる。
【0035】
なお、上記実施形態では、領域特化型のＳＬＭをＨｉｇｈランクＬｏＲＡで構成し、タスク特化型のＳＬＭをＬｏｗランクＬｏＲＡで構成する例について説明したが、ＨｉｇｈとＬｏｗの関係を逆にしてもよい。すなわち、領域特化型のＳＬＭをＬｏｗランクＬｏＲＡで構成し、タスク特化型のＳＬＭをＨｉｇｈランクＬｏＲＡで構成してもよい。例えば、領域特化型のＬｏＲＡのランクＲを１００台の値とし、タスク特化型のＬｏＲＡのランクＲを領域特化型のＬｏＲＡのランクＲよりもわずかに大きくするようにしてもよい。
【0036】
また、上記実施形態では、特定領域に限定した文章データセットを用いて領域特化のための学習を行った後に、入出力対の文章から成る文章データセットを用いてタスク特化のための追加学習を行う例について説明したが、これに限定されない。例えば、領域特化のための学習とタスク特化のための学習とを同時に行ってもよい。この場合、領域特化型のＬｏＲＡのランクＲとタスク特化型のＬｏＲＡのランクＲとを同じ値とし、特定領域に限定した文章データセットと入出力対の文章から成る文章データセットとを混ぜ合わせて学習を行う。
【0037】
また、上記実施形態では、ＳＬＭの一例としてＬｏＲＡを用いる例について説明したが、これに限定されない。例えば、ＬｏＲＡから派生したＱＬｏＲＡなどを用いてもよいし、Ａｄａｐｔｅｒに分類されるようなＬｏＲＡとは異なる手法を用いてもよい。これらの手法は、まとめてＰＥＦＴ（Parameter-Efficient Fine-Tuning）と呼ばれる。ベースとなるＬＬＭが有している元のパラメータを更新せずに差分パラメータを計算することが可能に構成された言語モデルであれば、ＬｏＲＡを使わないファインチューニングの手法を用いることが可能である。
【0038】
また、上記実施形態では、領域特化のための学習を自己教師あり学習により行い、タスク特化のための学習を教師あり学習により行う例について説明したが、これに限定されない。例えば、何れの学習も教師あり学習により行うようにしてもよい。
【0039】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0040】
１ 言語モデル生成装置
１０ ＳＬＭ学習部
１１ 第１のモデル学習部
１２ 第２のモデル学習部
１３ モデル統合部
１４ データセット生成部
１０ ＳＬＭ学習部
１１ 第１のモデル学習部
１２ 第２のモデル学習部
１３ モデル統合部
１４ データセット生成部
【図1】
【図2】
【図3】
【手続補正書】
【提出日】2023-08-08
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
特定領域に限定しない文章データセットを用いて学習済みの大規模言語モデルに対して追加される、上記大規模言語モデルより規模の小さい小規模言語モデルであって、適用対象のモデルが有しているパラメータを更新せずにファインチューニングのための差分パラメータを計算することが可能に構成された小規模言語モデルをパラメータ調整により学習する小規模言語モデル学習部を備え、
上記小規模言語モデル学習部は、上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、上記特定領域に限定した文章データセットを用いて領域特化のための学習を行うとともに、上記小規模言語モデルからの出力文章が特定の表現形態の文章となるように、上記特定の表現形態ではない表現形態で記述された入力文章と上記特定の表現形態で記述された出力文章とを含む入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行う
ことを特徴とする言語モデル生成装置。
上記小規模言語モデル学習部は、上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、上記特定領域に限定した文章データセットを用いて領域特化のための学習を行うとともに、上記小規模言語モデルからの出力文章が特定の表現形態の文章となるように、上記特定の表現形態ではない表現形態で記述された入力文章と上記特定の表現形態で記述された出力文章とを含む入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行う
ことを特徴とする言語モデル生成装置。
【請求項2】
上記小規模言語モデル学習部は、上記特定領域に限定した文章データセットを用いて上記領域特化のための学習を行った後に、上記入出力対の文章から成る文章データセットを用いて上記タスク特化のための追加学習を行うことを特徴とする請求項１に記載の言語モデル生成装置。
【請求項3】
上記領域特化のための学習を自己教師あり学習により行い、上記タスク特化のための学習を教師あり学習により行うことを特徴とする請求項１または２に記載の言語モデル生成装置。
【請求項4】
上記小規模言語モデル学習部は、
上記特定領域に限定した文章データセットを用いて上記領域特化のための自己教師あり学習を行うことにより、上記大規模言語モデルより規模の小さい領域特化型の小規模言語モデルを生成する第１のモデル学習部と、
上記入出力対の文章から成る文章データセットを用いて上記タスク特化のための教師あり学習を行うことにより、上記領域特化型の小規模言語モデルより規模の小さいタスク特化型の小規模言語モデルを生成する第２のモデル学習部とを備えた
ことを特徴とする請求項１に記載の言語モデル生成装置。
上記特定領域に限定した文章データセットを用いて上記領域特化のための自己教師あり学習を行うことにより、上記大規模言語モデルより規模の小さい領域特化型の小規模言語モデルを生成する第１のモデル学習部と、
上記入出力対の文章から成る文章データセットを用いて上記タスク特化のための教師あり学習を行うことにより、上記領域特化型の小規模言語モデルより規模の小さいタスク特化型の小規模言語モデルを生成する第２のモデル学習部とを備えた
ことを特徴とする請求項１に記載の言語モデル生成装置。
【請求項5】
上記第１のモデル学習部により生成された上記領域特化型の小規模言語モデルと上記第２のモデル学習部により生成された上記タスク特化型の小規模言語モデルとを統合するモデル統合部を更に備えたことを特徴とする請求項４に記載の言語モデル生成装置。
【請求項6】
上記大規模言語モデルと、上記第１のモデル学習部により生成された上記領域特化型の小規模言語モデルおよび上記第２のモデル学習部により生成された上記タスク特化型の小規模言語モデルの少なくとも一方とを統合するモデル統合部を更に備えたことを特徴とする請求項４に記載の言語モデル生成装置。
【請求項7】
上記第１のモデル学習部が上記領域特化型の小規模言語モデルを生成する際に用いた上記特定領域に限定した文章データセットを用いて、上記特定領域の知識を反映した入出力対の文章から成る文章データセットを生成するデータセット生成部を更に備え、
上記第２のモデル学習部は、上記データセット生成部により生成された文章データセットを用いて上記タスク特化のための教師あり学習を行う
ことを特徴とする請求項４に記載の言語モデル生成装置。
上記第２のモデル学習部は、上記データセット生成部により生成された文章データセットを用いて上記タスク特化のための教師あり学習を行う
ことを特徴とする請求項４に記載の言語モデル生成装置。
【請求項8】
上記小規模言語モデルはランクを設定可能なモデルであり、上記領域特化型の小規模言語モデルのランクよりも、上記タスク特化型の小規模言語モデルのランクを小さく設定することを特徴とする請求項４～７の何れか１項に記載の言語モデル生成装置。
【請求項9】
上記第１のモデル学習部は、上記領域特化型の小規模言語モデルとして、ランクを６４より大きい何れかの値に設定したＬｏＲＡの学習を行うことを特徴とする請求項４～７の何れか１項に記載の言語モデル生成装置。
【請求項10】
特定領域に限定しない文章データセットを用いて学習済みの大規模言語モデルに対して追加される言語モデルであって、上記大規模言語モデルより規模の小さい小規模言語モデルを生成する言語モデル生成装置において、
上記特定領域に限定した文章データセットを用いて、上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、ランクを６４より大きい何れかの値に設定したＬｏＲＡのパラメータ調整による学習を行う小規模言語モデル学習部を備えたことを特徴とする言語モデル生成装置。
上記特定領域に限定した文章データセットを用いて、上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、ランクを６４より大きい何れかの値に設定したＬｏＲＡのパラメータ調整による学習を行う小規模言語モデル学習部を備えたことを特徴とする言語モデル生成装置。
【請求項11】
特定領域に限定しない文章データセットを用いて学習済みの大規模言語モデルに対して追加される、上記大規模言語モデルより規模の小さい小規模言語モデルであって、適用対象のモデルが有しているパラメータを更新せずにファインチューニングのための差分パラメータを計算することが可能に構成された小規模言語モデルをパラメータ調整による学習によって生成する言語モデル生成方法であって、
コンピュータの小規模言語モデル学習部が、上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、上記特定領域に限定した文章データセットを用いて領域特化のための学習を行うとともに、上記小規模言語モデルからの出力文章が特定の表現形態の文章となるように、上記特定の表現形態ではない表現形態で記述された入力文章と上記特定の表現形態で記述された出力文章とを含む入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うことを特徴とする言語モデル生成方法。
コンピュータの小規模言語モデル学習部が、上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、上記特定領域に限定した文章データセットを用いて領域特化のための学習を行うとともに、上記小規模言語モデルからの出力文章が特定の表現形態の文章となるように、上記特定の表現形態ではない表現形態で記述された入力文章と上記特定の表現形態で記述された出力文章とを含む入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うことを特徴とする言語モデル生成方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
上記した課題を解決するために、本発明は、特定領域に限定しない文章データセットを用いて学習済みの大規模言語モデルに対して追加される小規模言語モデルであって、適用対象のモデルが有しているパラメータを更新せずにファインチューニングのための差分パラメータを計算することが可能に構成された小規模言語モデルを学習するものであり、小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、特定領域に限定した文章データセットを用いて領域特化のための学習を行うとともに、小規模言語モデルからの出力文章が特定の表現形態の文章となるように、特定の表現形態ではない表現形態で記述された入力文章と特定の表現形態で記述された出力文章とを含む入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うようにしている。
【手続補正書】
【提出日】2023-09-13
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
特定領域に限定しない文章データセットを用いて学習済みの大規模言語モデルに対して追加される、上記大規模言語モデルより規模の小さい小規模言語モデルであって、適用対象のモデルが有しているパラメータを更新せずにファインチューニングのための差分パラメータを計算することが可能に構成された小規模言語モデルをパラメータ調整により学習する小規模言語モデル学習部を備え、
上記小規模言語モデル学習部は、
上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、上記特定領域に限定した文章データセットを用いて領域特化のための学習を行うことにより、領域特化型の小規模言語モデルを生成する第１のモデル学習部と、
上記小規模言語モデルからの出力文章が特定の表現形態の文章となるように、上記特定の表現形態ではない表現形態で記述された入力文章と上記特定の表現形態で記述された出力文章とを含む入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うことにより、タスク特化型の小規模言語モデルを生成する第２のモデル学習部とを備え、
上記小規模言語モデルはランクを設定可能なモデルであり、
上記第１のモデル学習部は、上記領域特化型の小規模言語モデルとして、ランクを６４より大きい何れかの値に設定したモデルの学習を行う
ことを特徴とする言語モデル生成装置。
上記小規模言語モデル学習部は、
上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、上記特定領域に限定した文章データセットを用いて領域特化のための学習を行うことにより、領域特化型の小規模言語モデルを生成する第１のモデル学習部と、
上記小規模言語モデルからの出力文章が特定の表現形態の文章となるように、上記特定の表現形態ではない表現形態で記述された入力文章と上記特定の表現形態で記述された出力文章とを含む入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うことにより、タスク特化型の小規模言語モデルを生成する第２のモデル学習部とを備え、
上記小規模言語モデルはランクを設定可能なモデルであり、
上記第１のモデル学習部は、上記領域特化型の小規模言語モデルとして、ランクを６４より大きい何れかの値に設定したモデルの学習を行う
ことを特徴とする言語モデル生成装置。
【請求項2】
上記小規模言語モデル学習部は、上記特定領域に限定した文章データセットを用いて上記領域特化のための学習を行った後に、上記入出力対の文章から成る文章データセットを用いて上記タスク特化のための追加学習を行うことを特徴とする請求項１に記載の言語モデル生成装置。
【請求項3】
上記領域特化のための学習を自己教師あり学習により行い、上記タスク特化のための学習を教師あり学習により行うことを特徴とする請求項１または２に記載の言語モデル生成装置。
【請求項4】
上記第１のモデル学習部は、上記特定領域に限定した文章データセットを用いて上記領域特化のための自己教師あり学習を行うことにより、上記大規模言語モデルより規模の小さい上記領域特化型の小規模言語モデルを生成し、
上記第２のモデル学習部は、上記入出力対の文章から成る文章データセットを用いて上記タスク特化のための教師あり学習を行うことにより、上記領域特化型の小規模言語モデルより規模の小さい上記タスク特化型の小規模言語モデルを生成する
ことを特徴とする請求項１に記載の言語モデル生成装置。
上記第２のモデル学習部は、上記入出力対の文章から成る文章データセットを用いて上記タスク特化のための教師あり学習を行うことにより、上記領域特化型の小規模言語モデルより規模の小さい上記タスク特化型の小規模言語モデルを生成する
ことを特徴とする請求項１に記載の言語モデル生成装置。
【請求項5】
上記第１のモデル学習部により生成された上記領域特化型の小規模言語モデルと上記第２のモデル学習部により生成された上記タスク特化型の小規模言語モデルとを統合するモデル統合部を更に備えたことを特徴とする請求項１に記載の言語モデル生成装置。
【請求項6】
上記大規模言語モデルと、上記第１のモデル学習部により生成された上記領域特化型の小規模言語モデルおよび上記第２のモデル学習部により生成された上記タスク特化型の小規模言語モデルの少なくとも一方とを統合するモデル統合部を更に備えたことを特徴とする請求項１に記載の言語モデル生成装置。
【請求項7】
上記第１のモデル学習部が上記領域特化型の小規模言語モデルを生成する際に用いた上記特定領域に限定した文章データセットを用いて、上記特定領域の知識を反映した入出力対の文章から成る文章データセットを生成するデータセット生成部を更に備え、
上記第２のモデル学習部は、上記データセット生成部により生成された文章データセットを用いて上記タスク特化のための教師あり学習を行う
ことを特徴とする請求項１に記載の言語モデル生成装置。
上記第２のモデル学習部は、上記データセット生成部により生成された文章データセットを用いて上記タスク特化のための教師あり学習を行う
ことを特徴とする請求項１に記載の言語モデル生成装置。
【請求項8】
上記領域特化型の小規模言語モデルのランクよりも、上記タスク特化型の小規模言語モデルのランクを小さく設定することを特徴とする請求項１に記載の言語モデル生成装置。
【請求項9】
上記領域特化型の小規模言語モデルは、ランクを６４より大きい何れかの値に設定したＬｏＲＡであることを特徴とする請求項１に記載の言語モデル生成装置。
【請求項10】
特定領域に限定しない文章データセットを用いて学習済みの大規模言語モデルに対して追加される言語モデルであって、上記大規模言語モデルより規模の小さい小規模言語モデルを生成する言語モデル生成装置において、
上記特定領域に限定した文章データセットを用いて、上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、ランクを６４より大きい何れかの値に設定したＬｏＲＡのパラメータ調整による学習を行う小規模言語モデル学習部を備えたことを特徴とする言語モデル生成装置。
上記特定領域に限定した文章データセットを用いて、上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、ランクを６４より大きい何れかの値に設定したＬｏＲＡのパラメータ調整による学習を行う小規模言語モデル学習部を備えたことを特徴とする言語モデル生成装置。
【請求項11】
特定領域に限定しない文章データセットを用いて学習済みの大規模言語モデルに対して追加される、上記大規模言語モデルより規模の小さい小規模言語モデルであって、適用対象のモデルが有しているパラメータを更新せずにファインチューニングのための差分パラメータを計算することが可能に構成された小規模言語モデルをパラメータ調整による学習によって生成する言語モデル生成方法であって、
コンピュータの第１のモデル学習部が、上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、上記特定領域に限定した文章データセットを用いて領域特化のための学習を行うことにより、領域特化型の小規模言語モデルを生成する第１のステップと、
上記コンピュータの第２のモデル学習部が、上記小規模言語モデルからの出力文章が特定の表現形態の文章となるように、上記特定の表現形態ではない表現形態で記述された入力文章と上記特定の表現形態で記述された出力文章とを含む入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うことにより、タスク特化型の小規模言語モデルを生成する第２のステップとを有し、
上記小規模言語モデルはランクを設定可能なモデルであり、
上記第１のモデル学習部は、上記領域特化型の小規模言語モデルとして、ランクを６４より大きい何れかの値に設定したモデルの学習を行う
ことを特徴とする言語モデル生成方法。
コンピュータの第１のモデル学習部が、上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、上記特定領域に限定した文章データセットを用いて領域特化のための学習を行うことにより、領域特化型の小規模言語モデルを生成する第１のステップと、
上記コンピュータの第２のモデル学習部が、上記小規模言語モデルからの出力文章が特定の表現形態の文章となるように、上記特定の表現形態ではない表現形態で記述された入力文章と上記特定の表現形態で記述された出力文章とを含む入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うことにより、タスク特化型の小規模言語モデルを生成する第２のステップとを有し、
上記小規模言語モデルはランクを設定可能なモデルであり、
上記第１のモデル学習部は、上記領域特化型の小規模言語モデルとして、ランクを６４より大きい何れかの値に設定したモデルの学習を行う
ことを特徴とする言語モデル生成方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
上記した課題を解決するために、本発明は、特定領域に限定しない文章データセットを用いて学習済みの大規模言語モデルに対して追加される小規模言語モデルであって、適用対象のモデルが有しているパラメータを更新せずにファインチューニングのための差分パラメータを計算することが可能に構成された小規模言語モデルを学習するものであり、小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、特定領域に限定した文章データセットを用いて領域特化のための学習を行うとともに、小規模言語モデルからの出力文章が特定の表現形態の文章となるように、特定の表現形態ではない表現形態で記述された入力文章と特定の表現形態で記述された出力文章とを含む入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うようにしている。ここで、小規模言語モデルはランクを設定可能なモデルであり、領域特化型の小規模言語モデルとして、ランクを６４より大きい何れかの値に設定したモデルの学習を行うようにしている。
【手続補正書】
【提出日】2023-11-07
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
特定領域に限定しない文章データセットを用いて学習済みの大規模言語モデルに対して追加される、上記大規模言語モデルより規模の小さい小規模言語モデルであって、適用対象のモデルが有しているパラメータを更新せずにファインチューニングのための差分パラメータを計算することが可能に構成された小規模言語モデルをパラメータ調整により学習する小規模言語モデル学習部を備え、
上記小規模言語モデル学習部は、
上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、上記特定領域に限定した文章データセットを用いて領域特化のための学習を行うことにより、領域特化型の小規模言語モデルを生成する第１のモデル学習部と、
上記第１のモデル学習部が上記領域特化型の小規模言語モデルを生成する際に用いた上記特定領域に限定した文章データセットを用いて、上記特定の表現形態ではない表現形態で記述された入力文章と上記特定の表現形態で記述された出力文章とを含む入出力対の文章から成る文章データセットであって、かつ、上記特定領域の知識を反映した入出力対の文章から成る文章データセットを生成するデータセット生成部と、
上記小規模言語モデルからの出力文章が特定の表現形態の文章となるように、上記データセット生成部により生成された文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うことにより、タスク特化型の小規模言語モデルを生成する第２のモデル学習部とを備え、
上記小規模言語モデルはランクを設定可能なモデルであり、
上記第１のモデル学習部は、上記領域特化型の小規模言語モデルとして、ランクを６４より大きい何れかの値に設定したモデルの学習を行う
ことを特徴とする言語モデル生成装置。
上記小規模言語モデル学習部は、
上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、上記特定領域に限定した文章データセットを用いて領域特化のための学習を行うことにより、領域特化型の小規模言語モデルを生成する第１のモデル学習部と、
上記第１のモデル学習部が上記領域特化型の小規模言語モデルを生成する際に用いた上記特定領域に限定した文章データセットを用いて、上記特定の表現形態ではない表現形態で記述された入力文章と上記特定の表現形態で記述された出力文章とを含む入出力対の文章から成る文章データセットであって、かつ、上記特定領域の知識を反映した入出力対の文章から成る文章データセットを生成するデータセット生成部と、
上記小規模言語モデルからの出力文章が特定の表現形態の文章となるように、上記データセット生成部により生成された文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うことにより、タスク特化型の小規模言語モデルを生成する第２のモデル学習部とを備え、
上記小規模言語モデルはランクを設定可能なモデルであり、
上記第１のモデル学習部は、上記領域特化型の小規模言語モデルとして、ランクを６４より大きい何れかの値に設定したモデルの学習を行う
ことを特徴とする言語モデル生成装置。
【請求項2】
上記小規模言語モデル学習部は、上記特定領域に限定した文章データセットを用いて上記領域特化のための学習を行った後に、上記入出力対の文章から成る文章データセットを用いて上記タスク特化のための追加学習を行うことを特徴とする請求項１に記載の言語モデル生成装置。
【請求項3】
上記領域特化のための学習を自己教師あり学習により行い、上記タスク特化のための学習を教師あり学習により行うことを特徴とする請求項１または２に記載の言語モデル生成装置。
【請求項4】
上記第１のモデル学習部は、上記特定領域に限定した文章データセットを用いて上記領域特化のための自己教師あり学習を行うことにより、上記大規模言語モデルより規模の小さい上記領域特化型の小規模言語モデルを生成し、
上記第２のモデル学習部は、上記入出力対の文章から成る文章データセットを用いて上記タスク特化のための教師あり学習を行うことにより、上記領域特化型の小規模言語モデルより規模の小さい上記タスク特化型の小規模言語モデルを生成する
ことを特徴とする請求項１に記載の言語モデル生成装置。
上記第２のモデル学習部は、上記入出力対の文章から成る文章データセットを用いて上記タスク特化のための教師あり学習を行うことにより、上記領域特化型の小規模言語モデルより規模の小さい上記タスク特化型の小規模言語モデルを生成する
ことを特徴とする請求項１に記載の言語モデル生成装置。
【請求項5】
上記第１のモデル学習部により生成された上記領域特化型の小規模言語モデルと上記第２のモデル学習部により生成された上記タスク特化型の小規模言語モデルとを統合するモデル統合部を更に備えたことを特徴とする請求項１に記載の言語モデル生成装置。
【請求項6】
上記大規模言語モデルと、上記第１のモデル学習部により生成された上記領域特化型の小規模言語モデルおよび上記第２のモデル学習部により生成された上記タスク特化型の小規模言語モデルの少なくとも一方とを統合するモデル統合部を更に備えたことを特徴とする請求項１に記載の言語モデル生成装置。
【請求項7】
上記領域特化型の小規模言語モデルのランクよりも、上記タスク特化型の小規模言語モデルのランクを小さく設定することを特徴とする請求項１に記載の言語モデル生成装置。
【請求項8】
上記領域特化型の小規模言語モデルは、ランクを６４より大きい何れかの値に設定したＬｏＲＡであることを特徴とする請求項１に記載の言語モデル生成装置。
【請求項9】
特定領域に限定しない文章データセットを用いて学習済みの大規模言語モデルに対して追加される、上記大規模言語モデルより規模の小さい小規模言語モデルであって、適用対象のモデルが有しているパラメータを更新せずにファインチューニングのための差分パラメータを計算することが可能に構成された小規模言語モデルをパラメータ調整による学習によって生成する言語モデル生成方法であって、
コンピュータの第１のモデル学習部が、上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、上記特定領域に限定した文章データセットを用いて領域特化のための学習を行うことにより、領域特化型の小規模言語モデルを生成する第１のステップと、
上記コンピュータのデータセット生成部が、上記第１のモデル学習部が上記領域特化型の小規模言語モデルを生成する際に用いた上記特定領域に限定した文章データセットを用いて、上記特定の表現形態ではない表現形態で記述された入力文章と上記特定の表現形態で記述された出力文章とを含む入出力対の文章から成る文章データセットであって、かつ、上記特定領域の知識を反映した入出力対の文章から成る文章データセットを生成する第２のステップと、
上記コンピュータの第２のモデル学習部が、上記小規模言語モデルからの出力文章が特定の表現形態の文章となるように、上記データセット生成部により生成された入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うことにより、タスク特化型の小規模言語モデルを生成する第３のステップとを有し、
上記小規模言語モデルはランクを設定可能なモデルであり、
上記第１のモデル学習部は、上記領域特化型の小規模言語モデルとして、ランクを６４より大きい何れかの値に設定したモデルの学習を行う
ことを特徴とする言語モデル生成方法。
コンピュータの第１のモデル学習部が、上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、上記特定領域に限定した文章データセットを用いて領域特化のための学習を行うことにより、領域特化型の小規模言語モデルを生成する第１のステップと、
上記コンピュータのデータセット生成部が、上記第１のモデル学習部が上記領域特化型の小規模言語モデルを生成する際に用いた上記特定領域に限定した文章データセットを用いて、上記特定の表現形態ではない表現形態で記述された入力文章と上記特定の表現形態で記述された出力文章とを含む入出力対の文章から成る文章データセットであって、かつ、上記特定領域の知識を反映した入出力対の文章から成る文章データセットを生成する第２のステップと、
上記コンピュータの第２のモデル学習部が、上記小規模言語モデルからの出力文章が特定の表現形態の文章となるように、上記データセット生成部により生成された入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うことにより、タスク特化型の小規模言語モデルを生成する第３のステップとを有し、
上記小規模言語モデルはランクを設定可能なモデルであり、
上記第１のモデル学習部は、上記領域特化型の小規模言語モデルとして、ランクを６４より大きい何れかの値に設定したモデルの学習を行う
ことを特徴とする言語モデル生成方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
上記した課題を解決するために、本発明は、特定領域に限定しない文章データセットを用いて学習済みの大規模言語モデルに対して追加される小規模言語モデルであって、適用対象のモデルが有しているパラメータを更新せずにファインチューニングのための差分パラメータを計算することが可能に構成された小規模言語モデルを学習するものであり、小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、特定領域に限定した文章データセットを用いて領域特化のための学習を行うとともに、小規模言語モデルからの出力文章が特定の表現形態の文章となるように、特定の表現形態ではない表現形態で記述された入力文章と特定の表現形態で記述された出力文章とを含む入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うようにしている。ここで、領域特化型の小規模言語モデルを生成する際に用いた特定領域に限定した文章データセットを用いて、特定の表現形態ではない表現形態で記述された入力文章と特定の表現形態で記述された出力文章とを含む入出力対の文章から成る文章データセットであって、かつ、特定領域の知識を反映した入出力対の文章から成る文章データセットを生成し、当該生成した文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うようにしている。
【手続補正書】
【提出日】2024-01-22
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
特定領域に限定しない文章データセットを用いて学習済みの大規模言語モデルに対して追加される、上記大規模言語モデルより規模の小さい小規模言語モデルであって、適用対象のモデルが有しているパラメータを更新せずにファインチューニングのための差分パラメータを計算することが可能に構成された小規模言語モデルをパラメータ調整により学習する小規模言語モデル学習部を備え、
上記小規模言語モデル学習部は、
上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、上記特定領域に限定した文章データセットを用いて領域特化のための学習を行うことにより、領域特化型の小規模言語モデルを生成する第１のモデル学習部と、
上記第１のモデル学習部が上記領域特化型の小規模言語モデルを生成する際に用いた上記特定領域に限定した文章データセットを用いて、特定の表現形態ではない表現形態で記述された入力文章と上記特定の表現形態で記述された出力文章とを含む入出力対の文章から成る文章データセットであって、かつ、上記特定領域の知識を反映した入出力対の文章から成る文章データセットを生成するデータセット生成部と、
上記小規模言語モデルからの出力文章が上記特定の表現形態の文章となるように、上記データセット生成部により生成された文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うことにより、タスク特化型の小規模言語モデルを生成する第２のモデル学習部とを備え、
上記小規模言語モデルはランクを設定可能なモデルであり、
上記第１のモデル学習部は、上記領域特化型の小規模言語モデルとして、ランクを６４より大きい何れかの値に設定したモデルの学習を行う
ことを特徴とする言語モデル生成装置。
上記小規模言語モデル学習部は、
上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、上記特定領域に限定した文章データセットを用いて領域特化のための学習を行うことにより、領域特化型の小規模言語モデルを生成する第１のモデル学習部と、
上記第１のモデル学習部が上記領域特化型の小規模言語モデルを生成する際に用いた上記特定領域に限定した文章データセットを用いて、特定の表現形態ではない表現形態で記述された入力文章と上記特定の表現形態で記述された出力文章とを含む入出力対の文章から成る文章データセットであって、かつ、上記特定領域の知識を反映した入出力対の文章から成る文章データセットを生成するデータセット生成部と、
上記小規模言語モデルからの出力文章が上記特定の表現形態の文章となるように、上記データセット生成部により生成された文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うことにより、タスク特化型の小規模言語モデルを生成する第２のモデル学習部とを備え、
上記小規模言語モデルはランクを設定可能なモデルであり、
上記第１のモデル学習部は、上記領域特化型の小規模言語モデルとして、ランクを６４より大きい何れかの値に設定したモデルの学習を行う
ことを特徴とする言語モデル生成装置。
【請求項2】
上記小規模言語モデル学習部は、上記特定領域に限定した文章データセットを用いて上記領域特化のための学習を行った後に、上記入出力対の文章から成る文章データセットを用いて上記タスク特化のための追加学習を行うことを特徴とする請求項１に記載の言語モデル生成装置。
【請求項3】
上記領域特化のための学習を自己教師あり学習により行い、上記タスク特化のための学習を教師あり学習により行うことを特徴とする請求項１または２に記載の言語モデル生成装置。
【請求項4】
上記第１のモデル学習部は、上記特定領域に限定した文章データセットを用いて上記領域特化のための自己教師あり学習を行うことにより、上記大規模言語モデルより規模の小さい上記領域特化型の小規模言語モデルを生成し、
上記第２のモデル学習部は、上記入出力対の文章から成る文章データセットを用いて上記タスク特化のための教師あり学習を行うことにより、上記領域特化型の小規模言語モデルより規模の小さい上記タスク特化型の小規模言語モデルを生成する
ことを特徴とする請求項１に記載の言語モデル生成装置。
上記第２のモデル学習部は、上記入出力対の文章から成る文章データセットを用いて上記タスク特化のための教師あり学習を行うことにより、上記領域特化型の小規模言語モデルより規模の小さい上記タスク特化型の小規模言語モデルを生成する
ことを特徴とする請求項１に記載の言語モデル生成装置。
【請求項5】
上記第１のモデル学習部により生成された上記領域特化型の小規模言語モデルと上記第２のモデル学習部により生成された上記タスク特化型の小規模言語モデルとを統合するモデル統合部を更に備えたことを特徴とする請求項１に記載の言語モデル生成装置。
【請求項6】
上記大規模言語モデルと、上記第１のモデル学習部により生成された上記領域特化型の小規模言語モデルおよび上記第２のモデル学習部により生成された上記タスク特化型の小規模言語モデルの少なくとも一方とを統合するモデル統合部を更に備えたことを特徴とする請求項１に記載の言語モデル生成装置。
【請求項7】
上記領域特化型の小規模言語モデルのランクよりも、上記タスク特化型の小規模言語モデルのランクを小さく設定することを特徴とする請求項１に記載の言語モデル生成装置。
【請求項8】
上記領域特化型の小規模言語モデルは、ランクを６４より大きい何れかの値に設定したＬｏＲＡであることを特徴とする請求項１に記載の言語モデル生成装置。
【請求項9】
特定領域に限定しない文章データセットを用いて学習済みの大規模言語モデルに対して追加される、上記大規模言語モデルより規模の小さい小規模言語モデルであって、適用対象のモデルが有しているパラメータを更新せずにファインチューニングのための差分パラメータを計算することが可能に構成された小規模言語モデルをパラメータ調整による学習によって生成する言語モデル生成方法であって、
コンピュータの第１のモデル学習部が、上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、上記特定領域に限定した文章データセットを用いて領域特化のための学習を行うことにより、領域特化型の小規模言語モデルを生成する第１のステップと、
上記コンピュータのデータセット生成部が、上記第１のモデル学習部が上記領域特化型の小規模言語モデルを生成する際に用いた上記特定領域に限定した文章データセットを用いて、特定の表現形態ではない表現形態で記述された入力文章と上記特定の表現形態で記述された出力文章とを含む入出力対の文章から成る文章データセットであって、かつ、上記特定領域の知識を反映した入出力対の文章から成る文章データセットを生成する第２のステップと、
上記コンピュータの第２のモデル学習部が、上記小規模言語モデルからの出力文章が上記特定の表現形態の文章となるように、上記データセット生成部により生成された入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うことにより、タスク特化型の小規模言語モデルを生成する第３のステップとを有し、
上記小規模言語モデルはランクを設定可能なモデルであり、
上記第１のモデル学習部は、上記領域特化型の小規模言語モデルとして、ランクを６４より大きい何れかの値に設定したモデルの学習を行う
ことを特徴とする言語モデル生成方法。
コンピュータの第１のモデル学習部が、上記小規模言語モデルからの出力文章が特定領域の知識を反映したものとなるように、上記特定領域に限定した文章データセットを用いて領域特化のための学習を行うことにより、領域特化型の小規模言語モデルを生成する第１のステップと、
上記コンピュータのデータセット生成部が、上記第１のモデル学習部が上記領域特化型の小規模言語モデルを生成する際に用いた上記特定領域に限定した文章データセットを用いて、特定の表現形態ではない表現形態で記述された入力文章と上記特定の表現形態で記述された出力文章とを含む入出力対の文章から成る文章データセットであって、かつ、上記特定領域の知識を反映した入出力対の文章から成る文章データセットを生成する第２のステップと、
上記コンピュータの第２のモデル学習部が、上記小規模言語モデルからの出力文章が上記特定の表現形態の文章となるように、上記データセット生成部により生成された入出力対の文章から成る文章データセットを用いて表現形態調整に関するタスク特化のための学習を行うことにより、タスク特化型の小規模言語モデルを生成する第３のステップとを有し、
上記小規模言語モデルはランクを設定可能なモデルであり、
上記第１のモデル学習部は、上記領域特化型の小規模言語モデルとして、ランクを６４より大きい何れかの値に設定したモデルの学習を行う
ことを特徴とする言語モデル生成方法。