特許 7649839 再学習システム、再学習方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-03-12

(45)【発行日】2025-03-21

(54)【発明の名称】再学習システム、再学習方法、及びプログラム

(51)【国際特許分類】

   G06Q 10/10 20230101AFI20250313BHJP

【ＦＩ】

G06Q10/10 310

【請求項の数】 8

(21)【出願番号】P 2023208002

(22)【出願日】2023-12-08

【審査請求日】2023-12-08

(73)【特許権者】

【識別番号】500022557

【氏名又は名称】サイボウズ株式会社

(73)【特許権者】

【識別番号】506118098

【氏名又は名称】サイボウズ・ラボ株式会社

(74)【代理人】

【識別番号】110000154

【氏名又は名称】弁理士法人はるか国際特許事務所

(72)【発明者】

【氏名】中谷 秀洋

(72)【発明者】

【氏名】山口 洋平

【審査官】小原 正信

(56)【参考文献】

【文献】特許第７３６８０３４（ＪＰ，Ｂ１）

【文献】鈴木 雅弘，事前学習と追加事前学習による金融言語モデルの構築と検証，人工知能学会 金融情報学研究会（ＳＩＧ－ＦＩＮ） 第２８回研究会 ［ｏｎｌｉｎｅ］ ，日本，人工知能学会，2022年03月12日，132～137ページ

【文献】岡▲崎▼ 直観，新時代の道具，ＣｈａｔＧＰＴ：１４の視点からその可能性を探る 大規模言語モデルの驚異と脅威－ＣｈａｔＧＰＴの衝撃と大規模言語モデルの課題－，情報処理 第６４巻 第９号 ［ｏｎｌｉｎｅ］ ，日本，情報処理学会，2023年08月15日，第64巻，e1～e3 ページ，[ISSN]0447-8053

【文献】鈴木 剛 ，「仕事のＡＩ」における大規模言語モデルの個別チューニングを可能にするデータとモデルの共同設計 ，リコーテクニカルレポート Ｎｏ．４５ ［ｏｎｌｉｎｅ］ ，株式会社リコー，2023年05月25日，No.45,2023，第38～46ページ

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

事前学習済みの大規模言語モデルを取得する大規模言語モデル取得部と、
ユーザの業務を支援する業務支援システムに特有の業務支援モデルが行う業務支援タスクごとに、前記業務支援システムで行われた前記ユーザのアクティビティを示すアクティビティデータであって、複数の組織の各々の前記アクティビティデータに基づいて作成された、前記複数の組織に共通の訓練データである共通訓練データを取得する訓練データ取得部と、
前記業務支援タスクごとに、前記共通訓練データに基づいて、前記大規模言語モデルの再学習を実行することによって、前記複数の組織に共通の前記業務支援モデルである共通業務支援モデルを作成する再学習部と、
を含み、
前記訓練データ取得部は、前記組織ごとに、当該組織の前記アクティビティデータに基づいて作成された、当該組織に特有の前記訓練データである特有訓練データを取得し、
前記再学習部は、前記組織ごとに、当該組織の前記特有訓練データに基づいて、前記共通業務支援モデルの再学習を実行することによって、当該組織に特有の前記業務支援モデルである特有業務支援モデルを作成する、
再学習システム。

【請求項2】

事前学習済みの大規模言語モデルを取得する大規模言語モデル取得部と、
ユーザの業務を支援する業務支援システムに特有の業務支援モデルが行う業務支援タスクごとに、前記業務支援システムで行われた前記ユーザのアクティビティを示すアクティビティデータであって、前記業務支援システムが有する複数の業務支援機能の各々の前記アクティビティデータに基づいて作成された、前記複数の業務支援機能に共通の訓練データである共通訓練データを取得する訓練データ取得部と、
前記業務支援タスクごとに、前記共通訓練データに基づいて、前記大規模言語モデルの再学習を実行することによって、前記複数の業務支援機能に共通の前記業務支援モデルである共通業務支援モデルを作成する再学習部と、
を含み、
前記訓練データ取得部は、前記業務支援機能ごとに、当該業務支援機能の前記アクティビティデータに基づいて作成された、当該業務支援機能に特有の前記訓練データである特有訓練データを取得し、
前記再学習部は、前記業務支援機能ごとに、当該業務支援機能の前記特有訓練データに基づいて、前記共通業務支援モデルの再学習を実行することによって、当該業務支援機能に特有の前記業務支援モデルである特有業務支援モデルを作成する、
再学習システム。

【請求項3】

事前学習済みの大規模言語モデルを取得する大規模言語モデル取得部と、
ユーザの業務を支援する業務支援システムが有する業務支援機能ごとに、複数の組織の各々における前記ユーザのアクティビティを示すアクティビティデータに基づいて作成された、前記複数の組織に共通の訓練データである共通訓練データを取得する訓練データ取得部と、
前記業務支援機能ごとに、前記共通訓練データに基づいて、前記大規模言語モデルの再学習を実行することによって、前記業務支援システムに特有の業務支援モデルであって、前記複数の組織に共通の前記業務支援モデルである共通業務支援モデルを作成する再学習部と、
を含み、
前記訓練データ取得部は、前記組織ごとに、当該組織の前記アクティビティに基づいて作成された、当該組織に特有の前記訓練データである特有訓練データを取得し、
前記再学習部は、前記組織ごとに、当該組織の前記特有訓練データに基づいて、前記共通業務支援モデルの再学習を実行することによって、当該組織に特有の前記業務支援モデルである特有業務支援モデルを作成する、
再学習システム。

【請求項4】

前記再学習システムは、複数の前記訓練データの各々と、複数の前記業務支援モデルの各々と、に基づいて、新たな訓練データを作成する訓練データ作成部を更に含み、
前記再学習部は、前記新たな訓練データに基づいて、前記複数の業務支援モデルの少なくとも１つの更なる再学習を実行する、
を更に含む請求項１～３の何れかに記載の再学習システム。

【請求項5】

前記訓練データ取得部は、前記業務支援システムに新規登録した第１組織の前記アクティビティデータに基づいて作成された前記訓練データである第１組織訓練データと、前記第１組織と関連する第２組織であって、前記第１組織よりも前記業務支援システムの利用期間が長い前記第２組織の前記アクティビティデータに基づいて作成された前記訓練データである第２組織訓練データと、を取得し、
前記再学習部は、前記第１組織訓練データだけではなく前記第２組織訓練データも前記業務支援モデルに学習させることによって、前記業務支援システムに新規登録した前記第１組織に特有の前記業務支援モデルを作成する、
請求項１～３の何れかに記載の再学習システム。

【請求項6】

前記訓練データ取得部は、前記アクティビティデータが示す前記アクティビティの全体と、前記アクティビティデータの中から選択された一部分と、示す前記訓練データを取得し、
前記再学習部は、前記全体及び前記一部分を示す前記訓練データに基づいて、前記大規模言語モデルの再学習を実行することによって、前記業務支援モデルを作成する、
請求項１～３の何れかに記載の再学習システム。

【請求項7】

事前学習済みの大規模言語モデルを取得し、
ユーザの業務を支援する業務支援システムに特有の業務支援モデルが行う業務支援タスクごとに、前記業務支援システムで行われた前記ユーザのアクティビティを示すアクティビティデータであって、複数の組織の各々の前記アクティビティデータに基づいて作成された、前記複数の組織に共通の訓練データである共通訓練データを取得し、
前記業務支援タスクごとに、前記共通訓練データに基づいて、前記大規模言語モデルの再学習を実行することによって、前記複数の組織に共通の前記業務支援モデルである共通業務支援モデルを作成する、
再学習方法であって、
前記組織ごとに、当該組織の前記アクティビティデータに基づいて作成された、当該組織に特有の前記訓練データである特有訓練データを取得し、
前記組織ごとに、当該組織の前記特有訓練データに基づいて、前記共通業務支援モデルの再学習を実行することによって、当該組織に特有の前記業務支援モデルである特有業務支援モデルを作成する、
再学習方法。

【請求項8】

事前学習済みの大規模言語モデルを取得する大規模言語モデル取得部、
ユーザの業務を支援する業務支援システムに特有の業務支援モデルが行う業務支援タスクごとに、前記業務支援システムで行われた前記ユーザのアクティビティを示すアクティビティデータであって、複数の組織の各々の前記アクティビティデータに基づいて作成された、前記複数の組織に共通の訓練データである共通訓練データを取得する訓練データ取得部、
前記業務支援タスクごとに、前記共通訓練データに基づいて、前記大規模言語モデルの再学習を実行することによって、前記複数の組織に共通の前記業務支援モデルである共通業務支援モデルを作成する再学習部、
としてコンピュータを機能させ、
前記訓練データ取得部は、前記組織ごとに、当該組織の前記アクティビティデータに基づいて作成された、当該組織に特有の前記訓練データである特有訓練データを取得し、
前記再学習部は、前記組織ごとに、当該組織の前記特有訓練データに基づいて、前記共通業務支援モデルの再学習を実行することによって、当該組織に特有の前記業務支援モデルである特有業務支援モデルを作成する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、再学習システム、再学習方法、及びプログラムに関する。

【背景技術】

【0002】

従来、ユーザの業務を支援する業務支援システムが知られている。例えば、特許文献１には、業務支援システムの一例として、組織に属するユーザ間のコミュニケーションを支援するグループウェアが記載されている。特許文献１の業務支援システムは、ユーザが操作を行わない無入力期間が発生するか否か推定する学習済みモデルに対し、ユーザによるグループウェアの使用パターンを示すデータを入力する。学習済みモデルは、当該データに基づいて、無入力期間が発生するか否かを推定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２３－０９１３２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、自然言語処理の分野で利用される大規模言語モデルは、特許文献１のような単純な分類を行う学習済みモデルとは異なり、非常に多くの言語を解析する必要がある。このため、特許文献１をはじめとする従来の技術は、業務支援システムに有用な大規模言語モデルを実現することはできなかった。

【0005】

本開示の目的の１つは、業務支援システムに有用な大規模言語モデルを実現することである。

【課題を解決するための手段】

【0006】

本開示に係る再学習システムは、事前学習済みの大規模言語モデルを取得する大規模言語モデル取得部と、ユーザの業務を支援する業務支援システムで行われた前記ユーザのアクティビティを示すアクティビティデータに基づいて作成された、前記大規模言語モデルの再学習用の訓練データを取得する訓練データ取得部と、前記訓練データに基づいて、前記大規模言語モデルの再学習を実行することによって、前記業務支援システムに特有の業務支援モデルを作成する再学習部と、を含む。

【発明の効果】

【0007】

本開示は、業務支援システムに有用な大規模言語モデルを実現できる。

【図面の簡単な説明】

【0008】

【図1】再学習システムのハードウェア構成の一例を示す図である。

【図2】ユーザ端末に表示される画面の一例を示す図である。

【図3】大規模言語モデル及び業務支援モデルの関係の一例を示す図である。

【図4】再学習システムで実現される機能の一例を示す図である。

【図5】訓練データベースの一例を示す図である。

【図6】ユーザデータベースの一例を示す図である。

【図7】再学習システムで実行される処理の一例を示す図である。

【図8】多段階の再学習の一例を示す図である。

【図9】変形例４で実現される機能の一例を示す図である。

【発明を実施するための形態】

【0009】

［１．再学習システムのハードウェア構成］
本開示に係る再学習システム、再学習方法、及びプログラムの実施形態の一例を説明する。図１は、再学習システムのハードウェア構成の一例を示す図である。例えば、再学習システム１は、再学習端末１０及び業務支援システム２を含む。業務支援システム２は、業務支援サーバ２０及びユーザ端末３０を含む。再学習端末１０、業務支援サーバ２０、及びユーザ端末３０の各々は、インターネット又はＬＡＮ等のネットワークＮに接続される。

【0010】

再学習端末１０は、後述の再学習を実行するコンピュータである。例えば、再学習端末１０は、パーソナルコンピュータ、サーバコンピュータ、又はタブレットである。例えば、再学習端末１０は、制御部１１、記憶部１２、通信部１３、操作部１４、及び表示部１５を含む。例えば、制御部１１は、少なくとも１つのプロセッサを含む。記憶部１２は、ＲＡＭ等の揮発性メモリと、フラッシュメモリ等の不揮発性メモリと、の少なくとも一方を含む。通信部１３は、有線通信用の通信インタフェースと、無線通信用の通信インタフェースと、の少なくとも一方を含む。操作部１４は、マウス、タッチパネル、又はキーボード等の入力デバイスである。表示部１５は、液晶又は有機ＥＬのディスプレイである。

【0011】

業務支援サーバ２０は、サーバコンピュータである。例えば、業務支援サーバ２０は、制御部２１、記憶部２２、及び通信部２３を含む。制御部２１、記憶部２２、及び通信部２３の各々のハードウェア構成は、それぞれ制御部１１、記憶部１２、及び通信部１３と同様であってよい。

【0012】

ユーザ端末３０は、ユーザのコンピュータである。例えば、ユーザ端末３０は、パーソナルコンピュータ、タブレット、スマートフォン、又はウェアラブル端末である。例えば、ユーザ端末３０は、制御部３１、記憶部３２、通信部３３、操作部３４、及び表示部３５を含む。制御部３１、記憶部３２、通信部３３、操作部３４、及び表示部３５の各々のハードウェア構成は、それぞれ制御部１１、記憶部１２、通信部１３、操作部１４、及び表示部１５と同様であってよい。

【0013】

なお、記憶部１２、記憶部２２、及び記憶部３２の少なくとも１つに記憶されるプログラムは、ネットワークＮを介して再学習端末１０、業務支援サーバ２０、及びユーザ端末３０の少なくとも１つに供給されてもよい。また、再学習端末１０、業務支援サーバ２０、及びユーザ端末３０の少なくとも１つのハードウェア構成は、図１の例に限られない。例えば、再学習端末１０、業務支援サーバ２０、及びユーザ端末３０の少なくとも１つは、情報記憶媒体を読み取る読取部（例えば、メモリカードスロット）と、情報記憶媒体と接続する入出力部（例えば、ＵＳＢ端子）と、の少なくとも一方を含んでもよい。この場合、情報記憶媒体に記憶されたプログラムが、読取部及び入出力部の少なくとも一方を介して、再学習端末１０、業務支援サーバ２０、及びユーザ端末３０の少なくとも１つに供給されてもよい。

【0014】

また、再学習システム１に含まれるコンピュータは、図１の例に限られない。再学習システム１は、少なくとも１つのコンピュータを含めばよい。例えば、再学習システム１は、再学習端末１０だけを含んでもよい。この場合、業務支援システム２は、再学習システム１の外部に存在する。例えば、再学習システム１は、図１には示さないコンピュータを含んでもよい。

【0015】

［２．再学習システムの概要］
本実施形態では、業務支援システム２がグループウェアである場合を例に挙げる。例えば、業務支援システム２は、会社又は行政機関等の組織に属するユーザの業務を支援する。ユーザは、業務支援システム２が有する業務支援機能を利用する。業務支援機能は、業務支援のために開発されたプログラム（例えば、業務支援サーバ２０が記憶するプログラム、又は、ユーザ端末３０が記憶するログラム）が有する機能である。

【0016】

業務支援機能は、公知の種々の機能であってよい。例えば、業務支援機能は、ユーザがスレッドでコミュニケーションを取るためのスレッド機能、ユーザがスケジュールを管理するためのスケジュール機能、ユーザがデータベースを管理するためのデータベース機能、ユーザがファイルを管理するためのファイル管理機能、又はユーザが電子メールを管理するためのメール管理機能であってもよい。業務支援機能は、公知のグループウェアで実装されている他の機能であってもよい。

【0017】

なお、業務支援システム２は、グループウェアに分類されないシステムであってもよい。例えば、業務支援システム２は、組織とは関係のない業務を支援するシステム、他の製品との連動のための機能を有しないシステム、又はその他のシステムであってもよい。業務支援システム２は、ユーザの何らかの業務を支援するシステムであればよい。

【0018】

図２は、ユーザ端末３０に表示される画面の一例を示す図である。例えば、ユーザが、ユーザ端末３０を操作して業務支援システム２にログインすると、ユーザ端末３０は、ユーザの業務を支援するための業務支援画面ＳＣを、表示部３５に表示させる。ユーザは、業務支援画面ＳＣから、任意の業務支援機能を利用できる。図２の例では、ユーザがスレッド機能を利用する場合の業務支援画面ＳＣが示されている。ユーザは、業務支援画面ＳＣに表示されたスレッドに対し、任意のメッセージを投稿できる。

【0019】

図２のようなスレッド以外にも、業務支援システム２には、種々のテキストが登録される。業務支援システム２が、自身に登録されたテキストを言語解析できれば、ユーザの業務を効果的に支援できると考えられる。例えば、業務支援システム２が、スレッドに登録されたテキストを解析してスレッドのサマリを作成できれば、ユーザがスレッドにおける話題を簡単に理解できるようになる。スレッド機能以外の他の業務支援機能でも同様に、テキストの言語解析は、有用と考えられる。ただし、業務支援システム２の運営会社が、言語解析のための大規模言語モデルを１から作成するのは、非常に手間がかかる。

【0020】

そこで、再学習システム１は、事前学習済みの大規模言語モデルの再学習を実行することによって、業務支援システム２に特有の業務支援モデルを作成する。事前学習済みの大規模言語モデルは、自然言語処理の分野で利用される公知のモデルであってよい。例えば、大規模言語モデルは、リカレントニューラルネットワーク型のモデル、長短期記憶ネットワーク型のモデル、又はＴｒａｎｓｆｏｒｍｅｒ型のモデルであってもよい。

【0021】

本実施形態では、大規模言語モデルが、Ｔｒａｎｓｆｏｒｍｅｒ型のモデルである場合を例に挙げる。例えば、大規模言語モデルは、ＧＰＴ（Generative Pre-trained Transformer）又はＢＥＲＴ(Bidirectional Encoder Representations from Transformers)のモデルであってもよい。Ｔｒａｎｓｆｏｒｍｅｒ型のモデルに分類されることがあるＰａＬＭ（Pathways Language Model）又はＬＬａＭＡ（Large Language Model Meta AI）が、大規模言語モデルとして利用されてもよい。大規模言語モデルは、機械学習の手法が利用された他のモデルであってもよい。

【0022】

例えば、大規模言語モデルは、テキストが入力されると、当該テキストを複数のトークンに分割する。トークンは、大規模言語モデルがテキストを理解するための要素である。例えば、トークンは、単語、形態素、フレーズ、又は文字である。大規模言語モデルは、複数のトークンの各々を埋め込み表現に変換する。大規模言語モデルは、複数のトークンの各々の埋め込み表現の並びに基づいて、自身に入力されたテキストの文脈を理解する。大規模言語モデルは、テキストの文脈に基づいて、自身のタスクに応じた出力を行う。大規模言語モデルは、中間層及び出力層といった各層のパラメータに基づいて、これらの一連の処理を実行する。大規模言語モデルは、数億～数千億のパラメータを有することもある。

【0023】

例えば、大規模言語モデルの事前学習は、再学習システム１に含まれない他のコンピュータによって実行される。業務支援システム２の運営会社は、他のコンピュータによって事前学習が実行された大規模言語モデルを、有償又は無償で取得する。大規模言語モデルは、事前学習によって、ユーザの業務をある程度支援することはできる。ただし、大規模言語モデルの事前学習は、業務支援とは関係のない汎用的なデータに基づいて実行されるので、業務支援に特有の言語解析を実行できるわけではない。そこで、再学習システム１は、業務支援に特有のデータに基づいて、大規模言語モデルの再学習を実行する。

【0024】

再学習は、大規模言語モデルの少なくとも一部の変更のための処理である。例えば、再学習は、大規模言語モデルのパラメータの調整である。再学習は、大規模言語モデルに含まれる一部の層の付け替えであってもよい。本実施形態では、ファインチューニングが再学習に相当する場合を例に挙げる。例えば、ファインチューニングは、大規模言語モデルのパラメータが所定のタスクに合うようにするためのパラメータの調整である。ファインチューニングの意味は、諸説ある公知の意味であってよい。ファインチューニングは、本実施形態の例に限られない。

【0025】

なお、再学習は、ファインチューニングに限られない。再学習は、大規模言語モデルの少なくとも一部の変更のための処理であればよい。例えば、再学習は、転移学習又は蒸留であってもよい。転移学習又は蒸留の意味も諸説あるが、転移学習又は蒸留は、諸説ある公知の意味であってよい。再学習は、ファインチューニング、転移学習、及び蒸留以外の他の処理であってもよい。以降、再学習後の大規模言語モデルを、業務支援モデルという。単に大規模言語モデルと記載した箇所は、事前学習済みの大規模言語モデル（再学習前の大規模言語モデル）を意味する。

【0026】

図３は、大規模言語モデル及び業務支援モデルの関係の一例を示す図である。例えば、大規模言語モデルＭ１が特定のタスクを処理できるように、大規模言語モデルＭ１の事前学習が実行されている。本実施形態のタスクは、一般的なタスクとは異なり、業務支援のためのタスクである。以降では、本実施形態のタスクを、業務支援タスクという。図３の例では、スレッドのサマリ作成が業務支援タスクに相当する。

【0027】

なお、業務支援タスクは、スレッドのサマリ作成に限られない。例えば、業務支援タスクは、スレッドのメッセージ以外のテキスト（例えば、電子メールの本文、データベースのコメント機能によって投稿されたコメント、又はヘルプページ等のウェブサイトのテキスト）のサマリ作成、何らかのテキストの自動作成、機械翻訳、ユーザの質問に対する回答、業務支援システム２に登録されたデータの抽出、業務支援システム２に登録されたデータの分類、ユーザの行動の分析、ユーザの行動の予測、又はその他のタスクであってもよい。

【0028】

例えば、大規模言語モデルＭ１に、業務支援システム２に投稿されたスレッドを示すスレッドデータが入力されたとする。大規模言語モデルＭ１は、事前学習によって調整されたパラメータに基づいて、スレッドデータが示すスレッドのテキストを解析する。大規模言語モデルＭ１は、当該テキストの解析結果に基づいて、スレッドのサマリを示すサマリデータを出力する。大規模言語モデルＭ１の事前学習は、汎用的なデータに基づいて実行されているので、大規模言語モデルＭ１は、ある程度の精度のサマリを作成できるが、業務支援に特有のサマリを作成できない可能性がある。

【0029】

例えば、一般的なサマリでは、サマリの作成対象となるテキストの冒頭と最後の部分が重要だったとする。この場合、大規模言語モデルＭ１がテキストの冒頭と最後の部分に基づいてサマリを作成するように、大規模言語モデルＭ１の事前学習が実行される。大規模言語モデルＭ１は、自身に入力されたスレッドデータが示すスレッドにおける冒頭と最後の部分に基づいて、スレッドのサマリを作成する。

【0030】

一方で、業務支援のためのサマリでは、テキストの冒頭と最後よりも、会議の日時を含む部分と、役職の高いユーザが入力したテキストと、が重要だったとする。この場合、テキストの冒頭と最後に、これらの内容が含まれていなければ、大規模言語モデルＭ１が作成したサマリは、あまり有用ではない可能性がある。例えば、大規模言語モデルＭ１が作成したサマリは、会議の日時を含まず、かつ、役職の高いユーザが入力したテキストを含まない可能性がある。

【0031】

そこで、本実施形態の再学習システム１は、業務支援システム２におけるユーザのアクティビティを示すアクティビティデータに基づいて、大規模言語モデルＭ１の再学習を実行する。アクティビティは、業務支援システム２に対するユーザの入力である。アクティビティデータには、業務支援に有用な情報が含まれているので、再学習によって、業務支援に有用な業務支援モデルＭ２が作成される。図３の例では、スレッドデータがアクティビティデータに相当する。スレッドデータ以外のアクティビティデータ例は、後述する。

【0032】

例えば、業務支援モデルＭ２には、再学習用に用意されたスレッドと、当該スレッドから作成された正解となるサマリと、の関係を示す訓練データが学習されている。本実施形態では、業務支援システム２の運営会社が、正解となるサマリを作成する場合を例に挙げる。例えば、スレッドに投稿されたメッセージのうち、会議の日時を含むメッセージと、役職の高いユーザのメッセージと、が正解となるサマリに含まれるように、訓練データが作成される。このような訓練データに基づく再学習が実行されることにより、業務支援モデルＭ２は、業務支援に特有のサマリを作成できるようになる。

【0033】

以上のように、再学習システム１は、汎用的なデータに基づく事前学習が実行された大規模言語モデルＭ１の再学習を実行することによって、業務支援に特有の業務支援モデルＭ２を作成する。例えば、業務支援システム２の運営会社が、業務支援モデルＭ２の学習を１から行うことは現実的ではないが、再学習システム１は、大規模言語モデルＭ１の再学習によって、業務支援システム２に有用な業務支援モデルＭ２を実現できる。以降、再学習システム１の詳細を説明する。

【0034】

［３．再学習システムで実現される機能］
図４は、再学習システム１で実現される機能の一例を示す図である。

【0035】

［３－１．再学習端末で実現される機能］
例えば、再学習端末１０は、データ記憶部１００、大規模言語モデル取得部１０１、訓練データ取得部１０２、及び再学習部１０３を含む。データ記憶部１００は、記憶部１２により実現される。大規模言語モデル取得部１０１、訓練データ取得部１０２、及び再学習部１０３の各々は、制御部１１により実現される。

【0036】

［データ記憶部］
データ記憶部１００は、再学習に必要なデータを記憶する。例えば、データ記憶部１００は、大規模言語モデルＭ１を記憶する。大規模言語モデルＭ１は、事前学習によって調整されたパラメータ（再学習前のパラメータ）と、埋め込み表現の計算等の処理のためのプログラムと、を含む。

【0037】

大規模言語モデルＭ１のパラメータは、大規模言語モデルＭ１のプログラムによって参照される。例えば、パラメータは、重み係数及びバイアスである。パラメータは、公知の種々のパラメータであってよい。パラメータは、重み係数及びバイアスに限られない。例えば、パラメータは、埋め込み表現の計算時に参照される行列、トークン位置のエンコーディングで参照される位置エンコーディング、又はその他のパラメータであってもよい。

【0038】

大規模言語モデルＭ１のプログラムは、大規模言語モデルＭ１の内部処理を示す。例えば、大規模言語モデルＭ１のプログラムは、埋め込み表現を計算するエンコーダ、埋め込み表現から業務支援タスクに特有の出力を作成するデコーダ、最終的な出力を行う出力層、及び他の層の処理を示す。これらの処理では、パラメータが参照される。ある特定の業務支援タスクに特有のパラメータが存在することもある。大規模言語モデルＭ１のプログラムは、公知のプログラムであってよい。

【0039】

例えば、再学習部１０３による再学習が完了すると、データ記憶部１００は、再学習済みの業務支援モデルＭ２を記憶する。本実施形態では、大規模言語モデルＭ１と、再学習済みの業務支援モデルＭ２と、が別々のデータである場合を例に挙げる。これらが別々のデータではなく、大規模言語モデルＭ１が業務支援モデルＭ２によって上書きされてもよい。データ記憶部１００は、大規模言語モデルＭ１及び業務支援モデルＭ２だけではなく、訓練データベースＤＢ１も記憶する。

【0040】

図５は、訓練データベースＤＢ１の一例を示す図である。訓練データベースＤＢ１は、大規模言語モデルＭ１の再学習に必要な訓練データが格納されたデータベースである。例えば、訓練データは、再学習時に大規模言語モデルＭ１に入力される入力部分と、再学習時に正解となる出力部分と、を含む。入力部分及び出力部分の組み合わせは、業務支援タスクに応じた組み合わせであればよい。訓練データは、手入力によって用意されてもよいし、公知のツールによって用意されてもよい。

【0041】

訓練データの入力部分は、アクティビティデータそのものであってもよいし、アクティビティデータに基づいて作成された別のデータであってもよい。大規模言語モデルＭ１は、言語解析を実行するので、アクティビティデータは、ユーザが入力したテキストを示す。アクティビティデータは、テキスト以外の他のアクティビティを示してもよい。例えば、アクティビティは、ユーザのリアクション（例えば、いいね又は絵文字リアクション）、閲覧数、返信数、テキストの投稿日時、又はその他の内容を示してもよい。

【0042】

訓練データの出力部分は、業務支援タスクに応じた内容を示す。例えば、業務支援タスクが、サマリのような何らかのテキストの出力であれば、訓練データの出力部分は、正解となるテキストである。業務支援タスクが何らかの分類（ラベル）の出力であれば、訓練データの出力部分は、正解となる分類である。業務支援タスクが何らかのデータの抽出であれば、訓練データの出力部分は、正解となるデータ（訓練データの入力部分から抽出されるべきデータ）である。業務支援タスクが何らかのデータのソートであれば、訓練データの出力部分は、正解となる順序である。

【0043】

本実施形態では、スレッドのサマリ作成が業務支援タスクに相当する場合を例に挙げる。このため、図５の例では、訓練データの入力部分は、再学習用のスレッドデータである。訓練データの入力部分として利用されるスレッドデータは、業務支援システム２に実際に存在するスレッドデータであってもよいし、業務支援システム２の運営会社が用意した仮想的なスレッドの内容を示すスレッドデータであってもよい。図５の例では、訓練データの出力部分は、訓練データの入力部分であるスレッドデータから作成された正解となるサマリを示すサマリデータである。

【0044】

なお、訓練データは、本実施形態の例に限られない。訓練データは、業務支援タスクに応じた内容を示せばよい。訓練データの入力部分は、学習用のアクティビティデータ、又は、学習用のアクティビティデータに基づいて作成されたデータであればよい。訓練データの出力部分は、訓練データの入力部分に対する処理結果としての正解を示せばよい。訓練データの入力部分及び出力部分は、業務支援タスクに応じた内容を示せばよい。以下、業務支援タスクに応じた訓練データの一例を説明するが、訓練データは、下記の例に限られない。

【0045】

例えば、業務支援タスクが、スレッドのメッセージ以外のテキスト（例えば、電子メールの本文、データベースのコメント機能によって投稿されたコメント、又はヘルプページ等のウェブサイトのテキスト）のサマリ作成である場合、訓練データの入力部分は、サマリの作成対象となるテキストを示す。この場合の訓練データの出力部分は、当該テキストから作成された正解となるサマリを示す。

【0046】

例えば、業務支援タスクが、何らかのテキスト（例えば、スレッドに投稿されるメッセージ、電子メールの本文、データベースのコメント機能によって投稿されるコメント、又はヘルプページ等のウェブサイトのテキスト）の自動作成である場合、訓練データの入力部分は、作成対象となるテキストの条件を示す。この場合の訓練データの出力部分は、当該条件に応じた正解となるテキストを示す。

【0047】

例えば、業務支援タスクが、機械翻訳である場合、訓練データの入力部分は、翻訳前のテキスト（原語のテキスト）である。この場合の訓練データの出力部分は、正解となる翻訳後のテキストである。例えば、業務支援タスクが、ユーザの質問に対する回答である場合、訓練データの入力部分は、再学習用に用意された質問を示す。この場合の訓練データの出力部分は、当該質問に対する正解となる回答を示す。

【0048】

例えば、業務支援タスクが、業務支援システム２において登録されたデータの抽出（例えば、電子メールの差出人のアドレス抽出、電子メールの宛先のアドレス抽出、電子メールの署名に記載された組織及び氏名の抽出、名刺の画像データからの組織及び氏名の抽出）である場合、訓練データの入力部分は、抽出元となるデータを示す。この場合の訓練データの出力部分は、当該データから抽出される正解となる内容を示す。

【0049】

例えば、業務支援タスクが、業務支援システム２において登録されたデータの分類（例えば、スレッド上の話題の分類、電子メールに記載された内容の分類、又は業務支援システム２に登録されたファイルの分類）である場合、訓練データの入力部分は、再学習用のデータを示す。この場合の訓練データの出力部分は、当該データの分類を示す。例えば、業務支援タスクが、業務支援システム２におけるユーザの行動の分析又は予測である場合、訓練データの入力部分は、ユーザの行動を示す。この場合の訓練データの出力部分は、当該行動の分析結果又は予測結果を示す。

【0050】

なお、データ記憶部１００に記憶されるデータは、上記の例に限られない。データ記憶部１００は、任意のデータを記憶してよい。例えば、データ記憶部１００は、大規模言語モデルＭ１の再学習における一連の処理を示す再学習プログラムを記憶してもよい。ユーザの組織ごとに業務支援モデルＭ２が作成される場合には、データ記憶部１００は、組織ごとの業務支援モデルＭ２を記憶してもよい。

【0051】

［大規模言語モデル取得部］
大規模言語モデル取得部１０１は、事前学習済みの大規模言語モデルＭ１を取得する。本実施形態では、事前学習済みの大規模言語モデルＭ１がデータ記憶部１００に記憶されているので、大規模言語モデル取得部１０１は、データ記憶部１００から、事前学習済みの大規模言語モデルＭ１を取得する。事前学習済みの大規模言語モデルＭ１が、再学習端末１０以外の他のコンピュータ又は情報記憶媒体に記憶されている場合には、大規模言語モデル取得部１０１は、他のコンピュータ又は情報記憶媒体から、事前学習済みの大規模言語モデルＭ１を取得する。

【0052】

［訓練データ取得部］
訓練データ取得部１０２は、ユーザの業務を支援する業務支援システム２で行われたユーザのアクティビティを示すアクティビティデータに基づいて作成された、大規模言語モデルＭ１の再学習用の訓練データを取得する。本実施形態では、訓練データが訓練データベースＤＢ１に格納されているので、大規模言語モデル取得部１０１は、訓練データベースＤＢ１から、訓練データを取得する。訓練データが、再学習端末１０以外の他のコンピュータ又は情報記憶媒体に記憶されている場合には、訓練データ取得部１０２は、他のコンピュータ又は情報記憶媒体から、訓練データを取得する。

【0053】

［再学習部］
再学習部１０３は、訓練データに基づいて、大規模言語モデルＭ１の再学習を実行することによって、業務支援システム２に特有の業務支援モデルＭ２を作成する。本実施形態では、再学習部１０３が、教師有り学習のアルゴリズムに基づいて、大規模言語モデルＭ１の再学習を実行する場合を例に挙げる。再学習のアルゴリズムは、公知のアルゴリズムであってよい。例えば、再学習部１０３は、半教師有り学習又は教師無し学習のアルゴリズムに基づいて、大規模言語モデルＭ１の再学習を実行してもよい。

【0054】

例えば、再学習部１０３は、教師有り学習のアルゴリズムに基づいて、訓練データの入力部分が大規模言語モデルＭ１に入力された場合に、訓練データの出力部分が大規模言語モデルＭ１から出力されるように、大規模言語モデルＭ１のパラメータを調整することによって、大規模言語モデルＭ１の再学習を実行する。再学習部１０３は、公知の損失関数に基づいて、訓練データの入力部分が大規模言語モデルＭ１に入力された場合の大規模言語モデルＭ１からの出力と、訓練データの出力部分と、の誤差を示す損失を計算する。再学習部１０３は、当該計算された損失が小さくなるように、大規模言語モデルＭ１のパラメータを調整することによって、大規模言語モデルＭ１の再学習を実行する。再学習部１０３は、損失が閾値未満になるまで、大規模言語モデルＭ１の再学習を繰り返し実行してもよい。

【0055】

例えば、再学習中の大規模言語モデルＭ１は、訓練データの入力部分が示すテキストを、複数のトークンに分割する。大規模言語モデルＭ１は、複数のトークンの各々をエンコードして埋め込み表現の並びに変換する。大規模言語モデルＭ１は、埋め込み表現の並びに基づいて、必要に応じてその続きを予測し、業務支援タスクに応じた出力を計算する。大規模言語モデルＭ１の出力と、訓練データの出力部分と、の違いが大きいほど、損失が大きくなる。大規模言語モデルＭ１の出力と、訓練データの出力部分と、の違いが小さいほど、損失が小さくなる。これらの一連の処理は、大規模言語モデルＭ１のプログラム（例えば、エンコーダ、デコーダ、出力層、及びその他の層）と、大規模言語モデルＭ１の現状のパラメータと、に基づいて実行される。

【0056】

例えば、訓練データの入力部分が、アクティビティデータに応じたテキストを示すものとする。更に、訓練データの出力部分が、当該テキストに応じた正解となるテキストであるものとする。この場合、業務支援タスクは、何らかのテキストに基づく他のテキストの作成のタスクとなる。再学習部１０３が、大規模言語モデルＭ１に対し、訓練データの入力部分を入力すると、大規模言語モデルＭ１は、当該入力部分が示すテキストの埋め込み表現の並びに応じた他のテキストを出力する。再学習部１０３は、当該他のテキストと、訓練データの出力部分と、の違いに基づいて、大規模言語モデルＭ１の再学習を実行する。

【0057】

例えば、訓練データの入力部分が、アクティビティデータに基づくテキストを示すものとする。更に、訓練データの出力部分が、当該テキストの正解となる分類であるものとする。この場合、業務支援タスクは、何らかのテキストの分類のタスクとなる。再学習部１０３が、大規模言語モデルＭ１に対し、訓練データの入力部分を入力すると、大規模言語モデルＭ１は、当該入力部分が示すテキストの埋め込み表現の並びに応じた分類の推定結果を出力する。再学習部１０３は、当該分類の推定結果と、訓練データの出力部分と、の違いに基づいて、大規模言語モデルＭ１の再学習を実行する。

【0058】

本実施形態では、スレッドのサマリ作成が業務支援タスクに相当する場合を例に挙げるので、再学習部１０３は、大規模言語モデルＭ１に対し、訓練データの入力部分であるスレッドデータを入力する。大規模言語モデルＭ１は、当該スレッドデータが示すスレッドの埋め込み表現の並びに応じたサマリを示すサマリデータを出力する。再学習部１０３は、当該出力されたサマリデータと、訓練データの出力部分と、の違いに基づいて、大規模言語モデルＭ１の再学習を実行する。先述した種々の訓練データの例も同様にして、再学習部１０３は、大規模言語モデルＭ１に対し、訓練データの入力部分を入力し、大規模言語モデルＭ１からの出力と、訓練データの出力部分と、の違いに基づいて、大規模言語モデルＭ１の再学習を実行すればよい。

【0059】

なお、再学習で利用されるアルゴリズムは、公知のアルゴリズムであってよい。例えば、再学習部１０３は、誤差逆伝播法に基づいて、大規模言語モデルＭ１の再学習を実行する。再学習部１０３は、誤差逆伝播法以外の他のアルゴリズムに基づいて、大規模言語モデルＭ１の再学習を実行してもよい。例えば、再学習部１０３は、勾配降下法、モーメンタム法、準ニュートン法、共役勾配法、局所探索法、又はその他のアルゴリズムに基づいて、大規模言語モデルＭ１の再学習を実行してもよい。

【0060】

本実施形態では、再学習部１０３は、データ記憶部１００に記憶された再学習プログラムを実行することによって、再学習の一連の処理を実行する。再学習部１０３は、再学習が完了した大規模言語モデルＭ１を、業務支援モデルＭ２としてデータ記憶部１００に記録する。再学習部１０３は、業務支援サーバ２０に対し、業務支援モデルＭ２を送信する。業務支援サーバ２０に送信された業務支援モデルＭ２は、ユーザの利用に供される。

【0061】

［３－２．業務支援サーバで実現される機能］
例えば、業務支援サーバ２０は、データ記憶部２００及び業務支援部２０１を含む。データ記憶部２００は、記憶部２２により実現される。業務支援部２０１は、制御部２１により実現される。

【0062】

［データ記憶部］
データ記憶部２００は、ユーザの業務支援に必要なデータを記憶する。例えば、データ記憶部２００は、ユーザデータベースＤＢ２を記憶する。

【0063】

図６は、ユーザデータベースＤＢ２の一例を示す図である。ユーザデータベースＤＢ２は、業務支援システム２を利用するユーザの各種データが格納されたデータベースである。例えば、ユーザデータベースＤＢ２には、ユーザが属する組織の組織ＩＤ、ユーザのユーザＩＤ、及びアクティビティデータが格納される。ユーザデータベースＤＢ２には、任意のデータが格納されてよい。例えば、ユーザデータベースＤＢ２には、ユーザのログイン用のパスワード等の他のデータが格納されてもよい。

【0064】

組織ＩＤは、業務支援システム２に契約した組織のＩＤである。ユーザＩＤは、当該組織に属するユーザのＩＤである。例えば、ユーザＩＤは、ユーザが業務支援システム２にログインするためのログインアカウントとして利用される。１つの組織ＩＤには、少なくとも１つのユーザＩＤが関連付けられる。アクティビティデータは、ユーザのアクティビティを示すデータである。例えば、アクティビティデータは、アクティビティが行われた日時と、アクティビティの具体的な内容と、を示す。

【0065】

本実施形態では、スレッドに対するメッセージの投稿がアクティビティに相当するので、アクティビティデータは、メッセージの具体的な内容であるテキストを示す。アクティビティデータには、ユーザがスレッドにメッセージを投稿した日時、メッセージに対するリアクション、又はその他の情報が含まれてもよい。ある組織のあるユーザがスレッドにメッセージを投稿するたびに、業務支援部２０１によりアクティビティデータが作成されて、当該組織の組織ＩＤと、当該ユーザのユーザＩＤと、に関連付けられてアクティビティデータがユーザデータベースＤＢ２に格納される。

【0066】

なお、データ記憶部２００に記憶されるデータは、ユーザデータベースＤＢ２に限られない。データ記憶部２００は、任意のデータを記憶してよい。例えば、データ記憶部２００は、データ記憶部２００は、再学習済みの業務支援モデルＭ２を記憶してもよい。データ記憶部２００は、アクティビティデータとは別に、業務支援システム２に登録されたスレッドの内容等の各種データを記憶してもよい。

【0067】

［業務支援部］
業務支援部２０１は、ユーザの業務を支援するための各種処理を実行する。例えば、業務支援部２０１は、ユーザ端末３０から取得したユーザの操作内容を示す操作データに基づいて、アクティビティデータを作成する。業務支援部２０１は、当該ユーザのユーザＩＤと、当該作成されたアクティビティデータと、が互いに関連付けられるように、ユーザデータベースＤＢ２を更新する。業務支援部２０１は、再学習端末１０に対し、ユーザデータベースＤＢ２に格納されたアクティビティデータを送信する。訓練データは、当該アクティビティデータに基づいて作成される。

【0068】

例えば、業務支援部２０１は、再学習済みの業務支援モデルＭ２に基づいて、ユーザの業務を支援する。本実施形態では、スレッドのサマリ作成が業務支援タスクに相当する場合を例に挙げるので、業務支援部２０１は、業務支援モデルＭ２に対し、ユーザがサマリの作成を希望するスレッドのスレッドデータを入力する。再学習済みの業務支援モデルＭ２は、スレッドデータが示すスレッドの埋め込み表現を計算する。再学習済みの業務支援モデルＭ２は、当該計算された埋め込み表現に応じたサマリを示すサマリデータを作成する。業務支援部２０１は、ユーザ端末３０に対し、再学習済みの業務支援モデルＭ２により作成されたサマリデータを送信する。業務支援部２０１は、他の業務支援タスクも同様にして、業務支援モデルＭ２に対し、何らかのテキストを示すデータを入力し、業務支援モデルＭ２から出力されたデータに基づいて、ユーザの業務を支援する。

【0069】

［３－３．ユーザ端末で実現される機能］
例えば、ユーザ端末３０は、データ記憶部３００、表示制御部３０１、及び操作受付部３０２を含む。データ記憶部３００は、記憶部３２により実現される。表示制御部３０１及び操作受付部３０２は、制御部３１により実現される。

【0070】

［データ記憶部］
データ記憶部３００は、ユーザが業務支援システム２を利用するために必要なデータを記憶する。例えば、データ記憶部３００は、ブラウザを記憶する。例えば、データ記憶部３００は、業務支援システム２専用のプログラムを記憶する。

【0071】

［表示制御部］
表示制御部３０１は、業務支援のための各種画面を、表示部３５に表示させる。例えば、表示制御部３０１は、ブラウザ上で、業務支援システム２における画面を表示させる。表示制御部３０１は、業務支援システム２専用のプログラム上で、業務支援システム２における画面を表示させる。業務支援モデルＭ２が作成された後は、ユーザは、業務支援画面ＳＣから、業務支援モデルＭ２を利用できる。図２の例であれば、ユーザが「サマリを作成する」を選択すると、表示中のスレッドのサマリデータが業務支援モデルＭ２により作成される。

【0072】

［操作受付部］
操作受付部３０２は、表示制御部３０１が表示部３５に表示させた各画面に対する操作を受け付ける。操作受付部３０２は、業務支援サーバ２０に対し、ユーザが行った操作内容を示す操作データを送信する。

【0073】

［４．再学習システムで実行される処理］
図７は、再学習システム１で実行される処理の一例を示す図である。制御部１１，２１，３１が、それぞれ記憶部１２，２２，３２に記憶されたプログラムを実行することによって、図７の処理が実行される。

【0074】

図７のように、業務支援サーバ２０は、ユーザ端末３０から受信した操作データに基づいて、アクティビティデータを作成してユーザデータベースＤＢ２に格納する（Ｓ１）。業務支援サーバ２０は、再学習端末１０に対し、ユーザデータベースＤＢ２に格納されたアクティビティデータを送信する（Ｓ２）。再学習端末１０は、業務支援サーバ２０から、アクティビティデータを受信する（Ｓ３）。再学習端末１０は、アクティビティデータに基づいて作成された訓練データを、訓練データベースＤＢ１に格納する（Ｓ４）。

【0075】

再学習端末１０は、記憶部１２に記憶された事前学習済みの大規模言語モデルＭ１を取得する（Ｓ５）。再学習端末１０は、訓練データベースＤＢ１から、任意の数の訓練データを取得する（Ｓ６）。再学習端末１０は、Ｓ６で取得された訓練データに基づいて、事前学習済みの大規模言語モデルＭ１を再学習することによって、業務支援モデルＭ２を作成する（Ｓ７）。再学習端末１０は、業務支援サーバ２０に対し、Ｓ７で作成された業務支援モデルＭ２を送信する（Ｓ８）。業務支援サーバ２０は、再学習端末１０から、業務支援モデルＭ２を受信する（Ｓ９）。業務支援サーバ２０は、ユーザ端末３０との間で、ユーザに業務支援モデルＭ２を利用させるための処理を実行し（Ｓ１０）、本処理は、終了する。

【0076】

［５．実施形態のまとめ］
本実施形態の再学習システム１は、事前学習済みの大規模言語モデルＭ１を取得する。再学習システム１は、アクティビティデータに基づいて作成された、大規模言語モデルＭ１の再学習用の訓練データを取得する。再学習システム１は、訓練データに基づいて、大規模言語モデルＭ１の再学習を実行する。例えば、業務支援システム２の運営会社が、１から業務支援モデルＭ２を作成するのは現実的ではないが、再学習システム１は、事前学習済みの大規模言語モデルＭ１の再学習によって、業務支援システム２に有用な業務支援モデルＭ２を実現できる。例えば、再学習システム１は、汎用的な大規模言語モデルＭ１に比べて、業務支援システム２におけるユーザのアクティビティが学習された業務支援モデルＭ２に基づいて、ユーザの業務を効果的に支援できる。大規模言語モデルＭ１は、基本的な言語解析の能力を有するので、再学習システム１は、少ない訓練データだったとしても、精度の高い業務支援モデルＭ２を作成できる。

【0077】

［６．変形例］
なお、本開示は、実施形態の例に限定されない。本開示は、本開示の趣旨を逸脱しない範囲で変更可能である。

【0078】

［６－１．変形例１］
実施形態では、再学習用のスレッドデータと、再学習時の正解となるサマリデータと、を含む訓練データを一例として説明した。再学習システム１は、このような１つの観点で作成された訓練データで再学習を実行するよりも、種々の観点で作成された訓練データに基づいて、複数の業務支援モデルＭ２を作成した方が、より効果的な業務支援が可能になる。そこで、変形例１の再学習システム１は、種々の観点で作成された訓練データに基づいて、多段階の再学習を実行する。

【0079】

変形例１の訓練データ取得部１０２は、互いに異なる観点で作成された複数の訓練データを取得する。観点とは、訓練データの作成時の基準である。別の言い方をすれば、観点は、訓練データの作成で利用されるアクティビティデータの種類である。変形例１では、互いに異なる観点で作成された複数の訓練データの一例として、業務支援タスクごとに作成される訓練データと、組織ごとに作成される訓練データと、について説明する。これらの観点で作成された訓練データに基づいて、多段階の再学習が実行される。

【0080】

図８は、多段階の再学習の一例を示す図である。変形例１の再学習部１０３は、変形例１の訓練データ取得部１０２により取得された複数の訓練データに基づいて、大規模言語モデルＭ１の多段階の再学習を実行することによって、複数の業務支援モデルＭ２を作成する。例えば、再学習部１０３は、ある観点で作成された訓練データに基づいて、１段階目の再学習を実行することによって、１段階目の業務支援モデルＭ２である共通業務支援モデルＭ２Ａ１，Ｍ２Ａ２を作成する。以降、共通業務支援モデルＭ２Ａ１，Ｍ２Ａ２を区別しない時は、単に共通業務支援モデルＭ２Ａという。共通業務支援モデルＭ２Ａは、１つだけであってもよいし、３つ以上であってもよい。

【0081】

例えば、再学習部１０３は、他の観点で作成された訓練データに基づいて、２段階目の再学習を実行することによって、２段階目の業務支援モデルＭ２である特有業務支援モデルＭ２Ｂ１，Ｍ２Ｂ２を作成する。以降、特有業務支援モデルＭ２Ｂ１，Ｍ２Ｂ２を区別しない時は、単に共通業務支援モデルＭ２Ｂという。共通業務支援モデルＭ２Ｂは、１つだけであってもよいし、３つ以上であってもよい。再学習部１０３は、３段階以上の再学習を実行してもよい。

【0082】

変形例１では、実施形態と同様に、複数の組織の各々に属するユーザが、業務支援システム２を利用するものとする。更に、ユーザデータベースＤＢ２には、複数の組織の各々のユーザのアクティビティデータが格納されているものとする。例えば、訓練データ取得部１０２は、業務支援モデルＭ２が行う業務支援タスクごとに、複数の組織の各々のアクティビティデータに基づいて作成された、複数の組織に共通の訓練データである共通訓練データを取得する。

【0083】

例えば、スレッドのサマリ作成と、機械翻訳と、の２つ業務支援タスクが存在したとする。この場合、訓練データ取得部１０２は、スレッドのサマリ作成を行う共通業務支援モデルＭ２Ａ１の作成のために、複数の組織の各々のスレッドデータ（アクティビティデータの一例）に基づいて作成された共通訓練データを取得する。例えば、訓練データ取得部１０２は、機械翻訳を行う共通業務支援モデルＭ２Ａ２の作成のために、複数の組織の各々に属するユーザが入力した何らかのテキストを示すアクティビティデータに基づいて作成された共通訓練データを取得する。

【0084】

例えば、再学習部１０３は、業務支援タスクごとに、共通訓練データに基づいて、大規模言語モデルＭ１の再学習を実行することによって、複数の組織に共通の業務支援モデルＭ２である共通業務支援モデルＭ２Ａを作成する。変形例１の共通業務支援モデルＭ２Ａは、ある業務支援タスクに特有のモデルではあるが、特定の組織に特有のモデルではない。共通業務支援モデルＭ２Ａは、複数の組織の各々の業務を汎用的に支援できる。共通業務支援モデルＭ２Ａは、後述の特有業務支援モデルＭ２Ｂの作成のための中間的なモデルである。共通訓練データに基づく再学習の方法は、実施形態で説明した訓練データに基づく再学習と同様である。

【0085】

例えば、スレッドのサマリ作成と、機械翻訳と、の２つ業務支援タスクが存在したとする。この場合、再学習部１０３は、複数の組織の各々のスレッドデータ（アクティビティデータの一例）から作成された共通訓練データに基づいて、大規模言語モデルＭ１の再学習を実行することによって、スレッドのサマリ作成を行う共通業務支援モデルＭ２Ａ１を作成する。スレッドのサマリ作成を行う共通業務支援モデルＭ２Ａ１は、大規模言語モデルＭ１よりもサマリ作成の精度が高いが、特定の組織に特有のサマリ作成を行えるわけではない。

【0086】

例えば、再学習部１０３は、複数の組織の各々に属するユーザが入力した何らかのテキストを示すアクティビティデータから作成された共通訓練データに基づいて、大規模言語モデルＭ１の再学習を実行することによって、機械翻訳を行う共通業務支援モデルＭ２Ａ２を作成する。機械翻訳を行う共通業務支援モデルＭ２Ａ２は、大規模言語モデルＭ１よりも機械翻訳の精度が高いが、特定の組織に特有の機械翻訳を行えるわけではない。

【0087】

例えば、訓練データ取得部１０２は、組織ごとに、当該組織のアクティビティデータに基づいて作成された、当該組織に特有の訓練データである特有訓練データを取得する。変形例１では、特有訓練データの作成に使用されるアクティビティデータと、共通訓練データの作成に使用されるアクティビティデータと、が同じである場合を説明するが、これらは異なってもよい。

【0088】

例えば、スレッドのサマリ作成と、機械翻訳と、の２つ業務支援タスクが存在したとする。この場合、訓練データ取得部１０２は、ある第１組織に特有のサマリ作成を行う特有業務支援モデルＭ２Ｂ１の作成のために、当該第１組織のスレッドデータに基づいて作成された特有訓練データを取得する。訓練データ取得部１０２は、他の第２組織に特有のサマリ作成を行う特有業務支援モデルＭ２Ｂ２の作成のために、当該第２組織のスレッドデータに基づいて作成された特有訓練データを取得する。

【0089】

例えば、訓練データ取得部１０２は、ある第１組織に特有の機械翻訳を行う特有業務支援モデルＭ２Ｂ３の作成のために、当該第１組織に属するユーザが入力した何らかのテキストを示すアクティビティデータに基づいて作成された特有訓練データを取得する。訓練データ取得部１０２は、他の第２組織に特有の機械翻訳を行う特有業務支援モデルＭ２Ｂ４の作成のために、当該第２組織に属するユーザが入力した何らかのテキストを示すアクティビティデータに基づいて作成された特有訓練データを取得する。

【0090】

例えば、再学習部１０３は、組織ごとに、当該組織の特有訓練データに基づいて、共通業務支援モデルＭ２Ａの再学習を実行することによって、当該組織に特有の業務支援モデルＭ２である特有業務支援モデルＭ２Ｂを作成する。変形例１の特有業務支援モデルＭ２Ｂは、特定の組織の特定の業務支援タスクに特化したモデルである。特有業務支援モデルＭ２Ｂは、特定の組織の特定の業務を支援できる。特有業務支援モデルＭ２Ｂは、特定の組織に属するユーザに供される最終的なモデルである。特有訓練データに基づく再学習の方法は、実施形態で説明した訓練データに基づく再学習と同様である。

【0091】

例えば、スレッドのサマリ作成と、機械翻訳と、の２つ業務支援タスクが存在したとする。この場合、再学習部１０３は、第１組織のスレッドデータから作成された特有訓練データに基づいて、サマリ作成の共通業務支援モデルＭ２Ａ１の再学習を実行することによって、第１組織に特有のサマリ作成を行う特有業務支援モデルＭ２Ｂ１を作成する。再学習部１０３は、第２組織のスレッドデータから作成された特有訓練データに基づいて、サマリ作成の共通業務支援モデルＭ２Ａ１の再学習を実行することによって、第２組織に特有のサマリ作成を行う特有業務支援モデルＭ２Ｂ２を作成する。

【0092】

例えば、再学習部１０３は、第１組織に属するユーザが入力した何らかのテキストを示すアクティビティデータから作成された特有訓練データに基づいて、機械翻訳の共通業務支援モデルＭ２Ａ２の再学習を実行することによって、第１組織に特有の機械翻訳を行う特有業務支援モデルＭ２Ｂ３を作成する。再学習部１０３は、第２組織に属するユーザが入力した何らかのテキストを示すアクティビティデータから作成された特有訓練データに基づいて、機械翻訳の共通業務支援モデルＭ２Ａ２の再学習を実行することによって、第２組織に特有の機械翻訳を行う特有業務支援モデルＭ２Ｂ４を作成する。

【0093】

なお、以上の説明では、業務支援タスクが２つであり、かつ、組織が２つである場合を一例として説明したが、業務支援タスク及び組織は、任意の数であってよい。例えば、業務支援タスクが３つ以上である場合、３つ以上の共通業務支援モデルＭ２Ａが作成されてよい。組織が３つ以上である場合、業務支援タスクごとに、３つ以上の特有業務支援モデルＭ２Ｂが作成されてよい。

【0094】

例えば、再学習部１０３は、複数の組織の各々の特有業務支援モデルＭ２Ｂを、データ記憶部１００に記録する。再学習部１０３は、業務支援サーバ２０に対し、複数の組織の各々の特有業務支援モデルＭ２Ｂを送信する。業務支援サーバ２０は、複数の組織の各々の組織ＩＤと、当該組織の特有業務支援モデルＭ２Ｂと、を互いに関連付けてデータ記憶部２００に記録する。ある組織に属するユーザが業務支援システム２にログインすると、業務支援部２０１は、当該組織の組織ＩＤに関連付けられた特有業務支援モデルＭ２Ｂに基づいて、当該ユーザの業務を支援する。

【0095】

なお、特有業務支援モデルＭ２Ｂが作成されていない組織に属するユーザが業務支援システム２にログインした場合には、業務支援部２０１は、共通業務支援モデルＭ２Ａに基づいて、当該ユーザの業務を支援してもよい。この場合、業務支援部２０１は、共通業務支援モデルＭ２Ａではなく、他の組織（例えば、業種又は従業員規模が同じ組織）の組織ＩＤに関連付けられた特有業務支援モデルＭ２Ｂに基づいて、当該ユーザの業務を支援してもよい。

【0096】

変形例１の再学習システム１は、互いに異なる観点で作成された複数の訓練データを取得する。再学習システム１は、複数の訓練データに基づいて、大規模言語モデルＭ１の多段階の再学習を実行することによって、複数の業務支援モデルＭ２を作成する。これにより、再学習システム１は、より有用な業務支援モデルＭ２を実現できる。例えば、再学習システム１は、多段階の再学習によって、より精度の高い業務支援を実現できる。

【0097】

また、再学習システム１は、業務支援タスクごとに、共通訓練データに基づいて、共通業務支援モデルＭ２Ａを作成する。再学習システム１は、組織ごとに、当該組織の特有訓練データに基づいて、特有業務支援モデルＭ２Ｂを作成する。これにより、再学習システム１は、より多くの共通訓練データに基づいて共通業務支援モデルＭ２Ａを作成した後に、個々の組織の傾向に特化した特有業務支援モデルＭ２Ｂを作成できるので、個々の組織に特有の業務支援モデルＭ２を効率良く作成できる。例えば、再学習システム１は、特定の業務支援タスクと、特定の組織と、に応じた精度の高い業務支援を実現できる。

【0098】

［６－２．変形例２］
例えば、変形例１で説明した多段階の再学習の方法は、変形例１で説明した組織に応じた多段階の再学習の方法に限られない。変形例２では、多段階の再学習の他の方法の一例として、業務支援タスク及び業務支援機能に応じた多段階の再学習を説明する。なお、複数の業務支援システム２が存在する場合には、業務支援機能は、ある単一の業務支援システム２が有する機能ではなく、業務支援システム２自体であってもよい。例えば、複数のグループウェアが存在する場合には、個々のグループウェアが業務支援機能に相当してもよい。

【0099】

例えば、訓練データ取得部１０２は、業務支援モデルＭ２が行う業務支援タスクごとに、業務支援システム２が有する複数の業務支援機能の各々のアクティビティデータに基づいて作成された、複数の業務支援機能に共通の訓練データである共通訓練データを取得する。

【0100】

例えば、サマリ作成と、機械翻訳と、の２つ業務支援タスクが存在したとする。変形例２のサマリ作成は、スレッドに限られず、業務支援システム２全般のサマリ作成であるものとする。この場合、訓練データ取得部１０２は、サマリ作成を行う共通業務支援モデルＭ２Ａ１の作成のために、複数の業務支援機能の各々のアクティビティデータに基づいて作成された、サマリ作成用の共通訓練データを取得する。例えば、訓練データ取得部１０２は、機械翻訳を行う共通業務支援モデルＭ２Ａ２の作成のために、複数の業務支援機能の各々のアクティビティデータに基づいて作成された、機械翻訳用の共通訓練データを取得する。

【0101】

例えば、再学習部１０３は、業務支援タスクごとに、共通訓練データに基づいて、大規模言語モデルＭ１の再学習を実行することによって、複数の業務支援機能に共通の業務支援モデルＭ２である共通業務支援モデルＭ２Ａを作成する。変形例２の共通業務支援モデルＭ２Ａは、ある業務支援タスクに特有のモデルではあるが、特定の業務支援機能に特有のモデルではない。共通業務支援モデルＭ２Ａは、複数の業務支援機能の各々を利用するユーザの業務を汎用的に支援できる。共通業務支援モデルＭ２Ａは、後述の特有業務支援モデルＭ２Ｂの作成のための中間的なモデルである。共通訓練データに基づく再学習の方法は、実施形態で説明した訓練データに基づく再学習と同様である。

【0102】

例えば、サマリ作成と、機械翻訳と、の２つ業務支援タスクが存在したとする。この場合、再学習部１０３は、複数の業務支援機能の各々のアクティビティデータから作成された、サマリ作成用の共通訓練データに基づいて、大規模言語モデルＭ１の再学習を実行することによって、サマリ作成を行う共通業務支援モデルＭ２Ａ１を作成する。サマリ作成を行う共通業務支援モデルＭ２Ａ１は、大規模言語モデルＭ１よりもサマリ作成の精度が高いが、特定の業務支援機能に特有のサマリ作成を行えるわけではない。

【0103】

例えば、再学習部１０３は、複数の業務支援機能の各々のアクティビティデータから作成された、機械翻訳用の共通訓練データに基づいて、大規模言語モデルＭ１の再学習を実行することによって、機械翻訳を行う共通業務支援モデルＭ２Ａ１を作成する。機械翻訳を行う共通業務支援モデルＭ２Ａ２は、大規模言語モデルＭ１よりも機械翻訳の精度が高いが、特定の業務支援機能に特有の機械翻訳を行えるわけではない。

【0104】

例えば、訓練データ取得部１０２は、業務支援機能ごとに、当該業務支援機能のアクティビティデータに基づいて作成された、当該業務支援機能に特有の訓練データである特有訓練データを取得する。変形例２では、変形例１と同様に、特有訓練データの作成に使用されるアクティビティデータと、共通訓練データの作成に使用されるアクティビティデータと、が同じである場合を説明するが、これらは異なってもよい。

【0105】

例えば、サマリ作成と、機械翻訳と、の２つ業務支援タスクが存在したとする。更に、スレッド機能と、メール管理機能と、の２つの業務支援機能が存在したとする。この場合、訓練データ取得部１０２は、スレッド機能に特有のサマリ作成を行う特有業務支援モデルＭ２Ｂ１の作成のために、スレッドデータに基づいて作成された特有訓練データを取得する。訓練データ取得部１０２は、メール管理機能に特有のサマリ作成を行う特有業務支援モデルＭ２Ｂ２の作成のために、メール管理機能で管理されるメールの本文を示すアクティビティデータに基づいて作成された特有訓練データを取得する。

【0106】

例えば、訓練データ取得部１０２は、スレッド機能に特有の機械翻訳を行う特有業務支援モデルＭ２Ｂ３の作成のために、スレッドデータに基づいて作成された特有訓練データを取得する。訓練データ取得部１０２は、メール管理機能に特有の機械翻訳を行う特有業務支援モデルＭ２Ｂ４の作成のために、メール管理機能で管理されるメールの本文を示すアクティビティデータに基づいて作成された特有訓練データを取得する。

【0107】

例えば、再学習部１０３は、業務支援機能ごとに、当該業務支援機能の特有訓練データに基づいて、共通業務支援モデルＭ２Ａの再学習を実行することによって、当該業務支援機能に特有の業務支援モデルＭ２である特有業務支援モデルＭ２Ｂを作成する。変形例２の特有業務支援モデルＭ２Ｂは、特定の業務支援機能の特定の業務支援タスクに特化したモデルである。特有業務支援モデルＭ２Ｂは、特定の業務支援機能を利用するユーザの業務を支援できる。特有業務支援モデルＭ２Ｂは、特定の業務支援機能を利用するユーザに供される最終的なモデルである。特有訓練データに基づく再学習の方法は、実施形態で説明した訓練データに基づく再学習と同様である。

【0108】

例えば、サマリ作成と、機械翻訳と、の２つ業務支援タスクが存在したとする。更に、スレッド機能と、メール管理機能と、の２つの業務支援機能が存在したとする。この場合、再学習部１０３は、スレッドデータから作成された特有訓練データに基づいて、サマリ作成の共通業務支援モデルＭ２Ａ１の再学習を実行することによって、スレッド機能に特有のサマリ作成を行う特有業務支援モデルＭ２Ｂ１を作成する。再学習部１０３は、メール管理機能を利用するユーザのアクティビティデータから作成された特有訓練データに基づいて、サマリ作成の共通業務支援モデルＭ２Ａ１の再学習を実行することによって、メール管理機能に特有のサマリ作成を行う特有業務支援モデルＭ２Ｂ２を作成する。

【0109】

例えば、再学習部１０３は、スレッドデータから作成された特有訓練データに基づいて、機械翻訳の共通業務支援モデルＭ２Ａ２の再学習を実行することによって、スレッド機能に特有の機械翻訳を行う特有業務支援モデルＭ２Ｂ３を作成する。再学習部１０３は、メール管理機能を利用するユーザのアクティビティデータから作成された特有訓練データに基づいて、機械翻訳の共通業務支援モデルＭ２Ａ２の再学習を実行することによって、メール管理機能に特有の機械翻訳を行う特有業務支援モデルＭ２Ｂ４を作成する。

【0110】

なお、以上の説明では、業務支援タスクが２つであり、かつ、業務支援機能が２つである場合を一例として説明したが、業務支援タスク及び業務支援機能は、任意の数であってよい。例えば、業務支援タスクが３つ以上である場合、３つ以上の共通業務支援モデルＭ２Ａが作成されてよい。業務支援機能が３つ以上である場合、業務支援タスクごとに、３つ以上の特有業務支援モデルＭ２Ｂが作成されてよい。

【0111】

例えば、再学習部１０３は、複数の業務支援機能の各々の特有業務支援モデルＭ２Ｂを、データ記憶部１００に記録する。再学習部１０３は、業務支援サーバ２０に対し、複数の業務支援機能の各々の特有業務支援モデルＭ２Ｂを送信する。業務支援サーバ２０は、複数の業務支援機能の各々と、当該業務支援機能の特有業務支援モデルＭ２Ｂと、を互いに関連付けてデータ記憶部２００に記録する。ある業務支援機能をユーザが利用する場合、業務支援部２０１は、当該業務支援機能に関連付けられた特有業務支援モデルＭ２Ｂに基づいて、当該ユーザの業務を支援する。

【0112】

なお、特有業務支援モデルＭ２Ｂが作成されていない業務支援機能をユーザが利用する場合には、業務支援部２０１は、共通業務支援モデルＭ２Ａに基づいて、当該ユーザの業務を支援してもよい。この場合、業務支援部２０１は、共通業務支援モデルＭ２Ａではなく、他の業務支援機能に関連付けられた特有業務支援モデルＭ２Ｂに基づいて、当該ユーザの業務を支援してもよい。

【0113】

変形例２の再学習システム１は、業務支援タスクごとに、共通訓練データに基づいて、大規模言語モデルＭ１の再学習を実行することによって、共通業務支援モデルＭ２Ａを作成する。再学習システム１は、業務支援機能ごとに、当該業務支援機能の特有訓練データに基づいて、共通業務支援モデルＭ２Ａの再学習を実行することによって、当該業務支援機能に特有の業務支援モデルＭ２である特有業務支援モデルＭ２Ｂを作成する。これにより、再学習システム１は、より多くの共通訓練データに基づいて共通業務支援モデルＭ２Ａを作成した後に、個々の業務支援機能の傾向に特化した特有業務支援モデルＭ２Ｂを作成できるので、個々の業務支援機能に特有の業務支援モデルＭ２を効率良く作成できる。例えば、再学習システム１は、特定の業務支援タスクと、特定の業務支援機能と、に応じた精度の高い業務支援を実現できる。

【0114】

［６－３．変形例３］
例えば、変形例３では、変形例１で説明した多段階の再学習の他の例として、業務支援機能及び組織に応じた多段階の再学習を説明する。変形例３の業務支援タスクは、１つであってもよい。

【0115】

例えば、訓練データ取得部１０２は、業務支援システム２が有する業務支援機能ごとに、複数の組織の各々のアクティビティデータに基づいて作成された、複数の組織に共通の訓練データである共通訓練データを取得する。

【0116】

例えば、スレッド機能と、メール管理機能と、の２つの業務支援機能が存在したとする。この場合、訓練データ取得部１０２は、スレッド機能用の共通業務支援モデルＭ２Ａ１の作成のために、複数の組織の各々に属するユーザがスレッド機能で入力したテキストを示すアクティビティデータに基づいて作成された共通訓練データを取得する。例えば、訓練データ取得部１０２は、メール管理機能用の共通業務支援モデルＭ２Ａ２の作成のために、複数の組織の各々に属するユーザがメール管理機能で入力したテキストを示すアクティビティデータに基づいて作成された共通訓練データを取得する。

【0117】

例えば、再学習部１０３は、業務支援機能ごとに、共通訓練データに基づいて、大規模言語モデルＭ１の再学習を実行することによって、複数の組織に共通の共通業務支援モデルＭ２Ａを作成する。変形例３の共通業務支援モデルＭ２Ａは、業務支援システム２に特化したモデルではあるが、特定の組織に特有のモデルではない。共通業務支援モデルＭ２Ａは、複数の組織の各々の業務を汎用的に支援できる。共通業務支援モデルＭ２Ａは、後述の特有業務支援モデルＭ２Ｂの作成のための中間的なモデルである。共通訓練データに基づく再学習の方法は、実施形態で説明した訓練データに基づく再学習と同様である。

【0118】

例えば、スレッド機能と、メール管理機能と、の２つの業務支援機能が存在したとする。この場合、再学習部１０３は、複数の組織の各々のアクティビティデータ（ユーザがスレッド機能で入力したテキストを示すアクティビティデータ）から作成された共通訓練データに基づいて、大規模言語モデルＭ１の再学習を実行することによって、スレッド機能用の共通業務支援モデルＭ２Ａ１を作成する。スレッド機能用の共通業務支援モデルＭ２Ａ１は、大規模言語モデルＭ１よりもスレッド機能に特有の業務支援が可能であるが、特定の組織に特有の業務支援を行えるわけではない。

【0119】

例えば、再学習部１０３は、複数の組織の各々のアクティビティデータ（ユーザがメール管理機能で入力したテキストを示すアクティビティデータ）から作成された共通訓練データに基づいて、大規模言語モデルＭ１の再学習を実行することによって、メール管理機能用の共通業務支援モデルＭ２Ａ２を作成する。メール管理機能用の共通業務支援モデルＭ２Ａ２は、大規模言語モデルＭ１よりもメール管理機能に特有の業務支援が可能であるが、特定の組織に特有の業務支援を行えるわけではない。

【0120】

例えば、訓練データ取得部１０２は、組織ごとに、当該組織のアクティビティに基づいて作成された、当該組織に特有の訓練データである特有訓練データを取得する。変形例３では、特有訓練データの作成に使用されるアクティビティデータと、共通訓練データの作成に使用されるアクティビティデータと、が同じである場合を説明するが、これらは異なってもよい。

【0121】

例えば、スレッド機能と、メール管理機能と、の２つの業務支援機能が存在したとする。この場合、訓練データ取得部１０２は、ある第１組織のスレッド機能用の特有業務支援モデルＭ２Ｂ１の作成のために、当該第１組織のアクティビティデータに基づいて作成された特有訓練データを取得する。訓練データ取得部１０２は、他の第２組織のスレッド機能用の特有業務支援モデルＭ２Ｂ２の作成のために、当該第２組織のアクティビティデータに基づいて作成された特有訓練データを取得する。

【0122】

例えば、訓練データ取得部１０２は、ある第１組織のメール管理機能用の特有業務支援モデルＭ２Ｂ３の作成のために、当該第１組織のアクティビティデータに基づいて作成された特有訓練データを取得する。訓練データ取得部１０２は、他の第２組織のメール管理機能用の特有業務支援モデルＭ２Ｂ４の作成のために、当該第２組織のアクティビティデータに基づいて作成された特有訓練データを取得する。

【0123】

例えば、再学習部１０３は、組織ごとに、当該組織の特有訓練データに基づいて、共通業務支援モデルＭ２Ａの再学習を実行することによって、当該組織に特有の業務支援モデルＭ２である特有業務支援モデルＭ２Ｂを作成する。変形例３の特有業務支援モデルＭ２Ｂは、特定の組織に特化したモデルである。特有業務支援モデルＭ２Ｂは、特定の組織に属するユーザが特定の業務支援機能を利用するためのモデルである。特有業務支援モデルＭ２Ｂは、特定の組織に属するユーザに供される最終的なモデルである。特有訓練データに基づく再学習の方法は、実施形態で説明した訓練データに基づく再学習と同様である。

【0124】

例えば、スレッド機能と、メール管理機能と、の２つの業務支援機能が存在したとする。この場合、再学習部１０３は、第１組織のアクティビティデータから作成された特有訓練データに基づいて、スレッド機能用の共通業務支援モデルＭ２Ａ１の再学習を実行することによって、第１組織に特有の業務支援が可能な特有業務支援モデルＭ２Ｂ１を作成する。再学習部１０３は、第２組織のアクティビティデータから作成された特有訓練データに基づいて、スレッド機能用の共通業務支援モデルＭ２Ａ１の再学習を実行することによって、第２組織に特有の業務支援が可能な特有業務支援モデルＭ２Ｂ２を作成する。

【0125】

例えば、再学習部１０３は、第１組織のアクティビティデータから作成された特有訓練データに基づいて、メール管理機能用の共通業務支援モデルＭ２Ａ２の再学習を実行することによって、第１組織に特有の業務支援が可能な特有業務支援モデルＭ２Ｂ３を作成する。再学習部１０３は、第２組織のアクティビティデータから作成された特有訓練データに基づいて、メール管理機能用の共通業務支援モデルＭ２Ａ２の再学習を実行することによって、第２組織に特有の業務支援が可能な特有業務支援モデルＭ２Ｂ４を作成する。

【0126】

なお、以上の説明では、業務支援機能が２つであり、かつ、組織が２つである場合を一例として説明したが、業務支援機能及び組織は、任意の数であってよい。例えば、業務支援機能が３つ以上である場合、３つ以上の共通業務支援モデルＭ２Ａが作成されてよい。組織が３つ以上である場合、業務支援機能ごとに、３つ以上の特有業務支援モデルＭ２Ｂが作成されてよい。

【0127】

例えば、再学習部１０３は、複数の組織の各々の特有業務支援モデルＭ２Ｂを、データ記憶部１００に記録する。再学習部１０３は、業務支援サーバ２０に対し、複数の組織の各々の特有業務支援モデルＭ２Ｂを送信する。業務支援サーバ２０は、複数の組織の各々の組織ＩＤと、当該組織の特有業務支援モデルＭ２Ｂと、を互いに関連付けてデータ記憶部２００に記録する。ある組織に属するユーザがある業務支援機能を利用する場合に、業務支援部２０１は、当該組織の組織ＩＤに関連付けられた、当該業務支援機能用の特有業務支援モデルＭ２Ｂに基づいて、当該ユーザの業務を支援する。

【0128】

なお、特有業務支援モデルＭ２Ｂが作成されていない組織に属するユーザが業務支援システム２にログインした場合には、業務支援部２０１は、共通業務支援モデルＭ２Ａに基づいて、当該ユーザの業務を支援してもよい。この場合、業務支援部２０１は、共通業務支援モデルＭ２Ａではなく、他の組織（例えば、業種又は従業員規模が同じ組織）の組織ＩＤに関連付けられた特有業務支援モデルＭ２Ｂに基づいて、当該ユーザの業務を支援してもよい。

【0129】

変形例３の再学習システム１は、共通訓練データに基づいて、大規模言語モデルＭ１の再学習を実行することによって、共通業務支援モデルＭ２Ａを作成する。再学習システム１は、組織ごとに、当該組織の特有訓練データに基づいて、共通業務支援モデルＭ２Ａの再学習を実行することによって、特有業務支援モデルＭ２Ｂを作成する。これにより、再学習システム１は、より多くの共通訓練データに基づいて共通業務支援モデルＭ２Ａを作成した後に、特定の業務支援機能を利用するユーザが属する個々の組織の傾向に特化した特有業務支援モデルＭ２Ｂを作成できるので、個々の組織に特有の業務支援モデルＭ２を効率良く作成できる。例えば、再学習システム１は、特定の業務支援機能と、特定の組織と、に応じた精度の高い業務支援を実現できる。

【0130】

［６－４．変形例４］
例えば、変形例１～３では、共通業務支援モデルＭ２Ａ及び特有業務支援モデルＭ２Ｂといった複数の業務支援モデルＭ２が作成される。これらの複数の業務支援モデルＭ２の各々は、訓練データのデータ拡張で利用されてもよい。

【0131】

図９は、変形例４で実現される機能の一例を示す図である。例えば、変形例４の再学習端末１０は、訓練データ作成部１０４を含む。訓練データ作成部１０４は、制御部１１により実現される。訓練データ作成部１０４は、複数の訓練データの各々と、複数の業務支援モデルＭ２の各々と、に基づいて、新たな訓練データを作成する。例えば、訓練データ作成部１０４は、複数の業務支援モデルＭ２の各々に対し、業務支援モデルＭ２の再学習で利用された訓練データの入力部分を入力する。業務支援モデルＭ２は、当該入力部分に応じた出力を行う。

【0132】

例えば、訓練データ作成部１０４は、業務支援モデルＭ２に入力された訓練データの入力部分を、新たな訓練データの入力部分として取得する。訓練データ作成部１０４は、業務支援モデルＭ２からの出力を、新たな訓練データの出力部分として取得する。新たな訓練データの出力は、業務支援モデルＭ２からの出力そのものでなくてもよい。例えば、業務支援モデルＭ２からの出力の一部が変更されたデータが、新たな訓練データの出力部分であってもよい。訓練データ作成部１０４は、入力部分及び出力部分のペアを、新たな訓練データとして作成する。訓練データ作成部１０４は、訓練データベースＤＢ１に、新たな訓練データを格納する。

【0133】

変形例４の再学習部１０３は、新たな訓練データに基づいて、複数の業務支援モデルＭ２の少なくとも１つの更なる再学習を実行する。再学習部１０３は、新たな訓練データに基づいて、全ての業務支援モデルＭ２の再学習を実行してもよいし、一部の業務支援モデルＭ２の再学習だけを実行してもよい。更なる再学習は、新たな訓練データが利用される点で、実施形態及び変形例１～３の再学習とは異なるが、再学習の方法は、実施形態及び変形例１～３と同様であってよい。

【0134】

変形例４の再学習システム１は、複数の訓練データの各々と、複数の業務支援モデルＭ２の各々と、に基づいて、新たな訓練データを作成する。再学習システム１は、新たな訓練データに基づいて、複数の業務支援モデルＭ２の少なくとも１つの更なる再学習を実行する。これにより、再学習システム１は、複数の業務支援モデルＭ２の各々を利用したデータ拡張を実現できるので、効果的な再学習を実現できる。

【0135】

［６－５．変形例５］
例えば、再学習システム１は、ある特定の組織に特有の業務支援モデルＭ２を作成しようとしても、その組織に、十分な量のアクティビティデータが存在しないことがある。このため、ある組織に特有の業務支援モデルＭ２の作成のために、他の組織のアクティビティデータが利用されてもよい。変形例５では、業務支援モデルＭ２の作成対象となる組織を、第１組織という。第１組織に特有の業務支援モデルＭ２の作成でアクティビティデータが利用される他の組織を、第２組織という。

【0136】

変形例５の訓練データ取得部１０２は、第１組織のアクティビティデータに基づいて作成された訓練データである第１組織訓練データと、第１組織と関連する第２組織のアクティビティデータに基づいて作成された訓練データである第２組織訓練データと、を取得する。第２組織は、第１組織と関連付けられた他の組織である。例えば、第２組織は、業種又は従業員規模が第１組織と同じ他の組織である。

【0137】

変形例５の訓練データベースＤＢ１には、個々の訓練データに、当該訓練データの作成で利用されたアクティビティデータが示すアクティビティを行ったユーザが属する組織の組織ＩＤが関連付けられているものとする。更に、第１組織と第２組織の関連付けは、データ記憶部１００に定義されているものとする。例えば、第２組織が第１組織と同じ業種の他の組織だったとすると、個々の組織の業種がデータ記憶部１００に定義されている。第２組織が第１組織と同じ従業員規模の他の組織だったとすると、個々の組織の従業員規模がデータ記憶部１００に定義されている。

【0138】

変形例５の再学習部１０３は、第１組織訓練データと、第２組織訓練データと、に基づいて、第１組織に特有の業務支援モデルＭ２を作成する。例えば、再学習部１０３は、第１組織訓練データと、第２組織訓練データと、に基づいて、大規模言語モデルＭ１の再学習を実行することによって、第１組織に特有の業務支援モデルＭ２を作成する。変形例１～３のように、共通業務支援モデルＭ２Ａが作成される場合には、再学習部１０３は、第１組織訓練データと、第２組織訓練データと、に基づいて、共通業務支援モデルＭ２Ａの再学習を実行することによって、第１組織の特有業務支援モデルＭ２Ｂを作成する。

【0139】

変形例５の再学習システム１は、第１組織訓練データと、第２組織訓練データと、に基づいて、第１組織に特有の業務支援モデルＭ２を作成する。これにより、再学習システム１は、第１組織に特有の業務支援モデルＭ２を、効率良く作成できる。例えば、第１組織が業務支援システム２に新規登録した組織であり、十分な量のアクティビティデータが存在しなかったとしても、再学習システム１は、第２組織のアクティビティデータに基づく第２組織訓練データを利用するので、第１組織に特有の業務支援モデルＭ２の精度を高めることができる。

【0140】

［６－６．変形例６］
例えば、変形例５の第２組織は、第１組織よりも業務支援システム２の利用期間が長い他の組織であってもよい。変形例６のデータ記憶部１００は、個々の組織の利用期間を示すデータを記憶する。再学習端末１０は、当該データを参照することによって、どの組織が第２組織に該当するかを特定できる。

【0141】

変形例６の訓練データ取得部１０２は、業務支援システム２に新規登録した第１組織の第１組織訓練データと、第１組織よりも業務支援システム２の利用期間が長い第２組織の第２組織訓練データと、を取得する。訓練データ取得部１０２は、第１組織よりも業務支援システム２の利用期間が短い他の組織のアクティビティデータに基づいては、第１組織に特有の業務支援モデルＭ２の作成のための訓練データを取得しない。

【0142】

変形例６の再学習部１０３は、業務支援システム２に新規登録した第１組織に特有の業務支援モデルＭ２を作成する。再学習部１０３は、第１組織よりも業務支援システム２の利用期間が短い他の組織のアクティビティデータに基づく訓練データを利用せずに、第１組織よりも業務支援システム２の利用期間が長い第２組織の第２組織訓練データに基づいて、第１組織に特有の業務支援モデルＭ２を作成する。第２組織訓練データの取得方法が変形例５とは異なるが、第１組織訓練データ及び第２組織訓練データに基づく再学習の方法は、変形例５と同様である。

【0143】

変形例６の再学習システム１は、業務支援システム２に新規登録した第１組織の第１組織訓練データと、第１組織よりも業務支援システム２の利用期間が長い第２組織の第２組織訓練データと、に基づいて、業務支援システム２に新規登録した第１組織に特有の業務支援モデルＭ２を作成する。利用期間が長いほどアクティビティデータが多いことがあるので、再学習システム１は、業務支援システム２に新規登録した第１組織に特有の業務支援モデルＭ２を、効率良く作成できる。

【0144】

［６－７．変形例７］
例えば、業務支援モデルＭ２には、処理対象となるアクティビティデータ以外の他のデータが入力されてもよい。変形例７では、実施形態と同様に、業務支援タスクがスレッドのサマリ作成である場合を例に挙げる。例えば、スレッドには、ユーザがサマリに含めたいと思うキーワードが存在することがある。この場合、サマリの作成対象となるスレッドのスレッドデータだけではなく、ユーザが指定したキーワードが業務支援モデルＭ２に入力されてもよい。変形例７では、このような入力に対応可能な業務支援モデルＭ２が作成される。

【0145】

変形例７の訓練データ取得部１０２は、アクティビティデータが示すアクティビティの全体と、アクティビティデータの中から選択された一部分と、示す訓練データを取得する。アクティビティデータの中から選択された一部分は、再学習が特に必要な部分である。例えば、業務支援システム２の運営会社は、アクティビティの全体の中から一部分を選択してアノテーションを行う。訓練データの入力部分は、アクティビティデータが示すアクティビティの全体と、アノテーションされた一部分と、のペアになる。訓練データの出力部分は、実施形態と同様であってよい。

【0146】

変形例７の再学習部１０３は、上記全体及び上記一部分を示す訓練データに基づいて、大規模言語モデルＭ１の再学習を実行することによって、業務支援モデルＭ２を作成する。訓練データの入力部分が実施形態とは異なるが、再学習の方法は、実施形態と同様である。再学習部１０３は、訓練データの入力部分が示す上記全体及び上記一部分が大規模言語モデルＭ１に入力された場合に、大規模言語モデルＭ１が訓練データの出力部分を出力するように、大規模言語モデルＭ１の再学習を実行する。

【0147】

例えば、ユーザが業務支援モデルＭ２を利用する場合には、ユーザは、当該一部分に相当する部分を指定する。業務支援タスクがスレッドのサマリ作成である場合には、業務支援部２０１は、サマリの作成対象となるスレッドのスレッドデータと、当該スレッドの中からユーザが指定したキーワードと、を業務支援モデルＭ２に入力する。業務支援モデルＭ２は、これらのテキストの埋め込み表現に基づいて、サマリデータを出力する。当該サマリデータが示すサマリには、ユーザが指定したキーワードが含まれる。

【0148】

なお、アクティビティデータの中から選択される一部分は、上記の例に限られない。当該一部分は、業務支援タスクに応じた部分であってよい。例えば、業務支援タスクが質問に対する回答の作成であれば、当該一部分は、質問の内容であってもよい。業務支援タスクがテキストの作成であれば、当該一部分は、テキストに含まれるべきキーワードであってもよい。その他、当該一部分は、訓練データの出力部分との間に何らかの相関関係があるものであればよい。

【0149】

変形例７の再学習システム１は、アクティビティデータが示すアクティビティの全体と、アクティビティデータの中から選択された一部分と、示す訓練データを取得する。再学習システム１は、全体及び一部分を示す訓練データに基づいて、大規模言語モデルＭ１の再学習を実行することによって、業務支援モデルＭ２を作成する。これにより、再学習システム１は、より柔軟な業務支援モデルＭ２を作成できる。

【0150】

［６－８．その他の変形例］
例えば、上記変形例を組み合わせてもよい。

【0151】

例えば、再学習端末１０で実現されるものとして説明した機能は、業務支援サーバ２０によって実現されてもよい。再学習端末１０で実現されるものとして説明した機能は、複数のコンピュータで分担されてもよい。

【符号の説明】

【0152】

１ 再学習システム、２ 業務支援システム、１０ 再学習端末、１１，２１，３１ 制御部、１２，２２，３２ 記憶部、１３，２３，３３ 通信部、２０ 業務支援サーバ、３０ ユーザ端末、１４，３４ 操作部、１５，３５ 表示部、Ｎ ネットワーク、１００ データ記憶部、１０１ 大規模言語モデル取得部、１０２ 訓練データ取得部、１０３ 再学習部、１０４ 訓練データ作成部、２００ データ記憶部、２０１ 業務支援部、３００ データ記憶部、３０１ 表示制御部、３０２ 操作受付部、ＤＢ１ 訓練データベース、ＤＢ２ ユーザデータベース、Ｍ１ 大規模言語モデル、Ｍ２ 業務支援モデル、Ｍ２Ａ，Ｍ２Ａ１，Ｍ２Ａ２ 共通業務支援モデル、Ｍ２Ｂ，Ｍ２Ｂ１，Ｍ２Ｂ２，Ｍ２Ｂ３，Ｍ２Ｂ４ 特有業務支援モデル、ＳＣ 業務支援画面。

【要約】

【課題】業務支援システムに有用な大規模言語モデルを実現する。
【解決手段】再学習システム（１）の大規模言語モデル取得部（１０１）は、事前学習済みの大規模言語モデルを取得する。訓練データ取得部（１０２）は、ユーザの業務を支援する業務支援システムで行われたユーザのアクティビティを示すアクティビティデータに基づいて作成された、大規模言語モデルの再学習用の訓練データを取得する。再学習部（１０３）は、訓練データに基づいて、大規模言語モデルの再学習を実行することによって、業務支援システムに特有の業務支援モデルを作成する。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】