特開 2024-70637 情報処理方法、プログラム、情報処理装置及びモデル生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024070637

(43)【公開日】2024-05-23

(54)【発明の名称】情報処理方法、プログラム、情報処理装置及びモデル生成方法

(51)【国際特許分類】

   G06F 40/216 20200101AFI20240516BHJP

   G06Q 10/10 20230101ALI20240516BHJP

   G06F 16/33 20190101ALI20240516BHJP

   G06F 16/90 20190101ALI20240516BHJP

   G06N 3/042 20230101ALI20240516BHJP

【ＦＩ】

G06F40/216

G06Q10/10

G06F16/33

G06F16/90 100

G06N3/042

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022181256

(22)【出願日】2022-11-11

(71)【出願人】

【識別番号】000003687

【氏名又は名称】東京電力ホールディングス株式会社

(71)【出願人】

【識別番号】592001975

【氏名又は名称】伊藤忠テクノソリューションズ株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】近藤 誠一郎

(72)【発明者】

【氏名】渥美 秀彦

(72)【発明者】

【氏名】菅原 雅之

【テーマコード（参考）】

5B091

5B175

5L010

5L049

【Ｆターム（参考）】

5B091AA15

5B091CA01

5B091EA01

5B175DA01

5B175GC03

5B175HA01

5L010AA11

5L010AA20

5L049AA11

5L049AA20

(57)【要約】

【課題】自然言語処理モデルを汎用的に利用することができる情報処理方法等を提供する。
【解決手段】情報処理方法は、テキストの入力を受け付け、処理タスクに応じて、複数の後段処理アルゴリズムからいずれかを選択し、テキストを入力した場合に該テキストの特徴量を抽出するよう学習済みの自然言語処理モデルの後段に、選択した前記後段処理アルゴリズムを接続し、前記後段処理アルゴリズムを接続した前記自然言語処理モデルに、前記テキストを入力することで情報を出力する処理をコンピュータが実行する。
【選択図】図３

【特許請求の範囲】

【請求項1】

テキストの入力を受け付け、
処理タスクに応じて、複数の後段処理アルゴリズムからいずれかを選択し、
テキストを入力した場合に該テキストの特徴量を抽出するよう学習済みの自然言語処理モデルの後段に、選択した前記後段処理アルゴリズムを接続し、
前記後段処理アルゴリズムを接続した前記自然言語処理モデルに、前記テキストを入力することで情報を出力する
処理をコンピュータが実行する情報処理方法。

【請求項2】

前記自然言語処理モデルは、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）である
請求項１に記載の情報処理方法。

【請求項3】

前記テキストは交渉議事録であり、
一の前記後段処理アルゴリズムは、前記特徴量を入力した場合に、交渉における推奨行動を出力するよう学習済みの分類モデルである
請求項１に記載の情報処理方法。

【請求項4】

一の前記後段処理アルゴリズムは、前記特徴量に基づき文書を検索する検索エンジンである
請求項１に記載の情報処理方法。

【請求項5】

一の前記後段処理アルゴリズムは、前記特徴量を入力した場合に前記テキストの要約文を出力するよう学習済みの要約モデルである
請求項１に記載の情報処理方法。

【請求項6】

一の前記後段処理アルゴリズムは、前記特徴量を入力した場合に、前記テキストと類似する質問文を抽出するよう学習済みの抽出モデルであり、
抽出した前記特徴量を前記抽出モデルに入力することで、前記テキストと類似する前記質問文を抽出し、
抽出した前記質問文に対応する回答文を出力する
請求項１に記載の情報処理方法。

【請求項7】

テキストの入力を受け付け、
処理タスクに応じて、複数の後段処理アルゴリズムからいずれかを選択し、
テキストを入力した場合に該テキストの特徴量を抽出するよう学習済みの自然言語処理モデルの後段に、選択した前記後段処理アルゴリズムを接続し、
前記後段処理アルゴリズムを接続した前記自然言語処理モデルに、前記テキストを入力することで情報を出力する
処理をコンピュータに実行させるプログラム。

【請求項8】

制御部を備えた情報処理装置であって、
前記制御部が、
テキストの入力を受け付け、
処理タスクに応じて、複数の後段処理アルゴリズムからいずれかを選択し、
テキストを入力した場合に該テキストの特徴量を抽出するよう学習済みの自然言語処理モデルの後段に、選択した前記後段処理アルゴリズムを接続し、
前記後段処理アルゴリズムを接続した前記自然言語処理モデルに、前記テキストを入力することで情報を出力する
情報処理装置。

【請求項9】

訓練用のテキスト群に基づき、テキストを入力した場合に該テキストの特徴量を抽出する自然言語処理モデルを生成し、
複数の後段処理アルゴリズムのうちいずれかを前記自然言語処理モデルの後段に接続し、
所定の訓練データに基づき、前記後段処理アルゴリズムを接続した前記自然言語処理モデルをトレーニングし、
前記自然言語処理モデルに接続する前記後段処理アルゴリズムを、他の前記後段処理アルゴリズムに変更し、
所定の訓練データに基づき、前記後段処理アルゴリズムを変更した前記自然言語処理モデルを再トレーニングする
処理をコンピュータが実行するモデル生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、プログラム、情報処理装置及びモデル生成方法に関する。

【背景技術】

【0002】

自然言語処理の分野で、ＡＩ（Artificial Intelligence）技術の利用が進展している。例えば特許文献１では、ユーザの発話内容の特徴量をＢＥＲＴ（Bidirectional Encoder Representations from Transformers）モデルにより抽出し、抽出した特徴量をニューラルネットワークに入力してユーザの感情を推定する感情認識装置等が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－３００７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に係る発明は自然言語処理モデルで抽出した特徴量を感情認識に用いるのみで、種々の処理に流用できていない。

【0005】

一つの側面では、自然言語処理モデルを汎用的に利用することができる情報処理方法等を提供することを目的とする。

【課題を解決するための手段】

【0006】

一つの側面では、情報処理方法は、テキストの入力を受け付け、処理タスクに応じて、複数の後段処理アルゴリズムからいずれかを選択し、テキストを入力した場合に該テキストの特徴量を抽出するよう学習済みの自然言語処理モデルの後段に、選択した前記後段処理アルゴリズムを接続し、前記後段処理アルゴリズムを接続した前記自然言語処理モデルに、前記テキストを入力することで情報を出力する処理をコンピュータが実行する。

【発明の効果】

【0007】

一つの側面では、自然言語処理モデルを汎用的に利用することができる。

【図面の簡単な説明】

【0008】

【図1】テキスト処理システムの構成例を示す説明図である。

【図2】サーバの構成例を示すブロック図である。

【図3】実施の形態の概要を示す説明図である。

【図4】議事録解析画面の一例を示す説明図である。

【図5】議事録解析画面の他例を示す説明図である。

【図6】自然言語処理モデルの生成処理の手順を示すフローチャートである。

【図7】自然言語処理モデルを用いた情報出力処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態）
図１は、テキスト処理システムの構成例を示す説明図である。本実施の形態では、共通の自然言語処理モデル５０（図３参照）を用いて入力テキストの特徴量を抽出し、その利用用途に応じて、種々の後段処理を行って必要な情報を出力するテキスト処理システムについて説明する。テキスト処理システムは、情報処理装置１及び端末２を含む。各装置は、インターネット等のネットワークＮを介して通信接続されている。

【0010】

情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。本実施の形態では情報処理装置１がサーバコンピュータであるものとし、以下では簡潔のためサーバ１と読み替える。サーバ１は、後述の通り、訓練用のテキスト群を学習することで自然言語処理モデル５０を生成し、当該自然言語処理モデル５０を用いて、推奨行動の提示、検索エンジンの提供などを行う。

【0011】

端末２は、本システムのユーザが使用する情報処理端末であり、例えばパーソナルコンピュータ、スマートフォン等である。端末２は、後述のブラウザ画面（図４等参照）を表示し、自然言語処理モデル５０に基づく情報の提示を受ける。

【0012】

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰ１を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。

【0013】

補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ１（プログラム製品）、その他のデータを記憶している。また、補助記憶部１４は、自然言語処理モデル５０、分類モデル５１、検索エンジン５２、要約モデル５３、抽出モデル５４、文書データＤ、ＦＡＱ（Frequently Asked Questions）データＦを記憶している。

【0014】

自然言語処理モデル５０は、訓練用のテキスト群を学習済みの機械学習モデルであり、テキストの入力を受け付けた場合に、当該テキストの特徴量を抽出するモデルである。分類モデル５１は、所定の訓練データを学習済みの機械学習モデルであり、テキストの特徴量の入力を受け付けた場合に、ユーザへ推奨する推奨行動を出力するモデルである。検索エンジン５２は、自然言語処理モデル５０が抽出するテキストの特徴量に基づき、情報（文書）を検索する検索エンジンである。要約モデル５３は、所定の訓練データを学習済みの機械学習モデルであり、テキストの特徴量の入力を受け付けた場合に、当該テキストの要約文を出力するモデルである。抽出モデル５４は、所定の訓練データを学習済みの機械学習モデルであり、テキストの特徴量の入力を受け付けた場合に、当該テキストと類似する質問文を抽出するモデルである。

【0015】

文書データＤは、種々のドキュメントファイルであり、サーバ１が検索等の対象とするデータである。具体的には、文書データＤは、電力関連の交渉における議事録、関連法案、マニュアル等の文書であり得る。ＦＡＱデータＤは、テンプレートの質問文と、当該質問文に対する回答文とを対応付けたデータである。

【0016】

なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

【0017】

また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等の可搬型記憶媒体１ａを読み取る読取部を備え、可搬型記憶媒体１ａからプログラムＰ１を読み取って実行するようにしても良い。

【0018】

図３は、実施の形態の概要を示す説明図である。図３では、種々の入力テキストを前段の自然言語処理モデル５０で処理した後、複数の後段処理アルゴリズム（分類モデル５１等）のいずれかで処理することで種々の情報を出力する様子を図示している。図３に基づき、本実施の形態の概要を説明する。

【0019】

本実施の形態では、所定のテキストの入力を受け付けた場合に、ユーザに対して所望の情報を提供するサーバ１について説明する。本実施の形態では一例として、サーバ１は、電力関連の交渉に関連するテキスト（議事録等）の入力を受け付けた場合に、交渉に関するアドバイス（推奨行動）などの情報を提供する。

【0020】

サーバ１は、端末２からテキストの入力を受け付けた場合、複数のタスクを実行可能に構成されている。複数のタスクとは、交渉における推奨行動の出力（アドバイス）、情報（文書）の検索、入力テキストの要約、及びＦＡＱの抽出である。サーバ１は、分類モデル５１、検索エンジン５２、要約モデル５３、及び抽出モデル５４を用いて、これらのタスクを実行する。

【0021】

この場合にサーバ１は、図３において入力から出力までの流れを矢印で示すように、４つのタスクで共通の自然言語処理モデル５０を用いて各タスクを実行する。以下、詳述する。

【0022】

自然言語処理モデル５０は、テキストを入力した場合に当該テキストの特徴量を抽出するモデルである。本実施の形態では自然言語処理モデル５０としてＢＥＲＴを用いる。ＢＥＲＴは、入力された文章や語句の意味を高い次元で理解することができるモデルであり、後続処理の正確性が格段に向上する。

【0023】

なお、本実施の形態では自然言語処理モデル５０がＢＥＲＴであるものとして説明するが、自然言語処理モデル５０はＢＥＲＴに限定されるものではなく、例えばＲＮＮ（Recurrent Neural Network）など、その他のモデルであってもよい。

【0024】

サーバ１は、自然言語処理モデル５０（ＢＥＲＴ）に、事前学習とファインチューニングとの２段階で学習を行わせる。すなわち、サーバ１はまず事前学習として、訓練用のテキスト群を用いて、ＭＬＭ（Masked Language Model）とＮＳＰ（Next Sentence Prediction）との２つのタスクを解く処理を実行する。ＭＬＭは、訓練用のテキストを所定割合（１５％）マスクし、マスクされた部分を当てるタスクである。ＮＳＰは、２文を与えた場合に、２文目の文章が１文目の文章に続く文章として正しいか否かを当てるタスクである。サーバ１は、これらのタスクを解くことで自然言語処理モデル５０の事前学習を行う。

【0025】

本実施の形態では、訓練用のテキスト群として、電力関連のテキスト群（例えば電力系の法令、電力に特化したナレッジ等）を与えて学習を行う。すなわち、サーバ１は、電力関連のテキストに特化した自然言語処理モデル５０を生成する。

【0026】

続いてサーバ１は、少量の訓練データを用いて、自然言語処理モデル５０のファインチューニングを行う。すなわち、サーバ１は、自然言語処理モデル５０の後段（出力側）に各種後段処理アルゴリズムを接続して、自然言語処理モデル５０のファインチューニング、及び各種後段処理アルゴリズムを生成する。

【0027】

本実施の形態では、後段処理アルゴリズムとして、分類モデル５１、検索エンジン５２、要約モデル５３、及び抽出モデル５４が用意されている。

【0028】

分類モデル５１は、テキストの特徴量を入力した場合に、交渉においてユーザに推奨する推奨行動を出力するモデルである。例えば分類モデル５１は、過去の交渉議事録のうち、交渉に成功した際の議事録を推奨行動として出力する。

【0029】

例えばサーバ１は、所定の交渉議事録に対し、正解の推奨行動（議事録）が対応付けられた訓練データを用いて、自然言語処理モデル５０のファインチューニング、及び分類モデル５１の生成を行う。すなわち、サーバ１は、訓練用の交渉議事録を自然言語処理モデル５０に入力することで当該交渉議事録の特徴量を抽出し、抽出した特徴量を分類モデル５１に入力することで、推奨行動（交渉に成功した他の議事録）を出力する。サーバ１は、出力された推奨行動が正解の推奨行動に近似するように自然言語処理モデル５０及び分類モデル５１のパラメータ（重み等）を最適化することで、自然言語処理モデル５０のファインチューニング、及び分類モデル５１の生成を行う。

【0030】

検索エンジン５２は、検索クエリ（テキスト）の特徴量を入力した場合に、当該特徴量に基づいて情報を検索する検索エンジンである。例えば検索エンジン５２は、文書データＤとして用意されている複数の文書から、いずれかの文書を検索結果として出力する。

【0031】

なお、本実施の形態では検索対象が文書であるものとして説明するが、文書以外の情報（例えば画像）を検索対象に含めてもよい。

【0032】

例えばサーバ１は、所定の検索クエリに対し、正解の文書が対応付けられた訓練データを用いて自然言語処理モデル５０のファインチューニングを行う。すなわち、サーバ１は、訓練用の検索クエリを自然言語処理モデル５０に入力することで当該検索クエリの特徴量を抽出し、抽出した特徴量を検索エンジン５２に入力することで、文書を検索する。サーバ１は、検索された文書が正解の文書と近似するように自然言語処理モデル５０のパラメータを最適化することで、自然言語処理モデル５０のファインチューニングを行う。

【0033】

要約モデル５３は、要約対象とするテキストの特徴量を入力した場合に、当該テキストの要約文を出力するモデルである。例えば要約モデル５３は、入力テキストを構成する各文の特徴量を入力した場合に、各文を要約文に含めるべきか否か、その重要度を判定することで要約文を生成する。

【0034】

なお、本実施の形態では要約モデル５３がいわゆる抽出型要約であるものとして説明するが、抽象型要約（一から文章を生成するモデル）であってもよい。

【0035】

例えばサーバ１は、所定のテキストに対し、正解の要約文が対応付けられた訓練データを用いて、自然言語処理モデル５０のファインチューニング、及び要約モデル５３の生成を行う。すなわち、サーバ１は、訓練用のテキストを自然言語処理モデル５０に入力することで当該テキストの特徴量を抽出し、抽出した特徴量を要約モデル５３に入力することで、要約文を出力する。サーバ１は、出力された要約文が正解の要約文と近似するように自然言語処理モデル５０及び要約モデル５３のパラメータを最適化することで、自然言語処理モデル５０のファインチューニング、及び要約モデル５３の生成を行う。

【0036】

抽出モデル５４は、任意の質問文（テキスト）を入力した場合に、当該質問文と類似するテンプレートの質問文（ＦＡＱ）を抽出するモデルである。本実施の形態では、ＦＡＱデータＦとして、質問文及び回答文を対応付けたテンプレートが予め用意されている。サーバ１は、ユーザが入力した質問文と類似するテンプレートの質問文を抽出モデル５４により抽出し、抽出した質問文に対応する回答文を出力する。

【0037】

例えばサーバ１は、所定の質問文に対し、正解のテンプレートの質問文が対応付けられた訓練データを用いて、自然言語処理モデル５０のファインチューニング、及び抽出モデル５４の生成を行う。すなわち、サーバ１は、訓練用の質問文を自然言語処理モデル５０に入力することで当該質問文の特徴量を抽出し、抽出した特徴量を抽出モデル５４に入力することで、類似するテンプレートの質問文を抽出する。サーバ１は、抽出された質問文が正解の質問文と近似するように自然言語処理モデル５０及び抽出モデル５４のパラメータを最適化することで、自然言語処理モデル５０のファインチューニング、及び抽出モデル５４の生成を行う。

【0038】

上述の通り、サーバ１は、自然言語処理モデル５０の後段に各種後段処理アルゴリズムを接続した上で訓練データを学習することにより、自然言語処理モデル５０を生成する。すなわち、サーバ１は、まず自然言語処理モデル５０の後段に分類モデル５１を接続し、所定の訓練データに基づいて自然言語処理モデル５０をトレーニングする。そしてサーバ１は、自然言語処理モデル５０に接続する後段処理アルゴリズムを検索エンジン５２、要約モデル５３、抽出モデル５４に順次変更していき、後段処理アルゴリズムを変更した自然言語処理モデル５０を、所定の訓練データに基づいて再トレーニングする。これにより、サーバ１は、各タスクに適応した共通の自然言語処理モデル５０を生成する。

【0039】

実際に自然言語処理モデル５０を用いて各タスクを実行する場合、サーバ１は、端末２からテキストの入力を受け付けて、各タスクを実行する。以下、端末２の表示画面を参照しながら説明する。

【0040】

図４は、議事録解析画面の一例を示す説明図である。図４では、端末２が表示する画面例を図示している。当該画面は、議事録プレビュー欄４１、出力欄４２を含む。議事録プレビュー欄４１は、交渉議事録を表示する表示欄である。出力欄４２は、自然言語処理モデル５０等を用いて出力された情報を表示する表示欄である。

【0041】

例えば端末２は、ユーザから議事録（文書ファイル）の選択操作を受け付けた場合、議事録プレビュー欄４１に当該議事録を表示する。そして端末２は、サーバ１に実行させるタスクを選択する選択操作を受け付ける。

【0042】

図４では、推奨行動の出力タスクが選択された場合の画面を図示している。この場合、サーバ１は後段処理アルゴリズムとして分類モデル５１を選択し、自然言語処理モデル５０の後段に接続する。そしてサーバ１は、交渉議事録のデータを自然言語処理モデル５０に入力することで当該議事録の特徴量を抽出した後、抽出した特徴量を分類モデル５１に入力することで、推奨行動（交渉に成功した他の議事録）を出力する。端末２は、サーバ１が出力した推奨行動を出力欄４２に表示する。例えば図４に示すように、端末２は、推奨行動として過去の議事録を表示すると共に、当該議事録を推奨行動として選択した際の分類モデル５１の判定根拠（議事録中の該当箇所）を成否要因として表示する。

【0043】

図５は、議事録解析画面の他例を示す説明図である。図５では、サーバ１に実行させるタスクとして、文書の検索タスクが選択された場合の画面を図示している。この場合、例えばサーバ１は、議事録プレビュー欄４１に表示中の交渉議事録から、検索クエリとするテキストを選択する選択操作を受け付ける。サーバ１は、後段処理アルゴリズムとして検索エンジン５２を自然言語処理モデル５０の後段に接続し、選択されたテキストを入力する。サーバ１は、入力されたテキストの特徴量を自然言語処理モデル５０により抽出し、抽出した特徴量を検索エンジン５２に入力することで、文書を検索する。端末２は、検索された情報を出力欄４２に表示する。例えば図５に示すように、端末２は、検索された文書のファイル名と、検索エンジン５２が当該文書を検索した際の該当箇所とを出力欄４２に表示する。

【0044】

同様にして、サーバ１は、テキストの要約タスク、及び質問文に対する回答タスクも実行する。

【0045】

議事録解析画面の図示は省略するが、例えばテキストの要約タスクを実行する場合、端末２はまず議事録プレビュー欄４１から要約対象とするテキスト（文章）を選択する選択操作を受け付ける。サーバ１は、後段処理アルゴリズムとして要約モデル５３を自然言語処理モデル５０の後段に接続し、選択されたテキストを入力する。サーバ１は、入力されたテキストの特徴量を自然言語処理モデル５０により抽出し、抽出した特徴量を要約モデル５３に入力することで要約文を出力する。端末２は、出力された要約文を出力欄４２に表示する。

【0046】

また、質問文に対する回答タスクを実行する場合、端末２は、質問文の入力を受け付ける。サーバ１は、後段処理アルゴリズムとして抽出モデル５４を自然言語処理モデル５０の後段に接続し、入力されたテキストを自然言語処理モデル５０に入力する。サーバ１は、入力されたテキストの特徴量を自然言語処理モデル５０により抽出し、抽出した特徴量を抽出モデル５４に入力することで、当該テキストと類似するテンプレートの質問文を抽出する。そしてサーバ１は、抽出された質問文に対応する回答文を端末２に出力し、出力欄４２に表示させる。

【0047】

以上より、本実施の形態によれば、共通の自然言語処理モデル５０を汎用的に使い回し、種々の情報出力タスクを実行することができる。

【0048】

図６は、自然言語処理モデル５０の生成処理の手順を示すフローチャートである。図６に基づき、機械学習により自然言語処理モデル５０を生成する際の処理内容について説明する。
サーバ１の制御部１１は、訓練用のテキスト群を取得する（ステップＳ１１）。本実施の形態では、電力関係のテキスト（電力系の法令、電力に特化したナレッジ等）を訓練用のテキスト群として取得する。

【0049】

制御部１１は、訓練用のテキスト群を用いて、自然言語処理モデル５０（ＢＥＲＴ）の事前学習を行う（ステップＳ１２）。すなわち、制御部１１は、訓練用のテキスト群を用いてＭＬＭとＮＳＰとの２つのタスクを解く処理を実行し、自然言語処理モデル５０の学習を行う。

【0050】

制御部１１は、複数の後段処理アルゴリズムそれぞれに応じて、自然言語処理モデル５０のファインチューニングを行う（ステップＳ１３）。すなわち、制御部１１は、事前学習を行った自然言語処理モデル５０に、分類モデル５１を接続し、分類モデル５１を接続した自然言語処理モデル５０をトレーニングする。そして制御部１１は、自然言語処理モデル５０に接続する後段処理アルゴリズムを検索エンジン５２、要約モデル５３、及び抽出モデル５４にそれぞれ変更していき、後段処理アルゴリズムを変更した自然言語処理モデル５０を再トレーニングする。これにより制御部１１は、各タスクに適応した自然言語処理モデル５０を生成する。制御部１１は、一連の処理を終了する。

【0051】

図７は、自然言語処理モデル５０を用いた情報出力処理の手順を示すフローチャートである。図７に基づき、自然言語処理モデル５０を用いた各タスクの処理内容について説明する。
サーバ１の制御部１１は、処理対象とするテキストの入力を端末２から受け付け、端末２に表示させる（ステップＳ３１）。制御部１１は、ユーザからの操作入力に応じて、交渉における推奨行動を出力するタスクを実行するか否かを判定する（ステップＳ３２）。当該タスクを実行しないと判定した場合（Ｓ３２：ＮＯ）、制御部１１は処理をステップＳ３５に移行する。

【0052】

当該タスクを実行すると判定した場合（Ｓ３２：ＹＥＳ）、制御部１１は、自然言語処理モデル５０の後段に分類モデル５１を接続し、ステップＳ３１で入力されたテキストを自然言語処理モデル５０に入力することで、分類モデル５１から交渉における推奨行動を出力する（ステップＳ３３）。すなわち、制御部１１は、自然言語処理モデル５０にテキストを入力することで当該テキストの特徴量を抽出し、抽出した特徴量を分類モデル５１に入力することで、ユーザへ推奨する推奨行動を出力する。制御部１１は、出力された推奨行動を端末２に表示させる（ステップＳ３４）。

【0053】

制御部１１は、ユーザからの操作入力に応じて、検索エンジン５２を用いて情報（文書）を検索するタスクを実行するか否かを判定する（ステップＳ３５）。当該タスクを実行しないと判定した場合（Ｓ３５：ＮＯ）、制御部１１は処理をステップＳ３８に移行する。

【0054】

当該タスクを実行すると判定した場合（Ｓ３５：ＹＥＳ）、制御部１１は、自然言語処理モデル５０の後段に検索エンジン５２を接続し、処理対象のテキストを自然言語処理モデル５０に入力することで、検索エンジン５２により情報を検索する（ステップＳ３６）。すなわち、制御部１１は、自然言語処理モデル５０にテキストを入力することで当該テキストの特徴量を抽出し、抽出した特徴量を検索エンジン５２に入力することで、情報を検索する。制御部１１は、検索された情報を端末２に表示させる（ステップＳ３７）。

【0055】

制御部１１は、ユーザからの操作入力に応じて、テキストを要約するタスクを実行するか否かを判定する（ステップＳ３８）。当該タスクを実行しないと判定した場合（Ｓ３８：ＮＯ）、制御部１１は処理をステップＳ４１に移行する。

【0056】

当該タスクを実行すると判定した場合（Ｓ３８：ＹＥＳ）、制御部１１は、自然言語処理モデル５０の後段に要約モデル５３を接続し、処理対象のテキストを自然言語処理モデル５０に入力することで、要約モデル５３から当該テキストの要約文を出力する（ステップＳ３９）。すなわち、制御部１１は、自然言語処理モデル５０にテキストを入力することで当該テキストの特徴量を抽出し、抽出した特徴量を要約モデル５３に入力することで、当該テキストの要約文を出力する。制御部１１は、出力された要約文を端末２に表示させる（ステップＳ４０）。

【0057】

制御部１１は、ユーザからの質問文に回答するタスクを実行するか否かを判定する（ステップＳ４１）。当該タスクを実行しないと判定した場合（Ｓ４１：ＮＯ）、制御部１１は、一連の処理を終了する。

【0058】

当該タスクを実行すると判定した場合（Ｓ４１：ＹＥＳ）、制御部１１は、自然言語処理モデル５０の後段に抽出モデル５４を接続し、処理対象のテキストを自然言語処理モデル５０に入力することで、抽出モデル５４により、予め用意されている複数の質問文から当該テキストに類似する質問文を抽出する（ステップＳ４２）。すなわち、制御部１１は、自然言語処理モデル５０にテキストを入力することで当該テキストの特徴量を抽出し、抽出した特徴量を抽出モデル５４に入力することで、当該テキストに類似する質問文を抽出する。制御部１１は、抽出された質問文に対応する回答文を端末２に表示させ（ステップＳ４３）、一連の処理を終了する。

【0059】

以上より、本実施の形態１によれば、利用用途（タスク）に合わせて、共通のベースとなる前段の自然言語処理モデル５０に、後段処理アルゴリズムを追加して実装する。従って、用途に応じて別々のモデルを構築する必要がなく、汎用的に自然言語処理モデル５０を使い回すことができる。

【0060】

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【0061】

各実施の形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載しても良い。

【符号の説明】

【0062】

１ サーバ（情報処理装置）
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
Ｐ１ プログラム
５０ 自然言語処理モデル
５１ 分類モデル
５２ 検索エンジン
５３ 要約モデル
５４ 抽出モデル
Ｄ 文書データ
Ｆ ＦＡＱデータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】