特許 7568592 モデルの評価方法及び計算機システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-07

(45)【発行日】2024-10-16

(54)【発明の名称】モデルの評価方法及び計算機システム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241008BHJP

   G06F 16/35 20190101ALI20241008BHJP

【ＦＩ】

G06N20/00 130

G06F16/35

【請求項の数】 8

(21)【出願番号】P 2021123995

(22)【出願日】2021-07-29

(65)【公開番号】P2023019341

(43)【公開日】2023-02-09

【審査請求日】2023-12-01

(73)【特許権者】

【識別番号】000233055

【氏名又は名称】株式会社日立ソリューションズ

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】松浦 由真

(72)【発明者】

【氏名】真野 将彦

(72)【発明者】

【氏名】西村 涼

(72)【発明者】

【氏名】石田 友樹

【審査官】真木 健彦

(56)【参考文献】

【文献】国際公開第２０２０／０４４４２５（ＷＯ，Ａ１）

【文献】特開２０２０－１５４６８４（ＪＰ，Ａ）

【文献】国際公開第２０１６／１５７４６７（ＷＯ，Ａ１）

【文献】特開２０１１－１７０７８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ｇ０６Ｎ ５／０４５

Ｇ０６Ｆ １６／３５

(57)【特許請求の範囲】

【請求項1】

計算機システムが実行する、文書を入力として受け付け、前記文書を用いたタスクを実行することによって分類ラベルを出力するモデルの評価方法であって、
前記計算機システムは、
プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続されるインタフェースを有する、少なくとも一つの計算機を備え、
前記分類ラベルと、人が前記分類ラベルを付与する場合に重要視する着目キーワードとの対応付けを管理する判断根拠情報を保持し、
前記モデルの評価方法は、
前記少なくとも一つの計算機が、入力文書及び正解分類ラベルを含むテストデータを前記モデルに入力する第１のステップと、
前記少なくとも一つの計算機が、前記モデルが前記分類ラベルの出力時に重要視した前記入力文書内の根拠キーワードを特定する第２のステップと、
前記少なくとも一つの計算機が、前記分類ラベルと、前記正解分類ラベルとに基づいて前記モデルの出力の正誤を判定する第３のステップと、
前記少なくとも一つの計算機が、前記根拠キーワードと、前記分類ラベルに対応する前記着目キーワードとに基づいて前記モデルの判断根拠の正誤を判定する第４のステップと、
前記少なくとも一つの計算機が、前記モデルの出力及び前記モデルの判断根拠の正誤の判定結果に基づいて、前記モデルの再学習に使用する学習データ及び前記テストデータの改善指針となる情報を含む評価結果を提示する第５のステップと、
を含むことを特徴とするモデルの評価方法。

【請求項2】

請求項１に記載のモデルの評価方法であって、
前記第５のステップは、前記少なくとも一つの計算機が、前記モデルの出力の正誤及び前記モデルの判断根拠の正誤の判定結果に基づいて、改善対象の前記分類ラベルを示す情報を含む前記評価結果を提示するステップを含むことを特徴とするモデルの評価方法。

【請求項3】

請求項１に記載のモデルの評価方法であって、
前記第２のステップは、
前記少なくとも一つの計算機が、前記モデルの自然言語処理において、前記入力文書に含まれるキーワードの重要度を表す指標を取得するステップと、
前記少なくとも一つの計算機が、前記指標に基づいて、前記入力文書に含まれる前記キーワードの中から前記根拠キーワードを特定するステップと、を含むことを特徴とするモデルの評価方法。

【請求項4】

請求項１に記載のモデルの評価方法であって、
前記少なくとも一つの計算機が、前記判断根拠情報を入力するためのインタフェースを提供するステップを含むことを特徴とするモデルの評価方法。

【請求項5】

計算機システムであって、
プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続されるインタフェースを有する、少なくとも一つの計算機を備え、
文書を入力として受け付け、前記文書を用いたタスクを実行することによって分類ラベルを出力するモデルの情報、及び、前記分類ラベルと、人が前記分類ラベルを付与する場合に重要視する着目キーワードとの対応付けを管理する判断根拠情報を保持し、
前記少なくとも一つの計算機は、
入力文書及び正解分類ラベルを含むテストデータを前記モデルに入力し、
前記モデルが前記分類ラベルの出力時に重要視した前記入力文書内の根拠キーワードを特定し、
前記分類ラベルと、前記正解分類ラベルとに基づいて前記モデルの出力の正誤を判定し、
前記根拠キーワードと、前記分類ラベルに対応する前記着目キーワードとに基づいて前記モデルの判断根拠の正誤を判定し、
前記モデルの出力及び前記モデルの判断根拠の正誤の判定結果に基づいて、前記モデルの再学習に使用する学習データ及び前記テストデータの改善指針となる情報を含む評価結果を提示することを特徴とする計算機システム。

【請求項6】

請求項５に記載の計算機システムであって、
前記少なくとも一つの計算機は、前記モデルの出力の正誤及び前記モデルの判断根拠の正誤の判定結果に基づいて、改善対象の前記分類ラベルを示す情報を含む前記評価結果を提示することを特徴とする計算機システム。

【請求項7】

請求項５に記載の計算機システムであって、
前記少なくとも一つの計算機は、
前記モデルの自然言語処理において、前記入力文書に含まれるキーワードの重要度を表す指標を取得し、
前記指標に基づいて、前記入力文書に含まれる前記キーワードの中から前記根拠キーワードを特定することを特徴とする計算機システム。

【請求項8】

請求項５に記載の計算機システムであって、
前記少なくとも一つの計算機は、前記判断根拠情報を入力するためのインタフェースを提供することを特徴とする計算機システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自然言語処理を行うモデルの生成に使用する学習データの改善技術に関する。

【背景技術】

【0002】

自然言語処理の分野では、テキストデータを解析し、意味解釈及び分類等を行うＡＩ（モデル）の開発が行われている。モデルは機械学習によって生成される。

【0003】

機械学習では、大量の学習データを用いた演算が実行される。従来の機械学習では、学習データを用意するコストが高く、また、学習データの数を増やしてもモデルの予測精度が必ずしも向上しないという課題がある。高い予測精度のモデルを生成するためには、予測精度の向上効果が大きい質の高い学習データを用意する必要がある。これに対して、特許文献１に記載の技術が知られている。

【0004】

特許文献１には「本発明は、所定の表示を行う表示部６と、力学モデルを用いて、自然言語分析の対象となる学習データについてノードの最適配置を算出するノード最適配置算出処理部２ｂと、ノード最適配置算出処理部２ｂによる算出結果に基づいて上記学習データを可視化して表示部６に表示するよう制御する表示制御部２ｅとを備えた学習データ精度可視化システム」が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－２０９４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に記載の技術では、モデルへの入力（質問）と、モデルからの出力（回答）との相関関係を可視化して、ユーザによる学習データの修正を支援している。

【0007】

自然言語処理を実行するモデルの予測精度を向上させるためには、自然言語に対する人の思考と同様の処理を行うアルゴリズムを獲得する必要である。したがって、モデルの出力だけではなく、アルゴリズムの正しさも考慮して学習データを改善する必要がある。ここで、学習データの改善とは、学習データの修正及び学習データの追加を含む概念である。

【0008】

また、モデルの予測精度は、モデルを評価するテストデータの質にも依存するため、テストデータの改善も重要である。

【0009】

従来技術では、アルゴリズムの正しさは考慮されておらず、また、テストデータの改善についても考慮されていない。

【0010】

本発明は、モデルの出力及びアルゴリズムの正しさを考慮して、学習データ及びテストデータの改善を支援するシステム及び方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、計算機システムが実行する、文書を入力として受け付け、前記文書を用いたタスクを実行することによって分類ラベルを出力するモデルの評価方法であって、前記計算機システムは、プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続されるインタフェースを有する、少なくとも一つの計算機を備え、前記分類ラベルと、人が前記分類ラベルを付与する場合に重要視する着目キーワードとの対応付けを管理する判断根拠情報を保持し、前記モデルの評価方法は、前記少なくとも一つの計算機が、入力文書及び正解分類ラベルを含むテストデータを前記モデルに入力する第１のステップと、前記少なくとも一つの計算機が、前記モデルが前記分類ラベルの出力時に重要視した前記入力文書内の根拠キーワードを特定する第２のステップと、前記少なくとも一つの計算機が、前記分類ラベルと、前記正解分類ラベルとに基づいて前記モデルの出力の正誤を判定する第３のステップと、前記少なくとも一つの計算機が、前記根拠キーワードと、前記分類ラベルに対応する前記着目キーワードとに基づいて前記モデルの判断根拠の正誤を判定する第４のステップと、前記少なくとも一つの計算機が、前記モデルの出力及び前記モデルの判断根拠の正誤の判定結果に基づいて、前記モデルの再学習に使用する学習データ及び前記テストデータの改善指針となる情報を含む評価結果を提示する第５のステップと、を含む。

【発明の効果】

【0012】

本発明によれば、モデルの出力及び判断根拠の正しさを考慮した学習データ及びテストデータの改善指針を提示することによって、学習データ及びテストデータの改善を支援できる。ユーザは、改善指針に基づいて、学習データ及びテストデータの少なくともいずれかを改善することによって、予測精度の高いモデルを生成することができる。

【図面の簡単な説明】

【0013】

【図1】実施例１のシステムの構成例を示す図である。

【図2】実施例１の計算機システムを構成する計算機のハードウェア構成の一例を示す図である。

【図3A】実施例１の学習データのデータ構造の一例を示す図である。

【図3B】実施例１のテストデータのデータ構造の一例を示す図である。

【図4A】実施例１の学習データセットを管理するための情報のデータ構造の一例を示す図である。

【図4B】実施例１のテストデータセットを管理するための情報のデータ構造の一例を示す図である。

【図5】実施例１の判断根拠情報に格納されるデータのデータ構造の一例を示す図である。

【図6A】実施例１のモデル管理情報に格納されるデータのデータ構造の一例を示す図である。

【図6B】実施例１のモデル管理情報に格納されるデータのデータ構造の一例を示す図である。

【図6C】実施例１のモデル管理情報に格納されるデータのデータ構造の一例を示す図である。

【図7】実施例１のシステムの処理の流れを説明するシーケンス図である。

【図8】実施例１の計算機システムが実行する学習／評価処理を説明するフローチャートである。

【発明を実施するための形態】

【0014】

以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

【0015】

以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。

【実施例1】

【0016】

図１は、実施例１のシステムの構成例を示す図である。図２は、実施例１の計算機システムを構成する計算機のハードウェア構成の一例を示す図である。図３Ａは、実施例１の学習データのデータ構造の一例を示す図である。図３Ｂは、実施例１のテストデータのデータ構造の一例を示す図である。

【0017】

システムは、計算機システム１００及び端末１０１から構成される。計算機システム１００及び端末１０１は、直接又は図示しないネットワークを介して互いに接続される。ネットワークは、例えば、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）及びＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等であり、接続方式は有線及び無線のいずれでもよい。

【0018】

端末１０１は、計算機システム１００を利用するユーザが操作する端末である。端末１０１は、図示しない、プロセッサ、メモリ、及びネットワークインタフェースを有する。

【0019】

計算機システム１００は、問い合わせ及び報告書等のテキストデータを解析し、解析結果に基づいてテキストデータの分類及び二つのテキストデータの含有判定のいずれかのタスクを実行し、分類ラベルを出力する。テキストデータの分類では、例えば、テキスト内容が関連する業務分野が特定され、特定された分野を示す分類ラベルがテキストデータに付与される。テキストデータの含有判定では、例えば、二つのテキストの類似性等が判定され、類似又は非類似のいずれかを示す分類ラベルがテキストデータに付与される。

【0020】

計算機システム１００は、図２に示すような計算機２００から構成される。なお、計算機システム１００は、ストレージシステム及びネットワークスイッチ等を含んでもよい。

【0021】

計算機２００は、プロセッサ２０１、主記憶装置２０２、副記憶装置２０３、及びネットワークインタフェース２０４を有する。

【0022】

プロセッサ２０１は、主記憶装置２０２に格納されるプログラムを実行する。プロセッサ２０１がプログラムにしたがって処理を実行することによって、特定の機能を実現する機能部（モジュール）として動作する。以下の説明では、機能部を主語に処理を説明する場合、プロセッサ２０１が当該機能部を実現するプログラムを実行していることを示す。主記憶装置２０２は、メモリ等であり、プロセッサ２０１が実行するプログラム及びプログラムが使用するデータを格納する。主記憶装置２０２は、ワークエリアとしても用いられる。副記憶装置２０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等であり、データを永続的に格納する。主記憶装置２０２に格納されるプログラム及びデータは、副記憶装置２０３に格納されてもよい。この場合、プロセッサ２０１が副記憶装置２０３からプログラム及びデータを読み出し、主記憶装置２０２にロードする。ネットワークインタフェース２０４は、ネットワークを介して他の装置と通信する。

【0023】

なお、計算機２００は、キーボード、マウス、及びタッチパネル等の入力装置、並びにディスプレイ及びプリンタ等の出力装置と接続するＩＯインタフェースを有してもよい。

【0024】

計算機システム１００は、機能部として、学習部１１０、予測部１１１、ＡＰＩ１１２、及びデータ記憶部１１３を有する。

【0025】

ＡＰＩ１１２は、端末１０１に対して、計算機システム１００の各種機能を利用するためのインタフェースを提供する。端末１０１は、ＡＰＩ１１２を介して、データセットの登録及び更新、並びに学習処理の実行等を行う。本実施例では、ユーザは、端末１０１を用いて、判断根拠情報１２０を入力する。判断根拠情報１２０は、タスクにおけるモデルの判断根拠となるキーワードに関する情報である。判断根拠情報１２０の詳細は図５を用いて説明する。

【0026】

データ記憶部１１３は、一つ以上の学習データセット１３０及び一つ以上のテストデータセット１４０を記憶し、管理する。

【0027】

学習データセット１３０は、一つ以上の学習データ１３１から構成される。学習データ１３１は、モデルを生成するための学習処理に用いられるデータであり、図３Ａに示すように、データＩＤ３０１、テキストデータ３０２、及び分類ラベル３０３を含む。なお、学習データ１３１は、前述した以外のフィールドを含んでもよい。

【0028】

データＩＤ３０１は、学習データ１３１の識別情報を格納するフィールドである。テキストデータ３０２は、モデルに入力するテキストデータを格納するフィールドである。タスクが分類の場合、テキストデータ３０２には一つのテキストデータが格納され、タスクが含有判定の場合、テキストデータ３０２には二つのテキストデータが格納される。分類ラベル３０３は、テキストデータに対するタスクの実行によって出力される分類ラベルの正解値を格納するフィールドである。テキストデータの分類では、分類ラベル３０３には業務分野等が格納され、テキストデータの含有判定では、分類ラベル３０３には類似又は非類似等が格納される。

【0029】

テストデータセット１４０は、一つ以上のテストデータ１４１から構成される。テストデータ１４１は、モデルの予測精度を評価するために用いられるデータであり、図３Ｂに示すように、データＩＤ３１１、テキストデータ３１２、及び分類ラベル３１３を含む。なお、テストデータ１４１は、前述した以外のフィールドを含んでもよい。

【0030】

データＩＤ３１１は、テストデータ１４１の識別情報を格納するフィールドである。テキストデータ３１２は、モデルに入力するテキストデータを格納するフィールドである。タスクが分類の場合、テキストデータ３１２には一つのテキストデータが格納され、タスクが含有判定の場合、テキストデータ３１２には二つのテキストデータが格納される。分類ラベル３１３は、テキストデータに対するタスクの実行によって出力される分類ラベルの正解値を格納するフィールドである。テキストデータの分類では、分類ラベル３０３には業務分野等が格納され、テキストデータの含有判定では、分類ラベル３０３には類似又は非類似等が格納される。

【0031】

なお、学習データセット１３０から一部の学習データ１３１を選択し、テストデータセット１４０を生成してもよい。

【0032】

以下の説明では、学習データセット１３０及びテストデータセット１４０を区別しない場合、データセットと記載する。

【0033】

学習部１１０は、タスクを行うためのモデルを生成するための学習処理を実行する。また、学習部１１０は、モデルの評価処理を実行する。学習部１１０は、学習処理及び評価処理の結果をモデル管理情報１２１に格納する。モデル管理情報１２１の詳細は図６Ａ、図６Ｂ、及び図６Ｃを用いて説明する。

【0034】

予測部１１１は、モデル管理情報１２１に格納されるモデルの情報を用いて、入力されたテキストデータに対してタスクを実行する。

【0035】

なお、計算機システム１００が有する各機能部については、複数の機能部を一つの機能部にまとめてもよいし、一つの機能部を機能毎に複数の機能部に分けてもよい。

【0036】

図４Ａは、実施例１の学習データセット１３０を管理するための情報のデータ構造の一例を示す図である。図４Ｂは、実施例１のテストデータセット１４０を管理するための情報のデータ構造の一例を示す図である。

【0037】

データ記憶部１１３は、図４Ａに示すデータセット管理データ４００を用いて学習データセット１３０を管理し、また、図４Ｂに示すデータセット管理データ４１０を用いてテストデータセット１４０を管理する。一つの学習データセット１３０に対して一つのデータセット管理データ４００が存在し、また、一つのテストデータセット１４０に対して一つのデータセット管理データ４１０が存在する。

【0038】

データセット管理データ４００は、学習データセット名４０１、タスク４０２、及びリスト４０３を含む。なお、データセット管理データ４００は、前述以外のフィールドを含んでもよい。

【0039】

学習データセット名４０１は、学習データセット１３０の識別情報である名称を格納するフィールドである。タスク４０２は、学習データセット１３０を用いて生成されるモデルが実行するタスクの種別を格納するフィールドである。リスト４０３は、学習データセット１３０を構成する学習データ１３１の識別情報のリストを格納するフィールドである。なお、識別情報のリストの代わりに、学習データ１３１そのものが格納されてもよい。

【0040】

データセット管理データ４１０は、テストデータセット名４１１、タスク４１２、及びリスト４１３を含む。なお、データセット管理データ４１０は、前述以外のフィールドを含んでもよい。

【0041】

テストデータセット名４１１は、テストデータセット１４０の識別情報である名称を格納するフィールドである。タスク４１２は、評価対象のモデルが実行するタスクの種別を格納するフィールドである。リスト４１３は、テストデータセット１４０を構成するテストデータ１４１の識別情報のリストを格納するフィールドである。なお、識別情報のリストの代わりに、テストデータ１４１そのものが格納されてもよい。

【0042】

図５は、実施例１の判断根拠情報１２０に格納されるデータのデータ構造の一例を示す図である。

【0043】

判断根拠情報１２０は、一つ以上の判断根拠データ５００を含む。一つの分類ラベルに対して一つの判断根拠データ５００が存在する。判断根拠データ５００は、分類ラベル５０１及びキーワード５０２を含む。

【0044】

分類ラベル５０１は分類ラベルを格納するフィールドである。キーワード５０２は、分類ラベルを付与する場合に、ユーザが重要視するキーワードを格納するフィールドである。すなわち、人の判断根拠を示すデータが格納される。

【0045】

図６Ａ、図６Ｂ、及び図６Ｃは、実施例１のモデル管理情報１２１に格納されるデータのデータ構造の一例を示す図である。

【0046】

モデル管理情報１２１は、一つ以上のモデルデータ６００を含む。一つのモデルに対して一つのモデルデータ６００が存在する。モデルデータ６００は、モデル名６０１、タスク６０２、モデルパラメータ６０３、学習パラメータ６０４、学習データセット名６０５、テストデータセット名６０６、ステータス６０７、有効フラグ６０８、精度評価指標６０９、及び評価結果６１０を含む。なお、モデルデータ６００は、前述以外のフィールドを含んでもよい。

【0047】

モデル名６０１は、モデルの識別情報である名称を格納するフィールドである。

【0048】

タスク６０２は、モデルが実行するタスクの種別を格納するフィールドである。

【0049】

モデルパラメータ６０３は、モデルを定義するパラメータを格納するである。学習処理の開始時には、モデルパラメータ６０３には、初期モデルのパラメータが格納される。例えば、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）の場合、モデルパラメータ６０３には、事前学習で生成されたモデルのパラメータが格納される。

【0050】

学習パラメータ６０４は、学習処理を制御するためのハイパーパラメータを格納するフィールドである。

【0051】

学習データセット名６０５は、学習処理に使用する学習データセット１３０の名称を格納するフィールドである。なお、学習データセット名６０５には、学習データセット１３０から取得する学習データ１３１の数が格納されてもよい。

【0052】

テストデータセット名６０６は、評価処理に使用するテストデータセット１４０の名称を格納するフィールドである。なお、テストデータセット名６０６には、テストデータセット１４０から取得するテストデータ１４１の数が格納されてもよい。

【0053】

ステータス６０７は、学習処理の実行状態を示す値を格納するフィールドである。例えば、ステータス６０７には、学習前、学習中、及び学習完了等が格納される。

【0054】

有効フラグ６０８は、予測部１１１が使用するモデルとして有効化されているか否かを示すフラグを格納する。例えば、有効フラグ６０８には、モデルが有効化されていることを示すＴｒｕｅ、及びモデルが無効化されていることを示すＦａｌｓｅ等が格納される。

【0055】

精度評価指標６０９は、モデルの予測精度を評価するための指標の値を格納するフィールドである。例えば、精度評価指標６０９には、正解率、再現率、適合率、及びＦ値等が格納される。

【0056】

評価結果６１０は、評価処理の結果を格納するフィールドである。評価結果６１０には、図６Ｂに示すような評価結果データ６５０が格納される。一つのテストデータ１４１に対して一つの評価結果データ６５０が存在する。

【0057】

評価結果データ６５０は、データＩＤ６５１、分類ラベル６５２、確信度６５３、分類ラベル正誤６５４、モデル判断根拠６５５、及び判断根拠正誤６５６を含む。なお、評価結果データ６５０は、前述以外のフィールドを含んでもよい。

【0058】

データＩＤ６５１はデータＩＤ３１１と同一のフィールドである。

【0059】

分類ラベル６５２は、テストデータ１４１をモデルに入力することによって得られた分類ラベルを格納するフィールドである。

【0060】

確信度６５３は、モデルが出力した分類ラベルの確信度（確率）を格納するフィールドである。

【0061】

分類ラベル正誤６５４は、テストデータ１４１の分類ラベル３１３の値と、分類ラベル６５２の値とが一致するか否かを示す値を格納するフィールドである。例えば、分類ラベル正誤６５４には、二つの値が一致していることを示すＴｒｕｅ、及び二つの値が一致していないことを示すＦａｌｓｅ等が格納される。

【0062】

モデル判断根拠６５５は、モデルが分類ラベルを出力する場合に重要視したキーワードに関する情報を格納するフィールド群である。すなわち、モデルの判断根拠を示すデータが格納される。モデル判断根拠６５５は、トークンリスト６６１及びアテンションリスト６６２を含む。図６Ｃに示すように、トークンリスト６６１には、テキストデータから抽出された単語等の文字列のリストが格納される。アテンションリスト６６２には、トークンリスト６６１に格納される文字列の重要度のリストが格納される。なお、文字列の重要度は、アテンション機構及びＳＨＡＰ（ＳＨａｐｌｅｙ Ａｄｄｉｔｉｖｅ ｅｘＰｌａｎａｔｉｏｎｓ）等、公知の技術を用いて算出される値である。

【0063】

判断根拠正誤６５６は、ユーザの判断根拠及びモデルの判断根拠が一致するか否かを示す値を格納するフィールドである。例えば、分類ラベル正誤６５４には、ユーザ及びモデルの判断根拠が一致していることを示すＴｒｕｅ、及びユーザ及びモデルの判断根拠が一致していないことを示すＦａｌｓｅ等が格納される。

【0064】

図７は、実施例１のシステムの処理の流れを説明するシーケンス図である。

【0065】

実施例１のシステムでは、データセットの登録、モデルの生成及び評価、並びに、学習データセット１３０の更新の三つの処理フェーズが存在する。

【0066】

ユーザは、端末１０１を操作して、学習データセット１３０及びテストデータセット１４０の少なくともいずれかを設定するためのデータセット登録要求を計算機システム１００に送信する（ステップＳ１０１）。データセット登録要求には、データセットの名称、タスクの種別、及びデータセットに含めるデータ等が含まれる。

【0067】

データ記憶部１１３は、ＡＰＩ１１２を介して、データセット登録要求を受信した場合、データセットを記憶領域に登録し（ステップＳ１０２）、完了通知を端末１０１に送信する（ステップＳ１０３）。このとき、データ記憶部１１３は、データセットに対応したデータセット管理データ４００及びデータセット管理データ４１０の少なくともいずれかを生成する。

【0068】

ユーザは、端末１０１を操作して、学習実行要求を計算機システム１００に送信する（ステップＳ１１１）。学習実行要求には、モデルの名称、学習データセット１３０の名称、テストデータセット１４０の名称、学習パラメータ、及び判断根拠情報１２０が含まれる。

【0069】

学習部１１０は、ＡＰＩ１１２を介して、学習実行要求を受信した場合、学習／評価処理を実行する（ステップＳ１１２）。学習／評価処理の詳細は図８を用いて説明する。

【0070】

学習部１１０は、学習／評価処理が終了した場合、ＡＰＩ１１２を介して、完了通知を端末１０１に送信する（ステップＳ１１３）。

【0071】

ユーザは、端末１０１を操作して、評価結果を取得するための取得要求を計算機システム１００に送信する（ステップＳ１１４）。

【0072】

学習部１１０は、ＡＰＩ１１２を介して、取得要求を受信した場合、評価情報を生成し、評価情報を端末１０１に送信する（ステップＳ１１５）。評価情報は、例えば、精度評価指標の値及び評価結果データ６５０を含む。なお、評価情報には、分類ラベル正誤６５４がＦａｌｓｅの評価結果データ６５０のみを含めてもよい。

【0073】

ユーザは、評価情報を参照して、データセットの更新方法を決定する。例えば、モデルの分類ラベル及び判断根拠の両方に誤りがある場合、ユーザは、モデルが判断根拠として指定した文字列を正しく認識できないと判断し、文字列に関連する学習データ１３１を追加する。また、判断根拠は正しいが、モデルの分類ラベルが誤っている場合、ユーザは、テストデータ１４１に誤りがあると判断し、テストデータ１４１を修正する。

【0074】

なお、学習部１１０が、前述のような判定を行って、判定結果を評価情報に含めてもよい。

【0075】

ユーザは、データセットの更新方法を決定した後、端末１０１を操作して、データセットの更新内容を含むデータセット更新要求を計算機システム１００に送信する（ステップＳ１２１）。

【0076】

データ記憶部１１３は、ＡＰＩ１１２を介して、データセット更新要求を受信した場合、更新対象のデータセットを更新し（ステップＳ１２２）、完了通知を端末１０１に送信する（ステップＳ１２３）。このとき、データ記憶部１１３は、データセットに対応したデータセット管理データ４００及びデータセット管理データ４１０の少なくともいずれかを更新する。

【0077】

ユーザは、データセットを更新した後、端末１０１を操作して、学習実行要求を計算機システム１００に送信する（ステップＳ１１１）。

【0078】

図８は、実施例１の計算機システム１００が実行する学習／評価処理を説明するフローチャートである。

【0079】

学習部１１０は、モデルデータ６００を生成し、判断根拠情報１２０をワークエリアに保存する（ステップＳ２０１）。

【0080】

具体的には、学習部１１０は、学習実行要求に含まれる情報に基づいて、モデルデータ６００のモデル名６０１、タスク６０２、学習パラメータ６０４、学習データセット名６０５、及びテストデータセット名６０６の各々に値を設定する。また、学習部１１０は、モデルデータ６００のステータス６０７に「学習前」を設定する。

【0081】

次に、学習部１１０は、ユーザによって指定された学習データセット１３０から学習データ１３１を取得する（ステップＳ２０２）。なお、学習データセット１３０の全ての学習データ１３１を取得してもよいし、所定の数の学習データ１３１を取得してもよい。

【0082】

次に、学習部１１０は、学習データ１３１及び学習パラメータ等を用いて、モデルを生成するための学習処理を実行する（ステップＳ２０３）。学習処理は公知の技術であるため詳細な説明は省略する。なお、本発明は、学習するモデルの種別及び学習の手法に限定されない。

【0083】

学習部１１０は、学習処理の開始時に、モデルデータ６００のステータス６０７を「学習中」に更新し、事前学習で生成されたモデルの情報をモデルパラメータ６０３に設定する。学習部１１０は、学習処理が終了した場合、モデルデータ６００のステータス６０７を「学習完了」に更新し、モデルパラメータ６０３に生成されたモデルのパラメータを設定する。

【0084】

次に、学習部１１０は、ユーザによって指定されたテストデータセット１４０からテストデータ１４１を取得する（ステップＳ２０４）。なお、テストデータセット１４０の全てのテストデータ１４１を取得してもよいし、所定の数のテストデータ１４１を取得してもよい。

【0085】

次に、学習部１１０は、取得したテストデータ１４１を用いて評価処理を開始する（ステップＳ２０５）。学習部１１０は、取得したテストデータ１４１の中から一つのテストデータ１４１を選択する。

【0086】

次に、学習部１１０は、学習処理によって生成されたモデルにテストデータを入力し、モデルから出力を取得する（ステップＳ２０６）。モデルから取得する出力には、分類ラベル、確信度、及びモデル判断根拠データ（トークンリスト及びアテンションリスト）が含まれる。

【0087】

次に、学習部１１０は、モデル判断根拠データに基づいて、モデルが重要視したキーワードを特定する（ステップＳ２０７）。例えば、アテンションの値が最も大きいキーワード、又は、アテンションの値が閾値より大きいキーワードが特定される。

【0088】

次に、学習部１１０は、分類ラベル及び判断根拠の正誤を判定する（ステップＳ２０８）。具体的には、以下のような処理が実行される。

【0089】

（Ｓ２０８－１）学習部１１０は、テストデータ１４１の分類ラベル３１３の値と、モデルが出力した分類ラベルとを比較することによって、分類ラベルの正誤を判定する。すなわち、モデルの出力の正しさが評価される。

【0090】

（Ｓ２０８－２）学習部１１０は、判断根拠情報１２０を参照して、分類ラベル５０１がテストデータ１４１の分類ラベル３１３に一致する判断根拠データ５００を検索する。学習部１１０は、特定されたキーワードと、検索された判断根拠データ５００のキーワード５０２に設定されるキーワードとを比較することによって、判断根拠の正誤を判定する。すなわち、モデルのアルゴリズムの正しさが評価される。

【0091】

例えば、特定されたキーワードと、キーワード５０２に設定されるキーワードとが完全に一致する場合、又は、特定されたキーワードがキーワード５０２に設定されるキーワードに含まれる場合、学習部１１０は人の判断根拠とモデルの判断根拠とが一致する、と判定する。

【0092】

以上が、ステップＳ２０８の処理の説明である。

【0093】

次に、学習部１１０は、評価結果データ６５０を生成する（ステップＳ２０９）。

【0094】

具体的には、学習部１１０は、データＩＤ６５１にテストデータ１４１の識別情報が設定された評価結果データ６５０を生成する。また、学習部１１０は、モデルデータ６００の評価結果６１０に評価結果データ６５０を格納する。

【0095】

次に、学習部１１０は、取得した全てのテストデータ１４１について処理が完了したか否かを判定する（ステップＳ２１０）。

【0096】

取得した全てのテストデータ１４１について処理が完了していない場合、学習部１１０は、ステップＳ２０５に戻り、同様の処理を実行する。

【0097】

取得した全てのテストデータ１４１について処理が完了した場合、学習部１１０は、精度評価指標を算出する（ステップＳ２１１）。このとき、学習部１１０は、モデルデータ６００の精度評価指標６０９に算出された精度評価指標を設定する。

【0098】

次に、学習部１１０は、終了条件を満たすか否かを判定する（ステップＳ２１２）。例えば、精度評価指標が閾値より大きい場合、又は、学習処理の実行回数が閾値より大きい場合、学習部１１０は終了条件を満たすと判定する。

【0099】

終了条件を満たさないと判定された場合、学習部１１０は、ステップＳ２０２に戻り、同様の処理を実行する。このとき、学習部１１０は、モデルデータ６００の精度評価指標６０９及び評価結果６１０を初期化する。

【0100】

終了条件を満たすと判定された場合、学習部１１０は、学習／評価処理を終了する。

【0101】

本発明によれば、計算機システム１００は、人の判断根拠及びモデルの判断根拠を比較することによってモデルのアルゴリズムの正しさを評価し、ユーザに提示できる。ユーザは、モデルの出力及びアルゴリズムの正しさを考慮して学習データ及びテストデータの改善を行うことができる。これによって、高い予測精度のモデルを生成することができる。

【0102】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。

【符号の説明】

【0103】

１００ 計算機システム
１０１ 端末
１１０ 学習部
１１１ 予測部
１１２ ＡＰＩ
１１３ データ記憶部
１２０ 判断根拠情報
１２１ モデル管理情報
１３０ 学習データセット
１３１ 学習データ
１４０ テストデータセット
１４１ テストデータ
２００ 計算機
２０１ プロセッサ
２０２ 主記憶装置
２０３ 副記憶装置
２０４ ネットワークインタフェース
４００、４１０ データセット管理データ
５００ 判断根拠データ
６００ モデルデータ
６５０ 評価結果データ

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8】